テキスト音声変換装置、テキスト音声変換プログラム及びテキスト音声変換方法
【課題】 コミュニケーションの感情を十分に表現でき、趣向的に富んだテキスト音声変換再生をすることができるテキスト音声変換装置を提供する。
【解決手段】 再生される音声データの抑揚再生条件を設定する再生条件設定部５４と、与えられたテキストデータ３０を前記再生条件設定部５４によって決定された抑揚再生条件を具備する読み上げ用の音声データに変換する音声変換部５５とを備えるテキスト音声変換装置である。前記再生条件設定部５４は、互いに交差する第１及び第２方向に広がりを有する描画領域２２に描画された画像情報３１を線形的な線状オブジェクトに変換し、前記音声変換部５５は、前記線状オブジェクトの第１の方向に沿って前記テキストデータの文字列を割り付け、前記割り付けられたテキストデータの文字に前記線状オブジェクトの第２の方向の位置に応じた抑揚再生条件を与える。
【解決手段】 再生される音声データの抑揚再生条件を設定する再生条件設定部５４と、与えられたテキストデータ３０を前記再生条件設定部５４によって決定された抑揚再生条件を具備する読み上げ用の音声データに変換する音声変換部５５とを備えるテキスト音声変換装置である。前記再生条件設定部５４は、互いに交差する第１及び第２方向に広がりを有する描画領域２２に描画された画像情報３１を線形的な線状オブジェクトに変換し、前記音声変換部５５は、前記線状オブジェクトの第１の方向に沿って前記テキストデータの文字列を割り付け、前記割り付けられたテキストデータの文字に前記線状オブジェクトの第２の方向の位置に応じた抑揚再生条件を与える。
【発明の詳細な説明】
【技術分野】
【０００１】
本発明は、与えられたテキスト（文字）データを音声に変換し、読み上げのための抑揚をつけるテキスト音声変換装置、テキスト音声変換プログラム及びテキスト音声変換方法に関する。
【背景技術】
【０００２】
従来、与えられたテキストデータを読み上げる場合に、音声の抑揚、速度を視覚的に表示できる装置が知られており、種々の装置に適用されている。例えば、特許文献１に開示されている音声情報表示装置は、テキストデータの文字の色やサイズを異ならせ、また、フォントを変形し、文字列中の文字の高さを異ならせて表示することによって、読み上げられる音声の強弱、強調、速度を認識できるようにした装置である。
【０００３】
また、特許文献２に開示されている携帯通信端末は、メール文を音声再生する際の音声再生条件を設定し、当該条件に応じた音声データを作成する装置である。そして、添付された音声データを受け取った通信相手は、音声再生条件にしたがった音声データを再生することで、テキストを読み上げた音声を聞くことができるというものである。ここで、音声再生条件は、文字列に沿って配置された変換ポイントを結ぶポイントラインのライン形状を変更することで、音声の高低を決定し、音種メニューバーから特定の音種を選択する（特許文献２の図５参照）。具体的には、男声、女声など予め決められた音種を選択して再生する音種を決定し、ポイントライン中の変換ポイントの上下位置により音の高低、左右位置によりテンポ、再生のタイミングなどを調整して再生条件を設定する。
【０００４】
特許文献１，２に示すように従来のテキスト音声読み上げ装置において再生音の抑揚（高低、アクセント、速度など）を表示、設定する場合には、読み上げられるテキストの文字列に沿って一方向に伸びる線形的なグラフ状のオブジェクトを用い、当該線形的オブジェクトの位置、大きさなどにより、読み上げ音の抑揚を表示、設定する手法が採用されていた。
【０００５】
そして、当該装置の利用者は、与えられた文字列を任意の抑揚で再生させたい場合、文字列中の文字に対応したオブジェクトを調整して再生条件を設定し、自己の趣向に沿った抑揚の文字列再生を行なっていた。
【先行技術文献】
【特許文献】
【０００６】
【特許文献１】特開平８−１７９７８９号公報
【特許文献２】特開２００５−４３７７号公報
【発明の概要】
【発明が解決しようとする課題】
【０００７】
しかし、昨今のコンピュータ及びネットの普及に伴い、当該文字列読み上げ装置もコミュニケーションツール、エンターテイメントツールとして使用されることが多くなってきた。例えば、特許文献２に開示された携帯通信端末はメールの文字データを音声データに変換して送信するコミュニケーションツールとして用いられるものである。また、コンピュータを用いて作詞作曲することも一般的に用いられており、自己が作曲した曲をコンピュータ中のキャラクターに歌わせたりするアプリケーションソフトも広く用いられている。
【０００８】
ここで、従来の線形的なオブジェクトを用いた再生音の抑揚設定手法では、コミュニケーションとしての感情が十分ではなく、また、エンターテイメント的にも、無味乾燥で面白味に欠けるものであった。
【０００９】
したがって、本発明が解決しようとする技術的課題は、コミュニケーションの感情を豊かに表現でき、趣向的に富んだテキスト音声変換再生をすることができるテキスト音声変換装置、テキスト音声変換プログラム及びテキスト音声変換方法を提供することである。
【課題を解決するための手段】
【００１０】
本発明は、上記技術的課題を解決するために、以下の構成のテキスト音声変換装置を提供する。
【００１１】
本発明の第１態様によれば、再生される音声データの抑揚再生条件を設定する再生条件設定部と、与えられたテキストデータを前記再生条件設定部によって決定された抑揚再生条件を具備する読み上げ用の音声データに変換する音声変換部とを備えるテキスト音声変換装置であって、
前記再生条件設定部は、互いに交差する第１及び第２方向に広がりを有する描画領域に描画された画像情報を線形的な線状オブジェクトに変換し、
前記音声変換部は、前記線状オブジェクトの第１の方向に沿って前記テキストデータの文字列を割り付け、前記割り付けられたテキストデータの文字に前記線状オブジェクトの第２の方向の位置に応じた抑揚再生条件を与えることを特徴とする、テキスト音声変換装置を提供する。
【００１２】
本発明の第２態様によれば、前記再生条件設定部は、
前記描画領域に描画される画像情報を構成する線分の筆跡を抽出する筆跡抽出部と、
前記筆跡抽出部によって抽出された筆跡のうち、前記第１方向に移動する筆跡の移動量の絶対値に変換し、前記第２方向に変位を有する前記第１方向に連続して伸びる線状オブジェクトとする筆跡変換部とを備え、
前記音声変換部は、前記筆跡変換部により作成された線状オブジェクトに基づいて抑揚再生条件を決定することを特徴とする、第１態様のテキスト音声変換装置を提供する。
【００１３】
本発明の第３態様によれば、前記再生条件設定部は、前記描画領域に描画される画像の色情報を選択して描画するための色情報選択部を備え、
前記音声変換部は、画像の色情報と音声データの音質とを対応づける音質対応情報に基づいて、音声データの音質を決定することを特徴とする、第１又は第２態様のテキスト音声変換装置を提供する。
【００１４】
本発明の第４態様によれば、
前記再生条件設定部は、
前記描画領域に描画される画像情報を構成する線分の前記第１方向軸の位置に対応する２以上の第２方向軸の座標位置に基づいて、第２方向軸の演算座標位置を演算する第２軸座標演算部と、
前記第２軸座標演算部により算出された、前記第１方向軸の位置にそれぞれ対応する演算座標位置を包含して線状オブジェクトを作成する線分作成部とを備え、
前記音声変換部は、前記線分作成部により作成された線状オブジェクトに基づいて抑揚再生条件を決定することを特徴とする、第１態様のテキスト音声変換装置を提供する。
【００１５】
本発明の第５態様によれば、前記第２軸座標演算部は、前記２以上の第２方向軸の座標位置の平均値を演算座標位置とすることを特徴とする、第４態様のテキスト音声変換装置を提供する。
【００１６】
本発明の第６態様によれば、前記抑揚再生条件としては、前記音声データの音の高低、抑揚、アクセントの少なくとも１つであることを特徴とする、第１から第５態様のいずれか１つのテキスト音声変換装置を提供する。
【００１７】
本発明の第７態様によれば、コンピュータに読み込まれて、前記コンピュータを、再生される音声データの抑揚再生条件を設定する再生条件設定手段と、与えられたテキストデータを前記再生条件設定手段によって決定された抑揚再生条件を具備する読み上げ用の音声データに変換する音声変換手段とを備えるテキスト音声変換装置として機能させるプログラムであって、
前記再生条件設定手段は、互いに交差する第１及び第２方向に広がりを有する描画領域に描画された画像情報を線形的な線状オブジェクトに変換する機能を備え、
前記音声変換手段は、前記線状オブジェクトの第１の方向に沿って前記テキストデータの文字列を割り付け、前記割り付けられたテキストデータの文字に前記線状オブジェクトの第２の方向の位置に応じた抑揚再生条件を与える機能を備えることを特徴とするプログラムを提供する。
【００１８】
本発明の第８態様によれば、前記再生条件設定手段は、
前記描画領域に描画される画像情報を構成する線分の筆跡を抽出する筆跡抽出手段と、
前記筆跡抽出手段によって抽出された筆跡のうち、前記第１方向に移動する筆跡の移動量の絶対値に変換し、前記第２方向に変位を有する前記第１方向に連続して伸びる線状オブジェクトを作成させる筆跡変換手段とを備え、
前記筆跡変換手段により作成された線状オブジェクトに基づいて、前記音声変換手段により前記音声データの再生条件を決定させることを特徴とする、第７態様のプログラムを提供する。
【００１９】
本発明の第９態様によれば、前記再生条件設定手段は、
前記描画領域に描画される画像情報を構成する線分の前記第１方向軸の位置に対応する２以上の第２方向軸の座標位置に基づいて、第２方向軸の演算座標位置を演算させる第２軸座標演算手段と、
前記第２軸座標演算手段により算出された、前記第１方向軸の位置にそれぞれ対応する演算座標位置を包含して線状オブジェクトを作成させる線状オブジェクト作成手段とを備え、
前記音声変換手段は、前記線状オブジェクト作成手段により作成された線状オブジェクトに基づいて再生条件を決定させることを特徴とする、第７態様のプログラムを提供する。
【００２０】
本発明の第１０態様によれば、再生される音声データの抑揚再生条件を設定する再生条件設定手段と、与えられたテキストデータを前記再生条件設定手段によって決定された抑揚再生条件を具備する読み上げ用の音声データに変換する音声変換手段とを備えるテキスト音声変換装置により実施されるテキスト音声変換方法であって、
前記再生条件設定手段により、互いに交差する第１及び第２方向に広がりを有する描画領域に描画された画像情報を線形的な線状オブジェクトに変換し、
前記音声変換手段により、前記線状オブジェクトの第１の方向に沿って前記テキストデータの文字列を割り付け、前記割り付けられたテキストデータの文字に前記線状オブジェクトの第２の方向の位置に応じた抑揚再生条件を与えることを特徴とするテキスト音声変換方法を提供する。
【発明の効果】
【００２１】
本発明によれば、２軸方向に広がりを有する画像情報を線状オブジェクトに変換することにより、一方向に沿って認識されるテキストオブジェクトの文字列に画像情報を割り付けて、その結果を音階などの抑揚条件の基準とすることができる。従って、例えば、利用者が描画領域に描画したイラストに基づいて線状オブジェクト作成し、テキストデータの抑揚再生条件を決定することができる。本発明の上記特徴により、利用者は、例えば自分が描画領域に描いた手書きのイラストや写真データなどを用いた場合、どのような再生条件で再生されるのかについての趣向を持つことができ、イラストによりどのような音声でテキストデータが音声変換されるかを楽しむことができる。よって、本発明によれば、エンターテイメントツールとして優れたテキスト音声変換再生を実現することができる。また、これらのデータを他者に送信することなどで、コミュニケーションの感情を十分に表現でき、趣向的に富むものとすることができる。
【００２２】
本発明の第２態様によれば、画像情報を構成する線分の筆跡を用いて線状オブジェクトに変換することができるので、描画領域に手書きで書いたイラストを用いて再生条件の決定をすることができる。
【００２３】
本発明の第３態様によれば、画像情報を構成する色の情報によって予め用意した音質対応情報に基づいて音質を決定することができるため、イラストだけではなく、画像の色によった音声の変化を楽しむことができる。
【００２４】
本発明の第４態様によれば、第１軸方向に位置する２以上の座標位置に基づいて、例えば平均値を取るなど、演算によって線状オブジェクトを構成する演算座標位置を求めることができる。したがって、手書きの線図だけではなく，写真などの任意の画像を線状オブジェクトに変換することができ、再生条件の決定をすることができる。
【図面の簡単な説明】
【００２５】
【図１】本発明の実施形態にかかるテキスト音声変換装置を用いた通信システムのシステム構成を示す図である。
【図２】本実施形態にかかる電子掲示板システムにおいて用いられる利用者端末の構成を示す図である。
【図３】本実施形態にかかる電子掲示板システムの動作の流れを示すチャートである。
【図４】利用者端末に表示されるデータ入力画面の表示例である。
【図５】本発明の本実施形態にかかる電子掲示板システムに用いられるサーバ装置が行なうテキスト音声変換処理のフローチャートである。
【図６】本発明の電子掲示板システムに用いられる第１実施形態のサーバ装置の機能ブロックの構成を示す図である。
【図７】筆跡変換部が行なう絶対値変換の処理の例について説明する図である。
【図８】図４の入力画面に描画されたイラストデータの筆跡（ａ）及び当該イラストデータから変換される線状オブジェクト（ｂ）を示す図である。
【図９】文字列割当部が行なう文字割付の処理について説明する図である。
【図１０】音階変動データのパターンの一例である。
【図１１】本発明の電子掲示板システムに用いられる第２実施形態のサーバ装置の機能ブロックの構成を示す図である。
【図１２】Ｙ軸座標演算部６７が行なうＹ軸演算の処理について説明する図である。
【発明を実施するための形態】
【００２６】
以下、本発明の一実施形態に係るテキスト音声変換装置を用いた通信システムについて、図面を参照しながら説明する。
【００２７】
図１は、本発明の実施形態にかかるテキスト音声変換装置を用いた通信システムのシステム構成を示す図である。通信システム１は、インターネットＮＴを用いて構成されるネットワークシステムであり、サーバ装置２と利用者端末３とがネットワークＮＴで接続された構成である。なお、図１では、２台の利用者端末３を接続した構成を示しているが、その設置台数は特に限定されるものではない。
【００２８】
サーバ装置２は、汎用あるいは専用のコンピュータで構成されており、後述するように、利用者端末３からのメッセージ及び音声再生条件を受信して、これを音声データに変換するためのテキスト音声変換装置として機能する。また、後述するように本通信システムの使用形態によっては、ウェブサーバ、電子メールサーバなどの機能を併せ持っていてもよい。
【００２９】
利用者端末３は、利用者が操作する、ネットワークに接続することができる汎用コンピュータ、携帯端末などであり、ｗｅｂブラウザ機能を有することが好ましい。後述するように、利用者は利用者端末３を用いてテキスト入力及びイラスト入力を行ない、当該入力したテキストデータがサーバ装置で音声変換された音声情報を受信する。
【００３０】
なお、利用者端末の使用態様としては、自己の利用者端末に入力したテキストデータ、イラストデータに基づいて変換された音声データを自己の利用者端末で再生するようにしてもよいし、電子メール機能や電子掲示板のように、自己の利用者端末で入力したテキストデータ、イラストデータに基づいて変換された音声データを、特定又は不特定の他人の利用者端末へ送り、他人の利用者端末で再生するようにしてもよい。本通信システム１の態様は、サーバ装置２及び利用者端末３の構成により決定されるものであるが、本発明の特徴部分であるサーバ装置２のテキスト音声変換機能については、いずれの態様においても共通する。
【００３１】
以下、本実施形態にかかる通信システムとして、電子掲示板システムを例にとって説明する。電子掲示板システムとは、投稿者である利用者の利用者端末３からサーバ装置２に送信されたテキストデータを掲示し、当該掲示されたテキストデータが不特定多数の閲覧者である利用者の利用者端末３により参照され、閲覧者が興味を持ったテキストデータを特定することでサーバ装置２によって、投稿時に変換された音声データを閲覧者の利用者端末３に送信し閲覧者の利用者端末３が再生されるシステムである。
【００３２】
図２は、本実施形態にかかる電子掲示板システムにおいて用いられる利用者端末の構成を示す図である。図３は、本実施形態にかかる電子掲示板システムの動作の流れを示すチャートである。
【００３３】
図２に示す利用者端末は、汎用コンピュータ又は携帯電話端末などが用いられ、制御演算部１０、通信部１１，記憶装置１２，入力部１３，表示部１４，スピーカ１５を備える。図３に示すように、利用者端末３は、投稿者端末３ａ及び閲覧者端末３ｂとして双方の役割を有する。
【００３４】
制御演算部１０は、ＣＰＵなどからなり、記憶装置に格納されるアプリケーションプログラム１２ａを展開し、当該アプリケーションプログラム１２ａとの協働により、利用者端末３の各部の動作を統括的に制御する。
【００３５】
通信部１１は、有線又は無線の手段によりインターネットＮＴを介して行なわれる利用者端末３外部との通信を司る。
【００３６】
入力部１３は、テキスト入力及びイラスト入力を含む各種情報入力を行なうものであり、文字入力を行なうためのものとしてキーボード、イラスト入力を行なうものとしてタッチパネル、タブレットなどが例示される。また、ＧＵＩ（グラフィカルユーザーインターフェース）による操作を行なうためにマウスなどのポインティングデバイスなども備えている。
【００３７】
表示部１４は、投稿データを入力するための入力画面及びサーバ装置２から送られる掲示画面を表示するためのモニタ装置である。
【００３８】
スピーカ１５は、サーバ装置２から送られる音声データの再生に用いられる。
【００３９】
本実施形態にかかる電子掲示板システムは、上述のように、利用者端末３（投稿者端末３ａ）から投稿されたテキストデータを掲示して、他の利用者端末３（閲覧者端末３ｂ）から閲覧可能とし、さらに、投稿者端末３ａによって入力されたイラストデータに基づいて抑揚再生条件が決定された読み上げ用の音声データを利用者端末３（利用者端末３ａ及び閲覧者端末３ｂ）で再生するシステムである。
【００４０】
図３に示すように、本実施形態にかかる電子掲示板システムの処理の流れは、次の通りである。まず、利用者端末（投稿者端末）３ａがサーバ装置２にログイン（＃１０）すると、サーバ装置２が投稿者端末３ａに入力画面を送信する（＃２０）。
【００４１】
次いで、投稿者端末３ａがテキスト及びイラストのデータ入力を行なう（＃１１）。この際、サーバ装置２との通信を行ない、現在の音声データがどのように再生されるかを確認できるように構成されていてもよい。音声データの確認に際し、サーバ装置２は、テキスト音声変換のデータ変換を行なう（＃２１）。
【００４２】
投稿者は、テキストデータ及びイラストデータの入力が終了すると、利用者端末３ａからデータをサーバ装置２に投稿する（＃１２）。サーバ装置２は、テキストデータの文章を読み上げる音声データに変換する（＃２２）。音声データの変換においては、投稿されたデータのうちイラストデータなどを用いて抑揚再生条件を決定し、音声再生時の音声データの音の高低、抑揚、アクセントなどに反映される。サーバ装置２が行なうデータ変換処理についての詳細は後述する。
【００４３】
サーバ装置２は、投稿されたデータのうち、テキストデータのみを掲示する（＃２３）。
【００４４】
閲覧者端末３ｂは、ログイン（＃３０）後、投稿者端末３ａから投稿されたテキストデータを自由に閲覧することができる（＃３１）。投稿者は、音声データを再生したいテキストデータについて特定（＃３２）すると、この情報がサーバ装置２に送信され、この情報を受信したサーバ装置２が、テキストデータの文章を読み上げる音声データを閲覧者端末３ｂに送信する（＃２４）。閲覧者端末３ｂは、受信した音声データを再生する（＃３３）。
【００４５】
次に、具体的な処理について詳細に説明する。図４は、データ入力（＃１１）時に利用者端末に表示されるデータ入力画面の表示例である。入力画面２０には、テキスト入力欄２１、イラスト入力欄２２が表示されている。また、試聴ボタン２３、投稿ボタン２４、音質調整欄２５、変声ボタン２７、ペン選択欄２８、写真選択ボタン２９なども表示されている。
【００４６】
テキスト入力欄２１は、入力部１３の一例であるキーボードなどを利用して、利用者が決定した任意のテキストデータを入力するための欄である。テキスト入力欄２１に入力されたテキストデータ３０は、音声再生時の読み上げデータとして利用される。
【００４７】
イラスト入力欄２２は、入力部１３の一例であるマウス、タッチパネル、タブレットなどを利用して、利用者が任意のイラストを描画・表示するための領域であり、Ｘ軸、Ｙ軸方向にそれぞれ広がりを有する描画領域である。イラストは利用者が任意に決定することができ、テキスト入力欄に入力したテキストデータとはまったく無関係のものであってもよい。イラストとしては、線分により描画されるイラスト及び写真画像であることが好ましい。入力デバイスの種類によっては筆圧なども検出してイラストの線分の太さを変えるなどさせてもよい。イラスト入力欄２２に描画されたイラストデータ３１は、サーバ装置に送信されて抑揚再生条件の設定に利用され、音声再生時の音声データの音の高低、抑揚、アクセントなどに反映される。このテキスト音声変換に関してサーバ装置２が行なう処理についての詳細は後述する。
【００４８】
試聴ボタン２３は、現在入力されているテキストデータ及びイラストデータその他の条件によってどのような音声データが作成されるかを確認するためのボタンであり、押下すると、音声データが再生される。
【００４９】
投稿ボタン２４は、投稿者端末から入力されたテキストデータ及びイラストデータを決定したあと、下記の諸条件の設定条件を含めてサーバ装置２に送信してするためのボタンであり、押下することで入力データ及び種々の設定条件がサーバ装置に送信される。データを受信したサーバ装置２は、電子掲示板に掲示する処理及びテキスト音声変換の処理を行なう。
【００５０】
音質調整欄２５は、中央にあるマーク２６を移動させることで、再生時の音声のイメージを調整するための欄である。本実施形態では、元気かクールか、及び暖かいか寒い音声かなど感情、感覚的な表現を用いて音質を調整する。音質の調整は、２軸座標中のマーク２６の位置情報がサーバ装置２に送信され、サーバ装置２が音質調整欄２５のマーク２６の位置情報に基づいて再生時の音質を決定する。この処理については後述する。
【００５１】
変声ボタン２７は、再生する音声を選択するためのボタンであり、具体的には、男声、女声、などの音声を選択することができる。選択可能な音声は予めサーバ装置２に記憶されており、利用者端末３において選択された結果に基づいてサーバ装置が選択する。
【００５２】
ペン選択欄２８は、イラスト入力欄２２に描画する場合のペンの種類を選択するための欄である。ペンの種類としては、色、線の太さなどが挙げられる。描画に用いられたペンの種類の情報は、予めサーバ装置２に記憶されており、利用者端末３において選択された結果がサーバに送信され、サーバ装置２におけるテキスト音声変換処理において変換される音声データの音質などの調整に用いられる。
【００５３】
写真選択ボタン２９は、イラスト入力欄２２に入力される画像として写真などを選択することができる。選択される背景画像としては、投稿者端末３ａあるいは投稿者端末３ａが読み書き可能な外部記憶装置に格納されたものを用いることができる。選択された画像は、イラスト入力欄２２の画像サイズにサイズ変更され、例えば背景画像としてイラスト入力欄２２に表示される。投稿者は、当該背景画像の上に手書きのイラストを追加して描画することができる。投稿ボタン２４を押すことにより、イラスト入力欄２２に表示されている背景画像及び追加で手書きしたイラストがサーバ装置２に送信される。
【００５４】
次に、サーバ装置２が行なうテキスト音声変換処理について説明する。サーバ装置２は、電子掲示板の管理サーバとしての機能に加えて、利用者端末３（投稿者端末３ａ）から受信したデータに基づいて抑揚再生条件を決定し、テキスト入力欄２１に入力されたテキストデータを抑揚再生条件に基づいて音声変換する機能を有するテキスト音声変換装置としての機能を有する。
【００５５】
図５は、本発明の本実施形態にかかる電子掲示板システムに用いられるサーバ装置が行なうテキスト音声変換処理のフローチャートである。サーバ装置２が行なうテキスト音声変換処理は、図３の＃２２に包含される。
【００５６】
本実施形態にかかるサーバ装置２は、投稿者端末３ａからイラスト入力欄２２に入力されたイラストや背景画像、音質などの設定条件及びテキスト入力欄２１に入力されたテキストデータを含む各種データを受信（＃１０１）する。その後、受信したデータのうち、イラストや背景画像を線状オブジェクトに変換し（＃１０２）、当該線状オブジェクトに沿ってテキストデータの文字列を割り付ける（＃１０３）。
【００５７】
次いで、音質調整欄２５のマーク２６の位置に関する情報及びイラストの線分を描画したペンの情報に基づいて音質及びスケールを、また、変声ボタン２７により選択された音声に設定・調整する（＃１０４）。その後、線状オブジェクトの曲線の位置に応じて対応する文字での音階を決定する（＃１０５）。
【００５８】
（第１実施形態）
次に、サーバ装置が行なうテキスト音声変換処理を詳細に説明する。図６は、本発明の電子掲示板システムに用いられる第１実施形態のサーバ装置の機能ブロックの構成を示す図である。図６に示すサーバ装置２は、制御演算部５０、送受信部５１、記憶装置５２、掲示板管理部５３を備えている。
【００５９】
制御演算部５０は、ＣＰＵなどからなり、記憶装置５２に格納されるプログラム５６を展開し、当該プログラム５６との協働により、サーバ装置２の各部の動作を統括的に制御することによって、サーバ装置におけるテキスト音声変換処理を実行する。
【００６０】
送受信部５１は、インターネットＮＴを介して行なわれる利用者端末３との通信を司る。具体的には、投稿者端末３ａからの各種データの送受信及び閲覧者端末３ｂからの掲示板閲覧及び音声データ送信を主として行なう。
【００６１】
記憶装置５２には、プログラム５６の他に各種データなどが記憶される。記憶装置５２に記憶されるデータとしては、音声種別データ５７，スケールデータ５８，音階変動データ５９などが存在する。これらの各種データについては後述する。
【００６２】
掲示板管理部５３は、電子掲示板としての機能を統括して行なう。具体的には、データの投稿、投稿されたテキストデータの閲覧及び特定された音声データの送信などの管理を司る。
【００６３】
制御演算部５０には、再生される音声データの抑揚再生条件を決定する処理を行なう再生条件設定部５４と、決定された抑揚再生条件を具備する読み上げ用の音声データに変換する音声変換部５５とが設けられている。
【００６４】
再生条件設定部５４が行なう抑揚再生条件の決定は、上記のように、利用者端末３のイラスト入力欄２２に描画されたイラストデータをサーバ装置２が受信し、線形的な線状オブジェクトに変換（＃１０２）する処理工程を有し、この処理を司る筆跡抽出部６０及び筆跡変換部６１が設けられている。
【００６５】
筆跡抽出部６０は、利用者端末３のイラスト入力欄２２に描画されたイラストデータの筆跡を抽出する処理を行なう。筆跡は、イラスト入力時において、投稿者端末３に記録された手書きされる線分中の各座標を用いることにより抽出される。
【００６６】
筆跡変換部６１は、抽出された筆跡のうちイラスト入力欄２２のＸ軸方向に変位する筆跡の移動量について絶対値とすることで、手書きのイラストをＹ軸方向に変位を有するＸ軸方向に連続して伸びる１本の線分に変換する。図７は、筆跡変換部が行なう絶対値変換の処理の例について説明する図である。
【００６７】
図７では、イラスト入力欄２２に描画された線分の始点を黒丸を付して表すと共に、２以上の線分については、数字で筆跡の順序について示している。図７（ａ）に示す例では、イラスト入力欄２２に記載されたイラストはＸ軸方向に減少する要素が存在しないため、筆跡変換部６１が行なう絶対値変換の結果物である線状オブジェクトは、イラスト入力欄２２に記載された線分と同じ形状となる。
【００６８】
線状オブジェクトの始点は、イラスト入力欄２２に入力された線分の位置にかかわらず、原点からとする。
【００６９】
図７（ｂ）に示す例では、イラスト入力欄２２に記載されたイラストは、ループの部分でＸ軸方向に減少する部分があるため、当該部分について変化量の絶対値を取る。その結果、線状オブジェクトは、Ｘ軸方向に常時増加する線分となる。
【００７０】
図７（ｃ）に示す例では、イラスト入力欄２２に記載されたイラストが、互いに不連続な複数の線分で構成されている場合には、両者を接続させて一本の線分として扱う。ただし、連結部分のＸ軸方向の移動量は０としてもよいし、所定量移動させてもよい。例えば、連結部分のＹ軸方向の変化が予め設定した閾値より大きい場合は、Ｘ軸方向に移動量を与えることとしてもよい。
【００７１】
図８は、図４の入力画面に描画されたイラストデータの筆跡（ａ）及び当該イラストデータから変換される線状オブジェクト（ｂ）を示す図である。図８（ａ）は図４の入力画面に描画されたイラストデータを示している。これらのイラストはすべて線分で構成されたものであり、各線分は、黒丸の部分を始点とし、矢印方向に描画されている。線分の数字は描画順序を示している。また、図８（ｂ）は、筆跡変換部６１によって図８（ａ）のイラストを変換して作成された線状オブジェクトである。図８（ａ）のように入力画面に描画されたイラストデータが多数の線分で構成されている場合、変換される線状オブジェクトは、Ｘ軸方向に十分な長さを有する。このため、線状オブジェクトを所定長となるように縮小してもよい。また、イラストの種類によって線状オブジェクトのＹ軸方向の変位幅についても縮小してもよい。
【００７２】
色情報選択部６２は、入力画面に描画されたイラストデータの線分の色の情報に基づいて、変換された線状オブジェクトのどの部分がどの色情報を有しているかについて決定する。
【００７３】
音声変換部５５が行なう決定された抑揚再生条件を具備する読み上げ用の音声データの変換は、文字列割当部６３，抑揚決定部６４，音質・音声調整部６５が司る。
【００７４】
文字列割当部６３は、作成された線状オブジェクトの形状に沿って、文字列を割り当てる。具体的には、図９に示すように、テキスト入力欄２１に入力されたテキストデータの文字を文字列が均等になるように線状オブジェクトに割り付けて配置し、それぞれの文字の発音時の抑揚（音の高低）を決定する。
【００７５】
抑揚の決定は抑揚決定部６４が処理を司り、記憶装置に格納されている音階変動データ５９を参照して行う。抑揚の決定に用いられる音階変動データは、一つの文字に対して抑揚の変化をパターン化したデータである。本実施形態においては、線形オブジェクトの形状が複雑になりやすいため、文字ごとに割り当てられた線状オブジェクトの抑揚をパターン別に類型化する処理を採用する。
【００７６】
図１０は、音階変動データ５９のパターンの一例である。本実施形態では、音階変動データは、（ａ）から（ｅ）までの５のパターンが設定されている。（ａ）（ｂ）は、始まりの音階に対して音階が上がるパターンであって、音階変動のタイミングが前及び後になっている場合である。（ｃ）（ｄ）は、始まりの音階に対して音階が下がるパターンであって、音階変動のタイミングが前及び後になっている場合である。（ｅ）は、文字の発生途中に音階が変動しないパターンである。なお、これらの音階変動データは、音の再生時の抑揚を決定するものであって、具体的な音階（何度変動するか）などについては、特に定められているものではない。
【００７７】
パターンの選択は、文字ごとに割り当てられた線状オブジェクトの当該文字での始点、中間点、終点のＹ軸座標位置を参照して行うことができる。例えば、始点より終点の方がＹ座標として大きい場合は、始まりの音に対して音階が上がる（ａ）（ｂ）のパターンを選択する。また、３つの座標値の差分が閾値より小さい場合は、文字の発生途中に音階が変動しない（ｅ）のパターンを選択する。
【００７８】
さらに、抑揚決定部６４は、スケールデータ５８を参照して線状オブジェクトのＹ軸方向の座標位置による音階の決定を行なう。スケールデータは、Ｙ軸の座標に沿って割り当てられる音階のデータであり、全音階、半音階などの伝統的な音階の他、地域特有の民族音楽に特有の音階（例えば沖縄民謡などに用いられる琉球音階）など各種音階のスケールデータが含まれている。スケールデータは、音質調整欄２５におけるマークの位置２６により自動的に選択される。
【００７９】
抑揚決定部６４は、音階変動データ５９のパターンの選択及びスケールデータ５８の選択が終了すると、それぞれの文字に割り当てられた抑揚について、両者を参照して、始まりの音の高さ及び変動時の音の高さを決定する。変動時の音の高さは、当該文字に割り当てられた線状オブジェクトの形状によって決定される。
【００８０】
音質・音声調整部６５は、抑揚決定部６４によって決定された抑揚を用いて音声再生する場合の音質及び音声を調整する。音質及び音声の調整は、音質調整欄２５のマーク２６の位置及び変声ボタン２７によって音声種別データ２７の中から選択された音声種別及び線分の色などの情報により決定される。また、線分の太さの情報に基づいて、再生時の音量を変化させてもよい。
【００８１】
上記の通り、制御演算部５０の各機能ブロックによって変換された音声データは、掲示板管理部により記憶され、テキストデータの閲覧及び特定のテキストデータの選択による音声再生命令を受信することにより閲覧者端末３ｂに送信され再生される。
【００８２】
本実施形態にかかる電子掲示板システムによれば、テキストデータだけではなく、自由なイラストに応じてテキストの読み上げの抑揚などが変化するため、より趣向的なコミュニケーションをはかることができる。
【００８３】
（第２実施形態）
次に第２実施形態にかかるサーバ装置２について説明する。第２実施形態にかかるサーバ装置２は、利用者端末３のイラスト入力欄２２に描画されたイラストデータが手書きの線図ではなく、線図の筆跡の情報が存在しない場合に線状オブジェクトを作成するための装置である。線状オブジェクトの変換処理が異なるため、別実施形態として説明するが、装置構成としては第１実施形態にかかるサーバ装置と同じ装置であってもよい。
【００８４】
図１１は、本発明の電子掲示板システムに用いられる第２実施形態のサーバ装置の機能ブロックの構成を示す図である。図１１に示すサーバ装置２は、制御演算部５０、送受信部５１、記憶装置５２、掲示板管理部５３を備えている。図１１に示すサーバ装置は、第１実施形態にかかるサーバ装置と機能的に共通する部分を有するため共通部分については説明を省略し、異なる部分について主に説明する。
【００８５】
制御演算部５０には、再生される音声データの抑揚再生条件を決定する処理を行なう再生条件設定部５４と、決定された抑揚再生条件を具備する読み上げ用の音声データに変換する音声変換部５５とが設けられている。
【００８６】
再生条件設定部５４が行なう抑揚再生条件の決定は、上記のように、利用者端末３のイラスト入力欄２２に描画されたイラストデータをサーバ装置２が受信し、線形的な線状オブジェクトに変換（＃１０２）することにより行なわれる。この処理を司る線図変換部６６，Ｙ軸座標演算部６７，線分作成部６８を備える。
【００８７】
線図変換部６６は、イラスト入力欄２２に描画されたイラストデータが写真などであって、筆跡の情報を有しない場合にこれらの画像を線図に画像変換する処理を行なう。線図への画像変換は、公知の技術を用いることができ、イラストデータの色情報などを基準として被写体の輪郭を線図に置き換える処理などにより実行可能である。なお、イラスト入力欄２２の背景画像として写真が選択され、その上に手書きで線分によるイラストが描画された場合は、これらの画像を一体として線図変換してもよいし、写真の背景画像のみを線図変換してもよい。なお、線図変換されたイラストデータは、構成する線分の色情報を有していてもよい。
【００８８】
Ｙ軸座標演算部６７は、Ｘ軸の任意の座標上に対応する線分のＹ軸の座標に基づいて、１つのＸ軸座標に対して１つのＹ軸座標を演算する処理を司る。図１２は、Ｙ軸座標演算部６７が行なうＹ軸演算の処理について説明する図である。図１２に示すように、線図に変換されたイラストデータの任意のＸ座標（Ｘａ）上には、イラストを構成する点（Ｙａ〜Ｙｅ）が複数存在する場合がある。この場合、対応するＸ軸上の座標位置（Ｘａ）で線状オブジェクトを構成させるＹ軸座標位置を演算するものである。
【００８９】
Ｙ軸座標演算部６７が行なうＹ軸の演算座標位置の演算は、自由に決定することができる。一例としては、それぞれのＹ軸座標（Ｙａ〜Ｙｅ）の座標位置の平均値を演算座標位置とすることができる。また、他の例としては、それぞれのＹ軸座標（Ｙａ〜Ｙｅ）の座標位置の任意の一点を、ランダムに選択して演算座標位置としてもよいし、各座標の座標値を合算して、演算座標位置としてもよい。
【００９０】
線分作成部６８は、Ｙ軸座標演算部６７によって演算されたそれぞれのＸ軸座標位置でのＹ軸の演算座標を包含する線状オブジェクトを作成する処理を行なう。演算座標間の線状オブジェクトは、線状オブジェクトの曲線がスムーズになるように補完するなどの変更処理を行なってもよい。
【００９１】
以上の処理により作成された線状オブジェクトに基づいて、音声変換部５５が読み上げ用の音声データの変換を行う。この処理は、第１実施形態と同様であるため、説明を省略する。
【００９２】
以上、本実施形態によれば、手書きによらない写真などのイラストに基づいてテキストデータの読み上げの抑揚などを決定することができる。
【００９３】
以上説明したように、２軸方向に広がりを有するイラスト入力欄２２の表されたイラストを線状オブジェクトに変換することにより、一方向に沿って認識されるテキストオブジェクトの文字列を線状オブジェクトに割り付け、その結果を音階などの抑揚条件の基準とすることができる。従って、例えば、利用者が描画領域に描画したイラストに基づいて線状オブジェクト作成し、テキストデータの抑揚再生条件を決定することができる。
【００９４】
従って、利用者は、例えば自分が描画領域に描いた手書きのイラストや写真データなどを用いた場合、どのような再生条件で再生されるのかについての趣向を持つことができ、イラストによりどのような音声でテキストデータが音声変換されるかを楽しむことができる。よって、本発明によれば、エンターテイメントツールとして優れたテキスト音声変換再生を実現することができる。また、これらのデータを他者に送信することなどで、コミュニケーションの感情を十分に表現でき、趣向的に富むものとすることができる。
【００９５】
なお、本発明は上記実施形態に限定されるものではなく、その他種々の態様で実施可能である。例えば、本実施形態では、電子掲示板システムを構成するサーバ装置の一機能として、テキスト音声変換処理を有する構成としたが、例えば、電子メールサーバに同様の機能を持たせることもできる。また、ネットワークに接続しないスタンドアロン形の装置として同様の機能を持たしてもよい。
【００９６】
また、音階決定の処理工程は、従来広く行なわれている方法を適用することができ、例えば、文字当たりの音階変動を決定する処理に、音階変動データのパターン当てはめを用いることなく、線状オブジェクトの曲線の変化をそのまま音階に用いることができる。この場合、一音ごとの音階の変化が大きくなり、ビブラートをかけたような豊かな再生音を表現することができる。
【符号の説明】
【００９７】
１ 通信システム（電子掲示板システム）
２ サーバ装置
３ 利用者端末
３ａ 投稿者端末
３ｂ 閲覧者端末
１０ 制御演算部
１１ 通信部
１２ 記憶装置
１３ 入力部
１４ 表示部
１５ スピーカ
２０ 入力画面
２１ テキスト入力欄
２２ イラスト入力欄
２３ 試聴ボタン
２４ 投稿ボタン
２５ 音質調整欄
２６ マーク
２７ 変声ボタン
２８ ペン選択欄
２９ 写真選択ボタン
３０ テキストデータ
３１ イラストデータ
５０ 制御演算部
５１ 送受信部
５２ 記憶装置
５３ 掲示板管理部
５４ 再生条件設定部
５５ 音声変換部
５６ プログラム
５７ 音声種別データ
５８ スケールデータ
５９ 音階変動データ
６０ 筆跡抽出部
６１ 筆跡変換部
６２ 色情報選択部
６３ 文字列割当部
６４ 抑揚決定部
６５ 音質・音声調整部
６６ 線図変換部
６７ Ｙ軸座標演算部
６８ 線分作成部
【技術分野】
【０００１】
本発明は、与えられたテキスト（文字）データを音声に変換し、読み上げのための抑揚をつけるテキスト音声変換装置、テキスト音声変換プログラム及びテキスト音声変換方法に関する。
【背景技術】
【０００２】
従来、与えられたテキストデータを読み上げる場合に、音声の抑揚、速度を視覚的に表示できる装置が知られており、種々の装置に適用されている。例えば、特許文献１に開示されている音声情報表示装置は、テキストデータの文字の色やサイズを異ならせ、また、フォントを変形し、文字列中の文字の高さを異ならせて表示することによって、読み上げられる音声の強弱、強調、速度を認識できるようにした装置である。
【０００３】
また、特許文献２に開示されている携帯通信端末は、メール文を音声再生する際の音声再生条件を設定し、当該条件に応じた音声データを作成する装置である。そして、添付された音声データを受け取った通信相手は、音声再生条件にしたがった音声データを再生することで、テキストを読み上げた音声を聞くことができるというものである。ここで、音声再生条件は、文字列に沿って配置された変換ポイントを結ぶポイントラインのライン形状を変更することで、音声の高低を決定し、音種メニューバーから特定の音種を選択する（特許文献２の図５参照）。具体的には、男声、女声など予め決められた音種を選択して再生する音種を決定し、ポイントライン中の変換ポイントの上下位置により音の高低、左右位置によりテンポ、再生のタイミングなどを調整して再生条件を設定する。
【０００４】
特許文献１，２に示すように従来のテキスト音声読み上げ装置において再生音の抑揚（高低、アクセント、速度など）を表示、設定する場合には、読み上げられるテキストの文字列に沿って一方向に伸びる線形的なグラフ状のオブジェクトを用い、当該線形的オブジェクトの位置、大きさなどにより、読み上げ音の抑揚を表示、設定する手法が採用されていた。
【０００５】
そして、当該装置の利用者は、与えられた文字列を任意の抑揚で再生させたい場合、文字列中の文字に対応したオブジェクトを調整して再生条件を設定し、自己の趣向に沿った抑揚の文字列再生を行なっていた。
【先行技術文献】
【特許文献】
【０００６】
【特許文献１】特開平８−１７９７８９号公報
【特許文献２】特開２００５−４３７７号公報
【発明の概要】
【発明が解決しようとする課題】
【０００７】
しかし、昨今のコンピュータ及びネットの普及に伴い、当該文字列読み上げ装置もコミュニケーションツール、エンターテイメントツールとして使用されることが多くなってきた。例えば、特許文献２に開示された携帯通信端末はメールの文字データを音声データに変換して送信するコミュニケーションツールとして用いられるものである。また、コンピュータを用いて作詞作曲することも一般的に用いられており、自己が作曲した曲をコンピュータ中のキャラクターに歌わせたりするアプリケーションソフトも広く用いられている。
【０００８】
ここで、従来の線形的なオブジェクトを用いた再生音の抑揚設定手法では、コミュニケーションとしての感情が十分ではなく、また、エンターテイメント的にも、無味乾燥で面白味に欠けるものであった。
【０００９】
したがって、本発明が解決しようとする技術的課題は、コミュニケーションの感情を豊かに表現でき、趣向的に富んだテキスト音声変換再生をすることができるテキスト音声変換装置、テキスト音声変換プログラム及びテキスト音声変換方法を提供することである。
【課題を解決するための手段】
【００１０】
本発明は、上記技術的課題を解決するために、以下の構成のテキスト音声変換装置を提供する。
【００１１】
本発明の第１態様によれば、再生される音声データの抑揚再生条件を設定する再生条件設定部と、与えられたテキストデータを前記再生条件設定部によって決定された抑揚再生条件を具備する読み上げ用の音声データに変換する音声変換部とを備えるテキスト音声変換装置であって、
前記再生条件設定部は、互いに交差する第１及び第２方向に広がりを有する描画領域に描画された画像情報を線形的な線状オブジェクトに変換し、
前記音声変換部は、前記線状オブジェクトの第１の方向に沿って前記テキストデータの文字列を割り付け、前記割り付けられたテキストデータの文字に前記線状オブジェクトの第２の方向の位置に応じた抑揚再生条件を与えることを特徴とする、テキスト音声変換装置を提供する。
【００１２】
本発明の第２態様によれば、前記再生条件設定部は、
前記描画領域に描画される画像情報を構成する線分の筆跡を抽出する筆跡抽出部と、
前記筆跡抽出部によって抽出された筆跡のうち、前記第１方向に移動する筆跡の移動量の絶対値に変換し、前記第２方向に変位を有する前記第１方向に連続して伸びる線状オブジェクトとする筆跡変換部とを備え、
前記音声変換部は、前記筆跡変換部により作成された線状オブジェクトに基づいて抑揚再生条件を決定することを特徴とする、第１態様のテキスト音声変換装置を提供する。
【００１３】
本発明の第３態様によれば、前記再生条件設定部は、前記描画領域に描画される画像の色情報を選択して描画するための色情報選択部を備え、
前記音声変換部は、画像の色情報と音声データの音質とを対応づける音質対応情報に基づいて、音声データの音質を決定することを特徴とする、第１又は第２態様のテキスト音声変換装置を提供する。
【００１４】
本発明の第４態様によれば、
前記再生条件設定部は、
前記描画領域に描画される画像情報を構成する線分の前記第１方向軸の位置に対応する２以上の第２方向軸の座標位置に基づいて、第２方向軸の演算座標位置を演算する第２軸座標演算部と、
前記第２軸座標演算部により算出された、前記第１方向軸の位置にそれぞれ対応する演算座標位置を包含して線状オブジェクトを作成する線分作成部とを備え、
前記音声変換部は、前記線分作成部により作成された線状オブジェクトに基づいて抑揚再生条件を決定することを特徴とする、第１態様のテキスト音声変換装置を提供する。
【００１５】
本発明の第５態様によれば、前記第２軸座標演算部は、前記２以上の第２方向軸の座標位置の平均値を演算座標位置とすることを特徴とする、第４態様のテキスト音声変換装置を提供する。
【００１６】
本発明の第６態様によれば、前記抑揚再生条件としては、前記音声データの音の高低、抑揚、アクセントの少なくとも１つであることを特徴とする、第１から第５態様のいずれか１つのテキスト音声変換装置を提供する。
【００１７】
本発明の第７態様によれば、コンピュータに読み込まれて、前記コンピュータを、再生される音声データの抑揚再生条件を設定する再生条件設定手段と、与えられたテキストデータを前記再生条件設定手段によって決定された抑揚再生条件を具備する読み上げ用の音声データに変換する音声変換手段とを備えるテキスト音声変換装置として機能させるプログラムであって、
前記再生条件設定手段は、互いに交差する第１及び第２方向に広がりを有する描画領域に描画された画像情報を線形的な線状オブジェクトに変換する機能を備え、
前記音声変換手段は、前記線状オブジェクトの第１の方向に沿って前記テキストデータの文字列を割り付け、前記割り付けられたテキストデータの文字に前記線状オブジェクトの第２の方向の位置に応じた抑揚再生条件を与える機能を備えることを特徴とするプログラムを提供する。
【００１８】
本発明の第８態様によれば、前記再生条件設定手段は、
前記描画領域に描画される画像情報を構成する線分の筆跡を抽出する筆跡抽出手段と、
前記筆跡抽出手段によって抽出された筆跡のうち、前記第１方向に移動する筆跡の移動量の絶対値に変換し、前記第２方向に変位を有する前記第１方向に連続して伸びる線状オブジェクトを作成させる筆跡変換手段とを備え、
前記筆跡変換手段により作成された線状オブジェクトに基づいて、前記音声変換手段により前記音声データの再生条件を決定させることを特徴とする、第７態様のプログラムを提供する。
【００１９】
本発明の第９態様によれば、前記再生条件設定手段は、
前記描画領域に描画される画像情報を構成する線分の前記第１方向軸の位置に対応する２以上の第２方向軸の座標位置に基づいて、第２方向軸の演算座標位置を演算させる第２軸座標演算手段と、
前記第２軸座標演算手段により算出された、前記第１方向軸の位置にそれぞれ対応する演算座標位置を包含して線状オブジェクトを作成させる線状オブジェクト作成手段とを備え、
前記音声変換手段は、前記線状オブジェクト作成手段により作成された線状オブジェクトに基づいて再生条件を決定させることを特徴とする、第７態様のプログラムを提供する。
【００２０】
本発明の第１０態様によれば、再生される音声データの抑揚再生条件を設定する再生条件設定手段と、与えられたテキストデータを前記再生条件設定手段によって決定された抑揚再生条件を具備する読み上げ用の音声データに変換する音声変換手段とを備えるテキスト音声変換装置により実施されるテキスト音声変換方法であって、
前記再生条件設定手段により、互いに交差する第１及び第２方向に広がりを有する描画領域に描画された画像情報を線形的な線状オブジェクトに変換し、
前記音声変換手段により、前記線状オブジェクトの第１の方向に沿って前記テキストデータの文字列を割り付け、前記割り付けられたテキストデータの文字に前記線状オブジェクトの第２の方向の位置に応じた抑揚再生条件を与えることを特徴とするテキスト音声変換方法を提供する。
【発明の効果】
【００２１】
本発明によれば、２軸方向に広がりを有する画像情報を線状オブジェクトに変換することにより、一方向に沿って認識されるテキストオブジェクトの文字列に画像情報を割り付けて、その結果を音階などの抑揚条件の基準とすることができる。従って、例えば、利用者が描画領域に描画したイラストに基づいて線状オブジェクト作成し、テキストデータの抑揚再生条件を決定することができる。本発明の上記特徴により、利用者は、例えば自分が描画領域に描いた手書きのイラストや写真データなどを用いた場合、どのような再生条件で再生されるのかについての趣向を持つことができ、イラストによりどのような音声でテキストデータが音声変換されるかを楽しむことができる。よって、本発明によれば、エンターテイメントツールとして優れたテキスト音声変換再生を実現することができる。また、これらのデータを他者に送信することなどで、コミュニケーションの感情を十分に表現でき、趣向的に富むものとすることができる。
【００２２】
本発明の第２態様によれば、画像情報を構成する線分の筆跡を用いて線状オブジェクトに変換することができるので、描画領域に手書きで書いたイラストを用いて再生条件の決定をすることができる。
【００２３】
本発明の第３態様によれば、画像情報を構成する色の情報によって予め用意した音質対応情報に基づいて音質を決定することができるため、イラストだけではなく、画像の色によった音声の変化を楽しむことができる。
【００２４】
本発明の第４態様によれば、第１軸方向に位置する２以上の座標位置に基づいて、例えば平均値を取るなど、演算によって線状オブジェクトを構成する演算座標位置を求めることができる。したがって、手書きの線図だけではなく，写真などの任意の画像を線状オブジェクトに変換することができ、再生条件の決定をすることができる。
【図面の簡単な説明】
【００２５】
【図１】本発明の実施形態にかかるテキスト音声変換装置を用いた通信システムのシステム構成を示す図である。
【図２】本実施形態にかかる電子掲示板システムにおいて用いられる利用者端末の構成を示す図である。
【図３】本実施形態にかかる電子掲示板システムの動作の流れを示すチャートである。
【図４】利用者端末に表示されるデータ入力画面の表示例である。
【図５】本発明の本実施形態にかかる電子掲示板システムに用いられるサーバ装置が行なうテキスト音声変換処理のフローチャートである。
【図６】本発明の電子掲示板システムに用いられる第１実施形態のサーバ装置の機能ブロックの構成を示す図である。
【図７】筆跡変換部が行なう絶対値変換の処理の例について説明する図である。
【図８】図４の入力画面に描画されたイラストデータの筆跡（ａ）及び当該イラストデータから変換される線状オブジェクト（ｂ）を示す図である。
【図９】文字列割当部が行なう文字割付の処理について説明する図である。
【図１０】音階変動データのパターンの一例である。
【図１１】本発明の電子掲示板システムに用いられる第２実施形態のサーバ装置の機能ブロックの構成を示す図である。
【図１２】Ｙ軸座標演算部６７が行なうＹ軸演算の処理について説明する図である。
【発明を実施するための形態】
【００２６】
以下、本発明の一実施形態に係るテキスト音声変換装置を用いた通信システムについて、図面を参照しながら説明する。
【００２７】
図１は、本発明の実施形態にかかるテキスト音声変換装置を用いた通信システムのシステム構成を示す図である。通信システム１は、インターネットＮＴを用いて構成されるネットワークシステムであり、サーバ装置２と利用者端末３とがネットワークＮＴで接続された構成である。なお、図１では、２台の利用者端末３を接続した構成を示しているが、その設置台数は特に限定されるものではない。
【００２８】
サーバ装置２は、汎用あるいは専用のコンピュータで構成されており、後述するように、利用者端末３からのメッセージ及び音声再生条件を受信して、これを音声データに変換するためのテキスト音声変換装置として機能する。また、後述するように本通信システムの使用形態によっては、ウェブサーバ、電子メールサーバなどの機能を併せ持っていてもよい。
【００２９】
利用者端末３は、利用者が操作する、ネットワークに接続することができる汎用コンピュータ、携帯端末などであり、ｗｅｂブラウザ機能を有することが好ましい。後述するように、利用者は利用者端末３を用いてテキスト入力及びイラスト入力を行ない、当該入力したテキストデータがサーバ装置で音声変換された音声情報を受信する。
【００３０】
なお、利用者端末の使用態様としては、自己の利用者端末に入力したテキストデータ、イラストデータに基づいて変換された音声データを自己の利用者端末で再生するようにしてもよいし、電子メール機能や電子掲示板のように、自己の利用者端末で入力したテキストデータ、イラストデータに基づいて変換された音声データを、特定又は不特定の他人の利用者端末へ送り、他人の利用者端末で再生するようにしてもよい。本通信システム１の態様は、サーバ装置２及び利用者端末３の構成により決定されるものであるが、本発明の特徴部分であるサーバ装置２のテキスト音声変換機能については、いずれの態様においても共通する。
【００３１】
以下、本実施形態にかかる通信システムとして、電子掲示板システムを例にとって説明する。電子掲示板システムとは、投稿者である利用者の利用者端末３からサーバ装置２に送信されたテキストデータを掲示し、当該掲示されたテキストデータが不特定多数の閲覧者である利用者の利用者端末３により参照され、閲覧者が興味を持ったテキストデータを特定することでサーバ装置２によって、投稿時に変換された音声データを閲覧者の利用者端末３に送信し閲覧者の利用者端末３が再生されるシステムである。
【００３２】
図２は、本実施形態にかかる電子掲示板システムにおいて用いられる利用者端末の構成を示す図である。図３は、本実施形態にかかる電子掲示板システムの動作の流れを示すチャートである。
【００３３】
図２に示す利用者端末は、汎用コンピュータ又は携帯電話端末などが用いられ、制御演算部１０、通信部１１，記憶装置１２，入力部１３，表示部１４，スピーカ１５を備える。図３に示すように、利用者端末３は、投稿者端末３ａ及び閲覧者端末３ｂとして双方の役割を有する。
【００３４】
制御演算部１０は、ＣＰＵなどからなり、記憶装置に格納されるアプリケーションプログラム１２ａを展開し、当該アプリケーションプログラム１２ａとの協働により、利用者端末３の各部の動作を統括的に制御する。
【００３５】
通信部１１は、有線又は無線の手段によりインターネットＮＴを介して行なわれる利用者端末３外部との通信を司る。
【００３６】
入力部１３は、テキスト入力及びイラスト入力を含む各種情報入力を行なうものであり、文字入力を行なうためのものとしてキーボード、イラスト入力を行なうものとしてタッチパネル、タブレットなどが例示される。また、ＧＵＩ（グラフィカルユーザーインターフェース）による操作を行なうためにマウスなどのポインティングデバイスなども備えている。
【００３７】
表示部１４は、投稿データを入力するための入力画面及びサーバ装置２から送られる掲示画面を表示するためのモニタ装置である。
【００３８】
スピーカ１５は、サーバ装置２から送られる音声データの再生に用いられる。
【００３９】
本実施形態にかかる電子掲示板システムは、上述のように、利用者端末３（投稿者端末３ａ）から投稿されたテキストデータを掲示して、他の利用者端末３（閲覧者端末３ｂ）から閲覧可能とし、さらに、投稿者端末３ａによって入力されたイラストデータに基づいて抑揚再生条件が決定された読み上げ用の音声データを利用者端末３（利用者端末３ａ及び閲覧者端末３ｂ）で再生するシステムである。
【００４０】
図３に示すように、本実施形態にかかる電子掲示板システムの処理の流れは、次の通りである。まず、利用者端末（投稿者端末）３ａがサーバ装置２にログイン（＃１０）すると、サーバ装置２が投稿者端末３ａに入力画面を送信する（＃２０）。
【００４１】
次いで、投稿者端末３ａがテキスト及びイラストのデータ入力を行なう（＃１１）。この際、サーバ装置２との通信を行ない、現在の音声データがどのように再生されるかを確認できるように構成されていてもよい。音声データの確認に際し、サーバ装置２は、テキスト音声変換のデータ変換を行なう（＃２１）。
【００４２】
投稿者は、テキストデータ及びイラストデータの入力が終了すると、利用者端末３ａからデータをサーバ装置２に投稿する（＃１２）。サーバ装置２は、テキストデータの文章を読み上げる音声データに変換する（＃２２）。音声データの変換においては、投稿されたデータのうちイラストデータなどを用いて抑揚再生条件を決定し、音声再生時の音声データの音の高低、抑揚、アクセントなどに反映される。サーバ装置２が行なうデータ変換処理についての詳細は後述する。
【００４３】
サーバ装置２は、投稿されたデータのうち、テキストデータのみを掲示する（＃２３）。
【００４４】
閲覧者端末３ｂは、ログイン（＃３０）後、投稿者端末３ａから投稿されたテキストデータを自由に閲覧することができる（＃３１）。投稿者は、音声データを再生したいテキストデータについて特定（＃３２）すると、この情報がサーバ装置２に送信され、この情報を受信したサーバ装置２が、テキストデータの文章を読み上げる音声データを閲覧者端末３ｂに送信する（＃２４）。閲覧者端末３ｂは、受信した音声データを再生する（＃３３）。
【００４５】
次に、具体的な処理について詳細に説明する。図４は、データ入力（＃１１）時に利用者端末に表示されるデータ入力画面の表示例である。入力画面２０には、テキスト入力欄２１、イラスト入力欄２２が表示されている。また、試聴ボタン２３、投稿ボタン２４、音質調整欄２５、変声ボタン２７、ペン選択欄２８、写真選択ボタン２９なども表示されている。
【００４６】
テキスト入力欄２１は、入力部１３の一例であるキーボードなどを利用して、利用者が決定した任意のテキストデータを入力するための欄である。テキスト入力欄２１に入力されたテキストデータ３０は、音声再生時の読み上げデータとして利用される。
【００４７】
イラスト入力欄２２は、入力部１３の一例であるマウス、タッチパネル、タブレットなどを利用して、利用者が任意のイラストを描画・表示するための領域であり、Ｘ軸、Ｙ軸方向にそれぞれ広がりを有する描画領域である。イラストは利用者が任意に決定することができ、テキスト入力欄に入力したテキストデータとはまったく無関係のものであってもよい。イラストとしては、線分により描画されるイラスト及び写真画像であることが好ましい。入力デバイスの種類によっては筆圧なども検出してイラストの線分の太さを変えるなどさせてもよい。イラスト入力欄２２に描画されたイラストデータ３１は、サーバ装置に送信されて抑揚再生条件の設定に利用され、音声再生時の音声データの音の高低、抑揚、アクセントなどに反映される。このテキスト音声変換に関してサーバ装置２が行なう処理についての詳細は後述する。
【００４８】
試聴ボタン２３は、現在入力されているテキストデータ及びイラストデータその他の条件によってどのような音声データが作成されるかを確認するためのボタンであり、押下すると、音声データが再生される。
【００４９】
投稿ボタン２４は、投稿者端末から入力されたテキストデータ及びイラストデータを決定したあと、下記の諸条件の設定条件を含めてサーバ装置２に送信してするためのボタンであり、押下することで入力データ及び種々の設定条件がサーバ装置に送信される。データを受信したサーバ装置２は、電子掲示板に掲示する処理及びテキスト音声変換の処理を行なう。
【００５０】
音質調整欄２５は、中央にあるマーク２６を移動させることで、再生時の音声のイメージを調整するための欄である。本実施形態では、元気かクールか、及び暖かいか寒い音声かなど感情、感覚的な表現を用いて音質を調整する。音質の調整は、２軸座標中のマーク２６の位置情報がサーバ装置２に送信され、サーバ装置２が音質調整欄２５のマーク２６の位置情報に基づいて再生時の音質を決定する。この処理については後述する。
【００５１】
変声ボタン２７は、再生する音声を選択するためのボタンであり、具体的には、男声、女声、などの音声を選択することができる。選択可能な音声は予めサーバ装置２に記憶されており、利用者端末３において選択された結果に基づいてサーバ装置が選択する。
【００５２】
ペン選択欄２８は、イラスト入力欄２２に描画する場合のペンの種類を選択するための欄である。ペンの種類としては、色、線の太さなどが挙げられる。描画に用いられたペンの種類の情報は、予めサーバ装置２に記憶されており、利用者端末３において選択された結果がサーバに送信され、サーバ装置２におけるテキスト音声変換処理において変換される音声データの音質などの調整に用いられる。
【００５３】
写真選択ボタン２９は、イラスト入力欄２２に入力される画像として写真などを選択することができる。選択される背景画像としては、投稿者端末３ａあるいは投稿者端末３ａが読み書き可能な外部記憶装置に格納されたものを用いることができる。選択された画像は、イラスト入力欄２２の画像サイズにサイズ変更され、例えば背景画像としてイラスト入力欄２２に表示される。投稿者は、当該背景画像の上に手書きのイラストを追加して描画することができる。投稿ボタン２４を押すことにより、イラスト入力欄２２に表示されている背景画像及び追加で手書きしたイラストがサーバ装置２に送信される。
【００５４】
次に、サーバ装置２が行なうテキスト音声変換処理について説明する。サーバ装置２は、電子掲示板の管理サーバとしての機能に加えて、利用者端末３（投稿者端末３ａ）から受信したデータに基づいて抑揚再生条件を決定し、テキスト入力欄２１に入力されたテキストデータを抑揚再生条件に基づいて音声変換する機能を有するテキスト音声変換装置としての機能を有する。
【００５５】
図５は、本発明の本実施形態にかかる電子掲示板システムに用いられるサーバ装置が行なうテキスト音声変換処理のフローチャートである。サーバ装置２が行なうテキスト音声変換処理は、図３の＃２２に包含される。
【００５６】
本実施形態にかかるサーバ装置２は、投稿者端末３ａからイラスト入力欄２２に入力されたイラストや背景画像、音質などの設定条件及びテキスト入力欄２１に入力されたテキストデータを含む各種データを受信（＃１０１）する。その後、受信したデータのうち、イラストや背景画像を線状オブジェクトに変換し（＃１０２）、当該線状オブジェクトに沿ってテキストデータの文字列を割り付ける（＃１０３）。
【００５７】
次いで、音質調整欄２５のマーク２６の位置に関する情報及びイラストの線分を描画したペンの情報に基づいて音質及びスケールを、また、変声ボタン２７により選択された音声に設定・調整する（＃１０４）。その後、線状オブジェクトの曲線の位置に応じて対応する文字での音階を決定する（＃１０５）。
【００５８】
（第１実施形態）
次に、サーバ装置が行なうテキスト音声変換処理を詳細に説明する。図６は、本発明の電子掲示板システムに用いられる第１実施形態のサーバ装置の機能ブロックの構成を示す図である。図６に示すサーバ装置２は、制御演算部５０、送受信部５１、記憶装置５２、掲示板管理部５３を備えている。
【００５９】
制御演算部５０は、ＣＰＵなどからなり、記憶装置５２に格納されるプログラム５６を展開し、当該プログラム５６との協働により、サーバ装置２の各部の動作を統括的に制御することによって、サーバ装置におけるテキスト音声変換処理を実行する。
【００６０】
送受信部５１は、インターネットＮＴを介して行なわれる利用者端末３との通信を司る。具体的には、投稿者端末３ａからの各種データの送受信及び閲覧者端末３ｂからの掲示板閲覧及び音声データ送信を主として行なう。
【００６１】
記憶装置５２には、プログラム５６の他に各種データなどが記憶される。記憶装置５２に記憶されるデータとしては、音声種別データ５７，スケールデータ５８，音階変動データ５９などが存在する。これらの各種データについては後述する。
【００６２】
掲示板管理部５３は、電子掲示板としての機能を統括して行なう。具体的には、データの投稿、投稿されたテキストデータの閲覧及び特定された音声データの送信などの管理を司る。
【００６３】
制御演算部５０には、再生される音声データの抑揚再生条件を決定する処理を行なう再生条件設定部５４と、決定された抑揚再生条件を具備する読み上げ用の音声データに変換する音声変換部５５とが設けられている。
【００６４】
再生条件設定部５４が行なう抑揚再生条件の決定は、上記のように、利用者端末３のイラスト入力欄２２に描画されたイラストデータをサーバ装置２が受信し、線形的な線状オブジェクトに変換（＃１０２）する処理工程を有し、この処理を司る筆跡抽出部６０及び筆跡変換部６１が設けられている。
【００６５】
筆跡抽出部６０は、利用者端末３のイラスト入力欄２２に描画されたイラストデータの筆跡を抽出する処理を行なう。筆跡は、イラスト入力時において、投稿者端末３に記録された手書きされる線分中の各座標を用いることにより抽出される。
【００６６】
筆跡変換部６１は、抽出された筆跡のうちイラスト入力欄２２のＸ軸方向に変位する筆跡の移動量について絶対値とすることで、手書きのイラストをＹ軸方向に変位を有するＸ軸方向に連続して伸びる１本の線分に変換する。図７は、筆跡変換部が行なう絶対値変換の処理の例について説明する図である。
【００６７】
図７では、イラスト入力欄２２に描画された線分の始点を黒丸を付して表すと共に、２以上の線分については、数字で筆跡の順序について示している。図７（ａ）に示す例では、イラスト入力欄２２に記載されたイラストはＸ軸方向に減少する要素が存在しないため、筆跡変換部６１が行なう絶対値変換の結果物である線状オブジェクトは、イラスト入力欄２２に記載された線分と同じ形状となる。
【００６８】
線状オブジェクトの始点は、イラスト入力欄２２に入力された線分の位置にかかわらず、原点からとする。
【００６９】
図７（ｂ）に示す例では、イラスト入力欄２２に記載されたイラストは、ループの部分でＸ軸方向に減少する部分があるため、当該部分について変化量の絶対値を取る。その結果、線状オブジェクトは、Ｘ軸方向に常時増加する線分となる。
【００７０】
図７（ｃ）に示す例では、イラスト入力欄２２に記載されたイラストが、互いに不連続な複数の線分で構成されている場合には、両者を接続させて一本の線分として扱う。ただし、連結部分のＸ軸方向の移動量は０としてもよいし、所定量移動させてもよい。例えば、連結部分のＹ軸方向の変化が予め設定した閾値より大きい場合は、Ｘ軸方向に移動量を与えることとしてもよい。
【００７１】
図８は、図４の入力画面に描画されたイラストデータの筆跡（ａ）及び当該イラストデータから変換される線状オブジェクト（ｂ）を示す図である。図８（ａ）は図４の入力画面に描画されたイラストデータを示している。これらのイラストはすべて線分で構成されたものであり、各線分は、黒丸の部分を始点とし、矢印方向に描画されている。線分の数字は描画順序を示している。また、図８（ｂ）は、筆跡変換部６１によって図８（ａ）のイラストを変換して作成された線状オブジェクトである。図８（ａ）のように入力画面に描画されたイラストデータが多数の線分で構成されている場合、変換される線状オブジェクトは、Ｘ軸方向に十分な長さを有する。このため、線状オブジェクトを所定長となるように縮小してもよい。また、イラストの種類によって線状オブジェクトのＹ軸方向の変位幅についても縮小してもよい。
【００７２】
色情報選択部６２は、入力画面に描画されたイラストデータの線分の色の情報に基づいて、変換された線状オブジェクトのどの部分がどの色情報を有しているかについて決定する。
【００７３】
音声変換部５５が行なう決定された抑揚再生条件を具備する読み上げ用の音声データの変換は、文字列割当部６３，抑揚決定部６４，音質・音声調整部６５が司る。
【００７４】
文字列割当部６３は、作成された線状オブジェクトの形状に沿って、文字列を割り当てる。具体的には、図９に示すように、テキスト入力欄２１に入力されたテキストデータの文字を文字列が均等になるように線状オブジェクトに割り付けて配置し、それぞれの文字の発音時の抑揚（音の高低）を決定する。
【００７５】
抑揚の決定は抑揚決定部６４が処理を司り、記憶装置に格納されている音階変動データ５９を参照して行う。抑揚の決定に用いられる音階変動データは、一つの文字に対して抑揚の変化をパターン化したデータである。本実施形態においては、線形オブジェクトの形状が複雑になりやすいため、文字ごとに割り当てられた線状オブジェクトの抑揚をパターン別に類型化する処理を採用する。
【００７６】
図１０は、音階変動データ５９のパターンの一例である。本実施形態では、音階変動データは、（ａ）から（ｅ）までの５のパターンが設定されている。（ａ）（ｂ）は、始まりの音階に対して音階が上がるパターンであって、音階変動のタイミングが前及び後になっている場合である。（ｃ）（ｄ）は、始まりの音階に対して音階が下がるパターンであって、音階変動のタイミングが前及び後になっている場合である。（ｅ）は、文字の発生途中に音階が変動しないパターンである。なお、これらの音階変動データは、音の再生時の抑揚を決定するものであって、具体的な音階（何度変動するか）などについては、特に定められているものではない。
【００７７】
パターンの選択は、文字ごとに割り当てられた線状オブジェクトの当該文字での始点、中間点、終点のＹ軸座標位置を参照して行うことができる。例えば、始点より終点の方がＹ座標として大きい場合は、始まりの音に対して音階が上がる（ａ）（ｂ）のパターンを選択する。また、３つの座標値の差分が閾値より小さい場合は、文字の発生途中に音階が変動しない（ｅ）のパターンを選択する。
【００７８】
さらに、抑揚決定部６４は、スケールデータ５８を参照して線状オブジェクトのＹ軸方向の座標位置による音階の決定を行なう。スケールデータは、Ｙ軸の座標に沿って割り当てられる音階のデータであり、全音階、半音階などの伝統的な音階の他、地域特有の民族音楽に特有の音階（例えば沖縄民謡などに用いられる琉球音階）など各種音階のスケールデータが含まれている。スケールデータは、音質調整欄２５におけるマークの位置２６により自動的に選択される。
【００７９】
抑揚決定部６４は、音階変動データ５９のパターンの選択及びスケールデータ５８の選択が終了すると、それぞれの文字に割り当てられた抑揚について、両者を参照して、始まりの音の高さ及び変動時の音の高さを決定する。変動時の音の高さは、当該文字に割り当てられた線状オブジェクトの形状によって決定される。
【００８０】
音質・音声調整部６５は、抑揚決定部６４によって決定された抑揚を用いて音声再生する場合の音質及び音声を調整する。音質及び音声の調整は、音質調整欄２５のマーク２６の位置及び変声ボタン２７によって音声種別データ２７の中から選択された音声種別及び線分の色などの情報により決定される。また、線分の太さの情報に基づいて、再生時の音量を変化させてもよい。
【００８１】
上記の通り、制御演算部５０の各機能ブロックによって変換された音声データは、掲示板管理部により記憶され、テキストデータの閲覧及び特定のテキストデータの選択による音声再生命令を受信することにより閲覧者端末３ｂに送信され再生される。
【００８２】
本実施形態にかかる電子掲示板システムによれば、テキストデータだけではなく、自由なイラストに応じてテキストの読み上げの抑揚などが変化するため、より趣向的なコミュニケーションをはかることができる。
【００８３】
（第２実施形態）
次に第２実施形態にかかるサーバ装置２について説明する。第２実施形態にかかるサーバ装置２は、利用者端末３のイラスト入力欄２２に描画されたイラストデータが手書きの線図ではなく、線図の筆跡の情報が存在しない場合に線状オブジェクトを作成するための装置である。線状オブジェクトの変換処理が異なるため、別実施形態として説明するが、装置構成としては第１実施形態にかかるサーバ装置と同じ装置であってもよい。
【００８４】
図１１は、本発明の電子掲示板システムに用いられる第２実施形態のサーバ装置の機能ブロックの構成を示す図である。図１１に示すサーバ装置２は、制御演算部５０、送受信部５１、記憶装置５２、掲示板管理部５３を備えている。図１１に示すサーバ装置は、第１実施形態にかかるサーバ装置と機能的に共通する部分を有するため共通部分については説明を省略し、異なる部分について主に説明する。
【００８５】
制御演算部５０には、再生される音声データの抑揚再生条件を決定する処理を行なう再生条件設定部５４と、決定された抑揚再生条件を具備する読み上げ用の音声データに変換する音声変換部５５とが設けられている。
【００８６】
再生条件設定部５４が行なう抑揚再生条件の決定は、上記のように、利用者端末３のイラスト入力欄２２に描画されたイラストデータをサーバ装置２が受信し、線形的な線状オブジェクトに変換（＃１０２）することにより行なわれる。この処理を司る線図変換部６６，Ｙ軸座標演算部６７，線分作成部６８を備える。
【００８７】
線図変換部６６は、イラスト入力欄２２に描画されたイラストデータが写真などであって、筆跡の情報を有しない場合にこれらの画像を線図に画像変換する処理を行なう。線図への画像変換は、公知の技術を用いることができ、イラストデータの色情報などを基準として被写体の輪郭を線図に置き換える処理などにより実行可能である。なお、イラスト入力欄２２の背景画像として写真が選択され、その上に手書きで線分によるイラストが描画された場合は、これらの画像を一体として線図変換してもよいし、写真の背景画像のみを線図変換してもよい。なお、線図変換されたイラストデータは、構成する線分の色情報を有していてもよい。
【００８８】
Ｙ軸座標演算部６７は、Ｘ軸の任意の座標上に対応する線分のＹ軸の座標に基づいて、１つのＸ軸座標に対して１つのＹ軸座標を演算する処理を司る。図１２は、Ｙ軸座標演算部６７が行なうＹ軸演算の処理について説明する図である。図１２に示すように、線図に変換されたイラストデータの任意のＸ座標（Ｘａ）上には、イラストを構成する点（Ｙａ〜Ｙｅ）が複数存在する場合がある。この場合、対応するＸ軸上の座標位置（Ｘａ）で線状オブジェクトを構成させるＹ軸座標位置を演算するものである。
【００８９】
Ｙ軸座標演算部６７が行なうＹ軸の演算座標位置の演算は、自由に決定することができる。一例としては、それぞれのＹ軸座標（Ｙａ〜Ｙｅ）の座標位置の平均値を演算座標位置とすることができる。また、他の例としては、それぞれのＹ軸座標（Ｙａ〜Ｙｅ）の座標位置の任意の一点を、ランダムに選択して演算座標位置としてもよいし、各座標の座標値を合算して、演算座標位置としてもよい。
【００９０】
線分作成部６８は、Ｙ軸座標演算部６７によって演算されたそれぞれのＸ軸座標位置でのＹ軸の演算座標を包含する線状オブジェクトを作成する処理を行なう。演算座標間の線状オブジェクトは、線状オブジェクトの曲線がスムーズになるように補完するなどの変更処理を行なってもよい。
【００９１】
以上の処理により作成された線状オブジェクトに基づいて、音声変換部５５が読み上げ用の音声データの変換を行う。この処理は、第１実施形態と同様であるため、説明を省略する。
【００９２】
以上、本実施形態によれば、手書きによらない写真などのイラストに基づいてテキストデータの読み上げの抑揚などを決定することができる。
【００９３】
以上説明したように、２軸方向に広がりを有するイラスト入力欄２２の表されたイラストを線状オブジェクトに変換することにより、一方向に沿って認識されるテキストオブジェクトの文字列を線状オブジェクトに割り付け、その結果を音階などの抑揚条件の基準とすることができる。従って、例えば、利用者が描画領域に描画したイラストに基づいて線状オブジェクト作成し、テキストデータの抑揚再生条件を決定することができる。
【００９４】
従って、利用者は、例えば自分が描画領域に描いた手書きのイラストや写真データなどを用いた場合、どのような再生条件で再生されるのかについての趣向を持つことができ、イラストによりどのような音声でテキストデータが音声変換されるかを楽しむことができる。よって、本発明によれば、エンターテイメントツールとして優れたテキスト音声変換再生を実現することができる。また、これらのデータを他者に送信することなどで、コミュニケーションの感情を十分に表現でき、趣向的に富むものとすることができる。
【００９５】
なお、本発明は上記実施形態に限定されるものではなく、その他種々の態様で実施可能である。例えば、本実施形態では、電子掲示板システムを構成するサーバ装置の一機能として、テキスト音声変換処理を有する構成としたが、例えば、電子メールサーバに同様の機能を持たせることもできる。また、ネットワークに接続しないスタンドアロン形の装置として同様の機能を持たしてもよい。
【００９６】
また、音階決定の処理工程は、従来広く行なわれている方法を適用することができ、例えば、文字当たりの音階変動を決定する処理に、音階変動データのパターン当てはめを用いることなく、線状オブジェクトの曲線の変化をそのまま音階に用いることができる。この場合、一音ごとの音階の変化が大きくなり、ビブラートをかけたような豊かな再生音を表現することができる。
【符号の説明】
【００９７】
１ 通信システム（電子掲示板システム）
２ サーバ装置
３ 利用者端末
３ａ 投稿者端末
３ｂ 閲覧者端末
１０ 制御演算部
１１ 通信部
１２ 記憶装置
１３ 入力部
１４ 表示部
１５ スピーカ
２０ 入力画面
２１ テキスト入力欄
２２ イラスト入力欄
２３ 試聴ボタン
２４ 投稿ボタン
２５ 音質調整欄
２６ マーク
２７ 変声ボタン
２８ ペン選択欄
２９ 写真選択ボタン
３０ テキストデータ
３１ イラストデータ
５０ 制御演算部
５１ 送受信部
５２ 記憶装置
５３ 掲示板管理部
５４ 再生条件設定部
５５ 音声変換部
５６ プログラム
５７ 音声種別データ
５８ スケールデータ
５９ 音階変動データ
６０ 筆跡抽出部
６１ 筆跡変換部
６２ 色情報選択部
６３ 文字列割当部
６４ 抑揚決定部
６５ 音質・音声調整部
６６ 線図変換部
６７ Ｙ軸座標演算部
６８ 線分作成部
【特許請求の範囲】
【請求項１】
再生される音声データの抑揚再生条件を設定する再生条件設定部と、与えられたテキストデータを前記再生条件設定部によって決定された抑揚再生条件を具備する読み上げ用の音声データに変換する音声変換部とを備えるテキスト音声変換装置であって、
前記再生条件設定部は、互いに交差する第１及び第２方向に広がりを有する描画領域に描画された画像情報を線形的な線状オブジェクトに変換し、
前記音声変換部は、前記線状オブジェクトの第１の方向に沿って前記テキストデータの文字列を割り付け、前記割り付けられたテキストデータの文字に前記線状オブジェクトの第２の方向の位置に応じた抑揚再生条件を与えることを特徴とする、テキスト音声変換装置。
【請求項２】
前記再生条件設定部は、
前記描画領域に描画される画像情報を構成する線分の筆跡を抽出する筆跡抽出部と、
前記筆跡抽出部によって抽出された筆跡のうち、前記第１方向に移動する筆跡の移動量の絶対値に変換し、前記第２方向に変位を有する前記第１方向に連続して伸びる線状オブジェクトとする筆跡変換部とを備え、
前記音声変換部は、前記筆跡変換部により作成された線状オブジェクトに基づいて抑揚再生条件を決定することを特徴とする、請求項１に記載のテキスト音声変換装置。
【請求項３】
前記再生条件設定部は、前記描画領域に描画される画像の色情報を選択して描画するための色情報選択部を備え、
前記音声変換部は、画像の色情報と音声データの音質とを対応づける音質対応情報に基づいて、音声データの音質を決定することを特徴とする、請求項１又は２に記載のテキスト音声変換装置。
【請求項４】
前記再生条件設定部は、
前記描画領域に描画される画像情報を構成する線分の前記第１方向軸の位置に対応する２以上の第２方向軸の座標位置に基づいて、第２方向軸の演算座標位置を演算する第２軸座標演算部と、
前記第２軸座標演算部により算出された、前記第１方向軸の位置にそれぞれ対応する演算座標位置を包含して線状オブジェクトを作成する線分作成部とを備え、
前記音声変換部は、前記線分作成部により作成された線状オブジェクトに基づいて抑揚再生条件を決定することを特徴とする、請求項１に記載のテキスト音声変換装置。
【請求項５】
前記第２軸座標演算部は、前記２以上の第２方向軸の座標位置の平均値を演算座標位置とすることを特徴とする、請求項４に記載のテキスト音声変換装置。
【請求項６】
前記抑揚再生条件としては、前記音声データの音の高低、抑揚、アクセントの少なくとも１つであることを特徴とする、請求項１から５のいずれか１つに記載のテキスト音声変換装置。
【請求項７】
コンピュータに読み込まれて、前記コンピュータを、再生される音声データの抑揚再生条件を設定する再生条件設定手段と、与えられたテキストデータを前記再生条件設定手段によって決定された抑揚再生条件を具備する読み上げ用の音声データに変換する音声変換手段とを備えるテキスト音声変換装置として機能させるプログラムであって、
前記再生条件設定手段は、互いに交差する第１及び第２方向に広がりを有する描画領域に描画された画像情報を線形的な線状オブジェクトに変換する機能を備え、
前記音声変換手段は、前記線状オブジェクトの第１の方向に沿って前記テキストデータの文字列を割り付け、前記割り付けられたテキストデータの文字に前記線状オブジェクトの第２の方向の位置に応じた抑揚再生条件を与える機能を備えることを特徴とするプログラム。
【請求項８】
前記再生条件設定手段は、
前記描画領域に描画される画像情報を構成する線分の筆跡を抽出する筆跡抽出手段と、
前記筆跡抽出手段によって抽出された筆跡のうち、前記第１方向に移動する筆跡の移動量の絶対値に変換し、前記第２方向に変位を有する前記第１方向に連続して伸びる線状オブジェクトを作成させる筆跡変換手段とを備え、
前記筆跡変換手段により作成された線状オブジェクトに基づいて、前記音声変換手段により前記音声データの再生条件を決定させることを特徴とする、請求項７に記載のプログラム。
【請求項９】
前記再生条件設定手段は、
前記描画領域に描画される画像情報を構成する線分の前記第１方向軸の位置に対応する２以上の第２方向軸の座標位置に基づいて、第２方向軸の演算座標位置を演算させる第２軸座標演算手段と、
前記第２軸座標演算手段により算出された、前記第１方向軸の位置に対応するそれぞれの演算座標位置を結んで線状オブジェクトを作成させる線状オブジェクト作成手段とを備え、
前記音声変換手段は、前記線状オブジェクト作成手段により作成された線状オブジェクトに基づいて再生条件を決定させることを特徴とする、請求項７に記載のプログラム。
【請求項１０】
再生される音声データの抑揚再生条件を設定する再生条件設定手段と、与えられたテキストデータを前記再生条件設定手段によって決定された抑揚再生条件を具備する読み上げ用の音声データに変換する音声変換手段とを備えるテキスト音声変換装置により実施されるテキスト音声変換方法であって、
前記再生条件設定手段により、互いに交差する第１及び第２方向に広がりを有する描画領域に描画された画像情報を線形的な線状オブジェクトに変換し、
前記音声変換手段により、前記線状オブジェクトの第１の方向に沿って前記テキストデータの文字列を割り付け、前記割り付けられたテキストデータの文字に前記線状オブジェクトの第２の方向の位置に応じた抑揚再生条件を与えことを特徴とするテキスト音声変換方法。
【請求項１】
再生される音声データの抑揚再生条件を設定する再生条件設定部と、与えられたテキストデータを前記再生条件設定部によって決定された抑揚再生条件を具備する読み上げ用の音声データに変換する音声変換部とを備えるテキスト音声変換装置であって、
前記再生条件設定部は、互いに交差する第１及び第２方向に広がりを有する描画領域に描画された画像情報を線形的な線状オブジェクトに変換し、
前記音声変換部は、前記線状オブジェクトの第１の方向に沿って前記テキストデータの文字列を割り付け、前記割り付けられたテキストデータの文字に前記線状オブジェクトの第２の方向の位置に応じた抑揚再生条件を与えることを特徴とする、テキスト音声変換装置。
【請求項２】
前記再生条件設定部は、
前記描画領域に描画される画像情報を構成する線分の筆跡を抽出する筆跡抽出部と、
前記筆跡抽出部によって抽出された筆跡のうち、前記第１方向に移動する筆跡の移動量の絶対値に変換し、前記第２方向に変位を有する前記第１方向に連続して伸びる線状オブジェクトとする筆跡変換部とを備え、
前記音声変換部は、前記筆跡変換部により作成された線状オブジェクトに基づいて抑揚再生条件を決定することを特徴とする、請求項１に記載のテキスト音声変換装置。
【請求項３】
前記再生条件設定部は、前記描画領域に描画される画像の色情報を選択して描画するための色情報選択部を備え、
前記音声変換部は、画像の色情報と音声データの音質とを対応づける音質対応情報に基づいて、音声データの音質を決定することを特徴とする、請求項１又は２に記載のテキスト音声変換装置。
【請求項４】
前記再生条件設定部は、
前記描画領域に描画される画像情報を構成する線分の前記第１方向軸の位置に対応する２以上の第２方向軸の座標位置に基づいて、第２方向軸の演算座標位置を演算する第２軸座標演算部と、
前記第２軸座標演算部により算出された、前記第１方向軸の位置にそれぞれ対応する演算座標位置を包含して線状オブジェクトを作成する線分作成部とを備え、
前記音声変換部は、前記線分作成部により作成された線状オブジェクトに基づいて抑揚再生条件を決定することを特徴とする、請求項１に記載のテキスト音声変換装置。
【請求項５】
前記第２軸座標演算部は、前記２以上の第２方向軸の座標位置の平均値を演算座標位置とすることを特徴とする、請求項４に記載のテキスト音声変換装置。
【請求項６】
前記抑揚再生条件としては、前記音声データの音の高低、抑揚、アクセントの少なくとも１つであることを特徴とする、請求項１から５のいずれか１つに記載のテキスト音声変換装置。
【請求項７】
コンピュータに読み込まれて、前記コンピュータを、再生される音声データの抑揚再生条件を設定する再生条件設定手段と、与えられたテキストデータを前記再生条件設定手段によって決定された抑揚再生条件を具備する読み上げ用の音声データに変換する音声変換手段とを備えるテキスト音声変換装置として機能させるプログラムであって、
前記再生条件設定手段は、互いに交差する第１及び第２方向に広がりを有する描画領域に描画された画像情報を線形的な線状オブジェクトに変換する機能を備え、
前記音声変換手段は、前記線状オブジェクトの第１の方向に沿って前記テキストデータの文字列を割り付け、前記割り付けられたテキストデータの文字に前記線状オブジェクトの第２の方向の位置に応じた抑揚再生条件を与える機能を備えることを特徴とするプログラム。
【請求項８】
前記再生条件設定手段は、
前記描画領域に描画される画像情報を構成する線分の筆跡を抽出する筆跡抽出手段と、
前記筆跡抽出手段によって抽出された筆跡のうち、前記第１方向に移動する筆跡の移動量の絶対値に変換し、前記第２方向に変位を有する前記第１方向に連続して伸びる線状オブジェクトを作成させる筆跡変換手段とを備え、
前記筆跡変換手段により作成された線状オブジェクトに基づいて、前記音声変換手段により前記音声データの再生条件を決定させることを特徴とする、請求項７に記載のプログラム。
【請求項９】
前記再生条件設定手段は、
前記描画領域に描画される画像情報を構成する線分の前記第１方向軸の位置に対応する２以上の第２方向軸の座標位置に基づいて、第２方向軸の演算座標位置を演算させる第２軸座標演算手段と、
前記第２軸座標演算手段により算出された、前記第１方向軸の位置に対応するそれぞれの演算座標位置を結んで線状オブジェクトを作成させる線状オブジェクト作成手段とを備え、
前記音声変換手段は、前記線状オブジェクト作成手段により作成された線状オブジェクトに基づいて再生条件を決定させることを特徴とする、請求項７に記載のプログラム。
【請求項１０】
再生される音声データの抑揚再生条件を設定する再生条件設定手段と、与えられたテキストデータを前記再生条件設定手段によって決定された抑揚再生条件を具備する読み上げ用の音声データに変換する音声変換手段とを備えるテキスト音声変換装置により実施されるテキスト音声変換方法であって、
前記再生条件設定手段により、互いに交差する第１及び第２方向に広がりを有する描画領域に描画された画像情報を線形的な線状オブジェクトに変換し、
前記音声変換手段により、前記線状オブジェクトの第１の方向に沿って前記テキストデータの文字列を割り付け、前記割り付けられたテキストデータの文字に前記線状オブジェクトの第２の方向の位置に応じた抑揚再生条件を与えことを特徴とするテキスト音声変換方法。
【図１】
【図２】
【図３】
【図４】
【図５】
【図６】
【図７】
【図８】
【図９】
【図１０】
【図１１】
【図１２】
【図２】
【図３】
【図４】
【図５】
【図６】
【図７】
【図８】
【図９】
【図１０】
【図１１】
【図１２】
【公開番号】特開２０１２−１７３７７０（Ｐ２０１２−１７３７７０Ａ）
【公開日】平成２４年９月１０日（２０１２．９．１０）
【国際特許分類】
【出願番号】特願２０１１−３２０１８（Ｐ２０１１−３２０１８）
【出願日】平成２３年２月１７日（２０１１．２．１７）
【出願人】（５０５２０１９９５）株式会社ソリッドアーツ (2)
【Ｆターム（参考）】
【公開日】平成２４年９月１０日（２０１２．９．１０）
【国際特許分類】
【出願日】平成２３年２月１７日（２０１１．２．１７）
【出願人】（５０５２０１９９５）株式会社ソリッドアーツ (2)
【Ｆターム（参考）】
[ Back to top ]