歌声合成システム、歌声合成方法及び歌声合成装置
【課題】本発明は記憶ユニット、テンポユニット、入力装置、及び処理ユニットを備える歌声合成システムを提供する。
【解決手段】記憶ユニットは少なくとも１つの一旋律を記憶し、テンポユニットはテンポを指示し、入力装置は複数の音声信号を受信し、処理ユニットは音声信号に処理を行って合成歌声信号を生成する。
【解決手段】記憶ユニットは少なくとも１つの一旋律を記憶し、テンポユニットはテンポを指示し、入力装置は複数の音声信号を受信し、処理ユニットは音声信号に処理を行って合成歌声信号を生成する。
【発明の詳細な説明】
【技術分野】
【０００１】
本発明は、主に歌声の合成技術に関し、より詳しくは、迫真の歌声を作り出せる歌声合成システム、歌声合成方法及び歌声合成装置に関する。
【背景技術】
【０００２】
近年、情報科学技術が発展し次第に成熟するに伴って、電子計算装置が具備する処理能力も大幅に向上し、多くの複雑な応用が実用化されているが、そのうちの１つが音声や歌声合成の関連技術である。一般的に、音声合成とは人工的に人間に近い音声を生み出す技術を広く指し、例えば、バーチャル歌手、電子ペット、歌唱練習ソフト、作曲家と歌手の組合せのシミュレーション等のように、現在既に多くの関連した応用があり、これに呼応したニーズも次第に増加している。しかし、従来の一般的な音声や歌声の合成方法は、図１に示すように、言語データベース（Ｃｏｒｐｕｓ Ｄａｔａｂａｓｅ）２０によって文字と音声との間を変換することをベースとする。従って、事前に人間の音声データを録音して言語データベース２０を構築しなければならない。なお、言語データベース２０を構築するための入力する言語データの入力は、単音節データ（Ｓｉｎｇｌｅ−Ｓｙｌｌａｂｌｅ−ｂａｓｅｄ Ｃｏｒｐｕｓ）２１の入力、単語データ（Ｃｏａｒｔｉｃｕｌａｔｉｏｎ−ｂａｓｅｄ Ｃｏｒｐｕｓ）２２の入力、及び歌詞データ（Ｓｏｎｇ−ｂａｓｅｄ Ｃｏｒｐｕｓ）２３の入力に分けられる。ここで、単音節データ２１の入力には、中国語を例に取ると、図１６に図面として示すような字形の注音字母等の中国語の単音節があり、単語データ２２の入力には「明日」、「明後日」等のような入力がある。
【０００３】
図１は従来の歌声合成方法のフローチャートである。先ず、選定楽曲のＭＩＤＩ（Ｍｕｓｉｃａｌ Ｉｎｓｔｒｕｍｅｎｔ Ｄｉｇｉｔａｌ Ｉｎｔｅｒｆａｃｅ、ＭＩＤＩ）ファイルと歌詞データを入力する。ＭＩＤＩファイルにはテンポと音符等の情報を含む選定楽曲の楽譜（ｓｃｏｒｅ）が含まれており、ステップＳ１０１で入力されたＭＩＤＩファイルと歌詞データに基づき単語分割（Ｗｏｒｄ Ｓｅｇｍｅｎｔａｔｉｏｎ）を行って音声ラベル（Ｐｈｏｎｅｔｉｃ Ｌａｂｅｌ）を取得した上で、ステップＳ１０２で単語誘導を行い、言語データベース２０から最も適合する言語を選び出し、ステップＳ１０３で音長（ｄｕｒａｔｉｏｎ）と音高（Ｐｉｔｃｈ）を調整し、最後に、ステップＳ１０３で音と音の間の接続と平滑処理を行い、エコー効果を加味し、伴奏音楽を付加して、合成の歌声を得る。
【発明の概要】
【発明が解決しようとする課題】
【０００４】
しかしながら、従来の技術には下記の欠点があった。
（１）言語データベースの構築のために、長時間を要して言語の録音を行う必要があり、しかも言語データベースには膨大な記憶領域（保存スペース）を必要とする。
（２）単語誘導プログラムが複雑で、大量のシステム資源を消費し、しかも単語分割ミスという問題が発生し易い。
（３）歌声の合成効果が芳しくない。特に中国語については、機械音がはっきりと聞こえる。
（４）予め録音する言語データベースに制限されて、固定された音色しか出せず、また音色を変更しようとすると、言語データベースを録音し直さなければならない。
（５）プログラムが全体的に複雑で、合成歌声を製作するのに長時間を要し、リアルタイムで合成歌声が取得できない。
このため、全体的に従来の歌声合成の方法はコスト面、効率面、及び合成歌声の流暢さから言って、依然として一般ユーザーのニーズを満たせていない。
【０００５】
本発明の目的はユーザーが楽理を習熟したり歌唱に長けたりする必要なくして、口頭でテンポに応じて音声信号を入力しさえすれば、個人の音色を有する歌声が得られる直感タイプの歌声合成システム、歌声合成方法及び歌声合成装置を提供することにある。
【課題を解決するための手段】
【０００６】
本発明によれば、記憶ユニット、テンポユニット、入力装置、及び処理ユニットを含み、記憶ユニットは少なくとも１つの旋律を記憶し、テンポユニットは少なくとも１つの旋律における特定の旋律に基づきテンポを指示し、入力装置は複数の音声信号を受信し、音声信号が特定の旋律に対応し、処理ユニットは特定の旋律と音声信号に基づき合成歌声信号を生成することを特徴とする歌声合成システムが提供される。
【０００７】
また本発明によれば、歌声合成方法は電子計算装置に適用され、そのステップは、旋律に基づきテンポを指示するステップと、電子計算装置のオーディオモジュールにより複数の音声信号を受信し、音声信号が特定の旋律に対応するステップと、特定の旋律と音声信号に基づき合成歌声信号を生成すると共に、電子計算装置の音声モジュールにより合成歌声信号を出力するステップとを含むことを特徴とする歌声合成方法が提供される。
【０００８】
さらに本発明によれば、ケース、記憶装置、テンポ手段、オーディオレシーバ、処理装置を含み、記憶装置はケース内部に設置されて処理装置に接続され、少なくとも１つの旋律を記憶し、テンポ手段はケース外部に設置されて処理装置に接続され、少なくとも１つの旋律のうちの特定の旋律に基づきテンポを指示し、オーディオレシーバはケース外部に設置されて処理装置に接続され、複数の音声信号を受信し、そのうち音声信号は特定の旋律に対応し、処理装置はケース内部に設置されて、特定の旋律と音声信号に基づき合成歌声信号を生成することを特徴とする歌声合成装置が提供される。
【発明の効果】
【０００９】
本発明によれば、ユーザーが楽理（楽譜に対する理解力。例えば拍子、音符等の意味を理解できる能力。）を習熟したり歌唱に長けたりする必要なくして、口頭でテンポに応じて音声信号を入力しさえすれば、個人の音色を有する歌声が得られる。
【００１０】
本発明に関して追加された他の特徴や長所に関しては、その発明の属する技術の分野における通常の知識を有する者が本発明の精神や範囲内で、本願の実施形態において開示された移動通信システムにおいて連絡プログラムを実行するユーザー装置、システム及び方法に基づき若干の変更や修飾を行えるものとする。
【図面の簡単な説明】
【００１１】
【図１】図１は、従来の音声合成構造に基づく歌声合成方法のフローチャートである。
【図２】図２は、本発明の一実施形態の歌声合成装置の構造図である。
【図３】図３は、本発明の一実施形態に係る音声入力誤差を検知する処理を説明するための概略図である。
【図４】図４は、本発明の一実施形態に係るＰＳＯＬＡ法を使用した音高調整の処理を説明するための概略図である。
【図５】図５は、本発明の一実施形態に係るクロスフェード法を使用した音高調整の処理を説明するための概略図である。
【図６】図６（Ａ）及び図６（Ｂ）は、本発明の一実施形態に係る再標本化法を使用した音高調整の処理を説明するための概略図である。
【図７】図７は、本発明の一実施形態に係るベジェ曲線を使用した平滑処理を説明するための第１の図である。
【図８】図８は、本発明の一実施形態に係るベジェ曲線を使用した平滑処理を説明するための第２の図である。
【図９】図９は、本発明の一実施形態に係るベジェ曲線を使用した平滑処理を説明するための第３の図である。
【図１０】図１０は、本発明の一実施形態に係る歌声合成方法のフローチャートである。
【図１１】図１１は、本発明の他の実施形態に係る歌声合成方法のフローチャートである。
【図１２】図１２は、本発明のさらに他の実施形態に係る歌声合成方法のフローチャートである。
【図１３】図１３は、本発明のさらに他の実施形態に係る歌声合成方法のフローチャートである。
【図１４】図１４は、本発明のさらに他の実施形態に係る歌声合成方法のフローチャートである。
【図１５】図１５は、本発明の一実施形態に係る歌声合成装置の形態を示す図である。
【図１６】図１６は、ここで、中国語の単音節の注音字母の字形を示す図である。
【発明を実施するための形態】
【００１２】
以下、本発明を実施するための形態について、図面に基づいて詳細に説明する。なお、本発明は、以下に説明する実施形態に限定されるものではない。
図２は本発明の一実施形態に係る歌声合成システムの構造図である。
歌声合成システム２００は、記憶ユニット（保存ユニット）２０１、テンポユニット２０２、入力装置２０３、及び処理ユニット２０４を含む。楽曲（歌曲）の歌声を合成しようとする際、記憶ユニット２０１は複数の楽曲の旋律を記憶し、楽曲の旋律をテンポユニット２０２に提供することができる。テンポユニット２０２は楽曲の旋律に基づき対応するテンポ（ｔｅｍｐｏ）を指示する。テンポとは楽曲の旋律に基づき固定された周波数の拍子を指し、ユーザーが口頭で楽曲の歌詞を朗唱（歌唱、朗読）したりハミングしたりするのをサポートする。入力装置２０３はユーザーが朗唱したりハミングしたりして生じた複数の音声信号を受信する。音声信号は旋律に対応し、且つテンポに対応する（合致する）ものである。最後に、処理ユニット２０４が旋律と音声信号に基づいて処理を行い、合成歌声信号を生成する。
【００１３】
ある実施形態では、旋律は音波（Ｗａｖｅｆｏｒｍ Ａｕｄｉｏ、ＷＡＶ）ファイルでよく、テンポユニット２０２はビートトラッキング（Ｂｅａｔ Ｔｒａｃｋｉｎｇ）技術により楽曲のテンポを標記する。他の実施形態では、旋律はＭＩＤＩ（Ｍｕｓｉｃａｌ Ｉｎｓｔｒｕｍｅｎｔ Ｄｉｇｉｔａｌ Ｉｎｔｅｒｆａｃｅ）ファイルでよく、テンポユニット２０２はＭＩＤＩファイル内のテンポイベント（ｔｅｍｐｏ ｅｖｅｎｔ）データを直接取り込んで楽曲のテンポを求める。テンポユニット２０２が旋律に基づきテンポを指示する形態としては、多様な実施方法があり、例えば移動、跳躍、明滅又は変色の記号のように、表示ユニットにより生成する視覚信号、或いは例えばメトロノームの「カチ、カチ〜」音を真似たような出力ユニットにより生成する音声信号、或いは例えば揺動、回転、跳動、又はメトロノームの振り子の振れのような機械構造が提供するテンポ動作、或いは発光ユニットが生成するライトの明滅、変色等がある。
【００１４】
ある実施形態では、ユーザーが入力した複数の音声信号のリズム（ｒｈｙｔｈｍ）に一定レベルの正確性を持たせるため、リズム分析ユニット（図示せず）を具備する。リズム分析ユニットは、ユーザーが入力した複数の音声信号を受信すると、楽曲の旋律に基づき音声信号が有する固有のリズムが予め設定した許容誤差値を超えたか否かを判断する。リズムとは歌詞の各字が旋律に組合されて出現する速度の状態をいう。音声信号のリズムが予め設定許容誤差値を超えた場合、リズム分析ユニット（図示せず）は、ユーザーに音声信号を入力するステップを繰り返すよう指示する。このリズム誤差を判断する手順の詳細について後ほど図３で説明する。また、リズム分析ユニット（図示せず）はユーザーが入力した複数の音声信号を受信して、さらに音声信号を出力してユーザー自身でこの録音版（録音した音声信号）を受け入れるか否かを決定し、受け入れない場合、操作インターフェイスを提供してユーザーの操作により複数の音声信号の入力し直しを選択して、旧音声信号に代えるよう設計することもできる。
また、他の実施形態では、ユーザーは歌唱による方法で音声信号を発生して入力したり、事前に録音又は処理済みの音声信号を入力したりすることもできる。
【００１５】
処理ユニット２０４は、主に旋律と音声信号に基づき所定の処理を行い、合成歌声信号を生成する。ある実施形態では、行う処理は音声信号に音高ならしを実行して複数の同一の音高の信号を取得し、旋律に基づいて同一の音高の信号を楽曲に対応する旋律が指示する複数の標準音高に調整して、複数の調整後の音声信号を取得するステップを含む。さらに、調整済みの複数の調整後の音声信号に平滑処理を実行して、平滑処理後の音声信号を生成する。以下、詳細な実施形態で説明する。
【００１６】
ある実施形態では、処理ユニット２０４は音高分析プログラムを実行することができ、ピッチトラッキング（Ｐｉｔｃｈ Ｔｒａｃｋｉｎｇ）、音高標記（ピッチマーキング）（Ｐｉｔｃｈ Ｍａｒｋｉｎｇ）によって、音声信号に音高ならしを実行して複数の同一の音高の信号を取得する。続いて、処理ユニット２０４は複数の同一の音高の信号に音高調整プログラムを実行し、例えばＰＳＯＬＡ法（Ｐｉｔｃｈ Ｓｙｎｃｈｒｏｎｏｕｓ ＯｖｅｒＬａｐ−Ａｄｄ、ＰＳＯＬＡ）、クロスフェード法（Ｃｒｏｓｓ−Ｆａｄｄｉｎｇ）、又は再標本化法（Ｒｅｓａｍｐｌｅ）を適用して、複数の同一の音高の信号を楽曲に対応する旋律が指示する複数の標準音高にそれぞれ調整して、複数の調整後の音声信号を取得する。このＰＳＯＬＡ法、クロスフェード法、及び再標本化法に関する手順の詳細は後ほどそれぞれ図４、図５、図６（Ａ）及び図６（Ｂ）でさらに説明する。処理ユニット２０４は複数の調整後の音声信号に平滑処理プログラムを実行し、例えば線形補間法（ｉｎｔｅｒｐｏｌａｔｉｏｎ）、双線形補間法、又は多項式補間法を適用して、調整後の音声信号を平滑的に接続して平滑処理後の音声信号を取得するが、多項式補間法に関する手順の詳細は後ほど図７〜図９でさらに説明する。
【００１７】
別の実施形態では、処理ユニット２０４はさらに平滑処理後の音声信号に歌声音響効果の処理プログラムを実行し、歌声合成システム２００のシステムの負荷状況に応じてサンプリングの枠組みの大きさを決定した上で、平滑処理後の音声信号をサンプリングの枠組みの大きさでもって順番に音量調整をし、ビブラートやエコー効果を加味して、音響効果処理後の音声信号を生成する。
また別の実施形態では、処理ユニット２０４は複数の調整後の音声信号、平滑処理後の音声信号又は音響効果処理後の音声信号等といった多様な音声信号に対して、伴奏合成プログラムを実行し、楽曲の伴奏音楽と各種音声信号とを合成して伴奏歌声信号を取得する。調整後の音声信号、平滑処理後の音声信号、音響効果処理後の音声信号、伴奏歌声信号等は、何れも本発明の合成歌声信号的実施態様であり、合成歌声信号は複数の音声信号（例：調整後、平滑処理後、音響効果処理後、又は伴奏処理後の音声信号）を含むファイルでよく、しかも合成歌声はユーザーの音色を有する。
またある実施形態では、歌声合成システム２００は合成歌声信号を出力するための出力ユニットをさらに含み、出力ユニットはさらにテンポユニット２０２又は他の表示ユニットと結合して、合成歌声信号を出力する際、合成歌声信号に基づき、揺動、回転、跳動等の動作、又は移動、跳躍、明滅、変色等の視覚記号、又はメトロノームの「カチ、カチ」音を真似た音声信号等のようなテンポを表示する。
【００１８】
図３は、本発明の一実施形態に係るリズム誤差を判断する方法を説明するための図である。図３に示すように、歌詞の音声信号の入力は歌詞１〜歌詞３を含む。ある実施形態では、記憶ユニット２０１内には楽曲の旋律を記憶する他に、さらに旋律に対応する歌詞及び歌詞に対応するリズムを記憶することができる。リズム分析ユニット（図示せず）は楽曲の旋律に基づきこの歌詞の標準テンポｒ（ｉ）を取得し、このうち、ｒ（１）、ｒ（２）は歌詞１の時間区間の区切りを表わし、ｒ（３）、ｒ（４）は歌詞２の時間区間の区切りを表わし、ｒ（５）、ｒ（６）は歌詞３の時間区間の区切りを表わし、時間区間の区切りの前にある破線は早目に入力した誤差許容時間を表わし、時間区間の区切りの後にある点線は遅めに入力した誤差許容時間を表わし、よって破線と点線で形成される区間が誤差許容値μである。ユーザーが入力した複数の音声信号には固有のリズムがあり、そのリズムはｃ（ｉ）で表示され、本実施形態では累計の誤差値は関数式（１）で表示される。
【００１９】
【数１】
【００２０】
関数式（１）において、算出された結果Ｐ（ｊ）がμより大きい場合、改めて歌詞の音声信号を入力することができる。
【００２１】
図４は本発明の一実施形態に係るＰＳＯＬＡ法を使用した音高調整概略図である。図４に示すように、最も上の横軸が表わすのは音高分析プログラムが完了した音声信号で、矢印指標は標記音高を表わす。本実施形態では、調整しようとする目標音高は元の音高の２倍であることから、標記音高の間の距離は元の１／２に短縮される。一方これと反対に、調整しようとする目標音高が元の音高の１／２である場合、標記音高の間的距離は２倍拡大される。各２つの音高の間は、ハミング窓（Ｈａｍｍｉｎｇ ｗｉｎｄｏｗ）で改めてモデル化（ｍｏｄｅｌ）され、ハミング窓の計算は関数式（２）で表示される。
【００２２】
【数２】
【００２３】
最後にこれをハミング窓が加算する波形によって積層方式で累積して、１つの新しい音声信号波形を形成する。
【００２４】
図５は本発明の一実施形態に係るクロスフェード法を使用した音高調整の概略図である。クロスフェード法はＰＳＯＬＡ法に類似した音高調整方法で、計算に要する時間が短いものの、相対的に音声の合成はＰＳＯＬＡ法ほど平滑ではない。クロスフェード法を利用すると容易に音高の高低を変えることが可能で、しかも三角窓（ｔｒｉａｎｇｕｌａｒ ｗｉｎｄｏｗ）によりＰＳＯＬＡ法におけるハミング窓の方法に代え、そのフローチャートはＰＳＯＬＡ法と同様で、正確な音高を求めた上で、これらの音高と三角窓によって１つの音声信号波形を内積で算出する。
【００２５】
図６（Ａ）及び図６（Ｂ）は本発明の一実施形態に係る再標本化法を使用した音高調整概略図である。図６（Ａ）で示す再標本化法は旋律の指示に基づき、ダウンサンプリング（ｄｏｗｎ ｓａｍｐｌｉｎｇ）方式で元の音声信号を元の２倍の音高に偏移（ｓｈｉｆｔ）させ、またこれと反対に、図６（Ｂ）で示すように、元の音声信号を偏移させるのに、その音高を元の１／２に下げようとする場合、アップサンプリング（ｕｐ ｓａｍｐｌｉｎｇ）方式で行う。
【００２６】
人間が歌を歌うプロセスで、異なる音高の間の変換はコンピュータと同様にはいかない。人間は、毎回直接１つの音高から精確に目標の音高に到達させるが、特に音高の変化の幅が大きい場合、通常先ず目標の音高を若干超えてから、平滑して目標の音高に到達させる。この人間の歌声の特徴をシミュレーションするために、本実施形態では、ベジェ曲線（Ｂｅｚｉｅｒ ｃｕｒｖｅ）を採用した平滑処理プログラムを実行する。３次ベジェ曲線を例に取ると、四つの制御点Ｐ０、Ｐ１、Ｐ２、Ｐ３は図７のように標示され、制御点の間の関係は関数式（３）で表わされる。
【００２７】
【数３】
【００２８】
関数式（３）の演算記号「±」は、音高の変化が上向きであれば「＋」を、反対であれば「−」を表わす。図７に示すように、制御点Ｐ０を起点音高に、制御点Ｐ３を目標音高に設定し、制御点Ｐ０を右に２ミリ秒移動すると制御点Ｐ２となり、制御点Ｐ２を左に１ミリ秒移動すると制御点Ｐ１となり、関数式（３）を式（４）として示す３次ベジェ曲線の公式に当て嵌めると、Ｐ０とＰ３を接続する曲線が算出される。
【００２９】
【数４】
【００３０】
本発明の別の実施形態では、４次ベジェ曲線で平滑処理プログラムを実行する。５つの制御点Ｐ０、Ｐ１、Ｐ２、Ｐ３、Ｐ４の間の関係は関数式（５）で表わされる。
【００３１】
【数５】
【００３２】
関数式（５）において、演算記号「±」は、音高の変化が上向きであれば「＋」を、反対であれば「−」を表わす。図８に示すように、制御点Ｐ０を起点音高に設定し、制御点Ｐ０を右に６０ミリ秒移動すると制御点Ｐ２となり、制御点Ｐ２を左に１０ミリ秒移動すると制御点Ｐ１となり、制御点Ｐ２を右に４０ミリ秒移動すると制御点Ｐ４となり、制御点Ｐ４を左に２０ミリ秒移動すると制御点Ｐ３となり、関数式（５）を式（６）として示す４次ベジェ曲線の公式に当て嵌めると、Ｐ０とＰ４を接続する曲線が算出される。
【００３３】
【数６】
【００３４】
本発明の別の実施形態では、５次ベジェ曲線で平滑処理プログラムを実行する。６つの制御点Ｐ０、Ｐ１、Ｐ２、Ｐ３、Ｐ４、Ｐ５の間の関係は関数式（７）で表わされる。
【００３５】
【数７】
【００３６】
関数式（７）において、演算記号「±」は、音高の変化が上向きであれば「＋」を、反対であれば「−」を表わす。図９に示すように、制御点Ｐ０を起点音高に、制御点Ｐ５を目標音高に設定し、制御点Ｐ０を右に２ミリ秒移動すると制御点Ｐ２となり、制御点Ｐ２を左に１ミリ秒移動すると制御点Ｐ１となり、制御点Ｐ２を右に２ミリ秒移動すると制御点Ｐ４となり、制御点Ｐ４を左に１ミリ秒移動すると制御点Ｐ３となり、関数式（６）を式（８）として支援す５次ベジェ曲線の公式に当て嵌めると、Ｐ０とＰ５を接続する曲線が算出される。
【００３７】
【数８】
【００３８】
図１０は本発明の一実施形態に係る歌声合成方法のフローチャートである。なお、この歌声合成方法は、一例として、電子計算機（コンピュータ）に各ステップ（各手順）を実行させるためのコンピュータプログラムの形態で実現され、コンピュータ読み取り可能な記録媒体に記録され、或いは、電気通信回線を通じて提供されるものである。
本実施形態の歌声合成方法においては、先ず選定した楽曲の旋律に基づき楽曲のテンポを取得してテンポをユーザーに指示する（ステップＳ８０１）。テンポを指示する主な効果は、ユーザーがテンポの指示に基づき口頭で歌の歌詞を朗唱（歌唱や朗読）したりハミングしたりできることである。ユーザーの歌詞の朗唱やハミングは、電子計算装置のオーディオモジュールで複数の音声信号として受信する（ステップＳ８０２）。音声信号はユーザーが発声した歌の歌詞情報に基づき生成されるものであり、指示したテンポに応じて生じるのが好ましい。本実施形態の歌声合成方法においては、旋律と音声信号に処理を行うと共に、電子計算装置の音声モジュールにより合成歌声信号を出力する（ステップＳ８０３）。
【００３９】
電子計算装置は、移動、跳躍（上下移動）、明滅又は変色の記号のような視覚信号を生成してテンポとして指示する表示ユニット、或いはメトロノームの「カチ、カチ」音を真似たような音声信号を生じてテンポとして指示する出力ユニット、或いは揺動、回転、跳動（移動、跳躍）、又はメトロノームの振り子構造のようなテンポ動作を提供してテンポとして指示する機械構造、或いはライトの明滅、変色等を生じてテンポとして指示する発光ユニットを含むことができる。
【００４０】
ユーザーが入力した複数の音声信号のリズムに一定レベルの正確性を持たせるため、本実施形態の歌声合成方法は、ユーザーが入力した複数の音声信号を受信すると、楽曲の旋律に基づき、音声信号が有するリズムが、予め設定された許容誤差値を超えるか否かを判断し、超える場合、前記音声信号を入力するステップを繰り返すよう指示する。このリズム誤差の判断に関する操作は、図３に示す方法を採用することができる。
また、本実施形態の歌声合成方法は、ユーザーが入力した複数の音声信号を受信すると、音声信号を出力してユーザー自身でこの録音（記憶）した音声信号を受け入れるか否かを決定させることができる。受け入れない場合には、音声信号を入力するステップを繰り返すよう設計することもできる。
このほか、他の実施形態として、ユーザーが歌唱による方法で音声信号を生成じて（発っして）入力したり、又は事前に録音又は処理済みの音声信号を入力したりすることもできる。
【００４１】
図１１に示すように、本実施形態の歌声合成方法の音声信号に行う処理は、さらに以下のステップに細かく分けられる。先ず、音声信号に音高分析プログラムを実行し（ステップＳ８０３−１）、ピッチトラッキング、音高標記（ピッチマーキング）により、音声信号に音高ならしを実行して複数の同一の音高の信号を取得する。続いて、例えば複数の同一の音高にＰＳＯＬＡ法、クロスフェード法、又は再標本化法を適用して音高調整プログラムを実行し（ステップＳ８０３−２）、複数の同一の音高の信号を楽曲に対応する旋律が指示する複数の標準音高にそれぞれ調整して、複数の調整後の音声信号を取得する。このＰＳＯＬＡ法、クロスフェード法、及び再標本化法に関する運用は図４、図５、図６（Ａ）及び図６（Ｂ）に関する方法を採用することができる。
【００４２】
図１２に示すように、ある実施形態では、歌声合成方法は音高分析プログラムと音高調整プログラムの後に、引き続き複数の調整後の音声信号に平滑処理プログラムを実行することができ（ステップＳ８０３−３）、例えば線形補間法、双線形補間法、又は多項式補間法を運用して、調整後の音声信号を接続して平滑処理後の音声信号を取得する。このうち、多項式補間法に関する操作は図７〜図９の方法を採用することができる。
【００４３】
図１３に示すように、ある実施形態では、歌声合成方法は音高分析プログラム、音高調整プログラム及び平滑処理プログラムの後に、さらに平滑処理後の音声信号に歌声音響効果の処理プログラムを実行することができ（ステップＳ８０３−４）、それは電子計算装置システムの負荷状況に応じてサンプリングの枠組みの大きさを決定し、平滑処理後の音声信号をサンプリングの枠組み大きさでもって順番に音量調整をし、ビブラートやエコー効果を加味して、音響効果処理後の音声信号を生成する。
【００４４】
図１４に示すように、ある実施形態での歌声合成方法は、複数の調整後の音声信号、平滑処理後の音声信号又は音響効果処理後の音声信号等といった多様な音声信号に対して、伴奏合成プログラムを実行して（ステップＳ８０３−５）、楽曲の伴奏音楽とシミュレーション歌声信号とを合成して伴奏歌声信号を取得した上で、伴奏歌声信号を出力する。複数の調整後の音声信号、平滑処理後の音声信号、音響効果処理後の音声信号、伴奏歌声信号等は何れも本発明の合成歌声信号の実施態様であり、合成歌声はユーザーの音色を有する。
【００４５】
歌声合成方法を実施する電子計算装置は卓上型コンピュータ、ノートパソコン、携帯型通信装置、電子人形、電子寵物等でよい。また、電子計算装置は複数曲（ユーザー好み）の楽曲の旋律を記憶するための楽曲データベースを含み、ユーザーがその中から歌声を合成しようとする楽曲を選択することができ、楽曲データベースは楽曲に対応する歌詞や歌詞に対応するリズムを記憶することもできる。
【００４６】
図１５は本発明の一実施形態に係る歌声合成装置の構造図である。図に示すように、歌声合成装置１０００は電子人形でよく、他の実施形態では、歌声合成装置１０００は卓上型コンピュータ、ノートパソコン、携帯型通信装置、携帯用デジタル装置、ＰＤＡ、電子ペット装置、ロボット、ボイスレコーダー、又はデジタル音楽プレーヤ等でもよい。歌声合成装置１０００は少なくとも１つのケース１０１０、記憶装置１０２０、テンポ手段１０３０、オーディオレシーバ１０４０、処理装置１０５０を含む。記憶装置１０２０はケース１０１０内部に設置されて処理装置１０５０に接続され、複数曲の楽曲の旋律を記憶し、楽曲の旋律をテンポ手段１０３０に提供することができる。テンポ手段１０３０はケース１０１０外部に設置されて処理装置１０５０に接続され、旋律の中の特定の旋律に基づきこれに対応するテンポを指示し、ユーザーが口頭で歌の歌詞を朗唱したりハミングしたりするのをサポートする。オーディオレシーバ１０４０はケース１０１０外部に設置され、ユーザーが朗唱したりハミングしたりして生じた複数の音声信号を受信する。処理装置１０５０はケース１０１０内部に設置され、特定の旋律と音声信号に基づき処理を行い、合成歌声信号を生成する。
【００４７】
図１５の実施形態のように、記憶装置１０２０は電子人形の躯体部位に設置されるＦｌａｓｈ、Ｈａｒｄ ｄｉｓｋ、Ｃａｃｈｅのようなメモリである。旋律は音波ファイル又はＭＩＤＩファイルでよく、テンポ手段１０３０は多様な実施方法が可能で、例えば発光装置では図１５に示すように、電子人形の眼の領域に設置して、ライトの明滅、変色等を生じるが、実際にはＬＥＤや他の発光性質を有するものを運用して完成させることができる。また、別のテンポ手段１０３０では可動式の機械構造として電子人形の手の領域に設置して、揺動、回転、跳動、又はメトロノームの振り子のような振れを提供するが、実際にはピアノのメトロノームの振り子に似たものを運用して完成させられる。また、別のテンポ手段１０３０では電子人形の腹部領域に設置する表示装置でよく、移動、跳躍、明滅又は変色の記号等の視覚信号を生成する。さらに、別のテンポ手段１０３０では電子人形の口の領域に設置された音声スピーカでよく、メトロノームを真似た「カチ、カチ」音を出力する。オーディオレシーバ１０４０はマイク、集音装置、録音装置又は他の受信機能を備えたものとして電子人形の耳の領域に設置され、音声信号は特定の旋律に対応してテンポに合わせる。
【００４８】
処理装置１０５０は嵌入式のマイクロプロセッサとその運用の際に必要な他のものとして電子人形のケース内部に設置される。処理装置１０５０は記憶装置１０２０、テンポ手段１０３０、及びオーディオレシーバ１０４０に接続して、主に特定旋律と音声信号に基づき処理を行って合成歌声信号を生成する。ある実施形態では、行う処理は音声信号に音高ならしを実行して複数の同一の音高の信号を取得し、特定の旋律に基づいて同一の音高の信号を特定の旋律に対応して指示する複数の標準音高に調整して、複数の調整後の音声信号を取得するステップを含む。さらに、処理装置１０５０は調整済みの複数の調整後の音声信号に平滑処理を実行して、平滑処理後の音声信号を生成する。
【００４９】
別のある実施形態では、処理ユニット１０５０は音高分析プログラムを実行することができ、ピッチトラッキング、音高標記によって、音高ならしを実行して複数の同一の音高を取得する。続いて、処理ユニット１０５０は複数の同一の音高に音高調整処理を実行し、ＰＳＯＬＡ法、クロスフェード法、又は再標本化法を運用して、複数の同一の音高を特定の旋律に対応して指示する複数の標準音高にそれぞれ調整して、複数の調整後の音声信号を取得する。このＰＳＯＬＡ法、クロスフェード法、及び再標本化法に関する手順の詳細はそれぞれ図４、図５、図６（Ａ）及び図６（Ｂ）の記述を参照する。また、処理ユニット１０５０は複数の調整後の音声信号に平滑処理を実行し、線形補間法、双線形補間法、又は多項式補間法を運用して調整後の音声信号を接続して平滑処理後の音声信号を取得するが、このうち、多項式補間法に関する手順の詳細は図７〜図９の記述を参照する。
【００５０】
別の実施形態では、処理ユニット１０５０はさらに平滑処理後の音声信号に歌声音響効果の処理を実行し、歌声合成装置１０００のシステムの負荷状況に応じてサンプリングの枠組みの大きさを決定した上で、シミュレーション歌声信号をサンプリングの枠組み大きさでもって順番に音量調整をし、ビブラートやエコー効果を加味する。また別の実施形態では、処理ユニット１０５０は複数の調整後の音声信号、平滑処理後の音声信号又は音響効果処理後の音声信号等といった多様な音声信号に対して、伴奏合成処理を実行して、楽曲の伴奏音楽と各種音声信号とを合成して伴奏歌声信号を取得する。調整後の音声信号、平滑処理後の音声信号、音響効果処理後の音声信号、伴奏歌声信号等は、何れも本発明の合成歌声信号的実施態様であり、合成歌声はユーザーの音色を有する。
【００５１】
ある実施形態では、歌声合成装置１０００はケース１０１０外部に設置され処理装置１０５０に接続されて合成歌声信号を出力する音声スピーカ（図示せず）をさらに含む。図１５の実施形態のように、音声スピーカはラッパ、拡声器、イヤホン、音声プレーヤ、又は他の放送機能を備えた器材やものとして電子人形の口領域に設置される。さらに、テンポ手段１０３０は音声スピーカが合成歌声信号を出力する際、揺動、回転、跳動等の動作、又は移動、跳躍、明滅、変色等の視覚記号、又はメトロノームを真似た「カチ、カチ」音といった音声信号のような合成歌声信号を表わすテンポに合わせることができる。
【００５２】
ユーザーが入力した複数の音声信号のリズムに一定レベルの正確性を持たせるため、処理装置１０５０はリズム分析処理を行うことができ、ユーザーが入力した複数の音声信号を受信すると、楽曲の旋律に基づき、音声信号が有する固有のリズムが、予め設定された許容誤差値を超えるか否かを判断する。音声信号のリズムが予め設定された許容誤差値を超える場合、ユーザーに音声信号の入力し直しを指示するが、詳細は上記の図３に関する記述を参照する。別の実施方法では、処理装置１０５０とオーディオレシーバ１０４０で、ユーザーが入力した複数の音声信号を受信すると、音声信号を音声スピーカによって出力し、ユーザー自身で受け入れるか否か決定し、或いは複数の音声信号を入力し直して旧音声信号に取って代える。また、他の実施形態では、ユーザーは歌唱する方法で音声信号を生じて入力したり、事前に録音又は処理済みの音声信号を入力したりすることもでききる。
【００５３】
上記の実施形態のように、本発明で述べた音声信号はユーザーが旋律やテンポに応じて朗唱したりハミングしたりして生じるものであるため、各音声信号は旋律やテンポにそれぞれ対応して直接音声信号を処理することができ、従来技術において大量に事前録音が必要な大量ユーザー言語データベースの時間とコストを節減し、システム資源の節約と楽曲合成速度の加速という効果を達して、最終的に得られた合成歌声はユーザーの音色を一層有しており、しかも効果はかなり迫真で、一般の従来技術では達成することができない。
【００５４】
以上、本発明の実施形態について図面を参照して詳述したが、具体的な構成はこの実施形態に限られるものではなく、本発明の要旨を逸脱しない範囲の設計変更等も含まれる。上述の実施例は本発明の技術思想及び特徴を説明するためのものにすぎず、当該技術分野を熟知する者に本発明の内容を理解させると共にこれをもって実施させることを目的とし、本発明の特許範囲を限定するものではない。従って、本発明の精神を逸脱せずに行う各種の様の効果をもつ改良又は変更は、後述の請求項に含まれるものとする。
【産業上の利用可能性】
【００５５】
本発明は、例えば、バーチャル歌手、電子ペット、歌唱練習ソフト、作曲家と歌手の組合せのシミュレーション等のように、音声合成を使用する任意の装置に適用可能である。
【符号の説明】
【００５６】
２０ 言語データベース
２１ 単音節データ
２２ 単語データ
２３ 歌詞データ
２００ 歌声合成システム
２０１ 記憶ユニット
２０２ テンポユニット
２０３ 入力装置
２０４ 処理ユニット
１０００ 歌声合成装置
１０１０ ケース
１０２０ 記憶装置
１０３０ テンポ手段
１０４０ オーディオレシーバ
１０５０ 処理装置
【技術分野】
【０００１】
本発明は、主に歌声の合成技術に関し、より詳しくは、迫真の歌声を作り出せる歌声合成システム、歌声合成方法及び歌声合成装置に関する。
【背景技術】
【０００２】
近年、情報科学技術が発展し次第に成熟するに伴って、電子計算装置が具備する処理能力も大幅に向上し、多くの複雑な応用が実用化されているが、そのうちの１つが音声や歌声合成の関連技術である。一般的に、音声合成とは人工的に人間に近い音声を生み出す技術を広く指し、例えば、バーチャル歌手、電子ペット、歌唱練習ソフト、作曲家と歌手の組合せのシミュレーション等のように、現在既に多くの関連した応用があり、これに呼応したニーズも次第に増加している。しかし、従来の一般的な音声や歌声の合成方法は、図１に示すように、言語データベース（Ｃｏｒｐｕｓ Ｄａｔａｂａｓｅ）２０によって文字と音声との間を変換することをベースとする。従って、事前に人間の音声データを録音して言語データベース２０を構築しなければならない。なお、言語データベース２０を構築するための入力する言語データの入力は、単音節データ（Ｓｉｎｇｌｅ−Ｓｙｌｌａｂｌｅ−ｂａｓｅｄ Ｃｏｒｐｕｓ）２１の入力、単語データ（Ｃｏａｒｔｉｃｕｌａｔｉｏｎ−ｂａｓｅｄ Ｃｏｒｐｕｓ）２２の入力、及び歌詞データ（Ｓｏｎｇ−ｂａｓｅｄ Ｃｏｒｐｕｓ）２３の入力に分けられる。ここで、単音節データ２１の入力には、中国語を例に取ると、図１６に図面として示すような字形の注音字母等の中国語の単音節があり、単語データ２２の入力には「明日」、「明後日」等のような入力がある。
【０００３】
図１は従来の歌声合成方法のフローチャートである。先ず、選定楽曲のＭＩＤＩ（Ｍｕｓｉｃａｌ Ｉｎｓｔｒｕｍｅｎｔ Ｄｉｇｉｔａｌ Ｉｎｔｅｒｆａｃｅ、ＭＩＤＩ）ファイルと歌詞データを入力する。ＭＩＤＩファイルにはテンポと音符等の情報を含む選定楽曲の楽譜（ｓｃｏｒｅ）が含まれており、ステップＳ１０１で入力されたＭＩＤＩファイルと歌詞データに基づき単語分割（Ｗｏｒｄ Ｓｅｇｍｅｎｔａｔｉｏｎ）を行って音声ラベル（Ｐｈｏｎｅｔｉｃ Ｌａｂｅｌ）を取得した上で、ステップＳ１０２で単語誘導を行い、言語データベース２０から最も適合する言語を選び出し、ステップＳ１０３で音長（ｄｕｒａｔｉｏｎ）と音高（Ｐｉｔｃｈ）を調整し、最後に、ステップＳ１０３で音と音の間の接続と平滑処理を行い、エコー効果を加味し、伴奏音楽を付加して、合成の歌声を得る。
【発明の概要】
【発明が解決しようとする課題】
【０００４】
しかしながら、従来の技術には下記の欠点があった。
（１）言語データベースの構築のために、長時間を要して言語の録音を行う必要があり、しかも言語データベースには膨大な記憶領域（保存スペース）を必要とする。
（２）単語誘導プログラムが複雑で、大量のシステム資源を消費し、しかも単語分割ミスという問題が発生し易い。
（３）歌声の合成効果が芳しくない。特に中国語については、機械音がはっきりと聞こえる。
（４）予め録音する言語データベースに制限されて、固定された音色しか出せず、また音色を変更しようとすると、言語データベースを録音し直さなければならない。
（５）プログラムが全体的に複雑で、合成歌声を製作するのに長時間を要し、リアルタイムで合成歌声が取得できない。
このため、全体的に従来の歌声合成の方法はコスト面、効率面、及び合成歌声の流暢さから言って、依然として一般ユーザーのニーズを満たせていない。
【０００５】
本発明の目的はユーザーが楽理を習熟したり歌唱に長けたりする必要なくして、口頭でテンポに応じて音声信号を入力しさえすれば、個人の音色を有する歌声が得られる直感タイプの歌声合成システム、歌声合成方法及び歌声合成装置を提供することにある。
【課題を解決するための手段】
【０００６】
本発明によれば、記憶ユニット、テンポユニット、入力装置、及び処理ユニットを含み、記憶ユニットは少なくとも１つの旋律を記憶し、テンポユニットは少なくとも１つの旋律における特定の旋律に基づきテンポを指示し、入力装置は複数の音声信号を受信し、音声信号が特定の旋律に対応し、処理ユニットは特定の旋律と音声信号に基づき合成歌声信号を生成することを特徴とする歌声合成システムが提供される。
【０００７】
また本発明によれば、歌声合成方法は電子計算装置に適用され、そのステップは、旋律に基づきテンポを指示するステップと、電子計算装置のオーディオモジュールにより複数の音声信号を受信し、音声信号が特定の旋律に対応するステップと、特定の旋律と音声信号に基づき合成歌声信号を生成すると共に、電子計算装置の音声モジュールにより合成歌声信号を出力するステップとを含むことを特徴とする歌声合成方法が提供される。
【０００８】
さらに本発明によれば、ケース、記憶装置、テンポ手段、オーディオレシーバ、処理装置を含み、記憶装置はケース内部に設置されて処理装置に接続され、少なくとも１つの旋律を記憶し、テンポ手段はケース外部に設置されて処理装置に接続され、少なくとも１つの旋律のうちの特定の旋律に基づきテンポを指示し、オーディオレシーバはケース外部に設置されて処理装置に接続され、複数の音声信号を受信し、そのうち音声信号は特定の旋律に対応し、処理装置はケース内部に設置されて、特定の旋律と音声信号に基づき合成歌声信号を生成することを特徴とする歌声合成装置が提供される。
【発明の効果】
【０００９】
本発明によれば、ユーザーが楽理（楽譜に対する理解力。例えば拍子、音符等の意味を理解できる能力。）を習熟したり歌唱に長けたりする必要なくして、口頭でテンポに応じて音声信号を入力しさえすれば、個人の音色を有する歌声が得られる。
【００１０】
本発明に関して追加された他の特徴や長所に関しては、その発明の属する技術の分野における通常の知識を有する者が本発明の精神や範囲内で、本願の実施形態において開示された移動通信システムにおいて連絡プログラムを実行するユーザー装置、システム及び方法に基づき若干の変更や修飾を行えるものとする。
【図面の簡単な説明】
【００１１】
【図１】図１は、従来の音声合成構造に基づく歌声合成方法のフローチャートである。
【図２】図２は、本発明の一実施形態の歌声合成装置の構造図である。
【図３】図３は、本発明の一実施形態に係る音声入力誤差を検知する処理を説明するための概略図である。
【図４】図４は、本発明の一実施形態に係るＰＳＯＬＡ法を使用した音高調整の処理を説明するための概略図である。
【図５】図５は、本発明の一実施形態に係るクロスフェード法を使用した音高調整の処理を説明するための概略図である。
【図６】図６（Ａ）及び図６（Ｂ）は、本発明の一実施形態に係る再標本化法を使用した音高調整の処理を説明するための概略図である。
【図７】図７は、本発明の一実施形態に係るベジェ曲線を使用した平滑処理を説明するための第１の図である。
【図８】図８は、本発明の一実施形態に係るベジェ曲線を使用した平滑処理を説明するための第２の図である。
【図９】図９は、本発明の一実施形態に係るベジェ曲線を使用した平滑処理を説明するための第３の図である。
【図１０】図１０は、本発明の一実施形態に係る歌声合成方法のフローチャートである。
【図１１】図１１は、本発明の他の実施形態に係る歌声合成方法のフローチャートである。
【図１２】図１２は、本発明のさらに他の実施形態に係る歌声合成方法のフローチャートである。
【図１３】図１３は、本発明のさらに他の実施形態に係る歌声合成方法のフローチャートである。
【図１４】図１４は、本発明のさらに他の実施形態に係る歌声合成方法のフローチャートである。
【図１５】図１５は、本発明の一実施形態に係る歌声合成装置の形態を示す図である。
【図１６】図１６は、ここで、中国語の単音節の注音字母の字形を示す図である。
【発明を実施するための形態】
【００１２】
以下、本発明を実施するための形態について、図面に基づいて詳細に説明する。なお、本発明は、以下に説明する実施形態に限定されるものではない。
図２は本発明の一実施形態に係る歌声合成システムの構造図である。
歌声合成システム２００は、記憶ユニット（保存ユニット）２０１、テンポユニット２０２、入力装置２０３、及び処理ユニット２０４を含む。楽曲（歌曲）の歌声を合成しようとする際、記憶ユニット２０１は複数の楽曲の旋律を記憶し、楽曲の旋律をテンポユニット２０２に提供することができる。テンポユニット２０２は楽曲の旋律に基づき対応するテンポ（ｔｅｍｐｏ）を指示する。テンポとは楽曲の旋律に基づき固定された周波数の拍子を指し、ユーザーが口頭で楽曲の歌詞を朗唱（歌唱、朗読）したりハミングしたりするのをサポートする。入力装置２０３はユーザーが朗唱したりハミングしたりして生じた複数の音声信号を受信する。音声信号は旋律に対応し、且つテンポに対応する（合致する）ものである。最後に、処理ユニット２０４が旋律と音声信号に基づいて処理を行い、合成歌声信号を生成する。
【００１３】
ある実施形態では、旋律は音波（Ｗａｖｅｆｏｒｍ Ａｕｄｉｏ、ＷＡＶ）ファイルでよく、テンポユニット２０２はビートトラッキング（Ｂｅａｔ Ｔｒａｃｋｉｎｇ）技術により楽曲のテンポを標記する。他の実施形態では、旋律はＭＩＤＩ（Ｍｕｓｉｃａｌ Ｉｎｓｔｒｕｍｅｎｔ Ｄｉｇｉｔａｌ Ｉｎｔｅｒｆａｃｅ）ファイルでよく、テンポユニット２０２はＭＩＤＩファイル内のテンポイベント（ｔｅｍｐｏ ｅｖｅｎｔ）データを直接取り込んで楽曲のテンポを求める。テンポユニット２０２が旋律に基づきテンポを指示する形態としては、多様な実施方法があり、例えば移動、跳躍、明滅又は変色の記号のように、表示ユニットにより生成する視覚信号、或いは例えばメトロノームの「カチ、カチ〜」音を真似たような出力ユニットにより生成する音声信号、或いは例えば揺動、回転、跳動、又はメトロノームの振り子の振れのような機械構造が提供するテンポ動作、或いは発光ユニットが生成するライトの明滅、変色等がある。
【００１４】
ある実施形態では、ユーザーが入力した複数の音声信号のリズム（ｒｈｙｔｈｍ）に一定レベルの正確性を持たせるため、リズム分析ユニット（図示せず）を具備する。リズム分析ユニットは、ユーザーが入力した複数の音声信号を受信すると、楽曲の旋律に基づき音声信号が有する固有のリズムが予め設定した許容誤差値を超えたか否かを判断する。リズムとは歌詞の各字が旋律に組合されて出現する速度の状態をいう。音声信号のリズムが予め設定許容誤差値を超えた場合、リズム分析ユニット（図示せず）は、ユーザーに音声信号を入力するステップを繰り返すよう指示する。このリズム誤差を判断する手順の詳細について後ほど図３で説明する。また、リズム分析ユニット（図示せず）はユーザーが入力した複数の音声信号を受信して、さらに音声信号を出力してユーザー自身でこの録音版（録音した音声信号）を受け入れるか否かを決定し、受け入れない場合、操作インターフェイスを提供してユーザーの操作により複数の音声信号の入力し直しを選択して、旧音声信号に代えるよう設計することもできる。
また、他の実施形態では、ユーザーは歌唱による方法で音声信号を発生して入力したり、事前に録音又は処理済みの音声信号を入力したりすることもできる。
【００１５】
処理ユニット２０４は、主に旋律と音声信号に基づき所定の処理を行い、合成歌声信号を生成する。ある実施形態では、行う処理は音声信号に音高ならしを実行して複数の同一の音高の信号を取得し、旋律に基づいて同一の音高の信号を楽曲に対応する旋律が指示する複数の標準音高に調整して、複数の調整後の音声信号を取得するステップを含む。さらに、調整済みの複数の調整後の音声信号に平滑処理を実行して、平滑処理後の音声信号を生成する。以下、詳細な実施形態で説明する。
【００１６】
ある実施形態では、処理ユニット２０４は音高分析プログラムを実行することができ、ピッチトラッキング（Ｐｉｔｃｈ Ｔｒａｃｋｉｎｇ）、音高標記（ピッチマーキング）（Ｐｉｔｃｈ Ｍａｒｋｉｎｇ）によって、音声信号に音高ならしを実行して複数の同一の音高の信号を取得する。続いて、処理ユニット２０４は複数の同一の音高の信号に音高調整プログラムを実行し、例えばＰＳＯＬＡ法（Ｐｉｔｃｈ Ｓｙｎｃｈｒｏｎｏｕｓ ＯｖｅｒＬａｐ−Ａｄｄ、ＰＳＯＬＡ）、クロスフェード法（Ｃｒｏｓｓ−Ｆａｄｄｉｎｇ）、又は再標本化法（Ｒｅｓａｍｐｌｅ）を適用して、複数の同一の音高の信号を楽曲に対応する旋律が指示する複数の標準音高にそれぞれ調整して、複数の調整後の音声信号を取得する。このＰＳＯＬＡ法、クロスフェード法、及び再標本化法に関する手順の詳細は後ほどそれぞれ図４、図５、図６（Ａ）及び図６（Ｂ）でさらに説明する。処理ユニット２０４は複数の調整後の音声信号に平滑処理プログラムを実行し、例えば線形補間法（ｉｎｔｅｒｐｏｌａｔｉｏｎ）、双線形補間法、又は多項式補間法を適用して、調整後の音声信号を平滑的に接続して平滑処理後の音声信号を取得するが、多項式補間法に関する手順の詳細は後ほど図７〜図９でさらに説明する。
【００１７】
別の実施形態では、処理ユニット２０４はさらに平滑処理後の音声信号に歌声音響効果の処理プログラムを実行し、歌声合成システム２００のシステムの負荷状況に応じてサンプリングの枠組みの大きさを決定した上で、平滑処理後の音声信号をサンプリングの枠組みの大きさでもって順番に音量調整をし、ビブラートやエコー効果を加味して、音響効果処理後の音声信号を生成する。
また別の実施形態では、処理ユニット２０４は複数の調整後の音声信号、平滑処理後の音声信号又は音響効果処理後の音声信号等といった多様な音声信号に対して、伴奏合成プログラムを実行し、楽曲の伴奏音楽と各種音声信号とを合成して伴奏歌声信号を取得する。調整後の音声信号、平滑処理後の音声信号、音響効果処理後の音声信号、伴奏歌声信号等は、何れも本発明の合成歌声信号的実施態様であり、合成歌声信号は複数の音声信号（例：調整後、平滑処理後、音響効果処理後、又は伴奏処理後の音声信号）を含むファイルでよく、しかも合成歌声はユーザーの音色を有する。
またある実施形態では、歌声合成システム２００は合成歌声信号を出力するための出力ユニットをさらに含み、出力ユニットはさらにテンポユニット２０２又は他の表示ユニットと結合して、合成歌声信号を出力する際、合成歌声信号に基づき、揺動、回転、跳動等の動作、又は移動、跳躍、明滅、変色等の視覚記号、又はメトロノームの「カチ、カチ」音を真似た音声信号等のようなテンポを表示する。
【００１８】
図３は、本発明の一実施形態に係るリズム誤差を判断する方法を説明するための図である。図３に示すように、歌詞の音声信号の入力は歌詞１〜歌詞３を含む。ある実施形態では、記憶ユニット２０１内には楽曲の旋律を記憶する他に、さらに旋律に対応する歌詞及び歌詞に対応するリズムを記憶することができる。リズム分析ユニット（図示せず）は楽曲の旋律に基づきこの歌詞の標準テンポｒ（ｉ）を取得し、このうち、ｒ（１）、ｒ（２）は歌詞１の時間区間の区切りを表わし、ｒ（３）、ｒ（４）は歌詞２の時間区間の区切りを表わし、ｒ（５）、ｒ（６）は歌詞３の時間区間の区切りを表わし、時間区間の区切りの前にある破線は早目に入力した誤差許容時間を表わし、時間区間の区切りの後にある点線は遅めに入力した誤差許容時間を表わし、よって破線と点線で形成される区間が誤差許容値μである。ユーザーが入力した複数の音声信号には固有のリズムがあり、そのリズムはｃ（ｉ）で表示され、本実施形態では累計の誤差値は関数式（１）で表示される。
【００１９】
【数１】
【００２０】
関数式（１）において、算出された結果Ｐ（ｊ）がμより大きい場合、改めて歌詞の音声信号を入力することができる。
【００２１】
図４は本発明の一実施形態に係るＰＳＯＬＡ法を使用した音高調整概略図である。図４に示すように、最も上の横軸が表わすのは音高分析プログラムが完了した音声信号で、矢印指標は標記音高を表わす。本実施形態では、調整しようとする目標音高は元の音高の２倍であることから、標記音高の間の距離は元の１／２に短縮される。一方これと反対に、調整しようとする目標音高が元の音高の１／２である場合、標記音高の間的距離は２倍拡大される。各２つの音高の間は、ハミング窓（Ｈａｍｍｉｎｇ ｗｉｎｄｏｗ）で改めてモデル化（ｍｏｄｅｌ）され、ハミング窓の計算は関数式（２）で表示される。
【００２２】
【数２】
【００２３】
最後にこれをハミング窓が加算する波形によって積層方式で累積して、１つの新しい音声信号波形を形成する。
【００２４】
図５は本発明の一実施形態に係るクロスフェード法を使用した音高調整の概略図である。クロスフェード法はＰＳＯＬＡ法に類似した音高調整方法で、計算に要する時間が短いものの、相対的に音声の合成はＰＳＯＬＡ法ほど平滑ではない。クロスフェード法を利用すると容易に音高の高低を変えることが可能で、しかも三角窓（ｔｒｉａｎｇｕｌａｒ ｗｉｎｄｏｗ）によりＰＳＯＬＡ法におけるハミング窓の方法に代え、そのフローチャートはＰＳＯＬＡ法と同様で、正確な音高を求めた上で、これらの音高と三角窓によって１つの音声信号波形を内積で算出する。
【００２５】
図６（Ａ）及び図６（Ｂ）は本発明の一実施形態に係る再標本化法を使用した音高調整概略図である。図６（Ａ）で示す再標本化法は旋律の指示に基づき、ダウンサンプリング（ｄｏｗｎ ｓａｍｐｌｉｎｇ）方式で元の音声信号を元の２倍の音高に偏移（ｓｈｉｆｔ）させ、またこれと反対に、図６（Ｂ）で示すように、元の音声信号を偏移させるのに、その音高を元の１／２に下げようとする場合、アップサンプリング（ｕｐ ｓａｍｐｌｉｎｇ）方式で行う。
【００２６】
人間が歌を歌うプロセスで、異なる音高の間の変換はコンピュータと同様にはいかない。人間は、毎回直接１つの音高から精確に目標の音高に到達させるが、特に音高の変化の幅が大きい場合、通常先ず目標の音高を若干超えてから、平滑して目標の音高に到達させる。この人間の歌声の特徴をシミュレーションするために、本実施形態では、ベジェ曲線（Ｂｅｚｉｅｒ ｃｕｒｖｅ）を採用した平滑処理プログラムを実行する。３次ベジェ曲線を例に取ると、四つの制御点Ｐ０、Ｐ１、Ｐ２、Ｐ３は図７のように標示され、制御点の間の関係は関数式（３）で表わされる。
【００２７】
【数３】
【００２８】
関数式（３）の演算記号「±」は、音高の変化が上向きであれば「＋」を、反対であれば「−」を表わす。図７に示すように、制御点Ｐ０を起点音高に、制御点Ｐ３を目標音高に設定し、制御点Ｐ０を右に２ミリ秒移動すると制御点Ｐ２となり、制御点Ｐ２を左に１ミリ秒移動すると制御点Ｐ１となり、関数式（３）を式（４）として示す３次ベジェ曲線の公式に当て嵌めると、Ｐ０とＰ３を接続する曲線が算出される。
【００２９】
【数４】
【００３０】
本発明の別の実施形態では、４次ベジェ曲線で平滑処理プログラムを実行する。５つの制御点Ｐ０、Ｐ１、Ｐ２、Ｐ３、Ｐ４の間の関係は関数式（５）で表わされる。
【００３１】
【数５】
【００３２】
関数式（５）において、演算記号「±」は、音高の変化が上向きであれば「＋」を、反対であれば「−」を表わす。図８に示すように、制御点Ｐ０を起点音高に設定し、制御点Ｐ０を右に６０ミリ秒移動すると制御点Ｐ２となり、制御点Ｐ２を左に１０ミリ秒移動すると制御点Ｐ１となり、制御点Ｐ２を右に４０ミリ秒移動すると制御点Ｐ４となり、制御点Ｐ４を左に２０ミリ秒移動すると制御点Ｐ３となり、関数式（５）を式（６）として示す４次ベジェ曲線の公式に当て嵌めると、Ｐ０とＰ４を接続する曲線が算出される。
【００３３】
【数６】
【００３４】
本発明の別の実施形態では、５次ベジェ曲線で平滑処理プログラムを実行する。６つの制御点Ｐ０、Ｐ１、Ｐ２、Ｐ３、Ｐ４、Ｐ５の間の関係は関数式（７）で表わされる。
【００３５】
【数７】
【００３６】
関数式（７）において、演算記号「±」は、音高の変化が上向きであれば「＋」を、反対であれば「−」を表わす。図９に示すように、制御点Ｐ０を起点音高に、制御点Ｐ５を目標音高に設定し、制御点Ｐ０を右に２ミリ秒移動すると制御点Ｐ２となり、制御点Ｐ２を左に１ミリ秒移動すると制御点Ｐ１となり、制御点Ｐ２を右に２ミリ秒移動すると制御点Ｐ４となり、制御点Ｐ４を左に１ミリ秒移動すると制御点Ｐ３となり、関数式（６）を式（８）として支援す５次ベジェ曲線の公式に当て嵌めると、Ｐ０とＰ５を接続する曲線が算出される。
【００３７】
【数８】
【００３８】
図１０は本発明の一実施形態に係る歌声合成方法のフローチャートである。なお、この歌声合成方法は、一例として、電子計算機（コンピュータ）に各ステップ（各手順）を実行させるためのコンピュータプログラムの形態で実現され、コンピュータ読み取り可能な記録媒体に記録され、或いは、電気通信回線を通じて提供されるものである。
本実施形態の歌声合成方法においては、先ず選定した楽曲の旋律に基づき楽曲のテンポを取得してテンポをユーザーに指示する（ステップＳ８０１）。テンポを指示する主な効果は、ユーザーがテンポの指示に基づき口頭で歌の歌詞を朗唱（歌唱や朗読）したりハミングしたりできることである。ユーザーの歌詞の朗唱やハミングは、電子計算装置のオーディオモジュールで複数の音声信号として受信する（ステップＳ８０２）。音声信号はユーザーが発声した歌の歌詞情報に基づき生成されるものであり、指示したテンポに応じて生じるのが好ましい。本実施形態の歌声合成方法においては、旋律と音声信号に処理を行うと共に、電子計算装置の音声モジュールにより合成歌声信号を出力する（ステップＳ８０３）。
【００３９】
電子計算装置は、移動、跳躍（上下移動）、明滅又は変色の記号のような視覚信号を生成してテンポとして指示する表示ユニット、或いはメトロノームの「カチ、カチ」音を真似たような音声信号を生じてテンポとして指示する出力ユニット、或いは揺動、回転、跳動（移動、跳躍）、又はメトロノームの振り子構造のようなテンポ動作を提供してテンポとして指示する機械構造、或いはライトの明滅、変色等を生じてテンポとして指示する発光ユニットを含むことができる。
【００４０】
ユーザーが入力した複数の音声信号のリズムに一定レベルの正確性を持たせるため、本実施形態の歌声合成方法は、ユーザーが入力した複数の音声信号を受信すると、楽曲の旋律に基づき、音声信号が有するリズムが、予め設定された許容誤差値を超えるか否かを判断し、超える場合、前記音声信号を入力するステップを繰り返すよう指示する。このリズム誤差の判断に関する操作は、図３に示す方法を採用することができる。
また、本実施形態の歌声合成方法は、ユーザーが入力した複数の音声信号を受信すると、音声信号を出力してユーザー自身でこの録音（記憶）した音声信号を受け入れるか否かを決定させることができる。受け入れない場合には、音声信号を入力するステップを繰り返すよう設計することもできる。
このほか、他の実施形態として、ユーザーが歌唱による方法で音声信号を生成じて（発っして）入力したり、又は事前に録音又は処理済みの音声信号を入力したりすることもできる。
【００４１】
図１１に示すように、本実施形態の歌声合成方法の音声信号に行う処理は、さらに以下のステップに細かく分けられる。先ず、音声信号に音高分析プログラムを実行し（ステップＳ８０３−１）、ピッチトラッキング、音高標記（ピッチマーキング）により、音声信号に音高ならしを実行して複数の同一の音高の信号を取得する。続いて、例えば複数の同一の音高にＰＳＯＬＡ法、クロスフェード法、又は再標本化法を適用して音高調整プログラムを実行し（ステップＳ８０３−２）、複数の同一の音高の信号を楽曲に対応する旋律が指示する複数の標準音高にそれぞれ調整して、複数の調整後の音声信号を取得する。このＰＳＯＬＡ法、クロスフェード法、及び再標本化法に関する運用は図４、図５、図６（Ａ）及び図６（Ｂ）に関する方法を採用することができる。
【００４２】
図１２に示すように、ある実施形態では、歌声合成方法は音高分析プログラムと音高調整プログラムの後に、引き続き複数の調整後の音声信号に平滑処理プログラムを実行することができ（ステップＳ８０３−３）、例えば線形補間法、双線形補間法、又は多項式補間法を運用して、調整後の音声信号を接続して平滑処理後の音声信号を取得する。このうち、多項式補間法に関する操作は図７〜図９の方法を採用することができる。
【００４３】
図１３に示すように、ある実施形態では、歌声合成方法は音高分析プログラム、音高調整プログラム及び平滑処理プログラムの後に、さらに平滑処理後の音声信号に歌声音響効果の処理プログラムを実行することができ（ステップＳ８０３−４）、それは電子計算装置システムの負荷状況に応じてサンプリングの枠組みの大きさを決定し、平滑処理後の音声信号をサンプリングの枠組み大きさでもって順番に音量調整をし、ビブラートやエコー効果を加味して、音響効果処理後の音声信号を生成する。
【００４４】
図１４に示すように、ある実施形態での歌声合成方法は、複数の調整後の音声信号、平滑処理後の音声信号又は音響効果処理後の音声信号等といった多様な音声信号に対して、伴奏合成プログラムを実行して（ステップＳ８０３−５）、楽曲の伴奏音楽とシミュレーション歌声信号とを合成して伴奏歌声信号を取得した上で、伴奏歌声信号を出力する。複数の調整後の音声信号、平滑処理後の音声信号、音響効果処理後の音声信号、伴奏歌声信号等は何れも本発明の合成歌声信号の実施態様であり、合成歌声はユーザーの音色を有する。
【００４５】
歌声合成方法を実施する電子計算装置は卓上型コンピュータ、ノートパソコン、携帯型通信装置、電子人形、電子寵物等でよい。また、電子計算装置は複数曲（ユーザー好み）の楽曲の旋律を記憶するための楽曲データベースを含み、ユーザーがその中から歌声を合成しようとする楽曲を選択することができ、楽曲データベースは楽曲に対応する歌詞や歌詞に対応するリズムを記憶することもできる。
【００４６】
図１５は本発明の一実施形態に係る歌声合成装置の構造図である。図に示すように、歌声合成装置１０００は電子人形でよく、他の実施形態では、歌声合成装置１０００は卓上型コンピュータ、ノートパソコン、携帯型通信装置、携帯用デジタル装置、ＰＤＡ、電子ペット装置、ロボット、ボイスレコーダー、又はデジタル音楽プレーヤ等でもよい。歌声合成装置１０００は少なくとも１つのケース１０１０、記憶装置１０２０、テンポ手段１０３０、オーディオレシーバ１０４０、処理装置１０５０を含む。記憶装置１０２０はケース１０１０内部に設置されて処理装置１０５０に接続され、複数曲の楽曲の旋律を記憶し、楽曲の旋律をテンポ手段１０３０に提供することができる。テンポ手段１０３０はケース１０１０外部に設置されて処理装置１０５０に接続され、旋律の中の特定の旋律に基づきこれに対応するテンポを指示し、ユーザーが口頭で歌の歌詞を朗唱したりハミングしたりするのをサポートする。オーディオレシーバ１０４０はケース１０１０外部に設置され、ユーザーが朗唱したりハミングしたりして生じた複数の音声信号を受信する。処理装置１０５０はケース１０１０内部に設置され、特定の旋律と音声信号に基づき処理を行い、合成歌声信号を生成する。
【００４７】
図１５の実施形態のように、記憶装置１０２０は電子人形の躯体部位に設置されるＦｌａｓｈ、Ｈａｒｄ ｄｉｓｋ、Ｃａｃｈｅのようなメモリである。旋律は音波ファイル又はＭＩＤＩファイルでよく、テンポ手段１０３０は多様な実施方法が可能で、例えば発光装置では図１５に示すように、電子人形の眼の領域に設置して、ライトの明滅、変色等を生じるが、実際にはＬＥＤや他の発光性質を有するものを運用して完成させることができる。また、別のテンポ手段１０３０では可動式の機械構造として電子人形の手の領域に設置して、揺動、回転、跳動、又はメトロノームの振り子のような振れを提供するが、実際にはピアノのメトロノームの振り子に似たものを運用して完成させられる。また、別のテンポ手段１０３０では電子人形の腹部領域に設置する表示装置でよく、移動、跳躍、明滅又は変色の記号等の視覚信号を生成する。さらに、別のテンポ手段１０３０では電子人形の口の領域に設置された音声スピーカでよく、メトロノームを真似た「カチ、カチ」音を出力する。オーディオレシーバ１０４０はマイク、集音装置、録音装置又は他の受信機能を備えたものとして電子人形の耳の領域に設置され、音声信号は特定の旋律に対応してテンポに合わせる。
【００４８】
処理装置１０５０は嵌入式のマイクロプロセッサとその運用の際に必要な他のものとして電子人形のケース内部に設置される。処理装置１０５０は記憶装置１０２０、テンポ手段１０３０、及びオーディオレシーバ１０４０に接続して、主に特定旋律と音声信号に基づき処理を行って合成歌声信号を生成する。ある実施形態では、行う処理は音声信号に音高ならしを実行して複数の同一の音高の信号を取得し、特定の旋律に基づいて同一の音高の信号を特定の旋律に対応して指示する複数の標準音高に調整して、複数の調整後の音声信号を取得するステップを含む。さらに、処理装置１０５０は調整済みの複数の調整後の音声信号に平滑処理を実行して、平滑処理後の音声信号を生成する。
【００４９】
別のある実施形態では、処理ユニット１０５０は音高分析プログラムを実行することができ、ピッチトラッキング、音高標記によって、音高ならしを実行して複数の同一の音高を取得する。続いて、処理ユニット１０５０は複数の同一の音高に音高調整処理を実行し、ＰＳＯＬＡ法、クロスフェード法、又は再標本化法を運用して、複数の同一の音高を特定の旋律に対応して指示する複数の標準音高にそれぞれ調整して、複数の調整後の音声信号を取得する。このＰＳＯＬＡ法、クロスフェード法、及び再標本化法に関する手順の詳細はそれぞれ図４、図５、図６（Ａ）及び図６（Ｂ）の記述を参照する。また、処理ユニット１０５０は複数の調整後の音声信号に平滑処理を実行し、線形補間法、双線形補間法、又は多項式補間法を運用して調整後の音声信号を接続して平滑処理後の音声信号を取得するが、このうち、多項式補間法に関する手順の詳細は図７〜図９の記述を参照する。
【００５０】
別の実施形態では、処理ユニット１０５０はさらに平滑処理後の音声信号に歌声音響効果の処理を実行し、歌声合成装置１０００のシステムの負荷状況に応じてサンプリングの枠組みの大きさを決定した上で、シミュレーション歌声信号をサンプリングの枠組み大きさでもって順番に音量調整をし、ビブラートやエコー効果を加味する。また別の実施形態では、処理ユニット１０５０は複数の調整後の音声信号、平滑処理後の音声信号又は音響効果処理後の音声信号等といった多様な音声信号に対して、伴奏合成処理を実行して、楽曲の伴奏音楽と各種音声信号とを合成して伴奏歌声信号を取得する。調整後の音声信号、平滑処理後の音声信号、音響効果処理後の音声信号、伴奏歌声信号等は、何れも本発明の合成歌声信号的実施態様であり、合成歌声はユーザーの音色を有する。
【００５１】
ある実施形態では、歌声合成装置１０００はケース１０１０外部に設置され処理装置１０５０に接続されて合成歌声信号を出力する音声スピーカ（図示せず）をさらに含む。図１５の実施形態のように、音声スピーカはラッパ、拡声器、イヤホン、音声プレーヤ、又は他の放送機能を備えた器材やものとして電子人形の口領域に設置される。さらに、テンポ手段１０３０は音声スピーカが合成歌声信号を出力する際、揺動、回転、跳動等の動作、又は移動、跳躍、明滅、変色等の視覚記号、又はメトロノームを真似た「カチ、カチ」音といった音声信号のような合成歌声信号を表わすテンポに合わせることができる。
【００５２】
ユーザーが入力した複数の音声信号のリズムに一定レベルの正確性を持たせるため、処理装置１０５０はリズム分析処理を行うことができ、ユーザーが入力した複数の音声信号を受信すると、楽曲の旋律に基づき、音声信号が有する固有のリズムが、予め設定された許容誤差値を超えるか否かを判断する。音声信号のリズムが予め設定された許容誤差値を超える場合、ユーザーに音声信号の入力し直しを指示するが、詳細は上記の図３に関する記述を参照する。別の実施方法では、処理装置１０５０とオーディオレシーバ１０４０で、ユーザーが入力した複数の音声信号を受信すると、音声信号を音声スピーカによって出力し、ユーザー自身で受け入れるか否か決定し、或いは複数の音声信号を入力し直して旧音声信号に取って代える。また、他の実施形態では、ユーザーは歌唱する方法で音声信号を生じて入力したり、事前に録音又は処理済みの音声信号を入力したりすることもでききる。
【００５３】
上記の実施形態のように、本発明で述べた音声信号はユーザーが旋律やテンポに応じて朗唱したりハミングしたりして生じるものであるため、各音声信号は旋律やテンポにそれぞれ対応して直接音声信号を処理することができ、従来技術において大量に事前録音が必要な大量ユーザー言語データベースの時間とコストを節減し、システム資源の節約と楽曲合成速度の加速という効果を達して、最終的に得られた合成歌声はユーザーの音色を一層有しており、しかも効果はかなり迫真で、一般の従来技術では達成することができない。
【００５４】
以上、本発明の実施形態について図面を参照して詳述したが、具体的な構成はこの実施形態に限られるものではなく、本発明の要旨を逸脱しない範囲の設計変更等も含まれる。上述の実施例は本発明の技術思想及び特徴を説明するためのものにすぎず、当該技術分野を熟知する者に本発明の内容を理解させると共にこれをもって実施させることを目的とし、本発明の特許範囲を限定するものではない。従って、本発明の精神を逸脱せずに行う各種の様の効果をもつ改良又は変更は、後述の請求項に含まれるものとする。
【産業上の利用可能性】
【００５５】
本発明は、例えば、バーチャル歌手、電子ペット、歌唱練習ソフト、作曲家と歌手の組合せのシミュレーション等のように、音声合成を使用する任意の装置に適用可能である。
【符号の説明】
【００５６】
２０ 言語データベース
２１ 単音節データ
２２ 単語データ
２３ 歌詞データ
２００ 歌声合成システム
２０１ 記憶ユニット
２０２ テンポユニット
２０３ 入力装置
２０４ 処理ユニット
１０００ 歌声合成装置
１０１０ ケース
１０２０ 記憶装置
１０３０ テンポ手段
１０４０ オーディオレシーバ
１０５０ 処理装置
【特許請求の範囲】
【請求項１】
少なくとも１つの旋律を記憶するための記憶ユニットと、
前記少なくとも１つの旋律における特定の旋律に基づきテンポを指示するためのテンポユニットと、
複数の音声信号を受信し、前記音声信号が前記特定の旋律に対応させる入力装置と、
前記特定の旋律に基づき前記音声信号を処理して合成歌声信号を生成する処理ユニットと、
を含むことを特徴とする歌声合成システム。
【請求項２】
前記音声信号はユーザーの歌詞情報に基づき、前記指示されたテンポに対応して生じ、前記音声信号は順番にそれぞれ前記歌詞情報の各歌詞に対応することを特徴とする請求項１に記載の歌声合成システム。
【請求項３】
前記音声信号は固有のリズムを有し、前記システムはさらに前記固有のリズムが予め設定した許容誤差値を超えるか否かを判断するためのリズム分析ユニットを含むことを特徴とする請求項１に記載の歌声合成システム。
【請求項４】
前記処理ユニットが前記音声信号に行う処理は、音高分析プログラムと音高調整プログラムを実行して複数の調整後の音声信号を取得すると共に、前記調整後の音声信号を前記合成歌声信号とするステップを含み、前記音高分析プログラムはピッチトラッキングによって前記音声信号にそれぞれ対応する複数の音高を取得した上で、前記音高をならして複数の同様な音高を取得することを特徴とする請求項１に記載の歌声合成システム。
【請求項５】
前記処理ユニットが前記音声信号に行う処理は、前記調整後の音声信号に平滑処理プログラムを実行して平滑処理後の音声信号を取得すると共に、前記平滑処理後の音声信号を前記合成歌声信号とするステップをさらに含むことを特徴とする請求項４に記載の歌声合成システム。
【請求項６】
前記処理ユニットが前記音声信号に行う処理は、前記平滑処理後の音声信号に歌声音響効果処理のプログラムを実行して音響効果処理後の音声信号を取得すると共に、前記音響効果処理後の音声信号を前記合成歌声信号とするステップをさらに含むことを特徴とする請求項５に記載の歌声合成システム。
【請求項７】
前記処理ユニットが前記音声信号に行う処理は、前記調整後の音声信号、前記平滑処理後の音声信号、及び前記音響効果処理後の音声信号のうちの１つに、伴奏合成プログラムを実行して歌声伴奏信号を取得すると共に、前記歌声伴奏信号を前記合成歌声信号とするステップをさらに含むことを特徴とする請求項６に記載の歌声合成システム。
【請求項８】
電子計算装置に適用される歌声合成方法であって、
少なくとも１つの旋律における特定の旋律に基づきテンポを指示するステップと、
前記電子計算装置のオーディオモジュールにより複数の音声信号を受信し、前記音声信号が前記特定の旋律に対応するステップと、
前記特定の旋律処理に基づき前記音声信号を処理すると共に前記電子計算装置の音声モジュールにより合成歌声信号を出力するステップと
を含む歌声合成方法。
【請求項９】
前記音声信号はユーザーの歌詞情報と前記テンポに基づき生じ、前記音声信号は固有のリズムを有して順番にそれぞれ前記歌詞情報の各歌詞に対応し、前記歌声合成方法は前記音声信号のリズムが予め設定した許容誤差値を超えるか否かを判断し、超える場合、前記音声信号を入力するステップを繰り返すことを特徴とする請求項８に記載の歌声合成方法。
【請求項１０】
前記音声信号に行う処理はさらに、音高分析プログラムと音高調整プログラムを実行して複数の調整後の音声信号を取得すると共に、前記調整後の音声信号を前記合成歌声信号とするステップを含み、前記音高分析プログラムはピッチトラッキングによって前記音声信号にそれぞれ対応する複数の音高を取得した上で、前記音高をならして複数の同様な音高を取得することを特徴とする請求項８に記載の歌声合成方法。
【請求項１１】
前記音声信号に行う処理は、前記調整後の音声信号に平滑処理プログラムを実行して平滑処理後の音声信号を取得すると共に、前記平滑処理後の音声信号を前記合成歌声信号とするステップをさらに含むことを特徴とする請求項１０に記載の歌声合成方法。
【請求項１２】
前記音声信号に行う処理は、前記平滑処理後の音声信号に歌声音響効果処理のプログラムを実行して音響効果処理後の音声信号を取得すると共に、前記音響効果処理後の音声信号を前記合成歌声信号とするステップをさらに含むことを特徴とする請求項１１に記載の歌声合成方法。
【請求項１３】
前記音声信号に行う処理は、前記調整後の音声信号、前記平滑処理後の音声信号、及び前記音響効果処理後の音声信号のうちの１つに、伴奏合成プログラムを実行して歌声伴奏信号を取得すると共に、前記歌声伴奏信号を前記合成歌声信号とするステップをさらに含むことを特徴とする請求項１２に記載の歌声合成方法。
【請求項１４】
少なくとも１つのケース、記憶装置、テンポ手段、オーディオレシーバ、処理装置を含む歌声合成装置であって、前記記憶装置は前記ケース内部に設置されて前記処理装置に接続され、少なくとも１つの旋律を記憶し、前記テンポ手段は前記ケース外部に設置されて前記処理装置に接続され、前記旋律の特定旋律に基づきテンポを指示し、前記オーディオレシーバは前記ケース外部に設置されて前記処理装置に接続され、複数の音声信号を受信し、且つ前記音声信号は前記特定の旋律に対応し、前記処理装置は前記ケース内部に設置されて、前記特定の旋律に基づき前記音声信号を処理して合成歌声信号を生成することを特徴とする歌声合成装置。
【請求項１５】
前記記憶装置はメモリであり、前記テンポ手段は発光装置、可動式機械構造、表示装置、又は音声スピーカであり、前記オーディオレシーバはマイク、集音装置、又は録音装置であり、前記処理装置は嵌入式のマイクロプロセッサであることを特徴とする請求項１４に記載の歌声合成装置。
【請求項１６】
前記音声信号はユーザーの歌詞情報と前記テンポに基づき生じ、前記音声信号は固有のリズムを有して順番にそれぞれ前記歌詞情報の各歌詞に対応し、前記処理装置は前記音声信号のリズムが予め設定した許容誤差値を超えるか否かを判断し、超える場合、前記ユーザーに前記音声信号を入力するステップを繰り返すよう指示することを特徴とする請求項１４に記載の歌声合成装置。
【請求項１７】
前記処理装置が前記音声信号に行う処理は、音高分析処理と音高調整処理を実行して複数の調整後の音声信号を取得すると共に、前記調整後の音声信号を前記合成歌声信号とすることであり、前記音高分析処理はピッチトラッキングによって前記音声信号にそれぞれ対応する複数の音高を取得した上で、前記音高をならして複数の同様な音高を取得することであることを特徴とする請求項１４に記載の歌声合成装置。
【請求項１８】
前記処理装置が前記音声信号に行う処理は、前記調整後の音声信号に平滑処理を実行して平滑処理後の音声信号を取得すると共に、前記平滑処理後の音声信号を前記合成歌声信号とするステップをさらに含むことを特徴とする請求項１７に記載の歌声合成装置。
【請求項１９】
前記処理装置が前記音声信号に行う処理は、前記平滑処理後の音声信号に歌声音響効果処理を実行して音響効果処理後の音声信号を取得すると共に、前記音響効果処理後の音声信号を前記合成歌声信号とするステップをさらに含むことを特徴とする請求項１８に記載の歌声合成装置。
【請求項２０】
前記処理装置が前記音声信号に行う処理は、前記調整後の音声信号、前記平滑処理後の音声信号、及び前記音響効果処理後の音声信号のうちの１つに、伴奏合成処理を実行して歌声伴奏信号を取得すると共に、前記歌声伴奏信号を前記合成歌声信号とするステップをさらに含むことを特徴とする請求項１９に記載の歌声合成装置。
【請求項２１】
前記合成歌声信号を出力する音声スピーカをさらに含むことを特徴とする請求項１４に記載の歌声合成装置。
【請求項１】
少なくとも１つの旋律を記憶するための記憶ユニットと、
前記少なくとも１つの旋律における特定の旋律に基づきテンポを指示するためのテンポユニットと、
複数の音声信号を受信し、前記音声信号が前記特定の旋律に対応させる入力装置と、
前記特定の旋律に基づき前記音声信号を処理して合成歌声信号を生成する処理ユニットと、
を含むことを特徴とする歌声合成システム。
【請求項２】
前記音声信号はユーザーの歌詞情報に基づき、前記指示されたテンポに対応して生じ、前記音声信号は順番にそれぞれ前記歌詞情報の各歌詞に対応することを特徴とする請求項１に記載の歌声合成システム。
【請求項３】
前記音声信号は固有のリズムを有し、前記システムはさらに前記固有のリズムが予め設定した許容誤差値を超えるか否かを判断するためのリズム分析ユニットを含むことを特徴とする請求項１に記載の歌声合成システム。
【請求項４】
前記処理ユニットが前記音声信号に行う処理は、音高分析プログラムと音高調整プログラムを実行して複数の調整後の音声信号を取得すると共に、前記調整後の音声信号を前記合成歌声信号とするステップを含み、前記音高分析プログラムはピッチトラッキングによって前記音声信号にそれぞれ対応する複数の音高を取得した上で、前記音高をならして複数の同様な音高を取得することを特徴とする請求項１に記載の歌声合成システム。
【請求項５】
前記処理ユニットが前記音声信号に行う処理は、前記調整後の音声信号に平滑処理プログラムを実行して平滑処理後の音声信号を取得すると共に、前記平滑処理後の音声信号を前記合成歌声信号とするステップをさらに含むことを特徴とする請求項４に記載の歌声合成システム。
【請求項６】
前記処理ユニットが前記音声信号に行う処理は、前記平滑処理後の音声信号に歌声音響効果処理のプログラムを実行して音響効果処理後の音声信号を取得すると共に、前記音響効果処理後の音声信号を前記合成歌声信号とするステップをさらに含むことを特徴とする請求項５に記載の歌声合成システム。
【請求項７】
前記処理ユニットが前記音声信号に行う処理は、前記調整後の音声信号、前記平滑処理後の音声信号、及び前記音響効果処理後の音声信号のうちの１つに、伴奏合成プログラムを実行して歌声伴奏信号を取得すると共に、前記歌声伴奏信号を前記合成歌声信号とするステップをさらに含むことを特徴とする請求項６に記載の歌声合成システム。
【請求項８】
電子計算装置に適用される歌声合成方法であって、
少なくとも１つの旋律における特定の旋律に基づきテンポを指示するステップと、
前記電子計算装置のオーディオモジュールにより複数の音声信号を受信し、前記音声信号が前記特定の旋律に対応するステップと、
前記特定の旋律処理に基づき前記音声信号を処理すると共に前記電子計算装置の音声モジュールにより合成歌声信号を出力するステップと
を含む歌声合成方法。
【請求項９】
前記音声信号はユーザーの歌詞情報と前記テンポに基づき生じ、前記音声信号は固有のリズムを有して順番にそれぞれ前記歌詞情報の各歌詞に対応し、前記歌声合成方法は前記音声信号のリズムが予め設定した許容誤差値を超えるか否かを判断し、超える場合、前記音声信号を入力するステップを繰り返すことを特徴とする請求項８に記載の歌声合成方法。
【請求項１０】
前記音声信号に行う処理はさらに、音高分析プログラムと音高調整プログラムを実行して複数の調整後の音声信号を取得すると共に、前記調整後の音声信号を前記合成歌声信号とするステップを含み、前記音高分析プログラムはピッチトラッキングによって前記音声信号にそれぞれ対応する複数の音高を取得した上で、前記音高をならして複数の同様な音高を取得することを特徴とする請求項８に記載の歌声合成方法。
【請求項１１】
前記音声信号に行う処理は、前記調整後の音声信号に平滑処理プログラムを実行して平滑処理後の音声信号を取得すると共に、前記平滑処理後の音声信号を前記合成歌声信号とするステップをさらに含むことを特徴とする請求項１０に記載の歌声合成方法。
【請求項１２】
前記音声信号に行う処理は、前記平滑処理後の音声信号に歌声音響効果処理のプログラムを実行して音響効果処理後の音声信号を取得すると共に、前記音響効果処理後の音声信号を前記合成歌声信号とするステップをさらに含むことを特徴とする請求項１１に記載の歌声合成方法。
【請求項１３】
前記音声信号に行う処理は、前記調整後の音声信号、前記平滑処理後の音声信号、及び前記音響効果処理後の音声信号のうちの１つに、伴奏合成プログラムを実行して歌声伴奏信号を取得すると共に、前記歌声伴奏信号を前記合成歌声信号とするステップをさらに含むことを特徴とする請求項１２に記載の歌声合成方法。
【請求項１４】
少なくとも１つのケース、記憶装置、テンポ手段、オーディオレシーバ、処理装置を含む歌声合成装置であって、前記記憶装置は前記ケース内部に設置されて前記処理装置に接続され、少なくとも１つの旋律を記憶し、前記テンポ手段は前記ケース外部に設置されて前記処理装置に接続され、前記旋律の特定旋律に基づきテンポを指示し、前記オーディオレシーバは前記ケース外部に設置されて前記処理装置に接続され、複数の音声信号を受信し、且つ前記音声信号は前記特定の旋律に対応し、前記処理装置は前記ケース内部に設置されて、前記特定の旋律に基づき前記音声信号を処理して合成歌声信号を生成することを特徴とする歌声合成装置。
【請求項１５】
前記記憶装置はメモリであり、前記テンポ手段は発光装置、可動式機械構造、表示装置、又は音声スピーカであり、前記オーディオレシーバはマイク、集音装置、又は録音装置であり、前記処理装置は嵌入式のマイクロプロセッサであることを特徴とする請求項１４に記載の歌声合成装置。
【請求項１６】
前記音声信号はユーザーの歌詞情報と前記テンポに基づき生じ、前記音声信号は固有のリズムを有して順番にそれぞれ前記歌詞情報の各歌詞に対応し、前記処理装置は前記音声信号のリズムが予め設定した許容誤差値を超えるか否かを判断し、超える場合、前記ユーザーに前記音声信号を入力するステップを繰り返すよう指示することを特徴とする請求項１４に記載の歌声合成装置。
【請求項１７】
前記処理装置が前記音声信号に行う処理は、音高分析処理と音高調整処理を実行して複数の調整後の音声信号を取得すると共に、前記調整後の音声信号を前記合成歌声信号とすることであり、前記音高分析処理はピッチトラッキングによって前記音声信号にそれぞれ対応する複数の音高を取得した上で、前記音高をならして複数の同様な音高を取得することであることを特徴とする請求項１４に記載の歌声合成装置。
【請求項１８】
前記処理装置が前記音声信号に行う処理は、前記調整後の音声信号に平滑処理を実行して平滑処理後の音声信号を取得すると共に、前記平滑処理後の音声信号を前記合成歌声信号とするステップをさらに含むことを特徴とする請求項１７に記載の歌声合成装置。
【請求項１９】
前記処理装置が前記音声信号に行う処理は、前記平滑処理後の音声信号に歌声音響効果処理を実行して音響効果処理後の音声信号を取得すると共に、前記音響効果処理後の音声信号を前記合成歌声信号とするステップをさらに含むことを特徴とする請求項１８に記載の歌声合成装置。
【請求項２０】
前記処理装置が前記音声信号に行う処理は、前記調整後の音声信号、前記平滑処理後の音声信号、及び前記音響効果処理後の音声信号のうちの１つに、伴奏合成処理を実行して歌声伴奏信号を取得すると共に、前記歌声伴奏信号を前記合成歌声信号とするステップをさらに含むことを特徴とする請求項１９に記載の歌声合成装置。
【請求項２１】
前記合成歌声信号を出力する音声スピーカをさらに含むことを特徴とする請求項１４に記載の歌声合成装置。
【図１】
【図２】
【図３】
【図４】
【図５】
【図６】
【図７】
【図８】
【図９】
【図１０】
【図１１】
【図１２】
【図１３】
【図１４】
【図１５】
【図１６】
【図２】
【図３】
【図４】
【図５】
【図６】
【図７】
【図８】
【図９】
【図１０】
【図１１】
【図１２】
【図１３】
【図１４】
【図１５】
【図１６】
【公開番号】特開２０１１−４８３３５（Ｐ２０１１−４８３３５Ａ）
【公開日】平成２３年３月１０日（２０１１．３．１０）
【国際特許分類】
【出願番号】特願２０１０−１２７９３１（Ｐ２０１０−１２７９３１）
【出願日】平成２２年６月３日（２０１０．６．３）
【出願人】（５９９０６４７３１）インスティチュート フォー インフォメイション インダストリ (24)
【氏名又は名称原語表記】ＩＮＳＴＩＴＵＴＥ ＦＯＲ ＩＮＦＯＲＭＡＴＩＯＮ ＩＮＤＵＳＴＲＹ
【Ｆターム（参考）】
【公開日】平成２３年３月１０日（２０１１．３．１０）
【国際特許分類】
【出願日】平成２２年６月３日（２０１０．６．３）
【出願人】（５９９０６４７３１）インスティチュート フォー インフォメイション インダストリ (24)
【氏名又は名称原語表記】ＩＮＳＴＩＴＵＴＥ ＦＯＲ ＩＮＦＯＲＭＡＴＩＯＮ ＩＮＤＵＳＴＲＹ
【Ｆターム（参考）】
[ Back to top ]