音楽伴奏装置の自動音調合わせ方法及びそのシステム
【課題】音楽伴奏装置の自動音調合わせ方法及びそのシステムを提供する。
【解決手段】歌唱者の音声周波数をタイムリーに連続的に測定し、音楽の主旋律の音声周波数とを比較し、歌唱者と音楽音調の誤差を算出して、音楽の音調を歌唱者の歌声に合わせるために調整する。本発明は、使用者の声を一定の短い時間間隔ごとに、その基本周波数を音調測定器で計算し、次に、音階序列記録器により、使用者の声の基本周波数を使用者音階序列に転換し、音階マッチャーにより、使用者音階序列と主旋律音階序列の相違度を比較してから、移調判別器により、移調するか、いつ移調するかを判別し、移調すると判別した場合、音楽合成器内の音階パラメーターを調整し、楽譜のすべての音符音階を一緒に、何個かの音階数を上げるかまたは下げて、音楽合成器から出力された音楽と使用者の歌声が、ミキサーを経て出力されることを特徴とするものであり、このような音楽伴奏装置により、伴奏曲の音調が歌唱者の音調に合わせるように自動的に調整され、タイムリーでより正しい移調の正確性を有している。
【解決手段】歌唱者の音声周波数をタイムリーに連続的に測定し、音楽の主旋律の音声周波数とを比較し、歌唱者と音楽音調の誤差を算出して、音楽の音調を歌唱者の歌声に合わせるために調整する。本発明は、使用者の声を一定の短い時間間隔ごとに、その基本周波数を音調測定器で計算し、次に、音階序列記録器により、使用者の声の基本周波数を使用者音階序列に転換し、音階マッチャーにより、使用者音階序列と主旋律音階序列の相違度を比較してから、移調判別器により、移調するか、いつ移調するかを判別し、移調すると判別した場合、音楽合成器内の音階パラメーターを調整し、楽譜のすべての音符音階を一緒に、何個かの音階数を上げるかまたは下げて、音楽合成器から出力された音楽と使用者の歌声が、ミキサーを経て出力されることを特徴とするものであり、このような音楽伴奏装置により、伴奏曲の音調が歌唱者の音調に合わせるように自動的に調整され、タイムリーでより正しい移調の正確性を有している。
【発明の詳細な説明】
【技術分野】
【０００１】
本発明は、音楽伴奏装置の自動音調合わせ方法及びそのシステムに関わる。
【背景技術】
【０００２】
一般に、人々は、音楽の伴奏（カラオケプレーヤーなど）で歌っているとき、伴奏音楽のキーが高すぎたり、低すぎたりするために、調子外れになる場合が多く、歌唱者の声が正しい音調に合わないと、歌の声と音楽のメロディとの調子が外れて、歌唱効果が大きく影響される。
【０００３】
上述の問題点を鑑みて、関係業界では、歌唱者の歌の音調に合わせて、伴奏音楽の音調を変えることが可能な音楽伴奏装置が開発された。その技術特徴は、歌唱者の歌声の音調を一定の周期で測定し、運算して、該周期の“平均音調”を得て、それから、該“平均音調”とマッチングする伴奏音楽の参考音調を比較した後、得た一つの調子外れの信号を、伴奏音楽の音調に変える。
【０００４】
しかしながら、従来の音楽伴奏の自動音調合わせ方法は、歌唱者の歌声の音調を計算するとき、一定の周期の音調を取って、平均値を算出する（すなわち平均音調）ため、毎回平均値を得る時点において、時間間隔（例えば５秒）があり、比較するときに著しく遅延し、計算や比較に必要とされる時間を考慮すると、遅延状態は著しくなる。
【０００５】
そのため、従来の音楽伴奏の自動音調合わせ方法は、実際に実施された経験から、歌唱者の音調に合わせて伴奏音楽の音調を変えるのに、タイムリーに行われる即時性がなく、調整は往々として、歌唱者の歌っているセンテンスが終わるところまで待って、次のセンテンスに入るときに行われること、また、上述の従来の方法は、二つの決まった所の数値比較により行われるので、正確性の高い移調幅がなかなか得られないという不十分な点とがあった。よって、以前からの使用者の要求に応じるためには、それらを改善、突破する必要がある。
【０００６】
それゆえ、上述のように、従来の音楽伴奏装置の自動音調合わせ方法に存在する問題点について考え、より理想的で実用性があるオリジナル構造を開発するのが、関連業界において突破すべき目標と方向でもある。
【０００７】
それらを鑑みて、発明者は関連製品の製造と開発設計に携わる長年の経験から、上述の目標について、詳しく設計、慎重に評価したうえ、ようやく実用性のある本発明を得られたわけである。
【発明の概要】
【発明が解決しようとする課題】
【０００８】
本発明は、音楽伴奏装置の自動音調合わせ方法を提供し、人々が歌っているとき、歌声の音調に合わせて、伴奏曲の音調をタイムリーでかつ自動的に調整し、歌声の調子外れの場合を減らし、歌唱者の音域に適合させるようにすることを目的とする。
【課題を解決するための手段】
【０００９】
技術特徴として、音調測定器により、使用者の声を設定した一定の時間間隔ごとに、その基本周波数を計算し、音階序列記録器により、使用者の声の基本周波数を使用者の音階序列に転換、記録し、音階マッチャーにより、使用者音階序列と設定した楽譜の主旋律音階序列との相違度を比較し、音階マッチャーは動的時間伸縮法のマッチング手法により、使用者音階序列と主旋律音階序列との相違度を比較し、移調判別器により、伴奏の音楽を移調するか、いつ移調するかを判別し、移調すると判別した場合、音楽合成器により、音楽合成器内の音階パラメーターを自動的に調整し、音楽合成器により、デジタル記録の楽譜が実際の音楽波形に合成され、使用者の歌声と共に、ミキサーを経て、スピーカーから出力されることを特徴とするものである。
【００１０】
このオリジナルな設計により、使用者の歌声の音調の計算は、一定の短い時間間隔ごとに行われ、そして、音階序列記録器で、使用者の声の基本周波数を使用者の音階パラメーター序列に変え、本発明では、主旋律の音階序列と使用者の歌声の音階序列を比較し、音階マッチャーは、ある音階序列のマッチング具合を比較して、ある一定の時間の音階序列曲線をダイナミックに比較するというダイナミック比較の音階曲線形式により、最適なマッチング時の音階の差を出力するため、得られた移調幅はよりよい正確性があり、最適な音調調整効果が得られ、使用者のニーズに一致させることができる。
【００１１】
本発明の技術特徴として、既に記録されている歌曲の主旋律を直接に採用し、複雑な演算が行われず、システムにおける演算量が比較的少なく、システム資源が使用される量が少ないため、全体として、動作効率がよく、即時性があり、従来のシステムで見られた遅延状態の問題点を大きく改善し、実用性と進歩性を有している。
【発明の効果】
【００１２】
１．本発明に掲示した音楽伴奏装置の自動音調合わせ方法では、使用者の歌声の音調計算は、その平均値を取るのではなく、一定の短い時間間隔（例えば０．１秒）ごとに行われ、そして、音階序列記録器１２を用いて、使用者の声の基本周波数を使用者音階序列１２１に転換する。すなわち、本発明は、その平均音調を比較せず、主旋律音階序列１４と使用者音階序列１２１を比較し、音階マッチャー１３は、ある音階序列のマッチング具合を比較するが、ある一定時間の音調平均値を比較するのではなく、ある一定時間の音階序列曲線をダイナミックに比較するというダイナミック比較の音階曲線形式により、最適なマッチング時の音階の差を出力するために、得られた移調幅はよりよい正確性があり、最適な音調調整効果が得られ、使用者のニーズに一致させることができる。
２．本発明の技術特徴として、既に記録されている歌曲の主旋律を直接に採用し、複雑な演算が行われず、システムにおける演算量が比較的少なく、システム資源が使用される量が少ないため、全体として、動作効率がよく、即時性があり、従来のシステムで見られた遅延状態の問題点を大きく改善し、実用性と進歩性を有している。
【図面の簡単な説明】
【００１３】
【図１】本発明の音楽伴奏装置の自動音調合わせ方法及びそのシステムのブロック図である。
【図２】本発明の音階マッチャーの作動の流れに関するブロックイメージ図である。
【発明を実施するための形態】
【００１４】
図１及び図２は、本発明の音楽伴奏装置の自動音調合わせ方法の好適な実施例であり、これらの実施例は、説明用に使用され、特許出願の際、これらの構造に制限されないものとする。この自動音調合わせ方法には、次のことが含まれる。
【００１５】
図１に示すように、まず、使用者の声を一定の短い時間間隔（約０．１秒）ごとに、音調測定器１１でその基本周波数（Ｆｕｎｄａｍｅｎｔａｌ Ｆｒｅｑｕｅｎｃｙ）を計算する。音調測定器１１は、この部分の声の基本周期または周波数を算出するが、当該数値は、最大値の相関関数（ａｕｔｏｃｏｒｒｅｌａｔｉｏｎ ｆｕｎｃｔｉｏｎ）、またはスペクトルにあるピーク値（Ｐｅａｋ Ｖａｌｕｅ）の関係位置とのギャップから算出され、基本周期と周波数の関わりは、基本周波数＝サンプリング頻度／基本周期になる。
【００１６】
該サンプリング頻度は、声の毎秒のサンプリングの見本数であり、次に、音階序列記録器１２で、入力された使用者の声の一連の基本周波数を使用者音階序列１２１に変換し、記録する。音階と周波数との関わりは次のようになる。音階Ａ４の周波数は４４０Ｈｚで、半音階上げるごとに、周波数が、
【００１７】
【数１】
倍で上げられるが、半音階下げるごとに、周波数が
【００１８】
【数２】
倍で下げられるため、１２個の半音階を上げるごとに、周波数が計２倍で上げられ、１２個の半音階を下げるごとに、周波数が２倍で下げられる。
【００１９】
また、音階マッチャー１３を用いて、使用者音階序列１２１と主旋律音階序列１４との相違度を比較する。ここで、主旋律音階序列１４は、あらかじめ音楽の楽譜１５に保存され、例えば、ｍｉｄｉ（ｍｕｓｉｃａｌ ｉｎｓｔｒｕｍｅｎｔ ｄｉｇｉｔａｌ ｉｎｔｅｒｆａｃｅ）ファイルに、これらの楽譜情報を同時に記録することができる。
【００２０】
音階マッチャー１３は、動的時間伸縮法（Ｄｙｎａｍｉｃ Ｔｉｍｅ Ｗａｒｐｉｎｇ，略号ＤＴＷ）のマッチング手法により、使用者音階序列１２１と主旋律音階序列１４との相違度を比較する。その具体的なやり方は次のようになる。
【００２１】
仮に、使用者音階序列１２１をｎ１，ｎ２，…，ｎｊとして、一定の短い時間間隔（例えば０．１秒）ごとに、連続的に算出された使用者（または歌唱者）の音階（または音調）を表し、また、主旋律音階序列１４をｍ１，ｍ２，…，ｍｊとして、一定の短い時間間隔（例えば０．１秒）の主旋律音階を表す。
【００２２】
ここの音階は、数字１〜２５５で表し、音階Ｃ３的代表数値は６０、音階Ｄ３の代表数値は６１、音階Ｂ３の代表数値は５９、他の音階はそのように類推できる。歌を歌っているとき、歌唱者の声のテンポマークの位置が、ＢＧＭ音楽のテンポマークの位置と一致するとは限らないので、音階比較のとき、より正確な比較結果を得るために、以下（表１）に示すように動的時間伸縮法に基づいて、行なう。
【００２３】
【表１】
上述の実施例では、時間の面から言えば、該ｎ２、ｎ３（即ち使用者音階序列）がｍ２（即ち主旋律音階序列）に合わせて比較され、それによって、流れているＢＧＭ音楽のテンポマークと歌唱者の声のテンポマークとの位置を、正しく対応できるテンポマーク位置で比較し、移調する場合は、主旋律音階序列の移調を使用者音階序列に合わせて行わせるようにする。
【００２４】
仮に、ｄｉｓｔ（ｎｉ，ｍｋ）は音階ｎｉ，ｍｋの誤差値を表し、ａｃｕ＿ｄｉｓｔ（ｎｉ，ｍｋ）は、過去の最適ルートから音階ｎｉ，ｍｋまでの累積誤差値を表すが、上記表１のマッチングした各節点の最小累積誤差は、
ａｃｕ＿ｄｉｓｔ（ｎｉ，ｍｋ）＝ｄｉｓｔ（ｎｉ，ｍｋ）＋ｍｉｎ｛ａｃｕ＿ｄｉｓｔ（ｎｉ−１，ｍｋ）、ａｃｕ＿ｄｉｓｔ（ｎｉ，ｍｋ−１）、ａｃｕ＿ｄｉｓｔ（ｎｉ−１，ｍｋ−１）、…｝
になる。
【００２５】
その中で、ｍｉｎ｛…｝は最小値を表し、｛…｝内の範囲は、経験から決められる。通常、時間マッチング値−２〜＋２の範囲内を取るため、最終的に、マッチングされた後の誤差はａｃｕ＿ｄｉｓｔ（ｎｊ，ｍｊ）となり、ｊは今度のマッチングの最後のタイムポイントで、その数値は実験により決められ、通常、４０（４秒）より大きく、１００（１０秒）より小さくなる。また、最適なルートは最小累積誤差ルートで、実際にそれを算出する必要はない。
【００２６】
上述のやり方により、主旋律の移調幅が算出されるが、図２に示すように、まず、主旋律音階の移調幅をｓ＝Ｋ１にし、ｓ＝１のとき、音階を一個の半音上げ、ｓ＝−１のとき、音階を一個の半音下げるものとする。
【００２７】
次に、上述のやり方（すなわち、上述した動的時間伸縮法（Ｄｙｎａｍｉｃ Ｔｉｍｅ Ｗａｒｐｉｎｇ、略号ＤＴＷ）マッチング手法）により、使用者音階序列とｓの移調後の主旋律音階序列を比較し、最終マッチング結果の累積誤差値＝Ｄｉｓ（ｓ）を記録して、それから、ｓ＝ｓ＋１にして、ｓ＝Ｋ２になるまで、Ｄｉｓ（ｓ）を再計算し、移調幅ｓ＝ｓｍｉｎを算出して、Ｄｉｓ（ｓｍｉｎ）は最小値、Ｋ１＜＝ｓ＜＝Ｋ２となるが、通常はＫ１＝−６、Ｋ２＝６とする。
【００２８】
次に、移調判別器１６を用いて、移調するか、いつ移調するかを決める。移調判別器１６は、誤差値Ｄｉｓ（ｓｍｉｎ）が経験値の定数Ｄより小さくなってから移調すると判別し、移調は、主旋律音階をｓ個の半音移調することで、音調調整は、音楽のハーモニーと自然さを考慮に入れて行われ、通常、一定の時間内で行われ、通常は主旋律の音が比較的に長い場合に行われる。
【００２９】
音楽合成器１７により、デジタル記録の楽譜１５が実際の音楽波形に合成され、最後に、使用者の歌声と共にミキサー１８（ｍｉｘｅｒ）を経て出力される。移調する場合、音楽合成器１７内の音階パラメーターの調整を行うが、その具体的なやり方は、楽譜１５のすべての音符音階を一緒に、何個かの音階数を上げるか、または下げるが、該音階数は通常、６個の半音になるかまたはそれより小さくなるが、それには限らない。１２個の半音階（８度音程）の差があった場合、周波数がちょうど二倍の差になり、２倍の周波数の差では、音感が同じように見られるが、６個の半音階以上の差があった場合、音調を下げ、６個の半音階以上の場合、音調を上げて調整することができる。
【００３０】
以下、一つの実施の形態を挙げる。
【００３１】
ＢＧＭ音楽が流れてくると録音を開始し、そして、音声様式は単音１６ｂｉｔｓに、サンプリング頻度は４４１００Ｈｚに、毎回録音の長さは０．１秒として、音調測定器１１で、歌唱者の声の基本周波数を計算する。その方法は次のようになる。仮に、録音された声を
ｘ（ｎ）、ｎ＝０，１，２，…，Ｎ−１、Ｎ＝４４１０とした場合、
１．相関関数ｒｘ（ｋ）を計算し、その中で、
ｒｘ（ｋ）＝Σｎｘ（ｎ）ｘ（ｎ−ｋ），ｎ＝０，１，２，…，Ｎ−１，
ｋ＝２２，２３，２４，…，６７４
ｋ値の範囲は検出する周波数の範囲
４４１００／２２〜４４１００／６７４＝２００４．５４〜６５．４３Ｈｚ
２．ｋｍａｘ＝ａｒｇ（ｍａｘ（ｒｘ（ｋ））｜ｋ）を調べるが、ｋｍａｘはｒｘ（ｋ）に最大値があった時のｋ値。
３．基本周波数はｆ０＝４４１００／ｋｍａｘにし、該基本周波数を音階記号に変換するが、仮に基本周波数＝４４０Ｈｚの場合、音階はＡ４（音Ｌａ）に、音階記号は６９に変換する。半音階の差があった場合、頻率の差が
【００３２】
【数３】
倍に、音符記号の差が１となり、音階序列記録器１２でそれを記録し、主旋律音階序列１４に主旋律音階の記号を記録する。
【００３３】
音階マッチャー１３では、まず、Ｋ１＝−６、Ｋ２＝６に設定し、それから音階記号序列の長さは４秒（ｊ＝４０）、録音は０．１秒ごとに一回計算し、４秒だと、４０回計算する。ここで、仮に記録した主旋律音階序列１４はｍｉ、ｉ＝０、１、２、…、３９に、使用者の歌声の音階序列はｎｉ、ｉ＝０、１、２、…、３９に、移調はｓに、そして、音階記号ｍｉとｎｋの差はｄｉｓｔ（ｍｉ、ｎｋ）にするが、その中、ｄｉｓｔ（ｍｉ、ｎｋ）＞＝０、そして、ｍｉとｎｋの差が八度音程（１２個の半音階）になったとき、同じ誤差値が得られる。すなわち、
ｄｉｓｔ（ｍｉ、ｎｋ）＝ｄｉｓｔ（ｍｉ＋１２＊Ｎ、ｎｋ）
その中で、Ｎは整数であり、時間マッチング値−１〜＋０の範囲内になった場合、音階マッチャー１３は次のように行われる。
【００３４】
１．ｓ＝Ｋ１にする
２．ｉ＝１にし、累積誤差値の配列はａｃｕ＿ｄｉｓｔ［０〜３９］［０〜３９］にし、その初期値は非常に大きい値１００００００にする。
【００３５】
３．ａｃｕ＿ｄｉｓｔ［０］［０］＝ｄｉｓｔ（ｍ０＋ｓ，ｎ０）で計算する。
【００３６】
４．ｊ＝ｉ−１にする
５．ｊ＞＝４０のとき、ステップ８へ進む
６．ａｃｕ＿ｄｉｓｔ［ｉ］［ｊ］＝ｍｉｎ｛ａｃｕ＿ｄｉｓｔ［ｉ−１］［ｊ−１］，ａｃｕ＿ｄｉｓｔ［ｉ−１］［ｊ］，ａｃｕ＿ｄｉｓｔ［ｉ］［ｊ−１］｝＋ｄｉｓｔ（ｍｉ＋ｓ，ｎｊ）
７．ｊ＝ｊ＋１にし、ｊ＜＝ｉ＋１のとき、ステップ５へ戻る
８．ｉ＝ｉ＋１にし、ｉ＜４０のとき、ステップ４へ戻る
９．Ｄｉｓ（ｓ）＝ｄｔｗ＿ｄｉｓｔ［３９］［３９］
１０．ｓ＝ｓ＋１
１１．ｓ＜＝Ｋ２のとき、ステップ２へ戻る
１２．終了。
【００３７】
次に、移調判別器１６において、Ｄｉｓ（ｓｍｉｎ）＜＝４０（４０は経験値）、で、現在流れている主旋律符音の長さ＞＝１秒になった場合、主旋律の移調をｓｍｉｎ個の半音階で行い、４秒（４秒は経験値）以上の間隔があってから、次の移調が行われる。
【００３８】
最後に、音楽合成器１７により、デジタル記録の楽譜が実際の音楽波形に合成され、使用者の歌声と共にミキサー１８を経て、スピーカー１９から出力されることになる。
【００３９】
上述の実施例に関する内容は、本発明を具体的に説明するのに用いられ、文中において専門用語で説明してきたが、それらを以って、本発明の特許請求範囲を制限してはならない。この分野が分かる者は、本発明のコンセプトや考えを理解したうえ、その変化や修正を行って、それと同等な効果を有する目的を達成しても、それらの変化や修正は、すべて後述の特許請求の範囲内に含まれるものとする。
【符号の説明】
【００４０】
１１ 音調測定器
１２ 音階序列記録器
１２１ 使用者音階序列
１３ 音階マッチャー
１４ 主旋律音階序列
１５ 楽譜
１６ 移調判別器
１７ 音楽合成器
１８ ミキサー
１９ スピーカー
【技術分野】
【０００１】
本発明は、音楽伴奏装置の自動音調合わせ方法及びそのシステムに関わる。
【背景技術】
【０００２】
一般に、人々は、音楽の伴奏（カラオケプレーヤーなど）で歌っているとき、伴奏音楽のキーが高すぎたり、低すぎたりするために、調子外れになる場合が多く、歌唱者の声が正しい音調に合わないと、歌の声と音楽のメロディとの調子が外れて、歌唱効果が大きく影響される。
【０００３】
上述の問題点を鑑みて、関係業界では、歌唱者の歌の音調に合わせて、伴奏音楽の音調を変えることが可能な音楽伴奏装置が開発された。その技術特徴は、歌唱者の歌声の音調を一定の周期で測定し、運算して、該周期の“平均音調”を得て、それから、該“平均音調”とマッチングする伴奏音楽の参考音調を比較した後、得た一つの調子外れの信号を、伴奏音楽の音調に変える。
【０００４】
しかしながら、従来の音楽伴奏の自動音調合わせ方法は、歌唱者の歌声の音調を計算するとき、一定の周期の音調を取って、平均値を算出する（すなわち平均音調）ため、毎回平均値を得る時点において、時間間隔（例えば５秒）があり、比較するときに著しく遅延し、計算や比較に必要とされる時間を考慮すると、遅延状態は著しくなる。
【０００５】
そのため、従来の音楽伴奏の自動音調合わせ方法は、実際に実施された経験から、歌唱者の音調に合わせて伴奏音楽の音調を変えるのに、タイムリーに行われる即時性がなく、調整は往々として、歌唱者の歌っているセンテンスが終わるところまで待って、次のセンテンスに入るときに行われること、また、上述の従来の方法は、二つの決まった所の数値比較により行われるので、正確性の高い移調幅がなかなか得られないという不十分な点とがあった。よって、以前からの使用者の要求に応じるためには、それらを改善、突破する必要がある。
【０００６】
それゆえ、上述のように、従来の音楽伴奏装置の自動音調合わせ方法に存在する問題点について考え、より理想的で実用性があるオリジナル構造を開発するのが、関連業界において突破すべき目標と方向でもある。
【０００７】
それらを鑑みて、発明者は関連製品の製造と開発設計に携わる長年の経験から、上述の目標について、詳しく設計、慎重に評価したうえ、ようやく実用性のある本発明を得られたわけである。
【発明の概要】
【発明が解決しようとする課題】
【０００８】
本発明は、音楽伴奏装置の自動音調合わせ方法を提供し、人々が歌っているとき、歌声の音調に合わせて、伴奏曲の音調をタイムリーでかつ自動的に調整し、歌声の調子外れの場合を減らし、歌唱者の音域に適合させるようにすることを目的とする。
【課題を解決するための手段】
【０００９】
技術特徴として、音調測定器により、使用者の声を設定した一定の時間間隔ごとに、その基本周波数を計算し、音階序列記録器により、使用者の声の基本周波数を使用者の音階序列に転換、記録し、音階マッチャーにより、使用者音階序列と設定した楽譜の主旋律音階序列との相違度を比較し、音階マッチャーは動的時間伸縮法のマッチング手法により、使用者音階序列と主旋律音階序列との相違度を比較し、移調判別器により、伴奏の音楽を移調するか、いつ移調するかを判別し、移調すると判別した場合、音楽合成器により、音楽合成器内の音階パラメーターを自動的に調整し、音楽合成器により、デジタル記録の楽譜が実際の音楽波形に合成され、使用者の歌声と共に、ミキサーを経て、スピーカーから出力されることを特徴とするものである。
【００１０】
このオリジナルな設計により、使用者の歌声の音調の計算は、一定の短い時間間隔ごとに行われ、そして、音階序列記録器で、使用者の声の基本周波数を使用者の音階パラメーター序列に変え、本発明では、主旋律の音階序列と使用者の歌声の音階序列を比較し、音階マッチャーは、ある音階序列のマッチング具合を比較して、ある一定の時間の音階序列曲線をダイナミックに比較するというダイナミック比較の音階曲線形式により、最適なマッチング時の音階の差を出力するため、得られた移調幅はよりよい正確性があり、最適な音調調整効果が得られ、使用者のニーズに一致させることができる。
【００１１】
本発明の技術特徴として、既に記録されている歌曲の主旋律を直接に採用し、複雑な演算が行われず、システムにおける演算量が比較的少なく、システム資源が使用される量が少ないため、全体として、動作効率がよく、即時性があり、従来のシステムで見られた遅延状態の問題点を大きく改善し、実用性と進歩性を有している。
【発明の効果】
【００１２】
１．本発明に掲示した音楽伴奏装置の自動音調合わせ方法では、使用者の歌声の音調計算は、その平均値を取るのではなく、一定の短い時間間隔（例えば０．１秒）ごとに行われ、そして、音階序列記録器１２を用いて、使用者の声の基本周波数を使用者音階序列１２１に転換する。すなわち、本発明は、その平均音調を比較せず、主旋律音階序列１４と使用者音階序列１２１を比較し、音階マッチャー１３は、ある音階序列のマッチング具合を比較するが、ある一定時間の音調平均値を比較するのではなく、ある一定時間の音階序列曲線をダイナミックに比較するというダイナミック比較の音階曲線形式により、最適なマッチング時の音階の差を出力するために、得られた移調幅はよりよい正確性があり、最適な音調調整効果が得られ、使用者のニーズに一致させることができる。
２．本発明の技術特徴として、既に記録されている歌曲の主旋律を直接に採用し、複雑な演算が行われず、システムにおける演算量が比較的少なく、システム資源が使用される量が少ないため、全体として、動作効率がよく、即時性があり、従来のシステムで見られた遅延状態の問題点を大きく改善し、実用性と進歩性を有している。
【図面の簡単な説明】
【００１３】
【図１】本発明の音楽伴奏装置の自動音調合わせ方法及びそのシステムのブロック図である。
【図２】本発明の音階マッチャーの作動の流れに関するブロックイメージ図である。
【発明を実施するための形態】
【００１４】
図１及び図２は、本発明の音楽伴奏装置の自動音調合わせ方法の好適な実施例であり、これらの実施例は、説明用に使用され、特許出願の際、これらの構造に制限されないものとする。この自動音調合わせ方法には、次のことが含まれる。
【００１５】
図１に示すように、まず、使用者の声を一定の短い時間間隔（約０．１秒）ごとに、音調測定器１１でその基本周波数（Ｆｕｎｄａｍｅｎｔａｌ Ｆｒｅｑｕｅｎｃｙ）を計算する。音調測定器１１は、この部分の声の基本周期または周波数を算出するが、当該数値は、最大値の相関関数（ａｕｔｏｃｏｒｒｅｌａｔｉｏｎ ｆｕｎｃｔｉｏｎ）、またはスペクトルにあるピーク値（Ｐｅａｋ Ｖａｌｕｅ）の関係位置とのギャップから算出され、基本周期と周波数の関わりは、基本周波数＝サンプリング頻度／基本周期になる。
【００１６】
該サンプリング頻度は、声の毎秒のサンプリングの見本数であり、次に、音階序列記録器１２で、入力された使用者の声の一連の基本周波数を使用者音階序列１２１に変換し、記録する。音階と周波数との関わりは次のようになる。音階Ａ４の周波数は４４０Ｈｚで、半音階上げるごとに、周波数が、
【００１７】
【数１】
倍で上げられるが、半音階下げるごとに、周波数が
【００１８】
【数２】
倍で下げられるため、１２個の半音階を上げるごとに、周波数が計２倍で上げられ、１２個の半音階を下げるごとに、周波数が２倍で下げられる。
【００１９】
また、音階マッチャー１３を用いて、使用者音階序列１２１と主旋律音階序列１４との相違度を比較する。ここで、主旋律音階序列１４は、あらかじめ音楽の楽譜１５に保存され、例えば、ｍｉｄｉ（ｍｕｓｉｃａｌ ｉｎｓｔｒｕｍｅｎｔ ｄｉｇｉｔａｌ ｉｎｔｅｒｆａｃｅ）ファイルに、これらの楽譜情報を同時に記録することができる。
【００２０】
音階マッチャー１３は、動的時間伸縮法（Ｄｙｎａｍｉｃ Ｔｉｍｅ Ｗａｒｐｉｎｇ，略号ＤＴＷ）のマッチング手法により、使用者音階序列１２１と主旋律音階序列１４との相違度を比較する。その具体的なやり方は次のようになる。
【００２１】
仮に、使用者音階序列１２１をｎ１，ｎ２，…，ｎｊとして、一定の短い時間間隔（例えば０．１秒）ごとに、連続的に算出された使用者（または歌唱者）の音階（または音調）を表し、また、主旋律音階序列１４をｍ１，ｍ２，…，ｍｊとして、一定の短い時間間隔（例えば０．１秒）の主旋律音階を表す。
【００２２】
ここの音階は、数字１〜２５５で表し、音階Ｃ３的代表数値は６０、音階Ｄ３の代表数値は６１、音階Ｂ３の代表数値は５９、他の音階はそのように類推できる。歌を歌っているとき、歌唱者の声のテンポマークの位置が、ＢＧＭ音楽のテンポマークの位置と一致するとは限らないので、音階比較のとき、より正確な比較結果を得るために、以下（表１）に示すように動的時間伸縮法に基づいて、行なう。
【００２３】
【表１】
上述の実施例では、時間の面から言えば、該ｎ２、ｎ３（即ち使用者音階序列）がｍ２（即ち主旋律音階序列）に合わせて比較され、それによって、流れているＢＧＭ音楽のテンポマークと歌唱者の声のテンポマークとの位置を、正しく対応できるテンポマーク位置で比較し、移調する場合は、主旋律音階序列の移調を使用者音階序列に合わせて行わせるようにする。
【００２４】
仮に、ｄｉｓｔ（ｎｉ，ｍｋ）は音階ｎｉ，ｍｋの誤差値を表し、ａｃｕ＿ｄｉｓｔ（ｎｉ，ｍｋ）は、過去の最適ルートから音階ｎｉ，ｍｋまでの累積誤差値を表すが、上記表１のマッチングした各節点の最小累積誤差は、
ａｃｕ＿ｄｉｓｔ（ｎｉ，ｍｋ）＝ｄｉｓｔ（ｎｉ，ｍｋ）＋ｍｉｎ｛ａｃｕ＿ｄｉｓｔ（ｎｉ−１，ｍｋ）、ａｃｕ＿ｄｉｓｔ（ｎｉ，ｍｋ−１）、ａｃｕ＿ｄｉｓｔ（ｎｉ−１，ｍｋ−１）、…｝
になる。
【００２５】
その中で、ｍｉｎ｛…｝は最小値を表し、｛…｝内の範囲は、経験から決められる。通常、時間マッチング値−２〜＋２の範囲内を取るため、最終的に、マッチングされた後の誤差はａｃｕ＿ｄｉｓｔ（ｎｊ，ｍｊ）となり、ｊは今度のマッチングの最後のタイムポイントで、その数値は実験により決められ、通常、４０（４秒）より大きく、１００（１０秒）より小さくなる。また、最適なルートは最小累積誤差ルートで、実際にそれを算出する必要はない。
【００２６】
上述のやり方により、主旋律の移調幅が算出されるが、図２に示すように、まず、主旋律音階の移調幅をｓ＝Ｋ１にし、ｓ＝１のとき、音階を一個の半音上げ、ｓ＝−１のとき、音階を一個の半音下げるものとする。
【００２７】
次に、上述のやり方（すなわち、上述した動的時間伸縮法（Ｄｙｎａｍｉｃ Ｔｉｍｅ Ｗａｒｐｉｎｇ、略号ＤＴＷ）マッチング手法）により、使用者音階序列とｓの移調後の主旋律音階序列を比較し、最終マッチング結果の累積誤差値＝Ｄｉｓ（ｓ）を記録して、それから、ｓ＝ｓ＋１にして、ｓ＝Ｋ２になるまで、Ｄｉｓ（ｓ）を再計算し、移調幅ｓ＝ｓｍｉｎを算出して、Ｄｉｓ（ｓｍｉｎ）は最小値、Ｋ１＜＝ｓ＜＝Ｋ２となるが、通常はＫ１＝−６、Ｋ２＝６とする。
【００２８】
次に、移調判別器１６を用いて、移調するか、いつ移調するかを決める。移調判別器１６は、誤差値Ｄｉｓ（ｓｍｉｎ）が経験値の定数Ｄより小さくなってから移調すると判別し、移調は、主旋律音階をｓ個の半音移調することで、音調調整は、音楽のハーモニーと自然さを考慮に入れて行われ、通常、一定の時間内で行われ、通常は主旋律の音が比較的に長い場合に行われる。
【００２９】
音楽合成器１７により、デジタル記録の楽譜１５が実際の音楽波形に合成され、最後に、使用者の歌声と共にミキサー１８（ｍｉｘｅｒ）を経て出力される。移調する場合、音楽合成器１７内の音階パラメーターの調整を行うが、その具体的なやり方は、楽譜１５のすべての音符音階を一緒に、何個かの音階数を上げるか、または下げるが、該音階数は通常、６個の半音になるかまたはそれより小さくなるが、それには限らない。１２個の半音階（８度音程）の差があった場合、周波数がちょうど二倍の差になり、２倍の周波数の差では、音感が同じように見られるが、６個の半音階以上の差があった場合、音調を下げ、６個の半音階以上の場合、音調を上げて調整することができる。
【００３０】
以下、一つの実施の形態を挙げる。
【００３１】
ＢＧＭ音楽が流れてくると録音を開始し、そして、音声様式は単音１６ｂｉｔｓに、サンプリング頻度は４４１００Ｈｚに、毎回録音の長さは０．１秒として、音調測定器１１で、歌唱者の声の基本周波数を計算する。その方法は次のようになる。仮に、録音された声を
ｘ（ｎ）、ｎ＝０，１，２，…，Ｎ−１、Ｎ＝４４１０とした場合、
１．相関関数ｒｘ（ｋ）を計算し、その中で、
ｒｘ（ｋ）＝Σｎｘ（ｎ）ｘ（ｎ−ｋ），ｎ＝０，１，２，…，Ｎ−１，
ｋ＝２２，２３，２４，…，６７４
ｋ値の範囲は検出する周波数の範囲
４４１００／２２〜４４１００／６７４＝２００４．５４〜６５．４３Ｈｚ
２．ｋｍａｘ＝ａｒｇ（ｍａｘ（ｒｘ（ｋ））｜ｋ）を調べるが、ｋｍａｘはｒｘ（ｋ）に最大値があった時のｋ値。
３．基本周波数はｆ０＝４４１００／ｋｍａｘにし、該基本周波数を音階記号に変換するが、仮に基本周波数＝４４０Ｈｚの場合、音階はＡ４（音Ｌａ）に、音階記号は６９に変換する。半音階の差があった場合、頻率の差が
【００３２】
【数３】
倍に、音符記号の差が１となり、音階序列記録器１２でそれを記録し、主旋律音階序列１４に主旋律音階の記号を記録する。
【００３３】
音階マッチャー１３では、まず、Ｋ１＝−６、Ｋ２＝６に設定し、それから音階記号序列の長さは４秒（ｊ＝４０）、録音は０．１秒ごとに一回計算し、４秒だと、４０回計算する。ここで、仮に記録した主旋律音階序列１４はｍｉ、ｉ＝０、１、２、…、３９に、使用者の歌声の音階序列はｎｉ、ｉ＝０、１、２、…、３９に、移調はｓに、そして、音階記号ｍｉとｎｋの差はｄｉｓｔ（ｍｉ、ｎｋ）にするが、その中、ｄｉｓｔ（ｍｉ、ｎｋ）＞＝０、そして、ｍｉとｎｋの差が八度音程（１２個の半音階）になったとき、同じ誤差値が得られる。すなわち、
ｄｉｓｔ（ｍｉ、ｎｋ）＝ｄｉｓｔ（ｍｉ＋１２＊Ｎ、ｎｋ）
その中で、Ｎは整数であり、時間マッチング値−１〜＋０の範囲内になった場合、音階マッチャー１３は次のように行われる。
【００３４】
１．ｓ＝Ｋ１にする
２．ｉ＝１にし、累積誤差値の配列はａｃｕ＿ｄｉｓｔ［０〜３９］［０〜３９］にし、その初期値は非常に大きい値１００００００にする。
【００３５】
３．ａｃｕ＿ｄｉｓｔ［０］［０］＝ｄｉｓｔ（ｍ０＋ｓ，ｎ０）で計算する。
【００３６】
４．ｊ＝ｉ−１にする
５．ｊ＞＝４０のとき、ステップ８へ進む
６．ａｃｕ＿ｄｉｓｔ［ｉ］［ｊ］＝ｍｉｎ｛ａｃｕ＿ｄｉｓｔ［ｉ−１］［ｊ−１］，ａｃｕ＿ｄｉｓｔ［ｉ−１］［ｊ］，ａｃｕ＿ｄｉｓｔ［ｉ］［ｊ−１］｝＋ｄｉｓｔ（ｍｉ＋ｓ，ｎｊ）
７．ｊ＝ｊ＋１にし、ｊ＜＝ｉ＋１のとき、ステップ５へ戻る
８．ｉ＝ｉ＋１にし、ｉ＜４０のとき、ステップ４へ戻る
９．Ｄｉｓ（ｓ）＝ｄｔｗ＿ｄｉｓｔ［３９］［３９］
１０．ｓ＝ｓ＋１
１１．ｓ＜＝Ｋ２のとき、ステップ２へ戻る
１２．終了。
【００３７】
次に、移調判別器１６において、Ｄｉｓ（ｓｍｉｎ）＜＝４０（４０は経験値）、で、現在流れている主旋律符音の長さ＞＝１秒になった場合、主旋律の移調をｓｍｉｎ個の半音階で行い、４秒（４秒は経験値）以上の間隔があってから、次の移調が行われる。
【００３８】
最後に、音楽合成器１７により、デジタル記録の楽譜が実際の音楽波形に合成され、使用者の歌声と共にミキサー１８を経て、スピーカー１９から出力されることになる。
【００３９】
上述の実施例に関する内容は、本発明を具体的に説明するのに用いられ、文中において専門用語で説明してきたが、それらを以って、本発明の特許請求範囲を制限してはならない。この分野が分かる者は、本発明のコンセプトや考えを理解したうえ、その変化や修正を行って、それと同等な効果を有する目的を達成しても、それらの変化や修正は、すべて後述の特許請求の範囲内に含まれるものとする。
【符号の説明】
【００４０】
１１ 音調測定器
１２ 音階序列記録器
１２１ 使用者音階序列
１３ 音階マッチャー
１４ 主旋律音階序列
１５ 楽譜
１６ 移調判別器
１７ 音楽合成器
１８ ミキサー
１９ スピーカー
【特許請求の範囲】
【請求項１】
音調測定器により、使用者の声を設定した一定の時間間隔ごとに、その基本周波数を計算し、
音階序列記録器により、使用者の声の基本周波数を使用者音階序列に転換、記録し、
音階マッチャーにより、前記使用者音階序列と設定した楽譜の主旋律音階序列との相違度を比較し、前記音階マッチャーは動的時間伸縮法のマッチング手法により、前記使用者音階序列と前記主旋律音階序列との相違度を比較し、
移調判別器により、伴奏の音楽を移調するか、いつ移調するかを判別し、移調すると判別した場合、音楽合成器により、前記音楽合成器内の音階パラメーターを自動的に調整し、
前記音楽合成器により、デジタル記録の楽譜が実際の音楽波形に合成され、使用者の歌声と共に、ミキサーを経て、スピーカーから出力されることを特徴とする音楽伴奏装置の自動音調合わせ方法。
【請求項２】
前記音楽合成器内の音階パラメーターの調整は、前記楽譜のすべての音符音階を一緒に、何個かの音階数を上げるか、または下げることを特徴とする請求項１に記載の音楽伴奏装置の自動音調合わせ方法。
【請求項３】
前記音階数は、６個の半音になるかまたはそれより小さくなることを特徴とする請求項２に記載の音楽伴奏装置の自動音調合わせ方法。
【請求項４】
前記主旋律音階序列は、あらかじめ前記楽譜に保存し、例えば、ｍｉｄｉファイルには、これらの情報を同時に記録することを特徴とする請求項１に記載の音楽伴奏装置の自動音調合わせ方法。
【請求項５】
使用者の声を設定した一定の時間間隔ごとに、その基本周波数を計算するための音調測定器と、
使用者の声の基本周波数を使用者音階序列に転換、記録するための音階序列記録器と、
前記使用者音階序列と設定した楽譜の主旋律音階序列との相違度を比較するための音階マッチャーと、
伴奏の音楽を移調するか、いつ移調するかを決めるための移調判別器と、
前記移調判別器が移調すると判別した場合、音楽合成器内の音階パラメーターを自動的に調整するための前記音楽合成器とを備え、
前記音階マッチャーは、動的時間伸縮法のマッチング手法により、前記使用者音階序列と前記主旋律音階序列との相違度を比較し、
前記音楽合成器は、デジタル記録の楽譜を実際の音楽波形に合成し、合成された音楽波形と使用者の歌声とが共に、ミキサーを経て、スピーカーから出力されるようになることを特徴とする音楽伴奏装置の自動音調合わせシステム。
【請求項１】
音調測定器により、使用者の声を設定した一定の時間間隔ごとに、その基本周波数を計算し、
音階序列記録器により、使用者の声の基本周波数を使用者音階序列に転換、記録し、
音階マッチャーにより、前記使用者音階序列と設定した楽譜の主旋律音階序列との相違度を比較し、前記音階マッチャーは動的時間伸縮法のマッチング手法により、前記使用者音階序列と前記主旋律音階序列との相違度を比較し、
移調判別器により、伴奏の音楽を移調するか、いつ移調するかを判別し、移調すると判別した場合、音楽合成器により、前記音楽合成器内の音階パラメーターを自動的に調整し、
前記音楽合成器により、デジタル記録の楽譜が実際の音楽波形に合成され、使用者の歌声と共に、ミキサーを経て、スピーカーから出力されることを特徴とする音楽伴奏装置の自動音調合わせ方法。
【請求項２】
前記音楽合成器内の音階パラメーターの調整は、前記楽譜のすべての音符音階を一緒に、何個かの音階数を上げるか、または下げることを特徴とする請求項１に記載の音楽伴奏装置の自動音調合わせ方法。
【請求項３】
前記音階数は、６個の半音になるかまたはそれより小さくなることを特徴とする請求項２に記載の音楽伴奏装置の自動音調合わせ方法。
【請求項４】
前記主旋律音階序列は、あらかじめ前記楽譜に保存し、例えば、ｍｉｄｉファイルには、これらの情報を同時に記録することを特徴とする請求項１に記載の音楽伴奏装置の自動音調合わせ方法。
【請求項５】
使用者の声を設定した一定の時間間隔ごとに、その基本周波数を計算するための音調測定器と、
使用者の声の基本周波数を使用者音階序列に転換、記録するための音階序列記録器と、
前記使用者音階序列と設定した楽譜の主旋律音階序列との相違度を比較するための音階マッチャーと、
伴奏の音楽を移調するか、いつ移調するかを決めるための移調判別器と、
前記移調判別器が移調すると判別した場合、音楽合成器内の音階パラメーターを自動的に調整するための前記音楽合成器とを備え、
前記音階マッチャーは、動的時間伸縮法のマッチング手法により、前記使用者音階序列と前記主旋律音階序列との相違度を比較し、
前記音楽合成器は、デジタル記録の楽譜を実際の音楽波形に合成し、合成された音楽波形と使用者の歌声とが共に、ミキサーを経て、スピーカーから出力されるようになることを特徴とする音楽伴奏装置の自動音調合わせシステム。
【図１】
【図２】
【図２】
【公表番号】特表２０１０−５０４５６３（Ｐ２０１０−５０４５６３Ａ）
【公表日】平成２２年２月１２日（２０１０．２．１２）
【国際特許分類】
【出願番号】特願２００９−５２９４８７（Ｐ２００９−５２９４８７）
【出願日】平成１８年９月２６日（２００６．９．２６）
【国際出願番号】ＰＣＴ／ＣＮ２００６／００２５３５
【国際公開番号】ＷＯ２００８／０３７１１５
【国際公開日】平成２０年４月３日（２００８．４．３）
【出願人】（５０９０８４９０９）ジョテック インコーポレイテッド (1)
【Ｆターム（参考）】
【公表日】平成２２年２月１２日（２０１０．２．１２）
【国際特許分類】
【出願日】平成１８年９月２６日（２００６．９．２６）
【国際出願番号】ＰＣＴ／ＣＮ２００６／００２５３５
【国際公開番号】ＷＯ２００８／０３７１１５
【国際公開日】平成２０年４月３日（２００８．４．３）
【出願人】（５０９０８４９０９）ジョテック インコーポレイテッド (1)
【Ｆターム（参考）】
[ Back to top ]