音声信号の音階的特性分析方法ならびに、その装置
【課題】自然音や楽曲などの音声信号の音階特性の大小を定め音声信号の選別方法を提供する。
【解決手段】デジタル音声データにおいて、任意時間フレームを定め周波数領域データを得る。レスポンスの大きい順につけられた倍音周波数値を所定数、定め、レスポンス順位毎に最頻値である周波数をレスポンス順位数定める。この中より１つの計測基準周波数を定め、別途定める音階特性分析基準である周波数位置関係を示した音階位置係数列が、計測基準周波数とそれぞれのレスポンス順位位置の周波数との関係が音階位置係数列に該当している割合をレスポンス順位毎に数値として算出し、全レスポンス順位の割合値を音階特性の度数と定める。
【解決手段】デジタル音声データにおいて、任意時間フレームを定め周波数領域データを得る。レスポンスの大きい順につけられた倍音周波数値を所定数、定め、レスポンス順位毎に最頻値である周波数をレスポンス順位数定める。この中より１つの計測基準周波数を定め、別途定める音階特性分析基準である周波数位置関係を示した音階位置係数列が、計測基準周波数とそれぞれのレスポンス順位位置の周波数との関係が音階位置係数列に該当している割合をレスポンス順位毎に数値として算出し、全レスポンス順位の割合値を音階特性の度数と定める。
【発明の詳細な説明】
【技術分野】
【０００１】
この発明は、音声信号を任意時間フレームに分割し各時間フレームの周波数成分を抽出することにより、その音声信号の音階的特性を解明する方法および装置に関するものである。
【背景技術】
【０００２】
デジタル音声データ（デジタル波形データ）を所定時間フレームに分割し、周波数分析してメロディを抽出する方法がある。非特許文献１：特許公開２００２−９１４３３、特許文献１：特許公開Ｈ１０−１４９１６０、などがある。
【０００３】
又、カラオケ装置の歌唱者の音声信号を評価するカラオケの採点機能がある。
非特許文献２：特許公開Ｈ０５−２１７２８５
【発明の開示】
【発明が解決しようとする課題】
【０００４】
メロディ抽出方法では、単にメロディを抽出して、譜面として正確なものを再現することが目的であった。
【０００５】
カラオケ採点機能では、楽譜通りに演奏されているかを比較して採点する方法なので、譜面情報及び基準演奏情報がなければ、採点することが出来なかった。
【課題を解決するための手段】
【０００６】
デジタル音声データ（音声信号）において所定の最小時間フレームを１単位として、複数の時間フレームに分割する。
【０００７】
分割された各々の最小時間フレーム内における周期を分析し、この周期に関し同系統の最小時間フレームがある場合は、それらを一群の時間フレームとして、任意時間フレームを形成する。
【０００８】
以上で定めた各任意時間フレームを周波数領域に変換して、各任意時間フレームが構成する周波数の中で、応答値（レスポンス）の大きい順に付けた整数値をレスポンス順位と定める。
【０００９】
周波数分析結果より各任意時間フレームのレスポンス順位に対応する周波数を定め、全ての任意時間フレーム中より成る各所定数レスポンス順位に対応する最頻値となる周波数を定める。
【００１０】
以上で定めた各所定数レスポンス順位の最頻周波数の中より、ある条件を満たした１つの計測基準周波数を定める。
【００１１】
又、音階特性分析基準として任意基準位置からの周波数の位置関係を示した係数列を音階位置係数列と別途定める。
【００１２】
上記のある条件を満たした１つの計測基準周波数に対して、各任意時間フレームの各所定数レスポンス順位に相当する周波数が上記の別途定めた音階位置係数列に該当している割合を各レスポンス順位毎に数値として算出し、上記デジタル音声データ（音声信号）の音階的特性を数値を用いて定める。
【発明の効果】
【００１３】
基準となる譜面情報や基準演奏データのようなものを必要としないでので、自然音「川のせせらぎ」「風の音」「波の音」「騒音」などの音階特性の分析が可能となる。
【００１４】
音声信号（楽曲）における音階特性を解明することにより、音声信号の選別と評価が可能となる。
【００１５】
三味線やバイオリンなどの楽器において、フレットが無い為に音程を取るのに高度な技術を必要とする楽器演奏の評価に用いることが出来る。又、声楽演奏での演奏評価も可能である。いずれの場合も基になる楽譜の情報等は必要としない。
【００１６】
又、オーケストラ、アンサンブル演奏などの、複数楽器を同時に演奏する形態の複数楽器間の音程における調和性（楽器間のチューニング）という観点からの演奏評価も可能となる。
【００１７】
又、音階の自然特性を解明することにより、自然特性を有している音声信号の選別が可能となる。自然特性の高い音声信号ほど、人体及び精神作用に良い影響をもたらし、自然特性の低い音声信号では、ノイズのように、人体及び精神に悪影響を及ぼすと考えられるので、これらの判別が可能になれば、音楽療法分野への貢献が可能となる。
【発明を実施するための最良の形態】
【００１８】
１．ハードウエア構成の説明
（１）［一般的な方法］
図１は、マイク（１）より増幅した音声信号を、ＡＤ変換（３）してデジタル音声データとして記憶装置（５）に取りこみ演算処理部（４）にて、音階の特性分析を行い、表示部（６）で分析結果を表示する。
【００１９】
（２）［コンピュータを用いた方法］
図２は、一般的なパーソナルコンピュータの構成図であり、上記手段の演算処理部（４）をＣＰＵ（７）で実現し、増幅部（２）とＡＤ変換部（３）をオーディオボード（１２）で実現した場合のハードウエア構成図である。
【００２０】
ハードディスク（９）にはオペレーティングシステム（１０）がインストールされており、ファイル及びデータの入出力は、オペレーティングシステム（１０）制御下のプログラムを利用することになる。以下の説明では、ファイル及びキーボード、画面等のデータ入出力は、ＯＳに命令を出力することにより実現する。
【００２１】
マイク（１１）より入力した音声信号を、デジタル音声データとして、ハードディスク（９）に取り込む。又、他の方法として、ＣＤ−ＲＯＭドライブ（１５）より、ＣＤ−Ａｕｄｉｏ（１６）の音声信号をデジタル音声データのファイルとして取出し、ハードディスク（９）に記憶し、再び読込みを行い、その読み込んだ音声データをコンピュータ上で分析して結果をコンピュータの画面（８）に表示させる。
【００２２】
２．分析の方法
（１）分析の方法・周波数抽出処理
図３が、本発明のパーソナルコンピュータ上での分析方法フローチャートである。
【００２３】
図５が、本発明の分析方法・推移図である。以下図面に従って説明すると、ハードディスク（９）より、ＯＳに従って、デジタル音声データのファイルを読み込み（ステップＳ１）任意音声信号データ帯（１８）内を最適と思われる最小時間フレームに分割する（ａ，ｂ，ｃ，ｄ．．．．）。
【００２４】
各最小時間フレーム内の周期のバラツキを測定し（ステップＳ２）、図５−１９のように最小時間フレームを１単位として、周期に関して同系統の最小時間フレームがある場合は、それらを一群の時間フレームとし任意時間フレームを形成する（ステップＳ３）（１９）。
【００２５】
上記で求めた各任意時間フレーム（１９）をＦＦＴ処理（２０、２１、２２、２３）することにより周波数領域データを得る（ステップＳ４）。各任意時間フレーム毎に所定数のレスポンス順位位置に相当する倍音周波数を抽出（２４、２５、２６、２７）する（ステップＳ５）。所定数は、この実施例の場合、５つと定めた。
【００２６】
レスポンス順位とは周波数分析した時に、その構成周波数中で応答値（レスポンス）が最も大きい値を「１」と定めた場合の整数値である。以下、周波数応答値の大きい順に「２」、「３」．．．．と定める。又、最小時間フレームと任意時間フレームの関係には次のような関係が成り立つ。任意時間フレーム＝最小時間フレーム×ｎ（ｎは、符号無しの整数値 １、２、３、、、、、、）
【００２７】
（２）分析の方法・音階分析処理部
図５−２８の如く、音声データ帯（１８）、全てより成る全任意時間フレーム中の、所定数レスポンス順位位置毎の倍音周波数の中で最も多く出現している周波数をそれぞれ求め（２８）、ここで求めた所定数レスポンス順位位置毎の最頻周波数（２８）の中で最も低い周波数を１つだけ計測基準周波数（基準最頻最低周波数）と定める。（２９）（ステップＳ６）
【００２８】
この計測基準周波数（基準最頻最低周波数）を基準値として、各任意時間フレームの所定数レスポンス順位位置のそれぞれの周波数との関係がどのような位置関係になっているのかを次に定める音階位置係数列に従って分析する（ステップＳ７）。
【００２９】
音階特性の分析基準として、任意基準位置からの周波数の位置関係を示した係数列を音階位置係数列と別途、定める。
【００３０】
上記計測基準周波数に対して全ての任意時間フレーム中の各所定数レスポンス順位位置の各々の周波数が、求めようとする特性としての上記の音階位置係数列に該当している割合を各々のレスポンス順位位置毎に算出して（３０）（ステップＳ７）、以上で定めた全ての所定数レスポンス順位位置の割合値を合算して、総合計の値（１７）を音階特性の度数値として、パーソナルコンピュータ上の画面（８）に表示させる。（ステップＳ８）
【００３１】
上記の説明で、求めようとする特性である音階位置係数列の１つの例として、自然性が考えられる。この場合の求めようとする特性の音階位置係数列を自然音階特性と呼ぶ。これにより、音声信号の自然性という観点から、音声信号の音階特性分析が可能となる。
【００３２】
３．その他の実施形態
測定しようとする周波数の位置関係を示した音階特性分析基準である音階位置係数列の特性として、その他に、平均律音階特性、ピタゴラス音律音階特性、中全音律音階特性、キルンベルガー音律音階特性、ベルクマイスター音律音階特性等の、諸々の音律より構成される音階特性の測定も可能となる。
【図面の簡単な説明】
【００３３】
【図１】 本発明の実施形態の一つである分析装置の全体構成図である。
【図２】 図１の装置を、ＣＰＵを用いて実現した場合のハードウエア構成図である。
【図３】 本発明のＣＰＵを用いた場合のプログラムフローチャートの概要図である。
【図４】 本発明の音声分析結果表示例の図面である。
【図５】 本発明のＣＰＵを用いた場合の分析方法推移に関する概要図である。
【符号の説明】
【００３４】
ａ〜ｋ・・・所定の最小時間フレーム
１０・・・・オペレーティングシステム
１１・・・・マイク
１７・・・・音階特性度数値
２０〜２３・任意時間フレームの周波数分析図
２４〜２７・任意時間フレームの各レスポンス順位の周波数値
２８・・・・全ての任意時間フレームの各レスポンス順位における最頻値となる周波数
２９・・・・分析の基準となる計測基準周波数
３０・・・・総合的な分析結果を導き出すための各レスポンス順位の音階特性値
【技術分野】
【０００１】
この発明は、音声信号を任意時間フレームに分割し各時間フレームの周波数成分を抽出することにより、その音声信号の音階的特性を解明する方法および装置に関するものである。
【背景技術】
【０００２】
デジタル音声データ（デジタル波形データ）を所定時間フレームに分割し、周波数分析してメロディを抽出する方法がある。非特許文献１：特許公開２００２−９１４３３、特許文献１：特許公開Ｈ１０−１４９１６０、などがある。
【０００３】
又、カラオケ装置の歌唱者の音声信号を評価するカラオケの採点機能がある。
非特許文献２：特許公開Ｈ０５−２１７２８５
【発明の開示】
【発明が解決しようとする課題】
【０００４】
メロディ抽出方法では、単にメロディを抽出して、譜面として正確なものを再現することが目的であった。
【０００５】
カラオケ採点機能では、楽譜通りに演奏されているかを比較して採点する方法なので、譜面情報及び基準演奏情報がなければ、採点することが出来なかった。
【課題を解決するための手段】
【０００６】
デジタル音声データ（音声信号）において所定の最小時間フレームを１単位として、複数の時間フレームに分割する。
【０００７】
分割された各々の最小時間フレーム内における周期を分析し、この周期に関し同系統の最小時間フレームがある場合は、それらを一群の時間フレームとして、任意時間フレームを形成する。
【０００８】
以上で定めた各任意時間フレームを周波数領域に変換して、各任意時間フレームが構成する周波数の中で、応答値（レスポンス）の大きい順に付けた整数値をレスポンス順位と定める。
【０００９】
周波数分析結果より各任意時間フレームのレスポンス順位に対応する周波数を定め、全ての任意時間フレーム中より成る各所定数レスポンス順位に対応する最頻値となる周波数を定める。
【００１０】
以上で定めた各所定数レスポンス順位の最頻周波数の中より、ある条件を満たした１つの計測基準周波数を定める。
【００１１】
又、音階特性分析基準として任意基準位置からの周波数の位置関係を示した係数列を音階位置係数列と別途定める。
【００１２】
上記のある条件を満たした１つの計測基準周波数に対して、各任意時間フレームの各所定数レスポンス順位に相当する周波数が上記の別途定めた音階位置係数列に該当している割合を各レスポンス順位毎に数値として算出し、上記デジタル音声データ（音声信号）の音階的特性を数値を用いて定める。
【発明の効果】
【００１３】
基準となる譜面情報や基準演奏データのようなものを必要としないでので、自然音「川のせせらぎ」「風の音」「波の音」「騒音」などの音階特性の分析が可能となる。
【００１４】
音声信号（楽曲）における音階特性を解明することにより、音声信号の選別と評価が可能となる。
【００１５】
三味線やバイオリンなどの楽器において、フレットが無い為に音程を取るのに高度な技術を必要とする楽器演奏の評価に用いることが出来る。又、声楽演奏での演奏評価も可能である。いずれの場合も基になる楽譜の情報等は必要としない。
【００１６】
又、オーケストラ、アンサンブル演奏などの、複数楽器を同時に演奏する形態の複数楽器間の音程における調和性（楽器間のチューニング）という観点からの演奏評価も可能となる。
【００１７】
又、音階の自然特性を解明することにより、自然特性を有している音声信号の選別が可能となる。自然特性の高い音声信号ほど、人体及び精神作用に良い影響をもたらし、自然特性の低い音声信号では、ノイズのように、人体及び精神に悪影響を及ぼすと考えられるので、これらの判別が可能になれば、音楽療法分野への貢献が可能となる。
【発明を実施するための最良の形態】
【００１８】
１．ハードウエア構成の説明
（１）［一般的な方法］
図１は、マイク（１）より増幅した音声信号を、ＡＤ変換（３）してデジタル音声データとして記憶装置（５）に取りこみ演算処理部（４）にて、音階の特性分析を行い、表示部（６）で分析結果を表示する。
【００１９】
（２）［コンピュータを用いた方法］
図２は、一般的なパーソナルコンピュータの構成図であり、上記手段の演算処理部（４）をＣＰＵ（７）で実現し、増幅部（２）とＡＤ変換部（３）をオーディオボード（１２）で実現した場合のハードウエア構成図である。
【００２０】
ハードディスク（９）にはオペレーティングシステム（１０）がインストールされており、ファイル及びデータの入出力は、オペレーティングシステム（１０）制御下のプログラムを利用することになる。以下の説明では、ファイル及びキーボード、画面等のデータ入出力は、ＯＳに命令を出力することにより実現する。
【００２１】
マイク（１１）より入力した音声信号を、デジタル音声データとして、ハードディスク（９）に取り込む。又、他の方法として、ＣＤ−ＲＯＭドライブ（１５）より、ＣＤ−Ａｕｄｉｏ（１６）の音声信号をデジタル音声データのファイルとして取出し、ハードディスク（９）に記憶し、再び読込みを行い、その読み込んだ音声データをコンピュータ上で分析して結果をコンピュータの画面（８）に表示させる。
【００２２】
２．分析の方法
（１）分析の方法・周波数抽出処理
図３が、本発明のパーソナルコンピュータ上での分析方法フローチャートである。
【００２３】
図５が、本発明の分析方法・推移図である。以下図面に従って説明すると、ハードディスク（９）より、ＯＳに従って、デジタル音声データのファイルを読み込み（ステップＳ１）任意音声信号データ帯（１８）内を最適と思われる最小時間フレームに分割する（ａ，ｂ，ｃ，ｄ．．．．）。
【００２４】
各最小時間フレーム内の周期のバラツキを測定し（ステップＳ２）、図５−１９のように最小時間フレームを１単位として、周期に関して同系統の最小時間フレームがある場合は、それらを一群の時間フレームとし任意時間フレームを形成する（ステップＳ３）（１９）。
【００２５】
上記で求めた各任意時間フレーム（１９）をＦＦＴ処理（２０、２１、２２、２３）することにより周波数領域データを得る（ステップＳ４）。各任意時間フレーム毎に所定数のレスポンス順位位置に相当する倍音周波数を抽出（２４、２５、２６、２７）する（ステップＳ５）。所定数は、この実施例の場合、５つと定めた。
【００２６】
レスポンス順位とは周波数分析した時に、その構成周波数中で応答値（レスポンス）が最も大きい値を「１」と定めた場合の整数値である。以下、周波数応答値の大きい順に「２」、「３」．．．．と定める。又、最小時間フレームと任意時間フレームの関係には次のような関係が成り立つ。任意時間フレーム＝最小時間フレーム×ｎ（ｎは、符号無しの整数値 １、２、３、、、、、、）
【００２７】
（２）分析の方法・音階分析処理部
図５−２８の如く、音声データ帯（１８）、全てより成る全任意時間フレーム中の、所定数レスポンス順位位置毎の倍音周波数の中で最も多く出現している周波数をそれぞれ求め（２８）、ここで求めた所定数レスポンス順位位置毎の最頻周波数（２８）の中で最も低い周波数を１つだけ計測基準周波数（基準最頻最低周波数）と定める。（２９）（ステップＳ６）
【００２８】
この計測基準周波数（基準最頻最低周波数）を基準値として、各任意時間フレームの所定数レスポンス順位位置のそれぞれの周波数との関係がどのような位置関係になっているのかを次に定める音階位置係数列に従って分析する（ステップＳ７）。
【００２９】
音階特性の分析基準として、任意基準位置からの周波数の位置関係を示した係数列を音階位置係数列と別途、定める。
【００３０】
上記計測基準周波数に対して全ての任意時間フレーム中の各所定数レスポンス順位位置の各々の周波数が、求めようとする特性としての上記の音階位置係数列に該当している割合を各々のレスポンス順位位置毎に算出して（３０）（ステップＳ７）、以上で定めた全ての所定数レスポンス順位位置の割合値を合算して、総合計の値（１７）を音階特性の度数値として、パーソナルコンピュータ上の画面（８）に表示させる。（ステップＳ８）
【００３１】
上記の説明で、求めようとする特性である音階位置係数列の１つの例として、自然性が考えられる。この場合の求めようとする特性の音階位置係数列を自然音階特性と呼ぶ。これにより、音声信号の自然性という観点から、音声信号の音階特性分析が可能となる。
【００３２】
３．その他の実施形態
測定しようとする周波数の位置関係を示した音階特性分析基準である音階位置係数列の特性として、その他に、平均律音階特性、ピタゴラス音律音階特性、中全音律音階特性、キルンベルガー音律音階特性、ベルクマイスター音律音階特性等の、諸々の音律より構成される音階特性の測定も可能となる。
【図面の簡単な説明】
【００３３】
【図１】 本発明の実施形態の一つである分析装置の全体構成図である。
【図２】 図１の装置を、ＣＰＵを用いて実現した場合のハードウエア構成図である。
【図３】 本発明のＣＰＵを用いた場合のプログラムフローチャートの概要図である。
【図４】 本発明の音声分析結果表示例の図面である。
【図５】 本発明のＣＰＵを用いた場合の分析方法推移に関する概要図である。
【符号の説明】
【００３４】
ａ〜ｋ・・・所定の最小時間フレーム
１０・・・・オペレーティングシステム
１１・・・・マイク
１７・・・・音階特性度数値
２０〜２３・任意時間フレームの周波数分析図
２４〜２７・任意時間フレームの各レスポンス順位の周波数値
２８・・・・全ての任意時間フレームの各レスポンス順位における最頻値となる周波数
２９・・・・分析の基準となる計測基準周波数
３０・・・・総合的な分析結果を導き出すための各レスポンス順位の音階特性値
【特許請求の範囲】
【請求項１】
デジタル音声データ（音声信号）において所定の最小時間フレームを１単位として、複数の時間フレームに分割し、それらの周期を分析する。この周期に関し同系統の最小時間フレームがある場合は、それらを一群の時間フレームとして、任意時間フレームを形成する。
この各任意時間フレームを周波数領域に変換して、応答値（レスポンス）の大きい順に付けた整数値をレスポンス順位と定める。各任意時間フレームのレスポンス順位に対応する周波数を定め、全ての任意時間フレーム中より成る各所定数レスポンス順位に対応する最頻値となる周波数を定める。この最頻値となる周波数の中より、ある条件を満たした１つの計測基準周波数を定める。
又、音階特性分析基準として任意基準位置からの周波数の位置関係を示した係数列を音階位置係数列と別途定める。
上記のある条件を満たした１つの計測基準周波数に対して、各任意時間フレームの各所定数レスポンス順位に相当する周波数が上記の別途定めた音階位置係数列に該当している割合を各レスポンス順位毎に数値として算出し、総合計し、音階的特性を数値を用いて定める。以上の如く構成された音声分析方法。
【請求項２】
音声をマイク及びピックアップ等で入力し、アンプで増幅した電気的音声信号を得る。電気的音声信号をＡＤ変換して、デジタル音声データを得る。以上の如く構成された請求項１の音声分析装置。
【請求項３】
コンピュータ上で動作する請求項１の音声分析プログラム。
【請求項１】
デジタル音声データ（音声信号）において所定の最小時間フレームを１単位として、複数の時間フレームに分割し、それらの周期を分析する。この周期に関し同系統の最小時間フレームがある場合は、それらを一群の時間フレームとして、任意時間フレームを形成する。
この各任意時間フレームを周波数領域に変換して、応答値（レスポンス）の大きい順に付けた整数値をレスポンス順位と定める。各任意時間フレームのレスポンス順位に対応する周波数を定め、全ての任意時間フレーム中より成る各所定数レスポンス順位に対応する最頻値となる周波数を定める。この最頻値となる周波数の中より、ある条件を満たした１つの計測基準周波数を定める。
又、音階特性分析基準として任意基準位置からの周波数の位置関係を示した係数列を音階位置係数列と別途定める。
上記のある条件を満たした１つの計測基準周波数に対して、各任意時間フレームの各所定数レスポンス順位に相当する周波数が上記の別途定めた音階位置係数列に該当している割合を各レスポンス順位毎に数値として算出し、総合計し、音階的特性を数値を用いて定める。以上の如く構成された音声分析方法。
【請求項２】
音声をマイク及びピックアップ等で入力し、アンプで増幅した電気的音声信号を得る。電気的音声信号をＡＤ変換して、デジタル音声データを得る。以上の如く構成された請求項１の音声分析装置。
【請求項３】
コンピュータ上で動作する請求項１の音声分析プログラム。
【図１】
【図２】
【図３】
【図４】
【図５】
【図２】
【図３】
【図４】
【図５】
【公開番号】特開２００７−４１４８８（Ｐ２００７−４１４８８Ａ）
【公開日】平成１９年２月１５日（２００７．２．１５）
【国際特許分類】
【出願番号】特願２００５−２４８３８２（Ｐ２００５−２４８３８２）
【出願日】平成１７年８月２日（２００５．８．２）
【新規性喪失の例外の表示】特許法第３０条第１項適用申請有り
【出願人】（５０５３２６２６５）
【Ｆターム（参考）】
【公開日】平成１９年２月１５日（２００７．２．１５）
【国際特許分類】
【出願日】平成１７年８月２日（２００５．８．２）
【新規性喪失の例外の表示】特許法第３０条第１項適用申請有り
【出願人】（５０５３２６２６５）
【Ｆターム（参考）】
[ Back to top ]