音響処理装置
【課題】目標成分が途切れる場合でも基本周波数を正確に特定する。
【解決手段】周波数検出部６２は、音響信号ｘの単位区間Ｔu毎に候補周波数Ｆc(1)〜Ｆc(N)を特定する。第１処理部７１は、単位区間Ｔu毎に選択した候補周波数Ｆc(n)を複数の単位区間Ｔuにわたり配列した系列であって目標成分の基本周波数Ｆtarの時系列の可能性が高い推定系列ＲAを探索する。第２処理部７２は、単位区間Ｔu毎の目標成分の発音状態Ｓvおよび非発音状態Ｓuの何れかの状態を複数の単位区間Ｔuにわたり配列した状態系列ＲBを探索する。情報生成部６８は、状態系列ＲBの発音状態Ｓvに対応する単位区間Ｔuについて推定系列ＲAのうち当該単位区間Ｔuでの候補周波数Ｆc(n)を目標成分の基本周波数Ｆtarとして指定し、状態系列ＲBの非発音状態Ｓuに対応する単位区間Ｔuについて非発音を示す周波数情報ＤFを単位区間Ｔu毎に生成する。
【解決手段】周波数検出部６２は、音響信号ｘの単位区間Ｔu毎に候補周波数Ｆc(1)〜Ｆc(N)を特定する。第１処理部７１は、単位区間Ｔu毎に選択した候補周波数Ｆc(n)を複数の単位区間Ｔuにわたり配列した系列であって目標成分の基本周波数Ｆtarの時系列の可能性が高い推定系列ＲAを探索する。第２処理部７２は、単位区間Ｔu毎の目標成分の発音状態Ｓvおよび非発音状態Ｓuの何れかの状態を複数の単位区間Ｔuにわたり配列した状態系列ＲBを探索する。情報生成部６８は、状態系列ＲBの発音状態Ｓvに対応する単位区間Ｔuについて推定系列ＲAのうち当該単位区間Ｔuでの候補周波数Ｆc(n)を目標成分の基本周波数Ｆtarとして指定し、状態系列ＲBの非発音状態Ｓuに対応する単位区間Ｔuについて非発音を示す周波数情報ＤFを単位区間Ｔu毎に生成する。
【発明の詳細な説明】
【技術分野】
【０００１】
本発明は、音響信号のうち特定の音響成分（以下では「目標成分」という）の基本周波数の時系列を推定する技術に関する。
【背景技術】
【０００２】
複数の音響成分（例えば歌唱音と伴奏音）が混在する音響信号のうち特定の目標成分の基本周波数（ピッチ）を推定する技術が従来から提案されている。例えば特許文献１には、相異なる基本周波数の調波構造を示す複数の音モデルの混合分布として音響信号を近似したときの各音モデルの重み値から基本周波数の確率密度関数を順次に推定し、確率密度関数に存在する複数のピークのうち顕著なピークに対応する基本周波数の軌跡を特定する技術が開示されている。確率密度関数に存在する複数のピークの解析には、複数のエージェントに各ピークを追跡させるマルチエージェントモデルが採用される。
【先行技術文献】
【特許文献】
【０００３】
【特許文献１】特開２００１−１２５５６２号公報
【発明の概要】
【発明が解決しようとする課題】
【０００４】
しかし、特許文献１の技術では、基本周波数の時間的な連続性を前提として確率密度関数のピークが追跡されるから、目標成分の発音が頻繁に途切れる場合（目標成分の基本周波数の存否が時間的に切替わる場合）には基本周波数の時系列を正確に特定できないという問題がある。以上の事情を考慮して、本発明は、目標成分の発音が途切れる場合にも目標成分の基本周波数を正確に特定することを目的とする。
【課題を解決するための手段】
【０００５】
以上の課題を解決するために本発明が採用する手段を説明する。なお、本発明の理解を容易にするために、以下の説明では、本発明の要素と後述の実施形態の要素との対応を括弧書で付記するが、本発明の範囲を実施形態の例示に限定する趣旨ではない。
【０００６】
本発明の音響処理装置は、音響信号の単位区間毎に複数の基本周波数（例えばＮ個の候補周波数Ｆc(1)〜Ｆc(N)）を特定する周波数検出手段（例えば周波数検出部６２）と、各単位区間の複数の基本周波数から選択した基本周波数を複数の単位区間にわたり配列した系列であって音響信号のうち目標成分の基本周波数の時系列に該当する可能性が高い推定系列（例えば推定系列ＲA）を、動的計画法による経路探索で特定する第１処理手段（例えば第１処理部７１）と、各単位区間における目標成分の発音状態および非発音状態の何れかの状態を複数の単位区間にわたり配列した状態系列（例えば状態系列ＲB）を、動的計画法による経路探索で特定する第２処理手段（例えば第２処理部７２）と、状態系列の発音状態に対応する単位区間について推定系列のうち当該単位区間に対応する基本周波数を示し、状態系列の非発音状態に対応する単位区間について非発音を示す周波数情報（例えば周波数情報ＤF）を、単位区間毎に生成する情報生成手段（例えば情報生成部６８）とを具備する。以上の構成においては、周波数検出手段が単位区間毎に検出する複数の基本周波数のうち目標成分に該当する可能性が高い基本周波数を単位区間毎に選択した推定系列と、単位区間毎の目標成分の有無を推定した状態系列とを利用して周波数情報が生成される。したがって、目標成分の発音が途切れる場合でも目標成分の基本周波数の時系列を適切に検出することが可能である。
【０００７】
本発明の好適な態様において、周波数検出手段は、各周波数が音響信号の基本周波数に該当する尤度（例えば尤度Ｌs(δF)）を算定するとともに尤度が高い複数の周波数を基本周波数として選択し、第１処理手段は、尤度に応じた確率（例えば確率ＰA1(n)）を複数の基本周波数の各々について単位区間毎に算定し、当該確率を利用した経路探索で推定系列を特定する。以上の態様においては、周波数検出手段が算定する尤度に応じた確率が推定系列の特定に利用されるから、音響信号のうち高強度の目標成分について基本周波数の時系列を高精度に特定できるという利点がある。
【０００８】
本発明の好適な態様に係る音響処理装置は、音響信号のうち周波数検出手段が検出した各基本周波数に対応する調波成分の音響特性と目標成分に対応する音響特性との類否を示す特性指標値（例えば特性指標値Ｖ(n)）を複数の基本周波数の各々について単位区間毎に算定する指標算定手段（例えば指標算定部６４）を具備し、第１処理手段は、複数の基本周波数の各々について特性指標値に応じて単位区間毎に算定される確率（例えば確率ＰA2(n)）を利用した経路探索で推定系列を特定する。以上の態様においては、各基本周波数に対応する調波成分の音響特性と目標成分に対応する音響特性との類否を示す特性指標値に応じた確率が推定系列の特定に利用されるから、所期の音響特性の目標成分の基本周波数の時系列を高精度に特定できるという利点がある。更に好適な態様において、第２処理手段は、推定系列上の基本周波数に対応する特性指標値に応じて単位区間毎に算定される発音状態の確率（例えば確率ＰB1_v）と、非発音状態の確率（例えば確率ＰB1_u）とを利用した経路探索で状態系列を特定する。以上の態様においては、特性指標値に応じた確率が状態系列の特定に利用されるから、目標成分の有無を高精度に特定することが可能である。
【０００９】
本発明の好適な態様において、第１処理手段は、周波数検出手段が複数の単位区間の各々について特定した各基本周波数と当該単位区間の直前の単位区間の各基本周波数との差異（例えば周波数差ε）に応じて各基本周波数の組合せ毎に算定される確率（例えば確率ＰA3(n)_ν）を利用した経路探索で推定系列を特定する。以上の態様では、相前後する各単位区間での基本周波数の周波数差に応じた確率が推定系列の探索に適用されるから、基本周波数が短時間に過度に変化するような推定系列の誤検出が防止される。別の態様において、第２処理手段は、推定系列における各単位区間の基本周波数と推定系列のうち当該単位区間の直前の単位区間の基本周波数との差異に応じて発音状態間の遷移について算定される確率（例えば確率ＰB2_vv）と、相前後する各単位区間における発音状態および非発音状態の一方から非発音状態への遷移に関する確率（例えば確率ＰB2_uv，ＰB2_uu，ＰB2_vu）とを利用した経路探索で状態系列を特定する。以上の態様においては、相前後する各単位区間での基本周波数の周波数差に応じた確率が状態系列の探索に適用されるから、基本周波数が短時間に過度に変化するような発音状態間の遷移を示す状態系列の誤検出が防止される。
【００１０】
本発明の好適な態様に係る音響処理装置は、基準音高の時系列を記憶する記憶手段（例えば記憶装置２４）と、複数の単位区間の各々について、周波数検出手段が当該単位区間について特定した複数の基本周波数の各々と、当該単位区間に対応する基準音高との差異に応じた音高尤度（例えば音高尤度ＬP(n)）を算定する音高評価手段（例えば音高評価部８２）とを具備し、第１処理手段は、複数の基本周波数の各々について音高尤度を利用した経路探索で推定系列を特定し、第２処理手段は、推定系列上の基本周波数に対応する音高尤度に応じて単位区間毎に算定される発音状態の確率と、非発音状態の確率とを利用した経路探索で状態系列を特定する。以上の態様では、周波数検出手段が検出した基本周波数と基準音高との差異に応じた音高尤度が第１処理手段および第２処理手段による経路探索に適用されるから、目標成分の基本周波数を高精度に特定できるという利点がある。なお、以上の態様の具体例は第２実施形態として後述される。
【００１１】
本発明の好適な態様に係る音響処理装置は、基準音高の時系列を記憶する記憶手段（例えば記憶装置２４）と、周波数情報が示す基本周波数が、当該周波数情報に対応する時点の基準音高の１．５倍の周波数を含む所定の範囲内にある場合に基本周波数を１/１．５倍に補正し、基準音高の２倍の周波数を含む所定の範囲内にある場合に基本周波数を１/２倍に補正する補正手段（例えば補正部８４）とを具備する。以上の態様では、周波数情報が示す基本周波数が基準音高に応じて補正される（五度エラーやオクターブエラーが補償される）から、目標成分の基本周波数を正確に特定することが可能である。なお、以上の態様の具体例は、例えば第３実施形態として後述される。
【００１２】
以上の各態様に係る音響処理装置は、処理係数列の生成に専用されるＤＳＰ（Digital Signal Processor）などのハードウェア（電子回路）によって実現されるほか、ＣＰＵ（Central Processing Unit）等の汎用の演算処理装置とプログラムとの協働によっても実現される。本発明に係るプログラムは、音響信号の単位区間毎に複数の基本周波数を特定する周波数検出処理と、各単位区間の複数の基本周波数から選択した基本周波数を複数の単位区間にわたり配列した系列であって音響信号のうち目標成分の基本周波数の時系列に該当する可能性が高い推定系列を、動的計画法による経路探索で特定する第１処理と、各単位区間における目標成分の発音状態および非発音状態の何れかの状態を複数の単位区間にわたり配列した状態系列を、動的計画法による経路探索で特定する第２処理と、状態系列の発音状態に対応する単位区間について推定系列のうち当該単位区間に対応する基本周波数を示し、状態系列の非発音状態に対応する単位区間について非発音を示す周波数情報を、単位区間毎に生成する情報生成処理とをコンピュータに実行させる。以上のプログラムによれば、本発明に係る音響処理装置と同様の作用および効果が奏される。本発明のプログラムは、コンピュータが読取可能な記録媒体に格納された形態で利用者に提供されてコンピュータにインストールされるほか、通信網を介した配信の形態でサーバ装置から提供されてコンピュータにインストールされる。
【図面の簡単な説明】
【００１３】
【図１】本発明の第１実施形態に係る音響処理装置のブロック図である。
【図２】基本周波数解析部のブロック図である。
【図３】周波数検出部の動作のフローチャートである。
【図４】帯域成分を生成する窓関数の模式図である。
【図５】周波数検出部の動作の説明図である。
【図６】周波数検出部が基本周波数を検出する動作の説明図である。
【図７】指標算定部の動作のフローチャートである。
【図８】指標算定部が特徴量（ＭＦＣＣ）を抽出する動作の説明図である。
【図９】第１処理部の動作のフローチャートである。
【図１０】第１処理部が単位区間毎に候補周波数を選択する処理の説明図である。
【図１１】第１処理部の処理に適用される確率の説明図である。
【図１２】第１処理部の処理に適用される確率の説明図である。
【図１３】第２処理部の動作のフローチャートである。
【図１４】第２処理部が単位区間毎に目標成分の有無を判定する処理の説明図である。
【図１５】第２処理部の処理に適用される確率の説明図である。
【図１６】第２処理部の処理に適用される確率の説明図である。
【図１７】第２処理部の処理に適用される確率の説明図である。
【図１８】本発明の第２実施形態における基本周波数解析部のブロック図である。
【図１９】第２実施形態の音高評価部が音高尤度を選定する処理の説明図である。
【図２０】第３実施形態における基本周波数解析部のブロック図である。
【図２１】補正部による補正の前後の基本周波数と基準音高との関係を示すグラフである。
【図２２】基本周波数と補正値との関係を示すグラフである。
【図２３】第４実施形態における基本周波数解析部のブロック図である。
【発明を実施するための形態】
【００１４】
＜Ａ：第１実施形態＞
図１は、本発明の第１実施形態の音響処理装置１００のブロック図である。図１に示すように、音響処理装置１００には信号供給装置２００が接続される。信号供給装置２００は、相異なる音源が発音した複数の音響成分（歌唱音や伴奏音）の混合音の時間波形を表現する音響信号ｘを音響処理装置１００に供給する。周囲の音響を収音して音響信号ｘを生成する収音機器や、可搬型または内蔵型の記録媒体（例えばＣＤ）から音響信号ｘを取得して音響処理装置１００に供給する再生装置や、通信網から音響信号ｘを受信して音響処理装置１００に供給する通信装置が信号供給装置２００として採用され得る。
【００１５】
音響処理装置１００は、信号供給装置２００が供給する音響信号ｘのうち特定の音響成分（目標成分）の基本周波数を示す周波数情報ＤFを音響信号ｘの単位区間（フレーム）Ｔu毎に順次に生成する。以下の説明では、音響信号ｘに含まれる歌唱音を目標成分とした場合を想定する。
【００１６】
図１に示すように、音響処理装置１００は、演算処理装置２２と記憶装置２４とを具備するコンピュータシステムで実現される。記憶装置２４は、演算処理装置２２が実行するプログラムや演算処理装置２２が使用する各種の情報を記憶する。半導体記録媒体や磁気記録媒体等の公知の記録媒体が記憶装置２４として任意に採用される。なお、音響信号ｘを記憶装置２４に格納した構成（したがって信号供給装置２００は省略される）も採用され得る。
【００１７】
演算処理装置２２は、記憶装置２４に格納されたプログラムを実行することで、周波数情報ＤFを生成するための複数の機能（周波数分析部３１および基本周波数解析部３３）を実現する。なお、演算処理装置２２の各機能を複数の集積回路に分散した構成や、専用の電子回路（ＤＳＰ）が各機能を実現する構成も採用され得る。
【００１８】
周波数分析部３１は、音響信号ｘを時間軸上で区分した単位区間Ｔu毎に周波数スペクトルＸを生成する。周波数スペクトルＸは、相異なる周波数（周波数帯域）ｆに対応する複数の周波数成分Ｘ(f,t)で表現される複素スペクトルである。記号ｔは時間（例えば単位区間Ｔuの番号）を意味する。周波数スペクトルＸの生成には、例えば短時間フーリエ変換等の公知の周波数分析が任意に採用され得る。
【００１９】
基本周波数解析部３３は、周波数分析部３１が生成した周波数スペクトルＸを解析することで目標成分の基本周波数Ｆtar（tar：target）の時系列を特定して単位区間Ｔu毎に周波数情報ＤFを生成する。具体的には、音響信号ｘの複数の単位区間Ｔuのうち目標成分が存在する各単位区間Ｔuについては目標成分の基本周波数Ｆtarを指定する周波数情報ＤFが生成され、複数の単位区間Ｔuのうち目標成分が存在しない各単位区間Ｔuについては目標成分の非発音を意味する周波数情報ＤFが生成される。
【００２０】
図２は、基本周波数解析部３３のブロック図である。図２に示すように、基本周波数解析部３３は、周波数検出部６２と指標算定部６４と遷移解析部６６と情報生成部６８とを含んで構成される。目標成分の基本周波数Ｆtarの候補となるＮ個の周波数（以下「候補周波数」という）Ｆc(1)〜Ｆc(N)を周波数検出部６２が単位区間Ｔu毎に特定し、目標成分が存在する単位区間ＴuについてＮ個の候補周波数Ｆc(1)〜Ｆc(N)の何れかを遷移解析部６６が目標成分の基本周波数Ｆtarとして選定する。指標算定部６４は、遷移解析部６６での解析処理に適用されるＮ個の特性指標値Ｖ(1)〜Ｖ(N)を単位区間Ｔu毎に算定する。情報生成部６８は、遷移解析部６６による解析処理の結果に応じた周波数情報ＤFを生成および出力する。基本周波数解析部３３の各要素の機能を以下に説明する。
【００２１】
＜周波数検出部６２＞
周波数検出部６２は、音響信号ｘの各音響成分に対応するＮ個の候補周波数Ｆc(1)〜Ｆc(N)を検出する。候補周波数Ｆc(n)（ｎ＝１〜Ｎ）の検出には公知の技術が任意に採用され得るが、図３を参照して以下に例示する方法が格別に好適である。図３の処理は単位区間Ｔu毎に順次に実行される。なお、以下に例示する方法の詳細は、A. P. Klapuri, "Multiple fundamental frequency estimation based on harmonicity and spectral smoothness", IEEE Trans. Speech and Audio Proc., 11(6), 804-816, 2003に開示されている。
【００２２】
図３の処理を開始すると、周波数検出部６２は、周波数分析部３１が生成した周波数スペクトルＸのピークを強調した周波数スペクトルＺpを生成する（Ｓ22）。具体的には、周波数検出部６２は、以下の数式(1A)から数式(1C)の演算で周波数スペクトルＺpの各周波数ｆの周波数成分Ｚp(f,t)を算定する。
【数１】
【００２３】
数式(1C)の定数ｋ0および定数ｋ1は所定値（例えばｋ0＝50Hz，ｋ1＝６kHz）に設定される。数式(1B)は、周波数スペクトルＸのピークを強調する演算である。数式(1A)の記号Ｘaは、周波数スペクトルＸの周波数成分Ｘ(f,t)の周波数軸上の移動平均である。したがって、数式(1A)から理解されるように、周波数スペクトルＸのピークに対応する周波数成分Ｚp(f,t)が極大値となり、相隣接するピークの間の周波数成分Ｚp(f,t)が０となる周波数スペクトルＺpが生成される。
【００２４】
周波数検出部６２は、周波数スペクトルＺpをＪ個の帯域成分Ｚp_1(f,t)〜Ｚp_J(f,t)に分割する（Ｓ23）。第ｊ番目（ｊ＝１〜Ｊ）の帯域成分Ｚp_j(f,t)は、以下の数式(2)で表現されるように、処理Ｓ22で生成した周波数スペクトルＺp（周波数成分Ｚp(f,t）)に窓関数Ｗj(f)を乗算した成分である。
【数２】
数式(2)の記号Ｗj(f)は、周波数軸上に設定された窓関数を意味する。窓関数Ｗ1(f)〜ＷJ(f)は、人間の聴覚特性（メル尺度）を考慮して、図４に示すように高域側ほど分解能が低下するように設定される。図５には、処理Ｓ23で生成される第ｊ番目の帯域成分Ｚp_j(f,t)が図示されている。
【００２５】
周波数検出部６２は、処理Ｓ23で算定したＪ個の帯域成分Ｚp_1(f,t)〜Ｚp_J(f,t)の各々について、以下の数式(3)で表現される関数値Ｌj(δF)を算定する（Ｓ24）。
【数３】
【００２６】
図５に示すように、帯域成分Ｚp_j(f,t)は、周波数ＦLjから周波数ＦHjまでの周波数帯域Ｂj内に分布する。周波数帯域Ｂj内には、低域側の周波数ＦLjに対して周波数Ｆs（オフセット）だけ高域側の周波数（ＦLj＋Ｆs）を起点として周波数δFの間隔（周期）毎に対象周波数ｆpが設定される。周波数Ｆsおよび周波数δFは可変値である。記号Ｉ(Fs,δF)は、周波数帯域Ｂj内の対象周波数ｆpの総数を意味する。以上の説明から理解されるように、関数値ａ(Fs,δF)は、周波数帯域Ｂj内のＩ(Fs,δF)個の対象周波数ｆpの各々における帯域成分Ｚp_j(f,t)の合計値（Ｉ(Fs,δF)個の数値の総和）に相当する。変数ｃ(Fs,δF)は、関数値ａ(Fs,δF)を正規化する要素である。
【００２７】
数式(3)の記号max{A(Fs,δF)}は、相異なる周波数Ｆsについて算定される複数の関数値Ａ(Fs,δF）のうちの最大値を意味する。図６は、数式(3)で算定される関数値Ｌj(δF)と各対象周波数ｆpの周波数δFとの関係を示すグラフである。図６に示すように、関数値Ｌj(δF)には複数のピークが存在する。数式(3)から理解されるように、周波数δFの間隔で配列する各対象周波数ｆpが帯域成分Ｚp_j(f,t)の各ピークの周波数（すなわち調波周波数）に近似するほど関数値Ｌj(δF)は大きい数値となる。すなわち、関数値Ｌj(δF)がピークとなる周波数δFは、帯域成分Ｚp_j(f,t)の基本周波数に該当する可能性が高い。
【００２８】
周波数検出部６２は、処理Ｓ24で帯域成分Ｚp_j(f,t)毎に算定した関数値Ｌj(δF)をＪ個の帯域成分Ｚp_1(f,t)〜Ｚp_J(f,t)について加算または平均することで関数値Ｌs(δF)（Ｌs(δF)＝Ｌ1(δF)＋Ｌ2(δF)＋Ｌ3(δF)＋……＋ＬJ(δF)）を算定する（Ｓ25）。以上の説明から理解されるように、周波数δFが音響信号ｘの何れかの音響成分の基本周波数に近いほど、関数値Ｌs(δF）は大きい数値となる。すなわち、関数値Ｌs(δF)は、各周波数δFが音響成分の基本周波数に該当する尤度（確率）を意味し、関数値Ｌs(δF)の分布は、周波数δFを確率変数とする基本周波数の確率密度関数に相当する。
【００２９】
周波数検出部６２は、処理Ｓ25で算定した尤度Ｌs(δF)の複数のピークのうち各ピークでの尤度Ｌs(δF)の数値の降順でＮ個（すなわち尤度Ｌs(δF)が大きい方からＮ個）のピークを選択し、各ピークに対応するＮ個の周波数δFを候補周波数Ｆc(1)〜Ｆc(N)として特定する（Ｓ26）。尤度Ｌs(δF)が大きい周波数δFを目標成分（歌唱音）の基本周波数Ｆtarの候補となる候補周波数Ｆc(1)〜Ｆc(N)として選択するのは、音響信号ｘのなかで比較的に顕著な音響成分（音量が大きい音響成分）である目標成分は、目標成分以外の音響成分と比較して尤度Ｌs(δF)が大きい数値になり易いという傾向があるからである。以上に説明した図３の処理（Ｓ22〜Ｓ26）が単位区間Ｔu毎に順次に実行されることでＮ個の候補周波数Ｆc(1)〜Ｆc(N)が単位区間Ｔu毎に特定される。
【００３０】
＜指標算定部６４＞
図２の指標算定部６４は、周波数検出部６２が処理Ｓ26で特定したＮ個の候補周波数Ｆc(1)〜Ｆc(N)の各々について、音響信号ｘのうちその候補周波数Ｆc(n)（ｎ＝１〜Ｎ）に対応する調波成分の音響特性（典型的には音色）と目標成分に想定される音響特性との類否を示す特性指標値Ｖ(n)を単位区間Ｔu毎に算定する。すなわち、特性指標値Ｖ(n)は、候補周波数Ｆc(n)が目標成分に該当する可能性を音響特性の観点から評価した指標（歌唱音を目標成分とした本実施形態では音声らしさの尤度）に相当する。以下の説明では、音響特性を表現する特徴量としてＭＦＣＣ（Mel Frequency Cepstral Coeffcient）を例示する。ただし、ＭＦＣＣ以外の特徴量を利用することも可能である。
【００３１】
図７は、指標算定部６４の動作のフローチャートである。図７の処理が単位区間Ｔu毎に順次に実行されることで単位区間Ｔu毎にＮ個の特性指標値Ｖ(1)〜Ｖ(N)が算定される。図７の処理を開始すると、指標算定部６４は、Ｎ個の候補周波数Ｆc(1)〜Ｆc(N)から１個の候補周波数Ｆc(n)を選択する（Ｓ31）。そして、指標算定部６４は、音響信号ｘの複数の音響成分のうち処理Ｓ31で選択した候補周波数Ｆc(n)を基本周波数とする調波成分の特徴量（ＭＦＣＣ）を算定する（Ｓ32〜Ｓ35）。
【００３２】
まず、指標算定部６４は、図８に示すように、周波数分析部３１が生成した周波数スペクトルＸからパワースペクトル|Ｘ|2を生成し（Ｓ32）、パワースペクトル|Ｘ|2のうち処理Ｓ31で選択した候補周波数Ｆc(n)とその倍音周波数κＦc(n)（κ＝２，３，４，……）との各々に対応するパワー値を特定する（Ｓ33）。例えば、指標算定部６４は、候補周波数Ｆc(n)と各倍音周波数κＦc(n)とを中心周波数として周波数軸上に設定された各窓関数（例えば三角窓）をパワースペクトル|Ｘ|2に乗算し、窓関数毎の乗算値の最大値（図８の黒点）を候補周波数Ｆc(n)および各倍音周波数κＦc(n)に対応するパワー値として特定する。
【００３３】
指標算定部６４は、図８に示すように、候補周波数Ｆc(n)および各倍音周波数κＦc(n)について処理Ｓ33で算定したパワー値を補間することで包絡線ＥNV(n)を生成する（Ｓ34）。具体的には、パワー値を変換した対数値（ｄＢ値）の補間を実行してからパワー値に再変換することで包絡線ＥNV(n)が算定される。処理Ｓ34での補間には、例えばラグランジュ補間等の公知の補間技術が任意に採用され得る。以上の説明から理解されるように、包絡線ＥNV(n)は、音響信号ｘのうち候補周波数Ｆc(n)を基本周波数とする調波成分の周波数スペクトルの包絡線に相当する。指標算定部６４は、処理Ｓ34で生成した包絡線ＥNV(n)からＭＦＣＣ（特徴量）を算定する（Ｓ35）。ＭＦＣＣの算定の方法は任意である。
【００３４】
指標算定部６４は、処理Ｓ35で算定したＭＦＣＣから特性指標値Ｖ(n)（目標成分らしさの尤度）を算定する（Ｓ36）。特性指標値Ｖ(n)の算定の方法は任意であるが、ＳＶＭ（Support Vector Machine）が好適である。すなわち、指標算定部６４は、音声（歌唱音）と非音声（例えば楽器の演奏音）とが混在する学習サンプルを複数のクラスタに分類する分離平面（境界）を事前に学習し、各クラスタ内のサンプルが音声に該当する確率（例えば０以上かつ１以下の中間的な数値）をクラスタ毎に設定する。特性指標値Ｖ(n)を算定する段階では、指標算定部６４は、処理Ｓ35で算定したＭＦＣＣが所属すべきクラスタを分離平面の適用で決定し、そのクラスタに付与された確率を特性指標値Ｖ(n)として特定する。例えば候補周波数Ｆc(n)に対応する音響成分が目標成分（歌唱音）に該当する可能性が高いほど特性指標値Ｖ(n)は１に近い数値に設定され、目標成分に該当しない確率が高いほど特性指標値Ｖ(n)は０に近い数値に設定される。
【００３５】
指標算定部６４は、Ｎ個の候補周波数Ｆc(1)〜Ｆc(N)の全部について以上の処理（Ｓ31〜Ｓ36）を実行したか否かを判定する（Ｓ37）。処理Ｓ37の判定の結果が否定である場合、指標算定部６４は、未処理の候補周波数Ｆc(n)を新規に選択したうえで（Ｓ31）、前述の処理Ｓ32から処理Ｓ37の処理を実行する。そして、Ｎ個の候補周波数Ｆc(1)〜Ｆc(N)の全部を処理すると（Ｓ37：YES）、指標算定部６４は図７の処理を終了する。したがって、相異なる候補周波数Ｆc(n)に対応するＮ個の特性指標値Ｖ(1)〜Ｖ(N)が単位区間Ｔu毎に順次に算定される。
【００３６】
＜遷移解析部６６＞
図２の遷移解析部６６は、周波数検出部６２が単位区間Ｔu毎に算定したＮ個の候補周波数Ｆc(1)〜Ｆc(N)から、目標成分の基本周波数Ｆtarに該当する可能性が高い候補周波数Ｆc(n)を選択する。すなわち、基本周波数Ｆtarの時系列（軌跡）が特定される。図２に示すように、遷移解析部６６は、第１処理部７１と第２処理部７２とを含んで構成される。第１処理部７１および第２処理部７２の各々の機能について以下に詳述する。
【００３７】
＜第１処理部７１＞
第１処理部７１は、Ｎ個の候補周波数Ｆc(1)〜Ｆc(N)のうち目標成分の基本周波数Ｆtarに該当する可能性が高い候補周波数Ｆc(n)を単位区間Ｔu毎に特定する。図９は、第１処理部７１の動作のフローチャートである。周波数検出部６２がＮ個の候補周波数Ｆc(1)〜Ｆc(N)を最新の１個の単位区間（以下では特に「新規単位区間」という）Ｔuについて特定するたびに図９の処理が実行される。
【００３８】
図９の処理は、概略的には、図１０に示すように、新規単位区間Ｔuを最後尾とするＫ個の単位区間Ｔuにわたる経路（以下では「推定系列」という）ＲAを特定する処理である。推定系列ＲAは、各単位区間ＴuのＮ個の候補周波数Ｆc(n)（図１０では４個の候補周波数Ｆc(1)〜Ｆc(4)）のうち目標成分に該当する可能性（尤度）が高い候補周波数Ｆc(n)をＫ個の単位区間Ｔuについて配列した時系列（候補周波数Ｆc(n)の遷移）に相当する。推定系列ＲAの探索には公知の技術が任意に採用され得るが、演算量の削減の観点から動的計画法が格別に好適である。図９では、動的計画法の例示であるビタビ（viterbi）アルゴリズムを利用して推定系列ＲAを特定する場合が想定されている。図９の処理を以下に詳述する。
【００３９】
第１処理部７１は、新規単位区間Ｔuについて特定されたＮ個の候補周波数Ｆc(1)〜Ｆc(N)のうちの１個の候補周波数Ｆc(n)を選択する（Ｓ41）。そして、第１処理部７１は、図１１に示すように、処理Ｓ41で選択した候補周波数Ｆc(n)が新規単位区間Ｔuに出現する確率（ＰA1(n)，ＰA2(n)）を算定する（Ｓ42）。
【００４０】
確率ＰA1(n)は、候補周波数Ｆc(n)について図３の処理Ｓ25で算定された尤度Ｌs(δF)（＝Ｌs(Ｆc(n))に応じて可変に設定される。具体的には、候補周波数Ｆc(n)の尤度Ｌs(Ｆc(n))が大きいほど確率ＰA1(n)は大きい数値に設定される。第１処理部７１は、例えば、尤度Ｌs(Ｆc(n))に応じた変数λ(n)を確率変数とする正規分布（平均μA1，分散σA12）を表現する以下の数式(4)の演算で候補周波数Ｆc(n)の確率ＰA1(n)を算定する。
【数４】
数式(4)の変数λ(n)は、例えば尤度Ｌs(Ｆc(n))を正規化した数値である。尤度Ｌs(Ｆc(n))の正規化の方法は任意であるが、例えば尤度Ｌs(Ｆc(n))を尤度Ｌs(δF)の最大値で除算した数値が正規化後の尤度λ(n)として好適である。平均μA1および分散σA12の数値は実験的または統計的に選定される（例えばμA1＝１，σA1＝0.4）。
【００４１】
処理Ｓ42で算定される確率ＰA2(n)は、候補周波数Ｆc(n)について指標算定部６４が算定した特性指標値Ｖ(n)に応じて可変に設定される。具体的には、候補周波数Ｆc(n)の特性指標値Ｖ(n)が大きい（目標成分に該当する可能性が高い）ほど確率ＰA2(n)は大きい数値に設定される。第１処理部７１は、例えば、特性指標値Ｖ(n)を確率変数とする正規分布（平均μA2，分散σA22）を表現する以下の数式(5)の演算で確率ＰA2(n)を算定する。平均μA2および分散σA22の数値は実験的または統計的に選定される（例えばμA2＝σA2＝１）。
【数５】
【００４２】
第１処理部７１は、図１１に示すように、新規単位区間Ｔuについて処理Ｓ41で選択した候補周波数Ｆc(n)と、直前の単位区間ＴuのＮ個の候補周波数Ｆc(1)〜Ｆc(N)との各組合せについてＮ個の確率ＰA3(n)_1〜ＰA3(n)_Nを算定する（Ｓ43）。確率ＰA3(n)_ν（ν＝１〜Ｎ）は、直前の単位区間Ｔuの第ν番目の候補周波数Ｆc(ν)から新規単位区間Ｔuの候補周波数Ｆc(n)に遷移する確率を意味する。具体的には、単位区間Ｔuの間で音響成分の音高が極端に変化する可能性は低いという傾向を考慮して、直前の候補周波数Ｆc(ν)と現在の候補周波数Ｆc(n)との差異（音高差）が大きいほど確率ＰA3(n)_νは小さい数値に設定される。第１処理部７１は、例えば以下の数式(6)の演算でＮ個の確率ＰA3(n)_1〜ＰA3(n)_Nを算定する。
【数６】
数式(6)は、関数値min{6,max(0,|ε|−0.5)}を確率変数とする正規分布（平均μA3，分散σA32）を表現する。数式(6)の記号εは、半音を単位として直前の候補周波数Ｆc(ν)と現在の候補周波数Ｆc(n)との差分を表現した変数を意味する。関数値min{6,max(0,|ε|−0.5)}は、半音単位の周波数差εの絶対値|ε|から0.5を減算した数値（負数となる場合は０）が６を下回る場合にはその数値に設定され、数値が６を上回る場合（すなわち６半音を上回る程度に周波数が相違する場合）には６に設定される。なお、音響信号ｘの最初の単位区間Ｔuの確率ＰA3(n)_1〜ＰA3(n)_Nは所定値（例えば１）に設定される。また、平均μA3および分散σA32の数値は実験的または統計的に選定される（例えばμA3＝０，σA3＝４）。
【００４３】
以上の手順で確率（ＰA1(n)，ＰA2(n)，ＰA3(n)_1〜ＰA3(n)_N）を算定すると、第１処理部７１は、図１２に示すように、新規単位区間Ｔuの候補周波数Ｆc(n)と、直前の単位区間ＴuのＮ個の候補周波数Ｆc(1)〜Ｆc(N)との各組合せについてＮ個の確率πA(1)〜πA(N)を算定する（Ｓ44）。確率πA(ν)は、図１１の確率ＰA1(n)と確率ＰA2(n)と確率ＰA3(n)_νとに応じた数値である。例えば確率ＰA1(n)と確率ＰA2(n)と確率ＰA3(n)_νとの各々の対数値の加算値が確率πA(ν)として算定される。以上の説明から理解されるように、確率πA(ν)は、直前の単位区間Ｔuの第ν番目の候補周波数Ｆc(ν)から新規単位区間Ｔuの候補周波数Ｆc(n)に遷移する確率（尤度）を意味する。
【００４４】
第１処理部７１は、処理Ｓ44で算定したＮ個の確率πA(1)〜πA(N)のうちの最大値πA_maxを選択し、図１２に示すように、直前の単位区間ＴuのＮ個の候補周波数Ｆc(1)〜Ｆc(N)のうち最大値πA_maxに対応する候補周波数Ｆc(ν)と新規単位区間Ｔuの候補周波数Ｆc(n)とを連結する経路（図１２の太線）を設定する（Ｓ45）。更に、第１処理部７１は、新規単位区間Ｔuの候補周波数Ｆc(n)について確率ΠA(n)を算定する（Ｓ46）。確率ΠA(n)は、直前の単位区間ＴuのＮ個の候補周波数Ｆc(1)〜Ｆc(N)のうち処理Ｓ45で選択した候補周波数Ｆc(ν)について過去に算定した確率ΠA(ν)と現在の候補周波数Ｆc(n)について処理Ｓ45で選択した最大値πA_maxとに応じた数値（例えば各々の対数値の加算値）に設定される。
【００４５】
第１処理部７１は、新規単位区間ＴuのＮ個の候補周波数Ｆc(1)〜Ｆc(N)の全部について以上の処理（Ｓ41〜Ｓ46）を実行したか否かを判定する（Ｓ47）。処理Ｓ47の判定の結果が否定である場合、第１処理部７１は、未処理の候補周波数Ｆc(n)を新規に選択したうえで（Ｓ41）、処理Ｓ42から処理Ｓ47を実行する。すなわち、処理Ｓ41から処理Ｓ47が新規単位区間ＴuのＮ個の候補周波数Ｆc(1)〜Ｆc(N)の各々について実行され、直前の単位区間Ｔuの１個の候補周波数Ｆc(ν)からの経路（処理Ｓ45）とその経路に対応する確率ΠA(n)（処理Ｓ46）とが新規単位区間Ｔuの候補周波数Ｆc(n)毎に算定される。
【００４６】
新規単位区間Ｔuの全部（Ｎ個）の候補周波数Ｆc(1)〜Ｆc(N)について処理が完了すると（Ｓ47：YES）、第１処理部７１は、新規単位区間Ｔuを最後尾とするＫ個の単位区間Ｔuにわたる推定系列ＲAを確定する（Ｓ48）。推定系列ＲAは、新規単位区間ＴuのＮ個の候補周波数Ｆc(1)〜Ｆc(N)のうち処理Ｓ46で算定した確率ΠA(n)が最大となる候補周波数Ｆc(n)から、処理Ｓ45で連結した各候補周波数Ｆc(n)をＫ個の単位区間Ｔuにわたって順次に遡及（バックトラック）した経路である。なお、処理Ｓ41から処理Ｓ47を完了した単位区間ＴuがＫ個未満である段階（すなわち音響信号ｘの始点から第(Ｋ−１)個までの各単位区間Ｔuについて処理が完了した段階）では推定系列ＲAの確定（処理Ｓ48）は実行されない。以上に説明したように、周波数検出部６２が新規単位区間ＴuについてＮ個の候補周波数Ｆc(1)〜Ｆc(N)を特定するたびに、その新規単位区間Ｔuを最後尾とするＫ個の単位区間Ｔuにわたる推定系列ＲAが特定される。
【００４７】
＜第２処理部７２＞
ところで、音響信号ｘのなかには目標成分が存在しない単位区間Ｔu（例えば歌唱音が停止した区間）も存在する。第１処理部７１による推定系列ＲAの探索では各単位区間Ｔuにおける目標成分の有無が判断されないから、実際には目標成分が存在しない単位区間Ｔuについても推定系列ＲA上では候補周波数Ｆc(n)が特定される。以上の事情を考慮して、第２処理部７２は、推定系列ＲAの各候補周波数Ｆc(n)に対応するＫ個の単位区間Ｔuの各々について目標成分の有無を判定する。
【００４８】
図１３は、第２処理部７２の動作のフローチャートである。第１処理部７１が推定系列ＲAを特定するたび（単位区間Ｔu毎）に図１３の処理が実行される。図１３の処理は、概略的には、図１４に示すように、推定系列ＲAに対応するＫ個の単位区間Ｔuにわたる経路（以下では「状態系列」という）ＲBを特定する処理である。状態系列ＲBは、Ｋ個の単位区間Ｔuの各々について目標成分の発音状態Ｓv（ｖ：voiced）および非発音状態Ｓu（ｕ：unvoiced）の何れかを選択して配列した時系列（発音状態／非発音状態の遷移）に相当する。各単位区間Ｔuの発音状態Ｓvは、推定系列ＲAのうちその単位区間Ｔuの候補周波数Ｆc(n)が目標成分として発音される状態を意味し、非発音状態Ｓuは目標成分が発音されない状態を意味する。状態系列ＲBの探索には公知の技術が任意に採用され得るが、演算量の削減の観点から動的計画法が格別に好適である。図１３では、動的計画法の例示であるビタビアルゴリズムを利用して状態系列ＲBを特定する場合が想定されている。図１３の処理を以下に詳述する。
【００４９】
第２処理部７２は、Ｋ個の単位区間Ｔuの何れか（以下「選択単位区間」という）を選択する（Ｓ51）。具体的には、図１３の第１回目の処理Ｓ51ではＫ個の単位区間Ｔuのうち最初の単位区間Ｔuが選択され、第２回目以降の処理Ｓ51の実行毎に直後の単位区間Ｔuが選択される。
【００５０】
第２処理部７２は、図１５に示すように、選択単位区間Ｔuについて確率ＰB1_vと確率ＰB1_uとを算定する（Ｓ52）。確率ＰB1_vは、選択単位区間Ｔuにて目標成分が発音状態Ｓvに該当する確率を意味し、確率ＰB1_uは、選択単位区間Ｔuにて目標成分が非発音状態Ｓuに該当する確率を意味する。
【００５１】
選択単位区間Ｔuの候補周波数Ｆc(n)が目標成分に該当する可能性が高いほど、その候補周波数Ｆc(n)について指標算定部６４が算定した特性指標値Ｖ(n)（目標成分らしさ）は大きい数値となるという傾向を考慮して、発音状態Ｓvの確率ＰB1_vの算定には特性指標値Ｖ(n)が適用される。具体的には、第２処理部７２は、特性指標値Ｖ(n)を確率変数とする正規分布（平均μB1，分散σB12）を表現する以下の数式(7)の演算で確率ＰB1_vを算定する。数式(7)から理解されるように、特性指標値Ｖ(n)が大きいほど確率ＰB1_vは大きい数値に設定される。平均μB1および分散σB12の数値は実験的または統計的に選定される（例えばμB1＝σB1＝１）。
【数７】
【００５２】
他方、非発音状態Ｓuの確率ＰB1_uは、例えば以下の数式(8)で算定される固定値である。
【数８】
【００５３】
次いで、第２処理部７２は、図１５に破線で示すように、選択単位区間Ｔuの発音状態Ｓvおよび非発音状態Ｓuと直前の単位区間Ｔuの発音状態Ｓvおよび非発音状態Ｓuとの各組合せについて遷移の確率（ＰB2_vv，ＰB2_uv，ＰB2_uu，ＰB2_vu）を算定する（Ｓ53）。確率ＰB2_vvは、図１５から理解されるように、直前の単位区間Ｔuの発音状態Ｓvから選択単位区間Ｔuの発音状態Ｓvに遷移する確率（vv：voiced->voiced）を意味する。同様に、確率ＰB2_uvは、非発音状態Ｓuから発音状態Ｓvに遷移する確率（uv：unvoiced->voiced）を意味し、確率ＰB2_uuは、非発音状態Ｓuから非発音状態Ｓuに遷移する確率（uu：unvoiced->unvoiced）を意味し、確率ＰB2_vuは、発音状態Ｓvから非発音状態Ｓuに遷移する確率（vu：voiced->unvoiced）を意味する。具体的には、第２処理部７２は、各確率を以下の数式(9A)および数式(9B)のように算定する。
【数９】
【００５４】
前述の数式(6)で算定される確率ＰA3(n)_νと同様に、直前の単位区間Ｔuと選択単位区間Ｔuとの間で候補周波数Ｆc(n)の周波数差εの絶対値|ε|が大きいほど数式(9A)の確率ＰB2_vvは小さい数値に設定される。数式(9A)の平均μB2および分散σB22の数値は実験的または統計的に選定される（例えばμB2＝０，σB2＝４）。数式(9A)および数式(9B)から理解されるように、相前後する単位区間Ｔuにて発音状態Ｓvが維持される確率ＰB2_vvは、発音状態Ｓvおよび非発音状態Ｓuの一方から他方に遷移する確率（ＳPB2_uv，ＰB2_vu）や非発音状態Ｓuが維持される確率ＰB2_uuと比較して低い確率に設定される。
【００５５】
第２処理部７２は、直前の単位区間Ｔuの発音状態Ｓvおよび非発音状態Ｓuの何れかを、選択単位区間Ｔuの発音状態Ｓvに関する各確率（ＰB1_v，ＰB2_vv，ＰB2_uv）に応じて選択して選択単位区間Ｔuの発音状態Ｓvに連結する（Ｓ54A〜Ｓ54C）。まず、第２処理部７２は、図１６に示すように、直前の単位区間Ｔuの状態（発音状態Ｓv／非発音状態Ｓu）から選択単位区間Ｔuの発音状態Ｓvに遷移する確率（πBvv，πBuv）を算定する（Ｓ54A）。確率πBvvは、直前の単位区間Ｔuの発音状態Ｓvから選択単位区間Ｔuの発音状態Ｓvに遷移する確率であり、処理Ｓ52で算定した確率ＰB1_vと処理Ｓ53で算定した確率ＰB2_vvとに応じた数値（例えば各々の対数値の加算値）に設定される。同様に、確率πBuvは、直前の単位区間Ｔuの非発音状態Ｓuから選択単位区間Ｔuの発音状態Ｓvに遷移する確率を意味し、確率ＰB1_vと確率ＰB2_uvとに応じて算定される。
【００５６】
第２処理部７２は、図１６に示すように、直前の単位区間Ｔuの状態（発音状態Ｓv／非発音状態Ｓu）のうち確率πBvvおよび確率πBuvの最大値πBv_maxに対応する状態を選択して選択単位区間Ｔuの発音状態Ｓvと連結し（Ｓ54B）、選択単位区間Ｔuの発音状態Ｓvについて確率ΠBを算定する（Ｓ54C）。確率ΠBは、直前の単位区間Ｔuについて処理Ｓ54Bで選択した状態について過去に算定された確率ΠBと処理Ｓ54Bで特定した最大値πBv_maxとに応じた数値（例えば各々の対数値の加算値）に設定される。
【００５７】
第２処理部７２は、選択単位区間Ｔuの非発音状態Ｓuについても同様に、直前の単位区間Ｔuの発音状態Ｓvおよび非発音状態Ｓuの何れかを、選択単位区間Ｔuの非発音状態Ｓuに関する各確率（ＰB1_u，ＰB2_uu，ＰB2_vu）に応じて選択してその非発音状態Ｓuに連結する（Ｓ55A〜Ｓ55C）。すなわち、第２処理部７２は、図１７に示すように、確率ＰB1_uおよび確率ＰB2_uu応じた確率（すなわち非発音状態Ｓuから非発音状態Ｓuに遷移する確率）πBuuと、確率ＰB1_uおよび確率ＰB2_vuに応じた確率πBvuとを算定し（Ｓ55A）、直前の単位区間Ｔuの発音状態Ｓvおよび非発音状態Ｓuのうち確率πBuuおよび確率πBvuの最大値πBu_maxに対応する状態（図１７では発音状態Ｓv）を選択して選択単位区間Ｔuの非発音状態Ｓuと連結する（Ｓ55B）。そして、第２処理部７２は、処理Ｓ55Bで選択した状態について過去に算定した確率ΠBと処理Ｓ55Bで選択した確率πBu_maxとに応じて選択単位区間Ｔuの非発音状態Ｓuの確率ΠBを算定する（Ｓ55C）。
【００５８】
選択単位区間Ｔuの発音状態Ｓvおよび非発音状態Ｓuの各々について以上の手順で直前の単位区間Ｔuの状態との連結（Ｓ54B，Ｓ55B）と確率ΠBの算定（Ｓ54C，Ｓ55C）とを完了すると、第２処理部７２は、Ｋ個の単位区間Ｔuの全部について処理が完了したか否かを判定する（Ｓ56）。処理Ｓ56の判定の結果が否定である場合、第２処理部７２は、現在の選択単位区間Ｔuの直後の単位区間Ｔuを新規な選択単位区間Ｔuとして選択したうえで（Ｓ51）、前述の処理Ｓ52から処理Ｓ56の処理を実行する。
【００５９】
Ｋ個の単位区間Ｔuの各々について処理が完了すると（Ｓ56：YES）、第２処理部７２は、Ｋ個の単位区間Ｔuにわたる状態系列ＲBを確定する（Ｓ57）。具体的には、第２処理部７２は、Ｋ個のうち最後尾の単位区間Ｔuの発音状態Ｓvおよび非発音状態Ｓuのうち確率ΠBが大きい状態から、処理Ｓ54Bまたは処理Ｓ55Bで連結した経路をＫ個の単位区間Ｔuにわたって順次に遡及することで状態系列ＲBを特定する。そして、Ｋ個の単位区間Ｔuにわたる状態系列ＲBのうち第１番目の単位区間Ｔuでの状態（発音状態Ｓv／非発音状態Ｓu）を、その１個の単位区間Ｔuの状態（目標成分の発音の有無）として確定する（Ｓ58）。すなわち、新規単位区間Ｔuから(Ｋ−１)個だけ過去の単位区間Ｔuについて目標成分の有無（発音状態Ｓv／非発音状態Ｓu）が判定される。
【００６０】
＜情報生成部６８＞
情報生成部６８は、遷移解析部６６による処理の結果（推定系列ＲA，状態系列ＲB）に応じて単位区間Ｔu毎に周波数情報ＤFを生成する。具体的には、第２処理部７２が特定した状態系列ＲBにて発音状態Ｓvに該当する単位区間Ｔuについて、情報生成部６８は、第１処理部７１が特定した推定系列ＲAのＫ個の候補周波数Ｆc(n)のうちその単位区間Ｔuに対応する候補周波数Ｆc(n)を目標成分の基本周波数Ｆtarとして指定する周波数情報ＤFを生成する。他方、状態系列ＲBにおいて非発音状態Ｓuに該当する単位区間Ｔuについて、情報生成部６８は、目標成分の非発音を意味する周波数情報ＤF（例えば数値がゼロに設定された周波数情報ＤF）を生成する。
【００６１】
以上に説明した形態では、音響信号ｘから検出されるＮ個の候補周波数Ｆc(1)〜Ｆc(N)のうち目標成分に該当する可能性が高い候補周波数Ｆc(n)を単位区間Ｔu毎に選択した推定系列ＲAと、単位区間Ｔu毎の目標成分の有無（発音状態Ｓv／非発音状態Ｓu）を推定した状態系列ＲBとが生成され、推定系列ＲAと状態系列ＲBとの双方を利用して周波数情報ＤFが生成される。したがって、目標成分の発音が途切れる場合でも目標成分の基本周波数Ｆtarの時系列を適切に検出することが可能である。例えば、遷移解析部６６が第１処理部７１のみを具備する構成と比較すると、音響信号ｘのうち目標成分が実際には存在しない単位区間Ｔuについて基本周波数Ｆtarが誤検出される可能性を低減することが可能である。
【００６２】
各周波数δFが音響信号ｘの基本周波数に該当する尤度Ｌs(δF)に応じた確率ＰA1(n)が推定系列ＲAの探索に適用されるから、音響信号ｘのうち高強度の目標成分の基本周波数Ｆtarの時系列を高精度に特定できるという利点もある。また、音響信号ｘのうち各候補周波数Ｆc(n)に対応する調波成分の音響特性と所期の音響特性との類否を示す特性指標値Ｖ(n)に応じた確率ＰA2(n)や確率ＰB1_vが推定系列ＲAや状態系列ＲBの探索に適用されるから、所期の音響特性の目標成分の基本周波数Ｆtarの時系列（発音の有無）を高精度に特定できるという利点もある。
【００６３】
更に、相前後する各単位区間Ｔuでの候補周波数Ｆc(n)の周波数差εに応じた確率ＰA3(n)_νおよび確率ＰB2_vvが推定系列ＲAや状態系列ＲBの探索に適用されるから、基本周波数が短時間に過度に変化するような推定系列ＲAや状態系列ＲBの誤検出が防止され、結果的に目標成分の基本周波数Ｆtarの時系列（発音の有無）を高精度に特定できるという利点がある。
【００６４】
＜Ｂ：第２実施形態＞
本発明の第２実施形態を以下に説明する。なお、以下に例示する各構成において作用や機能が第１実施形態と同等である要素については、以上の説明で参照した符号を流用して各々の詳細な説明を適宜に省略する。
【００６５】
図１８は、第２実施形態における基本周波数解析部３３のブロック図である。図１８には記憶装置２４が併記されている。第２実施形態の記憶装置２４には楽曲情報ＤMが記憶される。楽曲情報ＤMは、楽曲を構成する各音符の音高（以下「基準音高」という）ＰREFを時系列に指定する。以下の例示では、楽曲の主旋律に相当する歌唱音（ガイドメロディ）の音高が基準音高ＰREFとして指定される場合を想定する。例えば、楽曲の音高を指定するイベントデータ（ノートオンイベント）と各イベントデータの処理の時点を指定するタイミングデータとを時系列に配列したＭＩＤＩ（Musical Instrument Digital Interface）形式の時系列データが楽曲情報ＤMとして好適に採用される。
【００６６】
第２実施形態で処理対象となる音響信号ｘは、記憶装置２４に記憶された楽曲情報ＤMと楽曲が共通する。したがって、音響信号ｘの目標成分（歌唱音）が示す音高の時系列と楽曲情報ＤMが指定する基準音高ＰREFの時系列とは時間軸上で相互に対応する。第２実施形態の基本周波数解析部３３は、楽曲情報ＤMで指定される基準音高ＰREFの時系列を、音響信号ｘの目標成分の基本周波数Ｆtarの時系列を特定するために利用する。
【００６７】
図１８に示すように、第２実施形態の基本周波数解析部３３は、第１実施形態と同様の要素（周波数検出部６２，指標算定部６４，遷移解析部６６，情報生成部６８）に音高評価部８２を追加した構成である。音高評価部８２は、周波数検出部６２が特定したＮ個の候補周波数Ｆc(1)〜Ｆc(N)の各々について音高尤度ＬP(n)（ＬP(1)〜ＬP(N)）を単位区間Ｔu毎に算定する。各単位区間Ｔuの音高尤度ＬP(n)は、楽曲のうちその単位区間Ｔuに対応する時点について楽曲情報ＤMが指定する基準音高ＰREFと、周波数検出部６２が検出した候補周波数Ｆc(n)との差異に応じた数値である。基準音高ＰREFが楽曲の歌唱音に対応する第２実施形態では、音高尤度ＬP(n)は、各候補周波数Ｆc(n)が楽曲の歌唱音に該当する可能性の指標（尤度）として機能する。例えば、音高尤度ＬP(n)は、候補周波数Ｆc(n)と基準音高ＰREFとの差異が小さいほど大きい数値となるように所定の範囲（１以下の正数）内で選定される。
【００６８】
図１９は、音高評価部８２が音高尤度ＬP(n)を選定する処理の説明図である。図１９には、候補周波数Ｆc(n)を確率変数とする確率分布αが図示されている。確率分布αは、例えば基準音高ＰREFを平均値とする正規分布である。図１９の横軸（確率分布αの確率変数）は、セント（cent）を単位とした候補周波数Ｆc(n)である。
【００６９】
音高評価部８２は、楽曲のうち楽曲情報ＤMが基準音高ＰREFを指定する区間（すなわち楽曲内で歌唱音が存在する区間）内の各単位区間Ｔuについては、図１９の確率分布αにおいて候補周波数Ｆc(n)に対応する確率を音高尤度ＬP(n)として特定する。他方、楽曲のうち楽曲情報ＤMが基準音高ＰREFを指定しない区間（すなわち楽曲内で歌唱音が存在しない区間）内の各単位区間Ｔuについては、音高評価部８２は音高尤度ＬP(n)を所定の下限値に設定する。
【００７０】
ところで、目標成分の周波数は、例えばビブラート等の音楽的な表現により、所期の周波数を中心として時間的に変動（揺動）する可能性がある。そこで、基準音高ＰREFを中心とする所定の範囲内（目標成分の周波数の変動が予定される所定の範囲内）では音高尤度ＬP(n)が過度に小さい数値とならないように、確率分布αの形状（具体的には分散）が選定される。例えば、歌唱音のビブラートによる周波数の変動は、目標の周波数を中心とした４半音分（高域側２半音および低域側２半音）の範囲にわたる。したがって、基準音高ＰREFを中心とした４半音程度の範囲内では音高尤度ＬP(n)が過度に小さい数値とならないように、確率分布αの分散は、基準音高ＰREFに対して１半音程度の周波数幅（ＰREF×２1/12）に設定される。なお、図１９ではセントを単位とした周波数を横軸に図示したが、周波数の単位をヘルツ（Ｈz）とした場合の確率分布αは、基準音高ＰREFを挟んだ高域側と低域側とで形状（分散）が相違する。
【００７１】
図１８の第１処理部７１は、図９の処理Ｓ44で候補周波数Ｆc(n)毎に算定する確率πA(ν)に、音高評価部８２が算定した音高尤度ＬP(n)を反映させる。具体的には、第１処理部７１は、図９の処理Ｓ42で算定した確率ＰA1(n)および確率ＰA2(n)と、処理Ｓ43で算定した確率ＰA3(n)_νと、音高評価部８２が算定した音高尤度ＬP(n)との各々の対数値の加算値を確率πA(ν)として算定する。
【００７２】
したがって、候補周波数Ｆc(n)の音高尤度ＬP(n)が高いほど、処理Ｓ46で算定される確率ΠA(n)は大きい数値となる。すなわち、音高尤度ＬP(n)が高い候補周波数Ｆc(n)（すなわち、楽曲の歌唱音に該当する可能性が高い候補周波数Ｆc(n)）ほど、推定経路ＲAの経路上の周波数として選択される可能性が高い。以上に説明したように、第２実施形態の第１処理部７１は、各候補周波数Ｆc(n)の音高尤度ＬP(n)を利用した経路探索で推定経路ＲAを特定する手段として機能する。
【００７３】
また、第２処理部７２は、図１３の処理Ｓ54Aで発音状態Ｓvについて算定される確率πBvvおよび確率πBuvに、音高評価部８２が算定した音高尤度ＬP(n)を反映させる。具体的には、第２処理部７２は、処理Ｓ52で算定した確率ＰB1_vと、処理Ｓ53で算定した確率ＰB2_vvと、推定経路ＲAのうち選択単位区間Ｔuに対応する候補周波数Ｆc(n)の音高尤度ＬP(n)との各々の対数値の加算値を確率πBvvとして算定する。同様に、確率ＰB1_vと確率ＰB2_uvと音高尤度ＬP(n)とに応じて確率πBuvが算定される。
【００７４】
したがって、候補周波数Ｆc(n)の音高尤度ＬP(n)が高いほど、処理Ｓ54Cで確率πBvvまたはπBuvに応じて算定される確率ΠBは大きい数値となる。すなわち、音高尤度ＬP(n)が高い候補周波数Ｆc(n)の発音状態Ｓvほど状態系列ＲBとして選択される可能性が高い。他方、楽曲のうち基準音高ＰREFの音響成分が存在しない単位区間Ｔu内の候補周波数Ｆc(n)については音高尤度ＬP(n)が下限値に設定されるから、基準音高ＰREFの音響成分が存在しない各単位区間Ｔu（すなわち非発音状態Ｓuが選択されるべき単位区間Ｔu）について発音状態Ｓvが誤選択される可能性を充分に低減することが可能である。以上に説明したように、第２実施形態の第２処理部７２は、推定経路ＲA上の候補周波数Ｆc(n)の音高尤度ＬP(n)を利用した経路探索で状態系列ＲBを特定する手段として機能する。
【００７５】
第２実施形態でも第１実施形態と同様の効果が実現される。また、第２実施形態では、各候補周波数Ｆc(n)と楽曲情報ＤMで指定される基準音高ＰREFとの差異に応じた音高尤度ＬP(n)が推定経路ＲAおよび状態系列ＲBの経路探索に適用されるから、音高尤度ＬP(n)を利用しない第１実施形態と比較して、目標成分の基本周波数Ｆtarの推定精度を向上させることが可能である。もっとも、第１処理部７１による推定経路ＲAの探索と第２処理部７２による状態系列ＲBの探索との一方のみに音高尤度ＬP(n)を反映させる構成も採用され得る。
【００７６】
なお、音高尤度ＬP(n)は、目標成分（歌唱音）らしさを示す指標という観点からすると特性指標値Ｖ(n)と性質が類似するから、特性指標値Ｖ(n)の代わりに音高尤度ＬP(n)を適用する（図１８の構成から指標算定部６４を省略する）ことも可能である。すなわち、図９の処理Ｓ42で特性指標値Ｖ(n)に応じて算定される確率ＰA2(n)が音高尤度ＬP(n)に置換され、図１３の処理Ｓ52で特性指標値Ｖ(n)に応じて算定される確率ＰB1_vが音高尤度ＬP(n)に置換される。
【００７７】
また、記憶装置２４内の楽曲情報ＤMが楽曲の複数のパートの各々について基準音高ＰREFの時系列の指定（トラック）を含む構成では、各候補周波数Ｆc(n)の音高尤度ＬP(n)の算定と推定経路ＲAおよび状態系列ＲBの探索とを、楽曲のパート毎に実行することが可能である。具体的には、音高評価部８２は、楽曲の複数のパートの各々について、そのパートの基準音高ＰREFと各候補周波数Ｆc(n)との差異に応じた音高尤度ＬP(n)（ＬP(1)〜ＬP(N)）を単位区間Ｔu毎に算定する。そして、複数のパートの各々について、そのパートの各音高尤度ＬP(n)を適用した推定経路ＲAおよび状態系列ＲBの経路探索が第２実施形態と同様に実行される。以上の構成によれば、楽曲の複数のパートの各々について基本周波数Ｆtarの時系列（周波数情報ＤF）を生成することが可能である。
【００７８】
＜Ｃ：第３実施形態＞
図２０は、第３実施形態における基本周波数解析部３３のブロック図である。第３実施形態の基本周波数解析部３３は、第１実施形態と同様の要素（周波数検出部６２，指標算定部６４，遷移解析部６６，情報生成部６８）に補正部８４を追加した構成である。補正部８４は、情報生成部６８が生成する周波数情報ＤF（基本周波数Ｆtar）を補正することで周波数情報ＤF_c（ｃ：corrected）を生成する。周波数情報ＤF_cは、各基本周波数Ｆtarを補正した基本周波数Ｆtar_cの時系列を示す。なお、第２実施形態と同様に、記憶装置２４には、音響信号ｘと共通の楽曲の基準音高ＰREFを時系列に指定する楽曲情報ＤMが格納される。
【００７９】
図２１の部分(A)は、第１実施形態と同様の方法で生成された周波数情報ＤFが示す基本周波数Ｆtarの時系列と、楽曲情報ＤMが指定する基準音高ＰREFの時系列とを併記したグラフである。符号Ｅaで示すように基準音高ＰREFの１.５倍程度の周波数が基本周波数Ｆtarとして誤検出される場合（以下ではこの誤検出を「五度エラー」という）と、符号Ｅbで示すように基準音高ＰREFの２倍の周波数が基本周波数Ｆtarとして誤検出される場合（以下ではこの誤検出を「オクターブエラー」という）とが図２１の部分(A)から把握される。五度エラーおよびオクターブエラーの原因としては、例えば音響信号ｘの各音響成分の倍音成分が相互に重複することや、１オクターブだけ離れた音響成分または５度の関係にある音響成分が楽曲内で音楽的に発生し易いことが想定される。
【００８０】
図２０の補正部８４は、周波数情報ＤFが示す基本周波数Ｆtarの時系列に発生する以上のような誤差（特に五度エラーやオクターブエラー）を補正することで周波数情報ＤF_c（補正後の基本周波数Ｆtar_cの時系列）を生成する。具体的には、補正部８４は、以下の数式(10)に示すように、基本周波数Ｆtarと補正値βとの乗算で補正後の基本周波数Ｆtar_cを単位区間Ｔu毎（基本周波数Ｆtar毎）に算定する。
Ｆtar_c＝β×Ｆtar ……(10)
【００８１】
ただし、歌唱音のビブラート等の音楽的な表現により基本周波数Ｆtarと基準音高ＰREFとの相違が発生した場合にまで基本周波数Ｆtarを補正することは妥当ではない。そこで、基本周波数Ｆtarが、楽曲のうち基本周波数Ｆtarに対応する時点の基準音高ＰREFに対して所定の範囲内にある場合、補正部８４は、周波数情報ＤFが指定する基本周波数Ｆtarを補正せずに基本周波数Ｆtar_cとして確定する。例えば、基本周波数Ｆtarが基準音高ＰREFに対して高域側の３半音程度の範囲内（すなわちビブラート等の音楽的な表現として想定される基本周波数Ｆtarの変動の範囲内）にある場合、補正部８４は数式(10)の補正を停止する。
【００８２】
数式(10)の補正値βは、基本周波数Ｆtarに応じて可変に設定される。図２２は、基本周波数Ｆtar（横軸）と補正値β（縦軸）との関係を定義する関数Λのグラフである。図２２では、正規分布を示す関数Λを例示した。基本周波数Ｆtarに対応する時点の基準音高ＰREFの１.５倍の周波数（Ｆtar＝１.５ＰREF）について補正値βが１/１.５（≒０.６７）となり、かつ、基準音高ＰREFの２倍の周波数（Ｆtar＝２ＰREF）について補正値βが１/２（＝０.５）となるように、補正部８４は、楽曲情報ＤMが指定する基準音高ＰREFに応じて関数Λ（例えば正規分布の平均や分散）を選定する。
【００８３】
図２０の補正部８４は、基準音高ＰREFに応じた関数Λにおいて基本周波数Ｆtarに対応する補正値βを特定して数式(10)の演算に適用する。すなわち、例えば基本周波数Ｆtarが基準音高ＰREFの１.５倍である場合には、数式(10)の補正値βが１/１.５に設定され、基本周波数Ｆtarが基準音高ＰREFの２倍である場合には、数式(10)の補正値βが1/2に設定される。したがって、図２１の部分(B)に示すように、五度エラーにより基準音高ＰREFの１.５倍程度と誤検出された基本周波数Ｆtarやオクターブエラーにより基準音高ＰREFの２倍程度と誤検出された基本周波数Ｆtarは、基準音高ＰREFに近い基本周波数Ｆtar_cに補正される。
【００８４】
第３実施形態においても第１実施形態と同様の効果が実現される。また、第３実施形態では、遷移解析部６６が解析した基本周波数Ｆtarの時系列が楽曲情報ＤMの各基準音高ＰREFに応じて補正されるから、第１実施形態と比較して目標成分の基本周波数Ｆtar_cを正確に検出することが可能である。前述の例示では特に、補正前の基本周波数Ｆtarが基準音高ＰREFの１.５倍である場合の補正値βが１/１.５に設定され、基本周波数Ｆtarが基準音高ＰREFの２倍である場合の補正値βが１/２に設定されるから、基本周波数Ｆtarの推定時に特に発生し易い五度エラーやオクターブエラーを有効に補償できるという利点がある。
【００８５】
なお、第１実施形態を基礎とした構成を以上の説明では例示したが、補正部８４を具備する第３実施形態の構成は第２実施形態にも同様に適用され得る。また、以上の例示では正規分布を示す関数Λを利用して補正値βを決定したが、補正値βを決定する方法は適宜に変更される。例えば、基準音高ＰREFの１.５倍の周波数を含む所定の範囲（例えば基準音高ＰREFを中心として１半音程度の帯域幅の範囲）内に基本周波数Ｆtarがある場合（五度エラーの発生が推定される場合）には補正値βを１/１.５に設定し、基準音高ＰREFの２倍の周波数を含む所定の範囲内に基本周波数Ｆtarがある場合（オクターブエラーの発生が推定される場合）には補正値βを１/２に設定することも可能である。すなわち、補正値βが基本周波数Ｆtarに対して連続的に変化する構成は必須ではない。
【００８６】
＜Ｄ：第４実施形態＞
第２実施形態および第３実施形態では、音響信号ｘの目標成分の音高の時系列と楽曲情報ＤMが指定する基準音高ＰREFの時系列（以下「基準音高系列」という）との間で時間的な対応を仮定したが、実際には両者が完全には対応しない場合もある。そこで、第４実施形態では、音響信号ｘに対する基準音高系列の相対的な位置（時間軸上の時刻）を調整する。
【００８７】
図２３は、第４実施形態における基本周波数解析部３３のブロック図である。図２３に示すように、第４実施形態の基本周波数解析部３３は、第２実施形態と同様の要素（周波数検出部６２，指標算定部６４，遷移解析部６６，情報生成部６８，音高評価部８２）に時間調整部８６を追加した構成である。
【００８８】
時間調整部８６は、音響信号ｘの目標成分の音高の時系列と記憶装置２４内の楽曲情報ＤMが指定する基準音高系列とが相互に時間軸上で対応するように音響信号ｘ（各単位区間Ｔu）と基準音高系列との相対的な位置（時間差）を決定する。音響信号ｘと基準音高系列との間で時間軸上の位置を調整する方法は任意であるが、情報生成部６８が第１実施形態または第２実施形態と同様の方法で特定した基本周波数Ｆtarの時系列（以下「解析音高系列」という）と楽曲情報ＤMが指定する基準音高系列とを対比する方法を以下では例示する。解析音高系列は、時間調整部８６による処理の結果（すなわち基準音高系列との時間的な対応）を加味せずに特定された基本周波数Ｆtarの時系列である。
【００８９】
時間調整部８６は、音響信号ｘの全体にわたる解析音高系列と楽曲の全体にわたる基準音高系列との間で両者の時間差Δを変数とする相互相関関数Ｃ(Δ)を算定し、相互相関関数Ｃ(Δ)の関数値（相互相関）が最大となる時間差ΔAを特定する。例えば、相互相関関数Ｃ(Δ)の関数値が増加から減少に変化する地点の時間差Δが時間差ΔAとして特定される。相互相関関数Ｃ(Δ)を平滑化してから時間差ΔAを特定する構成も好適である。そして、時間調整部８６は、解析音高系列および基準音高系列の一方を他方に対して時間差ΔAだけ遅延（または先行）させる。以上のように解析音高系列と基準音高系列とに時間差ΔAを付与した状態で、解析音高系列の単位区間Ｔu毎に、基準音高系列のうちその単位区間Ｔuと同時刻に位置する基準音高ＰREFが特定される。
【００９０】
音高評価部８２は、時間調整部８６による解析の結果を利用して音高尤度ＬP(n)を単位区間Ｔu毎に算定する。具体的には、周波数検出部６２が各単位区間Ｔuについて検出した候補周波数Ｆc(n)と、時間調整部８６による調整後（時間差ΔAの付与後）の基準音高系列においてその単位区間Ｔuと同時刻に位置する基準音高ＰREFとの差異に応じて、音高評価部８２は音高尤度ＬP(n)を算定する。遷移解析部６６（第１処理部７１および第２処理部７２）は、第２実施形態と同様に、音高評価部８２が算定した音高尤度ＬP(n)を利用した経路探索を実行する。以上の説明から理解されるように、遷移解析部６６は、時間調整部８６が基準音高系列と対比する解析音高系列を特定するための経路探索（すなわち、時間調整部８６による解析の結果を加味しない経路探索）と、時間調整部８６による解析の結果を加味した経路探索とを順次に実行する。
【００９１】
第４実施形態では、時間調整部８６が時間軸上の位置を調整した音響信号ｘと基準音高系列との間で音高尤度ＬP(n)が算定されるから、音響信号ｘと基準音高系列との時間軸上の位置が相互に対応しない場合でも、基本周波数Ｆtarの時系列を高精度に特定できるという利点がある。
【００９２】
なお、以上の説明では、音高評価部８２による音高尤度ＬP(n)の算定に時間調整部８６による解析の結果を適用したが、時間調整部８６を第３実施形態に追加し、補正部８４による基本周波数Ｆtarの補正に時間調整部８６での解析の結果を利用することも可能である。すなわち、補正部８４は、各単位区間Ｔuの基本周波数Ｆtarが、時間調整部８６による調整後の基準音高系列においてその単位区間Ｔuと同時刻に位置する基準音高ＰREFの１.５倍である場合に補正値βが１/１.５となり、基本周波数Ｆtarが基準音高ＰREFの２倍である場合に補正値βが１/２となるように関数Λを選定する。
【００９３】
なお、以上の説明では、楽曲の全体について解析音高系列と基準音高系列とを対比したが、楽曲の所定の区間（例えば先頭から１４秒ないし１５秒程度の区間）のみについて解析音高系列と基準音高系列とを対比して時間差ΔAを特定することも可能である。また、解析音高系列および基準音高系列の各々を先頭から所定の時間毎に区分し、解析音高系列と基準音高系列との間で相互に対応する区間同士を対比することで、区間毎に時間差ΔAを算定する構成も好適である。以上のように楽曲の区間毎に時間差ΔAを算定する構成によれば、解析音高系列と基準音高系列とでテンポが相違する場合でも、各単位区間Ｔuに対応する基準音高ＰREFを高精度に特定できるという利点がある。
【００９４】
＜Ｅ：変形例＞
以上の形態には様々な変形が加えられる。具体的な変形の態様を以下に例示する。以下の例示から任意に選択された２以上の態様は併合され得る。
【００９５】
（１）変形例１
指標算定部６４は省略され得る。指標算定部６４を省略した構成では、第１処理部７１による推定系列ＲAの特定や第２処理部７２による状態系列ＲBの特定に特性指標値Ｖ(n)が適用されない。例えば、図９の処理Ｓ42での確率ＰA2(n)の算定が省略され、尤度Ｌs(Ｆc(n))に応じた確率ＰA1(n)と前後の単位区間Ｔuでの周波数差εに応じた確率ＰA3(n)_νとに応じて推定系列ＲAが特定される。また、図１３の処理Ｓ52での確率ＰB1_vの算定が省略され、処理Ｓ53で算定される確率（ＰB2_vv，ＰB2_uv，ＰB2_uu，ＰB2_vu）に応じて状態系列ＲBが特定される。また、特性指標値Ｖ(n)を算定する手段はＳＶＭに限定されない。例えば、k-meansアルゴリズム等の公知の技術による学習の結果を利用した構成でも、特性指標値Ｖ(n)の算定が実現される。
【００９６】
（２）変形例２
周波数検出部６２がＮ個の候補周波数Ｆc(1)〜Ｆc(N)を検出する方法は任意である。例えば、特許文献１に開示された方法で基本周波数の確率密度関数を推定し、確率密度関数の顕著なピークが存在するＮ個の基本周波数を候補周波数Ｆc(1)〜Ｆc(N)として特定する構成も採用され得る。
【００９７】
（３）変形例３
音響処理装置１００が生成した周波数情報ＤFを利用する方法は任意である。例えば、第２実施形態から第４実施形態では、周波数情報ＤFが示す基本周波数Ｆtarの時系列のグラフと楽曲情報ＤMが示す基準音高ＰREFの時系列のグラフとを表示装置に同時に表示することで両者の対応を容易に確認することが可能である。また、例えば歌唱表現（歌い回し）が相違する複数の音響信号ｘの各々について基本周波数Ｆtarの時系列を模範データ（教師情報）として生成および保持し、利用者の歌唱音を示す音響信号ｘから生成される基本周波数Ｆtarの時系列を各模範データと比較することで利用者の歌唱を採点することも可能である。また、相異なる歌手の複数の音響信号ｘの各々について基本周波数Ｆtarの時系列を模範データ（教師情報）として生成および保持し、利用者の歌唱音を示す音響信号ｘから生成される基本周波数Ｆtarの時系列を各模範データと比較することで、歌唱音が利用者に類似する歌手を特定することも可能である。
【符号の説明】
【００９８】
１００……音響処理装置、２００……信号供給装置、２２……演算処理装置、２４……記憶装置、３１……周波数分析部、３３……基本周波数解析部、６２……周波数検出部、６４……指標算定部、６６……遷移解析部、６８……情報生成部、７１……第１処理部、７２……第２処理部。
【技術分野】
【０００１】
本発明は、音響信号のうち特定の音響成分（以下では「目標成分」という）の基本周波数の時系列を推定する技術に関する。
【背景技術】
【０００２】
複数の音響成分（例えば歌唱音と伴奏音）が混在する音響信号のうち特定の目標成分の基本周波数（ピッチ）を推定する技術が従来から提案されている。例えば特許文献１には、相異なる基本周波数の調波構造を示す複数の音モデルの混合分布として音響信号を近似したときの各音モデルの重み値から基本周波数の確率密度関数を順次に推定し、確率密度関数に存在する複数のピークのうち顕著なピークに対応する基本周波数の軌跡を特定する技術が開示されている。確率密度関数に存在する複数のピークの解析には、複数のエージェントに各ピークを追跡させるマルチエージェントモデルが採用される。
【先行技術文献】
【特許文献】
【０００３】
【特許文献１】特開２００１−１２５５６２号公報
【発明の概要】
【発明が解決しようとする課題】
【０００４】
しかし、特許文献１の技術では、基本周波数の時間的な連続性を前提として確率密度関数のピークが追跡されるから、目標成分の発音が頻繁に途切れる場合（目標成分の基本周波数の存否が時間的に切替わる場合）には基本周波数の時系列を正確に特定できないという問題がある。以上の事情を考慮して、本発明は、目標成分の発音が途切れる場合にも目標成分の基本周波数を正確に特定することを目的とする。
【課題を解決するための手段】
【０００５】
以上の課題を解決するために本発明が採用する手段を説明する。なお、本発明の理解を容易にするために、以下の説明では、本発明の要素と後述の実施形態の要素との対応を括弧書で付記するが、本発明の範囲を実施形態の例示に限定する趣旨ではない。
【０００６】
本発明の音響処理装置は、音響信号の単位区間毎に複数の基本周波数（例えばＮ個の候補周波数Ｆc(1)〜Ｆc(N)）を特定する周波数検出手段（例えば周波数検出部６２）と、各単位区間の複数の基本周波数から選択した基本周波数を複数の単位区間にわたり配列した系列であって音響信号のうち目標成分の基本周波数の時系列に該当する可能性が高い推定系列（例えば推定系列ＲA）を、動的計画法による経路探索で特定する第１処理手段（例えば第１処理部７１）と、各単位区間における目標成分の発音状態および非発音状態の何れかの状態を複数の単位区間にわたり配列した状態系列（例えば状態系列ＲB）を、動的計画法による経路探索で特定する第２処理手段（例えば第２処理部７２）と、状態系列の発音状態に対応する単位区間について推定系列のうち当該単位区間に対応する基本周波数を示し、状態系列の非発音状態に対応する単位区間について非発音を示す周波数情報（例えば周波数情報ＤF）を、単位区間毎に生成する情報生成手段（例えば情報生成部６８）とを具備する。以上の構成においては、周波数検出手段が単位区間毎に検出する複数の基本周波数のうち目標成分に該当する可能性が高い基本周波数を単位区間毎に選択した推定系列と、単位区間毎の目標成分の有無を推定した状態系列とを利用して周波数情報が生成される。したがって、目標成分の発音が途切れる場合でも目標成分の基本周波数の時系列を適切に検出することが可能である。
【０００７】
本発明の好適な態様において、周波数検出手段は、各周波数が音響信号の基本周波数に該当する尤度（例えば尤度Ｌs(δF)）を算定するとともに尤度が高い複数の周波数を基本周波数として選択し、第１処理手段は、尤度に応じた確率（例えば確率ＰA1(n)）を複数の基本周波数の各々について単位区間毎に算定し、当該確率を利用した経路探索で推定系列を特定する。以上の態様においては、周波数検出手段が算定する尤度に応じた確率が推定系列の特定に利用されるから、音響信号のうち高強度の目標成分について基本周波数の時系列を高精度に特定できるという利点がある。
【０００８】
本発明の好適な態様に係る音響処理装置は、音響信号のうち周波数検出手段が検出した各基本周波数に対応する調波成分の音響特性と目標成分に対応する音響特性との類否を示す特性指標値（例えば特性指標値Ｖ(n)）を複数の基本周波数の各々について単位区間毎に算定する指標算定手段（例えば指標算定部６４）を具備し、第１処理手段は、複数の基本周波数の各々について特性指標値に応じて単位区間毎に算定される確率（例えば確率ＰA2(n)）を利用した経路探索で推定系列を特定する。以上の態様においては、各基本周波数に対応する調波成分の音響特性と目標成分に対応する音響特性との類否を示す特性指標値に応じた確率が推定系列の特定に利用されるから、所期の音響特性の目標成分の基本周波数の時系列を高精度に特定できるという利点がある。更に好適な態様において、第２処理手段は、推定系列上の基本周波数に対応する特性指標値に応じて単位区間毎に算定される発音状態の確率（例えば確率ＰB1_v）と、非発音状態の確率（例えば確率ＰB1_u）とを利用した経路探索で状態系列を特定する。以上の態様においては、特性指標値に応じた確率が状態系列の特定に利用されるから、目標成分の有無を高精度に特定することが可能である。
【０００９】
本発明の好適な態様において、第１処理手段は、周波数検出手段が複数の単位区間の各々について特定した各基本周波数と当該単位区間の直前の単位区間の各基本周波数との差異（例えば周波数差ε）に応じて各基本周波数の組合せ毎に算定される確率（例えば確率ＰA3(n)_ν）を利用した経路探索で推定系列を特定する。以上の態様では、相前後する各単位区間での基本周波数の周波数差に応じた確率が推定系列の探索に適用されるから、基本周波数が短時間に過度に変化するような推定系列の誤検出が防止される。別の態様において、第２処理手段は、推定系列における各単位区間の基本周波数と推定系列のうち当該単位区間の直前の単位区間の基本周波数との差異に応じて発音状態間の遷移について算定される確率（例えば確率ＰB2_vv）と、相前後する各単位区間における発音状態および非発音状態の一方から非発音状態への遷移に関する確率（例えば確率ＰB2_uv，ＰB2_uu，ＰB2_vu）とを利用した経路探索で状態系列を特定する。以上の態様においては、相前後する各単位区間での基本周波数の周波数差に応じた確率が状態系列の探索に適用されるから、基本周波数が短時間に過度に変化するような発音状態間の遷移を示す状態系列の誤検出が防止される。
【００１０】
本発明の好適な態様に係る音響処理装置は、基準音高の時系列を記憶する記憶手段（例えば記憶装置２４）と、複数の単位区間の各々について、周波数検出手段が当該単位区間について特定した複数の基本周波数の各々と、当該単位区間に対応する基準音高との差異に応じた音高尤度（例えば音高尤度ＬP(n)）を算定する音高評価手段（例えば音高評価部８２）とを具備し、第１処理手段は、複数の基本周波数の各々について音高尤度を利用した経路探索で推定系列を特定し、第２処理手段は、推定系列上の基本周波数に対応する音高尤度に応じて単位区間毎に算定される発音状態の確率と、非発音状態の確率とを利用した経路探索で状態系列を特定する。以上の態様では、周波数検出手段が検出した基本周波数と基準音高との差異に応じた音高尤度が第１処理手段および第２処理手段による経路探索に適用されるから、目標成分の基本周波数を高精度に特定できるという利点がある。なお、以上の態様の具体例は第２実施形態として後述される。
【００１１】
本発明の好適な態様に係る音響処理装置は、基準音高の時系列を記憶する記憶手段（例えば記憶装置２４）と、周波数情報が示す基本周波数が、当該周波数情報に対応する時点の基準音高の１．５倍の周波数を含む所定の範囲内にある場合に基本周波数を１/１．５倍に補正し、基準音高の２倍の周波数を含む所定の範囲内にある場合に基本周波数を１/２倍に補正する補正手段（例えば補正部８４）とを具備する。以上の態様では、周波数情報が示す基本周波数が基準音高に応じて補正される（五度エラーやオクターブエラーが補償される）から、目標成分の基本周波数を正確に特定することが可能である。なお、以上の態様の具体例は、例えば第３実施形態として後述される。
【００１２】
以上の各態様に係る音響処理装置は、処理係数列の生成に専用されるＤＳＰ（Digital Signal Processor）などのハードウェア（電子回路）によって実現されるほか、ＣＰＵ（Central Processing Unit）等の汎用の演算処理装置とプログラムとの協働によっても実現される。本発明に係るプログラムは、音響信号の単位区間毎に複数の基本周波数を特定する周波数検出処理と、各単位区間の複数の基本周波数から選択した基本周波数を複数の単位区間にわたり配列した系列であって音響信号のうち目標成分の基本周波数の時系列に該当する可能性が高い推定系列を、動的計画法による経路探索で特定する第１処理と、各単位区間における目標成分の発音状態および非発音状態の何れかの状態を複数の単位区間にわたり配列した状態系列を、動的計画法による経路探索で特定する第２処理と、状態系列の発音状態に対応する単位区間について推定系列のうち当該単位区間に対応する基本周波数を示し、状態系列の非発音状態に対応する単位区間について非発音を示す周波数情報を、単位区間毎に生成する情報生成処理とをコンピュータに実行させる。以上のプログラムによれば、本発明に係る音響処理装置と同様の作用および効果が奏される。本発明のプログラムは、コンピュータが読取可能な記録媒体に格納された形態で利用者に提供されてコンピュータにインストールされるほか、通信網を介した配信の形態でサーバ装置から提供されてコンピュータにインストールされる。
【図面の簡単な説明】
【００１３】
【図１】本発明の第１実施形態に係る音響処理装置のブロック図である。
【図２】基本周波数解析部のブロック図である。
【図３】周波数検出部の動作のフローチャートである。
【図４】帯域成分を生成する窓関数の模式図である。
【図５】周波数検出部の動作の説明図である。
【図６】周波数検出部が基本周波数を検出する動作の説明図である。
【図７】指標算定部の動作のフローチャートである。
【図８】指標算定部が特徴量（ＭＦＣＣ）を抽出する動作の説明図である。
【図９】第１処理部の動作のフローチャートである。
【図１０】第１処理部が単位区間毎に候補周波数を選択する処理の説明図である。
【図１１】第１処理部の処理に適用される確率の説明図である。
【図１２】第１処理部の処理に適用される確率の説明図である。
【図１３】第２処理部の動作のフローチャートである。
【図１４】第２処理部が単位区間毎に目標成分の有無を判定する処理の説明図である。
【図１５】第２処理部の処理に適用される確率の説明図である。
【図１６】第２処理部の処理に適用される確率の説明図である。
【図１７】第２処理部の処理に適用される確率の説明図である。
【図１８】本発明の第２実施形態における基本周波数解析部のブロック図である。
【図１９】第２実施形態の音高評価部が音高尤度を選定する処理の説明図である。
【図２０】第３実施形態における基本周波数解析部のブロック図である。
【図２１】補正部による補正の前後の基本周波数と基準音高との関係を示すグラフである。
【図２２】基本周波数と補正値との関係を示すグラフである。
【図２３】第４実施形態における基本周波数解析部のブロック図である。
【発明を実施するための形態】
【００１４】
＜Ａ：第１実施形態＞
図１は、本発明の第１実施形態の音響処理装置１００のブロック図である。図１に示すように、音響処理装置１００には信号供給装置２００が接続される。信号供給装置２００は、相異なる音源が発音した複数の音響成分（歌唱音や伴奏音）の混合音の時間波形を表現する音響信号ｘを音響処理装置１００に供給する。周囲の音響を収音して音響信号ｘを生成する収音機器や、可搬型または内蔵型の記録媒体（例えばＣＤ）から音響信号ｘを取得して音響処理装置１００に供給する再生装置や、通信網から音響信号ｘを受信して音響処理装置１００に供給する通信装置が信号供給装置２００として採用され得る。
【００１５】
音響処理装置１００は、信号供給装置２００が供給する音響信号ｘのうち特定の音響成分（目標成分）の基本周波数を示す周波数情報ＤFを音響信号ｘの単位区間（フレーム）Ｔu毎に順次に生成する。以下の説明では、音響信号ｘに含まれる歌唱音を目標成分とした場合を想定する。
【００１６】
図１に示すように、音響処理装置１００は、演算処理装置２２と記憶装置２４とを具備するコンピュータシステムで実現される。記憶装置２４は、演算処理装置２２が実行するプログラムや演算処理装置２２が使用する各種の情報を記憶する。半導体記録媒体や磁気記録媒体等の公知の記録媒体が記憶装置２４として任意に採用される。なお、音響信号ｘを記憶装置２４に格納した構成（したがって信号供給装置２００は省略される）も採用され得る。
【００１７】
演算処理装置２２は、記憶装置２４に格納されたプログラムを実行することで、周波数情報ＤFを生成するための複数の機能（周波数分析部３１および基本周波数解析部３３）を実現する。なお、演算処理装置２２の各機能を複数の集積回路に分散した構成や、専用の電子回路（ＤＳＰ）が各機能を実現する構成も採用され得る。
【００１８】
周波数分析部３１は、音響信号ｘを時間軸上で区分した単位区間Ｔu毎に周波数スペクトルＸを生成する。周波数スペクトルＸは、相異なる周波数（周波数帯域）ｆに対応する複数の周波数成分Ｘ(f,t)で表現される複素スペクトルである。記号ｔは時間（例えば単位区間Ｔuの番号）を意味する。周波数スペクトルＸの生成には、例えば短時間フーリエ変換等の公知の周波数分析が任意に採用され得る。
【００１９】
基本周波数解析部３３は、周波数分析部３１が生成した周波数スペクトルＸを解析することで目標成分の基本周波数Ｆtar（tar：target）の時系列を特定して単位区間Ｔu毎に周波数情報ＤFを生成する。具体的には、音響信号ｘの複数の単位区間Ｔuのうち目標成分が存在する各単位区間Ｔuについては目標成分の基本周波数Ｆtarを指定する周波数情報ＤFが生成され、複数の単位区間Ｔuのうち目標成分が存在しない各単位区間Ｔuについては目標成分の非発音を意味する周波数情報ＤFが生成される。
【００２０】
図２は、基本周波数解析部３３のブロック図である。図２に示すように、基本周波数解析部３３は、周波数検出部６２と指標算定部６４と遷移解析部６６と情報生成部６８とを含んで構成される。目標成分の基本周波数Ｆtarの候補となるＮ個の周波数（以下「候補周波数」という）Ｆc(1)〜Ｆc(N)を周波数検出部６２が単位区間Ｔu毎に特定し、目標成分が存在する単位区間ＴuについてＮ個の候補周波数Ｆc(1)〜Ｆc(N)の何れかを遷移解析部６６が目標成分の基本周波数Ｆtarとして選定する。指標算定部６４は、遷移解析部６６での解析処理に適用されるＮ個の特性指標値Ｖ(1)〜Ｖ(N)を単位区間Ｔu毎に算定する。情報生成部６８は、遷移解析部６６による解析処理の結果に応じた周波数情報ＤFを生成および出力する。基本周波数解析部３３の各要素の機能を以下に説明する。
【００２１】
＜周波数検出部６２＞
周波数検出部６２は、音響信号ｘの各音響成分に対応するＮ個の候補周波数Ｆc(1)〜Ｆc(N)を検出する。候補周波数Ｆc(n)（ｎ＝１〜Ｎ）の検出には公知の技術が任意に採用され得るが、図３を参照して以下に例示する方法が格別に好適である。図３の処理は単位区間Ｔu毎に順次に実行される。なお、以下に例示する方法の詳細は、A. P. Klapuri, "Multiple fundamental frequency estimation based on harmonicity and spectral smoothness", IEEE Trans. Speech and Audio Proc., 11(6), 804-816, 2003に開示されている。
【００２２】
図３の処理を開始すると、周波数検出部６２は、周波数分析部３１が生成した周波数スペクトルＸのピークを強調した周波数スペクトルＺpを生成する（Ｓ22）。具体的には、周波数検出部６２は、以下の数式(1A)から数式(1C)の演算で周波数スペクトルＺpの各周波数ｆの周波数成分Ｚp(f,t)を算定する。
【数１】
【００２３】
数式(1C)の定数ｋ0および定数ｋ1は所定値（例えばｋ0＝50Hz，ｋ1＝６kHz）に設定される。数式(1B)は、周波数スペクトルＸのピークを強調する演算である。数式(1A)の記号Ｘaは、周波数スペクトルＸの周波数成分Ｘ(f,t)の周波数軸上の移動平均である。したがって、数式(1A)から理解されるように、周波数スペクトルＸのピークに対応する周波数成分Ｚp(f,t)が極大値となり、相隣接するピークの間の周波数成分Ｚp(f,t)が０となる周波数スペクトルＺpが生成される。
【００２４】
周波数検出部６２は、周波数スペクトルＺpをＪ個の帯域成分Ｚp_1(f,t)〜Ｚp_J(f,t)に分割する（Ｓ23）。第ｊ番目（ｊ＝１〜Ｊ）の帯域成分Ｚp_j(f,t)は、以下の数式(2)で表現されるように、処理Ｓ22で生成した周波数スペクトルＺp（周波数成分Ｚp(f,t）)に窓関数Ｗj(f)を乗算した成分である。
【数２】
数式(2)の記号Ｗj(f)は、周波数軸上に設定された窓関数を意味する。窓関数Ｗ1(f)〜ＷJ(f)は、人間の聴覚特性（メル尺度）を考慮して、図４に示すように高域側ほど分解能が低下するように設定される。図５には、処理Ｓ23で生成される第ｊ番目の帯域成分Ｚp_j(f,t)が図示されている。
【００２５】
周波数検出部６２は、処理Ｓ23で算定したＪ個の帯域成分Ｚp_1(f,t)〜Ｚp_J(f,t)の各々について、以下の数式(3)で表現される関数値Ｌj(δF)を算定する（Ｓ24）。
【数３】
【００２６】
図５に示すように、帯域成分Ｚp_j(f,t)は、周波数ＦLjから周波数ＦHjまでの周波数帯域Ｂj内に分布する。周波数帯域Ｂj内には、低域側の周波数ＦLjに対して周波数Ｆs（オフセット）だけ高域側の周波数（ＦLj＋Ｆs）を起点として周波数δFの間隔（周期）毎に対象周波数ｆpが設定される。周波数Ｆsおよび周波数δFは可変値である。記号Ｉ(Fs,δF)は、周波数帯域Ｂj内の対象周波数ｆpの総数を意味する。以上の説明から理解されるように、関数値ａ(Fs,δF)は、周波数帯域Ｂj内のＩ(Fs,δF)個の対象周波数ｆpの各々における帯域成分Ｚp_j(f,t)の合計値（Ｉ(Fs,δF)個の数値の総和）に相当する。変数ｃ(Fs,δF)は、関数値ａ(Fs,δF)を正規化する要素である。
【００２７】
数式(3)の記号max{A(Fs,δF)}は、相異なる周波数Ｆsについて算定される複数の関数値Ａ(Fs,δF）のうちの最大値を意味する。図６は、数式(3)で算定される関数値Ｌj(δF)と各対象周波数ｆpの周波数δFとの関係を示すグラフである。図６に示すように、関数値Ｌj(δF)には複数のピークが存在する。数式(3)から理解されるように、周波数δFの間隔で配列する各対象周波数ｆpが帯域成分Ｚp_j(f,t)の各ピークの周波数（すなわち調波周波数）に近似するほど関数値Ｌj(δF)は大きい数値となる。すなわち、関数値Ｌj(δF)がピークとなる周波数δFは、帯域成分Ｚp_j(f,t)の基本周波数に該当する可能性が高い。
【００２８】
周波数検出部６２は、処理Ｓ24で帯域成分Ｚp_j(f,t)毎に算定した関数値Ｌj(δF)をＪ個の帯域成分Ｚp_1(f,t)〜Ｚp_J(f,t)について加算または平均することで関数値Ｌs(δF)（Ｌs(δF)＝Ｌ1(δF)＋Ｌ2(δF)＋Ｌ3(δF)＋……＋ＬJ(δF)）を算定する（Ｓ25）。以上の説明から理解されるように、周波数δFが音響信号ｘの何れかの音響成分の基本周波数に近いほど、関数値Ｌs(δF）は大きい数値となる。すなわち、関数値Ｌs(δF)は、各周波数δFが音響成分の基本周波数に該当する尤度（確率）を意味し、関数値Ｌs(δF)の分布は、周波数δFを確率変数とする基本周波数の確率密度関数に相当する。
【００２９】
周波数検出部６２は、処理Ｓ25で算定した尤度Ｌs(δF)の複数のピークのうち各ピークでの尤度Ｌs(δF)の数値の降順でＮ個（すなわち尤度Ｌs(δF)が大きい方からＮ個）のピークを選択し、各ピークに対応するＮ個の周波数δFを候補周波数Ｆc(1)〜Ｆc(N)として特定する（Ｓ26）。尤度Ｌs(δF)が大きい周波数δFを目標成分（歌唱音）の基本周波数Ｆtarの候補となる候補周波数Ｆc(1)〜Ｆc(N)として選択するのは、音響信号ｘのなかで比較的に顕著な音響成分（音量が大きい音響成分）である目標成分は、目標成分以外の音響成分と比較して尤度Ｌs(δF)が大きい数値になり易いという傾向があるからである。以上に説明した図３の処理（Ｓ22〜Ｓ26）が単位区間Ｔu毎に順次に実行されることでＮ個の候補周波数Ｆc(1)〜Ｆc(N)が単位区間Ｔu毎に特定される。
【００３０】
＜指標算定部６４＞
図２の指標算定部６４は、周波数検出部６２が処理Ｓ26で特定したＮ個の候補周波数Ｆc(1)〜Ｆc(N)の各々について、音響信号ｘのうちその候補周波数Ｆc(n)（ｎ＝１〜Ｎ）に対応する調波成分の音響特性（典型的には音色）と目標成分に想定される音響特性との類否を示す特性指標値Ｖ(n)を単位区間Ｔu毎に算定する。すなわち、特性指標値Ｖ(n)は、候補周波数Ｆc(n)が目標成分に該当する可能性を音響特性の観点から評価した指標（歌唱音を目標成分とした本実施形態では音声らしさの尤度）に相当する。以下の説明では、音響特性を表現する特徴量としてＭＦＣＣ（Mel Frequency Cepstral Coeffcient）を例示する。ただし、ＭＦＣＣ以外の特徴量を利用することも可能である。
【００３１】
図７は、指標算定部６４の動作のフローチャートである。図７の処理が単位区間Ｔu毎に順次に実行されることで単位区間Ｔu毎にＮ個の特性指標値Ｖ(1)〜Ｖ(N)が算定される。図７の処理を開始すると、指標算定部６４は、Ｎ個の候補周波数Ｆc(1)〜Ｆc(N)から１個の候補周波数Ｆc(n)を選択する（Ｓ31）。そして、指標算定部６４は、音響信号ｘの複数の音響成分のうち処理Ｓ31で選択した候補周波数Ｆc(n)を基本周波数とする調波成分の特徴量（ＭＦＣＣ）を算定する（Ｓ32〜Ｓ35）。
【００３２】
まず、指標算定部６４は、図８に示すように、周波数分析部３１が生成した周波数スペクトルＸからパワースペクトル|Ｘ|2を生成し（Ｓ32）、パワースペクトル|Ｘ|2のうち処理Ｓ31で選択した候補周波数Ｆc(n)とその倍音周波数κＦc(n)（κ＝２，３，４，……）との各々に対応するパワー値を特定する（Ｓ33）。例えば、指標算定部６４は、候補周波数Ｆc(n)と各倍音周波数κＦc(n)とを中心周波数として周波数軸上に設定された各窓関数（例えば三角窓）をパワースペクトル|Ｘ|2に乗算し、窓関数毎の乗算値の最大値（図８の黒点）を候補周波数Ｆc(n)および各倍音周波数κＦc(n)に対応するパワー値として特定する。
【００３３】
指標算定部６４は、図８に示すように、候補周波数Ｆc(n)および各倍音周波数κＦc(n)について処理Ｓ33で算定したパワー値を補間することで包絡線ＥNV(n)を生成する（Ｓ34）。具体的には、パワー値を変換した対数値（ｄＢ値）の補間を実行してからパワー値に再変換することで包絡線ＥNV(n)が算定される。処理Ｓ34での補間には、例えばラグランジュ補間等の公知の補間技術が任意に採用され得る。以上の説明から理解されるように、包絡線ＥNV(n)は、音響信号ｘのうち候補周波数Ｆc(n)を基本周波数とする調波成分の周波数スペクトルの包絡線に相当する。指標算定部６４は、処理Ｓ34で生成した包絡線ＥNV(n)からＭＦＣＣ（特徴量）を算定する（Ｓ35）。ＭＦＣＣの算定の方法は任意である。
【００３４】
指標算定部６４は、処理Ｓ35で算定したＭＦＣＣから特性指標値Ｖ(n)（目標成分らしさの尤度）を算定する（Ｓ36）。特性指標値Ｖ(n)の算定の方法は任意であるが、ＳＶＭ（Support Vector Machine）が好適である。すなわち、指標算定部６４は、音声（歌唱音）と非音声（例えば楽器の演奏音）とが混在する学習サンプルを複数のクラスタに分類する分離平面（境界）を事前に学習し、各クラスタ内のサンプルが音声に該当する確率（例えば０以上かつ１以下の中間的な数値）をクラスタ毎に設定する。特性指標値Ｖ(n)を算定する段階では、指標算定部６４は、処理Ｓ35で算定したＭＦＣＣが所属すべきクラスタを分離平面の適用で決定し、そのクラスタに付与された確率を特性指標値Ｖ(n)として特定する。例えば候補周波数Ｆc(n)に対応する音響成分が目標成分（歌唱音）に該当する可能性が高いほど特性指標値Ｖ(n)は１に近い数値に設定され、目標成分に該当しない確率が高いほど特性指標値Ｖ(n)は０に近い数値に設定される。
【００３５】
指標算定部６４は、Ｎ個の候補周波数Ｆc(1)〜Ｆc(N)の全部について以上の処理（Ｓ31〜Ｓ36）を実行したか否かを判定する（Ｓ37）。処理Ｓ37の判定の結果が否定である場合、指標算定部６４は、未処理の候補周波数Ｆc(n)を新規に選択したうえで（Ｓ31）、前述の処理Ｓ32から処理Ｓ37の処理を実行する。そして、Ｎ個の候補周波数Ｆc(1)〜Ｆc(N)の全部を処理すると（Ｓ37：YES）、指標算定部６４は図７の処理を終了する。したがって、相異なる候補周波数Ｆc(n)に対応するＮ個の特性指標値Ｖ(1)〜Ｖ(N)が単位区間Ｔu毎に順次に算定される。
【００３６】
＜遷移解析部６６＞
図２の遷移解析部６６は、周波数検出部６２が単位区間Ｔu毎に算定したＮ個の候補周波数Ｆc(1)〜Ｆc(N)から、目標成分の基本周波数Ｆtarに該当する可能性が高い候補周波数Ｆc(n)を選択する。すなわち、基本周波数Ｆtarの時系列（軌跡）が特定される。図２に示すように、遷移解析部６６は、第１処理部７１と第２処理部７２とを含んで構成される。第１処理部７１および第２処理部７２の各々の機能について以下に詳述する。
【００３７】
＜第１処理部７１＞
第１処理部７１は、Ｎ個の候補周波数Ｆc(1)〜Ｆc(N)のうち目標成分の基本周波数Ｆtarに該当する可能性が高い候補周波数Ｆc(n)を単位区間Ｔu毎に特定する。図９は、第１処理部７１の動作のフローチャートである。周波数検出部６２がＮ個の候補周波数Ｆc(1)〜Ｆc(N)を最新の１個の単位区間（以下では特に「新規単位区間」という）Ｔuについて特定するたびに図９の処理が実行される。
【００３８】
図９の処理は、概略的には、図１０に示すように、新規単位区間Ｔuを最後尾とするＫ個の単位区間Ｔuにわたる経路（以下では「推定系列」という）ＲAを特定する処理である。推定系列ＲAは、各単位区間ＴuのＮ個の候補周波数Ｆc(n)（図１０では４個の候補周波数Ｆc(1)〜Ｆc(4)）のうち目標成分に該当する可能性（尤度）が高い候補周波数Ｆc(n)をＫ個の単位区間Ｔuについて配列した時系列（候補周波数Ｆc(n)の遷移）に相当する。推定系列ＲAの探索には公知の技術が任意に採用され得るが、演算量の削減の観点から動的計画法が格別に好適である。図９では、動的計画法の例示であるビタビ（viterbi）アルゴリズムを利用して推定系列ＲAを特定する場合が想定されている。図９の処理を以下に詳述する。
【００３９】
第１処理部７１は、新規単位区間Ｔuについて特定されたＮ個の候補周波数Ｆc(1)〜Ｆc(N)のうちの１個の候補周波数Ｆc(n)を選択する（Ｓ41）。そして、第１処理部７１は、図１１に示すように、処理Ｓ41で選択した候補周波数Ｆc(n)が新規単位区間Ｔuに出現する確率（ＰA1(n)，ＰA2(n)）を算定する（Ｓ42）。
【００４０】
確率ＰA1(n)は、候補周波数Ｆc(n)について図３の処理Ｓ25で算定された尤度Ｌs(δF)（＝Ｌs(Ｆc(n))に応じて可変に設定される。具体的には、候補周波数Ｆc(n)の尤度Ｌs(Ｆc(n))が大きいほど確率ＰA1(n)は大きい数値に設定される。第１処理部７１は、例えば、尤度Ｌs(Ｆc(n))に応じた変数λ(n)を確率変数とする正規分布（平均μA1，分散σA12）を表現する以下の数式(4)の演算で候補周波数Ｆc(n)の確率ＰA1(n)を算定する。
【数４】
数式(4)の変数λ(n)は、例えば尤度Ｌs(Ｆc(n))を正規化した数値である。尤度Ｌs(Ｆc(n))の正規化の方法は任意であるが、例えば尤度Ｌs(Ｆc(n))を尤度Ｌs(δF)の最大値で除算した数値が正規化後の尤度λ(n)として好適である。平均μA1および分散σA12の数値は実験的または統計的に選定される（例えばμA1＝１，σA1＝0.4）。
【００４１】
処理Ｓ42で算定される確率ＰA2(n)は、候補周波数Ｆc(n)について指標算定部６４が算定した特性指標値Ｖ(n)に応じて可変に設定される。具体的には、候補周波数Ｆc(n)の特性指標値Ｖ(n)が大きい（目標成分に該当する可能性が高い）ほど確率ＰA2(n)は大きい数値に設定される。第１処理部７１は、例えば、特性指標値Ｖ(n)を確率変数とする正規分布（平均μA2，分散σA22）を表現する以下の数式(5)の演算で確率ＰA2(n)を算定する。平均μA2および分散σA22の数値は実験的または統計的に選定される（例えばμA2＝σA2＝１）。
【数５】
【００４２】
第１処理部７１は、図１１に示すように、新規単位区間Ｔuについて処理Ｓ41で選択した候補周波数Ｆc(n)と、直前の単位区間ＴuのＮ個の候補周波数Ｆc(1)〜Ｆc(N)との各組合せについてＮ個の確率ＰA3(n)_1〜ＰA3(n)_Nを算定する（Ｓ43）。確率ＰA3(n)_ν（ν＝１〜Ｎ）は、直前の単位区間Ｔuの第ν番目の候補周波数Ｆc(ν)から新規単位区間Ｔuの候補周波数Ｆc(n)に遷移する確率を意味する。具体的には、単位区間Ｔuの間で音響成分の音高が極端に変化する可能性は低いという傾向を考慮して、直前の候補周波数Ｆc(ν)と現在の候補周波数Ｆc(n)との差異（音高差）が大きいほど確率ＰA3(n)_νは小さい数値に設定される。第１処理部７１は、例えば以下の数式(6)の演算でＮ個の確率ＰA3(n)_1〜ＰA3(n)_Nを算定する。
【数６】
数式(6)は、関数値min{6,max(0,|ε|−0.5)}を確率変数とする正規分布（平均μA3，分散σA32）を表現する。数式(6)の記号εは、半音を単位として直前の候補周波数Ｆc(ν)と現在の候補周波数Ｆc(n)との差分を表現した変数を意味する。関数値min{6,max(0,|ε|−0.5)}は、半音単位の周波数差εの絶対値|ε|から0.5を減算した数値（負数となる場合は０）が６を下回る場合にはその数値に設定され、数値が６を上回る場合（すなわち６半音を上回る程度に周波数が相違する場合）には６に設定される。なお、音響信号ｘの最初の単位区間Ｔuの確率ＰA3(n)_1〜ＰA3(n)_Nは所定値（例えば１）に設定される。また、平均μA3および分散σA32の数値は実験的または統計的に選定される（例えばμA3＝０，σA3＝４）。
【００４３】
以上の手順で確率（ＰA1(n)，ＰA2(n)，ＰA3(n)_1〜ＰA3(n)_N）を算定すると、第１処理部７１は、図１２に示すように、新規単位区間Ｔuの候補周波数Ｆc(n)と、直前の単位区間ＴuのＮ個の候補周波数Ｆc(1)〜Ｆc(N)との各組合せについてＮ個の確率πA(1)〜πA(N)を算定する（Ｓ44）。確率πA(ν)は、図１１の確率ＰA1(n)と確率ＰA2(n)と確率ＰA3(n)_νとに応じた数値である。例えば確率ＰA1(n)と確率ＰA2(n)と確率ＰA3(n)_νとの各々の対数値の加算値が確率πA(ν)として算定される。以上の説明から理解されるように、確率πA(ν)は、直前の単位区間Ｔuの第ν番目の候補周波数Ｆc(ν)から新規単位区間Ｔuの候補周波数Ｆc(n)に遷移する確率（尤度）を意味する。
【００４４】
第１処理部７１は、処理Ｓ44で算定したＮ個の確率πA(1)〜πA(N)のうちの最大値πA_maxを選択し、図１２に示すように、直前の単位区間ＴuのＮ個の候補周波数Ｆc(1)〜Ｆc(N)のうち最大値πA_maxに対応する候補周波数Ｆc(ν)と新規単位区間Ｔuの候補周波数Ｆc(n)とを連結する経路（図１２の太線）を設定する（Ｓ45）。更に、第１処理部７１は、新規単位区間Ｔuの候補周波数Ｆc(n)について確率ΠA(n)を算定する（Ｓ46）。確率ΠA(n)は、直前の単位区間ＴuのＮ個の候補周波数Ｆc(1)〜Ｆc(N)のうち処理Ｓ45で選択した候補周波数Ｆc(ν)について過去に算定した確率ΠA(ν)と現在の候補周波数Ｆc(n)について処理Ｓ45で選択した最大値πA_maxとに応じた数値（例えば各々の対数値の加算値）に設定される。
【００４５】
第１処理部７１は、新規単位区間ＴuのＮ個の候補周波数Ｆc(1)〜Ｆc(N)の全部について以上の処理（Ｓ41〜Ｓ46）を実行したか否かを判定する（Ｓ47）。処理Ｓ47の判定の結果が否定である場合、第１処理部７１は、未処理の候補周波数Ｆc(n)を新規に選択したうえで（Ｓ41）、処理Ｓ42から処理Ｓ47を実行する。すなわち、処理Ｓ41から処理Ｓ47が新規単位区間ＴuのＮ個の候補周波数Ｆc(1)〜Ｆc(N)の各々について実行され、直前の単位区間Ｔuの１個の候補周波数Ｆc(ν)からの経路（処理Ｓ45）とその経路に対応する確率ΠA(n)（処理Ｓ46）とが新規単位区間Ｔuの候補周波数Ｆc(n)毎に算定される。
【００４６】
新規単位区間Ｔuの全部（Ｎ個）の候補周波数Ｆc(1)〜Ｆc(N)について処理が完了すると（Ｓ47：YES）、第１処理部７１は、新規単位区間Ｔuを最後尾とするＫ個の単位区間Ｔuにわたる推定系列ＲAを確定する（Ｓ48）。推定系列ＲAは、新規単位区間ＴuのＮ個の候補周波数Ｆc(1)〜Ｆc(N)のうち処理Ｓ46で算定した確率ΠA(n)が最大となる候補周波数Ｆc(n)から、処理Ｓ45で連結した各候補周波数Ｆc(n)をＫ個の単位区間Ｔuにわたって順次に遡及（バックトラック）した経路である。なお、処理Ｓ41から処理Ｓ47を完了した単位区間ＴuがＫ個未満である段階（すなわち音響信号ｘの始点から第(Ｋ−１)個までの各単位区間Ｔuについて処理が完了した段階）では推定系列ＲAの確定（処理Ｓ48）は実行されない。以上に説明したように、周波数検出部６２が新規単位区間ＴuについてＮ個の候補周波数Ｆc(1)〜Ｆc(N)を特定するたびに、その新規単位区間Ｔuを最後尾とするＫ個の単位区間Ｔuにわたる推定系列ＲAが特定される。
【００４７】
＜第２処理部７２＞
ところで、音響信号ｘのなかには目標成分が存在しない単位区間Ｔu（例えば歌唱音が停止した区間）も存在する。第１処理部７１による推定系列ＲAの探索では各単位区間Ｔuにおける目標成分の有無が判断されないから、実際には目標成分が存在しない単位区間Ｔuについても推定系列ＲA上では候補周波数Ｆc(n)が特定される。以上の事情を考慮して、第２処理部７２は、推定系列ＲAの各候補周波数Ｆc(n)に対応するＫ個の単位区間Ｔuの各々について目標成分の有無を判定する。
【００４８】
図１３は、第２処理部７２の動作のフローチャートである。第１処理部７１が推定系列ＲAを特定するたび（単位区間Ｔu毎）に図１３の処理が実行される。図１３の処理は、概略的には、図１４に示すように、推定系列ＲAに対応するＫ個の単位区間Ｔuにわたる経路（以下では「状態系列」という）ＲBを特定する処理である。状態系列ＲBは、Ｋ個の単位区間Ｔuの各々について目標成分の発音状態Ｓv（ｖ：voiced）および非発音状態Ｓu（ｕ：unvoiced）の何れかを選択して配列した時系列（発音状態／非発音状態の遷移）に相当する。各単位区間Ｔuの発音状態Ｓvは、推定系列ＲAのうちその単位区間Ｔuの候補周波数Ｆc(n)が目標成分として発音される状態を意味し、非発音状態Ｓuは目標成分が発音されない状態を意味する。状態系列ＲBの探索には公知の技術が任意に採用され得るが、演算量の削減の観点から動的計画法が格別に好適である。図１３では、動的計画法の例示であるビタビアルゴリズムを利用して状態系列ＲBを特定する場合が想定されている。図１３の処理を以下に詳述する。
【００４９】
第２処理部７２は、Ｋ個の単位区間Ｔuの何れか（以下「選択単位区間」という）を選択する（Ｓ51）。具体的には、図１３の第１回目の処理Ｓ51ではＫ個の単位区間Ｔuのうち最初の単位区間Ｔuが選択され、第２回目以降の処理Ｓ51の実行毎に直後の単位区間Ｔuが選択される。
【００５０】
第２処理部７２は、図１５に示すように、選択単位区間Ｔuについて確率ＰB1_vと確率ＰB1_uとを算定する（Ｓ52）。確率ＰB1_vは、選択単位区間Ｔuにて目標成分が発音状態Ｓvに該当する確率を意味し、確率ＰB1_uは、選択単位区間Ｔuにて目標成分が非発音状態Ｓuに該当する確率を意味する。
【００５１】
選択単位区間Ｔuの候補周波数Ｆc(n)が目標成分に該当する可能性が高いほど、その候補周波数Ｆc(n)について指標算定部６４が算定した特性指標値Ｖ(n)（目標成分らしさ）は大きい数値となるという傾向を考慮して、発音状態Ｓvの確率ＰB1_vの算定には特性指標値Ｖ(n)が適用される。具体的には、第２処理部７２は、特性指標値Ｖ(n)を確率変数とする正規分布（平均μB1，分散σB12）を表現する以下の数式(7)の演算で確率ＰB1_vを算定する。数式(7)から理解されるように、特性指標値Ｖ(n)が大きいほど確率ＰB1_vは大きい数値に設定される。平均μB1および分散σB12の数値は実験的または統計的に選定される（例えばμB1＝σB1＝１）。
【数７】
【００５２】
他方、非発音状態Ｓuの確率ＰB1_uは、例えば以下の数式(8)で算定される固定値である。
【数８】
【００５３】
次いで、第２処理部７２は、図１５に破線で示すように、選択単位区間Ｔuの発音状態Ｓvおよび非発音状態Ｓuと直前の単位区間Ｔuの発音状態Ｓvおよび非発音状態Ｓuとの各組合せについて遷移の確率（ＰB2_vv，ＰB2_uv，ＰB2_uu，ＰB2_vu）を算定する（Ｓ53）。確率ＰB2_vvは、図１５から理解されるように、直前の単位区間Ｔuの発音状態Ｓvから選択単位区間Ｔuの発音状態Ｓvに遷移する確率（vv：voiced->voiced）を意味する。同様に、確率ＰB2_uvは、非発音状態Ｓuから発音状態Ｓvに遷移する確率（uv：unvoiced->voiced）を意味し、確率ＰB2_uuは、非発音状態Ｓuから非発音状態Ｓuに遷移する確率（uu：unvoiced->unvoiced）を意味し、確率ＰB2_vuは、発音状態Ｓvから非発音状態Ｓuに遷移する確率（vu：voiced->unvoiced）を意味する。具体的には、第２処理部７２は、各確率を以下の数式(9A)および数式(9B)のように算定する。
【数９】
【００５４】
前述の数式(6)で算定される確率ＰA3(n)_νと同様に、直前の単位区間Ｔuと選択単位区間Ｔuとの間で候補周波数Ｆc(n)の周波数差εの絶対値|ε|が大きいほど数式(9A)の確率ＰB2_vvは小さい数値に設定される。数式(9A)の平均μB2および分散σB22の数値は実験的または統計的に選定される（例えばμB2＝０，σB2＝４）。数式(9A)および数式(9B)から理解されるように、相前後する単位区間Ｔuにて発音状態Ｓvが維持される確率ＰB2_vvは、発音状態Ｓvおよび非発音状態Ｓuの一方から他方に遷移する確率（ＳPB2_uv，ＰB2_vu）や非発音状態Ｓuが維持される確率ＰB2_uuと比較して低い確率に設定される。
【００５５】
第２処理部７２は、直前の単位区間Ｔuの発音状態Ｓvおよび非発音状態Ｓuの何れかを、選択単位区間Ｔuの発音状態Ｓvに関する各確率（ＰB1_v，ＰB2_vv，ＰB2_uv）に応じて選択して選択単位区間Ｔuの発音状態Ｓvに連結する（Ｓ54A〜Ｓ54C）。まず、第２処理部７２は、図１６に示すように、直前の単位区間Ｔuの状態（発音状態Ｓv／非発音状態Ｓu）から選択単位区間Ｔuの発音状態Ｓvに遷移する確率（πBvv，πBuv）を算定する（Ｓ54A）。確率πBvvは、直前の単位区間Ｔuの発音状態Ｓvから選択単位区間Ｔuの発音状態Ｓvに遷移する確率であり、処理Ｓ52で算定した確率ＰB1_vと処理Ｓ53で算定した確率ＰB2_vvとに応じた数値（例えば各々の対数値の加算値）に設定される。同様に、確率πBuvは、直前の単位区間Ｔuの非発音状態Ｓuから選択単位区間Ｔuの発音状態Ｓvに遷移する確率を意味し、確率ＰB1_vと確率ＰB2_uvとに応じて算定される。
【００５６】
第２処理部７２は、図１６に示すように、直前の単位区間Ｔuの状態（発音状態Ｓv／非発音状態Ｓu）のうち確率πBvvおよび確率πBuvの最大値πBv_maxに対応する状態を選択して選択単位区間Ｔuの発音状態Ｓvと連結し（Ｓ54B）、選択単位区間Ｔuの発音状態Ｓvについて確率ΠBを算定する（Ｓ54C）。確率ΠBは、直前の単位区間Ｔuについて処理Ｓ54Bで選択した状態について過去に算定された確率ΠBと処理Ｓ54Bで特定した最大値πBv_maxとに応じた数値（例えば各々の対数値の加算値）に設定される。
【００５７】
第２処理部７２は、選択単位区間Ｔuの非発音状態Ｓuについても同様に、直前の単位区間Ｔuの発音状態Ｓvおよび非発音状態Ｓuの何れかを、選択単位区間Ｔuの非発音状態Ｓuに関する各確率（ＰB1_u，ＰB2_uu，ＰB2_vu）に応じて選択してその非発音状態Ｓuに連結する（Ｓ55A〜Ｓ55C）。すなわち、第２処理部７２は、図１７に示すように、確率ＰB1_uおよび確率ＰB2_uu応じた確率（すなわち非発音状態Ｓuから非発音状態Ｓuに遷移する確率）πBuuと、確率ＰB1_uおよび確率ＰB2_vuに応じた確率πBvuとを算定し（Ｓ55A）、直前の単位区間Ｔuの発音状態Ｓvおよび非発音状態Ｓuのうち確率πBuuおよび確率πBvuの最大値πBu_maxに対応する状態（図１７では発音状態Ｓv）を選択して選択単位区間Ｔuの非発音状態Ｓuと連結する（Ｓ55B）。そして、第２処理部７２は、処理Ｓ55Bで選択した状態について過去に算定した確率ΠBと処理Ｓ55Bで選択した確率πBu_maxとに応じて選択単位区間Ｔuの非発音状態Ｓuの確率ΠBを算定する（Ｓ55C）。
【００５８】
選択単位区間Ｔuの発音状態Ｓvおよび非発音状態Ｓuの各々について以上の手順で直前の単位区間Ｔuの状態との連結（Ｓ54B，Ｓ55B）と確率ΠBの算定（Ｓ54C，Ｓ55C）とを完了すると、第２処理部７２は、Ｋ個の単位区間Ｔuの全部について処理が完了したか否かを判定する（Ｓ56）。処理Ｓ56の判定の結果が否定である場合、第２処理部７２は、現在の選択単位区間Ｔuの直後の単位区間Ｔuを新規な選択単位区間Ｔuとして選択したうえで（Ｓ51）、前述の処理Ｓ52から処理Ｓ56の処理を実行する。
【００５９】
Ｋ個の単位区間Ｔuの各々について処理が完了すると（Ｓ56：YES）、第２処理部７２は、Ｋ個の単位区間Ｔuにわたる状態系列ＲBを確定する（Ｓ57）。具体的には、第２処理部７２は、Ｋ個のうち最後尾の単位区間Ｔuの発音状態Ｓvおよび非発音状態Ｓuのうち確率ΠBが大きい状態から、処理Ｓ54Bまたは処理Ｓ55Bで連結した経路をＫ個の単位区間Ｔuにわたって順次に遡及することで状態系列ＲBを特定する。そして、Ｋ個の単位区間Ｔuにわたる状態系列ＲBのうち第１番目の単位区間Ｔuでの状態（発音状態Ｓv／非発音状態Ｓu）を、その１個の単位区間Ｔuの状態（目標成分の発音の有無）として確定する（Ｓ58）。すなわち、新規単位区間Ｔuから(Ｋ−１)個だけ過去の単位区間Ｔuについて目標成分の有無（発音状態Ｓv／非発音状態Ｓu）が判定される。
【００６０】
＜情報生成部６８＞
情報生成部６８は、遷移解析部６６による処理の結果（推定系列ＲA，状態系列ＲB）に応じて単位区間Ｔu毎に周波数情報ＤFを生成する。具体的には、第２処理部７２が特定した状態系列ＲBにて発音状態Ｓvに該当する単位区間Ｔuについて、情報生成部６８は、第１処理部７１が特定した推定系列ＲAのＫ個の候補周波数Ｆc(n)のうちその単位区間Ｔuに対応する候補周波数Ｆc(n)を目標成分の基本周波数Ｆtarとして指定する周波数情報ＤFを生成する。他方、状態系列ＲBにおいて非発音状態Ｓuに該当する単位区間Ｔuについて、情報生成部６８は、目標成分の非発音を意味する周波数情報ＤF（例えば数値がゼロに設定された周波数情報ＤF）を生成する。
【００６１】
以上に説明した形態では、音響信号ｘから検出されるＮ個の候補周波数Ｆc(1)〜Ｆc(N)のうち目標成分に該当する可能性が高い候補周波数Ｆc(n)を単位区間Ｔu毎に選択した推定系列ＲAと、単位区間Ｔu毎の目標成分の有無（発音状態Ｓv／非発音状態Ｓu）を推定した状態系列ＲBとが生成され、推定系列ＲAと状態系列ＲBとの双方を利用して周波数情報ＤFが生成される。したがって、目標成分の発音が途切れる場合でも目標成分の基本周波数Ｆtarの時系列を適切に検出することが可能である。例えば、遷移解析部６６が第１処理部７１のみを具備する構成と比較すると、音響信号ｘのうち目標成分が実際には存在しない単位区間Ｔuについて基本周波数Ｆtarが誤検出される可能性を低減することが可能である。
【００６２】
各周波数δFが音響信号ｘの基本周波数に該当する尤度Ｌs(δF)に応じた確率ＰA1(n)が推定系列ＲAの探索に適用されるから、音響信号ｘのうち高強度の目標成分の基本周波数Ｆtarの時系列を高精度に特定できるという利点もある。また、音響信号ｘのうち各候補周波数Ｆc(n)に対応する調波成分の音響特性と所期の音響特性との類否を示す特性指標値Ｖ(n)に応じた確率ＰA2(n)や確率ＰB1_vが推定系列ＲAや状態系列ＲBの探索に適用されるから、所期の音響特性の目標成分の基本周波数Ｆtarの時系列（発音の有無）を高精度に特定できるという利点もある。
【００６３】
更に、相前後する各単位区間Ｔuでの候補周波数Ｆc(n)の周波数差εに応じた確率ＰA3(n)_νおよび確率ＰB2_vvが推定系列ＲAや状態系列ＲBの探索に適用されるから、基本周波数が短時間に過度に変化するような推定系列ＲAや状態系列ＲBの誤検出が防止され、結果的に目標成分の基本周波数Ｆtarの時系列（発音の有無）を高精度に特定できるという利点がある。
【００６４】
＜Ｂ：第２実施形態＞
本発明の第２実施形態を以下に説明する。なお、以下に例示する各構成において作用や機能が第１実施形態と同等である要素については、以上の説明で参照した符号を流用して各々の詳細な説明を適宜に省略する。
【００６５】
図１８は、第２実施形態における基本周波数解析部３３のブロック図である。図１８には記憶装置２４が併記されている。第２実施形態の記憶装置２４には楽曲情報ＤMが記憶される。楽曲情報ＤMは、楽曲を構成する各音符の音高（以下「基準音高」という）ＰREFを時系列に指定する。以下の例示では、楽曲の主旋律に相当する歌唱音（ガイドメロディ）の音高が基準音高ＰREFとして指定される場合を想定する。例えば、楽曲の音高を指定するイベントデータ（ノートオンイベント）と各イベントデータの処理の時点を指定するタイミングデータとを時系列に配列したＭＩＤＩ（Musical Instrument Digital Interface）形式の時系列データが楽曲情報ＤMとして好適に採用される。
【００６６】
第２実施形態で処理対象となる音響信号ｘは、記憶装置２４に記憶された楽曲情報ＤMと楽曲が共通する。したがって、音響信号ｘの目標成分（歌唱音）が示す音高の時系列と楽曲情報ＤMが指定する基準音高ＰREFの時系列とは時間軸上で相互に対応する。第２実施形態の基本周波数解析部３３は、楽曲情報ＤMで指定される基準音高ＰREFの時系列を、音響信号ｘの目標成分の基本周波数Ｆtarの時系列を特定するために利用する。
【００６７】
図１８に示すように、第２実施形態の基本周波数解析部３３は、第１実施形態と同様の要素（周波数検出部６２，指標算定部６４，遷移解析部６６，情報生成部６８）に音高評価部８２を追加した構成である。音高評価部８２は、周波数検出部６２が特定したＮ個の候補周波数Ｆc(1)〜Ｆc(N)の各々について音高尤度ＬP(n)（ＬP(1)〜ＬP(N)）を単位区間Ｔu毎に算定する。各単位区間Ｔuの音高尤度ＬP(n)は、楽曲のうちその単位区間Ｔuに対応する時点について楽曲情報ＤMが指定する基準音高ＰREFと、周波数検出部６２が検出した候補周波数Ｆc(n)との差異に応じた数値である。基準音高ＰREFが楽曲の歌唱音に対応する第２実施形態では、音高尤度ＬP(n)は、各候補周波数Ｆc(n)が楽曲の歌唱音に該当する可能性の指標（尤度）として機能する。例えば、音高尤度ＬP(n)は、候補周波数Ｆc(n)と基準音高ＰREFとの差異が小さいほど大きい数値となるように所定の範囲（１以下の正数）内で選定される。
【００６８】
図１９は、音高評価部８２が音高尤度ＬP(n)を選定する処理の説明図である。図１９には、候補周波数Ｆc(n)を確率変数とする確率分布αが図示されている。確率分布αは、例えば基準音高ＰREFを平均値とする正規分布である。図１９の横軸（確率分布αの確率変数）は、セント（cent）を単位とした候補周波数Ｆc(n)である。
【００６９】
音高評価部８２は、楽曲のうち楽曲情報ＤMが基準音高ＰREFを指定する区間（すなわち楽曲内で歌唱音が存在する区間）内の各単位区間Ｔuについては、図１９の確率分布αにおいて候補周波数Ｆc(n)に対応する確率を音高尤度ＬP(n)として特定する。他方、楽曲のうち楽曲情報ＤMが基準音高ＰREFを指定しない区間（すなわち楽曲内で歌唱音が存在しない区間）内の各単位区間Ｔuについては、音高評価部８２は音高尤度ＬP(n)を所定の下限値に設定する。
【００７０】
ところで、目標成分の周波数は、例えばビブラート等の音楽的な表現により、所期の周波数を中心として時間的に変動（揺動）する可能性がある。そこで、基準音高ＰREFを中心とする所定の範囲内（目標成分の周波数の変動が予定される所定の範囲内）では音高尤度ＬP(n)が過度に小さい数値とならないように、確率分布αの形状（具体的には分散）が選定される。例えば、歌唱音のビブラートによる周波数の変動は、目標の周波数を中心とした４半音分（高域側２半音および低域側２半音）の範囲にわたる。したがって、基準音高ＰREFを中心とした４半音程度の範囲内では音高尤度ＬP(n)が過度に小さい数値とならないように、確率分布αの分散は、基準音高ＰREFに対して１半音程度の周波数幅（ＰREF×２1/12）に設定される。なお、図１９ではセントを単位とした周波数を横軸に図示したが、周波数の単位をヘルツ（Ｈz）とした場合の確率分布αは、基準音高ＰREFを挟んだ高域側と低域側とで形状（分散）が相違する。
【００７１】
図１８の第１処理部７１は、図９の処理Ｓ44で候補周波数Ｆc(n)毎に算定する確率πA(ν)に、音高評価部８２が算定した音高尤度ＬP(n)を反映させる。具体的には、第１処理部７１は、図９の処理Ｓ42で算定した確率ＰA1(n)および確率ＰA2(n)と、処理Ｓ43で算定した確率ＰA3(n)_νと、音高評価部８２が算定した音高尤度ＬP(n)との各々の対数値の加算値を確率πA(ν)として算定する。
【００７２】
したがって、候補周波数Ｆc(n)の音高尤度ＬP(n)が高いほど、処理Ｓ46で算定される確率ΠA(n)は大きい数値となる。すなわち、音高尤度ＬP(n)が高い候補周波数Ｆc(n)（すなわち、楽曲の歌唱音に該当する可能性が高い候補周波数Ｆc(n)）ほど、推定経路ＲAの経路上の周波数として選択される可能性が高い。以上に説明したように、第２実施形態の第１処理部７１は、各候補周波数Ｆc(n)の音高尤度ＬP(n)を利用した経路探索で推定経路ＲAを特定する手段として機能する。
【００７３】
また、第２処理部７２は、図１３の処理Ｓ54Aで発音状態Ｓvについて算定される確率πBvvおよび確率πBuvに、音高評価部８２が算定した音高尤度ＬP(n)を反映させる。具体的には、第２処理部７２は、処理Ｓ52で算定した確率ＰB1_vと、処理Ｓ53で算定した確率ＰB2_vvと、推定経路ＲAのうち選択単位区間Ｔuに対応する候補周波数Ｆc(n)の音高尤度ＬP(n)との各々の対数値の加算値を確率πBvvとして算定する。同様に、確率ＰB1_vと確率ＰB2_uvと音高尤度ＬP(n)とに応じて確率πBuvが算定される。
【００７４】
したがって、候補周波数Ｆc(n)の音高尤度ＬP(n)が高いほど、処理Ｓ54Cで確率πBvvまたはπBuvに応じて算定される確率ΠBは大きい数値となる。すなわち、音高尤度ＬP(n)が高い候補周波数Ｆc(n)の発音状態Ｓvほど状態系列ＲBとして選択される可能性が高い。他方、楽曲のうち基準音高ＰREFの音響成分が存在しない単位区間Ｔu内の候補周波数Ｆc(n)については音高尤度ＬP(n)が下限値に設定されるから、基準音高ＰREFの音響成分が存在しない各単位区間Ｔu（すなわち非発音状態Ｓuが選択されるべき単位区間Ｔu）について発音状態Ｓvが誤選択される可能性を充分に低減することが可能である。以上に説明したように、第２実施形態の第２処理部７２は、推定経路ＲA上の候補周波数Ｆc(n)の音高尤度ＬP(n)を利用した経路探索で状態系列ＲBを特定する手段として機能する。
【００７５】
第２実施形態でも第１実施形態と同様の効果が実現される。また、第２実施形態では、各候補周波数Ｆc(n)と楽曲情報ＤMで指定される基準音高ＰREFとの差異に応じた音高尤度ＬP(n)が推定経路ＲAおよび状態系列ＲBの経路探索に適用されるから、音高尤度ＬP(n)を利用しない第１実施形態と比較して、目標成分の基本周波数Ｆtarの推定精度を向上させることが可能である。もっとも、第１処理部７１による推定経路ＲAの探索と第２処理部７２による状態系列ＲBの探索との一方のみに音高尤度ＬP(n)を反映させる構成も採用され得る。
【００７６】
なお、音高尤度ＬP(n)は、目標成分（歌唱音）らしさを示す指標という観点からすると特性指標値Ｖ(n)と性質が類似するから、特性指標値Ｖ(n)の代わりに音高尤度ＬP(n)を適用する（図１８の構成から指標算定部６４を省略する）ことも可能である。すなわち、図９の処理Ｓ42で特性指標値Ｖ(n)に応じて算定される確率ＰA2(n)が音高尤度ＬP(n)に置換され、図１３の処理Ｓ52で特性指標値Ｖ(n)に応じて算定される確率ＰB1_vが音高尤度ＬP(n)に置換される。
【００７７】
また、記憶装置２４内の楽曲情報ＤMが楽曲の複数のパートの各々について基準音高ＰREFの時系列の指定（トラック）を含む構成では、各候補周波数Ｆc(n)の音高尤度ＬP(n)の算定と推定経路ＲAおよび状態系列ＲBの探索とを、楽曲のパート毎に実行することが可能である。具体的には、音高評価部８２は、楽曲の複数のパートの各々について、そのパートの基準音高ＰREFと各候補周波数Ｆc(n)との差異に応じた音高尤度ＬP(n)（ＬP(1)〜ＬP(N)）を単位区間Ｔu毎に算定する。そして、複数のパートの各々について、そのパートの各音高尤度ＬP(n)を適用した推定経路ＲAおよび状態系列ＲBの経路探索が第２実施形態と同様に実行される。以上の構成によれば、楽曲の複数のパートの各々について基本周波数Ｆtarの時系列（周波数情報ＤF）を生成することが可能である。
【００７８】
＜Ｃ：第３実施形態＞
図２０は、第３実施形態における基本周波数解析部３３のブロック図である。第３実施形態の基本周波数解析部３３は、第１実施形態と同様の要素（周波数検出部６２，指標算定部６４，遷移解析部６６，情報生成部６８）に補正部８４を追加した構成である。補正部８４は、情報生成部６８が生成する周波数情報ＤF（基本周波数Ｆtar）を補正することで周波数情報ＤF_c（ｃ：corrected）を生成する。周波数情報ＤF_cは、各基本周波数Ｆtarを補正した基本周波数Ｆtar_cの時系列を示す。なお、第２実施形態と同様に、記憶装置２４には、音響信号ｘと共通の楽曲の基準音高ＰREFを時系列に指定する楽曲情報ＤMが格納される。
【００７９】
図２１の部分(A)は、第１実施形態と同様の方法で生成された周波数情報ＤFが示す基本周波数Ｆtarの時系列と、楽曲情報ＤMが指定する基準音高ＰREFの時系列とを併記したグラフである。符号Ｅaで示すように基準音高ＰREFの１.５倍程度の周波数が基本周波数Ｆtarとして誤検出される場合（以下ではこの誤検出を「五度エラー」という）と、符号Ｅbで示すように基準音高ＰREFの２倍の周波数が基本周波数Ｆtarとして誤検出される場合（以下ではこの誤検出を「オクターブエラー」という）とが図２１の部分(A)から把握される。五度エラーおよびオクターブエラーの原因としては、例えば音響信号ｘの各音響成分の倍音成分が相互に重複することや、１オクターブだけ離れた音響成分または５度の関係にある音響成分が楽曲内で音楽的に発生し易いことが想定される。
【００８０】
図２０の補正部８４は、周波数情報ＤFが示す基本周波数Ｆtarの時系列に発生する以上のような誤差（特に五度エラーやオクターブエラー）を補正することで周波数情報ＤF_c（補正後の基本周波数Ｆtar_cの時系列）を生成する。具体的には、補正部８４は、以下の数式(10)に示すように、基本周波数Ｆtarと補正値βとの乗算で補正後の基本周波数Ｆtar_cを単位区間Ｔu毎（基本周波数Ｆtar毎）に算定する。
Ｆtar_c＝β×Ｆtar ……(10)
【００８１】
ただし、歌唱音のビブラート等の音楽的な表現により基本周波数Ｆtarと基準音高ＰREFとの相違が発生した場合にまで基本周波数Ｆtarを補正することは妥当ではない。そこで、基本周波数Ｆtarが、楽曲のうち基本周波数Ｆtarに対応する時点の基準音高ＰREFに対して所定の範囲内にある場合、補正部８４は、周波数情報ＤFが指定する基本周波数Ｆtarを補正せずに基本周波数Ｆtar_cとして確定する。例えば、基本周波数Ｆtarが基準音高ＰREFに対して高域側の３半音程度の範囲内（すなわちビブラート等の音楽的な表現として想定される基本周波数Ｆtarの変動の範囲内）にある場合、補正部８４は数式(10)の補正を停止する。
【００８２】
数式(10)の補正値βは、基本周波数Ｆtarに応じて可変に設定される。図２２は、基本周波数Ｆtar（横軸）と補正値β（縦軸）との関係を定義する関数Λのグラフである。図２２では、正規分布を示す関数Λを例示した。基本周波数Ｆtarに対応する時点の基準音高ＰREFの１.５倍の周波数（Ｆtar＝１.５ＰREF）について補正値βが１/１.５（≒０.６７）となり、かつ、基準音高ＰREFの２倍の周波数（Ｆtar＝２ＰREF）について補正値βが１/２（＝０.５）となるように、補正部８４は、楽曲情報ＤMが指定する基準音高ＰREFに応じて関数Λ（例えば正規分布の平均や分散）を選定する。
【００８３】
図２０の補正部８４は、基準音高ＰREFに応じた関数Λにおいて基本周波数Ｆtarに対応する補正値βを特定して数式(10)の演算に適用する。すなわち、例えば基本周波数Ｆtarが基準音高ＰREFの１.５倍である場合には、数式(10)の補正値βが１/１.５に設定され、基本周波数Ｆtarが基準音高ＰREFの２倍である場合には、数式(10)の補正値βが1/2に設定される。したがって、図２１の部分(B)に示すように、五度エラーにより基準音高ＰREFの１.５倍程度と誤検出された基本周波数Ｆtarやオクターブエラーにより基準音高ＰREFの２倍程度と誤検出された基本周波数Ｆtarは、基準音高ＰREFに近い基本周波数Ｆtar_cに補正される。
【００８４】
第３実施形態においても第１実施形態と同様の効果が実現される。また、第３実施形態では、遷移解析部６６が解析した基本周波数Ｆtarの時系列が楽曲情報ＤMの各基準音高ＰREFに応じて補正されるから、第１実施形態と比較して目標成分の基本周波数Ｆtar_cを正確に検出することが可能である。前述の例示では特に、補正前の基本周波数Ｆtarが基準音高ＰREFの１.５倍である場合の補正値βが１/１.５に設定され、基本周波数Ｆtarが基準音高ＰREFの２倍である場合の補正値βが１/２に設定されるから、基本周波数Ｆtarの推定時に特に発生し易い五度エラーやオクターブエラーを有効に補償できるという利点がある。
【００８５】
なお、第１実施形態を基礎とした構成を以上の説明では例示したが、補正部８４を具備する第３実施形態の構成は第２実施形態にも同様に適用され得る。また、以上の例示では正規分布を示す関数Λを利用して補正値βを決定したが、補正値βを決定する方法は適宜に変更される。例えば、基準音高ＰREFの１.５倍の周波数を含む所定の範囲（例えば基準音高ＰREFを中心として１半音程度の帯域幅の範囲）内に基本周波数Ｆtarがある場合（五度エラーの発生が推定される場合）には補正値βを１/１.５に設定し、基準音高ＰREFの２倍の周波数を含む所定の範囲内に基本周波数Ｆtarがある場合（オクターブエラーの発生が推定される場合）には補正値βを１/２に設定することも可能である。すなわち、補正値βが基本周波数Ｆtarに対して連続的に変化する構成は必須ではない。
【００８６】
＜Ｄ：第４実施形態＞
第２実施形態および第３実施形態では、音響信号ｘの目標成分の音高の時系列と楽曲情報ＤMが指定する基準音高ＰREFの時系列（以下「基準音高系列」という）との間で時間的な対応を仮定したが、実際には両者が完全には対応しない場合もある。そこで、第４実施形態では、音響信号ｘに対する基準音高系列の相対的な位置（時間軸上の時刻）を調整する。
【００８７】
図２３は、第４実施形態における基本周波数解析部３３のブロック図である。図２３に示すように、第４実施形態の基本周波数解析部３３は、第２実施形態と同様の要素（周波数検出部６２，指標算定部６４，遷移解析部６６，情報生成部６８，音高評価部８２）に時間調整部８６を追加した構成である。
【００８８】
時間調整部８６は、音響信号ｘの目標成分の音高の時系列と記憶装置２４内の楽曲情報ＤMが指定する基準音高系列とが相互に時間軸上で対応するように音響信号ｘ（各単位区間Ｔu）と基準音高系列との相対的な位置（時間差）を決定する。音響信号ｘと基準音高系列との間で時間軸上の位置を調整する方法は任意であるが、情報生成部６８が第１実施形態または第２実施形態と同様の方法で特定した基本周波数Ｆtarの時系列（以下「解析音高系列」という）と楽曲情報ＤMが指定する基準音高系列とを対比する方法を以下では例示する。解析音高系列は、時間調整部８６による処理の結果（すなわち基準音高系列との時間的な対応）を加味せずに特定された基本周波数Ｆtarの時系列である。
【００８９】
時間調整部８６は、音響信号ｘの全体にわたる解析音高系列と楽曲の全体にわたる基準音高系列との間で両者の時間差Δを変数とする相互相関関数Ｃ(Δ)を算定し、相互相関関数Ｃ(Δ)の関数値（相互相関）が最大となる時間差ΔAを特定する。例えば、相互相関関数Ｃ(Δ)の関数値が増加から減少に変化する地点の時間差Δが時間差ΔAとして特定される。相互相関関数Ｃ(Δ)を平滑化してから時間差ΔAを特定する構成も好適である。そして、時間調整部８６は、解析音高系列および基準音高系列の一方を他方に対して時間差ΔAだけ遅延（または先行）させる。以上のように解析音高系列と基準音高系列とに時間差ΔAを付与した状態で、解析音高系列の単位区間Ｔu毎に、基準音高系列のうちその単位区間Ｔuと同時刻に位置する基準音高ＰREFが特定される。
【００９０】
音高評価部８２は、時間調整部８６による解析の結果を利用して音高尤度ＬP(n)を単位区間Ｔu毎に算定する。具体的には、周波数検出部６２が各単位区間Ｔuについて検出した候補周波数Ｆc(n)と、時間調整部８６による調整後（時間差ΔAの付与後）の基準音高系列においてその単位区間Ｔuと同時刻に位置する基準音高ＰREFとの差異に応じて、音高評価部８２は音高尤度ＬP(n)を算定する。遷移解析部６６（第１処理部７１および第２処理部７２）は、第２実施形態と同様に、音高評価部８２が算定した音高尤度ＬP(n)を利用した経路探索を実行する。以上の説明から理解されるように、遷移解析部６６は、時間調整部８６が基準音高系列と対比する解析音高系列を特定するための経路探索（すなわち、時間調整部８６による解析の結果を加味しない経路探索）と、時間調整部８６による解析の結果を加味した経路探索とを順次に実行する。
【００９１】
第４実施形態では、時間調整部８６が時間軸上の位置を調整した音響信号ｘと基準音高系列との間で音高尤度ＬP(n)が算定されるから、音響信号ｘと基準音高系列との時間軸上の位置が相互に対応しない場合でも、基本周波数Ｆtarの時系列を高精度に特定できるという利点がある。
【００９２】
なお、以上の説明では、音高評価部８２による音高尤度ＬP(n)の算定に時間調整部８６による解析の結果を適用したが、時間調整部８６を第３実施形態に追加し、補正部８４による基本周波数Ｆtarの補正に時間調整部８６での解析の結果を利用することも可能である。すなわち、補正部８４は、各単位区間Ｔuの基本周波数Ｆtarが、時間調整部８６による調整後の基準音高系列においてその単位区間Ｔuと同時刻に位置する基準音高ＰREFの１.５倍である場合に補正値βが１/１.５となり、基本周波数Ｆtarが基準音高ＰREFの２倍である場合に補正値βが１/２となるように関数Λを選定する。
【００９３】
なお、以上の説明では、楽曲の全体について解析音高系列と基準音高系列とを対比したが、楽曲の所定の区間（例えば先頭から１４秒ないし１５秒程度の区間）のみについて解析音高系列と基準音高系列とを対比して時間差ΔAを特定することも可能である。また、解析音高系列および基準音高系列の各々を先頭から所定の時間毎に区分し、解析音高系列と基準音高系列との間で相互に対応する区間同士を対比することで、区間毎に時間差ΔAを算定する構成も好適である。以上のように楽曲の区間毎に時間差ΔAを算定する構成によれば、解析音高系列と基準音高系列とでテンポが相違する場合でも、各単位区間Ｔuに対応する基準音高ＰREFを高精度に特定できるという利点がある。
【００９４】
＜Ｅ：変形例＞
以上の形態には様々な変形が加えられる。具体的な変形の態様を以下に例示する。以下の例示から任意に選択された２以上の態様は併合され得る。
【００９５】
（１）変形例１
指標算定部６４は省略され得る。指標算定部６４を省略した構成では、第１処理部７１による推定系列ＲAの特定や第２処理部７２による状態系列ＲBの特定に特性指標値Ｖ(n)が適用されない。例えば、図９の処理Ｓ42での確率ＰA2(n)の算定が省略され、尤度Ｌs(Ｆc(n))に応じた確率ＰA1(n)と前後の単位区間Ｔuでの周波数差εに応じた確率ＰA3(n)_νとに応じて推定系列ＲAが特定される。また、図１３の処理Ｓ52での確率ＰB1_vの算定が省略され、処理Ｓ53で算定される確率（ＰB2_vv，ＰB2_uv，ＰB2_uu，ＰB2_vu）に応じて状態系列ＲBが特定される。また、特性指標値Ｖ(n)を算定する手段はＳＶＭに限定されない。例えば、k-meansアルゴリズム等の公知の技術による学習の結果を利用した構成でも、特性指標値Ｖ(n)の算定が実現される。
【００９６】
（２）変形例２
周波数検出部６２がＮ個の候補周波数Ｆc(1)〜Ｆc(N)を検出する方法は任意である。例えば、特許文献１に開示された方法で基本周波数の確率密度関数を推定し、確率密度関数の顕著なピークが存在するＮ個の基本周波数を候補周波数Ｆc(1)〜Ｆc(N)として特定する構成も採用され得る。
【００９７】
（３）変形例３
音響処理装置１００が生成した周波数情報ＤFを利用する方法は任意である。例えば、第２実施形態から第４実施形態では、周波数情報ＤFが示す基本周波数Ｆtarの時系列のグラフと楽曲情報ＤMが示す基準音高ＰREFの時系列のグラフとを表示装置に同時に表示することで両者の対応を容易に確認することが可能である。また、例えば歌唱表現（歌い回し）が相違する複数の音響信号ｘの各々について基本周波数Ｆtarの時系列を模範データ（教師情報）として生成および保持し、利用者の歌唱音を示す音響信号ｘから生成される基本周波数Ｆtarの時系列を各模範データと比較することで利用者の歌唱を採点することも可能である。また、相異なる歌手の複数の音響信号ｘの各々について基本周波数Ｆtarの時系列を模範データ（教師情報）として生成および保持し、利用者の歌唱音を示す音響信号ｘから生成される基本周波数Ｆtarの時系列を各模範データと比較することで、歌唱音が利用者に類似する歌手を特定することも可能である。
【符号の説明】
【００９８】
１００……音響処理装置、２００……信号供給装置、２２……演算処理装置、２４……記憶装置、３１……周波数分析部、３３……基本周波数解析部、６２……周波数検出部、６４……指標算定部、６６……遷移解析部、６８……情報生成部、７１……第１処理部、７２……第２処理部。
【特許請求の範囲】
【請求項１】
音響信号の単位区間毎に複数の基本周波数を特定する周波数検出手段と、
前記各単位区間の前記複数の基本周波数から選択した基本周波数を複数の単位区間にわたり配列した系列であって前記音響信号のうち目標成分の基本周波数の時系列に該当する可能性が高い推定系列を、動的計画法による経路探索で特定する第１処理手段と、
前記各単位区間における前記目標成分の発音状態および非発音状態の何れかの状態を前記複数の単位区間にわたり配列した状態系列を、動的計画法による経路探索で特定する第２処理手段と、
前記状態系列の発音状態に対応する単位区間について前記推定系列のうち当該単位区間に対応する基本周波数を示し、前記状態系列の非発音状態に対応する単位区間について非発音を示す周波数情報を、前記単位区間毎に生成する情報生成手段と
を具備する音響処理装置。
【請求項２】
前記周波数検出手段は、各周波数が前記音響信号の基本周波数に該当する尤度を算定するとともに尤度が高い複数の周波数を基本周波数として選択し、
前記第１処理手段は、前記尤度に応じた確率を前記複数の基本周波数の各々について単位区間毎に算定し、当該確率を利用した経路探索で前記推定系列を特定する
請求項１の音響処理装置。
【請求項３】
前記音響信号のうち前記周波数検出手段が検出した前記各基本周波数に対応する調波成分の音響特性と前記目標成分に対応する音響特性との類否を示す特性指標値を前記複数の基本周波数の各々について前記単位区間毎に算定する指標算定手段を具備し、
前記第１処理手段は、前記複数の基本周波数の各々について前記特性指標値に応じて前記単位区間毎に算定される確率を利用した経路探索で前記推定系列を特定し、
前記第２処理手段は、前記推定系列上の基本周波数に対応する前記特性指標値に応じて前記単位区間毎に算定される前記発音状態の確率と、前記非発音状態の確率とを利用した経路探索で前記状態系列を特定する
請求項１または請求項２の音響処理装置。
【請求項４】
前記第１処理手段は、前記周波数検出手段が複数の単位区間の各々について特定した各基本周波数と当該単位区間の直前の単位区間の前記各基本周波数との差異に応じて前記各基本周波数の組合せ毎に算定される確率を利用した経路探索で前記推定系列を特定する
請求項１から請求項３の何れかの音響処理装置。
【請求項５】
前記第２処理手段は、前記推定系列における前記各単位区間の基本周波数と前記推定系列のうち当該単位区間の直前の単位区間の基本周波数との差異に応じて前記発音状態間の遷移について算定される確率と、相前後する各単位区間における発音状態および非発音状態の一方から非発音状態への遷移に関する確率とを利用した経路探索で前記状態系列を特定する
請求項１から請求項４の何れかの音響処理装置。
【請求項６】
基準音高の時系列を記憶する記憶手段と、
複数の単位区間の各々について、前記周波数検出手段がと当該単位区間について特定した複数の基本周波数の各々と、当該単位区間に対応する前記基準音高との差異に応じた音高尤度を算定する音高評価手段とを具備し、
前記第１処理手段は、前記複数の基本周波数の各々について前記音高尤度を利用した経路探索で前記推定系列を特定し、
前記第２処理手段は、前記推定系列上の基本周波数に対応する前記音高尤度に応じて単位区間毎に算定される前記発音状態の確率と、前記非発音状態の確率とを利用した経路探索で前記状態系列を特定する
請求項１から請求項５の何れかの音響処理装置。
【請求項７】
基準音高の時系列を記憶する記憶手段と、
前記周波数情報が示す基本周波数が、当該周波数情報に対応する時点の基準音高の１．５倍の周波数を含む所定の範囲内にある場合に基本周波数を１/１．５倍に補正し、基準音高の２倍の周波数を含む所定の範囲内にある場合に基本周波数を１/２倍に補正する補正手段と
を具備する請求項１から請求項６の何れかの音響処理装置。
【請求項１】
音響信号の単位区間毎に複数の基本周波数を特定する周波数検出手段と、
前記各単位区間の前記複数の基本周波数から選択した基本周波数を複数の単位区間にわたり配列した系列であって前記音響信号のうち目標成分の基本周波数の時系列に該当する可能性が高い推定系列を、動的計画法による経路探索で特定する第１処理手段と、
前記各単位区間における前記目標成分の発音状態および非発音状態の何れかの状態を前記複数の単位区間にわたり配列した状態系列を、動的計画法による経路探索で特定する第２処理手段と、
前記状態系列の発音状態に対応する単位区間について前記推定系列のうち当該単位区間に対応する基本周波数を示し、前記状態系列の非発音状態に対応する単位区間について非発音を示す周波数情報を、前記単位区間毎に生成する情報生成手段と
を具備する音響処理装置。
【請求項２】
前記周波数検出手段は、各周波数が前記音響信号の基本周波数に該当する尤度を算定するとともに尤度が高い複数の周波数を基本周波数として選択し、
前記第１処理手段は、前記尤度に応じた確率を前記複数の基本周波数の各々について単位区間毎に算定し、当該確率を利用した経路探索で前記推定系列を特定する
請求項１の音響処理装置。
【請求項３】
前記音響信号のうち前記周波数検出手段が検出した前記各基本周波数に対応する調波成分の音響特性と前記目標成分に対応する音響特性との類否を示す特性指標値を前記複数の基本周波数の各々について前記単位区間毎に算定する指標算定手段を具備し、
前記第１処理手段は、前記複数の基本周波数の各々について前記特性指標値に応じて前記単位区間毎に算定される確率を利用した経路探索で前記推定系列を特定し、
前記第２処理手段は、前記推定系列上の基本周波数に対応する前記特性指標値に応じて前記単位区間毎に算定される前記発音状態の確率と、前記非発音状態の確率とを利用した経路探索で前記状態系列を特定する
請求項１または請求項２の音響処理装置。
【請求項４】
前記第１処理手段は、前記周波数検出手段が複数の単位区間の各々について特定した各基本周波数と当該単位区間の直前の単位区間の前記各基本周波数との差異に応じて前記各基本周波数の組合せ毎に算定される確率を利用した経路探索で前記推定系列を特定する
請求項１から請求項３の何れかの音響処理装置。
【請求項５】
前記第２処理手段は、前記推定系列における前記各単位区間の基本周波数と前記推定系列のうち当該単位区間の直前の単位区間の基本周波数との差異に応じて前記発音状態間の遷移について算定される確率と、相前後する各単位区間における発音状態および非発音状態の一方から非発音状態への遷移に関する確率とを利用した経路探索で前記状態系列を特定する
請求項１から請求項４の何れかの音響処理装置。
【請求項６】
基準音高の時系列を記憶する記憶手段と、
複数の単位区間の各々について、前記周波数検出手段がと当該単位区間について特定した複数の基本周波数の各々と、当該単位区間に対応する前記基準音高との差異に応じた音高尤度を算定する音高評価手段とを具備し、
前記第１処理手段は、前記複数の基本周波数の各々について前記音高尤度を利用した経路探索で前記推定系列を特定し、
前記第２処理手段は、前記推定系列上の基本周波数に対応する前記音高尤度に応じて単位区間毎に算定される前記発音状態の確率と、前記非発音状態の確率とを利用した経路探索で前記状態系列を特定する
請求項１から請求項５の何れかの音響処理装置。
【請求項７】
基準音高の時系列を記憶する記憶手段と、
前記周波数情報が示す基本周波数が、当該周波数情報に対応する時点の基準音高の１．５倍の周波数を含む所定の範囲内にある場合に基本周波数を１/１．５倍に補正し、基準音高の２倍の周波数を含む所定の範囲内にある場合に基本周波数を１/２倍に補正する補正手段と
を具備する請求項１から請求項６の何れかの音響処理装置。
【図１】
【図２】
【図３】
【図４】
【図５】
【図６】
【図７】
【図８】
【図９】
【図１０】
【図１１】
【図１２】
【図１３】
【図１４】
【図１５】
【図１６】
【図１７】
【図１８】
【図１９】
【図２０】
【図２１】
【図２２】
【図２３】
【図２】
【図３】
【図４】
【図５】
【図６】
【図７】
【図８】
【図９】
【図１０】
【図１１】
【図１２】
【図１３】
【図１４】
【図１５】
【図１６】
【図１７】
【図１８】
【図１９】
【図２０】
【図２１】
【図２２】
【図２３】
【公開番号】特開２０１２−１０８４５３（Ｐ２０１２−１０８４５３Ａ）
【公開日】平成２４年６月７日（２０１２．６．７）
【国際特許分類】
【出願番号】特願２０１１−４５９７５（Ｐ２０１１−４５９７５）
【出願日】平成２３年３月３日（２０１１．３．３）
【出願人】（０００００４０７５）ヤマハ株式会社 (5,930)
【公開日】平成２４年６月７日（２０１２．６．７）
【国際特許分類】
【出願日】平成２３年３月３日（２０１１．３．３）
【出願人】（０００００４０７５）ヤマハ株式会社 (5,930)
[ Back to top ]