特徴量照合装置，プログラム
【課題】特徴量を照合した結果を用いて処理を実行する技術において、出力結果が、利用者が意図したものとなる可能性の向上。
【解決手段】特徴量照合処理では、入力音声の音高推移を導出し（Ｓ２５０）、その導出した音高推移を平滑化した平滑化推移を導出する（Ｓ２６０）。さらに、音声特徴量として、平滑化推移における音高極値の間の相対音高及び相対音長を導出する（Ｓ２８０）。その導出された音声特徴量を単語化した照合音声特徴量を生成し（Ｓ２９０）、比較頂点データに照合する（Ｓ３３０）。その照合の結果、入力音声の時間進行に沿った照合特徴量が連続して、比較頂点データに一致するほど、大きな値の特徴量一致度を導出する（Ｓ３５０）。それら導出された特徴量一致度が反映された統合一致度の中で、値が最大であるものに対応する楽曲を意図予想曲として特定する。
【解決手段】特徴量照合処理では、入力音声の音高推移を導出し（Ｓ２５０）、その導出した音高推移を平滑化した平滑化推移を導出する（Ｓ２６０）。さらに、音声特徴量として、平滑化推移における音高極値の間の相対音高及び相対音長を導出する（Ｓ２８０）。その導出された音声特徴量を単語化した照合音声特徴量を生成し（Ｓ２９０）、比較頂点データに照合する（Ｓ３３０）。その照合の結果、入力音声の時間進行に沿った照合特徴量が連続して、比較頂点データに一致するほど、大きな値の特徴量一致度を導出する（Ｓ３５０）。それら導出された特徴量一致度が反映された統合一致度の中で、値が最大であるものに対応する楽曲を意図予想曲として特定する。
【発明の詳細な説明】
【技術分野】
【０００１】
本発明は、音高の推移から抽出した特徴量を用いた処理を実行する特徴量照合装置、及びプログラムに関する。
【背景技術】
【０００２】
従来、予め用意された複数の曲の中から、利用者が発声することで入力された音声に従って、その利用者が意図した曲を検索する楽曲検索装置が知られている。
この種の楽曲検索装置では、曲毎に、各曲の譜面を表す譜面データ（即ち、各音の音高と音価との両方が表されたデータ）が予め用意されている。そして、当該楽曲検索装置に入力された音声を採譜し、その採譜した結果である音符（即ち、各音の音高と音価との両方）それぞれを、音声が入力された順序に従って譜面データに照合する。その照合の結果、一致度が基準値よりも高い譜面データに対応する曲を、利用者が意図した曲として推定することがなされている（例えば、特許文献１参照）。
【０００３】
つまり、特許文献１に記載の楽曲検索装置では、採譜した結果（即ち、各音の音高と音長とによって規定される音符）を特徴量として用いて、利用者が意図した曲を予め用意された曲の中から検索している。
【先行技術文献】
【特許文献】
【０００４】
【特許文献１】特開２００２−１５７２５５号公報
【発明の概要】
【発明が解決しようとする課題】
【０００５】
ところで、一般的に、専門的な訓練を受けていない人物（以下、一般ユーザと称す）が歌唱する場合、その一般ユーザが思い描く全ての音高を正確に発声することは困難である。よって、一般ユーザが歌唱する場合、その一般ユーザが意図した曲に対応する譜面データに表された音高（以下、譜面音高と称す）に一致しない音高にて発声される分量・割合が多い。
【０００６】
このような状況下においては、特許文献１に記載の楽曲検索装置では、譜面音高に一致しない音高のまま採譜される。このため、特許文献１に記載の楽曲検索装置では、採譜結果である音符の中に、譜面データに一致しない音符が含まれることになり、採譜結果が、利用者が意図した曲とは別の曲になるという問題があった。
【０００７】
つまり、採譜した結果である音符を特徴量として用いると、音高の細かな推移まで一致しなければ、出力結果が、利用者が意図したものにならないという問題があった。
そこで、本発明は、特徴量を照合した結果を用いて処理を実行する技術において、出力結果が、利用者が意図したものとなる可能性を向上させることを目的とする。
【課題を解決するための手段】
【０００８】
上記目的を達成するためになされた本発明の特徴量照合装置では、音高推移導出手段が、時間進行に沿って連続して入力された入力音声から、音高の推移を表す音高推移を導出し、平滑化手段が、その導出された音高推移を平滑化した平滑音高推移を導出する。これと共に、極値検出手段が、平滑音高推移から、その平滑音高推移についての音高極値である平滑音高極値を検出し、その検出された平滑音高極値に基づいて、特徴量導出手段が、平滑音高極値についての推移特徴量である音声特徴量を導出する。なお、ここでいう音高極値とは、音高推移における音高変化の極値であり、ここでいう推移特徴量とは、時間進行に沿って連続する音高極値の間での音高差及び時間長の比率である。
【０００９】
さらに、本発明の特徴量照合装置では、特徴量照合手段が、特徴量導出手段で導出された音声特徴量それぞれを旋律特徴量それぞれに照合することで、音声特徴量と旋律特徴量との一致度が高いほど大きな値となる特徴量一致度を曲毎に導出すると共に、結果出力手段が、少なくとも、特徴量一致度に基づき、特徴量一致度の中で、値が最大の特徴量一致度に対応する曲である入力対応曲を出力する。ただし、ここでいう旋律特徴量とは、曲毎に予め用意され、かつ曲を構成する構成音の音高推移が平滑化された平滑化旋律における音高極値についての推移特徴量である。
【００１０】
つまり、本発明の特徴量照合装置では、音声特徴量として、平滑音高推移における音高極値の間の音高差及び時間長の比率、即ち、相対的な音高及び音長を用いている。しかも、本発明の特徴量照合装置では、音高推移を平滑化することで、平滑音高推移を導出している。
【００１１】
よって、本発明の特徴量照合装置によって導出される音声特徴量は、入力音声における音高の推移の全体的な傾向を表すものとなり、この結果、音声特徴量は、細かな音高の推移を無視した特徴量とすることができる。
【００１２】
したがって、このような音声特徴量を旋律特徴量に照合することで導出された特徴量一致度が最も大きなものに対応する曲を入力対応曲とすることで、出力結果が、利用者が意図したものとなる可能性を向上させることができる。換言すれば、本発明の特徴量照合装置によれば、利用者が意図した曲が検索され、出力される可能性を向上させることができる。
【００１３】
また、本発明の特徴量照合装置における特徴量照合手段は、請求項２に記載のように、時間進行に沿った音声特徴量それぞれが連続して一致する旋律特徴量が多いほど、大きな値の特徴量一致度を導出するように構成されていても良い。
【００１４】
このように構成された特徴量照合装置では、時間進行の中で導出された１つの音声特徴量が、偶発的に旋律特徴量に一致しただけでは、導出される特徴量一致度の値は大きなものとならない。このため、本発明の特徴量照合装置によれば、誤って、利用者が意図しない結果となることを防止できる。
【００１５】
なお、本発明の特徴量照合装置において、平滑化手段が実行する平滑化は、請求項３に記載のように、単位区間それぞれに含まれる全音高の中央値の算出、及び移動平均値の算出の少なくとも一方によって実行されていても良い。
【００１６】
このような平滑化により、音高遷移から平滑化音高遷移を導出する際に、使用者が意図しない音高の細かな揺らぎや、ノイズを除去できる。
特に、中央値の算出と、移動平均の算出との両方を実行すれば、音高の細かな揺らぎや、ノイズをより確実に実行することができる。
【００１７】
また、本発明の特徴量照合装置において、特徴量照合手段が実行する出力とは、請求項４に記載のように、入力対応曲を画像にて表示、入力対応曲を音声にて通知すること、またはそれらの組合せであっても良い。
【００１８】
このような特徴量照合装置によれば、当該特徴量照合装置の使用者に入力対応曲を認識させることができる。
なお、ここでいう画像とは、表示装置に表示されるものであり、表示装置に表示される画面（例えば、文字列などからなる）を含むものである。
【００１９】
さらに、本発明の特徴量照合装置は、請求項５に記載のように、音高推移に従って、音符化手段が、入力音声の音高及び音価を表す音符データに変換し、音符照合手段が、曲毎に予め用意され、かつ曲を構成する構成音それぞれの音高及び音価を表す基準音符データに、音符化手段にて変換された音符データそれぞれを曲毎に照合することで音符一致度を導出するように構成されていても良い。
【００２０】
ただし、このように構成された特徴量照合装置における照合結果出力手段は、特徴量一致度、及び音符一致度に基づいて、特徴量一致度及び音符一致度の両方が大きいほど大きな値となるように演算した結果、最も大きな値に対応する曲を入力対応曲として出力するように構成されている必要がある。
【００２１】
このような特徴量照合装置では、音高の推移に対して傾向が異なる２つの特徴量を用いて、入力対応曲を検索して出力する。このため、本発明の特徴量照合装置によれば、利用者が意図した曲を出力結果（即ち、入力対応曲）とすることを、様々な音高推移の傾向を有した曲、即ち、より多くの曲に対して実現できる。
【００２２】
本発明は、コンピュータに実行させるプログラムとしてなされたものでも良い。
ただし、本発明のプログラムは、請求項６に記載のように、入力音声から音高推移を導出する音高推移導出手順と、その導出された音高推移を平滑化した平滑音高推移を導出する平滑化手順と、その導出された平滑音高推移から、その平滑音高推移の平滑音高極値を検出する極値検出手順と、極値検出手順にて検出された平滑音高極値に基づいて、入力音声の音声特徴量を導出する特徴量導出手順と、特徴量導出手順にて導出された音声特徴量それぞれを旋律特徴量それぞれに照合することで、特徴量一致度を曲毎に導出する特徴量照合手順と、その特徴量照合手順で導出された特徴量一致度に基づき、入力対応曲を出力する結果出力手順とをコンピュータに実行させる必要がある。
【００２３】
本発明がこのようになされたプログラムであれば、コンピュータ読み取り可能な記録媒体（例えば、ＤＶＤ−ＲＯＭ、ＣＤ−ＲＯＭ、ハードディスクや、フラッシュメモリ等）に記録し、必要に応じてコンピュータにロードさせて起動することや、必要に応じて通信回線を介してコンピュータに取得させて起動することにより用いることができる。そして、コンピュータに各手順を実行させることで、そのコンピュータを、請求項１に記載された特徴量照合装置として機能させることができる。
【図面の簡単な説明】
【００２４】
【図１】楽曲検索システムの概略構成を示すブロック図である。
【図２】ガイドメロディを模式的に示した模式図である。
【図３】頂点データの作成手順を説明するための説明図である。
【図４】頂点データの作成手順を説明するための説明図である。
【図５】頂点データの概要を示した説明図である。
【図６】楽曲検索処理の処理手順を示したフローチャートである。
【図７】特徴量照合検索処理の処理手順を示したフローチャートである。
【図８】音符照合検索処理の処理手順を示したフローチャートである。
【発明を実施するための形態】
【００２５】
以下に本発明の実施形態を図面と共に説明する。
まず、図１は、本発明が適用された楽曲検索システムの概略構成を示すブロック図である。
〈楽曲検索システムについて〉
楽曲検索システム１は、利用者が発声することで入力された入力音声から、その音声を入力する際に利用者が意図したと推定される楽曲（以下、意図予想曲と称す）を検索するものである。なお、検索結果として出力される意図予想曲が、本発明の入力対応曲に相当する。
【００２６】
このため、図１に示すように、楽曲検索システム１は、楽曲毎に予め用意された楽曲データを格納するサーバ４０と、入力音声から特徴量を抽出して、その抽出した特徴量を楽曲データに照合することで入力対応曲を出力する音声処理装置２０とを備えている。なお、音声処理装置２０は、ネットワーク（例えば、専用回線やＷＡＮ）を介してサーバ４０に接続されている。
【００２７】
このうち、サーバ４０は、楽曲データを格納する記憶装置４１と、ＲＯＭ，ＲＡＭ，ＣＰＵを少なくとも有した周知のマイクロコンピュータ４２とを備えた情報処理装置を中心に構成された周知のサービス用サーバ装置である。
〈楽曲データについて〉
次に、記憶装置４１に格納される楽曲データについて説明する。
【００２８】
この楽曲データは、当該楽曲を識別するためのデータである楽曲情報と、当該楽曲１曲の演奏開始から演奏終了までに要する時間を示す時間情報とを有している。さらに、楽曲データは、当該楽曲の旋律に関するデータであるガイドメロディと、当該楽曲における音高の時間軸に沿った推移の特徴を表す頂点データとを有している。
【００２９】
そして、楽曲情報には、楽曲を特定するための曲番号データと、その楽曲の曲名を示す曲名データとが少なくとも含まれている。
また、ガイドメロディは、図２に示すように、楽曲の主旋律（以下、基準旋律と称す）を形成する各構成音（図２中：ｎｏ１，ｎｏ２，…ｎｏ９）について、それぞれの音高及び音価が表された周知のデータであり、本発明の基準音符データに相当するものである。具体的に、本実施形態における構成音の音長は、楽音出力開始時間及び楽音出力終了時間によって表されている。ただし、ここで言う楽音出力開始時間とは、その構成音の出力を開始するまでの完成楽曲の演奏開始からの時間であり、楽音出力終了時間とは、その構成音の出力を終了するまでの完成楽曲の演奏開始からの時間である。つまり、楽音出力開始時間と楽音出力終了時間との間の時間長が、当該構成音の音長となる。
〈頂点データについて〉
次に、楽曲データに含まれる頂点データは、予め作成されたものであり、ガイドメロディによって表される基準旋律を平滑化した平滑化旋律についての推移特徴量からなる。この推移特徴量とは、時間進行に沿った音高の推移（以下、音高推移と称す、頂点データにおいては、基準旋律が、この「音高の推移」に相当）を平滑化した平滑化推移（頂点データにおいては、平滑化旋律が、この「平滑化推移」に相当）にて、時間進行に沿って隣接する極値間の相対音高、及び相対音長である。以下、平滑化旋律（即ち、基準旋律）についての推移特徴量を旋律推移特徴量と称す。
【００３０】
その相対音高及び相対音長について、図３，４を用いて説明する。
この図３（Ａ）は、平滑化旋律を簡易的に示した図面であり、図３（Ｂ）は、平滑化旋律における極値（以下、平滑音高極値と称す）を簡易的に示した図面である。
【００３１】
そして、相対音高及び相対音長を導出する際には、まず、基準旋律において、時間進行に沿って互いに連続するように規定された時間長それぞれ（以下、単位区間とする）に含まれる全音高を取得する。なお、単位区間は、互いに重複するように基準旋律に対して規定される。そして、単位区間毎に取得された全音高の中央値を算出し、その算出された中央値の移動平均を求めることで、基準旋律を平滑化する。この平滑化を規定回数実行した結果を、時間進行に沿って分布させることにより、図３（Ａ）に示すような平滑化旋律が導出される。
【００３２】
続いて、その導出された平滑化旋律を平滑化微分した結果から、図３（Ｂ）に示すような、平滑音高極値それぞれ（図３（Ｂ）中、ｅｘg１、ｅｘg２、…ｅｘg６）を検出する。そして、図４に示すように、その検出された平滑音高極値ｅｘgの中で、時間進行に沿って互いに隣接する平滑音高極値ｅｘgの組それぞれ（図４中、ｅｘg１とｅｘg２との組、ｅｘg２とｅｘg３との組、…ｅｘg５とｅｘg６との組））から、音高差ｄｐg（図４中、第１音高差ｄｐg１，２、第２音高差ｄｐg２，３、…、第５音高差ｄｐg５，６）をそれぞれ導出する。さらに、時間進行に沿って互いに隣接する平滑音高極値ｅｘg間（以下、対象区間とする）の時間長ｔg（図４中、第１時間長ｔg１，２、第２時間長ｔg２，３、…、第５時間長ｔg５，６）をそれぞれ導出する。そして、導出された時間長ｔgに従って、時間進行に沿って互いに隣接する対象区間の時間長ｔg同士の比率（以下、時間比率とする）ｄｔgを導出する。
【００３３】
続いて、それらの導出された音高差ｄｐg、及び時間比率ｄｔgを単純化し、その単純化された音高差ｄｐgを相対音高、単純化された時間比率ｄｔgを相対音長として特定する。
なお、本実施形態における単純化は、音高差ｄｐ及び時間比率ｄｔそれぞれに予め設定された範囲を表す区分基準に従って実施される。
【００３４】
具体的に、本実施形態では、単純化の対象が音高差ｄｐである場合、音高差ｄｐの絶対値が、予め規定された第１特定値未満であれば、相対音高を「１」と特定する。また、音高差ｄｐの絶対値が、第１特定値以上かつ第２特定値（ただし、第２特定値＞第１特定値）未満であれば、相対音高を「２」と特定し、第２特定値以上であれば、相対音高を「３」と特定している。さらに、本実施形態では、音高差ｄｐが負の値であれば、各相対音高の前に「マイナス記号」を付す。
【００３５】
一方、本実施形態では、単純化の対象が時間比率ｄｔである場合、その時間比率ｄｔが、予め規定された第３特定値（ただし、第３特定値＜１）未満であれば、相対音長を「１」と特定する。また、時間比率ｄｔが第２特定値（ただし、第２特定値＞１）以上であれば、相対音長を「３」と特定し、時間比率ｄｔが第１特定値以上かつ第２特定値未満であれば、相対音長を「２」と特定している。
【００３６】
このように特定された相対音高及び相対音長（即ち、旋律推移特徴量）それぞれを、当該相対音高及び相対音長が時間進行に沿って何番目の旋律推移特徴量であるのかを表すデータ番号に対応付けることで、図５に示すような頂点データが生成される。
【００３７】
なお、平滑音高極値ｅｘg、音高差ｄｐg、時間長ｔg、時間比率ｄｔgに付された添え字ｇは、これらの平滑音高極値ｅｘ、音高差ｄｐ、時間長ｔ、時間比率ｄｔが基準旋律から導出されたものであることを表すものである。
〈音声処理装置について〉
次に、音声処理装置２０について説明する。
【００３８】
ここで図１へと戻り、音声処理装置２０は、通信部２１と、表示部２２と、操作受付部２３と、マイクロホン２４と、音声入力部２５と、音声出力部２６と、スピーカ２７と、記憶部２８と、制御部３０とを備えている。
【００３９】
このうち、通信部２１は、音声処理装置２０をネットワーク（例えば、専用回線や、ＷＡＮ）に接続し、その接続されたネットワークを介して外部（即ち、サーバ４０）と通信を行うための通信インタフェースである。
【００４０】
そして、表示部２２は、例えば、液晶ディスプレイ等から構成された周知の表示装置である。また、操作受付部２３は、例えば、キーボードやポインティングデバイス（例えば、マウス）等の周知の入力装置からなる。
【００４１】
マイクロホン２４は、音声を入力するための周知の装置である。そして、音声入力部２５は、マイクロホン２４を介して入力された音声（アナログ信号）をサンプリングし、そのサンプリング値（標本値）を制御部３０に入力するＡＤ変換器として構成されている。なお、以下では、音声入力部２５にてサンプリング値へと変換された入力音声全体を音声データと称す。
【００４２】
さらに、音声出力部２６は、制御部３０からの指令に基づく制御信号を、スピーカ２７に出力するように構成されている。そして、スピーカ２７は、音声出力部２６からの制御信号を音に変換して放音するように構成されている。
【００４３】
また、記憶部２８は、電源が切断されても記憶内容を保持すると共に、記憶内容を読み書き可能に構成された記憶装置（例えば、ハードディスクドライブ）であり、プログラムや通信部２１を介してサーバから取得した楽曲データ等が格納される。
【００４４】
次に、制御部３０は、ＲＯＭ３１と、ＲＡＭ３２と、ＣＰＵ３３とを少なくとも有した周知のマイクロコンピュータを中心に構成されている。
このうち、ＲＯＭ３１は、電源が切断されても記憶内容を保持する必要のあるプログラムやデータを格納するものである。また、ＲＡＭ３２は、プログラムやデータを一時的に格納するものであり、記憶部２８からの処理プログラムが転送されて格納されるものである。
【００４５】
そして、ＣＰＵ３３は、ＲＯＭ３１やＲＡＭ３２に記憶された処理プログラムに従って各処理を実行して、音声処理装置２０を構成する各部２１，２２，２３，２５（２４），２６（２７）,２８に対する制御する。
【００４６】
なお、本実施形態では、制御部３０（より正確には、ＣＰＵ３３）が実行する処理プログラムとして、利用者がマイクロホン２４を介して入力した入力音声に基づいて、予め用意された楽曲の中から、入力対応曲を検索する楽曲検索処理を実行するためのものが用意されている。
【００４７】
そして、楽曲検索処理には、入力音声についての推移特徴量である音声特徴量を、入力音声から導出し、その導出された音声特徴量を頂点データに照合した結果に基づいて、意図予想曲を検索する特徴量照合処理が含まれている。さらに、楽曲検索処理には、入力音声を採譜した採譜結果を、音符データに照合した結果に基づいて意図予想曲を検索する音符照合処理が含まれている。
【００４８】
つまり、音声処理装置２０が楽曲検索処理を実行することにより、本発明の特徴量照合装置として機能する。
なお、詳しくは後述する特徴量照合処理において音声特徴量を導出する過程で導出される平滑音高極値ｅｘ、音高差ｄｐ、時間長ｔ、時間比率ｄｔには、添え字ｉを付す。この添え字ｉは、その添え字ｉが付されたそれらの指標が、音声処理装置２０に入力された入力音声から導出されたことを意味するものであり、基準旋律から導出されたそれらの指標と区別するためのものである。なお、平滑音高極値ｅｘi、音高差ｄｐi、時間長ｔi、時間比率ｄｔiは、導出する際に入力される対象が異なること（すなわち、基準旋律であるか入力音声であるか）を除けば、平滑音高極値ｅｘg、音高差ｄｐg、時間長ｔg、時間比率ｄｔgと同様の処理によって導出されている。
〈楽曲検索処理について〉
次に、制御部３０が実行する楽曲検索処理について説明する。
【００４９】
ここで、図６は、楽曲検索処理の処理手順を示すフローチャートである。
この楽曲検索処理は、マイクロホン２４を介して入力された入力音声に基づく音声データが、少なくとも１つ記憶部２８に格納された後、操作受付部２３を介して起動指令を受け付けると起動される。ここでの入力音声は、時間の進行に沿って、一定時間以上連続（継続）したものであることが望ましい。
【００５０】
そして、図６に示すように、楽曲検索処理は、起動されると、まず、Ｓ１１０にて、記憶部２８に記憶された音声データの１つから音声特徴量を導出し、その導出した音声特徴量を、各楽曲の頂点データに照合する特徴量照合処理を実行する。この特徴量照合処理により、音声特徴量を頂点データに照合した結果として、音声特徴量と頂点データとの一致度合いが高いほど値が大きい特徴量一致度が、楽曲毎に導出される。
【００５１】
続く、Ｓ１２０では、記憶部２８に記憶された音声データの１つから、その音声データに対応する入力音声を採譜した結果である音声音符データを導出し、その導出した音声音符データを各楽曲のガイドメロディに照合する音符照合処理を実行する。この音符照合処理により、音声音符データをガイドメロディに照合した結果として、音声音符データとガイドメロディとの一致度合いが高いほど大きな値となる音符一致度が、楽曲毎に導出される。
【００５２】
そして、Ｓ１３０では、Ｓ１１０にて導出された特徴量一致度、及びＳ１２０にて導出された音符一致度に基づいて、同一楽曲に対する特徴量一致度及び音符一致度の両方が大きな値であるほど、大きな値となる統合一致度を楽曲毎に導出する。
【００５３】
続く、Ｓ１４０では、Ｓ１３０にて導出された統合一致度の中で、値が最大である統合一致度に対応する楽曲を意図予想曲として特定する。さらに、Ｓ１５０では、Ｓ１４０にて特定された意図予想曲についての曲名データを取得し、その取得された曲名データに対応する曲名を、表示部２２に表示すると共に、その曲名をスピーカ２７から音声にて出力する。すなわち、意図予想曲の曲名が報知される。
【００５４】
その後、本楽曲検索処理を終了する。
〈特徴量照合処理について〉
次に、楽曲検索処理のＳ１１０にて起動される特徴量照合処理について説明する。
【００５５】
ここで、図７は、特徴量照合処理の処理手順を示したフローチャートである。
この特徴量照合処理は、図７に示すように、楽曲検索処理のＳ１１０にて起動されると、まず、Ｓ２１０にて、記憶部２８に記憶されている音声データの中から、ひとつの音声データを取得する。
【００５６】
続く、Ｓ２２０では、Ｓ２１０にて取得した音声データに対して、周知のノーマライズ及び周知のノイズ除去処理を事前処理として実行する。
さらに、Ｓ２３０では、Ｓ２２０にて事前処理が実行された音声データを周波数解析する。この周波数解析として、本実施形態では、音声データにおける予め規定されたサンプリング数の標本値をＦＦＴ（Ｆａｓｔ Ｆｏｕｒｉｅｒ Ｔｒａｎｓｆｏｒｍ）する。これにより、サンプリング数に対応する分析期間内での音声の振幅スペクトル（即ち、周波数成分の分布）が導出される。なお、この周波数解析は、サンプリング数の標本値を、音声データの開始から終了までの間を、時間進行に沿った一部を重複させながら繰り返し取得して実行される。
【００５７】
続いて、Ｓ２４０では、周知の手法により、Ｓ２３０にて導出した振幅スペクトルに基づいて、各分析期間における音高（音声基本周波数ｆ０）を推定する。この基本周波数ｆ０を検出する方法として、本実施形態では、振幅スペクトルの周波数軸の自己相関値を用いる。
【００５８】
その周波数軸の自己相関値は、１つの振幅スペクトルの各周波数成分における振幅値と、その振幅スペクトルにおける各周波数成分から規定周波数幅だけ増加させた周波数成分における振幅値との積和である。このため、規定周波数幅だけ変位させた際に、基本周波数成分、またはその基本周波数の倍音成分が一致すると、自己相関値は大きな値となる。よって、周波数軸の自己相関値は、振幅スペクトル同士を、周波数軸に沿って規定周波数幅ずつ変位させた際の相関の強さであり、基本周波数成分の確からしさを表すものとなる。
【００５９】
よって、本実施形態においては、変位幅そのものを周波数として捉え、周波数軸の自己相関値が最大となるポジションの周波数を音声基本周波数ｆ０として推定する。
続く、Ｓ２５０では、Ｓ２４０にて推定された音高（音声基本周波数ｆ０）に基づいて、その音高の時間進行に沿った推移（即ち、音高推移、以下、音声音高推移と称す）を導出する。
【００６０】
そして、Ｓ２６０では、Ｓ２５０にて導出された音声音高推移を平滑化する。この平滑化として、本実施形態では、音声音高推移における単位区間（即ち、規定された時間長を有す区間）に含まれる全音高を取得する。その取得した全音高の中央値を算出し、その算出された中央値の移動平均を求めることで、音声音高推移を平滑化する。この平滑化を規定回数実行した結果を、時間進行に沿って分布させることにより、平滑化推移（本発明の平滑音高推移に相当）として導出する。なお、単位区間は、音声音高推移において、時間進行に沿って互いに連続かつ重複するように繰り返し規定される。
【００６１】
さらに、Ｓ２７０では、Ｓ２６０にて導出された平滑化推移を平滑化微分し、その平滑化微分の結果に従って、平滑音高推移についての平滑音高極値ｅｘiを検出する。
続く、Ｓ２８０では、Ｓ２７０にて検出された平滑音高極値ｅｘiの中で、時間進行に沿って隣接する平滑音高極値ｅｘiに基づいて、入力音声についての相対音高及び相対音長を導出する。具体的には、時間進行に沿って隣接する平滑音高極値ｅｘiから、音高差ｄｐiそれぞれ、及び時間比率ｄｔiそれぞれを導出する。そして、それらの導出した音高差ｄｐi、及び時間比率ｄｔiを、区分基準に従って単純化し、その単純化された音高差ｄｐiを相対音高として、単純化された時間比率ｄｔiを相対音長として特定する。つまり、Ｓ２８０では、相対音高および相対音長が音声特徴量として導出される。
【００６２】
続く、Ｓ２９０では、Ｓ２８０にて導出された音声特徴量を、入力音声の時間進行に沿って連続する予め規定された特徴量規定数毎に単語化（即ち、グループ化）する。この単語化に際しては、音声特徴量の一部が互いに重複するように実施する。以下、単語化された音声特徴量それぞれを、照合音声特徴量と称す。
【００６３】
さらに、Ｓ３００では、サーバ４０から取得され記憶部２８に記憶されている楽曲データに対応する楽曲の中から、照合音声特徴量を頂点データに照合する楽曲である照合楽曲を１つ決定する。
【００６４】
続く、Ｓ３１０では、Ｓ２９０にて生成された全ての照合音声特徴量の中から、１つの照合音声特徴量を取得する。ただし、照合音声特徴量を取得する際には、入力音声の時間進行において、音声開始に近い音声特徴量からなる照合特徴量を取得する。
【００６５】
そして、Ｓ３２０では、Ｓ３００にて決定された照合楽曲に対応する頂点データを形成する全ての旋律推移特徴量の中から、基準旋律の時間進行に沿って連続する特徴量規定数分だけ、旋律推移特徴量を単語化して取得する。この特徴量規定数分の旋律推移特徴量を単語化する際には、基準旋律の時間進行において、その基準旋律の開始に近い平滑音高極値から導出された旋律推移特徴量から実行する。以下、Ｓ３２０にて単語化した特徴量規定数分の旋律推移特徴量を、比較頂点データと称す。
【００６６】
続いて、Ｓ３３０では、Ｓ３１０にて取得した照合音声特徴量を、Ｓ３２０にて取得した比較頂点データに照合する。その照合の結果、照合音声特徴量と比較頂点データとが一致すれば（Ｓ３４０：ＹＥＳ）、Ｓ３５０へと進む。
【００６７】
そのＳ３５０では、特徴量一致度を導出すると共に、その導出した特徴量一致度をデータ番号と対応付けて記憶し、その後、Ｓ３６０へと進む。この特徴量一致度と対応付けられるデータ番号は、比較頂点データを形成する複数の旋律推移特徴量の中で、基準旋律の時間進行に沿って最初の旋律推移特徴量と対応付けられたものである。
【００６８】
一方、Ｓ３４０での照合の結果、照合音声特徴量と比較頂点データとが一致しなければ（Ｓ３４０：ＮＯ）、Ｓ３６０へと進む。
そのＳ３６０では、全ての旋律推移特徴量を単語化して、それらの単語化した旋律推移特徴量（即ち、比較頂点データ）に、Ｓ３１０にて取得した照合音声特徴量を照合したか否かを判定する。その判定の結果、全ての比較頂点データに照合音声特徴量を照合していなければ、Ｓ３２０へと戻る。そのようにして移行したＳ３２０では、前回のＳ３２０にて単語化した旋律推移特徴量に、基準旋律の時間進行に沿った一部が重複するように特徴量規定数分だけ、旋律推移特徴量を単語化して取得する。すなわち、新たな比較頂点データを生成して、Ｓ３３０へと進む。
【００６９】
これにより、１つの楽曲における全ての比較頂点データに対して、１つの照合音声特徴量の照合が完了するまで、Ｓ３２０からＳ３５０が繰り返し実行される。
なお、Ｓ３６０での判定の結果、全ての比較頂点データに照合音声特徴量を照合していれば、Ｓ３７０へと進む。そのＳ３７０では、全ての照合音声特徴量を取得して、各照合音声特徴量を比較頂点データに照合済みであるか否かを判定する。
【００７０】
そのＳ３７０での判定の結果、全ての照合音声特徴量を比較頂点データに照合していなければ、Ｓ３１０へと戻る。そのようにして移行したＳ３１０では、比較頂点データに対して未照合の照合音声特徴量の中から、１つの照合音声特徴量を取得する。ただし、照合音声特徴量を取得する際には、入力音声の時間進行において、音声開始に近い音声特徴量からなる照合特徴量を取得する。
【００７１】
その後、Ｓ３７０にて肯定判定されるまで、Ｓ３１０〜Ｓ３７０までのステップを繰り返す。以下、Ｓ３１０〜Ｓ３７０までの一回の流れを、別特徴照合サイクルと称す。また、別特徴照合サイクルにて、照合音声特徴量を取得してから新たな照合音声特徴量を取得するまでのＳ３２０〜Ｓ３６０の一回の流れを、同一特徴照合サイクルと称す。
【００７２】
この同一特徴照合サイクルを繰り返す過程の中で、Ｓ３４０にて肯定判定されると、Ｓ３５０へと進む。そのようにして移行したＳ３５０では、今回の別特徴照合サイクルにて照合音声特徴量と一致した比較頂点データが、前回の別特徴照合サイクルにて照合音声特徴量と一致した比較頂点データと、基準旋律の時間進行上連続するものであるか否かを判定（以下、連続判定とする）する。具体的には、前回の別特徴照合サイクルにて特徴量一致度に対応付けられたデータ番号の中に、今回Ｓ３５０へと進んだ際に、照合音声特徴量に一致したと判定された比較頂点データを形成する旋律推移特徴量のデータ番号よりも、照合楽曲における時間進行上１つ前であることを示すデータ番号があれば、連続判定における判定結果が肯定されたものとする。
【００７３】
その連続判定の結果が肯定判定であれば、連続して肯定判定された別特徴量照合サイクルの回数を「べき指数」として、予め規定された初期規定値を累乗した値を、特徴量一致度として導出する。一方、連続判定の結果が否定判定であれば、初期規定値そのものを、特徴量一致度として導出する。
【００７４】
つまり、特徴量一致度は、入力音声の時間進行に沿った照合特徴量が連続して、楽曲の時間進行に沿った比較頂点データに一致するほど、大きな値となる。
なお、Ｓ３７０にて肯定判定されると、Ｓ３８０へと進む。
【００７５】
そのＳ３８０では、先のＳ３１０にて決定された照合楽曲に対する特徴量一致度の中で、値が最大のものを、その照合楽曲に対応する曲名データと対応付けて、記憶部２８に記憶する。つまり、Ｓ３８０にて曲名データと対応付けられる特徴量一致度は、一つの照合楽曲に対する別特徴照合サイクルの繰り返しにて導出された全特徴量一致度の中で、値が最大のものである。
【００７６】
続く、Ｓ３９０では、記憶部２８に記憶されている楽曲データに対応する全ての楽曲を、照合楽曲として決定済みであるか否かを判定する。その判定の結果、全ての楽曲を照合楽曲として決定済みでなければ、Ｓ３００へと戻る。そのようにして移行したＳ３００では、照合楽曲として未決定の楽曲の中から、新たな楽曲を照合楽曲として決定して、Ｓ３１０へと進む。つまり、Ｓ３００からＳ３９０までのステップを、記憶部２８に記憶されている全ての楽曲データ中の頂点データに照合音声特徴量の照合が完了するまで繰り返す。
【００７７】
なお、Ｓ３９０での判定の結果、記憶部２８に記憶されている全ての楽曲を照合楽曲として決定済みであれば、楽曲検索処理へと戻り、その楽曲検索処理のＳ１２０へと進む。
つまり、本実施形態の特徴量照合処理では、入力音声の音高推移の特徴を表す特徴量（即ち、音声特徴量）として、平滑化推移における音高極値の間の音高差ｄｐi及び時間比率ｄｔi、即ち、相対的な音高及び音長を導出する。そして、その導出された音声特徴量を単語化した照合音声特徴量を生成して、その生成された照合音声特徴量を、全ての比較頂点データに照合する。その照合の結果、入力音声の時間進行に沿った照合特徴量が連続して、比較頂点データに一致するほど、大きな値の特徴量一致度を導出する。
〈音符照合処理について〉
次に、楽曲検索処理のＳ１２０にて起動される音符照合処理について説明する。
【００７８】
ここで、図８は、音符照合処理の処理手順を示したフローチャートである。
この音符照合処理は、図８に示すように、楽曲検索処理のＳ１２０にて起動されると、まず、Ｓ４１０にて、記憶部２８に記憶されている音声データの中から、先のＳ２１０にて取得されたものと同一の音声データを取得する。
【００７９】
続く、Ｓ４２０では、Ｓ４１０にて取得した音声データに対して、事前処理を実行する。さらに、Ｓ４３０では、Ｓ４２０にて事前処理が実行された音声データを分析期間毎に周波数解析する。続いて、Ｓ４４０では、Ｓ４３０における周波数解析の結果に従って、各分析期間における音高（音声基本周波数ｆ０）を推定する。なお、これらＳ４２０、Ｓ４３０、Ｓ４４０での処理は、特徴量照合処理におけるＳ２１０，Ｓ２３０，Ｓ２４０と同様であるため、ここでの説明は省略する。
【００８０】
続く、Ｓ４５０では、Ｓ４１０にて取得した音声データの音圧変動に従って、１つの音符とみなせる音符期間を推定する周知の音符期間推定処理を実行する。具体的には、音声データの音圧が単調増加である区間において、時間進行上最初に規定値以上の増加率となる分析期間を音符開始タイミングする。また、音符開始タイミング以降にて、音声データの音圧が単調減少である区間において、時間進行上最初に規定値以上の減少率となる分析期間を音符終了タイミングとする。そして、それらの音符開始タイミング及び音符終了タイミングの間の期間それぞれを音符期間とする。
【００８１】
さらに、Ｓ４６０では、Ｓ４５０にて推定された音符期間それぞれに対応する全ての分析期間の音高（音声基本周波数ｆ０）に従って、その音符期間における音高を表す音符音高を推定する。具体的には、音符期間に対応する分析期間に占める割合がもっとも高い基本周波数に対応する音高を、音符音高として推定する。これにより、入力音声の時間進行に沿って、音符期間毎に、その音符期間の時間長（即ち、音価）と、その音符期間における音高と対応付けた音声音符データを生成する。つまり、Ｓ４６０では、入力音声が音符化される。
【００８２】
続く、Ｓ４７０では、Ｓ４６０にて生成された音声音符データを、入力音声の時間進行に沿って連続する予め規定された音符規定数毎に単語化（即ち、グループ化）する。この単語化に際しては、音声音符データの一部が互いに重複するように実施する。以下、単語化された音声音符データそれぞれを、単語音符データと称す。
【００８３】
さらに、Ｓ４８０では、サーバ４０から取得され記憶部２８に記憶されている楽曲データに対応する楽曲の中から、単語音符データを基準音符データ（即ち、ガイドメロディ）に照合する楽曲（以下、音符照合楽曲と称す）を１つ決定する。
【００８４】
続く、Ｓ４９０では、Ｓ４７０にて生成された全ての単語音符データの中から、１つの単語音符データを取得する。ただし、単語音符データを取得する際には、入力音声の時間進行において、音声開始に近い音声音符データを含むものを取得する。
【００８５】
そして、Ｓ５００では、Ｓ４８０にて決定された音符照合楽曲に対応する基準音符データを形成する構成音の音高及び音価の中から、時間進行に沿って連続する音符規定数分だけ単語化して取得する。この音符規定数分の音高及び音価を単語化する際には、基準旋律の時間進行において、その基準旋律の開始に近い構成音についての音高及び音価から実行する。以下、Ｓ５００にて単語化して取得した音符規定数分の構成音についての音高及び音価を、比較音符データとする。
【００８６】
続いて、Ｓ５１０では、Ｓ４９０にて取得した単語音符データを、Ｓ５００にて取得した比較音符データに照合する。その照合の結果、単語音符データと比較音符データとが一致すれば（Ｓ５２０：ＹＥＳ）、Ｓ５３０へと進む。
【００８７】
そのＳ５３０では、音符一致度を導出すると共に、その導出した音符一致度を構成音の番号と対応付けて記憶し、その後、Ｓ５４０へと進む。この音符一致度と対応付けられる構成音の番号は、比較音符データを形成する音符規定数の構成音の中で、基準旋律の時間進行に沿った最初の構成音に対応付けられたものである。
【００８８】
一方、Ｓ５１０での照合の結果、単語音符データと比較音符データとが一致しなければ（Ｓ５２０：ＮＯ）、Ｓ５４０へと進む。
そのＳ５４０では、全ての構成音についての音高及び音価を単語化して、その単語化によって生成された比較音符データに、Ｓ４９０にて取得した単語音符データを照合したか否かを判定する。その判定の結果、全ての比較音符データに単語音符データを照合していなければ、Ｓ５００へと戻る。そのようにして移行したＳ５００では、前回のＳ５００にて単語化した構成音についての音高及び音価と、基準旋律の時間進行に沿った一部が重複するように音符規定数分だけ、構成音についての音高及び音価を単語化して取得する。すなわち、新たな比較音符データを生成して、Ｓ５１０へと進む。
【００８９】
これにより、１つの楽曲における全ての構成音についての音高及び音価に対して、１つの単語音符データの照合が完了するまで、Ｓ５００からＳ５４０が繰り返し実行される。
なお、Ｓ５４０での判定の結果、全ての構成音についての音高及び音価を単語化して、その単語化によって生成された比較音符データに、単語音符データを照合していれば、Ｓ５５０へと進む。そのＳ５５０では、全ての単語音符データを取得して、比較音符データに照合済みであるか否かを判定する。
【００９０】
そのＳ５５０での判定の結果、全ての単語音符データを比較音符データに照合していなければ、Ｓ４９０へと戻る。そのＳ４９０では、比較音符データに対して未照合の単語音符データの中から、１つの単語音符データを取得する。ただし、単語音符データを取得する際には、入力音声の時間進行において、音声開始に近い音声音符データからなる単語音符データを取得する。
【００９１】
その後、Ｓ５５０にて肯定判定されるまで、Ｓ４９０〜Ｓ５５０までのステップを繰り返す。以下、Ｓ４９０〜Ｓ５５０までの一回の流れを、別音符照合サイクルと称す。また、別音符照合サイクルにて、単語音符データを取得してから新たな単語音符データを取得するまでの、Ｓ５００〜Ｓ５４０の一回の流れを、同一音符照合サイクルと称す。
【００９２】
この同一音符照合サイクルを繰り返す過程の中で、Ｓ５２０にて肯定判定されると、Ｓ５３０へと進む。そのようにして移行したＳ５３０では、今回の別音符照合サイクルにて単語音符データと一致した比較音符データが、前回の別音符照合サイクルにて単語音符データと一致した比較音符データと、基準旋律の時間進行上連続するものであるか否かを判定（以下、音符接続判定とする）する。具体的には、前回の別音符照合サイクルにて音符一致度に対応付けられた構成音の番号の中に、今回Ｓ５３０へと進んだ際に、単語音符データに一致したと判定された比較音符データを形成する構成音の番号よりも、基準旋律における時間進行上１つ前の構成音であることを示す番号があれば、音符接続判定における判定結果が肯定されたものとする。
【００９３】
その音符接続判定の判定結果が肯定であれば、連続して肯定判定された別音符照合サイクルの回数を「べき指数」として、初期規定値を累乗した値を音符一致度として導出する。一方、音符接続判定の判定結果が否定であれば、初期規定値そのものを音符一致度として導出する。
【００９４】
つまり、音符一致度は、入力音声の時間進行に沿った単語音符データが連続して、音符照合楽曲の基準旋律における時間進行に沿った比較音符データに一致するほど、大きな値となる。
【００９５】
なお、Ｓ５５０にて肯定判定されると、Ｓ５６０へと進む。そのＳ５６０では、先のＳ４８０にて決定された音符照合楽曲に対する音符一致度の中で、値が最大のものを、その音符照合楽曲に対応する曲名データと対応付けて、記憶部２８に記憶する。つまり、Ｓ５６０にて曲名データと対応付けられる音符一致度は、一つの音符照合楽曲に対する別音符照合サイクルの繰り返しにて導出された全音符一致度の中で、値が最大のものである。
【００９６】
続く、Ｓ５７０では、記憶部２８に記憶されている楽曲データに対応する全ての楽曲を、音符照合楽曲として決定済みであるか否かを判定する。その判定の結果、全ての楽曲を音符照合楽曲として決定済みでなければ、Ｓ４８０へと戻る。そのようにして移行したＳ４８０では、音符照合楽曲として未決定の楽曲の中から、新たな楽曲を音符照合楽曲として決定して、Ｓ４９０へと進む。つまり、Ｓ４９０からＳ５７０までのステップを、記憶部２８に記憶されている全ての楽曲データ中の基準音符データに、単語音符データの照合が完了するまで繰り返す。
【００９７】
なお、Ｓ５７０での判定の結果、記憶部２８に記憶されている全ての楽曲を音符照合楽曲として決定済みであれば、楽曲検索処理へと戻り、その楽曲検索処理のＳ１３０へと進む。
【００９８】
つまり、本実施形態の音符照合処理では、入力音声を音符化した音声音符データを生成し、その音声音符データを、楽曲毎に予め用意された基準音符データに照合する。そして、その照合結果として、入力音声の時間進行に沿って連続する音声音符データが、音符照合楽曲の基準旋律における時間進行に沿って連続して一致する比較音符データの数が多いほど、大きな値の音符一致度を導出している。
【００９９】
そして、本実施形態の楽曲検索処理では、特徴量一致度と、音声一致度とに基づいて導出した統合一致度が最も高いものに対応する楽曲を、意図予想曲として検出している。
［実施形態の効果］
以上説明したように、本実施形態の音声処理装置２０では、音声特徴量として、平滑化推移における極値の間の相対音高及び相対音長を導出している。しかも、本実施形態の音声処理装置２０にて導出される平滑化推移は、入力音声の音高推移を平滑化したものである。
【０１００】
よって、本実施形態にて導出される音声特徴量は、入力音声における音高推移の全体的な傾向を表すものになると共に、細かな音高の推移を無視したものとすることができる。
したがって、このような音声特徴量を旋律推移特徴量に照合することで導出された特徴量一致度を反映した結果から意図予想曲を特定することで、その特定結果（即ち、入力対応曲）が、利用者が意図したものに一致することになる。このため、本実施形態の音声処理装置２０によれば、採譜結果のみから意図予想曲を特定する場合に比べて、より多くの楽曲に対して、利用者が意図した曲が正しく検索される可能性を向上させることができる。
【０１０１】
特に、本実施形態の楽曲検索処理では、特徴量一致度と、音符一致度という、音高の推移に対して傾向が異なる２つの特徴量を用いて検索した結果から、意図予想曲を特定している。このため、本実施形態の楽曲検索処理によれば、意図予想曲が、利用者が意図したものに正しく一致することを、様々な音高推移の傾向を有した曲、即ち、より多くの曲に対して実現できる。
【０１０２】
なお、本実施形態の特徴量照合処理、及び音符照合処理では、音声特徴量または音声音符データがそれぞれの時間進行に沿って連続して、旋律推移特徴量または基準音符データに一致する数が多いほど、大きな値の特徴量一致度または音符一致度を導出している。
【０１０３】
このため、本実施形態の楽曲検索処理では、時間進行の中で導出された１つの音声特徴量または音声音符データが、旋律推移特徴量または基準音符データに偶発的に一致しただけでは、特徴量一致度または音符一致度の値は大きなものとならない。よって、本実施形態の楽曲検索処理によれば、誤って、利用者が意図しない楽曲が、意図予想曲として特定されることを低減できる。
［その他の実施形態］
以上、本発明の実施形態について説明したが、本発明は上記実施形態に限定されるものではなく、本発明の要旨を逸脱しない範囲において、様々な態様にて実施することが可能である。
【０１０４】
例えば、上記実施形態における楽曲検索処理では、意図予想曲を検索する際に、特徴量照合処理と、音符照合処理との両方の処理結果に基づいて検索を実行していたが、楽曲検索処理における意図予想曲の検索は、特徴量照合処理にて導出された特徴量一致度にのみ基づくものでもよい。つまり、楽曲検索処理では、値が最大である特徴量一致度に対応する楽曲を意図予想曲としてもよい。この場合、楽曲検索処理のＳ１２０は、実行しなくとも良く、楽曲検索処理のＳ１３０では、特徴量一致度そのものを統合一致度として導出すれば良い。
【０１０５】
ところで、上記実施形態における楽曲検索処理では、信号処理する対象の音声データを、記憶部２８に記憶された音声データとしていたが、楽曲検索処理にて信号処理の対象とする音声データは、音声入力部２５にてサンプリングされた直後の音声データであっても良い。つまり、楽曲検索処理では、マイクロホン２４を介して入力された音声をリアルタイムに処理しても良い。
【０１０６】
また、上記実施形態では、特徴量照合処理において、音声特徴量が照合される頂点データを、楽曲データの一部として予め用意していたが、頂点データは、これに限るものではない。例えば、特徴量照合処理を実行する過程にて生成しても良い。
【０１０７】
なお、上記実施形態では、頂点データを形成する相対音長として、時間比率ｄｔを導出していたが、相対音長は、時間比率ｄｔに限るものではなく、例えば、対象区間の時間長そのもの、即ち、極値間の時間差であっても良い。
【０１０８】
また、上記実施形態では、推移特徴量を導出する過程にて実行する音高推移の平滑化として、中央値の算出と、移動平均値の算出とを組み合わせて実行していたが、音高推移の平滑化は、これに限るものではなく、例えば、中央値の算出と、移動平均値の算出とのいずれか一方のみを実行することでなされても良い。さらに言えば、中央値の算出または移動平均の導出以外の周知の方法にて平滑化されていてもよい。
【０１０９】
また、上記実施形態における特徴量照合処理、及び音符照合処理では、音声特徴量または音声音符データを、旋律推移特徴量または基準音符データに照合する際に、単語化して照合していたが、これらを照合する際には、音声特徴量または音声音符データを単語化することなく、旋律推移特徴量または基準音符データに照合しても良い。
【０１１０】
なお、上記実施形態における音声処理装置２０は、スピーカ２７と音声出力部２６とを備えていなくとも良い。
ところで、上記実施形態では、音声処理装置２０にて楽曲検索処理を実行していたが、楽曲検索処理は、サーバ４０にて実行されていても良い。
【０１１１】
逆に、楽曲検索システム１は、音声処理装置２０のみから構成されていても良い。この場合、楽曲データは、予め記憶部２８に記憶されている必要がある。
［実施形態と特許請求の範囲との対応関係］
最後に、上記実施形態の記載と、特許請求の範囲の記載との関係を説明する。
【０１１２】
上記実施形態の特徴量照合処理におけるＳ２５０を実行することで得られる機能が、本発明の音高推移導出手段に相当し、Ｓ２６０を実行することで得られる機能が、本発明の平滑化手段に相当する。さらに、特徴量照合処理におけるＳ２７０を実行することで得られる機能が、本発明の極値検出手段に相当し、Ｓ２８０を実行することで得られる機能が、本発明の特徴量導出手段に相当する。また、特徴量照合処理におけるＳ２９０〜Ｓ３９０を実行することで得られる機能が、本発明の特徴量照合手段に相当する。
【０１１３】
そして、上記実施形態の楽曲検索処理におけるＳ１３０〜Ｓ１５０を実行することで得られる機能が、本発明の結果出力手段に相当する。
なお、上記実施形態の音符照合処理におけるＳ４３０〜Ｓ４６０を実行することで得られる機能が、本発明の音符化手段に相当し、Ｓ４７０〜Ｓ５７０を実行することで得られる機能が、本発明の音符照合手段に相当する。
【符号の説明】
【０１１４】
１…楽曲検索システム ２０…音声処理装置 ２１…通信部 ２２…表示部 ２３…操作受付部 ２４…マイクロホン ２５…音声入力部 ２６…音声出力部 ２７…スピーカ ２８…記憶部 ３０…制御部 ３１…ＲＯＭ ３２…ＲＡＭ ３３…ＣＰＵ ４０…サーバ ４１…記憶装置 ４２…マイクロコンピュータ
【技術分野】
【０００１】
本発明は、音高の推移から抽出した特徴量を用いた処理を実行する特徴量照合装置、及びプログラムに関する。
【背景技術】
【０００２】
従来、予め用意された複数の曲の中から、利用者が発声することで入力された音声に従って、その利用者が意図した曲を検索する楽曲検索装置が知られている。
この種の楽曲検索装置では、曲毎に、各曲の譜面を表す譜面データ（即ち、各音の音高と音価との両方が表されたデータ）が予め用意されている。そして、当該楽曲検索装置に入力された音声を採譜し、その採譜した結果である音符（即ち、各音の音高と音価との両方）それぞれを、音声が入力された順序に従って譜面データに照合する。その照合の結果、一致度が基準値よりも高い譜面データに対応する曲を、利用者が意図した曲として推定することがなされている（例えば、特許文献１参照）。
【０００３】
つまり、特許文献１に記載の楽曲検索装置では、採譜した結果（即ち、各音の音高と音長とによって規定される音符）を特徴量として用いて、利用者が意図した曲を予め用意された曲の中から検索している。
【先行技術文献】
【特許文献】
【０００４】
【特許文献１】特開２００２−１５７２５５号公報
【発明の概要】
【発明が解決しようとする課題】
【０００５】
ところで、一般的に、専門的な訓練を受けていない人物（以下、一般ユーザと称す）が歌唱する場合、その一般ユーザが思い描く全ての音高を正確に発声することは困難である。よって、一般ユーザが歌唱する場合、その一般ユーザが意図した曲に対応する譜面データに表された音高（以下、譜面音高と称す）に一致しない音高にて発声される分量・割合が多い。
【０００６】
このような状況下においては、特許文献１に記載の楽曲検索装置では、譜面音高に一致しない音高のまま採譜される。このため、特許文献１に記載の楽曲検索装置では、採譜結果である音符の中に、譜面データに一致しない音符が含まれることになり、採譜結果が、利用者が意図した曲とは別の曲になるという問題があった。
【０００７】
つまり、採譜した結果である音符を特徴量として用いると、音高の細かな推移まで一致しなければ、出力結果が、利用者が意図したものにならないという問題があった。
そこで、本発明は、特徴量を照合した結果を用いて処理を実行する技術において、出力結果が、利用者が意図したものとなる可能性を向上させることを目的とする。
【課題を解決するための手段】
【０００８】
上記目的を達成するためになされた本発明の特徴量照合装置では、音高推移導出手段が、時間進行に沿って連続して入力された入力音声から、音高の推移を表す音高推移を導出し、平滑化手段が、その導出された音高推移を平滑化した平滑音高推移を導出する。これと共に、極値検出手段が、平滑音高推移から、その平滑音高推移についての音高極値である平滑音高極値を検出し、その検出された平滑音高極値に基づいて、特徴量導出手段が、平滑音高極値についての推移特徴量である音声特徴量を導出する。なお、ここでいう音高極値とは、音高推移における音高変化の極値であり、ここでいう推移特徴量とは、時間進行に沿って連続する音高極値の間での音高差及び時間長の比率である。
【０００９】
さらに、本発明の特徴量照合装置では、特徴量照合手段が、特徴量導出手段で導出された音声特徴量それぞれを旋律特徴量それぞれに照合することで、音声特徴量と旋律特徴量との一致度が高いほど大きな値となる特徴量一致度を曲毎に導出すると共に、結果出力手段が、少なくとも、特徴量一致度に基づき、特徴量一致度の中で、値が最大の特徴量一致度に対応する曲である入力対応曲を出力する。ただし、ここでいう旋律特徴量とは、曲毎に予め用意され、かつ曲を構成する構成音の音高推移が平滑化された平滑化旋律における音高極値についての推移特徴量である。
【００１０】
つまり、本発明の特徴量照合装置では、音声特徴量として、平滑音高推移における音高極値の間の音高差及び時間長の比率、即ち、相対的な音高及び音長を用いている。しかも、本発明の特徴量照合装置では、音高推移を平滑化することで、平滑音高推移を導出している。
【００１１】
よって、本発明の特徴量照合装置によって導出される音声特徴量は、入力音声における音高の推移の全体的な傾向を表すものとなり、この結果、音声特徴量は、細かな音高の推移を無視した特徴量とすることができる。
【００１２】
したがって、このような音声特徴量を旋律特徴量に照合することで導出された特徴量一致度が最も大きなものに対応する曲を入力対応曲とすることで、出力結果が、利用者が意図したものとなる可能性を向上させることができる。換言すれば、本発明の特徴量照合装置によれば、利用者が意図した曲が検索され、出力される可能性を向上させることができる。
【００１３】
また、本発明の特徴量照合装置における特徴量照合手段は、請求項２に記載のように、時間進行に沿った音声特徴量それぞれが連続して一致する旋律特徴量が多いほど、大きな値の特徴量一致度を導出するように構成されていても良い。
【００１４】
このように構成された特徴量照合装置では、時間進行の中で導出された１つの音声特徴量が、偶発的に旋律特徴量に一致しただけでは、導出される特徴量一致度の値は大きなものとならない。このため、本発明の特徴量照合装置によれば、誤って、利用者が意図しない結果となることを防止できる。
【００１５】
なお、本発明の特徴量照合装置において、平滑化手段が実行する平滑化は、請求項３に記載のように、単位区間それぞれに含まれる全音高の中央値の算出、及び移動平均値の算出の少なくとも一方によって実行されていても良い。
【００１６】
このような平滑化により、音高遷移から平滑化音高遷移を導出する際に、使用者が意図しない音高の細かな揺らぎや、ノイズを除去できる。
特に、中央値の算出と、移動平均の算出との両方を実行すれば、音高の細かな揺らぎや、ノイズをより確実に実行することができる。
【００１７】
また、本発明の特徴量照合装置において、特徴量照合手段が実行する出力とは、請求項４に記載のように、入力対応曲を画像にて表示、入力対応曲を音声にて通知すること、またはそれらの組合せであっても良い。
【００１８】
このような特徴量照合装置によれば、当該特徴量照合装置の使用者に入力対応曲を認識させることができる。
なお、ここでいう画像とは、表示装置に表示されるものであり、表示装置に表示される画面（例えば、文字列などからなる）を含むものである。
【００１９】
さらに、本発明の特徴量照合装置は、請求項５に記載のように、音高推移に従って、音符化手段が、入力音声の音高及び音価を表す音符データに変換し、音符照合手段が、曲毎に予め用意され、かつ曲を構成する構成音それぞれの音高及び音価を表す基準音符データに、音符化手段にて変換された音符データそれぞれを曲毎に照合することで音符一致度を導出するように構成されていても良い。
【００２０】
ただし、このように構成された特徴量照合装置における照合結果出力手段は、特徴量一致度、及び音符一致度に基づいて、特徴量一致度及び音符一致度の両方が大きいほど大きな値となるように演算した結果、最も大きな値に対応する曲を入力対応曲として出力するように構成されている必要がある。
【００２１】
このような特徴量照合装置では、音高の推移に対して傾向が異なる２つの特徴量を用いて、入力対応曲を検索して出力する。このため、本発明の特徴量照合装置によれば、利用者が意図した曲を出力結果（即ち、入力対応曲）とすることを、様々な音高推移の傾向を有した曲、即ち、より多くの曲に対して実現できる。
【００２２】
本発明は、コンピュータに実行させるプログラムとしてなされたものでも良い。
ただし、本発明のプログラムは、請求項６に記載のように、入力音声から音高推移を導出する音高推移導出手順と、その導出された音高推移を平滑化した平滑音高推移を導出する平滑化手順と、その導出された平滑音高推移から、その平滑音高推移の平滑音高極値を検出する極値検出手順と、極値検出手順にて検出された平滑音高極値に基づいて、入力音声の音声特徴量を導出する特徴量導出手順と、特徴量導出手順にて導出された音声特徴量それぞれを旋律特徴量それぞれに照合することで、特徴量一致度を曲毎に導出する特徴量照合手順と、その特徴量照合手順で導出された特徴量一致度に基づき、入力対応曲を出力する結果出力手順とをコンピュータに実行させる必要がある。
【００２３】
本発明がこのようになされたプログラムであれば、コンピュータ読み取り可能な記録媒体（例えば、ＤＶＤ−ＲＯＭ、ＣＤ−ＲＯＭ、ハードディスクや、フラッシュメモリ等）に記録し、必要に応じてコンピュータにロードさせて起動することや、必要に応じて通信回線を介してコンピュータに取得させて起動することにより用いることができる。そして、コンピュータに各手順を実行させることで、そのコンピュータを、請求項１に記載された特徴量照合装置として機能させることができる。
【図面の簡単な説明】
【００２４】
【図１】楽曲検索システムの概略構成を示すブロック図である。
【図２】ガイドメロディを模式的に示した模式図である。
【図３】頂点データの作成手順を説明するための説明図である。
【図４】頂点データの作成手順を説明するための説明図である。
【図５】頂点データの概要を示した説明図である。
【図６】楽曲検索処理の処理手順を示したフローチャートである。
【図７】特徴量照合検索処理の処理手順を示したフローチャートである。
【図８】音符照合検索処理の処理手順を示したフローチャートである。
【発明を実施するための形態】
【００２５】
以下に本発明の実施形態を図面と共に説明する。
まず、図１は、本発明が適用された楽曲検索システムの概略構成を示すブロック図である。
〈楽曲検索システムについて〉
楽曲検索システム１は、利用者が発声することで入力された入力音声から、その音声を入力する際に利用者が意図したと推定される楽曲（以下、意図予想曲と称す）を検索するものである。なお、検索結果として出力される意図予想曲が、本発明の入力対応曲に相当する。
【００２６】
このため、図１に示すように、楽曲検索システム１は、楽曲毎に予め用意された楽曲データを格納するサーバ４０と、入力音声から特徴量を抽出して、その抽出した特徴量を楽曲データに照合することで入力対応曲を出力する音声処理装置２０とを備えている。なお、音声処理装置２０は、ネットワーク（例えば、専用回線やＷＡＮ）を介してサーバ４０に接続されている。
【００２７】
このうち、サーバ４０は、楽曲データを格納する記憶装置４１と、ＲＯＭ，ＲＡＭ，ＣＰＵを少なくとも有した周知のマイクロコンピュータ４２とを備えた情報処理装置を中心に構成された周知のサービス用サーバ装置である。
〈楽曲データについて〉
次に、記憶装置４１に格納される楽曲データについて説明する。
【００２８】
この楽曲データは、当該楽曲を識別するためのデータである楽曲情報と、当該楽曲１曲の演奏開始から演奏終了までに要する時間を示す時間情報とを有している。さらに、楽曲データは、当該楽曲の旋律に関するデータであるガイドメロディと、当該楽曲における音高の時間軸に沿った推移の特徴を表す頂点データとを有している。
【００２９】
そして、楽曲情報には、楽曲を特定するための曲番号データと、その楽曲の曲名を示す曲名データとが少なくとも含まれている。
また、ガイドメロディは、図２に示すように、楽曲の主旋律（以下、基準旋律と称す）を形成する各構成音（図２中：ｎｏ１，ｎｏ２，…ｎｏ９）について、それぞれの音高及び音価が表された周知のデータであり、本発明の基準音符データに相当するものである。具体的に、本実施形態における構成音の音長は、楽音出力開始時間及び楽音出力終了時間によって表されている。ただし、ここで言う楽音出力開始時間とは、その構成音の出力を開始するまでの完成楽曲の演奏開始からの時間であり、楽音出力終了時間とは、その構成音の出力を終了するまでの完成楽曲の演奏開始からの時間である。つまり、楽音出力開始時間と楽音出力終了時間との間の時間長が、当該構成音の音長となる。
〈頂点データについて〉
次に、楽曲データに含まれる頂点データは、予め作成されたものであり、ガイドメロディによって表される基準旋律を平滑化した平滑化旋律についての推移特徴量からなる。この推移特徴量とは、時間進行に沿った音高の推移（以下、音高推移と称す、頂点データにおいては、基準旋律が、この「音高の推移」に相当）を平滑化した平滑化推移（頂点データにおいては、平滑化旋律が、この「平滑化推移」に相当）にて、時間進行に沿って隣接する極値間の相対音高、及び相対音長である。以下、平滑化旋律（即ち、基準旋律）についての推移特徴量を旋律推移特徴量と称す。
【００３０】
その相対音高及び相対音長について、図３，４を用いて説明する。
この図３（Ａ）は、平滑化旋律を簡易的に示した図面であり、図３（Ｂ）は、平滑化旋律における極値（以下、平滑音高極値と称す）を簡易的に示した図面である。
【００３１】
そして、相対音高及び相対音長を導出する際には、まず、基準旋律において、時間進行に沿って互いに連続するように規定された時間長それぞれ（以下、単位区間とする）に含まれる全音高を取得する。なお、単位区間は、互いに重複するように基準旋律に対して規定される。そして、単位区間毎に取得された全音高の中央値を算出し、その算出された中央値の移動平均を求めることで、基準旋律を平滑化する。この平滑化を規定回数実行した結果を、時間進行に沿って分布させることにより、図３（Ａ）に示すような平滑化旋律が導出される。
【００３２】
続いて、その導出された平滑化旋律を平滑化微分した結果から、図３（Ｂ）に示すような、平滑音高極値それぞれ（図３（Ｂ）中、ｅｘg１、ｅｘg２、…ｅｘg６）を検出する。そして、図４に示すように、その検出された平滑音高極値ｅｘgの中で、時間進行に沿って互いに隣接する平滑音高極値ｅｘgの組それぞれ（図４中、ｅｘg１とｅｘg２との組、ｅｘg２とｅｘg３との組、…ｅｘg５とｅｘg６との組））から、音高差ｄｐg（図４中、第１音高差ｄｐg１，２、第２音高差ｄｐg２，３、…、第５音高差ｄｐg５，６）をそれぞれ導出する。さらに、時間進行に沿って互いに隣接する平滑音高極値ｅｘg間（以下、対象区間とする）の時間長ｔg（図４中、第１時間長ｔg１，２、第２時間長ｔg２，３、…、第５時間長ｔg５，６）をそれぞれ導出する。そして、導出された時間長ｔgに従って、時間進行に沿って互いに隣接する対象区間の時間長ｔg同士の比率（以下、時間比率とする）ｄｔgを導出する。
【００３３】
続いて、それらの導出された音高差ｄｐg、及び時間比率ｄｔgを単純化し、その単純化された音高差ｄｐgを相対音高、単純化された時間比率ｄｔgを相対音長として特定する。
なお、本実施形態における単純化は、音高差ｄｐ及び時間比率ｄｔそれぞれに予め設定された範囲を表す区分基準に従って実施される。
【００３４】
具体的に、本実施形態では、単純化の対象が音高差ｄｐである場合、音高差ｄｐの絶対値が、予め規定された第１特定値未満であれば、相対音高を「１」と特定する。また、音高差ｄｐの絶対値が、第１特定値以上かつ第２特定値（ただし、第２特定値＞第１特定値）未満であれば、相対音高を「２」と特定し、第２特定値以上であれば、相対音高を「３」と特定している。さらに、本実施形態では、音高差ｄｐが負の値であれば、各相対音高の前に「マイナス記号」を付す。
【００３５】
一方、本実施形態では、単純化の対象が時間比率ｄｔである場合、その時間比率ｄｔが、予め規定された第３特定値（ただし、第３特定値＜１）未満であれば、相対音長を「１」と特定する。また、時間比率ｄｔが第２特定値（ただし、第２特定値＞１）以上であれば、相対音長を「３」と特定し、時間比率ｄｔが第１特定値以上かつ第２特定値未満であれば、相対音長を「２」と特定している。
【００３６】
このように特定された相対音高及び相対音長（即ち、旋律推移特徴量）それぞれを、当該相対音高及び相対音長が時間進行に沿って何番目の旋律推移特徴量であるのかを表すデータ番号に対応付けることで、図５に示すような頂点データが生成される。
【００３７】
なお、平滑音高極値ｅｘg、音高差ｄｐg、時間長ｔg、時間比率ｄｔgに付された添え字ｇは、これらの平滑音高極値ｅｘ、音高差ｄｐ、時間長ｔ、時間比率ｄｔが基準旋律から導出されたものであることを表すものである。
〈音声処理装置について〉
次に、音声処理装置２０について説明する。
【００３８】
ここで図１へと戻り、音声処理装置２０は、通信部２１と、表示部２２と、操作受付部２３と、マイクロホン２４と、音声入力部２５と、音声出力部２６と、スピーカ２７と、記憶部２８と、制御部３０とを備えている。
【００３９】
このうち、通信部２１は、音声処理装置２０をネットワーク（例えば、専用回線や、ＷＡＮ）に接続し、その接続されたネットワークを介して外部（即ち、サーバ４０）と通信を行うための通信インタフェースである。
【００４０】
そして、表示部２２は、例えば、液晶ディスプレイ等から構成された周知の表示装置である。また、操作受付部２３は、例えば、キーボードやポインティングデバイス（例えば、マウス）等の周知の入力装置からなる。
【００４１】
マイクロホン２４は、音声を入力するための周知の装置である。そして、音声入力部２５は、マイクロホン２４を介して入力された音声（アナログ信号）をサンプリングし、そのサンプリング値（標本値）を制御部３０に入力するＡＤ変換器として構成されている。なお、以下では、音声入力部２５にてサンプリング値へと変換された入力音声全体を音声データと称す。
【００４２】
さらに、音声出力部２６は、制御部３０からの指令に基づく制御信号を、スピーカ２７に出力するように構成されている。そして、スピーカ２７は、音声出力部２６からの制御信号を音に変換して放音するように構成されている。
【００４３】
また、記憶部２８は、電源が切断されても記憶内容を保持すると共に、記憶内容を読み書き可能に構成された記憶装置（例えば、ハードディスクドライブ）であり、プログラムや通信部２１を介してサーバから取得した楽曲データ等が格納される。
【００４４】
次に、制御部３０は、ＲＯＭ３１と、ＲＡＭ３２と、ＣＰＵ３３とを少なくとも有した周知のマイクロコンピュータを中心に構成されている。
このうち、ＲＯＭ３１は、電源が切断されても記憶内容を保持する必要のあるプログラムやデータを格納するものである。また、ＲＡＭ３２は、プログラムやデータを一時的に格納するものであり、記憶部２８からの処理プログラムが転送されて格納されるものである。
【００４５】
そして、ＣＰＵ３３は、ＲＯＭ３１やＲＡＭ３２に記憶された処理プログラムに従って各処理を実行して、音声処理装置２０を構成する各部２１，２２，２３，２５（２４），２６（２７）,２８に対する制御する。
【００４６】
なお、本実施形態では、制御部３０（より正確には、ＣＰＵ３３）が実行する処理プログラムとして、利用者がマイクロホン２４を介して入力した入力音声に基づいて、予め用意された楽曲の中から、入力対応曲を検索する楽曲検索処理を実行するためのものが用意されている。
【００４７】
そして、楽曲検索処理には、入力音声についての推移特徴量である音声特徴量を、入力音声から導出し、その導出された音声特徴量を頂点データに照合した結果に基づいて、意図予想曲を検索する特徴量照合処理が含まれている。さらに、楽曲検索処理には、入力音声を採譜した採譜結果を、音符データに照合した結果に基づいて意図予想曲を検索する音符照合処理が含まれている。
【００４８】
つまり、音声処理装置２０が楽曲検索処理を実行することにより、本発明の特徴量照合装置として機能する。
なお、詳しくは後述する特徴量照合処理において音声特徴量を導出する過程で導出される平滑音高極値ｅｘ、音高差ｄｐ、時間長ｔ、時間比率ｄｔには、添え字ｉを付す。この添え字ｉは、その添え字ｉが付されたそれらの指標が、音声処理装置２０に入力された入力音声から導出されたことを意味するものであり、基準旋律から導出されたそれらの指標と区別するためのものである。なお、平滑音高極値ｅｘi、音高差ｄｐi、時間長ｔi、時間比率ｄｔiは、導出する際に入力される対象が異なること（すなわち、基準旋律であるか入力音声であるか）を除けば、平滑音高極値ｅｘg、音高差ｄｐg、時間長ｔg、時間比率ｄｔgと同様の処理によって導出されている。
〈楽曲検索処理について〉
次に、制御部３０が実行する楽曲検索処理について説明する。
【００４９】
ここで、図６は、楽曲検索処理の処理手順を示すフローチャートである。
この楽曲検索処理は、マイクロホン２４を介して入力された入力音声に基づく音声データが、少なくとも１つ記憶部２８に格納された後、操作受付部２３を介して起動指令を受け付けると起動される。ここでの入力音声は、時間の進行に沿って、一定時間以上連続（継続）したものであることが望ましい。
【００５０】
そして、図６に示すように、楽曲検索処理は、起動されると、まず、Ｓ１１０にて、記憶部２８に記憶された音声データの１つから音声特徴量を導出し、その導出した音声特徴量を、各楽曲の頂点データに照合する特徴量照合処理を実行する。この特徴量照合処理により、音声特徴量を頂点データに照合した結果として、音声特徴量と頂点データとの一致度合いが高いほど値が大きい特徴量一致度が、楽曲毎に導出される。
【００５１】
続く、Ｓ１２０では、記憶部２８に記憶された音声データの１つから、その音声データに対応する入力音声を採譜した結果である音声音符データを導出し、その導出した音声音符データを各楽曲のガイドメロディに照合する音符照合処理を実行する。この音符照合処理により、音声音符データをガイドメロディに照合した結果として、音声音符データとガイドメロディとの一致度合いが高いほど大きな値となる音符一致度が、楽曲毎に導出される。
【００５２】
そして、Ｓ１３０では、Ｓ１１０にて導出された特徴量一致度、及びＳ１２０にて導出された音符一致度に基づいて、同一楽曲に対する特徴量一致度及び音符一致度の両方が大きな値であるほど、大きな値となる統合一致度を楽曲毎に導出する。
【００５３】
続く、Ｓ１４０では、Ｓ１３０にて導出された統合一致度の中で、値が最大である統合一致度に対応する楽曲を意図予想曲として特定する。さらに、Ｓ１５０では、Ｓ１４０にて特定された意図予想曲についての曲名データを取得し、その取得された曲名データに対応する曲名を、表示部２２に表示すると共に、その曲名をスピーカ２７から音声にて出力する。すなわち、意図予想曲の曲名が報知される。
【００５４】
その後、本楽曲検索処理を終了する。
〈特徴量照合処理について〉
次に、楽曲検索処理のＳ１１０にて起動される特徴量照合処理について説明する。
【００５５】
ここで、図７は、特徴量照合処理の処理手順を示したフローチャートである。
この特徴量照合処理は、図７に示すように、楽曲検索処理のＳ１１０にて起動されると、まず、Ｓ２１０にて、記憶部２８に記憶されている音声データの中から、ひとつの音声データを取得する。
【００５６】
続く、Ｓ２２０では、Ｓ２１０にて取得した音声データに対して、周知のノーマライズ及び周知のノイズ除去処理を事前処理として実行する。
さらに、Ｓ２３０では、Ｓ２２０にて事前処理が実行された音声データを周波数解析する。この周波数解析として、本実施形態では、音声データにおける予め規定されたサンプリング数の標本値をＦＦＴ（Ｆａｓｔ Ｆｏｕｒｉｅｒ Ｔｒａｎｓｆｏｒｍ）する。これにより、サンプリング数に対応する分析期間内での音声の振幅スペクトル（即ち、周波数成分の分布）が導出される。なお、この周波数解析は、サンプリング数の標本値を、音声データの開始から終了までの間を、時間進行に沿った一部を重複させながら繰り返し取得して実行される。
【００５７】
続いて、Ｓ２４０では、周知の手法により、Ｓ２３０にて導出した振幅スペクトルに基づいて、各分析期間における音高（音声基本周波数ｆ０）を推定する。この基本周波数ｆ０を検出する方法として、本実施形態では、振幅スペクトルの周波数軸の自己相関値を用いる。
【００５８】
その周波数軸の自己相関値は、１つの振幅スペクトルの各周波数成分における振幅値と、その振幅スペクトルにおける各周波数成分から規定周波数幅だけ増加させた周波数成分における振幅値との積和である。このため、規定周波数幅だけ変位させた際に、基本周波数成分、またはその基本周波数の倍音成分が一致すると、自己相関値は大きな値となる。よって、周波数軸の自己相関値は、振幅スペクトル同士を、周波数軸に沿って規定周波数幅ずつ変位させた際の相関の強さであり、基本周波数成分の確からしさを表すものとなる。
【００５９】
よって、本実施形態においては、変位幅そのものを周波数として捉え、周波数軸の自己相関値が最大となるポジションの周波数を音声基本周波数ｆ０として推定する。
続く、Ｓ２５０では、Ｓ２４０にて推定された音高（音声基本周波数ｆ０）に基づいて、その音高の時間進行に沿った推移（即ち、音高推移、以下、音声音高推移と称す）を導出する。
【００６０】
そして、Ｓ２６０では、Ｓ２５０にて導出された音声音高推移を平滑化する。この平滑化として、本実施形態では、音声音高推移における単位区間（即ち、規定された時間長を有す区間）に含まれる全音高を取得する。その取得した全音高の中央値を算出し、その算出された中央値の移動平均を求めることで、音声音高推移を平滑化する。この平滑化を規定回数実行した結果を、時間進行に沿って分布させることにより、平滑化推移（本発明の平滑音高推移に相当）として導出する。なお、単位区間は、音声音高推移において、時間進行に沿って互いに連続かつ重複するように繰り返し規定される。
【００６１】
さらに、Ｓ２７０では、Ｓ２６０にて導出された平滑化推移を平滑化微分し、その平滑化微分の結果に従って、平滑音高推移についての平滑音高極値ｅｘiを検出する。
続く、Ｓ２８０では、Ｓ２７０にて検出された平滑音高極値ｅｘiの中で、時間進行に沿って隣接する平滑音高極値ｅｘiに基づいて、入力音声についての相対音高及び相対音長を導出する。具体的には、時間進行に沿って隣接する平滑音高極値ｅｘiから、音高差ｄｐiそれぞれ、及び時間比率ｄｔiそれぞれを導出する。そして、それらの導出した音高差ｄｐi、及び時間比率ｄｔiを、区分基準に従って単純化し、その単純化された音高差ｄｐiを相対音高として、単純化された時間比率ｄｔiを相対音長として特定する。つまり、Ｓ２８０では、相対音高および相対音長が音声特徴量として導出される。
【００６２】
続く、Ｓ２９０では、Ｓ２８０にて導出された音声特徴量を、入力音声の時間進行に沿って連続する予め規定された特徴量規定数毎に単語化（即ち、グループ化）する。この単語化に際しては、音声特徴量の一部が互いに重複するように実施する。以下、単語化された音声特徴量それぞれを、照合音声特徴量と称す。
【００６３】
さらに、Ｓ３００では、サーバ４０から取得され記憶部２８に記憶されている楽曲データに対応する楽曲の中から、照合音声特徴量を頂点データに照合する楽曲である照合楽曲を１つ決定する。
【００６４】
続く、Ｓ３１０では、Ｓ２９０にて生成された全ての照合音声特徴量の中から、１つの照合音声特徴量を取得する。ただし、照合音声特徴量を取得する際には、入力音声の時間進行において、音声開始に近い音声特徴量からなる照合特徴量を取得する。
【００６５】
そして、Ｓ３２０では、Ｓ３００にて決定された照合楽曲に対応する頂点データを形成する全ての旋律推移特徴量の中から、基準旋律の時間進行に沿って連続する特徴量規定数分だけ、旋律推移特徴量を単語化して取得する。この特徴量規定数分の旋律推移特徴量を単語化する際には、基準旋律の時間進行において、その基準旋律の開始に近い平滑音高極値から導出された旋律推移特徴量から実行する。以下、Ｓ３２０にて単語化した特徴量規定数分の旋律推移特徴量を、比較頂点データと称す。
【００６６】
続いて、Ｓ３３０では、Ｓ３１０にて取得した照合音声特徴量を、Ｓ３２０にて取得した比較頂点データに照合する。その照合の結果、照合音声特徴量と比較頂点データとが一致すれば（Ｓ３４０：ＹＥＳ）、Ｓ３５０へと進む。
【００６７】
そのＳ３５０では、特徴量一致度を導出すると共に、その導出した特徴量一致度をデータ番号と対応付けて記憶し、その後、Ｓ３６０へと進む。この特徴量一致度と対応付けられるデータ番号は、比較頂点データを形成する複数の旋律推移特徴量の中で、基準旋律の時間進行に沿って最初の旋律推移特徴量と対応付けられたものである。
【００６８】
一方、Ｓ３４０での照合の結果、照合音声特徴量と比較頂点データとが一致しなければ（Ｓ３４０：ＮＯ）、Ｓ３６０へと進む。
そのＳ３６０では、全ての旋律推移特徴量を単語化して、それらの単語化した旋律推移特徴量（即ち、比較頂点データ）に、Ｓ３１０にて取得した照合音声特徴量を照合したか否かを判定する。その判定の結果、全ての比較頂点データに照合音声特徴量を照合していなければ、Ｓ３２０へと戻る。そのようにして移行したＳ３２０では、前回のＳ３２０にて単語化した旋律推移特徴量に、基準旋律の時間進行に沿った一部が重複するように特徴量規定数分だけ、旋律推移特徴量を単語化して取得する。すなわち、新たな比較頂点データを生成して、Ｓ３３０へと進む。
【００６９】
これにより、１つの楽曲における全ての比較頂点データに対して、１つの照合音声特徴量の照合が完了するまで、Ｓ３２０からＳ３５０が繰り返し実行される。
なお、Ｓ３６０での判定の結果、全ての比較頂点データに照合音声特徴量を照合していれば、Ｓ３７０へと進む。そのＳ３７０では、全ての照合音声特徴量を取得して、各照合音声特徴量を比較頂点データに照合済みであるか否かを判定する。
【００７０】
そのＳ３７０での判定の結果、全ての照合音声特徴量を比較頂点データに照合していなければ、Ｓ３１０へと戻る。そのようにして移行したＳ３１０では、比較頂点データに対して未照合の照合音声特徴量の中から、１つの照合音声特徴量を取得する。ただし、照合音声特徴量を取得する際には、入力音声の時間進行において、音声開始に近い音声特徴量からなる照合特徴量を取得する。
【００７１】
その後、Ｓ３７０にて肯定判定されるまで、Ｓ３１０〜Ｓ３７０までのステップを繰り返す。以下、Ｓ３１０〜Ｓ３７０までの一回の流れを、別特徴照合サイクルと称す。また、別特徴照合サイクルにて、照合音声特徴量を取得してから新たな照合音声特徴量を取得するまでのＳ３２０〜Ｓ３６０の一回の流れを、同一特徴照合サイクルと称す。
【００７２】
この同一特徴照合サイクルを繰り返す過程の中で、Ｓ３４０にて肯定判定されると、Ｓ３５０へと進む。そのようにして移行したＳ３５０では、今回の別特徴照合サイクルにて照合音声特徴量と一致した比較頂点データが、前回の別特徴照合サイクルにて照合音声特徴量と一致した比較頂点データと、基準旋律の時間進行上連続するものであるか否かを判定（以下、連続判定とする）する。具体的には、前回の別特徴照合サイクルにて特徴量一致度に対応付けられたデータ番号の中に、今回Ｓ３５０へと進んだ際に、照合音声特徴量に一致したと判定された比較頂点データを形成する旋律推移特徴量のデータ番号よりも、照合楽曲における時間進行上１つ前であることを示すデータ番号があれば、連続判定における判定結果が肯定されたものとする。
【００７３】
その連続判定の結果が肯定判定であれば、連続して肯定判定された別特徴量照合サイクルの回数を「べき指数」として、予め規定された初期規定値を累乗した値を、特徴量一致度として導出する。一方、連続判定の結果が否定判定であれば、初期規定値そのものを、特徴量一致度として導出する。
【００７４】
つまり、特徴量一致度は、入力音声の時間進行に沿った照合特徴量が連続して、楽曲の時間進行に沿った比較頂点データに一致するほど、大きな値となる。
なお、Ｓ３７０にて肯定判定されると、Ｓ３８０へと進む。
【００７５】
そのＳ３８０では、先のＳ３１０にて決定された照合楽曲に対する特徴量一致度の中で、値が最大のものを、その照合楽曲に対応する曲名データと対応付けて、記憶部２８に記憶する。つまり、Ｓ３８０にて曲名データと対応付けられる特徴量一致度は、一つの照合楽曲に対する別特徴照合サイクルの繰り返しにて導出された全特徴量一致度の中で、値が最大のものである。
【００７６】
続く、Ｓ３９０では、記憶部２８に記憶されている楽曲データに対応する全ての楽曲を、照合楽曲として決定済みであるか否かを判定する。その判定の結果、全ての楽曲を照合楽曲として決定済みでなければ、Ｓ３００へと戻る。そのようにして移行したＳ３００では、照合楽曲として未決定の楽曲の中から、新たな楽曲を照合楽曲として決定して、Ｓ３１０へと進む。つまり、Ｓ３００からＳ３９０までのステップを、記憶部２８に記憶されている全ての楽曲データ中の頂点データに照合音声特徴量の照合が完了するまで繰り返す。
【００７７】
なお、Ｓ３９０での判定の結果、記憶部２８に記憶されている全ての楽曲を照合楽曲として決定済みであれば、楽曲検索処理へと戻り、その楽曲検索処理のＳ１２０へと進む。
つまり、本実施形態の特徴量照合処理では、入力音声の音高推移の特徴を表す特徴量（即ち、音声特徴量）として、平滑化推移における音高極値の間の音高差ｄｐi及び時間比率ｄｔi、即ち、相対的な音高及び音長を導出する。そして、その導出された音声特徴量を単語化した照合音声特徴量を生成して、その生成された照合音声特徴量を、全ての比較頂点データに照合する。その照合の結果、入力音声の時間進行に沿った照合特徴量が連続して、比較頂点データに一致するほど、大きな値の特徴量一致度を導出する。
〈音符照合処理について〉
次に、楽曲検索処理のＳ１２０にて起動される音符照合処理について説明する。
【００７８】
ここで、図８は、音符照合処理の処理手順を示したフローチャートである。
この音符照合処理は、図８に示すように、楽曲検索処理のＳ１２０にて起動されると、まず、Ｓ４１０にて、記憶部２８に記憶されている音声データの中から、先のＳ２１０にて取得されたものと同一の音声データを取得する。
【００７９】
続く、Ｓ４２０では、Ｓ４１０にて取得した音声データに対して、事前処理を実行する。さらに、Ｓ４３０では、Ｓ４２０にて事前処理が実行された音声データを分析期間毎に周波数解析する。続いて、Ｓ４４０では、Ｓ４３０における周波数解析の結果に従って、各分析期間における音高（音声基本周波数ｆ０）を推定する。なお、これらＳ４２０、Ｓ４３０、Ｓ４４０での処理は、特徴量照合処理におけるＳ２１０，Ｓ２３０，Ｓ２４０と同様であるため、ここでの説明は省略する。
【００８０】
続く、Ｓ４５０では、Ｓ４１０にて取得した音声データの音圧変動に従って、１つの音符とみなせる音符期間を推定する周知の音符期間推定処理を実行する。具体的には、音声データの音圧が単調増加である区間において、時間進行上最初に規定値以上の増加率となる分析期間を音符開始タイミングする。また、音符開始タイミング以降にて、音声データの音圧が単調減少である区間において、時間進行上最初に規定値以上の減少率となる分析期間を音符終了タイミングとする。そして、それらの音符開始タイミング及び音符終了タイミングの間の期間それぞれを音符期間とする。
【００８１】
さらに、Ｓ４６０では、Ｓ４５０にて推定された音符期間それぞれに対応する全ての分析期間の音高（音声基本周波数ｆ０）に従って、その音符期間における音高を表す音符音高を推定する。具体的には、音符期間に対応する分析期間に占める割合がもっとも高い基本周波数に対応する音高を、音符音高として推定する。これにより、入力音声の時間進行に沿って、音符期間毎に、その音符期間の時間長（即ち、音価）と、その音符期間における音高と対応付けた音声音符データを生成する。つまり、Ｓ４６０では、入力音声が音符化される。
【００８２】
続く、Ｓ４７０では、Ｓ４６０にて生成された音声音符データを、入力音声の時間進行に沿って連続する予め規定された音符規定数毎に単語化（即ち、グループ化）する。この単語化に際しては、音声音符データの一部が互いに重複するように実施する。以下、単語化された音声音符データそれぞれを、単語音符データと称す。
【００８３】
さらに、Ｓ４８０では、サーバ４０から取得され記憶部２８に記憶されている楽曲データに対応する楽曲の中から、単語音符データを基準音符データ（即ち、ガイドメロディ）に照合する楽曲（以下、音符照合楽曲と称す）を１つ決定する。
【００８４】
続く、Ｓ４９０では、Ｓ４７０にて生成された全ての単語音符データの中から、１つの単語音符データを取得する。ただし、単語音符データを取得する際には、入力音声の時間進行において、音声開始に近い音声音符データを含むものを取得する。
【００８５】
そして、Ｓ５００では、Ｓ４８０にて決定された音符照合楽曲に対応する基準音符データを形成する構成音の音高及び音価の中から、時間進行に沿って連続する音符規定数分だけ単語化して取得する。この音符規定数分の音高及び音価を単語化する際には、基準旋律の時間進行において、その基準旋律の開始に近い構成音についての音高及び音価から実行する。以下、Ｓ５００にて単語化して取得した音符規定数分の構成音についての音高及び音価を、比較音符データとする。
【００８６】
続いて、Ｓ５１０では、Ｓ４９０にて取得した単語音符データを、Ｓ５００にて取得した比較音符データに照合する。その照合の結果、単語音符データと比較音符データとが一致すれば（Ｓ５２０：ＹＥＳ）、Ｓ５３０へと進む。
【００８７】
そのＳ５３０では、音符一致度を導出すると共に、その導出した音符一致度を構成音の番号と対応付けて記憶し、その後、Ｓ５４０へと進む。この音符一致度と対応付けられる構成音の番号は、比較音符データを形成する音符規定数の構成音の中で、基準旋律の時間進行に沿った最初の構成音に対応付けられたものである。
【００８８】
一方、Ｓ５１０での照合の結果、単語音符データと比較音符データとが一致しなければ（Ｓ５２０：ＮＯ）、Ｓ５４０へと進む。
そのＳ５４０では、全ての構成音についての音高及び音価を単語化して、その単語化によって生成された比較音符データに、Ｓ４９０にて取得した単語音符データを照合したか否かを判定する。その判定の結果、全ての比較音符データに単語音符データを照合していなければ、Ｓ５００へと戻る。そのようにして移行したＳ５００では、前回のＳ５００にて単語化した構成音についての音高及び音価と、基準旋律の時間進行に沿った一部が重複するように音符規定数分だけ、構成音についての音高及び音価を単語化して取得する。すなわち、新たな比較音符データを生成して、Ｓ５１０へと進む。
【００８９】
これにより、１つの楽曲における全ての構成音についての音高及び音価に対して、１つの単語音符データの照合が完了するまで、Ｓ５００からＳ５４０が繰り返し実行される。
なお、Ｓ５４０での判定の結果、全ての構成音についての音高及び音価を単語化して、その単語化によって生成された比較音符データに、単語音符データを照合していれば、Ｓ５５０へと進む。そのＳ５５０では、全ての単語音符データを取得して、比較音符データに照合済みであるか否かを判定する。
【００９０】
そのＳ５５０での判定の結果、全ての単語音符データを比較音符データに照合していなければ、Ｓ４９０へと戻る。そのＳ４９０では、比較音符データに対して未照合の単語音符データの中から、１つの単語音符データを取得する。ただし、単語音符データを取得する際には、入力音声の時間進行において、音声開始に近い音声音符データからなる単語音符データを取得する。
【００９１】
その後、Ｓ５５０にて肯定判定されるまで、Ｓ４９０〜Ｓ５５０までのステップを繰り返す。以下、Ｓ４９０〜Ｓ５５０までの一回の流れを、別音符照合サイクルと称す。また、別音符照合サイクルにて、単語音符データを取得してから新たな単語音符データを取得するまでの、Ｓ５００〜Ｓ５４０の一回の流れを、同一音符照合サイクルと称す。
【００９２】
この同一音符照合サイクルを繰り返す過程の中で、Ｓ５２０にて肯定判定されると、Ｓ５３０へと進む。そのようにして移行したＳ５３０では、今回の別音符照合サイクルにて単語音符データと一致した比較音符データが、前回の別音符照合サイクルにて単語音符データと一致した比較音符データと、基準旋律の時間進行上連続するものであるか否かを判定（以下、音符接続判定とする）する。具体的には、前回の別音符照合サイクルにて音符一致度に対応付けられた構成音の番号の中に、今回Ｓ５３０へと進んだ際に、単語音符データに一致したと判定された比較音符データを形成する構成音の番号よりも、基準旋律における時間進行上１つ前の構成音であることを示す番号があれば、音符接続判定における判定結果が肯定されたものとする。
【００９３】
その音符接続判定の判定結果が肯定であれば、連続して肯定判定された別音符照合サイクルの回数を「べき指数」として、初期規定値を累乗した値を音符一致度として導出する。一方、音符接続判定の判定結果が否定であれば、初期規定値そのものを音符一致度として導出する。
【００９４】
つまり、音符一致度は、入力音声の時間進行に沿った単語音符データが連続して、音符照合楽曲の基準旋律における時間進行に沿った比較音符データに一致するほど、大きな値となる。
【００９５】
なお、Ｓ５５０にて肯定判定されると、Ｓ５６０へと進む。そのＳ５６０では、先のＳ４８０にて決定された音符照合楽曲に対する音符一致度の中で、値が最大のものを、その音符照合楽曲に対応する曲名データと対応付けて、記憶部２８に記憶する。つまり、Ｓ５６０にて曲名データと対応付けられる音符一致度は、一つの音符照合楽曲に対する別音符照合サイクルの繰り返しにて導出された全音符一致度の中で、値が最大のものである。
【００９６】
続く、Ｓ５７０では、記憶部２８に記憶されている楽曲データに対応する全ての楽曲を、音符照合楽曲として決定済みであるか否かを判定する。その判定の結果、全ての楽曲を音符照合楽曲として決定済みでなければ、Ｓ４８０へと戻る。そのようにして移行したＳ４８０では、音符照合楽曲として未決定の楽曲の中から、新たな楽曲を音符照合楽曲として決定して、Ｓ４９０へと進む。つまり、Ｓ４９０からＳ５７０までのステップを、記憶部２８に記憶されている全ての楽曲データ中の基準音符データに、単語音符データの照合が完了するまで繰り返す。
【００９７】
なお、Ｓ５７０での判定の結果、記憶部２８に記憶されている全ての楽曲を音符照合楽曲として決定済みであれば、楽曲検索処理へと戻り、その楽曲検索処理のＳ１３０へと進む。
【００９８】
つまり、本実施形態の音符照合処理では、入力音声を音符化した音声音符データを生成し、その音声音符データを、楽曲毎に予め用意された基準音符データに照合する。そして、その照合結果として、入力音声の時間進行に沿って連続する音声音符データが、音符照合楽曲の基準旋律における時間進行に沿って連続して一致する比較音符データの数が多いほど、大きな値の音符一致度を導出している。
【００９９】
そして、本実施形態の楽曲検索処理では、特徴量一致度と、音声一致度とに基づいて導出した統合一致度が最も高いものに対応する楽曲を、意図予想曲として検出している。
［実施形態の効果］
以上説明したように、本実施形態の音声処理装置２０では、音声特徴量として、平滑化推移における極値の間の相対音高及び相対音長を導出している。しかも、本実施形態の音声処理装置２０にて導出される平滑化推移は、入力音声の音高推移を平滑化したものである。
【０１００】
よって、本実施形態にて導出される音声特徴量は、入力音声における音高推移の全体的な傾向を表すものになると共に、細かな音高の推移を無視したものとすることができる。
したがって、このような音声特徴量を旋律推移特徴量に照合することで導出された特徴量一致度を反映した結果から意図予想曲を特定することで、その特定結果（即ち、入力対応曲）が、利用者が意図したものに一致することになる。このため、本実施形態の音声処理装置２０によれば、採譜結果のみから意図予想曲を特定する場合に比べて、より多くの楽曲に対して、利用者が意図した曲が正しく検索される可能性を向上させることができる。
【０１０１】
特に、本実施形態の楽曲検索処理では、特徴量一致度と、音符一致度という、音高の推移に対して傾向が異なる２つの特徴量を用いて検索した結果から、意図予想曲を特定している。このため、本実施形態の楽曲検索処理によれば、意図予想曲が、利用者が意図したものに正しく一致することを、様々な音高推移の傾向を有した曲、即ち、より多くの曲に対して実現できる。
【０１０２】
なお、本実施形態の特徴量照合処理、及び音符照合処理では、音声特徴量または音声音符データがそれぞれの時間進行に沿って連続して、旋律推移特徴量または基準音符データに一致する数が多いほど、大きな値の特徴量一致度または音符一致度を導出している。
【０１０３】
このため、本実施形態の楽曲検索処理では、時間進行の中で導出された１つの音声特徴量または音声音符データが、旋律推移特徴量または基準音符データに偶発的に一致しただけでは、特徴量一致度または音符一致度の値は大きなものとならない。よって、本実施形態の楽曲検索処理によれば、誤って、利用者が意図しない楽曲が、意図予想曲として特定されることを低減できる。
［その他の実施形態］
以上、本発明の実施形態について説明したが、本発明は上記実施形態に限定されるものではなく、本発明の要旨を逸脱しない範囲において、様々な態様にて実施することが可能である。
【０１０４】
例えば、上記実施形態における楽曲検索処理では、意図予想曲を検索する際に、特徴量照合処理と、音符照合処理との両方の処理結果に基づいて検索を実行していたが、楽曲検索処理における意図予想曲の検索は、特徴量照合処理にて導出された特徴量一致度にのみ基づくものでもよい。つまり、楽曲検索処理では、値が最大である特徴量一致度に対応する楽曲を意図予想曲としてもよい。この場合、楽曲検索処理のＳ１２０は、実行しなくとも良く、楽曲検索処理のＳ１３０では、特徴量一致度そのものを統合一致度として導出すれば良い。
【０１０５】
ところで、上記実施形態における楽曲検索処理では、信号処理する対象の音声データを、記憶部２８に記憶された音声データとしていたが、楽曲検索処理にて信号処理の対象とする音声データは、音声入力部２５にてサンプリングされた直後の音声データであっても良い。つまり、楽曲検索処理では、マイクロホン２４を介して入力された音声をリアルタイムに処理しても良い。
【０１０６】
また、上記実施形態では、特徴量照合処理において、音声特徴量が照合される頂点データを、楽曲データの一部として予め用意していたが、頂点データは、これに限るものではない。例えば、特徴量照合処理を実行する過程にて生成しても良い。
【０１０７】
なお、上記実施形態では、頂点データを形成する相対音長として、時間比率ｄｔを導出していたが、相対音長は、時間比率ｄｔに限るものではなく、例えば、対象区間の時間長そのもの、即ち、極値間の時間差であっても良い。
【０１０８】
また、上記実施形態では、推移特徴量を導出する過程にて実行する音高推移の平滑化として、中央値の算出と、移動平均値の算出とを組み合わせて実行していたが、音高推移の平滑化は、これに限るものではなく、例えば、中央値の算出と、移動平均値の算出とのいずれか一方のみを実行することでなされても良い。さらに言えば、中央値の算出または移動平均の導出以外の周知の方法にて平滑化されていてもよい。
【０１０９】
また、上記実施形態における特徴量照合処理、及び音符照合処理では、音声特徴量または音声音符データを、旋律推移特徴量または基準音符データに照合する際に、単語化して照合していたが、これらを照合する際には、音声特徴量または音声音符データを単語化することなく、旋律推移特徴量または基準音符データに照合しても良い。
【０１１０】
なお、上記実施形態における音声処理装置２０は、スピーカ２７と音声出力部２６とを備えていなくとも良い。
ところで、上記実施形態では、音声処理装置２０にて楽曲検索処理を実行していたが、楽曲検索処理は、サーバ４０にて実行されていても良い。
【０１１１】
逆に、楽曲検索システム１は、音声処理装置２０のみから構成されていても良い。この場合、楽曲データは、予め記憶部２８に記憶されている必要がある。
［実施形態と特許請求の範囲との対応関係］
最後に、上記実施形態の記載と、特許請求の範囲の記載との関係を説明する。
【０１１２】
上記実施形態の特徴量照合処理におけるＳ２５０を実行することで得られる機能が、本発明の音高推移導出手段に相当し、Ｓ２６０を実行することで得られる機能が、本発明の平滑化手段に相当する。さらに、特徴量照合処理におけるＳ２７０を実行することで得られる機能が、本発明の極値検出手段に相当し、Ｓ２８０を実行することで得られる機能が、本発明の特徴量導出手段に相当する。また、特徴量照合処理におけるＳ２９０〜Ｓ３９０を実行することで得られる機能が、本発明の特徴量照合手段に相当する。
【０１１３】
そして、上記実施形態の楽曲検索処理におけるＳ１３０〜Ｓ１５０を実行することで得られる機能が、本発明の結果出力手段に相当する。
なお、上記実施形態の音符照合処理におけるＳ４３０〜Ｓ４６０を実行することで得られる機能が、本発明の音符化手段に相当し、Ｓ４７０〜Ｓ５７０を実行することで得られる機能が、本発明の音符照合手段に相当する。
【符号の説明】
【０１１４】
１…楽曲検索システム ２０…音声処理装置 ２１…通信部 ２２…表示部 ２３…操作受付部 ２４…マイクロホン ２５…音声入力部 ２６…音声出力部 ２７…スピーカ ２８…記憶部 ３０…制御部 ３１…ＲＯＭ ３２…ＲＡＭ ３３…ＣＰＵ ４０…サーバ ４１…記憶装置 ４２…マイクロコンピュータ
【特許請求の範囲】
【請求項１】
時間進行に沿って連続して入力された入力音声から、音高の推移を表す音高推移を導出する音高推移導出手段と、
前記音高推移導出手段で導出された音高推移を平滑化した平滑音高推移を導出する平滑化手段と、
前記音高推移における音高変化の極値を音高極値とし、前記平滑化手段で導出された平滑音高推移から、その平滑音高推移についての前記音高極値である平滑音高極値を検出する極値検出手段と、
時間進行に沿って連続する前記音高極値の間での音高差及び時間長の比を推移特徴量とし、前記極値検出手段で検出された平滑音高極値に基づいて、その平滑音高極値についての前記推移特徴量である音声特徴量を導出する特徴量導出手段と、
曲毎に予め用意され、かつ曲を構成する構成音の音高推移が平滑化された平滑化旋律における前記音高極値についての前記推移特徴量を旋律特徴量とし、前記特徴量導出手段で導出された音声特徴量それぞれを前記旋律特徴量それぞれに照合することで、前記音声特徴量と前記旋律特徴量との一致度が高いほど大きな値となる特徴量一致度を前記曲毎に導出する特徴量照合手段と、
少なくとも、前記特徴量照合手段で導出された特徴量一致度に基づき、前記特徴量一致度の中で、値が最大の前記特徴量一致度に対応する曲である入力対応曲を出力する結果出力手段と
を備えることを特徴とする特徴量照合装置。
【請求項２】
前記特徴量照合手段は、
時間進行に沿った前記音声特徴量それぞれが連続して一致する前記旋律特徴量が多いほど、大きな値の前記特徴量一致度を導出することを特徴とする請求項１に記載の特徴量照合装置。
【請求項３】
前記平滑化手段は、
前記音高推移の時間進行に対して連続するように規定された時間長それぞれを単位区間とし、前記単位区間それぞれに含まれる全音高の中央値の算出、及び移動平均値の算出の少なくとも一方を前記平滑化として実行することを特徴とする請求項１または請求項２に記載の特徴量照合装置。
【請求項４】
前記結果出力手段は、
前記入力対応曲を画像にて表示、及び前記入力対応曲を音声にて通知することの少なくとも一方を前記出力として実行することを特徴とする請求項１ないし請求項３のいずれか一項に記載の特徴量照合装置。
【請求項５】
前記音高推移導出手段で導出された音高推移に従って、前記入力音声の音高及び音価を表す音符データに変換する音符化手段と、
曲毎に予め用意され、かつ曲を構成する構成音それぞれの音高及び音価を表すデータを基準音符データとし、前記音符化手段にて変換された音符データそれぞれを前記基準音符データに曲毎に照合することで音符一致度を導出する音符照合手段と
を備え、
前記照合結果出力手段は、
前記特徴量照合手段にて導出された特徴量一致度、及び前記音符照合手段で導出された音符一致度に基づいて、前記特徴量一致度及び前記音符一致度の両方が大きいほど大きな値となるように演算した結果、最も大きな値に対応する曲を前記入力対応曲として出力することを特徴とする請求項１ないし請求項４の何れか一項に記載の特徴量照合装置。
【請求項６】
時間進行に沿って連続して入力された入力音声から、音高の推移を表す音高推移を導出する音高推移導出手順と、
前記音高推移導出手順で導出された音高推移を平滑化した平滑音高推移を導出する平滑化手順と、
前記音高推移における音高変化の極値を音高極値とし、前記平滑化手順で導出された平滑音高推移から、その平滑音高推移についての前記音高極値である平滑音高極値を検出する極値検出手順と、
時間進行に沿って連続する前記音高極値の間での音高差及び時間長の比を推移特徴量とし、前記極値検出手順で検出された平滑音高極値に基づいて、その平滑音高極値についての前記推移特徴量である音声特徴量を導出する特徴量導出手順と、
曲毎に予め用意され、かつ曲を構成する構成音の音高推移が平滑化された平滑化旋律における前記音高極値についての前記推移特徴量を旋律特徴量とし、前記特徴量導出手順で導出された音声特徴量それぞれを前記旋律特徴量それぞれに照合することで、前記音声特徴量と前記旋律特徴量との一致度が高いほど大きな値となる特徴量一致度を前記曲毎に導出する特徴量照合手順と、
少なくとも、前記特徴量照合手順で導出された特徴量一致度に基づき、前記特徴量一致度の中で、値が最大の前記特徴量一致度に対応する曲である入力対応曲を出力する結果出力手順と
をコンピュータに実行させることを特徴とするプログラム。
【請求項１】
時間進行に沿って連続して入力された入力音声から、音高の推移を表す音高推移を導出する音高推移導出手段と、
前記音高推移導出手段で導出された音高推移を平滑化した平滑音高推移を導出する平滑化手段と、
前記音高推移における音高変化の極値を音高極値とし、前記平滑化手段で導出された平滑音高推移から、その平滑音高推移についての前記音高極値である平滑音高極値を検出する極値検出手段と、
時間進行に沿って連続する前記音高極値の間での音高差及び時間長の比を推移特徴量とし、前記極値検出手段で検出された平滑音高極値に基づいて、その平滑音高極値についての前記推移特徴量である音声特徴量を導出する特徴量導出手段と、
曲毎に予め用意され、かつ曲を構成する構成音の音高推移が平滑化された平滑化旋律における前記音高極値についての前記推移特徴量を旋律特徴量とし、前記特徴量導出手段で導出された音声特徴量それぞれを前記旋律特徴量それぞれに照合することで、前記音声特徴量と前記旋律特徴量との一致度が高いほど大きな値となる特徴量一致度を前記曲毎に導出する特徴量照合手段と、
少なくとも、前記特徴量照合手段で導出された特徴量一致度に基づき、前記特徴量一致度の中で、値が最大の前記特徴量一致度に対応する曲である入力対応曲を出力する結果出力手段と
を備えることを特徴とする特徴量照合装置。
【請求項２】
前記特徴量照合手段は、
時間進行に沿った前記音声特徴量それぞれが連続して一致する前記旋律特徴量が多いほど、大きな値の前記特徴量一致度を導出することを特徴とする請求項１に記載の特徴量照合装置。
【請求項３】
前記平滑化手段は、
前記音高推移の時間進行に対して連続するように規定された時間長それぞれを単位区間とし、前記単位区間それぞれに含まれる全音高の中央値の算出、及び移動平均値の算出の少なくとも一方を前記平滑化として実行することを特徴とする請求項１または請求項２に記載の特徴量照合装置。
【請求項４】
前記結果出力手段は、
前記入力対応曲を画像にて表示、及び前記入力対応曲を音声にて通知することの少なくとも一方を前記出力として実行することを特徴とする請求項１ないし請求項３のいずれか一項に記載の特徴量照合装置。
【請求項５】
前記音高推移導出手段で導出された音高推移に従って、前記入力音声の音高及び音価を表す音符データに変換する音符化手段と、
曲毎に予め用意され、かつ曲を構成する構成音それぞれの音高及び音価を表すデータを基準音符データとし、前記音符化手段にて変換された音符データそれぞれを前記基準音符データに曲毎に照合することで音符一致度を導出する音符照合手段と
を備え、
前記照合結果出力手段は、
前記特徴量照合手段にて導出された特徴量一致度、及び前記音符照合手段で導出された音符一致度に基づいて、前記特徴量一致度及び前記音符一致度の両方が大きいほど大きな値となるように演算した結果、最も大きな値に対応する曲を前記入力対応曲として出力することを特徴とする請求項１ないし請求項４の何れか一項に記載の特徴量照合装置。
【請求項６】
時間進行に沿って連続して入力された入力音声から、音高の推移を表す音高推移を導出する音高推移導出手順と、
前記音高推移導出手順で導出された音高推移を平滑化した平滑音高推移を導出する平滑化手順と、
前記音高推移における音高変化の極値を音高極値とし、前記平滑化手順で導出された平滑音高推移から、その平滑音高推移についての前記音高極値である平滑音高極値を検出する極値検出手順と、
時間進行に沿って連続する前記音高極値の間での音高差及び時間長の比を推移特徴量とし、前記極値検出手順で検出された平滑音高極値に基づいて、その平滑音高極値についての前記推移特徴量である音声特徴量を導出する特徴量導出手順と、
曲毎に予め用意され、かつ曲を構成する構成音の音高推移が平滑化された平滑化旋律における前記音高極値についての前記推移特徴量を旋律特徴量とし、前記特徴量導出手順で導出された音声特徴量それぞれを前記旋律特徴量それぞれに照合することで、前記音声特徴量と前記旋律特徴量との一致度が高いほど大きな値となる特徴量一致度を前記曲毎に導出する特徴量照合手順と、
少なくとも、前記特徴量照合手順で導出された特徴量一致度に基づき、前記特徴量一致度の中で、値が最大の前記特徴量一致度に対応する曲である入力対応曲を出力する結果出力手順と
をコンピュータに実行させることを特徴とするプログラム。
【図１】
【図２】
【図３】
【図４】
【図５】
【図６】
【図７】
【図８】
【図２】
【図３】
【図４】
【図５】
【図６】
【図７】
【図８】
【公開番号】特開２０１１−６４９９７（Ｐ２０１１−６４９９７Ａ）
【公開日】平成２３年３月３１日（２０１１．３．３１）
【国際特許分類】
【出願番号】特願２００９−２１６６１８（Ｐ２００９−２１６６１８）
【出願日】平成２１年９月１８日（２００９．９．１８）
【出願人】（０００００５２６７）ブラザー工業株式会社 (13,856)
【Ｆターム（参考）】
【公開日】平成２３年３月３１日（２０１１．３．３１）
【国際特許分類】
【出願日】平成２１年９月１８日（２００９．９．１８）
【出願人】（０００００５２６７）ブラザー工業株式会社 (13,856)
【Ｆターム（参考）】
[ Back to top ]