楽音信号発生装置、楽曲検索装置及びカラオケ装置
【課題】入力される音声に基づいて楽曲を検索する検索装置において、利用者が、自身の意図通りの音程の音声を検索装置に入力し易くすることのできる技術を提供する。
【解決手段】利用者が歌唱を行うと、利用者の歌唱音声がマイクロホン１５で収音され、音声信号に変換される。カラオケ装置１の制御部１１は、入力される音声信号からピッチを検出し、検出したピッチを半音又は全音のピッチで正規化する。また、制御部１１は、音声信号の音圧に基づいて音声信号のノートの区切りを検出し、ノート毎のピッチの代表値を特定する。次いで、制御部１１は、特定されたノート毎の代表値からＭＩＤＩデータを生成し、音声処理部１６に供給する。音声処理部１６は、供給されるＭＩＤＩデータにから楽音信号を生成し、スピーカ１７から楽音として出力させる。
【解決手段】利用者が歌唱を行うと、利用者の歌唱音声がマイクロホン１５で収音され、音声信号に変換される。カラオケ装置１の制御部１１は、入力される音声信号からピッチを検出し、検出したピッチを半音又は全音のピッチで正規化する。また、制御部１１は、音声信号の音圧に基づいて音声信号のノートの区切りを検出し、ノート毎のピッチの代表値を特定する。次いで、制御部１１は、特定されたノート毎の代表値からＭＩＤＩデータを生成し、音声処理部１６に供給する。音声処理部１６は、供給されるＭＩＤＩデータにから楽音信号を生成し、スピーカ１７から楽音として出力させる。
【発明の詳細な説明】
【技術分野】
【０００１】
本発明は、楽音信号を発生させる技術に関する。
【背景技術】
【０００２】
近年、鼻歌やハミングを基にして楽曲名やアーティスト名を検索することのできる技術が提案されている（特許文献１，２参照）。このような技術においては、検索入力の音程変化と候補となる楽譜の音程変化とでＤＰ（Dynamic Programming：動的計画法）マッチングを行い、誤差の最小となる経路を求めることで、両者の類似度を判定する手法を用いたものもある。
【特許文献１】特開２０００−３５６９９６号公報
【特許文献２】特開２００２−５５９９４号公報
【発明の開示】
【発明が解決しようとする課題】
【０００３】
ところで、従来の装置においては、利用者が鼻歌等の音声を入力した場合に、入力された音声の音程が不安定な場合がある。このような場合には、検索入力の音程変化と楽譜の音程変化との一致度が低いから、楽曲を好適に検索することができない。このような場合であっても、利用者は、意図した入力ができたかどうかを入力時に確認することができない。
【０００４】
本発明は上述した背景の下になされたものであり、入力される音声に基づいて楽曲を検索する検索装置において、利用者が、自身の意図通りの音程の音声を検索装置に入力し易くすることのできる技術を提供することを目的とする。
【課題を解決するための手段】
【０００５】
本発明の好適な態様である楽音信号発生装置は、収音手段から出力される音声信号のピッチを検出するピッチ検出手段と、前記ピッチ検出手段により検出されたピッチを、所定の音階を構成するピッチのうちの近接するピッチで正規化する正規化手段と、前記音声信号の発音状態の区切り位置を検出する区切り位置検出手段と、前記正規化手段により正規化されたピッチを、前記区切り位置検出手段により検出された区切り位置に基づいて複数の時間区間に区切り、各時間区間について前記正規化されたピッチの代表値を求める代表値特定手段と、前記代表値特定手段により求められた代表値の楽音信号を前記時間区間毎に生成する楽音信号生成手段と、前記楽音信号生成手段により生成された楽音信号を発生させる音源手段とを具備することを特徴とする。
【０００６】
上述の態様において、前記区切り位置検出手段は、前記音声信号の音圧が予め定められた閾値より小さい位置を区切り位置として検出してもよい。
また、上述の態様において、前記代表値特定手段は、前記各時間区間において、前記正規化されたピッチのうちの時間長が最長であるものを該時間区間の代表値として特定してもよい。
また、上述の態様において、前記音源手段が発生する楽音信号の音色を変更する音色変更手段を備えてもよい。
【０００７】
また、本発明の好適な態様である楽曲検索装置は、上述の楽音信号発生装置と、楽曲のメロディを表すメロディデータを前記楽曲毎に記憶する楽曲データベースと、前記代表値特定手段により特定された前記時間区間毎の代表値の列を、前記楽曲データベースに記憶されたメロディデータと照合し、その一致度に基づいて、１又は複数の楽曲を選定する楽曲選定手段と、前記楽曲選定手段により選定された楽曲を表すデータを出力する出力手段とを具備することを特徴とする。
【０００８】
上述の態様において、前記代表値特定手段により特定された前記時間区間毎の代表値の列を時系列に記憶手段に記憶させる記憶制御手段を具備し、前記楽曲選定手段は、前記記憶手段に記憶された前記時間区間毎の代表値の列のうちの少なくとも後半部を用いて、前記楽曲データベースに記憶されたメロディデータと照合し、その一致度に基づいて、１又は複数の楽曲を選定してもよい。
【０００９】
また、上述の態様において、前記出力手段は、前記楽曲選定手段により選定された楽曲を表す画像を表示手段に表示させてもよい。
また、上述の態様において、前記楽曲データベースは、楽曲のメロディをノートの列で示すメロディデータを前記楽曲毎に記憶し、前記区切り位置検出手段は、前記音声信号のノートの区切り位置を検出し、前記楽曲選定手段は、前記代表値特定手段により特定されたノート毎の代表値の列を、前記楽曲データベースに記憶されたメロディデータを構成するノートの列と照合し、その一致度に基づいて、１又は複数の楽曲を選定してもよい。
【００１０】
また、上述の態様において、前記代表値特定手段は、前記各時間区間について前記正規化されたピッチの代表値を１又は複数求め、前記楽曲選定手段は、前記代表値特定手段により求められた前記時間区間毎の１又は複数の代表値を用いて前記メロディデータと照合し、その一致度に基づいて、１又は複数の楽曲を選定してもよい。
【００１１】
また、本発明の好適な態様であるカラオケ装置は、上述の楽曲検索装置と、前記楽曲の伴奏音を表す伴奏データを記憶する伴奏データ記憶手段と、前記楽曲選定手段により選定された楽曲に対応する伴奏データを前記伴奏データ記憶手段から読み出して、読み出した伴奏データを放音手段に出力する伴奏データ出力手段とを具備することを特徴とする。
【発明の効果】
【００１２】
本発明によれば、利用者が、自身の意図通りの音程の音声を検索装置に入力し易くすることができる。
【発明を実施するための最良の形態】
【００１３】
次に、本発明を実施するための最良の形態を説明する。
＜Ａ：構成＞
図１は、この発明の一実施形態であるカラオケ装置１のハードウェア構成を示すブロック図である。図において、制御部１１は、ＣＰＵ（Central Processing Unit）やＲＯＭ（Read Only Memory）、ＲＡＭ（Random Access Memory）を備え、ＲＯＭ又は記憶部１２に記憶されているコンピュータプログラムを読み出して実行することにより、バスを介してカラオケ装置１の各部を制御する。記憶部１２は、制御部１１によって実行されるプログラムやその実行時に使用されるデータを記憶するための記憶手段であり、例えばハードディスク装置である。表示部１３は、液晶パネルなどを備え、制御部１１による制御の下に各種の画像を表示する。操作部１４は、カラオケ装置１の利用者による操作に応じた信号を制御部１１に出力する。マイクロホン１５は、利用者が発音した音声を収音し、収音した音声を表す音声信号（アナログ信号）を出力する収音手段である。音声処理部１６は、マイクロホン１５が出力する音声信号（アナログ信号）をデジタルデータに変換する。また、音声処理部１６は、デジタルデータをアナログ信号に変換してスピーカ１７に出力する。スピーカ１７は、音声処理部１６でデジタルデータからアナログ信号に変換され出力される音声信号に応じた強度で放音する放音手段である。
【００１４】
なお、この実施形態では、マイクロホン１５とスピーカ１７とがカラオケ装置１に含まれている場合について説明するが、音声処理部１６に入力端子及び出力端子を設け、オーディオケーブルを介してその入力端子に外部マイクロホンを接続する構成としても良く、同様に、オーディオケーブルを介してその出力端子に外部スピーカを接続するとしても良い。また、この実施形態では、マイクロホン１５から音声処理部１６へ入力される音声信号及び音声処理部１６からスピーカ１７へ出力される音声信号がアナログ音声信号である場合について説明するが、デジタル音声データを入出力するようにしても良い。このような場合には、音声処理部１６にてＡ／Ｄ変換やＤ／Ａ変換を行う必要はない。また、同様に、操作部１４や表示部１３は、カラオケ装置１に内蔵されていてもよく、外付けされる構成であってもよい。
【００１５】
記憶部１２は、図示のように、楽曲データベース記憶領域１２１と、背景画データ記憶領域１２２と、音色指定データ記憶領域１２３と、正規化関数記憶領域１２４とを有している。楽曲データベース記憶領域１２１には、カラオケ伴奏の際に用いられる、楽曲の伴奏音や歌詞を表す楽曲データが記憶されている。背景画データ記憶領域１２２には、カラオケ伴奏時に背景として表示される動画像を表す背景画データが記憶されている。音色指定データ記憶領域１２３には、例えばギター、ドラム、ピアノ等の楽器の音色を指定する音色指定データが記憶されている。この音色指定データは、カラオケ装置１の利用者が、操作部１４を操作することによって変更することができる。利用者によって操作部１４が操作されると、操作部１４は、操作された内容に応じた操作信号を制御部１１に出力し、制御部１１は、操作部１４から出力される操作信号に応じて、カラオケ装置１が発生させる楽音信号の音色を変更する。正規化関数記憶領域１２４には、音声信号のピッチを、所定の音階を構成するピッチのうちの近接するピッチで正規化するための正規化関数が記憶されている。
【００１６】
ここで、楽曲データベース記憶領域１２１に記憶された楽曲データの内容の一例について説明する。楽曲データは、図２に示すように、ヘッダと複数のトラックとを有しており、複数のトラックには、利用者が歌唱すべき旋律（ピッチ）の内容を表すガイドメロディデータが記述されたガイドメロディデータトラック、カラオケ演奏音の内容を表す演奏データが記述された演奏トラック、歌詞の内容を表す歌詞データが記述された歌詞トラックがある。楽曲データのヘッダ部分には、図２に示すように楽曲を特定する曲番号データ、楽曲の曲名を示す曲名データ、ジャンルを示すジャンルデータ、楽曲の演奏時間を示す演奏時間データ等が含まれている。以上のデータは、ＭＩＤＩフォーマットに従って記述されている。楽曲データの歌詞トラックには、歌詞を構成する各文字を示すデータと、各文字を表示する表示タイミングを示すタイミングデータとを含む歌詞データが記述される。
【００１７】
次に、ガイドメロディデータトラックに記述されているガイドメロディデータの具体例について説明する。図３は行と列のマトリックスになっているので、まず、列について説明する。第１列のデルタタイムは、イベントとイベントとの時間間隔を示しており、テンポクロックの数で表される。デルタタイムが「０」の場合は、直前のイベントと同時に実行される。第２列には演奏データの各イベントが持つメッセージの内容が記述されている。このメッセージには、発音イベントを示すノートオンメッセージ（ＮｏｔｅＯｎ）や消音イベントを示すノートオフメッセージ（ＮｏｔｅＯｆｆ）の他、コントロールチェンジメッセージ等が含まれる。なお、図３に示す例では、コントロールチェンジメッセージは含まれていない。
【００１８】
第３列にはチャンネルの番号が記述されている。ここでは、説明の簡略のためガイドメロディデータトラックのチャンネル番号を「１」としている。
第４列には、ノートナンバ（ＮｏｔｅＮｕｍ）あるいはコントロールナンバ（ＣｔｒｌＮｕｍ）が記述されるが、どちらが記述されるかはメッセージの内容により異なる。例えば、ノートオンメッセージ又はノートオフメッセージであれば、ここには音階を表すノートナンバが記述され、またコントロールチェンジメッセージであればその種類を示すコントロールナンバが記述されている。
第５列にはＭＩＤＩメッセージの具体的な値（データ）が記述されている。例えばノートオンメッセージであれば、ここには音の強さを表すベロシティの値が記述され、ノートオフメッセージであれば、音を消す速さを表すベロシティの値が記述され、またコントロールチェンジメッセージであればコントロールナンバに応じたパラメータの値が記述されている。
【００１９】
次に、図３に示す各行は、歌唱すべきメロディの各音符の属性を示す楽音パラメータとなっており、ノートオンイベント、ノートオフイベントで構成される。
図３に示す例では、デルタタイム４８０の長さを４分音符の長さとしている。この場合、第１行、第２行のイベント処理によりＣ４音が４分音符の長さにわたって発音されることが示され、第３行、第４行のイベント処理によりＧ４音が４文音符の長さにわたって発音されることが示される。そして、第５行、第６行の処理によりＦ４音が２分音符の長さにわたって発音されることが示される。
【００２０】
次に、正規化関数記憶領域１２４に記憶された正規化関数の内容の一例について説明する。この実施形態では、図４（ａ）に示すような、マイクロホン１５を介して入力される音声信号（以下「入力音声信号」）のピッチと正規化後のピッチとの対応関係を示す関数が記憶されている。図４（ａ）において、横軸は入力音声信号のピッチを示し、縦軸は正規化後のピッチを示している。この実施形態では、入力音声信号のピッチは、１００セント毎に（すなわち半音単位で）正規化される。具体的には、例えば、図４（ａ）において、ａ３１で示される範囲の入力音声のピッチは「ソ」のピッチに正規化され、ａ３２で示される範囲のピッチは「ソ♯」のピッチに正規化される。この場合、図４（ｂ）に示す入力音声信号は、図４（ａ）に示す関数によって、そのピッチが、図４（ｃ）に示すものに正規化される。なお、この実施形態では、入力音声信号のピッチを半音単位で正規化するが、正規化する単位は半音に限らず、例えば、全音のピッチで正規化するようにしてもよい。
【００２１】
次に、カラオケ装置１の機能的構成について、図５を参照しつつ説明する。図５は、カラオケ装置１の機能的構成の一例を示す図である。図において、ピッチ検出部１１１，音圧検出部１１２，ノート区切検出部１１３，正規化部１１４，代表値算出部１１５，ノート長算出部１１６，ＭＩＤＩ生成部１１７，検索部１１８及び表示制御部１１９は、カラオケ装置１の制御部１１がＲＯＭ又は記憶部１２に記憶されているコンピュータプログラムを読み出して実行することによって実現される。
【００２２】
ピッチ検出部１１１は、マイクロホン１５から出力される音声信号のピッチを検出する機能を備える。マイクロホン１５で収音された音声は、音声処理部１６でデジタルデータに変換される。ピッチ検出部１１１は、音声処理部１６から出力される音声データから音声のピッチを検出し、検出したピッチを表すピッチデータを、正規化部１１４に出力する。
【００２３】
音圧検出部１１２は、音声処理部１６から出力される音声データから、音声の音圧を検出し、検出した音圧を表す音圧データをノート区切検出部１１３に出力する。
【００２４】
ノート区切検出部１１３は、音声信号の発音状態の区切り位置を検出する。ここでは、ノート区切検出部１１３は、音圧検出部１１２によって検出された音声信号の音圧が予め定められた閾値以上である時間区間をノート中と判断する一方、音圧が閾値未満である部分をノートの区切り位置として検出する。また、ノート区切検出部１１３は、ノートの時間長が予め定められた閾値以下であるノートについてはノイズと判断し無視する。
図６は、ノート区切検出部１１３が行う処理の内容の一例を示す図である。図において、（ａ）は、入力音声信号の波形を示し、（ｂ）は、ノート区切検出部１１３が検出するノートの区切りを示す。（ｃ）は、入力音声信号から検出したピッチｐ１を示す。図６（ａ）乃至（ｃ）において横軸は時刻を示す。また、図６（ｃ）において、縦軸はピッチの高低を示す。図６の（ｂ）に示す例においては、ｎ１，ｎ２，…の各時間区間がノート区間として検出される。
【００２５】
正規化部１１４は、ピッチ検出部１１１から出力されるピッチデータを、正規化関数記憶領域１２４に記憶された正規化関数を用いて、半音のピッチで正規化し、正規化したピッチ（以下「正規化ピッチ」という）を示す正規化ピッチデータを生成する。
図７（ａ），（ｂ）は、正規化部１１４が行う正規化処理の内容の一例を示す図である。図７（ａ）はノート区切検出部１１３が検出するノートの区切りを示す図であり、その内容は図６（ｂ）と同様である。図７（ｂ）において、横軸は時刻を示し、縦軸はピッチの高低を示す。図７（ｂ）のピッチｐ２は、図６の（ｃ）に示したピッチｐ１を正規化したものを示している。図示のように、入力音声信号のピッチｐ１が、正規化関数によって半音単位で正規化されてピッチｐ２となる。
【００２６】
代表値算出部１１５は、正規化部１１４によって正規化されたピッチを、ノート区切検出部１１３により検出された区切り位置に基づいて複数のノート区間に区切り、各ノート区間に含まれる正規化ピッチのなかから代表値を求める。ここでは、代表値算出部１１５は、各ノート区間において時間長が最長である正規化ピッチをそのノート区間の代表値として特定する。例えば、図７に示す例において、ノート区間ｎ７においては、図示のように、４つのピッチｐａ，ｐｂ，ｐｃ，ｐｄが含まれるが、代表値算出部１１５は、各ピッチの時間長を比較し、ノート区間ｎ７において時間長が最長である正規化ピッチｐｃを代表値として特定する。
【００２７】
このとき、代表値算出部１１５は、ノートの大半（例えば、半分以上）の時間を単一の正規化ピッチが占める場合には、その正規化ピッチを代表値として特定する。一方、ノートの大半の時間を占める単一の正規化ピッチがない場合には、時間長が長い正規化ピッチを複数代表値として特定する。
【００２８】
ノート長算出部１１６は、ノート区切検出部１１３が検出した区切り位置に基づいて、各ノートの時間長を算出し、算出したノートの時間長を示すデータを検索部１１８に出力する。
【００２９】
ＭＩＤＩ生成部１１７は、代表値算出部１１５から供給されるノート区間毎の代表値に基づいてＭＩＤＩ形式のデータ（以下「ＭＩＤＩデータ」）を生成し、音声処理部１６に出力する。このとき、ＭＩＤＩ生成部１１７は、音色指定データ記憶領域１２３に記憶された音色データの示す音色（例えば、トランペット等）の楽音を発生させるためのＭＩＤＩデータを生成する。音声処理部１６は、ＭＩＤＩ生成部１１７から出力されるＭＩＤＩデータに基づいた楽音信号を生成し、生成した楽音信号をスピーカ１７に供給する。これにより、スピーカ１７からは、利用者によって発生された音声のピッチや音の強度等に応じた楽音が発音される。
【００３０】
検索部１１８は、代表値算出部１１５によって特定されたノート区間毎の代表値の列（以下「音程代表値列」という）を、楽曲データベースに記憶されたメロディデータと照合し、その一致度に基づいて、１又は複数の楽曲を選定する。この選定処理の内容の一例について以下に説明する。まず、検索部１１８は、検索用のｎ個の音程代表値列とデータベースから取り出した比較用の１曲全体のガイドメロディのノート列（以下「リファレンスノート列」）とを１サンプルずつずらして一致比較し、ｎ個の各ポジション同士の差がすべて同じ値である場合には合格と判定する。また、検索部１１８は、ｎ個の各ポジションがすべて一致しない場合であっても、１つずつずらした前後で差が両方ともに連続して一致しており、その値が等しく、かつ一致数の合計が閾値以上であれば合格と判定する。
【００３１】
上述の一致比較処理において合格と判定した場合には、検索部１１８は、合格と判定された音程代表値列とリファレンスノート列とについて、一致したノート同士が対となるように代表値とリファレンス値とのペアをつくり、それぞれにノート長の合計が１．０になるように正規化する。次いで、検索部１１８は、ペアの大きい値を小さい値で割りペア毎に商を求め、商が全て予め定められた閾値以下であれば合格と判定する。
【００３２】
検索部１１８は、楽曲データベースに登録された全楽曲の全ての部分に対して上述の処理を行う。その結果、合格した楽曲数が少ない（予め定められた閾値以下である）場合には、検索部１１８は、検索結果を示すデータを表示制御部１１９に出力する。一方、検索部１１８は、合格した楽曲数が多い場合には、更に絞込みを行う。この絞込み処理としては、例えば、正規化する前のピッチデータを用いてＤＰマッチング法を用いて行う。より具体的には、検索部１１８は、検索用ピッチと合格したリファレンスとをＤＰマッチングさせ、ピッチ差の累計が最小になる経路を求めることで、候補ごとに累計を求め、ピッチ差の累計が最小のものから幾つかを検索結果とし、検索結果を示すデータを表示制御部１１９に出力する。なお、この絞込み処理はＤＰマッチング法を用いたものに限らず、他のアルゴリズムに基づいて照合処理を行うようにしてもよい。
表示制御部１１９は、検索部１１８から供給されるデータに基づいて、検索結果を示す画像データを生成し、表示部１３に出力する。
【００３３】
＜Ｂ：動作＞
次に、カラオケ装置１が行う処理の流れについて説明する。まず、利用者は、カラオケ装置１の操作部１４を用いて、音声入力による楽曲検索のための操作を行う。操作部１４は、操作された内容に応じた操作信号を制御部１１へ出力する。制御部１１は、操作部１４から出力される操作信号に応じて、検索処理を開始する。
利用者は、マイクロホン１５を用いて、例えば、「パ、パ、パ、パ、…」といったように楽曲のメロディを歌唱する。利用者の歌唱音声はマイクロホン１５によって収音されて音声信号に変換され、音声処理部１６へと出力される。音声処理部１６は、マイクロホン１５から出力される音声信号をデジタルデータに変換する。
【００３４】
制御部１１は、図５に示した各部の処理を行う。まず、制御部１１は、入力音声信号から、音声のピッチ及び音圧を検出する。次いで、制御部１１は、検出したピッチを正規化関数記憶領域１２４に記憶された正規化関数を用いて正規化するとともに、検出された音圧に基づいてノートの区切りを検出する。また、制御部１１は、正規化したピッチをノートの区切り位置に基づいてノート毎に代表値を特定し、特定されたノート毎の代表ピッチに基づいて楽音信号を生成する。生成された楽音信号は音声処理部１６によってアナログ信号に変換され、スピーカ１７から楽音として放音される。
【００３５】
これにより、利用者が歌唱を行うとその入力音声が正規化された楽音が発生する。利用者は、この楽音を聴取することで、自身の所望する入力が出来ているか否かを確認することができる。また、この楽音を聴取しながら歌唱を続行することで、検索に適した歌唱音声を入力することが容易となる。
【００３６】
また、制御部１１は、ノート毎の代表値とノート長とを用いて、入力音声信号から検出されたノート列と楽曲データのメロディデータを構成するノート列とを比較し、その一致度に基づいて１又は複数の楽曲を選定する。制御部１１は、選定結果を示すデータを表示部１３に出力し、表示部１３は、制御部１１から供給される信号に応じて、選定結果を示す画像を表示する。これにより、カラオケ装置１の表示部１３には、カラオケ装置１による楽曲の検索結果が、利用者の歌唱にあわせてリアルタイムで表示される。
【００３７】
利用者は、表示部１３に表示された検索結果を参照して、操作部１４を用いて表示された楽曲のうちのいずれかを選択する。操作部１４は、操作された内容に応じた操作信号を制御部１１へ出力し、制御部１１は、選択された楽曲に対応する伴奏データを楽曲データベース記憶領域１２１から読み出して、読み出した伴奏データを音声処理部１６へ供給する。音声処理部１６は伴奏データに基づいて楽音信号をスピーカ１７へ出力し、これにより、スピーカ１７からは、利用者によって選択された楽曲の伴奏音が放音される。
【００３８】
ところで、ＤＰマッチング等の手法を用いた従来の検索装置においては、データサンプル数が多く、また、処理量が大きいため、検索時間が長くなってしまうという問題がある。検索時間が長いほど利用者がストレスを感じることとなる。それに対しこの実施形態では、検索装置において、正規化したピッチ列を検索キーとして用いるから、従来と比較して検索処理に要する時間を短縮することができる。
【００３９】
ところで、絶対音感の無い多くの人にとって、伴奏のない状態で、正確な音程で歌唱することは困難を極める。しかしながら、伴奏があればそれにあわせた音程を出すことは比較的容易である。正規化されない生の歌唱を聞いた場合は、それを聴いて正しい音程か否かの判定が難しいが、それが正規化された場合には、楽器の演奏音を聴くのと同じであるので、間違いが容易に判定できる。
【００４０】
そこで、この実施形態では、上述したように、入力された音程を正規化しその音程で音源を鳴らし、それを利用者にフィードバックする。これを聴くことにより、利用者はよりその正規化音程に近づけた音程で歌唱できる。また、ずれた場合にはフィードバック音程は一度に１００セント（半音）ずれて聴こえるので、利用者は間違えたことに容易に気付き、短時間で正しい音程に訂正することができる。
【００４１】
楽曲を検索する装置においては、入力される音声信号が利用者の意図通りに正規化されなければ、検索のヒット率が低くなる。検索の誤りを回避するためには、意図通りでないことを見越した複雑な処理が必要となり処理量の増加につながる。それに対しこの実施形態では、利用者に正規化後のピッチ列を聴かせることで、どのようなデータが検索キーとして用いられているかを利用者に把握させることができるから、利用者は、放音される楽音を聴きながら自身の歌唱を修正することができ、これにより、従来と比較して、楽曲の検索のための音声入力をより容易にすることができる。
【００４２】
＜Ｃ：変形例＞
以上、本発明の実施形態について説明したが、本発明は上述した実施形態に限定されることなく、他の様々な形態で実施可能である。以下にその一例を示す。なお、以下の各態様を適宜に組み合わせてもよい。
（１）上述した実施形態では、音声信号の音圧が予め定められた閾値より小さい位置を区切り位置として検出するようにした。区切り位置を検出する方法はこれに限らず、例えば、操作部１４の所定のキーが押下されたタイミングを区切り位置として検出するようにしてもよい。この場合は、例えば、利用者が、検索した楽曲を歌唱しながらノートの区切り位置でその都度操作部１４のキーを押下し、制御部１１は、操作部１４から操作信号が出力されるタイミングをノートの区切り位置として検出するようにすればよい。また、これに限らず、音声信号の時間的な区切り位置を検出するものであればどのようなものであってもよい。
【００４３】
（２）上述の実施形態では、各ノート区間に含まれる正規化ピッチのうちの時間長が最長である正規化ピッチをそのノート区間の代表値として特定するようにした。ノート区間毎の代表値の特定方法はこれに限らず、例えば、各ノート区間に含まれる正規化ピッチのうちの継続時間長が予め定められた閾値以上であるものを代表値として特定するようにしてもよく、ノート区間毎の代表値を特定するものであればどのようなものであってもよい。
【００４４】
（３）上述の実施形態では、ＭＩＤＩ生成部１１７が、音色指定データ記憶領域１２３に記憶された音色指定データの示す音色のＭＩＤＩデータを生成することにより、楽音信号の音色を変更するようにしたが、楽音信号の音色は予め設定されたものであってもよく、また、利用者が歌唱中にリアルタイムに音色を選択できるようにしてもよい。この場合は、利用者は、操作部１４を操作して所望する音色を選択するための操作を行い、制御部１１は、操作部１４から供給される操作信号に応じて、選択された音色のＭＩＤＩデータを生成する。
【００４５】
（４）上述の実施形態では、検索部１１８による検索結果を表示部１３に表示することによって利用者に報知した。検索結果の報知の態様はこれに限らず、例えば、音声メッセージを出力することによって報知してもよく、また、検索結果を示す情報を電子メール形式で利用者のメール端末に送信するという形態であってもよい。また、検索結果を示す情報を記憶媒体に出力して記憶させるようにしてもよく、この場合、利用者はコンピュータを用いてこの記憶媒体から情報を読み出させることで、それらを参照することができる。また、判定結果を所定の用紙に印刷出力してもよい。要は利用者に対して何らかの手段でメッセージ乃至情報を伝えられるように、処理状況を示す情報を出力するものであればよい。
【００４６】
（５）上述の実施形態では、入力音声の全部を用いて楽曲の照合を行うようにしたが、入力音声信号の全部ではなく一部を用いて検索を行うようにしてもよい。例えば、制御部１１が、ノート区間毎の代表値の列を記憶部１２の所定の記憶領域に時系列に記憶させ、記憶されたノート区間毎の代表値の列のうちの少なくとも後半部を用いて、楽曲データベースに登録されたメロディデータと照合し、その一致度に基づいて１又は複数の楽曲を選定するようにしてもよい。上述の実施形態で示したように、利用者は、自身の音声が正規化された楽音を聴取しながら歌唱を行うから、歌唱の後半にいくほど音程がより正確になっていくと考えられる。そのため、入力音声信号の後半部分を用いて楽曲照合を行うことで、照合処理をより正確に行うことができる。
【００４７】
（６）上述の実施形態では、楽曲のメロディをノートの列で示すメロディデータを用いて、制御部１１が、入力音声信号のノート毎の時間的な区切り位置を検出し、検出した入力音声信号のノート区間の代表値列とメロディデータのノート列とを比較することによって照合処理を行ったが、比較単位となる時間区間はノート区間に限らず、例えば、予め定められた単位時間毎（例えば、２秒毎）の時間区間であってもよく、また、小節毎の時間区間であってもよく、音声信号が所定の規則に従って区切られた時間区間であればよい。
また、上述の実施形態では、ノート区間毎に、１又は複数の代表値を特定するようにしたが、ノート区間毎に代表値を１つずつ特定するようにしてもよい。
【００４８】
（７）上述の実施形態では、マイクロホン１５が利用者の歌唱音声を収音したが、収音される音声は、利用者の歌唱音声に限らず、例えば、楽器の演奏音であってもよく、音や声を表すものであればどのようなものであってもよい。
また、上述の実施形態では、マイクロホン１５で収音した音声からピッチを検出したが、音声を表す音声データを予め記憶部に記憶しておき、記憶しておいた音声データからピッチを検出するようにしてもよい。
【００４９】
（８）上述の実施形態では、カラオケ装置１を本発明に係る楽音信号発生装置及び楽曲検索装置として適用したが、本発明に係る楽音信号発生装置及び楽曲検索装置として適用される装置はカラオケ装置に限らず、例えばパーソナルコンピュータや移動体通信端末など、様々な装置が本発明に係る楽音信号発生装置として適用可能である。
【００５０】
（９）上述の実施形態では、図４に示す正規化関数を用いて、入力音声信号のピッチを半音単位で正規化したが、正規化処理の態様はこれに限らず、例えば、入力音声信号のピッチと正規化後のピッチとを関連付けて記憶するテーブルを用いて正規化を行うようにしてもよく、入力音声信号のピッチを正規化するものであればどのようなものであってもよい。
また、上述した実施形態では、図４に示したように、ピッチが半音単位で正規化されるようにしたが、ピッチを正規化する単位は半音単位に限らず、例えば全音単位であってもよく、これより大きくても小さくてもよく、所定の音階を構成するピッチのうちの近接するピッチで正規化するようにすればよい。
また、上述の実施形態では、入力音声信号のピッチを、半音毎のピッチのうちの、そのピッチとの差が最小となるものに正規化するようにしたが、差分が最小となるピッチに正規化するに限らず、例えば、音高側のピッチのうちの最近するピッチに正規化するようにしてもよく、また、音程側のピッチのうちの最近するピッチに正規化するようにしてもよく、要するに、入力音声信号のピッチを、所定の音階を構成するピッチのうちの近接するピッチで正規化するようにすればよい。
【００５１】
（１０）上述の実施形態では、ピッチ検出部１１１，音圧検出部１１２等は、カラオケ装置１の制御部１１がコンピュータプログラムを実行することによって実現された。これに変えて、ピッチ検出部１１１，音圧検出部１１２等が専用のハードウェア回路で構成されていてもよい。
【００５２】
また、カラオケ装置１の制御部１１によって実行されるプログラムは、磁気テープ、磁気ディスク、フレキシブルディスク、光記録媒体、光磁気記録媒体、ＲＡＭ、ＲＯＭなどの記録媒体に記録した状態で提供し得る。また、インターネットのようなネットワーク経由でカラオケ装置１にダウンロードさせることも可能である。
【図面の簡単な説明】
【００５３】
【図１】カラオケ装置１のハードウェア構成の一例を示すブロック図である。
【図２】楽曲データの内容の一例を示す図である。
【図３】メロディデータの内容の一例を示す図である。
【図４】正規化関数の内容の一例を示す図である。
【図５】カラオケ装置１の機能的構成の一例を示すブロック図である。
【図６】ノート区切り検出処理の内容を説明するための図である。
【図７】正規化処理の内容を説明するための図である。
【符号の説明】
【００５４】
１…カラオケ装置、１１…制御部、１２…記憶部、１３…表示部、１４…操作部、１５…マイクロホン、１６…音声処理部、１７…スピーカ、１１１…ピッチ検出部、１１２…音圧検出部、１１３…ノート区切検出部、１１４…正規化部、１１５…代表値算出部、１１６…ノート長算出部、１１７…ＭＩＤＩ生成部、１１８…検索部、１１９…表示制御部、１２１…楽曲データベース記憶領域、１２２…背景画データ記憶領域、１２３…音色指定データ記憶領域、１２４…正規化関数記憶領域。
【技術分野】
【０００１】
本発明は、楽音信号を発生させる技術に関する。
【背景技術】
【０００２】
近年、鼻歌やハミングを基にして楽曲名やアーティスト名を検索することのできる技術が提案されている（特許文献１，２参照）。このような技術においては、検索入力の音程変化と候補となる楽譜の音程変化とでＤＰ（Dynamic Programming：動的計画法）マッチングを行い、誤差の最小となる経路を求めることで、両者の類似度を判定する手法を用いたものもある。
【特許文献１】特開２０００−３５６９９６号公報
【特許文献２】特開２００２−５５９９４号公報
【発明の開示】
【発明が解決しようとする課題】
【０００３】
ところで、従来の装置においては、利用者が鼻歌等の音声を入力した場合に、入力された音声の音程が不安定な場合がある。このような場合には、検索入力の音程変化と楽譜の音程変化との一致度が低いから、楽曲を好適に検索することができない。このような場合であっても、利用者は、意図した入力ができたかどうかを入力時に確認することができない。
【０００４】
本発明は上述した背景の下になされたものであり、入力される音声に基づいて楽曲を検索する検索装置において、利用者が、自身の意図通りの音程の音声を検索装置に入力し易くすることのできる技術を提供することを目的とする。
【課題を解決するための手段】
【０００５】
本発明の好適な態様である楽音信号発生装置は、収音手段から出力される音声信号のピッチを検出するピッチ検出手段と、前記ピッチ検出手段により検出されたピッチを、所定の音階を構成するピッチのうちの近接するピッチで正規化する正規化手段と、前記音声信号の発音状態の区切り位置を検出する区切り位置検出手段と、前記正規化手段により正規化されたピッチを、前記区切り位置検出手段により検出された区切り位置に基づいて複数の時間区間に区切り、各時間区間について前記正規化されたピッチの代表値を求める代表値特定手段と、前記代表値特定手段により求められた代表値の楽音信号を前記時間区間毎に生成する楽音信号生成手段と、前記楽音信号生成手段により生成された楽音信号を発生させる音源手段とを具備することを特徴とする。
【０００６】
上述の態様において、前記区切り位置検出手段は、前記音声信号の音圧が予め定められた閾値より小さい位置を区切り位置として検出してもよい。
また、上述の態様において、前記代表値特定手段は、前記各時間区間において、前記正規化されたピッチのうちの時間長が最長であるものを該時間区間の代表値として特定してもよい。
また、上述の態様において、前記音源手段が発生する楽音信号の音色を変更する音色変更手段を備えてもよい。
【０００７】
また、本発明の好適な態様である楽曲検索装置は、上述の楽音信号発生装置と、楽曲のメロディを表すメロディデータを前記楽曲毎に記憶する楽曲データベースと、前記代表値特定手段により特定された前記時間区間毎の代表値の列を、前記楽曲データベースに記憶されたメロディデータと照合し、その一致度に基づいて、１又は複数の楽曲を選定する楽曲選定手段と、前記楽曲選定手段により選定された楽曲を表すデータを出力する出力手段とを具備することを特徴とする。
【０００８】
上述の態様において、前記代表値特定手段により特定された前記時間区間毎の代表値の列を時系列に記憶手段に記憶させる記憶制御手段を具備し、前記楽曲選定手段は、前記記憶手段に記憶された前記時間区間毎の代表値の列のうちの少なくとも後半部を用いて、前記楽曲データベースに記憶されたメロディデータと照合し、その一致度に基づいて、１又は複数の楽曲を選定してもよい。
【０００９】
また、上述の態様において、前記出力手段は、前記楽曲選定手段により選定された楽曲を表す画像を表示手段に表示させてもよい。
また、上述の態様において、前記楽曲データベースは、楽曲のメロディをノートの列で示すメロディデータを前記楽曲毎に記憶し、前記区切り位置検出手段は、前記音声信号のノートの区切り位置を検出し、前記楽曲選定手段は、前記代表値特定手段により特定されたノート毎の代表値の列を、前記楽曲データベースに記憶されたメロディデータを構成するノートの列と照合し、その一致度に基づいて、１又は複数の楽曲を選定してもよい。
【００１０】
また、上述の態様において、前記代表値特定手段は、前記各時間区間について前記正規化されたピッチの代表値を１又は複数求め、前記楽曲選定手段は、前記代表値特定手段により求められた前記時間区間毎の１又は複数の代表値を用いて前記メロディデータと照合し、その一致度に基づいて、１又は複数の楽曲を選定してもよい。
【００１１】
また、本発明の好適な態様であるカラオケ装置は、上述の楽曲検索装置と、前記楽曲の伴奏音を表す伴奏データを記憶する伴奏データ記憶手段と、前記楽曲選定手段により選定された楽曲に対応する伴奏データを前記伴奏データ記憶手段から読み出して、読み出した伴奏データを放音手段に出力する伴奏データ出力手段とを具備することを特徴とする。
【発明の効果】
【００１２】
本発明によれば、利用者が、自身の意図通りの音程の音声を検索装置に入力し易くすることができる。
【発明を実施するための最良の形態】
【００１３】
次に、本発明を実施するための最良の形態を説明する。
＜Ａ：構成＞
図１は、この発明の一実施形態であるカラオケ装置１のハードウェア構成を示すブロック図である。図において、制御部１１は、ＣＰＵ（Central Processing Unit）やＲＯＭ（Read Only Memory）、ＲＡＭ（Random Access Memory）を備え、ＲＯＭ又は記憶部１２に記憶されているコンピュータプログラムを読み出して実行することにより、バスを介してカラオケ装置１の各部を制御する。記憶部１２は、制御部１１によって実行されるプログラムやその実行時に使用されるデータを記憶するための記憶手段であり、例えばハードディスク装置である。表示部１３は、液晶パネルなどを備え、制御部１１による制御の下に各種の画像を表示する。操作部１４は、カラオケ装置１の利用者による操作に応じた信号を制御部１１に出力する。マイクロホン１５は、利用者が発音した音声を収音し、収音した音声を表す音声信号（アナログ信号）を出力する収音手段である。音声処理部１６は、マイクロホン１５が出力する音声信号（アナログ信号）をデジタルデータに変換する。また、音声処理部１６は、デジタルデータをアナログ信号に変換してスピーカ１７に出力する。スピーカ１７は、音声処理部１６でデジタルデータからアナログ信号に変換され出力される音声信号に応じた強度で放音する放音手段である。
【００１４】
なお、この実施形態では、マイクロホン１５とスピーカ１７とがカラオケ装置１に含まれている場合について説明するが、音声処理部１６に入力端子及び出力端子を設け、オーディオケーブルを介してその入力端子に外部マイクロホンを接続する構成としても良く、同様に、オーディオケーブルを介してその出力端子に外部スピーカを接続するとしても良い。また、この実施形態では、マイクロホン１５から音声処理部１６へ入力される音声信号及び音声処理部１６からスピーカ１７へ出力される音声信号がアナログ音声信号である場合について説明するが、デジタル音声データを入出力するようにしても良い。このような場合には、音声処理部１６にてＡ／Ｄ変換やＤ／Ａ変換を行う必要はない。また、同様に、操作部１４や表示部１３は、カラオケ装置１に内蔵されていてもよく、外付けされる構成であってもよい。
【００１５】
記憶部１２は、図示のように、楽曲データベース記憶領域１２１と、背景画データ記憶領域１２２と、音色指定データ記憶領域１２３と、正規化関数記憶領域１２４とを有している。楽曲データベース記憶領域１２１には、カラオケ伴奏の際に用いられる、楽曲の伴奏音や歌詞を表す楽曲データが記憶されている。背景画データ記憶領域１２２には、カラオケ伴奏時に背景として表示される動画像を表す背景画データが記憶されている。音色指定データ記憶領域１２３には、例えばギター、ドラム、ピアノ等の楽器の音色を指定する音色指定データが記憶されている。この音色指定データは、カラオケ装置１の利用者が、操作部１４を操作することによって変更することができる。利用者によって操作部１４が操作されると、操作部１４は、操作された内容に応じた操作信号を制御部１１に出力し、制御部１１は、操作部１４から出力される操作信号に応じて、カラオケ装置１が発生させる楽音信号の音色を変更する。正規化関数記憶領域１２４には、音声信号のピッチを、所定の音階を構成するピッチのうちの近接するピッチで正規化するための正規化関数が記憶されている。
【００１６】
ここで、楽曲データベース記憶領域１２１に記憶された楽曲データの内容の一例について説明する。楽曲データは、図２に示すように、ヘッダと複数のトラックとを有しており、複数のトラックには、利用者が歌唱すべき旋律（ピッチ）の内容を表すガイドメロディデータが記述されたガイドメロディデータトラック、カラオケ演奏音の内容を表す演奏データが記述された演奏トラック、歌詞の内容を表す歌詞データが記述された歌詞トラックがある。楽曲データのヘッダ部分には、図２に示すように楽曲を特定する曲番号データ、楽曲の曲名を示す曲名データ、ジャンルを示すジャンルデータ、楽曲の演奏時間を示す演奏時間データ等が含まれている。以上のデータは、ＭＩＤＩフォーマットに従って記述されている。楽曲データの歌詞トラックには、歌詞を構成する各文字を示すデータと、各文字を表示する表示タイミングを示すタイミングデータとを含む歌詞データが記述される。
【００１７】
次に、ガイドメロディデータトラックに記述されているガイドメロディデータの具体例について説明する。図３は行と列のマトリックスになっているので、まず、列について説明する。第１列のデルタタイムは、イベントとイベントとの時間間隔を示しており、テンポクロックの数で表される。デルタタイムが「０」の場合は、直前のイベントと同時に実行される。第２列には演奏データの各イベントが持つメッセージの内容が記述されている。このメッセージには、発音イベントを示すノートオンメッセージ（ＮｏｔｅＯｎ）や消音イベントを示すノートオフメッセージ（ＮｏｔｅＯｆｆ）の他、コントロールチェンジメッセージ等が含まれる。なお、図３に示す例では、コントロールチェンジメッセージは含まれていない。
【００１８】
第３列にはチャンネルの番号が記述されている。ここでは、説明の簡略のためガイドメロディデータトラックのチャンネル番号を「１」としている。
第４列には、ノートナンバ（ＮｏｔｅＮｕｍ）あるいはコントロールナンバ（ＣｔｒｌＮｕｍ）が記述されるが、どちらが記述されるかはメッセージの内容により異なる。例えば、ノートオンメッセージ又はノートオフメッセージであれば、ここには音階を表すノートナンバが記述され、またコントロールチェンジメッセージであればその種類を示すコントロールナンバが記述されている。
第５列にはＭＩＤＩメッセージの具体的な値（データ）が記述されている。例えばノートオンメッセージであれば、ここには音の強さを表すベロシティの値が記述され、ノートオフメッセージであれば、音を消す速さを表すベロシティの値が記述され、またコントロールチェンジメッセージであればコントロールナンバに応じたパラメータの値が記述されている。
【００１９】
次に、図３に示す各行は、歌唱すべきメロディの各音符の属性を示す楽音パラメータとなっており、ノートオンイベント、ノートオフイベントで構成される。
図３に示す例では、デルタタイム４８０の長さを４分音符の長さとしている。この場合、第１行、第２行のイベント処理によりＣ４音が４分音符の長さにわたって発音されることが示され、第３行、第４行のイベント処理によりＧ４音が４文音符の長さにわたって発音されることが示される。そして、第５行、第６行の処理によりＦ４音が２分音符の長さにわたって発音されることが示される。
【００２０】
次に、正規化関数記憶領域１２４に記憶された正規化関数の内容の一例について説明する。この実施形態では、図４（ａ）に示すような、マイクロホン１５を介して入力される音声信号（以下「入力音声信号」）のピッチと正規化後のピッチとの対応関係を示す関数が記憶されている。図４（ａ）において、横軸は入力音声信号のピッチを示し、縦軸は正規化後のピッチを示している。この実施形態では、入力音声信号のピッチは、１００セント毎に（すなわち半音単位で）正規化される。具体的には、例えば、図４（ａ）において、ａ３１で示される範囲の入力音声のピッチは「ソ」のピッチに正規化され、ａ３２で示される範囲のピッチは「ソ♯」のピッチに正規化される。この場合、図４（ｂ）に示す入力音声信号は、図４（ａ）に示す関数によって、そのピッチが、図４（ｃ）に示すものに正規化される。なお、この実施形態では、入力音声信号のピッチを半音単位で正規化するが、正規化する単位は半音に限らず、例えば、全音のピッチで正規化するようにしてもよい。
【００２１】
次に、カラオケ装置１の機能的構成について、図５を参照しつつ説明する。図５は、カラオケ装置１の機能的構成の一例を示す図である。図において、ピッチ検出部１１１，音圧検出部１１２，ノート区切検出部１１３，正規化部１１４，代表値算出部１１５，ノート長算出部１１６，ＭＩＤＩ生成部１１７，検索部１１８及び表示制御部１１９は、カラオケ装置１の制御部１１がＲＯＭ又は記憶部１２に記憶されているコンピュータプログラムを読み出して実行することによって実現される。
【００２２】
ピッチ検出部１１１は、マイクロホン１５から出力される音声信号のピッチを検出する機能を備える。マイクロホン１５で収音された音声は、音声処理部１６でデジタルデータに変換される。ピッチ検出部１１１は、音声処理部１６から出力される音声データから音声のピッチを検出し、検出したピッチを表すピッチデータを、正規化部１１４に出力する。
【００２３】
音圧検出部１１２は、音声処理部１６から出力される音声データから、音声の音圧を検出し、検出した音圧を表す音圧データをノート区切検出部１１３に出力する。
【００２４】
ノート区切検出部１１３は、音声信号の発音状態の区切り位置を検出する。ここでは、ノート区切検出部１１３は、音圧検出部１１２によって検出された音声信号の音圧が予め定められた閾値以上である時間区間をノート中と判断する一方、音圧が閾値未満である部分をノートの区切り位置として検出する。また、ノート区切検出部１１３は、ノートの時間長が予め定められた閾値以下であるノートについてはノイズと判断し無視する。
図６は、ノート区切検出部１１３が行う処理の内容の一例を示す図である。図において、（ａ）は、入力音声信号の波形を示し、（ｂ）は、ノート区切検出部１１３が検出するノートの区切りを示す。（ｃ）は、入力音声信号から検出したピッチｐ１を示す。図６（ａ）乃至（ｃ）において横軸は時刻を示す。また、図６（ｃ）において、縦軸はピッチの高低を示す。図６の（ｂ）に示す例においては、ｎ１，ｎ２，…の各時間区間がノート区間として検出される。
【００２５】
正規化部１１４は、ピッチ検出部１１１から出力されるピッチデータを、正規化関数記憶領域１２４に記憶された正規化関数を用いて、半音のピッチで正規化し、正規化したピッチ（以下「正規化ピッチ」という）を示す正規化ピッチデータを生成する。
図７（ａ），（ｂ）は、正規化部１１４が行う正規化処理の内容の一例を示す図である。図７（ａ）はノート区切検出部１１３が検出するノートの区切りを示す図であり、その内容は図６（ｂ）と同様である。図７（ｂ）において、横軸は時刻を示し、縦軸はピッチの高低を示す。図７（ｂ）のピッチｐ２は、図６の（ｃ）に示したピッチｐ１を正規化したものを示している。図示のように、入力音声信号のピッチｐ１が、正規化関数によって半音単位で正規化されてピッチｐ２となる。
【００２６】
代表値算出部１１５は、正規化部１１４によって正規化されたピッチを、ノート区切検出部１１３により検出された区切り位置に基づいて複数のノート区間に区切り、各ノート区間に含まれる正規化ピッチのなかから代表値を求める。ここでは、代表値算出部１１５は、各ノート区間において時間長が最長である正規化ピッチをそのノート区間の代表値として特定する。例えば、図７に示す例において、ノート区間ｎ７においては、図示のように、４つのピッチｐａ，ｐｂ，ｐｃ，ｐｄが含まれるが、代表値算出部１１５は、各ピッチの時間長を比較し、ノート区間ｎ７において時間長が最長である正規化ピッチｐｃを代表値として特定する。
【００２７】
このとき、代表値算出部１１５は、ノートの大半（例えば、半分以上）の時間を単一の正規化ピッチが占める場合には、その正規化ピッチを代表値として特定する。一方、ノートの大半の時間を占める単一の正規化ピッチがない場合には、時間長が長い正規化ピッチを複数代表値として特定する。
【００２８】
ノート長算出部１１６は、ノート区切検出部１１３が検出した区切り位置に基づいて、各ノートの時間長を算出し、算出したノートの時間長を示すデータを検索部１１８に出力する。
【００２９】
ＭＩＤＩ生成部１１７は、代表値算出部１１５から供給されるノート区間毎の代表値に基づいてＭＩＤＩ形式のデータ（以下「ＭＩＤＩデータ」）を生成し、音声処理部１６に出力する。このとき、ＭＩＤＩ生成部１１７は、音色指定データ記憶領域１２３に記憶された音色データの示す音色（例えば、トランペット等）の楽音を発生させるためのＭＩＤＩデータを生成する。音声処理部１６は、ＭＩＤＩ生成部１１７から出力されるＭＩＤＩデータに基づいた楽音信号を生成し、生成した楽音信号をスピーカ１７に供給する。これにより、スピーカ１７からは、利用者によって発生された音声のピッチや音の強度等に応じた楽音が発音される。
【００３０】
検索部１１８は、代表値算出部１１５によって特定されたノート区間毎の代表値の列（以下「音程代表値列」という）を、楽曲データベースに記憶されたメロディデータと照合し、その一致度に基づいて、１又は複数の楽曲を選定する。この選定処理の内容の一例について以下に説明する。まず、検索部１１８は、検索用のｎ個の音程代表値列とデータベースから取り出した比較用の１曲全体のガイドメロディのノート列（以下「リファレンスノート列」）とを１サンプルずつずらして一致比較し、ｎ個の各ポジション同士の差がすべて同じ値である場合には合格と判定する。また、検索部１１８は、ｎ個の各ポジションがすべて一致しない場合であっても、１つずつずらした前後で差が両方ともに連続して一致しており、その値が等しく、かつ一致数の合計が閾値以上であれば合格と判定する。
【００３１】
上述の一致比較処理において合格と判定した場合には、検索部１１８は、合格と判定された音程代表値列とリファレンスノート列とについて、一致したノート同士が対となるように代表値とリファレンス値とのペアをつくり、それぞれにノート長の合計が１．０になるように正規化する。次いで、検索部１１８は、ペアの大きい値を小さい値で割りペア毎に商を求め、商が全て予め定められた閾値以下であれば合格と判定する。
【００３２】
検索部１１８は、楽曲データベースに登録された全楽曲の全ての部分に対して上述の処理を行う。その結果、合格した楽曲数が少ない（予め定められた閾値以下である）場合には、検索部１１８は、検索結果を示すデータを表示制御部１１９に出力する。一方、検索部１１８は、合格した楽曲数が多い場合には、更に絞込みを行う。この絞込み処理としては、例えば、正規化する前のピッチデータを用いてＤＰマッチング法を用いて行う。より具体的には、検索部１１８は、検索用ピッチと合格したリファレンスとをＤＰマッチングさせ、ピッチ差の累計が最小になる経路を求めることで、候補ごとに累計を求め、ピッチ差の累計が最小のものから幾つかを検索結果とし、検索結果を示すデータを表示制御部１１９に出力する。なお、この絞込み処理はＤＰマッチング法を用いたものに限らず、他のアルゴリズムに基づいて照合処理を行うようにしてもよい。
表示制御部１１９は、検索部１１８から供給されるデータに基づいて、検索結果を示す画像データを生成し、表示部１３に出力する。
【００３３】
＜Ｂ：動作＞
次に、カラオケ装置１が行う処理の流れについて説明する。まず、利用者は、カラオケ装置１の操作部１４を用いて、音声入力による楽曲検索のための操作を行う。操作部１４は、操作された内容に応じた操作信号を制御部１１へ出力する。制御部１１は、操作部１４から出力される操作信号に応じて、検索処理を開始する。
利用者は、マイクロホン１５を用いて、例えば、「パ、パ、パ、パ、…」といったように楽曲のメロディを歌唱する。利用者の歌唱音声はマイクロホン１５によって収音されて音声信号に変換され、音声処理部１６へと出力される。音声処理部１６は、マイクロホン１５から出力される音声信号をデジタルデータに変換する。
【００３４】
制御部１１は、図５に示した各部の処理を行う。まず、制御部１１は、入力音声信号から、音声のピッチ及び音圧を検出する。次いで、制御部１１は、検出したピッチを正規化関数記憶領域１２４に記憶された正規化関数を用いて正規化するとともに、検出された音圧に基づいてノートの区切りを検出する。また、制御部１１は、正規化したピッチをノートの区切り位置に基づいてノート毎に代表値を特定し、特定されたノート毎の代表ピッチに基づいて楽音信号を生成する。生成された楽音信号は音声処理部１６によってアナログ信号に変換され、スピーカ１７から楽音として放音される。
【００３５】
これにより、利用者が歌唱を行うとその入力音声が正規化された楽音が発生する。利用者は、この楽音を聴取することで、自身の所望する入力が出来ているか否かを確認することができる。また、この楽音を聴取しながら歌唱を続行することで、検索に適した歌唱音声を入力することが容易となる。
【００３６】
また、制御部１１は、ノート毎の代表値とノート長とを用いて、入力音声信号から検出されたノート列と楽曲データのメロディデータを構成するノート列とを比較し、その一致度に基づいて１又は複数の楽曲を選定する。制御部１１は、選定結果を示すデータを表示部１３に出力し、表示部１３は、制御部１１から供給される信号に応じて、選定結果を示す画像を表示する。これにより、カラオケ装置１の表示部１３には、カラオケ装置１による楽曲の検索結果が、利用者の歌唱にあわせてリアルタイムで表示される。
【００３７】
利用者は、表示部１３に表示された検索結果を参照して、操作部１４を用いて表示された楽曲のうちのいずれかを選択する。操作部１４は、操作された内容に応じた操作信号を制御部１１へ出力し、制御部１１は、選択された楽曲に対応する伴奏データを楽曲データベース記憶領域１２１から読み出して、読み出した伴奏データを音声処理部１６へ供給する。音声処理部１６は伴奏データに基づいて楽音信号をスピーカ１７へ出力し、これにより、スピーカ１７からは、利用者によって選択された楽曲の伴奏音が放音される。
【００３８】
ところで、ＤＰマッチング等の手法を用いた従来の検索装置においては、データサンプル数が多く、また、処理量が大きいため、検索時間が長くなってしまうという問題がある。検索時間が長いほど利用者がストレスを感じることとなる。それに対しこの実施形態では、検索装置において、正規化したピッチ列を検索キーとして用いるから、従来と比較して検索処理に要する時間を短縮することができる。
【００３９】
ところで、絶対音感の無い多くの人にとって、伴奏のない状態で、正確な音程で歌唱することは困難を極める。しかしながら、伴奏があればそれにあわせた音程を出すことは比較的容易である。正規化されない生の歌唱を聞いた場合は、それを聴いて正しい音程か否かの判定が難しいが、それが正規化された場合には、楽器の演奏音を聴くのと同じであるので、間違いが容易に判定できる。
【００４０】
そこで、この実施形態では、上述したように、入力された音程を正規化しその音程で音源を鳴らし、それを利用者にフィードバックする。これを聴くことにより、利用者はよりその正規化音程に近づけた音程で歌唱できる。また、ずれた場合にはフィードバック音程は一度に１００セント（半音）ずれて聴こえるので、利用者は間違えたことに容易に気付き、短時間で正しい音程に訂正することができる。
【００４１】
楽曲を検索する装置においては、入力される音声信号が利用者の意図通りに正規化されなければ、検索のヒット率が低くなる。検索の誤りを回避するためには、意図通りでないことを見越した複雑な処理が必要となり処理量の増加につながる。それに対しこの実施形態では、利用者に正規化後のピッチ列を聴かせることで、どのようなデータが検索キーとして用いられているかを利用者に把握させることができるから、利用者は、放音される楽音を聴きながら自身の歌唱を修正することができ、これにより、従来と比較して、楽曲の検索のための音声入力をより容易にすることができる。
【００４２】
＜Ｃ：変形例＞
以上、本発明の実施形態について説明したが、本発明は上述した実施形態に限定されることなく、他の様々な形態で実施可能である。以下にその一例を示す。なお、以下の各態様を適宜に組み合わせてもよい。
（１）上述した実施形態では、音声信号の音圧が予め定められた閾値より小さい位置を区切り位置として検出するようにした。区切り位置を検出する方法はこれに限らず、例えば、操作部１４の所定のキーが押下されたタイミングを区切り位置として検出するようにしてもよい。この場合は、例えば、利用者が、検索した楽曲を歌唱しながらノートの区切り位置でその都度操作部１４のキーを押下し、制御部１１は、操作部１４から操作信号が出力されるタイミングをノートの区切り位置として検出するようにすればよい。また、これに限らず、音声信号の時間的な区切り位置を検出するものであればどのようなものであってもよい。
【００４３】
（２）上述の実施形態では、各ノート区間に含まれる正規化ピッチのうちの時間長が最長である正規化ピッチをそのノート区間の代表値として特定するようにした。ノート区間毎の代表値の特定方法はこれに限らず、例えば、各ノート区間に含まれる正規化ピッチのうちの継続時間長が予め定められた閾値以上であるものを代表値として特定するようにしてもよく、ノート区間毎の代表値を特定するものであればどのようなものであってもよい。
【００４４】
（３）上述の実施形態では、ＭＩＤＩ生成部１１７が、音色指定データ記憶領域１２３に記憶された音色指定データの示す音色のＭＩＤＩデータを生成することにより、楽音信号の音色を変更するようにしたが、楽音信号の音色は予め設定されたものであってもよく、また、利用者が歌唱中にリアルタイムに音色を選択できるようにしてもよい。この場合は、利用者は、操作部１４を操作して所望する音色を選択するための操作を行い、制御部１１は、操作部１４から供給される操作信号に応じて、選択された音色のＭＩＤＩデータを生成する。
【００４５】
（４）上述の実施形態では、検索部１１８による検索結果を表示部１３に表示することによって利用者に報知した。検索結果の報知の態様はこれに限らず、例えば、音声メッセージを出力することによって報知してもよく、また、検索結果を示す情報を電子メール形式で利用者のメール端末に送信するという形態であってもよい。また、検索結果を示す情報を記憶媒体に出力して記憶させるようにしてもよく、この場合、利用者はコンピュータを用いてこの記憶媒体から情報を読み出させることで、それらを参照することができる。また、判定結果を所定の用紙に印刷出力してもよい。要は利用者に対して何らかの手段でメッセージ乃至情報を伝えられるように、処理状況を示す情報を出力するものであればよい。
【００４６】
（５）上述の実施形態では、入力音声の全部を用いて楽曲の照合を行うようにしたが、入力音声信号の全部ではなく一部を用いて検索を行うようにしてもよい。例えば、制御部１１が、ノート区間毎の代表値の列を記憶部１２の所定の記憶領域に時系列に記憶させ、記憶されたノート区間毎の代表値の列のうちの少なくとも後半部を用いて、楽曲データベースに登録されたメロディデータと照合し、その一致度に基づいて１又は複数の楽曲を選定するようにしてもよい。上述の実施形態で示したように、利用者は、自身の音声が正規化された楽音を聴取しながら歌唱を行うから、歌唱の後半にいくほど音程がより正確になっていくと考えられる。そのため、入力音声信号の後半部分を用いて楽曲照合を行うことで、照合処理をより正確に行うことができる。
【００４７】
（６）上述の実施形態では、楽曲のメロディをノートの列で示すメロディデータを用いて、制御部１１が、入力音声信号のノート毎の時間的な区切り位置を検出し、検出した入力音声信号のノート区間の代表値列とメロディデータのノート列とを比較することによって照合処理を行ったが、比較単位となる時間区間はノート区間に限らず、例えば、予め定められた単位時間毎（例えば、２秒毎）の時間区間であってもよく、また、小節毎の時間区間であってもよく、音声信号が所定の規則に従って区切られた時間区間であればよい。
また、上述の実施形態では、ノート区間毎に、１又は複数の代表値を特定するようにしたが、ノート区間毎に代表値を１つずつ特定するようにしてもよい。
【００４８】
（７）上述の実施形態では、マイクロホン１５が利用者の歌唱音声を収音したが、収音される音声は、利用者の歌唱音声に限らず、例えば、楽器の演奏音であってもよく、音や声を表すものであればどのようなものであってもよい。
また、上述の実施形態では、マイクロホン１５で収音した音声からピッチを検出したが、音声を表す音声データを予め記憶部に記憶しておき、記憶しておいた音声データからピッチを検出するようにしてもよい。
【００４９】
（８）上述の実施形態では、カラオケ装置１を本発明に係る楽音信号発生装置及び楽曲検索装置として適用したが、本発明に係る楽音信号発生装置及び楽曲検索装置として適用される装置はカラオケ装置に限らず、例えばパーソナルコンピュータや移動体通信端末など、様々な装置が本発明に係る楽音信号発生装置として適用可能である。
【００５０】
（９）上述の実施形態では、図４に示す正規化関数を用いて、入力音声信号のピッチを半音単位で正規化したが、正規化処理の態様はこれに限らず、例えば、入力音声信号のピッチと正規化後のピッチとを関連付けて記憶するテーブルを用いて正規化を行うようにしてもよく、入力音声信号のピッチを正規化するものであればどのようなものであってもよい。
また、上述した実施形態では、図４に示したように、ピッチが半音単位で正規化されるようにしたが、ピッチを正規化する単位は半音単位に限らず、例えば全音単位であってもよく、これより大きくても小さくてもよく、所定の音階を構成するピッチのうちの近接するピッチで正規化するようにすればよい。
また、上述の実施形態では、入力音声信号のピッチを、半音毎のピッチのうちの、そのピッチとの差が最小となるものに正規化するようにしたが、差分が最小となるピッチに正規化するに限らず、例えば、音高側のピッチのうちの最近するピッチに正規化するようにしてもよく、また、音程側のピッチのうちの最近するピッチに正規化するようにしてもよく、要するに、入力音声信号のピッチを、所定の音階を構成するピッチのうちの近接するピッチで正規化するようにすればよい。
【００５１】
（１０）上述の実施形態では、ピッチ検出部１１１，音圧検出部１１２等は、カラオケ装置１の制御部１１がコンピュータプログラムを実行することによって実現された。これに変えて、ピッチ検出部１１１，音圧検出部１１２等が専用のハードウェア回路で構成されていてもよい。
【００５２】
また、カラオケ装置１の制御部１１によって実行されるプログラムは、磁気テープ、磁気ディスク、フレキシブルディスク、光記録媒体、光磁気記録媒体、ＲＡＭ、ＲＯＭなどの記録媒体に記録した状態で提供し得る。また、インターネットのようなネットワーク経由でカラオケ装置１にダウンロードさせることも可能である。
【図面の簡単な説明】
【００５３】
【図１】カラオケ装置１のハードウェア構成の一例を示すブロック図である。
【図２】楽曲データの内容の一例を示す図である。
【図３】メロディデータの内容の一例を示す図である。
【図４】正規化関数の内容の一例を示す図である。
【図５】カラオケ装置１の機能的構成の一例を示すブロック図である。
【図６】ノート区切り検出処理の内容を説明するための図である。
【図７】正規化処理の内容を説明するための図である。
【符号の説明】
【００５４】
１…カラオケ装置、１１…制御部、１２…記憶部、１３…表示部、１４…操作部、１５…マイクロホン、１６…音声処理部、１７…スピーカ、１１１…ピッチ検出部、１１２…音圧検出部、１１３…ノート区切検出部、１１４…正規化部、１１５…代表値算出部、１１６…ノート長算出部、１１７…ＭＩＤＩ生成部、１１８…検索部、１１９…表示制御部、１２１…楽曲データベース記憶領域、１２２…背景画データ記憶領域、１２３…音色指定データ記憶領域、１２４…正規化関数記憶領域。
【特許請求の範囲】
【請求項１】
収音手段から出力される音声信号のピッチを検出するピッチ検出手段と、
前記ピッチ検出手段により検出されたピッチを、所定の音階を構成するピッチのうちの近接するピッチで正規化する正規化手段と、
前記音声信号の発音状態の区切り位置を検出する区切り位置検出手段と、
前記正規化手段により正規化されたピッチを、前記区切り位置検出手段により検出された区切り位置に基づいて複数の時間区間に区切り、各時間区間について前記正規化されたピッチの代表値を求める代表値特定手段と、
前記代表値特定手段により求められた代表値の楽音信号を前記時間区間毎に生成する楽音信号生成手段と、
前記楽音信号生成手段により生成された楽音信号を発生させる音源手段と
を具備することを特徴とする楽音信号発生装置。
【請求項２】
前記区切り位置検出手段は、前記音声信号の音圧が予め定められた閾値より小さい位置を区切り位置として検出する
ことを特徴とする請求項１に記載の楽音信号発生装置。
【請求項３】
前記代表値特定手段は、前記各時間区間において、前記正規化されたピッチのうちの時間長が最長であるものを該時間区間の代表値として特定する
ことを特徴とする請求項１又は２に記載の楽音信号発生装置。
【請求項４】
前記音源手段が発生する楽音信号の音色を変更する音色変更手段
を備えることを特徴とする請求項１乃至３のいずれか１に記載の楽音信号発生装置。
【請求項５】
請求項１乃至４のいずれか１に記載の楽音信号発生装置と、
楽曲のメロディを表すメロディデータを前記楽曲毎に記憶する楽曲データベースと、
前記代表値特定手段により特定された前記時間区間毎の代表値の列を、前記楽曲データベースに記憶されたメロディデータと照合し、その一致度に基づいて、１又は複数の楽曲を選定する楽曲選定手段と、
前記楽曲選定手段により選定された楽曲を表すデータを出力する出力手段と
を具備することを特徴とする楽曲検索装置。
【請求項６】
前記代表値特定手段により特定された前記時間区間毎の代表値の列を時系列に記憶手段に記憶させる記憶制御手段
を具備し、
前記楽曲選定手段は、前記記憶手段に記憶された前記時間区間毎の代表値の列のうちの少なくとも後半部を用いて、前記楽曲データベースに記憶されたメロディデータと照合し、その一致度に基づいて、１又は複数の楽曲を選定する
ことを特徴とする請求項５に記載の楽曲検索装置。
【請求項７】
前記出力手段は、前記楽曲選定手段により選定された楽曲を表す画像を表示手段に表示させる
ことを特徴とする請求項５又は６に記載の楽曲検索装置。
【請求項８】
前記楽曲データベースは、楽曲のメロディをノートの列で示すメロディデータを前記楽曲毎に記憶し、
前記区切り位置検出手段は、前記音声信号のノートの区切り位置を検出し、
前記楽曲選定手段は、前記代表値特定手段により特定されたノート毎の代表値の列を、前記楽曲データベースに記憶されたメロディデータを構成するノートの列と照合し、その一致度に基づいて、１又は複数の楽曲を選定する
ことを特徴とする請求項５乃至７のいずれか１に記載の楽曲検索装置。
【請求項９】
前記代表値特定手段は、前記各時間区間について前記正規化されたピッチの代表値を１又は複数求め、
前記楽曲選定手段は、前記代表値特定手段により求められた前記時間区間毎の１又は複数の代表値を用いて前記メロディデータと照合し、その一致度に基づいて、１又は複数の楽曲を選定する
ことを特徴とする請求項５乃至８のいずれか１に記載の楽曲検索装置。
【請求項１０】
請求項５乃至９のいずれか１に記載の楽曲検索装置と、
前記楽曲の伴奏音を表す伴奏データを記憶する伴奏データ記憶手段と、
前記楽曲選定手段により選定された楽曲に対応する伴奏データを前記伴奏データ記憶手段から読み出して、読み出した伴奏データを放音手段に出力する伴奏データ出力手段と
を具備することを特徴とするカラオケ装置。
【請求項１】
収音手段から出力される音声信号のピッチを検出するピッチ検出手段と、
前記ピッチ検出手段により検出されたピッチを、所定の音階を構成するピッチのうちの近接するピッチで正規化する正規化手段と、
前記音声信号の発音状態の区切り位置を検出する区切り位置検出手段と、
前記正規化手段により正規化されたピッチを、前記区切り位置検出手段により検出された区切り位置に基づいて複数の時間区間に区切り、各時間区間について前記正規化されたピッチの代表値を求める代表値特定手段と、
前記代表値特定手段により求められた代表値の楽音信号を前記時間区間毎に生成する楽音信号生成手段と、
前記楽音信号生成手段により生成された楽音信号を発生させる音源手段と
を具備することを特徴とする楽音信号発生装置。
【請求項２】
前記区切り位置検出手段は、前記音声信号の音圧が予め定められた閾値より小さい位置を区切り位置として検出する
ことを特徴とする請求項１に記載の楽音信号発生装置。
【請求項３】
前記代表値特定手段は、前記各時間区間において、前記正規化されたピッチのうちの時間長が最長であるものを該時間区間の代表値として特定する
ことを特徴とする請求項１又は２に記載の楽音信号発生装置。
【請求項４】
前記音源手段が発生する楽音信号の音色を変更する音色変更手段
を備えることを特徴とする請求項１乃至３のいずれか１に記載の楽音信号発生装置。
【請求項５】
請求項１乃至４のいずれか１に記載の楽音信号発生装置と、
楽曲のメロディを表すメロディデータを前記楽曲毎に記憶する楽曲データベースと、
前記代表値特定手段により特定された前記時間区間毎の代表値の列を、前記楽曲データベースに記憶されたメロディデータと照合し、その一致度に基づいて、１又は複数の楽曲を選定する楽曲選定手段と、
前記楽曲選定手段により選定された楽曲を表すデータを出力する出力手段と
を具備することを特徴とする楽曲検索装置。
【請求項６】
前記代表値特定手段により特定された前記時間区間毎の代表値の列を時系列に記憶手段に記憶させる記憶制御手段
を具備し、
前記楽曲選定手段は、前記記憶手段に記憶された前記時間区間毎の代表値の列のうちの少なくとも後半部を用いて、前記楽曲データベースに記憶されたメロディデータと照合し、その一致度に基づいて、１又は複数の楽曲を選定する
ことを特徴とする請求項５に記載の楽曲検索装置。
【請求項７】
前記出力手段は、前記楽曲選定手段により選定された楽曲を表す画像を表示手段に表示させる
ことを特徴とする請求項５又は６に記載の楽曲検索装置。
【請求項８】
前記楽曲データベースは、楽曲のメロディをノートの列で示すメロディデータを前記楽曲毎に記憶し、
前記区切り位置検出手段は、前記音声信号のノートの区切り位置を検出し、
前記楽曲選定手段は、前記代表値特定手段により特定されたノート毎の代表値の列を、前記楽曲データベースに記憶されたメロディデータを構成するノートの列と照合し、その一致度に基づいて、１又は複数の楽曲を選定する
ことを特徴とする請求項５乃至７のいずれか１に記載の楽曲検索装置。
【請求項９】
前記代表値特定手段は、前記各時間区間について前記正規化されたピッチの代表値を１又は複数求め、
前記楽曲選定手段は、前記代表値特定手段により求められた前記時間区間毎の１又は複数の代表値を用いて前記メロディデータと照合し、その一致度に基づいて、１又は複数の楽曲を選定する
ことを特徴とする請求項５乃至８のいずれか１に記載の楽曲検索装置。
【請求項１０】
請求項５乃至９のいずれか１に記載の楽曲検索装置と、
前記楽曲の伴奏音を表す伴奏データを記憶する伴奏データ記憶手段と、
前記楽曲選定手段により選定された楽曲に対応する伴奏データを前記伴奏データ記憶手段から読み出して、読み出した伴奏データを放音手段に出力する伴奏データ出力手段と
を具備することを特徴とするカラオケ装置。
【図１】
【図２】
【図３】
【図４】
【図５】
【図６】
【図７】
【図２】
【図３】
【図４】
【図５】
【図６】
【図７】
【公開番号】特開２００９−９８４４３（Ｐ２００９−９８４４３Ａ）
【公開日】平成２１年５月７日（２００９．５．７）
【国際特許分類】
【出願番号】特願２００７−２７０３２９（Ｐ２００７−２７０３２９）
【出願日】平成１９年１０月１７日（２００７．１０．１７）
【出願人】（０００００４０７５）ヤマハ株式会社 (5,930)
【Ｆターム（参考）】
【公開日】平成２１年５月７日（２００９．５．７）
【国際特許分類】
【出願日】平成１９年１０月１７日（２００７．１０．１７）
【出願人】（０００００４０７５）ヤマハ株式会社 (5,930)
【Ｆターム（参考）】
[ Back to top ]