採点機能を有するカラオケ装置
【課題】精度の高い採点が可能なカラオケ装置を実現する。
【解決手段】楽器音情報、楽曲演奏進行情報、減衰時間データを用いて、音高ピッチ情報の取得に悪影響を及ぼす所定の楽器音が発音されていない期間を特定し、特定した期間に取得した音高ピッチ情報に基いて、歌唱者のピッチ周波数を決定する。決定されたピッチ周波数に対応するフィルタを用いて入力された音声をフィルタ処理し、フィルタ処理された入力音声信号を採点する。
【解決手段】楽器音情報、楽曲演奏進行情報、減衰時間データを用いて、音高ピッチ情報の取得に悪影響を及ぼす所定の楽器音が発音されていない期間を特定し、特定した期間に取得した音高ピッチ情報に基いて、歌唱者のピッチ周波数を決定する。決定されたピッチ周波数に対応するフィルタを用いて入力された音声をフィルタ処理し、フィルタ処理された入力音声信号を採点する。
【発明の詳細な説明】
【技術分野】
【０００１】
本発明は、精度の高い採点が可能な採点機能を有するカラオケ装置に関する。
【背景技術】
【０００２】
従来、採点機能を有するカラオケ装置が広く知られている。マイクなどから入力されたカラオケ演奏中の歌唱者の音声を分析し、分析によって得られた特徴量を所定の手法で評価し、数値化して、その数値を採点結果として歌唱者に報知するものである。また、採点処理に用いられる特徴量としては、歌唱音声の音高を抽出した音高ピッチの周波数を特徴量とする情報（音高ピッチ情報）が一般的である。下記特許文献１においては、デュエット曲に対し、男女のパート毎に採点するものが開示されている。また、下記特許文献２においては、男女音声の周波数特性の違いを利用して入力音声の性別を判別するものが開示されている。
【特許文献１】特開平１１−２８２４７８号公報
【特許文献２】特開２００１−５６６９９号公報
【発明の開示】
【発明が解決しようとする課題】
【０００３】
ところで、カラオケ演奏中の入力歌唱音声を分析（採点）する場合、高精度の採点結果を得るためには、入力歌唱音声以外の音響信号を除去することが望ましい。しかしながら、歌唱者のマイクには、歌唱者の歌唱音声のみならず、楽音再生装置から出力されるカラオケ演奏中の楽曲音も一部入力されることになる。
【０００４】
そのため、従来、周波数帯域フィルタなどを利用したフィルタ処理によって上記楽曲音を除去する試みが行われているが、この場合、歌唱者の入力歌唱音声は除去せずに、楽曲音のみを除去するためのフィルタ処理を施すには、入力歌唱音声には影響を及ぼさないようなフィルタ処理を行うよう留意する必要がある。
【０００５】
このとき、男声と女声とでは歌唱音声の周波数帯域が異なる（一般的に、男声を発する男性の音声は、女声を発する女性の音声よりも低い周波数帯域である。）ため、男声と女声に対して同じフィルタ処理を施すことは、高精度の分析結果を得る観点からは好ましくない。
【０００６】
この点について、ドラム音、女性、男声それぞれの周波数分布について図を用いて説明する。以下に説明する図においては、横軸は対数周波数であり、縦軸はデシベルである。図１〜図３は、ドラム音の周波数分布の例を示すものである。ドラム音は、ドン、ドンという打音である。図１では、７０Ｈｚ付近に第１のピークがある。図２では、６０Ｈｚ付近に第１のピークがある。図３では、８０Ｈｚ付近にピークがある。これらの図によれば、一般的に、ドラム音は、１００Ｈｚ以下の帯域に、第１のピークが存在することがわかる。
【０００７】
図４〜図６は、女声の周波数分布の例を示すものである。図４では、３００Ｈｚ付近に第１のピークがある。図５では、４００Ｈｚ付近に第１のピークがある。図６では、５００Ｈｚ付近に第１のピークがある。
【０００８】
図７、図８は、男声の周波数分布の例を示すものである。図７では、８０Ｈｚ付近に第１のピークがある。図８では、１００〜２００Ｈｚの間に第１のピークがある。
【０００９】
これらの図によれば、女声の周波数帯域と男声の周波数帯域とで大きな差があることがわかる。また、低い声の男声の第１のピークは、ドラム音の第１のピークに近いことがわかる。
【００１０】
また、これらの図が示すとおり、男声に合わせてフィルタ（例えば、ローカットフィルタ）を設定し、そのフィルタをそのまま用いて女声に対しフィルタ処理した場合、ドラム音の帯域が除去できないため、女声の音高ピッチ情報の取得に悪影響を及ぼすことになる。また、女声に合わせてフィルタを設定し、そのフィルタをそのまま男声に対しをフィルタ処理した場合、男声自体にもフィルタ処理が施されてしまい、男声の音高ピッチ情報の取得に悪影響を及ぼす。
【００１１】
さらに、ドラム音以外の楽器音であっても、発音帯域が男声または女声の帯域と近い楽器音は、音高ピッチ情報の取得に悪影響を及ぼすため、この楽器音の発音時に採点処理を行うと、採点精度が下がる原因となる。したがって、採点に悪影響を及ぼす楽器音を特定し、採点精度に悪影響を及ぼさないタイミングで音高ピッチ情報を取得する必要がある。
【００１２】
図９は、ピアノ音（発音コード：Ａ１（基本波の周波数は５５Ｈｚ付近））のアタック（発音）直後の周波数分布を示すものである。この図が示すとおり、ピアノ音には、５０〜６０Ｈｚの間に１つのピークが存在し、また、１００〜１１０Ｈｚの間の２ヵ所にピークが存在することがわかる。
【００１３】
図１０は、エレキベース音（発音コード：Ａ１（基本波の周波数は５５Ｈｚ付近））のアタック（発音）直後の周波数分布を示すものである。この図が示すとおり、エレキベース音には、５０〜６０Ｈｚの間に１つのピークが存在し、また、１００〜４００Ｈｚの間に複数のピークが存在することがわかる。
【００１４】
図１１は、チューバ音（発音コード：Ａ１（基本波の周波数は５５Ｈｚ付近））のアタック（発音）直後の周波数分布を示すものである。この図が示すとおり、チューバ音には、５０〜６０Ｈｚの間に１つのピークが存在し、また、１００〜４００Ｈｚの間に複数のピークが存在することがわかる。
【００１５】
図１２は、コントラバス音（発音コード：Ａ１（基本波の周波数は５５Ｈｚ付近））のアタック（発音）直後の周波数スペクトルを示すものである。この図が示すとおり、コントラバス音には、５０〜６０Ｈｚの間に１つのピークが存在し、また、１００Ｈｚ以降、複数のピークが存在することがわかる。
【００１６】
ここで、ピアノ音及びエレキベース音は、発音直後から徐々に音量が減衰する楽器音であり、チューバ音及びコントラバス音は減衰しない楽器音である。図９〜１２が示すとおり、減衰する楽器音、減衰しない楽器音に関わらず、人の声のピークと類似する帯域にピークが存在しうる。そのため、これらの楽器音が発音している区間を特定する必要がある。
【００１７】
また、男声／女声でフィルタを切り替える場合、入力音声が男声であるか女声であるかを判別する必要がある。カラオケ演奏時に歌唱者に性別を選択させることもできるが、このような選択動作は歌唱者に負担を課すことになる。また、男声／女声の判別を装置が自動的に行う場合は、例えばセキュリティシステムに用いられるような精度の高い判別が必要となる。一般的に、精度の高い音声認識技術を、ワンチップＣＰＵ等を用いたカラオケ用採点装置で実行した場合は、認識処理に時間がかかるため、娯楽として用いられるカラオケ装置には採用しがたい面がある。
【００１８】
そこで、本発明は、上記問題点を解消し、歌唱者に何らの負担を課すことなく、楽曲演奏中に男声／女声を正確に、かつ、容易に判別し、男声女声別に適正なフィルタ処理を行うことによって、精度の高い採点処理ができるカラオケ用採点装置の実現を目的とする。
【課題を解決するための手段】
【００１９】
上記目的を達成するため、請求項１に係る発明は、歌唱者音声入力手段、楽曲再生手段、制御手段、記憶手段、採点手段を備えた採点機能を有するカラオケ装置において、上記記憶手段には、楽器音ごとの減衰時間が定義された減衰時間データと、ピッチ周波数と周波数帯域フィルタとが関連付けられた関連データと、歌唱者音程情報、楽器音情報、楽曲演奏進行情報を含んだ楽曲データと、が記憶されており、上記制御手段は、前記楽曲データに基く楽曲の演奏中に、上記楽器音情報、上記楽曲演奏進行情報、上記減衰時間データに基いて、設定された所定の楽器音が発音されていないかどうかを判断し、上記楽器音が発音されていない期間において上記歌唱者音声入力手段に入力された入力音声から歌唱者のピッチ周波数を特定し、特定されたピッチ周波数及び上記関連データに基いて、周波数帯域フィルタを特定し、特定した周波数帯域フィルタによって上記入力音声をフィルタ処理し、上記採点手段は、上記歌唱者音程情報を用いて前記フィルタ処理された後の入力音声を採点することを特徴とする。
【００２０】
請求項２に係る発明は、請求項１の採点機能を有するカラオケ装置において、上記楽曲は、ＭＩＤＩデータを含む楽曲データに基いて演奏され、上記制御手段は、上記所定の楽器音を発音させるための命令が出力されたタイミングを起点として、当該所定の楽器音の減衰時間が経過するまでの期間、または、当該所定の楽器音の発音を止めるための命令が出力されるまでの期間のうち、短い方の期間を、当該所定の楽器音が発音されている期間と判断し、上記楽器音が発音されていない期間から除外することを特徴とする。
【００２１】
請求項３に係る発明は、請求項１または２の採点機能を有するカラオケ装置において、上記楽曲は、ＭＩＤＩデータを含む楽曲データに基いて演奏され、上記制御手段は、所定値より小さいノートナンバを含むノートオン信号を検出し、当該ノートオン信号のチャネルに対応する楽器音を、上記所定の楽器音として設定することを特徴とする。
【００２２】
請求項４に係る発明は、請求項１〜３いずれかの採点機能を有するカラオケ装置において、蓄積手段をさらに有し、上記発音されていない期間において取得した上記入力音声の音高ピッチ情報は、上記蓄積手段に記憶され、所定時間分の音高ピッチ情報が蓄積されると平均処理によって上記歌唱者のピッチ周波数を特定することを特徴とする。
【００２３】
請求項５に係る発明は、請求項１、２または４いずれかの採点機能を有するカラオケ装置において、上記楽曲データには、上記所定の楽器音を特定可能にする情報が付されており、上記制御手段は、上記情報に基いて上記所定の楽器音を設定することを特徴とする。
【００２４】
請求項６に係る発明は、請求項１、２または４いずれかの採点機能を有するカラオケ装置において、上記所定の楽器音が予め定められていることを特徴とする。
【００２５】
請求項７に係る発明は、請求項６の採点機能を有するカラオケ装置において、上記制御手段は、上記楽曲の演奏開始後所定の時間内に上記一時メモリに所定時間分のピッチが蓄積されなかった場合に、所定の情報を利用者に報知することを特徴とする。
【００２６】
請求項８に係る発明は、請求項１〜７いずれかの採点機能を有するカラオケ装置において、前記楽器音ごとの減衰時間は、４バイトのデータであることを特徴とする。
【発明の効果】
【００２７】
請求項１に係る発明によれば、楽器音ごとの減衰時間を用いて所定の楽器音が発音されていない期間において入力された入力音声に基いて歌唱者のピッチ周波数を特定し、その結果に基いてフィルタを設定し、設定したフィルタを用いてフィルタ処理を行った音声に基いて採点を行うので、音高ピッチ情報の抽出に悪影響を及ぼす楽器を所定の楽器音として設定することにより、精度の高い採点処理を実現することができる。
【００２８】
請求項２に係る発明によれば、さらに、楽器音ごとの減衰時間及び楽器音の発音を止めるための命令を用いて、所定の楽器音が発音されていない期間を決定するので、楽器音の種類（減衰する楽器、減衰しない楽器）によらず上記発音されていない期間を適切に決定することができる。
【００２９】
請求項３に係る発明によれば、さらに、所定値より小さいノートナンバを含むノートオン信号のチャネルに対応する楽器音を採点に悪影響を及ぼす楽器として設定することができるので、採点に悪影響を及ぼす楽器音を適切に決定することができる。
【００３０】
請求項４に係る発明によれば、さらに、所定時間分の音高ピッチ情報を利用して、歌唱者のピッチ周波数を特定するので、特定したピッチ周波数の精度を高めることができる。
【００３１】
請求項５に係る発明によれば、さらに、上記所定の楽器音を特定可能にする情報が楽曲データに付されているから、楽曲ごとに、音高ピッチ情報の取得に悪影響を及ぼす楽器音を特定することが可能となるため、音高ピッチ情報の取得のための適切な区間を決定することできる。
【００３２】
請求項６に係る発明によれば、さらに、上記所定の楽器音が予め定められているから、既存の楽曲データを利用して精度の高い採点処理を行うことができる。
【００３３】
請求項７に係る発明によれば、さらに、楽曲の演奏開始後所定の時間内に所定時間分のピッチが蓄積できなかった場合にその旨を報知するので、男声／女声判別が正しく行われたか否かを演奏中の早い段階で歌唱者に報知することができる。
【００３４】
請求項８に係る発明によれば、さらに、減衰時間を４バイトで表現するので、ミスアラインメントを防止するとともに、適切なデータ量で減衰時間を表現することができる。
【発明を実施するための最良の形態】
【００３５】
本発明に係るカラオケ装置を具体化した実施形態について、図面を参照しつつ詳細に説明する。なお、以下の説明においては、採点に影響のある楽器音を「影響音」ということがあり、また、採点に影響のある楽器音のトラックを「影響音トラック」ということがある。
【００３６】
図１３は、本実施形態のカラオケ装置における制御装置の内部構成、及び、その周辺機器を示すブロック図である。
【００３７】
制御装置１０は、通信回線を介してホストコンピュータ（図示せず）に接続されており、通信回線を介して楽曲データを通信Ｉ／Ｆ１５を介して受信する。受信されたカラオケ曲データは、記憶装置１２に記憶される。
【００３８】
ここで、楽曲データには、楽曲の再生用データに加えて、カラオケ曲のタイトルデータ、カラオケ曲に対応する映像データ等が含まれることもある。
【００３９】
コントローラ１１は、制御装置１０全体の制御を行う。また、種々のプログラムを実行する。
記憶装置１２は、楽曲データ等を記憶する。また、記憶装置１２は、動的記憶媒体（ＨＤＤ等）で構成される。また、必要に応じて静的記憶媒体で構成してもよい。
【００４０】
操作パネル１３は、操作者が選曲番号等の各種情報を入力するために用いられる。また、リモコン１３ａを介して各種の情報を入力してもよい。
【００４１】
ＲＡＭ１４は、種々の制御に必要な情報が記憶される一時記憶メモリである。ＲＡＭ１４は、マルチスレッドプロセスにおいては、共有メモリとして機能する。なお、本発明における共有メモリとしての使用方法については、後述する。
【００４２】
通信Ｉ／Ｆ１５は、図示しないホストコンピュータとの通信を、通信回線を介して行う。ここで、通信回線は、有線無線を問わない。
【００４３】
採点回路１６は、マイク１７より入力された音声の採点を行う。また、本実施形態においては、採点の対象となる音声は、後述するフィルタ処理が施されている。なお、図１３においては、マイクの数は２つであるが、マイクの数はいくつでもよい。なお、図１３においては、コントローラ１１と採点回路１６を別個の構成として図示しているが、コントローラ１１が、フィルタ処理及び採点処理を行ってもよい。また、フィルタ処理を別の回路が行ってもよい。
【００４４】
音源１８は、アンプ１９に接続されている。楽曲データは、音源１８を介して音声信号に変換され、アンプ１９で増幅された後、スピーカ２０によって音声出力される。なお、本実施形態においては、音源１８は、ＭＩＤＩ音源である。また、アンプ１９は、マイク１７より入力された音声についても増幅する。
【００４５】
映像制御回路２１は、モニタ２２に接続されている。記憶装置１２または通信回線より取得した映像データと、楽曲データに含まれた歌詞情報とを、映像制御回路２１を介して楽曲のカラオケ再生時の背景映像と歌詞として、モニタ２２に表示する。また、映像データが、符号化されている場合は、復号処理を映像制御回路２１で行ってもよい。
【００４６】
なお、上述した内部構成は、本発明の説明に必要なものを主に記載したものであり、上述した構成以外にも、種々の回路や要素が含まれることはもちろんである。
【００４７】
なお、本実施形態におけるカラオケ装置の外観は、本発明において何ら限定されるものではない。また、本実施形態においては、上述したカラオケ装置の内部構成として示した一部の要素を、外部に備えてよい。一部の構成要素の機能を、ネットワークに接続されたサーバで実現することも可能である。
【００４８】
本実施形態で用いる楽曲データは、楽器音情報、楽曲演奏進行情報、歌唱者音程情報等を有するものである。代表的なものとしてＭＩＤＩデータを挙げることができるが、本実施形態は、ＭＩＤＩデータに限定されるものではなく、本実施形態を実施可能な限度においてその他のデータであってもよい。また、ＭＩＤＩデータにおいては、チャネル番号によって楽器音が指定され、楽器音の発音のオン／オフは、例えば、ノートオン／ノートオフ信号で制御される。また、歌唱者音程情報は、ボーカルトラックのノートナンバを用いることができる。
【００４９】
図１４は、本実施形態における楽曲データの一例を示すものである。図１４に示すとおり、ＭＩＤＩデータのトラックヘッダに、減衰時間を定義するためのデータエリアが設けられている。減衰時間の詳細については後述する。また、減衰しない楽器音（オルガン等）のトラックについては、減衰しないことを示す所定値（例えば、４バイトデータであれば、FFFFFFFFh）を上記データエリアに設定することができる。また、減衰する楽器であるか否かを示すためのデータエリアをトラックヘッダに別途に設けてもよい。
【００５０】
図１５は、共有メモリの内部構成を示す図である。図１５が示すとおり、共有メモリには、影響音トラックにおけるノートオン信号が出力された時刻を記憶するための領域（時刻領域）と、ボーカルトラックのノートナンバを記憶するための領域とからなる。図１５においては、影響音トラックとして２つのトラックが設定された場合の共有メモリの内容を示している。また、本実施形態においては、設定される影響音トラックの数は任意に設定可能であるから、共有メモリに設定される時刻領域の数も任意に設定可能である。
【００５１】
次に、本実施形態におけるカラオケ装置の処理の流れについて図を参照しつつ説明する。図１６は、本実施形態におけるカラオケ装置の採点用プロセスのフローチャートであり、図１７は、本実施形態におけるカラオケ装置の演奏用プロセスのフローチャートである。ここで、採点用プロセスと演奏用プロセスとは、マルチスレッドとして処理される。すなわち、上記両プロセスは、並列で処理される。マルチスレッド処理については公知であるので説明を省略する。
【００５２】
上記両プロセスは、実行中に共有メモリにアクセスすることによって、両プロセス間で情報のやり取りが可能となっている。
【００５３】
［採点用プロセス］
まず、採点用プロセスについて図１６を参照にしつつ説明する。楽曲の再生がスタートすると、採点用プロセスは実行開始される。
Ｓ１において、取得ピッチ保持エリアを初期化する。取得ピッチ保持エリアは、ＲＡＭ１４内に形成される。
【００５４】
Ｓ２において、ローカットフィルタをオフにする。なお、本実施形態においては、フィルタとしてローカットフィルタを用いる例を説明するが、バンドパスフィルタ等を用いても本実施形態は実現可能であることはもちろんである。また、フィルタをデジタルフィルタで構成してもよいし、アナログフィルタで構成してもよい。
【００５５】
Ｓ３において、取得ピッチ保持エリア内に音高ピッチ情報がＦＵＬＬになったか否かを判断する。取得ピッチ保持エリアに記憶する音高ピッチ情報の量は適宜設定可能であり、入力音声のピッチ周波数を正確に算出できる量とする。音高情報ピッチ情報がＦＵＬＬになっていないと判断した場合は（Ｓ３：ＮＯ）、Ｓ４に進む。
【００５６】
Ｓ４において、楽曲の演奏が終了したか否かを判別する。演奏が終了したと判断した場合（Ｓ４：ＹＥＳ）は、Ｓ１１に進む。演奏が終了していないと判断した場合（Ｓ４：ＮＯ）は、Ｓ５に進む。
【００５７】
Ｓ５において、演奏開始から一定時間が経過したか否かを判断する。一定時間が経過したと判断した場合は（Ｓ５：ＹＥＳ）、Ｓ１１に進む。この一定時間は、適宜設定可能である。一定時間が経過したとの判断は、音高ピッチ情報が所定時間内に所定量取得できなかったと判断したことを意味する。
【００５８】
Ｓ１１において、楽曲の演奏を終了し、採点ができなかった旨をモニタ２２に表示する。また、Ｓ５及びＳ１１における処理は、必要に応じ省略してもよい。
【００５９】
Ｓ５において、演奏開始から一定時間が経過していない場合は（Ｓ５：ＮＯ）は、Ｓ６に進む。
Ｓ６において、音高ピッチ情報が取得できたか否かを判断する。音高ピッチ情報が取得できないと判断した場合は（Ｓ６：ＮＯ）、Ｓ３に戻る。音高ピッチ情報が取得できたと判断した場合は（Ｓ６：ＹＥＳ）、Ｓ７に進む。なお、音高ピッチ情報の取得の手法については、公知の種々の技術を採用することができる。
【００６０】
Ｓ７において、Ｓ６で取得した音高ピッチ情報の取得タイミングにおける入力音量が所定以上であるか否かを判断する。入力音量が所定以上でない場合は（Ｓ７：ＮＯ）、当該タイミングにおいてマイク１７により音声が入力されていなかったと判断してＳ３に戻る。入力音量が所定以上である場合は（Ｓ７：ＹＥＳ）、Ｓ８に進む。
【００６１】
Ｓ８において、現在時刻を取得する。この現在時刻は、Ｓ６で取得した音高ピッチ情報を取得した時刻を表すものである。その後、Ｓ９に進む。
【００６２】
Ｓ９において、いずれかの影響音トラックが発音中か否かが判断される。Ｓ９の処理について具体的に説明する。まず、Ｓ８で取得した時刻と、共有メモリに記憶されている時刻との時間差を算出する。このとき、共有メモリに複数の時刻が記憶されている（すなわち、影響音トラックが複数存在する）場合は、それぞれの時刻との時間差が算出される。その後、上記時間差（複数存在する場合は、それぞれの時間差）が、対応する影響音の減衰時間以上であるか否かが判断される。
【００６３】
この点について、ドラムトラックとピアノトラックとが影響音トラックである場合を例にして説明する。共有メモリには、ドラムトラック用の時刻領域と、ピアノトラック用の時刻領域が確保されることになる。Ｓ８で取得した時刻をＴｃ、ドラムトラック用の時刻領域に記憶されている時刻をＮｄ、ピアノトラック用の時刻領域に記憶されている時刻をＮｐ、ドラム音源のデータトラックに記載されている減衰時間をＡｄ、ピアノ音源のデータトラックに記載されている減衰時間をＡｐとすれば、ドラムトラックにおける時間差Ｄｄ、ピアノトラックにおける時間差Ｄｐは、それぞれ、
Ｄｄ＝Ｔｃ−Ｎｄ
Ｄｐ＝Ｔｃ−Ｎｐ
として算出される。
そして、Ｄｄ＞Ａｄ、かつ、Ｄｐ＞Ａｐの場合に限って、いずれの影響音トラックも発音中ではない、すなわち、Ｓ９において「Ｎｏ」と判断される。
【００６４】
いずれかの影響音トラックが発音中であると判断した場合は（Ｓ９：ＹＥＳ）、Ｓ３に戻る。いずれの影響音トラックも発音中ではないと判断した場合は（Ｓ９：ＮＯ）、Ｓ１０に進む。ここで、時刻領域に記憶されている時刻は、後述する演奏用プロセスにおいて書き込まれた影響音トラックのノートオン信号が出力された時刻、もしくは、所定値（ゼロ値）である。この点については、演奏用プロセスの説明中において詳細に説明する。
【００６５】
なお、Ｓ９における「発音中ではない」かどうかの判断は、採点に影響を及ぼす音量での発音がなされていないという基準で行われる。すなわち、たとえ影響音が発音されていても、その音量が採点に影響を及ぼさない大きさであれば、「発音中ではない」と判断される。
【００６６】
Ｓ１０において、Ｓ６で取得した音高ピッチ情報を取得ピッチ保持エリアに書き込む。そして、Ｓ３に戻る。
【００６７】
一方、Ｓ３において、取得ピッチ保持エリアがＦＵＬＬになっていると判断した場合は（Ｓ３：ＹＥＳ）は、Ｓ１２に進む。
Ｓ１２において、取得ピッチ保持エリア内の全データの平均値を算出し、平均ピッチ情報を入力音声のピッチ周波数として取得する。その後、Ｓ１３に進む。
【００６８】
Ｓ１３において、算出したピッチ周波数が、所定ピッチ以下であるか否かを判別する。ピッチ周波数が所定ピッチ以下である場合（Ｓ１３：ＹＥＳ）は、マイク１７に入力された音声は男声であると判断して、Ｓ１４に進む。
Ｓ１４において、ローカットフィルタを男声用に設定する。
【００６９】
ピッチ周波数が所定ピッチ量以下ではない場合（Ｓ１３：ＮＯ）は、マイク１７に入力された音声は女声であると判断して、Ｓ１５に進む。
Ｓ１５において、ローカットフィルタを女声用に設定する。
【００７０】
なお、Ｓ１３〜Ｓ１５の処理においては、マイク１７に入力された音声のピッチ情報を２つのピッチ周波数（男声・女声）に分類し、それぞれのピッチ周波数に対してフィルタを設定したが、ピッチ周波数を３つ以上に分類して、それぞれの周波数に対しフィルタを設定してもよい。また、周波数と設定されるフィルタとの関係は、予めデータテーブルとして有してもよいし、プログラム上で処理（すなわち、ＩＦ／ＴＨＥＮ処理）してもよい。また、男声と判断した場合は、フィルタ処理をしないように構成してもよい。
【００７１】
Ｓ１６において、採点値を初期化する。なお、本実施形態においては、減点法によって処理を行うため、初期値として例えば１０００点を設定できるが、加点法や、その他周知の採点値設定法を適宜適用可能であることはいうまでもない。なお、その場合は、初期値は１０００点ではなく異なる値となることはいうまでもない。また、減点法以外の採点手法を採用する場合は、以下に説明するＳ２２の処理が異なる点はいうまでもない。
【００７２】
Ｓ１７において、楽曲の演奏が終了したか否かを判断する。楽曲の演奏が終了したと場合は（Ｓ１７：ＹＥＳ）、Ｓ１８に進み、採点結果をモニタ２２に表示する。なお、楽曲の演奏中においても、適宜採点結果（途中結果）を表示するよう構成してもよい。楽曲の演奏が終了していない場合は（Ｓ１７：ＮＯ）、Ｓ１９に進む。
【００７３】
Ｓ１９において、音高ピッチ情報を取得できたか否かを判断する。音高ピッチ情報が取得できなかった場合は（Ｓ１９：ＮＯ）、Ｓ１７に戻る。音高ピッチ情報が取得できたと判断した場合は（Ｓ１９：ＹＥＳ）、Ｓ２０に進む。
【００７４】
Ｓ２０において、Ｓ１９で取得した音高ピッチ情報の取得タイミングにおける入力音量が所定以上であるか否かを判断する。入力音量が所定以上でない場合は（Ｓ２０：ＮＯ）、当該タイミングにおいてマイク１７により音声が入力されていなかったと判断してＳ１７に戻る。入力音量が所定以上である場合は（Ｓ２０：ＹＥＳ）、Ｓ２１に進む。
【００７５】
Ｓ２１において、Ｓ１９で取得した音高ピッチ情報と、共有メモリに記憶されているＭＩＤＩデータにおけるボーカルトラックのノートナンバとの差分を算出する。本実施形態においては、ＭＩＤＩデータにおけるボーカルトラックのノートナンバを採点の基準としている。また、ＭＩＤＩデータにおけるボーカルトラックは、歌唱時において、ガイドメロディとしても利用される。共有メモリへの書き込みについては、演奏用プロセスにおいて詳細に説明する。その後、Ｓ２２に進む。
【００７６】
Ｓ２２において、現在の採点値からＳ２１で求めた差分の絶対値を減算する。ここで、マイクから入力された音高ピッチ情報が共有メモリに記憶されているノートナンバが示すピッチ情報と同じであれば、マイク１７から入力された音声信号の音高ピッチ情報は正しいものなので、減算されないことになる。
【００７７】
なお、Ｓ２１及びＳ２２における採点手法においては、歌唱音声がガイドメロディに対して時間方向にずれている場合にも採点値に影響を及ぼす。そこで、所定時間分のガイドメロディ（ボーカルトラック）のノートナンバー（ピッチ情報）を共有メモリに記憶しておき、入力音声における音高ピッチ情報とＤＰマッチング等を利用して採点処理を行うことにより、時間方向のずれが採点値に影響を及ぼすことを低減できる。
【００７８】
［演奏用プロセス］
次に、演奏用プロセスについて図１７を参照しつつ説明する。楽曲の再生がスタートすると、演奏用プロセスは実行開始される。演奏用プロセスでは、楽曲データであるＭＩＤＩデータが有する複数のトラックのうち、影響音トラック及びボーカルトラックが処理対象となる。また、どのトラックが影響音トラックであるか否かは、予め設定されているものとする。
【００７９】
まず、Ｓ３１において、トラックデータを取得する。そして、取得したトラックデータが影響音トラックであるか否かを判断する。影響音トラックでないと判断した場合は（Ｓ３１：ＮＯ）、他のトラックを処理の対象とするため、当該トラックに対しては処理を行なわず、Ｓ３７に進む。
【００８０】
影響音トラックであると判断した場合は（Ｓ３１：ＹＥＳ）、Ｓ３２に進む。
Ｓ３２において、Ｓ３１で取得したデータにノートオン情報が存在するか否かを判断する。ノートオン情報が含まれていないと判断した場合は（Ｓ３２：ＮＯ）、影響音の発音開始タイミングではないと判断してＳ３５に進む。
ノートオン情報が含まれていると判断した場合は（Ｓ３２：ＹＥＳ）、影響音の発音開始タイミングであると判断し、Ｓ３３に進む。
【００８１】
Ｓ３３において、現在時刻を取得する。この現在時刻は、影響音の発音開始時刻を意味するものである。なお、この現在時刻としては、システム起動からの時間を利用することができるが、その他の時刻情報でもよい。その後、Ｓ３４に進む。
【００８２】
Ｓ３４において、Ｓ３３で取得した現在時刻を、共有メモリ上の、Ｓ３１で特定した影響音トラックに対応する時刻領域にセットする。この時刻領域の内容は、Ｓ３３で現在時刻が取得される度に更新されるものである。
【００８３】
Ｓ３５において、Ｓ３１で取得したデータにノートオフ情報が存在するか否かを判断する。ノートオフ情報が含まれていないと判断した場合は（Ｓ３５：ＮＯ）、影響音の発音停止タイミングではないと判断してＳ３７に進む。ノートオフ情報が含まれていると判断した場合は（Ｓ３５：ＹＥＳ）、影響音の発音停止タイミングであると判断し、Ｓ３６に進む。
【００８４】
Ｓ３６において、所定値を共有メモリ上のＳ３１で特定した影響音トラックに対応する時刻領域にセットする。この所定値としては、現在時刻をシステムの起動時からの経過時間で定義している場合は、「０」をセットすることができる。「０」がセットされることにより、図１６のＳ９における時間差は必ず減衰時間よりも大きくなる。また、現在時刻を、時／分／秒で定義している場合は、例えば、本楽曲の演奏開始時刻を所定値としてもよい。
【００８５】
Ｓ３６の処理により、図１６のＳ９において、影響音を発音させるための命令が出力されたタイミングを起点として、該影響音の減衰時間が経過するまでの期間、または、該影響音の発音を止めるための命令が出力されるまでの期間のうち、短い方の期間を、該影響音が発音されている期間と判断することができる。
【００８６】
Ｓ３７において、取得したトラックのデータがボーカルトラックであるか否かを判断する。ボーカルトラックでないと判断した場合は（Ｓ３７：ＮＯ）は、他のトラックを処理の対象とするため、当該トラックに対しては処理を行わずＳ４２に進む。
【００８７】
ボーカルトラックであると判断した場合は（Ｓ３７：ＹＥＳ）は、Ｓ３８に進む。Ｓ３８において、取得したデータにノートオン情報が存在するか否かを判断する。ノートオン情報が含まれていないと判断した場合は（Ｓ３８：ＮＯ）、ボーカル発声開始タイミングではないと判断してＳ４０に進む。ノートオン情報が含まれていると判断した場合は（Ｓ３８：ＹＥＳ）、ボーカル発声開始タイミングであると判断して、Ｓ３９に進む。
【００８８】
Ｓ３９において、ノートナンバをノートナンバ用共有メモリにセットする。この内容は、採点用プロセスにおいて、採点の基準として用いられる。
【００８９】
Ｓ４０において、取得したトラックデータにノートオフ指示情報が存在するか否かを判断する。ノートオフ情報が含まれていないと判断した場合は（Ｓ４０：ＮＯ）、Ｓ４２に進む。ノートオフ情報が含まれていると判断した場合は（Ｓ４０：ＹＥＳ）、Ｓ４１に進む。
Ｓ４１において、ノートナンバ用共有メモリをクリアする。これにより、ボーカル発声期間のみ、ノートナンバ用共有メモリに情報が記憶されることになる。
【００９０】
Ｓ４２において、ＭＩＤＩデータを音源に送出する。これにより、楽音データに基いて演奏が制御されることになる。
【００９１】
上記処理においては、影響音トラック及びボーカルトラックに対する処理の後にＭＩＤＩデータを音源に送出するよう構成したが、先にＭＩＤＩデータを音源に送出し、その後ドラムトラック及びボーカルトラックに対する処理を行うよう構成してもよい。
【００９２】
なお、採点用プロセス及び演奏用プロセスとして説明した上記フローチャートは単なる一例であり、上記処理と同等の結果を得ることできる処理であれば、他のフローチャートによって処理を実現してもよい。
【００９３】
次に、上述した採点用プロセス及び演奏用プロセス実行時における、音高ピッチ情報が取得される様子を、図１８を用いて説明する。
図１８は、ドラムトラックのノートオン、ノートオフのタイミング、システム起動からの時間、取得したピッチ情報の関係を示す。なお、横軸は時間軸である。
【００９４】
図１８においては、ドラム音の発音開始から、２０ｍｓを減衰時間として設定しているが、この時間間隔は適宜設定可能である。システム時間８００１０（単位であるｍｓは省略する。以下同じ。）の時点でドラム音がノートオンされたので、８００１０から８００３０までに取得された音高ピッチ情報は破棄される。そのため、ピッチ情報１は、取得ピッチ保持エリアに記憶されることなく破棄される。
【００９５】
また、ピッチ情報２、３は、８００３０以降に取得され、また、次のドラム音の発音開始前であるので、取得ピッチ保持エリアに書き込まれることになる。以下同様にして、ピッチ情報４、８は破棄され、ピッチ情報５〜７、９〜１１は取得ピッチ保持エリアに書き込まれる。なお、図１８においては、ドラムトラックのノートオフ指示情報は利用していない。取得ピッチ保持エリアに所定時間分のピッチ情報が蓄積されると、ピッチ周波数が算出されることになる。
【００９６】
上述したとおり、本実施形態においては、演奏開始後、影響音の音源が演奏されていない期間で取得した音高ピッチ情報に基いて男声／女声を判断し、判断した性別に応じたフィルタを設定し、設定されたフィルタを用いて入力音声をフィルタ処理し、フィルタ処理された音声を採点対象とするので、精度の高い採点を行うことができる。また、楽器音ごとの減衰時間及び楽器音の発音を止めるための命令を用いて、所定の楽器音が発音されていない期間を決定するので、楽器音の種類（減衰する楽器、減衰しない楽器）によらず上記発音されていない期間を適切に決定することができる。さらに、楽曲の演奏開始が所定時間内に所定量の音高ピッチ情報が取得できなかった場合は、その旨が演奏の早い段階で報知することができる。
【００９７】
なお、上記処理においては、共有メモリを利用してメモリ内のボーカルトラックの情報を随時変更していたが、共有メモリを用いることなく処理することもできる。すなわち、採点用プロセスにおいて、直接楽曲データに含まれるボーカルトラックのノートナンバをアクセスするよう構成してもよい。
【００９８】
上記実施形態においては、影響音トラックを予め指定し、影響音トラックであればノートナンバに関係なく採点に悪影響及ぼすものとして処理を行っていたが、影響音トラックを予め設定することなく処理することもできる。具体的には、取得したトラックのデータにノートオン情報が含まれ、かつ、ノートナンバが所定値以下である場合に、その発音は採点に悪影響を及ぼすものと判断し、その発音中は採点しないように処理することができる。この場合、所定値のノートナンバは適宜設定可能であり、採点に悪影響を及ぼすと考えられる周波数に基いて決定することができる。
【００９９】
また、楽曲データがＭＩＤＩデータの場合、プログラム・チェンジコマンドを利用することにより、任意の楽器音のトラックが、演奏途中に影響音の楽器音のトラックとして指定されることがある。
図１９に、楽曲データの別の形態を示す。図１９の例においては、プログラム・チェンジコマンドに減衰時間が付され、トラック１６のプログラム・チェンジコマンドの実行後においては、トラック１６は影響音のトラックとして機能する。また、トラック１６における楽器音の減衰時間は、プログラム・チェンジコマンドに付された減衰時間となる。なお、コントラバストラック→ピアノトラックのように、影響音トラックから別の影響音トラックに変更することも可能である。
【０１００】
上述した実施形態に示した構成を採れば、楽曲データ作成時に、楽曲データ作成者側で、予め楽曲ごとに音高ピッチ情報取得に悪影響を及ぼす影響音を特定することができるので、前記楽曲データを用いたカラオケ用採点装置は、歌唱者に何らの負担を課すことなく、楽曲演奏中の楽器音種類と時間的流れとに応じて、男声／女声を正確に、かつ、容易に判別できるようになり、男声女声別に適正なフィルタ処理を行えるので、楽曲ごとに精度の高い採点ができる。
【０１０１】
また、カラオケ装置において予め影響音として決定しておくこともできる。この場合は、既存の楽曲データを何ら加工することなく、本発明を実現できる。この構成では、楽曲によっては、音高ピッチ情報が正しく取得できないことも想定されるが、上述した採点用プロセスにおいては、楽曲の演奏開始後所定時間内に所定時間分の音高ピッチ情報が取得できなかった旨を報知するので、利用者は、演奏中に採点が正しく行われなかったことを把握することができる。
【０１０２】
上記実施形態においては、男声／女声の判断を行い、フィルタが決定されるまでにマイク１７に入力された音声は採点処理の対象としなかったが、この期間の音声信号をバッファ等に蓄えておき、フィルタ決定後にこれら入力音声をフィルタ処理して採点結果に反映させることもできる。
【０１０３】
図２０は、バッファに上記期間の入力音声を記憶しておき、フィルタ決定後に用いる処理（以下、「一時記憶用プロセス」という。）のフローチャートを示すものである。
【０１０４】
一時記憶用プロセスは、採点用プロセス及び演奏用プロセスと並列して処理される。一時記憶用プロセスは、楽曲の開始がスタートすると実行開始される。
【０１０５】
Ｓ５１において、楽曲の演奏が終了したか否かを判断する。楽曲の演奏が終了したと判断した場合は（Ｓ５１：ＹＥＳ）、一時記憶用プロセスを終了する。楽曲の演奏が終了していないと判断した場合は（Ｓ５１：ＮＯ）、Ｓ５２に進む。
【０１０６】
Ｓ５２において、採点用プロセスにおいてフィルタが設定されたか否かを判断する。フィルタが設定されたと判断した場合は（Ｓ５４：ＹＥＳ）、Ｓ５４に進む。フィルタが設定されていないと判断した場合は（Ｓ５４：ＮＯ）、Ｓ５３に進む。
【０１０７】
Ｓ５３において、マイク１７に入力された音声信号を、バッファに書き込む。Ｓ５１〜Ｓ５３の処理を繰り返すことにより、採点用プロセスにおいてフィルタが設定されるまでの入力音声は、バッファに書き込まれることになる。
【０１０８】
Ｓ５４において、バッファに記憶した入力音声信号を順次読み出す。その後、Ｓ５５に進む。
Ｓ５５において、読み出した入力音声信号に対し採点用プロセスにおいて設定されたフィルタを利用してフィルタ処理を行う。その後、Ｓ５６に進む。
【０１０９】
Ｓ５６において、フィルタ処理された音声信号に対し、採点処理を行う。この採点処理自体は、採点用プロセスで行われるものと同じであるので説明を省略する。
なお、Ｓ５４〜Ｓ５６の処理は、互いに並列に行ってもよい。すなわち、バッファから読み出した音声をフィルタ処理している最中に、次の入力音声をバッファから読み出してもよい。
【０１１０】
Ｓ５７において、本プロセスで算出した採点値を、採点用プロセスにおける採点結果に反映させる。なお、反映させるタイミングは適宜設定可能である。
【０１１１】
上述した本実施形態においては、フィルタが設定されるまでにマイク１７に入力された音声についても採点結果に反映されることができる。なお、上記フローチャートは単なる一例であり、上記処理と同等の結果を得ることできる処理であれば、他のフローチャートによって処理を実現してもよい。
【０１１２】
［減衰時間を４バイトで表現する技術的意義］
上述した実施形態においては、影響音の種類によって減衰時間が異なるため、減衰時間を定義するためのデータ領域が必要である。ここで、それぞれの減衰時間の示すデータは、ミスアラインメント（ミスアライメント）を防ぐため、３バイト、５バイト、７バイトではなく、２バイト、４バイト、８バイトのいずれかにすることが望ましい。この点、例えば、特開２００６−１８５３６号公報、特開平０８−０３０５０５号公報、特開平０９−０４４３９７号公報にも記載されている。
【０１１３】
また、減衰時間の解像度については、減衰時間より充分に小さい時間分解能が必要であるから、減衰時間が１〜２秒であれば、秒単位でなく、少なくともミリ秒単位で管理することが望ましい。したがって、楽曲データの時間情報も少なくともミリ秒単位で管理すればよい。この点は、ＭＩＤＩデータにおいて、ＴＭＰ（テンポ値）＝１２５、ＴｉｍｅＢａｓｅ＝４８である場合に、１ｔｉｃｋ＝１０ミリ秒、すなわち、分解能がミリ秒オーダーとなることからも明らかである。
【０１１４】
以下に、１ｔｉｃｋ＝１０となる根拠を示す。
ＴＭＰ＝１２５（ｂｐｍ：Beat Per Minute）であれば、１分間（６００００（ｍＳ））に４分音符の発生頻度は６００００／１２５＝４８０（ｍＳ）に１回となるので、４分音符１周期の時間は、＝４８０（ｍＳ）となる。
また、タイムベース値＝４８であるとき、１つの４分音符は４８クロックで構成されることとなる。
つまり、 ＴＭＰ＝１２５、ＴｉｍｅＢａｓｅ＝４８である場合、１周期４８０（ｍＳ）の四分音符が、４８クロックで構成される。
ここで、１つの４分音符の解像度の単位をｔｉｃｋ とするならば、１つの４分音符（４８０（ｍＳ））は４８個のtickから構成される。そして、４分音符１周期の時間を、ｔｉｃｋ１周期への時間に置き換えると、ｔｉｃｋ１周期の時間は ４８０／４８＝１０（ｍＳ）となる。
【０１１５】
ここで、４バイト（FFFFFFFFh）で扱うことができる最大数は、４２９４９６７２９５である。したがって、ミリ秒を分解能とした場合、４バイトのデータで扱うことができる最大値は、４２９４９６７２９５ミリ秒であるから、最大７１５８３分まで扱うことができる。また、更に高精度に管理するためにマイクロ秒を分解能とした場合では、７１．６分まで扱うことができる。通常、カラオケ演奏に用いる楽曲の演奏時間は３〜６分であるから、減衰時間を定義するためのデータ領域は４バイトであれば、ミリ秒、マイクロ秒いずれの分解能にも対応できる。
【０１１６】
ところが、前記データ領域が２バイトであると、ミリ秒を分解能とした場合、２バイトのデータで扱うことができる最大値は、１．０９分となり、１楽曲の演奏時間には足りない。また、８バイトであると、マイクロ秒を分解能とした場合、８バイトのデータで扱うことができる最大値は、３０７４４５７３４５６２分であるので、楽曲の演奏時間に比べて余りにも長く、楽曲を管理する上では不必要に長い時間長であり、メモリ（データ領域）が無駄になる。
【０１１７】
したがって、通常の楽曲が３〜６分であるカラオケ用途においては、減衰時間のデータを４バイトで扱うことが、データ容量及びミスアラインメントを考慮した場合に最も適しているものと考えられる。
【０１１８】
［減衰時間の具体例］
減衰時間の例について示す。図２１は、ピアノ音の減衰の様子を示した図である。採点に影響を及ぼさない音量の閾値を、「発音直後の音量（０ｄＢ）から−１２ｄＢ減衰したとき」とした場合、図２１においては、発音後約１．３秒で閾値以下の音量となっている。したがって、ピアノ音の減衰時間として、１．３秒とすることができる。なお、図２１に示した減衰の様子は単なる一例であり、また、上記閾値も適宜設定可能である。また、ピアノ音に対するノートオフ信号が、ピアノ音の発音開始後１．３秒よりも早いタイミングで発生した場合（例えば、ピアノ音の発音持続時間が１秒）は、発音開始からその時点までが「採点に影響を及ぼす期間」となる。すなわち、ピアノ音については、減衰時間とノートオフ信号とを用いて「採点に影響を及ぼす期間」が決定されることになる。
【０１１９】
図２２は、エレキベース音の減衰の様子を示した図である。採点に影響を及ぼさない音量の閾値を、「発音直後の音量（０ｄＢ）から−１２ｄＢ減衰したとき」とした場合、図２２においては、発音後０．４秒で閾値以下の音量となっている。したがって、エレキベース音の減衰時間として、０．４秒とすることができる。なお、図２２に示した減衰の様子は単なる一例であり、また、上記閾値も適宜設定可能である。エレキベース音についても、ピアノ音と同様に、減衰時間とノートオフ信号とを用いて「採点に影響を及ぼす期間」が決定される。
【０１２０】
図２３は、コントラバス音の減衰の様子を示した図である。この図が示すとおり、コントラバス音は減衰しないことがわかる。したがって、減衰時間を設定することはできない。そのため、コントラバス音については、減衰時間は用いずノートオフ信号を用いて「採点に影響を及ぼす期間」が決定されることになる。
【０１２１】
本発明は上述した実施形態に限定されるものではなく、本発明の要旨を逸脱しない範囲内で種々の改良、変形が可能であることは勿論である。また、上述した処理を実行するためのカラオケ装置における採点方法としても本発明は実現可能である。さらに、当該カラオケ装置における採点方法をコンピュータで実行させるためのプログラム、及び、そのプログラムが記録された記録媒体としても本発明は実現可能である。
【図面の簡単な説明】
【０１２２】
【図１】ドラム音の周波数分布の一例を示した図である。
【図２】ドラム音の周波数分布の一例を示した図である。
【図３】ドラム音の周波数分布の一例を示した図である。
【図４】女声の周波数分布の一例を示した図である。
【図５】女声の周波数分布の一例を示した図である。
【図６】女声の周波数分布の一例を示した図である。
【図７】男声の周波数分布の一例を示した図である。
【図８】男声の周波数分布の一例を示した図である。
【図９】ピアノ音の周波数分布の一例を示した図である。
【図１０】エレキベース音の周波数分布の一例を示した図である。
【図１１】チューバ音の周波数分布の一例を示した図である。
【図１２】コントラバス音の周波数分布の一例を示した図である。
【図１３】制御装置の内部構成及びその周辺要素を示した図である。
【図１４】楽曲データの構成の一例を示した図である。
【図１５】共有メモリの内部構造を示した図である。
【図１６】採点用プロセスのフローチャートである。
【図１７】演奏用プロセスのフローチャートである。
【図１８】ドラム音の発音タイミング、システム起動からの時間、取得された音高ピッチ情報を示したタイミング図である。
【図１９】楽曲データの構成の一例を示した図である。
【図２０】一時記憶用プロセスのフローチャートである。
【図２１】ピアノ音の減衰の様子の一例を示した図である。
【図２２】エレキベース音の減衰の様子の一例を示した図である。
【図２３】コントラバス音の減衰の様子の一例を示した図である。
【符号の説明】
【０１２３】
１０ 制御装置
１１ コントローラ
１２ 記憶装置
１３ 操作パネル
１３ａ リモコン
１４ ＲＡＭ
１５ 通信Ｉ／Ｆ
１６ 採点回路
１７ マイク
１８ 音源
１９ アンプ
２０ スピーカ
２１ 映像制御回路
２２ モニタ
【技術分野】
【０００１】
本発明は、精度の高い採点が可能な採点機能を有するカラオケ装置に関する。
【背景技術】
【０００２】
従来、採点機能を有するカラオケ装置が広く知られている。マイクなどから入力されたカラオケ演奏中の歌唱者の音声を分析し、分析によって得られた特徴量を所定の手法で評価し、数値化して、その数値を採点結果として歌唱者に報知するものである。また、採点処理に用いられる特徴量としては、歌唱音声の音高を抽出した音高ピッチの周波数を特徴量とする情報（音高ピッチ情報）が一般的である。下記特許文献１においては、デュエット曲に対し、男女のパート毎に採点するものが開示されている。また、下記特許文献２においては、男女音声の周波数特性の違いを利用して入力音声の性別を判別するものが開示されている。
【特許文献１】特開平１１−２８２４７８号公報
【特許文献２】特開２００１−５６６９９号公報
【発明の開示】
【発明が解決しようとする課題】
【０００３】
ところで、カラオケ演奏中の入力歌唱音声を分析（採点）する場合、高精度の採点結果を得るためには、入力歌唱音声以外の音響信号を除去することが望ましい。しかしながら、歌唱者のマイクには、歌唱者の歌唱音声のみならず、楽音再生装置から出力されるカラオケ演奏中の楽曲音も一部入力されることになる。
【０００４】
そのため、従来、周波数帯域フィルタなどを利用したフィルタ処理によって上記楽曲音を除去する試みが行われているが、この場合、歌唱者の入力歌唱音声は除去せずに、楽曲音のみを除去するためのフィルタ処理を施すには、入力歌唱音声には影響を及ぼさないようなフィルタ処理を行うよう留意する必要がある。
【０００５】
このとき、男声と女声とでは歌唱音声の周波数帯域が異なる（一般的に、男声を発する男性の音声は、女声を発する女性の音声よりも低い周波数帯域である。）ため、男声と女声に対して同じフィルタ処理を施すことは、高精度の分析結果を得る観点からは好ましくない。
【０００６】
この点について、ドラム音、女性、男声それぞれの周波数分布について図を用いて説明する。以下に説明する図においては、横軸は対数周波数であり、縦軸はデシベルである。図１〜図３は、ドラム音の周波数分布の例を示すものである。ドラム音は、ドン、ドンという打音である。図１では、７０Ｈｚ付近に第１のピークがある。図２では、６０Ｈｚ付近に第１のピークがある。図３では、８０Ｈｚ付近にピークがある。これらの図によれば、一般的に、ドラム音は、１００Ｈｚ以下の帯域に、第１のピークが存在することがわかる。
【０００７】
図４〜図６は、女声の周波数分布の例を示すものである。図４では、３００Ｈｚ付近に第１のピークがある。図５では、４００Ｈｚ付近に第１のピークがある。図６では、５００Ｈｚ付近に第１のピークがある。
【０００８】
図７、図８は、男声の周波数分布の例を示すものである。図７では、８０Ｈｚ付近に第１のピークがある。図８では、１００〜２００Ｈｚの間に第１のピークがある。
【０００９】
これらの図によれば、女声の周波数帯域と男声の周波数帯域とで大きな差があることがわかる。また、低い声の男声の第１のピークは、ドラム音の第１のピークに近いことがわかる。
【００１０】
また、これらの図が示すとおり、男声に合わせてフィルタ（例えば、ローカットフィルタ）を設定し、そのフィルタをそのまま用いて女声に対しフィルタ処理した場合、ドラム音の帯域が除去できないため、女声の音高ピッチ情報の取得に悪影響を及ぼすことになる。また、女声に合わせてフィルタを設定し、そのフィルタをそのまま男声に対しをフィルタ処理した場合、男声自体にもフィルタ処理が施されてしまい、男声の音高ピッチ情報の取得に悪影響を及ぼす。
【００１１】
さらに、ドラム音以外の楽器音であっても、発音帯域が男声または女声の帯域と近い楽器音は、音高ピッチ情報の取得に悪影響を及ぼすため、この楽器音の発音時に採点処理を行うと、採点精度が下がる原因となる。したがって、採点に悪影響を及ぼす楽器音を特定し、採点精度に悪影響を及ぼさないタイミングで音高ピッチ情報を取得する必要がある。
【００１２】
図９は、ピアノ音（発音コード：Ａ１（基本波の周波数は５５Ｈｚ付近））のアタック（発音）直後の周波数分布を示すものである。この図が示すとおり、ピアノ音には、５０〜６０Ｈｚの間に１つのピークが存在し、また、１００〜１１０Ｈｚの間の２ヵ所にピークが存在することがわかる。
【００１３】
図１０は、エレキベース音（発音コード：Ａ１（基本波の周波数は５５Ｈｚ付近））のアタック（発音）直後の周波数分布を示すものである。この図が示すとおり、エレキベース音には、５０〜６０Ｈｚの間に１つのピークが存在し、また、１００〜４００Ｈｚの間に複数のピークが存在することがわかる。
【００１４】
図１１は、チューバ音（発音コード：Ａ１（基本波の周波数は５５Ｈｚ付近））のアタック（発音）直後の周波数分布を示すものである。この図が示すとおり、チューバ音には、５０〜６０Ｈｚの間に１つのピークが存在し、また、１００〜４００Ｈｚの間に複数のピークが存在することがわかる。
【００１５】
図１２は、コントラバス音（発音コード：Ａ１（基本波の周波数は５５Ｈｚ付近））のアタック（発音）直後の周波数スペクトルを示すものである。この図が示すとおり、コントラバス音には、５０〜６０Ｈｚの間に１つのピークが存在し、また、１００Ｈｚ以降、複数のピークが存在することがわかる。
【００１６】
ここで、ピアノ音及びエレキベース音は、発音直後から徐々に音量が減衰する楽器音であり、チューバ音及びコントラバス音は減衰しない楽器音である。図９〜１２が示すとおり、減衰する楽器音、減衰しない楽器音に関わらず、人の声のピークと類似する帯域にピークが存在しうる。そのため、これらの楽器音が発音している区間を特定する必要がある。
【００１７】
また、男声／女声でフィルタを切り替える場合、入力音声が男声であるか女声であるかを判別する必要がある。カラオケ演奏時に歌唱者に性別を選択させることもできるが、このような選択動作は歌唱者に負担を課すことになる。また、男声／女声の判別を装置が自動的に行う場合は、例えばセキュリティシステムに用いられるような精度の高い判別が必要となる。一般的に、精度の高い音声認識技術を、ワンチップＣＰＵ等を用いたカラオケ用採点装置で実行した場合は、認識処理に時間がかかるため、娯楽として用いられるカラオケ装置には採用しがたい面がある。
【００１８】
そこで、本発明は、上記問題点を解消し、歌唱者に何らの負担を課すことなく、楽曲演奏中に男声／女声を正確に、かつ、容易に判別し、男声女声別に適正なフィルタ処理を行うことによって、精度の高い採点処理ができるカラオケ用採点装置の実現を目的とする。
【課題を解決するための手段】
【００１９】
上記目的を達成するため、請求項１に係る発明は、歌唱者音声入力手段、楽曲再生手段、制御手段、記憶手段、採点手段を備えた採点機能を有するカラオケ装置において、上記記憶手段には、楽器音ごとの減衰時間が定義された減衰時間データと、ピッチ周波数と周波数帯域フィルタとが関連付けられた関連データと、歌唱者音程情報、楽器音情報、楽曲演奏進行情報を含んだ楽曲データと、が記憶されており、上記制御手段は、前記楽曲データに基く楽曲の演奏中に、上記楽器音情報、上記楽曲演奏進行情報、上記減衰時間データに基いて、設定された所定の楽器音が発音されていないかどうかを判断し、上記楽器音が発音されていない期間において上記歌唱者音声入力手段に入力された入力音声から歌唱者のピッチ周波数を特定し、特定されたピッチ周波数及び上記関連データに基いて、周波数帯域フィルタを特定し、特定した周波数帯域フィルタによって上記入力音声をフィルタ処理し、上記採点手段は、上記歌唱者音程情報を用いて前記フィルタ処理された後の入力音声を採点することを特徴とする。
【００２０】
請求項２に係る発明は、請求項１の採点機能を有するカラオケ装置において、上記楽曲は、ＭＩＤＩデータを含む楽曲データに基いて演奏され、上記制御手段は、上記所定の楽器音を発音させるための命令が出力されたタイミングを起点として、当該所定の楽器音の減衰時間が経過するまでの期間、または、当該所定の楽器音の発音を止めるための命令が出力されるまでの期間のうち、短い方の期間を、当該所定の楽器音が発音されている期間と判断し、上記楽器音が発音されていない期間から除外することを特徴とする。
【００２１】
請求項３に係る発明は、請求項１または２の採点機能を有するカラオケ装置において、上記楽曲は、ＭＩＤＩデータを含む楽曲データに基いて演奏され、上記制御手段は、所定値より小さいノートナンバを含むノートオン信号を検出し、当該ノートオン信号のチャネルに対応する楽器音を、上記所定の楽器音として設定することを特徴とする。
【００２２】
請求項４に係る発明は、請求項１〜３いずれかの採点機能を有するカラオケ装置において、蓄積手段をさらに有し、上記発音されていない期間において取得した上記入力音声の音高ピッチ情報は、上記蓄積手段に記憶され、所定時間分の音高ピッチ情報が蓄積されると平均処理によって上記歌唱者のピッチ周波数を特定することを特徴とする。
【００２３】
請求項５に係る発明は、請求項１、２または４いずれかの採点機能を有するカラオケ装置において、上記楽曲データには、上記所定の楽器音を特定可能にする情報が付されており、上記制御手段は、上記情報に基いて上記所定の楽器音を設定することを特徴とする。
【００２４】
請求項６に係る発明は、請求項１、２または４いずれかの採点機能を有するカラオケ装置において、上記所定の楽器音が予め定められていることを特徴とする。
【００２５】
請求項７に係る発明は、請求項６の採点機能を有するカラオケ装置において、上記制御手段は、上記楽曲の演奏開始後所定の時間内に上記一時メモリに所定時間分のピッチが蓄積されなかった場合に、所定の情報を利用者に報知することを特徴とする。
【００２６】
請求項８に係る発明は、請求項１〜７いずれかの採点機能を有するカラオケ装置において、前記楽器音ごとの減衰時間は、４バイトのデータであることを特徴とする。
【発明の効果】
【００２７】
請求項１に係る発明によれば、楽器音ごとの減衰時間を用いて所定の楽器音が発音されていない期間において入力された入力音声に基いて歌唱者のピッチ周波数を特定し、その結果に基いてフィルタを設定し、設定したフィルタを用いてフィルタ処理を行った音声に基いて採点を行うので、音高ピッチ情報の抽出に悪影響を及ぼす楽器を所定の楽器音として設定することにより、精度の高い採点処理を実現することができる。
【００２８】
請求項２に係る発明によれば、さらに、楽器音ごとの減衰時間及び楽器音の発音を止めるための命令を用いて、所定の楽器音が発音されていない期間を決定するので、楽器音の種類（減衰する楽器、減衰しない楽器）によらず上記発音されていない期間を適切に決定することができる。
【００２９】
請求項３に係る発明によれば、さらに、所定値より小さいノートナンバを含むノートオン信号のチャネルに対応する楽器音を採点に悪影響を及ぼす楽器として設定することができるので、採点に悪影響を及ぼす楽器音を適切に決定することができる。
【００３０】
請求項４に係る発明によれば、さらに、所定時間分の音高ピッチ情報を利用して、歌唱者のピッチ周波数を特定するので、特定したピッチ周波数の精度を高めることができる。
【００３１】
請求項５に係る発明によれば、さらに、上記所定の楽器音を特定可能にする情報が楽曲データに付されているから、楽曲ごとに、音高ピッチ情報の取得に悪影響を及ぼす楽器音を特定することが可能となるため、音高ピッチ情報の取得のための適切な区間を決定することできる。
【００３２】
請求項６に係る発明によれば、さらに、上記所定の楽器音が予め定められているから、既存の楽曲データを利用して精度の高い採点処理を行うことができる。
【００３３】
請求項７に係る発明によれば、さらに、楽曲の演奏開始後所定の時間内に所定時間分のピッチが蓄積できなかった場合にその旨を報知するので、男声／女声判別が正しく行われたか否かを演奏中の早い段階で歌唱者に報知することができる。
【００３４】
請求項８に係る発明によれば、さらに、減衰時間を４バイトで表現するので、ミスアラインメントを防止するとともに、適切なデータ量で減衰時間を表現することができる。
【発明を実施するための最良の形態】
【００３５】
本発明に係るカラオケ装置を具体化した実施形態について、図面を参照しつつ詳細に説明する。なお、以下の説明においては、採点に影響のある楽器音を「影響音」ということがあり、また、採点に影響のある楽器音のトラックを「影響音トラック」ということがある。
【００３６】
図１３は、本実施形態のカラオケ装置における制御装置の内部構成、及び、その周辺機器を示すブロック図である。
【００３７】
制御装置１０は、通信回線を介してホストコンピュータ（図示せず）に接続されており、通信回線を介して楽曲データを通信Ｉ／Ｆ１５を介して受信する。受信されたカラオケ曲データは、記憶装置１２に記憶される。
【００３８】
ここで、楽曲データには、楽曲の再生用データに加えて、カラオケ曲のタイトルデータ、カラオケ曲に対応する映像データ等が含まれることもある。
【００３９】
コントローラ１１は、制御装置１０全体の制御を行う。また、種々のプログラムを実行する。
記憶装置１２は、楽曲データ等を記憶する。また、記憶装置１２は、動的記憶媒体（ＨＤＤ等）で構成される。また、必要に応じて静的記憶媒体で構成してもよい。
【００４０】
操作パネル１３は、操作者が選曲番号等の各種情報を入力するために用いられる。また、リモコン１３ａを介して各種の情報を入力してもよい。
【００４１】
ＲＡＭ１４は、種々の制御に必要な情報が記憶される一時記憶メモリである。ＲＡＭ１４は、マルチスレッドプロセスにおいては、共有メモリとして機能する。なお、本発明における共有メモリとしての使用方法については、後述する。
【００４２】
通信Ｉ／Ｆ１５は、図示しないホストコンピュータとの通信を、通信回線を介して行う。ここで、通信回線は、有線無線を問わない。
【００４３】
採点回路１６は、マイク１７より入力された音声の採点を行う。また、本実施形態においては、採点の対象となる音声は、後述するフィルタ処理が施されている。なお、図１３においては、マイクの数は２つであるが、マイクの数はいくつでもよい。なお、図１３においては、コントローラ１１と採点回路１６を別個の構成として図示しているが、コントローラ１１が、フィルタ処理及び採点処理を行ってもよい。また、フィルタ処理を別の回路が行ってもよい。
【００４４】
音源１８は、アンプ１９に接続されている。楽曲データは、音源１８を介して音声信号に変換され、アンプ１９で増幅された後、スピーカ２０によって音声出力される。なお、本実施形態においては、音源１８は、ＭＩＤＩ音源である。また、アンプ１９は、マイク１７より入力された音声についても増幅する。
【００４５】
映像制御回路２１は、モニタ２２に接続されている。記憶装置１２または通信回線より取得した映像データと、楽曲データに含まれた歌詞情報とを、映像制御回路２１を介して楽曲のカラオケ再生時の背景映像と歌詞として、モニタ２２に表示する。また、映像データが、符号化されている場合は、復号処理を映像制御回路２１で行ってもよい。
【００４６】
なお、上述した内部構成は、本発明の説明に必要なものを主に記載したものであり、上述した構成以外にも、種々の回路や要素が含まれることはもちろんである。
【００４７】
なお、本実施形態におけるカラオケ装置の外観は、本発明において何ら限定されるものではない。また、本実施形態においては、上述したカラオケ装置の内部構成として示した一部の要素を、外部に備えてよい。一部の構成要素の機能を、ネットワークに接続されたサーバで実現することも可能である。
【００４８】
本実施形態で用いる楽曲データは、楽器音情報、楽曲演奏進行情報、歌唱者音程情報等を有するものである。代表的なものとしてＭＩＤＩデータを挙げることができるが、本実施形態は、ＭＩＤＩデータに限定されるものではなく、本実施形態を実施可能な限度においてその他のデータであってもよい。また、ＭＩＤＩデータにおいては、チャネル番号によって楽器音が指定され、楽器音の発音のオン／オフは、例えば、ノートオン／ノートオフ信号で制御される。また、歌唱者音程情報は、ボーカルトラックのノートナンバを用いることができる。
【００４９】
図１４は、本実施形態における楽曲データの一例を示すものである。図１４に示すとおり、ＭＩＤＩデータのトラックヘッダに、減衰時間を定義するためのデータエリアが設けられている。減衰時間の詳細については後述する。また、減衰しない楽器音（オルガン等）のトラックについては、減衰しないことを示す所定値（例えば、４バイトデータであれば、FFFFFFFFh）を上記データエリアに設定することができる。また、減衰する楽器であるか否かを示すためのデータエリアをトラックヘッダに別途に設けてもよい。
【００５０】
図１５は、共有メモリの内部構成を示す図である。図１５が示すとおり、共有メモリには、影響音トラックにおけるノートオン信号が出力された時刻を記憶するための領域（時刻領域）と、ボーカルトラックのノートナンバを記憶するための領域とからなる。図１５においては、影響音トラックとして２つのトラックが設定された場合の共有メモリの内容を示している。また、本実施形態においては、設定される影響音トラックの数は任意に設定可能であるから、共有メモリに設定される時刻領域の数も任意に設定可能である。
【００５１】
次に、本実施形態におけるカラオケ装置の処理の流れについて図を参照しつつ説明する。図１６は、本実施形態におけるカラオケ装置の採点用プロセスのフローチャートであり、図１７は、本実施形態におけるカラオケ装置の演奏用プロセスのフローチャートである。ここで、採点用プロセスと演奏用プロセスとは、マルチスレッドとして処理される。すなわち、上記両プロセスは、並列で処理される。マルチスレッド処理については公知であるので説明を省略する。
【００５２】
上記両プロセスは、実行中に共有メモリにアクセスすることによって、両プロセス間で情報のやり取りが可能となっている。
【００５３】
［採点用プロセス］
まず、採点用プロセスについて図１６を参照にしつつ説明する。楽曲の再生がスタートすると、採点用プロセスは実行開始される。
Ｓ１において、取得ピッチ保持エリアを初期化する。取得ピッチ保持エリアは、ＲＡＭ１４内に形成される。
【００５４】
Ｓ２において、ローカットフィルタをオフにする。なお、本実施形態においては、フィルタとしてローカットフィルタを用いる例を説明するが、バンドパスフィルタ等を用いても本実施形態は実現可能であることはもちろんである。また、フィルタをデジタルフィルタで構成してもよいし、アナログフィルタで構成してもよい。
【００５５】
Ｓ３において、取得ピッチ保持エリア内に音高ピッチ情報がＦＵＬＬになったか否かを判断する。取得ピッチ保持エリアに記憶する音高ピッチ情報の量は適宜設定可能であり、入力音声のピッチ周波数を正確に算出できる量とする。音高情報ピッチ情報がＦＵＬＬになっていないと判断した場合は（Ｓ３：ＮＯ）、Ｓ４に進む。
【００５６】
Ｓ４において、楽曲の演奏が終了したか否かを判別する。演奏が終了したと判断した場合（Ｓ４：ＹＥＳ）は、Ｓ１１に進む。演奏が終了していないと判断した場合（Ｓ４：ＮＯ）は、Ｓ５に進む。
【００５７】
Ｓ５において、演奏開始から一定時間が経過したか否かを判断する。一定時間が経過したと判断した場合は（Ｓ５：ＹＥＳ）、Ｓ１１に進む。この一定時間は、適宜設定可能である。一定時間が経過したとの判断は、音高ピッチ情報が所定時間内に所定量取得できなかったと判断したことを意味する。
【００５８】
Ｓ１１において、楽曲の演奏を終了し、採点ができなかった旨をモニタ２２に表示する。また、Ｓ５及びＳ１１における処理は、必要に応じ省略してもよい。
【００５９】
Ｓ５において、演奏開始から一定時間が経過していない場合は（Ｓ５：ＮＯ）は、Ｓ６に進む。
Ｓ６において、音高ピッチ情報が取得できたか否かを判断する。音高ピッチ情報が取得できないと判断した場合は（Ｓ６：ＮＯ）、Ｓ３に戻る。音高ピッチ情報が取得できたと判断した場合は（Ｓ６：ＹＥＳ）、Ｓ７に進む。なお、音高ピッチ情報の取得の手法については、公知の種々の技術を採用することができる。
【００６０】
Ｓ７において、Ｓ６で取得した音高ピッチ情報の取得タイミングにおける入力音量が所定以上であるか否かを判断する。入力音量が所定以上でない場合は（Ｓ７：ＮＯ）、当該タイミングにおいてマイク１７により音声が入力されていなかったと判断してＳ３に戻る。入力音量が所定以上である場合は（Ｓ７：ＹＥＳ）、Ｓ８に進む。
【００６１】
Ｓ８において、現在時刻を取得する。この現在時刻は、Ｓ６で取得した音高ピッチ情報を取得した時刻を表すものである。その後、Ｓ９に進む。
【００６２】
Ｓ９において、いずれかの影響音トラックが発音中か否かが判断される。Ｓ９の処理について具体的に説明する。まず、Ｓ８で取得した時刻と、共有メモリに記憶されている時刻との時間差を算出する。このとき、共有メモリに複数の時刻が記憶されている（すなわち、影響音トラックが複数存在する）場合は、それぞれの時刻との時間差が算出される。その後、上記時間差（複数存在する場合は、それぞれの時間差）が、対応する影響音の減衰時間以上であるか否かが判断される。
【００６３】
この点について、ドラムトラックとピアノトラックとが影響音トラックである場合を例にして説明する。共有メモリには、ドラムトラック用の時刻領域と、ピアノトラック用の時刻領域が確保されることになる。Ｓ８で取得した時刻をＴｃ、ドラムトラック用の時刻領域に記憶されている時刻をＮｄ、ピアノトラック用の時刻領域に記憶されている時刻をＮｐ、ドラム音源のデータトラックに記載されている減衰時間をＡｄ、ピアノ音源のデータトラックに記載されている減衰時間をＡｐとすれば、ドラムトラックにおける時間差Ｄｄ、ピアノトラックにおける時間差Ｄｐは、それぞれ、
Ｄｄ＝Ｔｃ−Ｎｄ
Ｄｐ＝Ｔｃ−Ｎｐ
として算出される。
そして、Ｄｄ＞Ａｄ、かつ、Ｄｐ＞Ａｐの場合に限って、いずれの影響音トラックも発音中ではない、すなわち、Ｓ９において「Ｎｏ」と判断される。
【００６４】
いずれかの影響音トラックが発音中であると判断した場合は（Ｓ９：ＹＥＳ）、Ｓ３に戻る。いずれの影響音トラックも発音中ではないと判断した場合は（Ｓ９：ＮＯ）、Ｓ１０に進む。ここで、時刻領域に記憶されている時刻は、後述する演奏用プロセスにおいて書き込まれた影響音トラックのノートオン信号が出力された時刻、もしくは、所定値（ゼロ値）である。この点については、演奏用プロセスの説明中において詳細に説明する。
【００６５】
なお、Ｓ９における「発音中ではない」かどうかの判断は、採点に影響を及ぼす音量での発音がなされていないという基準で行われる。すなわち、たとえ影響音が発音されていても、その音量が採点に影響を及ぼさない大きさであれば、「発音中ではない」と判断される。
【００６６】
Ｓ１０において、Ｓ６で取得した音高ピッチ情報を取得ピッチ保持エリアに書き込む。そして、Ｓ３に戻る。
【００６７】
一方、Ｓ３において、取得ピッチ保持エリアがＦＵＬＬになっていると判断した場合は（Ｓ３：ＹＥＳ）は、Ｓ１２に進む。
Ｓ１２において、取得ピッチ保持エリア内の全データの平均値を算出し、平均ピッチ情報を入力音声のピッチ周波数として取得する。その後、Ｓ１３に進む。
【００６８】
Ｓ１３において、算出したピッチ周波数が、所定ピッチ以下であるか否かを判別する。ピッチ周波数が所定ピッチ以下である場合（Ｓ１３：ＹＥＳ）は、マイク１７に入力された音声は男声であると判断して、Ｓ１４に進む。
Ｓ１４において、ローカットフィルタを男声用に設定する。
【００６９】
ピッチ周波数が所定ピッチ量以下ではない場合（Ｓ１３：ＮＯ）は、マイク１７に入力された音声は女声であると判断して、Ｓ１５に進む。
Ｓ１５において、ローカットフィルタを女声用に設定する。
【００７０】
なお、Ｓ１３〜Ｓ１５の処理においては、マイク１７に入力された音声のピッチ情報を２つのピッチ周波数（男声・女声）に分類し、それぞれのピッチ周波数に対してフィルタを設定したが、ピッチ周波数を３つ以上に分類して、それぞれの周波数に対しフィルタを設定してもよい。また、周波数と設定されるフィルタとの関係は、予めデータテーブルとして有してもよいし、プログラム上で処理（すなわち、ＩＦ／ＴＨＥＮ処理）してもよい。また、男声と判断した場合は、フィルタ処理をしないように構成してもよい。
【００７１】
Ｓ１６において、採点値を初期化する。なお、本実施形態においては、減点法によって処理を行うため、初期値として例えば１０００点を設定できるが、加点法や、その他周知の採点値設定法を適宜適用可能であることはいうまでもない。なお、その場合は、初期値は１０００点ではなく異なる値となることはいうまでもない。また、減点法以外の採点手法を採用する場合は、以下に説明するＳ２２の処理が異なる点はいうまでもない。
【００７２】
Ｓ１７において、楽曲の演奏が終了したか否かを判断する。楽曲の演奏が終了したと場合は（Ｓ１７：ＹＥＳ）、Ｓ１８に進み、採点結果をモニタ２２に表示する。なお、楽曲の演奏中においても、適宜採点結果（途中結果）を表示するよう構成してもよい。楽曲の演奏が終了していない場合は（Ｓ１７：ＮＯ）、Ｓ１９に進む。
【００７３】
Ｓ１９において、音高ピッチ情報を取得できたか否かを判断する。音高ピッチ情報が取得できなかった場合は（Ｓ１９：ＮＯ）、Ｓ１７に戻る。音高ピッチ情報が取得できたと判断した場合は（Ｓ１９：ＹＥＳ）、Ｓ２０に進む。
【００７４】
Ｓ２０において、Ｓ１９で取得した音高ピッチ情報の取得タイミングにおける入力音量が所定以上であるか否かを判断する。入力音量が所定以上でない場合は（Ｓ２０：ＮＯ）、当該タイミングにおいてマイク１７により音声が入力されていなかったと判断してＳ１７に戻る。入力音量が所定以上である場合は（Ｓ２０：ＹＥＳ）、Ｓ２１に進む。
【００７５】
Ｓ２１において、Ｓ１９で取得した音高ピッチ情報と、共有メモリに記憶されているＭＩＤＩデータにおけるボーカルトラックのノートナンバとの差分を算出する。本実施形態においては、ＭＩＤＩデータにおけるボーカルトラックのノートナンバを採点の基準としている。また、ＭＩＤＩデータにおけるボーカルトラックは、歌唱時において、ガイドメロディとしても利用される。共有メモリへの書き込みについては、演奏用プロセスにおいて詳細に説明する。その後、Ｓ２２に進む。
【００７６】
Ｓ２２において、現在の採点値からＳ２１で求めた差分の絶対値を減算する。ここで、マイクから入力された音高ピッチ情報が共有メモリに記憶されているノートナンバが示すピッチ情報と同じであれば、マイク１７から入力された音声信号の音高ピッチ情報は正しいものなので、減算されないことになる。
【００７７】
なお、Ｓ２１及びＳ２２における採点手法においては、歌唱音声がガイドメロディに対して時間方向にずれている場合にも採点値に影響を及ぼす。そこで、所定時間分のガイドメロディ（ボーカルトラック）のノートナンバー（ピッチ情報）を共有メモリに記憶しておき、入力音声における音高ピッチ情報とＤＰマッチング等を利用して採点処理を行うことにより、時間方向のずれが採点値に影響を及ぼすことを低減できる。
【００７８】
［演奏用プロセス］
次に、演奏用プロセスについて図１７を参照しつつ説明する。楽曲の再生がスタートすると、演奏用プロセスは実行開始される。演奏用プロセスでは、楽曲データであるＭＩＤＩデータが有する複数のトラックのうち、影響音トラック及びボーカルトラックが処理対象となる。また、どのトラックが影響音トラックであるか否かは、予め設定されているものとする。
【００７９】
まず、Ｓ３１において、トラックデータを取得する。そして、取得したトラックデータが影響音トラックであるか否かを判断する。影響音トラックでないと判断した場合は（Ｓ３１：ＮＯ）、他のトラックを処理の対象とするため、当該トラックに対しては処理を行なわず、Ｓ３７に進む。
【００８０】
影響音トラックであると判断した場合は（Ｓ３１：ＹＥＳ）、Ｓ３２に進む。
Ｓ３２において、Ｓ３１で取得したデータにノートオン情報が存在するか否かを判断する。ノートオン情報が含まれていないと判断した場合は（Ｓ３２：ＮＯ）、影響音の発音開始タイミングではないと判断してＳ３５に進む。
ノートオン情報が含まれていると判断した場合は（Ｓ３２：ＹＥＳ）、影響音の発音開始タイミングであると判断し、Ｓ３３に進む。
【００８１】
Ｓ３３において、現在時刻を取得する。この現在時刻は、影響音の発音開始時刻を意味するものである。なお、この現在時刻としては、システム起動からの時間を利用することができるが、その他の時刻情報でもよい。その後、Ｓ３４に進む。
【００８２】
Ｓ３４において、Ｓ３３で取得した現在時刻を、共有メモリ上の、Ｓ３１で特定した影響音トラックに対応する時刻領域にセットする。この時刻領域の内容は、Ｓ３３で現在時刻が取得される度に更新されるものである。
【００８３】
Ｓ３５において、Ｓ３１で取得したデータにノートオフ情報が存在するか否かを判断する。ノートオフ情報が含まれていないと判断した場合は（Ｓ３５：ＮＯ）、影響音の発音停止タイミングではないと判断してＳ３７に進む。ノートオフ情報が含まれていると判断した場合は（Ｓ３５：ＹＥＳ）、影響音の発音停止タイミングであると判断し、Ｓ３６に進む。
【００８４】
Ｓ３６において、所定値を共有メモリ上のＳ３１で特定した影響音トラックに対応する時刻領域にセットする。この所定値としては、現在時刻をシステムの起動時からの経過時間で定義している場合は、「０」をセットすることができる。「０」がセットされることにより、図１６のＳ９における時間差は必ず減衰時間よりも大きくなる。また、現在時刻を、時／分／秒で定義している場合は、例えば、本楽曲の演奏開始時刻を所定値としてもよい。
【００８５】
Ｓ３６の処理により、図１６のＳ９において、影響音を発音させるための命令が出力されたタイミングを起点として、該影響音の減衰時間が経過するまでの期間、または、該影響音の発音を止めるための命令が出力されるまでの期間のうち、短い方の期間を、該影響音が発音されている期間と判断することができる。
【００８６】
Ｓ３７において、取得したトラックのデータがボーカルトラックであるか否かを判断する。ボーカルトラックでないと判断した場合は（Ｓ３７：ＮＯ）は、他のトラックを処理の対象とするため、当該トラックに対しては処理を行わずＳ４２に進む。
【００８７】
ボーカルトラックであると判断した場合は（Ｓ３７：ＹＥＳ）は、Ｓ３８に進む。Ｓ３８において、取得したデータにノートオン情報が存在するか否かを判断する。ノートオン情報が含まれていないと判断した場合は（Ｓ３８：ＮＯ）、ボーカル発声開始タイミングではないと判断してＳ４０に進む。ノートオン情報が含まれていると判断した場合は（Ｓ３８：ＹＥＳ）、ボーカル発声開始タイミングであると判断して、Ｓ３９に進む。
【００８８】
Ｓ３９において、ノートナンバをノートナンバ用共有メモリにセットする。この内容は、採点用プロセスにおいて、採点の基準として用いられる。
【００８９】
Ｓ４０において、取得したトラックデータにノートオフ指示情報が存在するか否かを判断する。ノートオフ情報が含まれていないと判断した場合は（Ｓ４０：ＮＯ）、Ｓ４２に進む。ノートオフ情報が含まれていると判断した場合は（Ｓ４０：ＹＥＳ）、Ｓ４１に進む。
Ｓ４１において、ノートナンバ用共有メモリをクリアする。これにより、ボーカル発声期間のみ、ノートナンバ用共有メモリに情報が記憶されることになる。
【００９０】
Ｓ４２において、ＭＩＤＩデータを音源に送出する。これにより、楽音データに基いて演奏が制御されることになる。
【００９１】
上記処理においては、影響音トラック及びボーカルトラックに対する処理の後にＭＩＤＩデータを音源に送出するよう構成したが、先にＭＩＤＩデータを音源に送出し、その後ドラムトラック及びボーカルトラックに対する処理を行うよう構成してもよい。
【００９２】
なお、採点用プロセス及び演奏用プロセスとして説明した上記フローチャートは単なる一例であり、上記処理と同等の結果を得ることできる処理であれば、他のフローチャートによって処理を実現してもよい。
【００９３】
次に、上述した採点用プロセス及び演奏用プロセス実行時における、音高ピッチ情報が取得される様子を、図１８を用いて説明する。
図１８は、ドラムトラックのノートオン、ノートオフのタイミング、システム起動からの時間、取得したピッチ情報の関係を示す。なお、横軸は時間軸である。
【００９４】
図１８においては、ドラム音の発音開始から、２０ｍｓを減衰時間として設定しているが、この時間間隔は適宜設定可能である。システム時間８００１０（単位であるｍｓは省略する。以下同じ。）の時点でドラム音がノートオンされたので、８００１０から８００３０までに取得された音高ピッチ情報は破棄される。そのため、ピッチ情報１は、取得ピッチ保持エリアに記憶されることなく破棄される。
【００９５】
また、ピッチ情報２、３は、８００３０以降に取得され、また、次のドラム音の発音開始前であるので、取得ピッチ保持エリアに書き込まれることになる。以下同様にして、ピッチ情報４、８は破棄され、ピッチ情報５〜７、９〜１１は取得ピッチ保持エリアに書き込まれる。なお、図１８においては、ドラムトラックのノートオフ指示情報は利用していない。取得ピッチ保持エリアに所定時間分のピッチ情報が蓄積されると、ピッチ周波数が算出されることになる。
【００９６】
上述したとおり、本実施形態においては、演奏開始後、影響音の音源が演奏されていない期間で取得した音高ピッチ情報に基いて男声／女声を判断し、判断した性別に応じたフィルタを設定し、設定されたフィルタを用いて入力音声をフィルタ処理し、フィルタ処理された音声を採点対象とするので、精度の高い採点を行うことができる。また、楽器音ごとの減衰時間及び楽器音の発音を止めるための命令を用いて、所定の楽器音が発音されていない期間を決定するので、楽器音の種類（減衰する楽器、減衰しない楽器）によらず上記発音されていない期間を適切に決定することができる。さらに、楽曲の演奏開始が所定時間内に所定量の音高ピッチ情報が取得できなかった場合は、その旨が演奏の早い段階で報知することができる。
【００９７】
なお、上記処理においては、共有メモリを利用してメモリ内のボーカルトラックの情報を随時変更していたが、共有メモリを用いることなく処理することもできる。すなわち、採点用プロセスにおいて、直接楽曲データに含まれるボーカルトラックのノートナンバをアクセスするよう構成してもよい。
【００９８】
上記実施形態においては、影響音トラックを予め指定し、影響音トラックであればノートナンバに関係なく採点に悪影響及ぼすものとして処理を行っていたが、影響音トラックを予め設定することなく処理することもできる。具体的には、取得したトラックのデータにノートオン情報が含まれ、かつ、ノートナンバが所定値以下である場合に、その発音は採点に悪影響を及ぼすものと判断し、その発音中は採点しないように処理することができる。この場合、所定値のノートナンバは適宜設定可能であり、採点に悪影響を及ぼすと考えられる周波数に基いて決定することができる。
【００９９】
また、楽曲データがＭＩＤＩデータの場合、プログラム・チェンジコマンドを利用することにより、任意の楽器音のトラックが、演奏途中に影響音の楽器音のトラックとして指定されることがある。
図１９に、楽曲データの別の形態を示す。図１９の例においては、プログラム・チェンジコマンドに減衰時間が付され、トラック１６のプログラム・チェンジコマンドの実行後においては、トラック１６は影響音のトラックとして機能する。また、トラック１６における楽器音の減衰時間は、プログラム・チェンジコマンドに付された減衰時間となる。なお、コントラバストラック→ピアノトラックのように、影響音トラックから別の影響音トラックに変更することも可能である。
【０１００】
上述した実施形態に示した構成を採れば、楽曲データ作成時に、楽曲データ作成者側で、予め楽曲ごとに音高ピッチ情報取得に悪影響を及ぼす影響音を特定することができるので、前記楽曲データを用いたカラオケ用採点装置は、歌唱者に何らの負担を課すことなく、楽曲演奏中の楽器音種類と時間的流れとに応じて、男声／女声を正確に、かつ、容易に判別できるようになり、男声女声別に適正なフィルタ処理を行えるので、楽曲ごとに精度の高い採点ができる。
【０１０１】
また、カラオケ装置において予め影響音として決定しておくこともできる。この場合は、既存の楽曲データを何ら加工することなく、本発明を実現できる。この構成では、楽曲によっては、音高ピッチ情報が正しく取得できないことも想定されるが、上述した採点用プロセスにおいては、楽曲の演奏開始後所定時間内に所定時間分の音高ピッチ情報が取得できなかった旨を報知するので、利用者は、演奏中に採点が正しく行われなかったことを把握することができる。
【０１０２】
上記実施形態においては、男声／女声の判断を行い、フィルタが決定されるまでにマイク１７に入力された音声は採点処理の対象としなかったが、この期間の音声信号をバッファ等に蓄えておき、フィルタ決定後にこれら入力音声をフィルタ処理して採点結果に反映させることもできる。
【０１０３】
図２０は、バッファに上記期間の入力音声を記憶しておき、フィルタ決定後に用いる処理（以下、「一時記憶用プロセス」という。）のフローチャートを示すものである。
【０１０４】
一時記憶用プロセスは、採点用プロセス及び演奏用プロセスと並列して処理される。一時記憶用プロセスは、楽曲の開始がスタートすると実行開始される。
【０１０５】
Ｓ５１において、楽曲の演奏が終了したか否かを判断する。楽曲の演奏が終了したと判断した場合は（Ｓ５１：ＹＥＳ）、一時記憶用プロセスを終了する。楽曲の演奏が終了していないと判断した場合は（Ｓ５１：ＮＯ）、Ｓ５２に進む。
【０１０６】
Ｓ５２において、採点用プロセスにおいてフィルタが設定されたか否かを判断する。フィルタが設定されたと判断した場合は（Ｓ５４：ＹＥＳ）、Ｓ５４に進む。フィルタが設定されていないと判断した場合は（Ｓ５４：ＮＯ）、Ｓ５３に進む。
【０１０７】
Ｓ５３において、マイク１７に入力された音声信号を、バッファに書き込む。Ｓ５１〜Ｓ５３の処理を繰り返すことにより、採点用プロセスにおいてフィルタが設定されるまでの入力音声は、バッファに書き込まれることになる。
【０１０８】
Ｓ５４において、バッファに記憶した入力音声信号を順次読み出す。その後、Ｓ５５に進む。
Ｓ５５において、読み出した入力音声信号に対し採点用プロセスにおいて設定されたフィルタを利用してフィルタ処理を行う。その後、Ｓ５６に進む。
【０１０９】
Ｓ５６において、フィルタ処理された音声信号に対し、採点処理を行う。この採点処理自体は、採点用プロセスで行われるものと同じであるので説明を省略する。
なお、Ｓ５４〜Ｓ５６の処理は、互いに並列に行ってもよい。すなわち、バッファから読み出した音声をフィルタ処理している最中に、次の入力音声をバッファから読み出してもよい。
【０１１０】
Ｓ５７において、本プロセスで算出した採点値を、採点用プロセスにおける採点結果に反映させる。なお、反映させるタイミングは適宜設定可能である。
【０１１１】
上述した本実施形態においては、フィルタが設定されるまでにマイク１７に入力された音声についても採点結果に反映されることができる。なお、上記フローチャートは単なる一例であり、上記処理と同等の結果を得ることできる処理であれば、他のフローチャートによって処理を実現してもよい。
【０１１２】
［減衰時間を４バイトで表現する技術的意義］
上述した実施形態においては、影響音の種類によって減衰時間が異なるため、減衰時間を定義するためのデータ領域が必要である。ここで、それぞれの減衰時間の示すデータは、ミスアラインメント（ミスアライメント）を防ぐため、３バイト、５バイト、７バイトではなく、２バイト、４バイト、８バイトのいずれかにすることが望ましい。この点、例えば、特開２００６−１８５３６号公報、特開平０８−０３０５０５号公報、特開平０９−０４４３９７号公報にも記載されている。
【０１１３】
また、減衰時間の解像度については、減衰時間より充分に小さい時間分解能が必要であるから、減衰時間が１〜２秒であれば、秒単位でなく、少なくともミリ秒単位で管理することが望ましい。したがって、楽曲データの時間情報も少なくともミリ秒単位で管理すればよい。この点は、ＭＩＤＩデータにおいて、ＴＭＰ（テンポ値）＝１２５、ＴｉｍｅＢａｓｅ＝４８である場合に、１ｔｉｃｋ＝１０ミリ秒、すなわち、分解能がミリ秒オーダーとなることからも明らかである。
【０１１４】
以下に、１ｔｉｃｋ＝１０となる根拠を示す。
ＴＭＰ＝１２５（ｂｐｍ：Beat Per Minute）であれば、１分間（６００００（ｍＳ））に４分音符の発生頻度は６００００／１２５＝４８０（ｍＳ）に１回となるので、４分音符１周期の時間は、＝４８０（ｍＳ）となる。
また、タイムベース値＝４８であるとき、１つの４分音符は４８クロックで構成されることとなる。
つまり、 ＴＭＰ＝１２５、ＴｉｍｅＢａｓｅ＝４８である場合、１周期４８０（ｍＳ）の四分音符が、４８クロックで構成される。
ここで、１つの４分音符の解像度の単位をｔｉｃｋ とするならば、１つの４分音符（４８０（ｍＳ））は４８個のtickから構成される。そして、４分音符１周期の時間を、ｔｉｃｋ１周期への時間に置き換えると、ｔｉｃｋ１周期の時間は ４８０／４８＝１０（ｍＳ）となる。
【０１１５】
ここで、４バイト（FFFFFFFFh）で扱うことができる最大数は、４２９４９６７２９５である。したがって、ミリ秒を分解能とした場合、４バイトのデータで扱うことができる最大値は、４２９４９６７２９５ミリ秒であるから、最大７１５８３分まで扱うことができる。また、更に高精度に管理するためにマイクロ秒を分解能とした場合では、７１．６分まで扱うことができる。通常、カラオケ演奏に用いる楽曲の演奏時間は３〜６分であるから、減衰時間を定義するためのデータ領域は４バイトであれば、ミリ秒、マイクロ秒いずれの分解能にも対応できる。
【０１１６】
ところが、前記データ領域が２バイトであると、ミリ秒を分解能とした場合、２バイトのデータで扱うことができる最大値は、１．０９分となり、１楽曲の演奏時間には足りない。また、８バイトであると、マイクロ秒を分解能とした場合、８バイトのデータで扱うことができる最大値は、３０７４４５７３４５６２分であるので、楽曲の演奏時間に比べて余りにも長く、楽曲を管理する上では不必要に長い時間長であり、メモリ（データ領域）が無駄になる。
【０１１７】
したがって、通常の楽曲が３〜６分であるカラオケ用途においては、減衰時間のデータを４バイトで扱うことが、データ容量及びミスアラインメントを考慮した場合に最も適しているものと考えられる。
【０１１８】
［減衰時間の具体例］
減衰時間の例について示す。図２１は、ピアノ音の減衰の様子を示した図である。採点に影響を及ぼさない音量の閾値を、「発音直後の音量（０ｄＢ）から−１２ｄＢ減衰したとき」とした場合、図２１においては、発音後約１．３秒で閾値以下の音量となっている。したがって、ピアノ音の減衰時間として、１．３秒とすることができる。なお、図２１に示した減衰の様子は単なる一例であり、また、上記閾値も適宜設定可能である。また、ピアノ音に対するノートオフ信号が、ピアノ音の発音開始後１．３秒よりも早いタイミングで発生した場合（例えば、ピアノ音の発音持続時間が１秒）は、発音開始からその時点までが「採点に影響を及ぼす期間」となる。すなわち、ピアノ音については、減衰時間とノートオフ信号とを用いて「採点に影響を及ぼす期間」が決定されることになる。
【０１１９】
図２２は、エレキベース音の減衰の様子を示した図である。採点に影響を及ぼさない音量の閾値を、「発音直後の音量（０ｄＢ）から−１２ｄＢ減衰したとき」とした場合、図２２においては、発音後０．４秒で閾値以下の音量となっている。したがって、エレキベース音の減衰時間として、０．４秒とすることができる。なお、図２２に示した減衰の様子は単なる一例であり、また、上記閾値も適宜設定可能である。エレキベース音についても、ピアノ音と同様に、減衰時間とノートオフ信号とを用いて「採点に影響を及ぼす期間」が決定される。
【０１２０】
図２３は、コントラバス音の減衰の様子を示した図である。この図が示すとおり、コントラバス音は減衰しないことがわかる。したがって、減衰時間を設定することはできない。そのため、コントラバス音については、減衰時間は用いずノートオフ信号を用いて「採点に影響を及ぼす期間」が決定されることになる。
【０１２１】
本発明は上述した実施形態に限定されるものではなく、本発明の要旨を逸脱しない範囲内で種々の改良、変形が可能であることは勿論である。また、上述した処理を実行するためのカラオケ装置における採点方法としても本発明は実現可能である。さらに、当該カラオケ装置における採点方法をコンピュータで実行させるためのプログラム、及び、そのプログラムが記録された記録媒体としても本発明は実現可能である。
【図面の簡単な説明】
【０１２２】
【図１】ドラム音の周波数分布の一例を示した図である。
【図２】ドラム音の周波数分布の一例を示した図である。
【図３】ドラム音の周波数分布の一例を示した図である。
【図４】女声の周波数分布の一例を示した図である。
【図５】女声の周波数分布の一例を示した図である。
【図６】女声の周波数分布の一例を示した図である。
【図７】男声の周波数分布の一例を示した図である。
【図８】男声の周波数分布の一例を示した図である。
【図９】ピアノ音の周波数分布の一例を示した図である。
【図１０】エレキベース音の周波数分布の一例を示した図である。
【図１１】チューバ音の周波数分布の一例を示した図である。
【図１２】コントラバス音の周波数分布の一例を示した図である。
【図１３】制御装置の内部構成及びその周辺要素を示した図である。
【図１４】楽曲データの構成の一例を示した図である。
【図１５】共有メモリの内部構造を示した図である。
【図１６】採点用プロセスのフローチャートである。
【図１７】演奏用プロセスのフローチャートである。
【図１８】ドラム音の発音タイミング、システム起動からの時間、取得された音高ピッチ情報を示したタイミング図である。
【図１９】楽曲データの構成の一例を示した図である。
【図２０】一時記憶用プロセスのフローチャートである。
【図２１】ピアノ音の減衰の様子の一例を示した図である。
【図２２】エレキベース音の減衰の様子の一例を示した図である。
【図２３】コントラバス音の減衰の様子の一例を示した図である。
【符号の説明】
【０１２３】
１０ 制御装置
１１ コントローラ
１２ 記憶装置
１３ 操作パネル
１３ａ リモコン
１４ ＲＡＭ
１５ 通信Ｉ／Ｆ
１６ 採点回路
１７ マイク
１８ 音源
１９ アンプ
２０ スピーカ
２１ 映像制御回路
２２ モニタ
【特許請求の範囲】
【請求項１】
歌唱者音声入力手段、楽曲再生手段、制御手段、記憶手段、採点手段を備えた採点機能を有するカラオケ装置において、
上記記憶手段には、
楽器音ごとの減衰時間が定義された減衰時間データと、
ピッチ周波数と周波数帯域フィルタとが関連付けられた関連データと、
歌唱者音程情報、楽器音情報、楽曲演奏進行情報を含んだ楽曲データと、
が記憶されており、
上記制御手段は、前記楽曲データに基く楽曲の演奏中に、
上記楽器音情報、上記楽曲演奏進行情報、上記減衰時間データに基いて、設定された所定の楽器音が発音されていないかどうかを判断し、
上記楽器音が発音されていない期間において上記歌唱者音声入力手段に入力された入力音声から歌唱者のピッチ周波数を特定し、
特定されたピッチ周波数及び上記関連データに基いて、周波数帯域フィルタを特定し、
特定した周波数帯域フィルタによって上記入力音声をフィルタ処理し、
上記採点手段は、上記歌唱者音程情報を用いて前記フィルタ処理された後の入力音声を採点する、
ことを特徴とする採点機能を有するカラオケ装置。
【請求項２】
上記楽曲は、ＭＩＤＩデータを含む楽曲データに基いて演奏され、
上記制御手段は、上記所定の楽器音を発音させるための命令が出力されたタイミングを起点として、当該所定の楽器音の減衰時間が経過するまでの期間、または、当該所定の楽器音の発音を止めるための命令が出力されるまでの期間のうち、短い方の期間を、当該所定の楽器音が発音されている期間と判断し、上記楽器音が発音されていない期間から除外する、
ことを特徴とする請求項１の採点機能を有するカラオケ装置。
【請求項３】
上記楽曲は、ＭＩＤＩデータを含む楽曲データに基いて演奏され、
上記制御手段は、所定値より小さいノートナンバを含むノートオン信号を検出し、当該ノートオン信号のチャネルに対応する楽器音を、上記所定の楽器音として設定する、
ことを特徴とする請求項１または２の採点機能を有するカラオケ装置。
【請求項４】
蓄積手段をさらに有し、
上記発音されていない期間において取得した上記入力音声の音高ピッチ情報は、上記蓄積手段に記憶され、
所定時間分の音高ピッチ情報が蓄積されると平均処理によって上記歌唱者のピッチ周波数を特定する、
ことを特徴とする請求項１〜３いずれかの採点機能を有するカラオケ装置。
【請求項５】
上記楽曲データには、上記所定の楽器音を特定可能にする情報が付されており、
上記制御手段は、上記情報に基いて上記所定の楽器音を設定する、
ことを特徴とする請求項１、２または４いずれかの採点機能を有するカラオケ装置。
【請求項６】
上記所定の楽器音が予め定められている、
ことを特徴とする請求項１、２または４いずれかの採点機能を有するカラオケ装置。
【請求項７】
上記制御手段は、上記楽曲の演奏開始後所定の時間内に上記一時メモリに所定時間分のピッチが蓄積されなかった場合に、所定の情報を利用者に報知する、
ことを特徴とする請求項６の採点機能を有するカラオケ装置。
【請求項８】
前記楽器音ごとの減衰時間は、４バイトのデータである、
ことを特徴とする請求項１〜７いずれかの採点機能を有するカラオケ装置。
【請求項１】
歌唱者音声入力手段、楽曲再生手段、制御手段、記憶手段、採点手段を備えた採点機能を有するカラオケ装置において、
上記記憶手段には、
楽器音ごとの減衰時間が定義された減衰時間データと、
ピッチ周波数と周波数帯域フィルタとが関連付けられた関連データと、
歌唱者音程情報、楽器音情報、楽曲演奏進行情報を含んだ楽曲データと、
が記憶されており、
上記制御手段は、前記楽曲データに基く楽曲の演奏中に、
上記楽器音情報、上記楽曲演奏進行情報、上記減衰時間データに基いて、設定された所定の楽器音が発音されていないかどうかを判断し、
上記楽器音が発音されていない期間において上記歌唱者音声入力手段に入力された入力音声から歌唱者のピッチ周波数を特定し、
特定されたピッチ周波数及び上記関連データに基いて、周波数帯域フィルタを特定し、
特定した周波数帯域フィルタによって上記入力音声をフィルタ処理し、
上記採点手段は、上記歌唱者音程情報を用いて前記フィルタ処理された後の入力音声を採点する、
ことを特徴とする採点機能を有するカラオケ装置。
【請求項２】
上記楽曲は、ＭＩＤＩデータを含む楽曲データに基いて演奏され、
上記制御手段は、上記所定の楽器音を発音させるための命令が出力されたタイミングを起点として、当該所定の楽器音の減衰時間が経過するまでの期間、または、当該所定の楽器音の発音を止めるための命令が出力されるまでの期間のうち、短い方の期間を、当該所定の楽器音が発音されている期間と判断し、上記楽器音が発音されていない期間から除外する、
ことを特徴とする請求項１の採点機能を有するカラオケ装置。
【請求項３】
上記楽曲は、ＭＩＤＩデータを含む楽曲データに基いて演奏され、
上記制御手段は、所定値より小さいノートナンバを含むノートオン信号を検出し、当該ノートオン信号のチャネルに対応する楽器音を、上記所定の楽器音として設定する、
ことを特徴とする請求項１または２の採点機能を有するカラオケ装置。
【請求項４】
蓄積手段をさらに有し、
上記発音されていない期間において取得した上記入力音声の音高ピッチ情報は、上記蓄積手段に記憶され、
所定時間分の音高ピッチ情報が蓄積されると平均処理によって上記歌唱者のピッチ周波数を特定する、
ことを特徴とする請求項１〜３いずれかの採点機能を有するカラオケ装置。
【請求項５】
上記楽曲データには、上記所定の楽器音を特定可能にする情報が付されており、
上記制御手段は、上記情報に基いて上記所定の楽器音を設定する、
ことを特徴とする請求項１、２または４いずれかの採点機能を有するカラオケ装置。
【請求項６】
上記所定の楽器音が予め定められている、
ことを特徴とする請求項１、２または４いずれかの採点機能を有するカラオケ装置。
【請求項７】
上記制御手段は、上記楽曲の演奏開始後所定の時間内に上記一時メモリに所定時間分のピッチが蓄積されなかった場合に、所定の情報を利用者に報知する、
ことを特徴とする請求項６の採点機能を有するカラオケ装置。
【請求項８】
前記楽器音ごとの減衰時間は、４バイトのデータである、
ことを特徴とする請求項１〜７いずれかの採点機能を有するカラオケ装置。
【図１】
【図２】
【図３】
【図４】
【図５】
【図６】
【図７】
【図８】
【図９】
【図１０】
【図１１】
【図１２】
【図１３】
【図１４】
【図１５】
【図１６】
【図１７】
【図１８】
【図１９】
【図２０】
【図２１】
【図２２】
【図２３】
【図２】
【図３】
【図４】
【図５】
【図６】
【図７】
【図８】
【図９】
【図１０】
【図１１】
【図１２】
【図１３】
【図１４】
【図１５】
【図１６】
【図１７】
【図１８】
【図１９】
【図２０】
【図２１】
【図２２】
【図２３】
【公開番号】特開２００９−８０４２９（Ｐ２００９−８０４２９Ａ）
【公開日】平成２１年４月１６日（２００９．４．１６）
【国際特許分類】
【出願番号】特願２００７−２５１３３３（Ｐ２００７−２５１３３３）
【出願日】平成１９年９月２７日（２００７．９．２７）
【出願人】（０００００５２６７）ブラザー工業株式会社 (13,856)
【Ｆターム（参考）】
【公開日】平成２１年４月１６日（２００９．４．１６）
【国際特許分類】
【出願日】平成１９年９月２７日（２００７．９．２７）
【出願人】（０００００５２６７）ブラザー工業株式会社 (13,856)
【Ｆターム（参考）】
[ Back to top ]