音信号変換装置、マイクロホンおよび歌唱評価装置
【課題】カラオケの歌唱を評価する処理の負荷を低減する技術を提供することを目的とする。
【解決手段】マイクロホン装置１５において、複数のマイクロホン１５０は、歌唱音を収音し各々異なる周波数帯域の音信号を生成する。特性情報抽出部１５４において該複数の音信号は分析され、各周波数成分の特性が抽出される。上記複数の音信号はミキシング部１５７においてミキシングされ元の歌唱音を表す音信号が生成されると共に、上記特性情報に基づいて変調された変調波が重畳部１５８において上記ミキシングされた音信号と重畳される。
【解決手段】マイクロホン装置１５において、複数のマイクロホン１５０は、歌唱音を収音し各々異なる周波数帯域の音信号を生成する。特性情報抽出部１５４において該複数の音信号は分析され、各周波数成分の特性が抽出される。上記複数の音信号はミキシング部１５７においてミキシングされ元の歌唱音を表す音信号が生成されると共に、上記特性情報に基づいて変調された変調波が重畳部１５８において上記ミキシングされた音信号と重畳される。
【発明の詳細な説明】
【技術分野】
【０００１】
本発明は、音信号変換装置、マイクロホンおよび歌唱評価装置に関する。
【背景技術】
【０００２】
歌唱の自動評価を行う装置が種々開発されている。例えば、特許文献１に記載の歌唱力採点装置においては、カラオケ歌唱者の歌声からピッチを検出し、検出したピッチをＭＩＤＩ（Musical Instrument Digital Interface）データに変換した後、リファレンスであるガイドメロディのＭＩＤＩデータと比較して一致の度合いに基づいて歌唱の採点を行う。
【特許文献１】特開平０９−１０６２９４号公報
【発明の開示】
【発明が解決しようとする課題】
【０００３】
さて、上記特許文献１に記載の歌唱力採点装置においては、装置本体において歌唱音のピッチ抽出処理など種々の処理を同時に行う必要があり、装置本体における処理負荷が大きいとの問題点があった。また、上記分析処理をマイクロホンの側で行わせたい場合に、分析結果と歌唱音の両者を伝送するための伝送媒体をそれぞれ設けなくてはならない、との問題点もあった。
【０００４】
本発明は、上述した事情に鑑みてなされたものであり、カラオケの歌唱を評価する処理の負荷を低減する技術を提供することを目的とする。
【課題を解決するための手段】
【０００５】
本発明に係る音信号変換装置は、音を表すアナログの音信号を受取る受取手段と、前記受取手段が受取った音信号から音の特性を抽出し、抽出された音の特性を表すデジタルデータを生成する音特性抽出手段と、前記音特性抽出手段が生成したデジタルデータに基づいてアナログの特性信号を生成する特性信号生成手段と、前記特性信号生成手段により生成された特性信号を、前記受取手段が受取った音信号に含ませ、合成音信号を生成する合成手段と、前記合成手段により生成された合成音信号を出力する出力手段とを有することを特徴とする。
【０００６】
本発明に係る音信号変換装置は、上記の構成において、前記特性信号生成手段は、前記音特性抽出手段が生成したデジタルデータに基づいて所定の搬送波を変調して前記特性信号を生成しても良い。
本発明に係る音信号変換装置は、上記の構成において、前記音特性抽出手段は、前記音信号に含まれる音のピッチを抽出しても良い。
【０００７】
上記の音信号変換装置は、以下のいずれかの態様としても良い。
すなわち、上記の構成において、前記受取手段が受取った音信号から周波数帯域ごとの音信号を生成する周波数成分分割手段を有し、前記音特性抽出手段は、前記周波数成分分割手段により生成された前記周波数帯域ごとの音信号のそれぞれから音の特性を抽出し、前記特性信号生成手段は、前記音特性抽出手段により抽出された周波数帯域ごとの音の特性に基づいて特性信号を生成しても良く、その場合、上記いずれかに記載の音信号変換装置と、収音した音に基づいて音信号を生成し、前記受取手段に供給する音信号生成手段とを有することを特徴とするマイクロホンを提供しても良い。
また、上記の構成において、前記受取手段は、周波数成分ごとの音信号を受取り、前記受取手段が受取った周波数成分ごとの音信号をミキシングするミキシング手段を有し、前記音特性抽出手段は、前記受取手段が受取った周波数帯域ごとの音信号のそれぞれから音の特性を抽出し、前記特性信号生成手段は、前記音特性抽出手段により抽出された周波数帯域ごとの音の特性に基づいて特性信号を生成し、前記合成手段は、前記特性信号生成手段により生成された特性信号を前記ミキシング手段により生成された音信号に含ませ合成音信号を生成しても良く、その場合、該音信号変換装置と、各々異なる周波数帯域の音を収音して音信号を生成し前記受取手段に供給する複数の音信号生成手段とを有することを特徴とするマイクロホンを提供しても良い。
【０００８】
本発明に係る歌唱評価装置は、上記いずれかに記載の音信号変換装置と、前記合成手段が生成した合成音信号から、前記音信号と前記特性信号とを分離する分離手段と、前記分離手段により分離された前記特性信号に基づいて前記受取手段が受取った音信号が表す音の評価を出力する評価手段とを有することを特徴とする。その場合、該歌唱評価装置は、前記分離手段により分離された前記受取手段が受取った音信号に基づいて放音する放音手段を有していても良い。
【０００９】
本発明に係るプログラムは、コンピュータを、音を表すアナログの音信号を受取る受取手段と、前記受取手段が受取った音信号から、音の特性を抽出し、抽出された音の特性を表すデジタルデータを生成する音特性抽出手段と、前記音特性抽出手段が生成したデジタルデータに基づいてアナログの特性信号を生成する特性信号生成手段と、前記特性信号生成手段により生成された特性信号を、前記受取手段が受取った音信号に含ませ、合成音信号を生成する合成手段と、前記合成手段により生成された合成音信号を出力する出力手段として機能させることを特徴とする。
【発明の効果】
【００１０】
本発明に係る音信号変換装置、マイクロホンおよび歌唱評価装置によれば、カラオケの歌唱を評価する処理の負荷を低減することが可能となる。
【発明を実施するための最良の形態】
【００１１】
以下では、本発明の一実施形態に係る通信カラオケシステムについて説明する。
【００１２】
（Ａ：構成）
まず、通信カラオケシステムの構成について説明する。
（Ａ−１：全体構成）
図１は、本発明の一実施形態に係る通信カラオケシステム１の全体構成を表すブロック図である。同図に示されるように、通信カラオケシステム１は、各部屋に設けられた端末１０と、該複数の端末１０に楽曲に係るデータを配信するセンタ２０と、端末１０およびセンタ２０を接続する通信網３０とから構成される。
センタ２０は、カラオケ用の楽曲データを記憶する記憶手段を有し、端末１０に対して楽曲データを適宜配信する。
通信網３０は、例えばインターネットなどのネットワークであるが、端末１０とセンタ２０との間で楽曲データをやり取りすることができれば、どのようなネットワークでも良い。
【００１３】
（Ａ−２：端末１０の構成）
図２は、端末１０の構成を示したブロック図である。同図に示す制御部１１は、ＣＰＵ（Central Processing Unit）、ＲＯＭ（Read Only Memory）、ＲＡＭ（Random Access Memory）を含む。ＣＰＵは、ＲＯＭに記憶されている制御プログラムを読み出してＲＡＭをワーキングエリアとして実行することにより、端末１０の各部を制御する。
【００１４】
操作部１２は、楽曲を選択するためのテンキー、上下キー、演奏開始キーなど、端末１０を操作するために必要とされる各種のキーを備えている。操作部１２は、歌唱者により押下されたキーに対応した操作信号を制御部１１へ出力する。
【００１５】
通信ＩＦ（Interface）部１３は、通信網３０に接続されている。通信ＩＦ部１３は、受取ったデータ（例えば、楽曲データを指定するデータ）を通信網３０へ出力すると共に、通信網３０を介してデータ（例えば、楽曲データ）を受信する。
【００１６】
記憶部１４は、例えばＨＤＤ（Hard Disk Drive）などの記憶手段である。記憶部１４には、センタ２０からダウンロードした楽曲データが格納されている。楽曲データは、一般のカラオケ装置において用いられる楽曲データと同様に、以下に示すデータが含まれる。すなわち、楽曲を特定する曲番号データ、楽曲の曲名を示す曲名データ、ジャンルを示すジャンルデータ、楽曲の演奏時間を示す演奏時間データなどが含まれるヘッダと、楽曲の伴奏を行う各種楽器の演奏音が楽曲の進行に伴って記される伴奏データと、歌詞データと歌唱者が歌唱すべき旋律を示したガイドメロディの音名が書き込まれているガイドメロディデータなどが含まれる。また、記憶部１４には、後述する歌唱者の歌唱音から抽出された各種のパラメータが書き込まれる。
【００１７】
マイクロホン装置１５は、マイクの形態をした装置であり、歌唱者の歌唱音を収音して該収音した歌唱音を表す音信号を生成すると共に、該音信号を後述する方法で変換して出力する。マイクロホン装置１５は、プラグＰを介してＡ／Ｄコンバータ１８に接続されている。
Ａ／Ｄコンバータ１８は、入力されたアナログ信号をデジタルデータに変換（Ａ／Ｄ変換）する。
表示部１６は、例えば液晶ディスプレイであり、制御部１１の制御の下で、端末１０の制御に係るメニュー画面、背景画像と歌詞テロップを含むカラオケ画面、歌唱評価の結果など、各種の画面を表示する。
出力部１７は、Ｄ／Ａコンバータとアンプとスピーカとを含み、受取った音信号に基づいて放音する。
【００１８】
（Ａ−３：マイクロホン装置１５の構成）
図３は、マイクロホン装置１５の構成を示した図である。マイクロホン装置１５は、マイクロホン１５０と、Ａ／Ｄコンバータ１５１と、制御部１５２と、Ｄ／Ａコンバータ１５６と、ミキシング部１５７と、重畳部１５８とから構成される。
【００１９】
マイクロホン１５０は、収音した音を表す音信号（アナログ信号）を生成する。同図には示されていないが、マイクロホン１５０は、マイクロホン１５０Ａ、１５０Ｂ、１５０Ｃ、１５０Ｄ，１５０Ｅからなる。各マイクロホン１５０は、それぞれ異なる周波数帯域の音を収音する。該５つのマイクロホンの各々に割り当てられた周波数帯域により、例えば２０Ｈｚ〜２０ｋＨｚなど全周波数帯域をカバーしている。各マイクロホン１５０により生成された音信号は、Ａ／Ｄコンバータ１５１およびミキシング部１５７に出力される。
Ａ／Ｄコンバータ１５１は、各マイクロホン１５０から受取った音信号をＡ／Ｄ変換し、ＢＵＳに出力する。
【００２０】
制御部１５２は、ＣＰＵ、ＲＯＭ、ＲＡＭを含む。ＣＰＵは、ＲＯＭに記憶されている制御プログラムを読み出してＲＡＭをワーキングエリアとして実行することにより、マイクロホン装置１５の各部を制御する。
Ｄ／Ａコンバータ１５６は、制御部１５２から受取った信号をＤ／Ａ変換し、重畳部１５８に出力する。
【００２１】
ミキシング部１５７は、各マイクロホン１５０から受取った音信号をミキシングして、重畳部１５８に出力する。
重畳部１５８は、ミキシング部１５７から音信号を、Ｄ／Ａコンバータ１５６から信号を受け取り、該受取った複数の信号を重畳して出力する。
【００２２】
（Ｂ：動作）
次に、通信カラオケシステム１の動作について説明する。
（Ｂ−１；カラオケ伴奏）
まず、カラオケ伴奏について説明する。歌唱者により、操作部１２に楽曲を指定する操作がなされると、選択された楽曲を特定する操作信号が操作部１２から制御部１１に出力される。
【００２３】
制御部１１は、端末１０にカラオケ伴奏を行わせるとともに、カラオケ画面を表示部１６に表示させる。すなわち、制御部１１は、記憶部１４から操作信号に応じた楽曲データを読み出して、伴奏データを出力部１７に出力する。出力部１７は、伴奏データに基づいてカラオケ伴奏を放音する。また、制御部１１は、背景画像データおよび歌詞データを読み出して表示部１６に出力する。表示部１６は、該背景画像データおよび歌詞データに基づいてカラオケ画面を表示する。
【００２４】
歌唱者は、表示部１６に表示されたカラオケ画面を見ながら、出力部１７から放音されるカラオケ伴奏にあわせて歌唱する。歌唱者による歌唱音は、マイクロホン装置１５に入力される。
【００２５】
（Ｂ−２：情報付加信号生成処理）
マイクロホン装置１５が、入力された歌唱音から情報付加信号を生成する処理について説明する。図４は、マイクロホン装置１５の機能的な構成を示した図である。なお、図４において破線に囲まれた各部（特性情報抽出部１５４および変調部１５５）は、制御部１５２が制御プログラムを実行することにより実現される機能である。
【００２６】
まず、各マイクロホン１５０において、歌唱音を表す音信号が生成される。
Ａ／Ｄコンバータ１５１は、各マイクロホン１５０により生成された音信号をデジタルデータ（音データ）にＡ／Ｄ変換する。各音データは、それぞれ特性情報抽出部１５４に出力される。
【００２７】
特性情報抽出部１５４は、Ａ／Ｄコンバータ１５１から受取った音データから、該音データに含まれる歌唱音の特性を表すパラメータを抽出する。本実施形態においては、歌唱音の特性として「パワー」が抽出される。音の「パワー」とは、特性情報抽出部１５４が受取った音データに含まれる各周波数成分の振幅の２乗を累算したものである。該演算された周波数成分ごとのパワーは、デジタルデータ（バイナリーデータ）に変換され、変調部１５５に出力される。
【００２８】
変調部１５５は、特性情報抽出部１５４から受取った特性情報（各周波数成分のパワー）に基づいて、該特性情報を表す変調波の波形データを生成する。以下では、変調波の波形データの生成方法を簡単に説明する。
変調部１５５は、特定の周波数および振幅を有する正弦波（以下、搬送波）の波形データをＡＳＫ（Amplitude shift keying）方式により変調する。この変調方式では、入力波形（ベースバンド波形）である上記特性情報に応じて搬送波の波形を断続するように変化させ、変調波の波形データを生成する。
【００２９】
例えば、図５（ａ）のように、特性情報の一部である０、１、１、０、１…といったバイナリーデータで表されるデータに基づいて、同図（ｂ）に示す搬送波が同図（ｃ）に示すような波形へ変形される。
なお、上記搬送波の周波数として、人間の歌唱音（およそ５００Ｈｚ〜５ｋＨｚ）とは重ならない周波数帯域（例えば、５００ｋＨｚ）が設定される。また、上記搬送波の振幅は、上記歌唱音を表す音信号の振幅と比較して小さい値が適宜設定されている。
該生成された変調波の波形データは、Ｄ／Ａコンバータ１５６においてＤ／Ａ変換される。生成されたアナログ信号（以下、変調波）は、重畳部１５８に出力される。
【００３０】
さて、各マイクロホン１５０において生成された音信号は、上述したようにＡ／Ｄコンバータ１５１に出力されると共に、ミキシング部１５７に出力される。ミキシング部１５７は、各マイクロホン１５０から受取った音信号をミキシングし、新たな音信号を生成する。ミキシング部１５７において生成される音信号は、周波数特性の異なる各マイクロホン１５０により生成された音信号の集合であることから、歌唱音を表す音信号となる。該生成された音信号は、重畳部１５８に出力される。
【００３１】
重畳部１５８は、ミキシング部１５７から音信号を、Ｄ／Ａコンバータ１５６から変調波を受取る。重畳部１５８は、上記音信号および変調波をミキシングし、新たな信号（以下、情報付加信号）を生成する。
【００３２】
図６は、重畳部１５８において生成される情報付加信号の一例を示した図である。同図（ａ）は、ミキシング部１５７において生成される音信号（歌唱音）の波形の一部であり、同図（ｂ）は、Ｄ／Ａコンバータ１５６から入力された変調波（図５（ｃ）にも示した部分）である。これらの信号が重畳されると、同図（ｃ）に示される情報付加信号が生成される。該生成された情報付加信号は、プラグＰを介してＡ／Ｄコンバータ１８に供給される。
【００３３】
Ａ／Ｄコンバータ１８において、情報付加信号はデジタルデータ（以下、情報付加データ）に変換され、制御部１１に出力される。
【００３４】
以下では、制御部１１における処理について説明する。図７は、制御部１１における機能を示した図である。破線に囲まれた各部（分離部１１１、復調部１１２、ピッチ特定部１１３、歌唱評価部１１４）は、制御部１１が制御プログラムを実行することにより制御部１１に実現される機能である。
【００３５】
（Ｂ−３：分離処理）
まず、分離処理について説明する。
制御部１１の分離部１１１は、情報付加データを受取り、情報付加データに含められた音信号と変調波とを分離する。分離部１１１は、まず、情報付加データが表す波形を、上記搬送波に用いられた周波数を中心とする所定幅の帯域の成分を透過するバンドパスフィルタ（以下、ＢＰＦ）で処理し、変調波を抽出したデータ（以下、変調波形データ）を生成する。搬送波は、ＡＳＫ方式で変調されていることから、分離された変調波形データは、図５（ｃ）に示すように断続的な正弦波状のデータとなる。
また、分離部１１１は、情報付加データが表す波形データを、上記搬送波に用いられた周波数帯域以外の帯域の成分を透過させるＢＰＦで処理し、音信号を表すデータ（以下、音信号波形データ）を生成する。
【００３６】
上述した情報付加信号生成処理において、搬送波（変調波）には、歌唱音の周波数帯域とオーバーラップしない周波数帯域が割り当てられて多重化されているため、それぞれの信号の周波数帯域を透過するＢＰＦで処理することにより、多重化される前の信号を分離することが可能である。
【００３７】
さて、上記分離処理により生成された変調波形データおよび音信号波形データは、それぞれ以下のように処理される。
音信号波形データは、出力部１７に出力される。出力部１７は、該音信号波形データをＤ／Ａ変換しアナログ信号に変換した後アンプで増幅し、スピーカから放音する。このようにして放音された音は歌唱音そのものであることから、通常のカラオケが可能となる。
【００３８】
（Ｂ−４：歌唱評価処理）
次に、上記分離処理において分離された変調波形データの処理について説明する。復調部１１２は、変調波形データを受取り復調する。すなわち、復調部１１２は、例えば図５（ｃ）に示すような変調波を、同図（ａ）に示すようなデジタルデータに変換する。このようにして得られたデジタルデータは、特性情報抽出部１５４において生成された特性情報と同一である。
【００３９】
ピッチ特定部１１３は、得られた特性情報が示す各周波数成分のパワーに基づいて、歌唱音のピッチ（音程）を特定する。簡単に説明すると、パワーが所定のレベルを越える周波数成分の中で最も低い周波数を基本周波数として特定し、該基本周波数と対応するピッチを歌唱音のピッチとする方法を用いる。ただし、各周波数成分のパワーからピッチを特定する方法は、上記の方法に限定されるものではなく、その他どのような方法を用いても良い。
【００４０】
次に、歌唱評価部１１４は、上記得られた歌唱音のピッチに基づいて歌唱評価を行う。例えば、歌唱評価部１１４は、記憶部１４からガイドメロディデータを読み出し、上記特定したピッチとガイドメロディが表すピッチとを比較する。なお、ガイドメロディが表すピッチは、ガイドメロディの音名に基づいて特定する。歌唱評価部１１４は、上記両データにおけるピッチの比較結果から歌唱評価を算出する。例えば、ピッチのずれ（差分）に応じて減点する得点を算出する。
【００４１】
歌唱評価部１１４は、上記のようなピッチの比較をカラオケの始めから終わりまで所定の時間間隔（例えば５００ｍｓごと）で行い、各タイミングにおける歌唱音のピッチの正確さに基づいて減点得点を算出する。歌唱評価部１１４は、歌唱音の全体について上記の処理を完了すると、満点（例えば、１００点）から累計を減算し、最終的な歌唱得点として算出する。歌唱評価部１１４は、算出された歌唱得点を表示部１６に出力し、得点を表示させる。
なお、上記の歌唱評価方法は一例であり、従来のカラオケ装置において行われている歌唱評価方法のいずれを用いても良い。
【００４２】
（Ｂ−５：動作のまとめ）
上記実施形態において、マイクロホン装置１５において歌唱音に基づく音信号が生成されるが、該生成される音信号には、該歌唱音の特性（周波数特性）を表す特性情報が含められる。このとき、特性情報（デジタルデータ）に基づいて生成された変調波（アナログ信号）が音信号に対して重畳される。従って、該マイクロホン装置１５から出力される情報付加信号は、音信号（電気信号）を入力可能な一般的なマイクロホン用のプラグＰに対して入力することができる。このように、特性情報を伝送するために音信号と別の伝送媒体を設ける必要はない。
【００４３】
プラグＰに入力された情報付加信号は、情報付加データに変換された後、歌唱音を表す音信号（音信号波形データ）と特性情報を表す変調波（変調波形データ）とに分離される。その結果、マイクロホン装置１５において、歌唱音を表す音信号には一旦特性情報が含められるが、端末１０においては、通常のカラオケ装置と同様に歌唱音を単独で放音させることが可能である。
【００４４】
また、制御部１１は、歌唱音の分析結果である特性情報を、入力された信号からＢＰＦによる処理で容易に分離抽出することができることから、周波数特性の分析を始めとする歌唱評価処理の負荷を大幅に軽減することができる。
【００４５】
（Ｃ：変形例）
以上、本発明の一実施形態について説明したが、本発明は上述の実施形態に限定されることなく、他の様々な形態で実施可能である。以下にその一例を示す。なお、以下に説明した各実施形態は、適宜組み合わせて実施しても良い。
【００４６】
（１）上述した実施形態においては、情報付加信号には歌唱音に基づく成分が含まれるため、マイクロホン装置１５を通常のマイクロホンとして使用することも可能である。ただし、該情報付加信号には特性情報に基づく変調波が含まれていることから、情報付加信号に基づいて放音した場合には、その音は元の歌唱音とは音色が異なったりノイズが付加されていたりする。
そこで、ミキシング部１５７において生成された音信号に対して変調波を重畳するか否かを制御可能とする手段を設けても良い。例えば、図８に示すように、変調波が伝送されるライン上にスイッチＷを設け、該スイッチＷを歌唱者がＯＮ／ＯＦＦすることで変調波の重畳のＯＮ／ＯＦＦが制御できるようにしても良い。
また、上述した実施形態においては、搬送波の周波数として、人間の歌唱音の周波数帯域とは重ならない周波数帯域が設定される場合について説明した。しかし、搬送波の周波数帯域としては、上記の条件と併せて、人間の可聴周波数帯域以外の搬送波を用いるようにしても良い。そのようにすれば、マイクロホン装置１５を通常のマイクロホンとして使用した場合に、生成される情報付加信号をそのまま音信号として用いても、変調波に基づく音の成分は聴取されず違和感を生じない。
【００４７】
（２）上述した実施形態においては、マイクロホン１５０により生成された周波数成分ごとの音信号を処理する場合について説明した。しかし、歌唱音を周波数成分ごとに分析するのではなく、そのまま分析しても良い。その場合の構成を、マイクロホン装置５０として図９に示す。なお、同図において上述の実施形態における構成と同じ符号を付されたものは同じ機能を有する。
マイクロホン１６０は、一般的なマイクロホンであり、全ての周波数帯域の音を含む音信号を生成する。マイクロホン１６０により生成された音信号は、Ａ／Ｄコンバータ１５１および重畳部１５８に出力される。Ａ／Ｄコンバータ１５１は、受取った音信号をデジタルデータ（音データ）に変換する。特性情報抽出部１５４は、音データから各種のパラメータを抽出し、抽出したパラメータを特性情報として変調部１５５に出力する。変調部１５５は、該特性情報に基づいて搬送波を変調し、変調波の波形データを生成する。変調波の波形データは、Ｄ／Ａコンバータ１５６に出力され、Ｄ／Ａ変換されてアナログ信号（変調波）が生成される。該変調波は、重畳部１５８に出力される。重畳部１５８においては、マイクロホン１６０から入力された音信号と上記変調波を重畳して情報付加信号を生成し出力する。このように生成された情報付加信号は、上記実施形態と同様に、端末１０において音信号と特性情報とに分離して用いることが可能である。
なお、図９に示したマイクロホン装置５０の構成から、マイクロホン１６０を除く他の構成からなる装置を本発明は提供することが可能である。このような装置に音信号を入力すると、該音信号に対して特性情報が含められて出力される。
【００４８】
（３）上述した実施形態においては、互いに周波数特性の異なるマイクロホン１５０が複数設けられた端末１０について記載した。しかし、以下に説明するような装置を提供することが可能である。
図１０に示すように、情報付加装置４０は、Ａ／Ｄコンバータ１５１と、各々互いに異なる周波数帯域成分を透過するバンドパスフィルタであるＢＰＦ１５３Ａ、１５３Ｂ、１５３Ｃ、１５３Ｄ、１５３Ｅと、特性情報抽出部１５４と、変調部１５５と、Ｄ／Ａコンバータ１５６と、重畳部１５８とを有する。そして、情報付加装置４０には、全周波数帯域の音を含む音信号を生成する一般的なマイクロホン１６０が接続されている。情報付加装置４０においては、マイクロホン１６０から受取った音信号は、Ａ／Ｄコンバータ１５１によりＡ／Ｄ変換された後、各ＢＰＦ１５３により各ＢＰＦ１５３に割り当てられた周波数帯域ごとの音信号が生成される。該生成された複数の音信号は、上記実施形態における各マイクロホン１５０により生成された音信号と同様に処理される。
このように、一般的なマイクロホン１６０による音信号から、ＢＰＦ１５３により周波数帯域の異なる複数の音信号を生成して、該音信号を上記実施形態における各マイクロホン１５０による音信号と同様に処理しても良い。
また、図１０からマイクロホン１６０を除く情報付加装置４０を提供しても良い。そのような装置に音信号を入力すると、該音信号に周波数帯域ごとの特性情報が含められて出力される。
【００４９】
（４）上述した実施形態においては、カラオケ伴奏に伴って収音された歌唱音の評価を行う場合について説明した。しかし、カラオケ伴奏が終了してから歌唱音の評価を行うようにしても良い。その場合には、カラオケ伴奏の進行に伴って情報付加信号から抽出されるパラメータ（特性情報）を記憶部１４に蓄積しておき、カラオケ伴奏終了後に該パラメータを読み出して歌唱評価に用いても良い。
【００５０】
（５）上述した実施形態では、歌唱音の各周波数成分から、それぞれパラメータ（特性情報）を抽出し、該パラメータに基づいて歌唱評価する場合について説明した。しかし、特定の周波数成分についてのパラメータに基づいて歌唱評価をしても良い。例えば、所定の周波数以上の高周波数成分について抽出されたパラメータを用いて歌唱評価をしても良い。
【００５１】
（６）上述した実施形態では、歌唱音の各周波数成分から抽出された特性情報に基づき、ＡＳＫ方式により搬送波を変調する場合について説明した。しかし、変調方式はＡＳＫ方式に限定されるものではなく、ＦＳＫ（Frequency shift keying）方式、ＰＳＫ(Phase shift keying)方式、ＱＡＭ(Quadrature amplitude modulation)方式など、他のいずれの変調方式を用いても良い。その場合、各変調方式における変調波が、音信号と分離しやすい特徴を有するのが望ましい。これら他の変調方式を用いて変調した変調波を音信号に重畳した場合には、情報付加信号の分離処理において、用いられた変調方法に応じた分離方法により分離すれば良い。
【００５２】
（７）上述した実施形態においては、歌唱音を表す音信号について処理する場合について説明した。しかし、処理の対象となる音信号は歌唱音を表す音信号に限られない。例えばバイオリンやフルートなどの楽器の演奏音を表す音信号であってもよい。そのようにすれば、例えば楽器の演奏の巧拙や楽器の音色を評価することができる。
【００５３】
（８）上述した実施形態においては、楽曲の演奏中、音信号に対して変調波を重畳する場合について説明した。しかし、変調波を重畳するタイミングを以下のように制御しても良い。例えば、音信号の振幅をモニタしておき、振幅が所定のレベルを下回った区間に変調波を重畳しても良い。その場合、音信号の振幅が大きい間は変調波を重畳せず記憶手段に蓄積しておくなどしても良い。そのようにすれば、歌唱されている区間においては変調波の重畳が行われないため、変調波の重畳および分離に伴い生じる可能性のある音信号（歌唱音）波形の劣化が抑制される。また、音信号の振幅をモニタしておき、振幅が所定のレベルを上回った区間に変調波を重畳しても良い。そのようにすれば、歌唱音が含まれる区間の音信号に変調波が重畳されるため、変調波の重畳および分離に伴い音信号（歌唱音）波形に劣化が生じてしまったとしても、そのような劣化（ノイズ）のＳＮ比は比較的高いことから分離された音信号（歌唱音）の音質の劣化が聴衆に知覚されにくい。
【００５４】
（９）上述した実施形態における制御部１１、制御部１５２によって実行されるプログラムは、磁気記録媒体（磁気テープ、磁気ディスク（ＨＤＤ、ＦＤ）など）、光記録媒体（光ディスク（ＣＤ、ＤＶＤ）など）、光磁気記録媒体、半導体メモリなどのコンピュータ読取り可能な記録媒体に記録した状態で提供し得る。また、インターネットのようなネットワーク経由でダウンロードさせることも可能である。
【図面の簡単な説明】
【００５５】
【図１】通信カラオケシステム１の構成を示すブロック図である。
【図２】端末１０の構成を示すブロック図である。
【図３】マイクロホン装置１５の構成を示すブロック図である。
【図４】マイクロホン装置１５の機能的構成を示すブロック図である。
【図５】ＡＳＫ方式の変調方法を説明するための図である。
【図６】情報付加信号の生成態様を示した図である。
【図７】制御部１１の機能的構成を示すブロック図である。
【図８】変形例（１）に係るマイクロホン装置１５の構成を示すブロック図である。
【図９】マイクロホン装置５０の構成を示すブロック図である。
【図１０】情報付加装置４０の構成を示すブロック図である。
【符号の説明】
【００５６】
１…通信カラオケシステム、１０…端末、１１、１５２…制御部、１２…操作部、１３…通信ＩＦ部、１４…記憶部、１５、５０…マイクロホン装置、１６…表示部、１７…出力部、１８、１５１…Ａ／Ｄコンバータ、２０…センタ、３０…通信網、４０…情報付加装置、１１１…分離部、１１２…復調部、１１３…ピッチ特定部、１１４…歌唱評価部、１５０、１６０…マイクロホン、１５３…バンドパスフィルタ（ＢＰＦ）、１５４…特性情報抽出部、１５５…変調部、１５６…Ｄ／Ａコンバータ、１５７…ミキシング部、１５８…重畳部
【技術分野】
【０００１】
本発明は、音信号変換装置、マイクロホンおよび歌唱評価装置に関する。
【背景技術】
【０００２】
歌唱の自動評価を行う装置が種々開発されている。例えば、特許文献１に記載の歌唱力採点装置においては、カラオケ歌唱者の歌声からピッチを検出し、検出したピッチをＭＩＤＩ（Musical Instrument Digital Interface）データに変換した後、リファレンスであるガイドメロディのＭＩＤＩデータと比較して一致の度合いに基づいて歌唱の採点を行う。
【特許文献１】特開平０９−１０６２９４号公報
【発明の開示】
【発明が解決しようとする課題】
【０００３】
さて、上記特許文献１に記載の歌唱力採点装置においては、装置本体において歌唱音のピッチ抽出処理など種々の処理を同時に行う必要があり、装置本体における処理負荷が大きいとの問題点があった。また、上記分析処理をマイクロホンの側で行わせたい場合に、分析結果と歌唱音の両者を伝送するための伝送媒体をそれぞれ設けなくてはならない、との問題点もあった。
【０００４】
本発明は、上述した事情に鑑みてなされたものであり、カラオケの歌唱を評価する処理の負荷を低減する技術を提供することを目的とする。
【課題を解決するための手段】
【０００５】
本発明に係る音信号変換装置は、音を表すアナログの音信号を受取る受取手段と、前記受取手段が受取った音信号から音の特性を抽出し、抽出された音の特性を表すデジタルデータを生成する音特性抽出手段と、前記音特性抽出手段が生成したデジタルデータに基づいてアナログの特性信号を生成する特性信号生成手段と、前記特性信号生成手段により生成された特性信号を、前記受取手段が受取った音信号に含ませ、合成音信号を生成する合成手段と、前記合成手段により生成された合成音信号を出力する出力手段とを有することを特徴とする。
【０００６】
本発明に係る音信号変換装置は、上記の構成において、前記特性信号生成手段は、前記音特性抽出手段が生成したデジタルデータに基づいて所定の搬送波を変調して前記特性信号を生成しても良い。
本発明に係る音信号変換装置は、上記の構成において、前記音特性抽出手段は、前記音信号に含まれる音のピッチを抽出しても良い。
【０００７】
上記の音信号変換装置は、以下のいずれかの態様としても良い。
すなわち、上記の構成において、前記受取手段が受取った音信号から周波数帯域ごとの音信号を生成する周波数成分分割手段を有し、前記音特性抽出手段は、前記周波数成分分割手段により生成された前記周波数帯域ごとの音信号のそれぞれから音の特性を抽出し、前記特性信号生成手段は、前記音特性抽出手段により抽出された周波数帯域ごとの音の特性に基づいて特性信号を生成しても良く、その場合、上記いずれかに記載の音信号変換装置と、収音した音に基づいて音信号を生成し、前記受取手段に供給する音信号生成手段とを有することを特徴とするマイクロホンを提供しても良い。
また、上記の構成において、前記受取手段は、周波数成分ごとの音信号を受取り、前記受取手段が受取った周波数成分ごとの音信号をミキシングするミキシング手段を有し、前記音特性抽出手段は、前記受取手段が受取った周波数帯域ごとの音信号のそれぞれから音の特性を抽出し、前記特性信号生成手段は、前記音特性抽出手段により抽出された周波数帯域ごとの音の特性に基づいて特性信号を生成し、前記合成手段は、前記特性信号生成手段により生成された特性信号を前記ミキシング手段により生成された音信号に含ませ合成音信号を生成しても良く、その場合、該音信号変換装置と、各々異なる周波数帯域の音を収音して音信号を生成し前記受取手段に供給する複数の音信号生成手段とを有することを特徴とするマイクロホンを提供しても良い。
【０００８】
本発明に係る歌唱評価装置は、上記いずれかに記載の音信号変換装置と、前記合成手段が生成した合成音信号から、前記音信号と前記特性信号とを分離する分離手段と、前記分離手段により分離された前記特性信号に基づいて前記受取手段が受取った音信号が表す音の評価を出力する評価手段とを有することを特徴とする。その場合、該歌唱評価装置は、前記分離手段により分離された前記受取手段が受取った音信号に基づいて放音する放音手段を有していても良い。
【０００９】
本発明に係るプログラムは、コンピュータを、音を表すアナログの音信号を受取る受取手段と、前記受取手段が受取った音信号から、音の特性を抽出し、抽出された音の特性を表すデジタルデータを生成する音特性抽出手段と、前記音特性抽出手段が生成したデジタルデータに基づいてアナログの特性信号を生成する特性信号生成手段と、前記特性信号生成手段により生成された特性信号を、前記受取手段が受取った音信号に含ませ、合成音信号を生成する合成手段と、前記合成手段により生成された合成音信号を出力する出力手段として機能させることを特徴とする。
【発明の効果】
【００１０】
本発明に係る音信号変換装置、マイクロホンおよび歌唱評価装置によれば、カラオケの歌唱を評価する処理の負荷を低減することが可能となる。
【発明を実施するための最良の形態】
【００１１】
以下では、本発明の一実施形態に係る通信カラオケシステムについて説明する。
【００１２】
（Ａ：構成）
まず、通信カラオケシステムの構成について説明する。
（Ａ−１：全体構成）
図１は、本発明の一実施形態に係る通信カラオケシステム１の全体構成を表すブロック図である。同図に示されるように、通信カラオケシステム１は、各部屋に設けられた端末１０と、該複数の端末１０に楽曲に係るデータを配信するセンタ２０と、端末１０およびセンタ２０を接続する通信網３０とから構成される。
センタ２０は、カラオケ用の楽曲データを記憶する記憶手段を有し、端末１０に対して楽曲データを適宜配信する。
通信網３０は、例えばインターネットなどのネットワークであるが、端末１０とセンタ２０との間で楽曲データをやり取りすることができれば、どのようなネットワークでも良い。
【００１３】
（Ａ−２：端末１０の構成）
図２は、端末１０の構成を示したブロック図である。同図に示す制御部１１は、ＣＰＵ（Central Processing Unit）、ＲＯＭ（Read Only Memory）、ＲＡＭ（Random Access Memory）を含む。ＣＰＵは、ＲＯＭに記憶されている制御プログラムを読み出してＲＡＭをワーキングエリアとして実行することにより、端末１０の各部を制御する。
【００１４】
操作部１２は、楽曲を選択するためのテンキー、上下キー、演奏開始キーなど、端末１０を操作するために必要とされる各種のキーを備えている。操作部１２は、歌唱者により押下されたキーに対応した操作信号を制御部１１へ出力する。
【００１５】
通信ＩＦ（Interface）部１３は、通信網３０に接続されている。通信ＩＦ部１３は、受取ったデータ（例えば、楽曲データを指定するデータ）を通信網３０へ出力すると共に、通信網３０を介してデータ（例えば、楽曲データ）を受信する。
【００１６】
記憶部１４は、例えばＨＤＤ（Hard Disk Drive）などの記憶手段である。記憶部１４には、センタ２０からダウンロードした楽曲データが格納されている。楽曲データは、一般のカラオケ装置において用いられる楽曲データと同様に、以下に示すデータが含まれる。すなわち、楽曲を特定する曲番号データ、楽曲の曲名を示す曲名データ、ジャンルを示すジャンルデータ、楽曲の演奏時間を示す演奏時間データなどが含まれるヘッダと、楽曲の伴奏を行う各種楽器の演奏音が楽曲の進行に伴って記される伴奏データと、歌詞データと歌唱者が歌唱すべき旋律を示したガイドメロディの音名が書き込まれているガイドメロディデータなどが含まれる。また、記憶部１４には、後述する歌唱者の歌唱音から抽出された各種のパラメータが書き込まれる。
【００１７】
マイクロホン装置１５は、マイクの形態をした装置であり、歌唱者の歌唱音を収音して該収音した歌唱音を表す音信号を生成すると共に、該音信号を後述する方法で変換して出力する。マイクロホン装置１５は、プラグＰを介してＡ／Ｄコンバータ１８に接続されている。
Ａ／Ｄコンバータ１８は、入力されたアナログ信号をデジタルデータに変換（Ａ／Ｄ変換）する。
表示部１６は、例えば液晶ディスプレイであり、制御部１１の制御の下で、端末１０の制御に係るメニュー画面、背景画像と歌詞テロップを含むカラオケ画面、歌唱評価の結果など、各種の画面を表示する。
出力部１７は、Ｄ／Ａコンバータとアンプとスピーカとを含み、受取った音信号に基づいて放音する。
【００１８】
（Ａ−３：マイクロホン装置１５の構成）
図３は、マイクロホン装置１５の構成を示した図である。マイクロホン装置１５は、マイクロホン１５０と、Ａ／Ｄコンバータ１５１と、制御部１５２と、Ｄ／Ａコンバータ１５６と、ミキシング部１５７と、重畳部１５８とから構成される。
【００１９】
マイクロホン１５０は、収音した音を表す音信号（アナログ信号）を生成する。同図には示されていないが、マイクロホン１５０は、マイクロホン１５０Ａ、１５０Ｂ、１５０Ｃ、１５０Ｄ，１５０Ｅからなる。各マイクロホン１５０は、それぞれ異なる周波数帯域の音を収音する。該５つのマイクロホンの各々に割り当てられた周波数帯域により、例えば２０Ｈｚ〜２０ｋＨｚなど全周波数帯域をカバーしている。各マイクロホン１５０により生成された音信号は、Ａ／Ｄコンバータ１５１およびミキシング部１５７に出力される。
Ａ／Ｄコンバータ１５１は、各マイクロホン１５０から受取った音信号をＡ／Ｄ変換し、ＢＵＳに出力する。
【００２０】
制御部１５２は、ＣＰＵ、ＲＯＭ、ＲＡＭを含む。ＣＰＵは、ＲＯＭに記憶されている制御プログラムを読み出してＲＡＭをワーキングエリアとして実行することにより、マイクロホン装置１５の各部を制御する。
Ｄ／Ａコンバータ１５６は、制御部１５２から受取った信号をＤ／Ａ変換し、重畳部１５８に出力する。
【００２１】
ミキシング部１５７は、各マイクロホン１５０から受取った音信号をミキシングして、重畳部１５８に出力する。
重畳部１５８は、ミキシング部１５７から音信号を、Ｄ／Ａコンバータ１５６から信号を受け取り、該受取った複数の信号を重畳して出力する。
【００２２】
（Ｂ：動作）
次に、通信カラオケシステム１の動作について説明する。
（Ｂ−１；カラオケ伴奏）
まず、カラオケ伴奏について説明する。歌唱者により、操作部１２に楽曲を指定する操作がなされると、選択された楽曲を特定する操作信号が操作部１２から制御部１１に出力される。
【００２３】
制御部１１は、端末１０にカラオケ伴奏を行わせるとともに、カラオケ画面を表示部１６に表示させる。すなわち、制御部１１は、記憶部１４から操作信号に応じた楽曲データを読み出して、伴奏データを出力部１７に出力する。出力部１７は、伴奏データに基づいてカラオケ伴奏を放音する。また、制御部１１は、背景画像データおよび歌詞データを読み出して表示部１６に出力する。表示部１６は、該背景画像データおよび歌詞データに基づいてカラオケ画面を表示する。
【００２４】
歌唱者は、表示部１６に表示されたカラオケ画面を見ながら、出力部１７から放音されるカラオケ伴奏にあわせて歌唱する。歌唱者による歌唱音は、マイクロホン装置１５に入力される。
【００２５】
（Ｂ−２：情報付加信号生成処理）
マイクロホン装置１５が、入力された歌唱音から情報付加信号を生成する処理について説明する。図４は、マイクロホン装置１５の機能的な構成を示した図である。なお、図４において破線に囲まれた各部（特性情報抽出部１５４および変調部１５５）は、制御部１５２が制御プログラムを実行することにより実現される機能である。
【００２６】
まず、各マイクロホン１５０において、歌唱音を表す音信号が生成される。
Ａ／Ｄコンバータ１５１は、各マイクロホン１５０により生成された音信号をデジタルデータ（音データ）にＡ／Ｄ変換する。各音データは、それぞれ特性情報抽出部１５４に出力される。
【００２７】
特性情報抽出部１５４は、Ａ／Ｄコンバータ１５１から受取った音データから、該音データに含まれる歌唱音の特性を表すパラメータを抽出する。本実施形態においては、歌唱音の特性として「パワー」が抽出される。音の「パワー」とは、特性情報抽出部１５４が受取った音データに含まれる各周波数成分の振幅の２乗を累算したものである。該演算された周波数成分ごとのパワーは、デジタルデータ（バイナリーデータ）に変換され、変調部１５５に出力される。
【００２８】
変調部１５５は、特性情報抽出部１５４から受取った特性情報（各周波数成分のパワー）に基づいて、該特性情報を表す変調波の波形データを生成する。以下では、変調波の波形データの生成方法を簡単に説明する。
変調部１５５は、特定の周波数および振幅を有する正弦波（以下、搬送波）の波形データをＡＳＫ（Amplitude shift keying）方式により変調する。この変調方式では、入力波形（ベースバンド波形）である上記特性情報に応じて搬送波の波形を断続するように変化させ、変調波の波形データを生成する。
【００２９】
例えば、図５（ａ）のように、特性情報の一部である０、１、１、０、１…といったバイナリーデータで表されるデータに基づいて、同図（ｂ）に示す搬送波が同図（ｃ）に示すような波形へ変形される。
なお、上記搬送波の周波数として、人間の歌唱音（およそ５００Ｈｚ〜５ｋＨｚ）とは重ならない周波数帯域（例えば、５００ｋＨｚ）が設定される。また、上記搬送波の振幅は、上記歌唱音を表す音信号の振幅と比較して小さい値が適宜設定されている。
該生成された変調波の波形データは、Ｄ／Ａコンバータ１５６においてＤ／Ａ変換される。生成されたアナログ信号（以下、変調波）は、重畳部１５８に出力される。
【００３０】
さて、各マイクロホン１５０において生成された音信号は、上述したようにＡ／Ｄコンバータ１５１に出力されると共に、ミキシング部１５７に出力される。ミキシング部１５７は、各マイクロホン１５０から受取った音信号をミキシングし、新たな音信号を生成する。ミキシング部１５７において生成される音信号は、周波数特性の異なる各マイクロホン１５０により生成された音信号の集合であることから、歌唱音を表す音信号となる。該生成された音信号は、重畳部１５８に出力される。
【００３１】
重畳部１５８は、ミキシング部１５７から音信号を、Ｄ／Ａコンバータ１５６から変調波を受取る。重畳部１５８は、上記音信号および変調波をミキシングし、新たな信号（以下、情報付加信号）を生成する。
【００３２】
図６は、重畳部１５８において生成される情報付加信号の一例を示した図である。同図（ａ）は、ミキシング部１５７において生成される音信号（歌唱音）の波形の一部であり、同図（ｂ）は、Ｄ／Ａコンバータ１５６から入力された変調波（図５（ｃ）にも示した部分）である。これらの信号が重畳されると、同図（ｃ）に示される情報付加信号が生成される。該生成された情報付加信号は、プラグＰを介してＡ／Ｄコンバータ１８に供給される。
【００３３】
Ａ／Ｄコンバータ１８において、情報付加信号はデジタルデータ（以下、情報付加データ）に変換され、制御部１１に出力される。
【００３４】
以下では、制御部１１における処理について説明する。図７は、制御部１１における機能を示した図である。破線に囲まれた各部（分離部１１１、復調部１１２、ピッチ特定部１１３、歌唱評価部１１４）は、制御部１１が制御プログラムを実行することにより制御部１１に実現される機能である。
【００３５】
（Ｂ−３：分離処理）
まず、分離処理について説明する。
制御部１１の分離部１１１は、情報付加データを受取り、情報付加データに含められた音信号と変調波とを分離する。分離部１１１は、まず、情報付加データが表す波形を、上記搬送波に用いられた周波数を中心とする所定幅の帯域の成分を透過するバンドパスフィルタ（以下、ＢＰＦ）で処理し、変調波を抽出したデータ（以下、変調波形データ）を生成する。搬送波は、ＡＳＫ方式で変調されていることから、分離された変調波形データは、図５（ｃ）に示すように断続的な正弦波状のデータとなる。
また、分離部１１１は、情報付加データが表す波形データを、上記搬送波に用いられた周波数帯域以外の帯域の成分を透過させるＢＰＦで処理し、音信号を表すデータ（以下、音信号波形データ）を生成する。
【００３６】
上述した情報付加信号生成処理において、搬送波（変調波）には、歌唱音の周波数帯域とオーバーラップしない周波数帯域が割り当てられて多重化されているため、それぞれの信号の周波数帯域を透過するＢＰＦで処理することにより、多重化される前の信号を分離することが可能である。
【００３７】
さて、上記分離処理により生成された変調波形データおよび音信号波形データは、それぞれ以下のように処理される。
音信号波形データは、出力部１７に出力される。出力部１７は、該音信号波形データをＤ／Ａ変換しアナログ信号に変換した後アンプで増幅し、スピーカから放音する。このようにして放音された音は歌唱音そのものであることから、通常のカラオケが可能となる。
【００３８】
（Ｂ−４：歌唱評価処理）
次に、上記分離処理において分離された変調波形データの処理について説明する。復調部１１２は、変調波形データを受取り復調する。すなわち、復調部１１２は、例えば図５（ｃ）に示すような変調波を、同図（ａ）に示すようなデジタルデータに変換する。このようにして得られたデジタルデータは、特性情報抽出部１５４において生成された特性情報と同一である。
【００３９】
ピッチ特定部１１３は、得られた特性情報が示す各周波数成分のパワーに基づいて、歌唱音のピッチ（音程）を特定する。簡単に説明すると、パワーが所定のレベルを越える周波数成分の中で最も低い周波数を基本周波数として特定し、該基本周波数と対応するピッチを歌唱音のピッチとする方法を用いる。ただし、各周波数成分のパワーからピッチを特定する方法は、上記の方法に限定されるものではなく、その他どのような方法を用いても良い。
【００４０】
次に、歌唱評価部１１４は、上記得られた歌唱音のピッチに基づいて歌唱評価を行う。例えば、歌唱評価部１１４は、記憶部１４からガイドメロディデータを読み出し、上記特定したピッチとガイドメロディが表すピッチとを比較する。なお、ガイドメロディが表すピッチは、ガイドメロディの音名に基づいて特定する。歌唱評価部１１４は、上記両データにおけるピッチの比較結果から歌唱評価を算出する。例えば、ピッチのずれ（差分）に応じて減点する得点を算出する。
【００４１】
歌唱評価部１１４は、上記のようなピッチの比較をカラオケの始めから終わりまで所定の時間間隔（例えば５００ｍｓごと）で行い、各タイミングにおける歌唱音のピッチの正確さに基づいて減点得点を算出する。歌唱評価部１１４は、歌唱音の全体について上記の処理を完了すると、満点（例えば、１００点）から累計を減算し、最終的な歌唱得点として算出する。歌唱評価部１１４は、算出された歌唱得点を表示部１６に出力し、得点を表示させる。
なお、上記の歌唱評価方法は一例であり、従来のカラオケ装置において行われている歌唱評価方法のいずれを用いても良い。
【００４２】
（Ｂ−５：動作のまとめ）
上記実施形態において、マイクロホン装置１５において歌唱音に基づく音信号が生成されるが、該生成される音信号には、該歌唱音の特性（周波数特性）を表す特性情報が含められる。このとき、特性情報（デジタルデータ）に基づいて生成された変調波（アナログ信号）が音信号に対して重畳される。従って、該マイクロホン装置１５から出力される情報付加信号は、音信号（電気信号）を入力可能な一般的なマイクロホン用のプラグＰに対して入力することができる。このように、特性情報を伝送するために音信号と別の伝送媒体を設ける必要はない。
【００４３】
プラグＰに入力された情報付加信号は、情報付加データに変換された後、歌唱音を表す音信号（音信号波形データ）と特性情報を表す変調波（変調波形データ）とに分離される。その結果、マイクロホン装置１５において、歌唱音を表す音信号には一旦特性情報が含められるが、端末１０においては、通常のカラオケ装置と同様に歌唱音を単独で放音させることが可能である。
【００４４】
また、制御部１１は、歌唱音の分析結果である特性情報を、入力された信号からＢＰＦによる処理で容易に分離抽出することができることから、周波数特性の分析を始めとする歌唱評価処理の負荷を大幅に軽減することができる。
【００４５】
（Ｃ：変形例）
以上、本発明の一実施形態について説明したが、本発明は上述の実施形態に限定されることなく、他の様々な形態で実施可能である。以下にその一例を示す。なお、以下に説明した各実施形態は、適宜組み合わせて実施しても良い。
【００４６】
（１）上述した実施形態においては、情報付加信号には歌唱音に基づく成分が含まれるため、マイクロホン装置１５を通常のマイクロホンとして使用することも可能である。ただし、該情報付加信号には特性情報に基づく変調波が含まれていることから、情報付加信号に基づいて放音した場合には、その音は元の歌唱音とは音色が異なったりノイズが付加されていたりする。
そこで、ミキシング部１５７において生成された音信号に対して変調波を重畳するか否かを制御可能とする手段を設けても良い。例えば、図８に示すように、変調波が伝送されるライン上にスイッチＷを設け、該スイッチＷを歌唱者がＯＮ／ＯＦＦすることで変調波の重畳のＯＮ／ＯＦＦが制御できるようにしても良い。
また、上述した実施形態においては、搬送波の周波数として、人間の歌唱音の周波数帯域とは重ならない周波数帯域が設定される場合について説明した。しかし、搬送波の周波数帯域としては、上記の条件と併せて、人間の可聴周波数帯域以外の搬送波を用いるようにしても良い。そのようにすれば、マイクロホン装置１５を通常のマイクロホンとして使用した場合に、生成される情報付加信号をそのまま音信号として用いても、変調波に基づく音の成分は聴取されず違和感を生じない。
【００４７】
（２）上述した実施形態においては、マイクロホン１５０により生成された周波数成分ごとの音信号を処理する場合について説明した。しかし、歌唱音を周波数成分ごとに分析するのではなく、そのまま分析しても良い。その場合の構成を、マイクロホン装置５０として図９に示す。なお、同図において上述の実施形態における構成と同じ符号を付されたものは同じ機能を有する。
マイクロホン１６０は、一般的なマイクロホンであり、全ての周波数帯域の音を含む音信号を生成する。マイクロホン１６０により生成された音信号は、Ａ／Ｄコンバータ１５１および重畳部１５８に出力される。Ａ／Ｄコンバータ１５１は、受取った音信号をデジタルデータ（音データ）に変換する。特性情報抽出部１５４は、音データから各種のパラメータを抽出し、抽出したパラメータを特性情報として変調部１５５に出力する。変調部１５５は、該特性情報に基づいて搬送波を変調し、変調波の波形データを生成する。変調波の波形データは、Ｄ／Ａコンバータ１５６に出力され、Ｄ／Ａ変換されてアナログ信号（変調波）が生成される。該変調波は、重畳部１５８に出力される。重畳部１５８においては、マイクロホン１６０から入力された音信号と上記変調波を重畳して情報付加信号を生成し出力する。このように生成された情報付加信号は、上記実施形態と同様に、端末１０において音信号と特性情報とに分離して用いることが可能である。
なお、図９に示したマイクロホン装置５０の構成から、マイクロホン１６０を除く他の構成からなる装置を本発明は提供することが可能である。このような装置に音信号を入力すると、該音信号に対して特性情報が含められて出力される。
【００４８】
（３）上述した実施形態においては、互いに周波数特性の異なるマイクロホン１５０が複数設けられた端末１０について記載した。しかし、以下に説明するような装置を提供することが可能である。
図１０に示すように、情報付加装置４０は、Ａ／Ｄコンバータ１５１と、各々互いに異なる周波数帯域成分を透過するバンドパスフィルタであるＢＰＦ１５３Ａ、１５３Ｂ、１５３Ｃ、１５３Ｄ、１５３Ｅと、特性情報抽出部１５４と、変調部１５５と、Ｄ／Ａコンバータ１５６と、重畳部１５８とを有する。そして、情報付加装置４０には、全周波数帯域の音を含む音信号を生成する一般的なマイクロホン１６０が接続されている。情報付加装置４０においては、マイクロホン１６０から受取った音信号は、Ａ／Ｄコンバータ１５１によりＡ／Ｄ変換された後、各ＢＰＦ１５３により各ＢＰＦ１５３に割り当てられた周波数帯域ごとの音信号が生成される。該生成された複数の音信号は、上記実施形態における各マイクロホン１５０により生成された音信号と同様に処理される。
このように、一般的なマイクロホン１６０による音信号から、ＢＰＦ１５３により周波数帯域の異なる複数の音信号を生成して、該音信号を上記実施形態における各マイクロホン１５０による音信号と同様に処理しても良い。
また、図１０からマイクロホン１６０を除く情報付加装置４０を提供しても良い。そのような装置に音信号を入力すると、該音信号に周波数帯域ごとの特性情報が含められて出力される。
【００４９】
（４）上述した実施形態においては、カラオケ伴奏に伴って収音された歌唱音の評価を行う場合について説明した。しかし、カラオケ伴奏が終了してから歌唱音の評価を行うようにしても良い。その場合には、カラオケ伴奏の進行に伴って情報付加信号から抽出されるパラメータ（特性情報）を記憶部１４に蓄積しておき、カラオケ伴奏終了後に該パラメータを読み出して歌唱評価に用いても良い。
【００５０】
（５）上述した実施形態では、歌唱音の各周波数成分から、それぞれパラメータ（特性情報）を抽出し、該パラメータに基づいて歌唱評価する場合について説明した。しかし、特定の周波数成分についてのパラメータに基づいて歌唱評価をしても良い。例えば、所定の周波数以上の高周波数成分について抽出されたパラメータを用いて歌唱評価をしても良い。
【００５１】
（６）上述した実施形態では、歌唱音の各周波数成分から抽出された特性情報に基づき、ＡＳＫ方式により搬送波を変調する場合について説明した。しかし、変調方式はＡＳＫ方式に限定されるものではなく、ＦＳＫ（Frequency shift keying）方式、ＰＳＫ(Phase shift keying)方式、ＱＡＭ(Quadrature amplitude modulation)方式など、他のいずれの変調方式を用いても良い。その場合、各変調方式における変調波が、音信号と分離しやすい特徴を有するのが望ましい。これら他の変調方式を用いて変調した変調波を音信号に重畳した場合には、情報付加信号の分離処理において、用いられた変調方法に応じた分離方法により分離すれば良い。
【００５２】
（７）上述した実施形態においては、歌唱音を表す音信号について処理する場合について説明した。しかし、処理の対象となる音信号は歌唱音を表す音信号に限られない。例えばバイオリンやフルートなどの楽器の演奏音を表す音信号であってもよい。そのようにすれば、例えば楽器の演奏の巧拙や楽器の音色を評価することができる。
【００５３】
（８）上述した実施形態においては、楽曲の演奏中、音信号に対して変調波を重畳する場合について説明した。しかし、変調波を重畳するタイミングを以下のように制御しても良い。例えば、音信号の振幅をモニタしておき、振幅が所定のレベルを下回った区間に変調波を重畳しても良い。その場合、音信号の振幅が大きい間は変調波を重畳せず記憶手段に蓄積しておくなどしても良い。そのようにすれば、歌唱されている区間においては変調波の重畳が行われないため、変調波の重畳および分離に伴い生じる可能性のある音信号（歌唱音）波形の劣化が抑制される。また、音信号の振幅をモニタしておき、振幅が所定のレベルを上回った区間に変調波を重畳しても良い。そのようにすれば、歌唱音が含まれる区間の音信号に変調波が重畳されるため、変調波の重畳および分離に伴い音信号（歌唱音）波形に劣化が生じてしまったとしても、そのような劣化（ノイズ）のＳＮ比は比較的高いことから分離された音信号（歌唱音）の音質の劣化が聴衆に知覚されにくい。
【００５４】
（９）上述した実施形態における制御部１１、制御部１５２によって実行されるプログラムは、磁気記録媒体（磁気テープ、磁気ディスク（ＨＤＤ、ＦＤ）など）、光記録媒体（光ディスク（ＣＤ、ＤＶＤ）など）、光磁気記録媒体、半導体メモリなどのコンピュータ読取り可能な記録媒体に記録した状態で提供し得る。また、インターネットのようなネットワーク経由でダウンロードさせることも可能である。
【図面の簡単な説明】
【００５５】
【図１】通信カラオケシステム１の構成を示すブロック図である。
【図２】端末１０の構成を示すブロック図である。
【図３】マイクロホン装置１５の構成を示すブロック図である。
【図４】マイクロホン装置１５の機能的構成を示すブロック図である。
【図５】ＡＳＫ方式の変調方法を説明するための図である。
【図６】情報付加信号の生成態様を示した図である。
【図７】制御部１１の機能的構成を示すブロック図である。
【図８】変形例（１）に係るマイクロホン装置１５の構成を示すブロック図である。
【図９】マイクロホン装置５０の構成を示すブロック図である。
【図１０】情報付加装置４０の構成を示すブロック図である。
【符号の説明】
【００５６】
１…通信カラオケシステム、１０…端末、１１、１５２…制御部、１２…操作部、１３…通信ＩＦ部、１４…記憶部、１５、５０…マイクロホン装置、１６…表示部、１７…出力部、１８、１５１…Ａ／Ｄコンバータ、２０…センタ、３０…通信網、４０…情報付加装置、１１１…分離部、１１２…復調部、１１３…ピッチ特定部、１１４…歌唱評価部、１５０、１６０…マイクロホン、１５３…バンドパスフィルタ（ＢＰＦ）、１５４…特性情報抽出部、１５５…変調部、１５６…Ｄ／Ａコンバータ、１５７…ミキシング部、１５８…重畳部
【特許請求の範囲】
【請求項１】
音を表すアナログの音信号を受取る受取手段と、
前記受取手段が受取った音信号から音の特性を抽出し、抽出された音の特性を表すデジタルデータを生成する音特性抽出手段と、
前記音特性抽出手段が生成したデジタルデータに基づいてアナログの特性信号を生成する特性信号生成手段と、
前記特性信号生成手段により生成された特性信号を、前記受取手段が受取った音信号に含ませ、合成音信号を生成する合成手段と、
前記合成手段により生成された合成音信号を出力する出力手段と
を有することを特徴とする音信号変換装置。
【請求項２】
前記特性信号生成手段は、前記音特性抽出手段が生成したデジタルデータに基づいて所定の搬送波を変調して前記特性信号を生成する
ことを特徴とする請求項１に記載の音信号変換装置。
【請求項３】
前記音特性抽出手段は、前記音信号に含まれる音のピッチを抽出することを特徴とする請求項１または２に記載の音信号変換装置。
【請求項４】
前記受取手段が受取った音信号から周波数帯域ごとの音信号を生成する周波数成分分割手段を有し、
前記音特性抽出手段は、前記周波数成分分割手段により生成された前記周波数帯域ごとの音信号のそれぞれから音の特性を抽出し、
前記特性信号生成手段は、前記音特性抽出手段により抽出された周波数帯域ごとの音の特性に基づいて特性信号を生成する
ことを特徴とする請求項１ないし３のいずれかに記載の音信号変換装置。
【請求項５】
前記受取手段は、周波数成分ごとの音信号を受取り、
前記受取手段が受取った周波数成分ごとの音信号をミキシングするミキシング手段を有し、
前記音特性抽出手段は、前記受取手段が受取った周波数帯域ごとの音信号のそれぞれから音の特性を抽出し、
前記特性信号生成手段は、前記音特性抽出手段により抽出された周波数帯域ごとの音の特性に基づいて特性信号を生成し、
前記合成手段は、前記特性信号生成手段により生成された特性信号を前記ミキシング手段により生成された音信号に含ませ合成音信号を生成する
ことを特徴とする請求項１ないし３のいずれかに記載の音信号変換装置。
【請求項６】
収音した音に基づいて音信号を生成し、前記受取手段に供給する音信号生成手段と、
請求項１ないし４のいずれかに記載の音信号変換装置と
を有することを特徴とするマイクロホン。
【請求項７】
各々異なる周波数帯域の音を収音して音信号を生成し前記受取手段に供給する複数の音信号生成手段と、
請求項５に記載の音信号変換装置と
を有することを特徴とするマイクロホン。
【請求項８】
請求項１ないし５のいずれかに記載の音信号変換装置と、
前記合成手段が生成した合成音信号から、前記音信号と前記特性信号とを分離する分離手段と、
前記分離手段により分離された前記特性信号に基づいて前記受取手段が受取った音信号が表す音の評価を出力する評価手段と
を有することを特徴とする歌唱評価装置。
【請求項９】
前記分離手段により分離された前記受取手段が受取った音信号に基づいて放音する放音手段
を有することを特徴とする請求項８に記載の歌唱評価装置。
【請求項１】
音を表すアナログの音信号を受取る受取手段と、
前記受取手段が受取った音信号から音の特性を抽出し、抽出された音の特性を表すデジタルデータを生成する音特性抽出手段と、
前記音特性抽出手段が生成したデジタルデータに基づいてアナログの特性信号を生成する特性信号生成手段と、
前記特性信号生成手段により生成された特性信号を、前記受取手段が受取った音信号に含ませ、合成音信号を生成する合成手段と、
前記合成手段により生成された合成音信号を出力する出力手段と
を有することを特徴とする音信号変換装置。
【請求項２】
前記特性信号生成手段は、前記音特性抽出手段が生成したデジタルデータに基づいて所定の搬送波を変調して前記特性信号を生成する
ことを特徴とする請求項１に記載の音信号変換装置。
【請求項３】
前記音特性抽出手段は、前記音信号に含まれる音のピッチを抽出することを特徴とする請求項１または２に記載の音信号変換装置。
【請求項４】
前記受取手段が受取った音信号から周波数帯域ごとの音信号を生成する周波数成分分割手段を有し、
前記音特性抽出手段は、前記周波数成分分割手段により生成された前記周波数帯域ごとの音信号のそれぞれから音の特性を抽出し、
前記特性信号生成手段は、前記音特性抽出手段により抽出された周波数帯域ごとの音の特性に基づいて特性信号を生成する
ことを特徴とする請求項１ないし３のいずれかに記載の音信号変換装置。
【請求項５】
前記受取手段は、周波数成分ごとの音信号を受取り、
前記受取手段が受取った周波数成分ごとの音信号をミキシングするミキシング手段を有し、
前記音特性抽出手段は、前記受取手段が受取った周波数帯域ごとの音信号のそれぞれから音の特性を抽出し、
前記特性信号生成手段は、前記音特性抽出手段により抽出された周波数帯域ごとの音の特性に基づいて特性信号を生成し、
前記合成手段は、前記特性信号生成手段により生成された特性信号を前記ミキシング手段により生成された音信号に含ませ合成音信号を生成する
ことを特徴とする請求項１ないし３のいずれかに記載の音信号変換装置。
【請求項６】
収音した音に基づいて音信号を生成し、前記受取手段に供給する音信号生成手段と、
請求項１ないし４のいずれかに記載の音信号変換装置と
を有することを特徴とするマイクロホン。
【請求項７】
各々異なる周波数帯域の音を収音して音信号を生成し前記受取手段に供給する複数の音信号生成手段と、
請求項５に記載の音信号変換装置と
を有することを特徴とするマイクロホン。
【請求項８】
請求項１ないし５のいずれかに記載の音信号変換装置と、
前記合成手段が生成した合成音信号から、前記音信号と前記特性信号とを分離する分離手段と、
前記分離手段により分離された前記特性信号に基づいて前記受取手段が受取った音信号が表す音の評価を出力する評価手段と
を有することを特徴とする歌唱評価装置。
【請求項９】
前記分離手段により分離された前記受取手段が受取った音信号に基づいて放音する放音手段
を有することを特徴とする請求項８に記載の歌唱評価装置。
【図１】
【図２】
【図３】
【図４】
【図５】
【図６】
【図７】
【図８】
【図９】
【図１０】
【図２】
【図３】
【図４】
【図５】
【図６】
【図７】
【図８】
【図９】
【図１０】
【公開番号】特開２００９−１５１０６７（Ｐ２００９−１５１０６７Ａ）
【公開日】平成２１年７月９日（２００９．７．９）
【国際特許分類】
【出願番号】特願２００７−３２８５１５（Ｐ２００７−３２８５１５）
【出願日】平成１９年１２月２０日（２００７．１２．２０）
【出願人】（０００００４０７５）ヤマハ株式会社 (5,930)
【Ｆターム（参考）】
【公開日】平成２１年７月９日（２００９．７．９）
【国際特許分類】
【出願日】平成１９年１２月２０日（２００７．１２．２０）
【出願人】（０００００４０７５）ヤマハ株式会社 (5,930)
【Ｆターム（参考）】
[ Back to top ]