カラオケ装置
【課題】
演奏を録音した生音データを再生するカラオケ装置において、音程変更時における再生音を聴感上、自然なものとすることを課題とする。
【解決手段】
本発明のカラオケ装置は、生音データを解析し、フォルマント特性を維持するためのフィルタ特性を生成するフィルタ生成処理と、フィルタ生成処理で生成したフィルタ特性と、入力部で入力された音程と、楽曲データに基づいて、楽曲データのうち再生すべき発音情報を決定する決定処理と、入力部で入力された音程に基づいて、生音データの音程を変更して生音再生部に再生させるとともに、フィルタ生成処理で生成したフィルタ特性を適用する生音再生処理と、入力部で入力された音程に基づいて、決定処理にて決定した発音情報を楽曲再生部に再生させる楽曲再生処理を実行することを特徴とする。
演奏を録音した生音データを再生するカラオケ装置において、音程変更時における再生音を聴感上、自然なものとすることを課題とする。
【解決手段】
本発明のカラオケ装置は、生音データを解析し、フォルマント特性を維持するためのフィルタ特性を生成するフィルタ生成処理と、フィルタ生成処理で生成したフィルタ特性と、入力部で入力された音程と、楽曲データに基づいて、楽曲データのうち再生すべき発音情報を決定する決定処理と、入力部で入力された音程に基づいて、生音データの音程を変更して生音再生部に再生させるとともに、フィルタ生成処理で生成したフィルタ特性を適用する生音再生処理と、入力部で入力された音程に基づいて、決定処理にて決定した発音情報を楽曲再生部に再生させる楽曲再生処理を実行することを特徴とする。
【発明の詳細な説明】
【技術分野】
【０００１】
本発明は、各種音源による伴奏を実行するとともにマイクロホンを介して歌唱を行うカラオケ装置に関するものであり、特に、圧縮音声信号などの生音を音源に用いるとともに、音程変更を可能とするカラオケ装置に関する。
【背景技術】
【０００２】
従来、カラオケ装置において楽曲演奏を行う際には、電子楽器に用いられるＭＩＤＩ音源が利用されることが多かった。容量の小さいＭＩＤＩ規格のデータ（楽曲データ）を用いることで、通信回線を通じて大量の楽曲データを容易に配信することで、最新の楽曲データをカラオケ装置に供給することが可能となっている。近年、光ファイバーなどを利用した通信網が整備され、通信容量が大きくなるに伴い、楽曲データのみならず、１楽曲あたりの容量が大きい生音データを配信することも可能となっている。この生音データは、ＡＤＰＣＭ、ＭＰＥＧオーディオなど、アーティストの演奏をそのまま録音し、圧縮したデータであって、従来の楽曲データでは再現できない肉声を表現することが可能である。
【０００３】
特許文献１には、このようなカラオケ装置として、実際に演奏されて録音されたカラオケ伴奏音楽をディジタル圧縮符号化したカラオケＡＶデータを含んだ再生音楽タイプのコンテンツ、シンセサイザーを制御してカラオケ伴奏音楽の合成音を生成するＭＩＤＩデータを含んだ合成音楽タイプのコンテンツを、ボリューム管理情報にしたがって一元的に取り扱うことのできるものが開示されている。
【０００４】
このように特許文献１に開示されるカラオケ装置によれば、高品質な再生音楽タイプと、短時間かつ低コストで製作できる合成音楽タイプを１つのカラオケ装置において一元的に取り扱うことができ、システム構成を簡単にすることが可能となっている。
【先行技術文献】
【特許文献】
【０００５】
【特許文献１】特許第３１９４８８４号
【特許文献２】特許第２９６７６６１号
【特許文献３】特許第３４０４７５６号
【発明の概要】
【発明が解決しようとする課題】
【０００６】
ところで、カラオケ装置においては、歌唱者の歌唱を容易にするため音程変更（キーチェンジ）機能が設けられている。ＭＩＤＩ音源を用いた従来のカラオケ装置においては、各音色毎に音程変更を行うことが可能である。
また、ＭＩＤＩ音源の各種音色は、人声のように声道特性が支配的であって、音程を変更した場合に一定のスペクトル形状を有する、すなわち、固定フォルマント特性を有する音色と、音程の変更に伴ってそのスペクトル形状が伸縮される、すなわち、移動フォルマント特性を有する音色がある。
【０００７】
特に固定フォルマント特性を有する音色を自然なものとするため、特許文献２には、音高情報に応じたパラメータをフィルタリング手段に与えることで、移動フォルマント特性を有する楽音信号を固定フォルマント特性に変換する楽音合成装置が開示されている。また、特許文献３には、波形データ読み出しタイミングに配慮することで、不連続点のない波形による固定フォルマント音を合成可能とする楽音合成装置について開示されている。
【０００８】
ところで、生音データを使用するカラオケ装置においても、音程変更機能は必須の機能である。しかしながら、実際の演奏を録音した生音データには、ギター、ピアノなどの楽器音の他、バックコーラスなどの人声が混在した音となっている。通常の楽器音であれば、スペクトル形状が線形に伸張されるピッチシフトを行うことで、自然な音程変更が実現できるが、人声など固定フォルマント特性を有する音については、単純にピッチシフトを行うだけでは可聴上、不自然な音に聞こえてしまう。
【０００９】
特許文献２、特許文献３には、固定フォルマント特性を有する音色に対して音程を変更する技術について開示はされているものの、これらの技術は楽音合成装置、すなわち、ＭＩＤＩ音源のような音色毎に制御可能な場合に適用できるものであって、固定フォルマント特性の音と移動フォルマント特性の音が分離不可能な状態で混在する生音データに対して適用できるものではない。
【００１０】
本発明は、各種楽器音に加え、固定フォルマント特性を有する人声を含む生音データの再生を行うカラオケ装置において、自然な音程変更を実現することを課題とするものである。
【課題を解決するための手段】
【００１１】
上記課題を解決するため、本発明のカラオケ装置は、生音データと、前記生音データに同期するとともに発音情報を含んで構成された楽曲データを含むカラオケデータの再生を行うカラオケ装置であって、前記生音データに基づいて再生を実行する生音再生部と、発音情報に基づいて再生を実行する楽曲再生部と、音程を入力する入力部と、前記生音データを解析し、フォルマント特性を維持するためのフィルタ特性を生成するフィルタ生成処理と、前記フィルタ生成処理で生成したフィルタ特性と、前記入力部で入力された音程と、前記楽曲データに基づいて、前記楽曲データのうち再生すべき発音情報を決定する決定処理と、前記入力部で入力された音程に基づいて、前記生音データの音程を変更して前記生音再生部に再生させるとともに、前記フィルタ生成処理で生成した前記フィルタ特性を適用する生音再生処理と、前記入力部で入力された音程に基づいて、前記決定処理にて決定した発音情報を前記楽曲再生部に再生させる楽曲再生処理と、を実行する制御部と、を備えたことを特徴としている。
【００１２】
さらに、本発明のカラオケ装置において、前記決定処理は、前記フィルタ生成処理で生成したフィルタ特性と、前記入力部で入力された音程と、前記楽曲データに基づいて、再生すべき発音情報の音量を決定し、前記楽曲再生処理は、決定した音量で発音情報を再生させることを特徴としている。
【００１３】
さらに、本発明のカラオケ装置において、前記フィルタ生成処理と、前記決定処理のうち、少なくとも前記フィルタ生成処理は、楽曲データの再生開始前に実行されることを特徴とすることとしている。
【００１４】
また、本発明のカラオケ装置は、生音データと、前記生音データに適用するフィルタ特性と、前記生音データに同期するとともに音程毎に再生すべき発音情報が対応付けられた楽曲データと、を含むカラオケデータの再生を行うカラオケ装置であって、前記生音データに基づいて再生を実行する生音再生部と、発音情報に基づいて再生を実行する楽曲再生部と、音程を入力する入力部と、前記入力部で入力された音程に基づいて、前記生音データの音程を変更して前記生音再生部に再生させるとともに、前記カラオケデータに含まれるフィルタ特性を適用する生音再生処理と、前記入力部で入力された音程に基づいて、再生すべき発音情報を前記楽曲再生部に再生させる楽曲再生処理と、を実行する制御部と、を備えたことを特徴としている。
【発明の効果】
【００１５】
本発明によれば、生音データを再生するカラオケ装置において音程変更機能を動作させた際、フィルタ特性を付与することで、生音データ内の固定フォルマント特性を有する人声などを違和感なく音程変化させることが可能となる。さらに、フィルタ特性を付与したことで抑制された楽器音について、ＭＩＤＩ情報のような発音情報で構成された楽曲データを用いて補うことで、自然な音程変更を行うことが可能となる。
【００１６】
フィルタ特性は、カラオケデータの再生中に解析・生成してもよいが、再生前に予め行っておくことで、処理能力の低いカラオケ装置においても自然な音程変更を行うことが可能となる。さらに、楽曲データのうち再生すべき発音情報を決定する決定処理についても再生前の適宜タイミングで予め行うことでカラオケ装置の処理負担を抑えることが可能となる。
【００１７】
また、楽曲データのうち再生すべき発音情報について、再生すべき発音情報の音量を決定することで、不足する音色をより正確に補うことが可能となり、さらに自然な音程変更を行うことが可能となる。
【００１８】
さらに、カラオケデータ内に予め生音データに対して適用するフィルタ特性と、音程毎に再生すべき発音情報が対応付けられた楽曲データを用意しておくことで、カラオケ装置における処理量を削減し、処理能力の低いカラオケ装置においても生音データ再生時における音程変更を自然なものとすることが可能となる。
【図面の簡単な説明】
【００１９】
【図１】本発明の実施形態に係る音程変更前のスペクトル特性を示す図。
【図２】本発明の実施形態に係る音程変更後のスペクトル特性を示す図。
【図３】本発明の実施形態に係るカラオケ装置のブロック図。
【図４】本発明の実施形態に係るカラオケデータのデータ構成を示す図。
【図５】本発明の実施形態に係るカラオケ装置の信号処理経路を示す経路図。
【図６】本発明の実施形態に係る発音情報決定処理を示すフロー図。
【図７】本発明の他の実施形態に係るカラオケデータのデータ構成を示す図。
【発明を実施するための形態】
【００２０】
図１、図２を用いて、本発明の原理について説明を行う。本実施形態では、例えば、人声と楽器音が混合された生音データにおいて音程変更を行うことを前提としている。生音データの種類としては、実際の歌唱、演奏を録音したＰＣＭデータ、ＭＰＥＧオーディオデータなどが用いられる。このような生音データは、ＭＩＤＩデータに基づく電子楽器音と比較して高音質な再生音を確保することが可能である。
【００２１】
カラオケ装置では、歌唱者の発声音域に合わせて音程変更を行う機能が備えられている。楽曲の再生音の音程を自分の発声音域に合わせることで歌唱を容易にすることが可能である。ＭＩＤＩデータのような楽曲データを利用した場合には、音質を劣化することなく音程変更を行うことが可能である。しかしながら、生音データの音程変更を行った場合、特に、固定フォルマント特性を有する人声などの音色は、単純に音程変更しただけでは、その音色らしさが失われることとなり、聴感上の違和感を生じることとなる。
【００２２】
そのため、本実施形態では、音程変更後の生音データに対し、音程変更前のフォルマント特性を維持するためのフィルタ処理を施すことで、音程変更後においても違和感のない再生音とすることを特徴としている。図１は、本発明の実施形態に係る音程変更前のスペクトル特性であって、フォルマント特性を維持するためのフィルタ特性を生成する様子を示した図である。本実施形態では、分かり易くするため、人声と楽器音の２つの音色で構
成された生音データについて検討してみる。
【００２３】
図１（ａ）は、音程変更前の生音データには、人声のスペクトルとバイオリンのスペクトルが混在した状態となっている。本実施形態は、この人声とバイオリンのスペクトルが混在したスペクトルの包絡を、フォルマント特性を維持するためのフィルタ特性としている。フォルマント特性を維持するためのフィルタ特性としては、このようにスペクトルの包絡をとることだけに限らず、各種周知の形態を採用することができる。図１（ｂ）は、フィルタ特性取得の様子を示した図であり、人声のみならずバイオリンのスペクトルも含む形で包絡がフィルタ特性として取得されている様子が見てとれる。
【００２４】
図２は、本発明の実施形態に係る音程変更後のスペクトル特性を示す図である。図２（ｃ）は、図１で説明した生音データに対して音程変更を行ったスペクトル特性を示した図である。この例では、生音データの周波数を約１．５倍にしたものとなっており、各スペクトルの値は、それぞれ線形的に１．５倍となっていることがみてとれる。図２（ｃ）のままでは、固定フォルマント特性を有する人声が聴感上、不自然なものとなってしまう。そのため、本実施形態では図１（ｂ）にて抽出したフィルタ特性を適用することで、固定フォルマント特性を有する音色を自然なものとしている。
【００２５】
図２（ｄ）は、フィルタ特性を適用した音程変更後のスペクトル特性が示されている。このように、固定フォルマントの音色を考慮したフィルタ特性を適用することで、当該音色に対しては自然な可聴音とすることが可能となる。一方、バイオリンのスペクトル特性に着目してみると、このフィルタ特性を利用したことで、バイオリンのスペクトルが大きく削られていることがみてとれる。このように生音データは、複数の音色を分離不可能に含んだデータであるが故、一方の音色に便宜を図ると、他方の音色に不都合が生じてしまう。本実施形態では、フォルマント特性を維持するためのフィルタ特性にて固定フォルマントの音色を自然なものとしつつ、当該フィルタ特性を適用することで不足する音色に対しては、ＭＩＤＩデータのような楽曲データにて補うことを基本としている。
【００２６】
図２（ｅ）は、フィルタ特性を適用した音程変更後の生音データに対し、ＭＩＤＩ音源にて再生したバイオリンの音色にて補った場合のスペクトル特性が示されている。ＭＩＤＩ音源によるバイオリン音色のスペクトルは、生音に含まれるバイオリンのスペクトルとは別の個体であるので、図中Ａで示される本来の生音にはないスペクトルが生じる場合もある。このように、本実施形態では、音程変更後の生音データに対し、フィルタ特性を適用することで、固定フォルマント的な音色を自然なものとしつつ、当該フィルタ特性を適用したことで消失、あるいは、不足する音色を楽曲データの再生音で補い、全体として違和感のない再生音を生成することが可能となる。
【００２７】
図３は、本発明の実施形態に係るコマンダ（カラオケ装置）３００、及び、その周辺の構成を示すブロック図である。
【００２８】
コマンダ３００は、ＣＰＵ３０２、ＲＯＭ３０５、ＲＡＭ３０６等で構成された制御部を中心として、カラオケデータ等、各種情報を記憶する記憶部としてのハードディスク３０４、外部通信網と通信を行う通信部３０１、各種入力を行うための入力部３０７、映像表示装置としてのディスプレイ装置４０４に映像信号を出力する表示制御部３０３、ＭＩＤＩデータのような発音情報に基づいて再生を行うＭＩＤＩ音源３０８（楽曲再生部）、ＤＡコンバータなどを用いてＰＣＭ音声、ＭＰＥＧ音声のような生音データを再生する生音再生部３０９、ＭＩＤＩ音源３０８の再生音と、生音再生部３０９の再生音をミキシングするミキシング部３１０を含んで構成されている。
【００２９】
また、コマンダ３００の外部構成としては、表示制御部３０３からの映像信号を表示す
るためのディスプレイ装置４０４、歌唱のためのマイクロホン４０３、４０３'、コマン
ダ３００から出力された再生信号とマイクロホン４０３、４０３'からの音声をミキシン
グしてスピーカー４０２に出力するミキシングアンプ４０１が設けられている。
ＣＰＵ３０２を含んで構成された制御部は、コマンダ３００におけるシステム全体の制御を行う。ハードディスク３０４には、カラオケデータの他、背景映像表示のための映像情報、各種プログラムなどが記憶されている。
【００３０】
通信部３０１は、周知の有線ＬＡＮなどが用いられ、店舗内のネットワークや、インターネットなど各種通信網に接続された各種機器との間で情報の授受を行うことが可能である。この通信部３０１にて、例えば、ホスト装置から受信したカラオケデータをハードディスク３０４に格納する配信機能や、コマンダ３００の利用履歴（ログ情報）などをホスト装置に送信する履歴送信機能を実現することが可能となる。また、通信部３０１を介してコマンダ３００の遠隔制御を行うこととしてもよい。例えば、無線ＬＡＮを利用したリモコン装置を利用し、無線ルータを介してこの通信部３０１と接続することで、従来の赤外線を利用したリモコン装置と比較し、遮蔽物を気にすることのない制御が可能になるとともに、通信部の集約を図ることが可能となる。
【００３１】
入力部３０７は、フロントパネルなどに設けられた各種スイッチ群、あるいは、図示しないリモコン装置からの制御信号を受信するための受信部であり、予約選曲、音程コントロールなど各種機能を設定可能としている。
【００３２】
表示制御部３０３は、制御部と連携し、ハードディスク３０４に記憶されているカラオケデータ中の歌詞情報に基づいて歌詞映像を作成する。そして、映像情報に基づいて背景映像を作成し、背景映像に歌詞映像を重畳した出力映像信号をディスプレイ装置４０４に出力する表示制御を行う。その他、表示制御部３０３は、各種コンテンツ、広告情報などをディスプレイ４０４にて表示するための表示制御を行うこととしてもよい。
【００３３】
ＭＩＤＩ音源部３０８は、ＭＩＤＩなど、各種規格に基づく発音情報に基づいて音声信号を形成する再生手段として機能する。周知の電子楽器と同様、音程変更が指示された場合には、音階の指定をシフトさせることで音質を損なうことなく音程変更することが可能である。
生音再生部３０９は、ＰＣＭ、ＭＰＥＧ音声などの生音データを再生可能な再生手段である。また、音程変更が指示された場合には、各種周知の手法に基づいて生音データの音程を変更して再生を行う。
【００３４】
ミキシングアンプ４０１は、コマンダ３００から出力される再生信号と、マイクロホン４０３から入力される歌唱者の歌唱音声信号を適宜なバランスで混合・増幅する。混合された信号は、スピーカー４０２から放音される。
【００３５】
本実施形態では、このようなコマンダ３００（カラオケ装置）を利用し、カラオケデータを再生して歌唱を楽しむことが可能となっている。特に、本実施形態では、生音再生部３０９を備えたことで、実際の演奏、歌唱を録音した生音を再生することが可能となっており、高音質な再生音を楽しむことができる。
【００３６】
図４は、各種カラオケデータのデータ構成を模式的に示した図である。図４（ａ）は、楽音データが楽曲データ（ＭＩＤＩデータ）のみで構成された、従来のカラオケデータのデータ構成を、図４（ｂ）は、本発明の実施形態で使用する、楽音データに生音データと楽曲データ（ＭＩＤＩデータ）とを含むカラオケデータのデータ構成を示した図である。
【００３７】
図４（ａ）に示されるカラオケデータは、従来、ＭＩＤＩ音源３０８のみで音声信号を
再生するカラオケデータのデータ構成を示したものであって、楽曲の名称を表示、あるいは、楽曲の検索に用いるためのタイトルデータ、歌唱のガイドとして歌詞を表示するためのテロップデータ、ディスプレイ装置に背景画像を表示するための背景画情報、音声信号を発声するための楽音データを含んで構成されている。特に、楽音データは、各種設定を記録可能とするヘッダと、複数の音色トラックからなるＭＩＤＩデータ（楽曲データ）にて構成されている。ＭＩＤＩデータは、複数の発音情報（音符に相当）の並びにて構成され、この発音情報をシーケンスして発音することで音声信号の再生を行うことが可能となっている。
【００３８】
図３で説明したコマンダ３００（カラオケ装置）において、入力部３０７などを介して選曲が実行されると、選曲された曲に対応するカラオケデータがハードディスク３０４などから読み出される。読み出されたカラオケデータ（この場合図４（ａ）に示すもの）のうち、楽曲データは、ＭＩＤＩ音源３０８に供給されて再生される。また、背景画指定情報に基づいて、ハードディスク３０４などに記憶されている背景映像データが読み出され、表示制御部３０３に供給される。そして、テロップデータは、表示制御部３０３に供給され、ディスプレイ装置４０４に背景映像に重畳された状態で歌詞が表示される。歌詞の表示は楽曲データに同期して表示されることとなり、歌唱者はディスプレイ装置４０４に表示された歌詞を見ながら歌唱を楽しむことができる。
【００３９】
以上、従来のＭＩＤＩデータにて構成されたカラオケデータについて説明したが、次に、本発明の実施形態にて使用するカラオケデータ、並びに、その再生について説明する。図４（ｂ）は、図４（ａ）と同様、ＭＩＤＩデータも含んで構成されているが、このＭＩＤＩデータは、音程変更の際に用いられる補助的データである。タイトルデータなど楽音データ以外のデータ、並びに、その再生は、略図４（ａ）のものと同様である。
【００４０】
まず、音程変更が指定されない場合の再生について説明する。音程変更がない場合には生音データを音程変更することなく生音再生部３０９にて再生を行う。生音データには、基本的に全てのパートの演奏が含まれているため、この生音データのみを再生することで演奏が成立する。なお、ドラムパートのような無音程楽器の音色については、ＭＩＤＩデータ、あるいは、別トラックの生音データで再生することとしてもよい。音程変更を行う場合、無音程楽器の音色については、音程変更しない制御が可能となり、音程変更時における無音程楽器の発音を自然なものとすることが可能となる。
【００４１】
このように、音程変更が指定されない場合には、基本的に生音データのみを再生することで、生音データの高品質な再生音を楽しむことが可能となる。テロップデータ、背景画指定データについては、図４（ａ）と同様、音声信号の再生に伴って表示される。
【００４２】
次に、この図４（ｂ）に示すカラオケデータを用いて音程変更を行う場合について説明する。音程変更が指示されると、当該指示された音程にて生音データの再生を実行する。音程の変更については、各種周知の方法にて実行可能である。このとき、無音程楽器の音色を別トラックで再生する場合は、当該トラックを音程変換することなしに合わせて再生する。
【００４３】
本実施形態では、生音データを音程変換して再生する際、固定フォルマント特性を有する音色を自然なものとするため、音程変更前の生音データを解析し、フォルマント特性を維持するためのフィルタ特性を付与することとしている。さらに、フィルタ特性を付与することで不足する音色をＭＩＤＩ音源３０８にてＭＩＤＩデータを再生することで補うこととしている。図４（ｂ）に記載する楽音データに含まれるＭＩＤＩデータは、この不足する音色を補うために設けられたデータである。
【００４４】
このようなカラオケデータの再生時において、音程変更が指定されると、生音データの音程を変更して再生するとともに、再生された生音データに対してフィルタ特性が付与される。一方、フィルタ特性と、音程変更後の楽曲データとに基づいて、楽曲データのうち聴感上、不足している発音情報の決定を行い、当該発音情報をＭＩＤＩ音源３０８に再生させる。ここで、不足している発音情報は、その発音の有無を決定するだけでもよいし、発音の有無のみならず、どの程度の音量で発音させるかを決定することとしてもよい。発音の音量を制御することで、聴感上より自然な再生音とすることが可能となる。
【００４５】
図５は、この図４（ｂ）のカラオケデータを使用し、音程変更を行った場合の楽曲再生に至るまでの信号処理の経路を示す経路図である。まず、シーケンス部１０１では、選曲指定された楽曲に対応するカラオケデータが読み出される。生音解析１０２では、読み出されたカラオケデータのうち、生音データに基づく再生音に基づいて解析を行う。ここでは、固定フォルマント特性を検出するための解析が行われ、続く、フィルタ生成１０３では、解析結果に基づいてフィルタ情報（フィルタ特性）が生成される。
【００４６】
また、音程変更１０４では、再生された生音データに対して音程変更が実行される。フィルタ適用１０５では、フィルタ生成１０３にて生成したフィルタ情報を、音程変更後の生音データの再生音に対して適用し、固定フォルマント特性が維持された再生音が出力される。本実施形態では、生音解析１０２以降、再生されて音声信号となった生音データに基づいて処理を実行しているが、再生前の生音データについて処理を行い、音程変更され、フィルタが適用された生音データを最終的に再生することとしてもよい。
【００４７】
一方、シーケンス部１０１にて読み出されたカラオケデータに含まれる楽曲データは、発音情報決定１０６において、フィルタ情報と比較され、不足する発音情報の決定処理が実行される。具体的には、楽曲データに含まれる発音情報とフィルタ特性を、当該発音情報の周波数成分を考慮に入れて比較することで、生音データ中、どの音色がフィルタ特性を適用したことで削られるかを判定することができる。決定された発音情報は、楽曲再生１０７においてＭＩＤＩ音源３０８を用いることで、不足する生音データの音色も含んだＭＩＤＩデータが楽曲再生され、フィルタ適用によって生音データが含まれたカラオケデータが楽曲再生されたときに不足する音色を補うこととなる。なお、発音情報１０６における発音情報の決定は、その有無のみならず、どの程度の音量で発音するかを含めて決定することとしてもよい。
【００４８】
フィルタ適用１０５にて再生された生音データに基づく音声信号と、楽曲再生１０７にて再生された楽曲データ中の発音情報は、ミキシング部３１０にてミキシングされ、コマンダ３００の再生音として出力されることで、音程変更時でも自然な再生音とすることが可能となる。なお、音程変更された生音データの再生、楽曲データ中、発音することが決定された発音情報の再生については、リアルタイムに同期して行う必要があるが、生音解析１０２、フィルタ生成１０３、音程変更１０４、発音情報決定１０６については、必ずしも音声信号の再生中に行う必要はなく、再生前に事前に行うこととしてもよい。
【００４９】
図６は、発音情報の決定処理を示すフロー図であって、図５で説明した１０６の処理に相当する処理である。処理が開始（Ｓ１０１）され、フィルタ情報が取得される（Ｓ１０２）と、楽曲進行上、そのフィルタ情報に対応する発音情報が取得される（Ｓ１０３）。Ｓ１０４では、取得された発音情報から音程変更、並びに、発音音色の周波数特性を考慮し、発音周波数が算出される。Ｓ１０５では、算出された発音周波数とフィルタ情報を比較し、フィルタ情報を適用した結果、生音データの再生上不足する発音情報を決定する。
【００５０】
本実施形態では、どの程度の音量で発音するかについても決定している。Ｓ１０６では、発音量が０でなければ、Ｓ１０７に進み当該発音情報を決定された音量にて、ＭＩＤＩ
音源３０８に再生させる。一方、発音量が０、すなわち、当該発音情報については発音の必要が無いと決定された場合には、発音させることなく処理を終了する。このような処理を楽曲データ中の発音情報毎に行うことで、不足する音色を判定し、生音データの再生に対してＭＩＤＩ音源３０８による再生で補うことが可能となる。
【００５１】
図７は、他の実施形態に係るカラオケデータの楽音データ構成を示す模式図である。本実施形態では、図５にて説明した生音解析１０２、フィルタ生成１０３、発音情報決定１０６をコマンダ３００にて実行することなく、予め楽音データ内に必要なデータを記録しておく方式を採用している。本実施形態によればコマンダ３００に対する処理負担を抑えることができるとともに、人が実際に聴取してデータを作成することもできるため、より聴感上、自然な再生音とすることが可能となる。
【００５２】
本実施形態において、楽音データ内には、生音データ、ＭＩＤＩデータに加え、フィルタ特性が含まれている。生音データの音程変更時には、このフィルタ特性を適用するだけで、固定フォルマント特性を維持した生音の再生を実行することができる。ヘッダには、音程変更後において、ＭＩＤＩデータのどの部分を再生するかが各パート毎に記述されている。図では、この様子を模式的に示しており、変更後の音程毎に各パート毎にＭＩＤＩデータ中どの部分（発音情報）を再生するべきかが斜線で示されている。
【００５３】
音程変更が指定された場合には、このヘッダに記述される再生箇所を参照して、該当する部分のＭＩＤＩデータを音程変更してＭＩＤＩ音源３０８に再生させることで、音程変更後、そして、フィルタ特性適用後の生音データで不足する音色を補うことが可能となる。なお、再生箇所のみならず、再生すべき箇所（発音情報）について、どの程度の音量で発音するかを含めてもよい。本実施形態では、音程毎にＭＩＤＩデータの再生箇所を記述することとしたが、この形態に限らず、音程毎にＭＩＤＩデータ自身を記憶することとしてもよい。ＭＩＤＩデータは生音データなどと比較して極めて小さいデータであるため、音程毎のＭＩＤＩデータを含めたとしても、カラオケデータのデータ量が飛躍的に大きくなる心配はない。
【００５４】
以上、本実施形態では、フィルタ特性の生成や、楽曲データ中、発音すべき発音情報の決定を行う必要がないため、コマンダ３００（カラオケ装置）の処理負担を削減することが可能となる。また、フィルタ特性、発音すべき発音情報の決定、そして、その音量の決定についても、事前に人が聴取して作成、あるいは、調整することができるため、再生音をより自然な者とすることが可能となる。
【００５５】
なお、本発明はこれらの実施形態のみに限られるものではなく、それぞれの実施形態の構成を適宜組み合わせて構成した実施形態も本発明の範疇となるものである。
【符号の説明】
【００５６】
３００…コマンダ（カラオケ装置）、３０１…通信部、３０２…ＣＰＵ、３０３…表示制御部、３０４…ハードディスク、３０５…ＲＯＭ、３０６…ＲＡＭ、３０７…入力部、３０８…ＭＩＤＩ音源、３０９…生音再生部、３１０…ミキシング部、４０１…ミキシングアンプ、４０２…スピーカー、４０３…マイクロホン
【技術分野】
【０００１】
本発明は、各種音源による伴奏を実行するとともにマイクロホンを介して歌唱を行うカラオケ装置に関するものであり、特に、圧縮音声信号などの生音を音源に用いるとともに、音程変更を可能とするカラオケ装置に関する。
【背景技術】
【０００２】
従来、カラオケ装置において楽曲演奏を行う際には、電子楽器に用いられるＭＩＤＩ音源が利用されることが多かった。容量の小さいＭＩＤＩ規格のデータ（楽曲データ）を用いることで、通信回線を通じて大量の楽曲データを容易に配信することで、最新の楽曲データをカラオケ装置に供給することが可能となっている。近年、光ファイバーなどを利用した通信網が整備され、通信容量が大きくなるに伴い、楽曲データのみならず、１楽曲あたりの容量が大きい生音データを配信することも可能となっている。この生音データは、ＡＤＰＣＭ、ＭＰＥＧオーディオなど、アーティストの演奏をそのまま録音し、圧縮したデータであって、従来の楽曲データでは再現できない肉声を表現することが可能である。
【０００３】
特許文献１には、このようなカラオケ装置として、実際に演奏されて録音されたカラオケ伴奏音楽をディジタル圧縮符号化したカラオケＡＶデータを含んだ再生音楽タイプのコンテンツ、シンセサイザーを制御してカラオケ伴奏音楽の合成音を生成するＭＩＤＩデータを含んだ合成音楽タイプのコンテンツを、ボリューム管理情報にしたがって一元的に取り扱うことのできるものが開示されている。
【０００４】
このように特許文献１に開示されるカラオケ装置によれば、高品質な再生音楽タイプと、短時間かつ低コストで製作できる合成音楽タイプを１つのカラオケ装置において一元的に取り扱うことができ、システム構成を簡単にすることが可能となっている。
【先行技術文献】
【特許文献】
【０００５】
【特許文献１】特許第３１９４８８４号
【特許文献２】特許第２９６７６６１号
【特許文献３】特許第３４０４７５６号
【発明の概要】
【発明が解決しようとする課題】
【０００６】
ところで、カラオケ装置においては、歌唱者の歌唱を容易にするため音程変更（キーチェンジ）機能が設けられている。ＭＩＤＩ音源を用いた従来のカラオケ装置においては、各音色毎に音程変更を行うことが可能である。
また、ＭＩＤＩ音源の各種音色は、人声のように声道特性が支配的であって、音程を変更した場合に一定のスペクトル形状を有する、すなわち、固定フォルマント特性を有する音色と、音程の変更に伴ってそのスペクトル形状が伸縮される、すなわち、移動フォルマント特性を有する音色がある。
【０００７】
特に固定フォルマント特性を有する音色を自然なものとするため、特許文献２には、音高情報に応じたパラメータをフィルタリング手段に与えることで、移動フォルマント特性を有する楽音信号を固定フォルマント特性に変換する楽音合成装置が開示されている。また、特許文献３には、波形データ読み出しタイミングに配慮することで、不連続点のない波形による固定フォルマント音を合成可能とする楽音合成装置について開示されている。
【０００８】
ところで、生音データを使用するカラオケ装置においても、音程変更機能は必須の機能である。しかしながら、実際の演奏を録音した生音データには、ギター、ピアノなどの楽器音の他、バックコーラスなどの人声が混在した音となっている。通常の楽器音であれば、スペクトル形状が線形に伸張されるピッチシフトを行うことで、自然な音程変更が実現できるが、人声など固定フォルマント特性を有する音については、単純にピッチシフトを行うだけでは可聴上、不自然な音に聞こえてしまう。
【０００９】
特許文献２、特許文献３には、固定フォルマント特性を有する音色に対して音程を変更する技術について開示はされているものの、これらの技術は楽音合成装置、すなわち、ＭＩＤＩ音源のような音色毎に制御可能な場合に適用できるものであって、固定フォルマント特性の音と移動フォルマント特性の音が分離不可能な状態で混在する生音データに対して適用できるものではない。
【００１０】
本発明は、各種楽器音に加え、固定フォルマント特性を有する人声を含む生音データの再生を行うカラオケ装置において、自然な音程変更を実現することを課題とするものである。
【課題を解決するための手段】
【００１１】
上記課題を解決するため、本発明のカラオケ装置は、生音データと、前記生音データに同期するとともに発音情報を含んで構成された楽曲データを含むカラオケデータの再生を行うカラオケ装置であって、前記生音データに基づいて再生を実行する生音再生部と、発音情報に基づいて再生を実行する楽曲再生部と、音程を入力する入力部と、前記生音データを解析し、フォルマント特性を維持するためのフィルタ特性を生成するフィルタ生成処理と、前記フィルタ生成処理で生成したフィルタ特性と、前記入力部で入力された音程と、前記楽曲データに基づいて、前記楽曲データのうち再生すべき発音情報を決定する決定処理と、前記入力部で入力された音程に基づいて、前記生音データの音程を変更して前記生音再生部に再生させるとともに、前記フィルタ生成処理で生成した前記フィルタ特性を適用する生音再生処理と、前記入力部で入力された音程に基づいて、前記決定処理にて決定した発音情報を前記楽曲再生部に再生させる楽曲再生処理と、を実行する制御部と、を備えたことを特徴としている。
【００１２】
さらに、本発明のカラオケ装置において、前記決定処理は、前記フィルタ生成処理で生成したフィルタ特性と、前記入力部で入力された音程と、前記楽曲データに基づいて、再生すべき発音情報の音量を決定し、前記楽曲再生処理は、決定した音量で発音情報を再生させることを特徴としている。
【００１３】
さらに、本発明のカラオケ装置において、前記フィルタ生成処理と、前記決定処理のうち、少なくとも前記フィルタ生成処理は、楽曲データの再生開始前に実行されることを特徴とすることとしている。
【００１４】
また、本発明のカラオケ装置は、生音データと、前記生音データに適用するフィルタ特性と、前記生音データに同期するとともに音程毎に再生すべき発音情報が対応付けられた楽曲データと、を含むカラオケデータの再生を行うカラオケ装置であって、前記生音データに基づいて再生を実行する生音再生部と、発音情報に基づいて再生を実行する楽曲再生部と、音程を入力する入力部と、前記入力部で入力された音程に基づいて、前記生音データの音程を変更して前記生音再生部に再生させるとともに、前記カラオケデータに含まれるフィルタ特性を適用する生音再生処理と、前記入力部で入力された音程に基づいて、再生すべき発音情報を前記楽曲再生部に再生させる楽曲再生処理と、を実行する制御部と、を備えたことを特徴としている。
【発明の効果】
【００１５】
本発明によれば、生音データを再生するカラオケ装置において音程変更機能を動作させた際、フィルタ特性を付与することで、生音データ内の固定フォルマント特性を有する人声などを違和感なく音程変化させることが可能となる。さらに、フィルタ特性を付与したことで抑制された楽器音について、ＭＩＤＩ情報のような発音情報で構成された楽曲データを用いて補うことで、自然な音程変更を行うことが可能となる。
【００１６】
フィルタ特性は、カラオケデータの再生中に解析・生成してもよいが、再生前に予め行っておくことで、処理能力の低いカラオケ装置においても自然な音程変更を行うことが可能となる。さらに、楽曲データのうち再生すべき発音情報を決定する決定処理についても再生前の適宜タイミングで予め行うことでカラオケ装置の処理負担を抑えることが可能となる。
【００１７】
また、楽曲データのうち再生すべき発音情報について、再生すべき発音情報の音量を決定することで、不足する音色をより正確に補うことが可能となり、さらに自然な音程変更を行うことが可能となる。
【００１８】
さらに、カラオケデータ内に予め生音データに対して適用するフィルタ特性と、音程毎に再生すべき発音情報が対応付けられた楽曲データを用意しておくことで、カラオケ装置における処理量を削減し、処理能力の低いカラオケ装置においても生音データ再生時における音程変更を自然なものとすることが可能となる。
【図面の簡単な説明】
【００１９】
【図１】本発明の実施形態に係る音程変更前のスペクトル特性を示す図。
【図２】本発明の実施形態に係る音程変更後のスペクトル特性を示す図。
【図３】本発明の実施形態に係るカラオケ装置のブロック図。
【図４】本発明の実施形態に係るカラオケデータのデータ構成を示す図。
【図５】本発明の実施形態に係るカラオケ装置の信号処理経路を示す経路図。
【図６】本発明の実施形態に係る発音情報決定処理を示すフロー図。
【図７】本発明の他の実施形態に係るカラオケデータのデータ構成を示す図。
【発明を実施するための形態】
【００２０】
図１、図２を用いて、本発明の原理について説明を行う。本実施形態では、例えば、人声と楽器音が混合された生音データにおいて音程変更を行うことを前提としている。生音データの種類としては、実際の歌唱、演奏を録音したＰＣＭデータ、ＭＰＥＧオーディオデータなどが用いられる。このような生音データは、ＭＩＤＩデータに基づく電子楽器音と比較して高音質な再生音を確保することが可能である。
【００２１】
カラオケ装置では、歌唱者の発声音域に合わせて音程変更を行う機能が備えられている。楽曲の再生音の音程を自分の発声音域に合わせることで歌唱を容易にすることが可能である。ＭＩＤＩデータのような楽曲データを利用した場合には、音質を劣化することなく音程変更を行うことが可能である。しかしながら、生音データの音程変更を行った場合、特に、固定フォルマント特性を有する人声などの音色は、単純に音程変更しただけでは、その音色らしさが失われることとなり、聴感上の違和感を生じることとなる。
【００２２】
そのため、本実施形態では、音程変更後の生音データに対し、音程変更前のフォルマント特性を維持するためのフィルタ処理を施すことで、音程変更後においても違和感のない再生音とすることを特徴としている。図１は、本発明の実施形態に係る音程変更前のスペクトル特性であって、フォルマント特性を維持するためのフィルタ特性を生成する様子を示した図である。本実施形態では、分かり易くするため、人声と楽器音の２つの音色で構
成された生音データについて検討してみる。
【００２３】
図１（ａ）は、音程変更前の生音データには、人声のスペクトルとバイオリンのスペクトルが混在した状態となっている。本実施形態は、この人声とバイオリンのスペクトルが混在したスペクトルの包絡を、フォルマント特性を維持するためのフィルタ特性としている。フォルマント特性を維持するためのフィルタ特性としては、このようにスペクトルの包絡をとることだけに限らず、各種周知の形態を採用することができる。図１（ｂ）は、フィルタ特性取得の様子を示した図であり、人声のみならずバイオリンのスペクトルも含む形で包絡がフィルタ特性として取得されている様子が見てとれる。
【００２４】
図２は、本発明の実施形態に係る音程変更後のスペクトル特性を示す図である。図２（ｃ）は、図１で説明した生音データに対して音程変更を行ったスペクトル特性を示した図である。この例では、生音データの周波数を約１．５倍にしたものとなっており、各スペクトルの値は、それぞれ線形的に１．５倍となっていることがみてとれる。図２（ｃ）のままでは、固定フォルマント特性を有する人声が聴感上、不自然なものとなってしまう。そのため、本実施形態では図１（ｂ）にて抽出したフィルタ特性を適用することで、固定フォルマント特性を有する音色を自然なものとしている。
【００２５】
図２（ｄ）は、フィルタ特性を適用した音程変更後のスペクトル特性が示されている。このように、固定フォルマントの音色を考慮したフィルタ特性を適用することで、当該音色に対しては自然な可聴音とすることが可能となる。一方、バイオリンのスペクトル特性に着目してみると、このフィルタ特性を利用したことで、バイオリンのスペクトルが大きく削られていることがみてとれる。このように生音データは、複数の音色を分離不可能に含んだデータであるが故、一方の音色に便宜を図ると、他方の音色に不都合が生じてしまう。本実施形態では、フォルマント特性を維持するためのフィルタ特性にて固定フォルマントの音色を自然なものとしつつ、当該フィルタ特性を適用することで不足する音色に対しては、ＭＩＤＩデータのような楽曲データにて補うことを基本としている。
【００２６】
図２（ｅ）は、フィルタ特性を適用した音程変更後の生音データに対し、ＭＩＤＩ音源にて再生したバイオリンの音色にて補った場合のスペクトル特性が示されている。ＭＩＤＩ音源によるバイオリン音色のスペクトルは、生音に含まれるバイオリンのスペクトルとは別の個体であるので、図中Ａで示される本来の生音にはないスペクトルが生じる場合もある。このように、本実施形態では、音程変更後の生音データに対し、フィルタ特性を適用することで、固定フォルマント的な音色を自然なものとしつつ、当該フィルタ特性を適用したことで消失、あるいは、不足する音色を楽曲データの再生音で補い、全体として違和感のない再生音を生成することが可能となる。
【００２７】
図３は、本発明の実施形態に係るコマンダ（カラオケ装置）３００、及び、その周辺の構成を示すブロック図である。
【００２８】
コマンダ３００は、ＣＰＵ３０２、ＲＯＭ３０５、ＲＡＭ３０６等で構成された制御部を中心として、カラオケデータ等、各種情報を記憶する記憶部としてのハードディスク３０４、外部通信網と通信を行う通信部３０１、各種入力を行うための入力部３０７、映像表示装置としてのディスプレイ装置４０４に映像信号を出力する表示制御部３０３、ＭＩＤＩデータのような発音情報に基づいて再生を行うＭＩＤＩ音源３０８（楽曲再生部）、ＤＡコンバータなどを用いてＰＣＭ音声、ＭＰＥＧ音声のような生音データを再生する生音再生部３０９、ＭＩＤＩ音源３０８の再生音と、生音再生部３０９の再生音をミキシングするミキシング部３１０を含んで構成されている。
【００２９】
また、コマンダ３００の外部構成としては、表示制御部３０３からの映像信号を表示す
るためのディスプレイ装置４０４、歌唱のためのマイクロホン４０３、４０３'、コマン
ダ３００から出力された再生信号とマイクロホン４０３、４０３'からの音声をミキシン
グしてスピーカー４０２に出力するミキシングアンプ４０１が設けられている。
ＣＰＵ３０２を含んで構成された制御部は、コマンダ３００におけるシステム全体の制御を行う。ハードディスク３０４には、カラオケデータの他、背景映像表示のための映像情報、各種プログラムなどが記憶されている。
【００３０】
通信部３０１は、周知の有線ＬＡＮなどが用いられ、店舗内のネットワークや、インターネットなど各種通信網に接続された各種機器との間で情報の授受を行うことが可能である。この通信部３０１にて、例えば、ホスト装置から受信したカラオケデータをハードディスク３０４に格納する配信機能や、コマンダ３００の利用履歴（ログ情報）などをホスト装置に送信する履歴送信機能を実現することが可能となる。また、通信部３０１を介してコマンダ３００の遠隔制御を行うこととしてもよい。例えば、無線ＬＡＮを利用したリモコン装置を利用し、無線ルータを介してこの通信部３０１と接続することで、従来の赤外線を利用したリモコン装置と比較し、遮蔽物を気にすることのない制御が可能になるとともに、通信部の集約を図ることが可能となる。
【００３１】
入力部３０７は、フロントパネルなどに設けられた各種スイッチ群、あるいは、図示しないリモコン装置からの制御信号を受信するための受信部であり、予約選曲、音程コントロールなど各種機能を設定可能としている。
【００３２】
表示制御部３０３は、制御部と連携し、ハードディスク３０４に記憶されているカラオケデータ中の歌詞情報に基づいて歌詞映像を作成する。そして、映像情報に基づいて背景映像を作成し、背景映像に歌詞映像を重畳した出力映像信号をディスプレイ装置４０４に出力する表示制御を行う。その他、表示制御部３０３は、各種コンテンツ、広告情報などをディスプレイ４０４にて表示するための表示制御を行うこととしてもよい。
【００３３】
ＭＩＤＩ音源部３０８は、ＭＩＤＩなど、各種規格に基づく発音情報に基づいて音声信号を形成する再生手段として機能する。周知の電子楽器と同様、音程変更が指示された場合には、音階の指定をシフトさせることで音質を損なうことなく音程変更することが可能である。
生音再生部３０９は、ＰＣＭ、ＭＰＥＧ音声などの生音データを再生可能な再生手段である。また、音程変更が指示された場合には、各種周知の手法に基づいて生音データの音程を変更して再生を行う。
【００３４】
ミキシングアンプ４０１は、コマンダ３００から出力される再生信号と、マイクロホン４０３から入力される歌唱者の歌唱音声信号を適宜なバランスで混合・増幅する。混合された信号は、スピーカー４０２から放音される。
【００３５】
本実施形態では、このようなコマンダ３００（カラオケ装置）を利用し、カラオケデータを再生して歌唱を楽しむことが可能となっている。特に、本実施形態では、生音再生部３０９を備えたことで、実際の演奏、歌唱を録音した生音を再生することが可能となっており、高音質な再生音を楽しむことができる。
【００３６】
図４は、各種カラオケデータのデータ構成を模式的に示した図である。図４（ａ）は、楽音データが楽曲データ（ＭＩＤＩデータ）のみで構成された、従来のカラオケデータのデータ構成を、図４（ｂ）は、本発明の実施形態で使用する、楽音データに生音データと楽曲データ（ＭＩＤＩデータ）とを含むカラオケデータのデータ構成を示した図である。
【００３７】
図４（ａ）に示されるカラオケデータは、従来、ＭＩＤＩ音源３０８のみで音声信号を
再生するカラオケデータのデータ構成を示したものであって、楽曲の名称を表示、あるいは、楽曲の検索に用いるためのタイトルデータ、歌唱のガイドとして歌詞を表示するためのテロップデータ、ディスプレイ装置に背景画像を表示するための背景画情報、音声信号を発声するための楽音データを含んで構成されている。特に、楽音データは、各種設定を記録可能とするヘッダと、複数の音色トラックからなるＭＩＤＩデータ（楽曲データ）にて構成されている。ＭＩＤＩデータは、複数の発音情報（音符に相当）の並びにて構成され、この発音情報をシーケンスして発音することで音声信号の再生を行うことが可能となっている。
【００３８】
図３で説明したコマンダ３００（カラオケ装置）において、入力部３０７などを介して選曲が実行されると、選曲された曲に対応するカラオケデータがハードディスク３０４などから読み出される。読み出されたカラオケデータ（この場合図４（ａ）に示すもの）のうち、楽曲データは、ＭＩＤＩ音源３０８に供給されて再生される。また、背景画指定情報に基づいて、ハードディスク３０４などに記憶されている背景映像データが読み出され、表示制御部３０３に供給される。そして、テロップデータは、表示制御部３０３に供給され、ディスプレイ装置４０４に背景映像に重畳された状態で歌詞が表示される。歌詞の表示は楽曲データに同期して表示されることとなり、歌唱者はディスプレイ装置４０４に表示された歌詞を見ながら歌唱を楽しむことができる。
【００３９】
以上、従来のＭＩＤＩデータにて構成されたカラオケデータについて説明したが、次に、本発明の実施形態にて使用するカラオケデータ、並びに、その再生について説明する。図４（ｂ）は、図４（ａ）と同様、ＭＩＤＩデータも含んで構成されているが、このＭＩＤＩデータは、音程変更の際に用いられる補助的データである。タイトルデータなど楽音データ以外のデータ、並びに、その再生は、略図４（ａ）のものと同様である。
【００４０】
まず、音程変更が指定されない場合の再生について説明する。音程変更がない場合には生音データを音程変更することなく生音再生部３０９にて再生を行う。生音データには、基本的に全てのパートの演奏が含まれているため、この生音データのみを再生することで演奏が成立する。なお、ドラムパートのような無音程楽器の音色については、ＭＩＤＩデータ、あるいは、別トラックの生音データで再生することとしてもよい。音程変更を行う場合、無音程楽器の音色については、音程変更しない制御が可能となり、音程変更時における無音程楽器の発音を自然なものとすることが可能となる。
【００４１】
このように、音程変更が指定されない場合には、基本的に生音データのみを再生することで、生音データの高品質な再生音を楽しむことが可能となる。テロップデータ、背景画指定データについては、図４（ａ）と同様、音声信号の再生に伴って表示される。
【００４２】
次に、この図４（ｂ）に示すカラオケデータを用いて音程変更を行う場合について説明する。音程変更が指示されると、当該指示された音程にて生音データの再生を実行する。音程の変更については、各種周知の方法にて実行可能である。このとき、無音程楽器の音色を別トラックで再生する場合は、当該トラックを音程変換することなしに合わせて再生する。
【００４３】
本実施形態では、生音データを音程変換して再生する際、固定フォルマント特性を有する音色を自然なものとするため、音程変更前の生音データを解析し、フォルマント特性を維持するためのフィルタ特性を付与することとしている。さらに、フィルタ特性を付与することで不足する音色をＭＩＤＩ音源３０８にてＭＩＤＩデータを再生することで補うこととしている。図４（ｂ）に記載する楽音データに含まれるＭＩＤＩデータは、この不足する音色を補うために設けられたデータである。
【００４４】
このようなカラオケデータの再生時において、音程変更が指定されると、生音データの音程を変更して再生するとともに、再生された生音データに対してフィルタ特性が付与される。一方、フィルタ特性と、音程変更後の楽曲データとに基づいて、楽曲データのうち聴感上、不足している発音情報の決定を行い、当該発音情報をＭＩＤＩ音源３０８に再生させる。ここで、不足している発音情報は、その発音の有無を決定するだけでもよいし、発音の有無のみならず、どの程度の音量で発音させるかを決定することとしてもよい。発音の音量を制御することで、聴感上より自然な再生音とすることが可能となる。
【００４５】
図５は、この図４（ｂ）のカラオケデータを使用し、音程変更を行った場合の楽曲再生に至るまでの信号処理の経路を示す経路図である。まず、シーケンス部１０１では、選曲指定された楽曲に対応するカラオケデータが読み出される。生音解析１０２では、読み出されたカラオケデータのうち、生音データに基づく再生音に基づいて解析を行う。ここでは、固定フォルマント特性を検出するための解析が行われ、続く、フィルタ生成１０３では、解析結果に基づいてフィルタ情報（フィルタ特性）が生成される。
【００４６】
また、音程変更１０４では、再生された生音データに対して音程変更が実行される。フィルタ適用１０５では、フィルタ生成１０３にて生成したフィルタ情報を、音程変更後の生音データの再生音に対して適用し、固定フォルマント特性が維持された再生音が出力される。本実施形態では、生音解析１０２以降、再生されて音声信号となった生音データに基づいて処理を実行しているが、再生前の生音データについて処理を行い、音程変更され、フィルタが適用された生音データを最終的に再生することとしてもよい。
【００４７】
一方、シーケンス部１０１にて読み出されたカラオケデータに含まれる楽曲データは、発音情報決定１０６において、フィルタ情報と比較され、不足する発音情報の決定処理が実行される。具体的には、楽曲データに含まれる発音情報とフィルタ特性を、当該発音情報の周波数成分を考慮に入れて比較することで、生音データ中、どの音色がフィルタ特性を適用したことで削られるかを判定することができる。決定された発音情報は、楽曲再生１０７においてＭＩＤＩ音源３０８を用いることで、不足する生音データの音色も含んだＭＩＤＩデータが楽曲再生され、フィルタ適用によって生音データが含まれたカラオケデータが楽曲再生されたときに不足する音色を補うこととなる。なお、発音情報１０６における発音情報の決定は、その有無のみならず、どの程度の音量で発音するかを含めて決定することとしてもよい。
【００４８】
フィルタ適用１０５にて再生された生音データに基づく音声信号と、楽曲再生１０７にて再生された楽曲データ中の発音情報は、ミキシング部３１０にてミキシングされ、コマンダ３００の再生音として出力されることで、音程変更時でも自然な再生音とすることが可能となる。なお、音程変更された生音データの再生、楽曲データ中、発音することが決定された発音情報の再生については、リアルタイムに同期して行う必要があるが、生音解析１０２、フィルタ生成１０３、音程変更１０４、発音情報決定１０６については、必ずしも音声信号の再生中に行う必要はなく、再生前に事前に行うこととしてもよい。
【００４９】
図６は、発音情報の決定処理を示すフロー図であって、図５で説明した１０６の処理に相当する処理である。処理が開始（Ｓ１０１）され、フィルタ情報が取得される（Ｓ１０２）と、楽曲進行上、そのフィルタ情報に対応する発音情報が取得される（Ｓ１０３）。Ｓ１０４では、取得された発音情報から音程変更、並びに、発音音色の周波数特性を考慮し、発音周波数が算出される。Ｓ１０５では、算出された発音周波数とフィルタ情報を比較し、フィルタ情報を適用した結果、生音データの再生上不足する発音情報を決定する。
【００５０】
本実施形態では、どの程度の音量で発音するかについても決定している。Ｓ１０６では、発音量が０でなければ、Ｓ１０７に進み当該発音情報を決定された音量にて、ＭＩＤＩ
音源３０８に再生させる。一方、発音量が０、すなわち、当該発音情報については発音の必要が無いと決定された場合には、発音させることなく処理を終了する。このような処理を楽曲データ中の発音情報毎に行うことで、不足する音色を判定し、生音データの再生に対してＭＩＤＩ音源３０８による再生で補うことが可能となる。
【００５１】
図７は、他の実施形態に係るカラオケデータの楽音データ構成を示す模式図である。本実施形態では、図５にて説明した生音解析１０２、フィルタ生成１０３、発音情報決定１０６をコマンダ３００にて実行することなく、予め楽音データ内に必要なデータを記録しておく方式を採用している。本実施形態によればコマンダ３００に対する処理負担を抑えることができるとともに、人が実際に聴取してデータを作成することもできるため、より聴感上、自然な再生音とすることが可能となる。
【００５２】
本実施形態において、楽音データ内には、生音データ、ＭＩＤＩデータに加え、フィルタ特性が含まれている。生音データの音程変更時には、このフィルタ特性を適用するだけで、固定フォルマント特性を維持した生音の再生を実行することができる。ヘッダには、音程変更後において、ＭＩＤＩデータのどの部分を再生するかが各パート毎に記述されている。図では、この様子を模式的に示しており、変更後の音程毎に各パート毎にＭＩＤＩデータ中どの部分（発音情報）を再生するべきかが斜線で示されている。
【００５３】
音程変更が指定された場合には、このヘッダに記述される再生箇所を参照して、該当する部分のＭＩＤＩデータを音程変更してＭＩＤＩ音源３０８に再生させることで、音程変更後、そして、フィルタ特性適用後の生音データで不足する音色を補うことが可能となる。なお、再生箇所のみならず、再生すべき箇所（発音情報）について、どの程度の音量で発音するかを含めてもよい。本実施形態では、音程毎にＭＩＤＩデータの再生箇所を記述することとしたが、この形態に限らず、音程毎にＭＩＤＩデータ自身を記憶することとしてもよい。ＭＩＤＩデータは生音データなどと比較して極めて小さいデータであるため、音程毎のＭＩＤＩデータを含めたとしても、カラオケデータのデータ量が飛躍的に大きくなる心配はない。
【００５４】
以上、本実施形態では、フィルタ特性の生成や、楽曲データ中、発音すべき発音情報の決定を行う必要がないため、コマンダ３００（カラオケ装置）の処理負担を削減することが可能となる。また、フィルタ特性、発音すべき発音情報の決定、そして、その音量の決定についても、事前に人が聴取して作成、あるいは、調整することができるため、再生音をより自然な者とすることが可能となる。
【００５５】
なお、本発明はこれらの実施形態のみに限られるものではなく、それぞれの実施形態の構成を適宜組み合わせて構成した実施形態も本発明の範疇となるものである。
【符号の説明】
【００５６】
３００…コマンダ（カラオケ装置）、３０１…通信部、３０２…ＣＰＵ、３０３…表示制御部、３０４…ハードディスク、３０５…ＲＯＭ、３０６…ＲＡＭ、３０７…入力部、３０８…ＭＩＤＩ音源、３０９…生音再生部、３１０…ミキシング部、４０１…ミキシングアンプ、４０２…スピーカー、４０３…マイクロホン
【特許請求の範囲】
【請求項１】
生音データと、前記生音データに同期する発音情報を含んで構成された楽曲データを含むカラオケデータの再生を行うカラオケ装置であって、
前記生音データに基づいて再生を実行する生音再生部と、
発音情報に基づいて再生を実行する楽曲再生部と、
音程を入力する入力部と、
前記生音データを解析し、フォルマント特性を維持するためのフィルタ特性を生成するフィルタ生成処理と、
前記フィルタ生成処理で生成したフィルタ特性と、前記入力部で入力された音程と、前記楽曲データに基づいて、前記楽曲データのうち再生すべき発音情報を決定する決定処理と、
前記入力部で入力された音程に基づいて、前記生音データの音程を変更して前記生音再生部に再生させるとともに、前記フィルタ生成処理で生成した前記フィルタ特性を適用する生音再生処理と、
前記入力部で入力された音程に基づいて、前記決定処理にて決定した発音情報を前記楽曲再生部に再生させる楽曲再生処理と、を実行する制御部と、を備えたことを特徴とする
カラオケ装置。
【請求項２】
前記決定処理は、前記フィルタ生成処理で生成したフィルタ特性と、前記入力部で入力された音程と、前記楽曲データに基づいて、再生すべき発音情報の音量を決定し、
前記楽曲再生処理は、決定した音量で発音情報を再生させることを特徴とする
請求項１に記載のカラオケ装置。
【請求項３】
前記フィルタ生成処理と、前記決定処理のうち、少なくとも前記フィルタ生成処理は、楽曲データの再生開始前に実行されることを特徴とする
請求項１または請求項２に記載のカラオケ装置。
【請求項４】
生音データと、前記生音データに適用するフィルタ特性と、前記生音データに同期するとともに音程毎に再生すべき発音情報が対応付けられた楽曲データと、を含むカラオケデータの再生を行うカラオケ装置であって、
前記生音データに基づいて再生を実行する生音再生部と、
発音情報に基づいて再生を実行する楽曲再生部と、
音程を入力する入力部と、
前記入力部で入力された音程に基づいて、前記生音データの音程を変更して前記生音再生部に再生させるとともに、前記カラオケデータに含まれるフィルタ特性を適用する生音再生処理と、
前記入力部で入力された音程に基づいて、再生すべき発音情報を前記楽曲再生部に再生させる楽曲再生処理と、を実行する制御部と、を備えたことを特徴とする
カラオケ装置。
【請求項１】
生音データと、前記生音データに同期する発音情報を含んで構成された楽曲データを含むカラオケデータの再生を行うカラオケ装置であって、
前記生音データに基づいて再生を実行する生音再生部と、
発音情報に基づいて再生を実行する楽曲再生部と、
音程を入力する入力部と、
前記生音データを解析し、フォルマント特性を維持するためのフィルタ特性を生成するフィルタ生成処理と、
前記フィルタ生成処理で生成したフィルタ特性と、前記入力部で入力された音程と、前記楽曲データに基づいて、前記楽曲データのうち再生すべき発音情報を決定する決定処理と、
前記入力部で入力された音程に基づいて、前記生音データの音程を変更して前記生音再生部に再生させるとともに、前記フィルタ生成処理で生成した前記フィルタ特性を適用する生音再生処理と、
前記入力部で入力された音程に基づいて、前記決定処理にて決定した発音情報を前記楽曲再生部に再生させる楽曲再生処理と、を実行する制御部と、を備えたことを特徴とする
カラオケ装置。
【請求項２】
前記決定処理は、前記フィルタ生成処理で生成したフィルタ特性と、前記入力部で入力された音程と、前記楽曲データに基づいて、再生すべき発音情報の音量を決定し、
前記楽曲再生処理は、決定した音量で発音情報を再生させることを特徴とする
請求項１に記載のカラオケ装置。
【請求項３】
前記フィルタ生成処理と、前記決定処理のうち、少なくとも前記フィルタ生成処理は、楽曲データの再生開始前に実行されることを特徴とする
請求項１または請求項２に記載のカラオケ装置。
【請求項４】
生音データと、前記生音データに適用するフィルタ特性と、前記生音データに同期するとともに音程毎に再生すべき発音情報が対応付けられた楽曲データと、を含むカラオケデータの再生を行うカラオケ装置であって、
前記生音データに基づいて再生を実行する生音再生部と、
発音情報に基づいて再生を実行する楽曲再生部と、
音程を入力する入力部と、
前記入力部で入力された音程に基づいて、前記生音データの音程を変更して前記生音再生部に再生させるとともに、前記カラオケデータに含まれるフィルタ特性を適用する生音再生処理と、
前記入力部で入力された音程に基づいて、再生すべき発音情報を前記楽曲再生部に再生させる楽曲再生処理と、を実行する制御部と、を備えたことを特徴とする
カラオケ装置。
【図１】
【図２】
【図３】
【図４】
【図５】
【図６】
【図７】
【図２】
【図３】
【図４】
【図５】
【図６】
【図７】
【公開番号】特開２０１１−２３７５９９（Ｐ２０１１−２３７５９９Ａ）
【公開日】平成２３年１１月２４日（２０１１．１１．２４）
【国際特許分類】
【出願番号】特願２０１０−１０８９３３（Ｐ２０１０−１０８９３３）
【出願日】平成２２年５月１１日（２０１０．５．１１）
【出願人】（０００００５２６７）ブラザー工業株式会社 (13,856)
【Ｆターム（参考）】
【公開日】平成２３年１１月２４日（２０１１．１１．２４）
【国際特許分類】
【出願日】平成２２年５月１１日（２０１０．５．１１）
【出願人】（０００００５２６７）ブラザー工業株式会社 (13,856)
【Ｆターム（参考）】
[ Back to top ]