楽音再生装置
【課題】新たな興趣を提供することが可能な楽音再生装置を実現する。
【解決手段】楽器パフォーマンス用として指定されたマイクに入力された音声からピッチ情報を抽出する。ピッチ情報を有するＭＩＤＩデータに対し、そのピッチ情報を上記抽出したピッチ情報と置換することにより、新たなＭＩＤＩデータを作成する。そして、通常歌唱用のマイクに入力された音声と、通常の伴奏音と、上記新たなＭＩＤＩデータに基く音響信号とをミキシングして音声出力することにより、マイクに入力された音声を楽器音の一部として利用することができる。
【解決手段】楽器パフォーマンス用として指定されたマイクに入力された音声からピッチ情報を抽出する。ピッチ情報を有するＭＩＤＩデータに対し、そのピッチ情報を上記抽出したピッチ情報と置換することにより、新たなＭＩＤＩデータを作成する。そして、通常歌唱用のマイクに入力された音声と、通常の伴奏音と、上記新たなＭＩＤＩデータに基く音響信号とをミキシングして音声出力することにより、マイクに入力された音声を楽器音の一部として利用することができる。
【発明の詳細な説明】
【技術分野】
【０００１】
本発明は、新たな興趣を提供することが可能な楽音再生装置に関する。
【背景技術】
【０００２】
従来、楽音再生装置は広く知られている。入力された音声と楽曲の曲データとを混合して音声出力するものであり、楽曲の再生に同期して歌唱者は歌うことができる。また、歌詞及び映像情報が表示手段に表示されるものが一般的である。このような楽音再生装置には、楽器を演奏しながら歌うことができるものもある。下記特許文献１においては、複数のカラオケ歌唱者のうち、楽器を演奏できる者が楽器を演奏しながらカラオケ歌唱が進行する場合にで、複数の歌唱者によるカラオケ歌唱と楽器演奏とを可能とするために、演奏する楽器に対応する種類の楽音については、指定されたＭＩＤＩデータが削除されてその音源が再生されないよう制御されている。
【特許文献１】特開平１０−１８７１７５号公報
【発明の開示】
【発明が解決しようとする課題】
【０００３】
ところで、上記のような楽音再生装置においては、複数のカラオケ歌唱者のいずれかが演奏するため楽器を、いわゆるカラオケＢＯＸ等に持ち込む必要がある。また、演奏する楽器の熟練度が問題となるため、カラオケ歌唱する誰もが気軽に利用できる機能ではない。さらに、電気的な楽器を楽音再生装置に接続するためには、上記のような楽音再生装置においては楽器接続ボードも必要となり、前記ボードを楽音再生装置に内蔵すると装置自体も、内蔵する前と比較して大きくなってしまう。
【０００４】
そこで、本発明は、上記問題点を解消し、複数のカラオケ歌唱者のいずれも楽器をカラオケＢＯＸ等に持ち込むことなく、また、楽器の熟練度に関係なく、複数のカラオケ歌唱者のいずれがが、簡単に所望の楽器の演奏をできることによって、複数の歌唱者によるカラオケ歌唱と楽器演奏とを簡単に進行させられるカラオケ装置の実現を目的とする。
【０００５】
上記目的を達成するため、請求項１に係る発明は、２つの音声入力手段（マイク）、制御手段、楽曲記憶手段、音声出力手段（スピーカ等）を備えた楽音再生装置において、上記記憶手段には、楽曲再生に用いられるピッチ情報を含むＭＩＤＩデータが記憶されており、上記制御手段が、２つの音声入力手段（マイク）のそれぞれを、第１音声入力手段（楽器パフォーマンス用のマイク）または第２音声入力手段（通常のカラオケ歌唱（以下、歌唱）用のマイク）として決定し、上記第１音声入力手段（楽器パフォーマンス用のマイク）として決定された音声入力手段に入力された音声からピッチ情報を抽出し、所定の楽器に対応するＭＩＤＩデータのピッチ情報を、上記抽出したピッチ情報を置換して新たなＭＩＤＩデータを作成し、上記第２音声入力手段（通常の歌唱用のマイク）として決定された音声入力手段に入力された音声、上記新たなＭＩＤＩデータに基く楽器音、及び、上記楽曲記憶手段に記憶されている演奏音を混合し、上記音声出力手段（スピーカ等）は、上記混合された信号を音声出力することを特徴とする。
【０００６】
請求項２に係る発明は、請求項１の楽音再生装置において、第１の音声入力手段（楽器パフォーマンス用のマイク）に入力された音声を補正し、当該補正された音声から抽出したピッチ情報に基いて所定の楽器音を生成することを特徴とする。
【０００７】
請求項３に係る発明は、請求項１または請求項２の楽音再生装置において、上記制御手段が、さらに、２つの音声入力手段に入力されたそれぞれの音声に対して、前記音声のピッチ情報とガイドメロディのピッチ情報とのパターンマッチングを行い、当該パターンマッチングの一致関係の結果に基いて、それぞれの音声入力手段が第１音声入力手段（楽器パフォーマンス用のマイク）であるのか第２音声入力手段（通常の歌唱用のマイク）であるのかを決定することを特徴とする。
【０００８】
請求項４に係る発明は、請求項１〜３のいずれかの楽音再生装置において、上記制御手段が、さらに、上記ガイドメロディが開始するタイミングで、上記それぞれの音声入力手段が第１音声入力手段（楽器パフォーマンス用のマイク）であるのか第２音声入力手段（通常の歌唱用のマイク）であるのかを決定することを特徴とする。
【０００９】
請求項５に係る発明は、請求項１〜４のいずれかの楽音再生装置において、予め設定された同時発音可能数を超える場合は、音声出力すべきトラックのうち上記生成した楽器音のパラメータに最も近いトラックの音声出力を停止することを特徴とする。
【発明の効果】
【００１０】
請求項１に係る発明によれば、楽器等を準備することなく、楽器パフォーマンスを実現することができる。
【００１１】
請求項２に係る発明によれば、楽器パフォーマンス用のマイクに入力された音声を補正した後で楽器音に変換するため、本来の音程等に近い楽器音を生成することができる。
【００１２】
請求項３に係る発明によれば、ガイドメロディとのパターンマッチングで第１音声入力手段（楽器パフォーマンス用のマイク）であるのか第２音声入力手段（通常の歌唱用のマイク）であるのかを判別することができるので、利用者が事前にマイクの設定を行う必要がない。
【００１３】
請求項４に係る発明によれば、ガイドメロディが開始するタイミングで、音声入力手段の判別を行うため、間奏の前後で第１音声入力手段（楽器パフォーマンス用のマイク）と第２音声入力手段（通常の歌唱用のマイク）との切替を行うことができる。
【００１４】
請求項５に係る発明によれば、演奏途中で、同時発音可能数を超える場合に、生成した楽器音のパラメータに最も近いトラックの音声出力を停止するため、生成された楽器音の出力を止めることなく演奏を継続することができる。
【発明を実施するための最良の形態】
【００１５】
［第１実施形態］
本発明に係る楽音再生装置について、カラオケ装置に具体化した第１実施形態に基き図面を参照しつつ詳細に説明する。なお、以下の説明においては、ピッチ情報及びピッチデータという用語を用いるが、いずれの用語も同義である。
【００１６】
図１は、カラオケ装置に係る制御装置の内部構成、及び、その周辺機器を示す図である。フロントパネル１は、電源スイッチ、ディスプレイ、選択ボタンからなる。電源スイッチは、制御装置１００の電源をＯＮ／ＯＦＦするためのスイッチである。ディスプレイには、例えば選曲番号が表示される。また、必要に応じて種々の情報を表示されるよう構成してもよい。歌唱者は、選択ボタンを利用して曲番号等を入力することができる。フロントパネル１は、１チップＣＰＵ０９にて制御される。また、フロントパネル１の操作は、図示しないリモコンにより実現してもよい。また、フロントパネル１は、制御装置１００と例えばシリアル通信によって接続されている。
【００１７】
制御装置１００は、外部装置との通信可能に構成されている。具体的には、別のカラオケコマンダ２０とＬＡＮによる通信を可能とするためのＬＡＮインタフェース２を有する。またホストＰＣ２１と電話回線による通信を可能とするためのモデム３を有する。ＬＡＮインタフェース２は、メイン制御部７に接続されている。モデム３は、メイン制御部７に接続されている。なお、カラオケコマンダ２０とホストＰＣ２１との通信は、別の通信形態、通信手段で実現してもよい。
【００１８】
制御装置１００は、映像情報を記憶したＤＶＤ２４を読み取るための映像入力部４を有する。映像入力部４はメイン制御部７に接続されている。
【００１９】
制御装置１００は、マイク２２及びマイク２３を有する。なお、以下の説明においては、便宜上、マイク２２をマイク（１）ということがあり、また、マイク２３をマイク（２）ということがある。これらマイクから入力された信号は、マイクアンプ５で増幅される。マイクアンプ５はＡ／Ｄ変換器１１１に接続されている。Ａ／Ｄ変換器１１１は、アナログ入力信号をディジタル信号に変換し、後述するディジタル音声処理部１０２に入力する。なお、マイク２２及びマイク２３に増幅機能、及び／又は、Ａ／Ｄ変換機能を有するよう構成してもよい。マイク２２及びマイク２３を用いて歌唱者は歌唱を行う。
【００２０】
制御装置１００は、上述したＤＶＤ２４に記憶した音楽情報をＡ／Ｄ変換するためのＡ／Ｄ変換器６を有する。Ａ／Ｄ変換器６は、後述するディジタル音声処理部１０２に接続されている。
【００２１】
制御装置１００は、映像出力ＭＰＥＧデコーダ８を有する。映像出力ＭＰＥＧデコーダ８はメイン制御部７に接続され、ＭＰＥＧ映像信号を受信し、ＭＰＥＧ映像信号を復号してモニタ２５に出力する。なお、制御装置で扱う映像信号がＭＰＥＧ形式でない場合は、当該映像信号のフォーマットに対応したモジュールを有することになる。
【００２２】
ＨＤＤ１０及びＨＤＤ１１には、主に、映像信号及び／又は音声信号が記憶されている。これらの情報は、通信回線を通じて取得したものでもよいし、所定の記憶媒体を通じて取得したものでもよいし、出荷時に予め記憶しておいてもよい。また、映像信号、音声信号のみならず、種々の情報を記憶してもよい。また、後述するＭＩＤＩデータについてもＨＤＤ１０又はＨＤＤ１１に記憶されている。
【００２３】
音声制御部１０１は、メイン制御部７とディジタル音声処理部１０２との間のインタフェースとして機能する。
【００２４】
メイン制御部７は、制御装置１００が備える種々の要素と接続されており、制御装置１００を楽曲再生装置として実現するために種々の要素全体を制御する。
【００２５】
ボイスエフェクト部３１は、入力音声信号に対し、種々のエフェクト（例えば、エコー、リバーブ、ピッチ等）を付加することができる。
【００２６】
Ｄ／Ａ変換器１１５及びＤ／Ａ変換器１１６は、入力されたディジタル信号をアナログ信号に変換する。
【００２７】
プリアンプ１１７は、パワーアンプ１０３に接続されている。パワーアンプ１０３は、入力された信号を増幅する。
【００２８】
ディジタル音声処理部１０２の詳細について説明する。図２は、ディジタル音声処理部及びその周辺要素を示した図である。ミュート部４１及びミュート部４２は、それぞれ、マイク２２及びマイク２３に接続している。それぞれのミュート部が有効になることにより、ボイスエフェクト部３１への信号の入力を停止させることができる。
【００２９】
ピッチ検出部４３及びピッチ検出部４４は、それぞれ、マイク２２及びマイク２３に接続している。それぞれのピッチ検出部は、入力された音声信号からピッチ情報を抽出する。抽出されたピッチ情報は、ガイドメロディと比較され、比較された情報は、採点、音程補正、信号識別等に用いられる。
【００３０】
音程補正部４５は、ピッチ検出部４３、及び／又は、ピッチ検出部４４が抽出したピッチ情報を、所定の楽器のピッチ情報に補正すべく処理を行うものである。音程補正部４５は、ピッチ検出部４３及びピッチ検出部４４と接続されており、メイン制御部７によって補正対象の信号が決定される。
【００３１】
キーコン部３３は、ＤＶＤ２４からの音声信号のキーをコントロールすることができる。ミュージックエフェクト部３４は、ＭＩＤＩデータに基く音楽情報に対し、種々のエフェクトを付加することができる。
【００３２】
サウンド制御部４７は、音声出力するためのＭＩＤＩデータを、ＭＩＤＩ音源３２に出力する。ここで、音声出力するためのＭＩＤＩデータとは、楽器音に変換された入力音声信号や、ＨＤＤから読み出したＭＩＤＩデータである。なお、入力音声を楽器音に変換する過程については後述する。
【００３３】
なお、第１実施形態におけるカラオケ装置の外観は、本発明において何ら限定されるものではない。また、本発明においては、上述したカラオケ装置の内部構成として示した一部の要素を、外部に備えてよい。すなわち、例えば映像出力ＭＰＥＧデコーダやＨＤＤを外部接続される装置として実現することもできる。また、一部の構成要素の機能を、ネットワークに接続されたサーバで実現することも可能である。
【００３４】
以下の説明においては、プラス１という用語を用いることがある。ここで、プラス１とは、ボーカルとは別に、入力音声のピッチ情報を利用して新たなＭＩＤＩデータを生成し、生成したＭＩＤＩデータに基づいた楽器音信号をミキシングすることで、入力音声を、ＭＩＤＩ楽曲を構成する楽器音の一部として、音出力することを意味する。
【００３５】
以下の説明においては、楽器音に変換して歌唱することを、楽器パフォーマンスということがある。
【００３６】
本実施形態で用いる楽曲再生用のデータは、ピッチデータ、音色データ、タイミングデータ等を有するものである。代表的なものとしてＭＩＤＩデータを挙げることができるが、本発明は、ＭＩＤＩデータに限定されるものではなく、本発明を実施可能な限度においてその他のデータであってもよい。
【００３７】
次に、第１実施形態におけるカラオケ装置の処理の流れについて図を参照しつつ説明する。図３は、第１実施形態におけるカラオケ装置のメイン処理を示すフローチャートである。まず、Ｓ１において、リモコンでプラス１モードが選択されると、Ｓ２における動作モード決定処理に進む。なお、リモコンを用いることなく、フロントパネル１の操作によってプラス１モードを選択するよう構成してもよい。
【００３８】
Ｓ２の動作モード決定処理にについて図４に基き詳細を説明する。図３は、動作モード決定処理のフローチャートである。まず、Ｓ１１において、入力音声を変換する楽器を決定する。楽器の決定に関し、歌唱者に選択させることができる。
【００３９】
Ｓ１２においては、変換する楽器を楽曲の演奏から削除するか否かを判断する。この判断は、歌唱者によって入力される情報に基いてもよいし、予め設定した制御装置からの信号に基いてもよい。楽曲の演奏から削除すると判断した場合（Ｓ１２：ＹＥＳ）は、Ｓ１３に進む。一方、楽曲の演奏から削除しないと判断した場合（Ｓ１２：ＮＯ）は、Ｓ１４に進む。
【００４０】
Ｓ１３では、Ｓ１１で指定された楽器の楽曲データによる演奏を無効にすることを示すフラグを立てる。このフラグ情報は、楽曲の再生時に用いられる。
【００４１】
Ｓ１４では、楽器パフォーマンス用に入力された音声に対し音程補正を行うか否かを判断する。音程補正を行うと判断した場合（Ｓ１４：ＹＥＳ）は、Ｓ１５に進む。一方、音程補正をしないと判断した場合（Ｓ１４：ＮＯ）は、動作モード決定処理を終了する。Ｓ ５では、音程補正をすることを示すフラグを立てる（フラグを有効化する）。なお、音声補正処理については、後述する。また、このフラグ情報は、楽曲の再生時に用いられる。
【００４２】
次に、図３のＳ３のマイク指定処理について図５に基き説明する。図５は、マイク指定処理のフローチャートである。まず、Ｓ２１において、制御装置１００は、楽器変換を行うマイクに声を入力するよう歌唱者に指示するため、その旨をモニタに表示する。なお、モニタによる報知に替えて、音声等で報知するよう構成してもよい。
【００４３】
歌唱者に報知されると、Ｓ２２中に、歌唱者は音声を入力することになる。
【００４４】
Ｓ２３では、マイク（１）に音声が入力されたか否かを判断する。マイク（１）に音声が入力されたと判断した場合（Ｓ２３：ＹＥＳ）は、Ｓ２４に進む。マイク（１）に音声が入力されてない、すなわち、マイク（２）に入力されたと判断した場合（Ｓ２３：ＮＯ）は、Ｓ２６に進む。
【００４５】
Ｓ２４では、ミュート部４１を有効にする。これにより、マイク（１）に入力された音声信号のボイスエフェクト部３１への入力が遮断される。そして、Ｓ２５において、ピッチ検出部４３からのピッチ検出データを楽器変換用データに指定する。
【００４６】
Ｓ２６では、ミュート部４２を有効にする。これにより、マイク（２）に入力された音声信号のボイスエフェクト部３１への入力が遮断される。そして、Ｓ２７において、ピッチ検出部４４からのピッチ情報を楽器変換用データに指定する。
【００４７】
説明を図３に戻す。Ｓ４において、利用者によって選曲された楽曲を演奏すべく所定の記憶手段より当該楽曲の楽曲情報を再生に備え準備する。
【００４８】
Ｓ５では、楽器無効フラグが立っているか（フラグが有効化）否かを判断する。楽器無効フラグが立っている場合（Ｓ５：ＹＥＳ）、Ｓ６に進む。一方、楽器無効フラグが立っていない場合（Ｓ５：ＮＯ）は、Ｓ７に進む。Ｓ６では、演奏用データから指定した楽器の演奏を無効にするよう設定される。
【００４９】
Ｓ７では、ミキシング処理を行う。ミキシング処理の詳細について図６に基いて説明する。図６は、ミキシング処理を示すフローチャートである。Ｓ３１において、選曲した曲のデータを音源に送り、演奏を開始する。
【００５０】
Ｓ３２では、サウンド制御部４７は楽器パフォーマンス用のマイクからのピッチ情報を取得する。Ｓ３３では、音程補正フラグが有効か否かを判断する。音程補正フラグが有効である場合（Ｓ３３：ＹＥＳ）は、Ｓ３５に進む。音程補正フラグが無効である場合（Ｓ３３：ＮＯ）は、Ｓ３４に進む。
【００５１】
Ｓ３４では、指定された楽器のＭＩＤＩデータに変換する。具体的には、当該楽器のＭＩＤＩデータのうちピッチ情報に関する情報を、Ｓ３２で抽出されたピッチ情報に置換することにより新たなＭＩＤＩデータを作成する。
この処理について具体的に説明する。入力信号を分析することでピッチ周波数（例えば、３００Ｈｚ）が抽出される。そして、抽出されたピッチ周波数に対応するノート番号を算出する。なお、ノート番号については公知であるので説明を省略する。そして、上記楽器のＭＩＤＩデータが有するノート番号を、算出されたノート番号に置換することで、新たなＭＩＤＩデータを作成することができる。
【００５２】
Ｓ３５では、指定された楽器のＭＩＤＩデータにおけるピッチ情報に近づけるように、音声補正処理が実行される。この音声補正処理は、例えば、マイクから入力された音声のピッチ情報を、最も音程が近い基準音のピッチ情報（新たなピッチ情報）に設定し直すことで、前記マイクから入力された音声を、前記新たなピッチ情報に指定された楽器のＭＩＤＩデータにおけるピッチ情報に近づけるように補正するための処理であり、公知の種々の技術を適用することができる。
ここで、設定し直す、とは、入力音声のピッチ情報がドの音程に最も近ければ、前記入力音声のピッチ情報として、音程がド音である基準音のピッチ情報に設定し直される、という意味である。基準音のピッチ情報は、予め音程毎に用意されており、例えば、ド、レ、ミそれぞれに対応した基準音のピッチ情報が予め記憶手段に記憶されている。
【００５３】
Ｓ３６は、変換されたＭＩＤＩデータを、所定のポート（例えば、Ｂポート）に送信する。これにより、ＭＩＤＩ音源３２において、新たな音響信号が生成されることになる。
【００５４】
Ｓ３７では、上記新たなＭＩＤＩデータに基く音響信号が、入力音声信号及び楽曲にミキシングされて音声出力されることになり、プラス１機能を実現することができる。
【００５５】
Ｓ３８では、曲が終了したか否かについて判断する。曲が終了していない場合（Ｓ３８：ＮＯ）は、Ｓ３２に戻り、上述した処理を繰り返す。曲が終了した場合は、ミキシング処理を終了する。なお、上記ミキシング処理は、曲の再生中、繰り返し実行されるものである。
【００５６】
説明を図３に戻す。Ｓ８では、プラス１モードを終了するか否かを判断する。プラス１モードを終了すると判断した場合（Ｓ８：ＹＥＳ）は、処理を終了する。プラス１モードを終了しないと判断した場合（Ｓ８：ＮＯ）は、Ｓ２に戻り、上述した処理を繰り返す。すなわち、次のリクエスト曲についてもプラス１モードで演奏されることになる。
【００５７】
次に、上述した処理について、マイク（１）、マイク（２）、ミュート部４１、ミュート部４２、ピッチ検出部４３、及び、ピッチ検出部４４の動作の時間的変化について、図７に基いて説明する。
【００５８】
図７は、上記各要素における動作の時間的変化を示すタイミング図である。また、この図においては、マイク（１）を通常歌唱用マイクとし、マイク（２）をパフォーマンス演奏用のマイクとして指定した場合を示すものである。当該図において、演奏とは、歌唱者が歌唱を行う区間、すなわち、歌詞が表示されている区間である。また、演奏区間は、ガイドメロディが存在する区間でもある。
【００５９】
プラス１モードがＯＮとなり、パフォーマンス演奏用のマイクが決定されると、その時点で、マイク（２）に入力された音声は楽器変換可能となるよう制御される。また、マイク選択がされた時点で、ピッチ検出部４３は、採点用として用いられることになる。なお、入力音声の採点手法については、公知の技術は種々存在するため、ここではその説明を省略する。また、楽曲再生が終了するまでピッチ検出部４３は、採点用として用いられる。また、ピッチ検出部４４は、楽曲再生が終了するまで楽器変換用として用いられることになる。
【００６０】
上述した第１実施形態に係るカラオケ装置によれば、指定したマイクに入力した音声信号を、所定の楽器音に変えて音声出力することにより、楽器を持ち込むことなく、簡易な操作によって、楽器パフォーマンスを実現することができる。また、２人の歌唱者で歌唱を楽しむ場合に、１人が通常歌唱を行い、もう１人が楽器パフォーマンスを行うことができる。これにより、楽音再生装置における新たな興趣を向上させることができる。
また、楽器パフォーマンスによって楽器演奏する歌唱者も、カラオケの演奏に合うように自己の音声を前記歌唱者自身の口から出力しており、声を出して音楽を奏でるという行為は行われる。よって、楽器パフォーマンスする歌唱者も、所定の種類の楽音はＭＩＤＩデータに基づく演奏がされないようにして、かつ、自分で楽器演奏しながら声を出して、他の歌唱者によるカラオケ歌唱と楽器演奏とを簡単に進行させられるカラオケを楽しむ事ができることができるのである。
更に、従来の楽音再生装置における楽器接続ボードも内蔵不要となるので、装置自体も大きくならないという効果もある。
【００６１】
なお、上述したフローチャートは単なる一例であり、上記処理と同等の結果を得ることできる処理であれば、他のフローチャートによって処理を実現してもよい。また、上述した処理においては、マイクの数が２つの場合について説明を行ったが、マイクの数が３つ以上の場合であっても同様に本願発明を実現することができる。
【００６２】
［第２実施形態］
本発明に係る楽音再生装置について、カラオケ装置に具体化した第２実施形態に基き図面を参照しつつ詳細に説明する。上記第１実施形態においては、歌唱者がどちらのマイクを楽器パフォーマンス用に用いるかを設定していたが、本実施形態においては、制御装置１００が自動的に判断することができる。
【００６３】
第２実施形態について、図８を参照しつつ説明する。図８は、第２実施形態のメイン処理のフローチャートである。メイン処理は、第１実施形態のメイン処理とほぼ同じであるため、同一の処理については説明を省略する。なお、第２実施形態においては、２つのフラグ（Ｘフラグ及びＹフラグ）を使用するものとする。
【００６４】
Ｓ４１でプラス１モードが選択され、その後Ｓ４２の動作モード決定処理がなされると、Ｓ４３の選曲処理に進む。その後、楽器無効フラグに基いた処理を行い（Ｓ４４、Ｓ４５）、Ｓ４６に進む。
【００６５】
Ｓ４６では、マイク（１）及びマイク（２）の経路のピッチ情報を楽器変換用データに設定する。その後、Ｓ４７のミキシング処理に進む。
【００６６】
第２実施形態におけるミキシング処理について、図９を参照しつつ説明する。図９は、本実施形態におけるミキシング処理のフローチャートである。Ｓ５１において、サウンド制御部４７は、選曲された曲のＭＩＤＩデータをＭＩＤＩ音源３２へ送り楽曲の再生を行う。Ｓ５２において、サウンド制御部４７は、入力音声のピッチ情報を得る。Ｓ５３において、現在の再生位置が１番目のガイドメロディの第１小節であるかを判別する。
【００６７】
再生位置が１番目のガイドメロディの第１小節内であると判断された場合（Ｓ５３：ＹＥＳ）は、Ｓ５４に進む。Ｓ５４では、マイク自動指定処理が実行される。
【００６８】
ここで、マイク自動指定処理について、図１０を参照しつつ説明する。図１０は、マイク自動指定処理のフローチャートである。Ｓ６１において、第１小節分のピッチ情報を取得する。なお、ピッチ情報を抽出する区間は１小節ではなく、２小節以上でもよい。Ｓ６２において、マイク（１）のピッチ情報がガイドメロディのピッチ情報に一致するか否かを判断する。一致すると判断した場合（Ｓ６２：ＹＥＳ）は、Ｓ６４に進み、Ｘフラグの値を１とする。一致しないと判断した場合（Ｓ６２：ＮＯ）は、Ｓ６３に進み、Ｘフラグの値を０とする。
【００６９】
Ｓ６５において、マイク（２）のピッチ情報がガイドメロディのピッチ情報に一致するか否かを判断する。一致すると判断した場合（Ｓ６５：ＹＥＳ）は、Ｓ６７に進み、Ｙフラグの値を１とする。一致しないと判断した場合（Ｓ６５：ＮＯ）は、Ｓ６６に進み、Ｙフラグの値を０とする。
【００７０】
Ｓ６８において、（Ｘ、Ｙ）＝（０、０）であるか否かを判別する。すなわち、いずれのマイクも楽器パフォーマンス用であるか否かを判別する。（Ｘ、Ｙ）＝（０、０）である場合（Ｓ６８：ＹＥＳ）は、Ｓ６９に進む。Ｓ６９においては、マイク（１）、マイク（２）のピッチ検出データは、楽器変換用データとして用いられるように設定される。
【００７１】
（Ｘ、Ｙ）＝（０、０）でない場合（Ｓ６８：ＮＯ）は、Ｓ７０に進む。Ｓ７０において、（Ｘ、Ｙ）＝（１、０）であるか否かを判別する。すなわち、マイク（１）が通常歌唱用であり、かつ、マイク（２）が楽器パフォーマンス用であるか否かを判別する。（Ｘ、Ｙ）＝（１、０）である場合（Ｓ７０：ＹＥＳ）は、Ｓ７１に進む。Ｓ７１では、ミュート部４２を有効化することにより、マイク（２）の経路をミュートする。そして、Ｓ７２では、マイク（２）のピッチデータを、楽器変換用データとして用いるよう設定する。この場合、マイク（１）のピッチ検出データは、採点用データとして用いられるよう設定する。
【００７２】
（Ｘ、Ｙ）＝（１、０）でない場合（Ｓ７０：ＮＯ）は、Ｓ７３に進む。Ｓ７３において、（Ｘ、Ｙ）＝（０、１）であるか否かを判別する。すなわち、マイク（１）が楽器パフォーマンス用であり、かつ、マイク（２）が通常歌唱用であるか否かを判別する。（Ｘ、Ｙ）＝（０、１）である場合（Ｓ７３：ＹＥＳ）は、Ｓ７４に進む。Ｓ７４では、ミュート部４１を有効化することにより、マイク（１）の経路をミュートする。そして、Ｓ７５では、マイク（１）のピッチデータを、楽器変換用データとして用いるよう設定する。この場合、マイク（２）のピッチ検出データは、採点用データとして用いられるよう設定する。
【００７３】
（Ｘ、Ｙ）＝（０、１）でない場合（Ｓ７３：ＮＯ）は、Ｓ７６に進み、いずれのマイクも通常歌唱用として用いるよう制御される。
なお、図１０のフローチャートにおいては、マイクの数が２つの場合の処理について説明を行ったが、本発明はマイクが２つの場合に限られない。すなわち、マイクの数が３つ以上であった場合であっても、本発明は実現可能である。
もし、マイクの数が３つ以上である場合には、マイク毎に入力された音声から求められたそれぞれのピッチ情報と、ガイドメロディのピッチ情報とを比較し、ガイドメロディのピッチ情報と一致している量が最も高いマイクから入力された音声のピッチ情報を楽器変換用データとして用い、それ以外のマイクからの音声は楽器変換しないとすることで、マイクの数が３つ以上であっても、いずれか１つのマイクから入力された音声に対して楽器変換は行うことができる。
【００７４】
上述した処理に関し、入力される音声信号と出力される音響信号との関係を表にすると、図１１のようになる。すなわち、マイク（１）、マイク（２）のそれぞれについて、入力音声のピッチとガイドメロディのピッチとが一致する場合は、通常のボーカル音声として出力するよう構成され、また、一致しない場合は、変換した楽器音が出力されるよう構成される。ここで、入力音声のピッチとガイドメロディのピッチとの一致は、厳密なものでなくてもよく、適宜設定可能である。
【００７５】
次に、上述した処理について、マイク（１）、マイク（２）、ミュート部４１、ミュート部４２、ピッチ検出部４３、及び、ピッチ検出部４４の動作の時間的変化について、図１２に基いて説明する。
【００７６】
図１２は、上記各要素における動作の時間的変化を示すタイミング図である。また、この図においては、マイク（２）をパフォーマンス演奏用のマイクとして指定した場合を示すものである。当該図において、演奏とは、歌唱者が歌唱を行う区間、すなわち、歌詞が表示されている区間である。また、演奏区間は、ガイドメロディが存在する区間でもある。
【００７７】
プラス１モードがＯＮとなり、楽曲再生の信号が検知されると、マイク（１）及びマイク（２）のいずれも楽器音変換可能な状態となる。すなわち、この間にマイクに入力された音声は楽器音に変換されることになる。そのため、マイク（１）に基くピッチデータ及びマイク（２）に基くピッチデータのいずれについても、楽器音変換用として設定されている。
【００７８】
その後、ガイドメロディが演奏開始となるタイミングにおいて、それぞれのマイクへの入力音声に基くピッチデータとガイドメロディのピッチデータとの一致／不一致に基いて、マイクが通常歌唱用、楽器パフォーマンス用のいずれとして用いられているのかが判断される。この例においては、マイク（１）を通常歌唱用として用いるため、マイク（１）からの音声信号はガイドメロディのピッチデータと一致する。
【００７９】
これにより、ピッチ検出部４３から出力されたピッチデータは、採点用として使用されることになる。また、デュエット曲については、男声パートのガイドメロディ及び女性パートのガイドメロディを利用してマイクより入力された音声信号が、楽器パフォーマンス用か否かを判別することができる。
【００８０】
本実施形態においては、ガイドメロディ再生開始後にマイク（１）及びマイク（２）の使用形態が決定された後に、その使用形態が変更されることはない。すなわち、通常歌唱用として決定されたものは、再生終了まで通常歌唱用であり、また、楽器パフォーマンス用として決定されたものは、再生終了まで楽器パフォーマンス用となる。
【００８１】
以上説明したとおり、第２実施形態においては、利用者がマイクの利用形態を選択することなく、ガイドメロディのピッチデータとの比較処理結果に基いてマイクの利用形態を決定することができるから、利用者に負担を課すことなく、楽器パフォーマンスを実現することができる。なお、上述したフローチャートは単なる一例であり、上記処理と同等の結果を得ることできる処理であれば、他のフローチャートによって処理を実現してもよい。
【００８２】
［第３実施形態］
次に本発明に係る第３実施形態について説明する。上記第１実施形態及び第２実施形態においては、一度決定されると演奏終了まで変更できなかったが、第３実施形態においては、演奏途中であっても、マイクの利用形態を変更することができる。
【００８３】
第３実施形態のメイン処理は、ミキシング処理の除き第２実施形態のメイン処理と同じであるため説明を省略する。また、本実施形態においては、２つのフラグ（Ｘフラグ及びＹフラグ）を使用するものとする。ミキシング処理について、図を参照しつつ説明する。図１３は、ミキシング処理のフローチャートである。
【００８４】
Ｓ８１において、サウンド制御部４７は、選曲された曲のＭＩＤＩデータをＭＩＤＩ音源３２へ送り楽曲の再生を行う。Ｓ８２において、サウンド制御部４７は、入力音声のピッチ情報を得る。Ｓ８３において、再生位置が、各ガイドメロディの第１小節であるかを判別する。すなわち、前奏終了直後、もしくは、間奏終了直後に再生されるガイドメロディであるか否かを判断する。再生位置が、いずれかのガイドメロディの第１小節内であると判断された場合（Ｓ８３：ＹＥＳ）は、Ｓ８４に進む。Ｓ８４では、マイク自動指定処理が実行される。
【００８５】
Ｓ８４で実行されるマイク自動指定処理は、上述した第２実施形態と同じであるので説明を省略する。
【００８６】
次に、上述した処理について、マイク（１）、マイク（２）、ミュート部４１、ミュート部４２、ピッチ検出部４３、及び、ピッチ検出部４４の動作の時間的変化について、図１４に基いて説明する。
【００８７】
図１４は、上記各要素における動作の時間的変化を示すタイミング図である。また、この図においては、マイク（２）をパフォーマンス演奏用のマイクとして指定した場合を示すものである。当該図において、演奏とは、歌唱者が歌唱を行う区間、すなわち、歌詞が表示されている区間である。また、演奏区間は、ガイドメロディが存在する区間でもある。
【００８８】
プラス１モードがＯＮとなり、楽曲再生の信号が検知されると、マイク（１）及びマイク（２）のいずれに対しても、楽器音変換可能な状態となる。すなわち、この間にマイクに入力された音声は楽器音に変換されることになる。そのため、マイク（１）に基くピッチデータ及びマイク（２）に基くピッチデータのいずれについても、楽器音変換用として設定されている。
【００８９】
その後、ガイドメロディが演奏開始となるタイミングにおいて、それぞれのマイクへの入力音声に基くピッチデータとガイドメロディのピッチデータとの一致／不一致に基いて、マイクが通常歌唱用、楽器パフォーマンス用のいずれとして用いられているのかが判断される。この例においては、マイク（１）を通常歌唱用として用いるため、マイク（１）からの音声信号はガイドメロディのピッチデータと一致するため、マイク（１）は通常歌唱用として決定される。
【００９０】
これに基き、ピッチ検出部４３から出力されたピッチデータは、採点用として使用されることになる。
【００９１】
次に、ガイドメロディが開始されると、また、上述した処理が行われ、マイク（１）が通常歌唱用、マイク（２）が楽器パフォーマンス用となる。
【００９２】
以上説明したとおり、第３実施形態においては、利用者がマイクの利用形態を選択することなく、ガイドメロディのピッチデータとの比較処理結果に基いてマイクの利用形態を決定することができるから、利用者に負担を課すことなく、パフォーマンス演奏を実現することができる。また、間奏区間で区切られる演奏区間（歌詞表示区間）ごとに、マイクの利用形態を判別できるので、カラオケにおける新たな興趣を向上させることができる。なお、上述したフローチャートは単なる一例であり、上記処理と同等の結果を得ることできる処理であれば、他のフローチャートによって処理を実現してもよい。また、上述した処理においては、マイクの数が２つの場合について説明を行ったが、マイクの数が３つ以上の場合であっても同様に本願発明を実現することができる。
【００９３】
［同時発音数を超えた場合の処理］
同時発音数が制限された楽音再生装置においては、上述したプラス１機能を実行した場合に、同時発音数を超える場合がある。その場合に、プラス１機能を強制的に無効にすると、利用者の興趣を低下させるおそれがある。そのため、同時発音数を超えた場合であっても、利用者の興趣を低下させることなくカラオケ曲再生を実現することが求められる。
【００９４】
同時発音数の制限を考慮した処理について図を参照にしつつ説明する。以下においては、上述した第１実施形態について改良した処理について説明を行うが、第２実施形態及び第３実施形態についても当該処理が適用可能であることはいうまでもない。
【００９５】
図１５は、同時発音数の制限を考慮した処理のフローチャートである。基本的な処理は上述した第１実施形態と同じであるので説明を省略する。Ｓ５において、楽曲無効フラグが立っていない場合（Ｓ５：ＮＯ）は、Ｓ１０１の楽曲トラックチェック処理を行う。
【００９６】
楽曲トラックチェック処理について図面を参照しつつ説明する。図１６は、楽曲トラックチェック処理のフローチャートである。Ｓ９１において、選曲された曲データのトラックと同時発音数をチェックする。これにより、選曲された楽曲で用いられる楽器の数と同時発音数に関する情報を取得する。
【００９７】
Ｓ９２において、カラオケ装置における許容同時発音数を取得する。Ｓ９３においては、Ｓ９１で取得した同時発音数がＳ９２で取得した許容同時発音数と同じであるか否かを調べる。上記両数字が異なる場合（Ｓ９３：ＮＯ）は、楽曲トラックチェック処理を終了する。上記両数字が同じ場合（Ｓ９３：ＹＥＳ）は、Ｓ９４に進む。プラス１機能を実現することにより同時発音数が増加するため、同時発音数と許容同時発音数が同じであれば、楽曲の再生中にカラオケ装置の最大許容同時発音数を超えることになる。
【００９８】
Ｓ９４では、楽器音変換の対象として選択された楽器と同じトラックが存在するか否かを判断する。同じトラックがあると判断された場合（Ｓ９４：ＮＯ）は、Ｓ９６に進み、当該同じ楽器のトラックを無効にするよう設定する。一方、同じトラックがないと判断された場合（Ｓ９４：ＹＥＳ）は、Ｓ９５に進む。
【００９９】
Ｓ９５では、楽器音変換の対象として選択された楽器の周波数帯域に類似しているトラックを選択する。ここで、当該選択処理のために、例えば、図１７に示すテーブルを用いることができる。この図に示すテーブルを利用する場合、ギターを楽器音変換の楽器として選択した場合は、ピアノの高域に対応するトラックを無効にするよう設定する。Ｓ９５の処理を終了すると、楽曲トラックチェック処理を終了する。
【０１００】
上述した処理を行うことにより、同時発音数を超える場合にも対処できるため、装置の制約がある場合でも、パフォーマンス演奏をすることができ、かつ、ミキシングされた音響信号が全体として違和感の少ないものとすることができる。
【０１０１】
なお、本発明は前記実施例に限定されるものではなく、本発明の要旨を逸脱しない範囲内で種々の改良、変形が可能であることは勿論である。例えば、楽器音変換の対象とする楽器を動作モード決定処理において決定していたが、ガイドメロディの再生開始時点で決定することも可能である。すなわち、入力音声のピッチ情報と、再生される楽曲の楽器音それぞれのピッチ情報とを比較して、最も類似した楽器音に変換するよう構成することも可能である。
【０１０２】
また、ピッチ検出部において、入力音声のピッチのみならず、音の強さを抽出するように構成し、ＭＩＤＩデータのピッチデータ及び音の強さデータの両方を置換するように構成してもよい。これにより、変換された楽器音が、楽器パフォーマンスを行っている歌唱者の歌唱内容をより反映することができる。
【０１０３】
また、上述した処理を実行するための楽音再生方法としても本発明は実現可能である。さらに、当該楽音再生方法をコンピュータで実行させるためのプログラム、及び、そのプログラムが記録された記録媒体としても本発明は実現可能である。
【図面の簡単な説明】
【０１０４】
【図１】第１乃至第３実施形態に係るカラオケ装置における制御装置の内部構成、及び、その周辺機器を示した図である。
【図２】第１乃至第３実施形態に係るカラオケ装置におけるディジタル音声処理部及びその周辺要素を示した図である。
【図３】第１実施形態に係るカラオケ装置におけるメイン処理のフローチャートである。
【図４】第１実施形態に係るカラオケ装置における動作モード決定処理のフローチャートである。
【図５】第１実施形態に係るカラオケ装置におけるマイク指定処理のフローチャートである。
【図６】第１実施形態に係るカラオケ装置におけるミキシング処理のフローチャートである。
【図７】第１実施形態に係るカラオケ装置における各要素の動作タイミングを示した図である。
【図８】第２及び第３実施形態に係るカラオケ装置におけるメイン処理のフローチャートである。
【図９】第２実施形態に係るカラオケ装置におけるミキシング処理のフローチャートである。
【図１０】第２実施形態に係るカラオケ装置におけるマイク指定処理のフローチャートである。
【図１１】第２実施形態に係るカラオケ装置における入力音声と出力音響信号との関係を示した図である。
【図１２】第２実施形態に係るカラオケ装置における各要素の動作タイミングを示した図である。
【図１３】第３実施形態に係るカラオケ装置におけるミキシング処理のフローチャートである。
【図１４】第３実施形態に係るカラオケ装置における各要素の動作タイミングを示した図である。
【図１５】同時発音数の制限を考慮した場合におけるメイン処理の一例のフローチャートである。
【図１６】本発明の一実施形態に係るカラオケ装置における楽曲トラックチェック処理のフローチャートである。
【図１７】本発明の一実施形態に係るカラオケ装置における選択された楽器と削除される楽器の対応関係を示した図である。
【符号の説明】
【０１０５】
２２ マイク
２３ マイク
３２ ＭＩＤＩ音源
４３ ピッチ検出部
４４ ピッチ検出部
４６ 音声補正部
４７ サウンド制御部
【技術分野】
【０００１】
本発明は、新たな興趣を提供することが可能な楽音再生装置に関する。
【背景技術】
【０００２】
従来、楽音再生装置は広く知られている。入力された音声と楽曲の曲データとを混合して音声出力するものであり、楽曲の再生に同期して歌唱者は歌うことができる。また、歌詞及び映像情報が表示手段に表示されるものが一般的である。このような楽音再生装置には、楽器を演奏しながら歌うことができるものもある。下記特許文献１においては、複数のカラオケ歌唱者のうち、楽器を演奏できる者が楽器を演奏しながらカラオケ歌唱が進行する場合にで、複数の歌唱者によるカラオケ歌唱と楽器演奏とを可能とするために、演奏する楽器に対応する種類の楽音については、指定されたＭＩＤＩデータが削除されてその音源が再生されないよう制御されている。
【特許文献１】特開平１０−１８７１７５号公報
【発明の開示】
【発明が解決しようとする課題】
【０００３】
ところで、上記のような楽音再生装置においては、複数のカラオケ歌唱者のいずれかが演奏するため楽器を、いわゆるカラオケＢＯＸ等に持ち込む必要がある。また、演奏する楽器の熟練度が問題となるため、カラオケ歌唱する誰もが気軽に利用できる機能ではない。さらに、電気的な楽器を楽音再生装置に接続するためには、上記のような楽音再生装置においては楽器接続ボードも必要となり、前記ボードを楽音再生装置に内蔵すると装置自体も、内蔵する前と比較して大きくなってしまう。
【０００４】
そこで、本発明は、上記問題点を解消し、複数のカラオケ歌唱者のいずれも楽器をカラオケＢＯＸ等に持ち込むことなく、また、楽器の熟練度に関係なく、複数のカラオケ歌唱者のいずれがが、簡単に所望の楽器の演奏をできることによって、複数の歌唱者によるカラオケ歌唱と楽器演奏とを簡単に進行させられるカラオケ装置の実現を目的とする。
【０００５】
上記目的を達成するため、請求項１に係る発明は、２つの音声入力手段（マイク）、制御手段、楽曲記憶手段、音声出力手段（スピーカ等）を備えた楽音再生装置において、上記記憶手段には、楽曲再生に用いられるピッチ情報を含むＭＩＤＩデータが記憶されており、上記制御手段が、２つの音声入力手段（マイク）のそれぞれを、第１音声入力手段（楽器パフォーマンス用のマイク）または第２音声入力手段（通常のカラオケ歌唱（以下、歌唱）用のマイク）として決定し、上記第１音声入力手段（楽器パフォーマンス用のマイク）として決定された音声入力手段に入力された音声からピッチ情報を抽出し、所定の楽器に対応するＭＩＤＩデータのピッチ情報を、上記抽出したピッチ情報を置換して新たなＭＩＤＩデータを作成し、上記第２音声入力手段（通常の歌唱用のマイク）として決定された音声入力手段に入力された音声、上記新たなＭＩＤＩデータに基く楽器音、及び、上記楽曲記憶手段に記憶されている演奏音を混合し、上記音声出力手段（スピーカ等）は、上記混合された信号を音声出力することを特徴とする。
【０００６】
請求項２に係る発明は、請求項１の楽音再生装置において、第１の音声入力手段（楽器パフォーマンス用のマイク）に入力された音声を補正し、当該補正された音声から抽出したピッチ情報に基いて所定の楽器音を生成することを特徴とする。
【０００７】
請求項３に係る発明は、請求項１または請求項２の楽音再生装置において、上記制御手段が、さらに、２つの音声入力手段に入力されたそれぞれの音声に対して、前記音声のピッチ情報とガイドメロディのピッチ情報とのパターンマッチングを行い、当該パターンマッチングの一致関係の結果に基いて、それぞれの音声入力手段が第１音声入力手段（楽器パフォーマンス用のマイク）であるのか第２音声入力手段（通常の歌唱用のマイク）であるのかを決定することを特徴とする。
【０００８】
請求項４に係る発明は、請求項１〜３のいずれかの楽音再生装置において、上記制御手段が、さらに、上記ガイドメロディが開始するタイミングで、上記それぞれの音声入力手段が第１音声入力手段（楽器パフォーマンス用のマイク）であるのか第２音声入力手段（通常の歌唱用のマイク）であるのかを決定することを特徴とする。
【０００９】
請求項５に係る発明は、請求項１〜４のいずれかの楽音再生装置において、予め設定された同時発音可能数を超える場合は、音声出力すべきトラックのうち上記生成した楽器音のパラメータに最も近いトラックの音声出力を停止することを特徴とする。
【発明の効果】
【００１０】
請求項１に係る発明によれば、楽器等を準備することなく、楽器パフォーマンスを実現することができる。
【００１１】
請求項２に係る発明によれば、楽器パフォーマンス用のマイクに入力された音声を補正した後で楽器音に変換するため、本来の音程等に近い楽器音を生成することができる。
【００１２】
請求項３に係る発明によれば、ガイドメロディとのパターンマッチングで第１音声入力手段（楽器パフォーマンス用のマイク）であるのか第２音声入力手段（通常の歌唱用のマイク）であるのかを判別することができるので、利用者が事前にマイクの設定を行う必要がない。
【００１３】
請求項４に係る発明によれば、ガイドメロディが開始するタイミングで、音声入力手段の判別を行うため、間奏の前後で第１音声入力手段（楽器パフォーマンス用のマイク）と第２音声入力手段（通常の歌唱用のマイク）との切替を行うことができる。
【００１４】
請求項５に係る発明によれば、演奏途中で、同時発音可能数を超える場合に、生成した楽器音のパラメータに最も近いトラックの音声出力を停止するため、生成された楽器音の出力を止めることなく演奏を継続することができる。
【発明を実施するための最良の形態】
【００１５】
［第１実施形態］
本発明に係る楽音再生装置について、カラオケ装置に具体化した第１実施形態に基き図面を参照しつつ詳細に説明する。なお、以下の説明においては、ピッチ情報及びピッチデータという用語を用いるが、いずれの用語も同義である。
【００１６】
図１は、カラオケ装置に係る制御装置の内部構成、及び、その周辺機器を示す図である。フロントパネル１は、電源スイッチ、ディスプレイ、選択ボタンからなる。電源スイッチは、制御装置１００の電源をＯＮ／ＯＦＦするためのスイッチである。ディスプレイには、例えば選曲番号が表示される。また、必要に応じて種々の情報を表示されるよう構成してもよい。歌唱者は、選択ボタンを利用して曲番号等を入力することができる。フロントパネル１は、１チップＣＰＵ０９にて制御される。また、フロントパネル１の操作は、図示しないリモコンにより実現してもよい。また、フロントパネル１は、制御装置１００と例えばシリアル通信によって接続されている。
【００１７】
制御装置１００は、外部装置との通信可能に構成されている。具体的には、別のカラオケコマンダ２０とＬＡＮによる通信を可能とするためのＬＡＮインタフェース２を有する。またホストＰＣ２１と電話回線による通信を可能とするためのモデム３を有する。ＬＡＮインタフェース２は、メイン制御部７に接続されている。モデム３は、メイン制御部７に接続されている。なお、カラオケコマンダ２０とホストＰＣ２１との通信は、別の通信形態、通信手段で実現してもよい。
【００１８】
制御装置１００は、映像情報を記憶したＤＶＤ２４を読み取るための映像入力部４を有する。映像入力部４はメイン制御部７に接続されている。
【００１９】
制御装置１００は、マイク２２及びマイク２３を有する。なお、以下の説明においては、便宜上、マイク２２をマイク（１）ということがあり、また、マイク２３をマイク（２）ということがある。これらマイクから入力された信号は、マイクアンプ５で増幅される。マイクアンプ５はＡ／Ｄ変換器１１１に接続されている。Ａ／Ｄ変換器１１１は、アナログ入力信号をディジタル信号に変換し、後述するディジタル音声処理部１０２に入力する。なお、マイク２２及びマイク２３に増幅機能、及び／又は、Ａ／Ｄ変換機能を有するよう構成してもよい。マイク２２及びマイク２３を用いて歌唱者は歌唱を行う。
【００２０】
制御装置１００は、上述したＤＶＤ２４に記憶した音楽情報をＡ／Ｄ変換するためのＡ／Ｄ変換器６を有する。Ａ／Ｄ変換器６は、後述するディジタル音声処理部１０２に接続されている。
【００２１】
制御装置１００は、映像出力ＭＰＥＧデコーダ８を有する。映像出力ＭＰＥＧデコーダ８はメイン制御部７に接続され、ＭＰＥＧ映像信号を受信し、ＭＰＥＧ映像信号を復号してモニタ２５に出力する。なお、制御装置で扱う映像信号がＭＰＥＧ形式でない場合は、当該映像信号のフォーマットに対応したモジュールを有することになる。
【００２２】
ＨＤＤ１０及びＨＤＤ１１には、主に、映像信号及び／又は音声信号が記憶されている。これらの情報は、通信回線を通じて取得したものでもよいし、所定の記憶媒体を通じて取得したものでもよいし、出荷時に予め記憶しておいてもよい。また、映像信号、音声信号のみならず、種々の情報を記憶してもよい。また、後述するＭＩＤＩデータについてもＨＤＤ１０又はＨＤＤ１１に記憶されている。
【００２３】
音声制御部１０１は、メイン制御部７とディジタル音声処理部１０２との間のインタフェースとして機能する。
【００２４】
メイン制御部７は、制御装置１００が備える種々の要素と接続されており、制御装置１００を楽曲再生装置として実現するために種々の要素全体を制御する。
【００２５】
ボイスエフェクト部３１は、入力音声信号に対し、種々のエフェクト（例えば、エコー、リバーブ、ピッチ等）を付加することができる。
【００２６】
Ｄ／Ａ変換器１１５及びＤ／Ａ変換器１１６は、入力されたディジタル信号をアナログ信号に変換する。
【００２７】
プリアンプ１１７は、パワーアンプ１０３に接続されている。パワーアンプ１０３は、入力された信号を増幅する。
【００２８】
ディジタル音声処理部１０２の詳細について説明する。図２は、ディジタル音声処理部及びその周辺要素を示した図である。ミュート部４１及びミュート部４２は、それぞれ、マイク２２及びマイク２３に接続している。それぞれのミュート部が有効になることにより、ボイスエフェクト部３１への信号の入力を停止させることができる。
【００２９】
ピッチ検出部４３及びピッチ検出部４４は、それぞれ、マイク２２及びマイク２３に接続している。それぞれのピッチ検出部は、入力された音声信号からピッチ情報を抽出する。抽出されたピッチ情報は、ガイドメロディと比較され、比較された情報は、採点、音程補正、信号識別等に用いられる。
【００３０】
音程補正部４５は、ピッチ検出部４３、及び／又は、ピッチ検出部４４が抽出したピッチ情報を、所定の楽器のピッチ情報に補正すべく処理を行うものである。音程補正部４５は、ピッチ検出部４３及びピッチ検出部４４と接続されており、メイン制御部７によって補正対象の信号が決定される。
【００３１】
キーコン部３３は、ＤＶＤ２４からの音声信号のキーをコントロールすることができる。ミュージックエフェクト部３４は、ＭＩＤＩデータに基く音楽情報に対し、種々のエフェクトを付加することができる。
【００３２】
サウンド制御部４７は、音声出力するためのＭＩＤＩデータを、ＭＩＤＩ音源３２に出力する。ここで、音声出力するためのＭＩＤＩデータとは、楽器音に変換された入力音声信号や、ＨＤＤから読み出したＭＩＤＩデータである。なお、入力音声を楽器音に変換する過程については後述する。
【００３３】
なお、第１実施形態におけるカラオケ装置の外観は、本発明において何ら限定されるものではない。また、本発明においては、上述したカラオケ装置の内部構成として示した一部の要素を、外部に備えてよい。すなわち、例えば映像出力ＭＰＥＧデコーダやＨＤＤを外部接続される装置として実現することもできる。また、一部の構成要素の機能を、ネットワークに接続されたサーバで実現することも可能である。
【００３４】
以下の説明においては、プラス１という用語を用いることがある。ここで、プラス１とは、ボーカルとは別に、入力音声のピッチ情報を利用して新たなＭＩＤＩデータを生成し、生成したＭＩＤＩデータに基づいた楽器音信号をミキシングすることで、入力音声を、ＭＩＤＩ楽曲を構成する楽器音の一部として、音出力することを意味する。
【００３５】
以下の説明においては、楽器音に変換して歌唱することを、楽器パフォーマンスということがある。
【００３６】
本実施形態で用いる楽曲再生用のデータは、ピッチデータ、音色データ、タイミングデータ等を有するものである。代表的なものとしてＭＩＤＩデータを挙げることができるが、本発明は、ＭＩＤＩデータに限定されるものではなく、本発明を実施可能な限度においてその他のデータであってもよい。
【００３７】
次に、第１実施形態におけるカラオケ装置の処理の流れについて図を参照しつつ説明する。図３は、第１実施形態におけるカラオケ装置のメイン処理を示すフローチャートである。まず、Ｓ１において、リモコンでプラス１モードが選択されると、Ｓ２における動作モード決定処理に進む。なお、リモコンを用いることなく、フロントパネル１の操作によってプラス１モードを選択するよう構成してもよい。
【００３８】
Ｓ２の動作モード決定処理にについて図４に基き詳細を説明する。図３は、動作モード決定処理のフローチャートである。まず、Ｓ１１において、入力音声を変換する楽器を決定する。楽器の決定に関し、歌唱者に選択させることができる。
【００３９】
Ｓ１２においては、変換する楽器を楽曲の演奏から削除するか否かを判断する。この判断は、歌唱者によって入力される情報に基いてもよいし、予め設定した制御装置からの信号に基いてもよい。楽曲の演奏から削除すると判断した場合（Ｓ１２：ＹＥＳ）は、Ｓ１３に進む。一方、楽曲の演奏から削除しないと判断した場合（Ｓ１２：ＮＯ）は、Ｓ１４に進む。
【００４０】
Ｓ１３では、Ｓ１１で指定された楽器の楽曲データによる演奏を無効にすることを示すフラグを立てる。このフラグ情報は、楽曲の再生時に用いられる。
【００４１】
Ｓ１４では、楽器パフォーマンス用に入力された音声に対し音程補正を行うか否かを判断する。音程補正を行うと判断した場合（Ｓ１４：ＹＥＳ）は、Ｓ１５に進む。一方、音程補正をしないと判断した場合（Ｓ１４：ＮＯ）は、動作モード決定処理を終了する。Ｓ ５では、音程補正をすることを示すフラグを立てる（フラグを有効化する）。なお、音声補正処理については、後述する。また、このフラグ情報は、楽曲の再生時に用いられる。
【００４２】
次に、図３のＳ３のマイク指定処理について図５に基き説明する。図５は、マイク指定処理のフローチャートである。まず、Ｓ２１において、制御装置１００は、楽器変換を行うマイクに声を入力するよう歌唱者に指示するため、その旨をモニタに表示する。なお、モニタによる報知に替えて、音声等で報知するよう構成してもよい。
【００４３】
歌唱者に報知されると、Ｓ２２中に、歌唱者は音声を入力することになる。
【００４４】
Ｓ２３では、マイク（１）に音声が入力されたか否かを判断する。マイク（１）に音声が入力されたと判断した場合（Ｓ２３：ＹＥＳ）は、Ｓ２４に進む。マイク（１）に音声が入力されてない、すなわち、マイク（２）に入力されたと判断した場合（Ｓ２３：ＮＯ）は、Ｓ２６に進む。
【００４５】
Ｓ２４では、ミュート部４１を有効にする。これにより、マイク（１）に入力された音声信号のボイスエフェクト部３１への入力が遮断される。そして、Ｓ２５において、ピッチ検出部４３からのピッチ検出データを楽器変換用データに指定する。
【００４６】
Ｓ２６では、ミュート部４２を有効にする。これにより、マイク（２）に入力された音声信号のボイスエフェクト部３１への入力が遮断される。そして、Ｓ２７において、ピッチ検出部４４からのピッチ情報を楽器変換用データに指定する。
【００４７】
説明を図３に戻す。Ｓ４において、利用者によって選曲された楽曲を演奏すべく所定の記憶手段より当該楽曲の楽曲情報を再生に備え準備する。
【００４８】
Ｓ５では、楽器無効フラグが立っているか（フラグが有効化）否かを判断する。楽器無効フラグが立っている場合（Ｓ５：ＹＥＳ）、Ｓ６に進む。一方、楽器無効フラグが立っていない場合（Ｓ５：ＮＯ）は、Ｓ７に進む。Ｓ６では、演奏用データから指定した楽器の演奏を無効にするよう設定される。
【００４９】
Ｓ７では、ミキシング処理を行う。ミキシング処理の詳細について図６に基いて説明する。図６は、ミキシング処理を示すフローチャートである。Ｓ３１において、選曲した曲のデータを音源に送り、演奏を開始する。
【００５０】
Ｓ３２では、サウンド制御部４７は楽器パフォーマンス用のマイクからのピッチ情報を取得する。Ｓ３３では、音程補正フラグが有効か否かを判断する。音程補正フラグが有効である場合（Ｓ３３：ＹＥＳ）は、Ｓ３５に進む。音程補正フラグが無効である場合（Ｓ３３：ＮＯ）は、Ｓ３４に進む。
【００５１】
Ｓ３４では、指定された楽器のＭＩＤＩデータに変換する。具体的には、当該楽器のＭＩＤＩデータのうちピッチ情報に関する情報を、Ｓ３２で抽出されたピッチ情報に置換することにより新たなＭＩＤＩデータを作成する。
この処理について具体的に説明する。入力信号を分析することでピッチ周波数（例えば、３００Ｈｚ）が抽出される。そして、抽出されたピッチ周波数に対応するノート番号を算出する。なお、ノート番号については公知であるので説明を省略する。そして、上記楽器のＭＩＤＩデータが有するノート番号を、算出されたノート番号に置換することで、新たなＭＩＤＩデータを作成することができる。
【００５２】
Ｓ３５では、指定された楽器のＭＩＤＩデータにおけるピッチ情報に近づけるように、音声補正処理が実行される。この音声補正処理は、例えば、マイクから入力された音声のピッチ情報を、最も音程が近い基準音のピッチ情報（新たなピッチ情報）に設定し直すことで、前記マイクから入力された音声を、前記新たなピッチ情報に指定された楽器のＭＩＤＩデータにおけるピッチ情報に近づけるように補正するための処理であり、公知の種々の技術を適用することができる。
ここで、設定し直す、とは、入力音声のピッチ情報がドの音程に最も近ければ、前記入力音声のピッチ情報として、音程がド音である基準音のピッチ情報に設定し直される、という意味である。基準音のピッチ情報は、予め音程毎に用意されており、例えば、ド、レ、ミそれぞれに対応した基準音のピッチ情報が予め記憶手段に記憶されている。
【００５３】
Ｓ３６は、変換されたＭＩＤＩデータを、所定のポート（例えば、Ｂポート）に送信する。これにより、ＭＩＤＩ音源３２において、新たな音響信号が生成されることになる。
【００５４】
Ｓ３７では、上記新たなＭＩＤＩデータに基く音響信号が、入力音声信号及び楽曲にミキシングされて音声出力されることになり、プラス１機能を実現することができる。
【００５５】
Ｓ３８では、曲が終了したか否かについて判断する。曲が終了していない場合（Ｓ３８：ＮＯ）は、Ｓ３２に戻り、上述した処理を繰り返す。曲が終了した場合は、ミキシング処理を終了する。なお、上記ミキシング処理は、曲の再生中、繰り返し実行されるものである。
【００５６】
説明を図３に戻す。Ｓ８では、プラス１モードを終了するか否かを判断する。プラス１モードを終了すると判断した場合（Ｓ８：ＹＥＳ）は、処理を終了する。プラス１モードを終了しないと判断した場合（Ｓ８：ＮＯ）は、Ｓ２に戻り、上述した処理を繰り返す。すなわち、次のリクエスト曲についてもプラス１モードで演奏されることになる。
【００５７】
次に、上述した処理について、マイク（１）、マイク（２）、ミュート部４１、ミュート部４２、ピッチ検出部４３、及び、ピッチ検出部４４の動作の時間的変化について、図７に基いて説明する。
【００５８】
図７は、上記各要素における動作の時間的変化を示すタイミング図である。また、この図においては、マイク（１）を通常歌唱用マイクとし、マイク（２）をパフォーマンス演奏用のマイクとして指定した場合を示すものである。当該図において、演奏とは、歌唱者が歌唱を行う区間、すなわち、歌詞が表示されている区間である。また、演奏区間は、ガイドメロディが存在する区間でもある。
【００５９】
プラス１モードがＯＮとなり、パフォーマンス演奏用のマイクが決定されると、その時点で、マイク（２）に入力された音声は楽器変換可能となるよう制御される。また、マイク選択がされた時点で、ピッチ検出部４３は、採点用として用いられることになる。なお、入力音声の採点手法については、公知の技術は種々存在するため、ここではその説明を省略する。また、楽曲再生が終了するまでピッチ検出部４３は、採点用として用いられる。また、ピッチ検出部４４は、楽曲再生が終了するまで楽器変換用として用いられることになる。
【００６０】
上述した第１実施形態に係るカラオケ装置によれば、指定したマイクに入力した音声信号を、所定の楽器音に変えて音声出力することにより、楽器を持ち込むことなく、簡易な操作によって、楽器パフォーマンスを実現することができる。また、２人の歌唱者で歌唱を楽しむ場合に、１人が通常歌唱を行い、もう１人が楽器パフォーマンスを行うことができる。これにより、楽音再生装置における新たな興趣を向上させることができる。
また、楽器パフォーマンスによって楽器演奏する歌唱者も、カラオケの演奏に合うように自己の音声を前記歌唱者自身の口から出力しており、声を出して音楽を奏でるという行為は行われる。よって、楽器パフォーマンスする歌唱者も、所定の種類の楽音はＭＩＤＩデータに基づく演奏がされないようにして、かつ、自分で楽器演奏しながら声を出して、他の歌唱者によるカラオケ歌唱と楽器演奏とを簡単に進行させられるカラオケを楽しむ事ができることができるのである。
更に、従来の楽音再生装置における楽器接続ボードも内蔵不要となるので、装置自体も大きくならないという効果もある。
【００６１】
なお、上述したフローチャートは単なる一例であり、上記処理と同等の結果を得ることできる処理であれば、他のフローチャートによって処理を実現してもよい。また、上述した処理においては、マイクの数が２つの場合について説明を行ったが、マイクの数が３つ以上の場合であっても同様に本願発明を実現することができる。
【００６２】
［第２実施形態］
本発明に係る楽音再生装置について、カラオケ装置に具体化した第２実施形態に基き図面を参照しつつ詳細に説明する。上記第１実施形態においては、歌唱者がどちらのマイクを楽器パフォーマンス用に用いるかを設定していたが、本実施形態においては、制御装置１００が自動的に判断することができる。
【００６３】
第２実施形態について、図８を参照しつつ説明する。図８は、第２実施形態のメイン処理のフローチャートである。メイン処理は、第１実施形態のメイン処理とほぼ同じであるため、同一の処理については説明を省略する。なお、第２実施形態においては、２つのフラグ（Ｘフラグ及びＹフラグ）を使用するものとする。
【００６４】
Ｓ４１でプラス１モードが選択され、その後Ｓ４２の動作モード決定処理がなされると、Ｓ４３の選曲処理に進む。その後、楽器無効フラグに基いた処理を行い（Ｓ４４、Ｓ４５）、Ｓ４６に進む。
【００６５】
Ｓ４６では、マイク（１）及びマイク（２）の経路のピッチ情報を楽器変換用データに設定する。その後、Ｓ４７のミキシング処理に進む。
【００６６】
第２実施形態におけるミキシング処理について、図９を参照しつつ説明する。図９は、本実施形態におけるミキシング処理のフローチャートである。Ｓ５１において、サウンド制御部４７は、選曲された曲のＭＩＤＩデータをＭＩＤＩ音源３２へ送り楽曲の再生を行う。Ｓ５２において、サウンド制御部４７は、入力音声のピッチ情報を得る。Ｓ５３において、現在の再生位置が１番目のガイドメロディの第１小節であるかを判別する。
【００６７】
再生位置が１番目のガイドメロディの第１小節内であると判断された場合（Ｓ５３：ＹＥＳ）は、Ｓ５４に進む。Ｓ５４では、マイク自動指定処理が実行される。
【００６８】
ここで、マイク自動指定処理について、図１０を参照しつつ説明する。図１０は、マイク自動指定処理のフローチャートである。Ｓ６１において、第１小節分のピッチ情報を取得する。なお、ピッチ情報を抽出する区間は１小節ではなく、２小節以上でもよい。Ｓ６２において、マイク（１）のピッチ情報がガイドメロディのピッチ情報に一致するか否かを判断する。一致すると判断した場合（Ｓ６２：ＹＥＳ）は、Ｓ６４に進み、Ｘフラグの値を１とする。一致しないと判断した場合（Ｓ６２：ＮＯ）は、Ｓ６３に進み、Ｘフラグの値を０とする。
【００６９】
Ｓ６５において、マイク（２）のピッチ情報がガイドメロディのピッチ情報に一致するか否かを判断する。一致すると判断した場合（Ｓ６５：ＹＥＳ）は、Ｓ６７に進み、Ｙフラグの値を１とする。一致しないと判断した場合（Ｓ６５：ＮＯ）は、Ｓ６６に進み、Ｙフラグの値を０とする。
【００７０】
Ｓ６８において、（Ｘ、Ｙ）＝（０、０）であるか否かを判別する。すなわち、いずれのマイクも楽器パフォーマンス用であるか否かを判別する。（Ｘ、Ｙ）＝（０、０）である場合（Ｓ６８：ＹＥＳ）は、Ｓ６９に進む。Ｓ６９においては、マイク（１）、マイク（２）のピッチ検出データは、楽器変換用データとして用いられるように設定される。
【００７１】
（Ｘ、Ｙ）＝（０、０）でない場合（Ｓ６８：ＮＯ）は、Ｓ７０に進む。Ｓ７０において、（Ｘ、Ｙ）＝（１、０）であるか否かを判別する。すなわち、マイク（１）が通常歌唱用であり、かつ、マイク（２）が楽器パフォーマンス用であるか否かを判別する。（Ｘ、Ｙ）＝（１、０）である場合（Ｓ７０：ＹＥＳ）は、Ｓ７１に進む。Ｓ７１では、ミュート部４２を有効化することにより、マイク（２）の経路をミュートする。そして、Ｓ７２では、マイク（２）のピッチデータを、楽器変換用データとして用いるよう設定する。この場合、マイク（１）のピッチ検出データは、採点用データとして用いられるよう設定する。
【００７２】
（Ｘ、Ｙ）＝（１、０）でない場合（Ｓ７０：ＮＯ）は、Ｓ７３に進む。Ｓ７３において、（Ｘ、Ｙ）＝（０、１）であるか否かを判別する。すなわち、マイク（１）が楽器パフォーマンス用であり、かつ、マイク（２）が通常歌唱用であるか否かを判別する。（Ｘ、Ｙ）＝（０、１）である場合（Ｓ７３：ＹＥＳ）は、Ｓ７４に進む。Ｓ７４では、ミュート部４１を有効化することにより、マイク（１）の経路をミュートする。そして、Ｓ７５では、マイク（１）のピッチデータを、楽器変換用データとして用いるよう設定する。この場合、マイク（２）のピッチ検出データは、採点用データとして用いられるよう設定する。
【００７３】
（Ｘ、Ｙ）＝（０、１）でない場合（Ｓ７３：ＮＯ）は、Ｓ７６に進み、いずれのマイクも通常歌唱用として用いるよう制御される。
なお、図１０のフローチャートにおいては、マイクの数が２つの場合の処理について説明を行ったが、本発明はマイクが２つの場合に限られない。すなわち、マイクの数が３つ以上であった場合であっても、本発明は実現可能である。
もし、マイクの数が３つ以上である場合には、マイク毎に入力された音声から求められたそれぞれのピッチ情報と、ガイドメロディのピッチ情報とを比較し、ガイドメロディのピッチ情報と一致している量が最も高いマイクから入力された音声のピッチ情報を楽器変換用データとして用い、それ以外のマイクからの音声は楽器変換しないとすることで、マイクの数が３つ以上であっても、いずれか１つのマイクから入力された音声に対して楽器変換は行うことができる。
【００７４】
上述した処理に関し、入力される音声信号と出力される音響信号との関係を表にすると、図１１のようになる。すなわち、マイク（１）、マイク（２）のそれぞれについて、入力音声のピッチとガイドメロディのピッチとが一致する場合は、通常のボーカル音声として出力するよう構成され、また、一致しない場合は、変換した楽器音が出力されるよう構成される。ここで、入力音声のピッチとガイドメロディのピッチとの一致は、厳密なものでなくてもよく、適宜設定可能である。
【００７５】
次に、上述した処理について、マイク（１）、マイク（２）、ミュート部４１、ミュート部４２、ピッチ検出部４３、及び、ピッチ検出部４４の動作の時間的変化について、図１２に基いて説明する。
【００７６】
図１２は、上記各要素における動作の時間的変化を示すタイミング図である。また、この図においては、マイク（２）をパフォーマンス演奏用のマイクとして指定した場合を示すものである。当該図において、演奏とは、歌唱者が歌唱を行う区間、すなわち、歌詞が表示されている区間である。また、演奏区間は、ガイドメロディが存在する区間でもある。
【００７７】
プラス１モードがＯＮとなり、楽曲再生の信号が検知されると、マイク（１）及びマイク（２）のいずれも楽器音変換可能な状態となる。すなわち、この間にマイクに入力された音声は楽器音に変換されることになる。そのため、マイク（１）に基くピッチデータ及びマイク（２）に基くピッチデータのいずれについても、楽器音変換用として設定されている。
【００７８】
その後、ガイドメロディが演奏開始となるタイミングにおいて、それぞれのマイクへの入力音声に基くピッチデータとガイドメロディのピッチデータとの一致／不一致に基いて、マイクが通常歌唱用、楽器パフォーマンス用のいずれとして用いられているのかが判断される。この例においては、マイク（１）を通常歌唱用として用いるため、マイク（１）からの音声信号はガイドメロディのピッチデータと一致する。
【００７９】
これにより、ピッチ検出部４３から出力されたピッチデータは、採点用として使用されることになる。また、デュエット曲については、男声パートのガイドメロディ及び女性パートのガイドメロディを利用してマイクより入力された音声信号が、楽器パフォーマンス用か否かを判別することができる。
【００８０】
本実施形態においては、ガイドメロディ再生開始後にマイク（１）及びマイク（２）の使用形態が決定された後に、その使用形態が変更されることはない。すなわち、通常歌唱用として決定されたものは、再生終了まで通常歌唱用であり、また、楽器パフォーマンス用として決定されたものは、再生終了まで楽器パフォーマンス用となる。
【００８１】
以上説明したとおり、第２実施形態においては、利用者がマイクの利用形態を選択することなく、ガイドメロディのピッチデータとの比較処理結果に基いてマイクの利用形態を決定することができるから、利用者に負担を課すことなく、楽器パフォーマンスを実現することができる。なお、上述したフローチャートは単なる一例であり、上記処理と同等の結果を得ることできる処理であれば、他のフローチャートによって処理を実現してもよい。
【００８２】
［第３実施形態］
次に本発明に係る第３実施形態について説明する。上記第１実施形態及び第２実施形態においては、一度決定されると演奏終了まで変更できなかったが、第３実施形態においては、演奏途中であっても、マイクの利用形態を変更することができる。
【００８３】
第３実施形態のメイン処理は、ミキシング処理の除き第２実施形態のメイン処理と同じであるため説明を省略する。また、本実施形態においては、２つのフラグ（Ｘフラグ及びＹフラグ）を使用するものとする。ミキシング処理について、図を参照しつつ説明する。図１３は、ミキシング処理のフローチャートである。
【００８４】
Ｓ８１において、サウンド制御部４７は、選曲された曲のＭＩＤＩデータをＭＩＤＩ音源３２へ送り楽曲の再生を行う。Ｓ８２において、サウンド制御部４７は、入力音声のピッチ情報を得る。Ｓ８３において、再生位置が、各ガイドメロディの第１小節であるかを判別する。すなわち、前奏終了直後、もしくは、間奏終了直後に再生されるガイドメロディであるか否かを判断する。再生位置が、いずれかのガイドメロディの第１小節内であると判断された場合（Ｓ８３：ＹＥＳ）は、Ｓ８４に進む。Ｓ８４では、マイク自動指定処理が実行される。
【００８５】
Ｓ８４で実行されるマイク自動指定処理は、上述した第２実施形態と同じであるので説明を省略する。
【００８６】
次に、上述した処理について、マイク（１）、マイク（２）、ミュート部４１、ミュート部４２、ピッチ検出部４３、及び、ピッチ検出部４４の動作の時間的変化について、図１４に基いて説明する。
【００８７】
図１４は、上記各要素における動作の時間的変化を示すタイミング図である。また、この図においては、マイク（２）をパフォーマンス演奏用のマイクとして指定した場合を示すものである。当該図において、演奏とは、歌唱者が歌唱を行う区間、すなわち、歌詞が表示されている区間である。また、演奏区間は、ガイドメロディが存在する区間でもある。
【００８８】
プラス１モードがＯＮとなり、楽曲再生の信号が検知されると、マイク（１）及びマイク（２）のいずれに対しても、楽器音変換可能な状態となる。すなわち、この間にマイクに入力された音声は楽器音に変換されることになる。そのため、マイク（１）に基くピッチデータ及びマイク（２）に基くピッチデータのいずれについても、楽器音変換用として設定されている。
【００８９】
その後、ガイドメロディが演奏開始となるタイミングにおいて、それぞれのマイクへの入力音声に基くピッチデータとガイドメロディのピッチデータとの一致／不一致に基いて、マイクが通常歌唱用、楽器パフォーマンス用のいずれとして用いられているのかが判断される。この例においては、マイク（１）を通常歌唱用として用いるため、マイク（１）からの音声信号はガイドメロディのピッチデータと一致するため、マイク（１）は通常歌唱用として決定される。
【００９０】
これに基き、ピッチ検出部４３から出力されたピッチデータは、採点用として使用されることになる。
【００９１】
次に、ガイドメロディが開始されると、また、上述した処理が行われ、マイク（１）が通常歌唱用、マイク（２）が楽器パフォーマンス用となる。
【００９２】
以上説明したとおり、第３実施形態においては、利用者がマイクの利用形態を選択することなく、ガイドメロディのピッチデータとの比較処理結果に基いてマイクの利用形態を決定することができるから、利用者に負担を課すことなく、パフォーマンス演奏を実現することができる。また、間奏区間で区切られる演奏区間（歌詞表示区間）ごとに、マイクの利用形態を判別できるので、カラオケにおける新たな興趣を向上させることができる。なお、上述したフローチャートは単なる一例であり、上記処理と同等の結果を得ることできる処理であれば、他のフローチャートによって処理を実現してもよい。また、上述した処理においては、マイクの数が２つの場合について説明を行ったが、マイクの数が３つ以上の場合であっても同様に本願発明を実現することができる。
【００９３】
［同時発音数を超えた場合の処理］
同時発音数が制限された楽音再生装置においては、上述したプラス１機能を実行した場合に、同時発音数を超える場合がある。その場合に、プラス１機能を強制的に無効にすると、利用者の興趣を低下させるおそれがある。そのため、同時発音数を超えた場合であっても、利用者の興趣を低下させることなくカラオケ曲再生を実現することが求められる。
【００９４】
同時発音数の制限を考慮した処理について図を参照にしつつ説明する。以下においては、上述した第１実施形態について改良した処理について説明を行うが、第２実施形態及び第３実施形態についても当該処理が適用可能であることはいうまでもない。
【００９５】
図１５は、同時発音数の制限を考慮した処理のフローチャートである。基本的な処理は上述した第１実施形態と同じであるので説明を省略する。Ｓ５において、楽曲無効フラグが立っていない場合（Ｓ５：ＮＯ）は、Ｓ１０１の楽曲トラックチェック処理を行う。
【００９６】
楽曲トラックチェック処理について図面を参照しつつ説明する。図１６は、楽曲トラックチェック処理のフローチャートである。Ｓ９１において、選曲された曲データのトラックと同時発音数をチェックする。これにより、選曲された楽曲で用いられる楽器の数と同時発音数に関する情報を取得する。
【００９７】
Ｓ９２において、カラオケ装置における許容同時発音数を取得する。Ｓ９３においては、Ｓ９１で取得した同時発音数がＳ９２で取得した許容同時発音数と同じであるか否かを調べる。上記両数字が異なる場合（Ｓ９３：ＮＯ）は、楽曲トラックチェック処理を終了する。上記両数字が同じ場合（Ｓ９３：ＹＥＳ）は、Ｓ９４に進む。プラス１機能を実現することにより同時発音数が増加するため、同時発音数と許容同時発音数が同じであれば、楽曲の再生中にカラオケ装置の最大許容同時発音数を超えることになる。
【００９８】
Ｓ９４では、楽器音変換の対象として選択された楽器と同じトラックが存在するか否かを判断する。同じトラックがあると判断された場合（Ｓ９４：ＮＯ）は、Ｓ９６に進み、当該同じ楽器のトラックを無効にするよう設定する。一方、同じトラックがないと判断された場合（Ｓ９４：ＹＥＳ）は、Ｓ９５に進む。
【００９９】
Ｓ９５では、楽器音変換の対象として選択された楽器の周波数帯域に類似しているトラックを選択する。ここで、当該選択処理のために、例えば、図１７に示すテーブルを用いることができる。この図に示すテーブルを利用する場合、ギターを楽器音変換の楽器として選択した場合は、ピアノの高域に対応するトラックを無効にするよう設定する。Ｓ９５の処理を終了すると、楽曲トラックチェック処理を終了する。
【０１００】
上述した処理を行うことにより、同時発音数を超える場合にも対処できるため、装置の制約がある場合でも、パフォーマンス演奏をすることができ、かつ、ミキシングされた音響信号が全体として違和感の少ないものとすることができる。
【０１０１】
なお、本発明は前記実施例に限定されるものではなく、本発明の要旨を逸脱しない範囲内で種々の改良、変形が可能であることは勿論である。例えば、楽器音変換の対象とする楽器を動作モード決定処理において決定していたが、ガイドメロディの再生開始時点で決定することも可能である。すなわち、入力音声のピッチ情報と、再生される楽曲の楽器音それぞれのピッチ情報とを比較して、最も類似した楽器音に変換するよう構成することも可能である。
【０１０２】
また、ピッチ検出部において、入力音声のピッチのみならず、音の強さを抽出するように構成し、ＭＩＤＩデータのピッチデータ及び音の強さデータの両方を置換するように構成してもよい。これにより、変換された楽器音が、楽器パフォーマンスを行っている歌唱者の歌唱内容をより反映することができる。
【０１０３】
また、上述した処理を実行するための楽音再生方法としても本発明は実現可能である。さらに、当該楽音再生方法をコンピュータで実行させるためのプログラム、及び、そのプログラムが記録された記録媒体としても本発明は実現可能である。
【図面の簡単な説明】
【０１０４】
【図１】第１乃至第３実施形態に係るカラオケ装置における制御装置の内部構成、及び、その周辺機器を示した図である。
【図２】第１乃至第３実施形態に係るカラオケ装置におけるディジタル音声処理部及びその周辺要素を示した図である。
【図３】第１実施形態に係るカラオケ装置におけるメイン処理のフローチャートである。
【図４】第１実施形態に係るカラオケ装置における動作モード決定処理のフローチャートである。
【図５】第１実施形態に係るカラオケ装置におけるマイク指定処理のフローチャートである。
【図６】第１実施形態に係るカラオケ装置におけるミキシング処理のフローチャートである。
【図７】第１実施形態に係るカラオケ装置における各要素の動作タイミングを示した図である。
【図８】第２及び第３実施形態に係るカラオケ装置におけるメイン処理のフローチャートである。
【図９】第２実施形態に係るカラオケ装置におけるミキシング処理のフローチャートである。
【図１０】第２実施形態に係るカラオケ装置におけるマイク指定処理のフローチャートである。
【図１１】第２実施形態に係るカラオケ装置における入力音声と出力音響信号との関係を示した図である。
【図１２】第２実施形態に係るカラオケ装置における各要素の動作タイミングを示した図である。
【図１３】第３実施形態に係るカラオケ装置におけるミキシング処理のフローチャートである。
【図１４】第３実施形態に係るカラオケ装置における各要素の動作タイミングを示した図である。
【図１５】同時発音数の制限を考慮した場合におけるメイン処理の一例のフローチャートである。
【図１６】本発明の一実施形態に係るカラオケ装置における楽曲トラックチェック処理のフローチャートである。
【図１７】本発明の一実施形態に係るカラオケ装置における選択された楽器と削除される楽器の対応関係を示した図である。
【符号の説明】
【０１０５】
２２ マイク
２３ マイク
３２ ＭＩＤＩ音源
４３ ピッチ検出部
４４ ピッチ検出部
４６ 音声補正部
４７ サウンド制御部
【特許請求の範囲】
【請求項１】
２つの音声入力手段、制御手段、楽曲記憶手段、音声出力手段、を備えた楽音再生装置において、
上記記憶手段には、楽曲再生に用いられるピッチ情報を含むＭＩＤＩデータが記憶されており、
上記制御手段は、
２つの音声入力手段のそれぞれを、第１音声入力手段または第２音声入力手段として決定し、
上記第１音声入力手段として決定された音声入力手段に入力された音声からピッチ情報を抽出し、
所定の楽器に対応するＭＩＤＩデータのピッチ情報を、上記抽出したピッチ情報を置換して新たなＭＩＤＩデータを作成し、
上記第２音声入力手段として決定された音声入力手段に入力された音声、上記新たなＭＩＤＩデータに基く楽器音、及び、上記楽曲記憶手段に記憶されている演奏音を混合し、
上記音声出力手段は、上記混合された信号を音声出力する、
ことを特徴とする楽音再生装置。
【請求項２】
上記制御手段は、さらに、
第１の音声入力手段に入力された音声のピッチを補正し、当該補正されたピッチから抽出したピッチ情報に基いて楽器音を生成する、
ことを特徴とする請求項１に記載の楽音再生装置。
【請求項３】
上記制御手段は、さらに、
２つの音声入力手段に入力されたそれぞれの音声に対して、前記音声のピッチ情報とガイドメロディのピッチ情報とのパターンマッチングを行い、当該パターンマッチングの一致関係の比較結果に基いて、それぞれの音声入力手段が第１音声入力手段であるのか第２音声入力手段であるのかを決定する、
ことを特徴とする請求項１または請求項２に記載の楽音再生装置。
【請求項４】
上記制御手段は、さらに、
上記ガイドメロディが開始するタイミングで、上記それぞれの音声入力手段が第１音声入力手段であるのか第２音声入力手段であるのかを決定する、
ことを特徴とする請求項１〜３のいずれかに記載の楽音再生装置。
【請求項５】
上記演奏音は複数のトラックで構成され、予め設定された同時発音可能数を超える場合は、音声出力すべきトラックのうち上記生成した楽器音のパラメータに最も近いトラックの音声出力を停止する、
ことを特徴とする請求項１〜４のいずれかに記載の楽音再生装置。
【請求項１】
２つの音声入力手段、制御手段、楽曲記憶手段、音声出力手段、を備えた楽音再生装置において、
上記記憶手段には、楽曲再生に用いられるピッチ情報を含むＭＩＤＩデータが記憶されており、
上記制御手段は、
２つの音声入力手段のそれぞれを、第１音声入力手段または第２音声入力手段として決定し、
上記第１音声入力手段として決定された音声入力手段に入力された音声からピッチ情報を抽出し、
所定の楽器に対応するＭＩＤＩデータのピッチ情報を、上記抽出したピッチ情報を置換して新たなＭＩＤＩデータを作成し、
上記第２音声入力手段として決定された音声入力手段に入力された音声、上記新たなＭＩＤＩデータに基く楽器音、及び、上記楽曲記憶手段に記憶されている演奏音を混合し、
上記音声出力手段は、上記混合された信号を音声出力する、
ことを特徴とする楽音再生装置。
【請求項２】
上記制御手段は、さらに、
第１の音声入力手段に入力された音声のピッチを補正し、当該補正されたピッチから抽出したピッチ情報に基いて楽器音を生成する、
ことを特徴とする請求項１に記載の楽音再生装置。
【請求項３】
上記制御手段は、さらに、
２つの音声入力手段に入力されたそれぞれの音声に対して、前記音声のピッチ情報とガイドメロディのピッチ情報とのパターンマッチングを行い、当該パターンマッチングの一致関係の比較結果に基いて、それぞれの音声入力手段が第１音声入力手段であるのか第２音声入力手段であるのかを決定する、
ことを特徴とする請求項１または請求項２に記載の楽音再生装置。
【請求項４】
上記制御手段は、さらに、
上記ガイドメロディが開始するタイミングで、上記それぞれの音声入力手段が第１音声入力手段であるのか第２音声入力手段であるのかを決定する、
ことを特徴とする請求項１〜３のいずれかに記載の楽音再生装置。
【請求項５】
上記演奏音は複数のトラックで構成され、予め設定された同時発音可能数を超える場合は、音声出力すべきトラックのうち上記生成した楽器音のパラメータに最も近いトラックの音声出力を停止する、
ことを特徴とする請求項１〜４のいずれかに記載の楽音再生装置。
【図１】
【図２】
【図３】
【図４】
【図５】
【図６】
【図７】
【図８】
【図９】
【図１０】
【図１１】
【図１２】
【図１３】
【図１４】
【図１５】
【図１６】
【図１７】
【図２】
【図３】
【図４】
【図５】
【図６】
【図７】
【図８】
【図９】
【図１０】
【図１１】
【図１２】
【図１３】
【図１４】
【図１５】
【図１６】
【図１７】
【公開番号】特開２００９−８９３４（Ｐ２００９−８９３４Ａ）
【公開日】平成２１年１月１５日（２００９．１．１５）
【国際特許分類】
【出願番号】特願２００７−１７０９０４（Ｐ２００７−１７０９０４）
【出願日】平成１９年６月２８日（２００７．６．２８）
【出願人】（０００００５２６７）ブラザー工業株式会社 (13,856)
【Ｆターム（参考）】
【公開日】平成２１年１月１５日（２００９．１．１５）
【国際特許分類】
【出願日】平成１９年６月２８日（２００７．６．２８）
【出願人】（０００００５２６７）ブラザー工業株式会社 (13,856)
【Ｆターム（参考）】
[ Back to top ]