楽曲再生装置およびデータファイル制作ツール
【課題】特定の歌唱音または伴奏音を消去しても、利用者に違和感を与えない演奏を実現することができる楽曲再生装置およびデータファイル制作ツールを提供すること。
【解決手段】楽曲オーディオデータと楽曲シーケンスデータとが再生時に同期するように所定のデータフォーマットで格納されたデータファイルを再生するための楽曲再生装置であって、前記楽曲オーディオデータから楽曲の特定の歌唱音または伴奏音を消去して該楽曲オーディオデータを再生する第1再生手段(オーディオデコーダ203、歌唱音消去モジュール204、ピッチチェンジ部205)と、前記楽曲オーディオデータと同期させて前記楽曲シーケンスデータを再生する第2再生手段(シーケンサ206、音源111)とを備える。
【解決手段】楽曲オーディオデータと楽曲シーケンスデータとが再生時に同期するように所定のデータフォーマットで格納されたデータファイルを再生するための楽曲再生装置であって、前記楽曲オーディオデータから楽曲の特定の歌唱音または伴奏音を消去して該楽曲オーディオデータを再生する第1再生手段(オーディオデコーダ203、歌唱音消去モジュール204、ピッチチェンジ部205)と、前記楽曲オーディオデータと同期させて前記楽曲シーケンスデータを再生する第2再生手段(シーケンサ206、音源111)とを備える。
【発明の詳細な説明】
【技術分野】
【0001】
本発明は、楽曲再生装置および楽曲データファイル制作ツールに関し、詳しくは、MP3等の楽曲オーディオデータ及びMIDI(Musical Instrument Digital Interface)データ等の楽曲シーケンスデータがSMAF(Synthetic music Mobile Application Format)等のマルチメディアデータフォーマットで格納されたデータファイルを再生するための技術に関する。
【背景技術】
【0002】
従来、ボイスキャンセル技術を利用して、オーディオデータから歌唱音のみを消去して再生することによりカラオケ機能を実現した装置が知られている(特許文献1参照)。この装置によれば、カラオケ用の楽曲データを準備する必要がなく、一般に流通しているCD(Compact Disc)などのオリジナルのオーディオデータを用いてカラオケを手軽に楽しむことができる。
【特許文献1】特開平8−016180号公報
【発明の開示】
【発明が解決しようとする課題】
【0003】
しかしながら、上述のボイスキャンセル技術を利用した従来技術によれば、オーディオデータから歌唱音もしくは特定の伴奏音を消去する際に、他の伴奏音の楽音も消去されるため、再生される楽曲が不自然になるという問題がある。
【0004】
即ち、上述のボイスキャンセル技術によれば、歌唱音を消去する場合、歌唱音と同じ定位、或いは歌唱音と同じ特定周波数帯域にある音を減衰させるので、例えばバスドラムやスネアドラムのように、歌唱音と同様にセンターに定位するリズムセクション等の伴奏音も誤って消去される場合がある。このように歌唱音と共に一部の伴奏音が消去されると、リズム感が欠落するなど、カラオケ曲の演奏が不自然になり、利用者に違和感を与える。特定周波数帯域を減衰させて歌唱音を消去する場合にも、この周波数帯域にある伴奏音が歌唱音と共に消去されるので、同様に利用者に違和感を与える。
【0005】
本発明は、上記事情に鑑みてなされたものであり、特定の歌唱音または伴奏音の楽音を消去しても、利用者に違和感を与えない演奏を実現することができる楽曲再生装置と、該楽曲再生装置で再生される楽曲データファイルの制作ツールを提供することを目的とする。
【課題を解決するための手段】
【0006】
本発明に係る第1の楽曲再生装置は、楽曲オーディオデータと楽曲シーケンスデータとが再生時に同期するように所定のデータフォーマットで格納されたデータファイルを再生するための楽曲再生装置であって、前記楽曲オーディオデータから楽曲の特定の歌唱音または伴奏音を消去して該楽曲オーディオデータを再生する第1再生手段と、前記楽曲オーディオデータと同期させて前記楽曲シーケンスデータを再生する第2再生手段とを備える。
【0007】
この構成によれば、特定の歌唱音または伴奏音の楽音が消去されたオーディオデータと、MIDIシーケンスデータとが同期して再生される。従って、例えば歌唱音と共に消去される伴奏音をMIDIシーケンスデータとして準備しておけば、歌唱音と共に消去された伴奏音がMIDIシーケンスデータによる楽音で補完され、利用者に違和感のないように歌唱なしの楽曲を再生することが可能になる。
【0008】
本発明に係る第2の楽曲再生装置は、楽曲オーディオデータと楽曲シーケンスデータとが所定のデータフォーマットで格納されたデータファイルを再生するための楽曲再生装置であって、前記楽曲オーディオデータから楽曲のビートを抽出するビート抽出手段と、前記楽曲オーディオデータから楽曲の特定の歌唱音または伴奏音を消去して該楽曲オーディオデータを再生する第1再生手段と、前記ビート抽出手段によって抽出されたビートと同期させて前記楽曲シーケンスデータを再生する第2再生手段とを備える。
【0009】
この構成によれば、特定の歌唱音または伴奏音の楽音が消去されたオーディオデータと、MIDIシーケンスデータとが同期して再生される。このとき、オーディオデータの楽曲のビートと同期するように補正されてMIDIシーケンスデータが再生される。従って、上記第1の楽曲再生装置による効果に加え、オーディオデータとMIDIシーケンスデータとを容易に同期させることが可能になり、従ってデータファイルの構成を簡略化することが可能になる。
【0010】
本発明に係る第3の楽曲再生装置は、楽曲オーディオデータが所定のデータフォーマットで格納されたデータファイルを再生するための楽曲再生装置であって、楽曲シーケンスデータを予め記憶する記憶手段と、前記楽曲オーディオデータから楽曲のビートを抽出するビート抽出手段と、前記楽曲オーディオデータから楽曲の特定の歌唱音または伴奏音を消去して該楽曲オーディオデータを再生する第1再生手段と、前記記憶手段から前記楽曲シーケンスデータを読み出し、該楽曲シーケンスデータを、前記ビート抽出手段によって抽出されたビートと同期させて再生する第2再生手段とを備える。
【0011】
この構成によれば、特定の歌唱音または伴奏音の楽音が消去されたオーディオデータと、MIDIシーケンスデータとが同期して再生される。このとき、上記第2の楽曲再生装置と同様に、オーディオデータの楽曲のビートと同期するように補正されてMIDIシーケンスデータが再生されるが、本第3の楽曲再生装置によれば、MIDIシーケンスデータは記憶手段に格納されたものであるから、MIDIシーケンスデータをオーディオデータに付加したデータファイルを制作する必要はないため、データファイルを簡略化することが可能になる。また、この記憶手段に格納するMIDIシーケンスデータを利用者が準備することにより、利用者の趣向に合った楽音で伴奏音を補完することが可能になる。
【0012】
前記楽曲再生装置において、例えば、前記楽曲シーケンスデータは、前記楽曲オーディオデータから前記特定の歌唱音または伴奏音と共に消去される他の伴奏音を補完するためのデータであることを特徴とする。
前記楽曲再生装置において、例えば、前記楽曲オーディオデータまたは前記シーケンスデータの再生と同期させてグラフィックデータを再生するための再生手段を更に備え、前記データファイルは、前記グラフィックデータを更に格納したことを特徴とする。
前記楽曲再生装置において、例えば、利用者の音声を入力するための音声入力手段と、前記音声入力手段により入力された音声を再生するための音声再生手段とを更に備えたことを特徴とする。
本発明に係るデータファイル制作ツールは、前記楽曲再生装置における前記データファイルを制作するためのものである。
【発明の効果】
【0013】
本発明によれば、楽曲オーディオデータを楽曲シーケンスデータで補完するので、楽曲オーディオデータから特定の歌唱音または伴奏音を消去する際に他の伴奏音が誤って消去されても、これに代わる楽音を挿入することができ、従って利用者にとって違和感のない演奏を実現することができる。
【発明を実施するための最良の形態】
【0014】
以下、図面を参照しながら、本発明の実施形態を説明する。
[第1実施形態]
図1は、本発明の第1実施形態に係る楽曲再生装置を搭載する携帯電話機の構成を示す図である。本楽曲再生装置は、概略的には、MP3等のオーディオデータ(楽曲オーディオデータ)とMIDIシーケンスデータ(楽曲シーケンスデータ)の再生機能を備えると共に、オーディオデータから歌唱音を消去するボイスキャンセル機能を備えている。また、上記MIDIシーケンスデータは、歌唱音を消去する際に歌唱音と共に消去される伴奏音を補完するために使用される。
【0015】
図1において、101は、各種の情報を表示するための表示部であり、102は、利用者が情報を入力するための各種のキーが配列された操作部である。103は、電話機または楽曲再生装置として必要とされる各種の処理を実行するためのプログラムが格納されたROM(Read Only Memory)であり、104は、上記処理の過程で発生するデータを一時的に格納するRAM(Random Access Memory)である。
【0016】
105は、アンテナ105Aを介した無線通信のための変調/復調処理を実行する無線通信部である。106は、通話用マイク106Aを介して受信された音声信号を符号化して無線通信部105へ出力すると共に、無線通信部105で復調されたデジタル音声データを復号化してスピーカ106Bに出力する音声処理部である。106Cは、利用者が本携帯電話機を楽曲再生装置として機能させてカラオケを楽しむ際に使用する歌唱用マイク(音声入力手段)である。歌唱用マイク106Cとして、通話用マイク106Aを代用することも可能である。上記音声処理部106は、上記音声デジタルデータの符号化/複号化に加え、歌唱用マイク106Cを介して入力される音声信号の増幅機能も備えている。
【0017】
108は、マイクロハードディスク等からなるデータディスクであり、本携帯電話機に搭載された楽曲再生装置により再生される楽曲データファイルが格納される。この楽曲データファイルは、後述するように、マルチメディアデータフォーマットに準拠しており、一般に流通しているCDに収録されているデータと同様の歌唱付きのオリジナルのオーディオデータ等を含んでいる。
【0018】
109は、ROM103に格納されたプログラムに基づき各種の処理を実行して携帯電話機(楽曲再生装置)の各部を制御するCPU(Central Processing Unit)である。このCPU109は、携帯電話機が楽曲再生装置として機能する場合にはプレイヤー機能を実現し、とりわけMIDIシーケンスデータの再生時には後述の音源を制御するシーケンサとして機能する。110は、オーディオデータの再生に必要な処理を実行するDSP(Digital Signal Processor)であり、上述のボイスキャンセル機能もDSP110で実現される。
【0019】
111は、MIDIイベントデータをリアルタイムに解釈して楽音データを生成する音源である。この音源111は、例えば、FM(Frequency Modulation)音源、WT(Wave Table)音源であり、ソフトウェア又はハードウェアとして実装される。112は、デジタル量の楽音データをアナログ量の楽音信号に変換するD/A変換器であり、113は、楽音信号を入力して楽音を放音するスピーカである。上記各構成要素は、バス114を介して相互に接続されている。
【0020】
なお、本実施形態に係る携帯電話機は、電話機としての基本的な機能に加え、電子メールによりデータファイルを送受信する通信機能や、インターネット経由でデータファイルをアップロード/ダウンロードする通信機能を備えている。上述のデータディスク108に格納された楽曲データファイルとして、上記通信機能を利用してインターネット上の楽曲配信サイトからダウンロードされたものを用いることもできる。
【0021】
図2は、本実施形態に係る携帯電話機に搭載された楽曲再生装置の機能ブロック図であり、上述の図1に示す構成要素と共通する要素には同一符号を付している。
図2において、200は、データディスク108に格納された楽曲のデータファイルである。このデータファイル200の中には、オーディオデータとMIDIシーケンスデータとが、時間軸で同期できるように、即ち再生時に各楽音が同期するように、SMAF(Synthetic music Mobile Application Format)等の所定のマルチメディアデータフォーマットで制作(作成)されて格納されている。
【0022】
本実施形態では、データファイル200に格納されるオーディオデータは、例えば一般に市販されているCDに収録されているデータと同様の歌唱つきのオリジナルのオーディオデータであり、本楽曲再生装置は、このオリジナルのオーディオデータから歌唱音(もしくは特定の伴奏音)を消去してカラオケ用のオーディオデータを生成して再生する。また、データファイル200に格納されるMIDIシーケンスデータは、オリジナルのオーディオデータから歌唱音を消去する際に歌唱音と共に消去される伴奏音を補完するためのデータであり、データファイル200を制作する段階で、上記歌唱音と共に消去される伴奏音を予め推定して制作されたものである。このようなデータファイル200の制作ツールとしては、既存の楽曲用オーサリングツールを用いることができる。
【0023】
図3に、上述の楽曲用オーサリングツール上の表示画面の一例を示す。この例は、オーディオデータによる楽音波形(上段)と、これを補完するためのMIDIデータ(下段)との時間上の対応関係を示す。同図において、横軸は時間軸であり、演奏上の時刻に対応する。この例では、上段のオーディオデータは、歌唱音と共に消去されると推定される例えばバスドラムによる伴奏音であり、下段のMIDIデータは、バスドラムを補完する楽音データである。
【0024】
データファイルの制作者は、同図に示すように、オーディオデータの音量振幅のピーク(打音の時刻位置)に対応づけて、バスドラムの発音を制御するMIDIデータを画面上に配置する。これにより、仮にオーディオデータからバスドラムの伴奏音が消去されたとしても、MIDIデータでバスドラムの伴奏音を補完することが可能になる。このような楽曲用オーサリングツールによれば、MIDIデータを含むデータファイル200の制作作業をGUI上で容易に行うことができる。
【0025】
図4に、上述のデータファイル200のマルチメディアデータフォーマットの一例を示す。同図に示すように、このデータフォーマットによれば、各データはチャンク(chunk)単位で管理され、このデータフォーマットのデータファイルは、コンテンツ情報チャンク200A、MIDIトラックチャンク200B、オーディオトラックチャンク200C、グラフィックトラックチャンク200Dを含む。このうち、コンテンツ情報チャンク200Aには、コンテンツの種別やコンテンツ複製許可等のファイル管理用のデータなどの楽曲データの固有情報が格納される。
【0026】
また、MIDIトラックチャンク200Bには、セットアップデータチャンク及びシーケンスデータチャンクが含まれる。このうち、セットアップデータチャンクには、MIDIトラックチャンク全体における設定パラメータ、音色パラメータ、エフェクトデータ等が格納され、シーケンスデータチャンクには、音源111によって再生されるMIDIシーケンスデータ等が格納される。ここで、MIDIシーケンスデータとは、時間情報を持つMIDIイベントを規定するデータの集合体である。MIDIイベントとしては、例えば、発音イベント(ノートオン/オフ)、音色イベント(プログラムチェンジ)、音量変更やパンポット変更のためのイベント(コントロールチェンジ)、ピッチ変更イベント(ピッチチェンジ)等がある。
【0027】
オーディオトラックチャンク200Cには、セットアップデータチャンクと複数のオーディオデータチャンク(#1〜#n)が含まれる。このうち、セットアップデータチャンクには、オーディオトラック全体における設定パラメータが格納され、オーディオデータチャンクには、サンプリングされたオーディオデータと、その発音を制御するためのシーケンスデータが格納される。オーディオトラックチャンク200C内のオーディオデータは、MP3形式やAAC形式等の特定の圧縮オーディオフォーマットで圧縮されている。オーディオデータのヘッダーには、オーディオデータの種類、サンプリング周波数、ビット等の情報が格納される。
【0028】
また、オーディオトラックチャンク200C内のシーケンスデータは、時間に同期して発音/消音するためにオーディオデータと結び付けられたイベントと、タイミングを指定するためのデュレーション(duration)から構成される。このシーケンスデータには、音量変更やパンポット変更のためのイベント等も含まれる。
【0029】
オーディオトラックチャンク200C内では、各オーディオデータチャンクに対してIDを割り当てることで各オーディオデータチャンクが管理され、このIDによってシーケンスデータの発音イベントと関連づけられる。なお、オーディオデータに同期して後述のグラフィックトラックチャンクに格納されたグラフィック(画像)やテキストを表示させることも可能である。
【0030】
グラフィックトラックチャンク200Dには、セットアップデータチャンク、シーケンスデータチャンク、フォントデータチャンク、イメージデータチャンクが含まれる。このうち、セットアップデータチャンクには、グラフィックトラックチャンク全体における設定パラメータが格納される。シーケンスデータチャンクには、表示部101に画像を表示するための描画シーケンスデータが格納される。この描画シーケンスデータは、座標を指定するための数値表現(coordinate)と表示タイミングや表示時間長を指定するための数値表現(duration)で表され、テキストや画像を時間に同期して表示/消去するためのシーケンスが記述される。
【0031】
グラフィックトラックチャンク200Dは複数の仮想プレーンを持つ表示デバイスを想定しており、このグラフィックトラックチャンク200Dには、各仮想プレーンに対応したシーケンスデータチャンクを複数格納することができる。この場合、表示部101には、複数の仮想プレーンを合成した結果が表示される。
フォントデータチャンクにはフォントデータが格納され、イメージデータチャンクにはイメージデータが格納される。これらグラフィックデータ(イメージデータ、フォントデータ)は、上記オーディオデータ及びMIDIシーケンスデータの再生と同期して表示される。
【0032】
ここで、説明を図2に戻す。
202は、上述のCPU109により実現されるプレイヤーであり、データディスク108からデータファイル200を読み込んで管理すると共にその再生制御を行うものである。このプレイヤー202により、データファイル200に含まれるオーディオデータとMIDIシーケンスデータとが、それぞれ、後述のオーディオデコーダまたはシーケンサに適応的に振り分けられて再生される。
【0033】
203は上述のDSP110により実現されるオーディオデコーダであり、MP3やAAC等の特定の圧縮オーディオフォーマットで圧縮されたオーディオデータをリニアなオーディオフォーマットのデータにリアルタイムにデコードするものである。204は同じくDSP110により実現される歌唱音消去モジュールであり、オーディオデータから歌唱音を消去するためのボイスキャンセル処理を実行するものである。これらオーディオデコーダ203及び歌唱音消去モジュール204により、オリジナルのオーディオデータから歌唱音を消去して該オーディオデータを再生する第1再生手段が構成される。
【0034】
図5に、歌唱音消去モジュール204の構成例を示す。
同図に示す例では、右チャンネルの入力データ信号Rinを反転回路204Aにより位相反転させ、この反転結果を加算器204Hにより左チャンネルの入力データ信号Linと加算することにより、左チャンネルの入力データ信号Linから右チャンネルの入力データ信号Rinを減算し、センターに定位する歌唱音を含む信号成分を消去する。そして、一次のIIRからなるローパスフィルタ204Dとハイパスフィルタ204Eとにより得られるバンドパス特性により、音声帯域の非センター成分を抽出する。
【0035】
また、IIRからなるローパスフィルタ204Bとハイパスフィルタ204Cとにより、左チャンネルの入力データ信号Linの非音声帯域成分を抽出する。このうち、ハイパスフィルタ204Cにより抽出された非音声帯域成分は、加算器204Jにより上述の音声帯域の非センター成分と加算される。この加算結果は、加算器204Iにより、上述のローパスフィルタ204Bにより抽出された左チャンネルの非音声帯域成分と加算され、この加算結果が左チャンネルの出力データ信号Loutとされる。
【0036】
同様に、IIRからなるローパスフィルタ204Fとハイパスフィルタ204Gとにより、右チャンネルの入力データ信号Rinの非音声帯域成分を抽出して、上述の音声帯域の非センター成分を加算器204K,204Lにより加算することにより、右チャンネルの出力データ信号Routを得る。
以上により、歌唱音が消去された左チャンネル及び右チャンネルの各オーディオデータが得られる。なお、この例では、センターに定位する歌唱音を消去する場合を例として説明したが、反転回路204Aの反転パラメータを調整してパンニング量を制御すれば、任意の位置に定位する伴奏音を選択的に消去することも可能である。
【0037】
ここで、説明を再び図2に戻す。
205は上述のDSP110により実現されるピッチチェンジ部であり、利用者の発声帯域に合うように楽曲のピッチ(音高)を変更するためのものである。
206は上述のCPU109により実現されるシーケンサであり、プレイヤー202により振り分けられたMIDIシーケンスデータに基づき音源111による発音処理を制御するためのものである。CPU109がROM103に記憶されたシーケンサプログラムを実行することにより、シーケンサ206の機能が実現される。シーケンサ206は、プレイヤー202から振り分けられたMIDIシーケンスデータに基づき適切なタイミングでMIDIイベントデータを音源111に出力する。
【0038】
音源111は、楽音合成処理用LSI(大規模集積回路)により実現され、音源回路111Aとミキサー111Bとを含む。このうち、音源回路111Aは、シーケンサ206から順次供給されるMIDIイベントデータに含まれるノートオン、ノートオフ、ノートナンバ、ベロシティ、音色等のMIDIの各パラメータに基づき楽音データを生成するものである。ミキサー111Bは、上述のピッチチェンジ部205から出力されたオーディオデータに、音源回路111Aから出力された楽音データをミキシング(合成)するものである。
【0039】
上述のシーケンサ206と音源回路111Aとにより、オーディオデータと同期させてMIDIシーケンスデータを再生する第2再生手段が構成される。
ミキサー111Bから出力されたデジタルデータは、D/A変換器112でアナログ信号に変換され、D/A変換器208から出力されたアナログ信号は、図示しない増幅器により増幅されてスピーカ113に供給される。
【0040】
なお、特に図示しないが、本楽曲再生装置は画像再生手段を更に備える。この画像表示手段は、データファイル200のMIDIトラックチャンク200B及びオーディオトラックチャンク200Cにそれぞれ格納されたMIDIシーケンスデータ及びオーディオデータの再生と同期させて、グラフィックトラックチャンク200Dに格納されたグラフィックデータ(フォントデータ、イメージデータ)を再生して表示部101に表示するものである。
【0041】
次に、図6に示すフローに沿って、本実施形態に係る楽曲再生装置の動作を説明する。
ここでは、本楽曲再生装置をカラオケ装置として機能させる場合を説明する。
利用者が操作部102を使用して歌唱曲選択指示を行うと、プレイヤー202は、データディスク108から該当するデータファイル200を読み出す(ステップS601)。
【0042】
続いて、利用者が操作部102を操作して歌唱曲再生指示を行うと、プレイヤー202は、上述のステップS601で読み出したデータファイル200の再生処理を開始し(ステップS602)、そして、データファイル200の各チャンク内に格納されたシーケンスデータに従って各時刻に行うべき処理を判断し、処理すべきデータの種類に応じて、当該データをオーディオデコーダ203またはシーケンサ206に振り分ける(ステップS603)。
【0043】
ここで、プレイヤー202は、データファイル200のオーディオトラックチャンク200C内に格納されたオーディオデータを処理する場合、このオーディオデータをオーディオデコーダ203へ出力する。オーディオデコーダ203は、入力したオーディオデータをリニアなオーディオデータフォーマットにリアルタイムでデコードする(ステップS604)。オーディオデコーダ203でデコードされたオーディオデータは、歌唱音消去モジュール204へ出力される。歌唱音消去モジュール204は、入力したオーディオデータから歌唱音を消去するボイスキャンセル処理を行い(ステップS605)、歌唱なしのオーディオデータを生成する。
【0044】
なお、図4に示すデータフォーマットのデータファイルに、歌唱音を消去する期間(例えば、歌唱曲の開始からの時間)を指定するデータを加えることにより、歌唱音消去モジュール204が、指定された期間内のオーディオデータに対して選択的にボイスキャンセル処理を行うようにすることも可能である。また、図1に示す表示部101の画面にボイスキャンセル処理のオン/オフを選択するためのボタンを表示し、歌唱曲の再生中に利用者が操作部102を操作してボイスキャンセル処理のオン/オフを指示することも可能である。利用者の指示により歌唱音消去モジュール204はボイスキャンセル処理を実行または停止する。
【0045】
ボイスキャンセル処理のための構成としては、本実施形態では図5に示すものを採用しているが、この構成によれば、歌唱音を消去する過程で行われる帯域制限等の処理により、歌唱音のみならず、同じ帯域の伴奏音をも消去する場合があり、伴奏音の音質に影響を与えるおそれがある。しかし、歌唱音を消去する期間を指定するための上記データにより、例えば歌唱音が存在する区間のみをボイスキャンセル処理の区間として指定すれば、歌唱音と共に消去される伴奏音を最小限に抑えることができる。
【0046】
説明を図6のフローに戻す。
歌唱音消去モジュール204から出力された歌唱なしのオーディオデータは、ピッチチェンジ部205へ出力される。ピッチチェンジ部205は、入力したオーディオデータのピッチチェンジ処理を行い(ステップS606)、利用者が操作部102を操作して指示したピッチ(音高)に変更する。ピッチが変更された歌唱なしのオーディオデータは、音源111内のミキサー111Bに出力される。
【0047】
一方、上述のステップS603において、プレイヤー202は、データファイル200のMIDIトラックチャンク内に格納されたMIDIシーケンスデータを処理する場合、このMIDIシーケンスデータをシーケンサ206へ出力する。シーケンサ206は、入力したMIDIシーケンスデータに基づきシーケンス処理を行い(ステップS607)、所定のタイミングでMIDIイベントデータを音源111内の音源回路111Aに出力する。即ち、トラック毎にデュレーションをカウントし、カウントを終了したタイミングでMIDIイベントデータを出力する。
【0048】
音源回路111Aは、シーケンサ206から入力したMIDIイベントデータを解釈して楽音データを生成する(ステップS608の音源再生処理)。この生成された楽音データはミキサー111Bに出力される。
ミキサー111Bは、前述のピッチチェンジ部205から入力する歌唱なしのオーディオデータに、音源回路111Aから入力する楽音データをミキシング(合成)して(ステップS609)、これをD/A変換器112に出力する。
【0049】
ここで、音源回路111Aから出力される楽音データは、上述の歌唱音消去モジュール204でのボイスキャンセル処理により歌唱音と共に消去される伴奏音に対応するデータであるから、ミキサー111Bによりオーディオデータに楽音データを合成して得られるデータは、ボイスキャンセル処理により歌唱音と共に消去された伴奏音が補完された歌唱なしのオーディオデータとなる。
【0050】
ミキサー111Bにより楽音データが合成されたオーディオデータは、D/A変換器112によりアナログ信号に変換され、図示しない増幅器で増幅された後にスピーカ113に供給され、このスピーカ113から歌唱音のない楽曲が放音される。
楽曲の再生が終了していなければ(ステップS610:NO)、処理は、ステップS603に戻り、再生すべきデータが尽きるまで上述のステップS603〜S609を繰り返し実行する。
【0051】
なお、プレイヤー202は、グラフィックトラックチャンク200D内のイメージデータを処理する場合、CPU109により実現される図示しないイメージデコーダへイメージデータを出力する。イメージデコーダは、プレイヤー202から入力したイメージデータ(例えば、JPEG形式やPNG形式で圧縮されている)を表示部101に画像を表示するためのデータにデコードする。
【0052】
また、グラフィックトラックチャンク内のフォントデータ(テキストデータ)を処理する場合には、プレイヤー202はCPU109により実現される図示しないフォントデコーダへフォントデータを出力する。フォントデコーダは、プレイヤー202から入力したフォントデータを、表示部101に歌詞(テキスト)を表示するためのデータにデコードする。デコードされたイメージデータ及びフォントデータは、図示しない描画モジュールにより、プレイヤー202から出力された描画シーケンスデータに従って、歌詞(テキスト)のワイプや画像の移動、表示切り替え等の処理が施され、表示部101に表示される。
【0053】
以上により、ボイスキャンセル処理により歌唱音と共に消去されたオーディオデータの伴奏音がMIDIシーケンスデータで補完されて、違和感のないカラオケ用の楽曲がスピーカ113から放音される。利用者は、スピーカ113から放音される楽曲に合わせて、マイク106Cを使用して歌唱する。この歌唱音の音声信号は音声処理部106により増幅されてスピーカ113から楽曲と共に放音される。
【0054】
このように、本実施形態に係る楽曲再生装置によれば、歌唱つきのオーディオデータから歌唱音が消去された楽曲を再生することができ、利用者は、歌唱用のマイク106Cを使用して、表示部101に表示される歌詞(テキスト)や画像を見ながらカラオケを楽しむことができる。
また、カラオケで用いるオーディオデータは、オリジナルの歌唱つきのCDに収録されているデータと同様のオーディオデータであるため、利用者はオリジナルのCDと同様の伴奏で歌唱することができる。
さらにまた、音楽鑑賞用とカラオケ用とで複数のオーディオデータを用意する必要がなくなり、一つのオーディオデータを音楽鑑賞とカラオケの双方に用いることができる。
【0055】
[第2実施形態]
次に、本発明の第2実施形態を説明する。
図7に、第2実施形態に係る楽音再生装置の機能ブロック図を示す。図7において、上述の図2に示す第1実施形態に係る楽音再生装置と同様の要素には同一符号を付す。
本実施形態では、データディスク108に格納されたデータファイル700は、オリジナルの歌唱つきのオーディオデータと、その伴奏音を補完するためのMIDIシーケンスデータとを含む点で第1実施形態のデータファイル200と共通するが、これらオーディオデータとMIDIシーケンスデータは、時間軸で同期するようには配慮して制作されていない点でデータファイル200と相違する。例えば、ドラム音のMIDIデータであれば、所定のテンポでドラム音を発音する様に制作されたシーケンスデータである。ただし、データファイル700は、第1実施形態と同様に、図4に示すマルチメディアデータフォーマットに準拠したものである。
【0056】
また、本実施形態の楽曲再生装置はビート抽出部701を更に備えると共に、上述の図2に示す第1実施形態に係るシーケンサ206に代えてシーケンサ702を備える。ここで、ビート抽出部701は、オーディオデータから楽曲のビートを抽出するものであり、シーケンサ702は、プレイヤー202によって振り分けられたMIDIシーケンスデータを、ビート抽出部701によって抽出されたビートと同期させて再生するものである。その他の構成は上述の第1実施形態に係る楽音再生装置と同様である。
【0057】
次に、図8に示すフローに沿って、本実施形態に係る楽曲再生装置の動作を説明する。
ここでも、本楽曲再生装置をカラオケ装置として機能させる場合を説明するが、プレイヤー202、オーディオデコーダ203、歌唱音消去モジュール204、ピッチチェンジ部205、音源111、D/A変換器112、スピーカ113については上述の第1実施形態と同様であるので、ここでは、本実施形態の特徴部であるビート抽出部701に着目して説明する。
【0058】
上述の第1実施形態と同様に、プレイヤー202は、利用者が歌唱曲の選択指示を行うと、データファイル700を読み出し(ステップS601)、利用者が歌唱曲の再生指示を行うと、データファイル700の再生処理を開始し(ステップS602)、再生処理すべきデータをオーディオデコーダ203またはシーケンサ702に振り分ける(ステップS603)。オーディオデコーダ203は、プレイヤー202から入力したオーディオデータをリニアなオーディオデータにデコードする(ステップS604)。この後のボイスキャンセル処理(ステップS605)及びピッチチェンジ(ステップS606)についても第1実施形態と同様である。
【0059】
ビート抽出部701は、オーディオデコーダ203でデコードされたリニアなオーディオデータから楽曲のビートを抽出してビート情報を取得する(ステップS801)。ビートの抽出方法としては周知の技術を利用することができる。例えば、リニアなオーディオデータから音量振幅波形(エンベロープ波形)のピークを検出し、そのピーク間隔から最小ビートを抽出する方法を使用することができる。この方法によれば、小節単位でビートを抽出することも可能である。また、音量振幅波形を平滑化(平均化)することにより、ビートの抽出を安定的に行うことができる。更に、オーディオデータの周波数特性に基づき音源分離(フィルタリング)を行い、例えばドラム音の周波数特性からドラムの伴奏音波形を抽出し、上記の音量振幅波形のピークを検出するようにすれば、より一層精度よくビートを抽出することができる。
【0060】
シーケンサ702は、プレイヤー202から入力したMIDIシーケンスデータに基づきシーケンス処理を行ってMIDIイベントデータを生成する(ステップS802)。このとき、シーケンサ702は、上述のビート抽出部701で得られたビート情報でシーケンス時刻を補正する。つまり、シーケンサ702は、MIDIシーケンスデータ中のMIDIイベントデータが、抽出されたビートと同じタイミングになる様にシーケンス時刻を補正する。これにより、上述のオーディオデコーダ203でデコードされたリニアなオーディオデータに同期した適切なタイミングで、MIDIイベントデータが音源回路111Aに出力される。
【0061】
ここで、本実施形態では、プレイヤー202からシーケンサ702に振り分けられるMIDIシーケンスデータは、前述のように、時間軸上でオーディオデータと同期されるように制作されてはいないが、シーケンサ702は、ビート抽出部701によって得られたオーディオデータのビート情報でシーケンス時刻を補正することにより、オーディオデータのビートと同期させてMIDIイベントデータを出力する。これにより、歌唱なしのオーディオデータによる楽音とMIDIイベントデータによる伴奏音とが互いに同期した状態となり、伴奏音が補完された歌唱なしのオーディオデータが得られる。
【0062】
以上により、ボイスキャンセル処理により歌唱音と共に消去されたオーディオデータの伴奏音が、オーディオデータの楽曲のビートに同期した適切なタイミングでMIDIシーケンスデータにより補完され、違和感のないカラオケ用の楽曲として再生される。
このように、本実施形態に係る楽曲再生装置によれば、上述の第1実施形態による効果に加え、ビート抽出部701により得られたビート情報を用いてオーディオデータにMIDIイベントデータを同期させるので、予めオーディオデータとMIDIシーケンスデータとを時間軸で同期するようにデータファイルを制作する必要がなくなる。従って、データファイルの構成を簡略化することが可能になる。
【0063】
[第3実施形態]
次に、上述の図7を援用して、本発明の第3実施形態を説明する。
本実施形態に係る楽曲再生装置は、基本的には、上述の図7に示す第2実施形態に係る楽曲再生装置と同様であるが、補完用のMIDIシーケンスデータがデータファイル700には格納されておらず、例えば携帯電話機を構成する図1に示すRAM104に予め格納されている。即ち、RAM104には、上述の歌唱音消去モジュール204によるボイスキャンセル処理を行った場合に歌唱音と共に消去される伴奏音のMIDIシーケンスデータが予め格納されている。RAM104に格納されたMIDIシーケンスデータは、携帯電話機のメーカにより予めプリセットされているものでもよいが、携帯電話機の利用者が独自に制作したものでもよい。さらに、無線通信部105等を介して外部よりダウンロードしたものでもよい。その他の構成は、上述の第2実施形態に係る楽曲再生装置と同様である。
【0064】
本実施形態では、楽曲によりボイスキャンセル処理にて消去される伴奏音は様々であるので、オーディオデータによる楽曲とMIDIシーケンスデータによる伴奏音とのマッチングをとる必要がある。そのため、RAM104に格納されるMIDIシーケンスデータに種別情報を付加すると共に、データディスク108内のデータファイルのオーディオデータには、補完に使用するMIDIシーケンスデータの種別情報を予め付加しておく。ただし、利用者の指示により、補完に使用するMIDIシーケンスデータの種別を変更し、或いはMIDIシーケンスデータによる楽音の音量をコントロールするための手段を設けてもよい。
【0065】
次に、図9に示すフローに沿って、本実施形態に係る楽音再生装置の動作を説明する。
ここでも、本楽曲再生装置をカラオケ装置として機能させる場合を説明する。
上述の第2実施形態と同様に、プレイヤー202は、利用者が歌唱曲選択指示を行うと、データディスク108から該当するデータファイルを読み出し(ステップS601)、利用者が歌唱曲再生指示を行うと、データファイルの再生処理を開始する(ステップS602)。
【0066】
プレイヤー202は、データファイルの各チャンク内に格納されたシーケンスデータに従ってオーディオデータをオーディオデコーダ203に振り分けると共に、このオーディオデータに付加されたMIDIシーケンスデータの種別情報を参照して、RAM104から該当するMIDIシーケンスデータを読み出し、これをシーケンサ702に振り分ける(ステップS901)。以下は上述の第2実施形態と同様である。
【0067】
本実施形態に係る楽曲再生装置によれば、MIDIシーケンスデータをオーディオデータに付加したデータファイルを制作する必要はないため、データファイルを簡略化することができる。また、利用者がRAM104に格納されたMIDIシーケンスデータの種別を変更することにより、オーディオデータの伴奏音を補完するためのMIDIシーケンスデータを利用者が自由に決定することができる。従って、利用者の趣向に合わせて、多様な伴奏音のMIDIシーケンスデータでオーディオデータを補完することが可能になる。
【0068】
以上、本発明の実施形態を詳述したが、具体的な構成は本実施形態に限られるものではなく、本発明の要旨を逸脱しない範囲の設計変更等も含まれる。
例えば、上述の実施形態では、歌唱音消去モジュール204におけるボイスキャンセル処理により歌唱音を消去する場合を例として説明したが、これに限定されることなく、歌唱音以外の伴奏音を消去し、この伴奏音と共に消去される他の伴奏音の楽音をMIDIシーケンスデータで補完するようにしてもよい。この場合、歌唱音消去モジュール204は、歌唱音以外の伴奏音の楽音を消去する例えば「特定楽音消去モジュール」として構成され、そのモジュールの名称は本発明の本質を限定するものではない。
【0069】
また、上述の実施形態では、MIDIシーケンスデータを例に説明したが、これに限定されることなく、時間情報に従って一連の発音処理に関するイベントを制御するデータであれば、どのようなシーケンスデータであってもよい。
また、上述の実施形態では、データファイルに格納されたオーディオデータは、MP3やAAC等で圧縮されたものであるとしたが、これに限定されることなく、圧縮されないリニアなオーディオデータを入力するものとしてもよい。この場合、オーディオデコーダは省略できる。
【図面の簡単な説明】
【0070】
【図1】本発明の第1実施形態に係る携帯電話機の構成図である。
【図2】本発明の第1実施形態に係る携帯電話機に搭載された楽曲再生装置の機能ブロック図である。
【図3】本発明の第1実施形態に係る楽曲用オーサリングツールの説明図である。
【図4】本発明の第1実施形態に係るマルチメディアデータフォーマットの一例を示す図である。
【図5】本発明の第1実施形態に係る歌唱音消去モジュールの構成図である。
【図6】本発明の第1実施形態に係る楽曲再生装置の動作の流れを示すフローチャートである。
【図7】本発明の第2実施形態に係る楽曲再生装置の機能ブロック図である。
【図8】本発明の第2実施形態に係る楽曲再生装置の動作の流れを示すフローチャートである。
【図9】本発明の第3実施形態に係る楽曲再生装置の動作の流れを示すフローチャートである。
【符号の説明】
【0071】
101;表示部、102;操作部、103;ROM、104;RAM、105;無線通信部、105A;アンテナ、106;音声処理部、106A;通話用マイク、106B;通話用スピーカ、106C;歌唱用マイク、108;データディスク、109;CPU、110;DSP、111;音源、111A;音源回路、111B;ミキサー、112;D/A変換器、113;スピーカ、200,700;データファイル、202;プレイヤー、203;オーディオデコーダ、204;歌唱音消去モジュール、205;ピッチチェンジ部、206,702;シーケンサ、701;ビート抽出部。
【技術分野】
【0001】
本発明は、楽曲再生装置および楽曲データファイル制作ツールに関し、詳しくは、MP3等の楽曲オーディオデータ及びMIDI(Musical Instrument Digital Interface)データ等の楽曲シーケンスデータがSMAF(Synthetic music Mobile Application Format)等のマルチメディアデータフォーマットで格納されたデータファイルを再生するための技術に関する。
【背景技術】
【0002】
従来、ボイスキャンセル技術を利用して、オーディオデータから歌唱音のみを消去して再生することによりカラオケ機能を実現した装置が知られている(特許文献1参照)。この装置によれば、カラオケ用の楽曲データを準備する必要がなく、一般に流通しているCD(Compact Disc)などのオリジナルのオーディオデータを用いてカラオケを手軽に楽しむことができる。
【特許文献1】特開平8−016180号公報
【発明の開示】
【発明が解決しようとする課題】
【0003】
しかしながら、上述のボイスキャンセル技術を利用した従来技術によれば、オーディオデータから歌唱音もしくは特定の伴奏音を消去する際に、他の伴奏音の楽音も消去されるため、再生される楽曲が不自然になるという問題がある。
【0004】
即ち、上述のボイスキャンセル技術によれば、歌唱音を消去する場合、歌唱音と同じ定位、或いは歌唱音と同じ特定周波数帯域にある音を減衰させるので、例えばバスドラムやスネアドラムのように、歌唱音と同様にセンターに定位するリズムセクション等の伴奏音も誤って消去される場合がある。このように歌唱音と共に一部の伴奏音が消去されると、リズム感が欠落するなど、カラオケ曲の演奏が不自然になり、利用者に違和感を与える。特定周波数帯域を減衰させて歌唱音を消去する場合にも、この周波数帯域にある伴奏音が歌唱音と共に消去されるので、同様に利用者に違和感を与える。
【0005】
本発明は、上記事情に鑑みてなされたものであり、特定の歌唱音または伴奏音の楽音を消去しても、利用者に違和感を与えない演奏を実現することができる楽曲再生装置と、該楽曲再生装置で再生される楽曲データファイルの制作ツールを提供することを目的とする。
【課題を解決するための手段】
【0006】
本発明に係る第1の楽曲再生装置は、楽曲オーディオデータと楽曲シーケンスデータとが再生時に同期するように所定のデータフォーマットで格納されたデータファイルを再生するための楽曲再生装置であって、前記楽曲オーディオデータから楽曲の特定の歌唱音または伴奏音を消去して該楽曲オーディオデータを再生する第1再生手段と、前記楽曲オーディオデータと同期させて前記楽曲シーケンスデータを再生する第2再生手段とを備える。
【0007】
この構成によれば、特定の歌唱音または伴奏音の楽音が消去されたオーディオデータと、MIDIシーケンスデータとが同期して再生される。従って、例えば歌唱音と共に消去される伴奏音をMIDIシーケンスデータとして準備しておけば、歌唱音と共に消去された伴奏音がMIDIシーケンスデータによる楽音で補完され、利用者に違和感のないように歌唱なしの楽曲を再生することが可能になる。
【0008】
本発明に係る第2の楽曲再生装置は、楽曲オーディオデータと楽曲シーケンスデータとが所定のデータフォーマットで格納されたデータファイルを再生するための楽曲再生装置であって、前記楽曲オーディオデータから楽曲のビートを抽出するビート抽出手段と、前記楽曲オーディオデータから楽曲の特定の歌唱音または伴奏音を消去して該楽曲オーディオデータを再生する第1再生手段と、前記ビート抽出手段によって抽出されたビートと同期させて前記楽曲シーケンスデータを再生する第2再生手段とを備える。
【0009】
この構成によれば、特定の歌唱音または伴奏音の楽音が消去されたオーディオデータと、MIDIシーケンスデータとが同期して再生される。このとき、オーディオデータの楽曲のビートと同期するように補正されてMIDIシーケンスデータが再生される。従って、上記第1の楽曲再生装置による効果に加え、オーディオデータとMIDIシーケンスデータとを容易に同期させることが可能になり、従ってデータファイルの構成を簡略化することが可能になる。
【0010】
本発明に係る第3の楽曲再生装置は、楽曲オーディオデータが所定のデータフォーマットで格納されたデータファイルを再生するための楽曲再生装置であって、楽曲シーケンスデータを予め記憶する記憶手段と、前記楽曲オーディオデータから楽曲のビートを抽出するビート抽出手段と、前記楽曲オーディオデータから楽曲の特定の歌唱音または伴奏音を消去して該楽曲オーディオデータを再生する第1再生手段と、前記記憶手段から前記楽曲シーケンスデータを読み出し、該楽曲シーケンスデータを、前記ビート抽出手段によって抽出されたビートと同期させて再生する第2再生手段とを備える。
【0011】
この構成によれば、特定の歌唱音または伴奏音の楽音が消去されたオーディオデータと、MIDIシーケンスデータとが同期して再生される。このとき、上記第2の楽曲再生装置と同様に、オーディオデータの楽曲のビートと同期するように補正されてMIDIシーケンスデータが再生されるが、本第3の楽曲再生装置によれば、MIDIシーケンスデータは記憶手段に格納されたものであるから、MIDIシーケンスデータをオーディオデータに付加したデータファイルを制作する必要はないため、データファイルを簡略化することが可能になる。また、この記憶手段に格納するMIDIシーケンスデータを利用者が準備することにより、利用者の趣向に合った楽音で伴奏音を補完することが可能になる。
【0012】
前記楽曲再生装置において、例えば、前記楽曲シーケンスデータは、前記楽曲オーディオデータから前記特定の歌唱音または伴奏音と共に消去される他の伴奏音を補完するためのデータであることを特徴とする。
前記楽曲再生装置において、例えば、前記楽曲オーディオデータまたは前記シーケンスデータの再生と同期させてグラフィックデータを再生するための再生手段を更に備え、前記データファイルは、前記グラフィックデータを更に格納したことを特徴とする。
前記楽曲再生装置において、例えば、利用者の音声を入力するための音声入力手段と、前記音声入力手段により入力された音声を再生するための音声再生手段とを更に備えたことを特徴とする。
本発明に係るデータファイル制作ツールは、前記楽曲再生装置における前記データファイルを制作するためのものである。
【発明の効果】
【0013】
本発明によれば、楽曲オーディオデータを楽曲シーケンスデータで補完するので、楽曲オーディオデータから特定の歌唱音または伴奏音を消去する際に他の伴奏音が誤って消去されても、これに代わる楽音を挿入することができ、従って利用者にとって違和感のない演奏を実現することができる。
【発明を実施するための最良の形態】
【0014】
以下、図面を参照しながら、本発明の実施形態を説明する。
[第1実施形態]
図1は、本発明の第1実施形態に係る楽曲再生装置を搭載する携帯電話機の構成を示す図である。本楽曲再生装置は、概略的には、MP3等のオーディオデータ(楽曲オーディオデータ)とMIDIシーケンスデータ(楽曲シーケンスデータ)の再生機能を備えると共に、オーディオデータから歌唱音を消去するボイスキャンセル機能を備えている。また、上記MIDIシーケンスデータは、歌唱音を消去する際に歌唱音と共に消去される伴奏音を補完するために使用される。
【0015】
図1において、101は、各種の情報を表示するための表示部であり、102は、利用者が情報を入力するための各種のキーが配列された操作部である。103は、電話機または楽曲再生装置として必要とされる各種の処理を実行するためのプログラムが格納されたROM(Read Only Memory)であり、104は、上記処理の過程で発生するデータを一時的に格納するRAM(Random Access Memory)である。
【0016】
105は、アンテナ105Aを介した無線通信のための変調/復調処理を実行する無線通信部である。106は、通話用マイク106Aを介して受信された音声信号を符号化して無線通信部105へ出力すると共に、無線通信部105で復調されたデジタル音声データを復号化してスピーカ106Bに出力する音声処理部である。106Cは、利用者が本携帯電話機を楽曲再生装置として機能させてカラオケを楽しむ際に使用する歌唱用マイク(音声入力手段)である。歌唱用マイク106Cとして、通話用マイク106Aを代用することも可能である。上記音声処理部106は、上記音声デジタルデータの符号化/複号化に加え、歌唱用マイク106Cを介して入力される音声信号の増幅機能も備えている。
【0017】
108は、マイクロハードディスク等からなるデータディスクであり、本携帯電話機に搭載された楽曲再生装置により再生される楽曲データファイルが格納される。この楽曲データファイルは、後述するように、マルチメディアデータフォーマットに準拠しており、一般に流通しているCDに収録されているデータと同様の歌唱付きのオリジナルのオーディオデータ等を含んでいる。
【0018】
109は、ROM103に格納されたプログラムに基づき各種の処理を実行して携帯電話機(楽曲再生装置)の各部を制御するCPU(Central Processing Unit)である。このCPU109は、携帯電話機が楽曲再生装置として機能する場合にはプレイヤー機能を実現し、とりわけMIDIシーケンスデータの再生時には後述の音源を制御するシーケンサとして機能する。110は、オーディオデータの再生に必要な処理を実行するDSP(Digital Signal Processor)であり、上述のボイスキャンセル機能もDSP110で実現される。
【0019】
111は、MIDIイベントデータをリアルタイムに解釈して楽音データを生成する音源である。この音源111は、例えば、FM(Frequency Modulation)音源、WT(Wave Table)音源であり、ソフトウェア又はハードウェアとして実装される。112は、デジタル量の楽音データをアナログ量の楽音信号に変換するD/A変換器であり、113は、楽音信号を入力して楽音を放音するスピーカである。上記各構成要素は、バス114を介して相互に接続されている。
【0020】
なお、本実施形態に係る携帯電話機は、電話機としての基本的な機能に加え、電子メールによりデータファイルを送受信する通信機能や、インターネット経由でデータファイルをアップロード/ダウンロードする通信機能を備えている。上述のデータディスク108に格納された楽曲データファイルとして、上記通信機能を利用してインターネット上の楽曲配信サイトからダウンロードされたものを用いることもできる。
【0021】
図2は、本実施形態に係る携帯電話機に搭載された楽曲再生装置の機能ブロック図であり、上述の図1に示す構成要素と共通する要素には同一符号を付している。
図2において、200は、データディスク108に格納された楽曲のデータファイルである。このデータファイル200の中には、オーディオデータとMIDIシーケンスデータとが、時間軸で同期できるように、即ち再生時に各楽音が同期するように、SMAF(Synthetic music Mobile Application Format)等の所定のマルチメディアデータフォーマットで制作(作成)されて格納されている。
【0022】
本実施形態では、データファイル200に格納されるオーディオデータは、例えば一般に市販されているCDに収録されているデータと同様の歌唱つきのオリジナルのオーディオデータであり、本楽曲再生装置は、このオリジナルのオーディオデータから歌唱音(もしくは特定の伴奏音)を消去してカラオケ用のオーディオデータを生成して再生する。また、データファイル200に格納されるMIDIシーケンスデータは、オリジナルのオーディオデータから歌唱音を消去する際に歌唱音と共に消去される伴奏音を補完するためのデータであり、データファイル200を制作する段階で、上記歌唱音と共に消去される伴奏音を予め推定して制作されたものである。このようなデータファイル200の制作ツールとしては、既存の楽曲用オーサリングツールを用いることができる。
【0023】
図3に、上述の楽曲用オーサリングツール上の表示画面の一例を示す。この例は、オーディオデータによる楽音波形(上段)と、これを補完するためのMIDIデータ(下段)との時間上の対応関係を示す。同図において、横軸は時間軸であり、演奏上の時刻に対応する。この例では、上段のオーディオデータは、歌唱音と共に消去されると推定される例えばバスドラムによる伴奏音であり、下段のMIDIデータは、バスドラムを補完する楽音データである。
【0024】
データファイルの制作者は、同図に示すように、オーディオデータの音量振幅のピーク(打音の時刻位置)に対応づけて、バスドラムの発音を制御するMIDIデータを画面上に配置する。これにより、仮にオーディオデータからバスドラムの伴奏音が消去されたとしても、MIDIデータでバスドラムの伴奏音を補完することが可能になる。このような楽曲用オーサリングツールによれば、MIDIデータを含むデータファイル200の制作作業をGUI上で容易に行うことができる。
【0025】
図4に、上述のデータファイル200のマルチメディアデータフォーマットの一例を示す。同図に示すように、このデータフォーマットによれば、各データはチャンク(chunk)単位で管理され、このデータフォーマットのデータファイルは、コンテンツ情報チャンク200A、MIDIトラックチャンク200B、オーディオトラックチャンク200C、グラフィックトラックチャンク200Dを含む。このうち、コンテンツ情報チャンク200Aには、コンテンツの種別やコンテンツ複製許可等のファイル管理用のデータなどの楽曲データの固有情報が格納される。
【0026】
また、MIDIトラックチャンク200Bには、セットアップデータチャンク及びシーケンスデータチャンクが含まれる。このうち、セットアップデータチャンクには、MIDIトラックチャンク全体における設定パラメータ、音色パラメータ、エフェクトデータ等が格納され、シーケンスデータチャンクには、音源111によって再生されるMIDIシーケンスデータ等が格納される。ここで、MIDIシーケンスデータとは、時間情報を持つMIDIイベントを規定するデータの集合体である。MIDIイベントとしては、例えば、発音イベント(ノートオン/オフ)、音色イベント(プログラムチェンジ)、音量変更やパンポット変更のためのイベント(コントロールチェンジ)、ピッチ変更イベント(ピッチチェンジ)等がある。
【0027】
オーディオトラックチャンク200Cには、セットアップデータチャンクと複数のオーディオデータチャンク(#1〜#n)が含まれる。このうち、セットアップデータチャンクには、オーディオトラック全体における設定パラメータが格納され、オーディオデータチャンクには、サンプリングされたオーディオデータと、その発音を制御するためのシーケンスデータが格納される。オーディオトラックチャンク200C内のオーディオデータは、MP3形式やAAC形式等の特定の圧縮オーディオフォーマットで圧縮されている。オーディオデータのヘッダーには、オーディオデータの種類、サンプリング周波数、ビット等の情報が格納される。
【0028】
また、オーディオトラックチャンク200C内のシーケンスデータは、時間に同期して発音/消音するためにオーディオデータと結び付けられたイベントと、タイミングを指定するためのデュレーション(duration)から構成される。このシーケンスデータには、音量変更やパンポット変更のためのイベント等も含まれる。
【0029】
オーディオトラックチャンク200C内では、各オーディオデータチャンクに対してIDを割り当てることで各オーディオデータチャンクが管理され、このIDによってシーケンスデータの発音イベントと関連づけられる。なお、オーディオデータに同期して後述のグラフィックトラックチャンクに格納されたグラフィック(画像)やテキストを表示させることも可能である。
【0030】
グラフィックトラックチャンク200Dには、セットアップデータチャンク、シーケンスデータチャンク、フォントデータチャンク、イメージデータチャンクが含まれる。このうち、セットアップデータチャンクには、グラフィックトラックチャンク全体における設定パラメータが格納される。シーケンスデータチャンクには、表示部101に画像を表示するための描画シーケンスデータが格納される。この描画シーケンスデータは、座標を指定するための数値表現(coordinate)と表示タイミングや表示時間長を指定するための数値表現(duration)で表され、テキストや画像を時間に同期して表示/消去するためのシーケンスが記述される。
【0031】
グラフィックトラックチャンク200Dは複数の仮想プレーンを持つ表示デバイスを想定しており、このグラフィックトラックチャンク200Dには、各仮想プレーンに対応したシーケンスデータチャンクを複数格納することができる。この場合、表示部101には、複数の仮想プレーンを合成した結果が表示される。
フォントデータチャンクにはフォントデータが格納され、イメージデータチャンクにはイメージデータが格納される。これらグラフィックデータ(イメージデータ、フォントデータ)は、上記オーディオデータ及びMIDIシーケンスデータの再生と同期して表示される。
【0032】
ここで、説明を図2に戻す。
202は、上述のCPU109により実現されるプレイヤーであり、データディスク108からデータファイル200を読み込んで管理すると共にその再生制御を行うものである。このプレイヤー202により、データファイル200に含まれるオーディオデータとMIDIシーケンスデータとが、それぞれ、後述のオーディオデコーダまたはシーケンサに適応的に振り分けられて再生される。
【0033】
203は上述のDSP110により実現されるオーディオデコーダであり、MP3やAAC等の特定の圧縮オーディオフォーマットで圧縮されたオーディオデータをリニアなオーディオフォーマットのデータにリアルタイムにデコードするものである。204は同じくDSP110により実現される歌唱音消去モジュールであり、オーディオデータから歌唱音を消去するためのボイスキャンセル処理を実行するものである。これらオーディオデコーダ203及び歌唱音消去モジュール204により、オリジナルのオーディオデータから歌唱音を消去して該オーディオデータを再生する第1再生手段が構成される。
【0034】
図5に、歌唱音消去モジュール204の構成例を示す。
同図に示す例では、右チャンネルの入力データ信号Rinを反転回路204Aにより位相反転させ、この反転結果を加算器204Hにより左チャンネルの入力データ信号Linと加算することにより、左チャンネルの入力データ信号Linから右チャンネルの入力データ信号Rinを減算し、センターに定位する歌唱音を含む信号成分を消去する。そして、一次のIIRからなるローパスフィルタ204Dとハイパスフィルタ204Eとにより得られるバンドパス特性により、音声帯域の非センター成分を抽出する。
【0035】
また、IIRからなるローパスフィルタ204Bとハイパスフィルタ204Cとにより、左チャンネルの入力データ信号Linの非音声帯域成分を抽出する。このうち、ハイパスフィルタ204Cにより抽出された非音声帯域成分は、加算器204Jにより上述の音声帯域の非センター成分と加算される。この加算結果は、加算器204Iにより、上述のローパスフィルタ204Bにより抽出された左チャンネルの非音声帯域成分と加算され、この加算結果が左チャンネルの出力データ信号Loutとされる。
【0036】
同様に、IIRからなるローパスフィルタ204Fとハイパスフィルタ204Gとにより、右チャンネルの入力データ信号Rinの非音声帯域成分を抽出して、上述の音声帯域の非センター成分を加算器204K,204Lにより加算することにより、右チャンネルの出力データ信号Routを得る。
以上により、歌唱音が消去された左チャンネル及び右チャンネルの各オーディオデータが得られる。なお、この例では、センターに定位する歌唱音を消去する場合を例として説明したが、反転回路204Aの反転パラメータを調整してパンニング量を制御すれば、任意の位置に定位する伴奏音を選択的に消去することも可能である。
【0037】
ここで、説明を再び図2に戻す。
205は上述のDSP110により実現されるピッチチェンジ部であり、利用者の発声帯域に合うように楽曲のピッチ(音高)を変更するためのものである。
206は上述のCPU109により実現されるシーケンサであり、プレイヤー202により振り分けられたMIDIシーケンスデータに基づき音源111による発音処理を制御するためのものである。CPU109がROM103に記憶されたシーケンサプログラムを実行することにより、シーケンサ206の機能が実現される。シーケンサ206は、プレイヤー202から振り分けられたMIDIシーケンスデータに基づき適切なタイミングでMIDIイベントデータを音源111に出力する。
【0038】
音源111は、楽音合成処理用LSI(大規模集積回路)により実現され、音源回路111Aとミキサー111Bとを含む。このうち、音源回路111Aは、シーケンサ206から順次供給されるMIDIイベントデータに含まれるノートオン、ノートオフ、ノートナンバ、ベロシティ、音色等のMIDIの各パラメータに基づき楽音データを生成するものである。ミキサー111Bは、上述のピッチチェンジ部205から出力されたオーディオデータに、音源回路111Aから出力された楽音データをミキシング(合成)するものである。
【0039】
上述のシーケンサ206と音源回路111Aとにより、オーディオデータと同期させてMIDIシーケンスデータを再生する第2再生手段が構成される。
ミキサー111Bから出力されたデジタルデータは、D/A変換器112でアナログ信号に変換され、D/A変換器208から出力されたアナログ信号は、図示しない増幅器により増幅されてスピーカ113に供給される。
【0040】
なお、特に図示しないが、本楽曲再生装置は画像再生手段を更に備える。この画像表示手段は、データファイル200のMIDIトラックチャンク200B及びオーディオトラックチャンク200Cにそれぞれ格納されたMIDIシーケンスデータ及びオーディオデータの再生と同期させて、グラフィックトラックチャンク200Dに格納されたグラフィックデータ(フォントデータ、イメージデータ)を再生して表示部101に表示するものである。
【0041】
次に、図6に示すフローに沿って、本実施形態に係る楽曲再生装置の動作を説明する。
ここでは、本楽曲再生装置をカラオケ装置として機能させる場合を説明する。
利用者が操作部102を使用して歌唱曲選択指示を行うと、プレイヤー202は、データディスク108から該当するデータファイル200を読み出す(ステップS601)。
【0042】
続いて、利用者が操作部102を操作して歌唱曲再生指示を行うと、プレイヤー202は、上述のステップS601で読み出したデータファイル200の再生処理を開始し(ステップS602)、そして、データファイル200の各チャンク内に格納されたシーケンスデータに従って各時刻に行うべき処理を判断し、処理すべきデータの種類に応じて、当該データをオーディオデコーダ203またはシーケンサ206に振り分ける(ステップS603)。
【0043】
ここで、プレイヤー202は、データファイル200のオーディオトラックチャンク200C内に格納されたオーディオデータを処理する場合、このオーディオデータをオーディオデコーダ203へ出力する。オーディオデコーダ203は、入力したオーディオデータをリニアなオーディオデータフォーマットにリアルタイムでデコードする(ステップS604)。オーディオデコーダ203でデコードされたオーディオデータは、歌唱音消去モジュール204へ出力される。歌唱音消去モジュール204は、入力したオーディオデータから歌唱音を消去するボイスキャンセル処理を行い(ステップS605)、歌唱なしのオーディオデータを生成する。
【0044】
なお、図4に示すデータフォーマットのデータファイルに、歌唱音を消去する期間(例えば、歌唱曲の開始からの時間)を指定するデータを加えることにより、歌唱音消去モジュール204が、指定された期間内のオーディオデータに対して選択的にボイスキャンセル処理を行うようにすることも可能である。また、図1に示す表示部101の画面にボイスキャンセル処理のオン/オフを選択するためのボタンを表示し、歌唱曲の再生中に利用者が操作部102を操作してボイスキャンセル処理のオン/オフを指示することも可能である。利用者の指示により歌唱音消去モジュール204はボイスキャンセル処理を実行または停止する。
【0045】
ボイスキャンセル処理のための構成としては、本実施形態では図5に示すものを採用しているが、この構成によれば、歌唱音を消去する過程で行われる帯域制限等の処理により、歌唱音のみならず、同じ帯域の伴奏音をも消去する場合があり、伴奏音の音質に影響を与えるおそれがある。しかし、歌唱音を消去する期間を指定するための上記データにより、例えば歌唱音が存在する区間のみをボイスキャンセル処理の区間として指定すれば、歌唱音と共に消去される伴奏音を最小限に抑えることができる。
【0046】
説明を図6のフローに戻す。
歌唱音消去モジュール204から出力された歌唱なしのオーディオデータは、ピッチチェンジ部205へ出力される。ピッチチェンジ部205は、入力したオーディオデータのピッチチェンジ処理を行い(ステップS606)、利用者が操作部102を操作して指示したピッチ(音高)に変更する。ピッチが変更された歌唱なしのオーディオデータは、音源111内のミキサー111Bに出力される。
【0047】
一方、上述のステップS603において、プレイヤー202は、データファイル200のMIDIトラックチャンク内に格納されたMIDIシーケンスデータを処理する場合、このMIDIシーケンスデータをシーケンサ206へ出力する。シーケンサ206は、入力したMIDIシーケンスデータに基づきシーケンス処理を行い(ステップS607)、所定のタイミングでMIDIイベントデータを音源111内の音源回路111Aに出力する。即ち、トラック毎にデュレーションをカウントし、カウントを終了したタイミングでMIDIイベントデータを出力する。
【0048】
音源回路111Aは、シーケンサ206から入力したMIDIイベントデータを解釈して楽音データを生成する(ステップS608の音源再生処理)。この生成された楽音データはミキサー111Bに出力される。
ミキサー111Bは、前述のピッチチェンジ部205から入力する歌唱なしのオーディオデータに、音源回路111Aから入力する楽音データをミキシング(合成)して(ステップS609)、これをD/A変換器112に出力する。
【0049】
ここで、音源回路111Aから出力される楽音データは、上述の歌唱音消去モジュール204でのボイスキャンセル処理により歌唱音と共に消去される伴奏音に対応するデータであるから、ミキサー111Bによりオーディオデータに楽音データを合成して得られるデータは、ボイスキャンセル処理により歌唱音と共に消去された伴奏音が補完された歌唱なしのオーディオデータとなる。
【0050】
ミキサー111Bにより楽音データが合成されたオーディオデータは、D/A変換器112によりアナログ信号に変換され、図示しない増幅器で増幅された後にスピーカ113に供給され、このスピーカ113から歌唱音のない楽曲が放音される。
楽曲の再生が終了していなければ(ステップS610:NO)、処理は、ステップS603に戻り、再生すべきデータが尽きるまで上述のステップS603〜S609を繰り返し実行する。
【0051】
なお、プレイヤー202は、グラフィックトラックチャンク200D内のイメージデータを処理する場合、CPU109により実現される図示しないイメージデコーダへイメージデータを出力する。イメージデコーダは、プレイヤー202から入力したイメージデータ(例えば、JPEG形式やPNG形式で圧縮されている)を表示部101に画像を表示するためのデータにデコードする。
【0052】
また、グラフィックトラックチャンク内のフォントデータ(テキストデータ)を処理する場合には、プレイヤー202はCPU109により実現される図示しないフォントデコーダへフォントデータを出力する。フォントデコーダは、プレイヤー202から入力したフォントデータを、表示部101に歌詞(テキスト)を表示するためのデータにデコードする。デコードされたイメージデータ及びフォントデータは、図示しない描画モジュールにより、プレイヤー202から出力された描画シーケンスデータに従って、歌詞(テキスト)のワイプや画像の移動、表示切り替え等の処理が施され、表示部101に表示される。
【0053】
以上により、ボイスキャンセル処理により歌唱音と共に消去されたオーディオデータの伴奏音がMIDIシーケンスデータで補完されて、違和感のないカラオケ用の楽曲がスピーカ113から放音される。利用者は、スピーカ113から放音される楽曲に合わせて、マイク106Cを使用して歌唱する。この歌唱音の音声信号は音声処理部106により増幅されてスピーカ113から楽曲と共に放音される。
【0054】
このように、本実施形態に係る楽曲再生装置によれば、歌唱つきのオーディオデータから歌唱音が消去された楽曲を再生することができ、利用者は、歌唱用のマイク106Cを使用して、表示部101に表示される歌詞(テキスト)や画像を見ながらカラオケを楽しむことができる。
また、カラオケで用いるオーディオデータは、オリジナルの歌唱つきのCDに収録されているデータと同様のオーディオデータであるため、利用者はオリジナルのCDと同様の伴奏で歌唱することができる。
さらにまた、音楽鑑賞用とカラオケ用とで複数のオーディオデータを用意する必要がなくなり、一つのオーディオデータを音楽鑑賞とカラオケの双方に用いることができる。
【0055】
[第2実施形態]
次に、本発明の第2実施形態を説明する。
図7に、第2実施形態に係る楽音再生装置の機能ブロック図を示す。図7において、上述の図2に示す第1実施形態に係る楽音再生装置と同様の要素には同一符号を付す。
本実施形態では、データディスク108に格納されたデータファイル700は、オリジナルの歌唱つきのオーディオデータと、その伴奏音を補完するためのMIDIシーケンスデータとを含む点で第1実施形態のデータファイル200と共通するが、これらオーディオデータとMIDIシーケンスデータは、時間軸で同期するようには配慮して制作されていない点でデータファイル200と相違する。例えば、ドラム音のMIDIデータであれば、所定のテンポでドラム音を発音する様に制作されたシーケンスデータである。ただし、データファイル700は、第1実施形態と同様に、図4に示すマルチメディアデータフォーマットに準拠したものである。
【0056】
また、本実施形態の楽曲再生装置はビート抽出部701を更に備えると共に、上述の図2に示す第1実施形態に係るシーケンサ206に代えてシーケンサ702を備える。ここで、ビート抽出部701は、オーディオデータから楽曲のビートを抽出するものであり、シーケンサ702は、プレイヤー202によって振り分けられたMIDIシーケンスデータを、ビート抽出部701によって抽出されたビートと同期させて再生するものである。その他の構成は上述の第1実施形態に係る楽音再生装置と同様である。
【0057】
次に、図8に示すフローに沿って、本実施形態に係る楽曲再生装置の動作を説明する。
ここでも、本楽曲再生装置をカラオケ装置として機能させる場合を説明するが、プレイヤー202、オーディオデコーダ203、歌唱音消去モジュール204、ピッチチェンジ部205、音源111、D/A変換器112、スピーカ113については上述の第1実施形態と同様であるので、ここでは、本実施形態の特徴部であるビート抽出部701に着目して説明する。
【0058】
上述の第1実施形態と同様に、プレイヤー202は、利用者が歌唱曲の選択指示を行うと、データファイル700を読み出し(ステップS601)、利用者が歌唱曲の再生指示を行うと、データファイル700の再生処理を開始し(ステップS602)、再生処理すべきデータをオーディオデコーダ203またはシーケンサ702に振り分ける(ステップS603)。オーディオデコーダ203は、プレイヤー202から入力したオーディオデータをリニアなオーディオデータにデコードする(ステップS604)。この後のボイスキャンセル処理(ステップS605)及びピッチチェンジ(ステップS606)についても第1実施形態と同様である。
【0059】
ビート抽出部701は、オーディオデコーダ203でデコードされたリニアなオーディオデータから楽曲のビートを抽出してビート情報を取得する(ステップS801)。ビートの抽出方法としては周知の技術を利用することができる。例えば、リニアなオーディオデータから音量振幅波形(エンベロープ波形)のピークを検出し、そのピーク間隔から最小ビートを抽出する方法を使用することができる。この方法によれば、小節単位でビートを抽出することも可能である。また、音量振幅波形を平滑化(平均化)することにより、ビートの抽出を安定的に行うことができる。更に、オーディオデータの周波数特性に基づき音源分離(フィルタリング)を行い、例えばドラム音の周波数特性からドラムの伴奏音波形を抽出し、上記の音量振幅波形のピークを検出するようにすれば、より一層精度よくビートを抽出することができる。
【0060】
シーケンサ702は、プレイヤー202から入力したMIDIシーケンスデータに基づきシーケンス処理を行ってMIDIイベントデータを生成する(ステップS802)。このとき、シーケンサ702は、上述のビート抽出部701で得られたビート情報でシーケンス時刻を補正する。つまり、シーケンサ702は、MIDIシーケンスデータ中のMIDIイベントデータが、抽出されたビートと同じタイミングになる様にシーケンス時刻を補正する。これにより、上述のオーディオデコーダ203でデコードされたリニアなオーディオデータに同期した適切なタイミングで、MIDIイベントデータが音源回路111Aに出力される。
【0061】
ここで、本実施形態では、プレイヤー202からシーケンサ702に振り分けられるMIDIシーケンスデータは、前述のように、時間軸上でオーディオデータと同期されるように制作されてはいないが、シーケンサ702は、ビート抽出部701によって得られたオーディオデータのビート情報でシーケンス時刻を補正することにより、オーディオデータのビートと同期させてMIDIイベントデータを出力する。これにより、歌唱なしのオーディオデータによる楽音とMIDIイベントデータによる伴奏音とが互いに同期した状態となり、伴奏音が補完された歌唱なしのオーディオデータが得られる。
【0062】
以上により、ボイスキャンセル処理により歌唱音と共に消去されたオーディオデータの伴奏音が、オーディオデータの楽曲のビートに同期した適切なタイミングでMIDIシーケンスデータにより補完され、違和感のないカラオケ用の楽曲として再生される。
このように、本実施形態に係る楽曲再生装置によれば、上述の第1実施形態による効果に加え、ビート抽出部701により得られたビート情報を用いてオーディオデータにMIDIイベントデータを同期させるので、予めオーディオデータとMIDIシーケンスデータとを時間軸で同期するようにデータファイルを制作する必要がなくなる。従って、データファイルの構成を簡略化することが可能になる。
【0063】
[第3実施形態]
次に、上述の図7を援用して、本発明の第3実施形態を説明する。
本実施形態に係る楽曲再生装置は、基本的には、上述の図7に示す第2実施形態に係る楽曲再生装置と同様であるが、補完用のMIDIシーケンスデータがデータファイル700には格納されておらず、例えば携帯電話機を構成する図1に示すRAM104に予め格納されている。即ち、RAM104には、上述の歌唱音消去モジュール204によるボイスキャンセル処理を行った場合に歌唱音と共に消去される伴奏音のMIDIシーケンスデータが予め格納されている。RAM104に格納されたMIDIシーケンスデータは、携帯電話機のメーカにより予めプリセットされているものでもよいが、携帯電話機の利用者が独自に制作したものでもよい。さらに、無線通信部105等を介して外部よりダウンロードしたものでもよい。その他の構成は、上述の第2実施形態に係る楽曲再生装置と同様である。
【0064】
本実施形態では、楽曲によりボイスキャンセル処理にて消去される伴奏音は様々であるので、オーディオデータによる楽曲とMIDIシーケンスデータによる伴奏音とのマッチングをとる必要がある。そのため、RAM104に格納されるMIDIシーケンスデータに種別情報を付加すると共に、データディスク108内のデータファイルのオーディオデータには、補完に使用するMIDIシーケンスデータの種別情報を予め付加しておく。ただし、利用者の指示により、補完に使用するMIDIシーケンスデータの種別を変更し、或いはMIDIシーケンスデータによる楽音の音量をコントロールするための手段を設けてもよい。
【0065】
次に、図9に示すフローに沿って、本実施形態に係る楽音再生装置の動作を説明する。
ここでも、本楽曲再生装置をカラオケ装置として機能させる場合を説明する。
上述の第2実施形態と同様に、プレイヤー202は、利用者が歌唱曲選択指示を行うと、データディスク108から該当するデータファイルを読み出し(ステップS601)、利用者が歌唱曲再生指示を行うと、データファイルの再生処理を開始する(ステップS602)。
【0066】
プレイヤー202は、データファイルの各チャンク内に格納されたシーケンスデータに従ってオーディオデータをオーディオデコーダ203に振り分けると共に、このオーディオデータに付加されたMIDIシーケンスデータの種別情報を参照して、RAM104から該当するMIDIシーケンスデータを読み出し、これをシーケンサ702に振り分ける(ステップS901)。以下は上述の第2実施形態と同様である。
【0067】
本実施形態に係る楽曲再生装置によれば、MIDIシーケンスデータをオーディオデータに付加したデータファイルを制作する必要はないため、データファイルを簡略化することができる。また、利用者がRAM104に格納されたMIDIシーケンスデータの種別を変更することにより、オーディオデータの伴奏音を補完するためのMIDIシーケンスデータを利用者が自由に決定することができる。従って、利用者の趣向に合わせて、多様な伴奏音のMIDIシーケンスデータでオーディオデータを補完することが可能になる。
【0068】
以上、本発明の実施形態を詳述したが、具体的な構成は本実施形態に限られるものではなく、本発明の要旨を逸脱しない範囲の設計変更等も含まれる。
例えば、上述の実施形態では、歌唱音消去モジュール204におけるボイスキャンセル処理により歌唱音を消去する場合を例として説明したが、これに限定されることなく、歌唱音以外の伴奏音を消去し、この伴奏音と共に消去される他の伴奏音の楽音をMIDIシーケンスデータで補完するようにしてもよい。この場合、歌唱音消去モジュール204は、歌唱音以外の伴奏音の楽音を消去する例えば「特定楽音消去モジュール」として構成され、そのモジュールの名称は本発明の本質を限定するものではない。
【0069】
また、上述の実施形態では、MIDIシーケンスデータを例に説明したが、これに限定されることなく、時間情報に従って一連の発音処理に関するイベントを制御するデータであれば、どのようなシーケンスデータであってもよい。
また、上述の実施形態では、データファイルに格納されたオーディオデータは、MP3やAAC等で圧縮されたものであるとしたが、これに限定されることなく、圧縮されないリニアなオーディオデータを入力するものとしてもよい。この場合、オーディオデコーダは省略できる。
【図面の簡単な説明】
【0070】
【図1】本発明の第1実施形態に係る携帯電話機の構成図である。
【図2】本発明の第1実施形態に係る携帯電話機に搭載された楽曲再生装置の機能ブロック図である。
【図3】本発明の第1実施形態に係る楽曲用オーサリングツールの説明図である。
【図4】本発明の第1実施形態に係るマルチメディアデータフォーマットの一例を示す図である。
【図5】本発明の第1実施形態に係る歌唱音消去モジュールの構成図である。
【図6】本発明の第1実施形態に係る楽曲再生装置の動作の流れを示すフローチャートである。
【図7】本発明の第2実施形態に係る楽曲再生装置の機能ブロック図である。
【図8】本発明の第2実施形態に係る楽曲再生装置の動作の流れを示すフローチャートである。
【図9】本発明の第3実施形態に係る楽曲再生装置の動作の流れを示すフローチャートである。
【符号の説明】
【0071】
101;表示部、102;操作部、103;ROM、104;RAM、105;無線通信部、105A;アンテナ、106;音声処理部、106A;通話用マイク、106B;通話用スピーカ、106C;歌唱用マイク、108;データディスク、109;CPU、110;DSP、111;音源、111A;音源回路、111B;ミキサー、112;D/A変換器、113;スピーカ、200,700;データファイル、202;プレイヤー、203;オーディオデコーダ、204;歌唱音消去モジュール、205;ピッチチェンジ部、206,702;シーケンサ、701;ビート抽出部。
【特許請求の範囲】
【請求項1】
楽曲オーディオデータと楽曲シーケンスデータとが再生時に同期するように所定のデータフォーマットで格納されたデータファイルを再生するための楽曲再生装置であって、
前記楽曲オーディオデータから楽曲の特定の歌唱音または伴奏音を消去して該楽曲オーディオデータを再生する第1再生手段と、
前記楽曲オーディオデータと同期させて前記楽曲シーケンスデータを再生する第2再生手段と
を備えた楽曲再生装置。
【請求項2】
楽曲オーディオデータと楽曲シーケンスデータとが所定のデータフォーマットで格納されたデータファイルを再生するための楽曲再生装置であって、
前記楽曲オーディオデータから楽曲のビートを抽出するビート抽出手段と、
前記楽曲オーディオデータから楽曲の特定の歌唱音または伴奏音を消去して該楽曲オーディオデータを再生する第1再生手段と、
前記ビート抽出手段によって抽出されたビートと同期させて前記楽曲シーケンスデータを再生する第2再生手段と
を備えた楽曲再生装置。
【請求項3】
楽曲オーディオデータが所定のデータフォーマットで格納されたデータファイルを再生するための楽曲再生装置であって、
楽曲シーケンスデータを予め記憶する記憶手段と、
前記楽曲オーディオデータから楽曲のビートを抽出するビート抽出手段と、
前記楽曲オーディオデータから楽曲の特定の歌唱音または伴奏音を消去して該楽曲オーディオデータを再生する第1再生手段と、
前記記憶手段から前記楽曲シーケンスデータを読み出し、該楽曲シーケンスデータを、前記ビート抽出手段によって抽出されたビートと同期させて再生する第2再生手段と
を備えた楽曲再生装置。
【請求項4】
前記楽曲シーケンスデータは、前記楽曲オーディオデータから前記特定の歌唱音または伴奏音と共に消去される他の伴奏音を補完するためのデータであることを特徴とする請求項1乃至3の何れか1項記載の楽曲再生装置。
【請求項5】
前記楽曲オーディオデータまたは前記楽曲シーケンスデータの再生と同期させてグラフィックデータを再生するための再生手段を更に備え、
前記データファイルは、前記グラフィックデータを更に格納したことを特徴とする請求項1乃至4の何れか1項記載の楽曲再生装置。
【請求項6】
利用者の音声を入力するための音声入力手段と、
前記音声入力手段により入力された音声を再生するための音声再生手段と
を更に備えたことを特徴とする請求項1乃至5の何れか1項記載の楽曲再生装置。
【請求項7】
請求項1乃至6の何れか1項記載のデータファイルを制作するためのデータファイル制作ツール。
【請求項1】
楽曲オーディオデータと楽曲シーケンスデータとが再生時に同期するように所定のデータフォーマットで格納されたデータファイルを再生するための楽曲再生装置であって、
前記楽曲オーディオデータから楽曲の特定の歌唱音または伴奏音を消去して該楽曲オーディオデータを再生する第1再生手段と、
前記楽曲オーディオデータと同期させて前記楽曲シーケンスデータを再生する第2再生手段と
を備えた楽曲再生装置。
【請求項2】
楽曲オーディオデータと楽曲シーケンスデータとが所定のデータフォーマットで格納されたデータファイルを再生するための楽曲再生装置であって、
前記楽曲オーディオデータから楽曲のビートを抽出するビート抽出手段と、
前記楽曲オーディオデータから楽曲の特定の歌唱音または伴奏音を消去して該楽曲オーディオデータを再生する第1再生手段と、
前記ビート抽出手段によって抽出されたビートと同期させて前記楽曲シーケンスデータを再生する第2再生手段と
を備えた楽曲再生装置。
【請求項3】
楽曲オーディオデータが所定のデータフォーマットで格納されたデータファイルを再生するための楽曲再生装置であって、
楽曲シーケンスデータを予め記憶する記憶手段と、
前記楽曲オーディオデータから楽曲のビートを抽出するビート抽出手段と、
前記楽曲オーディオデータから楽曲の特定の歌唱音または伴奏音を消去して該楽曲オーディオデータを再生する第1再生手段と、
前記記憶手段から前記楽曲シーケンスデータを読み出し、該楽曲シーケンスデータを、前記ビート抽出手段によって抽出されたビートと同期させて再生する第2再生手段と
を備えた楽曲再生装置。
【請求項4】
前記楽曲シーケンスデータは、前記楽曲オーディオデータから前記特定の歌唱音または伴奏音と共に消去される他の伴奏音を補完するためのデータであることを特徴とする請求項1乃至3の何れか1項記載の楽曲再生装置。
【請求項5】
前記楽曲オーディオデータまたは前記楽曲シーケンスデータの再生と同期させてグラフィックデータを再生するための再生手段を更に備え、
前記データファイルは、前記グラフィックデータを更に格納したことを特徴とする請求項1乃至4の何れか1項記載の楽曲再生装置。
【請求項6】
利用者の音声を入力するための音声入力手段と、
前記音声入力手段により入力された音声を再生するための音声再生手段と
を更に備えたことを特徴とする請求項1乃至5の何れか1項記載の楽曲再生装置。
【請求項7】
請求項1乃至6の何れか1項記載のデータファイルを制作するためのデータファイル制作ツール。
【図1】
【図2】
【図3】
【図4】
【図5】
【図6】
【図7】
【図8】
【図9】
【図2】
【図3】
【図4】
【図5】
【図6】
【図7】
【図8】
【図9】
【公開番号】特開2007−219000(P2007−219000A)
【公開日】平成19年8月30日(2007.8.30)
【国際特許分類】
【出願番号】特願2006−36814(P2006−36814)
【出願日】平成18年2月14日(2006.2.14)
【出願人】(000004075)ヤマハ株式会社 (5,930)
【Fターム(参考)】
【公開日】平成19年8月30日(2007.8.30)
【国際特許分類】
【出願日】平成18年2月14日(2006.2.14)
【出願人】(000004075)ヤマハ株式会社 (5,930)
【Fターム(参考)】
[ Back to top ]