楽曲再生において立体音響効果を付加する装置およびプログラム
【課題】 楽曲データが立体音響再生を想定して作成されたものでない場合であっても、この楽曲データを用いて立体音響再生を行うことを可能にする。
【解決手段】 立体音響効果付加処理１３では、楽曲記憶エリア６１内の楽曲データのうち操作部４１の操作によって指定された楽曲データを読み出し、この楽曲データに含まれる情報を用いて、立体音響再生の制御に用いる立体音響効果情報を生成し、立体音響効果情報の付加された楽曲データを楽曲記憶エリア６１に格納する。
【解決手段】 立体音響効果付加処理１３では、楽曲記憶エリア６１内の楽曲データのうち操作部４１の操作によって指定された楽曲データを読み出し、この楽曲データに含まれる情報を用いて、立体音響再生の制御に用いる立体音響効果情報を生成し、立体音響効果情報の付加された楽曲データを楽曲記憶エリア６１に格納する。
【発明の詳細な説明】
【技術分野】
【０００１】
この発明は、携帯電話端末の着信メロディなどの楽曲再生において立体音響効果を付加する装置およびプログラムに関する。
【背景技術】
【０００２】
携帯電話端末の普及に伴い、携帯電話端末のユーザ向けに着信メロディを配信するサービスが盛んに行われている。そして、最近の携帯電話端末のユーザは、着信メロディの再生に関しても臨場感を求めるようになってきている。このため、最近では立体音響再生機能を備えた携帯電話端末も提供されている。なお、この種の携帯電話端末は例えば特許文献１に開示されている。
【特許文献１】特開２００５−１０１９８８号公報
【特許文献２】特開平６−１６５２９９号公報
【発明の開示】
【発明が解決しようとする課題】
【０００３】
さて、立体音響再生機能を備えた携帯電話端末のユーザとしては、携帯電話端末に折角立体音響再生機能が備わっているのであるから、これを活用し、所望の着信メロディについて臨場感のある再生を楽しみたいところである。しかしながら、所望の着信メロディの楽曲データとして、立体音響再生用の楽曲データがなく、モノラル再生用の楽曲データしか携帯電話端末にダウンロードすることができない場合もあり得る。そのような場合、ユーザは、立体音響再生機能を利用した臨場感のある着信メロディの再生を楽しむことができないという問題があった。また、たとえ立体音響再生用の楽曲データであっても、付加されている立体音響効果が少なく、ユーザにとって物足りない場合もあった。
【０００４】
この発明は、以上説明した事情に鑑みてなされたものであり、楽曲データが立体音響再生を想定して作成されたものでない場合や立体音響効果の少ない立体音響再生用楽曲データである場合であっても、この楽曲データを用いて立体音響再生を行うことを可能にする技術的手段を提供することを目的とする。
【課題を解決するための手段】
【０００５】
この発明は、楽曲データを記憶する記憶手段と、前記記憶手段に記憶された楽曲データを構成する情報のうち所定の条件を満たす情報に基づいて、立体音響の再生の制御に用いる立体音響効果情報を生成し、立体音響効果情報の付加された楽曲データを出力する立体音響効果付加手段とを具備することを特徴とする立体音響効果付加装置を提供する。
かかる発明によれば、立体音響効果情報を含まない楽曲データであっても、その楽曲データに立体音響効果情報を付加し、立体音響再生を行うことができる。
この発明の実施の態様には、コンピュータを立体音響効果付加装置として機能させるプログラムをユーザに配布する、という態様も含まれる。また、この発明の実施の態様には、音源装置が、楽曲データに含まれる情報を用いて立体音響効果情報を生成し、立体音響の再生の制御を行うという態様も含まれる。
【発明を実施するための最良の形態】
【０００６】
以下、図面を参照し、この発明の実施の形態を説明する。
以下の各実施形態では、この発明に係る立体音響効果付加装置を携帯電話端末として具現した例を説明する。しかし、本発明に係る立体音響効果付加装置は、携帯電話端末の他、立体音響の再生が可能な音源を備えたパーソナルコンピュータなど、音楽を再生する各種の電子機器として具現可能である。
【０００７】
＜第１実施形態＞
図１は本実施形態に係る携帯電話端末１を含む通信システム全体の構成を示す図である。図１に示すように、各携帯電話端末１は、一般的な携帯電話端末と同様、在圏する基地局２を介して、電話網、インターネットなどを含む大規模ネットワーク３に接続可能である。大規模ネットワーク３には、着信メロディのデータベースを保有する配信サーバ４が接続されている。ユーザは、携帯電話端末１により配信サーバ４にアクセスし、所望の着信メロディの楽曲データを携帯電話端末１にダウンロードすることが可能である。
【０００８】
図２は本実施形態に係る携帯電話端末１の構成を示すブロック図である。ＣＰＵ１０は、携帯電話端末１全体を制御するプロセッサである。通信部２０は、携帯電話端末１からの発信または携帯電話端末１への着信の際に、ＣＰＵ１０による制御の下、アンテナ２１を介して基地局２との間に無線リンクを確立し、この無線リンクと大規模ネットワーク３とを介して通信相手装置（図示略）との間に通信リンクを確立し、通信相手装置との間で通信を行う装置である。音声処理部３０は、通話の際、通話相手の音声情報をＣＰＵ１０を介して受け取り、スピーカ３１に音として出力させ、マイク３２により得られるユーザの音声情報をＣＰＵ１０に引き渡す装置である。
【０００９】
操作部４１は、ユーザから各種のコマンドや情報を受け取るための装置であり、携帯電話端末１の操作面に設けられた各種の押しボタンおよびそれらの操作状態を検知するセンサにより構成されている。表示部４２は、ユーザに対して各種のメッセージなどの画像情報を提供する装置であり、ＬＣＤパネルなどにより構成されている。
【００１０】
音源部５０は、ＣＰＵ１０による制御の下、着信メロディ音などの楽音を表わすＬ、Ｒ２チャネルの楽音信号を形成し、スピーカ５１Ｌおよび５１Ｒに楽音として出力させる装置である。本実施形態における音源部５０は、ＣＰＵ１０により指定された仮想音源位置に音像が定位した楽音をスピーカ５１Ｌおよび５１Ｒから再生させる立体音響再生機能を有している。
【００１１】
図３は、音源部５０の構成例を示すブロック図である。この音源部５０は、ノート振り分け処理部５２と、ｍ個の楽音形成処理部５３と、仮想音源割り当て処理部５４と、ｎ個の仮想音源処理部５５と、加算器５６Ｌおよび５６Ｒとを有している。
【００１２】
ノート振り分け処理部５２は、楽音形成を指示する制御情報であるＮｏｔｅ Ｍｅｓｓａｇｅ（後述）をＣＰＵ１０から受け取った場合にそのＮｏｔｅ
Ｍｅｓｓａｇｅをｍ個の楽音形成処理部５３のいずれかに振り分ける処理を行う装置である。ここで、ｍ個の楽音形成処理部５３は、Ｃｈ＝０からＣｈ＝ｍ−１までの楽音形成チャネル番号を各々有している。一方、Ｎｏｔｅ
Ｍｅｓｓａｇｅは、その処理を行うべき楽音形成処理部５３を指定する楽音形成チャネル番号を含んでいる。ノート振り分け処理部５２は、ＣＰＵ１０から受け取ったＮｏｔｅ
Ｍｅｓｓａｇｅが含む楽音形成チャネル番号に基づき、振り分け先である楽音形成処理部５３を決定する。ｍ個の楽音形成処理部５３は、各々、ノート振り分け処理部５２を介して与えられるＮｏｔｅ
Ｍｅｓｓａｇｅに従って楽音信号を形成する装置である。
【００１３】
仮想音源割り当て処理部５４は、楽音形成処理部５３により形成された楽音信号をｎ個の仮想音源処理部５５のいずれかに振り分ける装置である。ここで、ｎ個の仮想音源処理部５５は、ＩＤ＝０からＩＤ＝ｎ−１までのＩＤを各々有している。ＣＰＵ１０は、ある楽音形成チャネルを持った楽音形成処理部５３により形成される楽音信号をいずれかの仮想音源処理部５５に処理させる際、その楽音形成チャネルと処理を行う仮想音源処理部５５のＩＤとを対応付ける３Ｄ
ｃｈ Ａｓｓｉｇｎ Ｍｅｓｓａｇｅ（後述）を音源部５０に供給する。仮想音源割り当て処理部５４は、この３Ｄ ｃｈ Ａｓｓｉｇｎ Ｍｅｓｓａｇｅが示す適切な仮想音源処理部５５に楽音信号を振り分ける。
【００１４】
各仮想音源処理部５５には、スピーカ再生音の音像の定位を指示する制御情報である３Ｄ ｐｏｓｉｔｉｏｎ（後述）がＣＰＵ１０から与えられる。各仮想音源処理部５５は、仮想音源割り当て処理部５４を介して与えられる１または複数チャネルの楽音信号に対し、３Ｄ
ｐｏｓｉｔｉｏｎが示す仮想音源位置に対応したパラメータを使用した演算処理（具体的には遅延処理および減衰処理を組み合わせたフィルタ処理）を施し、３Ｄ ｐｏｓｉｔｉｏｎが示す仮想音源位置にスピーカ再生音の音像を定位させるＬ、Ｒ２チャネルの楽音信号を生成する。
【００１５】
各仮想音源処理部５５により得られたＬ、Ｒ２チャネルの楽音信号は、加算器５６Ｌおよび５６Ｒにより、同一チャネルに対応したもの同士加算される。そして、加算器５６Ｌおよび５６Ｒから出力される各楽音信号は、スピーカ５１Ｌおよび５１Ｒに各々供給される。なお、任意の仮想音源位置に音像が定位した再生音を得るための信号処理は、周知のものであり、例えば特許文献２に開示されている。
【００１６】
図２において、記憶部６０は、ＣＰＵ１０により実行される各種のプログラムや各種のデータを記憶する装置であり、ＲＯＭやＲＡＭなどにより構成されている。記憶部６０は、各種の楽曲データを記憶する楽曲記憶エリア６１を有している。上述した配信サーバ４からダウンロードされる着信メロディの楽曲データはこの楽曲記憶エリア６１に記憶される。
【００１７】
本実施形態において楽曲記憶エリア６１に記憶される楽曲データは、ＳＭＦ（Standard MIDI
File）、ＳＭＡＦ（Synthetic music Mobile Application Format）などの演奏制御データ（シーケンスデータ）である。この種の演奏制御データにおいて、１つの演奏制御を指示する情報は、制御内容であるイベントを指示するイベント情報とイベントの実行タイミング、より詳しくは楽曲の先頭または先行するイベントの実行タイミングからの経過時間を指示するデュレーション情報の組により構成されている。
【００１８】
図４は、ＳＭＡＦ形式の楽曲データの内容を例示している。図４では、楽曲データに従って実行される各イベントが実行順に示されている。図４において、１つの行は、１つのイベント情報により指示されたイベントの内容と、そのイベント情報に先行するデュレーション情報により指示されたイベントの実行タイミングを表わしている。
【００１９】
図４に示す各行（イベント）において、“Ｅｖｅｎｔ”の欄の要素はイベント情報が指示するイベントの種類を、“Ｄｅｓｃｒｉｐｔｉｏｎ”の欄の要素はイベントの実行に当たって使用する各種のパラメータを示している。また、“Ｃｈ”の欄の要素は、イベントの適用が特定の楽音形成チャネルに限定される場合にそのチャネルを示している。また、“Ｔｉｃｋ”および“Ｔｉｍｅ”の各欄の要素は、イベントの実行タイミングを示している。ここで、“Ｔｉｍｅ”は、楽曲の開始からイベントの実行タイミングまでの実際の経過時間を表わすのに対し、“Ｔｉｃｋ”はその経過時間を所定周期のクロックのカウント値に換算した値である。“Ｄｕｒａｔｉｏｎ”の欄の要素は、そのイベントの実行タイミングを指示するデュレーション情報の値である。“Ｇａｔｅｔｉｍｅ”の欄の要素は、楽音形成を指示する制御情報であるＮｏｔｅ
Ｍｅｓｓａｇｅに特有の情報であり、発音の持続時間を指示する。
【００２０】
図４に示す楽曲データは、立体音響再生を想定して作成された楽曲データであり、立体音響再生を制御するためのイベント情報として、１個の３Ｄ ｐｏｓｉｔｉｏｎと、４個の３Ｄ
ｃｈ Ａｓｓｉｇｎを含む。ここで、３Ｄ ｐｏｓｉｔｉｏｎは、上述した通り、仮想音源位置を指示するイベント情報である。この例における３Ｄ ｐｏｓｉｔｉｏｎは、ＩＤ＝０である仮想音源処理部５５が宛先となっており、この仮想音源処理部５５に対し、仮想音源位置を、ユーザを基準として方位角−３０度、仰角０度の方角にあり、距離２ｍだけ離れた位置に初期位置から移動時間２０００Ｔｉｃｋを要して移動させることを指示している。この３Ｄ
ｐｏｓｉｔｉｏｎがＣＰＵ１０により音源部５０に与えられると、音源部５０におけるＩＤ＝０である仮想音源処理部５５では、３Ｄ ｐｏｓｉｔｉｏｎの指示通りに仮想音源位置を移動させる処理が開始される。なお、この例における３Ｄ
ｐｏｓｉｔｉｏｎは、仮想音源位置を移動させることを指示しているが、移動時間を０にすると、距離、方位角、仰角により定まる空間内の１点に仮想音源位置を固定させる旨を指示するイベント情報となる。
【００２１】
４個の３Ｄ ｃｈ Ａｓｓｉｇｎは、楽音形成チャネルｃｈが０〜３である楽音形成処理部５３が出力する各楽音信号をＩＤ＝０である仮想音源処理部５５に振り分けることを指示している。これらの３Ｄ
Ａｓｓｉｇｎの後には、０〜３の範囲の楽音形成チャネルの指定を伴う一連のＮｏｔｅ Ｍｅｓｓａｇｅがある。ＣＰＵ１０は、４個の３Ｄ ｃｈ Ａｓｓｉｇｎを音源部５０に送った後、これら一連のＮｏｔｅ
Ｍｅｓｓａｇｅを音源部５０に与える。この場合、音源部５０の仮想音源割り当て処理部５４は、楽音形成チャネルｃｈ＝０〜３の各楽音形成処理部５３においてＮｏｔｅ Ｍｅｓｓａｇｅに応じて形成された楽音信号を、３Ｄ
ｃｈ Ａｓｓｉｇｎに従い、ＩＤ＝０の仮想音源処理部５５に供給する。この仮想音源処理部５５は、上述した３Ｄ ｐｏｓｉｔｉｏｎを受け取っており、仮想音源位置を移動させる処理を既に開始している。従って、一連のＮｏｔｅ
Ｍｅｓｓａｇｅに応じて形成される各楽音信号は、この仮想音源処理部５５による処理を経ることにより、Ｌ、Ｒ２チャネルの楽音信号となってスピーカ５１Ｌおよび５１Ｒに与えられる。この結果、上述した３Ｄ
ｐｏｓｉｔｉｏｎに従って音像の定位が移動するスピーカ再生音が得られる。
【００２２】
以上のように、３Ｄ ｐｏｓｉｔｉｏｎおよび３Ｄ ｃｈ Ａｓｓｉｇｎは、立体音響再生の制御を行う役割を果たす。そこで、本実施形態では、これらのイベント情報を立体音響効果情報と呼ぶ。本実施形態において記憶部６０の楽曲記憶エリア６１には、このような立体音響効果情報を含む楽曲データも記憶され得るが、立体音響効果情報を含まない楽曲データも記憶され得る。本実施形態の特徴は、主に後者の楽曲データのために適切な立体音響効果情報を発生し、元の楽曲データに付加する仕組みを携帯電話端末１に持たせた点にある。
【００２３】
図２では、ＣＰＵ１０を表わすボックスの中に、ＣＰＵ１０により実行される各種の処理が示されている。これらは、ＣＰＵ１０が記憶部６０に記憶されたプログラムに従って実行する処理である。
【００２４】
通信制御処理１１は、発信、着信の際に、上述した通信リンクを確立するための処理を通信部２０に行わせるための制御や、通信部２０により受信される通話相手からの音声情報を音声処理部３０に引き渡し、また、音声処理部３０から供給される携帯電話端末１のユーザの音声情報を通信部２０により通話相手に送るための制御を行う処理である。また、この通信制御処理１１では、着信があった場合に、シーケンサ１２に対し、着信メロディの再生処理を指示する。
【００２５】
シーケンサ１２は、通信制御処理１１から着信メロディの再生指示が与えられた場合に、楽曲記憶エリア６１内の楽曲データのうちユーザによって予め指定された再生用の楽曲データを読み出し、楽曲データに従って、音源部５０に着信メロディ音の楽音信号を形成させる制御を行う処理である。さらに詳述すると、この処理では、楽曲データを読み出す際、あるイベント情報を読み出して音源部５０に送った後、デュレーション情報を読み出した場合には、そのデュレーション情報により指定された時間の経過を待って次のイベント情報を読み出す、という動作を繰り返し、音源部５０による楽音信号の形成の制御を行う。
【００２６】
立体音響効果付加処理１３では、楽曲記憶エリア６１内の楽曲データのうち操作部４１の操作によって指定された楽曲データを読み出し、適切な立体音響効果情報の付加された楽曲データに変換し、変換後の楽曲データを楽曲記憶エリア６１に格納する。立体音響効果付加処理１３のためのプログラムは、ある好ましい態様では、携帯電話端末１の製造時に、記憶部６０のＲＯＭに予め書き込まれる。他の態様において、立体音響効果付加処理１３のためのプログラムは、携帯電話端末１を購入したユーザがインターネット上の所定のサイトから記憶部６０にダウンロードする。
【００２７】
立体音響効果付加処理１３は、本実施形態に特有の処理である。この立体音響効果付加処理１３において実行可能な立体音響効果情報の付加のための処理には次の３種類がある。ユーザは、ＣＰＵ１０が立体音響効果付加処理１３を実行する際に、操作部４１の操作により、これらの処理のいずれか１つまたは複数の実行を指定することができる。
【００２８】
ａ．遠近効果付加処理
この遠近効果付加処理では、元の楽曲データに含まれる音の強弱情報（例えばベロシティ、ボリューム）を仮想音源位置までの距離に変換し、その距離だけユーザから離れたところに仮想音源位置を設定する立体音響効果情報を生成し、元の楽曲データに付加する。
【００２９】
ｂ．移動効果付加処理
この移動効果付加処理では、元の楽曲データに含まれるノート情報などの周期的な変化を抽出し、その変化の周期に同期させて仮想音源位置を周期的に移動させる立体音響効果情報を生成し、元の楽曲データに付加する。仮想音源位置を周期的に移動させる軌道は、ユーザの手前において左右方向に延びた直線軌道、ユーザを囲む円軌道、ユーザを囲む楕円軌道などが用意されており、これらの軌道に関する軌道定義情報（軌道上の各点の座標を演算するための関数など）が記憶部６０に記憶されている。ユーザは、操作部４１の操作により、それらの中から所望の軌道を予め選択することができる。この移動効果付加処理では、ユーザにより指定された軌道の軌道定義情報に基づき、周期的に変化する各ノートに割り当てる仮想音源位置が演算され、その仮想音源位置にスピーカ再生音の音像を定位させる立体音響効果情報が生成される。
【００３０】
ｃ．ドップラー効果付加処理
このドップラー効果付加処理では、元の楽曲データに含まれるピッチベンドイベントなどの音程制御情報を、仮想音源位置を遠くからユーザに近づけ、あるいは仮想音源位置をユーザから遠ざける立体音響効果情報に変換し、楽曲データに付加する。
以上が本実施形態における携帯電話端末１の構成の詳細である。
【００３１】
図５は本実施形態における立体音響効果付加処理１３の処理内容の概略を示すフローチャートである。以下、この図を参照し、本実施形態の動作を説明する。立体音響効果付加処理１３は、ユーザが操作部４１の操作により曲を指定し、立体音響効果付加のための変換を指示することにより開始される。まず、ステップＳ１では、変換条件の設定を行う。具体的には、上述した遠近効果付加処理、移動効果付加処理、ドップラー効果付加処理のうち実行を望む処理を問い合わせる画面を表示部４２に表示させ、操作部４１を介してユーザの指示を取得する。この際、ユーザは、遠近効果付加処理、移動効果付加処理、ドップラー効果付加処理のうちの１つを指示してもよいし、２つまたは全部を指示してもよい。また、ステップＳ１では、移動効果付加処理の実行がユーザによって指示された場合に、仮想音源位置を移動させる軌道を問い合わせる画面を表示部４２に表示させ、操作部４１を介してユーザの指示を取得する。
【００３２】
次にステップＳ２では、ユーザによって指定された曲の楽曲データを楽曲記憶エリア６１から読み出し、その解析を行う。具体的には、遠近効果付加処理の実行が指示されている場合には、ベロシティやボリュームなどを立体音響効果情報への変換対象として求め、ドップラー効果付加処理の実行が指示されている場合には、ピッチベンドイベント情報などを立体音響効果情報への変換対象として求める。また、移動効果付加処理の実行が指示されている場合には、楽曲データ中において周期的に音高が変化している一連のＮｏｔｅ
Ｍｅｓｓａｇｅなど、周期性を持った情報の所在を求める。
【００３３】
次にステップＳ３では、ステップＳ２において求めた変換対象のイベント情報または周期的な情報に基づき、遠近効果付加処理、移動効果付加処理またはドップラー効果付加処理を実行し、元の楽曲データに立体音響効果情報の付加された楽曲データを生成し、楽曲記憶エリア６１に格納する。生成した楽曲データは、楽曲記憶エリア６１内の元の楽曲データに上書きしてもよいし、元の楽曲データとは別のファイル名を付けて楽曲記憶エリア６１に格納してもよい。いずれの格納方法を採るかは、ユーザが操作部４１の操作により指示する。
以上が立体音響効果付加処理１３の処理内容である。
【００３４】
図６は遠近効果付加処理の実行例を示している。この例において、変換前の元の楽曲データはベロシティ値Ｖｅｌが１００であるＮｏｔｅ Ｍｅｓｓａｇｅとベロシティ値Ｖｅｌが５０であるＮｏｔｅ
Ｍｅｓｓａｇｅを含んでいる。遠近効果付加処理が実行されることにより、両Ｎｏｔｅ Ｍｅｓｓａｇｅのベロシティ値は５０に揃えられる。そして、元のベロシティ値Ｖｅｌが１００であったＮｏｔｅ
Ｍｅｓｓａｇｅの前には、ＩＤ＝０である仮想音源処理部５５にユーザから１ｍ離れたところに仮想音像位置を設定することを指示する３Ｄ Ｐｏｓｉｔｉｏｎと、そのＮｏｔｅ
Ｍｅｓｓａｇｅに応じて形成される楽音信号をＩＤ＝０の仮想音源処理部５５に振り分けることを指示する３Ｄ ｃｈ Ａｓｓｉｇｎが付加される。また、元のベロシティ値Ｖｅｌが５０であったＮｏｔｅ
Ｍｅｓｓａｇｅの前には、ＩＤ＝０である仮想音源処理部５５にユーザから２ｍ離れたところに仮想音像位置を設定することを指示する３Ｄ Ｐｏｓｉｔｉｏｎと、そのＮｏｔｅ
Ｍｅｓｓａｇｅに応じて形成される楽音信号をＩＤ＝０の仮想音源処理部５５に振り分けることを指示する３Ｄ ｃｈ Ａｓｓｉｇｎが付加される。このように遠近効果付加処理が実行される結果、元の楽曲データが表現していた音の強弱（ベロシティ値）は、ユーザと仮想音源位置との距離の長短に変換される。
【００３５】
図７は移動効果付加処理の実行例を示している。この例において、変換前の楽曲データは、音高をＡ→Ｂ→Ｃ→Ｄという具合に周期的に変化させる４個のＮｏｔｅ
Ｍｅｓｓａｇｅの繰り返しを含んでいたため、これらの周期的なＮｏｔｅ Ｍｅｓｓａｇｅが移動効果付加処理の対象として抽出されている。移動効果付加処理が実行されることにより、これらのＮｏｔｅ
Ｍｅｓｓａｇｅの前には、３Ｄ ｐｏｓｉｔｉｏｎと３Ｄ ｃｈ Ａｓｓｉｇｎの組が付加されている。この例では、ユーザによって直線軌道が選択されたため、各Ｎｏｔｅ Ｍｅｓｓａｇｅの前に付加された各立体音響効果情報は、各々の後にあるＮｏｔｅ
Ｍｅｓｓａｇｅに従って発生させる楽音の音像の定位を、ユーザの手前を左右方向に走る直線軌道に沿って、右→中→左→中という具合に周期的に変化させる内容となっている。なお、この例では、元の楽曲データが示す音高はＡ→Ｂ→Ｃ→Ｄという変化を繰り返すが、仮に音高がＡ→Ｂ→Ｃ→Ｄと変化した後、例えばＡ→Ｂ→Ｃ→Ｅという具合に変化したとしても、Ａ→Ｂ→Ｃという音高の変化が周期的に繰り返されているとみなすことができる。従って、移動効果付加処理は、楽曲データが後者のような音高の変化を示す場合にも実行され、音像の定位を周期的に変化させる立体音響効果情報が周期的なＮｏｔｅ
Ｍｅｓｓａｇｅの前に付加される。
【００３６】
図８はドップラー効果付加処理の実行例を示している。変換前の元の楽曲データにおいて２つのＮｏｔｅ Ｍｅｓｓａｇｅの各々の前には、時間経過に伴って音高を高くすることを指示するＰｉｔｃｈ
Ｂｅｎｄ：＋と、音高を低くすることを指示するＰｉｔｃｈ Ｂｅｎｄ：−が配置されている。ドップラー効果付加処理が実行されることにより、前者のＰｉｔｃｈ Ｂｅｎｄ：＋は、音像の位置をユーザの遠方に設定した後、５００Ｔｉｃｋを要してユーザの近傍に移動させる立体音響効果情報に置き換えられ、後者のＰｉｔｃｈ
Ｂｅｎｄ：−は、音像の位置をユーザの近傍に設定した後、５００Ｔｉｃｋを要してユーザの遠方に移動させる立体音響効果情報に置き換えられる。このようにドップラー効果付加処理の実行により、元の楽曲データが持っていた音を高くする、あるいは低くするという情報が音源を近づける、あるいは遠ざけるという表現に変換される。
【００３７】
以上説明したように、本実施形態によれば、取得した楽曲データが立体音響再生を想定して作成されていない楽曲データであったとしても、その楽曲データに適切な立体音響効果情報を付加し、立体音響の再生を行うことができるという効果がある。
【００３８】
＜第２実施形態＞
図９はこの発明の第２実施形態である携帯電話端末１Ａの構成を示すブロック図である。また、図１０は同携帯電話端末１Ａにおける音源部５０Ａの構成を示すブロック図である。なお、これらの図において、前掲図２および図３に示されたものに対応する部分には同一の符号を付け、その説明を省略する。
【００３９】
上記第１実施形態において、記憶部６０の楽曲記憶エリア６１に記憶された楽曲データはＳＭＡＦなどのシーケンスデータであった。これに対し、本実施形態において、記憶部６０Ａの楽曲記憶エリア６１Ａには、楽音波形のＰＣＭサンプルデータをＭＰ３（ＭＰＥＧ
Ａｕｄｉｏ Ｌａｙｅｒ−３）やＡＡＣ（Ａｄｖａｎｃｅｄ Ａｕｄｉｏ Ｃｏｄｉｎｇ）などの特定の圧縮フォーマットにより圧縮した楽曲データが記憶される。ＣＰＵ１０Ａは、この楽曲記憶エリア６１Ａ内の楽曲データを対象として立体音響効果を付加する処理を行うものである。
【００４０】
ＣＰＵ１０Ａは、通信制御処理１４、デコーダ１５、解析処理１６、立体音響効果情報生成処理１７およびシーケンサ１８の各処理を実行する機能を有している。操作部４１の操作により、楽曲記憶エリア６１Ａ内のある楽曲データが処理対象として指定され、立体音響効果付加の指示が与えられたとき、ＣＰＵ１０Ａは、デコーダ１５、解析処理１６および立体音響効果情報生成処理１７の各処理を実行する。
【００４１】
デコーダ１５では、処理対象である楽曲データを楽曲記憶エリア６１から読み出して伸張し、楽音波形データとして解析処理１６に引き渡す。解析処理１６では、周知の解析手法により、伸張済みの楽音波形データの解析を行い、楽曲の進行に伴う楽音波形の振幅の時間的変化を示す強弱情報と、楽曲中において音高の周期的変化が生じている区間およびその周期的変化の様子（例えば１周期を構成する楽音の個数）を示す周期情報と、楽曲中においてピッチベンドにより音高が連続的に変化している区間を示す区間情報を生成する。そして、解析処理１６は、このようにして得られた強弱情報、周期情報および区間情報を立体音響効果情報生成処理１７に引き渡す。
【００４２】
立体音響効果情報生成処理１７では、解析処理１６から引き渡される情報に基づいて、立体音響効果情報を生成する。この立体音響効果情報は、その元となった楽曲データとともに同期再生されるデータであり、楽曲データに基づいて楽曲の再生が行われる際に、楽曲再生音に関して各種の立体音響効果の付与を指示するシーケンスデータである。立体音響効果情報生成処理１７では、この立体音響効果情報として例えば次のような内容のものを生成する。まず、立体音響効果情報生成処理１７では、楽曲の再生中、強弱情報が示す音の強弱に合わせて仮想音源位置を近傍または遠方に移動させる立体音響効果情報を生成する。また、立体音響効果情報生成処理１７では、楽曲の再生中、周期情報が示す区間において、周期情報が示す周期的変化を仮想音源位置に与える立体音響効果情報を生成する。また、立体音響効果情報生成処理１７では、楽曲の再生中、区間情報が示す区間において仮想音源位置に遠ざけ、あるいは近づける立体音響効果情報を生成する。そして、立体音響効果情報生成処理１７では、生成した立体音響効果情報を処理対象である楽曲データに対応付けて楽曲記憶エリア６１に格納する。なお、生成した立体音響効果情報は、元の楽曲データとともに１つの楽曲ファイルとして楽曲記憶エリア６１に格納してもよい。
【００４３】
一方、ＣＰＵ１０Ａは、携帯電話端末１Ａに着信があったとき、通信制御処理１４、デコーダ１５およびシーケンサ１８を実行する。この場合、通信制御処理１４では、着信メロディ用の楽曲データの読み出しおよび伸張をデコーダ１５に指示し、かつ、この楽曲データに対応付けられた立体音響効果情報の再生をシーケンサ１８に指示する。これによりデコーダ１５およびシーケンサ１８は、着信メロディ用の楽曲データとこの楽曲データに対応付けられた立体音響効果情報の同期再生を行う。さらに詳述すると、デコーダ１５は、楽曲データを楽曲記憶エリア６１から読み出して伸張し、この結果得られる楽音波形データを音源部５０Ａに送る。この間、シーケンサ１８は、楽曲データに対応付けられた立体音響効果情報を楽曲記憶エリア６１から読み出し、立体音響データに含まれるイベント情報を同立体音響データに含まれるデュレーション情報により指定されるタイミングにおいて音源部５０Ａに送る。
【００４４】
音源部５０Ａは、図１０に示すように、上記第１実施形態におけるノート振り分け処理部５２および楽音形成処理部５３に相当するものを有していない。この音源部５０Ａにおいて、仮想音源割り当て処理部５４Ａは、デコーダ１５から与えられる楽音波形データをｎ個の仮想音源処理部５５のいずれかに振り分ける。図１０に示す例では、Ｌ、Ｒ２チャネルの楽音波形データが仮想音源割り当て処理部５４Ａに与えられるが、仮想音源割り当て処理部５４Ａに与える楽音波形データは１チャネルの楽音波形データであってもよい。仮想音源割り当て処理部５４Ａには、シーケンサ１８から立体音響効果情報のイベント情報が供給される。このイベント情報には、上記第１実施形態において説明した３Ｄ
ｃｈ Ａｓｓｉｇｎ Ｍｅｓｓａｇｅが含まれる。この３Ｄ ｃｈ Ａｓｓｉｇｎ Ｍｅｓｓａｇｅは、上述した通り、処理対象となる楽音波形データのチャネル（この例の場合、ＬチャネルまたはＲチャネル）と、その楽音波形データの処理を行う仮想音源処理部５５のＩＤとを対応付けるイベント情報である。仮想音源割り当て処理部５４Ａは、この３Ｄ
ｃｈ Ａｓｓｉｇｎ Ｍｅｓｓａｇｅに従い、デコーダ１５から与えられる楽音波形データの仮想音源処理部５５への振り分けを行う。仮想音源処理部５５以降の部分の構成および機能は上記第１実施形態と同様である。
【００４５】
図１１は、シーケンサ１８によって再生される立体音響効果情報の例を示している。Ｅｖｅｎｔ、Ｄｅｓｃｒｉｐｔｉｏｎ、Ｃｈ、Ｔｉｃｋ、Ｄｕｒａｔｉｏｎの意義は上記第１実施形態において説明した通りである。本実施形態では、デコーダ１５により着信メロディの楽音波形データの再生が開始されるタイミングにおいて、Ｔｉｃｋ＝０、Ｔｉｍｅ＝０とされ、立体音響効果情報のシーケンサ１８による再生が開始される。この例において、３Ｄ
ｐｏｓｉｔｉｏｎ Ｍｅｓｓａｇｅは、ＩＤ＝０の仮想音源処理部５５に対し、２０００Ｔｉｃｋを要して仮想音源位置を移動させる仮想音源処理の実行を指示している。その後の３Ｄ
ｃｈ Ａｓｓｉｇｎ Ｍｅｓｓａｇｅは、５５ＴｉｃｋにおいてＬチャネルの楽音波形データの仮想音源処理をＩＤ＝０の仮想音源処理部５５に割り当てることを指示している。さらにその後の３Ｄ
ｃｈ Ａｓｓｉｇｎ Ｍｅｓｓａｇｅは、６０ＴｉｃｋにおいてＲチャネルの楽音波形データの仮想音源処理をＩＤ＝０の仮想音源処理部５５に割り当てることを指示している。このため、仮想音源処理部５５では、５５Ｔｉｃｋから２０００Ｔｉｃｋの間、Ｌチャネルの楽音の仮想音源位置を移動させ、６０Ｔｉｃｋから２０００Ｔｉｃｋの間、Ｒチャネルの楽音の仮想音源位置を移動させる仮想音源処理が行われる。
【００４６】
本実施形態によれば、デコーダ１５、解析処理１６および立体音響効果情報生成処理１７の実行により、以上のような立体音響効果情報が楽曲データから生成され、元の楽曲データとともに楽曲記憶エリア６１に保存される。そして、着信時には、楽曲データと立体音響効果情報の同期再生が行われる。従って、上記第１実施形態と同様、元の楽曲データが立体音響再生に対応したものでない場合であっても、仮想音源位置がダイナミックに移動する立体音響効果を持った楽曲を再生することができる。
【００４７】
以上、この発明の第１実施形態および第２実施形態について説明したが、この発明にはこれ以外にも他の実施形態が考えられる。例えば次の通りである。
【００４８】
（１）上記第１実施形態では、遠近効果付加処理においてベロシティ値Ｖｅｌを仮想音源位置までの距離に変換したが、曲全体のボリュームを指定するマスタボリューム値は曲間で区々であり、同じ曲であっても、楽音形成チャネル単位でのボリュームの指示値であるチャネルボリューム間が楽音形成チャネル間で異なる場合もある。そこで、遠近効果付加処理では、Ｎｏｔｅ
Ｍｅｓｓａｇｅ毎に、マスタボリューム値と、そのＮｏｔｅ Ｍｅｓｓａｇｅが属する楽音形成チャネルのチャネルボリューム値と、そのＮｏｔｅ Ｍｅｓｓａｇｅのベロシティ値とにより、そのＮｏｔｅ
Ｍｅｓｓａｇｅに対応した音の強さを求め、この音の強さを仮想音源位置までの距離に置き換えた立体音響効果情報を生成するようにしてもよい。この場合において、楽曲データ中に含まれるベロシティ値の種類、チャネルボリューム値の種類が多いと、遠近効果付加処理により大量な立体音響効果情報が付加され、楽曲データのデータ量が大幅に増加する可能性がある。そこで、このような不都合を回避するため、遠近効果付加処理では、空間内の代表的な仮想音源位置を指示する限定された数の３Ｄ
ｐｏｓｉｔｉｏｎを生成し、Ｎｏｔｅ Ｍｅｓｓａｇｅには、その音の強さを最もよく近似する３Ｄ ポジションを割り当て、その３Ｄ ｐｏｓｉｔｉｏｎによって表現することができない音の強弱については、そのＮｏｔｅ
Ｍｅｓｓａｇｅのベロシティ値やチャネルボリューム値の調整により対処するようにしてもよい。ドップラー効果処理についても同様である。
【００４９】
（２）移動効果付加処理は、楽曲データ全体を解析して周期性を持った情報を抽出する必要があるが、遠近効果付加処理およびドップラー効果付加処理は、楽曲データ全体の解析を必要としない。そこで、移動効果付加処理を実行する必要がないのであれば、次のような実施の態様もあり得る。すなわち、ＣＰＵ１０は立体効果付加処理を実行することなく楽曲データのイベント情報をそのまま音源部５０に供給し、音源部５０は、ＣＰＵ１０から供給される楽曲データをリアルタイムに解析し、遠近効果付加処理やドップラー効果付加処理の対象となるイベント情報が発見された場合には、そのイベント情報を用いて遠近効果付加処理やドップラー効果付加処理に相当する処理を実行し、この結果得られるイベント情報を用いて楽音信号を形成するのである。
【００５０】
（３）上記各実施形態では、携帯電話端末１が大規模ネットワーク３を介して取得した楽曲データに立体音響効果付加処理１３を施したが、立体音響効果付加処理１３を実行する主体は、楽曲データを取得して利用する装置である必要はない。例えば、ユーザからの指示に従って携帯電話端末１が大規模ネットワーク３を介して所定のサーバに楽曲データを送り、このサーバが楽曲データに立体音響効果付加処理を施し、立体音響効果情報の付加された楽曲データを携帯電話端末１に送り返す、という実施の形態もあり得る。
【図面の簡単な説明】
【００５１】
【図１】この発明の第１実施形態である音響効果付加装置としての機能を備えた携帯電話端末を含む通信システム全体の構成を示す図である。
【図２】同実施形態における携帯電話端末の構成を示すブロック図である。
【図３】同携帯電話端末における音源部の構成を示すブロック図である。
【図４】同実施形態において用いられる楽曲データの例を示す図である。
【図５】同実施形態における立体音響効果付加処理の内容を示すフローチャートである。
【図６】同実施形態における遠近効果付加処理の実行例を示す図である。
【図７】同実施形態における移動効果付加処理の実行例を示す図である。
【図８】同実施形態におけるドップラー効果付加処理の実行例を示す図である。
【図９】この発明の第２実施形態である携帯電話端末の構成を示すブロック図である。
【図１０】同携帯電話端末の音源部の構成を示すブロック図である。
【図１１】同実施形態における立体音響効果情報の例を示す図である。
【符号の説明】
【００５２】
１，１Ａ……携帯電話端末、１０，１０Ａ……ＣＰＵ、２０……通信部、２１……アンテナ、３０……音声処理部、３１……スピーカ、３２……マイク、４１……操作部、４２……表示部、５０……音源部、５１Ｌ，５１Ｒ……スピーカ、６０，６０Ａ……記憶部、６１，６１Ａ……楽曲記憶エリア、１１，１４……通信制御処理、１２，１８……シーケンサ、１３，１７……立体音響効果付加処理、１５……デコーダ、１６……解析処理。
【技術分野】
【０００１】
この発明は、携帯電話端末の着信メロディなどの楽曲再生において立体音響効果を付加する装置およびプログラムに関する。
【背景技術】
【０００２】
携帯電話端末の普及に伴い、携帯電話端末のユーザ向けに着信メロディを配信するサービスが盛んに行われている。そして、最近の携帯電話端末のユーザは、着信メロディの再生に関しても臨場感を求めるようになってきている。このため、最近では立体音響再生機能を備えた携帯電話端末も提供されている。なお、この種の携帯電話端末は例えば特許文献１に開示されている。
【特許文献１】特開２００５−１０１９８８号公報
【特許文献２】特開平６−１６５２９９号公報
【発明の開示】
【発明が解決しようとする課題】
【０００３】
さて、立体音響再生機能を備えた携帯電話端末のユーザとしては、携帯電話端末に折角立体音響再生機能が備わっているのであるから、これを活用し、所望の着信メロディについて臨場感のある再生を楽しみたいところである。しかしながら、所望の着信メロディの楽曲データとして、立体音響再生用の楽曲データがなく、モノラル再生用の楽曲データしか携帯電話端末にダウンロードすることができない場合もあり得る。そのような場合、ユーザは、立体音響再生機能を利用した臨場感のある着信メロディの再生を楽しむことができないという問題があった。また、たとえ立体音響再生用の楽曲データであっても、付加されている立体音響効果が少なく、ユーザにとって物足りない場合もあった。
【０００４】
この発明は、以上説明した事情に鑑みてなされたものであり、楽曲データが立体音響再生を想定して作成されたものでない場合や立体音響効果の少ない立体音響再生用楽曲データである場合であっても、この楽曲データを用いて立体音響再生を行うことを可能にする技術的手段を提供することを目的とする。
【課題を解決するための手段】
【０００５】
この発明は、楽曲データを記憶する記憶手段と、前記記憶手段に記憶された楽曲データを構成する情報のうち所定の条件を満たす情報に基づいて、立体音響の再生の制御に用いる立体音響効果情報を生成し、立体音響効果情報の付加された楽曲データを出力する立体音響効果付加手段とを具備することを特徴とする立体音響効果付加装置を提供する。
かかる発明によれば、立体音響効果情報を含まない楽曲データであっても、その楽曲データに立体音響効果情報を付加し、立体音響再生を行うことができる。
この発明の実施の態様には、コンピュータを立体音響効果付加装置として機能させるプログラムをユーザに配布する、という態様も含まれる。また、この発明の実施の態様には、音源装置が、楽曲データに含まれる情報を用いて立体音響効果情報を生成し、立体音響の再生の制御を行うという態様も含まれる。
【発明を実施するための最良の形態】
【０００６】
以下、図面を参照し、この発明の実施の形態を説明する。
以下の各実施形態では、この発明に係る立体音響効果付加装置を携帯電話端末として具現した例を説明する。しかし、本発明に係る立体音響効果付加装置は、携帯電話端末の他、立体音響の再生が可能な音源を備えたパーソナルコンピュータなど、音楽を再生する各種の電子機器として具現可能である。
【０００７】
＜第１実施形態＞
図１は本実施形態に係る携帯電話端末１を含む通信システム全体の構成を示す図である。図１に示すように、各携帯電話端末１は、一般的な携帯電話端末と同様、在圏する基地局２を介して、電話網、インターネットなどを含む大規模ネットワーク３に接続可能である。大規模ネットワーク３には、着信メロディのデータベースを保有する配信サーバ４が接続されている。ユーザは、携帯電話端末１により配信サーバ４にアクセスし、所望の着信メロディの楽曲データを携帯電話端末１にダウンロードすることが可能である。
【０００８】
図２は本実施形態に係る携帯電話端末１の構成を示すブロック図である。ＣＰＵ１０は、携帯電話端末１全体を制御するプロセッサである。通信部２０は、携帯電話端末１からの発信または携帯電話端末１への着信の際に、ＣＰＵ１０による制御の下、アンテナ２１を介して基地局２との間に無線リンクを確立し、この無線リンクと大規模ネットワーク３とを介して通信相手装置（図示略）との間に通信リンクを確立し、通信相手装置との間で通信を行う装置である。音声処理部３０は、通話の際、通話相手の音声情報をＣＰＵ１０を介して受け取り、スピーカ３１に音として出力させ、マイク３２により得られるユーザの音声情報をＣＰＵ１０に引き渡す装置である。
【０００９】
操作部４１は、ユーザから各種のコマンドや情報を受け取るための装置であり、携帯電話端末１の操作面に設けられた各種の押しボタンおよびそれらの操作状態を検知するセンサにより構成されている。表示部４２は、ユーザに対して各種のメッセージなどの画像情報を提供する装置であり、ＬＣＤパネルなどにより構成されている。
【００１０】
音源部５０は、ＣＰＵ１０による制御の下、着信メロディ音などの楽音を表わすＬ、Ｒ２チャネルの楽音信号を形成し、スピーカ５１Ｌおよび５１Ｒに楽音として出力させる装置である。本実施形態における音源部５０は、ＣＰＵ１０により指定された仮想音源位置に音像が定位した楽音をスピーカ５１Ｌおよび５１Ｒから再生させる立体音響再生機能を有している。
【００１１】
図３は、音源部５０の構成例を示すブロック図である。この音源部５０は、ノート振り分け処理部５２と、ｍ個の楽音形成処理部５３と、仮想音源割り当て処理部５４と、ｎ個の仮想音源処理部５５と、加算器５６Ｌおよび５６Ｒとを有している。
【００１２】
ノート振り分け処理部５２は、楽音形成を指示する制御情報であるＮｏｔｅ Ｍｅｓｓａｇｅ（後述）をＣＰＵ１０から受け取った場合にそのＮｏｔｅ
Ｍｅｓｓａｇｅをｍ個の楽音形成処理部５３のいずれかに振り分ける処理を行う装置である。ここで、ｍ個の楽音形成処理部５３は、Ｃｈ＝０からＣｈ＝ｍ−１までの楽音形成チャネル番号を各々有している。一方、Ｎｏｔｅ
Ｍｅｓｓａｇｅは、その処理を行うべき楽音形成処理部５３を指定する楽音形成チャネル番号を含んでいる。ノート振り分け処理部５２は、ＣＰＵ１０から受け取ったＮｏｔｅ
Ｍｅｓｓａｇｅが含む楽音形成チャネル番号に基づき、振り分け先である楽音形成処理部５３を決定する。ｍ個の楽音形成処理部５３は、各々、ノート振り分け処理部５２を介して与えられるＮｏｔｅ
Ｍｅｓｓａｇｅに従って楽音信号を形成する装置である。
【００１３】
仮想音源割り当て処理部５４は、楽音形成処理部５３により形成された楽音信号をｎ個の仮想音源処理部５５のいずれかに振り分ける装置である。ここで、ｎ個の仮想音源処理部５５は、ＩＤ＝０からＩＤ＝ｎ−１までのＩＤを各々有している。ＣＰＵ１０は、ある楽音形成チャネルを持った楽音形成処理部５３により形成される楽音信号をいずれかの仮想音源処理部５５に処理させる際、その楽音形成チャネルと処理を行う仮想音源処理部５５のＩＤとを対応付ける３Ｄ
ｃｈ Ａｓｓｉｇｎ Ｍｅｓｓａｇｅ（後述）を音源部５０に供給する。仮想音源割り当て処理部５４は、この３Ｄ ｃｈ Ａｓｓｉｇｎ Ｍｅｓｓａｇｅが示す適切な仮想音源処理部５５に楽音信号を振り分ける。
【００１４】
各仮想音源処理部５５には、スピーカ再生音の音像の定位を指示する制御情報である３Ｄ ｐｏｓｉｔｉｏｎ（後述）がＣＰＵ１０から与えられる。各仮想音源処理部５５は、仮想音源割り当て処理部５４を介して与えられる１または複数チャネルの楽音信号に対し、３Ｄ
ｐｏｓｉｔｉｏｎが示す仮想音源位置に対応したパラメータを使用した演算処理（具体的には遅延処理および減衰処理を組み合わせたフィルタ処理）を施し、３Ｄ ｐｏｓｉｔｉｏｎが示す仮想音源位置にスピーカ再生音の音像を定位させるＬ、Ｒ２チャネルの楽音信号を生成する。
【００１５】
各仮想音源処理部５５により得られたＬ、Ｒ２チャネルの楽音信号は、加算器５６Ｌおよび５６Ｒにより、同一チャネルに対応したもの同士加算される。そして、加算器５６Ｌおよび５６Ｒから出力される各楽音信号は、スピーカ５１Ｌおよび５１Ｒに各々供給される。なお、任意の仮想音源位置に音像が定位した再生音を得るための信号処理は、周知のものであり、例えば特許文献２に開示されている。
【００１６】
図２において、記憶部６０は、ＣＰＵ１０により実行される各種のプログラムや各種のデータを記憶する装置であり、ＲＯＭやＲＡＭなどにより構成されている。記憶部６０は、各種の楽曲データを記憶する楽曲記憶エリア６１を有している。上述した配信サーバ４からダウンロードされる着信メロディの楽曲データはこの楽曲記憶エリア６１に記憶される。
【００１７】
本実施形態において楽曲記憶エリア６１に記憶される楽曲データは、ＳＭＦ（Standard MIDI
File）、ＳＭＡＦ（Synthetic music Mobile Application Format）などの演奏制御データ（シーケンスデータ）である。この種の演奏制御データにおいて、１つの演奏制御を指示する情報は、制御内容であるイベントを指示するイベント情報とイベントの実行タイミング、より詳しくは楽曲の先頭または先行するイベントの実行タイミングからの経過時間を指示するデュレーション情報の組により構成されている。
【００１８】
図４は、ＳＭＡＦ形式の楽曲データの内容を例示している。図４では、楽曲データに従って実行される各イベントが実行順に示されている。図４において、１つの行は、１つのイベント情報により指示されたイベントの内容と、そのイベント情報に先行するデュレーション情報により指示されたイベントの実行タイミングを表わしている。
【００１９】
図４に示す各行（イベント）において、“Ｅｖｅｎｔ”の欄の要素はイベント情報が指示するイベントの種類を、“Ｄｅｓｃｒｉｐｔｉｏｎ”の欄の要素はイベントの実行に当たって使用する各種のパラメータを示している。また、“Ｃｈ”の欄の要素は、イベントの適用が特定の楽音形成チャネルに限定される場合にそのチャネルを示している。また、“Ｔｉｃｋ”および“Ｔｉｍｅ”の各欄の要素は、イベントの実行タイミングを示している。ここで、“Ｔｉｍｅ”は、楽曲の開始からイベントの実行タイミングまでの実際の経過時間を表わすのに対し、“Ｔｉｃｋ”はその経過時間を所定周期のクロックのカウント値に換算した値である。“Ｄｕｒａｔｉｏｎ”の欄の要素は、そのイベントの実行タイミングを指示するデュレーション情報の値である。“Ｇａｔｅｔｉｍｅ”の欄の要素は、楽音形成を指示する制御情報であるＮｏｔｅ
Ｍｅｓｓａｇｅに特有の情報であり、発音の持続時間を指示する。
【００２０】
図４に示す楽曲データは、立体音響再生を想定して作成された楽曲データであり、立体音響再生を制御するためのイベント情報として、１個の３Ｄ ｐｏｓｉｔｉｏｎと、４個の３Ｄ
ｃｈ Ａｓｓｉｇｎを含む。ここで、３Ｄ ｐｏｓｉｔｉｏｎは、上述した通り、仮想音源位置を指示するイベント情報である。この例における３Ｄ ｐｏｓｉｔｉｏｎは、ＩＤ＝０である仮想音源処理部５５が宛先となっており、この仮想音源処理部５５に対し、仮想音源位置を、ユーザを基準として方位角−３０度、仰角０度の方角にあり、距離２ｍだけ離れた位置に初期位置から移動時間２０００Ｔｉｃｋを要して移動させることを指示している。この３Ｄ
ｐｏｓｉｔｉｏｎがＣＰＵ１０により音源部５０に与えられると、音源部５０におけるＩＤ＝０である仮想音源処理部５５では、３Ｄ ｐｏｓｉｔｉｏｎの指示通りに仮想音源位置を移動させる処理が開始される。なお、この例における３Ｄ
ｐｏｓｉｔｉｏｎは、仮想音源位置を移動させることを指示しているが、移動時間を０にすると、距離、方位角、仰角により定まる空間内の１点に仮想音源位置を固定させる旨を指示するイベント情報となる。
【００２１】
４個の３Ｄ ｃｈ Ａｓｓｉｇｎは、楽音形成チャネルｃｈが０〜３である楽音形成処理部５３が出力する各楽音信号をＩＤ＝０である仮想音源処理部５５に振り分けることを指示している。これらの３Ｄ
Ａｓｓｉｇｎの後には、０〜３の範囲の楽音形成チャネルの指定を伴う一連のＮｏｔｅ Ｍｅｓｓａｇｅがある。ＣＰＵ１０は、４個の３Ｄ ｃｈ Ａｓｓｉｇｎを音源部５０に送った後、これら一連のＮｏｔｅ
Ｍｅｓｓａｇｅを音源部５０に与える。この場合、音源部５０の仮想音源割り当て処理部５４は、楽音形成チャネルｃｈ＝０〜３の各楽音形成処理部５３においてＮｏｔｅ Ｍｅｓｓａｇｅに応じて形成された楽音信号を、３Ｄ
ｃｈ Ａｓｓｉｇｎに従い、ＩＤ＝０の仮想音源処理部５５に供給する。この仮想音源処理部５５は、上述した３Ｄ ｐｏｓｉｔｉｏｎを受け取っており、仮想音源位置を移動させる処理を既に開始している。従って、一連のＮｏｔｅ
Ｍｅｓｓａｇｅに応じて形成される各楽音信号は、この仮想音源処理部５５による処理を経ることにより、Ｌ、Ｒ２チャネルの楽音信号となってスピーカ５１Ｌおよび５１Ｒに与えられる。この結果、上述した３Ｄ
ｐｏｓｉｔｉｏｎに従って音像の定位が移動するスピーカ再生音が得られる。
【００２２】
以上のように、３Ｄ ｐｏｓｉｔｉｏｎおよび３Ｄ ｃｈ Ａｓｓｉｇｎは、立体音響再生の制御を行う役割を果たす。そこで、本実施形態では、これらのイベント情報を立体音響効果情報と呼ぶ。本実施形態において記憶部６０の楽曲記憶エリア６１には、このような立体音響効果情報を含む楽曲データも記憶され得るが、立体音響効果情報を含まない楽曲データも記憶され得る。本実施形態の特徴は、主に後者の楽曲データのために適切な立体音響効果情報を発生し、元の楽曲データに付加する仕組みを携帯電話端末１に持たせた点にある。
【００２３】
図２では、ＣＰＵ１０を表わすボックスの中に、ＣＰＵ１０により実行される各種の処理が示されている。これらは、ＣＰＵ１０が記憶部６０に記憶されたプログラムに従って実行する処理である。
【００２４】
通信制御処理１１は、発信、着信の際に、上述した通信リンクを確立するための処理を通信部２０に行わせるための制御や、通信部２０により受信される通話相手からの音声情報を音声処理部３０に引き渡し、また、音声処理部３０から供給される携帯電話端末１のユーザの音声情報を通信部２０により通話相手に送るための制御を行う処理である。また、この通信制御処理１１では、着信があった場合に、シーケンサ１２に対し、着信メロディの再生処理を指示する。
【００２５】
シーケンサ１２は、通信制御処理１１から着信メロディの再生指示が与えられた場合に、楽曲記憶エリア６１内の楽曲データのうちユーザによって予め指定された再生用の楽曲データを読み出し、楽曲データに従って、音源部５０に着信メロディ音の楽音信号を形成させる制御を行う処理である。さらに詳述すると、この処理では、楽曲データを読み出す際、あるイベント情報を読み出して音源部５０に送った後、デュレーション情報を読み出した場合には、そのデュレーション情報により指定された時間の経過を待って次のイベント情報を読み出す、という動作を繰り返し、音源部５０による楽音信号の形成の制御を行う。
【００２６】
立体音響効果付加処理１３では、楽曲記憶エリア６１内の楽曲データのうち操作部４１の操作によって指定された楽曲データを読み出し、適切な立体音響効果情報の付加された楽曲データに変換し、変換後の楽曲データを楽曲記憶エリア６１に格納する。立体音響効果付加処理１３のためのプログラムは、ある好ましい態様では、携帯電話端末１の製造時に、記憶部６０のＲＯＭに予め書き込まれる。他の態様において、立体音響効果付加処理１３のためのプログラムは、携帯電話端末１を購入したユーザがインターネット上の所定のサイトから記憶部６０にダウンロードする。
【００２７】
立体音響効果付加処理１３は、本実施形態に特有の処理である。この立体音響効果付加処理１３において実行可能な立体音響効果情報の付加のための処理には次の３種類がある。ユーザは、ＣＰＵ１０が立体音響効果付加処理１３を実行する際に、操作部４１の操作により、これらの処理のいずれか１つまたは複数の実行を指定することができる。
【００２８】
ａ．遠近効果付加処理
この遠近効果付加処理では、元の楽曲データに含まれる音の強弱情報（例えばベロシティ、ボリューム）を仮想音源位置までの距離に変換し、その距離だけユーザから離れたところに仮想音源位置を設定する立体音響効果情報を生成し、元の楽曲データに付加する。
【００２９】
ｂ．移動効果付加処理
この移動効果付加処理では、元の楽曲データに含まれるノート情報などの周期的な変化を抽出し、その変化の周期に同期させて仮想音源位置を周期的に移動させる立体音響効果情報を生成し、元の楽曲データに付加する。仮想音源位置を周期的に移動させる軌道は、ユーザの手前において左右方向に延びた直線軌道、ユーザを囲む円軌道、ユーザを囲む楕円軌道などが用意されており、これらの軌道に関する軌道定義情報（軌道上の各点の座標を演算するための関数など）が記憶部６０に記憶されている。ユーザは、操作部４１の操作により、それらの中から所望の軌道を予め選択することができる。この移動効果付加処理では、ユーザにより指定された軌道の軌道定義情報に基づき、周期的に変化する各ノートに割り当てる仮想音源位置が演算され、その仮想音源位置にスピーカ再生音の音像を定位させる立体音響効果情報が生成される。
【００３０】
ｃ．ドップラー効果付加処理
このドップラー効果付加処理では、元の楽曲データに含まれるピッチベンドイベントなどの音程制御情報を、仮想音源位置を遠くからユーザに近づけ、あるいは仮想音源位置をユーザから遠ざける立体音響効果情報に変換し、楽曲データに付加する。
以上が本実施形態における携帯電話端末１の構成の詳細である。
【００３１】
図５は本実施形態における立体音響効果付加処理１３の処理内容の概略を示すフローチャートである。以下、この図を参照し、本実施形態の動作を説明する。立体音響効果付加処理１３は、ユーザが操作部４１の操作により曲を指定し、立体音響効果付加のための変換を指示することにより開始される。まず、ステップＳ１では、変換条件の設定を行う。具体的には、上述した遠近効果付加処理、移動効果付加処理、ドップラー効果付加処理のうち実行を望む処理を問い合わせる画面を表示部４２に表示させ、操作部４１を介してユーザの指示を取得する。この際、ユーザは、遠近効果付加処理、移動効果付加処理、ドップラー効果付加処理のうちの１つを指示してもよいし、２つまたは全部を指示してもよい。また、ステップＳ１では、移動効果付加処理の実行がユーザによって指示された場合に、仮想音源位置を移動させる軌道を問い合わせる画面を表示部４２に表示させ、操作部４１を介してユーザの指示を取得する。
【００３２】
次にステップＳ２では、ユーザによって指定された曲の楽曲データを楽曲記憶エリア６１から読み出し、その解析を行う。具体的には、遠近効果付加処理の実行が指示されている場合には、ベロシティやボリュームなどを立体音響効果情報への変換対象として求め、ドップラー効果付加処理の実行が指示されている場合には、ピッチベンドイベント情報などを立体音響効果情報への変換対象として求める。また、移動効果付加処理の実行が指示されている場合には、楽曲データ中において周期的に音高が変化している一連のＮｏｔｅ
Ｍｅｓｓａｇｅなど、周期性を持った情報の所在を求める。
【００３３】
次にステップＳ３では、ステップＳ２において求めた変換対象のイベント情報または周期的な情報に基づき、遠近効果付加処理、移動効果付加処理またはドップラー効果付加処理を実行し、元の楽曲データに立体音響効果情報の付加された楽曲データを生成し、楽曲記憶エリア６１に格納する。生成した楽曲データは、楽曲記憶エリア６１内の元の楽曲データに上書きしてもよいし、元の楽曲データとは別のファイル名を付けて楽曲記憶エリア６１に格納してもよい。いずれの格納方法を採るかは、ユーザが操作部４１の操作により指示する。
以上が立体音響効果付加処理１３の処理内容である。
【００３４】
図６は遠近効果付加処理の実行例を示している。この例において、変換前の元の楽曲データはベロシティ値Ｖｅｌが１００であるＮｏｔｅ Ｍｅｓｓａｇｅとベロシティ値Ｖｅｌが５０であるＮｏｔｅ
Ｍｅｓｓａｇｅを含んでいる。遠近効果付加処理が実行されることにより、両Ｎｏｔｅ Ｍｅｓｓａｇｅのベロシティ値は５０に揃えられる。そして、元のベロシティ値Ｖｅｌが１００であったＮｏｔｅ
Ｍｅｓｓａｇｅの前には、ＩＤ＝０である仮想音源処理部５５にユーザから１ｍ離れたところに仮想音像位置を設定することを指示する３Ｄ Ｐｏｓｉｔｉｏｎと、そのＮｏｔｅ
Ｍｅｓｓａｇｅに応じて形成される楽音信号をＩＤ＝０の仮想音源処理部５５に振り分けることを指示する３Ｄ ｃｈ Ａｓｓｉｇｎが付加される。また、元のベロシティ値Ｖｅｌが５０であったＮｏｔｅ
Ｍｅｓｓａｇｅの前には、ＩＤ＝０である仮想音源処理部５５にユーザから２ｍ離れたところに仮想音像位置を設定することを指示する３Ｄ Ｐｏｓｉｔｉｏｎと、そのＮｏｔｅ
Ｍｅｓｓａｇｅに応じて形成される楽音信号をＩＤ＝０の仮想音源処理部５５に振り分けることを指示する３Ｄ ｃｈ Ａｓｓｉｇｎが付加される。このように遠近効果付加処理が実行される結果、元の楽曲データが表現していた音の強弱（ベロシティ値）は、ユーザと仮想音源位置との距離の長短に変換される。
【００３５】
図７は移動効果付加処理の実行例を示している。この例において、変換前の楽曲データは、音高をＡ→Ｂ→Ｃ→Ｄという具合に周期的に変化させる４個のＮｏｔｅ
Ｍｅｓｓａｇｅの繰り返しを含んでいたため、これらの周期的なＮｏｔｅ Ｍｅｓｓａｇｅが移動効果付加処理の対象として抽出されている。移動効果付加処理が実行されることにより、これらのＮｏｔｅ
Ｍｅｓｓａｇｅの前には、３Ｄ ｐｏｓｉｔｉｏｎと３Ｄ ｃｈ Ａｓｓｉｇｎの組が付加されている。この例では、ユーザによって直線軌道が選択されたため、各Ｎｏｔｅ Ｍｅｓｓａｇｅの前に付加された各立体音響効果情報は、各々の後にあるＮｏｔｅ
Ｍｅｓｓａｇｅに従って発生させる楽音の音像の定位を、ユーザの手前を左右方向に走る直線軌道に沿って、右→中→左→中という具合に周期的に変化させる内容となっている。なお、この例では、元の楽曲データが示す音高はＡ→Ｂ→Ｃ→Ｄという変化を繰り返すが、仮に音高がＡ→Ｂ→Ｃ→Ｄと変化した後、例えばＡ→Ｂ→Ｃ→Ｅという具合に変化したとしても、Ａ→Ｂ→Ｃという音高の変化が周期的に繰り返されているとみなすことができる。従って、移動効果付加処理は、楽曲データが後者のような音高の変化を示す場合にも実行され、音像の定位を周期的に変化させる立体音響効果情報が周期的なＮｏｔｅ
Ｍｅｓｓａｇｅの前に付加される。
【００３６】
図８はドップラー効果付加処理の実行例を示している。変換前の元の楽曲データにおいて２つのＮｏｔｅ Ｍｅｓｓａｇｅの各々の前には、時間経過に伴って音高を高くすることを指示するＰｉｔｃｈ
Ｂｅｎｄ：＋と、音高を低くすることを指示するＰｉｔｃｈ Ｂｅｎｄ：−が配置されている。ドップラー効果付加処理が実行されることにより、前者のＰｉｔｃｈ Ｂｅｎｄ：＋は、音像の位置をユーザの遠方に設定した後、５００Ｔｉｃｋを要してユーザの近傍に移動させる立体音響効果情報に置き換えられ、後者のＰｉｔｃｈ
Ｂｅｎｄ：−は、音像の位置をユーザの近傍に設定した後、５００Ｔｉｃｋを要してユーザの遠方に移動させる立体音響効果情報に置き換えられる。このようにドップラー効果付加処理の実行により、元の楽曲データが持っていた音を高くする、あるいは低くするという情報が音源を近づける、あるいは遠ざけるという表現に変換される。
【００３７】
以上説明したように、本実施形態によれば、取得した楽曲データが立体音響再生を想定して作成されていない楽曲データであったとしても、その楽曲データに適切な立体音響効果情報を付加し、立体音響の再生を行うことができるという効果がある。
【００３８】
＜第２実施形態＞
図９はこの発明の第２実施形態である携帯電話端末１Ａの構成を示すブロック図である。また、図１０は同携帯電話端末１Ａにおける音源部５０Ａの構成を示すブロック図である。なお、これらの図において、前掲図２および図３に示されたものに対応する部分には同一の符号を付け、その説明を省略する。
【００３９】
上記第１実施形態において、記憶部６０の楽曲記憶エリア６１に記憶された楽曲データはＳＭＡＦなどのシーケンスデータであった。これに対し、本実施形態において、記憶部６０Ａの楽曲記憶エリア６１Ａには、楽音波形のＰＣＭサンプルデータをＭＰ３（ＭＰＥＧ
Ａｕｄｉｏ Ｌａｙｅｒ−３）やＡＡＣ（Ａｄｖａｎｃｅｄ Ａｕｄｉｏ Ｃｏｄｉｎｇ）などの特定の圧縮フォーマットにより圧縮した楽曲データが記憶される。ＣＰＵ１０Ａは、この楽曲記憶エリア６１Ａ内の楽曲データを対象として立体音響効果を付加する処理を行うものである。
【００４０】
ＣＰＵ１０Ａは、通信制御処理１４、デコーダ１５、解析処理１６、立体音響効果情報生成処理１７およびシーケンサ１８の各処理を実行する機能を有している。操作部４１の操作により、楽曲記憶エリア６１Ａ内のある楽曲データが処理対象として指定され、立体音響効果付加の指示が与えられたとき、ＣＰＵ１０Ａは、デコーダ１５、解析処理１６および立体音響効果情報生成処理１７の各処理を実行する。
【００４１】
デコーダ１５では、処理対象である楽曲データを楽曲記憶エリア６１から読み出して伸張し、楽音波形データとして解析処理１６に引き渡す。解析処理１６では、周知の解析手法により、伸張済みの楽音波形データの解析を行い、楽曲の進行に伴う楽音波形の振幅の時間的変化を示す強弱情報と、楽曲中において音高の周期的変化が生じている区間およびその周期的変化の様子（例えば１周期を構成する楽音の個数）を示す周期情報と、楽曲中においてピッチベンドにより音高が連続的に変化している区間を示す区間情報を生成する。そして、解析処理１６は、このようにして得られた強弱情報、周期情報および区間情報を立体音響効果情報生成処理１７に引き渡す。
【００４２】
立体音響効果情報生成処理１７では、解析処理１６から引き渡される情報に基づいて、立体音響効果情報を生成する。この立体音響効果情報は、その元となった楽曲データとともに同期再生されるデータであり、楽曲データに基づいて楽曲の再生が行われる際に、楽曲再生音に関して各種の立体音響効果の付与を指示するシーケンスデータである。立体音響効果情報生成処理１７では、この立体音響効果情報として例えば次のような内容のものを生成する。まず、立体音響効果情報生成処理１７では、楽曲の再生中、強弱情報が示す音の強弱に合わせて仮想音源位置を近傍または遠方に移動させる立体音響効果情報を生成する。また、立体音響効果情報生成処理１７では、楽曲の再生中、周期情報が示す区間において、周期情報が示す周期的変化を仮想音源位置に与える立体音響効果情報を生成する。また、立体音響効果情報生成処理１７では、楽曲の再生中、区間情報が示す区間において仮想音源位置に遠ざけ、あるいは近づける立体音響効果情報を生成する。そして、立体音響効果情報生成処理１７では、生成した立体音響効果情報を処理対象である楽曲データに対応付けて楽曲記憶エリア６１に格納する。なお、生成した立体音響効果情報は、元の楽曲データとともに１つの楽曲ファイルとして楽曲記憶エリア６１に格納してもよい。
【００４３】
一方、ＣＰＵ１０Ａは、携帯電話端末１Ａに着信があったとき、通信制御処理１４、デコーダ１５およびシーケンサ１８を実行する。この場合、通信制御処理１４では、着信メロディ用の楽曲データの読み出しおよび伸張をデコーダ１５に指示し、かつ、この楽曲データに対応付けられた立体音響効果情報の再生をシーケンサ１８に指示する。これによりデコーダ１５およびシーケンサ１８は、着信メロディ用の楽曲データとこの楽曲データに対応付けられた立体音響効果情報の同期再生を行う。さらに詳述すると、デコーダ１５は、楽曲データを楽曲記憶エリア６１から読み出して伸張し、この結果得られる楽音波形データを音源部５０Ａに送る。この間、シーケンサ１８は、楽曲データに対応付けられた立体音響効果情報を楽曲記憶エリア６１から読み出し、立体音響データに含まれるイベント情報を同立体音響データに含まれるデュレーション情報により指定されるタイミングにおいて音源部５０Ａに送る。
【００４４】
音源部５０Ａは、図１０に示すように、上記第１実施形態におけるノート振り分け処理部５２および楽音形成処理部５３に相当するものを有していない。この音源部５０Ａにおいて、仮想音源割り当て処理部５４Ａは、デコーダ１５から与えられる楽音波形データをｎ個の仮想音源処理部５５のいずれかに振り分ける。図１０に示す例では、Ｌ、Ｒ２チャネルの楽音波形データが仮想音源割り当て処理部５４Ａに与えられるが、仮想音源割り当て処理部５４Ａに与える楽音波形データは１チャネルの楽音波形データであってもよい。仮想音源割り当て処理部５４Ａには、シーケンサ１８から立体音響効果情報のイベント情報が供給される。このイベント情報には、上記第１実施形態において説明した３Ｄ
ｃｈ Ａｓｓｉｇｎ Ｍｅｓｓａｇｅが含まれる。この３Ｄ ｃｈ Ａｓｓｉｇｎ Ｍｅｓｓａｇｅは、上述した通り、処理対象となる楽音波形データのチャネル（この例の場合、ＬチャネルまたはＲチャネル）と、その楽音波形データの処理を行う仮想音源処理部５５のＩＤとを対応付けるイベント情報である。仮想音源割り当て処理部５４Ａは、この３Ｄ
ｃｈ Ａｓｓｉｇｎ Ｍｅｓｓａｇｅに従い、デコーダ１５から与えられる楽音波形データの仮想音源処理部５５への振り分けを行う。仮想音源処理部５５以降の部分の構成および機能は上記第１実施形態と同様である。
【００４５】
図１１は、シーケンサ１８によって再生される立体音響効果情報の例を示している。Ｅｖｅｎｔ、Ｄｅｓｃｒｉｐｔｉｏｎ、Ｃｈ、Ｔｉｃｋ、Ｄｕｒａｔｉｏｎの意義は上記第１実施形態において説明した通りである。本実施形態では、デコーダ１５により着信メロディの楽音波形データの再生が開始されるタイミングにおいて、Ｔｉｃｋ＝０、Ｔｉｍｅ＝０とされ、立体音響効果情報のシーケンサ１８による再生が開始される。この例において、３Ｄ
ｐｏｓｉｔｉｏｎ Ｍｅｓｓａｇｅは、ＩＤ＝０の仮想音源処理部５５に対し、２０００Ｔｉｃｋを要して仮想音源位置を移動させる仮想音源処理の実行を指示している。その後の３Ｄ
ｃｈ Ａｓｓｉｇｎ Ｍｅｓｓａｇｅは、５５ＴｉｃｋにおいてＬチャネルの楽音波形データの仮想音源処理をＩＤ＝０の仮想音源処理部５５に割り当てることを指示している。さらにその後の３Ｄ
ｃｈ Ａｓｓｉｇｎ Ｍｅｓｓａｇｅは、６０ＴｉｃｋにおいてＲチャネルの楽音波形データの仮想音源処理をＩＤ＝０の仮想音源処理部５５に割り当てることを指示している。このため、仮想音源処理部５５では、５５Ｔｉｃｋから２０００Ｔｉｃｋの間、Ｌチャネルの楽音の仮想音源位置を移動させ、６０Ｔｉｃｋから２０００Ｔｉｃｋの間、Ｒチャネルの楽音の仮想音源位置を移動させる仮想音源処理が行われる。
【００４６】
本実施形態によれば、デコーダ１５、解析処理１６および立体音響効果情報生成処理１７の実行により、以上のような立体音響効果情報が楽曲データから生成され、元の楽曲データとともに楽曲記憶エリア６１に保存される。そして、着信時には、楽曲データと立体音響効果情報の同期再生が行われる。従って、上記第１実施形態と同様、元の楽曲データが立体音響再生に対応したものでない場合であっても、仮想音源位置がダイナミックに移動する立体音響効果を持った楽曲を再生することができる。
【００４７】
以上、この発明の第１実施形態および第２実施形態について説明したが、この発明にはこれ以外にも他の実施形態が考えられる。例えば次の通りである。
【００４８】
（１）上記第１実施形態では、遠近効果付加処理においてベロシティ値Ｖｅｌを仮想音源位置までの距離に変換したが、曲全体のボリュームを指定するマスタボリューム値は曲間で区々であり、同じ曲であっても、楽音形成チャネル単位でのボリュームの指示値であるチャネルボリューム間が楽音形成チャネル間で異なる場合もある。そこで、遠近効果付加処理では、Ｎｏｔｅ
Ｍｅｓｓａｇｅ毎に、マスタボリューム値と、そのＮｏｔｅ Ｍｅｓｓａｇｅが属する楽音形成チャネルのチャネルボリューム値と、そのＮｏｔｅ Ｍｅｓｓａｇｅのベロシティ値とにより、そのＮｏｔｅ
Ｍｅｓｓａｇｅに対応した音の強さを求め、この音の強さを仮想音源位置までの距離に置き換えた立体音響効果情報を生成するようにしてもよい。この場合において、楽曲データ中に含まれるベロシティ値の種類、チャネルボリューム値の種類が多いと、遠近効果付加処理により大量な立体音響効果情報が付加され、楽曲データのデータ量が大幅に増加する可能性がある。そこで、このような不都合を回避するため、遠近効果付加処理では、空間内の代表的な仮想音源位置を指示する限定された数の３Ｄ
ｐｏｓｉｔｉｏｎを生成し、Ｎｏｔｅ Ｍｅｓｓａｇｅには、その音の強さを最もよく近似する３Ｄ ポジションを割り当て、その３Ｄ ｐｏｓｉｔｉｏｎによって表現することができない音の強弱については、そのＮｏｔｅ
Ｍｅｓｓａｇｅのベロシティ値やチャネルボリューム値の調整により対処するようにしてもよい。ドップラー効果処理についても同様である。
【００４９】
（２）移動効果付加処理は、楽曲データ全体を解析して周期性を持った情報を抽出する必要があるが、遠近効果付加処理およびドップラー効果付加処理は、楽曲データ全体の解析を必要としない。そこで、移動効果付加処理を実行する必要がないのであれば、次のような実施の態様もあり得る。すなわち、ＣＰＵ１０は立体効果付加処理を実行することなく楽曲データのイベント情報をそのまま音源部５０に供給し、音源部５０は、ＣＰＵ１０から供給される楽曲データをリアルタイムに解析し、遠近効果付加処理やドップラー効果付加処理の対象となるイベント情報が発見された場合には、そのイベント情報を用いて遠近効果付加処理やドップラー効果付加処理に相当する処理を実行し、この結果得られるイベント情報を用いて楽音信号を形成するのである。
【００５０】
（３）上記各実施形態では、携帯電話端末１が大規模ネットワーク３を介して取得した楽曲データに立体音響効果付加処理１３を施したが、立体音響効果付加処理１３を実行する主体は、楽曲データを取得して利用する装置である必要はない。例えば、ユーザからの指示に従って携帯電話端末１が大規模ネットワーク３を介して所定のサーバに楽曲データを送り、このサーバが楽曲データに立体音響効果付加処理を施し、立体音響効果情報の付加された楽曲データを携帯電話端末１に送り返す、という実施の形態もあり得る。
【図面の簡単な説明】
【００５１】
【図１】この発明の第１実施形態である音響効果付加装置としての機能を備えた携帯電話端末を含む通信システム全体の構成を示す図である。
【図２】同実施形態における携帯電話端末の構成を示すブロック図である。
【図３】同携帯電話端末における音源部の構成を示すブロック図である。
【図４】同実施形態において用いられる楽曲データの例を示す図である。
【図５】同実施形態における立体音響効果付加処理の内容を示すフローチャートである。
【図６】同実施形態における遠近効果付加処理の実行例を示す図である。
【図７】同実施形態における移動効果付加処理の実行例を示す図である。
【図８】同実施形態におけるドップラー効果付加処理の実行例を示す図である。
【図９】この発明の第２実施形態である携帯電話端末の構成を示すブロック図である。
【図１０】同携帯電話端末の音源部の構成を示すブロック図である。
【図１１】同実施形態における立体音響効果情報の例を示す図である。
【符号の説明】
【００５２】
１，１Ａ……携帯電話端末、１０，１０Ａ……ＣＰＵ、２０……通信部、２１……アンテナ、３０……音声処理部、３１……スピーカ、３２……マイク、４１……操作部、４２……表示部、５０……音源部、５１Ｌ，５１Ｒ……スピーカ、６０，６０Ａ……記憶部、６１，６１Ａ……楽曲記憶エリア、１１，１４……通信制御処理、１２，１８……シーケンサ、１３，１７……立体音響効果付加処理、１５……デコーダ、１６……解析処理。
【特許請求の範囲】
【請求項１】
楽曲データを記憶する記憶手段と、
前記記憶手段に記憶された楽曲データを構成する情報のうち所定の条件を満たす情報に基づいて、立体音響の再生の制御に用いる立体音響効果情報を生成し、立体音響効果情報の付加された楽曲データを出力する立体音響効果付加手段と
を具備することを特徴とする立体音響効果付加装置。
【請求項２】
前記立体音響効果付加手段は、前記楽曲データに含まれる音の強弱に関する情報を立体音響の定位を指示する立体音響効果情報に変換する手段を具備することを特徴とする請求項１に記載の立体音響効果付加装置。
【請求項３】
前記立体音響効果付加手段は、前記楽曲データから楽曲の進行に応じて周期的に変化する情報を抽出し、該情報の変化の周期に同期して立体音響の定位を変化させる立体音響効果情報を生成する手段を具備することを特徴とする請求項１に記載の立体音響効果付加装置。
【請求項４】
前記立体音響効果付加手段は、前記楽曲データに含まれる音程制御情報を立体音響の定位を聴取者に近づけ、あるいは聴取者から遠ざける立体音響効果情報に変換する手段を具備することを特徴とする請求項１に記載の立体音響効果付加装置。
【請求項５】
楽曲データを解析し、所定の条件を満たす情報を抽出する解析過程と、
前記解析過程において抽出された情報を用いて、立体音響の再生の制御に用いる立体音響効果情報を生成し、立体音響効果情報の付加された楽曲データを出力する立体音響効果付加過程と
をコンピュータに実行させることを特徴とするプログラム。
【請求項６】
楽曲データに従って立体音響の再生を行う音源装置において、
楽曲データを解析し、所定の条件を満たす情報を抽出する解析手段と、
前記抽出した情報を用いて立体音響再生の制御に用いる立体音響効果情報を生成し、該立体音響効果情報に基づいて、立体音響の再生の制御を行う制御手段と
を具備することを特徴とする音源装置。
【請求項１】
楽曲データを記憶する記憶手段と、
前記記憶手段に記憶された楽曲データを構成する情報のうち所定の条件を満たす情報に基づいて、立体音響の再生の制御に用いる立体音響効果情報を生成し、立体音響効果情報の付加された楽曲データを出力する立体音響効果付加手段と
を具備することを特徴とする立体音響効果付加装置。
【請求項２】
前記立体音響効果付加手段は、前記楽曲データに含まれる音の強弱に関する情報を立体音響の定位を指示する立体音響効果情報に変換する手段を具備することを特徴とする請求項１に記載の立体音響効果付加装置。
【請求項３】
前記立体音響効果付加手段は、前記楽曲データから楽曲の進行に応じて周期的に変化する情報を抽出し、該情報の変化の周期に同期して立体音響の定位を変化させる立体音響効果情報を生成する手段を具備することを特徴とする請求項１に記載の立体音響効果付加装置。
【請求項４】
前記立体音響効果付加手段は、前記楽曲データに含まれる音程制御情報を立体音響の定位を聴取者に近づけ、あるいは聴取者から遠ざける立体音響効果情報に変換する手段を具備することを特徴とする請求項１に記載の立体音響効果付加装置。
【請求項５】
楽曲データを解析し、所定の条件を満たす情報を抽出する解析過程と、
前記解析過程において抽出された情報を用いて、立体音響の再生の制御に用いる立体音響効果情報を生成し、立体音響効果情報の付加された楽曲データを出力する立体音響効果付加過程と
をコンピュータに実行させることを特徴とするプログラム。
【請求項６】
楽曲データに従って立体音響の再生を行う音源装置において、
楽曲データを解析し、所定の条件を満たす情報を抽出する解析手段と、
前記抽出した情報を用いて立体音響再生の制御に用いる立体音響効果情報を生成し、該立体音響効果情報に基づいて、立体音響の再生の制御を行う制御手段と
を具備することを特徴とする音源装置。
【図１】
【図２】
【図３】
【図４】
【図５】
【図６】
【図７】
【図８】
【図９】
【図１０】
【図１１】
【図２】
【図３】
【図４】
【図５】
【図６】
【図７】
【図８】
【図９】
【図１０】
【図１１】
【公開番号】特開２００７−１５８９８５（Ｐ２００７−１５８９８５Ａ）
【公開日】平成１９年６月２１日（２００７．６．２１）
【国際特許分類】
【出願番号】特願２００５−３５４３３５（Ｐ２００５−３５４３３５）
【出願日】平成１７年１２月８日（２００５．１２．８）
【出願人】（０００００４０７５）ヤマハ株式会社 (5,930)
【Ｆターム（参考）】
【公開日】平成１９年６月２１日（２００７．６．２１）
【国際特許分類】
【出願日】平成１７年１２月８日（２００５．１２．８）
【出願人】（０００００４０７５）ヤマハ株式会社 (5,930)
【Ｆターム（参考）】
[ Back to top ]