伴奏追従システム
【課題】演奏者による演奏に追従して自動演奏の曲調を制御すること。
【解決手段】セッションを行う複数のセッションデバイス１０の夫々に演奏音を目立たせる度合いの序列を示す優先順位を与える。そして、優先順位決定サーバ装置７０は最も高い優先順位を与えられているセッションデバイス１０による演奏のキーとテンポとをテンポ・ピッチ抽出回路３０を通じて抽出し、抽出したキーとテンポに合わせて伴奏音のキーとテンポを追従させる。
【解決手段】セッションを行う複数のセッションデバイス１０の夫々に演奏音を目立たせる度合いの序列を示す優先順位を与える。そして、優先順位決定サーバ装置７０は最も高い優先順位を与えられているセッションデバイス１０による演奏のキーとテンポとをテンポ・ピッチ抽出回路３０を通じて抽出し、抽出したキーとテンポに合わせて伴奏音のキーとテンポを追従させる。
【発明の詳細な説明】
【技術分野】
【０００１】
本発明は、楽器の演奏音に良好な伴奏音を自動的に与える技術に関する。
【背景技術】
【０００２】
複数の演奏者が参加して行われる音楽活動を支援する技術を開示した文献として、例えば、特許文献１などが挙げられる。この文献に開示された曲データ作成システムは、各演奏者の楽器を接続するクライアントＰＣと、それら各クライアントＰＣからの問い合わせに応答するサーバとから構成される。各クライアントＰＣは、曲データをサーバへアップロードする機能に加えてチャット機能を搭載する。そして、各演奏者らは、チャット機能によってお互いにコミュニケーションを取りつつ各々の創作した曲データをサーバへアップロードすることによって、曲データを合作できるようになっている。
【特許文献１】特開２００１−１９５０６４号公報
【発明の開示】
【発明が解決しようとする課題】
【０００３】
ところで、上述したような複数の演奏者が参加して行われる演奏活動においては、ＭＩＤＩ（musical instruments digital interface）データなどによって予め準備しておいた伴奏曲の再生に合わせて各演奏者が自らの楽器を演奏することも少なくない。伴奏曲に合わせて各演奏者が演奏を行うようにすることで、演奏のテンポにばらつきが生じるといった不都合を回避できるからである。
しかしながら、このように伴奏曲の再生と合わせて演奏を行う場合、各演奏者は伴奏曲のテンポに忠実な演奏を行わなければならないため、ある演奏箇所の楽音を本来よりも幾分長くのばしてみるといったような即興的な表現を盛り込む事がことが難しくなり、結果として、音楽的な面白みが半減してしまうという問題があった。
本発明は、このような問題を解決すべく案出されたものであり、演奏者による演奏に追従して自動伴奏の曲調を制御できるような仕組みを提供することを目的とする。
【課題を解決するための手段】
【０００４】
本発明の好適な態様である伴奏追従システムは、複数の楽器から演奏音を夫々入力する入力手段と、伴奏曲となる一連の伴奏音の楽音情報を記憶した伴奏曲記憶手段と、前記各楽器のうち、演奏の主導権を与える楽器を所定の条件に従って特定する主導楽器特定手段と、前記伴奏曲記憶手段に記憶された楽音情報を基に伴奏音を生成し、生成した伴奏音を順次出力する伴奏曲出力手段と、前記主導楽器特定手段により特定された楽器から前記入力手段を介して入力される演奏音から当該楽器による演奏のテンポを抽出するテンポ抽出手段と、前記伴奏曲出力手段が順次出力する伴奏音のテンポを、前記テンポ抽出手段が抽出したテンポと一致するように制御するテンポ追従制御手段とを備える。
【０００５】
この態様において、演奏音から前記主導楽器特定手段が特定した楽器による演奏の調を抽出する調抽出手段と、前記伴奏曲出力手段が順次出力する伴奏音の調を、前記調抽出手段が抽出した調と一致するように制御する調追従制御手段とを更に備えてもよい。
【０００６】
また、前記主導権を与える楽器の遷移を演奏開始時からの経過時間と対応付けて記憶した主導権スケジュール記憶手段を備え、前記主導楽器特定手段は、前記主導権スケジュール記憶手段の記憶内容に従って前記主導権を与える楽器を順次特定するようにしてもよい。
【０００７】
更に、前記各楽器又はそれらの演奏者の状態を夫々検知するセンサを備え、前記主導楽器特定手段は、前記各センサによる検知結果に応じて前記主導権を与える楽器を特定するようにしてもよい。
【発明の効果】
【０００８】
本発明によると、演奏者による演奏に追従して自動伴奏の曲調を制御することができる。
【発明を実施するための最良の形態】
【０００９】
（第１実施形態）
本願発明の第１実施形態について説明する。
まず、以降の説明において用いる主要な用語を定義しておく。「演奏者」とは、セッションデバイス（楽器）の持ち主としてセッションに参加する個人を意味する。「演奏音」とは、セッションデバイスを演奏することによって得られる楽音を意味する。「伴奏音」とは、演奏音を補強すべく電子的に作り出される楽音を意味する。「優先順位」とは、演奏音を目立たせる度合いの序列を表す数を意味する。
【００１０】
本実施形態にかかる伴奏追従システムは、以下に示す２つの特徴を有している。１つ目の特徴は、予め準備された演奏曲を演奏する複数のセッションデバイスのうちの１つに演奏の主導権を与え、主導権を与えたセッションデバイスの演奏に伴奏曲のキー（調）とテンポとを自動追従させるようにした点である。２つ目の特徴は、主導権を与えるセッションデバイスをセッションの進行に従って順次切り替えるようにした点である。
【００１１】
図１は、本実施形態にかかる伴奏追従システムの全体構成図である。図に示すように、このシステムは、複数のセッションデバイス１０、セレクタ２０、テンポ・ピッチ抽出回路３０、音響ミキサー４０、スピーカ５０、伴奏再生装置６０、及び優先順位決定サーバ装置７０から構成される。
セッションデバイス１０は、ピアノ、ベース、ドラムといった各種楽器であり、演奏音の楽音信号をセレクタ２０と音響ミキサー４０へ夫々供給する。
【００１２】
セレクタ２０は、楽音信号を各セッションデバイス１０から入力するための複数の入力インターフェース２１乃至２３と、楽音信号をテンポ・ピッチ抽出回路３０へ出力する唯一の出力インターフェース２５とを備える。各入力インターフェース２１乃至２３には、各々を識別する固有の番号（以下、「インターフェース番号」と呼ぶ。）が割り振られている。このセレクタ２０は、優先順位決定サーバ装置７０からの指令に応じ、複数の入力インターフェース２１乃至２３のうちの１つから入力されてくる楽音信号を出力インターフェース２５を介してテンポ・ピッチ抽出回路３０へ出力する。
【００１３】
テンポ・ピッチ抽出回路３０は、セレクタ２０を介して入力される演奏音の楽音信号からテンポとピッチとを抽出して優先順位決定サーバ装置７０へ供給する。
このテンポ・ピッチ抽出回路３０によるテンポの抽出手法としては、楽音信号によって表わされる波形の振幅が所定値を超えた箇所を強拍のアタック部として順次特定し、特定した各アタック部の時間間隔をテンポとして抽出するといったものが想定できる。また、ピッチの抽出手法としては、楽音信号が示す波形の基本周波数をピッチとして抽出するといったものが想定できる。
【００１４】
音響ミキサー４０は、各セッションデバイス１０及び伴奏再生装置６０から楽音信号を入力する複数の入力インターフェース４１乃至４４と、ミキシングされた楽音信号をスピーカ５０へ出力する唯一の出力インターフェース４５とを備える。なお、入力インターフェース４４は、伴奏再生装置６０の専用インターフェースとして確保されており、その他の入力インターフェース４１乃至４３には、セレクタ２０の入力インターフェース２１乃至２３に対応したインターフェース番号が夫々割り振られている。
後の動作説明の項で詳述するように、この音響ミキサー４０は、セッションデバイス１０から入力インターフェース４２乃至４４を介して入力されてくる楽音信号のミキシング比率を、優先順位決定サーバ装置７０からの指令に応じて適宜変更するようになっている。
【００１５】
図２は、伴奏再生装置６０のハードウェア構成図である。図に示すように、この装置６０は、各種制御を行うＣＰＵ６１、ＣＰＵ６１にワークエリアを提供するＲＡＭ６２、ＩＰＬ（initial program loader）を記憶したＲＯＭ６３、外部装置との間で各種情報の遣り取りを行う通信インターフェース６４、音響ミキサー４０へ楽音信号を出力する伴奏音出力インターフェース６５、及び曲データベース６６ａを記憶したハードディスク６６を備える。曲データベース６６ａには、各々が１つの伴奏曲と対応する複数の楽曲シーケンスデータが蓄積されている。
この曲データベース６６ａに蓄積された楽曲シーケンスデータの中には、優先順位遷移情報が予め記録された順位スケジュール固定タイプと、優先順位遷移情報が記録されておらず演奏者自身による設定が可能な順位スケジュール設定タイプの２つのタイプが混在する。ここで、優先順位遷移情報とは、各セッションデバイス１０に与えられることになっている優先順位の遷移を時系列に従って表す情報を意味する。
図３は、順位スケジュール固定タイプの楽曲シーケンスデータを示すデータ構造図である。図に示すように、楽曲シーケンスデータはヘッダ部９１とデータ部９２を備える。ヘッダ部９１には、演奏曲の曲名を示す曲名情報、演奏曲の標準的なキーとテンポとを示す曲調情報、演奏曲の演奏に必要な各楽器の楽器種別を示す楽器種別情報、及び順位スケジュール固定タイプであることを示すタイプ種別情報が記録される。
データ部９２は、伴奏曲トラック９３と演出スケジュールトラック９４とに分かれている。伴奏曲トラック９３には、伴奏曲となる一連の伴奏音を示すオーディオデータが時系列に従って記録されている。
【００１６】
演出スケジュールトラック９４には、優先順位遷移情報が記録されている。図３を参照してこれを更に詳述すると、この図に示す例の場合、セッションの開始から１０秒経過するまでの間は、「ピアノ：１」、「ベース：２」、「ドラム：３」と記録され、１０秒から２０秒までの間は、「ピアノ：２」、「ベース：１」、「ドラム：３」と記録され、更に、２０秒から３０秒までの間は、「ピアノ：１」、「ベース：２」、「ドラム：３」と記録されている。つまり、セッションの開始から１０秒までの間は最も高い優先順位がピアノに与えられ、１０秒を経過するとピアノとベースの優先順位が逆転し、２０秒を経過すると逆転した優先順位が基に戻るようになっていることを表わしている。後の動作説明の項で詳述するように、優先順位が最も高い「１」となっているセッションデバイス１０には演奏の主導権が与えられ、セッションが行われている間は、主導権が与えられているセッションデバイス１０の演奏に追従するように伴奏曲のキーとテンポが制御される。
一方、順位スケジュール設定タイプの楽曲シーケンスデータの場合、データ部９２に演出スケジュールトラック９４を有していない。また、ヘッダ部９１には、曲名情報、曲調情報、楽器種別情報のほか、順位スケジュール設定タイプであることを示すタイプ種別情報が記録されても良い。
【００１７】
図４は、優先順位決定サーバ装置７０のハードウェア構成図である。図に示すように、この装置７０は、各種制御を行うＣＰＵ７１、ＣＰＵ７１にワークエリアを提供するＲＡＭ７２、ＩＰＬを記憶したＲＯＭ７３のほか、通信インターフェース７４、コンピュータディスプレイ７５、マウス７６、キーボード７７、ハードディスク７８などを備える。そして、ハードディスク７８は、伴奏追従制御プログラム７８ａを記憶する。このプログラム７８ａは、本実施形態に特徴的な機能を実現させるための固有のプログラムである。ＲＡＭ７２をワークエリアとして利用しつつこのプログラムを実行するＣＰＵ７１は、セレクタ２０、音響ミキサー４０、及び伴奏再生装置６０へ各種指令を出力することによってシステム全体を制御する。
【００１８】
次に、本実施形態の動作を説明する。本実施形態の動作は、セッション準備処理とセッション処理とに分けることができる。
まず、セッション準備処理の内容について説明する。
図５は、セッション準備処理を示すフローチャートである。図に示す処理は、演奏者のいずれかが、優先順位決定サーバ装置７０のマウス７６を操作することによって演奏準備の開始を指示すると開始される。
【００１９】
演奏準備の開始が指示されると、優先順位決定サーバ装置７０のＣＰＵ７１は、曲名リストの送信を求めるメッセージを伴奏再生装置６０へ送信する（Ｓ１００）。
メッセージを受信した伴奏再生装置６０のＣＰＵ６１は、曲データベース６６ａに蓄積されている全楽曲シーケンスデータのヘッダ部９１から曲名情報と楽器種別情報とを夫々読み出し、読み出した曲名情報と楽器種別情報の各対を優先順位決定サーバ装置７０へ送信する（Ｓ１１０）。
【００２０】
優先順位決定サーバ装置７０のＣＰＵ７１は、伴奏再生装置６０から受信した曲名情報と楽器種別情報の各対を基に、演奏曲選択画面をコンピュータディスプレイ７５に表示させる（Ｓ１２０）。
演奏曲選択画面の上段には、「今回のセッションで演奏する演奏曲をリストから選択して下さい。」という内容を示す文字列が表示される。その下には、各演奏曲の曲名とそれら各演奏曲の演奏に必要な楽器の楽器種別とを対応付けたリストが表示される。
【００２１】
この画面を参照した演奏者は、同画面のリストに表示された各演奏曲の中から、今回のセッションに参加する全演奏者のセッションデバイス１０が楽器種別として挙げられている演奏曲の１つを選択する。
演奏曲の１つが選択されると、優先順位決定サーバ装置７０のＣＰＵ７１は、セッションデバイス接続要求画面をコンピュータディスプレイ７５に表示させる（Ｓ１３０）。
【００２２】
図６は、セッションデバイス接続要求画面である。
この画面の上段には、「演奏曲が選択されました。セッションデバイスをセレクタと音響ミキサーに接続し、インターフェースの番号を入力してください。」という内容の文字列が表示される。その下には、選択された演奏曲の曲名とその演奏に必要な楽器とが表示される。更に、画面の下段には、各インターフェースに接続したセッションデバイス１０の楽器種別を入力する入力欄が表示される。
【００２３】
この画面を参照した各演奏者は、各々のセッションデバイス１０をセレクタ２０及び音響ミキサー４０の同じインターフェース番号の入力インターフェースに夫々接続する。セッションデバイス１０を接続した演奏者は、自らのセッションデバイス１０を接続した入力インターフェースのインターフェース番号と対応する入力欄にその楽器種別を入力する。
セッションデバイス接続要求画面の入力欄に楽器種別が入力されると、優先順位決定サーバ装置７０のＣＰＵ７１は、優先順位管理テーブルをＲＡＭ７２に形成する（Ｓ１４０）。
【００２４】
図７は、優先順位管理テーブルのデータ構造図である。このテーブルを構成する１つのレコードは、「インターフェース」、「楽器」、及び「順位」の３つのフィールドを有している。「インターフェース」のフィールドには、セッションデバイス１０が接続された各インターフェースのインターフェース番号が記憶される。「楽器」のフィールドには、セッションデバイス接続要求画面にて入力された楽器種別を示す楽器種別情報が記憶される。「順位」のフィールドには、後述するセッション処理が行われている間、優先順位を示す順位情報が記憶される。
優先順位管理テーブルを形成した優先順位決定サーバ装置７０のＣＰＵ７１は、ミキシング比率設定画面をコンピュータディスプレイ７５に表示させる（Ｓ１５０）。
【００２５】
図８は、ミキシング比率設定画面である。
この画面の上段には、「各優先順位のミキシング比率を設定してください。」という内容を示す文字列が表示される。その下には、各優先順位と対応するミキシング比率を入力する入力欄が表示される。
この画面を参照した演奏者は、各優先順位のミキシング比率を各々の入力欄に入力する。なお、高い優先順位の与えられているセッションデバイスの演奏音がより目立つような演出を行うべく、高い優先順位であるほどミキシング比率も高くなるような設定内容とすることが望ましい。
【００２６】
ミキシング比率設定画面の全入力欄にミキシング比率が入力されると、優先順位決定サーバ装置７０のＣＰＵ７１は、ミキシング比率管理テーブルをＲＡＭ７２に形成する（Ｓ１６０）。
図９は、ミキシング比率管理テーブルである。このテーブルを構成する１つのレコードは、「順位」と「比率」の２つのフィールドを有している。「順位」のフィールドには、優先順位が記憶される。「比率」のフィールドには、ミキシング比率設定画面にて各優先順位と対応付けて入力されたミキシング比率が記憶される。例えば、最も高い優先順位である「１」と対応する優先順位は「１：１．２」となっているが、これは、「１」の優先順位が付与されているセッションデバイス１０の楽音信号が、１．２倍に増幅されてから他の楽音信号とミキシングされるべきことを表わしている。
【００２７】
ミキシング比率管理テーブルを形成した優先順位決定サーバ装置７０のＣＰＵ７１は、演奏曲選択画面にて選択された演奏曲を指定する演奏曲指定情報を伴奏再生装置６０へ送信する（Ｓ１７０）。
伴奏再生装置６０のＣＰＵ６１は、優先順位決定サーバ装置７０から受信した演奏曲指定情報が指定する演奏曲の楽曲シーケンスデータを曲データベース６６ａから読み出す（Ｓ１８０）。
【００２８】
続いて、ＣＰＵ６１は、曲調情報を記憶する領域（以下、「曲調情報記憶領域」と呼ぶ。）をＲＡＭ６２に確保し、ステップ１８０で読み出した楽曲シーケンスデータのヘッダ部９１に内包されている曲調情報をこの曲調情報記憶領域に記憶する（Ｓ１９０）。
ＣＰＵ６１は、ステップ１８０で読み出した楽曲シーケンスデータのヘッダ部９１に内包されているタイプ種別情報を参照し、読み出した楽曲シーケンスデータが順位スケール固定タイプと順位スケジュール設定タイプのいずれに該当するか判断する（Ｓ２００）。
【００２９】
ステップ２００において、順位スケジュール固定タイプに該当すると判断したＣＰＵ６１は、楽曲シーケンスデータの演出スケジュールトラック９４に内包されている優先順位遷移情報を優先順位決定サーバ装置７０へ送信する（Ｓ２１０）。
優先順位決定サーバ装置７０のＣＰＵ７１は、伴奏再生装置６０から送信された優先順位遷移情報をＲＡＭ７２に記憶する（Ｓ２２０）。
【００３０】
一方、ステップ２００において、順位スケジュール設定タイプに該当すると判断した伴奏再生装置６０のＣＰＵ６１は、順位スケジュールの設定を求めるメッセージを優先順位決定サーバ装置７０へ送信する（Ｓ２３０）。
メッセージを受信した優先順位決定サーバ装置７０のＣＰＵ７１は、ステップ１１０にて伴奏再生装置６０から送信された楽器種別情報を基に順位スケジュール設定画面をコンピュータディスプレイ７５に表示させる（Ｓ２４０）。
【００３１】
順位スケジュール設定画面の上段には、「各セッションデバイスに与える優先順位のスケジュールを設定してください。」という内容を示す文字列が表示される。その下には、伴奏再生装置６０から受信した楽器種別情報と対応する各セッションデバイス１０に与える優先順位を時系列に従って入力する入力欄が表示される。
この画面を参照した演奏者は、各演奏者のセッションデバイス１０に与える優先順位の遷移を同画面の入力欄に入力する。
順位スケジュール設定画面に優先順位の遷移が入力されると、優先順位決定サーバ装置７０のＣＰＵ７１は、その入力内容を基に生成した優先順位遷移情報をＲＡＭ７２に記憶する（Ｓ２５０）。
以上で、セッション準備処理が終了する。
【００３２】
図１０は、セッション処理を示すフローチャートである。上述したセッション準備処理の終了後、セッションの開始が指示されると、伴奏再生装置６０と優先順位決定サーバ装置７０は、互いに同期を取りながら図に示す一連の処理を所定のサイクルに従って繰り返す。
まず、伴奏再生装置６０側の処理について説明すると、同装置６０のＣＰＵ６１は、ステップ１８０で読み出しておいた楽曲シーケンスデータの伴奏曲トラック９３に記録されているオーディオデータをトラックの先頭から順次読み出す（Ｓ３００）。
【００３３】
続いて、ＣＰＵ６１は、曲調変更情報を受信したか否か判断し（Ｓ３１０）、曲調変更情報を受信したときはステップ３２０に進む一方、曲調変更情報を受信していないときはステップ３３０に進む。曲調変更情報とは、伴奏曲のキーとテンポの変更を指示する情報であり、優先順位決定サーバ装置７０側で生成される。ステップ３２０の内容は優先順位決定サーバ装置７０側における処理の内容を述べた後に説明することとし、ここでは、ステップ３３０へ進む。
ステップ３３０において、ＣＰＵ６１は、ステップ１８０で読み出したオーディオデータを基に伴奏音の楽音信号を生成する。
【００３４】
続いて、ＣＰＵ６１は、ステップ３３０にて生成した楽音信号が示すピッチをＲＡＭ６２の曲調情報記憶領域の曲調情報が示すキーに合わせて調整し、同曲調情報が示すテンポに従ったタイミングで音響ミキサー４０へ出力する（Ｓ３４０）。
伴奏再生装置６０から出力された伴奏音の楽音信号は、音響ミキサー４０を経由してスピーカ５０へ入力され、スピーカ５０から伴奏音として放音される。
【００３５】
一方、優先順位決定サーバ装置７０側の処理について説明すると、同装置７０のＣＰＵ７１は、伴奏再生装置６０における伴奏曲の再生開始と同時に演奏開始からの経過時間の計時を開始する（Ｓ２６５）。
続いて、ＣＰＵ７１は、ステップ２２０又はステップ２５０にてＲＡＭ７２に記憶しておいた優先順位遷移情報から現在の経過時間と対応する各楽器の優先順位を取得し、取得した優先順位を基に優先順位管理テーブルを更新する（Ｓ２７５）。
【００３６】
本ステップにおける更新が行われる結果、仮に優先順位遷移情報が図３に示すような内容となっていた場合、演奏開始から１０秒経過するまでの間は、優先順位管理テーブルにおける「ピアノ」と対応するレコードの「順位」のフィールドの記憶内容が「１」となり、１０秒経過した後、「ベース」と対応するレコードの「順位」のフィールドの記憶内容が「１」へと切り替わることになる。
【００３７】
優先順位管理テーブルを更新したＣＰＵ７１は、その優先順位管理テーブルの各レコードのうちから、「順位」のフィールドの記憶内容が「１」となっているレコードを特定し、特定したレコードの「インターフェース」のフィールドに記憶されているインターフェース番号をセレクタ２０へ通知する（Ｓ２８５）。
インターフェース番号の通知を受けたセレクタ２０は、そのインターフェース番号と対応する入力インターフェースから入力されてくる楽音信号を出力インターフェースから出力させるべく、自身内部のデータパスを制御する。
この結果、各演奏者のうち最も高い優先順位が与えられている演奏者のセッションデバイス１０からセレクタ２０へ入力されきた楽音信号がテンポ・ピッチ抽出回路３０へと入力され、同回路３０にて抽出されたピッチとテンポが優先順位決定サーバ装置７０へ供給される。
【００３８】
優先順位決定サーバ装置７０のＣＰＵ７１は、所定時間長の間に供給されてくる一連の演奏音のピッチを解析し、それらの演奏音が従うキーを特定する（Ｓ２９５）。
優先順位決定サーバ装置７０のＣＰＵ７１は、テンポ・ピッチ抽出回路３０から供給されるテンポとステップ２９５で特定したキーとを表す曲調変更情報を伴奏再生装置６０へ送信する（Ｓ３０５）。
【００３９】
曲調変更情報が伴奏再生装置６０へ送信されると、伴奏再生装置６０で実行されるループのその次のサイクルで到来するステップ３１０における判断結果は「ＹＥＳ」となり、ステップ３２０の処理が実行される。
ステップ３２０に進むと、伴奏再生装置６０のＣＰＵ６１は、ＲＡＭ６２の曲調情報記憶領域に記憶されている曲調情報の内容を伴奏再生装置６０から受信した曲調変更情報に合せて書き換える。
【００４０】
ここで、セッション処理が開始された当初は、いわゆる前奏区間となるため、セッションデバイス１０による演奏音の楽音信号がセレクタ２０及び音響ミキサー４０に入力されず、その楽音信号が示すテンポとピッチとから得られる曲調変更情報も優先順位決定サーバ装置７０から伴奏再生装置６０へ送信されることはない。従って、曲調変更情報が送信されるまでの各サイクルにて到来するステップ３１０の判断結果は「ＮＯ」となり、ＲＡＭ６２の曲調情報記憶領域には、図５のステップ１９０にて同領域に記憶された曲調情報、つまり、標準的なキーとテンポとを示す曲調情報が保持され続けることになる。この結果、ステップ３３０では、標準的なキーに従ったピッチの演奏音を示す楽音信号が、標準的なテンポに従ったタイミングで音響ミキサー４０へ出力される。
【００４１】
一方、前奏区間が終わり、各セッションデバイス１０の演奏音の楽音信号がセレクタ２０及び音響ミキサー４０へ入力され始めると、それらのうち最も高い優先順位のセッションデバイス１０の楽音信号が示すテンポとピッチとから得た曲調変更情報が優先順位決定サーバ装置７０から伴奏再生装置６０へ送信される。
すると、その後のサイクルにて到来するステップ３１０の判断結果は「ＹＥＳ」となり、続くステップ３２０では、ＲＡＭ６２の曲調情報記憶領域に保持された曲調情報が、曲調変更情報が示すキーとテンポとを示す新たな曲調情報へと書き換えられる。この結果、曲調変更情報が送信された後のサイクルにて到来するステップ３３０では、最も高い優先順位が与えられているセッションデバイス１０による演奏と同じキーに従ったピッチの演奏音を示す楽音信号が、その演奏と同じテンポに従ったタイミングで出力されることになる。
【００４２】
図１０において、曲調変更情報を送信した優先順位決定サーバ装置７０のＣＰＵ７１は、優先順位管理テーブルとミキシング比率管理テーブルの内容を基に生成したミキシング比率制御情報を音響ミキサー４０へ出力する（Ｓ３１５）。
ミキシング比率制御情報は、インターフェース番号とミキシング比率の各対を示す情報である。このステップの内容を具体的に説明すると、まず、ステップ２７５で更新された後の優先順位管理テーブルから、入力インターフェースの各インターフェース番号と対応付けられている優先順位を取得する。続いて、ミキシング比率管理テーブルから、各優先順位について設定されているミキシング比率を取得する。その後、両テーブルにおいて共通の優先順位と対応付けられているインターフェース番号とミキシング比率とを夫々対にして音響ミキサー４０へ出力する。
【００４３】
以上説明した実施形態では、各セッションデバイス１０の演奏音を補強すべく準備された伴奏音のキーとテンポが、最も高い優先順位を持つセッションデバイス１０の演奏に合せて調節されるようになっている。従って、最も高い優先順位を持つセッションデバイス１０の演奏者がある演奏箇所を本来とは異なるキーやテンポで演奏したような場合でも、そのような即興的な変化に伴奏曲のキーとテンポを追従させることができ、音楽的面白みが損なわれることのないセッションを演出できる。
【００４４】
また、本実施形態においては、各演奏者のセッションデバイス１０の優先順位の遷移を時系列に従って示す優先順位遷移情報が楽曲シーケンスデータの一部として予め準備されおり、セッションが開始されると、優先順位決定サーバ装置７０がその優先順位遷移情報を順次参照しながら、各演奏者に与える優先順位を切り替えるようになっている。このようにセッションの進行と連動させて優先順位を適宜切り替えることによって、全ての演奏者が満足できるようなセッションを演出することができる。
【００４５】
更に、本実施形態では、各優先順位毎のミキシング比率をセッションを開始する前に任意に設定できるようになっており、各セッションデバイス１０から音響ミキサー４０に入力された楽音信号はこの設定された比率に従ってミキシングされてからスピーカ５０へ出力されるようになっている。従って、セッションに参加している演奏者の演奏を音量面からも良好に演出することができる。
【００４６】
（第２実施形態）
本願発明の第２実施形態について説明する。
上記実施形態では、各種楽器毎の優先順位の遷移を示す優先順位遷移情報が楽曲シーケンスデータの演出スケジュールトラック９４に記録され又は演奏者によって設定されるようになっており、セッションが行われている間は、優先順位遷移情報に従って各演奏者の優先順位が切り替えられるようになっていた。これに対し、本実施形態は、各演奏者の緊張度を測るバロメータの一つである発汗量をも加味して優先順位の切り替えを行う。
【００４７】
図１１は、本実施形態にかかる伴奏追従システムの全体構成図である。このシステムは、図１に示した各構成要素に加えて、センサ８０を備える。
センサ８０は、発汗センサであり、各演奏者に夫々１つずつ取り付けられる。このセンサ８０は、各演奏者の発汗量を検知し、その検知結果を状態情報として優先順位決定サーバ装置７０へ供給するようになっている。
【００４８】
次に、本実施形態の動作を説明する。
本実施形態では、優先順位決定サーバ装置７０における優先順位管理テーブルの更新の手順が第１実施形態と異なる。図１０に示したステップ２７５では、優先順位決定サーバ装置７０のＣＰＵ７１が、ステップ２２０又はステップ２５０にてＲＡＭ７２に記憶しておいた優先順位遷移情報から現在の経過時間と対応する各楽器の優先順位を取得し、取得した優先順位を基に優先順位管理テーブルを更新するようになっていた。つまり、優先順位管理テーブルの更新は、優先順位遷移情報のみに依存して行われた。
これに対し、本実施形態では、このステップ２７５を実行した後、更に別の判断ステップが挿入される。この判断ステップでは、各センサ８０から供給される状態情報が示す発汗量が所定値を上回ったか否かが判断される。そして、この判断ステップにて、いずれかのセンサ８０から供給された状態情報が示す発汗量が所定値を上回ったと判断されると、そのセンサ８０を取り付けた演奏者によって演奏されているセッションデバイス１０の優先順位を最も高いものに切り替える。
【００４９】
以上説明した実施形態では、各演奏者にセンサ８０を夫々取り付け、それら各センサ８０の検知結果をも加味して優先順位を切り替えるようになっている。このように、センサ８０の検知結果に連動させて優先順位を切り替えるようにすることによって、セッションの演出効果をより高めることができる。また、テンポを抽出することが困難なヴォーカル（肉声）などを交えて行われるセッションも好適に演出することができる。
【００５０】
（他の実施形態）
本願発明は、種々の変形実施が可能である。
例えば、テンポを抽出することが不可能なリード楽器等のセッションデバイス１０やヴォーカルなどを交えてセッションを行う場合、タップボタンなどの特殊な器具や、体もしくは楽器に取付けた振動センサを用いて演奏者のステップや首振りの間隔を検出し、検出した間隔をテンポとして優先順位決定サーバ装置７０へ供給してもよい。
また、上記実施形態では、伴奏曲の内容を伴奏曲トラック９３にオーディオデータとして記録していたが、これをＭＩＤＩデータとして記録してもよい。つまり、伴奏曲となる一連の伴奏音を示す楽音データであればそのデータ形式は問わない。
【００５１】
上記実施形態において、セレクタ２０は複数の入力インターフェースを備えており、優先順位決定サーバ装置７０による指示の下、それらのうち１つの入力インターフェースから入力された楽音信号をピッチ・テンポ抽出回路３０へ出力するようになっていた。これに対し、セレクタ２０が唯一の入力インターフェースのみを備え、その入力インターフェースを介して各セッションデバイス１０から入力されてくる楽音信号のうち、最も高い優先順位を与えられたセッションデバイス１０の楽音信号を抽出してピッチ・テンポ抽出回路３０へ出力するようにしてもよい。かかる変形例は、各セッションデバイス１０が、自らを識別するＩＤを楽音信号と対にしてセレクタ２０へ入力し、セレクタ２０が各楽音信号と対を成すＩＤを参照することによってその供給元を特定することで実現できる。音響ミキサー４０についても同様に、複数の入力インターフェースを備える必要はなく、唯一の入力インターフェースから入力されてくる楽音信号の供給元をそれらの楽音信号と対を成しているＩＤを基に特定するようにするとよい。
【００５２】
上記実施形態では、伴奏再生装置６０の曲データベース６６ａから読み出された楽曲シーケンスデータが順位スケジュール設定タイプであった場合のみ、順位スケジュールの設定を求めるメッセージが優先順位決定サーバ装置７０へ送信され、同装置７０のコンピュータディスプレイ７５に表示される順位スケジュール設定画面を通じて演奏者自身が優先順位の遷移を設定するようになっていた。これに対し、読み出された楽曲シーケンスデータのタイプの如何にかかわらず演奏者自身による優先順位の遷移の設定を可能としてもよい。この変形例の場合、順位スケジュール固定タイプの楽曲シーケンスデータについて順位スケジュール設定画面を通じた設定が行われたときは、演奏者自身による設定が演出スケジュールトラック９４よりも優先されることになる。
【００５３】
第２実施形態は、センサ８０が発汗センサであるとの前提で説明を行ったが、体温センサや、加速度センサなどでこれを代替してもよい。要するに、演奏者の緊張度やアピール度を測る何らかの属性値を定量化して供給できるセンサであればその種別は問わない。
また、第２実施形態は、優先順位遷移情報による優先順位管理テーブルの更新を基本としつつ、センサ８０の検知結果に応じたイレギュラーな更新のロジックを重畳するものであったが、優先順位遷移情報の参照を行わず、センサ８０の検知結果が示す発汗量が大きい順に高い優先順位を与えるような構成としてもよい。
【図面の簡単な説明】
【００５４】
【図１】伴奏追従システムの全体構成図である（第１実施形態）。
【図２】伴奏再生装置のハードウェア構成図である。
【図３】楽曲シーケンスデータのデータ構造図である。
【図４】優先順位決定サーバ装置のハードウェア構成図である。
【図５】セッション準備処理を示すフローチャートである。
【図６】セッションデバイス接続要求画面である。
【図７】優先順位管理テーブルのデータ構造図である。
【図８】ミキシング比率設定画面である。
【図９】ミキシング比率管理テーブルである。
【図１０】セッション処理を示すフローチャートである。
【図１１】伴奏追従システムの全体構成図である（第２実施形態）。
【符号の説明】
【００５５】
１０…セッションデバイス、２０…セレクタ、３０…テンポ・ピッチ抽出回路、４０…音響ミキサー、５０…スピーカ、６０…伴奏再生装置、６１，７１…ＣＰＵ、６２，７２…ＲＡＭ、６３，７３…ＲＯＭ、６４，７４…通信インターフェース、６５…伴奏音出力インターフェース、６６，７８…ハードディスク、７０…優先順位決定サーバ装置、７５…コンピュータディスプレイ、７６…マウス、７７…キーボード、７８…ハードディスク、８０…センサ
【技術分野】
【０００１】
本発明は、楽器の演奏音に良好な伴奏音を自動的に与える技術に関する。
【背景技術】
【０００２】
複数の演奏者が参加して行われる音楽活動を支援する技術を開示した文献として、例えば、特許文献１などが挙げられる。この文献に開示された曲データ作成システムは、各演奏者の楽器を接続するクライアントＰＣと、それら各クライアントＰＣからの問い合わせに応答するサーバとから構成される。各クライアントＰＣは、曲データをサーバへアップロードする機能に加えてチャット機能を搭載する。そして、各演奏者らは、チャット機能によってお互いにコミュニケーションを取りつつ各々の創作した曲データをサーバへアップロードすることによって、曲データを合作できるようになっている。
【特許文献１】特開２００１−１９５０６４号公報
【発明の開示】
【発明が解決しようとする課題】
【０００３】
ところで、上述したような複数の演奏者が参加して行われる演奏活動においては、ＭＩＤＩ（musical instruments digital interface）データなどによって予め準備しておいた伴奏曲の再生に合わせて各演奏者が自らの楽器を演奏することも少なくない。伴奏曲に合わせて各演奏者が演奏を行うようにすることで、演奏のテンポにばらつきが生じるといった不都合を回避できるからである。
しかしながら、このように伴奏曲の再生と合わせて演奏を行う場合、各演奏者は伴奏曲のテンポに忠実な演奏を行わなければならないため、ある演奏箇所の楽音を本来よりも幾分長くのばしてみるといったような即興的な表現を盛り込む事がことが難しくなり、結果として、音楽的な面白みが半減してしまうという問題があった。
本発明は、このような問題を解決すべく案出されたものであり、演奏者による演奏に追従して自動伴奏の曲調を制御できるような仕組みを提供することを目的とする。
【課題を解決するための手段】
【０００４】
本発明の好適な態様である伴奏追従システムは、複数の楽器から演奏音を夫々入力する入力手段と、伴奏曲となる一連の伴奏音の楽音情報を記憶した伴奏曲記憶手段と、前記各楽器のうち、演奏の主導権を与える楽器を所定の条件に従って特定する主導楽器特定手段と、前記伴奏曲記憶手段に記憶された楽音情報を基に伴奏音を生成し、生成した伴奏音を順次出力する伴奏曲出力手段と、前記主導楽器特定手段により特定された楽器から前記入力手段を介して入力される演奏音から当該楽器による演奏のテンポを抽出するテンポ抽出手段と、前記伴奏曲出力手段が順次出力する伴奏音のテンポを、前記テンポ抽出手段が抽出したテンポと一致するように制御するテンポ追従制御手段とを備える。
【０００５】
この態様において、演奏音から前記主導楽器特定手段が特定した楽器による演奏の調を抽出する調抽出手段と、前記伴奏曲出力手段が順次出力する伴奏音の調を、前記調抽出手段が抽出した調と一致するように制御する調追従制御手段とを更に備えてもよい。
【０００６】
また、前記主導権を与える楽器の遷移を演奏開始時からの経過時間と対応付けて記憶した主導権スケジュール記憶手段を備え、前記主導楽器特定手段は、前記主導権スケジュール記憶手段の記憶内容に従って前記主導権を与える楽器を順次特定するようにしてもよい。
【０００７】
更に、前記各楽器又はそれらの演奏者の状態を夫々検知するセンサを備え、前記主導楽器特定手段は、前記各センサによる検知結果に応じて前記主導権を与える楽器を特定するようにしてもよい。
【発明の効果】
【０００８】
本発明によると、演奏者による演奏に追従して自動伴奏の曲調を制御することができる。
【発明を実施するための最良の形態】
【０００９】
（第１実施形態）
本願発明の第１実施形態について説明する。
まず、以降の説明において用いる主要な用語を定義しておく。「演奏者」とは、セッションデバイス（楽器）の持ち主としてセッションに参加する個人を意味する。「演奏音」とは、セッションデバイスを演奏することによって得られる楽音を意味する。「伴奏音」とは、演奏音を補強すべく電子的に作り出される楽音を意味する。「優先順位」とは、演奏音を目立たせる度合いの序列を表す数を意味する。
【００１０】
本実施形態にかかる伴奏追従システムは、以下に示す２つの特徴を有している。１つ目の特徴は、予め準備された演奏曲を演奏する複数のセッションデバイスのうちの１つに演奏の主導権を与え、主導権を与えたセッションデバイスの演奏に伴奏曲のキー（調）とテンポとを自動追従させるようにした点である。２つ目の特徴は、主導権を与えるセッションデバイスをセッションの進行に従って順次切り替えるようにした点である。
【００１１】
図１は、本実施形態にかかる伴奏追従システムの全体構成図である。図に示すように、このシステムは、複数のセッションデバイス１０、セレクタ２０、テンポ・ピッチ抽出回路３０、音響ミキサー４０、スピーカ５０、伴奏再生装置６０、及び優先順位決定サーバ装置７０から構成される。
セッションデバイス１０は、ピアノ、ベース、ドラムといった各種楽器であり、演奏音の楽音信号をセレクタ２０と音響ミキサー４０へ夫々供給する。
【００１２】
セレクタ２０は、楽音信号を各セッションデバイス１０から入力するための複数の入力インターフェース２１乃至２３と、楽音信号をテンポ・ピッチ抽出回路３０へ出力する唯一の出力インターフェース２５とを備える。各入力インターフェース２１乃至２３には、各々を識別する固有の番号（以下、「インターフェース番号」と呼ぶ。）が割り振られている。このセレクタ２０は、優先順位決定サーバ装置７０からの指令に応じ、複数の入力インターフェース２１乃至２３のうちの１つから入力されてくる楽音信号を出力インターフェース２５を介してテンポ・ピッチ抽出回路３０へ出力する。
【００１３】
テンポ・ピッチ抽出回路３０は、セレクタ２０を介して入力される演奏音の楽音信号からテンポとピッチとを抽出して優先順位決定サーバ装置７０へ供給する。
このテンポ・ピッチ抽出回路３０によるテンポの抽出手法としては、楽音信号によって表わされる波形の振幅が所定値を超えた箇所を強拍のアタック部として順次特定し、特定した各アタック部の時間間隔をテンポとして抽出するといったものが想定できる。また、ピッチの抽出手法としては、楽音信号が示す波形の基本周波数をピッチとして抽出するといったものが想定できる。
【００１４】
音響ミキサー４０は、各セッションデバイス１０及び伴奏再生装置６０から楽音信号を入力する複数の入力インターフェース４１乃至４４と、ミキシングされた楽音信号をスピーカ５０へ出力する唯一の出力インターフェース４５とを備える。なお、入力インターフェース４４は、伴奏再生装置６０の専用インターフェースとして確保されており、その他の入力インターフェース４１乃至４３には、セレクタ２０の入力インターフェース２１乃至２３に対応したインターフェース番号が夫々割り振られている。
後の動作説明の項で詳述するように、この音響ミキサー４０は、セッションデバイス１０から入力インターフェース４２乃至４４を介して入力されてくる楽音信号のミキシング比率を、優先順位決定サーバ装置７０からの指令に応じて適宜変更するようになっている。
【００１５】
図２は、伴奏再生装置６０のハードウェア構成図である。図に示すように、この装置６０は、各種制御を行うＣＰＵ６１、ＣＰＵ６１にワークエリアを提供するＲＡＭ６２、ＩＰＬ（initial program loader）を記憶したＲＯＭ６３、外部装置との間で各種情報の遣り取りを行う通信インターフェース６４、音響ミキサー４０へ楽音信号を出力する伴奏音出力インターフェース６５、及び曲データベース６６ａを記憶したハードディスク６６を備える。曲データベース６６ａには、各々が１つの伴奏曲と対応する複数の楽曲シーケンスデータが蓄積されている。
この曲データベース６６ａに蓄積された楽曲シーケンスデータの中には、優先順位遷移情報が予め記録された順位スケジュール固定タイプと、優先順位遷移情報が記録されておらず演奏者自身による設定が可能な順位スケジュール設定タイプの２つのタイプが混在する。ここで、優先順位遷移情報とは、各セッションデバイス１０に与えられることになっている優先順位の遷移を時系列に従って表す情報を意味する。
図３は、順位スケジュール固定タイプの楽曲シーケンスデータを示すデータ構造図である。図に示すように、楽曲シーケンスデータはヘッダ部９１とデータ部９２を備える。ヘッダ部９１には、演奏曲の曲名を示す曲名情報、演奏曲の標準的なキーとテンポとを示す曲調情報、演奏曲の演奏に必要な各楽器の楽器種別を示す楽器種別情報、及び順位スケジュール固定タイプであることを示すタイプ種別情報が記録される。
データ部９２は、伴奏曲トラック９３と演出スケジュールトラック９４とに分かれている。伴奏曲トラック９３には、伴奏曲となる一連の伴奏音を示すオーディオデータが時系列に従って記録されている。
【００１６】
演出スケジュールトラック９４には、優先順位遷移情報が記録されている。図３を参照してこれを更に詳述すると、この図に示す例の場合、セッションの開始から１０秒経過するまでの間は、「ピアノ：１」、「ベース：２」、「ドラム：３」と記録され、１０秒から２０秒までの間は、「ピアノ：２」、「ベース：１」、「ドラム：３」と記録され、更に、２０秒から３０秒までの間は、「ピアノ：１」、「ベース：２」、「ドラム：３」と記録されている。つまり、セッションの開始から１０秒までの間は最も高い優先順位がピアノに与えられ、１０秒を経過するとピアノとベースの優先順位が逆転し、２０秒を経過すると逆転した優先順位が基に戻るようになっていることを表わしている。後の動作説明の項で詳述するように、優先順位が最も高い「１」となっているセッションデバイス１０には演奏の主導権が与えられ、セッションが行われている間は、主導権が与えられているセッションデバイス１０の演奏に追従するように伴奏曲のキーとテンポが制御される。
一方、順位スケジュール設定タイプの楽曲シーケンスデータの場合、データ部９２に演出スケジュールトラック９４を有していない。また、ヘッダ部９１には、曲名情報、曲調情報、楽器種別情報のほか、順位スケジュール設定タイプであることを示すタイプ種別情報が記録されても良い。
【００１７】
図４は、優先順位決定サーバ装置７０のハードウェア構成図である。図に示すように、この装置７０は、各種制御を行うＣＰＵ７１、ＣＰＵ７１にワークエリアを提供するＲＡＭ７２、ＩＰＬを記憶したＲＯＭ７３のほか、通信インターフェース７４、コンピュータディスプレイ７５、マウス７６、キーボード７７、ハードディスク７８などを備える。そして、ハードディスク７８は、伴奏追従制御プログラム７８ａを記憶する。このプログラム７８ａは、本実施形態に特徴的な機能を実現させるための固有のプログラムである。ＲＡＭ７２をワークエリアとして利用しつつこのプログラムを実行するＣＰＵ７１は、セレクタ２０、音響ミキサー４０、及び伴奏再生装置６０へ各種指令を出力することによってシステム全体を制御する。
【００１８】
次に、本実施形態の動作を説明する。本実施形態の動作は、セッション準備処理とセッション処理とに分けることができる。
まず、セッション準備処理の内容について説明する。
図５は、セッション準備処理を示すフローチャートである。図に示す処理は、演奏者のいずれかが、優先順位決定サーバ装置７０のマウス７６を操作することによって演奏準備の開始を指示すると開始される。
【００１９】
演奏準備の開始が指示されると、優先順位決定サーバ装置７０のＣＰＵ７１は、曲名リストの送信を求めるメッセージを伴奏再生装置６０へ送信する（Ｓ１００）。
メッセージを受信した伴奏再生装置６０のＣＰＵ６１は、曲データベース６６ａに蓄積されている全楽曲シーケンスデータのヘッダ部９１から曲名情報と楽器種別情報とを夫々読み出し、読み出した曲名情報と楽器種別情報の各対を優先順位決定サーバ装置７０へ送信する（Ｓ１１０）。
【００２０】
優先順位決定サーバ装置７０のＣＰＵ７１は、伴奏再生装置６０から受信した曲名情報と楽器種別情報の各対を基に、演奏曲選択画面をコンピュータディスプレイ７５に表示させる（Ｓ１２０）。
演奏曲選択画面の上段には、「今回のセッションで演奏する演奏曲をリストから選択して下さい。」という内容を示す文字列が表示される。その下には、各演奏曲の曲名とそれら各演奏曲の演奏に必要な楽器の楽器種別とを対応付けたリストが表示される。
【００２１】
この画面を参照した演奏者は、同画面のリストに表示された各演奏曲の中から、今回のセッションに参加する全演奏者のセッションデバイス１０が楽器種別として挙げられている演奏曲の１つを選択する。
演奏曲の１つが選択されると、優先順位決定サーバ装置７０のＣＰＵ７１は、セッションデバイス接続要求画面をコンピュータディスプレイ７５に表示させる（Ｓ１３０）。
【００２２】
図６は、セッションデバイス接続要求画面である。
この画面の上段には、「演奏曲が選択されました。セッションデバイスをセレクタと音響ミキサーに接続し、インターフェースの番号を入力してください。」という内容の文字列が表示される。その下には、選択された演奏曲の曲名とその演奏に必要な楽器とが表示される。更に、画面の下段には、各インターフェースに接続したセッションデバイス１０の楽器種別を入力する入力欄が表示される。
【００２３】
この画面を参照した各演奏者は、各々のセッションデバイス１０をセレクタ２０及び音響ミキサー４０の同じインターフェース番号の入力インターフェースに夫々接続する。セッションデバイス１０を接続した演奏者は、自らのセッションデバイス１０を接続した入力インターフェースのインターフェース番号と対応する入力欄にその楽器種別を入力する。
セッションデバイス接続要求画面の入力欄に楽器種別が入力されると、優先順位決定サーバ装置７０のＣＰＵ７１は、優先順位管理テーブルをＲＡＭ７２に形成する（Ｓ１４０）。
【００２４】
図７は、優先順位管理テーブルのデータ構造図である。このテーブルを構成する１つのレコードは、「インターフェース」、「楽器」、及び「順位」の３つのフィールドを有している。「インターフェース」のフィールドには、セッションデバイス１０が接続された各インターフェースのインターフェース番号が記憶される。「楽器」のフィールドには、セッションデバイス接続要求画面にて入力された楽器種別を示す楽器種別情報が記憶される。「順位」のフィールドには、後述するセッション処理が行われている間、優先順位を示す順位情報が記憶される。
優先順位管理テーブルを形成した優先順位決定サーバ装置７０のＣＰＵ７１は、ミキシング比率設定画面をコンピュータディスプレイ７５に表示させる（Ｓ１５０）。
【００２５】
図８は、ミキシング比率設定画面である。
この画面の上段には、「各優先順位のミキシング比率を設定してください。」という内容を示す文字列が表示される。その下には、各優先順位と対応するミキシング比率を入力する入力欄が表示される。
この画面を参照した演奏者は、各優先順位のミキシング比率を各々の入力欄に入力する。なお、高い優先順位の与えられているセッションデバイスの演奏音がより目立つような演出を行うべく、高い優先順位であるほどミキシング比率も高くなるような設定内容とすることが望ましい。
【００２６】
ミキシング比率設定画面の全入力欄にミキシング比率が入力されると、優先順位決定サーバ装置７０のＣＰＵ７１は、ミキシング比率管理テーブルをＲＡＭ７２に形成する（Ｓ１６０）。
図９は、ミキシング比率管理テーブルである。このテーブルを構成する１つのレコードは、「順位」と「比率」の２つのフィールドを有している。「順位」のフィールドには、優先順位が記憶される。「比率」のフィールドには、ミキシング比率設定画面にて各優先順位と対応付けて入力されたミキシング比率が記憶される。例えば、最も高い優先順位である「１」と対応する優先順位は「１：１．２」となっているが、これは、「１」の優先順位が付与されているセッションデバイス１０の楽音信号が、１．２倍に増幅されてから他の楽音信号とミキシングされるべきことを表わしている。
【００２７】
ミキシング比率管理テーブルを形成した優先順位決定サーバ装置７０のＣＰＵ７１は、演奏曲選択画面にて選択された演奏曲を指定する演奏曲指定情報を伴奏再生装置６０へ送信する（Ｓ１７０）。
伴奏再生装置６０のＣＰＵ６１は、優先順位決定サーバ装置７０から受信した演奏曲指定情報が指定する演奏曲の楽曲シーケンスデータを曲データベース６６ａから読み出す（Ｓ１８０）。
【００２８】
続いて、ＣＰＵ６１は、曲調情報を記憶する領域（以下、「曲調情報記憶領域」と呼ぶ。）をＲＡＭ６２に確保し、ステップ１８０で読み出した楽曲シーケンスデータのヘッダ部９１に内包されている曲調情報をこの曲調情報記憶領域に記憶する（Ｓ１９０）。
ＣＰＵ６１は、ステップ１８０で読み出した楽曲シーケンスデータのヘッダ部９１に内包されているタイプ種別情報を参照し、読み出した楽曲シーケンスデータが順位スケール固定タイプと順位スケジュール設定タイプのいずれに該当するか判断する（Ｓ２００）。
【００２９】
ステップ２００において、順位スケジュール固定タイプに該当すると判断したＣＰＵ６１は、楽曲シーケンスデータの演出スケジュールトラック９４に内包されている優先順位遷移情報を優先順位決定サーバ装置７０へ送信する（Ｓ２１０）。
優先順位決定サーバ装置７０のＣＰＵ７１は、伴奏再生装置６０から送信された優先順位遷移情報をＲＡＭ７２に記憶する（Ｓ２２０）。
【００３０】
一方、ステップ２００において、順位スケジュール設定タイプに該当すると判断した伴奏再生装置６０のＣＰＵ６１は、順位スケジュールの設定を求めるメッセージを優先順位決定サーバ装置７０へ送信する（Ｓ２３０）。
メッセージを受信した優先順位決定サーバ装置７０のＣＰＵ７１は、ステップ１１０にて伴奏再生装置６０から送信された楽器種別情報を基に順位スケジュール設定画面をコンピュータディスプレイ７５に表示させる（Ｓ２４０）。
【００３１】
順位スケジュール設定画面の上段には、「各セッションデバイスに与える優先順位のスケジュールを設定してください。」という内容を示す文字列が表示される。その下には、伴奏再生装置６０から受信した楽器種別情報と対応する各セッションデバイス１０に与える優先順位を時系列に従って入力する入力欄が表示される。
この画面を参照した演奏者は、各演奏者のセッションデバイス１０に与える優先順位の遷移を同画面の入力欄に入力する。
順位スケジュール設定画面に優先順位の遷移が入力されると、優先順位決定サーバ装置７０のＣＰＵ７１は、その入力内容を基に生成した優先順位遷移情報をＲＡＭ７２に記憶する（Ｓ２５０）。
以上で、セッション準備処理が終了する。
【００３２】
図１０は、セッション処理を示すフローチャートである。上述したセッション準備処理の終了後、セッションの開始が指示されると、伴奏再生装置６０と優先順位決定サーバ装置７０は、互いに同期を取りながら図に示す一連の処理を所定のサイクルに従って繰り返す。
まず、伴奏再生装置６０側の処理について説明すると、同装置６０のＣＰＵ６１は、ステップ１８０で読み出しておいた楽曲シーケンスデータの伴奏曲トラック９３に記録されているオーディオデータをトラックの先頭から順次読み出す（Ｓ３００）。
【００３３】
続いて、ＣＰＵ６１は、曲調変更情報を受信したか否か判断し（Ｓ３１０）、曲調変更情報を受信したときはステップ３２０に進む一方、曲調変更情報を受信していないときはステップ３３０に進む。曲調変更情報とは、伴奏曲のキーとテンポの変更を指示する情報であり、優先順位決定サーバ装置７０側で生成される。ステップ３２０の内容は優先順位決定サーバ装置７０側における処理の内容を述べた後に説明することとし、ここでは、ステップ３３０へ進む。
ステップ３３０において、ＣＰＵ６１は、ステップ１８０で読み出したオーディオデータを基に伴奏音の楽音信号を生成する。
【００３４】
続いて、ＣＰＵ６１は、ステップ３３０にて生成した楽音信号が示すピッチをＲＡＭ６２の曲調情報記憶領域の曲調情報が示すキーに合わせて調整し、同曲調情報が示すテンポに従ったタイミングで音響ミキサー４０へ出力する（Ｓ３４０）。
伴奏再生装置６０から出力された伴奏音の楽音信号は、音響ミキサー４０を経由してスピーカ５０へ入力され、スピーカ５０から伴奏音として放音される。
【００３５】
一方、優先順位決定サーバ装置７０側の処理について説明すると、同装置７０のＣＰＵ７１は、伴奏再生装置６０における伴奏曲の再生開始と同時に演奏開始からの経過時間の計時を開始する（Ｓ２６５）。
続いて、ＣＰＵ７１は、ステップ２２０又はステップ２５０にてＲＡＭ７２に記憶しておいた優先順位遷移情報から現在の経過時間と対応する各楽器の優先順位を取得し、取得した優先順位を基に優先順位管理テーブルを更新する（Ｓ２７５）。
【００３６】
本ステップにおける更新が行われる結果、仮に優先順位遷移情報が図３に示すような内容となっていた場合、演奏開始から１０秒経過するまでの間は、優先順位管理テーブルにおける「ピアノ」と対応するレコードの「順位」のフィールドの記憶内容が「１」となり、１０秒経過した後、「ベース」と対応するレコードの「順位」のフィールドの記憶内容が「１」へと切り替わることになる。
【００３７】
優先順位管理テーブルを更新したＣＰＵ７１は、その優先順位管理テーブルの各レコードのうちから、「順位」のフィールドの記憶内容が「１」となっているレコードを特定し、特定したレコードの「インターフェース」のフィールドに記憶されているインターフェース番号をセレクタ２０へ通知する（Ｓ２８５）。
インターフェース番号の通知を受けたセレクタ２０は、そのインターフェース番号と対応する入力インターフェースから入力されてくる楽音信号を出力インターフェースから出力させるべく、自身内部のデータパスを制御する。
この結果、各演奏者のうち最も高い優先順位が与えられている演奏者のセッションデバイス１０からセレクタ２０へ入力されきた楽音信号がテンポ・ピッチ抽出回路３０へと入力され、同回路３０にて抽出されたピッチとテンポが優先順位決定サーバ装置７０へ供給される。
【００３８】
優先順位決定サーバ装置７０のＣＰＵ７１は、所定時間長の間に供給されてくる一連の演奏音のピッチを解析し、それらの演奏音が従うキーを特定する（Ｓ２９５）。
優先順位決定サーバ装置７０のＣＰＵ７１は、テンポ・ピッチ抽出回路３０から供給されるテンポとステップ２９５で特定したキーとを表す曲調変更情報を伴奏再生装置６０へ送信する（Ｓ３０５）。
【００３９】
曲調変更情報が伴奏再生装置６０へ送信されると、伴奏再生装置６０で実行されるループのその次のサイクルで到来するステップ３１０における判断結果は「ＹＥＳ」となり、ステップ３２０の処理が実行される。
ステップ３２０に進むと、伴奏再生装置６０のＣＰＵ６１は、ＲＡＭ６２の曲調情報記憶領域に記憶されている曲調情報の内容を伴奏再生装置６０から受信した曲調変更情報に合せて書き換える。
【００４０】
ここで、セッション処理が開始された当初は、いわゆる前奏区間となるため、セッションデバイス１０による演奏音の楽音信号がセレクタ２０及び音響ミキサー４０に入力されず、その楽音信号が示すテンポとピッチとから得られる曲調変更情報も優先順位決定サーバ装置７０から伴奏再生装置６０へ送信されることはない。従って、曲調変更情報が送信されるまでの各サイクルにて到来するステップ３１０の判断結果は「ＮＯ」となり、ＲＡＭ６２の曲調情報記憶領域には、図５のステップ１９０にて同領域に記憶された曲調情報、つまり、標準的なキーとテンポとを示す曲調情報が保持され続けることになる。この結果、ステップ３３０では、標準的なキーに従ったピッチの演奏音を示す楽音信号が、標準的なテンポに従ったタイミングで音響ミキサー４０へ出力される。
【００４１】
一方、前奏区間が終わり、各セッションデバイス１０の演奏音の楽音信号がセレクタ２０及び音響ミキサー４０へ入力され始めると、それらのうち最も高い優先順位のセッションデバイス１０の楽音信号が示すテンポとピッチとから得た曲調変更情報が優先順位決定サーバ装置７０から伴奏再生装置６０へ送信される。
すると、その後のサイクルにて到来するステップ３１０の判断結果は「ＹＥＳ」となり、続くステップ３２０では、ＲＡＭ６２の曲調情報記憶領域に保持された曲調情報が、曲調変更情報が示すキーとテンポとを示す新たな曲調情報へと書き換えられる。この結果、曲調変更情報が送信された後のサイクルにて到来するステップ３３０では、最も高い優先順位が与えられているセッションデバイス１０による演奏と同じキーに従ったピッチの演奏音を示す楽音信号が、その演奏と同じテンポに従ったタイミングで出力されることになる。
【００４２】
図１０において、曲調変更情報を送信した優先順位決定サーバ装置７０のＣＰＵ７１は、優先順位管理テーブルとミキシング比率管理テーブルの内容を基に生成したミキシング比率制御情報を音響ミキサー４０へ出力する（Ｓ３１５）。
ミキシング比率制御情報は、インターフェース番号とミキシング比率の各対を示す情報である。このステップの内容を具体的に説明すると、まず、ステップ２７５で更新された後の優先順位管理テーブルから、入力インターフェースの各インターフェース番号と対応付けられている優先順位を取得する。続いて、ミキシング比率管理テーブルから、各優先順位について設定されているミキシング比率を取得する。その後、両テーブルにおいて共通の優先順位と対応付けられているインターフェース番号とミキシング比率とを夫々対にして音響ミキサー４０へ出力する。
【００４３】
以上説明した実施形態では、各セッションデバイス１０の演奏音を補強すべく準備された伴奏音のキーとテンポが、最も高い優先順位を持つセッションデバイス１０の演奏に合せて調節されるようになっている。従って、最も高い優先順位を持つセッションデバイス１０の演奏者がある演奏箇所を本来とは異なるキーやテンポで演奏したような場合でも、そのような即興的な変化に伴奏曲のキーとテンポを追従させることができ、音楽的面白みが損なわれることのないセッションを演出できる。
【００４４】
また、本実施形態においては、各演奏者のセッションデバイス１０の優先順位の遷移を時系列に従って示す優先順位遷移情報が楽曲シーケンスデータの一部として予め準備されおり、セッションが開始されると、優先順位決定サーバ装置７０がその優先順位遷移情報を順次参照しながら、各演奏者に与える優先順位を切り替えるようになっている。このようにセッションの進行と連動させて優先順位を適宜切り替えることによって、全ての演奏者が満足できるようなセッションを演出することができる。
【００４５】
更に、本実施形態では、各優先順位毎のミキシング比率をセッションを開始する前に任意に設定できるようになっており、各セッションデバイス１０から音響ミキサー４０に入力された楽音信号はこの設定された比率に従ってミキシングされてからスピーカ５０へ出力されるようになっている。従って、セッションに参加している演奏者の演奏を音量面からも良好に演出することができる。
【００４６】
（第２実施形態）
本願発明の第２実施形態について説明する。
上記実施形態では、各種楽器毎の優先順位の遷移を示す優先順位遷移情報が楽曲シーケンスデータの演出スケジュールトラック９４に記録され又は演奏者によって設定されるようになっており、セッションが行われている間は、優先順位遷移情報に従って各演奏者の優先順位が切り替えられるようになっていた。これに対し、本実施形態は、各演奏者の緊張度を測るバロメータの一つである発汗量をも加味して優先順位の切り替えを行う。
【００４７】
図１１は、本実施形態にかかる伴奏追従システムの全体構成図である。このシステムは、図１に示した各構成要素に加えて、センサ８０を備える。
センサ８０は、発汗センサであり、各演奏者に夫々１つずつ取り付けられる。このセンサ８０は、各演奏者の発汗量を検知し、その検知結果を状態情報として優先順位決定サーバ装置７０へ供給するようになっている。
【００４８】
次に、本実施形態の動作を説明する。
本実施形態では、優先順位決定サーバ装置７０における優先順位管理テーブルの更新の手順が第１実施形態と異なる。図１０に示したステップ２７５では、優先順位決定サーバ装置７０のＣＰＵ７１が、ステップ２２０又はステップ２５０にてＲＡＭ７２に記憶しておいた優先順位遷移情報から現在の経過時間と対応する各楽器の優先順位を取得し、取得した優先順位を基に優先順位管理テーブルを更新するようになっていた。つまり、優先順位管理テーブルの更新は、優先順位遷移情報のみに依存して行われた。
これに対し、本実施形態では、このステップ２７５を実行した後、更に別の判断ステップが挿入される。この判断ステップでは、各センサ８０から供給される状態情報が示す発汗量が所定値を上回ったか否かが判断される。そして、この判断ステップにて、いずれかのセンサ８０から供給された状態情報が示す発汗量が所定値を上回ったと判断されると、そのセンサ８０を取り付けた演奏者によって演奏されているセッションデバイス１０の優先順位を最も高いものに切り替える。
【００４９】
以上説明した実施形態では、各演奏者にセンサ８０を夫々取り付け、それら各センサ８０の検知結果をも加味して優先順位を切り替えるようになっている。このように、センサ８０の検知結果に連動させて優先順位を切り替えるようにすることによって、セッションの演出効果をより高めることができる。また、テンポを抽出することが困難なヴォーカル（肉声）などを交えて行われるセッションも好適に演出することができる。
【００５０】
（他の実施形態）
本願発明は、種々の変形実施が可能である。
例えば、テンポを抽出することが不可能なリード楽器等のセッションデバイス１０やヴォーカルなどを交えてセッションを行う場合、タップボタンなどの特殊な器具や、体もしくは楽器に取付けた振動センサを用いて演奏者のステップや首振りの間隔を検出し、検出した間隔をテンポとして優先順位決定サーバ装置７０へ供給してもよい。
また、上記実施形態では、伴奏曲の内容を伴奏曲トラック９３にオーディオデータとして記録していたが、これをＭＩＤＩデータとして記録してもよい。つまり、伴奏曲となる一連の伴奏音を示す楽音データであればそのデータ形式は問わない。
【００５１】
上記実施形態において、セレクタ２０は複数の入力インターフェースを備えており、優先順位決定サーバ装置７０による指示の下、それらのうち１つの入力インターフェースから入力された楽音信号をピッチ・テンポ抽出回路３０へ出力するようになっていた。これに対し、セレクタ２０が唯一の入力インターフェースのみを備え、その入力インターフェースを介して各セッションデバイス１０から入力されてくる楽音信号のうち、最も高い優先順位を与えられたセッションデバイス１０の楽音信号を抽出してピッチ・テンポ抽出回路３０へ出力するようにしてもよい。かかる変形例は、各セッションデバイス１０が、自らを識別するＩＤを楽音信号と対にしてセレクタ２０へ入力し、セレクタ２０が各楽音信号と対を成すＩＤを参照することによってその供給元を特定することで実現できる。音響ミキサー４０についても同様に、複数の入力インターフェースを備える必要はなく、唯一の入力インターフェースから入力されてくる楽音信号の供給元をそれらの楽音信号と対を成しているＩＤを基に特定するようにするとよい。
【００５２】
上記実施形態では、伴奏再生装置６０の曲データベース６６ａから読み出された楽曲シーケンスデータが順位スケジュール設定タイプであった場合のみ、順位スケジュールの設定を求めるメッセージが優先順位決定サーバ装置７０へ送信され、同装置７０のコンピュータディスプレイ７５に表示される順位スケジュール設定画面を通じて演奏者自身が優先順位の遷移を設定するようになっていた。これに対し、読み出された楽曲シーケンスデータのタイプの如何にかかわらず演奏者自身による優先順位の遷移の設定を可能としてもよい。この変形例の場合、順位スケジュール固定タイプの楽曲シーケンスデータについて順位スケジュール設定画面を通じた設定が行われたときは、演奏者自身による設定が演出スケジュールトラック９４よりも優先されることになる。
【００５３】
第２実施形態は、センサ８０が発汗センサであるとの前提で説明を行ったが、体温センサや、加速度センサなどでこれを代替してもよい。要するに、演奏者の緊張度やアピール度を測る何らかの属性値を定量化して供給できるセンサであればその種別は問わない。
また、第２実施形態は、優先順位遷移情報による優先順位管理テーブルの更新を基本としつつ、センサ８０の検知結果に応じたイレギュラーな更新のロジックを重畳するものであったが、優先順位遷移情報の参照を行わず、センサ８０の検知結果が示す発汗量が大きい順に高い優先順位を与えるような構成としてもよい。
【図面の簡単な説明】
【００５４】
【図１】伴奏追従システムの全体構成図である（第１実施形態）。
【図２】伴奏再生装置のハードウェア構成図である。
【図３】楽曲シーケンスデータのデータ構造図である。
【図４】優先順位決定サーバ装置のハードウェア構成図である。
【図５】セッション準備処理を示すフローチャートである。
【図６】セッションデバイス接続要求画面である。
【図７】優先順位管理テーブルのデータ構造図である。
【図８】ミキシング比率設定画面である。
【図９】ミキシング比率管理テーブルである。
【図１０】セッション処理を示すフローチャートである。
【図１１】伴奏追従システムの全体構成図である（第２実施形態）。
【符号の説明】
【００５５】
１０…セッションデバイス、２０…セレクタ、３０…テンポ・ピッチ抽出回路、４０…音響ミキサー、５０…スピーカ、６０…伴奏再生装置、６１，７１…ＣＰＵ、６２，７２…ＲＡＭ、６３，７３…ＲＯＭ、６４，７４…通信インターフェース、６５…伴奏音出力インターフェース、６６，７８…ハードディスク、７０…優先順位決定サーバ装置、７５…コンピュータディスプレイ、７６…マウス、７７…キーボード、７８…ハードディスク、８０…センサ
【特許請求の範囲】
【請求項１】
複数の楽器から演奏音を夫々入力する入力手段と、
伴奏曲となる一連の伴奏音の楽音情報を記憶した伴奏曲記憶手段と、
前記各楽器のうち、演奏の主導権を与える楽器を所定の条件に従って特定する主導楽器特定手段と、
前記伴奏曲記憶手段に記憶された楽音情報を基に伴奏音を生成し、生成した伴奏音を順次出力する伴奏曲出力手段と、
前記主導楽器特定手段により特定された楽器から前記入力手段を介して入力される演奏音から当該楽器による演奏のテンポを抽出するテンポ抽出手段と、
前記伴奏曲出力手段が順次出力する伴奏音のテンポを、前記テンポ抽出手段が抽出したテンポと一致するように制御するテンポ追従制御手段と
を備えた伴奏追従システム。
【請求項２】
請求項１に記載の伴奏追従システムにおいて、
演奏音から前記主導楽器特定手段が特定した楽器による演奏の調を抽出する調抽出手段と、
前記伴奏曲出力手段が順次出力する伴奏音の調を、前記調抽出手段が抽出した調と一致するように制御する調追従制御手段と
を更に備えた伴奏追従システム。
【請求項３】
請求項１又は２に記載の伴奏追従システムにおいて、
前記主導権を与える楽器の遷移を演奏開始時からの経過時間と対応付けて記憶した主導権スケジュール記憶手段を備え、
前記主導楽器特定手段は、
前記主導権スケジュール記憶手段の記憶内容に従って前記主導権を与える楽器を順次特定する
伴奏追従システム。
【請求項４】
請求項１乃至３のいずれかに記載の伴奏追従システムにおいて、
前記各楽器又はそれらの演奏者の状態を夫々検知するセンサを備え、
前記主導楽器特定手段は、
前記各センサによる検知結果に応じて前記主導権を与える楽器を特定する
伴奏追従システム。
【請求項１】
複数の楽器から演奏音を夫々入力する入力手段と、
伴奏曲となる一連の伴奏音の楽音情報を記憶した伴奏曲記憶手段と、
前記各楽器のうち、演奏の主導権を与える楽器を所定の条件に従って特定する主導楽器特定手段と、
前記伴奏曲記憶手段に記憶された楽音情報を基に伴奏音を生成し、生成した伴奏音を順次出力する伴奏曲出力手段と、
前記主導楽器特定手段により特定された楽器から前記入力手段を介して入力される演奏音から当該楽器による演奏のテンポを抽出するテンポ抽出手段と、
前記伴奏曲出力手段が順次出力する伴奏音のテンポを、前記テンポ抽出手段が抽出したテンポと一致するように制御するテンポ追従制御手段と
を備えた伴奏追従システム。
【請求項２】
請求項１に記載の伴奏追従システムにおいて、
演奏音から前記主導楽器特定手段が特定した楽器による演奏の調を抽出する調抽出手段と、
前記伴奏曲出力手段が順次出力する伴奏音の調を、前記調抽出手段が抽出した調と一致するように制御する調追従制御手段と
を更に備えた伴奏追従システム。
【請求項３】
請求項１又は２に記載の伴奏追従システムにおいて、
前記主導権を与える楽器の遷移を演奏開始時からの経過時間と対応付けて記憶した主導権スケジュール記憶手段を備え、
前記主導楽器特定手段は、
前記主導権スケジュール記憶手段の記憶内容に従って前記主導権を与える楽器を順次特定する
伴奏追従システム。
【請求項４】
請求項１乃至３のいずれかに記載の伴奏追従システムにおいて、
前記各楽器又はそれらの演奏者の状態を夫々検知するセンサを備え、
前記主導楽器特定手段は、
前記各センサによる検知結果に応じて前記主導権を与える楽器を特定する
伴奏追従システム。
【図１】
【図２】
【図３】
【図４】
【図５】
【図６】
【図７】
【図８】
【図９】
【図１０】
【図１１】
【図２】
【図３】
【図４】
【図５】
【図６】
【図７】
【図８】
【図９】
【図１０】
【図１１】
【公開番号】特開２００６−２０１６５４（Ｐ２００６−２０１６５４Ａ）
【公開日】平成１８年８月３日（２００６．８．３）
【国際特許分類】
【出願番号】特願２００５−１５２３０（Ｐ２００５−１５２３０）
【出願日】平成１７年１月２４日（２００５．１．２４）
【出願人】（０００００４０７５）ヤマハ株式会社 (5,930)
【Ｆターム（参考）】
【公開日】平成１８年８月３日（２００６．８．３）
【国際特許分類】
【出願日】平成１７年１月２４日（２００５．１．２４）
【出願人】（０００００４０７５）ヤマハ株式会社 (5,930)
【Ｆターム（参考）】
[ Back to top ]