セッション端末及びネットワークセッションシステム
【課題】端末ユーザに適した調で演奏し容易に楽器演奏乃至歌唱のセッションを行う。
【解決手段】このネットワークセッションシステムでは、ユーザ端末Ａは、ユーザＡが所望する所定調でバック演奏情報を再生してバック演奏を行い、ユーザＡがバック演奏に合わせて所定調で楽器演奏乃至歌唱をすると、バック演奏情報及びユーザＡの楽器演奏乃至歌唱の内容を表わすユーザ演奏情報をユーザ端末Ｂへと送信する。ユーザ端末Ｂは、バック演奏情報やユーザ演奏情報を、ユーザＢが所望する任意の設定調に移調した上で再生し、ユーザＢが、この再生によるバック演奏やユーザＡの楽器演奏乃至歌唱を聴きながら楽器演奏乃至歌唱をすると、ユーザＢの楽器演奏乃至歌唱の内容を表わすユーザ演奏情報を所定調に逆移調した上でユーザ端末Ａに戻す。ユーザ端末Ａ側では、ユーザＢの演奏がユーザＡ所望の所定調の音楽として聴こえるので、違和感のないセッションが可能となる。
【解決手段】このネットワークセッションシステムでは、ユーザ端末Ａは、ユーザＡが所望する所定調でバック演奏情報を再生してバック演奏を行い、ユーザＡがバック演奏に合わせて所定調で楽器演奏乃至歌唱をすると、バック演奏情報及びユーザＡの楽器演奏乃至歌唱の内容を表わすユーザ演奏情報をユーザ端末Ｂへと送信する。ユーザ端末Ｂは、バック演奏情報やユーザ演奏情報を、ユーザＢが所望する任意の設定調に移調した上で再生し、ユーザＢが、この再生によるバック演奏やユーザＡの楽器演奏乃至歌唱を聴きながら楽器演奏乃至歌唱をすると、ユーザＢの楽器演奏乃至歌唱の内容を表わすユーザ演奏情報を所定調に逆移調した上でユーザ端末Ａに戻す。ユーザ端末Ａ側では、ユーザＢの演奏がユーザＡ所望の所定調の音楽として聴こえるので、違和感のないセッションが可能となる。
【発明の詳細な説明】
【技術分野】
【０００１】
この発明は、インターネットなどの通信ネットワークを介して接続された複数の電子音楽端末の間で演奏などのセッションを行うネットワークセッションシステムに関する。
【背景技術】
【０００２】
従来より、インターネットなどの通信ネットワークを介した楽器の演奏（合奏）やデュエット等の合唱などの音楽的なセッションを可能とした技術が知られている。例えば、特許文献１の合奏システムでは、自端末（Ａ）での演奏動作を表わす演奏情報が入力タイミングと処理タイミングとの間の遅延時間を制御することで、通信ネットワークを介した合奏を可能にしている。また、一般に、楽器演奏のセッションやカラオケのデュエット等は、或る楽曲を共通の調で演奏乃至歌唱している。
【先行技術文献】
【特許文献】
【０００３】
【特許文献１】特許第４２５９３２９号公報
【０００４】
しかしながら、通信ネットワークを介した音楽的なセッションにおいて、デュエットを行う場合は、ユーザごとに歌える音域（調）が異なることが多く、同じ調で歌唱することができない可能性があり、楽器演奏の合奏を行う場合には、ユーザのスキルによっては所定の調（ハ長調やイ短調）でしか楽器演奏ができないこともあり、スキルの高いユーザがスキルの低いユーザに合わせた調で楽器演奏をする必要があった。
【発明の概要】
【発明が解決しようとする課題】
【０００５】
この発明は、このような事情に鑑み、通信ネットワークを介して音楽的なセッションを行う際に端末ユーザに適した調で演奏を行い容易に楽器演奏乃至歌唱などのセッションを行うことができるネットワークセッションシステムを提供することを目的とする。
【課題を解決するための手段】
【０００６】
〔解決策の概要〕
この発明によるネットワークセッションシステムでは、端的にいうと、図１に示すように、ユーザ端末Ａ側で所定調で行われるバック演奏やユーザ演奏（楽器演奏乃至歌唱）の情報が他のユーザ端末Ｂへと送信され、任意に設定された調（設定調という）に移調され、ユーザ端末Ｂのユーザがバック演奏やユーザＡの演奏を設定調で聴きながら演奏を行うと、当該演奏の情報は、所定調に逆移調されてユーザ端末Ａ側に戻される。つまり、ユーザ端末Ａは、ユーザＡが所望する所定調でバック演奏情報を再生してバック演奏を行い、ユーザＡがバック演奏に合わせて所定調で楽器演奏乃至歌唱をすると、バック演奏情報及びユーザＡの楽器演奏乃至歌唱の内容を表わすユーザ演奏情報をユーザ端末Ｂへと送信する。ユーザ端末Ｂは、バック演奏情報やユーザ演奏情報を、ユーザＢが所望する任意の設定調に移調した上で再生し、ユーザＢが、この再生によるバック演奏やユーザＡの楽器演奏乃至歌唱を聴きながら楽器演奏乃至歌唱をすると、ユーザＢの楽器演奏乃至歌唱の内容を表わすユーザ演奏情報を所定調に逆移調した上でユーザ端末Ａに戻す。ユーザ端末Ａ側では、ユーザＢの演奏がユーザＡ所望の所定調の音楽として聴こえるので、ユーザＡは所定調で演奏を持続し、違和感のない合奏やデュエット等のセッションが可能となる。
【０００７】
〔解決手段の構成〕
従って、この発明の具体的な解決手段の構成について説明すれば、端末構成上の特徴に従うと、通信ネットワーク（ＣＮ）を介して通信可能に接続された他のセッション端末（ＴＭａ）と共にネットワークセッションシステムを構成するセッション端末（ＴＭｂ，…，ＴＭｄ）であって、他のセッション端末（ＴＭａ）と通信するための通信手段（１０）と、他のセッション端末（ＴＭａ）から通信手段（１０）を通じて受信されるバック演奏情報（Ｂｐ）及び他のセッション端末のユーザ演奏（１３−６，１４−７）に基づく他端末ユーザ演奏情報（Ｕｐａ）を移調する移調手段（Ｂ１ｓｎ，Ｂ１ｓｐ；Ｂ３ｓｎ，Ｂ３ｓｐ）と、移調手段（Ｂ１ｓｎ，Ｂ１ｓｐ；Ｂ３ｓｎ，Ｂ３ｓｐ）により移調されたバック演奏情報（Ｂｐ）及び他端末ユーザ演奏情報（Ｕｐａ）を再生すると共に、このセッション端末のユーザ演奏（１３−６，１４−７）に基づく自端末ユーザ演奏情報（Ｕｐｂ）を再生する演奏再生手段（Ｂ１〜Ｂ３；９）と、自端末ユーザ演奏情報（Ｕｐｂ）を逆移調すると共に、逆移調された自端末ユーザ演奏情報（Ｕｐｂ）を通信手段（１０）を通じて他のセッション端末（ＴＭａ）に送信する逆移調手段（Ｂ３ｒｎ，Ｂ３ｒｐ）とを具備するセッション端末（ＴＭｂ，…，ＴＭｄ）〔請求項１〕が提供される。なお、括弧書きは、実施例の参照記号や箇所等を表わし、以下においても同様である。
【０００８】
また、システム構成上の特徴に従うと、通信ネットワーク（ＣＮ）を介して通信可能に接続された第１セッション端末（ＴＭａ）及び第２セッション端末（ＴＭｂ，…，ＴＭｄ）により構成されるネットワークセッションシステムであって、第１セッション端末（ＴＭａ）は、第２セッション端末（ＴＭｂ，…，ＴＭｄ）と通信するための第１端末通信手段（１０）と、バック演奏情報（Ｂｐ）及び第１セッション端末のユーザ演奏（１３−６，１４−７）に基づく第１ユーザ演奏情報（Ｕｐａ）を第１端末通信手段（１０）を通じて第２セッション端末（ＴＭｂ，…，ＴＭｄ）に送信する演奏情報送信手段（Ａ１，Ａ２ａ；Ａ４，Ａ５ｃ）と、第２セッション端末（ＴＭｂ，…，ＴＭｄ）から第１端末通信手段（１０）を通じて第２ユーザ演奏情報（Ｕｐｂ）を受信する演奏情報受信手段（Ａ５）と、バック演奏情報（Ｂｐ）、第１ユーザ演奏情報（Ｕｐａ）及び第２ユーザ演奏情報（Ｕｐｂ）を再生する第１端末演奏再生手段（Ａ３〜Ａ６；９）とを具備し、第２セッション端末（ＴＭｂ，…，ＴＭｄ）は、第１セッション端末（ＴＭａ）と通信するための第２端末通信手段（１０）と、第１セッション端末（ＴＭａ）から第２端末通信手段（１０）を通じて受信されるバック演奏情報（Ｂｐ）及び第１ユーザ演奏情報（Ｕｐａ）を移調する移調手段（Ｂ１ｓｎ，Ｂ１ｓｐ；Ｂ３ｓｎ，Ｂ３ｓｐ）と、移調手段（Ｂ１ｓｎ，Ｂ１ｓｐ；Ｂ３ｓｎ，Ｂ３ｓｐ）により移調されたバック演奏情報（Ｂｐ）及び第１ユーザ演奏情報（Ｕｐａ）を再生すると共に、第２セッション端末のユーザ演奏（１３−６，１４−７）に基づく第２ユーザ演奏情報（Ｕｐｂ）を再生する第２端末演奏再生手段（Ｂ１〜Ｂ３；９）と、第２ユーザ演奏情報（Ｕｐｂ）を逆移調すると共に、逆移調された第２ユーザ演奏情報（Ｕｐｂ）を第２端末通信手段（１０）を通じて第１セッション端末（ＴＭａ）に送信する逆移調手段（Ｂ３ｒｎ，Ｂ３ｒｐ）とを具備するネットワークセッションシステム〔請求項２〕が提供される。
【発明の効果】
【０００９】
この発明によるネットワークセッションシステムでは、通信ネットワーク（ＣＮ）で接続されシステムを構成する複数のセッション端末（ＴＭ：ＴＭａ，ＴＭｂ，…，ＴＭｄ）のうち、第１セッション端末と呼ばれる他のセッション端末（ＴＭａ）には、そのユーザが所望する所定の調（所定調という）で作成されたバック演奏情報（Ｂｐ）が用意され、このバック演奏情報（Ｂｐ）は、ネットワークセッションの際、システムのバック演奏に用いられ、第１セッション端末（ＴＭａ）で再生されるだけでなく、第２セッション端末と呼ばれるセッション端末（ＴＭｂ，…，ＴＭｄ）に送信される（Ａ１，Ａ２ａ）。第２セッション端末（ＴＭｂ，…，ＴＭｄ）では、そのユーザが所望する任意の調（設定調）が設定されており、受信した所定調のバック演奏情報（Ｂｐ）は設定調に移調された後（Ｂ１ｓｎ，Ｂ１ｓｐ）再生される（Ｂ１）。従って、第１セッション端末（ＴＭａ）のユーザは、所定調のバック演奏情報（Ｂｐ）に基づくバック演奏音を聴きながら（Ａ３）、楽器演奏や歌唱などのユーザ演奏（１３−６，１４−７）を所望の所定調で行うことができ（Ａ４〜Ａ６）、第２セッション端末（ＴＭｂ，…，ＴＭｄ）のユーザは、所望の設定調に移調されたバック演奏情報（Ｂｐ）に基づくバック演奏音を聴きながら（Ｂ１）、楽器演奏や歌唱などのユーザ演奏（１３−６，１４−７）を所望の設定調で行うことができる（Ｂ２〜Ｂ３）。
【００１０】
また、第１セッション端末（ＴＭａ）でユーザ演奏に基づき生成されるユーザ演奏情報（Ｕｐａ）は、第２セッション端末（ＴＭｂ，…，ＴＭｄ）に送られ、設定調に移調された後（Ｂ３ｓｎ，Ｂ３ｓｐ）再生され（Ｂ３）、第１セッション端末（ＴＭｂ，…，ＴＭｄ）でユーザ演奏に基づき生成されるユーザ演奏情報（Ｕｐｂ）は、所定調に逆移調された後（Ｂ２ｒｎ，Ｂ２ｒｐ）、第１セッション端末（ＴＭａ）に戻されて再生される（Ａ５〜Ａ６）。従って、第１セッション端末（ＴＭａ）のユーザは、第２セッション端末（ＴＭｂ，…，ＴＭｄ）のユーザによる楽器演奏や歌唱などのユーザ演奏音についても所望の所定調で聴くことができ（Ａ６）、第２セッション端末（ＴＭｂ，…，ＴＭｄ）のユーザは、第１セッション端末（ＴＭａ）のユーザによる楽器演奏や歌唱などのユーザ演奏音についても所望の設定調で聴くことができる（Ｂ３）。
【００１１】
このように、この発明では、バック演奏情報を第１セッション端末から通信ネットワークを介して第２セッション端末へと送信し、第２セッション端末では、これを聴きながら楽器演奏乃至歌唱（ユーザ演奏）をすると共に、第２セッション端末における楽器演奏乃至歌唱の情報（ユーザ演奏情報）を第１セッション端末へ戻すようにして音楽的なネットワークセッションを行う際に、第２セッション端末では、受信したバック演奏情報を所望シフト量だけ移調し、移調後のバック演奏を聴きながら歌唱乃至演奏をし、この情報を所望逆シフト量だけ逆移調してから第１セッション端末へと戻すようにしている。従って、この発明によれば、通信ネットワークを介して音楽的なセッションを行う際に端末ユーザに適した調で演奏を行い容易に楽器演奏乃至歌唱などのセッションを行うことができる。
【図面の簡単な説明】
【００１２】
【図１】この発明の概要を説明するための図である。
【図２】この発明の一実施例によるネットワークセッションシステムの構成を示す。
【図３】ネットワークセッションの通信遅延対策を説明するための図である。
【図４】ネットワークセッションの通信遅延対策に関する種々の実施形態を示す。
【図５】この発明の一実施例によるトランスポーズを含むネットワークセッションの一動作例を示す。
【図６】この発明の一実施例によるトランスポーズを含むネットワークセッションの他の動作例を示す。
【発明を実施するための形態】
【００１３】
〔システム構成の概要〕
図２は、この発明の一実施例によるネットワークセッションシステムのシステム構成を示す。このネットワークセッションシステムは、図２（１）に示すように、セッション管理サーバＳＶと複数のセッション端末ＴＭ（記号“ＴＭ”はセッション端末を代表的に表わす）：ＴＭａ〜ＴＭｄで構成され、セッション管理サーバＳＶは、メンバーとなるセッション端末ＴＭ間の接続支援、例えば、セッションの開始に先立って行われる各セッション端末ＴＭ同士の接続手続きなどを行う。各セッション端末ＴＭ間、例えば、セッション端末ＴＭａ〜ＴＭｄ間で接続が成立した後は、セッション管理サーバＳＶを介することなく、これらセッション端末ＴＭａ〜ＴＭｄ間において、ＭＩＤＩデータやオーディオデータなどの演奏情報が送受信される。セッション管理サーバＳＶの動作は、よく知られているので、ここでは、より詳細な動作については説明を省略する。
【００１４】
ネットワークセッションのメンバーとなる複数のセッション端末ＴＭａ〜ＴＭｄは、それぞれ、楽器演奏及び／又はカラオケが可能な電子音楽装置であり、これらセッション端末ＴＭａ〜ＴＭｄには、さらに、楽器演奏及び／又はカラオケのためのバック演奏機能を有するセッション端末がある。バック演奏機能を有するセッション端末のうち、メンバーの構成時に任意に設定された何れか１つのセッション端末は、「第１セッション端末」と呼ばれ、第１セッション端末のバック演奏機能をその時のネットワークセッションのバック演奏に利用することができる。この場合、第１セッション端末のバック演奏情報は、第１セッション端末で再生されると共に、「第２セッション端末」と呼ばれる残りの他のセッション端末に送信されて再生される。以下の説明では、セッション端末ＴＭａが第１セッション端末として振る舞い、他のセッション端末ＴＭｂ〜ＴＭｄが第２セッション端末として振る舞うものとする。また、個々のセッション端末ＴＭａ〜ＴＭｄについてはそれぞれ「セッション端末Ａ〜Ｄ」で表わすものとする。
【００１５】
図２（２）は、このネットワークセッションシステムを構成するセッション端末のハードウエア構成例を示すブロック図である。この発明の一実施例によるネットワークセッションシステムを構成するセッション端末ＴＭは、電子的な音楽情報処理機能を有する一種のコンピュータであり、電子楽器や音楽情報処理アプリケーションがインストールされたパーソナルコンピュータ（ＰＣ）のような電子音楽装置を用いることができる。このセッション端末ＴＭは、図１（１）に示すように、中央処理装置（ＣＰＵ）１、ランダムアクセスメモリ（ＲＡＭ）２、読出専用メモリ（ＲＯＭ）３、記憶装置４、設定操作検出回路５、演奏操作検出回路６、アナログ−ディジタル（Ａ／Ｄ）変換回路７、表示回路８、音源・効果回路９、通信インターフェース（Ｉ／Ｆ）１０などを備え、これらの要素１〜１０はバス１１を介して互いに接続される。
【００１６】
ＣＰＵ１は、ＲＡＭ２及ＲＯＭ３と共にデータ処理部を構成し、ネットワークセッションプログラムを含む所定の制御プログラムに従い、ネットワークセッション処理を含む種々の情報処理を実行する。ＲＡＭ２は、これらの処理に際して必要なデータを利用可能に保持するための記憶管理領域や各種データを一時記憶するためのワーク領域として用いられ、また、ＲＯＭ３には、これらの処理を実行するために、ネットワークセッションプログラムを含む各種制御プログラムやプリセットされたデータ等が予め記憶される。
【００１７】
記憶装置４は、ＨＤ（ハードディスク）、ＦＤ（フレキシブルディスク）、ＣＤ（コンパクトディスク）、ＤＶＤ（デジタル多目的ディスク）、フラッシュメモリなどの半導体メモリなどの記憶媒体と、その駆動装置を含み、任意の制御プログラムや、バック演奏データを含むＭＩＤＩ演奏データなどを任意の記憶媒体に記憶することができる。また、記憶媒体は、着脱可能であってもよいし、セッション端末ＴＭに内蔵されていてもよい。
【００１８】
設定操作検出回路５は、スイッチやマウス等の設定操作子（パネル操作子）１２と共に設定操作部（パネル操作部）を構成し、設定操作子１２の操作を検出して設定操作に対応する設定操作情報をデータ処理部（１〜３）に導入し、データ処理部は、この設定操作情報に基づき種々の設定を行う。演奏操作検出回路６は、鍵盤などの演奏操作子１３と共に楽器演奏入力部を構成し、端末ユーザによる演奏操作子１３の操作を検出して演奏操作に対応する演奏操作情報をデータ処理部に導入し、データ処理部は、演奏操作情報に基いて楽器演奏の内容をイベント列で表わしたイベント記述形式即ちＭＩＤＩ形式の演奏データ（ＭＩＤＩ演奏データという）を作成し、音源・効果回路９に送る。Ａ／Ｄ変換回路７は、マイクロフォン１４と共に歌唱入力部を構成し、端末ユーザによる歌唱の演奏によりマイクロフォン１４から入力された歌唱音声信号をディジタル信号に変換してデータ処理部に導入し、データ処理部は、歌唱音声の内容を波形で表わしたオーディオ形式の演奏データ（オーディオ演奏音データという）を音源・効果回路９に送る。表示回路８は、種々の設定、楽器演奏や歌唱などの演奏入力に必要な各種画面を表示するＬＣＤ等のディスプレイ１５や、インジケータ／ランプ（図示せず）を備え、これらの表示・点灯内容をデータ処理部からの指令に従って制御し、設定や演奏入力などに関する表示援助を行う。
【００１９】
音源・効果回路９は、ＭＩＤＩ形式のデータからオーディオデータを生成する音源部と、ＤＳＰを含み種々のオーディオデータ処理を行う効果部とを有し、サウンドシステム１６と共に演奏再生部として機能する。例えば、音源部は、演奏操作検出回路６からの演奏操作情報から得られるＭＩＤＩ演奏データ、或いは、ＲＯＭ３、記憶装置４又は通信Ｉ／Ｆ１０から得られるＭＩＤＩ演奏データに基づいて、オーディオ演奏音データを生成し、効果部は、マイクロフォン１４から入力されたオーディオ演奏音データや、音源部で生成されたオーディオ演奏音データ、或いは、通信Ｉ／Ｆ１０などから得られるオーディオ演奏音データについて、所定の効果を付与したりミキシングを行い、オーディオ出力データを生成する。サウンドシステム１６は、Ｄ／Ａ変換部やアンプ、スピーカ（ヘッドフォンを含む）等を備え、音源・効果回路９からのオーディオ出力データに基づく楽音（楽器演奏音や歌唱音声）を発生する。
【００２０】
通信Ｉ／Ｆ１０は、ＭＩＤＩ等の音楽専用有線Ｉ／Ｆ、ＩＥＥＥ１３９４等の汎用近距離有線Ｉ／Ｆ、Ｅｔｈｅｒｎｅｔ（登録商標）等の汎用ネットワークＩ／Ｆ、無線ＬａｎやＢｌｕｅｔｏｏｔｈ（登録商標）等の汎用近距離無線Ｉ／Ｆなどの１又は複数を含み、インターネットなどの通信ネットワークＣＮを介して他のセッション端末との間でＭＩＤＩ演奏データやオーディオ演奏音データを授受したり、サーバコンピュータ等の外部機器から制御プログラムやデータ等を受信して記憶装置４に保存することができる。
【００２１】
なお、セッション端末ＴＭとして電子楽器を使用しカラオケを行わない場合は歌唱入力部１４−７は不要であり、セッション端末ＴＭとして音楽情報処理アプリケーション付きＰＣを使用しカラオケのみを行う場合には楽器演奏入力部１３−６は不要である。また、セッション管理サーバＳＶのハードウエア構成については、図２（２）とほぼ同様に構成されるが、楽器演奏入力部１３−６や演奏再生部９−１６は不要である。
【００２２】
〔ネットワークセッションの通信遅延対策〕
図３は、この発明の一実施例によるネットワークセッションシステムに適用される通信遅延対策を説明するための図である。まず、このネットワークセッションシステムにおける情報授受の概要について説明すると、このシステムでは、第１セッション端末として機能するセッション端末Ａで再生されるバック演奏情報データは、セッション端末Ａにおいて再生されると共に（Ａ１〜Ａ３）、セッションメンバーである他のセッション端末Ｂ〜Ｄへも、ＭＩＤＩ演奏データの形式のまま或いはオーディオ演奏音データの形式に変換されて、バック演奏情報Ｂｐとして送信される。バック演奏情報Ｂｐがセッション端末Ａから各セッション端末Ｂ〜Ｄに送られると、各セッション端末Ｂ〜Ｄでは、夫々の端末ユーザにより、受信したバック演奏情報Ｂｐを再生すると共に（Ｂ１〜Ｄ１）、バック演奏情報（オーディオ）Ｂｐの再生に合わせて楽器演奏及び／又は歌唱が行われる（Ｂ２〜Ｄ２）。この楽器演奏及び／又は歌唱の内容を表わし各セッション端末Ｂ〜Ｄで生成されるユーザ演奏データは、楽器演奏の場合はＭＩＤＩ演奏データ又はオーディオ演奏音データであり、歌唱の場合はオーディオ演奏音データであり、当該セッション端末Ｂ〜Ｄのユーザ演奏情報Ｕｐｂ〜Ｕｐｄとしてセッション端末Ａに送信される。
【００２３】
セッション端末Ａでは、セッション端末Ａの端末ユーザにより、自機で再生されたバック演奏に合わせて楽器演奏及び／又は歌唱が行われると共に（Ａ４）、他のセッション端末Ｂ〜Ｄの楽器演奏及び／又は歌唱とミックスされる（Ａ５〜Ａ６）。つまり、バック演奏とユーザによる楽器演奏及び／又は歌唱の内容を表わす演奏情報Ｂｐ，Ｕｐａは、音源・効果回路９内の効果部で、他のセッション端末Ｂ〜Ｄから受信したユーザ演奏情報Ｕｐｂ〜Ｕｐｄとミキシングされて再生される。これにより、バック演奏に合わせて各セッション端末Ａ〜Ｄで楽器演奏及び／又は歌唱されたセッション音楽が完成する。
【００２４】
完成したセッション音楽を表わす合奏データは、セッション端末Ａで再生されるだけでもよいし、録音されてもよいし、通信ネットワークＣＮを介して他の装置（図示せず）へ送信してもよく、送信例としては、録音したファイルをファイル共有サーバにアップロードしたり、ネット生放送アプリケーションを使って生放送の聴取者端末へリアルタイムに送信する方法がある（Ａ６）。さらに、合奏データを録音、送信するだけでなく、動画をも合わせて録画したり送信してもよい。
【００２５】
さて、このネットワークセッションシステムは、各セッション端末Ａ〜Ｄ間に或る程度の通信遅延が存在する環境にある。ここで、セッション端末間の通信遅延時間Ｔｃとは、図３（１）に示すように、送信側及び受信側セッション端末ＴＭｓ，Ｔｍｒ間の純粋なネットワークＣＮ上の通信遅延時間Ｔｎに加え、両端末ＴＭｓ，Ｔｍｒにおける演奏データ送信及び受信駆動部（オーディオ演奏音データの場合はオーディオドライバ、ＭＩＤＩ演奏データの場合はＭＩＤＩドライバ）ＤＲｓ，ＤＲｒの送信及び受信動作遅延時間Ｔｄｓ，Ｔｄｒをも含んだ時間である。特に、送信動作遅延時間Ｔｄｓについては、送信側セッション処理部ＳＰｓの送信指示を受ける演奏データ送信駆動部ＤＲｓ内の送信バッファＢＵｓの動作遅延が占める割合が高く、受信動作遅延時間Ｔｄｒについても、演奏データの受信から受信側セッション処理部ＳＰｒでの再生開始に至るまでの動作を行う演奏データ受信駆動部ＤＲｒ内の受信バッファＢＵｒの動作遅延が占める割合が高い。
【００２６】
このシステムでは、第１セッション端末として機能しバック演奏データを用意するセッション端末Ａは、第２セッション端末として機能しセッション端末Ａからのバック演奏データを利用する他のセッション端末Ｂ〜Ｄと通信することにより、セッション端末Ａと他のセッション端末Ｂ〜Ｄとの間の純粋な通信遅延時間Ｔｎを計測することができる。具体的には、セッション端末Ａからパケット送信時刻ｔａ１が付された遅延測定用パケットを各セッション端末Ｂ〜Ｄへと送信し、各セッション端末Ｂ〜Ｄにおいては、遅延測定用パケットを受信した時刻ｔｋ１及び応答時の時刻ｔｋ２を付した応答パケット（但し、添字「ｋ」は、「ｂ」〜「ｄ」であり、各端末Ｂ〜Ｄに関わることを表わす）をセッション端末Ａへと返信する。そして、セッション端末Ａにおいて、応答パケットを受信した時刻ｔａ２と上述した各時刻ｔａ１、ｔｋ１、ｔｋ２に基づき、セッション端末Ｂ〜Ｄとの間の往復の遅延時間ｄｋを次の式＜１＞で計算する。
ｄｋ ＝ （ｔａ２−ｔａ１）−（ｔｋ２−ｔｋ１） …＜１＞
【００２７】
ここで、時刻ｔａ１，ｔａ２は、セッション端末Ａにおいて管理されている時刻であり、時刻ｔｋ１、ｔｋ２は各セッション端末Ｂ〜Ｄにおいて管理されている時刻である。従って、各端末Ａ〜Ｄにおける絶対時刻は厳密に一致している必要はない。何故なら、式＜１＞から明らかなように、セッション端末Ａにおけるパケット送信からパケット受信までの時間差、或いは、セッション端末Ｂ〜Ｄにおけるパケット受信からパケット送信までの時間差を求めており、絶対時刻の考慮は不要となるからである。
【００２８】
このようにして求められた往復の遅延時間ｄｋを２分の１した値は片道の純粋な通信遅延時間Ｔｎとみなすことができる。厳密には、パケットの往路と復路とで通信遅延時間が同−とは限らないが、実装上は問題がない程度の差異であるので、この実施例では、往復の遅延時間の２分の１を片道の純粋な通信遅延時間Ｔｎとして採用している。
【００２９】
そして、得られた純粋な通信遅延時間Ｔｎに送信動作遅延時間Ｔｄｓ及び受信動作遅延時間Ｔｄｒを加えて、片道の通信遅延時間Ｔｃを求め、この片道の通信遅延時間Ｔｃをモニター遅延時間Ｔｍとして設定する。
【００３０】
なお、計測した各セッション端末Ｂ〜Ｄとの通信遅延時間の値が異なることがあるが、その場合は、次の何れかの値を適宜採用すればよい。
（１）平均値。
（２）最大値。
（３）基本的には最大値を採用するが、所定の閾値（現実的にセッションを行い得る範囲の遅延時間）Ｔｔを越える場合は該閾値Ｔｔを採用する。
（４）各セッション端末Ｂ〜Ｄごとに異なる遅延時間を設定する（具体例は後述）。
【００３１】
セッション開始の際は、図３（２）の機能ブロック図に示すように、セッション端末Ａにおいて、バック演奏再生の指示があると（Ａ１）、再生する所望のバック演奏データが記憶装置４から読み出され、これに対応するバック演奏情報Ｂｐがセッション端末Ｂ〜Ｄに送信されると共に、設定されたモニター遅延時間Ｔｍ分だけ自機におけるバック演奏音の再生が遅延される（Ａ２〜Ａ３）。つまり、セッション端末Ａは、バック演奏再生が指示された後（Ａ１）モニター遅延時間Ｔｍだけ経過したときに（Ａ２）、演奏再生部９に当該バック演奏データの再生に基づくバック演奏音の放音を開始させる（Ａ３）。
【００３２】
セッション端末Ｂ〜Ｄは、セッション端末Ａで再生されるバック演奏データに対応するバック演奏情報Ｂｐを再生指示から通信遅延Ｔｃ分だけ遅れて受信し、受信したバック演奏情報Ｂｐを再生して対応するバック演奏音を放音する（Ｂ１〜Ｄ１）。そこで、セッション端末Ｂ〜Ｄのユーザが、このバック演奏を聴きながら楽器演奏乃至（＝及び／又は）歌唱をすると（Ｂ２〜Ｄ２）と、これに対応するユーザ演奏音が放音されると共に（Ｂ３〜Ｄ３）、当該楽器演奏乃至歌唱の内容を表わすユーザ演奏情報Ｕｐｂ〜Ｕｐｄがセッション端末Ａに送信される。
【００３３】
セッション端末Ａでも、この端末のユーザが、自機で再生したバック演奏音を聴きながら楽器演奏乃至歌唱をすることができ（Ａ４）、併せて、その内容を表わすユーザ演奏情報Ｕｐａがセッション端末Ｂ〜Ｄに送信される。なお、端末Ａでのバック演奏音は、バック演奏の再生指示からモニター遅延時間Ｔｍ分だけ遅れて放音されているが、この遅れ（Ｔｍ）は、セッション端末Ａが第２セッション端末として機能していた場合の遅れ（Ｔｃ）とほぼ等しく、セッション端末Ａのユーザにとってはその影響は感じられない。また、端末Ａのユーザによる楽器演奏乃至歌唱の内容に対応するユーザ演奏音データ（Ｕｐａ）は、音源・効果回路９内の効果部で、バック演奏音データ（Ｂｐ）や、他のセッション端末Ｂ〜Ｄから受信したユーザ演奏情報Ｕｐｂ〜Ｕｐｄに対応するユーザ演奏音データと共にミキシングされ（Ａ５）、これらの演奏音データを合わせたセッション演奏音が放音、録音乃至送信される（Ａ６）。
【００３４】
このようにして、他のセッション端末Ｂ〜Ｄでは、バック演奏音の放音（Ｂ１〜Ｄ１）から遅れることほぼモニター遅延時間Ｔｍ後に、セッション端末Ａで楽器演奏乃至歌唱された音が放音され（Ｂ３〜Ｄ３）、セッション端末Ｂ〜Ｄのユーザは、これを聴きながら更に楽器演奏乃至歌唱をする。セッション端末Ｂ〜Ｄのユーザにとっては、セッション端末Ａのユーザの楽器演奏乃至歌唱は、バック演奏から、ほぼ通信遅延時間Ｔｃと等しいモニター遅延時間Ｔｍ分だけ遅れているが、このモニター遅延時間Ｔｍが所定時間以内（例えば３０ｍｓ以内）であればそれほど違和感なく楽器演奏乃至歌唱が可能である。また、セッション端末Ａでも、バック演奏の放音（Ａ３）から遅れること通信遅延時間Ｔｃ後に、セッション端末Ｂ〜Ｄで楽器演奏乃至歌唱されたユーザ演奏音が放音されるが（Ａ６）、この通信遅延Ｔｃが所定時間以内（例えば３０ｍｓ以内）であれば、セッション端末Ｂ〜Ｄと同様に、それほど違和感なく楽器演奏乃至歌唱が可能である。
【００３５】
仮に、セッション端末Ａにおいて、モニター遅延を入れないと、図１（２）で既に説明したように、セッション端末Ａのユーザの楽器演奏乃至歌唱による自機ユーザ演奏音の放音と、セッション端末Ｂ〜Ｄのユーザの楽器演奏乃至歌唱による他機ユーザ演奏音の放音とは、セッション端末Ｂ〜Ｄにおいてはこれら演奏音がほぼ同時に放音されるのに比べて、通信遅延Ｔｃの往復分だけ（例えば６０ｍｓ程度）ずれてしまい、他機ユーザ演奏音の遅延が大きくなり過ぎて違和感が大きい。このシステムでは、モニター遅延Ｔｍを入れることで、セッション端末Ａにおける自機ユーザ演奏音の遅延が半減し、しかも、セッション端末Ａとセッション端末Ｂ〜Ｄとで両ユーザ演奏音の遅延が均一化される（各セッション端末Ａ〜Ｄが第１セッション端末として機能する場合も第２セッション端末として機能する場合もほぼ同じ遅延となる）ので、違和感を軽減することができる。
【００３６】
なお、各セッション端末Ｂ〜Ｄにそれぞれ異なる遅延時間を設定する場合〔前記（４）の場合〕について、その具体的な設定例を説明する。セッション端末Ａにおけるモニター遅延時間Ｔｍには、測定した各セッション端末との通信遅延時間のうちの最大値、或いは、前述した所定の閾値Ｔｔ〔前記（３）参照〕を設定する。また、各セッション端末Ｂ〜Ｄへは、「モニター遅延時間Ｔｍ−夫々の通信遅延時間Ｔｃ」（但し、所定の閾値Ｔｔを設定した場合には、通信遅延時間Ｔｃが該閾値Ｔｔを越えるときは通信時間Ｔｃに代えて該閾値Ｔｔとする）だけ待ってからパック演奏情報Ｂｐを送信する。
【００３７】
例えば、セッション端末Ｂ，Ｃ，Ｄとの通信遅延時間Ｔｃが、それぞれ、２０ｍｓ、４０ｍｓ、６０ｍｓであった場合、セッション端末Ａにおけるモニター遅延時間Ｔｍには、最大値の６０ｍｓ（閾値Ｔｔ＝５０ｍｓを設定した場合は５０ｍｓ）を設定し、セッション端末Ｂへは、６０−２０＝４０ｍｓ（閾値Ｔｔ＝５０ｍｓを設定した場合は５０−２０＝３０ｍｓ）だけ遅らせてから送信し、セッション端末Ｃへは、６０−４０＝２０ｍｓ（閾値Ｔｔ＝５０ｍｓを設定した場合は５０−４０＝１０ｍｓ）遅らせてから送信し、セッション端末Ｄへは、６０−６０＝０ｍｓ（閾値Ｔｔ＝５０ｍｓを設定した場合は５０−５０＝０ｍｓ）、つまり、遅延なしで送信する。このようにすると、各セッション端末においてほぼ同時にバック演奏を鳴らすことができる。
【００３８】
〔通信遅延対策に関する種々の実施形態〕
以上、このネットワークセッションの通信遅延対策について説明したが、種々の実施形態を採用することができる。図４は、この発明によるネットワークセッションシステムの種々の実施形態を説明するための機能ブロック図である。例えば、セッション端末Ａでバック演奏を用意したり、各セッション端末Ａ〜Ｄで楽器演奏をする場合、図４（１）に示すように、自端末Ａに用意されたバック演奏データをＭＩＤＩ形式とし、このＭＩＤＩ形式のままバック演奏情報Ｂｐとして他端末Ｂ〜Ｄへ送信したり、自端末Ａ；Ｂ〜Ｄで生成されたＭＩＤＩ形式のユーザ演奏情報Ｕｐａ；Ｕｐｂ〜Ｕｐｄを他端末Ｂ〜Ｄ；Ａへ送信してもよいし、図４（２）に示すように、自端末Ａ；Ｂ〜Ｄにおける音源・効果回路９内の音源部にてオーディオ形式に変換された演奏音データ（Ａ２ａ，Ａ５ｃ；Ｂ３ｃ）をバック演奏情報Ｂｐ或いはユーザ演奏情報Ｕｐａ；Ｕｐｂ〜Ｕｐｄとして他端末Ｂ〜Ｄ；Ａへ送信してもよい。
【００３９】
図４（１）のようにＭＩＤＩで送信する場合には、受信側の各セッション端末は、ＭＩＤＩで受信した演奏情報Ｂｐ；Ｕｐを音源部（９）でオーディオ形式に変換してから（Ａ３ａ，Ｂ１ａ；Ａ５ｂ，Ｂ３ｂ）放音する（Ａ３，Ｂ１；Ａ６，Ｂ３）。また、セッション端末Ａにおいてモニター遅延Ｔｍを入れる場合は、バック演奏データがＭＩＤＩ形式なら、図４（１）のように、ＭＩＤＩのままで遅延してもよいし（Ａ１→Ａ２）、図４（２）のように、音源部（９）でオーディオ形式に変換されたバック演奏音データを遅延するようにしてもよい（Ａ２ａ→Ａ２）。
【００４０】
また、各セッション端末Ａ〜Ｄにおいて歌唱する場合、放音されたバック演奏音がマイクロフォン１４で集音されてしまうということがないように、バック演奏音の放音にはヘッドフォンを利用するのが望ましい。例えば、セッション端末Ｂにおいて、放音されるバック演奏音をマイクで集音し、これをセッション端末Ａに送信してしまうと、セッション端末Ａでは、再生された本来のバック演奏音に対して、通信遅延Ｔｃだけ遅延されたセッション端末Ｂからのユーザ演奏情報Ｕｐｂが混ざってしまい、好ましくないからである。
【００４１】
さらに、モニター遅延Ｔｍの挿入態様をユーザにより選択することができるようにしてもよい。例えば、モニター遅延時間Ｔｍを、計測した通信遅延時間Ｔｃに応じて自動的に設定してもよいし、計測した通信遅延時間Ｔｃを参考にしながらユーザが設定できるようにしてもよい。自動設定する場合は、既に説明したように通信路の往復遅延時間（２×Ｔｃ）の半分をモニター遅延時間Ｔｍに設定しても良いし、片道の遅延時間をそのままモニター遅延時間Ｔｍに設定してもよい。また、通信遅延時間Ｔｃが、違和感の発生が生じてしまう時間以上ある場合、ディスプレイ１５等を通じて、セッションの成立が困難である旨をユーザに通知するようにしてもよい。
【００４２】
また、各セッション端末Ａ〜Ｄが電子楽器の場合、図４（１）；（２）に※印が付けれた破線枠のブロックＡ５ａ，Ｂ３ａ；Ａ５ｄ，Ｂ３ｄで示すように、ユーザによる演奏操作子１３の演奏操作（Ａ４，Ｂ２）から、音源・効果回路９内の音源部によりユーザ演奏音データの生成（Ａ５ｂ，Ｂ３ｃ）が開始されるまで、或いは、ユーザ演奏音データの生成（Ａ５ｃ，Ｂ３ｂ）の後ユーザ演奏音が放音されるまで（Ａ６，Ｂ３）の間に、上限がモニター遅延時間Ｔｍや通信遅延時間Ｔｃ程度の多少の演奏遅延Ｔｐを入れても良い。このようにすると、他のセッション端末から受信した他端末ユーザの楽器演奏に対応するユーザ演奏音の生成と、自端末ユーザの楽器演奏に対応するユーザ演奏音（モニター音）の生成との時間差を短くすることができる。ただし、演奏操作から発音までの遅延があるため、ユーザによっては違和感を感じる可能性があるので、この演奏遅延Ｔｐの値は、上述のように、大きくしない方が望ましい。
【００４３】
〔各セッション端末におけるトランスポーズ（移調）〕
ネットワークセッションシステムの各セッション端末でユーザ演奏を行う場合、楽器演奏においては、演奏技量の関係で、或るユーザは、例えば、ハ長調やイ短調のような所定の調でしか、演奏できない場合があり、また、歌唱においては、ユーザごとに歌唱可能な音域が異なり、調によっては歌えない場合がある。そこで、この発明の一実施例によるネットワークセッションシステムでは、各セッション端末において、調に関する各ユーザの音楽的な能力や好みに応じてバック演奏やユーザ演奏を移調（トランスポーズ）し、各ユーザに適した調で演奏を行うことにより、容易に違和感のないセッションを実現することができる。図５及び図６は、この発明の一実施例によるトランスポーズを含むネットワークセッションシステムの動作例を示し、各図における「通信遅延」は、図４と同様の通信遅延があることを表わしている。また、「モニター遅延Ｔｍ」（Ａ２）及び「演奏遅延Ｔｐ」（Ａ５ａ，Ｂ３ａ；Ａ５ｄ，Ｂ３ｄ）は、図４と同様の通信遅延対策が講じられ得ることを表わしているが、必ずしも必須ではない。
【００４４】
このシステムでは、各セッション端末Ｂ〜Ｄは、それぞれ、ユーザが所望する調に応じて任意のトランスポーズ値（トランスポーズ量ともいう）〔＝ノート番号シフト値（ノート番号シフト量ともいう）或いはピッチシフト値（ピッチシフト量ともいう）〕Ｔｓ及び逆トランスポーズ値（逆トランスポーズ量ともいう）〔＝逆ノート番号シフト値（逆ノート番号シフト量ともいう）或いは逆ピッチシフト値（逆ピッチシフト量ともいう）〕Ｔｒの設定が可能であり（Ｔｒ＝−Ｔｓ）、セッション端末Ａから自セッション端末Ｂ〜Ｄに送られてくる所定調のバック演奏情報Ｂｐやユーザ演奏情報Ｕｐａについては、設定されたトランスポーズ値（量）Ｔｓだけトランスポーズした調（設定調）に変換することができ、これとは逆に、自セッション端末Ｂ〜Ｄで生成される設定調のユーザ演奏情報Ｕｐｂ〜Ｕｐｄ（尚、記号Ｕｐｃ，Ｕｐｄは図示せず、記号Ｕｐｂで代用している）については、設定された逆トランスポーズ値（量）Ｔｒだけ逆トランスポーズして所定調に逆変換することができる。なお、トランスポーズ値（量）Ｔｓの設定に連動して逆トランスポーズ値（量）Ｔｒを自動設定するのが好ましい。
【００４５】
つまり、各セッション端末Ｂ〜Ｄにおいて、セッション端末Ａから所定調のバック演奏情報Ｂｐやユーザ演奏情報Ｕｐａを受信すると、受信したバック演奏情報をトランスポーズし（Ｂ１ｓｎ，Ｂ１ｓｐ；Ｂ３ｓｎ，Ｂ３ｓｐ）、ユーザがトランスポーズ後の設定調でバック演奏（Ｂ１）や端末Ａのユーザ演奏（Ｂ３）を聴きながらユーザ演奏（楽器演奏及び／又は歌唱）を行うと（Ｂ２）、自端末Ｂ〜Ｄのユーザ演奏内容を表わす設定調のユーザ演奏情報Ｕｐｂを逆トランスポーズし所定調に逆変換してから（Ｂ２ｒ：Ｂ２ｒｎ，Ｂ２ｒｐ）セッション端末Ａへと送信する。これにより、各セッション端末Ｂ〜Ｄでは、演奏し易い或いは歌い易い調で、楽器演奏或いは歌唱をするが、セッション端末Ａに集められた状態では、調が揃った状態となる。
【００４６】
なお、演奏情報のトランスポーズ態様については、受信したバック演奏情報Ｂｐやユーザ演奏情報ＵｐａがＭＩＤＩ形式（イベント記述データ形式）の場合、設定されたノート番号シフト値（量）だけノート番号をシフトし（Ｂ１ｓｎ；Ｂ３ｓｎ）、オーディオ形式（波形データ形式）の場合は、設定されたピッチシフト値（量）だけピッチをシフトする（Ｂ１ｓｐ；Ｂ３ｓｐ）。また、各端末Ｂ〜Ｄで生成されるユーザ演奏情報ＵｐｂがＭＩＤＩ形式の場合、設定された逆ノート番号シフト値（量）だけノート番号をシフトし（Ｂ２ｒｎ）、オーディオ形式の場合は、設定された逆ピッチシフト値（量）だけピッチをシフトする（Ｂ２ｒｐ）。
【００４７】
図５は、図４（１）と同様に演奏情報をＭＩＤＩ形式で通信する場合の機能ブロック図を示し、セッション端末Ａ〜Ｄではユーザ演奏として楽器演奏が行われる。まず、セッション端末Ａでは、バック演奏の再生が指示されると（Ａ１）、所定調のＭＩＤＩバック演奏データが記憶装置４から読み出され、ＭＩＤＩ形式のままバック演奏情報Ｂｐとしてセッション端末Ｂ〜Ｄに送信されると共に、モニター遅延Ｔｍの後、音源・効果回路９及びサウンドシステム１６を通じてバック演奏音が所定調で放音される（Ａ２〜Ａ３）。端末Ａのユーザがこのバック演奏音を聴きながら所定調で楽器演奏を行うと（Ａ４）、楽器演奏の内容を表わす所定調のＭＩＤＩユーザ演奏情報Ｕｐａもセッション端末Ｂ〜Ｄに送信される。また、バック演奏情報Ｂｐ及びユーザ演奏情報Ｕｐａは、通信遅延Ｔｃの後、各セッション端末Ｂ〜Ｄで受信される（Ａ１→Ｂ１ｓｎ，Ａ４→Ｂ３ｓｎ）。
【００４８】
各セッション端末Ｂ〜Ｄでは、受信したバック演奏情報Ｂｐがノート番号シフトされて設定調に変換された後（Ｂ１ｓｎ）、音源・効果回路９を通じてバック演奏音が設定調で放音される（Ｂ１ａ〜Ｂ１）。端末Ｂ〜Ｄのユーザがこのバック演奏音を聴きながら設定調で楽器演奏を行うと（Ｂ２）、音源・効果回路９及びサウンドシステム１６を通じて、対応するユーザ演奏音が設定調で放音される（Ｂ３ａ〜Ｂ３）。また、楽器演奏の内容を表わす設定調のＭＩＤＩユーザ演奏情報Ｕｐｂは、逆ノート番号シフトにより所定調に逆変換された後（Ｂ２ｒｎ）、セッション端末Ａへと送信され、通信遅延Ｔｃの後、同端末Ａで受信される（Ｂ２ｒｎ→Ａ５ｂ）。
【００４９】
セッション端末Ａでは、音源・効果回路９内の音源部により、バック演奏データに基づくバック演奏音データが生成されると共に（Ａ３ａ）、端末Ａのユーザによる楽器演奏に対応するユーザ演奏音データ及びセッション端末Ｂ〜Ｄからのユーザ演奏情報Ｕｐｂに基づくユーザ演奏音データが生成され（Ａ５ｂ）、これらの演奏音データは音源・効果回路９内の効果部でミキシングされ（Ａ５）、ミキシングされたセッション演奏音データは、調が揃った状態になっており、サウンドシステム１６を通じて放音され、記憶装置４に録音（記憶）され、或いは、セッション端末Ｂ〜Ｄに送信される（Ａ６）。
【００５０】
図６は、図４（２）と同様に演奏情報をオーディオ形式で通信する場合の機能ブロック図を示し、ユーザ演奏としてセッション端末Ａでは楽器演奏が行われセッション端末Ｂ〜Ｄでは歌唱が行われる。セッション端末Ａでは、バック演奏の再生が指示されると（Ａ１）、音源部（９）により、記憶装置４から読み出された所定調のＭＩＤＩバック演奏データに基づいてオーディオ形式のバック演奏音データが生成され（Ａ２ａ）、このバック演奏音データがバック演奏情報Ｂｐとしてセッション端末Ｂ〜Ｄに送信されると共に、モニター遅延Ｔｍの後、効果部（９）及びサウンドシステム１６を通じてバック演奏音が所定調で放音される（Ａ２〜Ａ３）。端末Ａのユーザがこのバック演奏音を聴きながら所定調で楽器演奏を行うと（Ａ４）、楽器演奏に応じて音源部（９）で生成されるオーディオ形式のユーザ演奏音データが（Ａ５ｃ）、ユーザ演奏情報Ｕｐａとしてセッション端末Ｂ〜Ｄに送信される。また、バック演奏情報Ｂｐ及びユーザ演奏情報Ｕｐａは、通信遅延Ｔｃの後、各セッション端末Ｂ〜Ｄで受信される（Ａ２ａ→Ｂ１ｓｐ，Ａ５ｃ→Ｂ３ｓｐ）。
【００５１】
各セッション端末Ｂ〜Ｄでは、受信したバック演奏情報Ｂｐがピッチシフトされて設定調に変換された後（Ｂ１ｓｐ）、効果部（９）及びサウンドシステム１６を通じてバック演奏音が設定調で放音される（Ｂ１）。端末Ｂ〜Ｄのユーザがこのバック演奏音を聴きながら設定調で歌唱を行うと（Ｂ２）、効果部（９）及びサウンドシステム１６を通じて、対応するユーザ演奏音が設定調で放音される（Ｂ３ｄ〜Ｂ３）。また、歌唱の内容（波形）を表わす設定調のオーディオユーザ演奏情報Ｕｐｂは、逆ピッチシフトにより所定調に逆変換された後（Ｂ２ｒｐ）、セッション端末Ａへと送信され、通信遅延Ｔｃの後、同端末Ａで受信される（Ｂ２ｒｐ→Ａ５）。
【００５２】
セッション端末Ａでは、効果部（９）のミキシング機能により、バック演奏データ（Ａ２ａ）、端末Ａのユーザによる楽器演奏に対応するユーザ演奏音データ（Ａ５ｃ）及びセッション端末Ｂ〜Ｄからのユーザ演奏情報Ｕｐｂに基づくユーザ演奏音データがミキシングされ（Ａ５）、ミキシングされたセッション演奏音データは、調が揃った状態になっており、サウンドシステム１６を通じて放音され、記憶装置４に録音（記憶）され、或いは、セッション端末Ｂ〜Ｄに送信される（Ａ６）。
【００５３】
なお、図５及び図６では、セッション端末Ａ及びセッション端末Ｂ〜Ｄのユーザ演奏態様及び端末Ａ・セッション端末Ｂ〜Ｄ間の演奏情報通信態様について、「楽器演奏＋楽器演奏、双方向ＭＩＤＩ通信」（図５）及び「楽器演奏＋歌唱、双方向オーディオ通信」（図６）の例を説明したが、「歌唱＋歌唱、双方向オーディオ通信」、「楽器演奏＋楽器演奏、双方向オーディオ通信」、「楽器演奏＋歌唱、楽器演奏はＭＩＤＩ、歌唱はオーディオで通信」など、種々の組合わせで実現することができる。
【００５４】
トランスポーズについては、セッション端末Ａにおいてもトランスポーズ可能としてもよい。その場合、セッション端末Ｂ〜Ｄに対してセッション端末Ａがトランスポーズをした旨を通知し、セッション端末Ｂ〜Ｄにおいては、端末Ａのトランスポーズ値を加味して自身のトランスポーズ値設定をする。また、全ての端末のトランスポーズ値をセッション端末Ａで指定し、送り出し時にトランスポーズした状態で各端末に送り出しても良い。
【００５５】
各セッション端末Ｂ〜Ｄにおけるユーザ演奏情報Ｕｐｂは、セッション端末Ａのみへと送信される例を示したが、各セッション端末Ｂ〜Ｄ間で互いにユーザ演奏情報を送受信するようにしてもよい。このようにすると、各セッション端末Ｂ〜Ｄにおいても全セッション端末におけるユーザ演奏情報（Ｕｐａ及びＵｐｂ）をミキシングした音を聴くことができる。
【００５６】
トランスポーズや逆トランスポーズに所定の処理時間が必要な場合、通信遅延時間Ｔｎにトランスポーズや逆トランスポ〜ズに要する時間を加味するのがよい。
【符号の説明】
【００５７】
ＴＭ：ＴＭａ〜ＴＭｄ；ＴＭｓ，ＴＭｒ セッション端末、
Ｂｐ，Ｕｐ（Ｕｐａ〜Ｕｐｄ） バック演奏情報及びユーザ演奏情報、
Ｂ１ｓｎ，Ｂ３ｓｎ；Ｂ１ｓｐ，Ｂ３ｓｐ ノート番号及びピッチシフト部（移調部）、
Ｂ３ｒｎ，Ｂ３ｒｐ 逆ノート番号シフト部及び逆ピッチシフト部（逆移調部）。
【技術分野】
【０００１】
この発明は、インターネットなどの通信ネットワークを介して接続された複数の電子音楽端末の間で演奏などのセッションを行うネットワークセッションシステムに関する。
【背景技術】
【０００２】
従来より、インターネットなどの通信ネットワークを介した楽器の演奏（合奏）やデュエット等の合唱などの音楽的なセッションを可能とした技術が知られている。例えば、特許文献１の合奏システムでは、自端末（Ａ）での演奏動作を表わす演奏情報が入力タイミングと処理タイミングとの間の遅延時間を制御することで、通信ネットワークを介した合奏を可能にしている。また、一般に、楽器演奏のセッションやカラオケのデュエット等は、或る楽曲を共通の調で演奏乃至歌唱している。
【先行技術文献】
【特許文献】
【０００３】
【特許文献１】特許第４２５９３２９号公報
【０００４】
しかしながら、通信ネットワークを介した音楽的なセッションにおいて、デュエットを行う場合は、ユーザごとに歌える音域（調）が異なることが多く、同じ調で歌唱することができない可能性があり、楽器演奏の合奏を行う場合には、ユーザのスキルによっては所定の調（ハ長調やイ短調）でしか楽器演奏ができないこともあり、スキルの高いユーザがスキルの低いユーザに合わせた調で楽器演奏をする必要があった。
【発明の概要】
【発明が解決しようとする課題】
【０００５】
この発明は、このような事情に鑑み、通信ネットワークを介して音楽的なセッションを行う際に端末ユーザに適した調で演奏を行い容易に楽器演奏乃至歌唱などのセッションを行うことができるネットワークセッションシステムを提供することを目的とする。
【課題を解決するための手段】
【０００６】
〔解決策の概要〕
この発明によるネットワークセッションシステムでは、端的にいうと、図１に示すように、ユーザ端末Ａ側で所定調で行われるバック演奏やユーザ演奏（楽器演奏乃至歌唱）の情報が他のユーザ端末Ｂへと送信され、任意に設定された調（設定調という）に移調され、ユーザ端末Ｂのユーザがバック演奏やユーザＡの演奏を設定調で聴きながら演奏を行うと、当該演奏の情報は、所定調に逆移調されてユーザ端末Ａ側に戻される。つまり、ユーザ端末Ａは、ユーザＡが所望する所定調でバック演奏情報を再生してバック演奏を行い、ユーザＡがバック演奏に合わせて所定調で楽器演奏乃至歌唱をすると、バック演奏情報及びユーザＡの楽器演奏乃至歌唱の内容を表わすユーザ演奏情報をユーザ端末Ｂへと送信する。ユーザ端末Ｂは、バック演奏情報やユーザ演奏情報を、ユーザＢが所望する任意の設定調に移調した上で再生し、ユーザＢが、この再生によるバック演奏やユーザＡの楽器演奏乃至歌唱を聴きながら楽器演奏乃至歌唱をすると、ユーザＢの楽器演奏乃至歌唱の内容を表わすユーザ演奏情報を所定調に逆移調した上でユーザ端末Ａに戻す。ユーザ端末Ａ側では、ユーザＢの演奏がユーザＡ所望の所定調の音楽として聴こえるので、ユーザＡは所定調で演奏を持続し、違和感のない合奏やデュエット等のセッションが可能となる。
【０００７】
〔解決手段の構成〕
従って、この発明の具体的な解決手段の構成について説明すれば、端末構成上の特徴に従うと、通信ネットワーク（ＣＮ）を介して通信可能に接続された他のセッション端末（ＴＭａ）と共にネットワークセッションシステムを構成するセッション端末（ＴＭｂ，…，ＴＭｄ）であって、他のセッション端末（ＴＭａ）と通信するための通信手段（１０）と、他のセッション端末（ＴＭａ）から通信手段（１０）を通じて受信されるバック演奏情報（Ｂｐ）及び他のセッション端末のユーザ演奏（１３−６，１４−７）に基づく他端末ユーザ演奏情報（Ｕｐａ）を移調する移調手段（Ｂ１ｓｎ，Ｂ１ｓｐ；Ｂ３ｓｎ，Ｂ３ｓｐ）と、移調手段（Ｂ１ｓｎ，Ｂ１ｓｐ；Ｂ３ｓｎ，Ｂ３ｓｐ）により移調されたバック演奏情報（Ｂｐ）及び他端末ユーザ演奏情報（Ｕｐａ）を再生すると共に、このセッション端末のユーザ演奏（１３−６，１４−７）に基づく自端末ユーザ演奏情報（Ｕｐｂ）を再生する演奏再生手段（Ｂ１〜Ｂ３；９）と、自端末ユーザ演奏情報（Ｕｐｂ）を逆移調すると共に、逆移調された自端末ユーザ演奏情報（Ｕｐｂ）を通信手段（１０）を通じて他のセッション端末（ＴＭａ）に送信する逆移調手段（Ｂ３ｒｎ，Ｂ３ｒｐ）とを具備するセッション端末（ＴＭｂ，…，ＴＭｄ）〔請求項１〕が提供される。なお、括弧書きは、実施例の参照記号や箇所等を表わし、以下においても同様である。
【０００８】
また、システム構成上の特徴に従うと、通信ネットワーク（ＣＮ）を介して通信可能に接続された第１セッション端末（ＴＭａ）及び第２セッション端末（ＴＭｂ，…，ＴＭｄ）により構成されるネットワークセッションシステムであって、第１セッション端末（ＴＭａ）は、第２セッション端末（ＴＭｂ，…，ＴＭｄ）と通信するための第１端末通信手段（１０）と、バック演奏情報（Ｂｐ）及び第１セッション端末のユーザ演奏（１３−６，１４−７）に基づく第１ユーザ演奏情報（Ｕｐａ）を第１端末通信手段（１０）を通じて第２セッション端末（ＴＭｂ，…，ＴＭｄ）に送信する演奏情報送信手段（Ａ１，Ａ２ａ；Ａ４，Ａ５ｃ）と、第２セッション端末（ＴＭｂ，…，ＴＭｄ）から第１端末通信手段（１０）を通じて第２ユーザ演奏情報（Ｕｐｂ）を受信する演奏情報受信手段（Ａ５）と、バック演奏情報（Ｂｐ）、第１ユーザ演奏情報（Ｕｐａ）及び第２ユーザ演奏情報（Ｕｐｂ）を再生する第１端末演奏再生手段（Ａ３〜Ａ６；９）とを具備し、第２セッション端末（ＴＭｂ，…，ＴＭｄ）は、第１セッション端末（ＴＭａ）と通信するための第２端末通信手段（１０）と、第１セッション端末（ＴＭａ）から第２端末通信手段（１０）を通じて受信されるバック演奏情報（Ｂｐ）及び第１ユーザ演奏情報（Ｕｐａ）を移調する移調手段（Ｂ１ｓｎ，Ｂ１ｓｐ；Ｂ３ｓｎ，Ｂ３ｓｐ）と、移調手段（Ｂ１ｓｎ，Ｂ１ｓｐ；Ｂ３ｓｎ，Ｂ３ｓｐ）により移調されたバック演奏情報（Ｂｐ）及び第１ユーザ演奏情報（Ｕｐａ）を再生すると共に、第２セッション端末のユーザ演奏（１３−６，１４−７）に基づく第２ユーザ演奏情報（Ｕｐｂ）を再生する第２端末演奏再生手段（Ｂ１〜Ｂ３；９）と、第２ユーザ演奏情報（Ｕｐｂ）を逆移調すると共に、逆移調された第２ユーザ演奏情報（Ｕｐｂ）を第２端末通信手段（１０）を通じて第１セッション端末（ＴＭａ）に送信する逆移調手段（Ｂ３ｒｎ，Ｂ３ｒｐ）とを具備するネットワークセッションシステム〔請求項２〕が提供される。
【発明の効果】
【０００９】
この発明によるネットワークセッションシステムでは、通信ネットワーク（ＣＮ）で接続されシステムを構成する複数のセッション端末（ＴＭ：ＴＭａ，ＴＭｂ，…，ＴＭｄ）のうち、第１セッション端末と呼ばれる他のセッション端末（ＴＭａ）には、そのユーザが所望する所定の調（所定調という）で作成されたバック演奏情報（Ｂｐ）が用意され、このバック演奏情報（Ｂｐ）は、ネットワークセッションの際、システムのバック演奏に用いられ、第１セッション端末（ＴＭａ）で再生されるだけでなく、第２セッション端末と呼ばれるセッション端末（ＴＭｂ，…，ＴＭｄ）に送信される（Ａ１，Ａ２ａ）。第２セッション端末（ＴＭｂ，…，ＴＭｄ）では、そのユーザが所望する任意の調（設定調）が設定されており、受信した所定調のバック演奏情報（Ｂｐ）は設定調に移調された後（Ｂ１ｓｎ，Ｂ１ｓｐ）再生される（Ｂ１）。従って、第１セッション端末（ＴＭａ）のユーザは、所定調のバック演奏情報（Ｂｐ）に基づくバック演奏音を聴きながら（Ａ３）、楽器演奏や歌唱などのユーザ演奏（１３−６，１４−７）を所望の所定調で行うことができ（Ａ４〜Ａ６）、第２セッション端末（ＴＭｂ，…，ＴＭｄ）のユーザは、所望の設定調に移調されたバック演奏情報（Ｂｐ）に基づくバック演奏音を聴きながら（Ｂ１）、楽器演奏や歌唱などのユーザ演奏（１３−６，１４−７）を所望の設定調で行うことができる（Ｂ２〜Ｂ３）。
【００１０】
また、第１セッション端末（ＴＭａ）でユーザ演奏に基づき生成されるユーザ演奏情報（Ｕｐａ）は、第２セッション端末（ＴＭｂ，…，ＴＭｄ）に送られ、設定調に移調された後（Ｂ３ｓｎ，Ｂ３ｓｐ）再生され（Ｂ３）、第１セッション端末（ＴＭｂ，…，ＴＭｄ）でユーザ演奏に基づき生成されるユーザ演奏情報（Ｕｐｂ）は、所定調に逆移調された後（Ｂ２ｒｎ，Ｂ２ｒｐ）、第１セッション端末（ＴＭａ）に戻されて再生される（Ａ５〜Ａ６）。従って、第１セッション端末（ＴＭａ）のユーザは、第２セッション端末（ＴＭｂ，…，ＴＭｄ）のユーザによる楽器演奏や歌唱などのユーザ演奏音についても所望の所定調で聴くことができ（Ａ６）、第２セッション端末（ＴＭｂ，…，ＴＭｄ）のユーザは、第１セッション端末（ＴＭａ）のユーザによる楽器演奏や歌唱などのユーザ演奏音についても所望の設定調で聴くことができる（Ｂ３）。
【００１１】
このように、この発明では、バック演奏情報を第１セッション端末から通信ネットワークを介して第２セッション端末へと送信し、第２セッション端末では、これを聴きながら楽器演奏乃至歌唱（ユーザ演奏）をすると共に、第２セッション端末における楽器演奏乃至歌唱の情報（ユーザ演奏情報）を第１セッション端末へ戻すようにして音楽的なネットワークセッションを行う際に、第２セッション端末では、受信したバック演奏情報を所望シフト量だけ移調し、移調後のバック演奏を聴きながら歌唱乃至演奏をし、この情報を所望逆シフト量だけ逆移調してから第１セッション端末へと戻すようにしている。従って、この発明によれば、通信ネットワークを介して音楽的なセッションを行う際に端末ユーザに適した調で演奏を行い容易に楽器演奏乃至歌唱などのセッションを行うことができる。
【図面の簡単な説明】
【００１２】
【図１】この発明の概要を説明するための図である。
【図２】この発明の一実施例によるネットワークセッションシステムの構成を示す。
【図３】ネットワークセッションの通信遅延対策を説明するための図である。
【図４】ネットワークセッションの通信遅延対策に関する種々の実施形態を示す。
【図５】この発明の一実施例によるトランスポーズを含むネットワークセッションの一動作例を示す。
【図６】この発明の一実施例によるトランスポーズを含むネットワークセッションの他の動作例を示す。
【発明を実施するための形態】
【００１３】
〔システム構成の概要〕
図２は、この発明の一実施例によるネットワークセッションシステムのシステム構成を示す。このネットワークセッションシステムは、図２（１）に示すように、セッション管理サーバＳＶと複数のセッション端末ＴＭ（記号“ＴＭ”はセッション端末を代表的に表わす）：ＴＭａ〜ＴＭｄで構成され、セッション管理サーバＳＶは、メンバーとなるセッション端末ＴＭ間の接続支援、例えば、セッションの開始に先立って行われる各セッション端末ＴＭ同士の接続手続きなどを行う。各セッション端末ＴＭ間、例えば、セッション端末ＴＭａ〜ＴＭｄ間で接続が成立した後は、セッション管理サーバＳＶを介することなく、これらセッション端末ＴＭａ〜ＴＭｄ間において、ＭＩＤＩデータやオーディオデータなどの演奏情報が送受信される。セッション管理サーバＳＶの動作は、よく知られているので、ここでは、より詳細な動作については説明を省略する。
【００１４】
ネットワークセッションのメンバーとなる複数のセッション端末ＴＭａ〜ＴＭｄは、それぞれ、楽器演奏及び／又はカラオケが可能な電子音楽装置であり、これらセッション端末ＴＭａ〜ＴＭｄには、さらに、楽器演奏及び／又はカラオケのためのバック演奏機能を有するセッション端末がある。バック演奏機能を有するセッション端末のうち、メンバーの構成時に任意に設定された何れか１つのセッション端末は、「第１セッション端末」と呼ばれ、第１セッション端末のバック演奏機能をその時のネットワークセッションのバック演奏に利用することができる。この場合、第１セッション端末のバック演奏情報は、第１セッション端末で再生されると共に、「第２セッション端末」と呼ばれる残りの他のセッション端末に送信されて再生される。以下の説明では、セッション端末ＴＭａが第１セッション端末として振る舞い、他のセッション端末ＴＭｂ〜ＴＭｄが第２セッション端末として振る舞うものとする。また、個々のセッション端末ＴＭａ〜ＴＭｄについてはそれぞれ「セッション端末Ａ〜Ｄ」で表わすものとする。
【００１５】
図２（２）は、このネットワークセッションシステムを構成するセッション端末のハードウエア構成例を示すブロック図である。この発明の一実施例によるネットワークセッションシステムを構成するセッション端末ＴＭは、電子的な音楽情報処理機能を有する一種のコンピュータであり、電子楽器や音楽情報処理アプリケーションがインストールされたパーソナルコンピュータ（ＰＣ）のような電子音楽装置を用いることができる。このセッション端末ＴＭは、図１（１）に示すように、中央処理装置（ＣＰＵ）１、ランダムアクセスメモリ（ＲＡＭ）２、読出専用メモリ（ＲＯＭ）３、記憶装置４、設定操作検出回路５、演奏操作検出回路６、アナログ−ディジタル（Ａ／Ｄ）変換回路７、表示回路８、音源・効果回路９、通信インターフェース（Ｉ／Ｆ）１０などを備え、これらの要素１〜１０はバス１１を介して互いに接続される。
【００１６】
ＣＰＵ１は、ＲＡＭ２及ＲＯＭ３と共にデータ処理部を構成し、ネットワークセッションプログラムを含む所定の制御プログラムに従い、ネットワークセッション処理を含む種々の情報処理を実行する。ＲＡＭ２は、これらの処理に際して必要なデータを利用可能に保持するための記憶管理領域や各種データを一時記憶するためのワーク領域として用いられ、また、ＲＯＭ３には、これらの処理を実行するために、ネットワークセッションプログラムを含む各種制御プログラムやプリセットされたデータ等が予め記憶される。
【００１７】
記憶装置４は、ＨＤ（ハードディスク）、ＦＤ（フレキシブルディスク）、ＣＤ（コンパクトディスク）、ＤＶＤ（デジタル多目的ディスク）、フラッシュメモリなどの半導体メモリなどの記憶媒体と、その駆動装置を含み、任意の制御プログラムや、バック演奏データを含むＭＩＤＩ演奏データなどを任意の記憶媒体に記憶することができる。また、記憶媒体は、着脱可能であってもよいし、セッション端末ＴＭに内蔵されていてもよい。
【００１８】
設定操作検出回路５は、スイッチやマウス等の設定操作子（パネル操作子）１２と共に設定操作部（パネル操作部）を構成し、設定操作子１２の操作を検出して設定操作に対応する設定操作情報をデータ処理部（１〜３）に導入し、データ処理部は、この設定操作情報に基づき種々の設定を行う。演奏操作検出回路６は、鍵盤などの演奏操作子１３と共に楽器演奏入力部を構成し、端末ユーザによる演奏操作子１３の操作を検出して演奏操作に対応する演奏操作情報をデータ処理部に導入し、データ処理部は、演奏操作情報に基いて楽器演奏の内容をイベント列で表わしたイベント記述形式即ちＭＩＤＩ形式の演奏データ（ＭＩＤＩ演奏データという）を作成し、音源・効果回路９に送る。Ａ／Ｄ変換回路７は、マイクロフォン１４と共に歌唱入力部を構成し、端末ユーザによる歌唱の演奏によりマイクロフォン１４から入力された歌唱音声信号をディジタル信号に変換してデータ処理部に導入し、データ処理部は、歌唱音声の内容を波形で表わしたオーディオ形式の演奏データ（オーディオ演奏音データという）を音源・効果回路９に送る。表示回路８は、種々の設定、楽器演奏や歌唱などの演奏入力に必要な各種画面を表示するＬＣＤ等のディスプレイ１５や、インジケータ／ランプ（図示せず）を備え、これらの表示・点灯内容をデータ処理部からの指令に従って制御し、設定や演奏入力などに関する表示援助を行う。
【００１９】
音源・効果回路９は、ＭＩＤＩ形式のデータからオーディオデータを生成する音源部と、ＤＳＰを含み種々のオーディオデータ処理を行う効果部とを有し、サウンドシステム１６と共に演奏再生部として機能する。例えば、音源部は、演奏操作検出回路６からの演奏操作情報から得られるＭＩＤＩ演奏データ、或いは、ＲＯＭ３、記憶装置４又は通信Ｉ／Ｆ１０から得られるＭＩＤＩ演奏データに基づいて、オーディオ演奏音データを生成し、効果部は、マイクロフォン１４から入力されたオーディオ演奏音データや、音源部で生成されたオーディオ演奏音データ、或いは、通信Ｉ／Ｆ１０などから得られるオーディオ演奏音データについて、所定の効果を付与したりミキシングを行い、オーディオ出力データを生成する。サウンドシステム１６は、Ｄ／Ａ変換部やアンプ、スピーカ（ヘッドフォンを含む）等を備え、音源・効果回路９からのオーディオ出力データに基づく楽音（楽器演奏音や歌唱音声）を発生する。
【００２０】
通信Ｉ／Ｆ１０は、ＭＩＤＩ等の音楽専用有線Ｉ／Ｆ、ＩＥＥＥ１３９４等の汎用近距離有線Ｉ／Ｆ、Ｅｔｈｅｒｎｅｔ（登録商標）等の汎用ネットワークＩ／Ｆ、無線ＬａｎやＢｌｕｅｔｏｏｔｈ（登録商標）等の汎用近距離無線Ｉ／Ｆなどの１又は複数を含み、インターネットなどの通信ネットワークＣＮを介して他のセッション端末との間でＭＩＤＩ演奏データやオーディオ演奏音データを授受したり、サーバコンピュータ等の外部機器から制御プログラムやデータ等を受信して記憶装置４に保存することができる。
【００２１】
なお、セッション端末ＴＭとして電子楽器を使用しカラオケを行わない場合は歌唱入力部１４−７は不要であり、セッション端末ＴＭとして音楽情報処理アプリケーション付きＰＣを使用しカラオケのみを行う場合には楽器演奏入力部１３−６は不要である。また、セッション管理サーバＳＶのハードウエア構成については、図２（２）とほぼ同様に構成されるが、楽器演奏入力部１３−６や演奏再生部９−１６は不要である。
【００２２】
〔ネットワークセッションの通信遅延対策〕
図３は、この発明の一実施例によるネットワークセッションシステムに適用される通信遅延対策を説明するための図である。まず、このネットワークセッションシステムにおける情報授受の概要について説明すると、このシステムでは、第１セッション端末として機能するセッション端末Ａで再生されるバック演奏情報データは、セッション端末Ａにおいて再生されると共に（Ａ１〜Ａ３）、セッションメンバーである他のセッション端末Ｂ〜Ｄへも、ＭＩＤＩ演奏データの形式のまま或いはオーディオ演奏音データの形式に変換されて、バック演奏情報Ｂｐとして送信される。バック演奏情報Ｂｐがセッション端末Ａから各セッション端末Ｂ〜Ｄに送られると、各セッション端末Ｂ〜Ｄでは、夫々の端末ユーザにより、受信したバック演奏情報Ｂｐを再生すると共に（Ｂ１〜Ｄ１）、バック演奏情報（オーディオ）Ｂｐの再生に合わせて楽器演奏及び／又は歌唱が行われる（Ｂ２〜Ｄ２）。この楽器演奏及び／又は歌唱の内容を表わし各セッション端末Ｂ〜Ｄで生成されるユーザ演奏データは、楽器演奏の場合はＭＩＤＩ演奏データ又はオーディオ演奏音データであり、歌唱の場合はオーディオ演奏音データであり、当該セッション端末Ｂ〜Ｄのユーザ演奏情報Ｕｐｂ〜Ｕｐｄとしてセッション端末Ａに送信される。
【００２３】
セッション端末Ａでは、セッション端末Ａの端末ユーザにより、自機で再生されたバック演奏に合わせて楽器演奏及び／又は歌唱が行われると共に（Ａ４）、他のセッション端末Ｂ〜Ｄの楽器演奏及び／又は歌唱とミックスされる（Ａ５〜Ａ６）。つまり、バック演奏とユーザによる楽器演奏及び／又は歌唱の内容を表わす演奏情報Ｂｐ，Ｕｐａは、音源・効果回路９内の効果部で、他のセッション端末Ｂ〜Ｄから受信したユーザ演奏情報Ｕｐｂ〜Ｕｐｄとミキシングされて再生される。これにより、バック演奏に合わせて各セッション端末Ａ〜Ｄで楽器演奏及び／又は歌唱されたセッション音楽が完成する。
【００２４】
完成したセッション音楽を表わす合奏データは、セッション端末Ａで再生されるだけでもよいし、録音されてもよいし、通信ネットワークＣＮを介して他の装置（図示せず）へ送信してもよく、送信例としては、録音したファイルをファイル共有サーバにアップロードしたり、ネット生放送アプリケーションを使って生放送の聴取者端末へリアルタイムに送信する方法がある（Ａ６）。さらに、合奏データを録音、送信するだけでなく、動画をも合わせて録画したり送信してもよい。
【００２５】
さて、このネットワークセッションシステムは、各セッション端末Ａ〜Ｄ間に或る程度の通信遅延が存在する環境にある。ここで、セッション端末間の通信遅延時間Ｔｃとは、図３（１）に示すように、送信側及び受信側セッション端末ＴＭｓ，Ｔｍｒ間の純粋なネットワークＣＮ上の通信遅延時間Ｔｎに加え、両端末ＴＭｓ，Ｔｍｒにおける演奏データ送信及び受信駆動部（オーディオ演奏音データの場合はオーディオドライバ、ＭＩＤＩ演奏データの場合はＭＩＤＩドライバ）ＤＲｓ，ＤＲｒの送信及び受信動作遅延時間Ｔｄｓ，Ｔｄｒをも含んだ時間である。特に、送信動作遅延時間Ｔｄｓについては、送信側セッション処理部ＳＰｓの送信指示を受ける演奏データ送信駆動部ＤＲｓ内の送信バッファＢＵｓの動作遅延が占める割合が高く、受信動作遅延時間Ｔｄｒについても、演奏データの受信から受信側セッション処理部ＳＰｒでの再生開始に至るまでの動作を行う演奏データ受信駆動部ＤＲｒ内の受信バッファＢＵｒの動作遅延が占める割合が高い。
【００２６】
このシステムでは、第１セッション端末として機能しバック演奏データを用意するセッション端末Ａは、第２セッション端末として機能しセッション端末Ａからのバック演奏データを利用する他のセッション端末Ｂ〜Ｄと通信することにより、セッション端末Ａと他のセッション端末Ｂ〜Ｄとの間の純粋な通信遅延時間Ｔｎを計測することができる。具体的には、セッション端末Ａからパケット送信時刻ｔａ１が付された遅延測定用パケットを各セッション端末Ｂ〜Ｄへと送信し、各セッション端末Ｂ〜Ｄにおいては、遅延測定用パケットを受信した時刻ｔｋ１及び応答時の時刻ｔｋ２を付した応答パケット（但し、添字「ｋ」は、「ｂ」〜「ｄ」であり、各端末Ｂ〜Ｄに関わることを表わす）をセッション端末Ａへと返信する。そして、セッション端末Ａにおいて、応答パケットを受信した時刻ｔａ２と上述した各時刻ｔａ１、ｔｋ１、ｔｋ２に基づき、セッション端末Ｂ〜Ｄとの間の往復の遅延時間ｄｋを次の式＜１＞で計算する。
ｄｋ ＝ （ｔａ２−ｔａ１）−（ｔｋ２−ｔｋ１） …＜１＞
【００２７】
ここで、時刻ｔａ１，ｔａ２は、セッション端末Ａにおいて管理されている時刻であり、時刻ｔｋ１、ｔｋ２は各セッション端末Ｂ〜Ｄにおいて管理されている時刻である。従って、各端末Ａ〜Ｄにおける絶対時刻は厳密に一致している必要はない。何故なら、式＜１＞から明らかなように、セッション端末Ａにおけるパケット送信からパケット受信までの時間差、或いは、セッション端末Ｂ〜Ｄにおけるパケット受信からパケット送信までの時間差を求めており、絶対時刻の考慮は不要となるからである。
【００２８】
このようにして求められた往復の遅延時間ｄｋを２分の１した値は片道の純粋な通信遅延時間Ｔｎとみなすことができる。厳密には、パケットの往路と復路とで通信遅延時間が同−とは限らないが、実装上は問題がない程度の差異であるので、この実施例では、往復の遅延時間の２分の１を片道の純粋な通信遅延時間Ｔｎとして採用している。
【００２９】
そして、得られた純粋な通信遅延時間Ｔｎに送信動作遅延時間Ｔｄｓ及び受信動作遅延時間Ｔｄｒを加えて、片道の通信遅延時間Ｔｃを求め、この片道の通信遅延時間Ｔｃをモニター遅延時間Ｔｍとして設定する。
【００３０】
なお、計測した各セッション端末Ｂ〜Ｄとの通信遅延時間の値が異なることがあるが、その場合は、次の何れかの値を適宜採用すればよい。
（１）平均値。
（２）最大値。
（３）基本的には最大値を採用するが、所定の閾値（現実的にセッションを行い得る範囲の遅延時間）Ｔｔを越える場合は該閾値Ｔｔを採用する。
（４）各セッション端末Ｂ〜Ｄごとに異なる遅延時間を設定する（具体例は後述）。
【００３１】
セッション開始の際は、図３（２）の機能ブロック図に示すように、セッション端末Ａにおいて、バック演奏再生の指示があると（Ａ１）、再生する所望のバック演奏データが記憶装置４から読み出され、これに対応するバック演奏情報Ｂｐがセッション端末Ｂ〜Ｄに送信されると共に、設定されたモニター遅延時間Ｔｍ分だけ自機におけるバック演奏音の再生が遅延される（Ａ２〜Ａ３）。つまり、セッション端末Ａは、バック演奏再生が指示された後（Ａ１）モニター遅延時間Ｔｍだけ経過したときに（Ａ２）、演奏再生部９に当該バック演奏データの再生に基づくバック演奏音の放音を開始させる（Ａ３）。
【００３２】
セッション端末Ｂ〜Ｄは、セッション端末Ａで再生されるバック演奏データに対応するバック演奏情報Ｂｐを再生指示から通信遅延Ｔｃ分だけ遅れて受信し、受信したバック演奏情報Ｂｐを再生して対応するバック演奏音を放音する（Ｂ１〜Ｄ１）。そこで、セッション端末Ｂ〜Ｄのユーザが、このバック演奏を聴きながら楽器演奏乃至（＝及び／又は）歌唱をすると（Ｂ２〜Ｄ２）と、これに対応するユーザ演奏音が放音されると共に（Ｂ３〜Ｄ３）、当該楽器演奏乃至歌唱の内容を表わすユーザ演奏情報Ｕｐｂ〜Ｕｐｄがセッション端末Ａに送信される。
【００３３】
セッション端末Ａでも、この端末のユーザが、自機で再生したバック演奏音を聴きながら楽器演奏乃至歌唱をすることができ（Ａ４）、併せて、その内容を表わすユーザ演奏情報Ｕｐａがセッション端末Ｂ〜Ｄに送信される。なお、端末Ａでのバック演奏音は、バック演奏の再生指示からモニター遅延時間Ｔｍ分だけ遅れて放音されているが、この遅れ（Ｔｍ）は、セッション端末Ａが第２セッション端末として機能していた場合の遅れ（Ｔｃ）とほぼ等しく、セッション端末Ａのユーザにとってはその影響は感じられない。また、端末Ａのユーザによる楽器演奏乃至歌唱の内容に対応するユーザ演奏音データ（Ｕｐａ）は、音源・効果回路９内の効果部で、バック演奏音データ（Ｂｐ）や、他のセッション端末Ｂ〜Ｄから受信したユーザ演奏情報Ｕｐｂ〜Ｕｐｄに対応するユーザ演奏音データと共にミキシングされ（Ａ５）、これらの演奏音データを合わせたセッション演奏音が放音、録音乃至送信される（Ａ６）。
【００３４】
このようにして、他のセッション端末Ｂ〜Ｄでは、バック演奏音の放音（Ｂ１〜Ｄ１）から遅れることほぼモニター遅延時間Ｔｍ後に、セッション端末Ａで楽器演奏乃至歌唱された音が放音され（Ｂ３〜Ｄ３）、セッション端末Ｂ〜Ｄのユーザは、これを聴きながら更に楽器演奏乃至歌唱をする。セッション端末Ｂ〜Ｄのユーザにとっては、セッション端末Ａのユーザの楽器演奏乃至歌唱は、バック演奏から、ほぼ通信遅延時間Ｔｃと等しいモニター遅延時間Ｔｍ分だけ遅れているが、このモニター遅延時間Ｔｍが所定時間以内（例えば３０ｍｓ以内）であればそれほど違和感なく楽器演奏乃至歌唱が可能である。また、セッション端末Ａでも、バック演奏の放音（Ａ３）から遅れること通信遅延時間Ｔｃ後に、セッション端末Ｂ〜Ｄで楽器演奏乃至歌唱されたユーザ演奏音が放音されるが（Ａ６）、この通信遅延Ｔｃが所定時間以内（例えば３０ｍｓ以内）であれば、セッション端末Ｂ〜Ｄと同様に、それほど違和感なく楽器演奏乃至歌唱が可能である。
【００３５】
仮に、セッション端末Ａにおいて、モニター遅延を入れないと、図１（２）で既に説明したように、セッション端末Ａのユーザの楽器演奏乃至歌唱による自機ユーザ演奏音の放音と、セッション端末Ｂ〜Ｄのユーザの楽器演奏乃至歌唱による他機ユーザ演奏音の放音とは、セッション端末Ｂ〜Ｄにおいてはこれら演奏音がほぼ同時に放音されるのに比べて、通信遅延Ｔｃの往復分だけ（例えば６０ｍｓ程度）ずれてしまい、他機ユーザ演奏音の遅延が大きくなり過ぎて違和感が大きい。このシステムでは、モニター遅延Ｔｍを入れることで、セッション端末Ａにおける自機ユーザ演奏音の遅延が半減し、しかも、セッション端末Ａとセッション端末Ｂ〜Ｄとで両ユーザ演奏音の遅延が均一化される（各セッション端末Ａ〜Ｄが第１セッション端末として機能する場合も第２セッション端末として機能する場合もほぼ同じ遅延となる）ので、違和感を軽減することができる。
【００３６】
なお、各セッション端末Ｂ〜Ｄにそれぞれ異なる遅延時間を設定する場合〔前記（４）の場合〕について、その具体的な設定例を説明する。セッション端末Ａにおけるモニター遅延時間Ｔｍには、測定した各セッション端末との通信遅延時間のうちの最大値、或いは、前述した所定の閾値Ｔｔ〔前記（３）参照〕を設定する。また、各セッション端末Ｂ〜Ｄへは、「モニター遅延時間Ｔｍ−夫々の通信遅延時間Ｔｃ」（但し、所定の閾値Ｔｔを設定した場合には、通信遅延時間Ｔｃが該閾値Ｔｔを越えるときは通信時間Ｔｃに代えて該閾値Ｔｔとする）だけ待ってからパック演奏情報Ｂｐを送信する。
【００３７】
例えば、セッション端末Ｂ，Ｃ，Ｄとの通信遅延時間Ｔｃが、それぞれ、２０ｍｓ、４０ｍｓ、６０ｍｓであった場合、セッション端末Ａにおけるモニター遅延時間Ｔｍには、最大値の６０ｍｓ（閾値Ｔｔ＝５０ｍｓを設定した場合は５０ｍｓ）を設定し、セッション端末Ｂへは、６０−２０＝４０ｍｓ（閾値Ｔｔ＝５０ｍｓを設定した場合は５０−２０＝３０ｍｓ）だけ遅らせてから送信し、セッション端末Ｃへは、６０−４０＝２０ｍｓ（閾値Ｔｔ＝５０ｍｓを設定した場合は５０−４０＝１０ｍｓ）遅らせてから送信し、セッション端末Ｄへは、６０−６０＝０ｍｓ（閾値Ｔｔ＝５０ｍｓを設定した場合は５０−５０＝０ｍｓ）、つまり、遅延なしで送信する。このようにすると、各セッション端末においてほぼ同時にバック演奏を鳴らすことができる。
【００３８】
〔通信遅延対策に関する種々の実施形態〕
以上、このネットワークセッションの通信遅延対策について説明したが、種々の実施形態を採用することができる。図４は、この発明によるネットワークセッションシステムの種々の実施形態を説明するための機能ブロック図である。例えば、セッション端末Ａでバック演奏を用意したり、各セッション端末Ａ〜Ｄで楽器演奏をする場合、図４（１）に示すように、自端末Ａに用意されたバック演奏データをＭＩＤＩ形式とし、このＭＩＤＩ形式のままバック演奏情報Ｂｐとして他端末Ｂ〜Ｄへ送信したり、自端末Ａ；Ｂ〜Ｄで生成されたＭＩＤＩ形式のユーザ演奏情報Ｕｐａ；Ｕｐｂ〜Ｕｐｄを他端末Ｂ〜Ｄ；Ａへ送信してもよいし、図４（２）に示すように、自端末Ａ；Ｂ〜Ｄにおける音源・効果回路９内の音源部にてオーディオ形式に変換された演奏音データ（Ａ２ａ，Ａ５ｃ；Ｂ３ｃ）をバック演奏情報Ｂｐ或いはユーザ演奏情報Ｕｐａ；Ｕｐｂ〜Ｕｐｄとして他端末Ｂ〜Ｄ；Ａへ送信してもよい。
【００３９】
図４（１）のようにＭＩＤＩで送信する場合には、受信側の各セッション端末は、ＭＩＤＩで受信した演奏情報Ｂｐ；Ｕｐを音源部（９）でオーディオ形式に変換してから（Ａ３ａ，Ｂ１ａ；Ａ５ｂ，Ｂ３ｂ）放音する（Ａ３，Ｂ１；Ａ６，Ｂ３）。また、セッション端末Ａにおいてモニター遅延Ｔｍを入れる場合は、バック演奏データがＭＩＤＩ形式なら、図４（１）のように、ＭＩＤＩのままで遅延してもよいし（Ａ１→Ａ２）、図４（２）のように、音源部（９）でオーディオ形式に変換されたバック演奏音データを遅延するようにしてもよい（Ａ２ａ→Ａ２）。
【００４０】
また、各セッション端末Ａ〜Ｄにおいて歌唱する場合、放音されたバック演奏音がマイクロフォン１４で集音されてしまうということがないように、バック演奏音の放音にはヘッドフォンを利用するのが望ましい。例えば、セッション端末Ｂにおいて、放音されるバック演奏音をマイクで集音し、これをセッション端末Ａに送信してしまうと、セッション端末Ａでは、再生された本来のバック演奏音に対して、通信遅延Ｔｃだけ遅延されたセッション端末Ｂからのユーザ演奏情報Ｕｐｂが混ざってしまい、好ましくないからである。
【００４１】
さらに、モニター遅延Ｔｍの挿入態様をユーザにより選択することができるようにしてもよい。例えば、モニター遅延時間Ｔｍを、計測した通信遅延時間Ｔｃに応じて自動的に設定してもよいし、計測した通信遅延時間Ｔｃを参考にしながらユーザが設定できるようにしてもよい。自動設定する場合は、既に説明したように通信路の往復遅延時間（２×Ｔｃ）の半分をモニター遅延時間Ｔｍに設定しても良いし、片道の遅延時間をそのままモニター遅延時間Ｔｍに設定してもよい。また、通信遅延時間Ｔｃが、違和感の発生が生じてしまう時間以上ある場合、ディスプレイ１５等を通じて、セッションの成立が困難である旨をユーザに通知するようにしてもよい。
【００４２】
また、各セッション端末Ａ〜Ｄが電子楽器の場合、図４（１）；（２）に※印が付けれた破線枠のブロックＡ５ａ，Ｂ３ａ；Ａ５ｄ，Ｂ３ｄで示すように、ユーザによる演奏操作子１３の演奏操作（Ａ４，Ｂ２）から、音源・効果回路９内の音源部によりユーザ演奏音データの生成（Ａ５ｂ，Ｂ３ｃ）が開始されるまで、或いは、ユーザ演奏音データの生成（Ａ５ｃ，Ｂ３ｂ）の後ユーザ演奏音が放音されるまで（Ａ６，Ｂ３）の間に、上限がモニター遅延時間Ｔｍや通信遅延時間Ｔｃ程度の多少の演奏遅延Ｔｐを入れても良い。このようにすると、他のセッション端末から受信した他端末ユーザの楽器演奏に対応するユーザ演奏音の生成と、自端末ユーザの楽器演奏に対応するユーザ演奏音（モニター音）の生成との時間差を短くすることができる。ただし、演奏操作から発音までの遅延があるため、ユーザによっては違和感を感じる可能性があるので、この演奏遅延Ｔｐの値は、上述のように、大きくしない方が望ましい。
【００４３】
〔各セッション端末におけるトランスポーズ（移調）〕
ネットワークセッションシステムの各セッション端末でユーザ演奏を行う場合、楽器演奏においては、演奏技量の関係で、或るユーザは、例えば、ハ長調やイ短調のような所定の調でしか、演奏できない場合があり、また、歌唱においては、ユーザごとに歌唱可能な音域が異なり、調によっては歌えない場合がある。そこで、この発明の一実施例によるネットワークセッションシステムでは、各セッション端末において、調に関する各ユーザの音楽的な能力や好みに応じてバック演奏やユーザ演奏を移調（トランスポーズ）し、各ユーザに適した調で演奏を行うことにより、容易に違和感のないセッションを実現することができる。図５及び図６は、この発明の一実施例によるトランスポーズを含むネットワークセッションシステムの動作例を示し、各図における「通信遅延」は、図４と同様の通信遅延があることを表わしている。また、「モニター遅延Ｔｍ」（Ａ２）及び「演奏遅延Ｔｐ」（Ａ５ａ，Ｂ３ａ；Ａ５ｄ，Ｂ３ｄ）は、図４と同様の通信遅延対策が講じられ得ることを表わしているが、必ずしも必須ではない。
【００４４】
このシステムでは、各セッション端末Ｂ〜Ｄは、それぞれ、ユーザが所望する調に応じて任意のトランスポーズ値（トランスポーズ量ともいう）〔＝ノート番号シフト値（ノート番号シフト量ともいう）或いはピッチシフト値（ピッチシフト量ともいう）〕Ｔｓ及び逆トランスポーズ値（逆トランスポーズ量ともいう）〔＝逆ノート番号シフト値（逆ノート番号シフト量ともいう）或いは逆ピッチシフト値（逆ピッチシフト量ともいう）〕Ｔｒの設定が可能であり（Ｔｒ＝−Ｔｓ）、セッション端末Ａから自セッション端末Ｂ〜Ｄに送られてくる所定調のバック演奏情報Ｂｐやユーザ演奏情報Ｕｐａについては、設定されたトランスポーズ値（量）Ｔｓだけトランスポーズした調（設定調）に変換することができ、これとは逆に、自セッション端末Ｂ〜Ｄで生成される設定調のユーザ演奏情報Ｕｐｂ〜Ｕｐｄ（尚、記号Ｕｐｃ，Ｕｐｄは図示せず、記号Ｕｐｂで代用している）については、設定された逆トランスポーズ値（量）Ｔｒだけ逆トランスポーズして所定調に逆変換することができる。なお、トランスポーズ値（量）Ｔｓの設定に連動して逆トランスポーズ値（量）Ｔｒを自動設定するのが好ましい。
【００４５】
つまり、各セッション端末Ｂ〜Ｄにおいて、セッション端末Ａから所定調のバック演奏情報Ｂｐやユーザ演奏情報Ｕｐａを受信すると、受信したバック演奏情報をトランスポーズし（Ｂ１ｓｎ，Ｂ１ｓｐ；Ｂ３ｓｎ，Ｂ３ｓｐ）、ユーザがトランスポーズ後の設定調でバック演奏（Ｂ１）や端末Ａのユーザ演奏（Ｂ３）を聴きながらユーザ演奏（楽器演奏及び／又は歌唱）を行うと（Ｂ２）、自端末Ｂ〜Ｄのユーザ演奏内容を表わす設定調のユーザ演奏情報Ｕｐｂを逆トランスポーズし所定調に逆変換してから（Ｂ２ｒ：Ｂ２ｒｎ，Ｂ２ｒｐ）セッション端末Ａへと送信する。これにより、各セッション端末Ｂ〜Ｄでは、演奏し易い或いは歌い易い調で、楽器演奏或いは歌唱をするが、セッション端末Ａに集められた状態では、調が揃った状態となる。
【００４６】
なお、演奏情報のトランスポーズ態様については、受信したバック演奏情報Ｂｐやユーザ演奏情報ＵｐａがＭＩＤＩ形式（イベント記述データ形式）の場合、設定されたノート番号シフト値（量）だけノート番号をシフトし（Ｂ１ｓｎ；Ｂ３ｓｎ）、オーディオ形式（波形データ形式）の場合は、設定されたピッチシフト値（量）だけピッチをシフトする（Ｂ１ｓｐ；Ｂ３ｓｐ）。また、各端末Ｂ〜Ｄで生成されるユーザ演奏情報ＵｐｂがＭＩＤＩ形式の場合、設定された逆ノート番号シフト値（量）だけノート番号をシフトし（Ｂ２ｒｎ）、オーディオ形式の場合は、設定された逆ピッチシフト値（量）だけピッチをシフトする（Ｂ２ｒｐ）。
【００４７】
図５は、図４（１）と同様に演奏情報をＭＩＤＩ形式で通信する場合の機能ブロック図を示し、セッション端末Ａ〜Ｄではユーザ演奏として楽器演奏が行われる。まず、セッション端末Ａでは、バック演奏の再生が指示されると（Ａ１）、所定調のＭＩＤＩバック演奏データが記憶装置４から読み出され、ＭＩＤＩ形式のままバック演奏情報Ｂｐとしてセッション端末Ｂ〜Ｄに送信されると共に、モニター遅延Ｔｍの後、音源・効果回路９及びサウンドシステム１６を通じてバック演奏音が所定調で放音される（Ａ２〜Ａ３）。端末Ａのユーザがこのバック演奏音を聴きながら所定調で楽器演奏を行うと（Ａ４）、楽器演奏の内容を表わす所定調のＭＩＤＩユーザ演奏情報Ｕｐａもセッション端末Ｂ〜Ｄに送信される。また、バック演奏情報Ｂｐ及びユーザ演奏情報Ｕｐａは、通信遅延Ｔｃの後、各セッション端末Ｂ〜Ｄで受信される（Ａ１→Ｂ１ｓｎ，Ａ４→Ｂ３ｓｎ）。
【００４８】
各セッション端末Ｂ〜Ｄでは、受信したバック演奏情報Ｂｐがノート番号シフトされて設定調に変換された後（Ｂ１ｓｎ）、音源・効果回路９を通じてバック演奏音が設定調で放音される（Ｂ１ａ〜Ｂ１）。端末Ｂ〜Ｄのユーザがこのバック演奏音を聴きながら設定調で楽器演奏を行うと（Ｂ２）、音源・効果回路９及びサウンドシステム１６を通じて、対応するユーザ演奏音が設定調で放音される（Ｂ３ａ〜Ｂ３）。また、楽器演奏の内容を表わす設定調のＭＩＤＩユーザ演奏情報Ｕｐｂは、逆ノート番号シフトにより所定調に逆変換された後（Ｂ２ｒｎ）、セッション端末Ａへと送信され、通信遅延Ｔｃの後、同端末Ａで受信される（Ｂ２ｒｎ→Ａ５ｂ）。
【００４９】
セッション端末Ａでは、音源・効果回路９内の音源部により、バック演奏データに基づくバック演奏音データが生成されると共に（Ａ３ａ）、端末Ａのユーザによる楽器演奏に対応するユーザ演奏音データ及びセッション端末Ｂ〜Ｄからのユーザ演奏情報Ｕｐｂに基づくユーザ演奏音データが生成され（Ａ５ｂ）、これらの演奏音データは音源・効果回路９内の効果部でミキシングされ（Ａ５）、ミキシングされたセッション演奏音データは、調が揃った状態になっており、サウンドシステム１６を通じて放音され、記憶装置４に録音（記憶）され、或いは、セッション端末Ｂ〜Ｄに送信される（Ａ６）。
【００５０】
図６は、図４（２）と同様に演奏情報をオーディオ形式で通信する場合の機能ブロック図を示し、ユーザ演奏としてセッション端末Ａでは楽器演奏が行われセッション端末Ｂ〜Ｄでは歌唱が行われる。セッション端末Ａでは、バック演奏の再生が指示されると（Ａ１）、音源部（９）により、記憶装置４から読み出された所定調のＭＩＤＩバック演奏データに基づいてオーディオ形式のバック演奏音データが生成され（Ａ２ａ）、このバック演奏音データがバック演奏情報Ｂｐとしてセッション端末Ｂ〜Ｄに送信されると共に、モニター遅延Ｔｍの後、効果部（９）及びサウンドシステム１６を通じてバック演奏音が所定調で放音される（Ａ２〜Ａ３）。端末Ａのユーザがこのバック演奏音を聴きながら所定調で楽器演奏を行うと（Ａ４）、楽器演奏に応じて音源部（９）で生成されるオーディオ形式のユーザ演奏音データが（Ａ５ｃ）、ユーザ演奏情報Ｕｐａとしてセッション端末Ｂ〜Ｄに送信される。また、バック演奏情報Ｂｐ及びユーザ演奏情報Ｕｐａは、通信遅延Ｔｃの後、各セッション端末Ｂ〜Ｄで受信される（Ａ２ａ→Ｂ１ｓｐ，Ａ５ｃ→Ｂ３ｓｐ）。
【００５１】
各セッション端末Ｂ〜Ｄでは、受信したバック演奏情報Ｂｐがピッチシフトされて設定調に変換された後（Ｂ１ｓｐ）、効果部（９）及びサウンドシステム１６を通じてバック演奏音が設定調で放音される（Ｂ１）。端末Ｂ〜Ｄのユーザがこのバック演奏音を聴きながら設定調で歌唱を行うと（Ｂ２）、効果部（９）及びサウンドシステム１６を通じて、対応するユーザ演奏音が設定調で放音される（Ｂ３ｄ〜Ｂ３）。また、歌唱の内容（波形）を表わす設定調のオーディオユーザ演奏情報Ｕｐｂは、逆ピッチシフトにより所定調に逆変換された後（Ｂ２ｒｐ）、セッション端末Ａへと送信され、通信遅延Ｔｃの後、同端末Ａで受信される（Ｂ２ｒｐ→Ａ５）。
【００５２】
セッション端末Ａでは、効果部（９）のミキシング機能により、バック演奏データ（Ａ２ａ）、端末Ａのユーザによる楽器演奏に対応するユーザ演奏音データ（Ａ５ｃ）及びセッション端末Ｂ〜Ｄからのユーザ演奏情報Ｕｐｂに基づくユーザ演奏音データがミキシングされ（Ａ５）、ミキシングされたセッション演奏音データは、調が揃った状態になっており、サウンドシステム１６を通じて放音され、記憶装置４に録音（記憶）され、或いは、セッション端末Ｂ〜Ｄに送信される（Ａ６）。
【００５３】
なお、図５及び図６では、セッション端末Ａ及びセッション端末Ｂ〜Ｄのユーザ演奏態様及び端末Ａ・セッション端末Ｂ〜Ｄ間の演奏情報通信態様について、「楽器演奏＋楽器演奏、双方向ＭＩＤＩ通信」（図５）及び「楽器演奏＋歌唱、双方向オーディオ通信」（図６）の例を説明したが、「歌唱＋歌唱、双方向オーディオ通信」、「楽器演奏＋楽器演奏、双方向オーディオ通信」、「楽器演奏＋歌唱、楽器演奏はＭＩＤＩ、歌唱はオーディオで通信」など、種々の組合わせで実現することができる。
【００５４】
トランスポーズについては、セッション端末Ａにおいてもトランスポーズ可能としてもよい。その場合、セッション端末Ｂ〜Ｄに対してセッション端末Ａがトランスポーズをした旨を通知し、セッション端末Ｂ〜Ｄにおいては、端末Ａのトランスポーズ値を加味して自身のトランスポーズ値設定をする。また、全ての端末のトランスポーズ値をセッション端末Ａで指定し、送り出し時にトランスポーズした状態で各端末に送り出しても良い。
【００５５】
各セッション端末Ｂ〜Ｄにおけるユーザ演奏情報Ｕｐｂは、セッション端末Ａのみへと送信される例を示したが、各セッション端末Ｂ〜Ｄ間で互いにユーザ演奏情報を送受信するようにしてもよい。このようにすると、各セッション端末Ｂ〜Ｄにおいても全セッション端末におけるユーザ演奏情報（Ｕｐａ及びＵｐｂ）をミキシングした音を聴くことができる。
【００５６】
トランスポーズや逆トランスポーズに所定の処理時間が必要な場合、通信遅延時間Ｔｎにトランスポーズや逆トランスポ〜ズに要する時間を加味するのがよい。
【符号の説明】
【００５７】
ＴＭ：ＴＭａ〜ＴＭｄ；ＴＭｓ，ＴＭｒ セッション端末、
Ｂｐ，Ｕｐ（Ｕｐａ〜Ｕｐｄ） バック演奏情報及びユーザ演奏情報、
Ｂ１ｓｎ，Ｂ３ｓｎ；Ｂ１ｓｐ，Ｂ３ｓｐ ノート番号及びピッチシフト部（移調部）、
Ｂ３ｒｎ，Ｂ３ｒｐ 逆ノート番号シフト部及び逆ピッチシフト部（逆移調部）。
【特許請求の範囲】
【請求項１】
通信ネットワークを介して通信可能に接続された他のセッション端末と共にネットワークセッションシステムを構成するセッション端末であって、
他のセッション端末と通信するための通信手段と、
他のセッション端末から通信手段を通じて受信されるバック演奏情報及び他のセッション端末のユーザ演奏に基づく他端末ユーザ演奏情報を移調する移調手段と、
移調手段により移調されたバック演奏情報及び他端末ユーザ演奏情報を再生すると共に、このセッション端末のユーザ演奏に基づく自端末ユーザ演奏情報を再生する演奏再生手段と、
自端末ユーザ演奏情報を逆移調すると共に、逆移調された自端末ユーザ演奏情報を通信手段を通じて他のセッション端末に送信する逆移調手段と
を具備することを特徴とするセッション端末。
【請求項２】
通信ネットワークを介して通信可能に接続された第１セッション端末及び第２セッション端末により構成されるネットワークセッションシステムであって、
第１セッション端末は、
第２セッション端末と通信するための第１端末通信手段と、
バック演奏情報及び第１セッション端末のユーザ演奏に基づく第１ユーザ演奏情報を第１端末通信手段を通じて第２セッション端末に送信する演奏情報送信手段と、
第２セッション端末から第１端末通信手段を通じて第２ユーザ演奏情報を受信する演奏情報受信手段と、
バック演奏情報、第１ユーザ演奏情報及び第２ユーザ演奏情報を再生する第１端末演奏再生手段と
を具備し、
第２セッション端末は、
第１セッション端末と通信するための第２端末通信手段と、
第１セッション端末から第２端末通信手段を通じて受信されるバック演奏情報及び第１ユーザ演奏情報を移調する移調手段と、
移調手段により移調されたバック演奏情報及び第１ユーザ演奏情報を再生すると共に、第２セッション端末のユーザ演奏に基づく第２ユーザ演奏情報を再生する第２端末演奏再生手段と、
第２ユーザ演奏情報を逆移調すると共に、逆移調された第２ユーザ演奏情報を第２端末通信手段を通じて第１セッション端末に送信する逆移調手段と
を具備する
ことを特徴とするネットワークセッションシステム。
【請求項１】
通信ネットワークを介して通信可能に接続された他のセッション端末と共にネットワークセッションシステムを構成するセッション端末であって、
他のセッション端末と通信するための通信手段と、
他のセッション端末から通信手段を通じて受信されるバック演奏情報及び他のセッション端末のユーザ演奏に基づく他端末ユーザ演奏情報を移調する移調手段と、
移調手段により移調されたバック演奏情報及び他端末ユーザ演奏情報を再生すると共に、このセッション端末のユーザ演奏に基づく自端末ユーザ演奏情報を再生する演奏再生手段と、
自端末ユーザ演奏情報を逆移調すると共に、逆移調された自端末ユーザ演奏情報を通信手段を通じて他のセッション端末に送信する逆移調手段と
を具備することを特徴とするセッション端末。
【請求項２】
通信ネットワークを介して通信可能に接続された第１セッション端末及び第２セッション端末により構成されるネットワークセッションシステムであって、
第１セッション端末は、
第２セッション端末と通信するための第１端末通信手段と、
バック演奏情報及び第１セッション端末のユーザ演奏に基づく第１ユーザ演奏情報を第１端末通信手段を通じて第２セッション端末に送信する演奏情報送信手段と、
第２セッション端末から第１端末通信手段を通じて第２ユーザ演奏情報を受信する演奏情報受信手段と、
バック演奏情報、第１ユーザ演奏情報及び第２ユーザ演奏情報を再生する第１端末演奏再生手段と
を具備し、
第２セッション端末は、
第１セッション端末と通信するための第２端末通信手段と、
第１セッション端末から第２端末通信手段を通じて受信されるバック演奏情報及び第１ユーザ演奏情報を移調する移調手段と、
移調手段により移調されたバック演奏情報及び第１ユーザ演奏情報を再生すると共に、第２セッション端末のユーザ演奏に基づく第２ユーザ演奏情報を再生する第２端末演奏再生手段と、
第２ユーザ演奏情報を逆移調すると共に、逆移調された第２ユーザ演奏情報を第２端末通信手段を通じて第１セッション端末に送信する逆移調手段と
を具備する
ことを特徴とするネットワークセッションシステム。
【図１】
【図２】
【図３】
【図４】
【図５】
【図６】
【図２】
【図３】
【図４】
【図５】
【図６】
【公開番号】特開２０１２−１８３２９（Ｐ２０１２−１８３２９Ａ）
【公開日】平成２４年１月２６日（２０１２．１．２６）
【国際特許分類】
【出願番号】特願２０１０−１５６２４６（Ｐ２０１０−１５６２４６）
【出願日】平成２２年７月８日（２０１０．７．８）
【出願人】（０００００４０７５）ヤマハ株式会社 (5,930)
【Ｆターム（参考）】
【公開日】平成２４年１月２６日（２０１２．１．２６）
【国際特許分類】
【出願日】平成２２年７月８日（２０１０．７．８）
【出願人】（０００００４０７５）ヤマハ株式会社 (5,930)
【Ｆターム（参考）】
[ Back to top ]