オーディオ処理の方法、システム、及び制御サーバ
オーディオ処理の方法は以下の各ステップを含む。制御サーバは、各端末が制御サーバにアクセスしてからはじめて、能力ネゴシエーションによって各端末のオーディオ能力を獲得する(201)。制御サーバは、オーディオ能力に従って各端末に符号化オーディオデータを転送する(202)。さらに、オーディオ処理システムおよび制御サーバも提供される。
【発明の詳細な説明】
【技術分野】
【0001】
本出願は、参照によりその全文が本明細書に組み込まれる、「オーディオ処理の方法およびシステム、ならびに制御サーバ(Audio Processing Method and System, and Control Server)」という名称の、2007年12月28日付けで中国特許庁に出願された、中国特許出願第200710305684.6号の優先権を主張するものである。
【0002】
本発明は、音声通信技術に関し、詳細には、オーディオ処理の方法、オーディオ処理システム、および制御サーバに関する。
【背景技術】
【0003】
現在、テレビ会議製品または一部の電話会議製品は、主に、オーディオ処理についてはITU−H.323またはITU−H.320に準拠している。コアのオーディオ切換えを実施し、複数の会議端末を制御する機器が、MCU(Multipoint Control Unit、多地点制御装置)である。MCUは少なくとも、多地点制御(Multipoint Control、MC)機能と、多地点処理(Multipoint Processing、MP)機能とを提供し、複数のチャネルのオーディオ混合を行うことができる。例えば電話会議では、少なくとも3ヶ所のサイトにある電話端末が、MCUを介して同時にやりとりすることができる。したがって、MCUは、全端末によって送信された音を混合して1つのチャネルにし、それを各サイトの電話端末に送信する必要がある。このようにして、全サイトの端末ユーザが、異なる空間にいるにもかかわらずあたかも同じ会議室にいるかのようにやりとりすることができるようになる。
【0004】
会議のオーディオ処理を例に取って、図1に、従来技術において複数の端末によって行われるオーディオ通信のためのオーディオ処理のプロセスを示す。
【0005】
ステップ101:MCUで、オーディオ・コーデック・ポートが、各サイトにアクセスする端末にそれぞれ割り振られる。
【0006】
ステップ102:呼が開始された後で、各端末がそれぞれ、MCUに符号化オーディオデータを送信する。
【0007】
ステップ103:MCUが、各端末によって送信されたオーディオデータを復号し、より大容量の音を生じるサイトのオーディオデータを選択する。
【0008】
ステップ104:選択されたオーディオデータが、オーディオデータの1つのチャネルに混合される。
【0009】
ステップ105:オーディオデータの混合チャネルが符号化され、次いで、各サイトの端末に送信される。
【0010】
ステップ106:各サイトの端末が受信したオーディオデータを復号する。
【0011】
従来技術において、オーディオ符号化/復号プロセスは、各サイトの端末がMCUにオーディオデータを送った後でオーディオデータがMCUを通過すると、各サイトがMCUによって送信されたオーディオデータの混合チャネルを受信するまで行われる必要がある。
【発明の概要】
【発明が解決しようとする課題】
【0012】
本発明を考案する過程において、発明者は、従来技術には少なくとも次の問題があることを見出した。すなわち、符号化/復号プロセスが行われると、端末間のオーディオひずみが増大する。MCUに基づく多地点会議が開始すると、サイトにある端末は、符号化/復号プロセスを行う必要がある。MCUのオーディオ混合の際には、もう一度符号化/復号プロセスが行われる必要があり、そのため、オーディオには2回ひずみが生じる。2台のカスケード接続されたMCUに基づく多地点会議が開始すると、サイトにある端末は、符号化/復号プロセスを行う必要がある。2台のMCUによるオーディオ混合の際には、2回の符号化/復号プロセスが行われる必要があり、そのため、オーディオには3回ひずみが生じる。このことから類推すると、1台のMCUが追加されると、オーディオにはさらに1回多くひずみが生じる。さらに、前述のオーディオひずみの推論と同様に、あらゆる符号化/復号のプロセスは端末間のオーディオ遅延を増大させるものであることも容易に理解される。しかも、音声会議に同時に参加する各サイト端末のために、MCUは、各端末ごとにオーディオ・コーデック・ポートを割り振る必要がある。特に、多くのサイトがあるときには、MCUは、多くのオーディオ・コーデック・ポートを提供する必要があり、これにより多地点会議の費用が増大する。
【課題を解決するための手段】
【0013】
本発明の各実施形態は、オーディオ処理の方法、オーディオ処理システム、および制御サーバを提供する。
【0014】
本発明による技術的解決法は以下のとおりである。
【0015】
オーディオ処理の方法は、
制御サーバが、制御サーバにアクセスする各端末によって送信された符号化オーディオデータを受信すること、
各端末と能力ネゴシエーションを行って各端末のオーディオ能力を獲得すること、および
オーディオ能力に従って、各端末に、符号化オーディオデータから抽出されたオーディオデータを転送すること、
を含む。
【0016】
オーディオ処理システムは、少なくとも1台の制御サーバと、複数の端末とを含む。
【0017】
制御サーバは、制御サーバにアクセスする各端末によって送信された符号化オーディオデータを受信し、各端末と能力ネゴシエーションを行って各端末のオーディオ能力を獲得し、オーディオ能力に従って、各端末に符号化オーディオデータから抽出されたオーディオデータを転送するように適合されている。
【0018】
端末は、制御サーバにアクセスし、受信したオーディオデータを復号し、オーディオデータを自動的に混合し、そのデータを再生するように適合されている。
【0019】
制御サーバは、
制御サーバにアクセスする各端末によって送信された符号化オーディオデータを受信し、各端末と能力ネゴシエーションを行って各端末のオーディオ能力を獲得するように適合された獲得ユニットと、
オーディオ能力に従って、各端末に符号化オーディオデータから抽出されたオーディオデータを転送するように適合された転送ユニットと、
を含む。
【発明の効果】
【0020】
本発明による技術的解決法では、端末が制御サーバにアクセスした後で、制御サーバが能力ネゴシエーションによって端末のオーディオ能力を獲得し、オーディオ能力に従って各端末に符号化オーディオデータを転送する。オーディオデータは、オーディオデータが制御サーバを通過するたびに符号化/復号プロセスを受ける必要がなく、制御サーバは、オーディオデータの抽出パケットおよびアセンブル済みパケットだけを再アセンブルし、転送し、そのため、符号化/復号の回数が低減され、オーディオデータの伝送遅延が短縮され、端末間の対話のリアルタイム性が改善され、制御サーバによるオーディオ・コーデック・リソースの占有が軽減され、費用が低減される。制御サーバによる符号化/復号動作回数の低減に基づいて、複数のオーディオチャネルが混合され、本発明による技術的解決法は、既存の標準プロトコルに基づく制御サーバに高適合し、テレビ会議や電話会議といった通信分野に広く適用できる。
【図面の簡単な説明】
【0021】
【図1】従来技術における複数の端末間のオーディオ通信時におけるオーディオ処理を示す図である。
【図2】本発明の第1の実施形態におけるオーディオ処理の方法を示す流れ図である。
【図3】本発明の第2の実施形態におけるオーディオ処理の方法を示すアーキテクチャである。
【図4】本発明の第2の実施形態におけるオーディオ処理の方法を示す流れ図である。
【図5】本発明の第3の実施形態におけるオーディオ処理の方法を示すアーキテクチャである。
【図6】本発明の第3の実施形態におけるオーディオ処理の方法を示す流れ図である。
【図7】本発明の第4の実施形態におけるオーディオ処理の方法を示すアーキテクチャである。
【図8】本発明の第4の実施形態におけるオーディオ処理の方法を示す流れ図である。
【図9】本発明の第5の実施形態におけるオーディオ処理の方法を示すアーキテクチャである。
【図10】本発明の第5の実施形態におけるオーディオ処理の方法を示す流れ図である。
【図11】本発明の第6の実施形態におけるオーディオ処理の方法を示すアーキテクチャである。
【図12】本発明の第6の実施形態におけるオーディオ処理の方法を示す流れ図である。
【図13】本発明の一実施形態におけるオーディオ処理システムを示すブロック図である。
【図14】本発明の一実施形態における制御サーバを示すブロック図である。
【発明を実施するための形態】
【0022】
本発明の各実施形態は、オーディオ処理の方法、オーディオ処理システム、および制御サーバを提供する。端末が制御サーバにアクセスした後で、制御サーバは、能力ネゴシエーションによって端末のオーディオ能力を獲得し、オーディオ能力に従って各端末に符号化オーディオデータを転送する。
【0023】
本発明による技術的解決法を当業者にとってより明確なものにするために、以下に、本発明による技術的解決法を、添付の図面および好ましい実施形態を参照してより詳細に説明する。
【0024】
図2は、本発明の第1の実施形態におけるオーディオ処理の方法の流れ図である。この方法は以下の各ステップを含む。
【0025】
ステップ201:端末が制御サーバにアクセスした後で、制御サーバが、能力ネゴシエーションによって端末のオーディオ能力を獲得する。
【0026】
端末のオーディオ能力には以下が含まれる。端末がマルチチャネル分離オーディオ・コーデック・プロトコル(multi-channel separation audio codec protocol)をサポートする、または端末が複数のオーディオ論理チャネルをサポートする、または端末がマルチチャネル分離オーディオ・コーデック・プロトコルも複数のオーディオ論理チャネルもサポートしない。
【0027】
ステップ202:MCUが、オーディオ能力に従って各端末に符号化オーディオデータを転送する。
【0028】
制御サーバは、オーディオ能力に従って各端末に符号化オーディオデータを転送するのに、以下の各モードのいずれかを使用する。端末がマルチチャネル分離オーディオ・コーデック・プロトコルをサポートしている場合、制御サーバは、オーディオデータの複数のチャネルを選択し、それらをカプセル化し、1つのオーディオ論理チャネルで転送する。端末が複数のオーディオ論理チャネルをサポートしている場合、制御サーバは、オーディオデータの複数のチャネルを選択し、それらを複数のオーディオ論理チャネルで転送する。端末が前述のモードをサポートしていない場合、会議サーバは、オーディオデータのためのオーディオ混合符号化を行い、そのデータを各端末に送信する。
【0029】
ただ1台の制御サーバしか存在しない場合、制御サーバは、オーディオ能力に従って、制御サーバにアクセスする各端末に符号化オーディオデータを転送する。複数の制御サーバがカスケード接続されている場合、制御サーバは、オーディオ能力に従ってカスケード式にデータを送信する。送信側制御サーバは、送信側制御サーバにアクセスする各端末によって送信された符号化オーディオデータを受信し、各端末によって送信された符号化オーディオデータからオーディオデータを抽出し、そのオーディオデータを受信側制御サーバに送信し、受信側制御サーバはそのオーディオデータを、受信側制御サーバにアクセスする各端末に転送する。
【0030】
図3は、本発明の第2の実施形態におけるオーディオ処理の方法のアーキテクチャである。図3の制御サーバはMCUである。4台の端末が、多地点オーディオ処理を実施するためにMCUと接続されている。各端末とMCUの間には(図3に実線矢印で示される)固有のオーディオ送信チャネルが存在し、各端末とMCUの間には(図3に点線矢印で示される)固有のオーディオ受信チャネルが存在する。すなわち、MCUと端末の間にはオーディオ論理チャネルが存在する。図3に示すアーキテクチャを踏まえて、図4に本発明の第2の実施形態におけるオーディオ処理の方法を示す。この実施形態は、マルチチャネル分離オーディオ・コーデック・プロトコルに基づくMCUと端末の間のオーディオデータ処理を扱うものである。
【0031】
ステップ401:端末が、発呼した後で、MCUにアクセスし、MCUに符号化オーディオデータを送信する。
【0032】
発呼するときに、端末は一般に、MCUと能力ネゴシエーションを行って、端末とMCUの間でのマルチチャネル分離オーディオ・コーデック・プロトコルのサポートを判定する。このプロトコルは一般に、AAC(Advanced Audio Coding、先進的音響符号化)といった国際規格、または専用プロトコルである。
【0033】
ステップ402:MCUが、マルチチャネル分離オーディオ・コーデック・プロトコルに特有の復号器を作成する。
【0034】
この実施形態のマルチチャネル分離オーディオ・コーデック・プロトコルにおいて、「チャネル分離」とは、MCUが、受信した各端末のオーディオ符号化データを復号する必要がなく、オーディオ符号化データを搬送するIPパケットによって、そのオーディオデータが由来するチャネルおよびそのチャネルのオーディオ符号化プロトコルを知ることを意味する。
【0035】
ステップ403:MCUが、復号オーディオデータの容量に従ってオーディオ混合を必要とする端末を選択する。
【0036】
ステップ404:MCUが、オーディオ混合を必要とする端末の個別チャネルからオーディオデータを抽出する。
【0037】
本発明の各実施形態において、MCUは、受信した全端末のオーディオデータを一様に復号する必要も、オーディオ混合のためのオーディオデータの複数の必要なチャネルを選択する必要も、データを符号化する必要もなく、受信したマルチチャネル分離オーディオ・コーデック・プロトコルのオーディオデータからオーディオパケットの1つのチャネルを直接抽出する。抽出されたオーディオパケットに対応する端末は、オーディオデータの容量に従ってオーディオ固定(fixing)のために選択された端末である。
【0038】
ステップ405:MCUが、オーディオデータの選択されたチャネルをパケットにカプセル化し、次いでそのパケットを、オーディオ論理チャネルを介して各端末に送信する。
【0039】
復号されないオーディオパケットの複数の抽出チャネルは、再度カプセル化され、一緒にアセンブルされる。MCUと多地点通信を行う端末は、端末1、端末2、端末3、および端末4である。容量に従って選択されたオーディオデータの3つのチャネルは、端末1、端末2、および端末3によって送信された符号化オーディオデータであるものと仮定する。3台の端末それぞれのオーディオデータは、個別チャネルとしてカプセル化され、オーディオ論理チャネルに入れられ、すなわち、この論理チャネル内のオーディオデータは、3つの個別チャネルのデータを含み、次いでデータは、各端末に転送される。すなわち、端末1は、端末2および端末3のオーディオ符号化データから成るオーディオ・データ・パケットを受信する。端末2は、端末1および端末3のオーディオ符号化データから成るオーディオ・データ・パケットを受信する。端末3は、端末1および端末2のオーディオ符号化データから成るオーディオ・データ・パケットを受信する。端末4は、端末1、端末2および端末3のオーディオ符号化データから成るオーディオ・データ・パケットを受信する。
【0040】
ステップ406:端末が、受信したカプセル化オーディオデータを復号し、自動的にオーディオ混合を行い、次いでオーディオを再生する。
【0041】
本発明による方法の第2の実施形態では、必ずしもすべての端末がMCUと相互動作するためのマルチチャネル分離オーディオ・コーデック・プロトコルをサポートしているとは限らない場合、MCUは、このプロトコルをサポートしていない端末のためのオーディオ混合および符号化のリソースを作成する必要があり、自動オーディオプロトコル適合をサポートしている必要がある。すなわちMCUは、マルチチャネル分離オーディオ・コーデック・プロトコルをサポートしている端末によって送信されたオーディオデータのための復号およびオーディオ混合符号化を行い、それらのデータを、このプロトコルをサポートしていない端末に送って、このプロトコルをサポートしていない端末との互換性を保持する。
【0042】
図5は、本発明の第3の実施形態におけるオーディオ処理のアーキテクチャである。図5において、制御サーバはMCUであり、端末A1、端末A2、端末A3、および端末A4はそれぞれ、MCU_Aと接続されており、端末B1、端末B2、端末B3、および端末B4はそれぞれ、MCU_Bと接続されている。上記各端末は、MCUとの接続によって多地点オーディオ処理を実施する。各端末とMCUの間には(図5に単方向実線矢印で示される)固有のオーディオ送信チャネルが存在し、各端末とMCUの間には(図5に点線矢印で示される)固有のオーディオ受信チャネルが存在する。すなわち、MCUと端末の間には1つのオーディオ論理チャネルが存在し、MCU間には(図5に双方向実線矢印で示される)1つの呼のチャネルが実施されている。図5に示すアーキテクチャを踏まえて、図6に本発明の第3の実施形態におけるオーディオ処理の方法を示す。この実施形態は、マルチチャネル分離オーディオ・コーデック・プロトコルに基づく2台のカスケード接続されたMCUのそれぞれと端末の間のオーディオデータ処理を扱うものである。
【0043】
ステップ601:端末が、発呼した後で、MCU_Aにアクセスし、MCU_Aに符号化オーディオデータを送信する。
【0044】
ステップ602:MCU_Aが、マルチチャネル分離オーディオ・コーデック・プロトコルに特有の復号器を作成する。
【0045】
ステップ603:MCU_Aが、復号オーディオデータの容量に従ってオーディオ混合を必要とする端末を選択する。
【0046】
ステップ604:MCU_Aが、オーディオ混合を必要とする端末の個別チャネルからオーディオデータを抽出する。
【0047】
ステップ605:MCU_Aが、オーディオデータの選択されたチャネルをカプセル化し、次いでそれらのチャネルをカスケード接続されたMCU_Bに送信する。
【0048】
ステップ606:MCU_Bが復号器を作成し、次いで、容量に従ってMCU_Aのチャネルのオーディオデータの代わりのオーディオデータを選択する。
【0049】
カスケード接続されたMCU_AとMCU_Bが、これらに接続された端末によって送信されたオーディオデータを処理するとき、その処理方法は、MCU_AとMCU_Bの間に1つのチャネルが追加されることを除いて、本発明の第2の実施形態における処理と同じである。特に、2台を超えるMCUがカスケード接続されるときには、さらに多くのチャネルが追加される。したがって、カスケード接続されたMCU_AがMCU_Bにカプセル化オーディオデータを送信すると、MCU_Bは、受信したオーディオデータの容量を、MCU_Bと接続された端末によって送信されたオーディオデータの容量と比較し、比較結果に従って、MCU_Aによって送信されたオーディオパケット内のより小容量のオーディオデータを、MCU_Bと接続された端末のオーディオデータで置換する。
【0050】
図5に示すように、MCU_Aと接続されている端末A1、端末A2、端末A3、および端末A4の中から選択されるオーディオパケットは、端末A1、端末A2、および端末A3のオーディオデータを含むものと仮定する。オーディオパケットを受信した後で、MCU_Bは、オーディオパケットの容量を比較する。MCU_Bと接続された端末B1のオーディオデータの容量が端末A1のオーディオデータの容量より大きい場合、MCU_Bは、オーディオパケット内の端末A1のオーディオデータを端末B1のオーディオデータで置換する。
【0051】
ステップ607:MCU_Bが、置換されたオーディオデータを再度カプセル化し、そのデータを、オーディオ論理チャネルを介して、MCU_Bと接続された各端末に送信する。
【0052】
ステップ608:端末が、受信したカプセル化オーディオデータを復号し、自動的にオーディオ混合を行い、次いでオーディオを再生する。
【0053】
本発明の第3の実施形態では、すべての端末がマルチチャネル分離オーディオ・コーデック・プロトコルをサポートしているとき、送信側のMCUは、送信側の端末のためのオーディオ符号器を作成し、受信側のMCUは受信側の端末のためのオーディオ復号器を作成する。したがって、カスケード接続されたMCUの数にかかわらず、送信側のMCUの端末上のデータを符号化し、受信側のMCUの端末上のデータを復号しさえすればよい。全オーディオ処理プロセスが、たった1回のオーディオ符号化/復号動作しか伴わない。送信側のMCUの端末はオーディオ符号化データを送信する。送信側のMCUがオーディオデータをオーディオパケットにカプセル化した後で、オーディオパケットは、複数のカスケード接続されたMCU間で伝送される。パケットが受信側のMCUに送信されるとき、受信側のMCUは、そのパケットを復号する必要はなく、マルチチャネル分離オーディオ・コーデック・プロトコルに従って、オーディオパケットから1つのチャネルのオーディオデータを直接抽出する。受信側のMCUは、対応するオーディオデータを、受信側のMCUのより大容量の端末によって送信されたオーディオデータで置換し、そのデータを受信側のMCUの端末に送信し、受信側のMCUの端末は置換されたオーディオパケットを復号する。
【0054】
必ずしもすべての端末がマルチチャネル分離オーディオ・コーデック・プロトコルをサポートしているとは限らない場合、送信側のMCUは、送信側の端末のためのオーディオ符号器を作成する必要はないが、受信側のMCUは、受信側の端末のためのオーディオ符号器および復号器を作成する。さらに受信側のMCUは、カスケード式に送信される受信オーディオパケットを復号し、パケットを置換し、それらのパケットを再度符号化して端末間の互換性を達成する必要がある。したがって、カスケード接続されたMCUの数にかかわらず、オーディオパケットは、受信側のMCUを除くMCU間で伝送される間に、いかなる符号化、復号操作も受けなくてよい。したがって、カスケード式伝送の全オーディオ処理プロセスが、たった2回の符号化/復号動作しか伴わない。すなわち、送信側のMCUの端末はオーディオ符号化データを送信し、送信側のMCUはそのオーディオ符号化データをオーディオパケットにカプセル化し、次いでオーディオパケットは複数のMCU間でカスケード式に送信される。パケットが受信側のMCUに送信されるときには、マルチチャネル分離オーディオ・コーデック・プロトコルがサポートされていないため、受信側のMCUは、オーディオパケットを復号し、オーディオパケット内のより小容量のオーディオデータを、受信側のMCUの端末からのより大容量のオーディオデータで置換する必要がある。受信側のMCUは、置換されたオーディオデータを再度復号し、そのデータを受信側のMCUの端末に送信する。受信側のMCUの端末は、オーディオパケットを受信し、それを復号する。
【0055】
図7に、本発明の第4の実施形態におけるオーディオ処理の方法のアーキテクチャを示す。図7の制御サーバはMCUである。4台の端末が、多地点オーディオ処理を実施するためにMCUと接続されている。各端末とMCUの間には(図7に実線矢印で示される)3つのオーディオ送信チャネルが存在し、各端末とMCUの間には(図7に点線矢印で示される)1つのオーディオ受信チャネルが存在する。すなわち、MCUと端末の間には3つのオーディオ論理チャネルが存在する。この実施形態は、H.323といったオーディオ通信をサポートする国際標準プロトコルに基づくものである。このプロトコルは、複数の論理チャネルの開設をサポートし、同じ種類のメディアを運ぶ複数の論理チャネルをサポートする。図7に示すアーキテクチャを踏まえて、図8に本発明の第4の実施形態におけるオーディオ処理の方法を示す。この実施形態は、MCUと、複数のオーディオ論理チャネルを有する端末との間のオーディオデータ処理を扱うものである。
【0056】
ステップ801:端末が、発呼した後で、MCUにアクセスし、MCUに符号化オーディオデータを送信する。
【0057】
発呼するときに、端末は一般に、MCUと能力ネゴシエーションを行って、端末とMCUの間の複数のオーディオ論理チャネルのサポートを判定する。能力ネゴシエーション標準プロトコルでは非標準能力プロトコルフィールドを搬送するため、複数のオーディオ論理チャネルをサポートする能力は、この非標準能力プロトコルフィールドによって記述される。能力ネゴシエーション標準プロトコルの拡張能力フィールドには、4バイトのコンテンツ「0x0a0a」が存在するものと仮定する。能力ネゴシエーションに際して、MCUは、端末の非標準フィールドに、複数のオーディオ論理チャネルをサポートする能力を示す「0x0a0a」が存在することを見出す。呼出しに成功した後、オーディオ処理は、複数のオーディオチャネルに基づくものとすることができる。
【0058】
ステップ802:MCUが、複数のオーディオ論理チャネルに特有の復号器を作成する。
【0059】
ステップ803:MCUが、復号オーディオデータの容量に従ってオーディオ混合を必要とする端末を選択する。
【0060】
ステップ804:オーディオ混合を必要とする端末のオーディオデータが、3つの対応するオーディオ論理チャネルを介して各端末に直接送信される。
【0061】
例えば、MCUが、端末1、端末2、端末3、および端末4によって送信された符号化オーディオデータを受信した後で、オーディオポリシに従い、MCUによって選択されたオーディオデータの3つのチャネルがそれぞれ、端末1、端末2、および端末3のオーディオデータである場合、MCUは選択されたオーディオデータを、すべてのオーディオ論理チャネルで各端末に直接送信する。すなわち、端末1は、端末2のオーディオチャネルから端末2のオーディオデータを受信し、端末3のオーディオチャネルから端末3のオーディオデータを受信する。端末2は、端末1のオーディオチャネルから端末1のオーディオデータを受信し、端末3のオーディオチャネルから端末3のオーディオデータを受信する。端末3は、端末1のオーディオチャネルから端末1のオーディオデータを受信し、端末2のオーディオチャネルから端末2のオーディオデータを受信する。端末4は、端末1のオーディオチャネルから端末1のオーディオデータを受信し、端末2のオーディオチャネルから端末2のオーディオデータを受信し、端末3のオーディオチャネルから端末3のオーディオチャネルを受信する。
【0062】
ステップ805:端末が、受信したオーディオデータを復号し、自動的にオーディオ混合を行い、次いでオーディオを再生する。
【0063】
この実施形態の端末は、複数のオーディオ受信チャネルの開設をサポートし、オーディオデータの複数のチャネルの同時復号をサポートし、オーディオデータの復号された複数のチャネルの混合およびそれらのラウドスピーカへの出力をサポートする。端末1によって受け取られるオーディオデータを例に取ると、端末1は、端末2のオーディオチャネルと端末3このオーディオチャネルから受け取られたオーディオデータの2つのチャネルを復号し、オーディオ混合を行い、それらをラウドスピーカに出力する。
【0064】
本発明の第4の実施形態では、必ずしもすべての端末がMCUと相互動作するための複数のオーディオ論理チャネルをサポートしていない場合、MCUは、複数の論理チャネルをサポートしていない端末のためのオーディオ混合および符号化のリソースを作成する必要があり、自動オーディオプロトコル適合をサポートする必要がある。すなわちMCUは、複数のオーディオ論理チャネルをサポートしている端末によって送信されたオーディオデータのための復号およびオーディオ混合符号化を行い、それらを、複数のオーディオ論理チャネルをサポートしていない端末に送って、複数のオーディオ論理チャネルをサポートしてない端末との互換性を保持する。
【0065】
図9に、本発明の第5の実施形態におけるオーディオ処理の方法のアーキテクチャを示す。図9において、制御サーバはMCUである。端末A1、端末A2、端末A3、および端末A4はそれぞれ、MCU_Aと接続されている。端末B1、端末B2、端末B3、および端末B4はそれぞれ、MCU_Bと接続されている。前述の各端末は、MCUとの接続によって多地点オーディオ処理によって多地点オーディオ処理を実施する。各端末とMCUの間には、(図9に単方向実線矢印で示される)3つのオーディオ送信チャネルと、(図9に点線矢印で示される)1つのオーディオ受信チャネルがある。図9には、各端末とMCUの間に4つの論理チャネルが存在し、MCU間には、(図9に双方向実線矢印で示される)1つの呼のチャネルが実施されることが示されている。図9に示すアーキテクチャを踏まえて、図10に本発明の第5の実施形態におけるオーディオ処理の方法を示す。この実施形態は、2つのカスケード接続されたMCUのそれぞれと、複数のオーディオ論理チャネルを備える端末との間のオーディオデータ処理を扱うものである。
【0066】
ステップ1001:端末が、発呼した後で、MCU_Aにアクセスし、MCU_Aに符号化オーディオデータを送信する。
【0067】
発呼するときに、端末は一般に、MCUと能力ネゴシエーションを行って、端末とカスケード接続されたMCUの間の呼の複数のカスケード接続チャネルのサポートを判定する。能力ネゴシエーション標準プロトコルでは非標準能力プロトコルフィールドを搬送するため、呼の複数のカスケード接続チャネルをサポートする能力は、この非標準能力プロトコルフィールドによって記述される。これは、MCU間のカスケード接続呼の場合にも同様である。能力ネゴシエーション標準プロトコルの拡張能力フィールドでは4バイトのコンテンツ「0x0a0b」が定義されるものと仮定する。能力ネゴシエーションに際して、MCUは、端末の非標準能力フィールドに、呼の複数のカスケード接続チャネルをサポートする能力を示す「0x0a0b」が存在することを見出す。呼出しに成功した後、オーディオ処理は、呼の複数のカスケード接続チャネルに基づくものとすることができる。
【0068】
ステップ1002:MCU_Aが、複数の論理チャネルに特有の復号器を作成する。
【0069】
ステップ1003:MCU_Aが、復号オーディオデータの容量に従ってオーディオ混合を必要とする端末を選択する。
【0070】
ステップ1004:オーディオ混合を必要とする端末のオーディオ論理チャネルデータの複数のチャネルが、MCU_Bに直接転送される。
【0071】
ステップ1005:MCU_Bが、復号器を作成し、次いで、容量に従ってMCU_Aのオーディオデータの代わりのオーディオデータを選択する。
【0072】
ステップ1006:MCU_Bが、オーディオデータの置換されたチャネルを、3つのオーディオ論理チャネルを介して各端末に直接送信する。
【0073】
ステップ1007:端末が、受信したオーディオデータを復号し、自動的にオーディオ混合を行い、次いでオーディオを再生する。
【0074】
本発明の第5の実施形態では、すべての端末が複数のオーディオ論理チャネルをサポートしているとき、送信側のMCUは、送信側の端末のためのオーディオ符号器を作成し、受信側のMCUは、受信側の端末のためのオーディオ復号器を作成する。したがって、カスケード接続されたMCUの数にかかわらず、送信側のMCUの端末上でデータを符号化し、オーディオ混合の前に受信側のMCUの端末上で複数のオーディオチャネルから送信されたオーディオデータを復号しさえすればよい。全オーディオ処理プロセスが、たった1回のオーディオ符号化/復号動作しか伴わない。すなわち、送信側のMCUの端末は、オーディオ符号化データを送信する。送信側のMCUは、複数のオーディオ論理チャネルを介してカスケード式に、複数のMCU間でオーディオデータを伝送する。オーディオデータが受信側のMCUに送信されるとき、受信側のMCUは、データを復号しなくてもよく、複数のオーディオ論理チャネルの能力に従って、複数の論理チャネルのオーディオデータを、受信側のMCUのより大容量の端末によって送信されたオーディオ論理チャネルのオーディオデータで置換し、次いでそのデータを受信側のMCUの端末に送信する。受信側のMCUの端末は、置換後に複数のオーディオ論理チャネルを介して送信されたオーディオデータの複数のチャネルを復号する。
【0075】
必ずしもすべての端末が複数のオーディオ論理チャネルをサポートしているとは限らない場合、送信側のMCUは、送信側の端末のためのオーディオ符号器を作成しなくてもよいが、受信側のMCUは、受信側の端末のためのオーディオ符号器および復号器を作成する。さらに、受信側のMCUは、カスケード式に送信される受信オーディオパケットを復号し、それらのパケットを置換し、それらのパケットを再度符号化して端末間の互換性を実現する必要がある。
【0076】
したがって、カスケード接続されたMCUの数にかかわらず、オーディオパケットは、受信側のMCUを除くMCU間で伝送される間にいかなる符号化操作も復号操作も受けなくてよい。したがって、カスケード接続送信の全オーディオ処理プロセスが、たった2回の符号化/復号動作しか伴わない。すなわち、送信側のMCUは、複数のオーディオ論理チャネルを介して複数のMCU間でオーディオデータを伝送する。データが受信側のMCUに送信されるとき、受信側のMCUは、複数のオーディオ論理チャネルをサポートしていないため、複数のオーディオ論理チャネルのオーディオデータを復号し、複数のオーディオチャネルのオーディオデータ内のより小容量のオーディオデータを、受信側のMCUの端末からのより大容量のオーディオデータで置換する必要がある。受信側のMCUは、オーディオデータの置換された複数のチャネルを再度符号化し、そのデータを受信側のMCUの端末に送信する。受信側のMCUの端末はオーディオパケットを受信し、それを復号する。
【0077】
図11に、本発明の第6の実施形態におけるオーディオ処理の方法のアーキテクチャを示す。図11において、制御サーバはMCUであり、端末1および端末2はMCU_Aと接続されており、端末3および端末4はMCU_Bと接続されており、各端末は、MCUとの接続によって多地点オーディオ処理を実施する。それと同時に、MCU_AとMCU_Bの間にはカスケード接続呼の複数のチャネルが実施される。すなわち、オーディオ混合を必要とする端末の数に従い、カスケード接続されたMCU_AとMCU_Bの間で、複数の呼のチャネルが動的にセットアップされる。各呼のチャネルはただ1つのオーディオチャネルを有する。オーディオチャネル間のプロトコルは異なっていてもよい。図11では、MCU_AとMCU_Bの間に(図11に双方向実線矢印で示される)カスケード接続呼の3つのチャネルがセットアップされており、各端末とMCUの間には1つの呼のチャネルがセットアップされている。図11に示すアーキテクチャを踏まえて、図12に、本発明の第6の実施形態におけるオーディオ処理の方法を示す。この実施形態は、複数の呼のチャネルの連結によってMCU間のオーディオデータ処理を扱うものである。
【0078】
ステップ1201:端末が、発呼した後で、MCU_Aにアクセスし、MCU_Aに符号化オーディオデータを送信する。
【0079】
ステップ1202:MCU_Aが、サーバにアクセスする端末のための復号器を作成する。
【0080】
ステップ1203:MCU_Aが、復号オーディオデータの容量に従ってオーディオ混合を必要とする端末を選択する。
【0081】
ステップ1204:MCU_Aが、オーディオ混合を必要とする端末のオーディオデータを、MCU_Aのオーディオ・プロトコル・ポートから、MCU_B上のオーディオプロトコルをサポートするポートに転送する。
【0082】
ステップ1205:MCU_Bが、復号器を作成し、MCU_Aの各ポートから送信されたオーディオデータを復号する。
【0083】
ステップ1206:MCU_Bが、容量に従い、MCU_Aから受け取られたオーディオデータの複数のチャネルと、MCU_Bの端末から受け取られたオーディオデータの複数のチャネルの中からオーディオ混合を必要とするオーディオデータを選択する。
【0084】
ステップ1207:MCU_Bが、オーディオデータの選択された複数のチャネルのためのオーディオ混合を行い、そのデータを各端末に送信する。
【0085】
ステップ1208:端末が、受信したオーディオデータを復号し、自動的にオーディオ混合を行い、次いでオーディオを再生する。
【0086】
複数のMCUがカスケード接続されているとき、オーディオ呼は、一般には、カスケード接続された1対のMCUポートを介して実施される。しかし、本発明の第6の実施形態では、2つのカスケード接続されたMCUの間で、異なるオーディオプロトコルに基づく複数の呼のチャネルをサポートするために、複数対のポートが使用される。このようにして、オーディオデータの複数のチャネルのためのマルチチャネルオーディオ混合が行われる。
【0087】
端末がマルチチャネル分離オーディオ・コーデック・プロトコルをサポートし、または複数のオーディオ論理チャネルをサポートしているとき、異なるオーディオプロトコルに基づくものであり、カスケード接続されたMCUの端末によって送信されるオーディオデータは、そのような端末に直接送信されてもよい。したがって、カスケード接続されたMCUの数にかかわらず、たった1回のオーディオ符号化動作とたった1回のオーディオ復号動作しか必要とされない。例えば、図11において、端末1と端末2は異なるオーディオプロトコルをサポートしており、端末3は複数のオーディオ論理チャネルをサポートしている。カスケード接続されたMCU_AとMCU_Bの間に、3台の端末に対応するカスケード接続呼の3つのチャネルがセットアップされている。したがって、端末1と端末2は独自のオーディオデータを符号化し、その符号化データをMCU_Aに送信する。MCU_Aは、カスケード接続呼1を介してMCU_Bに端末1のオーディオデータを送信し、カスケード接続呼2を介してMCU_Bに端末2のオーディオデータを送信する。MCU_Bは、オーディオデータの2つのチャネルをパケットにカプセル化し、それらのパケットを端末3に送信する。端末3は、オーディオパケットを復号する。
【0088】
各端末が異なる種類のオーディオプロトコルをサポートしているとき、送信側のMCUは、送信側の端末のためのオーディオ符号器を作成し、受信側のMCUは、カスケード式に送信されたオーディオデータの複数の受信チャネルを復号し、オーディオ混合符号化を行い、そのデータを復号のために受信側の端末に送信する。受信側のMCUは、受信側の端末のためのオーディオ復号器を作成する。したがって、カスケード接続されたMCUの数にかかわらず、オーディオパケットは、送信側のMCUと受信側のMCUを除くMCU間で伝送される間にいかなる符号化操作も復号操作も受けなくてよい。全カスケード接続送信のオーディオ処理が、たった2回の符号化/復号の動作しか必要としない。例えば、図11において、端末1、端末2、および端末3は、異なるオーディオプロトコルをサポートしている。カスケード接続されたMCU_AとMCU_Bの間には、3台の端末に対応するカスケード接続呼の3つのチャネルがセットアップされている。したがって、端末1と端末2は独自のオーディオデータを符号化し、その符号化データをMCU_Aに送信する。MCU_Aは、カスケード接続呼1を介してMCU_Bに端末1のオーディオデータを送信し、カスケード接続呼2を介してMCU_Bに端末2のオーディオデータを送信する。MCU_Bは、受信したオーディオデータの2つのチャネルを復号し、オーディオ混合を行い、そのデータを、端末3のオーディオプロトコルに対応するオーディオデータに符号化し、その符号化オーディオデータを端末3に送信する。端末3は、オーディオデータを受信した後で、サポートされるオーディオプロトコルに従ってそのオーディオデータを復号する。
【0089】
本発明の方法の実施形態を踏まえると、サービス動作プラットフォームがMCUをスケジュールするときに、端末との能力ネゴシエーションによって獲得される能力情報に従って、適正なMCU連結方式を自動的に選択することができる。例えば、カスケード接続会議では、すべての端末がマルチチャネル分離オーディオ・コーデック・プロトコルをサポートしている場合、サービス動作プラットフォームは、マルチチャネル分離オーディオ・コーデック・プロトコルのカスケード接続会議を自動的にスケジュールし、すべての端末が複数のオーディオ論理チャネルをサポートしている場合、サービス動作プラットフォームは、複数のオーディオ論理チャネルのカスケード接続会議を自動的にスケジュールし、端末の中に、マルチチャネル分離オーディオ・コーデック・プロトコルをサポートしているものと、通常の端末とがある場合、サービス動作プラットフォームは、マルチチャネル分離オーディオ・コーデック・プロトコルの端末と他のオーディオプロトコルの端末が関与するマルチチャネル呼カスケード接続会議を自動的にチャネルし、端末の中に、複数のオーディオ論理チャネルをサポートしているものと、通常の端末とがある場合、サービス動作プラットフォームは、自動的にすべてのオーディオプロトコルが関与するカスケード接続サイトをスケジュールする。単一MCUの会議では、すべての端末がマルチチャネル分離オーディオ・コーデック・プロトコルをサポートしている場合、サービス動作プラットフォームは、マルチチャネル分離オーディオ・コーデック・プロトコルの単一MCU会議を自動的にスケジュールし、すべての端末が複数のオーディオ論理チャネルをサポートしている場合、サービス動作プラットフォームは、複数のオーディオ論理チャネルの単一MCU会議を自動的にスケジュールする。
【0090】
本発明の一実施形態では、本明細書で開示されるオーディオ処理の方法に対応するオーディオ処理システムが提供される。
【0091】
図13は、本発明の一実施形態におけるオーディオ処理システムのブロック図である。
【0092】
このシステムは、少なくとも1台の制御サーバ1310と、複数の端末1320とを含む。
【0093】
制御サーバ1310は、能力ネゴシエーションによって端末のオーディオ能力を獲得し、オーディオ能力に従って各端末に符号化オーディオデータを転送するように適合されている。
【0094】
端末1320は、制御サーバにアクセスし、受信したオーディオデータを復号し、オーディオデータを自動的に混合し、そのデータを再生するように適合されている。
【0095】
本発明の一実施形態では、本明細書で開示されるオーディオ処理の方法およびオーディオ処理システムに対応する制御サーバが提供される。この制御サーバは、
能力ネゴシエーションによって端末のオーディオ能力を獲得するように適合された獲得ユニット1410と、
【0096】
オーディオ能力に従って各端末に符号化オーディオデータを転送するように適合された転送ユニット1420と、
を含む。
【0097】
さらに、オーディオデータの複数のチャネルが選択され、次にオーディオ論理チャネルで転送されるオーディオパケットにカプセル化される(すなわち、獲得ユニット1410によって獲得されたオーディオ能力がマルチチャネル分離オーディオ・コーデック・プロトコルのサポートを示す)場合、転送ユニット1420は(図14には示されていないが)、
オーディオデータの容量に従ってオーディオ混合のための複数の端末のオーディオデータを選択するように適合された選択ユニットと、
複数の端末の個別チャネル内のオーディオデータを抽出するように適合された取得ユニットと、
抽出されたオーディオデータをパケットにカプセル化し、次いで、そのパケットを、オーディオ論理チャネルを介して各端末に送信するにように適合された送信ユニットと、
を含む。
【0098】
オーディオデータの複数のチャネルが選択され、次にオーディオ論理チャネルで転送されるオーディオパケットにカプセル化される(すなわち、獲得ユニット1410によって獲得されたオーディオ能力がマルチチャネル分離オーディオ・コーデック・プロトコルのサポートを示す)場合であり、制御サーバが複数のカスケード接続された制御サーバの中の送信側制御サーバである場合、転送ユニット1420は(図14には示されていないが)、
オーディオデータの容量に従ってオーディオ混合のための複数の端末のオーディオデータを選択するように適合された選択ユニットと、
複数の端末の個別チャネル内のオーディオデータを抽出するように適合された取得ユニットと、
抽出されたオーディオデータをパケットにカプセル化し、次いでそのパケットを、カスケード式にオーディオ論理チャネルを介して受信側制御サーバに送信するように適合された送信ユニットと、
を含む。
【0099】
オーディオデータの複数のチャネルが選択され、次にオーディオ論理チャネルで転送されるオーディオパケットにカプセル化される場合であり、制御サーバが複数のカスケード接続された制御サーバの中の受信側制御サーバである場合、転送ユニット1420は(図14には示されていないが)、
容量に従い、送信側制御サーバによって送信されたオーディオデータの代わりの受信側のオーディオデータを選択するように適合された選択ユニットと、
置換されたオーディオデータをパケットにカプセル化し、次いでそのパケットを、オーディオ論理チャネルを介して各端末に送信するように適合された送信ユニットと、
を含む。
【0100】
オーディオデータの複数のチャネルが複数のオーディオ論理チャネルで転送される(すなわち、獲得ユニット1410によって獲得されたオーディオ能力が複数のオーディオ論理チャネルのサポートを示す)場合、転送ユニット1420は(図14には示されていないが)、
オーディオデータの容量に従ってオーディオ混合のための複数の端末のオーディオデータを選択するように適合された選択ユニットと、
複数の端末のオーディオデータを、複数のオーディオ論理チャネルを介して各端末に直接送信するように適合された送信ユニットと
を含む。
【0101】
オーディオデータの複数のチャネルが複数のオーディオ論理チャネルで転送される(すなわち、獲得ユニット1410によって獲得されたオーディオ能力が複数のオーディオ論理チャネルのサポートを示す)場合であり、制御サーバが、複数のカスケード接続された制御サーバの中の送信側制御サーバである場合、転送ユニット1420は(図14には示されていないが)、
オーディオデータの容量に従ってオーディオ混合のための複数の端末のオーディオデータを選択するように適合された選択ユニットと、
複数の端末のオーディオデータを、カスケード式に複数のオーディオ論理チャネルを介して受信側制御サーバに送信するように適合された送信ユニットと、
を含む。
【0102】
オーディオデータの複数のチャネルが複数のオーディオ論理チャネルで転送され、制御サーバが、複数のカスケード接続された制御サーバの中の受信側制御サーバである場合、転送ユニット1420は(図14には示されていないが)、
容量に従い、送信側制御サーバによって送信されたオーディオデータの代わりの受信側のオーディオデータを選択するように適合された選択ユニットと、
置換されたオーディオデータを、複数のオーディオ論理チャネルを介して各端末に直接送信するように適合された送信ユニットと、
を含む。
【0103】
制御サーバが、カスケード接続された複数の呼のチャネルのための複数の制御サーバの中の送信側制御サーバである場合、転送ユニット1420は(図14には示されていないが)、
オーディオデータの容量に従ってオーディオ混合のための複数の端末のオーディオデータを選択するように適合された選択ユニットと、
複数の端末のオーディオデータを、カスケード式に、各端末に対応するオーディオ・プロトコル・ポートから受信側制御サーバの対応するポートに送信するように適合された送信ユニットと、
を含む。
【0104】
制御サーバが、カスケード接続された複数の呼のチャネルのための複数の制御サーバの中の受信側制御サーバである場合、転送ユニット1420は(図14には示されていないが)、
容量に従い、送信側制御サーバから受け取られたオーディオデータと当該受信側のオーディオデータの中から、オーディオ混合のためのオーディオデータの複数のチャネルを選択するように適合された選択ユニットと、
オーディオデータの複数のチャネルのためのオーディオ混合を行い、そのデータを各端末に送信するように適合された送信ユニットと、
を含む。
【0105】
オーディオデータを受信する端末が、マルチチャネル分離オーディオ・コーデック・プロトコルも複数のオーディオ論理チャネルもサポートしていない場合、制御サーバはさらに、端末のためのオーディオ混合および符号化のリソースを作成するように適合された作成ユニットを含んでいてもよい。この場合、転送ユニット1420は(図14には示されていないが)、
事前設定ポリシに従って、オーディオ混合のための複数の端末のオーディオデータを選択するように適合された選択ユニットと、
リソースによってオーディオデータを復号し、オーディオ混合符号化を行い、データを端末に送信するように適合された送信ユニットと、
を含む。
【0106】
以上の各実施形態において、制御サーバが、容量に従ってオーディオ混合のための端末を選択することは注目に値する。実際には、オーディオ混合のための端末は、他の事前設定ポリシに従って、例えば、端末の呼識別子に従って(特殊な識別子の端末が選択されるべき端末である)、あるいは端末の呼の順序に従って(より早く発呼する端末が選択されるべき端末である)選択され得る。
【0107】
本発明の各実施形態では、オーディオデータは、オーディオデータが制御サーバを通過するたびにオーディオ符号化/復号の操作を受けなくてもよく、制御サーバによって行われる必要のある符号化/復号操作回数が大幅に低減される。特に、ただ1台の制御サーバしか存在しない場合、端末間のオーディオ遅延は、ネットワーク伝送、送信側端末の符号化、および受信側端末の復号からしか生じず、制御サーバは、オーディオデータのパケットの抽出および再アセンブルだけを行う。したがって、遅延はごくわずかであり、端末間の対話の実時間が改善され、制御サーバによるオーディオ・コーデック・リソースの占有が軽減され、費用が低減される。制御サーバによる符号化/復号の操作回数が低減されることに基づいて、複数のオーディオチャネルが混合され、本発明による技術的解決法は、既存の標準プロトコルに基づく制御サーバに高適合し、テレビ会議や電話会議といった通信分野に広く適用できる。
【0108】
当業者は、本発明の各実施形態における方法の各ステップの全部または一部が、関連するハードウェアに命令を与えるプログラムによって実施され得ることを理解するはずである。このプログラムは、コンピュータ可読記憶媒体に記憶されていてもよい。プログラムが実行されると、端末が制御サーバにアクセスした後で、制御サーバが能力ネゴシエーションによって端末のオーディオ能力を獲得し、制御サーバがオーディオ能力に従って各端末に符号化オーディオデータを転送するという各ステップが行われる。記憶媒体は、ROM/RAM、磁気ディスク、CD−ROMとすることができる。
【技術分野】
【0001】
本出願は、参照によりその全文が本明細書に組み込まれる、「オーディオ処理の方法およびシステム、ならびに制御サーバ(Audio Processing Method and System, and Control Server)」という名称の、2007年12月28日付けで中国特許庁に出願された、中国特許出願第200710305684.6号の優先権を主張するものである。
【0002】
本発明は、音声通信技術に関し、詳細には、オーディオ処理の方法、オーディオ処理システム、および制御サーバに関する。
【背景技術】
【0003】
現在、テレビ会議製品または一部の電話会議製品は、主に、オーディオ処理についてはITU−H.323またはITU−H.320に準拠している。コアのオーディオ切換えを実施し、複数の会議端末を制御する機器が、MCU(Multipoint Control Unit、多地点制御装置)である。MCUは少なくとも、多地点制御(Multipoint Control、MC)機能と、多地点処理(Multipoint Processing、MP)機能とを提供し、複数のチャネルのオーディオ混合を行うことができる。例えば電話会議では、少なくとも3ヶ所のサイトにある電話端末が、MCUを介して同時にやりとりすることができる。したがって、MCUは、全端末によって送信された音を混合して1つのチャネルにし、それを各サイトの電話端末に送信する必要がある。このようにして、全サイトの端末ユーザが、異なる空間にいるにもかかわらずあたかも同じ会議室にいるかのようにやりとりすることができるようになる。
【0004】
会議のオーディオ処理を例に取って、図1に、従来技術において複数の端末によって行われるオーディオ通信のためのオーディオ処理のプロセスを示す。
【0005】
ステップ101:MCUで、オーディオ・コーデック・ポートが、各サイトにアクセスする端末にそれぞれ割り振られる。
【0006】
ステップ102:呼が開始された後で、各端末がそれぞれ、MCUに符号化オーディオデータを送信する。
【0007】
ステップ103:MCUが、各端末によって送信されたオーディオデータを復号し、より大容量の音を生じるサイトのオーディオデータを選択する。
【0008】
ステップ104:選択されたオーディオデータが、オーディオデータの1つのチャネルに混合される。
【0009】
ステップ105:オーディオデータの混合チャネルが符号化され、次いで、各サイトの端末に送信される。
【0010】
ステップ106:各サイトの端末が受信したオーディオデータを復号する。
【0011】
従来技術において、オーディオ符号化/復号プロセスは、各サイトの端末がMCUにオーディオデータを送った後でオーディオデータがMCUを通過すると、各サイトがMCUによって送信されたオーディオデータの混合チャネルを受信するまで行われる必要がある。
【発明の概要】
【発明が解決しようとする課題】
【0012】
本発明を考案する過程において、発明者は、従来技術には少なくとも次の問題があることを見出した。すなわち、符号化/復号プロセスが行われると、端末間のオーディオひずみが増大する。MCUに基づく多地点会議が開始すると、サイトにある端末は、符号化/復号プロセスを行う必要がある。MCUのオーディオ混合の際には、もう一度符号化/復号プロセスが行われる必要があり、そのため、オーディオには2回ひずみが生じる。2台のカスケード接続されたMCUに基づく多地点会議が開始すると、サイトにある端末は、符号化/復号プロセスを行う必要がある。2台のMCUによるオーディオ混合の際には、2回の符号化/復号プロセスが行われる必要があり、そのため、オーディオには3回ひずみが生じる。このことから類推すると、1台のMCUが追加されると、オーディオにはさらに1回多くひずみが生じる。さらに、前述のオーディオひずみの推論と同様に、あらゆる符号化/復号のプロセスは端末間のオーディオ遅延を増大させるものであることも容易に理解される。しかも、音声会議に同時に参加する各サイト端末のために、MCUは、各端末ごとにオーディオ・コーデック・ポートを割り振る必要がある。特に、多くのサイトがあるときには、MCUは、多くのオーディオ・コーデック・ポートを提供する必要があり、これにより多地点会議の費用が増大する。
【課題を解決するための手段】
【0013】
本発明の各実施形態は、オーディオ処理の方法、オーディオ処理システム、および制御サーバを提供する。
【0014】
本発明による技術的解決法は以下のとおりである。
【0015】
オーディオ処理の方法は、
制御サーバが、制御サーバにアクセスする各端末によって送信された符号化オーディオデータを受信すること、
各端末と能力ネゴシエーションを行って各端末のオーディオ能力を獲得すること、および
オーディオ能力に従って、各端末に、符号化オーディオデータから抽出されたオーディオデータを転送すること、
を含む。
【0016】
オーディオ処理システムは、少なくとも1台の制御サーバと、複数の端末とを含む。
【0017】
制御サーバは、制御サーバにアクセスする各端末によって送信された符号化オーディオデータを受信し、各端末と能力ネゴシエーションを行って各端末のオーディオ能力を獲得し、オーディオ能力に従って、各端末に符号化オーディオデータから抽出されたオーディオデータを転送するように適合されている。
【0018】
端末は、制御サーバにアクセスし、受信したオーディオデータを復号し、オーディオデータを自動的に混合し、そのデータを再生するように適合されている。
【0019】
制御サーバは、
制御サーバにアクセスする各端末によって送信された符号化オーディオデータを受信し、各端末と能力ネゴシエーションを行って各端末のオーディオ能力を獲得するように適合された獲得ユニットと、
オーディオ能力に従って、各端末に符号化オーディオデータから抽出されたオーディオデータを転送するように適合された転送ユニットと、
を含む。
【発明の効果】
【0020】
本発明による技術的解決法では、端末が制御サーバにアクセスした後で、制御サーバが能力ネゴシエーションによって端末のオーディオ能力を獲得し、オーディオ能力に従って各端末に符号化オーディオデータを転送する。オーディオデータは、オーディオデータが制御サーバを通過するたびに符号化/復号プロセスを受ける必要がなく、制御サーバは、オーディオデータの抽出パケットおよびアセンブル済みパケットだけを再アセンブルし、転送し、そのため、符号化/復号の回数が低減され、オーディオデータの伝送遅延が短縮され、端末間の対話のリアルタイム性が改善され、制御サーバによるオーディオ・コーデック・リソースの占有が軽減され、費用が低減される。制御サーバによる符号化/復号動作回数の低減に基づいて、複数のオーディオチャネルが混合され、本発明による技術的解決法は、既存の標準プロトコルに基づく制御サーバに高適合し、テレビ会議や電話会議といった通信分野に広く適用できる。
【図面の簡単な説明】
【0021】
【図1】従来技術における複数の端末間のオーディオ通信時におけるオーディオ処理を示す図である。
【図2】本発明の第1の実施形態におけるオーディオ処理の方法を示す流れ図である。
【図3】本発明の第2の実施形態におけるオーディオ処理の方法を示すアーキテクチャである。
【図4】本発明の第2の実施形態におけるオーディオ処理の方法を示す流れ図である。
【図5】本発明の第3の実施形態におけるオーディオ処理の方法を示すアーキテクチャである。
【図6】本発明の第3の実施形態におけるオーディオ処理の方法を示す流れ図である。
【図7】本発明の第4の実施形態におけるオーディオ処理の方法を示すアーキテクチャである。
【図8】本発明の第4の実施形態におけるオーディオ処理の方法を示す流れ図である。
【図9】本発明の第5の実施形態におけるオーディオ処理の方法を示すアーキテクチャである。
【図10】本発明の第5の実施形態におけるオーディオ処理の方法を示す流れ図である。
【図11】本発明の第6の実施形態におけるオーディオ処理の方法を示すアーキテクチャである。
【図12】本発明の第6の実施形態におけるオーディオ処理の方法を示す流れ図である。
【図13】本発明の一実施形態におけるオーディオ処理システムを示すブロック図である。
【図14】本発明の一実施形態における制御サーバを示すブロック図である。
【発明を実施するための形態】
【0022】
本発明の各実施形態は、オーディオ処理の方法、オーディオ処理システム、および制御サーバを提供する。端末が制御サーバにアクセスした後で、制御サーバは、能力ネゴシエーションによって端末のオーディオ能力を獲得し、オーディオ能力に従って各端末に符号化オーディオデータを転送する。
【0023】
本発明による技術的解決法を当業者にとってより明確なものにするために、以下に、本発明による技術的解決法を、添付の図面および好ましい実施形態を参照してより詳細に説明する。
【0024】
図2は、本発明の第1の実施形態におけるオーディオ処理の方法の流れ図である。この方法は以下の各ステップを含む。
【0025】
ステップ201:端末が制御サーバにアクセスした後で、制御サーバが、能力ネゴシエーションによって端末のオーディオ能力を獲得する。
【0026】
端末のオーディオ能力には以下が含まれる。端末がマルチチャネル分離オーディオ・コーデック・プロトコル(multi-channel separation audio codec protocol)をサポートする、または端末が複数のオーディオ論理チャネルをサポートする、または端末がマルチチャネル分離オーディオ・コーデック・プロトコルも複数のオーディオ論理チャネルもサポートしない。
【0027】
ステップ202:MCUが、オーディオ能力に従って各端末に符号化オーディオデータを転送する。
【0028】
制御サーバは、オーディオ能力に従って各端末に符号化オーディオデータを転送するのに、以下の各モードのいずれかを使用する。端末がマルチチャネル分離オーディオ・コーデック・プロトコルをサポートしている場合、制御サーバは、オーディオデータの複数のチャネルを選択し、それらをカプセル化し、1つのオーディオ論理チャネルで転送する。端末が複数のオーディオ論理チャネルをサポートしている場合、制御サーバは、オーディオデータの複数のチャネルを選択し、それらを複数のオーディオ論理チャネルで転送する。端末が前述のモードをサポートしていない場合、会議サーバは、オーディオデータのためのオーディオ混合符号化を行い、そのデータを各端末に送信する。
【0029】
ただ1台の制御サーバしか存在しない場合、制御サーバは、オーディオ能力に従って、制御サーバにアクセスする各端末に符号化オーディオデータを転送する。複数の制御サーバがカスケード接続されている場合、制御サーバは、オーディオ能力に従ってカスケード式にデータを送信する。送信側制御サーバは、送信側制御サーバにアクセスする各端末によって送信された符号化オーディオデータを受信し、各端末によって送信された符号化オーディオデータからオーディオデータを抽出し、そのオーディオデータを受信側制御サーバに送信し、受信側制御サーバはそのオーディオデータを、受信側制御サーバにアクセスする各端末に転送する。
【0030】
図3は、本発明の第2の実施形態におけるオーディオ処理の方法のアーキテクチャである。図3の制御サーバはMCUである。4台の端末が、多地点オーディオ処理を実施するためにMCUと接続されている。各端末とMCUの間には(図3に実線矢印で示される)固有のオーディオ送信チャネルが存在し、各端末とMCUの間には(図3に点線矢印で示される)固有のオーディオ受信チャネルが存在する。すなわち、MCUと端末の間にはオーディオ論理チャネルが存在する。図3に示すアーキテクチャを踏まえて、図4に本発明の第2の実施形態におけるオーディオ処理の方法を示す。この実施形態は、マルチチャネル分離オーディオ・コーデック・プロトコルに基づくMCUと端末の間のオーディオデータ処理を扱うものである。
【0031】
ステップ401:端末が、発呼した後で、MCUにアクセスし、MCUに符号化オーディオデータを送信する。
【0032】
発呼するときに、端末は一般に、MCUと能力ネゴシエーションを行って、端末とMCUの間でのマルチチャネル分離オーディオ・コーデック・プロトコルのサポートを判定する。このプロトコルは一般に、AAC(Advanced Audio Coding、先進的音響符号化)といった国際規格、または専用プロトコルである。
【0033】
ステップ402:MCUが、マルチチャネル分離オーディオ・コーデック・プロトコルに特有の復号器を作成する。
【0034】
この実施形態のマルチチャネル分離オーディオ・コーデック・プロトコルにおいて、「チャネル分離」とは、MCUが、受信した各端末のオーディオ符号化データを復号する必要がなく、オーディオ符号化データを搬送するIPパケットによって、そのオーディオデータが由来するチャネルおよびそのチャネルのオーディオ符号化プロトコルを知ることを意味する。
【0035】
ステップ403:MCUが、復号オーディオデータの容量に従ってオーディオ混合を必要とする端末を選択する。
【0036】
ステップ404:MCUが、オーディオ混合を必要とする端末の個別チャネルからオーディオデータを抽出する。
【0037】
本発明の各実施形態において、MCUは、受信した全端末のオーディオデータを一様に復号する必要も、オーディオ混合のためのオーディオデータの複数の必要なチャネルを選択する必要も、データを符号化する必要もなく、受信したマルチチャネル分離オーディオ・コーデック・プロトコルのオーディオデータからオーディオパケットの1つのチャネルを直接抽出する。抽出されたオーディオパケットに対応する端末は、オーディオデータの容量に従ってオーディオ固定(fixing)のために選択された端末である。
【0038】
ステップ405:MCUが、オーディオデータの選択されたチャネルをパケットにカプセル化し、次いでそのパケットを、オーディオ論理チャネルを介して各端末に送信する。
【0039】
復号されないオーディオパケットの複数の抽出チャネルは、再度カプセル化され、一緒にアセンブルされる。MCUと多地点通信を行う端末は、端末1、端末2、端末3、および端末4である。容量に従って選択されたオーディオデータの3つのチャネルは、端末1、端末2、および端末3によって送信された符号化オーディオデータであるものと仮定する。3台の端末それぞれのオーディオデータは、個別チャネルとしてカプセル化され、オーディオ論理チャネルに入れられ、すなわち、この論理チャネル内のオーディオデータは、3つの個別チャネルのデータを含み、次いでデータは、各端末に転送される。すなわち、端末1は、端末2および端末3のオーディオ符号化データから成るオーディオ・データ・パケットを受信する。端末2は、端末1および端末3のオーディオ符号化データから成るオーディオ・データ・パケットを受信する。端末3は、端末1および端末2のオーディオ符号化データから成るオーディオ・データ・パケットを受信する。端末4は、端末1、端末2および端末3のオーディオ符号化データから成るオーディオ・データ・パケットを受信する。
【0040】
ステップ406:端末が、受信したカプセル化オーディオデータを復号し、自動的にオーディオ混合を行い、次いでオーディオを再生する。
【0041】
本発明による方法の第2の実施形態では、必ずしもすべての端末がMCUと相互動作するためのマルチチャネル分離オーディオ・コーデック・プロトコルをサポートしているとは限らない場合、MCUは、このプロトコルをサポートしていない端末のためのオーディオ混合および符号化のリソースを作成する必要があり、自動オーディオプロトコル適合をサポートしている必要がある。すなわちMCUは、マルチチャネル分離オーディオ・コーデック・プロトコルをサポートしている端末によって送信されたオーディオデータのための復号およびオーディオ混合符号化を行い、それらのデータを、このプロトコルをサポートしていない端末に送って、このプロトコルをサポートしていない端末との互換性を保持する。
【0042】
図5は、本発明の第3の実施形態におけるオーディオ処理のアーキテクチャである。図5において、制御サーバはMCUであり、端末A1、端末A2、端末A3、および端末A4はそれぞれ、MCU_Aと接続されており、端末B1、端末B2、端末B3、および端末B4はそれぞれ、MCU_Bと接続されている。上記各端末は、MCUとの接続によって多地点オーディオ処理を実施する。各端末とMCUの間には(図5に単方向実線矢印で示される)固有のオーディオ送信チャネルが存在し、各端末とMCUの間には(図5に点線矢印で示される)固有のオーディオ受信チャネルが存在する。すなわち、MCUと端末の間には1つのオーディオ論理チャネルが存在し、MCU間には(図5に双方向実線矢印で示される)1つの呼のチャネルが実施されている。図5に示すアーキテクチャを踏まえて、図6に本発明の第3の実施形態におけるオーディオ処理の方法を示す。この実施形態は、マルチチャネル分離オーディオ・コーデック・プロトコルに基づく2台のカスケード接続されたMCUのそれぞれと端末の間のオーディオデータ処理を扱うものである。
【0043】
ステップ601:端末が、発呼した後で、MCU_Aにアクセスし、MCU_Aに符号化オーディオデータを送信する。
【0044】
ステップ602:MCU_Aが、マルチチャネル分離オーディオ・コーデック・プロトコルに特有の復号器を作成する。
【0045】
ステップ603:MCU_Aが、復号オーディオデータの容量に従ってオーディオ混合を必要とする端末を選択する。
【0046】
ステップ604:MCU_Aが、オーディオ混合を必要とする端末の個別チャネルからオーディオデータを抽出する。
【0047】
ステップ605:MCU_Aが、オーディオデータの選択されたチャネルをカプセル化し、次いでそれらのチャネルをカスケード接続されたMCU_Bに送信する。
【0048】
ステップ606:MCU_Bが復号器を作成し、次いで、容量に従ってMCU_Aのチャネルのオーディオデータの代わりのオーディオデータを選択する。
【0049】
カスケード接続されたMCU_AとMCU_Bが、これらに接続された端末によって送信されたオーディオデータを処理するとき、その処理方法は、MCU_AとMCU_Bの間に1つのチャネルが追加されることを除いて、本発明の第2の実施形態における処理と同じである。特に、2台を超えるMCUがカスケード接続されるときには、さらに多くのチャネルが追加される。したがって、カスケード接続されたMCU_AがMCU_Bにカプセル化オーディオデータを送信すると、MCU_Bは、受信したオーディオデータの容量を、MCU_Bと接続された端末によって送信されたオーディオデータの容量と比較し、比較結果に従って、MCU_Aによって送信されたオーディオパケット内のより小容量のオーディオデータを、MCU_Bと接続された端末のオーディオデータで置換する。
【0050】
図5に示すように、MCU_Aと接続されている端末A1、端末A2、端末A3、および端末A4の中から選択されるオーディオパケットは、端末A1、端末A2、および端末A3のオーディオデータを含むものと仮定する。オーディオパケットを受信した後で、MCU_Bは、オーディオパケットの容量を比較する。MCU_Bと接続された端末B1のオーディオデータの容量が端末A1のオーディオデータの容量より大きい場合、MCU_Bは、オーディオパケット内の端末A1のオーディオデータを端末B1のオーディオデータで置換する。
【0051】
ステップ607:MCU_Bが、置換されたオーディオデータを再度カプセル化し、そのデータを、オーディオ論理チャネルを介して、MCU_Bと接続された各端末に送信する。
【0052】
ステップ608:端末が、受信したカプセル化オーディオデータを復号し、自動的にオーディオ混合を行い、次いでオーディオを再生する。
【0053】
本発明の第3の実施形態では、すべての端末がマルチチャネル分離オーディオ・コーデック・プロトコルをサポートしているとき、送信側のMCUは、送信側の端末のためのオーディオ符号器を作成し、受信側のMCUは受信側の端末のためのオーディオ復号器を作成する。したがって、カスケード接続されたMCUの数にかかわらず、送信側のMCUの端末上のデータを符号化し、受信側のMCUの端末上のデータを復号しさえすればよい。全オーディオ処理プロセスが、たった1回のオーディオ符号化/復号動作しか伴わない。送信側のMCUの端末はオーディオ符号化データを送信する。送信側のMCUがオーディオデータをオーディオパケットにカプセル化した後で、オーディオパケットは、複数のカスケード接続されたMCU間で伝送される。パケットが受信側のMCUに送信されるとき、受信側のMCUは、そのパケットを復号する必要はなく、マルチチャネル分離オーディオ・コーデック・プロトコルに従って、オーディオパケットから1つのチャネルのオーディオデータを直接抽出する。受信側のMCUは、対応するオーディオデータを、受信側のMCUのより大容量の端末によって送信されたオーディオデータで置換し、そのデータを受信側のMCUの端末に送信し、受信側のMCUの端末は置換されたオーディオパケットを復号する。
【0054】
必ずしもすべての端末がマルチチャネル分離オーディオ・コーデック・プロトコルをサポートしているとは限らない場合、送信側のMCUは、送信側の端末のためのオーディオ符号器を作成する必要はないが、受信側のMCUは、受信側の端末のためのオーディオ符号器および復号器を作成する。さらに受信側のMCUは、カスケード式に送信される受信オーディオパケットを復号し、パケットを置換し、それらのパケットを再度符号化して端末間の互換性を達成する必要がある。したがって、カスケード接続されたMCUの数にかかわらず、オーディオパケットは、受信側のMCUを除くMCU間で伝送される間に、いかなる符号化、復号操作も受けなくてよい。したがって、カスケード式伝送の全オーディオ処理プロセスが、たった2回の符号化/復号動作しか伴わない。すなわち、送信側のMCUの端末はオーディオ符号化データを送信し、送信側のMCUはそのオーディオ符号化データをオーディオパケットにカプセル化し、次いでオーディオパケットは複数のMCU間でカスケード式に送信される。パケットが受信側のMCUに送信されるときには、マルチチャネル分離オーディオ・コーデック・プロトコルがサポートされていないため、受信側のMCUは、オーディオパケットを復号し、オーディオパケット内のより小容量のオーディオデータを、受信側のMCUの端末からのより大容量のオーディオデータで置換する必要がある。受信側のMCUは、置換されたオーディオデータを再度復号し、そのデータを受信側のMCUの端末に送信する。受信側のMCUの端末は、オーディオパケットを受信し、それを復号する。
【0055】
図7に、本発明の第4の実施形態におけるオーディオ処理の方法のアーキテクチャを示す。図7の制御サーバはMCUである。4台の端末が、多地点オーディオ処理を実施するためにMCUと接続されている。各端末とMCUの間には(図7に実線矢印で示される)3つのオーディオ送信チャネルが存在し、各端末とMCUの間には(図7に点線矢印で示される)1つのオーディオ受信チャネルが存在する。すなわち、MCUと端末の間には3つのオーディオ論理チャネルが存在する。この実施形態は、H.323といったオーディオ通信をサポートする国際標準プロトコルに基づくものである。このプロトコルは、複数の論理チャネルの開設をサポートし、同じ種類のメディアを運ぶ複数の論理チャネルをサポートする。図7に示すアーキテクチャを踏まえて、図8に本発明の第4の実施形態におけるオーディオ処理の方法を示す。この実施形態は、MCUと、複数のオーディオ論理チャネルを有する端末との間のオーディオデータ処理を扱うものである。
【0056】
ステップ801:端末が、発呼した後で、MCUにアクセスし、MCUに符号化オーディオデータを送信する。
【0057】
発呼するときに、端末は一般に、MCUと能力ネゴシエーションを行って、端末とMCUの間の複数のオーディオ論理チャネルのサポートを判定する。能力ネゴシエーション標準プロトコルでは非標準能力プロトコルフィールドを搬送するため、複数のオーディオ論理チャネルをサポートする能力は、この非標準能力プロトコルフィールドによって記述される。能力ネゴシエーション標準プロトコルの拡張能力フィールドには、4バイトのコンテンツ「0x0a0a」が存在するものと仮定する。能力ネゴシエーションに際して、MCUは、端末の非標準フィールドに、複数のオーディオ論理チャネルをサポートする能力を示す「0x0a0a」が存在することを見出す。呼出しに成功した後、オーディオ処理は、複数のオーディオチャネルに基づくものとすることができる。
【0058】
ステップ802:MCUが、複数のオーディオ論理チャネルに特有の復号器を作成する。
【0059】
ステップ803:MCUが、復号オーディオデータの容量に従ってオーディオ混合を必要とする端末を選択する。
【0060】
ステップ804:オーディオ混合を必要とする端末のオーディオデータが、3つの対応するオーディオ論理チャネルを介して各端末に直接送信される。
【0061】
例えば、MCUが、端末1、端末2、端末3、および端末4によって送信された符号化オーディオデータを受信した後で、オーディオポリシに従い、MCUによって選択されたオーディオデータの3つのチャネルがそれぞれ、端末1、端末2、および端末3のオーディオデータである場合、MCUは選択されたオーディオデータを、すべてのオーディオ論理チャネルで各端末に直接送信する。すなわち、端末1は、端末2のオーディオチャネルから端末2のオーディオデータを受信し、端末3のオーディオチャネルから端末3のオーディオデータを受信する。端末2は、端末1のオーディオチャネルから端末1のオーディオデータを受信し、端末3のオーディオチャネルから端末3のオーディオデータを受信する。端末3は、端末1のオーディオチャネルから端末1のオーディオデータを受信し、端末2のオーディオチャネルから端末2のオーディオデータを受信する。端末4は、端末1のオーディオチャネルから端末1のオーディオデータを受信し、端末2のオーディオチャネルから端末2のオーディオデータを受信し、端末3のオーディオチャネルから端末3のオーディオチャネルを受信する。
【0062】
ステップ805:端末が、受信したオーディオデータを復号し、自動的にオーディオ混合を行い、次いでオーディオを再生する。
【0063】
この実施形態の端末は、複数のオーディオ受信チャネルの開設をサポートし、オーディオデータの複数のチャネルの同時復号をサポートし、オーディオデータの復号された複数のチャネルの混合およびそれらのラウドスピーカへの出力をサポートする。端末1によって受け取られるオーディオデータを例に取ると、端末1は、端末2のオーディオチャネルと端末3このオーディオチャネルから受け取られたオーディオデータの2つのチャネルを復号し、オーディオ混合を行い、それらをラウドスピーカに出力する。
【0064】
本発明の第4の実施形態では、必ずしもすべての端末がMCUと相互動作するための複数のオーディオ論理チャネルをサポートしていない場合、MCUは、複数の論理チャネルをサポートしていない端末のためのオーディオ混合および符号化のリソースを作成する必要があり、自動オーディオプロトコル適合をサポートする必要がある。すなわちMCUは、複数のオーディオ論理チャネルをサポートしている端末によって送信されたオーディオデータのための復号およびオーディオ混合符号化を行い、それらを、複数のオーディオ論理チャネルをサポートしていない端末に送って、複数のオーディオ論理チャネルをサポートしてない端末との互換性を保持する。
【0065】
図9に、本発明の第5の実施形態におけるオーディオ処理の方法のアーキテクチャを示す。図9において、制御サーバはMCUである。端末A1、端末A2、端末A3、および端末A4はそれぞれ、MCU_Aと接続されている。端末B1、端末B2、端末B3、および端末B4はそれぞれ、MCU_Bと接続されている。前述の各端末は、MCUとの接続によって多地点オーディオ処理によって多地点オーディオ処理を実施する。各端末とMCUの間には、(図9に単方向実線矢印で示される)3つのオーディオ送信チャネルと、(図9に点線矢印で示される)1つのオーディオ受信チャネルがある。図9には、各端末とMCUの間に4つの論理チャネルが存在し、MCU間には、(図9に双方向実線矢印で示される)1つの呼のチャネルが実施されることが示されている。図9に示すアーキテクチャを踏まえて、図10に本発明の第5の実施形態におけるオーディオ処理の方法を示す。この実施形態は、2つのカスケード接続されたMCUのそれぞれと、複数のオーディオ論理チャネルを備える端末との間のオーディオデータ処理を扱うものである。
【0066】
ステップ1001:端末が、発呼した後で、MCU_Aにアクセスし、MCU_Aに符号化オーディオデータを送信する。
【0067】
発呼するときに、端末は一般に、MCUと能力ネゴシエーションを行って、端末とカスケード接続されたMCUの間の呼の複数のカスケード接続チャネルのサポートを判定する。能力ネゴシエーション標準プロトコルでは非標準能力プロトコルフィールドを搬送するため、呼の複数のカスケード接続チャネルをサポートする能力は、この非標準能力プロトコルフィールドによって記述される。これは、MCU間のカスケード接続呼の場合にも同様である。能力ネゴシエーション標準プロトコルの拡張能力フィールドでは4バイトのコンテンツ「0x0a0b」が定義されるものと仮定する。能力ネゴシエーションに際して、MCUは、端末の非標準能力フィールドに、呼の複数のカスケード接続チャネルをサポートする能力を示す「0x0a0b」が存在することを見出す。呼出しに成功した後、オーディオ処理は、呼の複数のカスケード接続チャネルに基づくものとすることができる。
【0068】
ステップ1002:MCU_Aが、複数の論理チャネルに特有の復号器を作成する。
【0069】
ステップ1003:MCU_Aが、復号オーディオデータの容量に従ってオーディオ混合を必要とする端末を選択する。
【0070】
ステップ1004:オーディオ混合を必要とする端末のオーディオ論理チャネルデータの複数のチャネルが、MCU_Bに直接転送される。
【0071】
ステップ1005:MCU_Bが、復号器を作成し、次いで、容量に従ってMCU_Aのオーディオデータの代わりのオーディオデータを選択する。
【0072】
ステップ1006:MCU_Bが、オーディオデータの置換されたチャネルを、3つのオーディオ論理チャネルを介して各端末に直接送信する。
【0073】
ステップ1007:端末が、受信したオーディオデータを復号し、自動的にオーディオ混合を行い、次いでオーディオを再生する。
【0074】
本発明の第5の実施形態では、すべての端末が複数のオーディオ論理チャネルをサポートしているとき、送信側のMCUは、送信側の端末のためのオーディオ符号器を作成し、受信側のMCUは、受信側の端末のためのオーディオ復号器を作成する。したがって、カスケード接続されたMCUの数にかかわらず、送信側のMCUの端末上でデータを符号化し、オーディオ混合の前に受信側のMCUの端末上で複数のオーディオチャネルから送信されたオーディオデータを復号しさえすればよい。全オーディオ処理プロセスが、たった1回のオーディオ符号化/復号動作しか伴わない。すなわち、送信側のMCUの端末は、オーディオ符号化データを送信する。送信側のMCUは、複数のオーディオ論理チャネルを介してカスケード式に、複数のMCU間でオーディオデータを伝送する。オーディオデータが受信側のMCUに送信されるとき、受信側のMCUは、データを復号しなくてもよく、複数のオーディオ論理チャネルの能力に従って、複数の論理チャネルのオーディオデータを、受信側のMCUのより大容量の端末によって送信されたオーディオ論理チャネルのオーディオデータで置換し、次いでそのデータを受信側のMCUの端末に送信する。受信側のMCUの端末は、置換後に複数のオーディオ論理チャネルを介して送信されたオーディオデータの複数のチャネルを復号する。
【0075】
必ずしもすべての端末が複数のオーディオ論理チャネルをサポートしているとは限らない場合、送信側のMCUは、送信側の端末のためのオーディオ符号器を作成しなくてもよいが、受信側のMCUは、受信側の端末のためのオーディオ符号器および復号器を作成する。さらに、受信側のMCUは、カスケード式に送信される受信オーディオパケットを復号し、それらのパケットを置換し、それらのパケットを再度符号化して端末間の互換性を実現する必要がある。
【0076】
したがって、カスケード接続されたMCUの数にかかわらず、オーディオパケットは、受信側のMCUを除くMCU間で伝送される間にいかなる符号化操作も復号操作も受けなくてよい。したがって、カスケード接続送信の全オーディオ処理プロセスが、たった2回の符号化/復号動作しか伴わない。すなわち、送信側のMCUは、複数のオーディオ論理チャネルを介して複数のMCU間でオーディオデータを伝送する。データが受信側のMCUに送信されるとき、受信側のMCUは、複数のオーディオ論理チャネルをサポートしていないため、複数のオーディオ論理チャネルのオーディオデータを復号し、複数のオーディオチャネルのオーディオデータ内のより小容量のオーディオデータを、受信側のMCUの端末からのより大容量のオーディオデータで置換する必要がある。受信側のMCUは、オーディオデータの置換された複数のチャネルを再度符号化し、そのデータを受信側のMCUの端末に送信する。受信側のMCUの端末はオーディオパケットを受信し、それを復号する。
【0077】
図11に、本発明の第6の実施形態におけるオーディオ処理の方法のアーキテクチャを示す。図11において、制御サーバはMCUであり、端末1および端末2はMCU_Aと接続されており、端末3および端末4はMCU_Bと接続されており、各端末は、MCUとの接続によって多地点オーディオ処理を実施する。それと同時に、MCU_AとMCU_Bの間にはカスケード接続呼の複数のチャネルが実施される。すなわち、オーディオ混合を必要とする端末の数に従い、カスケード接続されたMCU_AとMCU_Bの間で、複数の呼のチャネルが動的にセットアップされる。各呼のチャネルはただ1つのオーディオチャネルを有する。オーディオチャネル間のプロトコルは異なっていてもよい。図11では、MCU_AとMCU_Bの間に(図11に双方向実線矢印で示される)カスケード接続呼の3つのチャネルがセットアップされており、各端末とMCUの間には1つの呼のチャネルがセットアップされている。図11に示すアーキテクチャを踏まえて、図12に、本発明の第6の実施形態におけるオーディオ処理の方法を示す。この実施形態は、複数の呼のチャネルの連結によってMCU間のオーディオデータ処理を扱うものである。
【0078】
ステップ1201:端末が、発呼した後で、MCU_Aにアクセスし、MCU_Aに符号化オーディオデータを送信する。
【0079】
ステップ1202:MCU_Aが、サーバにアクセスする端末のための復号器を作成する。
【0080】
ステップ1203:MCU_Aが、復号オーディオデータの容量に従ってオーディオ混合を必要とする端末を選択する。
【0081】
ステップ1204:MCU_Aが、オーディオ混合を必要とする端末のオーディオデータを、MCU_Aのオーディオ・プロトコル・ポートから、MCU_B上のオーディオプロトコルをサポートするポートに転送する。
【0082】
ステップ1205:MCU_Bが、復号器を作成し、MCU_Aの各ポートから送信されたオーディオデータを復号する。
【0083】
ステップ1206:MCU_Bが、容量に従い、MCU_Aから受け取られたオーディオデータの複数のチャネルと、MCU_Bの端末から受け取られたオーディオデータの複数のチャネルの中からオーディオ混合を必要とするオーディオデータを選択する。
【0084】
ステップ1207:MCU_Bが、オーディオデータの選択された複数のチャネルのためのオーディオ混合を行い、そのデータを各端末に送信する。
【0085】
ステップ1208:端末が、受信したオーディオデータを復号し、自動的にオーディオ混合を行い、次いでオーディオを再生する。
【0086】
複数のMCUがカスケード接続されているとき、オーディオ呼は、一般には、カスケード接続された1対のMCUポートを介して実施される。しかし、本発明の第6の実施形態では、2つのカスケード接続されたMCUの間で、異なるオーディオプロトコルに基づく複数の呼のチャネルをサポートするために、複数対のポートが使用される。このようにして、オーディオデータの複数のチャネルのためのマルチチャネルオーディオ混合が行われる。
【0087】
端末がマルチチャネル分離オーディオ・コーデック・プロトコルをサポートし、または複数のオーディオ論理チャネルをサポートしているとき、異なるオーディオプロトコルに基づくものであり、カスケード接続されたMCUの端末によって送信されるオーディオデータは、そのような端末に直接送信されてもよい。したがって、カスケード接続されたMCUの数にかかわらず、たった1回のオーディオ符号化動作とたった1回のオーディオ復号動作しか必要とされない。例えば、図11において、端末1と端末2は異なるオーディオプロトコルをサポートしており、端末3は複数のオーディオ論理チャネルをサポートしている。カスケード接続されたMCU_AとMCU_Bの間に、3台の端末に対応するカスケード接続呼の3つのチャネルがセットアップされている。したがって、端末1と端末2は独自のオーディオデータを符号化し、その符号化データをMCU_Aに送信する。MCU_Aは、カスケード接続呼1を介してMCU_Bに端末1のオーディオデータを送信し、カスケード接続呼2を介してMCU_Bに端末2のオーディオデータを送信する。MCU_Bは、オーディオデータの2つのチャネルをパケットにカプセル化し、それらのパケットを端末3に送信する。端末3は、オーディオパケットを復号する。
【0088】
各端末が異なる種類のオーディオプロトコルをサポートしているとき、送信側のMCUは、送信側の端末のためのオーディオ符号器を作成し、受信側のMCUは、カスケード式に送信されたオーディオデータの複数の受信チャネルを復号し、オーディオ混合符号化を行い、そのデータを復号のために受信側の端末に送信する。受信側のMCUは、受信側の端末のためのオーディオ復号器を作成する。したがって、カスケード接続されたMCUの数にかかわらず、オーディオパケットは、送信側のMCUと受信側のMCUを除くMCU間で伝送される間にいかなる符号化操作も復号操作も受けなくてよい。全カスケード接続送信のオーディオ処理が、たった2回の符号化/復号の動作しか必要としない。例えば、図11において、端末1、端末2、および端末3は、異なるオーディオプロトコルをサポートしている。カスケード接続されたMCU_AとMCU_Bの間には、3台の端末に対応するカスケード接続呼の3つのチャネルがセットアップされている。したがって、端末1と端末2は独自のオーディオデータを符号化し、その符号化データをMCU_Aに送信する。MCU_Aは、カスケード接続呼1を介してMCU_Bに端末1のオーディオデータを送信し、カスケード接続呼2を介してMCU_Bに端末2のオーディオデータを送信する。MCU_Bは、受信したオーディオデータの2つのチャネルを復号し、オーディオ混合を行い、そのデータを、端末3のオーディオプロトコルに対応するオーディオデータに符号化し、その符号化オーディオデータを端末3に送信する。端末3は、オーディオデータを受信した後で、サポートされるオーディオプロトコルに従ってそのオーディオデータを復号する。
【0089】
本発明の方法の実施形態を踏まえると、サービス動作プラットフォームがMCUをスケジュールするときに、端末との能力ネゴシエーションによって獲得される能力情報に従って、適正なMCU連結方式を自動的に選択することができる。例えば、カスケード接続会議では、すべての端末がマルチチャネル分離オーディオ・コーデック・プロトコルをサポートしている場合、サービス動作プラットフォームは、マルチチャネル分離オーディオ・コーデック・プロトコルのカスケード接続会議を自動的にスケジュールし、すべての端末が複数のオーディオ論理チャネルをサポートしている場合、サービス動作プラットフォームは、複数のオーディオ論理チャネルのカスケード接続会議を自動的にスケジュールし、端末の中に、マルチチャネル分離オーディオ・コーデック・プロトコルをサポートしているものと、通常の端末とがある場合、サービス動作プラットフォームは、マルチチャネル分離オーディオ・コーデック・プロトコルの端末と他のオーディオプロトコルの端末が関与するマルチチャネル呼カスケード接続会議を自動的にチャネルし、端末の中に、複数のオーディオ論理チャネルをサポートしているものと、通常の端末とがある場合、サービス動作プラットフォームは、自動的にすべてのオーディオプロトコルが関与するカスケード接続サイトをスケジュールする。単一MCUの会議では、すべての端末がマルチチャネル分離オーディオ・コーデック・プロトコルをサポートしている場合、サービス動作プラットフォームは、マルチチャネル分離オーディオ・コーデック・プロトコルの単一MCU会議を自動的にスケジュールし、すべての端末が複数のオーディオ論理チャネルをサポートしている場合、サービス動作プラットフォームは、複数のオーディオ論理チャネルの単一MCU会議を自動的にスケジュールする。
【0090】
本発明の一実施形態では、本明細書で開示されるオーディオ処理の方法に対応するオーディオ処理システムが提供される。
【0091】
図13は、本発明の一実施形態におけるオーディオ処理システムのブロック図である。
【0092】
このシステムは、少なくとも1台の制御サーバ1310と、複数の端末1320とを含む。
【0093】
制御サーバ1310は、能力ネゴシエーションによって端末のオーディオ能力を獲得し、オーディオ能力に従って各端末に符号化オーディオデータを転送するように適合されている。
【0094】
端末1320は、制御サーバにアクセスし、受信したオーディオデータを復号し、オーディオデータを自動的に混合し、そのデータを再生するように適合されている。
【0095】
本発明の一実施形態では、本明細書で開示されるオーディオ処理の方法およびオーディオ処理システムに対応する制御サーバが提供される。この制御サーバは、
能力ネゴシエーションによって端末のオーディオ能力を獲得するように適合された獲得ユニット1410と、
【0096】
オーディオ能力に従って各端末に符号化オーディオデータを転送するように適合された転送ユニット1420と、
を含む。
【0097】
さらに、オーディオデータの複数のチャネルが選択され、次にオーディオ論理チャネルで転送されるオーディオパケットにカプセル化される(すなわち、獲得ユニット1410によって獲得されたオーディオ能力がマルチチャネル分離オーディオ・コーデック・プロトコルのサポートを示す)場合、転送ユニット1420は(図14には示されていないが)、
オーディオデータの容量に従ってオーディオ混合のための複数の端末のオーディオデータを選択するように適合された選択ユニットと、
複数の端末の個別チャネル内のオーディオデータを抽出するように適合された取得ユニットと、
抽出されたオーディオデータをパケットにカプセル化し、次いで、そのパケットを、オーディオ論理チャネルを介して各端末に送信するにように適合された送信ユニットと、
を含む。
【0098】
オーディオデータの複数のチャネルが選択され、次にオーディオ論理チャネルで転送されるオーディオパケットにカプセル化される(すなわち、獲得ユニット1410によって獲得されたオーディオ能力がマルチチャネル分離オーディオ・コーデック・プロトコルのサポートを示す)場合であり、制御サーバが複数のカスケード接続された制御サーバの中の送信側制御サーバである場合、転送ユニット1420は(図14には示されていないが)、
オーディオデータの容量に従ってオーディオ混合のための複数の端末のオーディオデータを選択するように適合された選択ユニットと、
複数の端末の個別チャネル内のオーディオデータを抽出するように適合された取得ユニットと、
抽出されたオーディオデータをパケットにカプセル化し、次いでそのパケットを、カスケード式にオーディオ論理チャネルを介して受信側制御サーバに送信するように適合された送信ユニットと、
を含む。
【0099】
オーディオデータの複数のチャネルが選択され、次にオーディオ論理チャネルで転送されるオーディオパケットにカプセル化される場合であり、制御サーバが複数のカスケード接続された制御サーバの中の受信側制御サーバである場合、転送ユニット1420は(図14には示されていないが)、
容量に従い、送信側制御サーバによって送信されたオーディオデータの代わりの受信側のオーディオデータを選択するように適合された選択ユニットと、
置換されたオーディオデータをパケットにカプセル化し、次いでそのパケットを、オーディオ論理チャネルを介して各端末に送信するように適合された送信ユニットと、
を含む。
【0100】
オーディオデータの複数のチャネルが複数のオーディオ論理チャネルで転送される(すなわち、獲得ユニット1410によって獲得されたオーディオ能力が複数のオーディオ論理チャネルのサポートを示す)場合、転送ユニット1420は(図14には示されていないが)、
オーディオデータの容量に従ってオーディオ混合のための複数の端末のオーディオデータを選択するように適合された選択ユニットと、
複数の端末のオーディオデータを、複数のオーディオ論理チャネルを介して各端末に直接送信するように適合された送信ユニットと
を含む。
【0101】
オーディオデータの複数のチャネルが複数のオーディオ論理チャネルで転送される(すなわち、獲得ユニット1410によって獲得されたオーディオ能力が複数のオーディオ論理チャネルのサポートを示す)場合であり、制御サーバが、複数のカスケード接続された制御サーバの中の送信側制御サーバである場合、転送ユニット1420は(図14には示されていないが)、
オーディオデータの容量に従ってオーディオ混合のための複数の端末のオーディオデータを選択するように適合された選択ユニットと、
複数の端末のオーディオデータを、カスケード式に複数のオーディオ論理チャネルを介して受信側制御サーバに送信するように適合された送信ユニットと、
を含む。
【0102】
オーディオデータの複数のチャネルが複数のオーディオ論理チャネルで転送され、制御サーバが、複数のカスケード接続された制御サーバの中の受信側制御サーバである場合、転送ユニット1420は(図14には示されていないが)、
容量に従い、送信側制御サーバによって送信されたオーディオデータの代わりの受信側のオーディオデータを選択するように適合された選択ユニットと、
置換されたオーディオデータを、複数のオーディオ論理チャネルを介して各端末に直接送信するように適合された送信ユニットと、
を含む。
【0103】
制御サーバが、カスケード接続された複数の呼のチャネルのための複数の制御サーバの中の送信側制御サーバである場合、転送ユニット1420は(図14には示されていないが)、
オーディオデータの容量に従ってオーディオ混合のための複数の端末のオーディオデータを選択するように適合された選択ユニットと、
複数の端末のオーディオデータを、カスケード式に、各端末に対応するオーディオ・プロトコル・ポートから受信側制御サーバの対応するポートに送信するように適合された送信ユニットと、
を含む。
【0104】
制御サーバが、カスケード接続された複数の呼のチャネルのための複数の制御サーバの中の受信側制御サーバである場合、転送ユニット1420は(図14には示されていないが)、
容量に従い、送信側制御サーバから受け取られたオーディオデータと当該受信側のオーディオデータの中から、オーディオ混合のためのオーディオデータの複数のチャネルを選択するように適合された選択ユニットと、
オーディオデータの複数のチャネルのためのオーディオ混合を行い、そのデータを各端末に送信するように適合された送信ユニットと、
を含む。
【0105】
オーディオデータを受信する端末が、マルチチャネル分離オーディオ・コーデック・プロトコルも複数のオーディオ論理チャネルもサポートしていない場合、制御サーバはさらに、端末のためのオーディオ混合および符号化のリソースを作成するように適合された作成ユニットを含んでいてもよい。この場合、転送ユニット1420は(図14には示されていないが)、
事前設定ポリシに従って、オーディオ混合のための複数の端末のオーディオデータを選択するように適合された選択ユニットと、
リソースによってオーディオデータを復号し、オーディオ混合符号化を行い、データを端末に送信するように適合された送信ユニットと、
を含む。
【0106】
以上の各実施形態において、制御サーバが、容量に従ってオーディオ混合のための端末を選択することは注目に値する。実際には、オーディオ混合のための端末は、他の事前設定ポリシに従って、例えば、端末の呼識別子に従って(特殊な識別子の端末が選択されるべき端末である)、あるいは端末の呼の順序に従って(より早く発呼する端末が選択されるべき端末である)選択され得る。
【0107】
本発明の各実施形態では、オーディオデータは、オーディオデータが制御サーバを通過するたびにオーディオ符号化/復号の操作を受けなくてもよく、制御サーバによって行われる必要のある符号化/復号操作回数が大幅に低減される。特に、ただ1台の制御サーバしか存在しない場合、端末間のオーディオ遅延は、ネットワーク伝送、送信側端末の符号化、および受信側端末の復号からしか生じず、制御サーバは、オーディオデータのパケットの抽出および再アセンブルだけを行う。したがって、遅延はごくわずかであり、端末間の対話の実時間が改善され、制御サーバによるオーディオ・コーデック・リソースの占有が軽減され、費用が低減される。制御サーバによる符号化/復号の操作回数が低減されることに基づいて、複数のオーディオチャネルが混合され、本発明による技術的解決法は、既存の標準プロトコルに基づく制御サーバに高適合し、テレビ会議や電話会議といった通信分野に広く適用できる。
【0108】
当業者は、本発明の各実施形態における方法の各ステップの全部または一部が、関連するハードウェアに命令を与えるプログラムによって実施され得ることを理解するはずである。このプログラムは、コンピュータ可読記憶媒体に記憶されていてもよい。プログラムが実行されると、端末が制御サーバにアクセスした後で、制御サーバが能力ネゴシエーションによって端末のオーディオ能力を獲得し、制御サーバがオーディオ能力に従って各端末に符号化オーディオデータを転送するという各ステップが行われる。記憶媒体は、ROM/RAM、磁気ディスク、CD−ROMとすることができる。
【特許請求の範囲】
【請求項1】
制御サーバが、前記制御サーバにアクセスする各端末によって送信された符号化オーディオデータを受信すること、
前記制御サーバが、各端末と能力ネゴシエーションを行って各端末のオーディオ能力を獲得すること、および
前記制御サーバが、前記オーディオ能力に従って、各端末に、前記符号化オーディオデータから抽出されたオーディオデータを転送すること、
を含むオーディオ処理の方法。
【請求項2】
前記制御サーバは、前記オーディオ能力に従って、
すべての端末がマルチチャネル分離オーディオ・コーデック・プロトコルをサポートしている場合、前記制御サーバが、前記オーディオデータの中からカプセル化のためのオーディオデータの複数のチャネルを選択し、前記カプセル化されたデータを、オーディオ論理チャネルを介して各端末に送信するモードと、
すべての端末が複数のオーディオ論理チャネルをサポートしている場合、前記制御サーバが、前記オーディオデータの中からオーディオデータの複数のチャネルを選択し、前記選択されたオーディオデータを、前記複数のオーディオ論理チャネルを介して各端末に送信するモードと、
のどちらかで各端末に前記抽出されたオーディオデータを転送する請求項1に記載の方法。
【請求項3】
ただ1台の制御サーバしか存在しない場合、前記制御サーバは、前記オーディオ能力に従って、前記制御サーバにアクセスする各端末に、前記符号化オーディオデータから抽出された前記オーディオデータを転送し、
複数の制御サーバがカスケード接続されている場合、前記制御サーバは、前記オーディオ能力に従ってカスケード式に前記データを送信し、前記送信側制御サーバは、前記送信側制御サーバにアクセスする各端末によって送信された前記符号化オーディオデータを受信し、各端末によって送信された前記符号化オーディオデータからオーディオデータを抽出し、前記オーディオデータを前記受信側制御サーバに送信し、次いで前記受信側制御サーバは、前記抽出されたオーディオデータを、前記受信側制御サーバにアクセスする各端末に転送する、
請求項2に記載の方法。
【請求項4】
ただ1台の制御サーバしか存在せず、前記端末が前記マルチチャネル分離オーディオ・コーデック・プロトコルをサポートしている場合、前記制御サーバが、前記オーディオデータの中からカプセル化のためのオーディオデータの前記複数のチャネルを選択すること、および前記カプセル化されたデータを、前記オーディオ論理チャネルを介して各端末に送信することは、
前記制御サーバが、事前設定ポリシに従って、オーディオ混合のための複数の端末のオーディオデータを選択すること、
前記制御サーバが、前記複数の端末の個別チャネル内のオーディオデータを取得すること、および
前記制御サーバが、前記抽出されたオーディオデータをパケットにカプセル化し、次いで前記パケットを、前記オーディオ論理チャネルを介して各端末に送信すること、
を含む請求項3に記載の方法。
【請求項5】
複数の制御サーバがカスケード接続されており、前記端末が前記マルチチャネル分離オーディオ・コーデック・プロトコルをサポートしている場合、前記制御サーバが、前記オーディオデータの中からカプセル化のためのオーディオデータの前記複数のチャネルを選択すること、および前記カプセル化されたデータを、前記オーディオ論理チャネルを介して各端末に送信することは、
前記送信側制御サーバが、事前設定ポリシに従って、オーディオ混合のための複数の端末のオーディオデータを選択すること、
前記複数の端末の個別チャネル内のオーディオデータを取得すること、
前記抽出されたオーディオデータをパケットにカプセル化し、前記パケットを前記カスケード式に前記受信側制御サーバに送信すること、
前記受信側制御サーバが、前記事前設定ポリシに従い、前記送信側制御サーバによって送信された前記オーディオデータの代わりの受信側のオーディオデータを選択すること、および
前記置換されたオーディオデータをパケットにカプセル化し、前記パケットを、前記オーディオ論理チャネルを介して各端末に送信すること、
を含む請求項3に記載の方法。
【請求項6】
前記オーディオデータの前記カプセル化は、
異なるチャネル内のオーディオデータを抽出し、前記抽出されたオーディオデータをオーディオパケットに一体化すること、または
前記異なるチャネル内の前記オーディオデータのための別々のカプセル化を直接行うこと、
を含む請求項4または5に記載の方法。
【請求項7】
ただ1台の制御サーバしか存在せず、前記端末が複数のオーディオ論理チャネルをサポートしている場合、前記制御サーバが、前記オーディオデータの中からオーディオデータの前記複数のチャネルを選択すること、および前記オーディオデータを、複数のオーディオ論理チャネルを介して各端末に送信することは、
前記制御サーバが、事前設定ポリシに従って、オーディオ混合のための複数の端末のオーディオデータを選択すること、および
前記複数の端末の前記オーディオデータを、前記複数のオーディオ論理チャネルを介して各端末に直接送信すること、
を含む請求項3に記載の方法。
【請求項8】
複数の制御サーバがカスケード接続されており、前記端末が複数のオーディオ論理チャネルをサポートしている場合、前記制御サーバが、前記オーディオデータの中からオーディオデータの前記複数のチャネルを選択すること、および前記オーディオデータを、複数のオーディオ論理チャネルを介して各端末に送信することは、
前記制御サーバが、事前設定ポリシに従って、オーディオ混合のための複数の端末のオーディオデータを選択すること、および
前記複数のチャネルの前記オーディオデータを、前記カスケード式に前記受信側制御サーバに送信すること、
前記受信側制御サーバが、前記事前設定ポリシに従い、前記送信側制御サーバによって送信された前記オーディオデータの代わりの受信側オーディオデータを選択すること、および
前記置換されたオーディオデータを、前記複数のオーディオ論理チャネルを介して各端末に直接送信すること、
を含む請求項3に記載の方法。
【請求項9】
複数のカスケード接続された制御サーバ間に複数の呼のチャネルが多数存在し、前記制御サーバが、前記オーディオ能力に従って、各端末に前記符号化オーディオデータから抽出された前記オーディオデータを転送することは、
前記送信側制御サーバが、事前設定ポリシに従って、オーディオ混合のための複数の端末のオーディオデータを選択すること、
前記複数の端末の前記オーディオデータを、前記カスケード式に前記端末に対応するオーディオ・プロトコル・ポートから、前記受信側制御サーバの対応するポートに送信すること、
前記受信側制御サーバが、前記事前設定ポリシに従い、前記受信したオーディオデータと当該受信側のオーディオデータの中から、オーディオ混合のためのオーディオデータの複数のチャネルを選択すること、および
前記オーディオデータの前記複数のチャネルのためのオーディオ混合を行い、前記データを各端末に送信すること、
を含む請求項3に記載の方法。
【請求項10】
前記事前設定ポリシは、前記オーディオデータの容量、前記端末の呼識別子、または前記端末の呼の順序とすることができる請求項4、5、7、8、または9に記載の方法。
【請求項11】
前記端末が前記マルチチャネル分離オーディオ・コーデック・プロトコルも複数のオーディオ論理チャネルもサポートしていない場合、前記制御サーバが、前記端末のためのオーディオ混合および符号化のリソースを作成することをさらに含み、
前記制御サーバが、前記オーディオ能力に従って、前記符号化オーディオデータから抽出された前記オーディオデータを各端末に転送することは、
前記制御サーバが、事前設定ポリシに従って、オーディオ混合のための複数の端末のオーディオデータを選択すること、および
前記オーディオデータを前記リソースによって復号し、オーディオ混合符号化を行い、次いで前記オーディオデータを前記端末に送信すること、
を含む請求項3に記載の方法。
【請求項12】
少なくとも1台の制御サーバと複数の端末とを備えるオーディオ処理システムであって、
前記制御サーバは、前記制御サーバにアクセスする各端末によって送信された符号化オーディオデータを受信し、各端末と能力ネゴシエーションを行って各端末のオーディオ能力を獲得し、前記オーディオ能力に従って、各端末に前記符号化オーディオデータから抽出されたオーディオデータを転送するように適合されており、
前記端末は、前記制御サーバにアクセスし、前記受信したオーディオデータを復号し、前記オーディオデータを自動的に混合し、前記オーディオデータを再生するように適合されている、
システム。
【請求項13】
制御サーバにアクセスする各端末によって送信された符号化オーディオデータを受信し、各端末と能力ネゴシエーションを行って各端末のオーディオ能力を獲得するように適合された獲得ユニットと、
前記オーディオ能力に従って、各端末に、前記符号化オーディオデータから抽出されたオーディオデータを転送するように適合された転送ユニットと、
を備える制御サーバ。
【請求項14】
前記獲得ユニットによって獲得された前記オーディオ能力が、マルチチャネル分離オーディオ・コーデック・プロトコルのサポートを示す場合、前記転送ユニットは、
事前設定ポリシに従って、オーディオ混合のための複数の端末のオーディオデータを選択するように適合された選択ユニットと、
前記複数の端末の個別チャネル内のオーディオデータを抽出するように適合された取得ユニットと、
前記抽出されたオーディオデータをパケットにカプセル化し、次いで前記パケットを、オーディオ論理チャネルを介して各端末またはカスケード接続されたポートに送信するように適合された送信ユニットと、
を備える請求項13に記載の制御サーバ。
【請求項15】
前記獲得ユニットによって獲得された前記オーディオ能力が、マルチチャネル分離オーディオ・コーデック・プロトコルのサポートを示し、前記制御サーバが複数のカスケード接続された制御サーバの中の送信側制御サーバである場合、前記転送ユニットは、
事前設定ポリシに従って、オーディオ混合のための複数の端末のオーディオデータを選択するように適合された選択ユニットと、
前記複数の端末の個別チャネル内のオーディオデータを抽出するように適合された取得ユニットと、
前記抽出されたオーディオデータをパケットにカプセル化し、次いで前記パケットを、カスケード式にオーディオ論理チャネルを介して受信側制御サーバに送信するように適合された送信ユニットと、
を備える請求項13に記載の制御サーバ。
【請求項16】
前記獲得ユニットによって獲得された前記オーディオ能力が、複数のオーディオ論理チャネルのサポートを示す場合、前記転送ユニットは、
事前設定ポリシに従って、オーディオ混合のための複数の端末のオーディオデータを選択するように適合された選択ユニットと、
前記複数の端末の前記オーディオデータを、前記複数のオーディオ論理チャネルを介して各端末に直接送信するように適合された送信ユニットと、
を備える請求項13に記載の制御サーバ。
【請求項17】
前記獲得ユニットによって獲得された前記オーディオ能力が、複数のオーディオ論理チャネルのサポートを示し、前記制御サーバが複数のカスケード接続された制御サーバの中の送信側制御サーバである場合、前記転送ユニットは、
事前設定ポリシに従って、オーディオ混合のための複数の端末のオーディオデータを選択するように適合された選択ユニットと、
前記複数の端末の前記オーディオデータを、カスケード式に前記複数のオーディオ論理チャネルを介して受信側制御サーバに送信するように適合された送信ユニットと、
を備える請求項13に記載の制御サーバ。
【請求項18】
前記制御サーバが、カスケード接続呼の複数のチャネルのための送信側制御サーバである場合、前記転送ユニットは、
事前設定ポリシに従って、オーディオ混合のための複数の端末のオーディオデータを選択するように適合された選択ユニットと、
前記複数の端末の前記オーディオデータを、カスケード式に、前記端末に対応するオーディオ・プロトコル・ポートから、受信側制御サーバの対応するポートに送信するように適合された送信ユニットと、
を備える請求項13に記載の制御サーバ。
【請求項19】
前記端末のためのオーディオ混合および符号化のリソースを作成するように適合されている作成ユニットをさらに備え、
前記転送ユニットは、
事前設定ポリシに従って、オーディオ混合のための複数の端末のオーディオデータを選択するように適合された選択ユニットと、
前記リソースによって前記オーディオデータを復号し、オーディオ混合符号化を行い、次いで前記オーディオデータを前記端末に送信するように適合された送信ユニットと、
を備える請求項13に記載の制御サーバ。
【請求項1】
制御サーバが、前記制御サーバにアクセスする各端末によって送信された符号化オーディオデータを受信すること、
前記制御サーバが、各端末と能力ネゴシエーションを行って各端末のオーディオ能力を獲得すること、および
前記制御サーバが、前記オーディオ能力に従って、各端末に、前記符号化オーディオデータから抽出されたオーディオデータを転送すること、
を含むオーディオ処理の方法。
【請求項2】
前記制御サーバは、前記オーディオ能力に従って、
すべての端末がマルチチャネル分離オーディオ・コーデック・プロトコルをサポートしている場合、前記制御サーバが、前記オーディオデータの中からカプセル化のためのオーディオデータの複数のチャネルを選択し、前記カプセル化されたデータを、オーディオ論理チャネルを介して各端末に送信するモードと、
すべての端末が複数のオーディオ論理チャネルをサポートしている場合、前記制御サーバが、前記オーディオデータの中からオーディオデータの複数のチャネルを選択し、前記選択されたオーディオデータを、前記複数のオーディオ論理チャネルを介して各端末に送信するモードと、
のどちらかで各端末に前記抽出されたオーディオデータを転送する請求項1に記載の方法。
【請求項3】
ただ1台の制御サーバしか存在しない場合、前記制御サーバは、前記オーディオ能力に従って、前記制御サーバにアクセスする各端末に、前記符号化オーディオデータから抽出された前記オーディオデータを転送し、
複数の制御サーバがカスケード接続されている場合、前記制御サーバは、前記オーディオ能力に従ってカスケード式に前記データを送信し、前記送信側制御サーバは、前記送信側制御サーバにアクセスする各端末によって送信された前記符号化オーディオデータを受信し、各端末によって送信された前記符号化オーディオデータからオーディオデータを抽出し、前記オーディオデータを前記受信側制御サーバに送信し、次いで前記受信側制御サーバは、前記抽出されたオーディオデータを、前記受信側制御サーバにアクセスする各端末に転送する、
請求項2に記載の方法。
【請求項4】
ただ1台の制御サーバしか存在せず、前記端末が前記マルチチャネル分離オーディオ・コーデック・プロトコルをサポートしている場合、前記制御サーバが、前記オーディオデータの中からカプセル化のためのオーディオデータの前記複数のチャネルを選択すること、および前記カプセル化されたデータを、前記オーディオ論理チャネルを介して各端末に送信することは、
前記制御サーバが、事前設定ポリシに従って、オーディオ混合のための複数の端末のオーディオデータを選択すること、
前記制御サーバが、前記複数の端末の個別チャネル内のオーディオデータを取得すること、および
前記制御サーバが、前記抽出されたオーディオデータをパケットにカプセル化し、次いで前記パケットを、前記オーディオ論理チャネルを介して各端末に送信すること、
を含む請求項3に記載の方法。
【請求項5】
複数の制御サーバがカスケード接続されており、前記端末が前記マルチチャネル分離オーディオ・コーデック・プロトコルをサポートしている場合、前記制御サーバが、前記オーディオデータの中からカプセル化のためのオーディオデータの前記複数のチャネルを選択すること、および前記カプセル化されたデータを、前記オーディオ論理チャネルを介して各端末に送信することは、
前記送信側制御サーバが、事前設定ポリシに従って、オーディオ混合のための複数の端末のオーディオデータを選択すること、
前記複数の端末の個別チャネル内のオーディオデータを取得すること、
前記抽出されたオーディオデータをパケットにカプセル化し、前記パケットを前記カスケード式に前記受信側制御サーバに送信すること、
前記受信側制御サーバが、前記事前設定ポリシに従い、前記送信側制御サーバによって送信された前記オーディオデータの代わりの受信側のオーディオデータを選択すること、および
前記置換されたオーディオデータをパケットにカプセル化し、前記パケットを、前記オーディオ論理チャネルを介して各端末に送信すること、
を含む請求項3に記載の方法。
【請求項6】
前記オーディオデータの前記カプセル化は、
異なるチャネル内のオーディオデータを抽出し、前記抽出されたオーディオデータをオーディオパケットに一体化すること、または
前記異なるチャネル内の前記オーディオデータのための別々のカプセル化を直接行うこと、
を含む請求項4または5に記載の方法。
【請求項7】
ただ1台の制御サーバしか存在せず、前記端末が複数のオーディオ論理チャネルをサポートしている場合、前記制御サーバが、前記オーディオデータの中からオーディオデータの前記複数のチャネルを選択すること、および前記オーディオデータを、複数のオーディオ論理チャネルを介して各端末に送信することは、
前記制御サーバが、事前設定ポリシに従って、オーディオ混合のための複数の端末のオーディオデータを選択すること、および
前記複数の端末の前記オーディオデータを、前記複数のオーディオ論理チャネルを介して各端末に直接送信すること、
を含む請求項3に記載の方法。
【請求項8】
複数の制御サーバがカスケード接続されており、前記端末が複数のオーディオ論理チャネルをサポートしている場合、前記制御サーバが、前記オーディオデータの中からオーディオデータの前記複数のチャネルを選択すること、および前記オーディオデータを、複数のオーディオ論理チャネルを介して各端末に送信することは、
前記制御サーバが、事前設定ポリシに従って、オーディオ混合のための複数の端末のオーディオデータを選択すること、および
前記複数のチャネルの前記オーディオデータを、前記カスケード式に前記受信側制御サーバに送信すること、
前記受信側制御サーバが、前記事前設定ポリシに従い、前記送信側制御サーバによって送信された前記オーディオデータの代わりの受信側オーディオデータを選択すること、および
前記置換されたオーディオデータを、前記複数のオーディオ論理チャネルを介して各端末に直接送信すること、
を含む請求項3に記載の方法。
【請求項9】
複数のカスケード接続された制御サーバ間に複数の呼のチャネルが多数存在し、前記制御サーバが、前記オーディオ能力に従って、各端末に前記符号化オーディオデータから抽出された前記オーディオデータを転送することは、
前記送信側制御サーバが、事前設定ポリシに従って、オーディオ混合のための複数の端末のオーディオデータを選択すること、
前記複数の端末の前記オーディオデータを、前記カスケード式に前記端末に対応するオーディオ・プロトコル・ポートから、前記受信側制御サーバの対応するポートに送信すること、
前記受信側制御サーバが、前記事前設定ポリシに従い、前記受信したオーディオデータと当該受信側のオーディオデータの中から、オーディオ混合のためのオーディオデータの複数のチャネルを選択すること、および
前記オーディオデータの前記複数のチャネルのためのオーディオ混合を行い、前記データを各端末に送信すること、
を含む請求項3に記載の方法。
【請求項10】
前記事前設定ポリシは、前記オーディオデータの容量、前記端末の呼識別子、または前記端末の呼の順序とすることができる請求項4、5、7、8、または9に記載の方法。
【請求項11】
前記端末が前記マルチチャネル分離オーディオ・コーデック・プロトコルも複数のオーディオ論理チャネルもサポートしていない場合、前記制御サーバが、前記端末のためのオーディオ混合および符号化のリソースを作成することをさらに含み、
前記制御サーバが、前記オーディオ能力に従って、前記符号化オーディオデータから抽出された前記オーディオデータを各端末に転送することは、
前記制御サーバが、事前設定ポリシに従って、オーディオ混合のための複数の端末のオーディオデータを選択すること、および
前記オーディオデータを前記リソースによって復号し、オーディオ混合符号化を行い、次いで前記オーディオデータを前記端末に送信すること、
を含む請求項3に記載の方法。
【請求項12】
少なくとも1台の制御サーバと複数の端末とを備えるオーディオ処理システムであって、
前記制御サーバは、前記制御サーバにアクセスする各端末によって送信された符号化オーディオデータを受信し、各端末と能力ネゴシエーションを行って各端末のオーディオ能力を獲得し、前記オーディオ能力に従って、各端末に前記符号化オーディオデータから抽出されたオーディオデータを転送するように適合されており、
前記端末は、前記制御サーバにアクセスし、前記受信したオーディオデータを復号し、前記オーディオデータを自動的に混合し、前記オーディオデータを再生するように適合されている、
システム。
【請求項13】
制御サーバにアクセスする各端末によって送信された符号化オーディオデータを受信し、各端末と能力ネゴシエーションを行って各端末のオーディオ能力を獲得するように適合された獲得ユニットと、
前記オーディオ能力に従って、各端末に、前記符号化オーディオデータから抽出されたオーディオデータを転送するように適合された転送ユニットと、
を備える制御サーバ。
【請求項14】
前記獲得ユニットによって獲得された前記オーディオ能力が、マルチチャネル分離オーディオ・コーデック・プロトコルのサポートを示す場合、前記転送ユニットは、
事前設定ポリシに従って、オーディオ混合のための複数の端末のオーディオデータを選択するように適合された選択ユニットと、
前記複数の端末の個別チャネル内のオーディオデータを抽出するように適合された取得ユニットと、
前記抽出されたオーディオデータをパケットにカプセル化し、次いで前記パケットを、オーディオ論理チャネルを介して各端末またはカスケード接続されたポートに送信するように適合された送信ユニットと、
を備える請求項13に記載の制御サーバ。
【請求項15】
前記獲得ユニットによって獲得された前記オーディオ能力が、マルチチャネル分離オーディオ・コーデック・プロトコルのサポートを示し、前記制御サーバが複数のカスケード接続された制御サーバの中の送信側制御サーバである場合、前記転送ユニットは、
事前設定ポリシに従って、オーディオ混合のための複数の端末のオーディオデータを選択するように適合された選択ユニットと、
前記複数の端末の個別チャネル内のオーディオデータを抽出するように適合された取得ユニットと、
前記抽出されたオーディオデータをパケットにカプセル化し、次いで前記パケットを、カスケード式にオーディオ論理チャネルを介して受信側制御サーバに送信するように適合された送信ユニットと、
を備える請求項13に記載の制御サーバ。
【請求項16】
前記獲得ユニットによって獲得された前記オーディオ能力が、複数のオーディオ論理チャネルのサポートを示す場合、前記転送ユニットは、
事前設定ポリシに従って、オーディオ混合のための複数の端末のオーディオデータを選択するように適合された選択ユニットと、
前記複数の端末の前記オーディオデータを、前記複数のオーディオ論理チャネルを介して各端末に直接送信するように適合された送信ユニットと、
を備える請求項13に記載の制御サーバ。
【請求項17】
前記獲得ユニットによって獲得された前記オーディオ能力が、複数のオーディオ論理チャネルのサポートを示し、前記制御サーバが複数のカスケード接続された制御サーバの中の送信側制御サーバである場合、前記転送ユニットは、
事前設定ポリシに従って、オーディオ混合のための複数の端末のオーディオデータを選択するように適合された選択ユニットと、
前記複数の端末の前記オーディオデータを、カスケード式に前記複数のオーディオ論理チャネルを介して受信側制御サーバに送信するように適合された送信ユニットと、
を備える請求項13に記載の制御サーバ。
【請求項18】
前記制御サーバが、カスケード接続呼の複数のチャネルのための送信側制御サーバである場合、前記転送ユニットは、
事前設定ポリシに従って、オーディオ混合のための複数の端末のオーディオデータを選択するように適合された選択ユニットと、
前記複数の端末の前記オーディオデータを、カスケード式に、前記端末に対応するオーディオ・プロトコル・ポートから、受信側制御サーバの対応するポートに送信するように適合された送信ユニットと、
を備える請求項13に記載の制御サーバ。
【請求項19】
前記端末のためのオーディオ混合および符号化のリソースを作成するように適合されている作成ユニットをさらに備え、
前記転送ユニットは、
事前設定ポリシに従って、オーディオ混合のための複数の端末のオーディオデータを選択するように適合された選択ユニットと、
前記リソースによって前記オーディオデータを復号し、オーディオ混合符号化を行い、次いで前記オーディオデータを前記端末に送信するように適合された送信ユニットと、
を備える請求項13に記載の制御サーバ。
【図1】
【図2】
【図3】
【図4】
【図5】
【図6】
【図7】
【図8】
【図9】
【図10】
【図11】
【図12】
【図13】
【図14】
【図2】
【図3】
【図4】
【図5】
【図6】
【図7】
【図8】
【図9】
【図10】
【図11】
【図12】
【図13】
【図14】
【公表番号】特表2011−508546(P2011−508546A)
【公表日】平成23年3月10日(2011.3.10)
【国際特許分類】
【出願番号】特願2010−540017(P2010−540017)
【出願日】平成20年12月24日(2008.12.24)
【国際出願番号】PCT/CN2008/073694
【国際公開番号】WO2009/089717
【国際公開日】平成21年7月23日(2009.7.23)
【出願人】(502385872)華為技術有限公司 (139)
【Fターム(参考)】
【公表日】平成23年3月10日(2011.3.10)
【国際特許分類】
【出願日】平成20年12月24日(2008.12.24)
【国際出願番号】PCT/CN2008/073694
【国際公開番号】WO2009/089717
【国際公開日】平成21年7月23日(2009.7.23)
【出願人】(502385872)華為技術有限公司 (139)
【Fターム(参考)】
[ Back to top ]