通信装置及び通信方法
【課題】双方向通信における人間の特性を十分利用した高効率な双方向通信を実現することができる通信装置を提供すること。
【解決手段】通信装置１００は、伝送路１０２から受信した符号を復号する復号器１７０と、復号された信号の音圧を計測し、計測した音圧に基づいて通信相手の状況を判定する音圧計測部１８０と、通信相手の状況と符号器との対応関係を記憶したテーブル１２１と、トーナルディテクタ１１０からの調性の有無と、音圧計測部１８０からの通話中か否かの判定結果とに基づいて、テーブル１２１を参照し、高遅延用符号器１３０及び低遅延用符号器１４０から、通信相手の状況に対応した符号器を選択するモードセレクタ１２０と、を備える。
【解決手段】通信装置１００は、伝送路１０２から受信した符号を復号する復号器１７０と、復号された信号の音圧を計測し、計測した音圧に基づいて通信相手の状況を判定する音圧計測部１８０と、通信相手の状況と符号器との対応関係を記憶したテーブル１２１と、トーナルディテクタ１１０からの調性の有無と、音圧計測部１８０からの通話中か否かの判定結果とに基づいて、テーブル１２１を参照し、高遅延用符号器１３０及び低遅延用符号器１４０から、通信相手の状況に対応した符号器を選択するモードセレクタ１２０と、を備える。
【発明の詳細な説明】
【技術分野】
【０００１】
本発明は、音声／楽音を伝送する通信装置及び通信方法に係り、詳細には、双方向でリアルタイムに音声及び／又は音楽を伝送する通信装置及び通信方法に関する。
【背景技術】
【０００２】
移動体通信においては伝送帯域の有効利用のために音声及び画像のディジタル情報の圧縮符号化が必須である。その中でも携帯電話で広く利用されている音声コーデック（符号化／復号化）技術に対する期待は大きく、圧縮率の高い従来の高効率符号化に加えて、更によりよい音質の要求が強まっている。また、公衆で使用されるために標準化が必須であり、それに伴う知財権の強さゆえに世界の各社で研究開発が盛んに行われている。
【０００３】
近年では、音声も音楽も符号化できるコーデックの標準化がＩＴＵ−Ｔ（International Telecommunication Union−Telecommunication Standardization Sector）やＭＰＥＧ（Moving Picture Experts Group）で検討されており、より効率的で高品質の音声及び音楽の伝送が求められている。
【０００４】
２０年前に確立された音声の発声機構をモデル化してベクトル量子化を巧みに応用した基本方式「ＣＥＬＰ（Code Excited Linear Prediction）」によって、音声符号化技術は大きく性能を向上させている。ＣＥＬＰは、ＩＴＵ−Ｔ標準Ｇ．７２９、Ｇ．７２２．２、ＥＴＳＩ（European Telecommunications Standards Institute）標準ＡＭＲ（Adaptive Multiple Rate Coding）、ＡＭＲ−ＷＢ（Adaptive Multiple Rate −Wide Band）、３ＧＰＰ（3rd Generation Partnership Project）２標準ＶＭＲ−ＷＢ（Variable Multiple rate−Wide Band）などの国際規格をはじめ、多くの標準方式に採用されている。
【０００５】
ＣＥＬＰは、低遅延で音声信号を符号化するのに適したコーデック方式である。一方、最近では「より高品質に」というニーズに対応するために広帯域信号（１６ｋｂｐｓ）、超広帯域信号（３２ｋｂｐｓ）を符号化するコーデックが求められており、ＩＴＵ−Ｔ、ＭＰＥＧ、３ＧＰＰなどで標準化が進んでいる。
【０００６】
また、音声信号だけでなく、楽音信号の符号化のニーズも高く、近年ＩＴＵ−Ｔや３ＧＰＰで標準化されているものは、１つのコーデックで音声と音楽とのモードを備えている。また、ＩＴＵ−Ｔ標準Ｇ．７１８のように各モードのコーデックがスケーラブル構成になっているものも実用に向けて検討が進んでいる。
【０００７】
図１は、従来のモードセレクタを取り入れたコーデックを説明する図である。
【０００８】
図１に示すように、符号化装置１０は、モードセレクタ１１と、符号器Ａ１２と、符号器Ｂ１３と、スイッチ１４，１５と、を備える。
【０００９】
符号器Ａ１２と符号器Ｂ１３とは、異なる特徴を持つ符号器である。
【００１０】
入力信号１は、まずモードセレクタ１１に入力される。ここで、入力信号１は、音声信号、楽音信号、音声及び音楽を含む信号、のいずれであってもよい。
【００１１】
モードセレクタ１１は、符号器Ａ１２と符号器Ｂ１３とのどちらで符号化するのが適当であるかを選択する。モードセレクタ１１は、選択結果に従ってスイッチ１４，１５を切り替え、いずれかの符号器で符号化を行い、得られた符号２を伝送する。この際、モードセレクタ１１から得られるモード情報も併せて符号３として伝送する。
【００１２】
モードセレクタ１１でのモード選択の根拠となるパラメータの例としては、フレームエネルギ、スペクトル毎のエネルギ、周期性、定常性、有声性／無声性、調性（Tonality）などが挙げられる。
【００１３】
符号器Ａ１２と符号器Ｂ１３とについては、「ＣＥＬＰなどの時間軸符号化器と、ＦＰＣ（factorial pulse coding）、ＡＡＣ（Advanced Audio Coding）、ＡＭＲ−ＷＢ＋（Adaptive Multiple Rate−Wideband plus）などの変換符号化器」、又は、「ＣＥＬＰなどの低遅延符号化器と、ＦＰＣ、ＡＡＣ、ＡＭＲ−ＷＢ＋などの高遅延符号化器」、又は、「ＣＥＬＰなどの音声に適した符号器と、ＦＰＣ、ＡＡＣ、ＡＭＲ−ＷＢ＋などの音楽に適した符号器」、又は、「高ビットレートの符号器と、低ビットレートの符号器」、などが挙げられる。
【００１４】
上記従来例により、例えばＩＴＵ−Ｔ Ｇ．７１８のように、符号器Ａ１２と、符号器Ｂ１３として「音声に適した符号器と、音楽に適した符号器」を備える。モードセレクタ１１は、入力信号の調性を求め、それがあらかじめ定められたしきい値未満の場合には音声であるとして音声に適した符号器を使用し、しきい値以上の場合には音楽であるとして音楽に適した符号器を使用する。これにより、より高品質な高効率的通信が可能になる。
【００１５】
しかし、この従来例は、送信側に入力される入力信号に対応して適応的に高品質又は高効率通信を実現するものではあるものの、双方向通信の特徴を利用するものではなく効率化は不十分であった。
【００１６】
特許文献１には、収集した通信環境情報に基づいてマルチモード通信を行う移動体通信システムが記載されている。特許文献１記載の移動体通信システムは、移動体通信を行う移動局に、通信環境情報を収集する通信環境情報収集部と、収集された通信環境情報により、当該通信環境に適合した通信モードを決定する通信モード決定部と、予め用意された２種以上の通信モードのうちから、いずれかの通信モードを選択して、移動局による通信を実行する送信部とを備える。
【００１７】
特許文献２には、受信側の使用環境を考慮して送信側の伝送ビットレートを制御することにより、所定の品質を維持しつつ効率的な音声信号／楽音信号の符号化を行うことができる通信装置が記載されている。特許文献２記載の通信装置は、受信側において自動車又は電車の走行音等が存在した場合、受信側においてそのような環境雑音を認識し、環境雑音によるマスキング効果を利用する。送信側は、音声信号／楽音信号を、人間の聴感に影響のない範囲で最小限の伝送ビットレートを用いて通信することが可能となる。これにより回線効率を大幅に向上させることができる。また、受信側の環境雑音に加え、送信側における環境雑音の情報を検知し、これを音声信号／楽音信号の符号化に利用することにより、さらに効率的な通信が可能となる。
【先行技術文献】
【特許文献】
【００１８】
【特許文献１】特開平１１−３３１９３６号公報
【特許文献２】特開２００５−２４１７６１号公報
【特許文献３】特開平９−３４４９７号公報
【発明の概要】
【発明が解決しようとする課題】
【００１９】
しかしながら、上記特許文献１，２記載の装置では、双方向音声通信において、「音楽は比較的長時間黙って聞く」あるいは「相手の話を聞く時は話ができない」といった双方向通信における人間の特性を十分利用していない。このため、双方向でリアルタイム音声通信を行う音声通信装置に適用した場合、効率化が不十分であった。
【００２０】
また、双方向通信における利用方法については、他の音声通信装置についても同様の課題がある。例えば、近年標準化が進んでいるＧ．７１８ではモードセレクタに応じたマルチモード符号化を行っており、送信側に入力される入力信号に対応して適応的に高品質／高効率通信を実現している。しかし、双方向通信の特徴を利用するものではなく効率化は不十分であった。
【００２１】
本発明の目的は、双方向通信における人間の特性を十分利用した高効率な双方向通信を実現することができる通信装置及び通信方法を提供することである。
【課題を解決するための手段】
【００２２】
本発明の通信装置は、双方向でリアルタイムに音声／音楽の通信を行う通信装置であって、入力信号を符号化する、互いに異なる複数の符号器と、通信相手の状況と符号器との対応関係を記憶したテーブルと、受信した符号を復号する復号器と、前記復号して得られた信号の音圧を計測し、計測した音圧に基づいて通信相手の状況を判定する音圧計測部と、前記音圧計測部の判定結果に基づいて前記テーブルを参照し、前記複数の符号器から、前記入力信号の符号化を実行させる一つの符号器を選択するモードセレクタと、を備える構成を採る。
【００２３】
本発明の通信方法は、互いに異なる複数の符号器を有する通信装置により、双方向でリアルタイムに音声／音楽の通信を行う通信方法であって、受信した符号を復号する復号ステップと、前記復号して得られた信号の音圧を計測し、計測した音圧に基づいて通信相手の状況を判定する判定ステップと、前記判定ステップの判定結果に基づいて、通信相手の状況と符号器との対応関係を記憶したテーブルを参照し、前記複数の符号器から、入力信号の符号化を実行させる一つの符号器を選択する選択ステップと、を有する。
【発明の効果】
【００２４】
本発明によれば、「音楽は比較的長時間黙って聞く」あるいは「相手の話を聞く時は話ができない」といった双方向通信における人間の特性を十分利用した高効率な双方向通信を実現することができる。
【図面の簡単な説明】
【００２５】
【図１】従来のモードセレクタを取り入れたコーデックを説明する図
【図２】本発明の実施の形態１に係る通信装置の構成を示す機能ブロック図
【図３】上記実施の形態１に係る通信装置の音圧計測部の構成を示す機能ブロック図
【図４】本発明の実施の形態２に係る通信装置の構成を示す機能ブロック図
【発明を実施するための形態】
【００２６】
以下、本発明の実施の形態について図面を参照して詳細に説明する。
【００２７】
（実施の形態１）
図２は、実施の形態１に係る通信装置の構成を示す機能ブロック図である。本実施の形態は、双方向で音声及び／又は音楽のリアルタイム通信を行う双方向リアルタイム通信装置に適用した例である。図２においては、音声／音楽の通信制御に直接関係しない機能ブロックの記載は省略されている。
【００２８】
図２に示すように、通信装置１００は、トーナルディテクタ１１０と、音圧計測部１８０の判定結果及びテーブル１２１を参照して、符号器を選択するモードセレクタ１２０と、入力信号１０１を符号化する、互いに異なる高遅延用符号器１３０と低遅延用符号器１４０と、スイッチ１５０，１６０と、復号器１７０と、音圧計測部１８０と、を備える。ここで、入力信号１０１は、音声信号、楽音信号、音声及び音楽を含む信号、のいずれであってもよい。
【００２９】
トーナルディテクタ１１０は、入力信号１０１をスペクトルに変換した後、調性（Tonality）を分析する。トーナルディテクタ１１０は、調性が有る場合「１」を、調性が無い場合「０」をモードセレクタ１２０に出力する。分析アルゴリズムの例としては、ＩＴＵ−Ｔ標準Ｇ．７１８の規格書に記載（６．７．２．２．４章「Tonal Stability」）されたアルゴリズムが挙げられる。この分析アルゴリズムの例には、スペクトルを入力して最後にTonalityの有無で「１」、「０」のフラグを送るアルゴリズムが詳細に記載されている。
【００３０】
モードセレクタ１２０は、通信相手の状況に対応して使用する符号器をあらかじめ記憶するテーブル１２１を有する。なお、テーブル１２１は、モードセレクタ１２０と別体で設けられていてもよい。
【００３１】
テーブル１２１は、通信相手の状況と符号器との対応関係を記憶する。テーブル１２１は、通信相手の状況、望まれている対応、及び使用する符号器を、〔表１〕に示すように一覧形式で記憶している。表１において、ａはトーナルディテクタ１１０から得られる「調性の有無を示す値」を表し、ｂは音圧計測部１８０からの「通話中か否かを示す値」を表す。
【００３２】
【表１】
【００３３】
〔表１〕に示すように、通信相手の状況には、「黙って話を聞いている」「音声通話中に話している」「音楽送信中に黙って聞いている」「音楽送信中に話始めている」がある。このうち、通信相手の状況が「音楽送信中に黙って聞いている」場合の、望まれている対応は「高遅延音楽」であり、使用する符号器は「高遅延用符号器」である。
【００３４】
モードセレクタ１２０は、トーナルディテクタ１１０から得られる「調性の有無を示す値」であるａの値と、音圧計測部１８０の判定結果であるｂの値とに基づいて、〔表１〕に示すテーブル１２１を参照して符号器のモードを選択する。具体的には、モードセレクタ１２０は、トーナルディテクタ１１０からの調性の有無を示す「１」又は「０」と、音圧計測部１８０からの「通話中か否かを示す値」である「１」又は「０」との組み合わせにより、使用する符号器を選択し、該当符号器を選択する切換信号をスイッチ１５０，１６０に出力する。また、モードセレクタ１２０は、どちらの符号器を使ったかというモード情報１０４を、符号器（高遅延用符号器１３０又は低遅延用符号器１４０）から得られる符号１０３と共に出力する。
【００３５】
高遅延用符号器１３０は、入力信号１０１を符号化し送信用コードを出力する。高遅延用符号器１３０は、遅延が大きく、音楽の符号化に適した符号器である。
【００３６】
低遅延用符号器１４０は、入力信号１０１を符号化し送信用コードを出力する。低遅延用符号器１４０は、遅延が小さく、音声の符号化に適した符号器である。
【００３７】
スイッチ１５０，１６０は、モードセレクタ１２０からの切換信号を受けて、符号器を高遅延用符号器１３０又は低遅延用符号器１４０に切換える。
【００３８】
復号器１７０は、伝送路１０２から受信した符号を復号して復号信号を出力する。
【００３９】
音圧計測部１８０は、復号器１７０により復号された信号の音圧を計測し、計測した音圧に基づいて通信相手の状況（通話中であるか否か）を判定する。音圧計測部１８０は、判定結果である「通話中か否かを示す値」「１」「０」をモードセレクタ１２０に出力する。
【００４０】
図３は、音圧計測部１８０の構成を示す機能ブロック図である。
【００４１】
図３に示すように、音圧計測部１８０は、有声／無声判定部１８１と、背景音測定部１８２と、音圧測定部１８３と、測定結果判定部１８４と、を備える。
【００４２】
有声／無声判定部１８１は、まず復号信号２０１に対してスペクトル分析を行う。スペクトル分析の方法としてはＤＣＴ（Discrete Cosine Transform）、ＦＦＴ（Fast Fourier Transform）などの直交変換が挙げられる。どちらでも周波数毎のパワーが求められるのでそれを使用する。
【００４３】
次に、有声／無声判定部１８１は、そのフレームが有声であるか無声であるかを判定する。判定方法としては、さまざまな方法がこれまで開発されているが、最も単純なものとして、長期相関を計算し、相関値が大きく基本周期に当たるピッチ成分が連続している場合に「有声区間」と判断するという方法が挙げられる。
【００４４】
この際には、背景音測定部１８２内に格納されている背景音のスペクトルを用いて、これよりもパワーが明らかに大きい場合に有声であると判断するという判定も組み合わせると性能を更に向上することができる。また、上記判定を用いることが一般的である。本実施の形態では、有声／無声判定部１８１は、「有声区間」と判定されなかった区間を「無声区間」と判定する。有声／無声判定部１８１は、「無声区間」と判定された場合、背景音測定部１８２に無声区間のスペクトルを送る。また、有声／無声判定部１８１は、有声／無声に関わらず音圧測定部１８３に無声区間のスペクトルを出力する。
【００４５】
背景音測定部１８２は、内部に平均環境スペクトルを格納する格納部を持っており、有声／無声判定部１８１から得られた無声区間のスペクトルで、上記格納された平均環境スペクトルを更新する。
【００４６】
更新アルゴリズムとしては、特許文献３に記載のノイズ削減装置のノイズ推定部のアルゴリズムが挙げられる。本実施の形態で述べている平均環境スペクトルは、特許文献３に記載のノイズ削減装置におけるノイズスペクトルに対応する。
【００４７】
背景音測定部１８２は、更新した平均環境スペクトルを、背景音測定部１８２の前記内部の格納部に格納する。また、背景音測定部１８２は、更新したスペクトルを次のフレームで有声／無声判定部１８１に送る。また、背景音測定部１８２は、平均環境スペクトルの総和を求め、環境パワーとして測定結果判定部１８４へ送る。
【００４８】
音圧測定部１８３は、有声／無声判定部１８１から送られてきたスペクトルの総和を求めて、そのフレームの信号パワーとする。信号パワーは、通信相手が「話をしているかどうか」の尺度になる値であり、ある程度の長期に渡って観測する必要がある。そこで、音圧測定部１８３は、内部に信号パワーの履歴を格納しておき、前記信号パワーで格納領域を更新する。アルゴリズムは、次式（１）で示される。
【００４９】
ＰＳｉ＝ＰＳｉ−１ ｉ＝Ｔ−１，Ｔ−２，…，２，１
ＰＳ０＝ｐＳ …（１）
但し ｐＳ：信号パワー、ＰＳ：信号パワーの履歴、Ｔ：観測する時間
音圧測定部１８３は、信号パワーの平均を求めて平均信号パワーを求める。計算法は、次式（２）に示される。
【００５０】
【数１】
但し ＰＳＡＶ：平均信号パワー
音圧測定部１８３は、式（２）で求めた平均信号パワーを測定結果判定部１８４に送る。
【００５１】
測定結果判定部１８４は、背景音測定部１８２から得られた環境パワーと、音圧測定部１８３から得られた平均信号パワーとを用いて、通信相手が通話中であるかどうかを判定する。環境パワーは「通話していない場合の音圧」を示しているので、この値よりも平均信号パワーが十分大きい時には「通話中（１）」、そうでない場合には「黙っている状態（０）」ということで状態を１ビットで表し、測定結果２０２としてモードセレクタ１２０に出力する。判定アルゴリズムは、次式（３）に示される。
【００５２】
【数２】
以下、上述のように構成された通信装置１００の動作について説明する。
【００５３】
図２に示すように、まず、伝送路１０２を経由して通信相手から送られてきた符号が復号器１７０に入力される。復号器１７０は、入力された符号を復号し、復号信号（例えば復号音声）を音圧計測部１８０に出力する。
【００５４】
音圧計測部１８０は、復号された信号の音圧を計測し、計測した音圧に基づいて通信相手の状況を判定し、判定結果をモードセレクタ１２０に出力する。音圧計測部１８０は、判定結果として、通話中の場合「１」、相手が黙っている場合「０」を出力する。
【００５５】
一方、入力信号１０１は、スイッチ１５０を介して高遅延用符号器１３０又は低遅延用符号器１４０に入力される。また、入力信号１０１はトーナルディテクタ１１０にも入力される。
【００５６】
トーナルディテクタ１１０は、入力信号１０１をスペクトルに変換した後、調性を分析し、調性が有る場合「１」を、調性が無い場合「０」をモードセレクタ１２０に出力する。
【００５７】
モードセレクタ１２０は、トーナルディテクタ１１０からの調性の有無を示す「１」又は「０」と、音圧計測部１８０からの「通話中か否かを示す値」である「１」又は「０」とに基づいて、テーブル１２１の〔表１〕を参照し、符号器を選択する切換信号をスイッチ１５０，１６０に出力する。また、モードセレクタ１２０は、どちらの符号器を使ったかというモード情報１０４を、符号器（高遅延用符号器１３０又は低遅延用符号器１４０）から得られる符号１０３と共に出力する。
【００５８】
スイッチ１５０，１６０は、モードセレクタ１２０からの切換信号を受けて、符号器を高遅延用符号器１３０又は低遅延用符号器１４０に切換える。
【００５９】
本実施の形態では、通信相手の状況に対応して、遅延が大きく音楽の符号化に適した高遅延用符号器１３０か、遅延が小さく音声の符号化に適した低遅延用符号器１４０のいずれかが選択される。
【００６０】
以上詳細に説明したように、通信装置１００は、双方向で音声／音楽のリアルタイム通信を行う通信装置であって、入力信号１０１から調性を分析するトーナルディテクタ１１０と、入力信号１０１を符号化する遅延が大きく音楽の符号化に適した高遅延用符号器１３０と、遅延が小さく音声の符号化に適した低遅延用符号器１４０と、伝送路１０２から受信した符号を復号する復号器１７０と、復号された信号の音圧を計測し、計測した音圧に基づいて通信相手の状況を判定する音圧計測部１８０と、通信相手の状況と符号器との対応関係を記憶したテーブル１２１と、トーナルディテクタ１１０からの調性の有無及び音圧計測部１８０からの通話中か否かの判定結果に基づいて、テーブル１２１を参照し、高遅延用符号器１３０及び低遅延用符号器１４０から通信相手の状況に対応した符号器を選択するモードセレクタ１２０と、を備える。モードセレクタ１２０は、トーナルディテクタ１１０から「調性が有」を受け、かつ音圧計測部１８０から「通話中でない」との判定結果を受けた場合（すなわち、（ａ，ｂ）＝（１，０）の場合）、高遅延用符号器１３０を選択し、それ以外は低遅延用符号器１４０を選択する。
【００６１】
この構成により、通信相手の状況に対応した適切な符号器を使用することができ、相手側あるいは送信側の状況に適切な符号器で符号化することによって高効率な双方向音声を実現することができる。その結果、「音楽は比較的長時間黙って聞く」あるいは「相手の話を聞く時は話ができない」といった双方向通信における人間の特性を十分利用した高効率な双方向通信を実現することができる。
【００６２】
本実施の形態では、音楽は高遅延でより高品質符号化でき、通話は低遅延で通話環境を良くすることができ、双方向通信の品質をより良くすることができる。
【００６３】
（実施の形態２）
図４は、実施の形態２に係る通信装置の構成を示す機能ブロック図である。本実施の形態も実施の形態１と同様に、双方向で音声及び／又は音楽のリアルタイム通信を行う双方向リアルタイム通信装置に適用した例を示す。図４においても図２と同様に、音声／音楽の通信制御に直接関係しない機能ブロックの記載は省略されている。本実施の形態の説明に当り、図２と同一構成部分には同一番号を付して重複箇所の説明を省略する。
【００６４】
本実施の形態は、符号器として高ビットレート符号器２３０と低ビットレート符号器２４０とを用いた場合の例である。
【００６５】
本実施の形態の通信装置２００の基本動作は、実施の形態１とほぼ同様であるので、同じ動作については説明を省略する。
【００６６】
図４に示すように、通信装置２００は、音圧計測部１８０の判定結果及びテーブル２２１を参照して、符号器を選択するモードセレクタ２２０と、入力信号１０１を符号化する、互いに異なる高ビットレート符号器２３０と低ビットレート符号器２４０と、スイッチ２５０，２６０と、復号器１７０と、音圧計測部１８０と、を備える。ここで、入力信号１０１は、音声信号、楽音信号、音声及び音楽を含む信号、のいずれであってもよい。
【００６７】
モードセレクタ２２０は、通信相手の状況に対応して使用する符号器をあらかじめ記憶するテーブル２２１を有する。なお、テーブル２２１は、モードセレクタ２２０と別体で設けられていてもよい。
【００６８】
テーブル２２１は、通信相手の状況と符号器との対応関係を記憶する。テーブル２２１は、通信相手の状況、望まれている対応、及び使用する符号器を、〔表２〕に示すように一覧形式で記憶している。表２において、ｂは音圧計測部１８０からの「通話中か否かを示す値」を表す。
【００６９】
【表２】
【００７０】
〔表２〕に示すように、通信相手の状況には、「黙って話を聞いている」「話している（こちらが聞いている）」がある。このうち、通信相手の状況が「黙って話を聞いている」場合の、望まれている対応は「高品質音声」であり、使用する符号器は「高ビットレート符号器」である。
【００７１】
モードセレクタ２２０は、音圧計測部１８０の判定結果であるｂの値に基づいて、〔表２〕に示すテーブル２２１を参照して符号器のモードを選択する。具体的には、モードセレクタ２２０は、音圧計測部１８０からの「通話中か否かを示す値」である「１」又は「０」により、使用する符号器を選択し、該当符号器を選択する切換信号をスイッチ２５０，２６０に出力する。また、モードセレクタ２２０は、どちらの符号器を使ったかというモード情報２０４を、符号器（高ビットレート符号器２３０又は低ビットレート符号器２４０）から得られる符号２０３と共に出力する。
【００７２】
高ビットレート符号器２３０は、入力信号１０１を符号化し送信用コードを出力する。高ビットレート符号器２３０は、高品質であるが情報量（ビットレート）が多い符号化に適した符号器である。
【００７３】
低ビットレート符号器２４０は、入力信号１０１を符号化し送信用コードを出力する。低ビットレート符号器２４０は、低品質であるが情報量が少ない符号器である。
【００７４】
本実施の形態では「高品質だが情報量（ビットレート）が多い」高ビットレート符号器２３０と、「低品質だが情報量が少ない」低ビットレート符号器２４０のどちらかを選択する。
【００７５】
本実施の形態では、通信相手の状況に対応して、高品質であるが情報量（ビットレート）が多い符号化に適した高ビットレート符号器２３０か、低品質であるが情報量（ビットレート）が少ない符号化に適した低ビットレート符号器２４０のいずれかが選択される。
【００７６】
このように、本実施の形態によれば、通信装置２００は、音圧計測部１８０と、通信相手の状況と符号器との対応関係を記憶したテーブル２２１と、音圧計測部１８０からの通話中か否かの判定結果に基づいて、テーブル２２１を参照し、高ビットレート符号器２３０及び低ビットレート符号器２４０から、通信相手の状況に対応した符号器を選択するモードセレクタ２２０と、を備える。モードセレクタ２２０は、音圧計測部１８０から「通信相手が通話中でない」との判定結果を受けた場合、高ビットレート符号器２３０を選択し、それ以外は低ビットレート符号器２４０を選択する。
【００７７】
この構成により、通信相手の状況に対応した適切な符号器を使用することができ、「音楽は比較的長時間黙って聞く」あるいは「相手の話を聞く時は話ができない」といった双方向通信における人間の特性を十分利用した高効率な双方向通信を実現することができる。
【００７８】
具体的には、本実施の形態では、平均ビットレートを下げ、情報量を節約する高効率な音声／音楽の通信を実現することができる。
【００７９】
例えば、相手が聞いている場合にはより高品質で符号化でき、相手が話をしている場合は、自分は主に聞いているので低品質でも低ビットレートで伝送することができ、双方向通信の伝送情報量の効率をより良くすることができる。
【００８０】
以上、実施の形態について説明した。
【００８１】
以上の説明は本発明の好適な実施の形態の例証であり、本発明の範囲はこれに限定されることはない。
【００８２】
上記各実施の形態では、「高遅延用符号器と低遅延用符号器」「高ビットレート符号器と低ビットレート符号器」の２つの例を挙げたが、そのほかにも様々な符号器を扱うことができる。例えば、「時間軸符号器と変換符号器」は、実施の形態１と同様に音声に適した符号器と音楽に適した符号器とであるので、実施の形態１と同様に使用することができる。通信相手の状況により切り替えることで効果が得られることは多い。
【００８３】
また、上記各実施の形態では、符号器は２つを切り替えたが、これは３つ以上でも有効である。
【００８４】
また、音圧計測部１８０及び／又はトーナルディテクタ１１０の出力を、１ビットではなく、もっと細かく段階的にすれば、モードセレクタ１２０，２２０で、もっと段階的な符号器の選択ができる。例えば、実施の形態２では、ビットレートを４つ用意して、相手の音圧の度合いに応じたビットレートを設定することができる。
【００８５】
上記各実施の形態では、通信装置、という名称を用いたが、これは説明の便宜上であり、装置は音声通信装置、移動体通信システム等であってもよい。また、テーブルは、記憶部と呼称してもよく、どのような形でどこに設けられていてもよい。
【００８６】
さらに、上記各通信装置を構成する各構成部、例えば復号器の種類、無線伝搬環境などは前述した実施の形態に限られない。
【００８７】
また、上記各実施の形態では、本発明をハードウェアで構成する場合を例にとって説明したが、本発明はハードウェアとの連携においてソフトウェアでも実現することも可能である。例えば、上記各実施の形態において用いたモードセレクタ及びスイッチは、ソフトウェアで実現する場合には、例えばＩＦ文による分岐を用いたプログラムとして実現することができる。
【００８８】
また、上記各実施の形態の説明に用いた各機能ブロックは、典型的には集積回路であるＬＳＩとして実現される。これらは個別に１チップ化されてもよいし、一部又は全てを含むように１チップ化されてもよい。ここでは、ＬＳＩとしたが、集積度の違いにより、ＩＣ、システムＬＳＩ、スーパーＬＳＩ、ウルトラＬＳＩと呼称されることもある。
【００８９】
また、集積回路化の手法はＬＳＩに限るものではなく、専用回路又は汎用プロセッサで実現してもよい。ＬＳＩ製造後に、プログラムすることが可能なＦＰＧＡ（Field Programmable Gate Array）、又は、ＬＳＩ内部の回路セルの接続又は設定を再構成可能なリコンフィギュラブルプロセッサを利用してもよい。
【００９０】
さらには、半導体技術の進歩又は派生する別技術によりＬＳＩに置き換わる集積回路化の技術が登場すれば、当然、その技術を用いて機能ブロックの集積化を行ってもよい。例えば、バイオ技術の適用等が可能である。
【産業上の利用可能性】
【００９１】
本発明の通信装置は、双方向でリアルタイムに音声／楽音を伝送する通信装置等に有用である。また、移動通信システムの通信端末装置に用いて好適である。
【符号の説明】
【００９２】
１００，２００ 通信装置
１１０ トーナルディテクタ
１２０，２２０ モードセレクタ
１２１，２２１ テーブル
１３０ 高遅延用符号器
１４０ 低遅延用符号器
１５０，１６０，２５０，２６０ スイッチ
１７０ 復号器
１８０ 音圧計測部
１８１ 有声／無声判定部
１８２ 背景音測定部
１８３ 音圧測定部
１８４ 測定結果判定部
２３０ 高ビットレート符号器
２４０ 低ビットレート符号器
【技術分野】
【０００１】
本発明は、音声／楽音を伝送する通信装置及び通信方法に係り、詳細には、双方向でリアルタイムに音声及び／又は音楽を伝送する通信装置及び通信方法に関する。
【背景技術】
【０００２】
移動体通信においては伝送帯域の有効利用のために音声及び画像のディジタル情報の圧縮符号化が必須である。その中でも携帯電話で広く利用されている音声コーデック（符号化／復号化）技術に対する期待は大きく、圧縮率の高い従来の高効率符号化に加えて、更によりよい音質の要求が強まっている。また、公衆で使用されるために標準化が必須であり、それに伴う知財権の強さゆえに世界の各社で研究開発が盛んに行われている。
【０００３】
近年では、音声も音楽も符号化できるコーデックの標準化がＩＴＵ−Ｔ（International Telecommunication Union−Telecommunication Standardization Sector）やＭＰＥＧ（Moving Picture Experts Group）で検討されており、より効率的で高品質の音声及び音楽の伝送が求められている。
【０００４】
２０年前に確立された音声の発声機構をモデル化してベクトル量子化を巧みに応用した基本方式「ＣＥＬＰ（Code Excited Linear Prediction）」によって、音声符号化技術は大きく性能を向上させている。ＣＥＬＰは、ＩＴＵ−Ｔ標準Ｇ．７２９、Ｇ．７２２．２、ＥＴＳＩ（European Telecommunications Standards Institute）標準ＡＭＲ（Adaptive Multiple Rate Coding）、ＡＭＲ−ＷＢ（Adaptive Multiple Rate −Wide Band）、３ＧＰＰ（3rd Generation Partnership Project）２標準ＶＭＲ−ＷＢ（Variable Multiple rate−Wide Band）などの国際規格をはじめ、多くの標準方式に採用されている。
【０００５】
ＣＥＬＰは、低遅延で音声信号を符号化するのに適したコーデック方式である。一方、最近では「より高品質に」というニーズに対応するために広帯域信号（１６ｋｂｐｓ）、超広帯域信号（３２ｋｂｐｓ）を符号化するコーデックが求められており、ＩＴＵ−Ｔ、ＭＰＥＧ、３ＧＰＰなどで標準化が進んでいる。
【０００６】
また、音声信号だけでなく、楽音信号の符号化のニーズも高く、近年ＩＴＵ−Ｔや３ＧＰＰで標準化されているものは、１つのコーデックで音声と音楽とのモードを備えている。また、ＩＴＵ−Ｔ標準Ｇ．７１８のように各モードのコーデックがスケーラブル構成になっているものも実用に向けて検討が進んでいる。
【０００７】
図１は、従来のモードセレクタを取り入れたコーデックを説明する図である。
【０００８】
図１に示すように、符号化装置１０は、モードセレクタ１１と、符号器Ａ１２と、符号器Ｂ１３と、スイッチ１４，１５と、を備える。
【０００９】
符号器Ａ１２と符号器Ｂ１３とは、異なる特徴を持つ符号器である。
【００１０】
入力信号１は、まずモードセレクタ１１に入力される。ここで、入力信号１は、音声信号、楽音信号、音声及び音楽を含む信号、のいずれであってもよい。
【００１１】
モードセレクタ１１は、符号器Ａ１２と符号器Ｂ１３とのどちらで符号化するのが適当であるかを選択する。モードセレクタ１１は、選択結果に従ってスイッチ１４，１５を切り替え、いずれかの符号器で符号化を行い、得られた符号２を伝送する。この際、モードセレクタ１１から得られるモード情報も併せて符号３として伝送する。
【００１２】
モードセレクタ１１でのモード選択の根拠となるパラメータの例としては、フレームエネルギ、スペクトル毎のエネルギ、周期性、定常性、有声性／無声性、調性（Tonality）などが挙げられる。
【００１３】
符号器Ａ１２と符号器Ｂ１３とについては、「ＣＥＬＰなどの時間軸符号化器と、ＦＰＣ（factorial pulse coding）、ＡＡＣ（Advanced Audio Coding）、ＡＭＲ−ＷＢ＋（Adaptive Multiple Rate−Wideband plus）などの変換符号化器」、又は、「ＣＥＬＰなどの低遅延符号化器と、ＦＰＣ、ＡＡＣ、ＡＭＲ−ＷＢ＋などの高遅延符号化器」、又は、「ＣＥＬＰなどの音声に適した符号器と、ＦＰＣ、ＡＡＣ、ＡＭＲ−ＷＢ＋などの音楽に適した符号器」、又は、「高ビットレートの符号器と、低ビットレートの符号器」、などが挙げられる。
【００１４】
上記従来例により、例えばＩＴＵ−Ｔ Ｇ．７１８のように、符号器Ａ１２と、符号器Ｂ１３として「音声に適した符号器と、音楽に適した符号器」を備える。モードセレクタ１１は、入力信号の調性を求め、それがあらかじめ定められたしきい値未満の場合には音声であるとして音声に適した符号器を使用し、しきい値以上の場合には音楽であるとして音楽に適した符号器を使用する。これにより、より高品質な高効率的通信が可能になる。
【００１５】
しかし、この従来例は、送信側に入力される入力信号に対応して適応的に高品質又は高効率通信を実現するものではあるものの、双方向通信の特徴を利用するものではなく効率化は不十分であった。
【００１６】
特許文献１には、収集した通信環境情報に基づいてマルチモード通信を行う移動体通信システムが記載されている。特許文献１記載の移動体通信システムは、移動体通信を行う移動局に、通信環境情報を収集する通信環境情報収集部と、収集された通信環境情報により、当該通信環境に適合した通信モードを決定する通信モード決定部と、予め用意された２種以上の通信モードのうちから、いずれかの通信モードを選択して、移動局による通信を実行する送信部とを備える。
【００１７】
特許文献２には、受信側の使用環境を考慮して送信側の伝送ビットレートを制御することにより、所定の品質を維持しつつ効率的な音声信号／楽音信号の符号化を行うことができる通信装置が記載されている。特許文献２記載の通信装置は、受信側において自動車又は電車の走行音等が存在した場合、受信側においてそのような環境雑音を認識し、環境雑音によるマスキング効果を利用する。送信側は、音声信号／楽音信号を、人間の聴感に影響のない範囲で最小限の伝送ビットレートを用いて通信することが可能となる。これにより回線効率を大幅に向上させることができる。また、受信側の環境雑音に加え、送信側における環境雑音の情報を検知し、これを音声信号／楽音信号の符号化に利用することにより、さらに効率的な通信が可能となる。
【先行技術文献】
【特許文献】
【００１８】
【特許文献１】特開平１１−３３１９３６号公報
【特許文献２】特開２００５−２４１７６１号公報
【特許文献３】特開平９−３４４９７号公報
【発明の概要】
【発明が解決しようとする課題】
【００１９】
しかしながら、上記特許文献１，２記載の装置では、双方向音声通信において、「音楽は比較的長時間黙って聞く」あるいは「相手の話を聞く時は話ができない」といった双方向通信における人間の特性を十分利用していない。このため、双方向でリアルタイム音声通信を行う音声通信装置に適用した場合、効率化が不十分であった。
【００２０】
また、双方向通信における利用方法については、他の音声通信装置についても同様の課題がある。例えば、近年標準化が進んでいるＧ．７１８ではモードセレクタに応じたマルチモード符号化を行っており、送信側に入力される入力信号に対応して適応的に高品質／高効率通信を実現している。しかし、双方向通信の特徴を利用するものではなく効率化は不十分であった。
【００２１】
本発明の目的は、双方向通信における人間の特性を十分利用した高効率な双方向通信を実現することができる通信装置及び通信方法を提供することである。
【課題を解決するための手段】
【００２２】
本発明の通信装置は、双方向でリアルタイムに音声／音楽の通信を行う通信装置であって、入力信号を符号化する、互いに異なる複数の符号器と、通信相手の状況と符号器との対応関係を記憶したテーブルと、受信した符号を復号する復号器と、前記復号して得られた信号の音圧を計測し、計測した音圧に基づいて通信相手の状況を判定する音圧計測部と、前記音圧計測部の判定結果に基づいて前記テーブルを参照し、前記複数の符号器から、前記入力信号の符号化を実行させる一つの符号器を選択するモードセレクタと、を備える構成を採る。
【００２３】
本発明の通信方法は、互いに異なる複数の符号器を有する通信装置により、双方向でリアルタイムに音声／音楽の通信を行う通信方法であって、受信した符号を復号する復号ステップと、前記復号して得られた信号の音圧を計測し、計測した音圧に基づいて通信相手の状況を判定する判定ステップと、前記判定ステップの判定結果に基づいて、通信相手の状況と符号器との対応関係を記憶したテーブルを参照し、前記複数の符号器から、入力信号の符号化を実行させる一つの符号器を選択する選択ステップと、を有する。
【発明の効果】
【００２４】
本発明によれば、「音楽は比較的長時間黙って聞く」あるいは「相手の話を聞く時は話ができない」といった双方向通信における人間の特性を十分利用した高効率な双方向通信を実現することができる。
【図面の簡単な説明】
【００２５】
【図１】従来のモードセレクタを取り入れたコーデックを説明する図
【図２】本発明の実施の形態１に係る通信装置の構成を示す機能ブロック図
【図３】上記実施の形態１に係る通信装置の音圧計測部の構成を示す機能ブロック図
【図４】本発明の実施の形態２に係る通信装置の構成を示す機能ブロック図
【発明を実施するための形態】
【００２６】
以下、本発明の実施の形態について図面を参照して詳細に説明する。
【００２７】
（実施の形態１）
図２は、実施の形態１に係る通信装置の構成を示す機能ブロック図である。本実施の形態は、双方向で音声及び／又は音楽のリアルタイム通信を行う双方向リアルタイム通信装置に適用した例である。図２においては、音声／音楽の通信制御に直接関係しない機能ブロックの記載は省略されている。
【００２８】
図２に示すように、通信装置１００は、トーナルディテクタ１１０と、音圧計測部１８０の判定結果及びテーブル１２１を参照して、符号器を選択するモードセレクタ１２０と、入力信号１０１を符号化する、互いに異なる高遅延用符号器１３０と低遅延用符号器１４０と、スイッチ１５０，１６０と、復号器１７０と、音圧計測部１８０と、を備える。ここで、入力信号１０１は、音声信号、楽音信号、音声及び音楽を含む信号、のいずれであってもよい。
【００２９】
トーナルディテクタ１１０は、入力信号１０１をスペクトルに変換した後、調性（Tonality）を分析する。トーナルディテクタ１１０は、調性が有る場合「１」を、調性が無い場合「０」をモードセレクタ１２０に出力する。分析アルゴリズムの例としては、ＩＴＵ−Ｔ標準Ｇ．７１８の規格書に記載（６．７．２．２．４章「Tonal Stability」）されたアルゴリズムが挙げられる。この分析アルゴリズムの例には、スペクトルを入力して最後にTonalityの有無で「１」、「０」のフラグを送るアルゴリズムが詳細に記載されている。
【００３０】
モードセレクタ１２０は、通信相手の状況に対応して使用する符号器をあらかじめ記憶するテーブル１２１を有する。なお、テーブル１２１は、モードセレクタ１２０と別体で設けられていてもよい。
【００３１】
テーブル１２１は、通信相手の状況と符号器との対応関係を記憶する。テーブル１２１は、通信相手の状況、望まれている対応、及び使用する符号器を、〔表１〕に示すように一覧形式で記憶している。表１において、ａはトーナルディテクタ１１０から得られる「調性の有無を示す値」を表し、ｂは音圧計測部１８０からの「通話中か否かを示す値」を表す。
【００３２】
【表１】
【００３３】
〔表１〕に示すように、通信相手の状況には、「黙って話を聞いている」「音声通話中に話している」「音楽送信中に黙って聞いている」「音楽送信中に話始めている」がある。このうち、通信相手の状況が「音楽送信中に黙って聞いている」場合の、望まれている対応は「高遅延音楽」であり、使用する符号器は「高遅延用符号器」である。
【００３４】
モードセレクタ１２０は、トーナルディテクタ１１０から得られる「調性の有無を示す値」であるａの値と、音圧計測部１８０の判定結果であるｂの値とに基づいて、〔表１〕に示すテーブル１２１を参照して符号器のモードを選択する。具体的には、モードセレクタ１２０は、トーナルディテクタ１１０からの調性の有無を示す「１」又は「０」と、音圧計測部１８０からの「通話中か否かを示す値」である「１」又は「０」との組み合わせにより、使用する符号器を選択し、該当符号器を選択する切換信号をスイッチ１５０，１６０に出力する。また、モードセレクタ１２０は、どちらの符号器を使ったかというモード情報１０４を、符号器（高遅延用符号器１３０又は低遅延用符号器１４０）から得られる符号１０３と共に出力する。
【００３５】
高遅延用符号器１３０は、入力信号１０１を符号化し送信用コードを出力する。高遅延用符号器１３０は、遅延が大きく、音楽の符号化に適した符号器である。
【００３６】
低遅延用符号器１４０は、入力信号１０１を符号化し送信用コードを出力する。低遅延用符号器１４０は、遅延が小さく、音声の符号化に適した符号器である。
【００３７】
スイッチ１５０，１６０は、モードセレクタ１２０からの切換信号を受けて、符号器を高遅延用符号器１３０又は低遅延用符号器１４０に切換える。
【００３８】
復号器１７０は、伝送路１０２から受信した符号を復号して復号信号を出力する。
【００３９】
音圧計測部１８０は、復号器１７０により復号された信号の音圧を計測し、計測した音圧に基づいて通信相手の状況（通話中であるか否か）を判定する。音圧計測部１８０は、判定結果である「通話中か否かを示す値」「１」「０」をモードセレクタ１２０に出力する。
【００４０】
図３は、音圧計測部１８０の構成を示す機能ブロック図である。
【００４１】
図３に示すように、音圧計測部１８０は、有声／無声判定部１８１と、背景音測定部１８２と、音圧測定部１８３と、測定結果判定部１８４と、を備える。
【００４２】
有声／無声判定部１８１は、まず復号信号２０１に対してスペクトル分析を行う。スペクトル分析の方法としてはＤＣＴ（Discrete Cosine Transform）、ＦＦＴ（Fast Fourier Transform）などの直交変換が挙げられる。どちらでも周波数毎のパワーが求められるのでそれを使用する。
【００４３】
次に、有声／無声判定部１８１は、そのフレームが有声であるか無声であるかを判定する。判定方法としては、さまざまな方法がこれまで開発されているが、最も単純なものとして、長期相関を計算し、相関値が大きく基本周期に当たるピッチ成分が連続している場合に「有声区間」と判断するという方法が挙げられる。
【００４４】
この際には、背景音測定部１８２内に格納されている背景音のスペクトルを用いて、これよりもパワーが明らかに大きい場合に有声であると判断するという判定も組み合わせると性能を更に向上することができる。また、上記判定を用いることが一般的である。本実施の形態では、有声／無声判定部１８１は、「有声区間」と判定されなかった区間を「無声区間」と判定する。有声／無声判定部１８１は、「無声区間」と判定された場合、背景音測定部１８２に無声区間のスペクトルを送る。また、有声／無声判定部１８１は、有声／無声に関わらず音圧測定部１８３に無声区間のスペクトルを出力する。
【００４５】
背景音測定部１８２は、内部に平均環境スペクトルを格納する格納部を持っており、有声／無声判定部１８１から得られた無声区間のスペクトルで、上記格納された平均環境スペクトルを更新する。
【００４６】
更新アルゴリズムとしては、特許文献３に記載のノイズ削減装置のノイズ推定部のアルゴリズムが挙げられる。本実施の形態で述べている平均環境スペクトルは、特許文献３に記載のノイズ削減装置におけるノイズスペクトルに対応する。
【００４７】
背景音測定部１８２は、更新した平均環境スペクトルを、背景音測定部１８２の前記内部の格納部に格納する。また、背景音測定部１８２は、更新したスペクトルを次のフレームで有声／無声判定部１８１に送る。また、背景音測定部１８２は、平均環境スペクトルの総和を求め、環境パワーとして測定結果判定部１８４へ送る。
【００４８】
音圧測定部１８３は、有声／無声判定部１８１から送られてきたスペクトルの総和を求めて、そのフレームの信号パワーとする。信号パワーは、通信相手が「話をしているかどうか」の尺度になる値であり、ある程度の長期に渡って観測する必要がある。そこで、音圧測定部１８３は、内部に信号パワーの履歴を格納しておき、前記信号パワーで格納領域を更新する。アルゴリズムは、次式（１）で示される。
【００４９】
ＰＳｉ＝ＰＳｉ−１ ｉ＝Ｔ−１，Ｔ−２，…，２，１
ＰＳ０＝ｐＳ …（１）
但し ｐＳ：信号パワー、ＰＳ：信号パワーの履歴、Ｔ：観測する時間
音圧測定部１８３は、信号パワーの平均を求めて平均信号パワーを求める。計算法は、次式（２）に示される。
【００５０】
【数１】
但し ＰＳＡＶ：平均信号パワー
音圧測定部１８３は、式（２）で求めた平均信号パワーを測定結果判定部１８４に送る。
【００５１】
測定結果判定部１８４は、背景音測定部１８２から得られた環境パワーと、音圧測定部１８３から得られた平均信号パワーとを用いて、通信相手が通話中であるかどうかを判定する。環境パワーは「通話していない場合の音圧」を示しているので、この値よりも平均信号パワーが十分大きい時には「通話中（１）」、そうでない場合には「黙っている状態（０）」ということで状態を１ビットで表し、測定結果２０２としてモードセレクタ１２０に出力する。判定アルゴリズムは、次式（３）に示される。
【００５２】
【数２】
以下、上述のように構成された通信装置１００の動作について説明する。
【００５３】
図２に示すように、まず、伝送路１０２を経由して通信相手から送られてきた符号が復号器１７０に入力される。復号器１７０は、入力された符号を復号し、復号信号（例えば復号音声）を音圧計測部１８０に出力する。
【００５４】
音圧計測部１８０は、復号された信号の音圧を計測し、計測した音圧に基づいて通信相手の状況を判定し、判定結果をモードセレクタ１２０に出力する。音圧計測部１８０は、判定結果として、通話中の場合「１」、相手が黙っている場合「０」を出力する。
【００５５】
一方、入力信号１０１は、スイッチ１５０を介して高遅延用符号器１３０又は低遅延用符号器１４０に入力される。また、入力信号１０１はトーナルディテクタ１１０にも入力される。
【００５６】
トーナルディテクタ１１０は、入力信号１０１をスペクトルに変換した後、調性を分析し、調性が有る場合「１」を、調性が無い場合「０」をモードセレクタ１２０に出力する。
【００５７】
モードセレクタ１２０は、トーナルディテクタ１１０からの調性の有無を示す「１」又は「０」と、音圧計測部１８０からの「通話中か否かを示す値」である「１」又は「０」とに基づいて、テーブル１２１の〔表１〕を参照し、符号器を選択する切換信号をスイッチ１５０，１６０に出力する。また、モードセレクタ１２０は、どちらの符号器を使ったかというモード情報１０４を、符号器（高遅延用符号器１３０又は低遅延用符号器１４０）から得られる符号１０３と共に出力する。
【００５８】
スイッチ１５０，１６０は、モードセレクタ１２０からの切換信号を受けて、符号器を高遅延用符号器１３０又は低遅延用符号器１４０に切換える。
【００５９】
本実施の形態では、通信相手の状況に対応して、遅延が大きく音楽の符号化に適した高遅延用符号器１３０か、遅延が小さく音声の符号化に適した低遅延用符号器１４０のいずれかが選択される。
【００６０】
以上詳細に説明したように、通信装置１００は、双方向で音声／音楽のリアルタイム通信を行う通信装置であって、入力信号１０１から調性を分析するトーナルディテクタ１１０と、入力信号１０１を符号化する遅延が大きく音楽の符号化に適した高遅延用符号器１３０と、遅延が小さく音声の符号化に適した低遅延用符号器１４０と、伝送路１０２から受信した符号を復号する復号器１７０と、復号された信号の音圧を計測し、計測した音圧に基づいて通信相手の状況を判定する音圧計測部１８０と、通信相手の状況と符号器との対応関係を記憶したテーブル１２１と、トーナルディテクタ１１０からの調性の有無及び音圧計測部１８０からの通話中か否かの判定結果に基づいて、テーブル１２１を参照し、高遅延用符号器１３０及び低遅延用符号器１４０から通信相手の状況に対応した符号器を選択するモードセレクタ１２０と、を備える。モードセレクタ１２０は、トーナルディテクタ１１０から「調性が有」を受け、かつ音圧計測部１８０から「通話中でない」との判定結果を受けた場合（すなわち、（ａ，ｂ）＝（１，０）の場合）、高遅延用符号器１３０を選択し、それ以外は低遅延用符号器１４０を選択する。
【００６１】
この構成により、通信相手の状況に対応した適切な符号器を使用することができ、相手側あるいは送信側の状況に適切な符号器で符号化することによって高効率な双方向音声を実現することができる。その結果、「音楽は比較的長時間黙って聞く」あるいは「相手の話を聞く時は話ができない」といった双方向通信における人間の特性を十分利用した高効率な双方向通信を実現することができる。
【００６２】
本実施の形態では、音楽は高遅延でより高品質符号化でき、通話は低遅延で通話環境を良くすることができ、双方向通信の品質をより良くすることができる。
【００６３】
（実施の形態２）
図４は、実施の形態２に係る通信装置の構成を示す機能ブロック図である。本実施の形態も実施の形態１と同様に、双方向で音声及び／又は音楽のリアルタイム通信を行う双方向リアルタイム通信装置に適用した例を示す。図４においても図２と同様に、音声／音楽の通信制御に直接関係しない機能ブロックの記載は省略されている。本実施の形態の説明に当り、図２と同一構成部分には同一番号を付して重複箇所の説明を省略する。
【００６４】
本実施の形態は、符号器として高ビットレート符号器２３０と低ビットレート符号器２４０とを用いた場合の例である。
【００６５】
本実施の形態の通信装置２００の基本動作は、実施の形態１とほぼ同様であるので、同じ動作については説明を省略する。
【００６６】
図４に示すように、通信装置２００は、音圧計測部１８０の判定結果及びテーブル２２１を参照して、符号器を選択するモードセレクタ２２０と、入力信号１０１を符号化する、互いに異なる高ビットレート符号器２３０と低ビットレート符号器２４０と、スイッチ２５０，２６０と、復号器１７０と、音圧計測部１８０と、を備える。ここで、入力信号１０１は、音声信号、楽音信号、音声及び音楽を含む信号、のいずれであってもよい。
【００６７】
モードセレクタ２２０は、通信相手の状況に対応して使用する符号器をあらかじめ記憶するテーブル２２１を有する。なお、テーブル２２１は、モードセレクタ２２０と別体で設けられていてもよい。
【００６８】
テーブル２２１は、通信相手の状況と符号器との対応関係を記憶する。テーブル２２１は、通信相手の状況、望まれている対応、及び使用する符号器を、〔表２〕に示すように一覧形式で記憶している。表２において、ｂは音圧計測部１８０からの「通話中か否かを示す値」を表す。
【００６９】
【表２】
【００７０】
〔表２〕に示すように、通信相手の状況には、「黙って話を聞いている」「話している（こちらが聞いている）」がある。このうち、通信相手の状況が「黙って話を聞いている」場合の、望まれている対応は「高品質音声」であり、使用する符号器は「高ビットレート符号器」である。
【００７１】
モードセレクタ２２０は、音圧計測部１８０の判定結果であるｂの値に基づいて、〔表２〕に示すテーブル２２１を参照して符号器のモードを選択する。具体的には、モードセレクタ２２０は、音圧計測部１８０からの「通話中か否かを示す値」である「１」又は「０」により、使用する符号器を選択し、該当符号器を選択する切換信号をスイッチ２５０，２６０に出力する。また、モードセレクタ２２０は、どちらの符号器を使ったかというモード情報２０４を、符号器（高ビットレート符号器２３０又は低ビットレート符号器２４０）から得られる符号２０３と共に出力する。
【００７２】
高ビットレート符号器２３０は、入力信号１０１を符号化し送信用コードを出力する。高ビットレート符号器２３０は、高品質であるが情報量（ビットレート）が多い符号化に適した符号器である。
【００７３】
低ビットレート符号器２４０は、入力信号１０１を符号化し送信用コードを出力する。低ビットレート符号器２４０は、低品質であるが情報量が少ない符号器である。
【００７４】
本実施の形態では「高品質だが情報量（ビットレート）が多い」高ビットレート符号器２３０と、「低品質だが情報量が少ない」低ビットレート符号器２４０のどちらかを選択する。
【００７５】
本実施の形態では、通信相手の状況に対応して、高品質であるが情報量（ビットレート）が多い符号化に適した高ビットレート符号器２３０か、低品質であるが情報量（ビットレート）が少ない符号化に適した低ビットレート符号器２４０のいずれかが選択される。
【００７６】
このように、本実施の形態によれば、通信装置２００は、音圧計測部１８０と、通信相手の状況と符号器との対応関係を記憶したテーブル２２１と、音圧計測部１８０からの通話中か否かの判定結果に基づいて、テーブル２２１を参照し、高ビットレート符号器２３０及び低ビットレート符号器２４０から、通信相手の状況に対応した符号器を選択するモードセレクタ２２０と、を備える。モードセレクタ２２０は、音圧計測部１８０から「通信相手が通話中でない」との判定結果を受けた場合、高ビットレート符号器２３０を選択し、それ以外は低ビットレート符号器２４０を選択する。
【００７７】
この構成により、通信相手の状況に対応した適切な符号器を使用することができ、「音楽は比較的長時間黙って聞く」あるいは「相手の話を聞く時は話ができない」といった双方向通信における人間の特性を十分利用した高効率な双方向通信を実現することができる。
【００７８】
具体的には、本実施の形態では、平均ビットレートを下げ、情報量を節約する高効率な音声／音楽の通信を実現することができる。
【００７９】
例えば、相手が聞いている場合にはより高品質で符号化でき、相手が話をしている場合は、自分は主に聞いているので低品質でも低ビットレートで伝送することができ、双方向通信の伝送情報量の効率をより良くすることができる。
【００８０】
以上、実施の形態について説明した。
【００８１】
以上の説明は本発明の好適な実施の形態の例証であり、本発明の範囲はこれに限定されることはない。
【００８２】
上記各実施の形態では、「高遅延用符号器と低遅延用符号器」「高ビットレート符号器と低ビットレート符号器」の２つの例を挙げたが、そのほかにも様々な符号器を扱うことができる。例えば、「時間軸符号器と変換符号器」は、実施の形態１と同様に音声に適した符号器と音楽に適した符号器とであるので、実施の形態１と同様に使用することができる。通信相手の状況により切り替えることで効果が得られることは多い。
【００８３】
また、上記各実施の形態では、符号器は２つを切り替えたが、これは３つ以上でも有効である。
【００８４】
また、音圧計測部１８０及び／又はトーナルディテクタ１１０の出力を、１ビットではなく、もっと細かく段階的にすれば、モードセレクタ１２０，２２０で、もっと段階的な符号器の選択ができる。例えば、実施の形態２では、ビットレートを４つ用意して、相手の音圧の度合いに応じたビットレートを設定することができる。
【００８５】
上記各実施の形態では、通信装置、という名称を用いたが、これは説明の便宜上であり、装置は音声通信装置、移動体通信システム等であってもよい。また、テーブルは、記憶部と呼称してもよく、どのような形でどこに設けられていてもよい。
【００８６】
さらに、上記各通信装置を構成する各構成部、例えば復号器の種類、無線伝搬環境などは前述した実施の形態に限られない。
【００８７】
また、上記各実施の形態では、本発明をハードウェアで構成する場合を例にとって説明したが、本発明はハードウェアとの連携においてソフトウェアでも実現することも可能である。例えば、上記各実施の形態において用いたモードセレクタ及びスイッチは、ソフトウェアで実現する場合には、例えばＩＦ文による分岐を用いたプログラムとして実現することができる。
【００８８】
また、上記各実施の形態の説明に用いた各機能ブロックは、典型的には集積回路であるＬＳＩとして実現される。これらは個別に１チップ化されてもよいし、一部又は全てを含むように１チップ化されてもよい。ここでは、ＬＳＩとしたが、集積度の違いにより、ＩＣ、システムＬＳＩ、スーパーＬＳＩ、ウルトラＬＳＩと呼称されることもある。
【００８９】
また、集積回路化の手法はＬＳＩに限るものではなく、専用回路又は汎用プロセッサで実現してもよい。ＬＳＩ製造後に、プログラムすることが可能なＦＰＧＡ（Field Programmable Gate Array）、又は、ＬＳＩ内部の回路セルの接続又は設定を再構成可能なリコンフィギュラブルプロセッサを利用してもよい。
【００９０】
さらには、半導体技術の進歩又は派生する別技術によりＬＳＩに置き換わる集積回路化の技術が登場すれば、当然、その技術を用いて機能ブロックの集積化を行ってもよい。例えば、バイオ技術の適用等が可能である。
【産業上の利用可能性】
【００９１】
本発明の通信装置は、双方向でリアルタイムに音声／楽音を伝送する通信装置等に有用である。また、移動通信システムの通信端末装置に用いて好適である。
【符号の説明】
【００９２】
１００，２００ 通信装置
１１０ トーナルディテクタ
１２０，２２０ モードセレクタ
１２１，２２１ テーブル
１３０ 高遅延用符号器
１４０ 低遅延用符号器
１５０，１６０，２５０，２６０ スイッチ
１７０ 復号器
１８０ 音圧計測部
１８１ 有声／無声判定部
１８２ 背景音測定部
１８３ 音圧測定部
１８４ 測定結果判定部
２３０ 高ビットレート符号器
２４０ 低ビットレート符号器
【特許請求の範囲】
【請求項１】
双方向でリアルタイムに音声／音楽の通信を行う通信装置であって、
入力信号を符号化する、互いに異なる複数の符号器と、
通信相手の状況と符号器との対応関係を記憶したテーブルと、
受信した符号を復号する復号器と、
前記復号して得られた信号の音圧を計測し、計測した音圧に基づいて通信相手の状況を判定する音圧計測部と、
前記音圧計測部の判定結果に基づいて前記テーブルを参照し、前記複数の符号器から、前記入力信号の符号化を実行させる一つの符号器を選択するモードセレクタと、
を備える通信装置。
【請求項２】
前記音圧計測部は、
有声区間と無声区間とを判定する有声／無声判定部と、
前記有声／無声判定部から得られた無声区間のスペクトルから背景音を環境パワーとして測定する背景音測定部と、
前記有声／無声判定部のスペクトルの総和から信号パワーを求め、該信号パワーの履歴を基に平均信号パワーを測定する音圧測定部と、
前記背景音測定部の前記環境パワーと前記音圧測定部からの前記平均信号パワーとに基づいて、通信相手が通話中であるか否かを判定する測定結果判定部と、
を備える請求項１記載の通信装置。
【請求項３】
前記入力信号から調性を分析し、調性の有無を出力するトーナルディテクタを更に備え、
前記複数の符号器は、音楽に適した符号化を行う高遅延用符号器、及び、音声通話に適した符号化を行う低遅延用符号器を有し、
前記モードセレクタは、
前記入力信号に代えて前記トーナルディテクタからの分析結果を入力し、前記分析結果が「調性が有り」で、かつ、前記音圧計測部からの判定結果が「通話中でない」である場合、前記高遅延用符号器を選択し、それ以外は前記低遅延用符号器を選択する、
請求項１記載の通信装置。
【請求項４】
前記複数の符号器は、高ビットレート符号器、及び、低ビットレート符号器を有し、
前記モードセレクタは、
前記音圧計測部からの判定結果が「通信相手が通話中でない」である場合、前記高ビットレート符号器を選択し、それ以外は前記低ビットレート符号器を選択する、
請求項１記載の通信装置。
【請求項５】
互いに異なる複数の符号器を有する通信装置により、双方向でリアルタイムに音声／音楽の通信を行う通信方法であって、
受信した符号を復号する復号ステップと、
前記復号して得られた信号の音圧を計測し、計測した音圧に基づいて通信相手の状況を判定する判定ステップと、
前記判定ステップの判定結果に基づいて、通信相手の状況と符号器との対応関係を記憶したテーブルを参照し、前記複数の符号器から、入力信号の符号化を実行させる一つの符号器を選択する選択ステップと、
を有する通信方法。
【請求項１】
双方向でリアルタイムに音声／音楽の通信を行う通信装置であって、
入力信号を符号化する、互いに異なる複数の符号器と、
通信相手の状況と符号器との対応関係を記憶したテーブルと、
受信した符号を復号する復号器と、
前記復号して得られた信号の音圧を計測し、計測した音圧に基づいて通信相手の状況を判定する音圧計測部と、
前記音圧計測部の判定結果に基づいて前記テーブルを参照し、前記複数の符号器から、前記入力信号の符号化を実行させる一つの符号器を選択するモードセレクタと、
を備える通信装置。
【請求項２】
前記音圧計測部は、
有声区間と無声区間とを判定する有声／無声判定部と、
前記有声／無声判定部から得られた無声区間のスペクトルから背景音を環境パワーとして測定する背景音測定部と、
前記有声／無声判定部のスペクトルの総和から信号パワーを求め、該信号パワーの履歴を基に平均信号パワーを測定する音圧測定部と、
前記背景音測定部の前記環境パワーと前記音圧測定部からの前記平均信号パワーとに基づいて、通信相手が通話中であるか否かを判定する測定結果判定部と、
を備える請求項１記載の通信装置。
【請求項３】
前記入力信号から調性を分析し、調性の有無を出力するトーナルディテクタを更に備え、
前記複数の符号器は、音楽に適した符号化を行う高遅延用符号器、及び、音声通話に適した符号化を行う低遅延用符号器を有し、
前記モードセレクタは、
前記入力信号に代えて前記トーナルディテクタからの分析結果を入力し、前記分析結果が「調性が有り」で、かつ、前記音圧計測部からの判定結果が「通話中でない」である場合、前記高遅延用符号器を選択し、それ以外は前記低遅延用符号器を選択する、
請求項１記載の通信装置。
【請求項４】
前記複数の符号器は、高ビットレート符号器、及び、低ビットレート符号器を有し、
前記モードセレクタは、
前記音圧計測部からの判定結果が「通信相手が通話中でない」である場合、前記高ビットレート符号器を選択し、それ以外は前記低ビットレート符号器を選択する、
請求項１記載の通信装置。
【請求項５】
互いに異なる複数の符号器を有する通信装置により、双方向でリアルタイムに音声／音楽の通信を行う通信方法であって、
受信した符号を復号する復号ステップと、
前記復号して得られた信号の音圧を計測し、計測した音圧に基づいて通信相手の状況を判定する判定ステップと、
前記判定ステップの判定結果に基づいて、通信相手の状況と符号器との対応関係を記憶したテーブルを参照し、前記複数の符号器から、入力信号の符号化を実行させる一つの符号器を選択する選択ステップと、
を有する通信方法。
【図１】
【図２】
【図３】
【図４】
【図２】
【図３】
【図４】
【公開番号】特開２０１３−５４２８２（Ｐ２０１３−５４２８２Ａ）
【公開日】平成２５年３月２１日（２０１３．３．２１）
【国際特許分類】
【出願番号】特願２０１１−１９３８６７（Ｐ２０１１−１９３８６７）
【出願日】平成２３年９月６日（２０１１．９．６）
【出願人】（０００００５８２１）パナソニック株式会社 (73,050)
【Ｆターム（参考）】
【公開日】平成２５年３月２１日（２０１３．３．２１）
【国際特許分類】
【出願日】平成２３年９月６日（２０１１．９．６）
【出願人】（０００００５８２１）パナソニック株式会社 (73,050)
【Ｆターム（参考）】
[ Back to top ]