通話品質の主観評価のための評価サンプル数を決定する方法及びサーバ
【課題】 通話品質の主観評価について、実質的に信頼できるＭＯＳ値を求めるために必要な総評価サンプル数を決定することができる方法及びサーバを提供する。
【解決手段】 サーバが、１回目として、評価者識別子数と、評価者当たりの評価サンプル数との乗算による総評価サンプル数の第１の主観評価値を収集し、第１の主観評価値の平均値MOSを導出する。サーバが、２回目として、総評価サンプル数まで、第２の主観評価値を収集し、第２の主観評価値を収集する毎に、第１の主観評価値の平均値と、その時点までに収集した第２の主観評価値の平均値とに基づく平方平均二乗誤差値を導出し、収集した第２の主観評価値の総評価サンプル数の累積数毎に、平方平均二乗誤差値RMSEを蓄積する。そして、所定の平方平均二乗誤差値以下に相当する総評価サンプル数を決定する。
【解決手段】 サーバが、１回目として、評価者識別子数と、評価者当たりの評価サンプル数との乗算による総評価サンプル数の第１の主観評価値を収集し、第１の主観評価値の平均値MOSを導出する。サーバが、２回目として、総評価サンプル数まで、第２の主観評価値を収集し、第２の主観評価値を収集する毎に、第１の主観評価値の平均値と、その時点までに収集した第２の主観評価値の平均値とに基づく平方平均二乗誤差値を導出し、収集した第２の主観評価値の総評価サンプル数の累積数毎に、平方平均二乗誤差値RMSEを蓄積する。そして、所定の平方平均二乗誤差値以下に相当する総評価サンプル数を決定する。
【発明の詳細な説明】
【技術分野】
【０００１】
本発明は、通話品質の主観評価のための評価サンプル数を決定する方法及びサーバに関する。
【背景技術】
【０００２】
ＩＰ(Internet Protocol)電話装置又は携帯電話機においては、音声品質の良し悪しについて、その評価方法が問題となる。通話品質の評価方法において、実際に利用者自身が聞いて評価する主観評価と、測定装置により測定された値によって評価する客観評価とがある。通話品質における主観評価の１つに、ＭＯＳ（Mean Opinion Store）評価がある（例えば非特許文献１参照）。これは、「相手の話が聞き取りにくい」又は「相手の声が自然に聞こえる」といった利用者自身の主観による評価を点数化する。ＭＯＳ値は、「非常に良い＝５」（音質が良い）から「非常に悪い＝１」（音質が悪い）までの５段階で表される。
【０００３】
ＭＯＳ評価においては、送話装置から受話装置まで、ネットワークシステム全体を測定する必要がある。送話装置が音声評価サンプルの音声信号を送信し、評価者が受話装置からの音声を実際に聞いて評価する。ＭＯＳ値は人間の実際の評価であるために、その評価結果に個人差が表れ、年齢又は性別によっても評価値が異なる。
【０００４】
【非特許文献１】ITU-T Recommendation P.800, "Methods for subjective determination of transmission quality," Aug.1996.
【発明の開示】
【発明が解決しようとする課題】
【０００５】
主観評価によれば、年齢層又は性別の異なる複数の評価者が、同一ネットワークシステム内で評価した値が必要になる。これは、年齢層又は性別の異なる複数の評価者（異なる複数の評価サンプル）が多いほど、主観評価値の信頼度は向上することを意味する。一方で、このような方法は、費用と時間が増すという問題がある。
【０００６】
これに対し、ＩＴＵ−Ｔ勧告Ｐ．８００によれば、信頼できるＭＯＳ値を求めるのに必要な総評価サンプル数は規定されていない。多くの場合、総評価サンプル数は経験的に設定していて、どれくらいの誤差が想定されるかは明らかにされていない。
【０００７】
従って、本発明は、通話品質の主観評価について、実質的に信頼できるＭＯＳ値を求めるために必要な総評価サンプル数を決定する方法及びサーバを提供することを目的とする。
【課題を解決するための手段】
【０００８】
本発明は、音声信号を送話する送話装置と、
送話装置にネットワークを介して接続されており、評価者に評価値を入力させる手段と、該評価値をサーバへ送信する手段とを有する受話装置と
複数の評価者識別子毎の主観評価値を収集し、音声通話の主観評価のための評価サンプル数を決定するサーバと
を有するシステムにおける音声通話の主観評価のための評価サンプル数決定方法に関する。
【０００９】
本発明の方法によれば、
サーバが、１回目として、評価者識別子数と、評価者当たりの評価サンプル数との乗算による総評価サンプル数の第１の主観評価値を収集する第１のステップと、
第１の主観評価値の平均値（ＭＯＳ）を導出する第２のステップと、
サーバが、２回目として、総評価サンプル数まで、第２の主観評価値（ｘ）を収集する第３のステップと、
第２の主観評価値を収集する毎に、第１の主観評価値の平均値（ＭＯＳ）と、その時点までに収集（n）した第２の主観評価値の平均値（1/nΣi=1nｘ）とに基づく平方平均二乗誤差値を導出する第４のステップと、
収集した第２の主観評価値の総評価サンプル数の累積数毎に、平方平均二乗誤差値を蓄積する第５のステップと、
所定の平方平均二乗誤差値以下に相当する総評価サンプル数を決定する第６のステップとを有することを特徴とする。
【００１０】
また、本発明の方法における他の実施形態によれば、第６のステップにおける所定の平方平均二乗誤差値は、第３のステップの総評価サンプル数が、第１のステップの総評価サンプル数に達した際に導出された平方平均二乗誤差値であることも好ましい。
【００１１】
更に、送話装置から送信される音声信号に対して、異なる雑音条件の付加及び／又は異なる符号化方式の適用による複数の評価条件を加え、第４のステップは、評価条件が同一の場合にのみ、平方平均二乗誤差値を導出することも好ましい。
【００１２】
また、本発明は、音声信号を送話する送話装置と、
送話装置にネットワークを介して接続されており、評価者に評価値を入力させる手段と、該評価値をサーバへ送信する手段とを有する受話装置と
を有するシステムに含まれ、複数の評価者識別子毎の主観評価値を収集し、音声通話の主観評価のための評価サンプル数を決定するサーバに関する。
【００１３】
本発明のサーバによれば、１回目として、評価者識別子数と、評価者当たりの評価サンプル数との乗算による総評価サンプル数の第１の主観評価値を収集する第１の主観評価値収集手段と、
第１の主観評価値の平均値（ＭＯＳ）を導出する平均値導出手段と、
２回目として、総評価サンプル数まで、第２の主観評価値（ｘ）を収集する第２主観評価値収集手段と、
第２の主観評価値を収集する毎に、第１の主観評価値の平均値（ＭＯＳ）と、その時点までに収集（n）した第２の主観評価値の平均値（1/nΣi=1nｘ）とに基づく平方平均二乗誤差値を導出する平方平均二乗誤差値導出手段と、
収集した第２の主観評価値の総評価サンプル数の累積数毎に平方平均二乗誤差値を蓄積する平方平均二乗誤差値蓄積手段と、
所定の平方平均二乗誤差値以下に相当する総評価サンプル数を決定する総評価サンプル数決定手段とを有することを特徴とする。
【００１４】
また、本発明のサーバにおける他の実施形態によれば、総評価サンプル数決定手段における所定の平方平均二乗誤差値は、第２の主観評価値収集手段の総評価サンプル数が、第１の主観評価値収集手段の総評価サンプル数に達した際に、平方平均二乗誤差導出手段によって導出された平方平均二乗誤差値であることも好ましい。
【００１５】
更に、本発明のサーバにおける他の実施形態によれば、送話装置から送信される音声信号に対して、異なる雑音条件の付加及び／又は異なる符号化方式の適用による複数の評価条件を加え、平方平均二乗誤差導出手段は、評価条件が同一の場合にのみ、平方平均二乗誤差値を導出することも好ましい。
【発明の効果】
【００１６】
本発明によれば、通話品質の主観評価について、実質的に信頼できるＭＯＳ値を求めるために必要な総評価サンプル数を決定することができる。１回目のＭＯＳ値に対して、２回目の主観評価値を収集する毎に、総評価サンプル数の累積数に対するＲＭＳＥ値を近似曲線として蓄積する。蓄積されたこの近似曲線を用いて、所定のＲＭＳＥ値を指定することにより、総評価サンプル数を決定することができる。
【００１７】
また、所定のＲＭＳＥ値は、１回目の第１の主観評価値の総評価サンプル数と同数の累積数に達した、第２の主観評価値に基づくＲＭＳＥ値であってもよい。２回目のＭＯＳ評価は、別の評価者を集めて同じ規模のＭＯＳ評価を行うことが好ましい。これにより、異なる評価者による２回目のＲＭＳＥ値をばらつきの最大とすることにより、そのＲＭＳＥ値に達した程度の総評価サンプルを決定することができる。
【発明を実施するための最良の形態】
【００１８】
以下では、図面を用いて、本発明を実施するための最良の形態について説明する。
【００１９】
図１は、本発明におけるシステムの機能構成図である。
【００２０】
図１のシステムは、サーバ１と、送話装置２と、受話装置３とが、ネットワーク４を介して接続されている。送話装置２は、受話装置３に対して１つの音声信号を送話する。受話装置３は、送話装置２から受信した音声信号を発声する受話部と、評価者(X,Y,Z)が主観的評価値を入力することができる入力部と、その評価値をサーバ１へ送信する評価値送信部とを有する。評価者は、受話装置３の受話部から発声された音声を聞き、入力部に評価値を入力する。評価者毎に識別子が付与されている。受話装置３の評価値送信部は、主観評価値を、評価者識別子と共に、サーバ１へ送信する。また、評価の信頼性を高めるために、１人の評価者に対して複数回（評価サンプル数）の評価値を収集する。この場合、
（１条件当たりの）総評価サンプル数＝評価者識別子数×評価サンプル数
となる。
【００２１】
ここで、複数の評価条件を設定することもできる。評価条件とは、送話装置から送信される音声信号に対して、異なる雑音条件の付加及び／又は異なる符号化方式の適用をいう。例えば、１つの音声信号に対して、３つの雑音条件を付加し且つ２つの符号化方式を適用した場合、６つの評価条件（３×２）を指定することができる。また、複数の音声信号を適用することもでき、異なる音声信号に対しても同じ評価条件を指定することができる。これにより、送話装置から受話装置へ送信した際に、指定条件毎に評価者の主観的評価値を得ることができる。この場合、
総評価サンプル数＝１条件当たりの総評価サンプル数×評価条件数
となる。
【００２２】
サーバ１は、第１の主観評価値収集部１０と、第１の主観評価値蓄積部１１と、平均値（ＭＯＳ値）導出部１２と、第２の主観評価値収集部１３と、第２の主観評価値蓄積部１４と、平方平均二乗誤差（ＲＭＳＥ:Root Mean Square Error）値導出部１５と、ＲＭＳＥ導出部１６と、総評価サンプル数決定部１７と、ＲＭＳＥ値記憶部１８とを有する。
【００２３】
第１の主観評価値収集部１０は、１回目として、総評価サンプル数の第１の主観評価値を収集する。第１の主観評価値蓄積部１１は、評価者識別子と共に、受信した第１の主観評価値を蓄積する。十分に信頼できるＭＯＳ値を導出するために、蓄積される第１の主観評価値の総評価サンプル数は、十分に大きな数であることが望ましい。ＭＯＳ値導出部１２は、第１の主観評価値の平均値ＭＯＳを導出する。
【００２４】
第２の主観評価値収集部１３は、２回目として、１回目の総評価サンプル数まで、第２の主観評価値を収集し、累積する。第２の主観評価値蓄積部１４は、評価者識別子と共に、受信した第２の主観評価値を蓄積する。
【００２５】
ＲＭＳＥ導出部１５は、第２の主観評価値を収集する毎に、過去のＭＯＳ評価と一致する条件について、第１の主観評価値の平均値ＭＯＳと、その時点までに収集した第２の主観評価値の平均値とに基づく平方平均二乗誤差値を導出する。即ち、２回目以降のＭＯＳ評価に必要な精度を、平方平均二乗誤差値として導出するものである。ＲＭＳＥは、ＭＯＳ評価の評価サンプル数減少に伴うＭＯＳ値のばらつきの増大を示す。このように第２の主観評価値を受信しながら累積しつつ、その時点でのＭＯＳ値のばらつきを検出することもできる。ＲＭＳＥ値は、以下の式によって導出される。
【００２６】
【数１】
【００２７】
ＭＯＳ1,cは、１回目のＭＯＳ評価の評価条件ｃにおけるＭＯＳ値を意味する。ｘc,iは、２回目以降のＭＯＳ評価における評価条件の評価サンプルｉを意味する。ｎは、２回目以降のＭＯＳ評価の評価サンプル数を意味する。ｍは、１回目と２回目で共通する評価条件ｃの総数を意味する。
【００２８】
ＲＭＳＥ蓄積部１６は、導出されたＲＭＳＥ値を、第１の主観評価値の総評価サンプル数の累積数毎に記憶する。これにより、総評価サンプル数の関数として、ＲＭＳＥ(n)の近似曲線を導出することができる。
【００２９】
総評価サンプル数決定部１７は、ＲＭＳＥ蓄積部１６ｂの近似曲線から、所定のＲＭＳＥ値以下になる評価サンプル数を決定する。この所定のＲＭＳＥ値は、１回目の第１の主観評価値の総評価サンプル数と同数の累積数に達した、第２の主観評価値に基づくＲＭＳＥ値であってもよい。例えば、第１の主観評価値に基づく総評価サンプル数が３２０であれば、第２の主観評価値が３２０の総評価サンプル数に達した際のＲＭＳＥ値を、この所定のＲＭＳＥ値とすることができる。２回目のＭＯＳ評価は、別の評価者を集めて同じ規模のＭＯＳ評価を行うことが好ましい。
【００３０】
図２は、本発明におけるフローチャートである。
【００３１】
（Ｓ２０１）１回目として、総評価サンプル数の第１の主観評価値を収集する。
（Ｓ２０２）評価サンプル識別子と評価者識別子と共に、受信した第１の主観評価値を蓄積する。十分に信頼できるＭＯＳ値を導出するために、蓄積される第１の主観評価値の総評価サンプル数は、十分に大きな数であることが望ましい。
（Ｓ２０３）第１の主観評価値の平均値ＭＯＳを導出する。
（Ｓ２０４）２回目として、総評価サンプル数の累積数に達するまで、第２の主観評価値を収集する。
（Ｓ２０５）評価者識別子と共に、受信した第２の主観評価値を蓄積する。
（Ｓ２０６）第２の主観評価値を収集する毎に、過去のＭＯＳ評価と一致する条件について、第１の主観評価値の平均値ＭＯＳと、その時点までに収集した第２の主観評価値の平均値とに基づく平方平均二乗誤差値を導出する。
（Ｓ２０７）導出されたＲＭＳＥ値を、第１の主観評価値の総評価サンプル数の累積数毎に記憶する。これにより、総評価サンプル数の関数として、ＲＭＳＥ(n)の近似曲線を導出することができる。
（Ｓ２０８）総評価サンプル数を決定したいときに、ＲＭＳＥ(n)の近似曲線を用いて、所定のＲＭＳＥ値以下になる評価サンプル数を決定する。
【００３２】
次に、具体的な例として、携帯電話機における背景雑音を含む音声に対するＭＯＳ評価について、詳細に説明する。
【００３３】
例えば、評価者は、一般の２０代〜５０代の男女計８０名とする。表１は、評価者の人数構成である。
【００３４】
【表１】
【００３５】
１人の評価者が評価する回数（評価サンプル数）を４とする。これにより、評価者識別子数８０×評価サンプル数４＝総評価サンプル数３２０となる。
【００３６】
表２は、送話装置から送信される音声信号の雑音条件（評価条件）である。
【００３７】
【表２】
【００３８】
また、評価条件として、符号化方式Ａ及びＢを通過させる。これにより、雑音条件１６×符号化方式２＝３２条件となる。
【００３９】
評価サンプル数を決定するパラメータとして、評価者識別子数、評価者当たりの評価サンプル数（評価する回数×評価条件）の２種類がある。評価者については、全評価者８０名から性別、年代別の人数構成割合を保ちつつ、４０名、２０名、１０名をランダムに２パターンずつ選択した。表３は、評価者数を減少させた場合の人数構成を示す。
【００４０】
【表３】
【００４１】
また、評価者当たり評価サンプル数については、４、２、１に減少させる。以下では、これらの評価者数及び評価者当たり評価サンプル数の組合せにより実現される、１６０、８０、４０、２０という評価サンプル数について検討する。
【００４２】
図３は、評価サンプル数３２０のＭＯＳ値と、１６０(評価者数８０×評価者当たり評価サンプル数２、40×4)のＭＯＳ値との比較からなるグラフである。図４は、評価サンプル数３２０のＭＯＳ値と、８０(評価者数８０×評価者当たり評価サンプル数１、40×2、20×4)のＭＯＳ値との比較からなるグラフである。図５は、評価サンプル数３２０のＭＯＳ値と、４０(評価者数４０×評価者当たり評価サンプル数１、20×2、10×4)のＭＯＳ値との比較からなるグラフである。図６は、評価サンプル数３２０のＭＯＳ値と、２０(評価者数２０×評価者当たり評価サンプル数１、10×2)のＭＯＳ値との比較からなるグラフである。図７は、評価サンプル数３２０のＭＯＳ値と、１０(評価者数１０×評価者当たり評価サンプル数１)のＭＯＳ値との比較からなるグラフである。尚、図３から７について、縦軸及び横軸は評価点数（１〜５）を示しており、各図には、ＭＯＳ値のばらつきを示す指標として、ＲＭＳＥ値が併記されている。
【００４３】
表４は、図３〜７の各場合のＲＭＳＥ値である。これは、１回目の第１の主観評価値のＭＯＳ値に対して、２回目の第２の主観評価値を累積していく総評価サンプル数のＭＯＳ値のＲＭＳＥ値を表す。このＲＭＳＥ値は、ＲＭＳＥ値蓄積部１６に蓄積される。
【００４４】
【表４】
【００４５】
表４によれば、総評価サンプル数が少ないほど、ＲＭＳＥ値は大きい。ＭＯＳ評価で確保すべき精度の目安としては、異なる評価者で実施した２回目のＭＯＳ評価のＲＭＳＥ値を想定する。即ち、１回目に総評価サンプル数３２０を収集し、次に、異なる評価者、評価サンプル又は評価条件による２回目の総評価サンプル数３２０を収集し、両者のばらつきであるＲＭＳＥ値を、ＭＯＳ評価で確保すべき精度の目安とすることができる。表４によれば、例えば、１回目に対する２回目のＲＭＳＥは０．０９８である。従って、ＲＭＳＥが０，０９８以上となる総評価サンプル数を、ＭＯＳ評価に適した総評価サンプル数として決定することができる。表４によれば、ＲＭＳＥ０．０９８以上となる総評価サンプル数は、４０（ＲＭＳＥ０．１０１）であることが理解できる。
【００４６】
尚、実験データから、総評価サンプル数が同じであれば、評価者数と、評価者当たり評価サンプル数（音声信号の評価サンプル数×評価条件）との組合せの違いによる差は、ほとんど見られなかった。例えば、評価者数４０×評価者当たり評価サンプル数１の場合はＲＭＳＥ０．１０９であり、２０×２場合はＲＭＳＥ０．０９８であった。
【００４７】
前述した本発明における主観評価のための評価サンプル数を決定する方法及びサーバの種々の実施形態によれば、本発明の技術思想及び見地の範囲の種々の変更、修正及び省略を、当業者は容易に行うことができる。前述の説明はあくまで例であって、何ら制約しようとするものではない。本発明は、特許請求の範囲及びその均等物として限定するものにのみ制約される。
【図面の簡単な説明】
【００４８】
【図１】本発明におけるシステムの機能構成図である。
【図２】本発明におけるフローチャートである。
【図３】評価サンプル数３２０のＭＯＳ値と、１６０のＭＯＳ値との比較からなるグラフである。
【図４】評価サンプル数３２０のＭＯＳ値と８０のＭＯＳ値との比較からなるグラフである。
【図５】評価サンプル数３２０のＭＯＳ値と４０のＭＯＳ値との比較からなるグラフである。
【図６】評価サンプル数３２０のＭＯＳ値と２０のＭＯＳ値との比較からなるグラフである。
【図７】評価サンプル数３２０のＭＯＳ値と１０のＭＯＳ値との比較からなるグラフである。
【符号の説明】
【００４９】
１ サーバ
１０ 第１の主観評価値収集部
１１ 第１の主観評価値蓄積部
１２ 平均値（ＭＯＳ値）導出部
１３ 第２の主観評価値収集部
１４ 第２の主観評価値蓄積部
１５ 平方平均二乗誤差値（ＲＭＳＥ値）導出部
１６ 平方平均二乗誤差値（ＲＭＳＥ値）蓄積部
１７ 総評価サンプル数決定部
１８ 平方平均二乗誤差値（ＲＭＳＥ値）記憶部
２ 送話装置
３ 受話装置
４ ネットワーク
【技術分野】
【０００１】
本発明は、通話品質の主観評価のための評価サンプル数を決定する方法及びサーバに関する。
【背景技術】
【０００２】
ＩＰ(Internet Protocol)電話装置又は携帯電話機においては、音声品質の良し悪しについて、その評価方法が問題となる。通話品質の評価方法において、実際に利用者自身が聞いて評価する主観評価と、測定装置により測定された値によって評価する客観評価とがある。通話品質における主観評価の１つに、ＭＯＳ（Mean Opinion Store）評価がある（例えば非特許文献１参照）。これは、「相手の話が聞き取りにくい」又は「相手の声が自然に聞こえる」といった利用者自身の主観による評価を点数化する。ＭＯＳ値は、「非常に良い＝５」（音質が良い）から「非常に悪い＝１」（音質が悪い）までの５段階で表される。
【０００３】
ＭＯＳ評価においては、送話装置から受話装置まで、ネットワークシステム全体を測定する必要がある。送話装置が音声評価サンプルの音声信号を送信し、評価者が受話装置からの音声を実際に聞いて評価する。ＭＯＳ値は人間の実際の評価であるために、その評価結果に個人差が表れ、年齢又は性別によっても評価値が異なる。
【０００４】
【非特許文献１】ITU-T Recommendation P.800, "Methods for subjective determination of transmission quality," Aug.1996.
【発明の開示】
【発明が解決しようとする課題】
【０００５】
主観評価によれば、年齢層又は性別の異なる複数の評価者が、同一ネットワークシステム内で評価した値が必要になる。これは、年齢層又は性別の異なる複数の評価者（異なる複数の評価サンプル）が多いほど、主観評価値の信頼度は向上することを意味する。一方で、このような方法は、費用と時間が増すという問題がある。
【０００６】
これに対し、ＩＴＵ−Ｔ勧告Ｐ．８００によれば、信頼できるＭＯＳ値を求めるのに必要な総評価サンプル数は規定されていない。多くの場合、総評価サンプル数は経験的に設定していて、どれくらいの誤差が想定されるかは明らかにされていない。
【０００７】
従って、本発明は、通話品質の主観評価について、実質的に信頼できるＭＯＳ値を求めるために必要な総評価サンプル数を決定する方法及びサーバを提供することを目的とする。
【課題を解決するための手段】
【０００８】
本発明は、音声信号を送話する送話装置と、
送話装置にネットワークを介して接続されており、評価者に評価値を入力させる手段と、該評価値をサーバへ送信する手段とを有する受話装置と
複数の評価者識別子毎の主観評価値を収集し、音声通話の主観評価のための評価サンプル数を決定するサーバと
を有するシステムにおける音声通話の主観評価のための評価サンプル数決定方法に関する。
【０００９】
本発明の方法によれば、
サーバが、１回目として、評価者識別子数と、評価者当たりの評価サンプル数との乗算による総評価サンプル数の第１の主観評価値を収集する第１のステップと、
第１の主観評価値の平均値（ＭＯＳ）を導出する第２のステップと、
サーバが、２回目として、総評価サンプル数まで、第２の主観評価値（ｘ）を収集する第３のステップと、
第２の主観評価値を収集する毎に、第１の主観評価値の平均値（ＭＯＳ）と、その時点までに収集（n）した第２の主観評価値の平均値（1/nΣi=1nｘ）とに基づく平方平均二乗誤差値を導出する第４のステップと、
収集した第２の主観評価値の総評価サンプル数の累積数毎に、平方平均二乗誤差値を蓄積する第５のステップと、
所定の平方平均二乗誤差値以下に相当する総評価サンプル数を決定する第６のステップとを有することを特徴とする。
【００１０】
また、本発明の方法における他の実施形態によれば、第６のステップにおける所定の平方平均二乗誤差値は、第３のステップの総評価サンプル数が、第１のステップの総評価サンプル数に達した際に導出された平方平均二乗誤差値であることも好ましい。
【００１１】
更に、送話装置から送信される音声信号に対して、異なる雑音条件の付加及び／又は異なる符号化方式の適用による複数の評価条件を加え、第４のステップは、評価条件が同一の場合にのみ、平方平均二乗誤差値を導出することも好ましい。
【００１２】
また、本発明は、音声信号を送話する送話装置と、
送話装置にネットワークを介して接続されており、評価者に評価値を入力させる手段と、該評価値をサーバへ送信する手段とを有する受話装置と
を有するシステムに含まれ、複数の評価者識別子毎の主観評価値を収集し、音声通話の主観評価のための評価サンプル数を決定するサーバに関する。
【００１３】
本発明のサーバによれば、１回目として、評価者識別子数と、評価者当たりの評価サンプル数との乗算による総評価サンプル数の第１の主観評価値を収集する第１の主観評価値収集手段と、
第１の主観評価値の平均値（ＭＯＳ）を導出する平均値導出手段と、
２回目として、総評価サンプル数まで、第２の主観評価値（ｘ）を収集する第２主観評価値収集手段と、
第２の主観評価値を収集する毎に、第１の主観評価値の平均値（ＭＯＳ）と、その時点までに収集（n）した第２の主観評価値の平均値（1/nΣi=1nｘ）とに基づく平方平均二乗誤差値を導出する平方平均二乗誤差値導出手段と、
収集した第２の主観評価値の総評価サンプル数の累積数毎に平方平均二乗誤差値を蓄積する平方平均二乗誤差値蓄積手段と、
所定の平方平均二乗誤差値以下に相当する総評価サンプル数を決定する総評価サンプル数決定手段とを有することを特徴とする。
【００１４】
また、本発明のサーバにおける他の実施形態によれば、総評価サンプル数決定手段における所定の平方平均二乗誤差値は、第２の主観評価値収集手段の総評価サンプル数が、第１の主観評価値収集手段の総評価サンプル数に達した際に、平方平均二乗誤差導出手段によって導出された平方平均二乗誤差値であることも好ましい。
【００１５】
更に、本発明のサーバにおける他の実施形態によれば、送話装置から送信される音声信号に対して、異なる雑音条件の付加及び／又は異なる符号化方式の適用による複数の評価条件を加え、平方平均二乗誤差導出手段は、評価条件が同一の場合にのみ、平方平均二乗誤差値を導出することも好ましい。
【発明の効果】
【００１６】
本発明によれば、通話品質の主観評価について、実質的に信頼できるＭＯＳ値を求めるために必要な総評価サンプル数を決定することができる。１回目のＭＯＳ値に対して、２回目の主観評価値を収集する毎に、総評価サンプル数の累積数に対するＲＭＳＥ値を近似曲線として蓄積する。蓄積されたこの近似曲線を用いて、所定のＲＭＳＥ値を指定することにより、総評価サンプル数を決定することができる。
【００１７】
また、所定のＲＭＳＥ値は、１回目の第１の主観評価値の総評価サンプル数と同数の累積数に達した、第２の主観評価値に基づくＲＭＳＥ値であってもよい。２回目のＭＯＳ評価は、別の評価者を集めて同じ規模のＭＯＳ評価を行うことが好ましい。これにより、異なる評価者による２回目のＲＭＳＥ値をばらつきの最大とすることにより、そのＲＭＳＥ値に達した程度の総評価サンプルを決定することができる。
【発明を実施するための最良の形態】
【００１８】
以下では、図面を用いて、本発明を実施するための最良の形態について説明する。
【００１９】
図１は、本発明におけるシステムの機能構成図である。
【００２０】
図１のシステムは、サーバ１と、送話装置２と、受話装置３とが、ネットワーク４を介して接続されている。送話装置２は、受話装置３に対して１つの音声信号を送話する。受話装置３は、送話装置２から受信した音声信号を発声する受話部と、評価者(X,Y,Z)が主観的評価値を入力することができる入力部と、その評価値をサーバ１へ送信する評価値送信部とを有する。評価者は、受話装置３の受話部から発声された音声を聞き、入力部に評価値を入力する。評価者毎に識別子が付与されている。受話装置３の評価値送信部は、主観評価値を、評価者識別子と共に、サーバ１へ送信する。また、評価の信頼性を高めるために、１人の評価者に対して複数回（評価サンプル数）の評価値を収集する。この場合、
（１条件当たりの）総評価サンプル数＝評価者識別子数×評価サンプル数
となる。
【００２１】
ここで、複数の評価条件を設定することもできる。評価条件とは、送話装置から送信される音声信号に対して、異なる雑音条件の付加及び／又は異なる符号化方式の適用をいう。例えば、１つの音声信号に対して、３つの雑音条件を付加し且つ２つの符号化方式を適用した場合、６つの評価条件（３×２）を指定することができる。また、複数の音声信号を適用することもでき、異なる音声信号に対しても同じ評価条件を指定することができる。これにより、送話装置から受話装置へ送信した際に、指定条件毎に評価者の主観的評価値を得ることができる。この場合、
総評価サンプル数＝１条件当たりの総評価サンプル数×評価条件数
となる。
【００２２】
サーバ１は、第１の主観評価値収集部１０と、第１の主観評価値蓄積部１１と、平均値（ＭＯＳ値）導出部１２と、第２の主観評価値収集部１３と、第２の主観評価値蓄積部１４と、平方平均二乗誤差（ＲＭＳＥ:Root Mean Square Error）値導出部１５と、ＲＭＳＥ導出部１６と、総評価サンプル数決定部１７と、ＲＭＳＥ値記憶部１８とを有する。
【００２３】
第１の主観評価値収集部１０は、１回目として、総評価サンプル数の第１の主観評価値を収集する。第１の主観評価値蓄積部１１は、評価者識別子と共に、受信した第１の主観評価値を蓄積する。十分に信頼できるＭＯＳ値を導出するために、蓄積される第１の主観評価値の総評価サンプル数は、十分に大きな数であることが望ましい。ＭＯＳ値導出部１２は、第１の主観評価値の平均値ＭＯＳを導出する。
【００２４】
第２の主観評価値収集部１３は、２回目として、１回目の総評価サンプル数まで、第２の主観評価値を収集し、累積する。第２の主観評価値蓄積部１４は、評価者識別子と共に、受信した第２の主観評価値を蓄積する。
【００２５】
ＲＭＳＥ導出部１５は、第２の主観評価値を収集する毎に、過去のＭＯＳ評価と一致する条件について、第１の主観評価値の平均値ＭＯＳと、その時点までに収集した第２の主観評価値の平均値とに基づく平方平均二乗誤差値を導出する。即ち、２回目以降のＭＯＳ評価に必要な精度を、平方平均二乗誤差値として導出するものである。ＲＭＳＥは、ＭＯＳ評価の評価サンプル数減少に伴うＭＯＳ値のばらつきの増大を示す。このように第２の主観評価値を受信しながら累積しつつ、その時点でのＭＯＳ値のばらつきを検出することもできる。ＲＭＳＥ値は、以下の式によって導出される。
【００２６】
【数１】
【００２７】
ＭＯＳ1,cは、１回目のＭＯＳ評価の評価条件ｃにおけるＭＯＳ値を意味する。ｘc,iは、２回目以降のＭＯＳ評価における評価条件の評価サンプルｉを意味する。ｎは、２回目以降のＭＯＳ評価の評価サンプル数を意味する。ｍは、１回目と２回目で共通する評価条件ｃの総数を意味する。
【００２８】
ＲＭＳＥ蓄積部１６は、導出されたＲＭＳＥ値を、第１の主観評価値の総評価サンプル数の累積数毎に記憶する。これにより、総評価サンプル数の関数として、ＲＭＳＥ(n)の近似曲線を導出することができる。
【００２９】
総評価サンプル数決定部１７は、ＲＭＳＥ蓄積部１６ｂの近似曲線から、所定のＲＭＳＥ値以下になる評価サンプル数を決定する。この所定のＲＭＳＥ値は、１回目の第１の主観評価値の総評価サンプル数と同数の累積数に達した、第２の主観評価値に基づくＲＭＳＥ値であってもよい。例えば、第１の主観評価値に基づく総評価サンプル数が３２０であれば、第２の主観評価値が３２０の総評価サンプル数に達した際のＲＭＳＥ値を、この所定のＲＭＳＥ値とすることができる。２回目のＭＯＳ評価は、別の評価者を集めて同じ規模のＭＯＳ評価を行うことが好ましい。
【００３０】
図２は、本発明におけるフローチャートである。
【００３１】
（Ｓ２０１）１回目として、総評価サンプル数の第１の主観評価値を収集する。
（Ｓ２０２）評価サンプル識別子と評価者識別子と共に、受信した第１の主観評価値を蓄積する。十分に信頼できるＭＯＳ値を導出するために、蓄積される第１の主観評価値の総評価サンプル数は、十分に大きな数であることが望ましい。
（Ｓ２０３）第１の主観評価値の平均値ＭＯＳを導出する。
（Ｓ２０４）２回目として、総評価サンプル数の累積数に達するまで、第２の主観評価値を収集する。
（Ｓ２０５）評価者識別子と共に、受信した第２の主観評価値を蓄積する。
（Ｓ２０６）第２の主観評価値を収集する毎に、過去のＭＯＳ評価と一致する条件について、第１の主観評価値の平均値ＭＯＳと、その時点までに収集した第２の主観評価値の平均値とに基づく平方平均二乗誤差値を導出する。
（Ｓ２０７）導出されたＲＭＳＥ値を、第１の主観評価値の総評価サンプル数の累積数毎に記憶する。これにより、総評価サンプル数の関数として、ＲＭＳＥ(n)の近似曲線を導出することができる。
（Ｓ２０８）総評価サンプル数を決定したいときに、ＲＭＳＥ(n)の近似曲線を用いて、所定のＲＭＳＥ値以下になる評価サンプル数を決定する。
【００３２】
次に、具体的な例として、携帯電話機における背景雑音を含む音声に対するＭＯＳ評価について、詳細に説明する。
【００３３】
例えば、評価者は、一般の２０代〜５０代の男女計８０名とする。表１は、評価者の人数構成である。
【００３４】
【表１】
【００３５】
１人の評価者が評価する回数（評価サンプル数）を４とする。これにより、評価者識別子数８０×評価サンプル数４＝総評価サンプル数３２０となる。
【００３６】
表２は、送話装置から送信される音声信号の雑音条件（評価条件）である。
【００３７】
【表２】
【００３８】
また、評価条件として、符号化方式Ａ及びＢを通過させる。これにより、雑音条件１６×符号化方式２＝３２条件となる。
【００３９】
評価サンプル数を決定するパラメータとして、評価者識別子数、評価者当たりの評価サンプル数（評価する回数×評価条件）の２種類がある。評価者については、全評価者８０名から性別、年代別の人数構成割合を保ちつつ、４０名、２０名、１０名をランダムに２パターンずつ選択した。表３は、評価者数を減少させた場合の人数構成を示す。
【００４０】
【表３】
【００４１】
また、評価者当たり評価サンプル数については、４、２、１に減少させる。以下では、これらの評価者数及び評価者当たり評価サンプル数の組合せにより実現される、１６０、８０、４０、２０という評価サンプル数について検討する。
【００４２】
図３は、評価サンプル数３２０のＭＯＳ値と、１６０(評価者数８０×評価者当たり評価サンプル数２、40×4)のＭＯＳ値との比較からなるグラフである。図４は、評価サンプル数３２０のＭＯＳ値と、８０(評価者数８０×評価者当たり評価サンプル数１、40×2、20×4)のＭＯＳ値との比較からなるグラフである。図５は、評価サンプル数３２０のＭＯＳ値と、４０(評価者数４０×評価者当たり評価サンプル数１、20×2、10×4)のＭＯＳ値との比較からなるグラフである。図６は、評価サンプル数３２０のＭＯＳ値と、２０(評価者数２０×評価者当たり評価サンプル数１、10×2)のＭＯＳ値との比較からなるグラフである。図７は、評価サンプル数３２０のＭＯＳ値と、１０(評価者数１０×評価者当たり評価サンプル数１)のＭＯＳ値との比較からなるグラフである。尚、図３から７について、縦軸及び横軸は評価点数（１〜５）を示しており、各図には、ＭＯＳ値のばらつきを示す指標として、ＲＭＳＥ値が併記されている。
【００４３】
表４は、図３〜７の各場合のＲＭＳＥ値である。これは、１回目の第１の主観評価値のＭＯＳ値に対して、２回目の第２の主観評価値を累積していく総評価サンプル数のＭＯＳ値のＲＭＳＥ値を表す。このＲＭＳＥ値は、ＲＭＳＥ値蓄積部１６に蓄積される。
【００４４】
【表４】
【００４５】
表４によれば、総評価サンプル数が少ないほど、ＲＭＳＥ値は大きい。ＭＯＳ評価で確保すべき精度の目安としては、異なる評価者で実施した２回目のＭＯＳ評価のＲＭＳＥ値を想定する。即ち、１回目に総評価サンプル数３２０を収集し、次に、異なる評価者、評価サンプル又は評価条件による２回目の総評価サンプル数３２０を収集し、両者のばらつきであるＲＭＳＥ値を、ＭＯＳ評価で確保すべき精度の目安とすることができる。表４によれば、例えば、１回目に対する２回目のＲＭＳＥは０．０９８である。従って、ＲＭＳＥが０，０９８以上となる総評価サンプル数を、ＭＯＳ評価に適した総評価サンプル数として決定することができる。表４によれば、ＲＭＳＥ０．０９８以上となる総評価サンプル数は、４０（ＲＭＳＥ０．１０１）であることが理解できる。
【００４６】
尚、実験データから、総評価サンプル数が同じであれば、評価者数と、評価者当たり評価サンプル数（音声信号の評価サンプル数×評価条件）との組合せの違いによる差は、ほとんど見られなかった。例えば、評価者数４０×評価者当たり評価サンプル数１の場合はＲＭＳＥ０．１０９であり、２０×２場合はＲＭＳＥ０．０９８であった。
【００４７】
前述した本発明における主観評価のための評価サンプル数を決定する方法及びサーバの種々の実施形態によれば、本発明の技術思想及び見地の範囲の種々の変更、修正及び省略を、当業者は容易に行うことができる。前述の説明はあくまで例であって、何ら制約しようとするものではない。本発明は、特許請求の範囲及びその均等物として限定するものにのみ制約される。
【図面の簡単な説明】
【００４８】
【図１】本発明におけるシステムの機能構成図である。
【図２】本発明におけるフローチャートである。
【図３】評価サンプル数３２０のＭＯＳ値と、１６０のＭＯＳ値との比較からなるグラフである。
【図４】評価サンプル数３２０のＭＯＳ値と８０のＭＯＳ値との比較からなるグラフである。
【図５】評価サンプル数３２０のＭＯＳ値と４０のＭＯＳ値との比較からなるグラフである。
【図６】評価サンプル数３２０のＭＯＳ値と２０のＭＯＳ値との比較からなるグラフである。
【図７】評価サンプル数３２０のＭＯＳ値と１０のＭＯＳ値との比較からなるグラフである。
【符号の説明】
【００４９】
１ サーバ
１０ 第１の主観評価値収集部
１１ 第１の主観評価値蓄積部
１２ 平均値（ＭＯＳ値）導出部
１３ 第２の主観評価値収集部
１４ 第２の主観評価値蓄積部
１５ 平方平均二乗誤差値（ＲＭＳＥ値）導出部
１６ 平方平均二乗誤差値（ＲＭＳＥ値）蓄積部
１７ 総評価サンプル数決定部
１８ 平方平均二乗誤差値（ＲＭＳＥ値）記憶部
２ 送話装置
３ 受話装置
４ ネットワーク
【特許請求の範囲】
【請求項１】
音声信号を送話する送話装置と、
前記送話装置にネットワークを介して接続されており、前記評価者に評価値を入力させる手段と、該評価値を前記サーバへ送信する手段とを有する受話装置と
複数の評価者識別子毎の主観評価値を収集し、音声通話の主観評価のための評価サンプル数を決定するサーバと
を有するシステムにおける音声通話の主観評価のための評価サンプル数決定方法において、
前記サーバが、１回目として、評価者識別子数と、評価者当たりの評価サンプル数との乗算による総評価サンプル数の第１の主観評価値を収集する第１のステップと、
前記第１の主観評価値の平均値（ＭＯＳ）を導出する第２のステップと、
前記サーバが、２回目として、前記総評価サンプル数まで、第２の主観評価値（ｘ）を収集する第３のステップと、
前記第２の主観評価値を収集する毎に、前記第１の主観評価値の平均値（ＭＯＳ）と、その時点までに収集（n）した前記第２の主観評価値の平均値（1/nΣi=1nｘ）とに基づく平方平均二乗誤差値を導出する第４のステップと、
収集した前記第２の主観評価値の総評価サンプル数の累積数毎に、前記平方平均二乗誤差値を蓄積する第５のステップと、
所定の平方平均二乗誤差値以下に相当する前記総評価サンプル数を決定する第６のステップと
を有することを特徴とする方法。
【請求項２】
前記第６のステップにおける前記所定の平方平均二乗誤差値は、前記第３のステップの前記総評価サンプル数が、前記第１のステップの総評価サンプル数に達した際に導出された平方平均二乗誤差値であることを特徴とする請求項１に記載の方法。
【請求項３】
前記送話装置から送信される音声信号に対して、異なる雑音条件の付加及び／又は異なる符号化方式の適用による複数の評価条件を加え、前記第４のステップは、前記評価条件が同一の場合にのみ、前記平方平均二乗誤差値を導出することを特徴とする請求項１又は２に記載の方法。
【請求項４】
音声信号を送話する送話装置と、
前記送話装置にネットワークを介して接続されており、前記評価者に評価値を入力させる手段と、該評価値を前記サーバへ送信する手段とを有する受話装置と
を有するシステムに含まれ、複数の評価者識別子毎の主観評価値を収集し、音声通話の主観評価のための評価サンプル数を決定するサーバにおいて、
１回目として、評価者識別子数と、評価者当たりの評価サンプル数との乗算による総評価サンプル数の第１の主観評価値を収集する第１の主観評価値収集手段と、
前記第１の主観評価値の平均値（ＭＯＳ）を導出する平均値導出手段と、
２回目として、前記総評価サンプル数まで、第２の主観評価値（ｘ）を収集する第２主観評価値収集手段と、
前記第２の主観評価値を収集する毎に、前記第１の主観評価値の平均値（ＭＯＳ）と、その時点までに収集（n）した前記第２の主観評価値の平均値（1/nΣi=1nｘ）とに基づく平方平均二乗誤差値を導出する平方平均二乗誤差値導出手段と、
収集した前記第２の主観評価値の総評価サンプル数の累積数毎に前記平方平均二乗誤差値を蓄積する平方平均二乗誤差値蓄積手段と、
所定の平方平均二乗誤差値以下に相当する前記総評価サンプル数を決定する総評価サンプル数決定手段と
を有することを特徴とするサーバ。
【請求項５】
前記総評価サンプル数決定手段における前記所定の平方平均二乗誤差値は、前記第２の主観評価値収集手段の前記総評価サンプル数が、前記第１の主観評価値収集手段の総評価サンプル数に達した際に、前記平方平均二乗誤差導出手段によって導出された平方平均二乗誤差値であることを特徴とする請求項４に記載のサーバ。
【請求項６】
前記送話装置から送信される音声信号に対して、異なる雑音条件の付加及び／又は異なる符号化方式の適用による複数の評価条件を加え、前記平方平均二乗誤差導出手段は、前記評価条件が同一の場合にのみ、前記平方平均二乗誤差値を導出することを特徴とする請求項４又は５に記載のサーバ。
【請求項１】
音声信号を送話する送話装置と、
前記送話装置にネットワークを介して接続されており、前記評価者に評価値を入力させる手段と、該評価値を前記サーバへ送信する手段とを有する受話装置と
複数の評価者識別子毎の主観評価値を収集し、音声通話の主観評価のための評価サンプル数を決定するサーバと
を有するシステムにおける音声通話の主観評価のための評価サンプル数決定方法において、
前記サーバが、１回目として、評価者識別子数と、評価者当たりの評価サンプル数との乗算による総評価サンプル数の第１の主観評価値を収集する第１のステップと、
前記第１の主観評価値の平均値（ＭＯＳ）を導出する第２のステップと、
前記サーバが、２回目として、前記総評価サンプル数まで、第２の主観評価値（ｘ）を収集する第３のステップと、
前記第２の主観評価値を収集する毎に、前記第１の主観評価値の平均値（ＭＯＳ）と、その時点までに収集（n）した前記第２の主観評価値の平均値（1/nΣi=1nｘ）とに基づく平方平均二乗誤差値を導出する第４のステップと、
収集した前記第２の主観評価値の総評価サンプル数の累積数毎に、前記平方平均二乗誤差値を蓄積する第５のステップと、
所定の平方平均二乗誤差値以下に相当する前記総評価サンプル数を決定する第６のステップと
を有することを特徴とする方法。
【請求項２】
前記第６のステップにおける前記所定の平方平均二乗誤差値は、前記第３のステップの前記総評価サンプル数が、前記第１のステップの総評価サンプル数に達した際に導出された平方平均二乗誤差値であることを特徴とする請求項１に記載の方法。
【請求項３】
前記送話装置から送信される音声信号に対して、異なる雑音条件の付加及び／又は異なる符号化方式の適用による複数の評価条件を加え、前記第４のステップは、前記評価条件が同一の場合にのみ、前記平方平均二乗誤差値を導出することを特徴とする請求項１又は２に記載の方法。
【請求項４】
音声信号を送話する送話装置と、
前記送話装置にネットワークを介して接続されており、前記評価者に評価値を入力させる手段と、該評価値を前記サーバへ送信する手段とを有する受話装置と
を有するシステムに含まれ、複数の評価者識別子毎の主観評価値を収集し、音声通話の主観評価のための評価サンプル数を決定するサーバにおいて、
１回目として、評価者識別子数と、評価者当たりの評価サンプル数との乗算による総評価サンプル数の第１の主観評価値を収集する第１の主観評価値収集手段と、
前記第１の主観評価値の平均値（ＭＯＳ）を導出する平均値導出手段と、
２回目として、前記総評価サンプル数まで、第２の主観評価値（ｘ）を収集する第２主観評価値収集手段と、
前記第２の主観評価値を収集する毎に、前記第１の主観評価値の平均値（ＭＯＳ）と、その時点までに収集（n）した前記第２の主観評価値の平均値（1/nΣi=1nｘ）とに基づく平方平均二乗誤差値を導出する平方平均二乗誤差値導出手段と、
収集した前記第２の主観評価値の総評価サンプル数の累積数毎に前記平方平均二乗誤差値を蓄積する平方平均二乗誤差値蓄積手段と、
所定の平方平均二乗誤差値以下に相当する前記総評価サンプル数を決定する総評価サンプル数決定手段と
を有することを特徴とするサーバ。
【請求項５】
前記総評価サンプル数決定手段における前記所定の平方平均二乗誤差値は、前記第２の主観評価値収集手段の前記総評価サンプル数が、前記第１の主観評価値収集手段の総評価サンプル数に達した際に、前記平方平均二乗誤差導出手段によって導出された平方平均二乗誤差値であることを特徴とする請求項４に記載のサーバ。
【請求項６】
前記送話装置から送信される音声信号に対して、異なる雑音条件の付加及び／又は異なる符号化方式の適用による複数の評価条件を加え、前記平方平均二乗誤差導出手段は、前記評価条件が同一の場合にのみ、前記平方平均二乗誤差値を導出することを特徴とする請求項４又は５に記載のサーバ。
【図１】
【図２】
【図３】
【図４】
【図５】
【図６】
【図７】
【図２】
【図３】
【図４】
【図５】
【図６】
【図７】
【公開番号】特開２００６−１４８７５２（Ｐ２００６−１４８７５２Ａ）
【公開日】平成１８年６月８日（２００６．６．８）
【国際特許分類】
【出願番号】特願２００４−３３８６８９（Ｐ２００４−３３８６８９）
【出願日】平成１６年１１月２４日（２００４．１１．２４）
【出願人】（０００２０８８９１）ＫＤＤＩ株式会社 (2,700)
【Ｆターム（参考）】
【公開日】平成１８年６月８日（２００６．６．８）
【国際特許分類】
【出願日】平成１６年１１月２４日（２００４．１１．２４）
【出願人】（０００２０８８９１）ＫＤＤＩ株式会社 (2,700)
【Ｆターム（参考）】
[ Back to top ]