発音評価装置
【課題】発音や歌唱の評価対象とする音声からお手本音声を収録して得たものを確実に排除すること。
【解決手段】お手本音声をユーザの音声と異なるサンプリング周波数でサンプリングして音声データ化する。そして、お手本音声を音声データ化する際にローパスフィルタに設定した周波数よりも高い周波数の成分がユーザの音声の音声データに所定値以上含まれていない場合には、お手本そのものが入力されているとみなしてその音声データを評価対象から除外する。
【解決手段】お手本音声をユーザの音声と異なるサンプリング周波数でサンプリングして音声データ化する。そして、お手本音声を音声データ化する際にローパスフィルタに設定した周波数よりも高い周波数の成分がユーザの音声の音声データに所定値以上含まれていない場合には、お手本そのものが入力されているとみなしてその音声データを評価対象から除外する。
【発明の詳細な説明】
【技術分野】
【０００１】
本発明は、発音評価装置に関する。
【背景技術】
【０００２】
発音評価や歌唱評価の分野においては、お手本として準備された音声データとユーザがそのお手本を模して発音した音声データの類似度を比較することによって発音や歌唱の巧拙を評価するシステムが提案されている。例えば、特許文献１に記載された発音採点システムは、まず、お手本として準備しておいた語学教材の音声をスピーカから放音し、その音声を模してユーザが発音した音声をマイクロホン等を介して収録する。そして、収録した音声を分析することによって、ストレスアクセント、トニックアクセント、イントネーションアクセントなどの特徴量を抽出し、更にその特徴量をお手本の音声データから抽出しておいた特徴量と比較することによって発音の巧拙を評価するようになっている。
【特許文献１】特開２０００−３４７５６０号公報
【発明の開示】
【発明が解決しようとする課題】
【０００３】
ところで、この種のシステムを利用するユーザの中には、良好な評価結果を不正に取得するため、放音されるお手本の音声を録音等して自らの音声として入力する者もあった。よって、そのような不正な手法により入力される音声を評価対象から確実に排除する仕組みの提供が望まれていた。
本発明は、このような背景の下に案出されたものであり、発音や歌唱の評価対象とする音声からお手本音声を収録して得たものを確実に排除できるような仕組みを提供することを目的とする。
【課題を解決するための手段】
【０００４】
本発明の好適な態様である発音評価装置は、お手本音声の入力信号から、予め設定された所定周波数よりも高い帯域の成分を除去して得たお手本音声データを記憶するお手本音声データ記憶手段と、お手本音声を模して発音されたユーザ音声信号を入力する入力手段と、前記入力されたユーザ音声信号における前記所定周波数より高い帯域の成分の信号レベルが所定値を上回っているか否か判断する判断手段と、前記帯域の成分の信号レベルが所定値を上回っていると前記判断手段が判断したとき、前記ユーザ音声データと前記お手本音声データ記憶手段から読み出したお手本音声データの類似度を比較することによって発音の巧拙を評価し、その評価結果を出力する評価手段とを備える。
【０００５】
本発明の別の好適な態様である発音評価装置は、お手本音声の入力信号から、予め設定された所定周波数よりも高い帯域の成分を除去し、その残りの成分の非可聴帯域に所定の信号を挿入したお手本音声データを記憶するお手本音声データ記憶手段と、お手本音声を模して発音されたユーザ音声信号を入力する入力手段と、前記入力されたユーザ音声信号の非可聴帯域に含まれる成分の信号レベルが所定値を上回っているか否か判断する判断手段と、前記非可聴帯域の成分の信号レベルが所定値を上回っていないと前記判断手段が判断したとき、前記ユーザ音声データと前記お手本音声データ記憶手段から読み出したお手本音声データの類似度を比較することによって発音の巧拙を評価し、その評価結果を出力する評価手段とを備える。
【発明の効果】
【０００６】
本発明によると、発音や歌唱の評価対象とする音声からお手本音声を収録して得たものを確実に排除することができる。
【発明を実施するための最良の形態】
【０００７】
（第１実施形態）
本願発明の第１実施形態について説明する。
本実施形態にかかる発音評価装置は、以下の２つの動作モード毎に異なる振る舞いを行う。
ａお手本収録モード
このモードは、ネイティブスピーカなどの外国語講師のお手本の音声をマイクを介して収音し、収音した音声をアナログ／デジタル（以下、「Ａ／Ｄ」）変換して得た音声データをデータベースに収録するモードである。
ｂ発音評価モード
このモードは、お手本収録モードを通じて収録しておいた音声データを外国語の学習者であるユーザに提示した上でそれを模してユーザに発音させた音声を収音し、収音した音声をＡ／Ｄ変換して得た音声データとお手本の音声データとの類似度を比較することによって発音の巧拙を評価するモードである。
【０００８】
本実施形態の特徴は、発音評価モード時に収音する音声の音声データの周波数特性とお手本の音声をＡ／Ｄ変換した際の各種周波数設定とを比較することによって、収音した音声がお手本の音声と同じであるかどうか判断し、同じものである場合には真正でないとして評価対象から排除するようにした点である。
【０００９】
図１は、本実施形態に係る発音評価装置の全体構成図である。図に示すように、この装置は、操作部１０、お手本音声データベース１１、評価済み音声データベース１２、マイクロホン１３、Ａ／Ｄ変換部１４、再生制御部１５、デジタル／アナログ（以下、「Ｄ／Ａ」と記す）変換部１６、スピーカ１７、評価対象判断制御部１８、評価制御部１９、及びディスプレイ２０を備える。
各部の機能を概説する。
操作部１０は、本装置の動作モードを切り換える。
お手本音声データベース１１は、お手本収録モードにおいて収音した音声の音声データを蓄積記憶する。評価済み音声データベース１２は発音評価モードにおいて収音した音声の音声データであって且つ発音の巧拙の評価を終えた音声データを蓄積記憶する。
マイクロホン１３は、収音した音声のアナログ信号をＡ／Ｄ変換部１４へ供給する。
【００１０】
Ａ／Ｄ変換部１４は、ローパスフィルタ２１、カットオフ周波数設定部２２、サンプリング部２３、サンプリング周波数設定部２４、量子化部２５、符号化部２６を内蔵する。
ローパスフィルタ２１は、マイクロホン１３からアナログ信号が供給されると、自身に設定されたカットオフ周波数よりも高い帯域の成分をそのアナログ信号から除去してサンプリング部２３へ供給する。カットオフ周波数設定部２２は、お手本収録モード用として最適化された第１のカットオフ周波数と発音評価モード用として最適化された第２のカットオフ周波数のうちの一方を操作部１０の操作に応じてローパスフィルタ２１に設定する。
ここで、お手本収録モード時に設定される第１のカットオフ周波数と発音評価モード時に設定される第２のカットオフ周波数は異なる値である必要があり、且つ第１のカットオフ周波数は第２のカットオフ周波数よりも低い値とすることが望ましい。
【００１１】
サンプリング部２３は、ローパスフィルタ２１からアナログ信号が供給されると、自身に設定されたサンプリング周波数が示す間隔でそのアナログ信号を瞬時値に変換する。サンプリング周波数設定部２４は、お手本収録モードになると、第１のカットオフ周波数の２倍の周波数をサンプリング周波数としてサンプリング部２３へ設定する一方で、発音評価モードになると、第２のカットオフ周波数の２倍の周波数をサンプリング周波数としてサンプリング部２３へ設定する。
サンプリング部２３にて取得された瞬時値は、量子化部２５による量子化を経た後に符号化部２６へ供給され、符号化部２６において所定ビット長のデジタル信号へと変換される。このデジタル信号は、お手本収録モード時にはお手本音声データとしてお手本音声データベース１１に記憶される一方、発音評価モード時にはユーザ音声データとして評価対象判断制御部１８へ供給される。
【００１２】
再生制御部１５は、発音評価モード時において、お手本音声データベース１１から読み出したお手本音声データをＤ／Ａ変換部１６へ供給する。お手本音声データは、Ｄ／Ａ変換部１６にてアナログ信号に変換された後、スピーカ１７から音声として放音される。
評価対象判断制御部１８は、Ａ／Ｄ変換部１４の符号化部２６から供給される音声データが表す音声とお手本音声データが表す音声が同じものであるか否か判断し、同じものでない場合にのみその音声データをユーザ音声データとして評価制御部１９へ供給する。評価対象判断制御部１８は、本システムにおいて中核的役割を担う部位であり、その動作の詳細は後の動作説明の項で説明する。
評価制御部１９は、評価対象判断制御部１８から供給されるユーザ音声データとお手本音声データの特徴を比較することによって発音の巧拙を評価し、その評価結果をディスプレイ２０に出力する。ディスプレイ２０には、評価結果を表す画像が表示される。
【００１３】
次に、本実施形態の動作を説明する。
本実施形態の動作は、お手本収録処理と発音評価処理とに大別できる。
図２は、お手本収録処理を示すフローチャートである。
図に示す処理は、操作部１０の操作によって動作モードがお手本収録モードに切り換えられたことをトリガーとして開始される。
動作モードがお手本収録モードに切り換えられると、Ａ／Ｄ変換部１４のカットオフ周波数設定部２２は、第１のカットオフ周波数をローパスフィルタ２１に設定する（Ｓ１００）。
続いて、Ａ／Ｄ変換部１４のサンプリング周波数設定部２４は、第１のカットオフ周波数の２倍の周波数をサンプリング周波数としてサンプリング部２３に設定する（Ｓ１１０）。
その後、お手本発音要求画面をディスプレイ２０に表示する（Ｓ１２０）。この画面には、「お手本の音声を発音してください。」という内容の文字列が表示される。
お手本発音要求画面を参照した外国語講師は、お手本音声を自ら発音する。発音された音声がマイクロホン１３によって収音されると、その音声のアナログ信号はＡ／Ｄ変換部１４にて音声データに変換され、お手本音声データとしてお手本音声データベース１１に記憶される（Ｓ１３０）。
【００１４】
図３は、発音評価処理を示すフローチャートである。
図に示す処理は、操作部１０の操作によって動作モードが発音評価モードに切り換えられたことをトリガーとして開始される。
動作モードが発音評価モードに切り換えられると、Ａ／Ｄ変換部１４のカットオフ周波数設定部２２は、第２のカットオフ周波数をローパスフィルタ２１に設定する（Ｓ２００）。
続いて、Ａ／Ｄ変換部１４のサンプリング周波数設定部２４は、第２のカットオフ周波数の２倍の周波数をサンプリング周波数としてサンプリング部２３に設定する（Ｓ２１０）。
【００１５】
その後、再生制御部１５は、お手本音声データベース１１に記憶されているお手本音声データを読み出し、Ｄ／Ａ変換部１６へ供給する（Ｓ２２０）。すると、お手本音声がスピーカ１７から放音される。
スピーカ１７から放音されるお手本音声を聴取したユーザは、そのお手本音声を模して発音する。発音された音声がマイクによって収音されると、その音声のアナログ信号はＡ／Ｄ変換部１４にて音声データに変換され、評価対象判断制御部１８へ供給される（Ｓ２３０）。
【００１６】
音声データの供給を受けた評価対象判断制御部１８は、第１のカットオフ周波数と第２のカットオフ周波数の間の帯域の成分をその音声データから抽出する（Ｓ２４０）。
評価対象判断制御部１８は、ステップ２４０で抽出した成分の信号レベルが所定値を上回っているか否か判断する（Ｓ２５０）。
【００１７】
ステップ２５０にて、信号レベルが所定値を上回っていないと判断した評価対象判断制御部１８は、評価拒否画面をディスプレイ２０に表示させる（Ｓ２６０）。この画面には、「お手本をそのまま入力した場合には、評価の対象になりません。」という内容の文字列が表示される。
【００１８】
一方、ステップ２５０にて、信号レベルが所定値を上回っていると判断した評価対象判断制御部１８は、Ａ／Ｄ変換部１４から供給された音声データをユーザ音声データとして評価制御部１９へ供給する（Ｓ２７０）。
評価制御部１９は、ユーザ音声データとお手本音声データベース１１から読み出していたお手本音声データの類似度を比較することによって発音の巧拙を評価し、その評価結果をディスプレイ２０に表示させる（Ｓ２８０）。
その後、評価制御部１９は、評価対象となったユーザ音声データを評価済み音声データベース１２に記憶する（Ｓ２９０）。
【００１９】
ここで、第１のカットオフ周波数と第２のカットオフ周波数の間の帯域の成分の信号レベルを参照することによって評価対象が選別される原理について、図を参照して説明する。
図４（ａ）はお手本音声データの周波数特性を示す図であり、図４（ｂ）は真正なユーザ音声データの周波数特性を示す図である。上述したように、お手本収録モードにおいては、第１のカットオフ周波数がＡ／Ｄ変換部１４のローパスフィルタ２１に設定されるので、このモードで収音した音声から得られるお手本音声データには第１のカットオフ周波数よりも高い帯域の成分はほとんど含まれないはずである。一方で、発音評価モードにおいては、第１のカットオフ周波数よりも高い周波数である第２のカットオフ周波数がＡ／Ｄ変換部１４のローパスフィルタ２１に設定されるので、このモードで収音した音声から得られるユーザ音声データには第１のカットオフ周波数よりも高い帯域の成分も含まれているはずである。従って、発音評価モードで収音した音声の音声データであるにもかかわらず、第１のカットオフ周波数と第２のカットオフ周波数の間の帯域の成分の信号レベルが所定値を下回っている場合、ユーザ自身の肉声ではなくお手本音声そのものが入力されていると判断することができる。図３のステップ２４０乃至ステップ２７０に示す評価対象判断制御部１８の振る舞いは、この判断過程をアルゴリズム化したものである。
【００２０】
以上説明した本実施形態では、お手本収録モードにおいてローパスフィルタ２１に設定した周波数よりも高い周波数の成分が発音評価モードにて収音した音声の音声データに所定値以上含まれていない場合、お手本そのものが入力されているとみなしてその音声データを評価対象から除外するようになっている。これにより、お手本の音声を自らの音声として入力してくるような悪意のユーザを確実に排除することができる。
【００２１】
（第２実施形態）
本願発明の第２実施形態について説明する。
本実施形態の特徴は、お手本音声データの非可聴帯域に信号を埋め込んでおき、音声評価モードにて収音された音声の音声データからその信号が抽出された場合には真正でないとして評価対象から排除するようにした点である。
図５は、本実施形態に係る発音評価装置の全体構成図である。図に示すように、本装置の構成はＡ／Ｄ変換部１４の内部を除いて第１実施形態と同様である。Ａ／Ｄ変換部１４は、透かし信号合成部２７、ローパスフィルタ２１、サンプリング部２３、量子化部２５、符号化部２６を内蔵する。このＡ／Ｄ変換部１４は、カットオフ周波数設定部２２とサンプリング周波数設定部２４を有しておらず、ローパスフィルタ２１に設定されるカットオフ周波数とサンプリング部２３に設定されるサンプリング周波数は動作モードの如何に係わらず固定値となる。透かし信号合成部２７は、お手本収録モードにてマイクロホン１３が収音した音声のアナログ信号に変調処理を施して得た透かし信号をそのアナログ信号の検証信号埋め込み帯域に合成する。検証信号埋め込み帯域は、透かし信号を埋め込む帯域として非可聴帯域の中から選定された特定の帯域である。これにより、お手本収録モードにおいてマイクロホン１３が収音した音声からは、非可聴帯域の一部に透かし信号が埋め込まれたお手本音声データが取得されることになる。
【００２２】
次に、本実施形態の動作を説明する。
本実施形態の動作は、お手本収録処理と発音評価処理とに大別できる。お手本収録処理は、ローパスフィルタ２１のカットオフ周波数とサンプリング部２３のサンプリング周波数が固定値であるためステップ１００及びステップ１１０が実行されない点を除いて、図２に示したところと同様である。
【００２３】
図６は、発音評価処理を示すフローチャートである。
図に示す処理は、操作部１０の操作によって動作モードが発音評価モードに切り換えられたことをトリガーとして開始される。
動作モードが発音評価モードに切り換えられると、再生制御部１５は、お手本音声データベース１１に記憶されているお手本音声データを読み出し、Ｄ／Ａ変換部１６へ供給する（Ｓ２２１）。すると、お手本音声がスピーカ１７から放音される。本実施形態においては、ローパスフィルタ２１のカットオフ周波数とサンプリング部２３のサンプリング周波数が固定値であるため図３のステップ２００及びステップ２１０に相当する処理は実行されない。
スピーカ１７から放音されるお手本音声を聴取したユーザは、そのお手本音声を模して発音する。発音された音声がマイクによって収音されると、その音声のアナログ信号はＡ／Ｄ変換部１４にて音声データに変換され、評価対象判断制御部１８へ供給される（Ｓ２３１）。
音声データの供給を受けた評価対象判断制御部１８は、検証信号埋め込み帯域の成分をその音声データから抽出する（Ｓ２４１）。
評価対象判断制御部１８は、ステップ２４１で抽出した成分の信号レベルが所定値を上回っているか否か判断する（Ｓ２５１）。
ステップ２５１にて、信号レベルが所定値を上回っていると判断されると図３に示すステップ２６０の処理が実行される一方、信号レベルが所定値を上回っていないと判断されると図３に示すステップ２７０以降の処理が実行される。
【００２４】
ここで、検証信号埋め込み帯域の成分の信号レベルを参照することによって評価対象が選別される原理について、図を参照して説明する。
図７（ａ）はお手本音声データの周波数特性を示す図であり、図７（ｂ）は真正なユーザ音声データの周波数特性を示す図である。上述したように、お手本収録モードにおいては、透かし信号合成部２７が動作するので、このモードで収音した音声から得られる音声データには検証信号埋め込み帯域に所定値以上の成分が含まれているはずである。一方で、発音評価モードにおいては、透かし信号合成部２７が動作しないので、このモードで収音した音声から得らる音声データには検証信号埋め込み帯域の成分がほとんど含まれないはずである。従って、発音評価モードで収音した音声の音声データであるにもかかわらず検証信号埋め込み帯域の成分の信号レベルが所定値を上回っている場合、ユーザ自身の肉声ではなくお手本音声そのものが入力されていると判断することができる。図６のステップ２４１乃至ステップ２７０に示す評価対象判断制御部１８の振る舞いは、この判断過程をアルゴリズム化したものである。
【００２５】
以上説明した本実施形態では、お手本音声の非可聴帯域に透かし信号を埋め込んだ上で音声データ化する一方、その非可聴帯域の成分が発音評価モードにおいて収音した音声の音声データに所定値以上含まれている場合には、お手本そのものが入力されているとみなしてその音声データを評価対象から除外するようになっている。よって、本実施形態によっても、お手本の音声を自らの音声として入力してくるような悪意のユーザを確実に排除することができる。
【００２６】
（他の実施形態）
本実施形態は、種々の変形実施が可能である。
上記実施形態は、本願発明を外国語学習の評価に適用したものであったが、これを歌唱評価に適用してもよい。
第２実施形態の透かし信号合成部２７は、マイクロホン１３から入力されたアナログ信号の検証信号埋め込み帯域に透かし信号を挿入するようになっていた。これに対し、サンプリング部２３、量子化部２５、符号化部２６を経てアナログ信号がデジタル信号化された段階で透かし信号を挿入するようにしてもよい。
本願発明は、上記実施形態に示すようなスタンドアロンのシステム構成のみならず、ネットワークを利用したサーバ・クライアントのシステム構成にも適用可能である。係る変形例においては、上記実施形態の発音評価装置に相当する機能と通信機能とを備えたサーバ装置をネットワーク上に設置する。そして、ユーザは、端末装置からサーバ装置にアクセスし、自らの音声を収音して得た音声データをサーバ装置へ送信するなどして評価サービスの提供を受けることになる。
上記実施形態におけるサンプリング周波数設定部２４は、ローパスフィルタ２１のカットオフ周波数の２倍の周波数をサンプリング周波数としてサンプリング部２３へ設定するようになっていたが、２倍よりも大きい周波数をサンプリング周波数として設定するようにしてもよい。
上記実施形態においては、Ａ／Ｄ変換部１４にローパスフィルタ２１を内蔵させ、アナログ信号の段階で所定周波数よりも高い帯域の成分を除去するようにしていたが、ローパスフィルタ２１を符号化部２６の後方に配置し、同部２６によって音声がデジタル信号化された段階で所定周波数よりも高い帯域の成分を除去するようにしてもよい。
第１実施形態における評価対象判断制御部１８は、ユーザの音声がデジタル信号化された段階で第１のカットオフ周波数と第２のカットオフ周波数の間の帯域の成分を抽出し、また、第２実施形態における同部１８も同様に、ユーザの音声がデジタル信号化された段階で検証信号埋め込み帯域の成分を抽出するようになっていた。これに対し、デジタル信号化される前のアナログ信号の段階でそれらの特定帯域の成分を抽出するようにしてもよい。
第２実施形態において、検証信号埋め込み帯域に付加する透かし信号は、純音を振幅変調、または周波数変調した信号としてもよい。純音の場合は非可聴帯域であっても聴取可能となる場合もあるが、これにより、純音であってもより聴き取りにくい透かし信号とすることができる。
【図面の簡単な説明】
【００２７】
【図１】発音評価装置の全体構成図である。
【図２】お手本収録処理を示すフローチャートである。
【図３】発音評価処理を示すフローチャートである。
【図４】音声データの周波数特性を示す図である。
【図５】発音評価装置の全体構成図である（第２実施形態）。
【図６】発音評価処理を示すフローチャートである（第２実施形態）。
【図７】音声データの周波数特性を示す図である（第２実施形態）。
【符号の説明】
【００２８】
１１…お手本音声データベース、１２…評価済み音声データベース、１３…マイクロホン、１４…Ａ／Ｄ変換部、１５…再生制御部、１６…Ｄ／Ａ変換部、１７…スピーカ、１８…評価対象判断制御部、１９…評価制御部、２０…ディスプレイ、２１…ローパスフィルタ、２２…カットオフ周波数設定部、２３…サンプリング部、２４…サンプリング周波数設定部、２５…量子化部、２６…符号化部、２７…透かし信号合成部
【技術分野】
【０００１】
本発明は、発音評価装置に関する。
【背景技術】
【０００２】
発音評価や歌唱評価の分野においては、お手本として準備された音声データとユーザがそのお手本を模して発音した音声データの類似度を比較することによって発音や歌唱の巧拙を評価するシステムが提案されている。例えば、特許文献１に記載された発音採点システムは、まず、お手本として準備しておいた語学教材の音声をスピーカから放音し、その音声を模してユーザが発音した音声をマイクロホン等を介して収録する。そして、収録した音声を分析することによって、ストレスアクセント、トニックアクセント、イントネーションアクセントなどの特徴量を抽出し、更にその特徴量をお手本の音声データから抽出しておいた特徴量と比較することによって発音の巧拙を評価するようになっている。
【特許文献１】特開２０００−３４７５６０号公報
【発明の開示】
【発明が解決しようとする課題】
【０００３】
ところで、この種のシステムを利用するユーザの中には、良好な評価結果を不正に取得するため、放音されるお手本の音声を録音等して自らの音声として入力する者もあった。よって、そのような不正な手法により入力される音声を評価対象から確実に排除する仕組みの提供が望まれていた。
本発明は、このような背景の下に案出されたものであり、発音や歌唱の評価対象とする音声からお手本音声を収録して得たものを確実に排除できるような仕組みを提供することを目的とする。
【課題を解決するための手段】
【０００４】
本発明の好適な態様である発音評価装置は、お手本音声の入力信号から、予め設定された所定周波数よりも高い帯域の成分を除去して得たお手本音声データを記憶するお手本音声データ記憶手段と、お手本音声を模して発音されたユーザ音声信号を入力する入力手段と、前記入力されたユーザ音声信号における前記所定周波数より高い帯域の成分の信号レベルが所定値を上回っているか否か判断する判断手段と、前記帯域の成分の信号レベルが所定値を上回っていると前記判断手段が判断したとき、前記ユーザ音声データと前記お手本音声データ記憶手段から読み出したお手本音声データの類似度を比較することによって発音の巧拙を評価し、その評価結果を出力する評価手段とを備える。
【０００５】
本発明の別の好適な態様である発音評価装置は、お手本音声の入力信号から、予め設定された所定周波数よりも高い帯域の成分を除去し、その残りの成分の非可聴帯域に所定の信号を挿入したお手本音声データを記憶するお手本音声データ記憶手段と、お手本音声を模して発音されたユーザ音声信号を入力する入力手段と、前記入力されたユーザ音声信号の非可聴帯域に含まれる成分の信号レベルが所定値を上回っているか否か判断する判断手段と、前記非可聴帯域の成分の信号レベルが所定値を上回っていないと前記判断手段が判断したとき、前記ユーザ音声データと前記お手本音声データ記憶手段から読み出したお手本音声データの類似度を比較することによって発音の巧拙を評価し、その評価結果を出力する評価手段とを備える。
【発明の効果】
【０００６】
本発明によると、発音や歌唱の評価対象とする音声からお手本音声を収録して得たものを確実に排除することができる。
【発明を実施するための最良の形態】
【０００７】
（第１実施形態）
本願発明の第１実施形態について説明する。
本実施形態にかかる発音評価装置は、以下の２つの動作モード毎に異なる振る舞いを行う。
ａお手本収録モード
このモードは、ネイティブスピーカなどの外国語講師のお手本の音声をマイクを介して収音し、収音した音声をアナログ／デジタル（以下、「Ａ／Ｄ」）変換して得た音声データをデータベースに収録するモードである。
ｂ発音評価モード
このモードは、お手本収録モードを通じて収録しておいた音声データを外国語の学習者であるユーザに提示した上でそれを模してユーザに発音させた音声を収音し、収音した音声をＡ／Ｄ変換して得た音声データとお手本の音声データとの類似度を比較することによって発音の巧拙を評価するモードである。
【０００８】
本実施形態の特徴は、発音評価モード時に収音する音声の音声データの周波数特性とお手本の音声をＡ／Ｄ変換した際の各種周波数設定とを比較することによって、収音した音声がお手本の音声と同じであるかどうか判断し、同じものである場合には真正でないとして評価対象から排除するようにした点である。
【０００９】
図１は、本実施形態に係る発音評価装置の全体構成図である。図に示すように、この装置は、操作部１０、お手本音声データベース１１、評価済み音声データベース１２、マイクロホン１３、Ａ／Ｄ変換部１４、再生制御部１５、デジタル／アナログ（以下、「Ｄ／Ａ」と記す）変換部１６、スピーカ１７、評価対象判断制御部１８、評価制御部１９、及びディスプレイ２０を備える。
各部の機能を概説する。
操作部１０は、本装置の動作モードを切り換える。
お手本音声データベース１１は、お手本収録モードにおいて収音した音声の音声データを蓄積記憶する。評価済み音声データベース１２は発音評価モードにおいて収音した音声の音声データであって且つ発音の巧拙の評価を終えた音声データを蓄積記憶する。
マイクロホン１３は、収音した音声のアナログ信号をＡ／Ｄ変換部１４へ供給する。
【００１０】
Ａ／Ｄ変換部１４は、ローパスフィルタ２１、カットオフ周波数設定部２２、サンプリング部２３、サンプリング周波数設定部２４、量子化部２５、符号化部２６を内蔵する。
ローパスフィルタ２１は、マイクロホン１３からアナログ信号が供給されると、自身に設定されたカットオフ周波数よりも高い帯域の成分をそのアナログ信号から除去してサンプリング部２３へ供給する。カットオフ周波数設定部２２は、お手本収録モード用として最適化された第１のカットオフ周波数と発音評価モード用として最適化された第２のカットオフ周波数のうちの一方を操作部１０の操作に応じてローパスフィルタ２１に設定する。
ここで、お手本収録モード時に設定される第１のカットオフ周波数と発音評価モード時に設定される第２のカットオフ周波数は異なる値である必要があり、且つ第１のカットオフ周波数は第２のカットオフ周波数よりも低い値とすることが望ましい。
【００１１】
サンプリング部２３は、ローパスフィルタ２１からアナログ信号が供給されると、自身に設定されたサンプリング周波数が示す間隔でそのアナログ信号を瞬時値に変換する。サンプリング周波数設定部２４は、お手本収録モードになると、第１のカットオフ周波数の２倍の周波数をサンプリング周波数としてサンプリング部２３へ設定する一方で、発音評価モードになると、第２のカットオフ周波数の２倍の周波数をサンプリング周波数としてサンプリング部２３へ設定する。
サンプリング部２３にて取得された瞬時値は、量子化部２５による量子化を経た後に符号化部２６へ供給され、符号化部２６において所定ビット長のデジタル信号へと変換される。このデジタル信号は、お手本収録モード時にはお手本音声データとしてお手本音声データベース１１に記憶される一方、発音評価モード時にはユーザ音声データとして評価対象判断制御部１８へ供給される。
【００１２】
再生制御部１５は、発音評価モード時において、お手本音声データベース１１から読み出したお手本音声データをＤ／Ａ変換部１６へ供給する。お手本音声データは、Ｄ／Ａ変換部１６にてアナログ信号に変換された後、スピーカ１７から音声として放音される。
評価対象判断制御部１８は、Ａ／Ｄ変換部１４の符号化部２６から供給される音声データが表す音声とお手本音声データが表す音声が同じものであるか否か判断し、同じものでない場合にのみその音声データをユーザ音声データとして評価制御部１９へ供給する。評価対象判断制御部１８は、本システムにおいて中核的役割を担う部位であり、その動作の詳細は後の動作説明の項で説明する。
評価制御部１９は、評価対象判断制御部１８から供給されるユーザ音声データとお手本音声データの特徴を比較することによって発音の巧拙を評価し、その評価結果をディスプレイ２０に出力する。ディスプレイ２０には、評価結果を表す画像が表示される。
【００１３】
次に、本実施形態の動作を説明する。
本実施形態の動作は、お手本収録処理と発音評価処理とに大別できる。
図２は、お手本収録処理を示すフローチャートである。
図に示す処理は、操作部１０の操作によって動作モードがお手本収録モードに切り換えられたことをトリガーとして開始される。
動作モードがお手本収録モードに切り換えられると、Ａ／Ｄ変換部１４のカットオフ周波数設定部２２は、第１のカットオフ周波数をローパスフィルタ２１に設定する（Ｓ１００）。
続いて、Ａ／Ｄ変換部１４のサンプリング周波数設定部２４は、第１のカットオフ周波数の２倍の周波数をサンプリング周波数としてサンプリング部２３に設定する（Ｓ１１０）。
その後、お手本発音要求画面をディスプレイ２０に表示する（Ｓ１２０）。この画面には、「お手本の音声を発音してください。」という内容の文字列が表示される。
お手本発音要求画面を参照した外国語講師は、お手本音声を自ら発音する。発音された音声がマイクロホン１３によって収音されると、その音声のアナログ信号はＡ／Ｄ変換部１４にて音声データに変換され、お手本音声データとしてお手本音声データベース１１に記憶される（Ｓ１３０）。
【００１４】
図３は、発音評価処理を示すフローチャートである。
図に示す処理は、操作部１０の操作によって動作モードが発音評価モードに切り換えられたことをトリガーとして開始される。
動作モードが発音評価モードに切り換えられると、Ａ／Ｄ変換部１４のカットオフ周波数設定部２２は、第２のカットオフ周波数をローパスフィルタ２１に設定する（Ｓ２００）。
続いて、Ａ／Ｄ変換部１４のサンプリング周波数設定部２４は、第２のカットオフ周波数の２倍の周波数をサンプリング周波数としてサンプリング部２３に設定する（Ｓ２１０）。
【００１５】
その後、再生制御部１５は、お手本音声データベース１１に記憶されているお手本音声データを読み出し、Ｄ／Ａ変換部１６へ供給する（Ｓ２２０）。すると、お手本音声がスピーカ１７から放音される。
スピーカ１７から放音されるお手本音声を聴取したユーザは、そのお手本音声を模して発音する。発音された音声がマイクによって収音されると、その音声のアナログ信号はＡ／Ｄ変換部１４にて音声データに変換され、評価対象判断制御部１８へ供給される（Ｓ２３０）。
【００１６】
音声データの供給を受けた評価対象判断制御部１８は、第１のカットオフ周波数と第２のカットオフ周波数の間の帯域の成分をその音声データから抽出する（Ｓ２４０）。
評価対象判断制御部１８は、ステップ２４０で抽出した成分の信号レベルが所定値を上回っているか否か判断する（Ｓ２５０）。
【００１７】
ステップ２５０にて、信号レベルが所定値を上回っていないと判断した評価対象判断制御部１８は、評価拒否画面をディスプレイ２０に表示させる（Ｓ２６０）。この画面には、「お手本をそのまま入力した場合には、評価の対象になりません。」という内容の文字列が表示される。
【００１８】
一方、ステップ２５０にて、信号レベルが所定値を上回っていると判断した評価対象判断制御部１８は、Ａ／Ｄ変換部１４から供給された音声データをユーザ音声データとして評価制御部１９へ供給する（Ｓ２７０）。
評価制御部１９は、ユーザ音声データとお手本音声データベース１１から読み出していたお手本音声データの類似度を比較することによって発音の巧拙を評価し、その評価結果をディスプレイ２０に表示させる（Ｓ２８０）。
その後、評価制御部１９は、評価対象となったユーザ音声データを評価済み音声データベース１２に記憶する（Ｓ２９０）。
【００１９】
ここで、第１のカットオフ周波数と第２のカットオフ周波数の間の帯域の成分の信号レベルを参照することによって評価対象が選別される原理について、図を参照して説明する。
図４（ａ）はお手本音声データの周波数特性を示す図であり、図４（ｂ）は真正なユーザ音声データの周波数特性を示す図である。上述したように、お手本収録モードにおいては、第１のカットオフ周波数がＡ／Ｄ変換部１４のローパスフィルタ２１に設定されるので、このモードで収音した音声から得られるお手本音声データには第１のカットオフ周波数よりも高い帯域の成分はほとんど含まれないはずである。一方で、発音評価モードにおいては、第１のカットオフ周波数よりも高い周波数である第２のカットオフ周波数がＡ／Ｄ変換部１４のローパスフィルタ２１に設定されるので、このモードで収音した音声から得られるユーザ音声データには第１のカットオフ周波数よりも高い帯域の成分も含まれているはずである。従って、発音評価モードで収音した音声の音声データであるにもかかわらず、第１のカットオフ周波数と第２のカットオフ周波数の間の帯域の成分の信号レベルが所定値を下回っている場合、ユーザ自身の肉声ではなくお手本音声そのものが入力されていると判断することができる。図３のステップ２４０乃至ステップ２７０に示す評価対象判断制御部１８の振る舞いは、この判断過程をアルゴリズム化したものである。
【００２０】
以上説明した本実施形態では、お手本収録モードにおいてローパスフィルタ２１に設定した周波数よりも高い周波数の成分が発音評価モードにて収音した音声の音声データに所定値以上含まれていない場合、お手本そのものが入力されているとみなしてその音声データを評価対象から除外するようになっている。これにより、お手本の音声を自らの音声として入力してくるような悪意のユーザを確実に排除することができる。
【００２１】
（第２実施形態）
本願発明の第２実施形態について説明する。
本実施形態の特徴は、お手本音声データの非可聴帯域に信号を埋め込んでおき、音声評価モードにて収音された音声の音声データからその信号が抽出された場合には真正でないとして評価対象から排除するようにした点である。
図５は、本実施形態に係る発音評価装置の全体構成図である。図に示すように、本装置の構成はＡ／Ｄ変換部１４の内部を除いて第１実施形態と同様である。Ａ／Ｄ変換部１４は、透かし信号合成部２７、ローパスフィルタ２１、サンプリング部２３、量子化部２５、符号化部２６を内蔵する。このＡ／Ｄ変換部１４は、カットオフ周波数設定部２２とサンプリング周波数設定部２４を有しておらず、ローパスフィルタ２１に設定されるカットオフ周波数とサンプリング部２３に設定されるサンプリング周波数は動作モードの如何に係わらず固定値となる。透かし信号合成部２７は、お手本収録モードにてマイクロホン１３が収音した音声のアナログ信号に変調処理を施して得た透かし信号をそのアナログ信号の検証信号埋め込み帯域に合成する。検証信号埋め込み帯域は、透かし信号を埋め込む帯域として非可聴帯域の中から選定された特定の帯域である。これにより、お手本収録モードにおいてマイクロホン１３が収音した音声からは、非可聴帯域の一部に透かし信号が埋め込まれたお手本音声データが取得されることになる。
【００２２】
次に、本実施形態の動作を説明する。
本実施形態の動作は、お手本収録処理と発音評価処理とに大別できる。お手本収録処理は、ローパスフィルタ２１のカットオフ周波数とサンプリング部２３のサンプリング周波数が固定値であるためステップ１００及びステップ１１０が実行されない点を除いて、図２に示したところと同様である。
【００２３】
図６は、発音評価処理を示すフローチャートである。
図に示す処理は、操作部１０の操作によって動作モードが発音評価モードに切り換えられたことをトリガーとして開始される。
動作モードが発音評価モードに切り換えられると、再生制御部１５は、お手本音声データベース１１に記憶されているお手本音声データを読み出し、Ｄ／Ａ変換部１６へ供給する（Ｓ２２１）。すると、お手本音声がスピーカ１７から放音される。本実施形態においては、ローパスフィルタ２１のカットオフ周波数とサンプリング部２３のサンプリング周波数が固定値であるため図３のステップ２００及びステップ２１０に相当する処理は実行されない。
スピーカ１７から放音されるお手本音声を聴取したユーザは、そのお手本音声を模して発音する。発音された音声がマイクによって収音されると、その音声のアナログ信号はＡ／Ｄ変換部１４にて音声データに変換され、評価対象判断制御部１８へ供給される（Ｓ２３１）。
音声データの供給を受けた評価対象判断制御部１８は、検証信号埋め込み帯域の成分をその音声データから抽出する（Ｓ２４１）。
評価対象判断制御部１８は、ステップ２４１で抽出した成分の信号レベルが所定値を上回っているか否か判断する（Ｓ２５１）。
ステップ２５１にて、信号レベルが所定値を上回っていると判断されると図３に示すステップ２６０の処理が実行される一方、信号レベルが所定値を上回っていないと判断されると図３に示すステップ２７０以降の処理が実行される。
【００２４】
ここで、検証信号埋め込み帯域の成分の信号レベルを参照することによって評価対象が選別される原理について、図を参照して説明する。
図７（ａ）はお手本音声データの周波数特性を示す図であり、図７（ｂ）は真正なユーザ音声データの周波数特性を示す図である。上述したように、お手本収録モードにおいては、透かし信号合成部２７が動作するので、このモードで収音した音声から得られる音声データには検証信号埋め込み帯域に所定値以上の成分が含まれているはずである。一方で、発音評価モードにおいては、透かし信号合成部２７が動作しないので、このモードで収音した音声から得らる音声データには検証信号埋め込み帯域の成分がほとんど含まれないはずである。従って、発音評価モードで収音した音声の音声データであるにもかかわらず検証信号埋め込み帯域の成分の信号レベルが所定値を上回っている場合、ユーザ自身の肉声ではなくお手本音声そのものが入力されていると判断することができる。図６のステップ２４１乃至ステップ２７０に示す評価対象判断制御部１８の振る舞いは、この判断過程をアルゴリズム化したものである。
【００２５】
以上説明した本実施形態では、お手本音声の非可聴帯域に透かし信号を埋め込んだ上で音声データ化する一方、その非可聴帯域の成分が発音評価モードにおいて収音した音声の音声データに所定値以上含まれている場合には、お手本そのものが入力されているとみなしてその音声データを評価対象から除外するようになっている。よって、本実施形態によっても、お手本の音声を自らの音声として入力してくるような悪意のユーザを確実に排除することができる。
【００２６】
（他の実施形態）
本実施形態は、種々の変形実施が可能である。
上記実施形態は、本願発明を外国語学習の評価に適用したものであったが、これを歌唱評価に適用してもよい。
第２実施形態の透かし信号合成部２７は、マイクロホン１３から入力されたアナログ信号の検証信号埋め込み帯域に透かし信号を挿入するようになっていた。これに対し、サンプリング部２３、量子化部２５、符号化部２６を経てアナログ信号がデジタル信号化された段階で透かし信号を挿入するようにしてもよい。
本願発明は、上記実施形態に示すようなスタンドアロンのシステム構成のみならず、ネットワークを利用したサーバ・クライアントのシステム構成にも適用可能である。係る変形例においては、上記実施形態の発音評価装置に相当する機能と通信機能とを備えたサーバ装置をネットワーク上に設置する。そして、ユーザは、端末装置からサーバ装置にアクセスし、自らの音声を収音して得た音声データをサーバ装置へ送信するなどして評価サービスの提供を受けることになる。
上記実施形態におけるサンプリング周波数設定部２４は、ローパスフィルタ２１のカットオフ周波数の２倍の周波数をサンプリング周波数としてサンプリング部２３へ設定するようになっていたが、２倍よりも大きい周波数をサンプリング周波数として設定するようにしてもよい。
上記実施形態においては、Ａ／Ｄ変換部１４にローパスフィルタ２１を内蔵させ、アナログ信号の段階で所定周波数よりも高い帯域の成分を除去するようにしていたが、ローパスフィルタ２１を符号化部２６の後方に配置し、同部２６によって音声がデジタル信号化された段階で所定周波数よりも高い帯域の成分を除去するようにしてもよい。
第１実施形態における評価対象判断制御部１８は、ユーザの音声がデジタル信号化された段階で第１のカットオフ周波数と第２のカットオフ周波数の間の帯域の成分を抽出し、また、第２実施形態における同部１８も同様に、ユーザの音声がデジタル信号化された段階で検証信号埋め込み帯域の成分を抽出するようになっていた。これに対し、デジタル信号化される前のアナログ信号の段階でそれらの特定帯域の成分を抽出するようにしてもよい。
第２実施形態において、検証信号埋め込み帯域に付加する透かし信号は、純音を振幅変調、または周波数変調した信号としてもよい。純音の場合は非可聴帯域であっても聴取可能となる場合もあるが、これにより、純音であってもより聴き取りにくい透かし信号とすることができる。
【図面の簡単な説明】
【００２７】
【図１】発音評価装置の全体構成図である。
【図２】お手本収録処理を示すフローチャートである。
【図３】発音評価処理を示すフローチャートである。
【図４】音声データの周波数特性を示す図である。
【図５】発音評価装置の全体構成図である（第２実施形態）。
【図６】発音評価処理を示すフローチャートである（第２実施形態）。
【図７】音声データの周波数特性を示す図である（第２実施形態）。
【符号の説明】
【００２８】
１１…お手本音声データベース、１２…評価済み音声データベース、１３…マイクロホン、１４…Ａ／Ｄ変換部、１５…再生制御部、１６…Ｄ／Ａ変換部、１７…スピーカ、１８…評価対象判断制御部、１９…評価制御部、２０…ディスプレイ、２１…ローパスフィルタ、２２…カットオフ周波数設定部、２３…サンプリング部、２４…サンプリング周波数設定部、２５…量子化部、２６…符号化部、２７…透かし信号合成部
【特許請求の範囲】
【請求項１】
お手本音声の入力信号から、予め設定された所定周波数よりも高い帯域の成分を除去して得たお手本音声データを記憶するお手本音声データ記憶手段と、
お手本音声を模して発音されたユーザ音声信号を入力する入力手段と、
前記入力されたユーザ音声信号における前記所定周波数より高い帯域の成分の信号レベルが所定値を上回っているか否か判断する判断手段と、
前記帯域の成分の信号レベルが所定値を上回っていると前記判断手段が判断したとき、前記ユーザ音声データと前記お手本音声データ記憶手段から読み出したお手本音声データの類似度を比較することによって発音の巧拙を評価し、その評価結果を出力する評価手段と
を備えた発音評価装置。
【請求項２】
お手本音声の入力信号から、予め設定された所定周波数よりも高い帯域の成分を除去し、その残りの成分の非可聴帯域に所定の信号を挿入したお手本音声データを記憶するお手本音声データ記憶手段と、
お手本音声を模して発音されたユーザ音声信号を入力する入力手段と、
前記入力されたユーザ音声信号の非可聴帯域に含まれる成分の信号レベルが所定値を上回っているか否か判断する判断手段と、
前記非可聴帯域の成分の信号レベルが所定値を上回っていないと前記判断手段が判断したとき、前記ユーザ音声データと前記お手本音声データ記憶手段から読み出したお手本音声データの類似度を比較することによって発音の巧拙を評価し、その評価結果を出力する評価手段と
を備えた発音評価装置。
【請求項１】
お手本音声の入力信号から、予め設定された所定周波数よりも高い帯域の成分を除去して得たお手本音声データを記憶するお手本音声データ記憶手段と、
お手本音声を模して発音されたユーザ音声信号を入力する入力手段と、
前記入力されたユーザ音声信号における前記所定周波数より高い帯域の成分の信号レベルが所定値を上回っているか否か判断する判断手段と、
前記帯域の成分の信号レベルが所定値を上回っていると前記判断手段が判断したとき、前記ユーザ音声データと前記お手本音声データ記憶手段から読み出したお手本音声データの類似度を比較することによって発音の巧拙を評価し、その評価結果を出力する評価手段と
を備えた発音評価装置。
【請求項２】
お手本音声の入力信号から、予め設定された所定周波数よりも高い帯域の成分を除去し、その残りの成分の非可聴帯域に所定の信号を挿入したお手本音声データを記憶するお手本音声データ記憶手段と、
お手本音声を模して発音されたユーザ音声信号を入力する入力手段と、
前記入力されたユーザ音声信号の非可聴帯域に含まれる成分の信号レベルが所定値を上回っているか否か判断する判断手段と、
前記非可聴帯域の成分の信号レベルが所定値を上回っていないと前記判断手段が判断したとき、前記ユーザ音声データと前記お手本音声データ記憶手段から読み出したお手本音声データの類似度を比較することによって発音の巧拙を評価し、その評価結果を出力する評価手段と
を備えた発音評価装置。
【図１】
【図２】
【図３】
【図４】
【図５】
【図６】
【図７】
【図２】
【図３】
【図４】
【図５】
【図６】
【図７】
【公開番号】特開２００７−１２１６２８（Ｐ２００７−１２１６２８Ａ）
【公開日】平成１９年５月１７日（２００７．５．１７）
【国際特許分類】
【出願番号】特願２００５−３１２７６８（Ｐ２００５−３１２７６８）
【出願日】平成１７年１０月２７日（２００５．１０．２７）
【出願人】（０００００４０７５）ヤマハ株式会社 (5,930)
【Ｆターム（参考）】
【公開日】平成１９年５月１７日（２００７．５．１７）
【国際特許分類】
【出願日】平成１７年１０月２７日（２００５．１０．２７）
【出願人】（０００００４０７５）ヤマハ株式会社 (5,930)
【Ｆターム（参考）】
[ Back to top ]