音声による抑圧状態検出装置およびプログラム
【課題】音声波形に含まれる非言語情報を使って、一般的音声認識を必要とせず、発話者個人の特性を考慮した発話者の抑圧状態すなわち声帯の緊張状態の時の発話を検出する。
【解決手段】入力部１０１は、入力された音声を受付ける。解析部１０２は、音声を複数のフレームごとに解析する。演算部１０３は、解析の結果の平均値を算出すると共に、予め記憶された複数話者ごとの解析結果の平均値および解析結果の累積頻度分布に関する統計データと、算出された平均値とに基づいて閾値を決定し、複数の解析結果のうち閾値よりも大きな値を有する解析結果の出現頻度を演算する。判定部１０４は、出現頻度に基づいて、音声を発する声帯の緊張状態を判定する。出力部１０５は、判定の結果を出力する
【解決手段】入力部１０１は、入力された音声を受付ける。解析部１０２は、音声を複数のフレームごとに解析する。演算部１０３は、解析の結果の平均値を算出すると共に、予め記憶された複数話者ごとの解析結果の平均値および解析結果の累積頻度分布に関する統計データと、算出された平均値とに基づいて閾値を決定し、複数の解析結果のうち閾値よりも大きな値を有する解析結果の出現頻度を演算する。判定部１０４は、出現頻度に基づいて、音声を発する声帯の緊張状態を判定する。出力部１０５は、判定の結果を出力する
【発明の詳細な説明】
【技術分野】
【０００１】
本発明は、音声波形に含まれる非言語情報を使って、発話者の抑圧された状態を検出する抑圧状態検出装置およびプログラムに関する。
【背景技術】
【０００２】
携帯電話技術やカーナビゲーション技術の発達に伴い、音声認識、話者認識や音声合成等の音声処理技術も応用範囲が広がっている。この応用の一つとして、発話者が発声する音声を解析することで、発話者の精神状態（感情）を判定する技術がある（特許文献１）。これは、周波数信号区間において、音源波形の周波数ゆらぎおよび高域成分ゆらぎから特徴「力み」「かすれ」を検出し、特徴に適した音声認識の音響モデルを選択し、音響モデルと入力された音源とに基づいて、発話者の精神状態を判定する。また、あるフレームにおける平均音量と音量分散に基づいて、発話者の精神状態を分析する技術がある（特許文献２）。
【先行技術文献】
【特許文献】
【０００３】
【特許文献１】特許４０８５１３０号公報
【特許文献２】特開２００４−３１７８２２号公報
【発明の概要】
【発明が解決しようとする課題】
【０００４】
発話者の精神状態として、発話者が抑圧を受けている状態すなわち声帯の緊張状態を検出しようとする場合が考えられる。この場合、従来技術を使えば、音声認識による音韻列（発話者がなんというフレーズを話したか）を検出する処理が必要となる。このため、検出精度が音声認識の性能に左右されてしまうという問題点を有していた。特に、雑音環境や未知語（音声認識に登録されていない単語）が入力された場合では音声認識誤りが発生し、感情の推定精度が落ちる。また、大語彙音声認識を行なわないといけないので、携帯電話上といった省リソース環境での実装は難しい。
【０００５】
また、特許文献２の技術は、発話者個人の特性を考慮した検出ができない。
そこで、本願発明は、一般的音声認識を必要とせず、発話者個人の特性を考慮した発話者の抑圧状態すなわち声帯の緊張状態の時の発話を検出することを目的とする。
【課題を解決するための手段】
【０００６】
態様の一例では、入力された音声を受付ける入力部と、音声を、複数のフレームごとに解析する解析部と、複数のフレームごとの解析結果に基づいて解析結果の平均値を算出すると共に、予め記憶された複数話者ごとの解析結果の平均値および解析結果の累積頻度分布に関する統計データと、算出した平均値とに基づいて閾値を決定し、複数の解析結果のうち閾値よりも大きな値を有する解析結果の出現頻度を演算する演算部と、出現頻度に基づいて、音声を発する声帯の緊張状態を判定する判定部と、判定の結果を出力する出力部とを有する。
【発明の効果】
【０００７】
音声認識を利用せずに、個人差を減らした閾値を用いた判定ができるので、発話者個人の特性を考慮した発話者の抑圧状態すなわち声帯の緊張状態の時の発話を検出することが可能となり、また、小規模のシステムでも動作させることが可能となる。
【図面の簡単な説明】
【０００８】
【図１】実施形態の抑圧状態検出装置の機能ブロック図である。
【図２】本実施形態の抑圧状態検出方式の原理を説明するための図である。
【図３】解析部の機能ブロック図である。
【図４】演算部の機能ブロック図である。
【図５】判定部の機能ブロック図である。
【図６】比較例と本実施形態の方式の処理の違いを示す説明図である。
【図７】実施形態の制御処理を示すフローチャートである。
【図８】ピッチ周波数の累積頻度分布の例を示す図（その１）である。
【図９】ピッチ周波数の累積頻度分布の例を示す図（その２）である。
【図１０】対数パワーの累積頻度分布の例を示す図（その１）である。
【図１１】対数パワーの累積頻度分布の例を示す図（その２）である。
【図１２】平均ピッチとαとの関係を示す図である。
【図１３】平均ピッチとβとの関係を示す図である。
【図１４】スコア統合部の制御処理を示すフローチャートである。
【図１５】閾値検出のための一次の近似直線データを算出する処理を実行するブロック図である。
【図１６】本実施形態のシステムを実現可能なハードウェアシステムの構成図である。
【発明を実施するための形態】
【０００９】
以下、本発明を実施するための形態について図面を参照しながら詳細に説明する。
図１は、実施形態のブロック図である。
入力部１０１は、入力音声を受付ける。
【００１０】
解析部１０２は、入力部１０１がフレームごとに、入力音声を解析する。例えば、解析部１０２は、母音区間を抽出してピッチ周波数やパワーを抽出する。なお、フレームとは、入力音声を所定の単位で区切った際の、領域ごとの情報である。解析部１０２は、音声データをアナログ信号からデジタル信号に変換した後、周波数的にほぼ安定とみなすことができる時間を単位として、入力音声からフレームを切り出す。例えば、フレームは、３２ミリ秒程度を単位として、入力音声から切り出された情報を言う。
【００１１】
演算部１０３は、解析部１０２が解析した結果を用いて、ピッチ周波数の度数分布（フレーム数の分布）やパワーの度数分布を求め、それらの平均値や累積頻度分布を算出する。ここで、平均値とは例えば、ピッチ周波数の平均値や音声のパワーの平均値をいう。続いて、演算部１０３は、予め記憶された統計データと算出した平均値とに基づいて閾値を決定する。ここで、統計データは例えば、ピッチ周波数の度数分布を与えるデータやパワーの度数分布を与えるデータである。あるいは、ピッチ周波数の平均値やパワーの平均値に基づいて閾値を適応的に決定するための後述する係数パラメータα、β等を与える一次の近似直線を決定するために使われるデータである。もちろん、閾値を決定するために使われる係数パラメータを与えるためには一次の近似直線に限定されるものではなく、様々な関数データ等を採用することができる。演算部１０３は、この一次の近似直線等のデータを用いて、算出した平均値に対応する閾値を適応的に決定する。この閾値は例えば、ピッチ周波数が平均値から外れている境界のピッチ周波数のフレーム数を全体のフレーム数で割った頻度の閾値、或いは、パワーが平均値から外れている境界のパワーのフレーム数を全体のフレーム数で割った頻度の閾値に対応する。これを以下では、ピッチ周波数の閾値あるいはパワーの閾値とも呼ぶこととする。。そして、演算部１０３は、解析部１０２が音声を解析した結果において、閾値との比較に基づいて特徴値を抽出する。例えば、解析されたピッチ周波数の平均値に対して、境界である閾値が示す値以上離れているピッチ周波数をピッチ周波数の外れ値といい、これを特徴値として抽出する。また、解析されたパワーの平均値に対して、境界である閾値が示す値以上離れているパワーをパワーの外れ値といい、これも特徴値として抽出する。
【００１２】
図２は、特徴値であるピッチ周波数の外れ値やパワーの対数値の外れ値に基づく、本実施形態の抑圧状態検出方式の原理を説明するための図である。図２（ａ）に示されるように、抑圧時と非抑圧時（通常時）とのデータを区別した状態で、平均ピッチ周波数に対する倍率ごとのピッチ周波数の累積頻度分布をプロットする。すると、図２（ａ）の破線丸で囲まれた部分において、抑圧時は、ピッチ周波数の外れ値が少ないため、非抑圧時より累積頻度分布の値が大きくなる傾向がある。従って、ピッチ周波数の外れ値を決定する閾値によって累積頻度分布が飽和する付近に着目すれば、抑圧状態と非抑圧状態とを識別できることを見出した。また、図２（ｂ）に示されるように、抑圧時と非抑圧時（通常時）とのデータを区別した状態で、平均パワーに対する倍率の対数値ごとのパワーの対数値の累積頻度分布をプロットする。すると、図２（ｂ）の破線丸で囲まれた部分において、抑圧時は非抑圧時より累積頻度分布の値が小さくなる傾向がある。従って、この場合も、パワーの外れ値を決定する閾値によって累積頻度分布が飽和する付近に着目すれば、抑圧状態と非抑圧状態とを識別できることを見出した。 以上のことに基づいて、演算部１０３では、外れ値に当たるピッチ周波数を持つフレームの頻度または外れ値に当たるパワーを持つフレームの頻度を求める。
【００１３】
そして、判定部１０４は、演算部１０３が抽出した特徴値に基づいて、話者の抑圧状態すなわち音声を発する声帯の緊張状態を判定する。例えば、判定部１０４は、ピッチ周波数に関しては特徴値としてのピッチ周波数の外れ値の出現頻度が低いほど低くなり、またパワーに関しては特徴としての対数パワーの外れ値の出現頻度が高いほど低くなるようなスコアを計算する。そして、そのスコア値が予め決められた閾値以下であれば、声帯の緊張状態が高いと判定する。
出力部１０５は、判定部１０４の判定の結果を出力する。
【００１４】
図３は、図１の解析部１０２のブロック図である。解析部１０２は、音声分析を実行してピッチ周波数とパワーを抽出する音声分析部３０１を含む。また、母音区間を判定してその区間のピッチ周波数とパワーを出力する母音区間判定部３０２を含む。
【００１５】
図４は、図１の演算部１０３のブロック図である。演算部１０３は、ピッチ周波数やパワーの平均値を算出する平均値算出部４０１を含む。
（１）、（２）式に示されるように、ピッチ周波数とパワーのそれぞれについて、現在のフレームまでの外れ値の数Ｎpitch 、Ｎpower がそれぞれ、現在のフレームまでの全母音フレーム数Ｎで除算されることにより得られ、これらをそれぞれの出現頻度Ppitch 、Ｐpower と呼ぶ。
Ｐpitch ＝Ｎpitch ／Ｎ ・・・（１）
Ｐpower ＝Ｎpower ／Ｎ ・・・（２）
【００１６】
また、母音区間判定部３０２が出力したピッチ周波数とパワーの値を平均値算出部４０１が計算するのに必要な予め決まった数の最新の母音フレーム分だけ格納する、例えばリングバッファによって構成される格納部４０２を含む。さらに、平均値算出部４０１が算出したピッチ周波数およびパワーの平均値と統計データ記憶部４０４に記憶されている統計データとに基づいて閾値を決定する閾値決定部４０３を含む。そして、この閾値に基づいてピッチ周波数やパワーの外れ値を抽出し、それらの外れ値の出現頻度、すなわち閾値以上のピッチ周波数やパワーを有するフレームの出現頻度を算出する外れ値出現頻度算出部４０５を含む。
【００１７】
図５は、図１の判定部１０４のブロック図である。判定部１０４は、ピッチ周波数に関しては外れ値の出現頻度が低いほど低くなり、またパワーに関しては外れ値の出現頻度が高いほど低くなるような値（修正累積分布）を計算し、それらを統合してスコア化するスコア統合部５０１を含む。また、スコア統合部５０１にて得られるスコアに基づいて、「発話者が抑圧を受けている状態」であるか否かを判定し、その判定結果を出力する総合判定部５０２を含む。
【００１８】
以上の図１から図５のまでの構成を有する実施形態の基本動作について、比較例と比較しながら、以下に詳細に説明する。
図６は、比較例（図６（ａ））と本実施形態方式（図６（ｂ））の処理の違いを示す説明図である。
【００１９】
比較例も本実施形態方式も、音声から、ピッチ周波数やパワーといった特徴パラメータを算出し（ステップＳ６０１ａ、Ｓ６０１ｂ）、それらの平均値（μ）を算出し（ステップＳ６０２ａ、Ｓ６０２ｂ）、処理を実行するという点では同じである。
【００２０】
しかし、従来の感情等のユーザの状態を音声から推定する方法としては、図６（ａ）のグラフに示されるように、統計量として、ピッチ周波数やパワーの平均値（μ）を基準とした分散（偏差）（σ）が用いられることが多い（ステップ５０３ａ）。しかし、このように、統計量の利用方式で用いているピッチ周波数やパワーは、声の高さ・大きさによる個人差の影響が出やすい。特許文献２には、対象となる入力音声のパワーを用いて、音声を発声したユーザの感情判定を行なうことが記載されているが、ユーザにとって「抑圧状態に左右されて声が大きくなっているのか」「声が大きいのか」が区別することができない。特許文献２ではパワーを用いた感情判定が記載されているが、図６（ａ）に示すように、ピッチ周波数で感情判定を行ったとしても同様である。
【００２１】
一方、上述したように、閾値以上の値を有する外れ値に着目することで抑圧状態を検出する場合に、一律の閾値を用いたとしても、ユーザの抑圧状態を検出することはできない。なぜなら、声の大きさ（パワー）や音高（ピッチ周波数）は、ユーザごとに異なるためである。
【００２２】
そこで、ユーザの個人差に対応するためには、例えば、ユーザ毎に音声を登録し発声内容を固定しなければならない。このように、比較例として示した抑圧状態検出や、一律に設定された閾値を用いた抑圧状態検出では、個人差を加味してユーザの抑圧状態を検出することは困難であった。
【００２３】
これに対して、本実施形態方式では、音声の抑圧状態検出に使う統計値は、図６（ｂ）に示されるように、或る閾値以上となる外れ値（特徴値）の累積頻度（出現頻度）Ｐとする（ステップＳ６０３ｂ）。そして、その統計値を算出する区間を、適応的に決定される閾値によって可変にする。閾値を決定するのが、図４の閾値決定部４０３であり、決定された閾値に基づいて外れ値の出現頻度を算出するのが図４の外れ値出現頻度算出部４０５である。このときの閾値は、例えば、ピッチ周波数について、係数パラメータαと平均値（μ）に関する関数Ｆ（μ）として求める。閾値Ｆ（μ）＝μ×α、すなわち平均値（μ）のα倍として、αを平均ピッチ周波数に応じて適応的に変更する。このαとしては例えば、累積頻度が例えば１％となるαの値を、平均ピッチ周波数とともに多数の話者について求め、αと平均ピッチの関係を表す一次関数を近似的に求め、これを用いてαを入力信号の平均ピッチ周波数に応じて適応的に決定する。より具体的に言えば直線近似式から、人によって異なる平均ピッチ周波数に対応してα値が適応的に変化し、このαが変わることによって閾値であるＦ（μ）のピッチ周波数が適応的に変化する。
【００２４】
以上のようにして平均ピッチ周波数によって適応的に決定される係数パラメータαに対応する閾値Ｆ（μ）を用いることで、前述した図２（ａ）の破線丸で囲まれた部分において、通常時と抑圧を受けている時とを判別することが可能となる。また、平均対数パワーによって適応的に決定される係数パラメータβに対応する閾値Ｆ（μ）を用いることで、前述した図２（ｂ）の破線丸で囲まれた部分において、通常時と抑圧を受けている時とを判別することが可能となる。このような適応的に決定される閾値に基づいて通常時と抑圧を受けている時とを判別するのが、図５のスコア統合部５０１および総合判定部５０２である。
【００２５】
このような本実施形態方式により、外れ値の出現頻度を用いることにより、ユーザが抑圧を受けている時の発話を精度良く検出できる。また、ピッチ周波数およびパワーそれぞれの入力ごとの平均値を用いた閾値設定により、声が高い人・低い人や声の大きい人・小さい人といった個人差を加味することができる。さらに、パワーの外れ値は大きなパワーを持つことからＳＮＲ（信号対雑音比）が高いので、雑音環境下であっても安定に抑圧状態の発話を検出することができるという効果も得られる。
【００２６】
続いて、以上の図１から図５のまでの構成を有する実施形態の動作について、以下に詳細に説明する。図７は、上述の構成を有する実施形態の制御処理を示すコンピュータが実行するためのフローチャートである。以下、このフローチャートに沿って説明する。
【００２７】
本実施形態は、例えば携帯電話上での動作を想定している。そこで、携帯電話に装備されている通話用マイク等を介してユーザの音声信号が入力すると、まず音声受付部である図１の入力部１０１において、図７のステップＳ７０１に示される処理が実行される。ここではまず、アナログの音声信号に対してローパスフィルタリング処理が実行される。続いて、アナログ信号をデジタル信号に変換するＡＤ変換（アナログ／デジタル変換）処理が実行される。ローパスフィルタリングおよびＡＤ変換の処理は、専用のハードウェアによる処理であってよく、あるいはＤＳＰ（デジタルシグナルプロセッサ）などによるソフトウェア処理であってよい。次に、音声分析を実行するために、フレーム処理が実行される。このフレーム化処理では、デジタル化された入力音声サンプル値から、周波数的に安定と見なせる程度の一定時間（例えば３２ミリ秒）分の音声サンプル値が切り出され、各サンプル値に分析窓と呼ばれる窓データが乗算される。分析窓の種類としては、例えばハミング窓やハニング窓と呼ばれる、最大値が１でフレームの両端で値が０に近づくような窓データが使用される。この窓データは、分析フレームの両端の振幅変化の大きな音声サンプル値が音声分析処理に悪影響を与えてしまうことを回避するために乗算される。
【００２８】
次に、図３の音声分析部３０１において、図７のステップＳ７０２に示される処理が実行される。ここでは、抑圧を受けていることを検出するための特徴パラメータとして、パワーとピッチ周波数が抽出される。ピッチ周波数を抽出するために、自己相関法やケプストラム法、変形自己相関法といった公知の音声分析処理が、入力部１０１にてフレーム処理された音声データに対して実行される。パワーは、入力部１０１にてフレーム処理された音声データの各サンプル値の２乗和、またはそれを対数化した値として抽出される。
【００２９】
次に、図３の母音区間判定部３０２において、図７のステップＳ７０３に示される処理が実行される。ここでは、現在処理中のフレームが母音フレームであるか否かが判定される。これは母音フレームと判定されたフレームのピッチ周波数とパワーの分布を算出する必要があるからである。より具体的には、ステップＳ７０２にて抽出されている、入力部１０１にてフレーム処理された音声データに対するパワーや自己相関関数のピーク値が、所定の閾値よりも大きいか否かが判定され、閾値よりも大きい場合に母音フレームであると判定される。
【００３０】
現在処理中のフレームが母音フレームではないと判定されステップＳ７０３の判定がＮＯの場合には、ステップＳ７０１の処理に戻って、次の分析フレームが処理される。
現在処理中のフレームが母音フレームであると判定されステップＳ７０３の判定がＹＥＳの場合には、図４の平均値算出部４０１において、図７のステップＳ７０４の処理が実行される。ここでは、ステップＳ７０２にて算出されたピッチ周波数とパワーのそれぞれについて、平均値が計算される。各平均値としては、現時点までに分析された母音フレーム全体にわたるピッチ周波数およびパワーの各平均値が算出される。平均値の求め方は、全母音フレームを用いて求めて良いが、リングバッファにより構成される図４の格納部４０２に格納されている現フレームから例えば過去１００秒分の母音フレームというように、平均する時間長を固定して平均値を求めても良い。
【００３１】
次に、図７のステップＳ７０５において、予め決められた数以上の母音フレームが集まったか否かが判定される。この分析フレームの数は、例えば１００秒分のフレーム数である。
【００３２】
予め決められた数以上の母音フレームが集まっておらずステップＳ７０５の判定がＮＯならば、図７のステップＳ７０６で、リングバッファにより構成される図４の格納部４０２に、現在の分析フレームで算出したピッチ周波数とパワーの各値が格納される。その後、ステップＳ７０１の処理に戻って、次の分析フレームが処理される。 予め決められた数以上の母音フレームが集まりステップＳ７０５の判定がＹＥＳならば、図７のステップＳ７０７で、格納部４０２において、現在の分析フレームで算出したピッチ周波数とパワーの値で、リングバッファの一番古いデータが上書きされる。このようにしてリングバッファに記憶された現在のフレームから過去１００秒分の母音フレームのピッチ周波数とパワーの各値に基づいて、前述したように、ステップＳ７０４にて、ピッチ周波数とパワーの平均値が算出される。
【００３３】
次に、図４の閾値決定部４０３において、図７のステップＳ７０８の処理が実行される。ここでは、ピッチ周波数とパワーのそれぞれについて、外れ値か否かを決める閾値が、ステップＳ７０４にて算出された平均値と、図４の統計データ記憶部４０４に記憶されている統計データとに基づいて決定される。
【００３４】
今、ピッチ周波数に関する閾値に対応する係数パラメータαとし、ステップＳ７０４にて算出された平均ピッチ周波数をｐｉｔｃｈ＿ｍｅａｎとし、現在のフレームのピッチ周波数をｐｉｔｃｈとすれば、次式（３）が成立するときに、ｐｉｔｃｈは外れ値であると判定する。すなわち、ピッチ周波数の外れ値とは、平均ピッチに対してα倍高くなったピッチ周波数をいう。言い換えれば、ピッチ周波数の外れ値を決める閾値は係数パラメータαと平均ピッチ周波数との積である。
α・ｐｉｔｃｈ＿ｍｅａｎ＜ｐｉｔｃｈ ・・・（３）
【００３５】
また、パワーに関する閾値をβとし、ステップＳ７０４にて算出された平均パワーをｐｏｗｅｒ＿ｍｅａｎとし、現在のフレームのパワーをｐｏｗｅｒとすれば、次式（４）が成立するときに、ｐｏｗｅｒは外れ値であると判定する。すなわち、パワーの外れ値とは、正規化された平均パワー（対数パワー）に対してβ以上大きなパワーをいう。言い換えればパワー（対数）の外れ値を決める閾値は、係数パラメータβに平均パワーの対数を加えたものである。
β＋ｌｏｇ10（ｐｏｗｅｒ＿ｍｅａｎ）＜ｌｏｇ10（ｐｏｗｅｒ） ・・・（４）
【００３６】
ここで、ピッチ周波数の累積頻度分布の例を、図８（男性話者１，２）及び図９（女性話者１，２）に示す。この場合、横軸は、（３）式のαに相当する、各母音フレームのピッチ周波数を平均ピッチで割った値（＝ｐｉｔｃｈ／ｐｉｔｃｈ＿ｍｅａｎ）を示している。すなわち、横軸の値は、平均ピッチに対する倍率を表しており、１．０は平均値を表し、１．５は平均ピッチの１．５倍のピッチ周波数を表している。男性２名、女性２名の結果を示す。男女間でピッチ周波数は大きく異なるが、横軸が平均ピッチ周波数で正規化されることにより、１．４から１．５の付近で、どの話者も、抑圧を受けている状態の累積頻度分布の値が通常時の累積頻度分布の値を上回っている。これは、通常時において閾値以上となる外れ値が多く発生していることを示している。言い換えれば、図８及び図９の例は、ピッチ周波数に関して、外れ値の出現頻度が小さいほど、発話者が抑圧を受けている状態であると判定することができることを示している。よって、閾値Ｆ（μ）に基づいて、フレームごとのピッチ周波数が外れ値であるか否かを判定して、そのように判定された外れ値の出現頻度を算出することにより、発話者が抑圧を受けている状態であるか否かを判定できることになる。
【００３７】
次に、パワーの累積頻度分布の例を、図１０（男性話者１，２）及び図１１（女性話者１，２）に示す。この場合、横軸は、（４）式のβに相当する、各母音フレームのパワーの平均パワーに対する対数比（＝ｌｏｇ1０（ｐｏｗｅｒ／ｐｏｗｅｒ＿ｍｅａｎ）を示している。すなわち、横軸の値は、平均パワーに対する倍率を表している。このように横軸が平均パワーで正規化されることにより、０．６付近で、どの話者も、抑圧を受けている状態の累積頻度分布の値が通常時を下回っている。これは、抑圧を受けている状態において外れ値が多く発生していることを示している。言い換えれば、図１０及び図１１の例は、パワーに関して、外れ値の出現頻度が大きいほど、発話者が抑圧を受けている状態であると判定することができることを示している。よって、閾値に基づいて、各フレームごとのパワーが外れ値であるか否かを判定して、そのように判定された外れ値の出現頻度を算出することにより、発話者が抑圧を受けている状態であるか否かを判定できることになる。
【００３８】
さらに、ピッチ周波数の閾値とパワーの閾値のそれぞれについて話者依存性をなくすため、ステップＳ７０８において、閾値は次のようにして決定される。まず、累積頻度分布が例えば９９％となるα、βの値が、事前に複数の話者について算出される。その結果、図１２および図１３に例示されるように、平均ピッチとα、βの関係がプロットされ、一次の近似直線が算出される。なお、複数の話者各々が非抑圧状態にある場合に、音声データを取得することが望ましい。非抑圧状態の複数の話者の音声データから統計データを作成することで、非抑圧状態で累積頻度分布が９９％となる値を閾値として用いることができる。そして、この事前に算出された一次の近似直線のデータが、図４の統計データ記憶部４０４に記憶される。ステップＳ７０８では、ステップＳ７０４にて算出されたピッチ周波数の平均値を入力として、図４の統計データ記憶部４０４に記憶されている一次の近似直線データが参照され、その平均値に対応する閾値が決定される。このようにして、話者に依存しない閾値を決定することが可能となる。なお、上述の累積頻度分布の９９％という値はそれに限定されるものではなく、外れ値の累積頻度の差が最も表れる累積頻度分布の値を網羅的に調べ、その累積頻度分布の値となるα、βの値を用いるようにしてもよい。
【００３９】
続いて、図４の外れ値出現頻度算出部４０５において、図７のステップＳ７０９の処理が実行される。
ここではまず、ピッチ周波数とパワーのそれぞれについて、現在処理中のフレームについてステップＳ７０２にて抽出された分析値が、ステップＳ７０８にて算出されているそれぞれの閾値と比較される。具体的には、ステップ７０２にて抽出された現在処理中のフレームのピッチ周波数ｐｉｔｃｈが、前述の（３）式を満たす場合に、現在処理中のフレームのピッチ周波数は外れ値であると判定される。すなわち図６（a）において、αのところで累積頻度分布が抑圧を受けているときに通常時より高くなっているので外れ値を越えたフレーム数は少なくなる。同様に、ステップＳ７０２にて抽出された現在処理中のフレームのパワーｐｏｗｅｒが、前述の（４）式を満たす場合に、現在処理中のフレームのパワーは外れ値であると判定される。すなわち図６（b）において、βのところで累積頻度分布が抑圧を受けているときの方が通常時より低いので外れ値を越えたフレーム数は多くなる。
【００４０】
次に、ピッチ周波数とパワーのそれぞれについて、現在のフレームの直前までの外れ値のカウント数と現在のフレームが外れ値であるか否かの判定結果とが加算されることにより、現在のフレームまでの外れ値の数が算出される。ピッチ周波数に関する現在のフレームまでの外れ値の数をＮpitch 、パワーに関する現在のフレームまでの外れ値の数をＮpower とする。そして、（１）式、（２）式に示されるようにピッチ周波数をパワーの出現頻度Ppitch Ppowerが得られる。
【００４１】
そして、次に、図５のスコア統合部５０１において、図７のステップＳ７１０の処理が実行される。ここでは、ピッチ周波数とパワーのそれぞれの出現頻度Ppitch 、Ｐpower が統合されてスコア化される。
【００４２】
図１４は、ステップＳ７１０のさらに詳細な制御処理を示すフローチャートである。
まず、ステップＳ１４０１において、パワーの修正累積分布が算出される。図１０および図１１の説明において前述したように、図７のステップＳ７０９にて算出されたパワーの外れ値の出現頻度Ｐpower は、その値が大きいほど、発話者が抑圧を受けている状態であると判定することができる。そこで、これを次式によってスコア化する。すなわち、ある定数（ＳＣＯＲＥ＿ＮＯＲＭ）からパワーの外れ値の出現頻度Ｐpower を減算した結果を、パワーの修正累積分布Ｐｄｆpower とする。
Ｐｄｆpower ＝ＳＣＯＲＥ＿ＮＯＲＭ−Ｐpower ・・・（５）
このパワーの修正累積分布Ｐｄｆpower は、抑圧を受けている状態ほどパワーの外れ値の出現頻度Ｐpower が大きくなって、値が小さくなる。ＳＣＯＲＥ＿ＮＯＲＭとしては、例えば０．０３を用いる。ただし、Ｐｄｆpower の値は０以下にはならないようにする。
【００４３】
次に、図１４のステップＳ１４０２において、ピッチ周波数の修正累積分布が算出される。図８および図９の説明において前述したように、図７のステップＳ７０９にて算出されたピッチ周波数の外れ値の出現頻度Ｐpitch は、その値が小さいほど、発話者が抑圧を受けている状態であると判定することができる。そこで、これを次式によってスコア化する。すなわち、ピッチ周波数の外れ値の出現頻度Ｐpitch に、（５）式のパワーの修正累積分布Ｐｄｆpower にオーダーが整合するように調整するための定数（ＰＩＴＣＨ＿ＮＯＲＭ）を乗算した結果を、ピッチ周波数の修正累積分布Ｐｄｆpitch とする。
Ｐｄｆpitch ＝ＰＩＴＣＨ＿ＮＯＲＭ・Ｐpitch ・・・（６）
このピッチ周波数の修正累積分布Ｐｄｆpitch は、抑圧を受けている状態ほどピッチ周波数の外れ値の出現頻度Ｐpitch が小さくなって、値が小さくなる。ＰＩＴＣＨ＿ＮＯＲＭとしては、ピッチ周波数とパワーの外れ値の出現頻度のオーダーが同じくらいであれば１．０を用いる。
【００４４】
そして、図１４のステップＳ１４０３において、（５）（６）式で算出されたピッチ周波数とパワーの修正累積分布Ｐｄｆpower とＰｄｆpitch について、次式のように２乗和の平方根が計算され、スコア化された結果ＳＣＯＲＥを得る。
ＳＣＯＲＥ＝（Ｐｄｆpitch 2 ＋Ｐｄｆpower 2 ）1/2 ・・・（７）
【００４５】
以上のようにしてスコアが求まったら、最後に、図５の総合判定部５０２において、図７のステップＳ７１１の処理が実行される。ここでは、ステップＳ７１０で算出されたスコアＳＣＯＲＥが、予め決められた閾値以下であるか否かが判定される。なお、ステップＳ７１１で用いる閾値は、実験的に設定された値を用いる。
【００４６】
スコアＳＣＯＲＥが予め決められた閾値以下でステップＳ７１１の判定がＹＥＳなら、図７のステップＳ７１２で、抑圧を受けている状態であると判定される。
スコアＳＣＯＲＥが予め決められた閾値以下ではなくステップＳ７１１の判定がＮＯなら、図７のステップＳ７１３で、抑圧を受けておらず通常時であると判定される。
【００４７】
次に、図７のステップＳ７０８でピッチ周波数とパワーの平均値からそれぞれの外れ値判定の閾値を決定するための一次の近似直線データの算出方法について説明する。前述したように、この一次の近似直線データは、統計処理によって事前に算出され、図１の演算部１０３内の図４に示される統計データ記憶部４０４に記憶される。
【００４８】
図１５は、この一次の近似直線データの算出処理を実行するシステムのブロック図である。
まず、音声データベース１５０１に蓄積された複数の話者の各音声データに対して、図３の３０１，３０２と同様の音声分析部１５０２および母音区間判定部１５０３の処理が実行されることにより、各フレームごとにピッチ周波数が算出される。さらに、平均値算出部１５０４によって、話者ごとにピッチ周波数の平均値とパワーの平均値がそれぞれ算出される。
【００４９】
次に、累積頻度が９９％となるα決定部１５０５によって、図８、図９として示したようなピッチ周波数に関する累積頻度分布が９９％となるαの値が、各話者ごとに算出される。
【００５０】
近似式算出部１５０６は、各話者ごとに、平均値算出部１５０４で算出された平均ピッチ周波数と、累積頻度が９９％となるα決定部１５０５で算出されたαの値の組を複数組入力し、それらに対して最小二乗法による直線回帰分析処理を実行する。この結果、例えば図１２のグラフのようにプロットされた平均ピッチ周波数とαの組から、それらを近似する一次の近似直線データが算出される。この一次の近似直線は、
α＝Ｓpitch ・ｐｉｔｃｈ＿ｍｅａｎ＋Ｉpitch ・・・（８）
として表される。図４の統計データ記憶部４０４には、（８）式のように近似された直線に対応する傾きＳpitch と切片Ｉpitch の各データが記憶される。そして、図４の閾値決定部４０３（図７のステップＳ７０８）は、平均値算出部４０１（図７のステップＳ７０４）にて算出されたピッチ周波数の平均値をｐｉｔｃｈ＿ｍｅａｎとして、統計データ記憶部４０４から読み出した傾きＳpitch と切片Ｉpitch の各データを用いて（８）式を計算し、αを決定する。
【００５１】
一方、累積頻度が９９％となるβ決定部１５０７によって、図１０、図１１として示したようなパワーに関する累積頻度分布が９９％となるβの値が、各話者ごとに算出される。
【００５２】
近似式算出部１５０８は、各話者ごとに、平均値算出部１５０４で算出された平均ピッチ周波数と、累積頻度が９９％となるβ決定部１５０７で算出されたβの値の組を複数組入力し、それらに対して最小二乗法による直線回帰分析処理を実行する。この結果、例えば図１３のグラフのようにプロットされた平均ピッチ周波数とβの組から、それらを近似する一次の近似直線データが算出される。この一次の近似直線は、
β＝Ｓpower ・ｐｉｔｃｈ＿ｍｅａｎ＋Ｉpower ・・・（９）
として表される。図４の統計データ記憶部４０４には、（９）式のように近似された直線に対応する傾きＳpower と切片Ｉpower の各データが記憶される。そして、図４の閾値決定部４０３（図７のステップＳ７０８）は、平均値算出部４０１（図７のステップＳ７０４）にて算出されたピッチ周波数の平均値をｐｉｔｃｈ＿ｍｅａｎとして、統計データ記憶部４０４から読み出した傾きＳpower と切片Ｉpower の各データを用いて記（９）式を計算し、βを決定する。
【００５３】
以上説明した実施形態では、（３）（４）式として示したように、平均ピッチに対する倍率に相対する係数パラメータを使用したが、統計量として標準偏差も使用してもよい。
例えば、ピッチ周波数の標準偏差をｐｉｔｃｈ＿ｓｔｄとして（３）式を修正すると、次式のようになる。
α・（ｐｉｔｃｈ＿ｍｅａｎ＋γ・ｐｉｔｃｈ＿ｓｔｄ）＜ｐｉｔｃｈ・・・（１０）
γは平均値から何σ離れた場所を基準とするかを決めるパラメータである。
【００５４】
同様に、パワーの標準偏差をｐｏｗｅｒ＿ｓｔｄとして（４）式を修正すると、次式のようになる。
β＋ｌｏｇ10（ｐｏｗｅｒ＿ｍｅａｎ＋λ・ｐｏｗｅｒ＿ｓｔｄ）
＜ｌｏｇ10（ｐｏｗｅｒ） ・・・（１１）
α、β、γおよびλは多数データで調整して決める。
【００５５】
ピッチ周波数の場合、γ＝０．０（平均値ピッチのみ）の場合、α＝１．０となる値がが平均ピッチのときになる。これに対して、標準偏差を用いることにより、α＝１．０となるピッチ周波数の値が、平均値からγ・ｐｉｔｃｈ＿ｓｔｄ離れた値にすることができ、より自由度の高い外れ値の閾値を設定することが可能となる。
【００５６】
パワーの場合も、λ＝０．０（平均パワーのみ）の場合、β＝０．０となるパワーの値が平均パワーのときになる。これに対して、標準偏差を用いることにより、β＝０．０となるパワーの値が、平均値からλ・ｐｏｗｅｒ＿ｓｔｄ離れた値にすることができ、より自由度の高い外れ値の閾値を設定することが可能となる。
【００５７】
上述した本実施形態によれば、音声のピッチ周波数やパワーの平均値の係数倍に相当する閾値以上の外れ値に基づいて、話者の抑圧状態を検出する。閾値はそれらの各平均値に依存した直線回帰で制御し、適応的に話者の依存性をなくす。
【００５８】
図１６は、図７、図１４のフローチャートの制御処理をソフトウェア処理として実現できるコンピュータのハードウェア構成の一例を示す図である。
図１６に示されるコンピュータは、ＣＰＵ１６０１、メモリ１６０２、入力装置１６０３、出力装置１６０４、外部記憶装置１６０５、可搬記録媒体１６０９が挿入される可搬記録媒体駆動装置１６０６、及び通信インターフェース１６０７を有し、これらがバス１６０８によって相互に接続された構成を有する。同図に示される構成は上記システムを実現できるコンピュータの一例であり、そのようなコンピュータはこの構成に限定されるものではない。
【００５９】
ＣＰＵ１６０１は、当該コンピュータ全体の制御を行う。メモリ１６０２は、プログラムの実行、データ更新等の際に、外部記憶装置１６０５（或いは可搬記録媒体１６０９）に記憶されているプログラム又はデータを一時的に格納するＲＡＭ等のメモリである。ＣＵＰ１６０１は、プログラムをメモリ１６０２に読み出して実行することにより、全体の制御を行う。
【００６０】
入力装置１６０３は、ユーザによるキーボードやマウス等による入力操作を検出し、その検出結果をＣＰＵ１６０１に通知する。出力装置１６０４は、ＣＰＵ１６０１の制御によって送られてくるデータを表示装置や印刷装置に出力する。
【００６１】
外部記憶装置１６０５は、例えばハードディスク記憶装置である。図７、図１４のフローチャートの処理を実行するための各種データやプログラムの保存に用いられる。
可搬記録媒体駆動装置１６０６は、光ディスクやＳＤＲＡＭ、コンパクトフラッシュ（登録商標）等の可搬記録媒体１６０９を収容するもので、外部記憶装置１６０５の補助の役割を有する。
【００６２】
通信インターフェース１６０７は、例えばＬＡＮ（ローカルエリアネットワーク）、ＷＡＮ（ワイドエリアネットワーク）または公衆無線通信網の通信回線を接続するための装置である。
【００６３】
本実施形態によるシステムは、図７、図１４のフローチャートで実現される機能を搭載したプログラムをＣＰＵ１６０１が実行することで実現される。そのプログラムは、例えば外部記憶装置１６０５や可搬記録媒体１６０９に記録して配布してもよく、或いはネットワーク接続装置１６０７によりネットワークから取得できるようにしてもよい。
【００６４】
以上説明した実施形態によれば、従来技術のように音声認識を利用する必要がないので、高騒音下においても発話者の抑圧された状態を検出可能である。また音声認識を使わないので、少ないリソースで動作可能であるという点と、音声認識誤りの影響を受けずどのような発声内容の音声でも検出可能という効果がある。
【００６５】
また、入力ごとのピッチ周波数やパワーの平均値を用いた閾値設定により、声が高い人・低い人や声の大きい人・小さい人といった個人差を減らし、固定の閾値で判定できるため、ユーザの声や性別等の登録が不要にできる効果がある。また、さらに、パワーの外れ値は大きなパワーを持つことから、ＳＮＲが高いので、雑音環境下であっても発話者の抑圧を受けている状態を検出できるという効果がある。
【００６６】
また、実施形態では、音声の解析結果としてピッチ周波数とパワーを用いる。発話者が外部から抑圧を受けた場合、その生理的反応として筋肉の緊張や弛緩が起こることが知られている。ピッチ周波数とパワーは筋肉で形成されている声帯や横隔膜における生理的反応の影響が出やすい。図８〜図１１で説明したように、抑圧を受けていると声の高さの抑揚がなくなるため、高いピッチ周波数の値が出にくくなり、外れ値の出現頻度が通常時よりも低下する。すなわち、平均値から離れると通常時よりも早く１００％に近づく。また、発話者が抑圧を受けていると、安定したパワーの音声を発声することが難しくなり、パワーが揺らぎ、その結果、パワー値の外れ値の出現頻度が増加する。すなわち、平均値から離れると通常時の方が早く１００％に近づく。この２つの変化を検出することで、発話者が抑圧を受けている状態を検出することが可能となる。
【００６７】
また、多数の学習用発話者の通常時と抑圧を受けている時のピッチ周波数やパワーの分布の情報を用いて、外れ値の累積頻度がある決まったパーセンテージとなるときの値と平均ピッチ周波数との関係を一次の近似直線で近似する。そして、この一次の近似直線のデータと分析時のピッチ周波数の平均値とでピッチ周波数やパワーの外れ値の閾値を決定することにより、さらに個人差による係数パラメータのばらつきをなくし、個人差を減らした閾値を用いた判定が可能となる。
【００６８】
本実施形態のシステムは、発声内容にほとんど関係しないピッチ周波数とパワーを分析しているので、音声認識が不要であり、携帯電話に搭載することが容易に可能となる。また、携帯電話の通話用マイクを用いて音声を取得することが可能となる。これにより、例えば携帯電話での通話内容を自動録音し、通話終了後に録音音声から通話者の緊張状態を自動検出して親族にメール通知等することが可能になる。このような機能は、振り込め詐欺などの犯罪の未然防止などに役立つ。
【００６９】
或いは、例えば自動車内におけるカーナビゲーションの操作において、音声を通じて運転者のいらいら状態を検出することができれば、状況に応じたカーナビゲーション等が可能になる。さらには、本実施形態のシステムは、対話型ロボットやコールセンタで使用されるコンピュータに搭載される。対話型ロボットは、ユーザの抑圧状態を検出して、状態に応じた対話を行う。また、コールセンタで使用されるコンピュータは、オペレータの抑圧状態を検出した場合に、顧客との会話の録音を開始したり、状況に応じたマニュアルの出力を行う。
【００７０】
以上説明した実施形態においては、音声の解析結果として、ピッチ周波数とパワーの両方を用いたが、高騒音下の環境などにおいてピッチ周波数の抽出精度が悪いような場合には、パワーのみを使って抑圧された状態を検出するようにすることも可能である。
【００７１】
或いは、例えば（６）式の定数（ＰＩＴＣＨ＿ＮＯＲＭ）を調整することにより、パワーとピッチ周波数の状態検出への寄与割合を変更するようにしてもよい。
【符号の説明】
【００７２】
１０１ 入力部
１０２ 解析部
１０３ 演算部
１０４ 判定部
１０５ 出力部
３０１、１５０２ 音声分析部
３０２、１５０３ 母音区間判定部
４０１ 平均値算出部
４０２ 格納部
４０３ 閾値決定部
４０４ 統計データ記憶部
４０５ 外れ値出現頻度算出部
５０１ スコア統合部
５０２ 総合判定部
１５０１ 音声データベース
１５０４ 平均値算出部
１５０５ 累積頻度が９９％となるα決定部
１５０６、１５０８ 近似式算出部
１５０７ 累積頻度が９９％となるβ決定部
【技術分野】
【０００１】
本発明は、音声波形に含まれる非言語情報を使って、発話者の抑圧された状態を検出する抑圧状態検出装置およびプログラムに関する。
【背景技術】
【０００２】
携帯電話技術やカーナビゲーション技術の発達に伴い、音声認識、話者認識や音声合成等の音声処理技術も応用範囲が広がっている。この応用の一つとして、発話者が発声する音声を解析することで、発話者の精神状態（感情）を判定する技術がある（特許文献１）。これは、周波数信号区間において、音源波形の周波数ゆらぎおよび高域成分ゆらぎから特徴「力み」「かすれ」を検出し、特徴に適した音声認識の音響モデルを選択し、音響モデルと入力された音源とに基づいて、発話者の精神状態を判定する。また、あるフレームにおける平均音量と音量分散に基づいて、発話者の精神状態を分析する技術がある（特許文献２）。
【先行技術文献】
【特許文献】
【０００３】
【特許文献１】特許４０８５１３０号公報
【特許文献２】特開２００４−３１７８２２号公報
【発明の概要】
【発明が解決しようとする課題】
【０００４】
発話者の精神状態として、発話者が抑圧を受けている状態すなわち声帯の緊張状態を検出しようとする場合が考えられる。この場合、従来技術を使えば、音声認識による音韻列（発話者がなんというフレーズを話したか）を検出する処理が必要となる。このため、検出精度が音声認識の性能に左右されてしまうという問題点を有していた。特に、雑音環境や未知語（音声認識に登録されていない単語）が入力された場合では音声認識誤りが発生し、感情の推定精度が落ちる。また、大語彙音声認識を行なわないといけないので、携帯電話上といった省リソース環境での実装は難しい。
【０００５】
また、特許文献２の技術は、発話者個人の特性を考慮した検出ができない。
そこで、本願発明は、一般的音声認識を必要とせず、発話者個人の特性を考慮した発話者の抑圧状態すなわち声帯の緊張状態の時の発話を検出することを目的とする。
【課題を解決するための手段】
【０００６】
態様の一例では、入力された音声を受付ける入力部と、音声を、複数のフレームごとに解析する解析部と、複数のフレームごとの解析結果に基づいて解析結果の平均値を算出すると共に、予め記憶された複数話者ごとの解析結果の平均値および解析結果の累積頻度分布に関する統計データと、算出した平均値とに基づいて閾値を決定し、複数の解析結果のうち閾値よりも大きな値を有する解析結果の出現頻度を演算する演算部と、出現頻度に基づいて、音声を発する声帯の緊張状態を判定する判定部と、判定の結果を出力する出力部とを有する。
【発明の効果】
【０００７】
音声認識を利用せずに、個人差を減らした閾値を用いた判定ができるので、発話者個人の特性を考慮した発話者の抑圧状態すなわち声帯の緊張状態の時の発話を検出することが可能となり、また、小規模のシステムでも動作させることが可能となる。
【図面の簡単な説明】
【０００８】
【図１】実施形態の抑圧状態検出装置の機能ブロック図である。
【図２】本実施形態の抑圧状態検出方式の原理を説明するための図である。
【図３】解析部の機能ブロック図である。
【図４】演算部の機能ブロック図である。
【図５】判定部の機能ブロック図である。
【図６】比較例と本実施形態の方式の処理の違いを示す説明図である。
【図７】実施形態の制御処理を示すフローチャートである。
【図８】ピッチ周波数の累積頻度分布の例を示す図（その１）である。
【図９】ピッチ周波数の累積頻度分布の例を示す図（その２）である。
【図１０】対数パワーの累積頻度分布の例を示す図（その１）である。
【図１１】対数パワーの累積頻度分布の例を示す図（その２）である。
【図１２】平均ピッチとαとの関係を示す図である。
【図１３】平均ピッチとβとの関係を示す図である。
【図１４】スコア統合部の制御処理を示すフローチャートである。
【図１５】閾値検出のための一次の近似直線データを算出する処理を実行するブロック図である。
【図１６】本実施形態のシステムを実現可能なハードウェアシステムの構成図である。
【発明を実施するための形態】
【０００９】
以下、本発明を実施するための形態について図面を参照しながら詳細に説明する。
図１は、実施形態のブロック図である。
入力部１０１は、入力音声を受付ける。
【００１０】
解析部１０２は、入力部１０１がフレームごとに、入力音声を解析する。例えば、解析部１０２は、母音区間を抽出してピッチ周波数やパワーを抽出する。なお、フレームとは、入力音声を所定の単位で区切った際の、領域ごとの情報である。解析部１０２は、音声データをアナログ信号からデジタル信号に変換した後、周波数的にほぼ安定とみなすことができる時間を単位として、入力音声からフレームを切り出す。例えば、フレームは、３２ミリ秒程度を単位として、入力音声から切り出された情報を言う。
【００１１】
演算部１０３は、解析部１０２が解析した結果を用いて、ピッチ周波数の度数分布（フレーム数の分布）やパワーの度数分布を求め、それらの平均値や累積頻度分布を算出する。ここで、平均値とは例えば、ピッチ周波数の平均値や音声のパワーの平均値をいう。続いて、演算部１０３は、予め記憶された統計データと算出した平均値とに基づいて閾値を決定する。ここで、統計データは例えば、ピッチ周波数の度数分布を与えるデータやパワーの度数分布を与えるデータである。あるいは、ピッチ周波数の平均値やパワーの平均値に基づいて閾値を適応的に決定するための後述する係数パラメータα、β等を与える一次の近似直線を決定するために使われるデータである。もちろん、閾値を決定するために使われる係数パラメータを与えるためには一次の近似直線に限定されるものではなく、様々な関数データ等を採用することができる。演算部１０３は、この一次の近似直線等のデータを用いて、算出した平均値に対応する閾値を適応的に決定する。この閾値は例えば、ピッチ周波数が平均値から外れている境界のピッチ周波数のフレーム数を全体のフレーム数で割った頻度の閾値、或いは、パワーが平均値から外れている境界のパワーのフレーム数を全体のフレーム数で割った頻度の閾値に対応する。これを以下では、ピッチ周波数の閾値あるいはパワーの閾値とも呼ぶこととする。。そして、演算部１０３は、解析部１０２が音声を解析した結果において、閾値との比較に基づいて特徴値を抽出する。例えば、解析されたピッチ周波数の平均値に対して、境界である閾値が示す値以上離れているピッチ周波数をピッチ周波数の外れ値といい、これを特徴値として抽出する。また、解析されたパワーの平均値に対して、境界である閾値が示す値以上離れているパワーをパワーの外れ値といい、これも特徴値として抽出する。
【００１２】
図２は、特徴値であるピッチ周波数の外れ値やパワーの対数値の外れ値に基づく、本実施形態の抑圧状態検出方式の原理を説明するための図である。図２（ａ）に示されるように、抑圧時と非抑圧時（通常時）とのデータを区別した状態で、平均ピッチ周波数に対する倍率ごとのピッチ周波数の累積頻度分布をプロットする。すると、図２（ａ）の破線丸で囲まれた部分において、抑圧時は、ピッチ周波数の外れ値が少ないため、非抑圧時より累積頻度分布の値が大きくなる傾向がある。従って、ピッチ周波数の外れ値を決定する閾値によって累積頻度分布が飽和する付近に着目すれば、抑圧状態と非抑圧状態とを識別できることを見出した。また、図２（ｂ）に示されるように、抑圧時と非抑圧時（通常時）とのデータを区別した状態で、平均パワーに対する倍率の対数値ごとのパワーの対数値の累積頻度分布をプロットする。すると、図２（ｂ）の破線丸で囲まれた部分において、抑圧時は非抑圧時より累積頻度分布の値が小さくなる傾向がある。従って、この場合も、パワーの外れ値を決定する閾値によって累積頻度分布が飽和する付近に着目すれば、抑圧状態と非抑圧状態とを識別できることを見出した。 以上のことに基づいて、演算部１０３では、外れ値に当たるピッチ周波数を持つフレームの頻度または外れ値に当たるパワーを持つフレームの頻度を求める。
【００１３】
そして、判定部１０４は、演算部１０３が抽出した特徴値に基づいて、話者の抑圧状態すなわち音声を発する声帯の緊張状態を判定する。例えば、判定部１０４は、ピッチ周波数に関しては特徴値としてのピッチ周波数の外れ値の出現頻度が低いほど低くなり、またパワーに関しては特徴としての対数パワーの外れ値の出現頻度が高いほど低くなるようなスコアを計算する。そして、そのスコア値が予め決められた閾値以下であれば、声帯の緊張状態が高いと判定する。
出力部１０５は、判定部１０４の判定の結果を出力する。
【００１４】
図３は、図１の解析部１０２のブロック図である。解析部１０２は、音声分析を実行してピッチ周波数とパワーを抽出する音声分析部３０１を含む。また、母音区間を判定してその区間のピッチ周波数とパワーを出力する母音区間判定部３０２を含む。
【００１５】
図４は、図１の演算部１０３のブロック図である。演算部１０３は、ピッチ周波数やパワーの平均値を算出する平均値算出部４０１を含む。
（１）、（２）式に示されるように、ピッチ周波数とパワーのそれぞれについて、現在のフレームまでの外れ値の数Ｎpitch 、Ｎpower がそれぞれ、現在のフレームまでの全母音フレーム数Ｎで除算されることにより得られ、これらをそれぞれの出現頻度Ppitch 、Ｐpower と呼ぶ。
Ｐpitch ＝Ｎpitch ／Ｎ ・・・（１）
Ｐpower ＝Ｎpower ／Ｎ ・・・（２）
【００１６】
また、母音区間判定部３０２が出力したピッチ周波数とパワーの値を平均値算出部４０１が計算するのに必要な予め決まった数の最新の母音フレーム分だけ格納する、例えばリングバッファによって構成される格納部４０２を含む。さらに、平均値算出部４０１が算出したピッチ周波数およびパワーの平均値と統計データ記憶部４０４に記憶されている統計データとに基づいて閾値を決定する閾値決定部４０３を含む。そして、この閾値に基づいてピッチ周波数やパワーの外れ値を抽出し、それらの外れ値の出現頻度、すなわち閾値以上のピッチ周波数やパワーを有するフレームの出現頻度を算出する外れ値出現頻度算出部４０５を含む。
【００１７】
図５は、図１の判定部１０４のブロック図である。判定部１０４は、ピッチ周波数に関しては外れ値の出現頻度が低いほど低くなり、またパワーに関しては外れ値の出現頻度が高いほど低くなるような値（修正累積分布）を計算し、それらを統合してスコア化するスコア統合部５０１を含む。また、スコア統合部５０１にて得られるスコアに基づいて、「発話者が抑圧を受けている状態」であるか否かを判定し、その判定結果を出力する総合判定部５０２を含む。
【００１８】
以上の図１から図５のまでの構成を有する実施形態の基本動作について、比較例と比較しながら、以下に詳細に説明する。
図６は、比較例（図６（ａ））と本実施形態方式（図６（ｂ））の処理の違いを示す説明図である。
【００１９】
比較例も本実施形態方式も、音声から、ピッチ周波数やパワーといった特徴パラメータを算出し（ステップＳ６０１ａ、Ｓ６０１ｂ）、それらの平均値（μ）を算出し（ステップＳ６０２ａ、Ｓ６０２ｂ）、処理を実行するという点では同じである。
【００２０】
しかし、従来の感情等のユーザの状態を音声から推定する方法としては、図６（ａ）のグラフに示されるように、統計量として、ピッチ周波数やパワーの平均値（μ）を基準とした分散（偏差）（σ）が用いられることが多い（ステップ５０３ａ）。しかし、このように、統計量の利用方式で用いているピッチ周波数やパワーは、声の高さ・大きさによる個人差の影響が出やすい。特許文献２には、対象となる入力音声のパワーを用いて、音声を発声したユーザの感情判定を行なうことが記載されているが、ユーザにとって「抑圧状態に左右されて声が大きくなっているのか」「声が大きいのか」が区別することができない。特許文献２ではパワーを用いた感情判定が記載されているが、図６（ａ）に示すように、ピッチ周波数で感情判定を行ったとしても同様である。
【００２１】
一方、上述したように、閾値以上の値を有する外れ値に着目することで抑圧状態を検出する場合に、一律の閾値を用いたとしても、ユーザの抑圧状態を検出することはできない。なぜなら、声の大きさ（パワー）や音高（ピッチ周波数）は、ユーザごとに異なるためである。
【００２２】
そこで、ユーザの個人差に対応するためには、例えば、ユーザ毎に音声を登録し発声内容を固定しなければならない。このように、比較例として示した抑圧状態検出や、一律に設定された閾値を用いた抑圧状態検出では、個人差を加味してユーザの抑圧状態を検出することは困難であった。
【００２３】
これに対して、本実施形態方式では、音声の抑圧状態検出に使う統計値は、図６（ｂ）に示されるように、或る閾値以上となる外れ値（特徴値）の累積頻度（出現頻度）Ｐとする（ステップＳ６０３ｂ）。そして、その統計値を算出する区間を、適応的に決定される閾値によって可変にする。閾値を決定するのが、図４の閾値決定部４０３であり、決定された閾値に基づいて外れ値の出現頻度を算出するのが図４の外れ値出現頻度算出部４０５である。このときの閾値は、例えば、ピッチ周波数について、係数パラメータαと平均値（μ）に関する関数Ｆ（μ）として求める。閾値Ｆ（μ）＝μ×α、すなわち平均値（μ）のα倍として、αを平均ピッチ周波数に応じて適応的に変更する。このαとしては例えば、累積頻度が例えば１％となるαの値を、平均ピッチ周波数とともに多数の話者について求め、αと平均ピッチの関係を表す一次関数を近似的に求め、これを用いてαを入力信号の平均ピッチ周波数に応じて適応的に決定する。より具体的に言えば直線近似式から、人によって異なる平均ピッチ周波数に対応してα値が適応的に変化し、このαが変わることによって閾値であるＦ（μ）のピッチ周波数が適応的に変化する。
【００２４】
以上のようにして平均ピッチ周波数によって適応的に決定される係数パラメータαに対応する閾値Ｆ（μ）を用いることで、前述した図２（ａ）の破線丸で囲まれた部分において、通常時と抑圧を受けている時とを判別することが可能となる。また、平均対数パワーによって適応的に決定される係数パラメータβに対応する閾値Ｆ（μ）を用いることで、前述した図２（ｂ）の破線丸で囲まれた部分において、通常時と抑圧を受けている時とを判別することが可能となる。このような適応的に決定される閾値に基づいて通常時と抑圧を受けている時とを判別するのが、図５のスコア統合部５０１および総合判定部５０２である。
【００２５】
このような本実施形態方式により、外れ値の出現頻度を用いることにより、ユーザが抑圧を受けている時の発話を精度良く検出できる。また、ピッチ周波数およびパワーそれぞれの入力ごとの平均値を用いた閾値設定により、声が高い人・低い人や声の大きい人・小さい人といった個人差を加味することができる。さらに、パワーの外れ値は大きなパワーを持つことからＳＮＲ（信号対雑音比）が高いので、雑音環境下であっても安定に抑圧状態の発話を検出することができるという効果も得られる。
【００２６】
続いて、以上の図１から図５のまでの構成を有する実施形態の動作について、以下に詳細に説明する。図７は、上述の構成を有する実施形態の制御処理を示すコンピュータが実行するためのフローチャートである。以下、このフローチャートに沿って説明する。
【００２７】
本実施形態は、例えば携帯電話上での動作を想定している。そこで、携帯電話に装備されている通話用マイク等を介してユーザの音声信号が入力すると、まず音声受付部である図１の入力部１０１において、図７のステップＳ７０１に示される処理が実行される。ここではまず、アナログの音声信号に対してローパスフィルタリング処理が実行される。続いて、アナログ信号をデジタル信号に変換するＡＤ変換（アナログ／デジタル変換）処理が実行される。ローパスフィルタリングおよびＡＤ変換の処理は、専用のハードウェアによる処理であってよく、あるいはＤＳＰ（デジタルシグナルプロセッサ）などによるソフトウェア処理であってよい。次に、音声分析を実行するために、フレーム処理が実行される。このフレーム化処理では、デジタル化された入力音声サンプル値から、周波数的に安定と見なせる程度の一定時間（例えば３２ミリ秒）分の音声サンプル値が切り出され、各サンプル値に分析窓と呼ばれる窓データが乗算される。分析窓の種類としては、例えばハミング窓やハニング窓と呼ばれる、最大値が１でフレームの両端で値が０に近づくような窓データが使用される。この窓データは、分析フレームの両端の振幅変化の大きな音声サンプル値が音声分析処理に悪影響を与えてしまうことを回避するために乗算される。
【００２８】
次に、図３の音声分析部３０１において、図７のステップＳ７０２に示される処理が実行される。ここでは、抑圧を受けていることを検出するための特徴パラメータとして、パワーとピッチ周波数が抽出される。ピッチ周波数を抽出するために、自己相関法やケプストラム法、変形自己相関法といった公知の音声分析処理が、入力部１０１にてフレーム処理された音声データに対して実行される。パワーは、入力部１０１にてフレーム処理された音声データの各サンプル値の２乗和、またはそれを対数化した値として抽出される。
【００２９】
次に、図３の母音区間判定部３０２において、図７のステップＳ７０３に示される処理が実行される。ここでは、現在処理中のフレームが母音フレームであるか否かが判定される。これは母音フレームと判定されたフレームのピッチ周波数とパワーの分布を算出する必要があるからである。より具体的には、ステップＳ７０２にて抽出されている、入力部１０１にてフレーム処理された音声データに対するパワーや自己相関関数のピーク値が、所定の閾値よりも大きいか否かが判定され、閾値よりも大きい場合に母音フレームであると判定される。
【００３０】
現在処理中のフレームが母音フレームではないと判定されステップＳ７０３の判定がＮＯの場合には、ステップＳ７０１の処理に戻って、次の分析フレームが処理される。
現在処理中のフレームが母音フレームであると判定されステップＳ７０３の判定がＹＥＳの場合には、図４の平均値算出部４０１において、図７のステップＳ７０４の処理が実行される。ここでは、ステップＳ７０２にて算出されたピッチ周波数とパワーのそれぞれについて、平均値が計算される。各平均値としては、現時点までに分析された母音フレーム全体にわたるピッチ周波数およびパワーの各平均値が算出される。平均値の求め方は、全母音フレームを用いて求めて良いが、リングバッファにより構成される図４の格納部４０２に格納されている現フレームから例えば過去１００秒分の母音フレームというように、平均する時間長を固定して平均値を求めても良い。
【００３１】
次に、図７のステップＳ７０５において、予め決められた数以上の母音フレームが集まったか否かが判定される。この分析フレームの数は、例えば１００秒分のフレーム数である。
【００３２】
予め決められた数以上の母音フレームが集まっておらずステップＳ７０５の判定がＮＯならば、図７のステップＳ７０６で、リングバッファにより構成される図４の格納部４０２に、現在の分析フレームで算出したピッチ周波数とパワーの各値が格納される。その後、ステップＳ７０１の処理に戻って、次の分析フレームが処理される。 予め決められた数以上の母音フレームが集まりステップＳ７０５の判定がＹＥＳならば、図７のステップＳ７０７で、格納部４０２において、現在の分析フレームで算出したピッチ周波数とパワーの値で、リングバッファの一番古いデータが上書きされる。このようにしてリングバッファに記憶された現在のフレームから過去１００秒分の母音フレームのピッチ周波数とパワーの各値に基づいて、前述したように、ステップＳ７０４にて、ピッチ周波数とパワーの平均値が算出される。
【００３３】
次に、図４の閾値決定部４０３において、図７のステップＳ７０８の処理が実行される。ここでは、ピッチ周波数とパワーのそれぞれについて、外れ値か否かを決める閾値が、ステップＳ７０４にて算出された平均値と、図４の統計データ記憶部４０４に記憶されている統計データとに基づいて決定される。
【００３４】
今、ピッチ周波数に関する閾値に対応する係数パラメータαとし、ステップＳ７０４にて算出された平均ピッチ周波数をｐｉｔｃｈ＿ｍｅａｎとし、現在のフレームのピッチ周波数をｐｉｔｃｈとすれば、次式（３）が成立するときに、ｐｉｔｃｈは外れ値であると判定する。すなわち、ピッチ周波数の外れ値とは、平均ピッチに対してα倍高くなったピッチ周波数をいう。言い換えれば、ピッチ周波数の外れ値を決める閾値は係数パラメータαと平均ピッチ周波数との積である。
α・ｐｉｔｃｈ＿ｍｅａｎ＜ｐｉｔｃｈ ・・・（３）
【００３５】
また、パワーに関する閾値をβとし、ステップＳ７０４にて算出された平均パワーをｐｏｗｅｒ＿ｍｅａｎとし、現在のフレームのパワーをｐｏｗｅｒとすれば、次式（４）が成立するときに、ｐｏｗｅｒは外れ値であると判定する。すなわち、パワーの外れ値とは、正規化された平均パワー（対数パワー）に対してβ以上大きなパワーをいう。言い換えればパワー（対数）の外れ値を決める閾値は、係数パラメータβに平均パワーの対数を加えたものである。
β＋ｌｏｇ10（ｐｏｗｅｒ＿ｍｅａｎ）＜ｌｏｇ10（ｐｏｗｅｒ） ・・・（４）
【００３６】
ここで、ピッチ周波数の累積頻度分布の例を、図８（男性話者１，２）及び図９（女性話者１，２）に示す。この場合、横軸は、（３）式のαに相当する、各母音フレームのピッチ周波数を平均ピッチで割った値（＝ｐｉｔｃｈ／ｐｉｔｃｈ＿ｍｅａｎ）を示している。すなわち、横軸の値は、平均ピッチに対する倍率を表しており、１．０は平均値を表し、１．５は平均ピッチの１．５倍のピッチ周波数を表している。男性２名、女性２名の結果を示す。男女間でピッチ周波数は大きく異なるが、横軸が平均ピッチ周波数で正規化されることにより、１．４から１．５の付近で、どの話者も、抑圧を受けている状態の累積頻度分布の値が通常時の累積頻度分布の値を上回っている。これは、通常時において閾値以上となる外れ値が多く発生していることを示している。言い換えれば、図８及び図９の例は、ピッチ周波数に関して、外れ値の出現頻度が小さいほど、発話者が抑圧を受けている状態であると判定することができることを示している。よって、閾値Ｆ（μ）に基づいて、フレームごとのピッチ周波数が外れ値であるか否かを判定して、そのように判定された外れ値の出現頻度を算出することにより、発話者が抑圧を受けている状態であるか否かを判定できることになる。
【００３７】
次に、パワーの累積頻度分布の例を、図１０（男性話者１，２）及び図１１（女性話者１，２）に示す。この場合、横軸は、（４）式のβに相当する、各母音フレームのパワーの平均パワーに対する対数比（＝ｌｏｇ1０（ｐｏｗｅｒ／ｐｏｗｅｒ＿ｍｅａｎ）を示している。すなわち、横軸の値は、平均パワーに対する倍率を表している。このように横軸が平均パワーで正規化されることにより、０．６付近で、どの話者も、抑圧を受けている状態の累積頻度分布の値が通常時を下回っている。これは、抑圧を受けている状態において外れ値が多く発生していることを示している。言い換えれば、図１０及び図１１の例は、パワーに関して、外れ値の出現頻度が大きいほど、発話者が抑圧を受けている状態であると判定することができることを示している。よって、閾値に基づいて、各フレームごとのパワーが外れ値であるか否かを判定して、そのように判定された外れ値の出現頻度を算出することにより、発話者が抑圧を受けている状態であるか否かを判定できることになる。
【００３８】
さらに、ピッチ周波数の閾値とパワーの閾値のそれぞれについて話者依存性をなくすため、ステップＳ７０８において、閾値は次のようにして決定される。まず、累積頻度分布が例えば９９％となるα、βの値が、事前に複数の話者について算出される。その結果、図１２および図１３に例示されるように、平均ピッチとα、βの関係がプロットされ、一次の近似直線が算出される。なお、複数の話者各々が非抑圧状態にある場合に、音声データを取得することが望ましい。非抑圧状態の複数の話者の音声データから統計データを作成することで、非抑圧状態で累積頻度分布が９９％となる値を閾値として用いることができる。そして、この事前に算出された一次の近似直線のデータが、図４の統計データ記憶部４０４に記憶される。ステップＳ７０８では、ステップＳ７０４にて算出されたピッチ周波数の平均値を入力として、図４の統計データ記憶部４０４に記憶されている一次の近似直線データが参照され、その平均値に対応する閾値が決定される。このようにして、話者に依存しない閾値を決定することが可能となる。なお、上述の累積頻度分布の９９％という値はそれに限定されるものではなく、外れ値の累積頻度の差が最も表れる累積頻度分布の値を網羅的に調べ、その累積頻度分布の値となるα、βの値を用いるようにしてもよい。
【００３９】
続いて、図４の外れ値出現頻度算出部４０５において、図７のステップＳ７０９の処理が実行される。
ここではまず、ピッチ周波数とパワーのそれぞれについて、現在処理中のフレームについてステップＳ７０２にて抽出された分析値が、ステップＳ７０８にて算出されているそれぞれの閾値と比較される。具体的には、ステップ７０２にて抽出された現在処理中のフレームのピッチ周波数ｐｉｔｃｈが、前述の（３）式を満たす場合に、現在処理中のフレームのピッチ周波数は外れ値であると判定される。すなわち図６（a）において、αのところで累積頻度分布が抑圧を受けているときに通常時より高くなっているので外れ値を越えたフレーム数は少なくなる。同様に、ステップＳ７０２にて抽出された現在処理中のフレームのパワーｐｏｗｅｒが、前述の（４）式を満たす場合に、現在処理中のフレームのパワーは外れ値であると判定される。すなわち図６（b）において、βのところで累積頻度分布が抑圧を受けているときの方が通常時より低いので外れ値を越えたフレーム数は多くなる。
【００４０】
次に、ピッチ周波数とパワーのそれぞれについて、現在のフレームの直前までの外れ値のカウント数と現在のフレームが外れ値であるか否かの判定結果とが加算されることにより、現在のフレームまでの外れ値の数が算出される。ピッチ周波数に関する現在のフレームまでの外れ値の数をＮpitch 、パワーに関する現在のフレームまでの外れ値の数をＮpower とする。そして、（１）式、（２）式に示されるようにピッチ周波数をパワーの出現頻度Ppitch Ppowerが得られる。
【００４１】
そして、次に、図５のスコア統合部５０１において、図７のステップＳ７１０の処理が実行される。ここでは、ピッチ周波数とパワーのそれぞれの出現頻度Ppitch 、Ｐpower が統合されてスコア化される。
【００４２】
図１４は、ステップＳ７１０のさらに詳細な制御処理を示すフローチャートである。
まず、ステップＳ１４０１において、パワーの修正累積分布が算出される。図１０および図１１の説明において前述したように、図７のステップＳ７０９にて算出されたパワーの外れ値の出現頻度Ｐpower は、その値が大きいほど、発話者が抑圧を受けている状態であると判定することができる。そこで、これを次式によってスコア化する。すなわち、ある定数（ＳＣＯＲＥ＿ＮＯＲＭ）からパワーの外れ値の出現頻度Ｐpower を減算した結果を、パワーの修正累積分布Ｐｄｆpower とする。
Ｐｄｆpower ＝ＳＣＯＲＥ＿ＮＯＲＭ−Ｐpower ・・・（５）
このパワーの修正累積分布Ｐｄｆpower は、抑圧を受けている状態ほどパワーの外れ値の出現頻度Ｐpower が大きくなって、値が小さくなる。ＳＣＯＲＥ＿ＮＯＲＭとしては、例えば０．０３を用いる。ただし、Ｐｄｆpower の値は０以下にはならないようにする。
【００４３】
次に、図１４のステップＳ１４０２において、ピッチ周波数の修正累積分布が算出される。図８および図９の説明において前述したように、図７のステップＳ７０９にて算出されたピッチ周波数の外れ値の出現頻度Ｐpitch は、その値が小さいほど、発話者が抑圧を受けている状態であると判定することができる。そこで、これを次式によってスコア化する。すなわち、ピッチ周波数の外れ値の出現頻度Ｐpitch に、（５）式のパワーの修正累積分布Ｐｄｆpower にオーダーが整合するように調整するための定数（ＰＩＴＣＨ＿ＮＯＲＭ）を乗算した結果を、ピッチ周波数の修正累積分布Ｐｄｆpitch とする。
Ｐｄｆpitch ＝ＰＩＴＣＨ＿ＮＯＲＭ・Ｐpitch ・・・（６）
このピッチ周波数の修正累積分布Ｐｄｆpitch は、抑圧を受けている状態ほどピッチ周波数の外れ値の出現頻度Ｐpitch が小さくなって、値が小さくなる。ＰＩＴＣＨ＿ＮＯＲＭとしては、ピッチ周波数とパワーの外れ値の出現頻度のオーダーが同じくらいであれば１．０を用いる。
【００４４】
そして、図１４のステップＳ１４０３において、（５）（６）式で算出されたピッチ周波数とパワーの修正累積分布Ｐｄｆpower とＰｄｆpitch について、次式のように２乗和の平方根が計算され、スコア化された結果ＳＣＯＲＥを得る。
ＳＣＯＲＥ＝（Ｐｄｆpitch 2 ＋Ｐｄｆpower 2 ）1/2 ・・・（７）
【００４５】
以上のようにしてスコアが求まったら、最後に、図５の総合判定部５０２において、図７のステップＳ７１１の処理が実行される。ここでは、ステップＳ７１０で算出されたスコアＳＣＯＲＥが、予め決められた閾値以下であるか否かが判定される。なお、ステップＳ７１１で用いる閾値は、実験的に設定された値を用いる。
【００４６】
スコアＳＣＯＲＥが予め決められた閾値以下でステップＳ７１１の判定がＹＥＳなら、図７のステップＳ７１２で、抑圧を受けている状態であると判定される。
スコアＳＣＯＲＥが予め決められた閾値以下ではなくステップＳ７１１の判定がＮＯなら、図７のステップＳ７１３で、抑圧を受けておらず通常時であると判定される。
【００４７】
次に、図７のステップＳ７０８でピッチ周波数とパワーの平均値からそれぞれの外れ値判定の閾値を決定するための一次の近似直線データの算出方法について説明する。前述したように、この一次の近似直線データは、統計処理によって事前に算出され、図１の演算部１０３内の図４に示される統計データ記憶部４０４に記憶される。
【００４８】
図１５は、この一次の近似直線データの算出処理を実行するシステムのブロック図である。
まず、音声データベース１５０１に蓄積された複数の話者の各音声データに対して、図３の３０１，３０２と同様の音声分析部１５０２および母音区間判定部１５０３の処理が実行されることにより、各フレームごとにピッチ周波数が算出される。さらに、平均値算出部１５０４によって、話者ごとにピッチ周波数の平均値とパワーの平均値がそれぞれ算出される。
【００４９】
次に、累積頻度が９９％となるα決定部１５０５によって、図８、図９として示したようなピッチ周波数に関する累積頻度分布が９９％となるαの値が、各話者ごとに算出される。
【００５０】
近似式算出部１５０６は、各話者ごとに、平均値算出部１５０４で算出された平均ピッチ周波数と、累積頻度が９９％となるα決定部１５０５で算出されたαの値の組を複数組入力し、それらに対して最小二乗法による直線回帰分析処理を実行する。この結果、例えば図１２のグラフのようにプロットされた平均ピッチ周波数とαの組から、それらを近似する一次の近似直線データが算出される。この一次の近似直線は、
α＝Ｓpitch ・ｐｉｔｃｈ＿ｍｅａｎ＋Ｉpitch ・・・（８）
として表される。図４の統計データ記憶部４０４には、（８）式のように近似された直線に対応する傾きＳpitch と切片Ｉpitch の各データが記憶される。そして、図４の閾値決定部４０３（図７のステップＳ７０８）は、平均値算出部４０１（図７のステップＳ７０４）にて算出されたピッチ周波数の平均値をｐｉｔｃｈ＿ｍｅａｎとして、統計データ記憶部４０４から読み出した傾きＳpitch と切片Ｉpitch の各データを用いて（８）式を計算し、αを決定する。
【００５１】
一方、累積頻度が９９％となるβ決定部１５０７によって、図１０、図１１として示したようなパワーに関する累積頻度分布が９９％となるβの値が、各話者ごとに算出される。
【００５２】
近似式算出部１５０８は、各話者ごとに、平均値算出部１５０４で算出された平均ピッチ周波数と、累積頻度が９９％となるβ決定部１５０７で算出されたβの値の組を複数組入力し、それらに対して最小二乗法による直線回帰分析処理を実行する。この結果、例えば図１３のグラフのようにプロットされた平均ピッチ周波数とβの組から、それらを近似する一次の近似直線データが算出される。この一次の近似直線は、
β＝Ｓpower ・ｐｉｔｃｈ＿ｍｅａｎ＋Ｉpower ・・・（９）
として表される。図４の統計データ記憶部４０４には、（９）式のように近似された直線に対応する傾きＳpower と切片Ｉpower の各データが記憶される。そして、図４の閾値決定部４０３（図７のステップＳ７０８）は、平均値算出部４０１（図７のステップＳ７０４）にて算出されたピッチ周波数の平均値をｐｉｔｃｈ＿ｍｅａｎとして、統計データ記憶部４０４から読み出した傾きＳpower と切片Ｉpower の各データを用いて記（９）式を計算し、βを決定する。
【００５３】
以上説明した実施形態では、（３）（４）式として示したように、平均ピッチに対する倍率に相対する係数パラメータを使用したが、統計量として標準偏差も使用してもよい。
例えば、ピッチ周波数の標準偏差をｐｉｔｃｈ＿ｓｔｄとして（３）式を修正すると、次式のようになる。
α・（ｐｉｔｃｈ＿ｍｅａｎ＋γ・ｐｉｔｃｈ＿ｓｔｄ）＜ｐｉｔｃｈ・・・（１０）
γは平均値から何σ離れた場所を基準とするかを決めるパラメータである。
【００５４】
同様に、パワーの標準偏差をｐｏｗｅｒ＿ｓｔｄとして（４）式を修正すると、次式のようになる。
β＋ｌｏｇ10（ｐｏｗｅｒ＿ｍｅａｎ＋λ・ｐｏｗｅｒ＿ｓｔｄ）
＜ｌｏｇ10（ｐｏｗｅｒ） ・・・（１１）
α、β、γおよびλは多数データで調整して決める。
【００５５】
ピッチ周波数の場合、γ＝０．０（平均値ピッチのみ）の場合、α＝１．０となる値がが平均ピッチのときになる。これに対して、標準偏差を用いることにより、α＝１．０となるピッチ周波数の値が、平均値からγ・ｐｉｔｃｈ＿ｓｔｄ離れた値にすることができ、より自由度の高い外れ値の閾値を設定することが可能となる。
【００５６】
パワーの場合も、λ＝０．０（平均パワーのみ）の場合、β＝０．０となるパワーの値が平均パワーのときになる。これに対して、標準偏差を用いることにより、β＝０．０となるパワーの値が、平均値からλ・ｐｏｗｅｒ＿ｓｔｄ離れた値にすることができ、より自由度の高い外れ値の閾値を設定することが可能となる。
【００５７】
上述した本実施形態によれば、音声のピッチ周波数やパワーの平均値の係数倍に相当する閾値以上の外れ値に基づいて、話者の抑圧状態を検出する。閾値はそれらの各平均値に依存した直線回帰で制御し、適応的に話者の依存性をなくす。
【００５８】
図１６は、図７、図１４のフローチャートの制御処理をソフトウェア処理として実現できるコンピュータのハードウェア構成の一例を示す図である。
図１６に示されるコンピュータは、ＣＰＵ１６０１、メモリ１６０２、入力装置１６０３、出力装置１６０４、外部記憶装置１６０５、可搬記録媒体１６０９が挿入される可搬記録媒体駆動装置１６０６、及び通信インターフェース１６０７を有し、これらがバス１６０８によって相互に接続された構成を有する。同図に示される構成は上記システムを実現できるコンピュータの一例であり、そのようなコンピュータはこの構成に限定されるものではない。
【００５９】
ＣＰＵ１６０１は、当該コンピュータ全体の制御を行う。メモリ１６０２は、プログラムの実行、データ更新等の際に、外部記憶装置１６０５（或いは可搬記録媒体１６０９）に記憶されているプログラム又はデータを一時的に格納するＲＡＭ等のメモリである。ＣＵＰ１６０１は、プログラムをメモリ１６０２に読み出して実行することにより、全体の制御を行う。
【００６０】
入力装置１６０３は、ユーザによるキーボードやマウス等による入力操作を検出し、その検出結果をＣＰＵ１６０１に通知する。出力装置１６０４は、ＣＰＵ１６０１の制御によって送られてくるデータを表示装置や印刷装置に出力する。
【００６１】
外部記憶装置１６０５は、例えばハードディスク記憶装置である。図７、図１４のフローチャートの処理を実行するための各種データやプログラムの保存に用いられる。
可搬記録媒体駆動装置１６０６は、光ディスクやＳＤＲＡＭ、コンパクトフラッシュ（登録商標）等の可搬記録媒体１６０９を収容するもので、外部記憶装置１６０５の補助の役割を有する。
【００６２】
通信インターフェース１６０７は、例えばＬＡＮ（ローカルエリアネットワーク）、ＷＡＮ（ワイドエリアネットワーク）または公衆無線通信網の通信回線を接続するための装置である。
【００６３】
本実施形態によるシステムは、図７、図１４のフローチャートで実現される機能を搭載したプログラムをＣＰＵ１６０１が実行することで実現される。そのプログラムは、例えば外部記憶装置１６０５や可搬記録媒体１６０９に記録して配布してもよく、或いはネットワーク接続装置１６０７によりネットワークから取得できるようにしてもよい。
【００６４】
以上説明した実施形態によれば、従来技術のように音声認識を利用する必要がないので、高騒音下においても発話者の抑圧された状態を検出可能である。また音声認識を使わないので、少ないリソースで動作可能であるという点と、音声認識誤りの影響を受けずどのような発声内容の音声でも検出可能という効果がある。
【００６５】
また、入力ごとのピッチ周波数やパワーの平均値を用いた閾値設定により、声が高い人・低い人や声の大きい人・小さい人といった個人差を減らし、固定の閾値で判定できるため、ユーザの声や性別等の登録が不要にできる効果がある。また、さらに、パワーの外れ値は大きなパワーを持つことから、ＳＮＲが高いので、雑音環境下であっても発話者の抑圧を受けている状態を検出できるという効果がある。
【００６６】
また、実施形態では、音声の解析結果としてピッチ周波数とパワーを用いる。発話者が外部から抑圧を受けた場合、その生理的反応として筋肉の緊張や弛緩が起こることが知られている。ピッチ周波数とパワーは筋肉で形成されている声帯や横隔膜における生理的反応の影響が出やすい。図８〜図１１で説明したように、抑圧を受けていると声の高さの抑揚がなくなるため、高いピッチ周波数の値が出にくくなり、外れ値の出現頻度が通常時よりも低下する。すなわち、平均値から離れると通常時よりも早く１００％に近づく。また、発話者が抑圧を受けていると、安定したパワーの音声を発声することが難しくなり、パワーが揺らぎ、その結果、パワー値の外れ値の出現頻度が増加する。すなわち、平均値から離れると通常時の方が早く１００％に近づく。この２つの変化を検出することで、発話者が抑圧を受けている状態を検出することが可能となる。
【００６７】
また、多数の学習用発話者の通常時と抑圧を受けている時のピッチ周波数やパワーの分布の情報を用いて、外れ値の累積頻度がある決まったパーセンテージとなるときの値と平均ピッチ周波数との関係を一次の近似直線で近似する。そして、この一次の近似直線のデータと分析時のピッチ周波数の平均値とでピッチ周波数やパワーの外れ値の閾値を決定することにより、さらに個人差による係数パラメータのばらつきをなくし、個人差を減らした閾値を用いた判定が可能となる。
【００６８】
本実施形態のシステムは、発声内容にほとんど関係しないピッチ周波数とパワーを分析しているので、音声認識が不要であり、携帯電話に搭載することが容易に可能となる。また、携帯電話の通話用マイクを用いて音声を取得することが可能となる。これにより、例えば携帯電話での通話内容を自動録音し、通話終了後に録音音声から通話者の緊張状態を自動検出して親族にメール通知等することが可能になる。このような機能は、振り込め詐欺などの犯罪の未然防止などに役立つ。
【００６９】
或いは、例えば自動車内におけるカーナビゲーションの操作において、音声を通じて運転者のいらいら状態を検出することができれば、状況に応じたカーナビゲーション等が可能になる。さらには、本実施形態のシステムは、対話型ロボットやコールセンタで使用されるコンピュータに搭載される。対話型ロボットは、ユーザの抑圧状態を検出して、状態に応じた対話を行う。また、コールセンタで使用されるコンピュータは、オペレータの抑圧状態を検出した場合に、顧客との会話の録音を開始したり、状況に応じたマニュアルの出力を行う。
【００７０】
以上説明した実施形態においては、音声の解析結果として、ピッチ周波数とパワーの両方を用いたが、高騒音下の環境などにおいてピッチ周波数の抽出精度が悪いような場合には、パワーのみを使って抑圧された状態を検出するようにすることも可能である。
【００７１】
或いは、例えば（６）式の定数（ＰＩＴＣＨ＿ＮＯＲＭ）を調整することにより、パワーとピッチ周波数の状態検出への寄与割合を変更するようにしてもよい。
【符号の説明】
【００７２】
１０１ 入力部
１０２ 解析部
１０３ 演算部
１０４ 判定部
１０５ 出力部
３０１、１５０２ 音声分析部
３０２、１５０３ 母音区間判定部
４０１ 平均値算出部
４０２ 格納部
４０３ 閾値決定部
４０４ 統計データ記憶部
４０５ 外れ値出現頻度算出部
５０１ スコア統合部
５０２ 総合判定部
１５０１ 音声データベース
１５０４ 平均値算出部
１５０５ 累積頻度が９９％となるα決定部
１５０６、１５０８ 近似式算出部
１５０７ 累積頻度が９９％となるβ決定部
【特許請求の範囲】
【請求項１】
入力された音声を受付ける入力部と、
前記音声を、複数のフレームごとに解析する解析部と、
前記複数のフレームごとの解析結果に基づいて解析結果の平均値を算出すると共に、予め記憶された複数話者ごとの解析結果の平均値および解析結果の累積頻度分布に関する統計データと、算出した前記平均値とに基づいて閾値を決定し、複数の解析結果のうち前記閾値よりも大きな値を有する解析結果の出現頻度を演算する演算部と、
前記出現頻度に基づいて、前記音声を発する声帯の緊張状態を判定する判定部と、
前記判定の結果を出力する出力部と
を有することを特徴とする音声による抑圧状態検出装置。
【請求項２】
前記統計データは、前記複数の話者の各々についての解析結果の平均値と、該解析結果の累積頻度分布が所定のパーセンテージとなる時の前記平均値に対する倍率とを対応付けた情報であって、
前記演算部は、前記統計データおよび算出した平均値に基づいて、算出した平均値に対応する倍率を取得し、取得した倍率に基づいて前記閾値を決定することを特徴とする請求項１に記載の抑圧状態検出装置。
【請求項３】
前記解析部は、前記複数のフレームごとに、ピッチ周波数またはパワーの少なくとも一方を、解析結果として算出し、
前記判定部は、前記ピッチ周波数については、前記出現頻度が少ないほど緊張状態と判定するとともに、前記パワーについては、前記出現頻度が多いほど緊張状態と判定する、
ことを特徴とする請求項１または２に記載の音声による抑圧状態検出装置。
【請求項４】
前記解析部は、前記複数のフレームのおのおのについて、母音フレームであるかを判定すると共に、母音フレームである場合に、解析を行うことを特徴とする請求項１または請求項３に記載の抑圧状態検出装置。
【請求項５】
前記出現頻度が所定のパーセンテージとなる時の前記ピッチ周波数と前記ピッチ周波数の平均値との比に対応する値に関係する前記閾値とピッチ周波数との対応関係を複数の話者について事前に取得し、前記複数の話者についての対応関係に対する直線回帰分析により、前記ピッチ周波数に対応する前記一次近似直線のデータを算出して前記統計データとして事前に記憶し、前記ピッチ周波数の平均値と前記一次の近似直線のデータとから前記閾値を決定することを特徴とする請求項３に記載の音声による抑圧状態検出装置。
【請求項６】
前記ピッチ周波数または前記パワーの平均値に加えさらに標準偏差を入力とする、前記ピッチ周波数または前記パワーの分布における外れ値を決める閾値を決定する、
ことを特徴とする請求項３乃至５のいずれか一項に記載の音声による抑圧状態検出装置。
【請求項７】
前記入力部は携帯電話の通話音声を入力し、
前記出力部が前記緊張状態を出力したときに、前記緊張状態の発生を、前記携帯電話から所定の宛先に通知する、
ことを特徴とする請求項１に記載の音声による抑圧状態検出装置。
【請求項８】
コンピュータに、
入力された音声を受付ける機能と、
前記音声を、複数のフレームごとに解析する機能と、
前記複数のフレームごとの解析結果に基づいて解析結果の平均値を算出すると共に、予め記憶された複数話者ごとの解析結果の平均値および解析結果の累積頻度分布に関する統計データと、算出した前記平均値とに基づいて閾値を決定し、複数の解析結果のうち前記閾値よりも大きな値を有する解析結果の出現頻度を演算する機能と、
前記出現頻度に基づいて、前記音声を発する声帯の緊張状態を判定する機能と、
前記判定の結果を出力する機能と、
を実行させるためのプログラム。
【請求項９】
前記統計データは、前記複数の話者の各々についての解析結果の平均値と、該解析結果の累積頻度分布が所定のパーセンテージとなる時の前記平均値に対する倍率とを対応付けた情報であって、
前記複数の解析結果のうち前記閾値よりも大きな値を有する解析結果の出現頻度の演算において、前記統計データおよび算出した平均値に基づいて、算出した平均値に対応する倍率を取得し、取得した倍率に基づいて前記閾値を決定することを特徴とする請求項８に記載のプログラム。
【請求項１０】
前記音声を解析する機能において、前記複数のフレームごとに、ピッチ周波数またはパワーの少なくとも一方を、解析結果として算出し、
前記声帯の緊張状態を判定する機能において、前記ピッチ周波数については、前記出現頻度が少ないほど緊張状態と判定するとともに、前記パワーについては、前記出現頻度が多いほど緊張状態と判定することを特徴とする請求項８または９に記載のプログラム。
【請求項１】
入力された音声を受付ける入力部と、
前記音声を、複数のフレームごとに解析する解析部と、
前記複数のフレームごとの解析結果に基づいて解析結果の平均値を算出すると共に、予め記憶された複数話者ごとの解析結果の平均値および解析結果の累積頻度分布に関する統計データと、算出した前記平均値とに基づいて閾値を決定し、複数の解析結果のうち前記閾値よりも大きな値を有する解析結果の出現頻度を演算する演算部と、
前記出現頻度に基づいて、前記音声を発する声帯の緊張状態を判定する判定部と、
前記判定の結果を出力する出力部と
を有することを特徴とする音声による抑圧状態検出装置。
【請求項２】
前記統計データは、前記複数の話者の各々についての解析結果の平均値と、該解析結果の累積頻度分布が所定のパーセンテージとなる時の前記平均値に対する倍率とを対応付けた情報であって、
前記演算部は、前記統計データおよび算出した平均値に基づいて、算出した平均値に対応する倍率を取得し、取得した倍率に基づいて前記閾値を決定することを特徴とする請求項１に記載の抑圧状態検出装置。
【請求項３】
前記解析部は、前記複数のフレームごとに、ピッチ周波数またはパワーの少なくとも一方を、解析結果として算出し、
前記判定部は、前記ピッチ周波数については、前記出現頻度が少ないほど緊張状態と判定するとともに、前記パワーについては、前記出現頻度が多いほど緊張状態と判定する、
ことを特徴とする請求項１または２に記載の音声による抑圧状態検出装置。
【請求項４】
前記解析部は、前記複数のフレームのおのおのについて、母音フレームであるかを判定すると共に、母音フレームである場合に、解析を行うことを特徴とする請求項１または請求項３に記載の抑圧状態検出装置。
【請求項５】
前記出現頻度が所定のパーセンテージとなる時の前記ピッチ周波数と前記ピッチ周波数の平均値との比に対応する値に関係する前記閾値とピッチ周波数との対応関係を複数の話者について事前に取得し、前記複数の話者についての対応関係に対する直線回帰分析により、前記ピッチ周波数に対応する前記一次近似直線のデータを算出して前記統計データとして事前に記憶し、前記ピッチ周波数の平均値と前記一次の近似直線のデータとから前記閾値を決定することを特徴とする請求項３に記載の音声による抑圧状態検出装置。
【請求項６】
前記ピッチ周波数または前記パワーの平均値に加えさらに標準偏差を入力とする、前記ピッチ周波数または前記パワーの分布における外れ値を決める閾値を決定する、
ことを特徴とする請求項３乃至５のいずれか一項に記載の音声による抑圧状態検出装置。
【請求項７】
前記入力部は携帯電話の通話音声を入力し、
前記出力部が前記緊張状態を出力したときに、前記緊張状態の発生を、前記携帯電話から所定の宛先に通知する、
ことを特徴とする請求項１に記載の音声による抑圧状態検出装置。
【請求項８】
コンピュータに、
入力された音声を受付ける機能と、
前記音声を、複数のフレームごとに解析する機能と、
前記複数のフレームごとの解析結果に基づいて解析結果の平均値を算出すると共に、予め記憶された複数話者ごとの解析結果の平均値および解析結果の累積頻度分布に関する統計データと、算出した前記平均値とに基づいて閾値を決定し、複数の解析結果のうち前記閾値よりも大きな値を有する解析結果の出現頻度を演算する機能と、
前記出現頻度に基づいて、前記音声を発する声帯の緊張状態を判定する機能と、
前記判定の結果を出力する機能と、
を実行させるためのプログラム。
【請求項９】
前記統計データは、前記複数の話者の各々についての解析結果の平均値と、該解析結果の累積頻度分布が所定のパーセンテージとなる時の前記平均値に対する倍率とを対応付けた情報であって、
前記複数の解析結果のうち前記閾値よりも大きな値を有する解析結果の出現頻度の演算において、前記統計データおよび算出した平均値に基づいて、算出した平均値に対応する倍率を取得し、取得した倍率に基づいて前記閾値を決定することを特徴とする請求項８に記載のプログラム。
【請求項１０】
前記音声を解析する機能において、前記複数のフレームごとに、ピッチ周波数またはパワーの少なくとも一方を、解析結果として算出し、
前記声帯の緊張状態を判定する機能において、前記ピッチ周波数については、前記出現頻度が少ないほど緊張状態と判定するとともに、前記パワーについては、前記出現頻度が多いほど緊張状態と判定することを特徴とする請求項８または９に記載のプログラム。
【図１】
【図３】
【図４】
【図５】
【図６】
【図７】
【図２】
【図８】
【図９】
【図１０】
【図１１】
【図１２】
【図１３】
【図１４】
【図１５】
【図１６】
【図３】
【図４】
【図５】
【図６】
【図７】
【図２】
【図８】
【図９】
【図１０】
【図１１】
【図１２】
【図１３】
【図１４】
【図１５】
【図１６】
【公開番号】特開２０１２−１６８２９６（Ｐ２０１２−１６８２９６Ａ）
【公開日】平成２４年９月６日（２０１２．９．６）
【国際特許分類】
【出願番号】特願２０１１−２７９１７（Ｐ２０１１−２７９１７）
【出願日】平成２３年２月１０日（２０１１．２．１０）
【国等の委託研究の成果に係る記載事項】（出願人による申告）平成２１年度、独立行政法人科学技術振興機構、「行動モデルに基づく過信の抑止」のうち、「過信行動検出・抑止の実証実験」委託研究、産業技術力強化法第１９条の適用を受ける特許出願
【出願人】（０００００５２２３）富士通株式会社 (25,993)
【公開日】平成２４年９月６日（２０１２．９．６）
【国際特許分類】
【出願日】平成２３年２月１０日（２０１１．２．１０）
【国等の委託研究の成果に係る記載事項】（出願人による申告）平成２１年度、独立行政法人科学技術振興機構、「行動モデルに基づく過信の抑止」のうち、「過信行動検出・抑止の実証実験」委託研究、産業技術力強化法第１９条の適用を受ける特許出願
【出願人】（０００００５２２３）富士通株式会社 (25,993)
[ Back to top ]