音声処理装置
【課題】聞く人に応じて音量をより適切な大きさに自動的に調節することができる音声処理装置を提供する。
【解決手段】処理すべき音声データの有音区間と無音区間とを判定する音声判定部３０Ａと、この音声判定部３０Ａで判定された有音区間について、各有音区間の平均フレームエネルギーを計算する平均フレームエネルギー計算部３０Ｂと、この平均フレームエネルギー計算部３０Ｂで計算された各有音区間の平均フレームエネルギーに基づいて、各有音区間の音声レベルを調整するための音声レベル調整ゲインを計算する音声レベル調整ゲイン計算部３０Ｃと、この音声レベル調整ゲイン計算部３０Ｃにより求めた音声レベル調整ゲインを音声データの所定の位置に書き込む音声レベル調整ゲイン書き込み部３０Ｄとを具備する。
【解決手段】処理すべき音声データの有音区間と無音区間とを判定する音声判定部３０Ａと、この音声判定部３０Ａで判定された有音区間について、各有音区間の平均フレームエネルギーを計算する平均フレームエネルギー計算部３０Ｂと、この平均フレームエネルギー計算部３０Ｂで計算された各有音区間の平均フレームエネルギーに基づいて、各有音区間の音声レベルを調整するための音声レベル調整ゲインを計算する音声レベル調整ゲイン計算部３０Ｃと、この音声レベル調整ゲイン計算部３０Ｃにより求めた音声レベル調整ゲインを音声データの所定の位置に書き込む音声レベル調整ゲイン書き込み部３０Ｄとを具備する。
【発明の詳細な説明】
【０００１】
【発明の属する技術分野】本発明は音声処理装置に関する。
【０００２】
【従来の技術】音声録音再生装置等の音声処理装置には、通常、ボリューム手段が設けられており、使用者はそのボリューム手段を操作することにより所望の音量で聞くことができる。
【０００３】しかし、音声はダイナミックレンジが広く、同じボリュームレベルであっても音量が小さい場合も大きい場合もあり、そのような音量の変動が原因で聞きづらい場合には、使用者がそのつどボリュームを調整する必要があった。特に、対談の録音のように、録音装置と発言者との距離が発言者によって異なる場合にあっては、録音装置から近い位置にいる発言者の音声だけが大きく聞こえて、録音装置から遠い位置にいる発言者の声は小さくて聞き取りにくい場合がある。
【０００４】特開平９−２３２８９２号公報はこのような問題を克服すべく、入力された直前の音声のレベルに基づいて音量を調節する音量制御装置を開示している。
【０００５】
【発明が解決しようとする課題】ところで音量は重要な情報量のひとつであり、頻繁にその音量が変更されると自然さが失われ、かえって音質を低下させることになりかねない。音量の調節は、自然さを保ったまま行われることが望ましく、このためには、処理すべき音声の全体との関係において音量を調整することが必要である。
【０００６】しかしながら、上記した特開平９−２３２８９２号公報では、直前の音声のレベルのみに基づいて音量を調節するので、音量が一定に保持されるという効果は有するが、かえって音質を低下させてしまう場合があった。
【０００７】本発明はこのような課題に着目してなされたものであり、その目的とするところは、聞く人に応じて音量をより適切な大きさに自動的に調節することができる音声処理装置を提供することにある。
【０００８】
【課題を解決するための手段】上記の目的を達成するために、第１の発明に係る音声処理装置は、処理すべき音声データの有音区間と無音区間とを判定する音声判定手段と、この音声判定手段で判定された有音区間について、各有音区間の平均フレームエネルギーを計算する平均フレームエネルギー計算手段と、この平均フレームエネルギー計算手段により計算された各有音区間の平均フレームエネルギーに基づいて、各有音区間の音声レベルを調整するための音声レベル調整ゲインを計算する音声レベル調整ゲイン計算手段と、この音声レベル調整ゲイン計算手段により求めた音声レベル調整ゲインを上記音声データの所定の位置に書き込む音声レベル調整ゲイン書き込み手段とを具備する。
【０００９】また、第２の発明に係る音声処理装置は、第１の発明に係る音声処理装置において、上記音声レベル調整ゲイン計算手段が、上記各有音区間の平均フレームエネルギーの、全有音区間での平均値に基づいて前記音声レベル調整ゲインを計算する。
【００１０】また、第３の発明に係る音声処理装置は、第１または第２の発明に係る音声処理装置において、前記音声データを再生するにあたって、各フレームに対応する上記音声レベル調整ゲインを当該音声データに乗じるか否かをユーザに選択させるための選択部を有する。
【００１１】
【発明の実施の形態】以下、図面を参照して本発明の実施形態を詳細に説明する。
【００１２】図１（Ａ）は本実施形態に係る音声処理の一形態を説明するための図である。図１（Ａ）において、音声録音装置としてのディジタルレコーダ１０によって録音された音声データは当該ディジタルレコーダ１０に着脱自在に装着されたミニチュアカード１１に記憶される。ミニチュアカード１１はディジタルレコーダ１０から取り外されてＰＣカードアダプタ１２に装着した状態で、パーソナルコンピュータ１３に装填される。パーソナルコンピュータ１３には音声再生、情報表示などの処理を行なう制御プログラム１４がインストールされている。
【００１３】図１（Ｂ）は、パーソナルコンピュータ１３の制御部の構成を示す図であり、本実施形態に係る音声処理を行なうために各種の機能を備えている。すなわち、音声判定部３０Ａは処理すべき音声データ全体についてその有音区間と無音区間とを判定する。平均フレームエネルギー計算部３０Ｂは音声判定部３０Ａで判定された有音区間について、各有音区間の平均フレームエネルギーを計算する。音声レベル調整ゲイン計算部３０Ｃは平均フレームエネルギー計算部３０Ｂにより計算された各有音区間の平均フレームエネルギーに基づいて、各有音区間の音声レベルを調整するための音声レベル調整ゲインを計算する。音声レベル調整ゲイン書き込み部３０Ｄは音声レベル調整ゲイン計算部３０Ｃで計算した音声レベル調整ゲインを音声データの所定の位置に書き込む。選択処理部３０Ｅは音声データの再生時において、音声レベル調整ゲイン書き込み部３０Ｄに書き込まれた音声レベル調整ゲインを乗じるか否かをユーザに選択させ、この選択に応じた処理を行なう部分である。ユーザの選択は例えばパーソナルコンピュータ１３のキーボードから行なうことができる。
【００１４】図２は音声データのデータ構造を示す図である。図２において、音声データは、１のファイルとして構成されており、ファイルヘッダ領域２０−１とフレームデータ領域２０−２とからなる。ファイルヘッダ領域２０−１には例えば、記録された日時や録音時間長等の情報が記録されている。また、フレームデータ領域２０−２は複数のフレーム（フレーム１，２，３，…ｎ）から構成され、各フレームは、フレームヘッダ領域２０−３と音声データ領域２０−４とからなる。フレームヘッダ領域２０−３には音声レベル調整ゲインが上記した音声レベル調整ゲイン書き込み部３０Ｄにより書き込まれる。ここでは初期値として１がセットされるものとし、音声データ領域２０−４には音声データが所定長記録される。
【００１５】ここでパーソナルコンピュータ１３内に取り込まれた音声データは、再生に先だって、本実施形態に係る音声レベルの調整が行われる。以下、フローチャートを参照して説明する。
【００１６】図３は、本実施形態に係る音声レベルの調整処理の概要を示すフローチャートである。本調整処理はここではパーソナルコンピュータ１３の制御部で行われる。
【００１７】図３において、まず処理対象の音声データについて、有音／無音区間判定処理のためのしきい値計算処理を行い（ステップＳ１）、そのしきい値に基づいて有音／無音区間判定処理を行う（ステップＳ２）。続いて、ステップＳ２において判定された各有音区間における平均フレームエネルギーを計算し（ステップＳ３）、求めた各有音区間の平均フレームエネルギーに基づいて、各有音区間における各サンプルの音声レベル調整ゲインを計算する（ステップＳ４）。次に音声レベル調整ゲイン書き込み部３０Ｄによりこの音声レベル調整ゲインを音声データ中の所定の位置に書き込む（ステップＳ５）。ここでは図２に示すフレームヘッダ領域２０−３に書き込まれる。
【００１８】以下、上記ステップＳ１からステップＳ５までの各ステップの処理について、詳細に説明する。
【００１９】図４は、ステップＳ１の有音／無音区間の判定時のしきい値計算処理の内容を示すフローチャートである。この処理が始まると、まず、フレーム番号のカウント値を示す変数ｆを０に初期化しておく（ステップＳ６）。
【００２０】次に、以下の式を用いてフレームｆにおけるフレームエネルギーｅ（ｆ）を計算する（ステップＳ７）。
【００２１】
【数１】
【００２２】なお、数式中、ｓ（ｉ）は１フレーム中のサンプル位置ｉにおけるサンプル、Ｎは１フレームを構成するサンプル数を示している。
【００２３】次に、変数ｆの値が０であるか否か、すなわち、初期のフレームであるか否かを判定し（ステップＳ８）、ｆが０である場合には、最小フレームエネルギーを示す変数ｍｉｎの値をｅ（ｆ）（＝ｅ（０））にセットする（ステップＳ９）。
【００２４】また、上記ステップＳ８においてｆが０でない場合には、フレームエネルギーｅ（ｆ）が変数ｍｉｎより小さいか否かを判定し（ステップＳ１０）、小さい場合には変数ｍｉｎにフレームエネルギーｅ（ｆ）をセットし（ステップＳ９）、一方、小さくない場合にはそのまま何もせずにステップＳ１１に行く。
【００２５】ステップＳ１１ではファイルが終端に達したか否かを判定し、まだ終端ではない場合には、変数ｆをインクリメントして（ステップＳ１２）、次のフレームデータを読み出して上記ステップＳ７に戻って上述した処理を繰返す。
【００２６】また、このステップＳ１１においてファイルの終端に達したと判断された場合は、しきい値ｔｒｓに、上記変数ｍｉｎに所定の値α（例えば１．２）を積算した値をセットして（ステップＳ１３）、この処理を抜ける。
【００２７】このようなしきい値設定の処理方法は、すでに音声データが記録されていることを有効に利用したものであり、ファイル全体の最小エネルギーに基づいてしきい値を決定することができるために、誤りの少ない有音／無音区間判定処理を行なうことが可能であるなお、上述では、読み込んだ全区間（つまり、音声ファイルを構成する全フレーム）の最小値を求めているが、本発明はこれに限定されるものではなく、例えばパーソナルコンピュータのメモリ容量を勘案して、全区間の最小値でなく、ある程度の長さの区間に区切って処理するようにしても良い。
【００２８】続いて、図５は、上記図３のステップＳ２における有音／無音区間判定処理の内容を示すフローチャートである。
【００２９】この処理が始まると、フレーム番号のカウント値を示す変数ｆ、直前のフレームの有音／無音の状態を示す変数Ｐｒｅｖ、音声データ中の有音区間のカウント値を示す変数ＶｓＣｎｔを、各々０に初期化しておき、有音区間から無音区間への遷移を猶予するための制御変数ＨａｎｇＣｎｔを、例えば１０にセットしておく（ステップＳ１４）。
【００３０】次に、上述した図４において計算したフレームエネルギーｅ（ｆ）が、図４において計算したしきい値ｔｒｓより大きいか否かを判定する（ステップＳ１５）。ここでｅ（ｆ）がｔｒｓより大きい場合には、ＨａｎｇＣｎｔの値を０にセットし（ステップＳ１６）、続いて直前のフレームの有音／無音の状態を示す変数Ｐｒｅｖの値が０か否かを判定する（ステップＳ１７）。このＰｒｅｖの値が０であれば、直前のフレームは無音フレームであったことを示し、Ｐｒｅｖの値が１であれば、直前のフレームは有音フレームであったことを示すものである。ここでＰｒｅｖが０であれば、有音区間の開始フレームを示す変数ｖｂ（ＶｓＣｎｔ）に現在のフレームｆの値をセットし、Ｐｒｅｖに１をセットし、有音区間のカウント値を示す変数ＶｓＣｎｔをインクリメントする（ステップＳ１８）。一方、Ｐｒｅｖが０でなければ何もせずにステップＳ１９に行く。
【００３１】そして、ファイルが終端に達したか否かを判定し（ステップＳ１９）、まだ終端でない場合には、変数ｆをインクリメントして（ステップＳ２０）、次のフレームを読み出して上記ステップＳ１５に戻って処理を繰返す。
【００３２】また、ステップＳ１９においてファイルの終端に達したと判断された場合は、この処理を抜ける。
【００３３】また、上記ステップＳ１５において、ｅ（ｆ）がしきい値ｔｒｓより小さいと判定された場合には、ＨａｎｇＣｎｔの値が、例えば９より大きいか否かを判定し（ステップＳ２１）、ＨａｎｇＣｎｔの値が９より小さいと判定されたときは、ＨａｎｇＣｎｔの値をインクリメントして（ステップＳ２２）、上記ステップＳ１７に行く。一方、ＨａｎｇＣｎｔの値が９より大きいと判定されたときは、Ｐｒｅｖの値が１であるか否か、すなわち、直前のフレームが有音であったか否かを判定する（ステップＳ２３）。ここで、Ｐｒｅｖが１であれば、有音区間の終了フレームを示す変数ｖｅ（ＶｓＣｎｔ）に現在のフレームｆの値をセットし、Ｐｒｅｖに０をセットし（ステップＳ２４）、上記ステップＳ１９に行く。一方、Ｐｒｅｖが０であれば、何もしないで上記ステップＳ１９に行く。
【００３４】この処理の結果、ファイル中の有音区間、無音区間の判定がされ、各有音区間が始まるフレームの値と、各有音区間が終了するフレームの値が、各々変数ｖｂ（ＶｓＣｎｔ）、ｖｅ（ＶｓＣｎｔ）に記憶される。ここで、変数ＶｓＣｎｔは、有音区間の区間数をカウントする変数であり、この処理を抜けた時点で、ファイル中の有音区間の総区間数を示している。
【００３５】また、この処理のように変数ＨａｎｇＣｎｔを設定することにより有音区間から無音区間への遷移が所定フレーム分猶予されることになるため、語尾の部分を誤って無音と判定してしまうようなことを回避することができるという効果を奏する。
【００３６】続いて、図６は、上記図３のステップＳ３における有音区間毎の平均フレームエネルギー計算処理の内容を示すフローチャートである。
【００３７】この処理が始まると、まず、有音区間のカウント値を示す変数Ｃｎｔの値を０に初期化しておく（ステップＳ２５）。
【００３８】次に、図５の処理によって求められた有音区間の総区間数ＶｓＣｎｔが０より大きいか否かを判定する（ステップＳ２６）。ここでＶｓＣｎｔが０以下であれば、ファイル中に有音区間は存在しないと判断して、何もしないでこの処理を抜ける。一方、ここでＶｓＣｎｔが０より大きければ、以下の式を用いて有音区間Ｃｎｔにおけるフレーム数ｖｎを計算する（ステップＳ２７）。
【００３９】
【数２】
【００４０】次に、以下の式により有音区間Ｃｎｔにおける平均フレームエネルギーＥｓｅｃ（Ｃｎｔ）を計算する（ステップＳ２８）。
【００４１】
【数３】
【００４２】そして、ＣｎｔがＶｓＣｎｔ−１に満たないか否か、すなわち、全ての有音区間に対して平均フレームエネルギーＥｓｅｃ（Ｃｎｔ）の計算を終えていないか否かを判定し（ステップＳ２９）、ＣｎｔがＶｓＣｎｔ−１に満たないのであれば、Ｃｎｔの値をインクリメントして（ステップＳ３０）、上記ステップＳ２７に戻って次の有音区間の平均フレームエネルギーＥｓｅｃ（Ｃｎｔ）の計算処理を行う。一方、ステップＳ２９においてＣｎｔの値がＶｓＣｎｔ−１以上であると判定されれば、この処理を抜ける。
【００４３】続いて、図７は、上記図３のステップＳ４における有音区間毎のゲイン計算処理の内容を示すフローチャートである。
【００４４】この処理が始まると、まず、有音区間のカウント値を示す変数Ｃｎｔの値を０に初期化しておく（ステップＳ３１）。次に、図５の処理によって求められた有音区間の総区間数ＶｓＣｎｔが０より大きいか否かを判定する（ステップＳ３２）。ここでＶｓＣｎｔが０以下であれば、ファイル中に有音区間は存在しないと判断して、何もしないでこの処理を抜ける。一方、ここでＶｓＣｎｔが０より大きければ、以下の式により、図６R>６のステップＳ２８で求めた、有音区間Ｃｎｔにおける平均フレームエネルギーＥｓｅｃ（Ｃｎｔ）の、ファイル中の全有音区間の平均値Ｅａｖｒを計算する（ステップＳ３３）。
【００４５】
【数４】
【００４６】次に、有音区間ＣｎｔにおけるゲインＧ（Ｃｎｔ）を、以下の式を用いて計算する（ステップＳ３４）。
【００４７】
【数５】
【００４８】ここで、数式中、ｓｑｒｔ（ ）は、カッコ内の式の平方根を示している。そして、ＣｎｔがＶｓＣｎｔ−１に満たないか否か、すなわち、全ての有音区間に対してゲインＧ（Ｃｎｔ）の計算を終えていないか否かを判定し（ステップＳ３５）、ＣｎｔがＶｓＣｎｔ−１に満たないのであれば、Ｃｎｔの値をインクリメントして（ステップＳ３６）、上記ステップＳ３４に戻って次の有音区間のゲインＧ（Ｃｎｔ）の計算処理を行う。一方、ステップＳ３５においてＣｎｔの値がＶｓＣｎｔ−１以上であると判定されれば、この処理を抜ける。
【００４９】続いて、図８は、上記図３のステップＳ５におけるゲインを音声データ中の所定の位置に書き込む処理の内容を示すフローチャートである。
【００５０】図８において、この処理が始まると、まず、フレーム番号のカウント値を示す変数ｆと、有音区間のカウント値を示す変数Ｃｎｔの値を０に初期化しておく（ステップＳ３７）。
【００５１】次に、図５の処理で求められた有音区間の総区間数ＶｓＣｎｔが０より大きいか否かを判定する（ステップＳ３８）。ここでＶｓＣｎｔが０以下であれば、ファイル中に有音区間は存在しないと判断して、何もしないでこの処理を抜ける。
【００５２】一方、上記ステップＳ３８において、ＶｓＣｎｔが０より大きければ、ｆがｖｂ（Ｃｎｔ）の値以上であるか否かを判定する（ステップＳ３９）。ここで、ｆがｖｂ（Ｃｎｔ）の値に満たないと判定すると、ファイルが終端に達したか否かを判定し（ステップＳ４４）、まだ終端でない場合にはｆをインクリメントして（ステップＳ４５）、次のフレームデータを読み出して、ステップＳ３９に戻る。このステップＳ４４においてファイルの終端に達したと判断した場合は、この処理を抜ける。
【００５３】ステップＳ３９においてｆがｖｂ（Ｃｎｔ）の値以上であると判定すると、ｆはｖｅ（Ｃｎｔ）の値以下であるか否かを判定する（ステップＳ４０）。このとき、ステップＳ３９，Ｓ４０ともに判定がｙｅｓであれば、現在のｆは有音区間内にあることを示している。
【００５４】ここで、ｆはｖｅ（Ｃｎｔ）の値以下であると判定すると、フレームヘッダにＧ（Ｃｎｔ）の値を書き換える（ステップＳ４１）。一方、ステップＳ４０においてｆはｖｅ（Ｃｎｔ）より大きいと判断すると、Ｃｎｔをインクリメントする（ステップＳ４２）。
【００５５】次に、ＣｎｔがＶｓＣｎｔ−１に満たないか否か、すなわち、全ての有音区間におけるフレームヘッダの書き換えを終えていないか否かを判定し（ステップＳ４３）、ＣｎｔがＶｓＣｎｔ−１に満たなければ、ファイル終端に達したか否かを判定する（ステップＳ４４）。一方、ＣｎｔがＶｓＣｎｔ−１以上であれば、この処理を抜ける。
【００５６】以上説明した手段によって、各フレームにおけるゲイン値を設定することができる。この後、音声データの再生時、各フレームの音声に当該フレームヘッダのゲイン値を乗じることがユーザにより選択された場合には、音声レベルを自動的に調整した音声データが再生される。また、各フレームの音声に当該フレームヘッダのゲイン値を乗じないことが選択された場合には、音声レベルを調整しない状態の元の音声データが再生される。このようにして、本実施形態では音声レベルを自動的に調整した音声データを再生するか、元の音声データを再生するかをユーザが選択することができる。
【００５７】上記した実施形態によれば、すでに記録されている音声データに対して、音声データ全体との関係において、各有音区間の音声レベルを自動的に調整するようにしたので、ユーザはボリュームを調整することなく、音声を一定の音量で聞くことができるという効果を奏する。
【００５８】また、すでに記録されている音声データに対して音声認識をさせる場合にも、音声認識処理に先立って、本実施形態による音声レベルの調整処理を行えば、音声レベルが一定に保たれるために安定した音声認識を行うことが可能となるという効果を奏する。
【００５９】さらに、本実施形態においては、パーソナルコンピュータ１３により音声レベルの調整処理を行なうようにしたが、音声録音装置としてのディジタルレコーダ１０内において、音声レベルの調整処理を実現するようにしてもよい。
【００６０】なお、本発明は上述した実施形態に限定されるものではなく、発明の主旨を逸脱しない範囲内において種々の変形や応用が可能であることはもちろんである。
【００６１】
【発明の効果】請求項１あるいは２に記載の発明によれば、聞く人に応じて音量をより適切な大きさに自動的に調節することができる音声処理装置を提供することができるという効果を奏する。
【００６２】また、請求項３に記載の発明によれば、音声レベルを自動的に調整した音声データを再生するか、元の音声データを再生するかをユーザが選択することができるという効果を奏する。
【図面の簡単な説明】
【図１】（Ａ）は本実施形態に係る音声処理の一形態を説明するための図であり、（Ｂ）は制御部の構成を示す図である。
【図２】フレームの構成を示す図である。
【図３】本発明に係る音声レベルの調整処理の概要を示すフローチャートである。
【図４】図３に示すステップＳ１の有音／無音区間の判定時のしきい値計算処理の内容を示すフローチャートである。
【図５】図３のステップＳ２における有音／無音区間判定処理の内容を示すフローチャートである。
【図６】図３のステップＳ３における有音区間毎の平均フレームエネルギー計算処理の内容を示すフローチャートである。
【図７】図３のステップＳ４における有音区間毎のゲイン計算処理の内容を示すフローチャートである。
【図８】図３のステップＳ５におけるゲインを音声データ中の所定の位置に書き込む処理の内容を示すフローチャートである。
【符号の説明】
１０…ディジタルレコーダ、
１１…ミニチュアカード、
１２…ＰＣカードアダプタ、
１３…パーソナルコンピュータ、
１４…制御プログラム、
３０Ａ…音声判定部、
３０Ｂ…平均フレームエネルギー計算部、
３０Ｃ…音声レベル調整ゲイン計算部、
３０Ｄ…音声レベル調整ゲイン書き込み部、
３０Ｅ…選択処理部。
【０００１】
【発明の属する技術分野】本発明は音声処理装置に関する。
【０００２】
【従来の技術】音声録音再生装置等の音声処理装置には、通常、ボリューム手段が設けられており、使用者はそのボリューム手段を操作することにより所望の音量で聞くことができる。
【０００３】しかし、音声はダイナミックレンジが広く、同じボリュームレベルであっても音量が小さい場合も大きい場合もあり、そのような音量の変動が原因で聞きづらい場合には、使用者がそのつどボリュームを調整する必要があった。特に、対談の録音のように、録音装置と発言者との距離が発言者によって異なる場合にあっては、録音装置から近い位置にいる発言者の音声だけが大きく聞こえて、録音装置から遠い位置にいる発言者の声は小さくて聞き取りにくい場合がある。
【０００４】特開平９−２３２８９２号公報はこのような問題を克服すべく、入力された直前の音声のレベルに基づいて音量を調節する音量制御装置を開示している。
【０００５】
【発明が解決しようとする課題】ところで音量は重要な情報量のひとつであり、頻繁にその音量が変更されると自然さが失われ、かえって音質を低下させることになりかねない。音量の調節は、自然さを保ったまま行われることが望ましく、このためには、処理すべき音声の全体との関係において音量を調整することが必要である。
【０００６】しかしながら、上記した特開平９−２３２８９２号公報では、直前の音声のレベルのみに基づいて音量を調節するので、音量が一定に保持されるという効果は有するが、かえって音質を低下させてしまう場合があった。
【０００７】本発明はこのような課題に着目してなされたものであり、その目的とするところは、聞く人に応じて音量をより適切な大きさに自動的に調節することができる音声処理装置を提供することにある。
【０００８】
【課題を解決するための手段】上記の目的を達成するために、第１の発明に係る音声処理装置は、処理すべき音声データの有音区間と無音区間とを判定する音声判定手段と、この音声判定手段で判定された有音区間について、各有音区間の平均フレームエネルギーを計算する平均フレームエネルギー計算手段と、この平均フレームエネルギー計算手段により計算された各有音区間の平均フレームエネルギーに基づいて、各有音区間の音声レベルを調整するための音声レベル調整ゲインを計算する音声レベル調整ゲイン計算手段と、この音声レベル調整ゲイン計算手段により求めた音声レベル調整ゲインを上記音声データの所定の位置に書き込む音声レベル調整ゲイン書き込み手段とを具備する。
【０００９】また、第２の発明に係る音声処理装置は、第１の発明に係る音声処理装置において、上記音声レベル調整ゲイン計算手段が、上記各有音区間の平均フレームエネルギーの、全有音区間での平均値に基づいて前記音声レベル調整ゲインを計算する。
【００１０】また、第３の発明に係る音声処理装置は、第１または第２の発明に係る音声処理装置において、前記音声データを再生するにあたって、各フレームに対応する上記音声レベル調整ゲインを当該音声データに乗じるか否かをユーザに選択させるための選択部を有する。
【００１１】
【発明の実施の形態】以下、図面を参照して本発明の実施形態を詳細に説明する。
【００１２】図１（Ａ）は本実施形態に係る音声処理の一形態を説明するための図である。図１（Ａ）において、音声録音装置としてのディジタルレコーダ１０によって録音された音声データは当該ディジタルレコーダ１０に着脱自在に装着されたミニチュアカード１１に記憶される。ミニチュアカード１１はディジタルレコーダ１０から取り外されてＰＣカードアダプタ１２に装着した状態で、パーソナルコンピュータ１３に装填される。パーソナルコンピュータ１３には音声再生、情報表示などの処理を行なう制御プログラム１４がインストールされている。
【００１３】図１（Ｂ）は、パーソナルコンピュータ１３の制御部の構成を示す図であり、本実施形態に係る音声処理を行なうために各種の機能を備えている。すなわち、音声判定部３０Ａは処理すべき音声データ全体についてその有音区間と無音区間とを判定する。平均フレームエネルギー計算部３０Ｂは音声判定部３０Ａで判定された有音区間について、各有音区間の平均フレームエネルギーを計算する。音声レベル調整ゲイン計算部３０Ｃは平均フレームエネルギー計算部３０Ｂにより計算された各有音区間の平均フレームエネルギーに基づいて、各有音区間の音声レベルを調整するための音声レベル調整ゲインを計算する。音声レベル調整ゲイン書き込み部３０Ｄは音声レベル調整ゲイン計算部３０Ｃで計算した音声レベル調整ゲインを音声データの所定の位置に書き込む。選択処理部３０Ｅは音声データの再生時において、音声レベル調整ゲイン書き込み部３０Ｄに書き込まれた音声レベル調整ゲインを乗じるか否かをユーザに選択させ、この選択に応じた処理を行なう部分である。ユーザの選択は例えばパーソナルコンピュータ１３のキーボードから行なうことができる。
【００１４】図２は音声データのデータ構造を示す図である。図２において、音声データは、１のファイルとして構成されており、ファイルヘッダ領域２０−１とフレームデータ領域２０−２とからなる。ファイルヘッダ領域２０−１には例えば、記録された日時や録音時間長等の情報が記録されている。また、フレームデータ領域２０−２は複数のフレーム（フレーム１，２，３，…ｎ）から構成され、各フレームは、フレームヘッダ領域２０−３と音声データ領域２０−４とからなる。フレームヘッダ領域２０−３には音声レベル調整ゲインが上記した音声レベル調整ゲイン書き込み部３０Ｄにより書き込まれる。ここでは初期値として１がセットされるものとし、音声データ領域２０−４には音声データが所定長記録される。
【００１５】ここでパーソナルコンピュータ１３内に取り込まれた音声データは、再生に先だって、本実施形態に係る音声レベルの調整が行われる。以下、フローチャートを参照して説明する。
【００１６】図３は、本実施形態に係る音声レベルの調整処理の概要を示すフローチャートである。本調整処理はここではパーソナルコンピュータ１３の制御部で行われる。
【００１７】図３において、まず処理対象の音声データについて、有音／無音区間判定処理のためのしきい値計算処理を行い（ステップＳ１）、そのしきい値に基づいて有音／無音区間判定処理を行う（ステップＳ２）。続いて、ステップＳ２において判定された各有音区間における平均フレームエネルギーを計算し（ステップＳ３）、求めた各有音区間の平均フレームエネルギーに基づいて、各有音区間における各サンプルの音声レベル調整ゲインを計算する（ステップＳ４）。次に音声レベル調整ゲイン書き込み部３０Ｄによりこの音声レベル調整ゲインを音声データ中の所定の位置に書き込む（ステップＳ５）。ここでは図２に示すフレームヘッダ領域２０−３に書き込まれる。
【００１８】以下、上記ステップＳ１からステップＳ５までの各ステップの処理について、詳細に説明する。
【００１９】図４は、ステップＳ１の有音／無音区間の判定時のしきい値計算処理の内容を示すフローチャートである。この処理が始まると、まず、フレーム番号のカウント値を示す変数ｆを０に初期化しておく（ステップＳ６）。
【００２０】次に、以下の式を用いてフレームｆにおけるフレームエネルギーｅ（ｆ）を計算する（ステップＳ７）。
【００２１】
【数１】
【００２２】なお、数式中、ｓ（ｉ）は１フレーム中のサンプル位置ｉにおけるサンプル、Ｎは１フレームを構成するサンプル数を示している。
【００２３】次に、変数ｆの値が０であるか否か、すなわち、初期のフレームであるか否かを判定し（ステップＳ８）、ｆが０である場合には、最小フレームエネルギーを示す変数ｍｉｎの値をｅ（ｆ）（＝ｅ（０））にセットする（ステップＳ９）。
【００２４】また、上記ステップＳ８においてｆが０でない場合には、フレームエネルギーｅ（ｆ）が変数ｍｉｎより小さいか否かを判定し（ステップＳ１０）、小さい場合には変数ｍｉｎにフレームエネルギーｅ（ｆ）をセットし（ステップＳ９）、一方、小さくない場合にはそのまま何もせずにステップＳ１１に行く。
【００２５】ステップＳ１１ではファイルが終端に達したか否かを判定し、まだ終端ではない場合には、変数ｆをインクリメントして（ステップＳ１２）、次のフレームデータを読み出して上記ステップＳ７に戻って上述した処理を繰返す。
【００２６】また、このステップＳ１１においてファイルの終端に達したと判断された場合は、しきい値ｔｒｓに、上記変数ｍｉｎに所定の値α（例えば１．２）を積算した値をセットして（ステップＳ１３）、この処理を抜ける。
【００２７】このようなしきい値設定の処理方法は、すでに音声データが記録されていることを有効に利用したものであり、ファイル全体の最小エネルギーに基づいてしきい値を決定することができるために、誤りの少ない有音／無音区間判定処理を行なうことが可能であるなお、上述では、読み込んだ全区間（つまり、音声ファイルを構成する全フレーム）の最小値を求めているが、本発明はこれに限定されるものではなく、例えばパーソナルコンピュータのメモリ容量を勘案して、全区間の最小値でなく、ある程度の長さの区間に区切って処理するようにしても良い。
【００２８】続いて、図５は、上記図３のステップＳ２における有音／無音区間判定処理の内容を示すフローチャートである。
【００２９】この処理が始まると、フレーム番号のカウント値を示す変数ｆ、直前のフレームの有音／無音の状態を示す変数Ｐｒｅｖ、音声データ中の有音区間のカウント値を示す変数ＶｓＣｎｔを、各々０に初期化しておき、有音区間から無音区間への遷移を猶予するための制御変数ＨａｎｇＣｎｔを、例えば１０にセットしておく（ステップＳ１４）。
【００３０】次に、上述した図４において計算したフレームエネルギーｅ（ｆ）が、図４において計算したしきい値ｔｒｓより大きいか否かを判定する（ステップＳ１５）。ここでｅ（ｆ）がｔｒｓより大きい場合には、ＨａｎｇＣｎｔの値を０にセットし（ステップＳ１６）、続いて直前のフレームの有音／無音の状態を示す変数Ｐｒｅｖの値が０か否かを判定する（ステップＳ１７）。このＰｒｅｖの値が０であれば、直前のフレームは無音フレームであったことを示し、Ｐｒｅｖの値が１であれば、直前のフレームは有音フレームであったことを示すものである。ここでＰｒｅｖが０であれば、有音区間の開始フレームを示す変数ｖｂ（ＶｓＣｎｔ）に現在のフレームｆの値をセットし、Ｐｒｅｖに１をセットし、有音区間のカウント値を示す変数ＶｓＣｎｔをインクリメントする（ステップＳ１８）。一方、Ｐｒｅｖが０でなければ何もせずにステップＳ１９に行く。
【００３１】そして、ファイルが終端に達したか否かを判定し（ステップＳ１９）、まだ終端でない場合には、変数ｆをインクリメントして（ステップＳ２０）、次のフレームを読み出して上記ステップＳ１５に戻って処理を繰返す。
【００３２】また、ステップＳ１９においてファイルの終端に達したと判断された場合は、この処理を抜ける。
【００３３】また、上記ステップＳ１５において、ｅ（ｆ）がしきい値ｔｒｓより小さいと判定された場合には、ＨａｎｇＣｎｔの値が、例えば９より大きいか否かを判定し（ステップＳ２１）、ＨａｎｇＣｎｔの値が９より小さいと判定されたときは、ＨａｎｇＣｎｔの値をインクリメントして（ステップＳ２２）、上記ステップＳ１７に行く。一方、ＨａｎｇＣｎｔの値が９より大きいと判定されたときは、Ｐｒｅｖの値が１であるか否か、すなわち、直前のフレームが有音であったか否かを判定する（ステップＳ２３）。ここで、Ｐｒｅｖが１であれば、有音区間の終了フレームを示す変数ｖｅ（ＶｓＣｎｔ）に現在のフレームｆの値をセットし、Ｐｒｅｖに０をセットし（ステップＳ２４）、上記ステップＳ１９に行く。一方、Ｐｒｅｖが０であれば、何もしないで上記ステップＳ１９に行く。
【００３４】この処理の結果、ファイル中の有音区間、無音区間の判定がされ、各有音区間が始まるフレームの値と、各有音区間が終了するフレームの値が、各々変数ｖｂ（ＶｓＣｎｔ）、ｖｅ（ＶｓＣｎｔ）に記憶される。ここで、変数ＶｓＣｎｔは、有音区間の区間数をカウントする変数であり、この処理を抜けた時点で、ファイル中の有音区間の総区間数を示している。
【００３５】また、この処理のように変数ＨａｎｇＣｎｔを設定することにより有音区間から無音区間への遷移が所定フレーム分猶予されることになるため、語尾の部分を誤って無音と判定してしまうようなことを回避することができるという効果を奏する。
【００３６】続いて、図６は、上記図３のステップＳ３における有音区間毎の平均フレームエネルギー計算処理の内容を示すフローチャートである。
【００３７】この処理が始まると、まず、有音区間のカウント値を示す変数Ｃｎｔの値を０に初期化しておく（ステップＳ２５）。
【００３８】次に、図５の処理によって求められた有音区間の総区間数ＶｓＣｎｔが０より大きいか否かを判定する（ステップＳ２６）。ここでＶｓＣｎｔが０以下であれば、ファイル中に有音区間は存在しないと判断して、何もしないでこの処理を抜ける。一方、ここでＶｓＣｎｔが０より大きければ、以下の式を用いて有音区間Ｃｎｔにおけるフレーム数ｖｎを計算する（ステップＳ２７）。
【００３９】
【数２】
【００４０】次に、以下の式により有音区間Ｃｎｔにおける平均フレームエネルギーＥｓｅｃ（Ｃｎｔ）を計算する（ステップＳ２８）。
【００４１】
【数３】
【００４２】そして、ＣｎｔがＶｓＣｎｔ−１に満たないか否か、すなわち、全ての有音区間に対して平均フレームエネルギーＥｓｅｃ（Ｃｎｔ）の計算を終えていないか否かを判定し（ステップＳ２９）、ＣｎｔがＶｓＣｎｔ−１に満たないのであれば、Ｃｎｔの値をインクリメントして（ステップＳ３０）、上記ステップＳ２７に戻って次の有音区間の平均フレームエネルギーＥｓｅｃ（Ｃｎｔ）の計算処理を行う。一方、ステップＳ２９においてＣｎｔの値がＶｓＣｎｔ−１以上であると判定されれば、この処理を抜ける。
【００４３】続いて、図７は、上記図３のステップＳ４における有音区間毎のゲイン計算処理の内容を示すフローチャートである。
【００４４】この処理が始まると、まず、有音区間のカウント値を示す変数Ｃｎｔの値を０に初期化しておく（ステップＳ３１）。次に、図５の処理によって求められた有音区間の総区間数ＶｓＣｎｔが０より大きいか否かを判定する（ステップＳ３２）。ここでＶｓＣｎｔが０以下であれば、ファイル中に有音区間は存在しないと判断して、何もしないでこの処理を抜ける。一方、ここでＶｓＣｎｔが０より大きければ、以下の式により、図６R>６のステップＳ２８で求めた、有音区間Ｃｎｔにおける平均フレームエネルギーＥｓｅｃ（Ｃｎｔ）の、ファイル中の全有音区間の平均値Ｅａｖｒを計算する（ステップＳ３３）。
【００４５】
【数４】
【００４６】次に、有音区間ＣｎｔにおけるゲインＧ（Ｃｎｔ）を、以下の式を用いて計算する（ステップＳ３４）。
【００４７】
【数５】
【００４８】ここで、数式中、ｓｑｒｔ（ ）は、カッコ内の式の平方根を示している。そして、ＣｎｔがＶｓＣｎｔ−１に満たないか否か、すなわち、全ての有音区間に対してゲインＧ（Ｃｎｔ）の計算を終えていないか否かを判定し（ステップＳ３５）、ＣｎｔがＶｓＣｎｔ−１に満たないのであれば、Ｃｎｔの値をインクリメントして（ステップＳ３６）、上記ステップＳ３４に戻って次の有音区間のゲインＧ（Ｃｎｔ）の計算処理を行う。一方、ステップＳ３５においてＣｎｔの値がＶｓＣｎｔ−１以上であると判定されれば、この処理を抜ける。
【００４９】続いて、図８は、上記図３のステップＳ５におけるゲインを音声データ中の所定の位置に書き込む処理の内容を示すフローチャートである。
【００５０】図８において、この処理が始まると、まず、フレーム番号のカウント値を示す変数ｆと、有音区間のカウント値を示す変数Ｃｎｔの値を０に初期化しておく（ステップＳ３７）。
【００５１】次に、図５の処理で求められた有音区間の総区間数ＶｓＣｎｔが０より大きいか否かを判定する（ステップＳ３８）。ここでＶｓＣｎｔが０以下であれば、ファイル中に有音区間は存在しないと判断して、何もしないでこの処理を抜ける。
【００５２】一方、上記ステップＳ３８において、ＶｓＣｎｔが０より大きければ、ｆがｖｂ（Ｃｎｔ）の値以上であるか否かを判定する（ステップＳ３９）。ここで、ｆがｖｂ（Ｃｎｔ）の値に満たないと判定すると、ファイルが終端に達したか否かを判定し（ステップＳ４４）、まだ終端でない場合にはｆをインクリメントして（ステップＳ４５）、次のフレームデータを読み出して、ステップＳ３９に戻る。このステップＳ４４においてファイルの終端に達したと判断した場合は、この処理を抜ける。
【００５３】ステップＳ３９においてｆがｖｂ（Ｃｎｔ）の値以上であると判定すると、ｆはｖｅ（Ｃｎｔ）の値以下であるか否かを判定する（ステップＳ４０）。このとき、ステップＳ３９，Ｓ４０ともに判定がｙｅｓであれば、現在のｆは有音区間内にあることを示している。
【００５４】ここで、ｆはｖｅ（Ｃｎｔ）の値以下であると判定すると、フレームヘッダにＧ（Ｃｎｔ）の値を書き換える（ステップＳ４１）。一方、ステップＳ４０においてｆはｖｅ（Ｃｎｔ）より大きいと判断すると、Ｃｎｔをインクリメントする（ステップＳ４２）。
【００５５】次に、ＣｎｔがＶｓＣｎｔ−１に満たないか否か、すなわち、全ての有音区間におけるフレームヘッダの書き換えを終えていないか否かを判定し（ステップＳ４３）、ＣｎｔがＶｓＣｎｔ−１に満たなければ、ファイル終端に達したか否かを判定する（ステップＳ４４）。一方、ＣｎｔがＶｓＣｎｔ−１以上であれば、この処理を抜ける。
【００５６】以上説明した手段によって、各フレームにおけるゲイン値を設定することができる。この後、音声データの再生時、各フレームの音声に当該フレームヘッダのゲイン値を乗じることがユーザにより選択された場合には、音声レベルを自動的に調整した音声データが再生される。また、各フレームの音声に当該フレームヘッダのゲイン値を乗じないことが選択された場合には、音声レベルを調整しない状態の元の音声データが再生される。このようにして、本実施形態では音声レベルを自動的に調整した音声データを再生するか、元の音声データを再生するかをユーザが選択することができる。
【００５７】上記した実施形態によれば、すでに記録されている音声データに対して、音声データ全体との関係において、各有音区間の音声レベルを自動的に調整するようにしたので、ユーザはボリュームを調整することなく、音声を一定の音量で聞くことができるという効果を奏する。
【００５８】また、すでに記録されている音声データに対して音声認識をさせる場合にも、音声認識処理に先立って、本実施形態による音声レベルの調整処理を行えば、音声レベルが一定に保たれるために安定した音声認識を行うことが可能となるという効果を奏する。
【００５９】さらに、本実施形態においては、パーソナルコンピュータ１３により音声レベルの調整処理を行なうようにしたが、音声録音装置としてのディジタルレコーダ１０内において、音声レベルの調整処理を実現するようにしてもよい。
【００６０】なお、本発明は上述した実施形態に限定されるものではなく、発明の主旨を逸脱しない範囲内において種々の変形や応用が可能であることはもちろんである。
【００６１】
【発明の効果】請求項１あるいは２に記載の発明によれば、聞く人に応じて音量をより適切な大きさに自動的に調節することができる音声処理装置を提供することができるという効果を奏する。
【００６２】また、請求項３に記載の発明によれば、音声レベルを自動的に調整した音声データを再生するか、元の音声データを再生するかをユーザが選択することができるという効果を奏する。
【図面の簡単な説明】
【図１】（Ａ）は本実施形態に係る音声処理の一形態を説明するための図であり、（Ｂ）は制御部の構成を示す図である。
【図２】フレームの構成を示す図である。
【図３】本発明に係る音声レベルの調整処理の概要を示すフローチャートである。
【図４】図３に示すステップＳ１の有音／無音区間の判定時のしきい値計算処理の内容を示すフローチャートである。
【図５】図３のステップＳ２における有音／無音区間判定処理の内容を示すフローチャートである。
【図６】図３のステップＳ３における有音区間毎の平均フレームエネルギー計算処理の内容を示すフローチャートである。
【図７】図３のステップＳ４における有音区間毎のゲイン計算処理の内容を示すフローチャートである。
【図８】図３のステップＳ５におけるゲインを音声データ中の所定の位置に書き込む処理の内容を示すフローチャートである。
【符号の説明】
１０…ディジタルレコーダ、
１１…ミニチュアカード、
１２…ＰＣカードアダプタ、
１３…パーソナルコンピュータ、
１４…制御プログラム、
３０Ａ…音声判定部、
３０Ｂ…平均フレームエネルギー計算部、
３０Ｃ…音声レベル調整ゲイン計算部、
３０Ｄ…音声レベル調整ゲイン書き込み部、
３０Ｅ…選択処理部。
【特許請求の範囲】
【請求項１】 処理すべき音声データの有音区間と無音区間とを判定する音声判定手段と、この音声判定手段で判定された有音区間について、各有音区間の平均フレームエネルギーを計算する平均フレームエネルギー計算手段と、この平均フレームエネルギー計算手段により計算された各有音区間の平均フレームエネルギーに基づいて、各有音区間の音声レベルを調整するための音声レベル調整ゲインを計算する音声レベル調整ゲイン計算手段と、この音声レベル調整ゲイン計算手段により求めた音声レベル調整ゲインを上記音声データの所定の位置に書き込む音声レベル調整ゲイン書き込み手段と、を具備することを特徴とする音声処理装置。
【請求項２】 上記音声レベル調整ゲイン計算手段は、上記各有音区間の平均フレームエネルギーの、全有音区間での平均値に基づいて前記音声レベル調整ゲインを計算すること、を特徴とする請求項１記載の音声処理装置。
【請求項３】 前記音声データを再生するにあたって、各フレームに対応する上記音声レベル調整ゲインを当該音声データに乗じるか否かをユーザに選択させるための選択部を有することを特徴とする請求項１または２記載の音声処理装置。
【請求項１】 処理すべき音声データの有音区間と無音区間とを判定する音声判定手段と、この音声判定手段で判定された有音区間について、各有音区間の平均フレームエネルギーを計算する平均フレームエネルギー計算手段と、この平均フレームエネルギー計算手段により計算された各有音区間の平均フレームエネルギーに基づいて、各有音区間の音声レベルを調整するための音声レベル調整ゲインを計算する音声レベル調整ゲイン計算手段と、この音声レベル調整ゲイン計算手段により求めた音声レベル調整ゲインを上記音声データの所定の位置に書き込む音声レベル調整ゲイン書き込み手段と、を具備することを特徴とする音声処理装置。
【請求項２】 上記音声レベル調整ゲイン計算手段は、上記各有音区間の平均フレームエネルギーの、全有音区間での平均値に基づいて前記音声レベル調整ゲインを計算すること、を特徴とする請求項１記載の音声処理装置。
【請求項３】 前記音声データを再生するにあたって、各フレームに対応する上記音声レベル調整ゲインを当該音声データに乗じるか否かをユーザに選択させるための選択部を有することを特徴とする請求項１または２記載の音声処理装置。
【図１】
【図２】
【図３】
【図４】
【図５】
【図６】
【図７】
【図８】
【図２】
【図３】
【図４】
【図５】
【図６】
【図７】
【図８】
【公開番号】特開２０００−１８１４７７（Ｐ２０００−１８１４７７Ａ）
【公開日】平成１２年６月３０日（２０００．６．３０）
【国際特許分類】
【出願番号】特願平１０−３５４５４５
【出願日】平成１０年１２月１４日（１９９８．１２．１４）
【出願人】（００００００３７６）オリンパス光学工業株式会社 (11,466)
【Ｆターム（参考）】
【公開日】平成１２年６月３０日（２０００．６．３０）
【国際特許分類】
【出願日】平成１０年１２月１４日（１９９８．１２．１４）
【出願人】（００００００３７６）オリンパス光学工業株式会社 (11,466)
【Ｆターム（参考）】
[ Back to top ]