音声信号処理装置、および音声信号処理方法、並びにプログラム
【課題】環境音に応じた最適なマッピング制御により音声信号のレベルを様々な環境下で最適に自動制御する。
【解決手段】入力信号の特性を分析し入力音特徴量を生成し、環境音の特性を解析し環境音特徴量を生成し、生成した入力音特徴量と環境音特徴量を適用して、入力信号に対する振幅変換処理の制御情報としてのマッピング制御情報を生成する。さらに、マッピング制御情報により定まる線形または非線形なマッピング関数に基づいて入力信号を振幅変換し、出力信号を生成する。マッピング制御情報は、例えば入力信号と環境音を考慮して生成したモデルを参照して生成する。
【解決手段】入力信号の特性を分析し入力音特徴量を生成し、環境音の特性を解析し環境音特徴量を生成し、生成した入力音特徴量と環境音特徴量を適用して、入力信号に対する振幅変換処理の制御情報としてのマッピング制御情報を生成する。さらに、マッピング制御情報により定まる線形または非線形なマッピング関数に基づいて入力信号を振幅変換し、出力信号を生成する。マッピング制御情報は、例えば入力信号と環境音を考慮して生成したモデルを参照して生成する。
【発明の詳細な説明】
【技術分野】
【０００１】
本開示は、音声信号処理装置、および音声信号処理方法、並びにプログラムに関する。具体的には、例えば、音声信号の再生レベルをユーザに対して最適に自動制御する手法に関する。
【背景技術】
【０００２】
例えば、音声の音量のダイナミックレンジが大きい映画コンテンツや音楽コンテンツを、小型スピーカを内蔵したポータブル機器で再生する場合、全体的に音声の音量が小さくなるだけでなく、特に音量の小さなセリフなどは、聞こえにくくなる。
具体的には、例えば図１に示すように、
（Ａ）小型のマイクと小型のスピーカを備えたＰＣ
（Ｂ）小型のマイクと小型のスピーカを備えた携帯端末
このような小型の機器では、スピーカの大きさに制限があり、十分な音量出力を得られずに音量の小さなセリフなどが聞こえにくくなるという問題がある。
【０００３】
これらのコンテンツの音声をより聞こえ易くするための技術として、ノーマライズや自動ゲイン制御等、音量を調整する技術があるが、このような音量制御は充分に長いデータの先読みを行わないと、聴感上不安定な制御になってしまう。
【０００４】
また、音量のダイナミックレンジのコンプレッション処理により、音声の音量の小さい部分をブーストし、音量の大きな部分をコンプレッションする技術もある。しかしながら、コンプレッション処理では、音量のブーストとコンプレッションの特性を汎用的なものとすると、音声の高い強調効果を得ることは困難であり、高い効果を得るためには、コンテンツ毎にその特性を変える必要がある。
【０００５】
例えば、ドルビーＡＣ３（Ａｕｄｉｏ Ｃｏｄｅ ｎｕｍｂｅｒ ３）におけるダイナミックレンジコンプレッションは、ダイアログノーマライズで指定された音圧レベルを基準として、それよりも小さい音圧レベルの信号をブーストし、大きな音圧レベルの信号をコンプレッションする技術である。ところが、この技術では、充分な効果を得るために、音声信号の符号化時にダイアログノーマライズのための音圧レベルと、ブーストおよびコンプレッションの特性の指定が必要となる。
【０００６】
さらに、音声の音量のダイナミックレンジをコンプレッションする場合に、音声信号の絶対値の平均値により定まる係数を音声信号に乗算することで、音声信号の小さい音をより聞こえ易くする技術も提案されている（例えば、特許文献１参照）。
【先行技術文献】
【特許文献】
【０００７】
【特許文献１】特開平０５−２７５９５０号公報
【発明の概要】
【発明が解決しようとする課題】
【０００８】
昨今、ユーザは様々な静かな環境やうるさい環境など様々な環境下に小型スピーカを内蔵した様々なポータブル機器を携帯し、映画や音楽、自己録コンテンツなど、様々な種類のコンテンツを聞くようになった。しかしながら周りの環境音の大きさによって、同じ再生音量でも大きすぎたり小さすぎたりしてしまう。よって、それらのポータブル機器において、様々なコンテンツの音量を環境音の大きさに応じて最適に自動制御する技術が必要となる。
【０００９】
本開示は、例えば上記の実情を鑑みてなされたものであり、音声信号の再生レベルを環境音の大きさに応じて最適に自動制御する音声信号処理装置、および音声信号処理方法、並びにプログラムを提供することを目的としたものである。
【課題を解決するための手段】
【００１０】
本開示の第１の側面は、
入力信号の特性を分析し、入力音特徴量を生成する入力分析部と、
環境音の特性を解析し、環境音特徴量を生成する環境分析部と、
前記入力音特徴量と前記環境音特徴量を適用して、前記入力信号に対する振幅変換処理の制御情報としてのマッピング制御情報を生成するマッピング制御情報生成部と、
前記マッピング制御情報により定まる線形または非線形なマッピング関数に基づいて前記入力信号を振幅変換し、出力信号を生成するマッピング処理部と、
を有する音声信号処理装置にある。
【００１１】
さらに、本開示の音声信号処理装置の一実施態様において、前記マッピング制御情報生成部は、前記入力音特徴量を適用して予備的なマッピング制御情報を生成するマッピング制御情報決定部と、前記予備的なマッピング制御情報に対して、前記環境音特徴量を適用した調整処理により、前記マッピング処理部に出力する前記マッピング制御情報を生成するマッピング制御情報調整部を有する。
【００１２】
さらに、本開示の音声信号処理装置の一実施態様において、前記入力分析部は、前記入力音特徴量として予め規定した複数の連続サンプルを利用して算出した二乗平均平方根を算出し、前記環境分析部は、前記環境音特徴量として環境音信号の複数の連続サンプルを利用して算出した二乗平均平方根を算出し、前記マッピング制御情報生成部は、前記入力音特徴量である入力信号の二乗平均平方根と、前記環境音特徴量である環境音信号の二乗平均平方根とを利用して前記マッピング制御情報を生成する。
【００１３】
さらに、本開示の音声信号処理装置の一実施態様において、前記入力音特徴量、および前記環境音特徴量は、特徴量算出対象信号の二乗平均、または二乗平均を対数化したもの、または二乗平均平方根、または二乗平均平方根を対数化したもの、または信号の零交差率、または周波数エンベロープの傾き、またはそれらの重み付け加算した結果である。
【００１４】
さらに、本開示の音声信号処理装置の一実施態様において、前記環境分析部は、マイクを介して取得された収音信号から帯域分割処理によって分割された環境音の占有率の高い帯域信号の特徴解析を実行して前記環境音特徴量を算出する。
【００１５】
さらに、本開示の音声信号処理装置の一実施態様において、前記音声信号処理装置は、前記マッピング処理部においてマッピング処理の施された信号の帯域制限処理を実行する帯域制限部を有し、前記帯域制限部における帯域制限後の信号を、スピーカを介して出力する。
【００１６】
さらに、本開示の音声信号処理装置の一実施態様において、前記マッピング制御情報生成部は、入力信号と環境音信号を含む学習用信号を適用した統計解析処理によって生成したマッピング制御モデルを適用して前記マッピング制御情報を生成する。
【００１７】
さらに、本開示の音声信号処理装置の一実施態様において、前記マッピング制御モデルは、各種の入力信号と環境音信号に対してマッピング制御情報を対応付けたデータである。
【００１８】
さらに、本開示の音声信号処理装置の一実施態様において、前記入力信号は、複数チャンネルの複数の入力信号によって構成され、前記マッピング処理部は、各入力信号に対する個別のマッピング処理を実行する構成である。
【００１９】
さらに、本開示の音声信号処理装置の一実施態様において、前記音声信号処理装置は、さらに、前記マッピング処理部の生成したマッピング処理信号に対して、前記環境分析部の生成する環境音特徴量に応じたゲイン調整を実行するゲイン調整部を有する。
【００２０】
さらに、本開示の第２の側面は、
音声信号処理装置において実行する音声信号処理方法であり、
入力信号の特性を分析し、入力音特徴量を生成する入力分析ステップと、
環境音の特性を解析し、環境音特徴量を生成する環境分析ステップと、
前記入力音特徴量と前記環境音特徴量を適用して、前記入力信号に対する振幅変換処理の制御情報としてのマッピング制御情報を生成するマッピング制御情報生成ステップと、
前記マッピング制御情報により定まる線形または非線形なマッピング関数に基づいて前記入力信号を振幅変換し、出力信号を生成するマッピング処理ステップと、
を実行する音声信号処理方法にある。
【００２１】
さらに、本開示の第３の側面は、
音声信号処理装置において音声信号処理を実行させるプログラムであり、
入力信号の特性を分析し、入力音特徴量を生成する入力分析ステップと、
環境音の特性を解析し、環境音特徴量を生成する環境分析ステップと、
前記入力音特徴量と前記環境音特徴量を適用して、前記入力信号に対する振幅変換処理の制御情報としてのマッピング制御情報を生成するマッピング制御情報生成ステップと、
前記マッピング制御情報により定まる線形または非線形なマッピング関数に基づいて前記入力信号を振幅変換し、出力信号を生成するマッピング処理ステップと、
を実行させるプログラムにある。
【００２２】
なお、本開示のプログラムは、例えば、様々なプログラム・コードを実行可能な汎用システムに対して、コンピュータ可読な形式で提供する記憶媒体、通信媒体によって提供可能なプログラムである。このようなプログラムをコンピュータ可読な形式で提供することにより、コンピュータ・システム上でプログラムに応じた処理が実現される。
【００２３】
本開示のさらに他の目的、特徴や利点は、後述する本開示の実施例や添付する図面に基づくより詳細な説明によって明らかになるであろう。なお、本明細書においてシステムとは、複数の装置の論理的集合構成であり、各構成の装置が同一筐体内にあるものには限らない。
【発明の効果】
【００２４】
本開示の一実施例構成によれば、環境音が大きいときや小さいときに最適なマッピング制御が可能となり、音量が物足りないあるいは歪が気になるといったユーザの不満を減少させ、音声信号の再生レベルを様々な環境下でもユーザに対して最適に自動制御することが可能となる。
【００２５】
具体的には、例えば、入力信号の特性を分析し入力音特徴量を生成し、環境音の特性を解析し環境音特徴量を生成し、生成した入力音特徴量と環境音特徴量を適用して、入力信号に対する振幅変換処理の制御情報としてのマッピング制御情報を生成する。さらに、マッピング制御情報により定まる線形または非線形なマッピング関数に基づいて入力信号を振幅変換し、出力信号を生成する。マッピング制御情報は、例えば入力信号と環境音を考慮して生成したモデルを参照して生成する。
これらの構成により、環境音に応じた最適なマッピング制御により音声信号のレベルを様々な環境下で最適に自動制御することが可能となる。
【図面の簡単な説明】
【００２６】
【図１】小型スピーカを備えた装置例について説明する図である。
【図２】本開示の第１の実施形態における音声信号処理方法の実施例を示すブロック図である。
【図３】本開示の第１〜８の実施形態における収音信号の帯域分割時の周波数帯域内訳の例を示す図である。
【図４】本開示の第１の実施形態におけるマッピング制御情報調整量関数グラフの例である。
【図５】本開示の第１の実施形態におけるマッピング関数グラフの例である。
【図６】本開示の第２の実施形態における音声信号処理方法の実施例を示すブロック図である。
【図７】本開示の第３の実施形態における音声信号処理方法の実施例を示すブロック図である。
【図８】本開示の第３の実施形態におけるマッピング制御モデル学習方法の実施例を示すブロック図である。
【図９】本開示の第３の実施形態におけるマッピング制御情報付与方法の実施例を示すフローチャートである。
【図１０】本開示の第３の実施形態におけるマッピング制御モデルによる回帰曲線のグラフの例である。
【図１１】本開示の第４の実施形態における音声信号処理方法の実施例を示すブロック図である。
【図１２】本開示の第４の実施形態におけるマッピング制御モデル学習方法の実施例を示すブロック図である。
【図１３】本開示の第４の実施形態におけるマッピング制御情報付与方法の実施例を示すフローチャートである。
【図１４】本開示の第５の実施形態における音声信号処理方法の実施例を示すブロック図である。
【図１５】本開示の第６の実施形態における音声信号処理方法の実施例を示すブロック図である。
【図１６】本開示の第７の実施形態における音声信号処理方法の実施例を示すブロック図である。
【図１７】本開示の第８の実施形態における音声信号処理方法の実施例を示すブロック図である。
【発明を実施するための形態】
【００２７】
以下、図面を参照しながら本開示の音声信号処理装置、および音声信号処理方法、並びにプログラムの詳細について説明する。
なお、本開示の音声信号処理装置は、例えば先に図１を参照して説明したような小型スピーカを備えた装置等のスピーカからの出力音の制御を行うものであり、周囲の様々な雑音等の環境音が発生する環境であっても、出力音をより聞きやすくする音声信号処理を行うものである。具体的には、例えば、環境音に応じて音声信号の再生レベルを最適に自動制御する処理などを行う。
【００２８】
本開示に従った音声信号処理装置の複数の実施例について、以下の項目に従って、順次、説明する。
１．第１の実施形態について
２．第２の実施形態について
３．第３の実施形態について
４．第４の実施形態について
５．第５の実施形態について
６．第６の実施形態について
７．第７の実施形態について
【００２９】
［１．第１の実施形態について］
本開示の第１の実施形態による音声信号処理装置のブロック図を図２に示す。
図２に示す音声信号処理装置１００は、例えば先に図１を参照して説明した（Ａ）ＰＣや（Ｂ）携帯端末などの情報処理装置の内部装置として構成可能であり、あるいは、様々な音声出力装置に接続し、音声出力装置から出力される音声信号の処理を行う独立した装置としても構成可能である。
【００３０】
図２に示す音声信号処理装置１００は、以下の構成を有する。
入力部１０１、
入力分析・マッピング制御情報決定部１０２、
マイク１１１、
帯域分割部１１２、
環境分析部１１３、
マッピング制御情報調整部１１４、
マッピング処理部１２１、
帯域制限部１２２、
スピーカ１２３、
これらの構成を有する。
【００３１】
入力部１０１は、再生対象となる音声信号の入力部である。例えば図１に示すような（Ａ）ＰＣや（Ｂ）携帯端末などの情報処理装置においては、情報処理装置内の再生信号生成部の生成した音声信号の入力部となる。あるいは外部の音声再生装置の音声出力部に接続された入力部などに相当する。
図２に示す音声信号処理装置は、図１に示すＰＣや携帯端末と同様、マイク１１１とスピーカ１２３を備えている。
【００３２】
入力部１０１から入力された再生対象入力信号は、入力信号分析・マッピング制御情報決定部１０２に入力される。
入力信号分析・マッピング制御情報決定部１０２は、入力音声信号の特性の分析を行う。
具体的には、入力信号分析・マッピング制御情報決定部１０２は、以下に示す（式１）に従って、入力部１０１からの入力信号のｎ番目のサンプルを中心としたＮサンプルによる二乗平均平方根ＲＭＳ（ｎ）を算出して出力する。
【００３３】
【数１】
・・・（式１）
【００３４】
上記（式１）において、
ｘは、入力部１０１から入力された再生対象入力信号であり、例えば音声レベルを−１．０〜１．０の値に正規化したデータである。
入力信号分析・マッピング制御情報決定部１０２は、処理対象信号をｎ番目のサンプル信号として、ｎ番目のサンプルを中心として予め規定したＮ個の連続するサンプルを利用して上記（式１）に従って、ｎ番目のサンプルに対応する特徴量としての二乗平均平方根ＲＭＳ（ｎ）を算出する。
【００３５】
入力信号分析・マッピング制御情報決定部１０２は、上記（式１）に従って算出した二乗平均平方根ＲＭＳ（ｎ）をｎ番目の入力サンプル信号に対するマッピング制御情報α０として、マッピング制御情報調整部１１４に供給する。
【００３６】
なお、上述した処理例では、入力信号分析・マッピング制御情報決定部１０２の算出するマッピング制御情報は、二乗平均平方根ＲＭＳ（ｎ）を利用した処理例としている。しかし、マッピング制御情報としては、この二乗平均平方根ＲＭＳ（ｎ）の他、ＲＭＳ（ｎ）のｔ乗値（ｔ＞＝２）や、零交差率、周波数エンベロープの傾きなど、様々な分析特徴量の利用が可能である。これらの様々な入力信号に関する特徴量を任意に追加・組み合わせたデータ、例えば重み付け加算結果に基づいてマッピング制御情報α０を生成して、マッピング制御情報調整部１１４に供給する構成としてもよい。
【００３７】
マッピング制御情報調整部１１４は、入力信号分析・マッピング制御情報決定部１０２から入力したマッピング制御情報α０に対して、環境音の大きさに応じたマッピング制御情報の調整を行う。
【００３８】
なお、環境音は、マイク１１１による収音信号に含まれる音である。
マイク１１１から収音された信号（収音信号）には、周囲の純粋な環境音と、音声信号処理装置１００のスピーカ１２３から出力される出力信号が含まれる。
すなわち、図３に示すように、周りの音（環境音）とともにスピーカからの出力信号も含まれる。
なお、以下の説明において、環境音とは、マイク１１１の収音信号から、音声信号処理装置１００のスピーカ１２３からの出力信号を除いたすべての音を含むものとする。すなわち、環境音には、周囲の様々な音、ノイズを含み、例えばユーザが自ら発する声や、装置自身から発生するノイズなども含まれる。
【００３９】
図３は、マイク１１１から収音された信号（収音信号）の解析データの例であり、横軸に周波数、縦軸にパワースペクトルを示した図である。
例えば、一例として、図３に示すように、周波数＝１５０Ｈｚ以下の帯域は環境音、１５０Ｈｚ以上の帯域にはスピーカ１２３からの出力信号の占める割合が大きくなるという特性が得られる。なお、図３に示す周波数＝１５０Ｈｚを境界として環境音と、スピーカ出力信号が分離されるのは、スピーカ１２３からの出力信号をスピーカ１２３前段の帯域制限部１２２によって帯域制限していることに起因する。すなわち、スピーカ１２３からの出力信号は、マイク１１１に収音される以前の段階で帯域制限されるためである。この帯域制限処理の詳細については後述する。
【００４０】
マイク１１１による収音信号は、帯域分割部１１２において環境音のみが含まれる周波数帯域である１５０Ｈｚ以下の低域信号と、環境音に加えスピーカ１２３からの出力信号も含まれる高域信号に分割される。
【００４１】
なお、この処理例では、図３を参照して説明した特性に応じて１５０Ｈｚで二分割しているが、環境音のみが含まれる帯域とそれ以外の帯域とに分割できれば良く、聴感や分析に適した周波数で分割すると良い。
また予め、入力部１０１から入力する信号の帯域が判明している場合、その入力信号に応じた分割処理を行ってもよい。具体的には、例えば入力部１０１からの入力信号が、低域及び高域がカットされている信号である場合には、低域、中域、高域の３分割して、各分割領域単位で環境音のみの領域と、環境音とスピーカからの出力信号の混在領域とを区分してもよい。
【００４２】
帯域分割部１１２において分割された収音信号は環境分析部１１３に入力される。
環境分析部１１３は、環境音の特徴量を算出する。すなわち、本処理例では、帯域分割部１１２において分割された収音信号のうち、ほとんどが環境音から構成されると推定される低域信号の特徴量を算出する。
具体的には、上記の（式１）と同様に分割された収音信号のうち環境音の占有率の高い低域信号のｋ番目のサンプルを中心としたＫサンプルによる二乗平均平方根ＲＭＳ（ｋ）を分析特徴量として、マッピング制御情報調整部１１４に供給する。
【００４３】
なお、環境分析部１１３における環境音の特徴量は、二乗平均平方根ＲＭＳ（ｋ）のほかにもＲＭＳ（ｎ）のｔ乗値（ｔ＞＝２）や、零交差率、周波数エンベロープの傾きなど、様々な分析特徴量を任意に追加・組み合わせたデータ、例えば重み付け加算結果を利用してもよい。
【００４４】
また環境音のみが含まれる帯域信号が高域のみ、あるいは低域及び高域両方の場合には、高域信号のみの分析特徴量あるいは低域信号及び高域信号から求めた分析特徴量を適用する。環境音の混在率に応じて、低域の分析特徴量と高域の分析特徴量の重み付け和などを算出して、これを最終的な環境音の分析特徴量としても良い。
【００４５】
なお、本実施例では、スピーカ１２３の再生帯域を除いた帯域分割信号から分析特徴量を求めているが、低域のみ、あるいは高域のみ、あるいは中域を除いた低域及び高域両方の帯域分割信号の分析特徴量から、関数またはテーブルまたは事前の統計解析に基づく統計モデルを用いて、分析対象外の中域信号あるいは全周波数帯域の信号の分析特徴量を求めることもできる。
【００４６】
例えば二分割で高域が抜けている場合に、低域信号を複数のサブバンドに分け、各サブバンド信号の二乗平均平方根の平均と傾きを説明変数とし、抜けた高域を同様にサブバンドに分けたときの各サブバンド信号の二乗平均平方根を被説明変数として回帰推定を行い、その結果を最終的な分析特徴量としても良い。
【００４７】
さらにここでは、マイク１１１はモノラルマイクの想定で説明したが、マイク１１１を２つ以上のマイクとして構成しても良い。その場合にはマイクごとに帯域分割を行いそれぞれの信号を環境分析部１１３に供給する。
また前述の分析特徴量に加えて、各マイクからの信号の差分や相関、推定音源方向なども分析特徴量としても良い。
【００４８】
環境分析部１１３の算出した環境音の特徴量である環境音特徴量は、マッピング制御情報調整部１１４に入力される。
【００４９】
マッピング制御情報調整部１１４は、
入力信号分析・マッピング制御情報決定部１０２から、ｎ番目の入力サンプル信号に対する特徴量であるマッピング制御情報α０を入力し、
環境分析部１１３の算出した環境音の特徴量を入力する。
これらは、例えば、いずれも、先に説明した（式１）に従って算出した二乗平均平方根ＲＭＳの値である。
【００５０】
マッピング制御情報調整部１１４は、環境分析部１１３から得られた環境音特徴量に基づいて、ｎ番目の入力サンプル信号に対する特徴量であるマッピング制御情報α０の調整を行い、マッピング処理部１２１に供給する。
【００５１】
マッピング制御情報調整部１１４は、例えば、以下に示す（式２）のような非線形関数を用いてマッピング制御情報調整量ｙを求める。ｘは環境音特徴量ＲＭＳ（ｋ）である。
【００５２】
【数２】
・・・・（式２）
なおｐ，ｑ，ｒは、予め規定したパラメータである。
【００５３】
図４に、上記（式２）に対応するグラフを示す。
図４のグラフは横軸（ｘ）、縦軸（ｙ）を以下の設定としたグラフである。
ｘ：環境音特徴量ＲＭＳ（ｋ）
ｙ：マッピング制御情報調整量
これらの対応関係を示すグラフである。
【００５４】
横軸（ｘ）は環境音のパワー（ｄｂ）に相当する。右方向に進むに従って環境音のパワーが大になることを意味している。
環境音が大きくなるほど、マッピング制御情報調整量ｙは小となり、
環境音が小さくなるほど、マッピング制御情報調整量ｙは大となる。
【００５５】
なお、この実施例では、マッピング制御情報調整量ｙの算出処理に、上記の（式２）に示す非線形関数を用いたが、環境音特徴量とマッピング制御情報調整量の関係を表す線形または非線形関数またはテーブルまたは線形回帰モデルあるいは非線形回帰モデルを使用しても良い。
【００５６】
マッピング制御情報調整部１１４は、（式２）によって算出したマッピング制御情報調整量ｙを用いて、さらに、以下に示す（式３）のような関数を用いて、入力分析・マッピング制御情報決定部１０２から入力する入力サンプル信号に対する特徴量であるマッピング制御情報α０を調整する。
【００５７】
【数３】
・・・・（式３）
【００５８】
上記（式３）において、α０は、入力分析・マッピング制御情報決定部１０２から入力する入力サンプル信号に対する特徴量であるマッピング制御情報ＲＭＳ（ｎ）であり、
αは調整後のマッピング制御情報、
である。
【００５９】
先に図４を参照して説明したように、
環境音が大きくなるほど、マッピング制御情報調整量ｙは小となり、
環境音が小さくなるほど、マッピング制御情報調整量ｙは大となる。
従って、調整後のマッピング制御情報αの値は、以下のように調整される。
環境音が大きくなるほど、調整後のマッピング制御情報αの値は小となり、
環境音が小さくなるほど、調整後のマッピング制御情報αの値は大となる。
【００６０】
なお、この実施例では、調整後のマッピング制御情報αの算出処理として、入力サンプル信号に対する特徴量であるマッピング制御情報α０に（式２）によって算出したマッピング制御情報調整量ｙを加算する例としたが、これらの値を乗算し、例えば、
α＝α０×ｙ
上記式によって、調整後のマッピング制御情報αの算出を行ってもよい。その他、線形または非線形関数またはテーブルまたは線形回帰モデルあるいは非線形回帰モデルを用いる構成としてもよい。
【００６１】
上述したように、マッピング制御情報調整部１１４は、
環境音特徴量ｘ（＝ＲＭＳ（ｋ））を適用して、（式２）に示す非線形関数（図４）を用いてマッピング制御情報調整量ｙを求め、
さらに、マッピング制御情報調整量ｙを用いて、入力分析・マッピング制御情報決定部１０２から入力する入力サンプル信号に対する特徴量であるマッピング制御情報α０の調整値、すなわち、調整マッピング制御情報αを算出する。
【００６２】
マッピング制御情報調整部１１４の算出した調整マッピング制御情報αは、マッピング処理部１２１に入力される。
マッピング処理部１２１は、以下に示す（式４）のような非線形関数をマッピング関数として用い、入力部１０１から入力する再生対象入力信号の振幅を変換し、帯域制限部１２２に出力する。
【００６３】
【数４】
・・・・（式４）
【００６４】
なお、上記（式４）において、
ｘは、例えば、パワーを−１．０〜１．０の範囲で正規化した入力サンプル信号、
αはマッピング制御情報調整部１１４から供給された調整後のマッピング制御情報、
である。
【００６５】
図５に（式４）のグラフを示す。
横軸がｘ、すなわち−１．０〜１．０の正規化信号ｘ、
縦軸がｆ（ｘ）、すなわち、上記（式４）に従って算出される出力ｆ（ｘ）であり、マッピング関数ｆ（ｘ）、
である。
【００６６】
図５には、マッピング制御情報調整部１１４から供給される調整後マッピング制御情報αの値を、
α＝５０、
α＝５、
α＝３、
これらの３種類について例示している。
調整後マッピング制御情報αが小さいほど、増幅量が大きく設定される。
【００６７】
先に（式３）を参照して説明したように、調整後のマッピング制御情報αの値は、以下のように調整される。
環境音が大きくなるほど、調整後のマッピング制御情報αの値は小となり、
環境音が小さくなるほど、調整後のマッピング制御情報αの値は大となる。
従って、環境音が大きくなるほど、増幅量が大きく設定され、環境音が小さくくなるほど、増幅量が小さく設定される。
【００６８】
このように、本開示の音声信号処理装置１００は、環境音に応じて、調整後マッピング制御情報αを変化させることにより入力信号に対する増幅量を変化させる処理を実行する。
なお、増幅量の変化処理による入力信号に対する影響は、例えばｎ番目の入力サンプル信号に対する特徴量であるマッピング制御情報α０（＝ＲＭＳ（ｎ））の大きさによって変化する。即ち、ｎ番目の入力サンプル信号に対して、ＲＭＳ（ｎ）が小さい場合は、急峻な特性のマッピング関数が適用された振幅変換が行なわれ、ＲＭＳ（ｎ）が大きい場合は、緩やかな特性のマッピング関数が適用された振幅変換を行われることになる。
【００６９】
また、環境音の大小に応じてもこの増幅量が変化する。すなわち、図４、図５、及び前述の（式３）、（式４）から理解されるように、環境音の特徴量ＲＭＳ（ｋ）（図４のｘ）が大、すなわち環境音が大きくなるにつれて、調整後のマッピング制御情報αの値が小さくなり、図５に示すように調整量としての増幅量が増え、環境音の大きさに応じたマッピング制御情報の調整処理が実行される。
【００７０】
なお、この実施例ではマッピング関数に非線形関数を用いたが、線形関数や指数関数を用いても良く、−１．０≦ｘ≦１．０の入力に対し、−１．０≦ｆ（ｘ）≦１．０となる条件を満たすものであれば、どんな関数でも適用することが可能である。処理の効果や聴感上適したものをマッピング関数として用いると良い。
【００７１】
また、ここでは、入力信号の１サンプル毎にマッピング制御情報αを導出し、マッピング制御部での振幅変換を制御しているが、例えば連続する２つ以上のサンプル毎に制御情報αを導出し、マッピング制御部での振幅変換を制御するようにしても良い。
【００７２】
このように、マッピング処理部１２１は、上記した（式４）、すなわち図５に示すような非線形関数をマッピング関数として用い、入力部１０１から入力する再生対象入力信号の振幅を変換し、帯域制限部１２２に出力する。
【００７３】
最後に帯域制限部１２２は、マッピング処理部１２１から出力される振幅変換の施された入力信号に対して帯域制限フィルタを適用して帯域制限した出力信号を生成する。例えば、低域カット処理が行われる。具体的には、例えば、出力部である小型のスピーカ１２３で再生した場合に帯域制限前と比較しても聴感上の差が小さい程度に低域をカットする処理が実行される。
【００７４】
なお、帯域制限部１２２は、マッピング処理部１２１から出力される振幅変換の施された入力信号に対して帯域制限を行う代わりに再生対象入力信号に対して帯域制限しても良い。さらに、スピーカ１２３の性能によって再生可能な帯域が制限される場合、つまりスピーカ再生時に自然と帯域制限される場合には、改めて帯域制限処理をしなくても良い。また、ここでは帯域制限部でカットされる周波数を低域のみとしたが、高域のみあるいは低域及び高域両方をカットしても良い。
聴感及び前述の環境分析部１１３での分析に適した周波数帯域に帯域制限すると良い。
【００７５】
以上のように、マイク１１１において取得される収音信号を帯域分割し、環境音の分析結果から適切なマッピング制御情報調整量を求めることで、環境音の大きさに応じた最適なマッピング制御情報を求めることができ、ユーザに環境に応じた最適な再生レベル制御を実現することができる。
【００７６】
［２．第２の実施形態について］
本発明の第２の実施形態による音声信号処理装置のブロック図を図６に示す。
図６に示す音声信号処理装置２００は、
入力部２０１、
入力分析・マッピング制御情報決定部２０２、
マイク２１１、
帯域分割部２１２、
環境分析部２１３、
マッピング処理部２２１、
帯域制限部２２２、
スピーカ２２３、
を有する。
【００７７】
図２を参照して説明した第１実施形態の音声信号処理装置１００との差異は、図２に示すマッピング制御情報調整部１１４を省略した点である。
図６に示す第２実施形態の音声信号処理装置２００では、入力分析・マッピング制御情報決定部２０２が、マッピング処理部２２１に出力する最終的なマッピング制御情報αを生成する。
【００７８】
その他の構成の処理は、第１の実施形態と同様である。すなわち、マイク２１１の取得する収音信号を帯域分割し、環境分析部において分析し、環境音特徴量ＲＭＳ（ｋ）を求める。
【００７９】
入力信号分析・マッピング制御情報決定部２０２は、第１実施形態と同様、入力部２０１から入力する再生対象入力信号の特性を分析し入力音特徴量ＲＭＳ（ｎ）を求める。そして、入力音特徴量ＲＭＳ（ｎ）と環境音特徴量ＲＭＳ（ｋ）から以下に示す（式５）の関数を用いてマッピング制御情報αを求め、マッピング処理部２２１に供給する。
【００８０】
【数５】
・・・・（式５）
ａ，ｂは予め規定したパラメータである。
【００８１】
本実施例では、入力信号分析・マッピング制御情報決定部２０２のみにおいて、入力音特徴量ＲＭＳ（ｎ）と環境音特徴量ＲＭＳ（ｋ）から上記の（式５）の関数を用いてマッピング制御情報αを求め、マッピング処理部２２１に供給する。
【００８２】
なお、この第２実施形態においても入力信号と環境音の分析特徴量としてＲＭＳ（ｎ）、ＲＭＳ（ｋ）を示したが、第１の実施形態において説明したと同様の、この他の分析特徴量を用いても良い。
【００８３】
マッピング処理部２２１は、前述の第１実施形態と同様、先に説明した（式４）のような非線形関数をマッピング関数として用いる。（式４）において、ｘは−１．０，〜１．０の範囲の正規化された入力サンプル信号、αはマッピング制御情報である。
【００８４】
以下、本発明の第１の実施形態と同様にマッピング処理を行い、帯域制限部２２２において帯域制限を行い、スピーカ２２３を介して出力信号を出力する。
【００８５】
以上のように収音信号を帯域分割し、環境音を分析し、その分析特徴量に基づいてマッピング制御情報を求めることで、環境音の大きさに応じた最適なマッピング制御情報を求めることができ、ユーザに環境に応じた最適な再生レベル制御を実現することができる。
【００８６】
［３．第３の実施形態について］
本開示の第３の実施形態による音声信号処理装置３００のブロック図を図７に示す。
図７に示す音声信号処理装置３００は以下の構成を有する。
入力部３０１、
入力分析部３０２、
マッピング制御情報決定部３０３、
マッピング制御モデル３０４（記憶部）、
マイク３１１、
帯域分割部３１２、
環境分析部３１３、
マッピング制御情報調整部３２１、
マッピング処理部３２２、
帯域制限部３２３、
スピーカ３２４、
これらの構成を有する。
【００８７】
図７において、入力部３０１から入力された再生対象入力信号は、入力分析部３０２に供給され、その特性を分析される。
【００８８】
入力分析部３０２は、先に第１実施形態において説明した（式１）に従って、入力部３０１からの入力信号のｎ番目のサンプルを中心としたＮサンプルによる二乗平均平方根ＲＭＳ（ｎ）を、ｎ番目の再生対象入力信号に対する入力音特徴量として算出してマッピング制御情報決定部３０３に供給する。
なお、分析特徴量は、ＲＭＳ（ｎ）に限らず、前述の他の分析特徴量を使用または任意に追加・組み合わせても良い。
【００８９】
次に、マッピング制御情報決定部３０３において、予め実行される学習処理によって生成したマッピング制御モデル３０４を用いて、入力した分析特徴量に対応するマッピング制御情報を求め、マッピング制御情報調整部３２１に供給する。
【００９０】
マッピング制御モデル３０４は、学習処理、すなわち学習データを適用した統計解析に基づいて予め生成する。
図８を参照してマッピング制御モデル３０４の生成方法について説明する。
図８はマッピング制御モデル３０４を生成する学習処理、すなわち統計解析処理を実行する学習装置３５０の構成を示す図である。
【００９１】
図８に示す学習装置３５０は、入力部３５１、マッピング制御情報付与部３５２、マッピング処理部３５３、帯域制限部３５４、スピーカ３５５、入力分析部３５６、マッピング制御モデル学習部３５７、および記録部３５８から構成される。学習装置３５０では、マッピング制御モデルの学習に用いられる学習音源信号が、マッピング制御情報付与部３５２、入力分析部３５６、およびマッピング処理部３５３に供給される。
【００９２】
入力部３５１は、例えばユーザにより操作されるボタン等からなり、ユーザの操作に応じた信号をマッピング制御情報付与部３５２に供給する。マッピング制御情報付与部３５２は、入力部３５１からの信号に応じて、供給された学習音源信号の各サンプルにマッピング制御情報を付与し、マッピング処理部３５３またはマッピング制御モデル学習部３５７に供給する。
【００９３】
マッピング処理部３５３は、マッピング制御情報付与部３５２からのマッピング制御情報を用いて、供給された学習音源信号に対してマッピング処理を行い、その結果得られた学習出力信号を帯域制限部３５４に供給する。帯域制限部３５４は例えば低域カット等の帯域制限処理を行い、処理信号をスピーカ３５５に供給する。スピーカ３５５は、マッピング処理部３５３の生成した学習出力信号に基づいて、音声を再生する。
【００９４】
入力分析部３５６は、供給された学習音源信号の特性を分析して、その分析結果を示す分析特徴量をマッピング制御モデル学習部３５７に供給する。マッピング制御モデル学習部３５７は、入力分析部３５６からの分析特徴量と、マッピング制御情報付与部３５２からのマッピング制御情報とを用いた統計学習によりマッピング制御モデルを求め、記録部３５８に供給する。
【００９５】
記録部３５８は、マッピング制御モデル学習部３５７から供給されたマッピング制御モデルを記録する。このようにして記録部３５８に記録されたマッピング制御モデルは、図７に示す音声信号処理装置３００の記憶部にマッピング制御モデル３０４として記録される。
【００９６】
なお、図８に示す学習装置３５０は、図７に示す音声信号処理装置３００の内部に構成することも可能であり、外部装置として構成することも可能である。図８に示す学習装置３５０を図７に示す音声信号処理装置３００の内部に構成する場合、図８に示す学習装置の構成要素中、図７に示す音声信号処理装置３００の構成要素と共通する構成要素については、音声信号処理装置３００の構成要素を学習装置の構成要素として適用可能である。
【００９７】
次に、図９に示すフローチャートを参照して、図８に示す学習装置３５０による学習処理について説明する。
この学習処理では、１または複数の学習音源信号が学習装置３５０に供給される。また、この場合において、入力分析部３５６、マッピング処理部３５３、スピーカ３５５等は、学習により求められるマッピング制御モデルが供給される音声信号処理装置３００の入力分析部３２１、マッピング処理部３２２等の対応する各ブロックと同様のものとされる。すなわち、ブロックの特性や処理のアルゴリズムが同じものとされる。
【００９８】
ステップＳ１１において、入力部３５１は、ユーザからのマッピング制御情報の入力または調整を受け付ける。
例えば、学習音源信号が入力されると、マッピング処理部３５３は供給された学習音源信号をスピーカ３５５に供給し、学習音源信号に基づく音声を出力させる。すると、ユーザは出力された音声を聞きながら、学習音源信号の所定のサンプルを処理対象サンプルとして入力部３５１を操作し、処理対象サンプルに対するマッピング制御情報の付与を指示する。
【００９９】
なお、マッピング制御情報付与の指示は、例えばユーザがマッピング制御情報を直接入力したり、いくつかのマッピング制御情報から所望のものを指定したりすることで行なわれる。また、ユーザが一度指定されたマッピング制御情報の調整を指示することで、マッピング制御情報の付与を指示するようにしてもよい。
【０１００】
このようにしてユーザが入力部３５１を操作すると、マッピング制御情報付与部３５２は、ユーザの操作に応じて処理対象サンプルに対してマッピング制御情報を付与する。そして、マッピング制御情報付与部３５２は、処理対象サンプルに対して付与したマッピング制御情報を、マッピング処理部３５３に供給する。
ステップＳ１２において、マッピング処理部３５３は、マッピング制御情報付与部３５２から供給されたマッピング制御情報を用いて、供給された学習音源信号の処理対象サンプルに対してマッピング処理を行い、その結果得られた学習出力信号をスピーカ３５５に供給する。
【０１０１】
例えば、マッピング処理部３５３は、学習音源信号の処理対象サンプルのサンプル値ｘを、前述した（式４）に示す非線形のマッピング関数ｆ（ｘ）に代入して振幅変換を行なう。つまり、サンプル値ｘをマッピング関数ｆ（ｘ）に代入して得られた値が、学習出力信号の処理対象サンプルのサンプル値とされる。
【０１０２】
なお、（式４）において学習音源信号のサンプル値ｘは、−１から１までの値となるように正規化されているものとする。また、（式４）において、αはマッピング制御情報を示している。
【０１０３】
このようなマッピング関数ｆ（ｘ）は、図５に示すようにマッピング制御情報αが小さいほど、急峻に変化する関数となる。なお、図５において、横軸は学習音源信号のサンプル値ｘを示しており、縦軸はマッピング関数ｆ（ｘ）の値を示している。マッピング制御情報αが「３」、「５」、および「５０」であるときのマッピング関数ｆ（ｘ）を表している。
【０１０４】
図５から分かるように、マッピング制御情報αが小さいほど、全体的にサンプル値ｘの変化に対するｆ（ｘ）の変化量が大きいマッピング関数ｆ（ｘ）が用いられて、学習音源信号の振幅変換が行なわれる。このようにマッピング制御情報αを変化させると、学習音源信号に対する増幅量が変化する。
【０１０５】
図９のフローチャートの説明に戻り、ステップＳ１３において、スピーカ３５５は、マッピング処理部３５３から供給された学習出力信号を再生する。
なお、より詳細には、処理対象サンプルを含む所定の区間に対してマッピング処理が行われて得られた学習出力信号が再生される。ここで、再生対象となる区間は、例えば既にマッピング制御情報が指定されているサンプルからなる区間などとされる。この場合、処理対象となる区間の各サンプルが、それらのサンプルに対して定められたマッピング制御情報が用いられてマッピング処理され、その結果得られた学習出力信号が再生される。
【０１０６】
このようにして学習出力信号が再生されると、ユーザはスピーカ３５５から出力された音声を聞きながら、マッピング処理の効果を評価する。すなわち、学習出力信号の音声の音量が適切であるかが評価される。そして、ユーザは入力部３５１を操作して、その評価の結果から、マッピング制御情報の調整を指示するか、または指定したマッピング制御情報が最適なものであるとして、指定したマッピング制御情報の確定を指示する。
【０１０７】
ステップＳ１４において、マッピング制御情報付与部３５２は、入力部３５１から供給されるユーザの操作に応じた信号に基づいて、最適なマッピング制御情報が得られたか否かを判定する。例えば、ユーザによりマッピング制御情報の確定が指示された場合、最適なマッピング制御情報が得られたと判定される。
【０１０８】
ステップＳ１４において、まだ最適なマッピング制御情報が得られていないと判定された場合、すなわちマッピング制御情報の調整が指示された場合、処理はステップＳ１１に戻り、上述した処理が繰り返される。
【０１０９】
この場合、処理対象のサンプルに対して、新たなマッピング制御情報が付与されて、そのマッピング制御情報の評価が行なわれる。このように、学習出力信号の音声を実際に聞きながら、マッピング処理の効果を評価することで、聴感上、最適なマッピング制御情報を付与することができる。
【０１１０】
これに対して、ステップＳ１４において、最適なマッピング制御情報が得られたと判定された場合、処理はステップＳ１５に進む。ステップＳ１５において、マッピング制御情報付与部３５２は、処理対象のサンプルに対して付与されたマッピング制御情報を、マッピング制御モデル学習部３５７に供給する。
【０１１１】
ステップＳ１６において、入力分析部３５６は、供給された学習音源信号の特性を分析し、その結果得られた分析特徴量をマッピング制御モデル学習部３５７に供給する。
例えば学習音源信号のｎ番目のサンプルが処理対象のサンプルであるとすると、入力分析部３５６は、前述の（式１）の演算を行なって、学習音源信号のｎ番目のサンプルについての二乗平均平方根ＲＭＳ（ｎ）を、ｎ番目のサンプルの分析特徴量として算出する。
【０１１２】
なお、本例において、（式１）において、ｘ（ｍ）は、学習音源信号のｍ番目のサンプルのサンプル値（学習音源信号の値）を示している。また、（式１）においては、学習音源信号の値、つまり学習音源信号の各サンプルのサンプル値は、−１≦ｘ（ｍ）≦１となるように正規化されているものとする。
【０１１３】
したがって二乗平均平方根ＲＭＳ（ｎ）は、ｎ番目のサンプルを中心とするＮ個の連続するサンプルからなる区間について、その区間に含まれるサンプルのサンプル値の二乗平均値の平方根の対数をとり、これにより得られた値に定数「２０」を乗算することで得られる。
【０１１４】
このようにして得られた二乗平均平方根ＲＭＳ（ｎ）の値は、処理対象となっている学習音源信号のｎ番目のサンプルを中心とする特定区間の各サンプルのサンプル値の絶対値が小さいほど、小さくなる。つまり、学習音源信号の処理対象のサンプルを含む特定区間全体の音声の音量が小さいほど、二乗平均平方根ＲＭＳ（ｎ）は小さくなる。
【０１１５】
なお、分析特徴量の例として、二乗平均平方根ＲＭＳ（ｎ）について説明したが、分析特徴量は、ＲＭＳ（ｎ）のｔ乗値（但し、ｔ≧２）や、学習音源信号の零交差率、学習音源信号の周波数エンベロープの傾きなどとしてもよいし、それらを組み合わせたもの、例えば重み付け加算結果を用いてもよい。
【０１１６】
以上のようにして、入力分析部３５６からマッピング制御モデル学習部３５７に分析特徴量が供給されると、マッピング制御モデル学習部３５７は、処理対象のサンプルについて求められた分析特徴量と、そのサンプルのマッピング制御情報とを対応付けて、一時的に記録する。
【０１１７】
ステップＳ１７において、学習装置５１は、充分な数のマッピング制御情報が得られたか否かを判定する。例えば、一時的に記録している分析特徴量とマッピング制御情報のセットが、マッピング制御モデルを学習するのに充分な数だけ得られた場合、充分な数のマッピング制御情報が得られたと判定される。
【０１１８】
ステップＳ１７において、充分な数のマッピング制御情報が得られていないと判定された場合、処理はステップＳ１１に戻り、上述した処理が繰り返される。すなわち、学習音源信号の現時点で処理対象となっているサンプルの次のサンプルが、新たな処理対象サンプルとされてマッピング制御情報が付与されたり、新たな学習音源信号のサンプルに対してマッピング制御情報が付与されたりする。また、異なるユーザにより、学習音源信号のサンプルにマッピング制御情報が付与されるようにしてもよい。
【０１１９】
ステップＳ１７において、充分な数のマッピング制御情報が得られたと判定された場合、ステップＳ１８において、マッピング制御モデル学習部３５７は、一時的に記録している分析特徴量とマッピング制御情報のセットを用いて、マッピング制御モデルを学習する。
【０１２０】
例えば、マッピング制御モデル学習部３５７は、以下に示す（式６）の計算を行なうことにより、分析特徴量からマッピング制御情報αが得られるとして、（式６）に示す関数をマッピング制御モデルとし、これを学習により求める。
【０１２１】
【数６】
・・・（式６）
【０１２２】
なお、（式６）において、ｘは分析特徴量を示しており、ａ，ｂ，ｃは定数である。特に、定数ｃは、分析特徴量ｘと無相関なオフセット項である。
【０１２３】
この場合、マッピング制御モデル学習部６６は、（式６）におけるｘおよびｘ２に対応する二乗平均平方根ＲＭＳ（ｎ）および二乗平均平方根ＲＭＳ（ｎ）の二乗値を説明変数とし、マッピング制御情報αを被説明変数として、最小二乗法により線形回帰モデルの学習を行い、モデルパラメータａ，ｂ，ｃを求める。
【０１２４】
これにより、例えば図１０に示す結果が得られる。なお、図１０において縦軸はマッピング制御情報αを示しており、横軸は分析特徴量としての二乗平均平方根ＲＭＳ（ｎ）を示している。図１０では、曲線は、各分析特徴量の値に対して定まるマッピング制御情報αの値、つまり上述した（式６）に示される関数のグラフを示している。
【０１２５】
この例では、学習音源信号や入力信号などの音声信号の音声の音量が小さく、分析特徴量が小さいほど、マッピング制御情報αの値も小さくなる。
以上のような学習により、分析特徴量からマッピング制御情報を得るための関数、
ａｘ２＋ｂｘ＋ｃ
における、
定数ａ，ｂ，ｃ
が定まると、マッピング制御モデル学習部３５７は、これらの定数をマッピング制御モデルのモデルパラメータとして記録部３５８に供給し、記録させる。
【０１２６】
学習により得られたマッピング制御モデルが記録部３５８に記録されると、学習処理は終了する。記録部３５８に記録されたマッピング制御モデルは、その後、図７に示す音声信号処理装置３００の記録部にマッピング制御モデル３０４として記録され、マッピング処理に利用される。
【０１２７】
以上のようにして、図８に示す学習装置３５０は、図７に示す音声信号処理装置３００ごとに複数の学習音源信号や、複数のユーザにより指定されたマッピング制御情報を用いて、学習によりマッピング制御モデルを求める。
【０１２８】
したがって、得られたマッピング制御モデルを用いれば、再生対象の入力信号や、再生された音声を聞くユーザによらず、音声信号処理装置３００に対して統計的に最適なマッピング制御情報を得ることができるようになる。特に、１人のユーザにより付与されたマッピング制御情報のみを用いて学習を行なうようにすれば、そのユーザに対して最適なマッピング制御情報が得られるマッピング制御モデルを生成することができる。
【０１２９】
なお、以上においては、学習音源信号に対して、１サンプルごとにマッピング制御情報の入力や調整を行なう場合を例として説明したが、学習音源信号の連続する２以上のサンプルごとに、マッピング制御情報の入力や調整が行なわれるようにしてもよい。
【０１３０】
また、ここではマッピング制御モデルとしてＲＭＳ（ｎ）に関する２次式を用いたが、３次以上の関数を用いても良い。
また、マッピング制御モデルの説明変数として、二乗平均平方根ＲＭＳ（ｎ）とその二乗値を用いると説明したが、説明変数として他の分析特徴量を任意に追加したり、組み合わせたりするようにしてもよい。例えば、他の分析特徴量としては、二乗平均平方根ＲＭＳ（ｎ）のｔ乗値（但し、ｔ≧３）や、学習音源信号の零交差率、学習音源信号の周波数エンベロープの傾きなどが考えられる。
【０１３１】
このように、図７に示すマッピング制御情報決定部３０３は、図８〜図９を参照して説明した学習処理によって得られたマッピング制御モデル３０４、例えば図１０に示す分析特徴量としての二乗平均平方根ＲＭＳ（ｎ）と、マッピング制御情報αとの対応関係データを用いて、入力分析部３０２から入力する分析特徴量に対する最適なマッピング制御情報αを算出してマッピング制御情報調整部３２１に出力する。
【０１３２】
次に、マッピング制御情報調整部３２１は、マッピング制御情報決定部３０３から得られたマッピング制御情報αに対して、環境音の大きさに応じたマッピング制御情報の調整を行う。この処理は、第１実施形態と同様の処理である。
【０１３３】
以下、前述の第１の実施形態と同様、マッピング処理部３２２においてマッピング処理を行い、帯域制限部３２３において帯域制限を行い、スピーカ３２４を介して出力信号を出力する。
【０１３４】
以上のように、この第３実施形態の音声信号処理装置３００は、事前の統計解析に基づいたマッピング制御モデルを用いるに加えて環境音の分析結果に基づいたマッピング制御情報の調整を行うことにより、環境音の大きさに応じた最適なマッピング制御情報を求めることができ、ユーザに環境音に応じた最適な再生レベル制御を実現することができる。
【０１３５】
［４．第４の実施形態について］
本発明の第４の実施形態による音声信号処理装置４００のブロック図を図１１に示す。
図１１に示す音声信号処理装置４００は、以下の構成を有する。
入力部４０１、
入力分析部４０２、
マッピング制御情報決定部４０３、
マッピング制御モデル４０４（記憶部）、
マイク４１１、
帯域分割部４１２、
環境分析部４１３、
マッピング処理部４２１、
帯域制限部４２２、
スピーカ４２３、
これらの構成を有する。
【０１３６】
図７を参照して説明した構成との差異は、図７に示すマッピング制御情報調整部３２１を省略した点である。
さらに、マッピング制御モデル４０４（記憶部）が、図７に示すデータとは異なり、環境音を考慮して生成されたデータである点が異なる。
【０１３７】
本実施形態では、マッピング制御情報決定部４０３マッピング処理部２２１において適用するマッピング制御情報を生成する構成となっている。
図１１に示す音声信号処理装置４００おいて、入力部４０１から入力された入力信号は、入力分析部４０２に供給され、その特性を分析される。
次に本発明の第１の実施形態と同様、マイク４１１を介して入力する収音信号は帯域分割部４１２において帯域分割され、環境分析部４１３で分析される。
入力分析部４０２からの入力音特徴量と環境分析部４１３からの環境音特徴量がマッピング制御情報決定部４０３に供給される。
これらの処理は、第１実施形態〜第３実施形態で説明した処理と同様の処理である。
【０１３８】
次に、マッピング制御情報決定部４０３において、環境音を考慮した学習書によって生成されたマッピング制御モデル４０４を用いて、分析特徴量からマッピング制御情報を求め、マッピング処理部４２１に供給する。
【０１３９】
マッピング制御モデル４０４は、例えば、図１２に示す学習装置５００において生成される。
図１２に示す学習装置５００は、入力部５０１、マッピング制御情報付与部５０２、マッピング処理部５０３、帯域制限部５０４、スピーカ５０５、入力分析部５０６、マッピング制御モデル学習部５０７、記録部５０８、マイク５１１、帯域分割部５１２、環境分析部５１３、環境音スピーカ５３１から構成される。なお、環境音スピーカ５３１は、外部装置のスピーカとしてもよい。
学習装置５００では、マッピング制御モデルの学習に用いられる学習音源信号が、マッピング制御情報付与部５０２、入力分析部５０６、およびマッピング処理部５０３に供給される。
また、学習環境音信号が環境音スピーカ５３１を介してマイク５１１に入力される。
【０１４０】
入力部５０１は、例えばユーザにより操作されるボタン等からなり、ユーザの操作に応じた信号をマッピング制御情報付与部５０２に供給する。マッピング制御情報付与部５０２は、入力部５０１からの信号に応じて、供給された学習音源信号の各サンプルにマッピング制御情報を付与し、マッピング処理部５０３またはマッピング制御モデル学習部５０７に供給する。
【０１４１】
マッピング処理部５０３は、マッピング制御情報付与部５０２からのマッピング制御情報を用いて、供給された学習音源信号に対してマッピング処理を行い、その結果得られた学習出力信号を帯域制限部５０４に供給する。帯域制限部５０４は例えば低域カット等の帯域制限処理を行い、処理信号をスピーカ５０５に供給する。スピーカ５０５は、マッピング処理部５０３の生成した学習出力信号に基づいて、音声を再生する。
【０１４２】
入力分析部５０６は、供給された学習音源信号の特性を分析して、その分析結果を示す分析特徴量をマッピング制御モデル学習部５０７に供給する。また、マイク５１１を介して入力される環境音とスピーカ５０５の出力信号を含む収音信号は帯域分割部５１２において環境音によって構成される低域信号と高域信号に分離され、環境分析部５１３が環境音の特徴量、例えばＲＭＳ（ｋ）を生成する。これらマイク５１１〜環境分析部５１３の処理は、第１実施形態他のマイク〜環境分析部の実行する処理と同様である。
【０１４３】
マッピング制御モデル学習部３５７は、入力分析部３５６からの再生対象学習音信号対応の分析特徴量と、環境分析部５１３からの学習環境音対応の環境音特徴量と、マッピング制御情報付与部５０２からのマッピング制御情報とを用いた統計学習によりマッピング制御モデルを求め、記録部５０８に供給する。
【０１４４】
記録部５０８は、マッピング制御モデル学習部５０７から供給されたマッピング制御モデルを記録する。このようにして記録部５０８に記録されたマッピング制御モデルは、図１２に示す音声信号処理装置４００の記憶部にマッピング制御モデル４０４として記録される。
【０１４５】
なお、図１２に示す学習装置５００は、図１１に示す音声信号処理装置４００の内部に構成することも可能であり、外部装置として構成することも可能である。図１２に示す学習装置５００を図１１に示す音声信号処理装置４００の内部に構成する場合、図１２に示す学習装置の構成要素中、図１１に示す音声信号処理装置４００の構成要素と共通する構成要素については、音声信号処理装置４００の構成要素を学習装置の構成要素として適用可能である。
【０１４６】
次に、図１３に示すフローチャートを参照して、図１２に示す学習装置５００による学習処理について説明する。
図１３に示すフローチャートのステップＳ０１に示すように、まず学習処理開始時に、例えば視聴室内で、図１２に示す環境音スピーカ５３１から環境音を再生し、その環境下でマッピング制御情報の入力または調整を受け付ける。
【０１４７】
ステップＳ１１〜ステップＳ１７の処理は、先に図９のフローチャートを参照して説明した図９に示すステップＳ１１〜ステップＳ１７の処理と同様の処理である。
これらの処理によって、ステップＳ０１において再現した１つの環境音の下での学習音源信号の特性の分析処理による入力音特徴量を得る。また、再現している環境下での収音信号を帯域分割し、その分割信号の特性を分析して環境音特徴量を得る。
これを十分な数のマッピング制御情報が得られるまで同じ環境下で繰り返す。
【０１４８】
そして、ステップＳ２１において、十分な数のマッピング制御情報が得られたのちに、次の環境音を再現し、その環境下で同様に十分な数のマッピング制御情報を集める。これを十分な数の環境音で行う。
例えば予め、ｍ種類の異なる学習環境音ＳＲＳ１〜ＳＲＳｍを準備し、これらのｍ種類の異なる学習環境音ＳＲＳ１〜ＳＲＳｍの環境下で十分な数のマッピング制御情報を集める。これら十分な数の環境音を再現したのちに、ステップＳ２２においてマッピング制御モデルを学習する。
【０１４９】
なお、先に図８を参照して説明した第３の実施形態における学習装置３５０では入力分析部３５６から入力する再生対象音に対応する学習音源の入力音特徴量のみを説明変数としていたが、この図１２に示す学習装置５００は、再生対象音に対応する学習音源の入力音特徴量と、学習環境音に対応して解析される環境分析部５１３からの環境音特徴量の両方を説明変数としてマッピング制御モデルを求める。
【０１５０】
本実施形態において算出するマッピング制御モデルは、先に図１０を参照して説明した再生対象信号の分析特徴量としての二乗平均平方根ＲＭＳ（ｎ）と、マッピング制御情報αとの対応関係データであり、この対応関係データをさらに、各環境音（前述の学習環境音ＳＲＳ１〜ＳＲＳｍ）毎に設定した複数のデータによって構成される。
あるいは、
再生対象信号の分析特徴量としての二乗平均平方根ＲＭＳ（ｎ）と、
環境音の分析特徴量としての二乗平均平方根ＲＭＳ（ｋ）と、
マッピング制御情報α、
これらをｘｙｚ軸に設定した３次元データとして設定してもよい。
本実施例では、再生対象信号の分析特徴量と、環境音の分析特徴量から、最適なマッピング制御情報αを求めることを可能としたマッピング制御モデルが生成される。
【０１５１】
なお、図１２に示す学習装置では環境音を出力するスピーカをモノラルスピーカでとして設定した例を説明したが、２チャンネル以上のスピーカで環境音を再現しても良い。あるいは実際の環境下でマッピング制御情報の入力または調整を行っても良い。
【０１５２】
このように、図１１に示すマッピング制御情報決定部４０３は、図１２〜図１３を参照して説明した学習処理によって得られたマッピング制御モデル４０４を用いて、入力分析部４０２から入力する分析特徴量と、環境ブンな席部５１３から入力する環境音特徴量に対応する最適なマッピング制御情報αを算出してマッピング処理部４２１に出力する。
【０１５３】
次に、マッピング処理部４２１は、前述の第２の実施形態と同様のマッピング処理を行い、マッピング処理結果を帯域制限部４２２に出力する。帯域制限部４２２は、前述の第１実施形態と同様の帯域制限を行い、スピーカ４２３を介して出力信号を出力する。
【０１５４】
以上のように、図１１に示す本実施形態の音声信号処理装置４００は、事前の学習処理、すなわち学習データを適用した統計解析に基づいたマッピング制御モデルを適用した構成である。本実施形態におけるマッピング制御モデルは、再生対象信号である入力信号の分析結果と環境音の分析結果の両方を説明変数として用いたものであり、環境音の大きさに応じた最適なマッピング制御情報を求めることができ、ユーザに環境に応じた最適な再生レベル制御を実現することができる。
【０１５５】
［５．第５の実施形態について］
次に、本開示の音声信号処理装置の第５の実施形態について図１４を参照して説明する。
図１４に示す音声信号処理装置６００は、再生対象とする入力信号が左チャンネルと右チャンネルの複数の信号によって構成される。
このように、音声信号のチャンネル数が２以上の場合、チャンネル毎に独立した振幅変換を行うと音量バランスが変化してしまうため、全てのチャンネルにおいて同一の振幅変換を行うのが望ましい。
【０１５６】
図１４に示す音声信号処理装置６００は、
左チャンネル入力信号の入力部６０１、
右チャンネル入力信号の入力部６０２、
左右チャンネル入力信号の分析処理を行う入力分析部６０３を有する。
さらに、入力分析部６０３から入力音特徴量に基づいて、マッピング制御モデル６０５を適用してマッピング制御情報を決定するマッピング盛儀情報決定部６０４、
マッピング制御モデル６０５を格納した記憶部を有する。なお、このマッピング制御モデルは、前述の第４実施形態において利用された図１１に示すマッピング制御モデル４０４と同様のデータである。
【０１５７】
さらに、図１４に示す音声信号処理装置６００は、以下の構成を有する。
環境音を取得するマイク６１１、
マイク６１１からの収音信号を入力して帯域分割を行う帯域分割部６１２、
帯域分割部６１２の生成する環境音の含まれる低域信号の特徴量を取得する環境分析部６１３、
これらの構成を有する。これらの構成は、先に説明した第１実施形態と同様の構成である。
【０１５８】
さらに、図１４に示す音声信号処理装置６００は、以下の構成を有する。
左チャンネル入力信号のマッピング処理を行うマッピング処理部６２１、
左チャンネル入力信号のマッピング処理結果に対する帯域制限処理を行う帯域制限部６２２、
左チャンネル入力信号の帯域制限結果を出力するスピーカ６２３、
右チャンネル入力信号のマッピング処理を行うマッピング処理部６３１、
右チャンネル入力信号のマッピング処理結果に対する帯域制限処理を行う帯域制限部６３２、
右チャンネル入力信号の帯域制限結果を出力するスピーカ６３３、
これらの構成を有する。
【０１５９】
入力部６０１，６０２から入力された左右チャンネルの再生対象入力信号に対し、入力分析部６０３においてその特性を分析し、左右チャンネルで共通の入力音特徴量を求める。またマイク６１１から入力された信号に対して帯域分割部６１２において帯域分割を行い、環境分析部６１３においてその特性を分析し環境音特徴量を求める。
【０１６０】
入力分析部６０３の生成した入力音特徴量と、環境分析部６１３の生成した環境音特徴量がマッピング制御情報決定部６０４に供給される。
マッピング制御情報決定部６０４は、先に図１１を参照して説明した第４の実施形態と同様のマッピング制御モデル６０５を適用してマッピング制御情報を求める。
このマッピング制御情報は、左右チャンネルで同一のマッピング制御情報である。
【０１６１】
このマッピング制御情報が、
左チャンネル入力信号のマッピング処理を行うマッピング処理部６２１と、
右チャンネル入力信号のマッピング処理を行うマッピング処理部６３１、
これらの２つのマッピング処理部に出力され、チャンネル毎にマッピング処理を行う。
その後、マッピング処理された各チャンネルの信号に対して、帯域制限部６２２，６３２において帯域制限を行いスピーカ６２３，６３３を介して出力信号を出力する。
なお、図１４に示す構成は、入力信号を２チャンネルとした例であるが、３つ以上の入力信号の場合には、各チャンネル単位の入力部、マッピング処理部、帯域制限部、スピーカを設ければよい。
【０１６２】
以上のように、入力信号が複数の場合には、共通のマッピング制御情報を生成し、この共通のマッピング制御情報を適用して全てのチャンネルで同一の振幅変換を行う。このような処理により、チャンネル間の音量バランスを変えることなく、音声信号の再生レベルを強調することが可能な音声信号処理方法及び装置が実現できる。
【０１６３】
［６．第６の実施形態について］
次に、図１５を参照して、本開示の第６の実施形態に従った音声信号処理装置７００の構成と処理について説明する。
図１５に示す音声信号処理装置７００は、入力部７０１を介して入力する再生対象入力信号を帯域分割フィルタ７０２に入力し、入力信号を高域信号と低域信号に分離して、処理を行う構成を有する。その他の構成は、先に図１１を参照して説明した第４の実施形態と同様である。
【０１６４】
音声や音楽は周波数帯域によってその特性が異なる。よって、周波数帯域毎に適した分析を行うことで、より処理や聴感上に適した分析特徴量を得ることができる。
【０１６５】
図１５に示す音声信号処理装置７００において、入力部７０１から入力された再生対象入力信号は帯域分割フィルタ７０２によって３００Ｈｚ前後で帯域制限された低域信号と高域信号に分割され、入力分析部７０３に供給される。そして入力分析部７０３において、低域信号及び高域信号に対してそれぞれ異なる分析を行い、それらの結果から共通の分析特徴量を求める。
【０１６６】
入力分析部７０３は、例えば以下に示す（式７）〜（式９）に従って、低域信号及び高域信号に対してそれぞれ異なる分析を行い、それらの結果から共通の分析特徴量を求める。
（式７）は、低域信号のｎ番目のサンプルに対応する特徴量としての二乗平均平方根ＲＭＳ＿ｌ（ｎ）の算出式である。
（式８）は、高域信号のｎ番目のサンプルに対応する特徴量としての二乗平均平方根ＲＭＳ＿ｈ（ｎ）の算出式である。
それぞれ、各帯域分割信号のｎ番目のサンプルを中心としたＮ及びＭサンプルによる二乗平均平方根ＲＭＳ＿ｌ（ｎ）、ＲＭＳ＿ｈ（ｎ）を算出する。
【０１６７】
【数７】
・・・（式７）
【０１６８】
【数８】
・・・（式８）
【０１６９】
上記（式７）、（式８）において、ｘ＿ｌ、ｘ＿ｈは再生対象入力信号ｘから帯域分割フィルタによって得られた低域信号及び高域信号であり、例えばパワーレベルを−１．０〜１．０で正規化した信号とする。
【０１７０】
入力分析部７０３は、
上記（式７）に従って算出した低域信号の特徴量ＲＭＳ＿ｌ（ｎ）、
上記（式８）に従って算出した高域信号の特徴量ＲＭＳ＿ｈ（ｎ）、
これらの各値を、以下に示す（式９）に従って、予め規定した重みａ，ｂを用いて重み付け加算を行い、低域信号及び高域信号共通の分析特徴量ＲＭＳ'（ｎ）を求める。なお、重みａ，ｂは、例えば＝ａ＝ｂ＝０．５とする。
【０１７１】
【数９】
・・・（式９）
【０１７２】
上記の（式９）に従って求められたＲＭＳ'（ｎ）を再生対象入力信号の分析特徴量とする。
ここで得られたＲＭＳ'（ｎ）をｎ番目の再生対象入力信号に対する入力音特徴量として、マッピング制御情報決定部７０４に供給する。
【０１７３】
なお、上記（式９）において、重みａ，ｂを均等にしているが、特定の帯域の信号に大きな重みをかける設定としてもよい。また、上記の処理例では、入力信号の周波数帯域を３００Ｈｚで二分割した処理例としているが、帯域制限部７２２での帯域制限内であれば２００Ｈｚや４００Ｈｚ、１ｋＨｚ、３．４ｋＨｚなど別の周波数で分割した信号、あるいは三分割以上の帯域信号に分割した信号から分析特徴量を求めても良い。さらにまた、入力信号と帯域分割信号に対してそれぞれ別の分析を行い、それらの結果を組わせて分析特徴量としても良い。処理の効果やマッピング制御に適したものを分析特徴量として用いると良い。またここでは、帯域分割にフィルタを用いているが、周波数軸上で各帯域の信号を生成しても良い。
【０１７４】
入力分析部７０３は、この様にして得られた分析特徴量をマッピング制御情報決定部７０４に供給する。
【０１７５】
以下、先に図１１を参照して説明した第４の実施形態と同様のマッピング制御モデル７０５を適用してマッピング制御情報を求める。このマッピング制御情報が、マッピング処理部７２１に出力され、マッピング処理が実行される。その後、マッピング処理された信号に対して、帯域制限部７２２において帯域制限を行い＜スピーカ７２３を介して出力信号を出力する。
【０１７６】
本実施例では、入力信号の各帯域に応じた特徴量を個別に取得して、各特徴量の重み付け加算結果を入力信号に対する特徴量として算出する構成とした。このように、周波数帯域毎に適した分析を行うことで、より処理や聴感上に適した分析特徴量を得ることができる。
【０１７７】
［７．第７の実施形態について］
次に、本開示の第７の実施形態に係る音声信号処理装置８００の構成と処理について図１６を参照して説明する。図１６に示す音声信号処理装置８００は、入力信号の特性に応じてマッピング処理した後に、環境音の大きさに応じて線形にゲイン調整を行う構成を持つ。
【０１７８】
本開示の第７の実施形態による音声信号処理装置８００のブロック図を図１６に示す。
図１６に示す音声信号処理装置８００は以下の構成を有する。
入力部８０１、
入力分析マッピング制御情報決定部８０２、
マイク８１１、
帯域分割部８１２、
環境分析部８１３、
ゲイン調整量決定部８１４、
マッピング処理部８２１、
ゲイン調整部８２２、
帯域制限部８２３、
スピーカ８２４、
これらの構成を有する。
【０１７９】
図６を参照して説明した第２実施形態との差異は、ゲイン調整量決定部８１４とゲイン調整部８２２を追加した点である。その他の構成と処理は、第２実施形態と同様である。
【０１８０】
入力部８０１を介して入力された再生対象入力信号は、入力分析・マッピング制御情報決定部８０２においてマッピング制御情報が算出される。
マッピング処理ら部８２１は、マッピング制御情報に基づいてマッピング処理を行いゲイン調整部８２２に供給する。
【０１８１】
マイク８１１〜帯域分割部８１２〜環境分析部８１３の処理は前述の第１実施形態と同様の処理である。環境分析部８１３において環境音の分析特徴量を求め、ゲイン調整量決定部８１４に供給する。
【０１８２】
ゲイン調整量決定部８１４は、環境分析部８１３から得られた環境音の分析特徴量から、テーブルまたは関数または事前の統計解析に基づく統計モデルを用いてゲイン調整量を決定する。
【０１８３】
ゲイン調整量決定部８１４は、例えば、以下の処理によってゲイン調整量を求める。
環境分析部８１３から得られた環境音の分析特徴量である環境音特徴量、すなわち、環境音のみが含まれる低域信号のｋ番目のサンプルを中心としたＫサンプルによる二乗平均平方根ＲＭＳ（ｋ）をｘとし、以下に示す（式１０）の線形関数を用いてゲイン調整量ｙを求める。
【０１８４】
【数１０】
・・・（式１０）
【０１８５】
なお、ここでは環境音特徴量として二乗平均平方根ＲＭＳ（ｋ）を用いたが、前述した各実施例と同様、他の特徴量やその組合せを用いても良い。
また、ゲイン調整量ｙの算出に（式１０）に示す線形関数を用いたが、環境音特徴量とゲイン調整量の関係を表す非線形関数またはテーブルまたは線形回帰モデルあるいは非線形回帰モデルを使用しても良い。
【０１８６】
ゲイン調整量決定部８１４は、このように環境音の特徴量に応じたゲイン調整量ｙを算出してゲイン調整部８２２に出力する。
ゲイン調整部８２２は、ゲイン調整量決定部８１４から入力するゲイン調整量に基づいて、マッピング処理部８２１から入力するマッピング処理信号に対して線形にゲイン調整を行う。
【０１８７】
最後に帯域制限部８２３は、ゲイン調整されたマッピング処理信号に対して帯域制限フィルタを適用して帯域制限した出力信号を生成し、スピーカ８２４を介して出力する。
本実施形態の構成では、環境音の大きさに応じてゲイン調整された出力信号を得ることができる。
【０１８８】
［８．第８の実施形態について］
次に、本開示の第８の実施形態について、図１７を参照して説明する。
図１７に示す音声信号処理装置９００は、先に図１１を参照して説明した第４の実施形態による音声信号処理装置４００に、図１６を参照して説明した第７の実施形態と同様のゲイン調整量決定部９１４と、ゲイン調整部９２２を追加した構成を持つ。
【０１８９】
図１７に示す音声信号処理装置９００は、以下の構成を有する。
入力部９０１、
入力分析部９０２、
マッピング制御情報決定部９０３、
マッピング制御モデル９０４（記憶部）、
マイク９１１、
帯域分割部９１２、
環境分析部９１３、
ゲイン調整量決定部９１４、
マッピング処理部９２１、
ゲイン調整部９２２、
帯域制限部９２３、
スピーカ９２４、
これらの構成を有する。
【０１９０】
入力部９０１から入力された再生対象入力信号に対し、入力分析部９０２においてその特性を分析し、入力音特徴量を求める。またマイク９１１から入力された信号に対して帯域分割部９１２において帯域分割を行い、環境分析部９１３においてその特性を分析し環境音特徴量を求める。
【０１９１】
入力分析部９０２の生成した入力音特徴量と、環境分析部９１３の生成した環境音特徴量がマッピング制御情報決定部９０３に供給される。
マッピング制御情報決定部９０３は、先に図１１を参照して説明した第４の実施形態と同様のマッピング制御モデル９０４を適用してマッピング制御情報を求める。
このマッピング制御情報が、マッピング処理部９２１に出力され、マッピング処理が実行される。
【０１９２】
ゲイン調整量決定部９１４は、先に図１６を参照して説明した第７の実施形態］と同様、環境音の特徴量に応じたゲイン調整量ｙを算出してゲイン調整部９２２に出力する。
ゲイン調整部９２２は、ゲイン調整量決定部９１４から入力するゲイン調整量に基づいて、マッピング処理部９２１から入力するマッピング処理信号に対して線形にゲイン調整を行う。
【０１９３】
最後に帯域制限部９２３は、ゲイン調整されたマッピング処理信号に対して帯域制限フィルタを適用して帯域制限した出力信号を生成し、スピーカ９２４を介して出力する。
本実施形態の構成では、環境音の大きさに応じてゲイン調整された出力信号を得ることができる。
【０１９４】
［９．本開示の構成のまとめ］
以上、特定の実施例を参照しながら、本開示の実施例について詳解してきた。しかしながら、本開示の要旨を逸脱しない範囲で当業者が実施例の修正や代用を成し得ることは自明である。すなわち、例示という形態で本発明を開示してきたのであり、限定的に解釈されるべきではない。本開示の要旨を判断するためには、特許請求の範囲の欄を参酌すべきである。
【０１９５】
なお、本明細書において開示した技術は、以下のような構成をとることができる。
（１） 入力信号の特性を分析し、入力音特徴量を生成する入力分析部と、
環境音の特性を解析し、環境音特徴量を生成する環境分析部と、
前記入力音特徴量と前記環境音特徴量を適用して、前記入力信号に対する振幅変換処理の制御情報としてのマッピング制御情報を生成するマッピング制御情報生成部と、
前記マッピング制御情報により定まる線形または非線形なマッピング関数に基づいて前記入力信号を振幅変換し、出力信号を生成するマッピング処理部と、
を有する音声信号処理装置。
【０１９６】
（２）前記マッピング制御情報生成部は、前記入力音特徴量を適用して予備的なマッピング制御情報を生成するマッピング制御情報決定部と、前記予備的なマッピング制御情報に対して、前記環境音特徴量を適用した調整処理により、前記マッピング処理部に出力する前記マッピング制御情報を生成するマッピング制御情報調整部を有する前記（１）に記載の音声信号処理装置。
（３）前記入力分析部は、前記入力音特徴量として予め規定した複数の連続サンプルを利用して算出した二乗平均平方根を算出し、前記環境分析部は、前記環境音特徴量として環境音信号の複数の連続サンプルを利用して算出した二乗平均平方根を算出し、前記マッピング制御情報生成部は、前記入力音特徴量である入力信号の二乗平均平方根と、前記環境音特徴量である環境音信号の二乗平均平方根とを利用して前記マッピング制御情報を生成する前記（１）または（２）に記載の音声信号処理装置。
【０１９７】
（４）前記入力音特徴量、および前記環境音特徴量は、特徴量算出対象信号の二乗平均、または二乗平均を対数化したもの、または二乗平均平方根、または二乗平均平方根を対数化したもの、または信号の零交差率、または周波数エンベロープの傾き、またはそれらの重み付け加算した結果である前記（１）〜（３）いずれかに記載の音声信号処理装置。
（５）前記環境分析部は、マイクを介して取得された収音信号から帯域分割処理によって分割された環境音の占有率の高い帯域信号の特徴解析を実行して前記環境音特徴量を算出する前記（１）〜（４）いずれかに記載の音声信号処理装置。
（６）前記音声信号処理装置は、前記マッピング処理部においてマッピング処理の施された信号の帯域制限処理を実行する帯域制限部を有し、前記帯域制限部における帯域制限後の信号を、スピーカを介して出力する前記（１）〜（５）いずれかに記載の音声信号処理装置。
【０１９８】
（７）前記マッピング制御情報生成部は、入力信号と環境音信号を含む学習用信号を適用した統計解析処理によって生成したマッピング制御モデルを適用して前記マッピング制御情報を生成する前記（１）〜（６）いずれかに記載の音声信号処理装置。
（８）前記マッピング制御モデルは、各種の入力信号と環境音信号に対してマッピング制御情報を対応付けたデータである前記（７）に記載の音声信号処理装置。
（９）前記入力信号は、複数チャンネルの複数の入力信号によって構成され、前記マッピング処理部は、各入力信号に対する個別のマッピング処理を実行する構成である前記（１）〜（８）いずれかに記載の音声信号処理装置。
（１０）前記音声信号処理装置は、さらに、前記マッピング処理部の生成したマッピング処理信号に対して、前記環境分析部の生成する環境音特徴量に応じたゲイン調整を実行するゲイン調整部を有する前記（１）〜（９）いずれかに記載の音声信号処理装置。
【０１９９】
さらに、上記した装置等において実行する処理の方法や、処理を実行させるプログラムも本開示の構成に含まれる。
【０２００】
また、明細書中において説明した一連の処理はハードウェア、またはソフトウェア、あるいは両者の複合構成によって実行することが可能である。ソフトウェアによる処理を実行する場合は、処理シーケンスを記録したプログラムを、専用のハードウェアに組み込まれたコンピュータ内のメモリにインストールして実行させるか、あるいは、各種処理が実行可能な汎用コンピュータにプログラムをインストールして実行させることが可能である。例えば、プログラムは記録媒体に予め記録しておくことができる。記録媒体からコンピュータにインストールする他、ＬＡＮ（Ｌｏｃａｌ Ａｒｅａ Ｎｅｔｗｏｒｋ）、インターネットといったネットワークを介してプログラムを受信し、内蔵するハードディスク等の記録媒体にインストールすることができる。
【０２０１】
なお、明細書に記載された各種の処理は、記載に従って時系列に実行されるのみならず、処理を実行する装置の処理能力あるいは必要に応じて並列的にあるいは個別に実行されてもよい。また、本明細書においてシステムとは、複数の装置の論理的集合構成であり、各構成の装置が同一筐体内にあるものには限らない。
【産業上の利用可能性】
【０２０２】
以上、説明したように、本開示の一実施例構成によれば、環境音が大きいときや小さいときに最適なマッピング制御が可能となり、音量が物足りないあるいは歪が気になるといったユーザの不満を減少させ、音声信号の再生レベルを様々な環境下でもユーザに対して最適に自動制御することが可能となる。
【０２０３】
具体的には、例えば、入力信号の特性を分析し入力音特徴量を生成し、環境音の特性を解析し環境音特徴量を生成し、生成した入力音特徴量と環境音特徴量を適用して、入力信号に対する振幅変換処理の制御情報としてのマッピング制御情報を生成する。さらに、マッピング制御情報により定まる線形または非線形なマッピング関数に基づいて入力信号を振幅変換し、出力信号を生成する。マッピング制御情報は、例えば入力信号と環境音を考慮して生成したモデルを参照して生成する。
これらの構成により、環境音に応じた最適なマッピング制御により音声信号のレベルを様々な環境下で最適に自動制御することが可能となる。
【符号の説明】
【０２０４】
１００ 音声信号処理装置
１０１ 入力部
１０２ 入力分析・マッピング制御情報決定部
１１１ マイク
１１２ 帯域分割部
１１３ 環境分析部
１１４ マッピング制御情報調整部
１２１ マッピング処理部
１２２ 帯域制限部
１２３ スピーカ
２００ 音声信号処理装置
２０１ 入力部
２０２ 入力分析・マッピング制御情報決定部
２１１ マイク
２１２ 帯域分割部
２１３ 環境分析部
２２１ マッピング処理部
２２２ 帯域制限部
２２３ スピーカ
３００ 音声信号処理装置
３０１ 入力部
３０２ 入力分析部
３０３ マッピング制御情報決定部
３１１ マイク
３１２ 帯域分割部
３１３ 環境分析部
３２１ マッピング制御情報調整部
３２２ マッピング処理部
３２３ 帯域制限部
３２４ スピーカ
３５０ 学習装置
３５１ 入力部
３５２ マッピング制御情報付与部
３５３ マッピング処理部
３５４ 帯域制限部
３５５ スピーカ
３５６ 入力分析部
３５７ マッピング制御モデル学習部
３５８ 記録部
４００ 音声信号処理装置
４０１ 入力部
４０２ 入力分析部
４０３ マッピング制御情報決定部
４０４ マッピング制御モデル
４１１ マイク
４１２ 帯域分割部
４１３ 環境分析部
４２１ マッピング処理部
４２２ 帯域制限部
４２３ スピーカ
５００ 学習装置
５０１ 入力部
５０２ マッピング制御情報付与部
５０３ マッピング処理部
５０４ 帯域制限部
５０５ スピーカ
５０６ 入力分析部
５０７ マッピング制御モデル学習部
５０８ 記録部
５１１ マイク
５１２ 帯域分割部
５１３ 環境分析部
５３１ 環境音スピーカ
６００ 音声信号処理装置
６０１ 入力部
６０２ 入力部
６０３ 入力分析部
６０４ マッピング制御情報決定部
６０５ マッピング制御モデル
６１１ マイク
６１２ 帯域分割部
６１３ 環境分析部
６２１，６３１ マッピング処理部
６２２，６３２ 帯域制限部
６２３，６３３ スピーカ
７００ 音声信号処理装置
７０１ 入力部
７０２ 帯域分割フィルタ
７０３ 入力分析部
７０４ マッピング制御情報決定部
７１１ マイク
７１２ 帯域分割部
７１３ 環境分析部
７２１ マッピング処理部
７２２ 帯域制限部
７２３ スピーカ
８００ 音声信号処理装置
８０１ 入力部
８０２ 入力分析・マッピング制御情報決定部
８１１ マイク
８１２ 帯域分割部
８１３ 環境分析部
８１４ ゲイン調整量決定部
８２１ マッピング処理部
８２２ ゲイン調整部
８２３ 帯域制限部
８２４ スピーカ
９００ 音声信号処理装置
９０１ 入力部
９０２ 入力分析部
９０３ マッピング制御情報決定部
９１１ マイク
９１２ 帯域分割部
９１３ 環境分析部
９１４ ゲイン調整量決定部
９２１ マッピング処理部
９２２ ゲイン調整部
９２３ 帯域制限部
９２４ スピーカ
【技術分野】
【０００１】
本開示は、音声信号処理装置、および音声信号処理方法、並びにプログラムに関する。具体的には、例えば、音声信号の再生レベルをユーザに対して最適に自動制御する手法に関する。
【背景技術】
【０００２】
例えば、音声の音量のダイナミックレンジが大きい映画コンテンツや音楽コンテンツを、小型スピーカを内蔵したポータブル機器で再生する場合、全体的に音声の音量が小さくなるだけでなく、特に音量の小さなセリフなどは、聞こえにくくなる。
具体的には、例えば図１に示すように、
（Ａ）小型のマイクと小型のスピーカを備えたＰＣ
（Ｂ）小型のマイクと小型のスピーカを備えた携帯端末
このような小型の機器では、スピーカの大きさに制限があり、十分な音量出力を得られずに音量の小さなセリフなどが聞こえにくくなるという問題がある。
【０００３】
これらのコンテンツの音声をより聞こえ易くするための技術として、ノーマライズや自動ゲイン制御等、音量を調整する技術があるが、このような音量制御は充分に長いデータの先読みを行わないと、聴感上不安定な制御になってしまう。
【０００４】
また、音量のダイナミックレンジのコンプレッション処理により、音声の音量の小さい部分をブーストし、音量の大きな部分をコンプレッションする技術もある。しかしながら、コンプレッション処理では、音量のブーストとコンプレッションの特性を汎用的なものとすると、音声の高い強調効果を得ることは困難であり、高い効果を得るためには、コンテンツ毎にその特性を変える必要がある。
【０００５】
例えば、ドルビーＡＣ３（Ａｕｄｉｏ Ｃｏｄｅ ｎｕｍｂｅｒ ３）におけるダイナミックレンジコンプレッションは、ダイアログノーマライズで指定された音圧レベルを基準として、それよりも小さい音圧レベルの信号をブーストし、大きな音圧レベルの信号をコンプレッションする技術である。ところが、この技術では、充分な効果を得るために、音声信号の符号化時にダイアログノーマライズのための音圧レベルと、ブーストおよびコンプレッションの特性の指定が必要となる。
【０００６】
さらに、音声の音量のダイナミックレンジをコンプレッションする場合に、音声信号の絶対値の平均値により定まる係数を音声信号に乗算することで、音声信号の小さい音をより聞こえ易くする技術も提案されている（例えば、特許文献１参照）。
【先行技術文献】
【特許文献】
【０００７】
【特許文献１】特開平０５−２７５９５０号公報
【発明の概要】
【発明が解決しようとする課題】
【０００８】
昨今、ユーザは様々な静かな環境やうるさい環境など様々な環境下に小型スピーカを内蔵した様々なポータブル機器を携帯し、映画や音楽、自己録コンテンツなど、様々な種類のコンテンツを聞くようになった。しかしながら周りの環境音の大きさによって、同じ再生音量でも大きすぎたり小さすぎたりしてしまう。よって、それらのポータブル機器において、様々なコンテンツの音量を環境音の大きさに応じて最適に自動制御する技術が必要となる。
【０００９】
本開示は、例えば上記の実情を鑑みてなされたものであり、音声信号の再生レベルを環境音の大きさに応じて最適に自動制御する音声信号処理装置、および音声信号処理方法、並びにプログラムを提供することを目的としたものである。
【課題を解決するための手段】
【００１０】
本開示の第１の側面は、
入力信号の特性を分析し、入力音特徴量を生成する入力分析部と、
環境音の特性を解析し、環境音特徴量を生成する環境分析部と、
前記入力音特徴量と前記環境音特徴量を適用して、前記入力信号に対する振幅変換処理の制御情報としてのマッピング制御情報を生成するマッピング制御情報生成部と、
前記マッピング制御情報により定まる線形または非線形なマッピング関数に基づいて前記入力信号を振幅変換し、出力信号を生成するマッピング処理部と、
を有する音声信号処理装置にある。
【００１１】
さらに、本開示の音声信号処理装置の一実施態様において、前記マッピング制御情報生成部は、前記入力音特徴量を適用して予備的なマッピング制御情報を生成するマッピング制御情報決定部と、前記予備的なマッピング制御情報に対して、前記環境音特徴量を適用した調整処理により、前記マッピング処理部に出力する前記マッピング制御情報を生成するマッピング制御情報調整部を有する。
【００１２】
さらに、本開示の音声信号処理装置の一実施態様において、前記入力分析部は、前記入力音特徴量として予め規定した複数の連続サンプルを利用して算出した二乗平均平方根を算出し、前記環境分析部は、前記環境音特徴量として環境音信号の複数の連続サンプルを利用して算出した二乗平均平方根を算出し、前記マッピング制御情報生成部は、前記入力音特徴量である入力信号の二乗平均平方根と、前記環境音特徴量である環境音信号の二乗平均平方根とを利用して前記マッピング制御情報を生成する。
【００１３】
さらに、本開示の音声信号処理装置の一実施態様において、前記入力音特徴量、および前記環境音特徴量は、特徴量算出対象信号の二乗平均、または二乗平均を対数化したもの、または二乗平均平方根、または二乗平均平方根を対数化したもの、または信号の零交差率、または周波数エンベロープの傾き、またはそれらの重み付け加算した結果である。
【００１４】
さらに、本開示の音声信号処理装置の一実施態様において、前記環境分析部は、マイクを介して取得された収音信号から帯域分割処理によって分割された環境音の占有率の高い帯域信号の特徴解析を実行して前記環境音特徴量を算出する。
【００１５】
さらに、本開示の音声信号処理装置の一実施態様において、前記音声信号処理装置は、前記マッピング処理部においてマッピング処理の施された信号の帯域制限処理を実行する帯域制限部を有し、前記帯域制限部における帯域制限後の信号を、スピーカを介して出力する。
【００１６】
さらに、本開示の音声信号処理装置の一実施態様において、前記マッピング制御情報生成部は、入力信号と環境音信号を含む学習用信号を適用した統計解析処理によって生成したマッピング制御モデルを適用して前記マッピング制御情報を生成する。
【００１７】
さらに、本開示の音声信号処理装置の一実施態様において、前記マッピング制御モデルは、各種の入力信号と環境音信号に対してマッピング制御情報を対応付けたデータである。
【００１８】
さらに、本開示の音声信号処理装置の一実施態様において、前記入力信号は、複数チャンネルの複数の入力信号によって構成され、前記マッピング処理部は、各入力信号に対する個別のマッピング処理を実行する構成である。
【００１９】
さらに、本開示の音声信号処理装置の一実施態様において、前記音声信号処理装置は、さらに、前記マッピング処理部の生成したマッピング処理信号に対して、前記環境分析部の生成する環境音特徴量に応じたゲイン調整を実行するゲイン調整部を有する。
【００２０】
さらに、本開示の第２の側面は、
音声信号処理装置において実行する音声信号処理方法であり、
入力信号の特性を分析し、入力音特徴量を生成する入力分析ステップと、
環境音の特性を解析し、環境音特徴量を生成する環境分析ステップと、
前記入力音特徴量と前記環境音特徴量を適用して、前記入力信号に対する振幅変換処理の制御情報としてのマッピング制御情報を生成するマッピング制御情報生成ステップと、
前記マッピング制御情報により定まる線形または非線形なマッピング関数に基づいて前記入力信号を振幅変換し、出力信号を生成するマッピング処理ステップと、
を実行する音声信号処理方法にある。
【００２１】
さらに、本開示の第３の側面は、
音声信号処理装置において音声信号処理を実行させるプログラムであり、
入力信号の特性を分析し、入力音特徴量を生成する入力分析ステップと、
環境音の特性を解析し、環境音特徴量を生成する環境分析ステップと、
前記入力音特徴量と前記環境音特徴量を適用して、前記入力信号に対する振幅変換処理の制御情報としてのマッピング制御情報を生成するマッピング制御情報生成ステップと、
前記マッピング制御情報により定まる線形または非線形なマッピング関数に基づいて前記入力信号を振幅変換し、出力信号を生成するマッピング処理ステップと、
を実行させるプログラムにある。
【００２２】
なお、本開示のプログラムは、例えば、様々なプログラム・コードを実行可能な汎用システムに対して、コンピュータ可読な形式で提供する記憶媒体、通信媒体によって提供可能なプログラムである。このようなプログラムをコンピュータ可読な形式で提供することにより、コンピュータ・システム上でプログラムに応じた処理が実現される。
【００２３】
本開示のさらに他の目的、特徴や利点は、後述する本開示の実施例や添付する図面に基づくより詳細な説明によって明らかになるであろう。なお、本明細書においてシステムとは、複数の装置の論理的集合構成であり、各構成の装置が同一筐体内にあるものには限らない。
【発明の効果】
【００２４】
本開示の一実施例構成によれば、環境音が大きいときや小さいときに最適なマッピング制御が可能となり、音量が物足りないあるいは歪が気になるといったユーザの不満を減少させ、音声信号の再生レベルを様々な環境下でもユーザに対して最適に自動制御することが可能となる。
【００２５】
具体的には、例えば、入力信号の特性を分析し入力音特徴量を生成し、環境音の特性を解析し環境音特徴量を生成し、生成した入力音特徴量と環境音特徴量を適用して、入力信号に対する振幅変換処理の制御情報としてのマッピング制御情報を生成する。さらに、マッピング制御情報により定まる線形または非線形なマッピング関数に基づいて入力信号を振幅変換し、出力信号を生成する。マッピング制御情報は、例えば入力信号と環境音を考慮して生成したモデルを参照して生成する。
これらの構成により、環境音に応じた最適なマッピング制御により音声信号のレベルを様々な環境下で最適に自動制御することが可能となる。
【図面の簡単な説明】
【００２６】
【図１】小型スピーカを備えた装置例について説明する図である。
【図２】本開示の第１の実施形態における音声信号処理方法の実施例を示すブロック図である。
【図３】本開示の第１〜８の実施形態における収音信号の帯域分割時の周波数帯域内訳の例を示す図である。
【図４】本開示の第１の実施形態におけるマッピング制御情報調整量関数グラフの例である。
【図５】本開示の第１の実施形態におけるマッピング関数グラフの例である。
【図６】本開示の第２の実施形態における音声信号処理方法の実施例を示すブロック図である。
【図７】本開示の第３の実施形態における音声信号処理方法の実施例を示すブロック図である。
【図８】本開示の第３の実施形態におけるマッピング制御モデル学習方法の実施例を示すブロック図である。
【図９】本開示の第３の実施形態におけるマッピング制御情報付与方法の実施例を示すフローチャートである。
【図１０】本開示の第３の実施形態におけるマッピング制御モデルによる回帰曲線のグラフの例である。
【図１１】本開示の第４の実施形態における音声信号処理方法の実施例を示すブロック図である。
【図１２】本開示の第４の実施形態におけるマッピング制御モデル学習方法の実施例を示すブロック図である。
【図１３】本開示の第４の実施形態におけるマッピング制御情報付与方法の実施例を示すフローチャートである。
【図１４】本開示の第５の実施形態における音声信号処理方法の実施例を示すブロック図である。
【図１５】本開示の第６の実施形態における音声信号処理方法の実施例を示すブロック図である。
【図１６】本開示の第７の実施形態における音声信号処理方法の実施例を示すブロック図である。
【図１７】本開示の第８の実施形態における音声信号処理方法の実施例を示すブロック図である。
【発明を実施するための形態】
【００２７】
以下、図面を参照しながら本開示の音声信号処理装置、および音声信号処理方法、並びにプログラムの詳細について説明する。
なお、本開示の音声信号処理装置は、例えば先に図１を参照して説明したような小型スピーカを備えた装置等のスピーカからの出力音の制御を行うものであり、周囲の様々な雑音等の環境音が発生する環境であっても、出力音をより聞きやすくする音声信号処理を行うものである。具体的には、例えば、環境音に応じて音声信号の再生レベルを最適に自動制御する処理などを行う。
【００２８】
本開示に従った音声信号処理装置の複数の実施例について、以下の項目に従って、順次、説明する。
１．第１の実施形態について
２．第２の実施形態について
３．第３の実施形態について
４．第４の実施形態について
５．第５の実施形態について
６．第６の実施形態について
７．第７の実施形態について
【００２９】
［１．第１の実施形態について］
本開示の第１の実施形態による音声信号処理装置のブロック図を図２に示す。
図２に示す音声信号処理装置１００は、例えば先に図１を参照して説明した（Ａ）ＰＣや（Ｂ）携帯端末などの情報処理装置の内部装置として構成可能であり、あるいは、様々な音声出力装置に接続し、音声出力装置から出力される音声信号の処理を行う独立した装置としても構成可能である。
【００３０】
図２に示す音声信号処理装置１００は、以下の構成を有する。
入力部１０１、
入力分析・マッピング制御情報決定部１０２、
マイク１１１、
帯域分割部１１２、
環境分析部１１３、
マッピング制御情報調整部１１４、
マッピング処理部１２１、
帯域制限部１２２、
スピーカ１２３、
これらの構成を有する。
【００３１】
入力部１０１は、再生対象となる音声信号の入力部である。例えば図１に示すような（Ａ）ＰＣや（Ｂ）携帯端末などの情報処理装置においては、情報処理装置内の再生信号生成部の生成した音声信号の入力部となる。あるいは外部の音声再生装置の音声出力部に接続された入力部などに相当する。
図２に示す音声信号処理装置は、図１に示すＰＣや携帯端末と同様、マイク１１１とスピーカ１２３を備えている。
【００３２】
入力部１０１から入力された再生対象入力信号は、入力信号分析・マッピング制御情報決定部１０２に入力される。
入力信号分析・マッピング制御情報決定部１０２は、入力音声信号の特性の分析を行う。
具体的には、入力信号分析・マッピング制御情報決定部１０２は、以下に示す（式１）に従って、入力部１０１からの入力信号のｎ番目のサンプルを中心としたＮサンプルによる二乗平均平方根ＲＭＳ（ｎ）を算出して出力する。
【００３３】
【数１】
・・・（式１）
【００３４】
上記（式１）において、
ｘは、入力部１０１から入力された再生対象入力信号であり、例えば音声レベルを−１．０〜１．０の値に正規化したデータである。
入力信号分析・マッピング制御情報決定部１０２は、処理対象信号をｎ番目のサンプル信号として、ｎ番目のサンプルを中心として予め規定したＮ個の連続するサンプルを利用して上記（式１）に従って、ｎ番目のサンプルに対応する特徴量としての二乗平均平方根ＲＭＳ（ｎ）を算出する。
【００３５】
入力信号分析・マッピング制御情報決定部１０２は、上記（式１）に従って算出した二乗平均平方根ＲＭＳ（ｎ）をｎ番目の入力サンプル信号に対するマッピング制御情報α０として、マッピング制御情報調整部１１４に供給する。
【００３６】
なお、上述した処理例では、入力信号分析・マッピング制御情報決定部１０２の算出するマッピング制御情報は、二乗平均平方根ＲＭＳ（ｎ）を利用した処理例としている。しかし、マッピング制御情報としては、この二乗平均平方根ＲＭＳ（ｎ）の他、ＲＭＳ（ｎ）のｔ乗値（ｔ＞＝２）や、零交差率、周波数エンベロープの傾きなど、様々な分析特徴量の利用が可能である。これらの様々な入力信号に関する特徴量を任意に追加・組み合わせたデータ、例えば重み付け加算結果に基づいてマッピング制御情報α０を生成して、マッピング制御情報調整部１１４に供給する構成としてもよい。
【００３７】
マッピング制御情報調整部１１４は、入力信号分析・マッピング制御情報決定部１０２から入力したマッピング制御情報α０に対して、環境音の大きさに応じたマッピング制御情報の調整を行う。
【００３８】
なお、環境音は、マイク１１１による収音信号に含まれる音である。
マイク１１１から収音された信号（収音信号）には、周囲の純粋な環境音と、音声信号処理装置１００のスピーカ１２３から出力される出力信号が含まれる。
すなわち、図３に示すように、周りの音（環境音）とともにスピーカからの出力信号も含まれる。
なお、以下の説明において、環境音とは、マイク１１１の収音信号から、音声信号処理装置１００のスピーカ１２３からの出力信号を除いたすべての音を含むものとする。すなわち、環境音には、周囲の様々な音、ノイズを含み、例えばユーザが自ら発する声や、装置自身から発生するノイズなども含まれる。
【００３９】
図３は、マイク１１１から収音された信号（収音信号）の解析データの例であり、横軸に周波数、縦軸にパワースペクトルを示した図である。
例えば、一例として、図３に示すように、周波数＝１５０Ｈｚ以下の帯域は環境音、１５０Ｈｚ以上の帯域にはスピーカ１２３からの出力信号の占める割合が大きくなるという特性が得られる。なお、図３に示す周波数＝１５０Ｈｚを境界として環境音と、スピーカ出力信号が分離されるのは、スピーカ１２３からの出力信号をスピーカ１２３前段の帯域制限部１２２によって帯域制限していることに起因する。すなわち、スピーカ１２３からの出力信号は、マイク１１１に収音される以前の段階で帯域制限されるためである。この帯域制限処理の詳細については後述する。
【００４０】
マイク１１１による収音信号は、帯域分割部１１２において環境音のみが含まれる周波数帯域である１５０Ｈｚ以下の低域信号と、環境音に加えスピーカ１２３からの出力信号も含まれる高域信号に分割される。
【００４１】
なお、この処理例では、図３を参照して説明した特性に応じて１５０Ｈｚで二分割しているが、環境音のみが含まれる帯域とそれ以外の帯域とに分割できれば良く、聴感や分析に適した周波数で分割すると良い。
また予め、入力部１０１から入力する信号の帯域が判明している場合、その入力信号に応じた分割処理を行ってもよい。具体的には、例えば入力部１０１からの入力信号が、低域及び高域がカットされている信号である場合には、低域、中域、高域の３分割して、各分割領域単位で環境音のみの領域と、環境音とスピーカからの出力信号の混在領域とを区分してもよい。
【００４２】
帯域分割部１１２において分割された収音信号は環境分析部１１３に入力される。
環境分析部１１３は、環境音の特徴量を算出する。すなわち、本処理例では、帯域分割部１１２において分割された収音信号のうち、ほとんどが環境音から構成されると推定される低域信号の特徴量を算出する。
具体的には、上記の（式１）と同様に分割された収音信号のうち環境音の占有率の高い低域信号のｋ番目のサンプルを中心としたＫサンプルによる二乗平均平方根ＲＭＳ（ｋ）を分析特徴量として、マッピング制御情報調整部１１４に供給する。
【００４３】
なお、環境分析部１１３における環境音の特徴量は、二乗平均平方根ＲＭＳ（ｋ）のほかにもＲＭＳ（ｎ）のｔ乗値（ｔ＞＝２）や、零交差率、周波数エンベロープの傾きなど、様々な分析特徴量を任意に追加・組み合わせたデータ、例えば重み付け加算結果を利用してもよい。
【００４４】
また環境音のみが含まれる帯域信号が高域のみ、あるいは低域及び高域両方の場合には、高域信号のみの分析特徴量あるいは低域信号及び高域信号から求めた分析特徴量を適用する。環境音の混在率に応じて、低域の分析特徴量と高域の分析特徴量の重み付け和などを算出して、これを最終的な環境音の分析特徴量としても良い。
【００４５】
なお、本実施例では、スピーカ１２３の再生帯域を除いた帯域分割信号から分析特徴量を求めているが、低域のみ、あるいは高域のみ、あるいは中域を除いた低域及び高域両方の帯域分割信号の分析特徴量から、関数またはテーブルまたは事前の統計解析に基づく統計モデルを用いて、分析対象外の中域信号あるいは全周波数帯域の信号の分析特徴量を求めることもできる。
【００４６】
例えば二分割で高域が抜けている場合に、低域信号を複数のサブバンドに分け、各サブバンド信号の二乗平均平方根の平均と傾きを説明変数とし、抜けた高域を同様にサブバンドに分けたときの各サブバンド信号の二乗平均平方根を被説明変数として回帰推定を行い、その結果を最終的な分析特徴量としても良い。
【００４７】
さらにここでは、マイク１１１はモノラルマイクの想定で説明したが、マイク１１１を２つ以上のマイクとして構成しても良い。その場合にはマイクごとに帯域分割を行いそれぞれの信号を環境分析部１１３に供給する。
また前述の分析特徴量に加えて、各マイクからの信号の差分や相関、推定音源方向なども分析特徴量としても良い。
【００４８】
環境分析部１１３の算出した環境音の特徴量である環境音特徴量は、マッピング制御情報調整部１１４に入力される。
【００４９】
マッピング制御情報調整部１１４は、
入力信号分析・マッピング制御情報決定部１０２から、ｎ番目の入力サンプル信号に対する特徴量であるマッピング制御情報α０を入力し、
環境分析部１１３の算出した環境音の特徴量を入力する。
これらは、例えば、いずれも、先に説明した（式１）に従って算出した二乗平均平方根ＲＭＳの値である。
【００５０】
マッピング制御情報調整部１１４は、環境分析部１１３から得られた環境音特徴量に基づいて、ｎ番目の入力サンプル信号に対する特徴量であるマッピング制御情報α０の調整を行い、マッピング処理部１２１に供給する。
【００５１】
マッピング制御情報調整部１１４は、例えば、以下に示す（式２）のような非線形関数を用いてマッピング制御情報調整量ｙを求める。ｘは環境音特徴量ＲＭＳ（ｋ）である。
【００５２】
【数２】
・・・・（式２）
なおｐ，ｑ，ｒは、予め規定したパラメータである。
【００５３】
図４に、上記（式２）に対応するグラフを示す。
図４のグラフは横軸（ｘ）、縦軸（ｙ）を以下の設定としたグラフである。
ｘ：環境音特徴量ＲＭＳ（ｋ）
ｙ：マッピング制御情報調整量
これらの対応関係を示すグラフである。
【００５４】
横軸（ｘ）は環境音のパワー（ｄｂ）に相当する。右方向に進むに従って環境音のパワーが大になることを意味している。
環境音が大きくなるほど、マッピング制御情報調整量ｙは小となり、
環境音が小さくなるほど、マッピング制御情報調整量ｙは大となる。
【００５５】
なお、この実施例では、マッピング制御情報調整量ｙの算出処理に、上記の（式２）に示す非線形関数を用いたが、環境音特徴量とマッピング制御情報調整量の関係を表す線形または非線形関数またはテーブルまたは線形回帰モデルあるいは非線形回帰モデルを使用しても良い。
【００５６】
マッピング制御情報調整部１１４は、（式２）によって算出したマッピング制御情報調整量ｙを用いて、さらに、以下に示す（式３）のような関数を用いて、入力分析・マッピング制御情報決定部１０２から入力する入力サンプル信号に対する特徴量であるマッピング制御情報α０を調整する。
【００５７】
【数３】
・・・・（式３）
【００５８】
上記（式３）において、α０は、入力分析・マッピング制御情報決定部１０２から入力する入力サンプル信号に対する特徴量であるマッピング制御情報ＲＭＳ（ｎ）であり、
αは調整後のマッピング制御情報、
である。
【００５９】
先に図４を参照して説明したように、
環境音が大きくなるほど、マッピング制御情報調整量ｙは小となり、
環境音が小さくなるほど、マッピング制御情報調整量ｙは大となる。
従って、調整後のマッピング制御情報αの値は、以下のように調整される。
環境音が大きくなるほど、調整後のマッピング制御情報αの値は小となり、
環境音が小さくなるほど、調整後のマッピング制御情報αの値は大となる。
【００６０】
なお、この実施例では、調整後のマッピング制御情報αの算出処理として、入力サンプル信号に対する特徴量であるマッピング制御情報α０に（式２）によって算出したマッピング制御情報調整量ｙを加算する例としたが、これらの値を乗算し、例えば、
α＝α０×ｙ
上記式によって、調整後のマッピング制御情報αの算出を行ってもよい。その他、線形または非線形関数またはテーブルまたは線形回帰モデルあるいは非線形回帰モデルを用いる構成としてもよい。
【００６１】
上述したように、マッピング制御情報調整部１１４は、
環境音特徴量ｘ（＝ＲＭＳ（ｋ））を適用して、（式２）に示す非線形関数（図４）を用いてマッピング制御情報調整量ｙを求め、
さらに、マッピング制御情報調整量ｙを用いて、入力分析・マッピング制御情報決定部１０２から入力する入力サンプル信号に対する特徴量であるマッピング制御情報α０の調整値、すなわち、調整マッピング制御情報αを算出する。
【００６２】
マッピング制御情報調整部１１４の算出した調整マッピング制御情報αは、マッピング処理部１２１に入力される。
マッピング処理部１２１は、以下に示す（式４）のような非線形関数をマッピング関数として用い、入力部１０１から入力する再生対象入力信号の振幅を変換し、帯域制限部１２２に出力する。
【００６３】
【数４】
・・・・（式４）
【００６４】
なお、上記（式４）において、
ｘは、例えば、パワーを−１．０〜１．０の範囲で正規化した入力サンプル信号、
αはマッピング制御情報調整部１１４から供給された調整後のマッピング制御情報、
である。
【００６５】
図５に（式４）のグラフを示す。
横軸がｘ、すなわち−１．０〜１．０の正規化信号ｘ、
縦軸がｆ（ｘ）、すなわち、上記（式４）に従って算出される出力ｆ（ｘ）であり、マッピング関数ｆ（ｘ）、
である。
【００６６】
図５には、マッピング制御情報調整部１１４から供給される調整後マッピング制御情報αの値を、
α＝５０、
α＝５、
α＝３、
これらの３種類について例示している。
調整後マッピング制御情報αが小さいほど、増幅量が大きく設定される。
【００６７】
先に（式３）を参照して説明したように、調整後のマッピング制御情報αの値は、以下のように調整される。
環境音が大きくなるほど、調整後のマッピング制御情報αの値は小となり、
環境音が小さくなるほど、調整後のマッピング制御情報αの値は大となる。
従って、環境音が大きくなるほど、増幅量が大きく設定され、環境音が小さくくなるほど、増幅量が小さく設定される。
【００６８】
このように、本開示の音声信号処理装置１００は、環境音に応じて、調整後マッピング制御情報αを変化させることにより入力信号に対する増幅量を変化させる処理を実行する。
なお、増幅量の変化処理による入力信号に対する影響は、例えばｎ番目の入力サンプル信号に対する特徴量であるマッピング制御情報α０（＝ＲＭＳ（ｎ））の大きさによって変化する。即ち、ｎ番目の入力サンプル信号に対して、ＲＭＳ（ｎ）が小さい場合は、急峻な特性のマッピング関数が適用された振幅変換が行なわれ、ＲＭＳ（ｎ）が大きい場合は、緩やかな特性のマッピング関数が適用された振幅変換を行われることになる。
【００６９】
また、環境音の大小に応じてもこの増幅量が変化する。すなわち、図４、図５、及び前述の（式３）、（式４）から理解されるように、環境音の特徴量ＲＭＳ（ｋ）（図４のｘ）が大、すなわち環境音が大きくなるにつれて、調整後のマッピング制御情報αの値が小さくなり、図５に示すように調整量としての増幅量が増え、環境音の大きさに応じたマッピング制御情報の調整処理が実行される。
【００７０】
なお、この実施例ではマッピング関数に非線形関数を用いたが、線形関数や指数関数を用いても良く、−１．０≦ｘ≦１．０の入力に対し、−１．０≦ｆ（ｘ）≦１．０となる条件を満たすものであれば、どんな関数でも適用することが可能である。処理の効果や聴感上適したものをマッピング関数として用いると良い。
【００７１】
また、ここでは、入力信号の１サンプル毎にマッピング制御情報αを導出し、マッピング制御部での振幅変換を制御しているが、例えば連続する２つ以上のサンプル毎に制御情報αを導出し、マッピング制御部での振幅変換を制御するようにしても良い。
【００７２】
このように、マッピング処理部１２１は、上記した（式４）、すなわち図５に示すような非線形関数をマッピング関数として用い、入力部１０１から入力する再生対象入力信号の振幅を変換し、帯域制限部１２２に出力する。
【００７３】
最後に帯域制限部１２２は、マッピング処理部１２１から出力される振幅変換の施された入力信号に対して帯域制限フィルタを適用して帯域制限した出力信号を生成する。例えば、低域カット処理が行われる。具体的には、例えば、出力部である小型のスピーカ１２３で再生した場合に帯域制限前と比較しても聴感上の差が小さい程度に低域をカットする処理が実行される。
【００７４】
なお、帯域制限部１２２は、マッピング処理部１２１から出力される振幅変換の施された入力信号に対して帯域制限を行う代わりに再生対象入力信号に対して帯域制限しても良い。さらに、スピーカ１２３の性能によって再生可能な帯域が制限される場合、つまりスピーカ再生時に自然と帯域制限される場合には、改めて帯域制限処理をしなくても良い。また、ここでは帯域制限部でカットされる周波数を低域のみとしたが、高域のみあるいは低域及び高域両方をカットしても良い。
聴感及び前述の環境分析部１１３での分析に適した周波数帯域に帯域制限すると良い。
【００７５】
以上のように、マイク１１１において取得される収音信号を帯域分割し、環境音の分析結果から適切なマッピング制御情報調整量を求めることで、環境音の大きさに応じた最適なマッピング制御情報を求めることができ、ユーザに環境に応じた最適な再生レベル制御を実現することができる。
【００７６】
［２．第２の実施形態について］
本発明の第２の実施形態による音声信号処理装置のブロック図を図６に示す。
図６に示す音声信号処理装置２００は、
入力部２０１、
入力分析・マッピング制御情報決定部２０２、
マイク２１１、
帯域分割部２１２、
環境分析部２１３、
マッピング処理部２２１、
帯域制限部２２２、
スピーカ２２３、
を有する。
【００７７】
図２を参照して説明した第１実施形態の音声信号処理装置１００との差異は、図２に示すマッピング制御情報調整部１１４を省略した点である。
図６に示す第２実施形態の音声信号処理装置２００では、入力分析・マッピング制御情報決定部２０２が、マッピング処理部２２１に出力する最終的なマッピング制御情報αを生成する。
【００７８】
その他の構成の処理は、第１の実施形態と同様である。すなわち、マイク２１１の取得する収音信号を帯域分割し、環境分析部において分析し、環境音特徴量ＲＭＳ（ｋ）を求める。
【００７９】
入力信号分析・マッピング制御情報決定部２０２は、第１実施形態と同様、入力部２０１から入力する再生対象入力信号の特性を分析し入力音特徴量ＲＭＳ（ｎ）を求める。そして、入力音特徴量ＲＭＳ（ｎ）と環境音特徴量ＲＭＳ（ｋ）から以下に示す（式５）の関数を用いてマッピング制御情報αを求め、マッピング処理部２２１に供給する。
【００８０】
【数５】
・・・・（式５）
ａ，ｂは予め規定したパラメータである。
【００８１】
本実施例では、入力信号分析・マッピング制御情報決定部２０２のみにおいて、入力音特徴量ＲＭＳ（ｎ）と環境音特徴量ＲＭＳ（ｋ）から上記の（式５）の関数を用いてマッピング制御情報αを求め、マッピング処理部２２１に供給する。
【００８２】
なお、この第２実施形態においても入力信号と環境音の分析特徴量としてＲＭＳ（ｎ）、ＲＭＳ（ｋ）を示したが、第１の実施形態において説明したと同様の、この他の分析特徴量を用いても良い。
【００８３】
マッピング処理部２２１は、前述の第１実施形態と同様、先に説明した（式４）のような非線形関数をマッピング関数として用いる。（式４）において、ｘは−１．０，〜１．０の範囲の正規化された入力サンプル信号、αはマッピング制御情報である。
【００８４】
以下、本発明の第１の実施形態と同様にマッピング処理を行い、帯域制限部２２２において帯域制限を行い、スピーカ２２３を介して出力信号を出力する。
【００８５】
以上のように収音信号を帯域分割し、環境音を分析し、その分析特徴量に基づいてマッピング制御情報を求めることで、環境音の大きさに応じた最適なマッピング制御情報を求めることができ、ユーザに環境に応じた最適な再生レベル制御を実現することができる。
【００８６】
［３．第３の実施形態について］
本開示の第３の実施形態による音声信号処理装置３００のブロック図を図７に示す。
図７に示す音声信号処理装置３００は以下の構成を有する。
入力部３０１、
入力分析部３０２、
マッピング制御情報決定部３０３、
マッピング制御モデル３０４（記憶部）、
マイク３１１、
帯域分割部３１２、
環境分析部３１３、
マッピング制御情報調整部３２１、
マッピング処理部３２２、
帯域制限部３２３、
スピーカ３２４、
これらの構成を有する。
【００８７】
図７において、入力部３０１から入力された再生対象入力信号は、入力分析部３０２に供給され、その特性を分析される。
【００８８】
入力分析部３０２は、先に第１実施形態において説明した（式１）に従って、入力部３０１からの入力信号のｎ番目のサンプルを中心としたＮサンプルによる二乗平均平方根ＲＭＳ（ｎ）を、ｎ番目の再生対象入力信号に対する入力音特徴量として算出してマッピング制御情報決定部３０３に供給する。
なお、分析特徴量は、ＲＭＳ（ｎ）に限らず、前述の他の分析特徴量を使用または任意に追加・組み合わせても良い。
【００８９】
次に、マッピング制御情報決定部３０３において、予め実行される学習処理によって生成したマッピング制御モデル３０４を用いて、入力した分析特徴量に対応するマッピング制御情報を求め、マッピング制御情報調整部３２１に供給する。
【００９０】
マッピング制御モデル３０４は、学習処理、すなわち学習データを適用した統計解析に基づいて予め生成する。
図８を参照してマッピング制御モデル３０４の生成方法について説明する。
図８はマッピング制御モデル３０４を生成する学習処理、すなわち統計解析処理を実行する学習装置３５０の構成を示す図である。
【００９１】
図８に示す学習装置３５０は、入力部３５１、マッピング制御情報付与部３５２、マッピング処理部３５３、帯域制限部３５４、スピーカ３５５、入力分析部３５６、マッピング制御モデル学習部３５７、および記録部３５８から構成される。学習装置３５０では、マッピング制御モデルの学習に用いられる学習音源信号が、マッピング制御情報付与部３５２、入力分析部３５６、およびマッピング処理部３５３に供給される。
【００９２】
入力部３５１は、例えばユーザにより操作されるボタン等からなり、ユーザの操作に応じた信号をマッピング制御情報付与部３５２に供給する。マッピング制御情報付与部３５２は、入力部３５１からの信号に応じて、供給された学習音源信号の各サンプルにマッピング制御情報を付与し、マッピング処理部３５３またはマッピング制御モデル学習部３５７に供給する。
【００９３】
マッピング処理部３５３は、マッピング制御情報付与部３５２からのマッピング制御情報を用いて、供給された学習音源信号に対してマッピング処理を行い、その結果得られた学習出力信号を帯域制限部３５４に供給する。帯域制限部３５４は例えば低域カット等の帯域制限処理を行い、処理信号をスピーカ３５５に供給する。スピーカ３５５は、マッピング処理部３５３の生成した学習出力信号に基づいて、音声を再生する。
【００９４】
入力分析部３５６は、供給された学習音源信号の特性を分析して、その分析結果を示す分析特徴量をマッピング制御モデル学習部３５７に供給する。マッピング制御モデル学習部３５７は、入力分析部３５６からの分析特徴量と、マッピング制御情報付与部３５２からのマッピング制御情報とを用いた統計学習によりマッピング制御モデルを求め、記録部３５８に供給する。
【００９５】
記録部３５８は、マッピング制御モデル学習部３５７から供給されたマッピング制御モデルを記録する。このようにして記録部３５８に記録されたマッピング制御モデルは、図７に示す音声信号処理装置３００の記憶部にマッピング制御モデル３０４として記録される。
【００９６】
なお、図８に示す学習装置３５０は、図７に示す音声信号処理装置３００の内部に構成することも可能であり、外部装置として構成することも可能である。図８に示す学習装置３５０を図７に示す音声信号処理装置３００の内部に構成する場合、図８に示す学習装置の構成要素中、図７に示す音声信号処理装置３００の構成要素と共通する構成要素については、音声信号処理装置３００の構成要素を学習装置の構成要素として適用可能である。
【００９７】
次に、図９に示すフローチャートを参照して、図８に示す学習装置３５０による学習処理について説明する。
この学習処理では、１または複数の学習音源信号が学習装置３５０に供給される。また、この場合において、入力分析部３５６、マッピング処理部３５３、スピーカ３５５等は、学習により求められるマッピング制御モデルが供給される音声信号処理装置３００の入力分析部３２１、マッピング処理部３２２等の対応する各ブロックと同様のものとされる。すなわち、ブロックの特性や処理のアルゴリズムが同じものとされる。
【００９８】
ステップＳ１１において、入力部３５１は、ユーザからのマッピング制御情報の入力または調整を受け付ける。
例えば、学習音源信号が入力されると、マッピング処理部３５３は供給された学習音源信号をスピーカ３５５に供給し、学習音源信号に基づく音声を出力させる。すると、ユーザは出力された音声を聞きながら、学習音源信号の所定のサンプルを処理対象サンプルとして入力部３５１を操作し、処理対象サンプルに対するマッピング制御情報の付与を指示する。
【００９９】
なお、マッピング制御情報付与の指示は、例えばユーザがマッピング制御情報を直接入力したり、いくつかのマッピング制御情報から所望のものを指定したりすることで行なわれる。また、ユーザが一度指定されたマッピング制御情報の調整を指示することで、マッピング制御情報の付与を指示するようにしてもよい。
【０１００】
このようにしてユーザが入力部３５１を操作すると、マッピング制御情報付与部３５２は、ユーザの操作に応じて処理対象サンプルに対してマッピング制御情報を付与する。そして、マッピング制御情報付与部３５２は、処理対象サンプルに対して付与したマッピング制御情報を、マッピング処理部３５３に供給する。
ステップＳ１２において、マッピング処理部３５３は、マッピング制御情報付与部３５２から供給されたマッピング制御情報を用いて、供給された学習音源信号の処理対象サンプルに対してマッピング処理を行い、その結果得られた学習出力信号をスピーカ３５５に供給する。
【０１０１】
例えば、マッピング処理部３５３は、学習音源信号の処理対象サンプルのサンプル値ｘを、前述した（式４）に示す非線形のマッピング関数ｆ（ｘ）に代入して振幅変換を行なう。つまり、サンプル値ｘをマッピング関数ｆ（ｘ）に代入して得られた値が、学習出力信号の処理対象サンプルのサンプル値とされる。
【０１０２】
なお、（式４）において学習音源信号のサンプル値ｘは、−１から１までの値となるように正規化されているものとする。また、（式４）において、αはマッピング制御情報を示している。
【０１０３】
このようなマッピング関数ｆ（ｘ）は、図５に示すようにマッピング制御情報αが小さいほど、急峻に変化する関数となる。なお、図５において、横軸は学習音源信号のサンプル値ｘを示しており、縦軸はマッピング関数ｆ（ｘ）の値を示している。マッピング制御情報αが「３」、「５」、および「５０」であるときのマッピング関数ｆ（ｘ）を表している。
【０１０４】
図５から分かるように、マッピング制御情報αが小さいほど、全体的にサンプル値ｘの変化に対するｆ（ｘ）の変化量が大きいマッピング関数ｆ（ｘ）が用いられて、学習音源信号の振幅変換が行なわれる。このようにマッピング制御情報αを変化させると、学習音源信号に対する増幅量が変化する。
【０１０５】
図９のフローチャートの説明に戻り、ステップＳ１３において、スピーカ３５５は、マッピング処理部３５３から供給された学習出力信号を再生する。
なお、より詳細には、処理対象サンプルを含む所定の区間に対してマッピング処理が行われて得られた学習出力信号が再生される。ここで、再生対象となる区間は、例えば既にマッピング制御情報が指定されているサンプルからなる区間などとされる。この場合、処理対象となる区間の各サンプルが、それらのサンプルに対して定められたマッピング制御情報が用いられてマッピング処理され、その結果得られた学習出力信号が再生される。
【０１０６】
このようにして学習出力信号が再生されると、ユーザはスピーカ３５５から出力された音声を聞きながら、マッピング処理の効果を評価する。すなわち、学習出力信号の音声の音量が適切であるかが評価される。そして、ユーザは入力部３５１を操作して、その評価の結果から、マッピング制御情報の調整を指示するか、または指定したマッピング制御情報が最適なものであるとして、指定したマッピング制御情報の確定を指示する。
【０１０７】
ステップＳ１４において、マッピング制御情報付与部３５２は、入力部３５１から供給されるユーザの操作に応じた信号に基づいて、最適なマッピング制御情報が得られたか否かを判定する。例えば、ユーザによりマッピング制御情報の確定が指示された場合、最適なマッピング制御情報が得られたと判定される。
【０１０８】
ステップＳ１４において、まだ最適なマッピング制御情報が得られていないと判定された場合、すなわちマッピング制御情報の調整が指示された場合、処理はステップＳ１１に戻り、上述した処理が繰り返される。
【０１０９】
この場合、処理対象のサンプルに対して、新たなマッピング制御情報が付与されて、そのマッピング制御情報の評価が行なわれる。このように、学習出力信号の音声を実際に聞きながら、マッピング処理の効果を評価することで、聴感上、最適なマッピング制御情報を付与することができる。
【０１１０】
これに対して、ステップＳ１４において、最適なマッピング制御情報が得られたと判定された場合、処理はステップＳ１５に進む。ステップＳ１５において、マッピング制御情報付与部３５２は、処理対象のサンプルに対して付与されたマッピング制御情報を、マッピング制御モデル学習部３５７に供給する。
【０１１１】
ステップＳ１６において、入力分析部３５６は、供給された学習音源信号の特性を分析し、その結果得られた分析特徴量をマッピング制御モデル学習部３５７に供給する。
例えば学習音源信号のｎ番目のサンプルが処理対象のサンプルであるとすると、入力分析部３５６は、前述の（式１）の演算を行なって、学習音源信号のｎ番目のサンプルについての二乗平均平方根ＲＭＳ（ｎ）を、ｎ番目のサンプルの分析特徴量として算出する。
【０１１２】
なお、本例において、（式１）において、ｘ（ｍ）は、学習音源信号のｍ番目のサンプルのサンプル値（学習音源信号の値）を示している。また、（式１）においては、学習音源信号の値、つまり学習音源信号の各サンプルのサンプル値は、−１≦ｘ（ｍ）≦１となるように正規化されているものとする。
【０１１３】
したがって二乗平均平方根ＲＭＳ（ｎ）は、ｎ番目のサンプルを中心とするＮ個の連続するサンプルからなる区間について、その区間に含まれるサンプルのサンプル値の二乗平均値の平方根の対数をとり、これにより得られた値に定数「２０」を乗算することで得られる。
【０１１４】
このようにして得られた二乗平均平方根ＲＭＳ（ｎ）の値は、処理対象となっている学習音源信号のｎ番目のサンプルを中心とする特定区間の各サンプルのサンプル値の絶対値が小さいほど、小さくなる。つまり、学習音源信号の処理対象のサンプルを含む特定区間全体の音声の音量が小さいほど、二乗平均平方根ＲＭＳ（ｎ）は小さくなる。
【０１１５】
なお、分析特徴量の例として、二乗平均平方根ＲＭＳ（ｎ）について説明したが、分析特徴量は、ＲＭＳ（ｎ）のｔ乗値（但し、ｔ≧２）や、学習音源信号の零交差率、学習音源信号の周波数エンベロープの傾きなどとしてもよいし、それらを組み合わせたもの、例えば重み付け加算結果を用いてもよい。
【０１１６】
以上のようにして、入力分析部３５６からマッピング制御モデル学習部３５７に分析特徴量が供給されると、マッピング制御モデル学習部３５７は、処理対象のサンプルについて求められた分析特徴量と、そのサンプルのマッピング制御情報とを対応付けて、一時的に記録する。
【０１１７】
ステップＳ１７において、学習装置５１は、充分な数のマッピング制御情報が得られたか否かを判定する。例えば、一時的に記録している分析特徴量とマッピング制御情報のセットが、マッピング制御モデルを学習するのに充分な数だけ得られた場合、充分な数のマッピング制御情報が得られたと判定される。
【０１１８】
ステップＳ１７において、充分な数のマッピング制御情報が得られていないと判定された場合、処理はステップＳ１１に戻り、上述した処理が繰り返される。すなわち、学習音源信号の現時点で処理対象となっているサンプルの次のサンプルが、新たな処理対象サンプルとされてマッピング制御情報が付与されたり、新たな学習音源信号のサンプルに対してマッピング制御情報が付与されたりする。また、異なるユーザにより、学習音源信号のサンプルにマッピング制御情報が付与されるようにしてもよい。
【０１１９】
ステップＳ１７において、充分な数のマッピング制御情報が得られたと判定された場合、ステップＳ１８において、マッピング制御モデル学習部３５７は、一時的に記録している分析特徴量とマッピング制御情報のセットを用いて、マッピング制御モデルを学習する。
【０１２０】
例えば、マッピング制御モデル学習部３５７は、以下に示す（式６）の計算を行なうことにより、分析特徴量からマッピング制御情報αが得られるとして、（式６）に示す関数をマッピング制御モデルとし、これを学習により求める。
【０１２１】
【数６】
・・・（式６）
【０１２２】
なお、（式６）において、ｘは分析特徴量を示しており、ａ，ｂ，ｃは定数である。特に、定数ｃは、分析特徴量ｘと無相関なオフセット項である。
【０１２３】
この場合、マッピング制御モデル学習部６６は、（式６）におけるｘおよびｘ２に対応する二乗平均平方根ＲＭＳ（ｎ）および二乗平均平方根ＲＭＳ（ｎ）の二乗値を説明変数とし、マッピング制御情報αを被説明変数として、最小二乗法により線形回帰モデルの学習を行い、モデルパラメータａ，ｂ，ｃを求める。
【０１２４】
これにより、例えば図１０に示す結果が得られる。なお、図１０において縦軸はマッピング制御情報αを示しており、横軸は分析特徴量としての二乗平均平方根ＲＭＳ（ｎ）を示している。図１０では、曲線は、各分析特徴量の値に対して定まるマッピング制御情報αの値、つまり上述した（式６）に示される関数のグラフを示している。
【０１２５】
この例では、学習音源信号や入力信号などの音声信号の音声の音量が小さく、分析特徴量が小さいほど、マッピング制御情報αの値も小さくなる。
以上のような学習により、分析特徴量からマッピング制御情報を得るための関数、
ａｘ２＋ｂｘ＋ｃ
における、
定数ａ，ｂ，ｃ
が定まると、マッピング制御モデル学習部３５７は、これらの定数をマッピング制御モデルのモデルパラメータとして記録部３５８に供給し、記録させる。
【０１２６】
学習により得られたマッピング制御モデルが記録部３５８に記録されると、学習処理は終了する。記録部３５８に記録されたマッピング制御モデルは、その後、図７に示す音声信号処理装置３００の記録部にマッピング制御モデル３０４として記録され、マッピング処理に利用される。
【０１２７】
以上のようにして、図８に示す学習装置３５０は、図７に示す音声信号処理装置３００ごとに複数の学習音源信号や、複数のユーザにより指定されたマッピング制御情報を用いて、学習によりマッピング制御モデルを求める。
【０１２８】
したがって、得られたマッピング制御モデルを用いれば、再生対象の入力信号や、再生された音声を聞くユーザによらず、音声信号処理装置３００に対して統計的に最適なマッピング制御情報を得ることができるようになる。特に、１人のユーザにより付与されたマッピング制御情報のみを用いて学習を行なうようにすれば、そのユーザに対して最適なマッピング制御情報が得られるマッピング制御モデルを生成することができる。
【０１２９】
なお、以上においては、学習音源信号に対して、１サンプルごとにマッピング制御情報の入力や調整を行なう場合を例として説明したが、学習音源信号の連続する２以上のサンプルごとに、マッピング制御情報の入力や調整が行なわれるようにしてもよい。
【０１３０】
また、ここではマッピング制御モデルとしてＲＭＳ（ｎ）に関する２次式を用いたが、３次以上の関数を用いても良い。
また、マッピング制御モデルの説明変数として、二乗平均平方根ＲＭＳ（ｎ）とその二乗値を用いると説明したが、説明変数として他の分析特徴量を任意に追加したり、組み合わせたりするようにしてもよい。例えば、他の分析特徴量としては、二乗平均平方根ＲＭＳ（ｎ）のｔ乗値（但し、ｔ≧３）や、学習音源信号の零交差率、学習音源信号の周波数エンベロープの傾きなどが考えられる。
【０１３１】
このように、図７に示すマッピング制御情報決定部３０３は、図８〜図９を参照して説明した学習処理によって得られたマッピング制御モデル３０４、例えば図１０に示す分析特徴量としての二乗平均平方根ＲＭＳ（ｎ）と、マッピング制御情報αとの対応関係データを用いて、入力分析部３０２から入力する分析特徴量に対する最適なマッピング制御情報αを算出してマッピング制御情報調整部３２１に出力する。
【０１３２】
次に、マッピング制御情報調整部３２１は、マッピング制御情報決定部３０３から得られたマッピング制御情報αに対して、環境音の大きさに応じたマッピング制御情報の調整を行う。この処理は、第１実施形態と同様の処理である。
【０１３３】
以下、前述の第１の実施形態と同様、マッピング処理部３２２においてマッピング処理を行い、帯域制限部３２３において帯域制限を行い、スピーカ３２４を介して出力信号を出力する。
【０１３４】
以上のように、この第３実施形態の音声信号処理装置３００は、事前の統計解析に基づいたマッピング制御モデルを用いるに加えて環境音の分析結果に基づいたマッピング制御情報の調整を行うことにより、環境音の大きさに応じた最適なマッピング制御情報を求めることができ、ユーザに環境音に応じた最適な再生レベル制御を実現することができる。
【０１３５】
［４．第４の実施形態について］
本発明の第４の実施形態による音声信号処理装置４００のブロック図を図１１に示す。
図１１に示す音声信号処理装置４００は、以下の構成を有する。
入力部４０１、
入力分析部４０２、
マッピング制御情報決定部４０３、
マッピング制御モデル４０４（記憶部）、
マイク４１１、
帯域分割部４１２、
環境分析部４１３、
マッピング処理部４２１、
帯域制限部４２２、
スピーカ４２３、
これらの構成を有する。
【０１３６】
図７を参照して説明した構成との差異は、図７に示すマッピング制御情報調整部３２１を省略した点である。
さらに、マッピング制御モデル４０４（記憶部）が、図７に示すデータとは異なり、環境音を考慮して生成されたデータである点が異なる。
【０１３７】
本実施形態では、マッピング制御情報決定部４０３マッピング処理部２２１において適用するマッピング制御情報を生成する構成となっている。
図１１に示す音声信号処理装置４００おいて、入力部４０１から入力された入力信号は、入力分析部４０２に供給され、その特性を分析される。
次に本発明の第１の実施形態と同様、マイク４１１を介して入力する収音信号は帯域分割部４１２において帯域分割され、環境分析部４１３で分析される。
入力分析部４０２からの入力音特徴量と環境分析部４１３からの環境音特徴量がマッピング制御情報決定部４０３に供給される。
これらの処理は、第１実施形態〜第３実施形態で説明した処理と同様の処理である。
【０１３８】
次に、マッピング制御情報決定部４０３において、環境音を考慮した学習書によって生成されたマッピング制御モデル４０４を用いて、分析特徴量からマッピング制御情報を求め、マッピング処理部４２１に供給する。
【０１３９】
マッピング制御モデル４０４は、例えば、図１２に示す学習装置５００において生成される。
図１２に示す学習装置５００は、入力部５０１、マッピング制御情報付与部５０２、マッピング処理部５０３、帯域制限部５０４、スピーカ５０５、入力分析部５０６、マッピング制御モデル学習部５０７、記録部５０８、マイク５１１、帯域分割部５１２、環境分析部５１３、環境音スピーカ５３１から構成される。なお、環境音スピーカ５３１は、外部装置のスピーカとしてもよい。
学習装置５００では、マッピング制御モデルの学習に用いられる学習音源信号が、マッピング制御情報付与部５０２、入力分析部５０６、およびマッピング処理部５０３に供給される。
また、学習環境音信号が環境音スピーカ５３１を介してマイク５１１に入力される。
【０１４０】
入力部５０１は、例えばユーザにより操作されるボタン等からなり、ユーザの操作に応じた信号をマッピング制御情報付与部５０２に供給する。マッピング制御情報付与部５０２は、入力部５０１からの信号に応じて、供給された学習音源信号の各サンプルにマッピング制御情報を付与し、マッピング処理部５０３またはマッピング制御モデル学習部５０７に供給する。
【０１４１】
マッピング処理部５０３は、マッピング制御情報付与部５０２からのマッピング制御情報を用いて、供給された学習音源信号に対してマッピング処理を行い、その結果得られた学習出力信号を帯域制限部５０４に供給する。帯域制限部５０４は例えば低域カット等の帯域制限処理を行い、処理信号をスピーカ５０５に供給する。スピーカ５０５は、マッピング処理部５０３の生成した学習出力信号に基づいて、音声を再生する。
【０１４２】
入力分析部５０６は、供給された学習音源信号の特性を分析して、その分析結果を示す分析特徴量をマッピング制御モデル学習部５０７に供給する。また、マイク５１１を介して入力される環境音とスピーカ５０５の出力信号を含む収音信号は帯域分割部５１２において環境音によって構成される低域信号と高域信号に分離され、環境分析部５１３が環境音の特徴量、例えばＲＭＳ（ｋ）を生成する。これらマイク５１１〜環境分析部５１３の処理は、第１実施形態他のマイク〜環境分析部の実行する処理と同様である。
【０１４３】
マッピング制御モデル学習部３５７は、入力分析部３５６からの再生対象学習音信号対応の分析特徴量と、環境分析部５１３からの学習環境音対応の環境音特徴量と、マッピング制御情報付与部５０２からのマッピング制御情報とを用いた統計学習によりマッピング制御モデルを求め、記録部５０８に供給する。
【０１４４】
記録部５０８は、マッピング制御モデル学習部５０７から供給されたマッピング制御モデルを記録する。このようにして記録部５０８に記録されたマッピング制御モデルは、図１２に示す音声信号処理装置４００の記憶部にマッピング制御モデル４０４として記録される。
【０１４５】
なお、図１２に示す学習装置５００は、図１１に示す音声信号処理装置４００の内部に構成することも可能であり、外部装置として構成することも可能である。図１２に示す学習装置５００を図１１に示す音声信号処理装置４００の内部に構成する場合、図１２に示す学習装置の構成要素中、図１１に示す音声信号処理装置４００の構成要素と共通する構成要素については、音声信号処理装置４００の構成要素を学習装置の構成要素として適用可能である。
【０１４６】
次に、図１３に示すフローチャートを参照して、図１２に示す学習装置５００による学習処理について説明する。
図１３に示すフローチャートのステップＳ０１に示すように、まず学習処理開始時に、例えば視聴室内で、図１２に示す環境音スピーカ５３１から環境音を再生し、その環境下でマッピング制御情報の入力または調整を受け付ける。
【０１４７】
ステップＳ１１〜ステップＳ１７の処理は、先に図９のフローチャートを参照して説明した図９に示すステップＳ１１〜ステップＳ１７の処理と同様の処理である。
これらの処理によって、ステップＳ０１において再現した１つの環境音の下での学習音源信号の特性の分析処理による入力音特徴量を得る。また、再現している環境下での収音信号を帯域分割し、その分割信号の特性を分析して環境音特徴量を得る。
これを十分な数のマッピング制御情報が得られるまで同じ環境下で繰り返す。
【０１４８】
そして、ステップＳ２１において、十分な数のマッピング制御情報が得られたのちに、次の環境音を再現し、その環境下で同様に十分な数のマッピング制御情報を集める。これを十分な数の環境音で行う。
例えば予め、ｍ種類の異なる学習環境音ＳＲＳ１〜ＳＲＳｍを準備し、これらのｍ種類の異なる学習環境音ＳＲＳ１〜ＳＲＳｍの環境下で十分な数のマッピング制御情報を集める。これら十分な数の環境音を再現したのちに、ステップＳ２２においてマッピング制御モデルを学習する。
【０１４９】
なお、先に図８を参照して説明した第３の実施形態における学習装置３５０では入力分析部３５６から入力する再生対象音に対応する学習音源の入力音特徴量のみを説明変数としていたが、この図１２に示す学習装置５００は、再生対象音に対応する学習音源の入力音特徴量と、学習環境音に対応して解析される環境分析部５１３からの環境音特徴量の両方を説明変数としてマッピング制御モデルを求める。
【０１５０】
本実施形態において算出するマッピング制御モデルは、先に図１０を参照して説明した再生対象信号の分析特徴量としての二乗平均平方根ＲＭＳ（ｎ）と、マッピング制御情報αとの対応関係データであり、この対応関係データをさらに、各環境音（前述の学習環境音ＳＲＳ１〜ＳＲＳｍ）毎に設定した複数のデータによって構成される。
あるいは、
再生対象信号の分析特徴量としての二乗平均平方根ＲＭＳ（ｎ）と、
環境音の分析特徴量としての二乗平均平方根ＲＭＳ（ｋ）と、
マッピング制御情報α、
これらをｘｙｚ軸に設定した３次元データとして設定してもよい。
本実施例では、再生対象信号の分析特徴量と、環境音の分析特徴量から、最適なマッピング制御情報αを求めることを可能としたマッピング制御モデルが生成される。
【０１５１】
なお、図１２に示す学習装置では環境音を出力するスピーカをモノラルスピーカでとして設定した例を説明したが、２チャンネル以上のスピーカで環境音を再現しても良い。あるいは実際の環境下でマッピング制御情報の入力または調整を行っても良い。
【０１５２】
このように、図１１に示すマッピング制御情報決定部４０３は、図１２〜図１３を参照して説明した学習処理によって得られたマッピング制御モデル４０４を用いて、入力分析部４０２から入力する分析特徴量と、環境ブンな席部５１３から入力する環境音特徴量に対応する最適なマッピング制御情報αを算出してマッピング処理部４２１に出力する。
【０１５３】
次に、マッピング処理部４２１は、前述の第２の実施形態と同様のマッピング処理を行い、マッピング処理結果を帯域制限部４２２に出力する。帯域制限部４２２は、前述の第１実施形態と同様の帯域制限を行い、スピーカ４２３を介して出力信号を出力する。
【０１５４】
以上のように、図１１に示す本実施形態の音声信号処理装置４００は、事前の学習処理、すなわち学習データを適用した統計解析に基づいたマッピング制御モデルを適用した構成である。本実施形態におけるマッピング制御モデルは、再生対象信号である入力信号の分析結果と環境音の分析結果の両方を説明変数として用いたものであり、環境音の大きさに応じた最適なマッピング制御情報を求めることができ、ユーザに環境に応じた最適な再生レベル制御を実現することができる。
【０１５５】
［５．第５の実施形態について］
次に、本開示の音声信号処理装置の第５の実施形態について図１４を参照して説明する。
図１４に示す音声信号処理装置６００は、再生対象とする入力信号が左チャンネルと右チャンネルの複数の信号によって構成される。
このように、音声信号のチャンネル数が２以上の場合、チャンネル毎に独立した振幅変換を行うと音量バランスが変化してしまうため、全てのチャンネルにおいて同一の振幅変換を行うのが望ましい。
【０１５６】
図１４に示す音声信号処理装置６００は、
左チャンネル入力信号の入力部６０１、
右チャンネル入力信号の入力部６０２、
左右チャンネル入力信号の分析処理を行う入力分析部６０３を有する。
さらに、入力分析部６０３から入力音特徴量に基づいて、マッピング制御モデル６０５を適用してマッピング制御情報を決定するマッピング盛儀情報決定部６０４、
マッピング制御モデル６０５を格納した記憶部を有する。なお、このマッピング制御モデルは、前述の第４実施形態において利用された図１１に示すマッピング制御モデル４０４と同様のデータである。
【０１５７】
さらに、図１４に示す音声信号処理装置６００は、以下の構成を有する。
環境音を取得するマイク６１１、
マイク６１１からの収音信号を入力して帯域分割を行う帯域分割部６１２、
帯域分割部６１２の生成する環境音の含まれる低域信号の特徴量を取得する環境分析部６１３、
これらの構成を有する。これらの構成は、先に説明した第１実施形態と同様の構成である。
【０１５８】
さらに、図１４に示す音声信号処理装置６００は、以下の構成を有する。
左チャンネル入力信号のマッピング処理を行うマッピング処理部６２１、
左チャンネル入力信号のマッピング処理結果に対する帯域制限処理を行う帯域制限部６２２、
左チャンネル入力信号の帯域制限結果を出力するスピーカ６２３、
右チャンネル入力信号のマッピング処理を行うマッピング処理部６３１、
右チャンネル入力信号のマッピング処理結果に対する帯域制限処理を行う帯域制限部６３２、
右チャンネル入力信号の帯域制限結果を出力するスピーカ６３３、
これらの構成を有する。
【０１５９】
入力部６０１，６０２から入力された左右チャンネルの再生対象入力信号に対し、入力分析部６０３においてその特性を分析し、左右チャンネルで共通の入力音特徴量を求める。またマイク６１１から入力された信号に対して帯域分割部６１２において帯域分割を行い、環境分析部６１３においてその特性を分析し環境音特徴量を求める。
【０１６０】
入力分析部６０３の生成した入力音特徴量と、環境分析部６１３の生成した環境音特徴量がマッピング制御情報決定部６０４に供給される。
マッピング制御情報決定部６０４は、先に図１１を参照して説明した第４の実施形態と同様のマッピング制御モデル６０５を適用してマッピング制御情報を求める。
このマッピング制御情報は、左右チャンネルで同一のマッピング制御情報である。
【０１６１】
このマッピング制御情報が、
左チャンネル入力信号のマッピング処理を行うマッピング処理部６２１と、
右チャンネル入力信号のマッピング処理を行うマッピング処理部６３１、
これらの２つのマッピング処理部に出力され、チャンネル毎にマッピング処理を行う。
その後、マッピング処理された各チャンネルの信号に対して、帯域制限部６２２，６３２において帯域制限を行いスピーカ６２３，６３３を介して出力信号を出力する。
なお、図１４に示す構成は、入力信号を２チャンネルとした例であるが、３つ以上の入力信号の場合には、各チャンネル単位の入力部、マッピング処理部、帯域制限部、スピーカを設ければよい。
【０１６２】
以上のように、入力信号が複数の場合には、共通のマッピング制御情報を生成し、この共通のマッピング制御情報を適用して全てのチャンネルで同一の振幅変換を行う。このような処理により、チャンネル間の音量バランスを変えることなく、音声信号の再生レベルを強調することが可能な音声信号処理方法及び装置が実現できる。
【０１６３】
［６．第６の実施形態について］
次に、図１５を参照して、本開示の第６の実施形態に従った音声信号処理装置７００の構成と処理について説明する。
図１５に示す音声信号処理装置７００は、入力部７０１を介して入力する再生対象入力信号を帯域分割フィルタ７０２に入力し、入力信号を高域信号と低域信号に分離して、処理を行う構成を有する。その他の構成は、先に図１１を参照して説明した第４の実施形態と同様である。
【０１６４】
音声や音楽は周波数帯域によってその特性が異なる。よって、周波数帯域毎に適した分析を行うことで、より処理や聴感上に適した分析特徴量を得ることができる。
【０１６５】
図１５に示す音声信号処理装置７００において、入力部７０１から入力された再生対象入力信号は帯域分割フィルタ７０２によって３００Ｈｚ前後で帯域制限された低域信号と高域信号に分割され、入力分析部７０３に供給される。そして入力分析部７０３において、低域信号及び高域信号に対してそれぞれ異なる分析を行い、それらの結果から共通の分析特徴量を求める。
【０１６６】
入力分析部７０３は、例えば以下に示す（式７）〜（式９）に従って、低域信号及び高域信号に対してそれぞれ異なる分析を行い、それらの結果から共通の分析特徴量を求める。
（式７）は、低域信号のｎ番目のサンプルに対応する特徴量としての二乗平均平方根ＲＭＳ＿ｌ（ｎ）の算出式である。
（式８）は、高域信号のｎ番目のサンプルに対応する特徴量としての二乗平均平方根ＲＭＳ＿ｈ（ｎ）の算出式である。
それぞれ、各帯域分割信号のｎ番目のサンプルを中心としたＮ及びＭサンプルによる二乗平均平方根ＲＭＳ＿ｌ（ｎ）、ＲＭＳ＿ｈ（ｎ）を算出する。
【０１６７】
【数７】
・・・（式７）
【０１６８】
【数８】
・・・（式８）
【０１６９】
上記（式７）、（式８）において、ｘ＿ｌ、ｘ＿ｈは再生対象入力信号ｘから帯域分割フィルタによって得られた低域信号及び高域信号であり、例えばパワーレベルを−１．０〜１．０で正規化した信号とする。
【０１７０】
入力分析部７０３は、
上記（式７）に従って算出した低域信号の特徴量ＲＭＳ＿ｌ（ｎ）、
上記（式８）に従って算出した高域信号の特徴量ＲＭＳ＿ｈ（ｎ）、
これらの各値を、以下に示す（式９）に従って、予め規定した重みａ，ｂを用いて重み付け加算を行い、低域信号及び高域信号共通の分析特徴量ＲＭＳ'（ｎ）を求める。なお、重みａ，ｂは、例えば＝ａ＝ｂ＝０．５とする。
【０１７１】
【数９】
・・・（式９）
【０１７２】
上記の（式９）に従って求められたＲＭＳ'（ｎ）を再生対象入力信号の分析特徴量とする。
ここで得られたＲＭＳ'（ｎ）をｎ番目の再生対象入力信号に対する入力音特徴量として、マッピング制御情報決定部７０４に供給する。
【０１７３】
なお、上記（式９）において、重みａ，ｂを均等にしているが、特定の帯域の信号に大きな重みをかける設定としてもよい。また、上記の処理例では、入力信号の周波数帯域を３００Ｈｚで二分割した処理例としているが、帯域制限部７２２での帯域制限内であれば２００Ｈｚや４００Ｈｚ、１ｋＨｚ、３．４ｋＨｚなど別の周波数で分割した信号、あるいは三分割以上の帯域信号に分割した信号から分析特徴量を求めても良い。さらにまた、入力信号と帯域分割信号に対してそれぞれ別の分析を行い、それらの結果を組わせて分析特徴量としても良い。処理の効果やマッピング制御に適したものを分析特徴量として用いると良い。またここでは、帯域分割にフィルタを用いているが、周波数軸上で各帯域の信号を生成しても良い。
【０１７４】
入力分析部７０３は、この様にして得られた分析特徴量をマッピング制御情報決定部７０４に供給する。
【０１７５】
以下、先に図１１を参照して説明した第４の実施形態と同様のマッピング制御モデル７０５を適用してマッピング制御情報を求める。このマッピング制御情報が、マッピング処理部７２１に出力され、マッピング処理が実行される。その後、マッピング処理された信号に対して、帯域制限部７２２において帯域制限を行い＜スピーカ７２３を介して出力信号を出力する。
【０１７６】
本実施例では、入力信号の各帯域に応じた特徴量を個別に取得して、各特徴量の重み付け加算結果を入力信号に対する特徴量として算出する構成とした。このように、周波数帯域毎に適した分析を行うことで、より処理や聴感上に適した分析特徴量を得ることができる。
【０１７７】
［７．第７の実施形態について］
次に、本開示の第７の実施形態に係る音声信号処理装置８００の構成と処理について図１６を参照して説明する。図１６に示す音声信号処理装置８００は、入力信号の特性に応じてマッピング処理した後に、環境音の大きさに応じて線形にゲイン調整を行う構成を持つ。
【０１７８】
本開示の第７の実施形態による音声信号処理装置８００のブロック図を図１６に示す。
図１６に示す音声信号処理装置８００は以下の構成を有する。
入力部８０１、
入力分析マッピング制御情報決定部８０２、
マイク８１１、
帯域分割部８１２、
環境分析部８１３、
ゲイン調整量決定部８１４、
マッピング処理部８２１、
ゲイン調整部８２２、
帯域制限部８２３、
スピーカ８２４、
これらの構成を有する。
【０１７９】
図６を参照して説明した第２実施形態との差異は、ゲイン調整量決定部８１４とゲイン調整部８２２を追加した点である。その他の構成と処理は、第２実施形態と同様である。
【０１８０】
入力部８０１を介して入力された再生対象入力信号は、入力分析・マッピング制御情報決定部８０２においてマッピング制御情報が算出される。
マッピング処理ら部８２１は、マッピング制御情報に基づいてマッピング処理を行いゲイン調整部８２２に供給する。
【０１８１】
マイク８１１〜帯域分割部８１２〜環境分析部８１３の処理は前述の第１実施形態と同様の処理である。環境分析部８１３において環境音の分析特徴量を求め、ゲイン調整量決定部８１４に供給する。
【０１８２】
ゲイン調整量決定部８１４は、環境分析部８１３から得られた環境音の分析特徴量から、テーブルまたは関数または事前の統計解析に基づく統計モデルを用いてゲイン調整量を決定する。
【０１８３】
ゲイン調整量決定部８１４は、例えば、以下の処理によってゲイン調整量を求める。
環境分析部８１３から得られた環境音の分析特徴量である環境音特徴量、すなわち、環境音のみが含まれる低域信号のｋ番目のサンプルを中心としたＫサンプルによる二乗平均平方根ＲＭＳ（ｋ）をｘとし、以下に示す（式１０）の線形関数を用いてゲイン調整量ｙを求める。
【０１８４】
【数１０】
・・・（式１０）
【０１８５】
なお、ここでは環境音特徴量として二乗平均平方根ＲＭＳ（ｋ）を用いたが、前述した各実施例と同様、他の特徴量やその組合せを用いても良い。
また、ゲイン調整量ｙの算出に（式１０）に示す線形関数を用いたが、環境音特徴量とゲイン調整量の関係を表す非線形関数またはテーブルまたは線形回帰モデルあるいは非線形回帰モデルを使用しても良い。
【０１８６】
ゲイン調整量決定部８１４は、このように環境音の特徴量に応じたゲイン調整量ｙを算出してゲイン調整部８２２に出力する。
ゲイン調整部８２２は、ゲイン調整量決定部８１４から入力するゲイン調整量に基づいて、マッピング処理部８２１から入力するマッピング処理信号に対して線形にゲイン調整を行う。
【０１８７】
最後に帯域制限部８２３は、ゲイン調整されたマッピング処理信号に対して帯域制限フィルタを適用して帯域制限した出力信号を生成し、スピーカ８２４を介して出力する。
本実施形態の構成では、環境音の大きさに応じてゲイン調整された出力信号を得ることができる。
【０１８８】
［８．第８の実施形態について］
次に、本開示の第８の実施形態について、図１７を参照して説明する。
図１７に示す音声信号処理装置９００は、先に図１１を参照して説明した第４の実施形態による音声信号処理装置４００に、図１６を参照して説明した第７の実施形態と同様のゲイン調整量決定部９１４と、ゲイン調整部９２２を追加した構成を持つ。
【０１８９】
図１７に示す音声信号処理装置９００は、以下の構成を有する。
入力部９０１、
入力分析部９０２、
マッピング制御情報決定部９０３、
マッピング制御モデル９０４（記憶部）、
マイク９１１、
帯域分割部９１２、
環境分析部９１３、
ゲイン調整量決定部９１４、
マッピング処理部９２１、
ゲイン調整部９２２、
帯域制限部９２３、
スピーカ９２４、
これらの構成を有する。
【０１９０】
入力部９０１から入力された再生対象入力信号に対し、入力分析部９０２においてその特性を分析し、入力音特徴量を求める。またマイク９１１から入力された信号に対して帯域分割部９１２において帯域分割を行い、環境分析部９１３においてその特性を分析し環境音特徴量を求める。
【０１９１】
入力分析部９０２の生成した入力音特徴量と、環境分析部９１３の生成した環境音特徴量がマッピング制御情報決定部９０３に供給される。
マッピング制御情報決定部９０３は、先に図１１を参照して説明した第４の実施形態と同様のマッピング制御モデル９０４を適用してマッピング制御情報を求める。
このマッピング制御情報が、マッピング処理部９２１に出力され、マッピング処理が実行される。
【０１９２】
ゲイン調整量決定部９１４は、先に図１６を参照して説明した第７の実施形態］と同様、環境音の特徴量に応じたゲイン調整量ｙを算出してゲイン調整部９２２に出力する。
ゲイン調整部９２２は、ゲイン調整量決定部９１４から入力するゲイン調整量に基づいて、マッピング処理部９２１から入力するマッピング処理信号に対して線形にゲイン調整を行う。
【０１９３】
最後に帯域制限部９２３は、ゲイン調整されたマッピング処理信号に対して帯域制限フィルタを適用して帯域制限した出力信号を生成し、スピーカ９２４を介して出力する。
本実施形態の構成では、環境音の大きさに応じてゲイン調整された出力信号を得ることができる。
【０１９４】
［９．本開示の構成のまとめ］
以上、特定の実施例を参照しながら、本開示の実施例について詳解してきた。しかしながら、本開示の要旨を逸脱しない範囲で当業者が実施例の修正や代用を成し得ることは自明である。すなわち、例示という形態で本発明を開示してきたのであり、限定的に解釈されるべきではない。本開示の要旨を判断するためには、特許請求の範囲の欄を参酌すべきである。
【０１９５】
なお、本明細書において開示した技術は、以下のような構成をとることができる。
（１） 入力信号の特性を分析し、入力音特徴量を生成する入力分析部と、
環境音の特性を解析し、環境音特徴量を生成する環境分析部と、
前記入力音特徴量と前記環境音特徴量を適用して、前記入力信号に対する振幅変換処理の制御情報としてのマッピング制御情報を生成するマッピング制御情報生成部と、
前記マッピング制御情報により定まる線形または非線形なマッピング関数に基づいて前記入力信号を振幅変換し、出力信号を生成するマッピング処理部と、
を有する音声信号処理装置。
【０１９６】
（２）前記マッピング制御情報生成部は、前記入力音特徴量を適用して予備的なマッピング制御情報を生成するマッピング制御情報決定部と、前記予備的なマッピング制御情報に対して、前記環境音特徴量を適用した調整処理により、前記マッピング処理部に出力する前記マッピング制御情報を生成するマッピング制御情報調整部を有する前記（１）に記載の音声信号処理装置。
（３）前記入力分析部は、前記入力音特徴量として予め規定した複数の連続サンプルを利用して算出した二乗平均平方根を算出し、前記環境分析部は、前記環境音特徴量として環境音信号の複数の連続サンプルを利用して算出した二乗平均平方根を算出し、前記マッピング制御情報生成部は、前記入力音特徴量である入力信号の二乗平均平方根と、前記環境音特徴量である環境音信号の二乗平均平方根とを利用して前記マッピング制御情報を生成する前記（１）または（２）に記載の音声信号処理装置。
【０１９７】
（４）前記入力音特徴量、および前記環境音特徴量は、特徴量算出対象信号の二乗平均、または二乗平均を対数化したもの、または二乗平均平方根、または二乗平均平方根を対数化したもの、または信号の零交差率、または周波数エンベロープの傾き、またはそれらの重み付け加算した結果である前記（１）〜（３）いずれかに記載の音声信号処理装置。
（５）前記環境分析部は、マイクを介して取得された収音信号から帯域分割処理によって分割された環境音の占有率の高い帯域信号の特徴解析を実行して前記環境音特徴量を算出する前記（１）〜（４）いずれかに記載の音声信号処理装置。
（６）前記音声信号処理装置は、前記マッピング処理部においてマッピング処理の施された信号の帯域制限処理を実行する帯域制限部を有し、前記帯域制限部における帯域制限後の信号を、スピーカを介して出力する前記（１）〜（５）いずれかに記載の音声信号処理装置。
【０１９８】
（７）前記マッピング制御情報生成部は、入力信号と環境音信号を含む学習用信号を適用した統計解析処理によって生成したマッピング制御モデルを適用して前記マッピング制御情報を生成する前記（１）〜（６）いずれかに記載の音声信号処理装置。
（８）前記マッピング制御モデルは、各種の入力信号と環境音信号に対してマッピング制御情報を対応付けたデータである前記（７）に記載の音声信号処理装置。
（９）前記入力信号は、複数チャンネルの複数の入力信号によって構成され、前記マッピング処理部は、各入力信号に対する個別のマッピング処理を実行する構成である前記（１）〜（８）いずれかに記載の音声信号処理装置。
（１０）前記音声信号処理装置は、さらに、前記マッピング処理部の生成したマッピング処理信号に対して、前記環境分析部の生成する環境音特徴量に応じたゲイン調整を実行するゲイン調整部を有する前記（１）〜（９）いずれかに記載の音声信号処理装置。
【０１９９】
さらに、上記した装置等において実行する処理の方法や、処理を実行させるプログラムも本開示の構成に含まれる。
【０２００】
また、明細書中において説明した一連の処理はハードウェア、またはソフトウェア、あるいは両者の複合構成によって実行することが可能である。ソフトウェアによる処理を実行する場合は、処理シーケンスを記録したプログラムを、専用のハードウェアに組み込まれたコンピュータ内のメモリにインストールして実行させるか、あるいは、各種処理が実行可能な汎用コンピュータにプログラムをインストールして実行させることが可能である。例えば、プログラムは記録媒体に予め記録しておくことができる。記録媒体からコンピュータにインストールする他、ＬＡＮ（Ｌｏｃａｌ Ａｒｅａ Ｎｅｔｗｏｒｋ）、インターネットといったネットワークを介してプログラムを受信し、内蔵するハードディスク等の記録媒体にインストールすることができる。
【０２０１】
なお、明細書に記載された各種の処理は、記載に従って時系列に実行されるのみならず、処理を実行する装置の処理能力あるいは必要に応じて並列的にあるいは個別に実行されてもよい。また、本明細書においてシステムとは、複数の装置の論理的集合構成であり、各構成の装置が同一筐体内にあるものには限らない。
【産業上の利用可能性】
【０２０２】
以上、説明したように、本開示の一実施例構成によれば、環境音が大きいときや小さいときに最適なマッピング制御が可能となり、音量が物足りないあるいは歪が気になるといったユーザの不満を減少させ、音声信号の再生レベルを様々な環境下でもユーザに対して最適に自動制御することが可能となる。
【０２０３】
具体的には、例えば、入力信号の特性を分析し入力音特徴量を生成し、環境音の特性を解析し環境音特徴量を生成し、生成した入力音特徴量と環境音特徴量を適用して、入力信号に対する振幅変換処理の制御情報としてのマッピング制御情報を生成する。さらに、マッピング制御情報により定まる線形または非線形なマッピング関数に基づいて入力信号を振幅変換し、出力信号を生成する。マッピング制御情報は、例えば入力信号と環境音を考慮して生成したモデルを参照して生成する。
これらの構成により、環境音に応じた最適なマッピング制御により音声信号のレベルを様々な環境下で最適に自動制御することが可能となる。
【符号の説明】
【０２０４】
１００ 音声信号処理装置
１０１ 入力部
１０２ 入力分析・マッピング制御情報決定部
１１１ マイク
１１２ 帯域分割部
１１３ 環境分析部
１１４ マッピング制御情報調整部
１２１ マッピング処理部
１２２ 帯域制限部
１２３ スピーカ
２００ 音声信号処理装置
２０１ 入力部
２０２ 入力分析・マッピング制御情報決定部
２１１ マイク
２１２ 帯域分割部
２１３ 環境分析部
２２１ マッピング処理部
２２２ 帯域制限部
２２３ スピーカ
３００ 音声信号処理装置
３０１ 入力部
３０２ 入力分析部
３０３ マッピング制御情報決定部
３１１ マイク
３１２ 帯域分割部
３１３ 環境分析部
３２１ マッピング制御情報調整部
３２２ マッピング処理部
３２３ 帯域制限部
３２４ スピーカ
３５０ 学習装置
３５１ 入力部
３５２ マッピング制御情報付与部
３５３ マッピング処理部
３５４ 帯域制限部
３５５ スピーカ
３５６ 入力分析部
３５７ マッピング制御モデル学習部
３５８ 記録部
４００ 音声信号処理装置
４０１ 入力部
４０２ 入力分析部
４０３ マッピング制御情報決定部
４０４ マッピング制御モデル
４１１ マイク
４１２ 帯域分割部
４１３ 環境分析部
４２１ マッピング処理部
４２２ 帯域制限部
４２３ スピーカ
５００ 学習装置
５０１ 入力部
５０２ マッピング制御情報付与部
５０３ マッピング処理部
５０４ 帯域制限部
５０５ スピーカ
５０６ 入力分析部
５０７ マッピング制御モデル学習部
５０８ 記録部
５１１ マイク
５１２ 帯域分割部
５１３ 環境分析部
５３１ 環境音スピーカ
６００ 音声信号処理装置
６０１ 入力部
６０２ 入力部
６０３ 入力分析部
６０４ マッピング制御情報決定部
６０５ マッピング制御モデル
６１１ マイク
６１２ 帯域分割部
６１３ 環境分析部
６２１，６３１ マッピング処理部
６２２，６３２ 帯域制限部
６２３，６３３ スピーカ
７００ 音声信号処理装置
７０１ 入力部
７０２ 帯域分割フィルタ
７０３ 入力分析部
７０４ マッピング制御情報決定部
７１１ マイク
７１２ 帯域分割部
７１３ 環境分析部
７２１ マッピング処理部
７２２ 帯域制限部
７２３ スピーカ
８００ 音声信号処理装置
８０１ 入力部
８０２ 入力分析・マッピング制御情報決定部
８１１ マイク
８１２ 帯域分割部
８１３ 環境分析部
８１４ ゲイン調整量決定部
８２１ マッピング処理部
８２２ ゲイン調整部
８２３ 帯域制限部
８２４ スピーカ
９００ 音声信号処理装置
９０１ 入力部
９０２ 入力分析部
９０３ マッピング制御情報決定部
９１１ マイク
９１２ 帯域分割部
９１３ 環境分析部
９１４ ゲイン調整量決定部
９２１ マッピング処理部
９２２ ゲイン調整部
９２３ 帯域制限部
９２４ スピーカ
【特許請求の範囲】
【請求項１】
入力信号の特性を分析し、入力音特徴量を生成する入力分析部と、
環境音の特性を解析し、環境音特徴量を生成する環境分析部と、
前記入力音特徴量と前記環境音特徴量を適用して、前記入力信号に対する振幅変換処理の制御情報としてのマッピング制御情報を生成するマッピング制御情報生成部と、
前記マッピング制御情報により定まる線形または非線形なマッピング関数に基づいて前記入力信号を振幅変換し、出力信号を生成するマッピング処理部と、
を有する音声信号処理装置。
【請求項２】
前記マッピング制御情報生成部は、
前記入力音特徴量を適用して予備的なマッピング制御情報を生成するマッピング制御情報決定部と、
前記予備的なマッピング制御情報に対して、前記環境音特徴量を適用した調整処理により、前記マッピング処理部に出力する前記マッピング制御情報を生成するマッピング制御情報調整部を有する請求項１に記載の音声信号処理装置。
【請求項３】
前記入力分析部は、
前記入力音特徴量として予め規定した複数の連続サンプルを利用して算出した二乗平均平方根を算出し、
前記環境分析部は、
前記環境音特徴量として環境音信号の複数の連続サンプルを利用して算出した二乗平均平方根を算出し、
前記マッピング制御情報生成部は、
前記入力音特徴量である入力信号の二乗平均平方根と、前記環境音特徴量である環境音信号の二乗平均平方根とを利用して前記マッピング制御情報を生成する請求項１に記載の音声信号処理装置。
【請求項４】
前記入力音特徴量、および前記環境音特徴量は、特徴量算出対象信号の二乗平均、または二乗平均を対数化したもの、または二乗平均平方根、または二乗平均平方根を対数化したもの、または信号の零交差率、または周波数エンベロープの傾き、またはそれらの重み付け加算した結果である請求項１に記載の音声信号処理装置。
【請求項５】
前記環境分析部は、
マイクを介して取得された収音信号から帯域分割処理によって分割された環境音の占有率の高い帯域信号の特徴解析を実行して前記環境音特徴量を算出する請求項１に記載の音声信号処理装置。
【請求項６】
前記音声信号処理装置は、
前記マッピング処理部においてマッピング処理の施された信号の帯域制限処理を実行する帯域制限部を有し、
前記帯域制限部における帯域制限後の信号を、スピーカを介して出力する請求項１に記載の音声信号処理装置。
【請求項７】
前記マッピング制御情報生成部は、
入力信号と環境音信号を含む学習用信号を適用した統計解析処理によって生成したマッピング制御モデルを適用して前記マッピング制御情報を生成する請求項１に記載の音声信号処理装置。
【請求項８】
前記マッピング制御モデルは、各種の入力信号と環境音信号に対してマッピング制御情報を対応付けたデータである請求項７に記載の音声信号処理装置。
【請求項９】
前記入力信号は、複数チャンネルの複数の入力信号によって構成され、
前記マッピング処理部は、
各入力信号に対する個別のマッピング処理を実行する構成である請求項１に記載の音声信号処理装置。
【請求項１０】
前記音声信号処理装置は、さらに、
前記マッピング処理部の生成したマッピング処理信号に対して、前記環境分析部の生成する環境音特徴量に応じたゲイン調整を実行するゲイン調整部を有する請求項１に記載の音声信号処理装置。
【請求項１１】
音声信号処理装置において実行する音声信号処理方法であり、
入力信号の特性を分析し、入力音特徴量を生成する入力分析ステップと、
環境音の特性を解析し、環境音特徴量を生成する環境分析ステップと、
前記入力音特徴量と前記環境音特徴量を適用して、前記入力信号に対する振幅変換処理の制御情報としてのマッピング制御情報を生成するマッピング制御情報生成ステップと、
前記マッピング制御情報により定まる線形または非線形なマッピング関数に基づいて前記入力信号を振幅変換し、出力信号を生成するマッピング処理ステップと、
を実行する音声信号処理方法。
【請求項１２】
音声信号処理装置において音声信号処理を実行させるプログラムであり、
入力信号の特性を分析し、入力音特徴量を生成する入力分析ステップと、
環境音の特性を解析し、環境音特徴量を生成する環境分析ステップと、
前記入力音特徴量と前記環境音特徴量を適用して、前記入力信号に対する振幅変換処理の制御情報としてのマッピング制御情報を生成するマッピング制御情報生成ステップと、
前記マッピング制御情報により定まる線形または非線形なマッピング関数に基づいて前記入力信号を振幅変換し、出力信号を生成するマッピング処理ステップと、
を実行させるプログラム。
【請求項１】
入力信号の特性を分析し、入力音特徴量を生成する入力分析部と、
環境音の特性を解析し、環境音特徴量を生成する環境分析部と、
前記入力音特徴量と前記環境音特徴量を適用して、前記入力信号に対する振幅変換処理の制御情報としてのマッピング制御情報を生成するマッピング制御情報生成部と、
前記マッピング制御情報により定まる線形または非線形なマッピング関数に基づいて前記入力信号を振幅変換し、出力信号を生成するマッピング処理部と、
を有する音声信号処理装置。
【請求項２】
前記マッピング制御情報生成部は、
前記入力音特徴量を適用して予備的なマッピング制御情報を生成するマッピング制御情報決定部と、
前記予備的なマッピング制御情報に対して、前記環境音特徴量を適用した調整処理により、前記マッピング処理部に出力する前記マッピング制御情報を生成するマッピング制御情報調整部を有する請求項１に記載の音声信号処理装置。
【請求項３】
前記入力分析部は、
前記入力音特徴量として予め規定した複数の連続サンプルを利用して算出した二乗平均平方根を算出し、
前記環境分析部は、
前記環境音特徴量として環境音信号の複数の連続サンプルを利用して算出した二乗平均平方根を算出し、
前記マッピング制御情報生成部は、
前記入力音特徴量である入力信号の二乗平均平方根と、前記環境音特徴量である環境音信号の二乗平均平方根とを利用して前記マッピング制御情報を生成する請求項１に記載の音声信号処理装置。
【請求項４】
前記入力音特徴量、および前記環境音特徴量は、特徴量算出対象信号の二乗平均、または二乗平均を対数化したもの、または二乗平均平方根、または二乗平均平方根を対数化したもの、または信号の零交差率、または周波数エンベロープの傾き、またはそれらの重み付け加算した結果である請求項１に記載の音声信号処理装置。
【請求項５】
前記環境分析部は、
マイクを介して取得された収音信号から帯域分割処理によって分割された環境音の占有率の高い帯域信号の特徴解析を実行して前記環境音特徴量を算出する請求項１に記載の音声信号処理装置。
【請求項６】
前記音声信号処理装置は、
前記マッピング処理部においてマッピング処理の施された信号の帯域制限処理を実行する帯域制限部を有し、
前記帯域制限部における帯域制限後の信号を、スピーカを介して出力する請求項１に記載の音声信号処理装置。
【請求項７】
前記マッピング制御情報生成部は、
入力信号と環境音信号を含む学習用信号を適用した統計解析処理によって生成したマッピング制御モデルを適用して前記マッピング制御情報を生成する請求項１に記載の音声信号処理装置。
【請求項８】
前記マッピング制御モデルは、各種の入力信号と環境音信号に対してマッピング制御情報を対応付けたデータである請求項７に記載の音声信号処理装置。
【請求項９】
前記入力信号は、複数チャンネルの複数の入力信号によって構成され、
前記マッピング処理部は、
各入力信号に対する個別のマッピング処理を実行する構成である請求項１に記載の音声信号処理装置。
【請求項１０】
前記音声信号処理装置は、さらに、
前記マッピング処理部の生成したマッピング処理信号に対して、前記環境分析部の生成する環境音特徴量に応じたゲイン調整を実行するゲイン調整部を有する請求項１に記載の音声信号処理装置。
【請求項１１】
音声信号処理装置において実行する音声信号処理方法であり、
入力信号の特性を分析し、入力音特徴量を生成する入力分析ステップと、
環境音の特性を解析し、環境音特徴量を生成する環境分析ステップと、
前記入力音特徴量と前記環境音特徴量を適用して、前記入力信号に対する振幅変換処理の制御情報としてのマッピング制御情報を生成するマッピング制御情報生成ステップと、
前記マッピング制御情報により定まる線形または非線形なマッピング関数に基づいて前記入力信号を振幅変換し、出力信号を生成するマッピング処理ステップと、
を実行する音声信号処理方法。
【請求項１２】
音声信号処理装置において音声信号処理を実行させるプログラムであり、
入力信号の特性を分析し、入力音特徴量を生成する入力分析ステップと、
環境音の特性を解析し、環境音特徴量を生成する環境分析ステップと、
前記入力音特徴量と前記環境音特徴量を適用して、前記入力信号に対する振幅変換処理の制御情報としてのマッピング制御情報を生成するマッピング制御情報生成ステップと、
前記マッピング制御情報により定まる線形または非線形なマッピング関数に基づいて前記入力信号を振幅変換し、出力信号を生成するマッピング処理ステップと、
を実行させるプログラム。
【図２】
【図４】
【図５】
【図６】
【図７】
【図８】
【図９】
【図１０】
【図１１】
【図１２】
【図１３】
【図１４】
【図１５】
【図１６】
【図１７】
【図１】
【図３】
【図４】
【図５】
【図６】
【図７】
【図８】
【図９】
【図１０】
【図１１】
【図１２】
【図１３】
【図１４】
【図１５】
【図１６】
【図１７】
【図１】
【図３】
【公開番号】特開２０１３−１０２４１１（Ｐ２０１３−１０２４１１Ａ）
【公開日】平成２５年５月２３日（２０１３．５．２３）
【国際特許分類】
【出願番号】特願２０１２−２０４６３（Ｐ２０１２−２０４６３）
【出願日】平成２４年２月２日（２０１２．２．２）
【出願人】（０００００２１８５）ソニー株式会社 (34,172)
【Ｆターム（参考）】
【公開日】平成２５年５月２３日（２０１３．５．２３）
【国際特許分類】
【出願日】平成２４年２月２日（２０１２．２．２）
【出願人】（０００００２１８５）ソニー株式会社 (34,172)
【Ｆターム（参考）】
[ Back to top ]