音声処理装置および方法、並びにプログラム
【課題】声主体信号のような集中定位信号と臨場音とのバランスを調整して出力できるようにする。
【解決手段】センターバランス補正部３２、およびゲイン制御信号生成部３３は、声成分信号の平均レベルと、臨場音成分信号平均レベルとに基づいて、ゲイン制御信号Ｇｖを出力する。臨場音バランス補正部３５、およびゲイン制御信号生成部３６は、声成分信号の平均レベルと、臨場音成分信号平均レベルとに基づいて、ゲイン制御信号Ｇｙを出力する。臨場音レベル補正ゲイン生成部３７は、ゲイン制御信号Ｇｙを補正してゲイン制御信号Ｇｓを生成する。可変ゲインアンプ２４は、声主体信号Ｓｖを、ゲイン制御信号Ｇｓでゲイン制御する。可変ゲインアンプ２５，２６は、臨場音成分信号を、ゲイン制御信号Ｇｖでゲイン制御する。本発明は、テレビジョン受像機に適用することができる。
【解決手段】センターバランス補正部３２、およびゲイン制御信号生成部３３は、声成分信号の平均レベルと、臨場音成分信号平均レベルとに基づいて、ゲイン制御信号Ｇｖを出力する。臨場音バランス補正部３５、およびゲイン制御信号生成部３６は、声成分信号の平均レベルと、臨場音成分信号平均レベルとに基づいて、ゲイン制御信号Ｇｙを出力する。臨場音レベル補正ゲイン生成部３７は、ゲイン制御信号Ｇｙを補正してゲイン制御信号Ｇｓを生成する。可変ゲインアンプ２４は、声主体信号Ｓｖを、ゲイン制御信号Ｇｓでゲイン制御する。可変ゲインアンプ２５，２６は、臨場音成分信号を、ゲイン制御信号Ｇｖでゲイン制御する。本発明は、テレビジョン受像機に適用することができる。
【発明の詳細な説明】
【技術分野】
【０００１】
本発明は、音声処理装置および方法、並びにプログラムに関し、特に、入力音声信号のうち、集中定位信号と臨場音とのバランスを調整して、集中定位信号と臨場音とをバランスよく出力できるようにした音声処理装置および方法、並びにプログラムに関する。
【背景技術】
【０００２】
テレビジョン受像機で受信する放送チャンネルを切り替えたときや、ＡＶ（Audio−Visual）システムにおいて、ＡＶセンタで複数の入力機器の切り替えがなされたとき、コンテンツ間のレベル差により、出力音量に大きなが変化が生じてしてしまうことがある。
【０００３】
このような場合、ユーザは、自分が好みの音量にするためには、ボリューム操作をして音量調節する必要があり、わずらわしさを感じる場合がある。
【０００４】
また、同一コンテンツ内（例えば、同一の放送チャンネル内や同一の放送番組内）においても、コマーシャル（ＣＭ）部分やシーンの変化によって、出力音量が変化し、不快に思うことがある。
【０００５】
この問題を解決する音量補正方式が従来から種々提案されている。その一例のＡＧＣ（Auto Gain Control；自動利得制御）による音量制御方式が広く知られている。
【０００６】
しかしながら、入力音声信号のレベルが大きくレベル変動した場合に、そのレベル変化点での音声信号ゲインの急激な変化を完全に抑えることは困難であり、前記レベル変化点で出力音声音量レベルが揺れるなど、聴取者に、聴感上、違和感を与える場合がある。
【０００７】
特に、従来の音量補正方式では、音声信号全体を一律に同様にゲイン制御する方式であるため、前記の急激な変化点での音量レベルの揺れに対する違和感が目立つと言う問題があった。
【０００８】
そこで、音声信号の成分のうち、例えば、センター集中定位信号などの平均レベルを求めて、出力信号が平均レベルとなるようにゲイン制御する技術が提案されている（引用文献１参照）。
【先行技術文献】
【特許文献】
【０００９】
【特許文献１】特開２０１０−１３６１７３号公報
【発明の概要】
【発明が解決しようとする課題】
【００１０】
しかしながら、特許文献１の技術においては、センター集中定位信号が、人物の声などの場合、いかなる状態でも平均レベルとされることで、声は一定のレベルに保たれるが、臨場音とセンター集中定位信号とのゲイン制御のレベルのバランスを補正させることができなかった。
【００１１】
本発明はこのような状況に鑑みてなされたものであり、特に、声主体信号のような集中定位信号と臨場音とのバランスを調整して出力できるようにするものである。
【課題を解決するための手段】
【００１２】
本技術の一側面の音声処理装置は、複数の音声成分からなる入力音声信号のうち、前記複数の音声成分の一部を主たる成分とする第１成分主体信号を、ゲイン制御して出力する第１成分主体信号ゲイン制御部と、前記入力音声信号のうち、前記第１成分以外の、その他成分信号を、ゲイン制御して出力するその他成分信号ゲイン制御部と、前記第１成分信号の平均レベルを検出する第１成分信号平均レベル検出部と、前記その他成分信号の平均レベルを検出するその他成分信号平均レベル検出部と、前記第１成分信号の平均レベルと、前記その他成分信号平均レベルとに基づいて、前記第１成分主体信号をゲイン制御する第１成分ゲイン制御信号を出力する第１成分主体信号ゲイン制御信号出力部と、前記第１成分信号の平均レベルと、前記その他成分信号平均レベルとに基づいて、前記その他成分信号をゲイン制御するその他成分ゲイン制御信号を出力するその他成分信号ゲイン制御信号出力部とを含み、前記第１成分主体信号ゲイン制御部は、前記複数の音声成分からなる入力音声信号のうち、前記複数の音声成分の一部を主たる成分とする第１成分主体信号を、前記第１成分主体信号ゲイン制御信号に基づいて、ゲイン制御して第１成分出力信号として出力し、前記その他成分信号ゲイン制御部は、前記第１成分以外の、その他成分信号を、その他成分信号ゲイン制御信号に基づいて、ゲイン制御してその他成分出力信号として出力する。
【００１３】
前記第１成分主体信号ゲイン制御信号出力部には、前記第１成分信号の平均レベルに、前記その他成分信号平均レベルを第１の所定の増幅率で増倍した信号を加算して補正する第１信号成分平均レベル補正部と、前記第１成分出力信号が、前記第１信号成分平均レベル補正部により補正された前記第１成分信号の平均レベルとなるように、前記第１成分信号ゲイン制御信号を生成する第１成分信号ゲイン制御信号生成部とを含ませるようにすることができ、前記その他成分信号ゲイン制御信号出力部には、前記第１成分信号の平均レベルに、前記その他成分信号平均レベルを第２の所定の増幅率で増倍した信号を加算して補正する第１信号成分平均レベル補正部と、前記その他成分出力信号が、前記第１信号成分平均レベル補正部により補正された前記第１成分信号の平均レベルとなるように、前記その他成分信号ゲイン制御信号を生成するその他成分信号ゲイン制御信号生成部とを含ませるようにすることができる。
【００１４】
前記第１成分主体信号ゲイン制御信号出力部には、前記第１成分出力信号が、前記第１信号成分平均レベルとなるように、第１成分信号ゲイン制御信号を生成する第１成分ゲイン制御信号生成部と、前記その他成分信号平均レベルに対応付けて設定される第１の増幅率で増倍して、前記第１成分信号ゲイン制御信号を補正し、補正した前記第１成分信号ゲイン制御信号を出力する第１信号成分平均レベル補正部とを含ませるようにすることができ、前記その他成分信号ゲイン制御信号出力部には、前記その他成分出力信号が、前記第１信号成分平均レベルとなるように、その他成分信号ゲイン制御信号を生成するその他成分ゲイン制御信号生成部と、前記その他成分信号平均レベルに対応付けて設定される第２の増幅率で増倍して、前記その他成分信号ゲイン制御信号を補正し、補正した前記その他成分信号ゲイン制御信号を出力するその他信号成分平均レベル補正部とを含ませるようにすることができる。
【００１５】
第１成分ゲイン制御信号生成部と、前記その他成分信号ゲイン制御信号出力部とは、共通とすることができ、第１成分ゲイン制御信号生成部により生成される第１成分ゲイン制御信号と、前記その他成分信号ゲイン制御信号出力部により生成されるその他成分信号ゲイン制御信号とは、同一とすることができる。
【００１６】
前記その他成分信号ゲイン制御信号出力部より出力される、前記その他成分信号ゲイン制御信号を補正するその他信号成分信号ゲイン制御信号補正部を含ませるようにすることができる。
【００１７】
前記第１成分信号は、センター集中定位信号とすることができる。
【００１８】
前記第１成分出力信号と、前記その他成分出力信号とを加算した加算出力信号を、音量補正後の音声出力信号とする加算手段をさらに含ませるようにすることができる。
【００１９】
本技術の一側面の音声処理方法は、複数の音声成分からなる入力音声信号のうち、前記複数の音声成分の一部を主たる成分とする第１成分主体信号を、ゲイン制御して出力する第１成分主体信号ゲイン制御部と、前記入力音声信号のうち、前記第１成分以外の、その他成分信号を、ゲイン制御して出力するその他成分信号ゲイン制御部と、前記第１成分信号の平均レベルを検出する第１成分信号平均レベル検出部と、前記その他成分信号の平均レベルを検出するその他成分信号平均レベル検出部と、前記第１成分信号の平均レベルと、前記その他成分信号平均レベルとに基づいて、前記第１成分主体信号をゲイン制御する第１成分ゲイン制御信号を出力する第１成分主体信号ゲイン制御信号出力部と、前記第１成分信号の平均レベルと、前記その他成分信号平均レベルとに基づいて、前記その他成分信号をゲイン制御するその他成分ゲイン制御信号を出力するその他成分信号ゲイン制御信号出力部とを含み、前記第１成分主体信号ゲイン制御部は、前記複数の音声成分からなる入力音声信号のうち、前記複数の音声成分の一部を主たる成分とする第１成分主体信号を、前記第１成分主体信号ゲイン制御信号に基づいて、ゲイン制御して第１成分出力信号として出力し、前記その他成分信号ゲイン制御部は、前記第１成分以外の、その他成分信号を、その他成分信号ゲイン制御信号に基づいて、ゲイン制御してその他成分出力信号として出力する音声処理装置における音声処理方法であって、前記第１成分主体信号ゲイン制御部における、前記複数の音声成分からなる入力音声信号のうち、前記複数の音声成分の一部を主たる成分とする第１成分主体信号を、ゲイン制御して出力する第１成分主体信号ゲイン制御ステップと、前記その他成分信号ゲイン制御部における、前記入力音声信号のうち、前記第１成分以外の、その他成分信号を、ゲイン制御して出力するその他成分信号ゲイン制御ステップと、前記第１成分信号平均レベル検出部における、前記第１成分信号の平均レベルを検出する第１成分信号平均レベル検出ステップと、前記その他成分信号平均レベル検出部における、前記その他成分信号の平均レベルを検出するその他成分信号平均レベル検出ステップと、前記第１成分主体信号ゲイン制御信号出力部における、前記第１成分信号の平均レベルと、前記その他成分信号平均レベルとに基づいて、前記第１成分主体信号をゲイン制御する第１成分ゲイン制御信号を出力する第１成分主体信号ゲイン制御信号出力ステップと、前記その他成分信号ゲイン制御信号出力部における、前記第１成分信号の平均レベルと、前記その他成分信号平均レベルとに基づいて、前記その他成分信号をゲイン制御するその他成分ゲイン制御信号を出力するその他成分信号ゲイン制御信号出力ステップとを含み、前記第１成分主体信号ゲイン制御ステップの処理は、前記複数の音声成分からなる入力音声信号のうち、前記複数の音声成分の一部を主たる成分とする第１成分主体信号を、前記第１成分主体信号ゲイン制御信号に基づいて、ゲイン制御して第１成分出力信号として出力し、前記その他成分信号ゲイン制御ステップの処理は、前記第１成分以外の、その他成分信号を、その他成分信号ゲイン制御信号に基づいて、ゲイン制御してその他成分出力信号として出力する。
【００２０】
本技術の一側面のプログラムは、複数の音声成分からなる入力音声信号のうち、前記複数の音声成分の一部を主たる成分とする第１成分主体信号を、ゲイン制御して出力する第１成分主体信号ゲイン制御部と、前記入力音声信号のうち、前記第１成分以外の、その他成分信号を、ゲイン制御して出力するその他成分信号ゲイン制御部と、前記第１成分信号の平均レベルを検出する第１成分信号平均レベル検出部と、前記その他成分信号の平均レベルを検出するその他成分信号平均レベル検出部と、前記第１成分信号の平均レベルと、前記その他成分信号平均レベルとに基づいて、前記第１成分主体信号をゲイン制御する第１成分ゲイン制御信号を出力する第１成分主体信号ゲイン制御信号出力部と、前記第１成分信号の平均レベルと、前記その他成分信号平均レベルとに基づいて、前記その他成分信号をゲイン制御するその他成分ゲイン制御信号を出力するその他成分信号ゲイン制御信号出力部とを含み、前記第１成分主体信号ゲイン制御部は、前記複数の音声成分からなる入力音声信号のうち、前記複数の音声成分の一部を主たる成分とする第１成分主体信号を、前記第１成分主体信号ゲイン制御信号に基づいて、ゲイン制御して第１成分出力信号として出力し、前記その他成分信号ゲイン制御部は、前記第１成分以外の、その他成分信号を、その他成分信号ゲイン制御信号に基づいて、ゲイン制御してその他成分出力信号として出力する音声処理装置を制御するコンピュータに、前記第１成分主体信号ゲイン制御部における、前記複数の音声成分からなる入力音声信号のうち、前記複数の音声成分の一部を主たる成分とする第１成分主体信号を、ゲイン制御して出力する第１成分主体信号ゲイン制御ステップと、前記その他成分信号ゲイン制御部における、前記入力音声信号のうち、前記第１成分以外の、その他成分信号を、ゲイン制御して出力するその他成分信号ゲイン制御ステップと、前記第１成分信号平均レベル検出部における、前記第１成分信号の平均レベルを検出する第１成分信号平均レベル検出ステップと、前記その他成分信号平均レベル検出部における、前記その他成分信号の平均レベルを検出するその他成分信号平均レベル検出ステップと、前記第１成分主体信号ゲイン制御信号出力部における、前記第１成分信号の平均レベルと、前記その他成分信号平均レベルとに基づいて、前記第１成分主体信号をゲイン制御する第１成分ゲイン制御信号を出力する第１成分主体信号ゲイン制御信号出力ステップと、前記その他成分信号ゲイン制御信号出力部における、前記第１成分信号の平均レベルと、前記その他成分信号平均レベルとに基づいて、前記その他成分信号をゲイン制御するその他成分ゲイン制御信号を出力するその他成分信号ゲイン制御信号出力ステップとを含む処理を実行させ、前記第１成分主体信号ゲイン制御ステップの処理は、前記複数の音声成分からなる入力音声信号のうち、前記複数の音声成分の一部を主たる成分とする第１成分主体信号を、前記第１成分主体信号ゲイン制御信号に基づいて、ゲイン制御して第１成分出力信号として出力し、前記その他成分信号ゲイン制御ステップの処理は、前記第１成分以外の、その他成分信号を、その他成分信号ゲイン制御信号に基づいて、ゲイン制御してその他成分出力信号として出力する。
【００２１】
本技術の電子機器は、請求項１乃至７のいずれかの音声処理装置を含む。
【００２２】
本技術の一側面においては、複数の音声成分からなる入力音声信号のうち、前記複数の音声成分の一部を主たる成分とする第１成分主体信号が、ゲイン制御されて出力され、前記入力音声信号のうち、前記第１成分以外の、その他成分信号が、ゲイン制御されて出力され、前記第１成分信号の平均レベルが検出され、前記その他成分信号の平均レベルが検出され、前記第１成分信号の平均レベルと、前記その他成分信号平均レベルとに基づいて、前記第１成分主体信号をゲイン制御する第１成分ゲイン制御信号が出力され、前記第１成分信号の平均レベルと、前記その他成分信号平均レベルとに基づいて、前記その他成分信号をゲイン制御するその他成分ゲイン制御信号が出力され、前記複数の音声成分からなる入力音声信号のうち、前記複数の音声成分の一部を主たる成分とする第１成分主体信号が、前記第１成分主体信号ゲイン制御信号に基づいて、ゲイン制御されて第１成分出力信号として出力され、前記第１成分以外の、その他成分信号が、その他成分信号ゲイン制御信号に基づいて、ゲイン制御されてその他成分出力信号として出力される。
【００２３】
本発明の音声処理装置は、独立した装置であっても良いし、音声処理を行うブロックであっても良い。
【発明の効果】
【００２４】
本技術の一側面によれば、入力音声信号のうち、センター集中定位信号を含む成分と、それ以外の成分とのバランスを調整して音声補正することが可能となる。
【図面の簡単な説明】
【００２５】
【図１】この技術による音量補正装置が適用される電子機器の例を説明するためのブロック図である。
【図２】この技術による音量補正装置の第１の実施形態を説明するためのブロック図である。
【図３】図１の実施形態におけるセンター集中定位信号生成部の構成例を示すブロック図である。
【図４】図１の実施形態におけるセンター集中定位信号生成部の他の構成例を示すブロック図である。
【図５】図４の例のセンター集中定位信号生成部の一部の構成例を説明するためのブロック図である。
【図６】図５の構成例の各部を説明するために用いる図である。
【図７】図５の構成例の各部を説明するために用いる図である。
【図８】図５の構成例の各部を説明するために用いる図である。
【図９】図５の構成例の各部を説明するために用いる図である。
【図１０】図５の構成例の各部を説明するために用いる図である。
【図１１】図５の構成例の各部を説明するために用いる図である。
【図１２】図５の構成例の各部を説明するために用いる図である。
【図１３】図２の臨場音平均レベル検出部の構成例を説明するために用いる図である。
【図１４】図２のセンターバランス補正部の構成例を説明するために用いる図である。
【図１５】図２の臨場音バランス補正部の構成例を説明するために用いる図である。
【図１６】図２の臨場音レベル補正ゲイン生成部の構成例を説明するために用いる図である。
【図１７】図２の臨場音レベル補正ゲイン生成部の構成例を説明するために用いる図である。
【図１８】図２の音量補正装置による音量補正処理を説明するために用いるフローチャートである。
【図１９】図２の音量補正装置による臨場音レベル補正ゲイン制御信号生成処理を説明するために用いるフローチャートである。
【図２０】この技術による音量補正装置の第２の実施形態を説明するためのブロック図である。
【図２１】図２０のバランス補正ゲイン生成部の動作を説明するために用いる図である。
【図２２】図２０の臨場音平均レベル検出部の構成例を説明するために用いる図である。
【図２３】図２０のセンターバランス補正部の構成例を説明するために用いる図である。
【図２４】図２０の音量補正装置による音量補正処理を説明するために用いるフローチャートである。
【図２５】この技術による音量補正装置の第２の実施形態の変形例を説明するためのブロック図である。
【図２６】この技術による音量補正装置の第３の実施形態を説明するためのブロック図である。
【図２７】図２６の音量補正装置による音量補正処理を説明するために用いるフローチャートである。
【図２８】この技術による音量補正装置の第３の実施形態を説明するためのブロック図である。
【図２９】図２８の音量補正装置による音量補正処理を説明するために用いるフローチャートである。
【図３０】汎用のパーソナルコンピュータの構成例を説明する図である。
【発明を実施するための最良の形態】
【００２６】
以下、発明を実施するための形態（以下、実施の形態という）について説明する。なお、説明は以下の順序で行う。
１． 第１の実施の形態（ゲイン制御信号を生成する前にバランス補正する場合の一例）
２． 第２の実施の形態（ゲイン制御信号を生成した後でバランス補正する場合の一例）
３． 変形例
４． 第３の実施の形態（第１の実施の形態で臨場音レベル補正ゲイン生成部を削除する場合の一例）
５． 第４の実施の形態（第２の実施の形態で臨場音レベル補正ゲイン生成部を削除する場合の一例）
【００２７】
＜１．第１の実施の形態＞
［テレビジョン受像機の構成例］
以下、本技術による音声処理装置である音量補正装置の実施形態を、図面を参照しながら説明する。尚、以下に説明する音量補正装置の実施形態は、テレビジョン受像機の音声出力部に用いる場合を示している。ただし、音量補正装置の実施形態は、これに限るものではなく、音声を出力する装置であれば、その他の装置であっても適用することができるものである。
【００２８】
すなわち、図１は、テレビジョン受像機の構成例を示すブロック図である。この図１の例のテレビジョン受像機は、マイクロコンピュータを具備して構成される制御部１０を備える。この制御部１０には、リモコン受信部１１が接続され、このリモコン受信部１１でリモコン送信機１２からのリモコン信号を受けて、制御部１０に伝達する。制御部１０は、受信したリモコン信号に応じた処理制御を実行する。
【００２９】
制御部１０は、テレビジョン受像機の各部に対して制御信号を供給して、テレビ放送信号の受信およびその映像再生および音声再生の処理を実行する。
【００３０】
チューナ部１３は、制御部１０からのユーザのリモコン操作に応じたチャンネル選択制御信号により指定される放送チャンネルの信号を、テレビ放送波信号から選択抽出する。そして、チューナ部１３は、選択抽出した放送チャンネルの信号から、映像信号と、音声信号とを復調デコードし、映像信号は映像信号処理部１４に供給し、音声信号は、音声信号処理部１５に供給する。
【００３１】
映像信号処理部１４では、制御部１０からの制御を受けて、映像信号についての所定の処理をし、その処理後の映像信号を表示制御部１６を通じて、例えばＬＣＤ（Liquid Crystal Display）からなるディスプレイ１７に供給する。これにより、選択された放送チャンネルの放送番組の画像がディスプレイ１７に表示される。
【００３２】
また、音声信号処理部１５では、制御部１０からの制御を受けて、音声信号についての所定の処理をする。この実施形態では、音声信号処理部１５では、チューナ部１３からの音声信号から、左右２チャンネルの音声信号ＳｉＬ，ＳｉＲを生成し、その処理後の音声信号ＳｉＬ，ＳｉＲを音量補正部１８に供給する。
【００３３】
音量補正部１８は、この実施形態の音量補正装置が適用される部分であり、その入力音声信号ＳｉＬ，ＳｉＲは、後述するようにして、音量補正され、出力音声信号ＳｏＬおよびＳｏＲとして出力される。そして、この音量補正部１８からの出力音声信号ＳｏＬおよびＳｏＲが、スピーカ１９Ｌおよび１９Ｒに供給されて、音響再生される。これにより、選択された放送チャンネルの放送番組の音声がスピーカ１９Ｌおよび１９Ｒから放音される。
【００３４】
以下、この音量補正部１８の場合として、この実施形態の音量補正装置について説明する。
【００３５】
［音量補正装置の第１の実施形態］
図２は、この技術の音量補正部１８の第１の実施形態としての音量補正装置の全体の構成例を示すブロック図である。
【００３６】
この第１の実施形態では、入力音声信号は、左右２チャンネルの音声信号とされる。そして、第１成分主体信号は、左右２チャンネルの音声信号中の主として人声成分を主体とする信号（以下、声主体信号という）とされる。また、第１成分以外の他の音声成分は、左右２チャンネルの音声信号のうちの、この声主体信号以外の、いわゆる臨場音とされる。この臨場音を主体とする信号を、以下、臨場音主体信号（または臨場音信号）という。
【００３７】
この図２に示すように、この第１の実施形態においては、左右２チャンネルの入力音声信号ＳｉＬ，ＳｉＲは、声主体信号と臨場音主体信号との分離部２０に供給される。この例の分離部２０は、センター集中定位信号検出部２１と、２個の減算部２２，２３とからなる。
【００３８】
センター集中定位信号検出部２１には、左右２チャンネルの入力音声信号ＳｉＬ，ＳｉＲが共に供給され、左右チャンネルの中央（センター）に定位するセンター集中定位信号として、声主体信号Ｓｖを検出する。センター集中定位信号検出部２１で検出された声主体信号Ｓｖは、減算部２２，２３、並びに、可変ゲインアンプ２４に供給される。
【００３９】
減算部２２では、左チャンネルの音声信号ＳｉＬから、声主体信号Ｓｖが減算されて、左チャンネルの臨場音主体信号ＳｓＬが得られる。また、減算部２３では、右チャンネルの音声信号ＳｉＲから、声主体信号Ｓｖが減算されて、右チャンネルの臨場音主体信号ＳｓＲが得られる。
【００４０】
こうして、分離部２０では、２チャンネル音声信号ＳｉＬ，ＳｉＲから、声主体信号Ｓｖと、左右チャンネルの臨場音主体信号ＳｓＬ，ＳｓＲとが分離されて得られる。
【００４１】
そして、この分離部２０からの声主体信号Ｓｖは、可変ゲインアンプ２４を通じて加算部２７，２８に供給されると共に、補正ゲイン生成部３０に供給される。
【００４２】
この例では、補正ゲイン生成部３０は、平均レベル検出部３１、センターバランス補正部３２、ゲイン制御信号生成部３３、臨場音平均レベル検出部３４、臨場音バランス補正部３５、およびゲイン制御信号生成部３６とからなる。平均レベル検出部３１は、声主体信号Ｓｖの平均レベルを検出して、その検出した平均レベルをセンターバランス補正部３２および臨場音バランス補正部３５に供給する。臨場音平均レベル検出部３４は、２チャンネル音声信号ＳｉＬ，ＳｉＲから、臨場音主体信号の平均レベルを検出して、その検出した平均レベルをセンターバランス補正部３２および臨場音バランス補正部３５に供給する。
【００４３】
センターバランス補正部３２は、声主体信号Ｓｖの平均レベルを、臨場音主体信号の平均レベルに基づいて、所定の処理により補正して、ゲイン制御信号生成部３３に供給する。臨場音バランス補正部３５は、声主体信号Ｓｖの平均レベルを、臨場音主体信号の平均レベルに基づいて、所定の処理により補正して、ゲイン制御信号生成部３６に供給する。
【００４４】
ゲイン制御信号生成部３３は、センターバランス補正部３２により、臨場音主体信号の平均レベルに基づいて補正された、声主体信号Ｓｖの平均レベルが、予め定めた基準レベルとなるようにするためのゲイン制御信号Ｇｖを生成する。そして、ゲイン制御信号生成部３３は、生成したゲイン制御信号Ｇｖを可変ゲインアンプ２４に供給する。
【００４５】
ゲイン制御信号生成部３６は、臨場音バランス補正部３５により、臨場音主体信号の平均レベルに基づいて補正された、声主体信号Ｓｖの平均レベルが、予め定めた基準レベルとなるようにするためのゲイン制御信号Ｇｙを生成する。そして、ゲイン制御信号生成部３６は、生成したゲイン制御信号Ｇｙを臨場音レベル補正ゲイン生成部３７に供給する。
【００４６】
したがって、可変ゲインアンプ２４においては、ゲイン制御信号Ｇｖにより、声主体信号Ｓｖのレベルが大きく変動しても、声主体信号の平均レベルが一定レベル（基準レベル）になるようにゲイン制御される。また、この際、ゲイン制御信号Ｇｖは、臨場音平均レベルに基づいて、声主体信号と臨場音とのバランスが調整されたものであるので、可変ゲインアンプ２４から出力される補正後声主体信号Ｓｖｃの出力レベルは、臨場音と声主体信号とのバランスが調整されたうえで、一定レベルとされる。そして、この一定レベルとされた補正後声主体信号Ｓｖｃが、加算部２７，２８に供給される。
【００４７】
臨場音レベル補正ゲイン生成部３７は、ゲイン制御信号生成部３６からのゲイン制御信号Ｇｙを受けて、このゲイン制御信号Ｇｙに基づく処理を行って、臨場音主体信号をゲイン補正するゲイン制御信号Ｇｓを生成し、可変ゲインアンプ２５，２６に供給する。
【００４８】
すなわち、臨場音レベル補正ゲイン生成部３７は、ゲイン制御信号Ｇｙに対して、何らかの処理を加えるので、ゲイン制御信号Ｇｖによる声主体信号Ｓｖに対するゲイン制御態様と、ゲイン制御信号Ｇｓによる臨場音主体信号ＳｓＬ，ＳｓＲに対するゲイン制御態様とは、異なるものとなる。
【００４９】
可変ゲインアンプ２５，２６は、臨場音レベル補正ゲイン生成部３７からゲイン制御信号Ｇｓの供給を受けて、このゲイン制御信号Ｇｓに基づいて、左右チャンネルの臨場音主体信号ＳｓＬ，ＳｓＲに対して、声主体信号Ｓｖとは異なるゲイン制御を行う。
【００５０】
加算部２７は、補正後の左チャンネルの臨場音主体信号ＳｓＬｃと補正後声主体信号Ｓｖｃとを加算し、その加算出力として、音量補正された左チャンネルの出力音声信号ＳｏＬを出力する。
【００５１】
また、加算部２８は、補正後の右チャンネルの臨場音主体信号ＳｓＲｃと補正後声主体信号Ｓｖｃとを加算し、その加算出力として、音量補正された右チャンネルの出力音声信号ＳｏＲを出力する。
【００５２】
ところで、ゲイン制御信号Ｇｙは、臨場音平均レベルに基づいて、臨場音と声主体信号とのバランスが調整されたものである。このため、ゲイン制御信号Ｇｙに基づいて求められる、ゲイン制御信号Ｇｓによる臨場音主体信号ＳｓＬ，ＳｓＲに対するゲイン制御態様は、入力音声信号の大きなレベル変動に対して即座に追従しないようなものにされると共に、臨場音と声主体信号とのバランスが調整されたものにされる。すなわち、声主体信号Ｓｖに対するゲイン制御態様は、入力音声信号のレベル変動に即座に追従して、臨場音と声主体信号とのバランスを調整しつつ、出力レベルをある程度一定にする。しかしながら、臨場音主体信号ＳｓＬ，ＳｓＲに対するゲイン制御態様は、それとは異なり、臨場音と声主体信号とのバランスを調整しつつ、入力音声信号の大きなレベル変動に対して即座に追従しない特性のものとされる。
【００５３】
したがって、左右チャンネルの臨場音主体信号ＳｓＬ，ＳｓＲは、可変ゲインアンプ２５，２６で、ゲイン制御されて加算部２７，２８に供給される。そして、臨場音主体信号ＳｓＬ，ＳｓＲに対するゲイン制御態様は、臨場音と声主体信号とのバランスを調整しつつ、入力音声信号の大きなレベル変動に対して即座に追従しない特性のものとされている。
【００５４】
したがって、臨場音主体信号、および声主体信号は、それぞれのバランスを調整しつつ、声主体信号について生じる大きなレベル変化点での音量レベルの揺れが抑制される。
【００５５】
このため、加算部２７，２８からの左右チャンネルの出力音声信号ＳｏＬ，ＳｏＲは、補正後声主体信号Ｓｖｃの音量レベルの揺れが、左チャンネルおよび右チャンネルの臨場音主体信号ＳｓＬ，ＳｓＲによりマスキングされるようになる。この結果、臨場音と声主体信号とのバランスを調整しつつ、声主体信号Ｓｖｃの音量レベルの揺れが、目立たなくなり、聴取者に対する違和感が軽減される。
【００５６】
以上の構成により、声主体信号は、素早く適正レベルに遷移されることになるので、人声のレベルの一定感を保ち、台詞などの人声を聞き易くすることができる。さらに、臨場音主体信号は、臨場感がある程度一定に保たれるため、レベルを変えることによる違和感が軽減され、これによってより自然なレベル遷移を実現することができるようになる。
【００５７】
なお、以上の例では、左右２チャンネル用のスピーカにより音声信号を音響再生する場合であるので、加算部２７，２８を設けるようにした。しかし、左右２チャンネル用のスピーカに加えて、センターチャンネル用のスピーカを設けた場合には、補正後声主体信号をセンターチャンネル用スピーカに供給し、可変ゲインアンプ２５，２６の出力音声信号を左右２チャンネル用のスピーカに供給するようにしても良い。この場合には、センターチャンネル用のスピーカの放音音声と、左右２チャンネル用のスピーカの放音音声とが、音響的に合成されることにより、ゲイン制御による音量レベルの揺れがマスキングされ、目立たなくなる。
【００５８】
［センター集中定位信号検出部２１の構成例］
＜第１の例＞
図３は、センター集中定位信号検出部２１の第１の構成例を示すものである。この例においては、センター集中定位信号検出部２１は、加算部２１１と、固定ゲイン「０．５」のアンプ２１２とからなる。
【００５９】
そして、この例のセンター集中定位信号検出部２１においては、左右チャンネルの入力音声信号ＳｉＬ，ＳｉＲが加算部２１１で加算され、その加算出力信号がアンプ２１２を通じて出力される。このアンプ２１２の出力信号が声主体信号Ｓｖとされる。
【００６０】
なお、この第１の例の場合には、声主体信号Ｓｖの平均値は、左右チャンネルの入力音声信号ＳｉＬ，ＳｉＲの加算信号の平均値に等しくなる。そして、補正ゲイン生成部３０は、声主体信号Ｓｖの平均値が一定レベルとなるようにゲイン制御信号Ｇｖを生成する。よって、この第１の例の場合には、補正ゲイン生成部３０は、左右チャンネルの入力音声信号ＳｉＬ，ＳｉＲの加算信号、つまり、入力音声信号全体のレベルが一定レベルとなるようにゲイン制御信号Ｇｖを生成していることにもなる。
【００６１】
＜第２の例＞
図４は、センター集中定位信号検出部２１の第２の構成例を示すものである。この第２の例は、第１の例の出力をそのまま出力するのではなく、第１の例の出力よりも、さらにセンター定位成分のみの成分に応じた信号を得るようにする例である。
【００６２】
この例においては、センター集中定位信号検出部２１は、第１の例の加算部２１１および固定ゲイン「０．５」のアンプ２１２に加えて、ゲイン調整アンプ２１３と、センター集中定位率検出部２１４とを備える。
【００６３】
この例のセンター集中定位信号検出部２１においては、アンプ２１２の出力信号はゲイン調整アンプ２１３に供給され、このゲイン調整アンプ２１３の出力信号が声主体信号Ｓｖとされる。
【００６４】
そして、この例のセンター集中定位信号検出部２１において、左右チャンネルの入力音声信号ＳｉＬ，ＳｉＲは、センター集中定位率検出部２１４にも供給される。このセンター集中定位率検出部２１４においては、入力音声全体に対するセンターに集中的に定位する信号の割合に応じて、ゲイン調整アンプ２１３のゲインを制御するゲイン制御信号Ｇａｔが生成される。
【００６５】
そして、センター集中定位率検出部２１４からのゲイン制御信号Ｇａｔにより、ゲイン調整アンプ２１３のゲインが制御されることで、声主体信号Ｓｖは、アンプ２１２の出力のうち、センターに集中的に定位する率に応じた信号成分からなるものとなる。つまり、この第２の例の声主体信号Ｓｖは、第１の例よりも、さらにセンターに集中的に定位する信号成分からなる信号となる。
【００６６】
センター集中定位率検出部２１４は、例えば図５に示すような構成を有するものとすることができる。
【００６７】
すなわち、センター集中定位率検出部２１４は、帯域制限フィルタ２１４１，２１４２と、定位方向検出部２１４３と、定位方向分布計測部２１４４と、センターゲイン制御信号生成部２１４５とを備えて構成される。
【００６８】
センター集中定位率検出部２１４に入力された左右２チャンネルの入力音声信号ＳｉＬ，ＳｉＲは、それぞれ帯域制限フィルタ２１４１，２１４２において、例えば低域成分等、定位方向をあまり感じない周波数帯域の成分が除去される。
【００６９】
そして、帯域制限フィルタ２１４１，２１４２により帯域制限された２チャンネルの入力音声信号ＳｉＬ，ＳｉＲは、定位方向検出部２１４３に供給される。定位方向検出部２１４３は、帯域制限された２チャンネルの入力音声信号ＳｉＬ，ＳｉＲのそれぞれのレベルの大きさにより、所定の周期毎の定位方向の検出時点における２チャンネルの入力音声信号ＳｉＬ，ＳｉＲが持つ定位方向を検出する。
【００７０】
すなわち、定位方向検出部２１４３においては、所定のサンプリング周期で、帯域制限された２チャンネルの入力オーディオ信号ＳｉＬ，ＳｉＲのそれぞれのレベル（振幅）をサンプリングする。そして、定位方向検出部２１４３においては、この例では、最新サンプリング時点における定位方向を現時点における定位方向として検出するようにする。
【００７１】
この場合、定位方向検出部２１４３は、当該最新サンプリング時点における定位方向を、入力音声信号ＳｉＬ，ＳｉＲのそれぞれについての、当該最新サンプリング時点のレベルと、それよりも過去のサンプリング時点のレベルとを用いて検出する。
【００７２】
２チャンネルの入力音声信号ＳｉＬ，ＳｉＲが、デジタルオーディオ信号であれば、前記サンプリング周期は、デジタルオーディオ信号のサンプル周期に等しくすることができる。もっとも、前記サンプリング周期を、デジタルオーディオ信号の１サンプル周期と等しくするのではなく、複数サンプル周期とするようにしてもよい。定位方向検出部２１４３の入力音声信号がアナログ信号である場合には、この定位方向検出部２１４３の入力段において、デジタルオーディオ信号に変換するようにしても良い。
【００７３】
この定位方向検出部２１４３における定位方向の検出方法を、図６を参照しながら説明する。図６の分布図（Ａ），（Ｂ）は、左チャンネルの入力音声信号ＳｉＬの振幅をＸ軸にとり、右チャンネルの入力音声信号ＳｉＲの振幅をＹ軸にとった場合の座標空間を示している。
【００７４】
定位方向検出部２１４３では、まず、各サンプリング周期毎の定位方向の検出時点において２チャンネルの入力音声信号ＳｉＬ，ＳｉＲのそれぞれのレベルを取得して、それに対応する座標点を、図６の分布図（Ａ），（Ｂ）の座標空間に、例えばＰ１，Ｐ２，Ｐ３，Ｐ４のように、プロットしてゆく。この例では、Ｐ４が最新の検出時点の座標点であるとする。
【００７５】
そして、定位方向検出部２１４３では、ｙ＝ｋ・ｘ（ｋは定数）で表される直線（Ｘ軸とＹ軸との交点Ｚを通る直線）を、交点Ｚを中心として±９０°回転させたときに、つまり、定数ｋを変化させたときに、プロットした座標点Ｐ１，Ｐ２，Ｐ３，Ｐ４が、どの定数ｋの直線（どの傾き角度の直線）の一番近くを移動してゆくかを算出する。つまり、定数ｋを変えた各直線からの各座標点Ｐ１，Ｐ２，Ｐ３，Ｐ４までの距離Ｄａ１，Ｄａ２，Ｄａ３，Ｄａ４あるいは距離Ｄｂ１，Ｄｂ２，Ｄｂ３，Ｄｂ４の総和が最も小さい直線の定数ｋを算出する。
【００７６】
そして、定位方向検出部２１４３は、算出した直線の定数ｋに対応する傾き角度を、検出したい現時点における定位方向とする。図７の例では、Ｘ軸、つまり、左チャンネルの定位方向（左方向）の角度を０°として、このＸ軸に対する角度（以下、定位角度という）θを定位方向として検出することとする。
【００７７】
図６の分布図（Ａ）の場合の座標点Ｐ１，Ｐ２，Ｐ３，Ｐ４の例では、定位角度はθａとして検出され、図６の分布図（Ｂ）の場合の座標点Ｐ１，Ｐ２，Ｐ３，Ｐ４の例では、定位角度はθｂとして検出されるものである。
【００７８】
なお、この実施形態では、定位方向検出部２１４３においては、現時点（最新サンプリング時点）の２チャンネル入力音声信号のレベルと、過去のサンプリング時点における２チャンネル入力音声信号のレベルとは等しい重みで用いてはいない。この実施形態では、定位方向検出部２１４３においては、現時点に近いサンプリング時点の２チャンネル入力音声信号のレベルほど重みが大きいものとするようにしている。
【００７９】
このため、定位方向検出部２１４３では、２チャンネル入力音声信号のレベルのサンプリング値に対して、図７に示すように、現時点（この例では最新サンプリング時点ｔｎ）に近いほど、重みが大きくなるように、指数関数曲線の特性を有する時間ウインドーＷＤ１が用いられている。
【００８０】
なお、上述の説明では、処理対象信号時点となる現時点を最新サンプリング時点（最新サンプル時点）とした。しかし、可変ゲインアンプ２４乃至２６の入力側に所定時間τだけ遅延させる遅延回路を設けて、処理対象となる現時点を、入力音声信号ＳｉＬ，ＳｉＲよりも前記τだけ遅延した時点とすることができる。
【００８１】
その場合には、定位方向検出部２１４３では、処理対象信号時点となる現時点よりも後（未来）の２チャンネル入力音声信号ＳｉＬ，ＳｉＲをも用いて、定位方向を検出するようにすることができる。例えば、図６の例で、処理対象信号時点となる現時点がＰ２やＰ３の場合とすることができる。
【００８２】
そして、その場合には、前述した時間ウインドーＷＤ１の代わりに、図８に示すような指数関数曲線の特性の時間ウインドーＷＤ２が用いられる。この時間ウインドーＷＤ２は、処理対象信号時点となる現時点ｔｐで最も重みが大きく、現時点ｔｐから離れるにつれ、過去および未来の方向に重みが小さくなるような指数関数曲線の特性を有するものである。
【００８３】
なお、現時点の２チャンネル入力オーディオ信号のレベルを、過去および／または未来のサンプリング時点における２チャンネル入力音声信号ＳｉＬ，ＳｉＲのレベルを重み付けせずに、そのままの値で用いても良い。
【００８４】
以上のようにして、定位方向検出部２１４３では、現時点においては、２チャンネル入力音声信号ＳｉＬ，ＳｉＲが、どの方向からの信号であるかを、定位角度θとして検出することができる。
【００８５】
しかしながら、検出した現時点における定位角度θは、１時点における入力オーディオ信号の定位方向を一方向に限定したもので、各方向ごとの信号の強さが反映されていない。そこで、この実施形態では、この点にかんがみ、定位方向検出部２１４３で検出された現時点における２チャンネル入力音声信号ＳｉＬ，ＳｉＲの定位方向の検出結果（定位角度θ）は、定位方向分布計測部２１４４に供給される。
【００８６】
定位方向分布計測部２１４４では、予め定められた所定時間区間ｄに渡って定位方向検出部２１４３で検出された定位角度θの、全方位についての分布を求め、２チャンネル入力音声信号の定位方向が、どの角度方向にどのくらいの割合を持っているかを計測する。
【００８７】
この場合、所定時間区間ｄは、例えば数ミリ秒〜数百ミリ秒、この例では数１０ミリ秒に選定されている。そして、この実施形態では、定位方向分布計測部２１４４では、この所定時間区間ｄにおける定位方向検出部２１４３で検出された定位角度θに対して、定位方向検出部２１４３における重み係数の特性と同様に重み付けをするようにする。
【００８８】
すなわち、定位方向分布計測部２１４４では、現時点ｔｐ（この例では、ｔｐ＝ｔｎ（最新サンプリング時点））に近づくほど指数関数的に大きくなるような重み付けをする時間ウインドーＷＤ３（図９参照）をかけて重み付けをするようにする。
【００８９】
なお、前述したように、入力オーディオ信号に対して遅延時間τを設けるようにして、定位方向検出部２１４３での重み付けのための時間ウインドーを、図８のようにする場合には、定位方向分布計測部２１４４における時間ウインドーも、図８と同様なものとなる。その場合の時間区間ｄは、現時点ｔｐより未来と過去の両方を含む時間区間となるものである。なお、重み付けをせずに、そのままの値で用いてもよい。
【００９０】
図１０は、この定位方向分布計測部２１４４で求められた定位角度θの分布である定位方向分布Ｐ（θ）の一例を示すもので、横軸にはＸ軸（左チャンネル定位方向）を基準にした定位角度θをとり、縦軸には各定位角度の出現度（＜１）をとったものである。ここで、この実施形態では、定位方向分布Ｐ（θ）をすべての定位角度θについて総和を求めたときに１、すなわち、
ΣＰ（θ）＝１
となるように分布が生成される。
【００９１】
また、定位角度θと、音声信号の定位方向との関係は、図１１に示すようなものとなる。なお、図１１に示されている正面方向、左方向、右方向などは、リスナを基準にした方向名である。
【００９２】
以上のようにして、定位方向分布計測部２１４４からは、現時点（現サンプリング時点あるいは現サンプル時点；処理対象信号時点）ごとに、図１０に示すような定位方向分布Ｐ（θ）の情報が得られる。
【００９３】
この定位方向分布Ｐ（θ）の情報は、センターゲイン制御信号生成部２１４５に供給される。センターゲイン制御信号生成部２１４５では、定位方向分布計測部２１４４によって算出された定位方向分布Ｐ（θ）から、センターに集中的に定位する信号ほど、ゲインが大きく、その他では、ゲインが小さくなるセンターゲイン制御信号を生成する。
【００９４】
センターゲイン制御信号生成部２１４５は、図示を省略するゲインテーブルメモリを備えている。このゲインテーブルメモリには、ゲイン調整アンプ２１３に供給するゲイン制御信号を生成するためのゲインテーブル情報Ｋ（θ）が予め記憶されている。
【００９５】
このゲインテーブル情報Ｋ（θ）は、定位角度のすべて（−４５°〜１３５°）に対して、センター定位方向に重み付けが施されたゲイン特性とされている。図１２に、このゲインテーブル情報Ｋ（θ）の例を示す。
【００９６】
すなわち、ゲインテーブル情報Ｋ（θ）は、この例では、図１２に示すように、正面方向（センター方向；θ＝４５°）のときにゲインが最大の「１」となる。そして、センター方向よりも左方向の定位角度範囲（０°〜４５°）およびセンター方向よりも左方向の定位角度範囲（４５°〜９０°）では、センター方向から遠ざかるにしたがってゲインが小さくなるようなゲイン特性とされる。
【００９７】
センターゲイン制御信号生成部２１４５では、定位方向分布計測部２１４４で求められた定位方向分布Ｐ（θ）の情報と、ゲインテーブル情報Ｋ（θ）のゲイン値との、すべての定位角度についての積の総和を算出する。
【００９８】
すなわち、センターゲイン制御信号生成部２１４５は、
Ｇａｔ＝Σ（Ｋ（θ）×Ｐ（θ））として、ゲイン制御信号Ｇａｔを生成する。
【００９９】
こうしてセンターゲイン制御信号生成部２１４５で生成されたゲイン制御信号Ｇａｔは、センター集中定位率検出部２１４の出力として、ゲイン調整アンプ２１３に供給される。
【０１００】
したがって、ゲイン調整アンプ２１３からは、第１の例よりも、さらにセンターに集中的に定位する信号成分からなる声主体信号Ｓｖが得られる。
【０１０１】
なお、センター集中定位信号検出部２１としては、上述した第１の例および第２の例に限られるものではないことは勿論である。
【０１０２】
［臨場音平均レベル検出部３４の構成例］
次に、図１３を参照して、臨場音平均レベル検出部３４の構成例について説明する。臨場音平均レベル検出部３４は、減算部４１、および平均レベル検出部４２より構成されている。減算部４１は、入力音声信号ＳｉＬ，ＳｉＲの差分を求めて平均レベル検出部４２に供給する。平均レベル検出部４２は、入力音声信号ＳｉＬ，ＳｉＲの差分の平均レベルを臨場音平均レベルとして検出して、その検出した臨場音平均レベルをセンターバランス補正部３２および臨場音バランス補正部３５に供給する。尚、臨場音平均レベル検出部３４の構成については、臨場音平均レベルとして定義できる値が求められるものであれば他の構成であってもよく、例えば、左右チャンネルの臨場音主体信号ＳｓＬ，ＳｓＲとの差分を用いたものであってもよい。
【０１０３】
［センターバランス補正部３２の構成例］
次に、図１４を参照して、センターバランス補正部３２の構成例について説明する。センターバランス補正部３２は、固定ゲインアンプ５１、および加算部５２より構成されている。固定ゲインアンプ５１は、臨場音平均レベルを固定のゲインＫ１でゲイン調整し加算部５２に供給する。加算部５２は、固定ゲインアンプ５１より供給されてくるゲインＫ１でゲイン制御された臨場音平均レベルと、平均レベル検出部３１より供給されてくる声主体信号Ｓｖの平均レベルとを加算してセンターバランス補正平均レベルとしてゲイン制御信号生成部３３に供給する。尚、センターバランス補正部３２の構成については、センターバランス補正平均レベルとして定義できる値が求められるものであれば他の構成であってもよい。
【０１０４】
［臨場音バランス補正部３５の構成例］
次に、図１５を参照して、臨場音バランス補正部３５の構成例について説明する。臨場音バランス補正部３５は、固定ゲインアンプ６１、および加算部６２より構成されている。固定ゲインアンプ６１は、臨場音平均レベルを固定のゲインＫ２でゲイン制御し加算部６２に供給する。加算部６２は、固定ゲインアンプ６１より供給されてくるゲインＫ２でゲイン制御された臨場音平均レベルと、平均レベル検出部３１より供給されてくる声主体信号Ｓｖの平均レベルとを加算して臨場音バランス補正平均レベルとしてゲイン制御信号生成部３６に供給する。尚、臨場音バランス補正部３５の構成については、臨場音バランス補正平均レベルとして定義できる値が求められるものであれば他の構成であってもよい。
【０１０５】
すなわち、センターバランス補正部３２、および臨場音バランス補正部３５は、それぞれ異なるゲインＫ１，Ｋ２により臨場音平均レベルを、声主体信号Ｓｖの平均レベルに加算することで、それぞれセンターバランス補正平均レベルおよび臨場音バランス補正平均レベルを求めている。したがって、このゲインＫ１，Ｋ２を様々に変化させることにより、声主体信号Ｓｖと臨場音とを様々な割合で変化させることができ、声主体信号Ｓｖと臨場音とのバランスを調整することが可能となる。
【０１０６】
［臨場音レベル補正ゲイン生成部３７の構成例］
次に、図１６を参照して、臨場音レベル補正ゲイン生成部３７の構成例について説明する。
【０１０７】
入力音声信号のレベル変動あるいは声主体信号Ｓｖのレベル変動が大きく、声主体信号Ｓｖの出力レベルのみを一定レベルにゲイン制御したときには、元の入力音声信号に対するバランスが悪化して、違和感を覚える場合がある。
【０１０８】
この臨場音レベル補正ゲイン生成部３７は、この問題を改善するものである。臨場音レベル補正ゲイン生成部３７は、ゲイン値変換テーブル部７１からなる。
【０１０９】
ゲイン値変換テーブル部７１は、声主体信号Ｓｖに対するゲイン制御信号Ｇｙを入力信号として受けて、臨場音主体信号ＳｓＬ，ＳｓＲに対するゲイン制御信号Ｇｓを出力するものであり、ゲイン値変換テーブルメモリ（図示は省略）を有する。
【０１１０】
ゲイン値変換テーブル部７１が備えるゲイン値変換テーブルメモリに記憶されるゲイン値変換テーブル情報の例を説明するための図を図１７に示す。
【０１１１】
声主体信号Ｓｖのレベル変動が小さい場合あるいは入力音声信号全体のレベル変動が小さいときには、ゲイン制御信号Ｇｙによる声レベル補正ゲイン値は、Ｇｙ＝１を中心として大きく変化しない。
【０１１２】
このような場合には、前述した臨場音主体信号と、声主体信号とのバランスは、元の入力音声信号から大きく外れてはいないので、違和感を覚えることはない。このため、このようなレベル変動が小さい範囲では、臨場音主体信号ＳｓＬ，ＳｓＲは、固定ゲイン「１」のアンプを通じて出力してもよい。
【０１１３】
そこで、この図１７の例においては、０．７５≦Ｇｙ≦１．２５の範囲では、臨場音主体信号に対するゲイン制御信号Ｇｓは、常にＧｓ＝１のゲイン値にする。
【０１１４】
そして、入力音声信号のレベル変動あるいは声主体信号Ｓｖのレベル変動が、このような小さいレベル変動範囲から逸脱する場合には、この例では、ゲイン制御信号Ｇｙに対して所定の比を持って、追従して、臨場音主体信号ＳｓＬ，ＳｓＲをゲイン制御する。
【０１１５】
すなわち、図１７の例においては、Ｇｙ＜０．７５となる入力レベルが大きくなる範囲では、Ｇｓ／Ｇｙ＝Ｋ１１（＝１／０．７５）の関係を持って、ゲイン制御信号Ｇｙから、臨場音主体信号ＳｓＬ，ＳｓＲに対するゲイン制御信号Ｇｓを出力するようにする。
【０１１６】
また、Ｇｙ＞１．２５となる入力レベルが小さくなる範囲では、Ｇｓ／Ｇｙ＝Ｋ１２（＝２／２．５）の関係を持って、ゲイン制御信号Ｇｙから、臨場音主体信号ＳｓＬ，ＳｓＲに対するゲイン制御信号Ｇｓを出力するようにする。
【０１１７】
このようにすることにより、声レベル補正ゲインが大きく変動した場合でも、臨場音レベル補正ゲインが、声レベル補正ゲインと一定の比を持って追従するので、声主体信号レベルに対する臨場音主体信号レベルのバランスが大きく開いてしまうことを防止できる。したがって、レベル変動が大きい場合においても自然なレベル遷移を実現することができるようになる。
【０１１８】
ゲイン値変換テーブル部７１は、声主体信号Ｓｖに対するゲイン制御信号Ｇｙの値をゲイン値変換テーブルメモリの読み出しアドレス入力として、対応する臨場音主体信号に対するゲイン制御信号Ｇｓを読み出して、出力するように構成できる。
【０１１９】
［図２の音量補正装置による音量補正処理］
音量補正装置は、ソフトウェア処理演算により各構成の機能を実現するようにすることができる。そこで、図１８のフローチャートを参照して、図２の音量補正装置による音量補正処理について説明する。
【０１２０】
ステップＳ１において、センター集中定位信号検出部２１は、左右２チャンネルの入力音声信号ＳｉＬ，ＳｉＲより、左右チャンネルの中央（センター）に定位するセンター集中定位信号を抽出し、声主体信号Ｓｖとして検出して減算部２２，２３に出力する。
【０１２１】
ステップＳ２において、減算部２２は、左チャンネルの音声信号ＳｉＬから、声主体信号Ｓｖを減算して、左チャンネルの臨場音主体信号ＳｓＬを生成し、可変ゲインアンプ２５に供給する。また、減算部２３は、右チャンネルの音声信号ＳｉＲから、声主体信号Ｓｖを減算して、右チャンネルの臨場音主体信号ＳｓＲを生成し、可変ゲインアンプ２６に供給する。
【０１２２】
ステップＳ３において、平均レベル検出部３１は、声主体信号Ｓｖの平均レベルを検出して、その検出した平均レベルをセンターバランス補正部３２および臨場音バランス補正部３５に供給する。
【０１２３】
ステップＳ４において、臨場音平均レベル検出部３４は、２チャンネル音声信号ＳｉＬ，ＳｉＲから、臨場音主体信号の平均レベルを検出して、その検出した臨場音主体信号の平均レベルをセンターバランス補正部３２および臨場音バランス補正部３５に供給する。
【０１２４】
ステップＳ５において、センターバランス補正部３２は、声主体信号Ｓｖの平均レベルに、臨場音主体信号の平均レベルを所定のゲインＫ１によりゲイン制御した値を加算することにより補正して、ゲイン制御信号生成部３３に供給する。
【０１２５】
ステップＳ６において、臨場音バランス補正部３５は、声主体信号Ｓｖの平均レベルに、臨場音主体信号の平均レベルを所定のゲインＫ２によりゲイン制御した値を加算することにより補正して、ゲイン制御信号生成部３６に供給する。
【０１２６】
ステップＳ７において、ゲイン制御信号生成部３３は、センターバランス補正部３２により、臨場音主体信号の平均レベルに基づいて補正された、声主体信号Ｓｖの平均レベルが、予め定めた基準レベルとなるようにするためのゲイン制御信号Ｇｖを生成する。そして、ゲイン制御信号生成部３３は、生成したゲイン制御信号Ｇｖを可変ゲインアンプ２４に供給する。
【０１２７】
ステップＳ８において、ゲイン制御信号生成部３６は、臨場音バランス補正部３５により、臨場音主体信号の平均レベルに基づいて補正された、声主体信号Ｓｖの平均レベルが、予め定めた基準レベルとなるようにするためのゲイン制御信号Ｇｙを生成する。そして、ゲイン制御信号生成部３６は、生成したゲイン制御信号Ｇｙを臨場音レベル補正ゲイン生成部３７に供給する。
【０１２８】
ステップＳ９において、臨場音レベル補正ゲイン生成部３７は、ゲイン制御信号生成部３６からのゲイン制御信号Ｇｙを受けて、このゲイン制御信号Ｇｙに基づく臨場音レベル補正ゲイン制御信号生成処理を行って、臨場音主体信号をゲイン補正する、臨場音レベル補正ゲインであるゲイン制御信号Ｇｓを生成し、可変ゲインアンプ２５，２６に供給する。
【０１２９】
［臨場音レベル補正ゲイン制御信号生成処理］
ここで、図１９のフローチャートを参照して、臨場音レベル補正ゲイン制御信号生成処理について説明する。
【０１３０】
ステップＳ２１において、臨場音レベル補正ゲイン生成部３７は、入力された声主体信号についてのゲイン制御信号Ｇｙのゲイン値を検知する
【０１３１】
ステップＳ２１において、臨場音レベル補正ゲイン生成部３７は、ゲイン値変換テーブル部７１に基づいて、そのゲイン値Ｇｙが、Ｇｙ＜０．７５であるか否か判定する。ステップＳ２１において、例えば、ゲイン値Ｇｙ＜０．７５である場合、処理は、ステップＳ２３に進む。
【０１３２】
ステップＳ２３において、臨場音レベル補正ゲイン生成部３７は、ゲイン値変換テーブル部７１に基づいて、Ｇｓ＝Ｋ１１×Ｇｙなる演算により臨場音主体信号ＳｓＬ，ＳｓＲに対する、臨場音レベル補正ゲインであるゲイン制御信号Ｇｓを算出する。
【０１３３】
一方、ステップＳ２２において、Ｇｙ＜０．７５ではないと判定された場合、ステップＳ２４において、臨場音レベル補正ゲイン生成部３７は、ゲイン値変換テーブル部７１に基づいて、Ｇｙ＞１．２５であるか否かを判定する。ステップＳ２４において、例えば、Ｇｙ＞１．２５である場合、処理は、ステップＳ２５に進む。ステップＳ２５において、臨場音レベル補正ゲイン生成部３７は、ゲイン値変換テーブル部７１に基づいて、Ｇｓ＝Ｋ１２×Ｇｙなる演算により臨場音主体信号ＳｓＬ，ＳｓＲに対する臨場音レベル補正ゲインであるゲイン制御信号Ｇｓを算出する。
【０１３４】
ステップＳ２４において、例えば、Ｇｙ＞１．２５ではない場合、ステップＳ２６において、臨場音レベル補正ゲイン生成部３７は、ゲイン値変換テーブル部７１に基づいて、０．７５≦Ｇｙ≦１．２５であることを確認して、Ｇｓ＝１とする。
【０１３５】
そして、ステップＳ２３，Ｓ２４、およびＳ２６の処理が終了した後、処理は、ステップＳ２１に戻り、それ以降の処理が繰り返される。
【０１３６】
なお、上述の説明のゲイン値の数値は、一例であり、これに限られるものではないことはいうまでもない。そして、ゲイン値Ｇｙ＝１を中心とするレベル変動が小さい範囲、すなわち、α≦Ｇｙ≦βの範囲においては、上述の例では、１−α＝β−１としたが、１−α≠β−１であっても勿論良い。
【０１３７】
また、Ｇｙ＜αの範囲での比の値Ｋ１１と、Ｇｙ＞βの範囲での比の値Ｋ１２も、一例であり、また、Ｋ１１＝Ｋ１２であってもよい。
【０１３８】
ここで、図１８のフローチャートの説明に戻る。
【０１３９】
ステップＳ１０において、可変ゲインアンプ２５，２６は、臨場音レベル補正ゲイン生成部３７から供給されてくる臨場音レベル補正ゲインであるゲイン制御信号Ｇｓに基づいて、左右チャンネルの臨場音主体信号ＳｓＬ，ＳｓＲに対して、ゲイン制御を行い、それぞれ加算部２７，２８に供給する。
【０１４０】
ステップＳ１１において、可変ゲインアンプ２４は、ゲイン制御信号生成部３３は、生成したゲイン制御信号Ｇｖに基づいて、声主体信号Ｓｖに対して、ゲイン制御を行い、補正後の声主体信号Ｓｖｃを加算部２７，２８に供給する。
【０１４１】
ステップＳ１２において、加算部２７は、左チャンネルの臨場音主体信号ＳｓＬと補正後声主体信号Ｓｖｃとを加算し、その加算出力として、音量補正された左チャンネルの出力音声信号ＳｏＬを出力する。また、加算部２８は、右チャンネルの臨場音主体信号ＳｓＲと補正後声主体信号Ｓｖｃとを加算し、その加算出力として、音量補正された右チャンネルの出力音声信号ＳｏＲを出力する。
【０１４２】
以上の処理により、臨場音主体信号、および声主体信号が、ゲインＫ１，Ｋ２の調整により、様々な割合でバランスを取ることが可能になると共に、声主体信号について生じる大きなレベル変化点での音量レベルの揺れを抑制することが可能となる。結果として、臨場音と声主体信号とのバランスを調整しつつ、声主体信号Ｓｖｃの音量レベルの揺れが、目立たなくなり、聴取者に対する違和感が軽減される。
【０１４３】
＜２．第２の実施の形態＞
［音量補正装置の第２の実施形態］
以上においては、声主体信号Ｓｖの平均レベルに対して、臨場音平均レベルに基づいたバランス補正を行うことにより、補正された声主体信号Ｓｖの平均レベルを用いて、ゲイン制御信号Ｇｖ，Ｇｓを生成する例について説明してきたが、バランス補正ができれば、補正する信号は別の信号であってもよい。
【０１４４】
例えば、声主体信号Ｓｖの平均レベルに基づいて求められるゲイン制御信号を、声主体信号、および臨場音主体信号のそれぞれについて、臨場音平均レベルに基づいたバランス補正を行うことによりゲイン制御信号Ｇｖ，Ｇｙを生成するようにしてもよい。
【０１４５】
図２０は、声主体信号Ｓｖの平均レベルに基づいて求められるゲイン制御信号を、声主体信号、および臨場音主体信号のそれぞれについて、臨場音平均レベルに基づいてバランスを補正することによりゲイン制御信号Ｇｖ，Ｇｙを生成する音量補正装置の構成を示している。尚、図２０の音量補正装置において、図２の音量補正装置における構成と同一の機能を備えた構成については、同一の符号を付しており、その説明は適宜省略するものとする。図２０の音量補正装置において、図２の音量補正装置と異なる構成は、センターバランス補正部３２、ゲイン制御信号生成部３３、臨場音バランス補正部３５、およびゲイン制御信号生成部３６に代えて、ゲイン制御信号生成部１０１−１、センターバランス補正部１０３、ゲイン制御信号生成部１０１−２、および臨場音バランス補正部１０４を設け、さらに、バランス補正ゲイン生成部１０２を備えていることである。
【０１４６】
ゲイン制御信号生成部１０１−１，１０１−２は、いずれも平均レベル検出部３１より供給されてくる声主体信号Ｓｖの平均レベルが、予め定めた基準レベルとなるためのゲイン制御信号を生成し、それぞれセンターバランス補正部１０３、および臨場音バランス補正部１０４に供給する。
【０１４７】
バランス補正ゲイン生成部１０２は、臨場音平均レベル検出部３４より供給されてくる臨場音平均レベルに基づいて、声主体信号Ｓｖの平均レベルを予め定めた基準レベルとなるためのゲイン制御信号を、声主体信号Ｓｖと臨場音主体信号とのバランスを補正するためのバランス補正ゲインＫ３，Ｋ４を生成し、それぞれセンターバランス補正部１０３、および臨場音バランス補正部１０４に供給する。より詳細には、バランス補正ゲイン生成部１０２は、図２１で示されるような、臨場音平均レベルに応じて設定されるバランス補正ゲインのテーブルを記憶しており、臨場音平均レベルに応じたバランス補正ゲインＫ３，Ｋ４を読み出して出力している。図２１で示されるように、声主体信号Ｓｖを補正するゲイン制御信号を補正するためのバランス補正ゲインＫ３は、臨場音平均レベルに比例して大きくなるように設定されている。これに対して、臨場音信号ＳｉＬ，ＳｉＲを補正するゲイン制御信号を補正するためのバランス補正ゲインＫ４は、臨場音平均レベルに比例して小さくなるように設定されている。尚、バランス補正ゲインＫ３，Ｋ４については、臨場音平均レベルに対して、図２１で示されるような関係とは異なる関係となるものであってもよく、例えば、バランス補正ゲインＫ３，Ｋ４が、それぞれ臨場音平均レベルに対して、それぞれ図２１の場合と逆の関係となるようなものであってもよい。
【０１４８】
センターバランス補正部１０３は、ゲイン制御信号生成部１０１−１より供給されてくるゲイン制御信号をバランス補正ゲイン生成部１０２より供給されてくるバランス補正ゲインＫ３により補正してゲイン制御信号Ｇｖを生成し、可変ゲインアンプ２４に供給する。
【０１４９】
臨場音バランス補正部１０４は、ゲイン制御信号生成部１０１−２より供給されてくるゲイン制御信号を、バランス補正ゲイン生成部１０２より供給されてくるバランス補正ゲインＫ４により補正してゲイン制御信号Ｇｙを生成し、臨場音レベル補正ゲイン生成部３７に供給する。
【０１５０】
すなわち、図２の音量調整部１８においては、声主体信号Ｓｖの平均レベルが、臨場音平均レベルに基づいてバランス補正がなされ、補正後の声主体信号Ｓｖの平均レベルからゲイン制御信号が生成されていた。これに対して、図２０の音量調整部１８においては、声主体信号Ｓｖの平均レベルに基づいてゲイン制御信号が生成されて、臨場音平均レベルに基づいて、声主体信号と臨場音とのバランスを調整するために設定されるバランス補正ゲインでバランス補正されている。
【０１５１】
［センターバランス補正部１０３の構成例］
次に、図２２を参照して、センターバランス補正部１０３の構成例について説明する。センターバランス補正部１０３は、可変ゲインアンプ１２１により構成されている。可変ゲインアンプ１２１は、バランス補正ゲイン生成部１０２より供給されてくるバランス補正ゲインＫ３により、声主体信号Ｓｖの平均レベルに基づいて生成されるゲイン制御信号をゲイン制御して、ゲイン制御信号Ｇｖを生成して可変ゲインアンプ２４に供給する。
【０１５２】
［臨場音バランス補正部１０４の構成例］
次に、図２３を参照して、臨場音バランス補正部１０４の構成例について説明する。臨場音バランス補正部１０４は、可変ゲインアンプ１３１により構成されている。可変ゲインアンプ１３１は、バランス補正ゲイン生成部１０２より供給されてくるバランス補正ゲインＫ４により、声主体信号Ｓｖの平均レベルに基づいて生成されるゲイン制御信号をゲイン制御して、ゲイン制御信号Ｇｙを生成して臨場音レベル補正ゲイン生成部３７に供給する。
【０１５３】
［図２０の音量補正装置による音量補正処理］
図２０音量補正装置についても、ソフトウェア処理演算により各構成の機能を実現するようにすることができる。そこで、図２４のフローチャートを参照して、図２０の音量補正装置による音量補正処理について説明する。尚、図２４のフローチャートにおけるステップＳ３１乃至Ｓ３４、およびＳ３９乃至Ｓ４２の処理については、図１８のフローチャートを参照して説明した処理と同一の処理であるので、その説明は省略する。
【０１５４】
すなわち、ステップＳ３１乃至Ｓ３４の処理により、平均レベル検出部３１により声主体信号Ｓｖの平均レベルが求められ、臨場音平均レベル検出部３４により臨場音平均レベルが求められると処理は、ステップＳ３５に進む。
【０１５５】
ステップＳ３５において、ゲイン制御信号生成部１０１−１，１０１−２は、声主体信号Ｓｖの平均レベルが、予め定めた基準レベルとなるためのゲイン制御信号を生成し、それぞれセンターバランス補正部１０３、および臨場音バランス補正部１０４に供給する。
【０１５６】
ステップＳ３６において、バランス補正ゲイン生成部１０２は、臨場音平均レベル検出部３４より供給されてくる臨場音平均レベルに基づいて、声主体信号Ｓｖの平均レベルを予め定めた基準レベルとなるためのゲイン制御信号を、声主体信号Ｓｖと臨場音とのバランスを補正するためのバランス補正ゲインＫ３，Ｋ４を生成し、それぞれセンターバランス補正部１０３、および臨場音バランス補正部１０４に供給する。
【０１５７】
ステップＳ３７において、センターバランス補正部１０３は、ゲイン制御信号生成部１０１−１より供給されてくるゲイン制御信号をバランス補正ゲイン生成部１０２より供給されてくるバランス補正ゲインＫ３によりゲイン制御することで、バランス補正してゲイン制御信号Ｇｖを生成し、可変ゲインアンプ２４に供給する。
【０１５８】
ステップＳ３８において、臨場音バランス補正部１０４は、ゲイン制御信号生成部１０１−２より供給されてくるゲイン制御信号をバランス補正ゲイン生成部１０２より供給されてくるバランス補正ゲインＫ４によりゲイン制御することで、バランス補正してゲイン制御信号Ｇｙを生成し、臨場音レベル補正ゲイン生成部３７に供給する。
【０１５９】
そして、ステップＳ３９においては、生成されたゲイン制御信号Ｇｙが、臨場音レベル補正ゲイン生成部３７により臨場音レベル補正ゲイン生成処理されることにより、ゲイン制御信号Ｇｓが生成され、可変ゲインアンプ２５，２６に供給される。これにより、ステップＳ４０において、可変ゲインアンプ２５，２６が、臨場音主体信号ＳｓＬ，ＳｓＲをそれぞれゲイン制御することで補正し加算部２７，２８に供給する。ステップＳ４１において、可変ゲインアンプ２４は、ゲイン制御信号Ｇｖに基づいて、声主体信号Ｓｖをゲイン制御して、加算部２７，２８に供給する。そして、ステップＳ４２において、加算部２７，２８は、補正後の左右チャンネルの臨場音主体信号ＳｓＬｃ，ＳｓＲｃと補正後声主体信号Ｓｖｃとをそれぞれ加算し、その加算出力として、音量補正された左右チャンネルの出力音声信号ＳｏＬ，ＳｏＲを出力する。
【０１６０】
以上の処理により、臨場音平均レベルに応じたバランス補正ゲインＫ３，Ｋ４を様々に設定することで、声主体信号Ｓｖと臨場音主体信号とのバランスを様々に変化させて調整することが可能になると共に、声主体信号Ｓｖの急激な変化においても、自然なレベル遷移を実現し、聴取者に対する違和感を軽減することが可能となる。
【０１６１】
＜３．変形例＞
［音量補正装置の第２の実施の形態の変形例］
図２０の音量補正装置においては、センターバランス補正部１０３、および臨場音バランス補正部１０４のそれぞれの前段にゲイン制御信号生成部１０１−１，１０１−２をそれぞれ設けた例について説明してきたが、ゲイン制御信号生成部１０１−１，１０１−２はいずれも同一の構成であるので、共通となる１個のゲイン制御信号生成部１０１とするようにしてもよい。
【０１６２】
図２５は、ゲイン制御信号生成部１０１−１，１０１−２を、共通となる１個のゲイン制御信号生成部１０１とした音量補正装置の構成例を示している。
【０１６３】
すなわち、図２５で示されるように、平均レベル検出部３１の後段であって、センターバランス補正部１０３、および臨場音バランス補正部１０４のそれぞれに分岐する前の位置に共通のゲイン制御信号生成部１０１を１個にして設けるようにしてもよい。
【０１６４】
このような構成により、図２５の音量補正装置においても、図２０の音量補正装置における場合と同様の効果を奏することが可能となる。
【０１６５】
＜４．第３の実施の形態＞
［音量補正装置の第３の実施形態］
以上においては、可変ゲインアンプ２５，２６のゲイン制御信号Ｇｙを、補正して、臨場音レベル補正ゲインであるゲイン制御信号Ｇｓを生成する臨場音レベル補正ゲイン生成部３７を設ける例について説明してきたが、ゲイン制御信号Ｇｙ＝ゲイン制御信号Ｇｓであっても、声主体信号Ｓｖの変化に対して自然にレベルを遷移させて聴取者に対する違和感を軽減しつつ、声主体信号と臨場音とのバランスを補正することが可能である。したがって、臨場音レベル補正ゲイン生成部３７を削除しても、第１の実施形態である図２の音量補正装置と同様の効果は得ることができる。
【０１６６】
図２６は、第１の実施形態の音量補正装置より臨場音レベル補正ゲイン生成部３７を削除した音量補正装置の構成例を示している。
【０１６７】
すなわち、図２６の音量補正装置においては、ゲイン制御信号生成部３６により生成されるゲイン制御信号Ｇｙそのものが、ゲイン制御信号Ｇｓとして可変ゲインアンプ２５，２６に供給される。
【０１６８】
［図２６の音量補正装置による音量補正処理］
次に、図２７のフローチャートを参照して、図２６の音量補正装置による音量補正処理について説明する。ただし、図２７のフローチャートにおけるステップＳ５１乃至Ｓ６１の処理は、図１８のフローチャートにおけるステップＳ１乃至Ｓ８，Ｓ１０乃至Ｓ１２の処理と同様であるので、その説明は省略する。
【０１６９】
すなわち、以上の処理においても、声主体信号Ｓｖの変化に対して自然にレベルを遷移させて聴取者に対する違和感を軽減しつつ、声主体信号と臨場音とのバランスを調整することが可能である。
【０１７０】
＜５．第４の実施の形態＞
［音量補正装置の第４の実施形態］
また、第３の実施形態と同様に、第２の実施形態における音量補正装置の臨場音レベル補正ゲイン生成部３７を削除しても、その効果は得ることができる。
【０１７１】
図２８は、第２の実施形態の音量補正装置より臨場音レベル補正ゲイン生成部３７を削除した音量補正装置の構成例を示している。
【０１７２】
すなわち、図２８の音量補正装置においても、ゲイン制御信号生成部３６により生成されるゲイン制御信号Ｇｙそのものが、ゲイン制御信号Ｇｓとして可変ゲインアンプ２５，２６に供給される。
【０１７３】
［図２６の音量補正装置による音量補正処理］
次に、図２９のフローチャートを参照して、図２８の音量補正装置による音量補正処理について説明する。ただし、図２９のフローチャートにおけるステップＳ８１乃至Ｓ９１の処理は、図２４のフローチャートにおけるステップＳ３１乃至Ｓ３８，Ｓ４０乃至Ｓ４２の処理と同様であるので、その説明は省略する。
【０１７４】
すなわち、以上の処理においても、声主体信号Ｓｖの変化に対して自然にレベルを遷移させて聴取者に対する違和感を軽減しつつ、臨場音声主体信号と臨場音とのバランスを調整することが可能である。
【０１７５】
尚、以上においては、音声信号が２チャンネルの場合を例とした場合について説明してきたが、それよりも多くのチャンネル、すなわち、マルチチャンネルを扱う場合においても、本技術を適用することができる。すなわち、マルチチャンネルの音声信号に基づいて、センター集中定位信号を検出し、センター集中定位信号について、上述した声主体信号に対する処理と同様に処理し、その他の音声信号については、上述した臨場音と同様に処理することで対応することができる。この際、必要に応じて上述したバランス補正に必要なゲインを調整することで、様々な比率でバランスを補正することが可能である。また、マルチチャンネル毎に臨場音に対応した処理をすることで、バランス補正のバリエーションを増やすことも可能である。さらに、マルチチャンネルをダウンミックスして２チャンネルとし、上述した手法でバランスを補正することも可能である。
【０１７６】
本技術によれば、複数の成分を含む入力音声信号のうち、声主体信号などのセンター集中低位信号からなる第１成分主体信号の変化に対して自然にレベルを遷移させて聴取者に対する違和感を軽減しつつ、臨場音声主体信号などのセンター集中低位信号以外の信号とのバランスを補正することが可能である。
【０１７７】
ところで、上述した一連の処理は、ハードウェアにより実行させることもできるが、ソフトウェアにより実行させることもできる。一連の処理をソフトウェアにより実行させる場合には、そのソフトウェアを構成するプログラムが、専用のハードウェアに組み込まれているコンピュータ、または、各種のプログラムをインストールすることで、各種の機能を実行することが可能な、例えば汎用のパーソナルコンピュータなどに、記録媒体からインストールされる。
【０１７８】
図３０は、汎用のパーソナルコンピュータの構成例を示している。このパーソナルコンピュータは、CPU(Central Processing Unit)１００１を内蔵している。CPU１００１にはバス１００４を介して、入出力インタ-フェイス１００５が接続されている。バス１００４には、ROM(Read Only Memory)１００２およびRAM(Random Access Memory)１００３が接続されている。
【０１７９】
入出力インタ-フェイス１００５には、ユーザが操作コマンドを入力するキーボード、マウスなどの入力デバイスよりなる入力部１００６、処理操作画面や処理結果の画像を表示デバイスに出力する出力部１００７、プログラムや各種データを格納するハードディスクドライブなどよりなる記憶部１００８、LAN（Local Area Network）アダプタなどよりなり、インターネットに代表されるネットワークを介した通信処理を実行する通信部１００９が接続されている。また、磁気ディスク（フレキシブルディスクを含む）、光ディスク（CD-ROM(Compact Disc-Read Only Memory)、DVD(Digital Versatile Disc)を含む）、光磁気ディスク（ＭＤ(Mini Disc)を含む）、もしくは半導体メモリなどのリムーバブルメディア１０１１に対してデータを読み書きするドライブ１０１０が接続されている。
【０１８０】
CPU１００１は、ROM１００２に記憶されているプログラム、または磁気ディスク、光ディスク、光磁気ディスク、もしくは半導体メモリ等のリムーバブルメディア１０１１から読み出されて記憶部１００８にインストールされ、記憶部１００８からRAM１００３にロードされたプログラムに従って各種の処理を実行する。RAM１００３にはまた、CPU１００１が各種の処理を実行する上において必要なデータなども適宜記憶される。
【０１８１】
尚、本明細書において、記録媒体に記録されるプログラムを記述するステップは、記載された順序に沿って時系列的に行われる処理は、もちろん、必ずしも時系列的に処理されなくとも、並列的あるいは個別に実行される処理を含むものである。
【符号の説明】
【０１８２】
２０ 分離部， ２１ センター集中定位信号検出部， ２４乃至２６ 可変ゲインアンプ， ２７，２８ 加算部， ３０ 補正ゲイン生成部， ３７ 臨場音レベル補正ゲイン生成部
【技術分野】
【０００１】
本発明は、音声処理装置および方法、並びにプログラムに関し、特に、入力音声信号のうち、集中定位信号と臨場音とのバランスを調整して、集中定位信号と臨場音とをバランスよく出力できるようにした音声処理装置および方法、並びにプログラムに関する。
【背景技術】
【０００２】
テレビジョン受像機で受信する放送チャンネルを切り替えたときや、ＡＶ（Audio−Visual）システムにおいて、ＡＶセンタで複数の入力機器の切り替えがなされたとき、コンテンツ間のレベル差により、出力音量に大きなが変化が生じてしてしまうことがある。
【０００３】
このような場合、ユーザは、自分が好みの音量にするためには、ボリューム操作をして音量調節する必要があり、わずらわしさを感じる場合がある。
【０００４】
また、同一コンテンツ内（例えば、同一の放送チャンネル内や同一の放送番組内）においても、コマーシャル（ＣＭ）部分やシーンの変化によって、出力音量が変化し、不快に思うことがある。
【０００５】
この問題を解決する音量補正方式が従来から種々提案されている。その一例のＡＧＣ（Auto Gain Control；自動利得制御）による音量制御方式が広く知られている。
【０００６】
しかしながら、入力音声信号のレベルが大きくレベル変動した場合に、そのレベル変化点での音声信号ゲインの急激な変化を完全に抑えることは困難であり、前記レベル変化点で出力音声音量レベルが揺れるなど、聴取者に、聴感上、違和感を与える場合がある。
【０００７】
特に、従来の音量補正方式では、音声信号全体を一律に同様にゲイン制御する方式であるため、前記の急激な変化点での音量レベルの揺れに対する違和感が目立つと言う問題があった。
【０００８】
そこで、音声信号の成分のうち、例えば、センター集中定位信号などの平均レベルを求めて、出力信号が平均レベルとなるようにゲイン制御する技術が提案されている（引用文献１参照）。
【先行技術文献】
【特許文献】
【０００９】
【特許文献１】特開２０１０−１３６１７３号公報
【発明の概要】
【発明が解決しようとする課題】
【００１０】
しかしながら、特許文献１の技術においては、センター集中定位信号が、人物の声などの場合、いかなる状態でも平均レベルとされることで、声は一定のレベルに保たれるが、臨場音とセンター集中定位信号とのゲイン制御のレベルのバランスを補正させることができなかった。
【００１１】
本発明はこのような状況に鑑みてなされたものであり、特に、声主体信号のような集中定位信号と臨場音とのバランスを調整して出力できるようにするものである。
【課題を解決するための手段】
【００１２】
本技術の一側面の音声処理装置は、複数の音声成分からなる入力音声信号のうち、前記複数の音声成分の一部を主たる成分とする第１成分主体信号を、ゲイン制御して出力する第１成分主体信号ゲイン制御部と、前記入力音声信号のうち、前記第１成分以外の、その他成分信号を、ゲイン制御して出力するその他成分信号ゲイン制御部と、前記第１成分信号の平均レベルを検出する第１成分信号平均レベル検出部と、前記その他成分信号の平均レベルを検出するその他成分信号平均レベル検出部と、前記第１成分信号の平均レベルと、前記その他成分信号平均レベルとに基づいて、前記第１成分主体信号をゲイン制御する第１成分ゲイン制御信号を出力する第１成分主体信号ゲイン制御信号出力部と、前記第１成分信号の平均レベルと、前記その他成分信号平均レベルとに基づいて、前記その他成分信号をゲイン制御するその他成分ゲイン制御信号を出力するその他成分信号ゲイン制御信号出力部とを含み、前記第１成分主体信号ゲイン制御部は、前記複数の音声成分からなる入力音声信号のうち、前記複数の音声成分の一部を主たる成分とする第１成分主体信号を、前記第１成分主体信号ゲイン制御信号に基づいて、ゲイン制御して第１成分出力信号として出力し、前記その他成分信号ゲイン制御部は、前記第１成分以外の、その他成分信号を、その他成分信号ゲイン制御信号に基づいて、ゲイン制御してその他成分出力信号として出力する。
【００１３】
前記第１成分主体信号ゲイン制御信号出力部には、前記第１成分信号の平均レベルに、前記その他成分信号平均レベルを第１の所定の増幅率で増倍した信号を加算して補正する第１信号成分平均レベル補正部と、前記第１成分出力信号が、前記第１信号成分平均レベル補正部により補正された前記第１成分信号の平均レベルとなるように、前記第１成分信号ゲイン制御信号を生成する第１成分信号ゲイン制御信号生成部とを含ませるようにすることができ、前記その他成分信号ゲイン制御信号出力部には、前記第１成分信号の平均レベルに、前記その他成分信号平均レベルを第２の所定の増幅率で増倍した信号を加算して補正する第１信号成分平均レベル補正部と、前記その他成分出力信号が、前記第１信号成分平均レベル補正部により補正された前記第１成分信号の平均レベルとなるように、前記その他成分信号ゲイン制御信号を生成するその他成分信号ゲイン制御信号生成部とを含ませるようにすることができる。
【００１４】
前記第１成分主体信号ゲイン制御信号出力部には、前記第１成分出力信号が、前記第１信号成分平均レベルとなるように、第１成分信号ゲイン制御信号を生成する第１成分ゲイン制御信号生成部と、前記その他成分信号平均レベルに対応付けて設定される第１の増幅率で増倍して、前記第１成分信号ゲイン制御信号を補正し、補正した前記第１成分信号ゲイン制御信号を出力する第１信号成分平均レベル補正部とを含ませるようにすることができ、前記その他成分信号ゲイン制御信号出力部には、前記その他成分出力信号が、前記第１信号成分平均レベルとなるように、その他成分信号ゲイン制御信号を生成するその他成分ゲイン制御信号生成部と、前記その他成分信号平均レベルに対応付けて設定される第２の増幅率で増倍して、前記その他成分信号ゲイン制御信号を補正し、補正した前記その他成分信号ゲイン制御信号を出力するその他信号成分平均レベル補正部とを含ませるようにすることができる。
【００１５】
第１成分ゲイン制御信号生成部と、前記その他成分信号ゲイン制御信号出力部とは、共通とすることができ、第１成分ゲイン制御信号生成部により生成される第１成分ゲイン制御信号と、前記その他成分信号ゲイン制御信号出力部により生成されるその他成分信号ゲイン制御信号とは、同一とすることができる。
【００１６】
前記その他成分信号ゲイン制御信号出力部より出力される、前記その他成分信号ゲイン制御信号を補正するその他信号成分信号ゲイン制御信号補正部を含ませるようにすることができる。
【００１７】
前記第１成分信号は、センター集中定位信号とすることができる。
【００１８】
前記第１成分出力信号と、前記その他成分出力信号とを加算した加算出力信号を、音量補正後の音声出力信号とする加算手段をさらに含ませるようにすることができる。
【００１９】
本技術の一側面の音声処理方法は、複数の音声成分からなる入力音声信号のうち、前記複数の音声成分の一部を主たる成分とする第１成分主体信号を、ゲイン制御して出力する第１成分主体信号ゲイン制御部と、前記入力音声信号のうち、前記第１成分以外の、その他成分信号を、ゲイン制御して出力するその他成分信号ゲイン制御部と、前記第１成分信号の平均レベルを検出する第１成分信号平均レベル検出部と、前記その他成分信号の平均レベルを検出するその他成分信号平均レベル検出部と、前記第１成分信号の平均レベルと、前記その他成分信号平均レベルとに基づいて、前記第１成分主体信号をゲイン制御する第１成分ゲイン制御信号を出力する第１成分主体信号ゲイン制御信号出力部と、前記第１成分信号の平均レベルと、前記その他成分信号平均レベルとに基づいて、前記その他成分信号をゲイン制御するその他成分ゲイン制御信号を出力するその他成分信号ゲイン制御信号出力部とを含み、前記第１成分主体信号ゲイン制御部は、前記複数の音声成分からなる入力音声信号のうち、前記複数の音声成分の一部を主たる成分とする第１成分主体信号を、前記第１成分主体信号ゲイン制御信号に基づいて、ゲイン制御して第１成分出力信号として出力し、前記その他成分信号ゲイン制御部は、前記第１成分以外の、その他成分信号を、その他成分信号ゲイン制御信号に基づいて、ゲイン制御してその他成分出力信号として出力する音声処理装置における音声処理方法であって、前記第１成分主体信号ゲイン制御部における、前記複数の音声成分からなる入力音声信号のうち、前記複数の音声成分の一部を主たる成分とする第１成分主体信号を、ゲイン制御して出力する第１成分主体信号ゲイン制御ステップと、前記その他成分信号ゲイン制御部における、前記入力音声信号のうち、前記第１成分以外の、その他成分信号を、ゲイン制御して出力するその他成分信号ゲイン制御ステップと、前記第１成分信号平均レベル検出部における、前記第１成分信号の平均レベルを検出する第１成分信号平均レベル検出ステップと、前記その他成分信号平均レベル検出部における、前記その他成分信号の平均レベルを検出するその他成分信号平均レベル検出ステップと、前記第１成分主体信号ゲイン制御信号出力部における、前記第１成分信号の平均レベルと、前記その他成分信号平均レベルとに基づいて、前記第１成分主体信号をゲイン制御する第１成分ゲイン制御信号を出力する第１成分主体信号ゲイン制御信号出力ステップと、前記その他成分信号ゲイン制御信号出力部における、前記第１成分信号の平均レベルと、前記その他成分信号平均レベルとに基づいて、前記その他成分信号をゲイン制御するその他成分ゲイン制御信号を出力するその他成分信号ゲイン制御信号出力ステップとを含み、前記第１成分主体信号ゲイン制御ステップの処理は、前記複数の音声成分からなる入力音声信号のうち、前記複数の音声成分の一部を主たる成分とする第１成分主体信号を、前記第１成分主体信号ゲイン制御信号に基づいて、ゲイン制御して第１成分出力信号として出力し、前記その他成分信号ゲイン制御ステップの処理は、前記第１成分以外の、その他成分信号を、その他成分信号ゲイン制御信号に基づいて、ゲイン制御してその他成分出力信号として出力する。
【００２０】
本技術の一側面のプログラムは、複数の音声成分からなる入力音声信号のうち、前記複数の音声成分の一部を主たる成分とする第１成分主体信号を、ゲイン制御して出力する第１成分主体信号ゲイン制御部と、前記入力音声信号のうち、前記第１成分以外の、その他成分信号を、ゲイン制御して出力するその他成分信号ゲイン制御部と、前記第１成分信号の平均レベルを検出する第１成分信号平均レベル検出部と、前記その他成分信号の平均レベルを検出するその他成分信号平均レベル検出部と、前記第１成分信号の平均レベルと、前記その他成分信号平均レベルとに基づいて、前記第１成分主体信号をゲイン制御する第１成分ゲイン制御信号を出力する第１成分主体信号ゲイン制御信号出力部と、前記第１成分信号の平均レベルと、前記その他成分信号平均レベルとに基づいて、前記その他成分信号をゲイン制御するその他成分ゲイン制御信号を出力するその他成分信号ゲイン制御信号出力部とを含み、前記第１成分主体信号ゲイン制御部は、前記複数の音声成分からなる入力音声信号のうち、前記複数の音声成分の一部を主たる成分とする第１成分主体信号を、前記第１成分主体信号ゲイン制御信号に基づいて、ゲイン制御して第１成分出力信号として出力し、前記その他成分信号ゲイン制御部は、前記第１成分以外の、その他成分信号を、その他成分信号ゲイン制御信号に基づいて、ゲイン制御してその他成分出力信号として出力する音声処理装置を制御するコンピュータに、前記第１成分主体信号ゲイン制御部における、前記複数の音声成分からなる入力音声信号のうち、前記複数の音声成分の一部を主たる成分とする第１成分主体信号を、ゲイン制御して出力する第１成分主体信号ゲイン制御ステップと、前記その他成分信号ゲイン制御部における、前記入力音声信号のうち、前記第１成分以外の、その他成分信号を、ゲイン制御して出力するその他成分信号ゲイン制御ステップと、前記第１成分信号平均レベル検出部における、前記第１成分信号の平均レベルを検出する第１成分信号平均レベル検出ステップと、前記その他成分信号平均レベル検出部における、前記その他成分信号の平均レベルを検出するその他成分信号平均レベル検出ステップと、前記第１成分主体信号ゲイン制御信号出力部における、前記第１成分信号の平均レベルと、前記その他成分信号平均レベルとに基づいて、前記第１成分主体信号をゲイン制御する第１成分ゲイン制御信号を出力する第１成分主体信号ゲイン制御信号出力ステップと、前記その他成分信号ゲイン制御信号出力部における、前記第１成分信号の平均レベルと、前記その他成分信号平均レベルとに基づいて、前記その他成分信号をゲイン制御するその他成分ゲイン制御信号を出力するその他成分信号ゲイン制御信号出力ステップとを含む処理を実行させ、前記第１成分主体信号ゲイン制御ステップの処理は、前記複数の音声成分からなる入力音声信号のうち、前記複数の音声成分の一部を主たる成分とする第１成分主体信号を、前記第１成分主体信号ゲイン制御信号に基づいて、ゲイン制御して第１成分出力信号として出力し、前記その他成分信号ゲイン制御ステップの処理は、前記第１成分以外の、その他成分信号を、その他成分信号ゲイン制御信号に基づいて、ゲイン制御してその他成分出力信号として出力する。
【００２１】
本技術の電子機器は、請求項１乃至７のいずれかの音声処理装置を含む。
【００２２】
本技術の一側面においては、複数の音声成分からなる入力音声信号のうち、前記複数の音声成分の一部を主たる成分とする第１成分主体信号が、ゲイン制御されて出力され、前記入力音声信号のうち、前記第１成分以外の、その他成分信号が、ゲイン制御されて出力され、前記第１成分信号の平均レベルが検出され、前記その他成分信号の平均レベルが検出され、前記第１成分信号の平均レベルと、前記その他成分信号平均レベルとに基づいて、前記第１成分主体信号をゲイン制御する第１成分ゲイン制御信号が出力され、前記第１成分信号の平均レベルと、前記その他成分信号平均レベルとに基づいて、前記その他成分信号をゲイン制御するその他成分ゲイン制御信号が出力され、前記複数の音声成分からなる入力音声信号のうち、前記複数の音声成分の一部を主たる成分とする第１成分主体信号が、前記第１成分主体信号ゲイン制御信号に基づいて、ゲイン制御されて第１成分出力信号として出力され、前記第１成分以外の、その他成分信号が、その他成分信号ゲイン制御信号に基づいて、ゲイン制御されてその他成分出力信号として出力される。
【００２３】
本発明の音声処理装置は、独立した装置であっても良いし、音声処理を行うブロックであっても良い。
【発明の効果】
【００２４】
本技術の一側面によれば、入力音声信号のうち、センター集中定位信号を含む成分と、それ以外の成分とのバランスを調整して音声補正することが可能となる。
【図面の簡単な説明】
【００２５】
【図１】この技術による音量補正装置が適用される電子機器の例を説明するためのブロック図である。
【図２】この技術による音量補正装置の第１の実施形態を説明するためのブロック図である。
【図３】図１の実施形態におけるセンター集中定位信号生成部の構成例を示すブロック図である。
【図４】図１の実施形態におけるセンター集中定位信号生成部の他の構成例を示すブロック図である。
【図５】図４の例のセンター集中定位信号生成部の一部の構成例を説明するためのブロック図である。
【図６】図５の構成例の各部を説明するために用いる図である。
【図７】図５の構成例の各部を説明するために用いる図である。
【図８】図５の構成例の各部を説明するために用いる図である。
【図９】図５の構成例の各部を説明するために用いる図である。
【図１０】図５の構成例の各部を説明するために用いる図である。
【図１１】図５の構成例の各部を説明するために用いる図である。
【図１２】図５の構成例の各部を説明するために用いる図である。
【図１３】図２の臨場音平均レベル検出部の構成例を説明するために用いる図である。
【図１４】図２のセンターバランス補正部の構成例を説明するために用いる図である。
【図１５】図２の臨場音バランス補正部の構成例を説明するために用いる図である。
【図１６】図２の臨場音レベル補正ゲイン生成部の構成例を説明するために用いる図である。
【図１７】図２の臨場音レベル補正ゲイン生成部の構成例を説明するために用いる図である。
【図１８】図２の音量補正装置による音量補正処理を説明するために用いるフローチャートである。
【図１９】図２の音量補正装置による臨場音レベル補正ゲイン制御信号生成処理を説明するために用いるフローチャートである。
【図２０】この技術による音量補正装置の第２の実施形態を説明するためのブロック図である。
【図２１】図２０のバランス補正ゲイン生成部の動作を説明するために用いる図である。
【図２２】図２０の臨場音平均レベル検出部の構成例を説明するために用いる図である。
【図２３】図２０のセンターバランス補正部の構成例を説明するために用いる図である。
【図２４】図２０の音量補正装置による音量補正処理を説明するために用いるフローチャートである。
【図２５】この技術による音量補正装置の第２の実施形態の変形例を説明するためのブロック図である。
【図２６】この技術による音量補正装置の第３の実施形態を説明するためのブロック図である。
【図２７】図２６の音量補正装置による音量補正処理を説明するために用いるフローチャートである。
【図２８】この技術による音量補正装置の第３の実施形態を説明するためのブロック図である。
【図２９】図２８の音量補正装置による音量補正処理を説明するために用いるフローチャートである。
【図３０】汎用のパーソナルコンピュータの構成例を説明する図である。
【発明を実施するための最良の形態】
【００２６】
以下、発明を実施するための形態（以下、実施の形態という）について説明する。なお、説明は以下の順序で行う。
１． 第１の実施の形態（ゲイン制御信号を生成する前にバランス補正する場合の一例）
２． 第２の実施の形態（ゲイン制御信号を生成した後でバランス補正する場合の一例）
３． 変形例
４． 第３の実施の形態（第１の実施の形態で臨場音レベル補正ゲイン生成部を削除する場合の一例）
５． 第４の実施の形態（第２の実施の形態で臨場音レベル補正ゲイン生成部を削除する場合の一例）
【００２７】
＜１．第１の実施の形態＞
［テレビジョン受像機の構成例］
以下、本技術による音声処理装置である音量補正装置の実施形態を、図面を参照しながら説明する。尚、以下に説明する音量補正装置の実施形態は、テレビジョン受像機の音声出力部に用いる場合を示している。ただし、音量補正装置の実施形態は、これに限るものではなく、音声を出力する装置であれば、その他の装置であっても適用することができるものである。
【００２８】
すなわち、図１は、テレビジョン受像機の構成例を示すブロック図である。この図１の例のテレビジョン受像機は、マイクロコンピュータを具備して構成される制御部１０を備える。この制御部１０には、リモコン受信部１１が接続され、このリモコン受信部１１でリモコン送信機１２からのリモコン信号を受けて、制御部１０に伝達する。制御部１０は、受信したリモコン信号に応じた処理制御を実行する。
【００２９】
制御部１０は、テレビジョン受像機の各部に対して制御信号を供給して、テレビ放送信号の受信およびその映像再生および音声再生の処理を実行する。
【００３０】
チューナ部１３は、制御部１０からのユーザのリモコン操作に応じたチャンネル選択制御信号により指定される放送チャンネルの信号を、テレビ放送波信号から選択抽出する。そして、チューナ部１３は、選択抽出した放送チャンネルの信号から、映像信号と、音声信号とを復調デコードし、映像信号は映像信号処理部１４に供給し、音声信号は、音声信号処理部１５に供給する。
【００３１】
映像信号処理部１４では、制御部１０からの制御を受けて、映像信号についての所定の処理をし、その処理後の映像信号を表示制御部１６を通じて、例えばＬＣＤ（Liquid Crystal Display）からなるディスプレイ１７に供給する。これにより、選択された放送チャンネルの放送番組の画像がディスプレイ１７に表示される。
【００３２】
また、音声信号処理部１５では、制御部１０からの制御を受けて、音声信号についての所定の処理をする。この実施形態では、音声信号処理部１５では、チューナ部１３からの音声信号から、左右２チャンネルの音声信号ＳｉＬ，ＳｉＲを生成し、その処理後の音声信号ＳｉＬ，ＳｉＲを音量補正部１８に供給する。
【００３３】
音量補正部１８は、この実施形態の音量補正装置が適用される部分であり、その入力音声信号ＳｉＬ，ＳｉＲは、後述するようにして、音量補正され、出力音声信号ＳｏＬおよびＳｏＲとして出力される。そして、この音量補正部１８からの出力音声信号ＳｏＬおよびＳｏＲが、スピーカ１９Ｌおよび１９Ｒに供給されて、音響再生される。これにより、選択された放送チャンネルの放送番組の音声がスピーカ１９Ｌおよび１９Ｒから放音される。
【００３４】
以下、この音量補正部１８の場合として、この実施形態の音量補正装置について説明する。
【００３５】
［音量補正装置の第１の実施形態］
図２は、この技術の音量補正部１８の第１の実施形態としての音量補正装置の全体の構成例を示すブロック図である。
【００３６】
この第１の実施形態では、入力音声信号は、左右２チャンネルの音声信号とされる。そして、第１成分主体信号は、左右２チャンネルの音声信号中の主として人声成分を主体とする信号（以下、声主体信号という）とされる。また、第１成分以外の他の音声成分は、左右２チャンネルの音声信号のうちの、この声主体信号以外の、いわゆる臨場音とされる。この臨場音を主体とする信号を、以下、臨場音主体信号（または臨場音信号）という。
【００３７】
この図２に示すように、この第１の実施形態においては、左右２チャンネルの入力音声信号ＳｉＬ，ＳｉＲは、声主体信号と臨場音主体信号との分離部２０に供給される。この例の分離部２０は、センター集中定位信号検出部２１と、２個の減算部２２，２３とからなる。
【００３８】
センター集中定位信号検出部２１には、左右２チャンネルの入力音声信号ＳｉＬ，ＳｉＲが共に供給され、左右チャンネルの中央（センター）に定位するセンター集中定位信号として、声主体信号Ｓｖを検出する。センター集中定位信号検出部２１で検出された声主体信号Ｓｖは、減算部２２，２３、並びに、可変ゲインアンプ２４に供給される。
【００３９】
減算部２２では、左チャンネルの音声信号ＳｉＬから、声主体信号Ｓｖが減算されて、左チャンネルの臨場音主体信号ＳｓＬが得られる。また、減算部２３では、右チャンネルの音声信号ＳｉＲから、声主体信号Ｓｖが減算されて、右チャンネルの臨場音主体信号ＳｓＲが得られる。
【００４０】
こうして、分離部２０では、２チャンネル音声信号ＳｉＬ，ＳｉＲから、声主体信号Ｓｖと、左右チャンネルの臨場音主体信号ＳｓＬ，ＳｓＲとが分離されて得られる。
【００４１】
そして、この分離部２０からの声主体信号Ｓｖは、可変ゲインアンプ２４を通じて加算部２７，２８に供給されると共に、補正ゲイン生成部３０に供給される。
【００４２】
この例では、補正ゲイン生成部３０は、平均レベル検出部３１、センターバランス補正部３２、ゲイン制御信号生成部３３、臨場音平均レベル検出部３４、臨場音バランス補正部３５、およびゲイン制御信号生成部３６とからなる。平均レベル検出部３１は、声主体信号Ｓｖの平均レベルを検出して、その検出した平均レベルをセンターバランス補正部３２および臨場音バランス補正部３５に供給する。臨場音平均レベル検出部３４は、２チャンネル音声信号ＳｉＬ，ＳｉＲから、臨場音主体信号の平均レベルを検出して、その検出した平均レベルをセンターバランス補正部３２および臨場音バランス補正部３５に供給する。
【００４３】
センターバランス補正部３２は、声主体信号Ｓｖの平均レベルを、臨場音主体信号の平均レベルに基づいて、所定の処理により補正して、ゲイン制御信号生成部３３に供給する。臨場音バランス補正部３５は、声主体信号Ｓｖの平均レベルを、臨場音主体信号の平均レベルに基づいて、所定の処理により補正して、ゲイン制御信号生成部３６に供給する。
【００４４】
ゲイン制御信号生成部３３は、センターバランス補正部３２により、臨場音主体信号の平均レベルに基づいて補正された、声主体信号Ｓｖの平均レベルが、予め定めた基準レベルとなるようにするためのゲイン制御信号Ｇｖを生成する。そして、ゲイン制御信号生成部３３は、生成したゲイン制御信号Ｇｖを可変ゲインアンプ２４に供給する。
【００４５】
ゲイン制御信号生成部３６は、臨場音バランス補正部３５により、臨場音主体信号の平均レベルに基づいて補正された、声主体信号Ｓｖの平均レベルが、予め定めた基準レベルとなるようにするためのゲイン制御信号Ｇｙを生成する。そして、ゲイン制御信号生成部３６は、生成したゲイン制御信号Ｇｙを臨場音レベル補正ゲイン生成部３７に供給する。
【００４６】
したがって、可変ゲインアンプ２４においては、ゲイン制御信号Ｇｖにより、声主体信号Ｓｖのレベルが大きく変動しても、声主体信号の平均レベルが一定レベル（基準レベル）になるようにゲイン制御される。また、この際、ゲイン制御信号Ｇｖは、臨場音平均レベルに基づいて、声主体信号と臨場音とのバランスが調整されたものであるので、可変ゲインアンプ２４から出力される補正後声主体信号Ｓｖｃの出力レベルは、臨場音と声主体信号とのバランスが調整されたうえで、一定レベルとされる。そして、この一定レベルとされた補正後声主体信号Ｓｖｃが、加算部２７，２８に供給される。
【００４７】
臨場音レベル補正ゲイン生成部３７は、ゲイン制御信号生成部３６からのゲイン制御信号Ｇｙを受けて、このゲイン制御信号Ｇｙに基づく処理を行って、臨場音主体信号をゲイン補正するゲイン制御信号Ｇｓを生成し、可変ゲインアンプ２５，２６に供給する。
【００４８】
すなわち、臨場音レベル補正ゲイン生成部３７は、ゲイン制御信号Ｇｙに対して、何らかの処理を加えるので、ゲイン制御信号Ｇｖによる声主体信号Ｓｖに対するゲイン制御態様と、ゲイン制御信号Ｇｓによる臨場音主体信号ＳｓＬ，ＳｓＲに対するゲイン制御態様とは、異なるものとなる。
【００４９】
可変ゲインアンプ２５，２６は、臨場音レベル補正ゲイン生成部３７からゲイン制御信号Ｇｓの供給を受けて、このゲイン制御信号Ｇｓに基づいて、左右チャンネルの臨場音主体信号ＳｓＬ，ＳｓＲに対して、声主体信号Ｓｖとは異なるゲイン制御を行う。
【００５０】
加算部２７は、補正後の左チャンネルの臨場音主体信号ＳｓＬｃと補正後声主体信号Ｓｖｃとを加算し、その加算出力として、音量補正された左チャンネルの出力音声信号ＳｏＬを出力する。
【００５１】
また、加算部２８は、補正後の右チャンネルの臨場音主体信号ＳｓＲｃと補正後声主体信号Ｓｖｃとを加算し、その加算出力として、音量補正された右チャンネルの出力音声信号ＳｏＲを出力する。
【００５２】
ところで、ゲイン制御信号Ｇｙは、臨場音平均レベルに基づいて、臨場音と声主体信号とのバランスが調整されたものである。このため、ゲイン制御信号Ｇｙに基づいて求められる、ゲイン制御信号Ｇｓによる臨場音主体信号ＳｓＬ，ＳｓＲに対するゲイン制御態様は、入力音声信号の大きなレベル変動に対して即座に追従しないようなものにされると共に、臨場音と声主体信号とのバランスが調整されたものにされる。すなわち、声主体信号Ｓｖに対するゲイン制御態様は、入力音声信号のレベル変動に即座に追従して、臨場音と声主体信号とのバランスを調整しつつ、出力レベルをある程度一定にする。しかしながら、臨場音主体信号ＳｓＬ，ＳｓＲに対するゲイン制御態様は、それとは異なり、臨場音と声主体信号とのバランスを調整しつつ、入力音声信号の大きなレベル変動に対して即座に追従しない特性のものとされる。
【００５３】
したがって、左右チャンネルの臨場音主体信号ＳｓＬ，ＳｓＲは、可変ゲインアンプ２５，２６で、ゲイン制御されて加算部２７，２８に供給される。そして、臨場音主体信号ＳｓＬ，ＳｓＲに対するゲイン制御態様は、臨場音と声主体信号とのバランスを調整しつつ、入力音声信号の大きなレベル変動に対して即座に追従しない特性のものとされている。
【００５４】
したがって、臨場音主体信号、および声主体信号は、それぞれのバランスを調整しつつ、声主体信号について生じる大きなレベル変化点での音量レベルの揺れが抑制される。
【００５５】
このため、加算部２７，２８からの左右チャンネルの出力音声信号ＳｏＬ，ＳｏＲは、補正後声主体信号Ｓｖｃの音量レベルの揺れが、左チャンネルおよび右チャンネルの臨場音主体信号ＳｓＬ，ＳｓＲによりマスキングされるようになる。この結果、臨場音と声主体信号とのバランスを調整しつつ、声主体信号Ｓｖｃの音量レベルの揺れが、目立たなくなり、聴取者に対する違和感が軽減される。
【００５６】
以上の構成により、声主体信号は、素早く適正レベルに遷移されることになるので、人声のレベルの一定感を保ち、台詞などの人声を聞き易くすることができる。さらに、臨場音主体信号は、臨場感がある程度一定に保たれるため、レベルを変えることによる違和感が軽減され、これによってより自然なレベル遷移を実現することができるようになる。
【００５７】
なお、以上の例では、左右２チャンネル用のスピーカにより音声信号を音響再生する場合であるので、加算部２７，２８を設けるようにした。しかし、左右２チャンネル用のスピーカに加えて、センターチャンネル用のスピーカを設けた場合には、補正後声主体信号をセンターチャンネル用スピーカに供給し、可変ゲインアンプ２５，２６の出力音声信号を左右２チャンネル用のスピーカに供給するようにしても良い。この場合には、センターチャンネル用のスピーカの放音音声と、左右２チャンネル用のスピーカの放音音声とが、音響的に合成されることにより、ゲイン制御による音量レベルの揺れがマスキングされ、目立たなくなる。
【００５８】
［センター集中定位信号検出部２１の構成例］
＜第１の例＞
図３は、センター集中定位信号検出部２１の第１の構成例を示すものである。この例においては、センター集中定位信号検出部２１は、加算部２１１と、固定ゲイン「０．５」のアンプ２１２とからなる。
【００５９】
そして、この例のセンター集中定位信号検出部２１においては、左右チャンネルの入力音声信号ＳｉＬ，ＳｉＲが加算部２１１で加算され、その加算出力信号がアンプ２１２を通じて出力される。このアンプ２１２の出力信号が声主体信号Ｓｖとされる。
【００６０】
なお、この第１の例の場合には、声主体信号Ｓｖの平均値は、左右チャンネルの入力音声信号ＳｉＬ，ＳｉＲの加算信号の平均値に等しくなる。そして、補正ゲイン生成部３０は、声主体信号Ｓｖの平均値が一定レベルとなるようにゲイン制御信号Ｇｖを生成する。よって、この第１の例の場合には、補正ゲイン生成部３０は、左右チャンネルの入力音声信号ＳｉＬ，ＳｉＲの加算信号、つまり、入力音声信号全体のレベルが一定レベルとなるようにゲイン制御信号Ｇｖを生成していることにもなる。
【００６１】
＜第２の例＞
図４は、センター集中定位信号検出部２１の第２の構成例を示すものである。この第２の例は、第１の例の出力をそのまま出力するのではなく、第１の例の出力よりも、さらにセンター定位成分のみの成分に応じた信号を得るようにする例である。
【００６２】
この例においては、センター集中定位信号検出部２１は、第１の例の加算部２１１および固定ゲイン「０．５」のアンプ２１２に加えて、ゲイン調整アンプ２１３と、センター集中定位率検出部２１４とを備える。
【００６３】
この例のセンター集中定位信号検出部２１においては、アンプ２１２の出力信号はゲイン調整アンプ２１３に供給され、このゲイン調整アンプ２１３の出力信号が声主体信号Ｓｖとされる。
【００６４】
そして、この例のセンター集中定位信号検出部２１において、左右チャンネルの入力音声信号ＳｉＬ，ＳｉＲは、センター集中定位率検出部２１４にも供給される。このセンター集中定位率検出部２１４においては、入力音声全体に対するセンターに集中的に定位する信号の割合に応じて、ゲイン調整アンプ２１３のゲインを制御するゲイン制御信号Ｇａｔが生成される。
【００６５】
そして、センター集中定位率検出部２１４からのゲイン制御信号Ｇａｔにより、ゲイン調整アンプ２１３のゲインが制御されることで、声主体信号Ｓｖは、アンプ２１２の出力のうち、センターに集中的に定位する率に応じた信号成分からなるものとなる。つまり、この第２の例の声主体信号Ｓｖは、第１の例よりも、さらにセンターに集中的に定位する信号成分からなる信号となる。
【００６６】
センター集中定位率検出部２１４は、例えば図５に示すような構成を有するものとすることができる。
【００６７】
すなわち、センター集中定位率検出部２１４は、帯域制限フィルタ２１４１，２１４２と、定位方向検出部２１４３と、定位方向分布計測部２１４４と、センターゲイン制御信号生成部２１４５とを備えて構成される。
【００６８】
センター集中定位率検出部２１４に入力された左右２チャンネルの入力音声信号ＳｉＬ，ＳｉＲは、それぞれ帯域制限フィルタ２１４１，２１４２において、例えば低域成分等、定位方向をあまり感じない周波数帯域の成分が除去される。
【００６９】
そして、帯域制限フィルタ２１４１，２１４２により帯域制限された２チャンネルの入力音声信号ＳｉＬ，ＳｉＲは、定位方向検出部２１４３に供給される。定位方向検出部２１４３は、帯域制限された２チャンネルの入力音声信号ＳｉＬ，ＳｉＲのそれぞれのレベルの大きさにより、所定の周期毎の定位方向の検出時点における２チャンネルの入力音声信号ＳｉＬ，ＳｉＲが持つ定位方向を検出する。
【００７０】
すなわち、定位方向検出部２１４３においては、所定のサンプリング周期で、帯域制限された２チャンネルの入力オーディオ信号ＳｉＬ，ＳｉＲのそれぞれのレベル（振幅）をサンプリングする。そして、定位方向検出部２１４３においては、この例では、最新サンプリング時点における定位方向を現時点における定位方向として検出するようにする。
【００７１】
この場合、定位方向検出部２１４３は、当該最新サンプリング時点における定位方向を、入力音声信号ＳｉＬ，ＳｉＲのそれぞれについての、当該最新サンプリング時点のレベルと、それよりも過去のサンプリング時点のレベルとを用いて検出する。
【００７２】
２チャンネルの入力音声信号ＳｉＬ，ＳｉＲが、デジタルオーディオ信号であれば、前記サンプリング周期は、デジタルオーディオ信号のサンプル周期に等しくすることができる。もっとも、前記サンプリング周期を、デジタルオーディオ信号の１サンプル周期と等しくするのではなく、複数サンプル周期とするようにしてもよい。定位方向検出部２１４３の入力音声信号がアナログ信号である場合には、この定位方向検出部２１４３の入力段において、デジタルオーディオ信号に変換するようにしても良い。
【００７３】
この定位方向検出部２１４３における定位方向の検出方法を、図６を参照しながら説明する。図６の分布図（Ａ），（Ｂ）は、左チャンネルの入力音声信号ＳｉＬの振幅をＸ軸にとり、右チャンネルの入力音声信号ＳｉＲの振幅をＹ軸にとった場合の座標空間を示している。
【００７４】
定位方向検出部２１４３では、まず、各サンプリング周期毎の定位方向の検出時点において２チャンネルの入力音声信号ＳｉＬ，ＳｉＲのそれぞれのレベルを取得して、それに対応する座標点を、図６の分布図（Ａ），（Ｂ）の座標空間に、例えばＰ１，Ｐ２，Ｐ３，Ｐ４のように、プロットしてゆく。この例では、Ｐ４が最新の検出時点の座標点であるとする。
【００７５】
そして、定位方向検出部２１４３では、ｙ＝ｋ・ｘ（ｋは定数）で表される直線（Ｘ軸とＹ軸との交点Ｚを通る直線）を、交点Ｚを中心として±９０°回転させたときに、つまり、定数ｋを変化させたときに、プロットした座標点Ｐ１，Ｐ２，Ｐ３，Ｐ４が、どの定数ｋの直線（どの傾き角度の直線）の一番近くを移動してゆくかを算出する。つまり、定数ｋを変えた各直線からの各座標点Ｐ１，Ｐ２，Ｐ３，Ｐ４までの距離Ｄａ１，Ｄａ２，Ｄａ３，Ｄａ４あるいは距離Ｄｂ１，Ｄｂ２，Ｄｂ３，Ｄｂ４の総和が最も小さい直線の定数ｋを算出する。
【００７６】
そして、定位方向検出部２１４３は、算出した直線の定数ｋに対応する傾き角度を、検出したい現時点における定位方向とする。図７の例では、Ｘ軸、つまり、左チャンネルの定位方向（左方向）の角度を０°として、このＸ軸に対する角度（以下、定位角度という）θを定位方向として検出することとする。
【００７７】
図６の分布図（Ａ）の場合の座標点Ｐ１，Ｐ２，Ｐ３，Ｐ４の例では、定位角度はθａとして検出され、図６の分布図（Ｂ）の場合の座標点Ｐ１，Ｐ２，Ｐ３，Ｐ４の例では、定位角度はθｂとして検出されるものである。
【００７８】
なお、この実施形態では、定位方向検出部２１４３においては、現時点（最新サンプリング時点）の２チャンネル入力音声信号のレベルと、過去のサンプリング時点における２チャンネル入力音声信号のレベルとは等しい重みで用いてはいない。この実施形態では、定位方向検出部２１４３においては、現時点に近いサンプリング時点の２チャンネル入力音声信号のレベルほど重みが大きいものとするようにしている。
【００７９】
このため、定位方向検出部２１４３では、２チャンネル入力音声信号のレベルのサンプリング値に対して、図７に示すように、現時点（この例では最新サンプリング時点ｔｎ）に近いほど、重みが大きくなるように、指数関数曲線の特性を有する時間ウインドーＷＤ１が用いられている。
【００８０】
なお、上述の説明では、処理対象信号時点となる現時点を最新サンプリング時点（最新サンプル時点）とした。しかし、可変ゲインアンプ２４乃至２６の入力側に所定時間τだけ遅延させる遅延回路を設けて、処理対象となる現時点を、入力音声信号ＳｉＬ，ＳｉＲよりも前記τだけ遅延した時点とすることができる。
【００８１】
その場合には、定位方向検出部２１４３では、処理対象信号時点となる現時点よりも後（未来）の２チャンネル入力音声信号ＳｉＬ，ＳｉＲをも用いて、定位方向を検出するようにすることができる。例えば、図６の例で、処理対象信号時点となる現時点がＰ２やＰ３の場合とすることができる。
【００８２】
そして、その場合には、前述した時間ウインドーＷＤ１の代わりに、図８に示すような指数関数曲線の特性の時間ウインドーＷＤ２が用いられる。この時間ウインドーＷＤ２は、処理対象信号時点となる現時点ｔｐで最も重みが大きく、現時点ｔｐから離れるにつれ、過去および未来の方向に重みが小さくなるような指数関数曲線の特性を有するものである。
【００８３】
なお、現時点の２チャンネル入力オーディオ信号のレベルを、過去および／または未来のサンプリング時点における２チャンネル入力音声信号ＳｉＬ，ＳｉＲのレベルを重み付けせずに、そのままの値で用いても良い。
【００８４】
以上のようにして、定位方向検出部２１４３では、現時点においては、２チャンネル入力音声信号ＳｉＬ，ＳｉＲが、どの方向からの信号であるかを、定位角度θとして検出することができる。
【００８５】
しかしながら、検出した現時点における定位角度θは、１時点における入力オーディオ信号の定位方向を一方向に限定したもので、各方向ごとの信号の強さが反映されていない。そこで、この実施形態では、この点にかんがみ、定位方向検出部２１４３で検出された現時点における２チャンネル入力音声信号ＳｉＬ，ＳｉＲの定位方向の検出結果（定位角度θ）は、定位方向分布計測部２１４４に供給される。
【００８６】
定位方向分布計測部２１４４では、予め定められた所定時間区間ｄに渡って定位方向検出部２１４３で検出された定位角度θの、全方位についての分布を求め、２チャンネル入力音声信号の定位方向が、どの角度方向にどのくらいの割合を持っているかを計測する。
【００８７】
この場合、所定時間区間ｄは、例えば数ミリ秒〜数百ミリ秒、この例では数１０ミリ秒に選定されている。そして、この実施形態では、定位方向分布計測部２１４４では、この所定時間区間ｄにおける定位方向検出部２１４３で検出された定位角度θに対して、定位方向検出部２１４３における重み係数の特性と同様に重み付けをするようにする。
【００８８】
すなわち、定位方向分布計測部２１４４では、現時点ｔｐ（この例では、ｔｐ＝ｔｎ（最新サンプリング時点））に近づくほど指数関数的に大きくなるような重み付けをする時間ウインドーＷＤ３（図９参照）をかけて重み付けをするようにする。
【００８９】
なお、前述したように、入力オーディオ信号に対して遅延時間τを設けるようにして、定位方向検出部２１４３での重み付けのための時間ウインドーを、図８のようにする場合には、定位方向分布計測部２１４４における時間ウインドーも、図８と同様なものとなる。その場合の時間区間ｄは、現時点ｔｐより未来と過去の両方を含む時間区間となるものである。なお、重み付けをせずに、そのままの値で用いてもよい。
【００９０】
図１０は、この定位方向分布計測部２１４４で求められた定位角度θの分布である定位方向分布Ｐ（θ）の一例を示すもので、横軸にはＸ軸（左チャンネル定位方向）を基準にした定位角度θをとり、縦軸には各定位角度の出現度（＜１）をとったものである。ここで、この実施形態では、定位方向分布Ｐ（θ）をすべての定位角度θについて総和を求めたときに１、すなわち、
ΣＰ（θ）＝１
となるように分布が生成される。
【００９１】
また、定位角度θと、音声信号の定位方向との関係は、図１１に示すようなものとなる。なお、図１１に示されている正面方向、左方向、右方向などは、リスナを基準にした方向名である。
【００９２】
以上のようにして、定位方向分布計測部２１４４からは、現時点（現サンプリング時点あるいは現サンプル時点；処理対象信号時点）ごとに、図１０に示すような定位方向分布Ｐ（θ）の情報が得られる。
【００９３】
この定位方向分布Ｐ（θ）の情報は、センターゲイン制御信号生成部２１４５に供給される。センターゲイン制御信号生成部２１４５では、定位方向分布計測部２１４４によって算出された定位方向分布Ｐ（θ）から、センターに集中的に定位する信号ほど、ゲインが大きく、その他では、ゲインが小さくなるセンターゲイン制御信号を生成する。
【００９４】
センターゲイン制御信号生成部２１４５は、図示を省略するゲインテーブルメモリを備えている。このゲインテーブルメモリには、ゲイン調整アンプ２１３に供給するゲイン制御信号を生成するためのゲインテーブル情報Ｋ（θ）が予め記憶されている。
【００９５】
このゲインテーブル情報Ｋ（θ）は、定位角度のすべて（−４５°〜１３５°）に対して、センター定位方向に重み付けが施されたゲイン特性とされている。図１２に、このゲインテーブル情報Ｋ（θ）の例を示す。
【００９６】
すなわち、ゲインテーブル情報Ｋ（θ）は、この例では、図１２に示すように、正面方向（センター方向；θ＝４５°）のときにゲインが最大の「１」となる。そして、センター方向よりも左方向の定位角度範囲（０°〜４５°）およびセンター方向よりも左方向の定位角度範囲（４５°〜９０°）では、センター方向から遠ざかるにしたがってゲインが小さくなるようなゲイン特性とされる。
【００９７】
センターゲイン制御信号生成部２１４５では、定位方向分布計測部２１４４で求められた定位方向分布Ｐ（θ）の情報と、ゲインテーブル情報Ｋ（θ）のゲイン値との、すべての定位角度についての積の総和を算出する。
【００９８】
すなわち、センターゲイン制御信号生成部２１４５は、
Ｇａｔ＝Σ（Ｋ（θ）×Ｐ（θ））として、ゲイン制御信号Ｇａｔを生成する。
【００９９】
こうしてセンターゲイン制御信号生成部２１４５で生成されたゲイン制御信号Ｇａｔは、センター集中定位率検出部２１４の出力として、ゲイン調整アンプ２１３に供給される。
【０１００】
したがって、ゲイン調整アンプ２１３からは、第１の例よりも、さらにセンターに集中的に定位する信号成分からなる声主体信号Ｓｖが得られる。
【０１０１】
なお、センター集中定位信号検出部２１としては、上述した第１の例および第２の例に限られるものではないことは勿論である。
【０１０２】
［臨場音平均レベル検出部３４の構成例］
次に、図１３を参照して、臨場音平均レベル検出部３４の構成例について説明する。臨場音平均レベル検出部３４は、減算部４１、および平均レベル検出部４２より構成されている。減算部４１は、入力音声信号ＳｉＬ，ＳｉＲの差分を求めて平均レベル検出部４２に供給する。平均レベル検出部４２は、入力音声信号ＳｉＬ，ＳｉＲの差分の平均レベルを臨場音平均レベルとして検出して、その検出した臨場音平均レベルをセンターバランス補正部３２および臨場音バランス補正部３５に供給する。尚、臨場音平均レベル検出部３４の構成については、臨場音平均レベルとして定義できる値が求められるものであれば他の構成であってもよく、例えば、左右チャンネルの臨場音主体信号ＳｓＬ，ＳｓＲとの差分を用いたものであってもよい。
【０１０３】
［センターバランス補正部３２の構成例］
次に、図１４を参照して、センターバランス補正部３２の構成例について説明する。センターバランス補正部３２は、固定ゲインアンプ５１、および加算部５２より構成されている。固定ゲインアンプ５１は、臨場音平均レベルを固定のゲインＫ１でゲイン調整し加算部５２に供給する。加算部５２は、固定ゲインアンプ５１より供給されてくるゲインＫ１でゲイン制御された臨場音平均レベルと、平均レベル検出部３１より供給されてくる声主体信号Ｓｖの平均レベルとを加算してセンターバランス補正平均レベルとしてゲイン制御信号生成部３３に供給する。尚、センターバランス補正部３２の構成については、センターバランス補正平均レベルとして定義できる値が求められるものであれば他の構成であってもよい。
【０１０４】
［臨場音バランス補正部３５の構成例］
次に、図１５を参照して、臨場音バランス補正部３５の構成例について説明する。臨場音バランス補正部３５は、固定ゲインアンプ６１、および加算部６２より構成されている。固定ゲインアンプ６１は、臨場音平均レベルを固定のゲインＫ２でゲイン制御し加算部６２に供給する。加算部６２は、固定ゲインアンプ６１より供給されてくるゲインＫ２でゲイン制御された臨場音平均レベルと、平均レベル検出部３１より供給されてくる声主体信号Ｓｖの平均レベルとを加算して臨場音バランス補正平均レベルとしてゲイン制御信号生成部３６に供給する。尚、臨場音バランス補正部３５の構成については、臨場音バランス補正平均レベルとして定義できる値が求められるものであれば他の構成であってもよい。
【０１０５】
すなわち、センターバランス補正部３２、および臨場音バランス補正部３５は、それぞれ異なるゲインＫ１，Ｋ２により臨場音平均レベルを、声主体信号Ｓｖの平均レベルに加算することで、それぞれセンターバランス補正平均レベルおよび臨場音バランス補正平均レベルを求めている。したがって、このゲインＫ１，Ｋ２を様々に変化させることにより、声主体信号Ｓｖと臨場音とを様々な割合で変化させることができ、声主体信号Ｓｖと臨場音とのバランスを調整することが可能となる。
【０１０６】
［臨場音レベル補正ゲイン生成部３７の構成例］
次に、図１６を参照して、臨場音レベル補正ゲイン生成部３７の構成例について説明する。
【０１０７】
入力音声信号のレベル変動あるいは声主体信号Ｓｖのレベル変動が大きく、声主体信号Ｓｖの出力レベルのみを一定レベルにゲイン制御したときには、元の入力音声信号に対するバランスが悪化して、違和感を覚える場合がある。
【０１０８】
この臨場音レベル補正ゲイン生成部３７は、この問題を改善するものである。臨場音レベル補正ゲイン生成部３７は、ゲイン値変換テーブル部７１からなる。
【０１０９】
ゲイン値変換テーブル部７１は、声主体信号Ｓｖに対するゲイン制御信号Ｇｙを入力信号として受けて、臨場音主体信号ＳｓＬ，ＳｓＲに対するゲイン制御信号Ｇｓを出力するものであり、ゲイン値変換テーブルメモリ（図示は省略）を有する。
【０１１０】
ゲイン値変換テーブル部７１が備えるゲイン値変換テーブルメモリに記憶されるゲイン値変換テーブル情報の例を説明するための図を図１７に示す。
【０１１１】
声主体信号Ｓｖのレベル変動が小さい場合あるいは入力音声信号全体のレベル変動が小さいときには、ゲイン制御信号Ｇｙによる声レベル補正ゲイン値は、Ｇｙ＝１を中心として大きく変化しない。
【０１１２】
このような場合には、前述した臨場音主体信号と、声主体信号とのバランスは、元の入力音声信号から大きく外れてはいないので、違和感を覚えることはない。このため、このようなレベル変動が小さい範囲では、臨場音主体信号ＳｓＬ，ＳｓＲは、固定ゲイン「１」のアンプを通じて出力してもよい。
【０１１３】
そこで、この図１７の例においては、０．７５≦Ｇｙ≦１．２５の範囲では、臨場音主体信号に対するゲイン制御信号Ｇｓは、常にＧｓ＝１のゲイン値にする。
【０１１４】
そして、入力音声信号のレベル変動あるいは声主体信号Ｓｖのレベル変動が、このような小さいレベル変動範囲から逸脱する場合には、この例では、ゲイン制御信号Ｇｙに対して所定の比を持って、追従して、臨場音主体信号ＳｓＬ，ＳｓＲをゲイン制御する。
【０１１５】
すなわち、図１７の例においては、Ｇｙ＜０．７５となる入力レベルが大きくなる範囲では、Ｇｓ／Ｇｙ＝Ｋ１１（＝１／０．７５）の関係を持って、ゲイン制御信号Ｇｙから、臨場音主体信号ＳｓＬ，ＳｓＲに対するゲイン制御信号Ｇｓを出力するようにする。
【０１１６】
また、Ｇｙ＞１．２５となる入力レベルが小さくなる範囲では、Ｇｓ／Ｇｙ＝Ｋ１２（＝２／２．５）の関係を持って、ゲイン制御信号Ｇｙから、臨場音主体信号ＳｓＬ，ＳｓＲに対するゲイン制御信号Ｇｓを出力するようにする。
【０１１７】
このようにすることにより、声レベル補正ゲインが大きく変動した場合でも、臨場音レベル補正ゲインが、声レベル補正ゲインと一定の比を持って追従するので、声主体信号レベルに対する臨場音主体信号レベルのバランスが大きく開いてしまうことを防止できる。したがって、レベル変動が大きい場合においても自然なレベル遷移を実現することができるようになる。
【０１１８】
ゲイン値変換テーブル部７１は、声主体信号Ｓｖに対するゲイン制御信号Ｇｙの値をゲイン値変換テーブルメモリの読み出しアドレス入力として、対応する臨場音主体信号に対するゲイン制御信号Ｇｓを読み出して、出力するように構成できる。
【０１１９】
［図２の音量補正装置による音量補正処理］
音量補正装置は、ソフトウェア処理演算により各構成の機能を実現するようにすることができる。そこで、図１８のフローチャートを参照して、図２の音量補正装置による音量補正処理について説明する。
【０１２０】
ステップＳ１において、センター集中定位信号検出部２１は、左右２チャンネルの入力音声信号ＳｉＬ，ＳｉＲより、左右チャンネルの中央（センター）に定位するセンター集中定位信号を抽出し、声主体信号Ｓｖとして検出して減算部２２，２３に出力する。
【０１２１】
ステップＳ２において、減算部２２は、左チャンネルの音声信号ＳｉＬから、声主体信号Ｓｖを減算して、左チャンネルの臨場音主体信号ＳｓＬを生成し、可変ゲインアンプ２５に供給する。また、減算部２３は、右チャンネルの音声信号ＳｉＲから、声主体信号Ｓｖを減算して、右チャンネルの臨場音主体信号ＳｓＲを生成し、可変ゲインアンプ２６に供給する。
【０１２２】
ステップＳ３において、平均レベル検出部３１は、声主体信号Ｓｖの平均レベルを検出して、その検出した平均レベルをセンターバランス補正部３２および臨場音バランス補正部３５に供給する。
【０１２３】
ステップＳ４において、臨場音平均レベル検出部３４は、２チャンネル音声信号ＳｉＬ，ＳｉＲから、臨場音主体信号の平均レベルを検出して、その検出した臨場音主体信号の平均レベルをセンターバランス補正部３２および臨場音バランス補正部３５に供給する。
【０１２４】
ステップＳ５において、センターバランス補正部３２は、声主体信号Ｓｖの平均レベルに、臨場音主体信号の平均レベルを所定のゲインＫ１によりゲイン制御した値を加算することにより補正して、ゲイン制御信号生成部３３に供給する。
【０１２５】
ステップＳ６において、臨場音バランス補正部３５は、声主体信号Ｓｖの平均レベルに、臨場音主体信号の平均レベルを所定のゲインＫ２によりゲイン制御した値を加算することにより補正して、ゲイン制御信号生成部３６に供給する。
【０１２６】
ステップＳ７において、ゲイン制御信号生成部３３は、センターバランス補正部３２により、臨場音主体信号の平均レベルに基づいて補正された、声主体信号Ｓｖの平均レベルが、予め定めた基準レベルとなるようにするためのゲイン制御信号Ｇｖを生成する。そして、ゲイン制御信号生成部３３は、生成したゲイン制御信号Ｇｖを可変ゲインアンプ２４に供給する。
【０１２７】
ステップＳ８において、ゲイン制御信号生成部３６は、臨場音バランス補正部３５により、臨場音主体信号の平均レベルに基づいて補正された、声主体信号Ｓｖの平均レベルが、予め定めた基準レベルとなるようにするためのゲイン制御信号Ｇｙを生成する。そして、ゲイン制御信号生成部３６は、生成したゲイン制御信号Ｇｙを臨場音レベル補正ゲイン生成部３７に供給する。
【０１２８】
ステップＳ９において、臨場音レベル補正ゲイン生成部３７は、ゲイン制御信号生成部３６からのゲイン制御信号Ｇｙを受けて、このゲイン制御信号Ｇｙに基づく臨場音レベル補正ゲイン制御信号生成処理を行って、臨場音主体信号をゲイン補正する、臨場音レベル補正ゲインであるゲイン制御信号Ｇｓを生成し、可変ゲインアンプ２５，２６に供給する。
【０１２９】
［臨場音レベル補正ゲイン制御信号生成処理］
ここで、図１９のフローチャートを参照して、臨場音レベル補正ゲイン制御信号生成処理について説明する。
【０１３０】
ステップＳ２１において、臨場音レベル補正ゲイン生成部３７は、入力された声主体信号についてのゲイン制御信号Ｇｙのゲイン値を検知する
【０１３１】
ステップＳ２１において、臨場音レベル補正ゲイン生成部３７は、ゲイン値変換テーブル部７１に基づいて、そのゲイン値Ｇｙが、Ｇｙ＜０．７５であるか否か判定する。ステップＳ２１において、例えば、ゲイン値Ｇｙ＜０．７５である場合、処理は、ステップＳ２３に進む。
【０１３２】
ステップＳ２３において、臨場音レベル補正ゲイン生成部３７は、ゲイン値変換テーブル部７１に基づいて、Ｇｓ＝Ｋ１１×Ｇｙなる演算により臨場音主体信号ＳｓＬ，ＳｓＲに対する、臨場音レベル補正ゲインであるゲイン制御信号Ｇｓを算出する。
【０１３３】
一方、ステップＳ２２において、Ｇｙ＜０．７５ではないと判定された場合、ステップＳ２４において、臨場音レベル補正ゲイン生成部３７は、ゲイン値変換テーブル部７１に基づいて、Ｇｙ＞１．２５であるか否かを判定する。ステップＳ２４において、例えば、Ｇｙ＞１．２５である場合、処理は、ステップＳ２５に進む。ステップＳ２５において、臨場音レベル補正ゲイン生成部３７は、ゲイン値変換テーブル部７１に基づいて、Ｇｓ＝Ｋ１２×Ｇｙなる演算により臨場音主体信号ＳｓＬ，ＳｓＲに対する臨場音レベル補正ゲインであるゲイン制御信号Ｇｓを算出する。
【０１３４】
ステップＳ２４において、例えば、Ｇｙ＞１．２５ではない場合、ステップＳ２６において、臨場音レベル補正ゲイン生成部３７は、ゲイン値変換テーブル部７１に基づいて、０．７５≦Ｇｙ≦１．２５であることを確認して、Ｇｓ＝１とする。
【０１３５】
そして、ステップＳ２３，Ｓ２４、およびＳ２６の処理が終了した後、処理は、ステップＳ２１に戻り、それ以降の処理が繰り返される。
【０１３６】
なお、上述の説明のゲイン値の数値は、一例であり、これに限られるものではないことはいうまでもない。そして、ゲイン値Ｇｙ＝１を中心とするレベル変動が小さい範囲、すなわち、α≦Ｇｙ≦βの範囲においては、上述の例では、１−α＝β−１としたが、１−α≠β−１であっても勿論良い。
【０１３７】
また、Ｇｙ＜αの範囲での比の値Ｋ１１と、Ｇｙ＞βの範囲での比の値Ｋ１２も、一例であり、また、Ｋ１１＝Ｋ１２であってもよい。
【０１３８】
ここで、図１８のフローチャートの説明に戻る。
【０１３９】
ステップＳ１０において、可変ゲインアンプ２５，２６は、臨場音レベル補正ゲイン生成部３７から供給されてくる臨場音レベル補正ゲインであるゲイン制御信号Ｇｓに基づいて、左右チャンネルの臨場音主体信号ＳｓＬ，ＳｓＲに対して、ゲイン制御を行い、それぞれ加算部２７，２８に供給する。
【０１４０】
ステップＳ１１において、可変ゲインアンプ２４は、ゲイン制御信号生成部３３は、生成したゲイン制御信号Ｇｖに基づいて、声主体信号Ｓｖに対して、ゲイン制御を行い、補正後の声主体信号Ｓｖｃを加算部２７，２８に供給する。
【０１４１】
ステップＳ１２において、加算部２７は、左チャンネルの臨場音主体信号ＳｓＬと補正後声主体信号Ｓｖｃとを加算し、その加算出力として、音量補正された左チャンネルの出力音声信号ＳｏＬを出力する。また、加算部２８は、右チャンネルの臨場音主体信号ＳｓＲと補正後声主体信号Ｓｖｃとを加算し、その加算出力として、音量補正された右チャンネルの出力音声信号ＳｏＲを出力する。
【０１４２】
以上の処理により、臨場音主体信号、および声主体信号が、ゲインＫ１，Ｋ２の調整により、様々な割合でバランスを取ることが可能になると共に、声主体信号について生じる大きなレベル変化点での音量レベルの揺れを抑制することが可能となる。結果として、臨場音と声主体信号とのバランスを調整しつつ、声主体信号Ｓｖｃの音量レベルの揺れが、目立たなくなり、聴取者に対する違和感が軽減される。
【０１４３】
＜２．第２の実施の形態＞
［音量補正装置の第２の実施形態］
以上においては、声主体信号Ｓｖの平均レベルに対して、臨場音平均レベルに基づいたバランス補正を行うことにより、補正された声主体信号Ｓｖの平均レベルを用いて、ゲイン制御信号Ｇｖ，Ｇｓを生成する例について説明してきたが、バランス補正ができれば、補正する信号は別の信号であってもよい。
【０１４４】
例えば、声主体信号Ｓｖの平均レベルに基づいて求められるゲイン制御信号を、声主体信号、および臨場音主体信号のそれぞれについて、臨場音平均レベルに基づいたバランス補正を行うことによりゲイン制御信号Ｇｖ，Ｇｙを生成するようにしてもよい。
【０１４５】
図２０は、声主体信号Ｓｖの平均レベルに基づいて求められるゲイン制御信号を、声主体信号、および臨場音主体信号のそれぞれについて、臨場音平均レベルに基づいてバランスを補正することによりゲイン制御信号Ｇｖ，Ｇｙを生成する音量補正装置の構成を示している。尚、図２０の音量補正装置において、図２の音量補正装置における構成と同一の機能を備えた構成については、同一の符号を付しており、その説明は適宜省略するものとする。図２０の音量補正装置において、図２の音量補正装置と異なる構成は、センターバランス補正部３２、ゲイン制御信号生成部３３、臨場音バランス補正部３５、およびゲイン制御信号生成部３６に代えて、ゲイン制御信号生成部１０１−１、センターバランス補正部１０３、ゲイン制御信号生成部１０１−２、および臨場音バランス補正部１０４を設け、さらに、バランス補正ゲイン生成部１０２を備えていることである。
【０１４６】
ゲイン制御信号生成部１０１−１，１０１−２は、いずれも平均レベル検出部３１より供給されてくる声主体信号Ｓｖの平均レベルが、予め定めた基準レベルとなるためのゲイン制御信号を生成し、それぞれセンターバランス補正部１０３、および臨場音バランス補正部１０４に供給する。
【０１４７】
バランス補正ゲイン生成部１０２は、臨場音平均レベル検出部３４より供給されてくる臨場音平均レベルに基づいて、声主体信号Ｓｖの平均レベルを予め定めた基準レベルとなるためのゲイン制御信号を、声主体信号Ｓｖと臨場音主体信号とのバランスを補正するためのバランス補正ゲインＫ３，Ｋ４を生成し、それぞれセンターバランス補正部１０３、および臨場音バランス補正部１０４に供給する。より詳細には、バランス補正ゲイン生成部１０２は、図２１で示されるような、臨場音平均レベルに応じて設定されるバランス補正ゲインのテーブルを記憶しており、臨場音平均レベルに応じたバランス補正ゲインＫ３，Ｋ４を読み出して出力している。図２１で示されるように、声主体信号Ｓｖを補正するゲイン制御信号を補正するためのバランス補正ゲインＫ３は、臨場音平均レベルに比例して大きくなるように設定されている。これに対して、臨場音信号ＳｉＬ，ＳｉＲを補正するゲイン制御信号を補正するためのバランス補正ゲインＫ４は、臨場音平均レベルに比例して小さくなるように設定されている。尚、バランス補正ゲインＫ３，Ｋ４については、臨場音平均レベルに対して、図２１で示されるような関係とは異なる関係となるものであってもよく、例えば、バランス補正ゲインＫ３，Ｋ４が、それぞれ臨場音平均レベルに対して、それぞれ図２１の場合と逆の関係となるようなものであってもよい。
【０１４８】
センターバランス補正部１０３は、ゲイン制御信号生成部１０１−１より供給されてくるゲイン制御信号をバランス補正ゲイン生成部１０２より供給されてくるバランス補正ゲインＫ３により補正してゲイン制御信号Ｇｖを生成し、可変ゲインアンプ２４に供給する。
【０１４９】
臨場音バランス補正部１０４は、ゲイン制御信号生成部１０１−２より供給されてくるゲイン制御信号を、バランス補正ゲイン生成部１０２より供給されてくるバランス補正ゲインＫ４により補正してゲイン制御信号Ｇｙを生成し、臨場音レベル補正ゲイン生成部３７に供給する。
【０１５０】
すなわち、図２の音量調整部１８においては、声主体信号Ｓｖの平均レベルが、臨場音平均レベルに基づいてバランス補正がなされ、補正後の声主体信号Ｓｖの平均レベルからゲイン制御信号が生成されていた。これに対して、図２０の音量調整部１８においては、声主体信号Ｓｖの平均レベルに基づいてゲイン制御信号が生成されて、臨場音平均レベルに基づいて、声主体信号と臨場音とのバランスを調整するために設定されるバランス補正ゲインでバランス補正されている。
【０１５１】
［センターバランス補正部１０３の構成例］
次に、図２２を参照して、センターバランス補正部１０３の構成例について説明する。センターバランス補正部１０３は、可変ゲインアンプ１２１により構成されている。可変ゲインアンプ１２１は、バランス補正ゲイン生成部１０２より供給されてくるバランス補正ゲインＫ３により、声主体信号Ｓｖの平均レベルに基づいて生成されるゲイン制御信号をゲイン制御して、ゲイン制御信号Ｇｖを生成して可変ゲインアンプ２４に供給する。
【０１５２】
［臨場音バランス補正部１０４の構成例］
次に、図２３を参照して、臨場音バランス補正部１０４の構成例について説明する。臨場音バランス補正部１０４は、可変ゲインアンプ１３１により構成されている。可変ゲインアンプ１３１は、バランス補正ゲイン生成部１０２より供給されてくるバランス補正ゲインＫ４により、声主体信号Ｓｖの平均レベルに基づいて生成されるゲイン制御信号をゲイン制御して、ゲイン制御信号Ｇｙを生成して臨場音レベル補正ゲイン生成部３７に供給する。
【０１５３】
［図２０の音量補正装置による音量補正処理］
図２０音量補正装置についても、ソフトウェア処理演算により各構成の機能を実現するようにすることができる。そこで、図２４のフローチャートを参照して、図２０の音量補正装置による音量補正処理について説明する。尚、図２４のフローチャートにおけるステップＳ３１乃至Ｓ３４、およびＳ３９乃至Ｓ４２の処理については、図１８のフローチャートを参照して説明した処理と同一の処理であるので、その説明は省略する。
【０１５４】
すなわち、ステップＳ３１乃至Ｓ３４の処理により、平均レベル検出部３１により声主体信号Ｓｖの平均レベルが求められ、臨場音平均レベル検出部３４により臨場音平均レベルが求められると処理は、ステップＳ３５に進む。
【０１５５】
ステップＳ３５において、ゲイン制御信号生成部１０１−１，１０１−２は、声主体信号Ｓｖの平均レベルが、予め定めた基準レベルとなるためのゲイン制御信号を生成し、それぞれセンターバランス補正部１０３、および臨場音バランス補正部１０４に供給する。
【０１５６】
ステップＳ３６において、バランス補正ゲイン生成部１０２は、臨場音平均レベル検出部３４より供給されてくる臨場音平均レベルに基づいて、声主体信号Ｓｖの平均レベルを予め定めた基準レベルとなるためのゲイン制御信号を、声主体信号Ｓｖと臨場音とのバランスを補正するためのバランス補正ゲインＫ３，Ｋ４を生成し、それぞれセンターバランス補正部１０３、および臨場音バランス補正部１０４に供給する。
【０１５７】
ステップＳ３７において、センターバランス補正部１０３は、ゲイン制御信号生成部１０１−１より供給されてくるゲイン制御信号をバランス補正ゲイン生成部１０２より供給されてくるバランス補正ゲインＫ３によりゲイン制御することで、バランス補正してゲイン制御信号Ｇｖを生成し、可変ゲインアンプ２４に供給する。
【０１５８】
ステップＳ３８において、臨場音バランス補正部１０４は、ゲイン制御信号生成部１０１−２より供給されてくるゲイン制御信号をバランス補正ゲイン生成部１０２より供給されてくるバランス補正ゲインＫ４によりゲイン制御することで、バランス補正してゲイン制御信号Ｇｙを生成し、臨場音レベル補正ゲイン生成部３７に供給する。
【０１５９】
そして、ステップＳ３９においては、生成されたゲイン制御信号Ｇｙが、臨場音レベル補正ゲイン生成部３７により臨場音レベル補正ゲイン生成処理されることにより、ゲイン制御信号Ｇｓが生成され、可変ゲインアンプ２５，２６に供給される。これにより、ステップＳ４０において、可変ゲインアンプ２５，２６が、臨場音主体信号ＳｓＬ，ＳｓＲをそれぞれゲイン制御することで補正し加算部２７，２８に供給する。ステップＳ４１において、可変ゲインアンプ２４は、ゲイン制御信号Ｇｖに基づいて、声主体信号Ｓｖをゲイン制御して、加算部２７，２８に供給する。そして、ステップＳ４２において、加算部２７，２８は、補正後の左右チャンネルの臨場音主体信号ＳｓＬｃ，ＳｓＲｃと補正後声主体信号Ｓｖｃとをそれぞれ加算し、その加算出力として、音量補正された左右チャンネルの出力音声信号ＳｏＬ，ＳｏＲを出力する。
【０１６０】
以上の処理により、臨場音平均レベルに応じたバランス補正ゲインＫ３，Ｋ４を様々に設定することで、声主体信号Ｓｖと臨場音主体信号とのバランスを様々に変化させて調整することが可能になると共に、声主体信号Ｓｖの急激な変化においても、自然なレベル遷移を実現し、聴取者に対する違和感を軽減することが可能となる。
【０１６１】
＜３．変形例＞
［音量補正装置の第２の実施の形態の変形例］
図２０の音量補正装置においては、センターバランス補正部１０３、および臨場音バランス補正部１０４のそれぞれの前段にゲイン制御信号生成部１０１−１，１０１−２をそれぞれ設けた例について説明してきたが、ゲイン制御信号生成部１０１−１，１０１−２はいずれも同一の構成であるので、共通となる１個のゲイン制御信号生成部１０１とするようにしてもよい。
【０１６２】
図２５は、ゲイン制御信号生成部１０１−１，１０１−２を、共通となる１個のゲイン制御信号生成部１０１とした音量補正装置の構成例を示している。
【０１６３】
すなわち、図２５で示されるように、平均レベル検出部３１の後段であって、センターバランス補正部１０３、および臨場音バランス補正部１０４のそれぞれに分岐する前の位置に共通のゲイン制御信号生成部１０１を１個にして設けるようにしてもよい。
【０１６４】
このような構成により、図２５の音量補正装置においても、図２０の音量補正装置における場合と同様の効果を奏することが可能となる。
【０１６５】
＜４．第３の実施の形態＞
［音量補正装置の第３の実施形態］
以上においては、可変ゲインアンプ２５，２６のゲイン制御信号Ｇｙを、補正して、臨場音レベル補正ゲインであるゲイン制御信号Ｇｓを生成する臨場音レベル補正ゲイン生成部３７を設ける例について説明してきたが、ゲイン制御信号Ｇｙ＝ゲイン制御信号Ｇｓであっても、声主体信号Ｓｖの変化に対して自然にレベルを遷移させて聴取者に対する違和感を軽減しつつ、声主体信号と臨場音とのバランスを補正することが可能である。したがって、臨場音レベル補正ゲイン生成部３７を削除しても、第１の実施形態である図２の音量補正装置と同様の効果は得ることができる。
【０１６６】
図２６は、第１の実施形態の音量補正装置より臨場音レベル補正ゲイン生成部３７を削除した音量補正装置の構成例を示している。
【０１６７】
すなわち、図２６の音量補正装置においては、ゲイン制御信号生成部３６により生成されるゲイン制御信号Ｇｙそのものが、ゲイン制御信号Ｇｓとして可変ゲインアンプ２５，２６に供給される。
【０１６８】
［図２６の音量補正装置による音量補正処理］
次に、図２７のフローチャートを参照して、図２６の音量補正装置による音量補正処理について説明する。ただし、図２７のフローチャートにおけるステップＳ５１乃至Ｓ６１の処理は、図１８のフローチャートにおけるステップＳ１乃至Ｓ８，Ｓ１０乃至Ｓ１２の処理と同様であるので、その説明は省略する。
【０１６９】
すなわち、以上の処理においても、声主体信号Ｓｖの変化に対して自然にレベルを遷移させて聴取者に対する違和感を軽減しつつ、声主体信号と臨場音とのバランスを調整することが可能である。
【０１７０】
＜５．第４の実施の形態＞
［音量補正装置の第４の実施形態］
また、第３の実施形態と同様に、第２の実施形態における音量補正装置の臨場音レベル補正ゲイン生成部３７を削除しても、その効果は得ることができる。
【０１７１】
図２８は、第２の実施形態の音量補正装置より臨場音レベル補正ゲイン生成部３７を削除した音量補正装置の構成例を示している。
【０１７２】
すなわち、図２８の音量補正装置においても、ゲイン制御信号生成部３６により生成されるゲイン制御信号Ｇｙそのものが、ゲイン制御信号Ｇｓとして可変ゲインアンプ２５，２６に供給される。
【０１７３】
［図２６の音量補正装置による音量補正処理］
次に、図２９のフローチャートを参照して、図２８の音量補正装置による音量補正処理について説明する。ただし、図２９のフローチャートにおけるステップＳ８１乃至Ｓ９１の処理は、図２４のフローチャートにおけるステップＳ３１乃至Ｓ３８，Ｓ４０乃至Ｓ４２の処理と同様であるので、その説明は省略する。
【０１７４】
すなわち、以上の処理においても、声主体信号Ｓｖの変化に対して自然にレベルを遷移させて聴取者に対する違和感を軽減しつつ、臨場音声主体信号と臨場音とのバランスを調整することが可能である。
【０１７５】
尚、以上においては、音声信号が２チャンネルの場合を例とした場合について説明してきたが、それよりも多くのチャンネル、すなわち、マルチチャンネルを扱う場合においても、本技術を適用することができる。すなわち、マルチチャンネルの音声信号に基づいて、センター集中定位信号を検出し、センター集中定位信号について、上述した声主体信号に対する処理と同様に処理し、その他の音声信号については、上述した臨場音と同様に処理することで対応することができる。この際、必要に応じて上述したバランス補正に必要なゲインを調整することで、様々な比率でバランスを補正することが可能である。また、マルチチャンネル毎に臨場音に対応した処理をすることで、バランス補正のバリエーションを増やすことも可能である。さらに、マルチチャンネルをダウンミックスして２チャンネルとし、上述した手法でバランスを補正することも可能である。
【０１７６】
本技術によれば、複数の成分を含む入力音声信号のうち、声主体信号などのセンター集中低位信号からなる第１成分主体信号の変化に対して自然にレベルを遷移させて聴取者に対する違和感を軽減しつつ、臨場音声主体信号などのセンター集中低位信号以外の信号とのバランスを補正することが可能である。
【０１７７】
ところで、上述した一連の処理は、ハードウェアにより実行させることもできるが、ソフトウェアにより実行させることもできる。一連の処理をソフトウェアにより実行させる場合には、そのソフトウェアを構成するプログラムが、専用のハードウェアに組み込まれているコンピュータ、または、各種のプログラムをインストールすることで、各種の機能を実行することが可能な、例えば汎用のパーソナルコンピュータなどに、記録媒体からインストールされる。
【０１７８】
図３０は、汎用のパーソナルコンピュータの構成例を示している。このパーソナルコンピュータは、CPU(Central Processing Unit)１００１を内蔵している。CPU１００１にはバス１００４を介して、入出力インタ-フェイス１００５が接続されている。バス１００４には、ROM(Read Only Memory)１００２およびRAM(Random Access Memory)１００３が接続されている。
【０１７９】
入出力インタ-フェイス１００５には、ユーザが操作コマンドを入力するキーボード、マウスなどの入力デバイスよりなる入力部１００６、処理操作画面や処理結果の画像を表示デバイスに出力する出力部１００７、プログラムや各種データを格納するハードディスクドライブなどよりなる記憶部１００８、LAN（Local Area Network）アダプタなどよりなり、インターネットに代表されるネットワークを介した通信処理を実行する通信部１００９が接続されている。また、磁気ディスク（フレキシブルディスクを含む）、光ディスク（CD-ROM(Compact Disc-Read Only Memory)、DVD(Digital Versatile Disc)を含む）、光磁気ディスク（ＭＤ(Mini Disc)を含む）、もしくは半導体メモリなどのリムーバブルメディア１０１１に対してデータを読み書きするドライブ１０１０が接続されている。
【０１８０】
CPU１００１は、ROM１００２に記憶されているプログラム、または磁気ディスク、光ディスク、光磁気ディスク、もしくは半導体メモリ等のリムーバブルメディア１０１１から読み出されて記憶部１００８にインストールされ、記憶部１００８からRAM１００３にロードされたプログラムに従って各種の処理を実行する。RAM１００３にはまた、CPU１００１が各種の処理を実行する上において必要なデータなども適宜記憶される。
【０１８１】
尚、本明細書において、記録媒体に記録されるプログラムを記述するステップは、記載された順序に沿って時系列的に行われる処理は、もちろん、必ずしも時系列的に処理されなくとも、並列的あるいは個別に実行される処理を含むものである。
【符号の説明】
【０１８２】
２０ 分離部， ２１ センター集中定位信号検出部， ２４乃至２６ 可変ゲインアンプ， ２７，２８ 加算部， ３０ 補正ゲイン生成部， ３７ 臨場音レベル補正ゲイン生成部
【特許請求の範囲】
【請求項１】
複数の音声成分からなる入力音声信号のうち、前記複数の音声成分の一部を主たる成分とする第１成分主体信号を、ゲイン制御して出力する第１成分主体信号ゲイン制御部と、
前記入力音声信号のうち、前記第１成分以外の、その他成分信号を、ゲイン制御して出力するその他成分信号ゲイン制御部と、
前記第１成分信号の平均レベルを検出する第１成分信号平均レベル検出部と、
前記その他成分信号の平均レベルを検出するその他成分信号平均レベル検出部と、
前記第１成分信号の平均レベルと、前記その他成分信号平均レベルとに基づいて、前記第１成分主体信号をゲイン制御する第１成分ゲイン制御信号を出力する第１成分主体信号ゲイン制御信号出力部と、
前記第１成分信号の平均レベルと、前記その他成分信号平均レベルとに基づいて、前記その他成分信号をゲイン制御するその他成分ゲイン制御信号を出力するその他成分信号ゲイン制御信号出力部とを含み、
前記第１成分主体信号ゲイン制御部は、前記複数の音声成分からなる入力音声信号のうち、前記複数の音声成分の一部を主たる成分とする第１成分主体信号を、前記第１成分主体信号ゲイン制御信号に基づいて、ゲイン制御して第１成分出力信号として出力し、
前記その他成分信号ゲイン制御部は、前記第１成分以外の、その他成分信号を、その他成分信号ゲイン制御信号に基づいて、ゲイン制御してその他成分出力信号として出力する
音声処理装置。
【請求項２】
前記第１成分主体信号ゲイン制御信号出力部は、
前記第１成分信号の平均レベルに、前記その他成分信号平均レベルを第１の所定の増幅率で増倍した信号を加算して補正する第１信号成分平均レベル補正部と、
前記第１成分出力信号が、前記第１信号成分平均レベル補正部により補正された前記第１成分信号の平均レベルとなるように、前記第１成分信号ゲイン制御信号を生成する第１成分信号ゲイン制御信号生成部とを含み、
前記その他成分信号ゲイン制御信号出力部は、
前記第１成分信号の平均レベルに、前記その他成分信号平均レベルを第２の所定の増幅率で増倍した信号を加算して補正する第１信号成分平均レベル補正部と、
前記その他成分出力信号が、前記第１信号成分平均レベル補正部により補正された前記第１成分信号の平均レベルとなるように、前記その他成分信号ゲイン制御信号を生成するその他成分信号ゲイン制御信号生成部とを含む
請求項１に記載の音声処理装置。
【請求項３】
前記第１成分主体信号ゲイン制御信号出力部は、
前記第１成分出力信号が、前記第１信号成分平均レベルとなるように、第１成分信号ゲイン制御信号を生成する第１成分ゲイン制御信号生成部と、
前記その他成分信号平均レベルに対応付けて設定される第１の増幅率で増倍して、前記第１成分信号ゲイン制御信号を補正し、補正した前記第１成分信号ゲイン制御信号を出力する第１信号成分平均レベル補正部とを含み、
前記その他成分信号ゲイン制御信号出力部は、
前記その他成分出力信号が、前記第１信号成分平均レベルとなるように、その他成分信号ゲイン制御信号を生成するその他成分ゲイン制御信号生成部と、
前記その他成分信号平均レベルに対応付けて設定される第２の増幅率で増倍して、前記その他成分信号ゲイン制御信号を補正し、補正した前記その他成分信号ゲイン制御信号を出力するその他信号成分平均レベル補正部とを含む
請求項１に記載の音声処理装置。
【請求項４】
第１成分ゲイン制御信号生成部と、前記その他成分信号ゲイン制御信号出力部とは、共通であり、
第１成分ゲイン制御信号生成部により生成される第１成分ゲイン制御信号と、前記その他成分信号ゲイン制御信号出力部により生成されるその他成分信号ゲイン制御信号とは、同一である
請求項３に記載の音声処理装置。
【請求項５】
前記その他成分信号ゲイン制御信号出力部より出力される、前記その他成分信号ゲイン制御信号を補正するその他信号成分信号ゲイン制御信号補正部を含む
請求項１乃至４のいずれかに記載の音声処理装置。
【請求項６】
前記第１成分信号は、センター集中定位信号である
請求項１乃至５のいずれかに記載の音声処理装置。
【請求項７】
前記第１成分出力信号と、前記その他成分出力信号とを加算した加算出力信号を、音量補正後の音声出力信号とする加算手段をさらに含む
請求項１乃至６のいずれかに記載の音声処理装置。
【請求項８】
複数の音声成分からなる入力音声信号のうち、前記複数の音声成分の一部を主たる成分とする第１成分主体信号を、ゲイン制御して出力する第１成分主体信号ゲイン制御部と、
前記入力音声信号のうち、前記第１成分以外の、その他成分信号を、ゲイン制御して出力するその他成分信号ゲイン制御部と、
前記第１成分信号の平均レベルを検出する第１成分信号平均レベル検出部と、
前記その他成分信号の平均レベルを検出するその他成分信号平均レベル検出部と、
前記第１成分信号の平均レベルと、前記その他成分信号平均レベルとに基づいて、前記第１成分主体信号をゲイン制御する第１成分ゲイン制御信号を出力する第１成分主体信号ゲイン制御信号出力部と、
前記第１成分信号の平均レベルと、前記その他成分信号平均レベルとに基づいて、前記その他成分信号をゲイン制御するその他成分ゲイン制御信号を出力するその他成分信号ゲイン制御信号出力部とを含み、
前記第１成分主体信号ゲイン制御部は、前記複数の音声成分からなる入力音声信号のうち、前記複数の音声成分の一部を主たる成分とする第１成分主体信号を、前記第１成分主体信号ゲイン制御信号に基づいて、ゲイン制御して第１成分出力信号として出力し、
前記その他成分信号ゲイン制御部は、前記第１成分以外の、その他成分信号を、その他成分信号ゲイン制御信号に基づいて、ゲイン制御してその他成分出力信号として出力する
音声処理装置における音声処理方法であって、
前記第１成分主体信号ゲイン制御部における、前記複数の音声成分からなる入力音声信号のうち、前記複数の音声成分の一部を主たる成分とする第１成分主体信号を、ゲイン制御して出力する第１成分主体信号ゲイン制御ステップと、
前記その他成分信号ゲイン制御部における、前記入力音声信号のうち、前記第１成分以外の、その他成分信号を、ゲイン制御して出力するその他成分信号ゲイン制御ステップと、
前記第１成分信号平均レベル検出部における、前記第１成分信号の平均レベルを検出する第１成分信号平均レベル検出ステップと、
前記その他成分信号平均レベル検出部における、前記その他成分信号の平均レベルを検出するその他成分信号平均レベル検出ステップと、
前記第１成分主体信号ゲイン制御信号出力部における、前記第１成分信号の平均レベルと、前記その他成分信号平均レベルとに基づいて、前記第１成分主体信号をゲイン制御する第１成分ゲイン制御信号を出力する第１成分主体信号ゲイン制御信号出力ステップと、
前記その他成分信号ゲイン制御信号出力部における、前記第１成分信号の平均レベルと、前記その他成分信号平均レベルとに基づいて、前記その他成分信号をゲイン制御するその他成分ゲイン制御信号を出力するその他成分信号ゲイン制御信号出力ステップとを含み、
前記第１成分主体信号ゲイン制御ステップの処理は、前記複数の音声成分からなる入力音声信号のうち、前記複数の音声成分の一部を主たる成分とする第１成分主体信号を、前記第１成分主体信号ゲイン制御信号に基づいて、ゲイン制御して第１成分出力信号として出力し、
前記その他成分信号ゲイン制御ステップの処理は、前記第１成分以外の、その他成分信号を、その他成分信号ゲイン制御信号に基づいて、ゲイン制御してその他成分出力信号として出力する
音声処理方法。
【請求項９】
複数の音声成分からなる入力音声信号のうち、前記複数の音声成分の一部を主たる成分とする第１成分主体信号を、ゲイン制御して出力する第１成分主体信号ゲイン制御部と、
前記入力音声信号のうち、前記第１成分以外の、その他成分信号を、ゲイン制御して出力するその他成分信号ゲイン制御部と、
前記第１成分信号の平均レベルを検出する第１成分信号平均レベル検出部と、
前記その他成分信号の平均レベルを検出するその他成分信号平均レベル検出部と、
前記第１成分信号の平均レベルと、前記その他成分信号平均レベルとに基づいて、前記第１成分主体信号をゲイン制御する第１成分ゲイン制御信号を出力する第１成分主体信号ゲイン制御信号出力部と、
前記第１成分信号の平均レベルと、前記その他成分信号平均レベルとに基づいて、前記その他成分信号をゲイン制御するその他成分ゲイン制御信号を出力するその他成分信号ゲイン制御信号出力部とを含み、
前記第１成分主体信号ゲイン制御部は、前記複数の音声成分からなる入力音声信号のうち、前記複数の音声成分の一部を主たる成分とする第１成分主体信号を、前記第１成分主体信号ゲイン制御信号に基づいて、ゲイン制御して第１成分出力信号として出力し、
前記その他成分信号ゲイン制御部は、前記第１成分以外の、その他成分信号を、その他成分信号ゲイン制御信号に基づいて、ゲイン制御してその他成分出力信号として出力する
音声処理装置を制御するコンピュータに、
前記第１成分主体信号ゲイン制御部における、前記複数の音声成分からなる入力音声信号のうち、前記複数の音声成分の一部を主たる成分とする第１成分主体信号を、ゲイン制御して出力する第１成分主体信号ゲイン制御ステップと、
前記その他成分信号ゲイン制御部における、前記入力音声信号のうち、前記第１成分以外の、その他成分信号を、ゲイン制御して出力するその他成分信号ゲイン制御ステップと、
前記第１成分信号平均レベル検出部における、前記第１成分信号の平均レベルを検出する第１成分信号平均レベル検出ステップと、
前記その他成分信号平均レベル検出部における、前記その他成分信号の平均レベルを検出するその他成分信号平均レベル検出ステップと、
前記第１成分主体信号ゲイン制御信号出力部における、前記第１成分信号の平均レベルと、前記その他成分信号平均レベルとに基づいて、前記第１成分主体信号をゲイン制御する第１成分ゲイン制御信号を出力する第１成分主体信号ゲイン制御信号出力ステップと、
前記その他成分信号ゲイン制御信号出力部における、前記第１成分信号の平均レベルと、前記その他成分信号平均レベルとに基づいて、前記その他成分信号をゲイン制御するその他成分ゲイン制御信号を出力するその他成分信号ゲイン制御信号出力ステップとを含む処理を実行させ、
前記第１成分主体信号ゲイン制御ステップの処理は、前記複数の音声成分からなる入力音声信号のうち、前記複数の音声成分の一部を主たる成分とする第１成分主体信号を、前記第１成分主体信号ゲイン制御信号に基づいて、ゲイン制御して第１成分出力信号として出力し、
前記その他成分信号ゲイン制御ステップの処理は、前記第１成分以外の、その他成分信号を、その他成分信号ゲイン制御信号に基づいて、ゲイン制御してその他成分出力信号として出力する
プログラム。
【請求項１０】
請求項１乃至７のいずれかの音声処理装置を含む電子機器。
【請求項１】
複数の音声成分からなる入力音声信号のうち、前記複数の音声成分の一部を主たる成分とする第１成分主体信号を、ゲイン制御して出力する第１成分主体信号ゲイン制御部と、
前記入力音声信号のうち、前記第１成分以外の、その他成分信号を、ゲイン制御して出力するその他成分信号ゲイン制御部と、
前記第１成分信号の平均レベルを検出する第１成分信号平均レベル検出部と、
前記その他成分信号の平均レベルを検出するその他成分信号平均レベル検出部と、
前記第１成分信号の平均レベルと、前記その他成分信号平均レベルとに基づいて、前記第１成分主体信号をゲイン制御する第１成分ゲイン制御信号を出力する第１成分主体信号ゲイン制御信号出力部と、
前記第１成分信号の平均レベルと、前記その他成分信号平均レベルとに基づいて、前記その他成分信号をゲイン制御するその他成分ゲイン制御信号を出力するその他成分信号ゲイン制御信号出力部とを含み、
前記第１成分主体信号ゲイン制御部は、前記複数の音声成分からなる入力音声信号のうち、前記複数の音声成分の一部を主たる成分とする第１成分主体信号を、前記第１成分主体信号ゲイン制御信号に基づいて、ゲイン制御して第１成分出力信号として出力し、
前記その他成分信号ゲイン制御部は、前記第１成分以外の、その他成分信号を、その他成分信号ゲイン制御信号に基づいて、ゲイン制御してその他成分出力信号として出力する
音声処理装置。
【請求項２】
前記第１成分主体信号ゲイン制御信号出力部は、
前記第１成分信号の平均レベルに、前記その他成分信号平均レベルを第１の所定の増幅率で増倍した信号を加算して補正する第１信号成分平均レベル補正部と、
前記第１成分出力信号が、前記第１信号成分平均レベル補正部により補正された前記第１成分信号の平均レベルとなるように、前記第１成分信号ゲイン制御信号を生成する第１成分信号ゲイン制御信号生成部とを含み、
前記その他成分信号ゲイン制御信号出力部は、
前記第１成分信号の平均レベルに、前記その他成分信号平均レベルを第２の所定の増幅率で増倍した信号を加算して補正する第１信号成分平均レベル補正部と、
前記その他成分出力信号が、前記第１信号成分平均レベル補正部により補正された前記第１成分信号の平均レベルとなるように、前記その他成分信号ゲイン制御信号を生成するその他成分信号ゲイン制御信号生成部とを含む
請求項１に記載の音声処理装置。
【請求項３】
前記第１成分主体信号ゲイン制御信号出力部は、
前記第１成分出力信号が、前記第１信号成分平均レベルとなるように、第１成分信号ゲイン制御信号を生成する第１成分ゲイン制御信号生成部と、
前記その他成分信号平均レベルに対応付けて設定される第１の増幅率で増倍して、前記第１成分信号ゲイン制御信号を補正し、補正した前記第１成分信号ゲイン制御信号を出力する第１信号成分平均レベル補正部とを含み、
前記その他成分信号ゲイン制御信号出力部は、
前記その他成分出力信号が、前記第１信号成分平均レベルとなるように、その他成分信号ゲイン制御信号を生成するその他成分ゲイン制御信号生成部と、
前記その他成分信号平均レベルに対応付けて設定される第２の増幅率で増倍して、前記その他成分信号ゲイン制御信号を補正し、補正した前記その他成分信号ゲイン制御信号を出力するその他信号成分平均レベル補正部とを含む
請求項１に記載の音声処理装置。
【請求項４】
第１成分ゲイン制御信号生成部と、前記その他成分信号ゲイン制御信号出力部とは、共通であり、
第１成分ゲイン制御信号生成部により生成される第１成分ゲイン制御信号と、前記その他成分信号ゲイン制御信号出力部により生成されるその他成分信号ゲイン制御信号とは、同一である
請求項３に記載の音声処理装置。
【請求項５】
前記その他成分信号ゲイン制御信号出力部より出力される、前記その他成分信号ゲイン制御信号を補正するその他信号成分信号ゲイン制御信号補正部を含む
請求項１乃至４のいずれかに記載の音声処理装置。
【請求項６】
前記第１成分信号は、センター集中定位信号である
請求項１乃至５のいずれかに記載の音声処理装置。
【請求項７】
前記第１成分出力信号と、前記その他成分出力信号とを加算した加算出力信号を、音量補正後の音声出力信号とする加算手段をさらに含む
請求項１乃至６のいずれかに記載の音声処理装置。
【請求項８】
複数の音声成分からなる入力音声信号のうち、前記複数の音声成分の一部を主たる成分とする第１成分主体信号を、ゲイン制御して出力する第１成分主体信号ゲイン制御部と、
前記入力音声信号のうち、前記第１成分以外の、その他成分信号を、ゲイン制御して出力するその他成分信号ゲイン制御部と、
前記第１成分信号の平均レベルを検出する第１成分信号平均レベル検出部と、
前記その他成分信号の平均レベルを検出するその他成分信号平均レベル検出部と、
前記第１成分信号の平均レベルと、前記その他成分信号平均レベルとに基づいて、前記第１成分主体信号をゲイン制御する第１成分ゲイン制御信号を出力する第１成分主体信号ゲイン制御信号出力部と、
前記第１成分信号の平均レベルと、前記その他成分信号平均レベルとに基づいて、前記その他成分信号をゲイン制御するその他成分ゲイン制御信号を出力するその他成分信号ゲイン制御信号出力部とを含み、
前記第１成分主体信号ゲイン制御部は、前記複数の音声成分からなる入力音声信号のうち、前記複数の音声成分の一部を主たる成分とする第１成分主体信号を、前記第１成分主体信号ゲイン制御信号に基づいて、ゲイン制御して第１成分出力信号として出力し、
前記その他成分信号ゲイン制御部は、前記第１成分以外の、その他成分信号を、その他成分信号ゲイン制御信号に基づいて、ゲイン制御してその他成分出力信号として出力する
音声処理装置における音声処理方法であって、
前記第１成分主体信号ゲイン制御部における、前記複数の音声成分からなる入力音声信号のうち、前記複数の音声成分の一部を主たる成分とする第１成分主体信号を、ゲイン制御して出力する第１成分主体信号ゲイン制御ステップと、
前記その他成分信号ゲイン制御部における、前記入力音声信号のうち、前記第１成分以外の、その他成分信号を、ゲイン制御して出力するその他成分信号ゲイン制御ステップと、
前記第１成分信号平均レベル検出部における、前記第１成分信号の平均レベルを検出する第１成分信号平均レベル検出ステップと、
前記その他成分信号平均レベル検出部における、前記その他成分信号の平均レベルを検出するその他成分信号平均レベル検出ステップと、
前記第１成分主体信号ゲイン制御信号出力部における、前記第１成分信号の平均レベルと、前記その他成分信号平均レベルとに基づいて、前記第１成分主体信号をゲイン制御する第１成分ゲイン制御信号を出力する第１成分主体信号ゲイン制御信号出力ステップと、
前記その他成分信号ゲイン制御信号出力部における、前記第１成分信号の平均レベルと、前記その他成分信号平均レベルとに基づいて、前記その他成分信号をゲイン制御するその他成分ゲイン制御信号を出力するその他成分信号ゲイン制御信号出力ステップとを含み、
前記第１成分主体信号ゲイン制御ステップの処理は、前記複数の音声成分からなる入力音声信号のうち、前記複数の音声成分の一部を主たる成分とする第１成分主体信号を、前記第１成分主体信号ゲイン制御信号に基づいて、ゲイン制御して第１成分出力信号として出力し、
前記その他成分信号ゲイン制御ステップの処理は、前記第１成分以外の、その他成分信号を、その他成分信号ゲイン制御信号に基づいて、ゲイン制御してその他成分出力信号として出力する
音声処理方法。
【請求項９】
複数の音声成分からなる入力音声信号のうち、前記複数の音声成分の一部を主たる成分とする第１成分主体信号を、ゲイン制御して出力する第１成分主体信号ゲイン制御部と、
前記入力音声信号のうち、前記第１成分以外の、その他成分信号を、ゲイン制御して出力するその他成分信号ゲイン制御部と、
前記第１成分信号の平均レベルを検出する第１成分信号平均レベル検出部と、
前記その他成分信号の平均レベルを検出するその他成分信号平均レベル検出部と、
前記第１成分信号の平均レベルと、前記その他成分信号平均レベルとに基づいて、前記第１成分主体信号をゲイン制御する第１成分ゲイン制御信号を出力する第１成分主体信号ゲイン制御信号出力部と、
前記第１成分信号の平均レベルと、前記その他成分信号平均レベルとに基づいて、前記その他成分信号をゲイン制御するその他成分ゲイン制御信号を出力するその他成分信号ゲイン制御信号出力部とを含み、
前記第１成分主体信号ゲイン制御部は、前記複数の音声成分からなる入力音声信号のうち、前記複数の音声成分の一部を主たる成分とする第１成分主体信号を、前記第１成分主体信号ゲイン制御信号に基づいて、ゲイン制御して第１成分出力信号として出力し、
前記その他成分信号ゲイン制御部は、前記第１成分以外の、その他成分信号を、その他成分信号ゲイン制御信号に基づいて、ゲイン制御してその他成分出力信号として出力する
音声処理装置を制御するコンピュータに、
前記第１成分主体信号ゲイン制御部における、前記複数の音声成分からなる入力音声信号のうち、前記複数の音声成分の一部を主たる成分とする第１成分主体信号を、ゲイン制御して出力する第１成分主体信号ゲイン制御ステップと、
前記その他成分信号ゲイン制御部における、前記入力音声信号のうち、前記第１成分以外の、その他成分信号を、ゲイン制御して出力するその他成分信号ゲイン制御ステップと、
前記第１成分信号平均レベル検出部における、前記第１成分信号の平均レベルを検出する第１成分信号平均レベル検出ステップと、
前記その他成分信号平均レベル検出部における、前記その他成分信号の平均レベルを検出するその他成分信号平均レベル検出ステップと、
前記第１成分主体信号ゲイン制御信号出力部における、前記第１成分信号の平均レベルと、前記その他成分信号平均レベルとに基づいて、前記第１成分主体信号をゲイン制御する第１成分ゲイン制御信号を出力する第１成分主体信号ゲイン制御信号出力ステップと、
前記その他成分信号ゲイン制御信号出力部における、前記第１成分信号の平均レベルと、前記その他成分信号平均レベルとに基づいて、前記その他成分信号をゲイン制御するその他成分ゲイン制御信号を出力するその他成分信号ゲイン制御信号出力ステップとを含む処理を実行させ、
前記第１成分主体信号ゲイン制御ステップの処理は、前記複数の音声成分からなる入力音声信号のうち、前記複数の音声成分の一部を主たる成分とする第１成分主体信号を、前記第１成分主体信号ゲイン制御信号に基づいて、ゲイン制御して第１成分出力信号として出力し、
前記その他成分信号ゲイン制御ステップの処理は、前記第１成分以外の、その他成分信号を、その他成分信号ゲイン制御信号に基づいて、ゲイン制御してその他成分出力信号として出力する
プログラム。
【請求項１０】
請求項１乃至７のいずれかの音声処理装置を含む電子機器。
【図１】
【図２】
【図３】
【図４】
【図５】
【図６】
【図７】
【図８】
【図９】
【図１０】
【図１１】
【図１２】
【図１３】
【図１４】
【図１５】
【図１６】
【図１７】
【図１８】
【図１９】
【図２０】
【図２１】
【図２２】
【図２３】
【図２４】
【図２５】
【図２６】
【図２７】
【図２８】
【図２９】
【図３０】
【図２】
【図３】
【図４】
【図５】
【図６】
【図７】
【図８】
【図９】
【図１０】
【図１１】
【図１２】
【図１３】
【図１４】
【図１５】
【図１６】
【図１７】
【図１８】
【図１９】
【図２０】
【図２１】
【図２２】
【図２３】
【図２４】
【図２５】
【図２６】
【図２７】
【図２８】
【図２９】
【図３０】
【公開番号】特開２０１２−１６９７８１（Ｐ２０１２−１６９７８１Ａ）
【公開日】平成２４年９月６日（２０１２．９．６）
【国際特許分類】
【出願番号】特願２０１１−２７７８１（Ｐ２０１１−２７７８１）
【出願日】平成２３年２月１０日（２０１１．２．１０）
【出願人】（０００００２１８５）ソニー株式会社 (34,172)
【Ｆターム（参考）】
【公開日】平成２４年９月６日（２０１２．９．６）
【国際特許分類】
【出願日】平成２３年２月１０日（２０１１．２．１０）
【出願人】（０００００２１８５）ソニー株式会社 (34,172)
【Ｆターム（参考）】
[ Back to top ]