聴覚特性模擬装置、ミキシングバランス表示システム及びそれらのプログラム
【課題】健聴者に不快感を与えることなく、感音性難聴者の聴覚特性を正確に模擬することができるという効果を有する聴覚特性模擬装置、ミキシングバランス表示システム及びそれらのプログラムを提供すること。
【解決手段】高齢者聴覚模擬装置１００は、時間領域の信号を周波数領域の信号に変換する時間周波数変換部１３及び１４と、周波数領域の信号のエネルギレベルを周波数バンド毎に算出するエネルギレベル算出部１５及び１６と、マスキング補正量を算出するマスキング補正量算出部１７と、高齢性リクルートメント現象を模擬するリクルートメント模擬部１８と、周波数特性を補正する周波数特性補正部１９と、周波数領域の信号を時間領域の信号に変換する周波数時間変換部２０及び２１とを備える。
【解決手段】高齢者聴覚模擬装置１００は、時間領域の信号を周波数領域の信号に変換する時間周波数変換部１３及び１４と、周波数領域の信号のエネルギレベルを周波数バンド毎に算出するエネルギレベル算出部１５及び１６と、マスキング補正量を算出するマスキング補正量算出部１７と、高齢性リクルートメント現象を模擬するリクルートメント模擬部１８と、周波数特性を補正する周波数特性補正部１９と、周波数領域の信号を時間領域の信号に変換する周波数時間変換部２０及び２１とを備える。
【発明の詳細な説明】
【技術分野】
【０００１】
本発明は、例えば、高齢者の聴覚特性を模擬する聴覚特性模擬装置、それを備えたミキシングバランス表示システム及びそれらのプログラムに関する。
【背景技術】
【０００２】
従来、例えばナレーション（以下「ＮＲ」と表す。）信号とバックグラウンドミュージック（以下「ＢＧＭ」と表す。）信号とのミキシングを行う際に、訓練された音声調整者が実際に音を聞きながら音声調整卓を操作し、ＮＲ信号とＢＧＭ信号とのミキシングバランスが最適になるよう手動で調整していた。この手法では、熟練した音声調整者が必要となるという課題があり、この課題の解決を図ることを目的として音声レベルバランス指示装置が提案されている（例えば、特許文献１参照）。
【０００３】
特許文献１に示されたものは、ＮＲ用及びＢＧＭ用の聴覚モデルに基づいた聴覚マスキング曲線を求める手段と、ＮＲの聴覚マスキング曲線とＢＧＭの聴覚マスキング曲線とのレベル差を求める手段と、両者のレベル差からミキシングバランスを制御する制御信号を生成する手段とを備え、ＮＲ信号とＢＧＭ信号とのミキシングバランスの状態を指示することができるようになっている。
【特許文献１】特開平１０−３０８９９９号公報
【発明の開示】
【発明が解決しようとする課題】
【０００４】
しかしながら、特許文献１に示された従来のものは、熟練した音声調整者が必要となるという課題を解決できるものではあったが、ＮＲ信号の立ち上がり部及び立ち下がり部においてＢＧＭ信号がＮＲ信号よりも大き過ぎるという不適切な表示が頻繁に起こるので、ミキシングバランスの状態の表示値と聴感とが一致し難いものであり、その改善が望まれていた。特に、従来のものは、例えば高齢性難聴のような感音性難聴に起因して聴力が低下した者（以下「感音性難聴者」という。）の聴感によく合うミキシングバランスが表示できるものではなかった。
【０００５】
また、Ｂ．Ｃ．Ｊ．ムーアらの報告によれば、雑音信号成分を音声信号成分に付加することによって感音性難聴者の聴覚特性の模擬を実現できることが示されているが、正常な聴覚を有する健聴者には雑音信号成分が心理的に邪魔なものとなって健聴者に不快感を与えることがあるという課題があった。
【０００６】
本発明は、このような事情に鑑みてなされたものであり、健聴者に不快感を与えることなく、感音性難聴者の聴覚特性を正確に模擬することができる聴覚特性模擬装置、それを備えたミキシングバランス表示システム及びそれらのプログラムを提供することを目的とする。
【課題を解決するための手段】
【０００７】
本発明の聴覚特性模擬装置は、第１及び第２の音信号のエネルギレベルを周波数バンド毎に算出するエネルギレベル算出手段と、前記第１の音信号のエネルギレベルと前記第２の音信号のエネルギレベルとの差に基づいて感音性難聴者の聴覚マスキング特性を模擬するためのマスキング補正量を前記周波数バンド毎に算出するマスキング補正量算出手段と、前記第１の音信号のエネルギレベルと前記第２の音信号のエネルギレベルとの和に基づいて前記感音性難聴者のリクルートメント現象を模擬するためのリクルートメント補正量を前記周波数バンド毎に算出するリクルートメント補正量算出手段と、前記マスキング補正量及び前記リクルートメント補正量に基づいて前記第１及び前記第２の音信号にそれぞれ対応する前記感音性難聴者の聴覚特性を模擬した第１及び第２の聴覚特性模擬信号を算出する聴覚特性模擬信号算出手段とを備えた構成を有している。
【０００８】
この構成により、本発明の聴覚特性模擬装置は、従来のものとは異なり、雑音信号成分を健聴者に与えることなく、マスキング補正量及びリクルートメント補正量に基づいて第１及び第２の音信号にそれぞれ対応する感音性難聴者の聴覚特性を模擬することができるので、健聴者に不快感を与えることなく、感音性難聴者の聴覚特性を正確に模擬することができる。
【０００９】
また、本発明の聴覚特性模擬装置は、前記マスキング補正量算出手段が、前記第１の音信号のエネルギレベルと前記第２の音信号のエネルギレベルとの差が、予め定められた第１の閾値以上のとき予め定められた第１のマスキング補正量を示す信号を出力し、予め定められた第２の閾値以下のとき予め定められた第２のマスキング補正量を示す信号を出力し、前記第１の閾値と前記第２の閾値との間にあるとき前記第１のマスキング補正量と前記第２のマスキング補正量とを単調に結ぶ関数で得られる値を示す信号を出力するものであり、前記第１の閾値は、前記第２の閾値よりも大きく、前記第１のマスキング補正量は、前記第２のマスキング補正量よりも大きい構成を有している。
【００１０】
この構成により、本発明の聴覚特性模擬装置は、感音性難聴者の聴覚マスキング特性を模擬するためのマスキング補正量を前記周波数バンド毎に正確に算出することができる。
【００１１】
さらに、本発明の聴覚特性模擬装置は、前記リクルートメント補正量算出手段が、前記第１の音信号のエネルギレベルと前記第２の音信号のエネルギレベルとの和を示すエネルギレベル加算値が、予め定められた第１及び第２の年齢層の人間が相互にラウドネスを等しく感じる最小の音圧レベルを示す最小音圧レベル閾値以上のとき予め定められたリクルートメント補正量を示す信号を出力し、前記最小音圧レベル閾値よりも小さいとき予め定められた関数で得られるリクルートメント補正量を示す信号を出力するものであり、前記関数は、前記第１及び前記第２の年齢層の人間がそれぞれ聞き取ることのできる最小の音圧と周波数との関係を示す最小可聴限特性からそれぞれ導出される第１及び第２の最小可聴限値と、前記エネルギレベル加算値と、前記最小音圧レベル閾値とに基づいて決められたものであり、前記第１の最小可聴限値は、前記第２の最小可聴限値よりも小さい構成を有している。
【００１２】
この構成により、本発明の聴覚特性模擬装置は、感音性難聴者のリクルートメント現象を模擬するためのリクルートメント補正量を前記周波数バンド毎に正確に算出することができる。
【００１３】
さらに、本発明の聴覚特性模擬装置は、前記リクルートメント補正量算出手段が、前記第１の最小可聴限値、前記第２の最小可聴限値及び前記最小音圧レベル閾値のそれぞれを可変可能である構成を有している。
【００１４】
この構成により、本発明の聴覚特性模擬装置は、模擬対象者の聴覚特性に合わせてより正確に模擬することができる。
【００１５】
さらに、本発明の聴覚特性模擬装置は、前記聴覚特性模擬信号算出手段が、前記第１の音信号のエネルギレベルと、前記マスキング補正量と、前記リクルートメント補正量とに基づいて前記第１の聴覚特性模擬信号を算出し、前記第２の音信号のエネルギレベルと、前記リクルートメント補正量とに基づいて前記第２の聴覚特性模擬信号を算出する構成を有している。
【００１６】
この構成により、本発明の聴覚特性模擬装置は、健聴者に不快感を与えることなく、感音性難聴者の聴覚特性を正確に模擬することができる。
【００１７】
さらに、本発明の聴覚特性模擬装置は、前記第１の聴覚特性模擬信号と前記第２の聴覚特性模擬信号とを混合する模擬信号混合手段を備えた構成を有している。
【００１８】
この構成により、本発明の聴覚特性模擬装置は、模擬信号混合手段が出力する模擬混合音信号を再生することによって、その再生音の聴取者に感音性難聴者の聴覚特性を把握させることができる。
【００１９】
本発明のミキシングバランス表示システムは、聴覚特性模擬装置と、前記第１の聴覚特性模擬信号と前記第２の聴覚特性模擬信号とのミキシングバランスの状態を表示するミキシングバランス表示装置とを備え、前記ミキシングバランス表示装置は、前記第１及び前記第２の聴覚特性模擬信号のレベルを所定時間間隔のフレーム毎に検出するレベル検出手段と、前記第１の聴覚特性模擬信号と前記第２の聴覚特性模擬信号とのレベル差を算出するレベル差算出手段と、前記レベル差に対して前記第１の聴覚特性模擬信号のレベルに応じた重み付けを行って重み付きレベル差を算出する重み付きレベル差算出手段と、現フレームから過去のｎ個のフレームまでの間において前記重み付きレベル差の値の大きいものから順にｍ個の値の平均値を算出する平均レベル差算出手段と、現フレームから過去の所定数のフレームまでの間における前記第１の聴覚特性模擬信号のレベル平均値を算出する第１聴覚特性模擬信号平均値算出手段と、前記平均レベル差算出手段及び前記第１聴覚特性模擬信号平均値算出手段の算出結果に基づいて前記第１の聴覚特性模擬信号と前記第２の聴覚特性模擬信号とのミキシングバランスの状態を示す表示値を決定する表示値決定手段と、前記第１の聴覚特性模擬信号のレベルに基づいて前記表示値決定手段の出力を制御する表示制御信号を生成する表示制御信号生成手段と、前記表示制御信号に基づいて前記ミキシングバランスの状態を表示するミキシングバランス表示手段とを備えた構成を有している。
【００２０】
この構成により、本発明のミキシングバランス表示システムは、模擬ＢＧＭ信号のレベルが模擬ＮＲ信号のレベルよりも大き過ぎる場合は模擬ＢＧＭ信号のレベルを下げるよう音声ミキサに促すことができ、模擬ＢＧＭ信号のレベルが大き過ぎてＮＲが聴き取りにくいといった現象を未然に防ぐことができるので、番組の音響効果の向上を支援することができる。
【００２１】
本発明の聴覚特性模擬プログラムは、感音性難聴者の聴覚特性を模擬する聴覚特性模擬装置としてコンピュータを機能させるための聴覚特性模擬プログラムであって、前記コンピュータを、第１及び第２の音信号のエネルギレベルを周波数バンド毎に算出するエネルギレベル算出手段と、前記第１の音信号のエネルギレベルと前記第２の音信号のエネルギレベルとの差に基づいて前記感音性難聴者の聴覚マスキング特性を模擬するためのマスキング補正量を前記周波数バンド毎に算出するマスキング補正量算出手段と、前記第１の音信号のエネルギレベルと前記第２の音信号のエネルギレベルとの和に基づいて前記感音性難聴者のリクルートメント現象を模擬するためのリクルートメント補正量を前記周波数バンド毎に算出するリクルートメント補正量算出手段と、前記マスキング補正量及び前記リクルートメント補正量に基づいて前記第１及び前記第２の音信号にそれぞれ対応する前記感音性難聴者の聴覚特性を模擬した第１及び第２の聴覚特性模擬信号を算出する聴覚特性模擬信号算出手段として機能させる構成を有している。
【００２２】
この構成により、本発明の聴覚特性模擬プログラムは、従来のものとは異なり、雑音信号成分を健聴者に与えることなく、マスキング補正量及びリクルートメント補正量に基づいて第１及び第２の音信号にそれぞれ対応する感音性難聴者の聴覚特性を模擬することができるので、健聴者に不快感を与えることなく、感音性難聴者の聴覚特性を正確に模擬することができる。
【００２３】
また、本発明の聴覚特性模擬プログラムは、前記コンピュータを、前記第１の聴覚特性模擬信号と前記第２の聴覚特性模擬信号とを混合する模擬信号混合手段として機能させる構成を有している。
【００２４】
この構成により、本発明の聴覚特性模擬プログラムは、模擬信号混合手段が出力する模擬混合音信号を再生することによって、その再生音の聴取者に感音性難聴者の聴覚特性を把握させることができる。
【００２５】
本発明のミキシングバランス表示プログラムは、前記第１の聴覚特性模擬信号と前記第２の聴覚特性模擬信号とのミキシングバランスの状態を表示するミキシングバランス表示装置としてコンピュータを機能させるためのミキシングバランス表示プログラムであって、前記コンピュータを、前記第１及び前記第２の聴覚特性模擬信号のレベルを所定時間間隔のフレーム毎に検出するレベル検出手段と、前記第１の聴覚特性模擬信号と前記第２の聴覚特性模擬信号とのレベル差を算出するレベル差算出手段と、前記レベル差に対して前記第１の聴覚特性模擬信号のレベルに応じた重み付けを行って重み付きレベル差を算出する重み付きレベル差算出手段と、現フレームから過去のｎ個のフレームまでの間において前記重み付きレベル差の値の大きいものから順にｍ個の値の平均値を算出する平均レベル差算出手段と、現フレームから過去の所定数のフレームまでの間における前記第１の聴覚特性模擬信号のレベル平均値を算出する第１聴覚特性模擬信号平均値算出手段と、前記平均レベル差算出手段及び前記第１聴覚特性模擬信号平均値算出手段の算出結果に基づいて前記第１の聴覚特性模擬信号と前記第２の聴覚特性模擬信号とのミキシングバランスの状態を示す表示値を決定する表示値決定手段と、前記第１の聴覚特性模擬信号のレベルに基づいて前記表示値決定手段の出力を制御する表示制御信号を生成する表示制御信号生成手段と、前記表示制御信号に基づいて前記ミキシングバランスの状態を表示するミキシングバランス表示手段として機能させる構成を有している。
【００２６】
この構成により、本発明のミキシングバランス表示プログラムは、模擬ＢＧＭ信号のレベルが模擬ＮＲ信号のレベルよりも大き過ぎる場合は模擬ＢＧＭ信号のレベルを下げるよう音声ミキサに促すことができ、模擬ＢＧＭ信号のレベルが大き過ぎてＮＲが聴き取りにくいといった現象を未然に防ぐことができるので、番組の音響効果の向上を支援することができる。
【発明の効果】
【００２７】
本発明は、健聴者に不快感を与えることなく、感音性難聴者の聴覚特性を正確に模擬することができるという効果を有する聴覚特性模擬装置、ミキシングバランス表示システム及びそれらのプログラムを提供することができるものである。
【発明を実施するための最良の形態】
【００２８】
以下、本発明の実施の形態について図面を用いて説明する。なお、本発明の聴覚特性模擬装置を、高齢者の聴覚特性を模擬する装置（以下「高齢者聴覚模擬装置」という。）であって、テレビやラジオ等の番組制作時におけるＮＲ信号及びＢＧＭ信号を模擬するものに適用した例を挙げて説明する。実施の形態におけるＮＲ信号及びＢＧＭ信号は、それぞれ、特許請求の範囲に記載の第１及び第２の音信号に対応する。
【００２９】
（第１の実施の形態）
図１は、本発明の第１の実施の形態における高齢者聴覚模擬装置を示すブロック図である。
【００３０】
図１に示すように、本実施の形態における高齢者聴覚模擬装置１００は、アナログ信号をデジタル信号に変換するＡＤ変換部１１及び１２と、時間領域の信号を周波数領域の信号に変換する時間周波数変換部１３及び１４と、周波数領域の信号のエネルギレベルを周波数バンド毎に算出するエネルギレベル算出部１５及び１６と、マスキング補正量を算出するマスキング補正量算出部１７とを備えている。
【００３１】
また、高齢者聴覚模擬装置１００は、高齢性リクルートメント現象を模擬するリクルートメント模擬部１８と、周波数特性を補正する周波数特性補正部１９と、周波数領域の信号を時間領域の信号に変換する周波数時間変換部２０及び２１と、デジタル信号をアナログ信号に変換するＤＡ変換部２２及び２３とを備えている。
【００３２】
ＡＤ変換部１１及び１２は、それぞれ、アナログ信号であるＮＲ信号及びＢＧＭ信号を入力し、アナログ値からデジタル値に変換するようになっている。尤も、入力されるＮＲ信号及びＢＧＭ信号がデジタル信号である場合は、ＡＤ変換部１１及び１２は不要である。
【００３３】
時間周波数変換部１３及び１４は、それぞれ、時間領域のＮＲ信号及びＢＧＭ信号を周波数領域の信号に変換して、それぞれの周波数係数のデータを出力するようになっている。例えば、時間周波数変換部１３及び１４は、１０２４サンプル毎にＦＦＴ（高速フーリエ変換）処理を実行し、ＦＦＴ係数を周波数係数として算出し、この周波数係数からＦＦＴパワースペクトル係数を算出するようになっている。なお、時間周波数変換はＦＦＴによるものに限定されず、例えばＤＣＴ（離散コサイン変換）を用いてもよい。
【００３４】
エネルギレベル算出部１５及び１６は、それぞれ、周波数領域のＮＲ信号及びＢＧＭ信号のエネルギレベルを周波数バンド毎に算出するようになっている。なお、エネルギレベル算出部１５及び１６は、本発明に係るエネルギレベル算出手段を構成する。
【００３５】
マスキング補正量算出部１７は、周波数バンド毎のＮＲ信号及びＢＧＭ信号のエネルギレベル差に基づいて、ＮＲに対するＢＧＭによる妨害量をマスキング補正量として算出するようになっている。聴覚マスキング特性は加齢に伴って変化するので、マスキング補正量算出部１７は、高齢者独特の聴覚マスキング特性を模擬するためにマスキング補正量を算出するものである。なお、マスキング補正量算出部１７は、図示しないメモリを備え、マスキング補正量を算出する際に用いるデータをこのメモリに記憶している。このデータは、所望の聴覚特性に応じて任意に変更できるようになっている。なお、マスキング補正量算出部１７は、本発明に係るマスキング補正量算出手段を構成する。
【００３６】
リクルートメント模擬部１８は、ＮＲ信号のエネルギレベルとＢＧＭ信号のエネルギレベルとの和に基づき、高齢者のリクルートメント現象を模擬するためのリクルートメント補正量を周波数バンド毎に算出するようになっている。なお、リクルートメント模擬部１８は、図示しないメモリを備え、リクルートメント補正量を算出する際に用いるデータをこのメモリに記憶している。このデータは、所望の聴覚特性に応じて任意に変更できるようになっている。なお、リクルートメント模擬部１８は、本発明に係るリクルートメント補正量算出手段及び聴覚特性模擬信号算出手段を構成する。
【００３７】
ここで、リクルートメント補正量とは、加齢により聴力が低下すると、高い周波数において聞こえない物理的な音圧レベルが上昇する一方、聞こえる最大の音圧レベルが変わらないという高齢性リクルートメント現象を模擬するためのものであり、高齢者に知覚される音の大きさの減衰量を示すものをいう。高齢性リクルートメント現象についてさらに具体的には、小さな音から大きな音まで大きさを徐々に大きくしていくと、小さな音では聞こえないが、あるレベルの音から急に聞こえて、すぐに大きな音に感じられてしまう現象である。
【００３８】
また、リクルートメント模擬部１８は、周波数バンド毎のマスキング補正量と、周波数バンド毎のリクルートメント補正量とに基づいて、周波数バンド毎のＮＲ信号及びＢＧＭ信号のエネルギレベルを補正し、高齢者の聴力劣化特性を模擬したＮＲ信号及びＢＧＭ信号を出力するようになっている。
【００３９】
周波数特性補正部１９は、リクルートメント模擬部１８が高齢性リクルートメント現象を模擬した、ＮＲ信号及びＢＧＭ信号のエネルギレベルのＦＦＴパワースペクトル係数を周波数バンド毎に補正するようになっている。
【００４０】
周波数時間変換部２０及び２１は、それぞれ、周波数特性補正部１９が補正したＮＲ信号及びＢＧＭ信号のＦＦＴパワースペクトル係数を示す信号を時間領域の信号に変換するようになっている。
【００４１】
ＤＡ変換部２２及び２３は、それぞれ、時間領域の信号に変換されたデジタル信号であるＮＲ信号及びＢＧＭ信号をアナログ信号に変換して出力するようになっている。尤も、ＮＲ信号及びＢＧＭ信号をデジタル信号として出力する場合は、ＤＡ変換部２２及び２３は不要である。
【００４２】
次に、本実施の形態における高齢者聴覚模擬装置１００の動作について説明する。
【００４３】
まず、ＡＤ変換部１１及び１２は、それぞれ、アナログ信号であるＮＲ信号及びＢＧＭ信号を入力し、例えば、サンプリング周波数が３２ｋＨｚ、量子化精度が１６ビットのデジタル信号にＮＲ信号及びＢＧＭ信号を変換する。なお、本実施の形態におけるサンプリング周波数は、３２ｋＨｚとして以下説明する。
【００４４】
時間周波数変換部１３及び１４は、それぞれ、時間領域のＮＲ信号及びＢＧＭ信号を周波数領域の信号に変換する。例えば、時間周波数変換部１３及び１４は、１０２４サンプル毎にＦＦＴ処理を実行し、１６本ずつのＦＦＴ係数を１グループとして決定することにより、このＦＦＴ係数を５００Ｈｚ毎の周波数バンドにおける周波数係数として扱うことができる。また、時間周波数変換部１３及び１４は、周波数係数の２乗をＦＦＴパワースペクトル係数として出力する。
【００４５】
ここで、ｋ番目の周波数バンドにおけるＮＲ信号及びＢＧＭ信号の周波数係数を、それぞれ、ＮＲ＿ＦＦＴ［ｋ］［ｉ］及びＢＧＭ＿ＦＦＴ［ｋ］［ｉ］で表し、ｋ番目の周波数バンドにおけるＮＲ信号及びＢＧＭ信号のＦＦＴパワースペクトル係数を、それぞれ、ＮＲ＿ｐｏｗ［ｋ］［ｉ］及びＢＧＭ＿ｐｏｗ［ｋ］［ｉ］で表す。ただし、ｋ＝１、２、・・・、３２であり、ｉ＝１、２、・・・、１６である。時間周波数変換部１３及び１４は、それぞれ、［数１］及び［数２］に基づいてＦＦＴパワースペクトル係数ＮＲ＿ｐｏｗ［ｋ］［ｉ］及びＢＧＭ＿ｐｏｗ［ｋ］［ｉ］を算出する。
【００４６】
【数１】
【数２】
【００４７】
なお、［数１］及び［数２］を用いる方法に代えて、周波数係数を電力換算することによってＦＦＴパワースペクトル係数を算出してもよい。
【００４８】
エネルギレベル算出部１５及び１６は、それぞれ、ＮＲ信号及びＢＧＭ信号の、５００Ｈｚ毎の周波数バンドにおけるエネルギレベルを以下のように算出する。ここで、ＮＲ信号及びＢＧＭ信号の、５００Ｈｚ毎の周波数バンドにおけるエネルギレベルを、それぞれ、Ｎ（ｋ）及びＢ（ｋ）（ｋ＝１、２、・・・、３２）で表すと、Ｎ（ｋ）及びＢ（ｋ）は、それぞれ、［数３］及び［数４］で示され、ＦＦＴパワースペクトル係数の和を算出した後にｄＢ（デシベル）変換したものとなっている。
【００４９】
【数３】
【数４】
【００５０】
マスキング補正量算出部１７は、Ｎ（ｋ）とＢ（ｋ）との差に基づいてマスキング補正量Ｄ＿ｍ（ｋ）を算出する。発明者の検討結果によれば、Ｎ（ｋ）とＢ（ｋ）との差と、予め定められた２つの閾値との関係により、マスキング補正量Ｄ＿ｍ（ｋ）を所定値に設定するのが好ましいことがわかった。具体的には、図２に示すように、予め定められた２つの閾値をそれぞれＲ１（ｋ）及びＲ２（ｋ）で表し、これらにそれぞれ対応するマスキング補正量Ｄ＿ｍ（ｋ）をＬ＿ＹＭ（ｋ）及びＬ＿ＯＭ（ｋ）で表すと、Ｒ１（ｋ）＝１２ｄＢ、Ｒ２（ｋ）＝０ｄＢとするのが好ましく、また、Ｌ＿ＹＭ（ｋ）＝０ｄＢ、Ｌ＿ＯＭ（ｋ）＝−９ｄＢとするのが好ましい。この場合、マスキング補正量Ｄ＿ｍ（ｋ）は［数５］で表される。
【００５１】
【数５】
【００５２】
なお、［数５］に示した数式は一例であって、マスキング補正量Ｄ＿ｍ（ｋ）を算出するための各閾値の値に応じて変形することができる、また、図２においては、Ｌ＿ＹＭ（ｋ）とＬ＿ＯＭ（ｋ）とを直線で結んだ例を挙げて説明したが、本発明はこれに限定されるものではなく、この２点を単調な関数で結んだものであればよい。
【００５３】
リクルートメント模擬部１８は、以下に示すように、リクルートメント補正量を算出する。
【００５４】
まず、リクルートメント模擬部１８は、［数６］に基づいてＮ（ｋ）とＢ（ｋ）とをｄＢ加算し、ＮＲ信号とＢＧＭ信号とのエネルギ和を示すＮｐＢ（ｋ）を算出する。
【００５５】
【数６】
【００５６】
次に、リクルートメント模擬部１８は、予め定められた互いに異なる年齢層の人間、例えば２０歳代及び６０歳代の人間がそれぞれ聞き取ることのできる最小の音圧と周波数との関係を示す最小可聴限特性からそれぞれ導出される値、具体的には、図３に示すような特性に基づいてリクルートメント補正量Ｄ＿ｒ（ｋ）を算出する。
【００５７】
ここで、図３は、ＮｐＢ（ｋ）に対する、リクルートメント現象により高齢者が知覚する音圧レベルの関係を示している。図３において、Ｌ＿Ｔｈ（ｋ）は、リクルートメント現象が発生している領域からＮｐＢ（ｋ）を増加させたとき、リクルートメント現象が起こらなくなる音圧レベル（以下「飽和レベル」という。）を示しており、例えば２０歳代及び６０歳代の人間が相互に等しく感じるラウドネスレベルである。また、図３において、Ｙ＿ＭＡＦ（ｋ）及びＯ＿ＭＡＦ（ｋ）は、それぞれ、２０歳代及び６０歳代の最小可聴限から導出して定めた閾値であって、周波数バンド毎に最適値で設定するのが好ましい。例えば、発明者の検討結果によれば、５００Ｈｚ〜１０００Ｈｚ（周波数バンドｋ＝２とする。）においては、Ｙ＿ＭＡＦ（２）＝０ｄＢ、Ｏ＿ＭＡＦ（２）＝３０ｄＢ、飽和レベルＬ＿Ｔｈ（２）＝９０ｄＢとするのが好ましい。
【００５８】
リクルートメント補正量Ｄ＿ｒ（ｋ）は、例えば図４に示すような関数に基づいて算出される。図４に示すように、リクルートメント模擬部１８は、ＮｐＢ（ｋ）が飽和レベルＬ＿Ｔｈ（ｋ）以上のとき、予め定められた閾値Ｌ＿０（ｋ）（例えば０ｄＢ）をリクルートメント補正量Ｄ＿ｒ（ｋ）として出力し、ＮｐＢ（ｋ）が飽和レベルＬ＿Ｔｈ（ｋ）未満のとき、予め定められた閾値αに応じて定められた一次関数に従ってリクルートメント補正量Ｄ＿ｒ（ｋ）を出力する。すなわち、リクルートメント補正量Ｄ＿ｒ（ｋ）は、［数７］で示される。なお、閾値αは［数８］で示される。
【００５９】
【数７】
【数８】
【００６０】
さらに、リクルートメント模擬部１８は、マスキング補正量算出部１７が算出したマスキング補正量Ｄ＿ｍ（ｋ）と、［数７］に基づいて算出したリクルートメント補正量Ｄ＿ｒ（ｋ）とにより、［数９］及び［数１０］に基づいてＮＲ信号及びＢＧＭ信号のそれぞれの模擬信号を示すＮ'（ｋ）及びＢ'（ｋ）を算出して出力する。
【００６１】
【数９】
【数１０】
【００６２】
したがって、リクルートメント模擬部１８は、マスキング補正量Ｄ＿ｍ（ｋ）及びリクルートメント補正量Ｄ＿ｒ（ｋ）により、高齢者の聴力劣化特性をよく模擬したＮ'（ｋ）及びＢ'（ｋ）を出力することができる。
【００６３】
なお、リクルートメント模擬部１８が、例えば、模擬対象者の年齢における平均的な聴覚特性や、聴覚模擬対象者自身の聴覚特性の測定値に応じて、閾値Ｏ＿ＭＡＦ（ｋ）及び飽和レベルＬ＿ＴＨ（ｋ）を周波数バンド毎に可変できる構成とするのが好ましく、この構成により、模擬対象者の聴覚特性に合わせてより正確に模擬することができる。
【００６４】
周波数特性補正部１９は、ｋ番目の周波数バンドにおけるＮ'（ｋ）及びＢ'（ｋ）のエネルギの補正を［数１１］及び［数１２］に基づいて行う。ここで、Ｎ'（ｋ）のＦＦＴパワースペクトル係数をＮＲ＿ｐｏｗ'［ｋ］［ｉ］（ｉ＝１、２、・・・、１６）、Ｂ'（ｋ）のＦＦＴパワースペクトル係数をＢＧＭ＿ｐｏｗ'［ｋ］［ｉ］（ｉ＝１、２、・・・、１６）で表す。
【００６５】
【数１１】
【数１２】
【００６６】
図５は、周波数特性補正部１９による特性補正を概念的に示す図であって、図５（ａ）は、各周波数バンドにおいて一定量となるＦＦＴパワースペクトル係数の補正量の大きさを示している。図５（ａ）に示した補正量は、ＮＲ信号ではＤ＿ｍ（ｋ）＋Ｄ＿ｒ（ｋ）に相当し、ＢＧＭ信号ではＤ＿ｒ（ｋ）に相当する。
【００６７】
また、図５（ｂ）は、近似計算になるが、ＦＦＴパワースペクトル係数のエネルギ補正を移動平均により平滑化した一例を示している。この手法は、例えば、ＦＦＴパワースペクトル係数の補正量に関して、隣接する周波数バンドの境界にあるＦＦＴパワースペクトル係数の補正量の差を小さくすることで、周波数時間変換部２０及び２１において周波数時間変換を行った際に、聴覚的に検知される歪みを小さくすることが期待される手法である。
【００６８】
具体的には、例えば、ＦＦＴパワースペクトル５本毎に移動平均計算を行う場合は、隣接する周波数バンドの境界にある、４本のＦＦＴパワースペクトル（図５（ｂ）の矩形枠内）の補正量に関して移動平均計算を行えば十分である。
【００６９】
すなわち、周波数特性補正部１９は、ＮＲ信号に関し、ｋ＝２、３、・・・、３２の周波数バンドにおいて、例えば、ＮＲ＿ｐｏｗ'［ｋ］［１］を［数１３］で求める。
【００７０】
【数１３】
【００７１】
また、ＮＲ＿ｐｏｗ'［ｋ］［２］を［数１４］で求める。
【００７２】
【数１４】
【００７３】
次に、ｋ＝１、２、・・・、３１の周波数バンドにおいて、例えば、ＮＲ＿ｐｏｗ'［ｋ］［１５］を［数１５］で求める。
【００７４】
【数１５】
【００７５】
また、ＮＲ＿ｐｏｗ'［ｋ］［１６］を［数１６］で求める。
【００７６】
【数１６】
【００７７】
ＢＧＭ信号に関しても同様に、ｋ＝２、３、・・・、３２の周波数バンドにおいて、例えば、ＢＧＭ＿ｐｏｗ'［ｋ］［１］を［数１７］で求める。
【００７８】
【数１７】
【００７９】
また、ＢＧＭ＿ｐｏｗ'［ｋ］［２］を［数１８］で求める。
【００８０】
【数１８】
【００８１】
次に、ｋ＝１、２、・・・、３１の周波数バンドにおいて、例えば、ＢＧＭ＿ｐｏｗ'［ｋ］［１５］を［数１９］で求める。
【００８２】
【数１９】
【００８３】
また、ＢＧＭ＿ｐｏｗ'［ｋ］［１６］を［数２０］で求める。
【００８４】
【数２０】
【００８５】
以上のように、周波数特性補正部１９が各計算を行うことによって、各周波数バンド間の補正量を平滑化することができる。
【００８６】
なお、前述の例では、５つのＦＦＴパワースペクトル係数毎の移動平均処理を行ったが、平滑化する係数の本数は任意である。また、移動平均処理に代えて例えばスプライン補間による平滑化処理を行う構成としてもよい。また、ＦＦＴパワースペクトル係数の補正処理方法を例に挙げて説明したが、例えば周波数時間変換部２０及び２１において時間周波数変換を行うブロック単位での時変フィルタ処理による方法でも周波数特性の補正は実現できる。
【００８７】
引き続き、動作説明を行う。周波数時間変換部２０及び２１は、それぞれ、ＮＲ信号及びＢＧＭ信号の周波数時間変換を行ってＤＡ変換部２２及び２３に出力する。
【００８８】
ＤＡ変換部２２及び２３は、それぞれ、デジタル信号のＮＲ信号及びＢＧＭ信号をアナログ信号に変換して出力する。
【００８９】
なお、動作説明において述べた各処理をプログラミングし、当該プログラムによってコンピュータを動作させることにより、当該プログラムは、コンピュータを高齢者聴覚模擬装置１００として機能させることができる。この場合、コンピュータは、図１に示した構成を有することとなる。
【００９０】
以上のように、本実施の形態における高齢者聴覚模擬装置１００によれば、マスキング補正量算出部１７は、周波数バンド毎のＮＲ信号及びＢＧＭ信号のエネルギレベル差に基づいてＮＲに対するＢＧＭによる妨害量をマスキング補正量として算出し、リクルートメント模擬部１８は、ＮＲ信号のエネルギレベルとＢＧＭ信号のエネルギレベルとの和に基づいて高齢者のリクルートメント現象を模擬するためのリクルートメント補正量を周波数バンド毎に算出する構成としたので、高齢者の聴覚特性を正確に模擬することができる。
【００９１】
また、本実施の形態における高齢者聴覚模擬装置１００は、従来のものとは異なり、雑音信号成分を健聴者に与える構成を有するものではないので、健聴者に不快感を与えることなく、高齢者の聴覚特性を正確に模擬することができる。
【００９２】
したがって、本実施の形態における高齢者聴覚模擬装置１００は、ＮＲ信号とＢＧＭ信号とをミキシングするミキシング装置に、高齢者の聴覚特性を正確に模擬したＮＲ信号及びＢＧＭ信号を提供することができるので、高齢者にとって適正な音響効果が得られる番組制作を支援することができる。
【００９３】
なお、本発明の実施の形態を、高齢者の聴覚特性を模擬する高齢者聴覚模擬装置１００を例に挙げて説明したが、本発明はこれに限定されるものではなく、高齢者以外の感音性難聴者の聴覚特性を模擬する装置に適用しても、同様の効果が得られる。
【００９４】
また、前述の実施の形態において、高齢者聴覚模擬装置１００が、ＮＲ信号及びＢＧＭ信号を対象とした例を挙げて説明したが、本発明はこれに限定されるものではなく、例えば、台詞の音声信号及び効果音の信号を対象とするものに適用しても同様な効果が得られる。
【００９５】
（第２の実施の形態）
図６は、本発明の第２の実施の形態における高齢者聴覚模擬装置を示すブロック図である。
【００９６】
図６に示すように、本実施の形態における高齢者聴覚模擬装置２００は、第１の実施の形態における高齢者聴覚模擬装置１００（図１参照）と、混合器２０１とを備えている。
【００９７】
混合器２０１は、高齢者聴覚模擬装置１００のＤＡ変換部２２及び２３から、それぞれ、高齢者の聴覚を模擬したＮＲ信号とＢＧＭ信号とを入力し、それらを混合して高齢者模擬混合音信号を出力するようになっている。なお、混合器２０１は、本発明に係る模擬信号混合手段を構成する。
【００９８】
本実施の形態における高齢者聴覚模擬装置２００は、前述のように構成されているので、高齢者模擬混合音信号を再生することによって、その再生音の聴取者に高齢者の聴覚特性を把握させることができる。例えば、高齢者聴覚模擬装置２００は、２０〜３０歳代の若い音声ミキサに高齢者模擬混合音信号を再生して聴取させることにより、ＢＧＭが大き過ぎてＮＲが聴き取り難いといった現象を体験させることができるので、高齢者にとって適正な音響効果の必要性を若い音声ミキサに認識させることができる。
【００９９】
また、高齢者聴覚模擬装置２００が出力する高齢者模擬混合音信号を若年者に聴取させることによって、若い音声ミキサのみならず、高齢者に対する若年者の理解を促進することができ、よりバリアフリーな社会を実現するためのきっかけとすることができる。
【０１００】
（第３の実施の形態）
図７は、本発明の第３の実施の形態におけるミキシングバランス表示システムを示すブロック図である。ここで、本実施の形態におけるミキシングバランス表示システムは、テレビやラジオ等の番組制作時にＮＲ信号とＢＧＭ信号とのミキシングバランスを監視し、例えばＢＧＭ信号のレベルが大き過ぎてＮＲが聞きにくい場合には「ＢＧＭ信号のレベルが大き過ぎる」、逆に、ＢＧＭ信号のレベルが小さ過ぎて音響効果が得られない場合には「ＢＧＭ信号のレベルが小さ過ぎる」というような注意又は警告を音声ミキサに対して行うものである。
【０１０１】
まず、本実施の形態におけるミキシングバランス表示システム３００の構成について説明する。
【０１０２】
図７に示すように、本実施の形態におけるミキシングバランス表示システム３００は、第１の実施の形態における高齢者聴覚模擬装置１００（図１参照）と、ミキシングバランス表示装置３１０とを備えている。なお、高齢者聴覚模擬装置１００の構成の説明は省略する。また、高齢者聴覚模擬装置１００が出力する高齢者の聴覚特性を模擬したＮＲ信号及びＢＧＭ信号を、それぞれ、以下「模擬ＮＲ信号」及び「模擬ＢＧＭ信号」という。
【０１０３】
ミキシングバランス表示装置３１０は、アナログ信号である模擬ＮＲ信号をデジタル信号に変換するＡＤ変換部３１１と、アナログ信号である模擬ＢＧＭ信号をデジタル信号に変換するＡＤ変換部３１２と、模擬ＮＲ信号のレベルを検出するＮＲレベル検出部３１３と、模擬ＢＧＭ信号のレベルを検出するＢＧＭレベル検出部３１４と、模擬ＮＲ信号と模擬ＢＧＭ信号とのレベル差を算出するレベル差算出部３１５と、レベル差に対して所定の重み付けを行って重み付きレベル差を算出する重み付きレベル差算出部３１６と、重み付きレベル差の値の平均値を算出する平均レベル差算出部３１７と、模擬ＮＲ信号のレベルの平均値を算出するＮＲ平均値算出部３１８と、ミキシングバランスの状態を示す表示値を決定する表示値決定部３１９と、表示値決定部３１９の出力を制御するための表示制御信号を生成する表示制御信号生成部３２０と、例えばＶＵ（Ｖｏｌｕｍｅ Ｕｎｉｔ）メータのようなレベルメータを有し、ミキシングバランスの状態を表示する表示部３２１とを備えている。
【０１０４】
ＡＤ変換部３１１及び１２は、それぞれ、模擬ＮＲ信号及び模擬ＢＧＭ信号を入力し、アナログ値からデジタル値に変換するようになっている。例えば、ＡＤ変換部３１１及び１２は、それぞれ、サンプリング周波数が４８ｋＨｚ、量子化精度が１６ビットのデジタル信号にアナログ信号を変換するようになっている。尤も、入力される模擬ＮＲ信号及び模擬ＢＧＭ信号がデジタル信号である場合は、ＡＤ変換部３１１及び３１２は不要である。なお、本実施の形態におけるサンプリング周波数を４８ｋＨｚとして以下説明する。
【０１０５】
ＮＲレベル検出部３１３は、模擬ＮＲ信号のラウドネスレベル（ｐｈｏｎ）を一定の短時間ΔＴ毎に検出するようになっている。ここで、一定の短時間ΔＴは、サンプリング周波数４８ｋＨｚで例えば１０２４サンプルを取得する場合は、約２１．３ｍｓ（＝１０２４／４８０００ｓ）となる。なお、ＮＲレベル検出部３１３は、サンプリング周波数４８ｋＨｚで１０２４サンプルを取得するものとし、以下の説明において、１０２４サンプルの取得単位をフレームという。
【０１０６】
ＢＧＭレベル検出部３１４は、ＮＲレベル検出部３１３と同様に、模擬ＢＧＭ信号のラウドネスレベルをフレーム毎に検出するようになっている。
【０１０７】
なお、ＮＲレベル検出部３１３及びＢＧＭレベル検出部３１４は、本発明に係るレベル検出手段を構成する。また、ＮＲレベル検出部３１３及びＢＧＭレベル検出部３１４が各信号のラウドネスレベルを検出する方法としては、例えばＩＳＯ５３２に規格化されたものがある。また、ラウドネスレベルに代えて各信号の平均エネルギレベル（ｄＢ）を算出する構成としてもよく、この場合は、例えばサンプル値の２乗平均値を算出し、ｄＢ変換すればよい。
【０１０８】
以下の説明においては、適正なレベルでミキシングされた模擬ＮＲ信号のラウドネスレベル（ｐｈｏｎ）を０で正規化した相対レベルを用いて表すことにする。また、模擬ＢＧＭ信号のレベルも模擬ＮＲ信号と同一のレベルで正規化した相対レベルを用いて表すことにする。一例を挙げれば、適正なレベルでミキシングされた模擬ＮＲ信号のラウドネスレベルが７０（ｐｈｏｎ）の場合では、模擬ＮＲ信号又は模擬ＢＧＭ信号のラウドネスレベルが、７０（ｐｈｏｎ）のときは当該信号の相対レベルは０であり、７５（ｐｈｏｎ）のときは当該信号の相対レベルは＋５である。
【０１０９】
また、正規化後の相対レベルが例えば−５０程度以下の場合は、模擬ＮＲ信号及び模擬ＢＧＭ信号のラウドネスレベルは聴感的に非常に小さいものであるので、−５０以下の値を全て−５０で置き換えても実用上は十分である。なお、０で正規化しないで後述する処理を行うこともできるが、その場合には各閾値の値が相対的に変わってくる。以下、正規化された模擬ＮＲ信号の相対レベルを「Ｎ」、正規化された模擬ＢＧＭ信号の相対レベルを「Ｂ」と表す。
【０１１０】
レベル差算出部３１５は、ＮＲレベル検出部３１３及びＢＧＭレベル検出部３１４から、それぞれ、模擬ＮＲ信号の相対レベルＮ及び模擬ＢＧＭ信号の相対レベルＢの情報をフレーム毎に入力し、両者の相対レベルの差（以下「相対レベル差」という。）Ｂ−Ｎを算出するようになっている。なお、レベル差算出部３１５は、本発明に係るレベル差算出手段を構成する。
【０１１１】
重み付きレベル差算出部３１６は、レベル差算出部３１５が算出した相対レベル差Ｂ−Ｎに対し、模擬ＮＲ信号の相対レベルＮの大きさに応じた重み付けを行って重み付きレベル差を算出するようになっている。なお、重み付きレベル差算出部３１６は、図示しないメモリを備えており、このメモリは、算出された重み付きレベル差の各値を逐次記憶するようになっている。
【０１１２】
具体的には、重み付きレベル差算出部３１６は、例えば図８に示すようなレベル重み付け関数によって相対レベル差Ｂ−Ｎに対する重み付けを行う。図８において、重み付きレベル差算出部３１６は、Ｎ＜−３０のときは相対レベルが−５０の信号を出力し、Ｎ＞−１５のときは相対レベルがＢ−Ｎである信号を出力し、−３０≦Ｎ≦−１５のときは相対レベルがＮ（Ｂ−Ｎ＋５０）／１５＋２（Ｂ−Ｎ）＋５０である信号を出力するようになっている。
【０１１３】
なお、図８においては、座標（−３０，−５０）と（−１５，Ｂ−Ｎ）との２点を直線で結んだ例で説明したが、本発明はこれに限定されるものではなく、この２点を単調な関数で結んだものであれば実用上は十分である。また、重み付きレベル差算出部３１６は、本発明に係る重み付きレベル差算出手段を構成する。また、図８において、Ｎ＝−３０及びＮ＝−１５は、特許請求の範囲に記載の第１の閾値Ｔ１及び第２の閾値Ｔ２にそれぞれ対応するものである。
【０１１４】
次に、レベル差算出部３１５及び重み付きレベル差算出部３１６が出力する信号について図９の模式図を用いて説明する。レベル差算出部３１５に入力される模擬ＮＲ信号及び模擬ＢＧＭ信号の各相対レベルが図９（ａ）に示すような関係にある場合、レベル差算出部３１５は、まず、図９（ｂ）に示すような相対レベル差Ｂ−Ｎを算出する。次に、重み付きレベル差算出部３１６は、算出した相対レベル差Ｂ−Ｎの値に、図８に例示した重み付け関数で重み付けすることにより、図９（ｂ）に示すような重み付き相対レベル差Ｂ−Ｎを算出する。
【０１１５】
図９（ｂ）に示すように、相対レベル差Ｂ−Ｎは、模擬ＢＧＭ信号の相対レベルＢが大きいほど、又は模擬ＮＲ信号の相対レベルＮが小さいほど大きくなる。模擬ＮＲ信号の相対レベルＮが小さい場合、すなわち、模擬ＮＲ信号がほとんど存在しない場合には、「模擬ＢＧＭ信号が大き過ぎる」という表示を行う必要はないので、図８に例示したような重み関数で重み付けして、図９（ｃ）に示すように、模擬ＮＲ信号の相対レベルＮが小さい場合には重み付き相対レベル差Ｂ−Ｎの値を小さくしている。すなわち、重み付けを行う前の相対レベル差Ｂ−Ｎの値（図９（ｂ））の大小では「模擬ＢＧＭ信号が大き過ぎる」か否かの判断を行うことはできないが、重み付き相対レベル差Ｂ−Ｎの値（図９（ｃ））の大小を用いれば「模擬ＢＧＭ信号が大き過ぎる」か否かの判断を行うことができることになる。
【０１１６】
平均レベル差算出部３１７は、現フレームから過去のｎ個のフレームまでの間において、重み付きレベル差Ｂ−Ｎの値の大きいものから順にｍ個の値の平均値（以下「パーセント時間率平均レベル差」という。）を算出するようになっている。ここで、ｎ及びｍは正の整数であり、ｎ≧ｍの関係がある。なお、平均レベル差算出部３１７は、本発明に係る平均レベル差算出手段を構成する。
【０１１７】
ｎを大きくするほど、長時間の無音区間を除くことができるので、表示部３２１が有するレベルメータの指示値の変化を緩やかにすることができるが、ｎが大き過ぎると無音区間が長時間続いても０でない指示値を長時間指示するので、適当な長さに設定する必要がある。また、ｍを大きくするほど、レベルメータの指示値の変化を緩やかにすることができるが、指示値の立ち上がり時間が遅くなるので、ｍをある程度小さくして、指示値の立ち上がり時間を短くする必要がある。実用上は、例えばｎ＝１００、ｍ＝４として、４％に相当するパーセント時間率平均レベル差を求める構成とするのが好ましい。
【０１１８】
ｎ及びｍを適切に設定して算出したパーセント時間率平均レベル差を用いることにより、模擬ＮＲ信号と模擬ＢＧＭ信号とのラウドネスの差に関し、高齢者の聴感とよく合った判断ができるようになる。なお、パーセント時間率平均レベル差に関しては、特許３４６２３９０号公報に詳述されている。
【０１１９】
なお、発明者の検討結果によれば、ステレオ信号の場合には音素材の種類に関わらず、模擬ＮＲ信号と模擬ＢＧＭ信号とのミキシングバランスが適正であれば、平均レベル差算出部３１７の出力信号の相対レベルは概ね０となる。
【０１２０】
次に、模擬ＮＲ信号が存在するフレームのみにおいて、パーセント時間率平均レベル差が大きいほど「模擬ＢＧＭ信号が大き過ぎる」、逆に、小さいほど「模擬ＢＧＭ信号が小さ過ぎる（ＢＧＭの効果がない）」という表示を行おうとする場合、模擬ＮＲ信号が存在しないフレームでは「模擬ＢＧＭ信号が大き過ぎる」あるいは、「模擬ＢＧＭ信号が小さ過ぎる」と表示されるよりも「模擬ＢＧＭ信号のレベルが適正である」と表示される方が聴感的に好ましい。そこで、本実施の形態におけるＮＲ平均値算出部３１８及び表示値決定部３１９は以下のように構成されている。
【０１２１】
すなわち、ＮＲ平均値算出部３１８は、現フレームから過去の所定数（例えば数個〜数十個）のフレームまでの間における模擬ＮＲ信号のレベル平均値ＮＡを算出するようになっている。なお、ＮＲ平均値算出部３１８は、本発明に係る第１聴覚特性模擬信号平均値算出手段を構成する。
【０１２２】
また、表示値決定部３１９は、模擬ＮＲ信号のレベル平均値ＮＡを予め定められた閾値ＬＴと比較してミキシングバランスの状態を示す表示値を決定するようになっている。具体的には、表示値決定部３１９は、模擬ＮＲ信号のレベル平均値ＮＡが、ＮＡ≧ＬＴのときは平均レベル差算出部３１７の出力値を表示値とし、ＮＡ＜ＬＴのときは平均レベル差算出部３１７の出力値をミキシングバランスが適正な場合の値に変換して表示値とするようになっている。なお、表示値決定部３１９は、本発明に係る表示値決定手段を構成する。
【０１２３】
ここで、模擬ＮＲ信号の相対レベルＮではなく平均値ＮＡを用いることにより、パーセント時間率平均レベル差の立ち上がり部及び立ち下がり部における不適切な判定を防ぐことができる。なお、不適切な判定をより確実に防ぐためには、ＮＲ平均値算出部３１８が平均する個数を平均レベル差算出部３１７における個数ｍより大きくした方がよい。なお、ミキシングバランスが適正な場合のパーセント時間率平均レベル差の値は心理実験を行って測定する必要があるが、ステレオ信号の場合には、当該値の相対レベルとしては概ね０程度である。
【０１２４】
実用的には、ＮＲ平均値算出部３１８は、平均値ＮＡを算出するためのフレーム個数を例えば１４個（２１．３ｍｓ×１４＝２９８ｍｓ）として模擬ＮＲ信号の相対レベルの平均値を算出するものであればよい。その結果、平均値ＮＡの値は、ＶＵメータの立ち上がり時間（約３００ｍｓ）とほぼ等しい立ち上がり時間で変動することとなる。また、閾値ＬＴとしては相対レベルで−１５程度の値にすればよい。この場合、表示値決定部３１９は、平均値ＮＡが約−１５以上の場合には平均レベル差算出部３１７の出力値をそのまま出力し、平均値ＮＡが約−１５未満の場合には平均レベル差算出部３１７の出力値をミキシングバランスが適正な場合の値（例えば相対レベル＝０）に変換することとなる。したがって、平均値ＮＡが約−１５未満の場合、すなわち、模擬ＮＲ信号が存在しないとみなせるフレームでは、「模擬ＢＧＭ信号のレベルは適正である」と表示され、高齢者の聴感と対応がとれた表示が得られることとなる。
【０１２５】
ここで、表示値決定部３１９が決定した出力値を表示部３２１で常時表示したのでは、模擬ＮＲ信号が長時間（例えば５ｓ）に渡り存在しない場合においても、表示部３２１は「模擬ＢＧＭ信号のレベルは適正である」と表示することになる。そこで、模擬ＮＲ信号が長時間に渡って存在しない場合には表示そのものを消した方が聴感的によく合うので、本実施の形態における表示制御信号生成部３２０は、以下のように構成されている。
【０１２６】
すなわち、表示制御信号生成部３２０は、模擬ＮＲ信号の相対レベルＮと予め定められた閾値ＬＧとをフレーム毎に比較し、模擬ＮＲ信号の相対レベルＮが、Ｎ≧ＬＧとなったフレームのうち現フレームに最も近いフレームから所定個数分のフレームにおける表示値決定部３１９からの出力信号を表示部３２１に入力させるよう制御するとともに、所定個数を超えたときは表示値決定部３１９からの出力信号を遮断して表示を行わないよう制御する表示制御信号を生成するようになっている。なお、表示制御信号生成部３２０は、本発明に係る表示制御信号生成手段を構成する。
【０１２７】
実用的には、閾値ＬＧとしては相対レベルで−１５程度であればよい。また、模擬ＮＲ信号の相対レベルが瞬間的に低下した場合、例えば数１００ｍｓ程度低下した場合の影響を除くためには、前述の所定個数としては５０〜１００個程度が適当である。なお、所定個数を１００個とした場合の時間は、２１．３ｍｓ×１００＝２．１３ｓである。
【０１２８】
表示部３２１は、例えばレベルメータを備え、表示制御信号生成部３２０が生成した表示制御信号に基づいて、表示値決定部３１９の出力値を表示するようになっている。この表示部３２１は、本発明に係るミキシングバランス表示手段を構成する。
【０１２９】
なお、表示部３２１は、表示値決定部３１９の出力値を例えば数〜十数段階に分類して表示するものであってもよい。具体的には、模擬ＢＧＭ信号のレベルを例えば７段階に分類して表示部３２１に表示させる場合は、表示値決定部３１９の出力の値を大きい方から順に７段階に分類し、模擬ＢＧＭ信号のレベルが「非常に大き過ぎる」、「大き過ぎる」、「やや大きい」、「適正」、「やや小さい」、「小さ過ぎる」、「非常に小さ過ぎる」等と表示させればよい。模擬ＢＧＭ信号のレベルを前述のように７段階に分類するための６つの境界値は心理実験を行って求める必要があるが、６つの境界値の相対レベルとしては、概ね、６、４、２、−３、−６、−９程度が好ましい。この構成により、ミキシングバランスの状態を高齢者の聴感に対応させて視認性よく表示することができる。
【０１３０】
次に、本実施の形態におけるミキシングバランス表示装置３１０の動作について説明する。
【０１３１】
まず、ＡＤ変換部３１１は、模擬ＮＲ信号を入力してデジタル信号に変換し、ＡＤ変換部３１２は、模擬ＢＧＭ信号を入力してデジタル信号に変換する。
【０１３２】
ＮＲレベル検出部３１３は、模擬ＮＲ信号のレベルをフレーム毎に検出し、ＢＧＭレベル検出部３１４は、模擬ＢＧＭ信号のレベルをフレーム毎に検出する。
【０１３３】
レベル差算出部３１５は、模擬ＮＲ信号と模擬ＢＧＭ信号とのレベル差を算出した後、重み付きレベル差算出部３１６は、レベル差算出部３１５が算出したレベル差に対して、例えば図８に示す重み付け関数に基づいて重み付けを行うことにより重み付きレベル差を算出する。
【０１３４】
平均レベル差算出部３１７は、パーセント時間率平均レベル差の算出、すなわち、現フレームから過去のｎ個のフレームまでの間において、重み付きレベル差Ｂ−Ｎの値の大きいものから順にｍ個の値の平均値を算出する。
【０１３５】
ＮＲ平均値算出部３１８は、現フレームから過去の所定数（例えば数個〜数十個）のフレームまでの間における模擬ＮＲ信号のレベル平均値ＮＡを算出する。
【０１３６】
表示値決定部３１９は、模擬ＮＲ信号のレベル平均値ＮＡが、ＮＡ≧ＬＴのときは平均レベル差算出部３１７の出力値を表示値とし、ＮＡ＜ＬＴのときは平均レベル差算出部３１７の出力値を、ミキシングバランスが適正な場合の値に変換して表示値とされる。
【０１３７】
表示制御信号生成部３２０は、模擬ＮＲ信号の相対レベルＮと予め定められた閾値ＬＧとをフレーム毎に比較し、表示値決定部３１９の出力を制御するための表示制御信号を生成する。具体的には、表示制御信号生成部３２０は、模擬ＮＲ信号の相対レベルＮが、Ｎ≧ＬＧとなったフレームのうち現フレームに最も近いフレームから所定個数分のフレームにおける表示値決定部３１９からの出力信号を表示部３２１に入力させるよう制御するとともに、所定個数を超えたときは表示値決定部３１９からの出力信号を遮断して表示を行わないよう制御する表示制御信号を生成する。
【０１３８】
そして、表示部３２１は、表示制御信号生成部３２０が生成した表示制御信号に基づいて、模擬ＮＲ信号と模擬ＢＧＭ信号とのミキシングバランスの状態を表示する。
【０１３９】
なお、動作説明において述べた各処理をプログラミングし、当該プログラムによってコンピュータを動作させることにより、当該プログラムは、コンピュータをミキシングバランス表示システム３００として機能させることができる。この場合、コンピュータは、図７に示した構成を有することとなる。
【０１４０】
以上のように、本実施の形態におけるミキシングバランス表示システム３００によれば、ミキシングバランス表示装置３１０において、重み付きレベル差算出部３１６は、模擬ＮＲ信号と模擬ＢＧＭ信号とのレベル差に対して所定の重み付けを行って重み付きレベル差を算出し、平均レベル差算出部３１７は、パーセント時間率平均レベル差を算出し、ＮＲ平均値算出部３１８は、現フレームから過去の所定数のフレームまでの間における模擬ＮＲ信号のレベル平均値ＮＡを算出し、表示値決定部３１９は、模擬ＮＲ信号のレベル平均値ＮＡを閾値ＬＴと比較してミキシングバランスの状態を示す表示値を決定し、表示制御信号生成部３２０は、表示値決定部３１９の出力を制御するための表示制御信号を生成し、表示部３２１は、表示制御信号に基づいてミキシングバランスの状態を表示する構成としたので、ミキシングバランスの状態を高齢者の聴感に対応させて表示することができる。
【０１４１】
したがって、本実施の形態におけるミキシングバランス表示システム３００は、例えば模擬ＢＧＭ信号のレベルが模擬ＮＲ信号のレベルよりも大き過ぎる場合は模擬ＢＧＭ信号のレベルを下げるよう音声ミキサに促すことができ、模擬ＢＧＭ信号のレベルが大き過ぎてＮＲが聴き取りにくいといった現象を未然に防ぐことができるので、番組の音響効果の向上を支援することができる。また、本実施の形態におけるミキシングバランス表示装置３１０は、例えば模擬ＢＧＭ信号のレベルが模擬ＮＲ信号のレベルよりも小さ過ぎて音響効果が得られない場合は模擬ＢＧＭ信号のレベルを上げるよう音声ミキサに促すことができるので、番組の音響効果の向上を支援することができる。
【０１４２】
なお、前述の実施の形態において、ミキシングバランス表示システム３００が、ＮＲ信号及びＢＧＭ信号を対象とした例を挙げて説明したが、本発明はこれに限定されるものではなく、例えば、台詞の音声信号と効果音の信号とのミキシングを対象とするものに適用しても同様な効果が得られる。
【０１４３】
また、高齢者聴覚模擬装置１００（図１参照）のリクルートメント模擬部１８が、例えば、高齢者の模擬音を聴く人物や音声ミキサの年齢における平均的な最小可聴限界値や、模擬音を聴く人物自身の最小可聴下限値の測定値や音声ミキサ自身の最小可聴下限値の測定値に応じて、閾値Ｙ＿ＭＡＦを周波数バンド毎に可変可能な構成とするのが好ましく、この構成により、模擬対象者の聴覚特性をより正確に模擬することができる。
【０１４４】
次に、本実施の形態の他の態様について説明する。図１０に示すように、ミキシングバランス表示システム４００は、高齢者聴覚模擬装置４１０と、ミキシングバランス表示装置４２０とを備えている。
【０１４５】
高齢者聴覚模擬装置４１０は、第１の実施の形態における高齢者聴覚模擬装置１００（図１参照）の構成に対し、周波数特性補正部１９と、周波数時間変換部２０及び２１と、ＤＡ変換部２２及び２３とを省略したものである。
【０１４６】
ミキシングバランス表示装置４２０は、本実施の形態におけるミキシングバランス表示装置３１０（図７参照）の構成に対し、ＡＤ変換部３１１及び３１２を省略したものである。なお、図１０において、ミキシングバランス表示装置４２０の構成の一部を省略して図示している。
【０１４７】
高齢者聴覚模擬装置４１０において、エネルギレベル算出部１５及び１６は、それぞれ、例えば１／３オクターブの周波数バンド毎にＮＲ信号及びＢＧＭ信号のエネルギレベルを算出し、マスキング補正量算出部１７及びリクルートメント模擬部１８では、高齢者の聴力劣化特性を模擬したＮ'（ｋ）及びＢ'（ｋ）を出力する。
【０１４８】
次に、ミキシングバランス表示装置４２０において、Ｎ'（ｋ）及びＢ'（ｋ）を入力し、これらに基づいて例えばＩＳＯ５３２に準拠したラウドネスレベルを算出する。
【０１４９】
この結果、ミキシングバランス表示システム４００は、ミキシングバランスの状態を高齢者の聴感に対応させて表示することができる。
【産業上の利用可能性】
【０１５０】
以上のように、本発明に係る聴覚特性模擬装置、ミキシングバランス表示システム及びそれらのプログラムは、健聴者に不快感を与えることなく、感音性難聴者の聴覚特性を正確に模擬することができるという効果を有し、高齢者のような感音性難聴者を対象としたテレビ番組やラジオ番組等の制作に用いる聴覚特性模擬装置、ミキシングバランス表示システム及びそれらのプログラム等として有用である。
【図面の簡単な説明】
【０１５１】
【図１】本発明の第１の実施の形態における高齢者聴覚模擬装置の構成を示すブロック図
【図２】本発明の第１の実施の形態における高齢者聴覚模擬装置において、マスキング補正量の設定例の説明図
【図３】本発明の第１の実施の形態における高齢者聴覚模擬装置において、ＮｐＢ（ｋ）と、リクルートメント現象により高齢者が知覚する音圧レベルとの関係を示す図
【図４】本発明の第１の実施の形態における高齢者聴覚模擬装置において、リクルートメント補正量の設定例の説明図
【図５】本発明の第１の実施の形態における高齢者聴覚模擬装置において、周波数特性補正部による特性補正を概念的に示す図 （ａ）各周波数バンドにおいて一定量となるＦＦＴパワースペクトル係数の補正量の大きさを示す概念図 （ｂ）各周波数バンドにおいてＦＦＴパワースペクトル係数のエネルギ補正を移動平均により平滑化した例を示す概念図
【図６】本発明の第２の実施の形態における高齢者聴覚模擬装置の構成を示すブロック図
【図７】本発明の第３の実施の形態におけるミキシングバランス表示システムの構成を示すブロック図
【図８】本発明の第３の実施の形態におけるミキシングバランス表示システムにおいて、レベル重み付け関数の一例を示す図
【図９】本発明の第３の実施の形態におけるミキシングバランス表示システムにおいて、ＮＲ信号及びＢＧＭ信号の相対レベル差を説明するための模式図 （ａ）入力されるＮＲ信号及びＢＧＭ信号の相対レベルの一例を示す図 （ｂ）相対レベル差Ｂ−Ｎの一例を示す図 （ｃ）重み付き相対レベル差Ｂ−Ｎの一例を示す図
【図１０】本発明の第３の実施の形態におけるミキシングバランス表示システムの他の態様の構成を示すブロック図
【符号の説明】
【０１５２】
１１、１２、３１１、３１２ ＡＤ変換部
１３、１４ 時間周波数変換部
１５、１６ エネルギレベル算出部（エネルギレベル算出手段）
１７ マスキング補正量算出部（マスキング補正量算出手段）
１８ リクルートメント模擬部（リクルートメント補正量算出手段、聴覚特性模擬信号算出手段）
１９ 周波数特性補正部
２０、２１ 周波数時間変換部
２２、２３ ＤＡ変換部
１００、２００、４１０ 高齢者聴覚模擬装置（聴覚特性模擬装置）
２０１ 混合器（模擬信号混合手段）
３００、４００ ミキシングバランス表示システム
３１０、４２０ ミキシングバランス表示装置
３１３ ＮＲレベル検出部（レベル検出手段）
３１４ ＢＧＭレベル検出部（レベル検出手段）
３１５ レベル差算出部（レベル差算出手段）
３１６ 重み付きレベル差算出部（重み付きレベル差算出手段）
３１７ 平均レベル差算出部（平均レベル差算出手段）
３１８ ＮＲ平均値算出部（第１聴覚特性模擬信号平均値算出手段）
３１９ 表示値決定部（表示値決定手段）
３２０ 表示制御信号生成部（表示制御信号生成手段）
３２１ 表示部（ミキシングバランス表示手段）
【技術分野】
【０００１】
本発明は、例えば、高齢者の聴覚特性を模擬する聴覚特性模擬装置、それを備えたミキシングバランス表示システム及びそれらのプログラムに関する。
【背景技術】
【０００２】
従来、例えばナレーション（以下「ＮＲ」と表す。）信号とバックグラウンドミュージック（以下「ＢＧＭ」と表す。）信号とのミキシングを行う際に、訓練された音声調整者が実際に音を聞きながら音声調整卓を操作し、ＮＲ信号とＢＧＭ信号とのミキシングバランスが最適になるよう手動で調整していた。この手法では、熟練した音声調整者が必要となるという課題があり、この課題の解決を図ることを目的として音声レベルバランス指示装置が提案されている（例えば、特許文献１参照）。
【０００３】
特許文献１に示されたものは、ＮＲ用及びＢＧＭ用の聴覚モデルに基づいた聴覚マスキング曲線を求める手段と、ＮＲの聴覚マスキング曲線とＢＧＭの聴覚マスキング曲線とのレベル差を求める手段と、両者のレベル差からミキシングバランスを制御する制御信号を生成する手段とを備え、ＮＲ信号とＢＧＭ信号とのミキシングバランスの状態を指示することができるようになっている。
【特許文献１】特開平１０−３０８９９９号公報
【発明の開示】
【発明が解決しようとする課題】
【０００４】
しかしながら、特許文献１に示された従来のものは、熟練した音声調整者が必要となるという課題を解決できるものではあったが、ＮＲ信号の立ち上がり部及び立ち下がり部においてＢＧＭ信号がＮＲ信号よりも大き過ぎるという不適切な表示が頻繁に起こるので、ミキシングバランスの状態の表示値と聴感とが一致し難いものであり、その改善が望まれていた。特に、従来のものは、例えば高齢性難聴のような感音性難聴に起因して聴力が低下した者（以下「感音性難聴者」という。）の聴感によく合うミキシングバランスが表示できるものではなかった。
【０００５】
また、Ｂ．Ｃ．Ｊ．ムーアらの報告によれば、雑音信号成分を音声信号成分に付加することによって感音性難聴者の聴覚特性の模擬を実現できることが示されているが、正常な聴覚を有する健聴者には雑音信号成分が心理的に邪魔なものとなって健聴者に不快感を与えることがあるという課題があった。
【０００６】
本発明は、このような事情に鑑みてなされたものであり、健聴者に不快感を与えることなく、感音性難聴者の聴覚特性を正確に模擬することができる聴覚特性模擬装置、それを備えたミキシングバランス表示システム及びそれらのプログラムを提供することを目的とする。
【課題を解決するための手段】
【０００７】
本発明の聴覚特性模擬装置は、第１及び第２の音信号のエネルギレベルを周波数バンド毎に算出するエネルギレベル算出手段と、前記第１の音信号のエネルギレベルと前記第２の音信号のエネルギレベルとの差に基づいて感音性難聴者の聴覚マスキング特性を模擬するためのマスキング補正量を前記周波数バンド毎に算出するマスキング補正量算出手段と、前記第１の音信号のエネルギレベルと前記第２の音信号のエネルギレベルとの和に基づいて前記感音性難聴者のリクルートメント現象を模擬するためのリクルートメント補正量を前記周波数バンド毎に算出するリクルートメント補正量算出手段と、前記マスキング補正量及び前記リクルートメント補正量に基づいて前記第１及び前記第２の音信号にそれぞれ対応する前記感音性難聴者の聴覚特性を模擬した第１及び第２の聴覚特性模擬信号を算出する聴覚特性模擬信号算出手段とを備えた構成を有している。
【０００８】
この構成により、本発明の聴覚特性模擬装置は、従来のものとは異なり、雑音信号成分を健聴者に与えることなく、マスキング補正量及びリクルートメント補正量に基づいて第１及び第２の音信号にそれぞれ対応する感音性難聴者の聴覚特性を模擬することができるので、健聴者に不快感を与えることなく、感音性難聴者の聴覚特性を正確に模擬することができる。
【０００９】
また、本発明の聴覚特性模擬装置は、前記マスキング補正量算出手段が、前記第１の音信号のエネルギレベルと前記第２の音信号のエネルギレベルとの差が、予め定められた第１の閾値以上のとき予め定められた第１のマスキング補正量を示す信号を出力し、予め定められた第２の閾値以下のとき予め定められた第２のマスキング補正量を示す信号を出力し、前記第１の閾値と前記第２の閾値との間にあるとき前記第１のマスキング補正量と前記第２のマスキング補正量とを単調に結ぶ関数で得られる値を示す信号を出力するものであり、前記第１の閾値は、前記第２の閾値よりも大きく、前記第１のマスキング補正量は、前記第２のマスキング補正量よりも大きい構成を有している。
【００１０】
この構成により、本発明の聴覚特性模擬装置は、感音性難聴者の聴覚マスキング特性を模擬するためのマスキング補正量を前記周波数バンド毎に正確に算出することができる。
【００１１】
さらに、本発明の聴覚特性模擬装置は、前記リクルートメント補正量算出手段が、前記第１の音信号のエネルギレベルと前記第２の音信号のエネルギレベルとの和を示すエネルギレベル加算値が、予め定められた第１及び第２の年齢層の人間が相互にラウドネスを等しく感じる最小の音圧レベルを示す最小音圧レベル閾値以上のとき予め定められたリクルートメント補正量を示す信号を出力し、前記最小音圧レベル閾値よりも小さいとき予め定められた関数で得られるリクルートメント補正量を示す信号を出力するものであり、前記関数は、前記第１及び前記第２の年齢層の人間がそれぞれ聞き取ることのできる最小の音圧と周波数との関係を示す最小可聴限特性からそれぞれ導出される第１及び第２の最小可聴限値と、前記エネルギレベル加算値と、前記最小音圧レベル閾値とに基づいて決められたものであり、前記第１の最小可聴限値は、前記第２の最小可聴限値よりも小さい構成を有している。
【００１２】
この構成により、本発明の聴覚特性模擬装置は、感音性難聴者のリクルートメント現象を模擬するためのリクルートメント補正量を前記周波数バンド毎に正確に算出することができる。
【００１３】
さらに、本発明の聴覚特性模擬装置は、前記リクルートメント補正量算出手段が、前記第１の最小可聴限値、前記第２の最小可聴限値及び前記最小音圧レベル閾値のそれぞれを可変可能である構成を有している。
【００１４】
この構成により、本発明の聴覚特性模擬装置は、模擬対象者の聴覚特性に合わせてより正確に模擬することができる。
【００１５】
さらに、本発明の聴覚特性模擬装置は、前記聴覚特性模擬信号算出手段が、前記第１の音信号のエネルギレベルと、前記マスキング補正量と、前記リクルートメント補正量とに基づいて前記第１の聴覚特性模擬信号を算出し、前記第２の音信号のエネルギレベルと、前記リクルートメント補正量とに基づいて前記第２の聴覚特性模擬信号を算出する構成を有している。
【００１６】
この構成により、本発明の聴覚特性模擬装置は、健聴者に不快感を与えることなく、感音性難聴者の聴覚特性を正確に模擬することができる。
【００１７】
さらに、本発明の聴覚特性模擬装置は、前記第１の聴覚特性模擬信号と前記第２の聴覚特性模擬信号とを混合する模擬信号混合手段を備えた構成を有している。
【００１８】
この構成により、本発明の聴覚特性模擬装置は、模擬信号混合手段が出力する模擬混合音信号を再生することによって、その再生音の聴取者に感音性難聴者の聴覚特性を把握させることができる。
【００１９】
本発明のミキシングバランス表示システムは、聴覚特性模擬装置と、前記第１の聴覚特性模擬信号と前記第２の聴覚特性模擬信号とのミキシングバランスの状態を表示するミキシングバランス表示装置とを備え、前記ミキシングバランス表示装置は、前記第１及び前記第２の聴覚特性模擬信号のレベルを所定時間間隔のフレーム毎に検出するレベル検出手段と、前記第１の聴覚特性模擬信号と前記第２の聴覚特性模擬信号とのレベル差を算出するレベル差算出手段と、前記レベル差に対して前記第１の聴覚特性模擬信号のレベルに応じた重み付けを行って重み付きレベル差を算出する重み付きレベル差算出手段と、現フレームから過去のｎ個のフレームまでの間において前記重み付きレベル差の値の大きいものから順にｍ個の値の平均値を算出する平均レベル差算出手段と、現フレームから過去の所定数のフレームまでの間における前記第１の聴覚特性模擬信号のレベル平均値を算出する第１聴覚特性模擬信号平均値算出手段と、前記平均レベル差算出手段及び前記第１聴覚特性模擬信号平均値算出手段の算出結果に基づいて前記第１の聴覚特性模擬信号と前記第２の聴覚特性模擬信号とのミキシングバランスの状態を示す表示値を決定する表示値決定手段と、前記第１の聴覚特性模擬信号のレベルに基づいて前記表示値決定手段の出力を制御する表示制御信号を生成する表示制御信号生成手段と、前記表示制御信号に基づいて前記ミキシングバランスの状態を表示するミキシングバランス表示手段とを備えた構成を有している。
【００２０】
この構成により、本発明のミキシングバランス表示システムは、模擬ＢＧＭ信号のレベルが模擬ＮＲ信号のレベルよりも大き過ぎる場合は模擬ＢＧＭ信号のレベルを下げるよう音声ミキサに促すことができ、模擬ＢＧＭ信号のレベルが大き過ぎてＮＲが聴き取りにくいといった現象を未然に防ぐことができるので、番組の音響効果の向上を支援することができる。
【００２１】
本発明の聴覚特性模擬プログラムは、感音性難聴者の聴覚特性を模擬する聴覚特性模擬装置としてコンピュータを機能させるための聴覚特性模擬プログラムであって、前記コンピュータを、第１及び第２の音信号のエネルギレベルを周波数バンド毎に算出するエネルギレベル算出手段と、前記第１の音信号のエネルギレベルと前記第２の音信号のエネルギレベルとの差に基づいて前記感音性難聴者の聴覚マスキング特性を模擬するためのマスキング補正量を前記周波数バンド毎に算出するマスキング補正量算出手段と、前記第１の音信号のエネルギレベルと前記第２の音信号のエネルギレベルとの和に基づいて前記感音性難聴者のリクルートメント現象を模擬するためのリクルートメント補正量を前記周波数バンド毎に算出するリクルートメント補正量算出手段と、前記マスキング補正量及び前記リクルートメント補正量に基づいて前記第１及び前記第２の音信号にそれぞれ対応する前記感音性難聴者の聴覚特性を模擬した第１及び第２の聴覚特性模擬信号を算出する聴覚特性模擬信号算出手段として機能させる構成を有している。
【００２２】
この構成により、本発明の聴覚特性模擬プログラムは、従来のものとは異なり、雑音信号成分を健聴者に与えることなく、マスキング補正量及びリクルートメント補正量に基づいて第１及び第２の音信号にそれぞれ対応する感音性難聴者の聴覚特性を模擬することができるので、健聴者に不快感を与えることなく、感音性難聴者の聴覚特性を正確に模擬することができる。
【００２３】
また、本発明の聴覚特性模擬プログラムは、前記コンピュータを、前記第１の聴覚特性模擬信号と前記第２の聴覚特性模擬信号とを混合する模擬信号混合手段として機能させる構成を有している。
【００２４】
この構成により、本発明の聴覚特性模擬プログラムは、模擬信号混合手段が出力する模擬混合音信号を再生することによって、その再生音の聴取者に感音性難聴者の聴覚特性を把握させることができる。
【００２５】
本発明のミキシングバランス表示プログラムは、前記第１の聴覚特性模擬信号と前記第２の聴覚特性模擬信号とのミキシングバランスの状態を表示するミキシングバランス表示装置としてコンピュータを機能させるためのミキシングバランス表示プログラムであって、前記コンピュータを、前記第１及び前記第２の聴覚特性模擬信号のレベルを所定時間間隔のフレーム毎に検出するレベル検出手段と、前記第１の聴覚特性模擬信号と前記第２の聴覚特性模擬信号とのレベル差を算出するレベル差算出手段と、前記レベル差に対して前記第１の聴覚特性模擬信号のレベルに応じた重み付けを行って重み付きレベル差を算出する重み付きレベル差算出手段と、現フレームから過去のｎ個のフレームまでの間において前記重み付きレベル差の値の大きいものから順にｍ個の値の平均値を算出する平均レベル差算出手段と、現フレームから過去の所定数のフレームまでの間における前記第１の聴覚特性模擬信号のレベル平均値を算出する第１聴覚特性模擬信号平均値算出手段と、前記平均レベル差算出手段及び前記第１聴覚特性模擬信号平均値算出手段の算出結果に基づいて前記第１の聴覚特性模擬信号と前記第２の聴覚特性模擬信号とのミキシングバランスの状態を示す表示値を決定する表示値決定手段と、前記第１の聴覚特性模擬信号のレベルに基づいて前記表示値決定手段の出力を制御する表示制御信号を生成する表示制御信号生成手段と、前記表示制御信号に基づいて前記ミキシングバランスの状態を表示するミキシングバランス表示手段として機能させる構成を有している。
【００２６】
この構成により、本発明のミキシングバランス表示プログラムは、模擬ＢＧＭ信号のレベルが模擬ＮＲ信号のレベルよりも大き過ぎる場合は模擬ＢＧＭ信号のレベルを下げるよう音声ミキサに促すことができ、模擬ＢＧＭ信号のレベルが大き過ぎてＮＲが聴き取りにくいといった現象を未然に防ぐことができるので、番組の音響効果の向上を支援することができる。
【発明の効果】
【００２７】
本発明は、健聴者に不快感を与えることなく、感音性難聴者の聴覚特性を正確に模擬することができるという効果を有する聴覚特性模擬装置、ミキシングバランス表示システム及びそれらのプログラムを提供することができるものである。
【発明を実施するための最良の形態】
【００２８】
以下、本発明の実施の形態について図面を用いて説明する。なお、本発明の聴覚特性模擬装置を、高齢者の聴覚特性を模擬する装置（以下「高齢者聴覚模擬装置」という。）であって、テレビやラジオ等の番組制作時におけるＮＲ信号及びＢＧＭ信号を模擬するものに適用した例を挙げて説明する。実施の形態におけるＮＲ信号及びＢＧＭ信号は、それぞれ、特許請求の範囲に記載の第１及び第２の音信号に対応する。
【００２９】
（第１の実施の形態）
図１は、本発明の第１の実施の形態における高齢者聴覚模擬装置を示すブロック図である。
【００３０】
図１に示すように、本実施の形態における高齢者聴覚模擬装置１００は、アナログ信号をデジタル信号に変換するＡＤ変換部１１及び１２と、時間領域の信号を周波数領域の信号に変換する時間周波数変換部１３及び１４と、周波数領域の信号のエネルギレベルを周波数バンド毎に算出するエネルギレベル算出部１５及び１６と、マスキング補正量を算出するマスキング補正量算出部１７とを備えている。
【００３１】
また、高齢者聴覚模擬装置１００は、高齢性リクルートメント現象を模擬するリクルートメント模擬部１８と、周波数特性を補正する周波数特性補正部１９と、周波数領域の信号を時間領域の信号に変換する周波数時間変換部２０及び２１と、デジタル信号をアナログ信号に変換するＤＡ変換部２２及び２３とを備えている。
【００３２】
ＡＤ変換部１１及び１２は、それぞれ、アナログ信号であるＮＲ信号及びＢＧＭ信号を入力し、アナログ値からデジタル値に変換するようになっている。尤も、入力されるＮＲ信号及びＢＧＭ信号がデジタル信号である場合は、ＡＤ変換部１１及び１２は不要である。
【００３３】
時間周波数変換部１３及び１４は、それぞれ、時間領域のＮＲ信号及びＢＧＭ信号を周波数領域の信号に変換して、それぞれの周波数係数のデータを出力するようになっている。例えば、時間周波数変換部１３及び１４は、１０２４サンプル毎にＦＦＴ（高速フーリエ変換）処理を実行し、ＦＦＴ係数を周波数係数として算出し、この周波数係数からＦＦＴパワースペクトル係数を算出するようになっている。なお、時間周波数変換はＦＦＴによるものに限定されず、例えばＤＣＴ（離散コサイン変換）を用いてもよい。
【００３４】
エネルギレベル算出部１５及び１６は、それぞれ、周波数領域のＮＲ信号及びＢＧＭ信号のエネルギレベルを周波数バンド毎に算出するようになっている。なお、エネルギレベル算出部１５及び１６は、本発明に係るエネルギレベル算出手段を構成する。
【００３５】
マスキング補正量算出部１７は、周波数バンド毎のＮＲ信号及びＢＧＭ信号のエネルギレベル差に基づいて、ＮＲに対するＢＧＭによる妨害量をマスキング補正量として算出するようになっている。聴覚マスキング特性は加齢に伴って変化するので、マスキング補正量算出部１７は、高齢者独特の聴覚マスキング特性を模擬するためにマスキング補正量を算出するものである。なお、マスキング補正量算出部１７は、図示しないメモリを備え、マスキング補正量を算出する際に用いるデータをこのメモリに記憶している。このデータは、所望の聴覚特性に応じて任意に変更できるようになっている。なお、マスキング補正量算出部１７は、本発明に係るマスキング補正量算出手段を構成する。
【００３６】
リクルートメント模擬部１８は、ＮＲ信号のエネルギレベルとＢＧＭ信号のエネルギレベルとの和に基づき、高齢者のリクルートメント現象を模擬するためのリクルートメント補正量を周波数バンド毎に算出するようになっている。なお、リクルートメント模擬部１８は、図示しないメモリを備え、リクルートメント補正量を算出する際に用いるデータをこのメモリに記憶している。このデータは、所望の聴覚特性に応じて任意に変更できるようになっている。なお、リクルートメント模擬部１８は、本発明に係るリクルートメント補正量算出手段及び聴覚特性模擬信号算出手段を構成する。
【００３７】
ここで、リクルートメント補正量とは、加齢により聴力が低下すると、高い周波数において聞こえない物理的な音圧レベルが上昇する一方、聞こえる最大の音圧レベルが変わらないという高齢性リクルートメント現象を模擬するためのものであり、高齢者に知覚される音の大きさの減衰量を示すものをいう。高齢性リクルートメント現象についてさらに具体的には、小さな音から大きな音まで大きさを徐々に大きくしていくと、小さな音では聞こえないが、あるレベルの音から急に聞こえて、すぐに大きな音に感じられてしまう現象である。
【００３８】
また、リクルートメント模擬部１８は、周波数バンド毎のマスキング補正量と、周波数バンド毎のリクルートメント補正量とに基づいて、周波数バンド毎のＮＲ信号及びＢＧＭ信号のエネルギレベルを補正し、高齢者の聴力劣化特性を模擬したＮＲ信号及びＢＧＭ信号を出力するようになっている。
【００３９】
周波数特性補正部１９は、リクルートメント模擬部１８が高齢性リクルートメント現象を模擬した、ＮＲ信号及びＢＧＭ信号のエネルギレベルのＦＦＴパワースペクトル係数を周波数バンド毎に補正するようになっている。
【００４０】
周波数時間変換部２０及び２１は、それぞれ、周波数特性補正部１９が補正したＮＲ信号及びＢＧＭ信号のＦＦＴパワースペクトル係数を示す信号を時間領域の信号に変換するようになっている。
【００４１】
ＤＡ変換部２２及び２３は、それぞれ、時間領域の信号に変換されたデジタル信号であるＮＲ信号及びＢＧＭ信号をアナログ信号に変換して出力するようになっている。尤も、ＮＲ信号及びＢＧＭ信号をデジタル信号として出力する場合は、ＤＡ変換部２２及び２３は不要である。
【００４２】
次に、本実施の形態における高齢者聴覚模擬装置１００の動作について説明する。
【００４３】
まず、ＡＤ変換部１１及び１２は、それぞれ、アナログ信号であるＮＲ信号及びＢＧＭ信号を入力し、例えば、サンプリング周波数が３２ｋＨｚ、量子化精度が１６ビットのデジタル信号にＮＲ信号及びＢＧＭ信号を変換する。なお、本実施の形態におけるサンプリング周波数は、３２ｋＨｚとして以下説明する。
【００４４】
時間周波数変換部１３及び１４は、それぞれ、時間領域のＮＲ信号及びＢＧＭ信号を周波数領域の信号に変換する。例えば、時間周波数変換部１３及び１４は、１０２４サンプル毎にＦＦＴ処理を実行し、１６本ずつのＦＦＴ係数を１グループとして決定することにより、このＦＦＴ係数を５００Ｈｚ毎の周波数バンドにおける周波数係数として扱うことができる。また、時間周波数変換部１３及び１４は、周波数係数の２乗をＦＦＴパワースペクトル係数として出力する。
【００４５】
ここで、ｋ番目の周波数バンドにおけるＮＲ信号及びＢＧＭ信号の周波数係数を、それぞれ、ＮＲ＿ＦＦＴ［ｋ］［ｉ］及びＢＧＭ＿ＦＦＴ［ｋ］［ｉ］で表し、ｋ番目の周波数バンドにおけるＮＲ信号及びＢＧＭ信号のＦＦＴパワースペクトル係数を、それぞれ、ＮＲ＿ｐｏｗ［ｋ］［ｉ］及びＢＧＭ＿ｐｏｗ［ｋ］［ｉ］で表す。ただし、ｋ＝１、２、・・・、３２であり、ｉ＝１、２、・・・、１６である。時間周波数変換部１３及び１４は、それぞれ、［数１］及び［数２］に基づいてＦＦＴパワースペクトル係数ＮＲ＿ｐｏｗ［ｋ］［ｉ］及びＢＧＭ＿ｐｏｗ［ｋ］［ｉ］を算出する。
【００４６】
【数１】
【数２】
【００４７】
なお、［数１］及び［数２］を用いる方法に代えて、周波数係数を電力換算することによってＦＦＴパワースペクトル係数を算出してもよい。
【００４８】
エネルギレベル算出部１５及び１６は、それぞれ、ＮＲ信号及びＢＧＭ信号の、５００Ｈｚ毎の周波数バンドにおけるエネルギレベルを以下のように算出する。ここで、ＮＲ信号及びＢＧＭ信号の、５００Ｈｚ毎の周波数バンドにおけるエネルギレベルを、それぞれ、Ｎ（ｋ）及びＢ（ｋ）（ｋ＝１、２、・・・、３２）で表すと、Ｎ（ｋ）及びＢ（ｋ）は、それぞれ、［数３］及び［数４］で示され、ＦＦＴパワースペクトル係数の和を算出した後にｄＢ（デシベル）変換したものとなっている。
【００４９】
【数３】
【数４】
【００５０】
マスキング補正量算出部１７は、Ｎ（ｋ）とＢ（ｋ）との差に基づいてマスキング補正量Ｄ＿ｍ（ｋ）を算出する。発明者の検討結果によれば、Ｎ（ｋ）とＢ（ｋ）との差と、予め定められた２つの閾値との関係により、マスキング補正量Ｄ＿ｍ（ｋ）を所定値に設定するのが好ましいことがわかった。具体的には、図２に示すように、予め定められた２つの閾値をそれぞれＲ１（ｋ）及びＲ２（ｋ）で表し、これらにそれぞれ対応するマスキング補正量Ｄ＿ｍ（ｋ）をＬ＿ＹＭ（ｋ）及びＬ＿ＯＭ（ｋ）で表すと、Ｒ１（ｋ）＝１２ｄＢ、Ｒ２（ｋ）＝０ｄＢとするのが好ましく、また、Ｌ＿ＹＭ（ｋ）＝０ｄＢ、Ｌ＿ＯＭ（ｋ）＝−９ｄＢとするのが好ましい。この場合、マスキング補正量Ｄ＿ｍ（ｋ）は［数５］で表される。
【００５１】
【数５】
【００５２】
なお、［数５］に示した数式は一例であって、マスキング補正量Ｄ＿ｍ（ｋ）を算出するための各閾値の値に応じて変形することができる、また、図２においては、Ｌ＿ＹＭ（ｋ）とＬ＿ＯＭ（ｋ）とを直線で結んだ例を挙げて説明したが、本発明はこれに限定されるものではなく、この２点を単調な関数で結んだものであればよい。
【００５３】
リクルートメント模擬部１８は、以下に示すように、リクルートメント補正量を算出する。
【００５４】
まず、リクルートメント模擬部１８は、［数６］に基づいてＮ（ｋ）とＢ（ｋ）とをｄＢ加算し、ＮＲ信号とＢＧＭ信号とのエネルギ和を示すＮｐＢ（ｋ）を算出する。
【００５５】
【数６】
【００５６】
次に、リクルートメント模擬部１８は、予め定められた互いに異なる年齢層の人間、例えば２０歳代及び６０歳代の人間がそれぞれ聞き取ることのできる最小の音圧と周波数との関係を示す最小可聴限特性からそれぞれ導出される値、具体的には、図３に示すような特性に基づいてリクルートメント補正量Ｄ＿ｒ（ｋ）を算出する。
【００５７】
ここで、図３は、ＮｐＢ（ｋ）に対する、リクルートメント現象により高齢者が知覚する音圧レベルの関係を示している。図３において、Ｌ＿Ｔｈ（ｋ）は、リクルートメント現象が発生している領域からＮｐＢ（ｋ）を増加させたとき、リクルートメント現象が起こらなくなる音圧レベル（以下「飽和レベル」という。）を示しており、例えば２０歳代及び６０歳代の人間が相互に等しく感じるラウドネスレベルである。また、図３において、Ｙ＿ＭＡＦ（ｋ）及びＯ＿ＭＡＦ（ｋ）は、それぞれ、２０歳代及び６０歳代の最小可聴限から導出して定めた閾値であって、周波数バンド毎に最適値で設定するのが好ましい。例えば、発明者の検討結果によれば、５００Ｈｚ〜１０００Ｈｚ（周波数バンドｋ＝２とする。）においては、Ｙ＿ＭＡＦ（２）＝０ｄＢ、Ｏ＿ＭＡＦ（２）＝３０ｄＢ、飽和レベルＬ＿Ｔｈ（２）＝９０ｄＢとするのが好ましい。
【００５８】
リクルートメント補正量Ｄ＿ｒ（ｋ）は、例えば図４に示すような関数に基づいて算出される。図４に示すように、リクルートメント模擬部１８は、ＮｐＢ（ｋ）が飽和レベルＬ＿Ｔｈ（ｋ）以上のとき、予め定められた閾値Ｌ＿０（ｋ）（例えば０ｄＢ）をリクルートメント補正量Ｄ＿ｒ（ｋ）として出力し、ＮｐＢ（ｋ）が飽和レベルＬ＿Ｔｈ（ｋ）未満のとき、予め定められた閾値αに応じて定められた一次関数に従ってリクルートメント補正量Ｄ＿ｒ（ｋ）を出力する。すなわち、リクルートメント補正量Ｄ＿ｒ（ｋ）は、［数７］で示される。なお、閾値αは［数８］で示される。
【００５９】
【数７】
【数８】
【００６０】
さらに、リクルートメント模擬部１８は、マスキング補正量算出部１７が算出したマスキング補正量Ｄ＿ｍ（ｋ）と、［数７］に基づいて算出したリクルートメント補正量Ｄ＿ｒ（ｋ）とにより、［数９］及び［数１０］に基づいてＮＲ信号及びＢＧＭ信号のそれぞれの模擬信号を示すＮ'（ｋ）及びＢ'（ｋ）を算出して出力する。
【００６１】
【数９】
【数１０】
【００６２】
したがって、リクルートメント模擬部１８は、マスキング補正量Ｄ＿ｍ（ｋ）及びリクルートメント補正量Ｄ＿ｒ（ｋ）により、高齢者の聴力劣化特性をよく模擬したＮ'（ｋ）及びＢ'（ｋ）を出力することができる。
【００６３】
なお、リクルートメント模擬部１８が、例えば、模擬対象者の年齢における平均的な聴覚特性や、聴覚模擬対象者自身の聴覚特性の測定値に応じて、閾値Ｏ＿ＭＡＦ（ｋ）及び飽和レベルＬ＿ＴＨ（ｋ）を周波数バンド毎に可変できる構成とするのが好ましく、この構成により、模擬対象者の聴覚特性に合わせてより正確に模擬することができる。
【００６４】
周波数特性補正部１９は、ｋ番目の周波数バンドにおけるＮ'（ｋ）及びＢ'（ｋ）のエネルギの補正を［数１１］及び［数１２］に基づいて行う。ここで、Ｎ'（ｋ）のＦＦＴパワースペクトル係数をＮＲ＿ｐｏｗ'［ｋ］［ｉ］（ｉ＝１、２、・・・、１６）、Ｂ'（ｋ）のＦＦＴパワースペクトル係数をＢＧＭ＿ｐｏｗ'［ｋ］［ｉ］（ｉ＝１、２、・・・、１６）で表す。
【００６５】
【数１１】
【数１２】
【００６６】
図５は、周波数特性補正部１９による特性補正を概念的に示す図であって、図５（ａ）は、各周波数バンドにおいて一定量となるＦＦＴパワースペクトル係数の補正量の大きさを示している。図５（ａ）に示した補正量は、ＮＲ信号ではＤ＿ｍ（ｋ）＋Ｄ＿ｒ（ｋ）に相当し、ＢＧＭ信号ではＤ＿ｒ（ｋ）に相当する。
【００６７】
また、図５（ｂ）は、近似計算になるが、ＦＦＴパワースペクトル係数のエネルギ補正を移動平均により平滑化した一例を示している。この手法は、例えば、ＦＦＴパワースペクトル係数の補正量に関して、隣接する周波数バンドの境界にあるＦＦＴパワースペクトル係数の補正量の差を小さくすることで、周波数時間変換部２０及び２１において周波数時間変換を行った際に、聴覚的に検知される歪みを小さくすることが期待される手法である。
【００６８】
具体的には、例えば、ＦＦＴパワースペクトル５本毎に移動平均計算を行う場合は、隣接する周波数バンドの境界にある、４本のＦＦＴパワースペクトル（図５（ｂ）の矩形枠内）の補正量に関して移動平均計算を行えば十分である。
【００６９】
すなわち、周波数特性補正部１９は、ＮＲ信号に関し、ｋ＝２、３、・・・、３２の周波数バンドにおいて、例えば、ＮＲ＿ｐｏｗ'［ｋ］［１］を［数１３］で求める。
【００７０】
【数１３】
【００７１】
また、ＮＲ＿ｐｏｗ'［ｋ］［２］を［数１４］で求める。
【００７２】
【数１４】
【００７３】
次に、ｋ＝１、２、・・・、３１の周波数バンドにおいて、例えば、ＮＲ＿ｐｏｗ'［ｋ］［１５］を［数１５］で求める。
【００７４】
【数１５】
【００７５】
また、ＮＲ＿ｐｏｗ'［ｋ］［１６］を［数１６］で求める。
【００７６】
【数１６】
【００７７】
ＢＧＭ信号に関しても同様に、ｋ＝２、３、・・・、３２の周波数バンドにおいて、例えば、ＢＧＭ＿ｐｏｗ'［ｋ］［１］を［数１７］で求める。
【００７８】
【数１７】
【００７９】
また、ＢＧＭ＿ｐｏｗ'［ｋ］［２］を［数１８］で求める。
【００８０】
【数１８】
【００８１】
次に、ｋ＝１、２、・・・、３１の周波数バンドにおいて、例えば、ＢＧＭ＿ｐｏｗ'［ｋ］［１５］を［数１９］で求める。
【００８２】
【数１９】
【００８３】
また、ＢＧＭ＿ｐｏｗ'［ｋ］［１６］を［数２０］で求める。
【００８４】
【数２０】
【００８５】
以上のように、周波数特性補正部１９が各計算を行うことによって、各周波数バンド間の補正量を平滑化することができる。
【００８６】
なお、前述の例では、５つのＦＦＴパワースペクトル係数毎の移動平均処理を行ったが、平滑化する係数の本数は任意である。また、移動平均処理に代えて例えばスプライン補間による平滑化処理を行う構成としてもよい。また、ＦＦＴパワースペクトル係数の補正処理方法を例に挙げて説明したが、例えば周波数時間変換部２０及び２１において時間周波数変換を行うブロック単位での時変フィルタ処理による方法でも周波数特性の補正は実現できる。
【００８７】
引き続き、動作説明を行う。周波数時間変換部２０及び２１は、それぞれ、ＮＲ信号及びＢＧＭ信号の周波数時間変換を行ってＤＡ変換部２２及び２３に出力する。
【００８８】
ＤＡ変換部２２及び２３は、それぞれ、デジタル信号のＮＲ信号及びＢＧＭ信号をアナログ信号に変換して出力する。
【００８９】
なお、動作説明において述べた各処理をプログラミングし、当該プログラムによってコンピュータを動作させることにより、当該プログラムは、コンピュータを高齢者聴覚模擬装置１００として機能させることができる。この場合、コンピュータは、図１に示した構成を有することとなる。
【００９０】
以上のように、本実施の形態における高齢者聴覚模擬装置１００によれば、マスキング補正量算出部１７は、周波数バンド毎のＮＲ信号及びＢＧＭ信号のエネルギレベル差に基づいてＮＲに対するＢＧＭによる妨害量をマスキング補正量として算出し、リクルートメント模擬部１８は、ＮＲ信号のエネルギレベルとＢＧＭ信号のエネルギレベルとの和に基づいて高齢者のリクルートメント現象を模擬するためのリクルートメント補正量を周波数バンド毎に算出する構成としたので、高齢者の聴覚特性を正確に模擬することができる。
【００９１】
また、本実施の形態における高齢者聴覚模擬装置１００は、従来のものとは異なり、雑音信号成分を健聴者に与える構成を有するものではないので、健聴者に不快感を与えることなく、高齢者の聴覚特性を正確に模擬することができる。
【００９２】
したがって、本実施の形態における高齢者聴覚模擬装置１００は、ＮＲ信号とＢＧＭ信号とをミキシングするミキシング装置に、高齢者の聴覚特性を正確に模擬したＮＲ信号及びＢＧＭ信号を提供することができるので、高齢者にとって適正な音響効果が得られる番組制作を支援することができる。
【００９３】
なお、本発明の実施の形態を、高齢者の聴覚特性を模擬する高齢者聴覚模擬装置１００を例に挙げて説明したが、本発明はこれに限定されるものではなく、高齢者以外の感音性難聴者の聴覚特性を模擬する装置に適用しても、同様の効果が得られる。
【００９４】
また、前述の実施の形態において、高齢者聴覚模擬装置１００が、ＮＲ信号及びＢＧＭ信号を対象とした例を挙げて説明したが、本発明はこれに限定されるものではなく、例えば、台詞の音声信号及び効果音の信号を対象とするものに適用しても同様な効果が得られる。
【００９５】
（第２の実施の形態）
図６は、本発明の第２の実施の形態における高齢者聴覚模擬装置を示すブロック図である。
【００９６】
図６に示すように、本実施の形態における高齢者聴覚模擬装置２００は、第１の実施の形態における高齢者聴覚模擬装置１００（図１参照）と、混合器２０１とを備えている。
【００９７】
混合器２０１は、高齢者聴覚模擬装置１００のＤＡ変換部２２及び２３から、それぞれ、高齢者の聴覚を模擬したＮＲ信号とＢＧＭ信号とを入力し、それらを混合して高齢者模擬混合音信号を出力するようになっている。なお、混合器２０１は、本発明に係る模擬信号混合手段を構成する。
【００９８】
本実施の形態における高齢者聴覚模擬装置２００は、前述のように構成されているので、高齢者模擬混合音信号を再生することによって、その再生音の聴取者に高齢者の聴覚特性を把握させることができる。例えば、高齢者聴覚模擬装置２００は、２０〜３０歳代の若い音声ミキサに高齢者模擬混合音信号を再生して聴取させることにより、ＢＧＭが大き過ぎてＮＲが聴き取り難いといった現象を体験させることができるので、高齢者にとって適正な音響効果の必要性を若い音声ミキサに認識させることができる。
【００９９】
また、高齢者聴覚模擬装置２００が出力する高齢者模擬混合音信号を若年者に聴取させることによって、若い音声ミキサのみならず、高齢者に対する若年者の理解を促進することができ、よりバリアフリーな社会を実現するためのきっかけとすることができる。
【０１００】
（第３の実施の形態）
図７は、本発明の第３の実施の形態におけるミキシングバランス表示システムを示すブロック図である。ここで、本実施の形態におけるミキシングバランス表示システムは、テレビやラジオ等の番組制作時にＮＲ信号とＢＧＭ信号とのミキシングバランスを監視し、例えばＢＧＭ信号のレベルが大き過ぎてＮＲが聞きにくい場合には「ＢＧＭ信号のレベルが大き過ぎる」、逆に、ＢＧＭ信号のレベルが小さ過ぎて音響効果が得られない場合には「ＢＧＭ信号のレベルが小さ過ぎる」というような注意又は警告を音声ミキサに対して行うものである。
【０１０１】
まず、本実施の形態におけるミキシングバランス表示システム３００の構成について説明する。
【０１０２】
図７に示すように、本実施の形態におけるミキシングバランス表示システム３００は、第１の実施の形態における高齢者聴覚模擬装置１００（図１参照）と、ミキシングバランス表示装置３１０とを備えている。なお、高齢者聴覚模擬装置１００の構成の説明は省略する。また、高齢者聴覚模擬装置１００が出力する高齢者の聴覚特性を模擬したＮＲ信号及びＢＧＭ信号を、それぞれ、以下「模擬ＮＲ信号」及び「模擬ＢＧＭ信号」という。
【０１０３】
ミキシングバランス表示装置３１０は、アナログ信号である模擬ＮＲ信号をデジタル信号に変換するＡＤ変換部３１１と、アナログ信号である模擬ＢＧＭ信号をデジタル信号に変換するＡＤ変換部３１２と、模擬ＮＲ信号のレベルを検出するＮＲレベル検出部３１３と、模擬ＢＧＭ信号のレベルを検出するＢＧＭレベル検出部３１４と、模擬ＮＲ信号と模擬ＢＧＭ信号とのレベル差を算出するレベル差算出部３１５と、レベル差に対して所定の重み付けを行って重み付きレベル差を算出する重み付きレベル差算出部３１６と、重み付きレベル差の値の平均値を算出する平均レベル差算出部３１７と、模擬ＮＲ信号のレベルの平均値を算出するＮＲ平均値算出部３１８と、ミキシングバランスの状態を示す表示値を決定する表示値決定部３１９と、表示値決定部３１９の出力を制御するための表示制御信号を生成する表示制御信号生成部３２０と、例えばＶＵ（Ｖｏｌｕｍｅ Ｕｎｉｔ）メータのようなレベルメータを有し、ミキシングバランスの状態を表示する表示部３２１とを備えている。
【０１０４】
ＡＤ変換部３１１及び１２は、それぞれ、模擬ＮＲ信号及び模擬ＢＧＭ信号を入力し、アナログ値からデジタル値に変換するようになっている。例えば、ＡＤ変換部３１１及び１２は、それぞれ、サンプリング周波数が４８ｋＨｚ、量子化精度が１６ビットのデジタル信号にアナログ信号を変換するようになっている。尤も、入力される模擬ＮＲ信号及び模擬ＢＧＭ信号がデジタル信号である場合は、ＡＤ変換部３１１及び３１２は不要である。なお、本実施の形態におけるサンプリング周波数を４８ｋＨｚとして以下説明する。
【０１０５】
ＮＲレベル検出部３１３は、模擬ＮＲ信号のラウドネスレベル（ｐｈｏｎ）を一定の短時間ΔＴ毎に検出するようになっている。ここで、一定の短時間ΔＴは、サンプリング周波数４８ｋＨｚで例えば１０２４サンプルを取得する場合は、約２１．３ｍｓ（＝１０２４／４８０００ｓ）となる。なお、ＮＲレベル検出部３１３は、サンプリング周波数４８ｋＨｚで１０２４サンプルを取得するものとし、以下の説明において、１０２４サンプルの取得単位をフレームという。
【０１０６】
ＢＧＭレベル検出部３１４は、ＮＲレベル検出部３１３と同様に、模擬ＢＧＭ信号のラウドネスレベルをフレーム毎に検出するようになっている。
【０１０７】
なお、ＮＲレベル検出部３１３及びＢＧＭレベル検出部３１４は、本発明に係るレベル検出手段を構成する。また、ＮＲレベル検出部３１３及びＢＧＭレベル検出部３１４が各信号のラウドネスレベルを検出する方法としては、例えばＩＳＯ５３２に規格化されたものがある。また、ラウドネスレベルに代えて各信号の平均エネルギレベル（ｄＢ）を算出する構成としてもよく、この場合は、例えばサンプル値の２乗平均値を算出し、ｄＢ変換すればよい。
【０１０８】
以下の説明においては、適正なレベルでミキシングされた模擬ＮＲ信号のラウドネスレベル（ｐｈｏｎ）を０で正規化した相対レベルを用いて表すことにする。また、模擬ＢＧＭ信号のレベルも模擬ＮＲ信号と同一のレベルで正規化した相対レベルを用いて表すことにする。一例を挙げれば、適正なレベルでミキシングされた模擬ＮＲ信号のラウドネスレベルが７０（ｐｈｏｎ）の場合では、模擬ＮＲ信号又は模擬ＢＧＭ信号のラウドネスレベルが、７０（ｐｈｏｎ）のときは当該信号の相対レベルは０であり、７５（ｐｈｏｎ）のときは当該信号の相対レベルは＋５である。
【０１０９】
また、正規化後の相対レベルが例えば−５０程度以下の場合は、模擬ＮＲ信号及び模擬ＢＧＭ信号のラウドネスレベルは聴感的に非常に小さいものであるので、−５０以下の値を全て−５０で置き換えても実用上は十分である。なお、０で正規化しないで後述する処理を行うこともできるが、その場合には各閾値の値が相対的に変わってくる。以下、正規化された模擬ＮＲ信号の相対レベルを「Ｎ」、正規化された模擬ＢＧＭ信号の相対レベルを「Ｂ」と表す。
【０１１０】
レベル差算出部３１５は、ＮＲレベル検出部３１３及びＢＧＭレベル検出部３１４から、それぞれ、模擬ＮＲ信号の相対レベルＮ及び模擬ＢＧＭ信号の相対レベルＢの情報をフレーム毎に入力し、両者の相対レベルの差（以下「相対レベル差」という。）Ｂ−Ｎを算出するようになっている。なお、レベル差算出部３１５は、本発明に係るレベル差算出手段を構成する。
【０１１１】
重み付きレベル差算出部３１６は、レベル差算出部３１５が算出した相対レベル差Ｂ−Ｎに対し、模擬ＮＲ信号の相対レベルＮの大きさに応じた重み付けを行って重み付きレベル差を算出するようになっている。なお、重み付きレベル差算出部３１６は、図示しないメモリを備えており、このメモリは、算出された重み付きレベル差の各値を逐次記憶するようになっている。
【０１１２】
具体的には、重み付きレベル差算出部３１６は、例えば図８に示すようなレベル重み付け関数によって相対レベル差Ｂ−Ｎに対する重み付けを行う。図８において、重み付きレベル差算出部３１６は、Ｎ＜−３０のときは相対レベルが−５０の信号を出力し、Ｎ＞−１５のときは相対レベルがＢ−Ｎである信号を出力し、−３０≦Ｎ≦−１５のときは相対レベルがＮ（Ｂ−Ｎ＋５０）／１５＋２（Ｂ−Ｎ）＋５０である信号を出力するようになっている。
【０１１３】
なお、図８においては、座標（−３０，−５０）と（−１５，Ｂ−Ｎ）との２点を直線で結んだ例で説明したが、本発明はこれに限定されるものではなく、この２点を単調な関数で結んだものであれば実用上は十分である。また、重み付きレベル差算出部３１６は、本発明に係る重み付きレベル差算出手段を構成する。また、図８において、Ｎ＝−３０及びＮ＝−１５は、特許請求の範囲に記載の第１の閾値Ｔ１及び第２の閾値Ｔ２にそれぞれ対応するものである。
【０１１４】
次に、レベル差算出部３１５及び重み付きレベル差算出部３１６が出力する信号について図９の模式図を用いて説明する。レベル差算出部３１５に入力される模擬ＮＲ信号及び模擬ＢＧＭ信号の各相対レベルが図９（ａ）に示すような関係にある場合、レベル差算出部３１５は、まず、図９（ｂ）に示すような相対レベル差Ｂ−Ｎを算出する。次に、重み付きレベル差算出部３１６は、算出した相対レベル差Ｂ−Ｎの値に、図８に例示した重み付け関数で重み付けすることにより、図９（ｂ）に示すような重み付き相対レベル差Ｂ−Ｎを算出する。
【０１１５】
図９（ｂ）に示すように、相対レベル差Ｂ−Ｎは、模擬ＢＧＭ信号の相対レベルＢが大きいほど、又は模擬ＮＲ信号の相対レベルＮが小さいほど大きくなる。模擬ＮＲ信号の相対レベルＮが小さい場合、すなわち、模擬ＮＲ信号がほとんど存在しない場合には、「模擬ＢＧＭ信号が大き過ぎる」という表示を行う必要はないので、図８に例示したような重み関数で重み付けして、図９（ｃ）に示すように、模擬ＮＲ信号の相対レベルＮが小さい場合には重み付き相対レベル差Ｂ−Ｎの値を小さくしている。すなわち、重み付けを行う前の相対レベル差Ｂ−Ｎの値（図９（ｂ））の大小では「模擬ＢＧＭ信号が大き過ぎる」か否かの判断を行うことはできないが、重み付き相対レベル差Ｂ−Ｎの値（図９（ｃ））の大小を用いれば「模擬ＢＧＭ信号が大き過ぎる」か否かの判断を行うことができることになる。
【０１１６】
平均レベル差算出部３１７は、現フレームから過去のｎ個のフレームまでの間において、重み付きレベル差Ｂ−Ｎの値の大きいものから順にｍ個の値の平均値（以下「パーセント時間率平均レベル差」という。）を算出するようになっている。ここで、ｎ及びｍは正の整数であり、ｎ≧ｍの関係がある。なお、平均レベル差算出部３１７は、本発明に係る平均レベル差算出手段を構成する。
【０１１７】
ｎを大きくするほど、長時間の無音区間を除くことができるので、表示部３２１が有するレベルメータの指示値の変化を緩やかにすることができるが、ｎが大き過ぎると無音区間が長時間続いても０でない指示値を長時間指示するので、適当な長さに設定する必要がある。また、ｍを大きくするほど、レベルメータの指示値の変化を緩やかにすることができるが、指示値の立ち上がり時間が遅くなるので、ｍをある程度小さくして、指示値の立ち上がり時間を短くする必要がある。実用上は、例えばｎ＝１００、ｍ＝４として、４％に相当するパーセント時間率平均レベル差を求める構成とするのが好ましい。
【０１１８】
ｎ及びｍを適切に設定して算出したパーセント時間率平均レベル差を用いることにより、模擬ＮＲ信号と模擬ＢＧＭ信号とのラウドネスの差に関し、高齢者の聴感とよく合った判断ができるようになる。なお、パーセント時間率平均レベル差に関しては、特許３４６２３９０号公報に詳述されている。
【０１１９】
なお、発明者の検討結果によれば、ステレオ信号の場合には音素材の種類に関わらず、模擬ＮＲ信号と模擬ＢＧＭ信号とのミキシングバランスが適正であれば、平均レベル差算出部３１７の出力信号の相対レベルは概ね０となる。
【０１２０】
次に、模擬ＮＲ信号が存在するフレームのみにおいて、パーセント時間率平均レベル差が大きいほど「模擬ＢＧＭ信号が大き過ぎる」、逆に、小さいほど「模擬ＢＧＭ信号が小さ過ぎる（ＢＧＭの効果がない）」という表示を行おうとする場合、模擬ＮＲ信号が存在しないフレームでは「模擬ＢＧＭ信号が大き過ぎる」あるいは、「模擬ＢＧＭ信号が小さ過ぎる」と表示されるよりも「模擬ＢＧＭ信号のレベルが適正である」と表示される方が聴感的に好ましい。そこで、本実施の形態におけるＮＲ平均値算出部３１８及び表示値決定部３１９は以下のように構成されている。
【０１２１】
すなわち、ＮＲ平均値算出部３１８は、現フレームから過去の所定数（例えば数個〜数十個）のフレームまでの間における模擬ＮＲ信号のレベル平均値ＮＡを算出するようになっている。なお、ＮＲ平均値算出部３１８は、本発明に係る第１聴覚特性模擬信号平均値算出手段を構成する。
【０１２２】
また、表示値決定部３１９は、模擬ＮＲ信号のレベル平均値ＮＡを予め定められた閾値ＬＴと比較してミキシングバランスの状態を示す表示値を決定するようになっている。具体的には、表示値決定部３１９は、模擬ＮＲ信号のレベル平均値ＮＡが、ＮＡ≧ＬＴのときは平均レベル差算出部３１７の出力値を表示値とし、ＮＡ＜ＬＴのときは平均レベル差算出部３１７の出力値をミキシングバランスが適正な場合の値に変換して表示値とするようになっている。なお、表示値決定部３１９は、本発明に係る表示値決定手段を構成する。
【０１２３】
ここで、模擬ＮＲ信号の相対レベルＮではなく平均値ＮＡを用いることにより、パーセント時間率平均レベル差の立ち上がり部及び立ち下がり部における不適切な判定を防ぐことができる。なお、不適切な判定をより確実に防ぐためには、ＮＲ平均値算出部３１８が平均する個数を平均レベル差算出部３１７における個数ｍより大きくした方がよい。なお、ミキシングバランスが適正な場合のパーセント時間率平均レベル差の値は心理実験を行って測定する必要があるが、ステレオ信号の場合には、当該値の相対レベルとしては概ね０程度である。
【０１２４】
実用的には、ＮＲ平均値算出部３１８は、平均値ＮＡを算出するためのフレーム個数を例えば１４個（２１．３ｍｓ×１４＝２９８ｍｓ）として模擬ＮＲ信号の相対レベルの平均値を算出するものであればよい。その結果、平均値ＮＡの値は、ＶＵメータの立ち上がり時間（約３００ｍｓ）とほぼ等しい立ち上がり時間で変動することとなる。また、閾値ＬＴとしては相対レベルで−１５程度の値にすればよい。この場合、表示値決定部３１９は、平均値ＮＡが約−１５以上の場合には平均レベル差算出部３１７の出力値をそのまま出力し、平均値ＮＡが約−１５未満の場合には平均レベル差算出部３１７の出力値をミキシングバランスが適正な場合の値（例えば相対レベル＝０）に変換することとなる。したがって、平均値ＮＡが約−１５未満の場合、すなわち、模擬ＮＲ信号が存在しないとみなせるフレームでは、「模擬ＢＧＭ信号のレベルは適正である」と表示され、高齢者の聴感と対応がとれた表示が得られることとなる。
【０１２５】
ここで、表示値決定部３１９が決定した出力値を表示部３２１で常時表示したのでは、模擬ＮＲ信号が長時間（例えば５ｓ）に渡り存在しない場合においても、表示部３２１は「模擬ＢＧＭ信号のレベルは適正である」と表示することになる。そこで、模擬ＮＲ信号が長時間に渡って存在しない場合には表示そのものを消した方が聴感的によく合うので、本実施の形態における表示制御信号生成部３２０は、以下のように構成されている。
【０１２６】
すなわち、表示制御信号生成部３２０は、模擬ＮＲ信号の相対レベルＮと予め定められた閾値ＬＧとをフレーム毎に比較し、模擬ＮＲ信号の相対レベルＮが、Ｎ≧ＬＧとなったフレームのうち現フレームに最も近いフレームから所定個数分のフレームにおける表示値決定部３１９からの出力信号を表示部３２１に入力させるよう制御するとともに、所定個数を超えたときは表示値決定部３１９からの出力信号を遮断して表示を行わないよう制御する表示制御信号を生成するようになっている。なお、表示制御信号生成部３２０は、本発明に係る表示制御信号生成手段を構成する。
【０１２７】
実用的には、閾値ＬＧとしては相対レベルで−１５程度であればよい。また、模擬ＮＲ信号の相対レベルが瞬間的に低下した場合、例えば数１００ｍｓ程度低下した場合の影響を除くためには、前述の所定個数としては５０〜１００個程度が適当である。なお、所定個数を１００個とした場合の時間は、２１．３ｍｓ×１００＝２．１３ｓである。
【０１２８】
表示部３２１は、例えばレベルメータを備え、表示制御信号生成部３２０が生成した表示制御信号に基づいて、表示値決定部３１９の出力値を表示するようになっている。この表示部３２１は、本発明に係るミキシングバランス表示手段を構成する。
【０１２９】
なお、表示部３２１は、表示値決定部３１９の出力値を例えば数〜十数段階に分類して表示するものであってもよい。具体的には、模擬ＢＧＭ信号のレベルを例えば７段階に分類して表示部３２１に表示させる場合は、表示値決定部３１９の出力の値を大きい方から順に７段階に分類し、模擬ＢＧＭ信号のレベルが「非常に大き過ぎる」、「大き過ぎる」、「やや大きい」、「適正」、「やや小さい」、「小さ過ぎる」、「非常に小さ過ぎる」等と表示させればよい。模擬ＢＧＭ信号のレベルを前述のように７段階に分類するための６つの境界値は心理実験を行って求める必要があるが、６つの境界値の相対レベルとしては、概ね、６、４、２、−３、−６、−９程度が好ましい。この構成により、ミキシングバランスの状態を高齢者の聴感に対応させて視認性よく表示することができる。
【０１３０】
次に、本実施の形態におけるミキシングバランス表示装置３１０の動作について説明する。
【０１３１】
まず、ＡＤ変換部３１１は、模擬ＮＲ信号を入力してデジタル信号に変換し、ＡＤ変換部３１２は、模擬ＢＧＭ信号を入力してデジタル信号に変換する。
【０１３２】
ＮＲレベル検出部３１３は、模擬ＮＲ信号のレベルをフレーム毎に検出し、ＢＧＭレベル検出部３１４は、模擬ＢＧＭ信号のレベルをフレーム毎に検出する。
【０１３３】
レベル差算出部３１５は、模擬ＮＲ信号と模擬ＢＧＭ信号とのレベル差を算出した後、重み付きレベル差算出部３１６は、レベル差算出部３１５が算出したレベル差に対して、例えば図８に示す重み付け関数に基づいて重み付けを行うことにより重み付きレベル差を算出する。
【０１３４】
平均レベル差算出部３１７は、パーセント時間率平均レベル差の算出、すなわち、現フレームから過去のｎ個のフレームまでの間において、重み付きレベル差Ｂ−Ｎの値の大きいものから順にｍ個の値の平均値を算出する。
【０１３５】
ＮＲ平均値算出部３１８は、現フレームから過去の所定数（例えば数個〜数十個）のフレームまでの間における模擬ＮＲ信号のレベル平均値ＮＡを算出する。
【０１３６】
表示値決定部３１９は、模擬ＮＲ信号のレベル平均値ＮＡが、ＮＡ≧ＬＴのときは平均レベル差算出部３１７の出力値を表示値とし、ＮＡ＜ＬＴのときは平均レベル差算出部３１７の出力値を、ミキシングバランスが適正な場合の値に変換して表示値とされる。
【０１３７】
表示制御信号生成部３２０は、模擬ＮＲ信号の相対レベルＮと予め定められた閾値ＬＧとをフレーム毎に比較し、表示値決定部３１９の出力を制御するための表示制御信号を生成する。具体的には、表示制御信号生成部３２０は、模擬ＮＲ信号の相対レベルＮが、Ｎ≧ＬＧとなったフレームのうち現フレームに最も近いフレームから所定個数分のフレームにおける表示値決定部３１９からの出力信号を表示部３２１に入力させるよう制御するとともに、所定個数を超えたときは表示値決定部３１９からの出力信号を遮断して表示を行わないよう制御する表示制御信号を生成する。
【０１３８】
そして、表示部３２１は、表示制御信号生成部３２０が生成した表示制御信号に基づいて、模擬ＮＲ信号と模擬ＢＧＭ信号とのミキシングバランスの状態を表示する。
【０１３９】
なお、動作説明において述べた各処理をプログラミングし、当該プログラムによってコンピュータを動作させることにより、当該プログラムは、コンピュータをミキシングバランス表示システム３００として機能させることができる。この場合、コンピュータは、図７に示した構成を有することとなる。
【０１４０】
以上のように、本実施の形態におけるミキシングバランス表示システム３００によれば、ミキシングバランス表示装置３１０において、重み付きレベル差算出部３１６は、模擬ＮＲ信号と模擬ＢＧＭ信号とのレベル差に対して所定の重み付けを行って重み付きレベル差を算出し、平均レベル差算出部３１７は、パーセント時間率平均レベル差を算出し、ＮＲ平均値算出部３１８は、現フレームから過去の所定数のフレームまでの間における模擬ＮＲ信号のレベル平均値ＮＡを算出し、表示値決定部３１９は、模擬ＮＲ信号のレベル平均値ＮＡを閾値ＬＴと比較してミキシングバランスの状態を示す表示値を決定し、表示制御信号生成部３２０は、表示値決定部３１９の出力を制御するための表示制御信号を生成し、表示部３２１は、表示制御信号に基づいてミキシングバランスの状態を表示する構成としたので、ミキシングバランスの状態を高齢者の聴感に対応させて表示することができる。
【０１４１】
したがって、本実施の形態におけるミキシングバランス表示システム３００は、例えば模擬ＢＧＭ信号のレベルが模擬ＮＲ信号のレベルよりも大き過ぎる場合は模擬ＢＧＭ信号のレベルを下げるよう音声ミキサに促すことができ、模擬ＢＧＭ信号のレベルが大き過ぎてＮＲが聴き取りにくいといった現象を未然に防ぐことができるので、番組の音響効果の向上を支援することができる。また、本実施の形態におけるミキシングバランス表示装置３１０は、例えば模擬ＢＧＭ信号のレベルが模擬ＮＲ信号のレベルよりも小さ過ぎて音響効果が得られない場合は模擬ＢＧＭ信号のレベルを上げるよう音声ミキサに促すことができるので、番組の音響効果の向上を支援することができる。
【０１４２】
なお、前述の実施の形態において、ミキシングバランス表示システム３００が、ＮＲ信号及びＢＧＭ信号を対象とした例を挙げて説明したが、本発明はこれに限定されるものではなく、例えば、台詞の音声信号と効果音の信号とのミキシングを対象とするものに適用しても同様な効果が得られる。
【０１４３】
また、高齢者聴覚模擬装置１００（図１参照）のリクルートメント模擬部１８が、例えば、高齢者の模擬音を聴く人物や音声ミキサの年齢における平均的な最小可聴限界値や、模擬音を聴く人物自身の最小可聴下限値の測定値や音声ミキサ自身の最小可聴下限値の測定値に応じて、閾値Ｙ＿ＭＡＦを周波数バンド毎に可変可能な構成とするのが好ましく、この構成により、模擬対象者の聴覚特性をより正確に模擬することができる。
【０１４４】
次に、本実施の形態の他の態様について説明する。図１０に示すように、ミキシングバランス表示システム４００は、高齢者聴覚模擬装置４１０と、ミキシングバランス表示装置４２０とを備えている。
【０１４５】
高齢者聴覚模擬装置４１０は、第１の実施の形態における高齢者聴覚模擬装置１００（図１参照）の構成に対し、周波数特性補正部１９と、周波数時間変換部２０及び２１と、ＤＡ変換部２２及び２３とを省略したものである。
【０１４６】
ミキシングバランス表示装置４２０は、本実施の形態におけるミキシングバランス表示装置３１０（図７参照）の構成に対し、ＡＤ変換部３１１及び３１２を省略したものである。なお、図１０において、ミキシングバランス表示装置４２０の構成の一部を省略して図示している。
【０１４７】
高齢者聴覚模擬装置４１０において、エネルギレベル算出部１５及び１６は、それぞれ、例えば１／３オクターブの周波数バンド毎にＮＲ信号及びＢＧＭ信号のエネルギレベルを算出し、マスキング補正量算出部１７及びリクルートメント模擬部１８では、高齢者の聴力劣化特性を模擬したＮ'（ｋ）及びＢ'（ｋ）を出力する。
【０１４８】
次に、ミキシングバランス表示装置４２０において、Ｎ'（ｋ）及びＢ'（ｋ）を入力し、これらに基づいて例えばＩＳＯ５３２に準拠したラウドネスレベルを算出する。
【０１４９】
この結果、ミキシングバランス表示システム４００は、ミキシングバランスの状態を高齢者の聴感に対応させて表示することができる。
【産業上の利用可能性】
【０１５０】
以上のように、本発明に係る聴覚特性模擬装置、ミキシングバランス表示システム及びそれらのプログラムは、健聴者に不快感を与えることなく、感音性難聴者の聴覚特性を正確に模擬することができるという効果を有し、高齢者のような感音性難聴者を対象としたテレビ番組やラジオ番組等の制作に用いる聴覚特性模擬装置、ミキシングバランス表示システム及びそれらのプログラム等として有用である。
【図面の簡単な説明】
【０１５１】
【図１】本発明の第１の実施の形態における高齢者聴覚模擬装置の構成を示すブロック図
【図２】本発明の第１の実施の形態における高齢者聴覚模擬装置において、マスキング補正量の設定例の説明図
【図３】本発明の第１の実施の形態における高齢者聴覚模擬装置において、ＮｐＢ（ｋ）と、リクルートメント現象により高齢者が知覚する音圧レベルとの関係を示す図
【図４】本発明の第１の実施の形態における高齢者聴覚模擬装置において、リクルートメント補正量の設定例の説明図
【図５】本発明の第１の実施の形態における高齢者聴覚模擬装置において、周波数特性補正部による特性補正を概念的に示す図 （ａ）各周波数バンドにおいて一定量となるＦＦＴパワースペクトル係数の補正量の大きさを示す概念図 （ｂ）各周波数バンドにおいてＦＦＴパワースペクトル係数のエネルギ補正を移動平均により平滑化した例を示す概念図
【図６】本発明の第２の実施の形態における高齢者聴覚模擬装置の構成を示すブロック図
【図７】本発明の第３の実施の形態におけるミキシングバランス表示システムの構成を示すブロック図
【図８】本発明の第３の実施の形態におけるミキシングバランス表示システムにおいて、レベル重み付け関数の一例を示す図
【図９】本発明の第３の実施の形態におけるミキシングバランス表示システムにおいて、ＮＲ信号及びＢＧＭ信号の相対レベル差を説明するための模式図 （ａ）入力されるＮＲ信号及びＢＧＭ信号の相対レベルの一例を示す図 （ｂ）相対レベル差Ｂ−Ｎの一例を示す図 （ｃ）重み付き相対レベル差Ｂ−Ｎの一例を示す図
【図１０】本発明の第３の実施の形態におけるミキシングバランス表示システムの他の態様の構成を示すブロック図
【符号の説明】
【０１５２】
１１、１２、３１１、３１２ ＡＤ変換部
１３、１４ 時間周波数変換部
１５、１６ エネルギレベル算出部（エネルギレベル算出手段）
１７ マスキング補正量算出部（マスキング補正量算出手段）
１８ リクルートメント模擬部（リクルートメント補正量算出手段、聴覚特性模擬信号算出手段）
１９ 周波数特性補正部
２０、２１ 周波数時間変換部
２２、２３ ＤＡ変換部
１００、２００、４１０ 高齢者聴覚模擬装置（聴覚特性模擬装置）
２０１ 混合器（模擬信号混合手段）
３００、４００ ミキシングバランス表示システム
３１０、４２０ ミキシングバランス表示装置
３１３ ＮＲレベル検出部（レベル検出手段）
３１４ ＢＧＭレベル検出部（レベル検出手段）
３１５ レベル差算出部（レベル差算出手段）
３１６ 重み付きレベル差算出部（重み付きレベル差算出手段）
３１７ 平均レベル差算出部（平均レベル差算出手段）
３１８ ＮＲ平均値算出部（第１聴覚特性模擬信号平均値算出手段）
３１９ 表示値決定部（表示値決定手段）
３２０ 表示制御信号生成部（表示制御信号生成手段）
３２１ 表示部（ミキシングバランス表示手段）
【特許請求の範囲】
【請求項１】
第１及び第２の音信号のエネルギレベルを周波数バンド毎に算出するエネルギレベル算出手段と、前記第１の音信号のエネルギレベルと前記第２の音信号のエネルギレベルとの差に基づいて感音性難聴者の聴覚マスキング特性を模擬するためのマスキング補正量を前記周波数バンド毎に算出するマスキング補正量算出手段と、前記第１の音信号のエネルギレベルと前記第２の音信号のエネルギレベルとの和に基づいて前記感音性難聴者のリクルートメント現象を模擬するためのリクルートメント補正量を前記周波数バンド毎に算出するリクルートメント補正量算出手段と、前記マスキング補正量及び前記リクルートメント補正量に基づいて前記第１及び前記第２の音信号にそれぞれ対応する前記感音性難聴者の聴覚特性を模擬した第１及び第２の聴覚特性模擬信号を算出する聴覚特性模擬信号算出手段とを備えたことを特徴とする聴覚特性模擬装置。
【請求項２】
前記マスキング補正量算出手段は、前記第１の音信号のエネルギレベルと前記第２の音信号のエネルギレベルとの差が、予め定められた第１の閾値以上のとき予め定められた第１のマスキング補正量を示す信号を出力し、予め定められた第２の閾値以下のとき予め定められた第２のマスキング補正量を示す信号を出力し、前記第１の閾値と前記第２の閾値との間にあるとき前記第１のマスキング補正量と前記第２のマスキング補正量とを単調に結ぶ関数で得られる値を示す信号を出力するものであり、前記第１の閾値は、前記第２の閾値よりも大きく、前記第１のマスキング補正量は、前記第２のマスキング補正量よりも大きいことを特徴とする請求項１に記載の聴覚特性模擬装置。
【請求項３】
前記リクルートメント補正量算出手段は、前記第１の音信号のエネルギレベルと前記第２の音信号のエネルギレベルとの和を示すエネルギレベル加算値が、予め定められた第１及び第２の年齢層の人間が相互にラウドネスを等しく感じる最小の音圧レベルを示す最小音圧レベル閾値以上のとき予め定められたリクルートメント補正量を示す信号を出力し、前記最小音圧レベル閾値よりも小さいとき予め定められた関数で得られるリクルートメント補正量を示す信号を出力するものであり、
前記関数は、前記第１及び前記第２の年齢層の人間がそれぞれ聞き取ることのできる最小の音圧と周波数との関係を示す最小可聴限特性からそれぞれ導出される第１及び第２の最小可聴限値と、前記エネルギレベル加算値と、前記最小音圧レベル閾値とに基づいて決められたものであり、
前記第１の最小可聴限値は、前記第２の最小可聴限値よりも小さいことを特徴とする請求項１又は請求項２に記載の聴覚特性模擬装置。
【請求項４】
前記リクルートメント補正量算出手段は、前記第１の最小可聴限値、前記第２の最小可聴限値及び前記最小音圧レベル閾値のそれぞれを可変可能であることを特徴とする請求項３に記載の聴覚特性模擬装置。
【請求項５】
前記聴覚特性模擬信号算出手段は、前記第１の音信号のエネルギレベルと、前記マスキング補正量と、前記リクルートメント補正量とに基づいて前記第１の聴覚特性模擬信号を算出し、前記第２の音信号のエネルギレベルと、前記リクルートメント補正量とに基づいて前記第２の聴覚特性模擬信号を算出することを特徴とする請求項１から請求項４までのいずれか１項に記載の聴覚特性模擬装置。
【請求項６】
前記第１の聴覚特性模擬信号と前記第２の聴覚特性模擬信号とを混合する模擬信号混合手段を備えたことを特徴とする請求項１から請求項５までのいずれか１項に記載の聴覚特性模擬装置。
【請求項７】
請求項１から請求項６までのいずれか１項に記載の聴覚特性模擬装置と、前記第１の聴覚特性模擬信号と前記第２の聴覚特性模擬信号とのミキシングバランスの状態を表示するミキシングバランス表示装置とを備え、
前記ミキシングバランス表示装置は、前記第１及び前記第２の聴覚特性模擬信号のレベルを所定時間間隔のフレーム毎に検出するレベル検出手段と、前記第１の聴覚特性模擬信号と前記第２の聴覚特性模擬信号とのレベル差を算出するレベル差算出手段と、前記レベル差に対して前記第１の聴覚特性模擬信号のレベルに応じた重み付けを行って重み付きレベル差を算出する重み付きレベル差算出手段と、現フレームから過去のｎ個のフレームまでの間において前記重み付きレベル差の値の大きいものから順にｍ個の値の平均値を算出する平均レベル差算出手段と、現フレームから過去の所定数のフレームまでの間における前記第１の聴覚特性模擬信号のレベル平均値を算出する第１聴覚特性模擬信号平均値算出手段と、前記平均レベル差算出手段及び前記第１聴覚特性模擬信号平均値算出手段の算出結果に基づいて前記第１の聴覚特性模擬信号と前記第２の聴覚特性模擬信号とのミキシングバランスの状態を示す表示値を決定する表示値決定手段と、前記第１の聴覚特性模擬信号のレベルに基づいて前記表示値決定手段の出力を制御する表示制御信号を生成する表示制御信号生成手段と、前記表示制御信号に基づいて前記ミキシングバランスの状態を表示するミキシングバランス表示手段とを備えたことを特徴とするミキシングバランス表示システム。
【請求項８】
感音性難聴者の聴覚特性を模擬する聴覚特性模擬装置としてコンピュータを機能させるための聴覚特性模擬プログラムであって、
前記コンピュータを、第１及び第２の音信号のエネルギレベルを周波数バンド毎に算出するエネルギレベル算出手段と、前記第１の音信号のエネルギレベルと前記第２の音信号のエネルギレベルとの差に基づいて前記感音性難聴者の聴覚マスキング特性を模擬するためのマスキング補正量を前記周波数バンド毎に算出するマスキング補正量算出手段と、前記第１の音信号のエネルギレベルと前記第２の音信号のエネルギレベルとの和に基づいて前記感音性難聴者のリクルートメント現象を模擬するためのリクルートメント補正量を前記周波数バンド毎に算出するリクルートメント補正量算出手段と、前記マスキング補正量及び前記リクルートメント補正量に基づいて前記第１及び前記第２の音信号にそれぞれ対応する前記感音性難聴者の聴覚特性を模擬した第１及び第２の聴覚特性模擬信号を算出する聴覚特性模擬信号算出手段として機能させることを特徴とする聴覚特性模擬プログラム。
【請求項９】
前記コンピュータを、前記第１の聴覚特性模擬信号と前記第２の聴覚特性模擬信号とを混合する模擬信号混合手段として機能させることを特徴とする請求項８に記載の聴覚特性模擬プログラム。
【請求項１０】
請求項８に記載の前記第１の聴覚特性模擬信号と前記第２の聴覚特性模擬信号とのミキシングバランスの状態を表示するミキシングバランス表示装置としてコンピュータを機能させるためのミキシングバランス表示プログラムであって、
前記コンピュータを、前記第１及び前記第２の聴覚特性模擬信号のレベルを所定時間間隔のフレーム毎に検出するレベル検出手段と、前記第１の聴覚特性模擬信号と前記第２の聴覚特性模擬信号とのレベル差を算出するレベル差算出手段と、前記レベル差に対して前記第１の聴覚特性模擬信号のレベルに応じた重み付けを行って重み付きレベル差を算出する重み付きレベル差算出手段と、現フレームから過去のｎ個のフレームまでの間において前記重み付きレベル差の値の大きいものから順にｍ個の値の平均値を算出する平均レベル差算出手段と、現フレームから過去の所定数のフレームまでの間における前記第１の聴覚特性模擬信号のレベル平均値を算出する第１聴覚特性模擬信号平均値算出手段と、前記平均レベル差算出手段及び前記第１聴覚特性模擬信号平均値算出手段の算出結果に基づいて前記第１の聴覚特性模擬信号と前記第２の聴覚特性模擬信号とのミキシングバランスの状態を示す表示値を決定する表示値決定手段と、前記第１の聴覚特性模擬信号のレベルに基づいて前記表示値決定手段の出力を制御する表示制御信号を生成する表示制御信号生成手段と、前記表示制御信号に基づいて前記ミキシングバランスの状態を表示するミキシングバランス表示手段として機能させることを特徴とするミキシングバランス表示プログラム。
【請求項１】
第１及び第２の音信号のエネルギレベルを周波数バンド毎に算出するエネルギレベル算出手段と、前記第１の音信号のエネルギレベルと前記第２の音信号のエネルギレベルとの差に基づいて感音性難聴者の聴覚マスキング特性を模擬するためのマスキング補正量を前記周波数バンド毎に算出するマスキング補正量算出手段と、前記第１の音信号のエネルギレベルと前記第２の音信号のエネルギレベルとの和に基づいて前記感音性難聴者のリクルートメント現象を模擬するためのリクルートメント補正量を前記周波数バンド毎に算出するリクルートメント補正量算出手段と、前記マスキング補正量及び前記リクルートメント補正量に基づいて前記第１及び前記第２の音信号にそれぞれ対応する前記感音性難聴者の聴覚特性を模擬した第１及び第２の聴覚特性模擬信号を算出する聴覚特性模擬信号算出手段とを備えたことを特徴とする聴覚特性模擬装置。
【請求項２】
前記マスキング補正量算出手段は、前記第１の音信号のエネルギレベルと前記第２の音信号のエネルギレベルとの差が、予め定められた第１の閾値以上のとき予め定められた第１のマスキング補正量を示す信号を出力し、予め定められた第２の閾値以下のとき予め定められた第２のマスキング補正量を示す信号を出力し、前記第１の閾値と前記第２の閾値との間にあるとき前記第１のマスキング補正量と前記第２のマスキング補正量とを単調に結ぶ関数で得られる値を示す信号を出力するものであり、前記第１の閾値は、前記第２の閾値よりも大きく、前記第１のマスキング補正量は、前記第２のマスキング補正量よりも大きいことを特徴とする請求項１に記載の聴覚特性模擬装置。
【請求項３】
前記リクルートメント補正量算出手段は、前記第１の音信号のエネルギレベルと前記第２の音信号のエネルギレベルとの和を示すエネルギレベル加算値が、予め定められた第１及び第２の年齢層の人間が相互にラウドネスを等しく感じる最小の音圧レベルを示す最小音圧レベル閾値以上のとき予め定められたリクルートメント補正量を示す信号を出力し、前記最小音圧レベル閾値よりも小さいとき予め定められた関数で得られるリクルートメント補正量を示す信号を出力するものであり、
前記関数は、前記第１及び前記第２の年齢層の人間がそれぞれ聞き取ることのできる最小の音圧と周波数との関係を示す最小可聴限特性からそれぞれ導出される第１及び第２の最小可聴限値と、前記エネルギレベル加算値と、前記最小音圧レベル閾値とに基づいて決められたものであり、
前記第１の最小可聴限値は、前記第２の最小可聴限値よりも小さいことを特徴とする請求項１又は請求項２に記載の聴覚特性模擬装置。
【請求項４】
前記リクルートメント補正量算出手段は、前記第１の最小可聴限値、前記第２の最小可聴限値及び前記最小音圧レベル閾値のそれぞれを可変可能であることを特徴とする請求項３に記載の聴覚特性模擬装置。
【請求項５】
前記聴覚特性模擬信号算出手段は、前記第１の音信号のエネルギレベルと、前記マスキング補正量と、前記リクルートメント補正量とに基づいて前記第１の聴覚特性模擬信号を算出し、前記第２の音信号のエネルギレベルと、前記リクルートメント補正量とに基づいて前記第２の聴覚特性模擬信号を算出することを特徴とする請求項１から請求項４までのいずれか１項に記載の聴覚特性模擬装置。
【請求項６】
前記第１の聴覚特性模擬信号と前記第２の聴覚特性模擬信号とを混合する模擬信号混合手段を備えたことを特徴とする請求項１から請求項５までのいずれか１項に記載の聴覚特性模擬装置。
【請求項７】
請求項１から請求項６までのいずれか１項に記載の聴覚特性模擬装置と、前記第１の聴覚特性模擬信号と前記第２の聴覚特性模擬信号とのミキシングバランスの状態を表示するミキシングバランス表示装置とを備え、
前記ミキシングバランス表示装置は、前記第１及び前記第２の聴覚特性模擬信号のレベルを所定時間間隔のフレーム毎に検出するレベル検出手段と、前記第１の聴覚特性模擬信号と前記第２の聴覚特性模擬信号とのレベル差を算出するレベル差算出手段と、前記レベル差に対して前記第１の聴覚特性模擬信号のレベルに応じた重み付けを行って重み付きレベル差を算出する重み付きレベル差算出手段と、現フレームから過去のｎ個のフレームまでの間において前記重み付きレベル差の値の大きいものから順にｍ個の値の平均値を算出する平均レベル差算出手段と、現フレームから過去の所定数のフレームまでの間における前記第１の聴覚特性模擬信号のレベル平均値を算出する第１聴覚特性模擬信号平均値算出手段と、前記平均レベル差算出手段及び前記第１聴覚特性模擬信号平均値算出手段の算出結果に基づいて前記第１の聴覚特性模擬信号と前記第２の聴覚特性模擬信号とのミキシングバランスの状態を示す表示値を決定する表示値決定手段と、前記第１の聴覚特性模擬信号のレベルに基づいて前記表示値決定手段の出力を制御する表示制御信号を生成する表示制御信号生成手段と、前記表示制御信号に基づいて前記ミキシングバランスの状態を表示するミキシングバランス表示手段とを備えたことを特徴とするミキシングバランス表示システム。
【請求項８】
感音性難聴者の聴覚特性を模擬する聴覚特性模擬装置としてコンピュータを機能させるための聴覚特性模擬プログラムであって、
前記コンピュータを、第１及び第２の音信号のエネルギレベルを周波数バンド毎に算出するエネルギレベル算出手段と、前記第１の音信号のエネルギレベルと前記第２の音信号のエネルギレベルとの差に基づいて前記感音性難聴者の聴覚マスキング特性を模擬するためのマスキング補正量を前記周波数バンド毎に算出するマスキング補正量算出手段と、前記第１の音信号のエネルギレベルと前記第２の音信号のエネルギレベルとの和に基づいて前記感音性難聴者のリクルートメント現象を模擬するためのリクルートメント補正量を前記周波数バンド毎に算出するリクルートメント補正量算出手段と、前記マスキング補正量及び前記リクルートメント補正量に基づいて前記第１及び前記第２の音信号にそれぞれ対応する前記感音性難聴者の聴覚特性を模擬した第１及び第２の聴覚特性模擬信号を算出する聴覚特性模擬信号算出手段として機能させることを特徴とする聴覚特性模擬プログラム。
【請求項９】
前記コンピュータを、前記第１の聴覚特性模擬信号と前記第２の聴覚特性模擬信号とを混合する模擬信号混合手段として機能させることを特徴とする請求項８に記載の聴覚特性模擬プログラム。
【請求項１０】
請求項８に記載の前記第１の聴覚特性模擬信号と前記第２の聴覚特性模擬信号とのミキシングバランスの状態を表示するミキシングバランス表示装置としてコンピュータを機能させるためのミキシングバランス表示プログラムであって、
前記コンピュータを、前記第１及び前記第２の聴覚特性模擬信号のレベルを所定時間間隔のフレーム毎に検出するレベル検出手段と、前記第１の聴覚特性模擬信号と前記第２の聴覚特性模擬信号とのレベル差を算出するレベル差算出手段と、前記レベル差に対して前記第１の聴覚特性模擬信号のレベルに応じた重み付けを行って重み付きレベル差を算出する重み付きレベル差算出手段と、現フレームから過去のｎ個のフレームまでの間において前記重み付きレベル差の値の大きいものから順にｍ個の値の平均値を算出する平均レベル差算出手段と、現フレームから過去の所定数のフレームまでの間における前記第１の聴覚特性模擬信号のレベル平均値を算出する第１聴覚特性模擬信号平均値算出手段と、前記平均レベル差算出手段及び前記第１聴覚特性模擬信号平均値算出手段の算出結果に基づいて前記第１の聴覚特性模擬信号と前記第２の聴覚特性模擬信号とのミキシングバランスの状態を示す表示値を決定する表示値決定手段と、前記第１の聴覚特性模擬信号のレベルに基づいて前記表示値決定手段の出力を制御する表示制御信号を生成する表示制御信号生成手段と、前記表示制御信号に基づいて前記ミキシングバランスの状態を表示するミキシングバランス表示手段として機能させることを特徴とするミキシングバランス表示プログラム。
【図１】
【図２】
【図３】
【図４】
【図５】
【図６】
【図７】
【図８】
【図９】
【図１０】
【図２】
【図３】
【図４】
【図５】
【図６】
【図７】
【図８】
【図９】
【図１０】
【公開番号】特開２００９−１５９０８３（Ｐ２００９−１５９０８３Ａ）
【公開日】平成２１年７月１６日（２００９．７．１６）
【国際特許分類】
【出願番号】特願２００７−３３２６８６（Ｐ２００７−３３２６８６）
【出願日】平成１９年１２月２５日（２００７．１２．２５）
【出願人】（０００００４３５２）日本放送協会 (2,206)
【出願人】（０００１１４７６５）ヤマキ電気株式会社 (4)
【Ｆターム（参考）】
【公開日】平成２１年７月１６日（２００９．７．１６）
【国際特許分類】
【出願日】平成１９年１２月２５日（２００７．１２．２５）
【出願人】（０００００４３５２）日本放送協会 (2,206)
【出願人】（０００１１４７６５）ヤマキ電気株式会社 (4)
【Ｆターム（参考）】
[ Back to top ]