ミキシングバランス自動調整装置、システムおよびプログラム
【課題】音声信号のミキシングバランスの状態を高齢者の聴感に合わせて自動調整することが可能なミキシングバランス自動調整装置を提供する。
【解決手段】ＮＲレベルを検出するＮＲレベル検出部２０と、ＢＧＭレベルを検出するＢＧＭレベル検出部３０と、ＮＲ統計値を算出するＮＲ統計値算出部２と、ＢＧＭ統計値を算出するＢＧＭ統計値算出部３と、ＢＧＭレベルとＮＲレベルの差を算出するレベル差算出部４１と、ＮＲレベルとＢＧＭレベルに応じて評価信号としてレベル差とＢＧＭレベルのいずれかを選択する評価信号選択部４２と、評価信号の平均値を算出する評価信号平均値算出部４３と、ＮＲ統計値およびＢＧＭ統計値に応じて定まる閾値と評価信号平均値に応じてＢＧＭ信号に対するゲインを算出するゲイン算出部５と、ＮＲ信号およびゲインを乗算したＢＧＭ信号を出力する音声出力部６と、を備える。
【解決手段】ＮＲレベルを検出するＮＲレベル検出部２０と、ＢＧＭレベルを検出するＢＧＭレベル検出部３０と、ＮＲ統計値を算出するＮＲ統計値算出部２と、ＢＧＭ統計値を算出するＢＧＭ統計値算出部３と、ＢＧＭレベルとＮＲレベルの差を算出するレベル差算出部４１と、ＮＲレベルとＢＧＭレベルに応じて評価信号としてレベル差とＢＧＭレベルのいずれかを選択する評価信号選択部４２と、評価信号の平均値を算出する評価信号平均値算出部４３と、ＮＲ統計値およびＢＧＭ統計値に応じて定まる閾値と評価信号平均値に応じてＢＧＭ信号に対するゲインを算出するゲイン算出部５と、ＮＲ信号およびゲインを乗算したＢＧＭ信号を出力する音声出力部６と、を備える。
【発明の詳細な説明】
【技術分野】
【０００１】
本発明は、ミキシングバランス自動調整装置、システムおよびプログラムに係り、特に、テレビやラジオ等の番組制作時にナレーション信号とバックグラウンドミュージック信号とのミキシングバランスの状態を高齢者の聴感に合わせて自動調整するミキシングバランス自動調整装置、システムおよびプログラムに関する。
【背景技術】
【０００２】
従来、例えばナレーション（以下、ＮＲと記す）信号とバックグラウンドミュージック（以下、ＢＧＭと記す）信号とのミキシングを行う際に、訓練された音声調整者が実際に音を聞きながら、音声調整卓を操作し、ＮＲ信号とＢＧＭ信号のミキシングバランスが最適になるよう手動で調整していた。この手法では、熟練した音声調整者が必要となるという課題と、熟練した音声調整者であっても高齢者の聴感に合わせて調整を行うことは困難であるという課題があった。このような課題の解決を図るため、本発明者は、先に特許文献１に開示されたようなミキシングバランス表示装置を提案している。
【０００３】
特許文献１に開示されたミキシングバランス表示装置は、ＮＲ信号とＢＧＭ信号とのレベル差に対してＮＲ信号のレベルに応じた重み付けを行って重み付きレベル差を算出し、この重み付きレベル差に対して聴感に対応させるための信号処理を施すことにより、ミキシングバランスの状態を聴感に対応させて表示することができるようになっている。
【０００４】
しかし、特許文献１に開示された従来の装置は、高齢者の聴覚特性を考慮に入れたものではないため、ＮＲ信号とＢＧＭ信号を高齢者に聞きとりやすくミキシングするための装置としては十分とは言えない。
【０００５】
そこで、本発明者は、高齢者の聴覚特性を模擬する聴覚特性模擬装置を備えたミキシング表示システムを提案した（例えば、特許文献２参照）。
このシステムは、健聴者に不快感を与えることなく、高齢者の聴覚特性を正確に模擬することができるものである。
【０００６】
しかしながら、特許文献２で示された従来のシステムは、高齢者の聴覚特性を正確に模擬するために、高齢者特有の、背景音によりナレーションがより小さく知覚されるマスキング補正量を計算するマスキング補正量算出と、高齢者特有の高齢性リクルートメント現象を模擬するリクルートメント模擬計算を行う必要があり、装置及びプログラムによる計算が煩雑になるという問題を有している。
【０００７】
また、特許文献１、２に開示された従来の装置は、ごく短い時間で「ナレーションやセリフの平均的な音の大きさ」を計算する、あるいは予め基準としているナレーションの大きさを利用して、適正なミキシングバランスであるかどうかを評価するものである。
【０００８】
しかし、本発明者の調査によれば、高齢者の聴感に関して、背景音の影響の調査を行った結果、ある程度長い時間の「ナレーションやセリフの平均的な音の大きさ」によって、背景音の大きさに関する主観量に影響があることが明らかになっている。
【０００９】
さらに、特許文献１、２に開示された従来の装置においては、音声調整者が装置の評価結果を見て、ミキシングバランスを手動で調整する必要があった。
【００１０】
一方、特許文献３には、音声の一部区間を示す区間データに対して聴感補正処理を施し、聴感補正後の区間データが示す波形の振幅に基づいて区間データを増幅することにより、音声データに対して周波数による人間の聴感の違いを考慮した音量調整を施すことができ、音声データの音量を適切に自動調整することができる音量調整装置が開示されている。
【００１１】
特許文献３に開示された装置は、フレッチャーマンソンの等ラウドネス曲線に従って、ラウドネスを計算しており、それにより、ナレーションやセリフにあたる音声を自動調整するものである。この手法は、本発明者も先行特許で実施例に挙げて使用しているラウドネス計算の基礎的な手法であり、有効であると考えられる。
【先行技術文献】
【特許文献】
【００１２】
【特許文献１】特開２００８−１２４８９２号公報
【特許文献２】特開２００９−１５９０８３号公報
【特許文献３】特許第４０５０２８９号明細書
【発明の概要】
【発明が解決しようとする課題】
【００１３】
しかしながら、番組の音声、特に背景音を自動調整する際には、視聴者の感じる音の大きさ、特にナレーションやセリフの平均的な音の大きさを決定する必要がある。特許文献３に開示された方法では、平均的な音の大きさを決定することができず、さらに、背景音の大きさを自動的に調整することができないという課題があった。さらに、特許文献３に開示された装置は、高齢者の聴覚特性を考慮に入れたものではない。
【００１４】
本発明は、このような従来の課題を解決するためになされたものであって、音声信号のミキシングバランスの状態を高齢者の聴感に合わせて自動調整することができるミキシングバランス自動調整装置、システムおよびプログラムを提供することを目的とする。
【課題を解決するための手段】
【００１５】
本発明に係るミキシングバランス自動調整装置は、第１の音声信号のレベルである第１のレベルを検出する第１のレベル検出部と、第２の音声信号のレベルである第２のレベルを検出する第２のレベル検出部と、前記第１のレベルの統計値である第１の統計値を算出する第１の統計値算出部と、前記第２のレベルの統計値である第２の統計値を算出する第２の統計値算出部と、前記第２のレベルと前記第１のレベルの差であるレベル差を算出するレベル差算出部と、前記第１のレベルと前記第２のレベルに応じてミキシングバランスを評価するための評価信号として前記レベル差と前記第２のレベルのいずれかを選択する評価信号選択部と、前記評価信号のパーセント時間率平均値である評価信号平均値を算出する評価信号平均値算出部と、前記第１の統計値および前記第２の統計値に応じて定まる閾値と前記評価信号平均値に応じて適正なミキシングバランスを維持するための前記第２の音声信号に対するゲインを算出するゲイン算出部と、前記第１の音声信号および前記ゲインを乗算した前記第２の音声信号を出力する音声出力部と、を備える。
【００１６】
上記構成のミキシングバランス自動調整装置によれば、長期間の第１の音声信号の統計値に基づき、第１の音声信号と第２の音声信号のミキシングバランスを高齢者の聴感に合わせて調整することが可能となる。
【００１７】
本発明に係るミキシングバランス自動調整装置は、前記第１の統計値算出手段が、前記第１の音声信号のレベルのパーセント時間率平均値を算出する第１の平均値算出手段と、前記第１の平均値算出手段により算出された前記第１の音声信号のレベルのパーセント時間率平均値に基づき前記第１の音声信号のレベルの統計的平均値を算出する第１の統計的平均値算出手段と、を備え、前記第１の音声信号のレベルの統計的平均値を出力するものである。
【００１８】
上記構成のミキシングバランス自動調整装置によれば、番組間のミキシングバランスの相違を考慮してミキシングバランスを調整することが可能となる。
【００１９】
本発明に係るミキシングバランス自動調整装置は、前記第１の統計的平均値算出手段が、前記第１の平均値算出手段の出力のヒストグラムを作成するヒストグラム作成部と、前記ヒストグラムの複数の極大値の中から最も支配的な極大値を探索する支配的極大値探索部と、前記支配的極大値を極大値とする正規分布のパラメータに基づき前記第１の統計的平均値を決定する統計的平均値決定部と、を含む構成としてもよい。
【００２０】
本発明に係るミキシングバランス自動調整装置は、前記第２の統計値算出手段が、前記第２の音声信号のレベルのパーセント時間率平均値を算出し出力するものである。
【００２１】
本発明に係るミキシングバランス自動調整装置は、前記ミキシングバランス評価信号出力手段が、前記第１の統計値算出手段の出力が予め定められた第１の値以上であるときは、前記レベル差をミキシングバランス評価信号として出力し、前記第１の統計値算出手段の出力が前記第１の値以下の値である予め定められた第２の値未満であるときは、前記第２の統計値算出手段の出力をミキシングバランス評価信号として出力し、前記第１の統計値算出手段の出力が前記第１の値未満かつ前記第２の値以上であるときは、前記第１の統計値算出手段の出力が前記第１の値であるときに前記第１の統計値算出手段の出力が前記第１の値であるときの前記レベル差となり、前記第１の統計値算出手段の出力が前記第２の値であるときに前記第２の統計値算出手段の出力となる単調関数値をミキシングバランス評価信号として出力するものである。
【００２２】
本発明に係るミキシングバランス自動調整システムは、第１の音声信号データおよび第２の音声データを読み込む音声データ読み込み部と、前記第２の音声データに対してミキシングバランス自動調整を実行するミキシングバランス自動調整装置と、前記第１の音声データと、前記ミキシングバランス自動調整装置によりミキシングバランス調整された前記第２の音声データとを出力する音声データ出力部とを備える。
【００２３】
上記構成のミキシングバランス自動調整システムによれば、予め収録された第１の音声信号データと第２の音声信号データをバッチ的に処理して、ミキシングバランスを調整することが可能となる。
【００２４】
本発明に係るミキシングバランス自動調整システムは、前記ゲイン算出部が、前記音声データ読み込み部により読み込まれた前記第１の音声信号データおよび前記第２の音声データのミキシングバランスが予め定められた適正範囲を逸脱した区間を検出するゲイン制御区間検出部と、前記ゲイン制御区間検出部で検出されたゲイン制御区間に適応する目標ゲインを決定するゲイン決定部と、を含み、前記音声データ出力部が、前記目標ゲインを前記第２の音声データに乗算してミキシングバランスを調整するものである。
【００２５】
本発明に係るミキシングバランス自動調整システムは、前記音声データ出力部が、前記ゲイン制御区間の前に前記目標ゲインに向けてゲインを第１の変化率で変更する前処理部と、前記ゲイン制御区間の後に前記目標ゲインからゲインを前記第１の変化率より小さい第２の変化率で変更する後処理部と、を含む。
【００２６】
本発明に係るミキシングバランス自動調整システムは、予め定められたフレーム数の第１の音声信号データおよび第２の音声データを読み込む音声データ読み込み部と、前記フレーム数に相当する時間より短い時間内に前記第２の音声データに対してミキシングバランス自動調整を実行するミキシングバランス自動調整装置と、前記第１の音声データと、前記ミキシングバランス自動調整装置によりミキシングバランス調整された前記第２の音声データとを前記フレーム数ごとに出力する音声データ出力部とを備える。
【００２７】
上記構成のミキシングバランス自動調整システムによれば、第１の音声信号データと第２の音声信号データを実時間処理して、ミキシングバランスを調整することが可能となる。
【００２８】
本発明に係るミキシングバランス自動調整システムは、前記ゲイン算出部が、前記音声データ読み込み部により読み込まれた前記第１の音声信号データおよび前記第２の音声データのミキシングバランスが予め定められた適正範囲を逸脱したときにミキシングバランスを前記適正範囲に戻すための目標ゲインを決定するものであり、前記音声データ出力部が、ミキシングバランスが予め定められた適正範囲を逸脱したときには前記目標ゲインを前記第２の音声データに乗算してミキシングバランスを調整し、ミキシングバランスが予め定められた適正範囲に復帰したときには前記第２の音声データをそのまま出力するものである。
【発明の効果】
【００２９】
本発明は、所定数の過去のフレームから現フレームまでの間の比較的長い時間区間における第１の音声信号の統計値に基づいて、第２の音声信号を制御するためのゲインを算出することにより、音声信号のミキシングバランスの状態を高齢者の聴感に合わせて自動調整することができるミキシングバランス自動調整装置、システムおよびプログラムを提供するものである。
【図面の簡単な説明】
【００３０】
【図１】本発明に係るミキシングバランス自動調整装置の構成を示すブロック図
【図２】本発明に係るミキシングバランス自動調整装置のハードウエア構成を示すブロック図相対レベル差に対する重み付け関数を示すグラフ
【図３】本発明に係るミキシングバランス自動調整装置のＣＰＵが実行するミキシングバランス自動調整プログラムのフローチャート
【図４】ＮＲ平均値算出処理の詳細フローチャート
【図５】混合数が２の場合の混合分布を模式的に示すグラフ
【図６】ＮＲ統計平均値算出処理の詳細フローチャート
【図７】ＮＲレベル平均値のヒストグラム
【図８】ＮＲレベルと評価信号Ｈの関係を示すグラフ
【図９】ＮＲレベルとＢＧＭレベル、レベル差、評価信号の模式図
【図１０】ゲイン算出処理の詳細フローチャート
【図１１】閾値の適用範囲を示すグラフ
【図１２】ゲイン制御区間検出処理の詳細フローチャート
【図１３】閾値を示すグラフ
【図１４】ゲイン決定処理の詳細フローチャート
【図１５】音声出力処理の詳細フローチャート
【図１６】バッチ処理による波形図
【図１７】実時間処理用ゲイン算出処理の詳細フローチャート
【図１８】実時間処理用ゲイン決定処理の詳細フローチャート
【図１９】ゲイン上昇制御の詳細フローチャート
【図２０】ゲイン下降制御の詳細フローチャート
【図２１】ゲイン補正処理の詳細フローチャート
【図２２】ゲイン戻し制御の詳細フローチャート
【図２３】実時間処理による波形図
【発明を実施するための形態】
【００３１】
以下、本発明に係るミキシングバランス自動調整装置およびプログラムの実施形態について図面を用いて説明する。
【００３２】
すなわち、本発明に係るミキシングバランス自動調整装置を、テレビやラジオ等の番組制作時にＮＲ信号とＢＧＭ信号とのミキシングバランスの状態を自動調整するミキシングバランス自動調整装置に適用する場合について説明する。
なお、本実施形態におけるＮＲ信号及びＢＧＭ信号は、特許請求の範囲に記載の第１の音声信号及び第２の音声信号にそれぞれ対応する。
【００３３】
以下の説明においては、適正なレベルでミキシングされたＮＲ信号のラウドネスレベル［ｐｈｏｎ］を０で正規化した相対レベルを用いて、ＮＲ信号のレベルを表すことにする。また、ＢＧＭ信号のレベルもＮＲ信号と同一のレベルで正規化した相対レベルを用いて表すことにする。
一例を挙げれば、適正なレベルでミキシングされたＮＲ信号のラウドネスレベルが７０［ｐｈｏｎ］の場合では、ＮＲ信号またはＢＧＭ信号のラウドネスレベルが、７０［ｐｈｏｎ］のときは当該信号の相対レベルは０であり、７５［ｐｈｏｎ］のときは当該信号の相対レベルは＋５である。
【００３４】
正規化後の相対レベルが例えば−５０程度以下の場合は、ＮＲ信号及びＢＧＭ信号のラウドネスレベルは聴感的に非常に小さいものであるので、−５０以下の値を全て−５０で置き換えても実用上は十分である。
なお、０で正規化しないで後述する処理を行うこともできるが、その場合には後述する各閾値の値が相対的に変わってくる。
以下、正規化されたＮＲ信号の相対レベルを「Ｎ」、正規化されたＢＧＭ信号の相対レベルを「Ｂ」と表す。また、両者の相対レベルの差を「ΔＬ」と表す。
【００３５】
図１は本発明に係るミキシングバランス自動調整装置１の構成を示すブロック図である。
本実施の形態においては、ＮＲ信号およびＢＧＭ信号は、サンプリング周波数が４８ｋＨｚ、量子化ビット数が１６ビットのデジタルＮＲ信号およびデジタルＢＧＭ信号であるとする。なお、入力されるＮＲ信号及びＢＧＭ信号がアナログ信号である場合は、図示しないＡＤ変換器によりデジタル信号に変換する必要がある。
【００３６】
図１に示すように、本発明に係るミキシングバランス自動調整装置１は、ＮＲ信号のレベルであるＮＲレベルを検出するＮＲレベル検出部２０と、ＢＧＭ信号のレベルであるＢＧＭレベルを検出するＢＧＭレベル検出部３０と、ＮＲレベルの統計値であるＮＲ統計値を算出するＮＲ統計値算出部２と、ＢＧＭレベルの統計値であるＢＧＭ統計値を算出するＢＧＭ統計値算出部３と、ＢＧＭレベルとＮＲレベルの差であるレベル差を算出するレベル差算出部４１と、ＮＲレベルとＢＧＭレベルに応じてミキシングバランスを評価するための評価信号としてレベル差とＢＧＭレベルのいずれかを選択する評価信号選択部４２と、評価信号のパーセント時間率平均値である評価信号平均値を算出する評価信号平均値算出部４３と、ＮＲ統計値およびＢＧＭ統計値に応じて定まる閾値と評価信号平均値に応じて適正なミキシングバランスを維持するためのＢＧＭ信号に対するゲインを算出するゲイン算出部５と、ＮＲ信号およびゲインを乗算したＢＧＭ信号を出力する音声出力部６と、を備える。
【００３７】
ＮＲ統計値算出部２の構成
ＮＲ統計値算出部２は、ＮＲレベルのパーセント時間率平均値であるＮＲ平均値Ｎｐを算出するＮＲ平均値算出部２１と、ＮＲ平均値Ｎｐの統計的平均値であるＮＲ統計的平均値Ｎｓを算出するＮＲ統計的平均値算出部２２を含む。
なお、ＮＲ統計的平均値算出部２２は必須ではなく、ＮＲ統計的平均値算出部２２を具備しない場合は、ＮＲ統計値算出部２の出力は、ＮＲ平均値Ｎｐとなる。
【００３８】
ＢＧＭ統計値算出部３の構成
ＢＧＭ統計値算出部３は、ＢＧＭレベルのパーセント時間率平均値であるＢＧＭ平均値を算出し、ＢＧＭ統計値算出部３の出力とするＢＧＭ平均値算出部３１を含む。
なお、ＢＧＭ統計値算出部３は、ＢＧＭ平均値からＢＧＭ相対レベルの統計的平均値であるＢＧＭ統計的平均値を算出するＢＧＭ統計的平均値算出部３３を含んでいてもよく、この場合は、ＢＧＭ統計値算出部３の出力は、ＢＧＭ統計的平均値となる。
【００３９】
ハードウエア構成
本発明に係るミキシングバランス自動調整装置１は、パーソナルコンピュータ等のプログラマブル制御装置でミキシングバランス自動調整プログラムを実行することにより構成することができる。
【００４０】
図２は、本実施形態で使用するパーソナルコンピュータ７のハードウエア構成を示すブロック図であって、たとえば表示パネル７１、キーボード７２、およびマウス７３で構成されるマン・マシンインターフェイスと、演算装置７４と、で構成される。
演算装置７４は、サンプリング周波数４８ｋＨｚ、量子化ビット数１６ビットでＮＲ信号及びＢＧＭ信号をデジタル音声信号に変換するＡＤ変換器７４１、アナログ音声信号を出力するＤＡ変換器７４２、ＣＰＵ７４３、メモリ７４４、ハードディスク（ＨＤＤ）７４５、および周辺機器Ｉ／Ｆ７４６がバス７４７を介して相互に結合された構成を有する。表示パネル７１、キーボード７２、およびマウス７３は周辺機器Ｉ／Ｆ７４６に接続される。
なお、ＮＲ信号及びＢＧＭ信号がデジタル信号である場合は、ＡＤ変換部器７４１を省略することができる。また、出力信号がデジタル信号である場合には、ＤＡ変換部７４２を省略することができる。
【００４１】
そして、ＮＲ信号のレベルであるＮＲレベルを検出するＮＲレベル検出部２０、ＢＧＭ信号のレベルであるＢＧＭレベルを検出するＢＧＭレベル検出部３０、ＮＲレベルの統計値を算出するＮＲ統計値算出部２、ＢＧＭレベルの統計値を算出するＢＧＭ統計値算出部３、ＢＧＭレベルとＮＲレベルの差であるレベル差を算出するレベル差算出部４１、ＮＲレベルとＢＧＭレベルに応じてミキシングバランスを評価するための評価信号としてレベル差とＢＧＭレベルのいずれかを選択する評価信号選択部４２、評価信号のパーセント時間率平均値である評価信号平均値を算出する評価信号平均値算出部４３、ならびに、ＢＧＭ信号に乗じるゲインを算出するゲイン算出部５およびゲイン調整されたＢＧＭ信号とＮＲ信号とのミキシング信号を出力する音声出力部６は、演算装置７４内にソフトウエア的に構成される。
【００４２】
動作の説明
以下メモリに記憶されているプログラムのフローチャートを参照しつつ、本発明に係るミキシングバランス自動調整装置１の動作を説明する。
図３は第１のミキシングバランス調整プログラムのフローチャートであって、バッチ処理的にミキシングバランス調整を行う場合と、実時間でミキシングバランス調整を行う場合２つの場合について説明する。
【００４３】
（１）バッチ処理の場合
番組全体のＮＲ信号およびＢＧＭ信号が既知であり、予め記録された番組全体のＮＲ信号およびＢＧＭ信号を事後的にミキシングバランス調整する場合である。
まず、演算装置７４は、ＮＲ信号およびＢＧＭ信号を読み込む（ステップＳ１１）。
ＮＲ信号およびＢＧＭ信号がデジタル信号である場合には、予めハードディスク７４５に記憶されているＮＲデータおよびＢＧＭデータからＮフレーム分のデータを読み込む。
ＮＲ信号およびＢＧＭ信号がアナログ信号である場合には、ＡＤ変換器７４１を介してＮフレーム分のＮＲ信号およびＢＧＭ信号を読み込む。
Ｎの値は特に制限されないが、約５分間のＮＲ信号およびＢＧＭ信号を１つのバッチとして処理することが現実的である。
【００４４】
次に、演算装置７４は、ＮＲ信号のレベルであるＮＲレベルＮおよびＢＧＭ信号のレベルであるＢＧＭレベルＢをフレームごとに検出する（ステップＳ１２）。
すなわち、演算装置７４は、ＮＲ信号およびＢＧＭ信号の相対レベル（瞬時ラウドネスレベル）Ｎ［ｐｈｏｎ］を所定時間ΔＴ毎に検出し、それをＮＲレベルＮおよびＢＧＭレベルＢとして出力するようになっている。
ここで、所定時間ΔＴは、ＮＲ信号およびＢＧＭ信号をサンプリング周波数４８ｋＨｚで例えば１０２４サンプルを取得する場合は、約２１．３ｍｓ（＝１０２４／４８０００ｓ）となる。
【００４５】
以下の説明では、サンプリング周波数４８ｋＨｚでサンプリングした１０２４サンプルを１フレームと呼ぶことにする。各フレームは互いに時間的に重複する部分を有していても良い。
ここで、ＮＲ信号およびＢＧＭ信号のラウドネスレベルを検出する方法としては、例えばＩＳＯ５６２に規格化されたものを使用することができる。
なお、ラウドネスレベルに代えてＮＲ信号およびＢＧＭ信号の平均エネルギレベル［ｄＢ］を算出してもよい。この場合は、例えばサンプル値の２乗平均値を算出し、それらをｄＢ変換することになる。
ＮＲレベルおよびＢＧＭレベルの検出処理中は、演算装置７４がＮＲレベル検出部２０およびＢＧＭレベル検出部３０として動作していることとなる。
【００４６】
次に演算装置７４は、ＮＲ統計値Ｎｓを算出する（ステップＳ１３）。
図４はＮＲ統計値算出処理の詳細フローチャートであって、演算装置７４は、ＮＲレベルＮのパーセント時間率平均値Ｎｐを算出する（ステップＳ１３１）。
【００４７】
ここで、パーセント時間率平均値とは、過去から現フレームまでのｎ個のフレームに含まれるＮＲレベルＮから降冪の順にｍ個の値を選択し、そのｍ個の平均値として定義される。なお、ｎ及びｍは正の整数であり、ｎ≧ｍである。
ｎおよびｍを大きくするほど、ＮＲ平均値Ｎｐの変化を滑らかにすることができるが、ｎおよびｍが大き過ぎるとＮＲレベルの変化に対する追従が悪くなるので、ｎおよびｍを適当な大きさに設定する必要がある。
本実施例においては、ｎを相対的に大きな値として平均値の変化を滑らかとするとともに、ｍを相対的に小さな値として追従性を確保している。実用上は、ｎ＝１００、ｍ＝４程度とするのが好ましい。
【００４８】
次に演算装置７４は、ＮＲ平均値ＮｐからＮＲ相対レベルの統計的平均値Ｎｓを算出する（ステップＳ１３２）。
Ｒ相対レベルの統計的平均値Ｎｓを算出する理由は以下の通りである。
すなわち、視聴者は聴感的なラウドネスを基準としてＢＧＭが大きいか否かを判断していると考えることができる。
したがって、番組全体を通してＮＲ平均値Ｎｐが一定であれば、ＮＲ平均値Ｎｐを基準としてＢＧＭのゲインを調整すればミキシングバランスは適正なレベルを維持するものと言える。
【００４９】
しかし、本発明者の調査によれば、複数回にわたって放送される放送番組において、ＶＵ計等も補助的に利用して同程度（たとえば、相対レベル＝０）の音量になるように音声レベルを調整しても、視聴者は放送回によりラウドネスが異なると感じる場合があることが明らかとなった。
通常の番組ではＮＲ信号の相対レベルがおよそ零程度になるように制作されることが多いが、本発明者のこれまでの調査によれば、実際にはＮＲ信号の相対レベルの平均値は＋１〜２［ｐｈｏｎ］となっている場合が多い。
このことはＮＲ平均値Ｎｐに基づきミキシングバランスを調整することが、必ずしも適切ではないことを意味している。
【００５０】
一方、本発明者は、ＮＲ平均値Ｎｐを１つの正規分布ではなく、複数の正規分布が混合した混合正規分布と仮定し、最も支配的な１つの正規分布のパラメータから視聴者の感じるラウドネスをある程度推定可能であることを明らかにした。
従来から、ヒストグラムの分布を複数の正規分布の混合で近似する手法が知られている（「Ｒで学ぶデータサイエンス パターン認識」，金森敬文，竹之内高志，村田昇，共立出版，２００９年）。さらに、このときの混合数の推定には、ＡＩＣ（Akaike's Information Criterion）やＢＩＣ（Bayesian Information Criterion）などを用いることもできることも知られている。
したがって、ＮＲ平均値Ｎｐの代わりに統計的平均値Ｎｓを用いれば、視聴者の感じるミキシングバランスを達成することが可能となる。
【００５１】
統計的平均値Ｎｓの算出方法として、混合正規分布モデルＧＭＭ（Gaussian Mixture Model）を使用することが可能である。
本発明者の実験によれば、ナレーション音声のヒストグラムは、混合数を２〜３程度とすれば十分よい近似ができることが分かっている。
【００５２】
混合数が２の場合について、統計的平均値Ｎｓの算出方法を説明する。
図５は、混合数を２の場合の混合分布を模式的に示すグラフである。
図５において、１番目の混合分布の平均値ｍｕ［１］＝０、２番目の平均値ｍｕ［２］＝１．５とする。また混合比率を表す混合パラメータをｐ［１］＝０．６、ｐ［２］＝０．４とする。
【００５３】
図５の分布の統計的平均値は１番目の分布、あるいは１番目と２番目の中間の値に従うように見えるが、視聴者の感じる平均的なナレーションの大きさは、ラウドネスレベルの大きな分布により影響されることが、これまでの本発明者の調査で明らかになっている。
図５の例においては、α×ｐ［１］＜ｐ［２］（αは経験的に"０．６"程度が適当である。）である場合は、２番目の混合分布が有効と判断でき、統計的平均値Ｎｓとしてｍｕ［２］を選択する。
一方、α×ｐ［１］≧ｐ［２］が成り立つ場合には、１番目の混合分布が有効と判断でき、統計的平均値Ｎｓとしてｍｕ［１］を選択すればよい。
【００５４】
上記の混合正規分布モデルによらずヒストグラムから統計平均値Ｎｓを算出する方法も提案されており、本実施形態ではこの方法を採用する。
図６はＮＲ統計平均値算出処理（ステップＳ１３３）の詳細フローチャートであって、
演算装置７４は、所定数のＮＲ平均値Ｎｐの平均値ｍｇおよび中間値ｍｄを算出する（ステップＳ３２１）。
【００５５】
次に、演算装置７４は、１［ｐｈｏｎ］刻みのＮＲ平均値Ｎｐのヒストグラムを作成し、混合数に対応した数の極大値を探索する(ステップ３２２)。
実用上は、混合数を"３"とすれば十分であるので、３個の極大値を探索すれば十分である。
【００５６】
次に、演算装置７４は、極大値の中から最も支配的な極大値を決定する（ステップＳ３２３）。
以下、支配的な極大値の決定方法を極大値が２個の場合につき説明する。
図７は、ヒストグラム作成処理により作成されたヒストグラムの一例を示すグラフである。横軸のｈｉｓｔ［ｘ］（ｘ＝０，±１，±２，・・・）は、レベル平均値ＮＡ（相対ラウドネスレベル）の値の小数点以下を四捨五入した値がｘであることを意味している。また、縦軸はｈｉｓｔ［ｘ］の頻度を表している。
【００５７】
図７のヒストグラムにおいては、ｈｉｓｔ［０］とｈｉｓｔ［２］が局所的な極大値となっている。そして、ｈｉｓｔ［０］及びｈｉｓｔ［２］の頻度を混合数（所定の規格化を行った値としても良い）と推定する。
α×ｈｉｓｔ［０］＜ｈｉｓｔ［２］が成り立てば、相対ラウドネスレベル２［ｐｈｏｎ］を仮の統計的平均値とする。一方、α×ｈｉｓｔ［０］≧ｈｉｓｔ［２］が成り立つ場合には、相対ラウドネスレベル０［ｐｈｏｎ］を仮の統計的平均値とする。
【００５８】
最後に、演算装置７４は、仮の統計的平均値、ＮＲ平均値Ｎｐの平均値ｍｇ、ＮＲ平均値Ｎｐの中間値ｍｄの３値の中で最大の値を統計的平均値Ｎｓとする（ステップＳ３２４）。なお、仮の統計的平均値をそのまま統計的平均値Ｎｓとしてもよい。
ＮＲレベルの統計値算出処理中は、演算装置７４がＮＲ統計値算出部２として動作していることとなる。
【００５９】
以上でＮＲ信号統計値算出処理を終了し、演算装置７４はＢＧＭ信号統計値算出処理を実行する（ステップＳ１４）。
すなわち、演算装置７４は、ＢＧＭ平均値ＢｐをＢＧＭレベルＢのパーセント時間率平均値であるＢＧＭ平均値Ｂｐを算出する。
【００６０】
なお、ＢＧＭ平均値Ｂｐに基づいてＢＧＭ統計的平均値Ｂｓを算出してもよいが、算出方法はＮＲ統計的平均値Ｎｓの算出方法と同一であるので詳細な説明は省略する。
ただし、実際にはＢＧＭ統計的平均値Ｂｓを使用する場合は少ない。
ＢＧＭレベルの統計値算出処理中は、演算装置７４がＢＧＭ統計値算出部３として動作していることとなる。
【００６１】
次に、演算装置７４はＢＧＭレベルＢとＮＲレベルＮの差であるレベル差ΔＬ（＝Ｂ−Ｎ）を算出する（ステップＳ１５）。
レベル差算出処理中は、演算装置７４がレベル差算出部４１として動作していることとなる。
【００６２】
次に、演算装置７４は、ミキシングバランスを評価するための評価信号Ｈを選択する（ステップＳ１６）。
評価信号の選択は、ミキシングバランスを評価する対象を切り換えるための処理であって、ＮＲレベルＮが所定レベル以上であるときはレベル差ΔＬを評価信号Ｈとして選択し、ＮＲレベルＮが所定レベル未満であるときはＢＧＭレベルを評価信号Ｈとして選択する。
【００６３】
図８は、縦軸を評価信号Ｈ、横軸をＮＲレベルＮとしたグラフである。
図８および下記の［数１］に示すように、ＮＲレベルＮが所定値ＴＢよりも小であるとき（Ｎ＜ＴＢ）には、ＮＲ信号を考慮せずにミキシングバランスを評価するために、評価信号ＨをＢＧＭレベルＢに設定する。
ＮＲ信号の相対レベルＮが所定値ＴＡよりも大であるとき（Ｎ＞ＴＡ）は、ＮＲ信号とＢＧＭ信号を共に考慮してミキシングバランスを評価するために、評価信号Ｈをレベル差ΔＬ＝Ｂ−Ｎに設定する。ここで、ＴＡ≧ＴＢである。
【００６４】
なお、ＴＡ＝ＴＢとしたときは評価信号Ｈが不連続となり、視聴者が不自然さを感じるおそれがある。
そこで、ＴＡ＞ＴＢとし、ＮＲレベルＮがＴＢ以上かつＴＡ以下のとき（ＴＢ≦Ｎ≦ＴＡ）のときには、評価信号Ｈとして、Ｂ（Ｎ＝ＴＢのとき）から（Ｂ−ＴＡ）（Ｎ＝ＴＡのときの重み付きレベル差ΔＬｗの値）まで単調に変化する関数の関数値を使用することが望ましい。
点（ＴＢ，Ｂ）と点（ＴＡ,Ｂ−ＴＡ）とを直線で結ぶ関数を適用した場合は、評価信号Ｈは［数１］の３行目の式で算出される値となる。
【００６５】
【数１】
【００６６】
［数１］より、例えば、ＴＢ≦Ｎ≦ＴＡ、ＴＡ＝−１０、ＴＢ＝−２０のとき、評価信号はＢ＋Ｎ＋２０となる。
【００６７】
図９は、レベル差および評価信号の波形の模式図である。
ＮＲレベルＮおよびＢＧＭレベルＢが図９（ａ）に示すような関係にある場合、レベル差ΔＬは図９（ｂ）に示す波形、評価信号Ｈは図９（ｃ）に示す波形となる。
図９（ｂ）に示すように、レベル差ΔＬは、ＢＧＭ信号の相対レベルＢが大きいほど、またはＮＲ信号の相対レベルＮが小さいほど大きくなる。
【００６８】
ＮＲ信号の相対レベルＮが小さい場合、すなわち、ＮＲ信号がほとんど存在しない場合は、ＢＧＭ信号のみの大きさに依存してミキシングバランスを調整すれば良いことになる。なお、レベル差ΔＬをそのまま評価信号Ｈとしてもよい。
評価信号選択処理中は、演算装置７４は評価信号選択部４２として動作していることとなる。
【００６９】
次に、演算装置７４は、評価信号Ｈのパーセント時間率平均値である評価信号平均値Ｈｐを算出する（ステップＳ１７）。
評価信号平均値算出処理中は、演算装置７４は評価信号平均値算出部４３として動作していることとなる。
【００７０】
続いて、演算装置７４はゲインＧの算出（ステップＳ１８）を行う。
図１０はゲイン算出処理のフローチャートであって、演算装置７４はフレーム番号を表す整数ｎを"１"に初期化する（ステップＳ１６０）。なお、ゲイン算出処理の説明においては、フレーム番号ｎを記載する。
【００７１】
次に、演算装置７４はｎフレームにＮＲ信号が含まれているか否かを判定する（ステップＳ１６１）。
図１１は、ＮＲ信号が含まれているか否かの判定用グラフであって、条件｛（ＴＢ≦Ｎｓ）かつ（Ｂｐ≧ＢＥ＋Ｎｓ）｝が成立するときはフレーム（ｎ）にＮＲ信号が含まれているとし、この条件が成立しないときはフレーム（ｎ）にＮＲ信号が含まれていないと判定する。なお、ＴＢ＝−２０、ＢＥ＝２．５程度とするのが望ましい。
【００７２】
演算装置７４は、「ＮＲ信号が含まれている」と判定したときは、領域を表す領域番号Ｉ（ｎ）を"１"に設定し（ステップＳ１６２）、制御区間決定用のフレームＸ（ｎ）を評価信号平均値Ｈｐ（ｎ）とする（ステップＳ１６３）。
【００７３】
一方、演算装置７４は、「ＮＲ信号が含まれてない」と判定したときは、領域番号Ｉ（ｎ）を"２"に設定し（ステップＳ１６４）、制御区間決定用のフレームＸ（ｎ）をＢＧＭ平均値Ｂｐ（ｎ）とする（ステップＳ１６５）。
【００７４】
次に、演算装置７４は、全フレームについて処理が終了したか否かを判定し（ステップＳ１６６）、終了していないと判定したときはフレーム番号ｎをインクリメントして（ステップＳ１６７）、ステップＳ１６１に戻る。
【００７５】
次に、演算装置７４は、ゲイン制御区間を検出する（ステップＳ１６８）。
図１２は、ゲイン制御区間検出処理のフローチャートであって、演算装置７４はフレーム番号ｎおよびゲイン制御区間番号ｋを"１"に初期化する（ステップＳ６００）。
次に、演算装置７４は、フレームＸ（ｎ）が閾値ＴＨ（Ｉ，３）以上であるか否かを判定する（ステップＳ６０１）。
【００７６】
演算装置７４は、フレームＸ（ｎ）が閾値ＴＨ（Ｉ，３）以上であると判定したときは、つづいてフレームＸ（ｎ）が閾値ＴＨ（Ｉ，４）以下であるか否かを判定する（ステップＳ６０２）。
図１３は、閾値ＴＨ（Ｉ，Ｊ）の設定例を示す図であって、ＢＧＭ信号のレベルＢを「過小」、「小」、」「やや小」、「適正」、「やや大」、「大」、「過大」の７領域に分割するために６つの閾値が設定されている。
【００７７】
そして、ミキシングバランスを評価する際にＮＲ信号も考慮する必要があるときは、領域番号Ｉは"１"であり、ＢＧＭ信号の相対レベルＢが"−１０〜−６"の範囲にあれば適正と判断される。
ＮＲ信号を考慮する必要が無いときは、領域番号Ｉは"２"であり、ＢＧＭ信号の相対レベルＢが"−５〜０"の範囲にあれば適正と判断される。
【００７８】
演算装置７４は、フレームＸ（ｎ）が閾値ＴＨ（Ｉ，４）以下であると判定したときは、適正レベル未満の状態が継続したフレーム数を表す整数ｍＬが予め定められた数ＭＬ以上であるか否かを判定する（ステップＳ６０３）。
演算装置７４は、整数ｍＬが所定数ＭＬ以上であると判定したときは、現在のフレームよりｍＬフレーム前から現在のフレームまでがＢＧＭ信号の相対レベルＢを調整する必要があるゲイン制御区間であるとして、現在のフレーム番号ｎをＹ（ｋ）に、継続フレーム数ｍＬをＬ（ｋ）に、ゲインを増加させる必要があることを示す"Ｕ"を記憶領域Ｃ（ｋ）に記憶する（ステップＳ６０４）。
【００７９】
演算装置７４は、整数ｍＬが所定数ＭＬ未満であると判定したときは、適正レベルより大である状態が継続したフレーム数を表す整数ｍＨが予め定められた数ＭＨ以上であるか否かを判定する（ステップＳ６０５）。
演算装置７４は、整数ｍＨが所定数ＭＨ以上であると判定したときは、現在のフレームよりｍＨフレーム前から現在のフレームまでがＢＧＭ信号の相対レベルＢを調整する必要があるゲイン制御区間であるとして、現在フレームのフレーム番号ｎをＹ（ｋ）に、継続フレーム数ｍＬをＬ（ｋ）に、ゲインの調整方向を記憶領域Ｃ（ｋ）にゲインを低減させる必要があることを示す"Ｄ"を記憶する（ステップＳ６０６）。
【００８０】
演算装置７４は、ステップＳ６０５で整数ｍＨが所定数ＭＨ未満であると判定したとき、ならびに、ステップＳ６０４およびステップＳ６０６の処理を終了したときは、制御区間番号ｋをインクリメントし（ステップＳ６０７）、継続フレーム数を表す整数ｍＬおよびｍＨをリセットして（ステップＳ６０８）この処理を終了する。
演算装置７４は、ステップＳ６０１でフレームＸ（ｎ）が閾値ＴＨ（Ｉ，３）未満であると判定したときは、ゲイン制御区間に入ったものとして、適正レベル未満の状態が継続したフレーム数を表す整数ｍＬをインクリメントして（ステップＳ６０９）、この処理を終了する。
【００８１】
演算装置７４は、ステップＳ６０２でフレームＸ（ｎ）が閾値ＴＨ（Ｉ，４）より大であると判定したときは、ゲイン制御区間に入ったものとして、適正レベルより大である状態が継続したフレーム数を表す整数ｍＨをインクリメントする（ステップＳ６１０）。
そして、演算装置７４はＮ個のフレームについて処理が終了したか否かを判定し（ステップＳ６１１）、完了していないときはフレーム番号ｎをインクリメントして（ステップＳ６１２）、ステップＳ６０１の処理に戻る。Ｎ個のフレームについて処理が終了したときはゲイン制御区間検出処理を終了する。
【００８２】
続いて演算装置７４はゲイン決定処理を実行する（ステップＳ１６９）。
図１４はゲイン決定処理のフローチャートであって、演算装置７４はゲイン制御区間検出処理で検出したゲイン制御区間を示す整数ｋを"１"に初期化する（ステップＳ７０１）。
次に演算装置７４は、ゲイン制御区間ｋのＣ（ｋ）に記憶されているゲイン調整方向が"Ｕ"であるか否かを判定する（ステップＳ７０２）。
【００８３】
演算装置７４はゲイン制御区間ｋのゲイン調整方向が"Ｕ"であると判定したときは、ゲイン制御区間ｋに含まれるフレームＸ（ｉ）（Ｙ（ｋ）−Ｌ（ｋ）≦ｉ≦Ｙ（ｋ））の最小値Ｘminを探索する（ステップＳ７０３）。
そして、演算装置７４は［数２］によりゲイン調整量Ｇ（ｋ）を算出する（ステップＳ７０４）。
【００８４】
【数２】
なお、βUは予め定められた値である。
【００８５】
演算装置７４はゲイン制御区間ｋのゲイン調整方向が"Ｕ"でないと判定したときは、
ゲイン制御区間ｋに含まれるフレームＸ（ｉ）（Ｙ（ｋ）−Ｌ（ｋ）≦ｉ≦Ｙ（ｋ））の最大値Ｘmaxを探索する（ステップＳ７０５）。
そして、演算装置７４は［数３］によりゲイン調整量Ｇ（ｋ）を算出する（ステップＳ７０６）。
【００８６】
【数３】
なお、βＤは予め定められた値である。
【００８７】
演算装置７４はｋについてｋmaxまでの処理が完了したかを判定し（ステップＳ７０７）、終了していないと判断したときはｋをインクリメントして（ステップＳ７０８）、ステップＳ７０２に戻り処理を継続する。
演算装置７４はｋmaxまでの処理が完了したときは、ゲイン調整量の算出を終了する。
ゲイン算出処理中は、演算装置７４はゲイン算出部５として動作していることとなる。
【００８８】
続いて、演算装置７４は音声出力処理を実行する（ステップＳ１９）。
図１５は音声出力処理の詳細フローチャートであって、演算装置７４は、フレーム番号ｎおよびゲイン制御区間番号ｋを"１"に初期化する(ステップＳ１７１)。
次に、演算装置７４はフレームがゲイン制御区間内にあるか否かを、ｎが（Ｙ（ｋ）−Ｌ（ｋ））に等しいか否かにより判定する（ステップＳ１７２）。
【００８９】
演算装置７４はフレームがゲイン制御区間内にあると判定したときは、フレーム番号が（Ｙ（ｋ）−Ｌ（ｋ））からＹ（ｋ）までのフレーム内のＢＧＭ信号にゲイン調整量Ｇ（ｋ）を乗算してＢＧＭ信号のゲインを制御し（ステップＳ１７３）、ｋをインクリメントする（ステップＳ１７４）。
なお、演算装置７４はフレームがゲイン制御区間内にないと判定したときは、ステップＳ１７３およびステップＳ１７４をバイパスする。
【００９０】
演算装置７４はＮ個のフレームについてゲイン制御が終了したか否かを判定し（ステップＳ１７５）、終了していない場合はフレーム番号ｎをインクリメントして（ステップＳ１７６）、ステップＳ１７２の処理に戻る。
演算装置７４はＮ個のフレームについてゲイン制御が終了したときは、ＮＲ信号およびゲイン制御後のＢＧＭ信号を例えば図２のＨＤＤ７４４に出力して（ステップＳ１７７）この処理を終了する。
【００９１】
なお、上記の処理ではゲイン制御区間の始端および終端においてゲインの急変により視聴者に不自然さを与えるおそれがあるため、前処理（ステップＳ１７８）および後処理（ステップＳ１７９）を追加し、ゲインの変化を連続的に行うことが有利である。
すなわち、前処理（ステップＳ１７８）においては、ゲイン制御区間の始端前の所定フレーム数（たとえば、０．５秒に相当する２０〜２５フレーム）からゲイン制御量をゲイン制御区間内のゲイン制御量Ｇ（ｋ）に向けて滑らかに変化させるようにすることが望ましい。
【００９２】
さらに、後処理（ステップＳ１７９）においては、ゲイン制御区間の終端後の所定フレーム数（たとえば、０．５〜２．０秒に相当する２０〜１００フレーム）までゲイン制御量をゲイン制御区間内のゲイン制御量Ｇ（ｋ）から滑らかに変化させるようにすることが望ましい。
音声出力処理中は、演算装置７４は音声出力部６として動作していることとなる。
【００９３】
図１６はミキシングバランス調整プログラムを使用したバッチ処理によるＢＧＭ信号のゲイン調整効果を示す波形図であって、上から、入力ＢＧＭ信号レベル、ゲイン、出力ＢＧＭ信号レベルを示している。
入力ＢＧＭ信号のレベルが適正範囲を逸脱している範囲ＡおよびＢのうち、逸脱している期間の長いＡはゲイン制御区間となるが、逸脱期間の短いＢはゲイン制御区間とはならない。
【００９４】
入力ＢＧＭ信号のレベルが急上昇したときは前処理によりゲインを所定速度で降下させて、出力ＢＧＭ信号レベルを適正範囲に引き戻す。
入力ＢＧＭ信号のレベルが適正範囲になれば、ゲイン制御区間は終了するが、後処理によりゲインを降下速度よりも遅い速度で上昇させて、適正範囲に復帰させる。
【００９５】
（２）実時間処理の場合
以下、実時間でミキシングバランス調整を行う場合について、図３のミキシングバランス調整プログラムのフローチャートを参照しつつ説明する。
演算装置７４は、まず例えばサンプリング周波数４８ＫＨｚでサンプリングされたＮＲ信号およびＢＧＭ信号を読み込む（ステップＳ１１）。
【００９６】
次に、演算装置７４はNＲ信号およびＢＧＭ信号のレベルを検出する（ステップＳ１２）。
すなわち、ＮＲ信号およびＢＧＭ信号の１０２４サンプリングを１フレームとし、１フレームごとにＮＲ信号のレベルＮおよびＢＧＭ信号のレベルＢを算出する。
【００９７】
次に、演算装置７４は、ＮＲレベルの統計値算出処理（ステップＳ１３）およびＢＧＭレベルの統計値算出処理（ステップＳ１４）を実行するが、実時間処理の場合には、１フレームごとに現時点までに算出されているＮＲレベルＮを使用してＮＲ平均値Ｎｐを算出し、現時点までに算出されている平均値Ｎｐを使用してＮＲ信号の統計的平均値Ｎｓを算出する。
【００９８】
次に、演算装置７４はＢＧＭ信号の統計値を算出する（ステップＳ１４）が、実時間処理の場合には、１フレームごとに現時点までに算出されているＢＧＭレベルＢを使用してＢＧＭ平均値Ｎｐを算出する。
さらに、演算装置７４は、ＢＧＭレベルＢとＮＲレベルＮのレベル差ΔＬを算出し（ステップＳ１５）、評価信号Ｈを選択し（ステップＳ１６）、評価値信号の平均値Ｈｐを算出する（ステップＳ１７）。
【００９９】
ついで、演算装置７４はゲイン算出処理を行う（ステップＳ１８）。
図１７は実時間処理の場合のゲイン算出処理のフローチャートであって、演算装置７４はＮＲ信号を考慮する必要があるか否かを判定する（ステップＳ１８１）。
この判定は、図１１のグラフに基づき、ＮＲ平均値Ｎｐ≧ＴＢかつＢｐ≦ＢＥ＋Ｎｓが成り立つときはＮＲ信号を考慮するものとし、それ以外のときはＮＲ信号を考慮しないものとする。
【０１００】
演算装置７４は、ＮＲ信号を考慮する必要ありと判定したときは、Ｉを"１"に設定し（ステップＳ１８２）、ゲイン決定用レベルＸを評価信号平均値Ｈｐに設定する（ステップＳ１８３）。
演算装置７４は、ＮＲ信号を考慮する必要がないと判定したときは、Ｉを"２"に設定し（ステップＳ１８４）、ゲイン決定用レベルＸをＢＧＭ平均値Ｂｐに設定する（ステップＳ１８５）。
【０１０１】
次に、演算装置７４はゲイン決定処理を実行する（ステップＳ１８６）。
図１８はゲイン決定処理の詳細フローチャートであって、演算装置７４は、まず、Ｘが図１３に示す閾値ＴＨ（Ｉ，３）以上であるか否かを判定する（ステップＳ６２０）。
演算装置７４はゲイン決定用レベルＸが閾値ＴＨ（Ｉ，３）以上でないと判定したときは、ゲイン決定用レベルＸが閾値ＴＨ（Ｉ，３）以上でない状態が予め定められた所定期間（たとえば、０．５〜２．０秒に相当する２０〜１００フレーム）継続したか否かを判定する（ステップＳ６２１）。
【０１０２】
そして、所定時間継続していないと判定したときは、ゲイン上昇制御を実行していないことを示すためにゲイン制御フラグＺＵを"１"に設定して（ステップＳ６２２）この処理を終了する。この結果、ＢＧＭ信号のゲインは変更されない。
演算装置７４は、所定時間継続したと判定したときは、ゲイン上昇制御を実行する（ステップＳ６２３）。
【０１０３】
図１９はゲイン上昇制御の詳細フローチャートであって、演算装置７４は、まず、ゲイン制御フラグＺＵが"１"であるか否かを判定する（ステップＳ３００）。
演算装置７４は、フラグＺＵが"１"であると判定したときは、Ｘが閾値ＴＨ（Ｉ，３）以上でない状態の継続期間内のＸの最小値Ｘminを探索する（ステップＳ３０１）。
次に演算装置７４は、［数４］により上昇ゲインＧｕを算出する（ステップＳ３０２）。
【０１０４】
【数４】
なお、βUは予め定められた値である。
【０１０５】
次に演算装置７４は、ステップ状のゲイン変化を回避するために、現在のゲインからＧｕまでゲインを漸増させるために、Ｇｕを漸増フレーム数ＮＩ（たとえば０．５秒に相当するフレーム数２０）で除してΔＧｕとする（ステップＳ３０３）。なお、漸増フレーム数ＮＩは、固定数であってもよいが、上昇ゲインＧｕが大きいほど大きくなる上昇ゲインＧｕの増加関数として決定することが望ましい。
演算装置７４は、ゲイン漸増回数ＮＵを"１"とし（ステップＳ３０４）、ゲインＧをΔＧｕとゲイン漸増回数ＮＵの積とし（ステップＳ３０５）、フラグＺＵを"２"として（ステップＳ３０６）、この処理を終了する。
【０１０６】
演算装置７４は、フラグＺＵが"１"でないと判定したときは、ゲイン漸増回数ＮＵが漸増フレーム数ＮＩに到達したか否かを判定する（ステップＳ３０７）。
演算装置７４は、ゲイン漸増回数ＮＵが漸増フレーム数ＮＩに到達していないと判定したときは、ゲイン漸増回数ＮＵをインクリメントし（ステップＳ３０８）、ゲインＧをΔＧｕ×ＮＵとして算出して（ステップＳ３０９）、このルーチンを終了する。
なお、演算装置７４は、ゲイン漸増回数ＮＵが漸増フレーム数ＮＩに到達したと判定したときは、ゲイン補正処理（ステップＳ５５）を実行後この処理を終了する。
なお、ゲイン補正処理については後述する。
【０１０７】
図１８のゲイン決定処理に戻り、演算装置７４はＸが閾値ＴＨ（Ｉ，３）以上であると判定したときは、Ｘが閾値ＴＨ（Ｉ，４）未満であるか否かを判定する（ステップＳ６２４）。
演算装置７４はＸが閾値ＴＨ（Ｉ，４）未満でないと判定したときは、Ｘが閾値ＴＨ（Ｉ，４）未満でない状態が予め定められた所定期間（たとえば、０．５〜２．０秒に相当する２０〜１００フレーム）継続したか否かを判定し（ステップＳ６２５）、所定時間継続していないと判定したときは、ゲイン降下制御を実行していないことを示すためにゲイン制御フラグＺＤを"１"に設定して（ステップＳ６２６）この処理を終了する。この結果、ＢＧＭ信号のゲインは変更されない。
【０１０８】
演算装置７４は、所定時間継続したと判定したときは、ゲイン降下制御を実行する（ステップＳ６２７）。
図２０はゲイン下降制御の詳細フローチャートであって、演算装置７４は、まず、フラグＺＤが"１"であるか否かを判定する（ステップＳ４００）。
演算装置７４は、フラグＺＵが"１"であると判定したときは、Ｘが閾値ＴＨ（Ｉ，４）未満でない状態の継続期間内のＸの最大値Ｘmaxを探索する（ステップＳ４０１）。
次に演算装置７４は、［数５］により降下ゲインＧｄを算出する（ステップＳ３０２）。
【０１０９】
【数５】
なお、βＤは予め定められた値である。
【０１１０】
次に演算装置７４は、ステップ状のゲイン変化を回避するために、現在のゲインからＧｕまでゲインを漸減させるために、Ｇｄを漸減フレーム数ＮＳ（たとえば０．５秒に相当するフレーム数２０）で除してΔＧｄとする（ステップＳ３０３）。なお、漸減フレーム数ＮＳは、固定数であってもよいが、降下ゲインＧｄが大きいほど大きくなる降下ゲインＧｄの増加関数として決定することが望ましい。
演算装置７４は、ゲイン漸減回数ＮＤを"１"としゲインＧをΔＧｕとし（ステップＳ４０４）、ゲインＧをΔＧｕとゲイン漸減回数ＮＤの積とし（ステップＳ４０５）、フラグＺＤを"２"として（ステップＳ４０６）、この処理を終了する。
【０１１１】
演算装置７４は、ゲイン制御フラグＺＤが"１"でないと判定したときは、ゲイン漸減回数ＮＤが漸減フレーム数ＮＳに到達したか否かを判定する（ステップＳ４０７）。
演算装置７４は、ゲイン漸増回数ＮＵが漸減フレーム数ＮＳに到達していないと判定したときは、ゲイン漸減回数ＮＤをインクリメントし（ステップＳ４０８）、ゲインＧをΔＧｕ×ＮＵとして算出して（ステップＳ４０９）、このルーチンを終了する。
なお、演算装置７４は、ゲイン漸減回数ＮＤが漸減フレーム数ＮＳに到達したと判定したときは、ゲイン補正処理（ステップＳ５５）を実行後この処理を終了する。
【０１１２】
なお、ゲイン補正処理は、ゲイン上昇制御におけるゲイン漸増中またはゲイン下降制御におけるゲイン漸減中のＢＧＭレベルＢの急増あるいは急減に対処するための処理である。
図２１はゲイン補正処理の詳細フローチャートであって、演算処理装置７４はゲイン上昇制御におけるゲイン漸増終了直後あるいはゲイン下降制御におけるゲイン漸減終了直後のＢＧＭレベルＢが閾値ＴＨ（Ｉ，３）以上であるか否かを判定する（ステップＳ５５０）。
【０１１３】
演算処理装置７４はＢＧＭレベルＢが閾値ＴＨ（Ｉ，３）未満であると判定したときは、現在フレームよりゲイン漸増回数ＮＩフレーム前のフレームから現在フレームまでのゲイン決定用レベルＸの最小値Ｘmin'を探索し（ステップＳ５５１）、［数４］を使用して修正上昇ゲインＧｕ'を算出する（ステップＳ５５２）。
【０１１４】
続いて、演算装置７４はすでに算出されているゲインＧと修正上昇ゲインＧｕ'の差を補正ゲインΔＧとし（ステップＳ５５３）、すでに算出されているゲインＧに補正ゲインΔＧを加算して（ステップＳ５５４）、この処理を終了する。
【０１１５】
演算処理装置７４はＢＧＭレベルＢが閾値ＴＨ（Ｉ，３）以上であると判定したときは、ＢＧＭレベルＢが閾値ＴＨ（Ｉ，４）未満であるか否かを判定する（ステップＳ５５５）。
演算処理装置７４はＢＧＭレベルＢが閾値ＴＨ（Ｉ，４）以上であると判定したときは、現在フレームよりゲイン漸減回数ＮＵフレーム前のフレームから現在フレームまでのゲイン決定用レベルＸの最大値Ｘmax'を探索し（ステップＳ５５６）、［数５］を使用して修正降下ゲインＧｄ'を算出する（ステップＳ５５７）。
【０１１６】
続いて、演算装置７４はすでに算出されているゲインＧと修正降下ゲインＧｄ'の差を補正ゲインΔＧとし（ステップＳ５５８）、すでに算出されているゲインＧに補正ゲインΔＧを加算して（ステップＳ５５９）、この処理を終了する。
演算処理装置７４は、ステップＳ５０５でＢＧＭレベルＢが閾値ＴＨ（Ｉ，４）未満であると判定したときは、ゲイン修正は不要であるとして直接この処理を終了する。
なお、上記のゲイン補正ではゲインが補正された場合はゲインがステップ状に変化する。これによる聴感上の違和感を緩和するために、すでに説明した漸増（漸減）処理を適用してもよい。
【０１１７】
図１８のゲイン決定処理に戻り、演算装置７４はＸが閾値ＴＨ（Ｉ，４）未満であると判定したときは、ゲイン変更後所定期間が経過したか否かを判定する（ステップＳ６２８）。
演算装置７４は、ゲイン変更後所定期間が経過していないと判定したときは、ゲインの頻繁な変更を回避するために、直接この処理を終了する。
【０１１８】
演算装置７４は、ゲイン変更後所定期間が経過していると判定したときは、ゲイン戻し制御を実行する（ステップＳ６２９）。
図２２はゲイン戻し制御処理の詳細フローチャートであって、演算装置７４は、ゲイン制御フラグＺＵが"２"であるか否かを判定することにより、ゲイン上昇制御実行後であるか否かを判定する（ステップＳ５００）。
【０１１９】
演算装置７４は、ゲイン制御フラグＺＵが"２"であると判定したときは、上昇ゲインＧｕを予め定めたゲイン戻しフレーム数ＮＦ（たとえば、５秒に相当するフレーム数５００）で除し商である戻しゲインΔＧｒを算出する（ステップＳ５０１）。
演算装置７４は、ゲイン制御フラグＺＵが"２"でないと判定したときは、ゲイン制御フラグＺＤが"２"であるか否かを判定することにより、ゲイン降下制御実行後であるか否かを判定する（ステップＳ５０２）。
【０１２０】
演算装置７４は、ゲイン制御フラグＺＤが"２"であると判定したときは、降下ゲインＧｄを予め定めたゲイン戻しフレーム数ＮＦで除し商ΔＧｒを算出する（ステップＳ５０３）。
次に演算装置７４は、ゲイン戻し回数ｎＲを"１"に設定し（ステップＳ５０４）、ゲインＧを戻しゲインΔＧｒとゲイン戻し回数ｎＲの積として算出し（ステップＳ５０５）、フラグＺＵおよびＺＤを"１"にリセットしてこの処理を終了する。
【０１２１】
演算装置７４は、ゲイン制御フラグＺＤが"２"でないと判定したときは、ゲイン戻し回数ｎＲがゲイン戻しフレーム数ＮＦに到達したか否かを判定する（ステップＳ５０７）。
演算装置７４は、ゲイン戻し回数ｎＲがゲイン戻しフレーム数ＮＦに到達していないと判定したときは、ゲイン戻し回数ｎＲをインクリメントし（ステップＳ５０８）、ゲインＧを戻しゲインΔＧｒとゲイン戻し回数ｎＲの積として算出してこの処理を終了する（ステップＳ５０９）。
【０１２２】
なお、演算装置７４は、ゲイン戻し回数ｎＲがゲイン戻しフレーム数ＮＦに到達したと判定したときは、ゲイン戻しは終了したものとして直接この処理を終了する。
ここで、図１９のフローチャートに戻り、演算装置７４はステップＳ１９１で読み込んだＮＲ信号およびゲインＧを乗算したＢＧＭ信号を出力する（ステップＳ１９７）。
以上処理を番組が終了するまで繰り返す。
図２３はミキシングバランス調整プログラムを使用した実時間処理によるＢＧＭ信号のゲイン調整効果を示す波形図であって、上から、入力ＢＧＭ信号レベル、ゲイン、出力ＢＧＭ信号レベルを示している。
入力ＢＧＭ信号のレベルが適正範囲を逸脱した範囲ＣおよびＤのうち、逸脱期間が所定期間以上継続した場合（Ｃ）はＢＧＭ信号のゲインが変更されるが、逸脱期間が短い場合（Ｄ）ではゲインは変更されない。
【０１２３】
入力ＢＧＭ信号のレベルが適正範囲を所定時間以上逸脱すると、ゲインを所定の降下速度で降下させて、出力ＢＧＭ信号レベルを適正範囲に引き戻す。
入力ＢＧＭ信号のレベルが適正範囲に復帰すると、ゲインを降下速度よりも遅い速度で上昇させて、適正範囲に復帰させる。
【０１２４】
なお、図２３に破線で示すように、ゲイン漸減期間中にＢＧＭレベルＢがさらに上昇した場合には、ゲイン補正処理が機能し、ゲイン漸減期間終了後さらにゲインが減少して、ＢＧＭレベルＢを適正範囲に復帰させる。
【０１２５】
なお、上述の実施形態において、第１の音声信号及び第２の音声信号をそれぞれＮＲ信号及びＢＧＭ信号とし、ＮＲ信号とＢＧＭ信号とをミキシングする際のミキシングバランスの状態を制御する例を挙げて説明したが、本発明はこれに限定されるものではない。例えば、複数の音楽信号のミキシングを対象とするものや、台詞の音声信号と効果音の信号とのミキシングを対象とするもの等に適用しても同様な効果が得られる。
【０１２６】
また、上述の実施形態において示した各閾値の値や、各閾値に対する大小の判断手法は一例であり、上述のものに限定されない。
【０１２７】
以上説明したように、本発明に係るミキシングバランス自動調整装置は、過去の所定数のフレームから、現フレームまでの間の比較的長い時間区間におけるＮＲ信号の統計的平均値に基づいて、ＢＧＭ信号を制御するための制御閾値を算出することにより、音声信号のミキシングバランスの状態を高齢者の聴感に対応させて自動調整することができる。
例えば、本発明に係るミキシングバランス自動調整装置は、ＢＧＭ信号のレベルがＮＲ信号のレベルよりも大き過ぎる場合はＢＧＭ信号のレベルを下げるよう自動調整することができ、ＢＧＭ信号のレベルが大き過ぎてＮＲ信号が聴き取りにくいといった現象を未然に防ぐことができるので、番組の音響効果の向上を支援することができる。
【０１２８】
また、本発明に係るミキシングバランス自動調整装置が備える演算装置に余力がある場合には、特許文献２（特開２００９−１５９０８３号公報）に開示されている聴覚特性模擬装置の出力音声を使用することで、マスキングやリクルートメント計算を行った結果に対して、本発明の手法を適用することも可能である。
【産業上の利用可能性】
【０１２９】
本発明に係るミキシングバランス自動調整装置及びプログラムは、ミキシングバランスの状態を高齢者の聴感に対応させて自動調整することができるという効果を有し、テレビやラジオ等の番組制作時にナレーション信号とバックグラウンドミュージック信号とのミキシングバランスの状態を自動で調整するミキシングバランス自動調整装置及びプログラム等として有用である。
【符号の説明】
【０１３０】
１ ミキシングバランス自動調整装置
２ ＮＲ統計値算出部
３ ＢＧＭ統計値算出部
５ ゲイン算出部
６ 音声出力部
２０ ＮＲレベル検出部
２１ ＮＲ平均値算出部
２２ ＮＲ統計的平均値算出部
３０ ＢＧＭレベル検出部
３１ ＢＧＭ平均値算出部
３３ ＢＧＭ統計的平均値算出部
４１ レベル差算出部
４２ 評価信号選択部
４３ 評価信号平均値算出部
７３ マウス
７４ 演算装置
７４１ ＡＤ変換器
７４２ ＤＡ変換器
７４５ ハードディスク
７４６ 周辺機器Ｉ／Ｆ
７４７ バス
【技術分野】
【０００１】
本発明は、ミキシングバランス自動調整装置、システムおよびプログラムに係り、特に、テレビやラジオ等の番組制作時にナレーション信号とバックグラウンドミュージック信号とのミキシングバランスの状態を高齢者の聴感に合わせて自動調整するミキシングバランス自動調整装置、システムおよびプログラムに関する。
【背景技術】
【０００２】
従来、例えばナレーション（以下、ＮＲと記す）信号とバックグラウンドミュージック（以下、ＢＧＭと記す）信号とのミキシングを行う際に、訓練された音声調整者が実際に音を聞きながら、音声調整卓を操作し、ＮＲ信号とＢＧＭ信号のミキシングバランスが最適になるよう手動で調整していた。この手法では、熟練した音声調整者が必要となるという課題と、熟練した音声調整者であっても高齢者の聴感に合わせて調整を行うことは困難であるという課題があった。このような課題の解決を図るため、本発明者は、先に特許文献１に開示されたようなミキシングバランス表示装置を提案している。
【０００３】
特許文献１に開示されたミキシングバランス表示装置は、ＮＲ信号とＢＧＭ信号とのレベル差に対してＮＲ信号のレベルに応じた重み付けを行って重み付きレベル差を算出し、この重み付きレベル差に対して聴感に対応させるための信号処理を施すことにより、ミキシングバランスの状態を聴感に対応させて表示することができるようになっている。
【０００４】
しかし、特許文献１に開示された従来の装置は、高齢者の聴覚特性を考慮に入れたものではないため、ＮＲ信号とＢＧＭ信号を高齢者に聞きとりやすくミキシングするための装置としては十分とは言えない。
【０００５】
そこで、本発明者は、高齢者の聴覚特性を模擬する聴覚特性模擬装置を備えたミキシング表示システムを提案した（例えば、特許文献２参照）。
このシステムは、健聴者に不快感を与えることなく、高齢者の聴覚特性を正確に模擬することができるものである。
【０００６】
しかしながら、特許文献２で示された従来のシステムは、高齢者の聴覚特性を正確に模擬するために、高齢者特有の、背景音によりナレーションがより小さく知覚されるマスキング補正量を計算するマスキング補正量算出と、高齢者特有の高齢性リクルートメント現象を模擬するリクルートメント模擬計算を行う必要があり、装置及びプログラムによる計算が煩雑になるという問題を有している。
【０００７】
また、特許文献１、２に開示された従来の装置は、ごく短い時間で「ナレーションやセリフの平均的な音の大きさ」を計算する、あるいは予め基準としているナレーションの大きさを利用して、適正なミキシングバランスであるかどうかを評価するものである。
【０００８】
しかし、本発明者の調査によれば、高齢者の聴感に関して、背景音の影響の調査を行った結果、ある程度長い時間の「ナレーションやセリフの平均的な音の大きさ」によって、背景音の大きさに関する主観量に影響があることが明らかになっている。
【０００９】
さらに、特許文献１、２に開示された従来の装置においては、音声調整者が装置の評価結果を見て、ミキシングバランスを手動で調整する必要があった。
【００１０】
一方、特許文献３には、音声の一部区間を示す区間データに対して聴感補正処理を施し、聴感補正後の区間データが示す波形の振幅に基づいて区間データを増幅することにより、音声データに対して周波数による人間の聴感の違いを考慮した音量調整を施すことができ、音声データの音量を適切に自動調整することができる音量調整装置が開示されている。
【００１１】
特許文献３に開示された装置は、フレッチャーマンソンの等ラウドネス曲線に従って、ラウドネスを計算しており、それにより、ナレーションやセリフにあたる音声を自動調整するものである。この手法は、本発明者も先行特許で実施例に挙げて使用しているラウドネス計算の基礎的な手法であり、有効であると考えられる。
【先行技術文献】
【特許文献】
【００１２】
【特許文献１】特開２００８−１２４８９２号公報
【特許文献２】特開２００９−１５９０８３号公報
【特許文献３】特許第４０５０２８９号明細書
【発明の概要】
【発明が解決しようとする課題】
【００１３】
しかしながら、番組の音声、特に背景音を自動調整する際には、視聴者の感じる音の大きさ、特にナレーションやセリフの平均的な音の大きさを決定する必要がある。特許文献３に開示された方法では、平均的な音の大きさを決定することができず、さらに、背景音の大きさを自動的に調整することができないという課題があった。さらに、特許文献３に開示された装置は、高齢者の聴覚特性を考慮に入れたものではない。
【００１４】
本発明は、このような従来の課題を解決するためになされたものであって、音声信号のミキシングバランスの状態を高齢者の聴感に合わせて自動調整することができるミキシングバランス自動調整装置、システムおよびプログラムを提供することを目的とする。
【課題を解決するための手段】
【００１５】
本発明に係るミキシングバランス自動調整装置は、第１の音声信号のレベルである第１のレベルを検出する第１のレベル検出部と、第２の音声信号のレベルである第２のレベルを検出する第２のレベル検出部と、前記第１のレベルの統計値である第１の統計値を算出する第１の統計値算出部と、前記第２のレベルの統計値である第２の統計値を算出する第２の統計値算出部と、前記第２のレベルと前記第１のレベルの差であるレベル差を算出するレベル差算出部と、前記第１のレベルと前記第２のレベルに応じてミキシングバランスを評価するための評価信号として前記レベル差と前記第２のレベルのいずれかを選択する評価信号選択部と、前記評価信号のパーセント時間率平均値である評価信号平均値を算出する評価信号平均値算出部と、前記第１の統計値および前記第２の統計値に応じて定まる閾値と前記評価信号平均値に応じて適正なミキシングバランスを維持するための前記第２の音声信号に対するゲインを算出するゲイン算出部と、前記第１の音声信号および前記ゲインを乗算した前記第２の音声信号を出力する音声出力部と、を備える。
【００１６】
上記構成のミキシングバランス自動調整装置によれば、長期間の第１の音声信号の統計値に基づき、第１の音声信号と第２の音声信号のミキシングバランスを高齢者の聴感に合わせて調整することが可能となる。
【００１７】
本発明に係るミキシングバランス自動調整装置は、前記第１の統計値算出手段が、前記第１の音声信号のレベルのパーセント時間率平均値を算出する第１の平均値算出手段と、前記第１の平均値算出手段により算出された前記第１の音声信号のレベルのパーセント時間率平均値に基づき前記第１の音声信号のレベルの統計的平均値を算出する第１の統計的平均値算出手段と、を備え、前記第１の音声信号のレベルの統計的平均値を出力するものである。
【００１８】
上記構成のミキシングバランス自動調整装置によれば、番組間のミキシングバランスの相違を考慮してミキシングバランスを調整することが可能となる。
【００１９】
本発明に係るミキシングバランス自動調整装置は、前記第１の統計的平均値算出手段が、前記第１の平均値算出手段の出力のヒストグラムを作成するヒストグラム作成部と、前記ヒストグラムの複数の極大値の中から最も支配的な極大値を探索する支配的極大値探索部と、前記支配的極大値を極大値とする正規分布のパラメータに基づき前記第１の統計的平均値を決定する統計的平均値決定部と、を含む構成としてもよい。
【００２０】
本発明に係るミキシングバランス自動調整装置は、前記第２の統計値算出手段が、前記第２の音声信号のレベルのパーセント時間率平均値を算出し出力するものである。
【００２１】
本発明に係るミキシングバランス自動調整装置は、前記ミキシングバランス評価信号出力手段が、前記第１の統計値算出手段の出力が予め定められた第１の値以上であるときは、前記レベル差をミキシングバランス評価信号として出力し、前記第１の統計値算出手段の出力が前記第１の値以下の値である予め定められた第２の値未満であるときは、前記第２の統計値算出手段の出力をミキシングバランス評価信号として出力し、前記第１の統計値算出手段の出力が前記第１の値未満かつ前記第２の値以上であるときは、前記第１の統計値算出手段の出力が前記第１の値であるときに前記第１の統計値算出手段の出力が前記第１の値であるときの前記レベル差となり、前記第１の統計値算出手段の出力が前記第２の値であるときに前記第２の統計値算出手段の出力となる単調関数値をミキシングバランス評価信号として出力するものである。
【００２２】
本発明に係るミキシングバランス自動調整システムは、第１の音声信号データおよび第２の音声データを読み込む音声データ読み込み部と、前記第２の音声データに対してミキシングバランス自動調整を実行するミキシングバランス自動調整装置と、前記第１の音声データと、前記ミキシングバランス自動調整装置によりミキシングバランス調整された前記第２の音声データとを出力する音声データ出力部とを備える。
【００２３】
上記構成のミキシングバランス自動調整システムによれば、予め収録された第１の音声信号データと第２の音声信号データをバッチ的に処理して、ミキシングバランスを調整することが可能となる。
【００２４】
本発明に係るミキシングバランス自動調整システムは、前記ゲイン算出部が、前記音声データ読み込み部により読み込まれた前記第１の音声信号データおよび前記第２の音声データのミキシングバランスが予め定められた適正範囲を逸脱した区間を検出するゲイン制御区間検出部と、前記ゲイン制御区間検出部で検出されたゲイン制御区間に適応する目標ゲインを決定するゲイン決定部と、を含み、前記音声データ出力部が、前記目標ゲインを前記第２の音声データに乗算してミキシングバランスを調整するものである。
【００２５】
本発明に係るミキシングバランス自動調整システムは、前記音声データ出力部が、前記ゲイン制御区間の前に前記目標ゲインに向けてゲインを第１の変化率で変更する前処理部と、前記ゲイン制御区間の後に前記目標ゲインからゲインを前記第１の変化率より小さい第２の変化率で変更する後処理部と、を含む。
【００２６】
本発明に係るミキシングバランス自動調整システムは、予め定められたフレーム数の第１の音声信号データおよび第２の音声データを読み込む音声データ読み込み部と、前記フレーム数に相当する時間より短い時間内に前記第２の音声データに対してミキシングバランス自動調整を実行するミキシングバランス自動調整装置と、前記第１の音声データと、前記ミキシングバランス自動調整装置によりミキシングバランス調整された前記第２の音声データとを前記フレーム数ごとに出力する音声データ出力部とを備える。
【００２７】
上記構成のミキシングバランス自動調整システムによれば、第１の音声信号データと第２の音声信号データを実時間処理して、ミキシングバランスを調整することが可能となる。
【００２８】
本発明に係るミキシングバランス自動調整システムは、前記ゲイン算出部が、前記音声データ読み込み部により読み込まれた前記第１の音声信号データおよび前記第２の音声データのミキシングバランスが予め定められた適正範囲を逸脱したときにミキシングバランスを前記適正範囲に戻すための目標ゲインを決定するものであり、前記音声データ出力部が、ミキシングバランスが予め定められた適正範囲を逸脱したときには前記目標ゲインを前記第２の音声データに乗算してミキシングバランスを調整し、ミキシングバランスが予め定められた適正範囲に復帰したときには前記第２の音声データをそのまま出力するものである。
【発明の効果】
【００２９】
本発明は、所定数の過去のフレームから現フレームまでの間の比較的長い時間区間における第１の音声信号の統計値に基づいて、第２の音声信号を制御するためのゲインを算出することにより、音声信号のミキシングバランスの状態を高齢者の聴感に合わせて自動調整することができるミキシングバランス自動調整装置、システムおよびプログラムを提供するものである。
【図面の簡単な説明】
【００３０】
【図１】本発明に係るミキシングバランス自動調整装置の構成を示すブロック図
【図２】本発明に係るミキシングバランス自動調整装置のハードウエア構成を示すブロック図相対レベル差に対する重み付け関数を示すグラフ
【図３】本発明に係るミキシングバランス自動調整装置のＣＰＵが実行するミキシングバランス自動調整プログラムのフローチャート
【図４】ＮＲ平均値算出処理の詳細フローチャート
【図５】混合数が２の場合の混合分布を模式的に示すグラフ
【図６】ＮＲ統計平均値算出処理の詳細フローチャート
【図７】ＮＲレベル平均値のヒストグラム
【図８】ＮＲレベルと評価信号Ｈの関係を示すグラフ
【図９】ＮＲレベルとＢＧＭレベル、レベル差、評価信号の模式図
【図１０】ゲイン算出処理の詳細フローチャート
【図１１】閾値の適用範囲を示すグラフ
【図１２】ゲイン制御区間検出処理の詳細フローチャート
【図１３】閾値を示すグラフ
【図１４】ゲイン決定処理の詳細フローチャート
【図１５】音声出力処理の詳細フローチャート
【図１６】バッチ処理による波形図
【図１７】実時間処理用ゲイン算出処理の詳細フローチャート
【図１８】実時間処理用ゲイン決定処理の詳細フローチャート
【図１９】ゲイン上昇制御の詳細フローチャート
【図２０】ゲイン下降制御の詳細フローチャート
【図２１】ゲイン補正処理の詳細フローチャート
【図２２】ゲイン戻し制御の詳細フローチャート
【図２３】実時間処理による波形図
【発明を実施するための形態】
【００３１】
以下、本発明に係るミキシングバランス自動調整装置およびプログラムの実施形態について図面を用いて説明する。
【００３２】
すなわち、本発明に係るミキシングバランス自動調整装置を、テレビやラジオ等の番組制作時にＮＲ信号とＢＧＭ信号とのミキシングバランスの状態を自動調整するミキシングバランス自動調整装置に適用する場合について説明する。
なお、本実施形態におけるＮＲ信号及びＢＧＭ信号は、特許請求の範囲に記載の第１の音声信号及び第２の音声信号にそれぞれ対応する。
【００３３】
以下の説明においては、適正なレベルでミキシングされたＮＲ信号のラウドネスレベル［ｐｈｏｎ］を０で正規化した相対レベルを用いて、ＮＲ信号のレベルを表すことにする。また、ＢＧＭ信号のレベルもＮＲ信号と同一のレベルで正規化した相対レベルを用いて表すことにする。
一例を挙げれば、適正なレベルでミキシングされたＮＲ信号のラウドネスレベルが７０［ｐｈｏｎ］の場合では、ＮＲ信号またはＢＧＭ信号のラウドネスレベルが、７０［ｐｈｏｎ］のときは当該信号の相対レベルは０であり、７５［ｐｈｏｎ］のときは当該信号の相対レベルは＋５である。
【００３４】
正規化後の相対レベルが例えば−５０程度以下の場合は、ＮＲ信号及びＢＧＭ信号のラウドネスレベルは聴感的に非常に小さいものであるので、−５０以下の値を全て−５０で置き換えても実用上は十分である。
なお、０で正規化しないで後述する処理を行うこともできるが、その場合には後述する各閾値の値が相対的に変わってくる。
以下、正規化されたＮＲ信号の相対レベルを「Ｎ」、正規化されたＢＧＭ信号の相対レベルを「Ｂ」と表す。また、両者の相対レベルの差を「ΔＬ」と表す。
【００３５】
図１は本発明に係るミキシングバランス自動調整装置１の構成を示すブロック図である。
本実施の形態においては、ＮＲ信号およびＢＧＭ信号は、サンプリング周波数が４８ｋＨｚ、量子化ビット数が１６ビットのデジタルＮＲ信号およびデジタルＢＧＭ信号であるとする。なお、入力されるＮＲ信号及びＢＧＭ信号がアナログ信号である場合は、図示しないＡＤ変換器によりデジタル信号に変換する必要がある。
【００３６】
図１に示すように、本発明に係るミキシングバランス自動調整装置１は、ＮＲ信号のレベルであるＮＲレベルを検出するＮＲレベル検出部２０と、ＢＧＭ信号のレベルであるＢＧＭレベルを検出するＢＧＭレベル検出部３０と、ＮＲレベルの統計値であるＮＲ統計値を算出するＮＲ統計値算出部２と、ＢＧＭレベルの統計値であるＢＧＭ統計値を算出するＢＧＭ統計値算出部３と、ＢＧＭレベルとＮＲレベルの差であるレベル差を算出するレベル差算出部４１と、ＮＲレベルとＢＧＭレベルに応じてミキシングバランスを評価するための評価信号としてレベル差とＢＧＭレベルのいずれかを選択する評価信号選択部４２と、評価信号のパーセント時間率平均値である評価信号平均値を算出する評価信号平均値算出部４３と、ＮＲ統計値およびＢＧＭ統計値に応じて定まる閾値と評価信号平均値に応じて適正なミキシングバランスを維持するためのＢＧＭ信号に対するゲインを算出するゲイン算出部５と、ＮＲ信号およびゲインを乗算したＢＧＭ信号を出力する音声出力部６と、を備える。
【００３７】
ＮＲ統計値算出部２の構成
ＮＲ統計値算出部２は、ＮＲレベルのパーセント時間率平均値であるＮＲ平均値Ｎｐを算出するＮＲ平均値算出部２１と、ＮＲ平均値Ｎｐの統計的平均値であるＮＲ統計的平均値Ｎｓを算出するＮＲ統計的平均値算出部２２を含む。
なお、ＮＲ統計的平均値算出部２２は必須ではなく、ＮＲ統計的平均値算出部２２を具備しない場合は、ＮＲ統計値算出部２の出力は、ＮＲ平均値Ｎｐとなる。
【００３８】
ＢＧＭ統計値算出部３の構成
ＢＧＭ統計値算出部３は、ＢＧＭレベルのパーセント時間率平均値であるＢＧＭ平均値を算出し、ＢＧＭ統計値算出部３の出力とするＢＧＭ平均値算出部３１を含む。
なお、ＢＧＭ統計値算出部３は、ＢＧＭ平均値からＢＧＭ相対レベルの統計的平均値であるＢＧＭ統計的平均値を算出するＢＧＭ統計的平均値算出部３３を含んでいてもよく、この場合は、ＢＧＭ統計値算出部３の出力は、ＢＧＭ統計的平均値となる。
【００３９】
ハードウエア構成
本発明に係るミキシングバランス自動調整装置１は、パーソナルコンピュータ等のプログラマブル制御装置でミキシングバランス自動調整プログラムを実行することにより構成することができる。
【００４０】
図２は、本実施形態で使用するパーソナルコンピュータ７のハードウエア構成を示すブロック図であって、たとえば表示パネル７１、キーボード７２、およびマウス７３で構成されるマン・マシンインターフェイスと、演算装置７４と、で構成される。
演算装置７４は、サンプリング周波数４８ｋＨｚ、量子化ビット数１６ビットでＮＲ信号及びＢＧＭ信号をデジタル音声信号に変換するＡＤ変換器７４１、アナログ音声信号を出力するＤＡ変換器７４２、ＣＰＵ７４３、メモリ７４４、ハードディスク（ＨＤＤ）７４５、および周辺機器Ｉ／Ｆ７４６がバス７４７を介して相互に結合された構成を有する。表示パネル７１、キーボード７２、およびマウス７３は周辺機器Ｉ／Ｆ７４６に接続される。
なお、ＮＲ信号及びＢＧＭ信号がデジタル信号である場合は、ＡＤ変換部器７４１を省略することができる。また、出力信号がデジタル信号である場合には、ＤＡ変換部７４２を省略することができる。
【００４１】
そして、ＮＲ信号のレベルであるＮＲレベルを検出するＮＲレベル検出部２０、ＢＧＭ信号のレベルであるＢＧＭレベルを検出するＢＧＭレベル検出部３０、ＮＲレベルの統計値を算出するＮＲ統計値算出部２、ＢＧＭレベルの統計値を算出するＢＧＭ統計値算出部３、ＢＧＭレベルとＮＲレベルの差であるレベル差を算出するレベル差算出部４１、ＮＲレベルとＢＧＭレベルに応じてミキシングバランスを評価するための評価信号としてレベル差とＢＧＭレベルのいずれかを選択する評価信号選択部４２、評価信号のパーセント時間率平均値である評価信号平均値を算出する評価信号平均値算出部４３、ならびに、ＢＧＭ信号に乗じるゲインを算出するゲイン算出部５およびゲイン調整されたＢＧＭ信号とＮＲ信号とのミキシング信号を出力する音声出力部６は、演算装置７４内にソフトウエア的に構成される。
【００４２】
動作の説明
以下メモリに記憶されているプログラムのフローチャートを参照しつつ、本発明に係るミキシングバランス自動調整装置１の動作を説明する。
図３は第１のミキシングバランス調整プログラムのフローチャートであって、バッチ処理的にミキシングバランス調整を行う場合と、実時間でミキシングバランス調整を行う場合２つの場合について説明する。
【００４３】
（１）バッチ処理の場合
番組全体のＮＲ信号およびＢＧＭ信号が既知であり、予め記録された番組全体のＮＲ信号およびＢＧＭ信号を事後的にミキシングバランス調整する場合である。
まず、演算装置７４は、ＮＲ信号およびＢＧＭ信号を読み込む（ステップＳ１１）。
ＮＲ信号およびＢＧＭ信号がデジタル信号である場合には、予めハードディスク７４５に記憶されているＮＲデータおよびＢＧＭデータからＮフレーム分のデータを読み込む。
ＮＲ信号およびＢＧＭ信号がアナログ信号である場合には、ＡＤ変換器７４１を介してＮフレーム分のＮＲ信号およびＢＧＭ信号を読み込む。
Ｎの値は特に制限されないが、約５分間のＮＲ信号およびＢＧＭ信号を１つのバッチとして処理することが現実的である。
【００４４】
次に、演算装置７４は、ＮＲ信号のレベルであるＮＲレベルＮおよびＢＧＭ信号のレベルであるＢＧＭレベルＢをフレームごとに検出する（ステップＳ１２）。
すなわち、演算装置７４は、ＮＲ信号およびＢＧＭ信号の相対レベル（瞬時ラウドネスレベル）Ｎ［ｐｈｏｎ］を所定時間ΔＴ毎に検出し、それをＮＲレベルＮおよびＢＧＭレベルＢとして出力するようになっている。
ここで、所定時間ΔＴは、ＮＲ信号およびＢＧＭ信号をサンプリング周波数４８ｋＨｚで例えば１０２４サンプルを取得する場合は、約２１．３ｍｓ（＝１０２４／４８０００ｓ）となる。
【００４５】
以下の説明では、サンプリング周波数４８ｋＨｚでサンプリングした１０２４サンプルを１フレームと呼ぶことにする。各フレームは互いに時間的に重複する部分を有していても良い。
ここで、ＮＲ信号およびＢＧＭ信号のラウドネスレベルを検出する方法としては、例えばＩＳＯ５６２に規格化されたものを使用することができる。
なお、ラウドネスレベルに代えてＮＲ信号およびＢＧＭ信号の平均エネルギレベル［ｄＢ］を算出してもよい。この場合は、例えばサンプル値の２乗平均値を算出し、それらをｄＢ変換することになる。
ＮＲレベルおよびＢＧＭレベルの検出処理中は、演算装置７４がＮＲレベル検出部２０およびＢＧＭレベル検出部３０として動作していることとなる。
【００４６】
次に演算装置７４は、ＮＲ統計値Ｎｓを算出する（ステップＳ１３）。
図４はＮＲ統計値算出処理の詳細フローチャートであって、演算装置７４は、ＮＲレベルＮのパーセント時間率平均値Ｎｐを算出する（ステップＳ１３１）。
【００４７】
ここで、パーセント時間率平均値とは、過去から現フレームまでのｎ個のフレームに含まれるＮＲレベルＮから降冪の順にｍ個の値を選択し、そのｍ個の平均値として定義される。なお、ｎ及びｍは正の整数であり、ｎ≧ｍである。
ｎおよびｍを大きくするほど、ＮＲ平均値Ｎｐの変化を滑らかにすることができるが、ｎおよびｍが大き過ぎるとＮＲレベルの変化に対する追従が悪くなるので、ｎおよびｍを適当な大きさに設定する必要がある。
本実施例においては、ｎを相対的に大きな値として平均値の変化を滑らかとするとともに、ｍを相対的に小さな値として追従性を確保している。実用上は、ｎ＝１００、ｍ＝４程度とするのが好ましい。
【００４８】
次に演算装置７４は、ＮＲ平均値ＮｐからＮＲ相対レベルの統計的平均値Ｎｓを算出する（ステップＳ１３２）。
Ｒ相対レベルの統計的平均値Ｎｓを算出する理由は以下の通りである。
すなわち、視聴者は聴感的なラウドネスを基準としてＢＧＭが大きいか否かを判断していると考えることができる。
したがって、番組全体を通してＮＲ平均値Ｎｐが一定であれば、ＮＲ平均値Ｎｐを基準としてＢＧＭのゲインを調整すればミキシングバランスは適正なレベルを維持するものと言える。
【００４９】
しかし、本発明者の調査によれば、複数回にわたって放送される放送番組において、ＶＵ計等も補助的に利用して同程度（たとえば、相対レベル＝０）の音量になるように音声レベルを調整しても、視聴者は放送回によりラウドネスが異なると感じる場合があることが明らかとなった。
通常の番組ではＮＲ信号の相対レベルがおよそ零程度になるように制作されることが多いが、本発明者のこれまでの調査によれば、実際にはＮＲ信号の相対レベルの平均値は＋１〜２［ｐｈｏｎ］となっている場合が多い。
このことはＮＲ平均値Ｎｐに基づきミキシングバランスを調整することが、必ずしも適切ではないことを意味している。
【００５０】
一方、本発明者は、ＮＲ平均値Ｎｐを１つの正規分布ではなく、複数の正規分布が混合した混合正規分布と仮定し、最も支配的な１つの正規分布のパラメータから視聴者の感じるラウドネスをある程度推定可能であることを明らかにした。
従来から、ヒストグラムの分布を複数の正規分布の混合で近似する手法が知られている（「Ｒで学ぶデータサイエンス パターン認識」，金森敬文，竹之内高志，村田昇，共立出版，２００９年）。さらに、このときの混合数の推定には、ＡＩＣ（Akaike's Information Criterion）やＢＩＣ（Bayesian Information Criterion）などを用いることもできることも知られている。
したがって、ＮＲ平均値Ｎｐの代わりに統計的平均値Ｎｓを用いれば、視聴者の感じるミキシングバランスを達成することが可能となる。
【００５１】
統計的平均値Ｎｓの算出方法として、混合正規分布モデルＧＭＭ（Gaussian Mixture Model）を使用することが可能である。
本発明者の実験によれば、ナレーション音声のヒストグラムは、混合数を２〜３程度とすれば十分よい近似ができることが分かっている。
【００５２】
混合数が２の場合について、統計的平均値Ｎｓの算出方法を説明する。
図５は、混合数を２の場合の混合分布を模式的に示すグラフである。
図５において、１番目の混合分布の平均値ｍｕ［１］＝０、２番目の平均値ｍｕ［２］＝１．５とする。また混合比率を表す混合パラメータをｐ［１］＝０．６、ｐ［２］＝０．４とする。
【００５３】
図５の分布の統計的平均値は１番目の分布、あるいは１番目と２番目の中間の値に従うように見えるが、視聴者の感じる平均的なナレーションの大きさは、ラウドネスレベルの大きな分布により影響されることが、これまでの本発明者の調査で明らかになっている。
図５の例においては、α×ｐ［１］＜ｐ［２］（αは経験的に"０．６"程度が適当である。）である場合は、２番目の混合分布が有効と判断でき、統計的平均値Ｎｓとしてｍｕ［２］を選択する。
一方、α×ｐ［１］≧ｐ［２］が成り立つ場合には、１番目の混合分布が有効と判断でき、統計的平均値Ｎｓとしてｍｕ［１］を選択すればよい。
【００５４】
上記の混合正規分布モデルによらずヒストグラムから統計平均値Ｎｓを算出する方法も提案されており、本実施形態ではこの方法を採用する。
図６はＮＲ統計平均値算出処理（ステップＳ１３３）の詳細フローチャートであって、
演算装置７４は、所定数のＮＲ平均値Ｎｐの平均値ｍｇおよび中間値ｍｄを算出する（ステップＳ３２１）。
【００５５】
次に、演算装置７４は、１［ｐｈｏｎ］刻みのＮＲ平均値Ｎｐのヒストグラムを作成し、混合数に対応した数の極大値を探索する(ステップ３２２)。
実用上は、混合数を"３"とすれば十分であるので、３個の極大値を探索すれば十分である。
【００５６】
次に、演算装置７４は、極大値の中から最も支配的な極大値を決定する（ステップＳ３２３）。
以下、支配的な極大値の決定方法を極大値が２個の場合につき説明する。
図７は、ヒストグラム作成処理により作成されたヒストグラムの一例を示すグラフである。横軸のｈｉｓｔ［ｘ］（ｘ＝０，±１，±２，・・・）は、レベル平均値ＮＡ（相対ラウドネスレベル）の値の小数点以下を四捨五入した値がｘであることを意味している。また、縦軸はｈｉｓｔ［ｘ］の頻度を表している。
【００５７】
図７のヒストグラムにおいては、ｈｉｓｔ［０］とｈｉｓｔ［２］が局所的な極大値となっている。そして、ｈｉｓｔ［０］及びｈｉｓｔ［２］の頻度を混合数（所定の規格化を行った値としても良い）と推定する。
α×ｈｉｓｔ［０］＜ｈｉｓｔ［２］が成り立てば、相対ラウドネスレベル２［ｐｈｏｎ］を仮の統計的平均値とする。一方、α×ｈｉｓｔ［０］≧ｈｉｓｔ［２］が成り立つ場合には、相対ラウドネスレベル０［ｐｈｏｎ］を仮の統計的平均値とする。
【００５８】
最後に、演算装置７４は、仮の統計的平均値、ＮＲ平均値Ｎｐの平均値ｍｇ、ＮＲ平均値Ｎｐの中間値ｍｄの３値の中で最大の値を統計的平均値Ｎｓとする（ステップＳ３２４）。なお、仮の統計的平均値をそのまま統計的平均値Ｎｓとしてもよい。
ＮＲレベルの統計値算出処理中は、演算装置７４がＮＲ統計値算出部２として動作していることとなる。
【００５９】
以上でＮＲ信号統計値算出処理を終了し、演算装置７４はＢＧＭ信号統計値算出処理を実行する（ステップＳ１４）。
すなわち、演算装置７４は、ＢＧＭ平均値ＢｐをＢＧＭレベルＢのパーセント時間率平均値であるＢＧＭ平均値Ｂｐを算出する。
【００６０】
なお、ＢＧＭ平均値Ｂｐに基づいてＢＧＭ統計的平均値Ｂｓを算出してもよいが、算出方法はＮＲ統計的平均値Ｎｓの算出方法と同一であるので詳細な説明は省略する。
ただし、実際にはＢＧＭ統計的平均値Ｂｓを使用する場合は少ない。
ＢＧＭレベルの統計値算出処理中は、演算装置７４がＢＧＭ統計値算出部３として動作していることとなる。
【００６１】
次に、演算装置７４はＢＧＭレベルＢとＮＲレベルＮの差であるレベル差ΔＬ（＝Ｂ−Ｎ）を算出する（ステップＳ１５）。
レベル差算出処理中は、演算装置７４がレベル差算出部４１として動作していることとなる。
【００６２】
次に、演算装置７４は、ミキシングバランスを評価するための評価信号Ｈを選択する（ステップＳ１６）。
評価信号の選択は、ミキシングバランスを評価する対象を切り換えるための処理であって、ＮＲレベルＮが所定レベル以上であるときはレベル差ΔＬを評価信号Ｈとして選択し、ＮＲレベルＮが所定レベル未満であるときはＢＧＭレベルを評価信号Ｈとして選択する。
【００６３】
図８は、縦軸を評価信号Ｈ、横軸をＮＲレベルＮとしたグラフである。
図８および下記の［数１］に示すように、ＮＲレベルＮが所定値ＴＢよりも小であるとき（Ｎ＜ＴＢ）には、ＮＲ信号を考慮せずにミキシングバランスを評価するために、評価信号ＨをＢＧＭレベルＢに設定する。
ＮＲ信号の相対レベルＮが所定値ＴＡよりも大であるとき（Ｎ＞ＴＡ）は、ＮＲ信号とＢＧＭ信号を共に考慮してミキシングバランスを評価するために、評価信号Ｈをレベル差ΔＬ＝Ｂ−Ｎに設定する。ここで、ＴＡ≧ＴＢである。
【００６４】
なお、ＴＡ＝ＴＢとしたときは評価信号Ｈが不連続となり、視聴者が不自然さを感じるおそれがある。
そこで、ＴＡ＞ＴＢとし、ＮＲレベルＮがＴＢ以上かつＴＡ以下のとき（ＴＢ≦Ｎ≦ＴＡ）のときには、評価信号Ｈとして、Ｂ（Ｎ＝ＴＢのとき）から（Ｂ−ＴＡ）（Ｎ＝ＴＡのときの重み付きレベル差ΔＬｗの値）まで単調に変化する関数の関数値を使用することが望ましい。
点（ＴＢ，Ｂ）と点（ＴＡ,Ｂ−ＴＡ）とを直線で結ぶ関数を適用した場合は、評価信号Ｈは［数１］の３行目の式で算出される値となる。
【００６５】
【数１】
【００６６】
［数１］より、例えば、ＴＢ≦Ｎ≦ＴＡ、ＴＡ＝−１０、ＴＢ＝−２０のとき、評価信号はＢ＋Ｎ＋２０となる。
【００６７】
図９は、レベル差および評価信号の波形の模式図である。
ＮＲレベルＮおよびＢＧＭレベルＢが図９（ａ）に示すような関係にある場合、レベル差ΔＬは図９（ｂ）に示す波形、評価信号Ｈは図９（ｃ）に示す波形となる。
図９（ｂ）に示すように、レベル差ΔＬは、ＢＧＭ信号の相対レベルＢが大きいほど、またはＮＲ信号の相対レベルＮが小さいほど大きくなる。
【００６８】
ＮＲ信号の相対レベルＮが小さい場合、すなわち、ＮＲ信号がほとんど存在しない場合は、ＢＧＭ信号のみの大きさに依存してミキシングバランスを調整すれば良いことになる。なお、レベル差ΔＬをそのまま評価信号Ｈとしてもよい。
評価信号選択処理中は、演算装置７４は評価信号選択部４２として動作していることとなる。
【００６９】
次に、演算装置７４は、評価信号Ｈのパーセント時間率平均値である評価信号平均値Ｈｐを算出する（ステップＳ１７）。
評価信号平均値算出処理中は、演算装置７４は評価信号平均値算出部４３として動作していることとなる。
【００７０】
続いて、演算装置７４はゲインＧの算出（ステップＳ１８）を行う。
図１０はゲイン算出処理のフローチャートであって、演算装置７４はフレーム番号を表す整数ｎを"１"に初期化する（ステップＳ１６０）。なお、ゲイン算出処理の説明においては、フレーム番号ｎを記載する。
【００７１】
次に、演算装置７４はｎフレームにＮＲ信号が含まれているか否かを判定する（ステップＳ１６１）。
図１１は、ＮＲ信号が含まれているか否かの判定用グラフであって、条件｛（ＴＢ≦Ｎｓ）かつ（Ｂｐ≧ＢＥ＋Ｎｓ）｝が成立するときはフレーム（ｎ）にＮＲ信号が含まれているとし、この条件が成立しないときはフレーム（ｎ）にＮＲ信号が含まれていないと判定する。なお、ＴＢ＝−２０、ＢＥ＝２．５程度とするのが望ましい。
【００７２】
演算装置７４は、「ＮＲ信号が含まれている」と判定したときは、領域を表す領域番号Ｉ（ｎ）を"１"に設定し（ステップＳ１６２）、制御区間決定用のフレームＸ（ｎ）を評価信号平均値Ｈｐ（ｎ）とする（ステップＳ１６３）。
【００７３】
一方、演算装置７４は、「ＮＲ信号が含まれてない」と判定したときは、領域番号Ｉ（ｎ）を"２"に設定し（ステップＳ１６４）、制御区間決定用のフレームＸ（ｎ）をＢＧＭ平均値Ｂｐ（ｎ）とする（ステップＳ１６５）。
【００７４】
次に、演算装置７４は、全フレームについて処理が終了したか否かを判定し（ステップＳ１６６）、終了していないと判定したときはフレーム番号ｎをインクリメントして（ステップＳ１６７）、ステップＳ１６１に戻る。
【００７５】
次に、演算装置７４は、ゲイン制御区間を検出する（ステップＳ１６８）。
図１２は、ゲイン制御区間検出処理のフローチャートであって、演算装置７４はフレーム番号ｎおよびゲイン制御区間番号ｋを"１"に初期化する（ステップＳ６００）。
次に、演算装置７４は、フレームＸ（ｎ）が閾値ＴＨ（Ｉ，３）以上であるか否かを判定する（ステップＳ６０１）。
【００７６】
演算装置７４は、フレームＸ（ｎ）が閾値ＴＨ（Ｉ，３）以上であると判定したときは、つづいてフレームＸ（ｎ）が閾値ＴＨ（Ｉ，４）以下であるか否かを判定する（ステップＳ６０２）。
図１３は、閾値ＴＨ（Ｉ，Ｊ）の設定例を示す図であって、ＢＧＭ信号のレベルＢを「過小」、「小」、」「やや小」、「適正」、「やや大」、「大」、「過大」の７領域に分割するために６つの閾値が設定されている。
【００７７】
そして、ミキシングバランスを評価する際にＮＲ信号も考慮する必要があるときは、領域番号Ｉは"１"であり、ＢＧＭ信号の相対レベルＢが"−１０〜−６"の範囲にあれば適正と判断される。
ＮＲ信号を考慮する必要が無いときは、領域番号Ｉは"２"であり、ＢＧＭ信号の相対レベルＢが"−５〜０"の範囲にあれば適正と判断される。
【００７８】
演算装置７４は、フレームＸ（ｎ）が閾値ＴＨ（Ｉ，４）以下であると判定したときは、適正レベル未満の状態が継続したフレーム数を表す整数ｍＬが予め定められた数ＭＬ以上であるか否かを判定する（ステップＳ６０３）。
演算装置７４は、整数ｍＬが所定数ＭＬ以上であると判定したときは、現在のフレームよりｍＬフレーム前から現在のフレームまでがＢＧＭ信号の相対レベルＢを調整する必要があるゲイン制御区間であるとして、現在のフレーム番号ｎをＹ（ｋ）に、継続フレーム数ｍＬをＬ（ｋ）に、ゲインを増加させる必要があることを示す"Ｕ"を記憶領域Ｃ（ｋ）に記憶する（ステップＳ６０４）。
【００７９】
演算装置７４は、整数ｍＬが所定数ＭＬ未満であると判定したときは、適正レベルより大である状態が継続したフレーム数を表す整数ｍＨが予め定められた数ＭＨ以上であるか否かを判定する（ステップＳ６０５）。
演算装置７４は、整数ｍＨが所定数ＭＨ以上であると判定したときは、現在のフレームよりｍＨフレーム前から現在のフレームまでがＢＧＭ信号の相対レベルＢを調整する必要があるゲイン制御区間であるとして、現在フレームのフレーム番号ｎをＹ（ｋ）に、継続フレーム数ｍＬをＬ（ｋ）に、ゲインの調整方向を記憶領域Ｃ（ｋ）にゲインを低減させる必要があることを示す"Ｄ"を記憶する（ステップＳ６０６）。
【００８０】
演算装置７４は、ステップＳ６０５で整数ｍＨが所定数ＭＨ未満であると判定したとき、ならびに、ステップＳ６０４およびステップＳ６０６の処理を終了したときは、制御区間番号ｋをインクリメントし（ステップＳ６０７）、継続フレーム数を表す整数ｍＬおよびｍＨをリセットして（ステップＳ６０８）この処理を終了する。
演算装置７４は、ステップＳ６０１でフレームＸ（ｎ）が閾値ＴＨ（Ｉ，３）未満であると判定したときは、ゲイン制御区間に入ったものとして、適正レベル未満の状態が継続したフレーム数を表す整数ｍＬをインクリメントして（ステップＳ６０９）、この処理を終了する。
【００８１】
演算装置７４は、ステップＳ６０２でフレームＸ（ｎ）が閾値ＴＨ（Ｉ，４）より大であると判定したときは、ゲイン制御区間に入ったものとして、適正レベルより大である状態が継続したフレーム数を表す整数ｍＨをインクリメントする（ステップＳ６１０）。
そして、演算装置７４はＮ個のフレームについて処理が終了したか否かを判定し（ステップＳ６１１）、完了していないときはフレーム番号ｎをインクリメントして（ステップＳ６１２）、ステップＳ６０１の処理に戻る。Ｎ個のフレームについて処理が終了したときはゲイン制御区間検出処理を終了する。
【００８２】
続いて演算装置７４はゲイン決定処理を実行する（ステップＳ１６９）。
図１４はゲイン決定処理のフローチャートであって、演算装置７４はゲイン制御区間検出処理で検出したゲイン制御区間を示す整数ｋを"１"に初期化する（ステップＳ７０１）。
次に演算装置７４は、ゲイン制御区間ｋのＣ（ｋ）に記憶されているゲイン調整方向が"Ｕ"であるか否かを判定する（ステップＳ７０２）。
【００８３】
演算装置７４はゲイン制御区間ｋのゲイン調整方向が"Ｕ"であると判定したときは、ゲイン制御区間ｋに含まれるフレームＸ（ｉ）（Ｙ（ｋ）−Ｌ（ｋ）≦ｉ≦Ｙ（ｋ））の最小値Ｘminを探索する（ステップＳ７０３）。
そして、演算装置７４は［数２］によりゲイン調整量Ｇ（ｋ）を算出する（ステップＳ７０４）。
【００８４】
【数２】
なお、βUは予め定められた値である。
【００８５】
演算装置７４はゲイン制御区間ｋのゲイン調整方向が"Ｕ"でないと判定したときは、
ゲイン制御区間ｋに含まれるフレームＸ（ｉ）（Ｙ（ｋ）−Ｌ（ｋ）≦ｉ≦Ｙ（ｋ））の最大値Ｘmaxを探索する（ステップＳ７０５）。
そして、演算装置７４は［数３］によりゲイン調整量Ｇ（ｋ）を算出する（ステップＳ７０６）。
【００８６】
【数３】
なお、βＤは予め定められた値である。
【００８７】
演算装置７４はｋについてｋmaxまでの処理が完了したかを判定し（ステップＳ７０７）、終了していないと判断したときはｋをインクリメントして（ステップＳ７０８）、ステップＳ７０２に戻り処理を継続する。
演算装置７４はｋmaxまでの処理が完了したときは、ゲイン調整量の算出を終了する。
ゲイン算出処理中は、演算装置７４はゲイン算出部５として動作していることとなる。
【００８８】
続いて、演算装置７４は音声出力処理を実行する（ステップＳ１９）。
図１５は音声出力処理の詳細フローチャートであって、演算装置７４は、フレーム番号ｎおよびゲイン制御区間番号ｋを"１"に初期化する(ステップＳ１７１)。
次に、演算装置７４はフレームがゲイン制御区間内にあるか否かを、ｎが（Ｙ（ｋ）−Ｌ（ｋ））に等しいか否かにより判定する（ステップＳ１７２）。
【００８９】
演算装置７４はフレームがゲイン制御区間内にあると判定したときは、フレーム番号が（Ｙ（ｋ）−Ｌ（ｋ））からＹ（ｋ）までのフレーム内のＢＧＭ信号にゲイン調整量Ｇ（ｋ）を乗算してＢＧＭ信号のゲインを制御し（ステップＳ１７３）、ｋをインクリメントする（ステップＳ１７４）。
なお、演算装置７４はフレームがゲイン制御区間内にないと判定したときは、ステップＳ１７３およびステップＳ１７４をバイパスする。
【００９０】
演算装置７４はＮ個のフレームについてゲイン制御が終了したか否かを判定し（ステップＳ１７５）、終了していない場合はフレーム番号ｎをインクリメントして（ステップＳ１７６）、ステップＳ１７２の処理に戻る。
演算装置７４はＮ個のフレームについてゲイン制御が終了したときは、ＮＲ信号およびゲイン制御後のＢＧＭ信号を例えば図２のＨＤＤ７４４に出力して（ステップＳ１７７）この処理を終了する。
【００９１】
なお、上記の処理ではゲイン制御区間の始端および終端においてゲインの急変により視聴者に不自然さを与えるおそれがあるため、前処理（ステップＳ１７８）および後処理（ステップＳ１７９）を追加し、ゲインの変化を連続的に行うことが有利である。
すなわち、前処理（ステップＳ１７８）においては、ゲイン制御区間の始端前の所定フレーム数（たとえば、０．５秒に相当する２０〜２５フレーム）からゲイン制御量をゲイン制御区間内のゲイン制御量Ｇ（ｋ）に向けて滑らかに変化させるようにすることが望ましい。
【００９２】
さらに、後処理（ステップＳ１７９）においては、ゲイン制御区間の終端後の所定フレーム数（たとえば、０．５〜２．０秒に相当する２０〜１００フレーム）までゲイン制御量をゲイン制御区間内のゲイン制御量Ｇ（ｋ）から滑らかに変化させるようにすることが望ましい。
音声出力処理中は、演算装置７４は音声出力部６として動作していることとなる。
【００９３】
図１６はミキシングバランス調整プログラムを使用したバッチ処理によるＢＧＭ信号のゲイン調整効果を示す波形図であって、上から、入力ＢＧＭ信号レベル、ゲイン、出力ＢＧＭ信号レベルを示している。
入力ＢＧＭ信号のレベルが適正範囲を逸脱している範囲ＡおよびＢのうち、逸脱している期間の長いＡはゲイン制御区間となるが、逸脱期間の短いＢはゲイン制御区間とはならない。
【００９４】
入力ＢＧＭ信号のレベルが急上昇したときは前処理によりゲインを所定速度で降下させて、出力ＢＧＭ信号レベルを適正範囲に引き戻す。
入力ＢＧＭ信号のレベルが適正範囲になれば、ゲイン制御区間は終了するが、後処理によりゲインを降下速度よりも遅い速度で上昇させて、適正範囲に復帰させる。
【００９５】
（２）実時間処理の場合
以下、実時間でミキシングバランス調整を行う場合について、図３のミキシングバランス調整プログラムのフローチャートを参照しつつ説明する。
演算装置７４は、まず例えばサンプリング周波数４８ＫＨｚでサンプリングされたＮＲ信号およびＢＧＭ信号を読み込む（ステップＳ１１）。
【００９６】
次に、演算装置７４はNＲ信号およびＢＧＭ信号のレベルを検出する（ステップＳ１２）。
すなわち、ＮＲ信号およびＢＧＭ信号の１０２４サンプリングを１フレームとし、１フレームごとにＮＲ信号のレベルＮおよびＢＧＭ信号のレベルＢを算出する。
【００９７】
次に、演算装置７４は、ＮＲレベルの統計値算出処理（ステップＳ１３）およびＢＧＭレベルの統計値算出処理（ステップＳ１４）を実行するが、実時間処理の場合には、１フレームごとに現時点までに算出されているＮＲレベルＮを使用してＮＲ平均値Ｎｐを算出し、現時点までに算出されている平均値Ｎｐを使用してＮＲ信号の統計的平均値Ｎｓを算出する。
【００９８】
次に、演算装置７４はＢＧＭ信号の統計値を算出する（ステップＳ１４）が、実時間処理の場合には、１フレームごとに現時点までに算出されているＢＧＭレベルＢを使用してＢＧＭ平均値Ｎｐを算出する。
さらに、演算装置７４は、ＢＧＭレベルＢとＮＲレベルＮのレベル差ΔＬを算出し（ステップＳ１５）、評価信号Ｈを選択し（ステップＳ１６）、評価値信号の平均値Ｈｐを算出する（ステップＳ１７）。
【００９９】
ついで、演算装置７４はゲイン算出処理を行う（ステップＳ１８）。
図１７は実時間処理の場合のゲイン算出処理のフローチャートであって、演算装置７４はＮＲ信号を考慮する必要があるか否かを判定する（ステップＳ１８１）。
この判定は、図１１のグラフに基づき、ＮＲ平均値Ｎｐ≧ＴＢかつＢｐ≦ＢＥ＋Ｎｓが成り立つときはＮＲ信号を考慮するものとし、それ以外のときはＮＲ信号を考慮しないものとする。
【０１００】
演算装置７４は、ＮＲ信号を考慮する必要ありと判定したときは、Ｉを"１"に設定し（ステップＳ１８２）、ゲイン決定用レベルＸを評価信号平均値Ｈｐに設定する（ステップＳ１８３）。
演算装置７４は、ＮＲ信号を考慮する必要がないと判定したときは、Ｉを"２"に設定し（ステップＳ１８４）、ゲイン決定用レベルＸをＢＧＭ平均値Ｂｐに設定する（ステップＳ１８５）。
【０１０１】
次に、演算装置７４はゲイン決定処理を実行する（ステップＳ１８６）。
図１８はゲイン決定処理の詳細フローチャートであって、演算装置７４は、まず、Ｘが図１３に示す閾値ＴＨ（Ｉ，３）以上であるか否かを判定する（ステップＳ６２０）。
演算装置７４はゲイン決定用レベルＸが閾値ＴＨ（Ｉ，３）以上でないと判定したときは、ゲイン決定用レベルＸが閾値ＴＨ（Ｉ，３）以上でない状態が予め定められた所定期間（たとえば、０．５〜２．０秒に相当する２０〜１００フレーム）継続したか否かを判定する（ステップＳ６２１）。
【０１０２】
そして、所定時間継続していないと判定したときは、ゲイン上昇制御を実行していないことを示すためにゲイン制御フラグＺＵを"１"に設定して（ステップＳ６２２）この処理を終了する。この結果、ＢＧＭ信号のゲインは変更されない。
演算装置７４は、所定時間継続したと判定したときは、ゲイン上昇制御を実行する（ステップＳ６２３）。
【０１０３】
図１９はゲイン上昇制御の詳細フローチャートであって、演算装置７４は、まず、ゲイン制御フラグＺＵが"１"であるか否かを判定する（ステップＳ３００）。
演算装置７４は、フラグＺＵが"１"であると判定したときは、Ｘが閾値ＴＨ（Ｉ，３）以上でない状態の継続期間内のＸの最小値Ｘminを探索する（ステップＳ３０１）。
次に演算装置７４は、［数４］により上昇ゲインＧｕを算出する（ステップＳ３０２）。
【０１０４】
【数４】
なお、βUは予め定められた値である。
【０１０５】
次に演算装置７４は、ステップ状のゲイン変化を回避するために、現在のゲインからＧｕまでゲインを漸増させるために、Ｇｕを漸増フレーム数ＮＩ（たとえば０．５秒に相当するフレーム数２０）で除してΔＧｕとする（ステップＳ３０３）。なお、漸増フレーム数ＮＩは、固定数であってもよいが、上昇ゲインＧｕが大きいほど大きくなる上昇ゲインＧｕの増加関数として決定することが望ましい。
演算装置７４は、ゲイン漸増回数ＮＵを"１"とし（ステップＳ３０４）、ゲインＧをΔＧｕとゲイン漸増回数ＮＵの積とし（ステップＳ３０５）、フラグＺＵを"２"として（ステップＳ３０６）、この処理を終了する。
【０１０６】
演算装置７４は、フラグＺＵが"１"でないと判定したときは、ゲイン漸増回数ＮＵが漸増フレーム数ＮＩに到達したか否かを判定する（ステップＳ３０７）。
演算装置７４は、ゲイン漸増回数ＮＵが漸増フレーム数ＮＩに到達していないと判定したときは、ゲイン漸増回数ＮＵをインクリメントし（ステップＳ３０８）、ゲインＧをΔＧｕ×ＮＵとして算出して（ステップＳ３０９）、このルーチンを終了する。
なお、演算装置７４は、ゲイン漸増回数ＮＵが漸増フレーム数ＮＩに到達したと判定したときは、ゲイン補正処理（ステップＳ５５）を実行後この処理を終了する。
なお、ゲイン補正処理については後述する。
【０１０７】
図１８のゲイン決定処理に戻り、演算装置７４はＸが閾値ＴＨ（Ｉ，３）以上であると判定したときは、Ｘが閾値ＴＨ（Ｉ，４）未満であるか否かを判定する（ステップＳ６２４）。
演算装置７４はＸが閾値ＴＨ（Ｉ，４）未満でないと判定したときは、Ｘが閾値ＴＨ（Ｉ，４）未満でない状態が予め定められた所定期間（たとえば、０．５〜２．０秒に相当する２０〜１００フレーム）継続したか否かを判定し（ステップＳ６２５）、所定時間継続していないと判定したときは、ゲイン降下制御を実行していないことを示すためにゲイン制御フラグＺＤを"１"に設定して（ステップＳ６２６）この処理を終了する。この結果、ＢＧＭ信号のゲインは変更されない。
【０１０８】
演算装置７４は、所定時間継続したと判定したときは、ゲイン降下制御を実行する（ステップＳ６２７）。
図２０はゲイン下降制御の詳細フローチャートであって、演算装置７４は、まず、フラグＺＤが"１"であるか否かを判定する（ステップＳ４００）。
演算装置７４は、フラグＺＵが"１"であると判定したときは、Ｘが閾値ＴＨ（Ｉ，４）未満でない状態の継続期間内のＸの最大値Ｘmaxを探索する（ステップＳ４０１）。
次に演算装置７４は、［数５］により降下ゲインＧｄを算出する（ステップＳ３０２）。
【０１０９】
【数５】
なお、βＤは予め定められた値である。
【０１１０】
次に演算装置７４は、ステップ状のゲイン変化を回避するために、現在のゲインからＧｕまでゲインを漸減させるために、Ｇｄを漸減フレーム数ＮＳ（たとえば０．５秒に相当するフレーム数２０）で除してΔＧｄとする（ステップＳ３０３）。なお、漸減フレーム数ＮＳは、固定数であってもよいが、降下ゲインＧｄが大きいほど大きくなる降下ゲインＧｄの増加関数として決定することが望ましい。
演算装置７４は、ゲイン漸減回数ＮＤを"１"としゲインＧをΔＧｕとし（ステップＳ４０４）、ゲインＧをΔＧｕとゲイン漸減回数ＮＤの積とし（ステップＳ４０５）、フラグＺＤを"２"として（ステップＳ４０６）、この処理を終了する。
【０１１１】
演算装置７４は、ゲイン制御フラグＺＤが"１"でないと判定したときは、ゲイン漸減回数ＮＤが漸減フレーム数ＮＳに到達したか否かを判定する（ステップＳ４０７）。
演算装置７４は、ゲイン漸増回数ＮＵが漸減フレーム数ＮＳに到達していないと判定したときは、ゲイン漸減回数ＮＤをインクリメントし（ステップＳ４０８）、ゲインＧをΔＧｕ×ＮＵとして算出して（ステップＳ４０９）、このルーチンを終了する。
なお、演算装置７４は、ゲイン漸減回数ＮＤが漸減フレーム数ＮＳに到達したと判定したときは、ゲイン補正処理（ステップＳ５５）を実行後この処理を終了する。
【０１１２】
なお、ゲイン補正処理は、ゲイン上昇制御におけるゲイン漸増中またはゲイン下降制御におけるゲイン漸減中のＢＧＭレベルＢの急増あるいは急減に対処するための処理である。
図２１はゲイン補正処理の詳細フローチャートであって、演算処理装置７４はゲイン上昇制御におけるゲイン漸増終了直後あるいはゲイン下降制御におけるゲイン漸減終了直後のＢＧＭレベルＢが閾値ＴＨ（Ｉ，３）以上であるか否かを判定する（ステップＳ５５０）。
【０１１３】
演算処理装置７４はＢＧＭレベルＢが閾値ＴＨ（Ｉ，３）未満であると判定したときは、現在フレームよりゲイン漸増回数ＮＩフレーム前のフレームから現在フレームまでのゲイン決定用レベルＸの最小値Ｘmin'を探索し（ステップＳ５５１）、［数４］を使用して修正上昇ゲインＧｕ'を算出する（ステップＳ５５２）。
【０１１４】
続いて、演算装置７４はすでに算出されているゲインＧと修正上昇ゲインＧｕ'の差を補正ゲインΔＧとし（ステップＳ５５３）、すでに算出されているゲインＧに補正ゲインΔＧを加算して（ステップＳ５５４）、この処理を終了する。
【０１１５】
演算処理装置７４はＢＧＭレベルＢが閾値ＴＨ（Ｉ，３）以上であると判定したときは、ＢＧＭレベルＢが閾値ＴＨ（Ｉ，４）未満であるか否かを判定する（ステップＳ５５５）。
演算処理装置７４はＢＧＭレベルＢが閾値ＴＨ（Ｉ，４）以上であると判定したときは、現在フレームよりゲイン漸減回数ＮＵフレーム前のフレームから現在フレームまでのゲイン決定用レベルＸの最大値Ｘmax'を探索し（ステップＳ５５６）、［数５］を使用して修正降下ゲインＧｄ'を算出する（ステップＳ５５７）。
【０１１６】
続いて、演算装置７４はすでに算出されているゲインＧと修正降下ゲインＧｄ'の差を補正ゲインΔＧとし（ステップＳ５５８）、すでに算出されているゲインＧに補正ゲインΔＧを加算して（ステップＳ５５９）、この処理を終了する。
演算処理装置７４は、ステップＳ５０５でＢＧＭレベルＢが閾値ＴＨ（Ｉ，４）未満であると判定したときは、ゲイン修正は不要であるとして直接この処理を終了する。
なお、上記のゲイン補正ではゲインが補正された場合はゲインがステップ状に変化する。これによる聴感上の違和感を緩和するために、すでに説明した漸増（漸減）処理を適用してもよい。
【０１１７】
図１８のゲイン決定処理に戻り、演算装置７４はＸが閾値ＴＨ（Ｉ，４）未満であると判定したときは、ゲイン変更後所定期間が経過したか否かを判定する（ステップＳ６２８）。
演算装置７４は、ゲイン変更後所定期間が経過していないと判定したときは、ゲインの頻繁な変更を回避するために、直接この処理を終了する。
【０１１８】
演算装置７４は、ゲイン変更後所定期間が経過していると判定したときは、ゲイン戻し制御を実行する（ステップＳ６２９）。
図２２はゲイン戻し制御処理の詳細フローチャートであって、演算装置７４は、ゲイン制御フラグＺＵが"２"であるか否かを判定することにより、ゲイン上昇制御実行後であるか否かを判定する（ステップＳ５００）。
【０１１９】
演算装置７４は、ゲイン制御フラグＺＵが"２"であると判定したときは、上昇ゲインＧｕを予め定めたゲイン戻しフレーム数ＮＦ（たとえば、５秒に相当するフレーム数５００）で除し商である戻しゲインΔＧｒを算出する（ステップＳ５０１）。
演算装置７４は、ゲイン制御フラグＺＵが"２"でないと判定したときは、ゲイン制御フラグＺＤが"２"であるか否かを判定することにより、ゲイン降下制御実行後であるか否かを判定する（ステップＳ５０２）。
【０１２０】
演算装置７４は、ゲイン制御フラグＺＤが"２"であると判定したときは、降下ゲインＧｄを予め定めたゲイン戻しフレーム数ＮＦで除し商ΔＧｒを算出する（ステップＳ５０３）。
次に演算装置７４は、ゲイン戻し回数ｎＲを"１"に設定し（ステップＳ５０４）、ゲインＧを戻しゲインΔＧｒとゲイン戻し回数ｎＲの積として算出し（ステップＳ５０５）、フラグＺＵおよびＺＤを"１"にリセットしてこの処理を終了する。
【０１２１】
演算装置７４は、ゲイン制御フラグＺＤが"２"でないと判定したときは、ゲイン戻し回数ｎＲがゲイン戻しフレーム数ＮＦに到達したか否かを判定する（ステップＳ５０７）。
演算装置７４は、ゲイン戻し回数ｎＲがゲイン戻しフレーム数ＮＦに到達していないと判定したときは、ゲイン戻し回数ｎＲをインクリメントし（ステップＳ５０８）、ゲインＧを戻しゲインΔＧｒとゲイン戻し回数ｎＲの積として算出してこの処理を終了する（ステップＳ５０９）。
【０１２２】
なお、演算装置７４は、ゲイン戻し回数ｎＲがゲイン戻しフレーム数ＮＦに到達したと判定したときは、ゲイン戻しは終了したものとして直接この処理を終了する。
ここで、図１９のフローチャートに戻り、演算装置７４はステップＳ１９１で読み込んだＮＲ信号およびゲインＧを乗算したＢＧＭ信号を出力する（ステップＳ１９７）。
以上処理を番組が終了するまで繰り返す。
図２３はミキシングバランス調整プログラムを使用した実時間処理によるＢＧＭ信号のゲイン調整効果を示す波形図であって、上から、入力ＢＧＭ信号レベル、ゲイン、出力ＢＧＭ信号レベルを示している。
入力ＢＧＭ信号のレベルが適正範囲を逸脱した範囲ＣおよびＤのうち、逸脱期間が所定期間以上継続した場合（Ｃ）はＢＧＭ信号のゲインが変更されるが、逸脱期間が短い場合（Ｄ）ではゲインは変更されない。
【０１２３】
入力ＢＧＭ信号のレベルが適正範囲を所定時間以上逸脱すると、ゲインを所定の降下速度で降下させて、出力ＢＧＭ信号レベルを適正範囲に引き戻す。
入力ＢＧＭ信号のレベルが適正範囲に復帰すると、ゲインを降下速度よりも遅い速度で上昇させて、適正範囲に復帰させる。
【０１２４】
なお、図２３に破線で示すように、ゲイン漸減期間中にＢＧＭレベルＢがさらに上昇した場合には、ゲイン補正処理が機能し、ゲイン漸減期間終了後さらにゲインが減少して、ＢＧＭレベルＢを適正範囲に復帰させる。
【０１２５】
なお、上述の実施形態において、第１の音声信号及び第２の音声信号をそれぞれＮＲ信号及びＢＧＭ信号とし、ＮＲ信号とＢＧＭ信号とをミキシングする際のミキシングバランスの状態を制御する例を挙げて説明したが、本発明はこれに限定されるものではない。例えば、複数の音楽信号のミキシングを対象とするものや、台詞の音声信号と効果音の信号とのミキシングを対象とするもの等に適用しても同様な効果が得られる。
【０１２６】
また、上述の実施形態において示した各閾値の値や、各閾値に対する大小の判断手法は一例であり、上述のものに限定されない。
【０１２７】
以上説明したように、本発明に係るミキシングバランス自動調整装置は、過去の所定数のフレームから、現フレームまでの間の比較的長い時間区間におけるＮＲ信号の統計的平均値に基づいて、ＢＧＭ信号を制御するための制御閾値を算出することにより、音声信号のミキシングバランスの状態を高齢者の聴感に対応させて自動調整することができる。
例えば、本発明に係るミキシングバランス自動調整装置は、ＢＧＭ信号のレベルがＮＲ信号のレベルよりも大き過ぎる場合はＢＧＭ信号のレベルを下げるよう自動調整することができ、ＢＧＭ信号のレベルが大き過ぎてＮＲ信号が聴き取りにくいといった現象を未然に防ぐことができるので、番組の音響効果の向上を支援することができる。
【０１２８】
また、本発明に係るミキシングバランス自動調整装置が備える演算装置に余力がある場合には、特許文献２（特開２００９−１５９０８３号公報）に開示されている聴覚特性模擬装置の出力音声を使用することで、マスキングやリクルートメント計算を行った結果に対して、本発明の手法を適用することも可能である。
【産業上の利用可能性】
【０１２９】
本発明に係るミキシングバランス自動調整装置及びプログラムは、ミキシングバランスの状態を高齢者の聴感に対応させて自動調整することができるという効果を有し、テレビやラジオ等の番組制作時にナレーション信号とバックグラウンドミュージック信号とのミキシングバランスの状態を自動で調整するミキシングバランス自動調整装置及びプログラム等として有用である。
【符号の説明】
【０１３０】
１ ミキシングバランス自動調整装置
２ ＮＲ統計値算出部
３ ＢＧＭ統計値算出部
５ ゲイン算出部
６ 音声出力部
２０ ＮＲレベル検出部
２１ ＮＲ平均値算出部
２２ ＮＲ統計的平均値算出部
３０ ＢＧＭレベル検出部
３１ ＢＧＭ平均値算出部
３３ ＢＧＭ統計的平均値算出部
４１ レベル差算出部
４２ 評価信号選択部
４３ 評価信号平均値算出部
７３ マウス
７４ 演算装置
７４１ ＡＤ変換器
７４２ ＤＡ変換器
７４５ ハードディスク
７４６ 周辺機器Ｉ／Ｆ
７４７ バス
【特許請求の範囲】
【請求項１】
第１の音声信号のレベルである第１のレベルを検出する第１のレベル検出部と、
第２の音声信号のレベルである第２のレベルを検出する第２のレベル検出部と、
前記第１のレベルの統計値である第１の統計値を算出する第１の統計値算出部と、
前記第２のレベルの統計値である第２の統計値を算出する第２の統計値算出部と、
前記第２のレベルと前記第１のレベルの差であるレベル差を算出するレベル差算出部と、
前記第１のレベルと前記第２のレベルに応じてミキシングバランスを評価するための評価信号として前記レベル差と前記第２のレベルのいずれかを選択する評価信号選択部と、
前記評価信号のパーセント時間率平均値である評価信号平均値を算出する評価信号平均値算出部と、
前記第１の統計値および前記第２の統計値に応じて定まる閾値と前記評価信号平均値に応じて適正なミキシングバランスを維持するための前記第２の音声信号に対するゲインを算出するゲイン算出部と、
前記第１の音声信号および前記ゲインを乗算した前記第２の音声信号を出力する音声出力部と、を備えるミキシングバランス自動調整装置。
【請求項２】
前記第１の統計値算出手段が、
前記第１の音声信号のレベルのパーセント時間率平均値を算出する第１の平均値算出手段と、
前記第１の平均値算出手段により算出された前記第１の音声信号のレベルのパーセント時間率平均値に基づき前記第１の音声信号のレベルの統計的平均値を算出する第１の統計的平均値算出手段と、を備え、
前記第１の音声信号のレベルの統計的平均値を出力するものである請求項１に記載のミキシングバランス自動調整装置。
【請求項３】
前記第１の統計的平均値算出手段が、
前記第１の平均値算出手段の出力のヒストグラムを作成するヒストグラム作成部と、
前記ヒストグラムの複数の極大値の中から最も支配的な極大値を探索する支配的極大値探索部と、
前記支配的極大値を極大値とする正規分布のパラメータに基づき前記第１の統計的平均値を決定する統計的平均値決定部と、を含む請求項２に記載のミキシングバランス自動調整装置。
【請求項４】
前記第２の統計値算出手段が、前記第２の音声信号のレベルのパーセント時間率平均値を算出し出力するものである請求項１から請求項３のいずれか一項に記載のミキシングバランス自動調整装置。
【請求項５】
前記ミキシングバランス評価信号出力手段が、
前記第１の統計値算出手段の出力が予め定められた第１の値以上であるときは、前記レベル差をミキシングバランス評価信号として出力し、
前記第１の統計値算出手段の出力が前記第１の値以下の値である予め定められた第２の値未満であるときは、前記第２の統計値算出手段の出力をミキシングバランス評価信号として出力し、
前記第１の統計値算出手段の出力が前記第１の値未満かつ前記第２の値以上であるときは、前記第１の統計値算出手段の出力が前記第１の値であるときに前記第１の統計値算出手段の出力が前記第１の値であるときの前記レベル差となり、前記第１の統計値算出手段の出力が前記第２の値であるときに前記第２の統計値算出手段の出力となる単調関数値をミキシングバランス評価信号として出力するものである請求項２から請求項４のいずれか一項に記載のミキシングバランス自動調整装置。
【請求項６】
第１の音声信号データおよび第２の音声データを読み込む音声データ読み込み部と、
前記第２の音声データに対してミキシングバランス自動調整を実行する請求項１から請求項５のいずれか一項に記載のミキシングバランス自動調整装置と、
前記第１の音声データと、前記ミキシングバランス自動調整装置によりミキシングバランス調整された前記第２の音声データとを出力する音声データ出力部とを備えるミキシングバランス自動調整システム。
【請求項７】
前記ゲイン算出部が、
前記音声データ読み込み部により読み込まれた前記第１の音声信号データおよび前記第２の音声データのミキシングバランスが予め定められた適正範囲を逸脱した区間を検出するゲイン制御区間検出部と、
前記ゲイン制御区間検出部で検出されたゲイン制御区間に適応する目標ゲインを決定するゲイン決定部と、を含み、
前記音声データ出力部が、前記目標ゲインを前記第２の音声データに乗算してミキシングバランスを調整するものである請求項６に記載のミキシングバランス自動調整システム。
【請求項８】
前記音声データ出力部が、
前記ゲイン制御区間の前に前記目標ゲインに向けてゲインを第１の変化率で変更する前処理部と、
前記ゲイン制御区間の後に前記目標ゲインからゲインを前記第１の変化率より小さい第２の変化率で変更する後処理部と、を含む請求項７に記載のミキシングバランス自動調整システム。
【請求項９】
予め定められたフレーム数の第１の音声信号データおよび第２の音声データを読み込む音声データ読み込み部と、
前記フレーム数に相当する時間より短い時間内に前記第２の音声データに対してミキシングバランス自動調整を実行する請求項１から請求項５のいずれか一項に記載のミキシングバランス自動調整装置と、
前記第１の音声データと、前記ミキシングバランス自動調整装置によりミキシングバランス調整された前記第２の音声データとを前記フレーム数ごとに出力する音声データ出力部とを備えるミキシングバランス自動調整システム。
【請求項１０】
前記ゲイン算出部が、
前記音声データ読み込み部により読み込まれた前記第１の音声信号データおよび前記第２の音声データのミキシングバランスが予め定められた適正範囲を逸脱したときにミキシングバランスを前記適正範囲に戻すための目標ゲインを決定するものであり、
前記音声データ出力部が、
ミキシングバランスが予め定められた適正範囲を逸脱したときには前記目標ゲインを前記第２の音声データに乗算してミキシングバランスを調整し、
ミキシングバランスが予め定められた適正範囲に復帰したときには前記第２の音声データをそのまま出力するものである請求項９に記載のミキシングバランス自動調整システム。
【請求項１１】
コンピュータを、
第１の音声信号および第２の音声信号を入力する音声信号入力手段と、
前記第１の音声信号のレベルおよび前記第２の音声信号のレベルを検出するレベル検出手段と、
前記第１の音声信号のレベルの統計値を算出する第１の統計値算出手段と、
前記第２の音声信号のレベルの統計値を算出する第２の統計値算出手段と、
前記第２の統計値算出手段の出力と前記第１の統計値算出手段の出力の差であるレベル差を算出するレベル差算出手段と、
前記第１の音声信号のレベルと前記第２の音声信号のレベルに応じてミキシングバランス評価信号として前記レベル差と前記第２の音声信号のレベルのいずれかを出力するミキシングバランス評価信号出力手段と、
前記ミキシングバランス評価信号のパーセント時間率平均値を算出するミキシングバランス評価信号平均値算出手段と、
前記第１の統計値算出手段で算出された第１の音声信号のレベルの統計値および前記第２の統計値算出手段で算出された前記第２の音声信号のレベルの統計値に応じて定まる閾値と前記ミキシングバランス評価信号平均値算出手段で算出されたミキシングバランス評価信号の平均値に応じて適正なミキシングバランスを維持するための前記第２の音声信号に対するゲインを算出するゲイン算出手段と、
前記第１の音声信号および前記ゲイン算出手段で算出されたゲインを乗算した前記第２の音声信号を出力する音声信号出力手段と、して機能させることを特徴とするミキシングバランス自動調整プログラム。
【請求項１】
第１の音声信号のレベルである第１のレベルを検出する第１のレベル検出部と、
第２の音声信号のレベルである第２のレベルを検出する第２のレベル検出部と、
前記第１のレベルの統計値である第１の統計値を算出する第１の統計値算出部と、
前記第２のレベルの統計値である第２の統計値を算出する第２の統計値算出部と、
前記第２のレベルと前記第１のレベルの差であるレベル差を算出するレベル差算出部と、
前記第１のレベルと前記第２のレベルに応じてミキシングバランスを評価するための評価信号として前記レベル差と前記第２のレベルのいずれかを選択する評価信号選択部と、
前記評価信号のパーセント時間率平均値である評価信号平均値を算出する評価信号平均値算出部と、
前記第１の統計値および前記第２の統計値に応じて定まる閾値と前記評価信号平均値に応じて適正なミキシングバランスを維持するための前記第２の音声信号に対するゲインを算出するゲイン算出部と、
前記第１の音声信号および前記ゲインを乗算した前記第２の音声信号を出力する音声出力部と、を備えるミキシングバランス自動調整装置。
【請求項２】
前記第１の統計値算出手段が、
前記第１の音声信号のレベルのパーセント時間率平均値を算出する第１の平均値算出手段と、
前記第１の平均値算出手段により算出された前記第１の音声信号のレベルのパーセント時間率平均値に基づき前記第１の音声信号のレベルの統計的平均値を算出する第１の統計的平均値算出手段と、を備え、
前記第１の音声信号のレベルの統計的平均値を出力するものである請求項１に記載のミキシングバランス自動調整装置。
【請求項３】
前記第１の統計的平均値算出手段が、
前記第１の平均値算出手段の出力のヒストグラムを作成するヒストグラム作成部と、
前記ヒストグラムの複数の極大値の中から最も支配的な極大値を探索する支配的極大値探索部と、
前記支配的極大値を極大値とする正規分布のパラメータに基づき前記第１の統計的平均値を決定する統計的平均値決定部と、を含む請求項２に記載のミキシングバランス自動調整装置。
【請求項４】
前記第２の統計値算出手段が、前記第２の音声信号のレベルのパーセント時間率平均値を算出し出力するものである請求項１から請求項３のいずれか一項に記載のミキシングバランス自動調整装置。
【請求項５】
前記ミキシングバランス評価信号出力手段が、
前記第１の統計値算出手段の出力が予め定められた第１の値以上であるときは、前記レベル差をミキシングバランス評価信号として出力し、
前記第１の統計値算出手段の出力が前記第１の値以下の値である予め定められた第２の値未満であるときは、前記第２の統計値算出手段の出力をミキシングバランス評価信号として出力し、
前記第１の統計値算出手段の出力が前記第１の値未満かつ前記第２の値以上であるときは、前記第１の統計値算出手段の出力が前記第１の値であるときに前記第１の統計値算出手段の出力が前記第１の値であるときの前記レベル差となり、前記第１の統計値算出手段の出力が前記第２の値であるときに前記第２の統計値算出手段の出力となる単調関数値をミキシングバランス評価信号として出力するものである請求項２から請求項４のいずれか一項に記載のミキシングバランス自動調整装置。
【請求項６】
第１の音声信号データおよび第２の音声データを読み込む音声データ読み込み部と、
前記第２の音声データに対してミキシングバランス自動調整を実行する請求項１から請求項５のいずれか一項に記載のミキシングバランス自動調整装置と、
前記第１の音声データと、前記ミキシングバランス自動調整装置によりミキシングバランス調整された前記第２の音声データとを出力する音声データ出力部とを備えるミキシングバランス自動調整システム。
【請求項７】
前記ゲイン算出部が、
前記音声データ読み込み部により読み込まれた前記第１の音声信号データおよび前記第２の音声データのミキシングバランスが予め定められた適正範囲を逸脱した区間を検出するゲイン制御区間検出部と、
前記ゲイン制御区間検出部で検出されたゲイン制御区間に適応する目標ゲインを決定するゲイン決定部と、を含み、
前記音声データ出力部が、前記目標ゲインを前記第２の音声データに乗算してミキシングバランスを調整するものである請求項６に記載のミキシングバランス自動調整システム。
【請求項８】
前記音声データ出力部が、
前記ゲイン制御区間の前に前記目標ゲインに向けてゲインを第１の変化率で変更する前処理部と、
前記ゲイン制御区間の後に前記目標ゲインからゲインを前記第１の変化率より小さい第２の変化率で変更する後処理部と、を含む請求項７に記載のミキシングバランス自動調整システム。
【請求項９】
予め定められたフレーム数の第１の音声信号データおよび第２の音声データを読み込む音声データ読み込み部と、
前記フレーム数に相当する時間より短い時間内に前記第２の音声データに対してミキシングバランス自動調整を実行する請求項１から請求項５のいずれか一項に記載のミキシングバランス自動調整装置と、
前記第１の音声データと、前記ミキシングバランス自動調整装置によりミキシングバランス調整された前記第２の音声データとを前記フレーム数ごとに出力する音声データ出力部とを備えるミキシングバランス自動調整システム。
【請求項１０】
前記ゲイン算出部が、
前記音声データ読み込み部により読み込まれた前記第１の音声信号データおよび前記第２の音声データのミキシングバランスが予め定められた適正範囲を逸脱したときにミキシングバランスを前記適正範囲に戻すための目標ゲインを決定するものであり、
前記音声データ出力部が、
ミキシングバランスが予め定められた適正範囲を逸脱したときには前記目標ゲインを前記第２の音声データに乗算してミキシングバランスを調整し、
ミキシングバランスが予め定められた適正範囲に復帰したときには前記第２の音声データをそのまま出力するものである請求項９に記載のミキシングバランス自動調整システム。
【請求項１１】
コンピュータを、
第１の音声信号および第２の音声信号を入力する音声信号入力手段と、
前記第１の音声信号のレベルおよび前記第２の音声信号のレベルを検出するレベル検出手段と、
前記第１の音声信号のレベルの統計値を算出する第１の統計値算出手段と、
前記第２の音声信号のレベルの統計値を算出する第２の統計値算出手段と、
前記第２の統計値算出手段の出力と前記第１の統計値算出手段の出力の差であるレベル差を算出するレベル差算出手段と、
前記第１の音声信号のレベルと前記第２の音声信号のレベルに応じてミキシングバランス評価信号として前記レベル差と前記第２の音声信号のレベルのいずれかを出力するミキシングバランス評価信号出力手段と、
前記ミキシングバランス評価信号のパーセント時間率平均値を算出するミキシングバランス評価信号平均値算出手段と、
前記第１の統計値算出手段で算出された第１の音声信号のレベルの統計値および前記第２の統計値算出手段で算出された前記第２の音声信号のレベルの統計値に応じて定まる閾値と前記ミキシングバランス評価信号平均値算出手段で算出されたミキシングバランス評価信号の平均値に応じて適正なミキシングバランスを維持するための前記第２の音声信号に対するゲインを算出するゲイン算出手段と、
前記第１の音声信号および前記ゲイン算出手段で算出されたゲインを乗算した前記第２の音声信号を出力する音声信号出力手段と、して機能させることを特徴とするミキシングバランス自動調整プログラム。
【図１】
【図２】
【図３】
【図４】
【図５】
【図６】
【図７】
【図８】
【図９】
【図１０】
【図１１】
【図１２】
【図１３】
【図１４】
【図１５】
【図１６】
【図１７】
【図１８】
【図１９】
【図２０】
【図２１】
【図２２】
【図２３】
【図２】
【図３】
【図４】
【図５】
【図６】
【図７】
【図８】
【図９】
【図１０】
【図１１】
【図１２】
【図１３】
【図１４】
【図１５】
【図１６】
【図１７】
【図１８】
【図１９】
【図２０】
【図２１】
【図２２】
【図２３】
【公開番号】特開２０１３−９２９２（Ｐ２０１３−９２９２Ａ）
【公開日】平成２５年１月１０日（２０１３．１．１０）
【国際特許分類】
【出願番号】特願２０１１−２３９３２６（Ｐ２０１１−２３９３２６）
【出願日】平成２３年１０月３１日（２０１１．１０．３１）
【出願人】（０００００４３５２）日本放送協会 (2,206)
【出願人】（５９１０５３９２６）財団法人エヌエイチケイエンジニアリングサービス (169)
【出願人】（０００１１４７６５）ヤマキ電気株式会社 (4)
【公開日】平成２５年１月１０日（２０１３．１．１０）
【国際特許分類】
【出願日】平成２３年１０月３１日（２０１１．１０．３１）
【出願人】（０００００４３５２）日本放送協会 (2,206)
【出願人】（５９１０５３９２６）財団法人エヌエイチケイエンジニアリングサービス (169)
【出願人】（０００１１４７６５）ヤマキ電気株式会社 (4)
[ Back to top ]