ミキシングバランス表示装置及びミキシングバランス表示プログラム
【課題】従来のような複雑な計算を行うことなく、ミキシングバランスの状態を高齢者の聴感に対応させて表示することができるミキシングバランス表示装置及びミキシングバランス表示プログラムを提供すること。
【解決手段】ミキシングバランス表示装置１０は、ＮＲ信号とＢＧＭ信号とのレベル差に対して所定の重み付けを行って重み付きレベル差を算出する重み付きレベル差算出部１６と、ミキシングバランスの状態を複数の段階で表示する際の各段階間の表示境界値を決定する表示境界値決定部１９と、ミキシングバランスの状態を表示する表示部２０と、を備え、ＮＲ信号が存在せずＢＧＭ信号のみが存在するフレーム区間でも、高齢者にとって適正なミキシングバランスであるかどうかを、高齢者の聴覚特性を考慮して、ＢＧＭ信号のレベルに応じて複数の段階で信号表示を行う構成を有する。
【解決手段】ミキシングバランス表示装置１０は、ＮＲ信号とＢＧＭ信号とのレベル差に対して所定の重み付けを行って重み付きレベル差を算出する重み付きレベル差算出部１６と、ミキシングバランスの状態を複数の段階で表示する際の各段階間の表示境界値を決定する表示境界値決定部１９と、ミキシングバランスの状態を表示する表示部２０と、を備え、ＮＲ信号が存在せずＢＧＭ信号のみが存在するフレーム区間でも、高齢者にとって適正なミキシングバランスであるかどうかを、高齢者の聴覚特性を考慮して、ＢＧＭ信号のレベルに応じて複数の段階で信号表示を行う構成を有する。
【発明の詳細な説明】
【技術分野】
【０００１】
本発明は、例えばテレビやラジオ等の番組制作時にナレーション信号とバックグラウンドミュージック信号とのミキシングバランスの状態を高齢者の聴感に対応させて表示するミキシングバランス表示装置及びミキシングバランス表示プログラムに関する。
【背景技術】
【０００２】
従来、例えばナレーション（以下「ＮＲ」と表す。）信号とバックグラウンドミュージック（以下「ＢＧＭ」と表す。）信号とのミキシングを行う際に、訓練された音声調整者が実際に音を聞きながら、音声調整卓を操作し、ＮＲ信号とＢＧＭ信号のミキシングバランスが最適になるよう手動で調整していた。この手法では、熟練した音声調整者が必要となるという課題があり、この課題を解決するため、本発明の発明者は、先に特許文献１に開示したようなミキシングバランス表示装置を提案した。
【０００３】
特許文献１に開示したミキシングバランス表示装置は、ＮＲ信号とＢＧＭ信号とのレベル差に対してＮＲ信号のレベルに応じた重み付けを行って重み付きレベル差を算出し、この重み付きレベル差に対して聴感に対応させるための信号処理を施すことにより、ミキシングバランスの状態を聴感に対応させて表示することができるようになっている。この装置を高齢者用の番組に適用しようとすると、高齢者ではない、熟練した音声調整者の調整パラメータを基準として、ミキシングバランスの状態が表示されることとなる。したがって、特許文献１に開示したものでは、高齢者の聴覚特性に関して十分な配慮が成されないため、高齢者にとってＮＲが聞き取りやすく、なおかつ、ＮＲ信号とＢＧＭ信号とを臨場感が得られるようミキシングすることが困難な場合があった。
【０００４】
一方、本発明の発明者は、高齢者の聴覚特性を模擬する聴覚特性模擬装置を備えたミキシング表示システムを特許文献２に開示している。このシステムは、健聴者に不快感を与えることなく、感音性難聴者の聴覚特性を正確に模擬し、ミキシングバランスの状態を表示することができるものである。
【０００５】
しかしながら、特許文献２に開示したものは、感音性難聴者の聴覚特性を正確に模擬するために、装置構成が複雑化するとともに、プログラムによる計算量が若干多くなるものであった。具体的には、特許文献２に開示したものは、感音性難聴者特有の、ＢＧＭの影響によってＮＲがより小さく知覚されるマスキング補正量を計算するマスキング補正量計算と、高齢者の難聴の一現象である高齢性リクルートメント現象を模擬するリクルートメント模擬計算とを行う必要があった。
【０００６】
さらに、近時、本発明の発明者によって、高齢者の聞き取りやすさに関して、ＢＧＭの影響の調査が行われ、ＮＲ信号が存在せずＢＧＭ信号のみが存在するフレーム区間であっても、ＢＧＭ信号の大きさを考慮したミキシングバランス処理を行う必要があることが明らかになった。なお、本明細書では、ＮＲ信号が存在せずＢＧＭ信号のみが存在する場合にＢＧＭ信号のレベルを調整する処理もミキシングバランス処理に含める。
【０００７】
しかしながら、特許文献１及び２に開示したものは、基本的にＮＲ信号及びＢＧＭ信号が存在するフレーム区間でのミキシングバランスの状態を表示するものであって、ＮＲ信号が存在せずＢＧＭ信号のみが存在するフレーム区間では予め定められたレベルに従った信号表示を行うようになっている。したがって、特許文献１及び２に開示したものでは、ＢＧＭ信号のみが存在するフレーム区間における高齢者の聴覚特性に関して配慮していないため、同フレーム区間において高齢者が例えば「ＢＧＭが大き過ぎる」と知覚することがあった。
【先行技術文献】
【特許文献】
【０００８】
【特許文献１】特開２００８−１２４８９２号公報
【特許文献２】特開２００９−１５９０８３号公報
【発明の概要】
【発明が解決しようとする課題】
【０００９】
前述のように、特許文献１及び２に開示したものは、高齢者を対象としてミキシングバランスを表示するものとしては十分とは言えず、その改善が望まれていた。
【００１０】
本発明は、前述のような事情に鑑みてなされたものであり、従来のような複雑な計算を行うことなく、ミキシングバランスの状態を高齢者の聴感に対応させて表示することができるミキシングバランス表示装置及びミキシングバランス表示プログラムを提供することを目的とする。
【課題を解決するための手段】
【００１１】
本発明のミキシングバランス表示装置は、第１及び第２の音信号のレベルを所定時間間隔のフレーム毎に検出するレベル検出手段と、前記第１の音信号と前記第２の音信号とのレベル差を算出するレベル差算出手段と、前記第２の音信号のみが存在するフレーム区間において前記第２の音信号のレベルの信号を出力するとともに、前記第１及び前記第２の音信号が存在するフレーム区間において前記レベル差に対して前記第１の音信号のレベルに応じた重み付けを行って重み付きレベル差の信号を出力する重み付きレベル差算出手段と、現フレームから過去の所定数のフレームまでの間における前記第１の音信号のレベル平均値を算出する第１音信号平均値算出手段と、前記第１の音信号のレベル平均値と予め定められた前記第１の音信号の閾値とを比較した結果に基づいて、前記重み付きレベル差算出手段の出力信号を複数の段階で表示する際の各段階間の表示境界値を決定する表示境界値決定手段と、前記重み付きレベル差算出手段の出力信号と前記表示境界値とに基づいてミキシングバランスの状態を表示するミキシングバランス表示手段と、を備えた構成を有している。
【００１２】
この構成により、本発明のミキシングバランス表示装置は、従来のような複雑な計算を行うことなく、ミキシングバランスの状態を高齢者の聴感に対応させて表示することができる。
【００１３】
本発明のミキシングバランス表示装置において、前記重み付きレベル差算出手段は、予め定められた前記第１の音信号の第１の閾値及び前記第１の閾値よりも小さい第２の閾値に基づいて前記レベル差に対して重み付けを行うものであって、前記第１及び前記第２の音信号のレベルをそれぞれＮ及びＢ、前記第１及び前記第２の閾値をそれぞれＴＡ及びＴＢとした場合、Ｎ＜ＴＢのときはレベルがＢの信号を出力し、Ｎ＞ＴＡのときはレベルがＢ−Ｎの信号を出力し、ＴＢ≦Ｎ≦ＴＡのときは予め定められた単調な関数に基づいて算出したレベルの信号を出力するものである構成を有していてもよい。
【００１４】
本発明のミキシングバランス表示装置は、前記ミキシングバランス表示手段は、前記ミキシングバランスの状態を第１及び第２の複数の段階のいずれか一方によって表示するものであって、前記表示境界値決定手段は、前記第１の音信号のレベル平均値をＮＡとした場合、ＮＡ≧ＴＢのときは前記重み付きレベル差の信号を前記ミキシングバランス表示手段に出力して前記第１の複数の段階によって前記ミキシングバランスの状態を前記ミキシングバランス表示手段に表示させ、ＮＡ＜ＴＢのときはレベルがＢの信号を前記ミキシングバランス表示手段に出力して前記第２の複数の段階によって前記ミキシングバランスの状態を前記ミキシングバランス表示手段に表示させるものである構成を有していてもよい。
【００１５】
本発明のミキシングバランス表示装置において、前記表示境界値決定手段は、前記第１の音信号のレベル平均値と前記第１の音信号の閾値との比較結果に加え、前記第２の音信号のレベルと予め定められた前記第２の音信号の閾値との比較結果に基づいて、前記各段階間の表示境界値を決定するものである構成を有していてもよい。
【００１６】
本発明のミキシングバランス表示装置において、前記ミキシングバランス表示手段は、前記ミキシングバランスの状態を第１及び第２の複数の段階のいずれか一方によって表示するものであって、前記表示境界値決定手段は、前記第１の音信号のレベル平均値をＮＡ、前記第２の音信号の閾値をＢＥとした場合、ＮＡ≧ＴＢかつＢ≦ＢＥのときは前記重み付きレベル差の信号を前記ミキシングバランス表示手段に出力して前記第１の複数の段階によって前記ミキシングバランスの状態を前記ミキシングバランス表示手段に表示させ、ＮＡ＜ＴＢかつＢ＞ＢＥのときはレベルがＢの信号を前記ミキシングバランス表示手段に出力して前記第２の複数の段階によって前記ミキシングバランスの状態を前記ミキシングバランス表示手段に表示させるものである構成を有していてもよい。
【００１７】
本発明のミキシングバランス表示プログラムは、第１の音信号と第２の音信号とのミキシングバランスの状態を表示するミキシングバランス表示装置としてコンピュータを機能させるためのミキシングバランス表示プログラムであって、前記コンピュータを、第１及び第２の音信号のレベルを所定時間間隔のフレーム毎に検出するレベル検出手段と、前記第１の音信号と前記第２の音信号とのレベル差を算出するレベル差算出手段と、前記第２の音信号のみが存在するフレーム区間において前記第２の音信号のレベルの信号を出力するとともに、前記第１及び前記第２の音信号が存在するフレーム区間において前記レベル差に対して前記第１の音信号のレベルに応じた重み付けを行って重み付きレベル差の信号を出力する重み付きレベル差算出手段と、現フレームから過去の所定数のフレームまでの間における前記第１の音信号のレベル平均値を算出する第１音信号平均値算出手段と、前記第１の音信号のレベル平均値と予め定められた前記第１の音信号の閾値とを比較した結果に基づいて、前記重み付きレベル差算出手段の出力信号を複数の段階で表示する際の各段階間の表示境界値を決定する表示境界値決定手段と、前記重み付きレベル差算出手段の出力信号と前記表示境界値とに基づいてミキシングバランスの状態を表示するミキシングバランス表示手段と、して機能させる構成を有している。
【００１８】
この構成により、本発明のミキシングバランス表示プログラムは、従来のような複雑な計算を行うことなく、ミキシングバランスの状態を高齢者の聴感に対応させて表示することができる。
【発明の効果】
【００１９】
本発明は、従来のような複雑な計算を行うことなく、ミキシングバランスの状態を高齢者の聴感に対応させて表示することができるという効果を有するミキシングバランス表示装置及びミキシングバランス表示プログラムを提供することができるものである。
【図面の簡単な説明】
【００２０】
【図１】本発明の第１実施形態におけるミキシングバランス表示装置の構成を示すブロック図である。
【図２】本発明の第１実施形態におけるレベル重み付け関数を示す図である。
【図３】本発明の第１実施形態におけるレベル差算出部及び重み付きレベル差算出部が出力する信号の模式図である。
【図４】本発明の第１実施形態において、ＢＧＭ信号のレベルを７段階に分類した場合のテーブルＡ及びＢの表示境界値を示す図である。
【図５】本発明の第１実施形態におけるミキシングバランス表示装置の動作を示すフローチャートである。
【図６】本発明の第２実施形態において、テーブルＡ及びＢの表示境界値を使用する範囲を示す図である。
【発明を実施するための形態】
【００２１】
以下、本発明の実施形態について図面を用いて説明する。本実施形態では、本発明のミキシングバランス表示装置を、テレビやラジオ等の番組制作時にＮＲ信号とＢＧＭ信号とのミキシングバランスの状態を表示するミキシングバランス表示装置に適用した例を挙げて説明する。なお、本実施形態におけるＮＲ信号及びＢＧＭ信号は、特許請求の範囲に記載の第１及び第２の音信号にそれぞれ対応するものである。
【００２２】
（第１実施形態）
まず、本発明に係るミキシングバランス表示装置の第１実施形態における構成について説明する。
【００２３】
図１に示すように、本実施形態におけるミキシングバランス表示装置１０は、ＮＲ信号をＡＤ変換するＡＤ変換部１１と、ＢＧＭ信号をＡＤ変換するＡＤ変換部１２と、ＮＲ信号のレベルを検出するＮＲレベル検出部１３と、ＢＧＭ信号のレベルを検出するＢＧＭレベル検出部１４と、ＮＲ信号とＢＧＭ信号とのレベル差を算出するレベル差算出部１５と、レベル差に対して所定の重み付けを行って重み付きレベル差を算出する重み付きレベル差算出部１６と、重み付きレベル差の値の平均値を算出する平均レベル差算出部１７と、ＮＲ信号のレベルの平均値を算出するＮＲ平均値算出部１８と、ミキシングバランスの状態を複数の段階で表示する際の各段階間の表示境界値を決定する表示境界値決定部１９と、例えばＶＵ（Volume Unit）メータのようなレベルメータを有し、ミキシングバランスの状態を表示する表示部２０と、を備えている。
【００２４】
ＡＤ変換部１１及び１２は、それぞれ、ＮＲ信号及びＢＧＭ信号を入力し、アナログ値からデジタル値に変換するようになっている。例えば、ＡＤ変換部１１及び１２は、それぞれ、サンプリング周波数が４８ｋＨｚ、量子化精度が１６ビットのデジタル信号にアナログ信号を変換するようになっている。尤も、入力されるＮＲ信号及びＢＧＭ信号がデジタル信号である場合は、ＡＤ変換部１１及び１２は不要である。なお、本実施形態におけるサンプリング周波数は、４８ｋＨｚとして以下説明する。
【００２５】
ＮＲレベル検出部１３は、ＮＲ信号のラウドネスレベル（phon）を一定の短時間ΔＴ毎に検出するようになっている。ここで、一定の短時間ΔＴは、サンプリング周波数４８ｋＨｚで例えば１０２４サンプルを取得する場合は、約２１．３ｍｓ（＝１０２４／４８０００ｓ）となる。なお、ＮＲレベル検出部１３は、サンプリング周波数４８ｋＨｚで１０２４サンプルを取得するものとし、以下の説明において、１０２４サンプルの取得単位をフレームという。
【００２６】
ＢＧＭレベル検出部１４は、ＮＲレベル検出部１３と同様に、ＢＧＭ信号のラウドネスレベルをフレーム毎に検出するようになっている。
【００２７】
なお、ＮＲレベル検出部１３及びＢＧＭレベル検出部１４は、本発明に係るレベル検出手段を構成する。また、ＮＲレベル検出部１３及びＢＧＭレベル検出部１４が各信号のラウドネスレベルを検出する方法としては、例えばＩＳＯ５６２に規格化されたものがある。また、ラウドネスレベルに代えて各信号の平均エネルギレベル（ｄＢ）を算出する構成としてもよく、この場合は、例えばサンプル値の２乗平均値を算出し、ｄＢ変換すればよい。
【００２８】
以下の説明においては、適正なラウドネスレベルのＮＲ信号とＢＧＭ信号とをミキシングしたミキシング信号中のＮＲ信号のラウドネスレベルを"０"で正規化した相対レベルを用いて表すことにする。また、ＢＧＭ信号のレベルもＮＲ信号と同一のラウドネスレベルで正規化した相対レベルを用いて表すことにする。一例を挙げれば、適正なラウドネスレベルでミキシングされたミキシング信号中のＮＲ信号のラウドネスレベルが７０phonの場合に、ＢＧＭ信号のラウドネスレベルが７０phonであれば当該ＢＧＭ信号の相対レベルは"０"であり、ＢＧＭ信号のラウドネスレベルが７５phonであれば当該信号の相対レベルは"５"である。
【００２９】
また、正規化後の相対レベルが例えば−５０程度以下の場合は、ＮＲ信号及びＢＧＭ信号のラウドネスレベルは聴感的に非常に小さいものであるので、−５０以下の値を全て−５０で置き換えても実用上は十分である。なお、"０"で正規化しないで後述する処理を行うこともできるが、その場合には各閾値の値が相対的に変わってくる。以下、正規化されたＮＲ信号の相対レベルを「Ｎ」、正規化されたＢＧＭ信号の相対レベルを「Ｂ」と表す。
【００３０】
レベル差算出部１５は、ＮＲレベル検出部１３及びＢＧＭレベル検出部１４から、それぞれ、ＮＲ信号の相対レベルＮ及びＢＧＭ信号の相対レベルＢの情報をフレーム毎に入力し、両者の相対レベルの差（以下「相対レベル差」という。）Ｂ−Ｎを算出するようになっている。なお、レベル差算出部１５は、本発明に係るレベル差算出手段を構成する。
【００３１】
重み付きレベル差算出部１６は、レベル差算出部１５が算出した相対レベル差Ｂ−Ｎに対し、ＮＲ信号の相対レベルＮの大きさに応じた重み付けを行って重み付きレベル差を算出するようになっている。なお、重み付きレベル差算出部１６は、図示しないメモリを備えており、このメモリは、算出された重み付きレベル差の各値を逐次記憶するようになっている。
【００３２】
具体的には、重み付きレベル差算出部１６は、図２に示すようなレベル重み付け関数によって相対レベル差Ｂ−Ｎに対する重み付けを行うものである。図２において、重み付きレベル差算出部１６は、Ｎ＜ＴＢのときは重み付き相対レベル差としてＢの信号を出力し、Ｎ＞ＴＡのときは重み付き相対レベル差としてＢ−Ｎの信号を出力し、ＴＢ≦Ｎ≦ＴＡのときは重み付き相対レベル差としてＢ−ＴＡ・Ｎ／（ＴＡ−ＴＢ）＋ＴＡ・ＴＢ／（ＴＡ−ＴＢ）で表される信号を出力するようになっている。より具体的には、ＴＢ≦Ｎ≦ＴＡのとき、閾値ＴＡ＝−１０、閾値ＴＢ＝−２０とすると、重み付き相対レベル差はＢ＋Ｎ＋２０となる。
【００３３】
なお、図２においては、座標（ＴＢ，Ｂ）と（ＴＡ，Ｂ−ＴＡ）との２点を直線で結んだ例で説明したが、本発明はこれに限定されるものではなく、この２点を単調な関数で結んだものであれば実用上は十分である。また、重み付きレベル差算出部１６は、本発明に係る重み付きレベル差算出手段を構成する。
【００３４】
次に、レベル差算出部１５及び重み付きレベル差算出部１６が出力する信号について図３の模式図を用いて説明する。図３において、重み付け処理を分かりやすく説明するため、ＮＲ信号及びＢＧＭ信号を単純な波形で表している。
【００３５】
まず、レベル差算出部１５に入力されるＮＲ信号及びＢＧＭ信号の各相対レベルが図３（ａ）に示すような関係にあるとする。この場合、レベル差算出部１５が相対レベル差Ｂ−Ｎを算出すると、図３（ｂ）に示すような結果が得られる。図３（ｂ）に示すように、相対レベル差Ｂ−Ｎは、ＢＧＭ信号の相対レベルＢが大きいほど、ＮＲ信号の相対レベルＮが小さいほど大きくなる。
【００３６】
次に、重み付きレベル差算出部１６は、レベル差算出部１５が算出した相対レベル差Ｂ−Ｎの値に、図２に例示した重み付け関数で重み付けをする。その結果、図３（ｃ）に示すような重み付き相対レベル差が算出される。ここで、図２において閾値ＴＡ＝−１０、閾値ＴＢ＝−２０としている。図３（ｃ）に示した重み付き相対レベル差は、図２のＮ＜ＴＢの範囲に該当するＢＧＭ信号（破線部）と、図２のＮ＞ＴＡの範囲に該当する"ＮＲ"で示したＮＲ信号と、図２のＴＢ≦Ｎ≦ＴＡの範囲に該当する信号２１及び２２とから構成されている。図３（ａ）及び（ｃ）を参照すると、ＮＲ信号の相対レベルＮが比較的小さい場合、すなわち、ＮＲ信号がほとんど存在しない場合には、ＢＧＭ信号のみの大きさに依存した信号表示となることが分かる。
【００３７】
平均レベル差算出部１７は、現フレームから過去のｎ個のフレームまでの間において、重み付きレベル差の値の大きいものから順にｍ個の値の平均値（以下「パーセント時間率平均レベル差」という。）を算出するようになっている。ここで、ｎ及びｍは正の整数であり、ｎ≧ｍの関係がある。算出したパーセント時間率平均レベル差を示す信号は、表示境界値決定部１９に出力される。
【００３８】
ｎを大きくするほど、長時間の無音区間を除くことができるので、表示部２０が有するレベルメータの指示値の変化を緩やかにすることができるが、ｎが大き過ぎると無音区間が長時間続いても"０"でない指示値を長時間指示するので、適当な長さに設定する必要がある。また、ｍを大きくするほど、レベルメータの指示値の変化を緩やかにすることができるが、指示値の立ち上がり時間が遅くなるので、ｍをある程度小さくして、指示値の立ち上がり時間を短くする必要がある。実用上は、例えばｎ＝１００、ｍ＝４として、４％に相当するパーセント時間率平均レベル差を求める構成とするのが好ましい。
【００３９】
ｎ及びｍを適切に設定して算出したパーセント時間率平均レベル差を用いることにより、ＮＲ信号とＢＧＭ信号とのラウドネスの差に関し、聴感とよく合った判断ができるようになる。このパーセント時間率平均レベル差に関しては、特許第３４６２３９０号公報に詳述されている。
【００４０】
なお、発明者の検討結果によれば、ステレオ信号の場合には音素材の種類に関わらず、ＮＲ信号とＢＧＭ信号とのミキシングバランスが適正であれば、平均レベル差算出部１７の出力信号の相対レベルは概ね−１０となる。
【００４１】
次に、本実施形態におけるＮＲ平均値算出部１８、表示境界値決定部１９、表示部２０について説明する。ミキシングバランスを表示する際に、ＮＲ信号及びＢＧＭ信号が存在するフレームにおいて、表示部２０が、パーセント時間率平均レベル差が大きいほど「ＢＧＭ信号が大き過ぎる」、逆に、小さいほど「ＢＧＭ信号が小さ過ぎる（ＢＧＭの効果がない）」という表示を行うことが聴感的に好ましい。
【００４２】
また、ＮＲ信号が存在せずＢＧＭ信号のみが存在するフレームにおいて、表示部２０が、ＢＧＭ信号のみに依存して「ＢＧＭ信号が大き過ぎる」、「ＢＧＭ信号が小さ過ぎる」等と表示するのが聴感的に好ましい。そこで、本実施形態におけるＮＲ平均値算出部１８、表示境界値決定部１９、表示部２０は以下のように構成されている。
【００４３】
なお、本明細書において、「ＢＧＭ信号のみが存在する」とは、ＮＲ信号が存在しないことのみを示すものではなく、ＮＲ信号が存在しないか、存在してもＢＧＭ信号のレベルに対して無視できる程度に小さい場合を含むものとする。
【００４４】
まず、ＮＲ平均値算出部１８は、現フレームから過去の所定数（例えば数個〜数十個）のフレームまでの間におけるＮＲ信号のレベル平均値ＮＡを算出するようになっている。算出したＮＲ信号のレベル平均値ＮＡを示す信号は、表示境界値決定部１９に出力される。なお、ＮＲ平均値算出部１８は、本発明に係る第１音信号平均値算出手段を構成する。
【００４５】
次に、表示境界値決定部１９は、平均レベル差算出部１７からパーセント時間率平均レベル差を示す信号を入力し、ＮＲ平均値算出部１８からＮＲ信号のレベル平均値ＮＡを示す信号を入力するようになっている。
【００４６】
そして、表示境界値決定部１９は、ＮＲ信号のレベル平均値ＮＡと閾値ＴＢとを比較することによって、パーセント時間率平均レベル差で示されるミキシングバランスの状態を表示部２０が複数の段階で表示する際の各段階間の表示境界値を決定し、決定した表示境界値を示す信号を表示部２０に出力するようになっている。この表示境界値は、後述の表示部２０の構成説明で図４を用いて説明するように、テーブルＡ又はＢで指示されるものである。ここで、表示境界値決定部１９は、本発明に係る表示境界値決定手段を構成する。
【００４７】
具体的には、表示境界値決定部１９は、ＮＡ≧ＴＢのときはテーブルＡの値を、ＮＡ＜ＴＢのときはテーブルＢの値を、それぞれ、ミキシングバランスの状態表示の表示境界値として使用するよう指示する指示信号を表示部２０に出力する。閾値ＴＢとしては−２０程度が好ましい。また、表示境界値決定部１９は、テーブルＡを指示した場合は重み付き相対レベル差の出力信号を、テーブルＢを指示した場合はＢＧＭ信号のレベルの出力信号を、それぞれ表示部２０に出力する。ここで、図２のＮをＮＡと読み替えて参照すると、重み付き相対レベル差の出力信号はＮＡ≧ＴＢの範囲に示した関数によって定まるものであり、ＢＧＭ信号のレベルの出力信号はＮＡ＜ＴＢの範囲に示した"Ｂ"の値を有する。
【００４８】
次に、表示部２０は、表示境界値決定部１９の出力値を例えば数〜十数段階に分類して表示するようになっている。ここで、表示部２０は、本発明に係るミキシングバランス表示手段を構成する。
【００４９】
具体的には、ＢＧＭ信号のレベルを例えば７段階に分類して表示部２０に表示させる場合は、図４に示すように、表示境界値決定部１９の出力値を小さい方から順に７段階に分類し、ＢＧＭ信号のレベルが、「非常に小さ過ぎる」、「小さ過ぎる」、「やや小さい」、「適正」、「やや大きい」、「大き過ぎる」、「非常に大き過ぎる」と表示させることができる。
【００５０】
ＢＧＭ信号のレベルを前述のように７段階に分類するための６つの表示境界値は詳細な心理実験を行って求める必要があるが、発明者によるこれまでの実験によれば、６つの表示境界値の相対レベルとしては、図４に示すように、概ね、テーブルＡの値として、「−２０、−１５、−１０、−６、−３、０」程度、テーブルＢの値として、「−２０、−１０、−５、０、２．５、５」程度が高齢者にとって好ましいことが分かっている。なお、テーブルＡ及びＢの各値は、表示部２０が有するメモリに予め記憶されている。
【００５１】
前述のように、テーブルＡは、ＮＲ信号及びＢＧＭ信号が存在するフレーム区間で使用される表示境界値を有するものである。図４において、例えばテーブルＡの「適正」段階は−１０以上−６未満の範囲にあり、−６以上はＢＧＭ信号のレベルがＮＲ信号よりも相対的に大きいと高齢者が知覚する範囲であることを示している。これは、ＮＲ信号及びＢＧＭ信号が存在するフレーム区間において、ＮＲ信号とＢＧＭ信号のレベル差が６phon以下であると高齢者がＢＧＭ信号のレベルがＮＲ信号のレベルに対して相対的に大きいと知覚するという実験結果に基づいている。
【００５２】
一方、前述のように、テーブルＢは、ＮＲ信号が存在せずＢＧＭ信号のみが存在するフレーム区間で使用される表示境界値を有するものである。ＮＲ信号の存在しないフレーム区間でのＢＧＭ信号の影響を検討した実験結果によれば、高齢者が、ＢＧＭ信号のレベルがＮＲ信号のレベルに対して相対的に「適正」と知覚するラウドネスレベル（例えば７０phon）よりも２．５phon程度以上大きいと「大き過ぎる」と知覚するということが分かっている。そこで、テーブルＢにおいて、−５以上０未満の範囲を「適正」段階、０以上２．５未満の範囲を「やや大きい」段階、２．５以上５未満を「大き過ぎる」段階としている。
【００５３】
したがって、表示部２０は、表示境界値決定部１９の指示信号に従ってテーブルＡ又はＢの表示境界値を使用することにより、ミキシングバランスの状態を高齢者の聴感に対応させて表示することができることとなる。
【００５４】
また、表示境界値決定部１９により出力された、テーブルＡ又はＢのいずれか一方を指示する指示信号に応じて、表示部２０の表示色、あるいは表示形状、表示形状の派生として表示信号に飾り表示用の信号などを付加して表示等することによって、表示部２０は、ＮＲ信号がＢＧＭ信号に妨害されて聞き取りづらい状態にあるか、ＮＲ信号が存在せずＢＧＭ信号が存在するフレーム区間においてＢＧＭ信号が大き過ぎる状態にあるかを、視認性よく表示することができる。
【００５５】
次に、本実施形態におけるミキシングバランス表示装置１０の動作について図５を用いて説明する。
【００５６】
まず、ＡＤ変換部１１によって、ＮＲ信号が入力されてＡＤ変換され（ステップＳ１１）、ＡＤ変換部１２によって、ＢＧＭ信号が入力されてＡＤ変換される（ステップＳ１２）。なお、ステップＳ１１と１２とを前述の順序とは逆に処理してもよく、また、同時に処理するものとしてもよい。
【００５７】
次いで、ＮＲレベル検出部１３によって、ＮＲ信号のレベルがフレーム毎に検出され（ステップＳ１３）、ＢＧＭレベル検出部１４によって、ＢＧＭ信号のレベルがフレーム毎に検出される（ステップＳ１４）。なお、ステップＳ１３と１４とを前述の順序とは逆に処理してもよく、また、同時に処理するものとしてもよい。
【００５８】
さらに、レベル差算出部１５によって、ＮＲ信号とＢＧＭ信号とのレベル差が算出された後、重み付きレベル差算出部１６によって、レベル差算出部１５が算出したレベル差に対して、例えば図２に示す重み付け関数に基づいて重み付けが行われることにより重み付き相対レベル差が算出される（ステップＳ１５）。
【００５９】
続いて、平均レベル差算出部１７によって、パーセント時間率平均レベル差の算出、すなわち、現フレームから過去のｎ個のフレームまでの間において、重み付きレベル差Ｂ−Ｎの値の大きいものから順にｍ個の値の平均値が算出される（ステップＳ１６）。
【００６０】
次いで、ＮＲ平均値算出部１８によって、現フレームから過去の所定数（例えば数個〜数十個）のフレームまでの間におけるＮＲ信号のレベル平均値ＮＡが算出される（ステップＳ１７）。
【００６１】
さらに、表示境界値決定部１９によって、ＮＲ信号のレベル平均値ＮＡと閾値ＴＢとが比較され、表示境界値が決定される（ステップＳ１８）。このとき、表示境界値決定部１９によって、比較結果に応じた指示信号及び出力信号が出力される。すなわち、表示境界値決定部１９は、ＮＡ≧ＴＢのときはテーブルＡの値を、ＮＡ＜ＴＢのときはテーブルＢの値を、それぞれ、ミキシングバランスの状態表示の表示境界値として使用するよう指示する指示信号を表示部２０に出力する。また、表示境界値決定部１９は、テーブルＡを指示した場合は重み付き相対レベル差の出力信号を、テーブルＢを指示した場合はＢＧＭ信号のレベルの出力信号を、それぞれ表示部２０に出力する。
【００６２】
そして、表示部２０によって、表示境界値決定部１９からの指示信号及び出力信号に基づいて、ＮＲ信号とＢＧＭ信号とのミキシングバランスの状態が表示される（ステップＳ１９）。
【００６３】
なお、図５に示された各ステップの処理をプログラミングし、当該プログラムによってコンピュータを動作させることにより、当該プログラムは、コンピュータをミキシングバランス表示装置１０として機能させることができる。この場合、コンピュータは、図１に示された構成を有することとなる。
【００６４】
以上のように、本実施形態におけるミキシングバランス表示装置１０によれば、ＮＲ平均値算出部１８は、ＮＲ信号のレベル平均値ＮＡを算出し、表示境界値決定部１９は、ＮＲ信号のレベル平均値ＮＡと閾値ＴＢとを比較することによって表示境界値を決定し、表示部２０は、各表示境界値に基づいてミキシングバランスの状態を複数の段階で表示する構成となっている。
【００６５】
この構成により、本実施形態におけるミキシングバランス表示装置１０は、ＮＲ信号が存在せずＢＧＭ信号のみが存在するフレーム区間でも、高齢者にとって適正なミキシングバランスであるかどうかを、高齢者の聴覚特性を考慮して、ＢＧＭ信号のレベルに応じて複数の段階で信号表示を行うことができる。
【００６６】
また、この構成により、本実施形態におけるミキシングバランス表示装置１０は、ＮＲ信号及びＢＧＭ信号が存在するフレーム区間でも、高齢者の聴覚特性を模擬する、マスキング補正量算出及びリクルートメント模擬計算を行わないため、計算量を減らすことができるとともに、高齢者にとって適正なミキシングバランスであるかどうかを、高齢者の聴覚特性を考慮して、ＢＧＭ信号のレベルに応じて複数の段階で信号表示をすることができる。
【００６７】
したがって、本実施形態におけるミキシングバランス表示装置１０は、従来のような複雑な計算を行うことなく、ミキシングバランスの状態を高齢者の聴感に対応させて表示することができる。
【００６８】
また、本実施形態におけるミキシングバランス表示装置１０は、ＮＲ信号及びＢＧＭ信号が存在するフレーム区間において、例えばＢＧＭ信号のレベルがＮＲ信号のレベルよりも大き過ぎる場合はＢＧＭ信号のレベルを下げるよう音声ミキサに促すことができ、高齢者にとってＢＧＭが大きすぎてＮＲがＢＧＭに妨害されてＮＲが聴き取りにくいといった現象を未然に防ぐことができるので、番組の音響効果の向上を支援することができる。
【００６９】
また、本実施形態におけるミキシングバランス表示装置１０は、例えばＢＧＭ信号のレベルがＮＲ信号のレベルよりも小さ過ぎて音響効果が得られない場合はＢＧＭ信号のレベルを上げるよう音声ミキサに促すことができるので、番組の音響効果の向上を支援することができる。
【００７０】
また、本実施形態におけるミキシングバランス表示装置１０は、ＮＲ信号が存在しない場合や、ＮＲ信号と比較してＢＧＭ信号が著しく大きい場合に、「ＢＧＭが大きすぎる」と知覚する高齢者の聴感に対して適切な表示を行うことができる。
【００７１】
また、高齢者にとってＢＧＭが大きすぎて、ＮＲの音声がＢＧＭに妨害されて聞き取りづらいという聴感に対する、適切な表示を行うことができる。
【００７２】
なお、前述の実施形態において、第１の音信号及び第２の音信号をそれぞれＮＲ信号及びＢＧＭ信号とし、ＮＲ信号とＢＧＭ信号とをミキシングする際のミキシングバランスを表示する例を挙げて説明したが、本発明はこれに限定されるものではない。例えば、複数の音楽信号のミキシングを対象とするものや、台詞の音声信号と効果音の信号とのミキシングを対象とするもの等に適用しても同様な効果が得られる。
【００７３】
また、前述の実施形態において示した各閾値の値や、各閾値に対する大小の判断手法は一例であり、前述のものに限定されない。
【００７４】
また、ＢＧＭ信号のレベルは、ＮＲ信号と同様に複数フレーム分の平均値を使用することで、長い時間のミキシングバランスの状態を表示させることもできる。
【００７５】
また、ミキシングバランス表示装置１０の演算処理能力に余力がある場合には、特許文献２で示された、聴覚模擬装置の出力音声を使用することで、マスキングやリクルートメント計算を行った結果に対して、本手法を適用してもよい。
【００７６】
（第２実施形態）
本実施形態におけるミキシングバランス表示装置は、第１実施形態と同様な構成であり、表示境界値決定部１９における表示境界値の決定手法が異なるものである。したがって、この決定手法について以下説明し、第１実施形態の説明と重複する説明は省略する。
【００７７】
本実施形態における表示境界値決定部１９は、ＮＲ信号のレベル平均値ＮＡと閾値ＴＢとの比較に加え、ＢＧＭ信号のレベルＢと閾値ＢＥとの比較を行うことによって、各表示境界値を決定し、決定した表示境界値をテーブルＡ又はＢにより表示部２０に指示するようになっている。
【００７８】
具体的には、本実施形態における表示境界値決定部１９は、図６に示すように、ＮＲ信号が存在する期間であってＮＡ≧ＴＢかつＢ≦ＢＥの場合（斜線範囲外）は、テーブルＡの表示境界値を使用するよう表示部２０に指示する。この場合、表示境界値決定部１９は、重み付き相対レベル差の出力信号を表示部２０に出力する。
【００７９】
一方、本実施形態における表示境界値決定部１９は、ＮＡ＜ＴＢかつＢ＞ＢＥの場合（斜線範囲内）、すなわち、（１）ＮＲ信号が存在せずＢＧＭ信号のみが存在する場合（ＮＡ＜ＴＢ）と、（２）ＮＲ信号及びＢＧＭ信号が存在する期間でＢＧＭ信号のレベルが閾値ＢＥよりも大きい場合（Ｂ＞ＢＥ）と、においてテーブルＢの表示境界値を使用するよう表示部２０に指示する。この場合、表示境界値決定部１９は、ＢＧＭ信号のレベルの出力信号を表示部２０に出力する。
【００８０】
以上のように、本実施形態におけるミキシングバランス表示装置によれば、ＮＲ信号及びＢＧＭ信号が存在する期間でもＢＧＭ信号のレベルに基づいて「ＢＧＭ信号が大き過ぎる」、「ＢＧＭ信号が小さ過ぎる」等と表示することができるので、従来のような複雑な計算を行うことなく、ミキシングバランスの状態を高齢者の聴感に対応させて表示することができる。
【産業上の利用可能性】
【００８１】
以上のように、本発明に係るミキシングバランス表示装置及びミキシングバランス表示プログラムは、従来のような複雑な計算を行うことなく、ミキシングバランスの状態を高齢者の聴感に対応させて表示することができるという効果を有し、テレビやラジオ等の番組制作時にナレーション信号とバックグラウンドミュージック信号とのミキシングバランスの状態を高齢者の聴感に対応させて表示するミキシングバランス表示装置及びミキシングバランス表示プログラム等として有用である。
【符号の説明】
【００８２】
１０ ミキシングバランス表示装置
１１、１２ ＡＤ変換部
１３ ＮＲレベル検出部（レベル検出手段）
１４ ＢＧＭレベル検出部（レベル検出手段）
１５ レベル差算出部（レベル差算出手段）
１６ 重み付きレベル差算出部（重み付きレベル差算出手段）
１７ 平均レベル差算出部
１８ ＮＲ平均値算出部（第１音信号平均値算出手段）
１９ 表示境界値決定部（表示境界値決定手段）
２０ 表示部（ミキシングバランス表示手段）
【技術分野】
【０００１】
本発明は、例えばテレビやラジオ等の番組制作時にナレーション信号とバックグラウンドミュージック信号とのミキシングバランスの状態を高齢者の聴感に対応させて表示するミキシングバランス表示装置及びミキシングバランス表示プログラムに関する。
【背景技術】
【０００２】
従来、例えばナレーション（以下「ＮＲ」と表す。）信号とバックグラウンドミュージック（以下「ＢＧＭ」と表す。）信号とのミキシングを行う際に、訓練された音声調整者が実際に音を聞きながら、音声調整卓を操作し、ＮＲ信号とＢＧＭ信号のミキシングバランスが最適になるよう手動で調整していた。この手法では、熟練した音声調整者が必要となるという課題があり、この課題を解決するため、本発明の発明者は、先に特許文献１に開示したようなミキシングバランス表示装置を提案した。
【０００３】
特許文献１に開示したミキシングバランス表示装置は、ＮＲ信号とＢＧＭ信号とのレベル差に対してＮＲ信号のレベルに応じた重み付けを行って重み付きレベル差を算出し、この重み付きレベル差に対して聴感に対応させるための信号処理を施すことにより、ミキシングバランスの状態を聴感に対応させて表示することができるようになっている。この装置を高齢者用の番組に適用しようとすると、高齢者ではない、熟練した音声調整者の調整パラメータを基準として、ミキシングバランスの状態が表示されることとなる。したがって、特許文献１に開示したものでは、高齢者の聴覚特性に関して十分な配慮が成されないため、高齢者にとってＮＲが聞き取りやすく、なおかつ、ＮＲ信号とＢＧＭ信号とを臨場感が得られるようミキシングすることが困難な場合があった。
【０００４】
一方、本発明の発明者は、高齢者の聴覚特性を模擬する聴覚特性模擬装置を備えたミキシング表示システムを特許文献２に開示している。このシステムは、健聴者に不快感を与えることなく、感音性難聴者の聴覚特性を正確に模擬し、ミキシングバランスの状態を表示することができるものである。
【０００５】
しかしながら、特許文献２に開示したものは、感音性難聴者の聴覚特性を正確に模擬するために、装置構成が複雑化するとともに、プログラムによる計算量が若干多くなるものであった。具体的には、特許文献２に開示したものは、感音性難聴者特有の、ＢＧＭの影響によってＮＲがより小さく知覚されるマスキング補正量を計算するマスキング補正量計算と、高齢者の難聴の一現象である高齢性リクルートメント現象を模擬するリクルートメント模擬計算とを行う必要があった。
【０００６】
さらに、近時、本発明の発明者によって、高齢者の聞き取りやすさに関して、ＢＧＭの影響の調査が行われ、ＮＲ信号が存在せずＢＧＭ信号のみが存在するフレーム区間であっても、ＢＧＭ信号の大きさを考慮したミキシングバランス処理を行う必要があることが明らかになった。なお、本明細書では、ＮＲ信号が存在せずＢＧＭ信号のみが存在する場合にＢＧＭ信号のレベルを調整する処理もミキシングバランス処理に含める。
【０００７】
しかしながら、特許文献１及び２に開示したものは、基本的にＮＲ信号及びＢＧＭ信号が存在するフレーム区間でのミキシングバランスの状態を表示するものであって、ＮＲ信号が存在せずＢＧＭ信号のみが存在するフレーム区間では予め定められたレベルに従った信号表示を行うようになっている。したがって、特許文献１及び２に開示したものでは、ＢＧＭ信号のみが存在するフレーム区間における高齢者の聴覚特性に関して配慮していないため、同フレーム区間において高齢者が例えば「ＢＧＭが大き過ぎる」と知覚することがあった。
【先行技術文献】
【特許文献】
【０００８】
【特許文献１】特開２００８−１２４８９２号公報
【特許文献２】特開２００９−１５９０８３号公報
【発明の概要】
【発明が解決しようとする課題】
【０００９】
前述のように、特許文献１及び２に開示したものは、高齢者を対象としてミキシングバランスを表示するものとしては十分とは言えず、その改善が望まれていた。
【００１０】
本発明は、前述のような事情に鑑みてなされたものであり、従来のような複雑な計算を行うことなく、ミキシングバランスの状態を高齢者の聴感に対応させて表示することができるミキシングバランス表示装置及びミキシングバランス表示プログラムを提供することを目的とする。
【課題を解決するための手段】
【００１１】
本発明のミキシングバランス表示装置は、第１及び第２の音信号のレベルを所定時間間隔のフレーム毎に検出するレベル検出手段と、前記第１の音信号と前記第２の音信号とのレベル差を算出するレベル差算出手段と、前記第２の音信号のみが存在するフレーム区間において前記第２の音信号のレベルの信号を出力するとともに、前記第１及び前記第２の音信号が存在するフレーム区間において前記レベル差に対して前記第１の音信号のレベルに応じた重み付けを行って重み付きレベル差の信号を出力する重み付きレベル差算出手段と、現フレームから過去の所定数のフレームまでの間における前記第１の音信号のレベル平均値を算出する第１音信号平均値算出手段と、前記第１の音信号のレベル平均値と予め定められた前記第１の音信号の閾値とを比較した結果に基づいて、前記重み付きレベル差算出手段の出力信号を複数の段階で表示する際の各段階間の表示境界値を決定する表示境界値決定手段と、前記重み付きレベル差算出手段の出力信号と前記表示境界値とに基づいてミキシングバランスの状態を表示するミキシングバランス表示手段と、を備えた構成を有している。
【００１２】
この構成により、本発明のミキシングバランス表示装置は、従来のような複雑な計算を行うことなく、ミキシングバランスの状態を高齢者の聴感に対応させて表示することができる。
【００１３】
本発明のミキシングバランス表示装置において、前記重み付きレベル差算出手段は、予め定められた前記第１の音信号の第１の閾値及び前記第１の閾値よりも小さい第２の閾値に基づいて前記レベル差に対して重み付けを行うものであって、前記第１及び前記第２の音信号のレベルをそれぞれＮ及びＢ、前記第１及び前記第２の閾値をそれぞれＴＡ及びＴＢとした場合、Ｎ＜ＴＢのときはレベルがＢの信号を出力し、Ｎ＞ＴＡのときはレベルがＢ−Ｎの信号を出力し、ＴＢ≦Ｎ≦ＴＡのときは予め定められた単調な関数に基づいて算出したレベルの信号を出力するものである構成を有していてもよい。
【００１４】
本発明のミキシングバランス表示装置は、前記ミキシングバランス表示手段は、前記ミキシングバランスの状態を第１及び第２の複数の段階のいずれか一方によって表示するものであって、前記表示境界値決定手段は、前記第１の音信号のレベル平均値をＮＡとした場合、ＮＡ≧ＴＢのときは前記重み付きレベル差の信号を前記ミキシングバランス表示手段に出力して前記第１の複数の段階によって前記ミキシングバランスの状態を前記ミキシングバランス表示手段に表示させ、ＮＡ＜ＴＢのときはレベルがＢの信号を前記ミキシングバランス表示手段に出力して前記第２の複数の段階によって前記ミキシングバランスの状態を前記ミキシングバランス表示手段に表示させるものである構成を有していてもよい。
【００１５】
本発明のミキシングバランス表示装置において、前記表示境界値決定手段は、前記第１の音信号のレベル平均値と前記第１の音信号の閾値との比較結果に加え、前記第２の音信号のレベルと予め定められた前記第２の音信号の閾値との比較結果に基づいて、前記各段階間の表示境界値を決定するものである構成を有していてもよい。
【００１６】
本発明のミキシングバランス表示装置において、前記ミキシングバランス表示手段は、前記ミキシングバランスの状態を第１及び第２の複数の段階のいずれか一方によって表示するものであって、前記表示境界値決定手段は、前記第１の音信号のレベル平均値をＮＡ、前記第２の音信号の閾値をＢＥとした場合、ＮＡ≧ＴＢかつＢ≦ＢＥのときは前記重み付きレベル差の信号を前記ミキシングバランス表示手段に出力して前記第１の複数の段階によって前記ミキシングバランスの状態を前記ミキシングバランス表示手段に表示させ、ＮＡ＜ＴＢかつＢ＞ＢＥのときはレベルがＢの信号を前記ミキシングバランス表示手段に出力して前記第２の複数の段階によって前記ミキシングバランスの状態を前記ミキシングバランス表示手段に表示させるものである構成を有していてもよい。
【００１７】
本発明のミキシングバランス表示プログラムは、第１の音信号と第２の音信号とのミキシングバランスの状態を表示するミキシングバランス表示装置としてコンピュータを機能させるためのミキシングバランス表示プログラムであって、前記コンピュータを、第１及び第２の音信号のレベルを所定時間間隔のフレーム毎に検出するレベル検出手段と、前記第１の音信号と前記第２の音信号とのレベル差を算出するレベル差算出手段と、前記第２の音信号のみが存在するフレーム区間において前記第２の音信号のレベルの信号を出力するとともに、前記第１及び前記第２の音信号が存在するフレーム区間において前記レベル差に対して前記第１の音信号のレベルに応じた重み付けを行って重み付きレベル差の信号を出力する重み付きレベル差算出手段と、現フレームから過去の所定数のフレームまでの間における前記第１の音信号のレベル平均値を算出する第１音信号平均値算出手段と、前記第１の音信号のレベル平均値と予め定められた前記第１の音信号の閾値とを比較した結果に基づいて、前記重み付きレベル差算出手段の出力信号を複数の段階で表示する際の各段階間の表示境界値を決定する表示境界値決定手段と、前記重み付きレベル差算出手段の出力信号と前記表示境界値とに基づいてミキシングバランスの状態を表示するミキシングバランス表示手段と、して機能させる構成を有している。
【００１８】
この構成により、本発明のミキシングバランス表示プログラムは、従来のような複雑な計算を行うことなく、ミキシングバランスの状態を高齢者の聴感に対応させて表示することができる。
【発明の効果】
【００１９】
本発明は、従来のような複雑な計算を行うことなく、ミキシングバランスの状態を高齢者の聴感に対応させて表示することができるという効果を有するミキシングバランス表示装置及びミキシングバランス表示プログラムを提供することができるものである。
【図面の簡単な説明】
【００２０】
【図１】本発明の第１実施形態におけるミキシングバランス表示装置の構成を示すブロック図である。
【図２】本発明の第１実施形態におけるレベル重み付け関数を示す図である。
【図３】本発明の第１実施形態におけるレベル差算出部及び重み付きレベル差算出部が出力する信号の模式図である。
【図４】本発明の第１実施形態において、ＢＧＭ信号のレベルを７段階に分類した場合のテーブルＡ及びＢの表示境界値を示す図である。
【図５】本発明の第１実施形態におけるミキシングバランス表示装置の動作を示すフローチャートである。
【図６】本発明の第２実施形態において、テーブルＡ及びＢの表示境界値を使用する範囲を示す図である。
【発明を実施するための形態】
【００２１】
以下、本発明の実施形態について図面を用いて説明する。本実施形態では、本発明のミキシングバランス表示装置を、テレビやラジオ等の番組制作時にＮＲ信号とＢＧＭ信号とのミキシングバランスの状態を表示するミキシングバランス表示装置に適用した例を挙げて説明する。なお、本実施形態におけるＮＲ信号及びＢＧＭ信号は、特許請求の範囲に記載の第１及び第２の音信号にそれぞれ対応するものである。
【００２２】
（第１実施形態）
まず、本発明に係るミキシングバランス表示装置の第１実施形態における構成について説明する。
【００２３】
図１に示すように、本実施形態におけるミキシングバランス表示装置１０は、ＮＲ信号をＡＤ変換するＡＤ変換部１１と、ＢＧＭ信号をＡＤ変換するＡＤ変換部１２と、ＮＲ信号のレベルを検出するＮＲレベル検出部１３と、ＢＧＭ信号のレベルを検出するＢＧＭレベル検出部１４と、ＮＲ信号とＢＧＭ信号とのレベル差を算出するレベル差算出部１５と、レベル差に対して所定の重み付けを行って重み付きレベル差を算出する重み付きレベル差算出部１６と、重み付きレベル差の値の平均値を算出する平均レベル差算出部１７と、ＮＲ信号のレベルの平均値を算出するＮＲ平均値算出部１８と、ミキシングバランスの状態を複数の段階で表示する際の各段階間の表示境界値を決定する表示境界値決定部１９と、例えばＶＵ（Volume Unit）メータのようなレベルメータを有し、ミキシングバランスの状態を表示する表示部２０と、を備えている。
【００２４】
ＡＤ変換部１１及び１２は、それぞれ、ＮＲ信号及びＢＧＭ信号を入力し、アナログ値からデジタル値に変換するようになっている。例えば、ＡＤ変換部１１及び１２は、それぞれ、サンプリング周波数が４８ｋＨｚ、量子化精度が１６ビットのデジタル信号にアナログ信号を変換するようになっている。尤も、入力されるＮＲ信号及びＢＧＭ信号がデジタル信号である場合は、ＡＤ変換部１１及び１２は不要である。なお、本実施形態におけるサンプリング周波数は、４８ｋＨｚとして以下説明する。
【００２５】
ＮＲレベル検出部１３は、ＮＲ信号のラウドネスレベル（phon）を一定の短時間ΔＴ毎に検出するようになっている。ここで、一定の短時間ΔＴは、サンプリング周波数４８ｋＨｚで例えば１０２４サンプルを取得する場合は、約２１．３ｍｓ（＝１０２４／４８０００ｓ）となる。なお、ＮＲレベル検出部１３は、サンプリング周波数４８ｋＨｚで１０２４サンプルを取得するものとし、以下の説明において、１０２４サンプルの取得単位をフレームという。
【００２６】
ＢＧＭレベル検出部１４は、ＮＲレベル検出部１３と同様に、ＢＧＭ信号のラウドネスレベルをフレーム毎に検出するようになっている。
【００２７】
なお、ＮＲレベル検出部１３及びＢＧＭレベル検出部１４は、本発明に係るレベル検出手段を構成する。また、ＮＲレベル検出部１３及びＢＧＭレベル検出部１４が各信号のラウドネスレベルを検出する方法としては、例えばＩＳＯ５６２に規格化されたものがある。また、ラウドネスレベルに代えて各信号の平均エネルギレベル（ｄＢ）を算出する構成としてもよく、この場合は、例えばサンプル値の２乗平均値を算出し、ｄＢ変換すればよい。
【００２８】
以下の説明においては、適正なラウドネスレベルのＮＲ信号とＢＧＭ信号とをミキシングしたミキシング信号中のＮＲ信号のラウドネスレベルを"０"で正規化した相対レベルを用いて表すことにする。また、ＢＧＭ信号のレベルもＮＲ信号と同一のラウドネスレベルで正規化した相対レベルを用いて表すことにする。一例を挙げれば、適正なラウドネスレベルでミキシングされたミキシング信号中のＮＲ信号のラウドネスレベルが７０phonの場合に、ＢＧＭ信号のラウドネスレベルが７０phonであれば当該ＢＧＭ信号の相対レベルは"０"であり、ＢＧＭ信号のラウドネスレベルが７５phonであれば当該信号の相対レベルは"５"である。
【００２９】
また、正規化後の相対レベルが例えば−５０程度以下の場合は、ＮＲ信号及びＢＧＭ信号のラウドネスレベルは聴感的に非常に小さいものであるので、−５０以下の値を全て−５０で置き換えても実用上は十分である。なお、"０"で正規化しないで後述する処理を行うこともできるが、その場合には各閾値の値が相対的に変わってくる。以下、正規化されたＮＲ信号の相対レベルを「Ｎ」、正規化されたＢＧＭ信号の相対レベルを「Ｂ」と表す。
【００３０】
レベル差算出部１５は、ＮＲレベル検出部１３及びＢＧＭレベル検出部１４から、それぞれ、ＮＲ信号の相対レベルＮ及びＢＧＭ信号の相対レベルＢの情報をフレーム毎に入力し、両者の相対レベルの差（以下「相対レベル差」という。）Ｂ−Ｎを算出するようになっている。なお、レベル差算出部１５は、本発明に係るレベル差算出手段を構成する。
【００３１】
重み付きレベル差算出部１６は、レベル差算出部１５が算出した相対レベル差Ｂ−Ｎに対し、ＮＲ信号の相対レベルＮの大きさに応じた重み付けを行って重み付きレベル差を算出するようになっている。なお、重み付きレベル差算出部１６は、図示しないメモリを備えており、このメモリは、算出された重み付きレベル差の各値を逐次記憶するようになっている。
【００３２】
具体的には、重み付きレベル差算出部１６は、図２に示すようなレベル重み付け関数によって相対レベル差Ｂ−Ｎに対する重み付けを行うものである。図２において、重み付きレベル差算出部１６は、Ｎ＜ＴＢのときは重み付き相対レベル差としてＢの信号を出力し、Ｎ＞ＴＡのときは重み付き相対レベル差としてＢ−Ｎの信号を出力し、ＴＢ≦Ｎ≦ＴＡのときは重み付き相対レベル差としてＢ−ＴＡ・Ｎ／（ＴＡ−ＴＢ）＋ＴＡ・ＴＢ／（ＴＡ−ＴＢ）で表される信号を出力するようになっている。より具体的には、ＴＢ≦Ｎ≦ＴＡのとき、閾値ＴＡ＝−１０、閾値ＴＢ＝−２０とすると、重み付き相対レベル差はＢ＋Ｎ＋２０となる。
【００３３】
なお、図２においては、座標（ＴＢ，Ｂ）と（ＴＡ，Ｂ−ＴＡ）との２点を直線で結んだ例で説明したが、本発明はこれに限定されるものではなく、この２点を単調な関数で結んだものであれば実用上は十分である。また、重み付きレベル差算出部１６は、本発明に係る重み付きレベル差算出手段を構成する。
【００３４】
次に、レベル差算出部１５及び重み付きレベル差算出部１６が出力する信号について図３の模式図を用いて説明する。図３において、重み付け処理を分かりやすく説明するため、ＮＲ信号及びＢＧＭ信号を単純な波形で表している。
【００３５】
まず、レベル差算出部１５に入力されるＮＲ信号及びＢＧＭ信号の各相対レベルが図３（ａ）に示すような関係にあるとする。この場合、レベル差算出部１５が相対レベル差Ｂ−Ｎを算出すると、図３（ｂ）に示すような結果が得られる。図３（ｂ）に示すように、相対レベル差Ｂ−Ｎは、ＢＧＭ信号の相対レベルＢが大きいほど、ＮＲ信号の相対レベルＮが小さいほど大きくなる。
【００３６】
次に、重み付きレベル差算出部１６は、レベル差算出部１５が算出した相対レベル差Ｂ−Ｎの値に、図２に例示した重み付け関数で重み付けをする。その結果、図３（ｃ）に示すような重み付き相対レベル差が算出される。ここで、図２において閾値ＴＡ＝−１０、閾値ＴＢ＝−２０としている。図３（ｃ）に示した重み付き相対レベル差は、図２のＮ＜ＴＢの範囲に該当するＢＧＭ信号（破線部）と、図２のＮ＞ＴＡの範囲に該当する"ＮＲ"で示したＮＲ信号と、図２のＴＢ≦Ｎ≦ＴＡの範囲に該当する信号２１及び２２とから構成されている。図３（ａ）及び（ｃ）を参照すると、ＮＲ信号の相対レベルＮが比較的小さい場合、すなわち、ＮＲ信号がほとんど存在しない場合には、ＢＧＭ信号のみの大きさに依存した信号表示となることが分かる。
【００３７】
平均レベル差算出部１７は、現フレームから過去のｎ個のフレームまでの間において、重み付きレベル差の値の大きいものから順にｍ個の値の平均値（以下「パーセント時間率平均レベル差」という。）を算出するようになっている。ここで、ｎ及びｍは正の整数であり、ｎ≧ｍの関係がある。算出したパーセント時間率平均レベル差を示す信号は、表示境界値決定部１９に出力される。
【００３８】
ｎを大きくするほど、長時間の無音区間を除くことができるので、表示部２０が有するレベルメータの指示値の変化を緩やかにすることができるが、ｎが大き過ぎると無音区間が長時間続いても"０"でない指示値を長時間指示するので、適当な長さに設定する必要がある。また、ｍを大きくするほど、レベルメータの指示値の変化を緩やかにすることができるが、指示値の立ち上がり時間が遅くなるので、ｍをある程度小さくして、指示値の立ち上がり時間を短くする必要がある。実用上は、例えばｎ＝１００、ｍ＝４として、４％に相当するパーセント時間率平均レベル差を求める構成とするのが好ましい。
【００３９】
ｎ及びｍを適切に設定して算出したパーセント時間率平均レベル差を用いることにより、ＮＲ信号とＢＧＭ信号とのラウドネスの差に関し、聴感とよく合った判断ができるようになる。このパーセント時間率平均レベル差に関しては、特許第３４６２３９０号公報に詳述されている。
【００４０】
なお、発明者の検討結果によれば、ステレオ信号の場合には音素材の種類に関わらず、ＮＲ信号とＢＧＭ信号とのミキシングバランスが適正であれば、平均レベル差算出部１７の出力信号の相対レベルは概ね−１０となる。
【００４１】
次に、本実施形態におけるＮＲ平均値算出部１８、表示境界値決定部１９、表示部２０について説明する。ミキシングバランスを表示する際に、ＮＲ信号及びＢＧＭ信号が存在するフレームにおいて、表示部２０が、パーセント時間率平均レベル差が大きいほど「ＢＧＭ信号が大き過ぎる」、逆に、小さいほど「ＢＧＭ信号が小さ過ぎる（ＢＧＭの効果がない）」という表示を行うことが聴感的に好ましい。
【００４２】
また、ＮＲ信号が存在せずＢＧＭ信号のみが存在するフレームにおいて、表示部２０が、ＢＧＭ信号のみに依存して「ＢＧＭ信号が大き過ぎる」、「ＢＧＭ信号が小さ過ぎる」等と表示するのが聴感的に好ましい。そこで、本実施形態におけるＮＲ平均値算出部１８、表示境界値決定部１９、表示部２０は以下のように構成されている。
【００４３】
なお、本明細書において、「ＢＧＭ信号のみが存在する」とは、ＮＲ信号が存在しないことのみを示すものではなく、ＮＲ信号が存在しないか、存在してもＢＧＭ信号のレベルに対して無視できる程度に小さい場合を含むものとする。
【００４４】
まず、ＮＲ平均値算出部１８は、現フレームから過去の所定数（例えば数個〜数十個）のフレームまでの間におけるＮＲ信号のレベル平均値ＮＡを算出するようになっている。算出したＮＲ信号のレベル平均値ＮＡを示す信号は、表示境界値決定部１９に出力される。なお、ＮＲ平均値算出部１８は、本発明に係る第１音信号平均値算出手段を構成する。
【００４５】
次に、表示境界値決定部１９は、平均レベル差算出部１７からパーセント時間率平均レベル差を示す信号を入力し、ＮＲ平均値算出部１８からＮＲ信号のレベル平均値ＮＡを示す信号を入力するようになっている。
【００４６】
そして、表示境界値決定部１９は、ＮＲ信号のレベル平均値ＮＡと閾値ＴＢとを比較することによって、パーセント時間率平均レベル差で示されるミキシングバランスの状態を表示部２０が複数の段階で表示する際の各段階間の表示境界値を決定し、決定した表示境界値を示す信号を表示部２０に出力するようになっている。この表示境界値は、後述の表示部２０の構成説明で図４を用いて説明するように、テーブルＡ又はＢで指示されるものである。ここで、表示境界値決定部１９は、本発明に係る表示境界値決定手段を構成する。
【００４７】
具体的には、表示境界値決定部１９は、ＮＡ≧ＴＢのときはテーブルＡの値を、ＮＡ＜ＴＢのときはテーブルＢの値を、それぞれ、ミキシングバランスの状態表示の表示境界値として使用するよう指示する指示信号を表示部２０に出力する。閾値ＴＢとしては−２０程度が好ましい。また、表示境界値決定部１９は、テーブルＡを指示した場合は重み付き相対レベル差の出力信号を、テーブルＢを指示した場合はＢＧＭ信号のレベルの出力信号を、それぞれ表示部２０に出力する。ここで、図２のＮをＮＡと読み替えて参照すると、重み付き相対レベル差の出力信号はＮＡ≧ＴＢの範囲に示した関数によって定まるものであり、ＢＧＭ信号のレベルの出力信号はＮＡ＜ＴＢの範囲に示した"Ｂ"の値を有する。
【００４８】
次に、表示部２０は、表示境界値決定部１９の出力値を例えば数〜十数段階に分類して表示するようになっている。ここで、表示部２０は、本発明に係るミキシングバランス表示手段を構成する。
【００４９】
具体的には、ＢＧＭ信号のレベルを例えば７段階に分類して表示部２０に表示させる場合は、図４に示すように、表示境界値決定部１９の出力値を小さい方から順に７段階に分類し、ＢＧＭ信号のレベルが、「非常に小さ過ぎる」、「小さ過ぎる」、「やや小さい」、「適正」、「やや大きい」、「大き過ぎる」、「非常に大き過ぎる」と表示させることができる。
【００５０】
ＢＧＭ信号のレベルを前述のように７段階に分類するための６つの表示境界値は詳細な心理実験を行って求める必要があるが、発明者によるこれまでの実験によれば、６つの表示境界値の相対レベルとしては、図４に示すように、概ね、テーブルＡの値として、「−２０、−１５、−１０、−６、−３、０」程度、テーブルＢの値として、「−２０、−１０、−５、０、２．５、５」程度が高齢者にとって好ましいことが分かっている。なお、テーブルＡ及びＢの各値は、表示部２０が有するメモリに予め記憶されている。
【００５１】
前述のように、テーブルＡは、ＮＲ信号及びＢＧＭ信号が存在するフレーム区間で使用される表示境界値を有するものである。図４において、例えばテーブルＡの「適正」段階は−１０以上−６未満の範囲にあり、−６以上はＢＧＭ信号のレベルがＮＲ信号よりも相対的に大きいと高齢者が知覚する範囲であることを示している。これは、ＮＲ信号及びＢＧＭ信号が存在するフレーム区間において、ＮＲ信号とＢＧＭ信号のレベル差が６phon以下であると高齢者がＢＧＭ信号のレベルがＮＲ信号のレベルに対して相対的に大きいと知覚するという実験結果に基づいている。
【００５２】
一方、前述のように、テーブルＢは、ＮＲ信号が存在せずＢＧＭ信号のみが存在するフレーム区間で使用される表示境界値を有するものである。ＮＲ信号の存在しないフレーム区間でのＢＧＭ信号の影響を検討した実験結果によれば、高齢者が、ＢＧＭ信号のレベルがＮＲ信号のレベルに対して相対的に「適正」と知覚するラウドネスレベル（例えば７０phon）よりも２．５phon程度以上大きいと「大き過ぎる」と知覚するということが分かっている。そこで、テーブルＢにおいて、−５以上０未満の範囲を「適正」段階、０以上２．５未満の範囲を「やや大きい」段階、２．５以上５未満を「大き過ぎる」段階としている。
【００５３】
したがって、表示部２０は、表示境界値決定部１９の指示信号に従ってテーブルＡ又はＢの表示境界値を使用することにより、ミキシングバランスの状態を高齢者の聴感に対応させて表示することができることとなる。
【００５４】
また、表示境界値決定部１９により出力された、テーブルＡ又はＢのいずれか一方を指示する指示信号に応じて、表示部２０の表示色、あるいは表示形状、表示形状の派生として表示信号に飾り表示用の信号などを付加して表示等することによって、表示部２０は、ＮＲ信号がＢＧＭ信号に妨害されて聞き取りづらい状態にあるか、ＮＲ信号が存在せずＢＧＭ信号が存在するフレーム区間においてＢＧＭ信号が大き過ぎる状態にあるかを、視認性よく表示することができる。
【００５５】
次に、本実施形態におけるミキシングバランス表示装置１０の動作について図５を用いて説明する。
【００５６】
まず、ＡＤ変換部１１によって、ＮＲ信号が入力されてＡＤ変換され（ステップＳ１１）、ＡＤ変換部１２によって、ＢＧＭ信号が入力されてＡＤ変換される（ステップＳ１２）。なお、ステップＳ１１と１２とを前述の順序とは逆に処理してもよく、また、同時に処理するものとしてもよい。
【００５７】
次いで、ＮＲレベル検出部１３によって、ＮＲ信号のレベルがフレーム毎に検出され（ステップＳ１３）、ＢＧＭレベル検出部１４によって、ＢＧＭ信号のレベルがフレーム毎に検出される（ステップＳ１４）。なお、ステップＳ１３と１４とを前述の順序とは逆に処理してもよく、また、同時に処理するものとしてもよい。
【００５８】
さらに、レベル差算出部１５によって、ＮＲ信号とＢＧＭ信号とのレベル差が算出された後、重み付きレベル差算出部１６によって、レベル差算出部１５が算出したレベル差に対して、例えば図２に示す重み付け関数に基づいて重み付けが行われることにより重み付き相対レベル差が算出される（ステップＳ１５）。
【００５９】
続いて、平均レベル差算出部１７によって、パーセント時間率平均レベル差の算出、すなわち、現フレームから過去のｎ個のフレームまでの間において、重み付きレベル差Ｂ−Ｎの値の大きいものから順にｍ個の値の平均値が算出される（ステップＳ１６）。
【００６０】
次いで、ＮＲ平均値算出部１８によって、現フレームから過去の所定数（例えば数個〜数十個）のフレームまでの間におけるＮＲ信号のレベル平均値ＮＡが算出される（ステップＳ１７）。
【００６１】
さらに、表示境界値決定部１９によって、ＮＲ信号のレベル平均値ＮＡと閾値ＴＢとが比較され、表示境界値が決定される（ステップＳ１８）。このとき、表示境界値決定部１９によって、比較結果に応じた指示信号及び出力信号が出力される。すなわち、表示境界値決定部１９は、ＮＡ≧ＴＢのときはテーブルＡの値を、ＮＡ＜ＴＢのときはテーブルＢの値を、それぞれ、ミキシングバランスの状態表示の表示境界値として使用するよう指示する指示信号を表示部２０に出力する。また、表示境界値決定部１９は、テーブルＡを指示した場合は重み付き相対レベル差の出力信号を、テーブルＢを指示した場合はＢＧＭ信号のレベルの出力信号を、それぞれ表示部２０に出力する。
【００６２】
そして、表示部２０によって、表示境界値決定部１９からの指示信号及び出力信号に基づいて、ＮＲ信号とＢＧＭ信号とのミキシングバランスの状態が表示される（ステップＳ１９）。
【００６３】
なお、図５に示された各ステップの処理をプログラミングし、当該プログラムによってコンピュータを動作させることにより、当該プログラムは、コンピュータをミキシングバランス表示装置１０として機能させることができる。この場合、コンピュータは、図１に示された構成を有することとなる。
【００６４】
以上のように、本実施形態におけるミキシングバランス表示装置１０によれば、ＮＲ平均値算出部１８は、ＮＲ信号のレベル平均値ＮＡを算出し、表示境界値決定部１９は、ＮＲ信号のレベル平均値ＮＡと閾値ＴＢとを比較することによって表示境界値を決定し、表示部２０は、各表示境界値に基づいてミキシングバランスの状態を複数の段階で表示する構成となっている。
【００６５】
この構成により、本実施形態におけるミキシングバランス表示装置１０は、ＮＲ信号が存在せずＢＧＭ信号のみが存在するフレーム区間でも、高齢者にとって適正なミキシングバランスであるかどうかを、高齢者の聴覚特性を考慮して、ＢＧＭ信号のレベルに応じて複数の段階で信号表示を行うことができる。
【００６６】
また、この構成により、本実施形態におけるミキシングバランス表示装置１０は、ＮＲ信号及びＢＧＭ信号が存在するフレーム区間でも、高齢者の聴覚特性を模擬する、マスキング補正量算出及びリクルートメント模擬計算を行わないため、計算量を減らすことができるとともに、高齢者にとって適正なミキシングバランスであるかどうかを、高齢者の聴覚特性を考慮して、ＢＧＭ信号のレベルに応じて複数の段階で信号表示をすることができる。
【００６７】
したがって、本実施形態におけるミキシングバランス表示装置１０は、従来のような複雑な計算を行うことなく、ミキシングバランスの状態を高齢者の聴感に対応させて表示することができる。
【００６８】
また、本実施形態におけるミキシングバランス表示装置１０は、ＮＲ信号及びＢＧＭ信号が存在するフレーム区間において、例えばＢＧＭ信号のレベルがＮＲ信号のレベルよりも大き過ぎる場合はＢＧＭ信号のレベルを下げるよう音声ミキサに促すことができ、高齢者にとってＢＧＭが大きすぎてＮＲがＢＧＭに妨害されてＮＲが聴き取りにくいといった現象を未然に防ぐことができるので、番組の音響効果の向上を支援することができる。
【００６９】
また、本実施形態におけるミキシングバランス表示装置１０は、例えばＢＧＭ信号のレベルがＮＲ信号のレベルよりも小さ過ぎて音響効果が得られない場合はＢＧＭ信号のレベルを上げるよう音声ミキサに促すことができるので、番組の音響効果の向上を支援することができる。
【００７０】
また、本実施形態におけるミキシングバランス表示装置１０は、ＮＲ信号が存在しない場合や、ＮＲ信号と比較してＢＧＭ信号が著しく大きい場合に、「ＢＧＭが大きすぎる」と知覚する高齢者の聴感に対して適切な表示を行うことができる。
【００７１】
また、高齢者にとってＢＧＭが大きすぎて、ＮＲの音声がＢＧＭに妨害されて聞き取りづらいという聴感に対する、適切な表示を行うことができる。
【００７２】
なお、前述の実施形態において、第１の音信号及び第２の音信号をそれぞれＮＲ信号及びＢＧＭ信号とし、ＮＲ信号とＢＧＭ信号とをミキシングする際のミキシングバランスを表示する例を挙げて説明したが、本発明はこれに限定されるものではない。例えば、複数の音楽信号のミキシングを対象とするものや、台詞の音声信号と効果音の信号とのミキシングを対象とするもの等に適用しても同様な効果が得られる。
【００７３】
また、前述の実施形態において示した各閾値の値や、各閾値に対する大小の判断手法は一例であり、前述のものに限定されない。
【００７４】
また、ＢＧＭ信号のレベルは、ＮＲ信号と同様に複数フレーム分の平均値を使用することで、長い時間のミキシングバランスの状態を表示させることもできる。
【００７５】
また、ミキシングバランス表示装置１０の演算処理能力に余力がある場合には、特許文献２で示された、聴覚模擬装置の出力音声を使用することで、マスキングやリクルートメント計算を行った結果に対して、本手法を適用してもよい。
【００７６】
（第２実施形態）
本実施形態におけるミキシングバランス表示装置は、第１実施形態と同様な構成であり、表示境界値決定部１９における表示境界値の決定手法が異なるものである。したがって、この決定手法について以下説明し、第１実施形態の説明と重複する説明は省略する。
【００７７】
本実施形態における表示境界値決定部１９は、ＮＲ信号のレベル平均値ＮＡと閾値ＴＢとの比較に加え、ＢＧＭ信号のレベルＢと閾値ＢＥとの比較を行うことによって、各表示境界値を決定し、決定した表示境界値をテーブルＡ又はＢにより表示部２０に指示するようになっている。
【００７８】
具体的には、本実施形態における表示境界値決定部１９は、図６に示すように、ＮＲ信号が存在する期間であってＮＡ≧ＴＢかつＢ≦ＢＥの場合（斜線範囲外）は、テーブルＡの表示境界値を使用するよう表示部２０に指示する。この場合、表示境界値決定部１９は、重み付き相対レベル差の出力信号を表示部２０に出力する。
【００７９】
一方、本実施形態における表示境界値決定部１９は、ＮＡ＜ＴＢかつＢ＞ＢＥの場合（斜線範囲内）、すなわち、（１）ＮＲ信号が存在せずＢＧＭ信号のみが存在する場合（ＮＡ＜ＴＢ）と、（２）ＮＲ信号及びＢＧＭ信号が存在する期間でＢＧＭ信号のレベルが閾値ＢＥよりも大きい場合（Ｂ＞ＢＥ）と、においてテーブルＢの表示境界値を使用するよう表示部２０に指示する。この場合、表示境界値決定部１９は、ＢＧＭ信号のレベルの出力信号を表示部２０に出力する。
【００８０】
以上のように、本実施形態におけるミキシングバランス表示装置によれば、ＮＲ信号及びＢＧＭ信号が存在する期間でもＢＧＭ信号のレベルに基づいて「ＢＧＭ信号が大き過ぎる」、「ＢＧＭ信号が小さ過ぎる」等と表示することができるので、従来のような複雑な計算を行うことなく、ミキシングバランスの状態を高齢者の聴感に対応させて表示することができる。
【産業上の利用可能性】
【００８１】
以上のように、本発明に係るミキシングバランス表示装置及びミキシングバランス表示プログラムは、従来のような複雑な計算を行うことなく、ミキシングバランスの状態を高齢者の聴感に対応させて表示することができるという効果を有し、テレビやラジオ等の番組制作時にナレーション信号とバックグラウンドミュージック信号とのミキシングバランスの状態を高齢者の聴感に対応させて表示するミキシングバランス表示装置及びミキシングバランス表示プログラム等として有用である。
【符号の説明】
【００８２】
１０ ミキシングバランス表示装置
１１、１２ ＡＤ変換部
１３ ＮＲレベル検出部（レベル検出手段）
１４ ＢＧＭレベル検出部（レベル検出手段）
１５ レベル差算出部（レベル差算出手段）
１６ 重み付きレベル差算出部（重み付きレベル差算出手段）
１７ 平均レベル差算出部
１８ ＮＲ平均値算出部（第１音信号平均値算出手段）
１９ 表示境界値決定部（表示境界値決定手段）
２０ 表示部（ミキシングバランス表示手段）
【特許請求の範囲】
【請求項１】
第１及び第２の音信号のレベルを所定時間間隔のフレーム毎に検出するレベル検出手段と、前記第１の音信号と前記第２の音信号とのレベル差を算出するレベル差算出手段と、前記第２の音信号のみが存在するフレーム区間において前記第２の音信号のレベルの信号を出力するとともに、前記第１及び前記第２の音信号が存在するフレーム区間において前記レベル差に対して前記第１の音信号のレベルに応じた重み付けを行って重み付きレベル差の信号を出力する重み付きレベル差算出手段と、現フレームから過去の所定数のフレームまでの間における前記第１の音信号のレベル平均値を算出する第１音信号平均値算出手段と、前記第１の音信号のレベル平均値と予め定められた前記第１の音信号の閾値とを比較した結果に基づいて、前記重み付きレベル差算出手段の出力信号を複数の段階で表示する際の各段階間の表示境界値を決定する表示境界値決定手段と、前記重み付きレベル差算出手段の出力信号と前記表示境界値とに基づいてミキシングバランスの状態を表示するミキシングバランス表示手段と、を備えたことを特徴とするミキシングバランス表示装置。
【請求項２】
前記重み付きレベル差算出手段は、予め定められた前記第１の音信号の第１の閾値及び前記第１の閾値よりも小さい第２の閾値に基づいて前記レベル差に対して重み付けを行うものであって、前記第１及び前記第２の音信号のレベルをそれぞれＮ及びＢ、前記第１及び前記第２の閾値をそれぞれＴＡ及びＴＢとした場合、Ｎ＜ＴＢのときはレベルがＢの信号を出力し、Ｎ＞ＴＡのときはレベルがＢ−Ｎの信号を出力し、ＴＢ≦Ｎ≦ＴＡのときは予め定められた単調な関数に基づいて算出したレベルの信号を出力するものであることを特徴とする請求項１に記載のミキシングバランス表示装置。
【請求項３】
前記ミキシングバランス表示手段は、前記ミキシングバランスの状態を第１及び第２の複数の段階のいずれか一方によって表示するものであって、
前記表示境界値決定手段は、前記第１の音信号のレベル平均値をＮＡとした場合、ＮＡ≧ＴＢのときは前記重み付きレベル差の信号を前記ミキシングバランス表示手段に出力して前記第１の複数の段階によって前記ミキシングバランスの状態を前記ミキシングバランス表示手段に表示させ、ＮＡ＜ＴＢのときはレベルがＢの信号を前記ミキシングバランス表示手段に出力して前記第２の複数の段階によって前記ミキシングバランスの状態を前記ミキシングバランス表示手段に表示させるものであることを特徴とする請求項２に記載のミキシングバランス表示装置。
【請求項４】
前記表示境界値決定手段は、前記第１の音信号のレベル平均値と前記第１の音信号の閾値との比較結果に加え、前記第２の音信号のレベルと予め定められた前記第２の音信号の閾値との比較結果に基づいて、前記各段階間の表示境界値を決定するものであることを特徴とする請求項１又は請求項２に記載のミキシングバランス表示装置。
【請求項５】
前記ミキシングバランス表示手段は、前記ミキシングバランスの状態を第１及び第２の複数の段階のいずれか一方によって表示するものであって、
前記表示境界値決定手段は、前記第１の音信号のレベル平均値をＮＡ、前記第２の音信号の閾値をＢＥとした場合、ＮＡ≧ＴＢかつＢ≦ＢＥのときは前記重み付きレベル差の信号を前記ミキシングバランス表示手段に出力して前記第１の複数の段階によって前記ミキシングバランスの状態を前記ミキシングバランス表示手段に表示させ、ＮＡ＜ＴＢかつＢ＞ＢＥのときはレベルがＢの信号を前記ミキシングバランス表示手段に出力して前記第２の複数の段階によって前記ミキシングバランスの状態を前記ミキシングバランス表示手段に表示させるものであることを特徴とする請求項４に記載のミキシングバランス表示装置。
【請求項６】
第１の音信号と第２の音信号とのミキシングバランスの状態を表示するミキシングバランス表示装置としてコンピュータを機能させるためのミキシングバランス表示プログラムであって、
前記コンピュータを、第１及び第２の音信号のレベルを所定時間間隔のフレーム毎に検出するレベル検出手段と、前記第１の音信号と前記第２の音信号とのレベル差を算出するレベル差算出手段と、前記第２の音信号のみが存在するフレーム区間において前記第２の音信号のレベルの信号を出力するとともに、前記第１及び前記第２の音信号が存在するフレーム区間において前記レベル差に対して前記第１の音信号のレベルに応じた重み付けを行って重み付きレベル差の信号を出力する重み付きレベル差算出手段と、現フレームから過去の所定数のフレームまでの間における前記第１の音信号のレベル平均値を算出する第１音信号平均値算出手段と、前記第１の音信号のレベル平均値と予め定められた前記第１の音信号の閾値とを比較した結果に基づいて、前記重み付きレベル差算出手段の出力信号を複数の段階で表示する際の各段階間の表示境界値を決定する表示境界値決定手段と、前記重み付きレベル差算出手段の出力信号と前記表示境界値とに基づいてミキシングバランスの状態を表示するミキシングバランス表示手段と、して機能させることを特徴とするミキシングバランス表示プログラム。
【請求項１】
第１及び第２の音信号のレベルを所定時間間隔のフレーム毎に検出するレベル検出手段と、前記第１の音信号と前記第２の音信号とのレベル差を算出するレベル差算出手段と、前記第２の音信号のみが存在するフレーム区間において前記第２の音信号のレベルの信号を出力するとともに、前記第１及び前記第２の音信号が存在するフレーム区間において前記レベル差に対して前記第１の音信号のレベルに応じた重み付けを行って重み付きレベル差の信号を出力する重み付きレベル差算出手段と、現フレームから過去の所定数のフレームまでの間における前記第１の音信号のレベル平均値を算出する第１音信号平均値算出手段と、前記第１の音信号のレベル平均値と予め定められた前記第１の音信号の閾値とを比較した結果に基づいて、前記重み付きレベル差算出手段の出力信号を複数の段階で表示する際の各段階間の表示境界値を決定する表示境界値決定手段と、前記重み付きレベル差算出手段の出力信号と前記表示境界値とに基づいてミキシングバランスの状態を表示するミキシングバランス表示手段と、を備えたことを特徴とするミキシングバランス表示装置。
【請求項２】
前記重み付きレベル差算出手段は、予め定められた前記第１の音信号の第１の閾値及び前記第１の閾値よりも小さい第２の閾値に基づいて前記レベル差に対して重み付けを行うものであって、前記第１及び前記第２の音信号のレベルをそれぞれＮ及びＢ、前記第１及び前記第２の閾値をそれぞれＴＡ及びＴＢとした場合、Ｎ＜ＴＢのときはレベルがＢの信号を出力し、Ｎ＞ＴＡのときはレベルがＢ−Ｎの信号を出力し、ＴＢ≦Ｎ≦ＴＡのときは予め定められた単調な関数に基づいて算出したレベルの信号を出力するものであることを特徴とする請求項１に記載のミキシングバランス表示装置。
【請求項３】
前記ミキシングバランス表示手段は、前記ミキシングバランスの状態を第１及び第２の複数の段階のいずれか一方によって表示するものであって、
前記表示境界値決定手段は、前記第１の音信号のレベル平均値をＮＡとした場合、ＮＡ≧ＴＢのときは前記重み付きレベル差の信号を前記ミキシングバランス表示手段に出力して前記第１の複数の段階によって前記ミキシングバランスの状態を前記ミキシングバランス表示手段に表示させ、ＮＡ＜ＴＢのときはレベルがＢの信号を前記ミキシングバランス表示手段に出力して前記第２の複数の段階によって前記ミキシングバランスの状態を前記ミキシングバランス表示手段に表示させるものであることを特徴とする請求項２に記載のミキシングバランス表示装置。
【請求項４】
前記表示境界値決定手段は、前記第１の音信号のレベル平均値と前記第１の音信号の閾値との比較結果に加え、前記第２の音信号のレベルと予め定められた前記第２の音信号の閾値との比較結果に基づいて、前記各段階間の表示境界値を決定するものであることを特徴とする請求項１又は請求項２に記載のミキシングバランス表示装置。
【請求項５】
前記ミキシングバランス表示手段は、前記ミキシングバランスの状態を第１及び第２の複数の段階のいずれか一方によって表示するものであって、
前記表示境界値決定手段は、前記第１の音信号のレベル平均値をＮＡ、前記第２の音信号の閾値をＢＥとした場合、ＮＡ≧ＴＢかつＢ≦ＢＥのときは前記重み付きレベル差の信号を前記ミキシングバランス表示手段に出力して前記第１の複数の段階によって前記ミキシングバランスの状態を前記ミキシングバランス表示手段に表示させ、ＮＡ＜ＴＢかつＢ＞ＢＥのときはレベルがＢの信号を前記ミキシングバランス表示手段に出力して前記第２の複数の段階によって前記ミキシングバランスの状態を前記ミキシングバランス表示手段に表示させるものであることを特徴とする請求項４に記載のミキシングバランス表示装置。
【請求項６】
第１の音信号と第２の音信号とのミキシングバランスの状態を表示するミキシングバランス表示装置としてコンピュータを機能させるためのミキシングバランス表示プログラムであって、
前記コンピュータを、第１及び第２の音信号のレベルを所定時間間隔のフレーム毎に検出するレベル検出手段と、前記第１の音信号と前記第２の音信号とのレベル差を算出するレベル差算出手段と、前記第２の音信号のみが存在するフレーム区間において前記第２の音信号のレベルの信号を出力するとともに、前記第１及び前記第２の音信号が存在するフレーム区間において前記レベル差に対して前記第１の音信号のレベルに応じた重み付けを行って重み付きレベル差の信号を出力する重み付きレベル差算出手段と、現フレームから過去の所定数のフレームまでの間における前記第１の音信号のレベル平均値を算出する第１音信号平均値算出手段と、前記第１の音信号のレベル平均値と予め定められた前記第１の音信号の閾値とを比較した結果に基づいて、前記重み付きレベル差算出手段の出力信号を複数の段階で表示する際の各段階間の表示境界値を決定する表示境界値決定手段と、前記重み付きレベル差算出手段の出力信号と前記表示境界値とに基づいてミキシングバランスの状態を表示するミキシングバランス表示手段と、して機能させることを特徴とするミキシングバランス表示プログラム。
【図１】
【図２】
【図３】
【図４】
【図５】
【図６】
【図２】
【図３】
【図４】
【図５】
【図６】
【公開番号】特開２０１１−１６００８８（Ｐ２０１１−１６００８８Ａ）
【公開日】平成２３年８月１８日（２０１１．８．１８）
【国際特許分類】
【出願番号】特願２０１０−１８６３７（Ｐ２０１０−１８６３７）
【出願日】平成２２年１月２９日（２０１０．１．２９）
【出願人】（０００００４３５２）日本放送協会 (2,206)
【出願人】（５９１０５３９２６）財団法人エヌエイチケイエンジニアリングサービス (169)
【公開日】平成２３年８月１８日（２０１１．８．１８）
【国際特許分類】
【出願日】平成２２年１月２９日（２０１０．１．２９）
【出願人】（０００００４３５２）日本放送協会 (2,206)
【出願人】（５９１０５３９２６）財団法人エヌエイチケイエンジニアリングサービス (169)
[ Back to top ]