ミキシングバランス表示装置
【課題】主音声（声音）および副音声（背景音）が別個の方向から提示される場合、または主音声および副音声の少なくとも一方が複数チャンネルで構成される場合にもミキシングバランスの良否度合いを表示できる装置を提供する。
【解決手段】声音信号ＳＶのレベルＬＶを検出する声音信号レベル検出部２と、背景音信号ＳＢのレベルＬＢを検出する背景音信号レベル検出部３と、声音ＡＶおよび背景音ＡＢの提示方向に関する情報ＩＤを設定する提示方向情報設定部４と、提示方向情報ＩＤ、声音信号ＳＶおよび背景音信号ＳＢに基づいて背景音信号レベルＬＢを補正する補正部５と、声音信号レベルＬＶと補正部５から出力される補正後背景音信号レベルＬＢ'に基づいて声音ＡＶと背景音ＡＢとのミキシングバランスを表す表示値Ｄを決定する表示値決定部６と、表示値Ｄを声音信号レベル検出部２で検出された声音信号レベルＬＶに応じて表示する表示部７と、を備える。
【解決手段】声音信号ＳＶのレベルＬＶを検出する声音信号レベル検出部２と、背景音信号ＳＢのレベルＬＢを検出する背景音信号レベル検出部３と、声音ＡＶおよび背景音ＡＢの提示方向に関する情報ＩＤを設定する提示方向情報設定部４と、提示方向情報ＩＤ、声音信号ＳＶおよび背景音信号ＳＢに基づいて背景音信号レベルＬＢを補正する補正部５と、声音信号レベルＬＶと補正部５から出力される補正後背景音信号レベルＬＢ'に基づいて声音ＡＶと背景音ＡＢとのミキシングバランスを表す表示値Ｄを決定する表示値決定部６と、表示値Ｄを声音信号レベル検出部２で検出された声音信号レベルＬＶに応じて表示する表示部７と、を備える。
【発明の詳細な説明】
【技術分野】
【０００１】
本発明はミキシングバランス表示装置に係り、特に、主音声と副音声とをミキシングする際に主音声と副音声の提示方向の相違を考慮してミキシングバランスの良否度合いを表示することのできるミキシングバランス表示装置に関する。
【背景技術】
【０００２】
ラジオ放送あるいはテレビジョン放送で取り扱う音声はナレーション等の主音声と音楽、効果音等の副音声とに大別されるが、主音声と副音声を番組に相応しいバランスにミキシングすることが必要となる。
【０００３】
従来、主音声の電気変換信号である主音声信号と副音声の電気変換信号である副音声信号をミキシングする場合、調整技術者（ミキサ）が実際に音声を聴取しながら調整卓のフェーダを手動調節していた。
【０００４】
しかし、手動調整で最適なミキシングを実現するには熟練を要するため、本出願人は客観的なミキシングバランス値を表示することのできるミキシングバランス表示装置を既に提案している（例えば、特許文献１参照）。
【先行技術文献】
【特許文献】
【０００５】
【特許文献１】特開２００８−１２４８９２号公報
【発明の概要】
【発明が解決しようとする課題】
【０００６】
しかしながら、特許文献１に開示された従来のミキシングバランス表示装置は、基本的にはモノラルの主音声信号とモノラルの副音声信号とをミキシングしてモノラルの音声信号とする場合を対象としたものであり、主音声および副音声が別個の方向から提示される場合、あるいは主音声および副音声の少なくとも一方が複数チャンネルで構成される場合には、表示値に従ってミキシングしても必ずしも最適なミキシングバランスとはならないという課題があった。
【０００７】
本発明は、上記課題に鑑みなされたものであって、主音声および副音声が別個の方向から提示される場合、あるいは主音声および副音声の少なくとも一方が複数チャンネルで構成される場合にもミキシングバランスの良否度合いを表示することのできるミキシングバランス表示装置を提供することを目的とする。
【課題を解決するための手段】
【０００８】
本発明に係るミキシングバランス表示装置は、主音声の電気信号である主音声信号のレベルを検出する主音声信号レベル検出部と、副音声の電気信号である副音声信号のレベルを検出する副音声信号レベル信号検出部と、前記主音声および前記副音声の提示方向に関する情報である提示方向情報を設定する提示方向情報設定部と、前記提示方向情報、前記主音声信号および前記副音声信号に基づいて前記副音声信号レベル検出部で検出された副音声信号レベルを補正する補正部と、前記主音声信号レベルと前記補正部から出力される補正後副音声レベルに基づいて前記主音声と前記副音声のミキシングバランスの良否度合いを表す表示値を決定する表示値決定部と、前記表示値を前記主音声信号レベル検出部で検出された主音声信号レベルに応じて表示する表示部と、を備える構成を有している。
【０００９】
この構成によれば、主音声および副音声が別個の方向から提示される場合にもミキシングバランスの良否度合いを表示することができることとなる。
【００１０】
本発明に係るミキシングバランス表示装置は、前記補正部が、前記主音声の聴取者の左耳で聴取される成分と右耳で聴取される成分との間の相関値を算出する主音声信号相関値算出要素と、前記副音声の聴取者の左耳で聴取される成分と右耳で聴取される成分との間の相関値を算出する副音声信号相関値算出要素と、前記主音声信号相関値算出部で算出された主音声信号相関値と前記副音声信号相関値算出部で算出された副音声信号相関値に基づいて相関補正量を算出する相関補正量算出要素と、前記提示方向情報に基づいて提示方向補正量を算出する提示方向補正量算出要素と、前記副音声信号レベルに前記相関補正量および前記提示方向補正量を加算して前記補正後副音声信号レベルを算出する補正量加算要素と、を備える構成を有している。
【００１１】
この構成によれば、主音声および副音声の少なくとも一方が複数チャンネルで構成される場合にもミキシングバランスの良否度合いを表示することができることとなる。
【００１２】
本発明に係るミキシングバランス表示装置は、前記表示値決定部が、前記補正後副音声信号レベルと前記主音声信号レベルのレベル差を算出するレベル差算出要素と、前記レベル差算出要素で算出されたレベル差を前記主音声信号レベルに応じて重み付けして重み付けレベル差を算出する重み付けレベル差算出要素と、前記重み付けレベル差算出要素で算出された重み付けレベル差を時間平均して平均レベル差を算出する平均レベル差算出要素と、前記主音声信号レベルを時間平均して平均主音声信号レベルを算出する平均主音声信号レベル算出要素と、前記平均レベル差算出要素で算出された平均レベル差と前記平均主音声信号レベル算出要素で算出された平均主音声信号レベルとに基づいて表示値を決定する表示値決定要素と、を備える構成を有している。
【００１３】
この構成によれば、主音声が途絶えたときに良否度合いとして無意味な表示値が生成されることを防止できることとなる。
【００１４】
本発明に係るミキシングバランス表示装置は、前記表示部が、前記主音声信号レベルに基づいて表示制御信号を生成する表示制御信号生成要素と、前記表示値を前記表示制御信号生成部で生成された表示制御信号の制御のもとに表示する表示要素と、を備える構成を有している。
【００１５】
この構成によれば、主音声の短期間の途絶えによる不自然な表示を防止できることとなる。
【発明の効果】
【００１６】
本発明に係るミキシングバランス表示装置によれば、主音声および副音声が別個の方向から提示される場合、あるいは主音声および副音声の少なくとも一方が複数チャンネルで構成される場合にもミキシングバランスの良否の度合いを表示することができることとなる。
【図面の簡単な説明】
【００１７】
【図１】本発明に係るミキシングバランス表示装置の実施形態のブロック線図である。
【図２】補正部の構成を示すブロック図である。
【図３】表示値決定部の構成を示すブロック図である。
【図４】表示部の構成を示すブロック図である。
【図５】本発明に係るミキシングバランス表示装置の実施形態のハードウエア構成を示すブロック図である。
【図６】ミキシングバランス値算出プログラムのフローチャートである。
【図７】信号レベル検出処理の詳細フローチャートである。
【図８】声音放射位置および背景音放射位置と聴取位置の配置図である。
【図９】スピーカ配置図である。
【図１０】補正処理の詳細フローチャートである。
【図１１】表示値決定処理の詳細フローチャートである。
【図１２】重み付きレベル差算出処理の詳細フローチャートである。
【図１３】表示処理の詳細フローチャートである。
【発明を実施するための形態】
【００１８】
以下、図面を参照しつつ、本発明に係るミキシングバランス表示装置の実施形態について説明する。
【００１９】
なお、実施例では、主音声がナレーション等の声音であり、副音声が背景音楽等の背景音であるものとする。
【００２０】
図１は、本発明に係るミキシングバランス表示装置１の実施形態のブロック線図であって、声音ＡＶの電気信号である声音信号ＳＶのレベルＬＶを検出する声音信号レベル検出部２と、背景音ＡＢの電気信号である背景音信号ＳＢのレベルＬＢを検出する背景音信号レベル検出部３と、声音ＡＶおよび背景音ＡＢの提示方向に関する情報ＩＤを設定する提示方向情報設定部４と、提示方向情報設定部４に設定された提示方向情報ＩＤ、声音信号ＳＶおよび背景音信号ＳＢに基づいて背景音信号レベル検出部３で検出された背景音信号レベルＬＢを補正する補正部５と、声音信号レベル検出部２で検出された声音信号レベルＬＶと補正部５から出力される補正後背景音信号レベルＬＢ'に基づいて声音ＡＶと背景音ＡＢとのミキシングバランスを表す表示値Ｄを決定する表示値決定部６と、表示値決定部６で決定された表示値Ｄを声音信号レベル検出部２で検出された声音信号レベルＬＶに応じて表示する表示部７と、を備える。
【００２１】
図２は補正部５の構成を示すブロック図であって、補正部５は、声音信号ＳＶの聴取者の左耳で聴取される成分と右耳で聴取される成分との間の相関値を算出する声音信号相関値算出要素５１と、背景音信号ＳＢの聴取者の左耳で聴取される成分と右耳で聴取される成分との間の相関値を算出する背景音信号相関値算出要素５２と、声音信号相関値算出要素５１で算出された声音信号相関値ＣＶと背景音信号相関値算出要素５２で算出された背景音信号相関値ＣＢに基づいて相関補正量ＱＣを算出する相関補正量算出要素５３と、提示方向情報ＩＤに基づいて提示方向補正量ＱＤを算出する提示方向補正量算出要素５４と、背景音信号レベルＬＢに相関補正量ＱＣおよび提示方向補正量ＱＤを加算して補正後背景音信号レベルＬＢ'を算出する加算要素５５と、を備える。
【００２２】
図３は表示値決定部６の構成を示すブロック図であって、表示値決定部６は、補正後背景音信号レベルＬＢ'と声音信号レベルＬＶのレベル差ΔＬを算出するレベル差算出要素６１と、レベル差算出要素６１で算出されたレベル差ΔＬを声音信号レベルＬＶに応じて重み付けした重み付きレベル差ΔＬＷを算出する重み付きレベル差算出要素６２と、重み付きレベル差算出要素６２で算出された重み付きレベル差ΔＬＷを時間平均して平均レベル差ΔＬＷＡを算出する平均レベル差算出要素６３と、声音信号レベルＬＶを時間平均して平均声音信号レベルＬＶＡを算出する平均声音信号レベル算出要素６４と、平均レベル差算出要素６３で算出された平均レベル差ΔＬＷＡと平均声音信号レベル算出要素６４で算出された平均主音声信号レベルＬＶＡとに基づいて表示値Ｄを決定する表示値決定要素６５と、を備える。
【００２３】
図４は表示部７の構成を示すブロック図であって、表示部７は、声音信号レベルＬＶに基づいて表示制御信号Ｒを生成する表示制御信号生成要素７１と、表示値Ｄを表示制御信号生成要素７１で生成された表示制御信号Ｒの制御のもとに表示する表示要素７２と、を備える。
【００２４】
図５は、本発明に係るミキシングバランス表示装置１の実施形態のハードウエア構成を示すブロック図であって、いわゆるパーソナルコンピュータ（以下ＰＣと記す。）を適用したシステムである。
【００２５】
即ち、ミキシングバランス表示装置１はバス１０を中心として、ＣＰＵ１１、メモリ１２、アナログ・デジタル変換器（以下Ａ／Ｄと記す。）１３、デジタル出力回路（以下Ｄ／Ｏと記す。）１４および周辺機器インターフェイス（以下Ｉ／Ｆと記す。）１５が相互に結合されている。
【００２６】
Ｄ／Ｏ１４には、表示器１６が接続されているが、詳細は後述する。
【００２７】
Ｉ／Ｆ１５には、ディスプレイパネル、キーボードおよび例えばマウスであるポインティングデバイスで構成される周辺機器１７が接続されている。
【００２８】
Ａ／Ｄ１３は、声音信号ＳＶおよび背景音信号ＳＢをミキシングバランス表示装置１に読み込むために使用される。
【００２９】
キーボードおよびポインティングデバイスは提示方向情報ＩＤをミキシングバランス表示装置１に入力する提示方向情報設定部４として機能し、ディスプレイおよび表示器１６は表示値Ｄを表示する表示部７として機能する。
【００３０】
また、声音信号レベル検出部２、背景音信号レベル検出部３、補正部５および表示値決定部６は、メモリ１２にインストールされるプログラムによってＰＣ内にソフトウエア的に構成される。
【００３１】
図６はメモリ１２にインストールされるミキシングバランス値算出プログラムのフローチャートであって、所定時間ごとの割り込み処理として実行される。
【００３２】
ＣＰＵ１１は、信号レベル検出処理（ステップＳ２１）、提示方向情報読み込み処理（ステップＳ２２）、補正処理（ステップＳ２３）、表示値決定処理（ステップＳ２４）および表示処理（ステップＳ２５）を順次実行するが、各処理の詳細は後述する。
【００３３】
図７は信号レベル検出処理（ステップＳ２１）の詳細フローチャートであって、まずＣＰＵ１１は声音信号ＳＶをＡ／Ｄ１３を介して読み込む（ステップＳ２１１）。
【００３４】
なお、分解能１６ビット、サンプリング周波数４８ｋＨｚでＡ／Ｄ変換した１０２４個の声音データＤＶを１フレームとして取り扱うことが一般的である。
【００３５】
この場合、ミキシングバランス値算出プログラムは２１．３ミリ秒（＝１０２４÷４８０００×１０００）ごとに実行されることとなる。
【００３６】
次に、ＣＰＵ１１は背景音信号ＳＢをＡ／Ｄ１３を介して読み込む（ステップＳ２１２）。背景音についても１０２４個の背景音データＤＢを１フレームとして取り扱う。
【００３７】
次に、ＣＰＵ１１は、声音信号ＳＶのラウドネスレベルである声音信号レベルＬＶを検出し（ステップＳ２１３）、背景音信号ＳＢのラウドネスレベルである背景音信号レベルＬＢを検出して（ステップＳ２１４）、この処理を終了する。
【００３８】
ラウドネスレベルの検出方法としては、ＩＳＯ５６２規格を適用することができる。また、ラウドネスレベルに代えて声音データＤＶおよび背景音データＤＢの自乗平均値をｄＢ換算した平均エネルギレベルを使用することもできる。
【００３９】
なお、本実施形態においては、適正ラウドネスレベルの声音信号と背景音信号とをミキシングしたミキシング音信号中の声音信号のラウドネスレベルを"０"で正規化した相対ラウドネスレベルを声音信号レベルおよび背景音信号レベルとしている。
【００４０】
従って、適正ラウドネスレベルの可聴音信号中の声音信号レベルが７０phonであるとすれば、背景音のラウドネスレベルが７０phonであれば背景音信号レベルは"０"となり、背景音のラウドネスレベルが７５phonであれば背景音信号レベルは"５"となる。
【００４１】
ラウドネスレベル（phon値）の差はｄＢ値の差にほぼ等しいので、以下ではphon値の差をｄＢで表示する。
【００４２】
図８は提示方向情報読み込み処理（ステップＳ２２）における提示方向情報ＩＤの入力方法の一例を説明するための声音放射位置ＰＶおよび背景音放射位置ＰＢと聴取位置ＰＯの配置図であって、聴取位置ＰＯを基準として仰角θに声音放射位置ＰＶが、方位角φに背景音放射位置ＰＢが存在している場合を示している。この場合、仰角θおよび方位角φをキーボードおよびポインティングデバイスを使用して入力することとなる。
【００４３】
なお、図８は聴取位置ＰＯから声音放射位置ＰＶまでの距離と聴取位置ＰＯから背景音放射位置ＰＢまでの距離は等しい場合を示しているが、距離が相違する場合は距離差に応じて声音レベルまたは背景音レベルの補正値σを入力するようにしてもよい。
【００４４】
例えば、聴取位置ＰＯから声音放射位置ＰＶまでの距離をｒ０、聴取位置ＰＯから背景音放射位置ＰＢまでの距離をｒとすると、背景音レベルに対する補正値σは［数１］によって算出することができる。
【００４５】
【数１】
【００４６】
なお、聴取位置ＰＯから背景音放射位置ＰＢまでの距離をｒ０、聴取位置ＰＯから声音放射位置ＰＶまでの距離をｒとして、声音レベルを補正するようにしてもよいことは明らかである。
【００４７】
また、声音および背景音の少なくとも一方が複数チャンネルを有する場合には、周知の音像合成方法を適用して、声音放射位置ＰＶおよび背景音放射位置ＰＢをそれぞれ一か所に集約するものとする。
【００４８】
図９は２チャンネルの声音が２つのスピーカ９Ｌおよび９Ｒから放出されている場合のスピーカ配置図であって、２つのスピーカ９Ｌおよび９Ｒは聴取位置ＰＯから見た角度が２αの位置に配置されている。
【００４９】
２つのスピーカ９Ｌおよび９Ｒの放出する声音信号レベルをそれぞれＬＬおよびＬＲとすると、２チャンネルの声音は、角度２αの二等分線に対して角度βを成す１つの仮想スピーカ９Ｖから放出されているものとみなすことができる。
【００５０】
このとき、［数２］が成り立つ。
【００５１】
【数２】
【００５２】
背景音に対しても［数２］を適用することができることは明らかである。
【００５３】
また、声音あるいは背景音が３チャンネル以上である場合には、［数２］により仮想スピーカの位置を決定する手順を繰り返すことにより、声音放射位置ＰＶおよび背景音放射位置ＰＢをそれぞれ一か所に集約することが可能となる。
【００５４】
図１０は補正処理（ステップＳ２３）の詳細フローチャートであって、まずＣＰＵ１１は声音信号相関値ＣＶを算出する（ステップＳ２３１）。
【００５５】
即ち、声音信号が複数チャンネル存在する場合に、声音信号間の相関の程度を表す数値を算出する。
【００５６】
声音信号がＳＶ１およびＳＶ２の２チャンネルで構成される場合には、声音信号相関値ＣＶは［数３］により算出される。
【００５７】
【数３】
【００５８】
次に、ＣＰＵ１１は声音と同様に背景音について背景音相互相関値ＣＢを算出する（ステップＳ２３２）。
【００５９】
そして、ＣＰＵ１１は声音信号相関値ＣＶと背景音相互相関値ＣＢから［数４］に基づき相関補正量ＱＣを算出する（ステップＳ２３３）。
【００６０】
【数４】
【００６１】
上式は、ＭＬＤ（Masking Level Difference）理論によれば、声音と背景音を同時に聴取した場合以下のことが知られている。
１．声音が左右耳で同位相（ＣＶ＝１）、背景音が左右耳で逆位相（ＣＢ＝−１）のとき：声音と背景音を同時に聴取すると、背景音は声音に比較して−１３ｄＢほどレベルが低減したものとみなすことができる。
２．声音が左右耳で逆位相（ＣＶ＝−１）、背景音が左右耳で同位相（ＣＢ＝１）のとき：声音と背景音を同時に聴取すると、背景音は声音に比較して−１５ｄＢほどレベルが低減したものとみなすことができる。
３．声音および背景音ともに左右耳で同位相（ＣＶ＝１、ＣＢ＝１）あるいは逆位相（ＣＶ＝−１、ＣＢ＝−１）であれば、背景音のレベルは低減したものとみなすことはできない。即ち背景音のレベル低減量は０ｄＢである。
【００６２】
ここで、簡略化のために１および２の場合のレベル低減量をともに−１０ｄＢと仮定すれば、相関補正量ＱＣは［数４］により算出できることとなる。
【００６３】
さらに、ＣＰＵ１１は提示方向情報読み込み処理（ステップＳ２２）で読み込まれた提示方向情報ＩＤに基づいて提示方向補正量ＱＤを算出する（ステップＳ２３４）。
【００６４】
図８に示すように、提示方向情報ＩＤが仰角θおよび方位角φで構成される場合には、提示方向補正量ＱＤは［数５］により算出される。
【００６５】
【数５】
【００６６】
ここで、Ａは水平面上で声音と背景音の提示方向が９０°相違する場合に、声音が聞き易くなる度合を表す実験値であり、例えば６ｄＢである。
【００６７】
また、Ｂは鉛直面内で声音と背景音の提示方向が９０°相違する場合に、声音が聞き易くなる度合を表す実験値であり、例えば４ｄＢである。
【００６８】
なお、［数５］は実験式であるので、方位角φと仰角θを引数とするテーブルから提示方向補正量ＱＤを求めるようにしてもよい。
【００６９】
最後に、ＣＰＵ１１は背景音信号レベルＬＢに相関補正量ＱＣおよび提示方向補正量ＱＤを加算して補正後背景音信号レベルＬＢ'を算出して（ステップＳ２３５）、この処理を終了する。
【００７０】
図１１は表示値決定処理（ステップＳ２４）の詳細フローチャートであって、まずＣＰＵ１１は補正後背景音信号レベルＬＢ'から声音信号レベルＬＶを減算してレベル差ΔＬを算出する（ステップＳ２４１）。
【００７１】
次に、ＣＰＵ１１は、声音信号レベルＬＶに応じてレベル差ΔＬを重み付けして重み付きレベル差ΔＬＷを算出する（ステップＳ２４２）。
【００７２】
これは、連続した背景音信号に声音信号が断続的に重畳する場合に、声音信号が長期間途絶えている間は声音と背景音とのミキシングバランスという概念自体無意味であり、レベル差ΔＬは有意な値ではない。
【００７３】
また、声音信号が短期間途絶えたときは、レベル差ΔＬの変動が激しく、ミキシングバランスの指標としては実用的ではない。
【００７４】
そこで、声音が長期あるいは短期に途絶えて背景音だけとなった時にも連続性のあるミキシングバランス値を表示するために以下の処理をする。
【００７５】
図１２は重み付きレベル差算出処理の詳細フローチャートであって、ＣＰＵ１１は、声音信号レベルＬＶが第１の閾値レベルＬＶ１（例えば−３０ｄＢ）以下であるか否かを判定する（ステップＳ４２１）。
【００７６】
ＣＰＵ１１は、ステップＳ４３１で肯定判定したときは、重み付きレベル差ΔＬｗを所定の最小値ΔＬｗＭＩＮ（例えば、−５０ｄＢ）に設定して（ステップＳ４２２）この処理を終了する。
【００７７】
ＣＰＵ１１は、ステップＳ４２１で否定判定したときは、声音信号レベルＬＶが第２の閾値レベルＬＶ２（例えば−１５ｄＢ）以上であるか否かを判定する（ステップＳ４２３）。
【００７８】
ＣＰＵ１１は、ステップＳ４２３で肯定判定したときは、重み付きレベル差ΔＬｗをレベル差ΔＬ（＝ＬＢ'−ＬＶ）に設定して（ステップＳ４２４）この処理を終了する。
【００７９】
ＣＰＵ１１は、ステップＳ４２３で否定判定したときは、重み付きレベル差ΔＬｗが急変することを防止するために、声音信号レベルＬＶが第１の閾値レベルＬＶ１から第２の閾値レベルＬＶ２まで変化するときに重み付きレベル差ΔＬｗがΔＬｗＭＩＮからΔＬまで単調に増加する適当な関数（例えば、声音信号レベルＬＶの１次関数）Ｇ（ＬＶ）を使用して重み付きレベル差ΔＬｗを算出して（ステップＳ４２５）、この処理を終了する。
【００８０】
ＣＰＵ１１は、補正処理に戻り、重み付きレベル差ΔＬｗの時間平均値である平均レベル差ΔＬｗＡを算出する（ステップＳ２４３）。
【００８１】
次に、ＣＰＵ１１は声音信号レベルのパーセント時間率平均値である平均声音信号レベルＬＶＡを算出する（ステップＳ２４４）。
【００８２】
ＣＰＵ１１は、平均声音信号レベルＬＶＡが予め定められた第３の閾値レベルＬＶ３（例えば−１５ｄＢ）以上であるか否かを判定する（ステップＳ２４５）。
【００８３】
ＣＰＵ１１は平均声音信号レベルＬＶＡが第３の閾値ＬＶ３以上であると判定したときは表示値Ｄを平均レベル差ΔＬｗＡに設定して（ステップＳ２４６）この処理を終了する。
【００８４】
逆に、ＣＰＵ１１は平均声音信号レベルＬＶＡが第３の閾値ＬＶ３未満であると判定したときは表示値Ｄを予め定められた表示値Ｄ０に設定して（ステップＳ３４７）この処理を終了する。
【００８５】
なお、予め定められた表示値Ｄ０としては、声音と背景音とが最適バランス状態にあるときの平均レベル差ΔＬｗＡ（例えば零ｄＢ）とすることが望ましい。
【００８６】
図１３は表示処理（ステップＳ２５）の詳細フローチャートである。この処理は、声音が短期間途絶えるたびに声音と背景音とのミキシングバランスを示す表示値が変動することを抑制するためのものである。
【００８７】
ＣＰＵ１１は声音信号レベルＬＶが所定の第４の閾値レベルＬＶ４（例えば−１５ｄＢ）以上であるか否かを判定する（ステップＳ２５１）。
【００８８】
ＣＰＵ１１は声音信号レベルＬＶが第４の閾値レベルＬＶ４以上であると判定したときは、声音信号が存在する状態にあることを示すフラグＳを"１"に設定（ステップＳ２５２）し、声音が途絶えた状態での処理の実行回数を示すカウント値Ｎをリセット（ステップＳ２５３）した後、表示値Ｄをそのまま表示する（ステップＳ２５４）。
【００８９】
ＣＰＵ１１はステップＳ２５１で声音信号レベルＬＶが第４の閾値レベルＬＶ４未満であると判定したときは、声音が途絶えた状態に移行したものとしてフラグＳが"１"であるか否かを判定する（ステップＳ２５５）。
【００９０】
ＣＰＵ１１はステップＳ２５５でフラグＳが"１"であると判定したときは、カウント値Ｎが予め定められた上限値Ｎ０以下であるか否かを判定する（ステップＳ２５６）。
【００９１】
上限値Ｎ０は、声音が途絶えた状態と判定するための処理の実行回数であり、ミキシングバランス値算出プログラムを２１．３ミリ秒ごとに実行する場合には、Ｎ０を１００に設定すれば声音レベル信号が第４の閾値レベルＬＶ４以下である状態が約２秒継続すると声音は長期間途絶えたと判定することとなる。
【００９２】
ＣＰＵ１１はステップＳ２５６でカウント値Ｎが上限値Ｎ０以下であると判定したときは声音が長期間途絶えていないと判断して、カウント値Ｎをインクリメント（ステップＳ２５７）した後、ステップＳ２５４に進み表示値の表示を継続する。
【００９３】
ＣＰＵ１１はステップＳ２５６でカウント値Ｎが上限値Ｎ０より大きいと判定したときは声音が長期間途絶えたとして、フラグＳを"０"に設定（ステップＳ２５８）した後、表示値Ｄを不表示として（ステップＳ２５９）、この処理を終了する。
【００９４】
ＣＰＵ１１はステップＳ２５５でフラグＳが"１"でないと判定したときは、ステップＳ２５９に進み表示値Ｄを不表示とする。
【００９５】
表示部７への表示値Ｄの表示方法としては、以下の方法が考えられる。
１）ＶＵメータのようにミキシングバランスを指針により表示する。
２）信号機のような表示器１６を使用して、ミキシングバランスをランプの色で表示する。
３）ディスプレイパネル上にミキシングバランスをバーグラフ表示する。
【００９６】
実際には、表示値Ｄを「声音に対して背景音が非常に大きい」、「やや大きい」、「大きい」、「適正」、「小さい」、「やや小さい」、「非常に小さい」の７段階で表示することが現実的である。
【００９７】
連続値である表示値Ｄを７段階表示とするためには、６つの閾値を定めることが必要となる。この閾値としては、例えば、６ｄＢ、４ｄＢ、２ｄＢ、−３ｄＢ、−６ｄＢ、−９ｄＢを使用することができるが、心理実験を行って定めることが望ましい。
【産業上の利用可能性】
【００９８】
以上説明したように、本発明に係るミキシングバランス表示装置は、主音声および副音声が別個の方向から提示される場合、あるいは主音声および副音声の少なくとも一方が複数チャンネルで構成される場合にもミキシングバランス値を表示することができるという効果を有するので、テレビジョン番組あるいはラジオ番組のように主音声と副音声のミキシングが必要な番組の制作時に使用する装置として有用である。
【符号の説明】
【００９９】
１...ミキシングバランス表示装置
２...声音信号レベル検出部
３...背景音信号レベル検出部
４...提示方向情報設定部
５...補正部
６...表示値決定部
７...表示部
【技術分野】
【０００１】
本発明はミキシングバランス表示装置に係り、特に、主音声と副音声とをミキシングする際に主音声と副音声の提示方向の相違を考慮してミキシングバランスの良否度合いを表示することのできるミキシングバランス表示装置に関する。
【背景技術】
【０００２】
ラジオ放送あるいはテレビジョン放送で取り扱う音声はナレーション等の主音声と音楽、効果音等の副音声とに大別されるが、主音声と副音声を番組に相応しいバランスにミキシングすることが必要となる。
【０００３】
従来、主音声の電気変換信号である主音声信号と副音声の電気変換信号である副音声信号をミキシングする場合、調整技術者（ミキサ）が実際に音声を聴取しながら調整卓のフェーダを手動調節していた。
【０００４】
しかし、手動調整で最適なミキシングを実現するには熟練を要するため、本出願人は客観的なミキシングバランス値を表示することのできるミキシングバランス表示装置を既に提案している（例えば、特許文献１参照）。
【先行技術文献】
【特許文献】
【０００５】
【特許文献１】特開２００８−１２４８９２号公報
【発明の概要】
【発明が解決しようとする課題】
【０００６】
しかしながら、特許文献１に開示された従来のミキシングバランス表示装置は、基本的にはモノラルの主音声信号とモノラルの副音声信号とをミキシングしてモノラルの音声信号とする場合を対象としたものであり、主音声および副音声が別個の方向から提示される場合、あるいは主音声および副音声の少なくとも一方が複数チャンネルで構成される場合には、表示値に従ってミキシングしても必ずしも最適なミキシングバランスとはならないという課題があった。
【０００７】
本発明は、上記課題に鑑みなされたものであって、主音声および副音声が別個の方向から提示される場合、あるいは主音声および副音声の少なくとも一方が複数チャンネルで構成される場合にもミキシングバランスの良否度合いを表示することのできるミキシングバランス表示装置を提供することを目的とする。
【課題を解決するための手段】
【０００８】
本発明に係るミキシングバランス表示装置は、主音声の電気信号である主音声信号のレベルを検出する主音声信号レベル検出部と、副音声の電気信号である副音声信号のレベルを検出する副音声信号レベル信号検出部と、前記主音声および前記副音声の提示方向に関する情報である提示方向情報を設定する提示方向情報設定部と、前記提示方向情報、前記主音声信号および前記副音声信号に基づいて前記副音声信号レベル検出部で検出された副音声信号レベルを補正する補正部と、前記主音声信号レベルと前記補正部から出力される補正後副音声レベルに基づいて前記主音声と前記副音声のミキシングバランスの良否度合いを表す表示値を決定する表示値決定部と、前記表示値を前記主音声信号レベル検出部で検出された主音声信号レベルに応じて表示する表示部と、を備える構成を有している。
【０００９】
この構成によれば、主音声および副音声が別個の方向から提示される場合にもミキシングバランスの良否度合いを表示することができることとなる。
【００１０】
本発明に係るミキシングバランス表示装置は、前記補正部が、前記主音声の聴取者の左耳で聴取される成分と右耳で聴取される成分との間の相関値を算出する主音声信号相関値算出要素と、前記副音声の聴取者の左耳で聴取される成分と右耳で聴取される成分との間の相関値を算出する副音声信号相関値算出要素と、前記主音声信号相関値算出部で算出された主音声信号相関値と前記副音声信号相関値算出部で算出された副音声信号相関値に基づいて相関補正量を算出する相関補正量算出要素と、前記提示方向情報に基づいて提示方向補正量を算出する提示方向補正量算出要素と、前記副音声信号レベルに前記相関補正量および前記提示方向補正量を加算して前記補正後副音声信号レベルを算出する補正量加算要素と、を備える構成を有している。
【００１１】
この構成によれば、主音声および副音声の少なくとも一方が複数チャンネルで構成される場合にもミキシングバランスの良否度合いを表示することができることとなる。
【００１２】
本発明に係るミキシングバランス表示装置は、前記表示値決定部が、前記補正後副音声信号レベルと前記主音声信号レベルのレベル差を算出するレベル差算出要素と、前記レベル差算出要素で算出されたレベル差を前記主音声信号レベルに応じて重み付けして重み付けレベル差を算出する重み付けレベル差算出要素と、前記重み付けレベル差算出要素で算出された重み付けレベル差を時間平均して平均レベル差を算出する平均レベル差算出要素と、前記主音声信号レベルを時間平均して平均主音声信号レベルを算出する平均主音声信号レベル算出要素と、前記平均レベル差算出要素で算出された平均レベル差と前記平均主音声信号レベル算出要素で算出された平均主音声信号レベルとに基づいて表示値を決定する表示値決定要素と、を備える構成を有している。
【００１３】
この構成によれば、主音声が途絶えたときに良否度合いとして無意味な表示値が生成されることを防止できることとなる。
【００１４】
本発明に係るミキシングバランス表示装置は、前記表示部が、前記主音声信号レベルに基づいて表示制御信号を生成する表示制御信号生成要素と、前記表示値を前記表示制御信号生成部で生成された表示制御信号の制御のもとに表示する表示要素と、を備える構成を有している。
【００１５】
この構成によれば、主音声の短期間の途絶えによる不自然な表示を防止できることとなる。
【発明の効果】
【００１６】
本発明に係るミキシングバランス表示装置によれば、主音声および副音声が別個の方向から提示される場合、あるいは主音声および副音声の少なくとも一方が複数チャンネルで構成される場合にもミキシングバランスの良否の度合いを表示することができることとなる。
【図面の簡単な説明】
【００１７】
【図１】本発明に係るミキシングバランス表示装置の実施形態のブロック線図である。
【図２】補正部の構成を示すブロック図である。
【図３】表示値決定部の構成を示すブロック図である。
【図４】表示部の構成を示すブロック図である。
【図５】本発明に係るミキシングバランス表示装置の実施形態のハードウエア構成を示すブロック図である。
【図６】ミキシングバランス値算出プログラムのフローチャートである。
【図７】信号レベル検出処理の詳細フローチャートである。
【図８】声音放射位置および背景音放射位置と聴取位置の配置図である。
【図９】スピーカ配置図である。
【図１０】補正処理の詳細フローチャートである。
【図１１】表示値決定処理の詳細フローチャートである。
【図１２】重み付きレベル差算出処理の詳細フローチャートである。
【図１３】表示処理の詳細フローチャートである。
【発明を実施するための形態】
【００１８】
以下、図面を参照しつつ、本発明に係るミキシングバランス表示装置の実施形態について説明する。
【００１９】
なお、実施例では、主音声がナレーション等の声音であり、副音声が背景音楽等の背景音であるものとする。
【００２０】
図１は、本発明に係るミキシングバランス表示装置１の実施形態のブロック線図であって、声音ＡＶの電気信号である声音信号ＳＶのレベルＬＶを検出する声音信号レベル検出部２と、背景音ＡＢの電気信号である背景音信号ＳＢのレベルＬＢを検出する背景音信号レベル検出部３と、声音ＡＶおよび背景音ＡＢの提示方向に関する情報ＩＤを設定する提示方向情報設定部４と、提示方向情報設定部４に設定された提示方向情報ＩＤ、声音信号ＳＶおよび背景音信号ＳＢに基づいて背景音信号レベル検出部３で検出された背景音信号レベルＬＢを補正する補正部５と、声音信号レベル検出部２で検出された声音信号レベルＬＶと補正部５から出力される補正後背景音信号レベルＬＢ'に基づいて声音ＡＶと背景音ＡＢとのミキシングバランスを表す表示値Ｄを決定する表示値決定部６と、表示値決定部６で決定された表示値Ｄを声音信号レベル検出部２で検出された声音信号レベルＬＶに応じて表示する表示部７と、を備える。
【００２１】
図２は補正部５の構成を示すブロック図であって、補正部５は、声音信号ＳＶの聴取者の左耳で聴取される成分と右耳で聴取される成分との間の相関値を算出する声音信号相関値算出要素５１と、背景音信号ＳＢの聴取者の左耳で聴取される成分と右耳で聴取される成分との間の相関値を算出する背景音信号相関値算出要素５２と、声音信号相関値算出要素５１で算出された声音信号相関値ＣＶと背景音信号相関値算出要素５２で算出された背景音信号相関値ＣＢに基づいて相関補正量ＱＣを算出する相関補正量算出要素５３と、提示方向情報ＩＤに基づいて提示方向補正量ＱＤを算出する提示方向補正量算出要素５４と、背景音信号レベルＬＢに相関補正量ＱＣおよび提示方向補正量ＱＤを加算して補正後背景音信号レベルＬＢ'を算出する加算要素５５と、を備える。
【００２２】
図３は表示値決定部６の構成を示すブロック図であって、表示値決定部６は、補正後背景音信号レベルＬＢ'と声音信号レベルＬＶのレベル差ΔＬを算出するレベル差算出要素６１と、レベル差算出要素６１で算出されたレベル差ΔＬを声音信号レベルＬＶに応じて重み付けした重み付きレベル差ΔＬＷを算出する重み付きレベル差算出要素６２と、重み付きレベル差算出要素６２で算出された重み付きレベル差ΔＬＷを時間平均して平均レベル差ΔＬＷＡを算出する平均レベル差算出要素６３と、声音信号レベルＬＶを時間平均して平均声音信号レベルＬＶＡを算出する平均声音信号レベル算出要素６４と、平均レベル差算出要素６３で算出された平均レベル差ΔＬＷＡと平均声音信号レベル算出要素６４で算出された平均主音声信号レベルＬＶＡとに基づいて表示値Ｄを決定する表示値決定要素６５と、を備える。
【００２３】
図４は表示部７の構成を示すブロック図であって、表示部７は、声音信号レベルＬＶに基づいて表示制御信号Ｒを生成する表示制御信号生成要素７１と、表示値Ｄを表示制御信号生成要素７１で生成された表示制御信号Ｒの制御のもとに表示する表示要素７２と、を備える。
【００２４】
図５は、本発明に係るミキシングバランス表示装置１の実施形態のハードウエア構成を示すブロック図であって、いわゆるパーソナルコンピュータ（以下ＰＣと記す。）を適用したシステムである。
【００２５】
即ち、ミキシングバランス表示装置１はバス１０を中心として、ＣＰＵ１１、メモリ１２、アナログ・デジタル変換器（以下Ａ／Ｄと記す。）１３、デジタル出力回路（以下Ｄ／Ｏと記す。）１４および周辺機器インターフェイス（以下Ｉ／Ｆと記す。）１５が相互に結合されている。
【００２６】
Ｄ／Ｏ１４には、表示器１６が接続されているが、詳細は後述する。
【００２７】
Ｉ／Ｆ１５には、ディスプレイパネル、キーボードおよび例えばマウスであるポインティングデバイスで構成される周辺機器１７が接続されている。
【００２８】
Ａ／Ｄ１３は、声音信号ＳＶおよび背景音信号ＳＢをミキシングバランス表示装置１に読み込むために使用される。
【００２９】
キーボードおよびポインティングデバイスは提示方向情報ＩＤをミキシングバランス表示装置１に入力する提示方向情報設定部４として機能し、ディスプレイおよび表示器１６は表示値Ｄを表示する表示部７として機能する。
【００３０】
また、声音信号レベル検出部２、背景音信号レベル検出部３、補正部５および表示値決定部６は、メモリ１２にインストールされるプログラムによってＰＣ内にソフトウエア的に構成される。
【００３１】
図６はメモリ１２にインストールされるミキシングバランス値算出プログラムのフローチャートであって、所定時間ごとの割り込み処理として実行される。
【００３２】
ＣＰＵ１１は、信号レベル検出処理（ステップＳ２１）、提示方向情報読み込み処理（ステップＳ２２）、補正処理（ステップＳ２３）、表示値決定処理（ステップＳ２４）および表示処理（ステップＳ２５）を順次実行するが、各処理の詳細は後述する。
【００３３】
図７は信号レベル検出処理（ステップＳ２１）の詳細フローチャートであって、まずＣＰＵ１１は声音信号ＳＶをＡ／Ｄ１３を介して読み込む（ステップＳ２１１）。
【００３４】
なお、分解能１６ビット、サンプリング周波数４８ｋＨｚでＡ／Ｄ変換した１０２４個の声音データＤＶを１フレームとして取り扱うことが一般的である。
【００３５】
この場合、ミキシングバランス値算出プログラムは２１．３ミリ秒（＝１０２４÷４８０００×１０００）ごとに実行されることとなる。
【００３６】
次に、ＣＰＵ１１は背景音信号ＳＢをＡ／Ｄ１３を介して読み込む（ステップＳ２１２）。背景音についても１０２４個の背景音データＤＢを１フレームとして取り扱う。
【００３７】
次に、ＣＰＵ１１は、声音信号ＳＶのラウドネスレベルである声音信号レベルＬＶを検出し（ステップＳ２１３）、背景音信号ＳＢのラウドネスレベルである背景音信号レベルＬＢを検出して（ステップＳ２１４）、この処理を終了する。
【００３８】
ラウドネスレベルの検出方法としては、ＩＳＯ５６２規格を適用することができる。また、ラウドネスレベルに代えて声音データＤＶおよび背景音データＤＢの自乗平均値をｄＢ換算した平均エネルギレベルを使用することもできる。
【００３９】
なお、本実施形態においては、適正ラウドネスレベルの声音信号と背景音信号とをミキシングしたミキシング音信号中の声音信号のラウドネスレベルを"０"で正規化した相対ラウドネスレベルを声音信号レベルおよび背景音信号レベルとしている。
【００４０】
従って、適正ラウドネスレベルの可聴音信号中の声音信号レベルが７０phonであるとすれば、背景音のラウドネスレベルが７０phonであれば背景音信号レベルは"０"となり、背景音のラウドネスレベルが７５phonであれば背景音信号レベルは"５"となる。
【００４１】
ラウドネスレベル（phon値）の差はｄＢ値の差にほぼ等しいので、以下ではphon値の差をｄＢで表示する。
【００４２】
図８は提示方向情報読み込み処理（ステップＳ２２）における提示方向情報ＩＤの入力方法の一例を説明するための声音放射位置ＰＶおよび背景音放射位置ＰＢと聴取位置ＰＯの配置図であって、聴取位置ＰＯを基準として仰角θに声音放射位置ＰＶが、方位角φに背景音放射位置ＰＢが存在している場合を示している。この場合、仰角θおよび方位角φをキーボードおよびポインティングデバイスを使用して入力することとなる。
【００４３】
なお、図８は聴取位置ＰＯから声音放射位置ＰＶまでの距離と聴取位置ＰＯから背景音放射位置ＰＢまでの距離は等しい場合を示しているが、距離が相違する場合は距離差に応じて声音レベルまたは背景音レベルの補正値σを入力するようにしてもよい。
【００４４】
例えば、聴取位置ＰＯから声音放射位置ＰＶまでの距離をｒ０、聴取位置ＰＯから背景音放射位置ＰＢまでの距離をｒとすると、背景音レベルに対する補正値σは［数１］によって算出することができる。
【００４５】
【数１】
【００４６】
なお、聴取位置ＰＯから背景音放射位置ＰＢまでの距離をｒ０、聴取位置ＰＯから声音放射位置ＰＶまでの距離をｒとして、声音レベルを補正するようにしてもよいことは明らかである。
【００４７】
また、声音および背景音の少なくとも一方が複数チャンネルを有する場合には、周知の音像合成方法を適用して、声音放射位置ＰＶおよび背景音放射位置ＰＢをそれぞれ一か所に集約するものとする。
【００４８】
図９は２チャンネルの声音が２つのスピーカ９Ｌおよび９Ｒから放出されている場合のスピーカ配置図であって、２つのスピーカ９Ｌおよび９Ｒは聴取位置ＰＯから見た角度が２αの位置に配置されている。
【００４９】
２つのスピーカ９Ｌおよび９Ｒの放出する声音信号レベルをそれぞれＬＬおよびＬＲとすると、２チャンネルの声音は、角度２αの二等分線に対して角度βを成す１つの仮想スピーカ９Ｖから放出されているものとみなすことができる。
【００５０】
このとき、［数２］が成り立つ。
【００５１】
【数２】
【００５２】
背景音に対しても［数２］を適用することができることは明らかである。
【００５３】
また、声音あるいは背景音が３チャンネル以上である場合には、［数２］により仮想スピーカの位置を決定する手順を繰り返すことにより、声音放射位置ＰＶおよび背景音放射位置ＰＢをそれぞれ一か所に集約することが可能となる。
【００５４】
図１０は補正処理（ステップＳ２３）の詳細フローチャートであって、まずＣＰＵ１１は声音信号相関値ＣＶを算出する（ステップＳ２３１）。
【００５５】
即ち、声音信号が複数チャンネル存在する場合に、声音信号間の相関の程度を表す数値を算出する。
【００５６】
声音信号がＳＶ１およびＳＶ２の２チャンネルで構成される場合には、声音信号相関値ＣＶは［数３］により算出される。
【００５７】
【数３】
【００５８】
次に、ＣＰＵ１１は声音と同様に背景音について背景音相互相関値ＣＢを算出する（ステップＳ２３２）。
【００５９】
そして、ＣＰＵ１１は声音信号相関値ＣＶと背景音相互相関値ＣＢから［数４］に基づき相関補正量ＱＣを算出する（ステップＳ２３３）。
【００６０】
【数４】
【００６１】
上式は、ＭＬＤ（Masking Level Difference）理論によれば、声音と背景音を同時に聴取した場合以下のことが知られている。
１．声音が左右耳で同位相（ＣＶ＝１）、背景音が左右耳で逆位相（ＣＢ＝−１）のとき：声音と背景音を同時に聴取すると、背景音は声音に比較して−１３ｄＢほどレベルが低減したものとみなすことができる。
２．声音が左右耳で逆位相（ＣＶ＝−１）、背景音が左右耳で同位相（ＣＢ＝１）のとき：声音と背景音を同時に聴取すると、背景音は声音に比較して−１５ｄＢほどレベルが低減したものとみなすことができる。
３．声音および背景音ともに左右耳で同位相（ＣＶ＝１、ＣＢ＝１）あるいは逆位相（ＣＶ＝−１、ＣＢ＝−１）であれば、背景音のレベルは低減したものとみなすことはできない。即ち背景音のレベル低減量は０ｄＢである。
【００６２】
ここで、簡略化のために１および２の場合のレベル低減量をともに−１０ｄＢと仮定すれば、相関補正量ＱＣは［数４］により算出できることとなる。
【００６３】
さらに、ＣＰＵ１１は提示方向情報読み込み処理（ステップＳ２２）で読み込まれた提示方向情報ＩＤに基づいて提示方向補正量ＱＤを算出する（ステップＳ２３４）。
【００６４】
図８に示すように、提示方向情報ＩＤが仰角θおよび方位角φで構成される場合には、提示方向補正量ＱＤは［数５］により算出される。
【００６５】
【数５】
【００６６】
ここで、Ａは水平面上で声音と背景音の提示方向が９０°相違する場合に、声音が聞き易くなる度合を表す実験値であり、例えば６ｄＢである。
【００６７】
また、Ｂは鉛直面内で声音と背景音の提示方向が９０°相違する場合に、声音が聞き易くなる度合を表す実験値であり、例えば４ｄＢである。
【００６８】
なお、［数５］は実験式であるので、方位角φと仰角θを引数とするテーブルから提示方向補正量ＱＤを求めるようにしてもよい。
【００６９】
最後に、ＣＰＵ１１は背景音信号レベルＬＢに相関補正量ＱＣおよび提示方向補正量ＱＤを加算して補正後背景音信号レベルＬＢ'を算出して（ステップＳ２３５）、この処理を終了する。
【００７０】
図１１は表示値決定処理（ステップＳ２４）の詳細フローチャートであって、まずＣＰＵ１１は補正後背景音信号レベルＬＢ'から声音信号レベルＬＶを減算してレベル差ΔＬを算出する（ステップＳ２４１）。
【００７１】
次に、ＣＰＵ１１は、声音信号レベルＬＶに応じてレベル差ΔＬを重み付けして重み付きレベル差ΔＬＷを算出する（ステップＳ２４２）。
【００７２】
これは、連続した背景音信号に声音信号が断続的に重畳する場合に、声音信号が長期間途絶えている間は声音と背景音とのミキシングバランスという概念自体無意味であり、レベル差ΔＬは有意な値ではない。
【００７３】
また、声音信号が短期間途絶えたときは、レベル差ΔＬの変動が激しく、ミキシングバランスの指標としては実用的ではない。
【００７４】
そこで、声音が長期あるいは短期に途絶えて背景音だけとなった時にも連続性のあるミキシングバランス値を表示するために以下の処理をする。
【００７５】
図１２は重み付きレベル差算出処理の詳細フローチャートであって、ＣＰＵ１１は、声音信号レベルＬＶが第１の閾値レベルＬＶ１（例えば−３０ｄＢ）以下であるか否かを判定する（ステップＳ４２１）。
【００７６】
ＣＰＵ１１は、ステップＳ４３１で肯定判定したときは、重み付きレベル差ΔＬｗを所定の最小値ΔＬｗＭＩＮ（例えば、−５０ｄＢ）に設定して（ステップＳ４２２）この処理を終了する。
【００７７】
ＣＰＵ１１は、ステップＳ４２１で否定判定したときは、声音信号レベルＬＶが第２の閾値レベルＬＶ２（例えば−１５ｄＢ）以上であるか否かを判定する（ステップＳ４２３）。
【００７８】
ＣＰＵ１１は、ステップＳ４２３で肯定判定したときは、重み付きレベル差ΔＬｗをレベル差ΔＬ（＝ＬＢ'−ＬＶ）に設定して（ステップＳ４２４）この処理を終了する。
【００７９】
ＣＰＵ１１は、ステップＳ４２３で否定判定したときは、重み付きレベル差ΔＬｗが急変することを防止するために、声音信号レベルＬＶが第１の閾値レベルＬＶ１から第２の閾値レベルＬＶ２まで変化するときに重み付きレベル差ΔＬｗがΔＬｗＭＩＮからΔＬまで単調に増加する適当な関数（例えば、声音信号レベルＬＶの１次関数）Ｇ（ＬＶ）を使用して重み付きレベル差ΔＬｗを算出して（ステップＳ４２５）、この処理を終了する。
【００８０】
ＣＰＵ１１は、補正処理に戻り、重み付きレベル差ΔＬｗの時間平均値である平均レベル差ΔＬｗＡを算出する（ステップＳ２４３）。
【００８１】
次に、ＣＰＵ１１は声音信号レベルのパーセント時間率平均値である平均声音信号レベルＬＶＡを算出する（ステップＳ２４４）。
【００８２】
ＣＰＵ１１は、平均声音信号レベルＬＶＡが予め定められた第３の閾値レベルＬＶ３（例えば−１５ｄＢ）以上であるか否かを判定する（ステップＳ２４５）。
【００８３】
ＣＰＵ１１は平均声音信号レベルＬＶＡが第３の閾値ＬＶ３以上であると判定したときは表示値Ｄを平均レベル差ΔＬｗＡに設定して（ステップＳ２４６）この処理を終了する。
【００８４】
逆に、ＣＰＵ１１は平均声音信号レベルＬＶＡが第３の閾値ＬＶ３未満であると判定したときは表示値Ｄを予め定められた表示値Ｄ０に設定して（ステップＳ３４７）この処理を終了する。
【００８５】
なお、予め定められた表示値Ｄ０としては、声音と背景音とが最適バランス状態にあるときの平均レベル差ΔＬｗＡ（例えば零ｄＢ）とすることが望ましい。
【００８６】
図１３は表示処理（ステップＳ２５）の詳細フローチャートである。この処理は、声音が短期間途絶えるたびに声音と背景音とのミキシングバランスを示す表示値が変動することを抑制するためのものである。
【００８７】
ＣＰＵ１１は声音信号レベルＬＶが所定の第４の閾値レベルＬＶ４（例えば−１５ｄＢ）以上であるか否かを判定する（ステップＳ２５１）。
【００８８】
ＣＰＵ１１は声音信号レベルＬＶが第４の閾値レベルＬＶ４以上であると判定したときは、声音信号が存在する状態にあることを示すフラグＳを"１"に設定（ステップＳ２５２）し、声音が途絶えた状態での処理の実行回数を示すカウント値Ｎをリセット（ステップＳ２５３）した後、表示値Ｄをそのまま表示する（ステップＳ２５４）。
【００８９】
ＣＰＵ１１はステップＳ２５１で声音信号レベルＬＶが第４の閾値レベルＬＶ４未満であると判定したときは、声音が途絶えた状態に移行したものとしてフラグＳが"１"であるか否かを判定する（ステップＳ２５５）。
【００９０】
ＣＰＵ１１はステップＳ２５５でフラグＳが"１"であると判定したときは、カウント値Ｎが予め定められた上限値Ｎ０以下であるか否かを判定する（ステップＳ２５６）。
【００９１】
上限値Ｎ０は、声音が途絶えた状態と判定するための処理の実行回数であり、ミキシングバランス値算出プログラムを２１．３ミリ秒ごとに実行する場合には、Ｎ０を１００に設定すれば声音レベル信号が第４の閾値レベルＬＶ４以下である状態が約２秒継続すると声音は長期間途絶えたと判定することとなる。
【００９２】
ＣＰＵ１１はステップＳ２５６でカウント値Ｎが上限値Ｎ０以下であると判定したときは声音が長期間途絶えていないと判断して、カウント値Ｎをインクリメント（ステップＳ２５７）した後、ステップＳ２５４に進み表示値の表示を継続する。
【００９３】
ＣＰＵ１１はステップＳ２５６でカウント値Ｎが上限値Ｎ０より大きいと判定したときは声音が長期間途絶えたとして、フラグＳを"０"に設定（ステップＳ２５８）した後、表示値Ｄを不表示として（ステップＳ２５９）、この処理を終了する。
【００９４】
ＣＰＵ１１はステップＳ２５５でフラグＳが"１"でないと判定したときは、ステップＳ２５９に進み表示値Ｄを不表示とする。
【００９５】
表示部７への表示値Ｄの表示方法としては、以下の方法が考えられる。
１）ＶＵメータのようにミキシングバランスを指針により表示する。
２）信号機のような表示器１６を使用して、ミキシングバランスをランプの色で表示する。
３）ディスプレイパネル上にミキシングバランスをバーグラフ表示する。
【００９６】
実際には、表示値Ｄを「声音に対して背景音が非常に大きい」、「やや大きい」、「大きい」、「適正」、「小さい」、「やや小さい」、「非常に小さい」の７段階で表示することが現実的である。
【００９７】
連続値である表示値Ｄを７段階表示とするためには、６つの閾値を定めることが必要となる。この閾値としては、例えば、６ｄＢ、４ｄＢ、２ｄＢ、−３ｄＢ、−６ｄＢ、−９ｄＢを使用することができるが、心理実験を行って定めることが望ましい。
【産業上の利用可能性】
【００９８】
以上説明したように、本発明に係るミキシングバランス表示装置は、主音声および副音声が別個の方向から提示される場合、あるいは主音声および副音声の少なくとも一方が複数チャンネルで構成される場合にもミキシングバランス値を表示することができるという効果を有するので、テレビジョン番組あるいはラジオ番組のように主音声と副音声のミキシングが必要な番組の制作時に使用する装置として有用である。
【符号の説明】
【００９９】
１...ミキシングバランス表示装置
２...声音信号レベル検出部
３...背景音信号レベル検出部
４...提示方向情報設定部
５...補正部
６...表示値決定部
７...表示部
【特許請求の範囲】
【請求項１】
主音声の電気信号である主音声信号のレベルを検出する主音声信号レベル検出部と、
副音声の電気信号である副音声信号のレベルを検出する副音声信号レベル信号検出部と、
前記主音声および前記副音声の提示方向に関する情報である提示方向情報を設定する提示方向情報設定部と、
前記提示方向情報、前記主音声信号および前記副音声信号に基づいて前記副音声信号レベル検出部で検出された副音声信号レベルを補正する補正部と、
前記主音声信号レベルと前記補正部から出力される補正後副音声レベルに基づいて前記主音声と前記副音声のミキシングバランスの良否度合いを表す表示値を決定する表示値決定部と、
前記表示値を前記主音声信号レベル検出部で検出された主音声信号レベルに応じて表示する表示部と、を備えるミキシングバランス表示装置。
【請求項２】
前記補正部が、
前記主音声の聴取者の左耳で聴取される成分と右耳で聴取される成分との間の相関値を算出する主音声信号相関値算出要素と、
前記副音声の聴取者の左耳で聴取される成分と右耳で聴取される成分との間の相関値を算出する副音声信号相関値算出要素と、
前記主音声信号相関値算出部で算出された主音声信号相関値と前記副音声信号相関値算出部で算出された副音声信号相関値に基づいて相関補正量を算出する相関補正量算出要素と、
前記提示方向情報に基づいて提示方向補正量を算出する提示方向補正量算出要素と、
前記副音声信号レベルに前記相関補正量および前記提示方向補正量を加算して前記補正後副音声信号レベルを算出する補正量加算要素と、を備える請求項１に記載のミキシングバランス表示装置。
【請求項３】
前記表示値決定部が、
前記補正後副音声信号レベルと前記主音声信号レベルのレベル差を算出するレベル差算出要素と、
前記レベル差算出要素で算出されたレベル差を前記主音声信号レベルに応じて重み付けして重み付けレベル差を算出する重み付けレベル差算出要素と、
前記重み付けレベル差算出要素で算出された重み付けレベル差を時間平均して平均レベル差を算出する平均レベル差算出要素と、
前記主音声信号レベルを時間平均して平均主音声信号レベルを算出する平均主音声信号レベル算出要素と、
前記平均レベル差算出要素で算出された平均レベル差と前記平均主音声信号レベル算出要素で算出された平均主音声信号レベルとに基づいて表示値を決定する表示値決定要素と、を備える請求項１または請求項２に記載のミキシングバランス表示装置。
【請求項４】
前記表示部が、
前記主音声信号レベルに基づいて表示制御信号を生成する表示制御信号生成要素と、
前記表示値を前記表示制御信号生成部で生成された表示制御信号の制御のもとに表示する表示要素と、を備える請求項１から請求項３のいずれか一項に記載のミキシングバランス表示装置。
【請求項１】
主音声の電気信号である主音声信号のレベルを検出する主音声信号レベル検出部と、
副音声の電気信号である副音声信号のレベルを検出する副音声信号レベル信号検出部と、
前記主音声および前記副音声の提示方向に関する情報である提示方向情報を設定する提示方向情報設定部と、
前記提示方向情報、前記主音声信号および前記副音声信号に基づいて前記副音声信号レベル検出部で検出された副音声信号レベルを補正する補正部と、
前記主音声信号レベルと前記補正部から出力される補正後副音声レベルに基づいて前記主音声と前記副音声のミキシングバランスの良否度合いを表す表示値を決定する表示値決定部と、
前記表示値を前記主音声信号レベル検出部で検出された主音声信号レベルに応じて表示する表示部と、を備えるミキシングバランス表示装置。
【請求項２】
前記補正部が、
前記主音声の聴取者の左耳で聴取される成分と右耳で聴取される成分との間の相関値を算出する主音声信号相関値算出要素と、
前記副音声の聴取者の左耳で聴取される成分と右耳で聴取される成分との間の相関値を算出する副音声信号相関値算出要素と、
前記主音声信号相関値算出部で算出された主音声信号相関値と前記副音声信号相関値算出部で算出された副音声信号相関値に基づいて相関補正量を算出する相関補正量算出要素と、
前記提示方向情報に基づいて提示方向補正量を算出する提示方向補正量算出要素と、
前記副音声信号レベルに前記相関補正量および前記提示方向補正量を加算して前記補正後副音声信号レベルを算出する補正量加算要素と、を備える請求項１に記載のミキシングバランス表示装置。
【請求項３】
前記表示値決定部が、
前記補正後副音声信号レベルと前記主音声信号レベルのレベル差を算出するレベル差算出要素と、
前記レベル差算出要素で算出されたレベル差を前記主音声信号レベルに応じて重み付けして重み付けレベル差を算出する重み付けレベル差算出要素と、
前記重み付けレベル差算出要素で算出された重み付けレベル差を時間平均して平均レベル差を算出する平均レベル差算出要素と、
前記主音声信号レベルを時間平均して平均主音声信号レベルを算出する平均主音声信号レベル算出要素と、
前記平均レベル差算出要素で算出された平均レベル差と前記平均主音声信号レベル算出要素で算出された平均主音声信号レベルとに基づいて表示値を決定する表示値決定要素と、を備える請求項１または請求項２に記載のミキシングバランス表示装置。
【請求項４】
前記表示部が、
前記主音声信号レベルに基づいて表示制御信号を生成する表示制御信号生成要素と、
前記表示値を前記表示制御信号生成部で生成された表示制御信号の制御のもとに表示する表示要素と、を備える請求項１から請求項３のいずれか一項に記載のミキシングバランス表示装置。
【図１】
【図２】
【図３】
【図４】
【図５】
【図６】
【図７】
【図８】
【図９】
【図１０】
【図１１】
【図１２】
【図１３】
【図２】
【図３】
【図４】
【図５】
【図６】
【図７】
【図８】
【図９】
【図１０】
【図１１】
【図１２】
【図１３】
【公開番号】特開２０１０−２５２０２３（Ｐ２０１０−２５２０２３Ａ）
【公開日】平成２２年１１月４日（２０１０．１１．４）
【国際特許分類】
【出願番号】特願２００９−９８９３２（Ｐ２００９−９８９３２）
【出願日】平成２１年４月１５日（２００９．４．１５）
【出願人】（０００００４３５２）日本放送協会 (2,206)
【出願人】（５９１０５３９２６）財団法人エヌエイチケイエンジニアリングサービス (169)
【Ｆターム（参考）】
【公開日】平成２２年１１月４日（２０１０．１１．４）
【国際特許分類】
【出願日】平成２１年４月１５日（２００９．４．１５）
【出願人】（０００００４３５２）日本放送協会 (2,206)
【出願人】（５９１０５３９２６）財団法人エヌエイチケイエンジニアリングサービス (169)
【Ｆターム（参考）】
[ Back to top ]