ミキシング装置、ミキシング信号処理装置、ミキシングプログラム及びミキシング方法
【課題】従来のミキシング装置は、特定の音源の音量を低下させる等することで、際立たせたい音源の調整を行うため、聴感上不自然である。そこで、他の音源の音量等下げずに際立たせたい音源の明りょう度を上げるミキシング装置を提供することを目的とする。
【解決手段】ミキシング装置１０は、入力信号を周波数領域の信号に変換して、時間周波数平面上の信号データを生成する時間周波数変換部１１ａ，１１ｂと、入力信号の時間周波数平面上でのミキシングを行う信号処理部１５と、時間領域の信号に変換して出力信号を出力する周波数時間変換部２５とを備えている。入力信号のうちの少なくとも１つを、明りょう度を上げるために他の入力信号よりも優先する優先信号に設定する。信号処理部１５が行う優先演算は、優先信号及び／又は非優先信号の振幅及び／又は位相を操作する演算を含む。
【解決手段】ミキシング装置１０は、入力信号を周波数領域の信号に変換して、時間周波数平面上の信号データを生成する時間周波数変換部１１ａ，１１ｂと、入力信号の時間周波数平面上でのミキシングを行う信号処理部１５と、時間領域の信号に変換して出力信号を出力する周波数時間変換部２５とを備えている。入力信号のうちの少なくとも１つを、明りょう度を上げるために他の入力信号よりも優先する優先信号に設定する。信号処理部１５が行う優先演算は、優先信号及び／又は非優先信号の振幅及び／又は位相を操作する演算を含む。
【発明の詳細な説明】
【技術分野】
【０００１】
本発明は、２つ以上の入力信号をミキシングして、ミキシング信号を出力するミキシング装置に関する。
【背景技術】
【０００２】
従来から用いられているミキサは、スタジオ用ミキシングコンソールからアマチュア用ミキサに至るまで、それぞれの入力音声信号の加重和をとることによってミキシングを行うことをその動作の基本としている。加重和で不十分な場合には、エフェクタをミキサの入力及び／又は出力に連結し、線形又は非線形の演算操作を追加することによって、意図する音質や音場感を実現する。楽器音Ａに音声Ｂをミキシングする場合において、ミキシング後にも音声Ｂがはっきり聞き取れるようにするためには、次のような方法がある。
【０００３】
第１の方法は、線形フィルタを用いる方法である。具体的には、エフェクタの一種であるイコライザを用いて、音声Ｂの重要な周波数帯域に対して、楽器音Ａの同一の周波数帯域を減衰させるようにフィルタリングを施すことによって、音声Ｂの聞き取りを楽器音Ａに妨害されないようにする。非特許文献１には、ベースギターとバスドラムのミキシングに関して、ベースギターの音がバスドラムの音によって妨害されないように、バスドラムの音の周波数帯域のうちの２００Ｈｚ付近の帯域を減衰させる方法が記載されている。
【０００４】
第２の方法は、非特許文献２に記載されているｄｕｃｋｅｒと呼ばれる処理系を用いる方法である。ｄｕｃｋｅｒを用いることによって、音声の出力レベルが一定値以上の時間区間、楽器音を一定の減衰量だけ減衰させて、減衰後の楽器音に音声を重ねることによって、音声が楽器音に妨害されずに、これらの音源のミキシングをすることができる。
【０００５】
第２の方法に類似する他の例として、カーステレオで音楽を再生中に、運転者のみに対してナビゲーション装置の音声を際立たせたい場合に、再生している音楽に静音処理して、静音処理した音源にナビゲーションの音声をミキシングするオーディオ音源の静音に関する技術が特許文献１に記載されている。
【先行技術文献】
【特許文献】
【０００６】
【特許文献１】特開２００７−１９９８０号公報
【非特許文献】
【０００７】
【非特許文献１】山内隆義、「ミックス・ダウン研究所」、サウンド＆レコーディング・マガジン、ｐ１４０〜１４１、Ｖｏｌ．２９、Ｍａｒｃｈ２０１０
【非特許文献２】Ｒｏｅｒｙ Ｉｚｈａｋｉ、「Ｍｉｘｉｎｇ Ａｕｄｉｏ」、Ｅｌｓｅｖｉｅｒ、２００８
【発明の概要】
【発明が解決しようとする課題】
【０００８】
線形フィルタを用いて音源信号の周波数帯域を操作する非特許文献１に記載された方法の場合には、エフェクタによって操作した２００Ｈｚ付近のベースギターの音は、聞き取りやすくなる。しかしながら、一方では、２００Ｈｚ付近の周波数帯域がカットされたバスドラムの音は、この周波数帯域付近のエネルギが全演奏時間にわたって欠如してしまい、曲そのものにとってダメージになるとの欠点がある。
【０００９】
ｄｕｃｋｅｒを用いて、際立たせたい音源の入力時に他の音源を減衰させる、時間領域での操作をする非特許文献２に記載された方法の場合には、際立たせたい音源である音声が入力された瞬間に、他の音源である楽器音の音量が低下する。そのため、楽器音に注意を傾けていた聴取者は、ストレスを感じてしまうという欠点がある。
【００１０】
特許文献１に記載されたオーディオ静音装置の場合にも、運転者にとっては、ナビゲーションのガイド音声の出力時には音楽が聞こえなくなり、上述と同様にストレスを感じる欠点がある。
【００１１】
そこで、本発明は、ミキシングされた信号の時間領域においても、周波数領域においても、入力した音源の音量を大幅に変動させることなく、聴取すべき音源の明りょう度が上がり、聞き取りやすくなったと知覚させるミキシング装置を提供することを目的とする。なお、あくまで、ミキシング後の信号において聴取すべき音源の明りょう度が上がったと知覚されるのであって、聴取すべき音源成分そのものの明りょう度が上がるわけではないが、以下では、「聴取すべき音源の明りょう度が上がる」と表現することとする。
【課題を解決するための手段】
【００１２】
本発明の第１の側面であるミキシング装置は、時間領域の２つ以上の入力信号が入力され、入力信号を周波数領域の信号に変換して、時間軸と周波数軸とからなる時間周波数平面上の信号データをそれぞれ生成する時間周波数変換部と、時間周波数平面上の信号データに基づいて演算をすることにより、２つ以上の入力信号の時間周波数平面上でのミキシングを行う信号処理部と、信号処理部の演算結果を入力し、時間領域の信号に変換して出力信号を出力する周波数時間変換部とを備えている。そして、２つ以上の入力信号のうちの少なくとも１つは、明りょう度を上げるために他の入力信号よりも優先する優先信号であり、残りの入力信号は、非優先信号であり、信号処理部が行う演算は、時間周波数平面上の信号データの振幅、位相、遅延量又はこれらの組み合わせのうちのいずれかについて行う、優先信号が非優先信号よりも優先されて、優先信号の明りょう度を上げる優先演算であり、優先演算は、優先信号の振幅を増大させ、非優先信号の振幅を減少させ、非優先信号の位相と優先信号の位相とがそろうように、非優先信号の位相を優先信号の位相に対して遅延させ若しくは進め、又は優先信号の位相を非優先信号の位相に対して遅延させ若しくは進め、又は、これらを組み合わせる演算を含む。
【００１３】
本発明の第２の側面であるミキシング信号処理装置は、時間領域の２つ以上の入力信号を周波数領域の信号に変換して生成された、時間軸と周波数軸とからなる時間周波数平面上の信号データに基づいて演算を行うことによって、２つ以上の入力信号の時間周波数平面上でのミキシングを行いミキシング出力信号を出力する信号処理部を備えている。そして、２つ以上の入力信号のうちの少なくとも１つは、明りょう度を上げるために他の入力信号よりも優先する優先信号であり、残りの入力信号は、非優先信号であり、信号処理部が行う演算は、時間周波数平面上の信号データの位相、遅延量、振幅又はこれらの組み合わせのうちのいずれかについて行う、優先信号が非優先信号よりも優先されて、優先信号の明りょう度を上げる優先演算であり、優先演算は、優先信号の振幅を増大させ、非優先信号の振幅を減少させ、非優先信号の位相と優先信号の位相とがそろうように、非優先信号の位相を優先信号の位相に対して遅延させ若しくは進め、又は優先信号の位相を非優先信号の位相に対して遅延させ若しくは進め、又は、これらを組み合わせる演算を含む。
【００１４】
本発明の第３の側面であるミキシングプログラムは、コンピュータに実行させるためのプログラムである。ミキシングプログラムは、時間領域の２つ以上の入力信号を、周波数領域の信号に変換して、時間軸と周波数軸とからなる時間周波数平面上の信号データを生成するステップと、時間周波数平面上の信号データに基づいて演算をすることにより、２つ以上の入力信号の時間周波数平面上でのミキシングを行いミキシングデータを生成するステップと、ミキシングデータを時間領域の信号に変換して出力信号を出力するステップとをコンピュータに実行させる。そして、２つ以上の入力信号のうちの少なくとも１つは、明りょう度を上げるために他の入力信号よりも優先する優先信号であり、残りの入力信号は、非優先信号であり、ミキシングデータを生成するステップは、信号データを生成するステップにおいて生成された２つ以上の時間周波数平面上の各信号データの位相、遅延量、振幅又はこれらの組み合わせのうちいずれかについて行う、優先信号が非優先信号よりも優先されて、優先信号の明りょう度を上げる優先演算を行うステップを含んでいる。そして、優先演算は、優先信号の振幅を増大させ、非優先信号の振幅を減少させ、非優先信号の位相と優先信号の位相とがそろうように、非優先信号の位相を優先信号の位相に対して遅延させ若しくは進め、又は優先信号の位相を優先信号の位相に対して遅延させ若しくは進め、又は、これらを組み合わせる演算を含む。
【００１５】
本発明の第４の側面であるミキシング方法は、時間周波数変換部によって、時間領域の２つ以上の入力信号を、周波数領域の信号に変換して、時間軸と周波数軸とからなる時間周波数平面上の信号データを生成するステップと、信号処理部によって、時間周波数平面上の信号データに基づいて演算をすることにより、２つ以上の入力信号の時間周波数平面上でのミキシングを行いミキシングデータを生成するステップと、周波数時間変換部によって、ミキシングデータを時間領域の信号に変換して出力信号を出力するステップとを有している。そして、２つ以上の入力信号のうちの少なくとも１つは、明りょう度を上げるために他の入力信号よりも優先する優先信号であり、残りの入力信号は、非優先信号であり、ミキシングデータを生成するステップは、信号データを生成するステップにおいて生成された２つ以上の時間周波数平面上の各信号データの位相、遅延量、振幅又はこれらの組み合わせのうちいずれかについて行う、優先信号が非優先信号よりも優先されて、優先信号の明りょう度を上げる優先演算を行うステップを含んでいる。そして、優先演算は、優先信号の振幅を増大させ、非優先信号の振幅を減少させ、非優先信号の位相と優先信号の位相とがそろうように、非優先信号の位相を優先信号の位相に対して遅延させ若しくは進め、又は優先信号の位相を非優先信号の位相に対して遅延さえ若しくは進め、又は、これらを組み合わせる演算を含む。
【発明の効果】
【００１６】
本発明のミキシング装置、ミキシング信号処理装置、ミキシングプログラム及びミキシング方法によれば、優先信号及び／又は非優先信号の振幅及び／又は位相を操作する優先演算を行うことによって、優先信号の振幅が増大し、非優先信号の振幅が減少し、非優先信号の位相と優先信号の位相とがそろうので、優先信号の明りょう度が上がり、優先信号の音を聞き取りやすくすることができる。
【図面の簡単な説明】
【００１７】
【図１】本発明のミキシング装置の構成例を示すブロック図である。
【図２】時間周波数変換部において周波数変換することによって生成された時間周波数平面と、時間周波数平面上に表わされた信号データの例である。
【図３】本発明のミキシング装置の構成例を示すブロック図であり、優先演算を行うための構成と、優先信号の信号データによって有音判定分布を生成して、生成された有音判定分布に基づいてミキシング出力を制御するための構成とを示す。
【図４】本発明のミキシング装置の構成例を示すブロック図であり、優先演算を行うための構成と、優先信号及び非優先信号の両方の信号データによってそれぞれ有音判定分布を生成して、生成された有音判定分布に基づいてミキシング出力を制御するための構成とを示す。
【図５】本発明のミキシング装置の構成例を示すブロック図であり、優先演算を行うにあたって、位相調整量を制限するための構成と、優先信号の信号データによって有音判定分布を生成して、生成された有音判定分布に基づいてミキシング出力を制御するための構成とを示す。
【図６】本発明のミキシング装置の構成例を示すブロック図であり、優先演算を行うにあたって、信号データの振幅調整量と位相調整量とを時間周波数平面上で滑らかに変化させるための構成と、優先信号の信号データによって有音判定分布及びピーク判定分布を生成して、生成された有音判定分布及びピーク判定分布に基づいてミキシング出力を制御するための構成とを示す。
【図７】本発明のミキシング装置の構成例を示すブロック図であり、優先信号の信号データの位相に信号発生器の出力を加算してゆらぎ等の音響効果を得るための構成と、優先信号の信号データによって有音判定分布を生成して、生成された有音判定分布に基づいてミキシング出力を制御するための構成とを示す。
【図８】本発明のミキシング装置の構成例を示すブロック図であり、フィルタバンクとスマートミキサエレメントとを用いてアナログ領域でミキシング出力を生成する場合の構成例を示す。
【図９】図８のミキシング装置におけるスマートミキサエレメントの構成例を示すブロック図であり、優先演算として、入力信号の振幅に基づいてエネルギの計算することによって、各信号の振幅を制御するための構成例を示す。
【図１０】（Ａ）、（Ｂ）は、図９のスマートミキサエレメントのゲイン決定関数の特性の例を示す。
【図１１】（Ａ）〜（Ｊ）は、ミキシング装置の出力を時間軸上と、時間周波数平面（スペクトログラム）上に出力した例である。
【図１２】本発明のミキシングプログラム及びミキシング方法を説明するためのフローチャートの例であり、優先信号の信号データに基づいて有音判定分布を生成し、有音判定分布に基づいて優先演算を制御してミキシングを行う例である。
【図１３】本発明のミキシングプログラム及びミキシング方法を説明するためのフローチャートの例である。優先演算時には信号データの振幅及び位相の調整量を計算してこれらを滑らかに変化させ、優先信号の信号データによって有音判定分布及びピーク判定分布を生成し、これらに基づいて優先演算を制御して、ミキシングを行う例である。
【発明を実施するための形態】
【００１８】
以下、本発明が適用されたミキシング装置、ミキシング信号処理装置、ミキシングプログラム及びミキシング方法について、図面を参照して説明する。なお、説明は以下の順序で説明する。
【００１９】
１．ミキシング装置
（１）構成
（２）動作原理と具体例
（３）他の具体例
（４）実測例
２．ミキシング信号処理装置
３．ミキシングプログラム
４．ミキシング方法
５．その他、用途等
【００２０】
１．ミキシング装置
（１）構成
図１は、本発明のミキシング装置（以下、スマートミキサともいう。）の構成例を示す図である。ミキシング装置１０は、時間領域の２つの入力信号Ａ（ｎ），Ｂ（ｎ）がそれぞれ入力される時間周波数変換部１１ａ，１１ｂと、時間周波数平面上の信号データのミキシングを行う信号処理部１５とを備える。また、ミキシング装置１０は、周波数領域で生成されたミキシング信号を時間領域の出力信号Ｓ（ｎ）に変換し、出力信号Ｓ（ｎ）を出力する周波数時間変換部２５を備える。
【００２１】
入力信号Ａ（ｎ），Ｂ（ｎ）は、時間周波数変換部１１ａ，１１ｂに入力されて、周波数領域の信号に変換される。時間周波数変換部１１ａ，１１ｂは、短時間高速フーリエ変換（以下、短時間ＦＦＴともいう。）、短時間フーリエ変換、ウェーブレット変換、フィルタバンクによる変換、又はその他の時間周波数分布への周知の変換方法、変換回路等が用いられる。フィルタバンクのフィルタは、アナログフィルタに限らずデジタルフィルタであってもよい。時間周波数変換部１１ａ，１１ｂとして、一般化調和解析、正弦波分解、スパース分解等の周波数の情報を含む成分分解を行う方法に従ってもよく、その他の周知の技術、手法を用いてもよい。
【００２２】
なお、図１においては、ミキシングされるべき入力信号が２つ示されているが、２つの入力信号に限らず、３つあるいはそれ以上あってもよい。入力信号の数に応じて、時間周波数変換部は必要数分だけ用意されてもよく、複数の入力信号を時分割して１つの時間周波数変換部によって処理してもよい。また、例えば入力信号がパケットデータとして取り扱われる等の場合においては、１つの時間周波数変換部によって処理することもできる。
【００２３】
時間周波数変換部１１ａ，１１ｂは、上述したいずれかの技術、方法によって、時間領域の入力信号を、例えばフレームごとに分割した後周波数領域の信号に変換して、時間軸と周波数軸とからなる時間周波数平面上の信号データの分布を生成する。生成された時間周波数平面上の信号データを、図２のように表わすことができる。図２においては、横軸を時間軸とし、縦軸を周波数軸とした。時間軸は、右側から左側に時間の流れの向きをとっており、周波数軸は、下から上に向かって周波数が高くなる向きとした。時間周波数平面上の座標を（ｉ，ｋ）と表わすと、座標（ｉ，ｋ）にある信号データをＸ［ｉ，ｋ］と表わすことができる。信号データを離散データとして扱う場合には、Ｘ［ｉ，ｋ］との表記は、時間軸上のｉ番目であって周波数軸上のｋ番目である信号データを表わす。なお、時間周波数平面上の信号データと言ったときに、すべての時間分の信号データを特定の時刻において一括してもっている必要はなく、一定時間累積したときに、時間周波数平面上の信号データとなっているものを含む。例えば、入力信号をリアルタイムで入力した場合には、変換された信号データは、変換処理が開始された時刻から、バッファに蓄積され、バッファ内の蓄積データは、古い信号データから廃棄されてもよい。
【００２４】
時間周波数平面上の各信号データＸ［ｉ，ｋ］は、信号処理部１５に入力される。信号処理部１５は、信号データＸ［ｉ，ｋ］を、時間周波数平面上での演算によってミキシングし、時間周波数平面上でのミキシング出力を生成する。
【００２５】
信号処理部で生成されたミキシング出力は、周波数時間変換部２５に入力される。周波数時間変換部２５は、ミキシング出力を、時間領域の信号に変換して出力信号Ｓ（ｎ）として出力する。周波数領域の信号を時間領域の信号に変換するのには、高速フーリエ逆変換等の周知の変換方法、変換回路等によって実現することができる。時間周波数変換部１１ａ，１１ｂにおいて用いた変換方法に対応した逆変換方法を用いることが好ましい。
【００２６】
（２）動作原理と具体例
時間領域の２つの入力信号のうち１つをＡ（ｎ）とし、他方をＢ（ｎ）とする。入力信号Ａ（ｎ）をエレキギターのような音量の大きな楽器とし、入力信号Ｂ（ｎ）を音声として、単純にこれらの信号を加算すると、大きな音量の楽器が鳴っている間は、音声を聞き取るのが困難になる。そこで、本発明のミキシング装置においては、２つ以上の入力信号のうちの少なくとも１つの信号について、明りょう度を上げるために他の信号に対して優先した信号である優先信号としてあらかじめ設定し、他の信号を非優先信号に設定する。そして、時間周波数平面上において各信号データの振幅及び位相をそれぞれ演算操作する優先演算を実行することによって、優先信号の明りょう度を上げて、非優先信号に優先信号が埋もれないようにすることを可能にする。例えば、音声を優先信号に設定し、エレキギターの音を非優先信号に設定することによって、従来技術においてはエレキギターの音に埋もれて聞き取れない音声を聞き取れるようにする。
【００２７】
入力信号Ａ（ｎ）（例えばエレキギターの音）を非優先信号とし、入力信号Ｂ（ｎ）（例えば音声）を優先信号とする。そして、入力信号Ａ（ｎ）が入力される時間周波数変換部１１ａによって生成される時間周波数平面上の座標（ｉ，ｋ）における信号データをＸＡ［ｉ，ｋ］とする。同様にして、入力信号Ｂ（ｎ）が入力される時間周波数変換部１１ｂによって生成される時間周波数平面上の座標（ｉ，ｋ）における信号データをＸＢ［ｉ，ｋ］とする。信号データＸＡ［ｉ，ｋ］及びＸＢ［ｉ，ｋ］は、それぞれ振幅ＲＡ［ｉ，ｋ］及びＲＢ［ｉ，ｋ］と位相φＡ［ｉ，ｋ］及びφＢ［ｉ，ｋ］とからなる複素数として表現できる。すなわち、
【００２８】
【数１】
【００２９】
【数２】
【００３０】
と表わすことができる。
【００３１】
入力信号Ａ（ｎ）と入力信号Ｂ（ｎ）とを任意に設定できる加重ＷＡ：ＷＢで単純加算すると、ミキシング後の出力信号Ｓ（ｎ）は、
【００３２】
【数３】
【００３３】
となり、これを時間周波数平面上の信号データとして表現し、式（１）、（２）を代入すると、時間周波数平面上でのミキシング出力ＸＳ［ｉ，ｋ］を以下のように表わすことができる。
【００３４】
【数４】
【００３５】
ここで、２つの信号の位相が１８０度程度ずれていると、互いの信号が打ち消し合ってしまい、振幅の小さい信号は、振幅の大きい信号に埋もれてしまうことになる。あるいは、振幅の大きさが同程度であるときには、お互いの信号の音量が低下してしまう。そこで、２つの信号の位相の一方又は両方を強制的にずらして、信号の打ち消し合いを防止する。具体的には、非優先信号の信号データＸＡ［ｉ，ｋ］の位相を優先信号の信号データＸＢ［ｉ，ｋ］の位相にそろえるために、０＜β＜１の定数を定め、βに関して位相の加重和をとる。更に、非優先信号の信号データＸＡ［ｉ，ｋ］の振幅を調整するために、０＜α＜１の定数を定め、非優先信号の信号データＸＡ［ｉ，ｋ］の振幅に乗ずる。これらによって、ミキシング出力の信号データＸＳ［ｉ，ｋ］を、次のように表わすことができる。
【００３６】
【数５】
【００３７】
ここで、φＢとφＡに関して、β：（１−β）の加重平均を計算しているが、位相には２πの周期性があるので、加重平均は、この周期性を考慮した特別なものを意味していることは言うまでもない。すなわち、文字通りこの計算をするのではなく、単位円上の偏角φＢの点Ｂと、偏角φＡの点Ａの両点を結ぶ２つの円弧のうち短い方の円弧をβ：（１−β）で内分する点Ｃの偏角をもって、加重平均された角度とする。式（５）においては、この計算を便宜的に加重平均の式として表現したものである。位相の演算に関しては、以下の記載について同様とする。
【００３８】
なお、優先信号に設定した信号データＸＢ［ｉ，ｋ］については、振幅、位相とも演算操作をしていないので、位相と振幅に分解した表現を用いていない。
【００３９】
βを上述の範囲内で、１に近く設定することによって、非優先信号の信号データＸＡ［ｉ，ｋ］の位相は、優先信号の信号データＸＢ［ｉ，ｋ］の位相に近づくことになる。また、αを上述の範囲内で、１に近く設定することによって、信号データＸＡ［ｉ，ｋ］の振幅が目立って小さくなることはなく、聴取者がストレスを感じるような音量の低下とはならない。
【００４０】
かくして、優先信号に設定された信号データＸＢ［ｉ，ｋ］は、非優先信号に設定された信号データＸＡ［ｉ，ｋ］によって打ち消されることなく、明りょう度を向上させることができるので、優先信号の音の聞き取りが可能になる。
【００４１】
上述では、非優先信号の信号データＸＡ［ｉ，ｋ］の振幅及び位相に優先演算の操作を施したが、信号データＸＡ［ｉ，ｋ］には操作をせずに、優先信号の信号データＸＢ［ｉ，ｋ］の振幅及び位相のみに優先演算の操作を施すこともできる。優先信号の信号データＸＢ［ｉ，ｋ］の振幅及び位相に操作を施す場合には、信号データＸＢ［ｉ，ｋ］の振幅を調整するために、γ＞１となる定数γを定め、優先信号の振幅に乗ずる。また、信号データＸＢ［ｉ，ｋ］の位相を信号データＸＡ［ｉ，ｋ］の位相にそろえるために、０＜η＜１となる定数ηを定め、ηに関して位相の加重和をとる。したがって、ミキシング出力ＸＳ’［ｉ，ｋ］は、以下のように表わされる。
【００４２】
【数６】
【００４３】
このように、優先信号又は非優先信号のいずれかについて信号データの振幅及び／又は位相に操作を施すことに限らず、すべての信号データの振幅及び位相に操作を施すこともできる。その場合のミキシング出力ＸＳ’’［ｉ，ｋ］は次のようになる。
【００４４】
【数７】
【００４５】
優先演算のための係数α、β、γ、η等の値については、任意に設定することができ、固定値とするばかりでなく、ミキシングを行いながら、楽曲の進行に合わせて、ミキサ操作者の意図に応じた操作をすることができる。また、係数α、β、γ、η等の値をいわゆるオートメーション機能によって時系列的に変化させることもできる。２つ以上の優先信号を設定する場合には、入力信号ごとに設定し、時々刻々変化させることもできる。なお、係数α、β、γ、η等の値を任意に操作することによって、振幅及び位相の両方を操作するのに限らず、振幅又は位相の操作のいずれか一方のみを行うこともできる。
【００４６】
上述した優先演算を、すべての座標（ｉ，ｋ）について行い、生成された時間周波数平面上のミキシング出力について、周波数時間変換部２５によって時間領域の信号に変換し、所望の出力信号Ｓ（ｎ）を得ることができる。
【００４７】
非優先信号の信号データの位相を優先信号の信号データの位相にそろうように操作し、信号データの振幅を調整することによって、優先信号が非優先信号に打ち消されることはない。そのため、優先信号の音量を大幅に増大させることなく、非優先信号の音量を大幅に減少させることなく、優先信号の音の明りょう度を上げて、聞き取りを可能にする。
【００４８】
入力信号のデータは、楽曲や音声のすべてのデータをファイルとして入力してもよく、マイクや、アンプ等を介してリアルタイムの入力信号のデータとして入力してもよい。あるいは、入力信号のデータをパケットデータにしてパケットごとに入力してもよく、パケットを更に分割して入力してもよい。
【００４９】
なお、後述するミキシングプログラムによって、上述したミキシング装置の機能をソフトウェア的に実現することもできる。
【００５０】
（３）他の具体例
（ａ）具体例１
上述したスマートミキサの場合には、優先信号及び／又は非優先信号の信号データの振幅及び位相に優先演算の操作を施すので、その信号データは、元の音の信号データとは異なる。そのため、優先演算の程度によっては、生成されたミキシング出力の音質が劣化する場合がある。
【００５１】
楽器音や音声等の入力信号は、時間周波数平面上で信号データのエネルギが局在化している場合が多いことを利用して音質の劣化を軽減する原理と構成について、以下に説明する。
【００５２】
優先信号のうち、時間周波数平面上でエネルギの低い成分については、そもそも必要な成分ではないので、他の信号データから妨害されて害が生じるという心配はない。そこで、エネルギの高い信号データについてのみ上述した優先演算を行い、エネルギが低い信号データについては単純加算を行うことによって、全体の信号データのうち優先演算を行う信号データの割合を少なくすることができるので、より元の音に近い信号出力を得ることができ、音質の向上が可能となる。
【００５３】
時間周波数平面上でエネルギが集中している領域内においても、特定の点で偶発的にエネルギの値が０になることがあるので、各信号データについて、エネルギの大小によって優先演算の可否を判定すると多くの場合には問題が生ずる。そこで、演算対象となる時間周波数平面上での信号データの近傍領域においてエネルギの最大値を探索し、あらかじめ設定したしきい値と比較することによって、音が存在するか否かを表わす有音判定を計算して、有音判定分布を生成する。そして、有音判定分布にしたがって、有音と判定された座標の信号データに関して、優先演算を行い、他の場合には単純加算を行う。
【００５４】
図２に示すような時間周波数平面上の座標（ｉ，ｋ）に関して、時間軸上で未来の方向へｍ１の広がりをもち、過去の方向へｍ２の広がりをもち、周波数軸上で高周波数の方向へｎ１の広がりをもち、低周波数の方向へｎ２の広がりをもつ近傍領域Ｕを考える。近傍領域Ｕ内の任意の座標を（ｇ，ｈ）とし、座標（ｇ，ｈ）における信号データＸ［ｇ，ｈ］の振幅の２乗の最大値を近傍領域Ｕ内にわたって探索する。そして、その｜Ｘ［ｇ，ｈ］｜２の最大値があらかじめ定めたしきい値ＴＱ［ｋ］以上のときに、時間周波数平面上の有音判定分布Ｑ［ｉ，ｋ］＝１とする。それ以外のときにＱ［ｉ，ｋ］＝０とする。これを式で表わすと次のようになる。
【００５５】
【数８】
【００５６】
座標（ｉ，ｋ）すべてにわたって上述の計算をすることによって、時間周波数平面上の有音判定分布を得ることができる。
【００５７】
なお、上述では、拡がりｍ１，ｍ２，ｎ１，ｎ２によって座標（ｉ，ｋ）に関する近傍領域の形状を方形状に設定したが、これらの拡がりは、音楽の進行に合わせて、時間ｉに依存して変化させてもよく、また人間の聴覚のマスキング特性に合わせて、周波数ｋに依存して変化させてもよい。更に、近傍領域の形状は方形状に限らず、台形状であってもよく、円形、楕円形あるいは三角形等のさまざまな形状とすることができる。そして、単一の入力信号に対して近傍領域Ｕのパラメータｍ１，ｍ２，ｎ１，ｎ２を変えることで複数の有音判定分布Ｑ［ｉ，ｋ］を生成してもよい。
【００５８】
なお、時間周波数平面上のある点における近傍領域は、時間周波数平面においてその点から所定の範囲にある領域に限定されず、その点で表される音の倍音成分を表す点から所定の範囲にある領域を含んでいてもよい。
【００５９】
有音判定分布Ｑ［ｉ，ｋ］の判定条件として、上述した信号データＸ［ｇ，ｈ］のエネルギの最大値を用いるばかりでなく、近傍領域Ｕ内の信号データのエネルギの平均値又は信号データの振幅の平均値等を用いることもできる。また、上式のように２値化せず、Ｑ［ｉ，ｋ］を、例えば信号データのエネルギの最大値に応じた連続量として定義してもよい。Ｑ［ｉ，ｋ］を連続量として定義する場合には、Ｑ［ｉ，ｋ］をエネルギや振幅と線形関係にある量として定義するだけでなく、非線形な関係の関数として定義してもよい。更に、Ｑ［ｉ，ｋ］を最大値や平均値で近傍領域Ｕ内を評価する場合には、例えば時間周波数平面上での座標（ｉ，ｋ）からの距離に応じて重み付けをしてもよい。また、人間の聴覚特性におけるマスキング効果のデータに基づいて、時間周波数平面上での近傍の距離やしきい値を決めてもよい。しきい値ＴＱ［ｋ］は、あらかじめ設定した固定値であってもよく、入力信号強度又は出力信号強度に適応させて可変させる可変値としてもよい。スマートミキサの操作者が手動で調整することとしてもよい。
【００６０】
有音判定分布Ｑ［ｉ，ｋ］＝１、すなわち有音と判定した場合には、時間周波数平面上での信号データの振幅及び位相を操作する優先演算を行い、有音判定分布Ｑ［ｉ，ｋ］＝０の場合には、信号データの振幅及び位相の操作を行わず単純加算を行う。このようにすることによって、明りょう度を上げたい入力信号の音を他の入力信号の音に埋もれさせることなくミキシングするとともに、それぞれの信号について、音質の劣化を最小限に抑えたミキシングを可能にする。
【００６１】
図３、４には、有音判定の機能をもたせたスマートミキサの構成例をブロック図で示す。
【００６２】
図３に示すミキシング装置１０は、入力信号Ａ（ｎ）を非優先信号に、入力信号Ｂ（ｎ）を優先信号に設定している。時間領域の２つの入力信号Ａ（ｎ），Ｂ（ｎ）は、それぞれ時間周波数変換部１１ａ，１１ｂに入力される。入力された入力信号は、時間周波数変換部１１ａ，１１ｂで短時間高速フーリエ変換等の周知の変換方法によって周波数領域の信号に変換され、時間軸と周波数軸とからなる時間周波数平面上の信号データＸＡ［ｉ，ｋ］，ＸＢ［ｉ，ｋ］が生成される。信号データＸＡ［ｉ，ｋ］，ＸＢ［ｉ，ｋ］は、信号処理部１５内の係数器１６ａ，１６ｂにそれぞれ入力される。係数器１６ａ，１６ｂは、入力された信号データＸＡ［ｉ，ｋ］，ＸＢ［ｉ，ｋ］を、それぞれＷＡ倍、ＷＢ倍する。係数器１６ａ，１６ｂは、それぞれ振幅／位相演算部１７ａ，１７ｂに接続される。振幅／位相演算部１７ａ，１７ｂでは、信号データＸＡ［ｉ，ｋ］，ＸＢ［ｉ，ｋ］の振幅及び位相をそれぞれ別々に演算する。係数器１６ａから出力されたＷＡ倍された信号データＸＡ［ｉ，ｋ］については、その振幅ＲＡ［ｉ，ｋ］があらかじめ設定された定数αによってα倍され、その位相φＡ［ｉ，ｋ］は、あらかじめ設定された定数βによって（１−β）倍される。係数器１６ｂから出力された信号データＸＢ［ｉ，ｋ］は、振幅／位相演算部１７ｂにおいて、その位相φＢ［ｉ，ｋ］があらかじめ設定された定数βによってβ倍される。振幅ＲＢ［ｉ，ｋ］については、操作を行わない。振幅／位相演算部１７ａ，１７ｂで演算された位相を加算器１８によって加算し、その加算結果とα倍された振幅ＲＡ［ｉ，ｋ］とを複素数演算部１９に入力して、式（９）の優先演算の結果を得る。
【００６３】
【数９】
【００６４】
優先信号に設定された入力信号Ｂ（ｎ）に関して有音判定を行い、有音と判定した場合に、上述の優先演算を行い、無音と判定した場合には、単純加算を行う。入力信号Ｂ（ｎ）側の有音判定に関して、有音判定部２１でＱＢ［ｉ，ｋ］＝１の場合に、優先演算制御部２０によって、複素数演算部１９の出力と係数器１６ｂの出力とを加算器２２により加算して周波数時間変換部２５にミキシング出力として出力する。有音判定部２１でＱＢ［ｉ，ｋ］＝０の場合には、優先演算制御部２０は、優先演算の結果を出力せず、２つの係数器１６ａ，１６ｂの出力をそのまま加算してミキシング出力とし、周波数時間変換部２５に出力する。ミキシング出力は、次式で表わされる。
【００６５】
【数１０】
【００６６】
図３に示すスマートミキサの構成例では、優先信号側のみについて有音判定を行ったが、図４に示すスマートミキサの構成例においては、優先信号側と非優先信号側の両方について有音判定を行う。
【００６７】
図４に示すスマートミキサの構成例においては、図３の構成例と同様に、非優先信号を入力信号Ａ（ｎ）とし、優先信号を入力信号Ｂ（ｎ）とする。時間領域の２つの入力信号Ａ（ｎ），Ｂ（ｎ）は、それぞれ時間周波数変換部１１ａ，１１ｂに入力される。入力信号は、時間周波数変換部１１ａ，１１ｂにおいて短時間ＦＦＴによって周波数領域の信号に変換されて、時間軸と周波数軸とからなる時間周波数平面上の信号データＸＡ［ｉ，ｋ］，ＸＢ［ｉ，ｋ］が生成される。信号データＸＡ［ｉ，ｋ］，ＸＢ［ｉ，ｋ］は、信号処理部１５内の係数器１６ａ，１６ｂにそれぞれ入力される。係数器１６ａ，１６ｂは、入力された信号データＸＡ［ｉ，ｋ］，ＸＢ［ｉ，ｋ］を、それぞれＷＡ倍、ＷＢ倍する。係数器１６ａ，１６ｂは、それぞれ振幅／位相演算部１７ａ，１７ｂに接続される。振幅／位相演算部１７ａ，１７ｂでは、優先演算のために、信号データＸＡ［ｉ，ｋ］，ＸＢ［ｉ，ｋ］の振幅及び位相をそれぞれ別々に演算する。係数器１６ａから出力された信号データＸＡ［ｉ，ｋ］については、その振幅ＲＡ［ｉ，ｋ］があらかじめ設定された定数αによってα倍され、その位相φＡ［ｉ，ｋ］があらかじめ設定された定数βによって（１−β）倍され、定数βとは独立に予め設定された定数ηによってη倍される。係数器１６ｂから出力された信号データＸＢ［ｉ，ｋ］は、振幅／位相演算部１７ｂにおいて、その振幅があらかじめ設定された定数γでγ倍され、その位相φＢ［ｉ，ｋ］があらかじめ設定された定数βによってβ倍され、更にあらかじめ設定された定数ηによって（１−η）倍される。振幅／位相演算部１７ａで（１−β）倍された位相φＡと振幅／位相演算部１７ｂでβ倍された位相φＢとを加算器１８ａによって加算し、α倍された振幅とともに複素数演算部１９ａに入力して複素数化する。同様に、振幅／位相演算部１７ｂでη倍された位相φＡと振幅／位相演算部１７ｂで（１−η）倍された位相φＢとを加算器１８ｂによって加算し、γ倍された振幅とともに複素数演算部１９ｂに入力して複素数化する。これら優先演算された結果は、入力信号Ａ（ｎ）側が以下の式（１１）、入力信号Ｂ（ｎ）側が式（１２）のように表わされる。
【００６８】
【数１１】
【００６９】
【数１２】
【００７０】
非優先信号に設定された入力信号Ａ（ｎ）及び優先信号に設定された入力信号Ｂ（ｎ）それぞれに関して有音判定を行う。入力信号Ａ（ｎ）側、Ｂ（ｎ）側とも有音と判定した場合、すなわちＱＡ［ｉ，ｋ］＝ＱＢ［ｉ，ｋ］＝１の場合、優先演算制御部２０ａ，２０ｂによって、優先演算の結果である式（１１）と式（１２）とを加算器２２を介して加算してミキシング出力を得る。入力信号Ａ（ｎ）側が無音で、入力信号Ｂ（ｎ）側が有音と判定された場合、すなわちＱＡ［ｉ，ｋ］＝０，ＱＢ［ｉ，ｋ］＝１の場合には、優先演算制御部２０ａ，２０ｂによって、式（１１）の値と係数器１６ｂの出力とを加算する。入力信号Ａ（ｎ）側が有音で、入力信号Ｂ（ｎ）側が無音と判定された場合、すなわちＱＡ［ｉ，ｋ］＝１，ＱＢ［ｉ，ｋ］＝０の場合には、優先演算制御部２０ａ，２０ｂによって、係数器１６ａの出力と式（１２）の値とを加算する。入力信号Ａ（ｎ）側、Ｂ（ｎ）側とも無音と判定した場合、すなわちＱＡ［ｉ，ｋ］＝ＱＢ［ｉ，ｋ］＝０の場合には、優先演算制御部２０ａ，２０ｂによって係数器１６ａ，１６ｂの出力を加算する単純加算をしてミキシング出力を得る。これらをまとめると、式（１３）のようになる。
【００７１】
【数１３】
【００７２】
加算器２２から出力されるミキシング出力は、周波数時間変換部２５によって、時間領域のミキシング出力として出力される。
【００７３】
優先演算の係数α、β、γ、η等は、固定値としてもよく、ミキシングをしながら調整をしてもよいのは上述したのと同様である。また、有音判定分布を連続量として、その連続量にこれらの優先演算のパラメータを線形又は非線形に関連付けして連続的に変化させてもよい。
【００７４】
図３の場合においては、優先信号側のみについて有音判定分布を生成し、図４の構成例では、優先信号、非優先信号とも有音判定分布を生成したが、これ以外にも、非優先信号側のみに有音判定分布を生成するように構成することも可能である。
【００７５】
なお、いずれの場合においても、優先信号と非優先信号の設定については、固定でなければならないということはなく、時系列的に相互に切り替えてもよく、周波数に応じて切り替えるようにしてもよい。例えば図４に示すように対称的な構成とすることによって、時間周波数平面上の領域に応じて優位なエネルギを有している側の音を、その領域において優先信号とし、他の領域においてエネルギが劣勢になった場合に非優先信号に切り替える、といった制御も可能である。また、３つ以上の入力信号がある場合においても、優先信号と非優先信号とを任意に切り替えて使用することもできる。
【００７６】
上述した有音判定分布を生成することによって、有音でないと判定された場合には、単純に加算すればよいので、ミキシング装置の計算負担が減少し、かつ優先演算に伴う信号波形の歪みに起因する音質の劣化も改善することができる。
【００７７】
（ｂ）具体例２
上述した具体例１の場合には、有音判定を行い、有音と判定された場合にのみ時間周波数平面上の信号データについて優先演算を行った結果を出力し、その他の場合には、優先演算を行わず単純加算のための出力をする。これによって、信号波形の歪みを向上させるものであるが、入力信号の位相を強制的に変更するものであることに変わりはなく、ミキシングした出力信号の音を聞いたときに聴感上の不自然さを生じてしまうことがある。
【００７８】
そこで、優先演算前の信号データの位相と優先演算後の信号データの位相の差を位相調整量として、位相調整量に上限を設けることによってこの不自然感を低減することを考慮したスマートミキサの構成について以下に説明する。
【００７９】
時間周波数平面上の座標（ｉ，ｋ）における入力信号Ａ（ｎ）側の信号データＸＡ［ｉ，ｋ］に対する位相調整量をδ［ｉ，ｋ］と表わすこととし、時刻ｉ−１において位相調整が完了しており、そのときの位相調整量をδ［ｉ−１，ｋ］とする。ここで、位相調整量に上限以上の差が生じないように、あらかじめ定めた一定の値μで出力が飽和する関数Ｓａｔを以下のように定義する。
【００８０】
【数１４】
【００８１】
そうすると、位相調整量δ［ｉ，ｋ］を次式で表わすことができる。
【００８２】
【数１５】
【００８３】
式（１５）の関係を導入して、信号データＸＡ［ｉ，ｋ］に対して優先演算を行った結果は、以下のようになる。
【００８４】
【数１６】
【００８５】
図５は、式（１５）によって計算される優先演算の結果を、入力信号Ｂ（ｎ）側についてのみ行う有音判定にしたがって出力するスマートミキサの構成例を示すブロック図である。
【００８６】
図５に示すミキシング装置１０は、図３及び４の場合と同様に、入力信号Ａ（ｎ）を非優先信号に、入力信号Ｂ（ｎ）を優先信号に設定している。時間領域の２つの入力信号Ａ（ｎ），Ｂ（ｎ）はそれぞれ時間周波数変換部１１ａ，１１ｂに入力される。入力信号は、時間周波数変換部１１ａ，１１ｂで短時間ＦＦＴ等によってフレームごとに周波数領域の信号に変換されて、時間軸と周波数軸とからなる時間周波数平面上の信号データＸＡ［ｉ，ｋ］，ＸＢ［ｉ，ｋ］が生成される。信号データＸＡ［ｉ，ｋ］，ＸＢ［ｉ，ｋ］は、信号処理部１５内の係数器１６ａ，１６ｂにそれぞれ入力される。係数器１６ａ，１６ｂは、入力された信号データＸＡ［ｉ，ｋ］，ＸＢ［ｉ，ｋ］を、それぞれＷＡ倍、ＷＢ倍する。係数器１６ａ，１６ｂは、それぞれ振幅／位相演算部１７ａ，１７ｂに接続される。振幅／位相演算部１７ａ，１７ｂでは、信号データＸＡ［ｉ，ｋ］，ＸＢ［ｉ，ｋ］の振幅及び位相をそれぞれ別々に演算する。入力信号Ａ（ｎ）側の位相φＡ［ｉ，ｋ］と入力信号Ｂ（ｎ）側の位相φＢ［ｉ，ｋ］との差分を加減算器２３によって求め、その結果を係数器２４によってβ倍する。β倍された位相の差分は、加減算器２６によって、位相調整量格納部２７に格納されている現時点の直前の時刻における位相調整量δ［ｉ−１，ｋ］との差分をとって、リミッタ２８に入力される。リミッタ２８の出力と位相調整量δ［ｉ−１，ｋ］とは加算器２９によって加算され、更に加算器３０によってφＡ［ｉ，ｋ］と加算される。以上で求められた位相と入力信号Ａ（ｎ）側の振幅ＲＡ［ｉ，ｋ］とにより複素数演算部１９において複素数化される。
【００８７】
優先信号に設定された入力信号Ｂ（ｎ）に関して有音判定を行い、有音と判定した場合に、式（１７）によって優先演算の結果を出力し、有音でないと判定した場合には、単純加算を行う。これを実現するために、有音判定部２１でＱＢ［ｉ，ｋ］＝１の場合に、優先演算制御部２０によって、複素数演算部１９の出力と係数器１６ｂの出力とを加算器２２により加算して周波数時間変換部２５にミキシング出力として出力する。有音判定部２１でＱＢ［ｉ，ｋ］＝０の場合には、優先演算制御部２０は、優先演算の結果を出力せず、２つの係数器１６ａ，１６ｂの出力をそのまま加算してミキシング出力とし、周波数時間変換部２５に出力する。ミキシング出力は、次式で表わされる。
【００８８】
【数１７】
【００８９】
なお、リミッタ２８の関数として、上述した式（１４）を用いるほかに、滑らかな非線形関数を用いることももちろん可能である。また、式（１６）を算出するにあたり、時間軸方向の位相調整量のみを考慮したが、これに代えて周波数軸方向の位相調整量として、δ［ｉ，ｋ］とδ［ｉ，ｋ−１］とを用いることもでき、時間軸方向及び周波数軸方向の両方を位相調整量に関して制限を与えることももちろん可能である。
【００９０】
上述した具体例１等と同様に優先演算のパラメータα，β等については、任意に設定でき、調整してもよい。また、有音判定分布の生成についても、非優先信号側のみについて生成するようにしてもよく、優先信号、非優先信号の両方について生成するようにしてよいのも上述と同様である。
【００９１】
リミッタ２８を導入することによって、優先演算に伴う位相調整量の上限値を制限することができ、音の不自然感が減少しミキシング出力の音質の改善が図られる。
【００９２】
（ｃ）具体例３
具体例１、２において説明したように、有音判定分布Ｑ［ｉ，ｋ］を用いることで、時間周波数平面上での有音か否かに応じて、優先演算出力か単純加算出力かを選択し、より自然で音質の良いミキシング出力を得ることができる。
【００９３】
しかしながら、有音判定分布Ｑ［ｉ，ｋ］において、有音と判定される領域が時間周波数平面上で大きなかたまりとなってしまうことがある。この大きなかたまり全体に基づいて位相調整が行われると、有音判定を行わないことと変わらないこととなり、調整された方の信号が、大きく劣化してしまう場合がある。
【００９４】
そこで、時間周波数平面上で、注目している座標の信号データのエネルギと、周波数軸上の両側に隣接する座標に対応する信号データのエネルギとを比較する。そして、よりエネルギが集中している領域を探索することによって、有音判定分布よりも更に限定された領域を選定することができる。この領域を中心として振幅及び位相の操作を行うことによって、音質の劣化のより少ないスマートミキサを実現することができる。
【００９５】
上述した領域を、ピーク判定分布Ｐ［ｉ，ｋ］とすると、Ｐ［ｉ，ｋ］は、時間周波数平面上の信号データを、上述と同様にＸ［ｉ，ｋ］として、以下のように表わすことができる。
【００９６】
【数１８】
【００９７】
ピーク判定分布Ｐ［ｉ，ｋ］を生成するのに、上述した信号データの振幅を用いるのではなく、信号データの位相変化を用いることもできる。時間周波数変換部１１ａ、１１ｂにおいて行う周波数変換として短時間ＦＦＴを行う場合に、フレームシフト点数をＮＳＦＴ、ＦＦＴ点数をＮＦＦＴとする。信号データが周波数ｂｉｎ番号ｋにエネルギ中心をもつ成分を含むとすると、この成分に対し、時刻ｉ−１と時刻ｉの間においては、２πｋＮＳＦＴ／ＮＦＦＴだけの位相変化を生ずる。そうすると、位相変化の差φ１［ｉ，ｋ］は、一般的には以下のように表わされる。
【００９８】
【数１９】
【００９９】
ここで、周波数ｂｉｎ番号ｋにエネルギ中心をもつ成分が存在する場合には、φ1［ｉ，ｋ］＝０となる。周波数ｂｉｎ番号ｋよりも低いところにエネルギ中心があるときにはφ1［ｉ，ｋ］＜０となり、エネルギ中心が周波数ｂｉｎ番号ｋよりも高いところにあるときには、φ1［ｉ，ｋ］＞０となる。以上より、ピーク判定分布Ｐ［ｉ，ｋ］は以下のように表わされる。
【０１００】
【数２０】
【０１０１】
ピーク判定分布Ｐ［ｉ，ｋ］の生成には、信号データの振幅に基づく方法を用いてもよく、信号データの位相に基づく方法を用いてもよく、両方とも用いてもよい。
【０１０２】
なお、時間周波数平面上では、調波構造を有しない信号の部分や白色雑音に類似したスペクトル構造を有する部分において、上述したピーク判定分布を生成すると、非常に敏感にピークが検出されてしまい、好ましくない場合がある。これは、ピーク判定分布Ｐ［ｉ，ｋ］を、信号データの振幅に基づいて生成する場合であっても、位相に基づいて生成する場合であっても、同様である。そこで、以下の方法で、このような好ましくないピーク検出をスクリーニングすることが可能である。
【０１０３】
振幅に基づくピーク判定分布Ｐ［ｉ，ｋ］に対して、振幅に基づくディップ判定分布Ｄ［ｉ，ｋ］を以下のように定義する。
【０１０４】
【数２１】
【０１０５】
座標（ｉ，ｋ）に関して、時間軸上で未来の方向へＶＤの広がりをもち、過去の方向へＶＤの広がりをもち、周波数軸上において、高周波数の方向へＷＤの広がりをもち、低周波数の方向へＷＤの広がりをもつ時間周波数平面上の領域ＵＤを考える。同様に、座標（ｉ，ｋ）に関して、時間軸上で未来の方向へＶＰの広がりをもち、過去の方向へＶＰの広がりをもち、周波数軸上において、高周波数の方向へＷＰの広がりをもち、低周波数の方向へＷＰの広がりをもつ時間周波数平面上の領域ＵＰを考える。そして、領域ＵＤ内でＤ［ｉ，ｋ］＝１となる座標が１つも存在せず、かつ領域ＵＰ内でＰ［ｉ，ｋ］＝１となる座標の個数が０．８×（２ＶＰ＋１）個以上存在するときにピーク判定分布Ｐ［ｉ，ｋ］を採用する条件とする。これによって、好ましくないピーク検出を排除することができる。なお、これらの条件については、上述に限らず任意に設定することができるのは言うまでもない。
【０１０６】
位相に基づくピーク判定分布Ｐ［ｉ，ｋ］の場合には、ディップ判定分布Ｄ［ｉ，ｋ］も位相に基づいて定義して用いる。
【０１０７】
【数２２】
【０１０８】
このようにして、振幅に基づく場合と同様に、ピーク判定分布をスクリーニングすることが可能である。
【０１０９】
なお、このようなスクリーニングの実施の有無にかかわらず、時間周波数平面上でピークと判定される点は、非常に疎である。そこで、好ましくは、以下の式（２３）のようなモルフォロジ的操作によってピーク判定点の近傍領域内の点を、ピーク判定してもよい。
【０１１０】
【数２３】
【０１１１】
近傍領域Ｕは、任意に設定することができるのは言うまでもない。
【０１１２】
図６には、有音判定とピーク判定の機能をもたせたスマートミキサの構成例のブロック図を示す。
【０１１３】
図６に示すミキシング装置１０は、図３〜５の場合と同様に、入力信号Ａ（ｎ）を非優先信号に、入力信号Ｂ（ｎ）を優先信号に設定している。入力信号Ｂ（ｎ）側の時間周波数平面上の信号データについて、有音判定部２１において、上述した具体例で詳細に説明した有音判定分布ＱＢ［ｉ，ｋ］を生成し、ピーク判定部３４において、上述したピーク判定分布ＰＢ［ｉ，ｋ］を生成する。そして、有音判定分布ＱＢ［ｉ，ｋ］とピーク判定分布ＰＢ［ｉ，ｋ］との論理積をＰＱＢ［ｉ，ｋ］とすると、ＰＱＢ［ｉ，ｋ］は次のように表わされる。
【０１１４】
【数２４】
【０１１５】
ＰＱＢ［ｉ，ｋ］＝１の場合にのみ、信号データの振幅及び位相の操作を行う優先演算を実行した結果を出力することとし、その他の場合には、単純加算するような制御を行う。
【０１１６】
時間領域の２つの入力信号Ａ（ｎ），Ｂ（ｎ）は、それぞれ時間周波数変換部１１ａ，１１ｂに入力される。入力信号は、時間周波数変換部１１ａ，１１ｂで短時間ＦＦＴによって周波数領域の信号に変換されて、時間軸と周波数軸とからなる時間周波数平面上の信号データＸＡ［ｉ，ｋ］，ＸＢ［ｉ，ｋ］が生成される。信号データＸＡ［ｉ，ｋ］，ＸＢ［ｉ，ｋ］は、信号処理部１５内の係数器１６ａ，１６ｂにそれぞれ入力される。係数器１６ａ，１６ｂは、入力された信号データＸＡ［ｉ，ｋ］，ＸＢ［ｉ，ｋ］を、それぞれＷＡ倍、ＷＢ倍する。係数器１６ａ，１６ｂは、それぞれ振幅／位相演算部１７ａ，１７ｂに接続される。振幅／位相演算部１７ａ，１７ｂでは、信号データＸＡ［ｉ，ｋ］，ＸＢ［ｉ，ｋ］の振幅及び位相をそれぞれ別々に演算する。後述する優先演算判定部３５の出力を振幅調整部３１ａに入力する。入力信号Ａ（ｎ）側の位相φＡ［ｉ，ｋ］と入力信号Ｂ（ｎ）側の位相φＢ［ｉ，ｋ］との差分を加減算器２３で計算し、位相調整部３１ｂに入力する。
【０１１７】
振幅調整部３１ａ及び位相調整部３１ｂにおいては、振幅及び位相の急激な操作を加えることで、音質の劣化を防ぐために、時間周波数平面上の隣接する座標の振幅同士及び位相同士を滑らかに接続するようなイタレーション演算を行う。
【０１１８】
位相調整について、具体的に説明する。時間周波数平面上の座標（ｉ，ｋ）における位相調整量δ［ｉ，ｋ］は、座標（ｉ，ｋ）のまわりで、隣接する位相調整量δ［ｉ，ｋ］の値と滑らかにつなげようとする力で引っ張られ、かつＰＱＢ［ｉ，ｋ］＝１となる座標（ｉ，ｋ）において、入力信号Ａ（ｎ）に対する位相φＡ［ｉ，ｋ］と入力信号Ｂ（ｎ）に対する位相φＢ［ｉ，ｋ］との位相差φ０［ｉ，ｋ］に引き寄せる力で引っ張られる。時間周波数平面上全体に対する数回〜数百回のイタレーション演算を行うことにより適切な位相調整量δ［ｉ，ｋ］を計算することができる。ｎ回目のイタレーション演算における位相調整量をδ［ｉ，ｋ］（ｎ）とし、初期値をδ［ｉ，ｋ］（０）＝０と置くと、δ［ｉ，ｋ］（ｎ＋１）は、δ［ｉ，ｋ］（ｎ）から以下の更新則によって求めることができる。
【０１１９】
【数２５】
【０１２０】
ここで、εは、学習速度であり、イタレーション回数に応じて調整する。また、λは、φ０［ｉ，ｋ］による引き寄せ力と、δ［ｉ，ｋ］＝０を時間周波数平面上で滑らかにする力のバランスを求める定数である。ＣＰ、ＣＦ、ＣＴ、ＥＰ、ＥＦ、ＥＴも定数であり、非線形関数ｆは、以下で表わされる。
【０１２１】
【数２６】
【０１２２】
これによって、最終的なδ［ｉ，ｋ］は、すべての力が釣り合う値に収束する。
【０１２３】
振幅調整部３１ａにおいても、上述と同様にして振幅調整量を滑らかに接続することができる。
【０１２４】
振幅調整部３１ａにおいて、調整された振幅と、元の信号データの振幅ＲＡ［ｉ，ｋ］とを乗算器３２によって乗算する。位相調整部３１ｂにおいて、調整された位相と、元の位相φＡ［ｉ，ｋ］とを加算器３３によって加算する。乗算器３２によって乗算された振幅と加算器３３によって加算された位相とを複素数演算部１９に入力し、優先演算された結果を出力する。優先演算判定部３５によって、ＰＱＢ［ｉ，ｋ］＝１と判定された場合に、上述の優先演算の結果が優先演算制御部２０を介して出力され、係数器１６ｂの出力と加算器２２によって加算されて、周波数時間変換部２５に出力される。周波数時間変換部２５は、逆ＦＦＴ等を実行し、時間領域のミキシング出力を出力する。なお、図６においては、振幅調整と位相調整の機能の両方を導入したが、いずれか一方であってもよい。
【０１２５】
図６の構成例においては、優先信号側についてのみピーク判定部及び有音判定部を用いたが、非優先信号側のみに用いてもよく、優先信号側及び非優先信号側の両方に用いてもよい。また、ピーク判定部を有音判定部とともに用いたが、ピーク判定部のみで用いてもよく、入力信号Ａ（ｎ）側には有音判定部のみ導入し、入力信号Ｂ（ｎ）側には有音判定部とピーク判定部とを導入する等、有音判定部とピーク判定部を混在させてもよい。更に、図５に示すようなリミッタ機構と混在させてもよい。また、上述した図３、４に示すような具体例１及び図５に示すような具体例２において、有音判定部を、図６に示すような有音判定部２１、ピーク判定部３４、及び優先演算判定部３５を組み合わせた構成に置換し、優先演算の切り替えを行うようにしてもよい。
【０１２６】
上述した具体例１等と同様に優先演算のパラメータα，β等は、任意に設定でき、調整してもよい。また、有音判定分布の生成についても、非優先信号側のみについて生成するようにしてもよく、優先、非優先信号の両方について生成するようにしてもよいのも上述と同様である。イタレーション演算のパラメータ等も任意に設定することができる。
【０１２７】
有音判定分布の機能に加え、ピーク判定分布の機能を導入することによって、よりきめ細かく優先演算と単純加算との切り替えを実現することができ、計算負担の軽減が図られ、より自然なミキシング出力を実現できる。また、振幅調整や位相調整を行うことにより、信号波形がより滑らかに接続されることとなり、より高い音質のミキシング出力を可能にする。
【０１２８】
（ｄ）具体例４
具体例１〜３において説明した例では、優先演算を実行する場合において、優先信号と非優先信号の位相をできるだけそろえることによって、入力信号が互いに妨害し合わないようにするものである。これに対して、あえて、入力信号同士の周波数間にごく微小な差を設けて適度なうなりを発生させたり、又は入力信号同士の位相間にあえてゆらぎをもった差を生じさせることによって音に厚みをもたせることができたり、人工的な音の感じを抑えた自然な音にすることができ、このようなスマートミキサの構成例について以下説明する。
【０１２９】
図７は、音に厚みをもたせたり、人工的な音の感じを抑えた自然な音にする効果を有するゆらぎを生じさせるための信号発生器を導入したスマートミキサの構成例のブロック図である。
【０１３０】
図７に示すミキシング装置１０は、具体例１〜３で説明したものと同様に、入力信号Ａ（ｎ）を非優先信号に、入力信号Ｂ（ｎ）を優先信号に設定している。具体例１で説明した図３に示されたスマートミキサの構成例において、入力信号Ｂ（ｎ）側の信号データの位相φＢに対してゆらぎを生成するための信号発生器３６を追加している。位相φＢに信号発生器３６の信号を加算器３７によって加算して、加算された位相を係数器３８によってβ倍する。そして、係数器３８の出力と入力信号Ａ（ｎ）側の（１−β）倍された位相φＡとを加算器１８によって加算して、複素数演算部１９によって複素数化し、優先演算出力とする。その他の構成及び動作は、具体例１で詳細に説明した図３に示されたスマートミキサと同様であるので省略する。
【０１３１】
信号発生器３６が時間に対する傾きＫを有する線形波形を出力するような場合には、図７における入力信号Ｂ（ｎ）は、Ｋに比例した周波数シフトが与えられることになる。また、信号発生器３６をカオス信号発生器や乱数発生器を用いて実現した場合には、入力信号Ｂ（ｎ）の位相に疑似的なランダムなゆらぎを与えることができる。
【０１３２】
また、信号発生器が発生する信号を、優先信号や非優先信号から独立とするのではなく、いずれか片方又は両方の信号から得られた情報を加味した信号にすることによって、更に有効な効果を得ることもできる。例えば、楽曲の小節中の何拍めであるかというリズム情報によって、信号発生器の発生信号に変化を加えたり、楽曲の構成に従った情報に基づいて、サビの部分で音に厚みが出るように、信号発生器の発生信号に変化を加えたりすることができる。このように、信号から生成した音楽情報を用いる処理のほか、信号以外のメタ情報を用いることも可能である。例えば、音声信号の原稿テキストデータを用い、特定の台詞が出現した場合に、ＢＧＭがその台詞から大きく影響を受け、ＢＧＭが揺らいだように知覚させる処理とすることも可能である。
【０１３３】
信号発生器は、優先信号側に導入するだけでなく、非優先信号側に導入してもよいのはもちろんである。また、上述した具体例２及び３、並びにこれらの変形例となるスマートミキサに導入することも可能である。
【０１３４】
（ｅ）具体例５
上述した具体例１〜４においては、優先演算は、信号データを、主として時間周波数平面上の離散データとして扱い、優先演算の操作をするものであるが、スマートミキサでは時間周波数平面上の連続データとして扱うこともできる。時間周波数平面上の連続データとして扱うには、時間周波数変換部の出力を帯域分割した時間波形とすることによって実現することができる。このような帯域分割した時間波形を出力する時間周波数変換部としては、フィルタバンク、あるいは短時間ＦＦＴをフレームシフト刻み長１サンプルで行うことによって実現することができる。
【０１３５】
ｋ番目の通過帯域を有する帯域通過フィルタ（以下、ＢＰＦともいう。）の時刻ｎにおける信号波形を、時間周波数平面上の信号データとして、ＸＡ［ｎ，ｋ］，ＸＢ［ｎ，ｋ］とする。ＸＡ［ｎ，ｋ］を非優先信号とし、ＸＢ［ｎ，ｋ］を優先信号とすると、この場合の優先演算としては、ＸＡ［ｎ，ｋ］の位相をＸＢ［ｎ，ｋ］の位相とそろえるように遅延又は進めるような時間軸の操作をすることによって実現することができる。そして、すべての帯域通過フィルタの出力を加算することによって、周波数時間変換でき、優先演算を行ったミキシング出力を得ることができる。
【０１３６】
上述においては、信号データの位相の演算操作を行うことによって優先演算を行うものであるが、信号データの振幅を演算操作することによっても、優先演算を行うことができる。
【０１３７】
図８は、フィルタバンクによって周波数変換を行い、アナログ領域での振幅操作を行うスマートミキサエレメントを用いて優先演算を行うスマートミキサのブロック図を示す。
【０１３８】
図８に示すように、ミキシング装置４０においては、入力信号Ａ（ｔ），Ｂ（ｔ）は、それぞれ時間周波数変換部４１ａ，４１ｂに入力される。時間周波数変換部４１ａ，４１ｂは、多数のＢＰＦから構成されるフィルタバンクである。入力された入力信号Ａ（ｔ），Ｂ（ｔ）は、それぞれ係数器４６ａ，４６ｂによってあらかじめ設定された定数で、ＷＡ倍，ＷＢ倍されてフィルタバンクに入力される。各フィルタバンクは、通過帯域が異なる複数のＢＰＦからなり、１番目の通過帯域を有する第１のＢＰＦ４２、２番目の通過帯域を有する第２のＢＰＦ４３、３番目の通過帯域を有する第３のＢＰＦ４４を含む。ＢＰＦの個数は、所望の周波数分解能により、３つに限らず、これ以上でも、これ以下であってももちろんよい。ＢＰＦの個数としては、２〜４０９６の範囲が好ましい。時間周波数変換部４１ａと４１ｂの第１のＢＰＦ４２，４２は、同一のＢＰＦであり、その出力は、信号処理部４５の第１のスマートミキサエレメント４７にそれぞれ入力される。第２のＢＰＦ４３、第３のＢＰＦ４４の出力も信号処理部４５内の対応する第２のスマートミキサエレメント４８、第３のスマートミキサエレメント４９に入力される。
【０１３９】
第１のスマートミキサエレメント４７、第２のスマートミキサエレメント４８、第３のスマートミキサエレメント４９は、それぞれの周波数帯域の信号データのエネルギをその振幅に基づいて計算し、そのエネルギとあらかじめ設定されたしきい値とを比較して、各信号データの振幅を調整する。図９は、第１のスマートミキサエレメント４７の構成例を示すブロック図である。
【０１４０】
２つの第１のＢＰＦ４２の出力が第１のスマートミキサエレメント４７の信号入力部５１ａ，５１ｂに入力される。信号入力部５１ａ，５１ｂに入力された信号データは、それぞれ可変係数器５５ａ，５５ｂによって振幅を制御されて、加算器５６によって加算されて、信号出力部５７に送られる。可変係数器５５ａ，５５ｂのゲインは、入力された２つの信号データの振幅に基づいて計算されたエネルギに従って制御される。２つの信号データは、それぞれ振幅演算部５２ａ，５２ｂによって２乗され、エネルギ演算部５３ａ，５３ｂによって平滑化されて、それぞれのエネルギを計算する。ここで、振幅演算部５２ａ，５２ｂは、図９に示すような２乗演算を行うものに限らず、絶対値演算を行うものであってもよく、振幅の瞬時値によって計算するのに限らず、所定の期間の瞬時値あるいはその２乗の平均をとることによって計算してもよい。また、エネルギ演算部５３ａ，５３ｂは、抵抗、コンデンサやコイル等からなる一次遅れフィルタや二次遅れフィルタ等周知の平滑化回路によって実現することができる。
【０１４１】
計算されたエネルギは、図１０に示すようなゲイン−エネルギ特性に基づいて、優先演算部５４で可変係数器５５ａ，５５ｂのゲインを決定する。ｋ番目のＢＰＦについて、非優先信号である入力信号Ａ（ｔ）に対応するゲインｇＡ［ｋ］（ｔ）は、図１０（Ａ）に示すように、優先信号に設定された入力信号Ｂ（ｔ）のエネルギＤＢ［ｋ］（ｔ）が下部しきい値ＴＬ［ｋ］以下の場合には一定の値であり、エネルギＤＢ［ｋ］（ｔ）が下部しきい値ＴＬ［ｋ］から上部しきい値ＴＨ［ｋ］の間の場合ではほぼ直線状に低下する。エネルギＤＢ［ｋ］（ｔ）が上部しきい値ＴＨ［ｋ］以上になって、ゲインｇＡ［ｋ］（ｔ）は、低位の一定値となる。一方、優先信号である入力信号Ｂ（ｔ）に対応するゲインｇＢ［ｋ］（ｔ）は、図１０（Ｂ）に示すように、優先信号のエネルギＤＢ［ｋ］（ｔ）が下部しきい値ＴＬ［ｋ］以下の場合には一定の値であり、下部しきい値ＴＬ［ｋ］から上部しきい値ＴＨ［ｋ］の間では、次第に増加する。エネルギＤＢ［ｋ］（ｔ）が上部しきい値ＴＨ［ｋ］以上の場合になると、ゲインｇＢ［ｋ］（ｔ）は、高位の一定値となる。このように、優先信号である入力信号Ｂ（ｔ）のエネルギＤＢ［ｋ］（ｔ）に応じて、Ａ（ｔ）側とＢ（ｔ）側の信号データに対するゲインを制御する。
【０１４２】
したがって、エネルギＤＢ［ｋ］（ｔ）が、下部しきい値ＴＬ［ｋ］以下の場合には、優先信号は、具体例１等で詳細に説明した無音の状態に相当すると判定されて、非優先信号がそのまま出力される。エネルギＤＢ［ｋ］（ｔ）が上部しきい値ＴＨ［ｋ］以上の場合には、有音判定に相当し、非優先信号側のゲインが抑制される。エネルギＤＢ［ｋ］（ｔ）が、下部しきい値ＴＬ［ｋ］から上部しきい値ＴＨ［ｋ］の範囲内の場合には、エネルギＤＢ［ｋ］（ｔ）の増大に応じて、非優先信号のゲインを減少させ、優先信号のゲインを増大させる。すなわち、無音判定から有音判定に徐々に切り替わっていくことになる。
【０１４３】
なお、非優先信号のゲインを落とした部分について、ミキシングを行った場合に信号の音量感が不足することがある。そこで、図１０（Ｂ）に示すように、上側のしきい値ＴＨ［ｋ］に近付くにつれてゲインの増大率が大きくなるように設定することによって、この問題を改善することができる。
【０１４４】
他のスマートミキサエレメントのゲイン−エネルギ特性については、すべて同一であってもよく、対応する周波数帯域ごとにしきい値を変えたり、ゲインを変えてもよい。また、上述した特性に限らず、任意の特性を選択できることは言うまでもない。
【０１４５】
第１、第２のＢＰＦ４３，４４それぞれに対応する第１、第２のスマートミキサエレメント４８，４９についても上述と同様の構成であり、同様の優先演算を実行する。
【０１４６】
周波数帯域ごとに分割されたミキシング出力を、周波数時間変換部５０である加算器によって加算し、時間領域の出力信号Ｓ（ｔ）を得る。
【０１４７】
上述のような振幅の調整を単独で行う場合に限らず、位相調整と振幅調整の両方を行ってもよい。なお、位相を調整する場合については、上述した具体例１〜４に対して連続時間系で実現することができる。
【０１４８】
上述したスマートミキサエレメントの優先演算部の動作によって、連続的に優先信号と非優先信号の出力レベルを制御して、滑らかに優先信号の明りょう度を上げることが可能になる。
【０１４９】
（４）実測例
図１１に入力信号及びミキシングされた出力信号の実測時間波形と、時間周波数平面上の分布（以下、スペクトログラムともいう。）とを示す。図１１（Ａ）〜（Ｅ）は、時間波形であり、（Ｆ）〜（Ｊ）がスペクトログラムである。入力信号Ａ（ｎ）を非優先信号とし、音源はエレキギターである（図１１（Ａ）及び（Ｆ））。入力信号Ｂ（ｎ）を優先信号とし、音源は女性の音声である（図１１（Ｂ）及び（Ｇ））。入力信号Ｂ（ｎ）の振幅の目盛は、入力信号Ａ（ｎ）よりも１桁小さい。すなわち、女性音声は、エレキギターの音量に比べて極めてレベルが低い。入力信号Ａ（ｎ），Ｂ（ｎ）を単純加算したミキシング出力を図１１（Ｃ）及び（Ｈ）に示す。図１１（Ｄ）及び（Ｉ）は、本発明に基づいて構成されたミキシング装置であって、上述した具体例１において説明した図３の構成例のスマートミキサによってミキシングされた出力を示す。図１１（Ｅ）及び（Ｊ）は、上述した具体例３において説明した図６の構成のスマートミキサによってミキシングされた出力を示す。なお、スペクトログラムにおいては、色を変えることによって、振幅の大きさを表示している。白、灰色、黒の順に振幅が大きくなるように設定している（別途提出される参考図において、白，ピンク，赤，オレンジ，黄，緑，青，黒の順に振幅が大きくなる）。
【０１５０】
図１１（Ｄ）及び（Ｉ）の結果を得たスマートミキサの諸元を表１に示す。
【０１５１】
【表１】
【０１５２】
図１１（Ｆ）に示すように、入力信号Ａのエレキギターの音については、全体的に横縞状のスペクトログラムであるのに対し、図１１（Ｇ）に示すように、入力信号Ｂの女性音声は、発音のイントネーション変化によって曲線状のスペクトログラムとなる。単純加算による従来のミキシングによる出力のスペクトログラムを、図１１（Ｈ）に示す。エレキギターが無音状態である０．０秒から０．５秒の時間区間を除いて、ほとんど図１１（Ｆ）と同じである。聴感上も女性音声である入力信号Ｂを聞き取ることはほとんどできない。一方、図１１（Ｉ）に示すように、スマートミキサのミキシング出力の時間区間１．６秒〜２．０秒と２．６秒〜３．０秒において、女性音声に基づく曲線状のスペクトログラムがミキシングされていることがわかる。聴感上も女性音声を十分聞き取ることができる。また、図１１（Ｈ）と（Ｉ）とを比較すると、時間区間０．０秒〜０．５秒のスペクトログラム形状はほぼ同じであり、単に女性音声の音量を上げて聞き取りやすくしているのではないことがわかる。
【０１５３】
図１１（Ｅ）及び（Ｊ）の結果を得たスマートミキサの諸元を表２に示す。入力信号は、表１と同一である。また、簡単化のために、α［ｉ，ｋ］を定数１に固定して振幅調整は行わず、位相調整のみ行った。
【０１５４】
【表２】
【０１５５】
図１１（Ｉ）と（Ｊ）とを比較すると、エレキギターのスペクトログラムの形状の崩れが図１１（Ｊ）の方がより少ない。聴感上でも、図１１（Ｉ）の場合には、時間区間１．６秒〜２．０秒で若干歪みを生じているが、図１１（Ｊ）の場合には、同じ時間区間における歪みが減少していることが聴覚上、知覚できる。
【０１５６】
２．ミキシング信号処理装置
図１に示すように、本発明のミキシング信号処理装置は、図２に示すような時間周波数平面上の信号データが入力され、時間周波数平面上でのミキシングを行う信号処理部１５を備える。信号処理部１５には、時間周波数変換部１１ａ，１１ｂによって、時間領域の２つの入力信号が周波数変換されて生成された信号データが入力される。信号処理部１５によって生成された周波数領域のミキシング信号は、周波数時間変換部２５によって、時間領域の信号に変換され、出力信号として出力される。ミキシング信号処理装置は、上述したミキシング装置の動作原理にしたがって動作する。上述した説明と重複するので詳細な説明を省略する。
【０１５７】
また、本発明のミキシング信号処理装置は、上述した具体例１において説明した図３に示す信号処理部１５を備えることもできる。更に、具体例２〜５において説明した図４〜８に示す信号処理部１５，４５を備えることもできる。これらについての詳細な構成及び動作については上述した通りであり、重複するので詳細な説明を省略する。
【０１５８】
３．ミキシングプログラム
本発明の他の側面として、２つ以上の入力信号をミキシングして出力信号を出力するための、コンピュータに実行させるミキシングプログラムがある。このミキシングプログラムは、ＣＤ−ＲＯＭ等の記録媒体からこのコンピュータのハードディスク等の記憶装置にインストールされたものである。あるいは、インターネット等のネットワーク経由で接続されたサーバの記憶装置からこのコンピュータにダウンロードされた後にインストールされたものであってもよい。
【０１５９】
本発明に係るミキシングプログラムは、時間領域の２つ以上の入力信号を、周波数領域の信号に変換して、時間軸と周波数軸とからなる時間周波数平面上の信号データを生成するステップを有する。生成された時間周波数平面上の信号データを、時間周波数平面上の信号データに基づいて演算をすることによって、時間周波数平面上でのミキシングを行いミキシングデータを生成するステップを有する。生成されたミキシングデータを、時間領域の信号に変換して出力信号を出力するステップを有する。ここで、２つ以上の入力信号のうちの少なくとも１つは、明りょう度を上げるために他の入力信号よりも優先する優先信号であり、残りの入力信号は、非優先信号である。そして、ミキシングデータを生成するステップは、信号データを生成するステップにおいて生成された時間周波数平面上の各信号データの位相、遅延量、振幅又はこれらの組み合わせのうちいずれかについて行う、優先信号が非優先信号よりも優先されて明りょう度を上げるような優先演算を行うステップを含んでいる。このような優先演算は、優先信号の振幅を増大させ、非優先信号の振幅を減少させ、非優先信号の位相と優先信号の位相とがそろうように、非優先信号の位相を優先信号の位相に対して遅延させ若しくは進め、又は優先信号の位相を非優先信号の位相に対して遅延させ若しくは進め、又は、これらを組み合わせる演算を含む。上述の動作をコンピュータメモリ上に展開したプログラムとしてコンピュータに実行させる。
【０１６０】
より具体的には、図１２に示すように、ステップＳ１１ａ，Ｓ１１ｂにおいて、２つの時間周波数変換部１１ａ，１１ｂのそれぞれに入力信号Ａ（ｎ），Ｂ（ｎ）を入力する。入力信号を入力する場合には、例えばマイク等からのリアルタイムの入力であってもよく、保存媒体に保存されたデータを入力してもよい。更には、パケットデータを入力してもよい。入力信号Ａ（ｎ）を非優先信号とし、入力信号Ｂ（ｎ）を優先信号とする。
【０１６１】
ステップＳ１２ａ，Ｓ１２ｂにおいて、それぞれ短時間ＦＦＴ、短時間フーリエ変換、ウェーブレット変換、フィルタバンクによる変換、又はその他の時間周波数分布への変換を用いて、時間領域の信号から周波数領域の信号へ変換するステップが実行される。なお、時間領域の信号を周波数領域の信号への変換方法には、一般化調和解析、正弦波分解、スパース分解等の周波数の情報を含む成分分解を行う方法を用いてもよく上記の手法に限らず周知の技術、手法を用いることができるのは上述で説明したのと同様である。
【０１６２】
生成された時間周波数平面上の信号データＸＡ［ｉ，ｋ］，ＸＢ［ｉ，ｋ］について優先演算を実行する。優先演算とは、具体例１〜６で詳述した、時間周波数平面上での信号データの振幅及び位相を操作する演算であり、優先信号の明りょう度を上げるために、優先信号が非優先信号から妨害されないように優先信号及び／又は非優先信号の振幅、位相を操作する演算である。ステップＳ１４において、優先演算を行った後に、信号データＸＡ［ｉ，ｋ］，ＸＢ［ｉ，ｋ］を加算し、ミキシング出力を得るためミキシングを実行する。
【０１６３】
ステップＳ１３において、優先信号である信号データＸＢ［ｉ，ｋ］の振幅に基づいて、有音判定分布ＱＢ［ｉ，ｋ］を生成する。なお、有音判定分布ＱＢ［ｉ，ｋ］の生成の方法については、上述した通りであるので、重複して詳細な説明をすることを省略する。
【０１６４】
ステップＳ１４において、ステップＳ１３で生成された有音判定分布ＱＢ［ｉ，ｋ］に基づいて、有音の場合には、すなわちＱＢ［ｉ，ｋ］＝１の場合に優先演算の結果をミキシング出力とし、ＱＢ［ｉ，ｋ］＝０の場合には、単純加算してミキシング出力とする。
【０１６５】
ステップＳ１５において、ミキシング出力された周波数領域の信号ＸＳ［ｉ，ｋ］を、時間領域の信号に変換し、ステップＳ１６において、出力信号Ｓ（ｎ）として出力する。出力信号Ｓ（ｎ）は、スピーカやアンプ等に接続してリアルタイムでミキシング出力を出力してもよく、保存媒体に保存して別途再生したり、更に加工等してもよい。
【０１６６】
優先演算を実行するに際して、時間周波数平面上で隣接する信号データの振幅及び位相の調整量を計算することによって、信号データの振幅及び位相の変化量を滑らかにして、振幅、位相の強制的な演算操作による音質の劣化を抑制する。この目的のために、具体例３において詳述したように、有音判定分布ＱＢ［ｉ，ｋ］とピーク判定分布ＰＢ［ｉ，ｋ］とを用いることもできる。
【０１６７】
図１３に示すように、ステップＳ２１ａ，Ｓ２１ｂにおいて、非優先信号に設定された入力信号Ａ（ｎ）と、優先信号に設定された入力信号Ｂ（ｎ）とを、それぞれ時間周波数変換部１１ａ，１１ｂに入力する。ステップＳ２２ａ，Ｓ２２ｂにおいて、時間周波数変換部１１ａ，１１ｂによって、入力された入力信号Ａ（ｎ），Ｂ（ｎ）を短時間ＦＦＴ等によって周波数変換して、時間周波数平面上の信号データＸＡ［ｉ，ｋ］，ＸＢ［ｉ，ｋ］を生成する。
【０１６８】
ステップＳ２６において、ステップＳ２２ａ，Ｓ２２ｂで生成された信号データＸＡ［ｉ，ｋ］，ＸＢ［ｉ，ｋ］に基づいて、優先演算時の振幅及び位相の調整量を計算し、ステップＳ２７において、ミキシングを実行する。
【０１６９】
ここで、ステップＳ２３において、優先信号であるＸＢ［ｉ，ｋ］の座標（ｉ，ｋ）の近傍の信号データの振幅に基づいて有音判定分布ＱＢ［ｉ，ｋ］を生成する。
【０１７０】
ステップＳ２４において、座標（ｉ，ｋ）に隣接する信号データの振幅に基づいてピーク判定分布ＰＢ［ｉ，ｋ］を生成する。
【０１７１】
ステップＳ２５において、信号処理部１５によって、ＱＢ［ｉ，ｋ］とＰＢ［ｉ，ｋ］の論理積ＰＱＢ［ｉ，ｋ］を生成し、有音ピーク判定を行う。
【０１７２】
ステップＳ２７において、有音ピーク判定分布ＰＱＢ［ｉ，ｋ］＝１の場合に、優先演算結果を出力してミキシングし、ＰＱＢ［ｉ，ｋ］＝０の場合には、単純加算によるミキシングを行う。
【０１７３】
ステップＳ２８において、周波数領域のミキシング出力ＸＳ［ｉ，ｋ］を時間領域の信号に変換し、ステップＳ２９において、時間領域の信号に変換された出力信号Ｓ（ｎ）を出力する。
【０１７４】
ミキシングプログラムは、優先信号の有音判定分布に基づいて、優先演算と単純加算との切り替えを行う図１２の例のような場合、優先信号の有音判定分布及びピーク判定分布に基づいて、優先演算と単純加算との切り替えを行う場合に限らない。非優先信号の有音判定分布、ピーク判定分布に基づいて、優先演算と単純加算との切り替えを行ってもよく、優先信号及び非優先信号両方の有音判定分布、ピーク判定分布を用いてもよい。有音判定分布を用いずに、ピーク判定分布のみを用いてもよい。また、図１３に示したステップＳ２６に代えて、具体例２において詳細に説明した位相調整量のリミッタ関数を用いてもよい。具体例４において詳細に説明した、ゆらぎ効果を発生させるための信号を加算するステップを、時間周波数平面上の信号データを生成した後に追加してもよい。優先演算を行う信号データについては、離散データであってもよく、連続データであってもよい。
【０１７５】
ミキシングプログラムをコンピュータで実行することによって、優先信号として選択した信号について、明りょう度の高い音質の改善されたミキシング出力を容易に得ることができる。
【０１７６】
４．ミキシング方法
本発明のもう１つの側面として、２つ以上の入力信号をミキシングして出力信号を出力するミキシング方法がある。
【０１７７】
本発明に係るミキシング方法は、時間周波数変換部によって、時間領域の２つ以上の入力信号を、周波数領域の信号に変換して、時間軸と周波数軸とからなる時間周波数平面上の信号データを生成するステップを有する。生成された時間周波数平面上の信号データを、信号処理部において、時間周波数平面上の信号データに基づいて演算をすることによって、時間周波数平面上でのミキシングを行いミキシングデータを生成するステップを有する。生成されたミキシングデータを、周波数時間変換部によって、時間領域の信号に変換して出力信号を出力するステップを有する。ここで、２つ以上の入力信号のうちの少なくとも１つは、明りょう度を上げるために他の入力信号よりも優先する優先信号であり、残りの入力信号は、非優先信号である。そして、ミキシングデータを生成するステップは、信号データを生成するステップにおいて生成された時間周波数平面上の各信号データの位相、遅延量、振幅又はこれらの組み合わせのうちいずれかについて行う、優先信号が非優先信号よりも優先されて、優先信号の明りょう度を上げるような優先演算を行うステップを含んでいる。このような優先演算は、優先信号の振幅を増大させ、非優先信号の振幅を減少させ、非優先信号の位相と優先信号の位相とがそろうように、非優先信号の位相を優先信号の位相に対して遅延させ若しくは進め、又は優先信号の位相を非優先信号の位相に対して遅延させ若しくは進め、又は、これらを組み合わせる演算を含む。
【０１７８】
より具体的には、図１２、１３に示すようなステップを有しており、上述したミキシングプログラムと同様であるので、ここでの詳細な説明を省略する。
【０１７９】
５．その他、用途等
以上説明したように、本発明のすべての側面において、優先信号の明りょう度が向上し、優先信号が非優先信号に埋もれることなく、良好なミキシング出力を得ることができる。優先信号及び非優先信号いずれについても、波形歪みを生じにくくすることができ、音質の向上を図ることができる。
【０１８０】
これらの本発明の特長によって、スタジオ用のミキシングコンソールに用いることができるばかりでなく、以下のように様々な用途に応用が可能である。
【０１８１】
例えば、自動車車内のオーディオシステムに用いることができる。すなわち、本発明のミキシング装置等を用いることによって、自動車に乗車している人が音楽を聴いているときに、カーナビゲーションのガイド音声をミキシングすると、音楽の中断なく、かつガイド音声を聞き取ることができる。
【０１８２】
テレビ受像機に本発明のミキシング装置等を用いることによって、緊急地震速報のような警報音を番組音声にミキシングすると、番組音声を中断することなく、視聴者に警報音を聞き取らせることができる。放送局のミキシングの場面においても同様に用いることができる。
【０１８３】
ラジオ局等の放送現場において、本発明のミキシング装置等を用いることができ、例えば番組テーマ曲にＤＪの音声を明りょう度良くミキシングすることができる。
【０１８４】
パーソナルコンピュータ内の多数の音源をミキシングする場合に本発明のミキシング装置等を用いることができる。例えば、ビデオ編集作業において、ビデオの音声、エディタの警告音、メール着信音等の多数の音を１つのスピーカから出力する場合に、それぞれの音を互いに妨害されないようにミキシングすることが可能である。
【０１８５】
カラオケ装置に用いることによって、伴奏曲に対して特別な音響効果で歌声を重ねることができ、デュエットの際に２人の歌声を心地よく調和させるようにミキシングすることも可能である。
【０１８６】
携帯電話に用いることによって、多人数が会話をしている場合に、特定の人の声の明りょう度を上げて、際立たせることができる。
【０１８７】
インタネットを用いた会議システムに用いることによって、同時発言者があっても、特定の人、例えば司会者の声のみを際立たせることもできる。
【０１８８】
また、音声と音楽（楽器音、ＢＧＭ）とのミキシングに限らず、楽器音同士をミキシングした場合に、メロディ等の重要なパートの楽器音を優先する処理に用いることもできる。
【０１８９】
その他、他の音声処理プログラム又はソフトウェアのプラグインとして用いること等も可能である。
【０１９０】
以上説明したミキシング装置、ミキシング信号処理装置、ミキシングプログラム及びミキシング方法は、具体例を説明するためのものであって、上述した実施の形態のみに限定されるものではなく、本発明の要旨を逸脱しない範囲において種々の変更が可能であることは言うまでもない。
【符号の説明】
【０１９１】
１０ ミキシング装置、１１ａ，１１ｂ 時間周波数変換部、１５ 信号処理部、１６ａ，１６ｂ 係数器、１７ａ，１７ｂ 振幅／位相演算部、１８，１８ａ，１８ｂ 加算器、１９，１９ａ，１９ｂ 複素数演算部、２０，２０ａ，２０ｂ 優先演算制御部、２１，２１ａ，２１ｂ 有音判定部、２２ 加算器、２３ 加減算器、２４ 係数器、２５ 周波数時間変換部、２６ 加減算器、２７ 位相調整量格納部、２８ リミッタ、２９，３０ 加算器、３１ａ 振幅調整部、３１ｂ 位相調整部、３２ 乗算器、３３ 加算器、３４ ピーク判定部、３５ 優先演算判定部、３６ 信号発生器、３７ 加算器、３８ 係数器、４０ ミキシング装置、４１ａ，４１ｂ 時間周波数変換部、４２ 第１のＢＰＦ、４３ 第２のＢＰＦ、４４ 第３のＢＰＦ、４５ 信号処理部、４６ａ，４６ｂ 係数器、４７ 第１のスマートミキサエレメント、４８ 第２のスマートミキサエレメント、４９ 第３のスマートミキサエレメント、５０ 時間周波数変換部、５１ａ，５１ｂ 信号入力部、５２ａ，５２ｂ 振幅演算部、５３ａ，５３ｂ エネルギ演算部、５４ 優先演算部、５５ａ，５５ｂ 可変係数器、５６ 加算器、５７ 信号出力部
【技術分野】
【０００１】
本発明は、２つ以上の入力信号をミキシングして、ミキシング信号を出力するミキシング装置に関する。
【背景技術】
【０００２】
従来から用いられているミキサは、スタジオ用ミキシングコンソールからアマチュア用ミキサに至るまで、それぞれの入力音声信号の加重和をとることによってミキシングを行うことをその動作の基本としている。加重和で不十分な場合には、エフェクタをミキサの入力及び／又は出力に連結し、線形又は非線形の演算操作を追加することによって、意図する音質や音場感を実現する。楽器音Ａに音声Ｂをミキシングする場合において、ミキシング後にも音声Ｂがはっきり聞き取れるようにするためには、次のような方法がある。
【０００３】
第１の方法は、線形フィルタを用いる方法である。具体的には、エフェクタの一種であるイコライザを用いて、音声Ｂの重要な周波数帯域に対して、楽器音Ａの同一の周波数帯域を減衰させるようにフィルタリングを施すことによって、音声Ｂの聞き取りを楽器音Ａに妨害されないようにする。非特許文献１には、ベースギターとバスドラムのミキシングに関して、ベースギターの音がバスドラムの音によって妨害されないように、バスドラムの音の周波数帯域のうちの２００Ｈｚ付近の帯域を減衰させる方法が記載されている。
【０００４】
第２の方法は、非特許文献２に記載されているｄｕｃｋｅｒと呼ばれる処理系を用いる方法である。ｄｕｃｋｅｒを用いることによって、音声の出力レベルが一定値以上の時間区間、楽器音を一定の減衰量だけ減衰させて、減衰後の楽器音に音声を重ねることによって、音声が楽器音に妨害されずに、これらの音源のミキシングをすることができる。
【０００５】
第２の方法に類似する他の例として、カーステレオで音楽を再生中に、運転者のみに対してナビゲーション装置の音声を際立たせたい場合に、再生している音楽に静音処理して、静音処理した音源にナビゲーションの音声をミキシングするオーディオ音源の静音に関する技術が特許文献１に記載されている。
【先行技術文献】
【特許文献】
【０００６】
【特許文献１】特開２００７−１９９８０号公報
【非特許文献】
【０００７】
【非特許文献１】山内隆義、「ミックス・ダウン研究所」、サウンド＆レコーディング・マガジン、ｐ１４０〜１４１、Ｖｏｌ．２９、Ｍａｒｃｈ２０１０
【非特許文献２】Ｒｏｅｒｙ Ｉｚｈａｋｉ、「Ｍｉｘｉｎｇ Ａｕｄｉｏ」、Ｅｌｓｅｖｉｅｒ、２００８
【発明の概要】
【発明が解決しようとする課題】
【０００８】
線形フィルタを用いて音源信号の周波数帯域を操作する非特許文献１に記載された方法の場合には、エフェクタによって操作した２００Ｈｚ付近のベースギターの音は、聞き取りやすくなる。しかしながら、一方では、２００Ｈｚ付近の周波数帯域がカットされたバスドラムの音は、この周波数帯域付近のエネルギが全演奏時間にわたって欠如してしまい、曲そのものにとってダメージになるとの欠点がある。
【０００９】
ｄｕｃｋｅｒを用いて、際立たせたい音源の入力時に他の音源を減衰させる、時間領域での操作をする非特許文献２に記載された方法の場合には、際立たせたい音源である音声が入力された瞬間に、他の音源である楽器音の音量が低下する。そのため、楽器音に注意を傾けていた聴取者は、ストレスを感じてしまうという欠点がある。
【００１０】
特許文献１に記載されたオーディオ静音装置の場合にも、運転者にとっては、ナビゲーションのガイド音声の出力時には音楽が聞こえなくなり、上述と同様にストレスを感じる欠点がある。
【００１１】
そこで、本発明は、ミキシングされた信号の時間領域においても、周波数領域においても、入力した音源の音量を大幅に変動させることなく、聴取すべき音源の明りょう度が上がり、聞き取りやすくなったと知覚させるミキシング装置を提供することを目的とする。なお、あくまで、ミキシング後の信号において聴取すべき音源の明りょう度が上がったと知覚されるのであって、聴取すべき音源成分そのものの明りょう度が上がるわけではないが、以下では、「聴取すべき音源の明りょう度が上がる」と表現することとする。
【課題を解決するための手段】
【００１２】
本発明の第１の側面であるミキシング装置は、時間領域の２つ以上の入力信号が入力され、入力信号を周波数領域の信号に変換して、時間軸と周波数軸とからなる時間周波数平面上の信号データをそれぞれ生成する時間周波数変換部と、時間周波数平面上の信号データに基づいて演算をすることにより、２つ以上の入力信号の時間周波数平面上でのミキシングを行う信号処理部と、信号処理部の演算結果を入力し、時間領域の信号に変換して出力信号を出力する周波数時間変換部とを備えている。そして、２つ以上の入力信号のうちの少なくとも１つは、明りょう度を上げるために他の入力信号よりも優先する優先信号であり、残りの入力信号は、非優先信号であり、信号処理部が行う演算は、時間周波数平面上の信号データの振幅、位相、遅延量又はこれらの組み合わせのうちのいずれかについて行う、優先信号が非優先信号よりも優先されて、優先信号の明りょう度を上げる優先演算であり、優先演算は、優先信号の振幅を増大させ、非優先信号の振幅を減少させ、非優先信号の位相と優先信号の位相とがそろうように、非優先信号の位相を優先信号の位相に対して遅延させ若しくは進め、又は優先信号の位相を非優先信号の位相に対して遅延させ若しくは進め、又は、これらを組み合わせる演算を含む。
【００１３】
本発明の第２の側面であるミキシング信号処理装置は、時間領域の２つ以上の入力信号を周波数領域の信号に変換して生成された、時間軸と周波数軸とからなる時間周波数平面上の信号データに基づいて演算を行うことによって、２つ以上の入力信号の時間周波数平面上でのミキシングを行いミキシング出力信号を出力する信号処理部を備えている。そして、２つ以上の入力信号のうちの少なくとも１つは、明りょう度を上げるために他の入力信号よりも優先する優先信号であり、残りの入力信号は、非優先信号であり、信号処理部が行う演算は、時間周波数平面上の信号データの位相、遅延量、振幅又はこれらの組み合わせのうちのいずれかについて行う、優先信号が非優先信号よりも優先されて、優先信号の明りょう度を上げる優先演算であり、優先演算は、優先信号の振幅を増大させ、非優先信号の振幅を減少させ、非優先信号の位相と優先信号の位相とがそろうように、非優先信号の位相を優先信号の位相に対して遅延させ若しくは進め、又は優先信号の位相を非優先信号の位相に対して遅延させ若しくは進め、又は、これらを組み合わせる演算を含む。
【００１４】
本発明の第３の側面であるミキシングプログラムは、コンピュータに実行させるためのプログラムである。ミキシングプログラムは、時間領域の２つ以上の入力信号を、周波数領域の信号に変換して、時間軸と周波数軸とからなる時間周波数平面上の信号データを生成するステップと、時間周波数平面上の信号データに基づいて演算をすることにより、２つ以上の入力信号の時間周波数平面上でのミキシングを行いミキシングデータを生成するステップと、ミキシングデータを時間領域の信号に変換して出力信号を出力するステップとをコンピュータに実行させる。そして、２つ以上の入力信号のうちの少なくとも１つは、明りょう度を上げるために他の入力信号よりも優先する優先信号であり、残りの入力信号は、非優先信号であり、ミキシングデータを生成するステップは、信号データを生成するステップにおいて生成された２つ以上の時間周波数平面上の各信号データの位相、遅延量、振幅又はこれらの組み合わせのうちいずれかについて行う、優先信号が非優先信号よりも優先されて、優先信号の明りょう度を上げる優先演算を行うステップを含んでいる。そして、優先演算は、優先信号の振幅を増大させ、非優先信号の振幅を減少させ、非優先信号の位相と優先信号の位相とがそろうように、非優先信号の位相を優先信号の位相に対して遅延させ若しくは進め、又は優先信号の位相を優先信号の位相に対して遅延させ若しくは進め、又は、これらを組み合わせる演算を含む。
【００１５】
本発明の第４の側面であるミキシング方法は、時間周波数変換部によって、時間領域の２つ以上の入力信号を、周波数領域の信号に変換して、時間軸と周波数軸とからなる時間周波数平面上の信号データを生成するステップと、信号処理部によって、時間周波数平面上の信号データに基づいて演算をすることにより、２つ以上の入力信号の時間周波数平面上でのミキシングを行いミキシングデータを生成するステップと、周波数時間変換部によって、ミキシングデータを時間領域の信号に変換して出力信号を出力するステップとを有している。そして、２つ以上の入力信号のうちの少なくとも１つは、明りょう度を上げるために他の入力信号よりも優先する優先信号であり、残りの入力信号は、非優先信号であり、ミキシングデータを生成するステップは、信号データを生成するステップにおいて生成された２つ以上の時間周波数平面上の各信号データの位相、遅延量、振幅又はこれらの組み合わせのうちいずれかについて行う、優先信号が非優先信号よりも優先されて、優先信号の明りょう度を上げる優先演算を行うステップを含んでいる。そして、優先演算は、優先信号の振幅を増大させ、非優先信号の振幅を減少させ、非優先信号の位相と優先信号の位相とがそろうように、非優先信号の位相を優先信号の位相に対して遅延させ若しくは進め、又は優先信号の位相を非優先信号の位相に対して遅延さえ若しくは進め、又は、これらを組み合わせる演算を含む。
【発明の効果】
【００１６】
本発明のミキシング装置、ミキシング信号処理装置、ミキシングプログラム及びミキシング方法によれば、優先信号及び／又は非優先信号の振幅及び／又は位相を操作する優先演算を行うことによって、優先信号の振幅が増大し、非優先信号の振幅が減少し、非優先信号の位相と優先信号の位相とがそろうので、優先信号の明りょう度が上がり、優先信号の音を聞き取りやすくすることができる。
【図面の簡単な説明】
【００１７】
【図１】本発明のミキシング装置の構成例を示すブロック図である。
【図２】時間周波数変換部において周波数変換することによって生成された時間周波数平面と、時間周波数平面上に表わされた信号データの例である。
【図３】本発明のミキシング装置の構成例を示すブロック図であり、優先演算を行うための構成と、優先信号の信号データによって有音判定分布を生成して、生成された有音判定分布に基づいてミキシング出力を制御するための構成とを示す。
【図４】本発明のミキシング装置の構成例を示すブロック図であり、優先演算を行うための構成と、優先信号及び非優先信号の両方の信号データによってそれぞれ有音判定分布を生成して、生成された有音判定分布に基づいてミキシング出力を制御するための構成とを示す。
【図５】本発明のミキシング装置の構成例を示すブロック図であり、優先演算を行うにあたって、位相調整量を制限するための構成と、優先信号の信号データによって有音判定分布を生成して、生成された有音判定分布に基づいてミキシング出力を制御するための構成とを示す。
【図６】本発明のミキシング装置の構成例を示すブロック図であり、優先演算を行うにあたって、信号データの振幅調整量と位相調整量とを時間周波数平面上で滑らかに変化させるための構成と、優先信号の信号データによって有音判定分布及びピーク判定分布を生成して、生成された有音判定分布及びピーク判定分布に基づいてミキシング出力を制御するための構成とを示す。
【図７】本発明のミキシング装置の構成例を示すブロック図であり、優先信号の信号データの位相に信号発生器の出力を加算してゆらぎ等の音響効果を得るための構成と、優先信号の信号データによって有音判定分布を生成して、生成された有音判定分布に基づいてミキシング出力を制御するための構成とを示す。
【図８】本発明のミキシング装置の構成例を示すブロック図であり、フィルタバンクとスマートミキサエレメントとを用いてアナログ領域でミキシング出力を生成する場合の構成例を示す。
【図９】図８のミキシング装置におけるスマートミキサエレメントの構成例を示すブロック図であり、優先演算として、入力信号の振幅に基づいてエネルギの計算することによって、各信号の振幅を制御するための構成例を示す。
【図１０】（Ａ）、（Ｂ）は、図９のスマートミキサエレメントのゲイン決定関数の特性の例を示す。
【図１１】（Ａ）〜（Ｊ）は、ミキシング装置の出力を時間軸上と、時間周波数平面（スペクトログラム）上に出力した例である。
【図１２】本発明のミキシングプログラム及びミキシング方法を説明するためのフローチャートの例であり、優先信号の信号データに基づいて有音判定分布を生成し、有音判定分布に基づいて優先演算を制御してミキシングを行う例である。
【図１３】本発明のミキシングプログラム及びミキシング方法を説明するためのフローチャートの例である。優先演算時には信号データの振幅及び位相の調整量を計算してこれらを滑らかに変化させ、優先信号の信号データによって有音判定分布及びピーク判定分布を生成し、これらに基づいて優先演算を制御して、ミキシングを行う例である。
【発明を実施するための形態】
【００１８】
以下、本発明が適用されたミキシング装置、ミキシング信号処理装置、ミキシングプログラム及びミキシング方法について、図面を参照して説明する。なお、説明は以下の順序で説明する。
【００１９】
１．ミキシング装置
（１）構成
（２）動作原理と具体例
（３）他の具体例
（４）実測例
２．ミキシング信号処理装置
３．ミキシングプログラム
４．ミキシング方法
５．その他、用途等
【００２０】
１．ミキシング装置
（１）構成
図１は、本発明のミキシング装置（以下、スマートミキサともいう。）の構成例を示す図である。ミキシング装置１０は、時間領域の２つの入力信号Ａ（ｎ），Ｂ（ｎ）がそれぞれ入力される時間周波数変換部１１ａ，１１ｂと、時間周波数平面上の信号データのミキシングを行う信号処理部１５とを備える。また、ミキシング装置１０は、周波数領域で生成されたミキシング信号を時間領域の出力信号Ｓ（ｎ）に変換し、出力信号Ｓ（ｎ）を出力する周波数時間変換部２５を備える。
【００２１】
入力信号Ａ（ｎ），Ｂ（ｎ）は、時間周波数変換部１１ａ，１１ｂに入力されて、周波数領域の信号に変換される。時間周波数変換部１１ａ，１１ｂは、短時間高速フーリエ変換（以下、短時間ＦＦＴともいう。）、短時間フーリエ変換、ウェーブレット変換、フィルタバンクによる変換、又はその他の時間周波数分布への周知の変換方法、変換回路等が用いられる。フィルタバンクのフィルタは、アナログフィルタに限らずデジタルフィルタであってもよい。時間周波数変換部１１ａ，１１ｂとして、一般化調和解析、正弦波分解、スパース分解等の周波数の情報を含む成分分解を行う方法に従ってもよく、その他の周知の技術、手法を用いてもよい。
【００２２】
なお、図１においては、ミキシングされるべき入力信号が２つ示されているが、２つの入力信号に限らず、３つあるいはそれ以上あってもよい。入力信号の数に応じて、時間周波数変換部は必要数分だけ用意されてもよく、複数の入力信号を時分割して１つの時間周波数変換部によって処理してもよい。また、例えば入力信号がパケットデータとして取り扱われる等の場合においては、１つの時間周波数変換部によって処理することもできる。
【００２３】
時間周波数変換部１１ａ，１１ｂは、上述したいずれかの技術、方法によって、時間領域の入力信号を、例えばフレームごとに分割した後周波数領域の信号に変換して、時間軸と周波数軸とからなる時間周波数平面上の信号データの分布を生成する。生成された時間周波数平面上の信号データを、図２のように表わすことができる。図２においては、横軸を時間軸とし、縦軸を周波数軸とした。時間軸は、右側から左側に時間の流れの向きをとっており、周波数軸は、下から上に向かって周波数が高くなる向きとした。時間周波数平面上の座標を（ｉ，ｋ）と表わすと、座標（ｉ，ｋ）にある信号データをＸ［ｉ，ｋ］と表わすことができる。信号データを離散データとして扱う場合には、Ｘ［ｉ，ｋ］との表記は、時間軸上のｉ番目であって周波数軸上のｋ番目である信号データを表わす。なお、時間周波数平面上の信号データと言ったときに、すべての時間分の信号データを特定の時刻において一括してもっている必要はなく、一定時間累積したときに、時間周波数平面上の信号データとなっているものを含む。例えば、入力信号をリアルタイムで入力した場合には、変換された信号データは、変換処理が開始された時刻から、バッファに蓄積され、バッファ内の蓄積データは、古い信号データから廃棄されてもよい。
【００２４】
時間周波数平面上の各信号データＸ［ｉ，ｋ］は、信号処理部１５に入力される。信号処理部１５は、信号データＸ［ｉ，ｋ］を、時間周波数平面上での演算によってミキシングし、時間周波数平面上でのミキシング出力を生成する。
【００２５】
信号処理部で生成されたミキシング出力は、周波数時間変換部２５に入力される。周波数時間変換部２５は、ミキシング出力を、時間領域の信号に変換して出力信号Ｓ（ｎ）として出力する。周波数領域の信号を時間領域の信号に変換するのには、高速フーリエ逆変換等の周知の変換方法、変換回路等によって実現することができる。時間周波数変換部１１ａ，１１ｂにおいて用いた変換方法に対応した逆変換方法を用いることが好ましい。
【００２６】
（２）動作原理と具体例
時間領域の２つの入力信号のうち１つをＡ（ｎ）とし、他方をＢ（ｎ）とする。入力信号Ａ（ｎ）をエレキギターのような音量の大きな楽器とし、入力信号Ｂ（ｎ）を音声として、単純にこれらの信号を加算すると、大きな音量の楽器が鳴っている間は、音声を聞き取るのが困難になる。そこで、本発明のミキシング装置においては、２つ以上の入力信号のうちの少なくとも１つの信号について、明りょう度を上げるために他の信号に対して優先した信号である優先信号としてあらかじめ設定し、他の信号を非優先信号に設定する。そして、時間周波数平面上において各信号データの振幅及び位相をそれぞれ演算操作する優先演算を実行することによって、優先信号の明りょう度を上げて、非優先信号に優先信号が埋もれないようにすることを可能にする。例えば、音声を優先信号に設定し、エレキギターの音を非優先信号に設定することによって、従来技術においてはエレキギターの音に埋もれて聞き取れない音声を聞き取れるようにする。
【００２７】
入力信号Ａ（ｎ）（例えばエレキギターの音）を非優先信号とし、入力信号Ｂ（ｎ）（例えば音声）を優先信号とする。そして、入力信号Ａ（ｎ）が入力される時間周波数変換部１１ａによって生成される時間周波数平面上の座標（ｉ，ｋ）における信号データをＸＡ［ｉ，ｋ］とする。同様にして、入力信号Ｂ（ｎ）が入力される時間周波数変換部１１ｂによって生成される時間周波数平面上の座標（ｉ，ｋ）における信号データをＸＢ［ｉ，ｋ］とする。信号データＸＡ［ｉ，ｋ］及びＸＢ［ｉ，ｋ］は、それぞれ振幅ＲＡ［ｉ，ｋ］及びＲＢ［ｉ，ｋ］と位相φＡ［ｉ，ｋ］及びφＢ［ｉ，ｋ］とからなる複素数として表現できる。すなわち、
【００２８】
【数１】
【００２９】
【数２】
【００３０】
と表わすことができる。
【００３１】
入力信号Ａ（ｎ）と入力信号Ｂ（ｎ）とを任意に設定できる加重ＷＡ：ＷＢで単純加算すると、ミキシング後の出力信号Ｓ（ｎ）は、
【００３２】
【数３】
【００３３】
となり、これを時間周波数平面上の信号データとして表現し、式（１）、（２）を代入すると、時間周波数平面上でのミキシング出力ＸＳ［ｉ，ｋ］を以下のように表わすことができる。
【００３４】
【数４】
【００３５】
ここで、２つの信号の位相が１８０度程度ずれていると、互いの信号が打ち消し合ってしまい、振幅の小さい信号は、振幅の大きい信号に埋もれてしまうことになる。あるいは、振幅の大きさが同程度であるときには、お互いの信号の音量が低下してしまう。そこで、２つの信号の位相の一方又は両方を強制的にずらして、信号の打ち消し合いを防止する。具体的には、非優先信号の信号データＸＡ［ｉ，ｋ］の位相を優先信号の信号データＸＢ［ｉ，ｋ］の位相にそろえるために、０＜β＜１の定数を定め、βに関して位相の加重和をとる。更に、非優先信号の信号データＸＡ［ｉ，ｋ］の振幅を調整するために、０＜α＜１の定数を定め、非優先信号の信号データＸＡ［ｉ，ｋ］の振幅に乗ずる。これらによって、ミキシング出力の信号データＸＳ［ｉ，ｋ］を、次のように表わすことができる。
【００３６】
【数５】
【００３７】
ここで、φＢとφＡに関して、β：（１−β）の加重平均を計算しているが、位相には２πの周期性があるので、加重平均は、この周期性を考慮した特別なものを意味していることは言うまでもない。すなわち、文字通りこの計算をするのではなく、単位円上の偏角φＢの点Ｂと、偏角φＡの点Ａの両点を結ぶ２つの円弧のうち短い方の円弧をβ：（１−β）で内分する点Ｃの偏角をもって、加重平均された角度とする。式（５）においては、この計算を便宜的に加重平均の式として表現したものである。位相の演算に関しては、以下の記載について同様とする。
【００３８】
なお、優先信号に設定した信号データＸＢ［ｉ，ｋ］については、振幅、位相とも演算操作をしていないので、位相と振幅に分解した表現を用いていない。
【００３９】
βを上述の範囲内で、１に近く設定することによって、非優先信号の信号データＸＡ［ｉ，ｋ］の位相は、優先信号の信号データＸＢ［ｉ，ｋ］の位相に近づくことになる。また、αを上述の範囲内で、１に近く設定することによって、信号データＸＡ［ｉ，ｋ］の振幅が目立って小さくなることはなく、聴取者がストレスを感じるような音量の低下とはならない。
【００４０】
かくして、優先信号に設定された信号データＸＢ［ｉ，ｋ］は、非優先信号に設定された信号データＸＡ［ｉ，ｋ］によって打ち消されることなく、明りょう度を向上させることができるので、優先信号の音の聞き取りが可能になる。
【００４１】
上述では、非優先信号の信号データＸＡ［ｉ，ｋ］の振幅及び位相に優先演算の操作を施したが、信号データＸＡ［ｉ，ｋ］には操作をせずに、優先信号の信号データＸＢ［ｉ，ｋ］の振幅及び位相のみに優先演算の操作を施すこともできる。優先信号の信号データＸＢ［ｉ，ｋ］の振幅及び位相に操作を施す場合には、信号データＸＢ［ｉ，ｋ］の振幅を調整するために、γ＞１となる定数γを定め、優先信号の振幅に乗ずる。また、信号データＸＢ［ｉ，ｋ］の位相を信号データＸＡ［ｉ，ｋ］の位相にそろえるために、０＜η＜１となる定数ηを定め、ηに関して位相の加重和をとる。したがって、ミキシング出力ＸＳ’［ｉ，ｋ］は、以下のように表わされる。
【００４２】
【数６】
【００４３】
このように、優先信号又は非優先信号のいずれかについて信号データの振幅及び／又は位相に操作を施すことに限らず、すべての信号データの振幅及び位相に操作を施すこともできる。その場合のミキシング出力ＸＳ’’［ｉ，ｋ］は次のようになる。
【００４４】
【数７】
【００４５】
優先演算のための係数α、β、γ、η等の値については、任意に設定することができ、固定値とするばかりでなく、ミキシングを行いながら、楽曲の進行に合わせて、ミキサ操作者の意図に応じた操作をすることができる。また、係数α、β、γ、η等の値をいわゆるオートメーション機能によって時系列的に変化させることもできる。２つ以上の優先信号を設定する場合には、入力信号ごとに設定し、時々刻々変化させることもできる。なお、係数α、β、γ、η等の値を任意に操作することによって、振幅及び位相の両方を操作するのに限らず、振幅又は位相の操作のいずれか一方のみを行うこともできる。
【００４６】
上述した優先演算を、すべての座標（ｉ，ｋ）について行い、生成された時間周波数平面上のミキシング出力について、周波数時間変換部２５によって時間領域の信号に変換し、所望の出力信号Ｓ（ｎ）を得ることができる。
【００４７】
非優先信号の信号データの位相を優先信号の信号データの位相にそろうように操作し、信号データの振幅を調整することによって、優先信号が非優先信号に打ち消されることはない。そのため、優先信号の音量を大幅に増大させることなく、非優先信号の音量を大幅に減少させることなく、優先信号の音の明りょう度を上げて、聞き取りを可能にする。
【００４８】
入力信号のデータは、楽曲や音声のすべてのデータをファイルとして入力してもよく、マイクや、アンプ等を介してリアルタイムの入力信号のデータとして入力してもよい。あるいは、入力信号のデータをパケットデータにしてパケットごとに入力してもよく、パケットを更に分割して入力してもよい。
【００４９】
なお、後述するミキシングプログラムによって、上述したミキシング装置の機能をソフトウェア的に実現することもできる。
【００５０】
（３）他の具体例
（ａ）具体例１
上述したスマートミキサの場合には、優先信号及び／又は非優先信号の信号データの振幅及び位相に優先演算の操作を施すので、その信号データは、元の音の信号データとは異なる。そのため、優先演算の程度によっては、生成されたミキシング出力の音質が劣化する場合がある。
【００５１】
楽器音や音声等の入力信号は、時間周波数平面上で信号データのエネルギが局在化している場合が多いことを利用して音質の劣化を軽減する原理と構成について、以下に説明する。
【００５２】
優先信号のうち、時間周波数平面上でエネルギの低い成分については、そもそも必要な成分ではないので、他の信号データから妨害されて害が生じるという心配はない。そこで、エネルギの高い信号データについてのみ上述した優先演算を行い、エネルギが低い信号データについては単純加算を行うことによって、全体の信号データのうち優先演算を行う信号データの割合を少なくすることができるので、より元の音に近い信号出力を得ることができ、音質の向上が可能となる。
【００５３】
時間周波数平面上でエネルギが集中している領域内においても、特定の点で偶発的にエネルギの値が０になることがあるので、各信号データについて、エネルギの大小によって優先演算の可否を判定すると多くの場合には問題が生ずる。そこで、演算対象となる時間周波数平面上での信号データの近傍領域においてエネルギの最大値を探索し、あらかじめ設定したしきい値と比較することによって、音が存在するか否かを表わす有音判定を計算して、有音判定分布を生成する。そして、有音判定分布にしたがって、有音と判定された座標の信号データに関して、優先演算を行い、他の場合には単純加算を行う。
【００５４】
図２に示すような時間周波数平面上の座標（ｉ，ｋ）に関して、時間軸上で未来の方向へｍ１の広がりをもち、過去の方向へｍ２の広がりをもち、周波数軸上で高周波数の方向へｎ１の広がりをもち、低周波数の方向へｎ２の広がりをもつ近傍領域Ｕを考える。近傍領域Ｕ内の任意の座標を（ｇ，ｈ）とし、座標（ｇ，ｈ）における信号データＸ［ｇ，ｈ］の振幅の２乗の最大値を近傍領域Ｕ内にわたって探索する。そして、その｜Ｘ［ｇ，ｈ］｜２の最大値があらかじめ定めたしきい値ＴＱ［ｋ］以上のときに、時間周波数平面上の有音判定分布Ｑ［ｉ，ｋ］＝１とする。それ以外のときにＱ［ｉ，ｋ］＝０とする。これを式で表わすと次のようになる。
【００５５】
【数８】
【００５６】
座標（ｉ，ｋ）すべてにわたって上述の計算をすることによって、時間周波数平面上の有音判定分布を得ることができる。
【００５７】
なお、上述では、拡がりｍ１，ｍ２，ｎ１，ｎ２によって座標（ｉ，ｋ）に関する近傍領域の形状を方形状に設定したが、これらの拡がりは、音楽の進行に合わせて、時間ｉに依存して変化させてもよく、また人間の聴覚のマスキング特性に合わせて、周波数ｋに依存して変化させてもよい。更に、近傍領域の形状は方形状に限らず、台形状であってもよく、円形、楕円形あるいは三角形等のさまざまな形状とすることができる。そして、単一の入力信号に対して近傍領域Ｕのパラメータｍ１，ｍ２，ｎ１，ｎ２を変えることで複数の有音判定分布Ｑ［ｉ，ｋ］を生成してもよい。
【００５８】
なお、時間周波数平面上のある点における近傍領域は、時間周波数平面においてその点から所定の範囲にある領域に限定されず、その点で表される音の倍音成分を表す点から所定の範囲にある領域を含んでいてもよい。
【００５９】
有音判定分布Ｑ［ｉ，ｋ］の判定条件として、上述した信号データＸ［ｇ，ｈ］のエネルギの最大値を用いるばかりでなく、近傍領域Ｕ内の信号データのエネルギの平均値又は信号データの振幅の平均値等を用いることもできる。また、上式のように２値化せず、Ｑ［ｉ，ｋ］を、例えば信号データのエネルギの最大値に応じた連続量として定義してもよい。Ｑ［ｉ，ｋ］を連続量として定義する場合には、Ｑ［ｉ，ｋ］をエネルギや振幅と線形関係にある量として定義するだけでなく、非線形な関係の関数として定義してもよい。更に、Ｑ［ｉ，ｋ］を最大値や平均値で近傍領域Ｕ内を評価する場合には、例えば時間周波数平面上での座標（ｉ，ｋ）からの距離に応じて重み付けをしてもよい。また、人間の聴覚特性におけるマスキング効果のデータに基づいて、時間周波数平面上での近傍の距離やしきい値を決めてもよい。しきい値ＴＱ［ｋ］は、あらかじめ設定した固定値であってもよく、入力信号強度又は出力信号強度に適応させて可変させる可変値としてもよい。スマートミキサの操作者が手動で調整することとしてもよい。
【００６０】
有音判定分布Ｑ［ｉ，ｋ］＝１、すなわち有音と判定した場合には、時間周波数平面上での信号データの振幅及び位相を操作する優先演算を行い、有音判定分布Ｑ［ｉ，ｋ］＝０の場合には、信号データの振幅及び位相の操作を行わず単純加算を行う。このようにすることによって、明りょう度を上げたい入力信号の音を他の入力信号の音に埋もれさせることなくミキシングするとともに、それぞれの信号について、音質の劣化を最小限に抑えたミキシングを可能にする。
【００６１】
図３、４には、有音判定の機能をもたせたスマートミキサの構成例をブロック図で示す。
【００６２】
図３に示すミキシング装置１０は、入力信号Ａ（ｎ）を非優先信号に、入力信号Ｂ（ｎ）を優先信号に設定している。時間領域の２つの入力信号Ａ（ｎ），Ｂ（ｎ）は、それぞれ時間周波数変換部１１ａ，１１ｂに入力される。入力された入力信号は、時間周波数変換部１１ａ，１１ｂで短時間高速フーリエ変換等の周知の変換方法によって周波数領域の信号に変換され、時間軸と周波数軸とからなる時間周波数平面上の信号データＸＡ［ｉ，ｋ］，ＸＢ［ｉ，ｋ］が生成される。信号データＸＡ［ｉ，ｋ］，ＸＢ［ｉ，ｋ］は、信号処理部１５内の係数器１６ａ，１６ｂにそれぞれ入力される。係数器１６ａ，１６ｂは、入力された信号データＸＡ［ｉ，ｋ］，ＸＢ［ｉ，ｋ］を、それぞれＷＡ倍、ＷＢ倍する。係数器１６ａ，１６ｂは、それぞれ振幅／位相演算部１７ａ，１７ｂに接続される。振幅／位相演算部１７ａ，１７ｂでは、信号データＸＡ［ｉ，ｋ］，ＸＢ［ｉ，ｋ］の振幅及び位相をそれぞれ別々に演算する。係数器１６ａから出力されたＷＡ倍された信号データＸＡ［ｉ，ｋ］については、その振幅ＲＡ［ｉ，ｋ］があらかじめ設定された定数αによってα倍され、その位相φＡ［ｉ，ｋ］は、あらかじめ設定された定数βによって（１−β）倍される。係数器１６ｂから出力された信号データＸＢ［ｉ，ｋ］は、振幅／位相演算部１７ｂにおいて、その位相φＢ［ｉ，ｋ］があらかじめ設定された定数βによってβ倍される。振幅ＲＢ［ｉ，ｋ］については、操作を行わない。振幅／位相演算部１７ａ，１７ｂで演算された位相を加算器１８によって加算し、その加算結果とα倍された振幅ＲＡ［ｉ，ｋ］とを複素数演算部１９に入力して、式（９）の優先演算の結果を得る。
【００６３】
【数９】
【００６４】
優先信号に設定された入力信号Ｂ（ｎ）に関して有音判定を行い、有音と判定した場合に、上述の優先演算を行い、無音と判定した場合には、単純加算を行う。入力信号Ｂ（ｎ）側の有音判定に関して、有音判定部２１でＱＢ［ｉ，ｋ］＝１の場合に、優先演算制御部２０によって、複素数演算部１９の出力と係数器１６ｂの出力とを加算器２２により加算して周波数時間変換部２５にミキシング出力として出力する。有音判定部２１でＱＢ［ｉ，ｋ］＝０の場合には、優先演算制御部２０は、優先演算の結果を出力せず、２つの係数器１６ａ，１６ｂの出力をそのまま加算してミキシング出力とし、周波数時間変換部２５に出力する。ミキシング出力は、次式で表わされる。
【００６５】
【数１０】
【００６６】
図３に示すスマートミキサの構成例では、優先信号側のみについて有音判定を行ったが、図４に示すスマートミキサの構成例においては、優先信号側と非優先信号側の両方について有音判定を行う。
【００６７】
図４に示すスマートミキサの構成例においては、図３の構成例と同様に、非優先信号を入力信号Ａ（ｎ）とし、優先信号を入力信号Ｂ（ｎ）とする。時間領域の２つの入力信号Ａ（ｎ），Ｂ（ｎ）は、それぞれ時間周波数変換部１１ａ，１１ｂに入力される。入力信号は、時間周波数変換部１１ａ，１１ｂにおいて短時間ＦＦＴによって周波数領域の信号に変換されて、時間軸と周波数軸とからなる時間周波数平面上の信号データＸＡ［ｉ，ｋ］，ＸＢ［ｉ，ｋ］が生成される。信号データＸＡ［ｉ，ｋ］，ＸＢ［ｉ，ｋ］は、信号処理部１５内の係数器１６ａ，１６ｂにそれぞれ入力される。係数器１６ａ，１６ｂは、入力された信号データＸＡ［ｉ，ｋ］，ＸＢ［ｉ，ｋ］を、それぞれＷＡ倍、ＷＢ倍する。係数器１６ａ，１６ｂは、それぞれ振幅／位相演算部１７ａ，１７ｂに接続される。振幅／位相演算部１７ａ，１７ｂでは、優先演算のために、信号データＸＡ［ｉ，ｋ］，ＸＢ［ｉ，ｋ］の振幅及び位相をそれぞれ別々に演算する。係数器１６ａから出力された信号データＸＡ［ｉ，ｋ］については、その振幅ＲＡ［ｉ，ｋ］があらかじめ設定された定数αによってα倍され、その位相φＡ［ｉ，ｋ］があらかじめ設定された定数βによって（１−β）倍され、定数βとは独立に予め設定された定数ηによってη倍される。係数器１６ｂから出力された信号データＸＢ［ｉ，ｋ］は、振幅／位相演算部１７ｂにおいて、その振幅があらかじめ設定された定数γでγ倍され、その位相φＢ［ｉ，ｋ］があらかじめ設定された定数βによってβ倍され、更にあらかじめ設定された定数ηによって（１−η）倍される。振幅／位相演算部１７ａで（１−β）倍された位相φＡと振幅／位相演算部１７ｂでβ倍された位相φＢとを加算器１８ａによって加算し、α倍された振幅とともに複素数演算部１９ａに入力して複素数化する。同様に、振幅／位相演算部１７ｂでη倍された位相φＡと振幅／位相演算部１７ｂで（１−η）倍された位相φＢとを加算器１８ｂによって加算し、γ倍された振幅とともに複素数演算部１９ｂに入力して複素数化する。これら優先演算された結果は、入力信号Ａ（ｎ）側が以下の式（１１）、入力信号Ｂ（ｎ）側が式（１２）のように表わされる。
【００６８】
【数１１】
【００６９】
【数１２】
【００７０】
非優先信号に設定された入力信号Ａ（ｎ）及び優先信号に設定された入力信号Ｂ（ｎ）それぞれに関して有音判定を行う。入力信号Ａ（ｎ）側、Ｂ（ｎ）側とも有音と判定した場合、すなわちＱＡ［ｉ，ｋ］＝ＱＢ［ｉ，ｋ］＝１の場合、優先演算制御部２０ａ，２０ｂによって、優先演算の結果である式（１１）と式（１２）とを加算器２２を介して加算してミキシング出力を得る。入力信号Ａ（ｎ）側が無音で、入力信号Ｂ（ｎ）側が有音と判定された場合、すなわちＱＡ［ｉ，ｋ］＝０，ＱＢ［ｉ，ｋ］＝１の場合には、優先演算制御部２０ａ，２０ｂによって、式（１１）の値と係数器１６ｂの出力とを加算する。入力信号Ａ（ｎ）側が有音で、入力信号Ｂ（ｎ）側が無音と判定された場合、すなわちＱＡ［ｉ，ｋ］＝１，ＱＢ［ｉ，ｋ］＝０の場合には、優先演算制御部２０ａ，２０ｂによって、係数器１６ａの出力と式（１２）の値とを加算する。入力信号Ａ（ｎ）側、Ｂ（ｎ）側とも無音と判定した場合、すなわちＱＡ［ｉ，ｋ］＝ＱＢ［ｉ，ｋ］＝０の場合には、優先演算制御部２０ａ，２０ｂによって係数器１６ａ，１６ｂの出力を加算する単純加算をしてミキシング出力を得る。これらをまとめると、式（１３）のようになる。
【００７１】
【数１３】
【００７２】
加算器２２から出力されるミキシング出力は、周波数時間変換部２５によって、時間領域のミキシング出力として出力される。
【００７３】
優先演算の係数α、β、γ、η等は、固定値としてもよく、ミキシングをしながら調整をしてもよいのは上述したのと同様である。また、有音判定分布を連続量として、その連続量にこれらの優先演算のパラメータを線形又は非線形に関連付けして連続的に変化させてもよい。
【００７４】
図３の場合においては、優先信号側のみについて有音判定分布を生成し、図４の構成例では、優先信号、非優先信号とも有音判定分布を生成したが、これ以外にも、非優先信号側のみに有音判定分布を生成するように構成することも可能である。
【００７５】
なお、いずれの場合においても、優先信号と非優先信号の設定については、固定でなければならないということはなく、時系列的に相互に切り替えてもよく、周波数に応じて切り替えるようにしてもよい。例えば図４に示すように対称的な構成とすることによって、時間周波数平面上の領域に応じて優位なエネルギを有している側の音を、その領域において優先信号とし、他の領域においてエネルギが劣勢になった場合に非優先信号に切り替える、といった制御も可能である。また、３つ以上の入力信号がある場合においても、優先信号と非優先信号とを任意に切り替えて使用することもできる。
【００７６】
上述した有音判定分布を生成することによって、有音でないと判定された場合には、単純に加算すればよいので、ミキシング装置の計算負担が減少し、かつ優先演算に伴う信号波形の歪みに起因する音質の劣化も改善することができる。
【００７７】
（ｂ）具体例２
上述した具体例１の場合には、有音判定を行い、有音と判定された場合にのみ時間周波数平面上の信号データについて優先演算を行った結果を出力し、その他の場合には、優先演算を行わず単純加算のための出力をする。これによって、信号波形の歪みを向上させるものであるが、入力信号の位相を強制的に変更するものであることに変わりはなく、ミキシングした出力信号の音を聞いたときに聴感上の不自然さを生じてしまうことがある。
【００７８】
そこで、優先演算前の信号データの位相と優先演算後の信号データの位相の差を位相調整量として、位相調整量に上限を設けることによってこの不自然感を低減することを考慮したスマートミキサの構成について以下に説明する。
【００７９】
時間周波数平面上の座標（ｉ，ｋ）における入力信号Ａ（ｎ）側の信号データＸＡ［ｉ，ｋ］に対する位相調整量をδ［ｉ，ｋ］と表わすこととし、時刻ｉ−１において位相調整が完了しており、そのときの位相調整量をδ［ｉ−１，ｋ］とする。ここで、位相調整量に上限以上の差が生じないように、あらかじめ定めた一定の値μで出力が飽和する関数Ｓａｔを以下のように定義する。
【００８０】
【数１４】
【００８１】
そうすると、位相調整量δ［ｉ，ｋ］を次式で表わすことができる。
【００８２】
【数１５】
【００８３】
式（１５）の関係を導入して、信号データＸＡ［ｉ，ｋ］に対して優先演算を行った結果は、以下のようになる。
【００８４】
【数１６】
【００８５】
図５は、式（１５）によって計算される優先演算の結果を、入力信号Ｂ（ｎ）側についてのみ行う有音判定にしたがって出力するスマートミキサの構成例を示すブロック図である。
【００８６】
図５に示すミキシング装置１０は、図３及び４の場合と同様に、入力信号Ａ（ｎ）を非優先信号に、入力信号Ｂ（ｎ）を優先信号に設定している。時間領域の２つの入力信号Ａ（ｎ），Ｂ（ｎ）はそれぞれ時間周波数変換部１１ａ，１１ｂに入力される。入力信号は、時間周波数変換部１１ａ，１１ｂで短時間ＦＦＴ等によってフレームごとに周波数領域の信号に変換されて、時間軸と周波数軸とからなる時間周波数平面上の信号データＸＡ［ｉ，ｋ］，ＸＢ［ｉ，ｋ］が生成される。信号データＸＡ［ｉ，ｋ］，ＸＢ［ｉ，ｋ］は、信号処理部１５内の係数器１６ａ，１６ｂにそれぞれ入力される。係数器１６ａ，１６ｂは、入力された信号データＸＡ［ｉ，ｋ］，ＸＢ［ｉ，ｋ］を、それぞれＷＡ倍、ＷＢ倍する。係数器１６ａ，１６ｂは、それぞれ振幅／位相演算部１７ａ，１７ｂに接続される。振幅／位相演算部１７ａ，１７ｂでは、信号データＸＡ［ｉ，ｋ］，ＸＢ［ｉ，ｋ］の振幅及び位相をそれぞれ別々に演算する。入力信号Ａ（ｎ）側の位相φＡ［ｉ，ｋ］と入力信号Ｂ（ｎ）側の位相φＢ［ｉ，ｋ］との差分を加減算器２３によって求め、その結果を係数器２４によってβ倍する。β倍された位相の差分は、加減算器２６によって、位相調整量格納部２７に格納されている現時点の直前の時刻における位相調整量δ［ｉ−１，ｋ］との差分をとって、リミッタ２８に入力される。リミッタ２８の出力と位相調整量δ［ｉ−１，ｋ］とは加算器２９によって加算され、更に加算器３０によってφＡ［ｉ，ｋ］と加算される。以上で求められた位相と入力信号Ａ（ｎ）側の振幅ＲＡ［ｉ，ｋ］とにより複素数演算部１９において複素数化される。
【００８７】
優先信号に設定された入力信号Ｂ（ｎ）に関して有音判定を行い、有音と判定した場合に、式（１７）によって優先演算の結果を出力し、有音でないと判定した場合には、単純加算を行う。これを実現するために、有音判定部２１でＱＢ［ｉ，ｋ］＝１の場合に、優先演算制御部２０によって、複素数演算部１９の出力と係数器１６ｂの出力とを加算器２２により加算して周波数時間変換部２５にミキシング出力として出力する。有音判定部２１でＱＢ［ｉ，ｋ］＝０の場合には、優先演算制御部２０は、優先演算の結果を出力せず、２つの係数器１６ａ，１６ｂの出力をそのまま加算してミキシング出力とし、周波数時間変換部２５に出力する。ミキシング出力は、次式で表わされる。
【００８８】
【数１７】
【００８９】
なお、リミッタ２８の関数として、上述した式（１４）を用いるほかに、滑らかな非線形関数を用いることももちろん可能である。また、式（１６）を算出するにあたり、時間軸方向の位相調整量のみを考慮したが、これに代えて周波数軸方向の位相調整量として、δ［ｉ，ｋ］とδ［ｉ，ｋ−１］とを用いることもでき、時間軸方向及び周波数軸方向の両方を位相調整量に関して制限を与えることももちろん可能である。
【００９０】
上述した具体例１等と同様に優先演算のパラメータα，β等については、任意に設定でき、調整してもよい。また、有音判定分布の生成についても、非優先信号側のみについて生成するようにしてもよく、優先信号、非優先信号の両方について生成するようにしてよいのも上述と同様である。
【００９１】
リミッタ２８を導入することによって、優先演算に伴う位相調整量の上限値を制限することができ、音の不自然感が減少しミキシング出力の音質の改善が図られる。
【００９２】
（ｃ）具体例３
具体例１、２において説明したように、有音判定分布Ｑ［ｉ，ｋ］を用いることで、時間周波数平面上での有音か否かに応じて、優先演算出力か単純加算出力かを選択し、より自然で音質の良いミキシング出力を得ることができる。
【００９３】
しかしながら、有音判定分布Ｑ［ｉ，ｋ］において、有音と判定される領域が時間周波数平面上で大きなかたまりとなってしまうことがある。この大きなかたまり全体に基づいて位相調整が行われると、有音判定を行わないことと変わらないこととなり、調整された方の信号が、大きく劣化してしまう場合がある。
【００９４】
そこで、時間周波数平面上で、注目している座標の信号データのエネルギと、周波数軸上の両側に隣接する座標に対応する信号データのエネルギとを比較する。そして、よりエネルギが集中している領域を探索することによって、有音判定分布よりも更に限定された領域を選定することができる。この領域を中心として振幅及び位相の操作を行うことによって、音質の劣化のより少ないスマートミキサを実現することができる。
【００９５】
上述した領域を、ピーク判定分布Ｐ［ｉ，ｋ］とすると、Ｐ［ｉ，ｋ］は、時間周波数平面上の信号データを、上述と同様にＸ［ｉ，ｋ］として、以下のように表わすことができる。
【００９６】
【数１８】
【００９７】
ピーク判定分布Ｐ［ｉ，ｋ］を生成するのに、上述した信号データの振幅を用いるのではなく、信号データの位相変化を用いることもできる。時間周波数変換部１１ａ、１１ｂにおいて行う周波数変換として短時間ＦＦＴを行う場合に、フレームシフト点数をＮＳＦＴ、ＦＦＴ点数をＮＦＦＴとする。信号データが周波数ｂｉｎ番号ｋにエネルギ中心をもつ成分を含むとすると、この成分に対し、時刻ｉ−１と時刻ｉの間においては、２πｋＮＳＦＴ／ＮＦＦＴだけの位相変化を生ずる。そうすると、位相変化の差φ１［ｉ，ｋ］は、一般的には以下のように表わされる。
【００９８】
【数１９】
【００９９】
ここで、周波数ｂｉｎ番号ｋにエネルギ中心をもつ成分が存在する場合には、φ1［ｉ，ｋ］＝０となる。周波数ｂｉｎ番号ｋよりも低いところにエネルギ中心があるときにはφ1［ｉ，ｋ］＜０となり、エネルギ中心が周波数ｂｉｎ番号ｋよりも高いところにあるときには、φ1［ｉ，ｋ］＞０となる。以上より、ピーク判定分布Ｐ［ｉ，ｋ］は以下のように表わされる。
【０１００】
【数２０】
【０１０１】
ピーク判定分布Ｐ［ｉ，ｋ］の生成には、信号データの振幅に基づく方法を用いてもよく、信号データの位相に基づく方法を用いてもよく、両方とも用いてもよい。
【０１０２】
なお、時間周波数平面上では、調波構造を有しない信号の部分や白色雑音に類似したスペクトル構造を有する部分において、上述したピーク判定分布を生成すると、非常に敏感にピークが検出されてしまい、好ましくない場合がある。これは、ピーク判定分布Ｐ［ｉ，ｋ］を、信号データの振幅に基づいて生成する場合であっても、位相に基づいて生成する場合であっても、同様である。そこで、以下の方法で、このような好ましくないピーク検出をスクリーニングすることが可能である。
【０１０３】
振幅に基づくピーク判定分布Ｐ［ｉ，ｋ］に対して、振幅に基づくディップ判定分布Ｄ［ｉ，ｋ］を以下のように定義する。
【０１０４】
【数２１】
【０１０５】
座標（ｉ，ｋ）に関して、時間軸上で未来の方向へＶＤの広がりをもち、過去の方向へＶＤの広がりをもち、周波数軸上において、高周波数の方向へＷＤの広がりをもち、低周波数の方向へＷＤの広がりをもつ時間周波数平面上の領域ＵＤを考える。同様に、座標（ｉ，ｋ）に関して、時間軸上で未来の方向へＶＰの広がりをもち、過去の方向へＶＰの広がりをもち、周波数軸上において、高周波数の方向へＷＰの広がりをもち、低周波数の方向へＷＰの広がりをもつ時間周波数平面上の領域ＵＰを考える。そして、領域ＵＤ内でＤ［ｉ，ｋ］＝１となる座標が１つも存在せず、かつ領域ＵＰ内でＰ［ｉ，ｋ］＝１となる座標の個数が０．８×（２ＶＰ＋１）個以上存在するときにピーク判定分布Ｐ［ｉ，ｋ］を採用する条件とする。これによって、好ましくないピーク検出を排除することができる。なお、これらの条件については、上述に限らず任意に設定することができるのは言うまでもない。
【０１０６】
位相に基づくピーク判定分布Ｐ［ｉ，ｋ］の場合には、ディップ判定分布Ｄ［ｉ，ｋ］も位相に基づいて定義して用いる。
【０１０７】
【数２２】
【０１０８】
このようにして、振幅に基づく場合と同様に、ピーク判定分布をスクリーニングすることが可能である。
【０１０９】
なお、このようなスクリーニングの実施の有無にかかわらず、時間周波数平面上でピークと判定される点は、非常に疎である。そこで、好ましくは、以下の式（２３）のようなモルフォロジ的操作によってピーク判定点の近傍領域内の点を、ピーク判定してもよい。
【０１１０】
【数２３】
【０１１１】
近傍領域Ｕは、任意に設定することができるのは言うまでもない。
【０１１２】
図６には、有音判定とピーク判定の機能をもたせたスマートミキサの構成例のブロック図を示す。
【０１１３】
図６に示すミキシング装置１０は、図３〜５の場合と同様に、入力信号Ａ（ｎ）を非優先信号に、入力信号Ｂ（ｎ）を優先信号に設定している。入力信号Ｂ（ｎ）側の時間周波数平面上の信号データについて、有音判定部２１において、上述した具体例で詳細に説明した有音判定分布ＱＢ［ｉ，ｋ］を生成し、ピーク判定部３４において、上述したピーク判定分布ＰＢ［ｉ，ｋ］を生成する。そして、有音判定分布ＱＢ［ｉ，ｋ］とピーク判定分布ＰＢ［ｉ，ｋ］との論理積をＰＱＢ［ｉ，ｋ］とすると、ＰＱＢ［ｉ，ｋ］は次のように表わされる。
【０１１４】
【数２４】
【０１１５】
ＰＱＢ［ｉ，ｋ］＝１の場合にのみ、信号データの振幅及び位相の操作を行う優先演算を実行した結果を出力することとし、その他の場合には、単純加算するような制御を行う。
【０１１６】
時間領域の２つの入力信号Ａ（ｎ），Ｂ（ｎ）は、それぞれ時間周波数変換部１１ａ，１１ｂに入力される。入力信号は、時間周波数変換部１１ａ，１１ｂで短時間ＦＦＴによって周波数領域の信号に変換されて、時間軸と周波数軸とからなる時間周波数平面上の信号データＸＡ［ｉ，ｋ］，ＸＢ［ｉ，ｋ］が生成される。信号データＸＡ［ｉ，ｋ］，ＸＢ［ｉ，ｋ］は、信号処理部１５内の係数器１６ａ，１６ｂにそれぞれ入力される。係数器１６ａ，１６ｂは、入力された信号データＸＡ［ｉ，ｋ］，ＸＢ［ｉ，ｋ］を、それぞれＷＡ倍、ＷＢ倍する。係数器１６ａ，１６ｂは、それぞれ振幅／位相演算部１７ａ，１７ｂに接続される。振幅／位相演算部１７ａ，１７ｂでは、信号データＸＡ［ｉ，ｋ］，ＸＢ［ｉ，ｋ］の振幅及び位相をそれぞれ別々に演算する。後述する優先演算判定部３５の出力を振幅調整部３１ａに入力する。入力信号Ａ（ｎ）側の位相φＡ［ｉ，ｋ］と入力信号Ｂ（ｎ）側の位相φＢ［ｉ，ｋ］との差分を加減算器２３で計算し、位相調整部３１ｂに入力する。
【０１１７】
振幅調整部３１ａ及び位相調整部３１ｂにおいては、振幅及び位相の急激な操作を加えることで、音質の劣化を防ぐために、時間周波数平面上の隣接する座標の振幅同士及び位相同士を滑らかに接続するようなイタレーション演算を行う。
【０１１８】
位相調整について、具体的に説明する。時間周波数平面上の座標（ｉ，ｋ）における位相調整量δ［ｉ，ｋ］は、座標（ｉ，ｋ）のまわりで、隣接する位相調整量δ［ｉ，ｋ］の値と滑らかにつなげようとする力で引っ張られ、かつＰＱＢ［ｉ，ｋ］＝１となる座標（ｉ，ｋ）において、入力信号Ａ（ｎ）に対する位相φＡ［ｉ，ｋ］と入力信号Ｂ（ｎ）に対する位相φＢ［ｉ，ｋ］との位相差φ０［ｉ，ｋ］に引き寄せる力で引っ張られる。時間周波数平面上全体に対する数回〜数百回のイタレーション演算を行うことにより適切な位相調整量δ［ｉ，ｋ］を計算することができる。ｎ回目のイタレーション演算における位相調整量をδ［ｉ，ｋ］（ｎ）とし、初期値をδ［ｉ，ｋ］（０）＝０と置くと、δ［ｉ，ｋ］（ｎ＋１）は、δ［ｉ，ｋ］（ｎ）から以下の更新則によって求めることができる。
【０１１９】
【数２５】
【０１２０】
ここで、εは、学習速度であり、イタレーション回数に応じて調整する。また、λは、φ０［ｉ，ｋ］による引き寄せ力と、δ［ｉ，ｋ］＝０を時間周波数平面上で滑らかにする力のバランスを求める定数である。ＣＰ、ＣＦ、ＣＴ、ＥＰ、ＥＦ、ＥＴも定数であり、非線形関数ｆは、以下で表わされる。
【０１２１】
【数２６】
【０１２２】
これによって、最終的なδ［ｉ，ｋ］は、すべての力が釣り合う値に収束する。
【０１２３】
振幅調整部３１ａにおいても、上述と同様にして振幅調整量を滑らかに接続することができる。
【０１２４】
振幅調整部３１ａにおいて、調整された振幅と、元の信号データの振幅ＲＡ［ｉ，ｋ］とを乗算器３２によって乗算する。位相調整部３１ｂにおいて、調整された位相と、元の位相φＡ［ｉ，ｋ］とを加算器３３によって加算する。乗算器３２によって乗算された振幅と加算器３３によって加算された位相とを複素数演算部１９に入力し、優先演算された結果を出力する。優先演算判定部３５によって、ＰＱＢ［ｉ，ｋ］＝１と判定された場合に、上述の優先演算の結果が優先演算制御部２０を介して出力され、係数器１６ｂの出力と加算器２２によって加算されて、周波数時間変換部２５に出力される。周波数時間変換部２５は、逆ＦＦＴ等を実行し、時間領域のミキシング出力を出力する。なお、図６においては、振幅調整と位相調整の機能の両方を導入したが、いずれか一方であってもよい。
【０１２５】
図６の構成例においては、優先信号側についてのみピーク判定部及び有音判定部を用いたが、非優先信号側のみに用いてもよく、優先信号側及び非優先信号側の両方に用いてもよい。また、ピーク判定部を有音判定部とともに用いたが、ピーク判定部のみで用いてもよく、入力信号Ａ（ｎ）側には有音判定部のみ導入し、入力信号Ｂ（ｎ）側には有音判定部とピーク判定部とを導入する等、有音判定部とピーク判定部を混在させてもよい。更に、図５に示すようなリミッタ機構と混在させてもよい。また、上述した図３、４に示すような具体例１及び図５に示すような具体例２において、有音判定部を、図６に示すような有音判定部２１、ピーク判定部３４、及び優先演算判定部３５を組み合わせた構成に置換し、優先演算の切り替えを行うようにしてもよい。
【０１２６】
上述した具体例１等と同様に優先演算のパラメータα，β等は、任意に設定でき、調整してもよい。また、有音判定分布の生成についても、非優先信号側のみについて生成するようにしてもよく、優先、非優先信号の両方について生成するようにしてもよいのも上述と同様である。イタレーション演算のパラメータ等も任意に設定することができる。
【０１２７】
有音判定分布の機能に加え、ピーク判定分布の機能を導入することによって、よりきめ細かく優先演算と単純加算との切り替えを実現することができ、計算負担の軽減が図られ、より自然なミキシング出力を実現できる。また、振幅調整や位相調整を行うことにより、信号波形がより滑らかに接続されることとなり、より高い音質のミキシング出力を可能にする。
【０１２８】
（ｄ）具体例４
具体例１〜３において説明した例では、優先演算を実行する場合において、優先信号と非優先信号の位相をできるだけそろえることによって、入力信号が互いに妨害し合わないようにするものである。これに対して、あえて、入力信号同士の周波数間にごく微小な差を設けて適度なうなりを発生させたり、又は入力信号同士の位相間にあえてゆらぎをもった差を生じさせることによって音に厚みをもたせることができたり、人工的な音の感じを抑えた自然な音にすることができ、このようなスマートミキサの構成例について以下説明する。
【０１２９】
図７は、音に厚みをもたせたり、人工的な音の感じを抑えた自然な音にする効果を有するゆらぎを生じさせるための信号発生器を導入したスマートミキサの構成例のブロック図である。
【０１３０】
図７に示すミキシング装置１０は、具体例１〜３で説明したものと同様に、入力信号Ａ（ｎ）を非優先信号に、入力信号Ｂ（ｎ）を優先信号に設定している。具体例１で説明した図３に示されたスマートミキサの構成例において、入力信号Ｂ（ｎ）側の信号データの位相φＢに対してゆらぎを生成するための信号発生器３６を追加している。位相φＢに信号発生器３６の信号を加算器３７によって加算して、加算された位相を係数器３８によってβ倍する。そして、係数器３８の出力と入力信号Ａ（ｎ）側の（１−β）倍された位相φＡとを加算器１８によって加算して、複素数演算部１９によって複素数化し、優先演算出力とする。その他の構成及び動作は、具体例１で詳細に説明した図３に示されたスマートミキサと同様であるので省略する。
【０１３１】
信号発生器３６が時間に対する傾きＫを有する線形波形を出力するような場合には、図７における入力信号Ｂ（ｎ）は、Ｋに比例した周波数シフトが与えられることになる。また、信号発生器３６をカオス信号発生器や乱数発生器を用いて実現した場合には、入力信号Ｂ（ｎ）の位相に疑似的なランダムなゆらぎを与えることができる。
【０１３２】
また、信号発生器が発生する信号を、優先信号や非優先信号から独立とするのではなく、いずれか片方又は両方の信号から得られた情報を加味した信号にすることによって、更に有効な効果を得ることもできる。例えば、楽曲の小節中の何拍めであるかというリズム情報によって、信号発生器の発生信号に変化を加えたり、楽曲の構成に従った情報に基づいて、サビの部分で音に厚みが出るように、信号発生器の発生信号に変化を加えたりすることができる。このように、信号から生成した音楽情報を用いる処理のほか、信号以外のメタ情報を用いることも可能である。例えば、音声信号の原稿テキストデータを用い、特定の台詞が出現した場合に、ＢＧＭがその台詞から大きく影響を受け、ＢＧＭが揺らいだように知覚させる処理とすることも可能である。
【０１３３】
信号発生器は、優先信号側に導入するだけでなく、非優先信号側に導入してもよいのはもちろんである。また、上述した具体例２及び３、並びにこれらの変形例となるスマートミキサに導入することも可能である。
【０１３４】
（ｅ）具体例５
上述した具体例１〜４においては、優先演算は、信号データを、主として時間周波数平面上の離散データとして扱い、優先演算の操作をするものであるが、スマートミキサでは時間周波数平面上の連続データとして扱うこともできる。時間周波数平面上の連続データとして扱うには、時間周波数変換部の出力を帯域分割した時間波形とすることによって実現することができる。このような帯域分割した時間波形を出力する時間周波数変換部としては、フィルタバンク、あるいは短時間ＦＦＴをフレームシフト刻み長１サンプルで行うことによって実現することができる。
【０１３５】
ｋ番目の通過帯域を有する帯域通過フィルタ（以下、ＢＰＦともいう。）の時刻ｎにおける信号波形を、時間周波数平面上の信号データとして、ＸＡ［ｎ，ｋ］，ＸＢ［ｎ，ｋ］とする。ＸＡ［ｎ，ｋ］を非優先信号とし、ＸＢ［ｎ，ｋ］を優先信号とすると、この場合の優先演算としては、ＸＡ［ｎ，ｋ］の位相をＸＢ［ｎ，ｋ］の位相とそろえるように遅延又は進めるような時間軸の操作をすることによって実現することができる。そして、すべての帯域通過フィルタの出力を加算することによって、周波数時間変換でき、優先演算を行ったミキシング出力を得ることができる。
【０１３６】
上述においては、信号データの位相の演算操作を行うことによって優先演算を行うものであるが、信号データの振幅を演算操作することによっても、優先演算を行うことができる。
【０１３７】
図８は、フィルタバンクによって周波数変換を行い、アナログ領域での振幅操作を行うスマートミキサエレメントを用いて優先演算を行うスマートミキサのブロック図を示す。
【０１３８】
図８に示すように、ミキシング装置４０においては、入力信号Ａ（ｔ），Ｂ（ｔ）は、それぞれ時間周波数変換部４１ａ，４１ｂに入力される。時間周波数変換部４１ａ，４１ｂは、多数のＢＰＦから構成されるフィルタバンクである。入力された入力信号Ａ（ｔ），Ｂ（ｔ）は、それぞれ係数器４６ａ，４６ｂによってあらかじめ設定された定数で、ＷＡ倍，ＷＢ倍されてフィルタバンクに入力される。各フィルタバンクは、通過帯域が異なる複数のＢＰＦからなり、１番目の通過帯域を有する第１のＢＰＦ４２、２番目の通過帯域を有する第２のＢＰＦ４３、３番目の通過帯域を有する第３のＢＰＦ４４を含む。ＢＰＦの個数は、所望の周波数分解能により、３つに限らず、これ以上でも、これ以下であってももちろんよい。ＢＰＦの個数としては、２〜４０９６の範囲が好ましい。時間周波数変換部４１ａと４１ｂの第１のＢＰＦ４２，４２は、同一のＢＰＦであり、その出力は、信号処理部４５の第１のスマートミキサエレメント４７にそれぞれ入力される。第２のＢＰＦ４３、第３のＢＰＦ４４の出力も信号処理部４５内の対応する第２のスマートミキサエレメント４８、第３のスマートミキサエレメント４９に入力される。
【０１３９】
第１のスマートミキサエレメント４７、第２のスマートミキサエレメント４８、第３のスマートミキサエレメント４９は、それぞれの周波数帯域の信号データのエネルギをその振幅に基づいて計算し、そのエネルギとあらかじめ設定されたしきい値とを比較して、各信号データの振幅を調整する。図９は、第１のスマートミキサエレメント４７の構成例を示すブロック図である。
【０１４０】
２つの第１のＢＰＦ４２の出力が第１のスマートミキサエレメント４７の信号入力部５１ａ，５１ｂに入力される。信号入力部５１ａ，５１ｂに入力された信号データは、それぞれ可変係数器５５ａ，５５ｂによって振幅を制御されて、加算器５６によって加算されて、信号出力部５７に送られる。可変係数器５５ａ，５５ｂのゲインは、入力された２つの信号データの振幅に基づいて計算されたエネルギに従って制御される。２つの信号データは、それぞれ振幅演算部５２ａ，５２ｂによって２乗され、エネルギ演算部５３ａ，５３ｂによって平滑化されて、それぞれのエネルギを計算する。ここで、振幅演算部５２ａ，５２ｂは、図９に示すような２乗演算を行うものに限らず、絶対値演算を行うものであってもよく、振幅の瞬時値によって計算するのに限らず、所定の期間の瞬時値あるいはその２乗の平均をとることによって計算してもよい。また、エネルギ演算部５３ａ，５３ｂは、抵抗、コンデンサやコイル等からなる一次遅れフィルタや二次遅れフィルタ等周知の平滑化回路によって実現することができる。
【０１４１】
計算されたエネルギは、図１０に示すようなゲイン−エネルギ特性に基づいて、優先演算部５４で可変係数器５５ａ，５５ｂのゲインを決定する。ｋ番目のＢＰＦについて、非優先信号である入力信号Ａ（ｔ）に対応するゲインｇＡ［ｋ］（ｔ）は、図１０（Ａ）に示すように、優先信号に設定された入力信号Ｂ（ｔ）のエネルギＤＢ［ｋ］（ｔ）が下部しきい値ＴＬ［ｋ］以下の場合には一定の値であり、エネルギＤＢ［ｋ］（ｔ）が下部しきい値ＴＬ［ｋ］から上部しきい値ＴＨ［ｋ］の間の場合ではほぼ直線状に低下する。エネルギＤＢ［ｋ］（ｔ）が上部しきい値ＴＨ［ｋ］以上になって、ゲインｇＡ［ｋ］（ｔ）は、低位の一定値となる。一方、優先信号である入力信号Ｂ（ｔ）に対応するゲインｇＢ［ｋ］（ｔ）は、図１０（Ｂ）に示すように、優先信号のエネルギＤＢ［ｋ］（ｔ）が下部しきい値ＴＬ［ｋ］以下の場合には一定の値であり、下部しきい値ＴＬ［ｋ］から上部しきい値ＴＨ［ｋ］の間では、次第に増加する。エネルギＤＢ［ｋ］（ｔ）が上部しきい値ＴＨ［ｋ］以上の場合になると、ゲインｇＢ［ｋ］（ｔ）は、高位の一定値となる。このように、優先信号である入力信号Ｂ（ｔ）のエネルギＤＢ［ｋ］（ｔ）に応じて、Ａ（ｔ）側とＢ（ｔ）側の信号データに対するゲインを制御する。
【０１４２】
したがって、エネルギＤＢ［ｋ］（ｔ）が、下部しきい値ＴＬ［ｋ］以下の場合には、優先信号は、具体例１等で詳細に説明した無音の状態に相当すると判定されて、非優先信号がそのまま出力される。エネルギＤＢ［ｋ］（ｔ）が上部しきい値ＴＨ［ｋ］以上の場合には、有音判定に相当し、非優先信号側のゲインが抑制される。エネルギＤＢ［ｋ］（ｔ）が、下部しきい値ＴＬ［ｋ］から上部しきい値ＴＨ［ｋ］の範囲内の場合には、エネルギＤＢ［ｋ］（ｔ）の増大に応じて、非優先信号のゲインを減少させ、優先信号のゲインを増大させる。すなわち、無音判定から有音判定に徐々に切り替わっていくことになる。
【０１４３】
なお、非優先信号のゲインを落とした部分について、ミキシングを行った場合に信号の音量感が不足することがある。そこで、図１０（Ｂ）に示すように、上側のしきい値ＴＨ［ｋ］に近付くにつれてゲインの増大率が大きくなるように設定することによって、この問題を改善することができる。
【０１４４】
他のスマートミキサエレメントのゲイン−エネルギ特性については、すべて同一であってもよく、対応する周波数帯域ごとにしきい値を変えたり、ゲインを変えてもよい。また、上述した特性に限らず、任意の特性を選択できることは言うまでもない。
【０１４５】
第１、第２のＢＰＦ４３，４４それぞれに対応する第１、第２のスマートミキサエレメント４８，４９についても上述と同様の構成であり、同様の優先演算を実行する。
【０１４６】
周波数帯域ごとに分割されたミキシング出力を、周波数時間変換部５０である加算器によって加算し、時間領域の出力信号Ｓ（ｔ）を得る。
【０１４７】
上述のような振幅の調整を単独で行う場合に限らず、位相調整と振幅調整の両方を行ってもよい。なお、位相を調整する場合については、上述した具体例１〜４に対して連続時間系で実現することができる。
【０１４８】
上述したスマートミキサエレメントの優先演算部の動作によって、連続的に優先信号と非優先信号の出力レベルを制御して、滑らかに優先信号の明りょう度を上げることが可能になる。
【０１４９】
（４）実測例
図１１に入力信号及びミキシングされた出力信号の実測時間波形と、時間周波数平面上の分布（以下、スペクトログラムともいう。）とを示す。図１１（Ａ）〜（Ｅ）は、時間波形であり、（Ｆ）〜（Ｊ）がスペクトログラムである。入力信号Ａ（ｎ）を非優先信号とし、音源はエレキギターである（図１１（Ａ）及び（Ｆ））。入力信号Ｂ（ｎ）を優先信号とし、音源は女性の音声である（図１１（Ｂ）及び（Ｇ））。入力信号Ｂ（ｎ）の振幅の目盛は、入力信号Ａ（ｎ）よりも１桁小さい。すなわち、女性音声は、エレキギターの音量に比べて極めてレベルが低い。入力信号Ａ（ｎ），Ｂ（ｎ）を単純加算したミキシング出力を図１１（Ｃ）及び（Ｈ）に示す。図１１（Ｄ）及び（Ｉ）は、本発明に基づいて構成されたミキシング装置であって、上述した具体例１において説明した図３の構成例のスマートミキサによってミキシングされた出力を示す。図１１（Ｅ）及び（Ｊ）は、上述した具体例３において説明した図６の構成のスマートミキサによってミキシングされた出力を示す。なお、スペクトログラムにおいては、色を変えることによって、振幅の大きさを表示している。白、灰色、黒の順に振幅が大きくなるように設定している（別途提出される参考図において、白，ピンク，赤，オレンジ，黄，緑，青，黒の順に振幅が大きくなる）。
【０１５０】
図１１（Ｄ）及び（Ｉ）の結果を得たスマートミキサの諸元を表１に示す。
【０１５１】
【表１】
【０１５２】
図１１（Ｆ）に示すように、入力信号Ａのエレキギターの音については、全体的に横縞状のスペクトログラムであるのに対し、図１１（Ｇ）に示すように、入力信号Ｂの女性音声は、発音のイントネーション変化によって曲線状のスペクトログラムとなる。単純加算による従来のミキシングによる出力のスペクトログラムを、図１１（Ｈ）に示す。エレキギターが無音状態である０．０秒から０．５秒の時間区間を除いて、ほとんど図１１（Ｆ）と同じである。聴感上も女性音声である入力信号Ｂを聞き取ることはほとんどできない。一方、図１１（Ｉ）に示すように、スマートミキサのミキシング出力の時間区間１．６秒〜２．０秒と２．６秒〜３．０秒において、女性音声に基づく曲線状のスペクトログラムがミキシングされていることがわかる。聴感上も女性音声を十分聞き取ることができる。また、図１１（Ｈ）と（Ｉ）とを比較すると、時間区間０．０秒〜０．５秒のスペクトログラム形状はほぼ同じであり、単に女性音声の音量を上げて聞き取りやすくしているのではないことがわかる。
【０１５３】
図１１（Ｅ）及び（Ｊ）の結果を得たスマートミキサの諸元を表２に示す。入力信号は、表１と同一である。また、簡単化のために、α［ｉ，ｋ］を定数１に固定して振幅調整は行わず、位相調整のみ行った。
【０１５４】
【表２】
【０１５５】
図１１（Ｉ）と（Ｊ）とを比較すると、エレキギターのスペクトログラムの形状の崩れが図１１（Ｊ）の方がより少ない。聴感上でも、図１１（Ｉ）の場合には、時間区間１．６秒〜２．０秒で若干歪みを生じているが、図１１（Ｊ）の場合には、同じ時間区間における歪みが減少していることが聴覚上、知覚できる。
【０１５６】
２．ミキシング信号処理装置
図１に示すように、本発明のミキシング信号処理装置は、図２に示すような時間周波数平面上の信号データが入力され、時間周波数平面上でのミキシングを行う信号処理部１５を備える。信号処理部１５には、時間周波数変換部１１ａ，１１ｂによって、時間領域の２つの入力信号が周波数変換されて生成された信号データが入力される。信号処理部１５によって生成された周波数領域のミキシング信号は、周波数時間変換部２５によって、時間領域の信号に変換され、出力信号として出力される。ミキシング信号処理装置は、上述したミキシング装置の動作原理にしたがって動作する。上述した説明と重複するので詳細な説明を省略する。
【０１５７】
また、本発明のミキシング信号処理装置は、上述した具体例１において説明した図３に示す信号処理部１５を備えることもできる。更に、具体例２〜５において説明した図４〜８に示す信号処理部１５，４５を備えることもできる。これらについての詳細な構成及び動作については上述した通りであり、重複するので詳細な説明を省略する。
【０１５８】
３．ミキシングプログラム
本発明の他の側面として、２つ以上の入力信号をミキシングして出力信号を出力するための、コンピュータに実行させるミキシングプログラムがある。このミキシングプログラムは、ＣＤ−ＲＯＭ等の記録媒体からこのコンピュータのハードディスク等の記憶装置にインストールされたものである。あるいは、インターネット等のネットワーク経由で接続されたサーバの記憶装置からこのコンピュータにダウンロードされた後にインストールされたものであってもよい。
【０１５９】
本発明に係るミキシングプログラムは、時間領域の２つ以上の入力信号を、周波数領域の信号に変換して、時間軸と周波数軸とからなる時間周波数平面上の信号データを生成するステップを有する。生成された時間周波数平面上の信号データを、時間周波数平面上の信号データに基づいて演算をすることによって、時間周波数平面上でのミキシングを行いミキシングデータを生成するステップを有する。生成されたミキシングデータを、時間領域の信号に変換して出力信号を出力するステップを有する。ここで、２つ以上の入力信号のうちの少なくとも１つは、明りょう度を上げるために他の入力信号よりも優先する優先信号であり、残りの入力信号は、非優先信号である。そして、ミキシングデータを生成するステップは、信号データを生成するステップにおいて生成された時間周波数平面上の各信号データの位相、遅延量、振幅又はこれらの組み合わせのうちいずれかについて行う、優先信号が非優先信号よりも優先されて明りょう度を上げるような優先演算を行うステップを含んでいる。このような優先演算は、優先信号の振幅を増大させ、非優先信号の振幅を減少させ、非優先信号の位相と優先信号の位相とがそろうように、非優先信号の位相を優先信号の位相に対して遅延させ若しくは進め、又は優先信号の位相を非優先信号の位相に対して遅延させ若しくは進め、又は、これらを組み合わせる演算を含む。上述の動作をコンピュータメモリ上に展開したプログラムとしてコンピュータに実行させる。
【０１６０】
より具体的には、図１２に示すように、ステップＳ１１ａ，Ｓ１１ｂにおいて、２つの時間周波数変換部１１ａ，１１ｂのそれぞれに入力信号Ａ（ｎ），Ｂ（ｎ）を入力する。入力信号を入力する場合には、例えばマイク等からのリアルタイムの入力であってもよく、保存媒体に保存されたデータを入力してもよい。更には、パケットデータを入力してもよい。入力信号Ａ（ｎ）を非優先信号とし、入力信号Ｂ（ｎ）を優先信号とする。
【０１６１】
ステップＳ１２ａ，Ｓ１２ｂにおいて、それぞれ短時間ＦＦＴ、短時間フーリエ変換、ウェーブレット変換、フィルタバンクによる変換、又はその他の時間周波数分布への変換を用いて、時間領域の信号から周波数領域の信号へ変換するステップが実行される。なお、時間領域の信号を周波数領域の信号への変換方法には、一般化調和解析、正弦波分解、スパース分解等の周波数の情報を含む成分分解を行う方法を用いてもよく上記の手法に限らず周知の技術、手法を用いることができるのは上述で説明したのと同様である。
【０１６２】
生成された時間周波数平面上の信号データＸＡ［ｉ，ｋ］，ＸＢ［ｉ，ｋ］について優先演算を実行する。優先演算とは、具体例１〜６で詳述した、時間周波数平面上での信号データの振幅及び位相を操作する演算であり、優先信号の明りょう度を上げるために、優先信号が非優先信号から妨害されないように優先信号及び／又は非優先信号の振幅、位相を操作する演算である。ステップＳ１４において、優先演算を行った後に、信号データＸＡ［ｉ，ｋ］，ＸＢ［ｉ，ｋ］を加算し、ミキシング出力を得るためミキシングを実行する。
【０１６３】
ステップＳ１３において、優先信号である信号データＸＢ［ｉ，ｋ］の振幅に基づいて、有音判定分布ＱＢ［ｉ，ｋ］を生成する。なお、有音判定分布ＱＢ［ｉ，ｋ］の生成の方法については、上述した通りであるので、重複して詳細な説明をすることを省略する。
【０１６４】
ステップＳ１４において、ステップＳ１３で生成された有音判定分布ＱＢ［ｉ，ｋ］に基づいて、有音の場合には、すなわちＱＢ［ｉ，ｋ］＝１の場合に優先演算の結果をミキシング出力とし、ＱＢ［ｉ，ｋ］＝０の場合には、単純加算してミキシング出力とする。
【０１６５】
ステップＳ１５において、ミキシング出力された周波数領域の信号ＸＳ［ｉ，ｋ］を、時間領域の信号に変換し、ステップＳ１６において、出力信号Ｓ（ｎ）として出力する。出力信号Ｓ（ｎ）は、スピーカやアンプ等に接続してリアルタイムでミキシング出力を出力してもよく、保存媒体に保存して別途再生したり、更に加工等してもよい。
【０１６６】
優先演算を実行するに際して、時間周波数平面上で隣接する信号データの振幅及び位相の調整量を計算することによって、信号データの振幅及び位相の変化量を滑らかにして、振幅、位相の強制的な演算操作による音質の劣化を抑制する。この目的のために、具体例３において詳述したように、有音判定分布ＱＢ［ｉ，ｋ］とピーク判定分布ＰＢ［ｉ，ｋ］とを用いることもできる。
【０１６７】
図１３に示すように、ステップＳ２１ａ，Ｓ２１ｂにおいて、非優先信号に設定された入力信号Ａ（ｎ）と、優先信号に設定された入力信号Ｂ（ｎ）とを、それぞれ時間周波数変換部１１ａ，１１ｂに入力する。ステップＳ２２ａ，Ｓ２２ｂにおいて、時間周波数変換部１１ａ，１１ｂによって、入力された入力信号Ａ（ｎ），Ｂ（ｎ）を短時間ＦＦＴ等によって周波数変換して、時間周波数平面上の信号データＸＡ［ｉ，ｋ］，ＸＢ［ｉ，ｋ］を生成する。
【０１６８】
ステップＳ２６において、ステップＳ２２ａ，Ｓ２２ｂで生成された信号データＸＡ［ｉ，ｋ］，ＸＢ［ｉ，ｋ］に基づいて、優先演算時の振幅及び位相の調整量を計算し、ステップＳ２７において、ミキシングを実行する。
【０１６９】
ここで、ステップＳ２３において、優先信号であるＸＢ［ｉ，ｋ］の座標（ｉ，ｋ）の近傍の信号データの振幅に基づいて有音判定分布ＱＢ［ｉ，ｋ］を生成する。
【０１７０】
ステップＳ２４において、座標（ｉ，ｋ）に隣接する信号データの振幅に基づいてピーク判定分布ＰＢ［ｉ，ｋ］を生成する。
【０１７１】
ステップＳ２５において、信号処理部１５によって、ＱＢ［ｉ，ｋ］とＰＢ［ｉ，ｋ］の論理積ＰＱＢ［ｉ，ｋ］を生成し、有音ピーク判定を行う。
【０１７２】
ステップＳ２７において、有音ピーク判定分布ＰＱＢ［ｉ，ｋ］＝１の場合に、優先演算結果を出力してミキシングし、ＰＱＢ［ｉ，ｋ］＝０の場合には、単純加算によるミキシングを行う。
【０１７３】
ステップＳ２８において、周波数領域のミキシング出力ＸＳ［ｉ，ｋ］を時間領域の信号に変換し、ステップＳ２９において、時間領域の信号に変換された出力信号Ｓ（ｎ）を出力する。
【０１７４】
ミキシングプログラムは、優先信号の有音判定分布に基づいて、優先演算と単純加算との切り替えを行う図１２の例のような場合、優先信号の有音判定分布及びピーク判定分布に基づいて、優先演算と単純加算との切り替えを行う場合に限らない。非優先信号の有音判定分布、ピーク判定分布に基づいて、優先演算と単純加算との切り替えを行ってもよく、優先信号及び非優先信号両方の有音判定分布、ピーク判定分布を用いてもよい。有音判定分布を用いずに、ピーク判定分布のみを用いてもよい。また、図１３に示したステップＳ２６に代えて、具体例２において詳細に説明した位相調整量のリミッタ関数を用いてもよい。具体例４において詳細に説明した、ゆらぎ効果を発生させるための信号を加算するステップを、時間周波数平面上の信号データを生成した後に追加してもよい。優先演算を行う信号データについては、離散データであってもよく、連続データであってもよい。
【０１７５】
ミキシングプログラムをコンピュータで実行することによって、優先信号として選択した信号について、明りょう度の高い音質の改善されたミキシング出力を容易に得ることができる。
【０１７６】
４．ミキシング方法
本発明のもう１つの側面として、２つ以上の入力信号をミキシングして出力信号を出力するミキシング方法がある。
【０１７７】
本発明に係るミキシング方法は、時間周波数変換部によって、時間領域の２つ以上の入力信号を、周波数領域の信号に変換して、時間軸と周波数軸とからなる時間周波数平面上の信号データを生成するステップを有する。生成された時間周波数平面上の信号データを、信号処理部において、時間周波数平面上の信号データに基づいて演算をすることによって、時間周波数平面上でのミキシングを行いミキシングデータを生成するステップを有する。生成されたミキシングデータを、周波数時間変換部によって、時間領域の信号に変換して出力信号を出力するステップを有する。ここで、２つ以上の入力信号のうちの少なくとも１つは、明りょう度を上げるために他の入力信号よりも優先する優先信号であり、残りの入力信号は、非優先信号である。そして、ミキシングデータを生成するステップは、信号データを生成するステップにおいて生成された時間周波数平面上の各信号データの位相、遅延量、振幅又はこれらの組み合わせのうちいずれかについて行う、優先信号が非優先信号よりも優先されて、優先信号の明りょう度を上げるような優先演算を行うステップを含んでいる。このような優先演算は、優先信号の振幅を増大させ、非優先信号の振幅を減少させ、非優先信号の位相と優先信号の位相とがそろうように、非優先信号の位相を優先信号の位相に対して遅延させ若しくは進め、又は優先信号の位相を非優先信号の位相に対して遅延させ若しくは進め、又は、これらを組み合わせる演算を含む。
【０１７８】
より具体的には、図１２、１３に示すようなステップを有しており、上述したミキシングプログラムと同様であるので、ここでの詳細な説明を省略する。
【０１７９】
５．その他、用途等
以上説明したように、本発明のすべての側面において、優先信号の明りょう度が向上し、優先信号が非優先信号に埋もれることなく、良好なミキシング出力を得ることができる。優先信号及び非優先信号いずれについても、波形歪みを生じにくくすることができ、音質の向上を図ることができる。
【０１８０】
これらの本発明の特長によって、スタジオ用のミキシングコンソールに用いることができるばかりでなく、以下のように様々な用途に応用が可能である。
【０１８１】
例えば、自動車車内のオーディオシステムに用いることができる。すなわち、本発明のミキシング装置等を用いることによって、自動車に乗車している人が音楽を聴いているときに、カーナビゲーションのガイド音声をミキシングすると、音楽の中断なく、かつガイド音声を聞き取ることができる。
【０１８２】
テレビ受像機に本発明のミキシング装置等を用いることによって、緊急地震速報のような警報音を番組音声にミキシングすると、番組音声を中断することなく、視聴者に警報音を聞き取らせることができる。放送局のミキシングの場面においても同様に用いることができる。
【０１８３】
ラジオ局等の放送現場において、本発明のミキシング装置等を用いることができ、例えば番組テーマ曲にＤＪの音声を明りょう度良くミキシングすることができる。
【０１８４】
パーソナルコンピュータ内の多数の音源をミキシングする場合に本発明のミキシング装置等を用いることができる。例えば、ビデオ編集作業において、ビデオの音声、エディタの警告音、メール着信音等の多数の音を１つのスピーカから出力する場合に、それぞれの音を互いに妨害されないようにミキシングすることが可能である。
【０１８５】
カラオケ装置に用いることによって、伴奏曲に対して特別な音響効果で歌声を重ねることができ、デュエットの際に２人の歌声を心地よく調和させるようにミキシングすることも可能である。
【０１８６】
携帯電話に用いることによって、多人数が会話をしている場合に、特定の人の声の明りょう度を上げて、際立たせることができる。
【０１８７】
インタネットを用いた会議システムに用いることによって、同時発言者があっても、特定の人、例えば司会者の声のみを際立たせることもできる。
【０１８８】
また、音声と音楽（楽器音、ＢＧＭ）とのミキシングに限らず、楽器音同士をミキシングした場合に、メロディ等の重要なパートの楽器音を優先する処理に用いることもできる。
【０１８９】
その他、他の音声処理プログラム又はソフトウェアのプラグインとして用いること等も可能である。
【０１９０】
以上説明したミキシング装置、ミキシング信号処理装置、ミキシングプログラム及びミキシング方法は、具体例を説明するためのものであって、上述した実施の形態のみに限定されるものではなく、本発明の要旨を逸脱しない範囲において種々の変更が可能であることは言うまでもない。
【符号の説明】
【０１９１】
１０ ミキシング装置、１１ａ，１１ｂ 時間周波数変換部、１５ 信号処理部、１６ａ，１６ｂ 係数器、１７ａ，１７ｂ 振幅／位相演算部、１８，１８ａ，１８ｂ 加算器、１９，１９ａ，１９ｂ 複素数演算部、２０，２０ａ，２０ｂ 優先演算制御部、２１，２１ａ，２１ｂ 有音判定部、２２ 加算器、２３ 加減算器、２４ 係数器、２５ 周波数時間変換部、２６ 加減算器、２７ 位相調整量格納部、２８ リミッタ、２９，３０ 加算器、３１ａ 振幅調整部、３１ｂ 位相調整部、３２ 乗算器、３３ 加算器、３４ ピーク判定部、３５ 優先演算判定部、３６ 信号発生器、３７ 加算器、３８ 係数器、４０ ミキシング装置、４１ａ，４１ｂ 時間周波数変換部、４２ 第１のＢＰＦ、４３ 第２のＢＰＦ、４４ 第３のＢＰＦ、４５ 信号処理部、４６ａ，４６ｂ 係数器、４７ 第１のスマートミキサエレメント、４８ 第２のスマートミキサエレメント、４９ 第３のスマートミキサエレメント、５０ 時間周波数変換部、５１ａ，５１ｂ 信号入力部、５２ａ，５２ｂ 振幅演算部、５３ａ，５３ｂ エネルギ演算部、５４ 優先演算部、５５ａ，５５ｂ 可変係数器、５６ 加算器、５７ 信号出力部
【特許請求の範囲】
【請求項１】
時間領域の２つ以上の入力信号が入力され、該入力信号を周波数領域の信号に変換して、時間軸と周波数軸とからなる時間周波数平面上の信号データをそれぞれ生成する時間周波数変換部と、
上記時間周波数平面上の信号データに基づいて演算をすることにより、上記２つ以上の入力信号の該時間周波数平面上でのミキシングを行う信号処理部と、
上記信号処理部の演算結果を入力し、時間領域の信号に変換して出力信号を出力する周波数時間変換部とを備え、
上記２つ以上の入力信号のうちの少なくとも１つは、明りょう度を上げるために他の入力信号よりも優先する優先信号であり、残りの入力信号は、非優先信号であり、
上記信号処理部が行う上記演算は、上記時間周波数平面上の信号データの振幅、位相、遅延量又はこれらの組み合わせのうちのいずれかについて行う、上記優先信号が上記非優先信号よりも優先されて、該優先信号の明りょう度を上げる優先演算であり、
上記優先演算は、上記優先信号の振幅を増大させ、上記非優先信号の振幅を減少させ、該非優先信号の位相と該優先信号の位相とがそろうように、該非優先信号の位相を該優先信号の位相に対して遅延させ若しくは進め、又は該優先信号の位相を該非優先信号の位相に対して遅延させ若しくは進め、又は、これらを組み合わせる演算を含むことを特徴とするミキシング装置。
【請求項２】
上記信号データは、上記時間周波数平面上の離散データであり、
上記信号処理部は、
上記優先信号の信号データの振幅及びその近傍の信号データの振幅に基づいて生成される、該優先信号の信号データのエネルギである優先信号エネルギと、第１のしきい値とを比較し、及び／又は、
上記非優先信号の信号データの振幅及びその近傍の信号データの振幅に基づいて生成される、該非優先信号の信号データのエネルギである非優先信号エネルギと、第２のしきい値とを比較し、
上記比較した結果、上記優先信号エネルギが上記第１のしきい値より大きいとき、上記非優先信号エネルギが上記第２のしきい値より大きいとき、又は該優先信号エネルギが該第１のしきい値より大きくかつ該非優先信号エネルギが該第２のしきい値より大きいときに、上記優先演算を行うことを特徴とする請求項１記載のミキシング装置。
【請求項３】
上記信号データは、上記時間周波数平面上の離散データであり、
上記信号処理部は、
上記優先信号の信号データの振幅と、該優先信号の信号データに隣接する信号データの振幅とを比較し、及び／又は、
上記優先信号の信号データの位相と、該優先信号の信号データに隣接する信号データの位相とを比較して、
上記比較した結果、上記優先信号の信号データの振幅がすべての上記隣接する信号データの振幅よりも大きいとき、上記優先信号の信号データの位相と上記隣接する信号データの位相の関係から該優先信号の信号データのエネルギがピークであると検出されたとき、又は、該優先信号の信号データの振幅がすべての該隣接する信号データの振幅よりも大きくかつ該優先信号の信号データの位相と該隣接する信号データの位相の関係から該優先信号の信号データのエネルギがピークであると検出されたときに、上記優先演算を行うことを特徴とする請求項１又は２記載のミキシング装置。
【請求項４】
上記優先演算は、該優先演算の対象となる上記時間周波数平面上の信号データと、該時間周波数平面上で時間軸方向及び／又は周波数軸方向に隣接する信号データとに対する振幅調整量同士、位相調整量同士又は遅延調整量同士を比較して、該優先信号の対象となる信号データに対する振幅調整量、位相調整量若しくは遅延調整量のうちの少なくとも１つを制限又は緩和する関数及び／又は演算を含むことを特徴とする請求項２又は３記載のミキシング装置。
【請求項５】
上記信号処理部は、
上記優先信号及び上記非優先信号のうちの少なくとも１つの信号について、上記優先演算の対象となる信号データに、該優先信号及び該非優先信号とは独立した信号、又は上記少なくとも１つの信号に基づいて生成される信号を加算するための信号源を更に有する請求項２〜５いずれか１項記載のミキシング装置。
【請求項６】
上記時間周波数変換部は、２つ以上の所定の通過周波数を有するアナログフィルタからなるフィルタバンクであり、
上記信号データは、上記時間周波数平面上の連続データであり、
上記信号処理部は、
上記優先信号の振幅に基づいて生成される該期間のエネルギである優先信号エネルギと、第１のしきい値とを比較し、及び／又は、
上記非優先信号の振幅に基づいて生成される、該期間のエネルギである非優先信号エネルギと、第２のしきい値とを比較し、
上記比較した結果、上記優先信号エネルギが上記第１のしきい値より大きいとき、上記非優先信号エネルギが上記第２のしきい値より大きいとき、又は該優先信号エネルギが該第１のしきい値より大きくかつ該非優先信号エネルギが該第２のしきい値より大きいときに、上記優先演算を行うことを特徴とする請求項１記載のミキシング装置。
【請求項７】
時間領域の２つ以上の入力信号を周波数領域の信号に変換して生成された、時間軸と周波数軸とからなる時間周波数平面上の信号データに基づいて演算を行うことによって、該２つ以上の入力信号の該時間周波数平面上でのミキシングを行いミキシング出力信号を出力する信号処理部を備え、
上記２つ以上の入力信号のうちの少なくとも１つは、明りょう度を上げるために他の入力信号よりも優先する優先信号であり、残りの入力信号は、非優先信号であり、
上記信号処理部が行う上記演算は、上記時間周波数平面上の信号データの位相、遅延量、振幅又はこれらの組み合わせのうちのいずれかについて行う、上記優先信号が上記非優先信号よりも優先されて、優先信号の明りょう度を上げる優先演算であり、
上記優先演算は、上記優先信号の振幅を増大させ、上記非優先信号の振幅を減少させ、該非優先信号の位相と該優先信号の位相とがそろうように、該非優先信号の位相を該優先信号の位相に対して遅延させ若しくは進め、又は該優先信号の位相を該非優先信号の位相に対して遅延させ若しくは進め、又は、これらを組み合わせる演算を含むことを特徴とするミキシング信号処理装置。
【請求項８】
２つ以上の入力信号をミキシングして出力信号を出力するための、コンピュータに実行させるミキシングプログラムであって、上記コンピュータに、
時間領域の上記２つ以上の入力信号を、周波数領域の信号に変換して、時間軸と周波数軸とからなる時間周波数平面上の信号データを生成するステップと、
上記時間周波数平面上の信号データに基づいて演算をすることにより、上記２つ以上の入力信号の時間周波数平面上でのミキシングを行いミキシングデータを生成するステップと、
上記ミキシングデータを時間領域の信号に変換して出力信号を出力するステップとを実行させ、
上記２つ以上の入力信号のうちの少なくとも１つは、明りょう度を上げるために他の入力信号よりも優先することによって優先信号であり、残りの入力信号は、非優先信号であり、
上記ミキシングデータを生成するステップは、上記信号データを生成するステップにおいて生成された上記時間周波数平面上の各信号データの位相、遅延量、振幅又はこれらの組み合わせのうちいずれかについて行う、上記優先信号が上記非優先信号よりも優先されて、該優先信号の明りょう度を上げる優先演算を行うステップを含み、
上記優先演算は、上記優先信号の振幅を増大させ、上記非優先信号の振幅を減少させ、該非優先信号の位相と該優先信号の位相とがそろうように、該非優先信号の位相を該優先信号の位相に対して遅延させ若しくは進め、又は該優先信号の位相を該非優先信号の位相に対して遅延させ若しくは進め、又は、これらを組み合わせる演算を含むことを特徴とするミキシングプログラム。
【請求項９】
時間周波数変換部によって、時間領域の２つ以上の入力信号を、周波数領域の信号に変換して、時間軸と周波数軸とからなる時間周波数平面上の信号データを生成するステップと、
信号処理部によって、上記時間周波数平面上の信号データに基づいて演算をすることにより、上記２つ以上の入力信号の時間周波数平面上でのミキシングを行いミキシングデータを生成するステップと、
周波数時間変換部によって、上記ミキシングデータを時間領域の信号に変換して出力信号を出力するステップとを有し、
上記２つ以上の入力信号のうちの少なくとも１つは、明りょう度を上げるために他の入力信号よりも優先する優先信号であり、残りの入力信号は、非優先信号であり、
上記ミキシングデータを生成するステップは、上記信号データを生成するステップにおいて生成された上記時間周波数平面上の各信号データの位相、遅延量、振幅又はこれらの組み合わせのうちいずれかについて行う、上記優先信号が上記非優先信号よりも優先されて、該優先信号の明りょう度を上げる優先演算を行うステップを含み、
上記優先演算は、上記優先信号の振幅を増大させ、上記非優先信号の振幅を減少させ、該非優先信号の位相と上記優先信号の位相とがそろうように、該非優先信号の位相を該優先信号の位相に対して遅延させ若しくは進め、又は該優先信号の位相を該非優先信号の位相に対して遅延させ若しくは進め、又は、これらを組み合わせる演算を含むことを特徴とするミキシング方法。
【請求項１】
時間領域の２つ以上の入力信号が入力され、該入力信号を周波数領域の信号に変換して、時間軸と周波数軸とからなる時間周波数平面上の信号データをそれぞれ生成する時間周波数変換部と、
上記時間周波数平面上の信号データに基づいて演算をすることにより、上記２つ以上の入力信号の該時間周波数平面上でのミキシングを行う信号処理部と、
上記信号処理部の演算結果を入力し、時間領域の信号に変換して出力信号を出力する周波数時間変換部とを備え、
上記２つ以上の入力信号のうちの少なくとも１つは、明りょう度を上げるために他の入力信号よりも優先する優先信号であり、残りの入力信号は、非優先信号であり、
上記信号処理部が行う上記演算は、上記時間周波数平面上の信号データの振幅、位相、遅延量又はこれらの組み合わせのうちのいずれかについて行う、上記優先信号が上記非優先信号よりも優先されて、該優先信号の明りょう度を上げる優先演算であり、
上記優先演算は、上記優先信号の振幅を増大させ、上記非優先信号の振幅を減少させ、該非優先信号の位相と該優先信号の位相とがそろうように、該非優先信号の位相を該優先信号の位相に対して遅延させ若しくは進め、又は該優先信号の位相を該非優先信号の位相に対して遅延させ若しくは進め、又は、これらを組み合わせる演算を含むことを特徴とするミキシング装置。
【請求項２】
上記信号データは、上記時間周波数平面上の離散データであり、
上記信号処理部は、
上記優先信号の信号データの振幅及びその近傍の信号データの振幅に基づいて生成される、該優先信号の信号データのエネルギである優先信号エネルギと、第１のしきい値とを比較し、及び／又は、
上記非優先信号の信号データの振幅及びその近傍の信号データの振幅に基づいて生成される、該非優先信号の信号データのエネルギである非優先信号エネルギと、第２のしきい値とを比較し、
上記比較した結果、上記優先信号エネルギが上記第１のしきい値より大きいとき、上記非優先信号エネルギが上記第２のしきい値より大きいとき、又は該優先信号エネルギが該第１のしきい値より大きくかつ該非優先信号エネルギが該第２のしきい値より大きいときに、上記優先演算を行うことを特徴とする請求項１記載のミキシング装置。
【請求項３】
上記信号データは、上記時間周波数平面上の離散データであり、
上記信号処理部は、
上記優先信号の信号データの振幅と、該優先信号の信号データに隣接する信号データの振幅とを比較し、及び／又は、
上記優先信号の信号データの位相と、該優先信号の信号データに隣接する信号データの位相とを比較して、
上記比較した結果、上記優先信号の信号データの振幅がすべての上記隣接する信号データの振幅よりも大きいとき、上記優先信号の信号データの位相と上記隣接する信号データの位相の関係から該優先信号の信号データのエネルギがピークであると検出されたとき、又は、該優先信号の信号データの振幅がすべての該隣接する信号データの振幅よりも大きくかつ該優先信号の信号データの位相と該隣接する信号データの位相の関係から該優先信号の信号データのエネルギがピークであると検出されたときに、上記優先演算を行うことを特徴とする請求項１又は２記載のミキシング装置。
【請求項４】
上記優先演算は、該優先演算の対象となる上記時間周波数平面上の信号データと、該時間周波数平面上で時間軸方向及び／又は周波数軸方向に隣接する信号データとに対する振幅調整量同士、位相調整量同士又は遅延調整量同士を比較して、該優先信号の対象となる信号データに対する振幅調整量、位相調整量若しくは遅延調整量のうちの少なくとも１つを制限又は緩和する関数及び／又は演算を含むことを特徴とする請求項２又は３記載のミキシング装置。
【請求項５】
上記信号処理部は、
上記優先信号及び上記非優先信号のうちの少なくとも１つの信号について、上記優先演算の対象となる信号データに、該優先信号及び該非優先信号とは独立した信号、又は上記少なくとも１つの信号に基づいて生成される信号を加算するための信号源を更に有する請求項２〜５いずれか１項記載のミキシング装置。
【請求項６】
上記時間周波数変換部は、２つ以上の所定の通過周波数を有するアナログフィルタからなるフィルタバンクであり、
上記信号データは、上記時間周波数平面上の連続データであり、
上記信号処理部は、
上記優先信号の振幅に基づいて生成される該期間のエネルギである優先信号エネルギと、第１のしきい値とを比較し、及び／又は、
上記非優先信号の振幅に基づいて生成される、該期間のエネルギである非優先信号エネルギと、第２のしきい値とを比較し、
上記比較した結果、上記優先信号エネルギが上記第１のしきい値より大きいとき、上記非優先信号エネルギが上記第２のしきい値より大きいとき、又は該優先信号エネルギが該第１のしきい値より大きくかつ該非優先信号エネルギが該第２のしきい値より大きいときに、上記優先演算を行うことを特徴とする請求項１記載のミキシング装置。
【請求項７】
時間領域の２つ以上の入力信号を周波数領域の信号に変換して生成された、時間軸と周波数軸とからなる時間周波数平面上の信号データに基づいて演算を行うことによって、該２つ以上の入力信号の該時間周波数平面上でのミキシングを行いミキシング出力信号を出力する信号処理部を備え、
上記２つ以上の入力信号のうちの少なくとも１つは、明りょう度を上げるために他の入力信号よりも優先する優先信号であり、残りの入力信号は、非優先信号であり、
上記信号処理部が行う上記演算は、上記時間周波数平面上の信号データの位相、遅延量、振幅又はこれらの組み合わせのうちのいずれかについて行う、上記優先信号が上記非優先信号よりも優先されて、優先信号の明りょう度を上げる優先演算であり、
上記優先演算は、上記優先信号の振幅を増大させ、上記非優先信号の振幅を減少させ、該非優先信号の位相と該優先信号の位相とがそろうように、該非優先信号の位相を該優先信号の位相に対して遅延させ若しくは進め、又は該優先信号の位相を該非優先信号の位相に対して遅延させ若しくは進め、又は、これらを組み合わせる演算を含むことを特徴とするミキシング信号処理装置。
【請求項８】
２つ以上の入力信号をミキシングして出力信号を出力するための、コンピュータに実行させるミキシングプログラムであって、上記コンピュータに、
時間領域の上記２つ以上の入力信号を、周波数領域の信号に変換して、時間軸と周波数軸とからなる時間周波数平面上の信号データを生成するステップと、
上記時間周波数平面上の信号データに基づいて演算をすることにより、上記２つ以上の入力信号の時間周波数平面上でのミキシングを行いミキシングデータを生成するステップと、
上記ミキシングデータを時間領域の信号に変換して出力信号を出力するステップとを実行させ、
上記２つ以上の入力信号のうちの少なくとも１つは、明りょう度を上げるために他の入力信号よりも優先することによって優先信号であり、残りの入力信号は、非優先信号であり、
上記ミキシングデータを生成するステップは、上記信号データを生成するステップにおいて生成された上記時間周波数平面上の各信号データの位相、遅延量、振幅又はこれらの組み合わせのうちいずれかについて行う、上記優先信号が上記非優先信号よりも優先されて、該優先信号の明りょう度を上げる優先演算を行うステップを含み、
上記優先演算は、上記優先信号の振幅を増大させ、上記非優先信号の振幅を減少させ、該非優先信号の位相と該優先信号の位相とがそろうように、該非優先信号の位相を該優先信号の位相に対して遅延させ若しくは進め、又は該優先信号の位相を該非優先信号の位相に対して遅延させ若しくは進め、又は、これらを組み合わせる演算を含むことを特徴とするミキシングプログラム。
【請求項９】
時間周波数変換部によって、時間領域の２つ以上の入力信号を、周波数領域の信号に変換して、時間軸と周波数軸とからなる時間周波数平面上の信号データを生成するステップと、
信号処理部によって、上記時間周波数平面上の信号データに基づいて演算をすることにより、上記２つ以上の入力信号の時間周波数平面上でのミキシングを行いミキシングデータを生成するステップと、
周波数時間変換部によって、上記ミキシングデータを時間領域の信号に変換して出力信号を出力するステップとを有し、
上記２つ以上の入力信号のうちの少なくとも１つは、明りょう度を上げるために他の入力信号よりも優先する優先信号であり、残りの入力信号は、非優先信号であり、
上記ミキシングデータを生成するステップは、上記信号データを生成するステップにおいて生成された上記時間周波数平面上の各信号データの位相、遅延量、振幅又はこれらの組み合わせのうちいずれかについて行う、上記優先信号が上記非優先信号よりも優先されて、該優先信号の明りょう度を上げる優先演算を行うステップを含み、
上記優先演算は、上記優先信号の振幅を増大させ、上記非優先信号の振幅を減少させ、該非優先信号の位相と上記優先信号の位相とがそろうように、該非優先信号の位相を該優先信号の位相に対して遅延させ若しくは進め、又は該優先信号の位相を該非優先信号の位相に対して遅延させ若しくは進め、又は、これらを組み合わせる演算を含むことを特徴とするミキシング方法。
【図１】
【図２】
【図３】
【図４】
【図５】
【図６】
【図７】
【図８】
【図９】
【図１０】
【図１１】
【図１２】
【図１３】
【図２】
【図３】
【図４】
【図５】
【図６】
【図７】
【図８】
【図９】
【図１０】
【図１１】
【図１２】
【図１３】
【公開番号】特開２０１３−５１５８９（Ｐ２０１３−５１５８９Ａ）
【公開日】平成２５年３月１４日（２０１３．３．１４）
【国際特許分類】
【出願番号】特願２０１１−１８９１８７（Ｐ２０１１−１８９１８７）
【出願日】平成２３年８月３１日（２０１１．８．３１）
【特許番号】特許第５０５７５３５号（Ｐ５０５７５３５）
【特許公報発行日】平成２４年１０月２４日（２０１２．１０．２４）
【出願人】（５０４１３３１１０）国立大学法人電気通信大学 (383)
【公開日】平成２５年３月１４日（２０１３．３．１４）
【国際特許分類】
【出願日】平成２３年８月３１日（２０１１．８．３１）
【特許番号】特許第５０５７５３５号（Ｐ５０５７５３５）
【特許公報発行日】平成２４年１０月２４日（２０１２．１０．２４）
【出願人】（５０４１３３１１０）国立大学法人電気通信大学 (383)
[ Back to top ]