音声信号処理装置、方法、プログラム、及び記録媒体
【課題】２チャネル分の音声信号に対し、任意に指定された方向の音像のみを分離・増圧することが可能な音声信号処理装置を提供する。
【解決手段】音声信号処理装置（音声信号処理部２０で例示）は、入力音声信号を２つのチャネル間の相関信号と無相関信号とに分離する信号分離部（信号分離抽出部２３で例示）と、信号分離部で分離された信号に対し、所定の空間的範囲に合成される音像に関わる相関信号中の成分を増加させる相関信号増加部（相関信号処理部２４及びゲイン調整部２５ｂで例示）とを備え、複数のスピーカによって合成される音像群のうち所定の空間的範囲に合成される音像のみを増圧する。
【解決手段】音声信号処理装置（音声信号処理部２０で例示）は、入力音声信号を２つのチャネル間の相関信号と無相関信号とに分離する信号分離部（信号分離抽出部２３で例示）と、信号分離部で分離された信号に対し、所定の空間的範囲に合成される音像に関わる相関信号中の成分を増加させる相関信号増加部（相関信号処理部２４及びゲイン調整部２５ｂで例示）とを備え、複数のスピーカによって合成される音像群のうち所定の空間的範囲に合成される音像のみを増圧する。
【発明の詳細な説明】
【技術分野】
【０００１】
本発明は、複数のスピーカで再生するための音声信号を処理する音声信号処理装置、方法、プログラム、及び記録媒体に関する。
【背景技術】
【０００２】
従来から、音声または楽音コンテンツに含まれる音源を分離し、ある特定の音源だけを取り出すという技術の研究が行われている。特定の音源だけを取り出すことができれば、注目する特定の音声のみを聴くということや、楽器の練習や採譜のために、楽曲に含まれる特定の楽器音だけを聴くということが可能となる。
【０００３】
従来から提案されている音響再生方式には、ステレオ（２ｃｈ）方式、５.１ｃｈサラウンド方式（ＩＴＵ−Ｒ ＢＳ.７７５−１）、７.１ｃｈ、９.１ｃｈ、２２.２ｃｈなどがあるが、現在、音声や楽音コンテンツとして最も普及しているチャネル数は２ｃｈ（ステレオ）方式である。したがって、そこから特定の音声や楽器音のみを取り出す技術は非常に有用である。
【０００４】
このような２ｃｈ方式から特定の音声や楽器音のみを取り出す技術として、特許文献１，２に記載の技術が提案されている。特許文献１に記載の音響再生装置では、ボーカル成分の分離に関し、各チャネルについて、人間の声の周波数特性を利用し、例えばバイスペクトル分析により楽器音から分離している。特許文献２に記載の装置では、中央に定位する音像の信号を強調するために、左右チャネルの音声信号をそれぞれ複数の周波数帯域に分割し、帯域毎にパワーの絶対値の比を計算する。そして、その比が１に近い場合には、その帯域の音声信号は、中央に定位する音像に関する信号であると見做して左右の音声信号を加算する。加算される２つの音声信号の位相が揃っている例えば中央定位するボーカル音声信号などの場合には、振幅が約２倍になり、強調されて聞こえるというものである。
【先行技術文献】
【特許文献】
【０００５】
【特許文献１】実開平５−６０１００号公報
【特許文献２】特開２００４−３４３５９０号公報
【発明の概要】
【発明が解決しようとする課題】
【０００６】
しかしながら、特許文献１に記載の技術では、人間の声の周波数特性を利用して音声の分離を行っているが、人間の声の周波数特性が近い楽器音などの音声信号も多数存在するため、そのような音声信号が人間の声とともに含まれている場合、この分離方法で音声のみを取り出すことは技術的に困難である。また、この方法は、取り出す対象が音声（人の声）を示す信号であることに特化したものであり、同じ方法で特定の楽器音を取り出すことは困難である。楽器毎に周波数特性は様々であり、周波数特性が似ている音同士を周波数分析のみにて分離することは困難であることはよく知られている。
【０００７】
また、特許文献２に記載の技術では、左右の音声信号の周波数帯域毎のパワーの絶対値の比を基に中央の音像の成分を強調しているが、分離したい音声や楽器音などが常に中央に定位するとは限らない。コンテンツによっては中央よりも左右どちらかのスピーカ寄りの方向にボーカルの音像が定位するものも数多く存在するし、一般的に合奏形態の楽器音の音は、中央には定位せず左右どちらかのスピーカ寄りの方向に定位するように記録されてあるものが多い。また、特許文献２に記載の技術では、中央定位の音像について強調処理のみ施すものであるが、上述した注目する特定の音声や楽器音のみを聴くという目的に対しては、音声信号を分離する必要があり、強調のみでは不十分である。
【０００８】
このように、特許文献１，２をはじめとする従来の技術では、ステレオ記録された音声または楽音コンテンツに対し、任意の方向に音像が定位する特定の音声または楽音を示す信号を分離し、取り出して増圧する（抽出する）ことができない。
【０００９】
本発明は、上述のような実状に鑑みてなされたものであり、その目的は、ステレオ記録された音声または楽音コンテンツなどに含まれる２チャネル分の音声信号に対し、任意に指定された方向の音像のみを分離・増圧することが可能な音声信号処理装置、方法、プログラム、及び記録媒体を提供することにある。
【課題を解決するための手段】
【００１０】
上述したような課題を解決するために、本発明の第１の技術手段は、複数のスピーカによって合成される音像群のうち所定の空間的範囲に合成される音像のみを増圧する音声信号処理装置であって、入力音声信号を２つのチャネル間の相関信号と無相関信号とに分離する信号分離部と、該信号分離部で分離された信号に対し、前記所定の空間的範囲に合成される音像に関わる相関信号中の成分を増加させる相関信号増加部とを備えたことを特徴としたものである。
第２の技術手段は、第１の技術手段において、前記信号分離部で分離された信号に対し、前記所定の空間的範囲に合成される音像に関わる無相関信号中の成分を減少させる無相関信号減少部をさらに備えたことを特徴としたものである。
【００１１】
第３の技術手段は、第１または第２の技術手段において、前記相関信号増加部における増加の度合いを変更するユーザ操作を受け付けるためのユーザインタフェースと、該ユーザインタフェースで受け付けられたユーザ操作に従って、前記増加の度合いを示すパラメータを変更するパラメータ制御部とをさらに備えたことを特徴としたものである。
第４の技術手段は、第３の技術手段において、前記ユーザインタフェースは、前記相関信号増加部における増加の度合いを周波数帯域毎に変更するユーザ操作を受け付け可能に構成されており、前記パラメータ制御部は、前記ユーザインタフェースで受け付けられたユーザ操作に従って、前記増加の度合い及び変更の対象となった周波数帯域を示すパラメータを変更することを特徴としたものである。
【００１２】
第５の技術手段は、第２の技術手段において、前記無相関信号減少部における減少の度合いを変更するユーザ操作を受け付けるためのユーザインタフェースと、該ユーザインタフェースで受け付けられたユーザ操作に従って、前記減少の度合いを示すパラメータを変更するパラメータ制御部とをさらに備えたことを特徴としたものである。
第６の技術手段は、第５の技術手段において、前記ユーザインタフェースは、前記無相関信号減少部における減少の度合いを周波数帯域毎に変更するユーザ操作を受け付け可能に構成されており、前記パラメータ制御部は、前記ユーザインタフェースで受け付けられたユーザ操作に従って、前記減少の度合い及び変更の対象となった周波数帯域を示すパラメータを変更することを特徴としたものである。
【００１３】
第７の技術手段は、第１〜第６のいずれか１の技術手段において、前記所定の空間的範囲を変更するユーザ操作を受け付けるためのユーザインタフェースと、該ユーザインタフェースで受け付けられたユーザ操作に従って前記所定の空間的範囲を示すパラメータを変更するパラメータ制御部とをさらに備えたことを特徴としたものである。
【００１４】
第８の技術手段は、第３〜第７のいずれか１の技術手段において、前記ユーザインタフェースは、前記所定の空間的範囲に合成される音像に関わる相関信号中の成分の量を可視化して表示することを特徴としたものである。
第９の技術手段は、第８の技術手段において、前記ユーザインタフェースは、前記所定の空間的範囲に合成される音像に関わる相関信号中の成分の量を周波数帯域毎に可視化して表示することを特徴としたものである。
【００１５】
第１０の技術手段は、第３〜第９のいずれか１の技術手段において、前記ユーザインタフェースは、前記所定の空間的範囲に合成される音像に関わる無相関信号中の成分の量を可視化して表示することを特徴としたものである。
第１１の技術手段は、第１０の技術手段において、前記ユーザインタフェースは、前記所定の空間的範囲に合成される音像に関わる無相関信号中の成分の量を周波数帯域毎に可視化して表示することを特徴としたものである。
【００１６】
第１２の技術手段は、複数のスピーカによって合成される音像群のうち所定の空間的範囲に合成される音像のみを増圧する音声信号処理方法であって、信号分離部が、入力音声信号を２つのチャネル間の相関信号と無相関信号とに分離する分離ステップと、相関信号増加部が、前記分離ステップで分離された信号に対し、前記所定の空間的範囲に合成される音像に関わる相関信号中の成分を増加させる増加ステップと、を有することを特徴としたものである。
【００１７】
第１３の技術手段は、コンピュータに、複数のスピーカに出力するための入力音声信号を、２つのチャネル間の相関信号と無相関信号とに分離する分離ステップと、該分離ステップで分離された信号に対し、所定の空間的範囲に合成される音像に関わる相関信号中の成分を増加させる増加ステップと、を実行させるためのプログラムである。
第１４の技術手段は、第１３の技術手段におけるプログラムを記録したコンピュータ読み取り可能な記録媒体である。
【発明の効果】
【００１８】
本発明によれば、ステレオ記録された音声または楽音コンテンツなどに含まれる２チャネル分の音声信号に対し、中央の音像だけでなく、中央以外に定位するボーカルや楽器音など全ての音像に対して、任意に指定された方向の音像のみを、分離・増圧することが可能になる。
【図面の簡単な説明】
【００１９】
【図１】本発明に係る音声信号処理装置を備えた音声データ再生装置の一構成例を示すブロック図である。
【図２】図１の音声データ再生装置における音声信号処理部の一構成例を示すブロック図である。
【図３】図２の音声信号処理部において音声データをバッファに蓄える様子を示す図である。
【図４】受聴者と左右のスピーカと合成音像との位置関係の例を説明するための模式図である。
【図５】図１のユーザインタフェース制御部により表示デバイスに表示させるグラフィカルユーザインタフェース（ＧＵＩ）画面の一例を示す図である。
【図６】図５のＧＵＩ画面におけるスライダに対応する、受聴者と音像の方向との位置関係の例を説明するための模式図である。
【図７】図２の後処理部に入力される音声信号の波形例を示す図である。
【図８】図７の音声信号の一部を拡大した図である。
【図９】左右チャネルの音声信号を離散フーリエ変換し左右チャネルの直流成分を無視した場合に、離散フーリエ逆変換後のセグメント境界に生じる波形の不連続点を説明するための模式図である。
【図１０】図２の後処理部で施される不連続点除去処理の一例を説明するための模式図である。
【図１１】図８の音声信号に対し、図１０の不連続点除去処理を施した結果を示す図である。
【図１２】図１のユーザインタフェース制御部により表示デバイスに表示させるＧＵＩ画面の他の例を示す図である。
【図１３】図１のユーザインタフェース制御部により表示デバイスに表示させるＧＵＩ画面の他の例を示す図である。
【図１４】図１のユーザインタフェース制御部により表示デバイスに表示させるＧＵＩ画面の他の例を示す図である。
【図１５】図１のユーザインタフェース制御部により表示デバイスに表示させるＧＵＩ画面の他の例を示す図である。
【図１６】図１のユーザインタフェース制御部により表示デバイスに表示させるＧＵＩ画面の他の例を示す図である。
【発明を実施するための形態】
【００２０】
本発明に係る音声信号処理装置は、２つの音声信号から任意に指定された方向の音像のみを分離して抽出することが可能な装置であって、音声信号抽出処理装置などとも呼べ、音声データ再生装置に組み込むことができる。なお、音声信号とは、当然、いわゆる音声を記録した信号に限ったものではなく、音響信号とも呼べる。
【００２１】
以下、図面を参照しながら、本発明に係る音声信号処理装置の構成例及び処理例について説明する。図１は、本発明に係る音声信号処理装置を備えた音声データ再生装置の一構成例を示すブロック図で、図２は、図１の音声データ再生装置における音声信号処理部の一構成例を示すブロック図である。また、図３は、図２の音声信号処理部において音声データをバッファに蓄える様子を示す図である。
【００２２】
図１で例示する音声データ再生装置１０は、デコーダ１１、音声信号抽出部１２、音声信号処理部１３、Ｄ／Ａコンバータ１４、増幅器１５、スピーカ１６、パラメータ制御部１７、ユーザインタフェース制御部１８、表示デバイス１９ａ、及び入力デバイス１９ｂから構成される。本発明に係る音声信号処理装置は、主に音声信号処理部１３で構成され、好ましい構成例ではパラメータ制御部１７、ユーザインタフェース制御部１８、表示デバイス１９ａ、及び入力デバイス１９ｂを備える。
【００２３】
デコーダ１１は、音声のみあるいは音声付き映像のコンテンツを復号化し、信号処理可能な形式に変換し音声信号抽出部１２に出力する。そのコンテンツは、放送局から送信されたデジタル放送のコンテンツや、ネットワークを介してディジタルコンテンツを配信するサーバからインターネットからダウンロードしたり、あるいは外部記憶装置等の記録媒体から読み込んだりすることによって取得する。このように、図１では図示しないが、音声データ再生装置１０は、マルチチャネルの入力音声信号を含むディジタルコンテンツを入力するディジタルコンテンツ入力部を備える。デコーダ１１は、ここで入力されたディジタルコンテンツを復号化することになる。音声信号抽出部１２では、得られた信号から音声信号を分離、抽出する。ここではそれは２ｃｈステレオ信号とする。その２チャネル分の信号を音声信号処理部１３に出力する。
【００２４】
ユーザインタフェース制御部１８では、ユーザが例えば表示デバイス１９ａに表示するＧＵＩ（Graphical User Interface）を介し、入力デバイス１９ｂであるマウスやキーボード、タッチパネル、あるいはボタン操作などによって入力した入力信号を取得し、パラメータ制御部１７に出力する。パラメータ制御部１７では入力された信号を、音声信号処理部１３での処理に関するパラメータ群に変換し、それらを音声信号処理部１３に出力する。
【００２５】
音声信号処理部１３は、概略的に説明すると、得られた２チャネル信号を、相関信号と無相関信号に分離し、相関信号について、パラメータ制御部１７から入力されたパラメータ群を用いて成分毎の増圧度合を調整する。なお、増圧度合とは、抽出（ピックアップ）する度合い、信号成分を増加させる度合いを指す。また、音声信号処理部１３は、無相関信号について、抑圧の度合を調整できる構成とすることが好ましい。そして、音声信号処理部１３は、そのような調整の結果として得られた音声信号を、Ｄ／Ａコンバータ１４に出力する。Ｄ／Ａコンバータ１４では得られた信号をアナログ信号に変換し、左右それぞれの信号を増幅器１５に出力する。各増幅器１５では入力されたアナログ信号を拡声し各スピーカ１６に伝送し、各スピーカ１６から空間中に音として出力される。
【００２６】
図１における音声信号処理部１３の詳細な構成を、図２を参照しながら説明する。本発明に係る音声信号処理装置は、複数のスピーカによって合成される音像群から所定の空間的範囲に合成される音像のみを増圧する（抽出して増幅する）ための装置である。なお、増圧する音像は、概念的に一つの音像として取り扱っているが、当然、音像群として定義付けることもできる。そのために、本発明に係る音声信号処理装置（音声信号処理部２０で例示）は、次の信号分離部及び相関信号増加部を備える。図２で例示する音声信号処理部２０は、前処理部２１、離散フーリエ変換部２２、信号分離抽出部２３、相関信号処理部２４、ゲイン調整部２５ａ，２５ｂ，２５ｃ、合成部２６、離散フーリエ逆変換部（逆離散フーリエ変換部）２７、そして後処理部２８から構成される。
【００２７】
前処理部２１では音声データを読み込み、窓関数演算を行う。離散フーリエ変換部２２ではその信号を時間領域の表現から周波数領域の表現に変換する。上述した信号分離部は、入力音声信号を２つのチャネル間の相関信号と無相関信号とに分離する部位であり、相関信号抽出部とも言え、信号分離抽出部２３で例示できる。信号分離抽出部２３では、音声信号を相関信号と左右チャネルそれぞれから分離される無相関信号に分離する。相関信号処理部２４は、相関信号の合成音像の方向に基づいて合成音像の増圧度合を決定する。ゲイン調整部２５ａ，２５ｂ，２５ｃは、左チャネル無相関信号、相関信号、右チャネル無相関信号それぞれについてスケーリング処理（ゲイン係数乗算処理）を行う。そうして、増圧処理がなされた相関信号と左右の無相関信号を左右チャネルに再び割り当てる。
【００２８】
合成部２６は、ゲイン調整部２５ａ，２５ｂ，２５ｃからの出力を、チャネル毎に全て合成し、チャネル毎の再割り当て後の信号として、離散フーリエ逆変換部２７に出力する。なお、合成部２６は、３つの音声信号を加算処理（つまり重ね合わせ処理）するため、加算部あるいは重ね合わせ部とも言える。離散フーリエ逆変換部２７は、入力されたスケーリング後の音声信号を再び時間領域に戻し、後処理部２８へ出力する。後処理部２８は、ノイズ除去を施して信号を図１のＤ／Ａコンバータ１４に出力する。
【００２９】
以下、音声信号処理部２０における各部について、具体的な処理例を説明する。
まず、前処理部２１は、１セグメントの半分の長さの音声データを、図１における音声信号抽出部１２から読み出す。ここで、音声データとは、例えば４８ｋＨｚなどの標本化周波数で標本化された２チャネルの離散音声信号波形を指すものとする。そして、セグメントとは、ある一定の長さの標本点群からなる音声データ区間であり、ここでは後ほど離散フーリエ変換の対象となる区間長を指すものとする。その値は例えば１０２４とする。この例では、１セグメントの半分の長さである５１２点の音声データが読み出し対象となる。
【００３０】
読み出した５１２点の音声データは図３で例示するようなバッファ３０に蓄えられる。このバッファは、直前の１セグメント分の音声信号波形を保持しておけるようになっており、それより過去のセグメントは捨てていく。直前の半セグメント分のデータと最新の半セグメント分のデータを繋げて１セグメント分の音声データを作成し、その信号に対し、窓関数演算を行う。すなわち、全ての標本データは窓関数演算に２回読み込まれることになる。
【００３１】
窓関数演算では、従来提案されている次のＨａｎｎ窓を１セグメント分の音声データに乗算する。
【数１】
ここで、ｍは自然数、Ｍは１セグメント長で偶数とする。ステレオの入力信号をそれぞれｘＬ（ｍ）、ｘＲ（ｍ）とすると、窓関数乗算後の音声信号ｘ′Ｌ（ｍ）、ｘ′Ｒ（ｍ）は、
【００３２】
ｘ′Ｌ（ｍ）＝ｗ（ｍ）ｘＬ（ｍ） 、
ｘ′Ｒ（ｍ）＝ｗ（ｍ）ｘＲ（ｍ） (2)
と計算される。このＨａｎｎ窓を用いると、例えば標本点ｍ０（ただし、Ｍ／２≦ｍ０＜Ｍ）の入力信号ｘＬ（ｍ０）にはｓｉｎ２（（ｍ０／Ｍ）π）が乗算される。そして、その次の回の読み込みではその同じ標本点がｍ０−Ｍ／２として読み込まれるので、
【００３３】
【数２】
が乗算される。ここで、ｓｉｎ２（（ｍ０／Ｍ）π）＋ｃｏｓ２（（ｍ０／Ｍ）π）＝１であるから、もし、何も修正を加えずに読み込んだ信号を半セグメントずつずらして加算すれば、元の信号が完全に復元されることになる。
【００３４】
離散フーリエ変換部２２について説明する。離散フーリエ変換部２２は、そうして得られた音声データを次の数式(3)のように離散フーリエ変換し、周波数領域の音声データを得る。ここで、ＤＦＴは離散フーリエ変換を表し、ｋは自然数で、０≦ｋ＜Ｍである。ＸＬ（ｋ）、ＸＲ（ｋ）は複素数となる。
ＸＬ（ｋ）＝ＤＦＴ（ｘ′Ｌ（ｎ）） 、
ＸＲ（ｋ）＝ＤＦＴ（ｘ′Ｒ（ｎ）） (3)
【００３５】
次に、信号分離抽出部２３での処理について説明する。まず、得られた周波数領域の音声データを小さい帯域に分割する。分割方法についてはEquivalent Rectangular Band（ＥＲＢ）を用い、ＥＲＢの帯域幅で０Ｈｚから標本化周波数の１／２の周波数までの間を分割する。ここで、ＥＲＢにより、与えられた周波数の上限ｆｍａｘ［Ｈｚ］までをいくつに分割するか、すなわちＥＲＢで分割した各帯域の索引の最大値Ｉは次式によって与えられる。
Ｉ＝ｆｌｏｏｒ（２１.４ｌｏｇ１０（０.００４３７ｆｍａｘ＋１）） (4)
ただし、ｆｌｏｏｒ（ａ）はフロア関数で、実数ａを越えない整数の最大値を表す。
【００３６】
そして、それぞれのＥＲＢ幅の帯域（以下、小帯域）の中心周波数Ｆｃ（ｉ）（１≦ｉ≦Ｉ）［Ｈｚ］は次式によって与えられる。
【数３】
【００３７】
また、その時のＥＲＢの帯域幅ｂ（ｉ）［Ｈｚ］は次式によって求められる。
ｂ（ｉ）＝２４.７（０.００４３７Ｆｃ（ｉ）＋１） (6)
よって、その中心周波数から低域側と高域側にそれぞれＥＲＢ／２の周波数幅だけシフトすることによりｉ番目の小帯域の両側の境界周波数ＦＬ（ｉ）、ＦＵ（ｉ）を求めることができる。したがって、ｉ番目の小帯域には、ＫＬ（ｉ）番目の線スペクトルからＫＵ（ｉ）番目の線スペクトルが含まれる。ここで、ＫＬ（ｉ）、ＫＵ（ｉ）はそれぞれ次の数式(7)、(8)で表される。
ＫＬ（ｉ）＝ｃｅｉｌ（２１.４ｌｏｇ１０（０.００４３７ＦＬ（ｉ）＋１）） (7)
ＫＵ（ｉ）＝ｆｌｏｏｒ（２１.４ｌｏｇ１０（０.００４３７ＦＵ（ｉ）＋１）） (8)
ただし、ｃｅｉｌ（ａ）は天井関数で、実数ａより小さくならない整数の最小値を表す。また、離散フーリエ変換した後の線スペクトルは、直流成分すなわち例えばＸＬ（０）を除いて、Ｍ／２（ただし、Ｍは偶数）を境に対称となっている。すなわち、ＸＬ（ｋ）とＸＬ（Ｍ−ｋ）は０＜ｋ＜Ｍ／２の範囲で複素共役の関係になる。したがって、以下ではＫＵ（ｉ）≦Ｍ／２の範囲を分析の対象として考え、ｋ＞Ｍ／２の範囲については複素共役の関係にある対称の線スペクトルと同じ扱いとする。
【００３８】
これらの具体例を示す。例えば、標本化周波数が４８０００Ｈｚの場合、Ｉ＝４９となり、４９の小帯域に分割することとなる。ただし、直流成分は分割の対象とせず、どの小帯域にも含まないこととする。なぜならば、以下の方式では左右チャネルの正規化相関係数を求めるが、直流成分は複素数の実部しか持たないために正規化相関係数が１となるため、左右チャネルの直流成分が全て相関係数に割り当てられるという不適当な処理になってしまうからである。また、最も高い小帯域区間よりもさらに上の周波数に相当する線スペクトル成分も存在するが、それらは聴感上の影響も殆ど無く、さらに通常は値が微小であるため、それらは最も高い小帯域区間に含めることとして差し支えない。
【００３９】
次に、このようにして決定される各小帯域において、左チャネルと右チャネルの正規化相関係数を次式で求めることで、相関係数を取得する。
【数４】
【００４０】
この正規化相関係数ｄ（ｉ）は左右のチャネルの音声信号にどれだけ相関があるかを表すものであり、０から１の間の実数の値をとる。全く同じ信号同士であれば１、そして全く無相関の信号同士であれば０となる。ここで、左右のチャネルの音声信号の電力ＰＬ（ｉ）とＰＲ（ｉ）の両方が０である場合、その小帯域に関して相関信号と無相関信号の抽出は不可能とし、処理を行わず次の小帯域の処理に移ることとする。また、ＰＬ（ｉ）とＰＲ（ｉ）のいずれか片方が０である場合、数式(9)では演算不可能であるが、正規化相関係数ｄ（ｉ）＝０とし、その小帯域の処理を続行する。
【００４１】
次に、信号分離抽出部２３は、この正規化相関係数ｄ（ｉ）を用いて、左右チャネルの音声信号から相関信号と無相関信号をそれぞれ分離抽出するための変換係数を求め、それぞれの変換係数を用いて、左右チャネルの音声信号から相関信号と無相関信号を分離抽出する。相関信号及び無相関信号は、いずれも推定した音声信号として抽出すればよい。
【００４２】
ここで、左右チャネルそれぞれの信号は、無相関信号と相関信号から構成され、相関信号については左右から同じ信号が出力されるものとするモデルを採用する。そして、左右から出力される相関信号によって合成される音像は、その相関信号の左右それぞれの音圧のバランスによって方向が決定されるものとする。そのモデルに従うと、入力信号ｘＬ（ｎ）、ｘＲ（ｎ）は、
ｘＬ（ｍ）＝ ｓ（ｍ）＋ｎＬ（ｍ）、
ｘＲ（ｍ）＝αｓ（ｍ）＋ｎＲ（ｍ） (13)
と表される。ここで、ｓ（ｍ）は左右の相関信号、ｎＬ（ｍ）は左チャネルの音声信号から相関信号ｓ（ｍ）を減算したものであって（左チャネルの）無相関信号として定義できるもの、ｎＲ（ｍ）は右チャネルの音声信号から相関信号ｓ（ｍ）を減算したものであって（右チャネルの）無相関信号として定義できるものである。また、αは相関信号の左右音圧バランスの程度を表す正の実数である。
【００４３】
数式(13)により、数式(2)で前述した窓関数乗算後の音声信号ｘ′Ｌ（ｍ）、ｘ′Ｒ（ｍ）は、次の数式(14)で表される。ただし、ｓ′（ｍ）、ｎ′Ｌ（ｍ）、ｎ′Ｒ（ｍ）はそれぞれｓ（ｍ）、ｎＬ（ｍ）、ｎＲ（ｍ）に窓関数を乗算したものである。
ｘ′Ｌ（ｍ）＝ｗ（ｍ）｛ ｓ（ｍ）＋ｎＬ（ｍ）｝＝ ｓ′（ｍ）＋ｎ′Ｌ（ｍ）、
ｘ′Ｒ（ｍ）＝ｗ（ｍ）｛αｓ（ｍ）＋ｎＲ（ｍ）｝＝αｓ′（ｍ）＋ｎ′Ｒ（ｍ）
(14)
【００４４】
数式(14)を離散フーリエ変換することによって、次の数式(15)を得る。ただし、Ｓ（ｋ）、ＮＬ（ｋ）、ＮＲ（ｋ）はそれぞれｓ′（ｍ）、ｎ′Ｌ（ｍ）、ｎ′Ｒ（ｍ）を離散フーリエ変換したものである。
ＸＬ（ｋ）＝ Ｓ（ｋ）＋ＮＬ（ｋ）、
ＸＲ（ｋ）＝αＳ（ｋ）＋ＮＲ（ｋ） (15)
【００４５】
したがって、ｉ番目の小帯域における音声信号ＸＬ（ｉ）（ｋ）、ＸＲ（ｉ）（ｋ）は、
ＸＬ（ｉ）（ｋ）＝ Ｓ（ｉ）（ｋ）＋ＮＬ（ｉ）（ｋ）、
ＸＲ（ｉ）（ｋ）＝α（ｉ）Ｓ（ｉ）（ｋ）＋ＮＲ（ｉ）（ｋ）
ただし、ＫＬ（ｉ）≦ｋ≦ＫＵ（ｉ） (16)
と表現される。ここで、α（ｉ）はｉ番目の小帯域におけるαを表す。以後、ｉ番目の小帯域における相関信号Ｓ（ｉ）（ｋ）、無相関信号ＮＬ（ｉ）（ｋ）、ＮＲ（ｉ）（ｋ）をそれぞれ、
Ｓ（ｉ）（ｋ）＝Ｓ（ｋ）、
ＮＬ（ｉ）（ｋ）＝ＮＬ（ｋ）、
ＮＲ（ｉ）（ｋ）＝ＮＲ（ｋ）
ただし、ＫＬ（ｉ）≦ｋ≦ＫＵ（ｉ） (17)
とおくこととする。
【００４６】
数式(16)から、数式(12)の音圧ＰＬ（ｉ）とＰＲ（ｉ）は、
ＰＬ（ｉ）＝ＰＳ（ｉ）＋ＰＮ（ｉ）、
ＰＲ（ｉ）＝［α（ｉ）］２ＰＳ（ｉ）＋ＰＮ（ｉ） (18)
と表される。ここで、ＰＳ（ｉ）、ＰＮ（ｉ）はｉ番目の小帯域におけるそれぞれ相関信号、無相関信号の電力であり、
【数５】
と表される。ここで、左右の無相関信号の音圧は等しいと仮定している。
【００４７】
また、数式(10)〜(12)より、数式(9)は、
【数６】
と表すことができる。ただし、この算出においてはＳ（ｋ）、ＮＬ（ｋ）、ＮＲ（ｋ）が互いに直交し、かけ合わされたときの電力は０と仮定している。
【００４８】
数式(18)と数式(20)を解くことにより、次の式が得られる。
【数７】
【００４９】
これらの値を用いて、各小帯域における相関信号と無相関信号を推定する。ｉ番目の小帯域における相関信号Ｓ（ｉ）（ｋ）の推定値est（Ｓ（ｉ）（ｋ））を、媒介変数μ１、μ２を用いて、
est（Ｓ（ｉ）（ｋ））＝μ１ＸＬ（ｉ）（ｋ）＋μ２ＸＲ（ｉ）（ｋ） (23)
とおくと、推定誤差εは、
ε＝est（Ｓ（ｉ）（ｋ））−Ｓ（ｉ）（ｋ） (24)
と表される。ここで、est（Ａ）はＡの推定値を表すものとする。そして二乗誤差ε２が最少になるとき、εとＸＬ（ｉ）（ｋ）、ＸＲ（ｉ）（ｋ）はそれぞれ直交するという性質を利用すると、
Ｅ［ε・ＸＬ（ｉ）（ｋ）］＝０ 、 Ｅ［ε・ＸＲ（ｉ）（ｋ）］＝０ (25)
という関係が成り立つ。数式(16)、(19)、(21)〜(24)を利用すると、数式(25)から次の連立方程式が導出できる。
（１−μ１−μ２α（ｉ））ＰＳ（ｉ）−μ１ＰＮ（ｉ）＝０
α（ｉ）（１−μ１−μ２α（ｉ））ＰＳ（ｉ）−μ２ＰＮ（ｉ）＝０
(26)
【００５０】
この数式(26)を解くことによって、各媒介変数が次のように求まる。
【数８】
ここで、このようにして求まる推定値est（Ｓ（ｉ）（ｋ））の電力Ｐest（Ｓ）（ｉ）が、数式(23）の両辺を二乗して求まる次の式
Ｐest（Ｓ）（ｉ）＝（μ１＋α（ｉ）μ２）２ＰＳ（ｉ）＋（μ１２＋μ２２）ＰＮ（ｉ） (28)
を満たす必要があるため、この式から推定値を次式のようにスケーリングする。なお、est′（Ａ）はＡの推定値をスケーリングしたものを表す。
【００５１】
【数９】
【００５２】
そして、ｉ番目の小帯域における左右チャネルの無相関信号ＮＬ（ｉ）（ｋ）、ＮＲ（ｉ）（ｋ）に対する推定値est（ＮＬ（ｉ）（ｋ））、est（ＮＲ（ｉ）（ｋ））はそれぞれ、
est（ＮＬ（ｉ）（ｋ））＝μ３ＸＬ（ｉ）（ｋ）＋μ４ＸＲ（ｉ）（ｋ） (30)
est（ＮＲ（ｉ）（ｋ））＝μ５ＸＬ（ｉ）（ｋ）＋μ６ＸＲ（ｉ）（ｋ） (31)
とおくことにより、上述の求め方と同様にして、媒介変数μ３〜μ６は、
【００５３】
【数１０】
と求めることができる。このようにして求めた推定値est（ＮＬ（ｉ）（ｋ））、est（ＮＲ（ｉ）（ｋ））も上述と同様に、次の式によってそれぞれスケーリングする。
【００５４】
【数１１】
【００５５】
以上のように、信号分離抽出部２３は、上記変換係数として、数式(27)、(32)、(33)で示した各媒介変数μ１〜μ６及び数式(29)、(34)、(35)で示したスケーリングの係数で構成される変換係数を用いて、演算（数式(23)、(30)、(31)）により推定することで、相関信号と無相関信号（右チャネルの無相関信号、左チャネルの無相関信号）とを分離抽出し、このようにして分離された信号を出力する。出力について具体的に説明すると、信号分離抽出部２３は、左チャネルより分離された無相関信号est′（ＮＬ（ｉ）（ｋ））を左チャネル用のゲイン調整部２５ａに出力し、右チャネルより分離された無相関信号est′（ＮＲ（ｉ）（ｋ））を右チャネル用のゲイン調整部２５ｃに出力し、両チャネルより分離された相関信号est′（Ｓ（ｉ）（ｋ））を相関信号処理部２４に出力する。
【００５６】
相関信号処理部２４では、上述したように、相関信号からある特定の音像を抽出するための増圧の度合（ゲインに相当）を決定するが、その前処理として、小帯域毎に推定した相関信号によって生成される合成音像の方向を推定する。この推定処理について、図４に基づき説明する。図４は、受聴者と左右のスピーカと合成音像との位置関係の例を説明するための模式図である。
【００５７】
いま、図４に示す位置関係４０のように、受聴者から左右のスピーカ４１Ｌ，４１Ｒの中点にひいた線と、同じく受聴者４３からいずれかのスピーカ４１Ｌ／４１Ｒの中心までひいた線がなす見開き角をθ０、受聴者４３から推定合成音像４２の位置までひいた線がなす見開き角をθとする。ここで、左右のスピーカ４１Ｌ，４１Ｒから同じ音声信号を、音圧バランスを変えて出力した場合、その出力音声によって生じる合成音像４２の方向は、音圧バランスを表す前述のパラメータαを用いて次の式で近似できることが一般的に知られている（以下、立体音響におけるサインの法則と呼ぶ）。
【００５８】
【数１２】
【００５９】
よって、ｉ番目の小帯域における相関信号の合成音像の方向θ（ｉ）は次式によって求められる。ここで、θ０は予め決定しておく数値で、例えばθ０＝π／６［ｒａｄ］などとしてよい。
【数１３】
【００６０】
次に、このようにして方向が推定された相関信号が、増圧すべき信号であるかどうかを判断する。ここではその判断に際し、例えばデフォルト値などに基づき自動的に判断する場合を説明する。
【００６１】
上述した相関信号増加部は、信号分離抽出部２３で分離された信号に対し、所定の空間的範囲に合成される音像に関わる相関信号中の成分を増加させる部位であり、相関信号処理部２４及びゲイン調整部２５ｂで例示できる。相関信号中の成分とは、この例で言うと相関信号のｉ番目の成分（小帯域ｉについての相関信号）を指す。以下、しばしば、相関信号中の成分の増加を単に相関信号の増加と呼ぶ。相関信号増加部における処理は、デフォルト値に基づく処理であっても、ユーザインタフェースによるユーザ操作に基づいて設定したパラメータを用いた処理と同様であり、後述するユーザ操作に基づいた具体例を援用すれば理解できるため、省略する。音声信号処理部２０は、このような構成により、所定の空間的範囲に合成される音像を増圧することができる。
【００６２】
また、本発明に係る音声信号処理装置は、次の無相関信号減少部を備えることが好ましい。この無相関信号減少部は、信号分離抽出部２３で分離された信号に対し、所定の空間的範囲に合成される音像に関わる無相関信号中の成分を減少させる。無相関信号中の成分とは、この例で言うと無相関信号のｉ番目の成分（小帯域ｉについての無相関信号）を指す。以下、しばしば、無相関信号中の成分の減少／増加を単に無相関信号の減少／増加と呼ぶ。音声信号処理部２０では、この無相関信号減少部をゲイン調整部２５ａ，２５ｃで例示している。無相関信号減少部における処理は、デフォルト値に基づく処理であっても、ユーザインタフェースによるユーザ操作に基づいて設定したパラメータを用いた処理と同様であり、後述するユーザ操作に基づいた具体例を援用すれば理解できるため、省略する。音声信号処理部２０は、このような構成により、所定の空間的範囲に合成される音像を増圧することができるだけでなく、その音像の増圧についての受聴者の相対的な受聴感を、無相関信号の減少により高めることができる。
【００６３】
なお、音声信号処理装置は、無相関信号減少部の他に、同じ無相関信号中の成分を逆に増加させる無相関信号増加部を備えてもよい。所定の空間的範囲に合成される音像を増圧することができるだけでなく、その音像の増圧についての受聴者の相対的な受聴感を、この無相関信号増加部によって無相関信号を増加させて調整すること、すなわち相関信号の増圧を防ぐように調整することができる。但し、この調整（無相関信号の増圧）は、相関信号の増加による増圧の影響が受聴者にとって分からないようになるまで行うことのないように構成しておくとよい。そのために、例えば、相関信号の増加分を超えさせないようなリミッターを設けておくか、若しくはユーザインタフェース画面にそのリミットラインの表示を行っておけばよい。
【００６４】
以下、デフォルト値の代わりに、より好ましい例として、方向が推定された相関信号が増圧すべき信号であるかどうかを、ユーザが入力した値に基づいて判断する場合を挙げて、相関信号の増加による所定の空間的範囲の増圧や、無相関信号の減少（または増加）による所定の空間的範囲に合成される音像のうち無相関信号についての抑圧・減圧（または増圧）について、説明する。
【００６５】
まず、図１におけるユーザインタフェースとパラメータ制御部１７について、図５及び図６を参照しながら詳細に説明する。図５は、図１のユーザインタフェース制御部１８により表示デバイス１９ａに表示させるグラフィカルユーザインタフェース（ＧＵＩ）画面の一例を示す図で、図６は、図５のＧＵＩ画面におけるスライダに対応する、受聴者と音像の方向との位置関係の例を説明するための模式図である。以下に説明するユーザインタフェースは、表示デバイス１９ａ、入力デバイス１９ｂ、及びユーザインタフェース制御部１８でなり、以下に説明するようなユーザインターフェースの各種処理は、ユーザインタフェース制御部１８が表示デバイス１９ａ及び／または入力デバイス１９ｂを制御することで施される。
【００６６】
図５で例示するＧＵＩ画面５０は、ユーザインタフェース制御部１８が、表示デバイス１９ａに表示する画面の一例を示したものである。ＧＵＩ画面５０には、フォルダの一覧であるフォルダリスト５１が、一覧中のフォルダがユーザ選択可能（つまり入力デバイス１９ｂによりユーザ選択可能）な状態で表示されている。フォルダリスト５１に含まれるフォルダ５１ａはユーザに選択されてハイライト表示されているフォルダであり、このフォルダ５１ａの中に含まれているファイルの一覧がユーザ選択可能な状態で、ファイルリスト５２として表示されている。フォルダリスト５１では、選択されるフォルダが変更するたびに、ハイライト表示は対象フォルダ５１ａに移動し、その選択されたフォルダ５１ａに含まれるファイルがファイルリスト５２に表示される。
【００６７】
ＧＵＩ画面５０には、コンテンツ再生制御のための各種操作ボタン５９ａ〜５９ｅがユーザ操作可能に表示されている。ボタン５９ａはユーザが選択したコンテンツ５２ａの再生中に、曲の先頭まで戻すボタンのシンボルである。ボタン５９ｂはその再生中に、押下している間だけ、曲の再生を巻き戻すボタンのシンボルである。ボタン５９ｃはユーザが選択したコンテンツ５２ａの再生を開始するためのボタンのシンボルである。ボタン５９ｄはその再生中に、押下している間だけ、曲の再生を早送りするボタンのシンボルである。ボタン５９ｅはその再生中に、次の曲の先頭まで進めるボタンのシンボルである。
【００６８】
また、ＧＵＩ画面５０には、左チャネルから分離される無相関信号の位置を表すシンボル５３Ｌ、右チャネルから分離される無相関信号の位置を表すシンボル５３Ｒ、並びに左右チャネルから分離される相関信号の位置を表すシンボル５５ａが表示されている。また、ＧＵＩ画面５０にはこれらの位置を相対的に示すためのスライダ５４も表示されており、シンボル５３Ｌ，５３Ｒはスライダ５４の両端に、シンボル５５ａはスライダ５４のいずれかの位置に表示されている。
ここでスライダ５４は、左チャネルから右チャネルにかけての空間を表すシンボルであり、その両端を左右スピーカに見立てたとき、シンボル５５ａの位置を含む抽出対象範囲の方向の音声信号（つまりその方向の相関信号）を増圧するという意味を表している。
シンボル５５ａは、ユーザによるドラッグ操作などすることによって、その位置を左右に移動させることができるようになっている。その際、シンボル５５ｂとシンボル５５ｃとはその幅を保ってシンボル５５ａとともに移動する。その稼働範囲は、スライダ５４の右端にシンボル５５ｃの右端が達するところから、スライダ５４の左端にシンボル５５ｂの左端が達するところまでである。
【００６９】
シンボル５５ｂは、増圧する範囲である抽出対象範囲（上記所定の空間的範囲）の左側の幅を表すシンボルであり、ユーザの操作などによって、具体的にはシンボル５５ｂの左端をドラッグ操作などすることによってシンボル５５ｂの幅が変化する。シンボル５５ｃは、抽出対象範囲の右側の幅を表すシンボルであり、シンボル５５ｂと同様、ユーザの操作などによってその幅を変化させることができる。シンボル５５ｃまたはシンボル５５ｂの幅が変更された場合、シンボル５５ｂの左端とシンボル５５ｃの右端の中点を中心とするようにシンボル５５ａは再配置される。
また、シンボル５６ａ、シンボル５６ｂは、スライダ５４のうちシンボル５５ａ〜５５ｃを除く領域のうち、それぞれ左側の領域を示すシンボル、右側の領域を示すシンボルであり、シンボル５５ａ〜５５ｃの移動によってそれらの幅は変わり、無くなることもある。
【００７０】
このように、シンボル５５ａの移動操作により抽出対象範囲における中心位置を変更することが可能になっており、また、シンボル５５ｂまたはシンボル５５ｃの移動操作により抽出対象範囲における幅を変更することが可能になっている。このように、ユーザインタフェースは、抽出対象範囲（つまり上記所定の空間的範囲）を変更するユーザ操作を受け付け可能に構成しておくことが好ましい。ユーザ操作を受け付けるとは、その操作を受け付けるための画面を表示デバイス１９ａで表示させるとともに、入力デバイス１９ｂで受け付け可能にしておくことを指す。後述する相関信号や無相関信号に関する度合などのユーザ操作も受け付け可能に構成しておいてもよいが、抽出対象範囲だけ変更操作受付可能に構成しておいてもよい。パラメータ制御部１７は、ユーザインタフェースで受け付けられたユーザ操作に従って抽出対象範囲を示すパラメータを変更する。これにより、音像を増圧させる抽出対象範囲をユーザが任意に設定することができる。なお、パラメータ制御部１７におけるパラメータの変更や、その変更されたパラメータに基づく図１の音声信号処理部１３（図２の音声信号処理部２０）での処理例については後述する。
【００７１】
シンボル５７は、左右チャネルから分離される相関信号の増加の程度（増加の度合い、つまり相関信号を増加させる度合いであって増圧の度合いに対応する）を表すシンボルである。シンボル５７の上部に表示されている四角形はツマミを表すシンボルであり、ユーザの操作などによって上下に動く。このように、ユーザインタフェースは、相関信号増加部（相関信号処理部２４及びゲイン調整部２５ｂ）における増加の度合いを変更するユーザ操作を受け付け可能に構成することが好ましい。そして、パラメータ制御部１７は、ユーザインタフェースで受け付けられたユーザ操作に従って、増加の度合いを示すパラメータを変更する。例えばパラメータとしては１より大きい値とし、１より大きくなるに連れて増加の度合いが大きくなるようにすればよい。これにより、相関信号の増加の度合い（増圧の度合い）を設定することができる。以下、増加の度合いを変更するのは主に相関信号処理部２４で行い、ゲイン調整部２５ｂではその増加の度合いに対応したゲイン係数を乗算するだけであるため、相関信号増加部の処理を相関信号処理部２４の処理として説明する。
【００７２】
シンボル５８Ｌは、左チャネルから分離される無相関信号の減少の度合いを表すシンボルである。上部に表示されている四角形はツマミを表すシンボルであり、ユーザの操作などによって上下に動く。シンボル５８Ｒは、右チャネルから分離される無相関信号の減少の度合いを表すシンボルである。上部に表示されている四角形はシンボル５８Ｌのそれと同様、ユーザの操作などによって上下に動く。このように、ユーザインタフェースは、上述した無相関信号減少部における減少の度合いを変更するユーザ操作を受け付け可能に構成しておくことが好ましい。以下、無相関信号の減少の度合いを変更するのは主にゲイン調整部２５ａ，２５ｃで行うため、無相関信号減少部の処理をゲイン調整部２５ａ，２５ｃの処理として説明する。パラメータ制御部１７は、ユーザインタフェースで受け付けられたユーザ操作に従って、減少の度合いを示すパラメータを変更する。例えばパラメータとしては０より大きい値とし、１より小さい場合に減少（０に近い程、減少度合が大きい）とすればよい。また、無相関信号増加部も併せて設ける場合には無相関信号減少部と同様にゲイン調整部２５ａ，２５ｃの処理に含めることができ、上記パラメータが１の場合には増減無し、１より大きい場合には増加（大きくなるに連れて増加度合が大きい）ようにすればよい。これにより、無相関信号の減少／増加の程度（つまり、抑圧または増圧の度合い）を設定することができる。
【００７３】
また、これらのユーザ操作を双方受付可能に構成しておくことが好ましい。つまり、ユーザインタフェースは、相関信号処理部２４における増加の度合いを変更するユーザ操作とゲイン調整部２５ａ，２５ｃにおける減少（または増減）の度合いを変更するユーザ操作とを受け付け可能なように構成しておくことが好ましい。パラメータ制御部１７は、ユーザインタフェースで受け付けられたユーザ操作に従って、相関信号の増加の度合いを示すパラメータと無相関信号の減少（または増減）の度合いを示すパラメータとを変更する。
【００７４】
このＧＵＩ画面５０の表示からユーザが相関信号の増圧などの処理を行う手順を説明する。まず、このＧＵＩ画面５０は、例えばユーザがソフトウェアプログラムを実行することによって表示される。もしくはコンテンツの記録媒体の装着によって自動的に表示させてもよい。また、最初の状態では、例えばシンボル５５ａ，５５ｂ，５５ｃ，５７は表示されていなくてもよい。その場合、ユーザはスライダ５４上の任意の点を例えばマウスでクリックすることによって、シンボル５５ａ，５５ｂ，５５ｃ，５７が現れる。シンボル５１には本装置の内部記憶装置あるいは外部記憶メディアなどに存在するフォルダが表示され、ユーザはフォルダをマウスクリックなどによって選択するとそのフォルダがハイライト表示される。ハイライト表示されたフォルダに含まれるコンテンツ一覧（ファイルリスト５２）に表示される。ユーザは再生したい曲を選択すると、その曲がハイライト表示される。なお、コンテンツ再生中もＧＵＩ画面５０は表示し続けてよい。
【００７５】
例えば選択した曲が、右側にピアノの音、中央にドラム、左側にベースが録音されているとする。そしてユーザは右側のピアノの音をピックアップしたいとする。したがってユーザはスライダ５４の上、シンボル５５ａを表示させたい、すなわち増圧したい範囲の辺りをマウスでクリックし、シンボル５５ａ，５５ｂ，５５ｃ，５７を表示させる。実際、人間は、水平方向の音像定位についての精度は優れており、またカクテルパーティ効果と呼ばれるような特定方向の音像聞き分け能力も備えているため、楽器毎に音像を分けているようなミキシング方法でステレオ録音された音源であれば、たいていの人がその楽器がどの方向から聞こえるかを容易に当てることができる。そのため、ピックアップしたい範囲をユーザが把握することは可能である。
【００７６】
そして、シンボル５５ａをマウスでドラッグすることにより位置を調整・変更する。次に、シンボル５７のツマミを上下させ、増加の度合いを決定する。シンボル５７のツマミの値は、シンボル５７を表示させたタイミング及びシンボル５７の位置を上下させたタイミングで図１のパラメータ制御部１７に出力される。ここではその増加の度合いが０から１０の１１段階あるとして、そのうちの１０に決定するとする。さらに、抽出対象範囲を示すシンボル５５ｂ，５５ｃの、シンボル５５ａと反対側の端をマウスでドラッグするなどにより幅を変更する。シンボル５５ｂの左端のＧＵＩ上の位置座標の水平方向成分（以下、ｙ座標値）は、シンボル５５ｂを表示させたタイミング及びシンボル５５ｂの幅を変更したタイミングでパラメータ制御部１７に出力される。同様に、シンボル５５ｃの右端のｙ座標値は、シンボル５５ｃを表示させたタイミング及びシンボル５５ｃの幅を変更したタイミングでパラメータ制御部１７に出力される。
【００７７】
また、左右チャネルの無相関信号の減少の度合いはそれぞれシンボル５８Ｌとシンボル５８Ｒのツマミを上下することによって同様に変更できる。ここではその減少の度合いが０から１０の１１段階で、０の方が減少度合いが高いとしており、またピアノの音のみをピックアップすることを例にしているため、左右チャネルの無相関信号の減少の度合いを示す値を０にしている。なお、無相関信号増加部も併せて設ける場合には、シンボル５８Ｌとシンボル５８Ｒのツマミを上下することによって、それぞれ左右チャネルの無相関信号の増減の度合いを変更できるように構成しておいてもよい。例えば、図５の例のように増減の度合いが０から１０の１１段階あるとすると、５が増減させず、５未満で無相関信号を減少させ、５より大きくすると無相関信号を増加させるなどとすればよい。ここではピアノの音のみをピックアップすることを例にしているため、左右チャネルの無相関信号の減少の度合いを示す値を０にしているが、例えば、代わりに５にして無相関信号を増減させなくてもよい。
【００７８】
シンボル５８Ｌのツマミが表す値は、初期化のタイミング及びシンボル５８Ｌのツマミを上下させたときのタイミングでパラメータ制御部１７に出力される。同様に、シンボル５８Ｒのツマミが表す値は、初期化のタイミング及びシンボル５８Ｒのツマミを上下させたときのタイミングでパラメータ制御部１７に出力される。
【００７９】
抽出対象範囲及び増圧の度合いや無相関信号の減圧（または増圧）の度合いなどが設定され、それらの設定の情報がパラメータ制御部１７に入力されたときに、どのように調整がなされるかについて説明する。
図１におけるパラメータ制御部１７では、ユーザインタフェース制御部１８から入力された値を音声信号処理部１３で必要となるパラメータに変換する。具体的には以下に示す変換を行う。
【００８０】
まずシンボル５５ｂの左端のｙ座標値をここでｙＬとし、スライダ５４の左端のｙ座標値を−ｙ０、スライダ５４の右端のｙ座標値をｙ０とする。ここで、ｙ０の値は予め設定されているとする。そして、図６の位置関係６０に示すようにｙＬを受聴者からの見開き角φＬに変換する。なお、位置関係６０において、シンボル６１、シンボル６２ａ、シンボル６２ｂ、シンボル６２ｃは、それぞれ図５におけるシンボル５４、シンボル５５ａ〜５５ｃ、シンボル５６ａ、シンボル５６ｂに相当する。図６において、下式(38)が成り立ち、θ０は上述のように予め設定してあるので、φＬが求まる。
【数１４】
次に、シンボル５５ｃの右端のｙ座標値をｙＲとすると、同図に示すようにｙＲに対する受聴者からの見開き角φＲも、上と同様にして求めることができる。
【００８１】
ここで、θ０やｙ０の決め方について補足する。θ０については、式(36)に示すサインの法則が、θ０＝３０°＝π／６［ｒａｄ］の条件下で主観的実験によって求められたものであり、式(36)を用いるにあたってはそれが好ましい値となる。ただし、開き角度が変わってもこの法則が適用できることは容易に想像できる。なお、このθ０の値は、中間変数として用いているだけであり、例えばユーザのスピーカ配置の間隔に応じて変化するものではない。また、ｙ０については、ＧＵＩを実装するときのソフトウェアの座標系のスケールに応じて決めればよく、スピーカの配置間隔とは関係がない。
【００８２】
次にシンボル５７のツマミの値を、図１の音声信号処理部１３（図２の音声信号処理部２０）で使用する、相関信号の増加の度合いを表すためのゲイン値に変換する。ツマミの値をｒｓとし、変換後の抽出ゲイン値をｒ′ｓとすると、例えばツマミの上下を聴感上の音量の度合い（音量レベル）に比例させるために、次の数式(39)を用いるなどしてもよい。ここで、κは０を含む自然数であり、例えば１０や０などとする。
【数１５】
【００８３】
このようにして、ｒ′ｓを求める。なお、ｒ′ｓとして採用したい定義域とツマミの段階数とに基づき、κや係数（この例では４／２０）を決めておけばよい。また、左右チャネルの無相関信号の減少（及び増加）の度合いを表すゲイン値ｒ′Ｌ、ｒ′Ｒも上と同様にして求める。パラメータ制御部１７は以上のように、音声信号処理部１３に必要なパラメータを算出し、音声信号処理部１３に出力する。
この状態で、図５のＧＵＩ画面５０においてボタン５９ｃをユーザがマウスクリックなどによって押すと、ボタン５９ｃは例えば「一時停止」を表すシンボルに変わるとともに、選択した曲が再生され始める。
【００８４】
ここで、音声信号処理部２０における処理の説明に戻る。前述したように、相関信号のうち、どの部分を増加させるかについて、パラメータ制御部１７で算出したパラメータに基づいて決定する。その具体的方法を以下に述べる。
【００８５】
まず、数式(37)で求めた小帯域毎の相関信号の音像の方向θ（ｉ）が、抽出対象範囲（つまり上記所定の空間的範囲）に含まれるかどうかに基づき、相関信号を抽出するためのゲインｇｓ（ｉ）を以下のように決定する。
【数１６】
すなわち、小帯域毎の相関信号の音像の方向が、抽出対象範囲に含まれていれば抽出ゲイン値としてユーザが設定した値を使用し、含まれていなければ０とする。本発明において相関信号の抽出は相関信号の増加のためであり、そのため、ｒ′Ｓ＞１である。
【００８６】
次に、そのようにして抽出した相関信号を左右チャネルに振り分ける。その振り分け方法については再び数式(36)として利用した立体音響におけるサインの法則を用いる。左チャネルに対するスケーリング係数をｇ１、右チャネルに対するスケーリング係数をｇ２としたとき、左チャネルからはｇ１・ｇｓ（ｉ）・est′（Ｓ（ｉ）（ｋ））、右チャネルからはｇ２・ｇｓ（ｉ）・est′（Ｓ（ｉ）（ｋ））の音声信号を出力することになる。そして、ｇ１、ｇ２は立体音響におけるサインの法則により、
【数１７】
を満たせばよい。
【００８７】
ここで、左右チャネルからの出力の電力の合計が、元の相関信号の電力と等しくなるようにｇ１、ｇ２を正規化すると、
ｇ１２＋ｇ２２＝１＋［α（ｉ）］２ (42)
となる。
【００８８】
これらを連立させることで、
【数１８】
と求められる。この数式(40)に上述のθ（ｉ）、θ０を代入することによって、ｇ１、ｇ２を算出する。このようにして算出したスケーリング係数に基づき、上述したように左チャネルにはｇ１・ｇｓ（ｉ）・est′（Ｓ（ｉ）（ｋ））の音声信号を、右チャネルにはｇ２・ｇｓ（ｉ）・est′（Ｓ（ｉ）（ｋ））の音声信号を割り当てる。
【００８９】
次に左右の無相関信号を、再び左右チャネルに割り当てる。すなわち、左チャネルにはｒＬ・est′（ＮＬ（ｉ）（ｋ））を、右チャネルにはｒＲ・est′（ＮＲ（ｉ）（ｋ））を割り当てる。よって、左チャネルにはｇ１・ｇｓ（ｉ）・est′（Ｓ（ｉ）（ｋ））とｒＬ・est′（ＮＬ（ｉ）（ｋ））が割り当てられ、右チャネルにはｇ２・ｇｓ（ｉ）・est′（Ｓ（ｉ）（ｋ））とｒＲ・est′（ＮＲ（ｉ）（ｋ））が割り当てられることになる。
【００９０】
以上のようにして、ｉ番目の小帯域における、左右チャネルの相関信号と無相関信号の抽出処理後の再割り当てが行われる。これを全ての小帯域について行う。この再割り当ては、左チャネルについて、ゲイン調整部２５ａ，２５ｂ，２５ｃによりゲインとスケーリング係数が乗算されることで割り当てられた信号を合成部２６で合成し、右チャネルについて、ゲイン調整部２５ａ，２５ｂ，２５ｃによりゲインとスケーリング係数が乗算されることで割り当てられた信号を合成部２６で合成することでなされる。その結果、左右チャネルに対する周波数領域の出力音声信号ＹＬ（ｋ）、ＹＲ（ｋ）が求まり、合成部２６はそれらの信号を離散フーリエ逆変換部２７に出力する。
【００９１】
そして、離散フーリエ逆変換部２７において、各チャネルを離散フーリエ逆変換することによって、時間領域の出力音声信号ｙ′Ｌ（ｍ）、ｙ′Ｒ（ｍ）が求まる。ここで、ＤＦＴ−１は離散フーリエ逆変換（逆離散フーリエ変換）を表す。
ｙ′Ｌ（ｍ）＝ＤＦＴ−１（ＹＬ（ｋ））
ｙ′Ｒ（ｍ）＝ＤＦＴ−１（ＹＲ（ｋ）） (44)
ここで、数式(3)で説明したように、離散フーリエ変換した信号は、窓関数乗算後の信号であったため、逆変換して得られた信号ｙ′Ｌ（ｍ）、ｙ′Ｒ（ｍ）も窓関数が乗算された状態となっている。窓関数は数式(1)に示すような関数であり、読み込みは半セグメント長ずつずらしながら行ったため、前述した通り、１つ前に処理したセグメントの先頭から半セグメント長ずつずらしながら出力バッファに加算していくことにより変換後のデータを得る。
【００９２】
次に、後処理部２８について説明する。後処理部２８はノイズ除去処理を行う。図７及び図８を参照して、ノイズ除去の対象となるノイズについて説明する。図７は、図２の後処理部２８に入力される音声信号の波形例を示す図で、図８は、図７の音声信号の一部を拡大した図である。図８に示す音声信号８０は、音声信号７０における９秒付近を拡大したものであるが、音声信号８０は中央付近８１にあるように不連続点が生じている。このような不連続点は、信号分離抽出部２３を経ることにより後処理部２８に入力されるデータに多数含まれてしまうため、それらが再生時に耳障りなノイズとして知覚されてしまうことになる。このような不連続点は、この音声信号処理方式が相関信号を求める際に直流成分を無視して処理するため、すなわち直流成分の線スペクトルを考慮しないために生じる。
【００９３】
図９はそれを模式的に示した波形のグラフである。より詳細には、図９は、左右チャネルの音声信号を離散フーリエ変換し左右チャネルの直流成分を無視した場合に、離散フーリエ逆変換後のセグメント境界に生じる波形の不連続点を説明するための模式図である。図９に示すグラフ９０において、横軸は時間を表しており、例えば（Ｍ−２）（ｌ）という記号は、ｌ番目のセグメントのＭ−２番目の標本点であることを示している。グラフ９０の縦軸は、それらの標本点に対する出力信号の値である。このグラフ９０から分かるように、ｌ番目のセグメントの最後から（ｌ＋１）番目のセグメントの最初にかけての部分で不連続点が生じてしまう。
【００９４】
この問題に対し、ノイズ除去処理を行う。この処理は、波形の不連続点をなくすことによってノイズを除去できる方法であればどのようなものでもよいが、ここでは図１０及び図１１を参照して、図９で説明したような問題を解決するためのこのような処理の一例について具体的に説明する。図１０は、図２の後処理部２８で施される不連続点除去処理の一例を説明するための模式図でで、左右チャネルの音声信号を離散フーリエ変換し左右チャネルの直流成分を無視した場合に、離散フーリエ逆変換後のセグメント境界に生じる波形の不連続点を除去する方法を説明するための模式図である。また、図１１は、図８の音声信号に対し、図１０の不連続点除去処理を施した結果を示す図である。
【００９５】
後処理部２８で施される不連続点除去処理の例では、図１０のグラフ１００で図９のグラフ９０に対する除去例を示すように、ｌ番目のセグメントの最後の波形の微分値と（ｌ＋１）番目のセグメントの先頭の微分値が一致するようにする。具体的には後処理部２８が、ｌ番目のセグメントの最後の２点による傾きが維持されるような（ｌ＋１）番目のセグメントの先頭の値となるよう、（ｌ＋１）番目のセグメントの波形に直流成分（バイアス）を加える。その結果、処理後の出力音声信号ｙ″ｊ（ｍ）は、
ｙ″ｊ（ｍ）＝ｙ′ｊ（ｍ）＋Ｂ (45)
となる。Ｂはバイアスを表す定数であり、１回前の出力音声信号と今回の処理の出力音声信号が出力バッファで加算された後、図１０のグラフ１００のように波形が連続するように決定される。
【００９６】
このように、後処理部２８は、処理セグメントの境界において波形の微分値を維持させるように離散フーリエ逆変換後の音声信号（相関信号またはそれから生成された音声信号）に直流成分を加算することで、不連続点を除去することが好ましい。なお、この例ではマイナスのバイアスをかけているが、当然、上記微分値を一致させるためにはプラスのバイアスをかける場合もある。また、後処理部２８で処理対象となる離散フーリエ逆変換後の音声信号は、各数式で例示したように、相関信号または相関信号及び無相関信号に対して、時間領域あるいは周波数領域においてスケーリング処理を行い、そのスケーリング処理後の音声信号とする。つまり、相関信号や無相関信号に対しスケーリング処理を施し、スケーリング処理後の相関信号や無相関信号に対し、不連続点の除去を行う。
【００９７】
また、図１０で説明した不連続点除去処理のみでは、バイアス成分が蓄積してしまい、波形の振幅がオーバフローしてしまうことがある。
したがって、次式のように、加算するバイアス成分（直流成分）の振幅の大きさを時間的に減少させることにより収束させることが好ましい。なお、「時間的に減少させる」とは、加算時点からの経過時間、例えば処理セグメント毎の開始点や不連続点の開始点からの経過時間に比例して減少させることを意味する。
ｙ″ｊ（ｍ）＝ｙ′ｊ（ｍ）＋Ｂ×（（Ｍ−ｍσ）／Ｍ） (46)
ただし、σはその減少の程度を調整するパラメータであり、例えば０.５などとする。なお、減少のためにはＢ，σはいずれも正とする。さらに、加算用に求めたバイアスの値の絶対値がある一定以上となった場合には、その値に応じてσを動的に増減させるなどしてもよい。増減させるタイミングは次の処理セグメントでよい。これに限らず、減少させるための比例定数に相当するσを、バイアス値の絶対値（直流成分の振幅の大きさ）に応じて変更する（変化させる）ようにしておけば、フィードバック機能が働き、同様の効果が得られる。ただ、これらの方法では音声波形の振幅がオーバフローしないことを保障するものではない。
【００９８】
よって、例えばバイアス値がある一定（所定値）以上の値になった場合には、数式(46)の第二項のバイアス項を加算しないようにする処理を安全弁の機能として加えてもよい。つまり、後処理部２８は、加算するために求めた直流成分の振幅が所定値未満である場合のみ、直流成分の加算を実行する（不連続点の除去を実行する）ことが好ましい。この方法を採用することにより、バイアス成分が蓄積しないようになる。
【００９９】
また、例えば音声の子音部分など、音声信号がホワイトノイズに近いような場合、音声信号波形の変化が激しく元の波形が既に不連続に近いような状態になっているものがある。このような音声信号に上述した不連続点除去処理を適用すると、逆に波形を歪ませてしまう場合もある。つまり、元の波形が不連続に近いような状態の音声信号に対し、上述した不連続点除去処理を適用すると、この処理がそのような元々不連続の状態に近い波形を無理矢理連続にしようとするため、逆に波形を歪ませてしまう可能性がある。
【０１００】
この問題を解消するために、後処理部２８では次に示す方法で不連続点除去処理（ノイズ除去処理）を行うことが好ましい。それは、音声の子音部分など信号がホワイトノイズに近いような場合、入力音声信号の波形が所定時間内（例えば処理セグメント内やその半分内）で０を交差する回数が、その他の部分に比べて極端に増加することを利用する。なお、０をどこに採るようにするかは任意に決めておけば済む。よって、出力音声信号（少なくとも離散フーリエ逆変換後の音声信号）が半セグメント長の中で０を交差する回数をカウントし、それが一定の値（所定回数）以上である場合には、その次のセグメントを所定回数以上存在する箇所とみなし、その次のセグメント処理において、数式(45)や数式(46)における右辺第二項のバイアス項を加算しないこととする。つまり、それ以外の箇所でのみ不連続点除去処理を実行する。なお、カウントは、セグメント境界とは関係なく一定時間の音声波形について実行してもよいし、複数のセグメント処理分の音声波形について実行してもよく、いずれの場合にもそのカウント結果から次のセグメント処理でバイアス項を加算するか否かを決めればよい。
【０１０１】
図８の音声信号８０における不連続点の箇所（中央付近８１）は、上述したようなノイズ除去処理により、図１１の音声信号１１０で示す通り、不連続点が解消され連続になっていることが分かる。このように不連続点を無くし、ノイズを除去できる。
【０１０２】
以上の一連の処理を、ユーザが選択した曲のデータ（あるいは音声付き映像コンテンツにおける音声データ）に対してリアルタイムに施すことにより、ユーザが再生開始ボタン５９ｃを押すと、ユーザが特定した方向にある音像のみを抽出することができる。そしてこれは、従来の方式のように、ボーカルなど、通常中央に定位する音像を抽出するだけでなく、中央以外に定位するボーカルや楽器音など全ての音像に対して、任意に指定された方向の音像のみを抽出することが可能となる。
例えば、上述した右側の音（ピアノの音）が、例えば図５のシンボル５５ａの位置から聞こえてくるものであるとして、シンボル５７のようにツマミを上げ、シンボル５８Ｌ、シンボル５８Ｒの無相関信号のツマミは下げている状態を考える。この場合、ピアノの音の左右の音圧バランスは元の信号から変えず、シンボル５５ｃとシンボル５５ｂの幅から決定される区間に含まれる音像が増圧され、その音像以外が全て抑圧されることにより、相対的にピアノの音だけがより抽出されて聞こえる。
【０１０３】
また、ユーザは、相関信号の増加の度合いを高めに設定してから、スライダ５４において抽出対象範囲を左右移動や拡大または縮小させてその領域の音圧を増幅させながら聴取することで、実際に増圧させて聴取したい抽出対象範囲でに合致したシンボル５５ａやシンボル５５ｂ，５５ｃを選択し、そのまま引き続き再生を行うこともできる。
【０１０４】
以上説明したように、本発明によれば、ステレオ記録された音声または楽音コンテンツなどに含まれる２チャネル分の音声信号に対し、中央の音像だけでなく、中央以外に定位するボーカルや楽器音など全ての音像に対して、任意に指定（デフォルト指定も含む）された方向の音像のみを、分離・増圧することが可能になる。つまり、ある特定の音像のみを増圧することが可能になる。
【０１０５】
次に、図１２〜図１６を参照しながら、ＧＵＩ画面の他の例及びそのＧＵＩ画面に基づき設定される音声信号処理について説明する。図１２〜図１６は、それぞれ、図１のユーザインタフェース制御部１８により表示デバイス１９ａに表示させるＧＵＩ画面の他の例を示す図である。なお、図１２〜図１６において、図５中のシンボルが示す部位と同じ部位には同じシンボルで示し、その説明を省略する。
【０１０６】
図１２で例示するＧＵＩ画面１２０は、ある特定の方向に複数の音像が定位する場合に、そのうち１つの音像のみを増圧するための設定画面である。例えばある特定の方向に、ボーカルの音像とベースの音像が存在する場合について、ボーカルのみをピックアップすることを考える。この場合、図５のＧＵＩ画面５０での設定及びその設定に基づく増圧処理を施すと、その両方の音像がピックアップされてしまう。このような場合でも、以下に説明する方法を採用することで、例えばボーカルのみをピックアップすることができる。
【０１０７】
ユーザが図５のＧＵＩ画面５０を用いて各値を設定するところまでは、図５等を参照しながら説明したような方法と同じである。ここで、ボーカルとベースでは音声信号が含まれる周波数帯域が一般的に異なり、ベースの方が、より低い帯域の信号を多く含む。この例のように同じ方向に定位される複数の音像間で、このように周波数帯域が異なる場合は、その性質を利用してさらに細かい増圧制御を試みることができる。
【０１０８】
ユーザは例えば、図５のＧＵＩ画面５０におけるシンボル５５ａにマウスのカーソルを合わせダブルクリックするなどの方法により、図１２のＧＵＩ画面１２０に示すようなサブ画面１２１を表示させる。このサブ画面１２１では、ユーザが増圧処理を施したい抽出対象範囲において、どのように周波数帯域毎に増圧するかを設定できる。サブ画面１２１には、下段に複数のシンボル１２２が並んでいる。シンボル１２２は、シンボル５７と同様に上下させることができるツマミを表現するシンボルであり、それぞれは上述した小帯域を表すものとしている。各シンボル１２２のそれぞれの初期値はシンボル５７で設定されている値で統一しておけばよい。ここで、ツマミの数については、上述した小帯域の数だけこのツマミを並べてもよいし、いくつかの小帯域毎にまとめて１つのツマミで制御してもよい。
【０１０９】
さらにサブ画面１２１には、上段の枠にシンボル１２３が表示されている。シンボル１２３は、各ツマミの設定状況を棒グラフで表示させたものである。あるいは、図５等を参照しながら説明したように、上述した処理方式では処理の過程で離散フーリエ変換により各小帯域の音声信号が求められるので、例えば１つ前のセグメント処理時の数式(19)で表される電力ＰＳ（ｉ）を、数式(37)のθ（ｉ）とともに保持しておき、シンボル５５ｃとシンボル５５ｂにより設定される抽出対象範囲内に入る合成音像を対象に、小帯域毎の電力の和をとった値に、現在ツマミで設定されている値を例えば数式(39)で求められるゲイン値ｒ′Ｓの二乗をかけ合わせた値を棒グラフの値として表示するなどしてもよい。このような情報を表示すると、ユーザは抽出対象範囲内における小帯域毎の出力が視覚的に観測でき、さらにツマミの設定値が反映されるため、それを見て確かめながら各帯域をどれくらい抽出するかを決定することができる。
【０１１０】
さらに、このサブ画面１２１の表示中も、ユーザはシンボル５５ｃ、シンボル５５ｂの幅を変更することができるようにすると、その結果がリアルタイムで棒グラフの値として反映されるので、ユーザは各小帯域の出力を視覚的に確認しながら抽出対象範囲を変更することができる。さらに、同じくサブ画面表示中にシンボル５５ａの位置も水平方向に移動できるようにし、それに応じてサブ画面１２１も移動させるようにすると、これも同様の理由で、ユーザは各小帯域の出力を視覚的に確認しながら増圧の方向を変更することができる。
【０１１１】
また、左右チャネルの無相関信号に対しても、シンボル５３Ｌあるいはシンボル５３Ｒをマウスクリックなどすることにより上述のサブ画面１２１と同様のサブ画面を表示することができる。その場合、棒グラフの値として使用するのは、１つ前のセグメント処理時の数式(19)で表される電力ＰＮ（ｉ）を保持しておき、小帯域毎の電力の和をとった値に、現在ツマミで設定されている値を例えば数式(39)で求められるそれぞれのゲイン値ｒ′Ｌ、ｒ′Ｒの二乗をかけ合わせた値を棒グラフの値として表示するなどしてもよい。
【０１１２】
この例では、ボーカルの音のみを増圧したいので、シンボル１２２で図示したように、中高域に対応するいくつかのツマミを上げる、もしくは低域に対応するいくつかのツマミを下げるようにする。その結果、図５等を参照しながら説明した方法と同じようにそれぞれの小帯域に対してゲインｒ′Ｓ（ｉ）を数式(39)と同様に求める。これより、相関信号を抽出するためのゲインｇＳ（ｉ）を以下のように決定する。
【数１９】
すなわち、小帯域毎の相関信号の音像の方向が、抽出対象範囲に含まれていれば抽出ゲイン値としてユーザが小帯域毎に設定した値を使用し、含まれていなければ０とする。あとは、図５等を参照しながら説明した方法と同様にして処理を施すことによって、特定の抽出対象範囲内に含まれる相関信号に対し特定の周波数帯域のみ抽出することができる。このように、まずは空間的な分離を行い、音像を抽出した上で、さらに周波数帯域毎の増圧を行うことができるので、特定の楽器音を抽出できる可能性が格段に向上する。この例では、その結果、シンボル１２３のような棒グラフが表示されるとともに、ベース音ではなくボーカルの音のみを増圧することが可能となる。
【０１１３】
サブ画面１２１におけるシンボル１２２のツマミで例示したように、ユーザインタフェースは、相関信号処理部２４における増加の度合いを周波数帯域毎に変更するユーザ操作を受け付け可能に構成しておくことが好ましい。パラメータ制御部１７は、ユーザインタフェースで受け付けられたユーザ操作に従って、増加の度合い及び変更の対象となった周波数帯域を示すパラメータを変更する。これにより、相関信号に対し周波数帯域毎に増加の度合い（増圧の度合い）を設定することができる。すなわち、この例では、任意に指定された方向の音像のみを、周波数帯域毎に制御すること、つまり周波数帯域毎に分離・増圧することが可能となる。
【０１１４】
また、サブ画面１２１におけるシンボル１２３の棒グラフで例示したように、ユーザインタフェースは、抽出対象範囲に合成される音像に関わる相関信号中の成分の量を周波数帯域毎に可視化して表示することが好ましい。また、相関信号に関し、この周波数帯域毎の変更を行う構成を採用しなくても上述した周波数帯域毎の可視化表示は採用してもよく、その場合、ユーザは周波数帯域毎の成分量を見ながら、周波数帯域に係わらない全体の成分量を増加させることになる。
【０１１５】
また、シンボル５３Ｌ，５３Ｒに対する、サブ画面１２１と同様のサブ画面について説明したように、ユーザインタフェースは、抽出対象範囲に合成される音像に関わる無相関信号中の成分の量を周波数帯域毎に可視化して表示することが好ましい。また、ユーザインタフェースは、ゲイン調整部２５ａ，２５ｃにおける減少（及び増加）の度合いを周波数帯域毎に変更するユーザ操作を受け付け可能に構成しておくことが好ましい。パラメータ制御部１７は、ユーザインタフェースで受け付けられたユーザ操作に従って、減少（及び増加）の度合い及び変更の対象となった周波数帯域を示すパラメータを変更する。これにより、無相関信号に対し周波数帯域毎に減少／増加の度合い（抑圧または増圧の度合い）を設定することができる。また、無相関信号に関し、この周波数帯域毎の変更を行う構成を採用しなくても上述した周波数帯域毎の可視化表示は採用してもよく、その場合、ユーザは周波数帯域毎の成分量を見ながら、周波数帯域に係わらない全体の成分量を減少／増加させることになる。
【０１１６】
また、成分量の可視化に関し、図１２では周波数帯域毎に可視化したが、図１３で例示するＧＵＩ画面１３０は、シンボル５５ａに対応して、棒グラフ状のインジケータ１３２がシンボル５５ａの上部に表示している。また、シンボル５３Ｌ，５３Ｒに対応して、それぞれインジケータ１３１Ｌ，１３１Ｒが上部に表示している。このように、ユーザインタフェースは、抽出対象範囲に合成される音像に関わる相関信号中の成分の量及び／または無相関信号中の成分の量を、周波数帯域に関係なく全体の量として、可視化して表示することが好ましい。これにより、ユーザは抽出対象範囲に合成される音像に関わる相関信号や無相関信号中の成分の量を見ながら減少や増加の操作を行うことができるようになる。
【０１１７】
また、インジケータ１３２の表示と図１２のサブ画面１２１の表示とを併せて実装する場合には、例えばシンボル５５ａ，５３Ｌ，５３Ｒのうち選択されたシンボルについて、インジケータ１３２を表示させるのか、サブ画面１２１を表示させるのかがユーザ選択可能となるような選択画面を表示させればよい。もしくは入力デバイス１９ｂにおける所定のボタンを押しながら選択するとサブ画面１２１を表示させるなど、入力デバイス１９ｂの操作方法に応じてインジケータ１３２を表示させるかサブ画面１２１を表示させるかを決定してもよい。
【０１１８】
また、放送コンテンツや音楽コンテンツにおいて、本発明を用いて分離される無相関信号は通常、残響音や背景音成分であることが多いという性質を利用するための設定画面である。この性質を利用して、図１４で例示するＧＵＩ画面１４０では、スライダ１４４においてシンボル１４５ａ，１４５ｂ，１４５ｃで示すように相関信号の抽出対象範囲を全範囲に拡大している。さらに、ＧＵＩ画面１４０では、シンボル５８Ｌ，５８Ｒにおけるツマミとシンボル５７におけるツマミとで例示したように、相関信号の抽出レベルも上げているが、無相関信号の減少度合いも少しにしている。このような調整によって、例えばスポーツ番組において実況解説をある程度強調しながら、観客の声援を若干下げて番組を視聴すること、つまり臨場感の低下を抑えながら実況解説を強調することが可能となる。したがって、これらのような調整方法を採用することで、より好ましくはこれらの調整方法のいずれかをプリセット機能の１つとしてテレビ装置に搭載することにより、テレビ装置に解説強調機能を付加することができる。
【０１１９】
上述したように、図５のＧＵＩ画面５０のスライダ５４には、抽出対象範囲が１つだけ（シンボル５５ａ〜５５ｃで示す一組のみ）存在しているが、例えばユーザがスライダ５４上の、シンボル５５ｃとシンボル５５ｂで指定された範囲以外の部分をマウスクリックなどすることにより、別の一組の抽出対象範囲を表示することもできる。
図１５で例示するＧＵＩ画面１５０は、そのようにして別の一組の抽出対象範囲も表示させた場合の設定画面である。ＧＵＩ画面１５０では、スライダ１５４上に、左から説明すると、シンボル１５６ａで示す非抽出対象範囲、シンボル１５５ａ，１５５ｃ，１５５ｄで示す組の抽出対象範囲、シンボル１５６ｂで示す非抽出対象範囲、シンボル１５５ｂ，１５５ｅ，１５５ｆで示す組の抽出対象範囲、シンボル１５６ｃで示す非抽出対象範囲が表示されている。この場合でも抽出対象範囲については位置や幅を変えることができるものとする。また、シンボル１５５ａ，１５５ｂには図５のＧＵＩ画面５０と同様にそれぞれシンボル１５７ａ，１５７ｂで示すようにツマミが表示されており、増圧の度合いも抽出対象範囲毎に調整できるものとする。
【０１２０】
例えば、中央の音（ボーカルの音）がシンボル１５５ａの位置から、右側の音（ピアノの音）がシンボル１５５ｂの位置から、それぞれ聞こえてくるものであるとして、シンボル１５７ａ，１５７ｂのように同じようにツマミを上げると、ボーカルの音とピアノの音とが同じように強調されて聞こえる。これに対し、一方のツマミを他方に比べて上げると、高い方のツマミに該当する位置の音が低い方のツマミに該当する位置の音より強調されて聞こえる。このように、特定の方向の音像のツマミだけを他と比べ相対的に上げることにより、その方向の音像を強調されて聴くことができる。
【０１２１】
図１６で例示するＧＵＩ画面１６０は、図１５のＧＵＩ画面１５０において非抽出対象範囲を無くして調整した場合の画面である。ＧＵＩ画面１６０では、スライダ１６４上に、左から説明すると、シンボル１６５ａ，１６５ｄ，１６５ｅで示す組の抽出対象範囲、シンボル１６５ｂ，１６５ｆ，１６５ｇで示す組の抽出対象範囲、及びシンボル１６５ｃ，１６５ｈ，１６５ｉで示す組の抽出対象範囲が表示されている。この場合でも抽出対象範囲については位置や幅を変えることができるものとするが、抽出対象範囲同士の境界を変える調整となるため、一つの抽出対象範囲を広げれば他の１または２の抽出対象範囲が狭まることになる。また、シンボル１６５ａ，１６５ｂ，１６５ｃには図５のＧＵＩ画面５０と同様にそれぞれシンボル１６７ａ，１６７ｂ，１６７ｃで示すようにツマミが表示されており、増圧の度合いも抽出対象範囲毎に調整できるものとする。このように、複数の抽出対象範囲によって全ての空間的領域を占有するように設定することもできる。また、このような調整方法をプリセットとしてテレビ装置に設定しておくこともできる。
【０１２２】
図１６の例では、複数設定した抽出対象範囲は、全体の空間的範囲を個々に任意の幅となるように分割して複数となった抽出対象範囲である。このような複数の抽出対象範囲のうち特定の抽出対象範囲の抽出レベルを他よりも上げることで、その特定の抽出対象範囲に定位する音像に関する音声信号のみを強調再生することができる。
このことにより、例えば放送番組における台詞の強調や、音楽コンテンツにおけるある楽器音の強調などを柔軟に行うことが可能となる。また、例えば、中央の音（ボーカルの音）がシンボル１６５ｂの位置から、左側の音（ギターの音）がシンボル１６５ａの位置から、右側の音（ピアノの音）がシンボル１６５ｃの位置から、それぞれ聞こえてくるものであるとして、シンボル１６７ｂのようにツマミを上げ、シンボル１６７ａ，１６７ｃのようにツマミをこれに比べて低く下げると、ボーカルの音である中央付近からの音像が強調されて聞こえる。このように、特定の方向の音像のツマミだけを他と比べ相対的に上げることにより、その方向の音像を強調されて聴くことができる。
【０１２３】
また、図１２のＧＵＩ画面１２０におけるサブ画面１２１や図１３のＧＵＩ画面１３０における棒グラフ状のインジケータ１３２は、図１５のＧＵＩ画面１５０や図１６のＧＵＩ画面１６０の例のように、シンボル５５ａが複数存在する場合、それぞれのシンボル５５ａをマウスクリックなどすることにより、それぞれに対応するサブ画面１２１やインジケータ１３２を表示することができる。
【０１２４】
以上、本発明に係る音声信号処理装置における処理について説明したが、次に、上述した各例にさらに適用可能な応用例について説明する。
上述した各例においては、このようにして本発明により増圧等が施された音声信号を左右のスピーカだけで再生させることを前提に説明したが、マルチチャネル再生方式より広いスイートスポットが得られる波面合成再生方式で再生することが、増圧の効果が狭い聴取エリアに限られず広がることから好ましい。なお、波面合成再生方式とは、直線状または面状に並べたスピーカ群によって音の波面を合成する再生方式であり、例えばWave Field Synthesis（ＷＦＳ）方式は直線状に並べたスピーカ群（スピーカアレイ）を用いる現実的な実装方法の１つとして近年盛んに研究されている。ＷＦＳ方式によって提供される音響空間内においてスピーカアレイと対面して音を聴いている受聴者は、実際にはスピーカアレイから放射される音が、スピーカアレイの後方に仮想的に存在する音源（仮想音源）から放射されているかのような感覚を受ける。したがって、このような方式では、広い聴取エリアで本発明に係る増圧の効果を享受でき、例えば横に並んだ複数の聴取者が同時に増圧の効果を享受できる。本発明に係る音声信号処理は、マルチチャネル再生方式での再生であっても波面合成再生方式での再生であっても基本的に同じであり、例えばθ０とｙ０の決め方も同じである。
【０１２５】
上述した各例では、本発明に係る音声信号処理について、入力音声信号が２ｃｈの音声信号である場合、つまりステレオで記録されているコンテンツについてのみ説明したが、より多くのチャネルをもつマルチチャネルの音声信号であっても適用可能である。ステレオ以外に普及している方式としては、５.１ｃｈ、７.１ｃｈ、９.１ｃｈ、２２.２ｃｈなどがある。これらの方式も全て複数のスピーカによる組み合わせで合成音像を作る方式であるため、本発明に係る相関信号の増圧処理が適用できる。なお、特に説明しないが、無相関信号についての減圧（及び増圧）についても同様に、マルチチャネルの音声信号に対して適用できる。
【０１２６】
具体的にマルチチャネルの音声信号への適用について説明すると、着目するチャネルを２つ選び、その２つに対して上述したような増圧処理（及び無相関信号の減圧や増圧処理）を行う。これらの方式では、前方の左チャネルと右チャネル間に相関の高い信号が割り当てられることが多いため、前方の左チャネルと右チャネルに本発明に係る増圧処理を適用し、さらに前方センターチャネルのゲイン調整と組み合わせることによって、ある特定の方向の音像のみを抽出するというような細かな調整が可能となる。
【０１２７】
つまり、５.１ｃｈの入力音声信号など３つ以上のチャネルの入力音声信号に対して、前方左右の２チャネルのみから音源抽出を行い、センターチャネルの信号に対して数式(37)で求めるθ（ｉ）は全て０°である（すなわちセンターチャネルの信号は真正面から聞こえてくる信号である）と仮定する。そして、図５のＧＵＩ画面５０で説明すると、シンボル５５ａで示すスライダ５４の中心点が抽出対象範囲として選択される場合、シンボル５７のツマミのレベルに応じてセンターチャネルの音を、逆フーリエ変換しノイズ除去を行った後の音声信号に加算し出力させる。出力スピーカが２つの場合は、センターチャネルの音は左右スピーカに同じバランスで割り当てられ、出力音量を揃えるためにそれぞれ１／√２倍しておくとよい。出力スピーカが５.１ｃｈの場合は、センタースピーカ用音声信号からセンタースピーカへ、シンボル５７のツマミのレベルに応じた音量で出力させればよい。
【０１２８】
また、後方の左右のスピーカ用の音声信号も、本発明に係る増圧処理とは無関係にそのまま、もしくはシンボル５７のツマミのレベルに応じた音量に増圧して出力するようにすればよい。もしくは、後方の２つの音声信号についても、前方の左右のスピーカ用の音声信号とは独立した相関信号の増圧処理を施してもよい。この場合に提示するＧＵＩ画面としては、図５や図１２〜図１６で説明したようなＧＵＩ画面と同じものが挙げられ、前方及び後方に共通のＧＵＩ画面中の操作対象のツマミとして後方前方に係わらない調整が可能にしておけば済む。また、前方の音声信号調整用のツマミと後方の音声信号調整用のツマミとを用意しておき（同じＧＵＩ画面内に入れるか否かはどちらでもよい）、前方、後方を個別に調整できるようにしておくこともできる。他のマルチチャネルの音声信号についても、５.１ｃｈで説明した考え方と同様に適用し、相関信号はそのうち２つの音声信号について求めて増圧すればよい。
【０１２９】
また、上述した各例においては、相関信号と無相関信号の分離について離散フーリエ空間で行う例を挙げたが、これに限ったものではなく、本発明では分離が可能であればよい。本発明の主たる特徴は所定の空間的範囲に合成される音像のみを、相関信号と無相関信号とに分離してそのうち相関信号について増加させることで増圧することにある。
さらに、相関信号や無相関信号の増減について、相関信号や無相関信号そのものの増減として説明したが、相関信号から生成された信号、相関信号及び無相関信号から生成された信号、無相関信号から生成された信号を、増加または増減の対象としてもよい。このような処理によっても、間接的には相関信号や無相関信号の音圧を変更することができるため、本発明に含まれる。
【０１３０】
また、上述した各例において説明したように、本発明は、所定の空間的範囲に関わる相関信号を増圧のために増加させる手段を設けた装置であるが、抑圧のために減少させる手段をさらに備えておいてもよい。その場合、別途用意した設定画面において、ツマミの調整により減少の度合いを設定できるようにしておいてもよいし、例えば上述したＧＵＩ画面５０において無相関信号について値５で増減無しとして例示したようなツマミを採用してもよい。つまり、ツマミの半分より上（または下）にすることで相関信号を増加させて増圧し、半分より下（または上）することで相関信号を減少させて抑圧するようにしておくこともできる。また、この場合、数式(40)や数式(47)等において、ｒ′Ｓ≧０、ｒ′（ｉ）Ｓ≧０としておけばよい。
さらに、上述した各例では、無相関信号について減圧させるために減少させる手段を設けた例と、増減させるために増加及び減少させる手段の双方を設けた例を挙げている。無相関信号について減少させる手段を少なくとも設けることで、図５や図１２等で例を挙げたように、より相関信号の増圧の効果が増すため好ましいが、一方で、無相関信号について増圧のために増加させる手段だけを設けることもできる。
【０１３１】
次に、本発明に係る音声信号処理装置の実装について説明する。
本発明に係る音声信号処理装置は、例えばパーソナルコンピュータ（ＰＣ）や光ディスク再生装置、音楽再生機能付きの携帯情報端末、テレビ装置、プロジェクタ、あるいは小型の音声処理専用装置など、音声データ再生装置や音声データ再生装置付きの装置に利用できる。ＰＣでは入力デバイスはマウスなどとなるが、携帯情報端末ではボタン操作やタッチパッドなどとなる。また、光ディスク再生装置や小型の処理専用装置では、本体に設置してあるボタン操作や、あるいはＧＵＩ画面をモニタ装置やテレビ装置などの表示デバイスに出力させるとともにリモートコントローラなどによって操作してもよい。また、この音声データ再生装置は、音声のみを取り扱う装置として構成することができるだけでなく、テレビ装置やプロジェクタ等で例示したように、映像の伴う装置に組み込むこともできる。
【０１３２】
また、例えば図２で例示した音声信号処理部２０における各構成要素など、本発明に係る音声信号処理装置の各構成要素やその装置を備えた音声データ再生装置の各構成要素は、例えばマイクロプロセッサ（またはＤＳＰ：Digital Signal Processor）、メモリ、バス、インターフェイス、周辺装置などのハードウェアと、これらのハードウェア上にて実行可能なソフトウェアとにより実現できる。上記ハードウェアの一部または全部は集積回路／ＩＣ（Integrated Circuit）チップセットとして搭載することができ、その場合、上記ソフトウェアは上記メモリに記憶しておければよい。また、本発明の各構成要素の全てをハードウェアで構成してもよく、その場合についても同様に、そのハードウェアの一部または全部を集積回路／ＩＣチップセットとして搭載することも可能である。
【０１３３】
また、上述した様々な構成例における機能を実現するためのソフトウェアのプログラムコードを記録した記録媒体を、音声信号処理装置となる汎用コンピュータ等の装置に供給し、その装置内のマイクロプロセッサまたはＤＳＰによりプログラムコードが実行されることによっても、本発明の目的が達成される。この場合、ソフトウェアのプログラムコード自体が上述した様々な構成例の機能を実現することになり、このプログラムコード自体や、プログラムコードを記録した記録媒体（外部記録媒体や内部記憶装置）であっても、そのコードを制御側が読み出して実行することで、本発明を構成することができる。外部記録媒体としては、例えばＣＤ−ＲＯＭまたはＤＶＤ−ＲＯＭなどの光ディスクやメモリカード等の不揮発性の半導体メモリなど、様々なものが挙げられる。内部記憶装置としては、ハードディスクや半導体メモリなど様々なものが挙げられる。また、プログラムコードはインターネットからダウンロードして実行することや、放送波から受信して実行することもできる。
【０１３４】
以上、本発明に係る音声信号処理装置について説明したが、処理の流れを説明したように、本発明は、複数のスピーカによって合成される音像群のうち所定の空間的範囲に合成される音像のみを増圧する音声信号処理方法としての形態も採り得る。この音声信号処理方法は、次の分離ステップ及び増加ステップを有する。分離ステップは、信号分離部が、入力音声信号を２つのチャネル間の相関信号と無相関信号とに分離するステップである。増加ステップは、相関信号増加部が、分離ステップで分離された信号に対し、所定の空間的範囲に合成される音像に関わる相関信号中の成分を増加させるステップである。その他の応用例については、音声信号処理装置について説明した通りであり、その説明を省略する。
【０１３５】
なお、上記プログラムコード自体は、換言すると、この音声信号処理方法をコンピュータに実行させるためのプログラムである。すなわち、このプログラムは、コンピュータに、複数のスピーカに出力するための入力音声信号を、２つのチャネル間の相関信号と無相関信号とに分離する分離ステップと、分離ステップで分離された信号に対し、所定の空間的範囲に合成される音像に関わる相関信号中の成分を増加させる増加ステップと、を実行させるためのプログラムである。その他の応用例については、音声信号処理装置について説明した通りであり、その説明を省略する。
【符号の説明】
【０１３６】
１０…音声データ再生装置、１１…デコーダ、１２…音声信号抽出部、１３，２０…音声信号処理部、１４…Ｄ／Ａコンバータ、１５…増幅器、１６…スピーカ、１７…パラメータ制御部、１８…ユーザインタフェース制御部、１９ａ…表示デバイス、１９ｂ…入力デバイス、２１…前処理部、２２…離散フーリエ変換部、２３…信号分離抽出部、２４…相関信号処理部、２５ａ，２５ｂ，２５ｃ…ゲイン調整部、２６…合成部、２７…離散フーリエ逆変換部、２８…後処理部。
【技術分野】
【０００１】
本発明は、複数のスピーカで再生するための音声信号を処理する音声信号処理装置、方法、プログラム、及び記録媒体に関する。
【背景技術】
【０００２】
従来から、音声または楽音コンテンツに含まれる音源を分離し、ある特定の音源だけを取り出すという技術の研究が行われている。特定の音源だけを取り出すことができれば、注目する特定の音声のみを聴くということや、楽器の練習や採譜のために、楽曲に含まれる特定の楽器音だけを聴くということが可能となる。
【０００３】
従来から提案されている音響再生方式には、ステレオ（２ｃｈ）方式、５.１ｃｈサラウンド方式（ＩＴＵ−Ｒ ＢＳ.７７５−１）、７.１ｃｈ、９.１ｃｈ、２２.２ｃｈなどがあるが、現在、音声や楽音コンテンツとして最も普及しているチャネル数は２ｃｈ（ステレオ）方式である。したがって、そこから特定の音声や楽器音のみを取り出す技術は非常に有用である。
【０００４】
このような２ｃｈ方式から特定の音声や楽器音のみを取り出す技術として、特許文献１，２に記載の技術が提案されている。特許文献１に記載の音響再生装置では、ボーカル成分の分離に関し、各チャネルについて、人間の声の周波数特性を利用し、例えばバイスペクトル分析により楽器音から分離している。特許文献２に記載の装置では、中央に定位する音像の信号を強調するために、左右チャネルの音声信号をそれぞれ複数の周波数帯域に分割し、帯域毎にパワーの絶対値の比を計算する。そして、その比が１に近い場合には、その帯域の音声信号は、中央に定位する音像に関する信号であると見做して左右の音声信号を加算する。加算される２つの音声信号の位相が揃っている例えば中央定位するボーカル音声信号などの場合には、振幅が約２倍になり、強調されて聞こえるというものである。
【先行技術文献】
【特許文献】
【０００５】
【特許文献１】実開平５−６０１００号公報
【特許文献２】特開２００４−３４３５９０号公報
【発明の概要】
【発明が解決しようとする課題】
【０００６】
しかしながら、特許文献１に記載の技術では、人間の声の周波数特性を利用して音声の分離を行っているが、人間の声の周波数特性が近い楽器音などの音声信号も多数存在するため、そのような音声信号が人間の声とともに含まれている場合、この分離方法で音声のみを取り出すことは技術的に困難である。また、この方法は、取り出す対象が音声（人の声）を示す信号であることに特化したものであり、同じ方法で特定の楽器音を取り出すことは困難である。楽器毎に周波数特性は様々であり、周波数特性が似ている音同士を周波数分析のみにて分離することは困難であることはよく知られている。
【０００７】
また、特許文献２に記載の技術では、左右の音声信号の周波数帯域毎のパワーの絶対値の比を基に中央の音像の成分を強調しているが、分離したい音声や楽器音などが常に中央に定位するとは限らない。コンテンツによっては中央よりも左右どちらかのスピーカ寄りの方向にボーカルの音像が定位するものも数多く存在するし、一般的に合奏形態の楽器音の音は、中央には定位せず左右どちらかのスピーカ寄りの方向に定位するように記録されてあるものが多い。また、特許文献２に記載の技術では、中央定位の音像について強調処理のみ施すものであるが、上述した注目する特定の音声や楽器音のみを聴くという目的に対しては、音声信号を分離する必要があり、強調のみでは不十分である。
【０００８】
このように、特許文献１，２をはじめとする従来の技術では、ステレオ記録された音声または楽音コンテンツに対し、任意の方向に音像が定位する特定の音声または楽音を示す信号を分離し、取り出して増圧する（抽出する）ことができない。
【０００９】
本発明は、上述のような実状に鑑みてなされたものであり、その目的は、ステレオ記録された音声または楽音コンテンツなどに含まれる２チャネル分の音声信号に対し、任意に指定された方向の音像のみを分離・増圧することが可能な音声信号処理装置、方法、プログラム、及び記録媒体を提供することにある。
【課題を解決するための手段】
【００１０】
上述したような課題を解決するために、本発明の第１の技術手段は、複数のスピーカによって合成される音像群のうち所定の空間的範囲に合成される音像のみを増圧する音声信号処理装置であって、入力音声信号を２つのチャネル間の相関信号と無相関信号とに分離する信号分離部と、該信号分離部で分離された信号に対し、前記所定の空間的範囲に合成される音像に関わる相関信号中の成分を増加させる相関信号増加部とを備えたことを特徴としたものである。
第２の技術手段は、第１の技術手段において、前記信号分離部で分離された信号に対し、前記所定の空間的範囲に合成される音像に関わる無相関信号中の成分を減少させる無相関信号減少部をさらに備えたことを特徴としたものである。
【００１１】
第３の技術手段は、第１または第２の技術手段において、前記相関信号増加部における増加の度合いを変更するユーザ操作を受け付けるためのユーザインタフェースと、該ユーザインタフェースで受け付けられたユーザ操作に従って、前記増加の度合いを示すパラメータを変更するパラメータ制御部とをさらに備えたことを特徴としたものである。
第４の技術手段は、第３の技術手段において、前記ユーザインタフェースは、前記相関信号増加部における増加の度合いを周波数帯域毎に変更するユーザ操作を受け付け可能に構成されており、前記パラメータ制御部は、前記ユーザインタフェースで受け付けられたユーザ操作に従って、前記増加の度合い及び変更の対象となった周波数帯域を示すパラメータを変更することを特徴としたものである。
【００１２】
第５の技術手段は、第２の技術手段において、前記無相関信号減少部における減少の度合いを変更するユーザ操作を受け付けるためのユーザインタフェースと、該ユーザインタフェースで受け付けられたユーザ操作に従って、前記減少の度合いを示すパラメータを変更するパラメータ制御部とをさらに備えたことを特徴としたものである。
第６の技術手段は、第５の技術手段において、前記ユーザインタフェースは、前記無相関信号減少部における減少の度合いを周波数帯域毎に変更するユーザ操作を受け付け可能に構成されており、前記パラメータ制御部は、前記ユーザインタフェースで受け付けられたユーザ操作に従って、前記減少の度合い及び変更の対象となった周波数帯域を示すパラメータを変更することを特徴としたものである。
【００１３】
第７の技術手段は、第１〜第６のいずれか１の技術手段において、前記所定の空間的範囲を変更するユーザ操作を受け付けるためのユーザインタフェースと、該ユーザインタフェースで受け付けられたユーザ操作に従って前記所定の空間的範囲を示すパラメータを変更するパラメータ制御部とをさらに備えたことを特徴としたものである。
【００１４】
第８の技術手段は、第３〜第７のいずれか１の技術手段において、前記ユーザインタフェースは、前記所定の空間的範囲に合成される音像に関わる相関信号中の成分の量を可視化して表示することを特徴としたものである。
第９の技術手段は、第８の技術手段において、前記ユーザインタフェースは、前記所定の空間的範囲に合成される音像に関わる相関信号中の成分の量を周波数帯域毎に可視化して表示することを特徴としたものである。
【００１５】
第１０の技術手段は、第３〜第９のいずれか１の技術手段において、前記ユーザインタフェースは、前記所定の空間的範囲に合成される音像に関わる無相関信号中の成分の量を可視化して表示することを特徴としたものである。
第１１の技術手段は、第１０の技術手段において、前記ユーザインタフェースは、前記所定の空間的範囲に合成される音像に関わる無相関信号中の成分の量を周波数帯域毎に可視化して表示することを特徴としたものである。
【００１６】
第１２の技術手段は、複数のスピーカによって合成される音像群のうち所定の空間的範囲に合成される音像のみを増圧する音声信号処理方法であって、信号分離部が、入力音声信号を２つのチャネル間の相関信号と無相関信号とに分離する分離ステップと、相関信号増加部が、前記分離ステップで分離された信号に対し、前記所定の空間的範囲に合成される音像に関わる相関信号中の成分を増加させる増加ステップと、を有することを特徴としたものである。
【００１７】
第１３の技術手段は、コンピュータに、複数のスピーカに出力するための入力音声信号を、２つのチャネル間の相関信号と無相関信号とに分離する分離ステップと、該分離ステップで分離された信号に対し、所定の空間的範囲に合成される音像に関わる相関信号中の成分を増加させる増加ステップと、を実行させるためのプログラムである。
第１４の技術手段は、第１３の技術手段におけるプログラムを記録したコンピュータ読み取り可能な記録媒体である。
【発明の効果】
【００１８】
本発明によれば、ステレオ記録された音声または楽音コンテンツなどに含まれる２チャネル分の音声信号に対し、中央の音像だけでなく、中央以外に定位するボーカルや楽器音など全ての音像に対して、任意に指定された方向の音像のみを、分離・増圧することが可能になる。
【図面の簡単な説明】
【００１９】
【図１】本発明に係る音声信号処理装置を備えた音声データ再生装置の一構成例を示すブロック図である。
【図２】図１の音声データ再生装置における音声信号処理部の一構成例を示すブロック図である。
【図３】図２の音声信号処理部において音声データをバッファに蓄える様子を示す図である。
【図４】受聴者と左右のスピーカと合成音像との位置関係の例を説明するための模式図である。
【図５】図１のユーザインタフェース制御部により表示デバイスに表示させるグラフィカルユーザインタフェース（ＧＵＩ）画面の一例を示す図である。
【図６】図５のＧＵＩ画面におけるスライダに対応する、受聴者と音像の方向との位置関係の例を説明するための模式図である。
【図７】図２の後処理部に入力される音声信号の波形例を示す図である。
【図８】図７の音声信号の一部を拡大した図である。
【図９】左右チャネルの音声信号を離散フーリエ変換し左右チャネルの直流成分を無視した場合に、離散フーリエ逆変換後のセグメント境界に生じる波形の不連続点を説明するための模式図である。
【図１０】図２の後処理部で施される不連続点除去処理の一例を説明するための模式図である。
【図１１】図８の音声信号に対し、図１０の不連続点除去処理を施した結果を示す図である。
【図１２】図１のユーザインタフェース制御部により表示デバイスに表示させるＧＵＩ画面の他の例を示す図である。
【図１３】図１のユーザインタフェース制御部により表示デバイスに表示させるＧＵＩ画面の他の例を示す図である。
【図１４】図１のユーザインタフェース制御部により表示デバイスに表示させるＧＵＩ画面の他の例を示す図である。
【図１５】図１のユーザインタフェース制御部により表示デバイスに表示させるＧＵＩ画面の他の例を示す図である。
【図１６】図１のユーザインタフェース制御部により表示デバイスに表示させるＧＵＩ画面の他の例を示す図である。
【発明を実施するための形態】
【００２０】
本発明に係る音声信号処理装置は、２つの音声信号から任意に指定された方向の音像のみを分離して抽出することが可能な装置であって、音声信号抽出処理装置などとも呼べ、音声データ再生装置に組み込むことができる。なお、音声信号とは、当然、いわゆる音声を記録した信号に限ったものではなく、音響信号とも呼べる。
【００２１】
以下、図面を参照しながら、本発明に係る音声信号処理装置の構成例及び処理例について説明する。図１は、本発明に係る音声信号処理装置を備えた音声データ再生装置の一構成例を示すブロック図で、図２は、図１の音声データ再生装置における音声信号処理部の一構成例を示すブロック図である。また、図３は、図２の音声信号処理部において音声データをバッファに蓄える様子を示す図である。
【００２２】
図１で例示する音声データ再生装置１０は、デコーダ１１、音声信号抽出部１２、音声信号処理部１３、Ｄ／Ａコンバータ１４、増幅器１５、スピーカ１６、パラメータ制御部１７、ユーザインタフェース制御部１８、表示デバイス１９ａ、及び入力デバイス１９ｂから構成される。本発明に係る音声信号処理装置は、主に音声信号処理部１３で構成され、好ましい構成例ではパラメータ制御部１７、ユーザインタフェース制御部１８、表示デバイス１９ａ、及び入力デバイス１９ｂを備える。
【００２３】
デコーダ１１は、音声のみあるいは音声付き映像のコンテンツを復号化し、信号処理可能な形式に変換し音声信号抽出部１２に出力する。そのコンテンツは、放送局から送信されたデジタル放送のコンテンツや、ネットワークを介してディジタルコンテンツを配信するサーバからインターネットからダウンロードしたり、あるいは外部記憶装置等の記録媒体から読み込んだりすることによって取得する。このように、図１では図示しないが、音声データ再生装置１０は、マルチチャネルの入力音声信号を含むディジタルコンテンツを入力するディジタルコンテンツ入力部を備える。デコーダ１１は、ここで入力されたディジタルコンテンツを復号化することになる。音声信号抽出部１２では、得られた信号から音声信号を分離、抽出する。ここではそれは２ｃｈステレオ信号とする。その２チャネル分の信号を音声信号処理部１３に出力する。
【００２４】
ユーザインタフェース制御部１８では、ユーザが例えば表示デバイス１９ａに表示するＧＵＩ（Graphical User Interface）を介し、入力デバイス１９ｂであるマウスやキーボード、タッチパネル、あるいはボタン操作などによって入力した入力信号を取得し、パラメータ制御部１７に出力する。パラメータ制御部１７では入力された信号を、音声信号処理部１３での処理に関するパラメータ群に変換し、それらを音声信号処理部１３に出力する。
【００２５】
音声信号処理部１３は、概略的に説明すると、得られた２チャネル信号を、相関信号と無相関信号に分離し、相関信号について、パラメータ制御部１７から入力されたパラメータ群を用いて成分毎の増圧度合を調整する。なお、増圧度合とは、抽出（ピックアップ）する度合い、信号成分を増加させる度合いを指す。また、音声信号処理部１３は、無相関信号について、抑圧の度合を調整できる構成とすることが好ましい。そして、音声信号処理部１３は、そのような調整の結果として得られた音声信号を、Ｄ／Ａコンバータ１４に出力する。Ｄ／Ａコンバータ１４では得られた信号をアナログ信号に変換し、左右それぞれの信号を増幅器１５に出力する。各増幅器１５では入力されたアナログ信号を拡声し各スピーカ１６に伝送し、各スピーカ１６から空間中に音として出力される。
【００２６】
図１における音声信号処理部１３の詳細な構成を、図２を参照しながら説明する。本発明に係る音声信号処理装置は、複数のスピーカによって合成される音像群から所定の空間的範囲に合成される音像のみを増圧する（抽出して増幅する）ための装置である。なお、増圧する音像は、概念的に一つの音像として取り扱っているが、当然、音像群として定義付けることもできる。そのために、本発明に係る音声信号処理装置（音声信号処理部２０で例示）は、次の信号分離部及び相関信号増加部を備える。図２で例示する音声信号処理部２０は、前処理部２１、離散フーリエ変換部２２、信号分離抽出部２３、相関信号処理部２４、ゲイン調整部２５ａ，２５ｂ，２５ｃ、合成部２６、離散フーリエ逆変換部（逆離散フーリエ変換部）２７、そして後処理部２８から構成される。
【００２７】
前処理部２１では音声データを読み込み、窓関数演算を行う。離散フーリエ変換部２２ではその信号を時間領域の表現から周波数領域の表現に変換する。上述した信号分離部は、入力音声信号を２つのチャネル間の相関信号と無相関信号とに分離する部位であり、相関信号抽出部とも言え、信号分離抽出部２３で例示できる。信号分離抽出部２３では、音声信号を相関信号と左右チャネルそれぞれから分離される無相関信号に分離する。相関信号処理部２４は、相関信号の合成音像の方向に基づいて合成音像の増圧度合を決定する。ゲイン調整部２５ａ，２５ｂ，２５ｃは、左チャネル無相関信号、相関信号、右チャネル無相関信号それぞれについてスケーリング処理（ゲイン係数乗算処理）を行う。そうして、増圧処理がなされた相関信号と左右の無相関信号を左右チャネルに再び割り当てる。
【００２８】
合成部２６は、ゲイン調整部２５ａ，２５ｂ，２５ｃからの出力を、チャネル毎に全て合成し、チャネル毎の再割り当て後の信号として、離散フーリエ逆変換部２７に出力する。なお、合成部２６は、３つの音声信号を加算処理（つまり重ね合わせ処理）するため、加算部あるいは重ね合わせ部とも言える。離散フーリエ逆変換部２７は、入力されたスケーリング後の音声信号を再び時間領域に戻し、後処理部２８へ出力する。後処理部２８は、ノイズ除去を施して信号を図１のＤ／Ａコンバータ１４に出力する。
【００２９】
以下、音声信号処理部２０における各部について、具体的な処理例を説明する。
まず、前処理部２１は、１セグメントの半分の長さの音声データを、図１における音声信号抽出部１２から読み出す。ここで、音声データとは、例えば４８ｋＨｚなどの標本化周波数で標本化された２チャネルの離散音声信号波形を指すものとする。そして、セグメントとは、ある一定の長さの標本点群からなる音声データ区間であり、ここでは後ほど離散フーリエ変換の対象となる区間長を指すものとする。その値は例えば１０２４とする。この例では、１セグメントの半分の長さである５１２点の音声データが読み出し対象となる。
【００３０】
読み出した５１２点の音声データは図３で例示するようなバッファ３０に蓄えられる。このバッファは、直前の１セグメント分の音声信号波形を保持しておけるようになっており、それより過去のセグメントは捨てていく。直前の半セグメント分のデータと最新の半セグメント分のデータを繋げて１セグメント分の音声データを作成し、その信号に対し、窓関数演算を行う。すなわち、全ての標本データは窓関数演算に２回読み込まれることになる。
【００３１】
窓関数演算では、従来提案されている次のＨａｎｎ窓を１セグメント分の音声データに乗算する。
【数１】
ここで、ｍは自然数、Ｍは１セグメント長で偶数とする。ステレオの入力信号をそれぞれｘＬ（ｍ）、ｘＲ（ｍ）とすると、窓関数乗算後の音声信号ｘ′Ｌ（ｍ）、ｘ′Ｒ（ｍ）は、
【００３２】
ｘ′Ｌ（ｍ）＝ｗ（ｍ）ｘＬ（ｍ） 、
ｘ′Ｒ（ｍ）＝ｗ（ｍ）ｘＲ（ｍ） (2)
と計算される。このＨａｎｎ窓を用いると、例えば標本点ｍ０（ただし、Ｍ／２≦ｍ０＜Ｍ）の入力信号ｘＬ（ｍ０）にはｓｉｎ２（（ｍ０／Ｍ）π）が乗算される。そして、その次の回の読み込みではその同じ標本点がｍ０−Ｍ／２として読み込まれるので、
【００３３】
【数２】
が乗算される。ここで、ｓｉｎ２（（ｍ０／Ｍ）π）＋ｃｏｓ２（（ｍ０／Ｍ）π）＝１であるから、もし、何も修正を加えずに読み込んだ信号を半セグメントずつずらして加算すれば、元の信号が完全に復元されることになる。
【００３４】
離散フーリエ変換部２２について説明する。離散フーリエ変換部２２は、そうして得られた音声データを次の数式(3)のように離散フーリエ変換し、周波数領域の音声データを得る。ここで、ＤＦＴは離散フーリエ変換を表し、ｋは自然数で、０≦ｋ＜Ｍである。ＸＬ（ｋ）、ＸＲ（ｋ）は複素数となる。
ＸＬ（ｋ）＝ＤＦＴ（ｘ′Ｌ（ｎ）） 、
ＸＲ（ｋ）＝ＤＦＴ（ｘ′Ｒ（ｎ）） (3)
【００３５】
次に、信号分離抽出部２３での処理について説明する。まず、得られた周波数領域の音声データを小さい帯域に分割する。分割方法についてはEquivalent Rectangular Band（ＥＲＢ）を用い、ＥＲＢの帯域幅で０Ｈｚから標本化周波数の１／２の周波数までの間を分割する。ここで、ＥＲＢにより、与えられた周波数の上限ｆｍａｘ［Ｈｚ］までをいくつに分割するか、すなわちＥＲＢで分割した各帯域の索引の最大値Ｉは次式によって与えられる。
Ｉ＝ｆｌｏｏｒ（２１.４ｌｏｇ１０（０.００４３７ｆｍａｘ＋１）） (4)
ただし、ｆｌｏｏｒ（ａ）はフロア関数で、実数ａを越えない整数の最大値を表す。
【００３６】
そして、それぞれのＥＲＢ幅の帯域（以下、小帯域）の中心周波数Ｆｃ（ｉ）（１≦ｉ≦Ｉ）［Ｈｚ］は次式によって与えられる。
【数３】
【００３７】
また、その時のＥＲＢの帯域幅ｂ（ｉ）［Ｈｚ］は次式によって求められる。
ｂ（ｉ）＝２４.７（０.００４３７Ｆｃ（ｉ）＋１） (6)
よって、その中心周波数から低域側と高域側にそれぞれＥＲＢ／２の周波数幅だけシフトすることによりｉ番目の小帯域の両側の境界周波数ＦＬ（ｉ）、ＦＵ（ｉ）を求めることができる。したがって、ｉ番目の小帯域には、ＫＬ（ｉ）番目の線スペクトルからＫＵ（ｉ）番目の線スペクトルが含まれる。ここで、ＫＬ（ｉ）、ＫＵ（ｉ）はそれぞれ次の数式(7)、(8)で表される。
ＫＬ（ｉ）＝ｃｅｉｌ（２１.４ｌｏｇ１０（０.００４３７ＦＬ（ｉ）＋１）） (7)
ＫＵ（ｉ）＝ｆｌｏｏｒ（２１.４ｌｏｇ１０（０.００４３７ＦＵ（ｉ）＋１）） (8)
ただし、ｃｅｉｌ（ａ）は天井関数で、実数ａより小さくならない整数の最小値を表す。また、離散フーリエ変換した後の線スペクトルは、直流成分すなわち例えばＸＬ（０）を除いて、Ｍ／２（ただし、Ｍは偶数）を境に対称となっている。すなわち、ＸＬ（ｋ）とＸＬ（Ｍ−ｋ）は０＜ｋ＜Ｍ／２の範囲で複素共役の関係になる。したがって、以下ではＫＵ（ｉ）≦Ｍ／２の範囲を分析の対象として考え、ｋ＞Ｍ／２の範囲については複素共役の関係にある対称の線スペクトルと同じ扱いとする。
【００３８】
これらの具体例を示す。例えば、標本化周波数が４８０００Ｈｚの場合、Ｉ＝４９となり、４９の小帯域に分割することとなる。ただし、直流成分は分割の対象とせず、どの小帯域にも含まないこととする。なぜならば、以下の方式では左右チャネルの正規化相関係数を求めるが、直流成分は複素数の実部しか持たないために正規化相関係数が１となるため、左右チャネルの直流成分が全て相関係数に割り当てられるという不適当な処理になってしまうからである。また、最も高い小帯域区間よりもさらに上の周波数に相当する線スペクトル成分も存在するが、それらは聴感上の影響も殆ど無く、さらに通常は値が微小であるため、それらは最も高い小帯域区間に含めることとして差し支えない。
【００３９】
次に、このようにして決定される各小帯域において、左チャネルと右チャネルの正規化相関係数を次式で求めることで、相関係数を取得する。
【数４】
【００４０】
この正規化相関係数ｄ（ｉ）は左右のチャネルの音声信号にどれだけ相関があるかを表すものであり、０から１の間の実数の値をとる。全く同じ信号同士であれば１、そして全く無相関の信号同士であれば０となる。ここで、左右のチャネルの音声信号の電力ＰＬ（ｉ）とＰＲ（ｉ）の両方が０である場合、その小帯域に関して相関信号と無相関信号の抽出は不可能とし、処理を行わず次の小帯域の処理に移ることとする。また、ＰＬ（ｉ）とＰＲ（ｉ）のいずれか片方が０である場合、数式(9)では演算不可能であるが、正規化相関係数ｄ（ｉ）＝０とし、その小帯域の処理を続行する。
【００４１】
次に、信号分離抽出部２３は、この正規化相関係数ｄ（ｉ）を用いて、左右チャネルの音声信号から相関信号と無相関信号をそれぞれ分離抽出するための変換係数を求め、それぞれの変換係数を用いて、左右チャネルの音声信号から相関信号と無相関信号を分離抽出する。相関信号及び無相関信号は、いずれも推定した音声信号として抽出すればよい。
【００４２】
ここで、左右チャネルそれぞれの信号は、無相関信号と相関信号から構成され、相関信号については左右から同じ信号が出力されるものとするモデルを採用する。そして、左右から出力される相関信号によって合成される音像は、その相関信号の左右それぞれの音圧のバランスによって方向が決定されるものとする。そのモデルに従うと、入力信号ｘＬ（ｎ）、ｘＲ（ｎ）は、
ｘＬ（ｍ）＝ ｓ（ｍ）＋ｎＬ（ｍ）、
ｘＲ（ｍ）＝αｓ（ｍ）＋ｎＲ（ｍ） (13)
と表される。ここで、ｓ（ｍ）は左右の相関信号、ｎＬ（ｍ）は左チャネルの音声信号から相関信号ｓ（ｍ）を減算したものであって（左チャネルの）無相関信号として定義できるもの、ｎＲ（ｍ）は右チャネルの音声信号から相関信号ｓ（ｍ）を減算したものであって（右チャネルの）無相関信号として定義できるものである。また、αは相関信号の左右音圧バランスの程度を表す正の実数である。
【００４３】
数式(13)により、数式(2)で前述した窓関数乗算後の音声信号ｘ′Ｌ（ｍ）、ｘ′Ｒ（ｍ）は、次の数式(14)で表される。ただし、ｓ′（ｍ）、ｎ′Ｌ（ｍ）、ｎ′Ｒ（ｍ）はそれぞれｓ（ｍ）、ｎＬ（ｍ）、ｎＲ（ｍ）に窓関数を乗算したものである。
ｘ′Ｌ（ｍ）＝ｗ（ｍ）｛ ｓ（ｍ）＋ｎＬ（ｍ）｝＝ ｓ′（ｍ）＋ｎ′Ｌ（ｍ）、
ｘ′Ｒ（ｍ）＝ｗ（ｍ）｛αｓ（ｍ）＋ｎＲ（ｍ）｝＝αｓ′（ｍ）＋ｎ′Ｒ（ｍ）
(14)
【００４４】
数式(14)を離散フーリエ変換することによって、次の数式(15)を得る。ただし、Ｓ（ｋ）、ＮＬ（ｋ）、ＮＲ（ｋ）はそれぞれｓ′（ｍ）、ｎ′Ｌ（ｍ）、ｎ′Ｒ（ｍ）を離散フーリエ変換したものである。
ＸＬ（ｋ）＝ Ｓ（ｋ）＋ＮＬ（ｋ）、
ＸＲ（ｋ）＝αＳ（ｋ）＋ＮＲ（ｋ） (15)
【００４５】
したがって、ｉ番目の小帯域における音声信号ＸＬ（ｉ）（ｋ）、ＸＲ（ｉ）（ｋ）は、
ＸＬ（ｉ）（ｋ）＝ Ｓ（ｉ）（ｋ）＋ＮＬ（ｉ）（ｋ）、
ＸＲ（ｉ）（ｋ）＝α（ｉ）Ｓ（ｉ）（ｋ）＋ＮＲ（ｉ）（ｋ）
ただし、ＫＬ（ｉ）≦ｋ≦ＫＵ（ｉ） (16)
と表現される。ここで、α（ｉ）はｉ番目の小帯域におけるαを表す。以後、ｉ番目の小帯域における相関信号Ｓ（ｉ）（ｋ）、無相関信号ＮＬ（ｉ）（ｋ）、ＮＲ（ｉ）（ｋ）をそれぞれ、
Ｓ（ｉ）（ｋ）＝Ｓ（ｋ）、
ＮＬ（ｉ）（ｋ）＝ＮＬ（ｋ）、
ＮＲ（ｉ）（ｋ）＝ＮＲ（ｋ）
ただし、ＫＬ（ｉ）≦ｋ≦ＫＵ（ｉ） (17)
とおくこととする。
【００４６】
数式(16)から、数式(12)の音圧ＰＬ（ｉ）とＰＲ（ｉ）は、
ＰＬ（ｉ）＝ＰＳ（ｉ）＋ＰＮ（ｉ）、
ＰＲ（ｉ）＝［α（ｉ）］２ＰＳ（ｉ）＋ＰＮ（ｉ） (18)
と表される。ここで、ＰＳ（ｉ）、ＰＮ（ｉ）はｉ番目の小帯域におけるそれぞれ相関信号、無相関信号の電力であり、
【数５】
と表される。ここで、左右の無相関信号の音圧は等しいと仮定している。
【００４７】
また、数式(10)〜(12)より、数式(9)は、
【数６】
と表すことができる。ただし、この算出においてはＳ（ｋ）、ＮＬ（ｋ）、ＮＲ（ｋ）が互いに直交し、かけ合わされたときの電力は０と仮定している。
【００４８】
数式(18)と数式(20)を解くことにより、次の式が得られる。
【数７】
【００４９】
これらの値を用いて、各小帯域における相関信号と無相関信号を推定する。ｉ番目の小帯域における相関信号Ｓ（ｉ）（ｋ）の推定値est（Ｓ（ｉ）（ｋ））を、媒介変数μ１、μ２を用いて、
est（Ｓ（ｉ）（ｋ））＝μ１ＸＬ（ｉ）（ｋ）＋μ２ＸＲ（ｉ）（ｋ） (23)
とおくと、推定誤差εは、
ε＝est（Ｓ（ｉ）（ｋ））−Ｓ（ｉ）（ｋ） (24)
と表される。ここで、est（Ａ）はＡの推定値を表すものとする。そして二乗誤差ε２が最少になるとき、εとＸＬ（ｉ）（ｋ）、ＸＲ（ｉ）（ｋ）はそれぞれ直交するという性質を利用すると、
Ｅ［ε・ＸＬ（ｉ）（ｋ）］＝０ 、 Ｅ［ε・ＸＲ（ｉ）（ｋ）］＝０ (25)
という関係が成り立つ。数式(16)、(19)、(21)〜(24)を利用すると、数式(25)から次の連立方程式が導出できる。
（１−μ１−μ２α（ｉ））ＰＳ（ｉ）−μ１ＰＮ（ｉ）＝０
α（ｉ）（１−μ１−μ２α（ｉ））ＰＳ（ｉ）−μ２ＰＮ（ｉ）＝０
(26)
【００５０】
この数式(26)を解くことによって、各媒介変数が次のように求まる。
【数８】
ここで、このようにして求まる推定値est（Ｓ（ｉ）（ｋ））の電力Ｐest（Ｓ）（ｉ）が、数式(23）の両辺を二乗して求まる次の式
Ｐest（Ｓ）（ｉ）＝（μ１＋α（ｉ）μ２）２ＰＳ（ｉ）＋（μ１２＋μ２２）ＰＮ（ｉ） (28)
を満たす必要があるため、この式から推定値を次式のようにスケーリングする。なお、est′（Ａ）はＡの推定値をスケーリングしたものを表す。
【００５１】
【数９】
【００５２】
そして、ｉ番目の小帯域における左右チャネルの無相関信号ＮＬ（ｉ）（ｋ）、ＮＲ（ｉ）（ｋ）に対する推定値est（ＮＬ（ｉ）（ｋ））、est（ＮＲ（ｉ）（ｋ））はそれぞれ、
est（ＮＬ（ｉ）（ｋ））＝μ３ＸＬ（ｉ）（ｋ）＋μ４ＸＲ（ｉ）（ｋ） (30)
est（ＮＲ（ｉ）（ｋ））＝μ５ＸＬ（ｉ）（ｋ）＋μ６ＸＲ（ｉ）（ｋ） (31)
とおくことにより、上述の求め方と同様にして、媒介変数μ３〜μ６は、
【００５３】
【数１０】
と求めることができる。このようにして求めた推定値est（ＮＬ（ｉ）（ｋ））、est（ＮＲ（ｉ）（ｋ））も上述と同様に、次の式によってそれぞれスケーリングする。
【００５４】
【数１１】
【００５５】
以上のように、信号分離抽出部２３は、上記変換係数として、数式(27)、(32)、(33)で示した各媒介変数μ１〜μ６及び数式(29)、(34)、(35)で示したスケーリングの係数で構成される変換係数を用いて、演算（数式(23)、(30)、(31)）により推定することで、相関信号と無相関信号（右チャネルの無相関信号、左チャネルの無相関信号）とを分離抽出し、このようにして分離された信号を出力する。出力について具体的に説明すると、信号分離抽出部２３は、左チャネルより分離された無相関信号est′（ＮＬ（ｉ）（ｋ））を左チャネル用のゲイン調整部２５ａに出力し、右チャネルより分離された無相関信号est′（ＮＲ（ｉ）（ｋ））を右チャネル用のゲイン調整部２５ｃに出力し、両チャネルより分離された相関信号est′（Ｓ（ｉ）（ｋ））を相関信号処理部２４に出力する。
【００５６】
相関信号処理部２４では、上述したように、相関信号からある特定の音像を抽出するための増圧の度合（ゲインに相当）を決定するが、その前処理として、小帯域毎に推定した相関信号によって生成される合成音像の方向を推定する。この推定処理について、図４に基づき説明する。図４は、受聴者と左右のスピーカと合成音像との位置関係の例を説明するための模式図である。
【００５７】
いま、図４に示す位置関係４０のように、受聴者から左右のスピーカ４１Ｌ，４１Ｒの中点にひいた線と、同じく受聴者４３からいずれかのスピーカ４１Ｌ／４１Ｒの中心までひいた線がなす見開き角をθ０、受聴者４３から推定合成音像４２の位置までひいた線がなす見開き角をθとする。ここで、左右のスピーカ４１Ｌ，４１Ｒから同じ音声信号を、音圧バランスを変えて出力した場合、その出力音声によって生じる合成音像４２の方向は、音圧バランスを表す前述のパラメータαを用いて次の式で近似できることが一般的に知られている（以下、立体音響におけるサインの法則と呼ぶ）。
【００５８】
【数１２】
【００５９】
よって、ｉ番目の小帯域における相関信号の合成音像の方向θ（ｉ）は次式によって求められる。ここで、θ０は予め決定しておく数値で、例えばθ０＝π／６［ｒａｄ］などとしてよい。
【数１３】
【００６０】
次に、このようにして方向が推定された相関信号が、増圧すべき信号であるかどうかを判断する。ここではその判断に際し、例えばデフォルト値などに基づき自動的に判断する場合を説明する。
【００６１】
上述した相関信号増加部は、信号分離抽出部２３で分離された信号に対し、所定の空間的範囲に合成される音像に関わる相関信号中の成分を増加させる部位であり、相関信号処理部２４及びゲイン調整部２５ｂで例示できる。相関信号中の成分とは、この例で言うと相関信号のｉ番目の成分（小帯域ｉについての相関信号）を指す。以下、しばしば、相関信号中の成分の増加を単に相関信号の増加と呼ぶ。相関信号増加部における処理は、デフォルト値に基づく処理であっても、ユーザインタフェースによるユーザ操作に基づいて設定したパラメータを用いた処理と同様であり、後述するユーザ操作に基づいた具体例を援用すれば理解できるため、省略する。音声信号処理部２０は、このような構成により、所定の空間的範囲に合成される音像を増圧することができる。
【００６２】
また、本発明に係る音声信号処理装置は、次の無相関信号減少部を備えることが好ましい。この無相関信号減少部は、信号分離抽出部２３で分離された信号に対し、所定の空間的範囲に合成される音像に関わる無相関信号中の成分を減少させる。無相関信号中の成分とは、この例で言うと無相関信号のｉ番目の成分（小帯域ｉについての無相関信号）を指す。以下、しばしば、無相関信号中の成分の減少／増加を単に無相関信号の減少／増加と呼ぶ。音声信号処理部２０では、この無相関信号減少部をゲイン調整部２５ａ，２５ｃで例示している。無相関信号減少部における処理は、デフォルト値に基づく処理であっても、ユーザインタフェースによるユーザ操作に基づいて設定したパラメータを用いた処理と同様であり、後述するユーザ操作に基づいた具体例を援用すれば理解できるため、省略する。音声信号処理部２０は、このような構成により、所定の空間的範囲に合成される音像を増圧することができるだけでなく、その音像の増圧についての受聴者の相対的な受聴感を、無相関信号の減少により高めることができる。
【００６３】
なお、音声信号処理装置は、無相関信号減少部の他に、同じ無相関信号中の成分を逆に増加させる無相関信号増加部を備えてもよい。所定の空間的範囲に合成される音像を増圧することができるだけでなく、その音像の増圧についての受聴者の相対的な受聴感を、この無相関信号増加部によって無相関信号を増加させて調整すること、すなわち相関信号の増圧を防ぐように調整することができる。但し、この調整（無相関信号の増圧）は、相関信号の増加による増圧の影響が受聴者にとって分からないようになるまで行うことのないように構成しておくとよい。そのために、例えば、相関信号の増加分を超えさせないようなリミッターを設けておくか、若しくはユーザインタフェース画面にそのリミットラインの表示を行っておけばよい。
【００６４】
以下、デフォルト値の代わりに、より好ましい例として、方向が推定された相関信号が増圧すべき信号であるかどうかを、ユーザが入力した値に基づいて判断する場合を挙げて、相関信号の増加による所定の空間的範囲の増圧や、無相関信号の減少（または増加）による所定の空間的範囲に合成される音像のうち無相関信号についての抑圧・減圧（または増圧）について、説明する。
【００６５】
まず、図１におけるユーザインタフェースとパラメータ制御部１７について、図５及び図６を参照しながら詳細に説明する。図５は、図１のユーザインタフェース制御部１８により表示デバイス１９ａに表示させるグラフィカルユーザインタフェース（ＧＵＩ）画面の一例を示す図で、図６は、図５のＧＵＩ画面におけるスライダに対応する、受聴者と音像の方向との位置関係の例を説明するための模式図である。以下に説明するユーザインタフェースは、表示デバイス１９ａ、入力デバイス１９ｂ、及びユーザインタフェース制御部１８でなり、以下に説明するようなユーザインターフェースの各種処理は、ユーザインタフェース制御部１８が表示デバイス１９ａ及び／または入力デバイス１９ｂを制御することで施される。
【００６６】
図５で例示するＧＵＩ画面５０は、ユーザインタフェース制御部１８が、表示デバイス１９ａに表示する画面の一例を示したものである。ＧＵＩ画面５０には、フォルダの一覧であるフォルダリスト５１が、一覧中のフォルダがユーザ選択可能（つまり入力デバイス１９ｂによりユーザ選択可能）な状態で表示されている。フォルダリスト５１に含まれるフォルダ５１ａはユーザに選択されてハイライト表示されているフォルダであり、このフォルダ５１ａの中に含まれているファイルの一覧がユーザ選択可能な状態で、ファイルリスト５２として表示されている。フォルダリスト５１では、選択されるフォルダが変更するたびに、ハイライト表示は対象フォルダ５１ａに移動し、その選択されたフォルダ５１ａに含まれるファイルがファイルリスト５２に表示される。
【００６７】
ＧＵＩ画面５０には、コンテンツ再生制御のための各種操作ボタン５９ａ〜５９ｅがユーザ操作可能に表示されている。ボタン５９ａはユーザが選択したコンテンツ５２ａの再生中に、曲の先頭まで戻すボタンのシンボルである。ボタン５９ｂはその再生中に、押下している間だけ、曲の再生を巻き戻すボタンのシンボルである。ボタン５９ｃはユーザが選択したコンテンツ５２ａの再生を開始するためのボタンのシンボルである。ボタン５９ｄはその再生中に、押下している間だけ、曲の再生を早送りするボタンのシンボルである。ボタン５９ｅはその再生中に、次の曲の先頭まで進めるボタンのシンボルである。
【００６８】
また、ＧＵＩ画面５０には、左チャネルから分離される無相関信号の位置を表すシンボル５３Ｌ、右チャネルから分離される無相関信号の位置を表すシンボル５３Ｒ、並びに左右チャネルから分離される相関信号の位置を表すシンボル５５ａが表示されている。また、ＧＵＩ画面５０にはこれらの位置を相対的に示すためのスライダ５４も表示されており、シンボル５３Ｌ，５３Ｒはスライダ５４の両端に、シンボル５５ａはスライダ５４のいずれかの位置に表示されている。
ここでスライダ５４は、左チャネルから右チャネルにかけての空間を表すシンボルであり、その両端を左右スピーカに見立てたとき、シンボル５５ａの位置を含む抽出対象範囲の方向の音声信号（つまりその方向の相関信号）を増圧するという意味を表している。
シンボル５５ａは、ユーザによるドラッグ操作などすることによって、その位置を左右に移動させることができるようになっている。その際、シンボル５５ｂとシンボル５５ｃとはその幅を保ってシンボル５５ａとともに移動する。その稼働範囲は、スライダ５４の右端にシンボル５５ｃの右端が達するところから、スライダ５４の左端にシンボル５５ｂの左端が達するところまでである。
【００６９】
シンボル５５ｂは、増圧する範囲である抽出対象範囲（上記所定の空間的範囲）の左側の幅を表すシンボルであり、ユーザの操作などによって、具体的にはシンボル５５ｂの左端をドラッグ操作などすることによってシンボル５５ｂの幅が変化する。シンボル５５ｃは、抽出対象範囲の右側の幅を表すシンボルであり、シンボル５５ｂと同様、ユーザの操作などによってその幅を変化させることができる。シンボル５５ｃまたはシンボル５５ｂの幅が変更された場合、シンボル５５ｂの左端とシンボル５５ｃの右端の中点を中心とするようにシンボル５５ａは再配置される。
また、シンボル５６ａ、シンボル５６ｂは、スライダ５４のうちシンボル５５ａ〜５５ｃを除く領域のうち、それぞれ左側の領域を示すシンボル、右側の領域を示すシンボルであり、シンボル５５ａ〜５５ｃの移動によってそれらの幅は変わり、無くなることもある。
【００７０】
このように、シンボル５５ａの移動操作により抽出対象範囲における中心位置を変更することが可能になっており、また、シンボル５５ｂまたはシンボル５５ｃの移動操作により抽出対象範囲における幅を変更することが可能になっている。このように、ユーザインタフェースは、抽出対象範囲（つまり上記所定の空間的範囲）を変更するユーザ操作を受け付け可能に構成しておくことが好ましい。ユーザ操作を受け付けるとは、その操作を受け付けるための画面を表示デバイス１９ａで表示させるとともに、入力デバイス１９ｂで受け付け可能にしておくことを指す。後述する相関信号や無相関信号に関する度合などのユーザ操作も受け付け可能に構成しておいてもよいが、抽出対象範囲だけ変更操作受付可能に構成しておいてもよい。パラメータ制御部１７は、ユーザインタフェースで受け付けられたユーザ操作に従って抽出対象範囲を示すパラメータを変更する。これにより、音像を増圧させる抽出対象範囲をユーザが任意に設定することができる。なお、パラメータ制御部１７におけるパラメータの変更や、その変更されたパラメータに基づく図１の音声信号処理部１３（図２の音声信号処理部２０）での処理例については後述する。
【００７１】
シンボル５７は、左右チャネルから分離される相関信号の増加の程度（増加の度合い、つまり相関信号を増加させる度合いであって増圧の度合いに対応する）を表すシンボルである。シンボル５７の上部に表示されている四角形はツマミを表すシンボルであり、ユーザの操作などによって上下に動く。このように、ユーザインタフェースは、相関信号増加部（相関信号処理部２４及びゲイン調整部２５ｂ）における増加の度合いを変更するユーザ操作を受け付け可能に構成することが好ましい。そして、パラメータ制御部１７は、ユーザインタフェースで受け付けられたユーザ操作に従って、増加の度合いを示すパラメータを変更する。例えばパラメータとしては１より大きい値とし、１より大きくなるに連れて増加の度合いが大きくなるようにすればよい。これにより、相関信号の増加の度合い（増圧の度合い）を設定することができる。以下、増加の度合いを変更するのは主に相関信号処理部２４で行い、ゲイン調整部２５ｂではその増加の度合いに対応したゲイン係数を乗算するだけであるため、相関信号増加部の処理を相関信号処理部２４の処理として説明する。
【００７２】
シンボル５８Ｌは、左チャネルから分離される無相関信号の減少の度合いを表すシンボルである。上部に表示されている四角形はツマミを表すシンボルであり、ユーザの操作などによって上下に動く。シンボル５８Ｒは、右チャネルから分離される無相関信号の減少の度合いを表すシンボルである。上部に表示されている四角形はシンボル５８Ｌのそれと同様、ユーザの操作などによって上下に動く。このように、ユーザインタフェースは、上述した無相関信号減少部における減少の度合いを変更するユーザ操作を受け付け可能に構成しておくことが好ましい。以下、無相関信号の減少の度合いを変更するのは主にゲイン調整部２５ａ，２５ｃで行うため、無相関信号減少部の処理をゲイン調整部２５ａ，２５ｃの処理として説明する。パラメータ制御部１７は、ユーザインタフェースで受け付けられたユーザ操作に従って、減少の度合いを示すパラメータを変更する。例えばパラメータとしては０より大きい値とし、１より小さい場合に減少（０に近い程、減少度合が大きい）とすればよい。また、無相関信号増加部も併せて設ける場合には無相関信号減少部と同様にゲイン調整部２５ａ，２５ｃの処理に含めることができ、上記パラメータが１の場合には増減無し、１より大きい場合には増加（大きくなるに連れて増加度合が大きい）ようにすればよい。これにより、無相関信号の減少／増加の程度（つまり、抑圧または増圧の度合い）を設定することができる。
【００７３】
また、これらのユーザ操作を双方受付可能に構成しておくことが好ましい。つまり、ユーザインタフェースは、相関信号処理部２４における増加の度合いを変更するユーザ操作とゲイン調整部２５ａ，２５ｃにおける減少（または増減）の度合いを変更するユーザ操作とを受け付け可能なように構成しておくことが好ましい。パラメータ制御部１７は、ユーザインタフェースで受け付けられたユーザ操作に従って、相関信号の増加の度合いを示すパラメータと無相関信号の減少（または増減）の度合いを示すパラメータとを変更する。
【００７４】
このＧＵＩ画面５０の表示からユーザが相関信号の増圧などの処理を行う手順を説明する。まず、このＧＵＩ画面５０は、例えばユーザがソフトウェアプログラムを実行することによって表示される。もしくはコンテンツの記録媒体の装着によって自動的に表示させてもよい。また、最初の状態では、例えばシンボル５５ａ，５５ｂ，５５ｃ，５７は表示されていなくてもよい。その場合、ユーザはスライダ５４上の任意の点を例えばマウスでクリックすることによって、シンボル５５ａ，５５ｂ，５５ｃ，５７が現れる。シンボル５１には本装置の内部記憶装置あるいは外部記憶メディアなどに存在するフォルダが表示され、ユーザはフォルダをマウスクリックなどによって選択するとそのフォルダがハイライト表示される。ハイライト表示されたフォルダに含まれるコンテンツ一覧（ファイルリスト５２）に表示される。ユーザは再生したい曲を選択すると、その曲がハイライト表示される。なお、コンテンツ再生中もＧＵＩ画面５０は表示し続けてよい。
【００７５】
例えば選択した曲が、右側にピアノの音、中央にドラム、左側にベースが録音されているとする。そしてユーザは右側のピアノの音をピックアップしたいとする。したがってユーザはスライダ５４の上、シンボル５５ａを表示させたい、すなわち増圧したい範囲の辺りをマウスでクリックし、シンボル５５ａ，５５ｂ，５５ｃ，５７を表示させる。実際、人間は、水平方向の音像定位についての精度は優れており、またカクテルパーティ効果と呼ばれるような特定方向の音像聞き分け能力も備えているため、楽器毎に音像を分けているようなミキシング方法でステレオ録音された音源であれば、たいていの人がその楽器がどの方向から聞こえるかを容易に当てることができる。そのため、ピックアップしたい範囲をユーザが把握することは可能である。
【００７６】
そして、シンボル５５ａをマウスでドラッグすることにより位置を調整・変更する。次に、シンボル５７のツマミを上下させ、増加の度合いを決定する。シンボル５７のツマミの値は、シンボル５７を表示させたタイミング及びシンボル５７の位置を上下させたタイミングで図１のパラメータ制御部１７に出力される。ここではその増加の度合いが０から１０の１１段階あるとして、そのうちの１０に決定するとする。さらに、抽出対象範囲を示すシンボル５５ｂ，５５ｃの、シンボル５５ａと反対側の端をマウスでドラッグするなどにより幅を変更する。シンボル５５ｂの左端のＧＵＩ上の位置座標の水平方向成分（以下、ｙ座標値）は、シンボル５５ｂを表示させたタイミング及びシンボル５５ｂの幅を変更したタイミングでパラメータ制御部１７に出力される。同様に、シンボル５５ｃの右端のｙ座標値は、シンボル５５ｃを表示させたタイミング及びシンボル５５ｃの幅を変更したタイミングでパラメータ制御部１７に出力される。
【００７７】
また、左右チャネルの無相関信号の減少の度合いはそれぞれシンボル５８Ｌとシンボル５８Ｒのツマミを上下することによって同様に変更できる。ここではその減少の度合いが０から１０の１１段階で、０の方が減少度合いが高いとしており、またピアノの音のみをピックアップすることを例にしているため、左右チャネルの無相関信号の減少の度合いを示す値を０にしている。なお、無相関信号増加部も併せて設ける場合には、シンボル５８Ｌとシンボル５８Ｒのツマミを上下することによって、それぞれ左右チャネルの無相関信号の増減の度合いを変更できるように構成しておいてもよい。例えば、図５の例のように増減の度合いが０から１０の１１段階あるとすると、５が増減させず、５未満で無相関信号を減少させ、５より大きくすると無相関信号を増加させるなどとすればよい。ここではピアノの音のみをピックアップすることを例にしているため、左右チャネルの無相関信号の減少の度合いを示す値を０にしているが、例えば、代わりに５にして無相関信号を増減させなくてもよい。
【００７８】
シンボル５８Ｌのツマミが表す値は、初期化のタイミング及びシンボル５８Ｌのツマミを上下させたときのタイミングでパラメータ制御部１７に出力される。同様に、シンボル５８Ｒのツマミが表す値は、初期化のタイミング及びシンボル５８Ｒのツマミを上下させたときのタイミングでパラメータ制御部１７に出力される。
【００７９】
抽出対象範囲及び増圧の度合いや無相関信号の減圧（または増圧）の度合いなどが設定され、それらの設定の情報がパラメータ制御部１７に入力されたときに、どのように調整がなされるかについて説明する。
図１におけるパラメータ制御部１７では、ユーザインタフェース制御部１８から入力された値を音声信号処理部１３で必要となるパラメータに変換する。具体的には以下に示す変換を行う。
【００８０】
まずシンボル５５ｂの左端のｙ座標値をここでｙＬとし、スライダ５４の左端のｙ座標値を−ｙ０、スライダ５４の右端のｙ座標値をｙ０とする。ここで、ｙ０の値は予め設定されているとする。そして、図６の位置関係６０に示すようにｙＬを受聴者からの見開き角φＬに変換する。なお、位置関係６０において、シンボル６１、シンボル６２ａ、シンボル６２ｂ、シンボル６２ｃは、それぞれ図５におけるシンボル５４、シンボル５５ａ〜５５ｃ、シンボル５６ａ、シンボル５６ｂに相当する。図６において、下式(38)が成り立ち、θ０は上述のように予め設定してあるので、φＬが求まる。
【数１４】
次に、シンボル５５ｃの右端のｙ座標値をｙＲとすると、同図に示すようにｙＲに対する受聴者からの見開き角φＲも、上と同様にして求めることができる。
【００８１】
ここで、θ０やｙ０の決め方について補足する。θ０については、式(36)に示すサインの法則が、θ０＝３０°＝π／６［ｒａｄ］の条件下で主観的実験によって求められたものであり、式(36)を用いるにあたってはそれが好ましい値となる。ただし、開き角度が変わってもこの法則が適用できることは容易に想像できる。なお、このθ０の値は、中間変数として用いているだけであり、例えばユーザのスピーカ配置の間隔に応じて変化するものではない。また、ｙ０については、ＧＵＩを実装するときのソフトウェアの座標系のスケールに応じて決めればよく、スピーカの配置間隔とは関係がない。
【００８２】
次にシンボル５７のツマミの値を、図１の音声信号処理部１３（図２の音声信号処理部２０）で使用する、相関信号の増加の度合いを表すためのゲイン値に変換する。ツマミの値をｒｓとし、変換後の抽出ゲイン値をｒ′ｓとすると、例えばツマミの上下を聴感上の音量の度合い（音量レベル）に比例させるために、次の数式(39)を用いるなどしてもよい。ここで、κは０を含む自然数であり、例えば１０や０などとする。
【数１５】
【００８３】
このようにして、ｒ′ｓを求める。なお、ｒ′ｓとして採用したい定義域とツマミの段階数とに基づき、κや係数（この例では４／２０）を決めておけばよい。また、左右チャネルの無相関信号の減少（及び増加）の度合いを表すゲイン値ｒ′Ｌ、ｒ′Ｒも上と同様にして求める。パラメータ制御部１７は以上のように、音声信号処理部１３に必要なパラメータを算出し、音声信号処理部１３に出力する。
この状態で、図５のＧＵＩ画面５０においてボタン５９ｃをユーザがマウスクリックなどによって押すと、ボタン５９ｃは例えば「一時停止」を表すシンボルに変わるとともに、選択した曲が再生され始める。
【００８４】
ここで、音声信号処理部２０における処理の説明に戻る。前述したように、相関信号のうち、どの部分を増加させるかについて、パラメータ制御部１７で算出したパラメータに基づいて決定する。その具体的方法を以下に述べる。
【００８５】
まず、数式(37)で求めた小帯域毎の相関信号の音像の方向θ（ｉ）が、抽出対象範囲（つまり上記所定の空間的範囲）に含まれるかどうかに基づき、相関信号を抽出するためのゲインｇｓ（ｉ）を以下のように決定する。
【数１６】
すなわち、小帯域毎の相関信号の音像の方向が、抽出対象範囲に含まれていれば抽出ゲイン値としてユーザが設定した値を使用し、含まれていなければ０とする。本発明において相関信号の抽出は相関信号の増加のためであり、そのため、ｒ′Ｓ＞１である。
【００８６】
次に、そのようにして抽出した相関信号を左右チャネルに振り分ける。その振り分け方法については再び数式(36)として利用した立体音響におけるサインの法則を用いる。左チャネルに対するスケーリング係数をｇ１、右チャネルに対するスケーリング係数をｇ２としたとき、左チャネルからはｇ１・ｇｓ（ｉ）・est′（Ｓ（ｉ）（ｋ））、右チャネルからはｇ２・ｇｓ（ｉ）・est′（Ｓ（ｉ）（ｋ））の音声信号を出力することになる。そして、ｇ１、ｇ２は立体音響におけるサインの法則により、
【数１７】
を満たせばよい。
【００８７】
ここで、左右チャネルからの出力の電力の合計が、元の相関信号の電力と等しくなるようにｇ１、ｇ２を正規化すると、
ｇ１２＋ｇ２２＝１＋［α（ｉ）］２ (42)
となる。
【００８８】
これらを連立させることで、
【数１８】
と求められる。この数式(40)に上述のθ（ｉ）、θ０を代入することによって、ｇ１、ｇ２を算出する。このようにして算出したスケーリング係数に基づき、上述したように左チャネルにはｇ１・ｇｓ（ｉ）・est′（Ｓ（ｉ）（ｋ））の音声信号を、右チャネルにはｇ２・ｇｓ（ｉ）・est′（Ｓ（ｉ）（ｋ））の音声信号を割り当てる。
【００８９】
次に左右の無相関信号を、再び左右チャネルに割り当てる。すなわち、左チャネルにはｒＬ・est′（ＮＬ（ｉ）（ｋ））を、右チャネルにはｒＲ・est′（ＮＲ（ｉ）（ｋ））を割り当てる。よって、左チャネルにはｇ１・ｇｓ（ｉ）・est′（Ｓ（ｉ）（ｋ））とｒＬ・est′（ＮＬ（ｉ）（ｋ））が割り当てられ、右チャネルにはｇ２・ｇｓ（ｉ）・est′（Ｓ（ｉ）（ｋ））とｒＲ・est′（ＮＲ（ｉ）（ｋ））が割り当てられることになる。
【００９０】
以上のようにして、ｉ番目の小帯域における、左右チャネルの相関信号と無相関信号の抽出処理後の再割り当てが行われる。これを全ての小帯域について行う。この再割り当ては、左チャネルについて、ゲイン調整部２５ａ，２５ｂ，２５ｃによりゲインとスケーリング係数が乗算されることで割り当てられた信号を合成部２６で合成し、右チャネルについて、ゲイン調整部２５ａ，２５ｂ，２５ｃによりゲインとスケーリング係数が乗算されることで割り当てられた信号を合成部２６で合成することでなされる。その結果、左右チャネルに対する周波数領域の出力音声信号ＹＬ（ｋ）、ＹＲ（ｋ）が求まり、合成部２６はそれらの信号を離散フーリエ逆変換部２７に出力する。
【００９１】
そして、離散フーリエ逆変換部２７において、各チャネルを離散フーリエ逆変換することによって、時間領域の出力音声信号ｙ′Ｌ（ｍ）、ｙ′Ｒ（ｍ）が求まる。ここで、ＤＦＴ−１は離散フーリエ逆変換（逆離散フーリエ変換）を表す。
ｙ′Ｌ（ｍ）＝ＤＦＴ−１（ＹＬ（ｋ））
ｙ′Ｒ（ｍ）＝ＤＦＴ−１（ＹＲ（ｋ）） (44)
ここで、数式(3)で説明したように、離散フーリエ変換した信号は、窓関数乗算後の信号であったため、逆変換して得られた信号ｙ′Ｌ（ｍ）、ｙ′Ｒ（ｍ）も窓関数が乗算された状態となっている。窓関数は数式(1)に示すような関数であり、読み込みは半セグメント長ずつずらしながら行ったため、前述した通り、１つ前に処理したセグメントの先頭から半セグメント長ずつずらしながら出力バッファに加算していくことにより変換後のデータを得る。
【００９２】
次に、後処理部２８について説明する。後処理部２８はノイズ除去処理を行う。図７及び図８を参照して、ノイズ除去の対象となるノイズについて説明する。図７は、図２の後処理部２８に入力される音声信号の波形例を示す図で、図８は、図７の音声信号の一部を拡大した図である。図８に示す音声信号８０は、音声信号７０における９秒付近を拡大したものであるが、音声信号８０は中央付近８１にあるように不連続点が生じている。このような不連続点は、信号分離抽出部２３を経ることにより後処理部２８に入力されるデータに多数含まれてしまうため、それらが再生時に耳障りなノイズとして知覚されてしまうことになる。このような不連続点は、この音声信号処理方式が相関信号を求める際に直流成分を無視して処理するため、すなわち直流成分の線スペクトルを考慮しないために生じる。
【００９３】
図９はそれを模式的に示した波形のグラフである。より詳細には、図９は、左右チャネルの音声信号を離散フーリエ変換し左右チャネルの直流成分を無視した場合に、離散フーリエ逆変換後のセグメント境界に生じる波形の不連続点を説明するための模式図である。図９に示すグラフ９０において、横軸は時間を表しており、例えば（Ｍ−２）（ｌ）という記号は、ｌ番目のセグメントのＭ−２番目の標本点であることを示している。グラフ９０の縦軸は、それらの標本点に対する出力信号の値である。このグラフ９０から分かるように、ｌ番目のセグメントの最後から（ｌ＋１）番目のセグメントの最初にかけての部分で不連続点が生じてしまう。
【００９４】
この問題に対し、ノイズ除去処理を行う。この処理は、波形の不連続点をなくすことによってノイズを除去できる方法であればどのようなものでもよいが、ここでは図１０及び図１１を参照して、図９で説明したような問題を解決するためのこのような処理の一例について具体的に説明する。図１０は、図２の後処理部２８で施される不連続点除去処理の一例を説明するための模式図でで、左右チャネルの音声信号を離散フーリエ変換し左右チャネルの直流成分を無視した場合に、離散フーリエ逆変換後のセグメント境界に生じる波形の不連続点を除去する方法を説明するための模式図である。また、図１１は、図８の音声信号に対し、図１０の不連続点除去処理を施した結果を示す図である。
【００９５】
後処理部２８で施される不連続点除去処理の例では、図１０のグラフ１００で図９のグラフ９０に対する除去例を示すように、ｌ番目のセグメントの最後の波形の微分値と（ｌ＋１）番目のセグメントの先頭の微分値が一致するようにする。具体的には後処理部２８が、ｌ番目のセグメントの最後の２点による傾きが維持されるような（ｌ＋１）番目のセグメントの先頭の値となるよう、（ｌ＋１）番目のセグメントの波形に直流成分（バイアス）を加える。その結果、処理後の出力音声信号ｙ″ｊ（ｍ）は、
ｙ″ｊ（ｍ）＝ｙ′ｊ（ｍ）＋Ｂ (45)
となる。Ｂはバイアスを表す定数であり、１回前の出力音声信号と今回の処理の出力音声信号が出力バッファで加算された後、図１０のグラフ１００のように波形が連続するように決定される。
【００９６】
このように、後処理部２８は、処理セグメントの境界において波形の微分値を維持させるように離散フーリエ逆変換後の音声信号（相関信号またはそれから生成された音声信号）に直流成分を加算することで、不連続点を除去することが好ましい。なお、この例ではマイナスのバイアスをかけているが、当然、上記微分値を一致させるためにはプラスのバイアスをかける場合もある。また、後処理部２８で処理対象となる離散フーリエ逆変換後の音声信号は、各数式で例示したように、相関信号または相関信号及び無相関信号に対して、時間領域あるいは周波数領域においてスケーリング処理を行い、そのスケーリング処理後の音声信号とする。つまり、相関信号や無相関信号に対しスケーリング処理を施し、スケーリング処理後の相関信号や無相関信号に対し、不連続点の除去を行う。
【００９７】
また、図１０で説明した不連続点除去処理のみでは、バイアス成分が蓄積してしまい、波形の振幅がオーバフローしてしまうことがある。
したがって、次式のように、加算するバイアス成分（直流成分）の振幅の大きさを時間的に減少させることにより収束させることが好ましい。なお、「時間的に減少させる」とは、加算時点からの経過時間、例えば処理セグメント毎の開始点や不連続点の開始点からの経過時間に比例して減少させることを意味する。
ｙ″ｊ（ｍ）＝ｙ′ｊ（ｍ）＋Ｂ×（（Ｍ−ｍσ）／Ｍ） (46)
ただし、σはその減少の程度を調整するパラメータであり、例えば０.５などとする。なお、減少のためにはＢ，σはいずれも正とする。さらに、加算用に求めたバイアスの値の絶対値がある一定以上となった場合には、その値に応じてσを動的に増減させるなどしてもよい。増減させるタイミングは次の処理セグメントでよい。これに限らず、減少させるための比例定数に相当するσを、バイアス値の絶対値（直流成分の振幅の大きさ）に応じて変更する（変化させる）ようにしておけば、フィードバック機能が働き、同様の効果が得られる。ただ、これらの方法では音声波形の振幅がオーバフローしないことを保障するものではない。
【００９８】
よって、例えばバイアス値がある一定（所定値）以上の値になった場合には、数式(46)の第二項のバイアス項を加算しないようにする処理を安全弁の機能として加えてもよい。つまり、後処理部２８は、加算するために求めた直流成分の振幅が所定値未満である場合のみ、直流成分の加算を実行する（不連続点の除去を実行する）ことが好ましい。この方法を採用することにより、バイアス成分が蓄積しないようになる。
【００９９】
また、例えば音声の子音部分など、音声信号がホワイトノイズに近いような場合、音声信号波形の変化が激しく元の波形が既に不連続に近いような状態になっているものがある。このような音声信号に上述した不連続点除去処理を適用すると、逆に波形を歪ませてしまう場合もある。つまり、元の波形が不連続に近いような状態の音声信号に対し、上述した不連続点除去処理を適用すると、この処理がそのような元々不連続の状態に近い波形を無理矢理連続にしようとするため、逆に波形を歪ませてしまう可能性がある。
【０１００】
この問題を解消するために、後処理部２８では次に示す方法で不連続点除去処理（ノイズ除去処理）を行うことが好ましい。それは、音声の子音部分など信号がホワイトノイズに近いような場合、入力音声信号の波形が所定時間内（例えば処理セグメント内やその半分内）で０を交差する回数が、その他の部分に比べて極端に増加することを利用する。なお、０をどこに採るようにするかは任意に決めておけば済む。よって、出力音声信号（少なくとも離散フーリエ逆変換後の音声信号）が半セグメント長の中で０を交差する回数をカウントし、それが一定の値（所定回数）以上である場合には、その次のセグメントを所定回数以上存在する箇所とみなし、その次のセグメント処理において、数式(45)や数式(46)における右辺第二項のバイアス項を加算しないこととする。つまり、それ以外の箇所でのみ不連続点除去処理を実行する。なお、カウントは、セグメント境界とは関係なく一定時間の音声波形について実行してもよいし、複数のセグメント処理分の音声波形について実行してもよく、いずれの場合にもそのカウント結果から次のセグメント処理でバイアス項を加算するか否かを決めればよい。
【０１０１】
図８の音声信号８０における不連続点の箇所（中央付近８１）は、上述したようなノイズ除去処理により、図１１の音声信号１１０で示す通り、不連続点が解消され連続になっていることが分かる。このように不連続点を無くし、ノイズを除去できる。
【０１０２】
以上の一連の処理を、ユーザが選択した曲のデータ（あるいは音声付き映像コンテンツにおける音声データ）に対してリアルタイムに施すことにより、ユーザが再生開始ボタン５９ｃを押すと、ユーザが特定した方向にある音像のみを抽出することができる。そしてこれは、従来の方式のように、ボーカルなど、通常中央に定位する音像を抽出するだけでなく、中央以外に定位するボーカルや楽器音など全ての音像に対して、任意に指定された方向の音像のみを抽出することが可能となる。
例えば、上述した右側の音（ピアノの音）が、例えば図５のシンボル５５ａの位置から聞こえてくるものであるとして、シンボル５７のようにツマミを上げ、シンボル５８Ｌ、シンボル５８Ｒの無相関信号のツマミは下げている状態を考える。この場合、ピアノの音の左右の音圧バランスは元の信号から変えず、シンボル５５ｃとシンボル５５ｂの幅から決定される区間に含まれる音像が増圧され、その音像以外が全て抑圧されることにより、相対的にピアノの音だけがより抽出されて聞こえる。
【０１０３】
また、ユーザは、相関信号の増加の度合いを高めに設定してから、スライダ５４において抽出対象範囲を左右移動や拡大または縮小させてその領域の音圧を増幅させながら聴取することで、実際に増圧させて聴取したい抽出対象範囲でに合致したシンボル５５ａやシンボル５５ｂ，５５ｃを選択し、そのまま引き続き再生を行うこともできる。
【０１０４】
以上説明したように、本発明によれば、ステレオ記録された音声または楽音コンテンツなどに含まれる２チャネル分の音声信号に対し、中央の音像だけでなく、中央以外に定位するボーカルや楽器音など全ての音像に対して、任意に指定（デフォルト指定も含む）された方向の音像のみを、分離・増圧することが可能になる。つまり、ある特定の音像のみを増圧することが可能になる。
【０１０５】
次に、図１２〜図１６を参照しながら、ＧＵＩ画面の他の例及びそのＧＵＩ画面に基づき設定される音声信号処理について説明する。図１２〜図１６は、それぞれ、図１のユーザインタフェース制御部１８により表示デバイス１９ａに表示させるＧＵＩ画面の他の例を示す図である。なお、図１２〜図１６において、図５中のシンボルが示す部位と同じ部位には同じシンボルで示し、その説明を省略する。
【０１０６】
図１２で例示するＧＵＩ画面１２０は、ある特定の方向に複数の音像が定位する場合に、そのうち１つの音像のみを増圧するための設定画面である。例えばある特定の方向に、ボーカルの音像とベースの音像が存在する場合について、ボーカルのみをピックアップすることを考える。この場合、図５のＧＵＩ画面５０での設定及びその設定に基づく増圧処理を施すと、その両方の音像がピックアップされてしまう。このような場合でも、以下に説明する方法を採用することで、例えばボーカルのみをピックアップすることができる。
【０１０７】
ユーザが図５のＧＵＩ画面５０を用いて各値を設定するところまでは、図５等を参照しながら説明したような方法と同じである。ここで、ボーカルとベースでは音声信号が含まれる周波数帯域が一般的に異なり、ベースの方が、より低い帯域の信号を多く含む。この例のように同じ方向に定位される複数の音像間で、このように周波数帯域が異なる場合は、その性質を利用してさらに細かい増圧制御を試みることができる。
【０１０８】
ユーザは例えば、図５のＧＵＩ画面５０におけるシンボル５５ａにマウスのカーソルを合わせダブルクリックするなどの方法により、図１２のＧＵＩ画面１２０に示すようなサブ画面１２１を表示させる。このサブ画面１２１では、ユーザが増圧処理を施したい抽出対象範囲において、どのように周波数帯域毎に増圧するかを設定できる。サブ画面１２１には、下段に複数のシンボル１２２が並んでいる。シンボル１２２は、シンボル５７と同様に上下させることができるツマミを表現するシンボルであり、それぞれは上述した小帯域を表すものとしている。各シンボル１２２のそれぞれの初期値はシンボル５７で設定されている値で統一しておけばよい。ここで、ツマミの数については、上述した小帯域の数だけこのツマミを並べてもよいし、いくつかの小帯域毎にまとめて１つのツマミで制御してもよい。
【０１０９】
さらにサブ画面１２１には、上段の枠にシンボル１２３が表示されている。シンボル１２３は、各ツマミの設定状況を棒グラフで表示させたものである。あるいは、図５等を参照しながら説明したように、上述した処理方式では処理の過程で離散フーリエ変換により各小帯域の音声信号が求められるので、例えば１つ前のセグメント処理時の数式(19)で表される電力ＰＳ（ｉ）を、数式(37)のθ（ｉ）とともに保持しておき、シンボル５５ｃとシンボル５５ｂにより設定される抽出対象範囲内に入る合成音像を対象に、小帯域毎の電力の和をとった値に、現在ツマミで設定されている値を例えば数式(39)で求められるゲイン値ｒ′Ｓの二乗をかけ合わせた値を棒グラフの値として表示するなどしてもよい。このような情報を表示すると、ユーザは抽出対象範囲内における小帯域毎の出力が視覚的に観測でき、さらにツマミの設定値が反映されるため、それを見て確かめながら各帯域をどれくらい抽出するかを決定することができる。
【０１１０】
さらに、このサブ画面１２１の表示中も、ユーザはシンボル５５ｃ、シンボル５５ｂの幅を変更することができるようにすると、その結果がリアルタイムで棒グラフの値として反映されるので、ユーザは各小帯域の出力を視覚的に確認しながら抽出対象範囲を変更することができる。さらに、同じくサブ画面表示中にシンボル５５ａの位置も水平方向に移動できるようにし、それに応じてサブ画面１２１も移動させるようにすると、これも同様の理由で、ユーザは各小帯域の出力を視覚的に確認しながら増圧の方向を変更することができる。
【０１１１】
また、左右チャネルの無相関信号に対しても、シンボル５３Ｌあるいはシンボル５３Ｒをマウスクリックなどすることにより上述のサブ画面１２１と同様のサブ画面を表示することができる。その場合、棒グラフの値として使用するのは、１つ前のセグメント処理時の数式(19)で表される電力ＰＮ（ｉ）を保持しておき、小帯域毎の電力の和をとった値に、現在ツマミで設定されている値を例えば数式(39)で求められるそれぞれのゲイン値ｒ′Ｌ、ｒ′Ｒの二乗をかけ合わせた値を棒グラフの値として表示するなどしてもよい。
【０１１２】
この例では、ボーカルの音のみを増圧したいので、シンボル１２２で図示したように、中高域に対応するいくつかのツマミを上げる、もしくは低域に対応するいくつかのツマミを下げるようにする。その結果、図５等を参照しながら説明した方法と同じようにそれぞれの小帯域に対してゲインｒ′Ｓ（ｉ）を数式(39)と同様に求める。これより、相関信号を抽出するためのゲインｇＳ（ｉ）を以下のように決定する。
【数１９】
すなわち、小帯域毎の相関信号の音像の方向が、抽出対象範囲に含まれていれば抽出ゲイン値としてユーザが小帯域毎に設定した値を使用し、含まれていなければ０とする。あとは、図５等を参照しながら説明した方法と同様にして処理を施すことによって、特定の抽出対象範囲内に含まれる相関信号に対し特定の周波数帯域のみ抽出することができる。このように、まずは空間的な分離を行い、音像を抽出した上で、さらに周波数帯域毎の増圧を行うことができるので、特定の楽器音を抽出できる可能性が格段に向上する。この例では、その結果、シンボル１２３のような棒グラフが表示されるとともに、ベース音ではなくボーカルの音のみを増圧することが可能となる。
【０１１３】
サブ画面１２１におけるシンボル１２２のツマミで例示したように、ユーザインタフェースは、相関信号処理部２４における増加の度合いを周波数帯域毎に変更するユーザ操作を受け付け可能に構成しておくことが好ましい。パラメータ制御部１７は、ユーザインタフェースで受け付けられたユーザ操作に従って、増加の度合い及び変更の対象となった周波数帯域を示すパラメータを変更する。これにより、相関信号に対し周波数帯域毎に増加の度合い（増圧の度合い）を設定することができる。すなわち、この例では、任意に指定された方向の音像のみを、周波数帯域毎に制御すること、つまり周波数帯域毎に分離・増圧することが可能となる。
【０１１４】
また、サブ画面１２１におけるシンボル１２３の棒グラフで例示したように、ユーザインタフェースは、抽出対象範囲に合成される音像に関わる相関信号中の成分の量を周波数帯域毎に可視化して表示することが好ましい。また、相関信号に関し、この周波数帯域毎の変更を行う構成を採用しなくても上述した周波数帯域毎の可視化表示は採用してもよく、その場合、ユーザは周波数帯域毎の成分量を見ながら、周波数帯域に係わらない全体の成分量を増加させることになる。
【０１１５】
また、シンボル５３Ｌ，５３Ｒに対する、サブ画面１２１と同様のサブ画面について説明したように、ユーザインタフェースは、抽出対象範囲に合成される音像に関わる無相関信号中の成分の量を周波数帯域毎に可視化して表示することが好ましい。また、ユーザインタフェースは、ゲイン調整部２５ａ，２５ｃにおける減少（及び増加）の度合いを周波数帯域毎に変更するユーザ操作を受け付け可能に構成しておくことが好ましい。パラメータ制御部１７は、ユーザインタフェースで受け付けられたユーザ操作に従って、減少（及び増加）の度合い及び変更の対象となった周波数帯域を示すパラメータを変更する。これにより、無相関信号に対し周波数帯域毎に減少／増加の度合い（抑圧または増圧の度合い）を設定することができる。また、無相関信号に関し、この周波数帯域毎の変更を行う構成を採用しなくても上述した周波数帯域毎の可視化表示は採用してもよく、その場合、ユーザは周波数帯域毎の成分量を見ながら、周波数帯域に係わらない全体の成分量を減少／増加させることになる。
【０１１６】
また、成分量の可視化に関し、図１２では周波数帯域毎に可視化したが、図１３で例示するＧＵＩ画面１３０は、シンボル５５ａに対応して、棒グラフ状のインジケータ１３２がシンボル５５ａの上部に表示している。また、シンボル５３Ｌ，５３Ｒに対応して、それぞれインジケータ１３１Ｌ，１３１Ｒが上部に表示している。このように、ユーザインタフェースは、抽出対象範囲に合成される音像に関わる相関信号中の成分の量及び／または無相関信号中の成分の量を、周波数帯域に関係なく全体の量として、可視化して表示することが好ましい。これにより、ユーザは抽出対象範囲に合成される音像に関わる相関信号や無相関信号中の成分の量を見ながら減少や増加の操作を行うことができるようになる。
【０１１７】
また、インジケータ１３２の表示と図１２のサブ画面１２１の表示とを併せて実装する場合には、例えばシンボル５５ａ，５３Ｌ，５３Ｒのうち選択されたシンボルについて、インジケータ１３２を表示させるのか、サブ画面１２１を表示させるのかがユーザ選択可能となるような選択画面を表示させればよい。もしくは入力デバイス１９ｂにおける所定のボタンを押しながら選択するとサブ画面１２１を表示させるなど、入力デバイス１９ｂの操作方法に応じてインジケータ１３２を表示させるかサブ画面１２１を表示させるかを決定してもよい。
【０１１８】
また、放送コンテンツや音楽コンテンツにおいて、本発明を用いて分離される無相関信号は通常、残響音や背景音成分であることが多いという性質を利用するための設定画面である。この性質を利用して、図１４で例示するＧＵＩ画面１４０では、スライダ１４４においてシンボル１４５ａ，１４５ｂ，１４５ｃで示すように相関信号の抽出対象範囲を全範囲に拡大している。さらに、ＧＵＩ画面１４０では、シンボル５８Ｌ，５８Ｒにおけるツマミとシンボル５７におけるツマミとで例示したように、相関信号の抽出レベルも上げているが、無相関信号の減少度合いも少しにしている。このような調整によって、例えばスポーツ番組において実況解説をある程度強調しながら、観客の声援を若干下げて番組を視聴すること、つまり臨場感の低下を抑えながら実況解説を強調することが可能となる。したがって、これらのような調整方法を採用することで、より好ましくはこれらの調整方法のいずれかをプリセット機能の１つとしてテレビ装置に搭載することにより、テレビ装置に解説強調機能を付加することができる。
【０１１９】
上述したように、図５のＧＵＩ画面５０のスライダ５４には、抽出対象範囲が１つだけ（シンボル５５ａ〜５５ｃで示す一組のみ）存在しているが、例えばユーザがスライダ５４上の、シンボル５５ｃとシンボル５５ｂで指定された範囲以外の部分をマウスクリックなどすることにより、別の一組の抽出対象範囲を表示することもできる。
図１５で例示するＧＵＩ画面１５０は、そのようにして別の一組の抽出対象範囲も表示させた場合の設定画面である。ＧＵＩ画面１５０では、スライダ１５４上に、左から説明すると、シンボル１５６ａで示す非抽出対象範囲、シンボル１５５ａ，１５５ｃ，１５５ｄで示す組の抽出対象範囲、シンボル１５６ｂで示す非抽出対象範囲、シンボル１５５ｂ，１５５ｅ，１５５ｆで示す組の抽出対象範囲、シンボル１５６ｃで示す非抽出対象範囲が表示されている。この場合でも抽出対象範囲については位置や幅を変えることができるものとする。また、シンボル１５５ａ，１５５ｂには図５のＧＵＩ画面５０と同様にそれぞれシンボル１５７ａ，１５７ｂで示すようにツマミが表示されており、増圧の度合いも抽出対象範囲毎に調整できるものとする。
【０１２０】
例えば、中央の音（ボーカルの音）がシンボル１５５ａの位置から、右側の音（ピアノの音）がシンボル１５５ｂの位置から、それぞれ聞こえてくるものであるとして、シンボル１５７ａ，１５７ｂのように同じようにツマミを上げると、ボーカルの音とピアノの音とが同じように強調されて聞こえる。これに対し、一方のツマミを他方に比べて上げると、高い方のツマミに該当する位置の音が低い方のツマミに該当する位置の音より強調されて聞こえる。このように、特定の方向の音像のツマミだけを他と比べ相対的に上げることにより、その方向の音像を強調されて聴くことができる。
【０１２１】
図１６で例示するＧＵＩ画面１６０は、図１５のＧＵＩ画面１５０において非抽出対象範囲を無くして調整した場合の画面である。ＧＵＩ画面１６０では、スライダ１６４上に、左から説明すると、シンボル１６５ａ，１６５ｄ，１６５ｅで示す組の抽出対象範囲、シンボル１６５ｂ，１６５ｆ，１６５ｇで示す組の抽出対象範囲、及びシンボル１６５ｃ，１６５ｈ，１６５ｉで示す組の抽出対象範囲が表示されている。この場合でも抽出対象範囲については位置や幅を変えることができるものとするが、抽出対象範囲同士の境界を変える調整となるため、一つの抽出対象範囲を広げれば他の１または２の抽出対象範囲が狭まることになる。また、シンボル１６５ａ，１６５ｂ，１６５ｃには図５のＧＵＩ画面５０と同様にそれぞれシンボル１６７ａ，１６７ｂ，１６７ｃで示すようにツマミが表示されており、増圧の度合いも抽出対象範囲毎に調整できるものとする。このように、複数の抽出対象範囲によって全ての空間的領域を占有するように設定することもできる。また、このような調整方法をプリセットとしてテレビ装置に設定しておくこともできる。
【０１２２】
図１６の例では、複数設定した抽出対象範囲は、全体の空間的範囲を個々に任意の幅となるように分割して複数となった抽出対象範囲である。このような複数の抽出対象範囲のうち特定の抽出対象範囲の抽出レベルを他よりも上げることで、その特定の抽出対象範囲に定位する音像に関する音声信号のみを強調再生することができる。
このことにより、例えば放送番組における台詞の強調や、音楽コンテンツにおけるある楽器音の強調などを柔軟に行うことが可能となる。また、例えば、中央の音（ボーカルの音）がシンボル１６５ｂの位置から、左側の音（ギターの音）がシンボル１６５ａの位置から、右側の音（ピアノの音）がシンボル１６５ｃの位置から、それぞれ聞こえてくるものであるとして、シンボル１６７ｂのようにツマミを上げ、シンボル１６７ａ，１６７ｃのようにツマミをこれに比べて低く下げると、ボーカルの音である中央付近からの音像が強調されて聞こえる。このように、特定の方向の音像のツマミだけを他と比べ相対的に上げることにより、その方向の音像を強調されて聴くことができる。
【０１２３】
また、図１２のＧＵＩ画面１２０におけるサブ画面１２１や図１３のＧＵＩ画面１３０における棒グラフ状のインジケータ１３２は、図１５のＧＵＩ画面１５０や図１６のＧＵＩ画面１６０の例のように、シンボル５５ａが複数存在する場合、それぞれのシンボル５５ａをマウスクリックなどすることにより、それぞれに対応するサブ画面１２１やインジケータ１３２を表示することができる。
【０１２４】
以上、本発明に係る音声信号処理装置における処理について説明したが、次に、上述した各例にさらに適用可能な応用例について説明する。
上述した各例においては、このようにして本発明により増圧等が施された音声信号を左右のスピーカだけで再生させることを前提に説明したが、マルチチャネル再生方式より広いスイートスポットが得られる波面合成再生方式で再生することが、増圧の効果が狭い聴取エリアに限られず広がることから好ましい。なお、波面合成再生方式とは、直線状または面状に並べたスピーカ群によって音の波面を合成する再生方式であり、例えばWave Field Synthesis（ＷＦＳ）方式は直線状に並べたスピーカ群（スピーカアレイ）を用いる現実的な実装方法の１つとして近年盛んに研究されている。ＷＦＳ方式によって提供される音響空間内においてスピーカアレイと対面して音を聴いている受聴者は、実際にはスピーカアレイから放射される音が、スピーカアレイの後方に仮想的に存在する音源（仮想音源）から放射されているかのような感覚を受ける。したがって、このような方式では、広い聴取エリアで本発明に係る増圧の効果を享受でき、例えば横に並んだ複数の聴取者が同時に増圧の効果を享受できる。本発明に係る音声信号処理は、マルチチャネル再生方式での再生であっても波面合成再生方式での再生であっても基本的に同じであり、例えばθ０とｙ０の決め方も同じである。
【０１２５】
上述した各例では、本発明に係る音声信号処理について、入力音声信号が２ｃｈの音声信号である場合、つまりステレオで記録されているコンテンツについてのみ説明したが、より多くのチャネルをもつマルチチャネルの音声信号であっても適用可能である。ステレオ以外に普及している方式としては、５.１ｃｈ、７.１ｃｈ、９.１ｃｈ、２２.２ｃｈなどがある。これらの方式も全て複数のスピーカによる組み合わせで合成音像を作る方式であるため、本発明に係る相関信号の増圧処理が適用できる。なお、特に説明しないが、無相関信号についての減圧（及び増圧）についても同様に、マルチチャネルの音声信号に対して適用できる。
【０１２６】
具体的にマルチチャネルの音声信号への適用について説明すると、着目するチャネルを２つ選び、その２つに対して上述したような増圧処理（及び無相関信号の減圧や増圧処理）を行う。これらの方式では、前方の左チャネルと右チャネル間に相関の高い信号が割り当てられることが多いため、前方の左チャネルと右チャネルに本発明に係る増圧処理を適用し、さらに前方センターチャネルのゲイン調整と組み合わせることによって、ある特定の方向の音像のみを抽出するというような細かな調整が可能となる。
【０１２７】
つまり、５.１ｃｈの入力音声信号など３つ以上のチャネルの入力音声信号に対して、前方左右の２チャネルのみから音源抽出を行い、センターチャネルの信号に対して数式(37)で求めるθ（ｉ）は全て０°である（すなわちセンターチャネルの信号は真正面から聞こえてくる信号である）と仮定する。そして、図５のＧＵＩ画面５０で説明すると、シンボル５５ａで示すスライダ５４の中心点が抽出対象範囲として選択される場合、シンボル５７のツマミのレベルに応じてセンターチャネルの音を、逆フーリエ変換しノイズ除去を行った後の音声信号に加算し出力させる。出力スピーカが２つの場合は、センターチャネルの音は左右スピーカに同じバランスで割り当てられ、出力音量を揃えるためにそれぞれ１／√２倍しておくとよい。出力スピーカが５.１ｃｈの場合は、センタースピーカ用音声信号からセンタースピーカへ、シンボル５７のツマミのレベルに応じた音量で出力させればよい。
【０１２８】
また、後方の左右のスピーカ用の音声信号も、本発明に係る増圧処理とは無関係にそのまま、もしくはシンボル５７のツマミのレベルに応じた音量に増圧して出力するようにすればよい。もしくは、後方の２つの音声信号についても、前方の左右のスピーカ用の音声信号とは独立した相関信号の増圧処理を施してもよい。この場合に提示するＧＵＩ画面としては、図５や図１２〜図１６で説明したようなＧＵＩ画面と同じものが挙げられ、前方及び後方に共通のＧＵＩ画面中の操作対象のツマミとして後方前方に係わらない調整が可能にしておけば済む。また、前方の音声信号調整用のツマミと後方の音声信号調整用のツマミとを用意しておき（同じＧＵＩ画面内に入れるか否かはどちらでもよい）、前方、後方を個別に調整できるようにしておくこともできる。他のマルチチャネルの音声信号についても、５.１ｃｈで説明した考え方と同様に適用し、相関信号はそのうち２つの音声信号について求めて増圧すればよい。
【０１２９】
また、上述した各例においては、相関信号と無相関信号の分離について離散フーリエ空間で行う例を挙げたが、これに限ったものではなく、本発明では分離が可能であればよい。本発明の主たる特徴は所定の空間的範囲に合成される音像のみを、相関信号と無相関信号とに分離してそのうち相関信号について増加させることで増圧することにある。
さらに、相関信号や無相関信号の増減について、相関信号や無相関信号そのものの増減として説明したが、相関信号から生成された信号、相関信号及び無相関信号から生成された信号、無相関信号から生成された信号を、増加または増減の対象としてもよい。このような処理によっても、間接的には相関信号や無相関信号の音圧を変更することができるため、本発明に含まれる。
【０１３０】
また、上述した各例において説明したように、本発明は、所定の空間的範囲に関わる相関信号を増圧のために増加させる手段を設けた装置であるが、抑圧のために減少させる手段をさらに備えておいてもよい。その場合、別途用意した設定画面において、ツマミの調整により減少の度合いを設定できるようにしておいてもよいし、例えば上述したＧＵＩ画面５０において無相関信号について値５で増減無しとして例示したようなツマミを採用してもよい。つまり、ツマミの半分より上（または下）にすることで相関信号を増加させて増圧し、半分より下（または上）することで相関信号を減少させて抑圧するようにしておくこともできる。また、この場合、数式(40)や数式(47)等において、ｒ′Ｓ≧０、ｒ′（ｉ）Ｓ≧０としておけばよい。
さらに、上述した各例では、無相関信号について減圧させるために減少させる手段を設けた例と、増減させるために増加及び減少させる手段の双方を設けた例を挙げている。無相関信号について減少させる手段を少なくとも設けることで、図５や図１２等で例を挙げたように、より相関信号の増圧の効果が増すため好ましいが、一方で、無相関信号について増圧のために増加させる手段だけを設けることもできる。
【０１３１】
次に、本発明に係る音声信号処理装置の実装について説明する。
本発明に係る音声信号処理装置は、例えばパーソナルコンピュータ（ＰＣ）や光ディスク再生装置、音楽再生機能付きの携帯情報端末、テレビ装置、プロジェクタ、あるいは小型の音声処理専用装置など、音声データ再生装置や音声データ再生装置付きの装置に利用できる。ＰＣでは入力デバイスはマウスなどとなるが、携帯情報端末ではボタン操作やタッチパッドなどとなる。また、光ディスク再生装置や小型の処理専用装置では、本体に設置してあるボタン操作や、あるいはＧＵＩ画面をモニタ装置やテレビ装置などの表示デバイスに出力させるとともにリモートコントローラなどによって操作してもよい。また、この音声データ再生装置は、音声のみを取り扱う装置として構成することができるだけでなく、テレビ装置やプロジェクタ等で例示したように、映像の伴う装置に組み込むこともできる。
【０１３２】
また、例えば図２で例示した音声信号処理部２０における各構成要素など、本発明に係る音声信号処理装置の各構成要素やその装置を備えた音声データ再生装置の各構成要素は、例えばマイクロプロセッサ（またはＤＳＰ：Digital Signal Processor）、メモリ、バス、インターフェイス、周辺装置などのハードウェアと、これらのハードウェア上にて実行可能なソフトウェアとにより実現できる。上記ハードウェアの一部または全部は集積回路／ＩＣ（Integrated Circuit）チップセットとして搭載することができ、その場合、上記ソフトウェアは上記メモリに記憶しておければよい。また、本発明の各構成要素の全てをハードウェアで構成してもよく、その場合についても同様に、そのハードウェアの一部または全部を集積回路／ＩＣチップセットとして搭載することも可能である。
【０１３３】
また、上述した様々な構成例における機能を実現するためのソフトウェアのプログラムコードを記録した記録媒体を、音声信号処理装置となる汎用コンピュータ等の装置に供給し、その装置内のマイクロプロセッサまたはＤＳＰによりプログラムコードが実行されることによっても、本発明の目的が達成される。この場合、ソフトウェアのプログラムコード自体が上述した様々な構成例の機能を実現することになり、このプログラムコード自体や、プログラムコードを記録した記録媒体（外部記録媒体や内部記憶装置）であっても、そのコードを制御側が読み出して実行することで、本発明を構成することができる。外部記録媒体としては、例えばＣＤ−ＲＯＭまたはＤＶＤ−ＲＯＭなどの光ディスクやメモリカード等の不揮発性の半導体メモリなど、様々なものが挙げられる。内部記憶装置としては、ハードディスクや半導体メモリなど様々なものが挙げられる。また、プログラムコードはインターネットからダウンロードして実行することや、放送波から受信して実行することもできる。
【０１３４】
以上、本発明に係る音声信号処理装置について説明したが、処理の流れを説明したように、本発明は、複数のスピーカによって合成される音像群のうち所定の空間的範囲に合成される音像のみを増圧する音声信号処理方法としての形態も採り得る。この音声信号処理方法は、次の分離ステップ及び増加ステップを有する。分離ステップは、信号分離部が、入力音声信号を２つのチャネル間の相関信号と無相関信号とに分離するステップである。増加ステップは、相関信号増加部が、分離ステップで分離された信号に対し、所定の空間的範囲に合成される音像に関わる相関信号中の成分を増加させるステップである。その他の応用例については、音声信号処理装置について説明した通りであり、その説明を省略する。
【０１３５】
なお、上記プログラムコード自体は、換言すると、この音声信号処理方法をコンピュータに実行させるためのプログラムである。すなわち、このプログラムは、コンピュータに、複数のスピーカに出力するための入力音声信号を、２つのチャネル間の相関信号と無相関信号とに分離する分離ステップと、分離ステップで分離された信号に対し、所定の空間的範囲に合成される音像に関わる相関信号中の成分を増加させる増加ステップと、を実行させるためのプログラムである。その他の応用例については、音声信号処理装置について説明した通りであり、その説明を省略する。
【符号の説明】
【０１３６】
１０…音声データ再生装置、１１…デコーダ、１２…音声信号抽出部、１３，２０…音声信号処理部、１４…Ｄ／Ａコンバータ、１５…増幅器、１６…スピーカ、１７…パラメータ制御部、１８…ユーザインタフェース制御部、１９ａ…表示デバイス、１９ｂ…入力デバイス、２１…前処理部、２２…離散フーリエ変換部、２３…信号分離抽出部、２４…相関信号処理部、２５ａ，２５ｂ，２５ｃ…ゲイン調整部、２６…合成部、２７…離散フーリエ逆変換部、２８…後処理部。
【特許請求の範囲】
【請求項１】
複数のスピーカによって合成される音像群のうち所定の空間的範囲に合成される音像のみを増圧する音声信号処理装置であって、入力音声信号を２つのチャネル間の相関信号と無相関信号とに分離する信号分離部と、該信号分離部で分離された信号に対し、前記所定の空間的範囲に合成される音像に関わる相関信号中の成分を増加させる相関信号増加部とを備えたことを特徴とする音声信号処理装置。
【請求項２】
前記信号分離部で分離された信号に対し、前記所定の空間的範囲に合成される音像に関わる無相関信号中の成分を減少させる無相関信号減少部をさらに備えたことを特徴とする請求項１に記載の音声信号処理装置。
【請求項３】
前記相関信号増加部における増加の度合いを変更するユーザ操作を受け付けるためのユーザインタフェースと、該ユーザインタフェースで受け付けられたユーザ操作に従って、前記増加の度合いを示すパラメータを変更するパラメータ制御部とをさらに備えたことを特徴とする請求項１または２に記載の音声信号処理装置。
【請求項４】
前記ユーザインタフェースは、前記相関信号増加部における増加の度合いを周波数帯域毎に変更するユーザ操作を受け付け可能に構成されており、前記パラメータ制御部は、前記ユーザインタフェースで受け付けられたユーザ操作に従って、前記増加の度合い及び変更の対象となった周波数帯域を示すパラメータを変更することを特徴とする請求項３に記載の音声信号処理装置。
【請求項５】
前記無相関信号減少部における減少の度合いを変更するユーザ操作を受け付けるためのユーザインタフェースと、該ユーザインタフェースで受け付けられたユーザ操作に従って、前記減少の度合いを示すパラメータを変更するパラメータ制御部とをさらに備えたことを特徴とする請求項２に記載の音声信号処理装置。
【請求項６】
前記ユーザインタフェースは、前記無相関信号減少部における減少の度合いを周波数帯域毎に変更するユーザ操作を受け付け可能に構成されており、前記パラメータ制御部は、前記ユーザインタフェースで受け付けられたユーザ操作に従って、前記減少の度合い及び変更の対象となった周波数帯域を示すパラメータを変更することを特徴とする請求項５に記載の音声信号処理装置。
【請求項７】
前記所定の空間的範囲を変更するユーザ操作を受け付けるためのユーザインタフェースと、該ユーザインタフェースで受け付けられたユーザ操作に従って前記所定の空間的範囲を示すパラメータを変更するパラメータ制御部とをさらに備えたことを特徴とする請求項１〜６のいずれか１に記載の音声信号処理装置。
【請求項８】
前記ユーザインタフェースは、前記所定の空間的範囲に合成される音像に関わる相関信号中の成分の量を可視化して表示することを特徴とする請求項３〜７のいずれか１項に記載の音声信号処理装置。
【請求項９】
前記ユーザインタフェースは、前記所定の空間的範囲に合成される音像に関わる相関信号中の成分の量を周波数帯域毎に可視化して表示することを特徴とする請求項８に記載の音声信号処理装置。
【請求項１０】
前記ユーザインタフェースは、前記所定の空間的範囲に合成される音像に関わる無相関信号中の成分の量を可視化して表示することを特徴とする請求項３〜９のいずれか１項に記載の音声信号処理装置。
【請求項１１】
前記ユーザインタフェースは、前記所定の空間的範囲に合成される音像に関わる無相関信号中の成分の量を周波数帯域毎に可視化して表示することを特徴とする請求項１０に記載の音声信号処理装置。
【請求項１２】
複数のスピーカによって合成される音像群のうち所定の空間的範囲に合成される音像のみを増圧する音声信号処理方法であって、
信号分離部が、入力音声信号を２つのチャネル間の相関信号と無相関信号とに分離する分離ステップと、
相関信号増加部が、前記分離ステップで分離された信号に対し、前記所定の空間的範囲に合成される音像に関わる相関信号中の成分を増加させる増加ステップと、
を有することを特徴とする音声信号処理方法。
【請求項１３】
コンピュータに、複数のスピーカに出力するための入力音声信号を、２つのチャネル間の相関信号と無相関信号とに分離する分離ステップと、該分離ステップで分離された信号に対し、所定の空間的範囲に合成される音像に関わる相関信号中の成分を増加させる増加ステップと、を実行させるためのプログラム。
【請求項１４】
請求項１３に記載のプログラムを記録したコンピュータ読み取り可能な記録媒体。
【請求項１】
複数のスピーカによって合成される音像群のうち所定の空間的範囲に合成される音像のみを増圧する音声信号処理装置であって、入力音声信号を２つのチャネル間の相関信号と無相関信号とに分離する信号分離部と、該信号分離部で分離された信号に対し、前記所定の空間的範囲に合成される音像に関わる相関信号中の成分を増加させる相関信号増加部とを備えたことを特徴とする音声信号処理装置。
【請求項２】
前記信号分離部で分離された信号に対し、前記所定の空間的範囲に合成される音像に関わる無相関信号中の成分を減少させる無相関信号減少部をさらに備えたことを特徴とする請求項１に記載の音声信号処理装置。
【請求項３】
前記相関信号増加部における増加の度合いを変更するユーザ操作を受け付けるためのユーザインタフェースと、該ユーザインタフェースで受け付けられたユーザ操作に従って、前記増加の度合いを示すパラメータを変更するパラメータ制御部とをさらに備えたことを特徴とする請求項１または２に記載の音声信号処理装置。
【請求項４】
前記ユーザインタフェースは、前記相関信号増加部における増加の度合いを周波数帯域毎に変更するユーザ操作を受け付け可能に構成されており、前記パラメータ制御部は、前記ユーザインタフェースで受け付けられたユーザ操作に従って、前記増加の度合い及び変更の対象となった周波数帯域を示すパラメータを変更することを特徴とする請求項３に記載の音声信号処理装置。
【請求項５】
前記無相関信号減少部における減少の度合いを変更するユーザ操作を受け付けるためのユーザインタフェースと、該ユーザインタフェースで受け付けられたユーザ操作に従って、前記減少の度合いを示すパラメータを変更するパラメータ制御部とをさらに備えたことを特徴とする請求項２に記載の音声信号処理装置。
【請求項６】
前記ユーザインタフェースは、前記無相関信号減少部における減少の度合いを周波数帯域毎に変更するユーザ操作を受け付け可能に構成されており、前記パラメータ制御部は、前記ユーザインタフェースで受け付けられたユーザ操作に従って、前記減少の度合い及び変更の対象となった周波数帯域を示すパラメータを変更することを特徴とする請求項５に記載の音声信号処理装置。
【請求項７】
前記所定の空間的範囲を変更するユーザ操作を受け付けるためのユーザインタフェースと、該ユーザインタフェースで受け付けられたユーザ操作に従って前記所定の空間的範囲を示すパラメータを変更するパラメータ制御部とをさらに備えたことを特徴とする請求項１〜６のいずれか１に記載の音声信号処理装置。
【請求項８】
前記ユーザインタフェースは、前記所定の空間的範囲に合成される音像に関わる相関信号中の成分の量を可視化して表示することを特徴とする請求項３〜７のいずれか１項に記載の音声信号処理装置。
【請求項９】
前記ユーザインタフェースは、前記所定の空間的範囲に合成される音像に関わる相関信号中の成分の量を周波数帯域毎に可視化して表示することを特徴とする請求項８に記載の音声信号処理装置。
【請求項１０】
前記ユーザインタフェースは、前記所定の空間的範囲に合成される音像に関わる無相関信号中の成分の量を可視化して表示することを特徴とする請求項３〜９のいずれか１項に記載の音声信号処理装置。
【請求項１１】
前記ユーザインタフェースは、前記所定の空間的範囲に合成される音像に関わる無相関信号中の成分の量を周波数帯域毎に可視化して表示することを特徴とする請求項１０に記載の音声信号処理装置。
【請求項１２】
複数のスピーカによって合成される音像群のうち所定の空間的範囲に合成される音像のみを増圧する音声信号処理方法であって、
信号分離部が、入力音声信号を２つのチャネル間の相関信号と無相関信号とに分離する分離ステップと、
相関信号増加部が、前記分離ステップで分離された信号に対し、前記所定の空間的範囲に合成される音像に関わる相関信号中の成分を増加させる増加ステップと、
を有することを特徴とする音声信号処理方法。
【請求項１３】
コンピュータに、複数のスピーカに出力するための入力音声信号を、２つのチャネル間の相関信号と無相関信号とに分離する分離ステップと、該分離ステップで分離された信号に対し、所定の空間的範囲に合成される音像に関わる相関信号中の成分を増加させる増加ステップと、を実行させるためのプログラム。
【請求項１４】
請求項１３に記載のプログラムを記録したコンピュータ読み取り可能な記録媒体。
【図１】
【図２】
【図３】
【図４】
【図５】
【図６】
【図７】
【図８】
【図９】
【図１０】
【図１１】
【図１２】
【図１３】
【図１４】
【図１５】
【図１６】
【図２】
【図３】
【図４】
【図５】
【図６】
【図７】
【図８】
【図９】
【図１０】
【図１１】
【図１２】
【図１３】
【図１４】
【図１５】
【図１６】
【公開番号】特開２０１１−２４４１９６（Ｐ２０１１−２４４１９６Ａ）
【公開日】平成２３年１２月１日（２０１１．１２．１）
【国際特許分類】
【出願番号】特願２０１０−１１４３５１（Ｐ２０１０−１１４３５１）
【出願日】平成２２年５月１８日（２０１０．５．１８）
【出願人】（０００００５０４９）シャープ株式会社 (33,933)
【Ｆターム（参考）】
【公開日】平成２３年１２月１日（２０１１．１２．１）
【国際特許分類】
【出願日】平成２２年５月１８日（２０１０．５．１８）
【出願人】（０００００５０４９）シャープ株式会社 (33,933)
【Ｆターム（参考）】
[ Back to top ]