音響処理装置
【課題】音響信号の各周波数成分の定位方向の時間変化を容易に確認できるようにする。
【解決手段】表示制御部４０は、周波数軸Ｆ1と時間軸Ｔ1とが設定された領域Ａに音響信号ｘのスペクトログラムを配置した周波数特性画像５０と、周波数軸Ｆ2と定位方向θを示す定位軸Ｌとが設定された領域Ｂに音響信号ｘのうち時間軸Ｔ1上の着目点に対応する各周波数成分の音像点ｑを配置した定位画像６０とを表示させる。周波数軸Ｆ1上の対象帯域ａFと時間軸Ｔ1上の対象期間ａTとで画定される周波数/時間指定領域５２が領域Ａに配置され、対象期間ａT内の音響信号ｘについて、周波数軸Ｆ2上の対象帯域ｂFと定位軸Ｌ上の対象定位域ｂLとで画定される目標指定領域６２が利用者からの指示に応じて領域Ｂに配置される。信号処理部３６は、対象期間ａT内の音響信号ｘのうち目標指定領域６２内の音像点ｑが示す各周波数成分を抑圧または強調する。
【解決手段】表示制御部４０は、周波数軸Ｆ1と時間軸Ｔ1とが設定された領域Ａに音響信号ｘのスペクトログラムを配置した周波数特性画像５０と、周波数軸Ｆ2と定位方向θを示す定位軸Ｌとが設定された領域Ｂに音響信号ｘのうち時間軸Ｔ1上の着目点に対応する各周波数成分の音像点ｑを配置した定位画像６０とを表示させる。周波数軸Ｆ1上の対象帯域ａFと時間軸Ｔ1上の対象期間ａTとで画定される周波数/時間指定領域５２が領域Ａに配置され、対象期間ａT内の音響信号ｘについて、周波数軸Ｆ2上の対象帯域ｂFと定位軸Ｌ上の対象定位域ｂLとで画定される目標指定領域６２が利用者からの指示に応じて領域Ｂに配置される。信号処理部３６は、対象期間ａT内の音響信号ｘのうち目標指定領域６２内の音像点ｑが示す各周波数成分を抑圧または強調する。
【発明の詳細な説明】
【技術分野】
【０００１】
本発明は、音響信号に関連する情報を表示する技術に関する。
【背景技術】
【０００２】
音響信号のうち所定の方向に音像が定位する成分を抑圧または強調する技術が従来から提案されている。例えば特許文献１や特許文献２には、音響信号の左右のチャネル間の類似度に応じて周波数毎に設定された係数値を音響信号の各周波数成分に乗算することで前方（中央）に定位する成分を抑圧する技術が開示されている。
【先行技術文献】
【特許文献】
【０００３】
【特許文献１】特許第３６７０５６２号公報
【特許文献２】特開２００９−１８８９７１号公報
【発明の概要】
【発明が解決しようとする課題】
【０００４】
ところで、音響信号の各周波数成分の定位方向の時間的な変化を視覚的に確認できれば、特定の期間内で所望の方向に定位する周波数成分（例えば歌唱曲の収録音のうち中央に定位する歌唱音）を抑圧または強調の対象として利用者が容易に選択できて便利である。しかし、例えば音響信号のスペクトログラムでは、音響信号の各周波数成分の時間的な変化が提示されるに過ぎず、各周波数成分の定位方向の時間的な変化までは確認できない。したがって、所望の方向に定位する成分を抑圧または強調の対象として選択することは困難である。また、時間軸と定位方向を示す定位軸とが設定された領域内に音響信号の定位方向の時間的な変化の画像を表示する構成も想定されるが、音響信号の周波数成分毎の定位方向の変化を確認できないという問題がある。以上の事情を考慮して、本発明は、音響信号の各周波数成分について定位方向の時間的な変化を視覚的に容易に確認できるようにすることを目的とする。
【課題を解決するための手段】
【０００５】
以上の課題を解決するために本発明が採用する手段を説明する。なお、本発明の理解を容易にするために、以下の説明では、本発明の要素と後述の実施形態の要素との対応を括弧書で付記するが、本発明の範囲を実施形態の例示に限定する趣旨ではない。
【０００６】
本発明の音響処理装置は、利用者からの指示を受付ける受付手段（例えば入力装置２４）と、第１周波数軸（例えば周波数軸Ｆ1）と第１時間軸（例えば時間軸Ｔ1）とが設定された第１領域（例えば領域Ａ）内に音響信号のスペクトログラムを配置した周波数特性画像と、第２周波数軸（例えば周波数軸Ｆ2）と定位方向を示す定位軸（例えば定位軸Ｌ）とが設定された第２領域（例えば領域Ｂ）内に音響信号のうち第１時間軸上の着目点に対応する各周波数成分の音像点を配置した定位画像とを表示装置に表示させる手段であって、第１周波数軸上の対象帯域（例えば対象帯域ａF）と第１時間軸上の対象期間（例えば対象期間ａT）とで画定される周波数/時間指定領域を受付手段に対する指示に応じて第１領域に配置し、対象期間内の音響信号について、第２周波数軸上の対象帯域（例えば対象帯域ｂF）と定位軸上の対象定位域（例えば対象定位域ｂL）とで画定される目標指定領域を受付手段に対する指示に応じて第２領域に配置する表示制御手段と、対象期間内の音響信号のうち目標指定領域内の音像点が示す各周波数成分（目標成分）を抑圧または強調する信号処理手段とを具備する。
【０００７】
以上の構成では、音響信号のスペクトログラムを配置した周波数特性画像と音響信号の着目点に対応する各周波数成分の音像点を配置した定位画像とが表示装置に表示されるから、音響信号の各周波数成分について定位方向の時間的な変化を利用者が視覚的に容易に確認することが可能である。また、周波数特性画像の周波数/時間指定領域の対象帯域に対応する目標指定領域が定位画像に配置されるから、音響信号の目標成分について周波数と定位方向と時間との関係を利用者が容易に把握できるという利点もある。なお、定位画像に音像点を配置する音響信号の範囲は任意であるが、例えば音響信号を複数の単位区間に区分する構成では、複数の単位区間のうち着目点に対応する所定個（単数または複数）の単位区間における各周波数成分の音像点を表示制御手段が第２領域内に配置する構成が好適である。また、目標指定領域および周波数/時間指定領域の指定の順序は任意である。すなわち、目標指定領域の指定後に周波数/時間指定領域を配置する構成と、周波数/時間指定領域の指定後に目標指定領域を配置する構成との双方が本発明の範囲に包含される。
【０００８】
本発明の前述の効果は、周波数特性画像と定位画像とを表示装置に並列（同時）に表示した場合に格別に顕著となる。ただし、周波数特性画像と定位画像とを例えば利用者からの指示に応じて選択的に表示することも可能である。
【０００９】
本発明の好適な態様において、表示制御手段は、音響信号を区分した単位区間の所定個毎の各周波数成分の音像点の分布を、第２周波数軸と定位軸とに交差する時間軸の方向に立体的に配列した定位画像を表示装置に表示させる。以上の態様では、音響信号ｘの各音像点の分布の時間的な変化を利用者が容易に把握できるという利点がある。なお、以上の態様の具体例は、例えば第５実施形態として後述される。
【００１０】
本発明の好適な態様において、表示制御手段は、対象帯域または対象定位域が相違する複数の目標指定領域を受付手段に対する指示に応じて第２領域内に重複可能に配置し、各目標指定領域に対応する複数の周波数/時間指定領域を第１領域内に重複可能に配置する。以上の態様では、対象帯域または対象定位域が相違する複数の目標指定領域が第２領域に重複可能に配置されるとともに各目標指定領域に対応する複数の周波数/時間指定領域が第１領域に重複可能に配置される。したがって、周波数と期間と定位方向とが相違する複数種の成分を目標成分として利用者が容易に指定できるという利点がある。なお、以上の態様の具体例は例えば第２実施形態として後述される。
【００１１】
本発明の好適な態様において、表示制御手段は、目標指定領域に対応する複数の周波数/時間指定領域を、第１領域における第１時間軸上の相異なる時点に設定する。以上の態様では、１個の目標指定領域に対応する複数の周波数/時間指定領域が第１領域に配置されるから、例えば所定の帯域内で間欠的に発生する目標成分を容易かつ適切に指定することが可能である。なお、以上の態様の具体例は、例えば第３実施形態として後述される。
【００１２】
本発明の好適な態様において、表示制御手段は、第１領域内のスペクトログラムのうち目標指定領域内の各音像点に対応する周波数成分と他の周波数成分とを相異なる態様で表示する。以上の態様では、目標指定領域の内側の各音像点に対応する周波数成分と外側の各音像点に対応する周波数成分とが相異なる態様で表示されるから、目標成分として抑圧または強調の対象となる周波数成分を利用者が周波数特性画像から容易に把握できるという利点がある。なお、以上の態様の具体例は、例えば第６実施形態として後述される。
【００１３】
本発明の好適な態様において、表示制御手段は、周波数/時間指定領域および目標指定領域の一方の対象帯域について受付手段に付与された変更指示に応じて周波数/時間指定領域および目標指定領域の双方の対象帯域を変更する。以上の態様では、対象帯域を変更する場合の利用者の負担が軽減されるという利点がある。
【００１４】
本発明の好適な態様において、表示制御手段は、音響信号を構成する第１チャネル信号（例えば音響信号ｘL）および第２チャネル信号（例えば音響信号ｘR）の各々のスペクトログラムを第１領域内に配置し、定位軸上における目標指定領域の位置に応じて第１チャネル信号のスペクトログラム（例えばスペクトログラムＳL）と第２チャネル信号のスペクトログラム（例えばスペクトログラムＳR）とを相異なる表示態様に変化させる。以上の態様では、目標指定領域の位置に応じて各スペクトログラムの表示態様が制御されるから、目標成分の定位位置を利用者が周波数特性画像から直感的に把握できるという利点がある。なお、目標指定領域の位置に応じて表示態様を変化させる領域は、スペクトログラムの全体および一部の何れでもよい。すなわち、スペクトログラムの全体にわたる表示態様を第１チャネル信号と第２チャネル信号とで相違させる構成のほか、例えば、スペクトログラムのうち周波数/時間指定領域の範囲内の表示態様を第１チャネル信号と第２チャネル信号とで相違させる構成も採用され得る。なお、以上の態様の具体例は、例えば第４実施形態として後述される。
【００１５】
本発明の好適な態様において、表示制御手段は、第２時間軸（例えば時間軸Ｔ2）が設定された第３領域（例えば領域Ｃ）内に信号処理手段による処理前または処理後の音響信号の波形を配置した波形画像を、周波数特性画像および定位画像とともに表示装置に表示させる。以上の態様では、音響信号の波形画像が周波数特性画像や定位画像とともに表示装置に表示されるから、目標成分の対象期間と音響信号の波形との関係で容易に把握できるという利点がある。また、第２時間軸上の対象期間を示す時間指定領域を表示制御手段が第３領域に配置する構成によれば、以上の効果は格別に顕著となる。
【００１６】
本発明の好適な態様において、表示制御手段は、周波数/時間指定領域および時間指定領域の一方の対象期間について受付手段に付与された変更指示に応じて周波数/時間指定領域および時間指定領域の双方の対象期間を変更する。以上の態様では、対象期間を変更する場合の利用者の負担が軽減されるという利点がある。
【００１７】
なお、前述の各形態における表示の態様とは、観察者が視覚的に認識できる画像の状態を意味する。具体的な表示態様としては、形状，寸法，階調，色彩，点滅の有無等が例示される。
【００１８】
以上の各態様に係る音響処理装置は、処理係数列の生成に専用されるＤＳＰ（Digital Signal Processor）などのハードウェア（電子回路）によって実現されるほか、ＣＰＵ（Central Processing Unit）等の汎用の演算処理装置とプログラムとの協働によっても実現される。本発明に係るプログラムは、利用者からの指示を受付ける受付手段と、第１周波数軸と第１時間軸とが設定された第１領域内に音響信号のスペクトログラムを配置した周波数特性画像と、第２周波数軸と定位方向を示す定位軸とが設定された第２領域内に音響信号のうち第１時間軸上の着目点に対応する各周波数成分の音像点を配置した定位画像とを表示装置に表示させる手段であって、第１周波数軸上の対象帯域と第１時間軸上の対象期間とで画定される周波数/時間指定領域を受付手段に対する指示に応じて第１領域に配置し、対象期間内の音響信号について、第２周波数軸上の対象帯域と定位軸上の対象定位域とで画定される目標指定領域を受付手段に対する指示に応じて第２領域に配置する表示制御手段と、対象期間内の音響信号のうち目標指定領域内の音像点が示す各周波数成分を抑圧または強調する信号処理手段としてコンピュータを機能させる。以上のプログラムによれば、本発明に係る音響処理装置と同様の作用および効果が奏される。本発明のプログラムは、コンピュータが読取可能な記録媒体に格納された形態で利用者に提供されてコンピュータにインストールされるほか、通信網を介した配信の形態でサーバ装置から提供されてコンピュータにインストールされる。
【図面の簡単な説明】
【００１９】
【図１】第１実施形態に係る音響処理装置のブロック図である。
【図２】第１実施形態における編集画面の模式図である。
【図３】第２実施形態における編集画面の模式図である。
【図４】第３実施形態における編集画面の模式図である。
【図５】第４実施形態における編集画面の模式図である。
【図６】第５実施形態における編集画面の模式図である。
【図７】第６実施形態における編集画面の模式図である。
【発明を実施するための形態】
【００２０】
＜Ａ：第１実施形態＞
図１は、本発明の第１実施形態に係る音響処理装置１００のブロック図である。図１に示すように、音響処理装置１００は、演算処理装置１２と記憶装置１４と信号供給装置２２と入力装置２４と表示装置２６と放音装置２８とを具備するコンピュータシステムで実現される。入力装置２４は、利用者からの指示を受付ける機器（受付手段）であり、例えば複数の操作子を含んで構成される。表示装置２６（例えば液晶表示機器）は、演算処理装置１２による制御のもとで各種の画像を表示する。
【００２１】
信号供給装置２２は、相異なる位置に存在する音源が発音した複数の音響（歌唱音や伴奏音）の混合音の波形を示す音響信号ｘ（ｘL，ｘR）を演算処理装置１２に供給する。左チャネルの音響信号ｘLおよび右チャネルの音響信号ｘRは、各音源に対応する音像が相異なる位置に定位するように収音または加工（例えば左右チャネル間の振幅比や遅延量を変更する処理）されたステレオ形式の信号である。周囲の音響を収音して音響信号ｘを生成する収音機器（ステレオマイク）や、可搬型または内蔵型の記録媒体（例えばＣＤ）から音響信号ｘを読出す再生装置や、通信網から音響信号ｘを受信する通信装置が信号供給装置２２として採用され得る。
【００２２】
記憶装置１４は、演算処理装置１２が実行するプログラムや演算処理装置１２が使用する各種のデータを記憶する。半導体記録媒体や磁気記録媒体等の公知の記録媒体または複数種の記録媒体の組合せが記憶装置１４として任意に採用される。なお、音響信号ｘ（ｘL，ｘR）を記憶装置１４に格納した構成（したがって信号供給装置２２は省略される）も採用され得る。
【００２３】
演算処理装置１２は、記憶装置１４に格納されたプログラムを実行することで、信号供給装置２２が供給する音響信号ｘから音響信号ｙ（ｙL，ｙR）を生成するための複数の機能（周波数分析部３２，係数列生成部３４，信号処理部３６，波形合成部３８，表示制御部４０）を実現する。左チャネルの音響信号ｙLおよび右チャネルの音響信号ｙRは、音響信号ｘの特定の成分（以下「目標成分」という）を他の成分に対して抑圧または強調したステレオ形式の信号である。音響信号ｘのうち所定の方向に音像が定位する各周波数成分が目標成分として抑圧または強調される。なお、演算処理装置１２の各機能を複数の集積回路に分散した構成や、専用の電子回路（ＤＳＰ）が各機能を実現する構成も採用され得る。図１の放音装置２８（例えばステレオスピーカやステレオヘッドホン）は、演算処理装置１２が生成した音響信号ｙ（ｙL，ｙR）に応じた音波を放射する。
【００２４】
周波数分析部３２は、音響信号ｘLの周波数スペクトルＸLと音響信号ｘRの周波数スペクトルＸRとを時間軸上の単位区間（フレーム）毎に順次に生成する。周波数スペクトルＸLは、相異なる周波数（周波数帯域）ｆに対応する複数の周波数成分ＸL(f,m)の系列である。同様に、周波数スペクトルＸRは、複数の周波数成分ＸR(f,m)で構成される。記号ｍは時間軸上の各時点（単位区間の番号）を意味する。周波数スペクトルＸLおよび周波数スペクトルＸRの生成には、例えば短時間フーリエ変換等の公知の周波数分析技術が任意に採用される。
【００２５】
係数列生成部３４は、音響信号ｘの目標成分を抑圧または強調するための処理係数列Ｇ(m)を単位区間毎に順次に生成する。処理係数列Ｇ(m)は、相異なる周波数ｆに対応する複数の係数値ｇ(f,m)の系列である。各係数値ｇ(f,m)は、音響信号ｘの周波数成分ＸL(f,m)および周波数成分ＸR(f,m)に対する利得（スペクトルゲイン）に相当し、音響信号ｘの目標成分が抑圧または強調されるように選定される。各係数値ｇ(f,m)を選定する処理の詳細は後述する。
【００２６】
信号処理部３６は、係数列生成部３４が生成した処理係数列Ｇ(m)を周波数スペクトルＸLおよび周波数スペクトルＸRの各々に作用させることで音響信号ｙLの周波数スペクトルＹL（周波数成分ＹL(f,m)）と音響信号ｙRの周波数スペクトルＹR（周波数成分ＹR(f,m)）とを単位区間毎に生成する。具体的には、音響信号ｘLの周波数成分ＸL(f,m)と処理係数列Ｇ(m)の係数値ｇ(f,m)との乗算値が音響信号ｙLの周波数成分ＹL（f,m）として算定され、音響信号ｘRの周波数成分ＸR(f,m)と係数値ｇ(f,m)との乗算値が音響信号ｙRの周波数成分ＹR(f,m)として算定される。
【００２７】
波形合成部３８は、信号処理部３６が生成した周波数スペクトルＹLおよび周波数スペクトルＹRから音響信号ｙLおよび音響信号ｙRを生成する。具体的には、波形合成部３８は、単位区間毎の周波数スペクトルＹLを時間領域の信号に変換するとともに前後の単位区間で相互に連結することで音響信号ｙLを生成する。同様に、波形合成部３８は、単位区間毎の周波数スペクトルＹRから音響信号ｙRを生成する。波形合成部３８が生成した音響信号ｙ（ｙL，ｙR）が放音装置２８に供給されて音波として再生される。
【００２８】
図１の表示制御部４０は、利用者が目標成分を指定するために参照する図２の編集画面４５を表示装置２６に表示させる。図２に示すように、編集画面４５は、周波数特性画像５０と定位画像６０と波形画像７０とを含んで構成される。
【００２９】
周波数特性画像５０は、相互に交差する時間軸Ｔ1と周波数軸Ｆ1とが設定された領域Ａを含む。領域Ａには、音響信号ｘLのスペクトログラムＳL（階調や色彩で強度が表現された周波数スペクトルＸLの時系列）と音響信号ｘRのスペクトログラムＳRとが並列に配置される。また、時間軸Ｔ1上の任意の時点（以下「着目点」という）を示す指示子（カーソル）５４が領域Ａに配置される。なお、信号処理部３６による処理後の音響信号ｙ（ｙL，ｙR）のスペクトログラムを領域Ａに配置する構成や、音響信号ｘおよび音響信号ｙの各々のスペクトログラムを利用者からの指示に応じて切替えて領域Ａに配置する構成も採用され得る。
【００３０】
図２の定位画像６０は、相互に交差する定位軸Ｌと周波数軸Ｆ2とが設定された領域Ｂを含む。定位軸Ｌは、音像の定位方向θを示す座標軸である。定位軸Ｌの原点（θ＝０）は受聴点の正面方向に相当する。また、定位軸Ｌの原点に対して正側の領域（θ＞０）は正面に対して右側の方向に相当し、負側の領域（θ＜０）は正面方向の左側の方向に相当する。
【００３１】
定位画像６０の領域Ｂには複数の音像点ｑが配置される。定位軸Ｌ上の定位方向θと周波数軸Ｆ2上の周波数ｆとに対応する座標に位置する音像点ｑは、その定位方向θに定位する周波数ｆの周波数成分が音響信号ｘに存在することを意味する。
【００３２】
表示制御部４０は、音響信号ｘの各周波数ｆの定位方向θを単位区間毎に算定する。定位方向θの算定には、例えば以下の数式(1)が好適に利用される。数式(1)の記号|ＸL(f,m)|は音響信号ｘLの周波数成分ＸL(f,m)の振幅を意味し、記号|ＸR(f,m)|は周波数成分ＸR(f,m)の振幅を意味する。音響信号ｘのうち周波数特性画像５０の指示子５４が指定する着目点に対応する１個の単位区間について数式(1)で特定された各音像点ｑが領域Ｂに配置される。なお、数式(1)の意義や導出については、例えば、M. Vinyes, J. Bonada, A. Loscos, "Demixing Commercial Music Productions wia Human-Assisted Time-Frequency Masking"，Audio Engineering Society 120th Convention, France, 2006から理解される。
θ＝２・arctan（|ＸL(f,m)|/|ＸR(f,m)|）・２/π−１ ……(1)
【００３３】
利用者は、入力装置２４を適宜に操作することで領域Ｂ内の任意の領域（以下「目標指定領域」という）６２を指定することが可能である。表示制御部４０は、図２に示すように、利用者から指示された目標指定領域６２を表示装置２６に表示させる。目標指定領域６２は、定位軸Ｌ上の任意の範囲（以下「対象定位域」という）ｂLと周波数軸Ｆ2上の任意の範囲（以下「対象帯域」という）ｂFとで画定される矩形領域である。利用者は、目標指定領域６２の対象定位域ｂLと対象帯域ｂFとを入力装置２４の操作で任意に変更することが可能である。音響信号ｘのうち目標指定領域６２の内側に位置する音像点ｑに対応する各周波数ｆの周波数成分が目標成分として抑圧または強調の対象となる。すなわち、対象帯域ｂF内の音響信号ｘの各周波数成分（ＸL(f,m)，ＸR(f,m)）のうち対象定位域ｂL内の定位方向θに定位する目標成分が抑圧または強調される。
【００３４】
利用者は、入力装置２４を適宜に操作することで目標指定領域６２について任意の増幅率αを指定することが可能である。表示制御部４０は、利用者が指定した増幅率α（図２の例示では４０ｄＢ）を目標指定領域６２に付加する。目標指定領域６２の増幅率αが負数に設定された場合には目標成分が抑圧され、増幅率αが正数に設定された場合には目標成分が強調される。
【００３５】
目標指定領域６２が領域Ｂ内に設定されて入力装置２４に所定の操作（例えば適用ボタンの押下）が付与されると、表示制御部４０は、図２に示すように、その目標指定領域６２に対応する周波数/時間指定領域５２を周波数特性画像５０の領域Ａ内に配置する。周波数/時間指定領域５２は、時間軸Ｔ1上の特定の範囲（以下「対象期間」という）ａTと周波数軸Ｆ1上の対象帯域ａFとで画定される矩形領域であり、音響信号ｘLおよび音響信号ｘRの各々のスペクトログラムに重なるように配置される。周波数/時間指定領域５２の対象帯域ａFは、目標指定領域６２の対象帯域ｂFと共通の帯域に設定される。
【００３６】
利用者は、周波数/時間指定領域５２の対象帯域ａFを入力装置２４の操作で任意に変更することが可能である。表示制御部４０は、周波数/時間指定領域５２の対象帯域ａFおよび目標指定領域６２の対象帯域ｂFの一方に対する変更の指示に応じて対象帯域ａFおよび対象帯域ｂFの双方を相互に連動して変更し、対象帯域ａFと対象帯域ｂFとを共通の帯域に維持する。他方、周波数/時間指定領域５２の対象期間ａTは、定位画像６０の目標指定領域６２が新規に設定された時点では所定の時間長（例えば音響信号ｘの全区間）に設定され、入力装置２４に対する利用者からの指示に応じて任意に変更される。
【００３７】
図２の波形画像７０は、時間軸Ｔ2が設定された領域Ｃを含む。時間軸Ｔ2は、周波数特性画像５０の時間軸Ｔ1と共通の座標軸である。領域Ｃには、音響信号ｘLの波形ＷLおよび音響信号ｘRの波形ＷRと、時間軸Ｔ2上の着目点を示す指示子（カーソル）７４とが配置される。波形画像７０の指示子７４と周波数特性画像５０の指示子５４とは音響信号ｘの共通の着目点を指示する。なお、信号処理部３６による処理後の音響信号ｙ（ｙL，ｙR）の波形を領域Ｃに配置する構成や、音響信号ｘおよび音響信号ｙの各々の波形を利用者からの指示に応じて切替えて領域Ｃに配置する構成も採用され得る。
【００３８】
領域Ｃには時間指定領域７２が設定される。時間指定領域７２は、時間軸Ｔ2上の対象期間ｃTにわたる矩形領域である。時間指定領域７２の対象期間ｃTと周波数/時間指定領域５２の対象期間ａTとは共通する。利用者は、入力装置２４に対する操作で時間指定領域７２の対象期間ｃTを任意に変更することが可能である。表示制御部４０は、周波数/時間指定領域５２の対象期間ａTおよび時間指定領域７２の対象期間ｃTの一方に対する変更の指示に応じて対象期間ａTおよび対象期間ｃTの双方を相互に連動して変更し、対象期間ａTと対象期間ｃTとを共通の期間に維持する。
【００３９】
利用者が入力装置２４に対する操作で音響の再生を指示すると、係数列生成部３４による処理係数列Ｇ(m)の生成と信号処理部３６による音響信号ｙの生成とが順次に実行されて音響信号ｙに応じた音波が放音装置２８から再生される。周波数特性画像５０の指示子５４と波形画像７０の指示子７４とが示す着目点（再生ポイント）は再生の進行とともに時間軸Ｔ1および時間軸Ｔ2に沿って刻々と移動する。また、利用者は、入力装置２４を適宜に操作して指示子５４および指示子７４を移動させることで所望の時点を着目点として指定することが可能である。定位画像６０の領域Ｂには着目点の１個の単位区間に対応する複数の音像点ｑが表示され、着目点の移動とともに随時に更新される。
【００４０】
音響の再生中または停止中の任意の時点で、利用者は、定位画像６０の領域Ｂに目標指定領域６２を新規に設定し、または既存の目標指定領域６２を変更することが可能である。例えば、利用者は、着目点について定位画像６０に表示される各音像点ｑの分布や周波数特性画像６０に表示されるスペクトログラム（ＳL，ＳR）を参照するとともに放音装置２８からの再生音を聴取しながら、自身が抑圧または強調を希望する周波数ｆおよび定位方向θに対応する音像点ｑを内包するように目標指定領域６２を設定または変更し、音響信号ｘのうち目標成分を抑圧または強調したい期間を周波数/時間指定領域５２の対象期間ａTまたは時間指定領域７２の対象期間ｃTとして指定する。
【００４１】
指示子５４および指示子７４の示す着目点が対象期間ａT（ｃT）の外側に存在する場合には定位画像６０の領域Ｂに目標指定領域６２は表示されず（各音像点ｑは表示される）、着目点が対象期間ａTの内側に位置する場合には、図２の例示の通り、定位画像６０の領域Ｂに各音像点ｑとともに目標指定領域６２が表示される。すなわち、着目点の移動（再生の進行）とともに目標指定領域６２の表示／非表示が刻々と変化する。
【００４２】
対象期間ａT（ｃT）の外側の各単位区間について、係数列生成部３４は、処理係数列Ｇ(m)の全部の係数値ｇ(f,m)を所定の数値γ1に設定する。数値γ1は、信号処理部３６による処理の前後で強度を変化させない数値（例えば１）に設定される。他方、対象期間ａT（ｃT）の内側の各単位区間について、係数列生成部３４は、音響信号ｘのうちその単位区間に対応する目標指定領域６２で指定された目標成分が増幅率αに応じて抑圧または強調されるように処理係数列Ｇ(m)の各係数値ｇ(f,m)を設定する。
【００４３】
例えば、増幅率αが負数（目標成分の抑圧）である場合、係数列生成部３４は、目標指定領域６２の外側の音像点ｑに対応する各周波数ｆの係数値ｇ(f,m)を前述の数値γ1に設定し、目標指定領域６２の内側の音像点ｑに対応する各周波数ｆ（すなわち目標成分の各周波数ｆ）の係数値ｇ(f,m)を数値γg1に設定する。増幅率αの絶対値が大きい（目標成分の抑圧の度合が大きい）ほど数値γg1が小さい数値となるように、数値γg1は１未満の正数の範囲内で増幅率αに応じて可変に設定される。したがって、音響信号ｘの目標成分を他の成分と比較して抑圧した音響信号ｙが信号処理部３６による処理で生成される。
【００４４】
他方、増幅率αが正数（目標成分の強調）である場合、係数列生成部３４は、目標指定領域６２の外側の音像点ｑに対応する各周波数ｆの係数値ｇ(f,m)を数値γ0に設定し、目標指定領域６２の内側の音像点ｑに対応する各周波数ｆの係数値ｇ(f,m)を数値γg2に設定する。数値γ0は、信号処理部３６による処理で強度を低下させる数値（例えば０）に設定される。他方、数値γg2は、増幅率αの絶対値が大きい（目標成分の強調の度合が大きい）ほど大きい数値となるように１未満の正数の範囲内で増幅率αに応じて可変に設定される。したがって、音響信号ｘの目標成分を他の成分に対して強調した音響信号ｙが信号処理部３６による処理で生成される。
【００４５】
なお、目標指定領域６２の外側の音像点ｑに対応する各係数値ｇ(f,m)を数値γ0と数値γ1との中間値（例えば０.５）に設定し、目標指定領域６２の内側の音像点ｑに対応する各係数値ｇ(f,m)を増幅率α（負数または正数）に応じて設定することで、音響信号ｘの目標成分を他の成分に対して抑圧または強調することも可能である。
【００４６】
以上に説明した第１実施形態では、音響信号ｘのうち周波数特性画像５０の指示子５４や波形画像７０の指示子７４が示す着目点に対応する単位区間の各周波数成分の各音像点ｑが定位画像６０の領域Ｂに配置される。したがって、音響信号ｘの各周波数成分について定位方向θの時間的な変化を視覚的に容易に確認できるという利点がある。また、対象帯域ａFおよび対象期間ａTで規定される周波数/時間指定領域５２を含む周波数特性画像５０と、対象帯域ｂFおよび対象定位域ｂLで規定される目標指定領域６２を含む定位画像６０とが、表示装置２６に並列に表示される。したがって、音響信号ｘのうち抑圧または強調の対象となる目標成分について、周波数ｆの範囲（対象帯域ａFおよび対象帯域ｂF）と定位方向θの範囲（対象定位域ｂL）と時間範囲（対象期間ａT）との関係を利用者が容易に把握できるという利点もある。更に第１実施形態では、波形画像７０も周波数特性画像５０や定位画像６０とともに表示装置２６に表示されるから、目標成分の対象期間ｃTを音響信号ｘの波形（ＷL，ＷR）との関係で容易に把握できるという利点もある。
【００４７】
＜Ｂ：第２実施形態＞
本発明の第２実施形態を以下に説明する。なお、以下に例示する各形態において作用や機能が第１実施形態と同等である要素については、以上の説明で参照した符号を流用して各々の詳細な説明を適宜に省略する。
【００４８】
図３は、第２実施形態の編集画面４５のうち周波数特性画像５０および定位画像６０の模式図である。なお、周波数特性画像５０のスペクトログラム（ＳL，ＳR）の図示を図３では便宜的に省略した。
【００４９】
図３に示すように、第２実施形態の表示制御部４０は、対象帯域ｂFまたは対象定位域ｂLが相違する複数の目標指定領域６２（６２１，６２２）を利用者からの指示に応じて定位画像６０の領域Ｂ内に設定する。利用者は、対象帯域ｂFと対象定位域ｂLと増幅率αとを目標指定領域６２１および目標指定領域６２２の各々について個別に変更することが可能である。目標指定領域６２１と目標指定領域６２２とは、領域Ｂ内に相互に離間して配置されるほか、図３の例示のように相互に重複する位置にも配置され得る。
【００５０】
図３に示すように、周波数特性画像５０の領域Ａ内には、目標指定領域６２１に対応する周波数/時間指定領域５２１と目標指定領域６２２に対応する周波数/時間指定領域５２２とが設定される。利用者は、対象帯域ａFおよび対象期間ａTを周波数/時間指定領域５２１および周波数/時間指定領域５２２の各々について個別に設定することが可能である。したがって、周波数/時間指定領域５２１と周波数/時間指定領域５２２とは、領域Ａ内に相互に離間して配置されるほか、図３の例示のように相互に重複する位置にも配置され得る。
【００５１】
時間軸Ｔ1上で周波数/時間指定領域５２１のみが存在する時点ｔaを着目点として指示子５４および指示子７４が示す状態では、定位画像６０の領域Ｂには目標指定領域６２１のみが配置される。他方、周波数/時間指定領域５２１および周波数/時間指定領域５２２の双方が存在する時点ｔbが着目点として指示された状態では、図３に示すように、目標指定領域６２１および目標指定領域６２２の双方が定位画像６０の領域Ｂに配置される。また、着目点として時点ｔcが指示された状態では目標指定領域６２２のみが領域Ｂに配置される。
【００５２】
音響信号ｘのうち目標指定領域６２１および目標指定領域６２２の双方が指定された単位区間について、係数列生成部３４は、目標指定領域６２１の処理係数列ＧA(m)と目標指定領域６２２の処理係数列ＧB(m)との各々を第１実施形態と同様の方法で生成し、処理係数列ＧA(m)と処理係数列ＧB(m)との合成（例えば相互に対応する係数値ｇ(f,m)の加算または乗算）で処理係数列Ｇ(m)を生成する。
【００５３】
第２実施形態においても第１実施形態と同様の効果が実現される。また、第２実施形態では、複数の目標指定領域６２（６２１，６２２）が定位画像６０の領域Ｂに配置されるとともに各目標指定領域６２に対応する複数の周波数/時間指定領域５２（５２１，５２２）が周波数特性画像５０の領域Ａに配置される。したがって、周波数ｆ（対象帯域ａF）と発生期間（対象期間ａT）と定位方向（対象定位域ｂL）とが相違する複数種の目標成分を容易に抑圧または強調の対象として指定することが可能である。
【００５４】
＜Ｃ：第３実施形態＞
図４は、第３実施形態の編集画面４５のうち周波数特性画像５０および定位画像６０の模式図である。なお、図３と同様に、周波数特性画像５０のスペクトログラム（ＳL，ＳR）の図示は図４でも省略されている。
【００５５】
第３実施形態の表示制御部４０は、定位画像６０の１個の目標指定領域６２に対応する複数の周波数/時間指定領域５２（５２A，５２B）を利用者からの指示に応じて周波数特性画像５０の領域Ａ内に配置する。利用者は、周波数/時間指定領域５２Aと周波数/時間指定領域５２Bとの各々について対象期間ａTを個別に設定することが可能である。したがって、周波数/時間指定領域５２Aと周波数/時間指定領域５２Bとは時間軸Ｔ1上で相異なる時点（相互に間隔をあけた位置）に配置され得る。他方、周波数軸Ｆ1上の対象帯域ａFは周波数/時間指定領域５２Aと周波数/時間指定領域５２Bとで共通する。
【００５６】
第３実施形態においても第１実施形態と同様の効果が実現される。また、第３実施形態では、１個の目標指定領域６２に対応する複数の周波数/時間指定領域５２（５２A，５２B）が周波数特性画像５０の領域Ａに配置されるから、例えば所定の帯域内の周波数ｆで間欠的に発生する目標成分（例えば間奏をあけて発生する歌唱音）を適切に指定することが可能である。
【００５７】
なお、第２実施形態のように領域Ｂ内に複数の目標指定領域６２（６２１，６２２）が指定され得る構成に第３実施形態を適用することも可能である。例えば、目標指定領域６２１に対応する複数の周波数/時間指定領域５２と目標指定領域６２２に対応する複数の周波数/時間指定領域５２とを、相異なる表示態様（例えば色彩）で領域Ａ内に配置する構成が好適である。
【００５８】
＜Ｄ：第４実施形態＞
図５は、第４実施形態の編集画面４５のうち周波数特性画像５０および定位画像６０の模式図である。第４実施形態の表示制御部４０は、周波数特性画像５０の領域Ａ内に配置される音響信号ｘLのスペクトログラムＳLおよび音響信号ｘRのスペクトログラムＳRの各々の表示態様（以下の例示では階調）を、定位画像６０における目標指定領域６２の定位軸Ｌ上の位置（すなわち目標成分の定位方向θ）に応じて変化させる。
【００５９】
図５の部分(a)に示すように、定位軸Ｌ上の原点に対して正側（右方向）に目標指定領域６２が設定された場合（すなわち、右方向に定位する成分が目標成分として指定された場合）、表示制御部４０は、領域Ａ内のスペクトログラムＳRをスペクトログラムＳLと比較して低階調で表示する。目標指定領域６２の重心（図心）が原点から右方向に離間するほどスペクトログラムＳRの階調はスペクトログラムＳLと比較して低下する。同様に、図５の部分(b)に示すように、目標指定領域６２の重心が原点から負側（左方向）に離間するほど、スペクトログラムＳLはスペクトログラムＳRと比較して低階調で表示される。目標指定領域６２の重心が定位軸Ｌ上の原点に位置する場合、スペクトログラムＳLとスペクトログラムＳRとは相等しい階調で表示される。
【００６０】
第４実施形態においても第１実施形態と同様の効果が実現される。また、第４実施形態では、スペクトログラムＳRおよびスペクトログラムＳLの各々の表示態様が目標指定領域６２の定位軸Ｌ上の位置に応じて変化するから、目標成分の定位方向を利用者が周波数特性画像５０から直感的に把握できるという利点がある。
【００６１】
なお、以上の説明では、目標指定領域６２の指定に並行して随時にスペクトログラムＳRおよびスペクトログラムＳLの表示態様を変更したが、例えば目標指定領域６２の指定後に入力装置２４に対して所定の操作（例えば確定ボタンの押下）が付与された場合にスペクトログラムＳRおよびスペクトログラムＳLの表示態様を変更する構成も採用され得る。
【００６２】
また、以上の説明では、スペクトログラムＳRおよびスペクトログラムＳLの各々の全体的な表示態様を目標指定領域６２の位置に応じて相違させたが、スペクトログラムＳRやスペクトログラムＳLの部分的な表示態様を相違させる構成も採用される。例えば、目標指定領域６２に対応する周波数/時間指定領域５２の範囲内の表示態様のみを目標指定領域６２の位置に応じてスペクトログラムＳRおよびスペクトログラムＳLとで相違させ、他の領域の表示態様は共通させることも可能である。
【００６３】
＜Ｅ：第５実施形態＞
図６は、第５実施形態における定位画像６０の模式図である。図６に示すように、第６実施形態の表示制御部４０が表示装置２６に表示させる定位画像６０は、音響信号ｘの相異なる時点（単位区間）に対応する複数の単位画像Ｕが、周波数軸Ｆ2と定位軸Ｌとに交差する時間軸Ｔ0に沿って立体的に配列された画像である。音響信号ｘの各時点に対応する１個の単位画像Ｕには、音響信号ｘのうちその時点の単位区間に対応する複数の音像点ｑと目標指定領域６２とが配置される。複数の単位画像Ｕのうち指示子５４および指示子７４が示す着目点に対応する１個の単位画像Ｕが最前面に表示されるように各単位画像Ｕの時間軸Ｔ0上の位置が順次に変更される。なお、各単位画像Ｕを透過表示することも可能である。
【００６４】
第５実施形態においても第１実施形態と同様の効果が実現される。また、第５実施形態では、音響信号ｘの相異なる時点での音像点ｑを配置した複数の単位画像Ｕが時間軸Ｔ0に沿って立体的に配置されるから、音像点ｑの分布と目標指定領域６２との関係の時間的な遷移を定位画像６０から容易に把握できるという利点がある。
【００６５】
＜Ｆ：第６実施形態＞
図７は、第６実施形態における周波数特性画像５０および定位画像６０の部分的な模式図である。図７に示すように、周波数軸Ｆ2上の複数の周波数ｆは、目標指定領域６２の内側の音像点ｑに対応する周波数ｆaと、目標指定領域６２の外側の音像点ｑに対応する周波数ｆbとに区分される。目標指定領域６２の対象帯域ｂFの外側の周波数ｆが周波数ｆaに選別されるほか、対象帯域ｂFの内側の周波数ｆでも、対象定位域ｂLの外側に位置する音像点ｑに対応する周波数ｆは周波数ｆbに選別される。
【００６６】
図７には、周波数特性画像５０のスペクトログラムＳLのうち音響信号ｘの１個の単位区間に対応する周波数スペクトルＸLの各周波数成分ＸL(f,m)が模式的に図示されている。図７に示すように、表示制御部４０は、周波数スペクトルＸLのうち音像点ｑが目標指定領域６２の内側に位置する各周波数ｆaの周波数成分ＸL(fa,m)と、音像点ｑが目標指定領域６２の外側に位置する各周波数ｆbの周波数成分ＸL(fb,m)とを、相異なる表示態様（例えば階調）で表示する。図７では、周波数ｆaの周波数成分ＸL(fa,m)を黒色（低階調）で表示し、周波数ｆbの周波数成分ＸL(fb,m)を白色（高階調）で表示した場合が想定されている。なお、図７ではスペクトログラムＳL（周波数スペクトルＸL）のみを図示したが、スペクトログラムＳRについても同様に表示される。
【００６７】
第６実施形態においても第１実施形態と同様の効果が実現される。また、第６実施形態では、目標指定領域６２の内側の音像点ｑに対応する周波数成分ＸL(fa,m)と、目標指定領域６２の外側の音像点ｑに対応する周波数成分ＸL(fb,m)とが相異なる態様で周波数特性画像５０に表示されるから、目標成分として抑圧または強調の対象となる周波数成分ＸL(f,m)を利用者が周波数特性画像５０から容易に把握できるという利点がある。
【００６８】
なお、以上の例示では周波数ｆaの周波数成分ＸL(fa,m)と周波数ｆbの周波数成分ＸL(fb,m)とで階調を相違させたが、周波数成分ＸL(fa,m)と周波数成分ＸL(fb,m)とを視覚的に区別する方法は任意である。例えば、周波数成分ＸL(fa,m)と周波数成分ＸL(fb,m)とで色彩を相違させた構成や、周波数成分ＸL(fa,m)および周波数成分ＸL(fb,m)の一方の表示を点滅させることも可能である。
【００６９】
＜Ｇ：変形例＞
以上の形態には様々な変形が加えられる。具体的な変形の態様を以下に例示する。以下の例示から任意に選択された２以上の態様は併合され得る。
【００７０】
（１）前述の各形態では、音響信号ｘLのスペクトログラムＳLと音響信号ｘRのスペクトログラムＳRとを領域Ａに配置したが、音響信号ｘLと音響信号ｘRとの混合信号（モノラル信号）のスペクトログラムや音響信号ｘLおよび音響信号ｘRの一方のスペクトログラムを領域Ａに配置することも可能である。波形画像７０についても同様であり、音響信号ｘLと音響信号ｘRの混合信号の波形や音響信号ｘLおよび音響信号ｘRの一方の波形を領域Ｃに配置した構成も採用される。また、波形画像７０を省略した構成も採用される。
【００７１】
（２）前述の各形態では、音響信号ｘの１個の単位区間内の各周波数成分に対応する音像点ｑを領域Ｂに配置したが、音響信号ｘの複数の単位区間にわたる各周波数成分の音像点ｑを領域Ｂに配置することも可能である。例えば、複数の単位区間にわたる定位方向θの平均値や加算値が周波数ｆ毎に算定され、各数値に対応する音像点ｑが領域Ｂに配置される。
【００７２】
（３）前述の各形態では、領域Ａと領域Ｂと領域Ｃとを並列に表示したが、各領域を選択的に表示することも可能である。例えば、表示制御部４０は、領域Ａと領域Ｂと領域Ｃとのうち利用者が入力装置２４の操作で選択した少なくともひとつの領域を表示装置２６に表示させる。
【００７３】
（４）周波数/時間指定領域５２や目標指定領域６２や時間指定領域７２の形状は任意であり、前述の各形態に例示した矩形状には限定されない。
【００７４】
（５）第１実施形態ないし第６実施形態のなかから任意に選択された２以上の形態を併合することも可能である。
【符号の説明】
【００７５】
１００……音響処理装置、１２……演算処理装置、１４……記憶装置、２２……信号供給装置、２４……入力装置、２６……表示装置、２８……放音装置、３２……周波数分析部、３４……係数列生成部、３６……信号処理部、３８……波形合成部、４０……表示制御部、４５……編集画面、５０……周波数特性画像、５２……周波数/時間指定領域、５４……指示子、６０……定位画像、６２……目標指定領域、７０……波形画像、７２……時間指定領域、７４……指示子。
【技術分野】
【０００１】
本発明は、音響信号に関連する情報を表示する技術に関する。
【背景技術】
【０００２】
音響信号のうち所定の方向に音像が定位する成分を抑圧または強調する技術が従来から提案されている。例えば特許文献１や特許文献２には、音響信号の左右のチャネル間の類似度に応じて周波数毎に設定された係数値を音響信号の各周波数成分に乗算することで前方（中央）に定位する成分を抑圧する技術が開示されている。
【先行技術文献】
【特許文献】
【０００３】
【特許文献１】特許第３６７０５６２号公報
【特許文献２】特開２００９−１８８９７１号公報
【発明の概要】
【発明が解決しようとする課題】
【０００４】
ところで、音響信号の各周波数成分の定位方向の時間的な変化を視覚的に確認できれば、特定の期間内で所望の方向に定位する周波数成分（例えば歌唱曲の収録音のうち中央に定位する歌唱音）を抑圧または強調の対象として利用者が容易に選択できて便利である。しかし、例えば音響信号のスペクトログラムでは、音響信号の各周波数成分の時間的な変化が提示されるに過ぎず、各周波数成分の定位方向の時間的な変化までは確認できない。したがって、所望の方向に定位する成分を抑圧または強調の対象として選択することは困難である。また、時間軸と定位方向を示す定位軸とが設定された領域内に音響信号の定位方向の時間的な変化の画像を表示する構成も想定されるが、音響信号の周波数成分毎の定位方向の変化を確認できないという問題がある。以上の事情を考慮して、本発明は、音響信号の各周波数成分について定位方向の時間的な変化を視覚的に容易に確認できるようにすることを目的とする。
【課題を解決するための手段】
【０００５】
以上の課題を解決するために本発明が採用する手段を説明する。なお、本発明の理解を容易にするために、以下の説明では、本発明の要素と後述の実施形態の要素との対応を括弧書で付記するが、本発明の範囲を実施形態の例示に限定する趣旨ではない。
【０００６】
本発明の音響処理装置は、利用者からの指示を受付ける受付手段（例えば入力装置２４）と、第１周波数軸（例えば周波数軸Ｆ1）と第１時間軸（例えば時間軸Ｔ1）とが設定された第１領域（例えば領域Ａ）内に音響信号のスペクトログラムを配置した周波数特性画像と、第２周波数軸（例えば周波数軸Ｆ2）と定位方向を示す定位軸（例えば定位軸Ｌ）とが設定された第２領域（例えば領域Ｂ）内に音響信号のうち第１時間軸上の着目点に対応する各周波数成分の音像点を配置した定位画像とを表示装置に表示させる手段であって、第１周波数軸上の対象帯域（例えば対象帯域ａF）と第１時間軸上の対象期間（例えば対象期間ａT）とで画定される周波数/時間指定領域を受付手段に対する指示に応じて第１領域に配置し、対象期間内の音響信号について、第２周波数軸上の対象帯域（例えば対象帯域ｂF）と定位軸上の対象定位域（例えば対象定位域ｂL）とで画定される目標指定領域を受付手段に対する指示に応じて第２領域に配置する表示制御手段と、対象期間内の音響信号のうち目標指定領域内の音像点が示す各周波数成分（目標成分）を抑圧または強調する信号処理手段とを具備する。
【０００７】
以上の構成では、音響信号のスペクトログラムを配置した周波数特性画像と音響信号の着目点に対応する各周波数成分の音像点を配置した定位画像とが表示装置に表示されるから、音響信号の各周波数成分について定位方向の時間的な変化を利用者が視覚的に容易に確認することが可能である。また、周波数特性画像の周波数/時間指定領域の対象帯域に対応する目標指定領域が定位画像に配置されるから、音響信号の目標成分について周波数と定位方向と時間との関係を利用者が容易に把握できるという利点もある。なお、定位画像に音像点を配置する音響信号の範囲は任意であるが、例えば音響信号を複数の単位区間に区分する構成では、複数の単位区間のうち着目点に対応する所定個（単数または複数）の単位区間における各周波数成分の音像点を表示制御手段が第２領域内に配置する構成が好適である。また、目標指定領域および周波数/時間指定領域の指定の順序は任意である。すなわち、目標指定領域の指定後に周波数/時間指定領域を配置する構成と、周波数/時間指定領域の指定後に目標指定領域を配置する構成との双方が本発明の範囲に包含される。
【０００８】
本発明の前述の効果は、周波数特性画像と定位画像とを表示装置に並列（同時）に表示した場合に格別に顕著となる。ただし、周波数特性画像と定位画像とを例えば利用者からの指示に応じて選択的に表示することも可能である。
【０００９】
本発明の好適な態様において、表示制御手段は、音響信号を区分した単位区間の所定個毎の各周波数成分の音像点の分布を、第２周波数軸と定位軸とに交差する時間軸の方向に立体的に配列した定位画像を表示装置に表示させる。以上の態様では、音響信号ｘの各音像点の分布の時間的な変化を利用者が容易に把握できるという利点がある。なお、以上の態様の具体例は、例えば第５実施形態として後述される。
【００１０】
本発明の好適な態様において、表示制御手段は、対象帯域または対象定位域が相違する複数の目標指定領域を受付手段に対する指示に応じて第２領域内に重複可能に配置し、各目標指定領域に対応する複数の周波数/時間指定領域を第１領域内に重複可能に配置する。以上の態様では、対象帯域または対象定位域が相違する複数の目標指定領域が第２領域に重複可能に配置されるとともに各目標指定領域に対応する複数の周波数/時間指定領域が第１領域に重複可能に配置される。したがって、周波数と期間と定位方向とが相違する複数種の成分を目標成分として利用者が容易に指定できるという利点がある。なお、以上の態様の具体例は例えば第２実施形態として後述される。
【００１１】
本発明の好適な態様において、表示制御手段は、目標指定領域に対応する複数の周波数/時間指定領域を、第１領域における第１時間軸上の相異なる時点に設定する。以上の態様では、１個の目標指定領域に対応する複数の周波数/時間指定領域が第１領域に配置されるから、例えば所定の帯域内で間欠的に発生する目標成分を容易かつ適切に指定することが可能である。なお、以上の態様の具体例は、例えば第３実施形態として後述される。
【００１２】
本発明の好適な態様において、表示制御手段は、第１領域内のスペクトログラムのうち目標指定領域内の各音像点に対応する周波数成分と他の周波数成分とを相異なる態様で表示する。以上の態様では、目標指定領域の内側の各音像点に対応する周波数成分と外側の各音像点に対応する周波数成分とが相異なる態様で表示されるから、目標成分として抑圧または強調の対象となる周波数成分を利用者が周波数特性画像から容易に把握できるという利点がある。なお、以上の態様の具体例は、例えば第６実施形態として後述される。
【００１３】
本発明の好適な態様において、表示制御手段は、周波数/時間指定領域および目標指定領域の一方の対象帯域について受付手段に付与された変更指示に応じて周波数/時間指定領域および目標指定領域の双方の対象帯域を変更する。以上の態様では、対象帯域を変更する場合の利用者の負担が軽減されるという利点がある。
【００１４】
本発明の好適な態様において、表示制御手段は、音響信号を構成する第１チャネル信号（例えば音響信号ｘL）および第２チャネル信号（例えば音響信号ｘR）の各々のスペクトログラムを第１領域内に配置し、定位軸上における目標指定領域の位置に応じて第１チャネル信号のスペクトログラム（例えばスペクトログラムＳL）と第２チャネル信号のスペクトログラム（例えばスペクトログラムＳR）とを相異なる表示態様に変化させる。以上の態様では、目標指定領域の位置に応じて各スペクトログラムの表示態様が制御されるから、目標成分の定位位置を利用者が周波数特性画像から直感的に把握できるという利点がある。なお、目標指定領域の位置に応じて表示態様を変化させる領域は、スペクトログラムの全体および一部の何れでもよい。すなわち、スペクトログラムの全体にわたる表示態様を第１チャネル信号と第２チャネル信号とで相違させる構成のほか、例えば、スペクトログラムのうち周波数/時間指定領域の範囲内の表示態様を第１チャネル信号と第２チャネル信号とで相違させる構成も採用され得る。なお、以上の態様の具体例は、例えば第４実施形態として後述される。
【００１５】
本発明の好適な態様において、表示制御手段は、第２時間軸（例えば時間軸Ｔ2）が設定された第３領域（例えば領域Ｃ）内に信号処理手段による処理前または処理後の音響信号の波形を配置した波形画像を、周波数特性画像および定位画像とともに表示装置に表示させる。以上の態様では、音響信号の波形画像が周波数特性画像や定位画像とともに表示装置に表示されるから、目標成分の対象期間と音響信号の波形との関係で容易に把握できるという利点がある。また、第２時間軸上の対象期間を示す時間指定領域を表示制御手段が第３領域に配置する構成によれば、以上の効果は格別に顕著となる。
【００１６】
本発明の好適な態様において、表示制御手段は、周波数/時間指定領域および時間指定領域の一方の対象期間について受付手段に付与された変更指示に応じて周波数/時間指定領域および時間指定領域の双方の対象期間を変更する。以上の態様では、対象期間を変更する場合の利用者の負担が軽減されるという利点がある。
【００１７】
なお、前述の各形態における表示の態様とは、観察者が視覚的に認識できる画像の状態を意味する。具体的な表示態様としては、形状，寸法，階調，色彩，点滅の有無等が例示される。
【００１８】
以上の各態様に係る音響処理装置は、処理係数列の生成に専用されるＤＳＰ（Digital Signal Processor）などのハードウェア（電子回路）によって実現されるほか、ＣＰＵ（Central Processing Unit）等の汎用の演算処理装置とプログラムとの協働によっても実現される。本発明に係るプログラムは、利用者からの指示を受付ける受付手段と、第１周波数軸と第１時間軸とが設定された第１領域内に音響信号のスペクトログラムを配置した周波数特性画像と、第２周波数軸と定位方向を示す定位軸とが設定された第２領域内に音響信号のうち第１時間軸上の着目点に対応する各周波数成分の音像点を配置した定位画像とを表示装置に表示させる手段であって、第１周波数軸上の対象帯域と第１時間軸上の対象期間とで画定される周波数/時間指定領域を受付手段に対する指示に応じて第１領域に配置し、対象期間内の音響信号について、第２周波数軸上の対象帯域と定位軸上の対象定位域とで画定される目標指定領域を受付手段に対する指示に応じて第２領域に配置する表示制御手段と、対象期間内の音響信号のうち目標指定領域内の音像点が示す各周波数成分を抑圧または強調する信号処理手段としてコンピュータを機能させる。以上のプログラムによれば、本発明に係る音響処理装置と同様の作用および効果が奏される。本発明のプログラムは、コンピュータが読取可能な記録媒体に格納された形態で利用者に提供されてコンピュータにインストールされるほか、通信網を介した配信の形態でサーバ装置から提供されてコンピュータにインストールされる。
【図面の簡単な説明】
【００１９】
【図１】第１実施形態に係る音響処理装置のブロック図である。
【図２】第１実施形態における編集画面の模式図である。
【図３】第２実施形態における編集画面の模式図である。
【図４】第３実施形態における編集画面の模式図である。
【図５】第４実施形態における編集画面の模式図である。
【図６】第５実施形態における編集画面の模式図である。
【図７】第６実施形態における編集画面の模式図である。
【発明を実施するための形態】
【００２０】
＜Ａ：第１実施形態＞
図１は、本発明の第１実施形態に係る音響処理装置１００のブロック図である。図１に示すように、音響処理装置１００は、演算処理装置１２と記憶装置１４と信号供給装置２２と入力装置２４と表示装置２６と放音装置２８とを具備するコンピュータシステムで実現される。入力装置２４は、利用者からの指示を受付ける機器（受付手段）であり、例えば複数の操作子を含んで構成される。表示装置２６（例えば液晶表示機器）は、演算処理装置１２による制御のもとで各種の画像を表示する。
【００２１】
信号供給装置２２は、相異なる位置に存在する音源が発音した複数の音響（歌唱音や伴奏音）の混合音の波形を示す音響信号ｘ（ｘL，ｘR）を演算処理装置１２に供給する。左チャネルの音響信号ｘLおよび右チャネルの音響信号ｘRは、各音源に対応する音像が相異なる位置に定位するように収音または加工（例えば左右チャネル間の振幅比や遅延量を変更する処理）されたステレオ形式の信号である。周囲の音響を収音して音響信号ｘを生成する収音機器（ステレオマイク）や、可搬型または内蔵型の記録媒体（例えばＣＤ）から音響信号ｘを読出す再生装置や、通信網から音響信号ｘを受信する通信装置が信号供給装置２２として採用され得る。
【００２２】
記憶装置１４は、演算処理装置１２が実行するプログラムや演算処理装置１２が使用する各種のデータを記憶する。半導体記録媒体や磁気記録媒体等の公知の記録媒体または複数種の記録媒体の組合せが記憶装置１４として任意に採用される。なお、音響信号ｘ（ｘL，ｘR）を記憶装置１４に格納した構成（したがって信号供給装置２２は省略される）も採用され得る。
【００２３】
演算処理装置１２は、記憶装置１４に格納されたプログラムを実行することで、信号供給装置２２が供給する音響信号ｘから音響信号ｙ（ｙL，ｙR）を生成するための複数の機能（周波数分析部３２，係数列生成部３４，信号処理部３６，波形合成部３８，表示制御部４０）を実現する。左チャネルの音響信号ｙLおよび右チャネルの音響信号ｙRは、音響信号ｘの特定の成分（以下「目標成分」という）を他の成分に対して抑圧または強調したステレオ形式の信号である。音響信号ｘのうち所定の方向に音像が定位する各周波数成分が目標成分として抑圧または強調される。なお、演算処理装置１２の各機能を複数の集積回路に分散した構成や、専用の電子回路（ＤＳＰ）が各機能を実現する構成も採用され得る。図１の放音装置２８（例えばステレオスピーカやステレオヘッドホン）は、演算処理装置１２が生成した音響信号ｙ（ｙL，ｙR）に応じた音波を放射する。
【００２４】
周波数分析部３２は、音響信号ｘLの周波数スペクトルＸLと音響信号ｘRの周波数スペクトルＸRとを時間軸上の単位区間（フレーム）毎に順次に生成する。周波数スペクトルＸLは、相異なる周波数（周波数帯域）ｆに対応する複数の周波数成分ＸL(f,m)の系列である。同様に、周波数スペクトルＸRは、複数の周波数成分ＸR(f,m)で構成される。記号ｍは時間軸上の各時点（単位区間の番号）を意味する。周波数スペクトルＸLおよび周波数スペクトルＸRの生成には、例えば短時間フーリエ変換等の公知の周波数分析技術が任意に採用される。
【００２５】
係数列生成部３４は、音響信号ｘの目標成分を抑圧または強調するための処理係数列Ｇ(m)を単位区間毎に順次に生成する。処理係数列Ｇ(m)は、相異なる周波数ｆに対応する複数の係数値ｇ(f,m)の系列である。各係数値ｇ(f,m)は、音響信号ｘの周波数成分ＸL(f,m)および周波数成分ＸR(f,m)に対する利得（スペクトルゲイン）に相当し、音響信号ｘの目標成分が抑圧または強調されるように選定される。各係数値ｇ(f,m)を選定する処理の詳細は後述する。
【００２６】
信号処理部３６は、係数列生成部３４が生成した処理係数列Ｇ(m)を周波数スペクトルＸLおよび周波数スペクトルＸRの各々に作用させることで音響信号ｙLの周波数スペクトルＹL（周波数成分ＹL(f,m)）と音響信号ｙRの周波数スペクトルＹR（周波数成分ＹR(f,m)）とを単位区間毎に生成する。具体的には、音響信号ｘLの周波数成分ＸL(f,m)と処理係数列Ｇ(m)の係数値ｇ(f,m)との乗算値が音響信号ｙLの周波数成分ＹL（f,m）として算定され、音響信号ｘRの周波数成分ＸR(f,m)と係数値ｇ(f,m)との乗算値が音響信号ｙRの周波数成分ＹR(f,m)として算定される。
【００２７】
波形合成部３８は、信号処理部３６が生成した周波数スペクトルＹLおよび周波数スペクトルＹRから音響信号ｙLおよび音響信号ｙRを生成する。具体的には、波形合成部３８は、単位区間毎の周波数スペクトルＹLを時間領域の信号に変換するとともに前後の単位区間で相互に連結することで音響信号ｙLを生成する。同様に、波形合成部３８は、単位区間毎の周波数スペクトルＹRから音響信号ｙRを生成する。波形合成部３８が生成した音響信号ｙ（ｙL，ｙR）が放音装置２８に供給されて音波として再生される。
【００２８】
図１の表示制御部４０は、利用者が目標成分を指定するために参照する図２の編集画面４５を表示装置２６に表示させる。図２に示すように、編集画面４５は、周波数特性画像５０と定位画像６０と波形画像７０とを含んで構成される。
【００２９】
周波数特性画像５０は、相互に交差する時間軸Ｔ1と周波数軸Ｆ1とが設定された領域Ａを含む。領域Ａには、音響信号ｘLのスペクトログラムＳL（階調や色彩で強度が表現された周波数スペクトルＸLの時系列）と音響信号ｘRのスペクトログラムＳRとが並列に配置される。また、時間軸Ｔ1上の任意の時点（以下「着目点」という）を示す指示子（カーソル）５４が領域Ａに配置される。なお、信号処理部３６による処理後の音響信号ｙ（ｙL，ｙR）のスペクトログラムを領域Ａに配置する構成や、音響信号ｘおよび音響信号ｙの各々のスペクトログラムを利用者からの指示に応じて切替えて領域Ａに配置する構成も採用され得る。
【００３０】
図２の定位画像６０は、相互に交差する定位軸Ｌと周波数軸Ｆ2とが設定された領域Ｂを含む。定位軸Ｌは、音像の定位方向θを示す座標軸である。定位軸Ｌの原点（θ＝０）は受聴点の正面方向に相当する。また、定位軸Ｌの原点に対して正側の領域（θ＞０）は正面に対して右側の方向に相当し、負側の領域（θ＜０）は正面方向の左側の方向に相当する。
【００３１】
定位画像６０の領域Ｂには複数の音像点ｑが配置される。定位軸Ｌ上の定位方向θと周波数軸Ｆ2上の周波数ｆとに対応する座標に位置する音像点ｑは、その定位方向θに定位する周波数ｆの周波数成分が音響信号ｘに存在することを意味する。
【００３２】
表示制御部４０は、音響信号ｘの各周波数ｆの定位方向θを単位区間毎に算定する。定位方向θの算定には、例えば以下の数式(1)が好適に利用される。数式(1)の記号|ＸL(f,m)|は音響信号ｘLの周波数成分ＸL(f,m)の振幅を意味し、記号|ＸR(f,m)|は周波数成分ＸR(f,m)の振幅を意味する。音響信号ｘのうち周波数特性画像５０の指示子５４が指定する着目点に対応する１個の単位区間について数式(1)で特定された各音像点ｑが領域Ｂに配置される。なお、数式(1)の意義や導出については、例えば、M. Vinyes, J. Bonada, A. Loscos, "Demixing Commercial Music Productions wia Human-Assisted Time-Frequency Masking"，Audio Engineering Society 120th Convention, France, 2006から理解される。
θ＝２・arctan（|ＸL(f,m)|/|ＸR(f,m)|）・２/π−１ ……(1)
【００３３】
利用者は、入力装置２４を適宜に操作することで領域Ｂ内の任意の領域（以下「目標指定領域」という）６２を指定することが可能である。表示制御部４０は、図２に示すように、利用者から指示された目標指定領域６２を表示装置２６に表示させる。目標指定領域６２は、定位軸Ｌ上の任意の範囲（以下「対象定位域」という）ｂLと周波数軸Ｆ2上の任意の範囲（以下「対象帯域」という）ｂFとで画定される矩形領域である。利用者は、目標指定領域６２の対象定位域ｂLと対象帯域ｂFとを入力装置２４の操作で任意に変更することが可能である。音響信号ｘのうち目標指定領域６２の内側に位置する音像点ｑに対応する各周波数ｆの周波数成分が目標成分として抑圧または強調の対象となる。すなわち、対象帯域ｂF内の音響信号ｘの各周波数成分（ＸL(f,m)，ＸR(f,m)）のうち対象定位域ｂL内の定位方向θに定位する目標成分が抑圧または強調される。
【００３４】
利用者は、入力装置２４を適宜に操作することで目標指定領域６２について任意の増幅率αを指定することが可能である。表示制御部４０は、利用者が指定した増幅率α（図２の例示では４０ｄＢ）を目標指定領域６２に付加する。目標指定領域６２の増幅率αが負数に設定された場合には目標成分が抑圧され、増幅率αが正数に設定された場合には目標成分が強調される。
【００３５】
目標指定領域６２が領域Ｂ内に設定されて入力装置２４に所定の操作（例えば適用ボタンの押下）が付与されると、表示制御部４０は、図２に示すように、その目標指定領域６２に対応する周波数/時間指定領域５２を周波数特性画像５０の領域Ａ内に配置する。周波数/時間指定領域５２は、時間軸Ｔ1上の特定の範囲（以下「対象期間」という）ａTと周波数軸Ｆ1上の対象帯域ａFとで画定される矩形領域であり、音響信号ｘLおよび音響信号ｘRの各々のスペクトログラムに重なるように配置される。周波数/時間指定領域５２の対象帯域ａFは、目標指定領域６２の対象帯域ｂFと共通の帯域に設定される。
【００３６】
利用者は、周波数/時間指定領域５２の対象帯域ａFを入力装置２４の操作で任意に変更することが可能である。表示制御部４０は、周波数/時間指定領域５２の対象帯域ａFおよび目標指定領域６２の対象帯域ｂFの一方に対する変更の指示に応じて対象帯域ａFおよび対象帯域ｂFの双方を相互に連動して変更し、対象帯域ａFと対象帯域ｂFとを共通の帯域に維持する。他方、周波数/時間指定領域５２の対象期間ａTは、定位画像６０の目標指定領域６２が新規に設定された時点では所定の時間長（例えば音響信号ｘの全区間）に設定され、入力装置２４に対する利用者からの指示に応じて任意に変更される。
【００３７】
図２の波形画像７０は、時間軸Ｔ2が設定された領域Ｃを含む。時間軸Ｔ2は、周波数特性画像５０の時間軸Ｔ1と共通の座標軸である。領域Ｃには、音響信号ｘLの波形ＷLおよび音響信号ｘRの波形ＷRと、時間軸Ｔ2上の着目点を示す指示子（カーソル）７４とが配置される。波形画像７０の指示子７４と周波数特性画像５０の指示子５４とは音響信号ｘの共通の着目点を指示する。なお、信号処理部３６による処理後の音響信号ｙ（ｙL，ｙR）の波形を領域Ｃに配置する構成や、音響信号ｘおよび音響信号ｙの各々の波形を利用者からの指示に応じて切替えて領域Ｃに配置する構成も採用され得る。
【００３８】
領域Ｃには時間指定領域７２が設定される。時間指定領域７２は、時間軸Ｔ2上の対象期間ｃTにわたる矩形領域である。時間指定領域７２の対象期間ｃTと周波数/時間指定領域５２の対象期間ａTとは共通する。利用者は、入力装置２４に対する操作で時間指定領域７２の対象期間ｃTを任意に変更することが可能である。表示制御部４０は、周波数/時間指定領域５２の対象期間ａTおよび時間指定領域７２の対象期間ｃTの一方に対する変更の指示に応じて対象期間ａTおよび対象期間ｃTの双方を相互に連動して変更し、対象期間ａTと対象期間ｃTとを共通の期間に維持する。
【００３９】
利用者が入力装置２４に対する操作で音響の再生を指示すると、係数列生成部３４による処理係数列Ｇ(m)の生成と信号処理部３６による音響信号ｙの生成とが順次に実行されて音響信号ｙに応じた音波が放音装置２８から再生される。周波数特性画像５０の指示子５４と波形画像７０の指示子７４とが示す着目点（再生ポイント）は再生の進行とともに時間軸Ｔ1および時間軸Ｔ2に沿って刻々と移動する。また、利用者は、入力装置２４を適宜に操作して指示子５４および指示子７４を移動させることで所望の時点を着目点として指定することが可能である。定位画像６０の領域Ｂには着目点の１個の単位区間に対応する複数の音像点ｑが表示され、着目点の移動とともに随時に更新される。
【００４０】
音響の再生中または停止中の任意の時点で、利用者は、定位画像６０の領域Ｂに目標指定領域６２を新規に設定し、または既存の目標指定領域６２を変更することが可能である。例えば、利用者は、着目点について定位画像６０に表示される各音像点ｑの分布や周波数特性画像６０に表示されるスペクトログラム（ＳL，ＳR）を参照するとともに放音装置２８からの再生音を聴取しながら、自身が抑圧または強調を希望する周波数ｆおよび定位方向θに対応する音像点ｑを内包するように目標指定領域６２を設定または変更し、音響信号ｘのうち目標成分を抑圧または強調したい期間を周波数/時間指定領域５２の対象期間ａTまたは時間指定領域７２の対象期間ｃTとして指定する。
【００４１】
指示子５４および指示子７４の示す着目点が対象期間ａT（ｃT）の外側に存在する場合には定位画像６０の領域Ｂに目標指定領域６２は表示されず（各音像点ｑは表示される）、着目点が対象期間ａTの内側に位置する場合には、図２の例示の通り、定位画像６０の領域Ｂに各音像点ｑとともに目標指定領域６２が表示される。すなわち、着目点の移動（再生の進行）とともに目標指定領域６２の表示／非表示が刻々と変化する。
【００４２】
対象期間ａT（ｃT）の外側の各単位区間について、係数列生成部３４は、処理係数列Ｇ(m)の全部の係数値ｇ(f,m)を所定の数値γ1に設定する。数値γ1は、信号処理部３６による処理の前後で強度を変化させない数値（例えば１）に設定される。他方、対象期間ａT（ｃT）の内側の各単位区間について、係数列生成部３４は、音響信号ｘのうちその単位区間に対応する目標指定領域６２で指定された目標成分が増幅率αに応じて抑圧または強調されるように処理係数列Ｇ(m)の各係数値ｇ(f,m)を設定する。
【００４３】
例えば、増幅率αが負数（目標成分の抑圧）である場合、係数列生成部３４は、目標指定領域６２の外側の音像点ｑに対応する各周波数ｆの係数値ｇ(f,m)を前述の数値γ1に設定し、目標指定領域６２の内側の音像点ｑに対応する各周波数ｆ（すなわち目標成分の各周波数ｆ）の係数値ｇ(f,m)を数値γg1に設定する。増幅率αの絶対値が大きい（目標成分の抑圧の度合が大きい）ほど数値γg1が小さい数値となるように、数値γg1は１未満の正数の範囲内で増幅率αに応じて可変に設定される。したがって、音響信号ｘの目標成分を他の成分と比較して抑圧した音響信号ｙが信号処理部３６による処理で生成される。
【００４４】
他方、増幅率αが正数（目標成分の強調）である場合、係数列生成部３４は、目標指定領域６２の外側の音像点ｑに対応する各周波数ｆの係数値ｇ(f,m)を数値γ0に設定し、目標指定領域６２の内側の音像点ｑに対応する各周波数ｆの係数値ｇ(f,m)を数値γg2に設定する。数値γ0は、信号処理部３６による処理で強度を低下させる数値（例えば０）に設定される。他方、数値γg2は、増幅率αの絶対値が大きい（目標成分の強調の度合が大きい）ほど大きい数値となるように１未満の正数の範囲内で増幅率αに応じて可変に設定される。したがって、音響信号ｘの目標成分を他の成分に対して強調した音響信号ｙが信号処理部３６による処理で生成される。
【００４５】
なお、目標指定領域６２の外側の音像点ｑに対応する各係数値ｇ(f,m)を数値γ0と数値γ1との中間値（例えば０.５）に設定し、目標指定領域６２の内側の音像点ｑに対応する各係数値ｇ(f,m)を増幅率α（負数または正数）に応じて設定することで、音響信号ｘの目標成分を他の成分に対して抑圧または強調することも可能である。
【００４６】
以上に説明した第１実施形態では、音響信号ｘのうち周波数特性画像５０の指示子５４や波形画像７０の指示子７４が示す着目点に対応する単位区間の各周波数成分の各音像点ｑが定位画像６０の領域Ｂに配置される。したがって、音響信号ｘの各周波数成分について定位方向θの時間的な変化を視覚的に容易に確認できるという利点がある。また、対象帯域ａFおよび対象期間ａTで規定される周波数/時間指定領域５２を含む周波数特性画像５０と、対象帯域ｂFおよび対象定位域ｂLで規定される目標指定領域６２を含む定位画像６０とが、表示装置２６に並列に表示される。したがって、音響信号ｘのうち抑圧または強調の対象となる目標成分について、周波数ｆの範囲（対象帯域ａFおよび対象帯域ｂF）と定位方向θの範囲（対象定位域ｂL）と時間範囲（対象期間ａT）との関係を利用者が容易に把握できるという利点もある。更に第１実施形態では、波形画像７０も周波数特性画像５０や定位画像６０とともに表示装置２６に表示されるから、目標成分の対象期間ｃTを音響信号ｘの波形（ＷL，ＷR）との関係で容易に把握できるという利点もある。
【００４７】
＜Ｂ：第２実施形態＞
本発明の第２実施形態を以下に説明する。なお、以下に例示する各形態において作用や機能が第１実施形態と同等である要素については、以上の説明で参照した符号を流用して各々の詳細な説明を適宜に省略する。
【００４８】
図３は、第２実施形態の編集画面４５のうち周波数特性画像５０および定位画像６０の模式図である。なお、周波数特性画像５０のスペクトログラム（ＳL，ＳR）の図示を図３では便宜的に省略した。
【００４９】
図３に示すように、第２実施形態の表示制御部４０は、対象帯域ｂFまたは対象定位域ｂLが相違する複数の目標指定領域６２（６２１，６２２）を利用者からの指示に応じて定位画像６０の領域Ｂ内に設定する。利用者は、対象帯域ｂFと対象定位域ｂLと増幅率αとを目標指定領域６２１および目標指定領域６２２の各々について個別に変更することが可能である。目標指定領域６２１と目標指定領域６２２とは、領域Ｂ内に相互に離間して配置されるほか、図３の例示のように相互に重複する位置にも配置され得る。
【００５０】
図３に示すように、周波数特性画像５０の領域Ａ内には、目標指定領域６２１に対応する周波数/時間指定領域５２１と目標指定領域６２２に対応する周波数/時間指定領域５２２とが設定される。利用者は、対象帯域ａFおよび対象期間ａTを周波数/時間指定領域５２１および周波数/時間指定領域５２２の各々について個別に設定することが可能である。したがって、周波数/時間指定領域５２１と周波数/時間指定領域５２２とは、領域Ａ内に相互に離間して配置されるほか、図３の例示のように相互に重複する位置にも配置され得る。
【００５１】
時間軸Ｔ1上で周波数/時間指定領域５２１のみが存在する時点ｔaを着目点として指示子５４および指示子７４が示す状態では、定位画像６０の領域Ｂには目標指定領域６２１のみが配置される。他方、周波数/時間指定領域５２１および周波数/時間指定領域５２２の双方が存在する時点ｔbが着目点として指示された状態では、図３に示すように、目標指定領域６２１および目標指定領域６２２の双方が定位画像６０の領域Ｂに配置される。また、着目点として時点ｔcが指示された状態では目標指定領域６２２のみが領域Ｂに配置される。
【００５２】
音響信号ｘのうち目標指定領域６２１および目標指定領域６２２の双方が指定された単位区間について、係数列生成部３４は、目標指定領域６２１の処理係数列ＧA(m)と目標指定領域６２２の処理係数列ＧB(m)との各々を第１実施形態と同様の方法で生成し、処理係数列ＧA(m)と処理係数列ＧB(m)との合成（例えば相互に対応する係数値ｇ(f,m)の加算または乗算）で処理係数列Ｇ(m)を生成する。
【００５３】
第２実施形態においても第１実施形態と同様の効果が実現される。また、第２実施形態では、複数の目標指定領域６２（６２１，６２２）が定位画像６０の領域Ｂに配置されるとともに各目標指定領域６２に対応する複数の周波数/時間指定領域５２（５２１，５２２）が周波数特性画像５０の領域Ａに配置される。したがって、周波数ｆ（対象帯域ａF）と発生期間（対象期間ａT）と定位方向（対象定位域ｂL）とが相違する複数種の目標成分を容易に抑圧または強調の対象として指定することが可能である。
【００５４】
＜Ｃ：第３実施形態＞
図４は、第３実施形態の編集画面４５のうち周波数特性画像５０および定位画像６０の模式図である。なお、図３と同様に、周波数特性画像５０のスペクトログラム（ＳL，ＳR）の図示は図４でも省略されている。
【００５５】
第３実施形態の表示制御部４０は、定位画像６０の１個の目標指定領域６２に対応する複数の周波数/時間指定領域５２（５２A，５２B）を利用者からの指示に応じて周波数特性画像５０の領域Ａ内に配置する。利用者は、周波数/時間指定領域５２Aと周波数/時間指定領域５２Bとの各々について対象期間ａTを個別に設定することが可能である。したがって、周波数/時間指定領域５２Aと周波数/時間指定領域５２Bとは時間軸Ｔ1上で相異なる時点（相互に間隔をあけた位置）に配置され得る。他方、周波数軸Ｆ1上の対象帯域ａFは周波数/時間指定領域５２Aと周波数/時間指定領域５２Bとで共通する。
【００５６】
第３実施形態においても第１実施形態と同様の効果が実現される。また、第３実施形態では、１個の目標指定領域６２に対応する複数の周波数/時間指定領域５２（５２A，５２B）が周波数特性画像５０の領域Ａに配置されるから、例えば所定の帯域内の周波数ｆで間欠的に発生する目標成分（例えば間奏をあけて発生する歌唱音）を適切に指定することが可能である。
【００５７】
なお、第２実施形態のように領域Ｂ内に複数の目標指定領域６２（６２１，６２２）が指定され得る構成に第３実施形態を適用することも可能である。例えば、目標指定領域６２１に対応する複数の周波数/時間指定領域５２と目標指定領域６２２に対応する複数の周波数/時間指定領域５２とを、相異なる表示態様（例えば色彩）で領域Ａ内に配置する構成が好適である。
【００５８】
＜Ｄ：第４実施形態＞
図５は、第４実施形態の編集画面４５のうち周波数特性画像５０および定位画像６０の模式図である。第４実施形態の表示制御部４０は、周波数特性画像５０の領域Ａ内に配置される音響信号ｘLのスペクトログラムＳLおよび音響信号ｘRのスペクトログラムＳRの各々の表示態様（以下の例示では階調）を、定位画像６０における目標指定領域６２の定位軸Ｌ上の位置（すなわち目標成分の定位方向θ）に応じて変化させる。
【００５９】
図５の部分(a)に示すように、定位軸Ｌ上の原点に対して正側（右方向）に目標指定領域６２が設定された場合（すなわち、右方向に定位する成分が目標成分として指定された場合）、表示制御部４０は、領域Ａ内のスペクトログラムＳRをスペクトログラムＳLと比較して低階調で表示する。目標指定領域６２の重心（図心）が原点から右方向に離間するほどスペクトログラムＳRの階調はスペクトログラムＳLと比較して低下する。同様に、図５の部分(b)に示すように、目標指定領域６２の重心が原点から負側（左方向）に離間するほど、スペクトログラムＳLはスペクトログラムＳRと比較して低階調で表示される。目標指定領域６２の重心が定位軸Ｌ上の原点に位置する場合、スペクトログラムＳLとスペクトログラムＳRとは相等しい階調で表示される。
【００６０】
第４実施形態においても第１実施形態と同様の効果が実現される。また、第４実施形態では、スペクトログラムＳRおよびスペクトログラムＳLの各々の表示態様が目標指定領域６２の定位軸Ｌ上の位置に応じて変化するから、目標成分の定位方向を利用者が周波数特性画像５０から直感的に把握できるという利点がある。
【００６１】
なお、以上の説明では、目標指定領域６２の指定に並行して随時にスペクトログラムＳRおよびスペクトログラムＳLの表示態様を変更したが、例えば目標指定領域６２の指定後に入力装置２４に対して所定の操作（例えば確定ボタンの押下）が付与された場合にスペクトログラムＳRおよびスペクトログラムＳLの表示態様を変更する構成も採用され得る。
【００６２】
また、以上の説明では、スペクトログラムＳRおよびスペクトログラムＳLの各々の全体的な表示態様を目標指定領域６２の位置に応じて相違させたが、スペクトログラムＳRやスペクトログラムＳLの部分的な表示態様を相違させる構成も採用される。例えば、目標指定領域６２に対応する周波数/時間指定領域５２の範囲内の表示態様のみを目標指定領域６２の位置に応じてスペクトログラムＳRおよびスペクトログラムＳLとで相違させ、他の領域の表示態様は共通させることも可能である。
【００６３】
＜Ｅ：第５実施形態＞
図６は、第５実施形態における定位画像６０の模式図である。図６に示すように、第６実施形態の表示制御部４０が表示装置２６に表示させる定位画像６０は、音響信号ｘの相異なる時点（単位区間）に対応する複数の単位画像Ｕが、周波数軸Ｆ2と定位軸Ｌとに交差する時間軸Ｔ0に沿って立体的に配列された画像である。音響信号ｘの各時点に対応する１個の単位画像Ｕには、音響信号ｘのうちその時点の単位区間に対応する複数の音像点ｑと目標指定領域６２とが配置される。複数の単位画像Ｕのうち指示子５４および指示子７４が示す着目点に対応する１個の単位画像Ｕが最前面に表示されるように各単位画像Ｕの時間軸Ｔ0上の位置が順次に変更される。なお、各単位画像Ｕを透過表示することも可能である。
【００６４】
第５実施形態においても第１実施形態と同様の効果が実現される。また、第５実施形態では、音響信号ｘの相異なる時点での音像点ｑを配置した複数の単位画像Ｕが時間軸Ｔ0に沿って立体的に配置されるから、音像点ｑの分布と目標指定領域６２との関係の時間的な遷移を定位画像６０から容易に把握できるという利点がある。
【００６５】
＜Ｆ：第６実施形態＞
図７は、第６実施形態における周波数特性画像５０および定位画像６０の部分的な模式図である。図７に示すように、周波数軸Ｆ2上の複数の周波数ｆは、目標指定領域６２の内側の音像点ｑに対応する周波数ｆaと、目標指定領域６２の外側の音像点ｑに対応する周波数ｆbとに区分される。目標指定領域６２の対象帯域ｂFの外側の周波数ｆが周波数ｆaに選別されるほか、対象帯域ｂFの内側の周波数ｆでも、対象定位域ｂLの外側に位置する音像点ｑに対応する周波数ｆは周波数ｆbに選別される。
【００６６】
図７には、周波数特性画像５０のスペクトログラムＳLのうち音響信号ｘの１個の単位区間に対応する周波数スペクトルＸLの各周波数成分ＸL(f,m)が模式的に図示されている。図７に示すように、表示制御部４０は、周波数スペクトルＸLのうち音像点ｑが目標指定領域６２の内側に位置する各周波数ｆaの周波数成分ＸL(fa,m)と、音像点ｑが目標指定領域６２の外側に位置する各周波数ｆbの周波数成分ＸL(fb,m)とを、相異なる表示態様（例えば階調）で表示する。図７では、周波数ｆaの周波数成分ＸL(fa,m)を黒色（低階調）で表示し、周波数ｆbの周波数成分ＸL(fb,m)を白色（高階調）で表示した場合が想定されている。なお、図７ではスペクトログラムＳL（周波数スペクトルＸL）のみを図示したが、スペクトログラムＳRについても同様に表示される。
【００６７】
第６実施形態においても第１実施形態と同様の効果が実現される。また、第６実施形態では、目標指定領域６２の内側の音像点ｑに対応する周波数成分ＸL(fa,m)と、目標指定領域６２の外側の音像点ｑに対応する周波数成分ＸL(fb,m)とが相異なる態様で周波数特性画像５０に表示されるから、目標成分として抑圧または強調の対象となる周波数成分ＸL(f,m)を利用者が周波数特性画像５０から容易に把握できるという利点がある。
【００６８】
なお、以上の例示では周波数ｆaの周波数成分ＸL(fa,m)と周波数ｆbの周波数成分ＸL(fb,m)とで階調を相違させたが、周波数成分ＸL(fa,m)と周波数成分ＸL(fb,m)とを視覚的に区別する方法は任意である。例えば、周波数成分ＸL(fa,m)と周波数成分ＸL(fb,m)とで色彩を相違させた構成や、周波数成分ＸL(fa,m)および周波数成分ＸL(fb,m)の一方の表示を点滅させることも可能である。
【００６９】
＜Ｇ：変形例＞
以上の形態には様々な変形が加えられる。具体的な変形の態様を以下に例示する。以下の例示から任意に選択された２以上の態様は併合され得る。
【００７０】
（１）前述の各形態では、音響信号ｘLのスペクトログラムＳLと音響信号ｘRのスペクトログラムＳRとを領域Ａに配置したが、音響信号ｘLと音響信号ｘRとの混合信号（モノラル信号）のスペクトログラムや音響信号ｘLおよび音響信号ｘRの一方のスペクトログラムを領域Ａに配置することも可能である。波形画像７０についても同様であり、音響信号ｘLと音響信号ｘRの混合信号の波形や音響信号ｘLおよび音響信号ｘRの一方の波形を領域Ｃに配置した構成も採用される。また、波形画像７０を省略した構成も採用される。
【００７１】
（２）前述の各形態では、音響信号ｘの１個の単位区間内の各周波数成分に対応する音像点ｑを領域Ｂに配置したが、音響信号ｘの複数の単位区間にわたる各周波数成分の音像点ｑを領域Ｂに配置することも可能である。例えば、複数の単位区間にわたる定位方向θの平均値や加算値が周波数ｆ毎に算定され、各数値に対応する音像点ｑが領域Ｂに配置される。
【００７２】
（３）前述の各形態では、領域Ａと領域Ｂと領域Ｃとを並列に表示したが、各領域を選択的に表示することも可能である。例えば、表示制御部４０は、領域Ａと領域Ｂと領域Ｃとのうち利用者が入力装置２４の操作で選択した少なくともひとつの領域を表示装置２６に表示させる。
【００７３】
（４）周波数/時間指定領域５２や目標指定領域６２や時間指定領域７２の形状は任意であり、前述の各形態に例示した矩形状には限定されない。
【００７４】
（５）第１実施形態ないし第６実施形態のなかから任意に選択された２以上の形態を併合することも可能である。
【符号の説明】
【００７５】
１００……音響処理装置、１２……演算処理装置、１４……記憶装置、２２……信号供給装置、２４……入力装置、２６……表示装置、２８……放音装置、３２……周波数分析部、３４……係数列生成部、３６……信号処理部、３８……波形合成部、４０……表示制御部、４５……編集画面、５０……周波数特性画像、５２……周波数/時間指定領域、５４……指示子、６０……定位画像、６２……目標指定領域、７０……波形画像、７２……時間指定領域、７４……指示子。
【特許請求の範囲】
【請求項１】
利用者からの指示を受付ける受付手段と、
第１周波数軸と第１時間軸とが設定された第１領域内に音響信号のスペクトログラムを配置した周波数特性画像と、第２周波数軸と定位方向を示す定位軸とが設定された第２領域内に前記音響信号のうち前記第１時間軸上の着目点に対応する各周波数成分の音像点を配置した定位画像とを、表示装置に並列に表示させる手段であって、前記第１周波数軸上の対象帯域と前記第１時間軸上の対象期間とで画定される周波数/時間指定領域を前記受付手段に対する指示に応じて前記第１領域に配置し、前記対象期間内の前記音響信号について、前記第２周波数軸上の前記対象帯域と前記定位軸上の対象定位域とで画定される目標指定領域を前記受付手段に対する指示に応じて前記第２領域に配置する表示制御手段と、
前記対象期間内の音響信号のうち前記目標指定領域内の音像点が示す各周波数成分を抑圧または強調する信号処理手段と
を具備する音響処理装置。
【請求項２】
前記表示制御手段は、前記対象帯域または前記対象定位域が相違する複数の前記目標指定領域を前記受付手段に対する指示に応じて前記第２領域内に重複可能に配置し、前記各目標指定領域に対応する複数の周波数/時間指定領域を前記第１領域内に重複可能に配置する
請求項１の音響処理装置。
【請求項３】
前記表示制御手段は、前記目標指定領域に対応する複数の前記周波数/時間指定領域を、前記第１領域における前記第１時間軸上の相異なる時点に設定する
請求項１または請求項２の音響処理装置。
【請求項４】
前記表示制御手段は、前記音響信号を構成する第１チャネル信号および第２チャネル信号の各々のスペクトログラムを前記第１領域内に配置し、前記定位軸上における前記目標指定領域の位置に応じて前記第１チャネル信号のスペクトログラムと前記第２チャネル信号のスペクトログラムとを相異なる表示態様に変化させる
請求項１から請求項３の何れかの音響処理装置。
【請求項５】
前記表示制御手段は、第２時間軸が設定された第３領域内に前記信号処理手段による処理前または処理後の音響信号の波形を配置した波形画像を、前記周波数特性画像および前記定位画像とともに前記表示装置に表示させる
請求項１から請求項４の何れかの音響処理装置。
【請求項１】
利用者からの指示を受付ける受付手段と、
第１周波数軸と第１時間軸とが設定された第１領域内に音響信号のスペクトログラムを配置した周波数特性画像と、第２周波数軸と定位方向を示す定位軸とが設定された第２領域内に前記音響信号のうち前記第１時間軸上の着目点に対応する各周波数成分の音像点を配置した定位画像とを、表示装置に並列に表示させる手段であって、前記第１周波数軸上の対象帯域と前記第１時間軸上の対象期間とで画定される周波数/時間指定領域を前記受付手段に対する指示に応じて前記第１領域に配置し、前記対象期間内の前記音響信号について、前記第２周波数軸上の前記対象帯域と前記定位軸上の対象定位域とで画定される目標指定領域を前記受付手段に対する指示に応じて前記第２領域に配置する表示制御手段と、
前記対象期間内の音響信号のうち前記目標指定領域内の音像点が示す各周波数成分を抑圧または強調する信号処理手段と
を具備する音響処理装置。
【請求項２】
前記表示制御手段は、前記対象帯域または前記対象定位域が相違する複数の前記目標指定領域を前記受付手段に対する指示に応じて前記第２領域内に重複可能に配置し、前記各目標指定領域に対応する複数の周波数/時間指定領域を前記第１領域内に重複可能に配置する
請求項１の音響処理装置。
【請求項３】
前記表示制御手段は、前記目標指定領域に対応する複数の前記周波数/時間指定領域を、前記第１領域における前記第１時間軸上の相異なる時点に設定する
請求項１または請求項２の音響処理装置。
【請求項４】
前記表示制御手段は、前記音響信号を構成する第１チャネル信号および第２チャネル信号の各々のスペクトログラムを前記第１領域内に配置し、前記定位軸上における前記目標指定領域の位置に応じて前記第１チャネル信号のスペクトログラムと前記第２チャネル信号のスペクトログラムとを相異なる表示態様に変化させる
請求項１から請求項３の何れかの音響処理装置。
【請求項５】
前記表示制御手段は、第２時間軸が設定された第３領域内に前記信号処理手段による処理前または処理後の音響信号の波形を配置した波形画像を、前記周波数特性画像および前記定位画像とともに前記表示装置に表示させる
請求項１から請求項４の何れかの音響処理装置。
【図１】
【図２】
【図３】
【図４】
【図５】
【図６】
【図７】
【図２】
【図３】
【図４】
【図５】
【図６】
【図７】
【公開番号】特開２０１２−２４９０４８（Ｐ２０１２−２４９０４８Ａ）
【公開日】平成２４年１２月１３日（２０１２．１２．１３）
【国際特許分類】
【出願番号】特願２０１１−１１８７７２（Ｐ２０１１−１１８７７２）
【出願日】平成２３年５月２７日（２０１１．５．２７）
【出願人】（０００００４０７５）ヤマハ株式会社 (5,930)
【Ｆターム（参考）】
【公開日】平成２４年１２月１３日（２０１２．１２．１３）
【国際特許分類】
【出願日】平成２３年５月２７日（２０１１．５．２７）
【出願人】（０００００４０７５）ヤマハ株式会社 (5,930)
【Ｆターム（参考）】
[ Back to top ]