信号処理装置
【課題】複数のチャンネル間の周波数に依存する特徴量の関係のうち、特定の関係をもつ音を、これとは異なる関係をもつ音に変化させるように、オーディオ信号に対して信号処理を行うこと。
【解決手段】本発明の実施形態における端末の信号処理部１００は、取得した複数チャンネルのオーディオ信号を周波数スペクトルに変換し、各周波数に対応した音像位置を算出して、周波数および音像位置の座標軸をもつ座標系を用いて表示画面に表示する。利用者によって指定された座標系における一部領域が指定領域として設定され、また周波数値と関係値との対応関係を、異なる対応関係に変化させるための変化態様が設定されることにより、信号処理部１００は、各チャンネルの第１周波数スペクトルを、設定された変化態様に基づいて第２周波数スペクトルに変化させてオーディオ信号に変換して出力する。
【解決手段】本発明の実施形態における端末の信号処理部１００は、取得した複数チャンネルのオーディオ信号を周波数スペクトルに変換し、各周波数に対応した音像位置を算出して、周波数および音像位置の座標軸をもつ座標系を用いて表示画面に表示する。利用者によって指定された座標系における一部領域が指定領域として設定され、また周波数値と関係値との対応関係を、異なる対応関係に変化させるための変化態様が設定されることにより、信号処理部１００は、各チャンネルの第１周波数スペクトルを、設定された変化態様に基づいて第２周波数スペクトルに変化させてオーディオ信号に変換して出力する。
【発明の詳細な説明】
【技術分野】
【０００１】
本発明は、オーディオ信号に対して信号処理を行う技術に関する。
【背景技術】
【０００２】
ステレオのオーディオ信号において、音像位置を周波数帯域別に表示することができる技術が開発されている（例えば、特許文献１）。この技術によれば、ステレオのオーディオ信号が示す音について音像位置を詳細に知ることができる。
【先行技術文献】
【特許文献】
【０００３】
【特許文献１】特許３９１２３８６号公報
【発明の概要】
【発明が解決しようとする課題】
【０００４】
ところで、オーディオ信号に音響効果を付与するエフェクタなどの音響処理装置は、入力される音に対して、ディレイ、リバーブ、ピッチシフトなどの音響効果を付与する処理を行って出力する。このような音響処理装置には、バンドパスフィルタなどを用いて、特定の周波数帯域の音に対して音響処理を施すことができるものもある。一方、このような音響処理装置には、特定の周波数帯域であり特定の音像位置をもつ音に対して音響処理を施すことはできなかった。
【０００５】
本発明は、上述の事情に鑑みてなされたものであり、複数のチャンネル間の周波数に依存する特徴量の関係のうち、特定の関係をもつ音を、これとは異なる関係をもつ音に変化させるように、オーディオ信号に対して信号処理を行うことを目的とする。
【課題を解決するための手段】
【０００６】
上述の課題を解決するため、本発明は、複数チャンネルのオーディオ信号を取得する取得手段と、前記取得した各チャンネルのオーディオ信号を、少なくとも出力レベルを含む特徴量の周波数依存性を示す第１周波数スペクトルに変換する第１変換手段と、前記第１周波数スペクトルに基づいて、各チャンネル間の前記特徴量の関係に応じた関係値を、各周波数値に対応して算出する算出手段と、前記周波数値の座標軸と、前記関係値の座標軸とを有する座標系を用いて、前記算出手段による算出結果を表示画面に表示させる表示制御手段と、前記座標系における一部領域を指定領域として設定する領域設定手段と、前記指定領域に含まれる算出結果における周波数値と関係値との対応関係を、異なる対応関係に変化させるための変化態様を設定する変化態様設定手段と、各チャンネルの前記第１周波数スペクトルを、前記変化態様に基づいて第２周波数スペクトルに変化させるスペクトル変化手段と、前記第２周波数スペクトルを各チャンネルのオーディオ信号に変換する第２変換手段と、前記第２変換手段によって変換されたオーディオ信号を出力する出力手段とを具備することを特徴とする信号処理装置を提供する。
【０００７】
また、別の好ましい態様において、前記指定領域に含まれる前記算出結果に対応する周波数値を抽出し、前記第１周波数スペクトルのうち前記抽出された周波数値に対応する出力レベルを、予め決められた調整量で変化させる第１レベル変化手段とをさらに具備し、前記第２変換手段は、さらに、前記第１レベル変化手段によって出力レベルを変化させた第１周波数スペクトルを、各チャンネルのオーディオ信号に変換し、前記出力手段は、前記第２変換手段によって変換された複数のオーディオ信号をチャンネル毎に合成して出力することを特徴とする。
【０００８】
また、別の好ましい態様において、前記指定領域および前記変化態様に応じて決まる領域に含まれる前記算出結果に対応する周波数値を抽出し、前記第１周波数スペクトルのうち前記抽出された周波数値に対応する出力レベルを、予め決められた調整量で変化させる第２レベル変化手段とをさらに具備し、前記第２変換手段は、さらに、前記第２レベル変化手段によって出力レベルを変化させた第１周波数スペクトルを、各チャンネルのオーディオ信号に変換し、前記出力手段は、前記第２変換手段によって変換された複数のオーディオ信号をチャンネル毎に合成して出力することを特徴とする。
【０００９】
また、本発明は、複数チャンネルのオーディオ信号を取得する取得手段と、前記取得した各チャンネルのオーディオ信号を、少なくとも出力レベルを含む特徴量の周波数依存性を示す第１周波数スペクトルに変換する第１変換手段と、前記第１周波数スペクトルに基づいて、各チャンネル間の前記特徴量の関係に応じた関係値を、各周波数値に対応して算出する算出手段と、前記周波数値の座標軸と、前記関係値の座標軸とを有する座標系を用いて、前記算出手段による算出結果を表示画面に表示させる表示制御手段と、前記座標系における一部領域を指定領域として設定する領域設定手段と、予め決められた音を示す複数チャンネルの周波数スペクトルを示すテンプレートを記憶する記憶手段と、前記記憶手段に記憶されたテンプレートを、前記指定領域が示す周波数値および関係値の範囲に基づいて第２周波数スペクトルに変化させるスペクトル変化手段と、前記指定領域に含まれる前記算出結果に対応する周波数値を抽出し、前記第１周波数スペクトルのうち前記抽出された周波数値に対応する出力レベルを、予め決められた調整量で変化させるレベル変化手段と、前記第２周波数スペクトル、および前記レベル変化手段によって出力レベルを変化させた第１周波数スペクトルを、それぞれ、各チャンネルのオーディオ信号に変換する第２変換手段と、前記第２変換手段によって変換された複数のオーディオ信号をチャンネル毎に合成して出力する出力手段とを具備することを特徴とする信号処理装置を提供する。
【００１０】
また、本発明は、複数チャンネルのオーディオ信号を取得する取得手段と、前記取得した各チャンネルのオーディオ信号を、少なくとも出力レベルを含む特徴量の周波数依存性を示す第１周波数スペクトルに変換する第１変換手段と、前記第１周波数スペクトルに基づいて、各チャンネル間の前記特徴量の関係に応じた関係値を、各周波数値に対応して算出する算出手段と、前記周波数値の座標軸と、前記関係値の座標軸とを有する座標系を用いて、前記算出手段による算出結果を表示画面に表示させる表示制御手段と、前記座標系における一部領域を指定領域として設定する領域設定手段と、前記指定領域に対する音響効果を設定する音響効果設定手段と、前記指定領域に含まれる前記算出結果に対応する周波数値を抽出し、前記第１周波数スペクトルのうち前記抽出された周波数値に対応する出力レベルにより示される音に対して前記音響効果を付与した各チャンネルのオーディオ信号を生成する音響効果付与手段と、前記指定領域に含まれる前記算出結果に対応する周波数値を抽出し、前記第１周波数スペクトルのうち前記抽出された周波数値に対応する出力レベルを、予め決められた調整量で変化させるレベル変化手段と前記レベル変化手段によって出力レベルを変化させた第１周波数スペクトルを、各チャンネルのオーディオ信号に変換する第２変換手段と、前記音響効果付与手段によって生成されたオーディオ信号と、前記第２変換手段によって変換されたオーディオ信号とをチャンネル毎に合成して出力する出力手段とを具備することを特徴とする信号処理装置を提供する。
【発明の効果】
【００１１】
本発明によれば、複数のチャンネル間の周波数に依存する特徴量の関係のうち、特定の関係をもつ音を、これとは異なる関係をもつ音に変化させるように、オーディオ信号に対して信号処理を行うことができる。
【図面の簡単な説明】
【００１２】
【図１】本発明の第１実施形態における端末の外観を説明する図である。
【図２】本発明の第１実施形態における端末の構成を説明するブロック図である。
【図３】本発明の第１実施形態における信号処理機能の構成を説明する機能ブロック図である。
【図４】本発明の第１実施形態における表示画面の表示例を説明する図である。
【図５】本発明の第１実施形態における指定領域が表示された表示画面の表示例を説明する図である。
【図６】本発明の第１実施形態における指定領域と移行領域とが表示された表示画面の表示例を説明する図である。
【図７】本発明の第２実施形態における信号処理機能の構成を説明する機能ブロック図である。
【図８】本発明の第２実施形態における指定領域が表示された表示画面の表示例を説明する図である。
【図９】本発明の第３実施形態における信号処理機能の構成を説明する機能ブロック図である。
【図１０】本発明の変形例１における指定領域に設定される調整量を説明する図である。
【図１１】本発明の変形例２における指定領域と移行領域とが表示された表示画面の表示例を説明する図である。
【図１２】本発明の変形例３における指定領域と移行領域とが表示された表示画面の表示例を説明する図である。
【図１３】本発明の変形例７における表示画面の表示例を説明する図である。
【図１４】本発明の変形例８における指定領域と移行領域とを周波数範囲を固定して指定するときの表示画面の表示例を説明する図である。
【図１５】本発明の変形例８における指定領域と移行領域とを周波数範囲を固定して指定するときの表示画面の別の表示例を説明する図である。
【図１６】本発明の変形例９における表示画面の表示例を説明する図である。
【図１７】本発明の変形例１１において設定される指定領域および移行領域を説明する図である。
【発明を実施するための形態】
【００１３】
＜第１実施形態＞
[端末１の構成]
図１は、本発明の第１実施形態における端末１の外観を説明する図である。端末１は、携帯電話、ＰＤＡ（Personal Digital Assistant）、音楽プレイヤなどの携帯可能な情報処理端末である。なお、端末１は、携帯可能な情報処理端末に限らず、パーソナルコンピュータなどであってもよい。
図１に示すように、端末１は、筐体の前面に、タッチセンサ１２１、操作ボタン１２２、および表示画面１３１を有する。タッチセンサ１２１は、表示画面１３１の前面に設けられ、表示画面１３１とともに、タッチパネルを構成している。操作ボタン１２２は、図１においては、１つのみであるが、複数であってもよいし、なくてもよい。
【００１４】
図２は、本発明の第１実施形態における端末１の構成を説明するブロック図である。端末１は、制御部１１、操作部１２、表示部１３、記憶部１４、姿勢検出部１５、インターフェイス１６、通信部１７を有する。これらの各構成については、互いにバスで接続されている。
【００１５】
制御部１１は、ＣＰＵ（Central Processing Unit）、ＲＡＭ（Random Access Memory）、ＲＯＭ（Read Only Memory）などを有する。制御部１１は、ＲＯＭまたは記憶部１４に記憶された制御プログラムを実行することにより、バスを介して端末１の各部を制御する。この例においては、制御部１１は、制御プログラムを実行することにより、指定された信号処理を、オーディオ信号に対して行う信号処理機能などの各種機能を実現する。この例においては、各種機能には、一般的な携帯電話、ＰＤＡ、音楽プレイヤなどが有する機能が含まれているが、必ずしも含まれていなくてもよい。
【００１６】
操作部１２は、利用者からの操作を受け付けるタッチセンサ１２１および操作ボタン１２２を有し、それぞれに受け付けられた操作の内容を示す操作情報を制御部１１に出力する。このタッチセンサ１２１は、複数への同時の接触を検知する、いわゆるマルチタッチセンサになっている。以下、利用者からの指定、指示は、特に示していない限り、操作部１２を介して行われる操作によって行われるものとする。
表示部１３は、液晶ディスプレイなどの表示画面１３１を有する表示デバイスであり、制御部１１の制御に応じた内容の表示を表示画面１３１に行う。信号処理機能が実現されているときには、表示画面１３１には、処理対象となるオーディオ信号に関する表示、信号処理の内容を指定するための表示などがなされる。
【００１７】
記憶部１４は、ハードディスク、不揮発性メモリなどの記録媒体である。記憶部１４は、楽曲の内容を示す複数チャンネルのオーディオ信号などが記憶される領域を有する。この例において、複数チャンネルとは、ステレオ２ｃｈ（Ｌｃｈ、Ｒｃｈ）である。
【００１８】
姿勢検出部１５は、加速度センサ、角速度センサなどを有し、端末１の筐体の動きを検出し、運動信号を出力する。
インターフェイス１６は、外部装置と接続し、オーディオ信号など各種情報の入出力をするための端子を有する。端子の中には、例えば、ヘッドフォン、スピーカなどの放音手段を接続し、オーディオ信号を接続された放音手段に供給する端子が含まれる。
通信部１７は、制御部１１の制御に応じて、他の装置と無線、有線により通信を行う。以上が、端末１のハードウエア構成についての説明である。
【００１９】
[機能構成]
次に、端末１の制御部１１が制御プログラムを実行することによって実現される信号処理機能について説明する。なお、以下に説明する信号処理機能を実現する信号処理部１００における各構成の一部または全部については、ハードウエアによって実現してもよい。
【００２０】
図３は、本発明の第１実施形態における信号処理機能の構成を説明する機能ブロック図である。信号処理機能を実現する信号処理部１００は、取得部１１０、第１変換部１２０、音像位置算出部１３０、表示制御部１４０、領域設定部１５０、変化設定部１６０、レベル変化部１７１、スペクトル変化部１７２、第２変換部１８０、および出力部１９０を有する。
取得部１１０は、記憶部１４に記憶されているオーディオ信号のうち、利用者によって指定された楽曲のオーディオ信号を取得して、第１変換部１２０に出力する。なお、取得部１１０は、外部装置からインターフェイス１６を介して入力されるオーディオ信号を取得するようにしてもよい。
【００２１】
第１変換部１２０は、取得部１１０から出力されたオーディオ信号について、Ｌｃｈ、Ｒｃｈの各々に対して、予め決められた時間長のフレームごとに、ＦＦＴ（Fast Fourier Transform）処理を施して周波数スペクトルに変換する。周波数スペクトルは、周波数値（ｆ１、ｆ２、・・・ｆｎ）と出力レベル（Ａ１、Ａ２、・・・、Ａｎ）との対応関係、すなわち、出力レベルの周波数依存性を示している。このように、オーディオ信号から抽出される上述のような周波数値毎の出力レベルは、周波数に依存する特徴量の一例である。
【００２２】
ここで、Ｌｃｈのオーディオ信号から変換された周波数スペクトルの出力レベルについては、（ＡＬ１、ＡＬ２、・・・、ＡＬｎ）といい、Ｒｃｈのオーディオ信号から変換された周波数スペクトルの出力レベルについては、（ＡＲ１、ＡＲ２、・・・、ＡＲｎ）というものとする。
第１変換部１２０は、このようにして得られたフレーム毎の周波数スペクトルを音像位置算出部１３０およびレベル変化部１７１およびスペクトル変化部１７２に出力する。
【００２３】
音像位置算出部１３０は、第１変換部１２０から出力された周波数スペクトルに基づいて、各チャンネル間の出力レベルの関係を示す関係値としての音像位置を、各周波数値に対応して算出する。音像位置算出部１３０は、各周波数値に対応して、各チャンネル間の出力レベルの比を用いて以下の式（１）により音像位置Ｐｉを算出する（ｉ＝１〜ｎ）。
Ｐｉ＝２／π×ａｒｃｔａｎ（ＡＲｉ／ＡＬｉ） ・・・（１）
【００２４】
この音像位置Ｐｉは、「０」に近いほどＬｃｈ側（利用者から見て左側）、「１」に近いほどＲｃｈ側（利用者から見て右側）に音像が位置していることを示している。また、音像位置Ｐｉが「０．５」であれば、中央に音像が位置していることを示している。
音像位置算出部１３０は、このようにして周波数値（ｆ１、ｆ２、・・・ｆｎ）と音像位置（Ｐ１、Ｐ２、・・・、Ｐｎ）との対応関係を算出して、各フレームに対応した音像算出結果を示す情報として表示制御部１４０、レベル変化部１７１およびスペクトル変化部１７２に出力する。なお、この音像位置の算出方法は、上記算出方法に限られず、各チャンネルの出力レベルの関係に応じて算出する方法であれば他の算出方法を用いてもよい。
【００２５】
表示制御部１４０は、音像位置算出部１３０における音像算出結果に基づく内容を、表示部１３の表示画面１３１に表示させる。表示画面１３１に表示される表示例について、図４を用いて説明する。
【００２６】
図４は、本発明の第１実施形態における表示画面１３１の表示例を説明する図である。図４（ａ）に示すように、表示制御部１４０は、表示部１３を制御して、表示画面１３１にウインドウｗ１、ｗ２、ｗ３を表示させる。表示制御部１４０は、ウインドウｗ１には、音像算出結果に基づく内容を表示させ、ウインドウｗ２には、各種指定、指示をするための操作ボタンを表示させ、ウインドウｗ３には、表示画面１３１に表示させている内容に関連する情報（楽曲名など）を表示させる。
【００２７】
ウインドウｗ１には、図４（ｂ）に示す関係の座標軸を有する座標系で音像算出結果をプロットした表示がなされる。ウインドウｗ１の上下方向の座標軸は周波数（上方向が高い周波数値であり、対数表示とする）を示し、左右方向の座標軸には音像位置を示す。このようにしてウインドウｗ１に表示された音像算出結果の表示例が図４（ａ）に示されている。図４（ａ）に示すウインドウｗ１の表示内容は、特定のフレームにおける音像算出結果を示すものであるが、音像算出結果はフレーム毎に得られる結果であるから、時刻の進行に伴って変化していく。
図４（ａ）に示す表示例に対応する音は、概ね中央部分に音像が定位するとともに、高周波数帯域において右側に寄った位置にも音像が定位しているように、利用者によって知覚される。
【００２８】
なお、表示制御部１４０は、ウインドウｗ１に表示された音像算出結果を示す各点の表示態様を、出力レベルに応じて変化させるようにしてもよい。変化させる内容としては、明度、彩度、輝度、点の大きさなどである。この場合には、音像位置算出部１３０は、音像算出結果に、さらに出力レベルの加算値（ＡＬｉ＋ＡＲｉ）など、出力レベルの絶対値を示す情報が含まれるようにして、表示制御部１４０に出力するようにすればよい。
【００２９】
また、表示制御部１４０は、音像算出結果を点により示していたが、点に限られない。例えば、線、特定のマーク、ウインドウｗ１内を出力レベルに応じてグラデーション表示するなど、様々な態様での表示が可能である。
さらに、表示制御部１４０は、図４（ｂ）に示す座標軸を、図４（ａ）に示す音像算出結果とともに表示するようにしてもよい。
【００３０】
図３に戻って説明を続ける。領域設定部１５０は、操作部１２から出力される操作情報に応じて、表示画面１３１のウインドウｗ１に表示されている座標系によって示される領域の一部を指定領域として設定する。指定領域とは、出力レベルを変化させる処理の対象となる周波数値を抽出するための領域であり、周波数の範囲（以下、指定周波数範囲という）、音像位置の範囲（以下、指定音像範囲という）を定める領域である。領域設定部１５０は、設定した指定領域を示す指定領域情報を表示制御部１４０、レベル変化部１７１およびスペクトル変化部１７２に出力する。
領域設定部１５０は、このようにして出力した指定領域情報を表示制御部１４０に取得させて、表示画面１３１のウインドウｗ１に指定領域を表示させる。図４（ａ）に示す表示がなされている状態で、座標系における一部領域が指定領域として設定された場合の表示例について、図５を用いて説明する。
【００３１】
図５は、本発明の第１実施形態における指定領域が表示された表示画面１３１の表示例を説明する図である。図５（ａ）に示す例においては、指定領域ｓｃ１が設定された状態を示している。利用者がウインドウｗ２における操作ボタンのうち指定領域を出現させる操作ボタンを操作し、指定領域ｓｃ１として指定したい領域の左上の頂点ｓｃ１ａとなるべき位置と右下の頂点ｓｃ１ｂとなるべき位置とを指定する操作（その位置に接触するなどの操作）をすると、領域設定部１５０は、指定された領域を指定領域ｓｃ１として設定する。これにより、表示制御部１４０は、指定領域ｓｃ１を表示画面１３１に表示する。
【００３２】
なお、領域設定部１５０は、図５（ａ）に示すように１つの領域を指定領域（指定領域ｓｃ１）として設定する場合に限られず、図５（ｂ）に示すように、複数の領域を指定領域（指定領域ｓｃ１、ｓｃ２）として設定することもできる。なお、領域設定部１５０が座標系における一部の領域を指定領域として設定するために行われる利用者の操作は、一例であって、他の操作によって指定されるようにしてもよい。
【００３３】
図３に戻って説明を続ける。変化設定部１６０は、操作部１２から出力される操作情報に応じて、指定領域における音像算出結果の変化態様を設定する。設定される内容は、指定領域における音像算出結果を、座標系における指定領域とは別の領域（以下、移行領域という）に変化させるために必要な内容であり、この例においては、移行領域、移行領域における出力レベルの調整量、および指定領域における出力レベルの調整量が、変化態様として設定される。変化設定部１６０は、これらの設定内容を示す変化設定情報を表示制御部１４０、レベル変化部１７１およびスペクトル変化部１７２に出力する。なお、スペクトル変化部１７２には、設定内容のうち移行領域を示す情報が出力されればよく、調整量に関する情報は出力されなくてもよい。
【００３４】
変化設定部１６０は、このようにして出力した変化設定情報を表示制御部１４０に取得させて、表示画面１３１のウインドウｗ１に移行領域を表示させる。図５（ａ）に示す表示がなされている状態で、移行領域が設定された場合の表示例について、図６を用いて説明する。
【００３５】
図６は、本発明の第１実施形態における指定領域と移行領域とが表示された表示画面１３１の表示例を説明する図である。図６に示す例においては、指定領域ｓｃが領域設定部１５０において既に設定され、移行領域ｓｐが変化設定部１６０において設定された状態を示している。なお、図６（他の図においても同じ）に示す矢印は、表示されてもされなくてもよい。
【００３６】
図６（ａ）に示す例は、指定領域ｓｃに対して音像位置が異なる領域である移行領域ｓｐが設定された場合である。図６（ｂ）に示す例は、指定領域ｓｃに対して周波数値が異なる領域である移行領域ｓｐが設定された場合である。なお、移行領域ｓｐは、音像位置および周波数値の双方が異なる領域として設定されてもよい。
【００３７】
変化設定部１６０は、利用者が、指定領域を特定する操作（ウインドウｗ１における指定領域の一部を接触するなどの操作）をし、ウインドウｗ２の操作ボタンにより、特定された指定領域と同形状の移行領域を表示させる操作をし、移行領域の位置を特定する操作（ウインドウｗ１における特定の位置を接触するなどの操作）をすることにより、移行領域を設定する。そのため、この例においては、指定領域ｓｃと移行領域ｓｐとの形状は一致している。なお、変化設定部１６０が移行領域として設定するために行われる利用者の操作は、一例であって、他の操作によって指定されるようにしてもよい。例えば、ウインドウｗ２の操作ボタンへの操作により、周波数の座標軸方向、または音像位置の座標軸方向へ変化させるものであってもよい。
【００３８】
変化設定部１６０は、利用者が、調整量を設定したい指定領域または移行領域を特定する操作（ウインドウｗ１における指定領域または移行領域の一部を接触するなどの操作）をして、ウインドウｗ２の操作ボタンにより調整量を指定することにより、特定された指定領域または移行領域における調整量を設定する。ここで、変化設定部１６０は、指定領域を特定する操作がなされたかどうかを認識するために、指定領域の位置を認識する必要がある場合には、領域設定部１５０から出力される指定領域情報を取得すればよい。なお、変化設定部１６０が調整量を設定するために行われる利用者の操作は、一例であって、他の操作によって指定されるようにしてもよい。また、移行領域における出力レベルの調整量、および指定領域における出力レベルの調整量については、予め設定されていてもよい。また、予め決められた各調整量が決められたテンプレートを記憶部１４に複数記憶しておき、利用者が一のテンプレートを選択する操作により、調整量が設定されるようにしてもよい。
【００３９】
この調整量は、出力レベルに対して乗算する値として規定され、この例においては、０％以上１００％以下の範囲で規定される。例えば、調整量が１００％であれば、レベル変化部１７１における出力レベル調整が行われず、１００％未満であれば、出力レベルを減少させる調整が行われることになる。なお、調整量は、％により規定されるものに限られず、例えば、ｄＢなどにより規定されてもよい。また、相対的な量として規定されるだけでなく、絶対的な量として規定されてもよい。また、ある特定の出力レベルに揃えるような規定であってもよい。
【００４０】
図３に戻って説明を続ける。レベル変化部１７１は、音像算出結果と指定領域情報とを比較して、指定領域に含まれる音像算出結果に対応する周波数値を抽出する。具体的には、レベル変化部１７１は、音像算出結果を参照して、指定音像範囲に含まれる音像位置に対応する周波数値のうち、指定周波数範囲に含まれる周波数値を抽出する。図５（ａ）に示す例においては、音像算出結果のうち点ｄ１（ｆｘ、Ｐｘ）は、指定領域ｓ１に含まれるが、点ｄ２（ｆｙ、Ｐｙ）は、指定領域に含まれないため、レベル変化部１７１は、周波数値ｆｘについては抽出するが、周波数値ｆｙについては抽出しない。
【００４１】
そして、レベル変化部１７１は、第１変換部１２０から出力された周波数スペクトルのうち、指定領域に対応して抽出した周波数値に対応する出力レベル（以下、この周波数値に対応する出力レベルにより生じる音を「指定領域に含まれる音」という）を、変化設定情報が示す調整量で増減させる。図５（ａ）に示す例において、指定領域ｓｃに設定された調整量がＺ％である場合には、レベル変化部１７１は、周波数スペクトルのうち、指定領域ｓｃに含まれる音の出力レベルを、各チャンネルともＺ／１００倍となるように変化させる。すなわち、第１変換部１２０から出力された周波数スペクトルのうち、点ｄ１に対応する値は、Ｌｃｈ（ｆｘ、ＡＬｘ）、Ｒｃｈ（ｆｘ、ＡＲｘ）であるが、レベル変化部１７１は、Ｌｃｈ（ｆｘ、ＡＬｘ×Ｚ／１００）、Ｒｃｈ（ｆｘ、ＡＲｘ×Ｚ／１００）に変化させる。Ｚ＝０であれば、後述するようにして出力される音からは、指定領域ｓｃに含まれる音が聴こえなくなることになる。
【００４２】
また、レベル変化部１７１は、音像算出結果と変化設定情報における移行領域とを比較して、移行領域に含まれる音像算出結果に対応する周波数値を、上記指定領域における場合と同様にして抽出する。
そして、レベル変化部１７１は、第１変換部１２０から出力された周波数スペクトルのうち、移行領域に対応して抽出した周波数値に対応する出力レベル（以下、この周波数値に対応する出力レベルにより生じる音を「移行領域に含まれる音」という）を、変化設定情報が示す調整量で増減させる。
レベル変化部１７１は、各フレームに対応して、上述のように、指定領域に含まれる音および移行領域に含まれる音の出力レベルを変化させた各チャンネルの周波数スペクトルを、第２変換部１８０に出力する。
【００４３】
スペクトル変化部１７２は、指定領域に含まれる音を抽出し、その音についての周波数値と音像位置との対応関係を、変化設定情報に応じて変化させる。ここで、指定領域に含まれる音を抽出するとは、指定領域に含まれる音以外については出力レベルを０にして除去することを示す。以下、対応関係を変化させるにあたり、音像位置を変化させる場合と周波数値を変化させる場合とについて、それぞれ説明する。
【００４４】
まず、音像位置を変化させる場合、すなわち、指定領域と移行領域との位置関係が図６（ａ）に示す場合について説明する。この場合には、指定領域ｓｃと移行領域ｓｐとは、指定周波数範囲は変化せず、音像位置が全体的にマイナス側に移動している。この移動量を「Ｐｍ」とすると、スペクトル変化部１７２は、指定領域ｓｃに含まれる音の音像位置を全て「Ｐｍ」だけ減算した値として表されるように、指定領域ｓｃに含まれる音の出力レベルの各チャンネル間における比を、以下のようにして変化させる。
【００４５】
指定領域ｓｃにおけるある特定の点ｄｚ１（ｆｚ１、Ｐｚ１）については、周波数値ｆｚに対応する出力レベルＡＲｚ１、ＡＬｚ１を用いて以下の式（２）に示す計算式から得られる対応関係である。この点ｄｚ１を指定領域ｓｃから移行領域ｓｐに移動させると、点ｄｚ２（ｆｚ１、Ｐｚ１−Ｐｍ）に対応関係が変化する。そのため、スペクトル変化部１７２は、以下式（３）を満たすように、周波数値ｆｚ１に対応する出力レベルの比（ＡＲｚ１／ＡＬｚ１）を（ＡＲｚ２／ＡＬｚ２）に変化させる。
Ｐｚ１＝２／π×ａｒｃｔａｎ（ＡＲｚ１／ＡＬｚ１） ・・・（２）
Ｐｚ１−Ｐｍ＝２／π×ａｒｃｔａｎ（ＡＲｚ２／ＡＬｚ２） ・・・（３）
このとき、ＡＲｚ２、ＡＬｚ２の絶対値は、ＡＲｚ１とＡＬｚ１との出力レベルの合計値が同じになるように決定されてもよいし、エネルギ値が同じになるように決定されてもよい。
【００４６】
続いて、周波数値を変化させる場合、すなわち、指定領域と移行領域との位置関係が図６（ｂ）に示す場合について説明する。この場合には、指定領域ｓｃと移行領域ｓｐとは、指定音像範囲は変化せず、周波数値が全体的にマイナス側に移動している。この移動量を周波数値の比で表される「１／ｍ」とする。この場合、スペクトル変化部１７２は、指定領域ｓｃに含まれる音の周波数値を全て「１／ｍ」で乗算した値として表されるように、指定領域ｓｃに含まれる音の周波数値を、以下のようにして変化させる。
【００４７】
指定領域ｓｃにおけるある特定の点ｄｚ１（ｆｚ１、Ｐｚ１）については、指定領域ｓｃから移行領域ｓｐに移動させると、点ｄｚ３（ｆｚ１／ｍ、Ｐｚ１）に対応関係が変化する。そのため、スペクトル変化部１７２は、出力レベルを変化させずに、周波数値「ｆｚ１」を「ｆｚ１／ｍ」に変化させる。この例においては、指定領域ｓｃに含まれる音の周波数値を全て「１／ｍ」で乗算するだけであるから、指定領域ｓｃに含まれる音の周波数値は全体的に小さくなるものの、倍音関係は変化しない。そのため、指定領域ｓｃに含まれる音の音高が変化するが、音色はあまり変化しないことになる。
【００４８】
以上の説明においては、対応関係を変化させる際、音像位置を変化させる場合と周波数値を変化させる場合とについて、それぞれ説明したが、指定領域と移行領域との位置関係によっては、音像位置および周波数値の双方を変化させてもよい。
スペクトル変化部１７２は、各フレームに対応して、上述のように、指定領域に含まれる音の周波数値と音像位置との対応関係を、移行領域との関係に応じて変化させた各チャンネルの周波数スペクトルを、第２変換部１８０に出力する。
【００４９】
なお、音像位置のみを変化させる場合には、スペクトル変化部１７２は、指定領域ｓｃに含まれる音を抽出するのではなく、指定領域ｓｃに含まれる音に対して上述した処理を施し、指定領域ｓｃに含まれる音以外については、周波数値および出力レベルが変化せずに周波数スペクトルに残存することになる。スペクトル変化部１７２がこのような構成である場合には、レベル変化部１７１における処理を行わなくてもよい。
【００５０】
第２変換部１８０は、レベル変化部１７１から出力される各チャンネルの周波数スペクトルに対してＩＦＦＴ（Inverse Fast Fourier Transform）処理を施して、各チャンネルのオーディオ信号に変換する。また、第２変換部１８０は、スペクトル変化部１７２から出力される各チャンネルの周波数スペクトルについても、同様にＩＦＦＴ処理を施して、各チャンネルのオーディオ信号に変換する。第２変換部１８０は、それぞれ変換したオーディオ信号を出力部１９０に出力する。なお、スペクトル変化部１７２から出力される周波数スペクトルは、スペクトル変化部１７２における処理において、処理前と周波数値の間隔が変わることになる。したがって、第２変換部１８０は、レベル変化部１７１から出力される周波数スペクトルに施すＩＦＦＴ処理と、スペクトル変換部１７２から出力される周波数スペクトルに施すＩＦＦＴ処理とは異なるものとしてもよい。また、スペクトル変換部１７２における処理前後で周波数値の間隔が一致するように、スペクトル変換部１７２は、周波数値の間隔が広くなっている場合には補間処理、狭くなっている場合には間引き処理などを行ってもよい。
出力部１９０は、第２変換部１８０から出力されたオーディオ信号を、チャンネル毎に予め決められた音量比でミキシングをするなどして合成し、インターフェイス１６に出力し、インターフェイス１６に接続されるスピーカなどの放音装置から放音させる。なお、合成は、複数のオーディオ信号を単に加算してもよいし、相加平均をとってもよい。
【００５１】
このように、信号処理部１００は、取得した複数チャンネルのオーディオ信号を周波数スペクトルに変換し、各周波数に対応した音像位置を算出して、周波数および音像位置の座標軸をもつ座標系を用いて表示画面１３１に表示する。利用者によって指定された座標系における一部領域が指定領域として設定され、移行領域、出力レベルの調整量が設定されることにより、信号処理部１００は、周波数スペクトルのうち指定領域に含まれる音の音像位置、音高などを調整し、オーディオ信号に変換して出力する。
これにより、利用者は、表示画面１３１に表示された音像算出結果を見ながら、直感的に一部領域を指定することができ、この領域を指定領域として領域設定部１５０に設定させ、指定領域に含まれる音の音像位置を変化させたり、音高を変化させたりすることができる。
【００５２】
例えば、オーディオ信号が示す音が複数の楽器を用いた演奏をステレオで録音したものであり、ギターの音像が右側に定位していたとする。そして、このギターの音を指定領域に含まれる音として設定し、左側に移行領域を設定したものとする。このとき、指定領域における調整量を１００％と設定しておけば、ギターの音像を右側と左側とに定位させることができる。一方、指定領域における調整量を０％と設定しておけば、右側に定位したギターの音像を左側に移動させることができる。また、移行領域に含まれる音に、他の楽器の音があった場合に、移行領域における調整量を１００％と設定しておけば、ギターと他の楽器との双方の音像を右側に定位させ、移行領域における調整量を０％と設定しておけば、他の楽器に変えてギターの音像を定位させることができる。
【００５３】
＜第２実施形態＞
第２実施形態においては、予めテンプレートとして記憶部１４Ａに記憶されている周波数スペクトルを、指定領域に応じて変化させて、オーディオ信号に合成する処理を行う信号処理部１００Ａの構成について、図７を用いて説明する。
【００５４】
図７は、本発明の第２実施形態における信号処理機能の構成を説明する機能ブロック図である。第２実施形態における信号処理機能を実現する信号処理部１００Ａは、取得部１１０、第１変換部１２０、音像位置算出部１３０、表示制御部１４０、領域設定部１５０、変化設定部１６０Ａ、レベル変化部１７１Ａ、スペクトル変化部１７２Ａ、第２変換部１８０、および出力部１９０を有する。変化設定部１６０Ａ、レベル変化部１７１Ａおよびスペクトル変化部１７２Ａ以外の構成については、第１実施形態における信号処理部１００と同様であるため、説明を省略する。
【００５５】
変化設定部１６０Ａは、第１実施形態における変化設定部１６０において行われた設定のうち、移行領域および移行領域における出力レベルの調整量の設定を行わず、指定領域における出力レベルの調整量の設定を行う。また、変化設定部１６０Ａは、記憶部１４Ａに記憶されているテンプレートが複数である場合には、合成すべきテンプレートを指定する設定を、利用者の操作（ウインドウｗ２の操作ボタンの操作など）に応じて行う。
【００５６】
ここで、記憶部１４Ａに記憶されているテンプレートについて説明する。このテンプレートは、各チャンネルについて、予め決められた周波数範囲の周波数スペクトルを規定するものである。また、この周波数スペクトルは、一定時間に対応する複数フレーム分が規定されている。
レベル変化部１７１Ａは、第１実施形態におけるレベル変化部１７１において行なわれた移行領域における出力レベルの調整を行わず、指定領域における出力レベルの調整を行う。
【００５７】
スペクトル変化部１７２Ａは、変化設定部１６０において設定されたテンプレートを記憶部１４Ａから読み出し、読み出したテンプレート（周波数スペクトル）を指定領域が示す指定周波数範囲および指定音像範囲に応じて変化させ、第２変換部１８０に出力する。この例においては、スペクトル変化部１７２Ａは、テンプレートの周波数スペクトルのうち、指定領域に含まれる音を抽出して出力する。なお、テンプレートの周波数スペクトルを変化させる態様は他のものであってもよい。例えば、テンプレートの周波数スペクトルの周波数下限（または上限）と、指定周波数範囲との下限（または上限）が一致するように、テンプレートの周波数スペクトルを変化させてもよい。この変化において、上述したように倍音関係が維持されるようにしてもよいし、維持されないようにしてもよい。また、テンプレートの周波数スペクトルから得られる音像位置が、指定音像範囲に含まれるように、各チャンネルの出力レベル比を調整してもよい。
【００５８】
図８は、本発明の第２実施形態における指定領域ｓｔが表示された表示画面１３１の表示例を説明する図である。表示制御部１４０は、図８に示すように、テンプレートの周波数スペクトルを指定領域ｓｔに応じて変化させた結果から算出される周波数値と音像位置との対応関係を、設定された指定領域ｓｔに対応してウインドウｗ１に表示させるようにしてもよい。
このように、第２実施形態における信号処理部１００Ａから出力されるオーディオ信号は、取得部１１０において取得されたオーディオ信号に、指定領域ｓｔにテンプレートの周波数スペクトルに基づく音を合成した音を示すものとなる。このとき、レベル変化部１７１Ａにおいて、指定領域ｓｔにおける出力レベルを０％に調整することにより、指定領域ｓｔに含まれる音を、テンプレートの周波数スペクトルに基づく音に置き換えることもできる。
【００５９】
＜第３実施形態＞
第３実施形態においては、予めテンプレートとして記憶部１４Ｂに記憶されている音響処理情報に応じて指定領域に含まれる音に音響効果を付与する処理を行う信号処理部１００Ｂの構成について、図９を用いて説明する。
【００６０】
図９は、本発明の第３実施形態における信号処理機能の構成を説明する機能ブロック図である。第３実施形態における信号処理機能を実現する信号処理部１００Ｂは、取得部１１０、第１変換部１２０、音像位置算出部１３０、表示制御部１４０、領域設定部１５０、変化設定部１６０Ｂ、レベル変化部１７１Ｂ、音響効果付与部１７２Ｂ、第２変換部１８０、および出力部１９０を有する。変化設定部１６０Ｂ、レベル変化部１７１Ｂおよび音響効果付与部１７２Ｂ以外の構成については、第１実施形態における信号処理部１００と同様であるため、説明を省略する。また、レベル変化部１７１Ｂは、第２実施形態におけるレベル変化部１７１Ａと同様であるため、説明を省略する。
【００６１】
変化設定部１６０Ｂは、第１実施形態における変化設定部１６０において行われた設定のうち、移行領域および移行領域における出力レベルの調整量の設定を行わず、指定領域における出力レベルの調整量の設定を行う。また、変化設定部１６０Ｂは、記憶部１４Ｂに記憶されている音響処理情報が複数である場合には、付与すべき音響効果に対応する音響処理情報を指定する設定を、利用者の操作（ウインドウｗ２の操作ボタンの操作など）に応じて行う。このとき、音響効果を付与する程度についても設定できるようにしてもよい。
【００６２】
ここで、記憶部１４Ｂに記憶されている音響処理情報について説明する。この音響処理情報は、ディレイ、リバーブ、コンプレッサなど音響効果を付与するために必要なパラメータなどが規定されている。
音響効果付与部１７２Ｂは、変化設定部１６０Ｂにおいて設定された音響効果に対応する音響処理情報を記憶部１４Ｂから読み出し、読み出した音響処理情報にしたがって、指定領域に含まれる音について、ＩＩＲ（Infinite impulse response）フィルタなどを用いて音響効果を付与する処理を施して、第２変換部１８０に出力する。なお、音響効果付与部１７２Ａは、指定領域に含まれる音の周波数スペクトルにＩＦＦＴ処理を施してオーディオ信号に変換してから、音響効果を付与する処理を施してもよい。この場合には、第２変換部１８０における変換処理は不要である。
このように、第３実施形態における信号処理部１００Ｂから出力されるオーディオ信号は、取得部１１０において取得されたオーディオ信号のうち、指定領域に含まれる音に対して音響効果を付与した音を示すものとなる。
【００６３】
＜変形例＞
以上、本発明の実施形態について説明したが、本発明は以下のように、さまざまな態様で実施可能である。
[変形例１]
上述した第１、第２、第３実施形態において、変化設定部１６０によって設定される調整量は、指定領域のどの位置においても同じ量として設定されていたが、指定領域内における位置に応じて異なる量となるように設定されてもよい。例えば、図１０に示すように調整量が設定されればよい。
【００６４】
図１０は、本発明の変形例１における指定領域に設定される調整量を説明する図である。図１０（ａ）は、実施形態において設定される調整量を示す図である。図１０（ｂ）は、変形例１において設定される調整量の一例を示す図である。
上述した実施形態においては、例えば、図１０（ａ）に示すように、指定領域ｓｃの音像位置の座標軸方向（ａ−ａ方向）および周波数の座標軸方向（ｂ−ｂ方向）について、どの位置においても同じ調整量Ｌ０として設定されている。一方、変形例１においては、例えば、図１０（ｂ）に示すように、指定領域ｓ１の音像位置の座標軸方向（ａ−ａ方向）および周波数の座標軸方向（ｂ−ｂ方向）について、位置に応じて調整量が変化するように設定される。この例においては、指定領域ｓｃのうち中央部が周辺部に比べて調整量が小さくなるように設定された状態（凹型形状）を示している。
【００６５】
この場合には、レベル変化部１７１は、指定領域ｓｃに含まれる音の周波数値および音像位置に対応した調整量を、指定領域ｓ１に対応して抽出した周波数値に対応させて特定すればよい。そして、レベル変化部１７１は、指定領域ｓｃに含まれる音の各周波数値に対応する出力レベルを変化させるときには、それぞれの周波数値に対応して特定した調整量に応じて変化させればよい。このようにすれば、信号処理部１００は、指定領域に含まれる音について、その指定領域内における位置に応じて異なる調整量で音量を調整して出力することもできる。例えば、図１０（ｂ）に示すように調整量が設定されている場合には、信号処理部１００は、指定領域ｓｃのうち周辺部に対応する音ほど大きな音量で出力することができる。なお、変化設定部１６０によって設定される調整量が、指定領域内における位置に応じて異なる量となるように設定されればよいから、図１０（ｃ）に示すように、指定領域のうち中央部が周辺部に比べて調整量が大きくなるように設定された状態（凸型形状）であってもよく、様々な態様での設定が可能である。
以上、指定領域における調整量として説明したが、移行領域についても同様である。
【００６６】
[変形例２]
上述した第１実施形態において、表示制御部１４０は、ウインドウｗ１における移行領域ｓｐに、スペクトル変化部１７２において変化した後の周波数スペクトルに基づく周波数値と音像位置との対応関係を表示させてもよい。
【００６７】
図１１は、本発明の変形例２における指定領域ｓｃと移行領域ｓｐとが表示された表示画面１３１の表示例を説明する図である。表示制御部１４０は、図１１に示すように、移行領域ｓｐに、指定領域ｓｃに含まれる各点を表示させる。このとき、表示制御部１４０は、点の表示態様（色彩、濃さ、大きさ、形状など）を変化させて表示してもよい。また、表示制御部１４０は、移行領域ｓｐの部分に既に表示していた各点については表示させないようにしてもよいし、表示させたままであってもよい。この各点の表示は、移行領域ｓｐにおける調整量の設定に応じて変化させてもよい。
【００６８】
なお、第２、第３実施形態に適用する場合には、移行領域は存在しないから、表示制御部１４０は、指定領域に同様の表示をさせればよい。
【００６９】
[変形例３]
上述した第１実施形態においては、指定領域ｓｃと移行領域ｓｐとは、形状が一致していたが、一致していなくてもよい。一致していない場合には、指定領域ｓｃの設定のために行う利用者の操作と同様な操作により、移行領域ｓｐを設定する。また、スペクトル変化部１７２は、周波数値、音像位置を変化させるときに、形状の違いに応じて補正処理を行えばよい。
【００７０】
図１２は、本発明の変形例３における指定領域ｓｃと移行領域ｓｐとが表示された表示画面１３１の表示例を説明する図である。図１２に示す場合においては、移行領域ｓｐは、指定領域ｓｃと比べて、周波数値の範囲が広く（縦方向の長さが長く）、音像位置の範囲が狭く（横方向の長さが短く）なっている。
【００７１】
スペクトル変化部１７２は、指定領域ｓｃと移行領域ｓｐとで周波数値の範囲が異なる場合には、指定領域ｓｃにおける周波数値の下限ｆｃＬを、移行領域ｓｐにおける周波数値の下限ｆｐＬに変化させるように処理をすればよい。すなわち、スペクトル変化部１７２は、指定領域ｓｃにおける各周波数値を、「ｆｐＬ／ｆｃＬ」で乗算するようにすればよい。なお、周波数値の下限と上限との関係を入れ替えてもよい。また、スペクトルを変化させる基準となる値を周波数値の上限または下限とする場合に限らず、指定領域ｓｃにおけるいずれかの周波数値を基準となる値としてもよい。
【００７２】
また、スペクトル変化部１７２は、スペクトルを変化させた後の周波数値の上限が、移行領域ｓｐの周波数値の上限よりも高い場合には、移行領域ｓｐの周波数値の上限を超えた部分については除去すればよい。図１２に示す例の場合には、移行領域ｓｐの周波数値の上限を超える部分は存在しないため、除去する必要はない。
【００７３】
周波数値の変化については、この変化の態様に限られず、指定領域ｓｃと移行領域ｓｐとの関係に基づいて変化させるのであれば、他の態様であってもよい。例えば、指定領域ｓｃの周波数値の上限が移行領域ｓｐの周波数値の上限となり、指定領域ｓｃの周波数値の下限が移行領域ｓｐの周波数値の下限となるように、周波数値に乗算すべき係数を、その周波数値に応じて変化させてもよい。
【００７４】
指定領域ｓｃと移行領域ｓｐとで周波数値の範囲が異なる場合について説明したが、音像位置の範囲が異なる場合についても同様に、音像位置の上限、下限、または指定領域ｓｃにおけるいずれかの音像位置を基準として、出力レベルの比が変化するようにすればよい。
このように、スペクトル変化部１７２は、指定領域ｓｃと移行領域ｓｐとの関係に応じて、各チャンネルの周波数スペクトルを変化させるのであれば、どのような態様で変化させてもよい。
なお、移行領域ｓｐの指定にあっては、指定領域ｓｃの相似形になるように移行領域ｓｐの形状が制限されてもよい。また、移行領域ｓｐの指定にあっては、指定領域ｓｃにおいて基準となる周波数値と音像位置に対応する位置が指定され、その後、移行領域ｓｐにおいて基準となる位置が指定されることにより、移行領域ｓｐの形状が変化しても、その基準となる位置は固定されるようにしてもよい。
【００７５】
[変形例４]
上述した第１実施形態においては、スペクトル変化部１７２は、指定領域に含まれる音を移行領域に含まれる音になるように、各チャンネルの周波数スペクトルを変化させていたが、移行領域に含まれる音を指定領域に含まれる音になるように周波数スペクトルを変化させたものをさらに第２変換部１８０に出力するようにしてもよい。この場合には、第２変換部１８０は、スペクトル変化部１７２から各チャンネルの周波数スペクトルの組を複数取得することになるから、それぞれをオーディオ信号に変換し、チャンネル毎に合成すればよい。
なお、変化設定部１６０において、指定領域および移行領域ともに調整量を０％に設定すれば、指定領域に含まれる音と移行領域に含まれる音とについて、音像位置と音高とを入れ替えたオーディオ信号を、信号処理部１００から出力することもできる。
【００７６】
[変形例５]
上述した第１実施形態において、スペクトル変化部１７２は、周波数スペクトルを変化させるときには、周波数値および音像位置の下限は、変化後も周波数値および音像位置の下限になるように、変化させていたが、上限と下限との関係が入れ替わるように変化させてもよい。
【００７７】
[変形例６]
上述した第１、第２、第３実施形態においては、レベル変化部１７１において、出力レベルの調整を行っていたが、さらに、周波数スペクトルの位相を、予め決められた態様で変化させてもよい。変化の態様としては、位相をランダムに変化させるものであってもよい。
【００７８】
[変形例７]
上述した第１、第２、第３実施形態においては、表示制御部１４０は、表示画面１３１のウインドウｗ１に表示される音像算出結果を、各周波数値に対応する音像位置を点状に表示するようにしていたが、その他の表示態様で表示するようにしてもよい。変形例７における表示態様の例について図１３を用いて説明する。
【００７９】
図１３は、本発明の変形例７における表示画面１３１の表示例を説明する図である。図１３（ａ）は、ウインドウｗ１の一部分を拡大して示した図である。図１３（ａ）に示すように、表示制御部１４０は、メッシュ状に区切った領域（以下、区切られた各領域をメッシュ領域ｍ１という）をウインドウｗ１に表示させ、各メッシュ領域ｍ１に含まれる音像算出結果に応じてメッシュ領域の色の濃さを変化させる。例えば、表示制御部１４０は、メッシュ領域ｍ１が構成する範囲の音像位置に対応する周波数値のうち、メッシュ領域ｍ１が構成する範囲の周波数に含まれる周波数値の個数、すなわち、メッシュ領域ｍ１に含まれる音の数に応じてメッシュ領域ｍ１の色の濃さを変化させればよい。また、表示制御部１４０は、メッシュ領域ｍ１に含まれる音の出力レベルに応じてメッシュ領域ｍ１の色の濃さを変化させてもよい。
【００８０】
また、別の例として、図１３（ｂ）に示すように、メッシュ領域に対応して予め決められた図形（この例においては、メッシュ領域の重心を中心とする円）を表示するようにしてもよい。この場合には、メッシュ領域に含まれる音の数に応じて円の直径を変化させればよい。
このようにしてメッシュ領域に区切って表示する場合には、領域設定部１５０は、１つのメッシュ領域を最小単位として指定領域を設定するようにしてもよい。
【００８１】
このようにすると、信号処理部１００と表示部１３とが別装置であるなど、装置間で表示させるための情報を送受信する場合において、送受信する情報量を低減することができる。また、表示制御部１４０は、画素数が少ない表示画面に音像算出結果を表示させることもできる。
なお、上述したメッシュ領域の表示態様は、フレーム毎の音像算出結果に応じて変化させるものとするが、時間的に連続する複数フレーム分の音像算出結果に応じて変化させるようにしてもよい。
【００８２】
[変形例８]
上述した第１、第２、第３実施形態において、領域設定部１５０に指定領域を設定させるために利用者が行う領域の指定は、周波数の軸方向と音像位置の軸方向とを別々に行えるようにしてもよい。このようにした場合には、指定する軸方向に応じて表示画面１３１のウインドウｗ１における表示態様を変更してもよい。周波数の軸方向、すなわち周波数値の範囲を予め指定して固定し、音像位置の範囲の指定を行うときの表示画面１３１の表示例について、図１４を用いて説明する。
【００８３】
図１４は、本発明の変形例８における指定領域ｓｃと移行領域ｓｐとを周波数範囲を固定して指定するときの表示画面１３１の表示例を説明する図である。図１４（ａ）は、現在設定されている指定領域ｓｃを示す図である。この状態において、利用者は、ウインドウｗ２の操作ボタンを操作するなどして、周波数の軸方向を固定して音像位置の軸方向のみの指定が可能な構成にする指示を行うと、表示制御部１４０によってウインドウｗ１の表示態様が変更される。この例においては、ウインドウｗ１には、図１４（ｂ）に示すように、周波数の軸方向は、指定領域ｓｃの指定周波数範囲のみが表示される態様に変更される。
【００８４】
このように表示されることにより、また、領域設定部１５０によって設定される指定領域のうち、指定周波数範囲から周波数の軸方向の変更ができないように制限されることにより、利用者は、音像位置の軸方向のみに注目して指定領域ｓｃの指定音像範囲を指定することができる。また、移行領域ｓｐについて、指定領域ｓｃと同じ周波数範囲となるように設定することが容易となる。
なお、予め指定周波数範囲が決められた指定領域を決定するためのテンプレートを複数種類、記憶部１４に記憶させるなどして設けておき、利用者はテンプレートのいずれかを選択して、表示制御部１４０による表示、および領域設定部１５０による設定の制限によって、指定領域を指定するときの指定周波数範囲を固定させるようにしてもよい。例えば、楽器の演奏音に応じた周波数範囲に対応した指定周波数範囲が決められたテンプレートを楽器の種類毎に設けておけば、利用者は楽器の種類を選択することにより、選択した楽器の音域に対応する指定周波数範囲を決定することができる。
また、図１４（ｂ）に示す表示態様においては、指定周波数範囲の音像算出結果に制限するものであったが、さらに異なる表示態様としてもよい。
【００８５】
図１５は、本発明の変形例８における指定領域ｓｃと移行領域ｓｐとを周波数範囲を固定して指定するときの表示画面１３１の別の表示例を説明する図である。図１５（ａ）に示す例は、図１４（ｂ）に示すウインドウｗ１に表示されている音像算出結果について、音像位置を一定範囲毎に分割し、各範囲の音像位置を示す音像算出結果については、周波数値にかかわらずまとめてヒストグラムとして表示された例である。このヒストグラムは、横軸は各範囲の音像位置を示し、縦軸は各範囲の音像位置に対応する周波数値の個数を示す。なお、縦軸は、各範囲の音像位置に対応する音の出力レベルの総和を示すものであってもよい。このように、指定周波数範囲が予め決定される場合には、利用者は周波数の座標軸を認識する必要がなくなるため、ヒストグラムの度数に相当する軸に変更してもよい。
【００８６】
また、図１５（ｂ）に示すように、バーコード状に表示されてもよい。図１５（ｂ）に示す表示態様は、図１５（ａ）に示す度数に相当する値を線の太さとして表したものである。このように、表示制御部１４０は、指定周波数範囲が固定された場合には、周波数の座標軸を用いない表示に変化させるようにしてもよい。
なお、上記例においては、指定周波数範囲を固定した場合について説明したが、指定音像範囲を固定した場合においても適用できる。例えば、図１４（ｂ）に示す表示態様に対応させた場合には、指定音像範囲に含まれる音像算出結果だけが表示される態様とすればよい。
【００８７】
[変形例９]
上述した第１、第２、第３実施形態において、表示画面１３１に表示されるウインドウｗ１は、１つのみであったが、複数のウインドウｗ１を切り替えて表示できるようにしてもよい。第１実施形態に適用した場合について、表示画面１３１の表示例について、図１６を用いて説明する。
【００８８】
図１６は、本発明の変形例９における表示画面１３１の表示例を説明する図である。図１６（ａ）に示すように、ウインドウｗ１の上部に、複数のウインドウｗ１のいずれを表示させるかを選択するためのタブｗｔ１、ｗｔ２、・・・が設けられている。この例においては、タブｗｔ１が選択されているときには、上述した実施形態と同様である。タブｗｔ２を選択すると、タブｗｔ２に対応したウインドウｗ１が表示される。
【００８９】
各タブに対応したウインドウｗ１は、上述した実施形態などの構成をタブごとに並列に信号処理する内容を表示するものであってもよいし、直列に信号処理する内容を表示するものであってもよい。また、選択されたタブに対応するウインドウｗ１の表示内容に従った信号処理が実行され、選択されていないタブに対応するウインドウｗ１の表示内容に従った信号処理は実行されないようにしてもよい。この場合、利用者は、選択するタブを切り替えて音の内容を確認することで、各タブにおけるウインドウｗ１の表示内容においてどのような音響効果が得られるかを切り替えて、容易に効果の比較をすることができる。並列に処理する場合には、信号処理部１００は、並列に処理された結果得られるオーディオ信号がミキシングされて出力されるように構成を有するようにすればよい。このとき、利用者の指示に応じてミックス比を制御できるようにしてもよい。なお、並列に処理されるオーディオ信号は、同じ楽曲のオーディオ信号が用いられていてもよいし、別の楽曲のオーディオ信号が用いられていてもよい。
【００９０】
一方、直列に処理とは、以下の処理をいう。まず、取得部１１０において取得されたオーディオ信号に対して、タブｗｔ１に対応するウインドウｗ１の表示内容に応じてレベル変化部１７１およびスペクトル変化部１７２において信号処理が施される。信号処理が施された結果に対して、タブｗｔ２に対応するウインドウｗ１の表示内容に応じて信号処理を施す。このように、直列に処理とは、一つのタブのウインドウｗ１における表示内容に基づいて処理された結果を、別のタブのウインドウｗ１における表示内容に基づいてさらに処理することをいう。
【００９１】
このように直列に処理する場合には、タブｗｔ２のウインドウｗ１の表示態様を図１６（ｂ）に示すようにしてもよい。この例においては、図１６（ａ）に示すように指定領域ｓｃ１、移行領域ｓｐ１が設定されたものとする。この場合、図１６（ｂ）に示すように、タブｗｔ２に対応するウインドウｗ１には、指定領域ｓｃ１および移行領域ｓｐ１に対応する音像算出結果の表示態様を変化させた状態（この例においては、表示を消す）での表示がなされる。そして、この内容を基準として、さらに利用者による指定領域ｓｃ２、移行領域ｓｐ２を設定するための指定が行われる。
【００９２】
なお、上記の並列に処理および直列に処理については並存してもよい。例えば、タブｗｔ１、ｗｔ２は直列に処理される関係であり、タブｗｔ３は、タブｗｔ１、ｗｔ２と並列に処理される関係であってもよい。また、各タブに対応するウインドウｗ１は、表示画面１３１に並べて同時に表示されるようにしてもよい。
【００９３】
[変形例１０]
上述した第１、第２、第３実施形態において、表示制御部１４０は、ウインドウｗ１に表示する指定領域および移行領域に、その指定領域および移行領域に対して設定された調整量を表示するとよい。また、その指定領域および移行領域の周波数値の範囲、音像位置の範囲を示す情報が表示されるようにしてもよい。
このとき、利用者の操作によりタッチセンサ１２１への接触されている位置（以下、この変形例において、接触位置という）に応じて、設定調整量の表示位置を変化させてもよい。具体的には、表示制御部１４０は、接触位置から一定距離はなれた位置に、調整量を表示する。このようにすると、利用者が操作中において指で調整量が見えなくなってしまうことを防ぐことができる。
【００９４】
[変形例１１]
上述した実施形態において、指定領域の形状は矩形であったが、矩形以外の形状であってもよい。指定領域の形状については、ウインドウｗ２に表示される操作ボタンを用いて利用者が決定すればよい。また、利用者が指定領域として設定したい領域をなぞるように操作することで様々な形状の領域を指定するようにしてもよい。
【００９５】
図１７は、本発明の変形例１１において設定される指定領域ｓｃおよび移行領域ｓｐを説明する図である。図１７に示す指定領域ｓｃの形状は、利用者がタッチセンサ１２１をなぞることにより領域が指定された場合の形状の一例である。指定領域が矩形以外の形状の場合には、指定周波数範囲および指定音像範囲が実施形態のように決めることはできないが、レベル変化部１７１およびスペクトル変化部１７２において、指定領域ｓｃの形状を特定する座標情報を取得して周波数値ごとの指定音像範囲を特定することで、抽出すべき周波数値を決定することができる。
なお、領域設定部１５０は、利用者によって指定された領域の内側を指定領域として設定していたが、外側を指定領域として設定してもよい。
以上、指定領域ｓｃについて説明したが、移行領域ｓｐについても同様である。
【００９６】
[変形例１２]
上述した実施形態において、表示制御部１４０は、指定領域の範囲内を、その指定領域に対して設定された調整量に応じた態様で表示するようにしてもよい。表示制御部１４０は、指定領域の範囲内を、例えば、その指定領域に設定された調整量が、色の違い、濃さ、透過量、模様の変化などにより表されるように表示すればよい。また、表示制御部１４０は、指定領域内に表示されている音像算出結果について、その指定領域に対して設定された調整量に応じて各点の表示態様を変化させてもよい。
以上、指定領域について説明したが、移行領域についても同様である。
【００９７】
[変形例１３]
上述した実施形態において、第１変換部１２０は、周波数に依存する特徴量として、周波数値毎の出力レベルを抽出し、音像位置算出部１３０は、各チャンネル間の出力レベルの関係を示す関係値を算出していた。特徴量および関係値は、他の内容であってもよい。例えば、特徴量は周波数値毎の位相とし、関係値は各チャンネル間の位相差とすればよい。この場合には、表示制御部１４０は、ウインドウｗ１への表示に用いる座標系を、音像位置の座標軸に代えて位相差の座標軸を用いたものとして、表示内容を制御すればよい。
【００９８】
[変形例１４]
上述した実施形態においては、取得部１１０は、ステレオ２ｃｈのオーディオ信号を取得していたが、５．１ｃｈなど、より多くのチャンネルのオーディオ信号を取得してもよい。この場合には、音像位置算出部１３０は、各周波数値に対応して、全てのチャンネルにおける出力レベルに基づいて、各チャンネル間の出力レベルの関係に応じた関係値を算出するための算出式を記憶しておく。この算出式は、例えば、特定の規格（ITU-R BS.775-1など）にしたがって配置されたスピーカから出力された場合の聴取位置からみた方向（例えば、特定の方向を基準とした水平面内の角度）で表される音像位置（関係値）を、各チャンネルの出力レベルの違いから算出するための式とすればよい。
【００９９】
そして、音像位置算出部１３０は、この算出式を用いて各周波数値に対応した関係値を算出し、算出結果を示す情報を出力すればよい。この場合には、表示制御部１４０は、ウインドウｗ１への表示に用いる座標系を、音像位置の座標軸に代えて上記の関係値の座標軸を用いたものとして、表示内容を制御すればよい。
なお、取得部１１０は、２ｃｈより多いチャンネルのオーディオ信号を取得した場合には、２ｃｈにミックスダウンして出力するようにしてもよいし、特定の２ｃｈを抽出して出力するようにしてもよい。
【０１００】
[変形例１５]
上述した実施形態においては、領域設定部１５０は、利用者のタッチセンサ１２１への操作によって指定された領域を、指定領域として設定していたが、別の態様により指定領域を設定してもよい。例えば、指定領域の範囲を規定する指定領域特定情報を予め記憶しておき、領域設定部１５０は、利用者からの指示などにより指定領域特定情報を取得して、指定領域を設定すればよい。
【０１０１】
なお、この指定領域特定情報は、さらに、時刻の進行に伴い指定領域の範囲が変化するように規定されていてもよい。指定領域の範囲の変化とは、指定領域の形状の変化、指定領域の位置の変化（移動）などである。この場合には、領域設定部１５０は、時刻の進行に伴って変化する範囲を指定領域として設定すればよい。この変化の内容は、オーディオ信号の内容を解析して決定されるものであってもよい。例えば、オーディオ信号が楽曲であれば、楽曲のテンポをオーディオ信号の音量の時系列変化などから検出して、テンポに応じて移動態様または指定領域の形状が変化するように指定領域特定情報が規定されていてもよい。また、指定領域特定情報は、音像算出結果に応じて変化するように規定されていてもよい。例えば、指定領域特定情報は、音像位置が中心以外で一定密度以上の音像算出結果を示す点が集まっている範囲を指定領域として設定するように規定されていればよい。
すなわち、指定領域特定情報は、予め決められたアルゴリズムにしたがって規定されるものであればよく、発生させた乱数などを用いてランダムに指定領域の範囲を変化させるアルゴリズムであってもよい。
【０１０２】
また、別の態様としては、領域設定部１５０は、姿勢検出部１５から出力される運動信号に応じて、指定領域を設定してもよい。領域設定部１５０は、例えば、すでに利用者の操作などにより設定されている指定領域がある場合に、利用者が端末１を傾けたり振ったりすることで、指定領域が移動するようにしてもよい。例えば、表示画面１３１の右側が地面に近づくように傾けられた場合には、領域設定部１５０は、設定する指定領域を右側に移動させていけばよい。
以上、指定領域について説明したが、移行領域についても同様である。
【０１０３】
[変形例１６]
上述した第１実施形態においては、指定領域に含まれる音を移行領域に含まれる音になるように、各チャンネルの周波数スペクトルを変化させていた。このとき、音像算出結果である周波数値と音像位置との対応関係は、ウインドウｗ１に表示されている座標系において、指定領域から移行領域に平行移動させたものとなっていたが、平行移動に限られない。例えば、移行領域における周波数値の範囲および音像位置の範囲に含まれる状態であれば、平行移動とならないようなアルゴリズムにしたがって、周波数スペクトルが変化するようにしてもよい。このようなアルゴリズムとしては、移行領域における周波数値の範囲および音像位置の範囲において、周波数値または音像位置をランダムに変化させるものであってもよい。
【０１０４】
また、このような場合には、移行領域の設定が行われなくてもよい。この場合には、指定周波数範囲および指定音像範囲において、周波数値または音像位置が変化するようにしてもよいし、これらの範囲とは関係なく、周波数値または音像位置が変化するようにしてもよい。
【０１０５】
[変形例１７]
上述した実施形態においては、表示制御部１４０は、表示画面１３１のウインドウｗ１に、周波数の座標軸と音像位置の座標軸の２軸を有する座標系を用いて音像算出結果を表示していたが、さらに多くの軸を有する座標系を用いて表示してもよい。例えば、周波数値に対応する関係値が音像位置だけでなく、変形例１３に示すように位相差も含まれている場合には、周波数の座標軸、音像位置の座標軸、位相差の座標軸の３軸を有する座標系を用いればよい。
【０１０６】
３軸を有する座標系を用いて表示を行う場合には、表示制御部１４０は、ウインドウｗ１に、周波数の座標軸と音像位置の座標軸を有する座標系での表示、および周波数の座標軸と位相差の座標軸を有する座標系での表示など２つ表示により３軸を有する座標系での表示に代えてもよいし、擬似的に３軸の座標系を表現した画像を表示させるようにしてもよい。また、表示画面１３１が立体視ディスプレイなどである場合には、３軸の座標系を立体的に表現した画像を表示させてもよい。
【０１０７】
３軸の座標系を表現した場合において、指定領域として設定すべき領域を指定するときには、一旦２軸の座標系に置き換えて表示された状態で、利用者が領域を指定するようにしてもよい。
【０１０８】
[変形例１８]
上述した実施形態において、表示制御部１４０は、ウインドウｗ１の周波数の座標軸は対数表示としていたが、リニア表示であってもよい。リニア表示である場合には、第１実施形態に示すように、倍音比率を維持するように周波数値を変化させる場合には、指定領域ｓｃと移行領域ｓｐとの形状は異なるものとなる。一方、倍音比率を維持せず、周波数値を全体的に加算、減算することにより変化させてもよい。この場合、リニア表示である場合には、指定領域ｓｃと移行領域ｓｐとの形状は変化せず、実施形態に示すように対数表示である場合には、形状が変化することになる。周波数値を加算、減算により変化させる場合には、スペクトル変換部１７２における処理前後で周波数値の間隔が変化しない。したがって、第２変換部１８０においては、レベル変化部１７１から出力される周波数スペクトルに施すＩＦＦＴ処理と、スペクトル変換部１７２から出力される周波数スペクトルに施すＩＦＦＴ処理とは同じものとすることができる。
【０１０９】
[変形例１９]
上述した実施形態における制御プログラムは、磁気記録媒体（磁気テープ、磁気ディスクなど）、光記録媒体（光ディスクなど）、光磁気記録媒体、半導体メモリなどのコンピュータ読み取り可能な記録媒体に記憶した状態で提供し得る。また、端末１は、制御プログラムをネットワーク経由でダウンロードしてもよい。
【符号の説明】
【０１１０】
１…端末、１１…制御部、１２…操作部、１３…表示部、１４，１４Ａ，１４Ｂ…記憶部、１５…姿勢検出部、１６…インターフェイス、１７…通信部、１２１…タッチセンサ、１２２…操作ボタン、１３１…表示画面、１００，１００Ａ，１００Ｂ…信号処理部、１１０…取得部、１２０…第１変換部、１３０…音像位置算出部、１４０…表示制御部、１５０…領域設定部、１６０，１６０Ａ，１６０Ｂ…変化設定部、１７１，１７１Ａ，１７１Ｂ…レベル変化部、１７２，１７２Ａ…スペクトル変化部、１７２Ｂ…音響効果付与部、１８０…第２変換部、１９０…出力部
【技術分野】
【０００１】
本発明は、オーディオ信号に対して信号処理を行う技術に関する。
【背景技術】
【０００２】
ステレオのオーディオ信号において、音像位置を周波数帯域別に表示することができる技術が開発されている（例えば、特許文献１）。この技術によれば、ステレオのオーディオ信号が示す音について音像位置を詳細に知ることができる。
【先行技術文献】
【特許文献】
【０００３】
【特許文献１】特許３９１２３８６号公報
【発明の概要】
【発明が解決しようとする課題】
【０００４】
ところで、オーディオ信号に音響効果を付与するエフェクタなどの音響処理装置は、入力される音に対して、ディレイ、リバーブ、ピッチシフトなどの音響効果を付与する処理を行って出力する。このような音響処理装置には、バンドパスフィルタなどを用いて、特定の周波数帯域の音に対して音響処理を施すことができるものもある。一方、このような音響処理装置には、特定の周波数帯域であり特定の音像位置をもつ音に対して音響処理を施すことはできなかった。
【０００５】
本発明は、上述の事情に鑑みてなされたものであり、複数のチャンネル間の周波数に依存する特徴量の関係のうち、特定の関係をもつ音を、これとは異なる関係をもつ音に変化させるように、オーディオ信号に対して信号処理を行うことを目的とする。
【課題を解決するための手段】
【０００６】
上述の課題を解決するため、本発明は、複数チャンネルのオーディオ信号を取得する取得手段と、前記取得した各チャンネルのオーディオ信号を、少なくとも出力レベルを含む特徴量の周波数依存性を示す第１周波数スペクトルに変換する第１変換手段と、前記第１周波数スペクトルに基づいて、各チャンネル間の前記特徴量の関係に応じた関係値を、各周波数値に対応して算出する算出手段と、前記周波数値の座標軸と、前記関係値の座標軸とを有する座標系を用いて、前記算出手段による算出結果を表示画面に表示させる表示制御手段と、前記座標系における一部領域を指定領域として設定する領域設定手段と、前記指定領域に含まれる算出結果における周波数値と関係値との対応関係を、異なる対応関係に変化させるための変化態様を設定する変化態様設定手段と、各チャンネルの前記第１周波数スペクトルを、前記変化態様に基づいて第２周波数スペクトルに変化させるスペクトル変化手段と、前記第２周波数スペクトルを各チャンネルのオーディオ信号に変換する第２変換手段と、前記第２変換手段によって変換されたオーディオ信号を出力する出力手段とを具備することを特徴とする信号処理装置を提供する。
【０００７】
また、別の好ましい態様において、前記指定領域に含まれる前記算出結果に対応する周波数値を抽出し、前記第１周波数スペクトルのうち前記抽出された周波数値に対応する出力レベルを、予め決められた調整量で変化させる第１レベル変化手段とをさらに具備し、前記第２変換手段は、さらに、前記第１レベル変化手段によって出力レベルを変化させた第１周波数スペクトルを、各チャンネルのオーディオ信号に変換し、前記出力手段は、前記第２変換手段によって変換された複数のオーディオ信号をチャンネル毎に合成して出力することを特徴とする。
【０００８】
また、別の好ましい態様において、前記指定領域および前記変化態様に応じて決まる領域に含まれる前記算出結果に対応する周波数値を抽出し、前記第１周波数スペクトルのうち前記抽出された周波数値に対応する出力レベルを、予め決められた調整量で変化させる第２レベル変化手段とをさらに具備し、前記第２変換手段は、さらに、前記第２レベル変化手段によって出力レベルを変化させた第１周波数スペクトルを、各チャンネルのオーディオ信号に変換し、前記出力手段は、前記第２変換手段によって変換された複数のオーディオ信号をチャンネル毎に合成して出力することを特徴とする。
【０００９】
また、本発明は、複数チャンネルのオーディオ信号を取得する取得手段と、前記取得した各チャンネルのオーディオ信号を、少なくとも出力レベルを含む特徴量の周波数依存性を示す第１周波数スペクトルに変換する第１変換手段と、前記第１周波数スペクトルに基づいて、各チャンネル間の前記特徴量の関係に応じた関係値を、各周波数値に対応して算出する算出手段と、前記周波数値の座標軸と、前記関係値の座標軸とを有する座標系を用いて、前記算出手段による算出結果を表示画面に表示させる表示制御手段と、前記座標系における一部領域を指定領域として設定する領域設定手段と、予め決められた音を示す複数チャンネルの周波数スペクトルを示すテンプレートを記憶する記憶手段と、前記記憶手段に記憶されたテンプレートを、前記指定領域が示す周波数値および関係値の範囲に基づいて第２周波数スペクトルに変化させるスペクトル変化手段と、前記指定領域に含まれる前記算出結果に対応する周波数値を抽出し、前記第１周波数スペクトルのうち前記抽出された周波数値に対応する出力レベルを、予め決められた調整量で変化させるレベル変化手段と、前記第２周波数スペクトル、および前記レベル変化手段によって出力レベルを変化させた第１周波数スペクトルを、それぞれ、各チャンネルのオーディオ信号に変換する第２変換手段と、前記第２変換手段によって変換された複数のオーディオ信号をチャンネル毎に合成して出力する出力手段とを具備することを特徴とする信号処理装置を提供する。
【００１０】
また、本発明は、複数チャンネルのオーディオ信号を取得する取得手段と、前記取得した各チャンネルのオーディオ信号を、少なくとも出力レベルを含む特徴量の周波数依存性を示す第１周波数スペクトルに変換する第１変換手段と、前記第１周波数スペクトルに基づいて、各チャンネル間の前記特徴量の関係に応じた関係値を、各周波数値に対応して算出する算出手段と、前記周波数値の座標軸と、前記関係値の座標軸とを有する座標系を用いて、前記算出手段による算出結果を表示画面に表示させる表示制御手段と、前記座標系における一部領域を指定領域として設定する領域設定手段と、前記指定領域に対する音響効果を設定する音響効果設定手段と、前記指定領域に含まれる前記算出結果に対応する周波数値を抽出し、前記第１周波数スペクトルのうち前記抽出された周波数値に対応する出力レベルにより示される音に対して前記音響効果を付与した各チャンネルのオーディオ信号を生成する音響効果付与手段と、前記指定領域に含まれる前記算出結果に対応する周波数値を抽出し、前記第１周波数スペクトルのうち前記抽出された周波数値に対応する出力レベルを、予め決められた調整量で変化させるレベル変化手段と前記レベル変化手段によって出力レベルを変化させた第１周波数スペクトルを、各チャンネルのオーディオ信号に変換する第２変換手段と、前記音響効果付与手段によって生成されたオーディオ信号と、前記第２変換手段によって変換されたオーディオ信号とをチャンネル毎に合成して出力する出力手段とを具備することを特徴とする信号処理装置を提供する。
【発明の効果】
【００１１】
本発明によれば、複数のチャンネル間の周波数に依存する特徴量の関係のうち、特定の関係をもつ音を、これとは異なる関係をもつ音に変化させるように、オーディオ信号に対して信号処理を行うことができる。
【図面の簡単な説明】
【００１２】
【図１】本発明の第１実施形態における端末の外観を説明する図である。
【図２】本発明の第１実施形態における端末の構成を説明するブロック図である。
【図３】本発明の第１実施形態における信号処理機能の構成を説明する機能ブロック図である。
【図４】本発明の第１実施形態における表示画面の表示例を説明する図である。
【図５】本発明の第１実施形態における指定領域が表示された表示画面の表示例を説明する図である。
【図６】本発明の第１実施形態における指定領域と移行領域とが表示された表示画面の表示例を説明する図である。
【図７】本発明の第２実施形態における信号処理機能の構成を説明する機能ブロック図である。
【図８】本発明の第２実施形態における指定領域が表示された表示画面の表示例を説明する図である。
【図９】本発明の第３実施形態における信号処理機能の構成を説明する機能ブロック図である。
【図１０】本発明の変形例１における指定領域に設定される調整量を説明する図である。
【図１１】本発明の変形例２における指定領域と移行領域とが表示された表示画面の表示例を説明する図である。
【図１２】本発明の変形例３における指定領域と移行領域とが表示された表示画面の表示例を説明する図である。
【図１３】本発明の変形例７における表示画面の表示例を説明する図である。
【図１４】本発明の変形例８における指定領域と移行領域とを周波数範囲を固定して指定するときの表示画面の表示例を説明する図である。
【図１５】本発明の変形例８における指定領域と移行領域とを周波数範囲を固定して指定するときの表示画面の別の表示例を説明する図である。
【図１６】本発明の変形例９における表示画面の表示例を説明する図である。
【図１７】本発明の変形例１１において設定される指定領域および移行領域を説明する図である。
【発明を実施するための形態】
【００１３】
＜第１実施形態＞
[端末１の構成]
図１は、本発明の第１実施形態における端末１の外観を説明する図である。端末１は、携帯電話、ＰＤＡ（Personal Digital Assistant）、音楽プレイヤなどの携帯可能な情報処理端末である。なお、端末１は、携帯可能な情報処理端末に限らず、パーソナルコンピュータなどであってもよい。
図１に示すように、端末１は、筐体の前面に、タッチセンサ１２１、操作ボタン１２２、および表示画面１３１を有する。タッチセンサ１２１は、表示画面１３１の前面に設けられ、表示画面１３１とともに、タッチパネルを構成している。操作ボタン１２２は、図１においては、１つのみであるが、複数であってもよいし、なくてもよい。
【００１４】
図２は、本発明の第１実施形態における端末１の構成を説明するブロック図である。端末１は、制御部１１、操作部１２、表示部１３、記憶部１４、姿勢検出部１５、インターフェイス１６、通信部１７を有する。これらの各構成については、互いにバスで接続されている。
【００１５】
制御部１１は、ＣＰＵ（Central Processing Unit）、ＲＡＭ（Random Access Memory）、ＲＯＭ（Read Only Memory）などを有する。制御部１１は、ＲＯＭまたは記憶部１４に記憶された制御プログラムを実行することにより、バスを介して端末１の各部を制御する。この例においては、制御部１１は、制御プログラムを実行することにより、指定された信号処理を、オーディオ信号に対して行う信号処理機能などの各種機能を実現する。この例においては、各種機能には、一般的な携帯電話、ＰＤＡ、音楽プレイヤなどが有する機能が含まれているが、必ずしも含まれていなくてもよい。
【００１６】
操作部１２は、利用者からの操作を受け付けるタッチセンサ１２１および操作ボタン１２２を有し、それぞれに受け付けられた操作の内容を示す操作情報を制御部１１に出力する。このタッチセンサ１２１は、複数への同時の接触を検知する、いわゆるマルチタッチセンサになっている。以下、利用者からの指定、指示は、特に示していない限り、操作部１２を介して行われる操作によって行われるものとする。
表示部１３は、液晶ディスプレイなどの表示画面１３１を有する表示デバイスであり、制御部１１の制御に応じた内容の表示を表示画面１３１に行う。信号処理機能が実現されているときには、表示画面１３１には、処理対象となるオーディオ信号に関する表示、信号処理の内容を指定するための表示などがなされる。
【００１７】
記憶部１４は、ハードディスク、不揮発性メモリなどの記録媒体である。記憶部１４は、楽曲の内容を示す複数チャンネルのオーディオ信号などが記憶される領域を有する。この例において、複数チャンネルとは、ステレオ２ｃｈ（Ｌｃｈ、Ｒｃｈ）である。
【００１８】
姿勢検出部１５は、加速度センサ、角速度センサなどを有し、端末１の筐体の動きを検出し、運動信号を出力する。
インターフェイス１６は、外部装置と接続し、オーディオ信号など各種情報の入出力をするための端子を有する。端子の中には、例えば、ヘッドフォン、スピーカなどの放音手段を接続し、オーディオ信号を接続された放音手段に供給する端子が含まれる。
通信部１７は、制御部１１の制御に応じて、他の装置と無線、有線により通信を行う。以上が、端末１のハードウエア構成についての説明である。
【００１９】
[機能構成]
次に、端末１の制御部１１が制御プログラムを実行することによって実現される信号処理機能について説明する。なお、以下に説明する信号処理機能を実現する信号処理部１００における各構成の一部または全部については、ハードウエアによって実現してもよい。
【００２０】
図３は、本発明の第１実施形態における信号処理機能の構成を説明する機能ブロック図である。信号処理機能を実現する信号処理部１００は、取得部１１０、第１変換部１２０、音像位置算出部１３０、表示制御部１４０、領域設定部１５０、変化設定部１６０、レベル変化部１７１、スペクトル変化部１７２、第２変換部１８０、および出力部１９０を有する。
取得部１１０は、記憶部１４に記憶されているオーディオ信号のうち、利用者によって指定された楽曲のオーディオ信号を取得して、第１変換部１２０に出力する。なお、取得部１１０は、外部装置からインターフェイス１６を介して入力されるオーディオ信号を取得するようにしてもよい。
【００２１】
第１変換部１２０は、取得部１１０から出力されたオーディオ信号について、Ｌｃｈ、Ｒｃｈの各々に対して、予め決められた時間長のフレームごとに、ＦＦＴ（Fast Fourier Transform）処理を施して周波数スペクトルに変換する。周波数スペクトルは、周波数値（ｆ１、ｆ２、・・・ｆｎ）と出力レベル（Ａ１、Ａ２、・・・、Ａｎ）との対応関係、すなわち、出力レベルの周波数依存性を示している。このように、オーディオ信号から抽出される上述のような周波数値毎の出力レベルは、周波数に依存する特徴量の一例である。
【００２２】
ここで、Ｌｃｈのオーディオ信号から変換された周波数スペクトルの出力レベルについては、（ＡＬ１、ＡＬ２、・・・、ＡＬｎ）といい、Ｒｃｈのオーディオ信号から変換された周波数スペクトルの出力レベルについては、（ＡＲ１、ＡＲ２、・・・、ＡＲｎ）というものとする。
第１変換部１２０は、このようにして得られたフレーム毎の周波数スペクトルを音像位置算出部１３０およびレベル変化部１７１およびスペクトル変化部１７２に出力する。
【００２３】
音像位置算出部１３０は、第１変換部１２０から出力された周波数スペクトルに基づいて、各チャンネル間の出力レベルの関係を示す関係値としての音像位置を、各周波数値に対応して算出する。音像位置算出部１３０は、各周波数値に対応して、各チャンネル間の出力レベルの比を用いて以下の式（１）により音像位置Ｐｉを算出する（ｉ＝１〜ｎ）。
Ｐｉ＝２／π×ａｒｃｔａｎ（ＡＲｉ／ＡＬｉ） ・・・（１）
【００２４】
この音像位置Ｐｉは、「０」に近いほどＬｃｈ側（利用者から見て左側）、「１」に近いほどＲｃｈ側（利用者から見て右側）に音像が位置していることを示している。また、音像位置Ｐｉが「０．５」であれば、中央に音像が位置していることを示している。
音像位置算出部１３０は、このようにして周波数値（ｆ１、ｆ２、・・・ｆｎ）と音像位置（Ｐ１、Ｐ２、・・・、Ｐｎ）との対応関係を算出して、各フレームに対応した音像算出結果を示す情報として表示制御部１４０、レベル変化部１７１およびスペクトル変化部１７２に出力する。なお、この音像位置の算出方法は、上記算出方法に限られず、各チャンネルの出力レベルの関係に応じて算出する方法であれば他の算出方法を用いてもよい。
【００２５】
表示制御部１４０は、音像位置算出部１３０における音像算出結果に基づく内容を、表示部１３の表示画面１３１に表示させる。表示画面１３１に表示される表示例について、図４を用いて説明する。
【００２６】
図４は、本発明の第１実施形態における表示画面１３１の表示例を説明する図である。図４（ａ）に示すように、表示制御部１４０は、表示部１３を制御して、表示画面１３１にウインドウｗ１、ｗ２、ｗ３を表示させる。表示制御部１４０は、ウインドウｗ１には、音像算出結果に基づく内容を表示させ、ウインドウｗ２には、各種指定、指示をするための操作ボタンを表示させ、ウインドウｗ３には、表示画面１３１に表示させている内容に関連する情報（楽曲名など）を表示させる。
【００２７】
ウインドウｗ１には、図４（ｂ）に示す関係の座標軸を有する座標系で音像算出結果をプロットした表示がなされる。ウインドウｗ１の上下方向の座標軸は周波数（上方向が高い周波数値であり、対数表示とする）を示し、左右方向の座標軸には音像位置を示す。このようにしてウインドウｗ１に表示された音像算出結果の表示例が図４（ａ）に示されている。図４（ａ）に示すウインドウｗ１の表示内容は、特定のフレームにおける音像算出結果を示すものであるが、音像算出結果はフレーム毎に得られる結果であるから、時刻の進行に伴って変化していく。
図４（ａ）に示す表示例に対応する音は、概ね中央部分に音像が定位するとともに、高周波数帯域において右側に寄った位置にも音像が定位しているように、利用者によって知覚される。
【００２８】
なお、表示制御部１４０は、ウインドウｗ１に表示された音像算出結果を示す各点の表示態様を、出力レベルに応じて変化させるようにしてもよい。変化させる内容としては、明度、彩度、輝度、点の大きさなどである。この場合には、音像位置算出部１３０は、音像算出結果に、さらに出力レベルの加算値（ＡＬｉ＋ＡＲｉ）など、出力レベルの絶対値を示す情報が含まれるようにして、表示制御部１４０に出力するようにすればよい。
【００２９】
また、表示制御部１４０は、音像算出結果を点により示していたが、点に限られない。例えば、線、特定のマーク、ウインドウｗ１内を出力レベルに応じてグラデーション表示するなど、様々な態様での表示が可能である。
さらに、表示制御部１４０は、図４（ｂ）に示す座標軸を、図４（ａ）に示す音像算出結果とともに表示するようにしてもよい。
【００３０】
図３に戻って説明を続ける。領域設定部１５０は、操作部１２から出力される操作情報に応じて、表示画面１３１のウインドウｗ１に表示されている座標系によって示される領域の一部を指定領域として設定する。指定領域とは、出力レベルを変化させる処理の対象となる周波数値を抽出するための領域であり、周波数の範囲（以下、指定周波数範囲という）、音像位置の範囲（以下、指定音像範囲という）を定める領域である。領域設定部１５０は、設定した指定領域を示す指定領域情報を表示制御部１４０、レベル変化部１７１およびスペクトル変化部１７２に出力する。
領域設定部１５０は、このようにして出力した指定領域情報を表示制御部１４０に取得させて、表示画面１３１のウインドウｗ１に指定領域を表示させる。図４（ａ）に示す表示がなされている状態で、座標系における一部領域が指定領域として設定された場合の表示例について、図５を用いて説明する。
【００３１】
図５は、本発明の第１実施形態における指定領域が表示された表示画面１３１の表示例を説明する図である。図５（ａ）に示す例においては、指定領域ｓｃ１が設定された状態を示している。利用者がウインドウｗ２における操作ボタンのうち指定領域を出現させる操作ボタンを操作し、指定領域ｓｃ１として指定したい領域の左上の頂点ｓｃ１ａとなるべき位置と右下の頂点ｓｃ１ｂとなるべき位置とを指定する操作（その位置に接触するなどの操作）をすると、領域設定部１５０は、指定された領域を指定領域ｓｃ１として設定する。これにより、表示制御部１４０は、指定領域ｓｃ１を表示画面１３１に表示する。
【００３２】
なお、領域設定部１５０は、図５（ａ）に示すように１つの領域を指定領域（指定領域ｓｃ１）として設定する場合に限られず、図５（ｂ）に示すように、複数の領域を指定領域（指定領域ｓｃ１、ｓｃ２）として設定することもできる。なお、領域設定部１５０が座標系における一部の領域を指定領域として設定するために行われる利用者の操作は、一例であって、他の操作によって指定されるようにしてもよい。
【００３３】
図３に戻って説明を続ける。変化設定部１６０は、操作部１２から出力される操作情報に応じて、指定領域における音像算出結果の変化態様を設定する。設定される内容は、指定領域における音像算出結果を、座標系における指定領域とは別の領域（以下、移行領域という）に変化させるために必要な内容であり、この例においては、移行領域、移行領域における出力レベルの調整量、および指定領域における出力レベルの調整量が、変化態様として設定される。変化設定部１６０は、これらの設定内容を示す変化設定情報を表示制御部１４０、レベル変化部１７１およびスペクトル変化部１７２に出力する。なお、スペクトル変化部１７２には、設定内容のうち移行領域を示す情報が出力されればよく、調整量に関する情報は出力されなくてもよい。
【００３４】
変化設定部１６０は、このようにして出力した変化設定情報を表示制御部１４０に取得させて、表示画面１３１のウインドウｗ１に移行領域を表示させる。図５（ａ）に示す表示がなされている状態で、移行領域が設定された場合の表示例について、図６を用いて説明する。
【００３５】
図６は、本発明の第１実施形態における指定領域と移行領域とが表示された表示画面１３１の表示例を説明する図である。図６に示す例においては、指定領域ｓｃが領域設定部１５０において既に設定され、移行領域ｓｐが変化設定部１６０において設定された状態を示している。なお、図６（他の図においても同じ）に示す矢印は、表示されてもされなくてもよい。
【００３６】
図６（ａ）に示す例は、指定領域ｓｃに対して音像位置が異なる領域である移行領域ｓｐが設定された場合である。図６（ｂ）に示す例は、指定領域ｓｃに対して周波数値が異なる領域である移行領域ｓｐが設定された場合である。なお、移行領域ｓｐは、音像位置および周波数値の双方が異なる領域として設定されてもよい。
【００３７】
変化設定部１６０は、利用者が、指定領域を特定する操作（ウインドウｗ１における指定領域の一部を接触するなどの操作）をし、ウインドウｗ２の操作ボタンにより、特定された指定領域と同形状の移行領域を表示させる操作をし、移行領域の位置を特定する操作（ウインドウｗ１における特定の位置を接触するなどの操作）をすることにより、移行領域を設定する。そのため、この例においては、指定領域ｓｃと移行領域ｓｐとの形状は一致している。なお、変化設定部１６０が移行領域として設定するために行われる利用者の操作は、一例であって、他の操作によって指定されるようにしてもよい。例えば、ウインドウｗ２の操作ボタンへの操作により、周波数の座標軸方向、または音像位置の座標軸方向へ変化させるものであってもよい。
【００３８】
変化設定部１６０は、利用者が、調整量を設定したい指定領域または移行領域を特定する操作（ウインドウｗ１における指定領域または移行領域の一部を接触するなどの操作）をして、ウインドウｗ２の操作ボタンにより調整量を指定することにより、特定された指定領域または移行領域における調整量を設定する。ここで、変化設定部１６０は、指定領域を特定する操作がなされたかどうかを認識するために、指定領域の位置を認識する必要がある場合には、領域設定部１５０から出力される指定領域情報を取得すればよい。なお、変化設定部１６０が調整量を設定するために行われる利用者の操作は、一例であって、他の操作によって指定されるようにしてもよい。また、移行領域における出力レベルの調整量、および指定領域における出力レベルの調整量については、予め設定されていてもよい。また、予め決められた各調整量が決められたテンプレートを記憶部１４に複数記憶しておき、利用者が一のテンプレートを選択する操作により、調整量が設定されるようにしてもよい。
【００３９】
この調整量は、出力レベルに対して乗算する値として規定され、この例においては、０％以上１００％以下の範囲で規定される。例えば、調整量が１００％であれば、レベル変化部１７１における出力レベル調整が行われず、１００％未満であれば、出力レベルを減少させる調整が行われることになる。なお、調整量は、％により規定されるものに限られず、例えば、ｄＢなどにより規定されてもよい。また、相対的な量として規定されるだけでなく、絶対的な量として規定されてもよい。また、ある特定の出力レベルに揃えるような規定であってもよい。
【００４０】
図３に戻って説明を続ける。レベル変化部１７１は、音像算出結果と指定領域情報とを比較して、指定領域に含まれる音像算出結果に対応する周波数値を抽出する。具体的には、レベル変化部１７１は、音像算出結果を参照して、指定音像範囲に含まれる音像位置に対応する周波数値のうち、指定周波数範囲に含まれる周波数値を抽出する。図５（ａ）に示す例においては、音像算出結果のうち点ｄ１（ｆｘ、Ｐｘ）は、指定領域ｓ１に含まれるが、点ｄ２（ｆｙ、Ｐｙ）は、指定領域に含まれないため、レベル変化部１７１は、周波数値ｆｘについては抽出するが、周波数値ｆｙについては抽出しない。
【００４１】
そして、レベル変化部１７１は、第１変換部１２０から出力された周波数スペクトルのうち、指定領域に対応して抽出した周波数値に対応する出力レベル（以下、この周波数値に対応する出力レベルにより生じる音を「指定領域に含まれる音」という）を、変化設定情報が示す調整量で増減させる。図５（ａ）に示す例において、指定領域ｓｃに設定された調整量がＺ％である場合には、レベル変化部１７１は、周波数スペクトルのうち、指定領域ｓｃに含まれる音の出力レベルを、各チャンネルともＺ／１００倍となるように変化させる。すなわち、第１変換部１２０から出力された周波数スペクトルのうち、点ｄ１に対応する値は、Ｌｃｈ（ｆｘ、ＡＬｘ）、Ｒｃｈ（ｆｘ、ＡＲｘ）であるが、レベル変化部１７１は、Ｌｃｈ（ｆｘ、ＡＬｘ×Ｚ／１００）、Ｒｃｈ（ｆｘ、ＡＲｘ×Ｚ／１００）に変化させる。Ｚ＝０であれば、後述するようにして出力される音からは、指定領域ｓｃに含まれる音が聴こえなくなることになる。
【００４２】
また、レベル変化部１７１は、音像算出結果と変化設定情報における移行領域とを比較して、移行領域に含まれる音像算出結果に対応する周波数値を、上記指定領域における場合と同様にして抽出する。
そして、レベル変化部１７１は、第１変換部１２０から出力された周波数スペクトルのうち、移行領域に対応して抽出した周波数値に対応する出力レベル（以下、この周波数値に対応する出力レベルにより生じる音を「移行領域に含まれる音」という）を、変化設定情報が示す調整量で増減させる。
レベル変化部１７１は、各フレームに対応して、上述のように、指定領域に含まれる音および移行領域に含まれる音の出力レベルを変化させた各チャンネルの周波数スペクトルを、第２変換部１８０に出力する。
【００４３】
スペクトル変化部１７２は、指定領域に含まれる音を抽出し、その音についての周波数値と音像位置との対応関係を、変化設定情報に応じて変化させる。ここで、指定領域に含まれる音を抽出するとは、指定領域に含まれる音以外については出力レベルを０にして除去することを示す。以下、対応関係を変化させるにあたり、音像位置を変化させる場合と周波数値を変化させる場合とについて、それぞれ説明する。
【００４４】
まず、音像位置を変化させる場合、すなわち、指定領域と移行領域との位置関係が図６（ａ）に示す場合について説明する。この場合には、指定領域ｓｃと移行領域ｓｐとは、指定周波数範囲は変化せず、音像位置が全体的にマイナス側に移動している。この移動量を「Ｐｍ」とすると、スペクトル変化部１７２は、指定領域ｓｃに含まれる音の音像位置を全て「Ｐｍ」だけ減算した値として表されるように、指定領域ｓｃに含まれる音の出力レベルの各チャンネル間における比を、以下のようにして変化させる。
【００４５】
指定領域ｓｃにおけるある特定の点ｄｚ１（ｆｚ１、Ｐｚ１）については、周波数値ｆｚに対応する出力レベルＡＲｚ１、ＡＬｚ１を用いて以下の式（２）に示す計算式から得られる対応関係である。この点ｄｚ１を指定領域ｓｃから移行領域ｓｐに移動させると、点ｄｚ２（ｆｚ１、Ｐｚ１−Ｐｍ）に対応関係が変化する。そのため、スペクトル変化部１７２は、以下式（３）を満たすように、周波数値ｆｚ１に対応する出力レベルの比（ＡＲｚ１／ＡＬｚ１）を（ＡＲｚ２／ＡＬｚ２）に変化させる。
Ｐｚ１＝２／π×ａｒｃｔａｎ（ＡＲｚ１／ＡＬｚ１） ・・・（２）
Ｐｚ１−Ｐｍ＝２／π×ａｒｃｔａｎ（ＡＲｚ２／ＡＬｚ２） ・・・（３）
このとき、ＡＲｚ２、ＡＬｚ２の絶対値は、ＡＲｚ１とＡＬｚ１との出力レベルの合計値が同じになるように決定されてもよいし、エネルギ値が同じになるように決定されてもよい。
【００４６】
続いて、周波数値を変化させる場合、すなわち、指定領域と移行領域との位置関係が図６（ｂ）に示す場合について説明する。この場合には、指定領域ｓｃと移行領域ｓｐとは、指定音像範囲は変化せず、周波数値が全体的にマイナス側に移動している。この移動量を周波数値の比で表される「１／ｍ」とする。この場合、スペクトル変化部１７２は、指定領域ｓｃに含まれる音の周波数値を全て「１／ｍ」で乗算した値として表されるように、指定領域ｓｃに含まれる音の周波数値を、以下のようにして変化させる。
【００４７】
指定領域ｓｃにおけるある特定の点ｄｚ１（ｆｚ１、Ｐｚ１）については、指定領域ｓｃから移行領域ｓｐに移動させると、点ｄｚ３（ｆｚ１／ｍ、Ｐｚ１）に対応関係が変化する。そのため、スペクトル変化部１７２は、出力レベルを変化させずに、周波数値「ｆｚ１」を「ｆｚ１／ｍ」に変化させる。この例においては、指定領域ｓｃに含まれる音の周波数値を全て「１／ｍ」で乗算するだけであるから、指定領域ｓｃに含まれる音の周波数値は全体的に小さくなるものの、倍音関係は変化しない。そのため、指定領域ｓｃに含まれる音の音高が変化するが、音色はあまり変化しないことになる。
【００４８】
以上の説明においては、対応関係を変化させる際、音像位置を変化させる場合と周波数値を変化させる場合とについて、それぞれ説明したが、指定領域と移行領域との位置関係によっては、音像位置および周波数値の双方を変化させてもよい。
スペクトル変化部１７２は、各フレームに対応して、上述のように、指定領域に含まれる音の周波数値と音像位置との対応関係を、移行領域との関係に応じて変化させた各チャンネルの周波数スペクトルを、第２変換部１８０に出力する。
【００４９】
なお、音像位置のみを変化させる場合には、スペクトル変化部１７２は、指定領域ｓｃに含まれる音を抽出するのではなく、指定領域ｓｃに含まれる音に対して上述した処理を施し、指定領域ｓｃに含まれる音以外については、周波数値および出力レベルが変化せずに周波数スペクトルに残存することになる。スペクトル変化部１７２がこのような構成である場合には、レベル変化部１７１における処理を行わなくてもよい。
【００５０】
第２変換部１８０は、レベル変化部１７１から出力される各チャンネルの周波数スペクトルに対してＩＦＦＴ（Inverse Fast Fourier Transform）処理を施して、各チャンネルのオーディオ信号に変換する。また、第２変換部１８０は、スペクトル変化部１７２から出力される各チャンネルの周波数スペクトルについても、同様にＩＦＦＴ処理を施して、各チャンネルのオーディオ信号に変換する。第２変換部１８０は、それぞれ変換したオーディオ信号を出力部１９０に出力する。なお、スペクトル変化部１７２から出力される周波数スペクトルは、スペクトル変化部１７２における処理において、処理前と周波数値の間隔が変わることになる。したがって、第２変換部１８０は、レベル変化部１７１から出力される周波数スペクトルに施すＩＦＦＴ処理と、スペクトル変換部１７２から出力される周波数スペクトルに施すＩＦＦＴ処理とは異なるものとしてもよい。また、スペクトル変換部１７２における処理前後で周波数値の間隔が一致するように、スペクトル変換部１７２は、周波数値の間隔が広くなっている場合には補間処理、狭くなっている場合には間引き処理などを行ってもよい。
出力部１９０は、第２変換部１８０から出力されたオーディオ信号を、チャンネル毎に予め決められた音量比でミキシングをするなどして合成し、インターフェイス１６に出力し、インターフェイス１６に接続されるスピーカなどの放音装置から放音させる。なお、合成は、複数のオーディオ信号を単に加算してもよいし、相加平均をとってもよい。
【００５１】
このように、信号処理部１００は、取得した複数チャンネルのオーディオ信号を周波数スペクトルに変換し、各周波数に対応した音像位置を算出して、周波数および音像位置の座標軸をもつ座標系を用いて表示画面１３１に表示する。利用者によって指定された座標系における一部領域が指定領域として設定され、移行領域、出力レベルの調整量が設定されることにより、信号処理部１００は、周波数スペクトルのうち指定領域に含まれる音の音像位置、音高などを調整し、オーディオ信号に変換して出力する。
これにより、利用者は、表示画面１３１に表示された音像算出結果を見ながら、直感的に一部領域を指定することができ、この領域を指定領域として領域設定部１５０に設定させ、指定領域に含まれる音の音像位置を変化させたり、音高を変化させたりすることができる。
【００５２】
例えば、オーディオ信号が示す音が複数の楽器を用いた演奏をステレオで録音したものであり、ギターの音像が右側に定位していたとする。そして、このギターの音を指定領域に含まれる音として設定し、左側に移行領域を設定したものとする。このとき、指定領域における調整量を１００％と設定しておけば、ギターの音像を右側と左側とに定位させることができる。一方、指定領域における調整量を０％と設定しておけば、右側に定位したギターの音像を左側に移動させることができる。また、移行領域に含まれる音に、他の楽器の音があった場合に、移行領域における調整量を１００％と設定しておけば、ギターと他の楽器との双方の音像を右側に定位させ、移行領域における調整量を０％と設定しておけば、他の楽器に変えてギターの音像を定位させることができる。
【００５３】
＜第２実施形態＞
第２実施形態においては、予めテンプレートとして記憶部１４Ａに記憶されている周波数スペクトルを、指定領域に応じて変化させて、オーディオ信号に合成する処理を行う信号処理部１００Ａの構成について、図７を用いて説明する。
【００５４】
図７は、本発明の第２実施形態における信号処理機能の構成を説明する機能ブロック図である。第２実施形態における信号処理機能を実現する信号処理部１００Ａは、取得部１１０、第１変換部１２０、音像位置算出部１３０、表示制御部１４０、領域設定部１５０、変化設定部１６０Ａ、レベル変化部１７１Ａ、スペクトル変化部１７２Ａ、第２変換部１８０、および出力部１９０を有する。変化設定部１６０Ａ、レベル変化部１７１Ａおよびスペクトル変化部１７２Ａ以外の構成については、第１実施形態における信号処理部１００と同様であるため、説明を省略する。
【００５５】
変化設定部１６０Ａは、第１実施形態における変化設定部１６０において行われた設定のうち、移行領域および移行領域における出力レベルの調整量の設定を行わず、指定領域における出力レベルの調整量の設定を行う。また、変化設定部１６０Ａは、記憶部１４Ａに記憶されているテンプレートが複数である場合には、合成すべきテンプレートを指定する設定を、利用者の操作（ウインドウｗ２の操作ボタンの操作など）に応じて行う。
【００５６】
ここで、記憶部１４Ａに記憶されているテンプレートについて説明する。このテンプレートは、各チャンネルについて、予め決められた周波数範囲の周波数スペクトルを規定するものである。また、この周波数スペクトルは、一定時間に対応する複数フレーム分が規定されている。
レベル変化部１７１Ａは、第１実施形態におけるレベル変化部１７１において行なわれた移行領域における出力レベルの調整を行わず、指定領域における出力レベルの調整を行う。
【００５７】
スペクトル変化部１７２Ａは、変化設定部１６０において設定されたテンプレートを記憶部１４Ａから読み出し、読み出したテンプレート（周波数スペクトル）を指定領域が示す指定周波数範囲および指定音像範囲に応じて変化させ、第２変換部１８０に出力する。この例においては、スペクトル変化部１７２Ａは、テンプレートの周波数スペクトルのうち、指定領域に含まれる音を抽出して出力する。なお、テンプレートの周波数スペクトルを変化させる態様は他のものであってもよい。例えば、テンプレートの周波数スペクトルの周波数下限（または上限）と、指定周波数範囲との下限（または上限）が一致するように、テンプレートの周波数スペクトルを変化させてもよい。この変化において、上述したように倍音関係が維持されるようにしてもよいし、維持されないようにしてもよい。また、テンプレートの周波数スペクトルから得られる音像位置が、指定音像範囲に含まれるように、各チャンネルの出力レベル比を調整してもよい。
【００５８】
図８は、本発明の第２実施形態における指定領域ｓｔが表示された表示画面１３１の表示例を説明する図である。表示制御部１４０は、図８に示すように、テンプレートの周波数スペクトルを指定領域ｓｔに応じて変化させた結果から算出される周波数値と音像位置との対応関係を、設定された指定領域ｓｔに対応してウインドウｗ１に表示させるようにしてもよい。
このように、第２実施形態における信号処理部１００Ａから出力されるオーディオ信号は、取得部１１０において取得されたオーディオ信号に、指定領域ｓｔにテンプレートの周波数スペクトルに基づく音を合成した音を示すものとなる。このとき、レベル変化部１７１Ａにおいて、指定領域ｓｔにおける出力レベルを０％に調整することにより、指定領域ｓｔに含まれる音を、テンプレートの周波数スペクトルに基づく音に置き換えることもできる。
【００５９】
＜第３実施形態＞
第３実施形態においては、予めテンプレートとして記憶部１４Ｂに記憶されている音響処理情報に応じて指定領域に含まれる音に音響効果を付与する処理を行う信号処理部１００Ｂの構成について、図９を用いて説明する。
【００６０】
図９は、本発明の第３実施形態における信号処理機能の構成を説明する機能ブロック図である。第３実施形態における信号処理機能を実現する信号処理部１００Ｂは、取得部１１０、第１変換部１２０、音像位置算出部１３０、表示制御部１４０、領域設定部１５０、変化設定部１６０Ｂ、レベル変化部１７１Ｂ、音響効果付与部１７２Ｂ、第２変換部１８０、および出力部１９０を有する。変化設定部１６０Ｂ、レベル変化部１７１Ｂおよび音響効果付与部１７２Ｂ以外の構成については、第１実施形態における信号処理部１００と同様であるため、説明を省略する。また、レベル変化部１７１Ｂは、第２実施形態におけるレベル変化部１７１Ａと同様であるため、説明を省略する。
【００６１】
変化設定部１６０Ｂは、第１実施形態における変化設定部１６０において行われた設定のうち、移行領域および移行領域における出力レベルの調整量の設定を行わず、指定領域における出力レベルの調整量の設定を行う。また、変化設定部１６０Ｂは、記憶部１４Ｂに記憶されている音響処理情報が複数である場合には、付与すべき音響効果に対応する音響処理情報を指定する設定を、利用者の操作（ウインドウｗ２の操作ボタンの操作など）に応じて行う。このとき、音響効果を付与する程度についても設定できるようにしてもよい。
【００６２】
ここで、記憶部１４Ｂに記憶されている音響処理情報について説明する。この音響処理情報は、ディレイ、リバーブ、コンプレッサなど音響効果を付与するために必要なパラメータなどが規定されている。
音響効果付与部１７２Ｂは、変化設定部１６０Ｂにおいて設定された音響効果に対応する音響処理情報を記憶部１４Ｂから読み出し、読み出した音響処理情報にしたがって、指定領域に含まれる音について、ＩＩＲ（Infinite impulse response）フィルタなどを用いて音響効果を付与する処理を施して、第２変換部１８０に出力する。なお、音響効果付与部１７２Ａは、指定領域に含まれる音の周波数スペクトルにＩＦＦＴ処理を施してオーディオ信号に変換してから、音響効果を付与する処理を施してもよい。この場合には、第２変換部１８０における変換処理は不要である。
このように、第３実施形態における信号処理部１００Ｂから出力されるオーディオ信号は、取得部１１０において取得されたオーディオ信号のうち、指定領域に含まれる音に対して音響効果を付与した音を示すものとなる。
【００６３】
＜変形例＞
以上、本発明の実施形態について説明したが、本発明は以下のように、さまざまな態様で実施可能である。
[変形例１]
上述した第１、第２、第３実施形態において、変化設定部１６０によって設定される調整量は、指定領域のどの位置においても同じ量として設定されていたが、指定領域内における位置に応じて異なる量となるように設定されてもよい。例えば、図１０に示すように調整量が設定されればよい。
【００６４】
図１０は、本発明の変形例１における指定領域に設定される調整量を説明する図である。図１０（ａ）は、実施形態において設定される調整量を示す図である。図１０（ｂ）は、変形例１において設定される調整量の一例を示す図である。
上述した実施形態においては、例えば、図１０（ａ）に示すように、指定領域ｓｃの音像位置の座標軸方向（ａ−ａ方向）および周波数の座標軸方向（ｂ−ｂ方向）について、どの位置においても同じ調整量Ｌ０として設定されている。一方、変形例１においては、例えば、図１０（ｂ）に示すように、指定領域ｓ１の音像位置の座標軸方向（ａ−ａ方向）および周波数の座標軸方向（ｂ−ｂ方向）について、位置に応じて調整量が変化するように設定される。この例においては、指定領域ｓｃのうち中央部が周辺部に比べて調整量が小さくなるように設定された状態（凹型形状）を示している。
【００６５】
この場合には、レベル変化部１７１は、指定領域ｓｃに含まれる音の周波数値および音像位置に対応した調整量を、指定領域ｓ１に対応して抽出した周波数値に対応させて特定すればよい。そして、レベル変化部１７１は、指定領域ｓｃに含まれる音の各周波数値に対応する出力レベルを変化させるときには、それぞれの周波数値に対応して特定した調整量に応じて変化させればよい。このようにすれば、信号処理部１００は、指定領域に含まれる音について、その指定領域内における位置に応じて異なる調整量で音量を調整して出力することもできる。例えば、図１０（ｂ）に示すように調整量が設定されている場合には、信号処理部１００は、指定領域ｓｃのうち周辺部に対応する音ほど大きな音量で出力することができる。なお、変化設定部１６０によって設定される調整量が、指定領域内における位置に応じて異なる量となるように設定されればよいから、図１０（ｃ）に示すように、指定領域のうち中央部が周辺部に比べて調整量が大きくなるように設定された状態（凸型形状）であってもよく、様々な態様での設定が可能である。
以上、指定領域における調整量として説明したが、移行領域についても同様である。
【００６６】
[変形例２]
上述した第１実施形態において、表示制御部１４０は、ウインドウｗ１における移行領域ｓｐに、スペクトル変化部１７２において変化した後の周波数スペクトルに基づく周波数値と音像位置との対応関係を表示させてもよい。
【００６７】
図１１は、本発明の変形例２における指定領域ｓｃと移行領域ｓｐとが表示された表示画面１３１の表示例を説明する図である。表示制御部１４０は、図１１に示すように、移行領域ｓｐに、指定領域ｓｃに含まれる各点を表示させる。このとき、表示制御部１４０は、点の表示態様（色彩、濃さ、大きさ、形状など）を変化させて表示してもよい。また、表示制御部１４０は、移行領域ｓｐの部分に既に表示していた各点については表示させないようにしてもよいし、表示させたままであってもよい。この各点の表示は、移行領域ｓｐにおける調整量の設定に応じて変化させてもよい。
【００６８】
なお、第２、第３実施形態に適用する場合には、移行領域は存在しないから、表示制御部１４０は、指定領域に同様の表示をさせればよい。
【００６９】
[変形例３]
上述した第１実施形態においては、指定領域ｓｃと移行領域ｓｐとは、形状が一致していたが、一致していなくてもよい。一致していない場合には、指定領域ｓｃの設定のために行う利用者の操作と同様な操作により、移行領域ｓｐを設定する。また、スペクトル変化部１７２は、周波数値、音像位置を変化させるときに、形状の違いに応じて補正処理を行えばよい。
【００７０】
図１２は、本発明の変形例３における指定領域ｓｃと移行領域ｓｐとが表示された表示画面１３１の表示例を説明する図である。図１２に示す場合においては、移行領域ｓｐは、指定領域ｓｃと比べて、周波数値の範囲が広く（縦方向の長さが長く）、音像位置の範囲が狭く（横方向の長さが短く）なっている。
【００７１】
スペクトル変化部１７２は、指定領域ｓｃと移行領域ｓｐとで周波数値の範囲が異なる場合には、指定領域ｓｃにおける周波数値の下限ｆｃＬを、移行領域ｓｐにおける周波数値の下限ｆｐＬに変化させるように処理をすればよい。すなわち、スペクトル変化部１７２は、指定領域ｓｃにおける各周波数値を、「ｆｐＬ／ｆｃＬ」で乗算するようにすればよい。なお、周波数値の下限と上限との関係を入れ替えてもよい。また、スペクトルを変化させる基準となる値を周波数値の上限または下限とする場合に限らず、指定領域ｓｃにおけるいずれかの周波数値を基準となる値としてもよい。
【００７２】
また、スペクトル変化部１７２は、スペクトルを変化させた後の周波数値の上限が、移行領域ｓｐの周波数値の上限よりも高い場合には、移行領域ｓｐの周波数値の上限を超えた部分については除去すればよい。図１２に示す例の場合には、移行領域ｓｐの周波数値の上限を超える部分は存在しないため、除去する必要はない。
【００７３】
周波数値の変化については、この変化の態様に限られず、指定領域ｓｃと移行領域ｓｐとの関係に基づいて変化させるのであれば、他の態様であってもよい。例えば、指定領域ｓｃの周波数値の上限が移行領域ｓｐの周波数値の上限となり、指定領域ｓｃの周波数値の下限が移行領域ｓｐの周波数値の下限となるように、周波数値に乗算すべき係数を、その周波数値に応じて変化させてもよい。
【００７４】
指定領域ｓｃと移行領域ｓｐとで周波数値の範囲が異なる場合について説明したが、音像位置の範囲が異なる場合についても同様に、音像位置の上限、下限、または指定領域ｓｃにおけるいずれかの音像位置を基準として、出力レベルの比が変化するようにすればよい。
このように、スペクトル変化部１７２は、指定領域ｓｃと移行領域ｓｐとの関係に応じて、各チャンネルの周波数スペクトルを変化させるのであれば、どのような態様で変化させてもよい。
なお、移行領域ｓｐの指定にあっては、指定領域ｓｃの相似形になるように移行領域ｓｐの形状が制限されてもよい。また、移行領域ｓｐの指定にあっては、指定領域ｓｃにおいて基準となる周波数値と音像位置に対応する位置が指定され、その後、移行領域ｓｐにおいて基準となる位置が指定されることにより、移行領域ｓｐの形状が変化しても、その基準となる位置は固定されるようにしてもよい。
【００７５】
[変形例４]
上述した第１実施形態においては、スペクトル変化部１７２は、指定領域に含まれる音を移行領域に含まれる音になるように、各チャンネルの周波数スペクトルを変化させていたが、移行領域に含まれる音を指定領域に含まれる音になるように周波数スペクトルを変化させたものをさらに第２変換部１８０に出力するようにしてもよい。この場合には、第２変換部１８０は、スペクトル変化部１７２から各チャンネルの周波数スペクトルの組を複数取得することになるから、それぞれをオーディオ信号に変換し、チャンネル毎に合成すればよい。
なお、変化設定部１６０において、指定領域および移行領域ともに調整量を０％に設定すれば、指定領域に含まれる音と移行領域に含まれる音とについて、音像位置と音高とを入れ替えたオーディオ信号を、信号処理部１００から出力することもできる。
【００７６】
[変形例５]
上述した第１実施形態において、スペクトル変化部１７２は、周波数スペクトルを変化させるときには、周波数値および音像位置の下限は、変化後も周波数値および音像位置の下限になるように、変化させていたが、上限と下限との関係が入れ替わるように変化させてもよい。
【００７７】
[変形例６]
上述した第１、第２、第３実施形態においては、レベル変化部１７１において、出力レベルの調整を行っていたが、さらに、周波数スペクトルの位相を、予め決められた態様で変化させてもよい。変化の態様としては、位相をランダムに変化させるものであってもよい。
【００７８】
[変形例７]
上述した第１、第２、第３実施形態においては、表示制御部１４０は、表示画面１３１のウインドウｗ１に表示される音像算出結果を、各周波数値に対応する音像位置を点状に表示するようにしていたが、その他の表示態様で表示するようにしてもよい。変形例７における表示態様の例について図１３を用いて説明する。
【００７９】
図１３は、本発明の変形例７における表示画面１３１の表示例を説明する図である。図１３（ａ）は、ウインドウｗ１の一部分を拡大して示した図である。図１３（ａ）に示すように、表示制御部１４０は、メッシュ状に区切った領域（以下、区切られた各領域をメッシュ領域ｍ１という）をウインドウｗ１に表示させ、各メッシュ領域ｍ１に含まれる音像算出結果に応じてメッシュ領域の色の濃さを変化させる。例えば、表示制御部１４０は、メッシュ領域ｍ１が構成する範囲の音像位置に対応する周波数値のうち、メッシュ領域ｍ１が構成する範囲の周波数に含まれる周波数値の個数、すなわち、メッシュ領域ｍ１に含まれる音の数に応じてメッシュ領域ｍ１の色の濃さを変化させればよい。また、表示制御部１４０は、メッシュ領域ｍ１に含まれる音の出力レベルに応じてメッシュ領域ｍ１の色の濃さを変化させてもよい。
【００８０】
また、別の例として、図１３（ｂ）に示すように、メッシュ領域に対応して予め決められた図形（この例においては、メッシュ領域の重心を中心とする円）を表示するようにしてもよい。この場合には、メッシュ領域に含まれる音の数に応じて円の直径を変化させればよい。
このようにしてメッシュ領域に区切って表示する場合には、領域設定部１５０は、１つのメッシュ領域を最小単位として指定領域を設定するようにしてもよい。
【００８１】
このようにすると、信号処理部１００と表示部１３とが別装置であるなど、装置間で表示させるための情報を送受信する場合において、送受信する情報量を低減することができる。また、表示制御部１４０は、画素数が少ない表示画面に音像算出結果を表示させることもできる。
なお、上述したメッシュ領域の表示態様は、フレーム毎の音像算出結果に応じて変化させるものとするが、時間的に連続する複数フレーム分の音像算出結果に応じて変化させるようにしてもよい。
【００８２】
[変形例８]
上述した第１、第２、第３実施形態において、領域設定部１５０に指定領域を設定させるために利用者が行う領域の指定は、周波数の軸方向と音像位置の軸方向とを別々に行えるようにしてもよい。このようにした場合には、指定する軸方向に応じて表示画面１３１のウインドウｗ１における表示態様を変更してもよい。周波数の軸方向、すなわち周波数値の範囲を予め指定して固定し、音像位置の範囲の指定を行うときの表示画面１３１の表示例について、図１４を用いて説明する。
【００８３】
図１４は、本発明の変形例８における指定領域ｓｃと移行領域ｓｐとを周波数範囲を固定して指定するときの表示画面１３１の表示例を説明する図である。図１４（ａ）は、現在設定されている指定領域ｓｃを示す図である。この状態において、利用者は、ウインドウｗ２の操作ボタンを操作するなどして、周波数の軸方向を固定して音像位置の軸方向のみの指定が可能な構成にする指示を行うと、表示制御部１４０によってウインドウｗ１の表示態様が変更される。この例においては、ウインドウｗ１には、図１４（ｂ）に示すように、周波数の軸方向は、指定領域ｓｃの指定周波数範囲のみが表示される態様に変更される。
【００８４】
このように表示されることにより、また、領域設定部１５０によって設定される指定領域のうち、指定周波数範囲から周波数の軸方向の変更ができないように制限されることにより、利用者は、音像位置の軸方向のみに注目して指定領域ｓｃの指定音像範囲を指定することができる。また、移行領域ｓｐについて、指定領域ｓｃと同じ周波数範囲となるように設定することが容易となる。
なお、予め指定周波数範囲が決められた指定領域を決定するためのテンプレートを複数種類、記憶部１４に記憶させるなどして設けておき、利用者はテンプレートのいずれかを選択して、表示制御部１４０による表示、および領域設定部１５０による設定の制限によって、指定領域を指定するときの指定周波数範囲を固定させるようにしてもよい。例えば、楽器の演奏音に応じた周波数範囲に対応した指定周波数範囲が決められたテンプレートを楽器の種類毎に設けておけば、利用者は楽器の種類を選択することにより、選択した楽器の音域に対応する指定周波数範囲を決定することができる。
また、図１４（ｂ）に示す表示態様においては、指定周波数範囲の音像算出結果に制限するものであったが、さらに異なる表示態様としてもよい。
【００８５】
図１５は、本発明の変形例８における指定領域ｓｃと移行領域ｓｐとを周波数範囲を固定して指定するときの表示画面１３１の別の表示例を説明する図である。図１５（ａ）に示す例は、図１４（ｂ）に示すウインドウｗ１に表示されている音像算出結果について、音像位置を一定範囲毎に分割し、各範囲の音像位置を示す音像算出結果については、周波数値にかかわらずまとめてヒストグラムとして表示された例である。このヒストグラムは、横軸は各範囲の音像位置を示し、縦軸は各範囲の音像位置に対応する周波数値の個数を示す。なお、縦軸は、各範囲の音像位置に対応する音の出力レベルの総和を示すものであってもよい。このように、指定周波数範囲が予め決定される場合には、利用者は周波数の座標軸を認識する必要がなくなるため、ヒストグラムの度数に相当する軸に変更してもよい。
【００８６】
また、図１５（ｂ）に示すように、バーコード状に表示されてもよい。図１５（ｂ）に示す表示態様は、図１５（ａ）に示す度数に相当する値を線の太さとして表したものである。このように、表示制御部１４０は、指定周波数範囲が固定された場合には、周波数の座標軸を用いない表示に変化させるようにしてもよい。
なお、上記例においては、指定周波数範囲を固定した場合について説明したが、指定音像範囲を固定した場合においても適用できる。例えば、図１４（ｂ）に示す表示態様に対応させた場合には、指定音像範囲に含まれる音像算出結果だけが表示される態様とすればよい。
【００８７】
[変形例９]
上述した第１、第２、第３実施形態において、表示画面１３１に表示されるウインドウｗ１は、１つのみであったが、複数のウインドウｗ１を切り替えて表示できるようにしてもよい。第１実施形態に適用した場合について、表示画面１３１の表示例について、図１６を用いて説明する。
【００８８】
図１６は、本発明の変形例９における表示画面１３１の表示例を説明する図である。図１６（ａ）に示すように、ウインドウｗ１の上部に、複数のウインドウｗ１のいずれを表示させるかを選択するためのタブｗｔ１、ｗｔ２、・・・が設けられている。この例においては、タブｗｔ１が選択されているときには、上述した実施形態と同様である。タブｗｔ２を選択すると、タブｗｔ２に対応したウインドウｗ１が表示される。
【００８９】
各タブに対応したウインドウｗ１は、上述した実施形態などの構成をタブごとに並列に信号処理する内容を表示するものであってもよいし、直列に信号処理する内容を表示するものであってもよい。また、選択されたタブに対応するウインドウｗ１の表示内容に従った信号処理が実行され、選択されていないタブに対応するウインドウｗ１の表示内容に従った信号処理は実行されないようにしてもよい。この場合、利用者は、選択するタブを切り替えて音の内容を確認することで、各タブにおけるウインドウｗ１の表示内容においてどのような音響効果が得られるかを切り替えて、容易に効果の比較をすることができる。並列に処理する場合には、信号処理部１００は、並列に処理された結果得られるオーディオ信号がミキシングされて出力されるように構成を有するようにすればよい。このとき、利用者の指示に応じてミックス比を制御できるようにしてもよい。なお、並列に処理されるオーディオ信号は、同じ楽曲のオーディオ信号が用いられていてもよいし、別の楽曲のオーディオ信号が用いられていてもよい。
【００９０】
一方、直列に処理とは、以下の処理をいう。まず、取得部１１０において取得されたオーディオ信号に対して、タブｗｔ１に対応するウインドウｗ１の表示内容に応じてレベル変化部１７１およびスペクトル変化部１７２において信号処理が施される。信号処理が施された結果に対して、タブｗｔ２に対応するウインドウｗ１の表示内容に応じて信号処理を施す。このように、直列に処理とは、一つのタブのウインドウｗ１における表示内容に基づいて処理された結果を、別のタブのウインドウｗ１における表示内容に基づいてさらに処理することをいう。
【００９１】
このように直列に処理する場合には、タブｗｔ２のウインドウｗ１の表示態様を図１６（ｂ）に示すようにしてもよい。この例においては、図１６（ａ）に示すように指定領域ｓｃ１、移行領域ｓｐ１が設定されたものとする。この場合、図１６（ｂ）に示すように、タブｗｔ２に対応するウインドウｗ１には、指定領域ｓｃ１および移行領域ｓｐ１に対応する音像算出結果の表示態様を変化させた状態（この例においては、表示を消す）での表示がなされる。そして、この内容を基準として、さらに利用者による指定領域ｓｃ２、移行領域ｓｐ２を設定するための指定が行われる。
【００９２】
なお、上記の並列に処理および直列に処理については並存してもよい。例えば、タブｗｔ１、ｗｔ２は直列に処理される関係であり、タブｗｔ３は、タブｗｔ１、ｗｔ２と並列に処理される関係であってもよい。また、各タブに対応するウインドウｗ１は、表示画面１３１に並べて同時に表示されるようにしてもよい。
【００９３】
[変形例１０]
上述した第１、第２、第３実施形態において、表示制御部１４０は、ウインドウｗ１に表示する指定領域および移行領域に、その指定領域および移行領域に対して設定された調整量を表示するとよい。また、その指定領域および移行領域の周波数値の範囲、音像位置の範囲を示す情報が表示されるようにしてもよい。
このとき、利用者の操作によりタッチセンサ１２１への接触されている位置（以下、この変形例において、接触位置という）に応じて、設定調整量の表示位置を変化させてもよい。具体的には、表示制御部１４０は、接触位置から一定距離はなれた位置に、調整量を表示する。このようにすると、利用者が操作中において指で調整量が見えなくなってしまうことを防ぐことができる。
【００９４】
[変形例１１]
上述した実施形態において、指定領域の形状は矩形であったが、矩形以外の形状であってもよい。指定領域の形状については、ウインドウｗ２に表示される操作ボタンを用いて利用者が決定すればよい。また、利用者が指定領域として設定したい領域をなぞるように操作することで様々な形状の領域を指定するようにしてもよい。
【００９５】
図１７は、本発明の変形例１１において設定される指定領域ｓｃおよび移行領域ｓｐを説明する図である。図１７に示す指定領域ｓｃの形状は、利用者がタッチセンサ１２１をなぞることにより領域が指定された場合の形状の一例である。指定領域が矩形以外の形状の場合には、指定周波数範囲および指定音像範囲が実施形態のように決めることはできないが、レベル変化部１７１およびスペクトル変化部１７２において、指定領域ｓｃの形状を特定する座標情報を取得して周波数値ごとの指定音像範囲を特定することで、抽出すべき周波数値を決定することができる。
なお、領域設定部１５０は、利用者によって指定された領域の内側を指定領域として設定していたが、外側を指定領域として設定してもよい。
以上、指定領域ｓｃについて説明したが、移行領域ｓｐについても同様である。
【００９６】
[変形例１２]
上述した実施形態において、表示制御部１４０は、指定領域の範囲内を、その指定領域に対して設定された調整量に応じた態様で表示するようにしてもよい。表示制御部１４０は、指定領域の範囲内を、例えば、その指定領域に設定された調整量が、色の違い、濃さ、透過量、模様の変化などにより表されるように表示すればよい。また、表示制御部１４０は、指定領域内に表示されている音像算出結果について、その指定領域に対して設定された調整量に応じて各点の表示態様を変化させてもよい。
以上、指定領域について説明したが、移行領域についても同様である。
【００９７】
[変形例１３]
上述した実施形態において、第１変換部１２０は、周波数に依存する特徴量として、周波数値毎の出力レベルを抽出し、音像位置算出部１３０は、各チャンネル間の出力レベルの関係を示す関係値を算出していた。特徴量および関係値は、他の内容であってもよい。例えば、特徴量は周波数値毎の位相とし、関係値は各チャンネル間の位相差とすればよい。この場合には、表示制御部１４０は、ウインドウｗ１への表示に用いる座標系を、音像位置の座標軸に代えて位相差の座標軸を用いたものとして、表示内容を制御すればよい。
【００９８】
[変形例１４]
上述した実施形態においては、取得部１１０は、ステレオ２ｃｈのオーディオ信号を取得していたが、５．１ｃｈなど、より多くのチャンネルのオーディオ信号を取得してもよい。この場合には、音像位置算出部１３０は、各周波数値に対応して、全てのチャンネルにおける出力レベルに基づいて、各チャンネル間の出力レベルの関係に応じた関係値を算出するための算出式を記憶しておく。この算出式は、例えば、特定の規格（ITU-R BS.775-1など）にしたがって配置されたスピーカから出力された場合の聴取位置からみた方向（例えば、特定の方向を基準とした水平面内の角度）で表される音像位置（関係値）を、各チャンネルの出力レベルの違いから算出するための式とすればよい。
【００９９】
そして、音像位置算出部１３０は、この算出式を用いて各周波数値に対応した関係値を算出し、算出結果を示す情報を出力すればよい。この場合には、表示制御部１４０は、ウインドウｗ１への表示に用いる座標系を、音像位置の座標軸に代えて上記の関係値の座標軸を用いたものとして、表示内容を制御すればよい。
なお、取得部１１０は、２ｃｈより多いチャンネルのオーディオ信号を取得した場合には、２ｃｈにミックスダウンして出力するようにしてもよいし、特定の２ｃｈを抽出して出力するようにしてもよい。
【０１００】
[変形例１５]
上述した実施形態においては、領域設定部１５０は、利用者のタッチセンサ１２１への操作によって指定された領域を、指定領域として設定していたが、別の態様により指定領域を設定してもよい。例えば、指定領域の範囲を規定する指定領域特定情報を予め記憶しておき、領域設定部１５０は、利用者からの指示などにより指定領域特定情報を取得して、指定領域を設定すればよい。
【０１０１】
なお、この指定領域特定情報は、さらに、時刻の進行に伴い指定領域の範囲が変化するように規定されていてもよい。指定領域の範囲の変化とは、指定領域の形状の変化、指定領域の位置の変化（移動）などである。この場合には、領域設定部１５０は、時刻の進行に伴って変化する範囲を指定領域として設定すればよい。この変化の内容は、オーディオ信号の内容を解析して決定されるものであってもよい。例えば、オーディオ信号が楽曲であれば、楽曲のテンポをオーディオ信号の音量の時系列変化などから検出して、テンポに応じて移動態様または指定領域の形状が変化するように指定領域特定情報が規定されていてもよい。また、指定領域特定情報は、音像算出結果に応じて変化するように規定されていてもよい。例えば、指定領域特定情報は、音像位置が中心以外で一定密度以上の音像算出結果を示す点が集まっている範囲を指定領域として設定するように規定されていればよい。
すなわち、指定領域特定情報は、予め決められたアルゴリズムにしたがって規定されるものであればよく、発生させた乱数などを用いてランダムに指定領域の範囲を変化させるアルゴリズムであってもよい。
【０１０２】
また、別の態様としては、領域設定部１５０は、姿勢検出部１５から出力される運動信号に応じて、指定領域を設定してもよい。領域設定部１５０は、例えば、すでに利用者の操作などにより設定されている指定領域がある場合に、利用者が端末１を傾けたり振ったりすることで、指定領域が移動するようにしてもよい。例えば、表示画面１３１の右側が地面に近づくように傾けられた場合には、領域設定部１５０は、設定する指定領域を右側に移動させていけばよい。
以上、指定領域について説明したが、移行領域についても同様である。
【０１０３】
[変形例１６]
上述した第１実施形態においては、指定領域に含まれる音を移行領域に含まれる音になるように、各チャンネルの周波数スペクトルを変化させていた。このとき、音像算出結果である周波数値と音像位置との対応関係は、ウインドウｗ１に表示されている座標系において、指定領域から移行領域に平行移動させたものとなっていたが、平行移動に限られない。例えば、移行領域における周波数値の範囲および音像位置の範囲に含まれる状態であれば、平行移動とならないようなアルゴリズムにしたがって、周波数スペクトルが変化するようにしてもよい。このようなアルゴリズムとしては、移行領域における周波数値の範囲および音像位置の範囲において、周波数値または音像位置をランダムに変化させるものであってもよい。
【０１０４】
また、このような場合には、移行領域の設定が行われなくてもよい。この場合には、指定周波数範囲および指定音像範囲において、周波数値または音像位置が変化するようにしてもよいし、これらの範囲とは関係なく、周波数値または音像位置が変化するようにしてもよい。
【０１０５】
[変形例１７]
上述した実施形態においては、表示制御部１４０は、表示画面１３１のウインドウｗ１に、周波数の座標軸と音像位置の座標軸の２軸を有する座標系を用いて音像算出結果を表示していたが、さらに多くの軸を有する座標系を用いて表示してもよい。例えば、周波数値に対応する関係値が音像位置だけでなく、変形例１３に示すように位相差も含まれている場合には、周波数の座標軸、音像位置の座標軸、位相差の座標軸の３軸を有する座標系を用いればよい。
【０１０６】
３軸を有する座標系を用いて表示を行う場合には、表示制御部１４０は、ウインドウｗ１に、周波数の座標軸と音像位置の座標軸を有する座標系での表示、および周波数の座標軸と位相差の座標軸を有する座標系での表示など２つ表示により３軸を有する座標系での表示に代えてもよいし、擬似的に３軸の座標系を表現した画像を表示させるようにしてもよい。また、表示画面１３１が立体視ディスプレイなどである場合には、３軸の座標系を立体的に表現した画像を表示させてもよい。
【０１０７】
３軸の座標系を表現した場合において、指定領域として設定すべき領域を指定するときには、一旦２軸の座標系に置き換えて表示された状態で、利用者が領域を指定するようにしてもよい。
【０１０８】
[変形例１８]
上述した実施形態において、表示制御部１４０は、ウインドウｗ１の周波数の座標軸は対数表示としていたが、リニア表示であってもよい。リニア表示である場合には、第１実施形態に示すように、倍音比率を維持するように周波数値を変化させる場合には、指定領域ｓｃと移行領域ｓｐとの形状は異なるものとなる。一方、倍音比率を維持せず、周波数値を全体的に加算、減算することにより変化させてもよい。この場合、リニア表示である場合には、指定領域ｓｃと移行領域ｓｐとの形状は変化せず、実施形態に示すように対数表示である場合には、形状が変化することになる。周波数値を加算、減算により変化させる場合には、スペクトル変換部１７２における処理前後で周波数値の間隔が変化しない。したがって、第２変換部１８０においては、レベル変化部１７１から出力される周波数スペクトルに施すＩＦＦＴ処理と、スペクトル変換部１７２から出力される周波数スペクトルに施すＩＦＦＴ処理とは同じものとすることができる。
【０１０９】
[変形例１９]
上述した実施形態における制御プログラムは、磁気記録媒体（磁気テープ、磁気ディスクなど）、光記録媒体（光ディスクなど）、光磁気記録媒体、半導体メモリなどのコンピュータ読み取り可能な記録媒体に記憶した状態で提供し得る。また、端末１は、制御プログラムをネットワーク経由でダウンロードしてもよい。
【符号の説明】
【０１１０】
１…端末、１１…制御部、１２…操作部、１３…表示部、１４，１４Ａ，１４Ｂ…記憶部、１５…姿勢検出部、１６…インターフェイス、１７…通信部、１２１…タッチセンサ、１２２…操作ボタン、１３１…表示画面、１００，１００Ａ，１００Ｂ…信号処理部、１１０…取得部、１２０…第１変換部、１３０…音像位置算出部、１４０…表示制御部、１５０…領域設定部、１６０，１６０Ａ，１６０Ｂ…変化設定部、１７１，１７１Ａ，１７１Ｂ…レベル変化部、１７２，１７２Ａ…スペクトル変化部、１７２Ｂ…音響効果付与部、１８０…第２変換部、１９０…出力部
【特許請求の範囲】
【請求項１】
複数チャンネルのオーディオ信号を取得する取得手段と、
前記取得した各チャンネルのオーディオ信号を、少なくとも出力レベルを含む特徴量の周波数依存性を示す第１周波数スペクトルに変換する第１変換手段と、
前記第１周波数スペクトルに基づいて、各チャンネル間の前記特徴量の関係に応じた関係値を、各周波数値に対応して算出する算出手段と、
前記周波数値の座標軸と、前記関係値の座標軸とを有する座標系を用いて、前記算出手段による算出結果を表示画面に表示させる表示制御手段と、
前記座標系における一部領域を指定領域として設定する領域設定手段と、
前記指定領域に含まれる算出結果における周波数値と関係値との対応関係を、異なる対応関係に変化させるための変化態様を設定する変化態様設定手段と、
各チャンネルの前記第１周波数スペクトルを、前記変化態様に基づいて第２周波数スペクトルに変化させるスペクトル変化手段と、
前記第２周波数スペクトルを各チャンネルのオーディオ信号に変換する第２変換手段と、
前記第２変換手段によって変換されたオーディオ信号を出力する出力手段と
を具備することを特徴とする信号処理装置。
【請求項２】
前記指定領域に含まれる前記算出結果に対応する周波数値を抽出し、前記第１周波数スペクトルのうち前記抽出された周波数値に対応する出力レベルを、予め決められた調整量で変化させる第１レベル変化手段と
をさらに具備し、
前記第２変換手段は、さらに、前記第１レベル変化手段によって出力レベルを変化させた第１周波数スペクトルを、各チャンネルのオーディオ信号に変換し、
前記出力手段は、前記第２変換手段によって変換された複数のオーディオ信号をチャンネル毎に合成して出力する
ことを特徴とする請求項１に記載の信号処理装置。
【請求項３】
前記指定領域および前記変化態様に応じて決まる領域に含まれる前記算出結果に対応する周波数値を抽出し、前記第１周波数スペクトルのうち前記抽出された周波数値に対応する出力レベルを、予め決められた調整量で変化させる第２レベル変化手段と
をさらに具備し、
前記第２変換手段は、さらに、前記第２レベル変化手段によって出力レベルを変化させた第１周波数スペクトルを、各チャンネルのオーディオ信号に変換し、
前記出力手段は、前記第２変換手段によって変換された複数のオーディオ信号をチャンネル毎に合成して出力する
ことを特徴とする請求項１または請求項２に記載の信号処理装置。
【請求項４】
複数チャンネルのオーディオ信号を取得する取得手段と、
前記取得した各チャンネルのオーディオ信号を、少なくとも出力レベルを含む特徴量の周波数依存性を示す第１周波数スペクトルに変換する第１変換手段と、
前記第１周波数スペクトルに基づいて、各チャンネル間の前記特徴量の関係に応じた関係値を、各周波数値に対応して算出する算出手段と、
前記周波数値の座標軸と、前記関係値の座標軸とを有する座標系を用いて、前記算出手段による算出結果を表示画面に表示させる表示制御手段と、
前記座標系における一部領域を指定領域として設定する領域設定手段と、
予め決められた音を示す複数チャンネルの周波数スペクトルを示すテンプレートを記憶する記憶手段と、
前記記憶手段に記憶されたテンプレートを、前記指定領域が示す周波数値および関係値の範囲に基づいて第２周波数スペクトルに変化させるスペクトル変化手段と、
前記指定領域に含まれる前記算出結果に対応する周波数値を抽出し、前記第１周波数スペクトルのうち前記抽出された周波数値に対応する出力レベルを、予め決められた調整量で変化させるレベル変化手段と、
前記第２周波数スペクトル、および前記レベル変化手段によって出力レベルを変化させた第１周波数スペクトルを、それぞれ、各チャンネルのオーディオ信号に変換する第２変換手段と、
前記第２変換手段によって変換された複数のオーディオ信号をチャンネル毎に合成して出力する出力手段と
を具備することを特徴とする信号処理装置。
【請求項５】
複数チャンネルのオーディオ信号を取得する取得手段と、
前記取得した各チャンネルのオーディオ信号を、少なくとも出力レベルを含む特徴量の周波数依存性を示す第１周波数スペクトルに変換する第１変換手段と、
前記第１周波数スペクトルに基づいて、各チャンネル間の前記特徴量の関係に応じた関係値を、各周波数値に対応して算出する算出手段と、
前記周波数値の座標軸と、前記関係値の座標軸とを有する座標系を用いて、前記算出手段による算出結果を表示画面に表示させる表示制御手段と、
前記座標系における一部領域を指定領域として設定する領域設定手段と、
前記指定領域に対する音響効果を設定する音響効果設定手段と、
前記指定領域に含まれる前記算出結果に対応する周波数値を抽出し、前記第１周波数スペクトルのうち前記抽出された周波数値に対応する出力レベルにより示される音に対して前記音響効果を付与した各チャンネルのオーディオ信号を生成する音響効果付与手段と、
前記指定領域に含まれる前記算出結果に対応する周波数値を抽出し、前記第１周波数スペクトルのうち前記抽出された周波数値に対応する出力レベルを、予め決められた調整量で変化させるレベル変化手段と
前記レベル変化手段によって出力レベルを変化させた第１周波数スペクトルを、各チャンネルのオーディオ信号に変換する第２変換手段と、
前記音響効果付与手段によって生成されたオーディオ信号と、前記第２変換手段によって変換されたオーディオ信号とをチャンネル毎に合成して出力する出力手段と
を具備することを特徴とする信号処理装置。
【請求項１】
複数チャンネルのオーディオ信号を取得する取得手段と、
前記取得した各チャンネルのオーディオ信号を、少なくとも出力レベルを含む特徴量の周波数依存性を示す第１周波数スペクトルに変換する第１変換手段と、
前記第１周波数スペクトルに基づいて、各チャンネル間の前記特徴量の関係に応じた関係値を、各周波数値に対応して算出する算出手段と、
前記周波数値の座標軸と、前記関係値の座標軸とを有する座標系を用いて、前記算出手段による算出結果を表示画面に表示させる表示制御手段と、
前記座標系における一部領域を指定領域として設定する領域設定手段と、
前記指定領域に含まれる算出結果における周波数値と関係値との対応関係を、異なる対応関係に変化させるための変化態様を設定する変化態様設定手段と、
各チャンネルの前記第１周波数スペクトルを、前記変化態様に基づいて第２周波数スペクトルに変化させるスペクトル変化手段と、
前記第２周波数スペクトルを各チャンネルのオーディオ信号に変換する第２変換手段と、
前記第２変換手段によって変換されたオーディオ信号を出力する出力手段と
を具備することを特徴とする信号処理装置。
【請求項２】
前記指定領域に含まれる前記算出結果に対応する周波数値を抽出し、前記第１周波数スペクトルのうち前記抽出された周波数値に対応する出力レベルを、予め決められた調整量で変化させる第１レベル変化手段と
をさらに具備し、
前記第２変換手段は、さらに、前記第１レベル変化手段によって出力レベルを変化させた第１周波数スペクトルを、各チャンネルのオーディオ信号に変換し、
前記出力手段は、前記第２変換手段によって変換された複数のオーディオ信号をチャンネル毎に合成して出力する
ことを特徴とする請求項１に記載の信号処理装置。
【請求項３】
前記指定領域および前記変化態様に応じて決まる領域に含まれる前記算出結果に対応する周波数値を抽出し、前記第１周波数スペクトルのうち前記抽出された周波数値に対応する出力レベルを、予め決められた調整量で変化させる第２レベル変化手段と
をさらに具備し、
前記第２変換手段は、さらに、前記第２レベル変化手段によって出力レベルを変化させた第１周波数スペクトルを、各チャンネルのオーディオ信号に変換し、
前記出力手段は、前記第２変換手段によって変換された複数のオーディオ信号をチャンネル毎に合成して出力する
ことを特徴とする請求項１または請求項２に記載の信号処理装置。
【請求項４】
複数チャンネルのオーディオ信号を取得する取得手段と、
前記取得した各チャンネルのオーディオ信号を、少なくとも出力レベルを含む特徴量の周波数依存性を示す第１周波数スペクトルに変換する第１変換手段と、
前記第１周波数スペクトルに基づいて、各チャンネル間の前記特徴量の関係に応じた関係値を、各周波数値に対応して算出する算出手段と、
前記周波数値の座標軸と、前記関係値の座標軸とを有する座標系を用いて、前記算出手段による算出結果を表示画面に表示させる表示制御手段と、
前記座標系における一部領域を指定領域として設定する領域設定手段と、
予め決められた音を示す複数チャンネルの周波数スペクトルを示すテンプレートを記憶する記憶手段と、
前記記憶手段に記憶されたテンプレートを、前記指定領域が示す周波数値および関係値の範囲に基づいて第２周波数スペクトルに変化させるスペクトル変化手段と、
前記指定領域に含まれる前記算出結果に対応する周波数値を抽出し、前記第１周波数スペクトルのうち前記抽出された周波数値に対応する出力レベルを、予め決められた調整量で変化させるレベル変化手段と、
前記第２周波数スペクトル、および前記レベル変化手段によって出力レベルを変化させた第１周波数スペクトルを、それぞれ、各チャンネルのオーディオ信号に変換する第２変換手段と、
前記第２変換手段によって変換された複数のオーディオ信号をチャンネル毎に合成して出力する出力手段と
を具備することを特徴とする信号処理装置。
【請求項５】
複数チャンネルのオーディオ信号を取得する取得手段と、
前記取得した各チャンネルのオーディオ信号を、少なくとも出力レベルを含む特徴量の周波数依存性を示す第１周波数スペクトルに変換する第１変換手段と、
前記第１周波数スペクトルに基づいて、各チャンネル間の前記特徴量の関係に応じた関係値を、各周波数値に対応して算出する算出手段と、
前記周波数値の座標軸と、前記関係値の座標軸とを有する座標系を用いて、前記算出手段による算出結果を表示画面に表示させる表示制御手段と、
前記座標系における一部領域を指定領域として設定する領域設定手段と、
前記指定領域に対する音響効果を設定する音響効果設定手段と、
前記指定領域に含まれる前記算出結果に対応する周波数値を抽出し、前記第１周波数スペクトルのうち前記抽出された周波数値に対応する出力レベルにより示される音に対して前記音響効果を付与した各チャンネルのオーディオ信号を生成する音響効果付与手段と、
前記指定領域に含まれる前記算出結果に対応する周波数値を抽出し、前記第１周波数スペクトルのうち前記抽出された周波数値に対応する出力レベルを、予め決められた調整量で変化させるレベル変化手段と
前記レベル変化手段によって出力レベルを変化させた第１周波数スペクトルを、各チャンネルのオーディオ信号に変換する第２変換手段と、
前記音響効果付与手段によって生成されたオーディオ信号と、前記第２変換手段によって変換されたオーディオ信号とをチャンネル毎に合成して出力する出力手段と
を具備することを特徴とする信号処理装置。
【図１】
【図２】
【図３】
【図４】
【図５】
【図６】
【図７】
【図８】
【図９】
【図１０】
【図１１】
【図１２】
【図１３】
【図１４】
【図１５】
【図１６】
【図１７】
【図２】
【図３】
【図４】
【図５】
【図６】
【図７】
【図８】
【図９】
【図１０】
【図１１】
【図１２】
【図１３】
【図１４】
【図１５】
【図１６】
【図１７】
【公開番号】特開２０１２−１６３８６１（Ｐ２０１２−１６３８６１Ａ）
【公開日】平成２４年８月３０日（２０１２．８．３０）
【国際特許分類】
【出願番号】特願２０１１−２５４０１（Ｐ２０１１−２５４０１）
【出願日】平成２３年２月８日（２０１１．２．８）
【出願人】（０００００４０７５）ヤマハ株式会社 (5,930)
【Ｆターム（参考）】
【公開日】平成２４年８月３０日（２０１２．８．３０）
【国際特許分類】
【出願日】平成２３年２月８日（２０１１．２．８）
【出願人】（０００００４０７５）ヤマハ株式会社 (5,930)
【Ｆターム（参考）】
[ Back to top ]