ユーザーインターフェイス装置
【課題】２以上の特性値に依存する信号のうち、それらの特性値が特定の範囲にあるものについて、座標系における位置を指定する操作により、その信号の値を調整する。
【解決手段】調整量設定部１６０は、操作部１２のタッチセンサが出力する操作情報を受け取って、表示部１３の表示画面のウインドウへの接触があったか否かを判定する。そして、接触があったと判定した場合に、調整量設定部１６０は、接触された位置の変化を監視し、ウインドウに接触した指などが離脱するまでの軌跡を記憶する。そして、調整量設定部１６０は、この軌跡が、例えば、特定操作により特定された指定領域の外側への接触で開始され、その指定領域の境界を越えて移動し、その内側における離脱で終了している場合に、その指定領域に対する調整量を増加させる。
【解決手段】調整量設定部１６０は、操作部１２のタッチセンサが出力する操作情報を受け取って、表示部１３の表示画面のウインドウへの接触があったか否かを判定する。そして、接触があったと判定した場合に、調整量設定部１６０は、接触された位置の変化を監視し、ウインドウに接触した指などが離脱するまでの軌跡を記憶する。そして、調整量設定部１６０は、この軌跡が、例えば、特定操作により特定された指定領域の外側への接触で開始され、その指定領域の境界を越えて移動し、その内側における離脱で終了している場合に、その指定領域に対する調整量を増加させる。
【発明の詳細な説明】
【技術分野】
【０００１】
本発明は、信号処理装置におけるユーザーインターフェイスの技術に関する。
【背景技術】
【０００２】
ステレオのオーディオ信号において、音像位置を周波数帯域別に表示することができる技術が開発されている（例えば、特許文献１）。この技術によれば、ステレオのオーディオ信号が示す音について音像位置を詳細に知ることができる。
【先行技術文献】
【特許文献】
【０００３】
【特許文献１】特許３９１２３８６号公報
【発明の概要】
【発明が解決しようとする課題】
【０００４】
ところで、周波数帯域と音像位置とがそれぞれ特定の範囲にあるオーディオ信号の出力レベルを抽出して調整することができると便利である。また、オーディオ信号に限らず、２つ以上の特性値に依存する信号のうち、その各特性値がそれぞれ特定の範囲にあるものを対象として調整することができると便利である。発明者は、このような調整をするための信号処理装置を発明した。しかしながら、ユーザーが、調整の対象となる信号と、その信号の値の調整量とを直感的に分かりやすい操作で指定するユーザーインターフェイスはなかった。
【０００５】
本発明は、上述の事情に鑑みてなされたものであり、２以上の特性値に依存する信号のうち、それらの特性値が特定の範囲にあるものについて、座標系における位置を指定する操作により、その信号の値を調整することを目的とする。
【課題を解決するための手段】
【０００６】
上述した課題を解決するため、本発明に係るユーザーインターフェイス装置は、２以上の特性値に依存する信号の値を取得する取得手段と、前記２以上の特性値をそれぞれ表す座標軸を有する座標系が設定された検出領域を有し、当該検出領域に設定された前記座標系においてユーザーにより指定された位置を検出する検出手段と、前記検出手段により第１の位置が検出されると、前記座標系において当該第１の位置に応じた指定領域を特定する特定手段と、前記特定手段により前記指定領域が特定される場合に、前記検出手段により第２の位置を複数回検出し、検出された当該第２の位置の軌跡に応じて、当該指定領域に属する座標値に対応する前記信号の値の調整量を決定する決定手段と、前記指定領域に属する座標値に対応する前記信号の値を前記決定手段により決定された前記調整量で変更して、信号処理を行う信号処理手段に出力する変更手段とを具備することを特徴とする。
【０００７】
好ましくは、前記決定手段は、前記第２の位置の軌跡が、前記特定手段により特定された指定領域の外側から内側に向かって移動するものである場合に、前記調整量を増加させ、当該指定領域の内側から外側に向かって移動するものである場合に、前記調整量を減少させるとよい。
【０００８】
また、好ましくは、前記決定手段は、前記軌跡の距離、前記軌跡の始点と終点とを結ぶ直線距離、または前記軌跡を前記座標系のいずれかの座標軸に射影した線分の長さに応じて、前記調整量を決定するとよい。
【０００９】
また、好ましくは、前記決定手段は、前記第２の位置の軌跡が、前記特定手段により特定された指定領域の外側を移動するものである場合に、当該軌跡の始点から終点に向かうベクトルに含まれる予め定められた方向の成分に応じて、前記調整量を決定するとよい。
【００１０】
また、本発明に係るユーザーインターフェイス装置は、２以上の特性値に依存する信号の値を取得する取得手段と、前記２以上の特性値をそれぞれ表す座標軸を有する座標系が設定された検出領域を有し、当該検出領域に設定された前記座標系においてユーザーにより指定された位置を検出する検出手段と、前記検出手段により位置が検出されると、前記座標系において当該位置に応じた指定領域を特定する特定手段と、自装置の姿勢を検出する姿勢検出手段と、前記特定手段により前記領域が特定される場合に、前記姿勢検出手段により検出される姿勢に応じて、当該指定領域に属する座標値に対応する前記信号の値の調整量を決定する決定手段と、前記指定領域に属する座標値に対応する前記信号の値を決定された前記調整量で変更して、信号処理を行う信号処理手段に出力する変更手段と、を具備することを特徴とする。
【発明の効果】
【００１１】
本発明によれば、２以上の特性値に依存する信号のうち、それらの特性値が特定の範囲内にあるものについて、座標系における位置を指定する操作により、その信号の値を調整することができる。
【図面の簡単な説明】
【００１２】
【図１】本発明の実施形態における端末の外観を説明する図である。
【図２】本発明の実施形態における端末の構成を説明するブロック図である。
【図３】本発明の実施形態における信号処理機能の構成を説明する機能ブロック図である。
【図４】本発明の実施形態における表示画面の表示例を説明する図である。
【図５】本発明の実施形態における指定領域が表示された表示画面の表示例を説明する図である。
【図６】本発明の実施形態における決定操作を説明する図である。
【図７】本発明の変形例１における指定領域に設定される調整量を説明する図である。
【図８】本発明の変形例１における指定領域が表示された表示画面の表示例を説明する図である。
【図９】本発明の変形例２における指定領域を説明する図である。
【図１０】本発明の変形例３における表示画面の表示例を説明する図である。
【図１１】本発明の変形例４における操作の例を示す図である。
【図１２】本発明の変形例５における表示画面の例を示す図である。
【図１３】本発明の変形例６における表示画面の表示例を説明する図である。
【図１４】本発明の変形例７における表示画面の表示例を説明する図である。
【図１５】本発明の変形例８において設定される指定領域を説明する図である。
【発明を実施するための形態】
【００１３】
＜実施形態＞
[端末１の構成]
図１は、本発明の実施形態における端末１の外観を説明する図である。端末１は、携帯電話、ＰＤＡ（Personal Digital Assistant）、音楽プレイヤなどの携帯可能な情報処理端末である。なお、端末１は、携帯可能な情報処理端末に限らず、パーソナルコンピュータなどであってもよい。
図１に示すように、端末１は、筐体の前面に、タッチセンサ１２１、操作ボタン１２２、および表示画面１３１を有する。タッチセンサ１２１は、表示画面１３１の前面に設けられ、表示画面１３１とともに、タッチパネルを構成している。操作ボタン１２２は、図１においては、１つのみであるが、複数であってもよいし、なくてもよい。
【００１４】
図２は、本発明の実施形態における端末１の構成を説明するブロック図である。端末１は、制御部１１、操作部１２、表示部１３、記憶部１４、姿勢検出部１５、インターフェイス１６、通信部１７を有する。これらの各構成は、互いにバスで接続されている。
【００１５】
制御部１１は、ＣＰＵ（Central Processing Unit）、ＲＡＭ（Random Access Memory）、ＲＯＭ（Read Only Memory）などを有する。制御部１１は、ＲＯＭまたは記憶部１４に記憶された制御プログラムを実行することにより、バスを介して端末１の各部を制御する。この例においては、制御部１１は、制御プログラムを実行することにより、指定された信号処理を、オーディオ信号に対して行う信号処理機能などの各種機能を実現する。この例においては、各種機能には、一般的な携帯電話、ＰＤＡ、音楽プレイヤなどが有する機能が含まれているが、必ずしも含まれていなくてもよい。
【００１６】
操作部１２は、ユーザーからの操作を受け付けるタッチセンサ１２１および操作ボタン１２２を有し、それぞれに受け付けられた操作の内容を示す操作情報を制御部１１に出力する。このタッチセンサ１２１は、ユーザーにより指定された位置を検出する検出領域を有する。そして、このタッチセンサ１２１は、この検出領域において複数箇所への同時の接触を検知する、いわゆるマルチタッチセンサになっている。以下、ユーザーからの指定は、特に示していない限り、操作部１２を介して行われる操作によって行われるものとする。
表示部１３は、液晶ディスプレイなどの表示画面１３１を有する表示デバイスであり、制御部１１の制御に応じた内容の表示を表示画面１３１に行う。信号処理機能が実現されているときには、表示画面１３１には、処理対象となるオーディオ信号に関する表示、信号処理の内容を指定するための表示などがなされる。
【００１７】
記憶部１４は、ハードディスク、不揮発性メモリなどの記録媒体である。記憶部１４は、楽曲の内容を示す複数チャンネルのオーディオ信号などが記憶される領域を有する。この例において、複数チャンネルとは、ステレオ２ｃｈ（Ｌｃｈ、Ｒｃｈ）である。
【００１８】
姿勢検出部１５は、加速度センサ、角速度センサなどを有し、端末１の筐体の動きを検出し、運動信号を出力する。
インターフェイス１６は、外部装置と接続し、オーディオ信号など各種情報の入出力をするための端子を有する。端子の中には、例えば、ヘッドフォン、スピーカなどの放音手段を接続し、オーディオ信号を接続された放音手段に供給する端子が含まれる。
通信部１７は、制御部１１の制御に応じて、他の装置と無線、有線により通信を行う。以上が、端末１のハードウエア構成についての説明である。
【００１９】
[機能構成]
次に、端末１の制御部１１が制御プログラムを実行することによって実現される信号処理機能について説明する。なお、以下に説明する信号処理機能を実現する信号処理部１００における各構成の一部または全部については、ハードウエアによって実現してもよい。
【００２０】
図３は、本発明の実施形態における信号処理機能の構成を説明する機能ブロック図である。信号処理機能を実現する信号処理部１００は、取得部１１０、第１変換部１２０、音像位置算出部１３０、表示制御部１４０、領域設定部１５０、調整量設定部１６０、レベル変化部１７０、第２変換部１８０、および出力部１９０を有する。
取得部１１０は、記憶部１４に記憶されているオーディオ信号のうち、ユーザーによって指定された楽曲のオーディオ信号を取得して、第１変換部１２０に出力する。なお、取得部１１０は、外部装置からインターフェイス１６を介して入力されるオーディオ信号を取得するようにしてもよい。
【００２１】
第１変換部１２０は、取得部１１０から出力されたオーディオ信号について、Ｌｃｈ、Ｒｃｈの各々に対して、予め決められた時間長のフレームごとに、ＦＦＴ（Fast Fourier Transform）処理を施して周波数スペクトルに変換する。周波数スペクトルは、周波数値（ｆ１、ｆ２、・・・ｆｎ）と出力レベル（Ａ１、Ａ２、・・・、Ａｎ）との対応関係、すなわち、出力レベルの周波数依存性を示している。
【００２２】
ここで、Ｌｃｈのオーディオ信号から変換された周波数スペクトルの出力レベルについては、（ＡＬ１、ＡＬ２、・・・、ＡＬｎ）といい、Ｒｃｈのオーディオ信号から変換された周波数スペクトルの出力レベルについては、（ＡＲ１、ＡＲ２、・・・、ＡＲｎ）というものとする。
第１変換部１２０は、このようにして得られたフレーム毎の周波数スペクトルを音像位置算出部１３０およびレベル変化部１７０に出力する。
【００２３】
音像位置算出部１３０は、第１変換部１２０から出力された周波数スペクトルに基づいて、各チャンネル間の出力レベルの関係を示す関係値としての音像位置を、各周波数値に対応して算出する。音像位置算出部１３０は、各周波数値に対応して、各チャンネル間の出力レベルの比を用いて以下の式（１）により音像位置Ｐｉを算出する（ｉ＝１〜ｎ）。
Ｐｉ＝２／π×ａｒｃｔａｎ（ＡＲｉ／ＡＬｉ） ・・・（１）
【００２４】
この音像位置Ｐｉは、「０」に近いほどＬｃｈ側（ユーザーから見て左側）、「１」に近いほどＲｃｈ側（ユーザーから見て右側）に音像が位置していることを示している。また、音像位置Ｐｉが「０．５」であれば、中央に音像が位置していることを示している。
音像位置算出部１３０は、このようにして周波数値（ｆ１、ｆ２、・・・ｆｎ）と音像位置（Ｐ１、Ｐ２、・・・、Ｐｎ）との対応関係を算出して、各フレームに対応した音像算出結果を示す情報として表示制御部１４０およびレベル変化部１７０に出力する。なお、この音像位置の算出方法は、上記算出方法に限られず、各チャンネルの出力レベルの関係に応じて算出する方法であれば他の算出方法を用いてもよい。
【００２５】
表示制御部１４０は、音像位置算出部１３０における音像算出結果に基づく内容を、表示部１３の表示画面１３１に表示させる。表示画面１３１に表示される表示例について、図４を用いて説明する。
【００２６】
図４は、本発明の実施形態における表示画面１３１の表示例を説明する図である。図４（ａ）に示すように、表示制御部１４０は、表示部１３を制御して、表示画面１３１にウインドウｗ１、ｗ２、ｗ３を表示させる。表示制御部１４０は、ウインドウｗ１には、音像算出結果に基づく内容を表示させ、ウインドウｗ２には、各種指定をするための操作ボタンを表示させ、ウインドウｗ３には、表示画面１３１に表示させている内容に関連する情報（楽曲名など）を表示させる。
【００２７】
ウインドウｗ１には、図４（ｂ）に示す関係の座標軸を有する座標系で音像算出結果をプロットした表示がなされる。ウインドウｗ１の上下方向の座標軸は周波数（上方向が高い周波数値）を示し、左右方向の座標軸は音像位置を示す。このようにしてウインドウｗ１に表示された音像算出結果の表示例が図４（ａ）に示されている。図４（ａ）に示すウインドウｗ１の表示内容は、特定のフレームにおける音像算出結果を示すものであるが、音像算出結果はフレーム毎に得られる結果であるから、時刻の進行に伴って変化していく。なお、上下・左右方向の各座標軸によって表される周波数および音像位置は、いずれもオーディオ信号が有する特性値の一例である。ここで、特性値とは、信号の特性を示す物理量や数値をいう。そして、特性値を有する信号は、その特性値に依存する。例えば、各チャンネルの周波数毎の出力レベルはそれぞれ、周波数に依存するとともに、音像位置にも依存している。
図４（ａ）に示す表示例に対応する音は、概ね中央部分に音像が定位するとともに、高周波数帯域において右側に寄った位置にも音像が定位しているように、ユーザーによって知覚される。
【００２８】
なお、表示制御部１４０は、ウインドウｗ１に表示された音像算出結果を示す各点の表示態様を、出力レベルに応じて変化させるようにしてもよい。変化させる内容としては、明度、彩度、輝度などである。この場合には、音像位置算出部１３０は、音像算出結果に、さらに出力レベルの加算値（ＡＬｉ＋ＡＲｉ）など、出力レベルの絶対値を示す情報が含まれるようにして、表示制御部１４０に出力するようにすればよい。
【００２９】
また、表示制御部１４０は、音像算出結果を点により示していたが、点に限られない。例えば、線、特定のマーク、ウインドウｗ１内を出力レベルに応じてグラデーション表示するなど、様々な態様での表示が可能である。
さらに、表示制御部１４０は、図４（ｂ）に示す座標軸を、図４（ａ）に示す音像算出結果とともに表示するようにしてもよい。
【００３０】
図３に戻って説明を続ける。領域設定部１５０は、操作部１２から出力される操作情報に応じて、表示画面１３１のウインドウｗ１に表示されている座標系によって示される領域の一部を指定領域として設定する。指定領域とは、出力レベルを変化させる処理の対象となる周波数値を抽出するための領域であり、周波数の範囲（以下、指定周波数範囲という）、音像位置の範囲（以下、指定音像範囲という）を定める領域である。領域設定部１５０は、設定した指定領域を示す指定領域情報を表示制御部１４０およびレベル変化部１７０に出力する。
領域設定部１５０は、このようにして出力した指定領域情報を表示制御部１４０に取得させて、表示画面１３１のウインドウｗ１に指定領域を表示させる。図４（ａ）に示す表示がなされている状態で、座標系における一部領域が指定領域として設定された場合の表示例について、図５を用いて説明する。
【００３１】
図５は、本発明の実施形態における指定領域が表示された表示画面１３１の表示例を説明する図である。図５（ａ）に示す例においては、指定領域ｓ１が設定された状態を示している。ユーザーがウインドウｗ２における操作ボタンのうち指定領域を出現させる操作ボタンを操作し、指定領域ｓ１として指定したい領域の左上の頂点ｓ１ａとなるべき位置と右下の頂点ｓ１ｂとなるべき位置とを指定する操作（その位置に接触するなどの操作）をすると、領域設定部１５０は、指定された領域を指定領域ｓ１として設定する。これにより、表示制御部１４０は、指定領域ｓ１を表示画面１３１に表示する。
【００３２】
なお、領域設定部１５０は、図５（ａ）に示すように１つの領域を指定領域（指定領域ｓ１）として設定する場合に限られず、図５（ｂ）に示すように、複数の領域を指定領域（指定領域ｓ１、ｓ２）として設定することもできる。この場合、領域設定部１５０は、設定された複数の指定領域のそれぞれについて相互に識別可能なように識別情報を付して記憶する。なお、領域設定部１５０が座標系における一部の領域を指定領域として設定するために行われるユーザーの操作は、一例であって、他の操作によって指定されるようにしてもよい。
【００３３】
図３に戻って説明を続ける。調整量設定部１６０は、操作部１２から出力される操作情報に応じて、指定領域における出力レベルの調整量を設定する。調整量設定部１６０は、設定対象とした指定領域と設定した調整量とを示す調整量設定情報をレベル変化部１７０に出力する。調整量は、出力レベルに対して乗算する値として規定され、この例においては、０％から２００％までの範囲で規定される。
【００３４】
例えば、調整量が１００％であれば、レベル変化部１７０における出力レベル調整が行われず、１００％未満であれば、出力レベルを減少させる調整、１００％より大きければ出力レベルを増加させる調整が行われることになる。なお、調整量は、％により規定されるものに限られず、例えば、ｄＢなどにより規定されてもよい。また、相対的な量として規定されるだけでなく、絶対的な量として規定されてもよい。また、ある特定の出力レベルに揃えるような規定であってもよい。
【００３５】
調整量設定部１６０は、操作部１２を介して、指定領域を特定する操作（以下、特定操作という）、および、特定された指定領域の調整量を決定する操作（以下、決定操作という）を受け付ける。調整量設定部１６０は、特定操作を受け付けて１つ以上の指定領域が特定されたときに、特定された指定領域の識別情報をＲＡＭに記憶し、その指定領域に対する決定操作の受付を開始する。なお、この時点で、調整量設定部１６０は、指定領域の特定を解除するための操作（以下、特定解除操作という）の受け付けも開始する。特定解除操作を受け付けると、調整量設定部１６０は、記憶された指定領域のうち、受け付けた特定解除操作が示す指定領域をＲＡＭから削除する。そして、ＲＡＭに指定領域が１つも記憶されていない状態に至った場合に調整量設定部１６０は、決定操作および特定解除操作の受付を停止する。
以下に、主に特定操作および決定操作の例を説明する。
【００３６】
（１）特定操作
（１−１）調整量設定部１６０は、領域設定部１５０から出力される指定領域情報を取得し、操作部１２のタッチセンサ１２１が出力する操作情報を受け取って、表示画面１３１のウインドウｗ１に表示させられた指定領域の内側に相当する部分への接触があったか否かを判定する。そして、指定領域の内側に相当する部分が接触されている場合にはその指定領域が特定されたものと解釈し、調整量設定部１６０は、その指定領域の識別情報をＲＡＭに記憶する。この操作方法において、調整量設定部１６０は、指定領域の内側部分に接触し続けている間に限り、その指定領域が特定された状態を維持する。すなわち、ユーザーの指などが指定領域の内側部分から離れた場合に、調整量設定部１６０は、これを設定解除操作として受け付け、その指定領域の特定を解除する。
【００３７】
（１−２）上述した特定操作（１−１）を受け付ける場合、ユーザーの指などが指定領域の内側部分を押し続けている間だけ、調整量設定部１６０は、その指定領域が特定された状態を維持するため、表示画面１３１のウインドウｗ１に表示された指定領域は、自動復帰型のいわゆるプッシュスイッチとして機能するが、操作の度に変化する状態を保持する、いわゆるプッシュロックスイッチやトグルスイッチとして機能するようにしてもよい。例えば、調整量設定部１６０は、予め決められた検知周期（例えば０．５秒など）の間に指定領域の内側部分への接触や離脱、または接触から離脱までの一連の動作が１回あったとき、その指定領域が特定されたものと解釈してその指定領域の識別情報をＲＡＭに記憶してもよい。この場合、識別情報が記憶されたその指定領域の内側部分へさらに接触などがあったときに、その指定領域の特定が解除されてもよい。
【００３８】
この操作方法において、この検知周期における接触などの回数に応じて操作の解釈を変えてもよい。すなわち、判定する接触などの回数は、１回に限られず、例えば、この検知周期に上記の指定領域の内側部分への接触などが３回以上あった場合に、その指定領域が特定または解除されたものと解釈するようにしてもよい。
一般に、端末を指で操作するとき、その操作に用いることができる指の数は限りがあるので、指定領域が自動復帰型のプッシュスイッチとして機能する場合には、操作に用いることが可能な指の数が特定できる指定領域の数となるが、上記のように、指定領域をいわゆるトグルスイッチとして機能させることにより、ユーザーは、上記の指の数を超えた数の指定領域を特定することができる。
【００３９】
（１−３）上述した特定操作（１−２）を受け付ける場合、調整量設定部１６０は、予め決められた検知周期の間に指定領域の内側部分への接触などがあることを、状態を遷移させるためのいわゆるジェスチャとして解釈したが、ジェスチャはこれに限られず、様々な態様が採用され得る。調整量設定部１６０は、例えば、ユーザーが指で指定領域の内側部分に環や十字、チェックマークなどを描いた場合に、これを状態遷移のきっかけとなるジェスチャとして解釈してもよいし、予め定められた待ち時間（例えば、２秒など）にわたり、その内側部分を押し続けた後に指を離した場合に、これを上記のジェスチャとして解釈してもよい。また、調整量設定部１６０は、環が描かれたことを検知する場合に、時計回りと反時計回りとで異なるジェスチャとして解釈してもよく、例えば、時計回りに環が描かれた場合には、指定領域の特定として解釈し、反時計回りで環が描かれた場合には、指定領域の解除として解釈するようにしてもよい。
【００４０】
なお、ここでいう環とは、軌跡の一部がその軌跡の他の部分と交差するものをいう。また、上述したように指定領域が特定された場合に表示制御部１４０は、特定された指定領域の内部や境界線の色を変更したり、明滅させたり、境界線の太さや種類を変更したりすることで、ユーザーにその指定領域が特定されていることを知らしめてもよい。
このようにして、ユーザーが、調整量を設定したい指定領域を特定する特定操作が調整量設定部１６０によって受け付けられると、その特定操作により特定された指定領域の識別情報が一時的に記憶され、特定されたその指定領域に対する調整量の決定操作の受付が開始される。
【００４１】
（２）決定操作
次に、調整量設定部１６０により受け付けられる決定操作について図６を用いて説明する。図６は、決定操作を説明する図である。
（２−１）調整量設定部１６０は、操作部１２のタッチセンサ１２１が出力する操作情報を受け取って、表示画面１３１のウインドウｗ１への接触があったか否かを判定する。そして、接触があったと判定した場合に、調整量設定部１６０は、接触された位置の変化を監視し、ウインドウｗ１に接触した指などが離脱するまでの軌跡を記憶する。そして、調整量設定部１６０は、この軌跡が、例えば、特定操作により特定された指定領域の外側への接触で開始され、その指定領域の境界を越えて移動し、その内側における離脱で終了している場合に、その指定領域に対する調整量を増加させる。
【００４２】
一方、上記の軌跡が、特定操作により特定された指定領域の内側への接触で開始され、その指定領域の境界を越えて移動し、その外側における離脱で終了している場合に、調整量設定部１６０は、その指定領域に対する調整量を減少させる。この場合、増加または減少させる量は、上記の軌跡の距離またはその軌跡の始点と終点とを結ぶ直線距離などに応じて決定されてもよいし、上記の軌跡を座標系のいずれかの座標軸に射影した線分の長さに応じて決定されてもよい。
【００４３】
例えば、図６（ａ）に示すように、ユーザーが指定領域ｓ１の内側にある点Ｐ１を指で押さえたことにより、この指定領域ｓ１が特定されたとする。これに続いて、ユーザーが指定領域ｓ１の外側の点Ｐ２を指で押さえ、その指をタッチセンサ１２１に接触させたまま軌跡ｔｒ２３に沿って動かし、指定領域ｓ１の内側の点Ｐ３で離したとすると、調整量設定部１６０は、この軌跡ｔｒ２３を記憶するとともに、この軌跡ｔｒ２３が、特定操作により特定された指定領域ｓ１の外側への接触で開始され、指定領域ｓ１の境界を越えて移動し、その内側における離脱で終了していると判定し、軌跡ｔｒ２３の距離などに応じて指定領域ｓ１の調整量を増加させる。
【００４４】
一方、同図に示すようにユーザーが指定領域ｓ１の内側の点Ｐ４を指で押さえ、その指をタッチセンサ１２１に接触させたまま軌跡ｔｒ４５に沿って動かし、指定領域ｓ１の外側の点Ｐ５で離したとすると、調整量設定部１６０は、この軌跡ｔｒ４５を記憶するとともに、この軌跡ｔｒ４５が、特定操作により特定された指定領域ｓ１の内側への接触で開始され、指定領域ｓ１の境界を越えて移動し、その外側における離脱で終了していると判定し、軌跡ｔｒ４５の距離などに応じて指定領域ｓ１の調整量を減少させる。
【００４５】
この決定操作によれば、ユーザーは、特定された指定領域の外側から内側に向けて指を滑らせることで、その指定領域の調整量を増加させることができるので、あたかも砂場で砂を集めるかのように、その指定領域に調整量を集める感覚で決定操作をすることができる。
また、ユーザーは、特定された指定領域の内側から外側に向けて指を滑らせることで、その指定領域の調整量を減少させることができるので、あたかも砂場で穴を掘るかのように、その指定領域から調整量を取り除く感覚で決定操作をすることができる。
【００４６】
なお、上記の軌跡の向きと調整量の増減とは、上記とは逆に関連付けられていてもよい。すなわち、例えば、ユーザーが特定された指定領域の外側から内側に向けて指を滑らせた場合に、その指定領域の調整量が減少するように構成されていてもよい。
【００４７】
（２−２）上述した決定操作（２−１）を受け付ける場合、調整量設定部１６０は、記憶する軌跡が、その指定領域の内側において特定操作の際に検知した位置に対して予め定められた閾値よりも近づいたか否かを判断し、この判断結果によって処理を変えることはなかったが、このような判断を行って処理を変えるようにしてもよい。
【００４８】
例えば、図６（ｂ）に示すように、ユーザーが指定領域ｓ１の内側にある点Ｐ６を指で押さえたことにより、この指定領域ｓ１が特定されたとする。これに続いて、ユーザーが指定領域ｓ１の外側の点Ｐ７を指で押さえ、その指をタッチセンサ１２１に接触させたまま軌跡ｔｒ７８に沿って動かし、指定領域ｓ１の内側の点Ｐ８で離したとすると、調整量設定部１６０は、この軌跡ｔｒ７８を記憶するとともに、この軌跡ｔｒ７８が、特定操作により特定された指定領域ｓ１の外側への接触で開始され、指定領域ｓ１の境界を越えて移動し、その内側における離脱で終了していると判定する。そして、調整量設定部１６０は、特定操作の際に検知した点Ｐ６と、上記の軌跡ｔｒ７８の終点である点Ｐ８との上下方向（図４（ｂ）参照）の距離Ｄ６８を特定し、特定した距離Ｄ６８を予め定められた閾値ＤＬと比較する。
【００４９】
この場合、比較の結果、距離Ｄ６８が閾値ＤＬ以上であると判定されるので、調整量設定部１６０は、この一連の操作を「指定領域ｓ１の調整量を増加させる決定操作」として受け取り、軌跡ｔｒ７８の距離などに応じて指定領域ｓ１の調整量を増加させる。
【００５０】
一方、同図に示すようにユーザーが点Ｐ７を指で押さえ、その指を軌跡ｔｒ７９に沿って動かし、指定領域ｓ１の内側の点Ｐ９で離したとすると、調整量設定部１６０は、この軌跡ｔｒ７９を記憶するとともに、この軌跡ｔｒ７９が、特定操作により特定された指定領域ｓ１の外側への接触で開始され、指定領域ｓ１の境界を越えて移動し、その内側における離脱で終了していると判定する。そして、調整量設定部１６０は、特定操作の際に検知した点Ｐ６と、上記の軌跡ｔｒ７９の終点である点Ｐ９との上下方向の距離Ｄ６９を特定し、特定した距離Ｄ６９を予め定められた閾値ＤＬと比較する。
【００５１】
この場合、比較の結果、距離Ｄ６９が閾値ＤＬよりも小さいと判定されるので、調整量設定部１６０は、この一連の操作を決定操作以外の操作として受け取り、その操作に応じた処理を行わせる。例えば、調整量設定部１６０は、指定領域ｓ１自体を縮小させるための操作として上記の操作を受け取ってもよい。この場合、調整量設定部１６０は、操作の内容を領域設定部１５０に引渡し、これを受け取った領域設定部１５０は、上記の軌跡ｔｒ７９の距離や方向に応じて、指定領域ｓ１を縮小して設定し直すようにしてもよい。
なお、閾値ＤＬと比較されるのは、軌跡の始点と終点との上下方向の距離に限られず、左右方向の距離や、軌跡自体の距離などであってもよい。また、比較される閾値は１つに限られず、２つ以上であってもよい。
【００５２】
この決定操作によれば、ユーザーは、タッチセンサ１２１に対する２箇所の指定位置を拡げたり狭めたりするという点において、共通する操作に対し、２つ以上の意味を持たせることができる。すなわち、上記の２箇所の指定位置が予め定められた閾値以上の距離を保ったまま操作された場合には、この操作は、調整量設定部１６０により調整量を設定する決定操作として処理され、上記の２箇所の指定位置が予め定められた閾値未満の距離になるように操作された場合には、この操作は、調整量設定部１６０により、決定操作以外の操作として、信号処理機能の他の機能に操作内容を引き渡される。これにより、ユーザーはより直感的な操作を行うことができる。
【００５３】
なお、調整量設定部１６０が調整量を設定するために行われるユーザーの上記の操作は、一例であって、他の操作によって指定されるようにしてもよい。例えば、指定領域の調整量は、ウインドウｗ２の操作ボタンを操作するなどして、設定されるようにしてもよい。
【００５４】
図３に戻って説明を続ける。レベル変化部１７０は、音像算出結果と指定領域情報とを比較して、指定領域に含まれる音像算出結果に対応する周波数値を抽出する。具体的には、レベル変化部１７０は、音像算出結果を参照して、指定音像範囲に含まれる音像位置に対応する周波数値のうち、指定周波数範囲に含まれる周波数値を抽出する。図５（ａ）に示す例においては、音像算出結果のうち点ｄ１（ｆｘ、Ｐｘ）は、指定領域ｓ１に含まれるが、点ｄ２（ｆｙ、Ｐｙ）は、指定領域に含まれないため、レベル変化部１７０は、周波数値ｆｘについては抽出するが、周波数値ｆｙについては抽出しない。
【００５５】
そして、レベル変化部１７０は、第１変換部１２０から出力された周波数スペクトルのうち、抽出した周波数値に対応する出力レベル（以下、この周波数値に対応する出力レベルにより生じる音を「指定領域に含まれる音」という）を、調整量設定情報が示す調整量で増減させる。図５（ａ）に示す例において、指定領域ｓ１に設定された調整量がＺ％である場合には、レベル変化部１７０は、周波数スペクトルのうち、指定領域ｓ１に含まれる音の出力レベルを、各チャンネルともＺ／１００倍となるように変化させる。すなわち、第１変換部１２０から出力された周波数スペクトルのうち、点ｄ１に対応する値は、Ｌｃｈ（ｆｘ、ＡＬｘ）、Ｒｃｈ（ｆｘ、ＡＲｘ）であるが、レベル変化部１７０は、Ｌｃｈ（ｆｘ、ＡＬｘ×Ｚ／１００）、Ｒｃｈ（ｆｘ、ＡＲｘ×Ｚ／１００）に変化させる。Ｚ＝０であれば、後述するようにして出力される音からは、指定領域ｓ１に含まれる音が聴こえなくなることになる。
レベル変化部１７０は、各フレームに対応して、上述のように、指定領域に含まれる音の出力レベルを変化させた各チャンネルの周波数スペクトルを、第２変換部１８０に出力する。
【００５６】
第２変換部１８０は、レベル変化部１７０から出力される各チャンネルの周波数スペクトルに対してＩＦＦＴ（Inverse Fast Fourier Transform）処理を施して、各チャンネルのオーディオ信号に変換する。第２変換部１８０は、変換したオーディオ信号を出力部１９０に出力する。
出力部１９０は、第２変換部１８０から出力されたオーディオ信号を、インターフェイス１６に出力し、インターフェイス１６に接続されるスピーカなどの放音装置から放音させる。
【００５７】
このように、信号処理部１００は、取得した複数チャンネルのオーディオ信号を周波数スペクトルに変換し、各周波数に対応した音像位置を算出して、周波数および音像位置の座標軸をもつ座標系を用いて表示画面１３１に表示する。ユーザーによって指定された座標系における一部領域が指定領域として設定され、また出力レベルの調整量が設定されることにより、信号処理部１００は、周波数スペクトルのうち指定領域に含まれる音の出力レベルを調整し、オーディオ信号に変換して出力する。
これにより、ユーザーは、表示画面１３１に表示された音像算出結果を見ながら、直感的に一部領域を指定することができ、この領域を指定領域として領域設定部１５０に設定させ、指定領域に含まれる音を大きくしたり、小さくしたりすることができる。
【００５８】
例えば、オーディオ信号が示す音が複数の楽器を用いた演奏をステレオで録音したものである場合に、ユーザーは、特定の楽器の音像に対応する部分を指定して指定領域として設定させ、指定領域に対して調整量を指定して設定させることにより、その特定の楽器の音量を小さくした音をスピーカから出力させることもできる。このようにすると、ユーザーは、出力された音にあわせて、音量を小さくした特定の楽器を用いて演奏することで、カラオケのようにして楽しむこともできる。このとき、特定の楽器の音量を完全に消してしまうのではなく、聴こえる程度に特定の楽器の音を残しておくことで、その音を聴きながら楽器の練習をするということもできる。
これとは反対に、ユーザーは、指定領域に対する調整量の設定により、特定の楽器の音量を大きくした音をスピーカから出力させることもできる。このようにして、ユーザーは、好みの楽器の音量を大きくして聴いたり、特定の楽器の音を詳細に聴いたりすることができる。
【００５９】
また、ユーザーは、図５（ｂ）に示すようにして、複数の楽器の音像に対応する部分を指定することにより、複数の楽器を用いたカラオケを楽しんだり、複数の楽器の音を強調して聴いたりすることもできる。
なお、調整量の設定においては、一方の指定領域に含まれる音を小さくし、他方の指定領域に含まれる音を大きくすることもできる。例えば、ユーザーは、左端に音像が定位しているギターの音量を大きくし、そのギターの少し右側に音像が定位している別のギターの音量を小さくするように設定することにより、類似した音の一方の音量を小さくして、特定の楽器の演奏をより明瞭に聴き取ることもできる。
【００６０】
＜変形例＞
以上、本発明の実施形態について説明したが、本発明は以下のように、さまざまな態様で実施可能である。
[変形例１]
上述した実施形態において、調整量設定部１６０によって設定される調整量は、指定領域のどの位置においても同じ量として設定されていたが、指定領域内における位置に応じて異なる量となるように設定されてもよい。例えば、図７に示すように調整量が設定されればよい。
【００６１】
図７は、本発明の変形例１における指定領域に設定される調整量を説明する図である。図７（ａ）は、実施形態において設定される調整量を示す図である。図７（ｂ）は、変形例１において設定される調整量の一例を示す図である。
上述した実施形態においては、例えば、図７（ａ）に示すように、指定領域ｓ１の音像位置の座標軸方向（ａ−ａ方向）および周波数の座標軸方向（ｂ−ｂ方向）について、どの位置においても同じ調整量Ｌ０として設定されている。一方、変形例１においては、例えば、図７（ｂ）に示すように、指定領域ｓ１の音像位置の座標軸方向（ａ−ａ方向）および周波数の座標軸方向（ｂ−ｂ方向）について、位置に応じて調整量が変化するように設定される。この例においては、指定領域ｓ１のうち中央部が周辺部に比べて調整量が小さくなるように設定された状態を示している。
【００６２】
この場合には、レベル変化部１７０は、指定領域ｓ１に含まれる音の周波数値および音像位置に対応した調整量を、抽出する周波数値に対応させて決定すればよい。そして、レベル変化部１７０は、指定領域ｓ１に含まれる音の各周波数値に対応する出力レベルを変化させるときには、それぞれの周波数値に対応して決定した調整量に応じて変化させればよい。このようにすれば、信号処理部１００は、指定領域に含まれる音について、その指定領域内における位置に応じて異なる調整量で音量を調整して出力することもできる。例えば、図７（ｂ）に示すように調整量が設定されている場合には、信号処理部１００は、指定領域ｓ１の周辺部に対応する音ほど大きな音量で出力することができる。
【００６３】
なお、調整量を設定するための決定操作は、このような指定領域内における位置に応じて異なる量を設定する操作を含むものであってもよい。例えば、上述した決定操作は、指定領域の外側で接触したら内側で離脱し、内側で接触したら外側で離脱するものであって、必ずその指定領域の境界を越えて移動するものであったが、指定領域の内側の一点から同じ内側にある別の一点へ移動する操作によって、その指定領域内における位置に応じて異なる量を設定してもよい。図８は、本発明の変形例１における指定領域が表示された表示画面の表示例を説明する図である。例えば、図８に示すように、指定領域ｓ１の内側であって周辺部の点Ｐａで接触が開始され、同じく内側であって点Ｐａよりも中央にある点Ｐｂで離脱する操作がされた場合、調整量設定部１６０は、点Ｐａに対応する音の周波数値および音像位置の調整量を減少させ、点Ｐｂに対応する音の周波数値および音像位置の調整量を増加させるようにすればよい。逆に中央部から周辺部へ移動する決定操作が行われた場合に、調整量設定部１６０は、中央部に対応する調整量を減少させ、周辺部に対応する調整量を増加させるようにすればよい。なお、「指定領域ｓ１において点Ｐｂが点Ｐａよりも中央にある」とは、点Ｐｂが点Ｐａよりも、その指定領域ｓ１の重心や中心の近くにあることを意味する。例えば、図８に示したように、指定領域ｓ１が矩形の場合、点Ｐｂは点Ｐａよりもその矩形の中心Ｐｃに近いということを意味する。
【００６４】
[変形例２]
上述した実施形態において、領域設定部１５０は、複数の領域を指定領域として設定する場合に、これらの指定領域の一部が重なった領域を指定領域として設定してもよい。このような場合の説明について図９を用いて説明する。
【００６５】
図９は、本発明の変形例２における指定領域を説明する図である。この例においては、指定領域ｓ１と指定領域ｓ２とが重複する重複領域ｓｄ１２が存在するように、領域設定部１５０によって設定されている。レベル変化部１７０は、このような重複領域に含まれる音については、重複領域を構成する指定領域の各々に対して設定された調整量に応じて、重複領域に対応する調整量を決定し、その調整量に応じて出力レベルを変化させる。以下、重複領域に対応した調整量の決定方法について、一例を説明する。なお、この変形例２の説明においては、指定領域ｓ１、ｓ２が設定され、それぞれに対して設定された調整量は、調整量Ｌ１、Ｌ２とする。また、重複領域ｓｄ１２に対応する調整量は、調整量Ｌ１２という。
【００６６】
第１の例としては、調整量Ｌ１、Ｌ２を加算して得られる値（加算値、平均値など）を調整量Ｌ１２として決定する。ここで、指定領域ｓ１と指定領域ｓ２との面積比に応じて、調整量Ｌ１、Ｌ２に重み付けをして加算してもよい。例えば、指定領域ｓ１の面積が指定領域ｓ２の面積の２倍であれば、調整量Ｌ１の２倍と調整量Ｌ２とを加算するようにすればよい。また、指定領域ｓ１、ｓ２に含まれる音像算出結果の内容、すなわち、指定領域ｓ１に含まれる音と指定領域ｓ２に含まれる音との関係に応じて重み付けをして加算してもよい。例えば、指定領域ｓ１、ｓ２について、それぞれの指定領域に含まれる音について出力レベルの総和の違い、抽出される周波数値の個数の違いなどに応じて重み付けをすればよい。なお、加算して得られる値ではなく、差分により得られる値であってもよい。
【００６７】
第２の例としては、調整量Ｌ１、Ｌ２の大きい方、または小さい方のいずれかが調整量Ｌ１２として決定される。第３の例としては、変形例１で示したように、重複領域ｓｄ１２における位置に応じて調整量Ｌ１２が変化するように決められる。このとき、調整量Ｌ１２は、重複領域ｓｄ１２の指定領域ｓ１に近いほど調整量Ｌ１に近く、指定領域ｓ２に近いほど調整量Ｌ２に近くなるように変化させてもよい。
上述した重複領域に対応して設定される調整量の決定方法の例は、一例であって、重複領域を構成する各指定領域に対応して設定された調整量に応じて決定される方法であれば、他の決定方法を用いたものであってもよい。また、上述の例においては、２つの指定領域が重複領域を構成している場合の例を示したが、３つ以上の指定領域により重複領域が構成されていてもよい。
【００６８】
なお、指定領域が重複する重複領域が存在する場合、指定領域を重複領域とそれ以外とに分割してそれぞれ個別の指定領域として扱うようにしてもよい。例えば、上述した図９の例であれば、指定領域ｓ１から重複領域ｓｄ１２を除いた領域を新たに指定領域ｓｘ１とするとともに、指定領域ｓ２から重複領域ｓｄ１２を除いた領域を新たに指定領域ｓｘ２として、ウインドウｗ１にある指定領域を指定領域ｓｘ１，ｓｘ２および重複領域ｓｄ１２の３つにすればよい。これにより、調整量設定部１６０は、特定操作を受け付ける際に接触された位置に応じた指定領域を一意に特定することができ、重複領域をその他の領域と区別して特定することができる。
【００６９】
[変形例３]
上述した実施形態においては、表示制御部１４０は、表示画面１３１のウインドウｗ１に表示される音像算出結果を、各周波数値に対応する音像位置を点状に表示するようにしていたが、その他の表示態様で表示するようにしてもよい。変形例３における表示態様の例について図１０を用いて説明する。
【００７０】
図１０は、本発明の変形例３における表示画面１３１の表示例を説明する図である。図１０（ａ）は、ウインドウｗ１の一部分を拡大して示した図である。図１０（ａ）に示すように、表示制御部１４０は、メッシュ状に区切った領域（以下、区切られた各領域をメッシュ領域ｍ１という）をウインドウｗ１に表示させ、各メッシュ領域ｍ１に含まれる音像算出結果に応じてメッシュ領域の色の濃さを変化させる。例えば、表示制御部１４０は、メッシュ領域ｍ１が構成する範囲の音像位置に対応する周波数値のうち、メッシュ領域ｍ１が構成する範囲の周波数に含まれる周波数値の個数、すなわち、メッシュ領域ｍ１に含まれる音の数に応じてメッシュ領域ｍ１の色の濃さを変化させればよい。また、表示制御部１４０は、メッシュ領域ｍ１に含まれる音の出力レベルに応じてメッシュ領域ｍ１の色の濃さを変化させてもよい。
【００７１】
また、別の例として、図１０（ｂ）に示すように、メッシュ領域に対応して予め決められた図形（この例においては、メッシュ領域の重心を中心とする円）を表示するようにしてもよい。この場合には、メッシュ領域に含まれる音の数に応じて円の直径を変化させればよい。
このようにしてメッシュ領域に区切って表示する場合には、領域設定部１５０は、１つのメッシュ領域を最小単位として指定領域を設定するようにしてもよい。
【００７２】
このようにすると、信号処理部１００と表示部１３とが別装置であるなど、装置間で表示させるための情報を送受信する場合において、送受信する情報量を低減することができる。また、表示制御部１４０は、画素数が少ない表示画面に音像算出結果を表示させることもできる。
なお、上述したメッシュ領域の表示態様は、フレーム毎の音像算出結果に応じて変化させるものとするが、時間的に連続する複数フレーム分の音像算出結果に応じて変化させるようにしてもよい。
【００７３】
[変形例４]
上述した実施形態において、決定操作を受け付ける際に調整量設定部１６０が記憶する軌跡は、少なくとも始点または終点が指定領域の内側にあるものであったが、指定領域の内側に入らないもの、すなわち、指定領域の外側を移動するものであってもよい。
【００７４】
図１１は、この変形例における操作の例を示す図である。図１１に示すように、ユーザーが指定領域ｓ１の内側にある点Ｐ１０を指で押さえたことにより、この指定領域ｓ１が特定されたとする。これに続いて、ユーザーが指定領域ｓ１の外側の点Ｐ１１を指で押さえ、その指を軌跡ｔｒ１２に沿って動かし、指定領域ｓ１の外側の点Ｐ１２で離したとすると、調整量設定部１６０は、この軌跡ｔｒ１２を記憶するとともに、この軌跡ｔｒ１２の距離や、この軌跡ｔｒ１２を上下方向または左右方向に射影したときの線分の長さなどに応じて指定領域ｓ１の調整量を増減させればよい。また、調整量設定部１６０は、例えば、軌跡ｔｒ１２の始点である点Ｐ１１から終点である点Ｐ１２に向かうベクトルに含まれる予め定められた方向の成分に応じて、指定領域ｓ１の調整量を増減させてもよい。この予め定められた方向として、例えば上方向を採用すると、点Ｐ１１より点Ｐ１２が下にある場合には調整量は減少し、上にある場合には増加することとなる。
【００７５】
これにより、指定領域の調整量を決定する決定操作を、その指定領域が表示された表示画面１３１上の位置と切り離して行うことができる。特に、複数の指定領域を特定している場合において、このように、それらの指定領域の外側で指をスライドさせることで、各指定領域の調整量を同時に増減させることができるので、ユーザーは操作の手間を省くことができる。
【００７６】
[変形例５]
上述した実施形態において、各種指定をするための操作ボタンを表示させるウインドウｗ２が表示されていたが、ウインドウｗ２はなくてもよい。また、ウインドウｗ２は、姿勢検出部１５から出力される運動信号に応じて、表示画面１３１への表示／非表示を切り替えられてもよい。また、表示制御部１４０は、ウインドウｗ２に代えて、調整量を決定するためのスライダを表示してもよい。
【００７７】
図１２は、この変形例における表示画面１３１の例を示す図である。ユーザーが端末１の表示画面１３１を見るときは、表示画面１３１の４つの辺のうちいずれか一辺をその辺に対向する辺よりも重力方向における下にした姿勢で端末１を持つことが多い。したがって、表示画面１３１が長手方向に延びる辺と短手方向に延びる辺を有する矩形形状である場合、ユーザーは端末１を、長手方向が縦（すなわち重力方向に沿った方向）になるように持つときと、横（すなわち重力方向に対して交差する方向）になるように持つときがある。例えば、表示制御部１４０は、ユーザーが端末１をその表示画面１３１の長手方向が横になるように持った場合に限り、図１２に示すように、スライダｃｔ１，ｃｔ２を表示させるように構成されていてもよい。このスライダｃｔ１，ｃｔ２は、一方が指定領域における出力レベルを調整する調整量を、他方が指定領域における他のパラメータを調整するために用いられる。これにより、調整量を決定するための画面上の部品を表示画面１３１に出現させるために、別途表示画面１３１上に領域を設けなくてもよいため、表示内容を簡素にすることができる。
【００７８】
なお、スライダｃｔ１，ｃｔ２は、ウインドウｗ１のうち、指定領域ｓ１が表示される領域の左右方向の両側にそれぞれ表示されていたが、上下方向の両側に表示されてもよい。また、スライダｃｔ１，ｃｔ２は、いずれか一方の片側のみに表示されてもよい。また、表示されるスライダは、２つに限られず３つ以上でもよいし１つでもよい。また、これらスライダは、ユーザーが端末１をその表示画面１３１の長手方向が縦になるように持った場合に限り、表示させられてもよい。また、これらスライダは、調整量を決定するための部品の一例であり、表示制御部１４０は、これに代えて他の様々な部品を採用し得る。例えば、表示制御部１４０は、上記のスライダに代えて、ボタン、テキスト入力枠、ダイヤルなどを表示画面１３１に表示させてもよい。
【００７９】
[変形例６]
上述した実施形態において、表示画面１３１に表示されるウインドウｗ１は、１つのみであったが、複数のウインドウｗ１を切り替えて表示できるようにしてもよい。この場合における表示画面１３１の表示例について、図１３を用いて説明する。
【００８０】
図１３は、本発明の変形例６における表示画面１３１の表示例を説明する図である。図１３（ａ）に示すように、ウインドウｗ１の上部に、複数のウインドウｗ１のいずれを表示させるかを選択するためのタブｗｔ１、ｗｔ２、・・・が設けられている。この例においては、タブｗｔ１が選択されているときには、上述した実施形態と同様である。タブｗｔ２を選択すると、タブｗｔ２に対応したウインドウｗ１が表示される。
【００８１】
各タブに対応したウインドウｗ１は、上述した実施形態などの構成をタブごとに並列に処理するものであってもよいし、直列に処理するものであってもよい。並列に処理する場合には、信号処理部１００は、並列に処理された結果得られるオーディオ信号がミキシングされて出力されるように構成を有するようにすればよい。このとき、ユーザーの指定に応じてミックス比を制御できるようにしてもよい。なお、並列に処理されるオーディオ信号は、同じ楽曲のオーディオ信号が用いられていてもよいし、別の楽曲のオーディオ信号が用いられていてもよい。
【００８２】
一方、直列に処理とは、以下の処理をいう。まず、取得部１１０において取得されたオーディオ信号に対して、タブｗｔ１に対応するウインドウｗ１の表示内容に応じてレベル変化部１７０において信号処理が施される。信号処理が施された結果に対して、タブｗｔ２に対応するウインドウｗ１の表示内容に応じて信号処理を施す。このように、直列に処理とは、一つのタブのウインドウｗ１における表示内容に基づいて処理された結果を、別のタブのウインドウｗ１における表示内容に基づいてさらに処理することをいう。
【００８３】
このように直列に処理する場合には、タブｗｔ２のウインドウｗ１の表示態様を図１３（ｂ）に示すようにしてもよい。この例においては、図１３（ａ）に示すように指定領域ｓ１、ｓ２が設定され、この指定領域ｓ１、ｓ２に対して、この領域に含まれる音を除去するように調整量が設定されたものとする。この場合、図１３（ｂ）に示すように、タブｗｔ２に対応するウインドウｗ１には、指定領域ｓ１、ｓ２に対応する音像算出結果を除去した状態での表示がなされる。そして、この内容を基準として、領域設定部１５０がさらにユーザーによる指定領域ｓ３を設定するための指定が行われる。
【００８４】
なお、上記の並列に処理および直列に処理については並存してもよい。例えば、タブｗｔ１、ｗｔ２は直列に処理される関係であり、タブｗｔ３は、タブｗｔ１、ｗｔ２と並列に処理される関係であってもよい。また、各タブに対応するウインドウｗ１は、表示画面１３１に並べて同時に表示されるようにしてもよい。
【００８５】
[変形例７]
上述した実施形態において、表示制御部１４０は、ウインドウｗ１に表示する指定領域に、その指定領域に対して設定された調整量（以下、この変形例において、設定調整量という）を表示するようにしてもよい。この表示の一例について、図１４を用いて説明する。
【００８６】
図１４は、本発明の変形例７における表示画面１３１の表示例を説明する図である。図１４（ａ）に示すように、表示制御部１４０は、指定領域ｓ１、ｓ２の領域内に設定調整量ｔ１、ｔ２を表示する。このとき、ユーザーが指定領域ｓ１、ｓ２の位置を移動させるなどして、図１４（ｂ）に示すように位置させると、表示制御部１４０は、設定調整量ｔ１を指定領域ｓ２と重ならない領域に移動させて表示する。また、表示制御部１４０は、新たに生じる重複領域ｓｄ１２の設定調整量ｔ３は、領域内に表示できないため領域外に表示する。
【００８７】
なお、指定領域内に、その指定領域の指定周波数範囲、指定音像範囲を示す情報が表示されるようにしてもよい。
また、ユーザーの操作によりタッチセンサ１２１に接触されている位置（以下、この変形例において、接触位置という）に応じて、設定調整量の表示位置を変化させてもよい。具体的には、表示制御部１４０は、接触位置から一定距離はなれた位置に、設定調整量を表示する。このようにすると、ユーザーが操作中において指で設定調整量が見えなくなってしまうことを防ぐことができる。
【００８８】
[変形例８]
上述した実施形態において、指定領域の形状は矩形であったが、矩形以外の形状であってもよい。指定領域の形状については、ウインドウｗ２に表示される操作ボタンを用いてユーザーが決定すればよい。また、ユーザーが指定領域として設定したい領域をなぞるように操作することで様々な形状の領域を指定するようにしてもよい。
【００８９】
図１５は、本発明の変形例８において設定される指定領域を説明する図である。図１５に示す指定領域ｓ１の形状は、ユーザーがタッチセンサ１２１をなぞることにより領域が指定された場合の形状の一例である。指定領域が矩形以外の形状の場合には、指定周波数範囲および指定音像範囲が実施形態のように決めることはできないが、レベル変化部１７０において、指定領域ｓ１の形状を特定する座標情報を取得して周波数値ごとの指定音像範囲を特定することで、抽出すべき周波数値を決定することができる。
なお、領域設定部１５０は、ユーザーによって指定された領域の内側を指定領域として設定していたが、外側を指定領域として設定してもよい。
【００９０】
[変形例９]
上述した実施形態において、表示制御部１４０は、指定領域の範囲内を、その指定領域に対して設定された調整量に応じた態様で表示するようにしてもよい。表示制御部１４０は、指定領域の範囲内を、例えば、その指定領域に設定された調整量が、色の違い、濃さ、透過量、模様の変化などにより表されるように表示すればよい。また、表示制御部１４０は、指定領域内に表示されている音像算出結果について、その指定領域に対して設定された調整量に応じて各点の表示態様を変化させてもよい。
【００９１】
[変形例１０]
上述した実施形態において、第１変換部１２０は、周波数に依存する特徴量として、周波数値毎の出力レベルを抽出し、音像位置算出部１３０は、各チャンネル間の出力レベルの関係を示す関係値を算出していた。特徴量および関係値は、他の内容であってもよい。例えば、特徴量は周波数値毎の位相とし、関係値は各チャンネル間の位相差とすればよい。この場合には、表示制御部１４０は、ウインドウｗ１への表示に用いる座標系を、音像位置の座標軸に代えて位相差の座標軸を用いたものとして、表示内容を制御すればよい。この場合、位相差は、オーディオ信号が有する特性値の一例である。
【００９２】
[変形例１１]
上述した実施形態においては、取得部１１０は、ステレオ２ｃｈのオーディオ信号を取得していたが、５．１ｃｈなど、より多くのチャンネルのオーディオ信号を取得してもよい。この場合には、音像位置算出部１３０は、各周波数値に対応して、全てのチャンネルにおける出力レベルに基づいて、各チャンネル間の出力レベルの関係に応じた関係値を算出するための算出式を記憶しておく。この算出式は、例えば、特定の規格（ITU-R BS.775-1など）にしたがって配置されたスピーカから出力された場合の聴取位置からみた方向（例えば、特定の方向を基準とした水平面内の角度）で表される音像位置（関係値）を、各チャンネルの出力レベルの違いから算出するための式とすればよい。
【００９３】
そして、音像位置算出部１３０は、この算出式を用いて各周波数値に対応した関係値を算出し、算出結果を示す情報を出力すればよい。この場合には、表示制御部１４０は、ウインドウｗ１への表示に用いる座標系を、音像位置の座標軸に代えて上記の関係値の座標軸を用いたものとして、表示内容を制御すればよい。
なお、取得部１１０は、２ｃｈより多いチャンネルのオーディオ信号を取得した場合には、２ｃｈにミックスダウンして出力するようにしてもよいし、特定の２ｃｈを抽出して出力するようにしてもよい。
【００９４】
[変形例１２]
上述した実施形態においては、領域設定部１５０は、ユーザーのタッチセンサ１２１への操作によって指定された領域を、指定領域として設定していたが、別の態様により指定領域を設定してもよい。例えば、指定領域の範囲を規定する指定領域情報を予め記憶しておき、領域設定部１５０は、ユーザーからの指定などにより指定領域情報を取得して、指定領域を設定すればよい。
【００９５】
なお、この指定領域情報は、さらに、時刻の進行に伴い指定領域の範囲が変化するように規定されていてもよい。この場合には、領域設定部１５０は、時刻の進行に伴って移動する範囲を指定領域として設定すればよい。この移動態様（例えば、移動速度など）は、オーディオ信号の内容を解析して決定されるものであってもよい。例えば、オーディオ信号が楽曲であれば、楽曲のテンポをオーディオ信号の音量の時系列変化などから検出して、テンポに応じて移動態様が変化するように指定領域情報が規定されていてもよい。具体的には、領域設定部１５０は、楽曲のＢＰＭ（beats per minute）を検出し、一定回数のビート（例えば、８拍）が刻まれる周期で指定領域が、座標系において予め決められた軌跡を一周するように、その指定領域を移動させてもよい。
【００９６】
なお、このような移動の方向・軌跡およびその速度や周期など、移動態様を表す数値群は、プリセットとして記憶部１５に予め記憶され、操作に応じて読み出されてもよいし、ウインドウｗ２などに対する操作によって指定される期間において受け付けたユーザーのタッチセンサ１２１への操作に応じて決められてもよい。
【００９７】
また、指定領域情報は、音像算出結果に応じて変化するように規定されていてもよい。例えば、指定領域情報は、音像位置が中心以外で一定密度以上の音像算出結果を示す点が集まっている範囲を指定領域として設定するように規定されていればよい。
【００９８】
また、別の態様としては、領域設定部１５０は、姿勢検出部１５から出力される運動信号に応じて、指定領域を設定してもよい。領域設定部１５０は、例えば、すでにユーザーの操作などにより設定されている指定領域がある場合に、ユーザーが端末１を傾けることで、指定領域が移動するようにしてもよい。例えば、表示画面１３１の右側が地面に近づくように傾けられた場合には、領域設定部１５０は、設定する指定領域を右側に移動させていけばよい。
【００９９】
この指定領域の移動態様は、等速運動であってもよいし、等加速度運動であってもよい。等加速度運動の場合、加速度として重力加速度を用いてもよい。これにより、表示画面１３１に描かれる指定領域を、あたかも重力場に置かれた物体のように表示することができる。また、指定領域の移動態様を表す運動方程式に、摩擦係数などの減衰項を加えてもよい。そして、指定領域が移動した結果、表示画面１３１の一端に至った場合には、その指定領域が移動してきた方向と反対の方向に跳ね返るように、指定領域の移動態様を定めてもよい。また、表示画面１３１の一端に至った指定領域は、移動してきた方向と反対の方向に反射するのではなく、移動方向を変えないまま表示画面１３１の表示可能な領域から消失し、これに伴って、その一端に対向する他端から、指定領域が出現するようにしてもよい。出現する指定領域の移動方向および速度は消失した指定領域と同じであってもよい。
【０１００】
[変形例１３]
上述した実施形態において、調整量設定部１６０は、ユーザーのタッチセンサ１２１への操作によって、指定領域に対する調整量の決定操作を受け付けていたが、別の態様により決定操作を受け付けてもよい。例えば、調整量設定部１６０は、姿勢検出部１５から出力される運動信号に応じて、指定領域の調整量を決定してもよい。具体的には、予め定められた閾値を超える角度で端末１の長手方向または短手方向の辺が傾けられたとき、調整量設定部１６０は、上記の調整量をその傾きの角度に対応付けられた数値に変更する。なお、長手方向および短手方向のいずれか一方の傾き角度が、指定領域の出力レベルを調整する調整量の設定に用いられた場合、他方をそれ以外のパラメータの調整に用いるようにしてもよい。この場合、ユーザーが端末１を斜めに傾けると、指定領域は、出力レベルとともに他のパラメータも変更される。
【０１０１】
また、決定操作は、端末１の傾いた角度により設定されるものに限られない。例えば、端末１を揺らす動作によって、調整量の設定が行われてもよい。具体的には、端末１が揺れる方向や回数、速さなどを姿勢検出部１５が検出し、これらを表す数値を運動信号に含めて出力することで、この運動信号を受け取った調整量設定部１６０は、これらの数値に応じて上記の調整量を変更すればよい。また、これら複数の数値をそれぞれ別のパラメータの調整に用いてもよい。
【０１０２】
[変形例１４]
上述した実施形態においては、表示制御部１４０は、表示画面１３１のウインドウｗ１に、周波数の座標軸と音像位置の座標軸の２軸を有する座標系を用いて音像算出結果を表示していたが、さらに多くの軸を有する座標系を用いて表示してもよい。例えば、周波数値に対応する関係値が音像位置だけでなく、変形例１０に示すように位相差も含まれている場合には、周波数の座標軸、音像位置の座標軸、位相差の座標軸の３軸を有する座標系を用いればよい。
【０１０３】
３軸を有する座標系を用いて表示を行う場合には、表示制御部１４０は、ウインドウｗ１に、周波数の座標軸と音像位置の座標軸を有する座標系での表示、および周波数の座標軸と位相差の座標軸を有する座標系での表示など２つ表示により３軸を有する座標系での表示に代えてもよいし、擬似的に３軸の座標系を表現した画像を表示させるようにしてもよい。また、表示画面１３１が立体視ディスプレイなどである場合には、３軸の座標系を立体的に表現した画像を表示させてもよい。
【０１０４】
３軸の座標系を表現した場合において、指定領域として設定すべき領域を指定するときには、一旦２軸の座標系に置き換えて表示された状態で、ユーザーが領域を指定するようにしてもよい。この場合、例えば、ｘ，ｙ，ｚの３軸のうち２軸を選択するのは、（ｘ，ｙ），（ｙ，ｚ），（ｚ，ｘ）の３通りあるので、上述した変形例のように、ウインドウｗ１の上部に、これら３通りの座標系で表される平面をそれぞれ示すタブを設けてもよい。そして、領域設定部１５０は、各タブにより示される平面において指定された全ての座標によって指定領域を設定してもよい。なお、特性値が４つ以上ある場合も、４軸以上の座標系を２軸の座標系の組み合わせで表せばよい。
【０１０５】
[変形例１５]
上述した実施形態において、端末１の制御部１１が制御プログラムを実行することによって実現される信号処理部１００は、処理の対象となる信号として、外部装置からインターフェイス１６を介して入力されるオーディオ信号に対して信号処理を行っていたが、信号処理部１００が処理の対象とする信号は、オーディオ信号に限られない。例えば、信号処理部１００は、部屋の照明を調節する信号を処理してもよい。この場合、表示画面１３１のウインドウｗ１における上下方向および左右方向の各座標軸は、部屋の南北方向や東西方向などにそれぞれ対応付けられ、ウインドウｗ１の表示内容は、その部屋の床位置における明るさを示すものとしてもよい。この場合、床位置における明るさは、東西方向の座標および南北方向の座標にそれぞれ依存している。
【０１０６】
[変形例１６]
上述した実施形態において、端末１は、タッチセンサ１２１、操作ボタン１２２、および姿勢検出部１５を有しているほか、取得部１１０および出力部１９０として機能する制御部１１を有していたが、この制御部１１が制御プログラムを実行することによって実現される信号処理機能のうち、いくつかは端末１の外部装置によって実現されてもよい。例えば、端末１は、表示部１３に相当する表示部や放音装置と接続されているインターフェイスを備えた外部装置と、インターフェイス１６を介して接続されており、端末１の制御部１１は、少なくとも上述した領域設定部１５０および調整量設定部１６０を実現するように構成されていてもよい。この場合、制御部１１は、領域設定部１５０として、操作部１２から出力される操作情報を受け取って指定領域を設定し、設定した指定領域を示す指定領域情報を、インターフェイス１６を介して外部装置に出力する。また、この場合、制御部１１は、調整量設定部１６０として、操作部１２から出力される操作情報を受け取って指定領域における出力レベルの調整量を設定し、設定した調整量を示す調整量設定情報を、インターフェイス１６を介して外部装置に出力する。外部装置の制御部は、上述した、取得部１１０、第１変換部１２０、音像位置算出部１３０、表示制御部１４０、レベル変化部１７０、第２変換部１８０、および出力部１９０にそれぞれ相当する機能を実現すればよい。なお、この外部装置の制御部によって実現される表示制御部は、この外部装置に備えられた表示部を制御し、出力部は、インターフェイスを介してこの外部装置に接続された放音装置に、第２変換部から出力されたオーディオ信号を放音させればよい。要するに、端末１は、ユーザーにより指定された位置や、ユーザーにより傾けられた筐体の姿勢などに応じた信号を外部装置に出力するコントローラであってもよく、端末１の制御部１１は、そのユーザーインターフェイスとしての機能を実現すればよい。
【０１０７】
[変形例１７]
上述した実施形態において、調整量設定部１６０は、特定操作を受け付けてから、特定されたその指定領域に対する調整量の決定操作の受付を開始していたが、調整量の決定操作の受付と同時またはその後に、特定操作の受付を行ってもよい。例えば、ユーザーが或る指定領域の内側の或る点Ｐｘ１を指で押さえて、その指をタッチセンサ１２１に接触させたまま、その指定領域の外側の他の点Ｐｘ２で指を離したとき、調整量設定部１６０は、この操作をこの指定領域に対する特定操作として受け付けるとともに、その指定領域の調整量を決定する決定操作として受け付け、点Ｐｘ１から点Ｐｘ２まで指が移動した軌跡の距離などに応じて、その指定領域の調整量を決定してもよい。なお、調整量設定部１６０は、ユーザーの指が接触したまま移動する操作が、指定領域の外側で開始され内側で終了する軌跡を検出した場合も同様に、その操作を、その指定領域を特定するための特定操作として受け付けるとともに、その指定領域の調整量を決定する決定操作として受け付ければよい。
【０１０８】
[変形例１８]
上述した実施形態における制御プログラムは、磁気記録媒体（磁気テープ、磁気ディスクなど）、光記録媒体（光ディスクなど）、光磁気記録媒体、半導体メモリなどのコンピュータ読み取り可能な記録媒体に記憶した状態で提供し得る。また、端末１は、制御プログラムをネットワーク経由でダウンロードしてもよい。
【符号の説明】
【０１０９】
１…端末、１１…制御部、１２…操作部、１３…表示部、１４…記憶部、１５…姿勢検出部、１６…インターフェイス、１７…通信部、１２１…タッチセンサ、１２２…操作ボタン、１３１…表示画面、１００…信号処理部、１１０…取得部、１２０…第１変換部、１３０…音像位置算出部、１４０…表示制御部、１５０…領域設定部、１６０…調整量設定部、１７０…レベル変化部、１８０…第２変換部、１９０…出力部。
【技術分野】
【０００１】
本発明は、信号処理装置におけるユーザーインターフェイスの技術に関する。
【背景技術】
【０００２】
ステレオのオーディオ信号において、音像位置を周波数帯域別に表示することができる技術が開発されている（例えば、特許文献１）。この技術によれば、ステレオのオーディオ信号が示す音について音像位置を詳細に知ることができる。
【先行技術文献】
【特許文献】
【０００３】
【特許文献１】特許３９１２３８６号公報
【発明の概要】
【発明が解決しようとする課題】
【０００４】
ところで、周波数帯域と音像位置とがそれぞれ特定の範囲にあるオーディオ信号の出力レベルを抽出して調整することができると便利である。また、オーディオ信号に限らず、２つ以上の特性値に依存する信号のうち、その各特性値がそれぞれ特定の範囲にあるものを対象として調整することができると便利である。発明者は、このような調整をするための信号処理装置を発明した。しかしながら、ユーザーが、調整の対象となる信号と、その信号の値の調整量とを直感的に分かりやすい操作で指定するユーザーインターフェイスはなかった。
【０００５】
本発明は、上述の事情に鑑みてなされたものであり、２以上の特性値に依存する信号のうち、それらの特性値が特定の範囲にあるものについて、座標系における位置を指定する操作により、その信号の値を調整することを目的とする。
【課題を解決するための手段】
【０００６】
上述した課題を解決するため、本発明に係るユーザーインターフェイス装置は、２以上の特性値に依存する信号の値を取得する取得手段と、前記２以上の特性値をそれぞれ表す座標軸を有する座標系が設定された検出領域を有し、当該検出領域に設定された前記座標系においてユーザーにより指定された位置を検出する検出手段と、前記検出手段により第１の位置が検出されると、前記座標系において当該第１の位置に応じた指定領域を特定する特定手段と、前記特定手段により前記指定領域が特定される場合に、前記検出手段により第２の位置を複数回検出し、検出された当該第２の位置の軌跡に応じて、当該指定領域に属する座標値に対応する前記信号の値の調整量を決定する決定手段と、前記指定領域に属する座標値に対応する前記信号の値を前記決定手段により決定された前記調整量で変更して、信号処理を行う信号処理手段に出力する変更手段とを具備することを特徴とする。
【０００７】
好ましくは、前記決定手段は、前記第２の位置の軌跡が、前記特定手段により特定された指定領域の外側から内側に向かって移動するものである場合に、前記調整量を増加させ、当該指定領域の内側から外側に向かって移動するものである場合に、前記調整量を減少させるとよい。
【０００８】
また、好ましくは、前記決定手段は、前記軌跡の距離、前記軌跡の始点と終点とを結ぶ直線距離、または前記軌跡を前記座標系のいずれかの座標軸に射影した線分の長さに応じて、前記調整量を決定するとよい。
【０００９】
また、好ましくは、前記決定手段は、前記第２の位置の軌跡が、前記特定手段により特定された指定領域の外側を移動するものである場合に、当該軌跡の始点から終点に向かうベクトルに含まれる予め定められた方向の成分に応じて、前記調整量を決定するとよい。
【００１０】
また、本発明に係るユーザーインターフェイス装置は、２以上の特性値に依存する信号の値を取得する取得手段と、前記２以上の特性値をそれぞれ表す座標軸を有する座標系が設定された検出領域を有し、当該検出領域に設定された前記座標系においてユーザーにより指定された位置を検出する検出手段と、前記検出手段により位置が検出されると、前記座標系において当該位置に応じた指定領域を特定する特定手段と、自装置の姿勢を検出する姿勢検出手段と、前記特定手段により前記領域が特定される場合に、前記姿勢検出手段により検出される姿勢に応じて、当該指定領域に属する座標値に対応する前記信号の値の調整量を決定する決定手段と、前記指定領域に属する座標値に対応する前記信号の値を決定された前記調整量で変更して、信号処理を行う信号処理手段に出力する変更手段と、を具備することを特徴とする。
【発明の効果】
【００１１】
本発明によれば、２以上の特性値に依存する信号のうち、それらの特性値が特定の範囲内にあるものについて、座標系における位置を指定する操作により、その信号の値を調整することができる。
【図面の簡単な説明】
【００１２】
【図１】本発明の実施形態における端末の外観を説明する図である。
【図２】本発明の実施形態における端末の構成を説明するブロック図である。
【図３】本発明の実施形態における信号処理機能の構成を説明する機能ブロック図である。
【図４】本発明の実施形態における表示画面の表示例を説明する図である。
【図５】本発明の実施形態における指定領域が表示された表示画面の表示例を説明する図である。
【図６】本発明の実施形態における決定操作を説明する図である。
【図７】本発明の変形例１における指定領域に設定される調整量を説明する図である。
【図８】本発明の変形例１における指定領域が表示された表示画面の表示例を説明する図である。
【図９】本発明の変形例２における指定領域を説明する図である。
【図１０】本発明の変形例３における表示画面の表示例を説明する図である。
【図１１】本発明の変形例４における操作の例を示す図である。
【図１２】本発明の変形例５における表示画面の例を示す図である。
【図１３】本発明の変形例６における表示画面の表示例を説明する図である。
【図１４】本発明の変形例７における表示画面の表示例を説明する図である。
【図１５】本発明の変形例８において設定される指定領域を説明する図である。
【発明を実施するための形態】
【００１３】
＜実施形態＞
[端末１の構成]
図１は、本発明の実施形態における端末１の外観を説明する図である。端末１は、携帯電話、ＰＤＡ（Personal Digital Assistant）、音楽プレイヤなどの携帯可能な情報処理端末である。なお、端末１は、携帯可能な情報処理端末に限らず、パーソナルコンピュータなどであってもよい。
図１に示すように、端末１は、筐体の前面に、タッチセンサ１２１、操作ボタン１２２、および表示画面１３１を有する。タッチセンサ１２１は、表示画面１３１の前面に設けられ、表示画面１３１とともに、タッチパネルを構成している。操作ボタン１２２は、図１においては、１つのみであるが、複数であってもよいし、なくてもよい。
【００１４】
図２は、本発明の実施形態における端末１の構成を説明するブロック図である。端末１は、制御部１１、操作部１２、表示部１３、記憶部１４、姿勢検出部１５、インターフェイス１６、通信部１７を有する。これらの各構成は、互いにバスで接続されている。
【００１５】
制御部１１は、ＣＰＵ（Central Processing Unit）、ＲＡＭ（Random Access Memory）、ＲＯＭ（Read Only Memory）などを有する。制御部１１は、ＲＯＭまたは記憶部１４に記憶された制御プログラムを実行することにより、バスを介して端末１の各部を制御する。この例においては、制御部１１は、制御プログラムを実行することにより、指定された信号処理を、オーディオ信号に対して行う信号処理機能などの各種機能を実現する。この例においては、各種機能には、一般的な携帯電話、ＰＤＡ、音楽プレイヤなどが有する機能が含まれているが、必ずしも含まれていなくてもよい。
【００１６】
操作部１２は、ユーザーからの操作を受け付けるタッチセンサ１２１および操作ボタン１２２を有し、それぞれに受け付けられた操作の内容を示す操作情報を制御部１１に出力する。このタッチセンサ１２１は、ユーザーにより指定された位置を検出する検出領域を有する。そして、このタッチセンサ１２１は、この検出領域において複数箇所への同時の接触を検知する、いわゆるマルチタッチセンサになっている。以下、ユーザーからの指定は、特に示していない限り、操作部１２を介して行われる操作によって行われるものとする。
表示部１３は、液晶ディスプレイなどの表示画面１３１を有する表示デバイスであり、制御部１１の制御に応じた内容の表示を表示画面１３１に行う。信号処理機能が実現されているときには、表示画面１３１には、処理対象となるオーディオ信号に関する表示、信号処理の内容を指定するための表示などがなされる。
【００１７】
記憶部１４は、ハードディスク、不揮発性メモリなどの記録媒体である。記憶部１４は、楽曲の内容を示す複数チャンネルのオーディオ信号などが記憶される領域を有する。この例において、複数チャンネルとは、ステレオ２ｃｈ（Ｌｃｈ、Ｒｃｈ）である。
【００１８】
姿勢検出部１５は、加速度センサ、角速度センサなどを有し、端末１の筐体の動きを検出し、運動信号を出力する。
インターフェイス１６は、外部装置と接続し、オーディオ信号など各種情報の入出力をするための端子を有する。端子の中には、例えば、ヘッドフォン、スピーカなどの放音手段を接続し、オーディオ信号を接続された放音手段に供給する端子が含まれる。
通信部１７は、制御部１１の制御に応じて、他の装置と無線、有線により通信を行う。以上が、端末１のハードウエア構成についての説明である。
【００１９】
[機能構成]
次に、端末１の制御部１１が制御プログラムを実行することによって実現される信号処理機能について説明する。なお、以下に説明する信号処理機能を実現する信号処理部１００における各構成の一部または全部については、ハードウエアによって実現してもよい。
【００２０】
図３は、本発明の実施形態における信号処理機能の構成を説明する機能ブロック図である。信号処理機能を実現する信号処理部１００は、取得部１１０、第１変換部１２０、音像位置算出部１３０、表示制御部１４０、領域設定部１５０、調整量設定部１６０、レベル変化部１７０、第２変換部１８０、および出力部１９０を有する。
取得部１１０は、記憶部１４に記憶されているオーディオ信号のうち、ユーザーによって指定された楽曲のオーディオ信号を取得して、第１変換部１２０に出力する。なお、取得部１１０は、外部装置からインターフェイス１６を介して入力されるオーディオ信号を取得するようにしてもよい。
【００２１】
第１変換部１２０は、取得部１１０から出力されたオーディオ信号について、Ｌｃｈ、Ｒｃｈの各々に対して、予め決められた時間長のフレームごとに、ＦＦＴ（Fast Fourier Transform）処理を施して周波数スペクトルに変換する。周波数スペクトルは、周波数値（ｆ１、ｆ２、・・・ｆｎ）と出力レベル（Ａ１、Ａ２、・・・、Ａｎ）との対応関係、すなわち、出力レベルの周波数依存性を示している。
【００２２】
ここで、Ｌｃｈのオーディオ信号から変換された周波数スペクトルの出力レベルについては、（ＡＬ１、ＡＬ２、・・・、ＡＬｎ）といい、Ｒｃｈのオーディオ信号から変換された周波数スペクトルの出力レベルについては、（ＡＲ１、ＡＲ２、・・・、ＡＲｎ）というものとする。
第１変換部１２０は、このようにして得られたフレーム毎の周波数スペクトルを音像位置算出部１３０およびレベル変化部１７０に出力する。
【００２３】
音像位置算出部１３０は、第１変換部１２０から出力された周波数スペクトルに基づいて、各チャンネル間の出力レベルの関係を示す関係値としての音像位置を、各周波数値に対応して算出する。音像位置算出部１３０は、各周波数値に対応して、各チャンネル間の出力レベルの比を用いて以下の式（１）により音像位置Ｐｉを算出する（ｉ＝１〜ｎ）。
Ｐｉ＝２／π×ａｒｃｔａｎ（ＡＲｉ／ＡＬｉ） ・・・（１）
【００２４】
この音像位置Ｐｉは、「０」に近いほどＬｃｈ側（ユーザーから見て左側）、「１」に近いほどＲｃｈ側（ユーザーから見て右側）に音像が位置していることを示している。また、音像位置Ｐｉが「０．５」であれば、中央に音像が位置していることを示している。
音像位置算出部１３０は、このようにして周波数値（ｆ１、ｆ２、・・・ｆｎ）と音像位置（Ｐ１、Ｐ２、・・・、Ｐｎ）との対応関係を算出して、各フレームに対応した音像算出結果を示す情報として表示制御部１４０およびレベル変化部１７０に出力する。なお、この音像位置の算出方法は、上記算出方法に限られず、各チャンネルの出力レベルの関係に応じて算出する方法であれば他の算出方法を用いてもよい。
【００２５】
表示制御部１４０は、音像位置算出部１３０における音像算出結果に基づく内容を、表示部１３の表示画面１３１に表示させる。表示画面１３１に表示される表示例について、図４を用いて説明する。
【００２６】
図４は、本発明の実施形態における表示画面１３１の表示例を説明する図である。図４（ａ）に示すように、表示制御部１４０は、表示部１３を制御して、表示画面１３１にウインドウｗ１、ｗ２、ｗ３を表示させる。表示制御部１４０は、ウインドウｗ１には、音像算出結果に基づく内容を表示させ、ウインドウｗ２には、各種指定をするための操作ボタンを表示させ、ウインドウｗ３には、表示画面１３１に表示させている内容に関連する情報（楽曲名など）を表示させる。
【００２７】
ウインドウｗ１には、図４（ｂ）に示す関係の座標軸を有する座標系で音像算出結果をプロットした表示がなされる。ウインドウｗ１の上下方向の座標軸は周波数（上方向が高い周波数値）を示し、左右方向の座標軸は音像位置を示す。このようにしてウインドウｗ１に表示された音像算出結果の表示例が図４（ａ）に示されている。図４（ａ）に示すウインドウｗ１の表示内容は、特定のフレームにおける音像算出結果を示すものであるが、音像算出結果はフレーム毎に得られる結果であるから、時刻の進行に伴って変化していく。なお、上下・左右方向の各座標軸によって表される周波数および音像位置は、いずれもオーディオ信号が有する特性値の一例である。ここで、特性値とは、信号の特性を示す物理量や数値をいう。そして、特性値を有する信号は、その特性値に依存する。例えば、各チャンネルの周波数毎の出力レベルはそれぞれ、周波数に依存するとともに、音像位置にも依存している。
図４（ａ）に示す表示例に対応する音は、概ね中央部分に音像が定位するとともに、高周波数帯域において右側に寄った位置にも音像が定位しているように、ユーザーによって知覚される。
【００２８】
なお、表示制御部１４０は、ウインドウｗ１に表示された音像算出結果を示す各点の表示態様を、出力レベルに応じて変化させるようにしてもよい。変化させる内容としては、明度、彩度、輝度などである。この場合には、音像位置算出部１３０は、音像算出結果に、さらに出力レベルの加算値（ＡＬｉ＋ＡＲｉ）など、出力レベルの絶対値を示す情報が含まれるようにして、表示制御部１４０に出力するようにすればよい。
【００２９】
また、表示制御部１４０は、音像算出結果を点により示していたが、点に限られない。例えば、線、特定のマーク、ウインドウｗ１内を出力レベルに応じてグラデーション表示するなど、様々な態様での表示が可能である。
さらに、表示制御部１４０は、図４（ｂ）に示す座標軸を、図４（ａ）に示す音像算出結果とともに表示するようにしてもよい。
【００３０】
図３に戻って説明を続ける。領域設定部１５０は、操作部１２から出力される操作情報に応じて、表示画面１３１のウインドウｗ１に表示されている座標系によって示される領域の一部を指定領域として設定する。指定領域とは、出力レベルを変化させる処理の対象となる周波数値を抽出するための領域であり、周波数の範囲（以下、指定周波数範囲という）、音像位置の範囲（以下、指定音像範囲という）を定める領域である。領域設定部１５０は、設定した指定領域を示す指定領域情報を表示制御部１４０およびレベル変化部１７０に出力する。
領域設定部１５０は、このようにして出力した指定領域情報を表示制御部１４０に取得させて、表示画面１３１のウインドウｗ１に指定領域を表示させる。図４（ａ）に示す表示がなされている状態で、座標系における一部領域が指定領域として設定された場合の表示例について、図５を用いて説明する。
【００３１】
図５は、本発明の実施形態における指定領域が表示された表示画面１３１の表示例を説明する図である。図５（ａ）に示す例においては、指定領域ｓ１が設定された状態を示している。ユーザーがウインドウｗ２における操作ボタンのうち指定領域を出現させる操作ボタンを操作し、指定領域ｓ１として指定したい領域の左上の頂点ｓ１ａとなるべき位置と右下の頂点ｓ１ｂとなるべき位置とを指定する操作（その位置に接触するなどの操作）をすると、領域設定部１５０は、指定された領域を指定領域ｓ１として設定する。これにより、表示制御部１４０は、指定領域ｓ１を表示画面１３１に表示する。
【００３２】
なお、領域設定部１５０は、図５（ａ）に示すように１つの領域を指定領域（指定領域ｓ１）として設定する場合に限られず、図５（ｂ）に示すように、複数の領域を指定領域（指定領域ｓ１、ｓ２）として設定することもできる。この場合、領域設定部１５０は、設定された複数の指定領域のそれぞれについて相互に識別可能なように識別情報を付して記憶する。なお、領域設定部１５０が座標系における一部の領域を指定領域として設定するために行われるユーザーの操作は、一例であって、他の操作によって指定されるようにしてもよい。
【００３３】
図３に戻って説明を続ける。調整量設定部１６０は、操作部１２から出力される操作情報に応じて、指定領域における出力レベルの調整量を設定する。調整量設定部１６０は、設定対象とした指定領域と設定した調整量とを示す調整量設定情報をレベル変化部１７０に出力する。調整量は、出力レベルに対して乗算する値として規定され、この例においては、０％から２００％までの範囲で規定される。
【００３４】
例えば、調整量が１００％であれば、レベル変化部１７０における出力レベル調整が行われず、１００％未満であれば、出力レベルを減少させる調整、１００％より大きければ出力レベルを増加させる調整が行われることになる。なお、調整量は、％により規定されるものに限られず、例えば、ｄＢなどにより規定されてもよい。また、相対的な量として規定されるだけでなく、絶対的な量として規定されてもよい。また、ある特定の出力レベルに揃えるような規定であってもよい。
【００３５】
調整量設定部１６０は、操作部１２を介して、指定領域を特定する操作（以下、特定操作という）、および、特定された指定領域の調整量を決定する操作（以下、決定操作という）を受け付ける。調整量設定部１６０は、特定操作を受け付けて１つ以上の指定領域が特定されたときに、特定された指定領域の識別情報をＲＡＭに記憶し、その指定領域に対する決定操作の受付を開始する。なお、この時点で、調整量設定部１６０は、指定領域の特定を解除するための操作（以下、特定解除操作という）の受け付けも開始する。特定解除操作を受け付けると、調整量設定部１６０は、記憶された指定領域のうち、受け付けた特定解除操作が示す指定領域をＲＡＭから削除する。そして、ＲＡＭに指定領域が１つも記憶されていない状態に至った場合に調整量設定部１６０は、決定操作および特定解除操作の受付を停止する。
以下に、主に特定操作および決定操作の例を説明する。
【００３６】
（１）特定操作
（１−１）調整量設定部１６０は、領域設定部１５０から出力される指定領域情報を取得し、操作部１２のタッチセンサ１２１が出力する操作情報を受け取って、表示画面１３１のウインドウｗ１に表示させられた指定領域の内側に相当する部分への接触があったか否かを判定する。そして、指定領域の内側に相当する部分が接触されている場合にはその指定領域が特定されたものと解釈し、調整量設定部１６０は、その指定領域の識別情報をＲＡＭに記憶する。この操作方法において、調整量設定部１６０は、指定領域の内側部分に接触し続けている間に限り、その指定領域が特定された状態を維持する。すなわち、ユーザーの指などが指定領域の内側部分から離れた場合に、調整量設定部１６０は、これを設定解除操作として受け付け、その指定領域の特定を解除する。
【００３７】
（１−２）上述した特定操作（１−１）を受け付ける場合、ユーザーの指などが指定領域の内側部分を押し続けている間だけ、調整量設定部１６０は、その指定領域が特定された状態を維持するため、表示画面１３１のウインドウｗ１に表示された指定領域は、自動復帰型のいわゆるプッシュスイッチとして機能するが、操作の度に変化する状態を保持する、いわゆるプッシュロックスイッチやトグルスイッチとして機能するようにしてもよい。例えば、調整量設定部１６０は、予め決められた検知周期（例えば０．５秒など）の間に指定領域の内側部分への接触や離脱、または接触から離脱までの一連の動作が１回あったとき、その指定領域が特定されたものと解釈してその指定領域の識別情報をＲＡＭに記憶してもよい。この場合、識別情報が記憶されたその指定領域の内側部分へさらに接触などがあったときに、その指定領域の特定が解除されてもよい。
【００３８】
この操作方法において、この検知周期における接触などの回数に応じて操作の解釈を変えてもよい。すなわち、判定する接触などの回数は、１回に限られず、例えば、この検知周期に上記の指定領域の内側部分への接触などが３回以上あった場合に、その指定領域が特定または解除されたものと解釈するようにしてもよい。
一般に、端末を指で操作するとき、その操作に用いることができる指の数は限りがあるので、指定領域が自動復帰型のプッシュスイッチとして機能する場合には、操作に用いることが可能な指の数が特定できる指定領域の数となるが、上記のように、指定領域をいわゆるトグルスイッチとして機能させることにより、ユーザーは、上記の指の数を超えた数の指定領域を特定することができる。
【００３９】
（１−３）上述した特定操作（１−２）を受け付ける場合、調整量設定部１６０は、予め決められた検知周期の間に指定領域の内側部分への接触などがあることを、状態を遷移させるためのいわゆるジェスチャとして解釈したが、ジェスチャはこれに限られず、様々な態様が採用され得る。調整量設定部１６０は、例えば、ユーザーが指で指定領域の内側部分に環や十字、チェックマークなどを描いた場合に、これを状態遷移のきっかけとなるジェスチャとして解釈してもよいし、予め定められた待ち時間（例えば、２秒など）にわたり、その内側部分を押し続けた後に指を離した場合に、これを上記のジェスチャとして解釈してもよい。また、調整量設定部１６０は、環が描かれたことを検知する場合に、時計回りと反時計回りとで異なるジェスチャとして解釈してもよく、例えば、時計回りに環が描かれた場合には、指定領域の特定として解釈し、反時計回りで環が描かれた場合には、指定領域の解除として解釈するようにしてもよい。
【００４０】
なお、ここでいう環とは、軌跡の一部がその軌跡の他の部分と交差するものをいう。また、上述したように指定領域が特定された場合に表示制御部１４０は、特定された指定領域の内部や境界線の色を変更したり、明滅させたり、境界線の太さや種類を変更したりすることで、ユーザーにその指定領域が特定されていることを知らしめてもよい。
このようにして、ユーザーが、調整量を設定したい指定領域を特定する特定操作が調整量設定部１６０によって受け付けられると、その特定操作により特定された指定領域の識別情報が一時的に記憶され、特定されたその指定領域に対する調整量の決定操作の受付が開始される。
【００４１】
（２）決定操作
次に、調整量設定部１６０により受け付けられる決定操作について図６を用いて説明する。図６は、決定操作を説明する図である。
（２−１）調整量設定部１６０は、操作部１２のタッチセンサ１２１が出力する操作情報を受け取って、表示画面１３１のウインドウｗ１への接触があったか否かを判定する。そして、接触があったと判定した場合に、調整量設定部１６０は、接触された位置の変化を監視し、ウインドウｗ１に接触した指などが離脱するまでの軌跡を記憶する。そして、調整量設定部１６０は、この軌跡が、例えば、特定操作により特定された指定領域の外側への接触で開始され、その指定領域の境界を越えて移動し、その内側における離脱で終了している場合に、その指定領域に対する調整量を増加させる。
【００４２】
一方、上記の軌跡が、特定操作により特定された指定領域の内側への接触で開始され、その指定領域の境界を越えて移動し、その外側における離脱で終了している場合に、調整量設定部１６０は、その指定領域に対する調整量を減少させる。この場合、増加または減少させる量は、上記の軌跡の距離またはその軌跡の始点と終点とを結ぶ直線距離などに応じて決定されてもよいし、上記の軌跡を座標系のいずれかの座標軸に射影した線分の長さに応じて決定されてもよい。
【００４３】
例えば、図６（ａ）に示すように、ユーザーが指定領域ｓ１の内側にある点Ｐ１を指で押さえたことにより、この指定領域ｓ１が特定されたとする。これに続いて、ユーザーが指定領域ｓ１の外側の点Ｐ２を指で押さえ、その指をタッチセンサ１２１に接触させたまま軌跡ｔｒ２３に沿って動かし、指定領域ｓ１の内側の点Ｐ３で離したとすると、調整量設定部１６０は、この軌跡ｔｒ２３を記憶するとともに、この軌跡ｔｒ２３が、特定操作により特定された指定領域ｓ１の外側への接触で開始され、指定領域ｓ１の境界を越えて移動し、その内側における離脱で終了していると判定し、軌跡ｔｒ２３の距離などに応じて指定領域ｓ１の調整量を増加させる。
【００４４】
一方、同図に示すようにユーザーが指定領域ｓ１の内側の点Ｐ４を指で押さえ、その指をタッチセンサ１２１に接触させたまま軌跡ｔｒ４５に沿って動かし、指定領域ｓ１の外側の点Ｐ５で離したとすると、調整量設定部１６０は、この軌跡ｔｒ４５を記憶するとともに、この軌跡ｔｒ４５が、特定操作により特定された指定領域ｓ１の内側への接触で開始され、指定領域ｓ１の境界を越えて移動し、その外側における離脱で終了していると判定し、軌跡ｔｒ４５の距離などに応じて指定領域ｓ１の調整量を減少させる。
【００４５】
この決定操作によれば、ユーザーは、特定された指定領域の外側から内側に向けて指を滑らせることで、その指定領域の調整量を増加させることができるので、あたかも砂場で砂を集めるかのように、その指定領域に調整量を集める感覚で決定操作をすることができる。
また、ユーザーは、特定された指定領域の内側から外側に向けて指を滑らせることで、その指定領域の調整量を減少させることができるので、あたかも砂場で穴を掘るかのように、その指定領域から調整量を取り除く感覚で決定操作をすることができる。
【００４６】
なお、上記の軌跡の向きと調整量の増減とは、上記とは逆に関連付けられていてもよい。すなわち、例えば、ユーザーが特定された指定領域の外側から内側に向けて指を滑らせた場合に、その指定領域の調整量が減少するように構成されていてもよい。
【００４７】
（２−２）上述した決定操作（２−１）を受け付ける場合、調整量設定部１６０は、記憶する軌跡が、その指定領域の内側において特定操作の際に検知した位置に対して予め定められた閾値よりも近づいたか否かを判断し、この判断結果によって処理を変えることはなかったが、このような判断を行って処理を変えるようにしてもよい。
【００４８】
例えば、図６（ｂ）に示すように、ユーザーが指定領域ｓ１の内側にある点Ｐ６を指で押さえたことにより、この指定領域ｓ１が特定されたとする。これに続いて、ユーザーが指定領域ｓ１の外側の点Ｐ７を指で押さえ、その指をタッチセンサ１２１に接触させたまま軌跡ｔｒ７８に沿って動かし、指定領域ｓ１の内側の点Ｐ８で離したとすると、調整量設定部１６０は、この軌跡ｔｒ７８を記憶するとともに、この軌跡ｔｒ７８が、特定操作により特定された指定領域ｓ１の外側への接触で開始され、指定領域ｓ１の境界を越えて移動し、その内側における離脱で終了していると判定する。そして、調整量設定部１６０は、特定操作の際に検知した点Ｐ６と、上記の軌跡ｔｒ７８の終点である点Ｐ８との上下方向（図４（ｂ）参照）の距離Ｄ６８を特定し、特定した距離Ｄ６８を予め定められた閾値ＤＬと比較する。
【００４９】
この場合、比較の結果、距離Ｄ６８が閾値ＤＬ以上であると判定されるので、調整量設定部１６０は、この一連の操作を「指定領域ｓ１の調整量を増加させる決定操作」として受け取り、軌跡ｔｒ７８の距離などに応じて指定領域ｓ１の調整量を増加させる。
【００５０】
一方、同図に示すようにユーザーが点Ｐ７を指で押さえ、その指を軌跡ｔｒ７９に沿って動かし、指定領域ｓ１の内側の点Ｐ９で離したとすると、調整量設定部１６０は、この軌跡ｔｒ７９を記憶するとともに、この軌跡ｔｒ７９が、特定操作により特定された指定領域ｓ１の外側への接触で開始され、指定領域ｓ１の境界を越えて移動し、その内側における離脱で終了していると判定する。そして、調整量設定部１６０は、特定操作の際に検知した点Ｐ６と、上記の軌跡ｔｒ７９の終点である点Ｐ９との上下方向の距離Ｄ６９を特定し、特定した距離Ｄ６９を予め定められた閾値ＤＬと比較する。
【００５１】
この場合、比較の結果、距離Ｄ６９が閾値ＤＬよりも小さいと判定されるので、調整量設定部１６０は、この一連の操作を決定操作以外の操作として受け取り、その操作に応じた処理を行わせる。例えば、調整量設定部１６０は、指定領域ｓ１自体を縮小させるための操作として上記の操作を受け取ってもよい。この場合、調整量設定部１６０は、操作の内容を領域設定部１５０に引渡し、これを受け取った領域設定部１５０は、上記の軌跡ｔｒ７９の距離や方向に応じて、指定領域ｓ１を縮小して設定し直すようにしてもよい。
なお、閾値ＤＬと比較されるのは、軌跡の始点と終点との上下方向の距離に限られず、左右方向の距離や、軌跡自体の距離などであってもよい。また、比較される閾値は１つに限られず、２つ以上であってもよい。
【００５２】
この決定操作によれば、ユーザーは、タッチセンサ１２１に対する２箇所の指定位置を拡げたり狭めたりするという点において、共通する操作に対し、２つ以上の意味を持たせることができる。すなわち、上記の２箇所の指定位置が予め定められた閾値以上の距離を保ったまま操作された場合には、この操作は、調整量設定部１６０により調整量を設定する決定操作として処理され、上記の２箇所の指定位置が予め定められた閾値未満の距離になるように操作された場合には、この操作は、調整量設定部１６０により、決定操作以外の操作として、信号処理機能の他の機能に操作内容を引き渡される。これにより、ユーザーはより直感的な操作を行うことができる。
【００５３】
なお、調整量設定部１６０が調整量を設定するために行われるユーザーの上記の操作は、一例であって、他の操作によって指定されるようにしてもよい。例えば、指定領域の調整量は、ウインドウｗ２の操作ボタンを操作するなどして、設定されるようにしてもよい。
【００５４】
図３に戻って説明を続ける。レベル変化部１７０は、音像算出結果と指定領域情報とを比較して、指定領域に含まれる音像算出結果に対応する周波数値を抽出する。具体的には、レベル変化部１７０は、音像算出結果を参照して、指定音像範囲に含まれる音像位置に対応する周波数値のうち、指定周波数範囲に含まれる周波数値を抽出する。図５（ａ）に示す例においては、音像算出結果のうち点ｄ１（ｆｘ、Ｐｘ）は、指定領域ｓ１に含まれるが、点ｄ２（ｆｙ、Ｐｙ）は、指定領域に含まれないため、レベル変化部１７０は、周波数値ｆｘについては抽出するが、周波数値ｆｙについては抽出しない。
【００５５】
そして、レベル変化部１７０は、第１変換部１２０から出力された周波数スペクトルのうち、抽出した周波数値に対応する出力レベル（以下、この周波数値に対応する出力レベルにより生じる音を「指定領域に含まれる音」という）を、調整量設定情報が示す調整量で増減させる。図５（ａ）に示す例において、指定領域ｓ１に設定された調整量がＺ％である場合には、レベル変化部１７０は、周波数スペクトルのうち、指定領域ｓ１に含まれる音の出力レベルを、各チャンネルともＺ／１００倍となるように変化させる。すなわち、第１変換部１２０から出力された周波数スペクトルのうち、点ｄ１に対応する値は、Ｌｃｈ（ｆｘ、ＡＬｘ）、Ｒｃｈ（ｆｘ、ＡＲｘ）であるが、レベル変化部１７０は、Ｌｃｈ（ｆｘ、ＡＬｘ×Ｚ／１００）、Ｒｃｈ（ｆｘ、ＡＲｘ×Ｚ／１００）に変化させる。Ｚ＝０であれば、後述するようにして出力される音からは、指定領域ｓ１に含まれる音が聴こえなくなることになる。
レベル変化部１７０は、各フレームに対応して、上述のように、指定領域に含まれる音の出力レベルを変化させた各チャンネルの周波数スペクトルを、第２変換部１８０に出力する。
【００５６】
第２変換部１８０は、レベル変化部１７０から出力される各チャンネルの周波数スペクトルに対してＩＦＦＴ（Inverse Fast Fourier Transform）処理を施して、各チャンネルのオーディオ信号に変換する。第２変換部１８０は、変換したオーディオ信号を出力部１９０に出力する。
出力部１９０は、第２変換部１８０から出力されたオーディオ信号を、インターフェイス１６に出力し、インターフェイス１６に接続されるスピーカなどの放音装置から放音させる。
【００５７】
このように、信号処理部１００は、取得した複数チャンネルのオーディオ信号を周波数スペクトルに変換し、各周波数に対応した音像位置を算出して、周波数および音像位置の座標軸をもつ座標系を用いて表示画面１３１に表示する。ユーザーによって指定された座標系における一部領域が指定領域として設定され、また出力レベルの調整量が設定されることにより、信号処理部１００は、周波数スペクトルのうち指定領域に含まれる音の出力レベルを調整し、オーディオ信号に変換して出力する。
これにより、ユーザーは、表示画面１３１に表示された音像算出結果を見ながら、直感的に一部領域を指定することができ、この領域を指定領域として領域設定部１５０に設定させ、指定領域に含まれる音を大きくしたり、小さくしたりすることができる。
【００５８】
例えば、オーディオ信号が示す音が複数の楽器を用いた演奏をステレオで録音したものである場合に、ユーザーは、特定の楽器の音像に対応する部分を指定して指定領域として設定させ、指定領域に対して調整量を指定して設定させることにより、その特定の楽器の音量を小さくした音をスピーカから出力させることもできる。このようにすると、ユーザーは、出力された音にあわせて、音量を小さくした特定の楽器を用いて演奏することで、カラオケのようにして楽しむこともできる。このとき、特定の楽器の音量を完全に消してしまうのではなく、聴こえる程度に特定の楽器の音を残しておくことで、その音を聴きながら楽器の練習をするということもできる。
これとは反対に、ユーザーは、指定領域に対する調整量の設定により、特定の楽器の音量を大きくした音をスピーカから出力させることもできる。このようにして、ユーザーは、好みの楽器の音量を大きくして聴いたり、特定の楽器の音を詳細に聴いたりすることができる。
【００５９】
また、ユーザーは、図５（ｂ）に示すようにして、複数の楽器の音像に対応する部分を指定することにより、複数の楽器を用いたカラオケを楽しんだり、複数の楽器の音を強調して聴いたりすることもできる。
なお、調整量の設定においては、一方の指定領域に含まれる音を小さくし、他方の指定領域に含まれる音を大きくすることもできる。例えば、ユーザーは、左端に音像が定位しているギターの音量を大きくし、そのギターの少し右側に音像が定位している別のギターの音量を小さくするように設定することにより、類似した音の一方の音量を小さくして、特定の楽器の演奏をより明瞭に聴き取ることもできる。
【００６０】
＜変形例＞
以上、本発明の実施形態について説明したが、本発明は以下のように、さまざまな態様で実施可能である。
[変形例１]
上述した実施形態において、調整量設定部１６０によって設定される調整量は、指定領域のどの位置においても同じ量として設定されていたが、指定領域内における位置に応じて異なる量となるように設定されてもよい。例えば、図７に示すように調整量が設定されればよい。
【００６１】
図７は、本発明の変形例１における指定領域に設定される調整量を説明する図である。図７（ａ）は、実施形態において設定される調整量を示す図である。図７（ｂ）は、変形例１において設定される調整量の一例を示す図である。
上述した実施形態においては、例えば、図７（ａ）に示すように、指定領域ｓ１の音像位置の座標軸方向（ａ−ａ方向）および周波数の座標軸方向（ｂ−ｂ方向）について、どの位置においても同じ調整量Ｌ０として設定されている。一方、変形例１においては、例えば、図７（ｂ）に示すように、指定領域ｓ１の音像位置の座標軸方向（ａ−ａ方向）および周波数の座標軸方向（ｂ−ｂ方向）について、位置に応じて調整量が変化するように設定される。この例においては、指定領域ｓ１のうち中央部が周辺部に比べて調整量が小さくなるように設定された状態を示している。
【００６２】
この場合には、レベル変化部１７０は、指定領域ｓ１に含まれる音の周波数値および音像位置に対応した調整量を、抽出する周波数値に対応させて決定すればよい。そして、レベル変化部１７０は、指定領域ｓ１に含まれる音の各周波数値に対応する出力レベルを変化させるときには、それぞれの周波数値に対応して決定した調整量に応じて変化させればよい。このようにすれば、信号処理部１００は、指定領域に含まれる音について、その指定領域内における位置に応じて異なる調整量で音量を調整して出力することもできる。例えば、図７（ｂ）に示すように調整量が設定されている場合には、信号処理部１００は、指定領域ｓ１の周辺部に対応する音ほど大きな音量で出力することができる。
【００６３】
なお、調整量を設定するための決定操作は、このような指定領域内における位置に応じて異なる量を設定する操作を含むものであってもよい。例えば、上述した決定操作は、指定領域の外側で接触したら内側で離脱し、内側で接触したら外側で離脱するものであって、必ずその指定領域の境界を越えて移動するものであったが、指定領域の内側の一点から同じ内側にある別の一点へ移動する操作によって、その指定領域内における位置に応じて異なる量を設定してもよい。図８は、本発明の変形例１における指定領域が表示された表示画面の表示例を説明する図である。例えば、図８に示すように、指定領域ｓ１の内側であって周辺部の点Ｐａで接触が開始され、同じく内側であって点Ｐａよりも中央にある点Ｐｂで離脱する操作がされた場合、調整量設定部１６０は、点Ｐａに対応する音の周波数値および音像位置の調整量を減少させ、点Ｐｂに対応する音の周波数値および音像位置の調整量を増加させるようにすればよい。逆に中央部から周辺部へ移動する決定操作が行われた場合に、調整量設定部１６０は、中央部に対応する調整量を減少させ、周辺部に対応する調整量を増加させるようにすればよい。なお、「指定領域ｓ１において点Ｐｂが点Ｐａよりも中央にある」とは、点Ｐｂが点Ｐａよりも、その指定領域ｓ１の重心や中心の近くにあることを意味する。例えば、図８に示したように、指定領域ｓ１が矩形の場合、点Ｐｂは点Ｐａよりもその矩形の中心Ｐｃに近いということを意味する。
【００６４】
[変形例２]
上述した実施形態において、領域設定部１５０は、複数の領域を指定領域として設定する場合に、これらの指定領域の一部が重なった領域を指定領域として設定してもよい。このような場合の説明について図９を用いて説明する。
【００６５】
図９は、本発明の変形例２における指定領域を説明する図である。この例においては、指定領域ｓ１と指定領域ｓ２とが重複する重複領域ｓｄ１２が存在するように、領域設定部１５０によって設定されている。レベル変化部１７０は、このような重複領域に含まれる音については、重複領域を構成する指定領域の各々に対して設定された調整量に応じて、重複領域に対応する調整量を決定し、その調整量に応じて出力レベルを変化させる。以下、重複領域に対応した調整量の決定方法について、一例を説明する。なお、この変形例２の説明においては、指定領域ｓ１、ｓ２が設定され、それぞれに対して設定された調整量は、調整量Ｌ１、Ｌ２とする。また、重複領域ｓｄ１２に対応する調整量は、調整量Ｌ１２という。
【００６６】
第１の例としては、調整量Ｌ１、Ｌ２を加算して得られる値（加算値、平均値など）を調整量Ｌ１２として決定する。ここで、指定領域ｓ１と指定領域ｓ２との面積比に応じて、調整量Ｌ１、Ｌ２に重み付けをして加算してもよい。例えば、指定領域ｓ１の面積が指定領域ｓ２の面積の２倍であれば、調整量Ｌ１の２倍と調整量Ｌ２とを加算するようにすればよい。また、指定領域ｓ１、ｓ２に含まれる音像算出結果の内容、すなわち、指定領域ｓ１に含まれる音と指定領域ｓ２に含まれる音との関係に応じて重み付けをして加算してもよい。例えば、指定領域ｓ１、ｓ２について、それぞれの指定領域に含まれる音について出力レベルの総和の違い、抽出される周波数値の個数の違いなどに応じて重み付けをすればよい。なお、加算して得られる値ではなく、差分により得られる値であってもよい。
【００６７】
第２の例としては、調整量Ｌ１、Ｌ２の大きい方、または小さい方のいずれかが調整量Ｌ１２として決定される。第３の例としては、変形例１で示したように、重複領域ｓｄ１２における位置に応じて調整量Ｌ１２が変化するように決められる。このとき、調整量Ｌ１２は、重複領域ｓｄ１２の指定領域ｓ１に近いほど調整量Ｌ１に近く、指定領域ｓ２に近いほど調整量Ｌ２に近くなるように変化させてもよい。
上述した重複領域に対応して設定される調整量の決定方法の例は、一例であって、重複領域を構成する各指定領域に対応して設定された調整量に応じて決定される方法であれば、他の決定方法を用いたものであってもよい。また、上述の例においては、２つの指定領域が重複領域を構成している場合の例を示したが、３つ以上の指定領域により重複領域が構成されていてもよい。
【００６８】
なお、指定領域が重複する重複領域が存在する場合、指定領域を重複領域とそれ以外とに分割してそれぞれ個別の指定領域として扱うようにしてもよい。例えば、上述した図９の例であれば、指定領域ｓ１から重複領域ｓｄ１２を除いた領域を新たに指定領域ｓｘ１とするとともに、指定領域ｓ２から重複領域ｓｄ１２を除いた領域を新たに指定領域ｓｘ２として、ウインドウｗ１にある指定領域を指定領域ｓｘ１，ｓｘ２および重複領域ｓｄ１２の３つにすればよい。これにより、調整量設定部１６０は、特定操作を受け付ける際に接触された位置に応じた指定領域を一意に特定することができ、重複領域をその他の領域と区別して特定することができる。
【００６９】
[変形例３]
上述した実施形態においては、表示制御部１４０は、表示画面１３１のウインドウｗ１に表示される音像算出結果を、各周波数値に対応する音像位置を点状に表示するようにしていたが、その他の表示態様で表示するようにしてもよい。変形例３における表示態様の例について図１０を用いて説明する。
【００７０】
図１０は、本発明の変形例３における表示画面１３１の表示例を説明する図である。図１０（ａ）は、ウインドウｗ１の一部分を拡大して示した図である。図１０（ａ）に示すように、表示制御部１４０は、メッシュ状に区切った領域（以下、区切られた各領域をメッシュ領域ｍ１という）をウインドウｗ１に表示させ、各メッシュ領域ｍ１に含まれる音像算出結果に応じてメッシュ領域の色の濃さを変化させる。例えば、表示制御部１４０は、メッシュ領域ｍ１が構成する範囲の音像位置に対応する周波数値のうち、メッシュ領域ｍ１が構成する範囲の周波数に含まれる周波数値の個数、すなわち、メッシュ領域ｍ１に含まれる音の数に応じてメッシュ領域ｍ１の色の濃さを変化させればよい。また、表示制御部１４０は、メッシュ領域ｍ１に含まれる音の出力レベルに応じてメッシュ領域ｍ１の色の濃さを変化させてもよい。
【００７１】
また、別の例として、図１０（ｂ）に示すように、メッシュ領域に対応して予め決められた図形（この例においては、メッシュ領域の重心を中心とする円）を表示するようにしてもよい。この場合には、メッシュ領域に含まれる音の数に応じて円の直径を変化させればよい。
このようにしてメッシュ領域に区切って表示する場合には、領域設定部１５０は、１つのメッシュ領域を最小単位として指定領域を設定するようにしてもよい。
【００７２】
このようにすると、信号処理部１００と表示部１３とが別装置であるなど、装置間で表示させるための情報を送受信する場合において、送受信する情報量を低減することができる。また、表示制御部１４０は、画素数が少ない表示画面に音像算出結果を表示させることもできる。
なお、上述したメッシュ領域の表示態様は、フレーム毎の音像算出結果に応じて変化させるものとするが、時間的に連続する複数フレーム分の音像算出結果に応じて変化させるようにしてもよい。
【００７３】
[変形例４]
上述した実施形態において、決定操作を受け付ける際に調整量設定部１６０が記憶する軌跡は、少なくとも始点または終点が指定領域の内側にあるものであったが、指定領域の内側に入らないもの、すなわち、指定領域の外側を移動するものであってもよい。
【００７４】
図１１は、この変形例における操作の例を示す図である。図１１に示すように、ユーザーが指定領域ｓ１の内側にある点Ｐ１０を指で押さえたことにより、この指定領域ｓ１が特定されたとする。これに続いて、ユーザーが指定領域ｓ１の外側の点Ｐ１１を指で押さえ、その指を軌跡ｔｒ１２に沿って動かし、指定領域ｓ１の外側の点Ｐ１２で離したとすると、調整量設定部１６０は、この軌跡ｔｒ１２を記憶するとともに、この軌跡ｔｒ１２の距離や、この軌跡ｔｒ１２を上下方向または左右方向に射影したときの線分の長さなどに応じて指定領域ｓ１の調整量を増減させればよい。また、調整量設定部１６０は、例えば、軌跡ｔｒ１２の始点である点Ｐ１１から終点である点Ｐ１２に向かうベクトルに含まれる予め定められた方向の成分に応じて、指定領域ｓ１の調整量を増減させてもよい。この予め定められた方向として、例えば上方向を採用すると、点Ｐ１１より点Ｐ１２が下にある場合には調整量は減少し、上にある場合には増加することとなる。
【００７５】
これにより、指定領域の調整量を決定する決定操作を、その指定領域が表示された表示画面１３１上の位置と切り離して行うことができる。特に、複数の指定領域を特定している場合において、このように、それらの指定領域の外側で指をスライドさせることで、各指定領域の調整量を同時に増減させることができるので、ユーザーは操作の手間を省くことができる。
【００７６】
[変形例５]
上述した実施形態において、各種指定をするための操作ボタンを表示させるウインドウｗ２が表示されていたが、ウインドウｗ２はなくてもよい。また、ウインドウｗ２は、姿勢検出部１５から出力される運動信号に応じて、表示画面１３１への表示／非表示を切り替えられてもよい。また、表示制御部１４０は、ウインドウｗ２に代えて、調整量を決定するためのスライダを表示してもよい。
【００７７】
図１２は、この変形例における表示画面１３１の例を示す図である。ユーザーが端末１の表示画面１３１を見るときは、表示画面１３１の４つの辺のうちいずれか一辺をその辺に対向する辺よりも重力方向における下にした姿勢で端末１を持つことが多い。したがって、表示画面１３１が長手方向に延びる辺と短手方向に延びる辺を有する矩形形状である場合、ユーザーは端末１を、長手方向が縦（すなわち重力方向に沿った方向）になるように持つときと、横（すなわち重力方向に対して交差する方向）になるように持つときがある。例えば、表示制御部１４０は、ユーザーが端末１をその表示画面１３１の長手方向が横になるように持った場合に限り、図１２に示すように、スライダｃｔ１，ｃｔ２を表示させるように構成されていてもよい。このスライダｃｔ１，ｃｔ２は、一方が指定領域における出力レベルを調整する調整量を、他方が指定領域における他のパラメータを調整するために用いられる。これにより、調整量を決定するための画面上の部品を表示画面１３１に出現させるために、別途表示画面１３１上に領域を設けなくてもよいため、表示内容を簡素にすることができる。
【００７８】
なお、スライダｃｔ１，ｃｔ２は、ウインドウｗ１のうち、指定領域ｓ１が表示される領域の左右方向の両側にそれぞれ表示されていたが、上下方向の両側に表示されてもよい。また、スライダｃｔ１，ｃｔ２は、いずれか一方の片側のみに表示されてもよい。また、表示されるスライダは、２つに限られず３つ以上でもよいし１つでもよい。また、これらスライダは、ユーザーが端末１をその表示画面１３１の長手方向が縦になるように持った場合に限り、表示させられてもよい。また、これらスライダは、調整量を決定するための部品の一例であり、表示制御部１４０は、これに代えて他の様々な部品を採用し得る。例えば、表示制御部１４０は、上記のスライダに代えて、ボタン、テキスト入力枠、ダイヤルなどを表示画面１３１に表示させてもよい。
【００７９】
[変形例６]
上述した実施形態において、表示画面１３１に表示されるウインドウｗ１は、１つのみであったが、複数のウインドウｗ１を切り替えて表示できるようにしてもよい。この場合における表示画面１３１の表示例について、図１３を用いて説明する。
【００８０】
図１３は、本発明の変形例６における表示画面１３１の表示例を説明する図である。図１３（ａ）に示すように、ウインドウｗ１の上部に、複数のウインドウｗ１のいずれを表示させるかを選択するためのタブｗｔ１、ｗｔ２、・・・が設けられている。この例においては、タブｗｔ１が選択されているときには、上述した実施形態と同様である。タブｗｔ２を選択すると、タブｗｔ２に対応したウインドウｗ１が表示される。
【００８１】
各タブに対応したウインドウｗ１は、上述した実施形態などの構成をタブごとに並列に処理するものであってもよいし、直列に処理するものであってもよい。並列に処理する場合には、信号処理部１００は、並列に処理された結果得られるオーディオ信号がミキシングされて出力されるように構成を有するようにすればよい。このとき、ユーザーの指定に応じてミックス比を制御できるようにしてもよい。なお、並列に処理されるオーディオ信号は、同じ楽曲のオーディオ信号が用いられていてもよいし、別の楽曲のオーディオ信号が用いられていてもよい。
【００８２】
一方、直列に処理とは、以下の処理をいう。まず、取得部１１０において取得されたオーディオ信号に対して、タブｗｔ１に対応するウインドウｗ１の表示内容に応じてレベル変化部１７０において信号処理が施される。信号処理が施された結果に対して、タブｗｔ２に対応するウインドウｗ１の表示内容に応じて信号処理を施す。このように、直列に処理とは、一つのタブのウインドウｗ１における表示内容に基づいて処理された結果を、別のタブのウインドウｗ１における表示内容に基づいてさらに処理することをいう。
【００８３】
このように直列に処理する場合には、タブｗｔ２のウインドウｗ１の表示態様を図１３（ｂ）に示すようにしてもよい。この例においては、図１３（ａ）に示すように指定領域ｓ１、ｓ２が設定され、この指定領域ｓ１、ｓ２に対して、この領域に含まれる音を除去するように調整量が設定されたものとする。この場合、図１３（ｂ）に示すように、タブｗｔ２に対応するウインドウｗ１には、指定領域ｓ１、ｓ２に対応する音像算出結果を除去した状態での表示がなされる。そして、この内容を基準として、領域設定部１５０がさらにユーザーによる指定領域ｓ３を設定するための指定が行われる。
【００８４】
なお、上記の並列に処理および直列に処理については並存してもよい。例えば、タブｗｔ１、ｗｔ２は直列に処理される関係であり、タブｗｔ３は、タブｗｔ１、ｗｔ２と並列に処理される関係であってもよい。また、各タブに対応するウインドウｗ１は、表示画面１３１に並べて同時に表示されるようにしてもよい。
【００８５】
[変形例７]
上述した実施形態において、表示制御部１４０は、ウインドウｗ１に表示する指定領域に、その指定領域に対して設定された調整量（以下、この変形例において、設定調整量という）を表示するようにしてもよい。この表示の一例について、図１４を用いて説明する。
【００８６】
図１４は、本発明の変形例７における表示画面１３１の表示例を説明する図である。図１４（ａ）に示すように、表示制御部１４０は、指定領域ｓ１、ｓ２の領域内に設定調整量ｔ１、ｔ２を表示する。このとき、ユーザーが指定領域ｓ１、ｓ２の位置を移動させるなどして、図１４（ｂ）に示すように位置させると、表示制御部１４０は、設定調整量ｔ１を指定領域ｓ２と重ならない領域に移動させて表示する。また、表示制御部１４０は、新たに生じる重複領域ｓｄ１２の設定調整量ｔ３は、領域内に表示できないため領域外に表示する。
【００８７】
なお、指定領域内に、その指定領域の指定周波数範囲、指定音像範囲を示す情報が表示されるようにしてもよい。
また、ユーザーの操作によりタッチセンサ１２１に接触されている位置（以下、この変形例において、接触位置という）に応じて、設定調整量の表示位置を変化させてもよい。具体的には、表示制御部１４０は、接触位置から一定距離はなれた位置に、設定調整量を表示する。このようにすると、ユーザーが操作中において指で設定調整量が見えなくなってしまうことを防ぐことができる。
【００８８】
[変形例８]
上述した実施形態において、指定領域の形状は矩形であったが、矩形以外の形状であってもよい。指定領域の形状については、ウインドウｗ２に表示される操作ボタンを用いてユーザーが決定すればよい。また、ユーザーが指定領域として設定したい領域をなぞるように操作することで様々な形状の領域を指定するようにしてもよい。
【００８９】
図１５は、本発明の変形例８において設定される指定領域を説明する図である。図１５に示す指定領域ｓ１の形状は、ユーザーがタッチセンサ１２１をなぞることにより領域が指定された場合の形状の一例である。指定領域が矩形以外の形状の場合には、指定周波数範囲および指定音像範囲が実施形態のように決めることはできないが、レベル変化部１７０において、指定領域ｓ１の形状を特定する座標情報を取得して周波数値ごとの指定音像範囲を特定することで、抽出すべき周波数値を決定することができる。
なお、領域設定部１５０は、ユーザーによって指定された領域の内側を指定領域として設定していたが、外側を指定領域として設定してもよい。
【００９０】
[変形例９]
上述した実施形態において、表示制御部１４０は、指定領域の範囲内を、その指定領域に対して設定された調整量に応じた態様で表示するようにしてもよい。表示制御部１４０は、指定領域の範囲内を、例えば、その指定領域に設定された調整量が、色の違い、濃さ、透過量、模様の変化などにより表されるように表示すればよい。また、表示制御部１４０は、指定領域内に表示されている音像算出結果について、その指定領域に対して設定された調整量に応じて各点の表示態様を変化させてもよい。
【００９１】
[変形例１０]
上述した実施形態において、第１変換部１２０は、周波数に依存する特徴量として、周波数値毎の出力レベルを抽出し、音像位置算出部１３０は、各チャンネル間の出力レベルの関係を示す関係値を算出していた。特徴量および関係値は、他の内容であってもよい。例えば、特徴量は周波数値毎の位相とし、関係値は各チャンネル間の位相差とすればよい。この場合には、表示制御部１４０は、ウインドウｗ１への表示に用いる座標系を、音像位置の座標軸に代えて位相差の座標軸を用いたものとして、表示内容を制御すればよい。この場合、位相差は、オーディオ信号が有する特性値の一例である。
【００９２】
[変形例１１]
上述した実施形態においては、取得部１１０は、ステレオ２ｃｈのオーディオ信号を取得していたが、５．１ｃｈなど、より多くのチャンネルのオーディオ信号を取得してもよい。この場合には、音像位置算出部１３０は、各周波数値に対応して、全てのチャンネルにおける出力レベルに基づいて、各チャンネル間の出力レベルの関係に応じた関係値を算出するための算出式を記憶しておく。この算出式は、例えば、特定の規格（ITU-R BS.775-1など）にしたがって配置されたスピーカから出力された場合の聴取位置からみた方向（例えば、特定の方向を基準とした水平面内の角度）で表される音像位置（関係値）を、各チャンネルの出力レベルの違いから算出するための式とすればよい。
【００９３】
そして、音像位置算出部１３０は、この算出式を用いて各周波数値に対応した関係値を算出し、算出結果を示す情報を出力すればよい。この場合には、表示制御部１４０は、ウインドウｗ１への表示に用いる座標系を、音像位置の座標軸に代えて上記の関係値の座標軸を用いたものとして、表示内容を制御すればよい。
なお、取得部１１０は、２ｃｈより多いチャンネルのオーディオ信号を取得した場合には、２ｃｈにミックスダウンして出力するようにしてもよいし、特定の２ｃｈを抽出して出力するようにしてもよい。
【００９４】
[変形例１２]
上述した実施形態においては、領域設定部１５０は、ユーザーのタッチセンサ１２１への操作によって指定された領域を、指定領域として設定していたが、別の態様により指定領域を設定してもよい。例えば、指定領域の範囲を規定する指定領域情報を予め記憶しておき、領域設定部１５０は、ユーザーからの指定などにより指定領域情報を取得して、指定領域を設定すればよい。
【００９５】
なお、この指定領域情報は、さらに、時刻の進行に伴い指定領域の範囲が変化するように規定されていてもよい。この場合には、領域設定部１５０は、時刻の進行に伴って移動する範囲を指定領域として設定すればよい。この移動態様（例えば、移動速度など）は、オーディオ信号の内容を解析して決定されるものであってもよい。例えば、オーディオ信号が楽曲であれば、楽曲のテンポをオーディオ信号の音量の時系列変化などから検出して、テンポに応じて移動態様が変化するように指定領域情報が規定されていてもよい。具体的には、領域設定部１５０は、楽曲のＢＰＭ（beats per minute）を検出し、一定回数のビート（例えば、８拍）が刻まれる周期で指定領域が、座標系において予め決められた軌跡を一周するように、その指定領域を移動させてもよい。
【００９６】
なお、このような移動の方向・軌跡およびその速度や周期など、移動態様を表す数値群は、プリセットとして記憶部１５に予め記憶され、操作に応じて読み出されてもよいし、ウインドウｗ２などに対する操作によって指定される期間において受け付けたユーザーのタッチセンサ１２１への操作に応じて決められてもよい。
【００９７】
また、指定領域情報は、音像算出結果に応じて変化するように規定されていてもよい。例えば、指定領域情報は、音像位置が中心以外で一定密度以上の音像算出結果を示す点が集まっている範囲を指定領域として設定するように規定されていればよい。
【００９８】
また、別の態様としては、領域設定部１５０は、姿勢検出部１５から出力される運動信号に応じて、指定領域を設定してもよい。領域設定部１５０は、例えば、すでにユーザーの操作などにより設定されている指定領域がある場合に、ユーザーが端末１を傾けることで、指定領域が移動するようにしてもよい。例えば、表示画面１３１の右側が地面に近づくように傾けられた場合には、領域設定部１５０は、設定する指定領域を右側に移動させていけばよい。
【００９９】
この指定領域の移動態様は、等速運動であってもよいし、等加速度運動であってもよい。等加速度運動の場合、加速度として重力加速度を用いてもよい。これにより、表示画面１３１に描かれる指定領域を、あたかも重力場に置かれた物体のように表示することができる。また、指定領域の移動態様を表す運動方程式に、摩擦係数などの減衰項を加えてもよい。そして、指定領域が移動した結果、表示画面１３１の一端に至った場合には、その指定領域が移動してきた方向と反対の方向に跳ね返るように、指定領域の移動態様を定めてもよい。また、表示画面１３１の一端に至った指定領域は、移動してきた方向と反対の方向に反射するのではなく、移動方向を変えないまま表示画面１３１の表示可能な領域から消失し、これに伴って、その一端に対向する他端から、指定領域が出現するようにしてもよい。出現する指定領域の移動方向および速度は消失した指定領域と同じであってもよい。
【０１００】
[変形例１３]
上述した実施形態において、調整量設定部１６０は、ユーザーのタッチセンサ１２１への操作によって、指定領域に対する調整量の決定操作を受け付けていたが、別の態様により決定操作を受け付けてもよい。例えば、調整量設定部１６０は、姿勢検出部１５から出力される運動信号に応じて、指定領域の調整量を決定してもよい。具体的には、予め定められた閾値を超える角度で端末１の長手方向または短手方向の辺が傾けられたとき、調整量設定部１６０は、上記の調整量をその傾きの角度に対応付けられた数値に変更する。なお、長手方向および短手方向のいずれか一方の傾き角度が、指定領域の出力レベルを調整する調整量の設定に用いられた場合、他方をそれ以外のパラメータの調整に用いるようにしてもよい。この場合、ユーザーが端末１を斜めに傾けると、指定領域は、出力レベルとともに他のパラメータも変更される。
【０１０１】
また、決定操作は、端末１の傾いた角度により設定されるものに限られない。例えば、端末１を揺らす動作によって、調整量の設定が行われてもよい。具体的には、端末１が揺れる方向や回数、速さなどを姿勢検出部１５が検出し、これらを表す数値を運動信号に含めて出力することで、この運動信号を受け取った調整量設定部１６０は、これらの数値に応じて上記の調整量を変更すればよい。また、これら複数の数値をそれぞれ別のパラメータの調整に用いてもよい。
【０１０２】
[変形例１４]
上述した実施形態においては、表示制御部１４０は、表示画面１３１のウインドウｗ１に、周波数の座標軸と音像位置の座標軸の２軸を有する座標系を用いて音像算出結果を表示していたが、さらに多くの軸を有する座標系を用いて表示してもよい。例えば、周波数値に対応する関係値が音像位置だけでなく、変形例１０に示すように位相差も含まれている場合には、周波数の座標軸、音像位置の座標軸、位相差の座標軸の３軸を有する座標系を用いればよい。
【０１０３】
３軸を有する座標系を用いて表示を行う場合には、表示制御部１４０は、ウインドウｗ１に、周波数の座標軸と音像位置の座標軸を有する座標系での表示、および周波数の座標軸と位相差の座標軸を有する座標系での表示など２つ表示により３軸を有する座標系での表示に代えてもよいし、擬似的に３軸の座標系を表現した画像を表示させるようにしてもよい。また、表示画面１３１が立体視ディスプレイなどである場合には、３軸の座標系を立体的に表現した画像を表示させてもよい。
【０１０４】
３軸の座標系を表現した場合において、指定領域として設定すべき領域を指定するときには、一旦２軸の座標系に置き換えて表示された状態で、ユーザーが領域を指定するようにしてもよい。この場合、例えば、ｘ，ｙ，ｚの３軸のうち２軸を選択するのは、（ｘ，ｙ），（ｙ，ｚ），（ｚ，ｘ）の３通りあるので、上述した変形例のように、ウインドウｗ１の上部に、これら３通りの座標系で表される平面をそれぞれ示すタブを設けてもよい。そして、領域設定部１５０は、各タブにより示される平面において指定された全ての座標によって指定領域を設定してもよい。なお、特性値が４つ以上ある場合も、４軸以上の座標系を２軸の座標系の組み合わせで表せばよい。
【０１０５】
[変形例１５]
上述した実施形態において、端末１の制御部１１が制御プログラムを実行することによって実現される信号処理部１００は、処理の対象となる信号として、外部装置からインターフェイス１６を介して入力されるオーディオ信号に対して信号処理を行っていたが、信号処理部１００が処理の対象とする信号は、オーディオ信号に限られない。例えば、信号処理部１００は、部屋の照明を調節する信号を処理してもよい。この場合、表示画面１３１のウインドウｗ１における上下方向および左右方向の各座標軸は、部屋の南北方向や東西方向などにそれぞれ対応付けられ、ウインドウｗ１の表示内容は、その部屋の床位置における明るさを示すものとしてもよい。この場合、床位置における明るさは、東西方向の座標および南北方向の座標にそれぞれ依存している。
【０１０６】
[変形例１６]
上述した実施形態において、端末１は、タッチセンサ１２１、操作ボタン１２２、および姿勢検出部１５を有しているほか、取得部１１０および出力部１９０として機能する制御部１１を有していたが、この制御部１１が制御プログラムを実行することによって実現される信号処理機能のうち、いくつかは端末１の外部装置によって実現されてもよい。例えば、端末１は、表示部１３に相当する表示部や放音装置と接続されているインターフェイスを備えた外部装置と、インターフェイス１６を介して接続されており、端末１の制御部１１は、少なくとも上述した領域設定部１５０および調整量設定部１６０を実現するように構成されていてもよい。この場合、制御部１１は、領域設定部１５０として、操作部１２から出力される操作情報を受け取って指定領域を設定し、設定した指定領域を示す指定領域情報を、インターフェイス１６を介して外部装置に出力する。また、この場合、制御部１１は、調整量設定部１６０として、操作部１２から出力される操作情報を受け取って指定領域における出力レベルの調整量を設定し、設定した調整量を示す調整量設定情報を、インターフェイス１６を介して外部装置に出力する。外部装置の制御部は、上述した、取得部１１０、第１変換部１２０、音像位置算出部１３０、表示制御部１４０、レベル変化部１７０、第２変換部１８０、および出力部１９０にそれぞれ相当する機能を実現すればよい。なお、この外部装置の制御部によって実現される表示制御部は、この外部装置に備えられた表示部を制御し、出力部は、インターフェイスを介してこの外部装置に接続された放音装置に、第２変換部から出力されたオーディオ信号を放音させればよい。要するに、端末１は、ユーザーにより指定された位置や、ユーザーにより傾けられた筐体の姿勢などに応じた信号を外部装置に出力するコントローラであってもよく、端末１の制御部１１は、そのユーザーインターフェイスとしての機能を実現すればよい。
【０１０７】
[変形例１７]
上述した実施形態において、調整量設定部１６０は、特定操作を受け付けてから、特定されたその指定領域に対する調整量の決定操作の受付を開始していたが、調整量の決定操作の受付と同時またはその後に、特定操作の受付を行ってもよい。例えば、ユーザーが或る指定領域の内側の或る点Ｐｘ１を指で押さえて、その指をタッチセンサ１２１に接触させたまま、その指定領域の外側の他の点Ｐｘ２で指を離したとき、調整量設定部１６０は、この操作をこの指定領域に対する特定操作として受け付けるとともに、その指定領域の調整量を決定する決定操作として受け付け、点Ｐｘ１から点Ｐｘ２まで指が移動した軌跡の距離などに応じて、その指定領域の調整量を決定してもよい。なお、調整量設定部１６０は、ユーザーの指が接触したまま移動する操作が、指定領域の外側で開始され内側で終了する軌跡を検出した場合も同様に、その操作を、その指定領域を特定するための特定操作として受け付けるとともに、その指定領域の調整量を決定する決定操作として受け付ければよい。
【０１０８】
[変形例１８]
上述した実施形態における制御プログラムは、磁気記録媒体（磁気テープ、磁気ディスクなど）、光記録媒体（光ディスクなど）、光磁気記録媒体、半導体メモリなどのコンピュータ読み取り可能な記録媒体に記憶した状態で提供し得る。また、端末１は、制御プログラムをネットワーク経由でダウンロードしてもよい。
【符号の説明】
【０１０９】
１…端末、１１…制御部、１２…操作部、１３…表示部、１４…記憶部、１５…姿勢検出部、１６…インターフェイス、１７…通信部、１２１…タッチセンサ、１２２…操作ボタン、１３１…表示画面、１００…信号処理部、１１０…取得部、１２０…第１変換部、１３０…音像位置算出部、１４０…表示制御部、１５０…領域設定部、１６０…調整量設定部、１７０…レベル変化部、１８０…第２変換部、１９０…出力部。
【特許請求の範囲】
【請求項１】
２以上の特性値に依存する信号の値を取得する取得手段と、
前記２以上の特性値をそれぞれ表す座標軸を有する座標系が設定された検出領域を有し、当該検出領域に設定された前記座標系においてユーザーにより指定された位置を検出する検出手段と、
前記検出手段により第１の位置が検出されると、前記座標系において当該第１の位置に応じた指定領域を特定する特定手段と、
前記特定手段により前記指定領域が特定される場合に、前記検出手段により第２の位置を複数回検出し、検出された当該第２の位置の軌跡に応じて、当該指定領域に属する座標値に対応する前記信号の値の調整量を決定する決定手段と、
前記指定領域に属する座標値に対応する前記信号の値を前記決定手段により決定された前記調整量で変更して、信号処理を行う信号処理手段に出力する変更手段と
を具備することを特徴とするユーザーインターフェイス装置。
【請求項２】
前記決定手段は、前記第２の位置の軌跡が、前記特定手段により特定された指定領域の外側から内側に向かって移動するものである場合に、前記調整量を増加させ、当該指定領域の内側から外側に向かって移動するものである場合に、前記調整量を減少させる
ことを特徴とする請求項１に記載のユーザーインターフェイス装置。
【請求項３】
前記決定手段は、前記軌跡の距離、前記軌跡の始点と終点とを結ぶ直線距離、または前記軌跡を前記座標系のいずれかの座標軸に射影した線分の長さに応じて、前記調整量を決定する
ことを特徴とする請求項１または２に記載のユーザーインターフェイス装置。
【請求項４】
前記決定手段は、前記第２の位置の軌跡が、前記特定手段により特定された指定領域の外側を移動するものである場合に、当該軌跡の始点から終点に向かうベクトルに含まれる予め定められた方向の成分に応じて、前記調整量を決定する
ことを特徴とする請求項１に記載のユーザーインターフェイス装置。
【請求項５】
２以上の特性値に依存する信号の値を取得する取得手段と、
前記２以上の特性値をそれぞれ表す座標軸を有する座標系が設定された検出領域を有し、当該検出領域に設定された前記座標系においてユーザーにより指定された位置を検出する検出手段と、
前記検出手段により位置が検出されると、前記座標系において当該位置に応じた指定領域を特定する特定手段と、
自装置の姿勢を検出する姿勢検出手段と、
前記特定手段により前記領域が特定される場合に、前記姿勢検出手段により検出される姿勢に応じて、当該指定領域に属する座標値に対応する前記信号の値の調整量を決定する決定手段と、
前記指定領域に属する座標値に対応する前記信号の値を決定された前記調整量で変更して、信号処理を行う信号処理手段に出力する変更手段と、
を具備することを特徴とするユーザーインターフェイス装置。
【請求項１】
２以上の特性値に依存する信号の値を取得する取得手段と、
前記２以上の特性値をそれぞれ表す座標軸を有する座標系が設定された検出領域を有し、当該検出領域に設定された前記座標系においてユーザーにより指定された位置を検出する検出手段と、
前記検出手段により第１の位置が検出されると、前記座標系において当該第１の位置に応じた指定領域を特定する特定手段と、
前記特定手段により前記指定領域が特定される場合に、前記検出手段により第２の位置を複数回検出し、検出された当該第２の位置の軌跡に応じて、当該指定領域に属する座標値に対応する前記信号の値の調整量を決定する決定手段と、
前記指定領域に属する座標値に対応する前記信号の値を前記決定手段により決定された前記調整量で変更して、信号処理を行う信号処理手段に出力する変更手段と
を具備することを特徴とするユーザーインターフェイス装置。
【請求項２】
前記決定手段は、前記第２の位置の軌跡が、前記特定手段により特定された指定領域の外側から内側に向かって移動するものである場合に、前記調整量を増加させ、当該指定領域の内側から外側に向かって移動するものである場合に、前記調整量を減少させる
ことを特徴とする請求項１に記載のユーザーインターフェイス装置。
【請求項３】
前記決定手段は、前記軌跡の距離、前記軌跡の始点と終点とを結ぶ直線距離、または前記軌跡を前記座標系のいずれかの座標軸に射影した線分の長さに応じて、前記調整量を決定する
ことを特徴とする請求項１または２に記載のユーザーインターフェイス装置。
【請求項４】
前記決定手段は、前記第２の位置の軌跡が、前記特定手段により特定された指定領域の外側を移動するものである場合に、当該軌跡の始点から終点に向かうベクトルに含まれる予め定められた方向の成分に応じて、前記調整量を決定する
ことを特徴とする請求項１に記載のユーザーインターフェイス装置。
【請求項５】
２以上の特性値に依存する信号の値を取得する取得手段と、
前記２以上の特性値をそれぞれ表す座標軸を有する座標系が設定された検出領域を有し、当該検出領域に設定された前記座標系においてユーザーにより指定された位置を検出する検出手段と、
前記検出手段により位置が検出されると、前記座標系において当該位置に応じた指定領域を特定する特定手段と、
自装置の姿勢を検出する姿勢検出手段と、
前記特定手段により前記領域が特定される場合に、前記姿勢検出手段により検出される姿勢に応じて、当該指定領域に属する座標値に対応する前記信号の値の調整量を決定する決定手段と、
前記指定領域に属する座標値に対応する前記信号の値を決定された前記調整量で変更して、信号処理を行う信号処理手段に出力する変更手段と、
を具備することを特徴とするユーザーインターフェイス装置。
【図１】
【図２】
【図３】
【図４】
【図５】
【図６】
【図７】
【図８】
【図９】
【図１０】
【図１１】
【図１２】
【図１３】
【図１４】
【図１５】
【図２】
【図３】
【図４】
【図５】
【図６】
【図７】
【図８】
【図９】
【図１０】
【図１１】
【図１２】
【図１３】
【図１４】
【図１５】
【公開番号】特開２０１２−１６４２２５（Ｐ２０１２−１６４２２５Ａ）
【公開日】平成２４年８月３０日（２０１２．８．３０）
【国際特許分類】
【出願番号】特願２０１１−２５４００（Ｐ２０１１−２５４００）
【出願日】平成２３年２月８日（２０１１．２．８）
【出願人】（０００００４０７５）ヤマハ株式会社 (5,930)
【Ｆターム（参考）】
【公開日】平成２４年８月３０日（２０１２．８．３０）
【国際特許分類】
【出願日】平成２３年２月８日（２０１１．２．８）
【出願人】（０００００４０７５）ヤマハ株式会社 (5,930)
【Ｆターム（参考）】
[ Back to top ]