信号送信装置および信号処理装置
【課題】送信側で生成されるオーディオ信号およびこのオーディオ信号を加工するための信号に基づいて受信側において発音させる場合に、低遅延での送信をしつつも、通信におけるデータの欠損および誤りの影響を受けにくくすること。
【解決手段】本発明の実施形態における発音システム１における信号送信装置２０は、振動体１１０の振動波形を示すオーディオ信号をサンプリングして得られたサンプルデータと、検出対象部の運動に応じた出力値を示す検出信号をサンプリングして得られたサンプルデータとが同一のパケットに含まれるようにパケット化して送信する。信号処理装置３０は、このパケットを受信し、検出信号に基づく態様でオーディオ信号に加工処理を施して放音装置４０に出力する。
【解決手段】本発明の実施形態における発音システム１における信号送信装置２０は、振動体１１０の振動波形を示すオーディオ信号をサンプリングして得られたサンプルデータと、検出対象部の運動に応じた出力値を示す検出信号をサンプリングして得られたサンプルデータとが同一のパケットに含まれるようにパケット化して送信する。信号処理装置３０は、このパケットを受信し、検出信号に基づく態様でオーディオ信号に加工処理を施して放音装置４０に出力する。
【発明の詳細な説明】
【技術分野】
【０００１】
本発明は、複数種類のデータを同時に送信する技術に関する。
【背景技術】
【０００２】
複数種類のデータを同時に送信する技術があるが、そのような技術のひとつとして、センシングＤＡＴＡ（ジャイロ、加速度、圧電などのデジタルセンシングデータ）等をオーディオデータと共に送信する技術があり、音源などの発音態様を制御するための発音制御データ（例えば、ＭＩＤＩ（Musical Instrument Digital Interface）形式のデータ）をオーディオデータとともに記録、または伝送するために、効率よくデータを生成する技術がある。例えば、特許文献１に記載された技術によれば、オーディオデータの最下位ビットなどを発音制御データを示すビットで置き換えることにより、発音制御データとオーディオデータとを、記録、または伝送時に単一のデータとして扱うことができる。
【先行技術文献】
【特許文献】
【０００３】
【特許文献１】特許第３９１５５８５号公報
【発明の概要】
【発明が解決しようとする課題】
【０００４】
特許文献１に開示された技術によって、発音制御データを含むオーディオデータとして扱うことができるため、オーディオデータとしてＬＡＮ（Local Area Network）、インターネットなどの通信により、遠隔地に送信して、遠隔地においてオーディオデータと発音制御データとに応じた発音をさせることができる。このような通信により発音制御データとオーディオデータとを送信する場合、通信の状況によってデータの一部が欠損しないようにエラー訂正を行うことが知られている。
【０００５】
ところで、このオーディオデータおよび発音制御データが生成されてから通信され、これらのデータに基づいて発音するまでに、リアルタイム性が求められるような状況となることがある。このように、リアルタイム性が求められる状況においては、これらのデータの生成から発音までの時間を短くする必要があるが、エラー訂正を行うことがそのまま遅延の原因となってしまう。そのため、データ通信の精度が下がることになったとしても、リアルタイム性を確保するために、エラー訂正を用いないようにするか簡易な構成にする必要がある。
【０００６】
無線通信によりデータを送信する場合など、データ通信の精度が下がってしまう場合には、各データの一部に欠損、誤りが生じることがある。欠損、誤りが生じたデータがオーディオデータの場合には、ノイズが混ざる程度の影響で済む一方、発音制御データなど制御コマンドを示すデータの場合には、制御コマンドそのものが欠損したり変化してしまったりすることがあり、音源の発音制御に与える影響が非常に大きなものとなってしまう。そのため、オーディオデータが示す音は、発音制御データが示す音が合成されることにより加工され、加工された音として発音される場合には、通信によるデータの欠損が発生していない場合と比べて大きく変化してしまうことがあった。
【０００７】
本発明は、送信側で生成されるオーディオ信号およびこのオーディオ信号を加工するための信号に基づいて受信側において発音させる場合に、低遅延での送信をしつつも、通信におけるデータの欠損および誤りの影響を受けにくくすることを目的とする。
【課題を解決するための手段】
【０００８】
上述の課題を解決するため、本発明は、オーディオ信号を出力する信号出力手段と、前記信号出力手段を備える検出対象部の運動を検出し、当該運動により出力値が変化する検出信号を出力する検出手段と、前記出力されたオーディオ信号を第１サンプリング周波数でサンプリングして第１サンプルデータを生成し出力する第１サンプリング手段と、前記出力された検出信号を前記第１サンプリング周波数より低い第２サンプリング周波数でサンプリングして第２サンプルデータを生成し出力する第２サンプリング手段と、前記出力された前記第１サンプルデータと前記第２サンプルデータとが同一のパケットに含まれるようにパケット化して送信データを生成する生成手段と、前記検出信号に基づく態様で前記オーディオ信号に加工処理を施して出力する信号処理装置に対して、前記生成された送信データを無線通信により送信する送信手段とを具備することを特徴とする信号送信装置を提供する。
【０００９】
また、別の好ましい態様において、前記信号出力手段は、振動体から伝達される振動波形をオーディオ信号に変換し、当該変換したオーディオ信号を出力することを特徴とする。
【００１０】
また、別の好ましい態様において、前記生成手段は、前記複数のパケットに同一の前記第２サンプルデータが含まれるようにパケット化して前記送信データを生成することを特徴とする。
【００１１】
また、別の好ましい態様において、前記生成手段は、前記第２サンプルデータを複数の分割データに分割し、前記第１サンプルデータおよび当該第２サンプルデータの分割データが同一のパケットに含まれるようにパケット化して前記送信データを生成することを特徴とする。
【００１２】
また、本発明は、上記記載の信号送信装置から送信された送信データを受信する受信手段と、前記受信した送信データからオーディオ信号および検出信号を抽出する抽出手段と、前記抽出された検出信号に基づいて、オーディオ信号の加工態様を決定する決定手段と、前記決定された加工態様で前記抽出されたオーディオ信号に加工処理を施して出力する加工手段とを具備することを特徴とする信号処理装置を提供する。
【発明の効果】
【００１３】
本発明によれば、送信側で生成されるオーディオ信号およびこのオーディオ信号を加工するための信号に基づいて受信側において発音させる場合に、低遅延での送信をしつつも、通信におけるデータの欠損および誤りの影響を受けにくくすることができる。
【図面の簡単な説明】
【００１４】
【図１】本発明の実施形態における発音システムの機能構成を説明するブロック図である。
【図２】本発明の第１実施形態におけるギターの外観構成を説明する図である。
【図３】本発明の第１実施形態における信号送信装置の構成を説明するブロック図である。
【図４】本発明の第１実施形態における送信データおよび同期データの構造を説明する図である。
【図５】本発明の第１実施形態における送信データの例を示す図である。
【図６】本発明の第１実施形態における信号処理装置の構成を説明するブロック図である。
【図７】本発明の第１実施形態における制御テーブルの内容を説明する図である。
【図８】本発明の第２実施形態におけるスネアドラムの外観構成を説明する図である。
【図９】本発明の第２実施形態における信号送信装置の構成を説明するブロック図である。
【図１０】本発明の第２実施形態における増幅処理の時間変化態様を説明する図である。
【図１１】本発明の第２実施形態における最大値を決定するための制御テーブルを説明する図である。
【図１２】本発明の第３実施形態におけるマイクロフォンの外観構成を説明する図である。
【図１３】本発明の第３実施形態におけるマイクロフォンの構成を説明するブロック図である。
【図１４】本発明の第４実施形態における携帯端末の外観構成を説明する図である。
【図１５】本発明の第４実施形態における携帯端末の構成を説明するブロック図である。
【図１６】本発明の変形例１における信号処理装置の構成を説明するブロック図である。
【図１７】本発明の変形例２における信号送信装置の構成を説明するブロック図である。
【図１８】本発明の変形例３における発音システムの機能構成を説明するブロック図である。
【図１９】本発明の変形例３における鍵盤装置の外観構成を説明する図である。
【図２０】本発明の変形例３における信号送信装置の構成を説明するブロック図である。
【発明を実施するための形態】
【００１５】
＜実施形態＞
［機能構成］
図１は、本発明の実施形態における発音システム１の機能構成を説明するブロック図である。発音システム１は、発音装置１０、信号送信装置２０、信号処理装置３０および放音装置４０を有する。発音装置１０における発音内容を示すオーディオ信号、および発音装置の運動を検出した結果を示す検出信号が信号送信装置２０から信号処理装置３０に無線通信により送信される。発音システム１においては、低遅延でのオーディオ信号および検出信号の送信をすることができる。以下、発音システム１の機能構成について説明する。
【００１６】
発音装置１０は、振動体１１０および検出対象部１２０を有する。振動体１１０は、振動することにより発音する機能を有する。検出対象部１２０は、振動体１１０の振動または振動により生じた発音（以下、まとめて振動波形という）が伝達される。
【００１７】
信号送信装置２０は、信号出力部２１０、検出部２２０、第１サンプリング部２３０、第２サンプリング部２４０、生成部２５０および送信部２６０を有する。信号出力部２１０は、振動体１１０から伝達された振動波形が入力され、この振動波形をオーディオ信号（Ａｕｄｉｏ）に変換して出力する。この信号出力部２１０は、検出対象部１２０に取り付けられる。
検出部２２０は、検出対象部１２０における運動を検出し、検出結果に応じた検出信号（Ｓｅｎｓｏｒ）を出力する。この検出信号は、検出対象部１２０の運動に伴い出力値が変化する信号であり、この出力値を波形（以下、検出波形という）で示す信号である。検出対象部１２０は、例えば、振動体１１０に振動を励起させるためのユーザからの操作、またユーザが検出対象部１２０を動かすことなどにより運動することになる。
【００１８】
第１サンプリング部２３０は、信号出力部２１０からオーディオ信号が入力され、このオーディオ信号を第１サンプリング周波数でサンプリングしてオーディオデータ（第１サンプルデータ）を生成し出力する。第２サンプリング部２４０は、検出部２２０から検出信号が入力され、この検出信号を第２サンプリング周波数でサンプリングしてセンサデータ（第２サンプルデータ）を生成し出力する。第２サンプリング周波数は、第１サンプリング周波数よりも低い値である。以下、単にオーディオデータ、センサデータといった場合には、１回のサンプリングにより得られたサンプルデータ単位であるものとして説明する。
【００１９】
生成部２５０は、第１サンプリング部２３０からオーディオデータが入力され、また、第２サンプリング部２４０からセンサデータが入力される。生成部２５０は、これらのデータをパケット化して送信データを生成し、生成した送信データを出力する。このとき、生成部２５０は、オーディオデータとセンサデータとが同一のパケットに含まれるようにパケット化する。また、センサデータは、オーディオデータよりも低いサンプリング周波数でサンプリングされて得られたデータである。そのため、パケットごとにオーディオデータが異なるものとしても、複数のパケットに同一のセンサデータが含まれるようにすることもできる。
また、センサデータを、ビット単位で分割し、各パケットには分割されたセンサデータ（分割データ）が含まれるようにすることもできる。どのようにしてセンサデータがパケット化されているかの情報については、パケットのヘッダに記録されるようにすればよい。センサデータが分割されるか否かにかかわらず、オーディオデータとセンサデータとが同一のパケットに含まれるようになっていることに違いはない。
送信部２６０は、生成部２５０から入力された送信データを無線通信により信号処理装置３０に送信する。
【００２０】
信号処理装置３０は、受信部３１０、抽出部３２０、決定部３３０および加工部３４０を有する。受信部３１０は、信号送信装置２０の送信部２６０から送信された送信データを受信して出力する。抽出部３２０は、受信部３１０から入力された送信データから、オーディオ信号（Ａｕｄｉｏ）および検出信号（Ｓｅｎｓｏｒ）を抽出して出力する。決定部３３０は、抽出部３２０から検出信号が入力され、この検出信号に基づいて、加工部３４０におけるオーディオ信号への加工態様を決定する。加工部３４０は、抽出部３２０から入力されたオーディオ信号に対して、決定部３３０において決定された加工態様での加工処理を施して出力する。
【００２１】
放音装置４０は、信号処理装置３０の加工部３４０から入力されたオーディオ信号を増幅し、音として出力する。放音装置４０は、スピーカ、アンプなどによりその機能が実現される。このようにして放音装置４０から出力される音は、信号出力部２１０から出力されたオーディオ信号に対して、検出部２２０から出力された検出信号に基づく加工態様で加工された音となる。
【００２２】
信号送信装置２０から信号処理装置３０に対して無線通信により送信される送信データは、その通信の状況に応じて、一部の送信データが欠損したり誤りが発生したりする場合がある。この場合であっても、オーディオ信号の振動波形にノイズが生じる程度であり、また、検出信号の検出波形についてもノイズが生じる程度である。そのため、決定部３３０において検出信号に対するフィルタリング（例えばローパスフィルタ）などによりノイズの除去をすれば、検出波形をほぼ再現することができる。また、同一パケット（送信データ）にオーディオデータとセンサデータとが含まれているから、オーディオ信号のどの部分に対して検出信号に基づく加工をすべきかの対応関係が明らかとなる。したがって、オーディオ信号に対して、検出信号に基づく加工処理が施されるときに、リアルタイム性を維持することができる。
続いて、発音システム１の機能構成を実現するための具体的な実施形態について、第１実施形態および第２実施形態として説明する。
【００２３】
＜第１実施形態＞
本発明の第１実施形態においては、発音装置１０がギターである場合について説明する。第１実施形態の説明においては、発音装置１０をギター１０と記す。
【００２４】
図２は、本発明の第１実施形態におけるギター１０の外観構成を説明する図である。この例における発音システム１は、ギター１０、信号送信装置２０、信号処理装置３０、および放音装置４０を有する。ギター１０は、弦１１および弦１１が張られた胴部１２を有する。弦１１は、振動体１１０の機能を実現するための構成である。胴部１２は、検出対象部１２０の機能を実現するための構成である。
【００２５】
［信号送信装置２０の構成］
信号送信装置２０は、ピックアップ２１および制御モジュール２００を有する。ピックアップ２１は、胴部１２に設けられ、弦１１からの振動波形がサドルを介して伝達される。ピックアップ２１は、信号出力部２１０を実現するための構成であり、伝達された振動波形をオーディオ信号として出力する。ピックアップ２１は、例えば、インブリッジ式、コンタクト式などのピエゾピックアップである。
制御モジュール２００は、胴部１２に設けられ、ピックアップ２１から出力されるオーディオ信号が入力される。制御モジュール２００を含む信号送信装置２０の構成を図３を用いて説明する。
【００２６】
図３は、本発明の第１実施形態における信号送信装置２０の構成を説明するブロック図である。信号送信装置２０における制御モジュール２００は、加速度センサ２２、第１ＡＤ（analog-digital）変換部２３、第２ＡＤ変換部２４、制御部２５および通信モジュール２６を有する。ピックアップ２１から出力されるオーディオ信号は、第１ＡＤ変換部２３に入力される。
加速度センサ２２は、検出部２２０を実現するための構成であり、取り付けられた部分（この例においては胴部１２）における運動を、３軸（ｘ軸、ｙ軸、ｚ軸）方向の加速度として検出し、各軸についての検出結果を示す検出信号Ｓｘ、Ｓｙ、Ｓｚを出力する。この例においては、加速度センサ２２は、弦１１が張られた方向をｘ軸、弦１１が並ぶ方向をｙ軸、ｘ軸およびｙ軸を含む平面の法線方向をｚ軸として、加速度を検出する。
【００２７】
第１ＡＤ変換部２３は、第１サンプリング部２３０を実現するための構成であり、入力されたオーディオ信号を、サンプリング周波数４４ｋＨｚ、量子化数１６ｂｉｔでサンプリングしてオーディオデータを生成し出力するＡＤコンバータである。第２ＡＤ変換部２４は、第２サンプリング部２４０を実現するための構成であり、入力された検出信号Ｓｘ、Ｓｙ、Ｓｚの各々を、サンプリング周波数２００Ｈｚ、量子化数８ｂｉｔでサンプリングしてセンサデータを生成し出力するＡＤコンバータである。
第１ＡＤ変換部２３のサンプリング周波数は、第２ＡＤ変換部２４のサンプリング周波数の２２０倍である。したがって、１回のサンプリングにより３軸方向のセンサデータが生成されるうちに、オーディオデータが２２０回生成される。
【００２８】
制御部２５は、生成部２５０を実現するための構成であり、ＣＰＵ（Central Processing Unit）などの演算処理回路により構成される。制御部２５は、オーディオデータとセンサデータとをパケット化した送信データを通信モジュール２６に出力する。送信データの構造については後述する。
【００２９】
通信モジュール２６は、送信部２６０を実現するための構成であり、信号処理装置３０との間で無線による通信が確立された後、生成部２５０から出力された送信データを、信号処理装置３０に無線通信により送信する。このとき、通信モジュール２６は、信号処理装置３０から同期データを一定期間毎に受け取ることで、信号処理装置３０が送信データを受け取っていることが通知されるようにしてもよい。
なお、通信の確立は、公知の技術を用いればよい。この例においては、信号処理装置３０が、ある一定範囲内において使用可能な無線周波数をサーチして決定し、信号送信装置２０に決定した無線周波数を通知する。そして、信号送信装置２０は、この無線周波数を用いて信号処理装置３０への通信を確立するようにすればよい。
続いて、信号送信装置２０と信号処理装置３０との間で通信されるデータについて、図４、図５を用いて説明する。
【００３０】
［データ構造］
図４は、本発明の第１実施形態における送信データおよび同期データの構造を説明する図である。図４（ａ）は、１パケットの送信データの構造を説明する図である。図４（ｂ）は、同期データの構造を説明する図である。送信データおよび同期データは、ヘッダ部（図４における先頭２ｂｙｔｅ「Ｈ」の部分）とペイロード部（ヘッダ部以外の部分）とにより構成されている。図４（ｂ）に示す同期データにおいて、ペイロード部は、信号送信装置２０からの送信データを受信していることを示すＳｙｎｃコマンド（「Ｃ」の部分）を１ｂｙｔｅで示すデータになっている。
【００３１】
図４（ａ）に示す送信データにおいて、ペイロード部は、オーディオデータ（「Ａｕｄｉｏ」の部分）が６ｂｙｔｅ、および、その後のセンサデータ（「Ｓ」の部分）が１ｂｉｔを示すデータになっている。なお、１パケットにつき、オーディオデータが６ｂｙｔｅ、センサデータが１ｂｉｔとしたのは一例であって、他のデータ量の組み合わせであってもよい。
【００３２】
オーディオデータは、１６ｂｉｔの量子化数でサンプリングされて得られたデータであるから、１パケットには、３回のサンプリングにより得られたオーディオデータが含まれることになる。センサデータは、８ｂｉｔの量子化数でサンプリングされて得られる一方、１パケットに含まれるセンサデータは１ｂｉｔである。そのため、センサデータは、制御部２５によって、８つの１ｂｉｔのセンサデータ（分割データ）に分割されて、各パケットに含まれるものとなる。また、センサデータは、３軸方向のセンサデータＳｘ、Ｓｙ、Ｓｚにより構成されているから、１回のサンプリングで８ｂｉｔ×３＝２４ｂｉｔとなる。そのため、センサデータの各サンプリング毎に２４パケットに分割されることになる。
次に、送信データにおける各パケットに含まれる分割データの内容を図５を用いて説明する。
【００３３】
図５は、本発明の第１実施形態における送信データの例を示す図である。図５の左側に示す「Ｎｏ．」は、パケットの番号を示している。分割データＳｘ１−１〜Ｓｘ１−８は、ｘ軸方向のセンサデータの１ビット目から８ビット目までを示し、この８ｂｉｔで１回のサンプリングにより得られるセンサデータＳｘが構成される。同様にして、Ｓｙ１−１〜Ｓｙ１−８、Ｓｚ１−１〜Ｓｚ１−８により、センサデータＳｙ、Ｓｚが得られる。上述したように、パケットＮｏ．１〜２４までの２４パケットを送受信することにより、１回のサンプリングにより得られる３軸のセンサデータＳｘ、Ｓｙ、Ｓｚが信号処理装置３０に送信される。
その後、次のサンプリングによりセンサデータが生成されるまでの期間は、パケットＮｏ．１〜２４までの２４パケットにおける分割データの割り当てが繰り返される。図５に示す例においては、Ｎ回目に割り当てられた分割データを、ＳｘＮ−１、ＳｘＮ−２、・・・として示している。
【００３４】
一方、オーディオデータの部分については、各パケットにつき３回のサンプリングにより得られたオーディオデータが含まれている。次のサンプリングによりセンサデータが生成されるまでに、オーディオデータが２２０回生成される。２２０回目のサンプリングにより生成されたオーディオデータは、パケットＮｏ．７４に含まれる。そのため、このパケットＮｏ．７４には、新たなサンプリングにより生成されたセンサデータの分割データＳｘ１−１が含まれることになり、再び２４パケット単位で繰り返される。なお、パケットＮｏ．７３には、４回目の繰り返しが開始されているが、次のパケットＮｏ．７４が生成されるときには、次のサンプリングによりセンサデータが生成されているため、４回目の繰り返しは中止されている。
【００３５】
各パケットのヘッダ部には、信号送信装置２０（送信側の装置）を識別する情報、パケットＮｏ．など順番を規定する情報、オーディオデータおよびセンサデータについてのデータ長、量子化数、サンプリング周波数、分割データがセンサデータの何ｂｉｔ目に対応するか、３軸のうちどの軸のセンサデータに対応するか、何回目のサンプリングに対応するかなどの各種情報が含まれている。
以上が、信号送信装置２０の構成に関する説明である。続いて、信号処理装置３０の構成について説明する。
【００３６】
［信号処理装置３０の構成］
図６は、本発明の第１実施形態における信号処理装置３０の構成を説明するブロック図である。信号処理装置３０は、通信モジュール３１、ＤＡ（digital-analog）変換部３２、制御部３３およびＤＳＰ（Digital Signal Processor）３４を有する。
通信モジュール３１は、受信部３１０を実現するための構成であり、信号送信装置２０との間で通信が確立された後、信号送信装置２０から送信された送信データを受信して出力する。また、上述したように、信号送信装置２０との無線による通信を確立するための処理を行う。これは、図示しない操作部を用いてユーザが通信の確立の指示などを入力することにより開始される。なお、通信モジュール３１においては、送信データに欠損があっても、再送の要求などは行わず、欠損しているものとして扱う。すなわち、エラー訂正の処理は行わない。また、通信モジュール３１は、一定時間にわたって送信データが受信できない場合には、無線周波数を変更するなど通信を確立し直してもよい。
【００３７】
ＤＡ変換部３２は、抽出部３２０を実現するための構成であり、ヘッダの情報を参照して送信データをＤＡ変換して、オーディオ信号および検出信号Ｓｘ、Ｓｙ、Ｓｚを出力するＤＡコンバータである。ＤＡ変換部３２は、サンプリング順にオーディオデータをＤＡ変換してオーディオ信号を生成して出力する。また、ＤＡ変換部３２は、各パケットに含まれる分割データを８パケット分（３軸をあわせると２４パケット分）をまとめてセンサデータを生成する。そして、ＤＡ変換部３２は、センサデータをサンプリング順にＤＡ変換することにより検出信号Ｓｘ、Ｓｙ、Ｓｚを生成して出力する。
【００３８】
なお、通信モジュール３１において送信データが受信できず欠損が発生した場合には、直前の送信データからＤＡ変換した値を保持する。一方、センサデータについては、ＤＡ変換部３２は、複数回受信する送信データに同一ビットの分割データ（例えば、Ｓｘ１−１とＳｘ２−１）が含まれるため、受信できた送信データにおける分割データを組み合わせて各ビットの値を特定することもできる。また、送信データの欠損が無くとも受信した送信データが送信したときと変わってしまう誤りが発生する場合もあるが、この場合には、ＤＡ変換部３２は、複数回の同一ビットの分割データを比較して最も多い値を正常な値として特定してもよい。
【００３９】
ここで、ＤＡ変換部３２において生成されるオーディオ信号および検出信号Ｓｘ、Ｓｙ、Ｓｚは、制御コマンドではなく、波形を示す信号である。そのため、一部の送信データに欠損、誤りが発生したりしても、オーディオ信号および検出信号Ｓｘ、Ｓｙ、Ｓｚの波形には、僅かな期間だけノイズが発生する程度であり、大きく波形が変化してしまうことがない。また、上述のように、検出信号については、エラー訂正の処理を行わなくても、複数回同一ビットを受信するなどの冗長性を持たせることもできるため、欠損、誤りが生じにくくすることもできる。
【００４０】
制御部３３は、決定部３３０を実現するための構成であり、ＣＰＵ（Central Processing Unit）などの演算処理回路により構成される。制御部３３は、入力された検出信号Ｓｘ、Ｓｙ、Ｓｚを解析して、ギター１０における弦１１の張られた方向の水平からの傾きの絶対値｜Ｐｓ｜を特定する。なお、解析にあたり、検出信号について一定時間で移動平均を取るなどして高周波成分を除去することで、送信データの欠損、誤りなどの影響を低減するようにしてもよい。
制御部３３は、特定した｜Ｐｓ｜を制御テーブルにしたがって、エフェクト制御値Ｃｅｆｆを決定し、ＤＳＰ３４に出力する。出力するタイミングは、予め決められたタイミング（例えば、第２ＡＤ変換部２４におけるサンプリング周波数２００Ｈｚで決められる間隔）であればよい。
エフェクト制御値Ｃｅｆｆは、ＤＳＰ３４において用いられるパラメータであり、この例においては、オーディオ信号に付与する音響効果の効き具合（加工態様）を定めるパラメータである。制御テーブルは、｜Ｐｓ｜からＣｅｆｆを決定するためのテーブルである。
【００４１】
図７は、本発明の第１実施形態における制御テーブルの内容を説明する図である。図７に示すように、この例における制御テーブルは、｜Ｐｓ｜が大きくなるほど、Ｃｅｆｆが大きくなる関係に規定されている。このような関係は、一例であって、様々な関係に定めることができる。また、検出信号Ｓｘ、Ｓｙ、Ｓｚのそれぞれについて、異なる種類のエフェクト制御値が決定されるようにしてもよい。また、１対１の変換テーブルでなく、検出信号Ｓｘ、Ｓｙ、Ｓｚのそれぞれの組み合わせに対応して、一のエフェクト制御値が決定されるようにしてもよい。
【００４２】
ＤＳＰ３４は、加工部３４０を実現するための構成であり、入力されたオーディオ信号に対して、音響効果（この例においてはディレイ効果）を付与する信号処理を施して出力する。すなわち、この例においては、オーディオ信号に対して施される加工処理は、音響効果を付与する処理である。
ＤＳＰ３４は、制御部３３から出力されたエフェクト制御値Ｃｅｆｆが示す音響効果の効き具合に応じて、付与する音響効果の程度、例えば、ディレイ量を決定する。ＤＳＰ３４は、ディレイ量でなく、ディレイ音の減衰量、ディレイ音量などを決定してもよい。このように、ＤＳＰ３４は、オーディオ信号に対して付与する音響効果の程度をエフェクト制御値Ｃｅｆｆに基づいて決定するため、制御部３３によって付与すべき音響効果の程度が制御されることになる。
このようにしてＤＳＰ３４から出力されたオーディオ信号は、放音装置４０に入力され、放音装置４０から放音される。
【００４３】
このように、本発明の第１実施形態における発音システム１においては、ユーザがギター１０の弦１１を弾くなどして演奏しながらギター１０を傾けると、放音装置４０からは、傾きに応じたディレイ量のディレイ効果が付与されたギター１０の演奏音が放音される。このとき、ギター１０に設けられた信号送信装置２０から信号処理装置３０へは、無線通信により音の情報と傾きの情報とが波形の情報として送信されている。このとき、上述したようにパケット化されて送信することにより、エラー訂正の処理をしなくてもよくなり、低遅延での送信が可能となる。
また、オーディオデータとセンサデータとが同一パケットにより送信されているから、ギター１０を傾きを変化させたときにおいて、リアルタイムに演奏音への音響効果の付与態様の変化として反映されているという印象をユーザに与えることもできる。
【００４４】
また、信号送信装置２０においては、ＤＳＰ３４などの処理負荷が大きい構成を必要としないため、低消費電力とすることができる。そのため、信号送信装置２０が設けられたギター１０に容量の大きな電源を用いる必要がなく、小型化にもつながり、持ち運びが容易となる。
さらに、送信データに含まれる情報は波形を示すものであるから、この送信データを受信する装置において自由に処理を施すことができ汎用性を高めることができる。
【００４５】
＜第２実施形態＞
本発明の第２実施形態においては、発音装置１０がスネアドラムである場合について説明する。第２実施形態の説明においては、発音装置１０をスネアドラム１０Ａと記す。
【００４６】
図８は、本発明の第２実施形態におけるスネアドラム１０Ａの外観構成を説明する図である。この例における発音システム１Ａは、スネアドラム１０Ａ、信号送信装置２０Ａ、信号処理装置３０Ａ、および放音装置４０を有する。放音装置４０については、第１実施形態における構成と同様であるため説明を省略する。スネアドラム１０Ａは、膜部１１Ａおよび膜部１１Ａが張られた胴部１２Ａを有する。膜部１１Ａは、振動体１１０の機能を実現するための構成である。胴部１２Ａは、検出対象部１２０の機能を実現するための構成である。
【００４７】
［信号送信装置２０Ａの構成］
信号送信装置２０Ａは、制御モジュール２００Ａを有する。制御モジュール２００は、胴部１２Ａに設けられている。
【００４８】
図９は、本発明の第２実施形態における信号送信装置２０Ａの構成を説明するブロック図である。信号送信装置２０Ａにおける制御モジュール２００Ａは、シリコンマイク２１Ａ、振動センサ２２Ａ、第１ＡＤ変換部２３、第２ＡＤ変換部２４、制御部２５および通信モジュール２６を有する。
シリコンマイク２１Ａは、信号出力部２１０を実現するための構成であり、膜部１１Ａが打撃されることにより生じた振動波形が伝達され、伝達された振動波形をオーディオ信号として第１ＡＤ変換部２３に出力する。シリコンマイク２１Ａは、例えば、ＭＥＭＳ（Micro Electro Mechanical Systems）技術によりシリコン基板等を用いて製造された収音装置である。
【００４９】
振動センサ２２Ａは、検出部２２０を実現するための構成であり、取り付けられた部分（この例においては胴部１２Ａ）の振動を検出し、検出結果を示す検出信号Ｓを出力する。この例においては、振動センサ２２Ａは、膜部１１Ａへの打撃により胴部１２Ａに伝達される振動を検出し、検出した振動の波形を示す検出信号Ｓを第２ＡＤ変換部２４に出力する。
【００５０】
第１ＡＤ変換部２３、第２ＡＤ変換部２４、制御部２５および通信モジュール２６については、第１実施形態における構成と同様であるため説明を省略する。なお、検出部２２０を実現する構成は、第１実施形態においては、３軸方向のそれぞれについて検出信号Ｓｘ、Ｓｙ、Ｓｚ（出力値が３種類）として出力されていたが、第２実施形態においては、１種類の出力値の検出信号Ｓとして出力される。そのため、送信データに含まれるセンサデータ（分割データ）については、第１実施形態においては、１回のサンプリングに対して、３軸のそれぞれについてのセンサデータが３回繰り返されていたが、サンプリング周波数が同じであれば、第２実施形態においては、９回繰り返されることになる。
【００５１】
［信号処理装置３０Ａの構成］
第２実施形態における信号処理装置３０Ａは、第１実施形態における信号処理装置３０に対して、制御部３３において決定される加工態様が異なり、それに伴いＤＳＰ３４（以下、ＤＳＰ３４Ａとして記す）においてオーディオ信号に対して施される加工処理の態様も異なっている。以下、第２実施形態における制御部３３（以下、制御部３３Ａとして記す）において決定される加工態様について説明する。なお、信号処理装置３０Ａの構成については、図６に示す信号処理装置３０において、制御部３３が制御部３３Ａとして、ＤＳＰ３４がＤＳＰ３４Ａとして変わるだけであるため、図示を省略する。
【００５２】
第２実施形態における加工態様としては、オーディオ信号に対して時間変化する増幅処理を施す態様である。
制御部３３Ａは、ＤＡ変換部３２から出力される検出信号Ｓを解析して、検出信号Ｓが示す振動波形のエンベロープからピークを検出するとともに、そのピークレベルＬｐについても特定する。制御部３３Ａは、ピークを検出すると、ＤＳＰ３４Ａに増幅処理の開始を指示する。このときの増幅値については、特定したピークレベルＬｐから、制御テーブルにしたがって制御部３３Ａが決定する。
【００５３】
図１０は、本発明の第２実施形態における増幅処理の時間変化態様を説明する図である。ＤＳＰ３４Ａは、制御部３３Ａにおいて増幅処理の開始の指示を受けると、図１０に示すように時間変化する増幅値Ｐ（ｔ）にしたがってオーディオ信号を増幅して出力する。この増幅値Ｐ（ｔ）は、ピーク検出後、時間ｔｍが経過すると最大増幅値Ｐｍ（ｄＢ）となり、その後時間経過に伴って減少し、ピーク検出から時間ｔｅが経過すると増幅値が０（ｄＢ）となるように決められている。
【００５４】
図１１は、本発明の第２実施形態における最大値を決定するための制御テーブルを説明する図である。この例における制御テーブルは、制御部３３Ａが、ピークレベルＬｐに基づいて最大増幅値Ｐｍを決定するために用いられる。図１１に示すように、この例における制御テーブルは、Ｌｐが大きくなるほど、Ｐｍが大きくなる関係に規定されている。
【００５５】
このように、増幅処理の時間変化態様、および制御テーブルが決められているため、以下のような効果を奏する。例えば、膜部１１Ａの打撃により生じた音を収音して、一定の増幅率で増幅して放音する場合には、音量は増大するがダイナミックレンジは変わらない。一方、第２実施形態におけるＤＳＰ３４Ａでの増幅処理をオーディオ信号に施すことによっては、膜部１１Ａの打撃により生じた振動を振幅に基づいて、放音される音の音量を制御することができる。すなわち、膜部１１Ａが強く打撃されるほど、オーディオ信号が大きく増幅されることになるため、ダイナミックレンジが拡大することになる。
【００５６】
なお、制御テーブルが図１１に示す内容ではなく、ピークレベルＬｐが大きくなるほど、最大増幅値Ｐｍが小さくなる関係に規定されていれば、逆に、ダイナミックレンジを圧縮することもできる。また、上記の増幅値が０（ｄＢ）となる時間ｔｅについても、ピークレベルＬｐに応じて変化するようにしてもよい。例えば、増幅処理の時間変化態様において、増幅値が０（ｄＢ）となる時間を規定するのではなく、最大増幅値Ｐｍからの減少率を一定として規定してもよい。
【００５７】
＜第３実施形態＞
本発明の第１、２実施形態においては、発音装置１０は、振動体１１０および検出対象部１２０を有するものとして説明したが、検出対象部１２０が別の構成であってもよい。この場合には、検出対象部１２０は、信号送信装置２０の一部の構成として扱うものとする。
このように構成される場合についての実施形態について、第３実施形態および第４実施形態として説明する。
【００５８】
第３実施形態においては、発音装置１０が楽器であり、信号送信装置２０がマイクロフォンである場合について説明する。第３実施形態の説明においては、発音装置１０を楽器１０Ｂと記し、信号送信装置２０をマイクロフォン２０Ｂと記す。なお、発音装置１０は楽器でなく、ユーザなどの人であってもよく、音を発する構成を有していればよい。
【００５９】
図１２は、本発明の第３実施形態におけるマイクロフォン２０Ｂの外観構成を説明する図である。この例における発音システム１Ｂは、楽器１０Ｂ、マイクロフォン２０Ｂ、信号処理装置３０、および放音装置４０を有する。信号処理装置３０および放音装置４０については、第１実施形態における構成と同様であるため説明を省略する。楽器１０Ｂは、発音部１１Ｂを有する。発音部１１Ｂは、振動体１１０の機能を実現するための構成である。
【００６０】
［マイクロフォン２０Ｂの構成］
マイクロフォン２０Ｂは、筐体１２Ｂ、ムービングコイル２１Ｂおよび制御モジュール２００Ｂを有する。ムービングコイル２１Ｂおよび制御モジュール２００Ｂは、筐体１２Ｂに設けられている。筐体１２Ｂは、検出対象部１２０の機能を実現するための構成である。
【００６１】
図１３は、本発明の第３実施形態におけるマイクロフォン２０Ｂの構成を説明するブロック図である。ムービングコイル２１Ｂは、信号出力部２１０を実現するための構成であり、発音部１１Ｂにおける発音に応じた音の振動波形が伝達され、伝達された振動波形をオーディオ信号として第１ＡＤ変換部２３に出力する。
制御モジュール２００Ｂは、加速度センサ２２、第１ＡＤ変換部２３、第２ＡＤ変換部２４、制御部２５および通信モジュール２６を有する。これらの各構成については、第１実施形態における構成と同様であるため、説明を省略する。
【００６２】
このように、第３実施形態においては、発音部１１Ｂからの音に音響効果を付与して放音させることができる。このとき、ユーザがマイクロフォン２０Ｂを把持して傾けることにより、付与される音響効果を変化させることもできる。例えば、カラオケのマイクロフォンとして、このマイクロフォン２０Ｂを用いれば、ユーザは、歌唱しつつこのマイクロフォン２０Ｂを傾けることにより、歌唱音に様々な音響効果を付与することができる。
【００６３】
＜第４実施形態＞
【００６４】
第４実施形態においては、信号送信装置２０（第３実施形態におけるマイクロフォン２０Ｂ）が携帯端末である場合について説明する。第４実施形態の説明においては、発音装置１０を楽器１０Ｃと記し、信号送信装置２０を携帯端末２０Ｃと記す。携帯端末２０Ｃは、携帯電話、タブレット端末、ＰＤＡ（Personal Digital Assistant）などの持ち運び可能な情報処理端末である。
【００６５】
図１４は、本発明の第４実施形態における携帯端末２０Ｃの外観構成を説明する図である。この例における発音システム１Ｃは、楽器１０Ｃ、携帯端末２０Ｃ、信号処理装置３０、および放音装置４０を有する。信号処理装置３０および放音装置４０については、第１実施形態における構成と同様であるため説明を省略する。また、楽器１０Ｃ（発音部１１Ｃ）についても第３実施形態における構成と同様であるため説明を省略する。
【００６６】
［携帯端末２０Ｃの構成］
図１５は、本発明の第４実施形態における携帯端末２０Ｃの構成を説明するブロック図である。図１４、図１５に示すように、携帯端末２０Ｃは、シリコンマイク２１Ｃ、加速度センサ２２Ｃ、第１ＡＤ変換部２３Ｃ、第２ＡＤ変換部２４Ｃ、制御部２５Ｃ、通信モジュール２６Ｃおよび記憶部５０Ｃを有し、それぞれ筐体１２Ｃに設けられている。
加速度センサ２２Ｃ、第１ＡＤ変換部２３Ｃ、第２ＡＤ変換部２４Ｃおよび通信モジュール２６Ｃについては、第１実施形態において対応する構成と同様であるため説明を省略する。また、シリコンマイク２１Ｃについても、第２実施形態におけるシリコンマイク２１Ａと同様であるため説明を省略する。
【００６７】
記憶部５０Ｃは、不揮発性メモリなどであって、アプリケーションプログラムを記憶している。制御部２５Ｃは、このアプリケーションプログラムを実行すると、携帯端末２０Ｃの各構成を制御して、信号送信装置２０の機能構成を実現する。このとき、制御部２５Ｃは、シリコンマイク２１Ｃにより信号出力部２１０を実現し、加速度センサ２２Ｃにより検出部２２０を実現し、第１ＡＤ変換部２３Ｃにより第１サンプリング部２３０として実現し、第２ＡＤ変換部２４Ｃにより第２サンプリング部２４０として実現し、通信モジュール２６Ｃにより送信部２６０を実現する。また、制御部２５Ｃにおいて、生成部２５０を実現する。
【００６８】
このように、信号送信装置２０における各機能構成は、アプリケーションプログラムを制御部２５Ｃに実行させることにより、制御部２５Ｃと各ハードウエア構成とにより協働して実現されるようにすることができる。なお、第１サンプリング部２３０および第２サンプリング部２４０の機能構成については、制御部２５Ｃにおいて実現されるようにしてもよい。
【００６９】
＜変形例＞
以上、本発明の実施形態について説明したが、本発明は以下のように、様々な態様で実施可能である。なお、実施形態および変形例のうちの一の例について変形した態様として説明するものであっても、他の例についても同様に変形して適用することができる。
【００７０】
［変形例１］
上述した実施形態において、信号処理装置３０（３０Ａ）においては、オーディオ信号に対して施される加工処理が音響効果の付与であったが、別のオーディオ信号を合成するものであってもよい。この場合の構成について説明する。
【００７１】
図１６は、本発明の変形例１における信号処理装置３０Ｂの構成を説明するブロック図である。信号処理装置３０Ｂは、通信モジュール３１、ＤＡ変換部３２、制御部３３Ｂ、音源部３４Ｂ１および合成部３４Ｂ２を有する。通信モジュール３１およびＤＡ変換部３２については、第１実施形態における構成と同様であるため説明を省略する。
【００７２】
音源部３４Ｂ１および合成部３４Ｂ２は、加工部３４０を実現する構成である。音源部３４Ｂ１は、制御部３３Ｂの制御に応じてオーディオ信号を生成して出力する。音源部３４Ｂ１は、例えば、ＭＩＤＩ形式の制御コマンドが入力されると、制御コマンドに基づいて決まる発音内容を示す波形のオーディオ信号を出力する。合成部３４Ｂ２は、ＤＡ変換部３２から出力されるオーディオ信号および音源部３４Ｂ１から出力されるオーディオ信号とを加算して合成して出力する。
なお、合成部３４Ｂ２において合成されるオーディオ信号のうち、ＤＡ変換部３２から出力されるオーディオ信号は、各実施形態において示したようにＤＳＰ３４（３４Ａ）により音響効果が付与される処理が施されてもよい。
【００７３】
制御部３３Ｂは、決定部３３０を実現する構成であり、この例においては、ＤＡ変換部３２から出力される検出信号に基づいて、音源部３４Ｂ１の発音内容を決定し、決定した発音内容のオーディオ信号を出力させるための制御コマンドを音源部３４Ｂ１に出力する。
【００７４】
例えば、制御部３３Ｂは、第１実施形態の場合のように検出信号Ｓｘ、Ｓｙ、Ｓｚが入力される場合には、検出信号Ｓｘの出力値が一定値未満から一定値以上に変化した場合に、発音開始を指示する制御コマンドを出力する。制御部３３Ｂは、このように発音を開始させる音については、例えば、検出信号Ｓｘの出力値が一定値以上に変化したときの検出信号Ｓｙの出力値に応じた音高、検出信号Ｓｚの出力値に応じた音量となるように、制御コマンドを出力すればよい。音色については、予め決められたものを用いればよい。
【００７５】
また、制御部３３Ｂは、第２実施形態の場合のように検出信号Ｓが入力される場合には、ピークが検出された場合に、発音開始を指示する制御コマンドを出力し、ピークレベルＬｐに応じた音量となるように制御コマンドを出力すればよい。この場合には、音色、音高などは予め決められたものとすればよい。
【００７６】
このとき、ピークレベルＬｐのとり得る範囲を予め設定しておき、また、とり得る音量の範囲を予め設定しておくことにより、制御部３３Ｂは、それぞれの範囲の関係で音量を決定するようにして制御コマンドを出力するようにしてもよい。
例えば、音量を規定する制御コマンドの制御値が「０」から「１２７」であるものとする。また、とり得るピークレベルＬｐの範囲が「６０００」から「２２０００」であるものとする。この場合には、ピークレベルＬｐが「６０００」である場合に制御コマンドの制御値が「０」、ピークレベルＬｐが「２２０００」であるときに制御コマンドの制御値が「１２７」になるように、ピークレベルＬｐから制御コマンドの制御値が決定される。このとき、制御値の最小値から最大値までの間については、補間態様を適宜設定しておけばよい。また、制御値のとりうる範囲について、上限、下限を設け、補間した結果、制御値が上限値を超える場合には上限値に固定、下限値を下回る場合には下限値に固定するようにしてもよい。
【００７７】
このような制御態様は一例であって、様々な制御態様が設定可能であり、制御部３３Ｂは、入力された検出信号に基づいて、設定された制御態様で制御コマンドを出力することができる。
【００７８】
［変形例２］
上述した第１実施形態においては、ユーザが聴くことのできる音は、放音装置４０から放音される音以外については、ギター１０における弦１１の振動による発音であったが、ギター１０にスピーカを設けることにより、このスピーカからも音を聴くことができるようにしてもよい。
【００７９】
図１７は、本発明の変形例２における信号送信装置２０Ｄの構成を説明するブロック図である。信号送信装置２０Ｄは、第１実施形態における構成に加えて、ＤＳＰ２７を有する。
ＤＳＰ２７は、第１実施形態におけるＤＳＰ３４と同様であり、入力されたオーディオ信号に対してエフェクト制御値Ｃｅｆｆに応じた音響効果を付与する処理を施して放音装置２８に出力する。放音装置２８は、放音装置４０と同様、入力されたオーディオ信号を増幅して放音する。
【００８０】
制御部２５Ｄは、第１実施形態における制御部２５の機能に加えて、オーディオ信号をＤＳＰ２７に出力する機能を有する。また、制御部２５Ｄは、制御部３３と同様にして、検出信号Ｓｘ、Ｓｙ、Ｓｚに基づいて、ＤＳＰ２７において用いられるエフェクト制御値Ｃｅｆｆを決定する。なお、ＤＳＰ２７において付与される音響効果については、信号処理装置３０におけるＤＳＰ３４とは異なるものであってもよい。
【００８１】
なお、ＤＳＰ２７は、変形例１で説明した音源部３４Ｂ１に相当する構成であってもよい。また、放音装置２８に出力されるオーディオ信号は、送信データとしてパケット化されてもよい。この場合には、放音装置２８に出力されるオーディオ信号は、第１ＡＤ変換部２３から出力されるオーディオ信号に代えて、または合成して、パケット化されればよい。
【００８２】
また、ギター１０に操作部２９が設けられていてもよい。この場合には、操作部２９がユーザの指示を受け付け、指示に応じてＤＳＰ２７における加工態様が設定可能に構成されていてもよい。また、この指示内容は、通信モジュール２６を介して信号処理装置３０に送信されてもよい。この場合には信号処理装置３０におけるＤＳＰ３４の加工態様が設定可能に構成されていてもよい。加工態様が設定されると、制御部２５Ｄ、３３において決定する加工態様は、設定内容に応じたものとなる。
【００８３】
［変形例３］
上述した第１、第２実施形態においては、発音装置１０は、振動体１１０が振動することにより発音する構成であったが、演奏操作を受け付ける演奏操作部を有し、発音を制御する装置としてもよい。
【００８４】
図１８は、本発明の変形例３における発音システム１Ｅの機能構成を説明するブロック図である。発音システム１Ｅは、発音制御装置１０Ｅ、信号送信装置２０Ｅ、信号処理装置３０および放音装置４０を有する。信号処理装置３０および放音装置４０については、第１実施形態における構成と同様であるため説明を省略する。
発音システム１Ｅは、演奏操作部１１０Ｅおよび検出対象部１２０を有する。演奏操作部１１０Ｅは、ユーザに操作されることにより発音内容の指示を示す指示信号を出力する機能を有する。検出対象部１２０Ｅは、演奏操作部１１０Ｅが設けられる。
【００８５】
信号送信装置２０Ｅは、信号出力部２１０Ｅ、検出部２２０、第１サンプリング部２３０、第２サンプリング部２４０、生成部２５０および送信部２６０を有する。信号出力部２１０Ｅは、演奏操作部１１０Ｅから出力される指示信号に応じて発音内容を決定し、決定した発音内容を波形で示すオーディオ信号を出力する。他の構成については、第１実施形態における構成と同様であるため説明を省略する。
続いて、このような発音システム１Ｅの機能構成を実現するための実施形態の例について説明する。
【００８６】
図１９は、本発明の変形例３における鍵盤装置１０Ｅの外観構成を説明する図である。この例における発音システム１Ｅは、鍵盤装置１０Ｅ、信号送信装置２０Ｅ、信号処理装置３０および放音装置４０を有する。信号処理装置３０および放音装置４０については、上述したように第１実施形態における構成と同様であるため説明を省略する。鍵盤装置１０Ｅは、演奏操作部１１０Ｅを実現するための構成の鍵１１Ｅ１および鍵センサ１１Ｅ２を有し、また、検出対象部１２０Ｅを実現するための構成の筐体１２Ｅを有する。これらの各構成は、電子鍵盤楽器などにおいて用いられる構成と同様であり、鍵センサ１１Ｅ２は、ユーザにより押下された鍵１１Ｅ１の押下量に基づく指示信号を出力する。
信号送信装置２０Ｅは、制御モジュール２００Ｅを有する。制御モジュール２００Ｅは、筐体１２Ｅに設けられている。
【００８７】
図２０は、本発明の変形例３における信号送信装置２０Ｅの構成を説明するブロック図である。信号送信装置２０Ｅにおける制御モジュール２００Ｅは、音源部２１Ｅ、加速度センサ２２、第１ＡＤ変換部２３、第２ＡＤ変換部２４、制御部２５および通信モジュール２６を有する。音源部２１Ｅは、信号出力部２１０Ｅを実現する構成であり、鍵センサ１１Ｅ２から出力される指示信号に基づいて、発音内容を特定し、発音内容を波形で示すオーディオ信号を出力する。加速度センサ２２、第１ＡＤ変換部２３、第２ＡＤ変換部２４、制御部２５および通信モジュール２６については、第１実施形態における構成と同様であるため説明を省略する。
【００８８】
このように、信号出力部から出力されるオーディオ信号は、振動体の振動波形に基づいて生成された信号に限らず、演奏操作に基づいて生成された信号であってもよい。
【００８９】
［変形例４］
上述した実施形態において、信号処理装置３０においては、検出信号に基づいて決定された態様（効果の程度、ダイナミックレンジ変換、他のオーディオ信号の合成など）で音響効果を付与する信号処理をオーディオ信号に対して施していたが、検出信号に基づいて決定される態様は様々にとり得る。検出信号に基づいて決定される態様としては、例えば、音響効果の種類（ディレイ、リバーブ、コーラスなど）の切り替え、ピッチ変換、位相調整などであり、また音源部を用いる場合には音色の切り替えなども可能である。
【００９０】
［変形例５］
上述した実施形態において、放音装置４０は、スピーカから放音するものとして説明したが、ヘッドフォンなどであってもよい。また、放音装置４０と信号処理装置３０とは一体に構成されていてもよい。
【００９１】
［変形例６］
上述した実施形態においては、送信データの各パケットにおける最後の１ｂｉｔにセンサデータが分割データとして含まれる態様のデータ構造であったが、別の態様であってもよい。
例えば、センサデータは２ｂｉｔ単位で分割されて各パケットに２ｂｉｔが含まれるようにしてもよいし、分割せずに各パケットに１ｂｙｔｅ単位で含まれるようにしてもよい。
また、オーディオデータの一部をセンサーデータ（分割データ）として置き換えてもよい。例えば、オーディオデータの最下位ｂｉｔを置き換えるだけであれば、音に与える影響は少ない。
【００９２】
［変形例７］
上述した実施形態においては、送信データの各パケットにおいてセンサーデータ（分割データ）が最後の１ｂｉｔに含まれているが、少なくとも１回のサンプリングにより生成されたセンサデータが送信された後は、次のサンプリングによりセンサデータが生成されるまで、センサデータとは関係の無いダミーデータとして送信してもよい。すなわち、送信データの各パケット全てにおいてセンサデータが含まれている必要はなく、一部のパケットにおいてセンサデータが含まれていなくてもよい。
【００９３】
［変形例８］
上述した実施形態においては、１つの信号送信装置２０から１つの信号処理装置３０に対して送信データが送信されていたが、少なくとも一方が複数であってもよい。
【００９４】
例えば、信号送信装置２０が複数である場合には、信号処理装置３０は、各信号送信装置２０からの送信データに対して実施形態と同様な処理を行い、加工処理が施されたオーディオ信号を合成して放音装置４０出力すればよい。
一方、信号処理装置３０が複数である場合には、信号送信装置２０からの送信データに応じて、それぞれ決定された加工態様で加工処理が施されたオーディオ信号を、それぞれ接続された放音装置４０に出力すればよい。このとき、複数の信号処理装置３０から出力されるオーディオ信号を合成した信号が１つの放音装置４０に出力されるようにしてもよい。
【００９５】
ここで、信号送信装置２０から送信される送信データは、制御コマンドではなく波形信号をサンプリングしてパケット化したものであるから、信号処理装置３０においては、特定の制御コマンドにより制御される必要はなく、波形信号を個々に解析して利用することができ、汎用性が高くなる。
【００９６】
［変形例９］
上述した実施形態においては、検出部２２０の例として、加速度センサ、振動センサを用いていたが、ジャイロ、地磁気センサなどを用いてもよい。すなわち、検出部２２０は、検出対象部１２０の運動により出力値が変化する検出信号を出力可能な構成であれば、どのような構成であってもよい。
【００９７】
また、検出部２２０は、複数種類のセンサが組み合わされて実現されてもよく、例えば、加速度センサとジャイロとにより実現されてもよい。信号処理装置３０においては、それぞれのセンサから出力された検出信号に基づいて、オーディオ信号に対する加工態様を決定すればよい。
【００９８】
［変形例１０］
上述した実施形態においては、信号出力部２１０から出力されるオーディオ信号はモノラル信号として説明したが、ステレオ信号など多チャンネルの信号として出力されてもよい。
【００９９】
［変形例１１］
上述した実施形態においては、信号出力部２１０は、検出対象部１２０に取り付けられていたが、直接取り付けられる場合に限らず、他の部材を介して間接的に取り付けられていてもよい。
【０１００】
［変形例１２］
上述した第４実施形態において制御部２５Ｃによって実行されるアプリケーションプログラムは、磁気記録媒体（磁気テープ、磁気ディスクなど）、光記録媒体（光ディスクなど）、光磁気記録媒体、半導体メモリなどのコンピュータ読み取り可能な記録媒体に記憶した状態で提供し得る。また、携帯端末２０Ｃは、このアプリケーションプログラムをネットワーク経由でダウンロードしてもよい。
【符号の説明】
【０１０１】
１，１Ａ，１Ｂ，１Ｃ，１Ｅ…発音システム、１０…発音装置、ギター、１０Ａ…スネアドラム、１０Ｂ，１０Ｃ…楽器、１０Ｅ…発音制御装置、鍵盤装置、１１…弦、１１Ａ…膜部、１１Ｂ，１１Ｃ…発音部、１１Ｅ１…鍵、１１Ｅ２…鍵センサ、１２Ｅ…筐体、１２，１２Ａ…胴部、１２Ｂ，１２Ｃ…筐体、２０，２０Ａ，２０Ｄ，２０Ｅ…信号送信装置、２０Ｂ…マイクロフォン、２０Ｃ…携帯端末、２１…ピックアップ、２１Ａ，２１Ｃ…シリコンマイク、２１Ｂ…ムービングコイル、２１Ｅ…音源部、２２，２２Ｃ…加速度センサ、２２Ａ…振動センサ、２３，２３Ｃ…第１ＡＤ変換部、２４，２４Ｃ…第２ＡＤ変換部、２５，２５Ｃ，２５Ｄ…制御部、２６，２６Ｃ…通信モジュール、２７…ＤＳＰ、２８…放音装置、２９…操作部、３０，３０Ｂ…信号処理装置、３１…通信モジュール、３２…ＤＡ変換部、３３，３３Ｂ…制御部、３４…ＤＳＰ、３４Ｂ１…音源部、３４Ｂ２…合成部、４０…放音装置、５０Ｃ…記憶部、１１０…振動体、１１０Ｅ…演奏操作部、１２０，１２０Ｅ…検出対象部、２００，２００Ａ，２００Ｄ，２００Ｅ…制御モジュール、２１０，２１０Ｅ…信号出力部、２２０…検出部、２３０…第１サンプリング部、２４０…第２サンプリング部、２５０…生成部、２６０…送信部、３１０…受信部、３２０…抽出部、３３０…決定部、３４０…加工部
【技術分野】
【０００１】
本発明は、複数種類のデータを同時に送信する技術に関する。
【背景技術】
【０００２】
複数種類のデータを同時に送信する技術があるが、そのような技術のひとつとして、センシングＤＡＴＡ（ジャイロ、加速度、圧電などのデジタルセンシングデータ）等をオーディオデータと共に送信する技術があり、音源などの発音態様を制御するための発音制御データ（例えば、ＭＩＤＩ（Musical Instrument Digital Interface）形式のデータ）をオーディオデータとともに記録、または伝送するために、効率よくデータを生成する技術がある。例えば、特許文献１に記載された技術によれば、オーディオデータの最下位ビットなどを発音制御データを示すビットで置き換えることにより、発音制御データとオーディオデータとを、記録、または伝送時に単一のデータとして扱うことができる。
【先行技術文献】
【特許文献】
【０００３】
【特許文献１】特許第３９１５５８５号公報
【発明の概要】
【発明が解決しようとする課題】
【０００４】
特許文献１に開示された技術によって、発音制御データを含むオーディオデータとして扱うことができるため、オーディオデータとしてＬＡＮ（Local Area Network）、インターネットなどの通信により、遠隔地に送信して、遠隔地においてオーディオデータと発音制御データとに応じた発音をさせることができる。このような通信により発音制御データとオーディオデータとを送信する場合、通信の状況によってデータの一部が欠損しないようにエラー訂正を行うことが知られている。
【０００５】
ところで、このオーディオデータおよび発音制御データが生成されてから通信され、これらのデータに基づいて発音するまでに、リアルタイム性が求められるような状況となることがある。このように、リアルタイム性が求められる状況においては、これらのデータの生成から発音までの時間を短くする必要があるが、エラー訂正を行うことがそのまま遅延の原因となってしまう。そのため、データ通信の精度が下がることになったとしても、リアルタイム性を確保するために、エラー訂正を用いないようにするか簡易な構成にする必要がある。
【０００６】
無線通信によりデータを送信する場合など、データ通信の精度が下がってしまう場合には、各データの一部に欠損、誤りが生じることがある。欠損、誤りが生じたデータがオーディオデータの場合には、ノイズが混ざる程度の影響で済む一方、発音制御データなど制御コマンドを示すデータの場合には、制御コマンドそのものが欠損したり変化してしまったりすることがあり、音源の発音制御に与える影響が非常に大きなものとなってしまう。そのため、オーディオデータが示す音は、発音制御データが示す音が合成されることにより加工され、加工された音として発音される場合には、通信によるデータの欠損が発生していない場合と比べて大きく変化してしまうことがあった。
【０００７】
本発明は、送信側で生成されるオーディオ信号およびこのオーディオ信号を加工するための信号に基づいて受信側において発音させる場合に、低遅延での送信をしつつも、通信におけるデータの欠損および誤りの影響を受けにくくすることを目的とする。
【課題を解決するための手段】
【０００８】
上述の課題を解決するため、本発明は、オーディオ信号を出力する信号出力手段と、前記信号出力手段を備える検出対象部の運動を検出し、当該運動により出力値が変化する検出信号を出力する検出手段と、前記出力されたオーディオ信号を第１サンプリング周波数でサンプリングして第１サンプルデータを生成し出力する第１サンプリング手段と、前記出力された検出信号を前記第１サンプリング周波数より低い第２サンプリング周波数でサンプリングして第２サンプルデータを生成し出力する第２サンプリング手段と、前記出力された前記第１サンプルデータと前記第２サンプルデータとが同一のパケットに含まれるようにパケット化して送信データを生成する生成手段と、前記検出信号に基づく態様で前記オーディオ信号に加工処理を施して出力する信号処理装置に対して、前記生成された送信データを無線通信により送信する送信手段とを具備することを特徴とする信号送信装置を提供する。
【０００９】
また、別の好ましい態様において、前記信号出力手段は、振動体から伝達される振動波形をオーディオ信号に変換し、当該変換したオーディオ信号を出力することを特徴とする。
【００１０】
また、別の好ましい態様において、前記生成手段は、前記複数のパケットに同一の前記第２サンプルデータが含まれるようにパケット化して前記送信データを生成することを特徴とする。
【００１１】
また、別の好ましい態様において、前記生成手段は、前記第２サンプルデータを複数の分割データに分割し、前記第１サンプルデータおよび当該第２サンプルデータの分割データが同一のパケットに含まれるようにパケット化して前記送信データを生成することを特徴とする。
【００１２】
また、本発明は、上記記載の信号送信装置から送信された送信データを受信する受信手段と、前記受信した送信データからオーディオ信号および検出信号を抽出する抽出手段と、前記抽出された検出信号に基づいて、オーディオ信号の加工態様を決定する決定手段と、前記決定された加工態様で前記抽出されたオーディオ信号に加工処理を施して出力する加工手段とを具備することを特徴とする信号処理装置を提供する。
【発明の効果】
【００１３】
本発明によれば、送信側で生成されるオーディオ信号およびこのオーディオ信号を加工するための信号に基づいて受信側において発音させる場合に、低遅延での送信をしつつも、通信におけるデータの欠損および誤りの影響を受けにくくすることができる。
【図面の簡単な説明】
【００１４】
【図１】本発明の実施形態における発音システムの機能構成を説明するブロック図である。
【図２】本発明の第１実施形態におけるギターの外観構成を説明する図である。
【図３】本発明の第１実施形態における信号送信装置の構成を説明するブロック図である。
【図４】本発明の第１実施形態における送信データおよび同期データの構造を説明する図である。
【図５】本発明の第１実施形態における送信データの例を示す図である。
【図６】本発明の第１実施形態における信号処理装置の構成を説明するブロック図である。
【図７】本発明の第１実施形態における制御テーブルの内容を説明する図である。
【図８】本発明の第２実施形態におけるスネアドラムの外観構成を説明する図である。
【図９】本発明の第２実施形態における信号送信装置の構成を説明するブロック図である。
【図１０】本発明の第２実施形態における増幅処理の時間変化態様を説明する図である。
【図１１】本発明の第２実施形態における最大値を決定するための制御テーブルを説明する図である。
【図１２】本発明の第３実施形態におけるマイクロフォンの外観構成を説明する図である。
【図１３】本発明の第３実施形態におけるマイクロフォンの構成を説明するブロック図である。
【図１４】本発明の第４実施形態における携帯端末の外観構成を説明する図である。
【図１５】本発明の第４実施形態における携帯端末の構成を説明するブロック図である。
【図１６】本発明の変形例１における信号処理装置の構成を説明するブロック図である。
【図１７】本発明の変形例２における信号送信装置の構成を説明するブロック図である。
【図１８】本発明の変形例３における発音システムの機能構成を説明するブロック図である。
【図１９】本発明の変形例３における鍵盤装置の外観構成を説明する図である。
【図２０】本発明の変形例３における信号送信装置の構成を説明するブロック図である。
【発明を実施するための形態】
【００１５】
＜実施形態＞
［機能構成］
図１は、本発明の実施形態における発音システム１の機能構成を説明するブロック図である。発音システム１は、発音装置１０、信号送信装置２０、信号処理装置３０および放音装置４０を有する。発音装置１０における発音内容を示すオーディオ信号、および発音装置の運動を検出した結果を示す検出信号が信号送信装置２０から信号処理装置３０に無線通信により送信される。発音システム１においては、低遅延でのオーディオ信号および検出信号の送信をすることができる。以下、発音システム１の機能構成について説明する。
【００１６】
発音装置１０は、振動体１１０および検出対象部１２０を有する。振動体１１０は、振動することにより発音する機能を有する。検出対象部１２０は、振動体１１０の振動または振動により生じた発音（以下、まとめて振動波形という）が伝達される。
【００１７】
信号送信装置２０は、信号出力部２１０、検出部２２０、第１サンプリング部２３０、第２サンプリング部２４０、生成部２５０および送信部２６０を有する。信号出力部２１０は、振動体１１０から伝達された振動波形が入力され、この振動波形をオーディオ信号（Ａｕｄｉｏ）に変換して出力する。この信号出力部２１０は、検出対象部１２０に取り付けられる。
検出部２２０は、検出対象部１２０における運動を検出し、検出結果に応じた検出信号（Ｓｅｎｓｏｒ）を出力する。この検出信号は、検出対象部１２０の運動に伴い出力値が変化する信号であり、この出力値を波形（以下、検出波形という）で示す信号である。検出対象部１２０は、例えば、振動体１１０に振動を励起させるためのユーザからの操作、またユーザが検出対象部１２０を動かすことなどにより運動することになる。
【００１８】
第１サンプリング部２３０は、信号出力部２１０からオーディオ信号が入力され、このオーディオ信号を第１サンプリング周波数でサンプリングしてオーディオデータ（第１サンプルデータ）を生成し出力する。第２サンプリング部２４０は、検出部２２０から検出信号が入力され、この検出信号を第２サンプリング周波数でサンプリングしてセンサデータ（第２サンプルデータ）を生成し出力する。第２サンプリング周波数は、第１サンプリング周波数よりも低い値である。以下、単にオーディオデータ、センサデータといった場合には、１回のサンプリングにより得られたサンプルデータ単位であるものとして説明する。
【００１９】
生成部２５０は、第１サンプリング部２３０からオーディオデータが入力され、また、第２サンプリング部２４０からセンサデータが入力される。生成部２５０は、これらのデータをパケット化して送信データを生成し、生成した送信データを出力する。このとき、生成部２５０は、オーディオデータとセンサデータとが同一のパケットに含まれるようにパケット化する。また、センサデータは、オーディオデータよりも低いサンプリング周波数でサンプリングされて得られたデータである。そのため、パケットごとにオーディオデータが異なるものとしても、複数のパケットに同一のセンサデータが含まれるようにすることもできる。
また、センサデータを、ビット単位で分割し、各パケットには分割されたセンサデータ（分割データ）が含まれるようにすることもできる。どのようにしてセンサデータがパケット化されているかの情報については、パケットのヘッダに記録されるようにすればよい。センサデータが分割されるか否かにかかわらず、オーディオデータとセンサデータとが同一のパケットに含まれるようになっていることに違いはない。
送信部２６０は、生成部２５０から入力された送信データを無線通信により信号処理装置３０に送信する。
【００２０】
信号処理装置３０は、受信部３１０、抽出部３２０、決定部３３０および加工部３４０を有する。受信部３１０は、信号送信装置２０の送信部２６０から送信された送信データを受信して出力する。抽出部３２０は、受信部３１０から入力された送信データから、オーディオ信号（Ａｕｄｉｏ）および検出信号（Ｓｅｎｓｏｒ）を抽出して出力する。決定部３３０は、抽出部３２０から検出信号が入力され、この検出信号に基づいて、加工部３４０におけるオーディオ信号への加工態様を決定する。加工部３４０は、抽出部３２０から入力されたオーディオ信号に対して、決定部３３０において決定された加工態様での加工処理を施して出力する。
【００２１】
放音装置４０は、信号処理装置３０の加工部３４０から入力されたオーディオ信号を増幅し、音として出力する。放音装置４０は、スピーカ、アンプなどによりその機能が実現される。このようにして放音装置４０から出力される音は、信号出力部２１０から出力されたオーディオ信号に対して、検出部２２０から出力された検出信号に基づく加工態様で加工された音となる。
【００２２】
信号送信装置２０から信号処理装置３０に対して無線通信により送信される送信データは、その通信の状況に応じて、一部の送信データが欠損したり誤りが発生したりする場合がある。この場合であっても、オーディオ信号の振動波形にノイズが生じる程度であり、また、検出信号の検出波形についてもノイズが生じる程度である。そのため、決定部３３０において検出信号に対するフィルタリング（例えばローパスフィルタ）などによりノイズの除去をすれば、検出波形をほぼ再現することができる。また、同一パケット（送信データ）にオーディオデータとセンサデータとが含まれているから、オーディオ信号のどの部分に対して検出信号に基づく加工をすべきかの対応関係が明らかとなる。したがって、オーディオ信号に対して、検出信号に基づく加工処理が施されるときに、リアルタイム性を維持することができる。
続いて、発音システム１の機能構成を実現するための具体的な実施形態について、第１実施形態および第２実施形態として説明する。
【００２３】
＜第１実施形態＞
本発明の第１実施形態においては、発音装置１０がギターである場合について説明する。第１実施形態の説明においては、発音装置１０をギター１０と記す。
【００２４】
図２は、本発明の第１実施形態におけるギター１０の外観構成を説明する図である。この例における発音システム１は、ギター１０、信号送信装置２０、信号処理装置３０、および放音装置４０を有する。ギター１０は、弦１１および弦１１が張られた胴部１２を有する。弦１１は、振動体１１０の機能を実現するための構成である。胴部１２は、検出対象部１２０の機能を実現するための構成である。
【００２５】
［信号送信装置２０の構成］
信号送信装置２０は、ピックアップ２１および制御モジュール２００を有する。ピックアップ２１は、胴部１２に設けられ、弦１１からの振動波形がサドルを介して伝達される。ピックアップ２１は、信号出力部２１０を実現するための構成であり、伝達された振動波形をオーディオ信号として出力する。ピックアップ２１は、例えば、インブリッジ式、コンタクト式などのピエゾピックアップである。
制御モジュール２００は、胴部１２に設けられ、ピックアップ２１から出力されるオーディオ信号が入力される。制御モジュール２００を含む信号送信装置２０の構成を図３を用いて説明する。
【００２６】
図３は、本発明の第１実施形態における信号送信装置２０の構成を説明するブロック図である。信号送信装置２０における制御モジュール２００は、加速度センサ２２、第１ＡＤ（analog-digital）変換部２３、第２ＡＤ変換部２４、制御部２５および通信モジュール２６を有する。ピックアップ２１から出力されるオーディオ信号は、第１ＡＤ変換部２３に入力される。
加速度センサ２２は、検出部２２０を実現するための構成であり、取り付けられた部分（この例においては胴部１２）における運動を、３軸（ｘ軸、ｙ軸、ｚ軸）方向の加速度として検出し、各軸についての検出結果を示す検出信号Ｓｘ、Ｓｙ、Ｓｚを出力する。この例においては、加速度センサ２２は、弦１１が張られた方向をｘ軸、弦１１が並ぶ方向をｙ軸、ｘ軸およびｙ軸を含む平面の法線方向をｚ軸として、加速度を検出する。
【００２７】
第１ＡＤ変換部２３は、第１サンプリング部２３０を実現するための構成であり、入力されたオーディオ信号を、サンプリング周波数４４ｋＨｚ、量子化数１６ｂｉｔでサンプリングしてオーディオデータを生成し出力するＡＤコンバータである。第２ＡＤ変換部２４は、第２サンプリング部２４０を実現するための構成であり、入力された検出信号Ｓｘ、Ｓｙ、Ｓｚの各々を、サンプリング周波数２００Ｈｚ、量子化数８ｂｉｔでサンプリングしてセンサデータを生成し出力するＡＤコンバータである。
第１ＡＤ変換部２３のサンプリング周波数は、第２ＡＤ変換部２４のサンプリング周波数の２２０倍である。したがって、１回のサンプリングにより３軸方向のセンサデータが生成されるうちに、オーディオデータが２２０回生成される。
【００２８】
制御部２５は、生成部２５０を実現するための構成であり、ＣＰＵ（Central Processing Unit）などの演算処理回路により構成される。制御部２５は、オーディオデータとセンサデータとをパケット化した送信データを通信モジュール２６に出力する。送信データの構造については後述する。
【００２９】
通信モジュール２６は、送信部２６０を実現するための構成であり、信号処理装置３０との間で無線による通信が確立された後、生成部２５０から出力された送信データを、信号処理装置３０に無線通信により送信する。このとき、通信モジュール２６は、信号処理装置３０から同期データを一定期間毎に受け取ることで、信号処理装置３０が送信データを受け取っていることが通知されるようにしてもよい。
なお、通信の確立は、公知の技術を用いればよい。この例においては、信号処理装置３０が、ある一定範囲内において使用可能な無線周波数をサーチして決定し、信号送信装置２０に決定した無線周波数を通知する。そして、信号送信装置２０は、この無線周波数を用いて信号処理装置３０への通信を確立するようにすればよい。
続いて、信号送信装置２０と信号処理装置３０との間で通信されるデータについて、図４、図５を用いて説明する。
【００３０】
［データ構造］
図４は、本発明の第１実施形態における送信データおよび同期データの構造を説明する図である。図４（ａ）は、１パケットの送信データの構造を説明する図である。図４（ｂ）は、同期データの構造を説明する図である。送信データおよび同期データは、ヘッダ部（図４における先頭２ｂｙｔｅ「Ｈ」の部分）とペイロード部（ヘッダ部以外の部分）とにより構成されている。図４（ｂ）に示す同期データにおいて、ペイロード部は、信号送信装置２０からの送信データを受信していることを示すＳｙｎｃコマンド（「Ｃ」の部分）を１ｂｙｔｅで示すデータになっている。
【００３１】
図４（ａ）に示す送信データにおいて、ペイロード部は、オーディオデータ（「Ａｕｄｉｏ」の部分）が６ｂｙｔｅ、および、その後のセンサデータ（「Ｓ」の部分）が１ｂｉｔを示すデータになっている。なお、１パケットにつき、オーディオデータが６ｂｙｔｅ、センサデータが１ｂｉｔとしたのは一例であって、他のデータ量の組み合わせであってもよい。
【００３２】
オーディオデータは、１６ｂｉｔの量子化数でサンプリングされて得られたデータであるから、１パケットには、３回のサンプリングにより得られたオーディオデータが含まれることになる。センサデータは、８ｂｉｔの量子化数でサンプリングされて得られる一方、１パケットに含まれるセンサデータは１ｂｉｔである。そのため、センサデータは、制御部２５によって、８つの１ｂｉｔのセンサデータ（分割データ）に分割されて、各パケットに含まれるものとなる。また、センサデータは、３軸方向のセンサデータＳｘ、Ｓｙ、Ｓｚにより構成されているから、１回のサンプリングで８ｂｉｔ×３＝２４ｂｉｔとなる。そのため、センサデータの各サンプリング毎に２４パケットに分割されることになる。
次に、送信データにおける各パケットに含まれる分割データの内容を図５を用いて説明する。
【００３３】
図５は、本発明の第１実施形態における送信データの例を示す図である。図５の左側に示す「Ｎｏ．」は、パケットの番号を示している。分割データＳｘ１−１〜Ｓｘ１−８は、ｘ軸方向のセンサデータの１ビット目から８ビット目までを示し、この８ｂｉｔで１回のサンプリングにより得られるセンサデータＳｘが構成される。同様にして、Ｓｙ１−１〜Ｓｙ１−８、Ｓｚ１−１〜Ｓｚ１−８により、センサデータＳｙ、Ｓｚが得られる。上述したように、パケットＮｏ．１〜２４までの２４パケットを送受信することにより、１回のサンプリングにより得られる３軸のセンサデータＳｘ、Ｓｙ、Ｓｚが信号処理装置３０に送信される。
その後、次のサンプリングによりセンサデータが生成されるまでの期間は、パケットＮｏ．１〜２４までの２４パケットにおける分割データの割り当てが繰り返される。図５に示す例においては、Ｎ回目に割り当てられた分割データを、ＳｘＮ−１、ＳｘＮ−２、・・・として示している。
【００３４】
一方、オーディオデータの部分については、各パケットにつき３回のサンプリングにより得られたオーディオデータが含まれている。次のサンプリングによりセンサデータが生成されるまでに、オーディオデータが２２０回生成される。２２０回目のサンプリングにより生成されたオーディオデータは、パケットＮｏ．７４に含まれる。そのため、このパケットＮｏ．７４には、新たなサンプリングにより生成されたセンサデータの分割データＳｘ１−１が含まれることになり、再び２４パケット単位で繰り返される。なお、パケットＮｏ．７３には、４回目の繰り返しが開始されているが、次のパケットＮｏ．７４が生成されるときには、次のサンプリングによりセンサデータが生成されているため、４回目の繰り返しは中止されている。
【００３５】
各パケットのヘッダ部には、信号送信装置２０（送信側の装置）を識別する情報、パケットＮｏ．など順番を規定する情報、オーディオデータおよびセンサデータについてのデータ長、量子化数、サンプリング周波数、分割データがセンサデータの何ｂｉｔ目に対応するか、３軸のうちどの軸のセンサデータに対応するか、何回目のサンプリングに対応するかなどの各種情報が含まれている。
以上が、信号送信装置２０の構成に関する説明である。続いて、信号処理装置３０の構成について説明する。
【００３６】
［信号処理装置３０の構成］
図６は、本発明の第１実施形態における信号処理装置３０の構成を説明するブロック図である。信号処理装置３０は、通信モジュール３１、ＤＡ（digital-analog）変換部３２、制御部３３およびＤＳＰ（Digital Signal Processor）３４を有する。
通信モジュール３１は、受信部３１０を実現するための構成であり、信号送信装置２０との間で通信が確立された後、信号送信装置２０から送信された送信データを受信して出力する。また、上述したように、信号送信装置２０との無線による通信を確立するための処理を行う。これは、図示しない操作部を用いてユーザが通信の確立の指示などを入力することにより開始される。なお、通信モジュール３１においては、送信データに欠損があっても、再送の要求などは行わず、欠損しているものとして扱う。すなわち、エラー訂正の処理は行わない。また、通信モジュール３１は、一定時間にわたって送信データが受信できない場合には、無線周波数を変更するなど通信を確立し直してもよい。
【００３７】
ＤＡ変換部３２は、抽出部３２０を実現するための構成であり、ヘッダの情報を参照して送信データをＤＡ変換して、オーディオ信号および検出信号Ｓｘ、Ｓｙ、Ｓｚを出力するＤＡコンバータである。ＤＡ変換部３２は、サンプリング順にオーディオデータをＤＡ変換してオーディオ信号を生成して出力する。また、ＤＡ変換部３２は、各パケットに含まれる分割データを８パケット分（３軸をあわせると２４パケット分）をまとめてセンサデータを生成する。そして、ＤＡ変換部３２は、センサデータをサンプリング順にＤＡ変換することにより検出信号Ｓｘ、Ｓｙ、Ｓｚを生成して出力する。
【００３８】
なお、通信モジュール３１において送信データが受信できず欠損が発生した場合には、直前の送信データからＤＡ変換した値を保持する。一方、センサデータについては、ＤＡ変換部３２は、複数回受信する送信データに同一ビットの分割データ（例えば、Ｓｘ１−１とＳｘ２−１）が含まれるため、受信できた送信データにおける分割データを組み合わせて各ビットの値を特定することもできる。また、送信データの欠損が無くとも受信した送信データが送信したときと変わってしまう誤りが発生する場合もあるが、この場合には、ＤＡ変換部３２は、複数回の同一ビットの分割データを比較して最も多い値を正常な値として特定してもよい。
【００３９】
ここで、ＤＡ変換部３２において生成されるオーディオ信号および検出信号Ｓｘ、Ｓｙ、Ｓｚは、制御コマンドではなく、波形を示す信号である。そのため、一部の送信データに欠損、誤りが発生したりしても、オーディオ信号および検出信号Ｓｘ、Ｓｙ、Ｓｚの波形には、僅かな期間だけノイズが発生する程度であり、大きく波形が変化してしまうことがない。また、上述のように、検出信号については、エラー訂正の処理を行わなくても、複数回同一ビットを受信するなどの冗長性を持たせることもできるため、欠損、誤りが生じにくくすることもできる。
【００４０】
制御部３３は、決定部３３０を実現するための構成であり、ＣＰＵ（Central Processing Unit）などの演算処理回路により構成される。制御部３３は、入力された検出信号Ｓｘ、Ｓｙ、Ｓｚを解析して、ギター１０における弦１１の張られた方向の水平からの傾きの絶対値｜Ｐｓ｜を特定する。なお、解析にあたり、検出信号について一定時間で移動平均を取るなどして高周波成分を除去することで、送信データの欠損、誤りなどの影響を低減するようにしてもよい。
制御部３３は、特定した｜Ｐｓ｜を制御テーブルにしたがって、エフェクト制御値Ｃｅｆｆを決定し、ＤＳＰ３４に出力する。出力するタイミングは、予め決められたタイミング（例えば、第２ＡＤ変換部２４におけるサンプリング周波数２００Ｈｚで決められる間隔）であればよい。
エフェクト制御値Ｃｅｆｆは、ＤＳＰ３４において用いられるパラメータであり、この例においては、オーディオ信号に付与する音響効果の効き具合（加工態様）を定めるパラメータである。制御テーブルは、｜Ｐｓ｜からＣｅｆｆを決定するためのテーブルである。
【００４１】
図７は、本発明の第１実施形態における制御テーブルの内容を説明する図である。図７に示すように、この例における制御テーブルは、｜Ｐｓ｜が大きくなるほど、Ｃｅｆｆが大きくなる関係に規定されている。このような関係は、一例であって、様々な関係に定めることができる。また、検出信号Ｓｘ、Ｓｙ、Ｓｚのそれぞれについて、異なる種類のエフェクト制御値が決定されるようにしてもよい。また、１対１の変換テーブルでなく、検出信号Ｓｘ、Ｓｙ、Ｓｚのそれぞれの組み合わせに対応して、一のエフェクト制御値が決定されるようにしてもよい。
【００４２】
ＤＳＰ３４は、加工部３４０を実現するための構成であり、入力されたオーディオ信号に対して、音響効果（この例においてはディレイ効果）を付与する信号処理を施して出力する。すなわち、この例においては、オーディオ信号に対して施される加工処理は、音響効果を付与する処理である。
ＤＳＰ３４は、制御部３３から出力されたエフェクト制御値Ｃｅｆｆが示す音響効果の効き具合に応じて、付与する音響効果の程度、例えば、ディレイ量を決定する。ＤＳＰ３４は、ディレイ量でなく、ディレイ音の減衰量、ディレイ音量などを決定してもよい。このように、ＤＳＰ３４は、オーディオ信号に対して付与する音響効果の程度をエフェクト制御値Ｃｅｆｆに基づいて決定するため、制御部３３によって付与すべき音響効果の程度が制御されることになる。
このようにしてＤＳＰ３４から出力されたオーディオ信号は、放音装置４０に入力され、放音装置４０から放音される。
【００４３】
このように、本発明の第１実施形態における発音システム１においては、ユーザがギター１０の弦１１を弾くなどして演奏しながらギター１０を傾けると、放音装置４０からは、傾きに応じたディレイ量のディレイ効果が付与されたギター１０の演奏音が放音される。このとき、ギター１０に設けられた信号送信装置２０から信号処理装置３０へは、無線通信により音の情報と傾きの情報とが波形の情報として送信されている。このとき、上述したようにパケット化されて送信することにより、エラー訂正の処理をしなくてもよくなり、低遅延での送信が可能となる。
また、オーディオデータとセンサデータとが同一パケットにより送信されているから、ギター１０を傾きを変化させたときにおいて、リアルタイムに演奏音への音響効果の付与態様の変化として反映されているという印象をユーザに与えることもできる。
【００４４】
また、信号送信装置２０においては、ＤＳＰ３４などの処理負荷が大きい構成を必要としないため、低消費電力とすることができる。そのため、信号送信装置２０が設けられたギター１０に容量の大きな電源を用いる必要がなく、小型化にもつながり、持ち運びが容易となる。
さらに、送信データに含まれる情報は波形を示すものであるから、この送信データを受信する装置において自由に処理を施すことができ汎用性を高めることができる。
【００４５】
＜第２実施形態＞
本発明の第２実施形態においては、発音装置１０がスネアドラムである場合について説明する。第２実施形態の説明においては、発音装置１０をスネアドラム１０Ａと記す。
【００４６】
図８は、本発明の第２実施形態におけるスネアドラム１０Ａの外観構成を説明する図である。この例における発音システム１Ａは、スネアドラム１０Ａ、信号送信装置２０Ａ、信号処理装置３０Ａ、および放音装置４０を有する。放音装置４０については、第１実施形態における構成と同様であるため説明を省略する。スネアドラム１０Ａは、膜部１１Ａおよび膜部１１Ａが張られた胴部１２Ａを有する。膜部１１Ａは、振動体１１０の機能を実現するための構成である。胴部１２Ａは、検出対象部１２０の機能を実現するための構成である。
【００４７】
［信号送信装置２０Ａの構成］
信号送信装置２０Ａは、制御モジュール２００Ａを有する。制御モジュール２００は、胴部１２Ａに設けられている。
【００４８】
図９は、本発明の第２実施形態における信号送信装置２０Ａの構成を説明するブロック図である。信号送信装置２０Ａにおける制御モジュール２００Ａは、シリコンマイク２１Ａ、振動センサ２２Ａ、第１ＡＤ変換部２３、第２ＡＤ変換部２４、制御部２５および通信モジュール２６を有する。
シリコンマイク２１Ａは、信号出力部２１０を実現するための構成であり、膜部１１Ａが打撃されることにより生じた振動波形が伝達され、伝達された振動波形をオーディオ信号として第１ＡＤ変換部２３に出力する。シリコンマイク２１Ａは、例えば、ＭＥＭＳ（Micro Electro Mechanical Systems）技術によりシリコン基板等を用いて製造された収音装置である。
【００４９】
振動センサ２２Ａは、検出部２２０を実現するための構成であり、取り付けられた部分（この例においては胴部１２Ａ）の振動を検出し、検出結果を示す検出信号Ｓを出力する。この例においては、振動センサ２２Ａは、膜部１１Ａへの打撃により胴部１２Ａに伝達される振動を検出し、検出した振動の波形を示す検出信号Ｓを第２ＡＤ変換部２４に出力する。
【００５０】
第１ＡＤ変換部２３、第２ＡＤ変換部２４、制御部２５および通信モジュール２６については、第１実施形態における構成と同様であるため説明を省略する。なお、検出部２２０を実現する構成は、第１実施形態においては、３軸方向のそれぞれについて検出信号Ｓｘ、Ｓｙ、Ｓｚ（出力値が３種類）として出力されていたが、第２実施形態においては、１種類の出力値の検出信号Ｓとして出力される。そのため、送信データに含まれるセンサデータ（分割データ）については、第１実施形態においては、１回のサンプリングに対して、３軸のそれぞれについてのセンサデータが３回繰り返されていたが、サンプリング周波数が同じであれば、第２実施形態においては、９回繰り返されることになる。
【００５１】
［信号処理装置３０Ａの構成］
第２実施形態における信号処理装置３０Ａは、第１実施形態における信号処理装置３０に対して、制御部３３において決定される加工態様が異なり、それに伴いＤＳＰ３４（以下、ＤＳＰ３４Ａとして記す）においてオーディオ信号に対して施される加工処理の態様も異なっている。以下、第２実施形態における制御部３３（以下、制御部３３Ａとして記す）において決定される加工態様について説明する。なお、信号処理装置３０Ａの構成については、図６に示す信号処理装置３０において、制御部３３が制御部３３Ａとして、ＤＳＰ３４がＤＳＰ３４Ａとして変わるだけであるため、図示を省略する。
【００５２】
第２実施形態における加工態様としては、オーディオ信号に対して時間変化する増幅処理を施す態様である。
制御部３３Ａは、ＤＡ変換部３２から出力される検出信号Ｓを解析して、検出信号Ｓが示す振動波形のエンベロープからピークを検出するとともに、そのピークレベルＬｐについても特定する。制御部３３Ａは、ピークを検出すると、ＤＳＰ３４Ａに増幅処理の開始を指示する。このときの増幅値については、特定したピークレベルＬｐから、制御テーブルにしたがって制御部３３Ａが決定する。
【００５３】
図１０は、本発明の第２実施形態における増幅処理の時間変化態様を説明する図である。ＤＳＰ３４Ａは、制御部３３Ａにおいて増幅処理の開始の指示を受けると、図１０に示すように時間変化する増幅値Ｐ（ｔ）にしたがってオーディオ信号を増幅して出力する。この増幅値Ｐ（ｔ）は、ピーク検出後、時間ｔｍが経過すると最大増幅値Ｐｍ（ｄＢ）となり、その後時間経過に伴って減少し、ピーク検出から時間ｔｅが経過すると増幅値が０（ｄＢ）となるように決められている。
【００５４】
図１１は、本発明の第２実施形態における最大値を決定するための制御テーブルを説明する図である。この例における制御テーブルは、制御部３３Ａが、ピークレベルＬｐに基づいて最大増幅値Ｐｍを決定するために用いられる。図１１に示すように、この例における制御テーブルは、Ｌｐが大きくなるほど、Ｐｍが大きくなる関係に規定されている。
【００５５】
このように、増幅処理の時間変化態様、および制御テーブルが決められているため、以下のような効果を奏する。例えば、膜部１１Ａの打撃により生じた音を収音して、一定の増幅率で増幅して放音する場合には、音量は増大するがダイナミックレンジは変わらない。一方、第２実施形態におけるＤＳＰ３４Ａでの増幅処理をオーディオ信号に施すことによっては、膜部１１Ａの打撃により生じた振動を振幅に基づいて、放音される音の音量を制御することができる。すなわち、膜部１１Ａが強く打撃されるほど、オーディオ信号が大きく増幅されることになるため、ダイナミックレンジが拡大することになる。
【００５６】
なお、制御テーブルが図１１に示す内容ではなく、ピークレベルＬｐが大きくなるほど、最大増幅値Ｐｍが小さくなる関係に規定されていれば、逆に、ダイナミックレンジを圧縮することもできる。また、上記の増幅値が０（ｄＢ）となる時間ｔｅについても、ピークレベルＬｐに応じて変化するようにしてもよい。例えば、増幅処理の時間変化態様において、増幅値が０（ｄＢ）となる時間を規定するのではなく、最大増幅値Ｐｍからの減少率を一定として規定してもよい。
【００５７】
＜第３実施形態＞
本発明の第１、２実施形態においては、発音装置１０は、振動体１１０および検出対象部１２０を有するものとして説明したが、検出対象部１２０が別の構成であってもよい。この場合には、検出対象部１２０は、信号送信装置２０の一部の構成として扱うものとする。
このように構成される場合についての実施形態について、第３実施形態および第４実施形態として説明する。
【００５８】
第３実施形態においては、発音装置１０が楽器であり、信号送信装置２０がマイクロフォンである場合について説明する。第３実施形態の説明においては、発音装置１０を楽器１０Ｂと記し、信号送信装置２０をマイクロフォン２０Ｂと記す。なお、発音装置１０は楽器でなく、ユーザなどの人であってもよく、音を発する構成を有していればよい。
【００５９】
図１２は、本発明の第３実施形態におけるマイクロフォン２０Ｂの外観構成を説明する図である。この例における発音システム１Ｂは、楽器１０Ｂ、マイクロフォン２０Ｂ、信号処理装置３０、および放音装置４０を有する。信号処理装置３０および放音装置４０については、第１実施形態における構成と同様であるため説明を省略する。楽器１０Ｂは、発音部１１Ｂを有する。発音部１１Ｂは、振動体１１０の機能を実現するための構成である。
【００６０】
［マイクロフォン２０Ｂの構成］
マイクロフォン２０Ｂは、筐体１２Ｂ、ムービングコイル２１Ｂおよび制御モジュール２００Ｂを有する。ムービングコイル２１Ｂおよび制御モジュール２００Ｂは、筐体１２Ｂに設けられている。筐体１２Ｂは、検出対象部１２０の機能を実現するための構成である。
【００６１】
図１３は、本発明の第３実施形態におけるマイクロフォン２０Ｂの構成を説明するブロック図である。ムービングコイル２１Ｂは、信号出力部２１０を実現するための構成であり、発音部１１Ｂにおける発音に応じた音の振動波形が伝達され、伝達された振動波形をオーディオ信号として第１ＡＤ変換部２３に出力する。
制御モジュール２００Ｂは、加速度センサ２２、第１ＡＤ変換部２３、第２ＡＤ変換部２４、制御部２５および通信モジュール２６を有する。これらの各構成については、第１実施形態における構成と同様であるため、説明を省略する。
【００６２】
このように、第３実施形態においては、発音部１１Ｂからの音に音響効果を付与して放音させることができる。このとき、ユーザがマイクロフォン２０Ｂを把持して傾けることにより、付与される音響効果を変化させることもできる。例えば、カラオケのマイクロフォンとして、このマイクロフォン２０Ｂを用いれば、ユーザは、歌唱しつつこのマイクロフォン２０Ｂを傾けることにより、歌唱音に様々な音響効果を付与することができる。
【００６３】
＜第４実施形態＞
【００６４】
第４実施形態においては、信号送信装置２０（第３実施形態におけるマイクロフォン２０Ｂ）が携帯端末である場合について説明する。第４実施形態の説明においては、発音装置１０を楽器１０Ｃと記し、信号送信装置２０を携帯端末２０Ｃと記す。携帯端末２０Ｃは、携帯電話、タブレット端末、ＰＤＡ（Personal Digital Assistant）などの持ち運び可能な情報処理端末である。
【００６５】
図１４は、本発明の第４実施形態における携帯端末２０Ｃの外観構成を説明する図である。この例における発音システム１Ｃは、楽器１０Ｃ、携帯端末２０Ｃ、信号処理装置３０、および放音装置４０を有する。信号処理装置３０および放音装置４０については、第１実施形態における構成と同様であるため説明を省略する。また、楽器１０Ｃ（発音部１１Ｃ）についても第３実施形態における構成と同様であるため説明を省略する。
【００６６】
［携帯端末２０Ｃの構成］
図１５は、本発明の第４実施形態における携帯端末２０Ｃの構成を説明するブロック図である。図１４、図１５に示すように、携帯端末２０Ｃは、シリコンマイク２１Ｃ、加速度センサ２２Ｃ、第１ＡＤ変換部２３Ｃ、第２ＡＤ変換部２４Ｃ、制御部２５Ｃ、通信モジュール２６Ｃおよび記憶部５０Ｃを有し、それぞれ筐体１２Ｃに設けられている。
加速度センサ２２Ｃ、第１ＡＤ変換部２３Ｃ、第２ＡＤ変換部２４Ｃおよび通信モジュール２６Ｃについては、第１実施形態において対応する構成と同様であるため説明を省略する。また、シリコンマイク２１Ｃについても、第２実施形態におけるシリコンマイク２１Ａと同様であるため説明を省略する。
【００６７】
記憶部５０Ｃは、不揮発性メモリなどであって、アプリケーションプログラムを記憶している。制御部２５Ｃは、このアプリケーションプログラムを実行すると、携帯端末２０Ｃの各構成を制御して、信号送信装置２０の機能構成を実現する。このとき、制御部２５Ｃは、シリコンマイク２１Ｃにより信号出力部２１０を実現し、加速度センサ２２Ｃにより検出部２２０を実現し、第１ＡＤ変換部２３Ｃにより第１サンプリング部２３０として実現し、第２ＡＤ変換部２４Ｃにより第２サンプリング部２４０として実現し、通信モジュール２６Ｃにより送信部２６０を実現する。また、制御部２５Ｃにおいて、生成部２５０を実現する。
【００６８】
このように、信号送信装置２０における各機能構成は、アプリケーションプログラムを制御部２５Ｃに実行させることにより、制御部２５Ｃと各ハードウエア構成とにより協働して実現されるようにすることができる。なお、第１サンプリング部２３０および第２サンプリング部２４０の機能構成については、制御部２５Ｃにおいて実現されるようにしてもよい。
【００６９】
＜変形例＞
以上、本発明の実施形態について説明したが、本発明は以下のように、様々な態様で実施可能である。なお、実施形態および変形例のうちの一の例について変形した態様として説明するものであっても、他の例についても同様に変形して適用することができる。
【００７０】
［変形例１］
上述した実施形態において、信号処理装置３０（３０Ａ）においては、オーディオ信号に対して施される加工処理が音響効果の付与であったが、別のオーディオ信号を合成するものであってもよい。この場合の構成について説明する。
【００７１】
図１６は、本発明の変形例１における信号処理装置３０Ｂの構成を説明するブロック図である。信号処理装置３０Ｂは、通信モジュール３１、ＤＡ変換部３２、制御部３３Ｂ、音源部３４Ｂ１および合成部３４Ｂ２を有する。通信モジュール３１およびＤＡ変換部３２については、第１実施形態における構成と同様であるため説明を省略する。
【００７２】
音源部３４Ｂ１および合成部３４Ｂ２は、加工部３４０を実現する構成である。音源部３４Ｂ１は、制御部３３Ｂの制御に応じてオーディオ信号を生成して出力する。音源部３４Ｂ１は、例えば、ＭＩＤＩ形式の制御コマンドが入力されると、制御コマンドに基づいて決まる発音内容を示す波形のオーディオ信号を出力する。合成部３４Ｂ２は、ＤＡ変換部３２から出力されるオーディオ信号および音源部３４Ｂ１から出力されるオーディオ信号とを加算して合成して出力する。
なお、合成部３４Ｂ２において合成されるオーディオ信号のうち、ＤＡ変換部３２から出力されるオーディオ信号は、各実施形態において示したようにＤＳＰ３４（３４Ａ）により音響効果が付与される処理が施されてもよい。
【００７３】
制御部３３Ｂは、決定部３３０を実現する構成であり、この例においては、ＤＡ変換部３２から出力される検出信号に基づいて、音源部３４Ｂ１の発音内容を決定し、決定した発音内容のオーディオ信号を出力させるための制御コマンドを音源部３４Ｂ１に出力する。
【００７４】
例えば、制御部３３Ｂは、第１実施形態の場合のように検出信号Ｓｘ、Ｓｙ、Ｓｚが入力される場合には、検出信号Ｓｘの出力値が一定値未満から一定値以上に変化した場合に、発音開始を指示する制御コマンドを出力する。制御部３３Ｂは、このように発音を開始させる音については、例えば、検出信号Ｓｘの出力値が一定値以上に変化したときの検出信号Ｓｙの出力値に応じた音高、検出信号Ｓｚの出力値に応じた音量となるように、制御コマンドを出力すればよい。音色については、予め決められたものを用いればよい。
【００７５】
また、制御部３３Ｂは、第２実施形態の場合のように検出信号Ｓが入力される場合には、ピークが検出された場合に、発音開始を指示する制御コマンドを出力し、ピークレベルＬｐに応じた音量となるように制御コマンドを出力すればよい。この場合には、音色、音高などは予め決められたものとすればよい。
【００７６】
このとき、ピークレベルＬｐのとり得る範囲を予め設定しておき、また、とり得る音量の範囲を予め設定しておくことにより、制御部３３Ｂは、それぞれの範囲の関係で音量を決定するようにして制御コマンドを出力するようにしてもよい。
例えば、音量を規定する制御コマンドの制御値が「０」から「１２７」であるものとする。また、とり得るピークレベルＬｐの範囲が「６０００」から「２２０００」であるものとする。この場合には、ピークレベルＬｐが「６０００」である場合に制御コマンドの制御値が「０」、ピークレベルＬｐが「２２０００」であるときに制御コマンドの制御値が「１２７」になるように、ピークレベルＬｐから制御コマンドの制御値が決定される。このとき、制御値の最小値から最大値までの間については、補間態様を適宜設定しておけばよい。また、制御値のとりうる範囲について、上限、下限を設け、補間した結果、制御値が上限値を超える場合には上限値に固定、下限値を下回る場合には下限値に固定するようにしてもよい。
【００７７】
このような制御態様は一例であって、様々な制御態様が設定可能であり、制御部３３Ｂは、入力された検出信号に基づいて、設定された制御態様で制御コマンドを出力することができる。
【００７８】
［変形例２］
上述した第１実施形態においては、ユーザが聴くことのできる音は、放音装置４０から放音される音以外については、ギター１０における弦１１の振動による発音であったが、ギター１０にスピーカを設けることにより、このスピーカからも音を聴くことができるようにしてもよい。
【００７９】
図１７は、本発明の変形例２における信号送信装置２０Ｄの構成を説明するブロック図である。信号送信装置２０Ｄは、第１実施形態における構成に加えて、ＤＳＰ２７を有する。
ＤＳＰ２７は、第１実施形態におけるＤＳＰ３４と同様であり、入力されたオーディオ信号に対してエフェクト制御値Ｃｅｆｆに応じた音響効果を付与する処理を施して放音装置２８に出力する。放音装置２８は、放音装置４０と同様、入力されたオーディオ信号を増幅して放音する。
【００８０】
制御部２５Ｄは、第１実施形態における制御部２５の機能に加えて、オーディオ信号をＤＳＰ２７に出力する機能を有する。また、制御部２５Ｄは、制御部３３と同様にして、検出信号Ｓｘ、Ｓｙ、Ｓｚに基づいて、ＤＳＰ２７において用いられるエフェクト制御値Ｃｅｆｆを決定する。なお、ＤＳＰ２７において付与される音響効果については、信号処理装置３０におけるＤＳＰ３４とは異なるものであってもよい。
【００８１】
なお、ＤＳＰ２７は、変形例１で説明した音源部３４Ｂ１に相当する構成であってもよい。また、放音装置２８に出力されるオーディオ信号は、送信データとしてパケット化されてもよい。この場合には、放音装置２８に出力されるオーディオ信号は、第１ＡＤ変換部２３から出力されるオーディオ信号に代えて、または合成して、パケット化されればよい。
【００８２】
また、ギター１０に操作部２９が設けられていてもよい。この場合には、操作部２９がユーザの指示を受け付け、指示に応じてＤＳＰ２７における加工態様が設定可能に構成されていてもよい。また、この指示内容は、通信モジュール２６を介して信号処理装置３０に送信されてもよい。この場合には信号処理装置３０におけるＤＳＰ３４の加工態様が設定可能に構成されていてもよい。加工態様が設定されると、制御部２５Ｄ、３３において決定する加工態様は、設定内容に応じたものとなる。
【００８３】
［変形例３］
上述した第１、第２実施形態においては、発音装置１０は、振動体１１０が振動することにより発音する構成であったが、演奏操作を受け付ける演奏操作部を有し、発音を制御する装置としてもよい。
【００８４】
図１８は、本発明の変形例３における発音システム１Ｅの機能構成を説明するブロック図である。発音システム１Ｅは、発音制御装置１０Ｅ、信号送信装置２０Ｅ、信号処理装置３０および放音装置４０を有する。信号処理装置３０および放音装置４０については、第１実施形態における構成と同様であるため説明を省略する。
発音システム１Ｅは、演奏操作部１１０Ｅおよび検出対象部１２０を有する。演奏操作部１１０Ｅは、ユーザに操作されることにより発音内容の指示を示す指示信号を出力する機能を有する。検出対象部１２０Ｅは、演奏操作部１１０Ｅが設けられる。
【００８５】
信号送信装置２０Ｅは、信号出力部２１０Ｅ、検出部２２０、第１サンプリング部２３０、第２サンプリング部２４０、生成部２５０および送信部２６０を有する。信号出力部２１０Ｅは、演奏操作部１１０Ｅから出力される指示信号に応じて発音内容を決定し、決定した発音内容を波形で示すオーディオ信号を出力する。他の構成については、第１実施形態における構成と同様であるため説明を省略する。
続いて、このような発音システム１Ｅの機能構成を実現するための実施形態の例について説明する。
【００８６】
図１９は、本発明の変形例３における鍵盤装置１０Ｅの外観構成を説明する図である。この例における発音システム１Ｅは、鍵盤装置１０Ｅ、信号送信装置２０Ｅ、信号処理装置３０および放音装置４０を有する。信号処理装置３０および放音装置４０については、上述したように第１実施形態における構成と同様であるため説明を省略する。鍵盤装置１０Ｅは、演奏操作部１１０Ｅを実現するための構成の鍵１１Ｅ１および鍵センサ１１Ｅ２を有し、また、検出対象部１２０Ｅを実現するための構成の筐体１２Ｅを有する。これらの各構成は、電子鍵盤楽器などにおいて用いられる構成と同様であり、鍵センサ１１Ｅ２は、ユーザにより押下された鍵１１Ｅ１の押下量に基づく指示信号を出力する。
信号送信装置２０Ｅは、制御モジュール２００Ｅを有する。制御モジュール２００Ｅは、筐体１２Ｅに設けられている。
【００８７】
図２０は、本発明の変形例３における信号送信装置２０Ｅの構成を説明するブロック図である。信号送信装置２０Ｅにおける制御モジュール２００Ｅは、音源部２１Ｅ、加速度センサ２２、第１ＡＤ変換部２３、第２ＡＤ変換部２４、制御部２５および通信モジュール２６を有する。音源部２１Ｅは、信号出力部２１０Ｅを実現する構成であり、鍵センサ１１Ｅ２から出力される指示信号に基づいて、発音内容を特定し、発音内容を波形で示すオーディオ信号を出力する。加速度センサ２２、第１ＡＤ変換部２３、第２ＡＤ変換部２４、制御部２５および通信モジュール２６については、第１実施形態における構成と同様であるため説明を省略する。
【００８８】
このように、信号出力部から出力されるオーディオ信号は、振動体の振動波形に基づいて生成された信号に限らず、演奏操作に基づいて生成された信号であってもよい。
【００８９】
［変形例４］
上述した実施形態において、信号処理装置３０においては、検出信号に基づいて決定された態様（効果の程度、ダイナミックレンジ変換、他のオーディオ信号の合成など）で音響効果を付与する信号処理をオーディオ信号に対して施していたが、検出信号に基づいて決定される態様は様々にとり得る。検出信号に基づいて決定される態様としては、例えば、音響効果の種類（ディレイ、リバーブ、コーラスなど）の切り替え、ピッチ変換、位相調整などであり、また音源部を用いる場合には音色の切り替えなども可能である。
【００９０】
［変形例５］
上述した実施形態において、放音装置４０は、スピーカから放音するものとして説明したが、ヘッドフォンなどであってもよい。また、放音装置４０と信号処理装置３０とは一体に構成されていてもよい。
【００９１】
［変形例６］
上述した実施形態においては、送信データの各パケットにおける最後の１ｂｉｔにセンサデータが分割データとして含まれる態様のデータ構造であったが、別の態様であってもよい。
例えば、センサデータは２ｂｉｔ単位で分割されて各パケットに２ｂｉｔが含まれるようにしてもよいし、分割せずに各パケットに１ｂｙｔｅ単位で含まれるようにしてもよい。
また、オーディオデータの一部をセンサーデータ（分割データ）として置き換えてもよい。例えば、オーディオデータの最下位ｂｉｔを置き換えるだけであれば、音に与える影響は少ない。
【００９２】
［変形例７］
上述した実施形態においては、送信データの各パケットにおいてセンサーデータ（分割データ）が最後の１ｂｉｔに含まれているが、少なくとも１回のサンプリングにより生成されたセンサデータが送信された後は、次のサンプリングによりセンサデータが生成されるまで、センサデータとは関係の無いダミーデータとして送信してもよい。すなわち、送信データの各パケット全てにおいてセンサデータが含まれている必要はなく、一部のパケットにおいてセンサデータが含まれていなくてもよい。
【００９３】
［変形例８］
上述した実施形態においては、１つの信号送信装置２０から１つの信号処理装置３０に対して送信データが送信されていたが、少なくとも一方が複数であってもよい。
【００９４】
例えば、信号送信装置２０が複数である場合には、信号処理装置３０は、各信号送信装置２０からの送信データに対して実施形態と同様な処理を行い、加工処理が施されたオーディオ信号を合成して放音装置４０出力すればよい。
一方、信号処理装置３０が複数である場合には、信号送信装置２０からの送信データに応じて、それぞれ決定された加工態様で加工処理が施されたオーディオ信号を、それぞれ接続された放音装置４０に出力すればよい。このとき、複数の信号処理装置３０から出力されるオーディオ信号を合成した信号が１つの放音装置４０に出力されるようにしてもよい。
【００９５】
ここで、信号送信装置２０から送信される送信データは、制御コマンドではなく波形信号をサンプリングしてパケット化したものであるから、信号処理装置３０においては、特定の制御コマンドにより制御される必要はなく、波形信号を個々に解析して利用することができ、汎用性が高くなる。
【００９６】
［変形例９］
上述した実施形態においては、検出部２２０の例として、加速度センサ、振動センサを用いていたが、ジャイロ、地磁気センサなどを用いてもよい。すなわち、検出部２２０は、検出対象部１２０の運動により出力値が変化する検出信号を出力可能な構成であれば、どのような構成であってもよい。
【００９７】
また、検出部２２０は、複数種類のセンサが組み合わされて実現されてもよく、例えば、加速度センサとジャイロとにより実現されてもよい。信号処理装置３０においては、それぞれのセンサから出力された検出信号に基づいて、オーディオ信号に対する加工態様を決定すればよい。
【００９８】
［変形例１０］
上述した実施形態においては、信号出力部２１０から出力されるオーディオ信号はモノラル信号として説明したが、ステレオ信号など多チャンネルの信号として出力されてもよい。
【００９９】
［変形例１１］
上述した実施形態においては、信号出力部２１０は、検出対象部１２０に取り付けられていたが、直接取り付けられる場合に限らず、他の部材を介して間接的に取り付けられていてもよい。
【０１００】
［変形例１２］
上述した第４実施形態において制御部２５Ｃによって実行されるアプリケーションプログラムは、磁気記録媒体（磁気テープ、磁気ディスクなど）、光記録媒体（光ディスクなど）、光磁気記録媒体、半導体メモリなどのコンピュータ読み取り可能な記録媒体に記憶した状態で提供し得る。また、携帯端末２０Ｃは、このアプリケーションプログラムをネットワーク経由でダウンロードしてもよい。
【符号の説明】
【０１０１】
１，１Ａ，１Ｂ，１Ｃ，１Ｅ…発音システム、１０…発音装置、ギター、１０Ａ…スネアドラム、１０Ｂ，１０Ｃ…楽器、１０Ｅ…発音制御装置、鍵盤装置、１１…弦、１１Ａ…膜部、１１Ｂ，１１Ｃ…発音部、１１Ｅ１…鍵、１１Ｅ２…鍵センサ、１２Ｅ…筐体、１２，１２Ａ…胴部、１２Ｂ，１２Ｃ…筐体、２０，２０Ａ，２０Ｄ，２０Ｅ…信号送信装置、２０Ｂ…マイクロフォン、２０Ｃ…携帯端末、２１…ピックアップ、２１Ａ，２１Ｃ…シリコンマイク、２１Ｂ…ムービングコイル、２１Ｅ…音源部、２２，２２Ｃ…加速度センサ、２２Ａ…振動センサ、２３，２３Ｃ…第１ＡＤ変換部、２４，２４Ｃ…第２ＡＤ変換部、２５，２５Ｃ，２５Ｄ…制御部、２６，２６Ｃ…通信モジュール、２７…ＤＳＰ、２８…放音装置、２９…操作部、３０，３０Ｂ…信号処理装置、３１…通信モジュール、３２…ＤＡ変換部、３３，３３Ｂ…制御部、３４…ＤＳＰ、３４Ｂ１…音源部、３４Ｂ２…合成部、４０…放音装置、５０Ｃ…記憶部、１１０…振動体、１１０Ｅ…演奏操作部、１２０，１２０Ｅ…検出対象部、２００，２００Ａ，２００Ｄ，２００Ｅ…制御モジュール、２１０，２１０Ｅ…信号出力部、２２０…検出部、２３０…第１サンプリング部、２４０…第２サンプリング部、２５０…生成部、２６０…送信部、３１０…受信部、３２０…抽出部、３３０…決定部、３４０…加工部
【特許請求の範囲】
【請求項１】
オーディオ信号を出力する信号出力手段と、
前記信号出力手段を備える検出対象部の運動を検出し、当該運動により出力値が変化する検出信号を出力する検出手段と、
前記出力されたオーディオ信号を第１サンプリング周波数でサンプリングして第１サンプルデータを生成し出力する第１サンプリング手段と、
前記出力された検出信号を前記第１サンプリング周波数より低い第２サンプリング周波数でサンプリングして第２サンプルデータを生成し出力する第２サンプリング手段と、
前記出力された前記第１サンプルデータと前記第２サンプルデータとが同一のパケットに含まれるようにパケット化して送信データを生成する生成手段と、
前記検出信号に基づく態様で前記オーディオ信号に加工処理を施して出力する信号処理装置に対して、前記生成された送信データを無線通信により送信する送信手段と
を具備することを特徴とする信号送信装置。
【請求項２】
前記信号出力手段は、振動体から伝達される振動波形をオーディオ信号に変換し、当該変換したオーディオ信号を出力する
ことを特徴とする請求項１に記載の信号送信装置。
【請求項３】
前記生成手段は、前記複数のパケットに同一の前記第２サンプルデータが含まれるようにパケット化して前記送信データを生成する
ことを特徴とする請求項１または請求項２に記載の信号送信装置。
【請求項４】
前記生成手段は、前記第２サンプルデータを複数の分割データに分割し、前記第１サンプルデータおよび当該第２サンプルデータの分割データが同一のパケットに含まれるようにパケット化して前記送信データを生成する
ことを特徴とする請求項１乃至請求項３のいずれかに記載の信号送信装置。
【請求項５】
請求項１乃至請求項４のいずれかに記載の信号送信装置から送信された送信データを受信する受信手段と、
前記受信した送信データからオーディオ信号および検出信号を抽出する抽出手段と、
前記抽出された検出信号に基づいて、オーディオ信号の加工態様を決定する決定手段と、
前記決定された加工態様で前記抽出されたオーディオ信号に加工処理を施して出力する加工手段と
を具備することを特徴とする信号処理装置。
【請求項１】
オーディオ信号を出力する信号出力手段と、
前記信号出力手段を備える検出対象部の運動を検出し、当該運動により出力値が変化する検出信号を出力する検出手段と、
前記出力されたオーディオ信号を第１サンプリング周波数でサンプリングして第１サンプルデータを生成し出力する第１サンプリング手段と、
前記出力された検出信号を前記第１サンプリング周波数より低い第２サンプリング周波数でサンプリングして第２サンプルデータを生成し出力する第２サンプリング手段と、
前記出力された前記第１サンプルデータと前記第２サンプルデータとが同一のパケットに含まれるようにパケット化して送信データを生成する生成手段と、
前記検出信号に基づく態様で前記オーディオ信号に加工処理を施して出力する信号処理装置に対して、前記生成された送信データを無線通信により送信する送信手段と
を具備することを特徴とする信号送信装置。
【請求項２】
前記信号出力手段は、振動体から伝達される振動波形をオーディオ信号に変換し、当該変換したオーディオ信号を出力する
ことを特徴とする請求項１に記載の信号送信装置。
【請求項３】
前記生成手段は、前記複数のパケットに同一の前記第２サンプルデータが含まれるようにパケット化して前記送信データを生成する
ことを特徴とする請求項１または請求項２に記載の信号送信装置。
【請求項４】
前記生成手段は、前記第２サンプルデータを複数の分割データに分割し、前記第１サンプルデータおよび当該第２サンプルデータの分割データが同一のパケットに含まれるようにパケット化して前記送信データを生成する
ことを特徴とする請求項１乃至請求項３のいずれかに記載の信号送信装置。
【請求項５】
請求項１乃至請求項４のいずれかに記載の信号送信装置から送信された送信データを受信する受信手段と、
前記受信した送信データからオーディオ信号および検出信号を抽出する抽出手段と、
前記抽出された検出信号に基づいて、オーディオ信号の加工態様を決定する決定手段と、
前記決定された加工態様で前記抽出されたオーディオ信号に加工処理を施して出力する加工手段と
を具備することを特徴とする信号処理装置。
【図１】
【図２】
【図３】
【図４】
【図５】
【図６】
【図７】
【図８】
【図９】
【図１０】
【図１１】
【図１２】
【図１３】
【図１４】
【図１５】
【図１６】
【図１７】
【図１８】
【図１９】
【図２０】
【図２】
【図３】
【図４】
【図５】
【図６】
【図７】
【図８】
【図９】
【図１０】
【図１１】
【図１２】
【図１３】
【図１４】
【図１５】
【図１６】
【図１７】
【図１８】
【図１９】
【図２０】
【公開番号】特開２０１３−１５６３３（Ｐ２０１３−１５６３３Ａ）
【公開日】平成２５年１月２４日（２０１３．１．２４）
【国際特許分類】
【出願番号】特願２０１１−１４７４４４（Ｐ２０１１−１４７４４４）
【出願日】平成２３年７月１日（２０１１．７．１）
【出願人】（０００００４０７５）ヤマハ株式会社 (5,930)
【公開日】平成２５年１月２４日（２０１３．１．２４）
【国際特許分類】
【出願日】平成２３年７月１日（２０１１．７．１）
【出願人】（０００００４０７５）ヤマハ株式会社 (5,930)
[ Back to top ]