楽音発生装置および楽音発生プログラム
【課題】 弦楽器の弦全体の振動に基づき、かつ、レスポンスに優れた弦の振動に基づく楽音波形データを生成する。
【解決手段】 ＣＰＵ１１は、カメラ１６により撮影された、弦の張設方向に、弦の振動する部分にわたった画像撮影領域の画像データを取得して、弦の張設方向と垂直方向の基準位置からの変位量をゲイン値として、複数のゲイン値を含む波形データを生成してＲＡＭ１３の波形データエリアに格納する。また、ＣＰＵ１１は、ＲＡＭ１３の波形データエリアに格納された波形データを、所定の読み出し速度で読み出して楽音波形データを生成して出力する。楽音波形データは、サウンドシステム１４のスピーカ２３から出力される。
【解決手段】 ＣＰＵ１１は、カメラ１６により撮影された、弦の張設方向に、弦の振動する部分にわたった画像撮影領域の画像データを取得して、弦の張設方向と垂直方向の基準位置からの変位量をゲイン値として、複数のゲイン値を含む波形データを生成してＲＡＭ１３の波形データエリアに格納する。また、ＣＰＵ１１は、ＲＡＭ１３の波形データエリアに格納された波形データを、所定の読み出し速度で読み出して楽音波形データを生成して出力する。楽音波形データは、サウンドシステム１４のスピーカ２３から出力される。
【発明の詳細な説明】
【技術分野】
【０００１】
本発明は、弦楽器の弦振動に基づいて楽音を発生する楽音発生装置および楽音発生プログラムに関する。
【背景技術】
【０００２】
ギターなどの弦楽器から出力された楽音信号に基づくデータから、そのピッチを抽出し、抽出されたピッチに基づいて出力用の波形データを生成して出力する技術が知られている。たとえば、特許文献１や特許文献２では、ギターの６つの弦から発せられた楽音波形データのそれぞれのピッチ（音高）およびエンベロープを抽出して、ＲＯＭなどから所定の音色の楽音波形データを、抽出されたピッチに基づいて読み出し、抽出されたエンベロープを与えて新たな楽音波形データを生成している。
【０００３】
特許文献１では、入力された波形データにフィルタ処理を施し、フィルタ処理が施された波形データのゼロクロス点を検出し、波形データが正の値をとる時間をカウンタにて計測するとともに、波形データが負の値をとる時間を他のカウンタにて計測し、双方のカウンタ値を参照して弦の基本波の振動を検知し、波形データのピッチを抽出している。
【先行技術文献】
【特許文献】
【０００４】
【特許文献１】特開昭６３−２９８３９６号公報
【特許文献２】特開平９−６３５１号公報
【特許文献３】特開平９−１０６２７４号公報
【発明の概要】
【発明が解決しようとする課題】
【０００５】
特に、弦楽器では、ピッキングされた各弦の振動を、たとえば、ピックアップが磁気の変動として検出し、電気信号に変換して出力している。したがって、従来のピッチ抽出においては、ピックアップにより得られた電気信号をディジタルデータに変換し、変換されたデータが用いられている。したがって、複数の弦がピッキングされ複数の弦が振動している場合には、他の弦の振動による磁気の変動の影響を排除で傷、ピックアップにより電気信号に変換する過程で、他の弦振動に基づく信号が混合されてしまうおそれがある。このようなクロストークによって、ピックアップからの電気信号に基づくピッチ抽出においては、正確なピッチが算出されない可能性があった。また、クロストークの影響により、ピックアップが検出した電気信号における波形データの周期が安定せず、ピッチ抽出に時間がかかる場合があるという問題点があった。また、ピックアップにより得られた電気信号の周期性に基づきピッチを抽出するため、周期が安定するまでピッチの抽出が出来ず、レスポンスが良くないという問題点もあった。
【０００６】
さらに、特許文献３には、ピッチを直接抽出せず、弦楽器のネックの指板にフレットスイッチを設けて、オンされたフレットスイッチによって音高を決定し、かつ、弦の振動を各軸方向のセンサにより検知して、決定された音高で、かつ、センサにより検知された弦振動により音色特性を変化させた楽音を発生する電子弦楽器が提案されている。特許文献３に開示された電子弦楽器は、フレットスイッチにより音高を指定するためレスポンスには優れる。その一方、実際のギターの弦振動とは異なる弦振動となるため、弦楽器の弦振動の変化に直接対応する楽音を生成することは容易ではなかった。
【０００７】
本発明は、弦楽器の弦全体の振動に基づく楽音波形データを生成可能な楽音発生装置および楽音発生プログラムを提供することを目的とする。また、本発明は、レスポンスに優れた弦の振動に基づく楽音発生装置および楽音発生プログラムを提供することを目的とする。
【課題を解決するための手段】
【０００８】
本発明の目的は、弦楽器の弦の振動に基づく楽音を発生する楽音発生装置であって、
当該弦の張設方向に、前記弦の振動する部分にわたった画像撮影領域の画像データを取得する画像取得手段と、
前記画像取得手段により得られた画像データに基づいて、前記弦の張設方向と垂直方向の基準位置からの変位量をゲイン値として、前記弦の張設方向における複数のゲイン値を含む波形データを生成して記憶手段の波形データエリアに格納する波形データ生成手段と、
前記波形データエリアに格納された波形データを、所定の読み出し速度で読み出して第１の楽音波形データを生成する楽音波形データ生成手段と、を備えたことを特徴とする楽音発生装置により達成される。
【０００９】
好ましい実施態様においては、前記楽音波形データ生成手段が、入力された基本周波数ｆ（Ｈｚ）に基づいて、１／ｆ（秒）で、前記波形データエリアに格納された波形データを読み取り終わる速度で、前記波形データエリアに格納された波形データを読み取るように構成される。
【００１０】
より好ましい実施態様においては、前記波形データ生成手段が、前記波形データのサンプル数Ｎを、Ｎ＝ｆｓ／ｆ（ｆｓ：サンプリング周波数）となるように、波形データを生成する。
【００１１】
別の好ましい実施態様においては、前記記憶装置が、所定の音色の波形データが格納された音色波形データエリアを有し、
楽音波形データ生成手段が、前記基本周波数に基づいて、前記音色波形データエリアの前記所定の音色の波形データを読み出し、第２の楽音波形データを生成し、前記第１の楽音波形データと前記第２の楽音波形データとを合成した合成楽音波形データを生成する。
【００１２】
さらに別の好ましい実施態様においては、前記楽音波形データ生成手段が、ピックアップから出力された弦振動に基づく第２の楽音信号と、前記第１の楽音信号データに基づく第１の楽音信号とを合成して出力する。
【００１３】
好ましい実施態様においては、複数の波形データエリアを有し、
前記波形データ生成手段が、新たな画像データが取得されたときに、前記楽音波形データ生成手段により波形データが読み出されていない他の波形データエリアに、前記新たな画像データに基づく新たな波形データを格納し、
前記楽音波形データ生成手段は、前記波形データを読み出している一方の波形データエリアからの波形データの読み出しが終了する場合に、前記他の波形データエリアから前記新たな波形データの読み出しを開始する。
【００１４】
より好ましい実施態様においては、前記楽音波形データ生成手段は、前記一方の波形データエリアからの波形データの読み出しを終了する際に、前記波形データのレベルを徐々に減少させるとともに、前記他の波形データエリアから読み出された前記新たな波形データのレベルを徐々に増大させ、前記波形データおよび前記新たな波形データを合成して出力する。
【００１５】
また、本発明の目的は、弦楽器の弦の振動に基づく楽音を発生するための楽音発生プログラムであって、コンピュータに、
当該弦の張設方向に、前記弦の振動する部分にわたった画像撮影領域の画像データを取得する画像取得ステップと、
前記画像取得ステップにおいて得られた画像データに基づいて、前記弦の張設方向と垂直方向の基準位置からの変位量をゲイン値として、前記弦の張設方向における複数のゲイン値を含む波形データを生成して記憶手段の波形データエリアに格納する波形データ生成ステップと、
前記波形データエリアに格納された波形データを、所定の読み出し速度で読み出して第１の楽音波形データを生成する楽音波形データステップと、を実行させることを特徴とする楽音発生プログラムにより達成される。
【発明の効果】
【００１６】
本発明によれば、弦楽器の弦全体の振動に基づく楽音波形データを生成可能な楽音発生装置および楽音発生プログラムを提供することが可能となる。また、本発明は、レスポンスに優れた弦の振動に基づく楽音発生装置および楽音発生プログラムを提供することが可能となる。
【図面の簡単な説明】
【００１７】
【図１】図１は、本発明の第１の実施の形態にかかる楽音発生装置の構成を示すブロックダイヤグラムである。
【図２】図２は、本実施の形態におけるギターの弦およびカメラの配置例を説明する図である。
【図３】図３は、本実施の形態にかかる楽音発生装置にて実行される処理を示すフローチャートである。
【図４】図４は、本実施の形態にかかる読み出し周波数設定処理の例を示すフローチャートである。
【図５】図５は、本実施の形態にかかる波形データ生成処理の例を示すフローチャートである。
【図６】図６は、波形データエリアに格納された波形データＧ（ｉ）の例を示す図である。
【図７】図７は、本発明の実施の形態にかかる発音処理の例を示すフローチャートである。
【図８】図８は、本実施の形態にかかるクロスフェード処理の例を示すフローチャートである。
【図９】図９は、本実施の形態にかかるクロスフェードを説明するための図である。
【図１０】図１０は、本実施の形態にかかる消音処理の例を示すフローチャートである。
【図１１】図１１は、本発明の第２の実施の形態にかかる楽音発生装置の構成を示すブロックダイヤグラムである。
【図１２】図１２は、第２の実施の形態にかかる発音処理の例を示すフローチャートである。
【発明を実施するための形態】
【００１８】
以下、添付図面を参照して、本発明の実施の形態について説明する。図１は、本発明の第１の実施の形態にかかる楽音発生装置の構成を示すブロックダイヤグラムである。図１に示すように、本実施の形態にかかる楽音発生装置１０は、ＣＰＵ１１、ＲＯＭ１２、ＲＡＭ１３、サウンドシステム１４、表示部１５、カメラ１６、画像データ入力インタフェース（Ｉ／Ｆ）１７および操作部１８を備える。
【００１９】
ＣＰＵ１１は、楽音発生装置１０全体の制御、操作部１８を構成するスイッチ（図示せず）の操作の検出、カメラ１６の起動、画像データ入力Ｉ／Ｆ１７を介して入力された画像データのＲＡＭ１３への格納、画像データに基づく波形データ生成など、波形データに基づく楽音波形データの生成など、種々の処理を実行する。
【００２０】
ＲＯＭ１２は、操作部１８を構成するスイッチの操作の検出、画像データ入力Ｉ／Ｆ１７を介して入力された画像データのＲＡＭ１３への格納、画像データに基づく波形データ生成、波形データに基づく楽音波形データの生成などの処理プログラムを格納する。また、ＲＯＭ１２は、ピアノ、ギターなどの楽音を生成するための原波形データ（以下、「プリセット波形データ」と称する。）を記憶するプリセット波形データエリアを備えている
ＲＡＭ１３は、ＲＯＭ１２から読み出されたプログラムや、処理の過程で生じたデータを記憶する。処理の過程で生じたデータには、後述する画像データ入力Ｉ／Ｆ１７を介して得られた画像データ、画像データに基づいて生成される波形データなどが含まれる。
【００２１】
サウンドシステム１４は、音源部２１、オーディオ回路２２およびスピーカ２３を備える。音源部２１は、ＣＰＵ１１からの指示にしたがって、ＲＯＭ１２からプリセット波形データを読み出して、楽音波形データを生成して出力する。オーディオ回路２２は、楽音波形データをアナログ信号に変換し、変換されたアナログ信号を増幅してスピーカ２３に出力する。これによりスピーカ２３から音響信号が出力される。
【００２２】
画像データ入力Ｉ／Ｆ１７は、カメラ１６に接続され、カメラ１６から出力される画像データを受け入れて、ＣＰＵ１１の指示にしたがって、画像データをＲＡＭ１３の所定の画像データエリアに格納する。カメラ１６は、ギター２５の弦に面して配置され、各弦のほぼ全体の画像をそれぞれ得ることが可能となる。
【００２３】
図２は、本実施の形態におけるギターの弦およびカメラの配置例を説明する図である。図２に示すように、カメラ１６は、６つの画像撮影領域３０−１〜３０−６を有し、それぞれのセンサ領域３０−１〜３０−６が、ギターの第１弦２６−１〜第６弦２６−６を含む画像を取得することができる。カメラ１６として、たとえば、ＣＣＤカメラ(Charge Coupled Device Image Sensor)を使用することができる。
【００２４】
図２に示すように、各画像撮影領域３０−１〜３０−６は、ギター２５のナット２０１からサドル２０２までの弦２６−１〜２６−６の画像を撮影可能である。なお、実際にはギター２５のネックにはフレット（符号２０３〜２０５参照）が含まれるが、画像データ入力Ｉ／Ｆ１７或いはＣＰＵ１１は、各画像撮影領域３０−１〜３０−６におけるフレットの位置を予め取得しておくことで、フレットの撮影された画像の部分を除去して弦の画像のみを取り出すことができる。各弦の画像データにおいては、弦の位置がたとえば黒点として示される。
【００２５】
また、各画像撮影領域３０−１〜６０−５は、各弦２６−１〜２６−６の張設方向において振動する弦の部分を撮影することができれば良い。したがって、指などで所定のフレット（図示せず）が押されている場合には、画像撮影領域は、指で押さえられたフレットからサドルに至るまでの弦の部分が含まれれば良い。したがって、ＣＰＵ１１は、画像データにおいて、指などで所定のフレットが押されたことが検出された場合には、押されたフレットからサドルまでを画像撮影領域と認識する処理を実行しても良い。
【００２６】
図３は、本実施の形態にかかる楽音発生装置にて実行される処理を示すフローチャートである。楽音発生装置１０のＣＰＵ１１は、たとえば、ＲＡＭ１３に一時的に記憶された画像データ、波形生成処理により得られ、ＲＡＭ１３中の複数の波形データエリアに格納された波形データなどのクリアを含むイニシャライズ処理を行う（ステップ３０１）。また、イニシャライズ処理においては、後述する波形データエリアを指定するためのパラメータｊも「０」に初期化される。イニシャライズ処理（ステップ３０１）が終了すると、ＣＰＵ１１は、操作部１８のスイッチの操作を検出し、検出された操作にしたがった処理を実行するスイッチ処理を実行する（ステップ３０２）。
【００２７】
スイッチ処理においては、たとえば、音色指定スイッチの操作にしたがって、ＲＯＭ１２のプリセット波形データエリアに格納されたプリセット波形データの種別（音色）を指定する情報がＲＡＭ１３に格納される。また、ミックス比設定のスイッチにしたがって、プリセット波形データに基づく楽音波形データ（第２の楽音波形データ）と、画像データに基づいて波形データ生成処理において得られた波形データに基づいて生成される楽音波形データ（第１の楽音波形データ）とのミックス比を示す情報がＲＡＭ１３に格納される。さらに、本実施の形態にかかるスイッチ処理においては、各弦について発生される楽音の周波数を規定する基本周波数が、演奏者による所定のスイッチの操作に基づいて指定され、当該指定された基本周波数がＲＡＭ１３に格納される。
【００２８】
スイッチ処理（ステップ３０２）の後、ＣＰＵ１１は、読み出し周波数設定処理を実行する（ステップ３０３）。なお、以下の読み出し周波数設定処理（ステップ３０３）、波形データ生成処理（ステップ３０４）、発音処理（ステップ３０５）および消音処理（ステップ３０６）において、単一の弦に関する処理について記載するが、実際には、ステップ３０３〜３０６の各処理においては、６つの弦のそれぞれについて同様な処理が繰り返される。
【００２９】
図４は、本実施の形態にかかる読み出し周波数設定処理の例を示すフローチャートである。図４に示すようにＣＰＵ１１は、スイッチ処理において、基本周波数が入力され、当該基本周波数を示す情報がＲＡＭ１３に格納されているかを判断する（ステップ４０１）。基本周波数の入力があった場合には、ＣＰＵ１１は、ＲＡＭ１３に格納された基本周波数ｆを取得し（ステップ４０２）、波形データの読み出し時間Ｆ＝１／ｆを算出する（ステップ４０３）。また、ＣＰＵ１１は、波形データ生成処理において生成すべき波形データのデータ数（サンプル数）Ｎを、Ｎ＝ｆｓ／ｆに基づいて算出する（ステップ４０４）。なお、ｆｓは、サンプリング周波数である。その後、ＣＰＵ１１は、ＲＡＭ１３中に、サンプル数分の波形データを格納できる波形データエリアを複数確保する（ステップ４０５）。本実施の形態においては、２つの波形データエリアが確保される。
【００３０】
たとえば、基本周波数が４４０Ｈｚであれば、波形データの読み出し時間Ｆ＝１／４４０秒となり、また、サンプリング周波数ｆｓ＝４４ＫＨｚであれば、サンプル数Ｎ＝４４０００／４４０＝１００となる。
【００３１】
読み出し周波数設定処理（ステップ３０３）が終了すると、ＣＰＵ１１は、波形データ生成処理を実行する（ステップ３０４）。図５は、本実施の形態にかかる波形データ生成処理の例を示すフローチャートである。図５に示すように、ＣＰＵ１１は、カメラ１６に画像撮影を指示し、カメラ１６は指示に応答して、各画像撮影領域を撮影する。ＣＰＵ１１は、画像データＩ／Ｆ１７を介して、画像撮影領域の画像データを取得する（ステップ５０２）。
【００３２】
ＣＰＵ１１は、得られた画像データを、弦の張設方向と平行なＸ軸上のある位置ｘｉにおける変位量（ゲインＧ’（ｘｉ））の形式に変換する（ステップ５０３）。ステップ５０３においては、画像撮影領域中のＹ軸方向の所定の値を基準位置として、Ｙ軸と直交するＸ軸上の各位置において、Ｙ軸方向にどれだけ基準位置から離間した位置に弦に相当する黒点があるかを検出し、基準位置からの変位量（距離）を、当該Ｘ軸上の位置（Ｇ’（ｘｉ））とする。これにより、ｘ軸方向の画素数ｎに応じた、ｎ個の変位量（ゲイン）（Ｇ’（ｘ０）〜Ｇ’（ｘｎ）を得ることができる。なお、Ｙ軸方向は、弦の張設方向の垂直方向に平行である。
【００３３】
次いで、ＣＰＵ１１は、得られたｎ個の変位量を、サンプル数Ｎだけのポイント数となる画像データＧ（０）〜Ｇ（Ｎ−１）に変換する（ステップ５０４）。たとえば、サンプル数Ｎと、画像データから得られたデータ数ｎが、ｎ＝ｍ×Ｎ（ｍは整数）であれば、
Ｇ’（ｉ×ｍ）＝Ｇ（ｉ）となるように、いわゆるデータの間引きをすれば良い。或いは、サンプル数Ｎと、データ数ｎとの間が、Ｎ＝ｍ×ｎ（ｍは整数）であれば、
Ｇ（ｉ×ｍ）＝Ｇ’（ｉ）として、それ以外のＧ（ｉ）については、直線補間により値を得れば良い。データ数の関係が、上述したように整数値ｍで表せない場合にも、直線補間などを利用することで、ゲインＧ（ｉ）を求めることができる。
【００３４】
その後、ＣＰＵ１１は、波形データエリアを指定するためのパラメータｊが偶数であるかを判断する（ステップ５０５）。ステップ５０５でＹｅｓと判断された場合には、得られたゲインＧ（ｉ）（ｉ＝０〜Ｎ−１）を、波形データエリア０に格納する（ステップ５０６）。その一方、ステップ５０６でＮｏ、すなわち、パラメータｊが奇数である場合には、ゲインＧ（ｉ）（ｉ＝０〜Ｎ−１）を、波形データエリア１に格納する（ステップ５０７）。その後、ＣＰＵ１１は、パラメータｊをインクリメントして（ステップ５０８）、処理を終了する。
【００３５】
図６は、波形データエリアに格納された波形データＧ（ｉ）の例を示す図である。図６に示すように、波形データ６００は、Ｙ軸上の基準位置６０１からの変位（たとえば、Ｇ（０）（符号６１１）、Ｇ（１）（符号６１２））であり、Ｎ個のデータ（Ｇ（０）〜Ｇ（Ｎ−１））から構成される。
【００３６】
波形データ生成処理（ステップ３０４）が終了すると、ＣＰＵ１１は発音処理を実行する（ステップ３０５）。図７は、本発明の実施の形態にかかる発音処理の例を示すフローチャートである。図７に示すように、ＣＰＵ１１は、弦の振動レベルが所定値以上であるかを判断する（ステップ７０１）。ステップ７０１においては、波形データエリアに格納された波形データの変位の最大値Ｇｍａｘが所定値以上であるかを判断すれば良い。或いは、ギター２５のピックアップ（図示せず）から出力される弦の信号（原信号）が所定のレベル以上であるか否かを判断しても良い。
【００３７】
ステップ７０１でＹｅｓと判断された場合には、ＣＰＵ１１は、基本周波数ｆにしたがって、所定の音色のプリセット波形データを、基本周波数ｆにしたがって読み出すように指示を与える。音源部２１は、指示にしたがって、所定のプリセット波形データを、基本周波数ｆに基づく読み出し速度で読み出す（ステップ７０２）。これにより、プリセット波形データに基づく，基準周波数ｆにしたがった音高を有する第２の楽音波形データを得ることができる。
【００３８】
次いでＣＰＵ１１は、現在読み出し中の波形データエリアではない他の波形データエリアに新たな波形データが格納されたか否かを判断する（ステップ７０３）。他の波形データエリアに新たな波形データエリアが格納された場合には、波形の切り替えが行われる可能性があるため、ステップ７０３の判断が行なわれる。ステップ７０３でＮｏと判断された場合には、ＣＰＵ１１は、読み出し時間Ｆにしたがって、現在読み出し中の波形データエリアから波形データを読み出す（ステップ７０４）。波形データエリアからの波形データＧ（ｉ）が取得される。なお、新たな波形データが他の波形データエリアに格納されない限り、読み出し中の一方の波形データエリアからの波形データが繰り返し読み出される。ステップ７０３において、現在読み出し中の波形データエリアが、波形データエリア０であれば、他の波形データエリアは波形データエリア１となる。その逆に、現在読み出し中の波形データエリアが波形データエリア１であれば、他の波形データエリアは波形データエリア０である。以下に説明するクロスフェード処理においても同様である。
【００３９】
ステップ７０３でＹｅｓと判断された場合には、読み出すべき波形のＸ座標の値がクロスフェード期間内であるか否かを判断する（ステップ７０５）。ステップ７０５でＮｏと判断された場合には、ステップ７０４に進む。その一方、ステップ７０５でＹｅｓと判断された場合には、クロスフェード処理を実行する（ステップ７０１）。
【００４０】
図８は、本実施の形態にかかるクロスフェード処理の例を示すフローチャートである。ＣＰＵ１１は、クロスフェード期間Ｘ、クロスフェード開始位置Ｎ−Ｘ−１、クロスフェード終了位置Ｎ−１を取得し、現在読み出し中の波形データエリアから波形データＧｐ（ｉｐ）を読み出し、クロスフェード係数を乗じて以下の波形データｇ１（ｉ）を算出する（ステップ８０２）。
【００４１】
ｇ１（ｉ）＝（（Ｎ−１）−ｉｐ）／Ｘ）・Ｇｐ（ｉｐ）
図９は、本実施の形態にかかるクロスフェードを説明するための図である。図９に示すように、本実施の形態においては、現在読み出し中の波形データエリアにおける第（Ｎ−Ｘ−１）番の波形データの出力からクロスフェードが開始され、第（Ｎ−１）番、つまり、末尾の波形データの出力でクロスフェードが終了する。したがって現在読み出し中の波形データエリアからの波形データＧｐ（ｉ）について、Ｎ−Ｘ−１≦ｉ≦Ｎ−１であれば、上記ステップ７０５においてＹｅｓと判断される。
【００４２】
また、図９に示すように、ステップ８０２で算出された波形データｇ１（ｉ）は、符号９００に示すように、波形データを指定するパラメータｉｐが、（Ｎ−Ｘ−１）以下である場合は、元の値であり（符号９０１）、パラメータｉｐが（Ｎ−Ｘ−１）から（Ｎ−１）に至るまで、値が減少し、パラメータｉｐがＮであるときに「０」となる。
【００４３】
次いで、ＣＰＵ１１は、新たに波形データが格納された他の波形データエリアから波形データＧｑ（ｉｑ）（ｉｑ＝ｉｐ−（Ｎ−Ｘ−１））を読み出し、クロスフェード係数を乗じて、以下の波形データｇ２（ｉ）を算出する（ステップ８０３）。
【００４４】
ｇ２（ｉ）＝（ｉｑ／Ｘ）・Ｇｑ（ｉｑ）
図９に示すように、ステップ８０３で算出された波形データｇ２（ｉ）は、符号９１０に示すように、波形データを指定するパラメータｉｑが、（Ｎ−Ｘ−１）以下である場合は、「０」であり、パラメータｉｑが（Ｎ−Ｘ−１）から（Ｎ−１）に至るまで、値が増大し、パラメータｉｑがＮ以上で元の値となる（符号９１１参照）。
【００４５】
ＣＰＵ１１は、得られた２つの波形データｇ１（ｉ）とｇ２（ｉ）とを合成して、合成された楽音波形データＧ（ｉ）（第１の楽音波形データ）を得る（ステップ８０４）。合成された楽音波形データＧ（ｉ）は音源部２１に与えられる。
【００４６】
ステップ７０６のクロスフェード処理が終了し、或いは、ステップ７０４が終了すると、音源部２１は、波形データエリアから取得された波形データＧ（ｉ）と、プリセット波形データから取得された波形データＧＰＲＥ（ｉ）とを、ＲＡＭ１３に格納されたミックス比にしたがって加算して、合成楽音波形データＧＯＵＴ（ｉ）を算出する（ステップ７０７）。合成楽音波形データＧＯＵＴ（ｉ）は以下のようなものとなる。
【００４７】
ＧＯＵＴ（ｉ）＝Ａ・Ｇ（ｉ）＋（１−Ａ）・ＧＰＲＥ（ｉ）
（Ａ（０＜Ａ＜１）はミックス比）
オーディオ回路２２は、合成楽音波形データをアナログ信号に変換し、変換により得られたアナログ信号を増幅してスピーカ２３から出力する。
【００４８】
発音処理（ステップ３０５）の後、ＣＰＵ１１は、消音処理を実行する（ステップ３０６）。図１０は、本実施の形態にかかる消音処理の例を示すフローチャートである。図８に示すように、ＣＰＵ１１は、弦の振動レベルが所定値未満であるか否かを判断する（ステップ１００１）。ステップ１００１においては、波形データエリアに格納された波形データの変位の最大値Ｇｍａｘが所定値未満であるかを判断すれば良い。或いは、ギター２５のピックアップ（図示せず）から出力される弦の信号（原信号）が所定のレベル未満であるか否かを判断しても良い。
【００４９】
ステップ１００１でＹｅｓと判断された場合には、プリセット波形データに基づく楽音波形データ（第２の楽音波形データ）および画像データに基づく楽音波形データ（第１の楽音波形データ）が出力中であるか否かを判断する（ステップ１００２）。ステップ１００２でＹｅｓと判断された場合には、ＣＰＵ１１は、音源部２１に対して、プリセット波形データに基づく楽音波形データ（第２の楽音波形データ）の消音を指示する。音源部２１は、指示に応答して、その出力レベルを徐々に減衰させるような第２の楽音波形データを生成する（ステップ１００３）。また、ＣＰＵ１１は、画像データに基づく楽音波形データ（第１の楽音波形データ）の出力レベルを徐々に減衰させる係数を第１の楽音波形データに乗じて、乗算結果のデータを、第１の楽音波形データとして音源部２１に与える（ステップ１００４）。
【００５０】
ステップ１００１でＮｏ、ステップ１００２でＮｏ、或いは、ステップ１００４が終了すると、消音処理は終了する。消音処理が終了した後、ＣＰＵ１１は、他の必要な処理を実行する（ステップ３０７）。ステップ３０７における処理には、たとえば、表示部１５への画像表示や、ＬＥＤの点灯などが含まれる。
【００５１】
本実施の形態によれば、カメラが、ギター２５の弦の張設方向に、弦の振動する部分にわたった画像撮影領域を撮影する。ＣＰＵ１１は、画像撮影領域の画像データに基づいて、弦の張設方向（Ｘ軸方向）の基準位置からの変位量、つまり、Ｙ軸方向の変位量をゲイン値として、弦の張設方向における複数のゲイン値を含む波形データを生成してＲＡＭ１３の波形データエリアに格納する。ＣＰＵ１１は、所定音読み出し速度で波形データエリアの波形データを読み出して、サウンドシステム１４に与え、サウンドシステム１４においてアナログ信号に変換されて出力される。これにより、画像撮影領域における弦全体の振動に基づく楽音波形データを生成し出力することが可能となる。また、画像撮影領域における弦全体の画像データを用いて波形データを生成するため良好なレスポンスで楽音波形データを出力することが可能となる。
【００５２】
本実施の形態によれば、操作部１８を構成するスイッチの操作により入力された基本周波数ｆ（Ｈｚ）に基づいて、波形データエリアの波形データが読み出される。これにより、演奏者のスイッチ操作による所望の音高の楽音を出力することができる。
【００５３】
また、本実施の形態によれば、ＣＰＵ１１は、波形データのサンプル数Ｎを、Ｎ＝ｆｓ／ｆ（ｆｓ：サンプリング周波数）となるように、波形データを生成する。これにより、サンプリング周波数で波形データを読み出すことで、設定された時間１／ｆで波形データエリアの波形データを読み取り終わることができる。
【００５４】
また、本実施の形態によれば、ＲＯＭ１２には、所定の音色の波形データが格納されたプリセット波形データエリアが設けられ、音源部２１が、基本周波数ｆに基づいて、プリセット波形データを読み出して第２の楽音波形データを生成し、波形データエリアから読み出された第１の楽音波形データと合成して出力する。これにより、弦楽器の弦振動自体から得られた楽音と、音源部２１で生成された楽音（いわゆるシンセ音）とをミックスした楽音を得ることが可能となる。
【００５５】
さらに、本実施の形態においては、新たな画像データが取得されたときに、ＣＰＵ１１は、波形データが読み出されていない他の波形データエリアに、新たな画像データに基づく新たな波形データを格納する。ＣＰＵ１１は、波形データを読み出している一方の波形データエリアからの波形データの読み出しが終了する場合に、他の波形データエリアから新たな波形データの読み出しを開始する。これにより、新たな画像データが取得されるたびに、当該新たな画像データに基づく新たな波形データを生成し、当該波形データに基づく楽音波形データを生成することが可能となる。
【００５６】
また、本実施の形態においては、ＣＰＵ１１は、一方の波形データエリアからの波形データの読み出しを終了する際に、波形データのレベルを徐々に減少させるとともに、他の波形データエリアから読み出された新たな波形データのレベルを徐々に増大させ、これら波形データを合成して出力する。このように、クロスフェード処理を行うことにより、波形データを滑らかに切り替えることが可能となる。
【００５７】
次に、本発明の第２の実施の形態について説明する。第１の実施の形態においては、画像データに基づいて生成された楽音波形データ（第１の楽音波形データ）は、音源部２１が生成した、ＲＯＭ１２に記憶されていたプリセット波形データに基づく楽音波形データ（第２の楽音波形データ）と合成されて出力される。第２の実施の形態においては、音源部２１を設けず、ギター２５のピックアップから出力された弦振動に基づく電気信号から得られた楽音信号と、第１の楽音波形データとを合成して出力する。
【００５８】
図１１は、本発明の第２の実施の形態にかかる楽音発生装置の構成を示すブロックダイヤグラムである。図１１において、図１に示す楽音発生装置の構成部分と同様のものには同一の符号を付している。図１１に示すように、第２の実施の形態にかかる楽音発生装置１００は、ＣＰＵ１１、ＲＯＭ１２、ＲＡＭ１３、サウンドシステム１１４、表示部１５、カメラ１６、画像データ入力Ｉ／Ｆ１７および操作部１８を備える。
【００５９】
本実施の形態においては、サウンドシステム１１４は、オーディオ・ミキシング回路１１４をする。また、ギター２５のピックアップ１２１の出力は、サウンドシステム１１４のオーディオ・ミキシング回路１１４に入力される。本実施の形態においては、後述するように、オーディオ・ミキシング回路１４が、画像データに基づく楽音波形データ（第１の楽音波形データ）をアナログ変換した楽音信号と、ピックアップ１２１から出力された楽音信号とを、設定されたミックス比で合成する。
【００６０】
第２の実施の形態にかかる楽音発生装置１００における処理の概要も、図３に示すものとなる。スイッチ処理（ステップ３０２）、読み出し周波数設定処理（ステップ３０３）、波形データ生成処理（ステップ３０４）は、第２の実施の形態においても同様である。
【００６１】
図１２は、第２の実施の形態にかかる発音処理の例を示すフローチャートである。第２の実施の形態においては、第１の実施の形態の発音処理におけるステップ７０２、つまり、ＲＯＭ１２に格納されたプリセット波形データに基づく第２の楽音波形データの生成が行なわれない。図１２に示すように、第２の実施の形態にかかる発音処理においては、弦の振動レベルが所定値以上である場合に（ステップ１２０１でＹｅｓ）、現在読み出し中の波形データエリアではない他の波形データエリアに新たな波形データが格納されず（ステップ１２０２でＮｏ）、或いは、クロスフェード期間内でなければ（ステップ１２０４でＮｏ）、ＣＰＵ１１は、読み出し時間Ｆにしたがって、現在読み出し中の波形データエリアから波形データを読み出す（ステップ１２０３）。これらステップ１２０１、１２０２、１２０３、１２０４は、それぞれ、図７のステップ７０１、７０３、７０４、７０５と同様である。
【００６２】
ステップ１２０１およびステップ１２０４の双方でＹｅｓと判断された場合にはクロスフェード処理が実行される（ステップ１２０５）。クロスフェード処理も図８に示すものと同様である。ステップ１２０３において生成された波形データ或いはクロスフェード処理において生成された波形データは、オーディオ・ミキシング回路１２２に出力される。ステップ１２０５のクロスフェード処理が終了し、或いは、ステップ１２０３が終了すると、オーディオ・ミキシング回路１２２は、波形データＧ（ｉ）をアナログ信号に変換し、変換により得られた楽音波形信号と、ピックアップ１２２から出力された弦振動に基づく楽音波形信号とを、ＲＡＭ１３に格納されたミックス比にしたがって加算して、合成楽音信号を生成する。生成された合成楽音信号は、スピーカ２３から出力される。
【００６３】
第２の実施の形態によれば、ギター２５のピックアップ１２１から出力された弦振動に基づく楽音信号と、第１の楽音信号データに基づく第１の楽音信号とを合成して出力する。したがって、弦振動の画像データに基づく楽音と、弦振動に基づく電気信号に基づく楽音とを合成することが可能となる。
【００６４】
本発明は、以上の実施の形態に限定されることなく、特許請求の範囲に記載された発明の範囲内で、種々の変更が可能であり、それらも本発明の範囲内に包含されるものであることは言うまでもない。
【００６５】
たとえば、前記実施の形態においては、弦楽器としてギターを利用しているがギターに限定されるものではなく、他の弦楽器、たとえば、ベース、バイオリン、ヴィオラ、チェロなどにも本発明を適用することができる。
【００６６】
また、前記第１の実施の形態においては、楽音発生装置１０は、音源部２１を備え、ＲＯＭ１２に記憶された波形データを読み出して楽音波形データ（第２の楽音波形データ）を生成し、画像データに基づく楽音波形データ（第１の楽音波形データ）と合成された合成楽音波形データを出力している。また、第２の実施の形態においては、楽音発生装置１００は、ピックアップ１２１からの電気信号に基づく第２の楽音信号と、第１の楽音波形データをアナログ変換した楽音信号とを合成して出力している。しかしながら、上記構成に限定されるものではない。たとえば、楽音発生装置１０は、単に画像データに基づく楽音波形データ（第１の楽音波形データ）を生成して出力するような構成であっても良い。
【符号の説明】
【００６７】
１０ 楽音発生装置
１１ ＣＰＵ
１２ ＲＯＭ
１３ ＲＡＭ
１４ サウンドシステム
１５ 表示部
１６ カメラ
１７ 画像データ入力Ｉ／Ｆ
１８ 操作部
２１ 音源部
２２ オーディオ回路
２３ スピーカ
２５ ギター
【技術分野】
【０００１】
本発明は、弦楽器の弦振動に基づいて楽音を発生する楽音発生装置および楽音発生プログラムに関する。
【背景技術】
【０００２】
ギターなどの弦楽器から出力された楽音信号に基づくデータから、そのピッチを抽出し、抽出されたピッチに基づいて出力用の波形データを生成して出力する技術が知られている。たとえば、特許文献１や特許文献２では、ギターの６つの弦から発せられた楽音波形データのそれぞれのピッチ（音高）およびエンベロープを抽出して、ＲＯＭなどから所定の音色の楽音波形データを、抽出されたピッチに基づいて読み出し、抽出されたエンベロープを与えて新たな楽音波形データを生成している。
【０００３】
特許文献１では、入力された波形データにフィルタ処理を施し、フィルタ処理が施された波形データのゼロクロス点を検出し、波形データが正の値をとる時間をカウンタにて計測するとともに、波形データが負の値をとる時間を他のカウンタにて計測し、双方のカウンタ値を参照して弦の基本波の振動を検知し、波形データのピッチを抽出している。
【先行技術文献】
【特許文献】
【０００４】
【特許文献１】特開昭６３−２９８３９６号公報
【特許文献２】特開平９−６３５１号公報
【特許文献３】特開平９−１０６２７４号公報
【発明の概要】
【発明が解決しようとする課題】
【０００５】
特に、弦楽器では、ピッキングされた各弦の振動を、たとえば、ピックアップが磁気の変動として検出し、電気信号に変換して出力している。したがって、従来のピッチ抽出においては、ピックアップにより得られた電気信号をディジタルデータに変換し、変換されたデータが用いられている。したがって、複数の弦がピッキングされ複数の弦が振動している場合には、他の弦の振動による磁気の変動の影響を排除で傷、ピックアップにより電気信号に変換する過程で、他の弦振動に基づく信号が混合されてしまうおそれがある。このようなクロストークによって、ピックアップからの電気信号に基づくピッチ抽出においては、正確なピッチが算出されない可能性があった。また、クロストークの影響により、ピックアップが検出した電気信号における波形データの周期が安定せず、ピッチ抽出に時間がかかる場合があるという問題点があった。また、ピックアップにより得られた電気信号の周期性に基づきピッチを抽出するため、周期が安定するまでピッチの抽出が出来ず、レスポンスが良くないという問題点もあった。
【０００６】
さらに、特許文献３には、ピッチを直接抽出せず、弦楽器のネックの指板にフレットスイッチを設けて、オンされたフレットスイッチによって音高を決定し、かつ、弦の振動を各軸方向のセンサにより検知して、決定された音高で、かつ、センサにより検知された弦振動により音色特性を変化させた楽音を発生する電子弦楽器が提案されている。特許文献３に開示された電子弦楽器は、フレットスイッチにより音高を指定するためレスポンスには優れる。その一方、実際のギターの弦振動とは異なる弦振動となるため、弦楽器の弦振動の変化に直接対応する楽音を生成することは容易ではなかった。
【０００７】
本発明は、弦楽器の弦全体の振動に基づく楽音波形データを生成可能な楽音発生装置および楽音発生プログラムを提供することを目的とする。また、本発明は、レスポンスに優れた弦の振動に基づく楽音発生装置および楽音発生プログラムを提供することを目的とする。
【課題を解決するための手段】
【０００８】
本発明の目的は、弦楽器の弦の振動に基づく楽音を発生する楽音発生装置であって、
当該弦の張設方向に、前記弦の振動する部分にわたった画像撮影領域の画像データを取得する画像取得手段と、
前記画像取得手段により得られた画像データに基づいて、前記弦の張設方向と垂直方向の基準位置からの変位量をゲイン値として、前記弦の張設方向における複数のゲイン値を含む波形データを生成して記憶手段の波形データエリアに格納する波形データ生成手段と、
前記波形データエリアに格納された波形データを、所定の読み出し速度で読み出して第１の楽音波形データを生成する楽音波形データ生成手段と、を備えたことを特徴とする楽音発生装置により達成される。
【０００９】
好ましい実施態様においては、前記楽音波形データ生成手段が、入力された基本周波数ｆ（Ｈｚ）に基づいて、１／ｆ（秒）で、前記波形データエリアに格納された波形データを読み取り終わる速度で、前記波形データエリアに格納された波形データを読み取るように構成される。
【００１０】
より好ましい実施態様においては、前記波形データ生成手段が、前記波形データのサンプル数Ｎを、Ｎ＝ｆｓ／ｆ（ｆｓ：サンプリング周波数）となるように、波形データを生成する。
【００１１】
別の好ましい実施態様においては、前記記憶装置が、所定の音色の波形データが格納された音色波形データエリアを有し、
楽音波形データ生成手段が、前記基本周波数に基づいて、前記音色波形データエリアの前記所定の音色の波形データを読み出し、第２の楽音波形データを生成し、前記第１の楽音波形データと前記第２の楽音波形データとを合成した合成楽音波形データを生成する。
【００１２】
さらに別の好ましい実施態様においては、前記楽音波形データ生成手段が、ピックアップから出力された弦振動に基づく第２の楽音信号と、前記第１の楽音信号データに基づく第１の楽音信号とを合成して出力する。
【００１３】
好ましい実施態様においては、複数の波形データエリアを有し、
前記波形データ生成手段が、新たな画像データが取得されたときに、前記楽音波形データ生成手段により波形データが読み出されていない他の波形データエリアに、前記新たな画像データに基づく新たな波形データを格納し、
前記楽音波形データ生成手段は、前記波形データを読み出している一方の波形データエリアからの波形データの読み出しが終了する場合に、前記他の波形データエリアから前記新たな波形データの読み出しを開始する。
【００１４】
より好ましい実施態様においては、前記楽音波形データ生成手段は、前記一方の波形データエリアからの波形データの読み出しを終了する際に、前記波形データのレベルを徐々に減少させるとともに、前記他の波形データエリアから読み出された前記新たな波形データのレベルを徐々に増大させ、前記波形データおよび前記新たな波形データを合成して出力する。
【００１５】
また、本発明の目的は、弦楽器の弦の振動に基づく楽音を発生するための楽音発生プログラムであって、コンピュータに、
当該弦の張設方向に、前記弦の振動する部分にわたった画像撮影領域の画像データを取得する画像取得ステップと、
前記画像取得ステップにおいて得られた画像データに基づいて、前記弦の張設方向と垂直方向の基準位置からの変位量をゲイン値として、前記弦の張設方向における複数のゲイン値を含む波形データを生成して記憶手段の波形データエリアに格納する波形データ生成ステップと、
前記波形データエリアに格納された波形データを、所定の読み出し速度で読み出して第１の楽音波形データを生成する楽音波形データステップと、を実行させることを特徴とする楽音発生プログラムにより達成される。
【発明の効果】
【００１６】
本発明によれば、弦楽器の弦全体の振動に基づく楽音波形データを生成可能な楽音発生装置および楽音発生プログラムを提供することが可能となる。また、本発明は、レスポンスに優れた弦の振動に基づく楽音発生装置および楽音発生プログラムを提供することが可能となる。
【図面の簡単な説明】
【００１７】
【図１】図１は、本発明の第１の実施の形態にかかる楽音発生装置の構成を示すブロックダイヤグラムである。
【図２】図２は、本実施の形態におけるギターの弦およびカメラの配置例を説明する図である。
【図３】図３は、本実施の形態にかかる楽音発生装置にて実行される処理を示すフローチャートである。
【図４】図４は、本実施の形態にかかる読み出し周波数設定処理の例を示すフローチャートである。
【図５】図５は、本実施の形態にかかる波形データ生成処理の例を示すフローチャートである。
【図６】図６は、波形データエリアに格納された波形データＧ（ｉ）の例を示す図である。
【図７】図７は、本発明の実施の形態にかかる発音処理の例を示すフローチャートである。
【図８】図８は、本実施の形態にかかるクロスフェード処理の例を示すフローチャートである。
【図９】図９は、本実施の形態にかかるクロスフェードを説明するための図である。
【図１０】図１０は、本実施の形態にかかる消音処理の例を示すフローチャートである。
【図１１】図１１は、本発明の第２の実施の形態にかかる楽音発生装置の構成を示すブロックダイヤグラムである。
【図１２】図１２は、第２の実施の形態にかかる発音処理の例を示すフローチャートである。
【発明を実施するための形態】
【００１８】
以下、添付図面を参照して、本発明の実施の形態について説明する。図１は、本発明の第１の実施の形態にかかる楽音発生装置の構成を示すブロックダイヤグラムである。図１に示すように、本実施の形態にかかる楽音発生装置１０は、ＣＰＵ１１、ＲＯＭ１２、ＲＡＭ１３、サウンドシステム１４、表示部１５、カメラ１６、画像データ入力インタフェース（Ｉ／Ｆ）１７および操作部１８を備える。
【００１９】
ＣＰＵ１１は、楽音発生装置１０全体の制御、操作部１８を構成するスイッチ（図示せず）の操作の検出、カメラ１６の起動、画像データ入力Ｉ／Ｆ１７を介して入力された画像データのＲＡＭ１３への格納、画像データに基づく波形データ生成など、波形データに基づく楽音波形データの生成など、種々の処理を実行する。
【００２０】
ＲＯＭ１２は、操作部１８を構成するスイッチの操作の検出、画像データ入力Ｉ／Ｆ１７を介して入力された画像データのＲＡＭ１３への格納、画像データに基づく波形データ生成、波形データに基づく楽音波形データの生成などの処理プログラムを格納する。また、ＲＯＭ１２は、ピアノ、ギターなどの楽音を生成するための原波形データ（以下、「プリセット波形データ」と称する。）を記憶するプリセット波形データエリアを備えている
ＲＡＭ１３は、ＲＯＭ１２から読み出されたプログラムや、処理の過程で生じたデータを記憶する。処理の過程で生じたデータには、後述する画像データ入力Ｉ／Ｆ１７を介して得られた画像データ、画像データに基づいて生成される波形データなどが含まれる。
【００２１】
サウンドシステム１４は、音源部２１、オーディオ回路２２およびスピーカ２３を備える。音源部２１は、ＣＰＵ１１からの指示にしたがって、ＲＯＭ１２からプリセット波形データを読み出して、楽音波形データを生成して出力する。オーディオ回路２２は、楽音波形データをアナログ信号に変換し、変換されたアナログ信号を増幅してスピーカ２３に出力する。これによりスピーカ２３から音響信号が出力される。
【００２２】
画像データ入力Ｉ／Ｆ１７は、カメラ１６に接続され、カメラ１６から出力される画像データを受け入れて、ＣＰＵ１１の指示にしたがって、画像データをＲＡＭ１３の所定の画像データエリアに格納する。カメラ１６は、ギター２５の弦に面して配置され、各弦のほぼ全体の画像をそれぞれ得ることが可能となる。
【００２３】
図２は、本実施の形態におけるギターの弦およびカメラの配置例を説明する図である。図２に示すように、カメラ１６は、６つの画像撮影領域３０−１〜３０−６を有し、それぞれのセンサ領域３０−１〜３０−６が、ギターの第１弦２６−１〜第６弦２６−６を含む画像を取得することができる。カメラ１６として、たとえば、ＣＣＤカメラ(Charge Coupled Device Image Sensor)を使用することができる。
【００２４】
図２に示すように、各画像撮影領域３０−１〜３０−６は、ギター２５のナット２０１からサドル２０２までの弦２６−１〜２６−６の画像を撮影可能である。なお、実際にはギター２５のネックにはフレット（符号２０３〜２０５参照）が含まれるが、画像データ入力Ｉ／Ｆ１７或いはＣＰＵ１１は、各画像撮影領域３０−１〜３０−６におけるフレットの位置を予め取得しておくことで、フレットの撮影された画像の部分を除去して弦の画像のみを取り出すことができる。各弦の画像データにおいては、弦の位置がたとえば黒点として示される。
【００２５】
また、各画像撮影領域３０−１〜６０−５は、各弦２６−１〜２６−６の張設方向において振動する弦の部分を撮影することができれば良い。したがって、指などで所定のフレット（図示せず）が押されている場合には、画像撮影領域は、指で押さえられたフレットからサドルに至るまでの弦の部分が含まれれば良い。したがって、ＣＰＵ１１は、画像データにおいて、指などで所定のフレットが押されたことが検出された場合には、押されたフレットからサドルまでを画像撮影領域と認識する処理を実行しても良い。
【００２６】
図３は、本実施の形態にかかる楽音発生装置にて実行される処理を示すフローチャートである。楽音発生装置１０のＣＰＵ１１は、たとえば、ＲＡＭ１３に一時的に記憶された画像データ、波形生成処理により得られ、ＲＡＭ１３中の複数の波形データエリアに格納された波形データなどのクリアを含むイニシャライズ処理を行う（ステップ３０１）。また、イニシャライズ処理においては、後述する波形データエリアを指定するためのパラメータｊも「０」に初期化される。イニシャライズ処理（ステップ３０１）が終了すると、ＣＰＵ１１は、操作部１８のスイッチの操作を検出し、検出された操作にしたがった処理を実行するスイッチ処理を実行する（ステップ３０２）。
【００２７】
スイッチ処理においては、たとえば、音色指定スイッチの操作にしたがって、ＲＯＭ１２のプリセット波形データエリアに格納されたプリセット波形データの種別（音色）を指定する情報がＲＡＭ１３に格納される。また、ミックス比設定のスイッチにしたがって、プリセット波形データに基づく楽音波形データ（第２の楽音波形データ）と、画像データに基づいて波形データ生成処理において得られた波形データに基づいて生成される楽音波形データ（第１の楽音波形データ）とのミックス比を示す情報がＲＡＭ１３に格納される。さらに、本実施の形態にかかるスイッチ処理においては、各弦について発生される楽音の周波数を規定する基本周波数が、演奏者による所定のスイッチの操作に基づいて指定され、当該指定された基本周波数がＲＡＭ１３に格納される。
【００２８】
スイッチ処理（ステップ３０２）の後、ＣＰＵ１１は、読み出し周波数設定処理を実行する（ステップ３０３）。なお、以下の読み出し周波数設定処理（ステップ３０３）、波形データ生成処理（ステップ３０４）、発音処理（ステップ３０５）および消音処理（ステップ３０６）において、単一の弦に関する処理について記載するが、実際には、ステップ３０３〜３０６の各処理においては、６つの弦のそれぞれについて同様な処理が繰り返される。
【００２９】
図４は、本実施の形態にかかる読み出し周波数設定処理の例を示すフローチャートである。図４に示すようにＣＰＵ１１は、スイッチ処理において、基本周波数が入力され、当該基本周波数を示す情報がＲＡＭ１３に格納されているかを判断する（ステップ４０１）。基本周波数の入力があった場合には、ＣＰＵ１１は、ＲＡＭ１３に格納された基本周波数ｆを取得し（ステップ４０２）、波形データの読み出し時間Ｆ＝１／ｆを算出する（ステップ４０３）。また、ＣＰＵ１１は、波形データ生成処理において生成すべき波形データのデータ数（サンプル数）Ｎを、Ｎ＝ｆｓ／ｆに基づいて算出する（ステップ４０４）。なお、ｆｓは、サンプリング周波数である。その後、ＣＰＵ１１は、ＲＡＭ１３中に、サンプル数分の波形データを格納できる波形データエリアを複数確保する（ステップ４０５）。本実施の形態においては、２つの波形データエリアが確保される。
【００３０】
たとえば、基本周波数が４４０Ｈｚであれば、波形データの読み出し時間Ｆ＝１／４４０秒となり、また、サンプリング周波数ｆｓ＝４４ＫＨｚであれば、サンプル数Ｎ＝４４０００／４４０＝１００となる。
【００３１】
読み出し周波数設定処理（ステップ３０３）が終了すると、ＣＰＵ１１は、波形データ生成処理を実行する（ステップ３０４）。図５は、本実施の形態にかかる波形データ生成処理の例を示すフローチャートである。図５に示すように、ＣＰＵ１１は、カメラ１６に画像撮影を指示し、カメラ１６は指示に応答して、各画像撮影領域を撮影する。ＣＰＵ１１は、画像データＩ／Ｆ１７を介して、画像撮影領域の画像データを取得する（ステップ５０２）。
【００３２】
ＣＰＵ１１は、得られた画像データを、弦の張設方向と平行なＸ軸上のある位置ｘｉにおける変位量（ゲインＧ’（ｘｉ））の形式に変換する（ステップ５０３）。ステップ５０３においては、画像撮影領域中のＹ軸方向の所定の値を基準位置として、Ｙ軸と直交するＸ軸上の各位置において、Ｙ軸方向にどれだけ基準位置から離間した位置に弦に相当する黒点があるかを検出し、基準位置からの変位量（距離）を、当該Ｘ軸上の位置（Ｇ’（ｘｉ））とする。これにより、ｘ軸方向の画素数ｎに応じた、ｎ個の変位量（ゲイン）（Ｇ’（ｘ０）〜Ｇ’（ｘｎ）を得ることができる。なお、Ｙ軸方向は、弦の張設方向の垂直方向に平行である。
【００３３】
次いで、ＣＰＵ１１は、得られたｎ個の変位量を、サンプル数Ｎだけのポイント数となる画像データＧ（０）〜Ｇ（Ｎ−１）に変換する（ステップ５０４）。たとえば、サンプル数Ｎと、画像データから得られたデータ数ｎが、ｎ＝ｍ×Ｎ（ｍは整数）であれば、
Ｇ’（ｉ×ｍ）＝Ｇ（ｉ）となるように、いわゆるデータの間引きをすれば良い。或いは、サンプル数Ｎと、データ数ｎとの間が、Ｎ＝ｍ×ｎ（ｍは整数）であれば、
Ｇ（ｉ×ｍ）＝Ｇ’（ｉ）として、それ以外のＧ（ｉ）については、直線補間により値を得れば良い。データ数の関係が、上述したように整数値ｍで表せない場合にも、直線補間などを利用することで、ゲインＧ（ｉ）を求めることができる。
【００３４】
その後、ＣＰＵ１１は、波形データエリアを指定するためのパラメータｊが偶数であるかを判断する（ステップ５０５）。ステップ５０５でＹｅｓと判断された場合には、得られたゲインＧ（ｉ）（ｉ＝０〜Ｎ−１）を、波形データエリア０に格納する（ステップ５０６）。その一方、ステップ５０６でＮｏ、すなわち、パラメータｊが奇数である場合には、ゲインＧ（ｉ）（ｉ＝０〜Ｎ−１）を、波形データエリア１に格納する（ステップ５０７）。その後、ＣＰＵ１１は、パラメータｊをインクリメントして（ステップ５０８）、処理を終了する。
【００３５】
図６は、波形データエリアに格納された波形データＧ（ｉ）の例を示す図である。図６に示すように、波形データ６００は、Ｙ軸上の基準位置６０１からの変位（たとえば、Ｇ（０）（符号６１１）、Ｇ（１）（符号６１２））であり、Ｎ個のデータ（Ｇ（０）〜Ｇ（Ｎ−１））から構成される。
【００３６】
波形データ生成処理（ステップ３０４）が終了すると、ＣＰＵ１１は発音処理を実行する（ステップ３０５）。図７は、本発明の実施の形態にかかる発音処理の例を示すフローチャートである。図７に示すように、ＣＰＵ１１は、弦の振動レベルが所定値以上であるかを判断する（ステップ７０１）。ステップ７０１においては、波形データエリアに格納された波形データの変位の最大値Ｇｍａｘが所定値以上であるかを判断すれば良い。或いは、ギター２５のピックアップ（図示せず）から出力される弦の信号（原信号）が所定のレベル以上であるか否かを判断しても良い。
【００３７】
ステップ７０１でＹｅｓと判断された場合には、ＣＰＵ１１は、基本周波数ｆにしたがって、所定の音色のプリセット波形データを、基本周波数ｆにしたがって読み出すように指示を与える。音源部２１は、指示にしたがって、所定のプリセット波形データを、基本周波数ｆに基づく読み出し速度で読み出す（ステップ７０２）。これにより、プリセット波形データに基づく，基準周波数ｆにしたがった音高を有する第２の楽音波形データを得ることができる。
【００３８】
次いでＣＰＵ１１は、現在読み出し中の波形データエリアではない他の波形データエリアに新たな波形データが格納されたか否かを判断する（ステップ７０３）。他の波形データエリアに新たな波形データエリアが格納された場合には、波形の切り替えが行われる可能性があるため、ステップ７０３の判断が行なわれる。ステップ７０３でＮｏと判断された場合には、ＣＰＵ１１は、読み出し時間Ｆにしたがって、現在読み出し中の波形データエリアから波形データを読み出す（ステップ７０４）。波形データエリアからの波形データＧ（ｉ）が取得される。なお、新たな波形データが他の波形データエリアに格納されない限り、読み出し中の一方の波形データエリアからの波形データが繰り返し読み出される。ステップ７０３において、現在読み出し中の波形データエリアが、波形データエリア０であれば、他の波形データエリアは波形データエリア１となる。その逆に、現在読み出し中の波形データエリアが波形データエリア１であれば、他の波形データエリアは波形データエリア０である。以下に説明するクロスフェード処理においても同様である。
【００３９】
ステップ７０３でＹｅｓと判断された場合には、読み出すべき波形のＸ座標の値がクロスフェード期間内であるか否かを判断する（ステップ７０５）。ステップ７０５でＮｏと判断された場合には、ステップ７０４に進む。その一方、ステップ７０５でＹｅｓと判断された場合には、クロスフェード処理を実行する（ステップ７０１）。
【００４０】
図８は、本実施の形態にかかるクロスフェード処理の例を示すフローチャートである。ＣＰＵ１１は、クロスフェード期間Ｘ、クロスフェード開始位置Ｎ−Ｘ−１、クロスフェード終了位置Ｎ−１を取得し、現在読み出し中の波形データエリアから波形データＧｐ（ｉｐ）を読み出し、クロスフェード係数を乗じて以下の波形データｇ１（ｉ）を算出する（ステップ８０２）。
【００４１】
ｇ１（ｉ）＝（（Ｎ−１）−ｉｐ）／Ｘ）・Ｇｐ（ｉｐ）
図９は、本実施の形態にかかるクロスフェードを説明するための図である。図９に示すように、本実施の形態においては、現在読み出し中の波形データエリアにおける第（Ｎ−Ｘ−１）番の波形データの出力からクロスフェードが開始され、第（Ｎ−１）番、つまり、末尾の波形データの出力でクロスフェードが終了する。したがって現在読み出し中の波形データエリアからの波形データＧｐ（ｉ）について、Ｎ−Ｘ−１≦ｉ≦Ｎ−１であれば、上記ステップ７０５においてＹｅｓと判断される。
【００４２】
また、図９に示すように、ステップ８０２で算出された波形データｇ１（ｉ）は、符号９００に示すように、波形データを指定するパラメータｉｐが、（Ｎ−Ｘ−１）以下である場合は、元の値であり（符号９０１）、パラメータｉｐが（Ｎ−Ｘ−１）から（Ｎ−１）に至るまで、値が減少し、パラメータｉｐがＮであるときに「０」となる。
【００４３】
次いで、ＣＰＵ１１は、新たに波形データが格納された他の波形データエリアから波形データＧｑ（ｉｑ）（ｉｑ＝ｉｐ−（Ｎ−Ｘ−１））を読み出し、クロスフェード係数を乗じて、以下の波形データｇ２（ｉ）を算出する（ステップ８０３）。
【００４４】
ｇ２（ｉ）＝（ｉｑ／Ｘ）・Ｇｑ（ｉｑ）
図９に示すように、ステップ８０３で算出された波形データｇ２（ｉ）は、符号９１０に示すように、波形データを指定するパラメータｉｑが、（Ｎ−Ｘ−１）以下である場合は、「０」であり、パラメータｉｑが（Ｎ−Ｘ−１）から（Ｎ−１）に至るまで、値が増大し、パラメータｉｑがＮ以上で元の値となる（符号９１１参照）。
【００４５】
ＣＰＵ１１は、得られた２つの波形データｇ１（ｉ）とｇ２（ｉ）とを合成して、合成された楽音波形データＧ（ｉ）（第１の楽音波形データ）を得る（ステップ８０４）。合成された楽音波形データＧ（ｉ）は音源部２１に与えられる。
【００４６】
ステップ７０６のクロスフェード処理が終了し、或いは、ステップ７０４が終了すると、音源部２１は、波形データエリアから取得された波形データＧ（ｉ）と、プリセット波形データから取得された波形データＧＰＲＥ（ｉ）とを、ＲＡＭ１３に格納されたミックス比にしたがって加算して、合成楽音波形データＧＯＵＴ（ｉ）を算出する（ステップ７０７）。合成楽音波形データＧＯＵＴ（ｉ）は以下のようなものとなる。
【００４７】
ＧＯＵＴ（ｉ）＝Ａ・Ｇ（ｉ）＋（１−Ａ）・ＧＰＲＥ（ｉ）
（Ａ（０＜Ａ＜１）はミックス比）
オーディオ回路２２は、合成楽音波形データをアナログ信号に変換し、変換により得られたアナログ信号を増幅してスピーカ２３から出力する。
【００４８】
発音処理（ステップ３０５）の後、ＣＰＵ１１は、消音処理を実行する（ステップ３０６）。図１０は、本実施の形態にかかる消音処理の例を示すフローチャートである。図８に示すように、ＣＰＵ１１は、弦の振動レベルが所定値未満であるか否かを判断する（ステップ１００１）。ステップ１００１においては、波形データエリアに格納された波形データの変位の最大値Ｇｍａｘが所定値未満であるかを判断すれば良い。或いは、ギター２５のピックアップ（図示せず）から出力される弦の信号（原信号）が所定のレベル未満であるか否かを判断しても良い。
【００４９】
ステップ１００１でＹｅｓと判断された場合には、プリセット波形データに基づく楽音波形データ（第２の楽音波形データ）および画像データに基づく楽音波形データ（第１の楽音波形データ）が出力中であるか否かを判断する（ステップ１００２）。ステップ１００２でＹｅｓと判断された場合には、ＣＰＵ１１は、音源部２１に対して、プリセット波形データに基づく楽音波形データ（第２の楽音波形データ）の消音を指示する。音源部２１は、指示に応答して、その出力レベルを徐々に減衰させるような第２の楽音波形データを生成する（ステップ１００３）。また、ＣＰＵ１１は、画像データに基づく楽音波形データ（第１の楽音波形データ）の出力レベルを徐々に減衰させる係数を第１の楽音波形データに乗じて、乗算結果のデータを、第１の楽音波形データとして音源部２１に与える（ステップ１００４）。
【００５０】
ステップ１００１でＮｏ、ステップ１００２でＮｏ、或いは、ステップ１００４が終了すると、消音処理は終了する。消音処理が終了した後、ＣＰＵ１１は、他の必要な処理を実行する（ステップ３０７）。ステップ３０７における処理には、たとえば、表示部１５への画像表示や、ＬＥＤの点灯などが含まれる。
【００５１】
本実施の形態によれば、カメラが、ギター２５の弦の張設方向に、弦の振動する部分にわたった画像撮影領域を撮影する。ＣＰＵ１１は、画像撮影領域の画像データに基づいて、弦の張設方向（Ｘ軸方向）の基準位置からの変位量、つまり、Ｙ軸方向の変位量をゲイン値として、弦の張設方向における複数のゲイン値を含む波形データを生成してＲＡＭ１３の波形データエリアに格納する。ＣＰＵ１１は、所定音読み出し速度で波形データエリアの波形データを読み出して、サウンドシステム１４に与え、サウンドシステム１４においてアナログ信号に変換されて出力される。これにより、画像撮影領域における弦全体の振動に基づく楽音波形データを生成し出力することが可能となる。また、画像撮影領域における弦全体の画像データを用いて波形データを生成するため良好なレスポンスで楽音波形データを出力することが可能となる。
【００５２】
本実施の形態によれば、操作部１８を構成するスイッチの操作により入力された基本周波数ｆ（Ｈｚ）に基づいて、波形データエリアの波形データが読み出される。これにより、演奏者のスイッチ操作による所望の音高の楽音を出力することができる。
【００５３】
また、本実施の形態によれば、ＣＰＵ１１は、波形データのサンプル数Ｎを、Ｎ＝ｆｓ／ｆ（ｆｓ：サンプリング周波数）となるように、波形データを生成する。これにより、サンプリング周波数で波形データを読み出すことで、設定された時間１／ｆで波形データエリアの波形データを読み取り終わることができる。
【００５４】
また、本実施の形態によれば、ＲＯＭ１２には、所定の音色の波形データが格納されたプリセット波形データエリアが設けられ、音源部２１が、基本周波数ｆに基づいて、プリセット波形データを読み出して第２の楽音波形データを生成し、波形データエリアから読み出された第１の楽音波形データと合成して出力する。これにより、弦楽器の弦振動自体から得られた楽音と、音源部２１で生成された楽音（いわゆるシンセ音）とをミックスした楽音を得ることが可能となる。
【００５５】
さらに、本実施の形態においては、新たな画像データが取得されたときに、ＣＰＵ１１は、波形データが読み出されていない他の波形データエリアに、新たな画像データに基づく新たな波形データを格納する。ＣＰＵ１１は、波形データを読み出している一方の波形データエリアからの波形データの読み出しが終了する場合に、他の波形データエリアから新たな波形データの読み出しを開始する。これにより、新たな画像データが取得されるたびに、当該新たな画像データに基づく新たな波形データを生成し、当該波形データに基づく楽音波形データを生成することが可能となる。
【００５６】
また、本実施の形態においては、ＣＰＵ１１は、一方の波形データエリアからの波形データの読み出しを終了する際に、波形データのレベルを徐々に減少させるとともに、他の波形データエリアから読み出された新たな波形データのレベルを徐々に増大させ、これら波形データを合成して出力する。このように、クロスフェード処理を行うことにより、波形データを滑らかに切り替えることが可能となる。
【００５７】
次に、本発明の第２の実施の形態について説明する。第１の実施の形態においては、画像データに基づいて生成された楽音波形データ（第１の楽音波形データ）は、音源部２１が生成した、ＲＯＭ１２に記憶されていたプリセット波形データに基づく楽音波形データ（第２の楽音波形データ）と合成されて出力される。第２の実施の形態においては、音源部２１を設けず、ギター２５のピックアップから出力された弦振動に基づく電気信号から得られた楽音信号と、第１の楽音波形データとを合成して出力する。
【００５８】
図１１は、本発明の第２の実施の形態にかかる楽音発生装置の構成を示すブロックダイヤグラムである。図１１において、図１に示す楽音発生装置の構成部分と同様のものには同一の符号を付している。図１１に示すように、第２の実施の形態にかかる楽音発生装置１００は、ＣＰＵ１１、ＲＯＭ１２、ＲＡＭ１３、サウンドシステム１１４、表示部１５、カメラ１６、画像データ入力Ｉ／Ｆ１７および操作部１８を備える。
【００５９】
本実施の形態においては、サウンドシステム１１４は、オーディオ・ミキシング回路１１４をする。また、ギター２５のピックアップ１２１の出力は、サウンドシステム１１４のオーディオ・ミキシング回路１１４に入力される。本実施の形態においては、後述するように、オーディオ・ミキシング回路１４が、画像データに基づく楽音波形データ（第１の楽音波形データ）をアナログ変換した楽音信号と、ピックアップ１２１から出力された楽音信号とを、設定されたミックス比で合成する。
【００６０】
第２の実施の形態にかかる楽音発生装置１００における処理の概要も、図３に示すものとなる。スイッチ処理（ステップ３０２）、読み出し周波数設定処理（ステップ３０３）、波形データ生成処理（ステップ３０４）は、第２の実施の形態においても同様である。
【００６１】
図１２は、第２の実施の形態にかかる発音処理の例を示すフローチャートである。第２の実施の形態においては、第１の実施の形態の発音処理におけるステップ７０２、つまり、ＲＯＭ１２に格納されたプリセット波形データに基づく第２の楽音波形データの生成が行なわれない。図１２に示すように、第２の実施の形態にかかる発音処理においては、弦の振動レベルが所定値以上である場合に（ステップ１２０１でＹｅｓ）、現在読み出し中の波形データエリアではない他の波形データエリアに新たな波形データが格納されず（ステップ１２０２でＮｏ）、或いは、クロスフェード期間内でなければ（ステップ１２０４でＮｏ）、ＣＰＵ１１は、読み出し時間Ｆにしたがって、現在読み出し中の波形データエリアから波形データを読み出す（ステップ１２０３）。これらステップ１２０１、１２０２、１２０３、１２０４は、それぞれ、図７のステップ７０１、７０３、７０４、７０５と同様である。
【００６２】
ステップ１２０１およびステップ１２０４の双方でＹｅｓと判断された場合にはクロスフェード処理が実行される（ステップ１２０５）。クロスフェード処理も図８に示すものと同様である。ステップ１２０３において生成された波形データ或いはクロスフェード処理において生成された波形データは、オーディオ・ミキシング回路１２２に出力される。ステップ１２０５のクロスフェード処理が終了し、或いは、ステップ１２０３が終了すると、オーディオ・ミキシング回路１２２は、波形データＧ（ｉ）をアナログ信号に変換し、変換により得られた楽音波形信号と、ピックアップ１２２から出力された弦振動に基づく楽音波形信号とを、ＲＡＭ１３に格納されたミックス比にしたがって加算して、合成楽音信号を生成する。生成された合成楽音信号は、スピーカ２３から出力される。
【００６３】
第２の実施の形態によれば、ギター２５のピックアップ１２１から出力された弦振動に基づく楽音信号と、第１の楽音信号データに基づく第１の楽音信号とを合成して出力する。したがって、弦振動の画像データに基づく楽音と、弦振動に基づく電気信号に基づく楽音とを合成することが可能となる。
【００６４】
本発明は、以上の実施の形態に限定されることなく、特許請求の範囲に記載された発明の範囲内で、種々の変更が可能であり、それらも本発明の範囲内に包含されるものであることは言うまでもない。
【００６５】
たとえば、前記実施の形態においては、弦楽器としてギターを利用しているがギターに限定されるものではなく、他の弦楽器、たとえば、ベース、バイオリン、ヴィオラ、チェロなどにも本発明を適用することができる。
【００６６】
また、前記第１の実施の形態においては、楽音発生装置１０は、音源部２１を備え、ＲＯＭ１２に記憶された波形データを読み出して楽音波形データ（第２の楽音波形データ）を生成し、画像データに基づく楽音波形データ（第１の楽音波形データ）と合成された合成楽音波形データを出力している。また、第２の実施の形態においては、楽音発生装置１００は、ピックアップ１２１からの電気信号に基づく第２の楽音信号と、第１の楽音波形データをアナログ変換した楽音信号とを合成して出力している。しかしながら、上記構成に限定されるものではない。たとえば、楽音発生装置１０は、単に画像データに基づく楽音波形データ（第１の楽音波形データ）を生成して出力するような構成であっても良い。
【符号の説明】
【００６７】
１０ 楽音発生装置
１１ ＣＰＵ
１２ ＲＯＭ
１３ ＲＡＭ
１４ サウンドシステム
１５ 表示部
１６ カメラ
１７ 画像データ入力Ｉ／Ｆ
１８ 操作部
２１ 音源部
２２ オーディオ回路
２３ スピーカ
２５ ギター
【特許請求の範囲】
【請求項１】
弦楽器の弦の振動に基づく楽音を発生する楽音発生装置であって、
当該弦の張設方向に、前記弦の振動する部分にわたった画像撮影領域の画像データを取得する画像取得手段と、
前記画像取得手段により得られた画像データに基づいて、前記弦の張設方向と垂直方向の基準位置からの変位量をゲイン値として、前記弦の張設方向における複数のゲイン値を含む波形データを生成して記憶手段の波形データエリアに格納する波形データ生成手段と、
前記波形データエリアに格納された波形データを、所定の読み出し速度で読み出して第１の楽音波形データを生成する楽音波形データ生成手段と、を備えたことを特徴とする楽音発生装置。
【請求項２】
前記楽音波形データ生成手段が、入力された基本周波数ｆ（Ｈｚ）に基づいて、１／ｆ（秒）で、前記波形データエリアに格納された波形データを読み取り終わる速度で、前記波形データエリアに格納された波形データを読み取るように構成されたことを特徴とする請求項１に記載の楽音発生装置。
【請求項３】
前記波形データ生成手段が、前記波形データのサンプル数Ｎを、Ｎ＝ｆｓ／ｆ（ｆｓ：サンプリング周波数）となるように、波形データを生成することを特徴とする請求項２に記載の楽音発生装置。
【請求項４】
前記記憶装置が、所定の音色の波形データが格納された音色波形データエリアを有し、
楽音波形データ生成手段が、前記基本周波数に基づいて、前記音色波形データエリアの前記所定の音色の波形データを読み出し、第２の楽音波形データを生成し、前記第１の楽音波形データと前記第２の楽音波形データとを合成した合成楽音波形データを生成することを特徴とする請求項２または３に記載の楽音発生装置。
【請求項５】
前記楽音波形データ生成手段が、ピックアップから出力された弦振動に基づく第２の楽音信号と、前記第１の楽音信号データに基づく第１の楽音信号とを合成して出力することを特徴とする請求項２または３に記載の楽音発生装置。
【請求項６】
複数の波形データエリアを有し、
前記波形データ生成手段が、新たな画像データが取得されたときに、前記楽音波形データ生成手段により波形データが読み出されていない他の波形データエリアに、前記新たな画像データに基づく新たな波形データを格納し、
前記楽音波形データ生成手段は、前記波形データを読み出している一方の波形データエリアからの波形データの読み出しが終了する場合に、前記他の波形データエリアから前記新たな波形データの読み出しを開始することを特徴とする請求項１ないし５の何れか一項に記載の楽音発生装置。
【請求項７】
前記楽音波形データ生成手段は、前記一方の波形データエリアからの波形データの読み出しを終了する際に、前記波形データのレベルを徐々に減少させるとともに、前記他の波形データエリアから読み出された前記新たな波形データのレベルを徐々に増大させ、前記波形データおよび前記新たな波形データを合成して出力することを特徴とする請求項６に記載の楽音発生装置。
【請求項８】
弦楽器の弦の振動に基づく楽音を発生するための楽音発生プログラムであって、コンピュータに、
当該弦の張設方向に、前記弦の振動する部分にわたった画像撮影領域の画像データを取得する画像取得ステップと、
前記画像取得ステップにおいて得られた画像データに基づいて、前記弦の張設方向と垂直方向の基準位置からの変位量をゲイン値として、前記弦の張設方向における複数のゲイン値を含む波形データを生成して記憶手段の波形データエリアに格納する波形データ生成ステップと、
前記波形データエリアに格納された波形データを、所定の読み出し速度で読み出して第１の楽音波形データを生成する楽音波形データステップと、を実行させることを特徴とする楽音発生プログラム。
【請求項１】
弦楽器の弦の振動に基づく楽音を発生する楽音発生装置であって、
当該弦の張設方向に、前記弦の振動する部分にわたった画像撮影領域の画像データを取得する画像取得手段と、
前記画像取得手段により得られた画像データに基づいて、前記弦の張設方向と垂直方向の基準位置からの変位量をゲイン値として、前記弦の張設方向における複数のゲイン値を含む波形データを生成して記憶手段の波形データエリアに格納する波形データ生成手段と、
前記波形データエリアに格納された波形データを、所定の読み出し速度で読み出して第１の楽音波形データを生成する楽音波形データ生成手段と、を備えたことを特徴とする楽音発生装置。
【請求項２】
前記楽音波形データ生成手段が、入力された基本周波数ｆ（Ｈｚ）に基づいて、１／ｆ（秒）で、前記波形データエリアに格納された波形データを読み取り終わる速度で、前記波形データエリアに格納された波形データを読み取るように構成されたことを特徴とする請求項１に記載の楽音発生装置。
【請求項３】
前記波形データ生成手段が、前記波形データのサンプル数Ｎを、Ｎ＝ｆｓ／ｆ（ｆｓ：サンプリング周波数）となるように、波形データを生成することを特徴とする請求項２に記載の楽音発生装置。
【請求項４】
前記記憶装置が、所定の音色の波形データが格納された音色波形データエリアを有し、
楽音波形データ生成手段が、前記基本周波数に基づいて、前記音色波形データエリアの前記所定の音色の波形データを読み出し、第２の楽音波形データを生成し、前記第１の楽音波形データと前記第２の楽音波形データとを合成した合成楽音波形データを生成することを特徴とする請求項２または３に記載の楽音発生装置。
【請求項５】
前記楽音波形データ生成手段が、ピックアップから出力された弦振動に基づく第２の楽音信号と、前記第１の楽音信号データに基づく第１の楽音信号とを合成して出力することを特徴とする請求項２または３に記載の楽音発生装置。
【請求項６】
複数の波形データエリアを有し、
前記波形データ生成手段が、新たな画像データが取得されたときに、前記楽音波形データ生成手段により波形データが読み出されていない他の波形データエリアに、前記新たな画像データに基づく新たな波形データを格納し、
前記楽音波形データ生成手段は、前記波形データを読み出している一方の波形データエリアからの波形データの読み出しが終了する場合に、前記他の波形データエリアから前記新たな波形データの読み出しを開始することを特徴とする請求項１ないし５の何れか一項に記載の楽音発生装置。
【請求項７】
前記楽音波形データ生成手段は、前記一方の波形データエリアからの波形データの読み出しを終了する際に、前記波形データのレベルを徐々に減少させるとともに、前記他の波形データエリアから読み出された前記新たな波形データのレベルを徐々に増大させ、前記波形データおよび前記新たな波形データを合成して出力することを特徴とする請求項６に記載の楽音発生装置。
【請求項８】
弦楽器の弦の振動に基づく楽音を発生するための楽音発生プログラムであって、コンピュータに、
当該弦の張設方向に、前記弦の振動する部分にわたった画像撮影領域の画像データを取得する画像取得ステップと、
前記画像取得ステップにおいて得られた画像データに基づいて、前記弦の張設方向と垂直方向の基準位置からの変位量をゲイン値として、前記弦の張設方向における複数のゲイン値を含む波形データを生成して記憶手段の波形データエリアに格納する波形データ生成ステップと、
前記波形データエリアに格納された波形データを、所定の読み出し速度で読み出して第１の楽音波形データを生成する楽音波形データステップと、を実行させることを特徴とする楽音発生プログラム。
【図１】
【図２】
【図３】
【図４】
【図５】
【図６】
【図７】
【図８】
【図９】
【図１０】
【図１１】
【図１２】
【図２】
【図３】
【図４】
【図５】
【図６】
【図７】
【図８】
【図９】
【図１０】
【図１１】
【図１２】
【公開番号】特開２０１０−２１０７５７（Ｐ２０１０−２１０７５７Ａ）
【公開日】平成２２年９月２４日（２０１０．９．２４）
【国際特許分類】
【出願番号】特願２００９−５４７６２（Ｐ２００９−５４７６２）
【出願日】平成２１年３月９日（２００９．３．９）
【出願人】（０００００１４４３）カシオ計算機株式会社 (8,748)
【Ｆターム（参考）】
【公開日】平成２２年９月２４日（２０１０．９．２４）
【国際特許分類】
【出願日】平成２１年３月９日（２００９．３．９）
【出願人】（０００００１４４３）カシオ計算機株式会社 (8,748)
【Ｆターム（参考）】
[ Back to top ]