電子楽器装置および仮想楽器の演奏方法並びに仮想楽器の演奏処理のプログラムおよびそのプログラムを記録した記録媒体
【課題】 実際のドラムと同じような感覚で演奏することができるとともに、狭い場所でも演奏することができる電子楽器装置を提供する。
【解決手段】 複数種類の仮想の打楽器を演奏するために、カメラ付き携帯電話装置５によって撮像された画像の中からあらかじめ設定されているスティック１、２の先端部１ａ、２ａの特定画像、脚に付けた黒球３、４の特定画像を抽出し、抽出した特定画像の動きベクトルを分析して、当該特定画像に対してあらかじめ設定されている仮想楽器を判定し、判定した仮想楽器の音色のリズム音信号を発生して、ヘッドホン７に送信して発音する。
【解決手段】 複数種類の仮想の打楽器を演奏するために、カメラ付き携帯電話装置５によって撮像された画像の中からあらかじめ設定されているスティック１、２の先端部１ａ、２ａの特定画像、脚に付けた黒球３、４の特定画像を抽出し、抽出した特定画像の動きベクトルを分析して、当該特定画像に対してあらかじめ設定されている仮想楽器を判定し、判定した仮想楽器の音色のリズム音信号を発生して、ヘッドホン７に送信して発音する。
【発明の詳細な説明】
【技術分野】
【０００１】
本発明は、電子楽器装置および仮想楽器の演奏方法、並びに、仮想楽器の演奏処理のプログラムおよびそのプログラムを記録した記録媒体に関するものである。
【背景技術】
【０００２】
近年、ＣＰＵやその他の半導体などを利用した電子鍵盤楽器が普及しているが、仮想の打楽器を演奏するための電子楽器装置も次第に商品化され、高い性能の製品も開発されている。また、仮想の打楽器を演奏するための技術も多く提案されている。
ある提案の電子楽器においては、ドラムのスティックに圧電ジャイロセンサ又はマイクロ加速度センサを設け、この角速度センサから結線した回路により角速度を検出して、この角速度を制御信号に変換し、この制御信号により音量および音質を設定するシンセサイザを備えた構成になっている。この構成により、スティックを振るだけで打楽器の音を発生できる。（特許文献１参照）
また、ある提案の電子打楽器においては、中空状のスティック本体内に、発光素子および受光素子を有する光センサと、スティック本体の振り動作に応じて受光素子に入射する光量（反射光量、透過光量）を変化させる振動子を設けた構成になっている。この構成により、スティックを振ると、その振りに応じて振動子が振動し、この振動子の振動に応じて発光素子からの光の反射状態又は透過状態が変化し、この変化に応じた光量を受光素子が受光するため、スティック本体の振り操作を振動子の振動状態の波形として検出することができ、スティック本体の微妙な振動を精度よく検出することができ、しかも非接触方式であるから耐久性にも優れ、信頼性の高いものを得ることができる。（特許文献２参照）
また、ある提案の電子ドラムにおいては、電子ドラムのパッドの外周であるパッド枠の少なくとも一箇所を透明若しくは半透明とした導光板で形成し、その導光板に複数色の光源からの光を導光し発光させる構成とともに、所望の条件に従う点灯信号発生手段からの信号により点滅と発光色の切換とを行う構成になっている。この構成により、パッドに割り付けられた打楽器の種類など、演奏者が所望する情報を発光色、発光数などにより告知できる。（特許文献３参照）
また、ある提案の入力装置およびこれを用いた電子楽器においては、２本のワイヤが１点で固定されたスタンドと、それぞれのワイヤに固定された２本のスティックと、ワイヤに張力が生じたことを検知し、ワイヤが張った状態でこのワイヤが交わる線上での位置を検知するセンサと、位置を表す信号に応じた音色の信号を発生し得る音源装置と、センサが張力を検知したときに音源装置からの信号を出力する出力手段とを備えた構成になっている。この構成により、ワイヤが充分に伸びた瞬間のタイミングとその時の打点位置を電気信号として検出でき、それを用いて電子音源装置を操作することにより電子ドラムシステムの演奏が可能になる。（特許文献４参照）
【特許文献１】特開平６−７５５７１号公報
【特許文献２】特開平１０−５５１７５号公報
【特許文献３】特開平１１−３０９８３号公報
【特許文献４】特開２０００−１６３０４９号公報
【発明の開示】
【発明が解決しようとする課題】
【０００３】
しかしながら、上記各特許文献においては、実際のドラムと同じような感覚で演奏することができないという課題、又は、擬似ドラムを設置するだけの広いスペースが必要になるという課題があった。
例えば、特許文献１の構成においては、スティックだけではドラムの種類や位置を判別できなので、ドラム演奏の臨場感を得ることができず、結局は、図４に示されるように、摸擬ドラムのメンブレム部やスネア部に角速度センサを取り付けることになる。したがって、擬似ドラムを設置するためのスペースが必要になる。また、ステックと装置（この場合は、プロセッサの回路部）とを接続するための信号線が必要となり、スティックの操作が制限されてしまうことになる。
また、特許文献２の構成においては、特許文献１の場合と同様に、スティックだけではドラムの種類や位置を判別できないので、ドラム演奏の臨場感を得ることができない上、ステックと楽音発生装置とを接続するための信号線が必要となり、スティックの操作が制限されてしまうことになる。さらに、スティックの振りが激しい場合には、スティック内のセンサ部が破損するおそれもある。
また、特許文献３の構成においては、擬似ドラムとしてのパッドを設置しなければならず、擬似ドラムを設置するだけの広いスペースが必要になるので、狭い家屋では設置することが困難である。
また、特許文献４の構成においては、図１からも明らかなように、スツール付きの大きなスタンドを設置しなければならず、自宅で手軽に演奏することができない。さらに、スティックとスタンドとを結ぶワイヤによって、スティックの操作が制限されてしまうことになる。さらにまた、図４および図６に示されているように、スティック操作を検出するセンサの機構が複雑であるので、製造コストやメンテナンスコストが高くなってしまう。
【０００４】
本発明は、このような従来の課題を解決するためになされたもので、実際のドラムと同じような感覚で演奏することができるとともに、狭い場所でも演奏することができる電子楽器装置を安価に提供することを目的とする。
また、本発明は、実際のドラムと同じような感覚で演奏することができるとともに、狭い場所でも演奏することができる仮想のドラム演奏方法を安価に提供することを目的とする。
また、本発明は、実際のドラムと同じような感覚で演奏することができるとともに、狭い場所でも演奏することができる電子楽器装置および仮想のドラム演奏方法の実施に用いるカメラ付き携帯電話装置を安価に提供することを目的とする。
【課題を解決するための手段】
【０００５】
本発明の電子楽器装置は、撮像手段と、複数種類の仮想の打楽器を演奏するために、撮像手段によって撮像された画像の中からあらかじめ設定されている１種類又は複数種類の特定画像を抽出する画像抽出手段と、この画像抽出手段によって抽出された特定画像の動きベクトルを分析して、当該特定画像に対してあらかじめ設定されている仮想楽器を判定する画像分析手段と、この画像分析手段によって判定された仮想楽器の音色のリズム音信号を発生する信号発生手段と、を備えた構成になっている。
【０００６】
本発明の仮想楽器の演奏方法は、複数種類の仮想の打楽器を演奏するために、所定の撮像手段によって撮像された画像の中からあらかじめ設定されている１種類又は複数種類の特定画像を抽出し、抽出した特定画像の動きベクトルを分析して、当該特定画像に対してあらかじめ設定されている仮想楽器を判定し、判定した仮想楽器の音色のリズム音信号を発生する構成になっている。
【０００７】
本発明による電子楽器装置および仮想楽器の演奏方法の実施に使用可能なカメラ付き携帯電話装置は、
スイッチ部を有する第１の本体と表示部を有する第２の本体とが結合手段によって回動可能に結合され、第１の本体と第２の本体とを閉状態又は開状態に変化可能な構造を有し、
第２の本体の所定の位置に設けられた第１のレンズと、第１の本体に設けられた空間に収容され、第２のレンズおよび光反射部材が一体化された光学手段と、第１の本体のアンテナが形成される側面から外部に向かってほぼ垂直に突き出た円筒形状で第１の本体に設けられた空間に連通する空間を内部に有する突起部と、この突起部の空間の所定位置に設けられた第３のレンズと、光学手段を操作に応じて第１の本体に設けられた空間内の第１の位置又は第２の位置に移動させる操作手段と、第１の本体と第２の本体とが閉状態で、且つ、光学手段が第１の位置にある場合には、第１のレンズおよび第２のレンズによって結像される光画像を電気信号に変換して撮像信号として出力し、第１の本体と第２の本体とが開状態で、且つ、光学手段が第１の位置にある場合には、第２のレンズによって結像される光画像を電気信号に変換して撮像信号として出力し、光学手段が第２の位置にある場合には、第３のレンズから入射して光反射部材によって反射して結像された光画像を電気信号に変換して撮像信号として出力する撮像素子と、を備えた構成になっている。
【０００８】
また、本発明による電子楽器装置および仮想楽器の演奏方法の実施に使用可能なカメラ付き携帯電話装置は、
スイッチ部を有する第１の本体と表示部を有する第２の本体とが結合手段によって回動可能に結合され、第１の本体と第２の本体とを閉状態又は開状態に変化可能な構造を有し、
第２の本体の所定の位置に設けられた第１のレンズと、第１の本体においてスイッチ部を有する面に対してほぼ垂直方向の光軸を持つ第２のレンズ、第１の本体のアンテナが形成される側面から外部に向かってほぼ垂直に突き出た部分に形成されて当該側面に対してほぼ垂直方向の光軸を持つ第３のレンズ、この第３のレンズから入射する光をほぼ直角に反射する光反射部材とが一体化された光学手段と、第１の本体において、操作に応じて光学手段を第１の位置又は第２の位置に第３のレンズの光軸方向にスライド可能に収容する収容手段と、第１の本体と第２の本体とが閉状態で、且つ、光学手段が第１の位置にある場合には、第１のレンズおよび第２のレンズによって結像される光画像を電気信号に変換して撮像信号として出力し、第１の本体と第２の本体とが開状態で、且つ、光学手段が第１の位置にある場合には、第２のレンズによって結像される光画像を電気信号に変換して撮像信号として出力し、光学手段が第２の位置にある場合には、第３のレンズから入射して光反射部材によって反射して結像された光画像を電気信号に変換して撮像信号として出力する撮像素子と、を備えた構成になっている。
【発明の効果】
【０００９】
本発明の電子楽器装置および仮想楽器の演奏方法並びにその装置および方法に使用するカメラ付き携帯電話装置によれば、実際のドラムと同じような感覚で演奏することができるとともに、狭い場所でも演奏することができるという効果が得られる。
【発明を実施するための最良の形態】
【００１０】
以下、本発明による電子楽器装置および仮想楽器の演奏方法の実施形態、並びに、その装置および方法に使用可能なカメラ付き携帯電話装置の実施形態について、図を参照しながら詳細に説明する。
図１は、第１実施形態における電子楽器装置を演奏者が使用する状態を示す図である。この図において、演奏者１００の右手１０１および左手１０２には、２本のスティック１および２が握られている。これらスティック１および２の丸い形状の先端部１ａおよび２ａは、特定の色に着色されている。実施形態においては、特定の色としては黒色であるが、他の色であってもよい。また、演奏者１００の右脚１０３および左脚１０４には、黒色の球形の物体３および４（以下、「黒球３、黒球４」という）が、それぞれ帯状の保持部材３ａおよび４ａによって固定されている。また、演奏者１００の腰１０５の前側には、カメラ付き携帯電話装置５が腰１０５に装着されたベルト６に取り付けられたキャリアケース６ａに収容されている。また、演奏者１００の頭部１０６には、ステレオ用のヘッドホン７（発音手段）が装着されている。このヘッドホン７には、音量調整用のボリューム７ａが設けられている。さらに、図には示していないが、カメラ付き携帯電話装置５に設けられているヘッドホン端子と、ヘッドホン７の入力端子とが信号線によって接続されている。
【００１１】
図２は、図１に示したベルト６におけるキャリアケース６ａに収容されたカメラ付き携帯電話装置５を示す図である。カメラ付き携帯電話装置５の前部には、自分の顔を撮影できるような広い視野角のレンズ８（第１のレンズ）が設けられている。また、カメラ付き携帯電話装置５の側部には、スイッチ９が設けられている。なお、図には示していないが、レンズ８に対応する内部には、レンズ８から入射する光によって画像を撮像するＣＣＤやＣＭＯＳなどの撮像素子が設けられている。レンズ８の視野は広いので、図１におけるスティック１および２の先端部１ａおよび２ａと、両足に取り付けられた黒球３および４を撮像素子の画角に収めることができる。スイッチ９は、通常のカメラモードのときはシャッタスイッチの機能を有するが、ドラム演奏のモードにおいてはスタートおよびストップのスイッチとしても機能する。
キャリアケース６ａは、ベルト６と一体に形成された専用のものが望ましいが、市販されているキャリアケースを通常のベルトに取り付けた構成でも、レンズ８およびスイッチ９が露出するものであれば十分である。
【００１２】
図３は、カメラ付き携帯電話装置５の内部構成を示すブロック図である。この図において、ＣＰＵ１１は、システムバスを介して、ＲＯＭ１２、ＲＡＭ１３、無線送受信部１４、スイッチ部１５、表示部１６、カメラ部１７、フラッシュメモリ１８、音源部１９、および送信インタフェース２０に接続され、これら各部との間で指令およびデータの授受を行って、この装置全体を制御する。
ＲＯＭ１２は、ＣＰＵ１１によって実行されるプログラムや初期データなどを記憶している。ＲＡＭ１３は、ＣＰＵ１１のワークエリアであり、処理するデータを一時的に記憶するバッファエリア、各種のレジスタ、フラグ、変数のためのエリアが用意されている。無線送受信部１４は、外部の携帯電話装置との間で電話、メール、画像の送受信を行なうとともに、インターネットなどの通信網を介して、楽音データをダウンロードすることができる。スイッチ部１５は、ダイヤル入力用のテンキースイッチ、オフフックスイッチ、オンフックスイッチ、発信スイッチ、メニュースイッチ、カーソルスイッチなどで構成されている。表示部１６は、少なくとも１つのＬＣＤ（液晶表示デバイス）で構成されている。
【００１３】
カメラ部１７（撮像手段）は、上記したレンズ８および撮像素子のほかに、他の光学部材としてのレンズ、撮像素子から出力される撮像信号をディジタル信号に変換するＡＤコンバータ回路、撮像信号によって画像の輪郭を検出するエッジ検出回路（検出手段）、画像の歪みを補正する補正回路などを含んでいる。また、ＣＰＵ１１は、カメラ部１７の回路と協働して、撮像素子によって撮像された画像の中から１種類又は複数種類の特定画像（スティック１および２の先端部１ａおよび２ａの画像、および、脚に取り付けられた黒球３および４の画像）を抽出する画像抽出手段、抽出された特定画像の動きベクトルを分析して、その特定画像に対してあらかじめ設定されている仮想楽器（この場合は、打楽器）を判定する画像判定手段を構成する。
【００１４】
フラッシュメモリ１８は、電源がオフされた後もデータを保持する書き換え可能な不揮発性メモリであり、電話やメールの着信履歴および発信履歴、アドレス帳として電話番号やメールアドレスのデータ、他のカメラ付き携帯電話装置から受信した画像データ、インターネットなどからダウンロードした楽音データ、スイッチ部１５の操作によって録音された楽音データ、ドラム演奏に際して設定された各種のデータ、カメラ部１７から得られるフレーム単位の画像データを記憶する。音源部１９（信号発生手段）は、バスドラム、スネアドラム、フロアタム、シンバル、タムタム、ハイハットなどの複数種類からなる打楽器の音色の波形データを記憶し、ＣＰＵ１１の機能である画像判定手段によって判定された仮想楽器としての打楽器に応じて、その打楽器の音色のリズム音信号を発生する。送信インタフェース２０は、ＤＡコンバータ回路を含むとともに、ヘッドホン端子に接続されており、音源部１９によって発生されたリズム音信号やフラッシュメモリ１８に記憶された楽音データをディジタルからアナログに変換して、ヘッドホン７や外部のサウンドシステム（図示せず）に対して信号線を介して送信する。外部のサウンドシステムとしては、アンプやイコライザなどの装置およびスピーカなどがある。
なお、図には示していないが、ＣＰＵ１１のポートには、通話用のマイクやスピーカ、着信検知用のバイブレータなどを接続するドライバが接続されている。
【００１５】
図４は、ヘッドホン７の内部構成を示すブロック図である。この図において、受信インタフェース２１は、入力端子に接続され、信号線を介してカメラ付き携帯電話装置５の送信インタフェース２０から送信されるリズム音信号や楽音信号を受信する。信号処理部２２は、受信インタフェース２１から得られるリズム音信号や楽音信号に対して、ＬチャンネルとＲチャンネルとに分離するステレオ信号処理やその他の信号処理を施して出力する。アンプ２３は、信号処理部２２から出力されるステレオ信号を、ボリューム７ａの調整に応じて増幅して、左右のスピーカ２４Ｌおよび２４Ｒから発音する。
【００１６】
次に、カメラ付き携帯電話装置５の動作について、ＣＰＵ１１によって実行されるフローチャートおよび表示部１６の画面、フラッシュメモリ１８に設定されるデータ、ＲＡＭ１３におけるレジスタ、フラグ、変数などに基づいて説明する。なお、カメラ付き携帯電話装置５は、スイッチ部１５やＣＰＵ１１やカメラ部１７の撮像素子などの電子部品を収容する下部本体（第１の本体）と、レンズ８、表示部１６、および表示部１６を駆動するＴＦＴ（薄膜トランジスタ）などを収容する上部本体（第２の本体）とが、ヒンジ部（結合手段）によって回動可能に結合された構造になっている。すなわち、下部本体のスイッチ部１５を有する面と、上部本体の表示部１６を有する面とが対面する閉状態、又は、上部本体が回動操作されて、下部本体のスイッチ部１５および上部本体の表示部１６とが開いた開状態に設定することができる。
【００１７】
図５および図６は、メインルーチンのフローチャートである。図５において、ＲＡＭ１３の初期化などの所定のイニシャライズ（ステップＳＡ１）の後、待受画面を表示する（ステップＳＡ２）。この状態は、スイッチ部１５および表示部１６とが開いた開状態である。そして、オフフックスイッチがオンされたか否かを判別する（ステップＳＡ３）。このスイッチがオンされたときは、番号入力画面を表示して（ステップＳＡ４）、テンキースイッチによって入力された番号又はアドレス帳から呼び出された特定の番号を入力する番号入力処理を行ない（ステップＳＡ５）、発信スイッチのオンによってその番号を無線通信網に発信して（ステップＳＡ６）、スピーカによって呼出報知を行う（ステップＳＡ７）。そして、相手側との回線接続が確立したか否かを判別し（ステップＳＡ８）、回線接続が確立したときは、通話処理に遷移する（ステップＳＡ９）。通話処理中においては、オンフックスイッチがオンされたか否かを判別し（ステップＳＡ１０）、このスイッチがオンされたときは、回線切断などの終話処理を行って（ステップＳＡ１１）、ステップＳＡ２に移行して待受画面を表示する。
【００１８】
ステップＳＡ３において、オフフックスイッチがオンでない場合には、図６において、メニュースイッチがオンされたか否かを判別する（ステップＳＡ１２）。このスイッチがオンされたときは、メニュー画面を表示して（ステップＳＡ１３）、１つのメニューにフォーカスする（ステップＳＡ１４）。例えば、最初のメニューや前回選択されたメニューを強調して表示する。次に、カーソルスイッチがオンされたか否かを判別する（ステップＳＡ１５）。このスイッチがオンされたときは、フォーカス位置を移動する（ステップＳＡ１６）。そして、選択スイッチがオンされたか否かを判別し（ステップＳＡ１７）、このスイッチがオンでない場合には、戻るスイッチがオンされたか否かを判別する（ステップＳＡ１８）。戻るスイッチがオンでない場合には、ステップＳＡ１５においてカーソルスイッチのオンを判別し、戻るスイッチがオンされたときは、図５のステップＳＡ２に移行して待受画面を表示する。
【００１９】
図７（Ａ）は、メニュー画面を示す図であり、図７（Ｂ）は、スイッチ部１５においてメニュー画面および後述するその他の画面に表示されたアイコンに対応するカーソルスイッチ３１、選択（決定）スイッチ３２、および戻るスイッチ３３を示す図である。メニュー画面には、複数のメニューが表示されるとともに、「選択」アイコンおよび「戻る」アイコンが表示される。カーソルスイッチ３１の操作に応じて、強調表示されるメニューのフォーカス位置が変化する。図７（Ａ）の画面では、ドラム演奏のメニューにフォーカスが表示されている。
【００２０】
図６のステップＳＡ１７において、選択スイッチがオンされたときは、そのときのフォーカス位置のメニューを実行する。フォーカス位置がドラム演奏であるか否かを判別し（ステップＳＡ１９）、ドラム演奏である場合には、ドラム設定処理を実行する（ステップＳＡ２０）。フォーカス位置がドラム演奏でない場合には、フォーカス位置が再生であるか否かを判別する（ステップＳＡ２１）。再生である場合には、フラッシュメモリ１８に録音したドラム演奏のデータやダウンロードした曲のデータを再生する再生処理を行う（ステップＳＡ２２）。フォーカス位置がドラム演奏でも再生でもない場合には、フォーカス位置に対応する処理を行う（ステップＳＡ２３）。ドラム設定処理、再生処理、又はその他のフォーカス位置に対応する処理の後は、ステップＳＡ１３のメニュー画面に戻る。
【００２１】
一方、ステップＳＡ１２において、メニュースイッチがオンでない場合には、他のスイッチがオンされたか否かを判別し（ステップＳＡ２４）、いずれかのスイッチがオンされたときは、そのスイッチに対応する処理を行って（ステップＳＡ２５）、図５のステップＳＡ２に移行して待受画面を表示するが、いずれのスイッチもオンでない場合には、図５のステップＳＡ３に移行して、各スイッチがオンを判別する。
【００２２】
図８および図９は、ドラム設定処理のフローチャートである。図８において、まず、設定画面を表示する（ステップＳＢ１）。そして、所定のフォーカス表示を行う（ステップＳＢ２）。図１０は、ドラム設定処理における設定画面の内容を示す図である。この図に示すように、設定画面には、「前回設定」、「今回設定」、「デフォルト」、「メロディ」の有無、「録音」の有無の選択メニューが表示され、「選択」アイコン、「戻る」アイコンが表示される。この図では、前回設定、メロディ無し、および録音無しにフォーカスが表示されている。
【００２３】
図８においてフォーカス表示をした後は、カーソルスイッチがオンされたか否かを判別する（ステップＳＢ３）。このスイッチがオンされたときは、フォーカス位置を移動する（ステップＳＢ４）。次に、選択スイッチがオンされたか否かを判別し（ステップＳＢ５）、このスイッチがオンでない場合には、戻るスイッチがオンされたか否かを判別し（ステップＳＢ６）、このスイッチがオンされたときは、図６のメインルーチンに戻る。戻るスイッチがオンでない場合には、カーソルスイッチのオンを判別する。ステップＳＢ５において、選択スイッチがオンされたときは、フォーカスされている設定内容を実行する。前回設定がフォーカスされているか否かを判別し（ステップＳＢ７）、前回設定にフォーカスされている場合には、前回設定のデータをフラッシュメモリ１８から読み出す（ステップＳＢ８）。フォーカスされているのが前回設定でない場合には、デフォルトにフォーカスされているか否かを判別し（ステップＳＢ９）、デフォルトにフォーカスされている場合には、デフォルトのデータをフラッシュメモリ１８から読み出す（ステップＳＢ１０）。
【００２４】
フォーカスされているのが前回設定でもなくデフォルトでもない場合には、図９において、今回設定にフォーカスされているか否かを判別する（ステップＳＢ１１）。今回設定にフォーカスされている場合には、設定画面を表示する（ステップＳＢ１２）。そして、所定の設定項目にフォーカスを表示する（ステップＳＢ１３）。また、所定の仮想楽器にラジオボタンを表示する（ステップＳＢ１４）。フォーカスを表示する設定項目の内容、および、ラジオボタンを表示する仮想楽器については、例えば、前回設定の内容に従う。図１１は、ドラム演奏の設定画面を示す図である。この図では、「右足」演奏に対応する「バス」、「左足」演奏に対応する「ハイハット」がフォーカスされ、右手演奏に対応する仮想楽器として「タムタム」、「フロアタム」、および「トップシンバル」、左手演奏に対応する仮想楽器として「スネア」および「ハイハット」のラジオボタンが有効（黒丸）に設定されている。この画面にも、スイッチ部１５のスイッチに対応して、「選択」アイコンおよび「戻る」アイコンが表示される。
【００２５】
次に、カーソルスイッチがオンされたか否かを判別し（ステップＳＢ１５）、このスイッチがオンされたときは、フォーカス位置を移動する（ステップＳＢ１６）。また、カーソルスイッチによってラジオボタンが指定されたか否かを判別し（ステップＳＢ１７）、ラジオボタンが指定されたときは、その指定されたラジオボタンを無効から有効に又は有効から無効に反転する（ステップＳＢ１８）。次に、選択スイッチがオンされたか否かを判別し（ステップＳＢ１９）、このスイッチがオンでない場合には、戻るスイッチがオンされたか否かを判別する（ステップＳＢ２０）。このスイッチがオンされたときは、図８のステップＳＢ１に移行して設定画面を表示するが、戻るスイッチがオンでない場合には、ステップＳＢ１５においてカーソルスイッチのオンを判別する。
【００２６】
一方、ステップＳＢ１１において、フォーカス位置が今回設定でない場合には、メロディがフォーカスされているか否かを判別し（ステップＳＢ２１）、メロディがフォーカスされている場合には、曲選択処理を実行する（ステップＳＢ２２）。曲選択処理においては、フラッシュメモリ１８に記憶されている１つ以上の曲を画面に表示して、ドラム演奏とともに発音させるメロディの曲データをカーソルスイッチおよび選択スイッチの操作に応じて設定する。フラッシュメモリ１８に記憶されている曲としては、いわゆる「着メロ」や「着うた」の曲データでもよいし、ドラム演奏用に作成されたリズムパートだけを除いた「マイナスワン」の曲データでもよい。曲選択処理の後は、フラグＭＦを「１（メロディオン）」にセットする（ステップＳＢ２３）。ステップＳＢ２１において、フォーカス位置がメロディでない場合には、録音がフォーカスされているか否かを判別し（ステップＳＢ２４）、録音がフォーカスされている場合には、フラグＲＦを「１（録音）」にセットする（ステップＳＢ２５）。ＲＦが「１」の場合には、ドラム演奏のデータがフラッシュメモリ１８に記憶される。
【００２７】
ステップＳＢ１９において選択スイッチがオンされたとき、又は、ステップＳＢ２３にいてＭＦを「１」にセットした後、若しくは、ステップＳＢ２５においてＲＦを「１」にセットした後は、決定画面を表示する（ステップＳＢ２６）。図１２は、ドラム演奏の決定画面の例を示す図である。この画面には、図１０および図１１の画面において設定された内容が表示されるとともに、「決定」アイコンおよび「戻る」アイコンが表示される。そして、「決定」アイコンに対応するスイッチ部１５の決定スイッチがオンされたか否かを判別する（ステップＳＢ２７）。このスイッチがオンでない場合には、戻るスイッチがオンされたか否かを判別する（ステップＳＢ２８）。このスイッチがオンされたときは図８のステップＳＢ１に移行して設定画面を表示するが、戻るスイッチがオンでない場合には、ステップＳＢ２７において決定スイッチのオンを判別する。決定スイッチがオンされたときは、ドラム処理を実行する（ステップＳＢ２９）。ドラム処理が終了したときは、図６のメインルーチンに戻る。
【００２８】
なお、決定スイッチがオンされたときは、図１２の設定内容に対応して、ＲＡＭ１３には、図１３に示すような配列ＡＲのデータが記憶される。この図において、縦の行であるｍの値（１〜４）は、右足（１）、左足（２）、右手（３）、左手（４）すなわち演奏する演奏者の身体の部位を表し、横の列であるｎの値（１〜６）は、仮想楽器の種類即ちドラムの種類であるバス（１）、ハイハット（２）、タムタム（３）、フロアタム（４）、トップシンバル（５）、スネア（６）を表している。ｍの行とｎの列とが交わった部分のデータによって、演奏する部位と演奏するドラムとの関係を表している。すなわち、図１２において選択された設定内容が図１３に示されている。例えば、右足（１）はバス（１）を演奏し、左足（２）はハイハット（１）を演奏する。足で演奏できないドラムは「／（非選択マーク）」で区別されている。同様に、右手（３）はタムタム（３）、フロアタム（４）、トップシンバル（５）を演奏し、左手（４）はハイハット（２）、スネア（６）を演奏する。
【００２９】
図１４は、図９におけるステップＳＢ２９のドラム処理のフローチャートである。ドラム処理においては、図２に示したスイッチ９をドラム処理のスタート／ストップスイッチとして使用する。すなわち、図１２の画面において決定スイッチがオンされた後は、演奏者は、図１に示すように、カメラ付き携帯電話装置５を閉状態にして腰１０５の前側のキャリアケース６ａに収納する。この状態でスイッチ９をオンにすれば、ＣＰＵ１１はドラム処理を実行する。
図１４において、スタート／ストップスイッチ（図２のスイッチ９）がオンされたか否かを判別し（ステップＳＣ１）、このスイッチがオンされたときはスタートフラグＳＴＦを反転する（ステップＳＣ２）。ＳＴＦを反転した後、又は、ステップＳＣ１においてスタート／ストップスイッチがオンでない場合には、ＳＴＦが「１」であるか否かを判別する（ステップＳＣ３）。ＳＴＦが「１」である場合には、音声処理（ステップＳＣ４）、画像処理（ステップＳＣ５）、その他の処理（ステップＳＣ６）を行い、ステップＳＣ１に移行して、スタート／ストップスイッチがオンされたか否かを判別する。したがって、ＳＴＦが「１」になってドラム処理が開始した後は、スタート／ストップスイッチがオンされない限り、ステップＳＣ４からステップＳＣ６までのドラム処理を続行する。ドラム処理中において、スタート／ストップスイッチがオンされて、ステップＳＣ３においてＳＴＦが「０」と判別されたときは、メインフローに戻る。なお、ステップＳＣ６のその他の処理は、電源の低下やその他の異常を検出する処理などである。
【００３０】
図１５は、ステップＳＣ４における音声処理のフローチャートである。まず、ドラム演奏中であるかドラム演奏停止中であるかを表すフラグＬＦが「０（演奏停止中）」又は「１（演奏中）」であるかを判別する（ステップＳＤ１）。ＬＦが「１」である場合には、図１４の画像処理に移行するが、ＬＦが「０」である場合には、ドラム演奏に先立つテストの実施を表すフラグＳＢＦが「０」であるか又は「１」であるかを判別する（ステップＳＤ２）。ＬＦが「０」で且つＳＢＦが「０」である場合には、ドラム演奏に先立つテストがまだ実施されていない場合である。この場合には、ＳＢＦを「１」にセットして（ステップＳＤ３）、送信インタフェース２０を介して、ヘッドホン７に対してテスト開始の音声メッセージを出力する（ステップＳＤ４）。例えば、「各ドラムの音出しテストを行います」のような音声メッセージを出力する。
【００３１】
次に、演奏する部位を示す変数ｍおよび演奏対象のドラムを示す変数ｎを共に「１」にセットして（ステップＳＤ５）、ｍおよびｎの値をインクリメントしながら、以下のループを実行する。図１３に示した配列ＡＲにおいて、ＡＲ（ｍ，ｎ）が「１」であるか否かを判別する（ステップＳＤ６）。すなわち、ｍで指定する身体の部位がｎで指定するドラムＤ（ｎ）を演奏するように設定がされているか否かを判別する。ＡＲ（ｍ，ｎ）が「１」である場合には、ｍの部位でＤ（ｎ）を演奏する旨の音声メッセージをヘッドホン７に出力する（ステップＳＤ７）。例えば、「右手でタムタムを叩いて下さい」のような音声メッセージを出力する。そして、フラグＤＦ（ｍ，ｎ）を「１」にセットし（ステップＳＤ８）、タイマレジスタに所定値Ｔの値をセットする（ステップＳＤ９）。すなわち、ｍの部位によるＤ（ｎ）の音出しテストの状態をセットする。また、タイマインタラプトを許可する。Ｔの値としては、例えば、数分ないし十数分が適当である。ここでは、Ｔの時間を５分とする。
【００３２】
タイマをセットした後、又は、ステップＳＤ２において、ＳＢＦが「１」である場合すなわちドラム演奏に先立つテストが実施中である場合には、フラグＤＦ（ｍ，ｎ）が「０」にリセットされたか否かを判別する（ステップＳＤ１０）。このフラグが「１」でまだｍの部位によるＤ（ｎ）の音出しテスト中である場合には、タイマの値が「０」に達したか否かを判別する（ステップＳＤ１１）。すなわち、ｍの部位によるＤ（ｎ）の音出しテストの音声メッセージの指示にもかかわらず、その指示に従ったテスト演奏がされない時間が５分を経過したか否かを判別する。５分が経過していない場合には、図１４の画像処理に移行する。そして、再び図１５のフローチャートにおいて、ステップＳＤ２、ステップＳＤ３を経て、フラグＤＦ（ｍ，ｎ）が「０」にリセットされたか否かを判別するが（ステップＳＤ１０）、このフラグが「１」である場合には、タイマの値が「０」に達したか否かを判別する（ステップＳＤ１１）。タイマの値が「０」に達したとき、すなわち、５分が経過した場合には、何らかの事情で演奏者がドラム演奏を中断したと判断して、ＳＴＦを「０」にリセットして（ステップＳＤ１２）、図１４のフローチャートに戻る。したがって、図１４のステップＳＣ４の判別によってメインルーチンに戻る。
【００３３】
図１５のステップＳＤ１０において、フラグＤＦ（ｍ，ｎ）が「０」にリセットされた場合、又は、ステップＳＤ６においてＡＲ（ｍ，ｎ）が「０」である場合には、ｎの値をインクリメントする（ステップＳＤ１３）。そして、ｎの値が最大値ＭＡＸを超えたか否かを判別する（ステップＳＤ１４）。最大値は、図１３に示したようにｍの番号に対応する部位ごとに異なる。最大値を超えていない場合には、ステップＳＤ６に移行して、ステップＳＤ１４までのループを繰り返す。ステップＳＤ１４において、ｎの値が最大値ＭＡＸを超えたときは、ｍの値をインクリメントするとともに、ｎの値を「１」にセットする（ステップＳＤ１５）。このとき、ｍの値が「４」を超えたか否かを判別し（ステップＳＤ１６）、「４」を超えていない場合には、ステップＳＤ６に移行して、ステップＳＤ１５までのループを繰り返す。
【００３４】
ステップＳＤ１５において、ｍの値が「４」を超えたとき、すなわち、演奏者の身体において設定しているすべての部位のテスト演奏が終了したときは、フラグＳＢＦを「０」にリセットして（ステップＳＤ１７）、フラッシュメモリ１８におけるフレーム画像エリアのすべてであるｆ（１）ないしｆ（ｋｍ）をクリアする（ステップＳＤ１８）。そして、フレーム画像エリアを指定する変数ｋを「１」にセットする（ステップＳＤ１９）。すなわち、ｆ（１）のエリアを指定する。また、フラグＬＦを「１」にセットし（ステップＳＤ２０）、図１４の画像処理に移行する。
【００３５】
図１６は、図１４におけるステップＳＣ５の画像処理のフローチャートである。カメラ部１７から画像入力があるか否かを判別し（ステップＳＥ１）、画像入力がない場合には図１４のフローチャートに戻るが、画像入力があったときは、その画像データをフラッシュメモリ１８にストアする（ステップＳＥ２）。そして、１フレームの画像データが入力されたか否かを判別する（ステップＳＥ３）。１フレームの画像データが入力されたときは、フラグＳＢＦが「１（音出しテスト中）」であるか否かを判別する（ステップＳＥ４）。ＳＢＦが「１」である場合には、フレーム画像を検索して（ステップＳＥ５）、ｍに対応する特定画像を動画として検出したか否かを判別する（ステップＳＥ６）。特定画像とは、図１に示したスティック１および２の先端部１ａおよび２ａの画像、および、黒球３および４の画像であり、デフォルトとして又は演奏者によって、画像パターンとしてあらかじめ設定されている。
【００３６】
ステップＳＥ６において、ｍに対応する特定画像の動画を検出したときは、ＲＡＭ１３の画像エリアＧ（ｍ）に登録する（ステップＳＥ７）。すなわち、１画面の画像データにおいて、テスト演奏として指示されている部位の特定画像の動画を検出したときは、ＲＡＭ１３の画像エリアＧ（ｍ）に登録する。例えば、ｍが「１」の場合に右下の領域に黒球３の画像パターンと同様の画像を検出した場合には、その画像を画像エリアＧ（１）に登録する。ｍが「２」の場合に左下の領域に黒球４の画像パターンと同様の画像を検出した場合には、その画像を画像エリアＧ（２）に登録する。ｍが「３」の場合に右上の領域に先端部１ａの画像パターンと同様の画像を検出した場合には、その画像をＧ（３）として登録する。ｍが「４」の場合に左上の領域に先端部２ａの画像パターンと同様の画像を検出した場合には、その画像をＧ（４）として登録する。
【００３７】
次に、登録したＧ（ｍ）の動画の軌跡すなわち動線を検出したか否かを判別する（ステップＳＥ８）。動画の検出は、所定時間（例えば、４０ｍｓ）ごとのフレーム画像の画面において、Ｇ（ｍ）の画像の座標を検出してＲＡＭ１３にストアし、座標の移動を把握することで行われる。この場合において、動線の動きベクトルを把握するためにオプティカルフロー処理を行ってもよい。Ｇ（ｍ）の動線を検出したときは、レジスタＲＴの値（初期値は０）をインクリメントする（ステップＳＥ９）。また、Ｄ（ｎ）の音色で発音する（ステップＳＥ１０）。すなわち、ｍの部位でＤ（ｎ）を演奏する音声メッセージに応じて、演奏者が仮想のＤ（ｎ）を演奏したときは、音源部１９によってＤ（ｎ）に対応する音色の楽音信号を発生させて、送信インタフェース２０を介して、その楽音信号をヘッドホン７に出力する。
【００３８】
ステップＳＥ１０の発音処理の後は、ＲＴの値が所定回数Ｎに達したか否かを判別する（ステップＳＥ１１）。例えば、ｍの部位でＤ（ｎ）を演奏する音声メッセージの指示が、左手のスティックでハイハットを演奏する指示であるとすると、ハイハットの位置と演奏の動線とを確定するために、演奏者に仮想楽器であるハイハットを演奏する動作を何回かさせる必要がある。また、演奏者にとっても、ハイハットを演奏するイメージを把握する必要がある。このため、連続してＮ回（５回ないし１０回程度）、ハイハットのテスト演奏を行う。Ｎの値はあらかじめ設定されているが、演奏者の設定によって任意の回数に変更できるものとする。
【００３９】
ステップＳＥ１１において、ＲＴの値がＮの値に達していない場合には、図１４のフローチャートに戻るが、ＲＴの値がＮの値に達したときは、確定動線の演算処理を行う（ステップＳＥ１２）。図１７は、右手（ｍ＝３）でトップシンバル（ｎ＝５）のテスト演奏を１０回行ったときの、確定動線の演算処理を説明するための図である。この図において、Ｅ１（ｘ，ｙ）、Ｅ２（ｘ，ｙ）、…Ｅｋｍ（ｘ，ｙ）は、図１に示したスティック１のテスト演奏において、４０ｍｓごとの先端部１ａの画像の座標を包含する楕円の関数を表している。すなわち、４０ｍｓごとの先端部１ａの画像の座標は、次第に面積が広がるＥ１（ｘ，ｙ）、Ｅ２（ｘ，ｙ）、…Ｅｋｍ（ｘ，ｙ）の楕円内に存在する。言い換えれば、１０回のテスト演奏の動線が、２次元の楕円関数であるＥ１（ｘ，ｙ）、Ｅ２（ｘ，ｙ）、…Ｅｋｍ（ｘ，ｙ）の集合で表される３次元の立体的な楕円管の中に存在する。
なお、脚によるバスやハイハットの仮想演奏すなわち仮想のペダル演奏の場合には、４０ｍｓごとの黒球の変位量が小さいので、図１７の各楕円関数の位置はかなり接近した関係になる。
【００４０】
例えば、右手でトップシンバルを叩く動作の時間を０．４秒すなわち４００ｍｓと仮定する。この場合には、先端部１ａの画像の座標の検出回数は１０回であり、４０ｍｓごとの先端部１ａの画像の座標は、Ｅ１（ｘ，ｙ）、Ｅ２（ｘ，ｙ）、…Ｅｋｍ（ｘ，ｙ）の楕円内に存在することになる。この結果、右手でトップシンバルを叩く場合の確定動線Ｃ（３，５）が確定されるとともに、最後の楕円関数Ｅｋｍ（ｘ，ｙ）がトップシンバルＤ（５）の空間位置ＤＳ（５）として確定される。ステップＳＥ１２の演算処理の後は、演算結果をＲＡＭ１３のＣ（ｍ，ｎ）、ＤＳ（ｎ）に登録する（ステップＳＥ１３）。次に、フラグＤＦ（ｍ，ｎ）を「０」にリセットして（ステップＳＥ１４）、フラッシュメモリ１８にストアした右手でトップシンバルを叩く動作のフレーム画像をクリアする（ステップＳＥ１５）。そして、図１４のフローチャートに戻る。なお、他のドラムのテスト演奏についても同様である。
ＤＦ（ｍ，ｎ）が「０」にリセットされると、図１５の音声処理のフローチャートにおいて、ステップＳＤ１０からステップＳＤ１３に移行して、次のテスト演奏のドラムを指定することになる。
【００４１】
図１６のステップＳＥ４においてＳＢＦが「０」である場合には、テスト演奏が終了して実際のドラム演奏に移行している。したがって、フラッシュメモリ１８にストアしたフレーム画像は、任意のドラム演奏の画像になっている。図１８は、任意のドラム演奏の画像を示す図である。図１８の画像には、右手の画像１０１ｉ、スティックの画像１ｉ、その先端部の画像１ａｉ、左手の画像１０２ｉ、スティックの画像２ｉ、その先端部の画像２ａｉ、右脚の膝の画像１０３ｉ、右脚に付けた黒球の画像３ｉ、黒球を保持する帯状の保持部材の画像３ａｉ、左脚の膝の画像１０４ｉ、左脚に付けた黒球の画像４ｉ、黒球を保持する帯状の保持部材の画像４ａｉ、窓枠の画像１０５ｉ、窓の外の風景の画像１０６ｉ、額の画像１０７ｉ、ごみ箱の画像１０８ｉが存在している。
【００４２】
この画像の中からＲＡＭ１３に登録したＧ（１）〜Ｇ（４）の画像とのマッチングによって、特定画像を抽出する（ステップＳＥ１６）。すなわち、２本のスティック１、２の先端部の画像１ａｉ、２ａｉ、２つの黒球の画像３ｉ、４ｉを抽出する。さらに、抽出した画像以外の余分な画像を消去する（ステップＳＥ１７）。そして、フラッシュメモリ１８において変数ｋで指定されるエリアｆ（ｋ）に画像データをストアする（ステップＳＥ１９）。図１９は、フラッシュメモリ１８のエリアｆ（ｋ）にストアした特定画像を表す図である。図１８における画像１ａｉと画像２ａｉとは同じ形状であり、画像３ｉと画像４ｉとは同じ形状であるが、画面の位置関係から各画像をある程度は推測することは可能である。しかし、その推測が決定的であるという保証はない。例えば、画面の中央付近にスティックの先端部の画像が１つだけある場合には、その画像が画像１ａｉであるか又は画像２ａｉであるかは保証できない。したがって、図１９に示すように、抽出した画像に記号ｇ１〜ｇ４を付与して識別する。
【００４３】
図１６のステップＳＥ１８において、フラッシュメモリ１８のエリアｆ（ｋ）に画像データをストアした後は、ｋの値をインクリメントする（ステップＳＥ１９）。ｋの初期値は、図１５のステップＳＤ１９において「１」にセットされているので、最初はエリアｆ（１）に最初の１フレームの画像データをストアする。したがって、ステップＳＥ１９においてｋの値は「２」となる。ｆ（ｋ）のエリアは、ｆ（１）からｆ（ｋｍ）までのｋｍ個のフレームが用意されている。すなわち、図１７に示した楕円関数の数と同数のエリアが用意されている。ｋｍの数はドラムの種類ｎと演奏する身体の部位ｍによって決定されるが、演奏者の設定も可能である。ただし、この実施形態では、説明を簡便にするために、ｋｍの値はすべて「１０」とする。
【００４４】
最後のエリアｆ（ｋｍ）に１フレームの画像データをストアした後は、再びエリアｆ（１）に次の１フレームの画像データをストアするので、ステップＳＥ１９においてｋの値をインクリメントした後は、ｋの値がｋｍの値より大きいか否かを判別する（ステップＳＥ２０）。ｋの値がｋｍの値より大きい場合には、ｋの値を「１」にセットする（ステップＳＥ２１）。ｋの値がｋｍの値以下である場合、又は、ｋの値を「１」にセットした後は、画像分析処理を実行する（ステップＳＥ２２）。そして、図１４のフローチャートに戻る。
【００４５】
図２０および図２１は、画像分析処理のフローチャートである。図２０において、フラグＡＦが「１」であるか否かを判別し（ステップＳＦ１）、ＡＦが「０」である場合には、１フレームの画像データをストアした現在のエリアｆ（ｋ）の１つ前のエリアに画像データがストアされているか否かを判別する（ステップＳＦ２ａ）。そのエリアに画像データがストアされている場合には、ＡＦを「１」にセットする（ステップＳＦ２ｂ）。そして、図１６のフローチャートに戻る。そのエリアに画像データがストアされている場合には、画像データが１フレームしか記憶されていないため、後述するオプティカルフロー処理ができないので、直ちに図１６のフローチャートに戻る。
【００４６】
ステップＳＦ１においてＡＦが「１」である場合には、変数ｊにｋの値をセットし（ステップＳＦ３）、ｊの値をデクリメントする（ステップＳＦ４）。このデクリメントによってｊの値が「０」になったか否かを判別し（ステップＳＦ５）、「０」になったときは、ｊの値をｋｍにセットする（ステップＳＦ６）。すなわち、ｋの値は図１６のステップＳＥ１９ないしステップＳＥ２１において管理されており、ｋの値を変更することができないので、変数ｋで指定されている現在のエリアｆ（ｋ）の１つ前のエリアを別の変数ｊを用いて指定する。そして、指定したエリアｆ（ｊ）の画像データを読み出す（ステップＳＦ７）。
【００４７】
次に、図１９に示した特定画像を検出して、その検出数をレジスタｐｍにストアする（ステップＳＦ８）。図１９の例では、特定画像はｇ１〜ｇ４の４個であるので、ｐｍにストアする値は「４」である。次に、エリアｆ（ｋ）の画像データを読み出して（ステップＳＦ９）、ｆ（ｊ）とｆ（ｋ）の特定画像の座標を検出する（ステップＳＦ１０）。そして、ｆ（ｊ）の画像データとｆ（ｋ）の画像データとのオプティカルフローを推定する（ステップＳＦ１１）。すなわち、ｆ（ｊ）の画像データにおける特定画像とｆ（ｋ）の画像データにおける特定画像との間において、それぞれの動きベクトルを推定する。なお、ドラム演奏の際には、演奏者の身体が多少なりとも動くので、カメラ付き携帯電話装置５で撮像した画像も全体的に揺れるおそれがある。このため、オプティカルフロー処理において、動きのない被写体の画像、すなわち、図１８における窓枠の画像１０５ｉ、窓の外の風景の画像１０６ｉ、額の画像１０７ｉ、ごみ箱の画像１０８ｉに基づいて、画像の揺れ分を補正する。
通常、オプティカルフローの推定は、あらかじめ予想がつかない形状の物体の画像に対して行われるが、この場合には、形状が確定されている画像で最大４個の特定画像に対して行うので、極めて正確なオプティカルフローの推定を高速で行うことが可能である。
【００４８】
オプティカルフローの推定を行った後は、特定画像ｇｐを指定する変数ｐを「１」にセットして（ステップＳＦ１２）、その指定した特定画像ｇｐは移動したか否かを判別する（ステップＳＦ１３）。ｇｐが移動した場合には、その動きベクトルをレジスタｖｐにストアする（ステップＳＦ１４）。すなわち、ベクトル方向とベクトルの変化量とをストアする。図２２は、図１９のフレーム画像の次のフレーム画像を示す図である。特定画像ｇ１〜ｇ３は移動しているので、その動きベクトルｖ１〜ｖ３をストアする。動きベクトルをストアした後、又は、指定した特定画像ｇｐが移動していない場合には、ｐの値をインクリメントして次の特定画像を指定する（ステップＳＦ１５）。このインクリメントによってｐの値が最大値ｐｍを超えたか否かを判別し（ステップＳＦ１６）、ｐｍを超えていない場合には、ステップＳＦ１３に移行して、ｇｐの移動を判別する。
【００４９】
ステップＳＦ１６において、ｐの値がｐｍの値を超えたときは、図２１において、特定画像ｇｐを指定する変数ｐを「１」にセットして（ステップＳＦ１７）、ｇｐのフレーム数をレジスタＭにストアする（ステップＳＦ１８）。次に、Ｍのフレーム数がｋｍに達したか否かを判別する（ステップＳＦ１９）。図１９の例ではすべての特定画像であるｇ１〜ｇ４が画像データに存在しているが、実際には、演奏者のドラム演奏によっては、存在する特定画像も変化することがあるので、ｐで指定した画像ｇｐが存在しないフレームもあり得る。したがって、任意の画像ｇｐの動線を確定するためには、ｋｍ個（この実施形態では１０個）のフレーム画像が必要である。
【００５０】
ステップＳＦ１９において、Ｍのフレーム数がｋｍに達したときは、ｇｐの動線をＲＡＭ１３のエリアＣＣ（ｇｐ）にストアする（ステップＳＦ２０）。すなわち、ｋｍ個のフレームにおけるｇｐの座標をＣＣ（ｇｐ）にストアする。そして、変数ｍおよび変数ｎをともに「１」にセットして（ステップＳＦ２１）、ｍおよびｎの値をインクリメントしながら、以下のループを繰り返す。すなわち、ｇｐの動線が図１６のステップＳＥ１３においてＲＡＭ１３に登録した動線Ｃ（ｍ，ｎ）のどれかと一致するか否かを判別する（ステップＳＦ２２）。ｇｐの動線と動線Ｃ（ｍ，ｎ）とが一致するか否かは、各フレームｆ（ｋ）において、ｇｐの座標が図１７に示した楕円関数Ｅｋ（ｘ，ｙ）の内部に存在するか否かによって判別する。動線が一致しない場合にはｎの値をインクリメントする（ステップＳＦ２３）。このインクリメントによってｎの値が最大値を超えたか否かを判別し（ステップＳＦ２４）、超えていない場合には、ステップＳＦ２２に移行してループを繰り返す。ｎの値が最大値を超えたときは、ｍの値をインクリメントする（ステップＳＦ２５）。このインクリメントによってｍの値が最大値「４」を超えたか否かを判別し（ステップＳＦ２６）、超えていない場合には、ステップＳＦ２２に移行してループを繰り返す。
【００５１】
ステップＳＦ２２において、ｇｐの動線が登録した動線Ｃ（ｍ，ｎ）と一致した場合には、Ｄ（ｎ）に応じた音色でｖｐのベクトル変化量に応じた振幅のリズム音信号を音源部１９によって発生して、ヘッドホン７に送信してで発音する（ステップＳＦ２７）。次に、フラグＲＦが「１」であるか否かを判別し（ステップＳＦ２８）、ＲＦが「１」である場合には、発生した楽音信号をフラッシュメモリ１８に録音する（ステップＳＦ２９）。ＲＦが「０」である場合、又は、ステップＳＦ２６においてｍの値が最大値「４」を超えた場合、若しくは、ステップＳＦ１９においてＭのフレーム数がｋｍに満たない場合には、ｐの値をインクリメントする（ステップＳＦ３０）。このインクリメントによってｐの値が最大値ｐｍを超えたか否かを判別し（ステップＳＦ３１）、ｐの値が最大値ｐｍ以下である場合には、ステップＳＦ１８に移行してループを繰り返す。ｐの値が最大値ｐｍを超えたときは、図１６のフローチャートに戻る。
【００５２】
図２３は、図１に示した右手１０１に保持されたスティック１の先端部１ａの画像１ａｉ、左手１０２に保持されたスティック２の先端部２ａの画像２ａｉ、右脚１０３および左脚１０４に取り付けた黒球３および黒球４の画像３ｉおよび４ｉ、すなわち特定画像について、エリアｆ（１）からｆ（１０）までの１０フレームにおける各画像の位置ｆ１〜ｆ１０の動線を示した図である。画像１ａｉはトップシンバルＤ（５）を演奏する動線を示し、画像２ａｉはスネアＤ（６）を演奏する動線を示し、画像３ｉは、変位量が小さいので途中を省略しているが、バスＤ（１）の仮想ペダルを踏む動線を示し、画像４ｉは静止状態を示している。したがって、ＣＰＵ１１は、トップシンバルの音色、スネアの音色、バスの音色で、音源部１９に対してリズム音信号を発生する指示を与える。
ただし、認識した動線に応じて特定画像の位置が仮想楽器に達する前に、音源部１９に対して対応する仮想楽器の音色のリズム音信号を発生する指示を与える。すなわち、図２３において、例えばｆ９の画像を検出したときに、対応する仮想楽器の音色のリズム音信号を発生する指示を与えて、演奏者が仮想楽器を叩くタイミングに遅れることなく発音を行う。どの程度の時間早めるかは実験して測定する。
【００５３】
以上のように、この第１実施形態の電子楽器装置によれば、複数種類の仮想の打楽器を演奏するために、カメラ付き携帯電話装置５によって撮像された画像の中からあらかじめ設定されている複数種類の特定画像ｇｐ（１≦ｐ≦４）を抽出し、抽出した特定画像の動きベクトルを分析して、当該特定画像に対してあらかじめ設定されている仮想楽器を判定し、判定した仮想楽器の音色のリズム音信号を発生する。
したがって、実際のドラムと同じような感覚で演奏することができるとともに、狭い場所でも演奏することができる。さらに、脚を使わず両手だけの擬似演奏も可能であるので、図１に示すような椅子がない状態でも、立ったままで仮想のドラム演奏をすることができる。この場合には、図１１の設定画面において両足をオフに設定すればよい。
【００５４】
上記第１実施形態の電子楽器装置によれば、ＣＰＵ１１は、抽出した特定画像の動画を構成する時系列のフレーム画像のオプティカルフロー推定処理によって、当該特定画像の動きベクトルを分析するので、動画の中に含まれる特定画像を高速かつ高い精度で検出することができる。
さらに、ＣＰＵ１１は、抽出した特定画像の動きベクトルを分析することによって、当該特定画像の動線を認識し、認識した動線に応じて仮想楽器を判定するので、仮想のドラム演奏を確実に把握して、各仮想楽器の音色で発音を行うことができる。
さらにまた、認識した動線に応じて特定画像の位置が仮想楽器に達する前に、前記信号発生手段に対して当該仮想楽器の音色のリズム音信号を発生する指示を与えることにより、演奏者が仮想楽器を叩くタイミングに対して発音が遅れることがない。
さらにまた、ＣＰＵ１１は、分析した動きベクトルの変化量に応じた振幅のリズム音信号を発生するように音源部１９に指示するので、より一層、実際のドラムと同じような感覚で演奏することができる。
【００５５】
さらにまた、上記第１実施形態の電子楽器装置によれば、ＣＰＵ１１は、指定された曲のメロディ音信号とともに、発生したリズム音信号をヘッドホンに出力するので、より一層、実際のドラムと同じような感覚で演奏することができる。特に最近では、携帯電話装置に１００曲以上ものメロディを記録可能であり、中には５００曲ものメロディを記録できるものもある。さらに、曲を構成するメロディパート、コード（和音）パート、およびリズムパートから１つのパートを除いたいわゆるマイナスワンの曲データをインターネットからダウンロードできるので、リズムパートを除いたマイナスワンの曲データをインターネットからダウンロードしてフラッシュメモリ１８に記憶し、メロディパートおよび和音パートを再生しながら、仮想楽器によるドラム演奏ができるので、ジャムセッションのようなバンド演奏の臨場感が得られる。
【００５６】
上記第１実施形態の電子楽器装置においては、演奏者の手に保持されたスティックの先端部の画像を特定画像として抽出する構成にしたが、他の画像を抽出するような構成も可能である。
図２４は、第２実施形態における電子楽器装置を演奏者が使用する状態を示す図である。この場合には、スティック１、２の先端部１ａ、２ａの代わりに、右手１０１および左手１０２の手首に取り付けた黒球１１１、１１２の画像を抽出する。あるいは、右手１０１および左手１０２の腕に取り付けた黒球１１３、１１４の画像を抽出する。使用する黒球１１１、１１２又は黒球１１３、１１４は、両脚に取り付けた黒球３、４と同じ形状になっている。したがって、ＣＰＵ１１による画像検出およびその抽出がさらに容易になる。なお、両脚に取り付けた黒球３、４は仮想のペダル操作による動き量が小さいので、膝よりも動きの大きい右足のつま先および左足のつま先に、それぞれ黒球３、４を取り付けてもよい。
【００５７】
以上のように、第２実施形態の電子楽器装置によれば、ＣＰＵ１１は、複数種類の仮想の打楽器を演奏するために、手首若しくは腕に取り付けられた物体、および演奏者の膝又は大腿部に取り付けられた物体の撮像された画像を特定画像として抽出するので、たとえスティックを持たなくても仮想のドラム演奏を行うことができる。
あるいは、第１実施形態の変形例として、ＣＰＵ１１は、演奏者の手に保持されたのスティックの撮像された画像を特定画像として抽出するようにしてもよい。この場合には、スティックの微妙な角度なども検出できるので、極めて高度なドラム演奏を擬似した電子楽器装置を実現できる。なお、この場合においても、スティックを回りの環境にない色で着色することが望ましい。
【００５８】
また、上記第１実施形態の電子楽器装置においては、カメラ付き携帯電話装置５とヘッドホン７とを信号線で接続する構成にしたが、赤外線やブルートゥースなどの無線信号によって、音源部１９で発生した楽音信号をヘッドホン７や他のサウンドシステムに送信する構成も可能である。特に最近では、携帯電話装置を用いて無線信号による取引が実用化されているので、近い将来においては、カメラ付き携帯電話装置５に特別な仕様変更を行うことなく、無線信号による楽音信号の送信が可能となる。
無線信号によって音源部１９で発生した楽音信号をサウンドシステムに送信する構成にした場合には、例えば、野外におけるイベントとして、スティックを持たず手の動作だけで行う仮想のドラム演奏の音楽を楽しむことも可能である。
【００５９】
また、上記第１実施形態の電子楽器装置においては、カメラ付き携帯電話装置５によって特定画像を撮像する構成にしたが、専用のディジタルカメラを備えた撮像手段によって特定画像を撮像する構成も可能である。専用の撮像手段の場合には、演奏者の腰だけでなく、胸に取り付けるような構成も可能であるし、ヘッドホンと一体化した構成も可能である。さらに、このような専用の撮像手段を用いた場合には、携帯電話装置の機能に制約されることがないので、プロの演奏者にも有効な電子楽器装置を実現できる。
【００６０】
なお、上記各実施形態においては、電子楽器装置の発明すなわち物の発明について説明したが、仮想楽器の演奏方法の発明としても実現可能である。
すなわち、本発明による仮想楽器の演奏方法は、複数種類の仮想の打楽器を演奏するために、所定の撮像手段によって撮像された画像の中からあらかじめ設定されている１種類又は複数種類の特定画像を抽出し、抽出した特定画像の動きベクトルを分析して、当該特定画像に対してあらかじめ設定されている仮想楽器を判定し、判定した仮想楽器の音色のリズム音信号を発生する。
【００６１】
本発明による電子楽器装置および仮想楽器の演奏方法の実施を安価に提供するためには、構成の要であるカメラ付き携帯電話装置を安価に実現することが必要である。そして、カメラ付き携帯電話装置を安価に実現するためには、第１には、使用する部品のコストダウンを図ることが必要であり、第２には、豊富な機能を具備することで販路を拡大して、量産化を図ることが必要である。図３の構成において、ＣＰＵ１１、ＲＯＭ１２、ＲＡＭ１３、フラッシュメモリ１８などの半導体部品、ＬＣＤなどからなる表示部１６、無線送受信部１４については、開発の歴史も古く、コストダウンや機能の充実のために世界中で熾烈な競争が行われているので、さらなるコストダウンや機能の充実を図ることは極めて困難である。しかし、カメラ部１７については、携帯電話装置に使用されるようになってからの歴史も浅い上、機能の充実化が強く要求されているため、さらなるコストダウンや機能の充実の可能性がある。
【００６２】
すなわち、本発明による電子楽器装置および仮想楽器の演奏方法の実施を安価に提供するためには、このカメラ部１７のコストダウンおよび機能の充実を図ることが望ましい。ところが、最近のカメラ付き携帯電話装置においては、機能の充実を図るために、外部を撮影するアウト（外側）カメラと、自分の顔などを撮影するイン（内側）カメラ用として、２種類の撮像素子とレンズなどの光学系の部品を備えたものが普及してきた。すなわち、外部を撮影するための焦点距離の長いレンズと、自分撮り用の焦点距離の短い広い視野角のレンズとを備え、それぞれのレンズに応じた撮像素子が使用されている。このため、カメラ部が高価になってきている。
【００６３】
そこで、安価な電子楽器装置および仮想楽器の演奏方法の実施のために、新たなカメラ付き携帯電話装置の発明について、第１実施形態ないし第３実施形態を例に採って説明する。
図２５は、第１実施形態におけるカメラ付き携帯電話装置の外観図および断面の一部を示す図である。図２５（Ａ）において、下部本体５１（第１の本体）と上部本体５２（第２の本体）はヒンジ部５３（結合手段）によって回動可能に結合されている。上部本体５２の上面には、ＬＣＤ（液晶表示デバイス）の表示部５４が設けられているとともに、広い視野角のレンズ５５（第１のレンズ）、すなわち焦点距離の短い光学特性のレンズ５５が取り付けられている。レンズ５５のさらに奥にはＣＣＤ又はＣＭＯＳなどからなる撮像素子５６が配置され、レンズ５５の光軸ａｘ１を中心とした光画像が撮像素子５６に結像される。撮像素子５６は、この光画像を電気信号に変換して撮像信号として出力する。下部本体５１には、ヒンジ部５３からさらに突き出た構造の突起部５７が形成されている。さらに、突起部５７のほぼ中央には、レンズ５８（第２のレンズ）がはめ込まれている。
したがって、図２５（Ａ）の状態においては、広い視野角のレンズ５５によって、ユーザが自分の顔を撮像することができるとともに、図１に示したように、仮想のドラム演奏用として使用することができる。なお、図には示していないが、突起部５７のレンズ５８の周りには、金属製のワイヤが螺旋状に埋め込まれており、ヘリカルアンテナを構成している。
【００６４】
図２５（Ａ）は、下部本体５１のスイッチ部（図示せず）を有する面と、上部本体５２表示部（図示せず）を有する面とが対面した閉状態になっている。この状態から、矢印で示す方向に上部本体５２を開いて、図２５（Ｂ）に示す状態に回動すると、レンズ５８とレンズ５５とが重なり合う状態になる。この結果、レンズ５８の光軸ａｘ２を中心とした光画像がレンズ５５を通過して撮像素子５６に結像される。したがって、本発明による仮想のドラム演奏を行う電子楽器装置に使用できるとともに、レンズ５８の光学特性によって、レンズ５５の焦点距離の短い光学特性を補正するようにすることで、通常のカメラ付き携帯電話装置と同様の撮影が可能になる。この場合には、上部本体５２の図示しない表示部に撮像素子５６で撮像された外部の画像がモニター表示される。
なお、下部本体５２の側面に設けられたスイッチ５１ａは、通常の撮影においてはシャッタスイッチとして機能し、仮想のドラム演奏においてはスタート／ストップスイッチとして機能する。
このように、第１実施形態におけるカメラ付き携帯電話装置は、共通の撮像素子５６を用いて、焦点距離の異なるレンズから近い被写体も遠い被写体も撮像することにより、コストダウンおよび機能の充実を図ることができるので、安価な電子楽器装置および仮想楽器の演奏方法の実施に使用することが可能になる。
【００６５】
図２６および図２７は、第２実施形態におけるカメラ付き携帯電話装置の外観図および断面の一部を示す図である。なお、図２５に示した構成と同じものや同じ機能を持つものは同一の符号で表し、重複する説明は省略する。
図２６（Ａ）に示すように、この第２実施形態のカメラ付き携帯電話装置では、広い視野角のレンズ５５が上部本体５２に設けられ、レンズ５８が下部本体５１に設けられている。さらに、この第２実施形態のカメラ付き携帯電話装置では、図２６（Ａ）に示す閉状態から上部本体５２を開いて、図２６（Ｂ）に示す位置まで回動すると、ヒンジ部５３の中央部５３ａが回転軸Ｃの周りに矢印に示すように回転できる構造になっている。すなわち、図２６（Ｂ）に示すように、上部本体５２の表示部５９が反対側になるように回転して、さらに、図２７に示すように、再び閉状態にすることができる。
【００６６】
図２７に示すように、レンズ５８の光軸ａｘ２を中心とした光画像がレンズ５５を通過して撮像素子５６に結像される。したがって、第１実施形態におけるカメラ付き携帯電話装置と同様に、図２５（Ａ）の状態においては、広い視野角のレンズ５５によって、ユーザが自分の顔を撮像することができるとともに、図１に示したように、仮想のドラム演奏用として使用することができる。さらに、レンズ５８の光学特性によって、レンズ５５の焦点距離の短い光学特性を補正するようにすることで、遠方の被写体を撮影することができる。この場合には、上部本体５２の表示部５９に撮像素子５６で撮像された画像がモニター表示される。
【００６７】
このように、第２実施形態におけるカメラ付き携帯電話装置は、共通の撮像素子５６を用いて、焦点距離の異なるレンズから近い被写体も遠い被写体も撮像することにより、コストダウンおよび機能の充実を図ることができるので、安価な電子楽器装置および仮想楽器の演奏方法の実施に使用することが可能になる。
【００６８】
図２８および図２９は、第３実施形態におけるカメラ付き携帯電話装置の外観図および断面の一部を示す図である。図２８（Ａ）に示す外観図およびその側面の一部の断面を表している図２８（Ｂ）において、下部本体２０１（第１の本体）と上部本体２０２（第２の本体）とはヒンジ部２０３（結合手段）によって回動可能に結合されている。また、図２８（Ａ）、（Ｂ）の状態では、下部本体２０１のスイッチ部を有する面２０１ａと、上部本体２０１の表示部を有する面２０２ａとが対面する閉状態になっている。この点は上記第１実施形態および第２実施形態と同様である。
【００６９】
ただし、この第３実施形態においては、図２８（Ｂ）に示すように、撮像素子２０４は下部本体２０１に設けられている。この撮像素子２０４の上にはレンズ２０５（第２のレンズ）が配置され、このレンズ２０５と一体に成形されたプリズム２０６（光反射部材）からなる光学手段が設けられている。そして、この一体成形の光学手段であるレンズ２０５およびプリズム２０６をスライド可能な空間２０７が下部本体２０１に形成されている。また、下部本体２０１の側面からは、外部に向かってほぼ垂直に突き出た円筒形状の突起部２０８が形成され、その内部に形成された円筒形状の空間には、レンズ２０９（第３のレンズ）が配置されている。一方、上部本体２０２には、撮像素子２０４に対応する位置に広い視野角のレンズ２１０（第１のレンズ）が配置されている。
図２８（Ａ）、（Ｂ）に示す閉状態においては、レンズ２１０の光軸ａｘ１を中心とした光画像がレンズ２０５を通過して撮像素子２０４に結像される。したがって、２つのレンズによる複合レンズの特性を生かすことで、レンズ２１０だけの場合よりも様々な収差を小さくできる。
【００７０】
次に、図２８（Ａ）、（Ｂ）に示す閉状態から上部本体２０２を開いて、図２８（Ｃ）に示す開状態にすると、レンズ２０５の光軸ａｘ１を中心とした光画像が撮像素子２０４に結像される。この場合には、上部本体２０２の表示部に撮像素子２０４で撮像された画像がモニター表示される。したがって、ユーザは、表示部の画像をファインダとして見ながら、自分の顔や姿を撮影してメモリに保存したり、リアルタイムで他のカメラ付き携帯電話装置に送信することができる。
【００７１】
下部本体２０１の側面からは、図２８（Ａ）に示すように、スライドレバー２１２（操作手段）が突き出ているが、これは一体成形された光学手段であるレンズ２０５およびプリズム２０６をスライドさせるためのものである。すなわち、図２８（Ｃ）の状態からスライドレバー２１２をヒンジ部２０３と反対側にスライドすると、一体成形されたレンズ２０５およびプリズム２０６が空間２０７内をスライドして、図２８（Ｄ）に示すように、プリズム２０６が撮像素子２０４に対応する位置になる。この場合には、突起部２０８内に配置したレンズ２０９の光軸ａｘ２を中心とした光画像がプリズム２０６で直角に反射して撮像素子２０４に結像される。したがって、レンズ２０９を焦点距離の長い望遠型のレンズで構成することにより、従来のカメラ付き携帯電話装置に比較して、より遠方の風景や人物を撮影することができる。
【００７２】
図２８（Ａ）において、突起部２０８の内部には、金属製のワイヤ２１１が円筒形状に沿って螺旋状に埋め込まれて成形されている。また、突起部２０８が形成されている側面の他方の端には、伸縮可能なロッドアンテナ２１４が設けられている。ワイヤ２１１は、ロッドアンテナ２１４と協働して、ダイバシティアンテナとしてのヘリカルアンテナの機能を果たすとともに、突起部２０８を機械的に補強している。したがって、突起部２０８に加わるベンディングモーメント（曲げ力）に対して強い構造になっている。このため、突起部２０８に付加レンズ装置を装着することが可能である。
【００７３】
図２９は、この突起部２０８にズーム機能を持つ付加レンズ装置３０１を装着した例を示す図である。図２９（Ａ）、（Ｂ）において、付加レンズ装置３０１は、突起部２０８側の部分３０２と外部側の部分３０３とが、ネジ３０５によって回転可能に結合された構造になっている。そして、外部側の部分３０３の内部には、カメラ付き携帯電話装置のレンズ２０９と同一の光軸ａｘ２を持つレンズ３０４が配置されている。したがって、図２９（Ｂ）に示すように、付加レンズ装置３０１のレンズ３０３および突起部２０８内に配置したレンズ２０９の光軸ａｘ２を中心とした光画像が、プリズム２０６で直角に反射して撮像素子２０４に結像される。さらに、レンズ３０４を含む部分３０３を回転操作すると、図２９（Ｃ）に示すように、その部分３０３が前方に移動してズーム機能を果たすことになる。
【００７４】
このように、第３実施形態におけるカメラ付き携帯電話装置によれば、共通の撮像素子２０４を用いて、焦点距離の異なるレンズから近い被写体も遠い被写体も撮像することにより、コストダウンおよび機能の充実を図ることができるので、安価な電子楽器装置および仮想楽器の演奏方法の実施が可能になる。さらに、付加レンズ装置３０１を装着することによって、ディジタルカメラやビデオカメラと匹敵するような、極めて遠方の風景や人物を撮影することができるので、この優れた機能の充実によってユーザの要求を満たすことで販路の拡大が期待でき、一層の量産化によってコストダウンを図ることができる。
【００７５】
この場合において、図２８（Ａ）に示したように、上部本体２０２の上面には、表示部２１３が設けられているので、カメラ付き携帯電話装置の内部に、撮像素子２０４から出力される撮像信号による画像の輪郭を検出するエッジ検出回路を設けることにより、付加レンズ装置３０１のズーム機能によるピントの状態を表示部２１３に表示することができ、特定のマーク画像などによってピントが合ったことをユーザに通知できる。
【００７６】
図３０は、第３実施形態の変形例におけるカメラ付き携帯電話装置の光学系の部材を示している。他の構成については、第３実施形態と同じであるので、図面および説明を省略する。
図３０（Ａ）は、一体成形された光学手段４００の外観図であり、図３０（Ｂ）および図３０（Ｃ）は、それぞれ図３０（Ａ）におけるＸ−Ｘ線に沿って、図の左側の部分４００ａおよび右側の部分４００ｂを見た場合の断面図である。また、図３０（Ｄ）は、図３０（Ｂ）および図３０（Ｃ）におけるＹ−Ｙ線に沿った断面図、すなわち、図３０（Ａ）における縦割の断面図である。図３０（Ｄ）に示すように、この光学手段４００は、レンズ４０１（第３のレンズ）、レンズ４０２（第２のレンズ）、およびプリズム４０３（光反射部材）が高い透明度の樹脂又はガラスで一体成形されている。なお、仮想のドラム演奏を行う電子楽器装置のためのレンズ（第１のレンズ）は、第３実施形態の構成と同じであるので、図面および説明は省略する。
【００７７】
図３１は、図３０の光学手段４００をカメラ付き携帯電話装置の収容手段４０５にスライド可能な状態で組み込んだ図である。この図において、図２８および図２９に示した撮像素子２０４と同じものが、カメラ付き携帯電話装置内に配置されている。図３１（Ａ）の状態においては、撮像素子２０４に対応する位置にはレンズ４０２がある。また、レンズ４０１を形成している部分４００ｂがカメラ付き携帯電話装置から外部に突き出た状態になっている。したがって、レンズ４０２の光軸ａｘ１を中心とした光画像が撮像素子２０４に結像される。次に、部分４００ｂを外部に向けて引き出した場合には、図３１（Ｂ）に示すように、撮像素子２０４に対応する位置にはプリズム４０３がある。したがって、レンズ４０１の光軸ａｘ２を中心とした光画像が、プリズム４０３で直角に反射して撮像素子２０４に結像される。
【００７８】
このように、第３実施形態の変形例におけるカメラ付き携帯電話装置によれば、共通の撮像素子２０４を用いて、焦点距離の異なるレンズから近い被写体も遠い被写体も撮像することにより、コストダウンおよび機能の充実を図ることができるので、安価な電子楽器装置および仮想楽器の演奏方法の実施が可能になる。さらに、焦点距離の異なる２つのレンズ４０１、４０２、およびプリズム４０３を高い透明度の樹脂又はガラスで一体成形しているので、極めて簡単な構造であるとともに、光軸の誤差を極めて小さくすることができる。
なお、この変形例においても、レンズ４０１を形成している部分４００ｂの外側を金属又は硬質の樹脂でカバーすれば、付加レンズ装置を装着できるので、ディジタルカメラやビデオカメラと匹敵するような、極めて遠方の風景や人物を撮影することができる。
【００７９】
以上のように、上記第１実施形態ないし第３実施形態および変形例におけるカメラ付き携帯電話装置は、共通の撮像素子を用いて、焦点距離の異なるレンズから近い被写体も遠い被写体も撮像することにより、コストダウンおよび機能の充実を図ることができるので、安価な電子楽器装置および仮想楽器の演奏方法の実施に使用することが可能になる。
【００８０】
特に、第３実施形態におけるカメラ付き携帯電話装置は、上部本体２０２の所定の位置に設けられた広い視野角のレンズ２１０と、下部本体２０１に設けられた空間に収容され、レンズ２０５およびプリズム２０６が一体化された光学手段と、下部本体２０１のアンテナが形成される側面から外部に向かってほぼ垂直に突き出た円筒形状で、下部本体２０１設けられた空間に連通する空間を内部に有する突起部２０８と、この突起部２０８の空間の所定位置に設けられたレンズ２０９と、一体成形の光学手段であるレンズ２０５およびプリズム２０６を操作に応じて突起部２０８側の位置又は下部本体２０１側の位置に移動させるスライドレバー２１２と、下部本体２０１と上部本体２０２とが閉状態で、且つ、レンズ２０５およびプリズム２０６が突起部２０８側の位置にある場合には、レンズ２１０およびレンズ２０５によって結像される光画像を電気信号に変換して撮像信号として出力し、下部本体２０１と上部本体２０２とが開状態で、且つ、レンズ２０５およびプリズム２０６が突起部２０８側の位置にある場合には、レンズ２０５によって結像される光画像を電気信号に変換して撮像信号として出力し、レンズ２０５およびプリズム２０６が下部本体２０１側の位置にある場合には、レンズ２０９から入射してプリズム２０６によって反射して結像された光画像を電気信号に変換して撮像信号として出力する撮像素子２０４と、を備えた構成になっているので、焦点距離の異なるレンズから近い被写体も遠い被写体も共通の撮像素子２０４で撮像することにより、カメラ付き携帯電話装置のコストダウンおよび機能の充実を図ることができる。
【００８１】
また、第３実施形態の変形例におけるカメラ付き携帯電話装置は、上部本体２０２の所定の位置に設けられた広い視野角のレンズ２１０と、下部本体２０１においてスイッチ部を有する面に対してほぼ垂直方向の光軸を持つのレンズ４０２、下部本体２０１のアンテナが形成される側面から外部に向かってほぼ垂直に突き出た部分に形成されて当該側面に対してほぼ垂直方向の光軸を持つレンズ４０１、レンズ４０１から入射する光をほぼ直角に反射するプリズム４０３とが一体化された光学手段４００と、下部本体２０１において、操作に応じて光学手段４００を下部本体２０１側の位置又は外部側の位置に、レンズ４０１の光軸方向にスライド可能に収容する収容手段４０５と、下部本体２０１と上部本体２０２とが閉状態で、且つ、光学手段４００が下部本体２０１側の位置にある場合には、レンズ２１０およびレンズ４０２によって結像される光画像を電気信号に変換して撮像信号として出力し、下部本体２０１と上部本体２０２とが開状態で、且つ、光学手段４００が下部本体２０１側の位置にある場合には、レンズ４０２によって結像される光画像を電気信号に変換して撮像信号として出力し、光学手段４００が外部側の位置にある場合には、レンズ４０１から入射してプリズム４０３によって反射して結像された光画像を電気信号に変換して撮像信号として出力する撮像素子２０４と、を備えた構成になっているので、焦点距離の異なるレンズから近い被写体も遠い被写体も共通の撮像素子２０４で撮像することにより、カメラ付き携帯電話装置のコストダウンおよび機能の充実を図ることができる。
【００８２】
この第３実施形態の他の変形例として、光学手段４００のレンズ４０１を広角レンズ又は魚眼レンズのように至近距離を撮れるようなレンズで構成してもよい。そして、このカメラ付き携帯電話装置５をヘッドホン７に取り付けるようにする。図３２は、ヘッドホン７にカメラ付き携帯電話装置５を取り付けた状態を示す図である。この図において、ヘッドホン７には、キャリアケース７ｂが取り付けられ、カメラ付き携帯電話装置５が光学手段４００およびスイッチ２１５を露出した状態で収容されている。この場合においては、カメラ付き携帯電話装置５からヘッドホン７への信号の送信は、赤外線による無線通信によって行う。この場合には、カメラ付き携帯電話装置５のカメラアングルが高くなるので、スティックの画像よりも手首や腕に付けた球形の物のほうが検出を容易にできる。さらに、手若しくは腕および脚に付ける球形の物の色を身体の部位ごとに異なる色にしてもよい。この場合には、各部位の識別が容易になる。
したがって、この第３実施形態の他の変形例においても、第１実施形態の場合と同様の効果が得られる。
【００８３】
次に、本発明による電子楽器装置の他の実施形態について説明する。図３３は、他の実施形態における電子楽器装置を演奏者が使用する状態を示す図である。この図において、図１および図２４に示した第１実施形態および第２実施形態の構成と同じものは、同一の符号で表している。ヘッドホン７には、専用のカメラ部１２１が設けられている。そして、演奏者１００の右手１０１、左手１０２、右脚１０３、および左脚１０４には、それぞれ色彩が異なる球１２２、１２３、１２４、および１２５が取り付けられている。この場合において、このヘッドホン７は携帯電話装置と協働して電子楽器装置を構成する。
【００８４】
図３４は、この実施形態におけるヘッドホン７の構成を示すブロック図である。この図において、ＣＰＵ７１は、システムバスを介して、ＲＯＭ７２、ＲＡＭ７３、ブルートゥース（Bluetooth）通信部７４、カメラ部１２１、フラッシュメモリ７５、音声出力インタフェース７６に接続されている。ＣＰＵ７１は、第１実施形態における電子楽器装置が行っていた画像処理を担うことになる。このため、ＲＯＭ７２には画像処理のプログラムが記憶されており、ＣＰＵ７１がそのプログラムを実行するのであるが、上記したように、このヘッドホン７は仮想のドラム演奏を行うための専用の電子楽器装置であるので、実際には、ソフトウェアによる画像処理でなく、専用のＬＳＩによるハードウェアで高速の画像処理を行う。しかし、画像処理をソフトウェアで行うにせよ又は専用のハードウェアで行うにせよ、基本的な動作については同じであるので、第１実施形態における仮想のドラム演奏の説明に合わせて、画像処理をソフトウェアで行うものと見なして、図３４のような構成に基づいてこの実施形態を説明することにする。
【００８５】
ＲＡＭ７３、カメラ部１２１、フラッシュメモリ７５の機能については、第１実施形態の場合とほぼ同じである。ブルートゥース通信部７４は、携帯電話装置との間でブルートゥースの無線通信によってデータの送受信を行う。音声出力インタフェース７６は、携帯電話装置から送られてくる音声信号をディジタルからアナログのステレオ音声信号に変換してアンプ７７に出力する。アンプ７７は、例えば、カメラ部１２１と反対側の部分に設けられているボリューム７８の調整に応じた増幅率で、ステレオ音声信号を増幅して左右のスピーカ７９Ｌ、７９Ｒで発音する。
【００８６】
図３５は、図３４のＣＰＵ７１の動作を示すフローチャートである。携帯電話装置との間でブルートゥースによる通信処理を行って（ステップＳＧ１）、ドラム演奏のスタート指令を受信したか否かを判別する（ステップＳＧ２）。スタート指令を受信したときは、画像処理を実行する（ステップＳＧ３）。次に、電源電圧のチェックなどのその他の処理を行う（ステップＳＧ４）。画像処理などの実行中では、携帯電話装置からストップ指令を受信したか否かを判別し（ステップＳＧ５）、ストップ指令を受信しない場合には、ステップＳＧ１に移行して上記各処理を繰り返すが、ストップ指令を受信したときは、このフローチャートを終了する。
【００８７】
このように、ヘッドホン７によって画像処理を行うので、携帯電話装置のドラム処理では画像処理は行わず、音声処理、通信処理などを行う。なお、携帯電話装置におけるメインルーチン、ドラム設定処理の動作については、図５および図６に示した第１実施形態のメインルーチン、図８および図９に示した第１実施形態のドラム設定処理の動作と同じである。すなわち、この実施形態においても、ドラム演奏の設定は携帯電話装置側で行われる。図３５は、この実施形態における携帯電話装置のドラム処理のフローチャートである。図１４のフローチャートと比較すると、ステップＳＣ５においては画像処理の代わりに通信処理を行うようになっている。
【００８８】
この通信処理において、図１５に示した第１実施形態の音声処理のステップＳＤ７においては、ｍの部位でＤ（ｎ）を演奏する旨の音声メッセージは、携帯電話装置からブルートゥースの無線信号によってヘッドホン７に送信される。また、ステップＳＤ１０におけるＤＦ（ｍ，ｎ）＝０のデータはヘッドホン７から受信する。一方、ヘッドホン７においても、携帯電話装置から受信したｍの部位でＤ（ｎ）を演奏する旨の音声メッセージに応じて、図１６に示した画像処理のステップＳＥ８で動線を検出すると、その検出データを携帯電話装置に送信し、その検出データに応じて携帯電話装置から受信したＤ（ｎ）の音色のリズム音信号を音声出力インタフェース７６によってアンプ７７に出力して発音する。また、ステップＳＥ１４におけるＤＦ（ｍ，ｎ）を携帯電話装置に送信する。
したがって、この実施形態による電子楽器装置おいても、第１実施形態における電子楽器装置と同様の効果が得られる。
【００８９】
図１に示した第１実施形態においては、カメラ付き携帯電話装置５のヘッドホン端子からヘッドホン７に対して、信号線によってリズム音信号を出力する構成にしたが、第１実施形態の変形例としての電子楽器装置では、カメラ付き携帯電話装置にブルートゥース通信機能又は赤外線通信機能を持たせることにより、カメラ付き携帯電話装置からヘッドホン７に対して、無線信号によってリズム音信号を送信する構成も可能である。
【００９０】
図３７（Ａ）は、無線信号によってリズム音信号を送信する場合に、電子楽器装置を演奏者が使用する状態を示す第１実施形態の変形例の図である。図３７（Ａ）において、カメラ付き携帯電話装置５は、充電の際にＡＣアダプタ（図示せず）と接続される卓上ホルダ１１５に装着されており、ωの視野角のレンズ（図示せず）によって前方（図の右側）を撮像できる状態で、本箱や机などの家具１１６の上に配置されている。演奏者１００は、カメラ付き携帯電話装置５のカメラに向かって座り、右手および左手にスティック１および２を持つとともに、右足および左足にスリッパ１０８および１０９を履き、スティック１および２と両足で仮想のドラム演奏を行う。スティック１および２の先端部１ａおよび２ａは、第１実施形態と同様に特定の色（この場合は黒）に着色されている。一方、第１実施形態においては演奏者１００の脚部に取り付けられていた黒球３および４は、この実施形態ではスリッパ１０８および１０９の先端部に取り付けられている。
また、第１実施形態と同様に、演奏者の頭部にはヘッドホン７が装着されているが、この場合のヘッドホン７は、カメラ付き携帯電話装置５からの無線信号を受信するデータ受信機能を備えており、ヘッドホン７を頭部に固定する支持部材７ｂがアンテナの機能を兼用している。他の構成については第１実施形態と同じである。
図３７（Ａ）において、演奏者１００の後方には、収納棚１１７、この上に置かれた時計１１８、壁に掛けられた額１１９がある。すなわち、演奏者１００は、このような狭い部屋の中で仮想のドラム演奏を行っている。したがって、カメラ付き携帯電話装置５は、１メートルないし２メートル程度の距離で演奏者１００を撮像する状態になっている。
【００９１】
図３７（Ｂ）は、カメラ付き携帯電話装置５によって撮像された演奏者１００および後方の収納棚１１７などの画像を示す図である。なお、平成１６年７月の時点で市販されている大半のカメラ付き携帯電話装置によれば、被写体から１メートルないし２メートル程度の距離で撮像される画像をＬＣＤなどの表示部に表示した場合には、その画像が図３７（Ｂ）に示す状態になることは、発明者によって実証されている。
したがって、第１実施形態と同様に、図１８に示した画像の中から、図１９に示した特定画像を抽出するのと同じように、図３７（Ｂ）の画像から特定画像である１ａ、２ａ、３および４の画像を抽出することができる。
【００９２】
したがって、第１実施形態の場合と同様に、この変形例においても、実際のドラムと同じような感覚で演奏することができるとともに、狭い場所でも演奏することができる。なお、平成１６年７月の時点で、著名な某通信会社から市販されているカメラ付き携帯電話装置においては、例えば、３５機種の中で２６機種には既に赤外線通信機能が搭載されている。なおまた、ブルートゥース通信機能についても、パソコンなどのＩＴ分野において既に実用化されており、近い将来においてはカメラ付き携帯電話装置に搭載できることが予想され得る。さらに、ヘッドホン７に赤外線通信又はブルートゥース通信を利用したデータ通信機能を容易に付加できることは、改めて記述するまでもなく明らかである。
【００９３】
なお、上記各実施形態においては、電子楽器演奏装置および仮想楽器の演奏方法について説明したが、仮想楽器の演奏処理のプログラムをインターネットなどのネットワークを介してダウンロードしたり、仮想楽器の演奏処理のプログラムを記録した記録媒体をカメラ付き携帯電話装置に装着して、そのプログラムを実行させることも可能である。この場合には、プログラムの発明およびプログラムを記録した記録媒体の発明を実現する。
すなわち、その仮想楽器の演奏処理のプログラムは、複数種類の仮想の打楽器を演奏するために、所定の撮像手段によって撮像された画像の中からあらかじめ設定されている１種類又は複数種類の特定画像を抽出する第１のステップと、前記第１のステップによって抽出した特定画像の動きベクトルを分析して、当該特定画像に対してあらかじめ設定されている仮想楽器を判定する第２のステップと、
前記第２のステップによって判定した仮想楽器の音色のリズム音信号を発生する第３のステップと、を実行する。
また、その記録媒体は、複数種類の仮想の打楽器を演奏するために、所定の撮像手段によって撮像された画像の中からあらかじめ設定されている１種類又は複数種類の特定画像を抽出する第１のステップと、前記第１のステップによって抽出した特定画像の動きベクトルを分析して、当該特定画像に対してあらかじめ設定されている仮想楽器を判定する第２のステップと、前記第２のステップによって判定した仮想楽器の音色のリズム音信号を発生する第３のステップと、を実行する仮想楽器の演奏処理のプログラムを記録している。
【図面の簡単な説明】
【００９４】
【図１】第１実施形態における電子楽器装置を演奏者が使用する状態を示す図である。
【図２】図１に示したキャリアケースに収容されたカメラ付き携帯電話装置を示す図である。
【図３】カメラ付き携帯電話装置の内部構成を示すブロック図である。
【図４】ヘッドホンの内部構成を示すブロック図である。
【図５】ＣＰＵのメインルーチンのフローチャートである。
【図６】図５に続くＣＰＵのメインルーチンのフローチャートである。
【図７】（Ａ）はメニュー画面を示す図であり、（Ｂ）はメニュー画面のアイコンに対応するスイッチを示す図である。
【図８】ドラム設定処理のフローチャートである。
【図９】図８に続くドラム設定処理のフローチャートである。
【図１０】ドラム設定処理における設定画面の内容を示す図である。
【図１１】ドラム演奏の設定画面を示す図である。
【図１２】ドラム演奏の決定画面の例を示す図である。
【図１３】ＲＡＭに記憶された配列ＡＲのデータの図である。
【図１４】図９におけるドラム処理のフローチャートである。
【図１５】図１４における音声処理のフローチャートである。
【図１６】図１４における画像処理のフローチャートである。
【図１７】確定動線の演算処理を説明するための図である。
【図１８】任意のドラム演奏の画像を示す図である。
【図１９】フラッシュメモリにストアした特定画像を表す図である。
【図２０】画像分析処理のフローチャートである。
【図２１】図２０に続く画像分析処理のフローチャートである。
【図２２】図１９のフレーム画像の次のフレーム画像を示す図である。
【図２３】特殊画像について１０フレーム分の各画像の動線を示した図である。
【図２４】第２実施形態における電子楽器装置を演奏者が使用する状態を示す図である。
【図２５】本発明の電子楽器装置に使用するカメラ付き携帯電話装置の第１実施形態における外観図および断面の一部を示す図である。
【図２６】本発明の電子楽器装置に使用するカメラ付き携帯電話装置の第２実施形態における外観図および断面の一部を示す図である。
【図２７】本発明の電子楽器装置に使用するカメラ付き携帯電話装置の第２実施形態における外観図および断面の一部を示す図である。
【図２８】本発明の電子楽器装置に使用するカメラ付き携帯電話装置の第３実施形態における外観図および断面の一部を示す図である。
【図２９】図２８のカメラ付き携帯電話装置の突起部に付加レンズ装置を装着した例を示す図である。
【図３０】本発明の電子楽器装置に使用するカメラ付き携帯電話装置の第３実施形態の変形例における光学手段の構造を示す図である。
【図３１】図３０の光学手段をカメラ付き携帯電話装置に組み込んだ状態を示す図である。
【図３２】ヘッドホン７にカメラ付き携帯電話装置５を取り付けた状態を示す図である。
【図３３】他の実施形態における電子楽器装置を演奏者が使用する状態を示す図である。
【図３４】他の実施形態におけるヘッドホンの構成を示すブロック図である。
【図３５】図３４のＣＰＵの動作を示すフローチャートである。
【図３６】他の実施形態における携帯電話装置のドラム処理のフローチャートである。
【図３７】第１実施形態の変形例における電子楽器装置を演奏者が使用する状態を示す図である。
【符号の説明】
【００９５】
１、２ スティック
１ａ、２ａ スティックの先端部
３、４、１１１、１１２、１１３、１１４ 黒球
５ カメラ付き携帯電話装置
７ ヘッドホン
８、５５、５８、２１０、２０５、３０４、４０１、４０２ レンズ
１１ ＣＰＵ
１７ カメラ部
１８ フラッシュメモリ
１９ 音源部
５１、２０１ 下部本体
５２、２０２ 上部本体
５４、５９、２１３ 表示部
５６、２０４ 撮像素子
２０６、４０３ プリズム
２１１ ヘリカルアンテナ
３０１ 付加レンズ装置
【技術分野】
【０００１】
本発明は、電子楽器装置および仮想楽器の演奏方法、並びに、仮想楽器の演奏処理のプログラムおよびそのプログラムを記録した記録媒体に関するものである。
【背景技術】
【０００２】
近年、ＣＰＵやその他の半導体などを利用した電子鍵盤楽器が普及しているが、仮想の打楽器を演奏するための電子楽器装置も次第に商品化され、高い性能の製品も開発されている。また、仮想の打楽器を演奏するための技術も多く提案されている。
ある提案の電子楽器においては、ドラムのスティックに圧電ジャイロセンサ又はマイクロ加速度センサを設け、この角速度センサから結線した回路により角速度を検出して、この角速度を制御信号に変換し、この制御信号により音量および音質を設定するシンセサイザを備えた構成になっている。この構成により、スティックを振るだけで打楽器の音を発生できる。（特許文献１参照）
また、ある提案の電子打楽器においては、中空状のスティック本体内に、発光素子および受光素子を有する光センサと、スティック本体の振り動作に応じて受光素子に入射する光量（反射光量、透過光量）を変化させる振動子を設けた構成になっている。この構成により、スティックを振ると、その振りに応じて振動子が振動し、この振動子の振動に応じて発光素子からの光の反射状態又は透過状態が変化し、この変化に応じた光量を受光素子が受光するため、スティック本体の振り操作を振動子の振動状態の波形として検出することができ、スティック本体の微妙な振動を精度よく検出することができ、しかも非接触方式であるから耐久性にも優れ、信頼性の高いものを得ることができる。（特許文献２参照）
また、ある提案の電子ドラムにおいては、電子ドラムのパッドの外周であるパッド枠の少なくとも一箇所を透明若しくは半透明とした導光板で形成し、その導光板に複数色の光源からの光を導光し発光させる構成とともに、所望の条件に従う点灯信号発生手段からの信号により点滅と発光色の切換とを行う構成になっている。この構成により、パッドに割り付けられた打楽器の種類など、演奏者が所望する情報を発光色、発光数などにより告知できる。（特許文献３参照）
また、ある提案の入力装置およびこれを用いた電子楽器においては、２本のワイヤが１点で固定されたスタンドと、それぞれのワイヤに固定された２本のスティックと、ワイヤに張力が生じたことを検知し、ワイヤが張った状態でこのワイヤが交わる線上での位置を検知するセンサと、位置を表す信号に応じた音色の信号を発生し得る音源装置と、センサが張力を検知したときに音源装置からの信号を出力する出力手段とを備えた構成になっている。この構成により、ワイヤが充分に伸びた瞬間のタイミングとその時の打点位置を電気信号として検出でき、それを用いて電子音源装置を操作することにより電子ドラムシステムの演奏が可能になる。（特許文献４参照）
【特許文献１】特開平６−７５５７１号公報
【特許文献２】特開平１０−５５１７５号公報
【特許文献３】特開平１１−３０９８３号公報
【特許文献４】特開２０００−１６３０４９号公報
【発明の開示】
【発明が解決しようとする課題】
【０００３】
しかしながら、上記各特許文献においては、実際のドラムと同じような感覚で演奏することができないという課題、又は、擬似ドラムを設置するだけの広いスペースが必要になるという課題があった。
例えば、特許文献１の構成においては、スティックだけではドラムの種類や位置を判別できなので、ドラム演奏の臨場感を得ることができず、結局は、図４に示されるように、摸擬ドラムのメンブレム部やスネア部に角速度センサを取り付けることになる。したがって、擬似ドラムを設置するためのスペースが必要になる。また、ステックと装置（この場合は、プロセッサの回路部）とを接続するための信号線が必要となり、スティックの操作が制限されてしまうことになる。
また、特許文献２の構成においては、特許文献１の場合と同様に、スティックだけではドラムの種類や位置を判別できないので、ドラム演奏の臨場感を得ることができない上、ステックと楽音発生装置とを接続するための信号線が必要となり、スティックの操作が制限されてしまうことになる。さらに、スティックの振りが激しい場合には、スティック内のセンサ部が破損するおそれもある。
また、特許文献３の構成においては、擬似ドラムとしてのパッドを設置しなければならず、擬似ドラムを設置するだけの広いスペースが必要になるので、狭い家屋では設置することが困難である。
また、特許文献４の構成においては、図１からも明らかなように、スツール付きの大きなスタンドを設置しなければならず、自宅で手軽に演奏することができない。さらに、スティックとスタンドとを結ぶワイヤによって、スティックの操作が制限されてしまうことになる。さらにまた、図４および図６に示されているように、スティック操作を検出するセンサの機構が複雑であるので、製造コストやメンテナンスコストが高くなってしまう。
【０００４】
本発明は、このような従来の課題を解決するためになされたもので、実際のドラムと同じような感覚で演奏することができるとともに、狭い場所でも演奏することができる電子楽器装置を安価に提供することを目的とする。
また、本発明は、実際のドラムと同じような感覚で演奏することができるとともに、狭い場所でも演奏することができる仮想のドラム演奏方法を安価に提供することを目的とする。
また、本発明は、実際のドラムと同じような感覚で演奏することができるとともに、狭い場所でも演奏することができる電子楽器装置および仮想のドラム演奏方法の実施に用いるカメラ付き携帯電話装置を安価に提供することを目的とする。
【課題を解決するための手段】
【０００５】
本発明の電子楽器装置は、撮像手段と、複数種類の仮想の打楽器を演奏するために、撮像手段によって撮像された画像の中からあらかじめ設定されている１種類又は複数種類の特定画像を抽出する画像抽出手段と、この画像抽出手段によって抽出された特定画像の動きベクトルを分析して、当該特定画像に対してあらかじめ設定されている仮想楽器を判定する画像分析手段と、この画像分析手段によって判定された仮想楽器の音色のリズム音信号を発生する信号発生手段と、を備えた構成になっている。
【０００６】
本発明の仮想楽器の演奏方法は、複数種類の仮想の打楽器を演奏するために、所定の撮像手段によって撮像された画像の中からあらかじめ設定されている１種類又は複数種類の特定画像を抽出し、抽出した特定画像の動きベクトルを分析して、当該特定画像に対してあらかじめ設定されている仮想楽器を判定し、判定した仮想楽器の音色のリズム音信号を発生する構成になっている。
【０００７】
本発明による電子楽器装置および仮想楽器の演奏方法の実施に使用可能なカメラ付き携帯電話装置は、
スイッチ部を有する第１の本体と表示部を有する第２の本体とが結合手段によって回動可能に結合され、第１の本体と第２の本体とを閉状態又は開状態に変化可能な構造を有し、
第２の本体の所定の位置に設けられた第１のレンズと、第１の本体に設けられた空間に収容され、第２のレンズおよび光反射部材が一体化された光学手段と、第１の本体のアンテナが形成される側面から外部に向かってほぼ垂直に突き出た円筒形状で第１の本体に設けられた空間に連通する空間を内部に有する突起部と、この突起部の空間の所定位置に設けられた第３のレンズと、光学手段を操作に応じて第１の本体に設けられた空間内の第１の位置又は第２の位置に移動させる操作手段と、第１の本体と第２の本体とが閉状態で、且つ、光学手段が第１の位置にある場合には、第１のレンズおよび第２のレンズによって結像される光画像を電気信号に変換して撮像信号として出力し、第１の本体と第２の本体とが開状態で、且つ、光学手段が第１の位置にある場合には、第２のレンズによって結像される光画像を電気信号に変換して撮像信号として出力し、光学手段が第２の位置にある場合には、第３のレンズから入射して光反射部材によって反射して結像された光画像を電気信号に変換して撮像信号として出力する撮像素子と、を備えた構成になっている。
【０００８】
また、本発明による電子楽器装置および仮想楽器の演奏方法の実施に使用可能なカメラ付き携帯電話装置は、
スイッチ部を有する第１の本体と表示部を有する第２の本体とが結合手段によって回動可能に結合され、第１の本体と第２の本体とを閉状態又は開状態に変化可能な構造を有し、
第２の本体の所定の位置に設けられた第１のレンズと、第１の本体においてスイッチ部を有する面に対してほぼ垂直方向の光軸を持つ第２のレンズ、第１の本体のアンテナが形成される側面から外部に向かってほぼ垂直に突き出た部分に形成されて当該側面に対してほぼ垂直方向の光軸を持つ第３のレンズ、この第３のレンズから入射する光をほぼ直角に反射する光反射部材とが一体化された光学手段と、第１の本体において、操作に応じて光学手段を第１の位置又は第２の位置に第３のレンズの光軸方向にスライド可能に収容する収容手段と、第１の本体と第２の本体とが閉状態で、且つ、光学手段が第１の位置にある場合には、第１のレンズおよび第２のレンズによって結像される光画像を電気信号に変換して撮像信号として出力し、第１の本体と第２の本体とが開状態で、且つ、光学手段が第１の位置にある場合には、第２のレンズによって結像される光画像を電気信号に変換して撮像信号として出力し、光学手段が第２の位置にある場合には、第３のレンズから入射して光反射部材によって反射して結像された光画像を電気信号に変換して撮像信号として出力する撮像素子と、を備えた構成になっている。
【発明の効果】
【０００９】
本発明の電子楽器装置および仮想楽器の演奏方法並びにその装置および方法に使用するカメラ付き携帯電話装置によれば、実際のドラムと同じような感覚で演奏することができるとともに、狭い場所でも演奏することができるという効果が得られる。
【発明を実施するための最良の形態】
【００１０】
以下、本発明による電子楽器装置および仮想楽器の演奏方法の実施形態、並びに、その装置および方法に使用可能なカメラ付き携帯電話装置の実施形態について、図を参照しながら詳細に説明する。
図１は、第１実施形態における電子楽器装置を演奏者が使用する状態を示す図である。この図において、演奏者１００の右手１０１および左手１０２には、２本のスティック１および２が握られている。これらスティック１および２の丸い形状の先端部１ａおよび２ａは、特定の色に着色されている。実施形態においては、特定の色としては黒色であるが、他の色であってもよい。また、演奏者１００の右脚１０３および左脚１０４には、黒色の球形の物体３および４（以下、「黒球３、黒球４」という）が、それぞれ帯状の保持部材３ａおよび４ａによって固定されている。また、演奏者１００の腰１０５の前側には、カメラ付き携帯電話装置５が腰１０５に装着されたベルト６に取り付けられたキャリアケース６ａに収容されている。また、演奏者１００の頭部１０６には、ステレオ用のヘッドホン７（発音手段）が装着されている。このヘッドホン７には、音量調整用のボリューム７ａが設けられている。さらに、図には示していないが、カメラ付き携帯電話装置５に設けられているヘッドホン端子と、ヘッドホン７の入力端子とが信号線によって接続されている。
【００１１】
図２は、図１に示したベルト６におけるキャリアケース６ａに収容されたカメラ付き携帯電話装置５を示す図である。カメラ付き携帯電話装置５の前部には、自分の顔を撮影できるような広い視野角のレンズ８（第１のレンズ）が設けられている。また、カメラ付き携帯電話装置５の側部には、スイッチ９が設けられている。なお、図には示していないが、レンズ８に対応する内部には、レンズ８から入射する光によって画像を撮像するＣＣＤやＣＭＯＳなどの撮像素子が設けられている。レンズ８の視野は広いので、図１におけるスティック１および２の先端部１ａおよび２ａと、両足に取り付けられた黒球３および４を撮像素子の画角に収めることができる。スイッチ９は、通常のカメラモードのときはシャッタスイッチの機能を有するが、ドラム演奏のモードにおいてはスタートおよびストップのスイッチとしても機能する。
キャリアケース６ａは、ベルト６と一体に形成された専用のものが望ましいが、市販されているキャリアケースを通常のベルトに取り付けた構成でも、レンズ８およびスイッチ９が露出するものであれば十分である。
【００１２】
図３は、カメラ付き携帯電話装置５の内部構成を示すブロック図である。この図において、ＣＰＵ１１は、システムバスを介して、ＲＯＭ１２、ＲＡＭ１３、無線送受信部１４、スイッチ部１５、表示部１６、カメラ部１７、フラッシュメモリ１８、音源部１９、および送信インタフェース２０に接続され、これら各部との間で指令およびデータの授受を行って、この装置全体を制御する。
ＲＯＭ１２は、ＣＰＵ１１によって実行されるプログラムや初期データなどを記憶している。ＲＡＭ１３は、ＣＰＵ１１のワークエリアであり、処理するデータを一時的に記憶するバッファエリア、各種のレジスタ、フラグ、変数のためのエリアが用意されている。無線送受信部１４は、外部の携帯電話装置との間で電話、メール、画像の送受信を行なうとともに、インターネットなどの通信網を介して、楽音データをダウンロードすることができる。スイッチ部１５は、ダイヤル入力用のテンキースイッチ、オフフックスイッチ、オンフックスイッチ、発信スイッチ、メニュースイッチ、カーソルスイッチなどで構成されている。表示部１６は、少なくとも１つのＬＣＤ（液晶表示デバイス）で構成されている。
【００１３】
カメラ部１７（撮像手段）は、上記したレンズ８および撮像素子のほかに、他の光学部材としてのレンズ、撮像素子から出力される撮像信号をディジタル信号に変換するＡＤコンバータ回路、撮像信号によって画像の輪郭を検出するエッジ検出回路（検出手段）、画像の歪みを補正する補正回路などを含んでいる。また、ＣＰＵ１１は、カメラ部１７の回路と協働して、撮像素子によって撮像された画像の中から１種類又は複数種類の特定画像（スティック１および２の先端部１ａおよび２ａの画像、および、脚に取り付けられた黒球３および４の画像）を抽出する画像抽出手段、抽出された特定画像の動きベクトルを分析して、その特定画像に対してあらかじめ設定されている仮想楽器（この場合は、打楽器）を判定する画像判定手段を構成する。
【００１４】
フラッシュメモリ１８は、電源がオフされた後もデータを保持する書き換え可能な不揮発性メモリであり、電話やメールの着信履歴および発信履歴、アドレス帳として電話番号やメールアドレスのデータ、他のカメラ付き携帯電話装置から受信した画像データ、インターネットなどからダウンロードした楽音データ、スイッチ部１５の操作によって録音された楽音データ、ドラム演奏に際して設定された各種のデータ、カメラ部１７から得られるフレーム単位の画像データを記憶する。音源部１９（信号発生手段）は、バスドラム、スネアドラム、フロアタム、シンバル、タムタム、ハイハットなどの複数種類からなる打楽器の音色の波形データを記憶し、ＣＰＵ１１の機能である画像判定手段によって判定された仮想楽器としての打楽器に応じて、その打楽器の音色のリズム音信号を発生する。送信インタフェース２０は、ＤＡコンバータ回路を含むとともに、ヘッドホン端子に接続されており、音源部１９によって発生されたリズム音信号やフラッシュメモリ１８に記憶された楽音データをディジタルからアナログに変換して、ヘッドホン７や外部のサウンドシステム（図示せず）に対して信号線を介して送信する。外部のサウンドシステムとしては、アンプやイコライザなどの装置およびスピーカなどがある。
なお、図には示していないが、ＣＰＵ１１のポートには、通話用のマイクやスピーカ、着信検知用のバイブレータなどを接続するドライバが接続されている。
【００１５】
図４は、ヘッドホン７の内部構成を示すブロック図である。この図において、受信インタフェース２１は、入力端子に接続され、信号線を介してカメラ付き携帯電話装置５の送信インタフェース２０から送信されるリズム音信号や楽音信号を受信する。信号処理部２２は、受信インタフェース２１から得られるリズム音信号や楽音信号に対して、ＬチャンネルとＲチャンネルとに分離するステレオ信号処理やその他の信号処理を施して出力する。アンプ２３は、信号処理部２２から出力されるステレオ信号を、ボリューム７ａの調整に応じて増幅して、左右のスピーカ２４Ｌおよび２４Ｒから発音する。
【００１６】
次に、カメラ付き携帯電話装置５の動作について、ＣＰＵ１１によって実行されるフローチャートおよび表示部１６の画面、フラッシュメモリ１８に設定されるデータ、ＲＡＭ１３におけるレジスタ、フラグ、変数などに基づいて説明する。なお、カメラ付き携帯電話装置５は、スイッチ部１５やＣＰＵ１１やカメラ部１７の撮像素子などの電子部品を収容する下部本体（第１の本体）と、レンズ８、表示部１６、および表示部１６を駆動するＴＦＴ（薄膜トランジスタ）などを収容する上部本体（第２の本体）とが、ヒンジ部（結合手段）によって回動可能に結合された構造になっている。すなわち、下部本体のスイッチ部１５を有する面と、上部本体の表示部１６を有する面とが対面する閉状態、又は、上部本体が回動操作されて、下部本体のスイッチ部１５および上部本体の表示部１６とが開いた開状態に設定することができる。
【００１７】
図５および図６は、メインルーチンのフローチャートである。図５において、ＲＡＭ１３の初期化などの所定のイニシャライズ（ステップＳＡ１）の後、待受画面を表示する（ステップＳＡ２）。この状態は、スイッチ部１５および表示部１６とが開いた開状態である。そして、オフフックスイッチがオンされたか否かを判別する（ステップＳＡ３）。このスイッチがオンされたときは、番号入力画面を表示して（ステップＳＡ４）、テンキースイッチによって入力された番号又はアドレス帳から呼び出された特定の番号を入力する番号入力処理を行ない（ステップＳＡ５）、発信スイッチのオンによってその番号を無線通信網に発信して（ステップＳＡ６）、スピーカによって呼出報知を行う（ステップＳＡ７）。そして、相手側との回線接続が確立したか否かを判別し（ステップＳＡ８）、回線接続が確立したときは、通話処理に遷移する（ステップＳＡ９）。通話処理中においては、オンフックスイッチがオンされたか否かを判別し（ステップＳＡ１０）、このスイッチがオンされたときは、回線切断などの終話処理を行って（ステップＳＡ１１）、ステップＳＡ２に移行して待受画面を表示する。
【００１８】
ステップＳＡ３において、オフフックスイッチがオンでない場合には、図６において、メニュースイッチがオンされたか否かを判別する（ステップＳＡ１２）。このスイッチがオンされたときは、メニュー画面を表示して（ステップＳＡ１３）、１つのメニューにフォーカスする（ステップＳＡ１４）。例えば、最初のメニューや前回選択されたメニューを強調して表示する。次に、カーソルスイッチがオンされたか否かを判別する（ステップＳＡ１５）。このスイッチがオンされたときは、フォーカス位置を移動する（ステップＳＡ１６）。そして、選択スイッチがオンされたか否かを判別し（ステップＳＡ１７）、このスイッチがオンでない場合には、戻るスイッチがオンされたか否かを判別する（ステップＳＡ１８）。戻るスイッチがオンでない場合には、ステップＳＡ１５においてカーソルスイッチのオンを判別し、戻るスイッチがオンされたときは、図５のステップＳＡ２に移行して待受画面を表示する。
【００１９】
図７（Ａ）は、メニュー画面を示す図であり、図７（Ｂ）は、スイッチ部１５においてメニュー画面および後述するその他の画面に表示されたアイコンに対応するカーソルスイッチ３１、選択（決定）スイッチ３２、および戻るスイッチ３３を示す図である。メニュー画面には、複数のメニューが表示されるとともに、「選択」アイコンおよび「戻る」アイコンが表示される。カーソルスイッチ３１の操作に応じて、強調表示されるメニューのフォーカス位置が変化する。図７（Ａ）の画面では、ドラム演奏のメニューにフォーカスが表示されている。
【００２０】
図６のステップＳＡ１７において、選択スイッチがオンされたときは、そのときのフォーカス位置のメニューを実行する。フォーカス位置がドラム演奏であるか否かを判別し（ステップＳＡ１９）、ドラム演奏である場合には、ドラム設定処理を実行する（ステップＳＡ２０）。フォーカス位置がドラム演奏でない場合には、フォーカス位置が再生であるか否かを判別する（ステップＳＡ２１）。再生である場合には、フラッシュメモリ１８に録音したドラム演奏のデータやダウンロードした曲のデータを再生する再生処理を行う（ステップＳＡ２２）。フォーカス位置がドラム演奏でも再生でもない場合には、フォーカス位置に対応する処理を行う（ステップＳＡ２３）。ドラム設定処理、再生処理、又はその他のフォーカス位置に対応する処理の後は、ステップＳＡ１３のメニュー画面に戻る。
【００２１】
一方、ステップＳＡ１２において、メニュースイッチがオンでない場合には、他のスイッチがオンされたか否かを判別し（ステップＳＡ２４）、いずれかのスイッチがオンされたときは、そのスイッチに対応する処理を行って（ステップＳＡ２５）、図５のステップＳＡ２に移行して待受画面を表示するが、いずれのスイッチもオンでない場合には、図５のステップＳＡ３に移行して、各スイッチがオンを判別する。
【００２２】
図８および図９は、ドラム設定処理のフローチャートである。図８において、まず、設定画面を表示する（ステップＳＢ１）。そして、所定のフォーカス表示を行う（ステップＳＢ２）。図１０は、ドラム設定処理における設定画面の内容を示す図である。この図に示すように、設定画面には、「前回設定」、「今回設定」、「デフォルト」、「メロディ」の有無、「録音」の有無の選択メニューが表示され、「選択」アイコン、「戻る」アイコンが表示される。この図では、前回設定、メロディ無し、および録音無しにフォーカスが表示されている。
【００２３】
図８においてフォーカス表示をした後は、カーソルスイッチがオンされたか否かを判別する（ステップＳＢ３）。このスイッチがオンされたときは、フォーカス位置を移動する（ステップＳＢ４）。次に、選択スイッチがオンされたか否かを判別し（ステップＳＢ５）、このスイッチがオンでない場合には、戻るスイッチがオンされたか否かを判別し（ステップＳＢ６）、このスイッチがオンされたときは、図６のメインルーチンに戻る。戻るスイッチがオンでない場合には、カーソルスイッチのオンを判別する。ステップＳＢ５において、選択スイッチがオンされたときは、フォーカスされている設定内容を実行する。前回設定がフォーカスされているか否かを判別し（ステップＳＢ７）、前回設定にフォーカスされている場合には、前回設定のデータをフラッシュメモリ１８から読み出す（ステップＳＢ８）。フォーカスされているのが前回設定でない場合には、デフォルトにフォーカスされているか否かを判別し（ステップＳＢ９）、デフォルトにフォーカスされている場合には、デフォルトのデータをフラッシュメモリ１８から読み出す（ステップＳＢ１０）。
【００２４】
フォーカスされているのが前回設定でもなくデフォルトでもない場合には、図９において、今回設定にフォーカスされているか否かを判別する（ステップＳＢ１１）。今回設定にフォーカスされている場合には、設定画面を表示する（ステップＳＢ１２）。そして、所定の設定項目にフォーカスを表示する（ステップＳＢ１３）。また、所定の仮想楽器にラジオボタンを表示する（ステップＳＢ１４）。フォーカスを表示する設定項目の内容、および、ラジオボタンを表示する仮想楽器については、例えば、前回設定の内容に従う。図１１は、ドラム演奏の設定画面を示す図である。この図では、「右足」演奏に対応する「バス」、「左足」演奏に対応する「ハイハット」がフォーカスされ、右手演奏に対応する仮想楽器として「タムタム」、「フロアタム」、および「トップシンバル」、左手演奏に対応する仮想楽器として「スネア」および「ハイハット」のラジオボタンが有効（黒丸）に設定されている。この画面にも、スイッチ部１５のスイッチに対応して、「選択」アイコンおよび「戻る」アイコンが表示される。
【００２５】
次に、カーソルスイッチがオンされたか否かを判別し（ステップＳＢ１５）、このスイッチがオンされたときは、フォーカス位置を移動する（ステップＳＢ１６）。また、カーソルスイッチによってラジオボタンが指定されたか否かを判別し（ステップＳＢ１７）、ラジオボタンが指定されたときは、その指定されたラジオボタンを無効から有効に又は有効から無効に反転する（ステップＳＢ１８）。次に、選択スイッチがオンされたか否かを判別し（ステップＳＢ１９）、このスイッチがオンでない場合には、戻るスイッチがオンされたか否かを判別する（ステップＳＢ２０）。このスイッチがオンされたときは、図８のステップＳＢ１に移行して設定画面を表示するが、戻るスイッチがオンでない場合には、ステップＳＢ１５においてカーソルスイッチのオンを判別する。
【００２６】
一方、ステップＳＢ１１において、フォーカス位置が今回設定でない場合には、メロディがフォーカスされているか否かを判別し（ステップＳＢ２１）、メロディがフォーカスされている場合には、曲選択処理を実行する（ステップＳＢ２２）。曲選択処理においては、フラッシュメモリ１８に記憶されている１つ以上の曲を画面に表示して、ドラム演奏とともに発音させるメロディの曲データをカーソルスイッチおよび選択スイッチの操作に応じて設定する。フラッシュメモリ１８に記憶されている曲としては、いわゆる「着メロ」や「着うた」の曲データでもよいし、ドラム演奏用に作成されたリズムパートだけを除いた「マイナスワン」の曲データでもよい。曲選択処理の後は、フラグＭＦを「１（メロディオン）」にセットする（ステップＳＢ２３）。ステップＳＢ２１において、フォーカス位置がメロディでない場合には、録音がフォーカスされているか否かを判別し（ステップＳＢ２４）、録音がフォーカスされている場合には、フラグＲＦを「１（録音）」にセットする（ステップＳＢ２５）。ＲＦが「１」の場合には、ドラム演奏のデータがフラッシュメモリ１８に記憶される。
【００２７】
ステップＳＢ１９において選択スイッチがオンされたとき、又は、ステップＳＢ２３にいてＭＦを「１」にセットした後、若しくは、ステップＳＢ２５においてＲＦを「１」にセットした後は、決定画面を表示する（ステップＳＢ２６）。図１２は、ドラム演奏の決定画面の例を示す図である。この画面には、図１０および図１１の画面において設定された内容が表示されるとともに、「決定」アイコンおよび「戻る」アイコンが表示される。そして、「決定」アイコンに対応するスイッチ部１５の決定スイッチがオンされたか否かを判別する（ステップＳＢ２７）。このスイッチがオンでない場合には、戻るスイッチがオンされたか否かを判別する（ステップＳＢ２８）。このスイッチがオンされたときは図８のステップＳＢ１に移行して設定画面を表示するが、戻るスイッチがオンでない場合には、ステップＳＢ２７において決定スイッチのオンを判別する。決定スイッチがオンされたときは、ドラム処理を実行する（ステップＳＢ２９）。ドラム処理が終了したときは、図６のメインルーチンに戻る。
【００２８】
なお、決定スイッチがオンされたときは、図１２の設定内容に対応して、ＲＡＭ１３には、図１３に示すような配列ＡＲのデータが記憶される。この図において、縦の行であるｍの値（１〜４）は、右足（１）、左足（２）、右手（３）、左手（４）すなわち演奏する演奏者の身体の部位を表し、横の列であるｎの値（１〜６）は、仮想楽器の種類即ちドラムの種類であるバス（１）、ハイハット（２）、タムタム（３）、フロアタム（４）、トップシンバル（５）、スネア（６）を表している。ｍの行とｎの列とが交わった部分のデータによって、演奏する部位と演奏するドラムとの関係を表している。すなわち、図１２において選択された設定内容が図１３に示されている。例えば、右足（１）はバス（１）を演奏し、左足（２）はハイハット（１）を演奏する。足で演奏できないドラムは「／（非選択マーク）」で区別されている。同様に、右手（３）はタムタム（３）、フロアタム（４）、トップシンバル（５）を演奏し、左手（４）はハイハット（２）、スネア（６）を演奏する。
【００２９】
図１４は、図９におけるステップＳＢ２９のドラム処理のフローチャートである。ドラム処理においては、図２に示したスイッチ９をドラム処理のスタート／ストップスイッチとして使用する。すなわち、図１２の画面において決定スイッチがオンされた後は、演奏者は、図１に示すように、カメラ付き携帯電話装置５を閉状態にして腰１０５の前側のキャリアケース６ａに収納する。この状態でスイッチ９をオンにすれば、ＣＰＵ１１はドラム処理を実行する。
図１４において、スタート／ストップスイッチ（図２のスイッチ９）がオンされたか否かを判別し（ステップＳＣ１）、このスイッチがオンされたときはスタートフラグＳＴＦを反転する（ステップＳＣ２）。ＳＴＦを反転した後、又は、ステップＳＣ１においてスタート／ストップスイッチがオンでない場合には、ＳＴＦが「１」であるか否かを判別する（ステップＳＣ３）。ＳＴＦが「１」である場合には、音声処理（ステップＳＣ４）、画像処理（ステップＳＣ５）、その他の処理（ステップＳＣ６）を行い、ステップＳＣ１に移行して、スタート／ストップスイッチがオンされたか否かを判別する。したがって、ＳＴＦが「１」になってドラム処理が開始した後は、スタート／ストップスイッチがオンされない限り、ステップＳＣ４からステップＳＣ６までのドラム処理を続行する。ドラム処理中において、スタート／ストップスイッチがオンされて、ステップＳＣ３においてＳＴＦが「０」と判別されたときは、メインフローに戻る。なお、ステップＳＣ６のその他の処理は、電源の低下やその他の異常を検出する処理などである。
【００３０】
図１５は、ステップＳＣ４における音声処理のフローチャートである。まず、ドラム演奏中であるかドラム演奏停止中であるかを表すフラグＬＦが「０（演奏停止中）」又は「１（演奏中）」であるかを判別する（ステップＳＤ１）。ＬＦが「１」である場合には、図１４の画像処理に移行するが、ＬＦが「０」である場合には、ドラム演奏に先立つテストの実施を表すフラグＳＢＦが「０」であるか又は「１」であるかを判別する（ステップＳＤ２）。ＬＦが「０」で且つＳＢＦが「０」である場合には、ドラム演奏に先立つテストがまだ実施されていない場合である。この場合には、ＳＢＦを「１」にセットして（ステップＳＤ３）、送信インタフェース２０を介して、ヘッドホン７に対してテスト開始の音声メッセージを出力する（ステップＳＤ４）。例えば、「各ドラムの音出しテストを行います」のような音声メッセージを出力する。
【００３１】
次に、演奏する部位を示す変数ｍおよび演奏対象のドラムを示す変数ｎを共に「１」にセットして（ステップＳＤ５）、ｍおよびｎの値をインクリメントしながら、以下のループを実行する。図１３に示した配列ＡＲにおいて、ＡＲ（ｍ，ｎ）が「１」であるか否かを判別する（ステップＳＤ６）。すなわち、ｍで指定する身体の部位がｎで指定するドラムＤ（ｎ）を演奏するように設定がされているか否かを判別する。ＡＲ（ｍ，ｎ）が「１」である場合には、ｍの部位でＤ（ｎ）を演奏する旨の音声メッセージをヘッドホン７に出力する（ステップＳＤ７）。例えば、「右手でタムタムを叩いて下さい」のような音声メッセージを出力する。そして、フラグＤＦ（ｍ，ｎ）を「１」にセットし（ステップＳＤ８）、タイマレジスタに所定値Ｔの値をセットする（ステップＳＤ９）。すなわち、ｍの部位によるＤ（ｎ）の音出しテストの状態をセットする。また、タイマインタラプトを許可する。Ｔの値としては、例えば、数分ないし十数分が適当である。ここでは、Ｔの時間を５分とする。
【００３２】
タイマをセットした後、又は、ステップＳＤ２において、ＳＢＦが「１」である場合すなわちドラム演奏に先立つテストが実施中である場合には、フラグＤＦ（ｍ，ｎ）が「０」にリセットされたか否かを判別する（ステップＳＤ１０）。このフラグが「１」でまだｍの部位によるＤ（ｎ）の音出しテスト中である場合には、タイマの値が「０」に達したか否かを判別する（ステップＳＤ１１）。すなわち、ｍの部位によるＤ（ｎ）の音出しテストの音声メッセージの指示にもかかわらず、その指示に従ったテスト演奏がされない時間が５分を経過したか否かを判別する。５分が経過していない場合には、図１４の画像処理に移行する。そして、再び図１５のフローチャートにおいて、ステップＳＤ２、ステップＳＤ３を経て、フラグＤＦ（ｍ，ｎ）が「０」にリセットされたか否かを判別するが（ステップＳＤ１０）、このフラグが「１」である場合には、タイマの値が「０」に達したか否かを判別する（ステップＳＤ１１）。タイマの値が「０」に達したとき、すなわち、５分が経過した場合には、何らかの事情で演奏者がドラム演奏を中断したと判断して、ＳＴＦを「０」にリセットして（ステップＳＤ１２）、図１４のフローチャートに戻る。したがって、図１４のステップＳＣ４の判別によってメインルーチンに戻る。
【００３３】
図１５のステップＳＤ１０において、フラグＤＦ（ｍ，ｎ）が「０」にリセットされた場合、又は、ステップＳＤ６においてＡＲ（ｍ，ｎ）が「０」である場合には、ｎの値をインクリメントする（ステップＳＤ１３）。そして、ｎの値が最大値ＭＡＸを超えたか否かを判別する（ステップＳＤ１４）。最大値は、図１３に示したようにｍの番号に対応する部位ごとに異なる。最大値を超えていない場合には、ステップＳＤ６に移行して、ステップＳＤ１４までのループを繰り返す。ステップＳＤ１４において、ｎの値が最大値ＭＡＸを超えたときは、ｍの値をインクリメントするとともに、ｎの値を「１」にセットする（ステップＳＤ１５）。このとき、ｍの値が「４」を超えたか否かを判別し（ステップＳＤ１６）、「４」を超えていない場合には、ステップＳＤ６に移行して、ステップＳＤ１５までのループを繰り返す。
【００３４】
ステップＳＤ１５において、ｍの値が「４」を超えたとき、すなわち、演奏者の身体において設定しているすべての部位のテスト演奏が終了したときは、フラグＳＢＦを「０」にリセットして（ステップＳＤ１７）、フラッシュメモリ１８におけるフレーム画像エリアのすべてであるｆ（１）ないしｆ（ｋｍ）をクリアする（ステップＳＤ１８）。そして、フレーム画像エリアを指定する変数ｋを「１」にセットする（ステップＳＤ１９）。すなわち、ｆ（１）のエリアを指定する。また、フラグＬＦを「１」にセットし（ステップＳＤ２０）、図１４の画像処理に移行する。
【００３５】
図１６は、図１４におけるステップＳＣ５の画像処理のフローチャートである。カメラ部１７から画像入力があるか否かを判別し（ステップＳＥ１）、画像入力がない場合には図１４のフローチャートに戻るが、画像入力があったときは、その画像データをフラッシュメモリ１８にストアする（ステップＳＥ２）。そして、１フレームの画像データが入力されたか否かを判別する（ステップＳＥ３）。１フレームの画像データが入力されたときは、フラグＳＢＦが「１（音出しテスト中）」であるか否かを判別する（ステップＳＥ４）。ＳＢＦが「１」である場合には、フレーム画像を検索して（ステップＳＥ５）、ｍに対応する特定画像を動画として検出したか否かを判別する（ステップＳＥ６）。特定画像とは、図１に示したスティック１および２の先端部１ａおよび２ａの画像、および、黒球３および４の画像であり、デフォルトとして又は演奏者によって、画像パターンとしてあらかじめ設定されている。
【００３６】
ステップＳＥ６において、ｍに対応する特定画像の動画を検出したときは、ＲＡＭ１３の画像エリアＧ（ｍ）に登録する（ステップＳＥ７）。すなわち、１画面の画像データにおいて、テスト演奏として指示されている部位の特定画像の動画を検出したときは、ＲＡＭ１３の画像エリアＧ（ｍ）に登録する。例えば、ｍが「１」の場合に右下の領域に黒球３の画像パターンと同様の画像を検出した場合には、その画像を画像エリアＧ（１）に登録する。ｍが「２」の場合に左下の領域に黒球４の画像パターンと同様の画像を検出した場合には、その画像を画像エリアＧ（２）に登録する。ｍが「３」の場合に右上の領域に先端部１ａの画像パターンと同様の画像を検出した場合には、その画像をＧ（３）として登録する。ｍが「４」の場合に左上の領域に先端部２ａの画像パターンと同様の画像を検出した場合には、その画像をＧ（４）として登録する。
【００３７】
次に、登録したＧ（ｍ）の動画の軌跡すなわち動線を検出したか否かを判別する（ステップＳＥ８）。動画の検出は、所定時間（例えば、４０ｍｓ）ごとのフレーム画像の画面において、Ｇ（ｍ）の画像の座標を検出してＲＡＭ１３にストアし、座標の移動を把握することで行われる。この場合において、動線の動きベクトルを把握するためにオプティカルフロー処理を行ってもよい。Ｇ（ｍ）の動線を検出したときは、レジスタＲＴの値（初期値は０）をインクリメントする（ステップＳＥ９）。また、Ｄ（ｎ）の音色で発音する（ステップＳＥ１０）。すなわち、ｍの部位でＤ（ｎ）を演奏する音声メッセージに応じて、演奏者が仮想のＤ（ｎ）を演奏したときは、音源部１９によってＤ（ｎ）に対応する音色の楽音信号を発生させて、送信インタフェース２０を介して、その楽音信号をヘッドホン７に出力する。
【００３８】
ステップＳＥ１０の発音処理の後は、ＲＴの値が所定回数Ｎに達したか否かを判別する（ステップＳＥ１１）。例えば、ｍの部位でＤ（ｎ）を演奏する音声メッセージの指示が、左手のスティックでハイハットを演奏する指示であるとすると、ハイハットの位置と演奏の動線とを確定するために、演奏者に仮想楽器であるハイハットを演奏する動作を何回かさせる必要がある。また、演奏者にとっても、ハイハットを演奏するイメージを把握する必要がある。このため、連続してＮ回（５回ないし１０回程度）、ハイハットのテスト演奏を行う。Ｎの値はあらかじめ設定されているが、演奏者の設定によって任意の回数に変更できるものとする。
【００３９】
ステップＳＥ１１において、ＲＴの値がＮの値に達していない場合には、図１４のフローチャートに戻るが、ＲＴの値がＮの値に達したときは、確定動線の演算処理を行う（ステップＳＥ１２）。図１７は、右手（ｍ＝３）でトップシンバル（ｎ＝５）のテスト演奏を１０回行ったときの、確定動線の演算処理を説明するための図である。この図において、Ｅ１（ｘ，ｙ）、Ｅ２（ｘ，ｙ）、…Ｅｋｍ（ｘ，ｙ）は、図１に示したスティック１のテスト演奏において、４０ｍｓごとの先端部１ａの画像の座標を包含する楕円の関数を表している。すなわち、４０ｍｓごとの先端部１ａの画像の座標は、次第に面積が広がるＥ１（ｘ，ｙ）、Ｅ２（ｘ，ｙ）、…Ｅｋｍ（ｘ，ｙ）の楕円内に存在する。言い換えれば、１０回のテスト演奏の動線が、２次元の楕円関数であるＥ１（ｘ，ｙ）、Ｅ２（ｘ，ｙ）、…Ｅｋｍ（ｘ，ｙ）の集合で表される３次元の立体的な楕円管の中に存在する。
なお、脚によるバスやハイハットの仮想演奏すなわち仮想のペダル演奏の場合には、４０ｍｓごとの黒球の変位量が小さいので、図１７の各楕円関数の位置はかなり接近した関係になる。
【００４０】
例えば、右手でトップシンバルを叩く動作の時間を０．４秒すなわち４００ｍｓと仮定する。この場合には、先端部１ａの画像の座標の検出回数は１０回であり、４０ｍｓごとの先端部１ａの画像の座標は、Ｅ１（ｘ，ｙ）、Ｅ２（ｘ，ｙ）、…Ｅｋｍ（ｘ，ｙ）の楕円内に存在することになる。この結果、右手でトップシンバルを叩く場合の確定動線Ｃ（３，５）が確定されるとともに、最後の楕円関数Ｅｋｍ（ｘ，ｙ）がトップシンバルＤ（５）の空間位置ＤＳ（５）として確定される。ステップＳＥ１２の演算処理の後は、演算結果をＲＡＭ１３のＣ（ｍ，ｎ）、ＤＳ（ｎ）に登録する（ステップＳＥ１３）。次に、フラグＤＦ（ｍ，ｎ）を「０」にリセットして（ステップＳＥ１４）、フラッシュメモリ１８にストアした右手でトップシンバルを叩く動作のフレーム画像をクリアする（ステップＳＥ１５）。そして、図１４のフローチャートに戻る。なお、他のドラムのテスト演奏についても同様である。
ＤＦ（ｍ，ｎ）が「０」にリセットされると、図１５の音声処理のフローチャートにおいて、ステップＳＤ１０からステップＳＤ１３に移行して、次のテスト演奏のドラムを指定することになる。
【００４１】
図１６のステップＳＥ４においてＳＢＦが「０」である場合には、テスト演奏が終了して実際のドラム演奏に移行している。したがって、フラッシュメモリ１８にストアしたフレーム画像は、任意のドラム演奏の画像になっている。図１８は、任意のドラム演奏の画像を示す図である。図１８の画像には、右手の画像１０１ｉ、スティックの画像１ｉ、その先端部の画像１ａｉ、左手の画像１０２ｉ、スティックの画像２ｉ、その先端部の画像２ａｉ、右脚の膝の画像１０３ｉ、右脚に付けた黒球の画像３ｉ、黒球を保持する帯状の保持部材の画像３ａｉ、左脚の膝の画像１０４ｉ、左脚に付けた黒球の画像４ｉ、黒球を保持する帯状の保持部材の画像４ａｉ、窓枠の画像１０５ｉ、窓の外の風景の画像１０６ｉ、額の画像１０７ｉ、ごみ箱の画像１０８ｉが存在している。
【００４２】
この画像の中からＲＡＭ１３に登録したＧ（１）〜Ｇ（４）の画像とのマッチングによって、特定画像を抽出する（ステップＳＥ１６）。すなわち、２本のスティック１、２の先端部の画像１ａｉ、２ａｉ、２つの黒球の画像３ｉ、４ｉを抽出する。さらに、抽出した画像以外の余分な画像を消去する（ステップＳＥ１７）。そして、フラッシュメモリ１８において変数ｋで指定されるエリアｆ（ｋ）に画像データをストアする（ステップＳＥ１９）。図１９は、フラッシュメモリ１８のエリアｆ（ｋ）にストアした特定画像を表す図である。図１８における画像１ａｉと画像２ａｉとは同じ形状であり、画像３ｉと画像４ｉとは同じ形状であるが、画面の位置関係から各画像をある程度は推測することは可能である。しかし、その推測が決定的であるという保証はない。例えば、画面の中央付近にスティックの先端部の画像が１つだけある場合には、その画像が画像１ａｉであるか又は画像２ａｉであるかは保証できない。したがって、図１９に示すように、抽出した画像に記号ｇ１〜ｇ４を付与して識別する。
【００４３】
図１６のステップＳＥ１８において、フラッシュメモリ１８のエリアｆ（ｋ）に画像データをストアした後は、ｋの値をインクリメントする（ステップＳＥ１９）。ｋの初期値は、図１５のステップＳＤ１９において「１」にセットされているので、最初はエリアｆ（１）に最初の１フレームの画像データをストアする。したがって、ステップＳＥ１９においてｋの値は「２」となる。ｆ（ｋ）のエリアは、ｆ（１）からｆ（ｋｍ）までのｋｍ個のフレームが用意されている。すなわち、図１７に示した楕円関数の数と同数のエリアが用意されている。ｋｍの数はドラムの種類ｎと演奏する身体の部位ｍによって決定されるが、演奏者の設定も可能である。ただし、この実施形態では、説明を簡便にするために、ｋｍの値はすべて「１０」とする。
【００４４】
最後のエリアｆ（ｋｍ）に１フレームの画像データをストアした後は、再びエリアｆ（１）に次の１フレームの画像データをストアするので、ステップＳＥ１９においてｋの値をインクリメントした後は、ｋの値がｋｍの値より大きいか否かを判別する（ステップＳＥ２０）。ｋの値がｋｍの値より大きい場合には、ｋの値を「１」にセットする（ステップＳＥ２１）。ｋの値がｋｍの値以下である場合、又は、ｋの値を「１」にセットした後は、画像分析処理を実行する（ステップＳＥ２２）。そして、図１４のフローチャートに戻る。
【００４５】
図２０および図２１は、画像分析処理のフローチャートである。図２０において、フラグＡＦが「１」であるか否かを判別し（ステップＳＦ１）、ＡＦが「０」である場合には、１フレームの画像データをストアした現在のエリアｆ（ｋ）の１つ前のエリアに画像データがストアされているか否かを判別する（ステップＳＦ２ａ）。そのエリアに画像データがストアされている場合には、ＡＦを「１」にセットする（ステップＳＦ２ｂ）。そして、図１６のフローチャートに戻る。そのエリアに画像データがストアされている場合には、画像データが１フレームしか記憶されていないため、後述するオプティカルフロー処理ができないので、直ちに図１６のフローチャートに戻る。
【００４６】
ステップＳＦ１においてＡＦが「１」である場合には、変数ｊにｋの値をセットし（ステップＳＦ３）、ｊの値をデクリメントする（ステップＳＦ４）。このデクリメントによってｊの値が「０」になったか否かを判別し（ステップＳＦ５）、「０」になったときは、ｊの値をｋｍにセットする（ステップＳＦ６）。すなわち、ｋの値は図１６のステップＳＥ１９ないしステップＳＥ２１において管理されており、ｋの値を変更することができないので、変数ｋで指定されている現在のエリアｆ（ｋ）の１つ前のエリアを別の変数ｊを用いて指定する。そして、指定したエリアｆ（ｊ）の画像データを読み出す（ステップＳＦ７）。
【００４７】
次に、図１９に示した特定画像を検出して、その検出数をレジスタｐｍにストアする（ステップＳＦ８）。図１９の例では、特定画像はｇ１〜ｇ４の４個であるので、ｐｍにストアする値は「４」である。次に、エリアｆ（ｋ）の画像データを読み出して（ステップＳＦ９）、ｆ（ｊ）とｆ（ｋ）の特定画像の座標を検出する（ステップＳＦ１０）。そして、ｆ（ｊ）の画像データとｆ（ｋ）の画像データとのオプティカルフローを推定する（ステップＳＦ１１）。すなわち、ｆ（ｊ）の画像データにおける特定画像とｆ（ｋ）の画像データにおける特定画像との間において、それぞれの動きベクトルを推定する。なお、ドラム演奏の際には、演奏者の身体が多少なりとも動くので、カメラ付き携帯電話装置５で撮像した画像も全体的に揺れるおそれがある。このため、オプティカルフロー処理において、動きのない被写体の画像、すなわち、図１８における窓枠の画像１０５ｉ、窓の外の風景の画像１０６ｉ、額の画像１０７ｉ、ごみ箱の画像１０８ｉに基づいて、画像の揺れ分を補正する。
通常、オプティカルフローの推定は、あらかじめ予想がつかない形状の物体の画像に対して行われるが、この場合には、形状が確定されている画像で最大４個の特定画像に対して行うので、極めて正確なオプティカルフローの推定を高速で行うことが可能である。
【００４８】
オプティカルフローの推定を行った後は、特定画像ｇｐを指定する変数ｐを「１」にセットして（ステップＳＦ１２）、その指定した特定画像ｇｐは移動したか否かを判別する（ステップＳＦ１３）。ｇｐが移動した場合には、その動きベクトルをレジスタｖｐにストアする（ステップＳＦ１４）。すなわち、ベクトル方向とベクトルの変化量とをストアする。図２２は、図１９のフレーム画像の次のフレーム画像を示す図である。特定画像ｇ１〜ｇ３は移動しているので、その動きベクトルｖ１〜ｖ３をストアする。動きベクトルをストアした後、又は、指定した特定画像ｇｐが移動していない場合には、ｐの値をインクリメントして次の特定画像を指定する（ステップＳＦ１５）。このインクリメントによってｐの値が最大値ｐｍを超えたか否かを判別し（ステップＳＦ１６）、ｐｍを超えていない場合には、ステップＳＦ１３に移行して、ｇｐの移動を判別する。
【００４９】
ステップＳＦ１６において、ｐの値がｐｍの値を超えたときは、図２１において、特定画像ｇｐを指定する変数ｐを「１」にセットして（ステップＳＦ１７）、ｇｐのフレーム数をレジスタＭにストアする（ステップＳＦ１８）。次に、Ｍのフレーム数がｋｍに達したか否かを判別する（ステップＳＦ１９）。図１９の例ではすべての特定画像であるｇ１〜ｇ４が画像データに存在しているが、実際には、演奏者のドラム演奏によっては、存在する特定画像も変化することがあるので、ｐで指定した画像ｇｐが存在しないフレームもあり得る。したがって、任意の画像ｇｐの動線を確定するためには、ｋｍ個（この実施形態では１０個）のフレーム画像が必要である。
【００５０】
ステップＳＦ１９において、Ｍのフレーム数がｋｍに達したときは、ｇｐの動線をＲＡＭ１３のエリアＣＣ（ｇｐ）にストアする（ステップＳＦ２０）。すなわち、ｋｍ個のフレームにおけるｇｐの座標をＣＣ（ｇｐ）にストアする。そして、変数ｍおよび変数ｎをともに「１」にセットして（ステップＳＦ２１）、ｍおよびｎの値をインクリメントしながら、以下のループを繰り返す。すなわち、ｇｐの動線が図１６のステップＳＥ１３においてＲＡＭ１３に登録した動線Ｃ（ｍ，ｎ）のどれかと一致するか否かを判別する（ステップＳＦ２２）。ｇｐの動線と動線Ｃ（ｍ，ｎ）とが一致するか否かは、各フレームｆ（ｋ）において、ｇｐの座標が図１７に示した楕円関数Ｅｋ（ｘ，ｙ）の内部に存在するか否かによって判別する。動線が一致しない場合にはｎの値をインクリメントする（ステップＳＦ２３）。このインクリメントによってｎの値が最大値を超えたか否かを判別し（ステップＳＦ２４）、超えていない場合には、ステップＳＦ２２に移行してループを繰り返す。ｎの値が最大値を超えたときは、ｍの値をインクリメントする（ステップＳＦ２５）。このインクリメントによってｍの値が最大値「４」を超えたか否かを判別し（ステップＳＦ２６）、超えていない場合には、ステップＳＦ２２に移行してループを繰り返す。
【００５１】
ステップＳＦ２２において、ｇｐの動線が登録した動線Ｃ（ｍ，ｎ）と一致した場合には、Ｄ（ｎ）に応じた音色でｖｐのベクトル変化量に応じた振幅のリズム音信号を音源部１９によって発生して、ヘッドホン７に送信してで発音する（ステップＳＦ２７）。次に、フラグＲＦが「１」であるか否かを判別し（ステップＳＦ２８）、ＲＦが「１」である場合には、発生した楽音信号をフラッシュメモリ１８に録音する（ステップＳＦ２９）。ＲＦが「０」である場合、又は、ステップＳＦ２６においてｍの値が最大値「４」を超えた場合、若しくは、ステップＳＦ１９においてＭのフレーム数がｋｍに満たない場合には、ｐの値をインクリメントする（ステップＳＦ３０）。このインクリメントによってｐの値が最大値ｐｍを超えたか否かを判別し（ステップＳＦ３１）、ｐの値が最大値ｐｍ以下である場合には、ステップＳＦ１８に移行してループを繰り返す。ｐの値が最大値ｐｍを超えたときは、図１６のフローチャートに戻る。
【００５２】
図２３は、図１に示した右手１０１に保持されたスティック１の先端部１ａの画像１ａｉ、左手１０２に保持されたスティック２の先端部２ａの画像２ａｉ、右脚１０３および左脚１０４に取り付けた黒球３および黒球４の画像３ｉおよび４ｉ、すなわち特定画像について、エリアｆ（１）からｆ（１０）までの１０フレームにおける各画像の位置ｆ１〜ｆ１０の動線を示した図である。画像１ａｉはトップシンバルＤ（５）を演奏する動線を示し、画像２ａｉはスネアＤ（６）を演奏する動線を示し、画像３ｉは、変位量が小さいので途中を省略しているが、バスＤ（１）の仮想ペダルを踏む動線を示し、画像４ｉは静止状態を示している。したがって、ＣＰＵ１１は、トップシンバルの音色、スネアの音色、バスの音色で、音源部１９に対してリズム音信号を発生する指示を与える。
ただし、認識した動線に応じて特定画像の位置が仮想楽器に達する前に、音源部１９に対して対応する仮想楽器の音色のリズム音信号を発生する指示を与える。すなわち、図２３において、例えばｆ９の画像を検出したときに、対応する仮想楽器の音色のリズム音信号を発生する指示を与えて、演奏者が仮想楽器を叩くタイミングに遅れることなく発音を行う。どの程度の時間早めるかは実験して測定する。
【００５３】
以上のように、この第１実施形態の電子楽器装置によれば、複数種類の仮想の打楽器を演奏するために、カメラ付き携帯電話装置５によって撮像された画像の中からあらかじめ設定されている複数種類の特定画像ｇｐ（１≦ｐ≦４）を抽出し、抽出した特定画像の動きベクトルを分析して、当該特定画像に対してあらかじめ設定されている仮想楽器を判定し、判定した仮想楽器の音色のリズム音信号を発生する。
したがって、実際のドラムと同じような感覚で演奏することができるとともに、狭い場所でも演奏することができる。さらに、脚を使わず両手だけの擬似演奏も可能であるので、図１に示すような椅子がない状態でも、立ったままで仮想のドラム演奏をすることができる。この場合には、図１１の設定画面において両足をオフに設定すればよい。
【００５４】
上記第１実施形態の電子楽器装置によれば、ＣＰＵ１１は、抽出した特定画像の動画を構成する時系列のフレーム画像のオプティカルフロー推定処理によって、当該特定画像の動きベクトルを分析するので、動画の中に含まれる特定画像を高速かつ高い精度で検出することができる。
さらに、ＣＰＵ１１は、抽出した特定画像の動きベクトルを分析することによって、当該特定画像の動線を認識し、認識した動線に応じて仮想楽器を判定するので、仮想のドラム演奏を確実に把握して、各仮想楽器の音色で発音を行うことができる。
さらにまた、認識した動線に応じて特定画像の位置が仮想楽器に達する前に、前記信号発生手段に対して当該仮想楽器の音色のリズム音信号を発生する指示を与えることにより、演奏者が仮想楽器を叩くタイミングに対して発音が遅れることがない。
さらにまた、ＣＰＵ１１は、分析した動きベクトルの変化量に応じた振幅のリズム音信号を発生するように音源部１９に指示するので、より一層、実際のドラムと同じような感覚で演奏することができる。
【００５５】
さらにまた、上記第１実施形態の電子楽器装置によれば、ＣＰＵ１１は、指定された曲のメロディ音信号とともに、発生したリズム音信号をヘッドホンに出力するので、より一層、実際のドラムと同じような感覚で演奏することができる。特に最近では、携帯電話装置に１００曲以上ものメロディを記録可能であり、中には５００曲ものメロディを記録できるものもある。さらに、曲を構成するメロディパート、コード（和音）パート、およびリズムパートから１つのパートを除いたいわゆるマイナスワンの曲データをインターネットからダウンロードできるので、リズムパートを除いたマイナスワンの曲データをインターネットからダウンロードしてフラッシュメモリ１８に記憶し、メロディパートおよび和音パートを再生しながら、仮想楽器によるドラム演奏ができるので、ジャムセッションのようなバンド演奏の臨場感が得られる。
【００５６】
上記第１実施形態の電子楽器装置においては、演奏者の手に保持されたスティックの先端部の画像を特定画像として抽出する構成にしたが、他の画像を抽出するような構成も可能である。
図２４は、第２実施形態における電子楽器装置を演奏者が使用する状態を示す図である。この場合には、スティック１、２の先端部１ａ、２ａの代わりに、右手１０１および左手１０２の手首に取り付けた黒球１１１、１１２の画像を抽出する。あるいは、右手１０１および左手１０２の腕に取り付けた黒球１１３、１１４の画像を抽出する。使用する黒球１１１、１１２又は黒球１１３、１１４は、両脚に取り付けた黒球３、４と同じ形状になっている。したがって、ＣＰＵ１１による画像検出およびその抽出がさらに容易になる。なお、両脚に取り付けた黒球３、４は仮想のペダル操作による動き量が小さいので、膝よりも動きの大きい右足のつま先および左足のつま先に、それぞれ黒球３、４を取り付けてもよい。
【００５７】
以上のように、第２実施形態の電子楽器装置によれば、ＣＰＵ１１は、複数種類の仮想の打楽器を演奏するために、手首若しくは腕に取り付けられた物体、および演奏者の膝又は大腿部に取り付けられた物体の撮像された画像を特定画像として抽出するので、たとえスティックを持たなくても仮想のドラム演奏を行うことができる。
あるいは、第１実施形態の変形例として、ＣＰＵ１１は、演奏者の手に保持されたのスティックの撮像された画像を特定画像として抽出するようにしてもよい。この場合には、スティックの微妙な角度なども検出できるので、極めて高度なドラム演奏を擬似した電子楽器装置を実現できる。なお、この場合においても、スティックを回りの環境にない色で着色することが望ましい。
【００５８】
また、上記第１実施形態の電子楽器装置においては、カメラ付き携帯電話装置５とヘッドホン７とを信号線で接続する構成にしたが、赤外線やブルートゥースなどの無線信号によって、音源部１９で発生した楽音信号をヘッドホン７や他のサウンドシステムに送信する構成も可能である。特に最近では、携帯電話装置を用いて無線信号による取引が実用化されているので、近い将来においては、カメラ付き携帯電話装置５に特別な仕様変更を行うことなく、無線信号による楽音信号の送信が可能となる。
無線信号によって音源部１９で発生した楽音信号をサウンドシステムに送信する構成にした場合には、例えば、野外におけるイベントとして、スティックを持たず手の動作だけで行う仮想のドラム演奏の音楽を楽しむことも可能である。
【００５９】
また、上記第１実施形態の電子楽器装置においては、カメラ付き携帯電話装置５によって特定画像を撮像する構成にしたが、専用のディジタルカメラを備えた撮像手段によって特定画像を撮像する構成も可能である。専用の撮像手段の場合には、演奏者の腰だけでなく、胸に取り付けるような構成も可能であるし、ヘッドホンと一体化した構成も可能である。さらに、このような専用の撮像手段を用いた場合には、携帯電話装置の機能に制約されることがないので、プロの演奏者にも有効な電子楽器装置を実現できる。
【００６０】
なお、上記各実施形態においては、電子楽器装置の発明すなわち物の発明について説明したが、仮想楽器の演奏方法の発明としても実現可能である。
すなわち、本発明による仮想楽器の演奏方法は、複数種類の仮想の打楽器を演奏するために、所定の撮像手段によって撮像された画像の中からあらかじめ設定されている１種類又は複数種類の特定画像を抽出し、抽出した特定画像の動きベクトルを分析して、当該特定画像に対してあらかじめ設定されている仮想楽器を判定し、判定した仮想楽器の音色のリズム音信号を発生する。
【００６１】
本発明による電子楽器装置および仮想楽器の演奏方法の実施を安価に提供するためには、構成の要であるカメラ付き携帯電話装置を安価に実現することが必要である。そして、カメラ付き携帯電話装置を安価に実現するためには、第１には、使用する部品のコストダウンを図ることが必要であり、第２には、豊富な機能を具備することで販路を拡大して、量産化を図ることが必要である。図３の構成において、ＣＰＵ１１、ＲＯＭ１２、ＲＡＭ１３、フラッシュメモリ１８などの半導体部品、ＬＣＤなどからなる表示部１６、無線送受信部１４については、開発の歴史も古く、コストダウンや機能の充実のために世界中で熾烈な競争が行われているので、さらなるコストダウンや機能の充実を図ることは極めて困難である。しかし、カメラ部１７については、携帯電話装置に使用されるようになってからの歴史も浅い上、機能の充実化が強く要求されているため、さらなるコストダウンや機能の充実の可能性がある。
【００６２】
すなわち、本発明による電子楽器装置および仮想楽器の演奏方法の実施を安価に提供するためには、このカメラ部１７のコストダウンおよび機能の充実を図ることが望ましい。ところが、最近のカメラ付き携帯電話装置においては、機能の充実を図るために、外部を撮影するアウト（外側）カメラと、自分の顔などを撮影するイン（内側）カメラ用として、２種類の撮像素子とレンズなどの光学系の部品を備えたものが普及してきた。すなわち、外部を撮影するための焦点距離の長いレンズと、自分撮り用の焦点距離の短い広い視野角のレンズとを備え、それぞれのレンズに応じた撮像素子が使用されている。このため、カメラ部が高価になってきている。
【００６３】
そこで、安価な電子楽器装置および仮想楽器の演奏方法の実施のために、新たなカメラ付き携帯電話装置の発明について、第１実施形態ないし第３実施形態を例に採って説明する。
図２５は、第１実施形態におけるカメラ付き携帯電話装置の外観図および断面の一部を示す図である。図２５（Ａ）において、下部本体５１（第１の本体）と上部本体５２（第２の本体）はヒンジ部５３（結合手段）によって回動可能に結合されている。上部本体５２の上面には、ＬＣＤ（液晶表示デバイス）の表示部５４が設けられているとともに、広い視野角のレンズ５５（第１のレンズ）、すなわち焦点距離の短い光学特性のレンズ５５が取り付けられている。レンズ５５のさらに奥にはＣＣＤ又はＣＭＯＳなどからなる撮像素子５６が配置され、レンズ５５の光軸ａｘ１を中心とした光画像が撮像素子５６に結像される。撮像素子５６は、この光画像を電気信号に変換して撮像信号として出力する。下部本体５１には、ヒンジ部５３からさらに突き出た構造の突起部５７が形成されている。さらに、突起部５７のほぼ中央には、レンズ５８（第２のレンズ）がはめ込まれている。
したがって、図２５（Ａ）の状態においては、広い視野角のレンズ５５によって、ユーザが自分の顔を撮像することができるとともに、図１に示したように、仮想のドラム演奏用として使用することができる。なお、図には示していないが、突起部５７のレンズ５８の周りには、金属製のワイヤが螺旋状に埋め込まれており、ヘリカルアンテナを構成している。
【００６４】
図２５（Ａ）は、下部本体５１のスイッチ部（図示せず）を有する面と、上部本体５２表示部（図示せず）を有する面とが対面した閉状態になっている。この状態から、矢印で示す方向に上部本体５２を開いて、図２５（Ｂ）に示す状態に回動すると、レンズ５８とレンズ５５とが重なり合う状態になる。この結果、レンズ５８の光軸ａｘ２を中心とした光画像がレンズ５５を通過して撮像素子５６に結像される。したがって、本発明による仮想のドラム演奏を行う電子楽器装置に使用できるとともに、レンズ５８の光学特性によって、レンズ５５の焦点距離の短い光学特性を補正するようにすることで、通常のカメラ付き携帯電話装置と同様の撮影が可能になる。この場合には、上部本体５２の図示しない表示部に撮像素子５６で撮像された外部の画像がモニター表示される。
なお、下部本体５２の側面に設けられたスイッチ５１ａは、通常の撮影においてはシャッタスイッチとして機能し、仮想のドラム演奏においてはスタート／ストップスイッチとして機能する。
このように、第１実施形態におけるカメラ付き携帯電話装置は、共通の撮像素子５６を用いて、焦点距離の異なるレンズから近い被写体も遠い被写体も撮像することにより、コストダウンおよび機能の充実を図ることができるので、安価な電子楽器装置および仮想楽器の演奏方法の実施に使用することが可能になる。
【００６５】
図２６および図２７は、第２実施形態におけるカメラ付き携帯電話装置の外観図および断面の一部を示す図である。なお、図２５に示した構成と同じものや同じ機能を持つものは同一の符号で表し、重複する説明は省略する。
図２６（Ａ）に示すように、この第２実施形態のカメラ付き携帯電話装置では、広い視野角のレンズ５５が上部本体５２に設けられ、レンズ５８が下部本体５１に設けられている。さらに、この第２実施形態のカメラ付き携帯電話装置では、図２６（Ａ）に示す閉状態から上部本体５２を開いて、図２６（Ｂ）に示す位置まで回動すると、ヒンジ部５３の中央部５３ａが回転軸Ｃの周りに矢印に示すように回転できる構造になっている。すなわち、図２６（Ｂ）に示すように、上部本体５２の表示部５９が反対側になるように回転して、さらに、図２７に示すように、再び閉状態にすることができる。
【００６６】
図２７に示すように、レンズ５８の光軸ａｘ２を中心とした光画像がレンズ５５を通過して撮像素子５６に結像される。したがって、第１実施形態におけるカメラ付き携帯電話装置と同様に、図２５（Ａ）の状態においては、広い視野角のレンズ５５によって、ユーザが自分の顔を撮像することができるとともに、図１に示したように、仮想のドラム演奏用として使用することができる。さらに、レンズ５８の光学特性によって、レンズ５５の焦点距離の短い光学特性を補正するようにすることで、遠方の被写体を撮影することができる。この場合には、上部本体５２の表示部５９に撮像素子５６で撮像された画像がモニター表示される。
【００６７】
このように、第２実施形態におけるカメラ付き携帯電話装置は、共通の撮像素子５６を用いて、焦点距離の異なるレンズから近い被写体も遠い被写体も撮像することにより、コストダウンおよび機能の充実を図ることができるので、安価な電子楽器装置および仮想楽器の演奏方法の実施に使用することが可能になる。
【００６８】
図２８および図２９は、第３実施形態におけるカメラ付き携帯電話装置の外観図および断面の一部を示す図である。図２８（Ａ）に示す外観図およびその側面の一部の断面を表している図２８（Ｂ）において、下部本体２０１（第１の本体）と上部本体２０２（第２の本体）とはヒンジ部２０３（結合手段）によって回動可能に結合されている。また、図２８（Ａ）、（Ｂ）の状態では、下部本体２０１のスイッチ部を有する面２０１ａと、上部本体２０１の表示部を有する面２０２ａとが対面する閉状態になっている。この点は上記第１実施形態および第２実施形態と同様である。
【００６９】
ただし、この第３実施形態においては、図２８（Ｂ）に示すように、撮像素子２０４は下部本体２０１に設けられている。この撮像素子２０４の上にはレンズ２０５（第２のレンズ）が配置され、このレンズ２０５と一体に成形されたプリズム２０６（光反射部材）からなる光学手段が設けられている。そして、この一体成形の光学手段であるレンズ２０５およびプリズム２０６をスライド可能な空間２０７が下部本体２０１に形成されている。また、下部本体２０１の側面からは、外部に向かってほぼ垂直に突き出た円筒形状の突起部２０８が形成され、その内部に形成された円筒形状の空間には、レンズ２０９（第３のレンズ）が配置されている。一方、上部本体２０２には、撮像素子２０４に対応する位置に広い視野角のレンズ２１０（第１のレンズ）が配置されている。
図２８（Ａ）、（Ｂ）に示す閉状態においては、レンズ２１０の光軸ａｘ１を中心とした光画像がレンズ２０５を通過して撮像素子２０４に結像される。したがって、２つのレンズによる複合レンズの特性を生かすことで、レンズ２１０だけの場合よりも様々な収差を小さくできる。
【００７０】
次に、図２８（Ａ）、（Ｂ）に示す閉状態から上部本体２０２を開いて、図２８（Ｃ）に示す開状態にすると、レンズ２０５の光軸ａｘ１を中心とした光画像が撮像素子２０４に結像される。この場合には、上部本体２０２の表示部に撮像素子２０４で撮像された画像がモニター表示される。したがって、ユーザは、表示部の画像をファインダとして見ながら、自分の顔や姿を撮影してメモリに保存したり、リアルタイムで他のカメラ付き携帯電話装置に送信することができる。
【００７１】
下部本体２０１の側面からは、図２８（Ａ）に示すように、スライドレバー２１２（操作手段）が突き出ているが、これは一体成形された光学手段であるレンズ２０５およびプリズム２０６をスライドさせるためのものである。すなわち、図２８（Ｃ）の状態からスライドレバー２１２をヒンジ部２０３と反対側にスライドすると、一体成形されたレンズ２０５およびプリズム２０６が空間２０７内をスライドして、図２８（Ｄ）に示すように、プリズム２０６が撮像素子２０４に対応する位置になる。この場合には、突起部２０８内に配置したレンズ２０９の光軸ａｘ２を中心とした光画像がプリズム２０６で直角に反射して撮像素子２０４に結像される。したがって、レンズ２０９を焦点距離の長い望遠型のレンズで構成することにより、従来のカメラ付き携帯電話装置に比較して、より遠方の風景や人物を撮影することができる。
【００７２】
図２８（Ａ）において、突起部２０８の内部には、金属製のワイヤ２１１が円筒形状に沿って螺旋状に埋め込まれて成形されている。また、突起部２０８が形成されている側面の他方の端には、伸縮可能なロッドアンテナ２１４が設けられている。ワイヤ２１１は、ロッドアンテナ２１４と協働して、ダイバシティアンテナとしてのヘリカルアンテナの機能を果たすとともに、突起部２０８を機械的に補強している。したがって、突起部２０８に加わるベンディングモーメント（曲げ力）に対して強い構造になっている。このため、突起部２０８に付加レンズ装置を装着することが可能である。
【００７３】
図２９は、この突起部２０８にズーム機能を持つ付加レンズ装置３０１を装着した例を示す図である。図２９（Ａ）、（Ｂ）において、付加レンズ装置３０１は、突起部２０８側の部分３０２と外部側の部分３０３とが、ネジ３０５によって回転可能に結合された構造になっている。そして、外部側の部分３０３の内部には、カメラ付き携帯電話装置のレンズ２０９と同一の光軸ａｘ２を持つレンズ３０４が配置されている。したがって、図２９（Ｂ）に示すように、付加レンズ装置３０１のレンズ３０３および突起部２０８内に配置したレンズ２０９の光軸ａｘ２を中心とした光画像が、プリズム２０６で直角に反射して撮像素子２０４に結像される。さらに、レンズ３０４を含む部分３０３を回転操作すると、図２９（Ｃ）に示すように、その部分３０３が前方に移動してズーム機能を果たすことになる。
【００７４】
このように、第３実施形態におけるカメラ付き携帯電話装置によれば、共通の撮像素子２０４を用いて、焦点距離の異なるレンズから近い被写体も遠い被写体も撮像することにより、コストダウンおよび機能の充実を図ることができるので、安価な電子楽器装置および仮想楽器の演奏方法の実施が可能になる。さらに、付加レンズ装置３０１を装着することによって、ディジタルカメラやビデオカメラと匹敵するような、極めて遠方の風景や人物を撮影することができるので、この優れた機能の充実によってユーザの要求を満たすことで販路の拡大が期待でき、一層の量産化によってコストダウンを図ることができる。
【００７５】
この場合において、図２８（Ａ）に示したように、上部本体２０２の上面には、表示部２１３が設けられているので、カメラ付き携帯電話装置の内部に、撮像素子２０４から出力される撮像信号による画像の輪郭を検出するエッジ検出回路を設けることにより、付加レンズ装置３０１のズーム機能によるピントの状態を表示部２１３に表示することができ、特定のマーク画像などによってピントが合ったことをユーザに通知できる。
【００７６】
図３０は、第３実施形態の変形例におけるカメラ付き携帯電話装置の光学系の部材を示している。他の構成については、第３実施形態と同じであるので、図面および説明を省略する。
図３０（Ａ）は、一体成形された光学手段４００の外観図であり、図３０（Ｂ）および図３０（Ｃ）は、それぞれ図３０（Ａ）におけるＸ−Ｘ線に沿って、図の左側の部分４００ａおよび右側の部分４００ｂを見た場合の断面図である。また、図３０（Ｄ）は、図３０（Ｂ）および図３０（Ｃ）におけるＹ−Ｙ線に沿った断面図、すなわち、図３０（Ａ）における縦割の断面図である。図３０（Ｄ）に示すように、この光学手段４００は、レンズ４０１（第３のレンズ）、レンズ４０２（第２のレンズ）、およびプリズム４０３（光反射部材）が高い透明度の樹脂又はガラスで一体成形されている。なお、仮想のドラム演奏を行う電子楽器装置のためのレンズ（第１のレンズ）は、第３実施形態の構成と同じであるので、図面および説明は省略する。
【００７７】
図３１は、図３０の光学手段４００をカメラ付き携帯電話装置の収容手段４０５にスライド可能な状態で組み込んだ図である。この図において、図２８および図２９に示した撮像素子２０４と同じものが、カメラ付き携帯電話装置内に配置されている。図３１（Ａ）の状態においては、撮像素子２０４に対応する位置にはレンズ４０２がある。また、レンズ４０１を形成している部分４００ｂがカメラ付き携帯電話装置から外部に突き出た状態になっている。したがって、レンズ４０２の光軸ａｘ１を中心とした光画像が撮像素子２０４に結像される。次に、部分４００ｂを外部に向けて引き出した場合には、図３１（Ｂ）に示すように、撮像素子２０４に対応する位置にはプリズム４０３がある。したがって、レンズ４０１の光軸ａｘ２を中心とした光画像が、プリズム４０３で直角に反射して撮像素子２０４に結像される。
【００７８】
このように、第３実施形態の変形例におけるカメラ付き携帯電話装置によれば、共通の撮像素子２０４を用いて、焦点距離の異なるレンズから近い被写体も遠い被写体も撮像することにより、コストダウンおよび機能の充実を図ることができるので、安価な電子楽器装置および仮想楽器の演奏方法の実施が可能になる。さらに、焦点距離の異なる２つのレンズ４０１、４０２、およびプリズム４０３を高い透明度の樹脂又はガラスで一体成形しているので、極めて簡単な構造であるとともに、光軸の誤差を極めて小さくすることができる。
なお、この変形例においても、レンズ４０１を形成している部分４００ｂの外側を金属又は硬質の樹脂でカバーすれば、付加レンズ装置を装着できるので、ディジタルカメラやビデオカメラと匹敵するような、極めて遠方の風景や人物を撮影することができる。
【００７９】
以上のように、上記第１実施形態ないし第３実施形態および変形例におけるカメラ付き携帯電話装置は、共通の撮像素子を用いて、焦点距離の異なるレンズから近い被写体も遠い被写体も撮像することにより、コストダウンおよび機能の充実を図ることができるので、安価な電子楽器装置および仮想楽器の演奏方法の実施に使用することが可能になる。
【００８０】
特に、第３実施形態におけるカメラ付き携帯電話装置は、上部本体２０２の所定の位置に設けられた広い視野角のレンズ２１０と、下部本体２０１に設けられた空間に収容され、レンズ２０５およびプリズム２０６が一体化された光学手段と、下部本体２０１のアンテナが形成される側面から外部に向かってほぼ垂直に突き出た円筒形状で、下部本体２０１設けられた空間に連通する空間を内部に有する突起部２０８と、この突起部２０８の空間の所定位置に設けられたレンズ２０９と、一体成形の光学手段であるレンズ２０５およびプリズム２０６を操作に応じて突起部２０８側の位置又は下部本体２０１側の位置に移動させるスライドレバー２１２と、下部本体２０１と上部本体２０２とが閉状態で、且つ、レンズ２０５およびプリズム２０６が突起部２０８側の位置にある場合には、レンズ２１０およびレンズ２０５によって結像される光画像を電気信号に変換して撮像信号として出力し、下部本体２０１と上部本体２０２とが開状態で、且つ、レンズ２０５およびプリズム２０６が突起部２０８側の位置にある場合には、レンズ２０５によって結像される光画像を電気信号に変換して撮像信号として出力し、レンズ２０５およびプリズム２０６が下部本体２０１側の位置にある場合には、レンズ２０９から入射してプリズム２０６によって反射して結像された光画像を電気信号に変換して撮像信号として出力する撮像素子２０４と、を備えた構成になっているので、焦点距離の異なるレンズから近い被写体も遠い被写体も共通の撮像素子２０４で撮像することにより、カメラ付き携帯電話装置のコストダウンおよび機能の充実を図ることができる。
【００８１】
また、第３実施形態の変形例におけるカメラ付き携帯電話装置は、上部本体２０２の所定の位置に設けられた広い視野角のレンズ２１０と、下部本体２０１においてスイッチ部を有する面に対してほぼ垂直方向の光軸を持つのレンズ４０２、下部本体２０１のアンテナが形成される側面から外部に向かってほぼ垂直に突き出た部分に形成されて当該側面に対してほぼ垂直方向の光軸を持つレンズ４０１、レンズ４０１から入射する光をほぼ直角に反射するプリズム４０３とが一体化された光学手段４００と、下部本体２０１において、操作に応じて光学手段４００を下部本体２０１側の位置又は外部側の位置に、レンズ４０１の光軸方向にスライド可能に収容する収容手段４０５と、下部本体２０１と上部本体２０２とが閉状態で、且つ、光学手段４００が下部本体２０１側の位置にある場合には、レンズ２１０およびレンズ４０２によって結像される光画像を電気信号に変換して撮像信号として出力し、下部本体２０１と上部本体２０２とが開状態で、且つ、光学手段４００が下部本体２０１側の位置にある場合には、レンズ４０２によって結像される光画像を電気信号に変換して撮像信号として出力し、光学手段４００が外部側の位置にある場合には、レンズ４０１から入射してプリズム４０３によって反射して結像された光画像を電気信号に変換して撮像信号として出力する撮像素子２０４と、を備えた構成になっているので、焦点距離の異なるレンズから近い被写体も遠い被写体も共通の撮像素子２０４で撮像することにより、カメラ付き携帯電話装置のコストダウンおよび機能の充実を図ることができる。
【００８２】
この第３実施形態の他の変形例として、光学手段４００のレンズ４０１を広角レンズ又は魚眼レンズのように至近距離を撮れるようなレンズで構成してもよい。そして、このカメラ付き携帯電話装置５をヘッドホン７に取り付けるようにする。図３２は、ヘッドホン７にカメラ付き携帯電話装置５を取り付けた状態を示す図である。この図において、ヘッドホン７には、キャリアケース７ｂが取り付けられ、カメラ付き携帯電話装置５が光学手段４００およびスイッチ２１５を露出した状態で収容されている。この場合においては、カメラ付き携帯電話装置５からヘッドホン７への信号の送信は、赤外線による無線通信によって行う。この場合には、カメラ付き携帯電話装置５のカメラアングルが高くなるので、スティックの画像よりも手首や腕に付けた球形の物のほうが検出を容易にできる。さらに、手若しくは腕および脚に付ける球形の物の色を身体の部位ごとに異なる色にしてもよい。この場合には、各部位の識別が容易になる。
したがって、この第３実施形態の他の変形例においても、第１実施形態の場合と同様の効果が得られる。
【００８３】
次に、本発明による電子楽器装置の他の実施形態について説明する。図３３は、他の実施形態における電子楽器装置を演奏者が使用する状態を示す図である。この図において、図１および図２４に示した第１実施形態および第２実施形態の構成と同じものは、同一の符号で表している。ヘッドホン７には、専用のカメラ部１２１が設けられている。そして、演奏者１００の右手１０１、左手１０２、右脚１０３、および左脚１０４には、それぞれ色彩が異なる球１２２、１２３、１２４、および１２５が取り付けられている。この場合において、このヘッドホン７は携帯電話装置と協働して電子楽器装置を構成する。
【００８４】
図３４は、この実施形態におけるヘッドホン７の構成を示すブロック図である。この図において、ＣＰＵ７１は、システムバスを介して、ＲＯＭ７２、ＲＡＭ７３、ブルートゥース（Bluetooth）通信部７４、カメラ部１２１、フラッシュメモリ７５、音声出力インタフェース７６に接続されている。ＣＰＵ７１は、第１実施形態における電子楽器装置が行っていた画像処理を担うことになる。このため、ＲＯＭ７２には画像処理のプログラムが記憶されており、ＣＰＵ７１がそのプログラムを実行するのであるが、上記したように、このヘッドホン７は仮想のドラム演奏を行うための専用の電子楽器装置であるので、実際には、ソフトウェアによる画像処理でなく、専用のＬＳＩによるハードウェアで高速の画像処理を行う。しかし、画像処理をソフトウェアで行うにせよ又は専用のハードウェアで行うにせよ、基本的な動作については同じであるので、第１実施形態における仮想のドラム演奏の説明に合わせて、画像処理をソフトウェアで行うものと見なして、図３４のような構成に基づいてこの実施形態を説明することにする。
【００８５】
ＲＡＭ７３、カメラ部１２１、フラッシュメモリ７５の機能については、第１実施形態の場合とほぼ同じである。ブルートゥース通信部７４は、携帯電話装置との間でブルートゥースの無線通信によってデータの送受信を行う。音声出力インタフェース７６は、携帯電話装置から送られてくる音声信号をディジタルからアナログのステレオ音声信号に変換してアンプ７７に出力する。アンプ７７は、例えば、カメラ部１２１と反対側の部分に設けられているボリューム７８の調整に応じた増幅率で、ステレオ音声信号を増幅して左右のスピーカ７９Ｌ、７９Ｒで発音する。
【００８６】
図３５は、図３４のＣＰＵ７１の動作を示すフローチャートである。携帯電話装置との間でブルートゥースによる通信処理を行って（ステップＳＧ１）、ドラム演奏のスタート指令を受信したか否かを判別する（ステップＳＧ２）。スタート指令を受信したときは、画像処理を実行する（ステップＳＧ３）。次に、電源電圧のチェックなどのその他の処理を行う（ステップＳＧ４）。画像処理などの実行中では、携帯電話装置からストップ指令を受信したか否かを判別し（ステップＳＧ５）、ストップ指令を受信しない場合には、ステップＳＧ１に移行して上記各処理を繰り返すが、ストップ指令を受信したときは、このフローチャートを終了する。
【００８７】
このように、ヘッドホン７によって画像処理を行うので、携帯電話装置のドラム処理では画像処理は行わず、音声処理、通信処理などを行う。なお、携帯電話装置におけるメインルーチン、ドラム設定処理の動作については、図５および図６に示した第１実施形態のメインルーチン、図８および図９に示した第１実施形態のドラム設定処理の動作と同じである。すなわち、この実施形態においても、ドラム演奏の設定は携帯電話装置側で行われる。図３５は、この実施形態における携帯電話装置のドラム処理のフローチャートである。図１４のフローチャートと比較すると、ステップＳＣ５においては画像処理の代わりに通信処理を行うようになっている。
【００８８】
この通信処理において、図１５に示した第１実施形態の音声処理のステップＳＤ７においては、ｍの部位でＤ（ｎ）を演奏する旨の音声メッセージは、携帯電話装置からブルートゥースの無線信号によってヘッドホン７に送信される。また、ステップＳＤ１０におけるＤＦ（ｍ，ｎ）＝０のデータはヘッドホン７から受信する。一方、ヘッドホン７においても、携帯電話装置から受信したｍの部位でＤ（ｎ）を演奏する旨の音声メッセージに応じて、図１６に示した画像処理のステップＳＥ８で動線を検出すると、その検出データを携帯電話装置に送信し、その検出データに応じて携帯電話装置から受信したＤ（ｎ）の音色のリズム音信号を音声出力インタフェース７６によってアンプ７７に出力して発音する。また、ステップＳＥ１４におけるＤＦ（ｍ，ｎ）を携帯電話装置に送信する。
したがって、この実施形態による電子楽器装置おいても、第１実施形態における電子楽器装置と同様の効果が得られる。
【００８９】
図１に示した第１実施形態においては、カメラ付き携帯電話装置５のヘッドホン端子からヘッドホン７に対して、信号線によってリズム音信号を出力する構成にしたが、第１実施形態の変形例としての電子楽器装置では、カメラ付き携帯電話装置にブルートゥース通信機能又は赤外線通信機能を持たせることにより、カメラ付き携帯電話装置からヘッドホン７に対して、無線信号によってリズム音信号を送信する構成も可能である。
【００９０】
図３７（Ａ）は、無線信号によってリズム音信号を送信する場合に、電子楽器装置を演奏者が使用する状態を示す第１実施形態の変形例の図である。図３７（Ａ）において、カメラ付き携帯電話装置５は、充電の際にＡＣアダプタ（図示せず）と接続される卓上ホルダ１１５に装着されており、ωの視野角のレンズ（図示せず）によって前方（図の右側）を撮像できる状態で、本箱や机などの家具１１６の上に配置されている。演奏者１００は、カメラ付き携帯電話装置５のカメラに向かって座り、右手および左手にスティック１および２を持つとともに、右足および左足にスリッパ１０８および１０９を履き、スティック１および２と両足で仮想のドラム演奏を行う。スティック１および２の先端部１ａおよび２ａは、第１実施形態と同様に特定の色（この場合は黒）に着色されている。一方、第１実施形態においては演奏者１００の脚部に取り付けられていた黒球３および４は、この実施形態ではスリッパ１０８および１０９の先端部に取り付けられている。
また、第１実施形態と同様に、演奏者の頭部にはヘッドホン７が装着されているが、この場合のヘッドホン７は、カメラ付き携帯電話装置５からの無線信号を受信するデータ受信機能を備えており、ヘッドホン７を頭部に固定する支持部材７ｂがアンテナの機能を兼用している。他の構成については第１実施形態と同じである。
図３７（Ａ）において、演奏者１００の後方には、収納棚１１７、この上に置かれた時計１１８、壁に掛けられた額１１９がある。すなわち、演奏者１００は、このような狭い部屋の中で仮想のドラム演奏を行っている。したがって、カメラ付き携帯電話装置５は、１メートルないし２メートル程度の距離で演奏者１００を撮像する状態になっている。
【００９１】
図３７（Ｂ）は、カメラ付き携帯電話装置５によって撮像された演奏者１００および後方の収納棚１１７などの画像を示す図である。なお、平成１６年７月の時点で市販されている大半のカメラ付き携帯電話装置によれば、被写体から１メートルないし２メートル程度の距離で撮像される画像をＬＣＤなどの表示部に表示した場合には、その画像が図３７（Ｂ）に示す状態になることは、発明者によって実証されている。
したがって、第１実施形態と同様に、図１８に示した画像の中から、図１９に示した特定画像を抽出するのと同じように、図３７（Ｂ）の画像から特定画像である１ａ、２ａ、３および４の画像を抽出することができる。
【００９２】
したがって、第１実施形態の場合と同様に、この変形例においても、実際のドラムと同じような感覚で演奏することができるとともに、狭い場所でも演奏することができる。なお、平成１６年７月の時点で、著名な某通信会社から市販されているカメラ付き携帯電話装置においては、例えば、３５機種の中で２６機種には既に赤外線通信機能が搭載されている。なおまた、ブルートゥース通信機能についても、パソコンなどのＩＴ分野において既に実用化されており、近い将来においてはカメラ付き携帯電話装置に搭載できることが予想され得る。さらに、ヘッドホン７に赤外線通信又はブルートゥース通信を利用したデータ通信機能を容易に付加できることは、改めて記述するまでもなく明らかである。
【００９３】
なお、上記各実施形態においては、電子楽器演奏装置および仮想楽器の演奏方法について説明したが、仮想楽器の演奏処理のプログラムをインターネットなどのネットワークを介してダウンロードしたり、仮想楽器の演奏処理のプログラムを記録した記録媒体をカメラ付き携帯電話装置に装着して、そのプログラムを実行させることも可能である。この場合には、プログラムの発明およびプログラムを記録した記録媒体の発明を実現する。
すなわち、その仮想楽器の演奏処理のプログラムは、複数種類の仮想の打楽器を演奏するために、所定の撮像手段によって撮像された画像の中からあらかじめ設定されている１種類又は複数種類の特定画像を抽出する第１のステップと、前記第１のステップによって抽出した特定画像の動きベクトルを分析して、当該特定画像に対してあらかじめ設定されている仮想楽器を判定する第２のステップと、
前記第２のステップによって判定した仮想楽器の音色のリズム音信号を発生する第３のステップと、を実行する。
また、その記録媒体は、複数種類の仮想の打楽器を演奏するために、所定の撮像手段によって撮像された画像の中からあらかじめ設定されている１種類又は複数種類の特定画像を抽出する第１のステップと、前記第１のステップによって抽出した特定画像の動きベクトルを分析して、当該特定画像に対してあらかじめ設定されている仮想楽器を判定する第２のステップと、前記第２のステップによって判定した仮想楽器の音色のリズム音信号を発生する第３のステップと、を実行する仮想楽器の演奏処理のプログラムを記録している。
【図面の簡単な説明】
【００９４】
【図１】第１実施形態における電子楽器装置を演奏者が使用する状態を示す図である。
【図２】図１に示したキャリアケースに収容されたカメラ付き携帯電話装置を示す図である。
【図３】カメラ付き携帯電話装置の内部構成を示すブロック図である。
【図４】ヘッドホンの内部構成を示すブロック図である。
【図５】ＣＰＵのメインルーチンのフローチャートである。
【図６】図５に続くＣＰＵのメインルーチンのフローチャートである。
【図７】（Ａ）はメニュー画面を示す図であり、（Ｂ）はメニュー画面のアイコンに対応するスイッチを示す図である。
【図８】ドラム設定処理のフローチャートである。
【図９】図８に続くドラム設定処理のフローチャートである。
【図１０】ドラム設定処理における設定画面の内容を示す図である。
【図１１】ドラム演奏の設定画面を示す図である。
【図１２】ドラム演奏の決定画面の例を示す図である。
【図１３】ＲＡＭに記憶された配列ＡＲのデータの図である。
【図１４】図９におけるドラム処理のフローチャートである。
【図１５】図１４における音声処理のフローチャートである。
【図１６】図１４における画像処理のフローチャートである。
【図１７】確定動線の演算処理を説明するための図である。
【図１８】任意のドラム演奏の画像を示す図である。
【図１９】フラッシュメモリにストアした特定画像を表す図である。
【図２０】画像分析処理のフローチャートである。
【図２１】図２０に続く画像分析処理のフローチャートである。
【図２２】図１９のフレーム画像の次のフレーム画像を示す図である。
【図２３】特殊画像について１０フレーム分の各画像の動線を示した図である。
【図２４】第２実施形態における電子楽器装置を演奏者が使用する状態を示す図である。
【図２５】本発明の電子楽器装置に使用するカメラ付き携帯電話装置の第１実施形態における外観図および断面の一部を示す図である。
【図２６】本発明の電子楽器装置に使用するカメラ付き携帯電話装置の第２実施形態における外観図および断面の一部を示す図である。
【図２７】本発明の電子楽器装置に使用するカメラ付き携帯電話装置の第２実施形態における外観図および断面の一部を示す図である。
【図２８】本発明の電子楽器装置に使用するカメラ付き携帯電話装置の第３実施形態における外観図および断面の一部を示す図である。
【図２９】図２８のカメラ付き携帯電話装置の突起部に付加レンズ装置を装着した例を示す図である。
【図３０】本発明の電子楽器装置に使用するカメラ付き携帯電話装置の第３実施形態の変形例における光学手段の構造を示す図である。
【図３１】図３０の光学手段をカメラ付き携帯電話装置に組み込んだ状態を示す図である。
【図３２】ヘッドホン７にカメラ付き携帯電話装置５を取り付けた状態を示す図である。
【図３３】他の実施形態における電子楽器装置を演奏者が使用する状態を示す図である。
【図３４】他の実施形態におけるヘッドホンの構成を示すブロック図である。
【図３５】図３４のＣＰＵの動作を示すフローチャートである。
【図３６】他の実施形態における携帯電話装置のドラム処理のフローチャートである。
【図３７】第１実施形態の変形例における電子楽器装置を演奏者が使用する状態を示す図である。
【符号の説明】
【００９５】
１、２ スティック
１ａ、２ａ スティックの先端部
３、４、１１１、１１２、１１３、１１４ 黒球
５ カメラ付き携帯電話装置
７ ヘッドホン
８、５５、５８、２１０、２０５、３０４、４０１、４０２ レンズ
１１ ＣＰＵ
１７ カメラ部
１８ フラッシュメモリ
１９ 音源部
５１、２０１ 下部本体
５２、２０２ 上部本体
５４、５９、２１３ 表示部
５６、２０４ 撮像素子
２０６、４０３ プリズム
２１１ ヘリカルアンテナ
３０１ 付加レンズ装置
【特許請求の範囲】
【請求項１】
撮像手段と、
複数種類の仮想の打楽器を演奏するために、前記撮像手段によって撮像された画像の中からあらかじめ設定されている１種類又は複数種類の特定画像を抽出する画像抽出手段と、
この画像抽出手段によって抽出された特定画像の動きベクトルを分析して、当該特定画像に対してあらかじめ設定されている仮想楽器を判定する画像分析手段と、
この画像分析手段によって判定された仮想楽器の音色のリズム音信号を発生する信号発生手段と、
を備えた電子楽器装置。
【請求項２】
前記画像抽出手段は、前記複数種類の仮想の打楽器を演奏するために、演奏者の手に保持された物体又は手、手首若しくは腕に取り付けられた物体、および演奏者の膝又は大腿部に取り付けられた物体の撮像された画像を特定画像として抽出することを特徴とする請求項１に記載の電子楽器装置。
【請求項３】
前記信号発生手段は、無線信号又は所定の信号線を介して、発生したリズム音信号を所定の発音手段に出力することを特徴とする請求項１に記載の電子楽器装置。
【請求項４】
前記信号発生手段は、指定された曲のメロディ音信号とともに、発生したリズム音信号を前記発音手段に出力することを特徴とする請求項３に記載の電子楽器装置。
【請求項５】
前記撮像手段、前記画像抽出手段、前記画像分析手段、および前記信号発生手段は、カメラ付き携帯電話装置で構成され、前記撮像手段は、前記発音手段を装着して仮想楽器を演奏する演奏者の画像を撮像し、前記信号発生手段は、発生したリズム音信号を無線信号によって前記発音手段に送信することを特徴とする請求項３に記載の電子楽器装置。
【請求項６】
複数種類の仮想の打楽器を演奏するために、所定の撮像手段によって撮像された画像の中からあらかじめ設定されている１種類又は複数種類の特定画像を抽出し、抽出した特定画像の動きベクトルを分析して、当該特定画像に対してあらかじめ設定されている仮想楽器を判定し、判定した仮想楽器の音色のリズム音信号を発生する仮想楽器の演奏方法。
【請求項７】
複数種類の仮想の打楽器を演奏するために、所定の撮像手段によって撮像された画像の中からあらかじめ設定されている１種類又は複数種類の特定画像を抽出する第１のステップと、
前記第１のステップによって抽出した特定画像の動きベクトルを分析して、当該特定画像に対してあらかじめ設定されている仮想楽器を判定する第２のステップと、
前記第２のステップによって判定した仮想楽器の音色のリズム音信号を発生する第３のステップと、
を実行する仮想楽器の演奏処理のプログラム。
【請求項８】
複数種類の仮想の打楽器を演奏するために、所定の撮像手段によって撮像された画像の中からあらかじめ設定されている１種類又は複数種類の特定画像を抽出する第１のステップと、
前記第１のステップによって抽出した特定画像の動きベクトルを分析して、当該特定画像に対してあらかじめ設定されている仮想楽器を判定する第２のステップと、
前記第２のステップによって判定した仮想楽器の音色のリズム音信号を発生する第３のステップと、
を実行する仮想楽器の演奏処理のプログラムを記録した記録媒体。
【特許請求の範囲】
【請求項１】
撮像手段と、
複数種類の仮想の打楽器を演奏するために、前記撮像手段によって撮像された画像の中からあらかじめ設定されている１種類又は複数種類の特定画像を抽出する画像抽出手段と、
前記画像抽出手段によって抽出された特定画像の動きベクトルを分析して、当該特定画像に対してあらかじめ設定されている仮想楽器を判定する画像分析手段と、
前記画像分析手段によって判定された仮想楽器の音色のリズム音信号および操作に応じて指定された曲のメロディ音信号を発生して、無線信号又は所定の信号線を介して所定の発音手段に出力する信号発生手段と、
を備えた電子楽器装置。
【請求項２】
前記画像抽出手段は、前記複数種類の仮想の打楽器を演奏するために、演奏者の手に保持された物体又は手、手首若しくは腕に取り付けられた物体、および演奏者の膝又は大腿部に取り付けられた物体の撮像された画像を特定画像として抽出することを特徴とする請求項１に記載の電子楽器装置。
【請求項３】
前記撮像手段、前記画像抽出手段、前記画像分析手段、および前記信号発生手段は、カメラ付き携帯電話装置で構成され、前記撮像手段は、前記発音手段を装着して仮想楽器を演奏する演奏者の画像を撮像し、前記信号発生手段は、発生したリズム音信号を無線信号によって前記発音手段に送信することを特徴とする請求項１に記載の電子楽器装置。
【請求項４】
複数種類の仮想の打楽器を演奏するために、所定の撮像手段によって撮像された画像の中からあらかじめ設定されている１種類又は複数種類の特定画像を抽出する第１のステップと、
前記第１のステップによって抽出された特定画像の動きベクトルを分析して、当該特定画像に対してあらかじめ設定されている仮想楽器を判定する第２のステップと、
前記第２のステップによって判定された仮想楽器の音色のリズム音信号および操作に応じて指定された曲のメロディ音信号を発生して、無線信号を介して所定の発音手段に出力する第３のステップと、
を実行する仮想楽器の演奏処理のプログラム。
【請求項１】
撮像手段と、
複数種類の仮想の打楽器を演奏するために、前記撮像手段によって撮像された画像の中からあらかじめ設定されている１種類又は複数種類の特定画像を抽出する画像抽出手段と、
この画像抽出手段によって抽出された特定画像の動きベクトルを分析して、当該特定画像に対してあらかじめ設定されている仮想楽器を判定する画像分析手段と、
この画像分析手段によって判定された仮想楽器の音色のリズム音信号を発生する信号発生手段と、
を備えた電子楽器装置。
【請求項２】
前記画像抽出手段は、前記複数種類の仮想の打楽器を演奏するために、演奏者の手に保持された物体又は手、手首若しくは腕に取り付けられた物体、および演奏者の膝又は大腿部に取り付けられた物体の撮像された画像を特定画像として抽出することを特徴とする請求項１に記載の電子楽器装置。
【請求項３】
前記信号発生手段は、無線信号又は所定の信号線を介して、発生したリズム音信号を所定の発音手段に出力することを特徴とする請求項１に記載の電子楽器装置。
【請求項４】
前記信号発生手段は、指定された曲のメロディ音信号とともに、発生したリズム音信号を前記発音手段に出力することを特徴とする請求項３に記載の電子楽器装置。
【請求項５】
前記撮像手段、前記画像抽出手段、前記画像分析手段、および前記信号発生手段は、カメラ付き携帯電話装置で構成され、前記撮像手段は、前記発音手段を装着して仮想楽器を演奏する演奏者の画像を撮像し、前記信号発生手段は、発生したリズム音信号を無線信号によって前記発音手段に送信することを特徴とする請求項３に記載の電子楽器装置。
【請求項６】
複数種類の仮想の打楽器を演奏するために、所定の撮像手段によって撮像された画像の中からあらかじめ設定されている１種類又は複数種類の特定画像を抽出し、抽出した特定画像の動きベクトルを分析して、当該特定画像に対してあらかじめ設定されている仮想楽器を判定し、判定した仮想楽器の音色のリズム音信号を発生する仮想楽器の演奏方法。
【請求項７】
複数種類の仮想の打楽器を演奏するために、所定の撮像手段によって撮像された画像の中からあらかじめ設定されている１種類又は複数種類の特定画像を抽出する第１のステップと、
前記第１のステップによって抽出した特定画像の動きベクトルを分析して、当該特定画像に対してあらかじめ設定されている仮想楽器を判定する第２のステップと、
前記第２のステップによって判定した仮想楽器の音色のリズム音信号を発生する第３のステップと、
を実行する仮想楽器の演奏処理のプログラム。
【請求項８】
複数種類の仮想の打楽器を演奏するために、所定の撮像手段によって撮像された画像の中からあらかじめ設定されている１種類又は複数種類の特定画像を抽出する第１のステップと、
前記第１のステップによって抽出した特定画像の動きベクトルを分析して、当該特定画像に対してあらかじめ設定されている仮想楽器を判定する第２のステップと、
前記第２のステップによって判定した仮想楽器の音色のリズム音信号を発生する第３のステップと、
を実行する仮想楽器の演奏処理のプログラムを記録した記録媒体。
【特許請求の範囲】
【請求項１】
撮像手段と、
複数種類の仮想の打楽器を演奏するために、前記撮像手段によって撮像された画像の中からあらかじめ設定されている１種類又は複数種類の特定画像を抽出する画像抽出手段と、
前記画像抽出手段によって抽出された特定画像の動きベクトルを分析して、当該特定画像に対してあらかじめ設定されている仮想楽器を判定する画像分析手段と、
前記画像分析手段によって判定された仮想楽器の音色のリズム音信号および操作に応じて指定された曲のメロディ音信号を発生して、無線信号又は所定の信号線を介して所定の発音手段に出力する信号発生手段と、
を備えた電子楽器装置。
【請求項２】
前記画像抽出手段は、前記複数種類の仮想の打楽器を演奏するために、演奏者の手に保持された物体又は手、手首若しくは腕に取り付けられた物体、および演奏者の膝又は大腿部に取り付けられた物体の撮像された画像を特定画像として抽出することを特徴とする請求項１に記載の電子楽器装置。
【請求項３】
前記撮像手段、前記画像抽出手段、前記画像分析手段、および前記信号発生手段は、カメラ付き携帯電話装置で構成され、前記撮像手段は、前記発音手段を装着して仮想楽器を演奏する演奏者の画像を撮像し、前記信号発生手段は、発生したリズム音信号を無線信号によって前記発音手段に送信することを特徴とする請求項１に記載の電子楽器装置。
【請求項４】
複数種類の仮想の打楽器を演奏するために、所定の撮像手段によって撮像された画像の中からあらかじめ設定されている１種類又は複数種類の特定画像を抽出する第１のステップと、
前記第１のステップによって抽出された特定画像の動きベクトルを分析して、当該特定画像に対してあらかじめ設定されている仮想楽器を判定する第２のステップと、
前記第２のステップによって判定された仮想楽器の音色のリズム音信号および操作に応じて指定された曲のメロディ音信号を発生して、無線信号を介して所定の発音手段に出力する第３のステップと、
を実行する仮想楽器の演奏処理のプログラム。
【図１】
【図２】
【図３】
【図４】
【図５】
【図６】
【図７】
【図８】
【図９】
【図１０】
【図１１】
【図１２】
【図１３】
【図１４】
【図１５】
【図１６】
【図１７】
【図１８】
【図１９】
【図２０】
【図２１】
【図２２】
【図２３】
【図２４】
【図２５】
【図２６】
【図２７】
【図２８】
【図２９】
【図３０】
【図３１】
【図３２】
【図３３】
【図３４】
【図３５】
【図３６】
【図３７】
【図２】
【図３】
【図４】
【図５】
【図６】
【図７】
【図８】
【図９】
【図１０】
【図１１】
【図１２】
【図１３】
【図１４】
【図１５】
【図１６】
【図１７】
【図１８】
【図１９】
【図２０】
【図２１】
【図２２】
【図２３】
【図２４】
【図２５】
【図２６】
【図２７】
【図２８】
【図２９】
【図３０】
【図３１】
【図３２】
【図３３】
【図３４】
【図３５】
【図３６】
【図３７】
【公開番号】特開２００６−５３１６７（Ｐ２００６−５３１６７Ａ）
【公開日】平成１８年２月２３日（２００６．２．２３）
【国際特許分類】
【出願番号】特願２００４−２１４９７０（Ｐ２００４−２１４９７０）
【出願日】平成１６年７月２２日（２００４．７．２２）
【特許番号】特許第３６８４４２０号（Ｐ３６８４４２０）
【特許公報発行日】平成１７年８月１７日（２００５．８．１７）
【公序良俗違反の表示】
（特許庁注：以下のものは登録商標）
１．Ｂｌｕｅｔｏｏｔｈ
【出願人】（３０３０１５６５３）有限会社ラルゴ (23)
【Ｆターム（参考）】
【公開日】平成１８年２月２３日（２００６．２．２３）
【国際特許分類】
【出願日】平成１６年７月２２日（２００４．７．２２）
【特許番号】特許第３６８４４２０号（Ｐ３６８４４２０）
【特許公報発行日】平成１７年８月１７日（２００５．８．１７）
【公序良俗違反の表示】
（特許庁注：以下のものは登録商標）
１．Ｂｌｕｅｔｏｏｔｈ
【出願人】（３０３０１５６５３）有限会社ラルゴ (23)
【Ｆターム（参考）】
[ Back to top ]