電子楽器システムとそのシステムに用いる装置およびプログラム
【課題】 実際のドラムと同じような感覚で演奏することができるとともに、狭い場所でも演奏することができる電子楽器装置を提供する。
【解決手段】 携帯電話装置５は、赤、緑、および青からなる原色系のカラーフィルタを有するとともに、スイッチ部からのテスト演奏指令および演奏開始指令に応じて、打楽器に対応する赤球１、青球２、緑球３、および緑球４の映像を光電変換してカラーの画像信号を出力し、各球の略中心位置の位置情報を検出し、各球の移動軌跡を示す位置情報に応じて、その球に対応する打楽器の楽音信号を発生して、ブルートゥース通信によって楽音信号をヘッドホン装置６に送信して発音させる。
【解決手段】 携帯電話装置５は、赤、緑、および青からなる原色系のカラーフィルタを有するとともに、スイッチ部からのテスト演奏指令および演奏開始指令に応じて、打楽器に対応する赤球１、青球２、緑球３、および緑球４の映像を光電変換してカラーの画像信号を出力し、各球の略中心位置の位置情報を検出し、各球の移動軌跡を示す位置情報に応じて、その球に対応する打楽器の楽音信号を発生して、ブルートゥース通信によって楽音信号をヘッドホン装置６に送信して発音させる。
【発明の詳細な説明】
【技術分野】
【０００１】
本発明は、電子楽器システムとそのシステムに用いる装置及びプログラムに関し、特に、仮想の打楽器を演奏する電子楽器システムとそのシステムに用いる装置およびプログラムに関するものである。
【背景技術】
【０００２】
近年、ＣＰＵやその他の半導体などを利用した電子鍵盤楽器が普及しているが、仮想の打楽器を演奏するための電子楽器装置も次第に商品化され、高い性能の製品も開発されている。また、仮想の打楽器を演奏するための技術も多く提案されている。
ある提案の電子楽器においては、ドラムのスティックに圧電ジャイロセンサ又はマイクロ加速度センサを設け、この角速度センサから結線した回路により角速度を検出して、この角速度を制御信号に変換し、この制御信号により音量および音質を設定するシンセサイザを備えた構成になっている。この構成により、スティックを振るだけで打楽器の音を発生できる。（特許文献１参照）
また、ある提案の電子打楽器においては、中空状のスティック本体内に、発光素子および受光素子を有する光センサと、スティック本体の振り動作に応じて受光素子に入射する光量（反射光量、透過光量）を変化させる振動子を設けた構成になっている。この構成により、スティックを振ると、その振りに応じて振動子が振動し、この振動子の振動に応じて発光素子からの光の反射状態又は透過状態が変化し、この変化に応じた光量を受光素子が受光するため、スティック本体の振り操作を振動子の振動状態の波形として検出することができ、スティック本体の微妙な振動を精度よく検出することができ、しかも非接触方式であるから耐久性にも優れ、信頼性の高いものを得ることができる。（特許文献２参照）
また、ある提案の電子ドラムにおいては、電子ドラムのパッドの外周であるパッド枠の少なくとも一箇所を透明若しくは半透明とした導光板で形成し、その導光板に複数色の光源からの光を導光し発光させる構成とともに、所望の条件に従う点灯信号発生手段からの信号により点滅と発光色の切換とを行う構成になっている。この構成により、パッドに割り付けられた打楽器の種類など、演奏者が所望する情報を発光色、発光数などにより告知できる。（特許文献３参照）
また、ある提案の入力装置およびこれを用いた電子楽器においては、２本のワイヤが１点で固定されたスタンドと、それぞれのワイヤに固定された２本のスティックと、ワイヤに張力が生じたことを検知し、ワイヤが張った状態でこのワイヤが交わる線上での位置を検知するセンサと、位置を表す信号に応じた音色の信号を発生し得る音源装置と、センサが張力を検知したときに音源装置からの信号を出力する出力手段とを備えた構成になっている。この構成により、ワイヤが充分に伸びた瞬間のタイミングとその時の打点位置を電気信号として検出でき、それを用いて電子音源装置を操作することにより電子ドラムシステムの演奏が可能になる。（特許文献４参照）
また、ある提案の仮想楽器演奏装置においては、大型ＴＶ画面の表示装置およびその両脇にビデオカメラが設置された構成になっている。そして、画面に映っている演奏者の手が画面の上部の６つのボタンのいずれかに画面上で接触すると、発音を開始するようになっている。（特許文献５参照）
また、ある提案の運動特定装置、電子楽器、および入力デバイスにおいては、ユーザが紙などに描かれた木琴の絵を打鍵することで、スピーカから木琴の楽音が出力されるようになっている。（特許文献６参照）
また、ある提案の楽音生成装置、楽音生成プログラムおよび楽音生成方法においては、コンピュータの画面を縦方向に複数の区画に分割し、各区画に対して楽器を割り当てている。ドラムの区画においては、カメラで撮像した演奏者の手の画像が縦方向に動くと、その表示位置に応じてドラムの音色を変える構成になっている。（特許文献７参照）
【特許文献１】特開平６−７５５７１号公報
【特許文献２】特開平１０−５５１７５号公報
【特許文献３】特開平１１−３０９８３号公報
【特許文献４】特開２０００−１６３０４９号公報
【特許文献５】特開２００２−０４１０３８号公報
【特許文献６】特開２００４−１８５５６５号公報
【特許文献７】特開２００４−２０５７３８号公報
【発明の開示】
【発明が解決しようとする課題】
【０００３】
しかしながら、上記各特許文献においては、実際のドラムと同じような感覚で演奏することができないという課題、又は、擬似ドラムを設置するだけの広いスペースが必要になるという課題があった。
例えば、特許文献１の構成においては、スティックだけではドラムの種類や位置を判別できないので、ドラム演奏の臨場感を得ることができず、結局は、図４に示されるように、摸擬ドラムのメンブレム部やスネア部に角速度センサを取り付けることになる。したがって、擬似ドラムを設置するためのスペースが必要になる。また、ステックと装置（この場合は、プロセッサの回路部）とを接続するための信号線が必要となり、スティックの操作が制限されてしまうことになる。
また、特許文献２の構成においては、特許文献１の場合と同様に、スティックだけではドラムの種類や位置を判別できないので、ドラム演奏の臨場感を得ることができない上、スティックと楽音発生装置とを接続するための信号線が必要となり、スティックの操作が制限されてしまうことになる。さらに、スティックの振りが激しい場合には、スティック内のセンサ部が破損するおそれもある。
また、特許文献３の構成においては、擬似ドラムとしてのパッドを設置しなければならず、擬似ドラムを設置するだけの広いスペースが必要になるので、狭い家屋では設置することが困難である。
また、特許文献４の構成においては、図１からも明らかなように、スツール付きの大きなスタンドを設置しなければならず、自宅で手軽に演奏することができない。さらに、スティックとスタンドとを結ぶワイヤによって、スティックの操作が制限されてしまうことになる。さらにまた、図４および図６に示されているように、スティック操作を検出するセンサの機構が複雑であるので、製造コストやメンテナンスコストが高くなってしまう。
また、特許文献５の構成においては、表示装置の構成によって演奏者の動作が大きく左右されてしまう。例えば、画面に映る演奏者の大きさが等身大でない場合には、演奏者の手の移動距離と手の画像の移動距離とが異なるので、自由な演奏ができない。また、液晶のような平面タイプの表示装置は早い動きをスムーズに表示できず、ブラウン管を用いた表示装置を設置することが必要になり、広い場所を必要とする。さらに、表示装置にあらかじめ表示されている特定の画像位置に、カメラで撮像された演奏者の手の画像位置を合わせる動作は、空間で手を動かす場合のように自由な動作にはならず、仮想のドラム演奏には適していない。
また、特許文献６の構成を仮想のドラム演奏に取り入れたとすると、平面に置かれた紙などに、ハイハット、バスドラム、フロアタム、スネアドラム、タムタム、トップシンバルなどの各打楽器の絵を描いて、それにスティックなどを打ち当てることになる。しかし、各打楽器は高さが異なるので、実際のドラムと同じように演奏することはできない。
また、特許文献７の構成においては、特許文献５の場合と同様に、画面に映る演奏者の大きさが等身大でない場合には、演奏者の手の移動距離と手の画像の移動距離とが異なるので、自由な演奏ができない。また、図１に示されている液晶のような平面タイプの表示装置のコンピュータでは早い動きをスムーズに表示できず、ブラウン管を用いたコンピュータが必要になり、広い場所を必要とする。さらに、コンピュータの画面にあらかじめ表示されている特定の画像位置に、カメラで撮像された演奏者の手の画像位置を合わせる動作は、空間で手を動かす場合のように自由な動作にはならず、仮想のドラム演奏には適していない。
【０００４】
本発明は、このような従来の課題を解決するためになされたもので、実際のドラムと同じような感覚で演奏することができるとともに、狭い場所でも演奏できるようにすることを目的とする。
【課題を解決するための手段】
【０００５】
本発明の電子楽器システムは、電子カメラ装置とコンピュータとの間で通信を行って楽音信号を発生する電子楽器システムであって、
電子カメラ装置は、
所定の角度以上の画角を有する光学部材と、
赤、緑、および青からなる原色系のカラーフィルタ、又は、シアン、マゼンタ、黄、および緑からなる補色系のカラーフィルタを有するとともに、コンピュータから受信したテスト演奏指令および演奏開始指令に応じて、光学部材から入射する略球形の形状で原色系又は補色系の色彩からなる１種類以上の物体の映像を光電変換してカラーの画像信号を出力する撮像素子と、
撮像素子に対して読出信号を繰り返し与えて、各読出信号ごとに撮像素子から出力される画像信号に基づいて物体の略中心位置の位置情報を検出し、前回検出した位置情報と今回検出した位置情報に基づいて次にその物体を検出する範囲を決定しながらその物体の移動軌跡を示す位置情報を順次出力する演算処理回路と、を備え、
コンピュータは、
操作に応じて複数種類の指令を入力するキーボードと、
キーボードから入力された打楽器演奏の指令に応じて、表示部に複数種類の打楽器のリストを表示する表示制御機能と、
キーボードから入力された打楽器選択の指令に応じて、その選択に係る１種類以上の打楽器をメモリに記憶して設定する楽器設定機能と、
キーボードから入力された曲選択の指令に応じて、その選択に係る曲をメモリに記憶して設定する曲設定機能と、
楽器設定機能によって打楽器が設定された後に、キーボードから入力されたテスト演奏の指令に応じて、楽器設定機能によって設定された打楽器を１つの打楽器から順に指定して、その指定した打楽器のテスト演奏を促す旨の音声信号をオーディオ装置に送出して発音させるとともに、電子カメラ装置にテスト演奏指令を送信するテスト演奏機能と、
電子カメラ装置にテスト演奏指令を送信した後に、電子カメラ装置から物体の移動軌跡を示す位置情報を受信したときは、その移動軌跡をその指定された打楽器の基準演奏パターンとしてメモリに設定する演奏設定機能と、
打楽器設定機能によって設定された全ての打楽器の基準演奏パターンが演奏設定機能によって設定された後に、電子カメラ装置に送信した演奏開始指令に応じて、電子カメラ装置から受信した物体の移動軌跡の位置情報が前記メモリに設定されているいずれかの打楽器の基準演奏パターンと一致するか否かを分析する画像分析定機能と、
演奏開始指令に応じてメモリに設定された曲のメロディ音の第１の楽音信号を発生するとともに、画像分析機能によって物体の移動軌跡の位置情報が前記メモリに設定されているいずれかの打楽器の基準演奏パターンと一致することが分析されたときは、その一致する打楽器の音色の第２の楽音信号を発生して、その第１および第２の楽音信号をオーディオ装置に送出して発音させる信号発生機能と、を備えた構成になっている。
【０００６】
あるいは、本発明の電子楽器システムは、携帯電話装置とその携帯電話装置から送信される楽音信号に応じて発音するオーディオ装置とで構成される電子楽器システムであって、
携帯電話装置は、
操作に応じて複数種類の指令を入力するスイッチ部と、
所定の角度以上の画角を有する光学部材と、
赤、緑、および青からなる原色系のカラーフィルタ、又は、シアン、マゼンタ、黄、および緑からなる補色系のカラーフィルタを有するとともに、スイッチ部からのテスト演奏指令および演奏開始指令並びに入力される駆動信号に応じて、光学部材から入射する略球形の形状で原色系又は補色系の色彩からなる１種類以上の物体の映像を光電変換してカラーの画像信号を出力する撮像素子と、
撮像素子に対して読出信号を繰り返し与えて、各読出信号ごとに撮像素子から出力される画像信号に基づいて物体の略中心位置の位置情報を検出し、前回検出した位置情報と今回検出した位置情報に基づいて撮像素子が次に光電変換する範囲を指定する駆動信号を発生して撮像素子に入力するとともに、その物体の移動軌跡を示す位置情報を順次出力する演算処理回路と、
スイッチ部から入力された打楽器演奏の指令に応じて、表示部に複数種類の打楽器のリストを表示する表示制御機能と、
スイッチ部から入力された打楽器選択の指令に応じて、その選択に係る１種類以上の打楽器をメモリに記憶して設定する楽器設定機能と、
スイッチ部から入力された曲選択の指令に応じて、その選択に係る曲をメモリに記憶して設定する曲設定機能と、
楽器設定機能によって打楽器が設定された後に、スイッチ部から入力されたテスト演奏の指令に応じて、楽器設定機能によって設定された打楽器を１つの打楽器から順に指定して、その指定した打楽器のテスト演奏を促す旨の音声信号をオーディオ装置に送信して発音させるとともに、撮像素子にテスト演奏指令を入力するテスト演奏機能と、
撮像素子にテスト演奏指令を入力した後に、演算処理回路から物体の移動軌跡を示す位置情報を取得したときは、その移動軌跡をその指定された打楽器の基準演奏パターンとしてメモリに設定する演奏設定機能と、
打楽器設定機能によって設定された全ての打楽器の基準演奏パターンが演奏設定機能によって設定された後に、撮像素子に入力した演奏開始指令に応じて、演算処理回路から取得した物体の移動軌跡の位置情報がメモリに設定されているいずれかの打楽器の基準演奏パターンと一致するか否かを分析する画像分析定機能と、
演奏開始指令に応じてメモリに設定された曲のメロディ音の第１の楽音信号を発生するとともに、画像分析機能によって物体の移動軌跡の位置情報が前記メモリに設定されているいずれかの打楽器の基準演奏パターンと一致することが分析されたときは、その一致する打楽器の音色の第２の楽音信号を発生して、その第１および第２の楽音信号をオーディオ装置に送信して発音させる信号発生機能と、を備えた構成になっている。
【０００７】
本発明の電子楽器システムに利用するカメラ付き携帯電話装置は、表示部の画面を保護する透明板と、その透明板に形成されて表示部の表示画像の光を透過するハーフミラーと、そのハーフミラーによって反射された表示部に対面する被写体の映像をカメラの光学部材に導く導光部材と、を有する。
【０００８】
本発明の電子楽器システムに利用するカメラ付きコンピュータは、表示部の画面を保護する透明板と、その透明板に形成されて表示部の表示画像の光を透過するハーフミラーと、そのハーフミラーによって反射された表示部に対面する被写体の映像をカメラの光学部材に導く導光部材と、を有する。
【０００９】
本発明の電子楽器システムに用いるプログラムは、所定の角度以上の画角を有する光学部材と、赤、緑、および青からなる原色系のカラーフィルタ、又は、シアン、マゼンタ、黄、および緑からなる補色系のカラーフィルタを有するとともに、光学部材から入射する略球形の形状で原色系又は補色系の色彩からなる１種類以上の物体の映像を光電変換してカラーの画像信号を出力する撮像素子と、撮像素子に対して読出信号を繰り返し与えて、各読出信号ごとに撮像素子から出力される画像信号に基づいて物体の略中心位置の位置情報を検出し、前回検出した位置情報と今回検出した位置情報に基づいて次にその物体を検出する範囲を決定しながらその物体の移動軌跡を示す位置情報を順次出力する演算処理回路と、を備えた電子カメラ装置と、コンピュータとの間で通信を行って楽音信号を発生する電子楽器システムに用いるプログラムであって、そのプログラムは、
キーボードの操作に応じて複数種類の指令を入力するステップＡと、
ステップＡによって入力された打楽器演奏の指令に応じて、表示部に複数種類の打楽器のリストを表示するステップＢと、
ステップＡによって入力された打楽器選択の指令に応じて、その選択に係る１種類以上の打楽器をメモリに記憶して設定するステップＣと、
ステップＡによって入力された曲選択の指令に応じて、その選択に係る曲をメモリに記憶して設定するステップＤと、
ステップＣによって打楽器が設定された後に、ステップＡによって入力されたテスト演奏の指令に応じて、ステップＣによって設定された打楽器を１つの打楽器から順に指定して、その指定した打楽器のテスト演奏を促す旨の音声信号をオーディオ装置に送出して発音させるとともに、電子カメラ装置にテスト演奏指令を送信するステップＥと、
電子カメラ装置にテスト演奏指令を送信した後に、電子カメラ装置から物体の移動軌跡を示す位置情報を受信したときは、その移動軌跡をその指定された打楽器の基準演奏パターンとしてメモリに設定するステップＦと、
ステップＣによって設定された全ての打楽器の基準演奏パターンがステップＦによって設定された後に、電子カメラ装置に送信した演奏開始指令に応じて、電子カメラ装置から受信した物体の移動軌跡の位置情報がメモリに設定されているいずれかの打楽器の基準演奏パターンと一致するか否かを分析するステップＧと、
演奏開始指令に応じてメモリに設定された曲のメロディ音の第１の楽音信号を発生するとともに、ステップＧによって物体の移動軌跡の位置情報がメモリに設定されているいずれかの打楽器の基準演奏パターンと一致することが分析されたときは、その一致する打楽器の音色の第２の楽音信号を発生して、その第１および第２の楽音信号をオーディオ装置に送出して発音させるステップＨと、
をコンピュータに実行させる。
【発明の効果】
【００１０】
本発明の電子楽器システムおよびそのシステムに用いるプログラムによれば、実際のドラムと同じような感覚で仮想のドラム演奏することができるとともに、狭い場所でも仮想のドラム演奏することができるという効果が得られる。
【発明を実施するための最良の形態】
【００１１】
以下、本発明による電子楽器システムの第１実施形態ないし第６実施形態、およびいくつかの変形例について、図を参照しながら詳細に説明する。
図１は、第１実施形態における電子楽器システムを演奏者が使用する状態を示す図である。この図において、演奏者１００の右手１０１および左手１０２のそれぞれには、略球形の形状で赤および青に着色されている先端部（以下、「赤球１」および「青球２」という）を持つスティック１ａおよび２ａが握られている。また、演奏者１００の右脚１０３および左脚１０４には、略球形の形状で緑に着色された物体３および４（以下、「緑球３」および「緑球４」という）が、それぞれ帯状の保持部材３ａおよび４ａによって固定されている。また、演奏者１００の前面の机１０５の上面には、携帯電話装置５が置かれている。また、演奏者１００の頭部１０６には、ステレオ用のヘッドホン装置６（オーディオ装置）が装着されている。このヘッドホン装置６には、音量調整用のボリューム６ａが設けられている。なお、携帯電話装置５とヘッドホン装置６とは近距離無線通信であるブルートゥース（Bluetooth）無線通信によってデータの送受信を行う。あるいは、携帯電話装置５とヘッドホン装置６とは、同じく近距離無線通信である赤外線無線通信によってデータの送受信を行う。
【００１２】
図２は、図１に示した携帯電話装置５の構造を示す図である。携帯電話装置５は、上部本体５ａと下部本体ｂとがヒンジ部５ｃによって開閉可能な構造になっている。図２（１）に示すように、上部本体５ａには、表示部の画面５ｄと、演奏者の姿を撮影できるようなレンズ５ｅ（光学部材）が設けられている。下部本体５ｂには、複数のスイッチ５ｆが設けられている。図２（２）に示すように、レンズ５ｅは、略１１０度の広い視野角であり、上部本体５ａの角度調整によって垂直方向の画角調整（チルト調整）をすることができる。
【００１３】
図３は、携帯電話装置５の内部構成を示すブロック図である。この図において、ＣＰＵ１１は、システムバスを介して、ＲＯＭ１２、ＲＡＭ１３（メモリ）、無線送受信部１４、スイッチ部１５、表示部１６、カメラ部（アウト）１７ａ、カメラ部（イン）１７ｂ、フラッシュメモリ１８、音源部１９、およびブルートゥース通信部２０に接続され、これら各部との間で指令およびデータの授受を行って、この装置全体を制御する。なお、カメラ部１７ｂは、図２に示したレンズ５ｅから入射する被写体の映像を撮像するインカメラである。一方、カメラ部１７ａは、カメラ部１７ｂと反対側の面に設けられているレンズ（図示せず）から入射する被写体の映像を撮像するアウトカメラである。
ＲＯＭ１２は、ＣＰＵ１１によって実行されるプログラムや初期データなどを記憶している。ＲＡＭ１３は、ＣＰＵ１１のワークエリアであり、ドラム演奏に際して設定された各種のデータ、その他処理する各種のデータを一時的に記憶するバッファエリア、各種のレジスタ、フラグ、変数のためのエリアが用意されている。無線送受信部１４は、外部の携帯電話装置との間で電話、メール、画像の送受信を行なうとともに、インターネットなどのネットワークを介して配信される曲をダウンロードすることができる。スイッチ部１５は、テンキースイッチ、オフフックスイッチ、オンフックスイッチ、発信スイッチ、メニュースイッチ、カーソルスイッチなどで構成されている。表示部１６は、図２に示した画面５ｄに画像を表示するＬＣＤ（液晶表示デバイス）で構成されている。
【００１４】
フラッシュメモリ１８は、電源がオフされた後もデータを保持する書き換え可能な不揮発性メモリであり、電話やメールの着信履歴および発信履歴、アドレス帳として電話番号やメールアドレスのデータ、インターネットなどからダウンロードした曲のデータ、スイッチ部１５の操作によって録音された楽音データを記憶する。音源部１９は、バスドラム、スネアドラム、フロアタム、シンバル、タムタム、ハイハットなどの複数種類からなる打楽器の音色のＰＣＭ波形データを記憶し、ＣＰＵ１１によって判定された仮想楽器としての打楽器に応じて、その打楽器の音色のリズム音信号（第２の楽音信号）を発生する。ブルートゥース通信部２０は、音源部１９によって発生されたリズム音信号やフラッシュメモリ１８に記憶された曲の楽音信号（第１の楽音信号）を近距離通信方式のブルートゥース無線通信によってヘッドホン装置６やミニコンポなどの通常のオーディオ装置（図示せず）に対して送信する。通常のオーディオ装置に送信する場合には、携帯電話装置５のヘッドホン出力端子とオーディオ装置の外部入力端子とを接続する。
【００１５】
図４は、ヘッドホン装置６の内部構成を示すブロック図である。この図において、ブルートゥース通信部６１は、ブルートゥース無線通信によって携帯電話装置５のブルートゥース通信部２０から送信されるリズム音信号や曲の楽音信号を受信する。信号処理部６２は、ブルートゥース通信部６１から得られるリズム音信号や楽音信号をデジタルからアナログに変換して、ＬチャンネルとＲチャンネルとに分離するステレオ信号処理やフィルタ処理、増幅処理などその他の信号処理を施して出力する。アンプ６３は、信号処理部６２から出力されるステレオ信号を、ボリューム７ａの調整に応じた音量で左右のスピーカ６４Ｌおよび６４Ｒから発音する。
【００１６】
次に、携帯電話装置５の動作について、ＣＰＵ１１によって実行されるフローチャートおよび表示部１６の画面、ＲＡＭ１３のバッファエリア、レジスタ、フラグ、変数などに記憶されるデータに基づいて説明する。
図５および図６は、メインルーチンのフローチャートである。図５において、ＲＡＭ１３の初期化などの所定のイニシャライズ（ステップＳＡ１）の後、待受画面を表示する（ステップＳＡ２）。そして、オフフックスイッチがオンされたか否かを判別する（ステップＳＡ３）。このスイッチがオンされたときは、番号入力画面を表示して（ステップＳＡ４）、テンキースイッチによって入力された番号又はアドレス帳から呼び出された特定の番号を入力する番号入力処理を行ない（ステップＳＡ５）、発信スイッチのオンによってその番号を無線通信網に発信して（ステップＳＡ６）、スピーカによって呼出報知を行う（ステップＳＡ７）。そして、相手側との回線接続が確立したか否かを判別し（ステップＳＡ８）、回線接続が確立したときは、通話処理に遷移する（ステップＳＡ９）。通話処理中においては、オンフックスイッチがオンされたか否かを判別し（ステップＳＡ１０）、このスイッチがオンされたときは、回線切断などの終話処理を行って（ステップＳＡ１１）、ステップＳＡ２に移行して待受画面を表示する。
【００１７】
ステップＳＡ３において、オフフックスイッチがオンでない場合には、図６において、メニュースイッチがオンされたか否かを判別する（ステップＳＡ１２）。このスイッチがオンされたときは、メニュー画面を表示して（ステップＳＡ１３）、１つのメニューにフォーカスする（ステップＳＡ１４）。例えば、最初のメニューや前回選択されたメニューを強調して表示する。次に、カーソルスイッチがオンされたか否かを判別する（ステップＳＡ１５）。このスイッチがオンされたときは、フォーカス位置を移動する（ステップＳＡ１６）。そして、選択スイッチがオンされたか否かを判別し（ステップＳＡ１７）、このスイッチがオンでない場合には、戻るスイッチがオンされたか否かを判別する（ステップＳＡ１８）。戻るスイッチがオンでない場合には、ステップＳＡ１５においてカーソルスイッチのオンを判別し、戻るスイッチがオンされたときは、図５のステップＳＡ２に移行して待受画面を表示する。
【００１８】
図７（Ａ）は、メニュー画面を示す図であり、図７（Ｂ）は、スイッチ部１５においてメニュー画面および後述するその他の画面に表示されたアイコンに対応するカーソルスイッチ１５１、決定、スタート／ストップの操作を行う選択スイッチ１５２、および戻るスイッチ１５３を示す図である。メニュー画面には、複数のメニューが表示されるとともに、「選択」アイコンおよび「戻る」アイコンが表示される。カーソルスイッチ１５１の操作に応じて、強調表示されるメニューのフォーカス位置が変化する。図７（Ａ）の画面では、ドラム演奏のメニューにフォーカスが表示されている。
【００１９】
図６のステップＳＡ１７において、選択スイッチがオンされたときは、そのときのフォーカス位置のメニューを実行する。フォーカス位置がドラム演奏であるか否かを判別し（ステップＳＡ１９）、ドラム演奏である場合には、ドラム設定処理を実行する（ステップＳＡ２０）。フォーカス位置がドラム演奏でない場合には、フォーカス位置が再生であるか否かを判別する（ステップＳＡ２１）。再生である場合には、フラッシュメモリ１８に録音したドラム演奏のデータやダウンロードした曲のデータを再生する再生処理を行う（ステップＳＡ２２）。フォーカス位置がドラム演奏でも再生でもない場合には、フォーカス位置に対応する処理を行う（ステップＳＡ２３）。ドラム設定処理、再生処理、又はその他のフォーカス位置に対応する処理の後は、ステップＳＡ１３のメニュー画面に戻る。
【００２０】
一方、ステップＳＡ１２において、メニュースイッチがオンでない場合には、他のスイッチがオンされたか否かを判別し（ステップＳＡ２４）、いずれかのスイッチがオンされたときは、そのスイッチに対応する処理を行って（ステップＳＡ２５）、図５のステップＳＡ２に移行して待受画面を表示するが、いずれのスイッチもオンでない場合には、図５のステップＳＡ３に移行して、各スイッチがオンを判別する。
【００２１】
図８および図９は、ドラム設定処理のフローチャートである。図８において、まず、設定画面を表示する（ステップＳＢ１）。そして、所定のフォーカス表示を行う（ステップＳＢ２）。図１０は、ドラム設定処理における設定画面の内容を示す図である。この図に示すように、設定画面には、「前回設定」、「今回設定」、「デフォルト」、「メロディ」の有無、「録音」の有無の選択メニューが表示され、「選択」アイコン、「戻る」アイコンが表示される。この図では、前回設定、メロディ無し、および録音無しにフォーカスが表示されている。
【００２２】
図８においてフォーカス表示をした後は、カーソルスイッチがオンされたか否かを判別する（ステップＳＢ３）。このスイッチがオンされたときは、フォーカス位置を移動する（ステップＳＢ４）。次に、選択スイッチがオンされたか否かを判別し（ステップＳＢ５）、このスイッチがオンでない場合には、戻るスイッチがオンされたか否かを判別し（ステップＳＢ６）、このスイッチがオンされたときは、図６のメインルーチンに戻る。戻るスイッチがオンでない場合には、カーソルスイッチのオンを判別する。ステップＳＢ５において、選択スイッチがオンされたときは、フォーカスされている設定内容を実行する。前回設定がフォーカスされているか否かを判別し（ステップＳＢ７）、前回設定にフォーカスされている場合には、前回設定のデータをフラッシュメモリ１８から読み出す（ステップＳＢ８）。フォーカスされているのが前回設定でない場合には、デフォルトにフォーカスされているか否かを判別し（ステップＳＢ９）、デフォルトにフォーカスされている場合には、デフォルトのデータをフラッシュメモリ１８から読み出す（ステップＳＢ１０）。
【００２３】
フォーカスされているのが前回設定でもなくデフォルトでもない場合には、図９において、今回設定にフォーカスされているか否かを判別する（ステップＳＢ１１）。今回設定にフォーカスされている場合には、設定画面を表示する（ステップＳＢ１２）。そして、所定の設定項目にフォーカスを表示する（ステップＳＢ１３）。また、所定の仮想楽器にラジオボタンを表示する（ステップＳＢ１４）。フォーカスを表示する設定項目の内容、および、ラジオボタンを表示する仮想楽器については、例えば、前回設定の内容に従う。図１１は、ドラム演奏の設定画面を示す図である。この図では、「右足」演奏に対応する「バス」、「左足」演奏に対応する「ハイハット」がフォーカスされ、右手演奏に対応する仮想楽器として「タムタム」、「フロアタム」、および「トップシンバル」、左手演奏に対応する仮想楽器として「スネア」および「ハイハット」のラジオボタンが有効（黒丸）に設定されている。この画面にも、スイッチ部１５のスイッチに対応して、「選択」アイコンおよび「戻る」アイコンが表示される。
【００２４】
次に、カーソルスイッチがオンされたか否かを判別し（ステップＳＢ１５）、このスイッチがオンされたときは、フォーカス位置を移動する（ステップＳＢ１６）。また、カーソルスイッチによってラジオボタンが指定されたか否かを判別し（ステップＳＢ１７）、ラジオボタンが指定されたときは、その指定されたラジオボタンを無効から有効に又は有効から無効に反転する（ステップＳＢ１８）。次に、選択スイッチがオンされたか否かを判別し（ステップＳＢ１９）、このスイッチがオンでない場合には、戻るスイッチがオンされたか否かを判別する（ステップＳＢ２０）。このスイッチがオンされたときは、図８のステップＳＢ１に移行して設定画面を表示するが、戻るスイッチがオンでない場合には、ステップＳＢ１５においてカーソルスイッチのオンを判別する。
【００２５】
一方、ステップＳＢ１１において、フォーカス位置が今回設定でない場合には、メロディがフォーカスされているか否かを判別し（ステップＳＢ２１）、メロディがフォーカスされている場合には、曲選択処理を実行する（ステップＳＢ２２）。曲選択処理においては、フラッシュメモリ１８に記憶されている１つ以上の曲を画面に表示して、ドラム演奏とともに発音させるメロディの曲データをカーソルスイッチおよび選択スイッチの操作に応じて設定する。フラッシュメモリ１８に記憶されている曲としては、いわゆる「着メロ」や「着うた」の曲データでもよいし、ドラム演奏用に作成又は編集されたリズムパートだけを除いた「マイナスワン」の曲データでもよい。曲選択処理の後は、フラグＭＦを「１（メロディオン）」にセットする（ステップＳＢ２３）。ステップＳＢ２１において、フォーカス位置がメロディでない場合には、録音がフォーカスされているか否かを判別し（ステップＳＢ２４）、録音がフォーカスされている場合には、フラグＲＦを「１（録音）」にセットする（ステップＳＢ２５）。ＲＦが「１」の場合には、ドラム演奏のデータがフラッシュメモリ１８に記憶される。
【００２６】
ステップＳＢ１９において選択スイッチがオンされたとき、又は、ステップＳＢ２３にいてＭＦを「１」にセットした後、若しくは、ステップＳＢ２５においてＲＦを「１」にセットした後は、決定画面を表示する（ステップＳＢ２６）。図１２は、ドラム演奏の決定画面の例を示す図である。この画面には、図１０および図１１の画面において設定された内容が表示されるとともに、「スタート／ストップ」アイコンおよび「戻る」アイコンが表示される。そして、「スタート／ストップ」アイコンに対応するスイッチ部１５の選択スイッチがオンされたか否かを判別する（ステップＳＢ２７）。このスイッチがオンでない場合には、戻るスイッチがオンされたか否かを判別する（ステップＳＢ２８）。このスイッチがオンされたときは図８のステップＳＢ１に移行して設定画面を表示するが、戻るスイッチがオンでない場合には、ステップＳＢ２７において選択スイッチのオンを判別する。選択スイッチがオンされたときは、ドラム処理を実行する（ステップＳＢ２９）。ドラム処理が終了したときは、図６のメインルーチンに戻る。
【００２７】
なお、選択スイッチがオンされたときは、図１２の設定内容に対応して、ＲＡＭ１３には、図１３に示すような配列ＡＲのデータが記憶される。この図において、縦の行であるｍの値（１〜４）は、右足（１）、左足（２）、右手（３）、左手（４）すなわち演奏者の身体の部位を表し、横の列であるｎの値（１〜６）は、仮想楽器の種類即ちドラムの種類であるバス（１）、ハイハット（２）、タムタム（３）、フロアタム（４）、トップシンバル（５）、スネア（６）を表している。ｍの行とｎの列とが交わった部分のデータ（１又は０）によって、演奏する部位と演奏するドラムとの関係を表している。すなわち、図１３には図１２において選択された設定内容が示されている。例えば、右足（１）はバス（１）を演奏し、左足（２）はハイハット（１）を演奏する。足で演奏できないドラムは「／（非選択マーク）」で区別されている。同様に、右手（３）はタムタム（３）、フロアタム（４）、トップシンバル（５）を演奏し、左手（４）はハイハット（２）、スネア（６）を演奏する。
【００２８】
図１４は、図９におけるステップＳＢ２９のドラム処理のフローチャートである。図１４において、図１２の画面でスタート／ストップに対応する選択スイッチがオンされたか否かを判別し（ステップＳＣ１）、このスイッチがオンされたときはスタートフラグＳＴＦを反転する（ステップＳＣ２）。ＳＴＦを反転した後、又は、ステップＳＣ１においてスタート／ストップスイッチがオンでない場合には、ＳＴＦが「１」であるか否かを判別する（ステップＳＣ３）。ＳＴＦが「１」である場合には、後述する演算処理回路をアクティブにするＥＮが「０」であるか否かを判別し（ステップＳＣ４）、ＥＮが「０」である場合にはこれを「１」にセットする（ステップＳＣ５）。ＥＮが「１」である場合又はＥＮを「１」にセットした後は、音声処理（ステップＳＣ６）、画像処理（ステップＳＣ７）、その他の処理（ステップＳＣ８）を行い、ステップＳＣ１に移行して、スタート／ストップスイッチがオンされたか否かを判別する。したがって、ＳＴＦが「１」になってドラム処理が開始した後は、スタート／ストップスイッチがオンされない限り、ステップＳＣ６からステップＳＣ８までのドラム処理を続行する。ドラム処理中において、スタート／ストップスイッチがオンされて、ステップＳＣ３においてＳＴＦが「０」と判別されたときは、ＥＮを０にリセットして（ステップＳＣ９）、メインフローに戻る。なお、ステップＳＣ８のその他の処理は、電源の低下やその他の異常を検出する処理などである。
【００２９】
図１５は、ステップＳＣ６における音声処理のフローチャートである。まず、ドラム演奏中であるかドラム演奏停止中であるかを表すフラグＬＦが「０（演奏停止中）」又は「１（演奏中）」であるかを判別する（ステップＳＤ１）。ＬＦが「１」である場合には、図１４の画像処理に移行するが、ＬＦが「０」である場合には、ドラム演奏に先立つテストの実施を表すフラグＳＢＦが「０」であるか又は「１」であるかを判別する（ステップＳＤ２）。ＬＦが「０」で且つＳＢＦが「０」である場合には、ドラム演奏に先立つテストがまだ実施されていない場合である。この場合には、ＳＢＦを「１」にセットして（ステップＳＤ３）、ブルートゥース通信部２０を介して、ヘッドホン装置６に対してテスト開始の音声メッセージを出力する（ステップＳＤ４）。例えば、「各ドラムの音出しテストを行います」のような音声メッセージを出力する。
【００３０】
次に、演奏する部位を示す変数ｍおよび演奏対象のドラムを示す変数ｎを共に「１」にセットして（ステップＳＤ５）、ｍおよびｎの値をインクリメントしながら、以下のループを実行する。図１３に示した配列ＡＲにおいて、ＡＲ（ｍ，ｎ）が「１」であるか否かを判別する（ステップＳＤ６）。すなわち、ｍで指定する身体の部位がｎで指定するドラムＤ（ｎ）を演奏するように設定されているか否かを判別する。ＡＲ（ｍ，ｎ）が「１」である場合には、ｍの部位でＤ（ｎ）を演奏する旨の音声メッセージをヘッドホン装置６に出力する（ステップＳＤ７）。例えば、「右手でタムタムを叩いて下さい」のような音声メッセージを出力する。そして、フラグＤＦ（ｍ，ｎ）を「１」にセットし（ステップＳＤ８）、タイマレジスタに所定値Ｔの値をセットする（ステップＳＤ９）。すなわち、ｍの部位によるＤ（ｎ）の音出しテストの状態をセットする。また、タイマインタラプトを許可する。Ｔの値としては、例えば、数分ないし十数分が適当である。
【００３１】
タイマをセットした後、又は、ステップＳＤ２において、ＳＢＦが「１」である場合すなわちドラム演奏に先立つテストが実施中である場合には、フラグＤＦ（ｍ，ｎ）が「０」にリセットされたか否かを判別する（ステップＳＤ１０）。このフラグが「１」でまだｍの部位によるＤ（ｎ）の音出しテスト中である場合には、タイマの値が「０」に達したか否かを判別する（ステップＳＤ１１）。すなわち、ｍの部位によるＤ（ｎ）の音出しテストの音声メッセージの指示にもかかわらず、その指示に従ったテスト演奏がされない時間が５分を経過したか否かを判別する。５分が経過していない場合には、図１４の画像処理に移行する。そして、再び図１５のフローチャートにおいて、ステップＳＤ２、ステップＳＤ３を経て、フラグＤＦ（ｍ，ｎ）が「０」にリセットされたか否かを判別するが（ステップＳＤ１０）、このフラグが「１」である場合には、タイマの値が「０」に達したか否かを判別する（ステップＳＤ１１）。タイマの値が「０」に達したとき、すなわち、５分が経過した場合には、何らかの事情で演奏者がドラム演奏を中断したと判断して、ＳＴＦを「０」にリセットして（ステップＳＤ１２）、図１４のフローチャートに戻る。したがって、図１４のステップＳＣ３の判別によって、ステップＳＣ８でＥＮを０にリセットして、メインルーチンに戻る。
【００３２】
図１５のステップＳＤ１０において、フラグＤＦ（ｍ，ｎ）が「０」にリセットされた場合、又は、ステップＳＤ６においてＡＲ（ｍ，ｎ）が「０」である場合には、ｎの値をインクリメントする（ステップＳＤ１３）。そして、ｎの値が最大値ＭＡＸを超えたか否かを判別する（ステップＳＤ１４）。最大値は、図１３に示したようにｍの番号に対応する部位ごとに異なる。最大値を超えていない場合には、ステップＳＤ６に移行して、ステップＳＤ１４までのループを繰り返す。ステップＳＤ１４において、ｎの値が最大値ＭＡＸを超えたときは、ｍの値をインクリメントするとともに、ｎの値を「１」にセットする（ステップＳＤ１５）。このとき、ｍの値が「４」を超えたか否かを判別し（ステップＳＤ１６）、「４」を超えていない場合には、ステップＳＤ６に移行して、ステップＳＤ１５までのループを繰り返す。
【００３３】
ステップＳＤ１５において、ｍの値が「４」を超えたとき、すなわち、演奏者の身体において設定しているすべての部位のテスト演奏が終了したときは、フラグＳＢＦを「０」にリセットして（ステップＳＤ１７）、フラグＬＦを「１」にセットし（ステップＳＤ１８）、図１４の画像処理に移行する。
【００３４】
図１６は、携帯電話装置５のカメラ部１７ｂの回路を示す図である。ＭＯＳ撮像素子３１は、図２に示したレンズ５ｅから入射する映像を光電変換して画像信号を出力する。ＭＯＳ撮像素子３１は、任意の画素の読み出しが可能ないわゆるＸ−Ｙアドレス型の撮像素子である。図１７は、ＭＯＳ撮像素子３１の内部構成を示す図である。水平シフトレジスタ４１は、水平方向（Ｘ方向）の画素を駆動する水平パルス信号を出力する。垂直シフトレジスタ４２は、垂直方向（Ｙ方向）の画素を駆動する垂直パルス信号を出力する。ＦＥＴスイッチ群４３は、水平シフトレジスタ４１からの水平パルス信号に応じて、垂直方向に配列された画素列の中から特定の画素列を選択する。この実施形態のＭＯＳ撮像素子３１の画素は、図１７では一部しか示していないが、水平方向に４８０個、垂直方向に６４０個の約３０万画素で構成されている。各画素は、赤（Ｒ）、緑（Ｇ）、および青（Ｂ）の原色系のカラーフィルタ、フォトダイオード、ＦＥＴスイッチで構成されている。そして、例えば画素４４に示すように、青のカラーフィルタＢを透過した特定の波長の光がフォトダイオードによって光電変換され、ゲートに印加される垂直パルス信号によってオンになるＦＥＴスイッチを通って、水平パルス信号によってオンとなったＦＥＴスイッチ４３を介して読み出される。この実施形態においては、ＦＥＴスイッチ群４３は、赤系統の画像信号（Ｒｏｕｔ）、緑系統の画像信号（Ｇｏｕｔ）、および青系統の画像信号（Ｂｏｕｔ）を独立して出力する構成になっている。
【００３５】
図１６において、ＭＯＳ撮像素子３１から出力される赤系統の画像信号、緑系統の画像信号、および青系統の画像信号は、利得制御および相関二重サンプリングを行う３系統のＡＧＣ／ＣＤＳ回路３２Ｒ、３２Ｇ、３２Ｂを経て、Ａ／Ｄ変換回路３３Ｒ、３３Ｇ、３３Ｂによってアナログからデジタルに変換されて、マルチプレクサ回路３４に入力される。これら３系統の画像信号は、マルチプレクサ回路３４によって合成されて、例えば、ＮＴＳＣの複合画像信号として画像処理回路３５に入力される。画像処理回路３５においては、ＮＴＳＣの複合画像信号は、図３の携帯電話装置５の画面５ｄに表示できるように１画面のビットマップの画像信号に変換される。
【００３６】
一方、Ａ／Ｄ変換回路３３Ｒ、３３Ｇ、３３Ｂから出力される３系統の画像信号は、演算処理回路３６に入力される。演算処理回路３６は、図１４のステップＳＣ４において、ＣＰＵ１１によって１（ハイレベル）によってアクティブにされ、ＣＰＵ１１からのクロック信号ＣＬＫ、プリセットデータｋｒ、ｋｂ、ｋｇに応じて、３系統の画像信号を処理して、演算処理回路３６およびＣＰＵ１１の両方からアクセスできるダブルポートメモリ３８に記憶して演算処理を行う。赤系統の画像信号、緑系統の画像信号、および青系統の画像信号の中には、各系統の色を全て含む白系統の画像信号が含まれている。このため、図１に示した赤球１、青球２、緑球３、および緑球４の各系統の画像信号だけを抽出する必要がある。
【００３７】
図１８は、各系統の画像信号を抽出する回路であり、図１９は、その抽出処理を模式的に示した図である。演算処理回路３６に入力される赤系統の画像信号Ｒｉｎ、緑系統の画像信号Ｇｉｎ、および青系統の画像信号Ｂｉｎは、図１９に示すように、それぞれ白系統の画像信号Ｗを共通に含んでいる。したがって、図１８のＡＮＤ回路３６１によって３系統の画像信号の積を演算して、白系統の画像信号Ｗを抽出する。次に、３つの減算回路３６２、３６３、３６４のプラス端子に各系統の画像信号を入力し、全ての減算回路のマイナス端子にＡＮＤ回路３６１からの出力である白系統の画像信号Ｗを入力すると、それぞれの減算回路からは、図１９に示すように、赤系統だけの画像信号Ｒｏｕｔ、緑系統だけの画像信号Ｇｏｕｔ、および青系統だけの画像信号Ｂｏｕｔが出力される。
【００３８】
図２０は、ダブルポートメモリ３８の構成を示す図である。ダブルポートメモリ３８は、図２０（Ａ）に示すような、赤系統だけの画像信号、緑系統だけの画像信号、および青系統だけの画像信号をそれぞれ１フレーム記憶する複数のフレームメモリ３８１、３８２、３８３を有するとともに、図２０（Ｂ）に示すような、座標データを記憶するエリア３８４を有する。例えば、赤球１の画像は、図２０（Ｃ）に示すように、赤球１の画像の検出位置Ｐｄ（ｒ，ｎ）がフレームメモリ３８１に記憶される。ここで、ｒは赤球１を表し、ｎは初期位置のフレームから移動したｎ番目のフレームを表している。Ｐｄ（ｒ，ｎ）のｘ座標はｘ（ｒ，ｎ）であり、ｙ座標はｙ（ｒ，ｎ）である。そして、赤球１、青球２、緑球３、および緑球４の現在位置のｘ座標およびｙ座標が、図２０（Ｂ）に示すエリア３８４に記憶される。
【００３９】
次に、赤球１、青球２、緑球３、および緑球４の現在位置のｘ座標およびｙ座標を演算する信号処理について、赤球１を例に採って説明する。図２１は、演算処理回路３６における現在位置の座標算出および次の座標を取得するためのスキャン範囲算出の回路を示し、図２２は、スキャン範囲算出の例を示す図である。図２１において、初期位置からｎ番目のフレームにおける現在位置Ｐｄ（ｒ，ｎ）＝ｘ（ｒ，ｎ），ｙ（ｒ，ｎ）は、フリップフロップ回路３６５および減算回路３６６に入力される。減算回路３６６においては、Ｐｄ（ｒ，ｎ）から１フレーム前のＰｄ（ｒ，ｎ−１）が減算され、その差分すなわち前回のフレームから現在のフレームまでの間に赤球１が移動した移動成分Δ（ｒ，ｎ）が算出される。Δ（ｒ，ｎ）は、符号を含むベクトルであり、Δ（ｒ，ｎ）＝Δｘ（ｒ，ｎ）＋Δｙ（ｒ，ｎ）として表される。
【００４０】
次に、加算回路３６７において、減算回路３６６からの移動成分Δ（ｒ，ｎ）と現在位置Ｐｄ（ｒ，ｎ）とが加算されて、次のフレームにおける予測位置Ｐｔ（ｒ，ｎ＋１）が算出される。さらに、加算回路３６８においてＰｔ（ｒ，ｎ＋１）にプリセットデータｋｒが加算され、減算回路３６９においてＰｔ（ｒ，ｎ＋１）からｋｒが減算される。そして、減算回路３６９からは次のフレームで赤球１を検出するためのスキャン範囲の始点位置Ｐｓ（ｒ，ｎ＋１）が算出され、加算回路３６８からはスキャン範囲の終点位置Ｐｅ（ｒ，ｎ＋１）が算出される。この始点位置Ｐｓ（ｒ，ｎ＋１）および終点位置Ｐｅ（ｒ，ｎ＋１）は、パルス発生回路３７０に入力されて、クロック信号ＣＬＫに同期したスキャン信号Ｐｃ（ｒ，ｎ＋１）が、図１６のタイミングパルス発生回路３７に入力される。タイミングパルス発生回路３７からは、次のフレームにおいて赤球１を検出する範囲を指定する駆動信号がＭＯＳ撮像素子３１に入力される。青球２、緑球３、および緑球４の場合も同様である。
【００４１】
図２２において、赤球１の初期位置の画像をｉｒ０とする。赤球１が移動して次のフレームでの画像をｉｒ１とすると、点線で示す丸の位置を算出し、次のスキャン範囲ｒａ２を設定する。次のフレームでの画像をｉｒ２とすると、点線で示す丸の位置を算出し、次のスキャン範囲ｒａ３を設定する。このように、赤球１の移動に応じて次のスキャン範囲を設定しながら、赤球１の移動軌跡を追跡しながら、フレームごとの赤球１の検出位置の座標を順次、図２０（Ｂ）のエリア３８４に記憶する。青球２、緑球３、および緑球４の場合も同様である。図２０（Ａ）に示したように、各色のフレームメモリは独立しているので、図２２に示すように、赤球１の移動軌跡の画像ｉｒｎ（ｎ＝０，１，２，…）と青球２の移動軌跡の画像ｉｂｎとが交わるような場合でも、検出に不都合は生じない。緑球３、および緑球４の場合には、同じフレームメモリに緑色の球の画像が記憶されるが、図１に示したように、右足１０３と左足１０４とが交わることはなく、緑球３は画面の右側、緑球４は画面の左側に存在するので、検出に不都合は生じない。なお、初期位置の画像を検出したときは、次の移動位置を予測できないが、図２０（Ｃ）に示すように、やや広い範囲のスキャン位置ａｒ１を設定する。
【００４２】
ＣＰＵ１１から入力されるプリセットデータｋｒ、ｋｂ、ｋｇ１、ｋｇ２は、あらかじめ設定された定数、例えば、各球の画像における直径の５倍ないし１０倍又はそれ以上でもよいが、テスト演奏において各球の移動速度に応じてテンポラリに設定する値でもよい。図２０（Ｂ）のエリア３８４に記憶された各球の現在位置の座標は、ＣＰＵ１１によって順次読み出されてＲＡＭ１３に転送され、ＣＰＵ１１の画像処理によって赤球１、青球２、緑球３、および緑球４の移動軌跡が分析される。ＭＯＳ撮像素子３１は任意のスキャン範囲を設定して各球の位置を検出する。２００５年５月現在において市販されているある携帯電話装置においては、２０４万画素のＭＯＳ撮像素子の読出速度は、最大３０ｆｐｓ（フレーム／秒）であるので、３０万画素のＭＯＳ撮像素子では２０４ｆｐｓとなる。図２２に示したスキャン範囲ｒａ２，ｒａ３，…を画面全体の１／１０とすると、４個の球の中で、２個の緑球３，４を検出するためのスキャン範囲は、画面全体の１／５になるので、その読出速度は約１ｍｓである。その後の演算処理の時間を考慮しても、４個の球の位置検出に要する予測時間は２ｍｓもあれば十分である。しかし、様々な仕様の携帯電話装置を想定して、実施形態においは大きく見積もって１０ｍｓと仮定する。
【００４３】
図２３は、図１４におけるステップＳＣ７の画像処理のフローチャートである。まず、ＳＴＦが「１」であるか否かを判別し（ステップＳＥ１ａ）、ＳＴＦが「０」である場合には画像処理を行うことなく図１４のフローチャートに戻るが、ＳＴＦが「１」である場合には、ＣＰＵ１１は、ダブルポートメモリ３８から各球の座標データを読み出し、ＲＡＭ１３に記憶する（ステップＳＥ１ｂ）。そして、変数ｍで指定された部位すなわち特定色の球の移動軌跡の判定が可能であるか否かを判別する（ステップＳＥ２）。判定できない場合には図１４のフローチャートに戻るが、判定できたときはフラグＳＢＦが「１（音出しテスト中）」であるか否かを判別する（ステップＳＥ３）。ＳＢＦが「１」である場合には、ＲＡＭ１３の画像エリアＧ（ｍ）に登録する（ステップＳＥ４）。次に、登録したＧ（ｍ）の動画の移動軌跡すなわち動線を検出したか否かを判別する（ステップＳＥ５）。Ｇ（ｍ）の動線を検出したときは、レジスタＲＴの値（初期値は０）をインクリメントする（ステップＳＥ６）。また、Ｄ（ｎ）の音色で発音する（ステップＳＥ７）。すなわち、ｍの部位でＤ（ｎ）を演奏する音声メッセージに応じて、演奏者が仮想のＤ（ｎ）を演奏したときは、音源部１９によってＤ（ｎ）に対応する音色の楽音信号を発生させて、ブルートゥース通信部２０を介して、その楽音信号をヘッドホン装置６に出力して発音させる。
【００４４】
ステップＳＥ７の発音処理の後は、ＲＴの値が所定回数Ｎに達したか否かを判別する（ステップＳＥ８）。例えば、ｍの部位でＤ（ｎ）を演奏する音声メッセージの指示が、左手のスティックでハイハットを演奏する指示であるとすると、ハイハットの位置と演奏の動線とを確定するために、演奏者に仮想楽器であるハイハットを演奏する動作を何回かさせる必要がある。また、演奏者にとっても、ハイハットを演奏するイメージを把握する必要がある。このため、連続してＮ回（５回ないし１０回程度）、ハイハットのテスト演奏を行う。Ｎの値はあらかじめ設定されているが、演奏者の設定によって任意の回数に変更できるものとする。
【００４５】
ステップＳＥ８において、ＲＴの値がＮの値に達していない場合には、図１４のフローチャートに戻るが、ＲＴの値がＮの値に達したときは、確定動線の演算処理を行う（ステップＳＥ９）。図２４は、右手（ｍ＝３）でトップシンバル（ｎ＝５）のテスト演奏をＮ回行ったときの、確定動線の演算処理を説明するための図である。この図において、Ｅ１（ｘ，ｙ）、Ｅ２（ｘ，ｙ）、…Ｅｊ（ｘ，ｙ）は、図１に示したスティック１ａのテスト演奏において、１０ｍｓごとの先端部の赤球１の画像の座標を包含する楕円の関数を表している。すなわち、１０ｍｓごとの赤球１の画像の座標は、次第に面積が広がるＥ１（ｘ，ｙ）、Ｅ２（ｘ，ｙ）、…Ｅｊ（ｘ，ｙ）の楕円内に存在する。言い換えれば、Ｎ回のテスト演奏の動線が、２次元の楕円関数であるＥ１（ｘ，ｙ）、Ｅ２（ｘ，ｙ）、…Ｅｊ（ｘ，ｙ）の集合で表される３次元の立体的な楕円管の中に存在する。
なお、脚によるバスやハイハットの仮想演奏すなわち仮想のペダル演奏の場合には、１０ｍｓごとの緑球３、４の変位量が小さいので、図２４の各楕円関数の位置はかなり接近した関係になる。
【００４６】
例えば、右手でトップシンバルを叩く動作の時間を０．４秒すなわち４００ｍｓと仮定する。この場合には、赤球１の画像の座標の検出回数は４０回であり、１０ｍｓごとの赤球１の画像の座標は、Ｅ１（ｘ，ｙ）、Ｅ２（ｘ，ｙ）、…Ｅ４０（ｘ，ｙ）の４０個の楕円内に存在することになる。この結果、右手でトップシンバルを叩く場合の確定動線Ｃ（３，５）が確定されるとともに、最後の楕円関数Ｅ４０（ｘ，ｙ）がトップシンバルＤ（５）の空間位置ＤＳ（５）として確定される。ステップＳＥ９の演算処理の後は、演算結果をＲＡＭ１３のＣ（ｍ，ｎ）、ＤＳ（ｎ）に登録する（ステップＳＥ１０）。次に、フラグＤＦ（ｍ，ｎ）を「０」にリセットして（ステップＳＥ１１）、ＡＲ（ｍ，ｎ）の移動軌跡を登録する（ステップＳＥ１２）。そして、図１４のフローチャートに戻る。なお、他のドラムのテスト演奏についても同様である。
ＤＦ（ｍ，ｎ）が「０」にリセットされると、図１５の音声処理のフローチャートにおいて、ステップＳＤ１０からステップＳＤ１３に移行して、次のテスト演奏のドラムを指定することになる。
【００４７】
図２３のステップＳＥ３においてＳＢＦが「０」である場合には、テスト演奏が終了して実際のドラム演奏に移行している。したがって、ｍで指定した部位の球の動線を検出したか否かを判別し（ステップＳＥ１３）、動線を検出したときは、その動線がＲＡＭ１３に登録した動線Ｃ（ｍ，ｎ）のどれかと一致するか否かを判別する（ステップＳＥ１４）。検出した動線が登録した動線Ｃ（ｍ，ｎ）と一致した場合には、発音タイミングに達したか否かを判別する（ステップＳＥ１５）。この実施形態において、発音タイミングは、図２４の楕円関数ｊ−１（ｘ，ｙ）の位置に球の画像位置が達したタイミング、すなわち、楽器の打面として設定された楕円関数ｊ（ｘ，ｙ）に球の画像位置が達する１０ｍｓ前のタイミングとする。例えば、上記のように、ある球の動線すなわち移動軌跡がＥ１（ｘ，ｙ）、Ｅ２（ｘ，ｙ）、…Ｅ４０（ｘ，ｙ）の４０個の楕円内に存在する場合には、その球の画像位置がＥ３９（ｘ，ｙ）に達したときを発音タイミングとする。発音タイミングに達したときは、１０Ｄ（ｎ）に応じた音色、各球の移動速度に応じた振幅でリズム音信号を音源部１９によって発生して、ヘッドホン装置６に送信して発音させる（ステップＳＥ１６）。次に、フラグＲＦが「１」であるか否かを判別し（ステップＳＥ１７）、ＲＦが「１」である場合には、発生した楽音信号をフラッシュメモリ１８に録音する（ステップＳＥ１８）。録音が終了した後、又は、ＲＦが「０」である場合、ステップＳＥ１５において発音タイミングに達していない場合、若しくは、ステップＳＥ１４において動線が登録した動線Ｃ（ｍ，ｎ）と一致しない場合には、図１４のフローチャートに戻る。
【００４８】
図２５は、図１に示した右手１０１に保持されたスティック１ａの先端部の赤球１の画像ｉｒ、左手１０２に保持されたスティック２ａの先端部の青球２の画像ｉｂ、右脚１０３および左脚１０４に取り付けた緑球３および緑球４の画像ｉｇ１，ｉｇ２のそれぞれの動線を示した図である。画像ｉｒはトップシンバルＤ（５）を演奏する動線を示し、画像ｉｂはスネアＤ（６）を演奏する動線を示し、画像ｉｇ１は、変位量が小さいので途中を省略しているが、バスＤ（１）の仮想ペダルを踏む動線を示し、画像ｉｇ２は静止状態を示している。したがって、ＣＰＵ１１は、トップシンバルの音色、スネアの音色、バスの音色で、音源部１９に対してリズム音信号を発生する指示を与える。
【００４９】
次に、第１実施形態の変形例について説明する。図１に示した状態で、演奏者が携帯電話装置５の画面に自分の姿を表示して演奏する位置を調整する場合には、図２に示す画面５ｄの中央位置とレンズ５ｅの位置とが若干ずれているので、画面５ｄに表示された自分の目線がやや下方を向くことになるので、ユーザによっては違和感を抱く場合もある。これを解消するために、表示部の画面５ｄを保護する透明な樹脂板又はガラス板に微小なハーフミラーを形成する。
【００５０】
図２６は、第１実施形態の変形例における携帯電話装置５を示す図であり、図２７は、図２６の携帯電話装置５における透明樹脂板の断面を示す概念図である。図２６において、表示部の画面５ｄのほぼ中央部分に対応する透明樹脂板の範囲５ｇには、図２７の断面図に示すように、表示部の画面を保護する透明樹脂板１６１に、画面に対して略４５度の傾斜を持つ微小なハーフミラーの集合からなるハーフミラー１６２が形成されている。表示部からの表示画像の光Ｌ１は、ハーフミラー１６２を透過して、通常の画像表示が行われる。一方、画面に対抗する被写体であるユーザの映像の光Ｌ２は、ハーフミラー１６２によってほぼ直角に反射されて、透明樹脂板１６１の内部を上方向に透過する。透明樹脂板１６１を透過した後の光Ｌ２は、同様に画面に対して略４５度の傾斜を持つ微小なミラーの集合を有するミラー１６３によってほぼ直角に反射されて、レンズ１６４、１６５によってＭＯＳ撮像素子３１に結像される。すなわち、内部に薄型のハーフミラー１６２が形成された透明樹脂板１６１は、言うならばフレネルレンズの反射版である。
【００５１】
図２８は、図２７のハーフミラー１６２およびミラー１６３における光反射の状態をさらに詳細に示す図である。図２８（Ａ）に示すように、ハーフミラー１６２の微小なハーフミラーの集合によって反射された光Ｌ２は、ミラー１６３によって再び反射されてカメラに向かう。この場合において、図２８（Ｂ）に示すように、透明樹脂板１６１とハーフミラー１６２との角度θは、透明樹脂板１６１の厚さｔとハーフミラー１６２の範囲、図では縦方向の長さｈとによって決定される。すなわち、θ＝ａｒｃｔａｎ（ｔ／ｈ）で表される。ハーフミラー１６２の範囲が広いほどカメラの出射瞳が大きくなる。
【００５２】
図２９は、透明樹脂板１６１の厚さを１ミリ、ハーフミラーの範囲を１０ミリ×１０ミリにした場合のハーフミラー１６２の構造、および、ミラー１６３の構造を示す図である。この場合には、透明樹脂板１６１とハーフミラー１６２との角度θは、θ＝ａｒｃｔａｎ（０．１）である。透明樹脂板１６１の厚さを２ミリにすると、θ＝ａｒｃｔａｎ（０．２）となる。透明樹脂板１６１の厚さを２ミリ、ハーフミラーの範囲を２０ミリ×２０ミリにすると、θ＝ａｒｃｔａｎ（０．１）となる。
なお、ハーフミラー１６２およびミラー１６３によって映像にひずみが発生する場合を考慮すると、カメラ部１７ｂ内に画像補正回路を設けて、光学系で発生する全てのひずみを補正するようにしてもよい。
【００５３】
なお、電子楽器システムに用いるためだけに携帯電話装置の透明樹脂板にハーフミラーを形成することは、コストパフォーマンスの観点からは好ましくはないが、画面を見るユーザの視線とカメラの光路とを一致させる構成は、携帯電話装置を単独で使用する場合にも有効である。携帯電話装置によってテレビ電話を行う場合に、従来の携帯電話装置では相手の目線と自分の目線とがずれているので、相手の顔を見ながら会話していても視線のずれのために違和感が生じることになる。しかし、上記第１実施形態の変形例のようなハーフミラーを形成すれば、相手の目線と自分の目線とを一致できる。したがって、汎用としての携帯電話装置にハーフミラーを形成した場合でも優れた効果が得られるので、量産化によってコストパフォーマンスを向上できる。
【００５４】
以上のように、この第１実施形態の電子楽器システムによれば、携帯電話装置５は、操作に応じて複数種類の指令を入力するスイッチ部１５と、約１１０度の画角を有するレンズ５ｅと、赤、緑、および青からなる原色系のカラーフィルタを有するとともに、スイッチ部１５からのテスト演奏指令および演奏開始指令並びに入力される駆動信号に応じて、レンズ５ｅから入射する略球形の形状で原色系の色彩からなる１種類以上の物体の映像を光電変換してカラーの画像信号を出力するＭＯＳ撮像素子３１と、ＭＯＳ撮像素子３１に対して読出信号を繰り返し与えて、各読出信号ごとにＭＯＳ撮像素子３１から出力される画像信号に基づいて物体の略中心位置の位置情報を検出し、前回検出した位置情報と今回検出した位置情報に基づいて撮像素子が次に光電変換する範囲を指定する駆動信号を発生してＭＯＳ撮像素子３１に入力するとともに、その物体の移動軌跡を示す位置情報を順次出力する。
携帯電話装置５は、スイッチ部１５から入力された打楽器演奏の指令に応じて、表示部１６に複数種類の打楽器のリストを表示し、スイッチ部１５から入力された打楽器選択の指令に応じて、その選択に係る１種類以上の打楽器をＲＡＭ１３に記憶して設定し、スイッチ１５から入力された曲選択の指令に応じて、その選択に係る曲をＲＡＭ１３に記憶して設定する。
携帯電話装置５は、打楽器が設定された後に、スイッチ１５から入力されたテスト演奏の指令に応じて、設定された打楽器を１つの打楽器から順に指定して、その指定した打楽器のテスト演奏を促す旨の音声信号をヘッドホン装置６に送信して発音させるとともに、ＭＯＳ撮像素子３１にテスト演奏指令を与えた後に、物体の移動軌跡を示す位置情報を取得したときは、その移動軌跡をその指定された打楽器の基準演奏パターンとしてＲＡＭ１３に設定する。
携帯電話装置５は、設定された全ての打楽器の基準演奏パターンが設定された後に、ＭＯＳ撮像素子３１に入力した演奏開始指令に応じて、物体の移動軌跡の位置情報がＲＡＭ１３に設定されているいずれかの打楽器の基準演奏パターンと一致するか否かを分析して、演奏開始指令に応じてＲＡＭ１３に設定された曲のメロディ音の第１の楽音信号を発生するとともに、物体の移動軌跡の位置情報がＲＡＭ１３に設定されているいずれかの打楽器の基準演奏パターンと一致することを分析したときは、その一致する打楽器の音色の第２の楽音信号を発生して、その第１および第２の楽音信号をヘッドホン装置６に送信して発音させる。
したがって、実際のドラムと同じような感覚で演奏することができるとともに、狭い場所でも演奏することができる。
【００５５】
また、第１実施形態の変形例によれば、携帯電話装置５は、表示部１６の画面を保護する透明樹脂板１６１と、その透明樹脂板１６１に形成されて表示部１６の表示画像の光を透過するハーフミラー１６２と、そのハーフミラー１６２によって反射された被写体の映像をレンズに導くミラー１６３と、を有する。このハーフミラー１６２は、透明樹脂板１６１において表示部１６の画面の略中央位置に対応する所定範囲に形成された微小ハーフミラーの集合であり、各微小ハーフミラーが画面に対して略４５度の傾斜を有する。さらに、レンズから入射する光が光電変換されて出力された画像信号に対して、信号処理を施して画像のひずみを補正する画像補正回路をさらに有する構成にしてもよい。
【００５６】
図３０は、第１実施形態の変形例において、携帯電話装置５の透明樹脂板１６１全体に微小ハーフミラーを形成した図である。この場合には、透明樹脂板１６１の厚みが厚くはなるが、透明樹脂板１６１の微小ハーフミラー（図示せず）によって反射された光を凸レンズ１６６によって収束させた後に、ミラー１６３で反射させてカメラ１７ｂのレンズに導くような構成が可能である。
したがって、電子楽器システムに利用する場合だけでなく、テレビ電話をする場合でも、相手の視線と自分の視線とを一致させることができる。
なお、ハーフミラー１６２によって被写体の映像を画面の上方向に反射する構成にしたが、カメラの位置によっては下方向や横方向に反射する構成でもよい。
【００５７】
また、上記第１実施形態においては、ＭＯＳ撮像素子３１には赤（Ｒ）、緑（Ｇ）、および青（Ｂ）からなる原色系のカラーフィルタを設けた構成にしたが、シアン（Ｃｙ）、マゼンタ（Ｍｇ）、黄（Ｙｅ）、および緑からなる補色系のカラーフィルタを設ける構成にしてもよい。この場合には、２本のスティックの先端部および演奏者の脚の球の色もシアン、マゼンタ、黄、および緑で構成することが望ましいが、下記の関係式（１）ように、補色系の各色は原色系の色で表される。したがって、原色系の各色も関係式（２）のように表されるので、第１実施形態と同じく赤球、青球、および緑球でもよい。
Ｃｙ＝Ｂ＋Ｇ、Ｍｇ＝Ｂ＋Ｒ、Ｙｅ＝Ｇ＋Ｒ （１）
Ｒ＝Ｙｅ−Ｇ、Ｂ＝Ｃｙ−Ｇ （２）
【００５８】
また、上記第１実施形態においては、各球の位置検出を速くするためにカメラ部１７ｂの撮像素子にＭＯＳ撮像素子を用いたが、ＣＣＤ撮像素子を用いてカメラ部１７ｂを構成することも可能である。２００５年の５月現在において市販されている携帯電話装置の中には、２０４万画素のＣＣＤ撮像素子で１秒間に表示できる動画像のコマ数が１５ｆｐｓ（フレーム／秒）のものがある。したがって、上記第１実施形態の３０万画素のＭＯＳ撮像素子の代わりに、３０万画素のＣＣＤ撮像素子を用いると１０２ｆｐｓが可能であり、約１０ｍｓごとにフレーム画像を読み出すことができる。この場合にも、図１６に示したダブルポートメモリ３８には、図２０に示した３種類のフレームメモリ３８１、３８２、および３８３を設ける。したがって、ＣＰＵ１１は、ＣＣＤ撮像素子から１フレームの画像信号を全て読み出してフレームメモリに記憶する必要があるが、記憶した１フレームの全ての画像信号を検索する必要はない。前回検出した位置情報と今回検出した位置情報に基づいて、その１フレームの中の範囲を決定して次の位置情報を検出することができる。この結果、ＣＣＤ撮像素子を用いた場合には、ＭＯＳ撮像素子を用いた第１実施形態よりも遅くなるが、十分に速い速度で４種類の球の移動軌跡を検出することが可能である。
【００５９】
また、上記第１実施形態においては、カメラ部１７ｂのレンズの視野角を１１０度としたが、図１の状態よりも携帯電話装置５との距離を長くして演奏できるスペースがあるならば、９０度以上の視野角でも十分である。
【００６０】
次に、本発明の第２実施形態について説明する。図３１は、第２実施形態の電子楽器システムの構成を示す図である。図３１において、机５１の上にノート型のパーソナルコンピュータ（以下、「ノートパソコン」という）５２が置かれている。ノートパソコン５２は、表示部５３およびキーボード５４を有するとともに、左右のスピーカ５６Ｌ、５６Ｒに接続されている。また、ノートパソコン５２の横には、第１実施形態と同じような構造の携帯電話装置５が置かれている。ノートパソコン５２と携帯電話装置５とはブルートゥース通信（又は、赤外線通信）によって指令およびデータの送受信を行うことが可能である。この場合において、携帯電話装置５からノートパソコン５２に送信するデータは画像データではなく数値データである。例えば、赤球１、青球２、緑球３、および緑球４をそれぞれ「００」、「０１」、「１０」、「１１」で表した場合には、３０万画素のｘ座標およびｙ座標はそれぞれ１０ビットで十分に表されるので、２２ビットによって各球の座標を表すことができる。したがって、ブルートゥース通信（又は、赤外線通信）によって高速のデータ送信が可能である。
【００６１】
第１実施形態においては、表示部１６に表示した打楽器のメニューの中から、スイッチ部１５の操作に応じて打楽器の種類や曲を設定して、カメラ部１７ｂによって赤球１、青球２、緑球３、および緑球４の移動軌跡を検出し、その移動軌跡によって打楽器および曲の楽音信号を発生する構成にしたが、第２実施形態においては、ノートパソコン５２の表示部５３に表示した打楽器のメニューの中から、ノートパソコン５２のキーボード５４の操作に応じて打楽器の種類や曲を設定して、ブルートゥース通信によって携帯電話装置５にテスト演奏指令および演奏開始指令を送信する。携帯電話装置５は、テスト演奏指令および演奏開始指令を受信して、カメラ部１７ｂによって赤球１、青球２、緑球３、および緑球４の移動軌跡を検出し、その移動軌跡のデータをブルートゥース通信によってノートパソコン５２に送信する。ノートパソコン５２は、移動軌跡のデータを受信して、打楽器および曲の楽音信号を発生し、スピーカ５６Ｌ、５６Ｒから発音する。また、演奏前においては、携帯電話装置５によって撮像された赤球１、青球２、緑球３、および緑球４の画像とともに演奏者の画像をノートパソコン５２の表示部５３に表示して、演奏前の位置合わせを行うことができる。
【００６２】
すなわち、第１実施形態では携帯電話装置５だけで各球の検出から楽音信号の発生までを行ったが、第２実施形態においては、赤球１、青球２、緑球３、および緑球４の移動軌跡を検出する処理を携帯電話装置５が分担し、打楽器の種類や曲を設定する処理、および、移動軌跡に応じて楽音信号を発生する処理はノートパソコン５２が分担する構成になっている。したがって、ノートパソコン５２の表示部５３の大きい画面によって、容易に演奏前の位置合わせを行うことができる。さらに、演奏開始の後は、表示部５３の大きい画面に曲のメロディパートおよびドラムパートを含む複数のパートの楽譜を表示して、曲の進行に応じて音符の表示色を順次変化させる構成が可能になるので、様々な曲のドラム練習に効果がある。また、ノートパソコン５２にＤＴＭ（デスクトップミュージック）などのアプリケーションソフトをインストールすれば、インターネットなどのネットワークを介して配信されるＭＩＤＩデータを編集して、ドラムパートを除くいわゆるマイナスワンの曲を生成し、曲選択に応じて選択される候補としてハードディスク等に記憶できる。
したがって、実際のドラムと同じような感覚で演奏することができるとともに、狭い場所でも演奏することができる。
【００６３】
また、図３１のように携帯電話装置５を開いてカメラ部１７ｂを使用しなくても、携帯電話装置５を閉じた状態でカメラ部１７ａによって赤球１、青球２、緑球３、および緑球４の移動軌跡を検出することも可能である。例えば、マジックテープ（登録商標）などで携帯電話装置５を鏡に固定すれば、演奏する姿を見ながら仮想のドラム演奏が可能になる。この場合においても、ＭＯＳ撮像素子を用いた場合には、例えば、２０４万画素の中から任意のスキャン範囲を設定してその範囲の画素だけを読み出すことができるので、３０万画素の場合と同様に、高速の検出処理が可能である。
【００６４】
次に、本発明の第３実施形態について説明する。第３実施形態においては、カメラ付きノートパソコンによって電子楽器システムを構成する。図３１を援用して第３実施形態を説明する。ノートパソコン５２の表示部５３の上側には広角のレンズ５５（光学部材）が設けられ、図には示していないがレンズ５５の奥にはＭＯＳ撮像素子又はＣＣＤ撮像素子が配置されている。すなわち、この第３実施形態においては、表示部５３に表示した打楽器のメニューの中から、キーボード５４の操作に応じて打楽器の種類や曲を設定して、レンズ５５を含む内部のカメラ部によって赤球１、青球２、緑球３、および緑球４の移動軌跡を検出し、その移動軌跡によって打楽器および曲の楽音信号を発生して、スピーカ５６Ｌ、５６Ｒ（オーディオ装置）から発音する。
したがって、実際のドラムと同じような感覚で演奏することができるとともに、狭い場所でも演奏することができる。
【００６５】
次に、第３実施形態の変形例について説明する。この変形例においては、第１実施形態の変形例と同様に、表示部５３の画面を保護する透明樹脂板にハーフミラーを形成する。すなわち、図３１において、表示部５５の略中央位置に、各微小ハーフミラーが画面に対して略４５度の傾斜を有するハーフミラー５３１を形成する。レンズは表示部５３の上側、下側、又は横側の内部に設けられている。ハーフミラー５３１によって反射された被写体の映像はミラー（図示せず）によって反射され、レンズによって撮像素子に結像する。この場合にも、レンズから入射する光が光電変換されて出力された画像信号に対して、信号処理を施して画像のひずみを補正する画像補正回路をさらに有する構成にしてもよい。
したがって、実際のドラムと同じような感覚で演奏することができるとともに、狭い場所でも演奏することができる。
なお、この構成によれば、電子楽器システムに利用する場合だけでなく、テレビ電話をする場合でも、相手の視線と自分の視線とを一致させることができる。
【００６６】
次に、本発明の第４実施形態ないし第６実施形態について、図３２を参照して説明する。第４実施形態は、デジタルカメラ７およびノートパソコン５２によって電子楽器システムを構成する。デジタルカメラ７とノートパソコン５２とはＵＳＢケーブルによって接続されている。ただし、デジタルカメラ７には、第１実施形態において示した携帯電話装置５のように演算処理回路が必要である。他の基本的な構成は第２実施形態と同じである。この場合にも、デジタルカメラ７からノートパソコン５２に送信するデータは２２ビットで構成されるので、ＵＳＢケーブルによって高速のデータ送信が可能になる。
したがって、実際のドラムと同じような感覚で演奏することができるとともに、狭い場所でも演奏することができる。
【００６７】
第５実施形態は、ビデオカメラ８およびノートパソコン５２によって電子楽器システムを構成する。ビデオカメラ８とノートパソコン５２とはＵＳＢケーブルによって接続されている。ただし、ビデオカメラ８には、第１実施形態において示した携帯電話装置５のように演算処理回路が必要である。他の基本的な構成は第２実施形態と同じである。この場合にも、ビデオカメラ８からノートパソコン５２に送信するデータは２２ビットで構成されるので、ＵＳＢケーブルによって高速のデータ送信が可能になる。
したがって、第２実施形態と同様の効果が得られる。
なお、２００５年５月現在において販売されているビデオカメラ８の多くは、表示部を操作して撮影者自身を撮像することができるので、ビデオカメラ８に具備されている音声処理機能を使用すれば、第１実施形態の場合と同様に、ビデオカメラ８とオーディオ装置とによって電子楽器システムを構成することができる。
したがって、実際のドラムと同じような感覚で演奏することができるとともに、狭い場所でも演奏することができる。
【００６８】
第６実施形態は、ウェブ（Ｗｅｂ）カメラ９およびノートパソコン５２によって電子楽器システムを構成する。ウェブカメラ９は、パソコンに接続してテレビ電話、ライブ配信、ビデオチャットに利用するために安価に販売されているモニタカメラである。図３３は、ウェブカメラ９をノートパソコン５２に装着した状態を示す図である。図３３に示すように、ウェブカメラ９はカメラ部９１とクリップ部９２とを有し、ヒンジ部９３によってカメラ部９１の画角の方向を調整することができる。ウェブカメラ９とノートパソコン５２とはＵＳＢケーブル９４によって接続されている。この場合にも、ウェブカメラ９には、第１実施形態において示した携帯電話装置５のように演算処理回路が必要である。他の基本的な構成は第２実施形態と同じである。この場合にも、ウェブカメラ９からノートパソコン５２に送信するデータは２２ビットで構成されるので、ＵＳＢケーブルによって高速のデータ送信が可能になる。
したがって、実際のドラムと同じような感覚で演奏することができるとともに、狭い場所でも演奏することができる。
【図面の簡単な説明】
【００６９】
【図１】第１実施形態における電子楽器システムの構成を示す図である。
【図２】図１の携帯電話装置の構造を示す図である。
【図３】図１の携帯電話装置の内部構成を示すブロック図である。
【図４】図１のヘッドホン装置の内部構成を示すブロック図である。
【図５】第１実施形態におけるＣＰＵのメインルーチンのフローチャートである。
【図６】図５に続くＣＰＵのメインルーチンのフローチャートである。
【図７】（Ａ）はメニュー画面を示す図、（Ｂ）はスイッチの構成を示す図である。
【図８】図６におけるドラム設定処理のフローチャートである。
【図９】図８に続くドラム設定処理のフローチャートである。
【図１０】第１実施形態におけるドラム演奏の設定画面を示す図である。
【図１１】第１実施形態におけるドラム演奏の設定画面を示す図である。
【図１２】第１実施形態におけるドラム演奏の決定画面の例を示す図である。
【図１３】図３のＲＡＭに記憶された配列ＡＲのデータを示す図である。
【図１４】図９におけるドラム処理のフローチャートである。
【図１５】図１４における音声処理のフローチャートである。
【図１６】図３のカメラ部の内部構成を示すブロック図である。
【図１７】図１６のＭＯＳ撮像素子の一部の回路図である。
【図１８】図１６の演算処理回路の一部の回路図である。
【図１９】図１８の演算処理回路の画像信号の抽出処理を模式的に示した図である。
【図２０】図１６のダブルポートメモリの構成を示す図である。
【図２１】図１６の演算処理回路におけるスキャン範囲算出の回路図である。
【図２２】図２１の回路におけるスキャン範囲算出の例を示す図である。
【図２３】図１４における画像処理のフローチャートである。
【図２４】テスト演奏の確定動線の演算処理を説明するための図である。
【図２５】赤球、青球、および２つの緑球の画像の動線を示す図である。
【図２６】第１実施形態の変形例における携帯電話装置を示す図である。
【図２７】図２６の携帯電話装置における透明樹脂板の断面を示す概念図である。
【図２８】図２７のハーフミラーおよびミラーの光反射の状態を示す図である。
【図２９】第１実施形態におけるハーフミラーおよびミラーの構造を示す図である。
【図３０】携帯電話装置の透明樹脂板全体に微小ハーフミラーを形成した図である。
【図３１】本発明の第２実施形態における電子楽器システムの構成を示す図である。
【図３２】第４ないし第６実施形態の電子楽器システムの構成を示す図である。
【図３３】図３２におけるウェブカメラの構造を示す図である。
【符号の説明】
【００７０】
１ 赤球
２ 青球
３、４ 緑球
５ 携帯電話装置
６ ヘッドホン装置
７ デジタルカメラ
８ ビデオカメラ
９ ウェブカメラ
５２ ノート型パーソナルコンピュータ
【技術分野】
【０００１】
本発明は、電子楽器システムとそのシステムに用いる装置及びプログラムに関し、特に、仮想の打楽器を演奏する電子楽器システムとそのシステムに用いる装置およびプログラムに関するものである。
【背景技術】
【０００２】
近年、ＣＰＵやその他の半導体などを利用した電子鍵盤楽器が普及しているが、仮想の打楽器を演奏するための電子楽器装置も次第に商品化され、高い性能の製品も開発されている。また、仮想の打楽器を演奏するための技術も多く提案されている。
ある提案の電子楽器においては、ドラムのスティックに圧電ジャイロセンサ又はマイクロ加速度センサを設け、この角速度センサから結線した回路により角速度を検出して、この角速度を制御信号に変換し、この制御信号により音量および音質を設定するシンセサイザを備えた構成になっている。この構成により、スティックを振るだけで打楽器の音を発生できる。（特許文献１参照）
また、ある提案の電子打楽器においては、中空状のスティック本体内に、発光素子および受光素子を有する光センサと、スティック本体の振り動作に応じて受光素子に入射する光量（反射光量、透過光量）を変化させる振動子を設けた構成になっている。この構成により、スティックを振ると、その振りに応じて振動子が振動し、この振動子の振動に応じて発光素子からの光の反射状態又は透過状態が変化し、この変化に応じた光量を受光素子が受光するため、スティック本体の振り操作を振動子の振動状態の波形として検出することができ、スティック本体の微妙な振動を精度よく検出することができ、しかも非接触方式であるから耐久性にも優れ、信頼性の高いものを得ることができる。（特許文献２参照）
また、ある提案の電子ドラムにおいては、電子ドラムのパッドの外周であるパッド枠の少なくとも一箇所を透明若しくは半透明とした導光板で形成し、その導光板に複数色の光源からの光を導光し発光させる構成とともに、所望の条件に従う点灯信号発生手段からの信号により点滅と発光色の切換とを行う構成になっている。この構成により、パッドに割り付けられた打楽器の種類など、演奏者が所望する情報を発光色、発光数などにより告知できる。（特許文献３参照）
また、ある提案の入力装置およびこれを用いた電子楽器においては、２本のワイヤが１点で固定されたスタンドと、それぞれのワイヤに固定された２本のスティックと、ワイヤに張力が生じたことを検知し、ワイヤが張った状態でこのワイヤが交わる線上での位置を検知するセンサと、位置を表す信号に応じた音色の信号を発生し得る音源装置と、センサが張力を検知したときに音源装置からの信号を出力する出力手段とを備えた構成になっている。この構成により、ワイヤが充分に伸びた瞬間のタイミングとその時の打点位置を電気信号として検出でき、それを用いて電子音源装置を操作することにより電子ドラムシステムの演奏が可能になる。（特許文献４参照）
また、ある提案の仮想楽器演奏装置においては、大型ＴＶ画面の表示装置およびその両脇にビデオカメラが設置された構成になっている。そして、画面に映っている演奏者の手が画面の上部の６つのボタンのいずれかに画面上で接触すると、発音を開始するようになっている。（特許文献５参照）
また、ある提案の運動特定装置、電子楽器、および入力デバイスにおいては、ユーザが紙などに描かれた木琴の絵を打鍵することで、スピーカから木琴の楽音が出力されるようになっている。（特許文献６参照）
また、ある提案の楽音生成装置、楽音生成プログラムおよび楽音生成方法においては、コンピュータの画面を縦方向に複数の区画に分割し、各区画に対して楽器を割り当てている。ドラムの区画においては、カメラで撮像した演奏者の手の画像が縦方向に動くと、その表示位置に応じてドラムの音色を変える構成になっている。（特許文献７参照）
【特許文献１】特開平６−７５５７１号公報
【特許文献２】特開平１０−５５１７５号公報
【特許文献３】特開平１１−３０９８３号公報
【特許文献４】特開２０００−１６３０４９号公報
【特許文献５】特開２００２−０４１０３８号公報
【特許文献６】特開２００４−１８５５６５号公報
【特許文献７】特開２００４−２０５７３８号公報
【発明の開示】
【発明が解決しようとする課題】
【０００３】
しかしながら、上記各特許文献においては、実際のドラムと同じような感覚で演奏することができないという課題、又は、擬似ドラムを設置するだけの広いスペースが必要になるという課題があった。
例えば、特許文献１の構成においては、スティックだけではドラムの種類や位置を判別できないので、ドラム演奏の臨場感を得ることができず、結局は、図４に示されるように、摸擬ドラムのメンブレム部やスネア部に角速度センサを取り付けることになる。したがって、擬似ドラムを設置するためのスペースが必要になる。また、ステックと装置（この場合は、プロセッサの回路部）とを接続するための信号線が必要となり、スティックの操作が制限されてしまうことになる。
また、特許文献２の構成においては、特許文献１の場合と同様に、スティックだけではドラムの種類や位置を判別できないので、ドラム演奏の臨場感を得ることができない上、スティックと楽音発生装置とを接続するための信号線が必要となり、スティックの操作が制限されてしまうことになる。さらに、スティックの振りが激しい場合には、スティック内のセンサ部が破損するおそれもある。
また、特許文献３の構成においては、擬似ドラムとしてのパッドを設置しなければならず、擬似ドラムを設置するだけの広いスペースが必要になるので、狭い家屋では設置することが困難である。
また、特許文献４の構成においては、図１からも明らかなように、スツール付きの大きなスタンドを設置しなければならず、自宅で手軽に演奏することができない。さらに、スティックとスタンドとを結ぶワイヤによって、スティックの操作が制限されてしまうことになる。さらにまた、図４および図６に示されているように、スティック操作を検出するセンサの機構が複雑であるので、製造コストやメンテナンスコストが高くなってしまう。
また、特許文献５の構成においては、表示装置の構成によって演奏者の動作が大きく左右されてしまう。例えば、画面に映る演奏者の大きさが等身大でない場合には、演奏者の手の移動距離と手の画像の移動距離とが異なるので、自由な演奏ができない。また、液晶のような平面タイプの表示装置は早い動きをスムーズに表示できず、ブラウン管を用いた表示装置を設置することが必要になり、広い場所を必要とする。さらに、表示装置にあらかじめ表示されている特定の画像位置に、カメラで撮像された演奏者の手の画像位置を合わせる動作は、空間で手を動かす場合のように自由な動作にはならず、仮想のドラム演奏には適していない。
また、特許文献６の構成を仮想のドラム演奏に取り入れたとすると、平面に置かれた紙などに、ハイハット、バスドラム、フロアタム、スネアドラム、タムタム、トップシンバルなどの各打楽器の絵を描いて、それにスティックなどを打ち当てることになる。しかし、各打楽器は高さが異なるので、実際のドラムと同じように演奏することはできない。
また、特許文献７の構成においては、特許文献５の場合と同様に、画面に映る演奏者の大きさが等身大でない場合には、演奏者の手の移動距離と手の画像の移動距離とが異なるので、自由な演奏ができない。また、図１に示されている液晶のような平面タイプの表示装置のコンピュータでは早い動きをスムーズに表示できず、ブラウン管を用いたコンピュータが必要になり、広い場所を必要とする。さらに、コンピュータの画面にあらかじめ表示されている特定の画像位置に、カメラで撮像された演奏者の手の画像位置を合わせる動作は、空間で手を動かす場合のように自由な動作にはならず、仮想のドラム演奏には適していない。
【０００４】
本発明は、このような従来の課題を解決するためになされたもので、実際のドラムと同じような感覚で演奏することができるとともに、狭い場所でも演奏できるようにすることを目的とする。
【課題を解決するための手段】
【０００５】
本発明の電子楽器システムは、電子カメラ装置とコンピュータとの間で通信を行って楽音信号を発生する電子楽器システムであって、
電子カメラ装置は、
所定の角度以上の画角を有する光学部材と、
赤、緑、および青からなる原色系のカラーフィルタ、又は、シアン、マゼンタ、黄、および緑からなる補色系のカラーフィルタを有するとともに、コンピュータから受信したテスト演奏指令および演奏開始指令に応じて、光学部材から入射する略球形の形状で原色系又は補色系の色彩からなる１種類以上の物体の映像を光電変換してカラーの画像信号を出力する撮像素子と、
撮像素子に対して読出信号を繰り返し与えて、各読出信号ごとに撮像素子から出力される画像信号に基づいて物体の略中心位置の位置情報を検出し、前回検出した位置情報と今回検出した位置情報に基づいて次にその物体を検出する範囲を決定しながらその物体の移動軌跡を示す位置情報を順次出力する演算処理回路と、を備え、
コンピュータは、
操作に応じて複数種類の指令を入力するキーボードと、
キーボードから入力された打楽器演奏の指令に応じて、表示部に複数種類の打楽器のリストを表示する表示制御機能と、
キーボードから入力された打楽器選択の指令に応じて、その選択に係る１種類以上の打楽器をメモリに記憶して設定する楽器設定機能と、
キーボードから入力された曲選択の指令に応じて、その選択に係る曲をメモリに記憶して設定する曲設定機能と、
楽器設定機能によって打楽器が設定された後に、キーボードから入力されたテスト演奏の指令に応じて、楽器設定機能によって設定された打楽器を１つの打楽器から順に指定して、その指定した打楽器のテスト演奏を促す旨の音声信号をオーディオ装置に送出して発音させるとともに、電子カメラ装置にテスト演奏指令を送信するテスト演奏機能と、
電子カメラ装置にテスト演奏指令を送信した後に、電子カメラ装置から物体の移動軌跡を示す位置情報を受信したときは、その移動軌跡をその指定された打楽器の基準演奏パターンとしてメモリに設定する演奏設定機能と、
打楽器設定機能によって設定された全ての打楽器の基準演奏パターンが演奏設定機能によって設定された後に、電子カメラ装置に送信した演奏開始指令に応じて、電子カメラ装置から受信した物体の移動軌跡の位置情報が前記メモリに設定されているいずれかの打楽器の基準演奏パターンと一致するか否かを分析する画像分析定機能と、
演奏開始指令に応じてメモリに設定された曲のメロディ音の第１の楽音信号を発生するとともに、画像分析機能によって物体の移動軌跡の位置情報が前記メモリに設定されているいずれかの打楽器の基準演奏パターンと一致することが分析されたときは、その一致する打楽器の音色の第２の楽音信号を発生して、その第１および第２の楽音信号をオーディオ装置に送出して発音させる信号発生機能と、を備えた構成になっている。
【０００６】
あるいは、本発明の電子楽器システムは、携帯電話装置とその携帯電話装置から送信される楽音信号に応じて発音するオーディオ装置とで構成される電子楽器システムであって、
携帯電話装置は、
操作に応じて複数種類の指令を入力するスイッチ部と、
所定の角度以上の画角を有する光学部材と、
赤、緑、および青からなる原色系のカラーフィルタ、又は、シアン、マゼンタ、黄、および緑からなる補色系のカラーフィルタを有するとともに、スイッチ部からのテスト演奏指令および演奏開始指令並びに入力される駆動信号に応じて、光学部材から入射する略球形の形状で原色系又は補色系の色彩からなる１種類以上の物体の映像を光電変換してカラーの画像信号を出力する撮像素子と、
撮像素子に対して読出信号を繰り返し与えて、各読出信号ごとに撮像素子から出力される画像信号に基づいて物体の略中心位置の位置情報を検出し、前回検出した位置情報と今回検出した位置情報に基づいて撮像素子が次に光電変換する範囲を指定する駆動信号を発生して撮像素子に入力するとともに、その物体の移動軌跡を示す位置情報を順次出力する演算処理回路と、
スイッチ部から入力された打楽器演奏の指令に応じて、表示部に複数種類の打楽器のリストを表示する表示制御機能と、
スイッチ部から入力された打楽器選択の指令に応じて、その選択に係る１種類以上の打楽器をメモリに記憶して設定する楽器設定機能と、
スイッチ部から入力された曲選択の指令に応じて、その選択に係る曲をメモリに記憶して設定する曲設定機能と、
楽器設定機能によって打楽器が設定された後に、スイッチ部から入力されたテスト演奏の指令に応じて、楽器設定機能によって設定された打楽器を１つの打楽器から順に指定して、その指定した打楽器のテスト演奏を促す旨の音声信号をオーディオ装置に送信して発音させるとともに、撮像素子にテスト演奏指令を入力するテスト演奏機能と、
撮像素子にテスト演奏指令を入力した後に、演算処理回路から物体の移動軌跡を示す位置情報を取得したときは、その移動軌跡をその指定された打楽器の基準演奏パターンとしてメモリに設定する演奏設定機能と、
打楽器設定機能によって設定された全ての打楽器の基準演奏パターンが演奏設定機能によって設定された後に、撮像素子に入力した演奏開始指令に応じて、演算処理回路から取得した物体の移動軌跡の位置情報がメモリに設定されているいずれかの打楽器の基準演奏パターンと一致するか否かを分析する画像分析定機能と、
演奏開始指令に応じてメモリに設定された曲のメロディ音の第１の楽音信号を発生するとともに、画像分析機能によって物体の移動軌跡の位置情報が前記メモリに設定されているいずれかの打楽器の基準演奏パターンと一致することが分析されたときは、その一致する打楽器の音色の第２の楽音信号を発生して、その第１および第２の楽音信号をオーディオ装置に送信して発音させる信号発生機能と、を備えた構成になっている。
【０００７】
本発明の電子楽器システムに利用するカメラ付き携帯電話装置は、表示部の画面を保護する透明板と、その透明板に形成されて表示部の表示画像の光を透過するハーフミラーと、そのハーフミラーによって反射された表示部に対面する被写体の映像をカメラの光学部材に導く導光部材と、を有する。
【０００８】
本発明の電子楽器システムに利用するカメラ付きコンピュータは、表示部の画面を保護する透明板と、その透明板に形成されて表示部の表示画像の光を透過するハーフミラーと、そのハーフミラーによって反射された表示部に対面する被写体の映像をカメラの光学部材に導く導光部材と、を有する。
【０００９】
本発明の電子楽器システムに用いるプログラムは、所定の角度以上の画角を有する光学部材と、赤、緑、および青からなる原色系のカラーフィルタ、又は、シアン、マゼンタ、黄、および緑からなる補色系のカラーフィルタを有するとともに、光学部材から入射する略球形の形状で原色系又は補色系の色彩からなる１種類以上の物体の映像を光電変換してカラーの画像信号を出力する撮像素子と、撮像素子に対して読出信号を繰り返し与えて、各読出信号ごとに撮像素子から出力される画像信号に基づいて物体の略中心位置の位置情報を検出し、前回検出した位置情報と今回検出した位置情報に基づいて次にその物体を検出する範囲を決定しながらその物体の移動軌跡を示す位置情報を順次出力する演算処理回路と、を備えた電子カメラ装置と、コンピュータとの間で通信を行って楽音信号を発生する電子楽器システムに用いるプログラムであって、そのプログラムは、
キーボードの操作に応じて複数種類の指令を入力するステップＡと、
ステップＡによって入力された打楽器演奏の指令に応じて、表示部に複数種類の打楽器のリストを表示するステップＢと、
ステップＡによって入力された打楽器選択の指令に応じて、その選択に係る１種類以上の打楽器をメモリに記憶して設定するステップＣと、
ステップＡによって入力された曲選択の指令に応じて、その選択に係る曲をメモリに記憶して設定するステップＤと、
ステップＣによって打楽器が設定された後に、ステップＡによって入力されたテスト演奏の指令に応じて、ステップＣによって設定された打楽器を１つの打楽器から順に指定して、その指定した打楽器のテスト演奏を促す旨の音声信号をオーディオ装置に送出して発音させるとともに、電子カメラ装置にテスト演奏指令を送信するステップＥと、
電子カメラ装置にテスト演奏指令を送信した後に、電子カメラ装置から物体の移動軌跡を示す位置情報を受信したときは、その移動軌跡をその指定された打楽器の基準演奏パターンとしてメモリに設定するステップＦと、
ステップＣによって設定された全ての打楽器の基準演奏パターンがステップＦによって設定された後に、電子カメラ装置に送信した演奏開始指令に応じて、電子カメラ装置から受信した物体の移動軌跡の位置情報がメモリに設定されているいずれかの打楽器の基準演奏パターンと一致するか否かを分析するステップＧと、
演奏開始指令に応じてメモリに設定された曲のメロディ音の第１の楽音信号を発生するとともに、ステップＧによって物体の移動軌跡の位置情報がメモリに設定されているいずれかの打楽器の基準演奏パターンと一致することが分析されたときは、その一致する打楽器の音色の第２の楽音信号を発生して、その第１および第２の楽音信号をオーディオ装置に送出して発音させるステップＨと、
をコンピュータに実行させる。
【発明の効果】
【００１０】
本発明の電子楽器システムおよびそのシステムに用いるプログラムによれば、実際のドラムと同じような感覚で仮想のドラム演奏することができるとともに、狭い場所でも仮想のドラム演奏することができるという効果が得られる。
【発明を実施するための最良の形態】
【００１１】
以下、本発明による電子楽器システムの第１実施形態ないし第６実施形態、およびいくつかの変形例について、図を参照しながら詳細に説明する。
図１は、第１実施形態における電子楽器システムを演奏者が使用する状態を示す図である。この図において、演奏者１００の右手１０１および左手１０２のそれぞれには、略球形の形状で赤および青に着色されている先端部（以下、「赤球１」および「青球２」という）を持つスティック１ａおよび２ａが握られている。また、演奏者１００の右脚１０３および左脚１０４には、略球形の形状で緑に着色された物体３および４（以下、「緑球３」および「緑球４」という）が、それぞれ帯状の保持部材３ａおよび４ａによって固定されている。また、演奏者１００の前面の机１０５の上面には、携帯電話装置５が置かれている。また、演奏者１００の頭部１０６には、ステレオ用のヘッドホン装置６（オーディオ装置）が装着されている。このヘッドホン装置６には、音量調整用のボリューム６ａが設けられている。なお、携帯電話装置５とヘッドホン装置６とは近距離無線通信であるブルートゥース（Bluetooth）無線通信によってデータの送受信を行う。あるいは、携帯電話装置５とヘッドホン装置６とは、同じく近距離無線通信である赤外線無線通信によってデータの送受信を行う。
【００１２】
図２は、図１に示した携帯電話装置５の構造を示す図である。携帯電話装置５は、上部本体５ａと下部本体ｂとがヒンジ部５ｃによって開閉可能な構造になっている。図２（１）に示すように、上部本体５ａには、表示部の画面５ｄと、演奏者の姿を撮影できるようなレンズ５ｅ（光学部材）が設けられている。下部本体５ｂには、複数のスイッチ５ｆが設けられている。図２（２）に示すように、レンズ５ｅは、略１１０度の広い視野角であり、上部本体５ａの角度調整によって垂直方向の画角調整（チルト調整）をすることができる。
【００１３】
図３は、携帯電話装置５の内部構成を示すブロック図である。この図において、ＣＰＵ１１は、システムバスを介して、ＲＯＭ１２、ＲＡＭ１３（メモリ）、無線送受信部１４、スイッチ部１５、表示部１６、カメラ部（アウト）１７ａ、カメラ部（イン）１７ｂ、フラッシュメモリ１８、音源部１９、およびブルートゥース通信部２０に接続され、これら各部との間で指令およびデータの授受を行って、この装置全体を制御する。なお、カメラ部１７ｂは、図２に示したレンズ５ｅから入射する被写体の映像を撮像するインカメラである。一方、カメラ部１７ａは、カメラ部１７ｂと反対側の面に設けられているレンズ（図示せず）から入射する被写体の映像を撮像するアウトカメラである。
ＲＯＭ１２は、ＣＰＵ１１によって実行されるプログラムや初期データなどを記憶している。ＲＡＭ１３は、ＣＰＵ１１のワークエリアであり、ドラム演奏に際して設定された各種のデータ、その他処理する各種のデータを一時的に記憶するバッファエリア、各種のレジスタ、フラグ、変数のためのエリアが用意されている。無線送受信部１４は、外部の携帯電話装置との間で電話、メール、画像の送受信を行なうとともに、インターネットなどのネットワークを介して配信される曲をダウンロードすることができる。スイッチ部１５は、テンキースイッチ、オフフックスイッチ、オンフックスイッチ、発信スイッチ、メニュースイッチ、カーソルスイッチなどで構成されている。表示部１６は、図２に示した画面５ｄに画像を表示するＬＣＤ（液晶表示デバイス）で構成されている。
【００１４】
フラッシュメモリ１８は、電源がオフされた後もデータを保持する書き換え可能な不揮発性メモリであり、電話やメールの着信履歴および発信履歴、アドレス帳として電話番号やメールアドレスのデータ、インターネットなどからダウンロードした曲のデータ、スイッチ部１５の操作によって録音された楽音データを記憶する。音源部１９は、バスドラム、スネアドラム、フロアタム、シンバル、タムタム、ハイハットなどの複数種類からなる打楽器の音色のＰＣＭ波形データを記憶し、ＣＰＵ１１によって判定された仮想楽器としての打楽器に応じて、その打楽器の音色のリズム音信号（第２の楽音信号）を発生する。ブルートゥース通信部２０は、音源部１９によって発生されたリズム音信号やフラッシュメモリ１８に記憶された曲の楽音信号（第１の楽音信号）を近距離通信方式のブルートゥース無線通信によってヘッドホン装置６やミニコンポなどの通常のオーディオ装置（図示せず）に対して送信する。通常のオーディオ装置に送信する場合には、携帯電話装置５のヘッドホン出力端子とオーディオ装置の外部入力端子とを接続する。
【００１５】
図４は、ヘッドホン装置６の内部構成を示すブロック図である。この図において、ブルートゥース通信部６１は、ブルートゥース無線通信によって携帯電話装置５のブルートゥース通信部２０から送信されるリズム音信号や曲の楽音信号を受信する。信号処理部６２は、ブルートゥース通信部６１から得られるリズム音信号や楽音信号をデジタルからアナログに変換して、ＬチャンネルとＲチャンネルとに分離するステレオ信号処理やフィルタ処理、増幅処理などその他の信号処理を施して出力する。アンプ６３は、信号処理部６２から出力されるステレオ信号を、ボリューム７ａの調整に応じた音量で左右のスピーカ６４Ｌおよび６４Ｒから発音する。
【００１６】
次に、携帯電話装置５の動作について、ＣＰＵ１１によって実行されるフローチャートおよび表示部１６の画面、ＲＡＭ１３のバッファエリア、レジスタ、フラグ、変数などに記憶されるデータに基づいて説明する。
図５および図６は、メインルーチンのフローチャートである。図５において、ＲＡＭ１３の初期化などの所定のイニシャライズ（ステップＳＡ１）の後、待受画面を表示する（ステップＳＡ２）。そして、オフフックスイッチがオンされたか否かを判別する（ステップＳＡ３）。このスイッチがオンされたときは、番号入力画面を表示して（ステップＳＡ４）、テンキースイッチによって入力された番号又はアドレス帳から呼び出された特定の番号を入力する番号入力処理を行ない（ステップＳＡ５）、発信スイッチのオンによってその番号を無線通信網に発信して（ステップＳＡ６）、スピーカによって呼出報知を行う（ステップＳＡ７）。そして、相手側との回線接続が確立したか否かを判別し（ステップＳＡ８）、回線接続が確立したときは、通話処理に遷移する（ステップＳＡ９）。通話処理中においては、オンフックスイッチがオンされたか否かを判別し（ステップＳＡ１０）、このスイッチがオンされたときは、回線切断などの終話処理を行って（ステップＳＡ１１）、ステップＳＡ２に移行して待受画面を表示する。
【００１７】
ステップＳＡ３において、オフフックスイッチがオンでない場合には、図６において、メニュースイッチがオンされたか否かを判別する（ステップＳＡ１２）。このスイッチがオンされたときは、メニュー画面を表示して（ステップＳＡ１３）、１つのメニューにフォーカスする（ステップＳＡ１４）。例えば、最初のメニューや前回選択されたメニューを強調して表示する。次に、カーソルスイッチがオンされたか否かを判別する（ステップＳＡ１５）。このスイッチがオンされたときは、フォーカス位置を移動する（ステップＳＡ１６）。そして、選択スイッチがオンされたか否かを判別し（ステップＳＡ１７）、このスイッチがオンでない場合には、戻るスイッチがオンされたか否かを判別する（ステップＳＡ１８）。戻るスイッチがオンでない場合には、ステップＳＡ１５においてカーソルスイッチのオンを判別し、戻るスイッチがオンされたときは、図５のステップＳＡ２に移行して待受画面を表示する。
【００１８】
図７（Ａ）は、メニュー画面を示す図であり、図７（Ｂ）は、スイッチ部１５においてメニュー画面および後述するその他の画面に表示されたアイコンに対応するカーソルスイッチ１５１、決定、スタート／ストップの操作を行う選択スイッチ１５２、および戻るスイッチ１５３を示す図である。メニュー画面には、複数のメニューが表示されるとともに、「選択」アイコンおよび「戻る」アイコンが表示される。カーソルスイッチ１５１の操作に応じて、強調表示されるメニューのフォーカス位置が変化する。図７（Ａ）の画面では、ドラム演奏のメニューにフォーカスが表示されている。
【００１９】
図６のステップＳＡ１７において、選択スイッチがオンされたときは、そのときのフォーカス位置のメニューを実行する。フォーカス位置がドラム演奏であるか否かを判別し（ステップＳＡ１９）、ドラム演奏である場合には、ドラム設定処理を実行する（ステップＳＡ２０）。フォーカス位置がドラム演奏でない場合には、フォーカス位置が再生であるか否かを判別する（ステップＳＡ２１）。再生である場合には、フラッシュメモリ１８に録音したドラム演奏のデータやダウンロードした曲のデータを再生する再生処理を行う（ステップＳＡ２２）。フォーカス位置がドラム演奏でも再生でもない場合には、フォーカス位置に対応する処理を行う（ステップＳＡ２３）。ドラム設定処理、再生処理、又はその他のフォーカス位置に対応する処理の後は、ステップＳＡ１３のメニュー画面に戻る。
【００２０】
一方、ステップＳＡ１２において、メニュースイッチがオンでない場合には、他のスイッチがオンされたか否かを判別し（ステップＳＡ２４）、いずれかのスイッチがオンされたときは、そのスイッチに対応する処理を行って（ステップＳＡ２５）、図５のステップＳＡ２に移行して待受画面を表示するが、いずれのスイッチもオンでない場合には、図５のステップＳＡ３に移行して、各スイッチがオンを判別する。
【００２１】
図８および図９は、ドラム設定処理のフローチャートである。図８において、まず、設定画面を表示する（ステップＳＢ１）。そして、所定のフォーカス表示を行う（ステップＳＢ２）。図１０は、ドラム設定処理における設定画面の内容を示す図である。この図に示すように、設定画面には、「前回設定」、「今回設定」、「デフォルト」、「メロディ」の有無、「録音」の有無の選択メニューが表示され、「選択」アイコン、「戻る」アイコンが表示される。この図では、前回設定、メロディ無し、および録音無しにフォーカスが表示されている。
【００２２】
図８においてフォーカス表示をした後は、カーソルスイッチがオンされたか否かを判別する（ステップＳＢ３）。このスイッチがオンされたときは、フォーカス位置を移動する（ステップＳＢ４）。次に、選択スイッチがオンされたか否かを判別し（ステップＳＢ５）、このスイッチがオンでない場合には、戻るスイッチがオンされたか否かを判別し（ステップＳＢ６）、このスイッチがオンされたときは、図６のメインルーチンに戻る。戻るスイッチがオンでない場合には、カーソルスイッチのオンを判別する。ステップＳＢ５において、選択スイッチがオンされたときは、フォーカスされている設定内容を実行する。前回設定がフォーカスされているか否かを判別し（ステップＳＢ７）、前回設定にフォーカスされている場合には、前回設定のデータをフラッシュメモリ１８から読み出す（ステップＳＢ８）。フォーカスされているのが前回設定でない場合には、デフォルトにフォーカスされているか否かを判別し（ステップＳＢ９）、デフォルトにフォーカスされている場合には、デフォルトのデータをフラッシュメモリ１８から読み出す（ステップＳＢ１０）。
【００２３】
フォーカスされているのが前回設定でもなくデフォルトでもない場合には、図９において、今回設定にフォーカスされているか否かを判別する（ステップＳＢ１１）。今回設定にフォーカスされている場合には、設定画面を表示する（ステップＳＢ１２）。そして、所定の設定項目にフォーカスを表示する（ステップＳＢ１３）。また、所定の仮想楽器にラジオボタンを表示する（ステップＳＢ１４）。フォーカスを表示する設定項目の内容、および、ラジオボタンを表示する仮想楽器については、例えば、前回設定の内容に従う。図１１は、ドラム演奏の設定画面を示す図である。この図では、「右足」演奏に対応する「バス」、「左足」演奏に対応する「ハイハット」がフォーカスされ、右手演奏に対応する仮想楽器として「タムタム」、「フロアタム」、および「トップシンバル」、左手演奏に対応する仮想楽器として「スネア」および「ハイハット」のラジオボタンが有効（黒丸）に設定されている。この画面にも、スイッチ部１５のスイッチに対応して、「選択」アイコンおよび「戻る」アイコンが表示される。
【００２４】
次に、カーソルスイッチがオンされたか否かを判別し（ステップＳＢ１５）、このスイッチがオンされたときは、フォーカス位置を移動する（ステップＳＢ１６）。また、カーソルスイッチによってラジオボタンが指定されたか否かを判別し（ステップＳＢ１７）、ラジオボタンが指定されたときは、その指定されたラジオボタンを無効から有効に又は有効から無効に反転する（ステップＳＢ１８）。次に、選択スイッチがオンされたか否かを判別し（ステップＳＢ１９）、このスイッチがオンでない場合には、戻るスイッチがオンされたか否かを判別する（ステップＳＢ２０）。このスイッチがオンされたときは、図８のステップＳＢ１に移行して設定画面を表示するが、戻るスイッチがオンでない場合には、ステップＳＢ１５においてカーソルスイッチのオンを判別する。
【００２５】
一方、ステップＳＢ１１において、フォーカス位置が今回設定でない場合には、メロディがフォーカスされているか否かを判別し（ステップＳＢ２１）、メロディがフォーカスされている場合には、曲選択処理を実行する（ステップＳＢ２２）。曲選択処理においては、フラッシュメモリ１８に記憶されている１つ以上の曲を画面に表示して、ドラム演奏とともに発音させるメロディの曲データをカーソルスイッチおよび選択スイッチの操作に応じて設定する。フラッシュメモリ１８に記憶されている曲としては、いわゆる「着メロ」や「着うた」の曲データでもよいし、ドラム演奏用に作成又は編集されたリズムパートだけを除いた「マイナスワン」の曲データでもよい。曲選択処理の後は、フラグＭＦを「１（メロディオン）」にセットする（ステップＳＢ２３）。ステップＳＢ２１において、フォーカス位置がメロディでない場合には、録音がフォーカスされているか否かを判別し（ステップＳＢ２４）、録音がフォーカスされている場合には、フラグＲＦを「１（録音）」にセットする（ステップＳＢ２５）。ＲＦが「１」の場合には、ドラム演奏のデータがフラッシュメモリ１８に記憶される。
【００２６】
ステップＳＢ１９において選択スイッチがオンされたとき、又は、ステップＳＢ２３にいてＭＦを「１」にセットした後、若しくは、ステップＳＢ２５においてＲＦを「１」にセットした後は、決定画面を表示する（ステップＳＢ２６）。図１２は、ドラム演奏の決定画面の例を示す図である。この画面には、図１０および図１１の画面において設定された内容が表示されるとともに、「スタート／ストップ」アイコンおよび「戻る」アイコンが表示される。そして、「スタート／ストップ」アイコンに対応するスイッチ部１５の選択スイッチがオンされたか否かを判別する（ステップＳＢ２７）。このスイッチがオンでない場合には、戻るスイッチがオンされたか否かを判別する（ステップＳＢ２８）。このスイッチがオンされたときは図８のステップＳＢ１に移行して設定画面を表示するが、戻るスイッチがオンでない場合には、ステップＳＢ２７において選択スイッチのオンを判別する。選択スイッチがオンされたときは、ドラム処理を実行する（ステップＳＢ２９）。ドラム処理が終了したときは、図６のメインルーチンに戻る。
【００２７】
なお、選択スイッチがオンされたときは、図１２の設定内容に対応して、ＲＡＭ１３には、図１３に示すような配列ＡＲのデータが記憶される。この図において、縦の行であるｍの値（１〜４）は、右足（１）、左足（２）、右手（３）、左手（４）すなわち演奏者の身体の部位を表し、横の列であるｎの値（１〜６）は、仮想楽器の種類即ちドラムの種類であるバス（１）、ハイハット（２）、タムタム（３）、フロアタム（４）、トップシンバル（５）、スネア（６）を表している。ｍの行とｎの列とが交わった部分のデータ（１又は０）によって、演奏する部位と演奏するドラムとの関係を表している。すなわち、図１３には図１２において選択された設定内容が示されている。例えば、右足（１）はバス（１）を演奏し、左足（２）はハイハット（１）を演奏する。足で演奏できないドラムは「／（非選択マーク）」で区別されている。同様に、右手（３）はタムタム（３）、フロアタム（４）、トップシンバル（５）を演奏し、左手（４）はハイハット（２）、スネア（６）を演奏する。
【００２８】
図１４は、図９におけるステップＳＢ２９のドラム処理のフローチャートである。図１４において、図１２の画面でスタート／ストップに対応する選択スイッチがオンされたか否かを判別し（ステップＳＣ１）、このスイッチがオンされたときはスタートフラグＳＴＦを反転する（ステップＳＣ２）。ＳＴＦを反転した後、又は、ステップＳＣ１においてスタート／ストップスイッチがオンでない場合には、ＳＴＦが「１」であるか否かを判別する（ステップＳＣ３）。ＳＴＦが「１」である場合には、後述する演算処理回路をアクティブにするＥＮが「０」であるか否かを判別し（ステップＳＣ４）、ＥＮが「０」である場合にはこれを「１」にセットする（ステップＳＣ５）。ＥＮが「１」である場合又はＥＮを「１」にセットした後は、音声処理（ステップＳＣ６）、画像処理（ステップＳＣ７）、その他の処理（ステップＳＣ８）を行い、ステップＳＣ１に移行して、スタート／ストップスイッチがオンされたか否かを判別する。したがって、ＳＴＦが「１」になってドラム処理が開始した後は、スタート／ストップスイッチがオンされない限り、ステップＳＣ６からステップＳＣ８までのドラム処理を続行する。ドラム処理中において、スタート／ストップスイッチがオンされて、ステップＳＣ３においてＳＴＦが「０」と判別されたときは、ＥＮを０にリセットして（ステップＳＣ９）、メインフローに戻る。なお、ステップＳＣ８のその他の処理は、電源の低下やその他の異常を検出する処理などである。
【００２９】
図１５は、ステップＳＣ６における音声処理のフローチャートである。まず、ドラム演奏中であるかドラム演奏停止中であるかを表すフラグＬＦが「０（演奏停止中）」又は「１（演奏中）」であるかを判別する（ステップＳＤ１）。ＬＦが「１」である場合には、図１４の画像処理に移行するが、ＬＦが「０」である場合には、ドラム演奏に先立つテストの実施を表すフラグＳＢＦが「０」であるか又は「１」であるかを判別する（ステップＳＤ２）。ＬＦが「０」で且つＳＢＦが「０」である場合には、ドラム演奏に先立つテストがまだ実施されていない場合である。この場合には、ＳＢＦを「１」にセットして（ステップＳＤ３）、ブルートゥース通信部２０を介して、ヘッドホン装置６に対してテスト開始の音声メッセージを出力する（ステップＳＤ４）。例えば、「各ドラムの音出しテストを行います」のような音声メッセージを出力する。
【００３０】
次に、演奏する部位を示す変数ｍおよび演奏対象のドラムを示す変数ｎを共に「１」にセットして（ステップＳＤ５）、ｍおよびｎの値をインクリメントしながら、以下のループを実行する。図１３に示した配列ＡＲにおいて、ＡＲ（ｍ，ｎ）が「１」であるか否かを判別する（ステップＳＤ６）。すなわち、ｍで指定する身体の部位がｎで指定するドラムＤ（ｎ）を演奏するように設定されているか否かを判別する。ＡＲ（ｍ，ｎ）が「１」である場合には、ｍの部位でＤ（ｎ）を演奏する旨の音声メッセージをヘッドホン装置６に出力する（ステップＳＤ７）。例えば、「右手でタムタムを叩いて下さい」のような音声メッセージを出力する。そして、フラグＤＦ（ｍ，ｎ）を「１」にセットし（ステップＳＤ８）、タイマレジスタに所定値Ｔの値をセットする（ステップＳＤ９）。すなわち、ｍの部位によるＤ（ｎ）の音出しテストの状態をセットする。また、タイマインタラプトを許可する。Ｔの値としては、例えば、数分ないし十数分が適当である。
【００３１】
タイマをセットした後、又は、ステップＳＤ２において、ＳＢＦが「１」である場合すなわちドラム演奏に先立つテストが実施中である場合には、フラグＤＦ（ｍ，ｎ）が「０」にリセットされたか否かを判別する（ステップＳＤ１０）。このフラグが「１」でまだｍの部位によるＤ（ｎ）の音出しテスト中である場合には、タイマの値が「０」に達したか否かを判別する（ステップＳＤ１１）。すなわち、ｍの部位によるＤ（ｎ）の音出しテストの音声メッセージの指示にもかかわらず、その指示に従ったテスト演奏がされない時間が５分を経過したか否かを判別する。５分が経過していない場合には、図１４の画像処理に移行する。そして、再び図１５のフローチャートにおいて、ステップＳＤ２、ステップＳＤ３を経て、フラグＤＦ（ｍ，ｎ）が「０」にリセットされたか否かを判別するが（ステップＳＤ１０）、このフラグが「１」である場合には、タイマの値が「０」に達したか否かを判別する（ステップＳＤ１１）。タイマの値が「０」に達したとき、すなわち、５分が経過した場合には、何らかの事情で演奏者がドラム演奏を中断したと判断して、ＳＴＦを「０」にリセットして（ステップＳＤ１２）、図１４のフローチャートに戻る。したがって、図１４のステップＳＣ３の判別によって、ステップＳＣ８でＥＮを０にリセットして、メインルーチンに戻る。
【００３２】
図１５のステップＳＤ１０において、フラグＤＦ（ｍ，ｎ）が「０」にリセットされた場合、又は、ステップＳＤ６においてＡＲ（ｍ，ｎ）が「０」である場合には、ｎの値をインクリメントする（ステップＳＤ１３）。そして、ｎの値が最大値ＭＡＸを超えたか否かを判別する（ステップＳＤ１４）。最大値は、図１３に示したようにｍの番号に対応する部位ごとに異なる。最大値を超えていない場合には、ステップＳＤ６に移行して、ステップＳＤ１４までのループを繰り返す。ステップＳＤ１４において、ｎの値が最大値ＭＡＸを超えたときは、ｍの値をインクリメントするとともに、ｎの値を「１」にセットする（ステップＳＤ１５）。このとき、ｍの値が「４」を超えたか否かを判別し（ステップＳＤ１６）、「４」を超えていない場合には、ステップＳＤ６に移行して、ステップＳＤ１５までのループを繰り返す。
【００３３】
ステップＳＤ１５において、ｍの値が「４」を超えたとき、すなわち、演奏者の身体において設定しているすべての部位のテスト演奏が終了したときは、フラグＳＢＦを「０」にリセットして（ステップＳＤ１７）、フラグＬＦを「１」にセットし（ステップＳＤ１８）、図１４の画像処理に移行する。
【００３４】
図１６は、携帯電話装置５のカメラ部１７ｂの回路を示す図である。ＭＯＳ撮像素子３１は、図２に示したレンズ５ｅから入射する映像を光電変換して画像信号を出力する。ＭＯＳ撮像素子３１は、任意の画素の読み出しが可能ないわゆるＸ−Ｙアドレス型の撮像素子である。図１７は、ＭＯＳ撮像素子３１の内部構成を示す図である。水平シフトレジスタ４１は、水平方向（Ｘ方向）の画素を駆動する水平パルス信号を出力する。垂直シフトレジスタ４２は、垂直方向（Ｙ方向）の画素を駆動する垂直パルス信号を出力する。ＦＥＴスイッチ群４３は、水平シフトレジスタ４１からの水平パルス信号に応じて、垂直方向に配列された画素列の中から特定の画素列を選択する。この実施形態のＭＯＳ撮像素子３１の画素は、図１７では一部しか示していないが、水平方向に４８０個、垂直方向に６４０個の約３０万画素で構成されている。各画素は、赤（Ｒ）、緑（Ｇ）、および青（Ｂ）の原色系のカラーフィルタ、フォトダイオード、ＦＥＴスイッチで構成されている。そして、例えば画素４４に示すように、青のカラーフィルタＢを透過した特定の波長の光がフォトダイオードによって光電変換され、ゲートに印加される垂直パルス信号によってオンになるＦＥＴスイッチを通って、水平パルス信号によってオンとなったＦＥＴスイッチ４３を介して読み出される。この実施形態においては、ＦＥＴスイッチ群４３は、赤系統の画像信号（Ｒｏｕｔ）、緑系統の画像信号（Ｇｏｕｔ）、および青系統の画像信号（Ｂｏｕｔ）を独立して出力する構成になっている。
【００３５】
図１６において、ＭＯＳ撮像素子３１から出力される赤系統の画像信号、緑系統の画像信号、および青系統の画像信号は、利得制御および相関二重サンプリングを行う３系統のＡＧＣ／ＣＤＳ回路３２Ｒ、３２Ｇ、３２Ｂを経て、Ａ／Ｄ変換回路３３Ｒ、３３Ｇ、３３Ｂによってアナログからデジタルに変換されて、マルチプレクサ回路３４に入力される。これら３系統の画像信号は、マルチプレクサ回路３４によって合成されて、例えば、ＮＴＳＣの複合画像信号として画像処理回路３５に入力される。画像処理回路３５においては、ＮＴＳＣの複合画像信号は、図３の携帯電話装置５の画面５ｄに表示できるように１画面のビットマップの画像信号に変換される。
【００３６】
一方、Ａ／Ｄ変換回路３３Ｒ、３３Ｇ、３３Ｂから出力される３系統の画像信号は、演算処理回路３６に入力される。演算処理回路３６は、図１４のステップＳＣ４において、ＣＰＵ１１によって１（ハイレベル）によってアクティブにされ、ＣＰＵ１１からのクロック信号ＣＬＫ、プリセットデータｋｒ、ｋｂ、ｋｇに応じて、３系統の画像信号を処理して、演算処理回路３６およびＣＰＵ１１の両方からアクセスできるダブルポートメモリ３８に記憶して演算処理を行う。赤系統の画像信号、緑系統の画像信号、および青系統の画像信号の中には、各系統の色を全て含む白系統の画像信号が含まれている。このため、図１に示した赤球１、青球２、緑球３、および緑球４の各系統の画像信号だけを抽出する必要がある。
【００３７】
図１８は、各系統の画像信号を抽出する回路であり、図１９は、その抽出処理を模式的に示した図である。演算処理回路３６に入力される赤系統の画像信号Ｒｉｎ、緑系統の画像信号Ｇｉｎ、および青系統の画像信号Ｂｉｎは、図１９に示すように、それぞれ白系統の画像信号Ｗを共通に含んでいる。したがって、図１８のＡＮＤ回路３６１によって３系統の画像信号の積を演算して、白系統の画像信号Ｗを抽出する。次に、３つの減算回路３６２、３６３、３６４のプラス端子に各系統の画像信号を入力し、全ての減算回路のマイナス端子にＡＮＤ回路３６１からの出力である白系統の画像信号Ｗを入力すると、それぞれの減算回路からは、図１９に示すように、赤系統だけの画像信号Ｒｏｕｔ、緑系統だけの画像信号Ｇｏｕｔ、および青系統だけの画像信号Ｂｏｕｔが出力される。
【００３８】
図２０は、ダブルポートメモリ３８の構成を示す図である。ダブルポートメモリ３８は、図２０（Ａ）に示すような、赤系統だけの画像信号、緑系統だけの画像信号、および青系統だけの画像信号をそれぞれ１フレーム記憶する複数のフレームメモリ３８１、３８２、３８３を有するとともに、図２０（Ｂ）に示すような、座標データを記憶するエリア３８４を有する。例えば、赤球１の画像は、図２０（Ｃ）に示すように、赤球１の画像の検出位置Ｐｄ（ｒ，ｎ）がフレームメモリ３８１に記憶される。ここで、ｒは赤球１を表し、ｎは初期位置のフレームから移動したｎ番目のフレームを表している。Ｐｄ（ｒ，ｎ）のｘ座標はｘ（ｒ，ｎ）であり、ｙ座標はｙ（ｒ，ｎ）である。そして、赤球１、青球２、緑球３、および緑球４の現在位置のｘ座標およびｙ座標が、図２０（Ｂ）に示すエリア３８４に記憶される。
【００３９】
次に、赤球１、青球２、緑球３、および緑球４の現在位置のｘ座標およびｙ座標を演算する信号処理について、赤球１を例に採って説明する。図２１は、演算処理回路３６における現在位置の座標算出および次の座標を取得するためのスキャン範囲算出の回路を示し、図２２は、スキャン範囲算出の例を示す図である。図２１において、初期位置からｎ番目のフレームにおける現在位置Ｐｄ（ｒ，ｎ）＝ｘ（ｒ，ｎ），ｙ（ｒ，ｎ）は、フリップフロップ回路３６５および減算回路３６６に入力される。減算回路３６６においては、Ｐｄ（ｒ，ｎ）から１フレーム前のＰｄ（ｒ，ｎ−１）が減算され、その差分すなわち前回のフレームから現在のフレームまでの間に赤球１が移動した移動成分Δ（ｒ，ｎ）が算出される。Δ（ｒ，ｎ）は、符号を含むベクトルであり、Δ（ｒ，ｎ）＝Δｘ（ｒ，ｎ）＋Δｙ（ｒ，ｎ）として表される。
【００４０】
次に、加算回路３６７において、減算回路３６６からの移動成分Δ（ｒ，ｎ）と現在位置Ｐｄ（ｒ，ｎ）とが加算されて、次のフレームにおける予測位置Ｐｔ（ｒ，ｎ＋１）が算出される。さらに、加算回路３６８においてＰｔ（ｒ，ｎ＋１）にプリセットデータｋｒが加算され、減算回路３６９においてＰｔ（ｒ，ｎ＋１）からｋｒが減算される。そして、減算回路３６９からは次のフレームで赤球１を検出するためのスキャン範囲の始点位置Ｐｓ（ｒ，ｎ＋１）が算出され、加算回路３６８からはスキャン範囲の終点位置Ｐｅ（ｒ，ｎ＋１）が算出される。この始点位置Ｐｓ（ｒ，ｎ＋１）および終点位置Ｐｅ（ｒ，ｎ＋１）は、パルス発生回路３７０に入力されて、クロック信号ＣＬＫに同期したスキャン信号Ｐｃ（ｒ，ｎ＋１）が、図１６のタイミングパルス発生回路３７に入力される。タイミングパルス発生回路３７からは、次のフレームにおいて赤球１を検出する範囲を指定する駆動信号がＭＯＳ撮像素子３１に入力される。青球２、緑球３、および緑球４の場合も同様である。
【００４１】
図２２において、赤球１の初期位置の画像をｉｒ０とする。赤球１が移動して次のフレームでの画像をｉｒ１とすると、点線で示す丸の位置を算出し、次のスキャン範囲ｒａ２を設定する。次のフレームでの画像をｉｒ２とすると、点線で示す丸の位置を算出し、次のスキャン範囲ｒａ３を設定する。このように、赤球１の移動に応じて次のスキャン範囲を設定しながら、赤球１の移動軌跡を追跡しながら、フレームごとの赤球１の検出位置の座標を順次、図２０（Ｂ）のエリア３８４に記憶する。青球２、緑球３、および緑球４の場合も同様である。図２０（Ａ）に示したように、各色のフレームメモリは独立しているので、図２２に示すように、赤球１の移動軌跡の画像ｉｒｎ（ｎ＝０，１，２，…）と青球２の移動軌跡の画像ｉｂｎとが交わるような場合でも、検出に不都合は生じない。緑球３、および緑球４の場合には、同じフレームメモリに緑色の球の画像が記憶されるが、図１に示したように、右足１０３と左足１０４とが交わることはなく、緑球３は画面の右側、緑球４は画面の左側に存在するので、検出に不都合は生じない。なお、初期位置の画像を検出したときは、次の移動位置を予測できないが、図２０（Ｃ）に示すように、やや広い範囲のスキャン位置ａｒ１を設定する。
【００４２】
ＣＰＵ１１から入力されるプリセットデータｋｒ、ｋｂ、ｋｇ１、ｋｇ２は、あらかじめ設定された定数、例えば、各球の画像における直径の５倍ないし１０倍又はそれ以上でもよいが、テスト演奏において各球の移動速度に応じてテンポラリに設定する値でもよい。図２０（Ｂ）のエリア３８４に記憶された各球の現在位置の座標は、ＣＰＵ１１によって順次読み出されてＲＡＭ１３に転送され、ＣＰＵ１１の画像処理によって赤球１、青球２、緑球３、および緑球４の移動軌跡が分析される。ＭＯＳ撮像素子３１は任意のスキャン範囲を設定して各球の位置を検出する。２００５年５月現在において市販されているある携帯電話装置においては、２０４万画素のＭＯＳ撮像素子の読出速度は、最大３０ｆｐｓ（フレーム／秒）であるので、３０万画素のＭＯＳ撮像素子では２０４ｆｐｓとなる。図２２に示したスキャン範囲ｒａ２，ｒａ３，…を画面全体の１／１０とすると、４個の球の中で、２個の緑球３，４を検出するためのスキャン範囲は、画面全体の１／５になるので、その読出速度は約１ｍｓである。その後の演算処理の時間を考慮しても、４個の球の位置検出に要する予測時間は２ｍｓもあれば十分である。しかし、様々な仕様の携帯電話装置を想定して、実施形態においは大きく見積もって１０ｍｓと仮定する。
【００４３】
図２３は、図１４におけるステップＳＣ７の画像処理のフローチャートである。まず、ＳＴＦが「１」であるか否かを判別し（ステップＳＥ１ａ）、ＳＴＦが「０」である場合には画像処理を行うことなく図１４のフローチャートに戻るが、ＳＴＦが「１」である場合には、ＣＰＵ１１は、ダブルポートメモリ３８から各球の座標データを読み出し、ＲＡＭ１３に記憶する（ステップＳＥ１ｂ）。そして、変数ｍで指定された部位すなわち特定色の球の移動軌跡の判定が可能であるか否かを判別する（ステップＳＥ２）。判定できない場合には図１４のフローチャートに戻るが、判定できたときはフラグＳＢＦが「１（音出しテスト中）」であるか否かを判別する（ステップＳＥ３）。ＳＢＦが「１」である場合には、ＲＡＭ１３の画像エリアＧ（ｍ）に登録する（ステップＳＥ４）。次に、登録したＧ（ｍ）の動画の移動軌跡すなわち動線を検出したか否かを判別する（ステップＳＥ５）。Ｇ（ｍ）の動線を検出したときは、レジスタＲＴの値（初期値は０）をインクリメントする（ステップＳＥ６）。また、Ｄ（ｎ）の音色で発音する（ステップＳＥ７）。すなわち、ｍの部位でＤ（ｎ）を演奏する音声メッセージに応じて、演奏者が仮想のＤ（ｎ）を演奏したときは、音源部１９によってＤ（ｎ）に対応する音色の楽音信号を発生させて、ブルートゥース通信部２０を介して、その楽音信号をヘッドホン装置６に出力して発音させる。
【００４４】
ステップＳＥ７の発音処理の後は、ＲＴの値が所定回数Ｎに達したか否かを判別する（ステップＳＥ８）。例えば、ｍの部位でＤ（ｎ）を演奏する音声メッセージの指示が、左手のスティックでハイハットを演奏する指示であるとすると、ハイハットの位置と演奏の動線とを確定するために、演奏者に仮想楽器であるハイハットを演奏する動作を何回かさせる必要がある。また、演奏者にとっても、ハイハットを演奏するイメージを把握する必要がある。このため、連続してＮ回（５回ないし１０回程度）、ハイハットのテスト演奏を行う。Ｎの値はあらかじめ設定されているが、演奏者の設定によって任意の回数に変更できるものとする。
【００４５】
ステップＳＥ８において、ＲＴの値がＮの値に達していない場合には、図１４のフローチャートに戻るが、ＲＴの値がＮの値に達したときは、確定動線の演算処理を行う（ステップＳＥ９）。図２４は、右手（ｍ＝３）でトップシンバル（ｎ＝５）のテスト演奏をＮ回行ったときの、確定動線の演算処理を説明するための図である。この図において、Ｅ１（ｘ，ｙ）、Ｅ２（ｘ，ｙ）、…Ｅｊ（ｘ，ｙ）は、図１に示したスティック１ａのテスト演奏において、１０ｍｓごとの先端部の赤球１の画像の座標を包含する楕円の関数を表している。すなわち、１０ｍｓごとの赤球１の画像の座標は、次第に面積が広がるＥ１（ｘ，ｙ）、Ｅ２（ｘ，ｙ）、…Ｅｊ（ｘ，ｙ）の楕円内に存在する。言い換えれば、Ｎ回のテスト演奏の動線が、２次元の楕円関数であるＥ１（ｘ，ｙ）、Ｅ２（ｘ，ｙ）、…Ｅｊ（ｘ，ｙ）の集合で表される３次元の立体的な楕円管の中に存在する。
なお、脚によるバスやハイハットの仮想演奏すなわち仮想のペダル演奏の場合には、１０ｍｓごとの緑球３、４の変位量が小さいので、図２４の各楕円関数の位置はかなり接近した関係になる。
【００４６】
例えば、右手でトップシンバルを叩く動作の時間を０．４秒すなわち４００ｍｓと仮定する。この場合には、赤球１の画像の座標の検出回数は４０回であり、１０ｍｓごとの赤球１の画像の座標は、Ｅ１（ｘ，ｙ）、Ｅ２（ｘ，ｙ）、…Ｅ４０（ｘ，ｙ）の４０個の楕円内に存在することになる。この結果、右手でトップシンバルを叩く場合の確定動線Ｃ（３，５）が確定されるとともに、最後の楕円関数Ｅ４０（ｘ，ｙ）がトップシンバルＤ（５）の空間位置ＤＳ（５）として確定される。ステップＳＥ９の演算処理の後は、演算結果をＲＡＭ１３のＣ（ｍ，ｎ）、ＤＳ（ｎ）に登録する（ステップＳＥ１０）。次に、フラグＤＦ（ｍ，ｎ）を「０」にリセットして（ステップＳＥ１１）、ＡＲ（ｍ，ｎ）の移動軌跡を登録する（ステップＳＥ１２）。そして、図１４のフローチャートに戻る。なお、他のドラムのテスト演奏についても同様である。
ＤＦ（ｍ，ｎ）が「０」にリセットされると、図１５の音声処理のフローチャートにおいて、ステップＳＤ１０からステップＳＤ１３に移行して、次のテスト演奏のドラムを指定することになる。
【００４７】
図２３のステップＳＥ３においてＳＢＦが「０」である場合には、テスト演奏が終了して実際のドラム演奏に移行している。したがって、ｍで指定した部位の球の動線を検出したか否かを判別し（ステップＳＥ１３）、動線を検出したときは、その動線がＲＡＭ１３に登録した動線Ｃ（ｍ，ｎ）のどれかと一致するか否かを判別する（ステップＳＥ１４）。検出した動線が登録した動線Ｃ（ｍ，ｎ）と一致した場合には、発音タイミングに達したか否かを判別する（ステップＳＥ１５）。この実施形態において、発音タイミングは、図２４の楕円関数ｊ−１（ｘ，ｙ）の位置に球の画像位置が達したタイミング、すなわち、楽器の打面として設定された楕円関数ｊ（ｘ，ｙ）に球の画像位置が達する１０ｍｓ前のタイミングとする。例えば、上記のように、ある球の動線すなわち移動軌跡がＥ１（ｘ，ｙ）、Ｅ２（ｘ，ｙ）、…Ｅ４０（ｘ，ｙ）の４０個の楕円内に存在する場合には、その球の画像位置がＥ３９（ｘ，ｙ）に達したときを発音タイミングとする。発音タイミングに達したときは、１０Ｄ（ｎ）に応じた音色、各球の移動速度に応じた振幅でリズム音信号を音源部１９によって発生して、ヘッドホン装置６に送信して発音させる（ステップＳＥ１６）。次に、フラグＲＦが「１」であるか否かを判別し（ステップＳＥ１７）、ＲＦが「１」である場合には、発生した楽音信号をフラッシュメモリ１８に録音する（ステップＳＥ１８）。録音が終了した後、又は、ＲＦが「０」である場合、ステップＳＥ１５において発音タイミングに達していない場合、若しくは、ステップＳＥ１４において動線が登録した動線Ｃ（ｍ，ｎ）と一致しない場合には、図１４のフローチャートに戻る。
【００４８】
図２５は、図１に示した右手１０１に保持されたスティック１ａの先端部の赤球１の画像ｉｒ、左手１０２に保持されたスティック２ａの先端部の青球２の画像ｉｂ、右脚１０３および左脚１０４に取り付けた緑球３および緑球４の画像ｉｇ１，ｉｇ２のそれぞれの動線を示した図である。画像ｉｒはトップシンバルＤ（５）を演奏する動線を示し、画像ｉｂはスネアＤ（６）を演奏する動線を示し、画像ｉｇ１は、変位量が小さいので途中を省略しているが、バスＤ（１）の仮想ペダルを踏む動線を示し、画像ｉｇ２は静止状態を示している。したがって、ＣＰＵ１１は、トップシンバルの音色、スネアの音色、バスの音色で、音源部１９に対してリズム音信号を発生する指示を与える。
【００４９】
次に、第１実施形態の変形例について説明する。図１に示した状態で、演奏者が携帯電話装置５の画面に自分の姿を表示して演奏する位置を調整する場合には、図２に示す画面５ｄの中央位置とレンズ５ｅの位置とが若干ずれているので、画面５ｄに表示された自分の目線がやや下方を向くことになるので、ユーザによっては違和感を抱く場合もある。これを解消するために、表示部の画面５ｄを保護する透明な樹脂板又はガラス板に微小なハーフミラーを形成する。
【００５０】
図２６は、第１実施形態の変形例における携帯電話装置５を示す図であり、図２７は、図２６の携帯電話装置５における透明樹脂板の断面を示す概念図である。図２６において、表示部の画面５ｄのほぼ中央部分に対応する透明樹脂板の範囲５ｇには、図２７の断面図に示すように、表示部の画面を保護する透明樹脂板１６１に、画面に対して略４５度の傾斜を持つ微小なハーフミラーの集合からなるハーフミラー１６２が形成されている。表示部からの表示画像の光Ｌ１は、ハーフミラー１６２を透過して、通常の画像表示が行われる。一方、画面に対抗する被写体であるユーザの映像の光Ｌ２は、ハーフミラー１６２によってほぼ直角に反射されて、透明樹脂板１６１の内部を上方向に透過する。透明樹脂板１６１を透過した後の光Ｌ２は、同様に画面に対して略４５度の傾斜を持つ微小なミラーの集合を有するミラー１６３によってほぼ直角に反射されて、レンズ１６４、１６５によってＭＯＳ撮像素子３１に結像される。すなわち、内部に薄型のハーフミラー１６２が形成された透明樹脂板１６１は、言うならばフレネルレンズの反射版である。
【００５１】
図２８は、図２７のハーフミラー１６２およびミラー１６３における光反射の状態をさらに詳細に示す図である。図２８（Ａ）に示すように、ハーフミラー１６２の微小なハーフミラーの集合によって反射された光Ｌ２は、ミラー１６３によって再び反射されてカメラに向かう。この場合において、図２８（Ｂ）に示すように、透明樹脂板１６１とハーフミラー１６２との角度θは、透明樹脂板１６１の厚さｔとハーフミラー１６２の範囲、図では縦方向の長さｈとによって決定される。すなわち、θ＝ａｒｃｔａｎ（ｔ／ｈ）で表される。ハーフミラー１６２の範囲が広いほどカメラの出射瞳が大きくなる。
【００５２】
図２９は、透明樹脂板１６１の厚さを１ミリ、ハーフミラーの範囲を１０ミリ×１０ミリにした場合のハーフミラー１６２の構造、および、ミラー１６３の構造を示す図である。この場合には、透明樹脂板１６１とハーフミラー１６２との角度θは、θ＝ａｒｃｔａｎ（０．１）である。透明樹脂板１６１の厚さを２ミリにすると、θ＝ａｒｃｔａｎ（０．２）となる。透明樹脂板１６１の厚さを２ミリ、ハーフミラーの範囲を２０ミリ×２０ミリにすると、θ＝ａｒｃｔａｎ（０．１）となる。
なお、ハーフミラー１６２およびミラー１６３によって映像にひずみが発生する場合を考慮すると、カメラ部１７ｂ内に画像補正回路を設けて、光学系で発生する全てのひずみを補正するようにしてもよい。
【００５３】
なお、電子楽器システムに用いるためだけに携帯電話装置の透明樹脂板にハーフミラーを形成することは、コストパフォーマンスの観点からは好ましくはないが、画面を見るユーザの視線とカメラの光路とを一致させる構成は、携帯電話装置を単独で使用する場合にも有効である。携帯電話装置によってテレビ電話を行う場合に、従来の携帯電話装置では相手の目線と自分の目線とがずれているので、相手の顔を見ながら会話していても視線のずれのために違和感が生じることになる。しかし、上記第１実施形態の変形例のようなハーフミラーを形成すれば、相手の目線と自分の目線とを一致できる。したがって、汎用としての携帯電話装置にハーフミラーを形成した場合でも優れた効果が得られるので、量産化によってコストパフォーマンスを向上できる。
【００５４】
以上のように、この第１実施形態の電子楽器システムによれば、携帯電話装置５は、操作に応じて複数種類の指令を入力するスイッチ部１５と、約１１０度の画角を有するレンズ５ｅと、赤、緑、および青からなる原色系のカラーフィルタを有するとともに、スイッチ部１５からのテスト演奏指令および演奏開始指令並びに入力される駆動信号に応じて、レンズ５ｅから入射する略球形の形状で原色系の色彩からなる１種類以上の物体の映像を光電変換してカラーの画像信号を出力するＭＯＳ撮像素子３１と、ＭＯＳ撮像素子３１に対して読出信号を繰り返し与えて、各読出信号ごとにＭＯＳ撮像素子３１から出力される画像信号に基づいて物体の略中心位置の位置情報を検出し、前回検出した位置情報と今回検出した位置情報に基づいて撮像素子が次に光電変換する範囲を指定する駆動信号を発生してＭＯＳ撮像素子３１に入力するとともに、その物体の移動軌跡を示す位置情報を順次出力する。
携帯電話装置５は、スイッチ部１５から入力された打楽器演奏の指令に応じて、表示部１６に複数種類の打楽器のリストを表示し、スイッチ部１５から入力された打楽器選択の指令に応じて、その選択に係る１種類以上の打楽器をＲＡＭ１３に記憶して設定し、スイッチ１５から入力された曲選択の指令に応じて、その選択に係る曲をＲＡＭ１３に記憶して設定する。
携帯電話装置５は、打楽器が設定された後に、スイッチ１５から入力されたテスト演奏の指令に応じて、設定された打楽器を１つの打楽器から順に指定して、その指定した打楽器のテスト演奏を促す旨の音声信号をヘッドホン装置６に送信して発音させるとともに、ＭＯＳ撮像素子３１にテスト演奏指令を与えた後に、物体の移動軌跡を示す位置情報を取得したときは、その移動軌跡をその指定された打楽器の基準演奏パターンとしてＲＡＭ１３に設定する。
携帯電話装置５は、設定された全ての打楽器の基準演奏パターンが設定された後に、ＭＯＳ撮像素子３１に入力した演奏開始指令に応じて、物体の移動軌跡の位置情報がＲＡＭ１３に設定されているいずれかの打楽器の基準演奏パターンと一致するか否かを分析して、演奏開始指令に応じてＲＡＭ１３に設定された曲のメロディ音の第１の楽音信号を発生するとともに、物体の移動軌跡の位置情報がＲＡＭ１３に設定されているいずれかの打楽器の基準演奏パターンと一致することを分析したときは、その一致する打楽器の音色の第２の楽音信号を発生して、その第１および第２の楽音信号をヘッドホン装置６に送信して発音させる。
したがって、実際のドラムと同じような感覚で演奏することができるとともに、狭い場所でも演奏することができる。
【００５５】
また、第１実施形態の変形例によれば、携帯電話装置５は、表示部１６の画面を保護する透明樹脂板１６１と、その透明樹脂板１６１に形成されて表示部１６の表示画像の光を透過するハーフミラー１６２と、そのハーフミラー１６２によって反射された被写体の映像をレンズに導くミラー１６３と、を有する。このハーフミラー１６２は、透明樹脂板１６１において表示部１６の画面の略中央位置に対応する所定範囲に形成された微小ハーフミラーの集合であり、各微小ハーフミラーが画面に対して略４５度の傾斜を有する。さらに、レンズから入射する光が光電変換されて出力された画像信号に対して、信号処理を施して画像のひずみを補正する画像補正回路をさらに有する構成にしてもよい。
【００５６】
図３０は、第１実施形態の変形例において、携帯電話装置５の透明樹脂板１６１全体に微小ハーフミラーを形成した図である。この場合には、透明樹脂板１６１の厚みが厚くはなるが、透明樹脂板１６１の微小ハーフミラー（図示せず）によって反射された光を凸レンズ１６６によって収束させた後に、ミラー１６３で反射させてカメラ１７ｂのレンズに導くような構成が可能である。
したがって、電子楽器システムに利用する場合だけでなく、テレビ電話をする場合でも、相手の視線と自分の視線とを一致させることができる。
なお、ハーフミラー１６２によって被写体の映像を画面の上方向に反射する構成にしたが、カメラの位置によっては下方向や横方向に反射する構成でもよい。
【００５７】
また、上記第１実施形態においては、ＭＯＳ撮像素子３１には赤（Ｒ）、緑（Ｇ）、および青（Ｂ）からなる原色系のカラーフィルタを設けた構成にしたが、シアン（Ｃｙ）、マゼンタ（Ｍｇ）、黄（Ｙｅ）、および緑からなる補色系のカラーフィルタを設ける構成にしてもよい。この場合には、２本のスティックの先端部および演奏者の脚の球の色もシアン、マゼンタ、黄、および緑で構成することが望ましいが、下記の関係式（１）ように、補色系の各色は原色系の色で表される。したがって、原色系の各色も関係式（２）のように表されるので、第１実施形態と同じく赤球、青球、および緑球でもよい。
Ｃｙ＝Ｂ＋Ｇ、Ｍｇ＝Ｂ＋Ｒ、Ｙｅ＝Ｇ＋Ｒ （１）
Ｒ＝Ｙｅ−Ｇ、Ｂ＝Ｃｙ−Ｇ （２）
【００５８】
また、上記第１実施形態においては、各球の位置検出を速くするためにカメラ部１７ｂの撮像素子にＭＯＳ撮像素子を用いたが、ＣＣＤ撮像素子を用いてカメラ部１７ｂを構成することも可能である。２００５年の５月現在において市販されている携帯電話装置の中には、２０４万画素のＣＣＤ撮像素子で１秒間に表示できる動画像のコマ数が１５ｆｐｓ（フレーム／秒）のものがある。したがって、上記第１実施形態の３０万画素のＭＯＳ撮像素子の代わりに、３０万画素のＣＣＤ撮像素子を用いると１０２ｆｐｓが可能であり、約１０ｍｓごとにフレーム画像を読み出すことができる。この場合にも、図１６に示したダブルポートメモリ３８には、図２０に示した３種類のフレームメモリ３８１、３８２、および３８３を設ける。したがって、ＣＰＵ１１は、ＣＣＤ撮像素子から１フレームの画像信号を全て読み出してフレームメモリに記憶する必要があるが、記憶した１フレームの全ての画像信号を検索する必要はない。前回検出した位置情報と今回検出した位置情報に基づいて、その１フレームの中の範囲を決定して次の位置情報を検出することができる。この結果、ＣＣＤ撮像素子を用いた場合には、ＭＯＳ撮像素子を用いた第１実施形態よりも遅くなるが、十分に速い速度で４種類の球の移動軌跡を検出することが可能である。
【００５９】
また、上記第１実施形態においては、カメラ部１７ｂのレンズの視野角を１１０度としたが、図１の状態よりも携帯電話装置５との距離を長くして演奏できるスペースがあるならば、９０度以上の視野角でも十分である。
【００６０】
次に、本発明の第２実施形態について説明する。図３１は、第２実施形態の電子楽器システムの構成を示す図である。図３１において、机５１の上にノート型のパーソナルコンピュータ（以下、「ノートパソコン」という）５２が置かれている。ノートパソコン５２は、表示部５３およびキーボード５４を有するとともに、左右のスピーカ５６Ｌ、５６Ｒに接続されている。また、ノートパソコン５２の横には、第１実施形態と同じような構造の携帯電話装置５が置かれている。ノートパソコン５２と携帯電話装置５とはブルートゥース通信（又は、赤外線通信）によって指令およびデータの送受信を行うことが可能である。この場合において、携帯電話装置５からノートパソコン５２に送信するデータは画像データではなく数値データである。例えば、赤球１、青球２、緑球３、および緑球４をそれぞれ「００」、「０１」、「１０」、「１１」で表した場合には、３０万画素のｘ座標およびｙ座標はそれぞれ１０ビットで十分に表されるので、２２ビットによって各球の座標を表すことができる。したがって、ブルートゥース通信（又は、赤外線通信）によって高速のデータ送信が可能である。
【００６１】
第１実施形態においては、表示部１６に表示した打楽器のメニューの中から、スイッチ部１５の操作に応じて打楽器の種類や曲を設定して、カメラ部１７ｂによって赤球１、青球２、緑球３、および緑球４の移動軌跡を検出し、その移動軌跡によって打楽器および曲の楽音信号を発生する構成にしたが、第２実施形態においては、ノートパソコン５２の表示部５３に表示した打楽器のメニューの中から、ノートパソコン５２のキーボード５４の操作に応じて打楽器の種類や曲を設定して、ブルートゥース通信によって携帯電話装置５にテスト演奏指令および演奏開始指令を送信する。携帯電話装置５は、テスト演奏指令および演奏開始指令を受信して、カメラ部１７ｂによって赤球１、青球２、緑球３、および緑球４の移動軌跡を検出し、その移動軌跡のデータをブルートゥース通信によってノートパソコン５２に送信する。ノートパソコン５２は、移動軌跡のデータを受信して、打楽器および曲の楽音信号を発生し、スピーカ５６Ｌ、５６Ｒから発音する。また、演奏前においては、携帯電話装置５によって撮像された赤球１、青球２、緑球３、および緑球４の画像とともに演奏者の画像をノートパソコン５２の表示部５３に表示して、演奏前の位置合わせを行うことができる。
【００６２】
すなわち、第１実施形態では携帯電話装置５だけで各球の検出から楽音信号の発生までを行ったが、第２実施形態においては、赤球１、青球２、緑球３、および緑球４の移動軌跡を検出する処理を携帯電話装置５が分担し、打楽器の種類や曲を設定する処理、および、移動軌跡に応じて楽音信号を発生する処理はノートパソコン５２が分担する構成になっている。したがって、ノートパソコン５２の表示部５３の大きい画面によって、容易に演奏前の位置合わせを行うことができる。さらに、演奏開始の後は、表示部５３の大きい画面に曲のメロディパートおよびドラムパートを含む複数のパートの楽譜を表示して、曲の進行に応じて音符の表示色を順次変化させる構成が可能になるので、様々な曲のドラム練習に効果がある。また、ノートパソコン５２にＤＴＭ（デスクトップミュージック）などのアプリケーションソフトをインストールすれば、インターネットなどのネットワークを介して配信されるＭＩＤＩデータを編集して、ドラムパートを除くいわゆるマイナスワンの曲を生成し、曲選択に応じて選択される候補としてハードディスク等に記憶できる。
したがって、実際のドラムと同じような感覚で演奏することができるとともに、狭い場所でも演奏することができる。
【００６３】
また、図３１のように携帯電話装置５を開いてカメラ部１７ｂを使用しなくても、携帯電話装置５を閉じた状態でカメラ部１７ａによって赤球１、青球２、緑球３、および緑球４の移動軌跡を検出することも可能である。例えば、マジックテープ（登録商標）などで携帯電話装置５を鏡に固定すれば、演奏する姿を見ながら仮想のドラム演奏が可能になる。この場合においても、ＭＯＳ撮像素子を用いた場合には、例えば、２０４万画素の中から任意のスキャン範囲を設定してその範囲の画素だけを読み出すことができるので、３０万画素の場合と同様に、高速の検出処理が可能である。
【００６４】
次に、本発明の第３実施形態について説明する。第３実施形態においては、カメラ付きノートパソコンによって電子楽器システムを構成する。図３１を援用して第３実施形態を説明する。ノートパソコン５２の表示部５３の上側には広角のレンズ５５（光学部材）が設けられ、図には示していないがレンズ５５の奥にはＭＯＳ撮像素子又はＣＣＤ撮像素子が配置されている。すなわち、この第３実施形態においては、表示部５３に表示した打楽器のメニューの中から、キーボード５４の操作に応じて打楽器の種類や曲を設定して、レンズ５５を含む内部のカメラ部によって赤球１、青球２、緑球３、および緑球４の移動軌跡を検出し、その移動軌跡によって打楽器および曲の楽音信号を発生して、スピーカ５６Ｌ、５６Ｒ（オーディオ装置）から発音する。
したがって、実際のドラムと同じような感覚で演奏することができるとともに、狭い場所でも演奏することができる。
【００６５】
次に、第３実施形態の変形例について説明する。この変形例においては、第１実施形態の変形例と同様に、表示部５３の画面を保護する透明樹脂板にハーフミラーを形成する。すなわち、図３１において、表示部５５の略中央位置に、各微小ハーフミラーが画面に対して略４５度の傾斜を有するハーフミラー５３１を形成する。レンズは表示部５３の上側、下側、又は横側の内部に設けられている。ハーフミラー５３１によって反射された被写体の映像はミラー（図示せず）によって反射され、レンズによって撮像素子に結像する。この場合にも、レンズから入射する光が光電変換されて出力された画像信号に対して、信号処理を施して画像のひずみを補正する画像補正回路をさらに有する構成にしてもよい。
したがって、実際のドラムと同じような感覚で演奏することができるとともに、狭い場所でも演奏することができる。
なお、この構成によれば、電子楽器システムに利用する場合だけでなく、テレビ電話をする場合でも、相手の視線と自分の視線とを一致させることができる。
【００６６】
次に、本発明の第４実施形態ないし第６実施形態について、図３２を参照して説明する。第４実施形態は、デジタルカメラ７およびノートパソコン５２によって電子楽器システムを構成する。デジタルカメラ７とノートパソコン５２とはＵＳＢケーブルによって接続されている。ただし、デジタルカメラ７には、第１実施形態において示した携帯電話装置５のように演算処理回路が必要である。他の基本的な構成は第２実施形態と同じである。この場合にも、デジタルカメラ７からノートパソコン５２に送信するデータは２２ビットで構成されるので、ＵＳＢケーブルによって高速のデータ送信が可能になる。
したがって、実際のドラムと同じような感覚で演奏することができるとともに、狭い場所でも演奏することができる。
【００６７】
第５実施形態は、ビデオカメラ８およびノートパソコン５２によって電子楽器システムを構成する。ビデオカメラ８とノートパソコン５２とはＵＳＢケーブルによって接続されている。ただし、ビデオカメラ８には、第１実施形態において示した携帯電話装置５のように演算処理回路が必要である。他の基本的な構成は第２実施形態と同じである。この場合にも、ビデオカメラ８からノートパソコン５２に送信するデータは２２ビットで構成されるので、ＵＳＢケーブルによって高速のデータ送信が可能になる。
したがって、第２実施形態と同様の効果が得られる。
なお、２００５年５月現在において販売されているビデオカメラ８の多くは、表示部を操作して撮影者自身を撮像することができるので、ビデオカメラ８に具備されている音声処理機能を使用すれば、第１実施形態の場合と同様に、ビデオカメラ８とオーディオ装置とによって電子楽器システムを構成することができる。
したがって、実際のドラムと同じような感覚で演奏することができるとともに、狭い場所でも演奏することができる。
【００６８】
第６実施形態は、ウェブ（Ｗｅｂ）カメラ９およびノートパソコン５２によって電子楽器システムを構成する。ウェブカメラ９は、パソコンに接続してテレビ電話、ライブ配信、ビデオチャットに利用するために安価に販売されているモニタカメラである。図３３は、ウェブカメラ９をノートパソコン５２に装着した状態を示す図である。図３３に示すように、ウェブカメラ９はカメラ部９１とクリップ部９２とを有し、ヒンジ部９３によってカメラ部９１の画角の方向を調整することができる。ウェブカメラ９とノートパソコン５２とはＵＳＢケーブル９４によって接続されている。この場合にも、ウェブカメラ９には、第１実施形態において示した携帯電話装置５のように演算処理回路が必要である。他の基本的な構成は第２実施形態と同じである。この場合にも、ウェブカメラ９からノートパソコン５２に送信するデータは２２ビットで構成されるので、ＵＳＢケーブルによって高速のデータ送信が可能になる。
したがって、実際のドラムと同じような感覚で演奏することができるとともに、狭い場所でも演奏することができる。
【図面の簡単な説明】
【００６９】
【図１】第１実施形態における電子楽器システムの構成を示す図である。
【図２】図１の携帯電話装置の構造を示す図である。
【図３】図１の携帯電話装置の内部構成を示すブロック図である。
【図４】図１のヘッドホン装置の内部構成を示すブロック図である。
【図５】第１実施形態におけるＣＰＵのメインルーチンのフローチャートである。
【図６】図５に続くＣＰＵのメインルーチンのフローチャートである。
【図７】（Ａ）はメニュー画面を示す図、（Ｂ）はスイッチの構成を示す図である。
【図８】図６におけるドラム設定処理のフローチャートである。
【図９】図８に続くドラム設定処理のフローチャートである。
【図１０】第１実施形態におけるドラム演奏の設定画面を示す図である。
【図１１】第１実施形態におけるドラム演奏の設定画面を示す図である。
【図１２】第１実施形態におけるドラム演奏の決定画面の例を示す図である。
【図１３】図３のＲＡＭに記憶された配列ＡＲのデータを示す図である。
【図１４】図９におけるドラム処理のフローチャートである。
【図１５】図１４における音声処理のフローチャートである。
【図１６】図３のカメラ部の内部構成を示すブロック図である。
【図１７】図１６のＭＯＳ撮像素子の一部の回路図である。
【図１８】図１６の演算処理回路の一部の回路図である。
【図１９】図１８の演算処理回路の画像信号の抽出処理を模式的に示した図である。
【図２０】図１６のダブルポートメモリの構成を示す図である。
【図２１】図１６の演算処理回路におけるスキャン範囲算出の回路図である。
【図２２】図２１の回路におけるスキャン範囲算出の例を示す図である。
【図２３】図１４における画像処理のフローチャートである。
【図２４】テスト演奏の確定動線の演算処理を説明するための図である。
【図２５】赤球、青球、および２つの緑球の画像の動線を示す図である。
【図２６】第１実施形態の変形例における携帯電話装置を示す図である。
【図２７】図２６の携帯電話装置における透明樹脂板の断面を示す概念図である。
【図２８】図２７のハーフミラーおよびミラーの光反射の状態を示す図である。
【図２９】第１実施形態におけるハーフミラーおよびミラーの構造を示す図である。
【図３０】携帯電話装置の透明樹脂板全体に微小ハーフミラーを形成した図である。
【図３１】本発明の第２実施形態における電子楽器システムの構成を示す図である。
【図３２】第４ないし第６実施形態の電子楽器システムの構成を示す図である。
【図３３】図３２におけるウェブカメラの構造を示す図である。
【符号の説明】
【００７０】
１ 赤球
２ 青球
３、４ 緑球
５ 携帯電話装置
６ ヘッドホン装置
７ デジタルカメラ
８ ビデオカメラ
９ ウェブカメラ
５２ ノート型パーソナルコンピュータ
【特許請求の範囲】
【請求項１】
電子カメラ装置とコンピュータとの間で通信を行って楽音信号を発生する電子楽器システムであって、
前記電子カメラ装置は、
所定の角度以上の画角を有する光学部材と、
赤、緑、および青からなる原色系のカラーフィルタ、又は、シアン、マゼンタ、黄、および緑からなる補色系のカラーフィルタを有するとともに、前記コンピュータから受信したテスト演奏指令および演奏開始指令に応じて、前記光学部材から入射する略球形の形状で原色系又は補色系の色彩からなる１種類以上の物体の映像を光電変換してカラーの画像信号を出力する撮像素子と、
前記撮像素子に対して読出信号を繰り返し与えて、各読出信号ごとに前記撮像素子から出力される画像信号に基づいて前記物体の略中心位置の位置情報を検出し、前回検出した位置情報と今回検出した位置情報に基づいて次にその物体を検出する範囲を決定しながらその物体の移動軌跡を示す位置情報を順次出力する演算処理回路と、を備え、
前記コンピュータは、
操作に応じて複数種類の指令を入力するキーボードと、
前記キーボードから入力された打楽器演奏の指令に応じて、表示部に複数種類の打楽器のリストを表示する表示制御機能と、
前記キーボードから入力された打楽器選択の指令に応じて、その選択に係る１種類以上の打楽器をメモリに記憶して設定する楽器設定機能と、
前記キーボードから入力された曲選択の指令に応じて、その選択に係る曲を前記メモリに記憶して設定する曲設定機能と、
前記楽器設定機能によって打楽器が設定された後に、前記キーボードから入力されたテスト演奏の指令に応じて、前記楽器設定機能によって設定された打楽器を１つの打楽器から順に指定して、その指定した打楽器のテスト演奏を促す旨の音声信号をオーディオ装置に送出して発音させるとともに、前記電子カメラ装置にテスト演奏指令を送信するテスト演奏機能と、
前記電子カメラ装置にテスト演奏指令を送信した後に、前記電子カメラ装置から前記物体の移動軌跡を示す位置情報を受信したときは、その移動軌跡をその指定された打楽器の基準演奏パターンとして前記メモリに設定する演奏設定機能と、
前記打楽器設定機能によって設定された全ての打楽器の基準演奏パターンが前記演奏設定機能によって設定された後に、前記電子カメラ装置に送信した演奏開始指令に応じて、前記電子カメラ装置から受信した前記物体の移動軌跡の位置情報が前記メモリに設定されているいずれかの打楽器の基準演奏パターンと一致するか否かを分析する画像分析定機能と、
演奏開始指令に応じて前記メモリに設定された曲のメロディ音の第１の楽音信号を発生するとともに、前記画像分析機能によって前記物体の移動軌跡の位置情報が前記メモリに設定されているいずれかの打楽器の基準演奏パターンと一致することが分析されたときは、その一致する打楽器の音色の第２の楽音信号を発生して、その第１および第２の楽音信号を前記オーディオ装置に送出して発音させる信号発生機能と、を備えている。
【請求項２】
前記電子カメラ装置の光学部材は、少なくとも９０度以上の画角を有することを特徴とする請求項１に記載の電子楽器システム。
【請求項３】
前記電子カメラ装置の撮像素子は、ＣＣＤによって光電変換を行う固体撮像素子であり、前記演算処理回路は、前記撮像素子から出力される複数のフレームの画像信号をフレームメモリに記憶し、前回検出した位置情報と今回検出した位置情報に基づいてそのフレームメモリの中の範囲を決定して次の位置情報を検出することを特徴とする請求項１に記載の電子楽器システム
【請求項４】
前記電子カメラ装置の撮像素子は、ＭＯＳ型半導体によって光電変換を行う固体撮像素子であり、前記演算処理回路は、前回検出した位置情報と今回検出した位置情報に基づいて前記撮像素子が次に光電変換する範囲を指定する駆動信号を発生して前記撮像素子に入力することを特徴とする請求項１に記載の電子楽器システム。
【請求項５】
前記撮像素子は、前記カラーフィルタの各色に対応した複数系統の画像信号を出力し、前記演算処理回路は、その複数系統の画像信号に基づいて色彩の異なる複数の物体を識別して各色彩の物体の位置を検出することを特徴とする請求項４に記載の電子楽器システム。
【請求項６】
前記電子カメラ装置は、デジタルカメラ装置であることを特徴とする請求項１に記載の電子楽器システム。
【請求項７】
前記電子カメラ装置は、ビデオカメラ装置であることを特徴とする請求項１に記載の電子楽器システム。
【請求項８】
前記電子カメラ装置は、前記コンピュータの表示部に着脱自在に装着されるモニタカメラ装置であることを特徴とする請求項１に記載の電子楽器システム。
【請求項９】
前記電子カメラ装置は、前記コンピュータに組み込まれていることを特徴とする請求項１に記載の電子楽器システム。
【請求項１０】
前記電子カメラ装置は、前記コンピュータとブルートゥース無線通信又は赤外線無線通信を行う携帯電話装置であることを特徴とする請求項１に記載の電子楽器システム。
【請求項１１】
前記コンピュータは、所定のネットワークを介して配信されるメロディパートおよびドラムパートを含む曲をダウンロードする機能を有し、そのダウンロードした曲からドラムパートを除いたマイナスワンの曲を生成し、曲選択の指令に応じて選択される曲の候補として不揮発性のフラッシュメモリに記憶することを特徴とする請求項１に記載の電子楽器システム。
【請求項１２】
前記コンピュータは、曲選択指令に応じて選択された曲に対する演奏開始指令に応じてメロディパートおよびドラムパートを含む複数のパートの楽譜を前記表示部に表示することを特徴とする請求項１１に記載の電子楽器システム。
【請求項１３】
携帯電話装置とその携帯電話装置から送信される楽音信号に応じて発音するオーディオ装置とで構成される電子楽器システムであって、
前記携帯電話装置は、
操作に応じて複数種類の指令を入力するスイッチ部と、
所定の角度以上の画角を有する光学部材と、
赤、緑、および青からなる原色系のカラーフィルタ、又は、シアン、マゼンタ、黄、および緑からなる補色系のカラーフィルタを有するとともに、前記スイッチ部からのテスト演奏指令および演奏開始指令並びに入力される駆動信号に応じて、前記光学部材から入射する略球形の形状で原色系又は補色系の色彩からなる１種類以上の物体の映像を光電変換してカラーの画像信号を出力する撮像素子と、
前記撮像素子に対して読出信号を繰り返し与えて、各読出信号ごとに前記撮像素子から出力される画像信号に基づいて前記物体の略中心位置の位置情報を検出し、前回検出した位置情報と今回検出した位置情報に基づいて前記撮像素子が次に光電変換する範囲を指定する駆動信号を発生して前記撮像素子に入力するとともに、その物体の移動軌跡を示す位置情報を順次出力する演算処理回路と、
前記スイッチ部から入力された打楽器演奏の指令に応じて、表示部に複数種類の打楽器のリストを表示する表示制御機能と、
前記スイッチ部から入力された打楽器選択の指令に応じて、その選択に係る１種類以上の打楽器をメモリに記憶して設定する楽器設定機能と、
前記スイッチ部から入力された曲選択の指令に応じて、その選択に係る曲を前記メモリに記憶して設定する曲設定機能と、
前記楽器設定機能によって打楽器が設定された後に、前記スイッチ部から入力されたテスト演奏の指令に応じて、前記楽器設定機能によって設定された打楽器を１つの打楽器から順に指定して、その指定した打楽器のテスト演奏を促す旨の音声信号を前記オーディオ装置に送信して発音させるとともに、前記撮像素子にテスト演奏指令を入力するテスト演奏機能と、
前記撮像素子にテスト演奏指令を入力した後に、前記演算処理回路から前記物体の移動軌跡を示す位置情報を取得したときは、その移動軌跡をその指定された打楽器の基準演奏パターンとして前記メモリに設定する演奏設定機能と、
前記打楽器設定機能によって設定された全ての打楽器の基準演奏パターンが前記演奏設定機能によって設定された後に、前記撮像素子に入力した演奏開始指令に応じて、前記演算処理回路から取得した前記物体の移動軌跡の位置情報が前記メモリに設定されているいずれかの打楽器の基準演奏パターンと一致するか否かを分析する画像分析定機能と、
演奏開始指令に応じて前記メモリに設定された曲のメロディ音の第１の楽音信号を発生するとともに、前記画像分析機能によって前記物体の移動軌跡の位置情報が前記メモリに設定されているいずれかの打楽器の基準演奏パターンと一致することが分析されたときは、その一致する打楽器の音色の第２の楽音信号を発生して、その第１および第２の楽音信号を前記オーディオ装置に送信して発音させる信号発生機能と、を備えている。
【請求項１４】
仮想の楽器の演奏に応じて楽音信号を発生する電子楽器システムに利用するカメラ付き携帯電話装置であって、
そのカメラ付き携帯電話装置は、
表示部の画面を保護する透明板と、
その透明板に形成されて前記表示部の表示画像の光を透過するハーフミラーと、
そのハーフミラーによって反射された前記表示部に対面する被写体の映像をカメラの光学部材に導く導光部材と、を有する。
【請求項１５】
前記ハーフミラーは、前記透明板に形成された微小ハーフミラーの集合であり、各微小ハーフミラーが前記表示部の画面に対して略４５度の傾斜を有することを特徴とする請求項１４に記載のカメラ付き携帯電話装置。
【請求項１６】
前記光学部材から入射する光が光電変換されて出力された画像信号に対して信号処理を施して画像のひずみを補正する画像補正回路をさらに有することを特徴とする請求項１４に記載のカメラ付き携帯電話装置。
【請求項１７】
仮想の楽器の演奏に応じて楽音信号を発生する電子楽器システムに利用するカメラ付きコンピュータであって、
そのカメラ付きコンピュータは、
表示部の画面を保護する透明板と、
その透明板に形成されて前記表示部の表示画像の光を透過するハーフミラーと、
そのハーフミラーによって反射された前記表示部に対面する被写体の映像をカメラの光学部材に導く導光部材と、を有する。
【請求項１８】
前記ハーフミラーは、前記透明板に形成された微小ハーフミラーの集合であり、各微小ハーフミラーが前記表示部の画面に対して略４５度の傾斜を有することを特徴とする請求項１７に記載のカメラ付きコンピュータ。
【請求項１９】
前記光学部材から入射する光が光電変換されて出力された画像信号に対して信号処理を施して画像のひずみを補正する画像補正回路をさらに有することを特徴とする請求項１７に記載のカメラ付きコンピュータ。
【請求項２０】
所定の角度以上の画角を有する光学部材と、赤、緑、および青からなる原色系のカラーフィルタ、又は、シアン、マゼンタ、黄、および緑からなる補色系のカラーフィルタを有するとともに、前記光学部材から入射する略球形の形状で原色系又は補色系の色彩からなる１種類以上の物体の映像を光電変換してカラーの画像信号を出力する撮像素子と、前記撮像素子に対して読出信号を繰り返し与えて、各読出信号ごとに前記撮像素子から出力される画像信号に基づいて前記物体の略中心位置の位置情報を検出し、前回検出した位置情報と今回検出した位置情報に基づいて次にその物体を検出する範囲を決定しながらその物体の移動軌跡を示す位置情報を順次出力する演算処理回路と、を備えた電子カメラ装置と、コンピュータとの間で通信を行って楽音信号を発生する電子楽器システムに用いるプログラムであって、そのプログラムは、
キーボードの操作に応じて複数種類の指令を入力するステップＡと、
前記ステップＡによって入力された打楽器演奏の指令に応じて、表示部に複数種類の打楽器のリストを表示するステップＢと、
前記ステップＡによって入力された打楽器選択の指令に応じて、その選択に係る１種類以上の打楽器をメモリに記憶して設定するステップＣと、
前記ステップＡによって入力された曲選択の指令に応じて、その選択に係る曲を前記メモリに記憶して設定するステップＤと、
前記ステップＣによって打楽器が設定された後に、前記ステップＡによって入力されたテスト演奏の指令に応じて、前記ステップＣによって設定された打楽器を１つの打楽器から順に指定して、その指定した打楽器のテスト演奏を促す旨の音声信号をオーディオ装置に送出して発音させるとともに、前記電子カメラ装置にテスト演奏指令を送信するステップＥと、
前記電子カメラ装置にテスト演奏指令を送信した後に、前記電子カメラ装置から前記物体の移動軌跡を示す位置情報を受信したときは、その移動軌跡をその指定された打楽器の基準演奏パターンとして前記メモリに設定するステップＦと、
前記ステップＣによって設定された全ての打楽器の基準演奏パターンが前記ステップＦによって設定された後に、前記電子カメラ装置に送信した演奏開始指令に応じて、前記電子カメラ装置から受信した前記物体の移動軌跡の位置情報が前記メモリに設定されているいずれかの打楽器の基準演奏パターンと一致するか否かを分析するステップＧと、
演奏開始指令に応じて前記メモリに設定された曲のメロディ音の第１の楽音信号を発生するとともに、前記ステップＧによって前記物体の移動軌跡の位置情報が前記メモリに設定されているいずれかの打楽器の基準演奏パターンと一致することが分析されたときは、その一致する打楽器の音色の第２の楽音信号を発生して、その第１および第２の楽音信号を前記オーディオ装置に送出して発音させるステップＨと、
を前記コンピュータに実行させる。
【特許請求の範囲】
【請求項１】
電子カメラ装置とコンピュータとの間で通信を行って楽音信号を発生する電子楽器システムであって、
前記電子カメラ装置は、
所定の角度以上の画角を有する光学部材と、
赤、緑、および青からなる原色系のカラーフィルタ、又は、シアン、マゼンタ、黄、および緑からなる補色系のカラーフィルタを有するとともに、前記コンピュータから受信したテスト演奏指令および演奏開始指令に応じて、前記光学部材から入射する略球形の形状で原色系又は補色系の色彩からなる１種類以上の物体の映像を光電変換してカラーの画像信号を出力する撮像素子と、
前記撮像素子に対して読出信号を繰り返し与えて、各読出信号ごとに前記撮像素子から出力される画像信号に基づいて前記物体の略中心位置の位置情報を検出し、前回検出した位置情報と今回検出した位置情報に基づいて次にその物体を検出する範囲を決定しながらその物体の移動軌跡を示す位置情報を順次出力する演算処理回路と、を備え、
前記コンピュータは、
操作に応じて複数種類の指令を入力するキーボードと、
前記キーボードから入力された打楽器演奏の指令に応じて、表示部に複数種類の打楽器のリストを表示する表示制御機能と、
前記キーボードから入力された打楽器選択の指令に応じて、その選択に係る１種類以上の打楽器をメモリに記憶して設定する楽器設定機能と、
前記キーボードから入力された曲選択の指令に応じて、その選択に係る曲を前記メモリに記憶して設定する曲設定機能と、
前記楽器設定機能によって打楽器が設定された後に、前記キーボードから入力されたテスト演奏の指令に応じて、前記楽器設定機能によって設定された打楽器を１つの打楽器から順に指定して、その指定した打楽器のテスト演奏を促す旨の音声信号をオーディオ装置に送出して発音させるとともに、前記電子カメラ装置にテスト演奏指令を送信するテスト演奏機能と、
前記電子カメラ装置にテスト演奏指令を送信した後に、前記電子カメラ装置から前記物体の移動軌跡を示す位置情報を受信したときは、その移動軌跡をその指定された打楽器の基準演奏パターンとして前記メモリに設定する演奏設定機能と、
前記打楽器設定機能によって設定された全ての打楽器の基準演奏パターンが前記演奏設定機能によって設定された後に、前記電子カメラ装置に送信した演奏開始指令に応じて、前記電子カメラ装置から受信した前記物体の移動軌跡の位置情報が前記メモリに設定されているいずれかの打楽器の基準演奏パターンと一致するか否かを分析する画像分析定機能と、
演奏開始指令に応じて前記メモリに設定された曲のメロディ音の第１の楽音信号を発生するとともに、前記画像分析機能によって前記物体の移動軌跡の位置情報が前記メモリに設定されているいずれかの打楽器の基準演奏パターンと一致することが分析されたときは、その一致する打楽器の音色の第２の楽音信号を発生して、その第１および第２の楽音信号を前記オーディオ装置に送出して発音させる信号発生機能と、を備えている。
【請求項２】
前記電子カメラ装置の光学部材は、少なくとも９０度以上の画角を有することを特徴とする請求項１に記載の電子楽器システム。
【請求項３】
前記電子カメラ装置の撮像素子は、ＣＣＤによって光電変換を行う固体撮像素子であり、前記演算処理回路は、前記撮像素子から出力される複数のフレームの画像信号をフレームメモリに記憶し、前回検出した位置情報と今回検出した位置情報に基づいてそのフレームメモリの中の範囲を決定して次の位置情報を検出することを特徴とする請求項１に記載の電子楽器システム
【請求項４】
前記電子カメラ装置の撮像素子は、ＭＯＳ型半導体によって光電変換を行う固体撮像素子であり、前記演算処理回路は、前回検出した位置情報と今回検出した位置情報に基づいて前記撮像素子が次に光電変換する範囲を指定する駆動信号を発生して前記撮像素子に入力することを特徴とする請求項１に記載の電子楽器システム。
【請求項５】
前記撮像素子は、前記カラーフィルタの各色に対応した複数系統の画像信号を出力し、前記演算処理回路は、その複数系統の画像信号に基づいて色彩の異なる複数の物体を識別して各色彩の物体の位置を検出することを特徴とする請求項４に記載の電子楽器システム。
【請求項６】
前記電子カメラ装置は、デジタルカメラ装置であることを特徴とする請求項１に記載の電子楽器システム。
【請求項７】
前記電子カメラ装置は、ビデオカメラ装置であることを特徴とする請求項１に記載の電子楽器システム。
【請求項８】
前記電子カメラ装置は、前記コンピュータの表示部に着脱自在に装着されるモニタカメラ装置であることを特徴とする請求項１に記載の電子楽器システム。
【請求項９】
前記電子カメラ装置は、前記コンピュータに組み込まれていることを特徴とする請求項１に記載の電子楽器システム。
【請求項１０】
前記電子カメラ装置は、前記コンピュータとブルートゥース無線通信又は赤外線無線通信を行う携帯電話装置であることを特徴とする請求項１に記載の電子楽器システム。
【請求項１１】
前記コンピュータは、所定のネットワークを介して配信されるメロディパートおよびドラムパートを含む曲をダウンロードする機能を有し、そのダウンロードした曲からドラムパートを除いたマイナスワンの曲を生成し、曲選択の指令に応じて選択される曲の候補として不揮発性のフラッシュメモリに記憶することを特徴とする請求項１に記載の電子楽器システム。
【請求項１２】
前記コンピュータは、曲選択指令に応じて選択された曲に対する演奏開始指令に応じてメロディパートおよびドラムパートを含む複数のパートの楽譜を前記表示部に表示することを特徴とする請求項１１に記載の電子楽器システム。
【請求項１３】
携帯電話装置とその携帯電話装置から送信される楽音信号に応じて発音するオーディオ装置とで構成される電子楽器システムであって、
前記携帯電話装置は、
操作に応じて複数種類の指令を入力するスイッチ部と、
所定の角度以上の画角を有する光学部材と、
赤、緑、および青からなる原色系のカラーフィルタ、又は、シアン、マゼンタ、黄、および緑からなる補色系のカラーフィルタを有するとともに、前記スイッチ部からのテスト演奏指令および演奏開始指令並びに入力される駆動信号に応じて、前記光学部材から入射する略球形の形状で原色系又は補色系の色彩からなる１種類以上の物体の映像を光電変換してカラーの画像信号を出力する撮像素子と、
前記撮像素子に対して読出信号を繰り返し与えて、各読出信号ごとに前記撮像素子から出力される画像信号に基づいて前記物体の略中心位置の位置情報を検出し、前回検出した位置情報と今回検出した位置情報に基づいて前記撮像素子が次に光電変換する範囲を指定する駆動信号を発生して前記撮像素子に入力するとともに、その物体の移動軌跡を示す位置情報を順次出力する演算処理回路と、
前記スイッチ部から入力された打楽器演奏の指令に応じて、表示部に複数種類の打楽器のリストを表示する表示制御機能と、
前記スイッチ部から入力された打楽器選択の指令に応じて、その選択に係る１種類以上の打楽器をメモリに記憶して設定する楽器設定機能と、
前記スイッチ部から入力された曲選択の指令に応じて、その選択に係る曲を前記メモリに記憶して設定する曲設定機能と、
前記楽器設定機能によって打楽器が設定された後に、前記スイッチ部から入力されたテスト演奏の指令に応じて、前記楽器設定機能によって設定された打楽器を１つの打楽器から順に指定して、その指定した打楽器のテスト演奏を促す旨の音声信号を前記オーディオ装置に送信して発音させるとともに、前記撮像素子にテスト演奏指令を入力するテスト演奏機能と、
前記撮像素子にテスト演奏指令を入力した後に、前記演算処理回路から前記物体の移動軌跡を示す位置情報を取得したときは、その移動軌跡をその指定された打楽器の基準演奏パターンとして前記メモリに設定する演奏設定機能と、
前記打楽器設定機能によって設定された全ての打楽器の基準演奏パターンが前記演奏設定機能によって設定された後に、前記撮像素子に入力した演奏開始指令に応じて、前記演算処理回路から取得した前記物体の移動軌跡の位置情報が前記メモリに設定されているいずれかの打楽器の基準演奏パターンと一致するか否かを分析する画像分析定機能と、
演奏開始指令に応じて前記メモリに設定された曲のメロディ音の第１の楽音信号を発生するとともに、前記画像分析機能によって前記物体の移動軌跡の位置情報が前記メモリに設定されているいずれかの打楽器の基準演奏パターンと一致することが分析されたときは、その一致する打楽器の音色の第２の楽音信号を発生して、その第１および第２の楽音信号を前記オーディオ装置に送信して発音させる信号発生機能と、を備えている。
【請求項１４】
所定の角度以上の画角を有する光学部材と、赤、緑、および青からなる原色系のカラーフィルタ、又は、シアン、マゼンタ、黄、および緑からなる補色系のカラーフィルタを有するとともに、前記光学部材から入射する略球形の形状で原色系又は補色系の色彩からなる１種類以上の物体の映像を光電変換してカラーの画像信号を出力する撮像素子と、前記撮像素子に対して読出信号を繰り返し与えて、各読出信号ごとに前記撮像素子から出力される画像信号に基づいて前記物体の略中心位置の位置情報を検出し、前回検出した位置情報と今回検出した位置情報に基づいて次にその物体を検出する範囲を決定しながらその物体の移動軌跡を示す位置情報を順次出力する演算処理回路と、を備えた電子カメラ装置と、コンピュータとの間で通信を行って楽音信号を発生する電子楽器システムに用いるプログラムであって、そのプログラムは、
キーボードの操作に応じて複数種類の指令を入力するステップＡと、
前記ステップＡによって入力された打楽器演奏の指令に応じて、表示部に複数種類の打楽器のリストを表示するステップＢと、
前記ステップＡによって入力された打楽器選択の指令に応じて、その選択に係る１種類以上の打楽器をメモリに記憶して設定するステップＣと、
前記ステップＡによって入力された曲選択の指令に応じて、その選択に係る曲を前記メモリに記憶して設定するステップＤと、
前記ステップＣによって打楽器が設定された後に、前記ステップＡによって入力されたテスト演奏の指令に応じて、前記ステップＣによって設定された打楽器を１つの打楽器から順に指定して、その指定した打楽器のテスト演奏を促す旨の音声信号をオーディオ装置に送出して発音させるとともに、前記電子カメラ装置にテスト演奏指令を送信するステップＥと、
前記電子カメラ装置にテスト演奏指令を送信した後に、前記電子カメラ装置から前記物体の移動軌跡を示す位置情報を受信したときは、その移動軌跡をその指定された打楽器の基準演奏パターンとして前記メモリに設定するステップＦと、
前記ステップＣによって設定された全ての打楽器の基準演奏パターンが前記ステップＦによって設定された後に、前記電子カメラ装置に送信した演奏開始指令に応じて、前記電子カメラ装置から受信した前記物体の移動軌跡の位置情報が前記メモリに設定されているいずれかの打楽器の基準演奏パターンと一致するか否かを分析するステップＧと、
演奏開始指令に応じて前記メモリに設定された曲のメロディ音の第１の楽音信号を発生するとともに、前記ステップＧによって前記物体の移動軌跡の位置情報が前記メモリに設定されているいずれかの打楽器の基準演奏パターンと一致することが分析されたときは、その一致する打楽器の音色の第２の楽音信号を発生して、その第１および第２の楽音信号を前記オーディオ装置に送出して発音させるステップＨと、
を前記コンピュータに実行させる。
【請求項１】
電子カメラ装置とコンピュータとの間で通信を行って楽音信号を発生する電子楽器システムであって、
前記電子カメラ装置は、
所定の角度以上の画角を有する光学部材と、
赤、緑、および青からなる原色系のカラーフィルタ、又は、シアン、マゼンタ、黄、および緑からなる補色系のカラーフィルタを有するとともに、前記コンピュータから受信したテスト演奏指令および演奏開始指令に応じて、前記光学部材から入射する略球形の形状で原色系又は補色系の色彩からなる１種類以上の物体の映像を光電変換してカラーの画像信号を出力する撮像素子と、
前記撮像素子に対して読出信号を繰り返し与えて、各読出信号ごとに前記撮像素子から出力される画像信号に基づいて前記物体の略中心位置の位置情報を検出し、前回検出した位置情報と今回検出した位置情報に基づいて次にその物体を検出する範囲を決定しながらその物体の移動軌跡を示す位置情報を順次出力する演算処理回路と、を備え、
前記コンピュータは、
操作に応じて複数種類の指令を入力するキーボードと、
前記キーボードから入力された打楽器演奏の指令に応じて、表示部に複数種類の打楽器のリストを表示する表示制御機能と、
前記キーボードから入力された打楽器選択の指令に応じて、その選択に係る１種類以上の打楽器をメモリに記憶して設定する楽器設定機能と、
前記キーボードから入力された曲選択の指令に応じて、その選択に係る曲を前記メモリに記憶して設定する曲設定機能と、
前記楽器設定機能によって打楽器が設定された後に、前記キーボードから入力されたテスト演奏の指令に応じて、前記楽器設定機能によって設定された打楽器を１つの打楽器から順に指定して、その指定した打楽器のテスト演奏を促す旨の音声信号をオーディオ装置に送出して発音させるとともに、前記電子カメラ装置にテスト演奏指令を送信するテスト演奏機能と、
前記電子カメラ装置にテスト演奏指令を送信した後に、前記電子カメラ装置から前記物体の移動軌跡を示す位置情報を受信したときは、その移動軌跡をその指定された打楽器の基準演奏パターンとして前記メモリに設定する演奏設定機能と、
前記打楽器設定機能によって設定された全ての打楽器の基準演奏パターンが前記演奏設定機能によって設定された後に、前記電子カメラ装置に送信した演奏開始指令に応じて、前記電子カメラ装置から受信した前記物体の移動軌跡の位置情報が前記メモリに設定されているいずれかの打楽器の基準演奏パターンと一致するか否かを分析する画像分析定機能と、
演奏開始指令に応じて前記メモリに設定された曲のメロディ音の第１の楽音信号を発生するとともに、前記画像分析機能によって前記物体の移動軌跡の位置情報が前記メモリに設定されているいずれかの打楽器の基準演奏パターンと一致することが分析されたときは、その一致する打楽器の音色の第２の楽音信号を発生して、その第１および第２の楽音信号を前記オーディオ装置に送出して発音させる信号発生機能と、を備えている。
【請求項２】
前記電子カメラ装置の光学部材は、少なくとも９０度以上の画角を有することを特徴とする請求項１に記載の電子楽器システム。
【請求項３】
前記電子カメラ装置の撮像素子は、ＣＣＤによって光電変換を行う固体撮像素子であり、前記演算処理回路は、前記撮像素子から出力される複数のフレームの画像信号をフレームメモリに記憶し、前回検出した位置情報と今回検出した位置情報に基づいてそのフレームメモリの中の範囲を決定して次の位置情報を検出することを特徴とする請求項１に記載の電子楽器システム
【請求項４】
前記電子カメラ装置の撮像素子は、ＭＯＳ型半導体によって光電変換を行う固体撮像素子であり、前記演算処理回路は、前回検出した位置情報と今回検出した位置情報に基づいて前記撮像素子が次に光電変換する範囲を指定する駆動信号を発生して前記撮像素子に入力することを特徴とする請求項１に記載の電子楽器システム。
【請求項５】
前記撮像素子は、前記カラーフィルタの各色に対応した複数系統の画像信号を出力し、前記演算処理回路は、その複数系統の画像信号に基づいて色彩の異なる複数の物体を識別して各色彩の物体の位置を検出することを特徴とする請求項４に記載の電子楽器システム。
【請求項６】
前記電子カメラ装置は、デジタルカメラ装置であることを特徴とする請求項１に記載の電子楽器システム。
【請求項７】
前記電子カメラ装置は、ビデオカメラ装置であることを特徴とする請求項１に記載の電子楽器システム。
【請求項８】
前記電子カメラ装置は、前記コンピュータの表示部に着脱自在に装着されるモニタカメラ装置であることを特徴とする請求項１に記載の電子楽器システム。
【請求項９】
前記電子カメラ装置は、前記コンピュータに組み込まれていることを特徴とする請求項１に記載の電子楽器システム。
【請求項１０】
前記電子カメラ装置は、前記コンピュータとブルートゥース無線通信又は赤外線無線通信を行う携帯電話装置であることを特徴とする請求項１に記載の電子楽器システム。
【請求項１１】
前記コンピュータは、所定のネットワークを介して配信されるメロディパートおよびドラムパートを含む曲をダウンロードする機能を有し、そのダウンロードした曲からドラムパートを除いたマイナスワンの曲を生成し、曲選択の指令に応じて選択される曲の候補として不揮発性のフラッシュメモリに記憶することを特徴とする請求項１に記載の電子楽器システム。
【請求項１２】
前記コンピュータは、曲選択指令に応じて選択された曲に対する演奏開始指令に応じてメロディパートおよびドラムパートを含む複数のパートの楽譜を前記表示部に表示することを特徴とする請求項１１に記載の電子楽器システム。
【請求項１３】
携帯電話装置とその携帯電話装置から送信される楽音信号に応じて発音するオーディオ装置とで構成される電子楽器システムであって、
前記携帯電話装置は、
操作に応じて複数種類の指令を入力するスイッチ部と、
所定の角度以上の画角を有する光学部材と、
赤、緑、および青からなる原色系のカラーフィルタ、又は、シアン、マゼンタ、黄、および緑からなる補色系のカラーフィルタを有するとともに、前記スイッチ部からのテスト演奏指令および演奏開始指令並びに入力される駆動信号に応じて、前記光学部材から入射する略球形の形状で原色系又は補色系の色彩からなる１種類以上の物体の映像を光電変換してカラーの画像信号を出力する撮像素子と、
前記撮像素子に対して読出信号を繰り返し与えて、各読出信号ごとに前記撮像素子から出力される画像信号に基づいて前記物体の略中心位置の位置情報を検出し、前回検出した位置情報と今回検出した位置情報に基づいて前記撮像素子が次に光電変換する範囲を指定する駆動信号を発生して前記撮像素子に入力するとともに、その物体の移動軌跡を示す位置情報を順次出力する演算処理回路と、
前記スイッチ部から入力された打楽器演奏の指令に応じて、表示部に複数種類の打楽器のリストを表示する表示制御機能と、
前記スイッチ部から入力された打楽器選択の指令に応じて、その選択に係る１種類以上の打楽器をメモリに記憶して設定する楽器設定機能と、
前記スイッチ部から入力された曲選択の指令に応じて、その選択に係る曲を前記メモリに記憶して設定する曲設定機能と、
前記楽器設定機能によって打楽器が設定された後に、前記スイッチ部から入力されたテスト演奏の指令に応じて、前記楽器設定機能によって設定された打楽器を１つの打楽器から順に指定して、その指定した打楽器のテスト演奏を促す旨の音声信号を前記オーディオ装置に送信して発音させるとともに、前記撮像素子にテスト演奏指令を入力するテスト演奏機能と、
前記撮像素子にテスト演奏指令を入力した後に、前記演算処理回路から前記物体の移動軌跡を示す位置情報を取得したときは、その移動軌跡をその指定された打楽器の基準演奏パターンとして前記メモリに設定する演奏設定機能と、
前記打楽器設定機能によって設定された全ての打楽器の基準演奏パターンが前記演奏設定機能によって設定された後に、前記撮像素子に入力した演奏開始指令に応じて、前記演算処理回路から取得した前記物体の移動軌跡の位置情報が前記メモリに設定されているいずれかの打楽器の基準演奏パターンと一致するか否かを分析する画像分析定機能と、
演奏開始指令に応じて前記メモリに設定された曲のメロディ音の第１の楽音信号を発生するとともに、前記画像分析機能によって前記物体の移動軌跡の位置情報が前記メモリに設定されているいずれかの打楽器の基準演奏パターンと一致することが分析されたときは、その一致する打楽器の音色の第２の楽音信号を発生して、その第１および第２の楽音信号を前記オーディオ装置に送信して発音させる信号発生機能と、を備えている。
【請求項１４】
仮想の楽器の演奏に応じて楽音信号を発生する電子楽器システムに利用するカメラ付き携帯電話装置であって、
そのカメラ付き携帯電話装置は、
表示部の画面を保護する透明板と、
その透明板に形成されて前記表示部の表示画像の光を透過するハーフミラーと、
そのハーフミラーによって反射された前記表示部に対面する被写体の映像をカメラの光学部材に導く導光部材と、を有する。
【請求項１５】
前記ハーフミラーは、前記透明板に形成された微小ハーフミラーの集合であり、各微小ハーフミラーが前記表示部の画面に対して略４５度の傾斜を有することを特徴とする請求項１４に記載のカメラ付き携帯電話装置。
【請求項１６】
前記光学部材から入射する光が光電変換されて出力された画像信号に対して信号処理を施して画像のひずみを補正する画像補正回路をさらに有することを特徴とする請求項１４に記載のカメラ付き携帯電話装置。
【請求項１７】
仮想の楽器の演奏に応じて楽音信号を発生する電子楽器システムに利用するカメラ付きコンピュータであって、
そのカメラ付きコンピュータは、
表示部の画面を保護する透明板と、
その透明板に形成されて前記表示部の表示画像の光を透過するハーフミラーと、
そのハーフミラーによって反射された前記表示部に対面する被写体の映像をカメラの光学部材に導く導光部材と、を有する。
【請求項１８】
前記ハーフミラーは、前記透明板に形成された微小ハーフミラーの集合であり、各微小ハーフミラーが前記表示部の画面に対して略４５度の傾斜を有することを特徴とする請求項１７に記載のカメラ付きコンピュータ。
【請求項１９】
前記光学部材から入射する光が光電変換されて出力された画像信号に対して信号処理を施して画像のひずみを補正する画像補正回路をさらに有することを特徴とする請求項１７に記載のカメラ付きコンピュータ。
【請求項２０】
所定の角度以上の画角を有する光学部材と、赤、緑、および青からなる原色系のカラーフィルタ、又は、シアン、マゼンタ、黄、および緑からなる補色系のカラーフィルタを有するとともに、前記光学部材から入射する略球形の形状で原色系又は補色系の色彩からなる１種類以上の物体の映像を光電変換してカラーの画像信号を出力する撮像素子と、前記撮像素子に対して読出信号を繰り返し与えて、各読出信号ごとに前記撮像素子から出力される画像信号に基づいて前記物体の略中心位置の位置情報を検出し、前回検出した位置情報と今回検出した位置情報に基づいて次にその物体を検出する範囲を決定しながらその物体の移動軌跡を示す位置情報を順次出力する演算処理回路と、を備えた電子カメラ装置と、コンピュータとの間で通信を行って楽音信号を発生する電子楽器システムに用いるプログラムであって、そのプログラムは、
キーボードの操作に応じて複数種類の指令を入力するステップＡと、
前記ステップＡによって入力された打楽器演奏の指令に応じて、表示部に複数種類の打楽器のリストを表示するステップＢと、
前記ステップＡによって入力された打楽器選択の指令に応じて、その選択に係る１種類以上の打楽器をメモリに記憶して設定するステップＣと、
前記ステップＡによって入力された曲選択の指令に応じて、その選択に係る曲を前記メモリに記憶して設定するステップＤと、
前記ステップＣによって打楽器が設定された後に、前記ステップＡによって入力されたテスト演奏の指令に応じて、前記ステップＣによって設定された打楽器を１つの打楽器から順に指定して、その指定した打楽器のテスト演奏を促す旨の音声信号をオーディオ装置に送出して発音させるとともに、前記電子カメラ装置にテスト演奏指令を送信するステップＥと、
前記電子カメラ装置にテスト演奏指令を送信した後に、前記電子カメラ装置から前記物体の移動軌跡を示す位置情報を受信したときは、その移動軌跡をその指定された打楽器の基準演奏パターンとして前記メモリに設定するステップＦと、
前記ステップＣによって設定された全ての打楽器の基準演奏パターンが前記ステップＦによって設定された後に、前記電子カメラ装置に送信した演奏開始指令に応じて、前記電子カメラ装置から受信した前記物体の移動軌跡の位置情報が前記メモリに設定されているいずれかの打楽器の基準演奏パターンと一致するか否かを分析するステップＧと、
演奏開始指令に応じて前記メモリに設定された曲のメロディ音の第１の楽音信号を発生するとともに、前記ステップＧによって前記物体の移動軌跡の位置情報が前記メモリに設定されているいずれかの打楽器の基準演奏パターンと一致することが分析されたときは、その一致する打楽器の音色の第２の楽音信号を発生して、その第１および第２の楽音信号を前記オーディオ装置に送出して発音させるステップＨと、
を前記コンピュータに実行させる。
【特許請求の範囲】
【請求項１】
電子カメラ装置とコンピュータとの間で通信を行って楽音信号を発生する電子楽器システムであって、
前記電子カメラ装置は、
所定の角度以上の画角を有する光学部材と、
赤、緑、および青からなる原色系のカラーフィルタ、又は、シアン、マゼンタ、黄、および緑からなる補色系のカラーフィルタを有するとともに、前記コンピュータから受信したテスト演奏指令および演奏開始指令に応じて、前記光学部材から入射する略球形の形状で原色系又は補色系の色彩からなる１種類以上の物体の映像を光電変換してカラーの画像信号を出力する撮像素子と、
前記撮像素子に対して読出信号を繰り返し与えて、各読出信号ごとに前記撮像素子から出力される画像信号に基づいて前記物体の略中心位置の位置情報を検出し、前回検出した位置情報と今回検出した位置情報に基づいて次にその物体を検出する範囲を決定しながらその物体の移動軌跡を示す位置情報を順次出力する演算処理回路と、を備え、
前記コンピュータは、
操作に応じて複数種類の指令を入力するキーボードと、
前記キーボードから入力された打楽器演奏の指令に応じて、表示部に複数種類の打楽器のリストを表示する表示制御機能と、
前記キーボードから入力された打楽器選択の指令に応じて、その選択に係る１種類以上の打楽器をメモリに記憶して設定する楽器設定機能と、
前記キーボードから入力された曲選択の指令に応じて、その選択に係る曲を前記メモリに記憶して設定する曲設定機能と、
前記楽器設定機能によって打楽器が設定された後に、前記キーボードから入力されたテスト演奏の指令に応じて、前記楽器設定機能によって設定された打楽器を１つの打楽器から順に指定して、その指定した打楽器のテスト演奏を促す旨の音声信号をオーディオ装置に送出して発音させるとともに、前記電子カメラ装置にテスト演奏指令を送信するテスト演奏機能と、
前記電子カメラ装置にテスト演奏指令を送信した後に、前記電子カメラ装置から前記物体の移動軌跡を示す位置情報を受信したときは、その移動軌跡をその指定された打楽器の基準演奏パターンとして前記メモリに設定する演奏設定機能と、
前記打楽器設定機能によって設定された全ての打楽器の基準演奏パターンが前記演奏設定機能によって設定された後に、前記電子カメラ装置に送信した演奏開始指令に応じて、前記電子カメラ装置から受信した前記物体の移動軌跡の位置情報が前記メモリに設定されているいずれかの打楽器の基準演奏パターンと一致するか否かを分析する画像分析定機能と、
演奏開始指令に応じて前記メモリに設定された曲のメロディ音の第１の楽音信号を発生するとともに、前記画像分析機能によって前記物体の移動軌跡の位置情報が前記メモリに設定されているいずれかの打楽器の基準演奏パターンと一致することが分析されたときは、その一致する打楽器の音色の第２の楽音信号を発生して、その第１および第２の楽音信号を前記オーディオ装置に送出して発音させる信号発生機能と、を備えている。
【請求項２】
前記電子カメラ装置の光学部材は、少なくとも９０度以上の画角を有することを特徴とする請求項１に記載の電子楽器システム。
【請求項３】
前記電子カメラ装置の撮像素子は、ＣＣＤによって光電変換を行う固体撮像素子であり、前記演算処理回路は、前記撮像素子から出力される複数のフレームの画像信号をフレームメモリに記憶し、前回検出した位置情報と今回検出した位置情報に基づいてそのフレームメモリの中の範囲を決定して次の位置情報を検出することを特徴とする請求項１に記載の電子楽器システム
【請求項４】
前記電子カメラ装置の撮像素子は、ＭＯＳ型半導体によって光電変換を行う固体撮像素子であり、前記演算処理回路は、前回検出した位置情報と今回検出した位置情報に基づいて前記撮像素子が次に光電変換する範囲を指定する駆動信号を発生して前記撮像素子に入力することを特徴とする請求項１に記載の電子楽器システム。
【請求項５】
前記撮像素子は、前記カラーフィルタの各色に対応した複数系統の画像信号を出力し、前記演算処理回路は、その複数系統の画像信号に基づいて色彩の異なる複数の物体を識別して各色彩の物体の位置を検出することを特徴とする請求項４に記載の電子楽器システム。
【請求項６】
前記電子カメラ装置は、デジタルカメラ装置であることを特徴とする請求項１に記載の電子楽器システム。
【請求項７】
前記電子カメラ装置は、ビデオカメラ装置であることを特徴とする請求項１に記載の電子楽器システム。
【請求項８】
前記電子カメラ装置は、前記コンピュータの表示部に着脱自在に装着されるモニタカメラ装置であることを特徴とする請求項１に記載の電子楽器システム。
【請求項９】
前記電子カメラ装置は、前記コンピュータに組み込まれていることを特徴とする請求項１に記載の電子楽器システム。
【請求項１０】
前記電子カメラ装置は、前記コンピュータとブルートゥース無線通信又は赤外線無線通信を行う携帯電話装置であることを特徴とする請求項１に記載の電子楽器システム。
【請求項１１】
前記コンピュータは、所定のネットワークを介して配信されるメロディパートおよびドラムパートを含む曲をダウンロードする機能を有し、そのダウンロードした曲からドラムパートを除いたマイナスワンの曲を生成し、曲選択の指令に応じて選択される曲の候補として不揮発性のフラッシュメモリに記憶することを特徴とする請求項１に記載の電子楽器システム。
【請求項１２】
前記コンピュータは、曲選択指令に応じて選択された曲に対する演奏開始指令に応じてメロディパートおよびドラムパートを含む複数のパートの楽譜を前記表示部に表示することを特徴とする請求項１１に記載の電子楽器システム。
【請求項１３】
携帯電話装置とその携帯電話装置から送信される楽音信号に応じて発音するオーディオ装置とで構成される電子楽器システムであって、
前記携帯電話装置は、
操作に応じて複数種類の指令を入力するスイッチ部と、
所定の角度以上の画角を有する光学部材と、
赤、緑、および青からなる原色系のカラーフィルタ、又は、シアン、マゼンタ、黄、および緑からなる補色系のカラーフィルタを有するとともに、前記スイッチ部からのテスト演奏指令および演奏開始指令並びに入力される駆動信号に応じて、前記光学部材から入射する略球形の形状で原色系又は補色系の色彩からなる１種類以上の物体の映像を光電変換してカラーの画像信号を出力する撮像素子と、
前記撮像素子に対して読出信号を繰り返し与えて、各読出信号ごとに前記撮像素子から出力される画像信号に基づいて前記物体の略中心位置の位置情報を検出し、前回検出した位置情報と今回検出した位置情報に基づいて前記撮像素子が次に光電変換する範囲を指定する駆動信号を発生して前記撮像素子に入力するとともに、その物体の移動軌跡を示す位置情報を順次出力する演算処理回路と、
前記スイッチ部から入力された打楽器演奏の指令に応じて、表示部に複数種類の打楽器のリストを表示する表示制御機能と、
前記スイッチ部から入力された打楽器選択の指令に応じて、その選択に係る１種類以上の打楽器をメモリに記憶して設定する楽器設定機能と、
前記スイッチ部から入力された曲選択の指令に応じて、その選択に係る曲を前記メモリに記憶して設定する曲設定機能と、
前記楽器設定機能によって打楽器が設定された後に、前記スイッチ部から入力されたテスト演奏の指令に応じて、前記楽器設定機能によって設定された打楽器を１つの打楽器から順に指定して、その指定した打楽器のテスト演奏を促す旨の音声信号を前記オーディオ装置に送信して発音させるとともに、前記撮像素子にテスト演奏指令を入力するテスト演奏機能と、
前記撮像素子にテスト演奏指令を入力した後に、前記演算処理回路から前記物体の移動軌跡を示す位置情報を取得したときは、その移動軌跡をその指定された打楽器の基準演奏パターンとして前記メモリに設定する演奏設定機能と、
前記打楽器設定機能によって設定された全ての打楽器の基準演奏パターンが前記演奏設定機能によって設定された後に、前記撮像素子に入力した演奏開始指令に応じて、前記演算処理回路から取得した前記物体の移動軌跡の位置情報が前記メモリに設定されているいずれかの打楽器の基準演奏パターンと一致するか否かを分析する画像分析定機能と、
演奏開始指令に応じて前記メモリに設定された曲のメロディ音の第１の楽音信号を発生するとともに、前記画像分析機能によって前記物体の移動軌跡の位置情報が前記メモリに設定されているいずれかの打楽器の基準演奏パターンと一致することが分析されたときは、その一致する打楽器の音色の第２の楽音信号を発生して、その第１および第２の楽音信号を前記オーディオ装置に送信して発音させる信号発生機能と、を備えている。
【請求項１４】
所定の角度以上の画角を有する光学部材と、赤、緑、および青からなる原色系のカラーフィルタ、又は、シアン、マゼンタ、黄、および緑からなる補色系のカラーフィルタを有するとともに、前記光学部材から入射する略球形の形状で原色系又は補色系の色彩からなる１種類以上の物体の映像を光電変換してカラーの画像信号を出力する撮像素子と、前記撮像素子に対して読出信号を繰り返し与えて、各読出信号ごとに前記撮像素子から出力される画像信号に基づいて前記物体の略中心位置の位置情報を検出し、前回検出した位置情報と今回検出した位置情報に基づいて次にその物体を検出する範囲を決定しながらその物体の移動軌跡を示す位置情報を順次出力する演算処理回路と、を備えた電子カメラ装置と、コンピュータとの間で通信を行って楽音信号を発生する電子楽器システムに用いるプログラムであって、そのプログラムは、
キーボードの操作に応じて複数種類の指令を入力するステップＡと、
前記ステップＡによって入力された打楽器演奏の指令に応じて、表示部に複数種類の打楽器のリストを表示するステップＢと、
前記ステップＡによって入力された打楽器選択の指令に応じて、その選択に係る１種類以上の打楽器をメモリに記憶して設定するステップＣと、
前記ステップＡによって入力された曲選択の指令に応じて、その選択に係る曲を前記メモリに記憶して設定するステップＤと、
前記ステップＣによって打楽器が設定された後に、前記ステップＡによって入力されたテスト演奏の指令に応じて、前記ステップＣによって設定された打楽器を１つの打楽器から順に指定して、その指定した打楽器のテスト演奏を促す旨の音声信号をオーディオ装置に送出して発音させるとともに、前記電子カメラ装置にテスト演奏指令を送信するステップＥと、
前記電子カメラ装置にテスト演奏指令を送信した後に、前記電子カメラ装置から前記物体の移動軌跡を示す位置情報を受信したときは、その移動軌跡をその指定された打楽器の基準演奏パターンとして前記メモリに設定するステップＦと、
前記ステップＣによって設定された全ての打楽器の基準演奏パターンが前記ステップＦによって設定された後に、前記電子カメラ装置に送信した演奏開始指令に応じて、前記電子カメラ装置から受信した前記物体の移動軌跡の位置情報が前記メモリに設定されているいずれかの打楽器の基準演奏パターンと一致するか否かを分析するステップＧと、
演奏開始指令に応じて前記メモリに設定された曲のメロディ音の第１の楽音信号を発生するとともに、前記ステップＧによって前記物体の移動軌跡の位置情報が前記メモリに設定されているいずれかの打楽器の基準演奏パターンと一致することが分析されたときは、その一致する打楽器の音色の第２の楽音信号を発生して、その第１および第２の楽音信号を前記オーディオ装置に送出して発音させるステップＨと、
を前記コンピュータに実行させる。
【図１】
【図２】
【図３】
【図４】
【図５】
【図６】
【図７】
【図８】
【図９】
【図１０】
【図１１】
【図１２】
【図１３】
【図１４】
【図１５】
【図１６】
【図１７】
【図１８】
【図１９】
【図２０】
【図２１】
【図２２】
【図２３】
【図２４】
【図２５】
【図２６】
【図２７】
【図２８】
【図２９】
【図３０】
【図３１】
【図３２】
【図３３】
【図２】
【図３】
【図４】
【図５】
【図６】
【図７】
【図８】
【図９】
【図１０】
【図１１】
【図１２】
【図１３】
【図１４】
【図１５】
【図１６】
【図１７】
【図１８】
【図１９】
【図２０】
【図２１】
【図２２】
【図２３】
【図２４】
【図２５】
【図２６】
【図２７】
【図２８】
【図２９】
【図３０】
【図３１】
【図３２】
【図３３】
【公開番号】特開２００６−５３５２４（Ｐ２００６−５３５２４Ａ）
【公開日】平成１８年２月２３日（２００６．２．２３）
【国際特許分類】
【出願番号】特願２００５−１３５４６６（Ｐ２００５−１３５４６６）
【出願日】平成１７年５月９日（２００５．５．９）
【公序良俗違反の表示】
（特許庁注：以下のものは登録商標）
１．Ｂｌｕｅｔｏｏｔｈ
【出願人】（３０３０１５６５３）有限会社ラルゴ (23)
【Ｆターム（参考）】
【公開日】平成１８年２月２３日（２００６．２．２３）
【国際特許分類】
【出願日】平成１７年５月９日（２００５．５．９）
【公序良俗違反の表示】
（特許庁注：以下のものは登録商標）
１．Ｂｌｕｅｔｏｏｔｈ
【出願人】（３０３０１５６５３）有限会社ラルゴ (23)
【Ｆターム（参考）】
[ Back to top ]