電子音楽装置、該電子音楽装置と接続されるコンピュータ装置、およびその各制御方法をそれぞれ実現するためのプログラム
【課題】画像を表示できない表示器が設置されていても、記録前あるいは記録中の画像データをモニタすることが可能な電子音楽装置を提供する。
【解決手段】カメラを用いてユーザが、自身の演奏風景などの演奏に関する情景を撮影すると、撮像部２３から電子楽器に画像データストリームが供給される。その画像データストリームのレートおよび品質は第２レートおよび品質に変換された後、１フレーム分の画像データからなる一時画像ファイルが生成されファイル記憶部に記憶される。電子楽器にはＰＣが接続され、ＰＣは、電子楽器のファイル記憶部に新たな一時画像ファイルが記憶されたかどうかを常時監視し、新たな一時画像ファイルが記憶されると、その一時画像ファイルの取得要求を電子楽器に送信する。電子楽器は、取得要求された一時画像ファイルを読み出しＰＣに送信する。ＰＣは、受信した一時画像ファイルを自身の大型ディスプレイ上に表示する。
【解決手段】カメラを用いてユーザが、自身の演奏風景などの演奏に関する情景を撮影すると、撮像部２３から電子楽器に画像データストリームが供給される。その画像データストリームのレートおよび品質は第２レートおよび品質に変換された後、１フレーム分の画像データからなる一時画像ファイルが生成されファイル記憶部に記憶される。電子楽器にはＰＣが接続され、ＰＣは、電子楽器のファイル記憶部に新たな一時画像ファイルが記憶されたかどうかを常時監視し、新たな一時画像ファイルが記憶されると、その一時画像ファイルの取得要求を電子楽器に送信する。電子楽器は、取得要求された一時画像ファイルを読み出しＰＣに送信する。ＰＣは、受信した一時画像ファイルを自身の大型ディスプレイ上に表示する。
【発明の詳細な説明】
【技術分野】
【０００１】
本発明は、ユーザの演奏風景などの演奏に関する情景を撮影して得られた動画像データ（画像データストリーム）を記録することができる電子音楽装置、該電子音楽装置と接続されるコンピュータ装置、およびその各制御方法をそれぞれ実現するためのプログラムに関する。
【背景技術】
【０００２】
ユーザの演奏風景などの演奏に関する情景を撮影して得られた動画像データを記録することができるシステムは、従来から知られている。
【０００３】
このようなシステムとして、ビデオカメラの操作部を介して入力される指示に従って、ユーザの演奏風景や種々の演奏音等を当該ビデオカメラに装着したビデオテープに記録するようにしたものがある（たとえば、特許文献１参照）。
【０００４】
ところで、上記従来のシステムの記録機能を従来の電子音楽装置に適用した場合、いわゆる当業者であれば、内蔵あるいは外部接続したカメラから供給される、ユーザの演奏風景を含む動画像データや、ユーザが演奏操作子を操作することで発生された楽音信号などを内蔵あるいは外付けの記憶装置に記録するような電子音楽装置を構成することは容易に想到される。
【特許文献１】特開２００３−２０８１６４号公報
【発明の開示】
【発明が解決しようとする課題】
【０００５】
しかし、上記従来のシステムの記録機能を適用した電子音楽装置では、電子音楽装置という特殊事情から、筐体を取り扱い易いサイズに留めておくとともに、製造コストを低減させる必要があるために、筐体上に設置する表示器としては、画面サイズが小型で、解像度も低いものを採用せざるを得なかった。また、製造コストをさらに低減させなければならない場合には、動画像は言うに及ばず、静止画像も表示できない表示器を採用しなければならない。
【０００６】
このように電子音楽装置に設置される表示器では、記録中の動画像データをそのままの品質で表示させることはもちろん、いかなる品質でも表示できずに、ユーザは記録中の動画像データをモニタできないことがある。
【０００７】
他方、カメラから供給される動画像データを、その記録前にモニタしたいこともある。たとえば、演奏に関する情景、特にユーザ自身の演奏風景をカメラで撮影して得られた動画像データを記録する場合、この種の情景は記録の前後であまり変化しないので、記録前に１度、カメラの設置位置や撮影設定を決めておけば、その設置位置や撮影設定は記録が終了するまで変更されないことが多い。つまり、このような動画像データを記録する場合、動画像データをモニタすることの有用性は、撮影中より撮影前の方がより高くなっている。しかし、画像を表示できない表示器を電子音楽装置に設置したときには、記録前であっても動画像データをモニタすることはできない。
【０００８】
本発明は、この点に着目してなされたものであり、画像を表示できない表示器が設置されていたとしても、記録前あるいは記録中の画像データをモニタすることが可能となる電子音楽装置、該電子音楽装置と接続されるコンピュータ装置、およびその各制御方法をそれぞれ実現するためのプログラムを提供することを目的とする。
【課題を解決するための手段】
【０００９】
上記目的を達成するため、請求項１に記載の電子音楽装置は、演奏に関する情景を撮影して得られた画像データストリームを供給する第１の供給手段と、演奏情報を供給する第２の供給手段と、該第２の供給手段によって供給された演奏情報に基づいて楽音信号を生成する第１の生成手段と、前記第１の供給手段によって供給された画像データストリームを記録するとともに、前記第１の生成手段によって生成された楽音信号および／または前記供給された演奏情報を記録する記録手段と、該記録手段による記録を開始する前に、あるいは該記録手段による記録と並行して、前記供給された画像データストリームに基づいた一連の画像ファイルを順次生成する第２の生成手段と、該第２の生成手段によって順次生成された一連の画像ファイルを記憶する記憶手段と、外部のコンピュータ装置と接続し、当該コンピュータ装置とデータの送受信を行う接続手段と、前記記憶手段に記憶された一連の画像ファイルを、前記接続手段を介して接続されたコンピュータ装置が参照可能に提示する提示手段とを有することを特徴とする。
【００１０】
請求項２に記載の電子音楽装置は、請求項１の電子音楽装置において、前記供給された画像データストリームを記録する際の当該画像データストリームおよび／または前記供給された画像データストリームに基づいた一連の画像ファイルを生成する際の当該画像データストリームのレートおよび／または解像度を他のレートおよび／または解像度に変換する変換手段をさらに有し、前者の画像データストリームの変換後のレートおよび／または解像度と、後者の画像データストリームの変換後のレートおよび／または解像度とを異ならせることが可能であることを特徴とする。
【００１１】
上記目的を達成するため、請求項３に記載のコンピュータ装置は、外部の電子音楽装置を記憶装置と見なして接続し、当該電子音楽装置とデータの送受信を行う接続手段と、該接続手段を介して接続された電子音楽装置が、演奏に関する情景を撮影して得られた画像データストリームに基づいて順次生成し、当該電子音楽装置内に記憶された一連の画像ファイルを、当該電子音楽装置から取得する取得手段と、該取得手段によって取得された一連の画像ファイルを順次表示する表示手段とを有することを特徴とする。
【００１２】
上記目的を達成するため、請求項４に記載のプログラムは、請求項１と同様の技術的思想によって実現できる。
【００１３】
上記目的を達成するため、請求項５に記載のプログラムは、請求項３と同様の技術的思想によって実現できる。
【発明の効果】
【００１４】
請求項１または４に記載の発明によれば、供給された画像データストリームと、供給された演奏情報に基づいて生成された楽音信号および／または当該演奏情報の記録を開始する前に、あるいは当該記録と並行して、前記供給された画像データストリームに基づいた一連の画像ファイルが順次生成されて記憶され、該記憶された一連の画像ファイルが、接続手段を介して接続されたコンピュータ装置に参照可能に提示されるので、画像を表示できない表示器が当該電子音楽装置に設置されていたとしても、ユーザは記録前あるいは記録中の画像データストリームをコンピュータ装置上でモニタすることが可能となる。
【００１５】
請求項２に記載の発明によれば、前記供給された画像データストリームを記録する際の当該画像データストリームおよび／または前記供給された画像データストリームに基づいた一連の画像ファイルを生成する際の当該画像データストリームのレートおよび／または解像度が他のレートおよび／または解像度に変換され、前者の画像データストリームの変換後のレートおよび／または解像度と、後者の画像データストリームの変換後のレートおよび／または解像度とを異ならせることが可能であるので、当該電子音楽装置と前記コンピュータ装置との間の通信速度の高低などに応じて、後者の画像データストリームの変換後のレートおよび／または解像度を、前者の画像データストリームの変換後のレートおよび／または解像度と独立して設定することができる。
【００１６】
請求項３または５に記載の発明によれば、接続手段を介して接続された電子音楽装置が、演奏に関する情景を撮影して得られた画像データストリームに基づいて順次生成し、当該電子音楽装置内に記憶された一連の画像ファイルが、当該電子音楽装置から取得され、該取得された一連の画像ファイルが表示手段に順次表示されるので、画像を表示できない表示器が当該電子音楽装置に設置されていたとしても、ユーザは記録前あるいは記録中の画像データストリームをコンピュータ装置上でモニタすることが可能となる。
【発明を実施するための最良の形態】
【００１７】
以下、本発明の実施の形態を図面に基づいて詳細に説明する。
【００１８】
図１は、本発明の一実施の形態に係る電子音楽装置を適用した電子楽器１００の概略構成を示すブロック図である。
【００１９】
同図に示すように、電子楽器１００は、音高情報を含む演奏情報を入力するための鍵盤を含む演奏操作子１と、各種情報を入力するための複数のスイッチやホイール、ジョイスティックを含む設定操作子２と、演奏操作子１の操作状態を検出する検出回路３と、設定操作子２の操作状態を検出する検出回路４と、装置全体の制御を司るＣＰＵ５と、該ＣＰＵ５が実行する制御プログラムや各種テーブルデータ等を記憶するＲＯＭ６と、演奏情報、各種入力情報および演算結果等を一時的に記憶するＲＡＭ７と、タイマ割込み処理における割込み時間や各種時間を計時するタイマ８と、各種情報等を表示する小型の液晶ディスプレイ（ＬＣＤ）９と、前記制御プログラムを含む各種アプリケーションプログラムや各種楽曲データ、各種データ等を記憶する外部記憶装置１０と、ＵＳＢホスト・コントローラ１１と、ＵＳＢターゲット・コントローラ１２と、外部からのＭＩＤＩ（musical instrument digital interface）メッセージを入力したり、ＭＩＤＩメッセージを外部に出力したりするＭＩＤＩインターフェース（Ｉ／Ｆ）１３と、通信ネットワーク５１０を介して、たとえばサーバコンピュータ（以下、「サーバ」と略して言う）５００とデータの送受信を行う通信インターフェース（Ｉ／Ｆ）１４と、演奏操作子１から入力された演奏情報や、前記外部記憶装置１０に記憶されたいずれかの楽曲データを再生して得られた演奏情報等を楽音信号に変換する音源回路１５と、該音源回路１５からの楽音信号に各種効果を付与するための効果回路１６と、該効果回路１６からの楽音信号を音響に変換する、たとえば、ＤＡＣ（digital-to-analog converter）やアンプ、スピーカ等のサウンドシステム１７とにより構成されている。
【００２０】
上記構成要素３〜１６は、バス１８を介して相互に接続され、ＣＰＵ５にはタイマ８が接続され、ＵＳＢホスト・コントローラ１１には撮像装置３００が接続され、ＵＳＢターゲット・コントローラ１２にはＰＣ２００が接続され、ＭＩＤＩＩ／Ｆ１３には外部ＭＩＤＩ機器４００が接続され、通信Ｉ／Ｆ１４には通信ネットワーク５１０が接続され、音源回路１５には効果回路１６が接続され、効果回路１６にはサウンドシステム１７が接続されている。ここで、通信Ｉ／Ｆ１４および通信ネットワーク５１０は、有線方式のものに限らず、無線方式のものであってもよい。また、両方式のものを備えていてもよい。
【００２１】
小型ＬＣＤ９のブロックは、図１では破線で描かれている。これは、小型ＬＣＤ９は電子楽器１００の必須の構成ではないことを意味する。ただし、設定操作子２のオン／オフ状態を表示可能な、たとえば発光ダイオード（ＬＥＤ）等の簡易な表示器（図示せず）は備えていた方が好ましい。同様に、通信Ｉ／Ｆ１４も電子楽器１００の必須の構成ではない。
【００２２】
外部記憶装置１０としては、たとえば、フレキシブルディスクドライブ（ＦＤＤ）、ハードディスクドライブ（ＨＤＤ）、ＣＤ−ＲＯＭドライブおよび光磁気ディスク（ＭＯ）ドライブ等を挙げることができる。そして、外部記憶装置１０には、前述のように、ＣＰＵ５が実行する制御プログラムも記憶でき、ＲＯＭ６に制御プログラムが記憶されていない場合には、この外部記憶装置１０に制御プログラムを記憶させておき、それをＲＡＭ７に読み込むことにより、ＲＯＭ６に制御プログラムを記憶している場合と同様の動作をＣＰＵ５にさせることができる。このようにすると、制御プログラムの追加やバージョンアップ等が容易に行える。なお、前記各楽曲データは、ファイル形式で外部記憶装置１０に記憶される。
【００２３】
通信Ｉ／Ｆ１４（電子楽器１００に備わっていれば）は、上述のように、たとえばＬＡＮ（local area network）やインターネット、電話回線等の通信ネットワーク５１０に接続されており、該通信ネットワーク５１０を介して、サーバ５００に接続される。外部記憶装置１０に上記各プログラムや各種パラメータが記憶されていない場合には、通信Ｉ／Ｆ１４は、サーバ５００からプログラムやパラメータをダウンロードするために用いられる。クライアントとなる電子楽器１００は、通信Ｉ／Ｆ１４および通信ネットワーク５１０を介してサーバ５００へとプログラムやパラメータのダウンロードを要求するコマンドを送信する。サーバ５００は、このコマンドを受け、要求されたプログラムやパラメータを、通信ネットワーク５１０を介して電子楽器１００へと配信し、電子楽器１００が通信Ｉ／Ｆ１４を介して、これらプログラムやパラメータを受信して外部記憶装置１０に蓄積することにより、ダウンロードが完了する。
【００２４】
撮像装置３００は、たとえばＵＳＢビデオ・クラス（USB video class）に対応したＷｅｂカメラやデジタルビデオカメラなどのカメラであり、撮影して得られた動画像データをMotion-JPEG、DV（digital video）、MPEG-2またはMPEG-4などの圧縮データに変換して、あるいは非圧縮データのまま出力する。ＲＯＭ６には、ＵＳＢビデオ・クラス・ドライバが組み込まれており（もちろん、ホスト・コントローラ・ドライバやターゲット・コントローラ・ドライバなどの他のドライバも組み込まれている）、ＵＳＢホスト・コントローラ１１は、撮像装置３００が出力した上記各種形式の動画像データをＵＳＢの通信プロトコルに従って受信する。なお、ＵＳＢホスト・コントローラ１１としては、上記各種形式すべての動画像データを受信可能なものに限らず、そのうちの少なくとも１つの形式の動画像データを受信可能なものであればよい。また、動画像データの通信プロトコルは、ＵＳＢビデオ・クラスに規定されているものに限られる訳ではない。ＵＳＢビデオ・クラスに規定されている通信プロトコル以外の通信プロトコルを採用した場合には、この通信プロトコルに従って通信する動画像データは上記各種形式に限られない。本実施の形態では説明の都合上、動画像データは、撮像装置３００内でMotion-JPEG形式のデータに変換されてからＵＳＢホスト・コントローラ１１に供給されるものとする。また本実施の形態では、撮像装置３００として、ＵＳＢホスト・コントローラ１１を介して外部接続したものを採用したが、これに限らず、電子楽器１００内に組み込んだものを採用してもよい。
【００２５】
なお、電子楽器１００は、上述の構成から分かるように、電子鍵盤楽器上に構築されたものであるが、鍵盤楽器の実施形態に限らず、弦楽器タイプ、管楽器タイプ、打楽器タイプ等の他の実施形態でもよい。また、楽器の実施形態に限らず、動画像データを記録可能な携帯音楽端末上に本発明を構築するようにしてもよい。
【００２６】
ＰＣ２００のハードウェアは、本実施の形態では、汎用ＰＣと同様に構成されている。より具体的には、ＰＣ２００は、電子楽器１００の上記構成から、演奏操作子１、設定操作子２、検出回路３，４、小型ＬＣＤ９、ＵＳＢターゲット・コントローラ１２、ＭＩＤＩＩ／Ｆ１３、音源回路１５、効果回路１６およびサウンドシステム１７を除き、その代わりに、文字数字入力用キーボード、マウスおよび大型ディスプレイを加えたものによって構成されている。なお、汎用ＰＣは通常、通信ネットワークを介して外部のサーバと接続する機能を備えているので、ＰＣ２００も、電子楽器１００とは異なり、通信Ｉ／Ｆを必須の構成要素としている。
【００２７】
図２は、電子楽器１００の機能構成を示すブロック図である。
【００２８】
同図において、演奏情報供給部２１は、演奏操作子２１ａおよび自動演奏部２１ｂによって構成され、演奏情報（本実施の形態では、ＭＩＤＩイベント）を楽音生成部２２および動画・オーディオ記録部２５に供給する。
【００２９】
演奏操作子２１ａは、主として前記演奏操作子１および検出回路３に相当し、ユーザによる演奏操作に応じた演奏情報を生成して出力する。
【００３０】
自動演奏部２１ｂは、主としてＣＰＵ５およびＲＡＭ７に相当し、ＣＰＵ５が所定の制御プログラムを実行することで実現される。自動演奏部２１ｂは、ＲＡＭ７の一部領域に設けた自動演奏データ記憶領域（図示せず）を備え、この自動演奏データ記憶領域に記憶した自動演奏データを用いて自動演奏を行う。自動演奏データは、ファイル記憶部２６（前記外部記憶装置１０に相当する）に複数種類記憶されており、自動演奏データ記憶領域には、その中からユーザによって選択された１つが記憶される。ここで、自動演奏データは、ユーザが演奏操作子１を用いてある楽曲を演奏する際のバック演奏を行わせるためのものであり、具体的には、１曲の楽曲を表す楽曲データ（ソングデータ）や、伴奏スタイルデータ、コード進行データなどである。自動演奏データのフォーマットとしては、どのようなものを採用しても構わないが、本実施の形態では、通常の電子楽器でよく用いられているＳＭＦ（standard MIDI file）形式を採用することにする。
【００３１】
楽音生成部２２は、主として前記音源回路１５および効果回路１６に相当し、ユーザによって設定された楽音生成環境（音色、音量および効果など）で、演奏情報供給部２１から供給された演奏情報に基づいて楽音信号（オーディオデータ）を生成し、適宜効果を付与した後、動画・オーディオ記録部２５に出力する。
【００３２】
撮像部２３は、主として前記撮像装置３００、ＵＳＢホスト・コントローラ１１およびＣＰＵ５に相当し、撮像装置３００を用いて撮影され、ＵＳＢホスト・コントローラ１１を介して電子楽器１００内に供給された動画像データ（画像データストリーム）を、ＣＰＵ５を介して第１レート・品質変換部２４、第２レート・品質変換部２７および第３レート・品質変換部３１に供給する。
【００３３】
第１レート・品質変換部２４は、主としてＣＰＵ５およびＲＡＭ７に相当し、ＣＰＵ５が所定の制御プログラムを実行することで実現される。第１レート・品質変換部２４は、撮像部２３から供給される動画像データのレートおよび品質を第１レートおよび品質に変換し、変換後の動画像データを動画・オーディオ記録部２５に供給する。ここで、レートとは、１秒間に供給される（静止）画像データのフレーム数を言い、品質とは、解像度を言う。なお、品質は、圧縮率に応じた品質でもよいが、本実施の形態では、解像度としている。また、第１レート・品質変換部２４は、本実施の形態では、動画像データのレートおよび品質のいずれも変換するようにしたが、これに限らず、動画像データのレートまたは品質のいずれかを変換するようにしてもよい。さらに、変換の程度は、固定であっても、可変であってもよい。可変の場合には、ユーザが変換の程度を選択できるようにしてもよい。なお「品質」は、表示画像の見栄えの善し悪しの意味でも使われ、その場合には、「品質」は「解像度」だけを意味しない。これらの事情は、第２レート・品質変換部２７および第３レート・品質変換部３１についても同様である。
【００３４】
第１レート・品質変換部２４は、撮像部２３からの動画像データのレートおよび品質を、それより若干低い第１レートおよび品質に変換する。具体的には、撮像部２３から、たとえば３０フレーム／秒で１２８０×１０２４ピクセルの動画像データが供給されているとすると、第１レート・品質変換部２４は、この動画像データを、たとえば２０フレーム／秒で８００×６００ピクセルの動画像データに変換する。Motion-JPEG形式の動画像データは、フレーム内圧縮されているので、単にコマ落としする（間引く）だけで簡単に、目的のレートに変換することができる。動画像データとして、圧縮されていないものが供給された場合にも、Motion-JPEG形式の動画像データと同様に、コマ落としによってレート変換することができるが、MPEGなどのフレーム間圧縮されているものが供給された場合には、圧縮されていないフレーム間に存在する、すべての圧縮されているフレームをコマ落としすることで、レート変換しなければならない。
【００３５】
このように、第１レート・品質変換部２４によって、撮像部２３からの動画像データのレートおよび品質を落とすようにしたのは、動画像データのデータ容量を低減させることで、それを記憶する外部記憶装置１０として、記憶容量の低い、つまり安価なものを採用したいからである。したがって、このような制約のない場合には、第１レート・品質変換部２４を省略し、撮像部２３からの動画像データをそのまま動画・オーディオ記録部２５に供給するようにすればよい。
【００３６】
第２レート・品質変換部２７も、主としてＣＰＵ５およびＲＡＭ７に相当し、ＣＰＵ５が所定の制御プログラムを実行することで実現される。第２レート・品質変換部２７は、撮像部２３から供給される動画像データのレートおよび品質を第２レートおよび品質に変換し、変換後の動画像データを画像ファイル生成部２９に供給する。画像ファイル生成部２９も、主としてＣＰＵ５およびＲＡＭ７に相当し、ＣＰＵ５が所定の制御プログラムを実行することで実現される。画像ファイル生成部２９は、第２レート・品質変換部２７から１フレーム分の画像データが出力されると、その１フレーム分の画像データからなる一時画像ファイルを生成して、ファイル記録部２６に記憶させる。ここで、第２レートおよび品質のうち、第２レートは、第１レートよりかなり低く、第２品質は、第１品質より若干低く設定されている。具体的には、撮像部２３から、たとえば３０フレーム／秒で１２８０×１０２４ピクセルの動画像データが供給されているとすると、第２レート・品質変換部２７は、この動画像データを、たとえば５フレーム／秒で６４０×４８０ピクセルの動画像データに変換する。このように第２レートをかなり低く設定したのは、第２レート・品質変換部２７から出力される画像データ、つまり、画像ファイル生成部２９が一時画像ファイルを生成する基となる画像データを、撮像装置３００の位置決めなどの、画像の表示品質が問われない用途での使用に限ったからである。さらに、画像ファイル生成部２９によって生成された一時画像ファイルは、後述するように、出力部２８を介して前記ＰＣ２００に供給され、ＰＣ２００の大型ディスプレイ上に表示されるので、一時画像ファイルは、ＵＳＢターゲット・コントローラ１２を介してＰＣ２００に送信される。電子楽器１００は、本実施の形態では、廉価なものを想定しているために、ＣＰＵ５も安価な、演算能力の低いものを用いなければならず、その結果、ＵＳＢターゲット・コントローラ１２の通信速度が低くなる。したがって、これを介して送信される一時画像ファイルのデータ容量も低減させる必要がある。
【００３７】
第３レート・品質変換部３１も、主としてＣＰＵ５およびＲＡＭ７に相当し、ＣＰＵ５が所定の制御プログラムを実行することで実現される。第３レート・品質変換部３１は、撮像部２３から供給される動画像データのレートおよび品質を第３レートおよび品質に変換し、変換後の動画像データを表示部３２に供給する。表示部３２は、主として前記小型ＬＣＤ９に相当し、変換後の動画像データを表示する。ここで、第３レートおよび品質のうち、第３レートは、前記第１レートより若干低く、第３品質は、前記第２品質よりさらに低く、たとえば１６０×１２０ピクセルに設定されている。このように、第３レートを第１レートより若干低く（したがって、第２レートより高く）設定したのは、動画像データをできる限り滑らかに表示させたい（第２レートでは、滑らかに表示されない）からであり、第３品質を第２品質よりさらに低く設定したのは、表示部３２の解像度がＰＣ２００の大型ディスプレイのそれよりも低いからである。なお第３レート・品質変換部３１には、映像再生部３０が出力した動画像データも供給され、この動画像データも、第３レート・品質変換部３１によってそのレートおよび品質が変換された後、表示部３２によって表示される。
【００３８】
出力部２８は、主としてＣＰＵ５およびＵＳＢターゲット・コントローラ１２に相当し、ファイル記録部２６に記憶された一時画像ファイルをＵＳＢの通信プロトコルに従って、ＵＳＢターゲット・コントローラ１２に接続されているＰＣ２００に出力する。ここで、ファイル記録部２６からの一時画像ファイルの読み出しは、本実施の形態では、前記ターゲット・コントローラ・ドライバの上位層に組み込まれたマスストレージ・ファンクション・ドライバによって行われる。具体的には、マスストレージ・ファンクション・ドライバは、ＰＣ２００から送信されてきた一時画像ファイルの取得要求に応じて、ファイル記録部２６内の一時画像ファイルを、内蔵ストレージ・ドライバ（内蔵ストレージ（本実施の形態では、外部記憶装置１０）に対するデータの読み出し／書き込みを制御するために、ＲＯＭ６内に組み込まれたドライバ）を介して読み出し、ターゲット・コントローラ・ドライバを介してＵＳＢターゲット・コントローラ１２に設定する。これに応じてＵＳＢターゲット・コントローラ１２は、設定された一時画像ファイルをＰＣ２００に送信する。ＰＣ２００は、送信されてきた一時画像ファイルを自身の外部記憶装置に記憶させたり、自身の大型ディスプレイに供給したりする。なおＰＣ２００には、マスストレージ・クラス・ドライバがインストールされ、マスストレージ・クラス・ドライバは、ターゲット機器（本実施の形態では、電子楽器１００）（の内蔵ストレージ）に記憶されている各種ファイルの取得要求を当該ターゲット機器に送信し、これに応じて当該ターゲット機器が送信してきた各種ファイルを受信する処理などを行う。
【００３９】
映像再生部３０は、主としてＣＰＵ５およびＲＡＭ７に相当し、ＣＰＵ５が所定の制御プログラムを実行することで実現される。映像再生部３０は、ファイル記憶部２６に記憶された動画ファイル（図３参照）を再生することで、動画像データを生成して出力する。
【００４０】
なお小型ＬＣＤ９は、前述のように、電子楽器１００に備えられないことがあり、この場合には、表示部３２、第３レート・品質変換部３１および映像再生部３０も、電子楽器１００には備えられない。このことを示すために、表示部３２、第３レート・品質変換部３１および映像再生部３０の各ブロックは破線で描かれている。
【００４１】
動画・オーディオ記録部２５は、主としてＣＰＵ５およびＲＡＭ７に相当し、ＣＰＵ５が所定の制御プログラムを実行することで実現される。動画・オーディオ記録部２５は、演奏情報供給部２１から供給されたＭＩＤＩイベントをＳＭＦ形式で記録し、楽音生成部２２から供給された楽音信号（オーディオデータ）を時間の経過に従って記録し、第１レート・品質変換部２４から供給された動画像データを時間の経過に従って記録する。ここで、オーディオデータの記録フォーマットは、どのようなものを採用してもよく、非圧縮のものでも、圧縮したものでもよい。また、動画像データを記録する際のデータフォーマットも、どのようなものを採用してもよいので、第１レート・品質変換部２４から供給される動画像データのフォーマットと同じフォーマットで記録してもよいし、他のフォーマットに変換した後記録するようにしてもよい。
【００４２】
動画・オーディオ記録部２５は、図３に示すように、記録された動画像データ、オーディオデータおよびＳＭＦ形式のＭＩＤＩデータをそれぞれ別のチャンクデータとして、１つのファイル内に収めた動画ファイルを作成し、ファイル記憶部２６に供給する。なお、動画ファイルのデータ構造は、これに限られず、複数種類のデータのそれぞれについて個別にファイルを作成し、その個々のファイルを関連付けて、同時に再生可能に構成してもよい。
【００４３】
ファイル記憶部２６は、動画・オーディオ記録部２５から供給された動画ファイルを記憶する。なお、ファイル記憶部２６には、この動画ファイルとは別に、前述のように、複数種類の自動演奏データや一時画像ファイルも記憶される。なお、記憶された動画ファイルは、前記ＵＳＢターゲット・コントローラ１２あるいは着脱可能な記憶媒体経由で外部の装置に供給可能であり、たとえば動画投稿サイトのサーバや、ブログサイトのサーバなどにアップロードすることができる。
【００４４】
以上のように構成された電子楽器１００が実行する制御処理を、まず図１および図２を参照してその概要を説明し、次に図４〜図９を参照して詳細に説明する。
【００４５】
電子楽器１００には、ＵＳＢホスト・コントローラ１１を介して撮像装置３００が外部接続されている。ユーザが、撮像装置３００の電源をオンした後、その撮像装置３００を用いて、自身の演奏風景などの演奏に関する情景を撮影すると、撮像部２３から電子楽器１００内に動画像データ（画像データストリーム）が供給される。その画像データストリームのレートおよび品質は、第１レート・品質変換部２４によって第１レートおよび品質に変換された後、動画・オーディオ記録部２５に供給されるとともに、第２レート・品質変換部２７によって第２レートおよび品質に変換された後、画像ファイル生成部２９に供給される。ここで、第２レートおよび品質のうち、第２レートは、第１レートと比較して、かなり低く設定されている。
【００４６】
画像ファイル生成部２９は、第２レート・品質変換部２７から１フレーム分の画像データが供給されると、その１フレーム分の画像データからなる一時画像ファイルを生成して、ファイル記録部２６に記憶させる。
【００４７】
電子楽器１００には、ＵＳＢターゲット・コントローラ１２を介してＰＣ２００が外部接続され、ＰＣ２００は、電子楽器１００のファイル記録部２６に新たな一時画像ファイルが記憶されたかどうかを常時監視する。ファイル記録部２６に新たな一時画像ファイルが記憶されると、ＰＣ２００は、その一時画像ファイルの取得要求をＵＳＢターゲット・コントローラ１２に送信する。これに応じて電子楽器１００は、取得要求された一時画像ファイルをファイル記録部２６から読み出し、出力部２８を介してＰＣ２００に送信する。ＰＣ２００は、受信した一時画像ファイルを自身の大型ディスプレイ上に表示する。大型ディスプレイ上に表示された画像は、動画像ではあるものの、レートが低く設定されているため、滑らかに動かない。しかしこの表示品質でも、ユーザは、撮像装置３００による現在の撮影状況を十分確認できるので、その画面を見ながら、撮像装置３００の設置位置や撮影設定（レンズの向き、フォーカス、ズーム倍率、各種効果などの設定）を自分の好み通りに決定することができる。
【００４８】
撮像装置３００の設置位置や撮影設定が自分の好み通りに決定されると、ユーザは、電子楽器１００に対して自動演奏の開始を指示する。この指示は、たとえば、ユーザが前記設定操作子２に含まれる自動演奏のスタート／ストップスイッチ（図示せず）を押下することによって行う。自動演奏の開始が指示されると、動画・オーディオ記録部２５には、演奏情報供給部２１から演奏情報（ＭＩＤＩイベント）がそのまま供給されるとともに、楽音生成部２２から当該演奏情報に基づいて生成された楽音信号（オーディオデータ）も供給される。動画・オーディオ記録部２５は、供給された画像データストリーム、オーディオデータおよびＭＩＤＩイベントを時間の経過に従って同時に記録して行く。このように本実施の形態では、自動演奏の開始の指示は、録画、つまり画像データストリーム、オーディオデータおよびＭＩＤＩイベントの記録の指示も兼ねるようにしたが、もちろん、各指示を別々に行うようにしてもよい。
【００４９】
さらに、撮像部２３から供給された画像データストリームは、第３レート・品質変換部３１によって第３レートおよび品質に変換された後、表示部３２に供給される。ここで、第３レートおよび品質のうち、第３レートは、第２レートと比較して、かなり高く設定される一方、第３品質は、第２品質と比較して、かなり低く設定されている。これは、電子楽器１００全体のサイズや製造コストを低減させるために、表示部３２として、小型で表示能力（特に、解像度）の低いものを採用せざるを得ないからである。ただし、動画像を表示部３２にスムーズに表示させるために、第３レートは、第２レートよりかなり高く設定されている。なお、電子楽器１００をさらに低廉にするために、動画像は言うに及ばず、静止画像も表示できない表示器を採用することもあり、その場合には、その表示器には画像データストリームを供給しない（できない）ので、第３レート・品質変換部３１は必要ない。ただしその場合でも、画像ファイル生成部２９は一時画像ファイルの生成を続けているので、ＰＣ２００側から取得要求があれば、その一時画像ファイルは、出力部２８を介してＰＣ２００に出力され、ＰＣ２００の大型ディスプレイ上に表示される。つまり、電子楽器１００に画像を表示できない表示器が設置されていたとしても、ユーザは、画像データストリームの現在の記録状況を、ＰＣ２００の大型ディスプレイ上でモニタすることができる（ただしモニタ画像は、動画像であるにも拘わらず、滑らかに動かない）。
【００５０】
このように、本実施の形態では、電子楽器１００上に画像を表示できない表示器が設置されていたとしても、記録前あるいは記録中の画像データをモニタすることが可能となる。
【００５１】
また、本実施の形態では、電子楽器１００とＰＣ２００との通信をＵＳＢストレージ・クラスに準拠させるようにしたので、電子楽器１００はＰＣ２００に、撮影中にモニタ用画像を送信するのも、撮影後に出来上がった動画ファイルを送信するのも、同じＵＳＢストレージ・クラスに準拠した通信で行うことができる。これにより、電子楽器１００はＵＳＢビデオ・クラスに対応せずにＵＳＢストレージ・クラスのみに対応させるだけで済み、実装が楽になるとともに、ＲＯＭ６の容量を削減することができる。さらに前述したように、撮像装置３００を電子楽器１００に組み込むようにしてＵＳＢビデオ・クラスに準拠しない軽量な実装にすれば、電子楽器１００をより安価にすることができる。
【００５２】
次に、この制御処理を詳細に説明する。
【００５３】
図４は、電子楽器１００、特にＣＰＵ５が実行するメインルーチンの手順を示すフローチャートである。
【００５４】
本メインルーチンでは、ＣＰＵ５は、主として、
（１）初期設定処理（ステップＳ１）
（２）演奏処理（ステップＳ２）
（３）記録処理（ステップＳ３）
（４）表示処理（ステップＳ４）
（５）画像出力処理（ステップＳ５）
（６）動画ファイル転送処理（ステップＳ６）
の各処理を行う。本メインルーチンは、前記設定操作子２に含まれる電源スイッチ（図示せず）によって電源がオンされたときに起動される。起動後、前記（１）の初期設定処理が１回実行され、これに続いて、前記（２）〜（６）の各処理が順次実行される。そして（６）の処理が終了すると、（２）の処理に戻って、（２）〜（６）の処理が、電源スイッチによって電源がオフされるまで、繰り返し実行される。
【００５５】
前記（１）の初期設定処理では、ＣＰＵ５は、ＲＡＭ７をクリアしたり、各種パラメータの値をデフォルト値に設定したり、タイマ８の計時を開始させたりする等の初期設定を行う。
【００５６】
図５は、前記（２）の演奏処理の詳細な手順を示すフローチャートである。
【００５７】
この（２）演奏処理では、まずＣＰＵ５は、ユーザが前記自動演奏のスタート／ストップスイッチを押下したかどうかを常時チェックする。このスタート／ストップスイッチは、たとえばトグルスイッチで、自動演奏がなされていない状態でスタート／ストップスイッチが押下されると、自動演奏の開始が指示され、自動演奏がなされている状態でスタート／ストップスイッチが押下されると、自動演奏の終了が指示される。ＣＰＵ５は、スタート／ストップスイッチが押下されたことを検知すると、現在の自動演奏の状態（自動演奏中かどうか）に基づいて、自動演奏の開始が指示されたか、あるいは自動演奏の終了が指示されたかを判別し、自動演奏の開始が指示されたときには、自動演奏部２１ｂに対して自動演奏の開始を指示する一方、自動演奏の終了が指示されたときには、自動演奏部２１ｂに対して自動演奏の終了を指示する（ステップＳ１１）。これに応じて自動演奏部２１ｂは、指示された方の動作を行う。なお、現在の自動演奏の状態は、たとえば、ＲＡＭ７の一部領域に設けた自動演奏中フラグ（図示せず）がセット（“１”）状態のときに「自動演奏中」と判別し、リセット（“０”）状態のときに「非自動演奏中」と判別するようにすればよい。そしてＣＰＵ５は、自動演奏部２１ｂに自動演奏の開始を指示するときに一緒に、自動演奏中フラグをセットし、自動演奏部２１ｂに自動演奏の終了を指示するときに一緒に、自動演奏中フラグをリセットする。ただし、自動演奏中フラグの初期状態はリセット状態であるため、前記（１）の初期設定処理で、自動演奏中フラグをリセットしておく必要がある。
【００５８】
次にＣＰＵ５は、演奏情報供給部２１からＭＩＤＩイベントが供給されたかどうかを常時チェックする（ステップＳ１２）。演奏情報供給部２１からＭＩＤＩイベントが供給される場合は、ユーザが演奏操作子１を用いて演奏を行った場合と、自動演奏部２１ｂが自動演奏を行っている場合である。さらに、図２には示されていないが、電子楽器１００には外部ＭＩＤＩ機器４００が接続されている（図１参照）ので、ＭＩＤＩイベントは、外部ＭＩＤＩ機器４００から供給される場合もある。そして、ＭＩＤＩイベントの供給を検知すると、ＣＰＵ５は、このＭＩＤＩイベントに応じた楽音信号の生成を前記楽音生成部２２に指示し（ステップＳ１３）、前記タイマ８から現在時刻を取得し（ステップＳ１４）、取得した現在時刻とこのＭＩＤＩイベントを関連付けて、前記ＲＡＭ７の一部領域に設けたＭＩＤＩバッファ（図示せず）に一時的に記憶する（ステップＳ１５）。
【００５９】
前記ステップＳ１３の指示に応じて、楽音生成部２２は、当該楽音信号（オーディオデータ）を生成し、そのオーディオデータを、ＲＡＭ７の一部領域に設けたオーディオバッファ（図示せず）に一時的に記憶するとともに、前記サウンドシステム１７に供給する。これに応じて、サウンドシステム１７からは、当該楽音信号に応じた楽音が放音される（前記ステップＳ１３内のカッコ書き）。
【００６０】
図６は、前記（３）の記録処理の詳細な手順を示すフローチャートである。
【００６１】
この（３）記録処理では、まずＣＰＵ５は、現在の処理タイミングが第１レートの処理タイミングであるかどうかを常時チェックする（ステップＳ２１）。その結果、現在の処理タイミングが第１レートの処理タイミングでないときには、本記録処理を終了する（ステップＳ２１→リターン）一方、現在の処理タイミングが第１レートの処理タイミングであるときには、前記撮像部２３から供給される１フレーム分の画像データを取得する（ステップＳ２２）。ここで、第１レートとは、前記第１レート・品質変換部２４が動画像データのレートを変換するときに目標とするレートである。前述のように、第１レートを２０フレーム／秒とし、撮像部２３から供給される動画像データのレートを３０フレーム／秒とすると、撮像部２３からは、１フレーム分の画像データが１／３０（秒）毎に供給されるが、前記ステップＳ２２の処理では、その中から、１／２０（秒）の倍数に相当する時間に供給される１フレーム分の画像データを取得することになる。
【００６２】
次にＣＰＵ５は、取得した１フレーム分の画像データの解像度を所定の解像度に変換する（ステップＳ２３）。ここで、撮像部２３から供給された動画像データの解像度を、記録時にどの程度まで落とす必要があるかであるが、その程度は、主としてＣＰＵ５の演算処理能力、外部記憶装置１０の記憶容量および記録された動画ファイルの使用目的によって決定される。したがって、これらの事情によっては、レート変換は行うものの、解像度変換は行わない場合、これとは逆に、解像度変換は行うものの、レート変換は行わない場合、さらに、レート変換も解像度変換も行わない場合もあり得る。
【００６３】
次にＣＰＵ５は、前記オーディオバッファから、そこに記憶されているオーディオデータを読み出して取得する（ステップＳ２４）とともに、前記ＭＩＤＩバッファから、そこに記憶されているＭＩＤＩデータを読み出して取得し（ステップＳ２５）、レート変換および解像度変換された１フレーム分の画像データ、上記取得されたオーディオデータおよび上記取得されたＭＩＤＩデータを、記録中の動画ファイルに追記する（ステップＳ２６）。ＭＩＤＩバッファ内には前述のように、ＭＩＤＩイベントがその時刻と関連付けて記録されているので（前記ステップＳ１５参照）、ここではＳＭＦ形式になるように、デルタタイム（先行するイベントとの時間差）とＭＩＤＩイベントとに変換して追記する。ただし、これらのデータを初めて動画ファイルに記録する場合には、新規に（空の）動画ファイルを取得した上で、そのファイルに記録する。
【００６４】
なお、この（３）記録処理は、ユーザが記録の開始を指示したときに開始され、ユーザが記録の終了を指示したときに終了する。そして本実施の形態では、記録の開始／終了と自動演奏の開始／終了を同期させているので、この（３）記録処理も、自動演奏中フラグがセット状態のときにのみ実行される。
【００６５】
図７は、前記（４）の表示処理の詳細な手順を示すフローチャートである。
【００６６】
この（４）表示処理では、まずＣＰＵ５は、現在の処理タイミングが第３レートの処理タイミングであるかどうかを常時チェックする（ステップＳ３１）。その結果、現在の処理タイミングが第３レートの処理タイミングでないときには、本表示処理を終了する（ステップＳ３１→リターン）一方、現在の処理タイミングが第３レートの処理タイミングであるときには、撮像部２３から供給される１フレーム分の画像データを取得する（ステップＳ３２）。なお、ステップＳ３１の処理は、前記ステップＳ２１の処理に対してレート変換の程度が異なるのみであり、ステップＳ３１の処理はステップＳ２１の処理から簡単に類推できるので、ステップＳ３１の処理についてのこれ以上の説明は省略する。
【００６７】
次にＣＰＵ５は、取得した１フレーム分の画像データの解像度を所定の解像度に変換する（ステップＳ３３）。ここで、撮像部２３から供給された動画像データの解像度を、表示時にどの程度まで落とす必要があるかであるが、その程度は、専ら小型ＬＣＤ９の解像度に依存する。
【００６８】
そしてＣＰＵ５は、変換後の画像データを前記表示部３２に供給する（ステップＳ３４）。
【００６９】
なお、小型ＬＣＤ９が電子楽器１００に備えられていないときには、この（４）表示処理は当然ながら、本メインルーチンに含まれない。
【００７０】
図８は、前記（５）の画像出力処理の詳細な手順を示すフローチャートである。なお、図８には、ＰＣ２００側の画像表示処理も記載されている。
【００７１】
この（５）画像出力処理では、まずＣＰＵ５は、現在の処理タイミングが第２レートの処理タイミングであるかどうかを常時チェックする（ステップＳ４１）。その結果、現在の処理タイミングが第２レートの処理タイミングでないときには、ステップＳ４５に進む一方、現在の処理タイミングが第２レートの処理タイミングであるときには、撮像部２３から供給される１フレーム分の画像データを取得する（ステップＳ４１→Ｓ４２）。なお、ステップＳ４１の処理は、前記ステップＳ２１の処理に対してレート変換の程度が異なるのみであり、ステップＳ４１の処理はステップＳ２１の処理から簡単に類推できるので、ステップＳ４１の処理についてのこれ以上の説明は省略する。
【００７２】
次にＣＰＵ５は、取得した１フレーム分の画像データの解像度を所定の解像度に変換する（ステップＳ４３）。ここで、撮像部２３から供給された動画像データの解像度を、画像出力時にどの程度まで落とす必要があるかであるが、その程度は、専らＣＰＵ５の演算処理能力に依存する。
【００７３】
そしてＣＰＵ５は、変換後の画像データからなる一時画像ファイルを生成して、ファイル記憶部２６に供給する（ステップＳ４４）。ファイル記憶部２６は、この一時画像ファイルを一時的に記憶する。この一時画像ファイルに限らず、ファイル記憶部２６に記憶されるすべてのファイルは、本実施の形態では、ファイル・アロケーション・テーブル（file allocation table；以下「ＦＡＴ」と略して言う）によって管理されている。ＦＡＴは、記憶装置（本実施の形態では、外部記憶装置１０）に記憶されたファイルの位置や記録日時などを管理するテーブルである。なお、ＦＡＴ自体は公知であるので、その管理方法についての説明は省略する。
【００７４】
ファイル記憶部２６には、一時画像ファイルの他に、前記動画ファイルや自動演奏データなどが記憶される。ここで、同種のファイルは、一まとまりで記憶しておいた方が管理し易いので、本実施の形態では、ファイルの種類毎に異なるディレクトリを生成しておき、同種のファイルは同じディレクトリ内に記憶させている。具体的には、一時画像ファイルは「一時画像ディレクトリ」に、動画ファイルは「動画ディレクトリ」に、自動演奏データは「自動演奏ディレクトリ」に、それぞれ記憶させる。したがって、前記ステップＳ４４によって供給された一時画像ファイルはファイル記憶部２６の「一時画像ディレクトリ」に記憶されたとして、ＦＡＴが更新される。なお、「一時画像ディレクトリ」には、一時画像ファイルが複数（つまり、一連の一時画像ファイル）記憶される場合があり、この場合には、各一時画像ファイルをそれぞれ区別する必要がある。この区別は、本実施の形態では、「ファイル名＋通し番号」によって行うことにする。「ファイル名」として、たとえば「一時画像」を採用した場合、一時画像ファイルの生成順に、「一時画像０００」、「一時画像００１」、「一時画像００２」…と名付けられたファイルが、ファイル記憶部２６の「一時画像ディレクトリ」に記憶されて行く。後述するように、各一時画像ファイルは、ファイル記憶部２６から読み出されると、ファイル記憶部２６から消去されるので、一時画像ファイルの個数は常に、所定の範囲（この範囲は、ＰＣ２００が一時画像ファイルを読み出す周期（本実施の形態では、後述するように、１００ｍｓ）と一時画像ファイルを生成する周期（本実施の形態では、第２レートの逆数に応じた時間）によって決まる）内に収まる。したがって、通し番号の桁数は、その所定の範囲が収まるものにすればよい。たとえば、十進数で３桁の通し番号を採用したとすると、「一時画像９９９」が生成されたときには、「一時画像０００」のファイルは既に、「一時画像ディレクトリ」から消去されているので、その次に「一時画像０００」のファイルを新たに生成したとしても、「一時画像ディレクトリ」内に同じ名称のファイルが記憶されているとして、ＦＡＴによって拒否されることはない。
【００７５】
一方、ＰＣ２００は、自身の画像表示処理により、所定周期（たとえば、１００ｍｓ）毎に、電子楽器１００に対してＦＡＴの取得要求を行う（ステップＳ１０１→Ｓ１０２）。なお、ＰＣ２００の外部記憶装置もＦＡＴ（ただし、電子楽器１００のＦＡＴとは当然、異なっている）によって管理されることもあり得る。したがって、「ＦＡＴ」と記載する場合、本来であれば、どちらのＦＡＴであるか、その所在を明確にする必要があるが、本実施の形態では、ＰＣ２００側のＦＡＴを問題にすることはないので、「ＦＡＴ」と記載する場合には、特に明示しなくても、電子楽器１００側のＦＡＴを示すものとする。
【００７６】
ＰＣ２００からＦＡＴの取得要求を受信すると、ＣＰＵ５は、ファイル記憶部２６からＦＡＴを読み出し、出力部２８を介してＰＣ２００に出力する（ステップＳ４５→Ｓ４６）。
【００７７】
ＦＡＴを受信すると、ＰＣ２００は、ＦＡＴを解析して、「一時画像ディレクトリ」に一時画像ファイルが記憶されているかどうかを判別する（ステップＳ１０３）。このとき、「一時画像ディレクトリ」に一時画像ファイルが１つでも記憶されていれば、その一時画像ファイルは、自身の大型ディスプレイに表示させるべきものであるので、その一時画像ファイルの取得要求を電子楽器１００に出力する（ステップＳ１０４）。「一時画像ディレクトリ」に複数の一時画像ファイルが記憶されている場合、ＰＣ２００は、その複数の一時画像ファイルのうち、最も若い通し番号が付与されたものの取得要求を電子楽器１００に出力する。ただし、通し番号が“９９９”と“０００”を含む一時画像ファイルが一時画像ディレクトリに記憶されている場合には、“０００”が付与された一時画像ファイルより“９９９”が付与された一時画像ファイルの方を先に取得要求しなければならない。なおＦＡＴでは、ファイルのデータはセクタ単位で管理されているので、前記ステップＳ１０４の処理では、一時画像ファイルのデータをセクタ単位で要求し、取得するようにしている。このように一時画像ファイルをセクタ単位で要求して取得するようにしたのは、ファイルシステムとして、ＦＡＴ型ファイルシステムを採用したからに過ぎず、それ以外の理由はない。
【００７８】
ＰＣ２００から一時画像ファイルの取得要求を受信すると、ＣＰＵ５は、取得要求された一時画像ファイルのデータを、ファイル記憶部２６からセクタ単位で読み出し、出力部２８を介してＰＣ２００に出力する（ステップＳ４７→Ｓ４８）。これに応じてＰＣ２００は、取得要求した一時画像ファイルのデータをセクタ単位で受信する（ステップＳ１０４）。そして、一時画像ファイルのデータのセクタ単位での要求と取得とが繰り返され、ＰＣ２００が当該一時画像ファイルのデータをすべて受信すると、ＰＣ２００は、その受信した一時画像ファイルを自身の大型ディスプレイに供給する（ステップＳ１０５→Ｓ１０６）。これにより、その一時画像ファイルに応じた画像が、大型ディスプレイ上に表示される。
【００７９】
次にＰＣ２００は、電子楽器１００に対して、当該一時画像ファイルの削除を意味するＦＡＴの書換要求を行う（ステップＳ１０７）。
【００８０】
このＦＡＴの書換要求を受信すると、ＣＰＵ５は、ＦＡＴを操作して、当該一時画像ファイルを削除する（ステップＳ５０）。
【００８１】
このように本実施の形態では、ファイル記憶部２６における一時画像ファイルの削除は、ＰＣ２００側からＦＡＴの書換要求がなされたことに応じてなされるが、これに限らず、前記ステップＳ４８の処理によって、取得要求された一時画像ファイルのデータがすべて送信された時点で、ＰＣ２００側から何らかの要求がなされなくとも自己完結的に、当該一時画像ファイルをファイル記憶部２６から削除するようにしてもよい。ただしこの場合、当該一時画像ファイルを削除したこと応じて、ＦＡＴを更新しておく必要がある。
【００８２】
図９は、前記（６）の動画ファイル転送処理の詳細な手順を示すフローチャートである。
【００８３】
この（６）動画ファイル転送処理では、まずＣＰＵ５は、ＰＣ２００から動画ファイルの転送要求がなされたかどうかを常時チェックし（ステップＳ５１）、転送要求がなされたときには、転送要求された動画ファイルを、前記ファイル記憶部２６からセクタ単位で読み出す（ステップＳ５２）。
【００８４】
次にＣＰＵ５は、読み出したセクタを、出力部２８を介してＰＣ２００に転送する（ステップＳ５３）。
【００８５】
このように（６）動画ファイル転送処理では、前記（３）の記録処理によって記録されてファイル記憶部２６に記憶された動画ファイルをＰＣ２００（の外部記憶装置）に吸い上げるようにしている。動画ファイルは、ファイル記憶部２６（外部記憶装置１０）にその記憶容量に応じた分だけ記憶することができるが、本実施の形態では、ファイル記憶部２６として安価なものを採用しており、しかも動画ファイルのデータ容量は通常大きく、さらにファイル記憶部２６には、動画ファイルの他にも、一時画像ファイルや自動演奏データなどの多くのファイルが記憶されるので、多くの動画ファイルをファイル記憶部２６に貯めておくことはできない。このため、ＰＣ２００に吸い上げられた動画ファイルは、一時画像ファイルと同様に、ファイル記憶部２６から削除することが望ましい。動画ファイルを削除する方法としては、前記（５）の画像出力処理と同様に、吸い上げ対象の動画ファイルのデータ（本実施の形態では、セクタ単位のデータ）がすべて転送された時点で、ＰＣ２００から電子楽器１００に、当該動画ファイルの削除を意味するＦＡＴの書換要求を送信する方法を採るようにすればよい。あるいは、動画ファイルがすべて転送された時点で、電子楽器１００自身が当該動画ファイルをファイル記憶部２６から削除する方法を採るようにしてもよい。
【００８６】
なお、前記（５）の画像出力処理では、ＰＣ２００は、電子楽器１００から取得した一時画像ファイルを、自身の大型ディスプレイ上に表示させるためにだけ使用したが、これに限らず、その表示と一緒に、自身の外部記憶装置に記憶させるようにしてもよい。あるいは、電子楽器１００から取得した一時画像ファイルを、自身の外部記憶装置に記憶させるためにだけ使用するようにしてもよい。
【００８７】
なお、上述した実施の形態の機能を実現するソフトウェアのプログラムコードを記録した記憶媒体を、システムまたは装置に供給し、そのシステムまたは装置のコンピュータ（またはＣＰＵやＭＰＵ）が記憶媒体に格納されたプログラムコードを読出し実行することによっても、本発明の目的が達成されることは言うまでもない。
【００８８】
この場合、記憶媒体から読出されたプログラムコード自体が本発明の新規な機能を実現することになり、そのプログラムコードおよび該プログラムコードを記憶した記憶媒体は本発明を構成することになる。
【００８９】
プログラムコードを供給するための記憶媒体としては、たとえば、フレキシブルディスク、ハードディスク、光磁気ディスク、ＣＤ−ＲＯＭ、ＣＤ−Ｒ、ＣＤ−ＲＷ、ＤＶＤ−ＲＯＭ、ＤＶＤ−ＲＡＭ、ＤＶＤ−ＲＷ、ＤＶＤ＋ＲＷ、磁気テープ、不揮発性のメモリカード、ＲＯＭなどを用いることができる。また、通信ネットワークを介してサーバコンピュータからプログラムコードが供給されるようにしてもよい。
【００９０】
また、コンピュータが読出したプログラムコードを実行することにより、上述した実施の形態の機能が実現されるだけでなく、そのプログラムコードの指示に基づき、コンピュータ上で稼働しているＯＳなどが実際の処理の一部または全部を行い、その処理によって上述した実施の形態の機能が実現される場合も含まれることは言うまでもない。
【００９１】
さらに、記憶媒体から読出されたプログラムコードが、コンピュータに挿入された機能拡張ボードやコンピュータに接続された機能拡張ユニットに備わるメモリに書込まれた後、そのプログラムコードの指示に基づき、その機能拡張ボードや機能拡張ユニットに備わるＣＰＵなどが実際の処理の一部または全部を行い、その処理によって上述した実施の形態の機能が実現される場合も含まれることは言うまでもない。
【図面の簡単な説明】
【００９２】
【図１】本発明の一実施の形態に係る電子音楽装置を適用した電子楽器の概略構成を示すブロック図である。
【図２】図１の電子楽器の機能構成を示すブロック図である。
【図３】動画ファイルのデータ構造の一例を示す図である。
【図４】図１の電子楽器、特にＣＰＵが実行するメインルーチンの手順を示すフローチャートである。
【図５】図４中の演奏処理の詳細な手順を示すフローチャートである。
【図６】図４中の記録処理の詳細な手順を示すフローチャートである。
【図７】図４中の表示処理の詳細な手順を示すフローチャートである。
【図８】図４中の画像出力処理の詳細な手順を示すフローチャートである。
【図９】図４中の動画ファイル転送処理の詳細な手順を示すフローチャートである。
【符号の説明】
【００９３】
１…演奏操作子（第２の供給手段），３…検出回路（第２の供給手段），５…ＣＰＵ（第１の供給手段、第２の供給手段、記録手段、第２の生成手段、提示手段、変換手段），７…ＲＡＭ（記録手段、第１の記憶手段），１０…外部記憶装置（記録手段、記憶手段、第２の記憶手段），１１…ＵＳＢホスト・コントローラ（第１の供給手段），１２…ＵＳＢターゲット・コントローラ（接続手段、出力手段），１５…音源回路（第１の生成手段），２００…ＰＣ（外部のコンピュータ装置）
【技術分野】
【０００１】
本発明は、ユーザの演奏風景などの演奏に関する情景を撮影して得られた動画像データ（画像データストリーム）を記録することができる電子音楽装置、該電子音楽装置と接続されるコンピュータ装置、およびその各制御方法をそれぞれ実現するためのプログラムに関する。
【背景技術】
【０００２】
ユーザの演奏風景などの演奏に関する情景を撮影して得られた動画像データを記録することができるシステムは、従来から知られている。
【０００３】
このようなシステムとして、ビデオカメラの操作部を介して入力される指示に従って、ユーザの演奏風景や種々の演奏音等を当該ビデオカメラに装着したビデオテープに記録するようにしたものがある（たとえば、特許文献１参照）。
【０００４】
ところで、上記従来のシステムの記録機能を従来の電子音楽装置に適用した場合、いわゆる当業者であれば、内蔵あるいは外部接続したカメラから供給される、ユーザの演奏風景を含む動画像データや、ユーザが演奏操作子を操作することで発生された楽音信号などを内蔵あるいは外付けの記憶装置に記録するような電子音楽装置を構成することは容易に想到される。
【特許文献１】特開２００３−２０８１６４号公報
【発明の開示】
【発明が解決しようとする課題】
【０００５】
しかし、上記従来のシステムの記録機能を適用した電子音楽装置では、電子音楽装置という特殊事情から、筐体を取り扱い易いサイズに留めておくとともに、製造コストを低減させる必要があるために、筐体上に設置する表示器としては、画面サイズが小型で、解像度も低いものを採用せざるを得なかった。また、製造コストをさらに低減させなければならない場合には、動画像は言うに及ばず、静止画像も表示できない表示器を採用しなければならない。
【０００６】
このように電子音楽装置に設置される表示器では、記録中の動画像データをそのままの品質で表示させることはもちろん、いかなる品質でも表示できずに、ユーザは記録中の動画像データをモニタできないことがある。
【０００７】
他方、カメラから供給される動画像データを、その記録前にモニタしたいこともある。たとえば、演奏に関する情景、特にユーザ自身の演奏風景をカメラで撮影して得られた動画像データを記録する場合、この種の情景は記録の前後であまり変化しないので、記録前に１度、カメラの設置位置や撮影設定を決めておけば、その設置位置や撮影設定は記録が終了するまで変更されないことが多い。つまり、このような動画像データを記録する場合、動画像データをモニタすることの有用性は、撮影中より撮影前の方がより高くなっている。しかし、画像を表示できない表示器を電子音楽装置に設置したときには、記録前であっても動画像データをモニタすることはできない。
【０００８】
本発明は、この点に着目してなされたものであり、画像を表示できない表示器が設置されていたとしても、記録前あるいは記録中の画像データをモニタすることが可能となる電子音楽装置、該電子音楽装置と接続されるコンピュータ装置、およびその各制御方法をそれぞれ実現するためのプログラムを提供することを目的とする。
【課題を解決するための手段】
【０００９】
上記目的を達成するため、請求項１に記載の電子音楽装置は、演奏に関する情景を撮影して得られた画像データストリームを供給する第１の供給手段と、演奏情報を供給する第２の供給手段と、該第２の供給手段によって供給された演奏情報に基づいて楽音信号を生成する第１の生成手段と、前記第１の供給手段によって供給された画像データストリームを記録するとともに、前記第１の生成手段によって生成された楽音信号および／または前記供給された演奏情報を記録する記録手段と、該記録手段による記録を開始する前に、あるいは該記録手段による記録と並行して、前記供給された画像データストリームに基づいた一連の画像ファイルを順次生成する第２の生成手段と、該第２の生成手段によって順次生成された一連の画像ファイルを記憶する記憶手段と、外部のコンピュータ装置と接続し、当該コンピュータ装置とデータの送受信を行う接続手段と、前記記憶手段に記憶された一連の画像ファイルを、前記接続手段を介して接続されたコンピュータ装置が参照可能に提示する提示手段とを有することを特徴とする。
【００１０】
請求項２に記載の電子音楽装置は、請求項１の電子音楽装置において、前記供給された画像データストリームを記録する際の当該画像データストリームおよび／または前記供給された画像データストリームに基づいた一連の画像ファイルを生成する際の当該画像データストリームのレートおよび／または解像度を他のレートおよび／または解像度に変換する変換手段をさらに有し、前者の画像データストリームの変換後のレートおよび／または解像度と、後者の画像データストリームの変換後のレートおよび／または解像度とを異ならせることが可能であることを特徴とする。
【００１１】
上記目的を達成するため、請求項３に記載のコンピュータ装置は、外部の電子音楽装置を記憶装置と見なして接続し、当該電子音楽装置とデータの送受信を行う接続手段と、該接続手段を介して接続された電子音楽装置が、演奏に関する情景を撮影して得られた画像データストリームに基づいて順次生成し、当該電子音楽装置内に記憶された一連の画像ファイルを、当該電子音楽装置から取得する取得手段と、該取得手段によって取得された一連の画像ファイルを順次表示する表示手段とを有することを特徴とする。
【００１２】
上記目的を達成するため、請求項４に記載のプログラムは、請求項１と同様の技術的思想によって実現できる。
【００１３】
上記目的を達成するため、請求項５に記載のプログラムは、請求項３と同様の技術的思想によって実現できる。
【発明の効果】
【００１４】
請求項１または４に記載の発明によれば、供給された画像データストリームと、供給された演奏情報に基づいて生成された楽音信号および／または当該演奏情報の記録を開始する前に、あるいは当該記録と並行して、前記供給された画像データストリームに基づいた一連の画像ファイルが順次生成されて記憶され、該記憶された一連の画像ファイルが、接続手段を介して接続されたコンピュータ装置に参照可能に提示されるので、画像を表示できない表示器が当該電子音楽装置に設置されていたとしても、ユーザは記録前あるいは記録中の画像データストリームをコンピュータ装置上でモニタすることが可能となる。
【００１５】
請求項２に記載の発明によれば、前記供給された画像データストリームを記録する際の当該画像データストリームおよび／または前記供給された画像データストリームに基づいた一連の画像ファイルを生成する際の当該画像データストリームのレートおよび／または解像度が他のレートおよび／または解像度に変換され、前者の画像データストリームの変換後のレートおよび／または解像度と、後者の画像データストリームの変換後のレートおよび／または解像度とを異ならせることが可能であるので、当該電子音楽装置と前記コンピュータ装置との間の通信速度の高低などに応じて、後者の画像データストリームの変換後のレートおよび／または解像度を、前者の画像データストリームの変換後のレートおよび／または解像度と独立して設定することができる。
【００１６】
請求項３または５に記載の発明によれば、接続手段を介して接続された電子音楽装置が、演奏に関する情景を撮影して得られた画像データストリームに基づいて順次生成し、当該電子音楽装置内に記憶された一連の画像ファイルが、当該電子音楽装置から取得され、該取得された一連の画像ファイルが表示手段に順次表示されるので、画像を表示できない表示器が当該電子音楽装置に設置されていたとしても、ユーザは記録前あるいは記録中の画像データストリームをコンピュータ装置上でモニタすることが可能となる。
【発明を実施するための最良の形態】
【００１７】
以下、本発明の実施の形態を図面に基づいて詳細に説明する。
【００１８】
図１は、本発明の一実施の形態に係る電子音楽装置を適用した電子楽器１００の概略構成を示すブロック図である。
【００１９】
同図に示すように、電子楽器１００は、音高情報を含む演奏情報を入力するための鍵盤を含む演奏操作子１と、各種情報を入力するための複数のスイッチやホイール、ジョイスティックを含む設定操作子２と、演奏操作子１の操作状態を検出する検出回路３と、設定操作子２の操作状態を検出する検出回路４と、装置全体の制御を司るＣＰＵ５と、該ＣＰＵ５が実行する制御プログラムや各種テーブルデータ等を記憶するＲＯＭ６と、演奏情報、各種入力情報および演算結果等を一時的に記憶するＲＡＭ７と、タイマ割込み処理における割込み時間や各種時間を計時するタイマ８と、各種情報等を表示する小型の液晶ディスプレイ（ＬＣＤ）９と、前記制御プログラムを含む各種アプリケーションプログラムや各種楽曲データ、各種データ等を記憶する外部記憶装置１０と、ＵＳＢホスト・コントローラ１１と、ＵＳＢターゲット・コントローラ１２と、外部からのＭＩＤＩ（musical instrument digital interface）メッセージを入力したり、ＭＩＤＩメッセージを外部に出力したりするＭＩＤＩインターフェース（Ｉ／Ｆ）１３と、通信ネットワーク５１０を介して、たとえばサーバコンピュータ（以下、「サーバ」と略して言う）５００とデータの送受信を行う通信インターフェース（Ｉ／Ｆ）１４と、演奏操作子１から入力された演奏情報や、前記外部記憶装置１０に記憶されたいずれかの楽曲データを再生して得られた演奏情報等を楽音信号に変換する音源回路１５と、該音源回路１５からの楽音信号に各種効果を付与するための効果回路１６と、該効果回路１６からの楽音信号を音響に変換する、たとえば、ＤＡＣ（digital-to-analog converter）やアンプ、スピーカ等のサウンドシステム１７とにより構成されている。
【００２０】
上記構成要素３〜１６は、バス１８を介して相互に接続され、ＣＰＵ５にはタイマ８が接続され、ＵＳＢホスト・コントローラ１１には撮像装置３００が接続され、ＵＳＢターゲット・コントローラ１２にはＰＣ２００が接続され、ＭＩＤＩＩ／Ｆ１３には外部ＭＩＤＩ機器４００が接続され、通信Ｉ／Ｆ１４には通信ネットワーク５１０が接続され、音源回路１５には効果回路１６が接続され、効果回路１６にはサウンドシステム１７が接続されている。ここで、通信Ｉ／Ｆ１４および通信ネットワーク５１０は、有線方式のものに限らず、無線方式のものであってもよい。また、両方式のものを備えていてもよい。
【００２１】
小型ＬＣＤ９のブロックは、図１では破線で描かれている。これは、小型ＬＣＤ９は電子楽器１００の必須の構成ではないことを意味する。ただし、設定操作子２のオン／オフ状態を表示可能な、たとえば発光ダイオード（ＬＥＤ）等の簡易な表示器（図示せず）は備えていた方が好ましい。同様に、通信Ｉ／Ｆ１４も電子楽器１００の必須の構成ではない。
【００２２】
外部記憶装置１０としては、たとえば、フレキシブルディスクドライブ（ＦＤＤ）、ハードディスクドライブ（ＨＤＤ）、ＣＤ−ＲＯＭドライブおよび光磁気ディスク（ＭＯ）ドライブ等を挙げることができる。そして、外部記憶装置１０には、前述のように、ＣＰＵ５が実行する制御プログラムも記憶でき、ＲＯＭ６に制御プログラムが記憶されていない場合には、この外部記憶装置１０に制御プログラムを記憶させておき、それをＲＡＭ７に読み込むことにより、ＲＯＭ６に制御プログラムを記憶している場合と同様の動作をＣＰＵ５にさせることができる。このようにすると、制御プログラムの追加やバージョンアップ等が容易に行える。なお、前記各楽曲データは、ファイル形式で外部記憶装置１０に記憶される。
【００２３】
通信Ｉ／Ｆ１４（電子楽器１００に備わっていれば）は、上述のように、たとえばＬＡＮ（local area network）やインターネット、電話回線等の通信ネットワーク５１０に接続されており、該通信ネットワーク５１０を介して、サーバ５００に接続される。外部記憶装置１０に上記各プログラムや各種パラメータが記憶されていない場合には、通信Ｉ／Ｆ１４は、サーバ５００からプログラムやパラメータをダウンロードするために用いられる。クライアントとなる電子楽器１００は、通信Ｉ／Ｆ１４および通信ネットワーク５１０を介してサーバ５００へとプログラムやパラメータのダウンロードを要求するコマンドを送信する。サーバ５００は、このコマンドを受け、要求されたプログラムやパラメータを、通信ネットワーク５１０を介して電子楽器１００へと配信し、電子楽器１００が通信Ｉ／Ｆ１４を介して、これらプログラムやパラメータを受信して外部記憶装置１０に蓄積することにより、ダウンロードが完了する。
【００２４】
撮像装置３００は、たとえばＵＳＢビデオ・クラス（USB video class）に対応したＷｅｂカメラやデジタルビデオカメラなどのカメラであり、撮影して得られた動画像データをMotion-JPEG、DV（digital video）、MPEG-2またはMPEG-4などの圧縮データに変換して、あるいは非圧縮データのまま出力する。ＲＯＭ６には、ＵＳＢビデオ・クラス・ドライバが組み込まれており（もちろん、ホスト・コントローラ・ドライバやターゲット・コントローラ・ドライバなどの他のドライバも組み込まれている）、ＵＳＢホスト・コントローラ１１は、撮像装置３００が出力した上記各種形式の動画像データをＵＳＢの通信プロトコルに従って受信する。なお、ＵＳＢホスト・コントローラ１１としては、上記各種形式すべての動画像データを受信可能なものに限らず、そのうちの少なくとも１つの形式の動画像データを受信可能なものであればよい。また、動画像データの通信プロトコルは、ＵＳＢビデオ・クラスに規定されているものに限られる訳ではない。ＵＳＢビデオ・クラスに規定されている通信プロトコル以外の通信プロトコルを採用した場合には、この通信プロトコルに従って通信する動画像データは上記各種形式に限られない。本実施の形態では説明の都合上、動画像データは、撮像装置３００内でMotion-JPEG形式のデータに変換されてからＵＳＢホスト・コントローラ１１に供給されるものとする。また本実施の形態では、撮像装置３００として、ＵＳＢホスト・コントローラ１１を介して外部接続したものを採用したが、これに限らず、電子楽器１００内に組み込んだものを採用してもよい。
【００２５】
なお、電子楽器１００は、上述の構成から分かるように、電子鍵盤楽器上に構築されたものであるが、鍵盤楽器の実施形態に限らず、弦楽器タイプ、管楽器タイプ、打楽器タイプ等の他の実施形態でもよい。また、楽器の実施形態に限らず、動画像データを記録可能な携帯音楽端末上に本発明を構築するようにしてもよい。
【００２６】
ＰＣ２００のハードウェアは、本実施の形態では、汎用ＰＣと同様に構成されている。より具体的には、ＰＣ２００は、電子楽器１００の上記構成から、演奏操作子１、設定操作子２、検出回路３，４、小型ＬＣＤ９、ＵＳＢターゲット・コントローラ１２、ＭＩＤＩＩ／Ｆ１３、音源回路１５、効果回路１６およびサウンドシステム１７を除き、その代わりに、文字数字入力用キーボード、マウスおよび大型ディスプレイを加えたものによって構成されている。なお、汎用ＰＣは通常、通信ネットワークを介して外部のサーバと接続する機能を備えているので、ＰＣ２００も、電子楽器１００とは異なり、通信Ｉ／Ｆを必須の構成要素としている。
【００２７】
図２は、電子楽器１００の機能構成を示すブロック図である。
【００２８】
同図において、演奏情報供給部２１は、演奏操作子２１ａおよび自動演奏部２１ｂによって構成され、演奏情報（本実施の形態では、ＭＩＤＩイベント）を楽音生成部２２および動画・オーディオ記録部２５に供給する。
【００２９】
演奏操作子２１ａは、主として前記演奏操作子１および検出回路３に相当し、ユーザによる演奏操作に応じた演奏情報を生成して出力する。
【００３０】
自動演奏部２１ｂは、主としてＣＰＵ５およびＲＡＭ７に相当し、ＣＰＵ５が所定の制御プログラムを実行することで実現される。自動演奏部２１ｂは、ＲＡＭ７の一部領域に設けた自動演奏データ記憶領域（図示せず）を備え、この自動演奏データ記憶領域に記憶した自動演奏データを用いて自動演奏を行う。自動演奏データは、ファイル記憶部２６（前記外部記憶装置１０に相当する）に複数種類記憶されており、自動演奏データ記憶領域には、その中からユーザによって選択された１つが記憶される。ここで、自動演奏データは、ユーザが演奏操作子１を用いてある楽曲を演奏する際のバック演奏を行わせるためのものであり、具体的には、１曲の楽曲を表す楽曲データ（ソングデータ）や、伴奏スタイルデータ、コード進行データなどである。自動演奏データのフォーマットとしては、どのようなものを採用しても構わないが、本実施の形態では、通常の電子楽器でよく用いられているＳＭＦ（standard MIDI file）形式を採用することにする。
【００３１】
楽音生成部２２は、主として前記音源回路１５および効果回路１６に相当し、ユーザによって設定された楽音生成環境（音色、音量および効果など）で、演奏情報供給部２１から供給された演奏情報に基づいて楽音信号（オーディオデータ）を生成し、適宜効果を付与した後、動画・オーディオ記録部２５に出力する。
【００３２】
撮像部２３は、主として前記撮像装置３００、ＵＳＢホスト・コントローラ１１およびＣＰＵ５に相当し、撮像装置３００を用いて撮影され、ＵＳＢホスト・コントローラ１１を介して電子楽器１００内に供給された動画像データ（画像データストリーム）を、ＣＰＵ５を介して第１レート・品質変換部２４、第２レート・品質変換部２７および第３レート・品質変換部３１に供給する。
【００３３】
第１レート・品質変換部２４は、主としてＣＰＵ５およびＲＡＭ７に相当し、ＣＰＵ５が所定の制御プログラムを実行することで実現される。第１レート・品質変換部２４は、撮像部２３から供給される動画像データのレートおよび品質を第１レートおよび品質に変換し、変換後の動画像データを動画・オーディオ記録部２５に供給する。ここで、レートとは、１秒間に供給される（静止）画像データのフレーム数を言い、品質とは、解像度を言う。なお、品質は、圧縮率に応じた品質でもよいが、本実施の形態では、解像度としている。また、第１レート・品質変換部２４は、本実施の形態では、動画像データのレートおよび品質のいずれも変換するようにしたが、これに限らず、動画像データのレートまたは品質のいずれかを変換するようにしてもよい。さらに、変換の程度は、固定であっても、可変であってもよい。可変の場合には、ユーザが変換の程度を選択できるようにしてもよい。なお「品質」は、表示画像の見栄えの善し悪しの意味でも使われ、その場合には、「品質」は「解像度」だけを意味しない。これらの事情は、第２レート・品質変換部２７および第３レート・品質変換部３１についても同様である。
【００３４】
第１レート・品質変換部２４は、撮像部２３からの動画像データのレートおよび品質を、それより若干低い第１レートおよび品質に変換する。具体的には、撮像部２３から、たとえば３０フレーム／秒で１２８０×１０２４ピクセルの動画像データが供給されているとすると、第１レート・品質変換部２４は、この動画像データを、たとえば２０フレーム／秒で８００×６００ピクセルの動画像データに変換する。Motion-JPEG形式の動画像データは、フレーム内圧縮されているので、単にコマ落としする（間引く）だけで簡単に、目的のレートに変換することができる。動画像データとして、圧縮されていないものが供給された場合にも、Motion-JPEG形式の動画像データと同様に、コマ落としによってレート変換することができるが、MPEGなどのフレーム間圧縮されているものが供給された場合には、圧縮されていないフレーム間に存在する、すべての圧縮されているフレームをコマ落としすることで、レート変換しなければならない。
【００３５】
このように、第１レート・品質変換部２４によって、撮像部２３からの動画像データのレートおよび品質を落とすようにしたのは、動画像データのデータ容量を低減させることで、それを記憶する外部記憶装置１０として、記憶容量の低い、つまり安価なものを採用したいからである。したがって、このような制約のない場合には、第１レート・品質変換部２４を省略し、撮像部２３からの動画像データをそのまま動画・オーディオ記録部２５に供給するようにすればよい。
【００３６】
第２レート・品質変換部２７も、主としてＣＰＵ５およびＲＡＭ７に相当し、ＣＰＵ５が所定の制御プログラムを実行することで実現される。第２レート・品質変換部２７は、撮像部２３から供給される動画像データのレートおよび品質を第２レートおよび品質に変換し、変換後の動画像データを画像ファイル生成部２９に供給する。画像ファイル生成部２９も、主としてＣＰＵ５およびＲＡＭ７に相当し、ＣＰＵ５が所定の制御プログラムを実行することで実現される。画像ファイル生成部２９は、第２レート・品質変換部２７から１フレーム分の画像データが出力されると、その１フレーム分の画像データからなる一時画像ファイルを生成して、ファイル記録部２６に記憶させる。ここで、第２レートおよび品質のうち、第２レートは、第１レートよりかなり低く、第２品質は、第１品質より若干低く設定されている。具体的には、撮像部２３から、たとえば３０フレーム／秒で１２８０×１０２４ピクセルの動画像データが供給されているとすると、第２レート・品質変換部２７は、この動画像データを、たとえば５フレーム／秒で６４０×４８０ピクセルの動画像データに変換する。このように第２レートをかなり低く設定したのは、第２レート・品質変換部２７から出力される画像データ、つまり、画像ファイル生成部２９が一時画像ファイルを生成する基となる画像データを、撮像装置３００の位置決めなどの、画像の表示品質が問われない用途での使用に限ったからである。さらに、画像ファイル生成部２９によって生成された一時画像ファイルは、後述するように、出力部２８を介して前記ＰＣ２００に供給され、ＰＣ２００の大型ディスプレイ上に表示されるので、一時画像ファイルは、ＵＳＢターゲット・コントローラ１２を介してＰＣ２００に送信される。電子楽器１００は、本実施の形態では、廉価なものを想定しているために、ＣＰＵ５も安価な、演算能力の低いものを用いなければならず、その結果、ＵＳＢターゲット・コントローラ１２の通信速度が低くなる。したがって、これを介して送信される一時画像ファイルのデータ容量も低減させる必要がある。
【００３７】
第３レート・品質変換部３１も、主としてＣＰＵ５およびＲＡＭ７に相当し、ＣＰＵ５が所定の制御プログラムを実行することで実現される。第３レート・品質変換部３１は、撮像部２３から供給される動画像データのレートおよび品質を第３レートおよび品質に変換し、変換後の動画像データを表示部３２に供給する。表示部３２は、主として前記小型ＬＣＤ９に相当し、変換後の動画像データを表示する。ここで、第３レートおよび品質のうち、第３レートは、前記第１レートより若干低く、第３品質は、前記第２品質よりさらに低く、たとえば１６０×１２０ピクセルに設定されている。このように、第３レートを第１レートより若干低く（したがって、第２レートより高く）設定したのは、動画像データをできる限り滑らかに表示させたい（第２レートでは、滑らかに表示されない）からであり、第３品質を第２品質よりさらに低く設定したのは、表示部３２の解像度がＰＣ２００の大型ディスプレイのそれよりも低いからである。なお第３レート・品質変換部３１には、映像再生部３０が出力した動画像データも供給され、この動画像データも、第３レート・品質変換部３１によってそのレートおよび品質が変換された後、表示部３２によって表示される。
【００３８】
出力部２８は、主としてＣＰＵ５およびＵＳＢターゲット・コントローラ１２に相当し、ファイル記録部２６に記憶された一時画像ファイルをＵＳＢの通信プロトコルに従って、ＵＳＢターゲット・コントローラ１２に接続されているＰＣ２００に出力する。ここで、ファイル記録部２６からの一時画像ファイルの読み出しは、本実施の形態では、前記ターゲット・コントローラ・ドライバの上位層に組み込まれたマスストレージ・ファンクション・ドライバによって行われる。具体的には、マスストレージ・ファンクション・ドライバは、ＰＣ２００から送信されてきた一時画像ファイルの取得要求に応じて、ファイル記録部２６内の一時画像ファイルを、内蔵ストレージ・ドライバ（内蔵ストレージ（本実施の形態では、外部記憶装置１０）に対するデータの読み出し／書き込みを制御するために、ＲＯＭ６内に組み込まれたドライバ）を介して読み出し、ターゲット・コントローラ・ドライバを介してＵＳＢターゲット・コントローラ１２に設定する。これに応じてＵＳＢターゲット・コントローラ１２は、設定された一時画像ファイルをＰＣ２００に送信する。ＰＣ２００は、送信されてきた一時画像ファイルを自身の外部記憶装置に記憶させたり、自身の大型ディスプレイに供給したりする。なおＰＣ２００には、マスストレージ・クラス・ドライバがインストールされ、マスストレージ・クラス・ドライバは、ターゲット機器（本実施の形態では、電子楽器１００）（の内蔵ストレージ）に記憶されている各種ファイルの取得要求を当該ターゲット機器に送信し、これに応じて当該ターゲット機器が送信してきた各種ファイルを受信する処理などを行う。
【００３９】
映像再生部３０は、主としてＣＰＵ５およびＲＡＭ７に相当し、ＣＰＵ５が所定の制御プログラムを実行することで実現される。映像再生部３０は、ファイル記憶部２６に記憶された動画ファイル（図３参照）を再生することで、動画像データを生成して出力する。
【００４０】
なお小型ＬＣＤ９は、前述のように、電子楽器１００に備えられないことがあり、この場合には、表示部３２、第３レート・品質変換部３１および映像再生部３０も、電子楽器１００には備えられない。このことを示すために、表示部３２、第３レート・品質変換部３１および映像再生部３０の各ブロックは破線で描かれている。
【００４１】
動画・オーディオ記録部２５は、主としてＣＰＵ５およびＲＡＭ７に相当し、ＣＰＵ５が所定の制御プログラムを実行することで実現される。動画・オーディオ記録部２５は、演奏情報供給部２１から供給されたＭＩＤＩイベントをＳＭＦ形式で記録し、楽音生成部２２から供給された楽音信号（オーディオデータ）を時間の経過に従って記録し、第１レート・品質変換部２４から供給された動画像データを時間の経過に従って記録する。ここで、オーディオデータの記録フォーマットは、どのようなものを採用してもよく、非圧縮のものでも、圧縮したものでもよい。また、動画像データを記録する際のデータフォーマットも、どのようなものを採用してもよいので、第１レート・品質変換部２４から供給される動画像データのフォーマットと同じフォーマットで記録してもよいし、他のフォーマットに変換した後記録するようにしてもよい。
【００４２】
動画・オーディオ記録部２５は、図３に示すように、記録された動画像データ、オーディオデータおよびＳＭＦ形式のＭＩＤＩデータをそれぞれ別のチャンクデータとして、１つのファイル内に収めた動画ファイルを作成し、ファイル記憶部２６に供給する。なお、動画ファイルのデータ構造は、これに限られず、複数種類のデータのそれぞれについて個別にファイルを作成し、その個々のファイルを関連付けて、同時に再生可能に構成してもよい。
【００４３】
ファイル記憶部２６は、動画・オーディオ記録部２５から供給された動画ファイルを記憶する。なお、ファイル記憶部２６には、この動画ファイルとは別に、前述のように、複数種類の自動演奏データや一時画像ファイルも記憶される。なお、記憶された動画ファイルは、前記ＵＳＢターゲット・コントローラ１２あるいは着脱可能な記憶媒体経由で外部の装置に供給可能であり、たとえば動画投稿サイトのサーバや、ブログサイトのサーバなどにアップロードすることができる。
【００４４】
以上のように構成された電子楽器１００が実行する制御処理を、まず図１および図２を参照してその概要を説明し、次に図４〜図９を参照して詳細に説明する。
【００４５】
電子楽器１００には、ＵＳＢホスト・コントローラ１１を介して撮像装置３００が外部接続されている。ユーザが、撮像装置３００の電源をオンした後、その撮像装置３００を用いて、自身の演奏風景などの演奏に関する情景を撮影すると、撮像部２３から電子楽器１００内に動画像データ（画像データストリーム）が供給される。その画像データストリームのレートおよび品質は、第１レート・品質変換部２４によって第１レートおよび品質に変換された後、動画・オーディオ記録部２５に供給されるとともに、第２レート・品質変換部２７によって第２レートおよび品質に変換された後、画像ファイル生成部２９に供給される。ここで、第２レートおよび品質のうち、第２レートは、第１レートと比較して、かなり低く設定されている。
【００４６】
画像ファイル生成部２９は、第２レート・品質変換部２７から１フレーム分の画像データが供給されると、その１フレーム分の画像データからなる一時画像ファイルを生成して、ファイル記録部２６に記憶させる。
【００４７】
電子楽器１００には、ＵＳＢターゲット・コントローラ１２を介してＰＣ２００が外部接続され、ＰＣ２００は、電子楽器１００のファイル記録部２６に新たな一時画像ファイルが記憶されたかどうかを常時監視する。ファイル記録部２６に新たな一時画像ファイルが記憶されると、ＰＣ２００は、その一時画像ファイルの取得要求をＵＳＢターゲット・コントローラ１２に送信する。これに応じて電子楽器１００は、取得要求された一時画像ファイルをファイル記録部２６から読み出し、出力部２８を介してＰＣ２００に送信する。ＰＣ２００は、受信した一時画像ファイルを自身の大型ディスプレイ上に表示する。大型ディスプレイ上に表示された画像は、動画像ではあるものの、レートが低く設定されているため、滑らかに動かない。しかしこの表示品質でも、ユーザは、撮像装置３００による現在の撮影状況を十分確認できるので、その画面を見ながら、撮像装置３００の設置位置や撮影設定（レンズの向き、フォーカス、ズーム倍率、各種効果などの設定）を自分の好み通りに決定することができる。
【００４８】
撮像装置３００の設置位置や撮影設定が自分の好み通りに決定されると、ユーザは、電子楽器１００に対して自動演奏の開始を指示する。この指示は、たとえば、ユーザが前記設定操作子２に含まれる自動演奏のスタート／ストップスイッチ（図示せず）を押下することによって行う。自動演奏の開始が指示されると、動画・オーディオ記録部２５には、演奏情報供給部２１から演奏情報（ＭＩＤＩイベント）がそのまま供給されるとともに、楽音生成部２２から当該演奏情報に基づいて生成された楽音信号（オーディオデータ）も供給される。動画・オーディオ記録部２５は、供給された画像データストリーム、オーディオデータおよびＭＩＤＩイベントを時間の経過に従って同時に記録して行く。このように本実施の形態では、自動演奏の開始の指示は、録画、つまり画像データストリーム、オーディオデータおよびＭＩＤＩイベントの記録の指示も兼ねるようにしたが、もちろん、各指示を別々に行うようにしてもよい。
【００４９】
さらに、撮像部２３から供給された画像データストリームは、第３レート・品質変換部３１によって第３レートおよび品質に変換された後、表示部３２に供給される。ここで、第３レートおよび品質のうち、第３レートは、第２レートと比較して、かなり高く設定される一方、第３品質は、第２品質と比較して、かなり低く設定されている。これは、電子楽器１００全体のサイズや製造コストを低減させるために、表示部３２として、小型で表示能力（特に、解像度）の低いものを採用せざるを得ないからである。ただし、動画像を表示部３２にスムーズに表示させるために、第３レートは、第２レートよりかなり高く設定されている。なお、電子楽器１００をさらに低廉にするために、動画像は言うに及ばず、静止画像も表示できない表示器を採用することもあり、その場合には、その表示器には画像データストリームを供給しない（できない）ので、第３レート・品質変換部３１は必要ない。ただしその場合でも、画像ファイル生成部２９は一時画像ファイルの生成を続けているので、ＰＣ２００側から取得要求があれば、その一時画像ファイルは、出力部２８を介してＰＣ２００に出力され、ＰＣ２００の大型ディスプレイ上に表示される。つまり、電子楽器１００に画像を表示できない表示器が設置されていたとしても、ユーザは、画像データストリームの現在の記録状況を、ＰＣ２００の大型ディスプレイ上でモニタすることができる（ただしモニタ画像は、動画像であるにも拘わらず、滑らかに動かない）。
【００５０】
このように、本実施の形態では、電子楽器１００上に画像を表示できない表示器が設置されていたとしても、記録前あるいは記録中の画像データをモニタすることが可能となる。
【００５１】
また、本実施の形態では、電子楽器１００とＰＣ２００との通信をＵＳＢストレージ・クラスに準拠させるようにしたので、電子楽器１００はＰＣ２００に、撮影中にモニタ用画像を送信するのも、撮影後に出来上がった動画ファイルを送信するのも、同じＵＳＢストレージ・クラスに準拠した通信で行うことができる。これにより、電子楽器１００はＵＳＢビデオ・クラスに対応せずにＵＳＢストレージ・クラスのみに対応させるだけで済み、実装が楽になるとともに、ＲＯＭ６の容量を削減することができる。さらに前述したように、撮像装置３００を電子楽器１００に組み込むようにしてＵＳＢビデオ・クラスに準拠しない軽量な実装にすれば、電子楽器１００をより安価にすることができる。
【００５２】
次に、この制御処理を詳細に説明する。
【００５３】
図４は、電子楽器１００、特にＣＰＵ５が実行するメインルーチンの手順を示すフローチャートである。
【００５４】
本メインルーチンでは、ＣＰＵ５は、主として、
（１）初期設定処理（ステップＳ１）
（２）演奏処理（ステップＳ２）
（３）記録処理（ステップＳ３）
（４）表示処理（ステップＳ４）
（５）画像出力処理（ステップＳ５）
（６）動画ファイル転送処理（ステップＳ６）
の各処理を行う。本メインルーチンは、前記設定操作子２に含まれる電源スイッチ（図示せず）によって電源がオンされたときに起動される。起動後、前記（１）の初期設定処理が１回実行され、これに続いて、前記（２）〜（６）の各処理が順次実行される。そして（６）の処理が終了すると、（２）の処理に戻って、（２）〜（６）の処理が、電源スイッチによって電源がオフされるまで、繰り返し実行される。
【００５５】
前記（１）の初期設定処理では、ＣＰＵ５は、ＲＡＭ７をクリアしたり、各種パラメータの値をデフォルト値に設定したり、タイマ８の計時を開始させたりする等の初期設定を行う。
【００５６】
図５は、前記（２）の演奏処理の詳細な手順を示すフローチャートである。
【００５７】
この（２）演奏処理では、まずＣＰＵ５は、ユーザが前記自動演奏のスタート／ストップスイッチを押下したかどうかを常時チェックする。このスタート／ストップスイッチは、たとえばトグルスイッチで、自動演奏がなされていない状態でスタート／ストップスイッチが押下されると、自動演奏の開始が指示され、自動演奏がなされている状態でスタート／ストップスイッチが押下されると、自動演奏の終了が指示される。ＣＰＵ５は、スタート／ストップスイッチが押下されたことを検知すると、現在の自動演奏の状態（自動演奏中かどうか）に基づいて、自動演奏の開始が指示されたか、あるいは自動演奏の終了が指示されたかを判別し、自動演奏の開始が指示されたときには、自動演奏部２１ｂに対して自動演奏の開始を指示する一方、自動演奏の終了が指示されたときには、自動演奏部２１ｂに対して自動演奏の終了を指示する（ステップＳ１１）。これに応じて自動演奏部２１ｂは、指示された方の動作を行う。なお、現在の自動演奏の状態は、たとえば、ＲＡＭ７の一部領域に設けた自動演奏中フラグ（図示せず）がセット（“１”）状態のときに「自動演奏中」と判別し、リセット（“０”）状態のときに「非自動演奏中」と判別するようにすればよい。そしてＣＰＵ５は、自動演奏部２１ｂに自動演奏の開始を指示するときに一緒に、自動演奏中フラグをセットし、自動演奏部２１ｂに自動演奏の終了を指示するときに一緒に、自動演奏中フラグをリセットする。ただし、自動演奏中フラグの初期状態はリセット状態であるため、前記（１）の初期設定処理で、自動演奏中フラグをリセットしておく必要がある。
【００５８】
次にＣＰＵ５は、演奏情報供給部２１からＭＩＤＩイベントが供給されたかどうかを常時チェックする（ステップＳ１２）。演奏情報供給部２１からＭＩＤＩイベントが供給される場合は、ユーザが演奏操作子１を用いて演奏を行った場合と、自動演奏部２１ｂが自動演奏を行っている場合である。さらに、図２には示されていないが、電子楽器１００には外部ＭＩＤＩ機器４００が接続されている（図１参照）ので、ＭＩＤＩイベントは、外部ＭＩＤＩ機器４００から供給される場合もある。そして、ＭＩＤＩイベントの供給を検知すると、ＣＰＵ５は、このＭＩＤＩイベントに応じた楽音信号の生成を前記楽音生成部２２に指示し（ステップＳ１３）、前記タイマ８から現在時刻を取得し（ステップＳ１４）、取得した現在時刻とこのＭＩＤＩイベントを関連付けて、前記ＲＡＭ７の一部領域に設けたＭＩＤＩバッファ（図示せず）に一時的に記憶する（ステップＳ１５）。
【００５９】
前記ステップＳ１３の指示に応じて、楽音生成部２２は、当該楽音信号（オーディオデータ）を生成し、そのオーディオデータを、ＲＡＭ７の一部領域に設けたオーディオバッファ（図示せず）に一時的に記憶するとともに、前記サウンドシステム１７に供給する。これに応じて、サウンドシステム１７からは、当該楽音信号に応じた楽音が放音される（前記ステップＳ１３内のカッコ書き）。
【００６０】
図６は、前記（３）の記録処理の詳細な手順を示すフローチャートである。
【００６１】
この（３）記録処理では、まずＣＰＵ５は、現在の処理タイミングが第１レートの処理タイミングであるかどうかを常時チェックする（ステップＳ２１）。その結果、現在の処理タイミングが第１レートの処理タイミングでないときには、本記録処理を終了する（ステップＳ２１→リターン）一方、現在の処理タイミングが第１レートの処理タイミングであるときには、前記撮像部２３から供給される１フレーム分の画像データを取得する（ステップＳ２２）。ここで、第１レートとは、前記第１レート・品質変換部２４が動画像データのレートを変換するときに目標とするレートである。前述のように、第１レートを２０フレーム／秒とし、撮像部２３から供給される動画像データのレートを３０フレーム／秒とすると、撮像部２３からは、１フレーム分の画像データが１／３０（秒）毎に供給されるが、前記ステップＳ２２の処理では、その中から、１／２０（秒）の倍数に相当する時間に供給される１フレーム分の画像データを取得することになる。
【００６２】
次にＣＰＵ５は、取得した１フレーム分の画像データの解像度を所定の解像度に変換する（ステップＳ２３）。ここで、撮像部２３から供給された動画像データの解像度を、記録時にどの程度まで落とす必要があるかであるが、その程度は、主としてＣＰＵ５の演算処理能力、外部記憶装置１０の記憶容量および記録された動画ファイルの使用目的によって決定される。したがって、これらの事情によっては、レート変換は行うものの、解像度変換は行わない場合、これとは逆に、解像度変換は行うものの、レート変換は行わない場合、さらに、レート変換も解像度変換も行わない場合もあり得る。
【００６３】
次にＣＰＵ５は、前記オーディオバッファから、そこに記憶されているオーディオデータを読み出して取得する（ステップＳ２４）とともに、前記ＭＩＤＩバッファから、そこに記憶されているＭＩＤＩデータを読み出して取得し（ステップＳ２５）、レート変換および解像度変換された１フレーム分の画像データ、上記取得されたオーディオデータおよび上記取得されたＭＩＤＩデータを、記録中の動画ファイルに追記する（ステップＳ２６）。ＭＩＤＩバッファ内には前述のように、ＭＩＤＩイベントがその時刻と関連付けて記録されているので（前記ステップＳ１５参照）、ここではＳＭＦ形式になるように、デルタタイム（先行するイベントとの時間差）とＭＩＤＩイベントとに変換して追記する。ただし、これらのデータを初めて動画ファイルに記録する場合には、新規に（空の）動画ファイルを取得した上で、そのファイルに記録する。
【００６４】
なお、この（３）記録処理は、ユーザが記録の開始を指示したときに開始され、ユーザが記録の終了を指示したときに終了する。そして本実施の形態では、記録の開始／終了と自動演奏の開始／終了を同期させているので、この（３）記録処理も、自動演奏中フラグがセット状態のときにのみ実行される。
【００６５】
図７は、前記（４）の表示処理の詳細な手順を示すフローチャートである。
【００６６】
この（４）表示処理では、まずＣＰＵ５は、現在の処理タイミングが第３レートの処理タイミングであるかどうかを常時チェックする（ステップＳ３１）。その結果、現在の処理タイミングが第３レートの処理タイミングでないときには、本表示処理を終了する（ステップＳ３１→リターン）一方、現在の処理タイミングが第３レートの処理タイミングであるときには、撮像部２３から供給される１フレーム分の画像データを取得する（ステップＳ３２）。なお、ステップＳ３１の処理は、前記ステップＳ２１の処理に対してレート変換の程度が異なるのみであり、ステップＳ３１の処理はステップＳ２１の処理から簡単に類推できるので、ステップＳ３１の処理についてのこれ以上の説明は省略する。
【００６７】
次にＣＰＵ５は、取得した１フレーム分の画像データの解像度を所定の解像度に変換する（ステップＳ３３）。ここで、撮像部２３から供給された動画像データの解像度を、表示時にどの程度まで落とす必要があるかであるが、その程度は、専ら小型ＬＣＤ９の解像度に依存する。
【００６８】
そしてＣＰＵ５は、変換後の画像データを前記表示部３２に供給する（ステップＳ３４）。
【００６９】
なお、小型ＬＣＤ９が電子楽器１００に備えられていないときには、この（４）表示処理は当然ながら、本メインルーチンに含まれない。
【００７０】
図８は、前記（５）の画像出力処理の詳細な手順を示すフローチャートである。なお、図８には、ＰＣ２００側の画像表示処理も記載されている。
【００７１】
この（５）画像出力処理では、まずＣＰＵ５は、現在の処理タイミングが第２レートの処理タイミングであるかどうかを常時チェックする（ステップＳ４１）。その結果、現在の処理タイミングが第２レートの処理タイミングでないときには、ステップＳ４５に進む一方、現在の処理タイミングが第２レートの処理タイミングであるときには、撮像部２３から供給される１フレーム分の画像データを取得する（ステップＳ４１→Ｓ４２）。なお、ステップＳ４１の処理は、前記ステップＳ２１の処理に対してレート変換の程度が異なるのみであり、ステップＳ４１の処理はステップＳ２１の処理から簡単に類推できるので、ステップＳ４１の処理についてのこれ以上の説明は省略する。
【００７２】
次にＣＰＵ５は、取得した１フレーム分の画像データの解像度を所定の解像度に変換する（ステップＳ４３）。ここで、撮像部２３から供給された動画像データの解像度を、画像出力時にどの程度まで落とす必要があるかであるが、その程度は、専らＣＰＵ５の演算処理能力に依存する。
【００７３】
そしてＣＰＵ５は、変換後の画像データからなる一時画像ファイルを生成して、ファイル記憶部２６に供給する（ステップＳ４４）。ファイル記憶部２６は、この一時画像ファイルを一時的に記憶する。この一時画像ファイルに限らず、ファイル記憶部２６に記憶されるすべてのファイルは、本実施の形態では、ファイル・アロケーション・テーブル（file allocation table；以下「ＦＡＴ」と略して言う）によって管理されている。ＦＡＴは、記憶装置（本実施の形態では、外部記憶装置１０）に記憶されたファイルの位置や記録日時などを管理するテーブルである。なお、ＦＡＴ自体は公知であるので、その管理方法についての説明は省略する。
【００７４】
ファイル記憶部２６には、一時画像ファイルの他に、前記動画ファイルや自動演奏データなどが記憶される。ここで、同種のファイルは、一まとまりで記憶しておいた方が管理し易いので、本実施の形態では、ファイルの種類毎に異なるディレクトリを生成しておき、同種のファイルは同じディレクトリ内に記憶させている。具体的には、一時画像ファイルは「一時画像ディレクトリ」に、動画ファイルは「動画ディレクトリ」に、自動演奏データは「自動演奏ディレクトリ」に、それぞれ記憶させる。したがって、前記ステップＳ４４によって供給された一時画像ファイルはファイル記憶部２６の「一時画像ディレクトリ」に記憶されたとして、ＦＡＴが更新される。なお、「一時画像ディレクトリ」には、一時画像ファイルが複数（つまり、一連の一時画像ファイル）記憶される場合があり、この場合には、各一時画像ファイルをそれぞれ区別する必要がある。この区別は、本実施の形態では、「ファイル名＋通し番号」によって行うことにする。「ファイル名」として、たとえば「一時画像」を採用した場合、一時画像ファイルの生成順に、「一時画像０００」、「一時画像００１」、「一時画像００２」…と名付けられたファイルが、ファイル記憶部２６の「一時画像ディレクトリ」に記憶されて行く。後述するように、各一時画像ファイルは、ファイル記憶部２６から読み出されると、ファイル記憶部２６から消去されるので、一時画像ファイルの個数は常に、所定の範囲（この範囲は、ＰＣ２００が一時画像ファイルを読み出す周期（本実施の形態では、後述するように、１００ｍｓ）と一時画像ファイルを生成する周期（本実施の形態では、第２レートの逆数に応じた時間）によって決まる）内に収まる。したがって、通し番号の桁数は、その所定の範囲が収まるものにすればよい。たとえば、十進数で３桁の通し番号を採用したとすると、「一時画像９９９」が生成されたときには、「一時画像０００」のファイルは既に、「一時画像ディレクトリ」から消去されているので、その次に「一時画像０００」のファイルを新たに生成したとしても、「一時画像ディレクトリ」内に同じ名称のファイルが記憶されているとして、ＦＡＴによって拒否されることはない。
【００７５】
一方、ＰＣ２００は、自身の画像表示処理により、所定周期（たとえば、１００ｍｓ）毎に、電子楽器１００に対してＦＡＴの取得要求を行う（ステップＳ１０１→Ｓ１０２）。なお、ＰＣ２００の外部記憶装置もＦＡＴ（ただし、電子楽器１００のＦＡＴとは当然、異なっている）によって管理されることもあり得る。したがって、「ＦＡＴ」と記載する場合、本来であれば、どちらのＦＡＴであるか、その所在を明確にする必要があるが、本実施の形態では、ＰＣ２００側のＦＡＴを問題にすることはないので、「ＦＡＴ」と記載する場合には、特に明示しなくても、電子楽器１００側のＦＡＴを示すものとする。
【００７６】
ＰＣ２００からＦＡＴの取得要求を受信すると、ＣＰＵ５は、ファイル記憶部２６からＦＡＴを読み出し、出力部２８を介してＰＣ２００に出力する（ステップＳ４５→Ｓ４６）。
【００７７】
ＦＡＴを受信すると、ＰＣ２００は、ＦＡＴを解析して、「一時画像ディレクトリ」に一時画像ファイルが記憶されているかどうかを判別する（ステップＳ１０３）。このとき、「一時画像ディレクトリ」に一時画像ファイルが１つでも記憶されていれば、その一時画像ファイルは、自身の大型ディスプレイに表示させるべきものであるので、その一時画像ファイルの取得要求を電子楽器１００に出力する（ステップＳ１０４）。「一時画像ディレクトリ」に複数の一時画像ファイルが記憶されている場合、ＰＣ２００は、その複数の一時画像ファイルのうち、最も若い通し番号が付与されたものの取得要求を電子楽器１００に出力する。ただし、通し番号が“９９９”と“０００”を含む一時画像ファイルが一時画像ディレクトリに記憶されている場合には、“０００”が付与された一時画像ファイルより“９９９”が付与された一時画像ファイルの方を先に取得要求しなければならない。なおＦＡＴでは、ファイルのデータはセクタ単位で管理されているので、前記ステップＳ１０４の処理では、一時画像ファイルのデータをセクタ単位で要求し、取得するようにしている。このように一時画像ファイルをセクタ単位で要求して取得するようにしたのは、ファイルシステムとして、ＦＡＴ型ファイルシステムを採用したからに過ぎず、それ以外の理由はない。
【００７８】
ＰＣ２００から一時画像ファイルの取得要求を受信すると、ＣＰＵ５は、取得要求された一時画像ファイルのデータを、ファイル記憶部２６からセクタ単位で読み出し、出力部２８を介してＰＣ２００に出力する（ステップＳ４７→Ｓ４８）。これに応じてＰＣ２００は、取得要求した一時画像ファイルのデータをセクタ単位で受信する（ステップＳ１０４）。そして、一時画像ファイルのデータのセクタ単位での要求と取得とが繰り返され、ＰＣ２００が当該一時画像ファイルのデータをすべて受信すると、ＰＣ２００は、その受信した一時画像ファイルを自身の大型ディスプレイに供給する（ステップＳ１０５→Ｓ１０６）。これにより、その一時画像ファイルに応じた画像が、大型ディスプレイ上に表示される。
【００７９】
次にＰＣ２００は、電子楽器１００に対して、当該一時画像ファイルの削除を意味するＦＡＴの書換要求を行う（ステップＳ１０７）。
【００８０】
このＦＡＴの書換要求を受信すると、ＣＰＵ５は、ＦＡＴを操作して、当該一時画像ファイルを削除する（ステップＳ５０）。
【００８１】
このように本実施の形態では、ファイル記憶部２６における一時画像ファイルの削除は、ＰＣ２００側からＦＡＴの書換要求がなされたことに応じてなされるが、これに限らず、前記ステップＳ４８の処理によって、取得要求された一時画像ファイルのデータがすべて送信された時点で、ＰＣ２００側から何らかの要求がなされなくとも自己完結的に、当該一時画像ファイルをファイル記憶部２６から削除するようにしてもよい。ただしこの場合、当該一時画像ファイルを削除したこと応じて、ＦＡＴを更新しておく必要がある。
【００８２】
図９は、前記（６）の動画ファイル転送処理の詳細な手順を示すフローチャートである。
【００８３】
この（６）動画ファイル転送処理では、まずＣＰＵ５は、ＰＣ２００から動画ファイルの転送要求がなされたかどうかを常時チェックし（ステップＳ５１）、転送要求がなされたときには、転送要求された動画ファイルを、前記ファイル記憶部２６からセクタ単位で読み出す（ステップＳ５２）。
【００８４】
次にＣＰＵ５は、読み出したセクタを、出力部２８を介してＰＣ２００に転送する（ステップＳ５３）。
【００８５】
このように（６）動画ファイル転送処理では、前記（３）の記録処理によって記録されてファイル記憶部２６に記憶された動画ファイルをＰＣ２００（の外部記憶装置）に吸い上げるようにしている。動画ファイルは、ファイル記憶部２６（外部記憶装置１０）にその記憶容量に応じた分だけ記憶することができるが、本実施の形態では、ファイル記憶部２６として安価なものを採用しており、しかも動画ファイルのデータ容量は通常大きく、さらにファイル記憶部２６には、動画ファイルの他にも、一時画像ファイルや自動演奏データなどの多くのファイルが記憶されるので、多くの動画ファイルをファイル記憶部２６に貯めておくことはできない。このため、ＰＣ２００に吸い上げられた動画ファイルは、一時画像ファイルと同様に、ファイル記憶部２６から削除することが望ましい。動画ファイルを削除する方法としては、前記（５）の画像出力処理と同様に、吸い上げ対象の動画ファイルのデータ（本実施の形態では、セクタ単位のデータ）がすべて転送された時点で、ＰＣ２００から電子楽器１００に、当該動画ファイルの削除を意味するＦＡＴの書換要求を送信する方法を採るようにすればよい。あるいは、動画ファイルがすべて転送された時点で、電子楽器１００自身が当該動画ファイルをファイル記憶部２６から削除する方法を採るようにしてもよい。
【００８６】
なお、前記（５）の画像出力処理では、ＰＣ２００は、電子楽器１００から取得した一時画像ファイルを、自身の大型ディスプレイ上に表示させるためにだけ使用したが、これに限らず、その表示と一緒に、自身の外部記憶装置に記憶させるようにしてもよい。あるいは、電子楽器１００から取得した一時画像ファイルを、自身の外部記憶装置に記憶させるためにだけ使用するようにしてもよい。
【００８７】
なお、上述した実施の形態の機能を実現するソフトウェアのプログラムコードを記録した記憶媒体を、システムまたは装置に供給し、そのシステムまたは装置のコンピュータ（またはＣＰＵやＭＰＵ）が記憶媒体に格納されたプログラムコードを読出し実行することによっても、本発明の目的が達成されることは言うまでもない。
【００８８】
この場合、記憶媒体から読出されたプログラムコード自体が本発明の新規な機能を実現することになり、そのプログラムコードおよび該プログラムコードを記憶した記憶媒体は本発明を構成することになる。
【００８９】
プログラムコードを供給するための記憶媒体としては、たとえば、フレキシブルディスク、ハードディスク、光磁気ディスク、ＣＤ−ＲＯＭ、ＣＤ−Ｒ、ＣＤ−ＲＷ、ＤＶＤ−ＲＯＭ、ＤＶＤ−ＲＡＭ、ＤＶＤ−ＲＷ、ＤＶＤ＋ＲＷ、磁気テープ、不揮発性のメモリカード、ＲＯＭなどを用いることができる。また、通信ネットワークを介してサーバコンピュータからプログラムコードが供給されるようにしてもよい。
【００９０】
また、コンピュータが読出したプログラムコードを実行することにより、上述した実施の形態の機能が実現されるだけでなく、そのプログラムコードの指示に基づき、コンピュータ上で稼働しているＯＳなどが実際の処理の一部または全部を行い、その処理によって上述した実施の形態の機能が実現される場合も含まれることは言うまでもない。
【００９１】
さらに、記憶媒体から読出されたプログラムコードが、コンピュータに挿入された機能拡張ボードやコンピュータに接続された機能拡張ユニットに備わるメモリに書込まれた後、そのプログラムコードの指示に基づき、その機能拡張ボードや機能拡張ユニットに備わるＣＰＵなどが実際の処理の一部または全部を行い、その処理によって上述した実施の形態の機能が実現される場合も含まれることは言うまでもない。
【図面の簡単な説明】
【００９２】
【図１】本発明の一実施の形態に係る電子音楽装置を適用した電子楽器の概略構成を示すブロック図である。
【図２】図１の電子楽器の機能構成を示すブロック図である。
【図３】動画ファイルのデータ構造の一例を示す図である。
【図４】図１の電子楽器、特にＣＰＵが実行するメインルーチンの手順を示すフローチャートである。
【図５】図４中の演奏処理の詳細な手順を示すフローチャートである。
【図６】図４中の記録処理の詳細な手順を示すフローチャートである。
【図７】図４中の表示処理の詳細な手順を示すフローチャートである。
【図８】図４中の画像出力処理の詳細な手順を示すフローチャートである。
【図９】図４中の動画ファイル転送処理の詳細な手順を示すフローチャートである。
【符号の説明】
【００９３】
１…演奏操作子（第２の供給手段），３…検出回路（第２の供給手段），５…ＣＰＵ（第１の供給手段、第２の供給手段、記録手段、第２の生成手段、提示手段、変換手段），７…ＲＡＭ（記録手段、第１の記憶手段），１０…外部記憶装置（記録手段、記憶手段、第２の記憶手段），１１…ＵＳＢホスト・コントローラ（第１の供給手段），１２…ＵＳＢターゲット・コントローラ（接続手段、出力手段），１５…音源回路（第１の生成手段），２００…ＰＣ（外部のコンピュータ装置）
【特許請求の範囲】
【請求項１】
演奏に関する情景を撮影して得られた画像データストリームを供給する第１の供給手段と、
演奏情報を供給する第２の供給手段と、
該第２の供給手段によって供給された演奏情報に基づいて楽音信号を生成する第１の生成手段と、
前記第１の供給手段によって供給された画像データストリームを記録するとともに、前記第１の生成手段によって生成された楽音信号および／または前記供給された演奏情報を記録する記録手段と、
該記録手段による記録を開始する前に、あるいは該記録手段による記録と並行して、前記供給された画像データストリームに基づいた一連の画像ファイルを順次生成する第２の生成手段と、
該第２の生成手段によって順次生成された一連の画像ファイルを記憶する記憶手段と、
外部のコンピュータ装置と接続し、当該コンピュータ装置とデータの送受信を行う接続手段と、
前記記憶手段に記憶された一連の画像ファイルを、前記接続手段を介して接続されたコンピュータ装置が参照可能に提示する提示手段と
を有することを特徴とする電子音楽装置。
【請求項２】
前記供給された画像データストリームを記録する際の当該画像データストリームおよび／または前記供給された画像データストリームに基づいた一連の画像ファイルを生成する際の当該画像データストリームのレートおよび／または解像度を他のレートおよび／または解像度に変換する変換手段をさらに有し、
前者の画像データストリームの変換後のレートおよび／または解像度と、後者の画像データストリームの変換後のレートおよび／または解像度とを異ならせることが可能であることを特徴とする請求項１に記載の電子音楽装置。
【請求項３】
外部の電子音楽装置を記憶装置と見なして接続し、当該電子音楽装置とデータの送受信を行う接続手段と、
該接続手段を介して接続された電子音楽装置が、演奏に関する情景を撮影して得られた画像データストリームに基づいて順次生成し、当該電子音楽装置内に記憶された一連の画像ファイルを、当該電子音楽装置から取得する取得手段と、
該取得手段によって取得された一連の画像ファイルを順次表示する表示手段と
を有することを特徴とするコンピュータ装置。
【請求項４】
演奏に関する情景を撮影して得られた画像データストリームを供給する第１の供給手順と、
演奏情報を供給する第２の供給手順と、
該第２の供給手順によって供給された演奏情報に基づいて楽音信号を生成する第１の生成手順と、
前記第１の供給手順によって供給された画像データストリームを第１の記憶手段に記録するとともに、前記第１の生成手順によって生成された楽音信号および／または前記供給された演奏情報を前記第１の記憶手段に記録する記録手順と、
該記録手順による記録を開始する前に、あるいは該記録手順による記録と並行して、前記供給された画像データストリームに基づいた一連の画像ファイルを順次生成する第２の生成手順と、
該第２の生成手順によって順次生成された一連の画像ファイルを第２の記憶手段に記憶する記憶手順と、
前記第２の記憶手段に記憶された一連の画像ファイルを、接続手段を介して接続されたコンピュータ装置が参照可能に提示する提示手順と
をコンピュータに実行させるためのプログラム。
【請求項５】
接続手段を介して接続された電子音楽装置が、演奏に関する情景を撮影して得られた画像データストリームに基づいて順次生成し、当該電子音楽装置内に記憶された一連の画像ファイルを、当該電子音楽装置から取得する取得手順と、
該取得手順によって取得された一連の画像ファイルを表示手段に順次表示する表示手順と
をコンピュータに実行させるためのプログラム。
【請求項１】
演奏に関する情景を撮影して得られた画像データストリームを供給する第１の供給手段と、
演奏情報を供給する第２の供給手段と、
該第２の供給手段によって供給された演奏情報に基づいて楽音信号を生成する第１の生成手段と、
前記第１の供給手段によって供給された画像データストリームを記録するとともに、前記第１の生成手段によって生成された楽音信号および／または前記供給された演奏情報を記録する記録手段と、
該記録手段による記録を開始する前に、あるいは該記録手段による記録と並行して、前記供給された画像データストリームに基づいた一連の画像ファイルを順次生成する第２の生成手段と、
該第２の生成手段によって順次生成された一連の画像ファイルを記憶する記憶手段と、
外部のコンピュータ装置と接続し、当該コンピュータ装置とデータの送受信を行う接続手段と、
前記記憶手段に記憶された一連の画像ファイルを、前記接続手段を介して接続されたコンピュータ装置が参照可能に提示する提示手段と
を有することを特徴とする電子音楽装置。
【請求項２】
前記供給された画像データストリームを記録する際の当該画像データストリームおよび／または前記供給された画像データストリームに基づいた一連の画像ファイルを生成する際の当該画像データストリームのレートおよび／または解像度を他のレートおよび／または解像度に変換する変換手段をさらに有し、
前者の画像データストリームの変換後のレートおよび／または解像度と、後者の画像データストリームの変換後のレートおよび／または解像度とを異ならせることが可能であることを特徴とする請求項１に記載の電子音楽装置。
【請求項３】
外部の電子音楽装置を記憶装置と見なして接続し、当該電子音楽装置とデータの送受信を行う接続手段と、
該接続手段を介して接続された電子音楽装置が、演奏に関する情景を撮影して得られた画像データストリームに基づいて順次生成し、当該電子音楽装置内に記憶された一連の画像ファイルを、当該電子音楽装置から取得する取得手段と、
該取得手段によって取得された一連の画像ファイルを順次表示する表示手段と
を有することを特徴とするコンピュータ装置。
【請求項４】
演奏に関する情景を撮影して得られた画像データストリームを供給する第１の供給手順と、
演奏情報を供給する第２の供給手順と、
該第２の供給手順によって供給された演奏情報に基づいて楽音信号を生成する第１の生成手順と、
前記第１の供給手順によって供給された画像データストリームを第１の記憶手段に記録するとともに、前記第１の生成手順によって生成された楽音信号および／または前記供給された演奏情報を前記第１の記憶手段に記録する記録手順と、
該記録手順による記録を開始する前に、あるいは該記録手順による記録と並行して、前記供給された画像データストリームに基づいた一連の画像ファイルを順次生成する第２の生成手順と、
該第２の生成手順によって順次生成された一連の画像ファイルを第２の記憶手段に記憶する記憶手順と、
前記第２の記憶手段に記憶された一連の画像ファイルを、接続手段を介して接続されたコンピュータ装置が参照可能に提示する提示手順と
をコンピュータに実行させるためのプログラム。
【請求項５】
接続手段を介して接続された電子音楽装置が、演奏に関する情景を撮影して得られた画像データストリームに基づいて順次生成し、当該電子音楽装置内に記憶された一連の画像ファイルを、当該電子音楽装置から取得する取得手順と、
該取得手順によって取得された一連の画像ファイルを表示手段に順次表示する表示手順と
をコンピュータに実行させるためのプログラム。
【図１】
【図２】
【図３】
【図４】
【図５】
【図６】
【図７】
【図８】
【図９】
【図２】
【図３】
【図４】
【図５】
【図６】
【図７】
【図８】
【図９】
【公開番号】特開２０１０−１０７８５２（Ｐ２０１０−１０７８５２Ａ）
【公開日】平成２２年５月１３日（２０１０．５．１３）
【国際特許分類】
【出願番号】特願２００８−２８１５１８（Ｐ２００８−２８１５１８）
【出願日】平成２０年１０月３１日（２００８．１０．３１）
【出願人】（０００００４０７５）ヤマハ株式会社 (5,930)
【Ｆターム（参考）】
【公開日】平成２２年５月１３日（２０１０．５．１３）
【国際特許分類】
【出願日】平成２０年１０月３１日（２００８．１０．３１）
【出願人】（０００００４０７５）ヤマハ株式会社 (5,930)
【Ｆターム（参考）】
[ Back to top ]