説明

映像記録装置及び映像記録装置に適用されるコンピュータプログラム

【課題】長い楽曲に対しても楽曲全体に渡る映像データを簡単に作成できるようにする。
【解決手段】映像記録装置は、電子カメラ11、表示器14、音源回路15及びコンピュータ部17を備えており、コンピュータ部17の処理により、楽曲の流れに合わせて映像を撮影して映像データとして記憶するとともに、記憶した映像データを再生する。具体的には、コンピュータ部17は、指定された区間の楽曲を再生させながら、電子カメラ11によって撮影された映像を表す映像データを前記指定された区間に対応させるとともに楽曲の進行位置に対応させて記憶する。コンピュータ部17は、前記区間ごとに記憶された複数の区間の映像データを、複数の区間にわたる楽曲の再生に同時に連続的に再生する。

【発明の詳細な説明】
【技術分野】
【0001】
本発明は、映像を撮影する撮影手段を有し、撮影手段によって撮影された映像を表す映像データを楽曲の流れに合わせて記録する映像記録装置に関する。
【背景技術】
【0002】
従来から、プロモーションビデオなどの制作のために、予め記録された楽曲等の音声データを再生しながら動画を撮影し、BGMとしての音声データを撮影した動画とミキシングして記録することは行われていた。しかし、この場合、動画の撮影カットのイン点及びアウト点の位置と、BGM楽曲の切れ目とが無関係であるために、記録画像を連続再生すると、BGMの音楽が動画の撮影カット部分に応じてぶつ切りになったり、動画の撮影カットが開始する時点で毎回BGM音楽が楽曲の最初から始まったりするという問題があった。
【0003】
これを解決するために、下記特許文献1には、次のような映像記録装置及び映像記録方法が提案されている。この映像記録装置及び映像記録方法では、楽曲の切れ目位置を予め検出しておいて、撮影者が楽曲の切れ目位置に達するまでにカメラによる撮影の停止を指示しても、楽曲の切れ目位置に達するまではカメラの撮影を停止させることなく継続させ、楽曲の切れ目位置に達した時点でカメラの撮影を自動的に停止させるようにしている。なお、この特許文献には、撮影者が楽曲の切れ目位置に達するまでにカメラによる撮影の停止を指示した場合には、撮影者に対して警告がなされることも記載されている。
【特許文献1】特許第4062724号公報
【発明の開示】
【0004】
上記従来の映像記録装置及び映像記録方法においては、撮影者が任意の位置でカメラによる撮影の停止を指示しても、予め決められている楽曲の切れ目位置に達するまでは、カメラの撮影が停止されない。しかし、この映像記録装置及び映像記録方法においても、基本的には、楽曲の全体を通して映像の撮影を行うものである。したがって、楽曲が長い場合には、楽曲の全体を通してカメラによる映像の撮影を継続することが難しい。
【0005】
本発明は前記問題に対処するためになされたもので、その目的は、楽曲中の指定された区間ごとに映像を撮影して映像データを区間ごとに記録し、再生時には各区間の映像データを連続して再生することにより、長い楽曲に対しても楽曲全体に渡る映像データを簡単に作成できるようにした映像データ記録装置を提供することにある。
【0006】
前記目的を達成するために、本発明の特徴は、映像を撮影する撮影手段を有し、前記撮影手段によって撮影された映像を表す映像データを楽曲の流れに合わせて記録する映像記録装置において、複数の区間に分けられた楽曲中の一つの区間を指定する区間指定手段と、前記指定された区間の楽曲を再生する楽曲再生手段と、前記楽曲再生手段によって楽曲を再生させながら前記撮影手段によって撮影された映像を表す映像データを、前記指定された区間に対応させるとともに楽曲の進行位置に対応させて記憶する映像記憶手段と、前記区間ごとに記憶された複数の区間の映像データを、複数の区間にわたる楽曲の再生と同時に連続的に再生する映像再生手段とを備えたことにある。
【0007】
この場合、楽曲再生手段は、例えば、楽曲に関するMIDIに従った曲データを記憶しておいて、曲データを再生するものである。また、楽曲再生手段は、楽曲に関するオーディオデータを記憶しておいて、オーディオデータを再生するものでもよい。複数の区間に関しては、複数の区間が予め設定されている楽曲を用意しておいてもよいし、ユーザが用意された楽曲に対して複数の区間を設定してもよい。
【0008】
前記のように構成した本発明によれば、映像記憶手段は、楽曲再生手段によって楽曲を再生させながら撮影手段によって撮影された映像を表す映像データを、指定された区間に対応させるとともに楽曲の進行位置に対応させて記憶する。これにより、ユーザは、楽曲を指定した区間ごとに再生しながら、指定した区間ごとに映像データを記憶していくことができる。そして、複数の区間に関する映像データの記憶を終えた後、再生手段により、複数の区間の映像データを複数の区間にわたる楽曲の再生と同時に連続的に再生させることができる。これにより、短い区間ごとに撮影した映像を全体を通して確認することができ、長い楽曲に対しても楽曲全体に渡る映像データを簡単に作成できる。
【0009】
また、本発明の他の特徴は、楽曲再生手段は、指定された区間の長さよりも所定量だけ長い区間内の楽曲を再生するものであることにある。この場合、前記所定量は固定であってもよいし、ユーザが任意に設定できるものであってもよい。これは、指定された区間内にちょうど納まる楽曲を再生しながら、ユーザに映像を撮影させようとしても、ユーザにとって撮影の開始時点及び終了時点と楽曲の区間とを正確に合わせることは難しいことに基づく。前記本発明の他の特徴によれば、楽曲の再生区間は指定区間よりも広いので、ユーザにとって撮影の開始時点及び終了時点と前記楽曲の区間を合わせ易くなる。特に、撮影の開始時点においては、楽曲が映像の撮影開始前から再生されているので、ユーザは撮影の開始時点を正確に楽曲の先頭開始時点に合わせ易くなる。
【0010】
また、本発明の他の特徴は、さらに、前記区間ごとに記憶された映像データと楽曲の進行位置との対応関係を前後にずらすデータ加工手段を備えたことにある。これによれば、撮影時にユーザによる撮影の開始時点及び終了時点と楽曲の区間とを高精度で合わせることができなくても、データ加工手段により、区間ごとに記憶された映像データと楽曲の進行位置との対応関係を前後にずらすことができて、ユーザは、映像データのタイミングを楽曲の区間に簡単に高精度で合わせることができる。
【0011】
また、本発明の他の特徴は、前記映像記憶手段は、複数の映像データを一つの区間に対応させて記憶することができるものであり、さらに、前記一つの区間に記憶された複数の映像データのうちのいずれか一つを選択する選択手段を備えたことにある。この場合、一つの区間に対して、映像データを追加したり、消去したりすることもできるようにするとよい。これによれば、一つの区間に対して、複数回の撮影を行い、気に入ったものを採用することにより、作品としての完成度が高くなる。また、映像データの消去によれば、撮影が不完全なものを廃棄することにより、後の編集作業が楽になる。
【0012】
また、本発明の他の特徴は、さらに各区間の映像の撮影のためのシーンを示唆する一つ又は複数の絵コンテを表す絵コンテデータを前記各区間ごとに記憶する絵コンテデータ記憶手段と、前記区間ごとに記憶された絵コンテデータに基づいて、映像の撮影時に楽曲の再生に連動して絵コンテを表示する絵コンテ表示手段とを備えたことにある。この場合、絵コンテ内には、説明文を含めるようにするとよい。これによれば、絵コンテにより撮影の指針が示されるので、間違った映像を撮影することなく、意図どおりの映像の撮影をし易くなる。
【0013】
また、本発明の他の特徴は、前記再生手段は、映像データが記憶されていない区間において、前記区間に対応して記憶されている絵コンテデータに基づいて、映像データの代わりに絵コンテを表示する絵コンテ挿入手段を有することにある。これによれば、複数の区間、例えば曲全体にわたって、記憶した映像データを連続して再生する場合に、映像データが記憶されていない区間があっても、前記区間に関しては絵コンテが表示される。したがって、記憶した映像データを確認する場合に、再生区間の全てにわたって全体の流れを視認できるようになり、この映像記録装置の使い勝手が良好になる。
【0014】
さらに、本発明の実施にあたっては、装置の発明に限定されることなく、コンピュータプログラムおよび方法の発明としても実施し得るものである。
【発明を実施するための最良の形態】
【0015】
以下、本発明の一実施形態について図面を用いて説明すると、図1は本発明に係る映像記録装置の全体をブロック図により示している。この映像記録装置は、電子カメラ11、マイクロフォン12、パネル操作子13、表示器14、音源回路15、ディジタル信号処理回路(以下、単にDSPという)16、コンピュータ部17、記憶装置18及びインターフェース回路19を備えている。これらの各装置11〜19は、バス21に接続されていて、互いに通信可能になっている。バス21に接続する手段に関しては、有線接続であってもよいし、無線接続であってもよい。特に、電子カメラ11、マイクロフォン12、パネル操作子13及び表示器14に関しては、他の装置が大型である場合には、取り外し可能な構成で無線又はケーブルなどを介して他の装置と通信可能な構成とするとよい。また、この映像記録装置を、電子カメラ11を既に内蔵しているビデオカメラ、又は携帯電話などの付加機能として追加するようにしてもよい。
【0016】
電子カメラ11は、撮影手段として機能するもので、被写体を受光面に結像させて光電変換してアナログ画像信号として取出し、アナログ画像信号をディジタル形式の画像データに変換して出力する。また、この電子カメラ11は、バッファメモリの機能を果たすために、後述するRAM17c及び記憶装置18とは独立した少なくとも低容量のメモリ装置を内蔵し、このメモリ装置に短時間にわたる画像データを一旦記憶した後に、コンピュータ部17の指示により出力する。マイクロフォン12は、外部の音を集音して、外部の音を表すアナログ電気信号に変換してA/D変換器12aに出力する。A/D変換器12aは、前記アナログ電気信号をディジタル形式の音声データに変換して出力する。このA/D変換器12aも、バッファメモリの機能を果たすために、後述する記憶装置18とは独立した少なくとも低容量のメモリ装置を内蔵し、このメモリ装置に短時間にわたる音声データを一旦記憶した後に出力する。
【0017】
パネル操作子13は、電子カメラ11の撮影動作の開始及び終了を指示する操作子を含み、この映像記録装置の作動を指示するための複数の操作子からなる。特に、電子カメラ11が他の装置から分離して設けられている場合には、前記撮影動作の開始及び終了を指示する操作子は電子カメラ11に設けられている。そして、この電子カメラ11の撮影動作の開始及び終了の指示に関しては、ユーザが撮影ボタンを押している間だけ動画を撮影するように構成してもよいし、1回撮影ボタンを押すと撮影動作を開始して以降撮影動作を継続し、ふたたび撮影ボタンを押すと撮影を終了するように構成してもよい。
【0018】
表示器14は、この映像記録装置の作動の指示及び撮影した映像の確認のために利用される液晶表示器であり、コンピュータ部17により制御されて、文字、数字、図形、映像等を表示する。音源回路15は、コンピュータ部17から楽音信号の発生を制御するための制御信号をバス21を介して入力し、前記制御信号に応じてディジタル楽音信号を生成して、DSP16に出力する。DSP16は、コンピュータ部17により制御されて、音源回路15からのディジタル楽音信号に各種音響効果を付与して、音響効果の付与されたディジタル楽音信号をサウンドシステム22に出力する。サウンドシステム22は、D/A変換器、アンプ、スピーカなどからなり、DSP16から出力されたディジタル楽音信号をアナログ楽音信号に変換して、変換されたアナログ楽音信号をアンプを介してスピーカから放音する。
【0019】
コンピュータ部17は、CPU17a、ROM17b、RAM17c及びタイマ17dを備えており、後述するプログラムの実行により、この映像記録装置の作動を制御する。記憶装置18は、HDD、FDD、CD−ROM、MO、DVD、半導体メモリなどの大容量の記録媒体と、記録媒体に対するドライブユニットを含むものであり、後述するデータ及びプログラムの記憶及び読出しを可能にしている。これらのデータ及びプログラムは予め記憶装置18に記憶されていてもよいし、インターフェース回路19を介して外部から取り込んでもよい。インターフェース回路19は、サーバ31、外部機器32(電子楽器、シーケンサなどの演奏機器)などに接続可能となっていて、この映像記録装置がサーバ31及び外部機器32と各種プログラム及び各種データを交信可能としている。
【0020】
前記記憶装置18に記録されているプログラムとしては、図2のメインプログラム(図3乃至13の各種サブルーチンを含む)及び図14のカウント値更新プログラムがある。また、前記記憶装置18に記憶されているデータとしては、ユーザがシナリオを設定するために利用する各種絵コンテデータ、楽曲を自動演奏させるための複数の曲データなどがある。絵コンテデータは、例えば図19に示すような説明文を含む簡単な画像を表す画像データである。
【0021】
各曲データは、図15に示すように、曲名を表す曲名データ、テンポを表すテンポデータなどの曲情報と、楽音の発生を指示する演奏データとからなる。演奏データは、時間経過に従って配列されたタイミングデータ、演奏イベントデータ、エンドデータなどからなる。タイミングデータは、演奏イベントデータの発生タイミングを、曲の開始からの絶対時間又は前の演奏イベントデータからの相対時間により表している。演奏イベントデータは、キーオンイベントデータ(KON)、キーオフイベントデータ(KOF)などからなる。キーオンイベントデータは、楽音の発生開始を指示するもので、前記指示を表わす指示情報及び楽音の音高を表わすノートコードからなる。キーオフイベントデータは、楽音の発生終了を指示するもので、前記指示を表わす指示情報及び楽音の音高を表わすノートコードからなる。エンドデータは曲の終了を表すデータである。
【0022】
次に、上記のように構成した実施形態の動作について説明する。ユーザが、この映像記録装置の図示しない電源スイッチをオンすると、CPU17aは、メインプログラムの実行を開始する。メインプログラムの実行は図2のステップS10にて開始され、CPU17aは、ステップS11にて、この映像記録装置を構成する各種装置の初期化処理を実行する。この初期化処理後、CPU17aは、ステップS12のパネル設定ルーチン及び楽曲・映像処理ルーチンを繰り返し実行し始める。
【0023】
パネル設定ルーチンは、図3に詳細に示されており、その実行がステップS20にて開始される。このパネル設定ルーチンの実行開始後、CPU17aは、ステップS21にて、いずれかのパネル操作子13が操作されたか否かを判定する。いずれのパネル操作子13も操作されなければ、CPU17aは、ステップS21にて「No」と判定して、ステップS33にて表示画面の更新処理を実行して、ステップS34にてこのパネル設定ルーチンの実行を終了する。
【0024】
この表示画面の更新処理においては、表示器14が、後述する映像表示モードに切換えられない通常表示モードにおいて、基本的には後述する選択された楽曲の指定区間とその近傍の楽曲の流れを時間経過に従って表示する。すなわち、図17に示すように、表示器14の表示画面上には、スケールD1、分割ポインタD2、演奏位置マークD3、指定区間マークD4、楽曲再生範囲D5、絵コンテD6及び録画データ長D7が表示される。そして、この表示状態が、前記ステップS23〜S32の処理に移行する際の基本的な表示状態である。これらの各種表示D1〜D7は、表示に関係するデータが設定された場合に表示されるもので、前記データが設定されていない状態では表示されないので、各種データの設定の際に前記各種表示D1〜D7について詳しく説明する。ただし、電源投入直後のように、楽曲の選択前で曲データもRAM17cに記憶されていない状態では、メニューが表示される。
【0025】
一方、いずれかのパネル操作子13が操作されると、CPU17aは、ステップS21にて「Yes」と判定して、ステップS22にていずれのパネル操作子13が操作されたかを判定する。そして、操作されたパネル操作子13の種類に応じて、CPU17aは、ステップS23〜S32のいずれかの処理を実行する。
【0026】
<楽曲選択>
楽曲の選択指示のためのパネル操作子13が操作されると、CPU17aは、ステップS22の判定処理により、ステップS23の楽曲選択ルーチンを実行する。この楽曲選択ルーチンの詳細は図4に示されており、その実行がステップS100にて開始される。この楽曲選択ルーチンの実行開始後、CPU17aは、ステップS101にて記憶装置18に記憶されている曲データのリストを表示器14に表示する。この場合、ユーザは、楽曲のジャンルなどを指定して、特定のジャンルに属する楽曲に関する曲データのリストのみを表示するようにしてもよい。次に、CPU17aは、ステップS102にて、パネル操作子13を用いたユーザによる楽曲の選択を受け付ける。ユーザが前記表示されたリスト中の何れかの楽曲を選択すると、CPU17aは、前記ステップS102の受付処理後、ステップS103にて、記憶装置18に記憶されていてユーザによって選択された楽曲に関する曲データを読出してRAM17cに書き込み、ステップS104にて楽曲選択ルーチンの実行を終了する。
【0027】
なお、ユーザが希望する楽曲に関する曲データが記憶装置18に記憶されていない場合には、ステップS101〜S103の処理により、インターフェース回路19を介してサーバ装置31及び外部機器32に記憶されている曲データの中からユーザが希望する楽曲に関する曲データを取得してRAM17cに書き込むようにしてもよい。この場合、RAM17cに書き込んだ曲データを記憶装置18にも記憶させておくとよい。
【0028】
図3のパネル設定ルーチンの説明に戻ると、前記ステップS23の楽曲選択ルーチンの実行終了後、CPU17aは、ステップS33にて表示画面の更新処理を実行し、ステップS34にてパネル設定ルーチンの実行を終了する。この場合、前記ステップS33の表示画面の更新処理においては、前記ステップS23の楽曲選択ルーチンの処理により、選択された楽曲の曲データがRAM17cに記憶されているので、指定区間における楽曲の流れを表す長尺状の帯からなるスケールD1のみが表示器14に表示される。ただし、楽曲の選択直後であって、後述する区間指定がなされていない場合には、初期設定により、指定区間の開始位置は楽曲の先頭に設定され、指定区間の終了位置は楽曲の終わりに設定されているので、この場合におけるスケールD1の表示は楽曲の先頭から終わりまでである。
【0029】
<楽曲再生>
楽曲の再生指示のためのパネル操作子13が操作されると、CPU17aは、ステップS22の判定処理により、図3のステップS24の楽曲再生ルーチンを実行する。この楽曲再生ルーチンの詳細は図5に示されており、その実行がステップS150にて開始される。この楽曲再生ルーチンの実行開始後、CPU17aは、ステップS151にて、楽曲再生フラグが「オフ」であるかを判定する。楽曲再生フラグは、「オン」により曲データの再生中であることを表し、「オフ」により曲データの非再生中であることを表す。現在、楽曲再生フラグが「オフ」であれば、CPU17aは、ステップS152にて楽曲再生フラグを「オン」に変更し、ステップS153にて時間位置カウント値を楽曲再生開始位置を示す時間値に設定する。時間位置カウント値は、曲データの再生中における曲の開始からの絶対時間を表すもので、後述する図14のカウント値更新プログラムの実行により歩進される。楽曲再生開始位置は、曲データの再生開始位置を指定するもので、後述する図8の区間指定ルーチンの処理により設定されるものであるが、この区間指定ルーチンの処理によって指定される前の初期状態では曲の先頭を示す「0」に設定されている。
【0030】
前記ステップS153の処理後、CPU17aは、ステップS154にて、前記楽曲選択ルーチンの実行によりユーザによって選択されてRAM17cに書き込まれた曲データ中の演奏データを読み出すための読出しポインタを、楽曲再生開始位置に対応した演奏データのアドレス値に設定する。そして、CPU17aは、ステップS155にて読出しポインタが示す演奏データ中のタイミングデータは時間位置カウント値と一致するかを判定する。この場合、演奏データ中のタイミングデータが演奏イベントデータの発生タイミングを曲の開始からの絶対時間で表している場合には、タイミングデータと時間位置カウント値とを直接比較すればよい。しかし、演奏データ中のタイミングデータが演奏イベントデータの発生タイミングを前の演奏イベントデータからの相対時間で表している場合には、前記相対時間の曲開始からの累算値と時間位置カウント値とを比較するようにするとよい。読出しポインタが示す演奏データ中のタイミングデータが時間位置カウント値と一致していれば、CPU17aは、ステップS155にて「Yes」と判定して、ステップS156〜S158の処理を実行する。一方、読出しポインタが示す演奏データ中のタイミングデータが時間位置カウント値と一致していなければ、CPU17aは、ステップS155にて「No」と判定して、ステップS160にて楽曲再生ルーチンの実行を終了する。
【0031】
前記ステップS156〜S158の処理においては、CPU17aは、ステップS156にて読出しポインタを次に進め、すなわち一つだけ進める。そして、CPU17aは、ステップS157にて読出しポインタが示す演奏データは演奏イベントデータであるかを判定し、演奏イベントデータであれば、ステップS158にて前記読出しポインタが示す演奏イベントデータを音源回路15に出力する。その後、CPU17aは、ステップS156に戻って、前記ステップS156〜S158の処理を再び実行する。そして、ステップS156の処理により進められた読出しポインタが示す演奏データが演奏イベントデータであれば、ステップS157,S158の処理により、読出しポインタが示す演奏イベントデータが音源回路15に出力される。これらのステップS156〜S158の処理は、読出しポインタが示す演奏データが演奏イベントデータである限り実行され続ける。読出しポインタが示す演奏データが演奏イベントデータでなければ、CPU17aは、ステップS157にて「No」と判定して、ステップS160にてこの楽曲再生ルーチンの実行を終了する。
【0032】
図3のパネル設定ルーチンの説明に戻ると、前記ステップS24の楽曲再生ルーチンの実行終了後、CPU17aは、ステップS33にて表示画面の更新処理を実行し、ステップS34にてパネル設定ルーチンの実行を終了する。ただし、この場合には、この表示画面の更新処理においては、実際には何も処理されず、表示器14の表示状態は以前のままに保たれる。
【0033】
演奏データは、図15に示すように、タイミングデータの次に同タイミングデータにより表されたタイミングにおける一つ又は複数の演奏イベントデータを配置している。したがって、前記ステップS156〜S158の処理により、時間位置カウント値によって示されたタイミングにおける全ての演奏イベントデータが音源回路15に出力され、その後に、読出しポインタは、次のタイミングデータのアドレスを示していることになる。音源回路15は、前記ステップS158の処理により入力された演奏イベントデータに応じてディジタル楽音信号を生成して、DSP16を介してサウンドシステム22から前記ディジタル楽音信号に対応した楽音を放音し始める。
【0034】
一方、前記のように楽曲再生フラグが「オン」に設定されると、図2のステップS13の楽曲・映像処理ルーチンにおいて楽音の発生が制御される。すなわち、図13に詳細に示すこの楽曲・映像処理ルーチンにおいては、ステップS40の実行開始後、CPU17aは、ステップS41にて「Yes」すなわち楽曲再生フラグは「オン」であると判定して、ステップS42〜S55の処理を実行する。このステップS42〜S55の処理においては、後述するステップS49,S50の録画に関係した処理、ステップS51〜S53の映像再生に関係した処理、及びステップS54,S55のシナリオ(絵コンテ)の表示に関係した処理以外のステップS42〜S48の処理、すなわち曲データの再生に関する処理が実行される。ステップS42においては時間位置カウント値が楽曲再生終了位置を示すかが判定され、ステップS43においては読出しポインタが示す演奏データはエンドデータ(図15参照)であるかが判定される。楽曲再生終了位置は、曲データの再生終了位置を指定するもので、後述する図8の区間指定ルーチンの処理により設定されるものであるが、この区間指定ルーチンの処理によって指定される前の初期状態では曲の終了位置を示す位置すなわちエンドデータ位置に設定されている。
【0035】
そして、時間位置カウント値が楽曲再生終了位置を示しておらず、かつ読出しポインタが示す演奏データがエンドデータでなければ、ステップS42,S43にて共に「No」と判定され、ステップS44〜S47の処理が実行される。ステップS44〜S47の処理は前述した図5のステップS155〜S158の処理と同じである。したがって、このステップS44〜S47の処理により、時間位置カウント値によって示されたタイミングにおける演奏イベントデータが音源回路15に出力され、演奏イベントデータに応じた楽音の発生が制御される。
【0036】
ここで、時間位置カウント値の歩進処理について説明しておく。CPU17aは、図2のメインプログラムの実行中、所定の短時間ごとに、メインプログラムの処理に対して図14のカウント値更新プログラムを割り込み実行する。このカウント値更新プログラムの実行はステップS70にて開始され、CPU17aは、ステップS71にて楽曲再生フラグが「オン」であるかを判定する。楽曲再生フラグが「オン」でなければ、CPU17aは、ステップS71にて「No」と判定して、ステップS73にてこのカウント値更新プログラムの実行を終了する。一方、楽曲再生フラグが「オン」であれば、CPU17aは、ステップS71にて「Yes」と判定して、ステップS72にて時間位置カウント値を前記割り込み時間間隔に対応した所定値だけ歩進させ、ステップS73にてこのカウント値更新プログラムの実行を終了する。したがって、時間位置カウント値は、曲データの再生中に前記所定値ずつ順次歩進する。
【0037】
このような時間位置カウント値の歩進により、前記ステップS44〜S47の処理により、時間位置カウント値に応じて演奏イベントデータが音源回路15に順次出力され、演奏イベントデータに応じた楽音の発生が順次制御される。すなわち、曲データが楽曲再生開始位置から時間経過に従って再生されることになる。なお、前記図5のステップS155〜S158の処理は、曲データの再生開始時における楽音の発生制御に関する処理である。
【0038】
そして、時間位置カウント値が楽曲再生終了位置を示すと、CPU17aは、ステップS42にて「Yes」と判定して、ステップS48にて楽曲再生フラグを「オフ」に変更する。また、読出しポインタが示すアドレスの演奏データがエンドデータになると、CPU17aは、ステップS43にて「Yes」と判定して、ステップS48にて楽曲再生フラグを「オフ」に変更する。その結果、以降、CPU17aは、ステップS41にて「No」と判定して、前記ステップS44〜S47からなる曲データの再生処理を実行しなくなるので、曲データの再生はこの時点で終了する。また、前述した図5の楽曲再生ルーチンの説明に戻ると、ユーザが曲データの再生中すなわち楽曲再生フラグが「オン」状態であるとき、楽曲の再生終了を指示するためのパネル操作子13を操作した場合には、CPU17aは、ステップS151にて「No」と判定して、ステップS159にて楽曲再生フラグ159を「オフ」に変更し、ステップS160にて楽曲再生ルーチンの実行を終了する。その結果、この場合も、前記と同様に、曲データの再生はこの時点で終了する。
【0039】
<自動区分>
楽曲を複数の区間に自動的に区分するためのパネル操作子13が操作されると、CPU17aは、図3のステップS22の判定処理により、ステップS25の自動区分ルーチンを実行する。この自動区分ルーチンの詳細は図6に示されており、その実行がステップS200にて開始される。この実行開始後、CPU17aは、ステップS201にて、前記楽曲選択ルーチンの実行により、ユーザによって選択されてRAM17cに書き込まれた曲データ中の演奏データによって表された音符列に基づいて楽曲の流れを解析して、楽曲の流れに応じた複数の区間に楽曲を自動的に分割する。この複数の区間は、例えば、イントロ、Aメロ、Bメロ、サビ、間奏、Aメロ、Bメロ、サビ、間奏、Cメロ、サビ、アウトロなどの区間である。なお、前記楽曲の進行に応じた区間の分割でなくても、単純に所定時間(所定長さ)ごとに、楽曲全体を複数の区間に分割してもよい。そして、CPU17aは、ステップS202にて、前記分割した分割位置をそれぞれ表す分割位置データ(演奏データの時間位置又はアドレス)を曲データに対応させてRAM17cに記憶する。なお、この分割位置データを曲データに対応させて、記憶装置18に書き込んでおいてもよい。前記ステップS202の処理後、CPU17aは、ステップS203にてこの自動区分ルーチンの実行を終了する。
【0040】
図3のパネル設定ルーチンの説明に戻ると、前記ステップS25の自動区分ルーチンの実行終了後、CPU17aは、ステップS33にて表示画面の更新処理を実行し、ステップS34にてパネル設定ルーチンの実行を終了する。この表示画面の更新処理においては、図17に示すように、前記分割位置データに基づいてスケールD1の時間軸上の分割位置に分割ポインタ(例えば、丸印)D2が表示される。なお、この場合、後述する区間が指定されていなければ、楽曲全体のスケールD1及び分割ポインタD2が表示器14に表示されることになる。また、区間が指定されていれば、指定区間近傍のスケールD1及び分割ポインタD2が表示器14に表示されることになる。
【0041】
また、記憶装置18に記憶した曲データとして、予め複数の区間に分割されている曲データを利用することもでき、この場合には、自動区分ルーチンの実行は不要となる。また、曲データとして、予め複数の区間に分割されている曲データと、予め複数の区間に分割されていない曲データが記憶装置18内に共存する場合には、予め複数の区間に分割されていない曲データに関してのみ、この自動区分ルーチンを実行するようにすればよい。さらに、この自動区分ルーチンの実行により、複数の区間に一旦分割された曲データに関しては、再度複数の区間に分割する必要はない。
【0042】
<分割位置更新>
次に、前記設定された分割位置を手動で追加又は消去、自動区分されていない楽曲に分割位置を手動で設定する作業、すなわち分割位置を手動で更新する作業について説明する。この場合、ユーザは、曲データを再生しながら分割位置を設定したり、曲データの非再生状態で表示器14に表示されているスケールD1上で分割位置を設定又は消去したりする。この分割位置の更新指示のためのパネル操作子13が操作されると、CPU17aは、図3のステップS22の判定処理により、ステップS26にて分割位置更新ルーチンを実行する。この分割位置更新ルーチンは図7に詳細に示されており、その実行がステップS250にて開始され、ステップS251〜S254の処理により、分割位置を設定又は消去する。
【0043】
まず、曲データを再生しながら分割位置を設定する場合について説明する。ユーザは、前述のようにして、ユーザにより選択されてRAM17cに記憶されている曲データを再生させ、この状態で分割位置を設定するためのパネル操作子13を操作する。この場合、CPU17aは、ステップS251にて「Yes」すなわち分割位置の設定指示であると判定し、かつステップS252にて「Yes」すなわち楽曲再生フラグは「オン」であると判定して、ステップS253にて分割位置を設定する。この分割位置の設定においては、曲データの再生中における時間位置カウント値が示す曲データ中の時間位置に対応した分割位置を表す新たな分割位置データをRAM17cに記憶する。この分割位置データの記憶においては、既に分割位置データがRAM17cに存在している場合には、その分割位置データに新たな分割位置データを追加する。また、分割位置データがRAM17cに存在していない場合には、前記新たな分割位置データを曲データに対応させてRAM17cに記憶する。なお、曲データを再生しながら、分割位置が消去されることはない。
【0044】
次に、表示器14に表示されたスケールD1を用いて分割位置を設定する場合について説明する。ユーザは、表示器14に表示されたスケールD1の所望の時間位置を分割位置として指定して、この状態で分割位置の設定指示のためのパネル操作子13を操作する。この場合、CPU17aは、ステップS251にて「Yes」すなわち分割位置の設定であると判定し、かつステップS252にて「No」すなわち楽曲再生フラグは「オン」でないと判定して、ステップS254にて分割位置を設定する。この分割位置の設定においては、画面上で指定されている楽曲の時間軸上の位置に対応した分割位置を表す新たな分割位置データをRAM17cに記憶する。この分割位置データの記憶においても、既に分割位置データがRAM17cに存在している場合には、その分割位置データに新たな分割位置データを追加する。また、分割位置データがRAM17cに存在していない場合には、前記新たな分割位置データを曲データに対応させてRAM17cに記憶する。
【0045】
次に、表示器14に表示されたスケールD1を用いて分割位置を消去する場合について説明する。ユーザは、表示器14に表示されたスケールD1上で表示されている分割ポインタD2の近傍の分割位置を指定して、この状態で分割位置の消去指示のためのパネル操作子13を操作する。この場合、CPU17aは、ステップS251にて「No」すなわち分割位置の設定指示でない(すなわち分割位置の消去指示である)と判定して、ステップS255にて分割位置を消去する。この分割位置の消去においては、画面上で指定されている楽曲の時間軸上の位置に最も近い分割位置を表す分割位置データを、RAM17cに記憶されている分割位置データから消去する。また、これらの場合も、RAM17cにおける分割位置データの追加及び消去に加えて、記憶装置18における分割位置データの追加及び消去を行うようにしてもよい。
【0046】
図3のパネル設定ルーチンの説明に戻ると、前記ステップS26の分割位置更新ルーチンの実行終了後、CPU17aは、ステップS33にて表示画面の更新処理を実行し、ステップS34にてパネル設定ルーチンの実行を終了する。この表示画面の更新処理においては、前記更新された分割位置データに基づいて、前記表示器14に表示されている楽曲の流れを表すスケールD1に、分割ポインタD2を新たに表示したり、既に表示されている分割ポインタD2を消したりする。なお、この場合も、後述する区間が指定されていなければ、楽曲全体のスケールD1及び分割ポインタD2が表示器14に表示されることになる。また、区間が指定されていれば、指定区間近傍のスケールD1及び分割ポインタD2が表示器14に表示されることになる。
【0047】
<区間指定>
次に、曲データの再生、映像の再生又は記録に関する区間を指定するためのパネル操作子13が操作されると、CPU17aは、図3のステップS22の判定処理により、ステップS27にて区間指定ルーチンを実行する。この区間指定ルーチンは図8に詳細に示されており、その実行がステップS300にて開始され、CPU17aは、ステップS301にて区間指定処理を実行する。この区間指定処理はユーザのパネル操作子13の操作に応じて指定されるもので、指定される区間は、前記分割された区間を単位として、前後のニつの分割位置によって定義される一つ又は連続する複数の区間からなる。
【0048】
この区間指定処理においては、ユーザがパネル操作子13を操作して、表示器13に表示されている二つの分割ポインタD2,D2を指定することにより、分割ポインタD2,D2により挟まれた区間を指定区間として設定してもよい。また、ユーザがパネル操作子13を操作して、表示器13に表示されている一つの区間又は連続した複数の区間を指定することにより、前記一つの区間又は前記連続した複数の区間を指定区間として設定してもよい。さらには、ユーザがパネル操作子を操作して、楽曲全部を指定区間として設定してもよい。そして、このステップS301の区間指定処理においては、指定区間の両側の1対の分割位置すなわち指定区間の開始位置及び終了位置に対応した2つの分割位置を表すデータが指定区間データとしてRAM17cに記憶される。
【0049】
次に、CPU17aは、ステップS302にて、前記指定区間の両側の1対の分割位置に対応した2つの時間値(楽曲の開始からの時間値)を楽曲再生開始位置及び楽曲再生終了位置としてそれぞれ設定して、RAM17cに記憶する。そして、CPU17aは、ステップS303にてこの区間指定ルーチンの実行を終了する。
【0050】
図3のパネル設定ルーチンの説明に戻ると、前記ステップS27の区間指定ルーチンの実行終了後、CPU17aは、ステップS33にて表示画面の更新する処理を実行し、ステップS34にてパネル設定ルーチンの実行を終了する。この表示画面の更新処理においては、前記指定区間データとして記憶された1対の分割位置を表すデータを用いて、図17に示すように、表示画面上に指定区間マークD4(例えば、太い破線)が表示される。なお、この場合、前記指定区間の近傍の区間に関する楽曲の流れも表示器13に表示される。
【0051】
<シナリオ設定>
次に、映像の撮影を補助するためのシナリオを設定するためのパネル操作子13が操作されると、CPU17aは、図3のステップS22の判定処理により、ステップS28にてシナリオ設定ルーチンを実行する。このシナリオは、時間経過に沿った表示される複数の絵コンテにより表現されるものである。絵コンテは、説明文も含み、映像の撮影のためのシーンを示唆する画像である。シナリオ設定ルーチンは図9に詳細に示されており、その実行がステップS350にて開始され、CPU17aは、ステップS351にて記憶装置18に記憶されている絵コンテのデータリストを表示器14に表示する。この絵コンテのデータリストの表示においては、記憶装置18に記憶されている全ての絵コンテのデータリストを表示可能であれば表示する。しかし、全ての絵コンテのデータリストを表示不能であれば、ユーザによるパネル操作子13の操作に従って一部の絵コンテのデータリストを順次表示するようにしたり、ジャンル別に絵コンテのデータリストを表示するようにしたりしてもよい。また、データリストの表示としては、文字による表示でも、簡単な画像による表示でもよい。絵コンテに関しては、その一部を図19に示す。
【0052】
次に、CPU17aは、ステップS352にてユーザによる絵コンテの指定を受け付ける。ユーザが特定の絵コンテを指定すると、CPU17aは、ステップS353にて指定された絵コンテを現在指定されている区間に割付ける。具体的には、絵コンテを表すデータを、現在指定されている区間に対応させるとともに、各絵コンテの切換え位置(該当区間の開始位置)に対応した時間値を付してRAM17cに記憶させる。なお、この各絵コンテの切換えに関しては、区間ごとでなくても、区間内で切換えを行ってもよく、この場合には、ユーザの指定により絵コンテの切換えタイミングを表す時間値を絵コンテに対応させて記憶しておくとよい。また、この絵コンテを表すデータ及び時間値を記憶装置18に記憶されている曲データに対応させて記憶させておいてもよい。前記ステップS353の処理後、CPU17aは、ステップS354にてこのシナリオ設定ルーチンの実行を終了する。
【0053】
図3のパネル設定ルーチンの説明に戻ると、前記ステップS28のシナリオ設定ルーチンの実行終了後、CPU17aは、ステップS33にて表示画面の更新処理を実行し、ステップS34にてパネル設定ルーチンの実行を終了する。この表示画面の更新処理においては、図17に示すように、前記指定されてRAM18cに記憶されている絵コンテを表すデータにより指定される絵コンテD6を前記指定されている区間に対応させて表示する。この場合、絵コンテD6を、録画の経過時間に対応させて表示する。図示省略されているが、この絵コンテD6には簡単な説明文も含まれている。
【0054】
<録画指示>
次に、録画指示のためのパネル操作子13が操作されると、CPU17aは、図3のステップS22の判定処理により、ステップS29にて録画指示ルーチンを実行する。前記録画指示とは、録画の開始及び終了を指示するものであり、電子カメラ11の撮影動作の開始及び終了の指示に相当する。録画指示ルーチンは図10に詳細に示されており、その実行がステップS400にて開始され、CPU17aは、ステップS401にて録画フラグが「オン」であるか否かを判定する。録画フラグは、「オン」により録画中であることを表し、「オフ」により録画停止中であることを表す。
【0055】
録画フラグが「オフ」であれば、CPU17aは、ステップS401にて「Yes」と判定し、ステップS402にて前記区間指定ルーチンで設定された楽曲再生開始位置を若干の所定量だけ前側に変更する。すなわち、楽曲再生開始位置としてRAM17cに記憶されている時間値から前記所定量だけ減算して、減算結果を新たな楽曲再生開始位置として設定する。次に、CPU17aは、ステップS403にて前記区間指定ルーチンで設定された楽曲再生修了位置を若干の所定量だけ後側に変更する。すなわち、楽曲再生終了位置としてRAM17cに記憶されている時間値に前記所定量だけ加算して、加算結果を新たな楽曲再生終了位置として設定する。前記両所定量は、共に予め決められた小さな値(例えば、数秒程度)であればよいが、これらの所定量を後述するステップS32のその他の処理により変更することも可能である。なお、これらの変更された楽曲再生開始位置及び楽曲再生終了位置に関しては、今回の録画に利用するもので、変更前の楽曲再生開始位置及び楽曲再生終了位置を表すデータを消去せずに残しておき、区間を変更することなく、再度の録画及び再生などに利用するようにするとよい。すなわち、変更された楽曲再生開始位置及び楽曲再生終了位置は、1回の映像データの記録のみに利用される。
【0056】
次に、CPU17aは、ステップS404にて楽曲再生フラグを「オン」に設定し、ステップS405にて録画フラグを「オン」に設定する。前記ステップS405の処理後、CPU17aは、楽曲再生開始位置から曲データの再生を開始するために、前述した図5のステップS153〜S158と同様なステップS406〜S411の処理を実行して、ステップS416にてこの録画ルーチンの実行を終了する。
【0057】
前記のようにして楽曲再生フラグ及び録画フラグが「オン」に設定されると、前述した図13の楽曲・映像処理ルーチンのステップS41〜S48の処理により、時間位置カウント値が楽曲再生終了位置を示す値になるまで、又は読出しポインタが示す演奏データがエンドデータになるまで、曲データが再生される。なお、この場合も、図14のカウント値更新プログラムが所定の短時間ごとに実行され、時間位置カウント値は時間経過に従って順次増加する。また、この楽曲・映像ルーチンにおいては、ステップS44〜S47からなる演奏イベントデータの読出し処理中、ステップS54にて時間位置カウント値が絵コンテを表すデータとともに記憶されている切換え位置を示す時間値に等しいかを判定する。時間位置カウント値が前記切換え位置を示す時間値に等しければ、CPU17aは、ステップS54にて「No」と判定してステップS56に進む。一方、時間位置カウント値が前記切換え位置を示す時間値に等しくなければ、CPU17aは、ステップS54にて「Yes」と判定して、ステップS55にて該当する絵コンテを表示器14に表示した後にステップS56に進む。これにより、ユーザは、時間経過に従って切り換わる絵コンテを見ながら録画を続行できる。
【0058】
さらに、この録画・映像処理ルーチンにおいては、録画フラグが「オン」に設定されているので、CPU17aは、ステップS56にて「Yes」と判定して、ステップS57にて電子カメラ11による映像データをRAM17cに記憶する。この映像データの記憶においては、電子カメラ11のメモリ装置に一時的に記憶されている映像データを所定量ずつ読み出して、図16に示すように、時間位置カウント値を付してRAM17cに記憶する。なお、この記憶した映像データも記憶装置18に記憶するようにするとよい。
【0059】
また、このような楽曲・映像処理ルーチンの実行後には、図2のステップS12のパネル設定ルーチン(すなわち図3のパネル設定ルーチン)が実行される。そして、いずれのパネル操作子13が操作されない状態においても、このパネル設定ルーチンにおいては、ステップS21の「No」との判定後、ステップ33の表示画面の更新処理が実行される。そして、この場合には、時間位置カウント値が歩進され続けていて曲データの再生箇所は時間経過に従って変化するので、表示画面には時間位置カウント値によって指定される位置の楽曲の流れ(図17参照)が順次表示される。また、前記録画動作に対応して録画の長さを表す録画データ長D7も、図17に示すように楽曲の流れに対応させて表示画面に表示される。
【0060】
前記のような録画及び曲データの再生中、時間位置カウント値が楽曲再生終了位置を示す値になり、又は読出しポインタが示す演奏データがエンドデータになると、ステップS48の処理によって楽曲再生フラグが「オフ」に変更される。また、この場合には、録画フラグも「オン」に設定されているので、CPU17aは、ステップS49にて「Yes」と判定し、ステップS50にて録画フラグも「オフ」に変更する。このようにして、楽曲再生フラグ及び録画フラグが共に「オフ」に設定されると、楽曲・映像処理ルーチンのステップS41,S56にて共に「No」と判定されて、ステップS44〜S47からなる曲データの再生処理及びステップS57の映像データの記録処理が実行されないので、曲データの再生動作及び録画動作が終了する。
【0061】
また、録画フラグが「オン」である状態で、ユーザが録画を停止させるためのパネル操作子13を操作すると、CPU17aは、図3のパネル設定ルーチンのステップS21にて「Yes」と判定し、ステップS22の判定処理によりステップS29の録画指示ルーチン(図10)をふたたび実行する。この場合、録画フラグは「オン」であるので、CPU17aは、図10の録画指示ルーチンのステップS401にて「No」と判定して、ステップS412にて楽曲再生フラグを「オフ」に変更し、ステップS413にて録画フラグを「オフ」に変更する。したがって、この場合には、ユーザの操作により、曲データの再生動作及び録画動作が終了する。
【0062】
しかし、この曲データの再生動作及び録画動作の終了は、前記指定区間及び曲の終了位置(エンド)とは無関係である場合がある。すなわち、前記設定された楽曲再生終了位置及び楽曲の終了とは無関係に、曲データの再生動作及び録画動作が終了する。このような事態に対処するために、CPU17aは、前記ステップS412,S413の処理後、ステップS414にて現在の時間位置カウント値が指定区間終了時の分割位置の時間値よりも小さいかを判定する。現在の時間位置カウント値が指定区間終了時の分割位置の時間値よりも小さくなければ、CPU17aは、ステップS414にて「No」と判定して、ステップS416にてこの録画指示ルーチンの実行を終了する。
【0063】
しかし、現在の時間位置カウント値が区間終了時の分割位置の時間よりも小さいときには(図17の最下段の録画データ長D7を参照)、CPU17aは、ステップS415にて「Yes」と判定して、ステップS415の警告処理後に、ステップS416にてこの録画指示ルーチンの実行を終了する。この警告処理においては、CPU17aは、表示器14を制御して警告すなわち曲データの再生及び録画が指定区間の終了位置まで行われていないことを表示するとともに、音源回路15を制御して警報音を発生させる。これにより、ユーザは、曲データの再生及び録画が指定区間の終了位置まで行われていない状態で、録画を停止させてしまったことを認識することができる。なお、前記区間終了時の分割位置の時間値に代えて、楽曲再生終了位置を表す時間値を用いてもよい。この場合には、録画が楽曲再生終了位置まで行われなかったことが、ユーザに警告されることになる。
【0064】
また、同一の区間において、上記のような録画を複数回行うことにより、一つの区間に関する複数の録画データをRAM17c及び記憶装置18に記憶させることもできる。図17は、3回の録画を行った状態を示しており、3つの録画データ長D7が表示画面に表示されている。なお、これらの録画データ長D7の表示においては、録画データ長D7の両端は実際に録画された映像データの開始位置と終了位置に対応しているとともに、指定区間の開始位置と終了位置に相当する位置が確認できるように、指定区間に対応する位置も示される。
【0065】
<録画データ加工>
次に、録画データの加工を指示するためのパネル操作子13が操作されると、CPU17aは、図3のステップS22の判定処理により、ステップS30にて録画データ加工ルーチンを実行する。この録画データ加工ルーチンは図11に詳細に示されており、その実行がステップS450にて開始され、CPU17aは、録画データの加工終了が指示されるまで、ステップS451〜S459からなる録画データの加工処理を繰り返し実行する。この状態では、基本的には、図3のステップS33の表示画面の更新処理により、図17の録画データ長D7を含む楽曲の流れが表示器14に表示されている。特に、この録画データの加工処理は、ユーザが録画データを区間ごとに加工する処理であるので、図3のステップS27の区間指定ルーチン(図8の区間指定ルーチン)の実行により、区間を指定された後に、この録画データの加工処理が実行されるのが通常である。
【0066】
ユーザがパネル操作子13を操作して表示画面上の一つの録画データ長D7を指定すると、CPU17aは、ステップS451にて「Yes」と判定して、ステップS452にて前記指定された録画データ長D7の表示態様を変更する。その後、ユーザがパネル操作子13を操作して最良の録画データの選択を指示すると、CPU17aは、ステップS453にて「Yes」と判定して、ステップS454にて、RAM17c及び/又は記憶装置18に記憶されている最良の録画データを更新する。録画データが、一つの区間に一つしか記憶されていない場合には、図示しない初期処理により前記記憶されている一つの録画データが最良の録画データとして記憶されている。しかし、その後の録画指示によって複数の録画データが一つの区間に記憶された場合には、これらのステップS453,S454の処理により、一つの録画データが最良の録画データとして更新記憶される。さらに、このステップS454の処理においては、表示画面上の最良の録画データに対応した録画データ長D7が、図17のように、模様入りで表示される。
【0067】
また、前記のように表示画面上で一つの画像データ長D7を指定した状態で、ユーザがパネル操作子13を操作して録画データの消去を指示すると、CPU17aは、ステップS455にて「Yes」と判定して、ステップS456にて、RAM17c及び/又は記憶装置18に記憶されていて指定された録画データを消去する。そして、この録画データの更新処理により最良の録画データが消去された場合には、残りの録画データのうちで直前に最良の録画データであったものが、以降の最良の録画データとして選択されるとともに、表示画面上における前記最良の録画データに対応した録画データ長D7の表示が模様入りに変更される。
【0068】
次に、録画データを時間軸に沿って移動する処理について説明する。この場合、前記のように表示画面上で一つの画像データ長D7を指定した状態で、ユーザが、パネル操作子13を操作して図17の下部に矢印で示すように、前記指定した録画データ長D7を時間軸に沿って(すなわち表示画面の左右方向に)移動するように指示する。CPU17aは、この録画データの時間軸に沿った移動の指示に応答して、ステップS457にて「Yes」と判定して、ステップS458にて指定されている録画データ長D7の表示を移動する(図17の中段の録画データ長D7を参照)。そして、前記指定された録画データであって、RAM17c及び/又は記憶装置18に各映像データに対応して記憶されている時間位置カウント値に対して、前記録画データ長D7の移動量に対応した時間値をそれぞれ加算又は減算しておく。また、録画データ長D7における区間の開始及び終了位置の表示も変更される。
【0069】
この録画データの加工の終了後、ユーザがパネル操作子13を操作して録画データの加工終了を指示すると、CPU17aはステップS459にて「Yes」と判定して、ステップS460にてこの録画データ加工ルーチンの実行を終了する。
【0070】
図3のパネル設定ルーチンの説明に戻ると、前記ステップS30の録画データ加工ルーチンの実行終了後、CPU17aは、ステップS33にて表示画面の更新する処理を実行し、ステップS34にてパネル設定ルーチンの実行を終了する。この表示画面の更新処理においては、実質的な処理が行われずに、前記録画データ加工ルーチンの実行による表示画面が維持される。
【0071】
<映像再生指示>
次に、録画した映像データの再生指示のためのパネル操作子13が操作されると、CPU17aは、図3のステップS22の判定処理により、ステップS31にて映像再生指示ルーチンを実行する。前記映像データの再生指示は、RAM17cに記憶されている映像データの再生開始及び再生終了を指示するものであり、その実行が図12のステップS500にて開始され、CPU17aは、ステップS501にて映像再生フラグが「オン」であるか否かを判定する。映像再生フラグは、「オン」により映像データの再生中であることを表し、「オフ」により映像データの再生停止中であることを表す。
【0072】
映像再生フラグが「オフ」であれば、CPU17aは、ステップS501にて「Yes」と判定し、ステップ502にて映像再生フラグを「オン」に変更し、ステップS503にて表示器14を映像表示モードに切換える。この映像表示モードでは、前述した通常表示モードにおいて表示される楽曲の流れではなく、映像データを再生した映像が表示される。このステップS503の処理後、映像データの再生と同時に、映像データの時間軸上の位置に対応した曲データを再生させるために、図5の楽曲再生指示ルーチンのステップS152〜S158と同様なステップS504〜S510の処理を実行して曲データの再生を開始させる。なお、ステップS505の時間位置カウント値の設定及びステップS506の読出しポインタの設定処理においては、前述した図8の区間指定ルーチンで設定した区間の開始位置に対応している。すなわち、図10の録画指示ルーチンのステップS402,S403の処理により、変更した楽曲再生開始位置及び楽曲再生終了位置ではない。この場合の区間としては、隣り合う一対の分割位置に挟まれた一つの区間でも、離れて位置する一対の分割位置に挟まれた複数の区間でも、楽曲の開始位置から終了位置までの楽曲全体であってもよい。また、当然に、この映像再生指示の前に、映像データの再生を希望する区間を前記区間指定ルーチンによって設定するようにするとよい。
【0073】
また、ステップS507〜S510の処理は、楽曲の開始時の演奏データを読み出すための処理である。次に、CPU17aは、ステップS511にて、RAM17cに記憶されている映像データを参照し、前記設定した時間位置カウント値が付された映像データがあるかを判定する。なお、この場合の映像データは、区間ごとに選択されている最良の録画データ(図17で模様の付されている録画データ長D7に対応した録画データ)に対応するものである。現在の時間位置カウント値が付された映像データが存在していなければ、CPU17aは、ステップS511にて「No」と判定して、ステップS516にてこの映像再生指示ルーチンの実行を終了する。一方、前記時間位置カウント値が付された映像データが存在すれば、CPU17aは、ステップS511にて「Yes」と判定して、ステップS61にて映像データの再生処理を実行する。この映像データの再生処理においては、前記時間位置カウント値の付された映像データが読み出されて、表示器14に出力される。これらのステップS511,S512の処理は、初期の映像データの再生のためのものである。そして、CPU17aは、これらのステップS511,S512の処理後、ステップS516にてこの映像再生指示ルーチンの実行を終了する。
【0074】
前記のようにして楽曲再生フラグ及び映像再生フラグが「オン」に設定されると、前述した図13の楽曲・映像処理ルーチンのステップS41〜S48の処理により、時間位置カウント値が楽曲再生終了位置を示す値になるまで、又は読出しポインタが示す演奏データがエンドデータになるまで、曲データが再生される。なお、この場合も、図14のカウント値更新プログラムが所定の短時間ごとに実行され、時間位置カウント値は時間経過に従って順次増加する。また、この楽曲・映像処理ルーチンにおいても、ステップS44〜S47からなる演奏イベントデータの読出し処理中、ステップS54,S55の絵コンテに関する処理も実行されるが、表示器14が映像表示モードに切換えられているので、表示画面は映像データの再生にのみ利用され、絵コンテを含む楽曲の流れは表示されない。このことは、図3のパネル設定ルーチンのステップS33の処理においても同じであり、この状態では楽曲の流れは表示器14には表示されない。なお、表示器14の画面が映像データによる映像の表示に加えて楽曲の流れも表示できる程度に大きければ、映像データによる映像及び楽曲の流れの両者を表示するようにしてもよい。
【0075】
さらに、この録画・映像処理ルーチンにおいては、映像再生フラグが「オン」に設定されているので、CPU17aは、ステップS58にて「Yes」と判定して、ステップS59にて現在表示すべき映像データがRAM17cに記憶されているかを判定する。楽曲再生中の区間に関する映像を録画する前で前記区間に関する映像データがなかったり、楽曲再生中の区間の録画データが短く区間開始から終了まで映像データを再生できない場合がある。まず、表示すべき映像データがRAM17cに記憶されている場合について説明する。この場合には、CPU17aは、ステップS59にて「Yes」と判定して、ステップS60の判定処理を実行する。この判定処理においては、RAM17cに記憶されている映像データを参照し、現在の時間位置カウント値が付された映像データがあるかを判定する。現在の時間位置カウント値が付された映像データが存在していなければ、CPU17aは、ステップS60にて「No」と判定して、ステップS63にてこの楽曲・映像処理ルーチンの実行を終了する。
【0076】
一方、現在の時間位置カウント値が付された映像データが存在すれば、CPU17aは、ステップS60にて「Yes」と判定して、ステップS61にて映像データの再生処理を実行する。この映像データの再生処理においては、現在の時間位置カウント値の付された映像データがRAM17cから読み出されて、表示器14に出力される。表示器14は、この映像データを再生して、映像データにより表された映像を再生する。RAM17cに記憶された映像データは短時間ごとに撮影された映像データの集合であるので、時間経過に従って繰り返し実行されるステップS60,S61の処理により、連続した映像すなわち動画が前記楽曲の再生に同期して表示器14に表示される。この場合、図18に示すように、映像データは、区間ごとに順次切換えられて再生表示される。また、前述のように、再生される録画データは各区間において最良の画像データとして指定されるものである。
【0077】
また、現在表示すべき映像データがRAM17cに記憶されていない場合には、CPU17aは、前記ステップS59にて「No」と判定し、ステップS62にて絵コンテの表示処理を実行する。この絵コンテの表示処理においては、楽曲再生中の区間に割当てた絵コンテデータであって、時間位置カウント値に対応した絵コンテデータをRAM17cから読み出して、前記読出した絵コンテデータにより表された絵コンテを表示器14に表示する。この場合、一つの区間に属する絵コンテを同時に表示してもよいし、一つの区間に属する絵コンテを楽曲の進行に合わせて順次表示するようにしてもよい。これにより、映像データがない場合でも、絵コンテが表示器14に表示される。
【0078】
このような曲データ及び映像データの再生中、時間位置カウント値が楽曲再生終了位置を示す値になり、又は読出しポインタが示す演奏データがエンドデータになると、ステップS48の処理によって楽曲再生フラグが「オフ」に変更される。また、この場合には、映像再生フラグも「オン」に設定されているので、CPU17aは、ステップS51にて「Yes」と判定し、ステップS52にて映像再生フラグも「オフ」に変更する。前記ステップS52の処理後、CPU17aは、ステップS53にて、表示器14を通常表示モードに戻す。これにより、以降は、図3のパネル設定ルーチンのステップS33の処理により、前述した楽曲の流れが表示器14に表示されるようになる。
【0079】
このようにして、楽曲再生フラグ及び映像再生フラグが共に「オフ」に設定されると、楽曲・映像処理ルーチンのステップS41,S58にて共に「No」と判定されて、ステップS44〜S47からなる曲データの再生処理及びステップS60,S61の映像データの再生処理が実行されないので、曲データの再生動作及び映像データの再生動作が終了する。
【0080】
また、映像再生フラグが「オン」である状態で、ユーザが映像データの再生を停止させるためのパネル操作子13を操作すると、CPU17aは、図3のパネル設定ルーチンのステップS21にて「Yes」と判定し、ステップS22の判定処理によりステップ31の映像再生指示ルーチン(図12)をふたたび実行する。この場合、映像再生フラグは「オン」であるので、CPU17aは、図12の影像再生指示ルーチンのステップS501にて「No」と判定して、ステップS513にて映像再生フラグを「オフ」に変更し、前記図13のステップS53と同様になステップS514の処理により、表示器14を通常表示モードに戻す。前記ステップS514の処理後、CPU17aは、ステップS515にて楽曲再生フラグも「オフ」に変更して、ステップS516にてこの映像再生指示ルーチンの実行を終了する。したがって、この場合には、ユーザの操作により、映像データの再生動作及び曲データの再生動作が終了する。
【0081】
<その他の指示>
さらに、その他の指示のためのパネル操作子13が操作されると、CPU17aは、図3のステップS22の判定処理により、ステップS32にてその他の処理を実行する。このその他の処理の中には、前記図10のステップS402,S403の処理により用いた楽曲再生開始位置及び楽曲再生終了位置を前後にずらすための所定量に対応した時間値の設定などが含まれる。
【0082】
上記のように構成した実施形態によれば、ユーザが、図8の区間指定ルーチンを実行させた後に、図10の録画指示ルーチンを実行させれば、図13の楽曲・映像処理ルーチンの実行により、指定された区間の曲データが再生されるとともに、電子カメラ11によって撮影された映像データが、RAM17c及び/又は記憶装置18に、指定された区間を対応させるとともに楽曲の進行位置に対応させて記憶される。この場合、曲データは図4の楽曲選択ルーチンによって選択された楽曲に関する曲データである。そして、指定される区間は、図6の自動区分ルーチンの実行によって分割された区間又は予め分割されていた複数の区間のうちのいずれかである。そして、図8の区間指定ルーチンの実行により、複数の区間にわたる楽曲の一部又は楽曲全体を指定して、図12の映像再生指示ルーチンを実行させれば、図13の楽曲・映像ルーチンの実行により、RAM17cに記憶されている映像データが、楽曲の再生に同期して連続的に再生される。したがって、上記実施形態によれば、長い楽曲に関する撮影であっても、短い区間ごとに映像が撮影可能になるとともに、短い区間ごとに撮影した映像を全体を通して確認することができ、長い楽曲に対しても楽曲全体に渡る映像データを簡単に作成できる。
【0083】
また、前記図10の録画指示ルーチンの区間の指定処理では、ステップS402,S403の処理により、楽曲再生開始位置は指定された区間の開始位置よりも若干量だけ前側に設定されるとともに、楽曲再生修了位置は指定された区間の終了位置よりも若干量だけ後側に設定される。これにより、楽曲の再生区間は、指定された区間の長さよりも所定量だけ長い区間となり、図13の楽曲・映像処理ルーチンの実行により、この長くなった範囲内の曲データが再生される。これにより、指定された区間内にちょうど納まるように撮影の開始時点及び終了時点を指定することが難しくても、楽曲の再生区間は指定区間よりも広いので、ユーザにとって撮影の開始時点及び終了時点と前記楽曲の区間を合わせ易くなる。特に、撮影の開始時点においては、楽曲が撮影開始前から再生されているので、ユーザは撮影の開始時点を正確に楽曲の先頭開始時点に合わせ易くなる。
【0084】
また、前記RAM17c及び/又は記憶装置18に記憶された映像データは、図11の録画データ加工ルーチンのステップS457,S458の処理により、録画データ(映像データ)は時間軸の前後方向にユーザの意図する量だけ移動される。すなわち、記憶された録画データの楽曲の進行位置に対する対応関係が、前後にずらされる。したがって、映像の撮影時にユーザによる撮影の開始時点及び終了時点と楽曲の区間とを高精度で合わせることができなくても、この録画データの加工処理により、ユーザは、映像データのタイミングを楽曲の区間に簡単に高精度で合わせることができる。
【0085】
また、上記実施形態においては、同一の区間を指定した状態で、図10の録画指示ルーチンを繰り返し実行させることにより、図13の楽曲・映像処理ルーチンの繰り返し実行により、RAM17c及び/又は記憶装置18には、一つの区間に対して、複数の映像データが記憶される。そして、図11の録画データ加工ルーチンのステップS453,454の処理により、前記一つの区間に記憶された複数の映像データ(録画データ)のいずれか一つが最良の録画データとして選択される。これによれば、一つの区間に対して、複数回の撮影を行い、気に入ったものを採用することにより、作品としての完成度が高くなる。また、図11の録画データ加工ルーチンのステップS455,S456の処理により、不必要な録画データは消去される。これによれば、撮影が不完全なものを廃棄することにより、後の編集作業が楽になる。
【0086】
また、上記実施形態においては、図9のシナリオ設定ルーチンの実行により、各区間の映像の撮影のためのシーンを示唆する一つ又は複数の絵コンテを表す絵コンテデータがRAM17c及び/又は記憶装置18に記憶される。そして、図3のパネル設定ルーチンのステップS33の処理及び図13の楽曲・映像処理ルーチンのステップS54,S55の処理により、表示器14に絵コンテが表示される。特に、前記ステップS54、S55の処理により、曲データの再生に同期して絵コンテが順次切換え表示される。この場合、絵コンテ内には、図19に示すように説明文も含まれている。これによれば、絵コンテにより撮影の指針が示されるので、間違った映像を撮影することなく、意図どおりの映像の撮影をし易くなる。
【0087】
また、上記実施形態においては、図13の楽曲・映像処理ルーチンのステップS59,S62の処理により、録画データの再生の際に、録画データ(映像データ)が記憶されていない区間(又は区間内の一部の時間部分)に関しては、録画データの代わりに絵コンテが表示される。これにより、複数の区間、例えば曲全体にわたって、記憶した録画データを連続して再生する場合に、録画データが記憶されていない区間(又は区間内の一部の時間部分)があっても、前記区間(又は区間内の一部の時間部分)に関しては絵コンテが表示される。したがって、記憶した映像を確認する場合に、再生区間の全てにわたって全体の流れを視認できるようになり、この映像記録装置の使い勝手が良好となる。
【0088】
さらに、本発明の実施にあたっては、上記実施形態に限定されるものではなく、本発明の目的を逸脱しない限りにおいて種々の変更が可能である。
【0089】
上記実施形態においては、マイクロフォン12の動作に関しては説明しなかったが、マイクロフォン12によってピックアップされた周囲の音声信号も影像データに同期させて記録するようにしてもよい。そして、録画データの再生の際にも、録画データの再生に同期させて音声信号を再生するとよい。
【0090】
また、上記実施形態では、楽曲の再生に関して、演奏データからなる曲データを再生して楽曲を構成する楽音を発音させるようにした。しかし、これに代え又は加えて、楽器の演奏音、歌声などからなるオーディオ信号を記録しておいて、記録しておいたオーディオ信号を再生するようにしてもよい。オーディオ信号としては、ディジタル信号でもアナログ信号でもよい。
【0091】
さらに、上記実施形態においては、区間内に録画データ(映像データ)がない場合には、映像データによる映像に代えて、絵コンテを表示器14に表示するようにした。しかし、これに代えて、前記のように録画データがない場合には、曲データの再生のみ続行するか、曲データの再生も終了させるようにしてもよい。
【図面の簡単な説明】
【0092】
【図1】本発明の一実施形態に係る映像記録装置の全体ブロック図である。
【図2】図1のコンピュータ部により実行されるメインプログラムを示すフローチャートである。
【図3】前記メインプログラム中のパネル設定ルーチンの詳細を示すフローチャートである。
【図4】前記パネル設定ルーチン中の楽曲選択ルーチンの詳細を示すフローチャートである。
【図5】前記パネル設定ルーチン中の楽曲再生ルーチンの詳細を示すフローチャートである。
【図6】前記パネル設定ルーチン中の自動区分ルーチンの詳細を示すフローチャートである。
【図7】前記パネル設定ルーチン中の分割位置更新ルーチンの詳細を示すフローチャートである。
【図8】前記パネル設定ルーチン中の区間指定ルーチンの詳細を示すフローチャートである。
【図9】前記パネル設定ルーチン中のシナリオ設定ルーチンの詳細を示すフローチャートである。
【図10】前記パネル設定ルーチン中の録画指示ルーチンの詳細を示すフローチャートである。
【図11】前記パネル設定ルーチン中の録画データ加工ルーチンの詳細を示すフローチャートである。
【図12】前記パネル設定ルーチン中の映像再生指示ルーチンの詳細を示すフローチャートである。
【図13】前記メインプログラム中の楽曲・映像処理ルーチンの詳細を示すフローチャートである。
【図14】カウント値更新プログラムを示すフローチャートである。
【図15】曲データのフォーマット図である。
【図16】映像データの記録フォーマット図である。
【図17】楽曲の流れの表示画面を表す図である。
【図18】曲データの再生状態を説明するための図である。
【図19】シナリオを構成する絵コンテの内容を表す図である。
【符号の説明】
【0093】
11…電子カメラ、12…マイクロフォン、13…パネル操作子、14…表示器、15…音源回路、17…コンピュータ部、18…記憶装置、19…インターフェース回路


【特許請求の範囲】
【請求項1】
映像を撮影する撮影手段を有し、前記撮影手段によって撮影された映像を表す映像データを楽曲の流れに合わせて記録する映像記録装置において、
複数の区間に分けられた楽曲中の一つの区間を指定する区間指定手段と、
前記指定された区間の楽曲を再生する楽曲再生手段と、
前記楽曲再生手段によって楽曲を再生させながら前記撮影手段によって撮影された映像を表す映像データを、前記指定された区間に対応させるとともに楽曲の進行位置に対応させて記憶する映像記憶手段と、
前記区間ごとに記憶された複数の区間の映像データを、複数の区間にわたる楽曲の再生と同時に連続的に再生する映像再生手段とを備えた映像記録装置。
【請求項2】
前記請求項1に記載の映像記録装置において、
前記楽曲再生手段は、前記指定された区間の長さよりも所定量だけ長い区間内の楽曲を再生するものである映像記録装置。
【請求項3】
前記請求項2に記載の映像記録装置において、さらに、
前記区間ごとに記憶された映像データと楽曲の進行位置との対応関係を前後にずらすデータ加工手段を備えた映像記録装置。
【請求項4】
前記請求項1乃至3のうちのいずれか一つに記載の映像記録装置において、
前記映像記憶手段は、複数の映像データを一つの区間に対応させて記憶することができるものであり、さらに、
前記一つの区間に記憶された複数の映像データのうちのいずれか一つを選択する選択手段を備えた映像記録装置。
【請求項5】
前記請求項1乃至4のうちのいずれか一つに記載の映像記録装置において、さらに
各区間の映像の撮影のためのシーンを示唆する一つ又は複数の絵コンテを表す絵コンテデータを前記各区間ごとに記憶する絵コンテデータ記憶手段と、
前記区間ごとに記憶された絵コンテデータに基づいて、映像の撮影時に楽曲の再生に連動して絵コンテを表示する絵コンテ表示手段とを備えた映像記録装置。
【請求項6】
前記請求項5に記載の映像記録装置において、
前記再生手段は、映像データが記憶されていない区間において、前記区間に対応して記憶されている絵コンテデータに基づいて、映像データの代わりに絵コンテを表示する絵コンテ挿入手段を有するものである映像記録装置。
【請求項7】
映像を撮影する撮影手段を有し、前記撮影手段によって撮影された映像を表す映像データを楽曲の流れに合わせて記録する映像記録装置に適用され、映像記録装置内のコンピュータに、
複数の区間に分けられた楽曲中の一つの区間を指定する区間指定工程と、
前記指定された区間の楽曲を再生する楽曲再生工程と、
前記楽曲再生工程によって楽曲を再生させながら前記撮影手段によって撮影された映像を表す映像データを、前記指定された区間に対応させるとともに楽曲の進行位置に対応させて記憶する映像記憶工程と、
前記区間ごとに記憶された複数の区間の映像データを、複数の区間にわたる楽曲の再生と同時に連続的に再生する映像再生工程とを実行させるコンピュータプログラム。

【図1】
image rotate

【図2】
image rotate

【図3】
image rotate

【図4】
image rotate

【図5】
image rotate

【図6】
image rotate

【図7】
image rotate

【図8】
image rotate

【図9】
image rotate

【図10】
image rotate

【図11】
image rotate

【図12】
image rotate

【図13】
image rotate

【図14】
image rotate

【図15】
image rotate

【図16】
image rotate

【図17】
image rotate

【図18】
image rotate

【図19】
image rotate


【公開番号】特開2010−103659(P2010−103659A)
【公開日】平成22年5月6日(2010.5.6)
【国際特許分類】
【出願番号】特願2008−271552(P2008−271552)
【出願日】平成20年10月22日(2008.10.22)
【出願人】(000004075)ヤマハ株式会社 (5,930)
【Fターム(参考)】