時系列データの生成動作および加工処理を制御するためのデータ処理装置およびプログラム
【課題】 楽曲データが予め時系列的な処理指示データを伴わない場合であっても、当該楽曲データにより示される楽曲の演奏に伴い表示される画像等を示すデータの加工処理および生成処理の指示を、適切なタイミングで自動的に行わせることを可能とする。
【解決手段】 特徴検出部２０３２は、演奏制御データにより示される楽曲の特徴箇所を検出し、特徴箇所の内容およびタイミングを示す特徴シーケンスデータを指示データ選択部２０３３に送信する。指示データ選択部２０３３は、特徴シーケンスデータに応じて、画像データの加工処理等の内容およびタイミングを示す指示シーケンスデータを指示データ生成部２０３４に送信する。指示データ生成部２０３４は、指示シーケンスデータに含まれるタイミングデータにより示されるタイミングで、指示データを画像データ加工処理部２０２４等に送信する。
【解決手段】 特徴検出部２０３２は、演奏制御データにより示される楽曲の特徴箇所を検出し、特徴箇所の内容およびタイミングを示す特徴シーケンスデータを指示データ選択部２０３３に送信する。指示データ選択部２０３３は、特徴シーケンスデータに応じて、画像データの加工処理等の内容およびタイミングを示す指示シーケンスデータを指示データ生成部２０３４に送信する。指示データ生成部２０３４は、指示シーケンスデータに含まれるタイミングデータにより示されるタイミングで、指示データを画像データ加工処理部２０２４等に送信する。
【発明の詳細な説明】
【技術分野】
【０００１】
本発明は、時系列データの生成処理および加工処理を制御するためのデータ処理技術に関する。
【背景技術】
【０００２】
楽曲の演奏音と演奏時の映像をプロモーションビデオとして記録する際に、視聴者をより楽しませるプロモーションビデオを自動生成するための技術がある。例えば、特許文献１には、カラオケ楽曲に対応して予め準備されたカメラ制御データに従い、歌唱者等を撮影するためのカメラの方向および焦点距離を自動制御するカラオケ装置が開示されている。
【特許文献１】特開２００２−３１８５８８号公報
【発明の開示】
【発明が解決しようとする課題】
【０００３】
従来技術による場合、楽曲に適したタイミングで自動的にカメラ制御等がなされるためには、予め楽曲データに対応したカメラ制御データ等の時系列的な処理指示データが準備されている必要があった。
【０００４】
上記の状況に鑑み、本発明は、楽曲データが予め時系列的な処理指示データを伴わない場合であっても、当該楽曲データにより示される楽曲の演奏に伴い表示される画像等を示すデータの生成動作制御および加工処理の指示を、適切なタイミングで自動的に行わせることを可能とする手段を提供することを目的とする。
【課題を解決するための手段】
【０００５】
上記課題を達成するために、本発明は、楽曲データを記憶する記憶手段と、前記楽曲データに基づいて、前記楽曲データにより再生される楽曲における特徴箇所を検出する検出手段と、前記楽曲データを楽曲として再生する再生手段と、前記再生手段による前記楽曲データの再生中に視聴覚データを受信する視聴覚データ受信手段と、前記楽曲における前記特徴箇所の発生タイミングに合わせて、前記視聴覚データに加工処理を施す加工手段とを備えることを特徴とするデータ処理装置を提供する。
【０００６】
かかる構成のデータ処理装置によれば、ユーザは楽曲データにより再生される楽曲に応じた適切なタイミングで、当該楽曲の演奏に伴い受信される視聴覚データの加工処理を自動的に行わせることができる。
【０００７】
好ましい態様において、上記データ処理装置の前記記憶手段は、前記視聴覚データに対する加工処理の内容を示す１以上の指示データを記憶し、前記検出手段は、前記特徴箇所の種別を示す特徴データを生成し、前記加工手段は、前記楽曲における前記特徴箇所の発生タイミングに合わせて、前記視聴覚データに、前記１以上の指示データのうち前記特徴データに応じた指示データにより示される内容の加工処理を施す構成としてもよい。
【０００８】
かかる構成のデータ処理装置によれば、ユーザは楽曲における特徴箇所の種別に応じて、視聴覚データに対し、適切な内容の加工処理を行わせることができる。
【０００９】
また、本発明は、楽曲データと、前記楽曲データにより再生される楽曲における特徴箇所の発生タイミングを示すタイミングデータと、前記特徴箇所の種別を示す特徴データと、視聴覚データに対する加工処理の内容を示す１以上の指示データを記憶する記憶手段と、前記楽曲データを楽曲として再生する再生手段と、前記再生手段による前記楽曲データの再生中に視聴覚データを受信する視聴覚データ受信手段と、前記タイミングデータにより示される前記楽曲におけるタイミングに合わせて、前記視聴覚データに、前記１以上の指示データのうち前記特徴データに応じた指示データにより示される内容の加工処理を施す加工手段とを備えることを特徴とするデータ処理装置を提供する。
【００１０】
かかる構成のデータ処理装置によれば、ユーザは楽曲データによる楽曲の再生中において受信される視聴覚データに対し、楽曲データに伴うタイミングデータに応じた適切なタイミングで、楽曲データに伴う特徴データの種別に応じた適切な加工処理を自動的に行わせることができる。
【００１１】
好ましい態様において、上記のデータ処理装置の前記記憶手段は、前記１以上の指示データの組を複数組、記憶し、前記加工手段は、前記複数組から選択された１組に含まれる指示データに従って、前記加工処理を行う構成としてもよい。
【００１２】
かかる構成のデータ処理装置によれば、楽曲の属性やユーザの指示に応じたグループに属する指示データに従い処理が行われる結果、ユーザは視聴覚データに対するより適切な加工処理を行わせることができる。
【００１３】
また、他の好ましい態様において、上記のデータ処理装置の前記加工手段は、前記再生手段による前記楽曲データの再生速度の変化に応じて、前記加工処理のタイミングおよび前記加工処理の速度の少なくとも一方を変化させる構成としてもよい。
【００１４】
かかる構成のデータ処理装置によれば、例えばユーザにより楽曲の再生速度に変更が加えられた場合であっても、視聴覚データに対する加工処理のタイミングおよび速度が楽曲の進行とずれることがない。
【００１５】
また、本発明は、楽曲データを記憶する記憶手段と、前記楽曲データを楽曲として再生する再生手段と、前記再生手段により再生された楽曲を示すデータに基づいて、前記楽曲における特徴箇所を検出する検出手段と、前記再生手段による前記楽曲データの再生中に視聴覚データを受信する視聴覚データ受信手段と、前記楽曲における前記特徴箇所の発生タイミングに合わせて、前記視聴覚データに加工処理を施す加工手段とを備えることを特徴とするデータ処理装置を提供する。
【００１６】
かかる構成のデータ処理装置によっても、ユーザは楽曲データにより再生される楽曲に応じた適切なタイミングで、当該楽曲の演奏に伴い受信される視聴覚データの加工処理を自動的に行わせることができる。
【００１７】
また、本発明は、上記のデータ処理装置と同様の効果をもたらすシステムを実現するための、楽曲データを再生するデータ処理装置を提供する。
【００１８】
すなわち、本発明は、楽曲データを記憶する記憶手段と、前記楽曲データに基づいて、前記楽曲データにより再生される楽曲における特徴箇所を検出する検出手段と、前記楽曲データを楽曲として再生する再生手段と、前記楽曲における前記特徴箇所の発生タイミングに合わせて、特徴箇所の発生を示す発生データを送信する発生データ送信手段とを備えることを特徴とするデータ処理装置を提供する。
【００１９】
また、本発明は、楽曲データと、視聴覚データに対する加工処理もしくは視聴覚データの生成動作制御の内容を示す指示データを記憶する記憶手段と、前記楽曲データに基づいて、前記楽曲データにより再生される楽曲における特徴箇所を検出し、前記特徴箇所の種別を示す特徴データを生成する検出手段と、前記楽曲データを楽曲として再生する再生手段と、前記楽曲における前記特徴箇所の発生タイミングに合わせて、前記１以上の指示データのうち前記特徴データに応じた指示データを送信する指示データ送信手段とを備えることを特徴とするデータ処理装置を提供する。
【００２０】
また、本発明は、楽曲データと、前記楽曲データにより再生される楽曲における特徴箇所の発生タイミングを示すタイミングデータと、前記特徴箇所の種別を示す特徴データと、視聴覚データに対する加工処理もしくは視聴覚データの生成動作制御の内容を示す１以上の指示データを記憶する記憶手段と、前記楽曲データを楽曲として再生する再生手段と、前記タイミングデータにより示される前記楽曲におけるタイミングに合わせて、前記１以上の指示データのうち前記特徴データに応じた指示データを送信する指示データ送信手段とを備えることを特徴とするデータ処理装置を提供する。
【００２１】
好ましい態様において、上記のデータ処理装置は、前記再生手段による前記楽曲データの再生速度の変化に応じて、前記１以上の指示データの各々により示される加工処理もしくは生成動作制御の速度が変化するように、前記１以上の指示データのうち、少なくとも１の指示データに変更を加える変更手段を備えるように構成してもよい。
【００２２】
また、他の好ましい態様において、上記のデータ処理装置は、前記再生手段による前記楽曲データの再生速度の変化に応じて、前記タイミングデータに変更を加える変更手段を備えるように構成してもよい。
【００２３】
また、さらに他の好ましい態様において、上記のデータ処理装置の前記記憶手段は、前記１以上の指示データの組を複数組、記憶し、前記指示データ送信手段は、前記複数組から選択された１組に含まれる指示データに従って、前記送信を行う構成としてもよい。
【００２４】
また、本発明は、上記のデータ処理装置と同様の効果をもたらすシステムを実現するための、視聴覚データに加工処理を施すデータ処理装置を提供する。
【００２５】
すなわち、本発明は、楽曲データを記憶する記憶手段と、前記楽曲データに基づいて、前記楽曲データにより再生される楽曲における特徴箇所を検出し、前記特徴箇所の種別を示す特徴データを生成する検出手段と、前記楽曲データを楽曲として再生する再生手段と、前記楽曲における前記特徴箇所の発生タイミングに合わせて、前記特徴データを送信する特徴データ送信手段とを備えることを特徴とするデータ処理装置を提供する。
【００２６】
また、本発明は、視聴覚データに対する加工処理の内容を各々示す１以上の指示データを記憶する記憶手段と、楽曲における特徴箇所の種別を示す特徴データを受信する特徴データ受信手段と、視聴覚データを受信する視聴覚データ受信手段と、前記特徴データを受信したタイミングに合わせて、前記視聴覚データに、前記１以上の指示データのうち受信した特徴データに応じた指示データにより示される内容の加工処理を施す加工手段とを備えることを特徴とするデータ処理装置を提供する。
【００２７】
好ましい態様において、上記のデータ処理装置の前記記憶手段は、前記１以上の指示データの組を複数組、記憶し、前記加工手段は、前記複数組から選択された１組に含まれる指示データに従って、前記加工処理を行う構成としてもよい。
【００２８】
また、本発明は、上記の楽曲データを再生するデータ処理装置と組み合わせることにより、楽曲の演奏に応じた適切なタイミングで適切な内容の視聴覚データの生成動作制御を行うデータ処理装置を提供する。
【００２９】
すなわち、本発明は、視聴覚データの生成動作制御の内容を各々示す１以上の指示データを記憶する記憶手段と、楽曲における特徴箇所の種別を示す特徴データを受信する特徴データ受信手段と、前記特徴データを受信したタイミングに合わせて、前記１以上の指示データのうち受信した特徴データに応じた指示データにより示される内容に従い、視聴覚データ生成装置の動作制御を行う動作制御手段とを備えることを特徴とするデータ処理装置を提供する。
【００３０】
好ましい態様において、上記のデータ処理装置の前記記憶手段は、前記１以上の指示データの組を複数組、記憶し、前記動作制御手段は、前記複数組から選択された１組に含まれる指示データに従って、前記動作制御を行う構成としてもよい。
【００３１】
また、本発明は、既に記憶されている視聴覚データに対し、当該視聴覚データに伴う楽曲データにより再生される楽曲の内容に応じた適切な箇所に対する加工処理を行うデータ処理装置を提供する。
【００３２】
すなわち、本発明は、楽曲データと、前記楽曲データによる楽曲の再生と並行して表示されるべき映像もしくは発音されるべき音を示す視聴覚データを記憶する記憶手段と、前記楽曲データに基づいて、前記楽曲における特徴箇所を検出する検出手段と、前記視聴覚データのうち、前記特徴箇所の発生タイミングに応じた部分に加工処理を施す加工手段とを備えることを特徴とするデータ処理装置を提供する。
【００３３】
かかるデータ処理装置によれば、ユーザは過去に記録された楽曲データを伴う視聴覚データのうち、当該楽曲データに応じた適切な箇所に自動的に加工処理を施すことができるため、視聴者をより楽しませることができる視聴覚データを容易に得ることができる。
【００３４】
好ましい態様において、上記のデータ処理装置の前記記憶手段は、前記視聴覚データに対する加工処理の内容を示す１以上の指示データを記憶し、前記検出手段は、前記特徴箇所の種別を示す特徴データを生成し、前記加工手段は、前記視聴覚データのうち、前記特徴箇所の発生タイミングに応じた部分に、前記１以上の指示データのうち当該特徴データに応じた指示データにより示される内容の加工処理を施す構成としてもよい。
【００３５】
かかる構成のデータ処理装置によれば、楽曲データに応じた適切な内容の加工処理が施されるため、視聴者をさらにより楽しませることができる視聴覚データが得られる。
【００３６】
また、さらに好ましい態様において、上記のデータ処理装置の前記記憶手段は、前記１以上の指示データの組を複数組、記憶し、前記加工手段は、前記複数組から選択された１組に含まれる指示データに従って、前記加工処理を行う構成としてもよい。
【００３７】
かかる構成のデータ処理装置によれば、楽曲の属性やユーザの指示に応じたグループに属する指示データに従い処理が行われる結果、ユーザはより適切な加工処理の施された視聴覚データを得ることができる。
【００３８】
また、本発明は、既に記憶されている楽曲データに対し、当該楽曲データにより再生される楽曲の内容に応じた適切な箇所に対する加工処理を行うデータ処理装置を提供する。
【００３９】
すなわち、本発明は、楽曲データを記憶する記憶手段と、前記楽曲データに基づいて、前記楽曲データにより再生される楽曲における特徴箇所を検出する検出手段と、前記楽曲データのうち、前記特徴箇所の発生タイミングに応じた部分に加工処理を施す加工手段とを備えることを特徴とするデータ処理装置を提供する。
【００４０】
かかるデータ処理装置によれば、ユーザは過去に記録された楽曲データのうち、当該楽曲データに応じた適切な箇所に自動的に加工処理を施すことができるため、視聴者をより楽しませることができる楽曲データを容易に得ることができる。
【００４１】
好ましい態様において、上記のデータ処理装置の前記記憶手段は、前記楽曲データに対する加工処理の内容を示す１以上の指示データを記憶し、前記検出手段は、前記特徴箇所の種別を示す特徴データを生成し、前記加工手段は、前記楽曲データのうち、前記特徴箇所の発生タイミングに応じた部分に、前記１以上の指示データのうち当該特徴データに応じた指示データにより示される内容の加工処理を施す構成としてもよい。
【００４２】
かかる構成のデータ処理装置によれば、楽曲データに応じた適切な内容の加工処理が施されるため、視聴者をさらにより楽しませることができる楽曲データを得ることができる。
【００４３】
また、さらに好ましい態様において、上記のデータ処理装置の前記記憶手段は、前記１以上の指示データの組を複数組、記憶し、前記加工手段は、前記複数組から選択された１組に含まれる指示データに従って、前記加工処理を行う構成としてもよい。
【００４４】
かかる構成のデータ処理装置によれば、楽曲の属性やユーザの指示に応じたグループに属する指示データに従い処理が行われる結果、ユーザはより適切な加工処理の施された楽曲データを得ることができる。
【００４５】
また、本発明は、上述した各々のデータ処理装置による処理をコンピュータに実行させることを特徴とするプログラムを提供する。
【発明を実施するための最良の形態】
【００４６】
［１．第１実施形態］
［１．１．カラオケシステムの構成］
図１は、本発明の第１実施形態にかかるシステム（以下、「カラオケシステム１」と呼ぶ）の構成を示している。カラオケシステム１は、カラオケ装置１０、カラオケ装置１０に対しユーザが指示を与えるためのコントローラ１１、ユーザの声を拾音しその声を示す音信号をカラオケ装置１０に出力するマイク１２ａおよびマイク１２ｂ、カラオケ装置１０から出力される音信号を増幅するアンプ１３、アンプ１３から出力される音信号を音に変換し出力するスピーカ１４、撮像した映像を示す画像データを順次生成し出力するビデオカメラ１５ａ〜ｅおよびハンドカメラ１６、ビデオカメラ１５ａ〜ｅの位置および方向をモータ等により各々変化させるカメラ移動装置１７ａ〜ｅ、ビデオカメラ１５ｂ〜ｅの各々から入力される画像データの品質を評価し品質の良好な画像データを選択してカラオケ装置１０に出力するセレクタ１８、カラオケ装置１０から出力される画像データに従い画像表示を行うディスプレイ１９ａおよびｂ、そしてカラオケ装置１０から出力されるデータをフラッシュメモリ等の記憶媒体に記憶するメディアドライブ２０を備えている。また、カラオケ装置１０はインターネット２１に接続されている。
【００４７】
カラオケシステム１は、上記のようにマイク１２、ビデオカメラ１５、カメラ移動装置１７およびディスプレイ１９をそれぞれ複数備えているが、以下、複数の同種の構成部を区別する必要がない場合には、単にマイク１２のように呼ぶ。また、カラオケシステム１が備えるマイク１２等の数は例示であり、自由に変更可能である。さらに、例えばスピーカ１４を複数設けるなど、他の構成部の数も自由に変更可能である。
【００４８】
図２はカラオケシステム１がカラオケルームに設置された様子を示している。マイク１２ａおよびマイク１２ｂはそれぞれメインマイクおよびサブマイクであり、歌唱者が１人の場合はメインマイクのみが用いられ、歌唱者が２人の場合にはメインマイクとサブマイクが用いられる。ビデオカメラ１５ａはメインカメラであり、主として歌唱者を撮像する。一方、ビデオカメラ１５ｂ〜ｅはいずれもサブカメラであり、主として観衆をそれぞれ異なる角度から撮像する。ディスプレイ１９ａは主として歌唱者に対する表示を行う。一方、ディスプレイ１９ｂは主として観衆に対する表示を行う。
【００４９】
図１に戻り、カラオケ装置１０の構成を説明する。カラオケ装置１０は記憶部１０１、入出力Ｉ／Ｆ（Ｉｎｔｅｒｆａｃｅ）１０２および制御部１０３を備えている。記憶部１０１は、制御部１０３による各種処理を指示するプログラムを予め記憶し、また制御部１０３により生成されるデータを一時的に記憶する。さらに、記憶部１０１は予め、複数のカラオケデータ１０１１、汎用画像ソースＤＢ（データベース）１０１２および指示ＤＢ１０１３を記憶している。
【００５０】
以下、記憶部１０１に記憶される各種データを説明する。図３は、カラオケデータ１０１１の構成を模式的に示している。カラオケデータ１０１１は、カラオケ楽曲の自動演奏および歌詞表示を指示するデータである。カラオケデータ１０１１には、含まれるデータの構成により複数の種類があり、図３において、それらの各々をカラオケデータ１０１１ａ〜ｆとして示している。
【００５１】
カラオケデータ１０１１ａ〜ｆのいずれも、管理データ、演奏制御データおよび歌詞データを含んでいる。管理データは、カラオケデータを識別するための識別番号、楽曲名および楽曲ジャンル名を示すデータである。
【００５２】
演奏制御データは、カラオケ楽曲の自動演奏を指示するデータであり、例えばＳＭＦ（Ｓｔａｎｄａｒｄ ＭＩＤＩ Ｆｉｌｅ）形式のデータである。図４は、演奏制御データの内容を例示している。ただし、図４においては、説明のため、ＳＭＦの表現形式を簡便化している。演奏制御データは、互いに対応付けられたタイミングデータとイベントデータからなるタイミング付イベントデータを複数、含んでいる。タイミングデータは、楽曲におけるタイミングを示すデータである。演奏制御データに含まれるイベントデータは、楽音の発音に関する指示もしくは楽曲における調子等の付随的な情報を示すデータである。
【００５３】
例えば、［０ｈ００ｍ０１ｓ２５０ｍｓ］−［ノートオン：１ｃｈ：Ｄ４：７４］は、楽曲の演奏開始から１秒２５０ミリ秒後に第１のチャンネルに割り当てられた音色の音高Ｄ４の楽音を、音強７４で発音することを指示している。ここで、チャンネルとは楽曲に含まれる個々の演奏パートのことである。また、例えば［０ｈ００ｍ０４ｓ１３０ｍｓ］−［コード：Ｂｍ］は、楽曲の演奏開始から４秒１３０ミリ秒後に楽曲全体に関しコードがＢｍに変化することを示している。
【００５４】
歌詞データは、カラオケ楽曲の歌詞表示を指示するデータである。図５は、歌詞データの内容を例示している。歌詞データは、演奏制御データと同様に複数のタイミング付イベントデータを含んでいる。例えば、［０ｈ００ｍ１２ｓ１５０ｍｓ］−［表示：さ：（１２０，１８０）：赤］は、楽曲の演奏開始から１２秒１５０ミリ秒後に画面上の座標（１２０，１８０）の位置に「さ」という文字を赤で表示させることを指示している。
【００５５】
カラオケデータ１０１１ｂおよびｅは、さらに特徴シーケンスデータを含んでいる。特徴シーケンスデータは、楽曲における特徴箇所を示すデータである。楽曲における特徴箇所とは、イントロや第１メロディ等の楽曲に含まれるセクションの区切り箇所、転調箇所、リズムの変化箇所、強拍（ビート）箇所、小節区切り箇所等である。図６は、特徴シーケンスデータの内容を例示している。特徴シーケンスデータは、演奏制御データと同様に複数のタイミング付イベントデータを含んでいる。例えば、［０ｈ０１ｍ１０ｓ４８０ｍｓ］−［イントロ→第１メロディ］は、楽曲の演奏開始から１分１０秒４８０ミリ秒後にイントロと第１メロディの区切り箇所があることを示している。以下、特徴シーケンスデータに含まれるイベントデータのように、楽曲の特徴箇所の種別を示すイベントデータを特徴データと呼ぶ。
【００５６】
一方、カラオケデータ１０１１ｃおよびｆは、指示シーケンスデータを含んでいる。指示シーケンスデータは、楽曲の演奏に伴い撮像される映像を示す画像データの加工処理、楽曲の演奏に伴う撮像におけるビデオカメラ１５およびカメラ移動装置１７の動作制御、そして楽曲の演奏に伴い拾音される音を示す音データの加工処理を指示するデータである。図７は、指示シーケンスデータの内容を例示している。指示シーケンスデータは、画像データの加工処理に関する画像加工指示シーケンスデータと、撮像における動作制御に関する動作制御指示シーケンスデータと、音データの加工処理に関する音加工指示シーケンスデータを含んでいる。画像加工指示シーケンスデータ、動作制御指示シーケンスデータおよび音加工指示シーケンスデータの各々は、演奏制御データと同様に複数のタイミング付イベントデータを含んでいる。
【００５７】
例えば、［０ｈ００ｍ１４ｓ１５０ｍｓ］−［窓表示：大：中央：メインカメラ］は、楽曲の演奏開始から１４秒１５０ミリ秒後に、背景となる画面の中央に大きさ「大」の窓を表示させ、その窓にメインカメラから入力される映像を表示させるスーパーインポーズ処理を指示する画像加工に関するタイミング付イベントデータである。また、［０ｈ００ｍ１４ｓ１５０ｍｓ］−［メインマイク：ディレイ：０．５秒］は、楽曲の演奏開始から１４秒１５０ミリ秒後に、メインカメラから入力される音を示す音データに対する０．５秒のディレイ処理を指示する音加工に関するタイミング付イベントデータである。
【００５８】
また、［０ｈ００ｍ１４ｓ１５０ｍｓ］−［サブカメラ：ズームイン：１．２倍：２秒間：終了時点：テンポ固定］は、サブカメラに対し１．２倍のズームイン動作を指示する動作制御に関するタイミング付イベントデータである。また、このイベントデータに含まれる［２秒間：終了時点：テンポ固定］は、ズームイン動作が２秒間で完了する速度で行われ、その処理期間の終了時点がタイミングデータにより指定されるタイミングと一致するように処理の開始タイミングが決定され、さらにその開始タイミングおよび処理速度はユーザによる楽曲の演奏テンポの変更に左右されないことを示している。
【００５９】
以下、指示シーケンスデータに含まれるイベントデータのように、画像データの加工処理、撮像における動作制御および音データの加工処理を指示するイベントデータを指示データと呼ぶ。ところで、画像加工に関する指示データには、予め準備された動画データもしくは静止画データの再生もしくは表示の指示を伴うものがある。例えば、［全画面：モザイク：動画データ再生］は、予め準備された動画データを再生し、その結果得られる画像データをモザイク処理した後、全画面に表示することを指示する指示データである。以下、予め準備された動画データもしくは静止画データを、リアルタイムで撮像される画像データを区別するために、それぞれ動画ソースデータおよび静止画ソースデータと呼ぶ。また、動画ソースデータおよび静止画ソースデータを総称して、画像ソースデータと呼ぶ。カラオケデータ１０１１ｄ〜ｆは、カラオケ楽曲に適する画像ソースデータを予め含んでいる。以上が、カラオケデータ１０１１の構成である。
【００６０】
図８は、記憶部１０１に記憶された汎用画像ソースＤＢ１０１２の内容を例示した図である。汎用画像ソースＤＢ１０１２は、カラオケデータ１０１１が必要な画像ソースデータを含まない場合に利用される画像ソースデータ（以下、「汎用画像ソースデータ」と呼ぶ）を複数格納したデータベースである。汎用画像ソースＤＢ１０１２は、動画を示す汎用画像ソースデータ（以下、「汎用動画ソースデータ」と呼ぶ）を格納する汎用動画ソースＤＢと、静止画を示す汎用画像ソースデータ（以下、「汎用静止画ソースデータ」と呼ぶ）を格納する汎用静止画ソースＤＢとを含んでいる。汎用動画ソースＤＢには、汎用画像ソースデータとともに、それらが用いられるのに適する楽曲のジャンルを示すデータが記憶されている。汎用静止画ソースＤＢも同様である。
【００６１】
図９は、記憶部１０１に記憶された指示ＤＢ１０１３の内容を例示した図である。指示ＤＢ１０１３は、カラオケデータ１０１１が指示シーケンスデータを含まない場合に利用される指示データを複数格納したデータベースである。指示ＤＢ１０１３は、画像データの加工処理、撮像における動作制御および音データの加工処理の各々に関する指示データを格納するデータベースとして、画像加工指示ＤＢ、動作制御指示ＤＢおよび音加工指示ＤＢを含んでいる。画像加工指示ＤＢ、動作制御指示ＤＢおよび音加工指示ＤＢは、各指示データとともに、それらが用いられるのに適する楽曲のジャンルを示す楽曲ジャンル名と、それらが用いられるのに適する楽曲の特徴箇所を示す適用箇所名を各指示データに対応付けて格納している。以下、楽曲ジャンル名および適用箇所名が対応付けられた指示データを属性付指示データと呼ぶ。画像加工指示ＤＢ、動作制御指示ＤＢおよび音加工指示ＤＢの各々は、同じ楽曲ジャンル名および適用箇所名を含むが、指示データの内容が異なる属性付指示データを複数、含むことができる。
【００６２】
例えば、［ロック］−［短調→長調］−［ディゾルブ：サブカメラ←→メインカメラ：３秒間：中間時点：テンポ調整］は、楽曲のジャンルがロックである楽曲において、短調から長調に転調する箇所で、ディゾルブ処理を行いながらサブカメラとメインカメラの表示位置を入れ替えることを指示している。また、この指示データに含まれる［３秒間：中間時点：テンポ調整］は、ディゾルブ処理が３秒間で完了する速度で行われ、その処理期間の中間時点が特徴箇所のタイミングと一致するように処理の開始タイミングが決定され、さらにその開始タイミングおよび処理速度はユーザによる楽曲の演奏テンポの変更に応じて調整されることを示している。また、図９の画像加工指示ＤＢにおける２行目のデータ例のように、指示ＤＢ１０１３は、同時に行われるべき処理を指示する複数の指示データを含む属性付指示データを格納することもできる。以上が、記憶部１０１に記憶される各種データである。
【００６３】
図１に戻り、カラオケ装置１０の構成説明を続ける。入出力Ｉ／Ｆ１０２は、カラオケ装置１０に含まれる記憶部１０１および制御部１０３がコントローラ１１、マイク１２、アンプ１３、ビデオカメラ１５ａ、ハンドカメラ１６、カメラ移動装置１７、セレクタ１８、ディスプレイ１９、メディアドライブ２０およびインターネット２１との間でアナログ信号およびデジタルデータの入出力を行うインタフェースである。また、入出力Ｉ／Ｆ１０２はＡ／Ｄ（Ａｎａｌｏｇ ｔｏ Ｄｉｇｉｔａｌ）コンバータおよびＤ／Ａ（Ｄｉｇｉｔａｌ ｔｏ Ａｎａｌｏｇ）コンバータを備えており、必要に応じてアナログ信号とデジタルデータとの間の変換を行う。
【００６４】
制御部１０３は、カラオケデータ１０１１に従いカラオケ楽曲の自動演奏と歌詞表示を行うと同時に、ユーザの映像の撮像を行うためのカメラ移動装置１７およびビデオカメラ１５の動作制御を行う。また、この間、制御部１０３は、ビデオカメラ１５により得られたユーザの歌唱時の映像を示す画像データおよびマイク１２により採取された歌唱音を示す音データに加工処理を施し、それらのデータをビデオデータとして記憶する。
【００６５】
制御部１０３の構成部は、音データの処理に関する音データブロック２０１、画像データの生成および処理に関する画像データブロック２０２および指示データの生成に関する指示データブロック２０３に区分される。また、制御部１０３は発振器（図示略）を備えており、制御部１０３の構成部の処理は発振器により生成されるクロック信号に基づき同期がとられている。
【００６６】
音データブロック２０１は、演奏制御データの再生を行うと同時に、マイク１２からリアルタイムに取得される視聴覚データの一種である音データに加工処理を施すブロックである。音データブロック２０１は、カラオケデータ１０１１に含まれる演奏制御データに従い、演奏制御を行う手段を有する。さらに詳述すると、音データブロック２０１は、演奏制御データにおけるタイミングデータにより示されるタイミングでイベントデータを音源部２０１２に送信する演奏制御データ再生部２０１１と、演奏制御データ再生部２０１１から受信されるイベントデータに従い様々な楽音を示す音データを出力する音源部２０１２を備えている。また、音データブロック２０１は、マイク１２から入力される音を示す音データおよび音源部２０１２から受信される音データの各々に各種エフェクト処理等の加工処理を施した後、それらをミキシング処理して得られる音データをアンプ１３に対し出力する音データ加工処理部２０１３を備えている。
【００６７】
画像データブロック２０２は、音データブロック２０１による演奏制御データの再生と同期し、ビデオカメラ１５等からリアルタイムに取得される視聴覚データの一種である画像データに加工処理を施すブロックである。また、画像データブロック２０２は、ビデオカメラ１５等による画像データの生成動作の制御も行う。画像データブロック２０２は、カラオケデータ１０１１もしくは汎用画像ソースＤＢ１０１２に含まれる動画データを再生することにより映像を示す画像データを順次生成する動画データ再生部２０２１、カラオケデータ１０１１に含まれる歌詞データに従い歌詞表示の画面を示す画像データを順次生成する歌詞画面生成部２０２２、そしてカメラ移動装置１７およびビデオカメラ１５の各々の動作制御を行う撮像動作制御部２０２３を備えている。また、画像データブロック２０２は、動画データ再生部２０２１、歌詞画面生成部２０２２、ビデオカメラ１５ａ、ハンドカメラ１６およびセレクタ１８の各々から受信される画像データと、カラオケデータ１０１１もしくは汎用画像ソースＤＢ１０１２に含まれる静止画データに、各種エフェクト処理等の加工処理を施した後、それらを合成処理して得られる画像データをディスプレイ１９に送信する画像データ加工処理部２０２４を備えている。画像の合成処理には、例えば、ある画像に別の画像をスーパーインポーズする処理や、ある画像から別の画像が透けて見えるように両画像を合成する処理が含まれる。
【００６８】
指示データブロック２０３は、必要に応じて演奏制御データから特徴箇所を検出し、特徴箇所に応じた指示データを画像データ加工処理部２０２４等に送信するブロックである。指示データブロック２０３は、判定部２０３１、特徴検出部２０３２、指示データ選択部２０３３および指示データ生成部２０３４を含んでいる。判定部２０３１は、カラオケデータ１０１１の構成が次の３種類のいずれであるかを判定する。
構成（ａ）：特徴シーケンスデータおよび指示シーケンスデータのいずれも含んでいない。
構成（ｂ）：特徴シーケンスデータを含んでいる。
構成（ｃ）：指示シーケンスデータを含んでいる。
【００６９】
特徴検出部２０３２は、カラオケデータ１０１１の構成が（ａ）であると判定された場合に、カラオケデータ１０１１に含まれる演奏制御データに基づきカラオケ楽曲における特徴箇所を検出して特徴シーケンスデータを生成する。特徴検出部２０３２は生成した特徴シーケンスデータを指示データ選択部２０３３に送信する。
【００７０】
指示データ選択部２０３３は、カラオケデータ１０１１の構成が（ａ）であると判定された場合には、特徴検出部２０３２から特徴シーケンスデータを受信し、またカラオケデータ１０１１の構成が（ｂ）であると判定された場合には、カラオケデータ１０１１に含まれる特徴シーケンスデータを読み出し、特徴シーケンスデータに含まれる特徴データに応じた指示データを指示ＤＢ１０１３から選択することにより、指示シーケンスデータを生成する。指示データ選択部２０３３は生成した指示シーケンスデータを指示データ生成部２０３４に送信する。
【００７１】
指示データ生成部２０３４は、カラオケデータ１０１１の構成が（ａ）もしくは（ｂ）であると判定された場合には、指示データ選択部２０３３から指示シーケンスデータを受信し、またカラオケデータ１０１１の構成が（ｃ）であると判定された場合には、カラオケデータ１０１１に含まれる指示シーケンスデータを読み出し、指示シーケンスデータに含まれるタイミングデータに応じたタイミングで、指示シーケンスデータに含まれる指示データを、画像データ加工処理部２０２４、撮像動作制御部２０２３および音データ加工処理部２０１３に送信する。画像データ加工処理部２０２４、撮像動作制御部２０２３および音データ加工処理部２０１３は、指示データ生成部２０３４から送信される指示データに従い、各々、画像データの加工処理、撮像動作の制御処理および音データの加工処理を行うのである。以上が、カラオケシステム１の構成である。
【００７２】
［１．２．カラオケシステムの動作］
上記の構成を備えるカラオケシステム１を用いて、ユーザはカラオケにおける歌唱時の音および映像をリアルタイムに加工して発音および表示させることができるとともに、それらの音および映像をビデオデータとして記録することができる。その際、カラオケ装置１０は演奏されるカラオケ楽曲に応じて、適切なタイミングで適切な内容の画像データの加工処理、撮像動作の制御処理および音データの加工処理を行うことにより、視聴者をより楽しませることができる音および映像をユーザに提供することができる。以下、カラオケシステム１の動作を説明する。
【００７３】
ユーザはディスプレイ１９ａに表示される指示に従い、コントローラ１１を用いてカラオケ楽曲の選択を行う。その際、ユーザは楽曲のテンポ変更や移調の指定も行うことができる。ユーザは、それらの操作後、カラオケ装置１０に対し演奏開始の指示を行う。図１０は、ユーザによる演奏開始の指示に応じてカラオケ装置１０が行う処理を模式的に示した図である。図１０において、右方向は演奏制御データにより演奏指示がなされる楽曲における時間軸を示している。
【００７４】
ユーザの演奏開始の指示に応じて、判定部２０３１は記憶部１０１からユーザにより指定されたカラオケ楽曲に対応するカラオケデータ１０１１（図３参照）を読み出し、そのカラオケデータ１０１１に関し、上述した特徴シーケンスデータおよび指示シーケンスデータの有無に関する判定を行う（ステップＳ１００）。判定部２０３１は、カラオケデータ１０１１に特徴シーケンスデータおよび指示シーケンスデータのいずれも含まれていないと判定した場合、その判定結果を示すデータを特徴検出部２０３２に送信する（ステップＳ１００ａ）。
【００７５】
特徴検出部２０３２は、上記のステップＳ１００ａにおいて判定部２０３１から特徴シーケンスデータおよび指示シーケンスデータのいずれも含まれていない旨の判定結果を受信すると、カラオケデータ１０１１に含まれる演奏制御データ（図４参照）に基づき、カラオケ楽曲における特徴箇所を検出する。例えば、特徴検出部２０３２は、演奏制御データに含まれる楽音の発音指示に関するタイミング付イベントデータを抽出し、音強の移動平均値が所定レベルを超える箇所を音量変化の特徴を示す特徴箇所として検出する。同様に、特徴検出部２０３２は、演奏制御データに含まれるタイミング付イベントデータにより示される楽音の音高から転調の箇所を特徴箇所として検出する。また、特徴検出部２０３２は、演奏制御データに含まれるドラムパートを示すチャンネルに関するタイミング付イベントデータに基づき、リズムの変化箇所を特徴箇所として検出する。その他、特徴検出部２０３２は音色の変化箇所、テンポの変化箇所等、楽曲における様々な特徴箇所を演奏制御データから検出する。
【００７６】
特徴検出部２０３２は、上記のように検出した特徴箇所の種別を示すデータを特徴データとして生成し、生成した特徴データに対し、検出した特徴箇所の楽曲におけるタイミングを示すタイミングデータを対応付けることにより、図６に示した形式を備える特徴シーケンスデータを新たに生成する（ステップＳ１０１）。特徴検出部２０３２は、生成した特徴シーケンスデータを記憶部１０１に記憶させた後、その旨を示すデータを指示データ選択部２０３３に送信する。
【００７７】
判定部２０３１は、上記のステップＳ１００においてカラオケデータ１０１１に特徴シーケンスデータが含まれていると判定した場合、その判定結果を示すデータを指示データ選択部２０３３に送信する（ステップＳ１００ｂ）。
【００７８】
指示データ選択部２０３３は、上記のステップＳ１０１において特徴検出部２０３２から特徴シーケンスデータが記憶された旨のデータを受信した場合、記憶部１０１から特徴シーケンスデータを読み出す。また、指示データ選択部２０３３は、上記のステップＳ１００の判定結果として、カラオケデータ１０１１に特徴シーケンスデータが含まれている旨の判定結果を判定部２０３１から受信した場合（ステップＳ１００ｂ）、カラオケデータ１０１１に含まれる特徴シーケンスデータ（図６参照）を読み出す。
【００７９】
指示データ選択部２０３３は、読み出した特徴シーケンスデータに含まれる特徴データの各々に関し、指示ＤＢ１０１３（図９参照）から適する指示データを選択する。より具体的には、指示データ選択部２０３３は、特徴データの種別に応じて、指示ＤＢ１０１３に含まれる画像加工指示ＤＢ、動作制御指示ＤＢおよび音加工指示ＤＢのいずれかを選択する。続いて、指示データ選択部２０３３は、選択したデータベースに含まれる属性付指示データのうち、楽曲ジャンル名がカラオケデータ１０１１の管理データに含まれる楽曲ジャンル名と一致し、かつ適用箇所名が特徴データの内容と一致するものを抽出する。指示データ選択部２０３３は、抽出した属性付指示データが１つである場合にはその属性付指示データに含まれる指示データを取り出す。また、指示データ選択部２０３３は、抽出した属性付指示データが複数である場合には、擬似乱数を発生させ、その擬似乱数に基づいて抽出した属性付指示データの１つを選択し、選択した属性付指示データに含まれる指示データを取り出す。そのように取り出された指示データは、カラオケ楽曲のジャンルに適し、かつ特徴データにより示される楽曲における特徴の内容に適した加工処理もしくは動作制御を指示する指示データである。
【００８０】
指示データ選択部２０３３は、上記のように選択した指示データに対し、特徴データに対応付けられているタイミングデータを対応付けることにより、図７に示した形式を備える指示シーケンスデータを新たに生成する（ステップＳ１０２）。指示データ選択部２０３３は、生成した指示シーケンスデータを記憶部１０１に記憶させた後、その旨を示すデータを指示データ生成部２０３４に送信する。
【００８１】
判定部２０３１は、上記のステップＳ１００においてカラオケデータ１０１１に指示シーケンスデータが含まれていると判定した場合、その判定結果を示すデータを指示データ生成部２０３４に送信する（ステップＳ１００ｃ）。
【００８２】
指示データ生成部２０３４は、上記のステップＳ１０２において指示データ選択部２０３３から指示シーケンスデータが記憶された旨のデータを受信した場合、記憶部１０１から指示シーケンスデータを読み出す。また、指示データ生成部２０３４は、上記のステップＳ１００ｃにおいて判定部２０３１からカラオケデータ１０１１に指示シーケンスデータが含まれている旨の判定結果を受信した場合、カラオケデータ１０１１に含まれる指示シーケンスデータ（図７参照）を読み出す。
【００８３】
指示データ生成部２０３４は、指示シーケンスデータの読み出しを完了すると、演奏制御データ再生部２０１１および歌詞画面生成部２０２２に対し、演奏制御データおよび歌詞データの再生開始を指示するデータを送信する。演奏制御データ再生部２０１１および歌詞画面生成部２０２２は、指示データ生成部２０３４からの再生開始を指示するデータに応じて、カラオケデータ１０１１に含まれる演奏制御データ（図４参照）および歌詞データ（図５参照）の再生をそれぞれ開始する（ステップＳ１０３、ステップＳ１０４）。
【００８４】
演奏制御データ再生部２０１１により演奏制御データの再生、すなわち演奏制御データに含まれるタイミングデータに応じたタイミングにおけるイベントデータの音源部２０１２への送信が行われると、音源部２０１２は演奏制御データ再生部２０１１から受信されるイベントデータに応じた楽音を示す音データの生成処理を行い、生成した音データを音データ加工処理部２０１３に送信する。一方、マイク１２により拾音される音を示す信号は常時、音データ加工処理部２０１３に入力される。音データ加工処理部２０１３は、音源部２０１２から受信される音データと、マイク１２から入力される音を示す音データをミキシング処理して得られる音データを順次、アンプ１３に出力する（ステップＳ１０５）。その際、入出力Ｉ／Ｆ１０２によりデジタルデータからアナログ信号への変換が行われる。アンプ１３は入出力Ｉ／Ｆ１０２を介して音データ加工処理部２０１３から入力される音信号を増幅する。アンプ１３により増幅された音信号はスピーカ１４により発音される。そのように発音される音は、カラオケ楽曲の演奏音とユーザの歌唱音がミキシングされた音である。
【００８５】
また、演奏制御データ再生部２０１１により歌詞データの再生、すなわち歌詞データに従った歌詞表示画面を示す画像データの生成および画像データ加工処理部２０２４への送信が行われると、画像データ加工処理部２０２４は歌詞画面生成部２０２２から受信される画像データをディスプレイ１９ａに送信する。一方、ビデオカメラ１５ａおよびハンドカメラ１６により撮像される映像を示す画像データは常時、画像データ加工処理部２０２４に送信される。また、サブカメラ、すなわちビデオカメラ１５ｂ〜ｅにより撮像される映像を示す画像データは常時、セレクタ１８に送信され、セレクタ１８により選択された画像データは常時、セレクタ１８から画像データ加工処理部２０２４に送信される。
【００８６】
画像データ加工処理部２０２４は、メインカメラ、すなわちビデオカメラ１５ａから受信される画像データに対し歌詞画面生成部２０２２から受信される画像データをスーパーインポーズ処理し、この結果得られる画像データを順次、ディスプレイ１９ａに送信する。その結果、歌唱者が歌唱しながら見るディスプレイ１９ａには、歌唱者自身の現在の映像と歌詞が表示される。また、画像データ加工処理部２０２４は、ビデオカメラ１５ａ、ハンドカメラ１６およびセレクタ１８から受信される画像データに対し合成処理を行って得られる画像データを順次、ディスプレイ１９ｂに送信する（ステップＳ１０６）。その結果、観衆が見るためのディスプレイ１９ｂには、カラオケルームに設けられた複数のカメラにより撮像された映像が合成された映像が表示される。
【００８７】
ところで、上記の演奏制御データ再生部２０１１による演奏制御データの再生および歌詞画面生成部２０２２による歌詞データの再生と並行して、指示データ生成部２０３４は指示シーケンスデータの再生を行う。すなわち、指示データ生成部２０３４は、指示シーケンスデータに含まれるタイミングデータにより示されるタイミングにおいて、タイミングデータに対応付けられた指示データを、その指示データの種別に応じて、音データ加工処理部２０１３、撮像動作制御部２０２３もしくは画像データ加工処理部２０２４に送信する（ステップＳ１０７〜ステップＳ１０９）。
【００８８】
例えば、図１０において、Ｔ１で示されるタイミングを示すタイミングデータに対応付けられた指示データが指示シーケンスデータに含まれる場合、指示データ生成部２０３４は、歌詞データおよび演奏制御データの再生が進行し、Ｔ１のタイミングに達した時点で、当該指示データを音データ加工処理部２０１３（ステップＳ１０７）、撮像動作制御部２０２３（ステップＳ１０８）もしくは画像データ加工処理部２０２４（ステップＳ１０９）に送信する。指示シーケンスデータに含まれるタイミングデータにより示されるＴ２〜Ｔｎ（ただし、ｎは任意の自然数）のタイミングにおいても、指示データ生成部２０３４はステップＳ１０７〜ステップＳ１０９の処理を繰り返す。
【００８９】
音データ加工処理部２０１３は、指示データ生成部２０３４から指示データを受信すると、マイク１２から入力される音を示す音データおよび音源部２０１２から受信される音データに、受信した指示データにより示される加工処理を施した後、それらをミキシング処理して（ステップＳ１１０）、アンプ１３に対し出力する。その結果、スピーカ１４から発音される音は、演奏制御データにより示される楽曲における特徴箇所に応じたタイミングで、特徴箇所の種別に応じた種別の加工処理が施された音であり、視聴者をより楽しませるものとなる。
【００９０】
撮像動作制御部２０２３は、指示データ生成部２０３４から指示データを受信すると、受信した指示データの内容に応じて、カメラ移動装置１７に対するビデオカメラ１５の旋回や移動の動作指示、もしくはビデオカメラ１５に対するズームイン・ズームアウト等の動作指示を示すデータを送信する。カメラ移動装置１７およびビデオカメラ１５は、撮像動作制御部２０２３から受信される動作指示のデータに従った動作を行う。このため、動作指示のデータに従い、撮像の位置、角度、大きさ等が変化する。ビデオカメラ１５ａから画像データ加工処理部２０２４に送信される画像データおよびビデオカメラ１５ｂ〜ｅからセレクタ１８を介して画像データ加工処理部２０２４に送信される画像データは、このような撮像の位置、角度、大きさ等の変化を反映したものとなる（ステップＳ１１１）。
【００９１】
画像データ加工処理部２０２４は、指示データ生成部２０３４から指示データを受信すると、受信した指示データが動画の再生指示を伴うか否かを判定する。指示データが動画の再生指示を伴う場合、画像データ加工処理部２０２４は続いて、カラオケデータ１０１１（図３参照）に動画ソースデータが含まれているか否かを判定する。カラオケデータ１０１１が動画ソースデータを含んでいる場合、画像データ加工処理部２０２４はカラオケデータ１０１１に含まれる動画ソースデータの再生を指示するデータを動画データ再生部２０２１に対し送信する。また、カラオケデータ１０１１に動画ソースデータが含まれていない場合、画像データ加工処理部２０２４は、汎用画像ソースＤＢ１０１２（図８参照）に含まれる汎用動画ソースＤＢから、カラオケデータ１０１１の管理データにより示される楽曲ジャンル名に対応付けられた汎用動画ソースデータを選択する。その際、汎用動画ソースＤＢが選択候補となる汎用動画ソースデータを複数含んでいる場合、画像データ加工処理部２０２４は、例えば擬似乱数を発生させ、その擬似乱数に基づいてそれらの候補の１つを選択する。
【００９２】
画像データ加工処理部２０２４は選択した汎用動画ソースデータの再生を指示するデータを動画データ再生部２０２１に対し送信する。動画データ再生部２０２１は、画像データ加工処理部２０２４からの再生指示に従い、指定されたデータの再生を行い、生成した画像データを順次、画像データ加工処理部２０２４に送信する。
【００９３】
続いて、画像データ加工処理部２０２４は、指示データが静止画の表示指示を伴うか否かを判定する。指示データが静止画の表示指示を伴う場合、画像データ加工処理部２０２４は続いて、カラオケデータ１０１１（図３参照）に静止画ソースデータが含まれているか否かを判定する。カラオケデータ１０１１が静止画ソースデータを含んでいる場合には、画像データ加工処理部２０２４はカラオケデータ１０１１に含まれる静止画ソースデータを読み出す。また、カラオケデータ１０１１に静止画ソースデータが含まれていない場合、画像データ加工処理部２０２４は、汎用画像ソースＤＢ１０１２（図８参照）に含まれる汎用静止画ソースＤＢから、カラオケデータ１０１１の管理データにより示される楽曲ジャンル名に対応付けられた汎用静止画ソースデータを選択する。その際、汎用静止画ソースＤＢが選択候補となる汎用静止画ソースデータを複数含んでいる場合、画像データ加工処理部２０２４は、例えば擬似乱数を発生させ、その擬似乱数に基づいてそれらの候補の１つを選択する。そして、画像データ加工処理部２０２４は選択した汎用静止画ソースデータを読み出す。
【００９４】
続いて、画像データ加工処理部２０２４は、ビデオカメラ１５ａ、ハンドカメラ１６、セレクタ１８および動画データ再生部２０２１の各々から受信される画像データと、読み出した静止画ソースデータもしくは汎用静止画ソースデータに、指示データにより示される加工処理を施した後、さらに合成処理を施す（ステップＳ１１２）。画像データ加工処理部２０２４は、ステップＳ１１２の処理により得られる画像データをディスプレイ１９ｂに送信する。上記のステップＳ１１１およびステップＳ１１２における処理の結果、ディスプレイ１９ｂにより表示される映像は、演奏制御データにより示される楽曲における特徴箇所に応じたタイミングで、特徴箇所の種別に応じた種別の加工処理が施された映像であり、視聴者をより楽しませるものとなる。
【００９５】
上記のステップＳ１１０において音データ加工処理部２０１３により加工処理およびミキシング処理の施された音データと、上記のステップＳ１１２において画像データ加工処理部２０２４により加工処理および合成処理の施された画像データは、１つのビデオデータとして記憶部１０１に記憶される。ユーザは、カラオケ楽曲の演奏が終了すると、ディスプレイ１９ａに表示される指示に従い、記憶されたビデオデータの受け取り方法をカラオケ装置１０に対し指示する。ビデオデータの受け取り方法としては、例えば「メールアドレスに送信」、「フラッシュメモリに記録」等が考えられる。
【００９６】
ユーザが「メールアドレスに送信」を選択した場合、カラオケ装置１０はユーザの指定したメールアドレスや電話番号宛の電子メールを生成し、生成した電子メールにビデオデータを添付した後、インターネット２１に対し送信する。また、ユーザが「フラッシュメモリに記録」を選択した場合、カラオケ装置１０はユーザによりメディアドライブ２０に装填されたフラッシュメモリに対し、ビデオデータを記録する。その結果、ユーザは自宅のコンピュータや携帯電話等により、カラオケシステム１により生成されたビデオデータを再生して楽しんだり、知人に送信等することができる。以上がカラオケシステム１の動作である。
【００９７】
ところで、カラオケ装置１０は、専用のハードウェアにより実現されてもよいし、汎用コンピュータにアプリケーションプログラムに従った処理を実行させることにより実現されてもよい。カラオケ装置１０が汎用コンピュータにより実現される場合、制御部１０３の各構成部は、汎用コンピュータが備えるＣＰＵ（Ｃｅｎｔｒａｌ Ｐｒｏｃｅｓｓｉｎｇ Ｕｎｉｔ）およびＣＰＵの制御下で動作するＤＳＰ（Ｄｉｇｉｔａｌ Ｓｉｇｎａｌ Ｐｒｏｃｅｓｓｏｒ）が、アプリケーションプログラムに含まれる各モジュールに従った処理を同時並行して行うことにより、汎用コンピュータの機能として実現される。
【００９８】
また、上記においては、カラオケシステム１をカラオケ装置１０と、カラオケ装置１０に接続されるマイク１２等の各種装置の組合せとして説明した。しかしながら、カラオケシステム１の構成部のいずれを組み合わせて同じ筐体に配置するかは自由に変更可能である。
【００９９】
また、上記においては、カラオケデータ１０１１はカラオケ楽曲の伴奏を示す楽曲データとして演奏制御データを含むものとして説明した。しかしながら、カラオケデータ１０１１は、演奏制御データの代わりに、カラオケ楽曲の伴奏音を示す音データを含むようにしてもよい。その場合、カラオケ装置１０は演奏制御データ再生部２０１１および音源部２０１２の代わりに、カラオケデータ１０１１に含まれる音データを再生する音データ再生部を備える。また、特徴検出部２０３２は、カラオケデータ１０１１に含まれる音データのレベル変化やピッチ変化等の検出を行うことにより、カラオケ楽曲における特徴箇所の検出を行う。
【０１００】
また、上記においては、指示データ生成部２０３４は音加工に関する指示データを音データ加工処理部２０１３に送信するものとして説明した。しかしながら、音源部２０１２がエフェクト処理を行う機能を備えている場合等には、指示データ生成部２０３４は音加工に関する指示データを音源部２０１２に送信するようにしてもよい。例えば、指示データ生成部２０３４は音源部２０１２に対し、指示データ［ディレイ：０．５秒］を送信する。この場合、音源部２０１２は指示データに従い、その後に生成する音データに対し０．５秒のディレイ処理を施したものを音データ加工処理部２０１３に送信する。
【０１０１】
また、指示データ生成部２０３４は音加工に関する指示データを演奏制御データ再生部２０１１に送信するようにしてもよい。例えば、指示データ生成部２０３４は演奏制御データ再生部２０１１に対し、指示データ［ボリュームアップ：１．２倍］を送信する。この場合、演奏制御データ再生部２０１１は指示データに従い、その後に再生する楽音の発音指示に関するイベントデータの音強値を１．２倍に変更して音源部２０１２に送信する。
【０１０２】
また、上記においては、指示データ選択部２０３３は、楽曲ジャンル名を属性データとして含む属性付指示データを格納した指示ＤＢ１０１３から、カラオケデータ１０１１の管理データにより示される楽曲ジャンル名を検索キーとして、カラオケ楽曲に適する指示データの選択を行うものとして説明した。しかしながら、指示ＤＢ１０１３の構成、属性付指示データに含まれる属性の種類、指示データ選択部２０３３が指示データを選択する際に用いる検索キーの取得方法等は様々に変更可能である。例えば、指示ＤＢ１０１３は、「軽快なロック」、「明るいイメージ」等の属性を伴う一群の指示データを異なるデータ群として格納しておき、指示データ選択部２０３３は、ユーザに選択された「軽快なロック」等の属性を備えるデータ群の中から、特徴データに応じた指示データを選択するようにしてもよい。
【０１０３】
また、上記においては、演奏制御データ再生部２０１１による演奏制御データの再生、歌詞画面生成部２０２２による歌詞データの再生、指示データ生成部２０３４による指示シーケンスデータの再生およびそれらの再生に伴う処理（ステップＳ１０３〜ステップＳ１１２）は、指示データ生成部２０３４によりカラオケ楽曲の全体に関する指示シーケンスデータの読み込みが完了した後に開始されるものとして説明した。しかしながら、特徴シーケンスデータの生成処理および指示シーケンスデータの生成処理（ステップＳ１０１およびステップＳ１０２）は、ステップＳ１０３以降の処理と同時並行して行われてもよい。
【０１０４】
すなわち、特徴検出部２０３２および指示データ選択部２０３３によりカラオケ楽曲の先頭から特徴データおよび指示データの生成が行われる一方、それらの処理にやや遅れて、既に指示シーケンスデータの生成が行われたカラオケ楽曲の部分に関し、演奏制御データ再生部２０１１による演奏制御データの再生、歌詞画面生成部２０２２による歌詞データの再生、指示データ生成部２０３４による指示シーケンスデータの再生等が行われるようにしてもよい。その場合、カラオケ楽曲の再生開始指示から演奏開始までの待ち時間が短縮される。
【０１０５】
また、上記においては、特徴検出部２０３２は演奏制御データに基づいて、楽曲における特徴箇所の検出を行うものとして説明した。しかしながら、特徴検出部２０３２は、演奏制御データに従って音源部２０１２により生成される音データに基づいて、楽曲における特徴箇所の検出を行うようにしてもよい。その場合、特徴検出部２０３２は、カラオケデータ１０１１に含まれる音データのレベル変化やピッチ変化等の検出を行うことにより、カラオケ楽曲における特徴箇所の検出を行う。
【０１０６】
また、上記においては、特徴検出部２０３２は指示データ選択部２０３３に対し、タイミングデータと特徴データの組合せが時系列的に並んだ特徴シーケンスデータを送信し、指示データ選択部２０３３は指示データ生成部２０３４に対し、タイミングデータと指示データの組合せが時系列的に並んだ指示シーケンスデータを送信するものとして説明した。しかしながら、特徴検出部２０３２から指示データ選択部２０３３および指示データ選択部２０３３から指示データ生成部２０３４に送信されるデータの形式には様々なバリエーションがあり得る。図１１および図１２はそれらのバリエーションを示した図である。上記において説明した態様は図１１（ａ）に示されている。図１１（ａ）の場合、各々の指示データが画像データ加工処理部２０２４等に送信されるタイミングは、指示シーケンスデータに含まれるタイミングデータに基づき、指示データ生成部２０３４により決定される。
【０１０７】
図１１（ｂ）は、特徴検出部２０３２による特徴データの生成処理および指示データ選択部２０３３による指示データの選択処理に要する時間が十分に短い場合の態様を示している。図１１（ｂ）の態様においては、カラオケデータ１０１１が特徴シーケンスデータおよび指示シーケンスデータを含んでいない場合、特徴検出部２０３２は演奏制御データのうち、演奏制御データ再生部２０１１により現在再生されている部分に関し特徴箇所の検出処理を行い、特徴データを生成すると、生成した特徴データを即時に指示データ選択部２０３３に送信する。この特徴データにはタイミングデータは伴っていない。指示データ選択部２０３３は、特徴検出部２０３２から特徴データを受信すると、受信した特徴データに応じた指示データの選択処理を行い、選択した指示データを即時に画像データ加工処理部２０２４等に送信する。この場合、指示データが画像データ加工処理部２０２４に送信されるタイミングは、主として、演奏制御データの再生時における特徴検出部２０３２による特徴箇所の検出タイミングにより決定される。
【０１０８】
また、カラオケデータ１０１１が特徴シーケンスデータを含んでいる場合、指示データ選択部２０３３は特徴シーケンスデータに含まれるタイミングデータに従い、演奏制御データの再生における適したタイミングで特徴シーケンスデータに含まれる特徴データの各々に応じた指示データの選択処理を行い、選択した指示データを即時に画像データ加工処理部２０２４等に送信する。この場合、指示データが画像データ加工処理部２０２４に送信されるタイミングは、特徴シーケンスデータに含まれるタイミングデータに基づき、指示データ選択部２０３３により決定される。
【０１０９】
図１２（ａ）は、図１１（ａ）の態様における特徴シーケンスデータの代わりに、特徴箇所のタイミングを示すタイミングデータのみが時系列的に並んだシーケンスデータ（以下、「タイミングシーケンスデータ」と呼ぶ）が用いられる場合の態様を示している。特徴検出部２０３２は、演奏制御データにおける特徴箇所の検出結果として、検出した各々の特徴箇所の演奏制御データにおけるタイミングを示すタイミングシーケンスデータを生成し、指示データ選択部２０３３に送信する。また、カラオケデータ１０１１が、特徴シーケンスデータの代わりにタイミングシーケンスデータを含んでいる場合、指示データ選択部２０３３はカラオケデータ１０１１からタイミングシーケンスデータを読み出す。指示データ選択部２０３３は、タイミングシーケンスデータに含まれるタイミングデータの各々に対し、指示ＤＢ１０１３から任意の指示データを選択して対応付けることにより、指示シーケンスデータを生成し、指示データ生成部２０３４に送信する。その後、指示データ生成部２０３４が指示シーケンスデータに基づき画像データ加工処理部２０２４等に指示データを送信する処理は図１１（ａ）の場合と同様である。
【０１１０】
図１２（ｂ）は、特徴検出部２０３２および指示データ選択部２０３３の処理速度が十分に速い場合であって、図１１（ｂ）における特徴データの代わりに発生データ、特徴シーケンスデータの代わりにタイミングシーケンスデータが用いられる場合の態様を示している。図１２（ｂ）の態様においては、カラオケデータ１０１１がタイミングシーケンスデータおよび指示シーケンスデータを含んでいない場合、特徴検出部２０３２は演奏制御データのうち、演奏制御データ再生部２０１１により現在再生されている部分に関し特徴箇所の検出処理を行い、特徴箇所が検出されたことを示す発生データを生成すると、生成した発生データを即時に指示データ選択部２０３３に送信する。この発生データにはタイミングデータおよび特徴データは伴っていない。指示データ選択部２０３３は、特徴検出部２０３２から発生データを受信すると、例えば擬似乱数を発生させ、その擬似乱数に基づいて指示ＤＢ１０１３に含まれる指示データの１つを選択し、選択した指示データを即時に画像データ加工処理部２０２４等に送信する。
【０１１１】
また、カラオケデータ１０１１がタイミングシーケンスデータを含んでいる場合、指示データ選択部２０３３はタイミングシーケンスデータに含まれるタイミングデータに従い、演奏制御データの再生における適したタイミングで指示ＤＢ１０１３から任意の指示データを選択し、選択した指示データを即時に画像データ加工処理部２０２４等に送信する。図１２（ａ）および（ｂ）の態様においては、特徴箇所の種別に応じた加工処理の指示は行われないが、特徴箇所のタイミングに応じた加工処理が行われる。
【０１１２】
［２．第２実施形態］
第１実施形態においては、本願発明をカラオケシステムに用いる場合の態様を説明したが、本願発明は楽曲データの再生に伴い撮影や拾音が行われる様々な場合に利用可能である。また、本願発明を実施するにあたり、例えば、楽曲データの再生および楽曲における特徴検出を行う装置と、データの加工処理等を行う装置を相互に接続したシステムを構築する方が便利な場合もある。以下、そのような本願発明の態様を第２実施形態として説明する。
【０１１３】
［２．１．ビデオ生成システムの構成］
図１３は、本発明の第２実施形態にかかるシステム（以下、「ビデオ生成システム３」と呼ぶ）の構成を示している。ビデオ生成システム３は、演奏制御データの再生に伴い生成される音データおよび画像データをビデオデータとして生成し記憶するシステムである。ビデオ生成システム３の構成および動作の多くは、上述したカラオケシステム１と共通しているため、以下、それらの相違点のみ説明する。また、図１３において、図１に示したカラオケシステム１の構成部と共通もしくは対応する構成部に対しては、同じ符号が付されている。
【０１１４】
ビデオ生成システム３は、演奏制御データの再生を行うと同時に、演奏制御データにおける特徴箇所を検出し、検出した特徴箇所に応じた指示データを送信する楽曲再生装置３０と、リアルタイムに入力される映像および音を示すデータの各々に楽曲再生装置３０から受信する指示データに従って加工処理を施した後、ビデオデータとして記憶するビデオ生成装置３１を備えている。楽曲再生装置３０には、コントローラ１１ａ、スピーカ１４の接続されたアンプ１３、マイク１２、ビデオカメラ１５、カメラ移動装置１７およびビデオ生成装置３１が接続されている。また、ビデオ生成装置３１には、コントローラ１１ｂ、スピーカ１４の接続されたアンプ１３、ビデオカメラ１５、ディスプレイ１９および楽曲再生装置３０が接続されている。さらに、楽曲再生装置３０およびビデオ生成装置３１には、メディアドライブ２０およびインターネット２１が接続されているが、それらは図１３において省略されている。
【０１１５】
楽曲再生装置３０は、演奏制御データを再生し、楽曲の演奏音を示す音データを生成する演奏制御データ再生部２０１１および音源部２０１２と、演奏制御データから特徴箇所を検出し、検出した特徴箇所の内容に応じた指示データを特徴箇所の楽曲におけるタイミングで生成する特徴検出部２０３２、指示データ選択部２０３３および指示データ生成部２０３４を備えている。また、楽曲再生装置３０は、楽曲再生装置３０の制御を行うための各種プログラムおよび各種データに加え、演奏制御データ、汎用画像ソースＤＢ１０１２および指示ＤＢ１０１３を記憶する記憶部１０１ａと、楽曲再生装置３０がビデオ生成装置３１等の外部装置との間でデータの送受信を行うための入出力Ｉ／Ｆ１０２ａを備えている。
【０１１６】
ビデオ生成装置３１は、マイク１２から入力される音を示すデータに楽曲再生装置３０より受信される音加工指示データに従った各種加工処理を施す音データ加工処理部２０１３と、ビデオカメラ１５から受信される映像を示すデータに楽曲再生装置３０より受信される画像加工指示データに従った各種加工処理を施す画像データ加工処理部２０２４を備えている。また、ビデオ生成装置３１は、ビデオ生成装置３１の制御を行うための各種プログラムおよび各種データに加え、音データ加工処理部２０１３および画像データ加工処理部２０２４により生成された音データおよび映像データをビデオデータとして記憶する記憶部１０１ａと、ビデオ生成装置３１が楽曲再生装置３０等の外部装置との間でデータの送受信を行うための入出力Ｉ／Ｆ１０２ｂを備えている。
【０１１７】
ビデオカメラ１５は、ビデオカメラ１５のズームイン・アウト、フォーカス等の動作制御を行う撮像動作制御部２０２３ａを備えている。また、カメラ移動装置１７は、ビデオカメラ１５の位置および方向の変更動作を制御するための撮像動作制御部２０２３ｂを備えている。
【０１１８】
ビデオ生成システム３は、図１３に示されるように、マイク１２、ビデオカメラ１５、カメラ移動装置１７およびディスプレイ１９を各々１つずつ示しているが、それらの数は複数であってもよい。また、カラオケシステム１と同様に、ビデオ生成システム３がハンドカメラ１６やセレクタ１８を備えるようにしてもよい。また、ビデオ生成装置３１が、予め記憶された動画データを再生し、再生した動画データを画像データ加工処理部２０２４に送信するための動画データ再生部２０２１を備えていてもよい。
【０１１９】
［２．２．ビデオ生成システムの動作］
以下、例として、ビデオ生成システム３を用いて、ユーザが演奏制御データの再生による楽曲の演奏に応じてダンスを行い、その映像を音と共にビデオデータとして記憶する際のビデオ生成システム３の動作を説明する。まず、ユーザは楽曲再生装置３０に、インターネット２１等からダンスの伴奏となる演奏を示す演奏制御データを取得させ、取得した演奏制御データを記憶部１０１ａに記憶させる。続いて、ユーザは演奏制御データの再生を楽曲再生装置３０に指示する。
【０１２０】
演奏制御データの再生指示に従い、まず、楽曲再生装置３０の特徴検出部２０３２は記憶部１０１に記憶されている演奏制御データから、カラオケシステム１における場合と同様の特徴箇所の検出処理を行い特徴シーケンスデータを生成し、生成した特徴シーケンスデータを指示データ選択部２０３３に送信する。指示データ選択部２０３３は、受信した特徴シーケンスデータおよび指示ＤＢ１０１３を用いてカラオケシステム１における場合と同様の指示データの選択処理を行い指示シーケンスデータを生成し、生成した指示シーケンスデータを指示データ生成部２０３４に送信する。
【０１２１】
続いて、演奏制御データ再生部２０１１は演奏制御データの再生を開始する。演奏制御データ再生部２０１１による演奏制御データの再生により、音源部２０１２は演奏制御データ再生部２０１１から楽音の発音を示すイベントデータを順次受信し、受信したイベントデータにより指定された楽音を示す音データを生成する。音源部２０１２により生成された音データはアンプ１３を介してスピーカ１４により音に変換され、発音される。ユーザは、スピーカ１４から発せされる伴奏に応じてダンスを行う。ユーザがダンスを行っている際に発せられる音はマイク１２により伴奏と共に拾音され、ビデオ生成装置３１の音データ加工処理部２０１３に入力される。また、ビデオカメラ１５はユーザのダンスの様子を示す映像データを生成し、生成した映像データを画像データ加工処理部２０２４に送信する。
【０１２２】
演奏制御データ再生部２０１１による演奏制御データの再生と同時並行して、指示データ生成部２０３４は指示シーケンスデータの再生を行う。すなわち、指示シーケンスデータに含まれるタイミングデータに応じた楽曲におけるタイミングにおいて、当該タイミングデータに対応付けられた画像加工指示データおよび音加工指示データをそれぞれ、画像データ加工処理部２０２４および音データ加工処理部２０１３に送信し、また動作制御指示データに対応付けられた動作制御指示データをビデオカメラ１５およびカメラ移動装置１７に送信する。画像データ加工処理部２０２４、音データ加工処理部２０１３、ビデオカメラ１５の撮像動作制御部２０２３ａおよびカメラ移動装置１７の撮像動作制御部２０２３ｂは、楽曲再生装置３０から受信した指示データに従い、データの加工処理もしくはデータ生成における動作制御処理を行う。
【０１２３】
上記の処理の結果、画像データ加工処理部２０２４により生成される画像データは、演奏制御データにより示される伴奏の特徴箇所のタイミングにおいて、当該特徴箇所の種別に応じた内容の動作制御により生成された映像データに対し、当該特徴箇所の種別に応じた内容の加工処理が施されたものとなる。また、音データ加工処理部２０１３により生成される音データは、演奏制御データにより示される伴奏の特徴箇所のタイミングにおいて、当該特徴箇所の種別に応じた内容の加工処理が施されたものとなる。画像データ加工処理部２０２４および音データ加工処理部２０１３は、各々生成したデータを１つのビデオデータに統合して記憶部１０１ｂに記憶する。ユーザは、記憶部１０１ｂに記憶されたビデオデータを、メディアドライブ２０やインターネット２１等を介して取得し、自ら再生して楽しんだり、知人等に配布したりすることができる。
【０１２４】
ところで、楽曲再生装置３０が、演奏制御データ再生部２０１１および音源部２０１２の代わりに、音楽ＣＤ（Ｃｏｍｐａｃｔ Ｄｉｓｃ）等に記憶された音データの再生を行う音データ再生部を備えるようにしてもよい。その場合、特徴検出部２０３２は、音楽ＣＤ等に記憶された音データに対し、ピッチ検出処理、テンポ検出処理等を行い、特徴箇所の検出を行う。
【０１２５】
また、特徴検出部２０３２および指示データ選択部２０３３の処理速度が十分に速い場合、特徴検出部２０３２による特徴シーケンスデータの生成処理および指示データ選択部２０３３による指示シーケンスデータの生成処理が、演奏制御データ再生部２０１１による演奏制御データの再生と同時並行して行われるようにしてもよい。さらに、第１実施形態において図１３に示したように、特徴検出部２０３２から指示データ選択部２０３３に対し送信されるデータおよび指示データ選択部２０３３から指示データ生成部２０３４もしくは画像データ加工処理部２０２４等に対し送られるデータの形式は様々に変更可能である。
【０１２６】
また、楽曲再生装置３０およびビデオ生成装置３１は、第１実施形態のカラオケ装置１０と同様に、専用のハードウェアにより実現されてもよいし、汎用コンピュータにアプリケーションプログラムに従った処理を実行させることにより実現されてもよい。
【０１２７】
また、第１実施形態のカラオケシステム１と同様に、楽曲再生装置３０およびビデオ生成装置３１の構成部のいずれを組み合わせて同じ筐体に配置するかは自由に変更可能である。図１４は、楽曲再生装置３０およびビデオ生成装置３１の備える構成部の配置に変更を加えた場合のビデオ生成システム４を例示している。ビデオ生成システム４においては、指示データ選択部２０３３および指示データ生成部２０３４がビデオ生成装置３１に配置されている。この場合、楽曲再生装置３０は、特徴検出部２０３２により生成した特徴シーケンスデータ、特徴データもしくは発生データをビデオ生成装置３１に送信する。ビデオ生成装置３１は、楽曲再生装置３０から受信した特徴シーケンスデータ、特徴データもしくは発生データに従い、指示データの選択および生成を行い、生成した指示データを画像データ加工処理部２０２４等に送信する。この場合も、図１３に示した構成部の配置を備えるビデオ生成システム３と同様の結果が得られる。
【０１２８】
［３．第３実施形態］
第１実施形態および第２実施形態において説明したように、本願発明によれば、楽曲データに従った楽曲の再生と同時に生成される映像や音を示すデータに対し、当該楽曲に応じた適切なタイミングで適切な内容の加工処理等を容易に施すことが可能となる。本願発明を応用すれば、過去に行われた楽曲演奏の記録ビデオを用いて、鑑賞者をより楽しませることができる記録ビデオを自動生成することも可能となる。
【０１２９】
例えば、バンド演奏を行う者の多くは、自分たちの演奏の様子をビデオに記録し、そのビデオを知人等に配布することを望む。しかしながら、バンド演奏を行う者は必ずしもビデオ編集が得意とは限らない。従って、何らの工夫なく演奏の様子を記録したビデオを、鑑賞者をより楽しませることができるビデオに自動編集してくれる手段があれば、ビデオ編集が苦手な者にとって便利である。以下、かかる課題を本願発明により達成する場合の好適な態様を、第３実施形態として説明する。
【０１３０】
［３．１．ビデオ編集システムの構成］
図１５は、本発明の第３実施形態にかかるシステム（以下、「ビデオ編集システム５」と呼ぶ）の構成を示している。ビデオ編集システム５は、既に記録されているバンド演奏等のビデオデータを用いて、ビデオデータに含まれる演奏音を示す音データに応じて、ビデオデータに含まれる映像データに加工処理を施すことにより、ビデオデータの自動編集を行うシステムである。
【０１３１】
ビデオ編集システム５の構成および動作の多くは、上述したカラオケシステム１と共通しているため、以下、それらの相違点のみ説明する。また、図１４において、図１に示したカラオケシステム１の構成部と共通もしくは対応する構成部に対しては、同じ符号が付されている。
【０１３２】
ビデオ編集システム５は、ビデオデータの編集を行うビデオ編集装置５０と、ビデオ編集装置５０に接続されたコントローラ１１、スピーカ１４の接続されたアンプ１３およびディスプレイ１９を備えている。さらに、ビデオ編集装置５０にはメディアドライブ２０およびインターネット２１が接続されているが、それらは図１５において省略されている。
【０１３３】
ビデオ編集装置５０は、ビデオデータに含まれる音データに基づき演奏の特徴箇所を検出し、特徴シーケンスデータを生成する特徴検出部２０３２と、特徴シーケンスデータおよび指示ＤＢ１０１３に含まれるデータに基づき指示シーケンスデータを生成する指示データ選択部２０３３と、指示シーケンスデータに基づきビデオデータに含まれる映像データに加工処理を施す画像データ加工処理部２０２４と、ビデオデータの再生を行うビデオデータ再生部５０１を備えている。また、ビデオ編集装置５０は、ビデオ編集装置５０の制御を行うための各種プログラムおよび各種データに加え、ビデオデータ、汎用画像ソースＤＢ１０１２および指示ＤＢ１０１３を記憶する記憶部１０１と、ビデオ編集装置５０がコントローラ１１等の外部装置との間でデータの送受信を行うための入出力Ｉ／Ｆ１０２を備えている。ただし、ビデオ編集装置５０の記憶部１０１に記憶される指示ＤＢ１０１３には、画像加工指示ＤＢのみが含まれている。
【０１３４】
［３．２．ビデオ編集システムの動作］
以下、例として、ビデオ編集システム５を用いて、ユーザがバンド演奏のビデオデータ（以下、「編集前ビデオデータ」と呼ぶ）に対し編集処理を行わせる際のビデオ編集システム５の動作を説明する。まず、ユーザはビデオ編集装置５０に、メディアドライブ２０等から編集前ビデオデータを読み込ませ、読み込んだ演奏制御データを記憶部１０１に記憶させる。続いて、ユーザはビデオデータの編集をビデオ編集装置５０に指示する。
【０１３５】
ビデオデータの編集指示に従い、まず、ビデオ編集装置５０の特徴検出部２０３２は、記憶部１０１に記憶されている編集前ビデオデータに含まれる音データにおける特徴箇所の検出処理を行う。例えば、特徴検出部２０３２は、音データにより示される音量の移動平均値を算出し、算出した移動平均値の変化が所定値を超える箇所を音量変化に関する特徴箇所として検出する。また、特徴検出部２０３２は、音データにより示される波形に対し周波数分析等を行うことにより演奏音に含まれるドラム音を抽出し、隣り合うドラム音の時間間隔の移動平均値の変化が所定値を超える箇所をリズム変化に関する特徴箇所として検出する。また、特徴検出部２０３２は、音データにより示される波形に対し周波数分析等を行うことにより、演奏音に含まれる各楽音の音高を特定し、特定した音高に基づき演奏の各部分における調子を特定する。そして、特徴検出部２０３２は特定した調子の変化する箇所を、転調に関する特徴箇所として検出する。これらの特徴箇所の検出方法については既存の技術が利用可能であるため、その説明を省略する。
【０１３６】
特徴検出部２０３２は、上記のように検出した特徴箇所のビデオデータにおけるタイミングを示すタイミングデータを、特徴箇所の種別を示す特徴データを対応付けることにより特徴シーケンスデータを生成し、生成した特徴シーケンスデータを指示データ選択部２０３３に送信する。
【０１３７】
指示データ選択部２０３３は、特徴検出部２０３２から特徴シーケンスデータを受信すると、特徴シーケンスデータおよび指示ＤＢ１０１３を用いて、カラオケシステム１における場合と同様の指示データの選択処理を行い指示シーケンスデータを生成し、生成した指示シーケンスデータを画像データ加工処理部２０２４に送信する。
【０１３８】
画像データ加工処理部２０２４は、指示データ選択部２０３３から指示シーケンスデータを受信すると、指示シーケンスデータに従い、編集前ビデオデータに含まれる映像データの加工処理を行う。すなわち、画像データ加工処理部２０２４は、編集前ビデオデータに含まれる映像データのうち、指示シーケンスデータに含まれるタイミングデータにより示される部分に対し、当該タイミングデータに対応付けられている指示データにより指示される加工処理を行う。その際、指示データが動画ソースデータもしくは静止画ソースデータの利用を指示している場合、画像データ加工処理部２０２４は汎用画像ソースＤＢ１０１２から、ユーザにより選択された楽曲ジャンル名に対応付けられた汎用動画ソースデータもしくは汎用静止画ソースデータを選択し、選択したデータを用いて加工処理を行う。画像データ加工処理部２０２４は、加工処理を施して得られる映像データと編集前ビデオデータに含まれる音データとを１つのビデオデータとして統合し、編集後ビデオデータとして記憶部１０１に記憶する。
【０１３９】
ビデオ編集装置５０による編集後ビデオデータの記憶が完了すると、ユーザはビデオ編集装置５０に対し、編集後ビデオデータの再生の指示を行うことができる。ユーザが編集後ビデオデータの再生指示をビデオ編集装置５０に与えると、ビデオ編集装置５０のビデオデータ再生部５０１は記憶部１０１から編集後ビデオデータを読み出し、編集後ビデオデータに含まれる音データの再生および映像データの再生を行う。ここで、編集後ビデオデータにより表示される映像は、音データにより示される演奏における特徴箇所に応じたタイミングで、特徴箇所の種別に応じた内容の加工処理が施された映像であり、視聴者をより楽しませるものとなる。ユーザは、記憶部１０１に記憶された編集後ビデオデータを、メディアドライブ２０やインターネット２１等を介して取得し、自ら再生して楽しんだり、知人等に配布したりすることができる。
【０１４０】
ところで、ビデオ編集装置５０は、第１実施形態のカラオケ装置１０と同様に、専用のハードウェアにより実現されてもよいし、汎用コンピュータにアプリケーションプログラムに従った処理を実行させることにより実現されてもよい。また、第１実施形態のカラオケシステム１と同様に、ビデオ編集装置５０の構成部のいずれを組み合わせて同じ筐体に配置するかは自由に変更可能である。
【０１４１】
［４．第４実施形態］
本願発明を応用すれば、過去に記録された楽曲データのリメイク作業を自動化することも可能となる。以下、そのような本願発明の態様を第４実施形態として説明する。
【０１４２】
［４．１．楽曲編集システムの構成］
図１６は、本発明の第４実施形態にかかるシステム（以下、「楽曲編集システム７」と呼ぶ）の構成を示している。楽曲編集システム７は、既に記録されている音データに当該音データに応じた加工処理を施すことにより、音データの自動編集を行うシステムである。楽曲編集システム７の構成および動作の多くは、上述したカラオケシステム１およびビデオ編集システム５と共通しているため、以下、それらの相違点のみ説明する。また、図１６において、図１に示したカラオケシステム１の構成部と共通もしくは対応する構成部に対しては、同じ符号が付されている。
【０１４３】
楽曲編集システム７は、ビデオ編集システム５におけるビデオ編集装置５０の代わりに、楽曲編集装置７０を備えている。楽曲編集装置７０は、ビデオ編集装置５０における画像データ加工処理部２０２４の代わりに音データ加工処理部２０１３を、またビデオデータ再生部５０１の代わりに音データ再生部７０１を備えている。また、楽曲編集装置７０にはディスプレイ１９は接続されていない。楽曲編集システム７は音データのみを扱うためである。さらに、楽曲編集装置７０の記憶部１０１に記憶される指示ＤＢ１０１３は、音加工指示ＤＢのみを含んでいる。
【０１４４】
［４．２．楽曲編集システムの動作］
以下、例として、楽曲編集システム７を用いて、ユーザがエフェクト処理の施されていない楽曲の演奏を示す音データ（以下、「編集前音データ」と呼ぶ）に対し、エフェクト処理を施す編集処理を行わせる際の楽曲編集システム７の動作を説明する。まず、ユーザは楽曲編集装置７０に、メディアドライブ２０等から編集前音データを読み込ませ、読み込んだ音データを記憶部１０１に記憶させる。続いて、ユーザは音データの編集を楽曲編集装置７０に指示する。
【０１４５】
音データの編集指示に従い、まず、楽曲編集装置７０の特徴検出部２０３２は記憶部１０１に記憶されている編集前音データにおける特徴箇所の検出処理を行う。その方法は、ビデオ編集システム５における場合と同様である。特徴検出部２０３２は、検出した特徴箇所の音データにおけるタイミングを示すタイミングデータを、特徴箇所の種別を示す特徴データを対応付けることにより特徴シーケンスデータを生成し、生成した特徴シーケンスデータを指示データ選択部２０３３に送信する。
【０１４６】
指示データ選択部２０３３は、特徴検出部２０３２から特徴シーケンスデータを受信すると、特徴シーケンスデータおよび指示ＤＢ１０１３を用いて、カラオケシステム１における場合と同様の指示データの選択処理を行い指示シーケンスデータを生成し、生成した指示シーケンスデータを音データ加工処理部２０１３に送信する。
【０１４７】
音データ加工処理部２０１３は、指示データ選択部２０３３から指示シーケンスデータを受信すると、指示シーケンスデータに従い、編集前音データに対する加工処理を行う。すなわち、音データ加工処理部２０１３は、編集前音データのうち、指示シーケンスデータに含まれるタイミングデータにより示される部分に対し、当該タイミングデータに対応付けられている指示データにより指示される加工処理を行う。音データ加工処理部２０１３は、加工処理を施して得られる音データを編集後音データとして記憶部１０１に記憶する。
【０１４８】
楽曲編集装置７０による編集後音データの記憶が完了すると、ユーザは楽曲編集装置７０に対し、編集後音データの再生の指示を行うことができる。ユーザが編集後音データの再生指示を楽曲編集装置７０に与えると、楽曲編集装置７０の音データ再生部７０１は記憶部１０１から編集後音データを読み出し、編集後音データの再生を行う。ここで、編集後音データにより発音される音は、編集前音データに対し、編集前音データにより示される演奏における特徴箇所に応じたタイミングで、特徴箇所の種別に応じた内容の加工処理が施された音である。ユーザは、記憶部１０１に記憶された編集後音データを、メディアドライブ２０やインターネット２１等を介して取得し、自ら再生して楽しんだり、知人等に配布したりすることができる。
【０１４９】
ところで、楽曲編集装置７０は、第１実施形態のカラオケ装置１０と同様に、専用のハードウェアにより実現されてもよいし、汎用コンピュータにアプリケーションプログラムに従った処理を実行させることにより実現されてもよい。また、第１実施形態のカラオケシステム１と同様に、楽曲編集装置７０の構成部のいずれを組み合わせて同じ筐体に配置するかは自由に変更可能である。
【図面の簡単な説明】
【０１５０】
【図１】本発明の第１実施形態にかかるカラオケシステムの構成を示したブロック図である。
【図２】本発明の第１実施形態にかかるカラオケシステムをカラオケルームに配置した様子を示した図である。
【図３】本発明の第１実施形態にかかるカラオケデータの構成を模式的に示した図である。
【図４】本発明の第１実施形態にかかる演奏制御データの内容を例示した図である。
【図５】本発明の第１実施形態にかかる歌詞データの内容を例示した図である。
【図６】本発明の第１実施形態にかかる特徴シーケンスデータの内容を例示した図である。
【図７】本発明の第１実施形態にかかる指示シーケンスデータの内容を例示した図である。
【図８】本発明の第１実施形態にかかる汎用画像ソースＤＢの内容を例示した図である。
【図９】本発明の第１実施形態にかかる指示ＤＢの内容を例示した図である。
【図１０】本発明の第１実施形態にかかるカラオケ装置の処理を模式的に示した図である。
【図１１】本発明の第１実施形態にかかるカラオケシステムにおいて送受信されるデータ形式の態様を示した図である。
【図１２】本発明の第１実施形態にかかるカラオケシステムにおいて送受信されるデータ形式の態様を示した図である。
【図１３】本発明の第２実施形態にかかるビデオ生成システムの構成を示したブロック図である。
【図１４】本発明の第２実施形態にかかるビデオ生成システムの構成を示したブロック図である。
【図１５】本発明の第３実施形態にかかるビデオ編集システムの構成を示したブロック図である。
【図１６】本発明の第４実施形態にかかる楽曲編集システムの構成を示したブロック図である。
【符号の説明】
【０１５１】
１…カラオケシステム、３・４…ビデオ生成システム、５…ビデオ編集システム、７…楽曲編集システム、１０…カラオケ装置、１１…コントローラ、１２…マイク、１３…アンプ、１４…スピーカ、１５…ビデオカメラ、１６…ハンドカメラ、１７…カメラ移動装置、１８…セレクタ、１９…ディスプレイ、２０…メディアドライブ、２１…インターネット、３０…楽曲再生装置、３１…ビデオ生成装置、５０…ビデオ編集装置、７０…楽曲編集装置、１０１…記憶部、１０２…入出力Ｉ／Ｆ、１０３…制御部、２０１…音データブロック、２０２…画像データブロック、２０３…指示データブロック、５０１…ビデオデータ再生部、７０１…音データ再生部、１０１１…カラオケデータ、１０１２…汎用画像ソースＤＢ、１０１３…指示ＤＢ、２０１１…演奏制御データ再生部、２０１２…音源部、２０１３…音データ加工処理部、２０２１…動画データ再生部、２０２２…歌詞画面生成部、２０２３…撮像動作制御部、２０２４…画像データ加工処理部、２０３１…判定部、２０３２…特徴検出部、２０３３…指示データ選択部、２０３４…指示データ生成部。
【技術分野】
【０００１】
本発明は、時系列データの生成処理および加工処理を制御するためのデータ処理技術に関する。
【背景技術】
【０００２】
楽曲の演奏音と演奏時の映像をプロモーションビデオとして記録する際に、視聴者をより楽しませるプロモーションビデオを自動生成するための技術がある。例えば、特許文献１には、カラオケ楽曲に対応して予め準備されたカメラ制御データに従い、歌唱者等を撮影するためのカメラの方向および焦点距離を自動制御するカラオケ装置が開示されている。
【特許文献１】特開２００２−３１８５８８号公報
【発明の開示】
【発明が解決しようとする課題】
【０００３】
従来技術による場合、楽曲に適したタイミングで自動的にカメラ制御等がなされるためには、予め楽曲データに対応したカメラ制御データ等の時系列的な処理指示データが準備されている必要があった。
【０００４】
上記の状況に鑑み、本発明は、楽曲データが予め時系列的な処理指示データを伴わない場合であっても、当該楽曲データにより示される楽曲の演奏に伴い表示される画像等を示すデータの生成動作制御および加工処理の指示を、適切なタイミングで自動的に行わせることを可能とする手段を提供することを目的とする。
【課題を解決するための手段】
【０００５】
上記課題を達成するために、本発明は、楽曲データを記憶する記憶手段と、前記楽曲データに基づいて、前記楽曲データにより再生される楽曲における特徴箇所を検出する検出手段と、前記楽曲データを楽曲として再生する再生手段と、前記再生手段による前記楽曲データの再生中に視聴覚データを受信する視聴覚データ受信手段と、前記楽曲における前記特徴箇所の発生タイミングに合わせて、前記視聴覚データに加工処理を施す加工手段とを備えることを特徴とするデータ処理装置を提供する。
【０００６】
かかる構成のデータ処理装置によれば、ユーザは楽曲データにより再生される楽曲に応じた適切なタイミングで、当該楽曲の演奏に伴い受信される視聴覚データの加工処理を自動的に行わせることができる。
【０００７】
好ましい態様において、上記データ処理装置の前記記憶手段は、前記視聴覚データに対する加工処理の内容を示す１以上の指示データを記憶し、前記検出手段は、前記特徴箇所の種別を示す特徴データを生成し、前記加工手段は、前記楽曲における前記特徴箇所の発生タイミングに合わせて、前記視聴覚データに、前記１以上の指示データのうち前記特徴データに応じた指示データにより示される内容の加工処理を施す構成としてもよい。
【０００８】
かかる構成のデータ処理装置によれば、ユーザは楽曲における特徴箇所の種別に応じて、視聴覚データに対し、適切な内容の加工処理を行わせることができる。
【０００９】
また、本発明は、楽曲データと、前記楽曲データにより再生される楽曲における特徴箇所の発生タイミングを示すタイミングデータと、前記特徴箇所の種別を示す特徴データと、視聴覚データに対する加工処理の内容を示す１以上の指示データを記憶する記憶手段と、前記楽曲データを楽曲として再生する再生手段と、前記再生手段による前記楽曲データの再生中に視聴覚データを受信する視聴覚データ受信手段と、前記タイミングデータにより示される前記楽曲におけるタイミングに合わせて、前記視聴覚データに、前記１以上の指示データのうち前記特徴データに応じた指示データにより示される内容の加工処理を施す加工手段とを備えることを特徴とするデータ処理装置を提供する。
【００１０】
かかる構成のデータ処理装置によれば、ユーザは楽曲データによる楽曲の再生中において受信される視聴覚データに対し、楽曲データに伴うタイミングデータに応じた適切なタイミングで、楽曲データに伴う特徴データの種別に応じた適切な加工処理を自動的に行わせることができる。
【００１１】
好ましい態様において、上記のデータ処理装置の前記記憶手段は、前記１以上の指示データの組を複数組、記憶し、前記加工手段は、前記複数組から選択された１組に含まれる指示データに従って、前記加工処理を行う構成としてもよい。
【００１２】
かかる構成のデータ処理装置によれば、楽曲の属性やユーザの指示に応じたグループに属する指示データに従い処理が行われる結果、ユーザは視聴覚データに対するより適切な加工処理を行わせることができる。
【００１３】
また、他の好ましい態様において、上記のデータ処理装置の前記加工手段は、前記再生手段による前記楽曲データの再生速度の変化に応じて、前記加工処理のタイミングおよび前記加工処理の速度の少なくとも一方を変化させる構成としてもよい。
【００１４】
かかる構成のデータ処理装置によれば、例えばユーザにより楽曲の再生速度に変更が加えられた場合であっても、視聴覚データに対する加工処理のタイミングおよび速度が楽曲の進行とずれることがない。
【００１５】
また、本発明は、楽曲データを記憶する記憶手段と、前記楽曲データを楽曲として再生する再生手段と、前記再生手段により再生された楽曲を示すデータに基づいて、前記楽曲における特徴箇所を検出する検出手段と、前記再生手段による前記楽曲データの再生中に視聴覚データを受信する視聴覚データ受信手段と、前記楽曲における前記特徴箇所の発生タイミングに合わせて、前記視聴覚データに加工処理を施す加工手段とを備えることを特徴とするデータ処理装置を提供する。
【００１６】
かかる構成のデータ処理装置によっても、ユーザは楽曲データにより再生される楽曲に応じた適切なタイミングで、当該楽曲の演奏に伴い受信される視聴覚データの加工処理を自動的に行わせることができる。
【００１７】
また、本発明は、上記のデータ処理装置と同様の効果をもたらすシステムを実現するための、楽曲データを再生するデータ処理装置を提供する。
【００１８】
すなわち、本発明は、楽曲データを記憶する記憶手段と、前記楽曲データに基づいて、前記楽曲データにより再生される楽曲における特徴箇所を検出する検出手段と、前記楽曲データを楽曲として再生する再生手段と、前記楽曲における前記特徴箇所の発生タイミングに合わせて、特徴箇所の発生を示す発生データを送信する発生データ送信手段とを備えることを特徴とするデータ処理装置を提供する。
【００１９】
また、本発明は、楽曲データと、視聴覚データに対する加工処理もしくは視聴覚データの生成動作制御の内容を示す指示データを記憶する記憶手段と、前記楽曲データに基づいて、前記楽曲データにより再生される楽曲における特徴箇所を検出し、前記特徴箇所の種別を示す特徴データを生成する検出手段と、前記楽曲データを楽曲として再生する再生手段と、前記楽曲における前記特徴箇所の発生タイミングに合わせて、前記１以上の指示データのうち前記特徴データに応じた指示データを送信する指示データ送信手段とを備えることを特徴とするデータ処理装置を提供する。
【００２０】
また、本発明は、楽曲データと、前記楽曲データにより再生される楽曲における特徴箇所の発生タイミングを示すタイミングデータと、前記特徴箇所の種別を示す特徴データと、視聴覚データに対する加工処理もしくは視聴覚データの生成動作制御の内容を示す１以上の指示データを記憶する記憶手段と、前記楽曲データを楽曲として再生する再生手段と、前記タイミングデータにより示される前記楽曲におけるタイミングに合わせて、前記１以上の指示データのうち前記特徴データに応じた指示データを送信する指示データ送信手段とを備えることを特徴とするデータ処理装置を提供する。
【００２１】
好ましい態様において、上記のデータ処理装置は、前記再生手段による前記楽曲データの再生速度の変化に応じて、前記１以上の指示データの各々により示される加工処理もしくは生成動作制御の速度が変化するように、前記１以上の指示データのうち、少なくとも１の指示データに変更を加える変更手段を備えるように構成してもよい。
【００２２】
また、他の好ましい態様において、上記のデータ処理装置は、前記再生手段による前記楽曲データの再生速度の変化に応じて、前記タイミングデータに変更を加える変更手段を備えるように構成してもよい。
【００２３】
また、さらに他の好ましい態様において、上記のデータ処理装置の前記記憶手段は、前記１以上の指示データの組を複数組、記憶し、前記指示データ送信手段は、前記複数組から選択された１組に含まれる指示データに従って、前記送信を行う構成としてもよい。
【００２４】
また、本発明は、上記のデータ処理装置と同様の効果をもたらすシステムを実現するための、視聴覚データに加工処理を施すデータ処理装置を提供する。
【００２５】
すなわち、本発明は、楽曲データを記憶する記憶手段と、前記楽曲データに基づいて、前記楽曲データにより再生される楽曲における特徴箇所を検出し、前記特徴箇所の種別を示す特徴データを生成する検出手段と、前記楽曲データを楽曲として再生する再生手段と、前記楽曲における前記特徴箇所の発生タイミングに合わせて、前記特徴データを送信する特徴データ送信手段とを備えることを特徴とするデータ処理装置を提供する。
【００２６】
また、本発明は、視聴覚データに対する加工処理の内容を各々示す１以上の指示データを記憶する記憶手段と、楽曲における特徴箇所の種別を示す特徴データを受信する特徴データ受信手段と、視聴覚データを受信する視聴覚データ受信手段と、前記特徴データを受信したタイミングに合わせて、前記視聴覚データに、前記１以上の指示データのうち受信した特徴データに応じた指示データにより示される内容の加工処理を施す加工手段とを備えることを特徴とするデータ処理装置を提供する。
【００２７】
好ましい態様において、上記のデータ処理装置の前記記憶手段は、前記１以上の指示データの組を複数組、記憶し、前記加工手段は、前記複数組から選択された１組に含まれる指示データに従って、前記加工処理を行う構成としてもよい。
【００２８】
また、本発明は、上記の楽曲データを再生するデータ処理装置と組み合わせることにより、楽曲の演奏に応じた適切なタイミングで適切な内容の視聴覚データの生成動作制御を行うデータ処理装置を提供する。
【００２９】
すなわち、本発明は、視聴覚データの生成動作制御の内容を各々示す１以上の指示データを記憶する記憶手段と、楽曲における特徴箇所の種別を示す特徴データを受信する特徴データ受信手段と、前記特徴データを受信したタイミングに合わせて、前記１以上の指示データのうち受信した特徴データに応じた指示データにより示される内容に従い、視聴覚データ生成装置の動作制御を行う動作制御手段とを備えることを特徴とするデータ処理装置を提供する。
【００３０】
好ましい態様において、上記のデータ処理装置の前記記憶手段は、前記１以上の指示データの組を複数組、記憶し、前記動作制御手段は、前記複数組から選択された１組に含まれる指示データに従って、前記動作制御を行う構成としてもよい。
【００３１】
また、本発明は、既に記憶されている視聴覚データに対し、当該視聴覚データに伴う楽曲データにより再生される楽曲の内容に応じた適切な箇所に対する加工処理を行うデータ処理装置を提供する。
【００３２】
すなわち、本発明は、楽曲データと、前記楽曲データによる楽曲の再生と並行して表示されるべき映像もしくは発音されるべき音を示す視聴覚データを記憶する記憶手段と、前記楽曲データに基づいて、前記楽曲における特徴箇所を検出する検出手段と、前記視聴覚データのうち、前記特徴箇所の発生タイミングに応じた部分に加工処理を施す加工手段とを備えることを特徴とするデータ処理装置を提供する。
【００３３】
かかるデータ処理装置によれば、ユーザは過去に記録された楽曲データを伴う視聴覚データのうち、当該楽曲データに応じた適切な箇所に自動的に加工処理を施すことができるため、視聴者をより楽しませることができる視聴覚データを容易に得ることができる。
【００３４】
好ましい態様において、上記のデータ処理装置の前記記憶手段は、前記視聴覚データに対する加工処理の内容を示す１以上の指示データを記憶し、前記検出手段は、前記特徴箇所の種別を示す特徴データを生成し、前記加工手段は、前記視聴覚データのうち、前記特徴箇所の発生タイミングに応じた部分に、前記１以上の指示データのうち当該特徴データに応じた指示データにより示される内容の加工処理を施す構成としてもよい。
【００３５】
かかる構成のデータ処理装置によれば、楽曲データに応じた適切な内容の加工処理が施されるため、視聴者をさらにより楽しませることができる視聴覚データが得られる。
【００３６】
また、さらに好ましい態様において、上記のデータ処理装置の前記記憶手段は、前記１以上の指示データの組を複数組、記憶し、前記加工手段は、前記複数組から選択された１組に含まれる指示データに従って、前記加工処理を行う構成としてもよい。
【００３７】
かかる構成のデータ処理装置によれば、楽曲の属性やユーザの指示に応じたグループに属する指示データに従い処理が行われる結果、ユーザはより適切な加工処理の施された視聴覚データを得ることができる。
【００３８】
また、本発明は、既に記憶されている楽曲データに対し、当該楽曲データにより再生される楽曲の内容に応じた適切な箇所に対する加工処理を行うデータ処理装置を提供する。
【００３９】
すなわち、本発明は、楽曲データを記憶する記憶手段と、前記楽曲データに基づいて、前記楽曲データにより再生される楽曲における特徴箇所を検出する検出手段と、前記楽曲データのうち、前記特徴箇所の発生タイミングに応じた部分に加工処理を施す加工手段とを備えることを特徴とするデータ処理装置を提供する。
【００４０】
かかるデータ処理装置によれば、ユーザは過去に記録された楽曲データのうち、当該楽曲データに応じた適切な箇所に自動的に加工処理を施すことができるため、視聴者をより楽しませることができる楽曲データを容易に得ることができる。
【００４１】
好ましい態様において、上記のデータ処理装置の前記記憶手段は、前記楽曲データに対する加工処理の内容を示す１以上の指示データを記憶し、前記検出手段は、前記特徴箇所の種別を示す特徴データを生成し、前記加工手段は、前記楽曲データのうち、前記特徴箇所の発生タイミングに応じた部分に、前記１以上の指示データのうち当該特徴データに応じた指示データにより示される内容の加工処理を施す構成としてもよい。
【００４２】
かかる構成のデータ処理装置によれば、楽曲データに応じた適切な内容の加工処理が施されるため、視聴者をさらにより楽しませることができる楽曲データを得ることができる。
【００４３】
また、さらに好ましい態様において、上記のデータ処理装置の前記記憶手段は、前記１以上の指示データの組を複数組、記憶し、前記加工手段は、前記複数組から選択された１組に含まれる指示データに従って、前記加工処理を行う構成としてもよい。
【００４４】
かかる構成のデータ処理装置によれば、楽曲の属性やユーザの指示に応じたグループに属する指示データに従い処理が行われる結果、ユーザはより適切な加工処理の施された楽曲データを得ることができる。
【００４５】
また、本発明は、上述した各々のデータ処理装置による処理をコンピュータに実行させることを特徴とするプログラムを提供する。
【発明を実施するための最良の形態】
【００４６】
［１．第１実施形態］
［１．１．カラオケシステムの構成］
図１は、本発明の第１実施形態にかかるシステム（以下、「カラオケシステム１」と呼ぶ）の構成を示している。カラオケシステム１は、カラオケ装置１０、カラオケ装置１０に対しユーザが指示を与えるためのコントローラ１１、ユーザの声を拾音しその声を示す音信号をカラオケ装置１０に出力するマイク１２ａおよびマイク１２ｂ、カラオケ装置１０から出力される音信号を増幅するアンプ１３、アンプ１３から出力される音信号を音に変換し出力するスピーカ１４、撮像した映像を示す画像データを順次生成し出力するビデオカメラ１５ａ〜ｅおよびハンドカメラ１６、ビデオカメラ１５ａ〜ｅの位置および方向をモータ等により各々変化させるカメラ移動装置１７ａ〜ｅ、ビデオカメラ１５ｂ〜ｅの各々から入力される画像データの品質を評価し品質の良好な画像データを選択してカラオケ装置１０に出力するセレクタ１８、カラオケ装置１０から出力される画像データに従い画像表示を行うディスプレイ１９ａおよびｂ、そしてカラオケ装置１０から出力されるデータをフラッシュメモリ等の記憶媒体に記憶するメディアドライブ２０を備えている。また、カラオケ装置１０はインターネット２１に接続されている。
【００４７】
カラオケシステム１は、上記のようにマイク１２、ビデオカメラ１５、カメラ移動装置１７およびディスプレイ１９をそれぞれ複数備えているが、以下、複数の同種の構成部を区別する必要がない場合には、単にマイク１２のように呼ぶ。また、カラオケシステム１が備えるマイク１２等の数は例示であり、自由に変更可能である。さらに、例えばスピーカ１４を複数設けるなど、他の構成部の数も自由に変更可能である。
【００４８】
図２はカラオケシステム１がカラオケルームに設置された様子を示している。マイク１２ａおよびマイク１２ｂはそれぞれメインマイクおよびサブマイクであり、歌唱者が１人の場合はメインマイクのみが用いられ、歌唱者が２人の場合にはメインマイクとサブマイクが用いられる。ビデオカメラ１５ａはメインカメラであり、主として歌唱者を撮像する。一方、ビデオカメラ１５ｂ〜ｅはいずれもサブカメラであり、主として観衆をそれぞれ異なる角度から撮像する。ディスプレイ１９ａは主として歌唱者に対する表示を行う。一方、ディスプレイ１９ｂは主として観衆に対する表示を行う。
【００４９】
図１に戻り、カラオケ装置１０の構成を説明する。カラオケ装置１０は記憶部１０１、入出力Ｉ／Ｆ（Ｉｎｔｅｒｆａｃｅ）１０２および制御部１０３を備えている。記憶部１０１は、制御部１０３による各種処理を指示するプログラムを予め記憶し、また制御部１０３により生成されるデータを一時的に記憶する。さらに、記憶部１０１は予め、複数のカラオケデータ１０１１、汎用画像ソースＤＢ（データベース）１０１２および指示ＤＢ１０１３を記憶している。
【００５０】
以下、記憶部１０１に記憶される各種データを説明する。図３は、カラオケデータ１０１１の構成を模式的に示している。カラオケデータ１０１１は、カラオケ楽曲の自動演奏および歌詞表示を指示するデータである。カラオケデータ１０１１には、含まれるデータの構成により複数の種類があり、図３において、それらの各々をカラオケデータ１０１１ａ〜ｆとして示している。
【００５１】
カラオケデータ１０１１ａ〜ｆのいずれも、管理データ、演奏制御データおよび歌詞データを含んでいる。管理データは、カラオケデータを識別するための識別番号、楽曲名および楽曲ジャンル名を示すデータである。
【００５２】
演奏制御データは、カラオケ楽曲の自動演奏を指示するデータであり、例えばＳＭＦ（Ｓｔａｎｄａｒｄ ＭＩＤＩ Ｆｉｌｅ）形式のデータである。図４は、演奏制御データの内容を例示している。ただし、図４においては、説明のため、ＳＭＦの表現形式を簡便化している。演奏制御データは、互いに対応付けられたタイミングデータとイベントデータからなるタイミング付イベントデータを複数、含んでいる。タイミングデータは、楽曲におけるタイミングを示すデータである。演奏制御データに含まれるイベントデータは、楽音の発音に関する指示もしくは楽曲における調子等の付随的な情報を示すデータである。
【００５３】
例えば、［０ｈ００ｍ０１ｓ２５０ｍｓ］−［ノートオン：１ｃｈ：Ｄ４：７４］は、楽曲の演奏開始から１秒２５０ミリ秒後に第１のチャンネルに割り当てられた音色の音高Ｄ４の楽音を、音強７４で発音することを指示している。ここで、チャンネルとは楽曲に含まれる個々の演奏パートのことである。また、例えば［０ｈ００ｍ０４ｓ１３０ｍｓ］−［コード：Ｂｍ］は、楽曲の演奏開始から４秒１３０ミリ秒後に楽曲全体に関しコードがＢｍに変化することを示している。
【００５４】
歌詞データは、カラオケ楽曲の歌詞表示を指示するデータである。図５は、歌詞データの内容を例示している。歌詞データは、演奏制御データと同様に複数のタイミング付イベントデータを含んでいる。例えば、［０ｈ００ｍ１２ｓ１５０ｍｓ］−［表示：さ：（１２０，１８０）：赤］は、楽曲の演奏開始から１２秒１５０ミリ秒後に画面上の座標（１２０，１８０）の位置に「さ」という文字を赤で表示させることを指示している。
【００５５】
カラオケデータ１０１１ｂおよびｅは、さらに特徴シーケンスデータを含んでいる。特徴シーケンスデータは、楽曲における特徴箇所を示すデータである。楽曲における特徴箇所とは、イントロや第１メロディ等の楽曲に含まれるセクションの区切り箇所、転調箇所、リズムの変化箇所、強拍（ビート）箇所、小節区切り箇所等である。図６は、特徴シーケンスデータの内容を例示している。特徴シーケンスデータは、演奏制御データと同様に複数のタイミング付イベントデータを含んでいる。例えば、［０ｈ０１ｍ１０ｓ４８０ｍｓ］−［イントロ→第１メロディ］は、楽曲の演奏開始から１分１０秒４８０ミリ秒後にイントロと第１メロディの区切り箇所があることを示している。以下、特徴シーケンスデータに含まれるイベントデータのように、楽曲の特徴箇所の種別を示すイベントデータを特徴データと呼ぶ。
【００５６】
一方、カラオケデータ１０１１ｃおよびｆは、指示シーケンスデータを含んでいる。指示シーケンスデータは、楽曲の演奏に伴い撮像される映像を示す画像データの加工処理、楽曲の演奏に伴う撮像におけるビデオカメラ１５およびカメラ移動装置１７の動作制御、そして楽曲の演奏に伴い拾音される音を示す音データの加工処理を指示するデータである。図７は、指示シーケンスデータの内容を例示している。指示シーケンスデータは、画像データの加工処理に関する画像加工指示シーケンスデータと、撮像における動作制御に関する動作制御指示シーケンスデータと、音データの加工処理に関する音加工指示シーケンスデータを含んでいる。画像加工指示シーケンスデータ、動作制御指示シーケンスデータおよび音加工指示シーケンスデータの各々は、演奏制御データと同様に複数のタイミング付イベントデータを含んでいる。
【００５７】
例えば、［０ｈ００ｍ１４ｓ１５０ｍｓ］−［窓表示：大：中央：メインカメラ］は、楽曲の演奏開始から１４秒１５０ミリ秒後に、背景となる画面の中央に大きさ「大」の窓を表示させ、その窓にメインカメラから入力される映像を表示させるスーパーインポーズ処理を指示する画像加工に関するタイミング付イベントデータである。また、［０ｈ００ｍ１４ｓ１５０ｍｓ］−［メインマイク：ディレイ：０．５秒］は、楽曲の演奏開始から１４秒１５０ミリ秒後に、メインカメラから入力される音を示す音データに対する０．５秒のディレイ処理を指示する音加工に関するタイミング付イベントデータである。
【００５８】
また、［０ｈ００ｍ１４ｓ１５０ｍｓ］−［サブカメラ：ズームイン：１．２倍：２秒間：終了時点：テンポ固定］は、サブカメラに対し１．２倍のズームイン動作を指示する動作制御に関するタイミング付イベントデータである。また、このイベントデータに含まれる［２秒間：終了時点：テンポ固定］は、ズームイン動作が２秒間で完了する速度で行われ、その処理期間の終了時点がタイミングデータにより指定されるタイミングと一致するように処理の開始タイミングが決定され、さらにその開始タイミングおよび処理速度はユーザによる楽曲の演奏テンポの変更に左右されないことを示している。
【００５９】
以下、指示シーケンスデータに含まれるイベントデータのように、画像データの加工処理、撮像における動作制御および音データの加工処理を指示するイベントデータを指示データと呼ぶ。ところで、画像加工に関する指示データには、予め準備された動画データもしくは静止画データの再生もしくは表示の指示を伴うものがある。例えば、［全画面：モザイク：動画データ再生］は、予め準備された動画データを再生し、その結果得られる画像データをモザイク処理した後、全画面に表示することを指示する指示データである。以下、予め準備された動画データもしくは静止画データを、リアルタイムで撮像される画像データを区別するために、それぞれ動画ソースデータおよび静止画ソースデータと呼ぶ。また、動画ソースデータおよび静止画ソースデータを総称して、画像ソースデータと呼ぶ。カラオケデータ１０１１ｄ〜ｆは、カラオケ楽曲に適する画像ソースデータを予め含んでいる。以上が、カラオケデータ１０１１の構成である。
【００６０】
図８は、記憶部１０１に記憶された汎用画像ソースＤＢ１０１２の内容を例示した図である。汎用画像ソースＤＢ１０１２は、カラオケデータ１０１１が必要な画像ソースデータを含まない場合に利用される画像ソースデータ（以下、「汎用画像ソースデータ」と呼ぶ）を複数格納したデータベースである。汎用画像ソースＤＢ１０１２は、動画を示す汎用画像ソースデータ（以下、「汎用動画ソースデータ」と呼ぶ）を格納する汎用動画ソースＤＢと、静止画を示す汎用画像ソースデータ（以下、「汎用静止画ソースデータ」と呼ぶ）を格納する汎用静止画ソースＤＢとを含んでいる。汎用動画ソースＤＢには、汎用画像ソースデータとともに、それらが用いられるのに適する楽曲のジャンルを示すデータが記憶されている。汎用静止画ソースＤＢも同様である。
【００６１】
図９は、記憶部１０１に記憶された指示ＤＢ１０１３の内容を例示した図である。指示ＤＢ１０１３は、カラオケデータ１０１１が指示シーケンスデータを含まない場合に利用される指示データを複数格納したデータベースである。指示ＤＢ１０１３は、画像データの加工処理、撮像における動作制御および音データの加工処理の各々に関する指示データを格納するデータベースとして、画像加工指示ＤＢ、動作制御指示ＤＢおよび音加工指示ＤＢを含んでいる。画像加工指示ＤＢ、動作制御指示ＤＢおよび音加工指示ＤＢは、各指示データとともに、それらが用いられるのに適する楽曲のジャンルを示す楽曲ジャンル名と、それらが用いられるのに適する楽曲の特徴箇所を示す適用箇所名を各指示データに対応付けて格納している。以下、楽曲ジャンル名および適用箇所名が対応付けられた指示データを属性付指示データと呼ぶ。画像加工指示ＤＢ、動作制御指示ＤＢおよび音加工指示ＤＢの各々は、同じ楽曲ジャンル名および適用箇所名を含むが、指示データの内容が異なる属性付指示データを複数、含むことができる。
【００６２】
例えば、［ロック］−［短調→長調］−［ディゾルブ：サブカメラ←→メインカメラ：３秒間：中間時点：テンポ調整］は、楽曲のジャンルがロックである楽曲において、短調から長調に転調する箇所で、ディゾルブ処理を行いながらサブカメラとメインカメラの表示位置を入れ替えることを指示している。また、この指示データに含まれる［３秒間：中間時点：テンポ調整］は、ディゾルブ処理が３秒間で完了する速度で行われ、その処理期間の中間時点が特徴箇所のタイミングと一致するように処理の開始タイミングが決定され、さらにその開始タイミングおよび処理速度はユーザによる楽曲の演奏テンポの変更に応じて調整されることを示している。また、図９の画像加工指示ＤＢにおける２行目のデータ例のように、指示ＤＢ１０１３は、同時に行われるべき処理を指示する複数の指示データを含む属性付指示データを格納することもできる。以上が、記憶部１０１に記憶される各種データである。
【００６３】
図１に戻り、カラオケ装置１０の構成説明を続ける。入出力Ｉ／Ｆ１０２は、カラオケ装置１０に含まれる記憶部１０１および制御部１０３がコントローラ１１、マイク１２、アンプ１３、ビデオカメラ１５ａ、ハンドカメラ１６、カメラ移動装置１７、セレクタ１８、ディスプレイ１９、メディアドライブ２０およびインターネット２１との間でアナログ信号およびデジタルデータの入出力を行うインタフェースである。また、入出力Ｉ／Ｆ１０２はＡ／Ｄ（Ａｎａｌｏｇ ｔｏ Ｄｉｇｉｔａｌ）コンバータおよびＤ／Ａ（Ｄｉｇｉｔａｌ ｔｏ Ａｎａｌｏｇ）コンバータを備えており、必要に応じてアナログ信号とデジタルデータとの間の変換を行う。
【００６４】
制御部１０３は、カラオケデータ１０１１に従いカラオケ楽曲の自動演奏と歌詞表示を行うと同時に、ユーザの映像の撮像を行うためのカメラ移動装置１７およびビデオカメラ１５の動作制御を行う。また、この間、制御部１０３は、ビデオカメラ１５により得られたユーザの歌唱時の映像を示す画像データおよびマイク１２により採取された歌唱音を示す音データに加工処理を施し、それらのデータをビデオデータとして記憶する。
【００６５】
制御部１０３の構成部は、音データの処理に関する音データブロック２０１、画像データの生成および処理に関する画像データブロック２０２および指示データの生成に関する指示データブロック２０３に区分される。また、制御部１０３は発振器（図示略）を備えており、制御部１０３の構成部の処理は発振器により生成されるクロック信号に基づき同期がとられている。
【００６６】
音データブロック２０１は、演奏制御データの再生を行うと同時に、マイク１２からリアルタイムに取得される視聴覚データの一種である音データに加工処理を施すブロックである。音データブロック２０１は、カラオケデータ１０１１に含まれる演奏制御データに従い、演奏制御を行う手段を有する。さらに詳述すると、音データブロック２０１は、演奏制御データにおけるタイミングデータにより示されるタイミングでイベントデータを音源部２０１２に送信する演奏制御データ再生部２０１１と、演奏制御データ再生部２０１１から受信されるイベントデータに従い様々な楽音を示す音データを出力する音源部２０１２を備えている。また、音データブロック２０１は、マイク１２から入力される音を示す音データおよび音源部２０１２から受信される音データの各々に各種エフェクト処理等の加工処理を施した後、それらをミキシング処理して得られる音データをアンプ１３に対し出力する音データ加工処理部２０１３を備えている。
【００６７】
画像データブロック２０２は、音データブロック２０１による演奏制御データの再生と同期し、ビデオカメラ１５等からリアルタイムに取得される視聴覚データの一種である画像データに加工処理を施すブロックである。また、画像データブロック２０２は、ビデオカメラ１５等による画像データの生成動作の制御も行う。画像データブロック２０２は、カラオケデータ１０１１もしくは汎用画像ソースＤＢ１０１２に含まれる動画データを再生することにより映像を示す画像データを順次生成する動画データ再生部２０２１、カラオケデータ１０１１に含まれる歌詞データに従い歌詞表示の画面を示す画像データを順次生成する歌詞画面生成部２０２２、そしてカメラ移動装置１７およびビデオカメラ１５の各々の動作制御を行う撮像動作制御部２０２３を備えている。また、画像データブロック２０２は、動画データ再生部２０２１、歌詞画面生成部２０２２、ビデオカメラ１５ａ、ハンドカメラ１６およびセレクタ１８の各々から受信される画像データと、カラオケデータ１０１１もしくは汎用画像ソースＤＢ１０１２に含まれる静止画データに、各種エフェクト処理等の加工処理を施した後、それらを合成処理して得られる画像データをディスプレイ１９に送信する画像データ加工処理部２０２４を備えている。画像の合成処理には、例えば、ある画像に別の画像をスーパーインポーズする処理や、ある画像から別の画像が透けて見えるように両画像を合成する処理が含まれる。
【００６８】
指示データブロック２０３は、必要に応じて演奏制御データから特徴箇所を検出し、特徴箇所に応じた指示データを画像データ加工処理部２０２４等に送信するブロックである。指示データブロック２０３は、判定部２０３１、特徴検出部２０３２、指示データ選択部２０３３および指示データ生成部２０３４を含んでいる。判定部２０３１は、カラオケデータ１０１１の構成が次の３種類のいずれであるかを判定する。
構成（ａ）：特徴シーケンスデータおよび指示シーケンスデータのいずれも含んでいない。
構成（ｂ）：特徴シーケンスデータを含んでいる。
構成（ｃ）：指示シーケンスデータを含んでいる。
【００６９】
特徴検出部２０３２は、カラオケデータ１０１１の構成が（ａ）であると判定された場合に、カラオケデータ１０１１に含まれる演奏制御データに基づきカラオケ楽曲における特徴箇所を検出して特徴シーケンスデータを生成する。特徴検出部２０３２は生成した特徴シーケンスデータを指示データ選択部２０３３に送信する。
【００７０】
指示データ選択部２０３３は、カラオケデータ１０１１の構成が（ａ）であると判定された場合には、特徴検出部２０３２から特徴シーケンスデータを受信し、またカラオケデータ１０１１の構成が（ｂ）であると判定された場合には、カラオケデータ１０１１に含まれる特徴シーケンスデータを読み出し、特徴シーケンスデータに含まれる特徴データに応じた指示データを指示ＤＢ１０１３から選択することにより、指示シーケンスデータを生成する。指示データ選択部２０３３は生成した指示シーケンスデータを指示データ生成部２０３４に送信する。
【００７１】
指示データ生成部２０３４は、カラオケデータ１０１１の構成が（ａ）もしくは（ｂ）であると判定された場合には、指示データ選択部２０３３から指示シーケンスデータを受信し、またカラオケデータ１０１１の構成が（ｃ）であると判定された場合には、カラオケデータ１０１１に含まれる指示シーケンスデータを読み出し、指示シーケンスデータに含まれるタイミングデータに応じたタイミングで、指示シーケンスデータに含まれる指示データを、画像データ加工処理部２０２４、撮像動作制御部２０２３および音データ加工処理部２０１３に送信する。画像データ加工処理部２０２４、撮像動作制御部２０２３および音データ加工処理部２０１３は、指示データ生成部２０３４から送信される指示データに従い、各々、画像データの加工処理、撮像動作の制御処理および音データの加工処理を行うのである。以上が、カラオケシステム１の構成である。
【００７２】
［１．２．カラオケシステムの動作］
上記の構成を備えるカラオケシステム１を用いて、ユーザはカラオケにおける歌唱時の音および映像をリアルタイムに加工して発音および表示させることができるとともに、それらの音および映像をビデオデータとして記録することができる。その際、カラオケ装置１０は演奏されるカラオケ楽曲に応じて、適切なタイミングで適切な内容の画像データの加工処理、撮像動作の制御処理および音データの加工処理を行うことにより、視聴者をより楽しませることができる音および映像をユーザに提供することができる。以下、カラオケシステム１の動作を説明する。
【００７３】
ユーザはディスプレイ１９ａに表示される指示に従い、コントローラ１１を用いてカラオケ楽曲の選択を行う。その際、ユーザは楽曲のテンポ変更や移調の指定も行うことができる。ユーザは、それらの操作後、カラオケ装置１０に対し演奏開始の指示を行う。図１０は、ユーザによる演奏開始の指示に応じてカラオケ装置１０が行う処理を模式的に示した図である。図１０において、右方向は演奏制御データにより演奏指示がなされる楽曲における時間軸を示している。
【００７４】
ユーザの演奏開始の指示に応じて、判定部２０３１は記憶部１０１からユーザにより指定されたカラオケ楽曲に対応するカラオケデータ１０１１（図３参照）を読み出し、そのカラオケデータ１０１１に関し、上述した特徴シーケンスデータおよび指示シーケンスデータの有無に関する判定を行う（ステップＳ１００）。判定部２０３１は、カラオケデータ１０１１に特徴シーケンスデータおよび指示シーケンスデータのいずれも含まれていないと判定した場合、その判定結果を示すデータを特徴検出部２０３２に送信する（ステップＳ１００ａ）。
【００７５】
特徴検出部２０３２は、上記のステップＳ１００ａにおいて判定部２０３１から特徴シーケンスデータおよび指示シーケンスデータのいずれも含まれていない旨の判定結果を受信すると、カラオケデータ１０１１に含まれる演奏制御データ（図４参照）に基づき、カラオケ楽曲における特徴箇所を検出する。例えば、特徴検出部２０３２は、演奏制御データに含まれる楽音の発音指示に関するタイミング付イベントデータを抽出し、音強の移動平均値が所定レベルを超える箇所を音量変化の特徴を示す特徴箇所として検出する。同様に、特徴検出部２０３２は、演奏制御データに含まれるタイミング付イベントデータにより示される楽音の音高から転調の箇所を特徴箇所として検出する。また、特徴検出部２０３２は、演奏制御データに含まれるドラムパートを示すチャンネルに関するタイミング付イベントデータに基づき、リズムの変化箇所を特徴箇所として検出する。その他、特徴検出部２０３２は音色の変化箇所、テンポの変化箇所等、楽曲における様々な特徴箇所を演奏制御データから検出する。
【００７６】
特徴検出部２０３２は、上記のように検出した特徴箇所の種別を示すデータを特徴データとして生成し、生成した特徴データに対し、検出した特徴箇所の楽曲におけるタイミングを示すタイミングデータを対応付けることにより、図６に示した形式を備える特徴シーケンスデータを新たに生成する（ステップＳ１０１）。特徴検出部２０３２は、生成した特徴シーケンスデータを記憶部１０１に記憶させた後、その旨を示すデータを指示データ選択部２０３３に送信する。
【００７７】
判定部２０３１は、上記のステップＳ１００においてカラオケデータ１０１１に特徴シーケンスデータが含まれていると判定した場合、その判定結果を示すデータを指示データ選択部２０３３に送信する（ステップＳ１００ｂ）。
【００７８】
指示データ選択部２０３３は、上記のステップＳ１０１において特徴検出部２０３２から特徴シーケンスデータが記憶された旨のデータを受信した場合、記憶部１０１から特徴シーケンスデータを読み出す。また、指示データ選択部２０３３は、上記のステップＳ１００の判定結果として、カラオケデータ１０１１に特徴シーケンスデータが含まれている旨の判定結果を判定部２０３１から受信した場合（ステップＳ１００ｂ）、カラオケデータ１０１１に含まれる特徴シーケンスデータ（図６参照）を読み出す。
【００７９】
指示データ選択部２０３３は、読み出した特徴シーケンスデータに含まれる特徴データの各々に関し、指示ＤＢ１０１３（図９参照）から適する指示データを選択する。より具体的には、指示データ選択部２０３３は、特徴データの種別に応じて、指示ＤＢ１０１３に含まれる画像加工指示ＤＢ、動作制御指示ＤＢおよび音加工指示ＤＢのいずれかを選択する。続いて、指示データ選択部２０３３は、選択したデータベースに含まれる属性付指示データのうち、楽曲ジャンル名がカラオケデータ１０１１の管理データに含まれる楽曲ジャンル名と一致し、かつ適用箇所名が特徴データの内容と一致するものを抽出する。指示データ選択部２０３３は、抽出した属性付指示データが１つである場合にはその属性付指示データに含まれる指示データを取り出す。また、指示データ選択部２０３３は、抽出した属性付指示データが複数である場合には、擬似乱数を発生させ、その擬似乱数に基づいて抽出した属性付指示データの１つを選択し、選択した属性付指示データに含まれる指示データを取り出す。そのように取り出された指示データは、カラオケ楽曲のジャンルに適し、かつ特徴データにより示される楽曲における特徴の内容に適した加工処理もしくは動作制御を指示する指示データである。
【００８０】
指示データ選択部２０３３は、上記のように選択した指示データに対し、特徴データに対応付けられているタイミングデータを対応付けることにより、図７に示した形式を備える指示シーケンスデータを新たに生成する（ステップＳ１０２）。指示データ選択部２０３３は、生成した指示シーケンスデータを記憶部１０１に記憶させた後、その旨を示すデータを指示データ生成部２０３４に送信する。
【００８１】
判定部２０３１は、上記のステップＳ１００においてカラオケデータ１０１１に指示シーケンスデータが含まれていると判定した場合、その判定結果を示すデータを指示データ生成部２０３４に送信する（ステップＳ１００ｃ）。
【００８２】
指示データ生成部２０３４は、上記のステップＳ１０２において指示データ選択部２０３３から指示シーケンスデータが記憶された旨のデータを受信した場合、記憶部１０１から指示シーケンスデータを読み出す。また、指示データ生成部２０３４は、上記のステップＳ１００ｃにおいて判定部２０３１からカラオケデータ１０１１に指示シーケンスデータが含まれている旨の判定結果を受信した場合、カラオケデータ１０１１に含まれる指示シーケンスデータ（図７参照）を読み出す。
【００８３】
指示データ生成部２０３４は、指示シーケンスデータの読み出しを完了すると、演奏制御データ再生部２０１１および歌詞画面生成部２０２２に対し、演奏制御データおよび歌詞データの再生開始を指示するデータを送信する。演奏制御データ再生部２０１１および歌詞画面生成部２０２２は、指示データ生成部２０３４からの再生開始を指示するデータに応じて、カラオケデータ１０１１に含まれる演奏制御データ（図４参照）および歌詞データ（図５参照）の再生をそれぞれ開始する（ステップＳ１０３、ステップＳ１０４）。
【００８４】
演奏制御データ再生部２０１１により演奏制御データの再生、すなわち演奏制御データに含まれるタイミングデータに応じたタイミングにおけるイベントデータの音源部２０１２への送信が行われると、音源部２０１２は演奏制御データ再生部２０１１から受信されるイベントデータに応じた楽音を示す音データの生成処理を行い、生成した音データを音データ加工処理部２０１３に送信する。一方、マイク１２により拾音される音を示す信号は常時、音データ加工処理部２０１３に入力される。音データ加工処理部２０１３は、音源部２０１２から受信される音データと、マイク１２から入力される音を示す音データをミキシング処理して得られる音データを順次、アンプ１３に出力する（ステップＳ１０５）。その際、入出力Ｉ／Ｆ１０２によりデジタルデータからアナログ信号への変換が行われる。アンプ１３は入出力Ｉ／Ｆ１０２を介して音データ加工処理部２０１３から入力される音信号を増幅する。アンプ１３により増幅された音信号はスピーカ１４により発音される。そのように発音される音は、カラオケ楽曲の演奏音とユーザの歌唱音がミキシングされた音である。
【００８５】
また、演奏制御データ再生部２０１１により歌詞データの再生、すなわち歌詞データに従った歌詞表示画面を示す画像データの生成および画像データ加工処理部２０２４への送信が行われると、画像データ加工処理部２０２４は歌詞画面生成部２０２２から受信される画像データをディスプレイ１９ａに送信する。一方、ビデオカメラ１５ａおよびハンドカメラ１６により撮像される映像を示す画像データは常時、画像データ加工処理部２０２４に送信される。また、サブカメラ、すなわちビデオカメラ１５ｂ〜ｅにより撮像される映像を示す画像データは常時、セレクタ１８に送信され、セレクタ１８により選択された画像データは常時、セレクタ１８から画像データ加工処理部２０２４に送信される。
【００８６】
画像データ加工処理部２０２４は、メインカメラ、すなわちビデオカメラ１５ａから受信される画像データに対し歌詞画面生成部２０２２から受信される画像データをスーパーインポーズ処理し、この結果得られる画像データを順次、ディスプレイ１９ａに送信する。その結果、歌唱者が歌唱しながら見るディスプレイ１９ａには、歌唱者自身の現在の映像と歌詞が表示される。また、画像データ加工処理部２０２４は、ビデオカメラ１５ａ、ハンドカメラ１６およびセレクタ１８から受信される画像データに対し合成処理を行って得られる画像データを順次、ディスプレイ１９ｂに送信する（ステップＳ１０６）。その結果、観衆が見るためのディスプレイ１９ｂには、カラオケルームに設けられた複数のカメラにより撮像された映像が合成された映像が表示される。
【００８７】
ところで、上記の演奏制御データ再生部２０１１による演奏制御データの再生および歌詞画面生成部２０２２による歌詞データの再生と並行して、指示データ生成部２０３４は指示シーケンスデータの再生を行う。すなわち、指示データ生成部２０３４は、指示シーケンスデータに含まれるタイミングデータにより示されるタイミングにおいて、タイミングデータに対応付けられた指示データを、その指示データの種別に応じて、音データ加工処理部２０１３、撮像動作制御部２０２３もしくは画像データ加工処理部２０２４に送信する（ステップＳ１０７〜ステップＳ１０９）。
【００８８】
例えば、図１０において、Ｔ１で示されるタイミングを示すタイミングデータに対応付けられた指示データが指示シーケンスデータに含まれる場合、指示データ生成部２０３４は、歌詞データおよび演奏制御データの再生が進行し、Ｔ１のタイミングに達した時点で、当該指示データを音データ加工処理部２０１３（ステップＳ１０７）、撮像動作制御部２０２３（ステップＳ１０８）もしくは画像データ加工処理部２０２４（ステップＳ１０９）に送信する。指示シーケンスデータに含まれるタイミングデータにより示されるＴ２〜Ｔｎ（ただし、ｎは任意の自然数）のタイミングにおいても、指示データ生成部２０３４はステップＳ１０７〜ステップＳ１０９の処理を繰り返す。
【００８９】
音データ加工処理部２０１３は、指示データ生成部２０３４から指示データを受信すると、マイク１２から入力される音を示す音データおよび音源部２０１２から受信される音データに、受信した指示データにより示される加工処理を施した後、それらをミキシング処理して（ステップＳ１１０）、アンプ１３に対し出力する。その結果、スピーカ１４から発音される音は、演奏制御データにより示される楽曲における特徴箇所に応じたタイミングで、特徴箇所の種別に応じた種別の加工処理が施された音であり、視聴者をより楽しませるものとなる。
【００９０】
撮像動作制御部２０２３は、指示データ生成部２０３４から指示データを受信すると、受信した指示データの内容に応じて、カメラ移動装置１７に対するビデオカメラ１５の旋回や移動の動作指示、もしくはビデオカメラ１５に対するズームイン・ズームアウト等の動作指示を示すデータを送信する。カメラ移動装置１７およびビデオカメラ１５は、撮像動作制御部２０２３から受信される動作指示のデータに従った動作を行う。このため、動作指示のデータに従い、撮像の位置、角度、大きさ等が変化する。ビデオカメラ１５ａから画像データ加工処理部２０２４に送信される画像データおよびビデオカメラ１５ｂ〜ｅからセレクタ１８を介して画像データ加工処理部２０２４に送信される画像データは、このような撮像の位置、角度、大きさ等の変化を反映したものとなる（ステップＳ１１１）。
【００９１】
画像データ加工処理部２０２４は、指示データ生成部２０３４から指示データを受信すると、受信した指示データが動画の再生指示を伴うか否かを判定する。指示データが動画の再生指示を伴う場合、画像データ加工処理部２０２４は続いて、カラオケデータ１０１１（図３参照）に動画ソースデータが含まれているか否かを判定する。カラオケデータ１０１１が動画ソースデータを含んでいる場合、画像データ加工処理部２０２４はカラオケデータ１０１１に含まれる動画ソースデータの再生を指示するデータを動画データ再生部２０２１に対し送信する。また、カラオケデータ１０１１に動画ソースデータが含まれていない場合、画像データ加工処理部２０２４は、汎用画像ソースＤＢ１０１２（図８参照）に含まれる汎用動画ソースＤＢから、カラオケデータ１０１１の管理データにより示される楽曲ジャンル名に対応付けられた汎用動画ソースデータを選択する。その際、汎用動画ソースＤＢが選択候補となる汎用動画ソースデータを複数含んでいる場合、画像データ加工処理部２０２４は、例えば擬似乱数を発生させ、その擬似乱数に基づいてそれらの候補の１つを選択する。
【００９２】
画像データ加工処理部２０２４は選択した汎用動画ソースデータの再生を指示するデータを動画データ再生部２０２１に対し送信する。動画データ再生部２０２１は、画像データ加工処理部２０２４からの再生指示に従い、指定されたデータの再生を行い、生成した画像データを順次、画像データ加工処理部２０２４に送信する。
【００９３】
続いて、画像データ加工処理部２０２４は、指示データが静止画の表示指示を伴うか否かを判定する。指示データが静止画の表示指示を伴う場合、画像データ加工処理部２０２４は続いて、カラオケデータ１０１１（図３参照）に静止画ソースデータが含まれているか否かを判定する。カラオケデータ１０１１が静止画ソースデータを含んでいる場合には、画像データ加工処理部２０２４はカラオケデータ１０１１に含まれる静止画ソースデータを読み出す。また、カラオケデータ１０１１に静止画ソースデータが含まれていない場合、画像データ加工処理部２０２４は、汎用画像ソースＤＢ１０１２（図８参照）に含まれる汎用静止画ソースＤＢから、カラオケデータ１０１１の管理データにより示される楽曲ジャンル名に対応付けられた汎用静止画ソースデータを選択する。その際、汎用静止画ソースＤＢが選択候補となる汎用静止画ソースデータを複数含んでいる場合、画像データ加工処理部２０２４は、例えば擬似乱数を発生させ、その擬似乱数に基づいてそれらの候補の１つを選択する。そして、画像データ加工処理部２０２４は選択した汎用静止画ソースデータを読み出す。
【００９４】
続いて、画像データ加工処理部２０２４は、ビデオカメラ１５ａ、ハンドカメラ１６、セレクタ１８および動画データ再生部２０２１の各々から受信される画像データと、読み出した静止画ソースデータもしくは汎用静止画ソースデータに、指示データにより示される加工処理を施した後、さらに合成処理を施す（ステップＳ１１２）。画像データ加工処理部２０２４は、ステップＳ１１２の処理により得られる画像データをディスプレイ１９ｂに送信する。上記のステップＳ１１１およびステップＳ１１２における処理の結果、ディスプレイ１９ｂにより表示される映像は、演奏制御データにより示される楽曲における特徴箇所に応じたタイミングで、特徴箇所の種別に応じた種別の加工処理が施された映像であり、視聴者をより楽しませるものとなる。
【００９５】
上記のステップＳ１１０において音データ加工処理部２０１３により加工処理およびミキシング処理の施された音データと、上記のステップＳ１１２において画像データ加工処理部２０２４により加工処理および合成処理の施された画像データは、１つのビデオデータとして記憶部１０１に記憶される。ユーザは、カラオケ楽曲の演奏が終了すると、ディスプレイ１９ａに表示される指示に従い、記憶されたビデオデータの受け取り方法をカラオケ装置１０に対し指示する。ビデオデータの受け取り方法としては、例えば「メールアドレスに送信」、「フラッシュメモリに記録」等が考えられる。
【００９６】
ユーザが「メールアドレスに送信」を選択した場合、カラオケ装置１０はユーザの指定したメールアドレスや電話番号宛の電子メールを生成し、生成した電子メールにビデオデータを添付した後、インターネット２１に対し送信する。また、ユーザが「フラッシュメモリに記録」を選択した場合、カラオケ装置１０はユーザによりメディアドライブ２０に装填されたフラッシュメモリに対し、ビデオデータを記録する。その結果、ユーザは自宅のコンピュータや携帯電話等により、カラオケシステム１により生成されたビデオデータを再生して楽しんだり、知人に送信等することができる。以上がカラオケシステム１の動作である。
【００９７】
ところで、カラオケ装置１０は、専用のハードウェアにより実現されてもよいし、汎用コンピュータにアプリケーションプログラムに従った処理を実行させることにより実現されてもよい。カラオケ装置１０が汎用コンピュータにより実現される場合、制御部１０３の各構成部は、汎用コンピュータが備えるＣＰＵ（Ｃｅｎｔｒａｌ Ｐｒｏｃｅｓｓｉｎｇ Ｕｎｉｔ）およびＣＰＵの制御下で動作するＤＳＰ（Ｄｉｇｉｔａｌ Ｓｉｇｎａｌ Ｐｒｏｃｅｓｓｏｒ）が、アプリケーションプログラムに含まれる各モジュールに従った処理を同時並行して行うことにより、汎用コンピュータの機能として実現される。
【００９８】
また、上記においては、カラオケシステム１をカラオケ装置１０と、カラオケ装置１０に接続されるマイク１２等の各種装置の組合せとして説明した。しかしながら、カラオケシステム１の構成部のいずれを組み合わせて同じ筐体に配置するかは自由に変更可能である。
【００９９】
また、上記においては、カラオケデータ１０１１はカラオケ楽曲の伴奏を示す楽曲データとして演奏制御データを含むものとして説明した。しかしながら、カラオケデータ１０１１は、演奏制御データの代わりに、カラオケ楽曲の伴奏音を示す音データを含むようにしてもよい。その場合、カラオケ装置１０は演奏制御データ再生部２０１１および音源部２０１２の代わりに、カラオケデータ１０１１に含まれる音データを再生する音データ再生部を備える。また、特徴検出部２０３２は、カラオケデータ１０１１に含まれる音データのレベル変化やピッチ変化等の検出を行うことにより、カラオケ楽曲における特徴箇所の検出を行う。
【０１００】
また、上記においては、指示データ生成部２０３４は音加工に関する指示データを音データ加工処理部２０１３に送信するものとして説明した。しかしながら、音源部２０１２がエフェクト処理を行う機能を備えている場合等には、指示データ生成部２０３４は音加工に関する指示データを音源部２０１２に送信するようにしてもよい。例えば、指示データ生成部２０３４は音源部２０１２に対し、指示データ［ディレイ：０．５秒］を送信する。この場合、音源部２０１２は指示データに従い、その後に生成する音データに対し０．５秒のディレイ処理を施したものを音データ加工処理部２０１３に送信する。
【０１０１】
また、指示データ生成部２０３４は音加工に関する指示データを演奏制御データ再生部２０１１に送信するようにしてもよい。例えば、指示データ生成部２０３４は演奏制御データ再生部２０１１に対し、指示データ［ボリュームアップ：１．２倍］を送信する。この場合、演奏制御データ再生部２０１１は指示データに従い、その後に再生する楽音の発音指示に関するイベントデータの音強値を１．２倍に変更して音源部２０１２に送信する。
【０１０２】
また、上記においては、指示データ選択部２０３３は、楽曲ジャンル名を属性データとして含む属性付指示データを格納した指示ＤＢ１０１３から、カラオケデータ１０１１の管理データにより示される楽曲ジャンル名を検索キーとして、カラオケ楽曲に適する指示データの選択を行うものとして説明した。しかしながら、指示ＤＢ１０１３の構成、属性付指示データに含まれる属性の種類、指示データ選択部２０３３が指示データを選択する際に用いる検索キーの取得方法等は様々に変更可能である。例えば、指示ＤＢ１０１３は、「軽快なロック」、「明るいイメージ」等の属性を伴う一群の指示データを異なるデータ群として格納しておき、指示データ選択部２０３３は、ユーザに選択された「軽快なロック」等の属性を備えるデータ群の中から、特徴データに応じた指示データを選択するようにしてもよい。
【０１０３】
また、上記においては、演奏制御データ再生部２０１１による演奏制御データの再生、歌詞画面生成部２０２２による歌詞データの再生、指示データ生成部２０３４による指示シーケンスデータの再生およびそれらの再生に伴う処理（ステップＳ１０３〜ステップＳ１１２）は、指示データ生成部２０３４によりカラオケ楽曲の全体に関する指示シーケンスデータの読み込みが完了した後に開始されるものとして説明した。しかしながら、特徴シーケンスデータの生成処理および指示シーケンスデータの生成処理（ステップＳ１０１およびステップＳ１０２）は、ステップＳ１０３以降の処理と同時並行して行われてもよい。
【０１０４】
すなわち、特徴検出部２０３２および指示データ選択部２０３３によりカラオケ楽曲の先頭から特徴データおよび指示データの生成が行われる一方、それらの処理にやや遅れて、既に指示シーケンスデータの生成が行われたカラオケ楽曲の部分に関し、演奏制御データ再生部２０１１による演奏制御データの再生、歌詞画面生成部２０２２による歌詞データの再生、指示データ生成部２０３４による指示シーケンスデータの再生等が行われるようにしてもよい。その場合、カラオケ楽曲の再生開始指示から演奏開始までの待ち時間が短縮される。
【０１０５】
また、上記においては、特徴検出部２０３２は演奏制御データに基づいて、楽曲における特徴箇所の検出を行うものとして説明した。しかしながら、特徴検出部２０３２は、演奏制御データに従って音源部２０１２により生成される音データに基づいて、楽曲における特徴箇所の検出を行うようにしてもよい。その場合、特徴検出部２０３２は、カラオケデータ１０１１に含まれる音データのレベル変化やピッチ変化等の検出を行うことにより、カラオケ楽曲における特徴箇所の検出を行う。
【０１０６】
また、上記においては、特徴検出部２０３２は指示データ選択部２０３３に対し、タイミングデータと特徴データの組合せが時系列的に並んだ特徴シーケンスデータを送信し、指示データ選択部２０３３は指示データ生成部２０３４に対し、タイミングデータと指示データの組合せが時系列的に並んだ指示シーケンスデータを送信するものとして説明した。しかしながら、特徴検出部２０３２から指示データ選択部２０３３および指示データ選択部２０３３から指示データ生成部２０３４に送信されるデータの形式には様々なバリエーションがあり得る。図１１および図１２はそれらのバリエーションを示した図である。上記において説明した態様は図１１（ａ）に示されている。図１１（ａ）の場合、各々の指示データが画像データ加工処理部２０２４等に送信されるタイミングは、指示シーケンスデータに含まれるタイミングデータに基づき、指示データ生成部２０３４により決定される。
【０１０７】
図１１（ｂ）は、特徴検出部２０３２による特徴データの生成処理および指示データ選択部２０３３による指示データの選択処理に要する時間が十分に短い場合の態様を示している。図１１（ｂ）の態様においては、カラオケデータ１０１１が特徴シーケンスデータおよび指示シーケンスデータを含んでいない場合、特徴検出部２０３２は演奏制御データのうち、演奏制御データ再生部２０１１により現在再生されている部分に関し特徴箇所の検出処理を行い、特徴データを生成すると、生成した特徴データを即時に指示データ選択部２０３３に送信する。この特徴データにはタイミングデータは伴っていない。指示データ選択部２０３３は、特徴検出部２０３２から特徴データを受信すると、受信した特徴データに応じた指示データの選択処理を行い、選択した指示データを即時に画像データ加工処理部２０２４等に送信する。この場合、指示データが画像データ加工処理部２０２４に送信されるタイミングは、主として、演奏制御データの再生時における特徴検出部２０３２による特徴箇所の検出タイミングにより決定される。
【０１０８】
また、カラオケデータ１０１１が特徴シーケンスデータを含んでいる場合、指示データ選択部２０３３は特徴シーケンスデータに含まれるタイミングデータに従い、演奏制御データの再生における適したタイミングで特徴シーケンスデータに含まれる特徴データの各々に応じた指示データの選択処理を行い、選択した指示データを即時に画像データ加工処理部２０２４等に送信する。この場合、指示データが画像データ加工処理部２０２４に送信されるタイミングは、特徴シーケンスデータに含まれるタイミングデータに基づき、指示データ選択部２０３３により決定される。
【０１０９】
図１２（ａ）は、図１１（ａ）の態様における特徴シーケンスデータの代わりに、特徴箇所のタイミングを示すタイミングデータのみが時系列的に並んだシーケンスデータ（以下、「タイミングシーケンスデータ」と呼ぶ）が用いられる場合の態様を示している。特徴検出部２０３２は、演奏制御データにおける特徴箇所の検出結果として、検出した各々の特徴箇所の演奏制御データにおけるタイミングを示すタイミングシーケンスデータを生成し、指示データ選択部２０３３に送信する。また、カラオケデータ１０１１が、特徴シーケンスデータの代わりにタイミングシーケンスデータを含んでいる場合、指示データ選択部２０３３はカラオケデータ１０１１からタイミングシーケンスデータを読み出す。指示データ選択部２０３３は、タイミングシーケンスデータに含まれるタイミングデータの各々に対し、指示ＤＢ１０１３から任意の指示データを選択して対応付けることにより、指示シーケンスデータを生成し、指示データ生成部２０３４に送信する。その後、指示データ生成部２０３４が指示シーケンスデータに基づき画像データ加工処理部２０２４等に指示データを送信する処理は図１１（ａ）の場合と同様である。
【０１１０】
図１２（ｂ）は、特徴検出部２０３２および指示データ選択部２０３３の処理速度が十分に速い場合であって、図１１（ｂ）における特徴データの代わりに発生データ、特徴シーケンスデータの代わりにタイミングシーケンスデータが用いられる場合の態様を示している。図１２（ｂ）の態様においては、カラオケデータ１０１１がタイミングシーケンスデータおよび指示シーケンスデータを含んでいない場合、特徴検出部２０３２は演奏制御データのうち、演奏制御データ再生部２０１１により現在再生されている部分に関し特徴箇所の検出処理を行い、特徴箇所が検出されたことを示す発生データを生成すると、生成した発生データを即時に指示データ選択部２０３３に送信する。この発生データにはタイミングデータおよび特徴データは伴っていない。指示データ選択部２０３３は、特徴検出部２０３２から発生データを受信すると、例えば擬似乱数を発生させ、その擬似乱数に基づいて指示ＤＢ１０１３に含まれる指示データの１つを選択し、選択した指示データを即時に画像データ加工処理部２０２４等に送信する。
【０１１１】
また、カラオケデータ１０１１がタイミングシーケンスデータを含んでいる場合、指示データ選択部２０３３はタイミングシーケンスデータに含まれるタイミングデータに従い、演奏制御データの再生における適したタイミングで指示ＤＢ１０１３から任意の指示データを選択し、選択した指示データを即時に画像データ加工処理部２０２４等に送信する。図１２（ａ）および（ｂ）の態様においては、特徴箇所の種別に応じた加工処理の指示は行われないが、特徴箇所のタイミングに応じた加工処理が行われる。
【０１１２】
［２．第２実施形態］
第１実施形態においては、本願発明をカラオケシステムに用いる場合の態様を説明したが、本願発明は楽曲データの再生に伴い撮影や拾音が行われる様々な場合に利用可能である。また、本願発明を実施するにあたり、例えば、楽曲データの再生および楽曲における特徴検出を行う装置と、データの加工処理等を行う装置を相互に接続したシステムを構築する方が便利な場合もある。以下、そのような本願発明の態様を第２実施形態として説明する。
【０１１３】
［２．１．ビデオ生成システムの構成］
図１３は、本発明の第２実施形態にかかるシステム（以下、「ビデオ生成システム３」と呼ぶ）の構成を示している。ビデオ生成システム３は、演奏制御データの再生に伴い生成される音データおよび画像データをビデオデータとして生成し記憶するシステムである。ビデオ生成システム３の構成および動作の多くは、上述したカラオケシステム１と共通しているため、以下、それらの相違点のみ説明する。また、図１３において、図１に示したカラオケシステム１の構成部と共通もしくは対応する構成部に対しては、同じ符号が付されている。
【０１１４】
ビデオ生成システム３は、演奏制御データの再生を行うと同時に、演奏制御データにおける特徴箇所を検出し、検出した特徴箇所に応じた指示データを送信する楽曲再生装置３０と、リアルタイムに入力される映像および音を示すデータの各々に楽曲再生装置３０から受信する指示データに従って加工処理を施した後、ビデオデータとして記憶するビデオ生成装置３１を備えている。楽曲再生装置３０には、コントローラ１１ａ、スピーカ１４の接続されたアンプ１３、マイク１２、ビデオカメラ１５、カメラ移動装置１７およびビデオ生成装置３１が接続されている。また、ビデオ生成装置３１には、コントローラ１１ｂ、スピーカ１４の接続されたアンプ１３、ビデオカメラ１５、ディスプレイ１９および楽曲再生装置３０が接続されている。さらに、楽曲再生装置３０およびビデオ生成装置３１には、メディアドライブ２０およびインターネット２１が接続されているが、それらは図１３において省略されている。
【０１１５】
楽曲再生装置３０は、演奏制御データを再生し、楽曲の演奏音を示す音データを生成する演奏制御データ再生部２０１１および音源部２０１２と、演奏制御データから特徴箇所を検出し、検出した特徴箇所の内容に応じた指示データを特徴箇所の楽曲におけるタイミングで生成する特徴検出部２０３２、指示データ選択部２０３３および指示データ生成部２０３４を備えている。また、楽曲再生装置３０は、楽曲再生装置３０の制御を行うための各種プログラムおよび各種データに加え、演奏制御データ、汎用画像ソースＤＢ１０１２および指示ＤＢ１０１３を記憶する記憶部１０１ａと、楽曲再生装置３０がビデオ生成装置３１等の外部装置との間でデータの送受信を行うための入出力Ｉ／Ｆ１０２ａを備えている。
【０１１６】
ビデオ生成装置３１は、マイク１２から入力される音を示すデータに楽曲再生装置３０より受信される音加工指示データに従った各種加工処理を施す音データ加工処理部２０１３と、ビデオカメラ１５から受信される映像を示すデータに楽曲再生装置３０より受信される画像加工指示データに従った各種加工処理を施す画像データ加工処理部２０２４を備えている。また、ビデオ生成装置３１は、ビデオ生成装置３１の制御を行うための各種プログラムおよび各種データに加え、音データ加工処理部２０１３および画像データ加工処理部２０２４により生成された音データおよび映像データをビデオデータとして記憶する記憶部１０１ａと、ビデオ生成装置３１が楽曲再生装置３０等の外部装置との間でデータの送受信を行うための入出力Ｉ／Ｆ１０２ｂを備えている。
【０１１７】
ビデオカメラ１５は、ビデオカメラ１５のズームイン・アウト、フォーカス等の動作制御を行う撮像動作制御部２０２３ａを備えている。また、カメラ移動装置１７は、ビデオカメラ１５の位置および方向の変更動作を制御するための撮像動作制御部２０２３ｂを備えている。
【０１１８】
ビデオ生成システム３は、図１３に示されるように、マイク１２、ビデオカメラ１５、カメラ移動装置１７およびディスプレイ１９を各々１つずつ示しているが、それらの数は複数であってもよい。また、カラオケシステム１と同様に、ビデオ生成システム３がハンドカメラ１６やセレクタ１８を備えるようにしてもよい。また、ビデオ生成装置３１が、予め記憶された動画データを再生し、再生した動画データを画像データ加工処理部２０２４に送信するための動画データ再生部２０２１を備えていてもよい。
【０１１９】
［２．２．ビデオ生成システムの動作］
以下、例として、ビデオ生成システム３を用いて、ユーザが演奏制御データの再生による楽曲の演奏に応じてダンスを行い、その映像を音と共にビデオデータとして記憶する際のビデオ生成システム３の動作を説明する。まず、ユーザは楽曲再生装置３０に、インターネット２１等からダンスの伴奏となる演奏を示す演奏制御データを取得させ、取得した演奏制御データを記憶部１０１ａに記憶させる。続いて、ユーザは演奏制御データの再生を楽曲再生装置３０に指示する。
【０１２０】
演奏制御データの再生指示に従い、まず、楽曲再生装置３０の特徴検出部２０３２は記憶部１０１に記憶されている演奏制御データから、カラオケシステム１における場合と同様の特徴箇所の検出処理を行い特徴シーケンスデータを生成し、生成した特徴シーケンスデータを指示データ選択部２０３３に送信する。指示データ選択部２０３３は、受信した特徴シーケンスデータおよび指示ＤＢ１０１３を用いてカラオケシステム１における場合と同様の指示データの選択処理を行い指示シーケンスデータを生成し、生成した指示シーケンスデータを指示データ生成部２０３４に送信する。
【０１２１】
続いて、演奏制御データ再生部２０１１は演奏制御データの再生を開始する。演奏制御データ再生部２０１１による演奏制御データの再生により、音源部２０１２は演奏制御データ再生部２０１１から楽音の発音を示すイベントデータを順次受信し、受信したイベントデータにより指定された楽音を示す音データを生成する。音源部２０１２により生成された音データはアンプ１３を介してスピーカ１４により音に変換され、発音される。ユーザは、スピーカ１４から発せされる伴奏に応じてダンスを行う。ユーザがダンスを行っている際に発せられる音はマイク１２により伴奏と共に拾音され、ビデオ生成装置３１の音データ加工処理部２０１３に入力される。また、ビデオカメラ１５はユーザのダンスの様子を示す映像データを生成し、生成した映像データを画像データ加工処理部２０２４に送信する。
【０１２２】
演奏制御データ再生部２０１１による演奏制御データの再生と同時並行して、指示データ生成部２０３４は指示シーケンスデータの再生を行う。すなわち、指示シーケンスデータに含まれるタイミングデータに応じた楽曲におけるタイミングにおいて、当該タイミングデータに対応付けられた画像加工指示データおよび音加工指示データをそれぞれ、画像データ加工処理部２０２４および音データ加工処理部２０１３に送信し、また動作制御指示データに対応付けられた動作制御指示データをビデオカメラ１５およびカメラ移動装置１７に送信する。画像データ加工処理部２０２４、音データ加工処理部２０１３、ビデオカメラ１５の撮像動作制御部２０２３ａおよびカメラ移動装置１７の撮像動作制御部２０２３ｂは、楽曲再生装置３０から受信した指示データに従い、データの加工処理もしくはデータ生成における動作制御処理を行う。
【０１２３】
上記の処理の結果、画像データ加工処理部２０２４により生成される画像データは、演奏制御データにより示される伴奏の特徴箇所のタイミングにおいて、当該特徴箇所の種別に応じた内容の動作制御により生成された映像データに対し、当該特徴箇所の種別に応じた内容の加工処理が施されたものとなる。また、音データ加工処理部２０１３により生成される音データは、演奏制御データにより示される伴奏の特徴箇所のタイミングにおいて、当該特徴箇所の種別に応じた内容の加工処理が施されたものとなる。画像データ加工処理部２０２４および音データ加工処理部２０１３は、各々生成したデータを１つのビデオデータに統合して記憶部１０１ｂに記憶する。ユーザは、記憶部１０１ｂに記憶されたビデオデータを、メディアドライブ２０やインターネット２１等を介して取得し、自ら再生して楽しんだり、知人等に配布したりすることができる。
【０１２４】
ところで、楽曲再生装置３０が、演奏制御データ再生部２０１１および音源部２０１２の代わりに、音楽ＣＤ（Ｃｏｍｐａｃｔ Ｄｉｓｃ）等に記憶された音データの再生を行う音データ再生部を備えるようにしてもよい。その場合、特徴検出部２０３２は、音楽ＣＤ等に記憶された音データに対し、ピッチ検出処理、テンポ検出処理等を行い、特徴箇所の検出を行う。
【０１２５】
また、特徴検出部２０３２および指示データ選択部２０３３の処理速度が十分に速い場合、特徴検出部２０３２による特徴シーケンスデータの生成処理および指示データ選択部２０３３による指示シーケンスデータの生成処理が、演奏制御データ再生部２０１１による演奏制御データの再生と同時並行して行われるようにしてもよい。さらに、第１実施形態において図１３に示したように、特徴検出部２０３２から指示データ選択部２０３３に対し送信されるデータおよび指示データ選択部２０３３から指示データ生成部２０３４もしくは画像データ加工処理部２０２４等に対し送られるデータの形式は様々に変更可能である。
【０１２６】
また、楽曲再生装置３０およびビデオ生成装置３１は、第１実施形態のカラオケ装置１０と同様に、専用のハードウェアにより実現されてもよいし、汎用コンピュータにアプリケーションプログラムに従った処理を実行させることにより実現されてもよい。
【０１２７】
また、第１実施形態のカラオケシステム１と同様に、楽曲再生装置３０およびビデオ生成装置３１の構成部のいずれを組み合わせて同じ筐体に配置するかは自由に変更可能である。図１４は、楽曲再生装置３０およびビデオ生成装置３１の備える構成部の配置に変更を加えた場合のビデオ生成システム４を例示している。ビデオ生成システム４においては、指示データ選択部２０３３および指示データ生成部２０３４がビデオ生成装置３１に配置されている。この場合、楽曲再生装置３０は、特徴検出部２０３２により生成した特徴シーケンスデータ、特徴データもしくは発生データをビデオ生成装置３１に送信する。ビデオ生成装置３１は、楽曲再生装置３０から受信した特徴シーケンスデータ、特徴データもしくは発生データに従い、指示データの選択および生成を行い、生成した指示データを画像データ加工処理部２０２４等に送信する。この場合も、図１３に示した構成部の配置を備えるビデオ生成システム３と同様の結果が得られる。
【０１２８】
［３．第３実施形態］
第１実施形態および第２実施形態において説明したように、本願発明によれば、楽曲データに従った楽曲の再生と同時に生成される映像や音を示すデータに対し、当該楽曲に応じた適切なタイミングで適切な内容の加工処理等を容易に施すことが可能となる。本願発明を応用すれば、過去に行われた楽曲演奏の記録ビデオを用いて、鑑賞者をより楽しませることができる記録ビデオを自動生成することも可能となる。
【０１２９】
例えば、バンド演奏を行う者の多くは、自分たちの演奏の様子をビデオに記録し、そのビデオを知人等に配布することを望む。しかしながら、バンド演奏を行う者は必ずしもビデオ編集が得意とは限らない。従って、何らの工夫なく演奏の様子を記録したビデオを、鑑賞者をより楽しませることができるビデオに自動編集してくれる手段があれば、ビデオ編集が苦手な者にとって便利である。以下、かかる課題を本願発明により達成する場合の好適な態様を、第３実施形態として説明する。
【０１３０】
［３．１．ビデオ編集システムの構成］
図１５は、本発明の第３実施形態にかかるシステム（以下、「ビデオ編集システム５」と呼ぶ）の構成を示している。ビデオ編集システム５は、既に記録されているバンド演奏等のビデオデータを用いて、ビデオデータに含まれる演奏音を示す音データに応じて、ビデオデータに含まれる映像データに加工処理を施すことにより、ビデオデータの自動編集を行うシステムである。
【０１３１】
ビデオ編集システム５の構成および動作の多くは、上述したカラオケシステム１と共通しているため、以下、それらの相違点のみ説明する。また、図１４において、図１に示したカラオケシステム１の構成部と共通もしくは対応する構成部に対しては、同じ符号が付されている。
【０１３２】
ビデオ編集システム５は、ビデオデータの編集を行うビデオ編集装置５０と、ビデオ編集装置５０に接続されたコントローラ１１、スピーカ１４の接続されたアンプ１３およびディスプレイ１９を備えている。さらに、ビデオ編集装置５０にはメディアドライブ２０およびインターネット２１が接続されているが、それらは図１５において省略されている。
【０１３３】
ビデオ編集装置５０は、ビデオデータに含まれる音データに基づき演奏の特徴箇所を検出し、特徴シーケンスデータを生成する特徴検出部２０３２と、特徴シーケンスデータおよび指示ＤＢ１０１３に含まれるデータに基づき指示シーケンスデータを生成する指示データ選択部２０３３と、指示シーケンスデータに基づきビデオデータに含まれる映像データに加工処理を施す画像データ加工処理部２０２４と、ビデオデータの再生を行うビデオデータ再生部５０１を備えている。また、ビデオ編集装置５０は、ビデオ編集装置５０の制御を行うための各種プログラムおよび各種データに加え、ビデオデータ、汎用画像ソースＤＢ１０１２および指示ＤＢ１０１３を記憶する記憶部１０１と、ビデオ編集装置５０がコントローラ１１等の外部装置との間でデータの送受信を行うための入出力Ｉ／Ｆ１０２を備えている。ただし、ビデオ編集装置５０の記憶部１０１に記憶される指示ＤＢ１０１３には、画像加工指示ＤＢのみが含まれている。
【０１３４】
［３．２．ビデオ編集システムの動作］
以下、例として、ビデオ編集システム５を用いて、ユーザがバンド演奏のビデオデータ（以下、「編集前ビデオデータ」と呼ぶ）に対し編集処理を行わせる際のビデオ編集システム５の動作を説明する。まず、ユーザはビデオ編集装置５０に、メディアドライブ２０等から編集前ビデオデータを読み込ませ、読み込んだ演奏制御データを記憶部１０１に記憶させる。続いて、ユーザはビデオデータの編集をビデオ編集装置５０に指示する。
【０１３５】
ビデオデータの編集指示に従い、まず、ビデオ編集装置５０の特徴検出部２０３２は、記憶部１０１に記憶されている編集前ビデオデータに含まれる音データにおける特徴箇所の検出処理を行う。例えば、特徴検出部２０３２は、音データにより示される音量の移動平均値を算出し、算出した移動平均値の変化が所定値を超える箇所を音量変化に関する特徴箇所として検出する。また、特徴検出部２０３２は、音データにより示される波形に対し周波数分析等を行うことにより演奏音に含まれるドラム音を抽出し、隣り合うドラム音の時間間隔の移動平均値の変化が所定値を超える箇所をリズム変化に関する特徴箇所として検出する。また、特徴検出部２０３２は、音データにより示される波形に対し周波数分析等を行うことにより、演奏音に含まれる各楽音の音高を特定し、特定した音高に基づき演奏の各部分における調子を特定する。そして、特徴検出部２０３２は特定した調子の変化する箇所を、転調に関する特徴箇所として検出する。これらの特徴箇所の検出方法については既存の技術が利用可能であるため、その説明を省略する。
【０１３６】
特徴検出部２０３２は、上記のように検出した特徴箇所のビデオデータにおけるタイミングを示すタイミングデータを、特徴箇所の種別を示す特徴データを対応付けることにより特徴シーケンスデータを生成し、生成した特徴シーケンスデータを指示データ選択部２０３３に送信する。
【０１３７】
指示データ選択部２０３３は、特徴検出部２０３２から特徴シーケンスデータを受信すると、特徴シーケンスデータおよび指示ＤＢ１０１３を用いて、カラオケシステム１における場合と同様の指示データの選択処理を行い指示シーケンスデータを生成し、生成した指示シーケンスデータを画像データ加工処理部２０２４に送信する。
【０１３８】
画像データ加工処理部２０２４は、指示データ選択部２０３３から指示シーケンスデータを受信すると、指示シーケンスデータに従い、編集前ビデオデータに含まれる映像データの加工処理を行う。すなわち、画像データ加工処理部２０２４は、編集前ビデオデータに含まれる映像データのうち、指示シーケンスデータに含まれるタイミングデータにより示される部分に対し、当該タイミングデータに対応付けられている指示データにより指示される加工処理を行う。その際、指示データが動画ソースデータもしくは静止画ソースデータの利用を指示している場合、画像データ加工処理部２０２４は汎用画像ソースＤＢ１０１２から、ユーザにより選択された楽曲ジャンル名に対応付けられた汎用動画ソースデータもしくは汎用静止画ソースデータを選択し、選択したデータを用いて加工処理を行う。画像データ加工処理部２０２４は、加工処理を施して得られる映像データと編集前ビデオデータに含まれる音データとを１つのビデオデータとして統合し、編集後ビデオデータとして記憶部１０１に記憶する。
【０１３９】
ビデオ編集装置５０による編集後ビデオデータの記憶が完了すると、ユーザはビデオ編集装置５０に対し、編集後ビデオデータの再生の指示を行うことができる。ユーザが編集後ビデオデータの再生指示をビデオ編集装置５０に与えると、ビデオ編集装置５０のビデオデータ再生部５０１は記憶部１０１から編集後ビデオデータを読み出し、編集後ビデオデータに含まれる音データの再生および映像データの再生を行う。ここで、編集後ビデオデータにより表示される映像は、音データにより示される演奏における特徴箇所に応じたタイミングで、特徴箇所の種別に応じた内容の加工処理が施された映像であり、視聴者をより楽しませるものとなる。ユーザは、記憶部１０１に記憶された編集後ビデオデータを、メディアドライブ２０やインターネット２１等を介して取得し、自ら再生して楽しんだり、知人等に配布したりすることができる。
【０１４０】
ところで、ビデオ編集装置５０は、第１実施形態のカラオケ装置１０と同様に、専用のハードウェアにより実現されてもよいし、汎用コンピュータにアプリケーションプログラムに従った処理を実行させることにより実現されてもよい。また、第１実施形態のカラオケシステム１と同様に、ビデオ編集装置５０の構成部のいずれを組み合わせて同じ筐体に配置するかは自由に変更可能である。
【０１４１】
［４．第４実施形態］
本願発明を応用すれば、過去に記録された楽曲データのリメイク作業を自動化することも可能となる。以下、そのような本願発明の態様を第４実施形態として説明する。
【０１４２】
［４．１．楽曲編集システムの構成］
図１６は、本発明の第４実施形態にかかるシステム（以下、「楽曲編集システム７」と呼ぶ）の構成を示している。楽曲編集システム７は、既に記録されている音データに当該音データに応じた加工処理を施すことにより、音データの自動編集を行うシステムである。楽曲編集システム７の構成および動作の多くは、上述したカラオケシステム１およびビデオ編集システム５と共通しているため、以下、それらの相違点のみ説明する。また、図１６において、図１に示したカラオケシステム１の構成部と共通もしくは対応する構成部に対しては、同じ符号が付されている。
【０１４３】
楽曲編集システム７は、ビデオ編集システム５におけるビデオ編集装置５０の代わりに、楽曲編集装置７０を備えている。楽曲編集装置７０は、ビデオ編集装置５０における画像データ加工処理部２０２４の代わりに音データ加工処理部２０１３を、またビデオデータ再生部５０１の代わりに音データ再生部７０１を備えている。また、楽曲編集装置７０にはディスプレイ１９は接続されていない。楽曲編集システム７は音データのみを扱うためである。さらに、楽曲編集装置７０の記憶部１０１に記憶される指示ＤＢ１０１３は、音加工指示ＤＢのみを含んでいる。
【０１４４】
［４．２．楽曲編集システムの動作］
以下、例として、楽曲編集システム７を用いて、ユーザがエフェクト処理の施されていない楽曲の演奏を示す音データ（以下、「編集前音データ」と呼ぶ）に対し、エフェクト処理を施す編集処理を行わせる際の楽曲編集システム７の動作を説明する。まず、ユーザは楽曲編集装置７０に、メディアドライブ２０等から編集前音データを読み込ませ、読み込んだ音データを記憶部１０１に記憶させる。続いて、ユーザは音データの編集を楽曲編集装置７０に指示する。
【０１４５】
音データの編集指示に従い、まず、楽曲編集装置７０の特徴検出部２０３２は記憶部１０１に記憶されている編集前音データにおける特徴箇所の検出処理を行う。その方法は、ビデオ編集システム５における場合と同様である。特徴検出部２０３２は、検出した特徴箇所の音データにおけるタイミングを示すタイミングデータを、特徴箇所の種別を示す特徴データを対応付けることにより特徴シーケンスデータを生成し、生成した特徴シーケンスデータを指示データ選択部２０３３に送信する。
【０１４６】
指示データ選択部２０３３は、特徴検出部２０３２から特徴シーケンスデータを受信すると、特徴シーケンスデータおよび指示ＤＢ１０１３を用いて、カラオケシステム１における場合と同様の指示データの選択処理を行い指示シーケンスデータを生成し、生成した指示シーケンスデータを音データ加工処理部２０１３に送信する。
【０１４７】
音データ加工処理部２０１３は、指示データ選択部２０３３から指示シーケンスデータを受信すると、指示シーケンスデータに従い、編集前音データに対する加工処理を行う。すなわち、音データ加工処理部２０１３は、編集前音データのうち、指示シーケンスデータに含まれるタイミングデータにより示される部分に対し、当該タイミングデータに対応付けられている指示データにより指示される加工処理を行う。音データ加工処理部２０１３は、加工処理を施して得られる音データを編集後音データとして記憶部１０１に記憶する。
【０１４８】
楽曲編集装置７０による編集後音データの記憶が完了すると、ユーザは楽曲編集装置７０に対し、編集後音データの再生の指示を行うことができる。ユーザが編集後音データの再生指示を楽曲編集装置７０に与えると、楽曲編集装置７０の音データ再生部７０１は記憶部１０１から編集後音データを読み出し、編集後音データの再生を行う。ここで、編集後音データにより発音される音は、編集前音データに対し、編集前音データにより示される演奏における特徴箇所に応じたタイミングで、特徴箇所の種別に応じた内容の加工処理が施された音である。ユーザは、記憶部１０１に記憶された編集後音データを、メディアドライブ２０やインターネット２１等を介して取得し、自ら再生して楽しんだり、知人等に配布したりすることができる。
【０１４９】
ところで、楽曲編集装置７０は、第１実施形態のカラオケ装置１０と同様に、専用のハードウェアにより実現されてもよいし、汎用コンピュータにアプリケーションプログラムに従った処理を実行させることにより実現されてもよい。また、第１実施形態のカラオケシステム１と同様に、楽曲編集装置７０の構成部のいずれを組み合わせて同じ筐体に配置するかは自由に変更可能である。
【図面の簡単な説明】
【０１５０】
【図１】本発明の第１実施形態にかかるカラオケシステムの構成を示したブロック図である。
【図２】本発明の第１実施形態にかかるカラオケシステムをカラオケルームに配置した様子を示した図である。
【図３】本発明の第１実施形態にかかるカラオケデータの構成を模式的に示した図である。
【図４】本発明の第１実施形態にかかる演奏制御データの内容を例示した図である。
【図５】本発明の第１実施形態にかかる歌詞データの内容を例示した図である。
【図６】本発明の第１実施形態にかかる特徴シーケンスデータの内容を例示した図である。
【図７】本発明の第１実施形態にかかる指示シーケンスデータの内容を例示した図である。
【図８】本発明の第１実施形態にかかる汎用画像ソースＤＢの内容を例示した図である。
【図９】本発明の第１実施形態にかかる指示ＤＢの内容を例示した図である。
【図１０】本発明の第１実施形態にかかるカラオケ装置の処理を模式的に示した図である。
【図１１】本発明の第１実施形態にかかるカラオケシステムにおいて送受信されるデータ形式の態様を示した図である。
【図１２】本発明の第１実施形態にかかるカラオケシステムにおいて送受信されるデータ形式の態様を示した図である。
【図１３】本発明の第２実施形態にかかるビデオ生成システムの構成を示したブロック図である。
【図１４】本発明の第２実施形態にかかるビデオ生成システムの構成を示したブロック図である。
【図１５】本発明の第３実施形態にかかるビデオ編集システムの構成を示したブロック図である。
【図１６】本発明の第４実施形態にかかる楽曲編集システムの構成を示したブロック図である。
【符号の説明】
【０１５１】
１…カラオケシステム、３・４…ビデオ生成システム、５…ビデオ編集システム、７…楽曲編集システム、１０…カラオケ装置、１１…コントローラ、１２…マイク、１３…アンプ、１４…スピーカ、１５…ビデオカメラ、１６…ハンドカメラ、１７…カメラ移動装置、１８…セレクタ、１９…ディスプレイ、２０…メディアドライブ、２１…インターネット、３０…楽曲再生装置、３１…ビデオ生成装置、５０…ビデオ編集装置、７０…楽曲編集装置、１０１…記憶部、１０２…入出力Ｉ／Ｆ、１０３…制御部、２０１…音データブロック、２０２…画像データブロック、２０３…指示データブロック、５０１…ビデオデータ再生部、７０１…音データ再生部、１０１１…カラオケデータ、１０１２…汎用画像ソースＤＢ、１０１３…指示ＤＢ、２０１１…演奏制御データ再生部、２０１２…音源部、２０１３…音データ加工処理部、２０２１…動画データ再生部、２０２２…歌詞画面生成部、２０２３…撮像動作制御部、２０２４…画像データ加工処理部、２０３１…判定部、２０３２…特徴検出部、２０３３…指示データ選択部、２０３４…指示データ生成部。
【特許請求の範囲】
【請求項１】
楽曲データを記憶する記憶手段と、
前記楽曲データに基づいて、前記楽曲データにより再生される楽曲における特徴箇所を検出する検出手段と、
前記楽曲データを楽曲として再生する再生手段と、
前記再生手段による前記楽曲データの再生中に視聴覚データを受信する視聴覚データ受信手段と、
前記楽曲における前記特徴箇所の発生タイミングに合わせて、前記視聴覚データに加工処理を施す加工手段と
を備えることを特徴とするデータ処理装置。
【請求項２】
楽曲データを記憶する記憶手段と、
前記楽曲データに基づいて、前記楽曲データにより再生される楽曲における特徴箇所を検出する検出手段と、
前記楽曲データを楽曲として再生する再生手段と、
前記楽曲における前記特徴箇所の発生タイミングに合わせて、特徴箇所の発生を示す発生データを送信する発生データ送信手段と
を備えることを特徴とするデータ処理装置。
【請求項３】
楽曲データと、前記楽曲データによる楽曲の再生と並行して表示されるべき映像もしくは発音されるべき音を示す視聴覚データを記憶する記憶手段と、
前記楽曲データに基づいて、前記楽曲における特徴箇所を検出する検出手段と、
前記視聴覚データのうち、前記特徴箇所の発生タイミングに応じた部分に加工処理を施す加工手段と
を備えることを特徴とするデータ処理装置。
【請求項４】
楽曲データを記憶する記憶手段と、
前記楽曲データに基づいて、前記楽曲データにより再生される楽曲における特徴箇所を検出する検出手段と、
前記楽曲データのうち、前記特徴箇所の発生タイミングに応じた部分に加工処理を施す加工手段と
を備えることを特徴とするデータ処理装置。
【請求項５】
楽曲データを記憶する処理と、
前記楽曲データに基づいて、前記楽曲データにより再生される楽曲における特徴箇所を検出する処理と、
前記楽曲データを楽曲として再生する処理と、
前記楽曲データの再生中に視聴覚データを受信する処理と、
前記楽曲における前記特徴箇所の発生タイミングに合わせて、前記視聴覚データに加工処理を施す処理と
をコンピュータに実行させることを特徴とするプログラム。
【請求項６】
楽曲データを記憶する処理と、
前記楽曲データに基づいて、前記楽曲データにより再生される楽曲における特徴箇所を検出する処理と、
前記楽曲データを楽曲として再生する処理と、
前記楽曲における前記特徴箇所の発生タイミングに合わせて、特徴箇所の発生を示す発生データを送信する処理と
をコンピュータに実行させることを特徴とするプログラム。
【請求項７】
楽曲データと、前記楽曲データによる楽曲の再生と並行して表示されるべき映像もしくは発音されるべき音を示す視聴覚データを記憶する処理と、
前記楽曲データに基づいて、前記楽曲における特徴箇所を検出する処理と、
前記視聴覚データのうち、前記特徴箇所の発生タイミングに応じた部分に加工処理を施す処理と
をコンピュータに実行させることを特徴とするプログラム。
【請求項８】
楽曲データを記憶する処理と、
前記楽曲データに基づいて、前記楽曲データにより再生される楽曲における特徴箇所を検出する処理と、
前記楽曲データのうち、前記特徴箇所の発生タイミングに応じた部分に加工処理を施す処理と
をコンピュータに実行させることを特徴とするプログラム。
【請求項１】
楽曲データを記憶する記憶手段と、
前記楽曲データに基づいて、前記楽曲データにより再生される楽曲における特徴箇所を検出する検出手段と、
前記楽曲データを楽曲として再生する再生手段と、
前記再生手段による前記楽曲データの再生中に視聴覚データを受信する視聴覚データ受信手段と、
前記楽曲における前記特徴箇所の発生タイミングに合わせて、前記視聴覚データに加工処理を施す加工手段と
を備えることを特徴とするデータ処理装置。
【請求項２】
楽曲データを記憶する記憶手段と、
前記楽曲データに基づいて、前記楽曲データにより再生される楽曲における特徴箇所を検出する検出手段と、
前記楽曲データを楽曲として再生する再生手段と、
前記楽曲における前記特徴箇所の発生タイミングに合わせて、特徴箇所の発生を示す発生データを送信する発生データ送信手段と
を備えることを特徴とするデータ処理装置。
【請求項３】
楽曲データと、前記楽曲データによる楽曲の再生と並行して表示されるべき映像もしくは発音されるべき音を示す視聴覚データを記憶する記憶手段と、
前記楽曲データに基づいて、前記楽曲における特徴箇所を検出する検出手段と、
前記視聴覚データのうち、前記特徴箇所の発生タイミングに応じた部分に加工処理を施す加工手段と
を備えることを特徴とするデータ処理装置。
【請求項４】
楽曲データを記憶する記憶手段と、
前記楽曲データに基づいて、前記楽曲データにより再生される楽曲における特徴箇所を検出する検出手段と、
前記楽曲データのうち、前記特徴箇所の発生タイミングに応じた部分に加工処理を施す加工手段と
を備えることを特徴とするデータ処理装置。
【請求項５】
楽曲データを記憶する処理と、
前記楽曲データに基づいて、前記楽曲データにより再生される楽曲における特徴箇所を検出する処理と、
前記楽曲データを楽曲として再生する処理と、
前記楽曲データの再生中に視聴覚データを受信する処理と、
前記楽曲における前記特徴箇所の発生タイミングに合わせて、前記視聴覚データに加工処理を施す処理と
をコンピュータに実行させることを特徴とするプログラム。
【請求項６】
楽曲データを記憶する処理と、
前記楽曲データに基づいて、前記楽曲データにより再生される楽曲における特徴箇所を検出する処理と、
前記楽曲データを楽曲として再生する処理と、
前記楽曲における前記特徴箇所の発生タイミングに合わせて、特徴箇所の発生を示す発生データを送信する処理と
をコンピュータに実行させることを特徴とするプログラム。
【請求項７】
楽曲データと、前記楽曲データによる楽曲の再生と並行して表示されるべき映像もしくは発音されるべき音を示す視聴覚データを記憶する処理と、
前記楽曲データに基づいて、前記楽曲における特徴箇所を検出する処理と、
前記視聴覚データのうち、前記特徴箇所の発生タイミングに応じた部分に加工処理を施す処理と
をコンピュータに実行させることを特徴とするプログラム。
【請求項８】
楽曲データを記憶する処理と、
前記楽曲データに基づいて、前記楽曲データにより再生される楽曲における特徴箇所を検出する処理と、
前記楽曲データのうち、前記特徴箇所の発生タイミングに応じた部分に加工処理を施す処理と
をコンピュータに実行させることを特徴とするプログラム。
【図１】
【図２】
【図３】
【図４】
【図５】
【図６】
【図７】
【図８】
【図９】
【図１０】
【図１１】
【図１２】
【図１３】
【図１４】
【図１５】
【図１６】
【図２】
【図３】
【図４】
【図５】
【図６】
【図７】
【図８】
【図９】
【図１０】
【図１１】
【図１２】
【図１３】
【図１４】
【図１５】
【図１６】
【公開番号】特開２００６−７９０２７（Ｐ２００６−７９０２７Ａ）
【公開日】平成１８年３月２３日（２００６．３．２３）
【国際特許分類】
【出願番号】特願２００４−２６６１２３（Ｐ２００４−２６６１２３）
【出願日】平成１６年９月１３日（２００４．９．１３）
【出願人】（０００００４０７５）ヤマハ株式会社 (5,930)
【Ｆターム（参考）】
【公開日】平成１８年３月２３日（２００６．３．２３）
【国際特許分類】
【出願日】平成１６年９月１３日（２００４．９．１３）
【出願人】（０００００４０７５）ヤマハ株式会社 (5,930)
【Ｆターム（参考）】
[ Back to top ]