情報処理装置、情報処理方法、及びプログラム

【課題】楽曲データの波形を入力とし、ＣＧ映像やロボットのバンドが実際にその楽曲を演奏しているかのように動きを制御することが可能な情報処理装置を提供すること。
【解決手段】複数の楽器音が混在した音声信号を解析し、当該音声信号の特徴量として演奏時間の経過と共に変化するメタデータを抽出するメタデータ抽出部と、前記各楽器音に対応する演奏者オブジェクトの動きを制御するための演奏者パラメータを前記メタデータ抽出部で抽出されたメタデータに基づいて決定する演奏者パラメータ決定部と、を備える、情報処理装置が提供される。

Notice: Undefined index: DEJ in /mnt/www/gzt_disp.php on line 298

【特許請求の範囲】
【請求項１】
複数の楽器音が混在した音声信号を解析し、当該音声信号の特徴量として演奏時間の経過と共に変化するメタデータを抽出するメタデータ抽出部と、
前記各楽器音に対応する演奏者オブジェクトの動きを制御するための演奏者パラメータを前記メタデータ抽出部で抽出されたメタデータに基づいて決定する演奏者パラメータ決定部と、
を備える、情報処理装置。
【請求項２】
前記メタデータ抽出部は、前記音声信号のビート、コード進行、楽曲構造、メロディーライン、ベースライン、前記各楽器音の存在確率、前記各楽器音のソロ確率、及びボーカルの声質で形成される群の中から選択される１以上のデータを前記メタデータとして抽出する、請求項１に記載の情報処理装置。
【請求項３】
前記メタデータ抽出部は、前記音声信号が属する楽曲のジャンル、前記音声信号が属する楽曲の年代、前記音声信号の演奏者に関する情報、前記音声信号に含まれる楽器音の種類、及び前記音声信号の曲調で形成される群の中から選択される１以上のデータを前記メタデータとして抽出する、請求項２に記載の情報処理装置。
【請求項４】
前記演奏者パラメータ決定部は、
前記演奏者に関する情報として前記演奏者の身長及び体重の情報が抽出された場合に当該身長及び体重の情報に基づいて前記演奏者オブジェクトのサイズを表す演奏者パラメータを決定し、
前記演奏者に関する情報として前記演奏者の性別の情報が抽出された場合に当該性別の情報に基づいて前記演奏者オブジェクトのヘアスタイル及び服装を表す演奏者パラメータを決定する、請求項３に記載の情報処理装置。
【請求項５】
前記メタデータ抽出部で抽出されたメタデータに基づいて前記演奏者オブジェクトが配置されるステージの照明を制御するための照明パラメータを決定する照明パラメータ決定部をさらに備え、
前記照明パラメータ決定部は、前記メタデータ抽出部で抽出されたビートに同期して前記照明が変化するように前記照明パラメータを決定する、請求項３に記載の情報処理装置。
【請求項６】
前記照明パラメータ決定部は、前記メタデータ抽出部で抽出された前記各楽器音の存在確率に基づいて当該各楽器音に対応する演奏者オブジェクトを照らすスポットライトの明るさを表す照明パラメータを決定する、請求項５に記載の情報処理装置。
【請求項７】
前記照明パラメータ決定部は、前記メタデータ抽出部で抽出された楽曲構造を参照し、演奏中の楽曲構造の種類に応じて前記照明が変化するように前記照明パラメータを決定する、請求項６に記載の情報処理装置。
【請求項８】
前記照明パラメータ決定部は、前記メタデータ抽出部で抽出された前記楽曲の年代に基づいて前記照明の色が変化するように前記照明パラメータを決定する、請求項７に記載の情報処理装置。
【請求項９】
前記メタデータ抽出部で抽出されたメタデータに基づいて前記ステージとは異なる位置に設けられた観客席に配置される観客オブジェクトの動作を制御するための観客パラメータを決定する観客パラメータ決定部をさらに備え、
前記観客パラメータ決定部は、前記メタデータ抽出部で抽出されたビートに同期して前記観客オブジェクトの動作が変化するように前記観客パラメータを決定する、請求項２に記載の情報処理装置。
【請求項１０】
前記観客パラメータ決定部は、前記メタデータ抽出部で抽出された楽曲構造を参照し、演奏中の楽曲構造の種類に応じて前記観客オブジェクトの動作が変化するように前記観客パラメータを決定する、請求項９に記載の情報処理装置。
【請求項１１】
前記演奏者パラメータ決定部は、前記メタデータ抽出部で抽出された前記各楽器音のソロ確率に基づいて当該各楽器音に対応する演奏者オブジェクトの姿勢、表情を表す演奏者パラメータを決定する、請求項２に記載の情報処理装置。
【請求項１２】
前記演奏者パラメータ決定部は、前記メタデータ抽出部で抽出された前記各楽器音の存在確率に基づいて当該各楽器音に対応する演奏者オブジェクトの演奏する手の動きの大きさを表す演奏者パラメータを決定する、請求項１１に記載の情報処理装置。
【請求項１３】
前記演奏者パラメータ決定部は、前記メタデータ抽出部で抽出されたボーカルの存在確率に基づいて当該ボーカルに対応する演奏者オブジェクトの口の開く大きさ、又はマイクを持つ手と口との間の距離を表す演奏者パラメータを決定する、請求項２に記載の情報処理装置。
【請求項１４】
前記演奏者パラメータ決定部は、前記メタデータ抽出部で抽出されたメロディーラインの平均音程と各フレームにおける当該メロディーラインの音程との差異に基づいて、或いは、前記メタデータ抽出部で抽出されたボーカルの声質に基づいて当該ボーカルに対応する演奏者オブジェクトの表情の動きを表す演奏者パラメータを決定する、請求項１３に記載の情報処理装置。
【請求項１５】
前記演奏者パラメータ決定部は、前記メタデータ抽出部で抽出されたメロディーラインに基づいてボーカルに対応する演奏者オブジェクトのマイクを持たない手の動きを表す演奏者パラメータを決定する、請求項１４に記載の情報処理装置。
【請求項１６】
前記演奏者パラメータ決定部は、前記メタデータ抽出部で抽出されたコード進行に基づいてギター、キーボード、及びストリングスで形成される群の中から選択される１以上のセクションに対応する前記演奏者オブジェクトの手の位置を表す演奏者パラメータを決定する、請求項２に記載の情報処理装置。
【請求項１７】
前記演奏者パラメータ決定部は、前記メタデータ抽出部で抽出されたベースラインに基づいてベースに対応する前記演奏者オブジェクトの弦を押さえる手の位置を表す演奏者パラメータを決定する、請求項２に記載の情報処理装置。
【請求項１８】
前記演奏者オブジェクトは、外部接続されたロボット、又はコンピュータグラフィックスで実現される演奏者映像であり、
前記演奏者パラメータ決定部で決定された演奏者パラメータを用いて前記外部接続されたロボットの動きを制御するか、又は前記演奏者パラメータ決定部で決定された演奏者パラメータを用いて前記演奏者映像の動きを制御するオブジェクト制御部をさらに備える、請求項１に記載の情報処理装置。
【請求項１９】
複数の楽器音が混在した音声信号を解析し、当該音声信号の特徴量として演奏時間の経過と共に変化するメタデータを抽出するメタデータ抽出ステップと、
前記各楽器音に対応する演奏者オブジェクトの動きを制御するための演奏者パラメータを前記メタデータ抽出ステップで抽出されたメタデータに基づいて決定する演奏者パラメータ決定ステップと、
を含む、情報処理方法。
【請求項２０】
複数の楽器音が混在した音声信号を解析し、当該音声信号の特徴量として演奏時間の経過と共に変化するメタデータを抽出するメタデータ抽出機能と、
前記各楽器音に対応する演奏者オブジェクトの動きを制御するための演奏者パラメータを前記メタデータ抽出機能で抽出されたメタデータに基づいて決定する演奏者パラメータ決定機能と、
をコンピュータに実現させるためのプログラム。

【図１】