発音制御装置、特定装置、発音制御システム、プログラムおよび発音制御方法
【課題】音素材を組み合わせた楽曲について、一定期間の楽曲の印象を容易に変更可能にすること。
【解決手段】本発明の実施形態における発音制御システムは、時間軸が規定されたアイコン配置領域ＳＴを表示画面１３１に表示させ、音素材を示す素材データの特徴量情報が対応付けられたアイコン画像を、入力される指示に応じて表示させる。また、素材データと当該素材データの前記特徴量情報とを対応付けた特徴量ＤＢの種類を、入力される指示に応じてアイコン配置領域ＳＴの時間軸に沿って設定する。そして、アイコン画像と時間軸において対応関係にある種類の特徴量ＤＢを参照して、アイコン画像に対応する特徴量情報に類似した素材データを特定し、アイコン画像の時間軸における位置に応じたタイミングおよび特定した素材データに応じた発音内容で発音させる。
【解決手段】本発明の実施形態における発音制御システムは、時間軸が規定されたアイコン配置領域ＳＴを表示画面１３１に表示させ、音素材を示す素材データの特徴量情報が対応付けられたアイコン画像を、入力される指示に応じて表示させる。また、素材データと当該素材データの前記特徴量情報とを対応付けた特徴量ＤＢの種類を、入力される指示に応じてアイコン配置領域ＳＴの時間軸に沿って設定する。そして、アイコン画像と時間軸において対応関係にある種類の特徴量ＤＢを参照して、アイコン画像に対応する特徴量情報に類似した素材データを特定し、アイコン画像の時間軸における位置に応じたタイミングおよび特定した素材データに応じた発音内容で発音させる。
【発明の詳細な説明】
【技術分野】
【０００１】
本発明は、音素材を組み合わせて発音させる技術に関する。
【背景技術】
【０００２】
断片的な音素材をデータベースに記憶し、この音素材を組み合わせて楽音を発生させる技術がある。楽音を発生させるときに用いる音素材は、データベースに記憶された多数の音素材から選択することになる。この音素材の選択を容易にするために、データベースに記憶された音素材は、音楽的な特徴を示すカテゴリ毎に分類されている。特許文献１には、楽曲の波形から音素材を抽出するとともに、各カテゴリに分類してデータベースに記憶させる技術が開示されている。
【先行技術文献】
【特許文献】
【０００３】
【特許文献１】特開２０１０−１９１３３７号公報
【発明の概要】
【発明が解決しようとする課題】
【０００４】
データベースに記憶された音素材を用いて楽音を発生させるときの発音内容は、ユーザなどによって予め決定され、例えば、発音させる音素材と、その発音タイミングを規定することにより決定される。そのため、ユーザは、音素材と発音タイミングとの組み合わせを、発音したい音の数だけ決定する必要がある。したがって、この組み合わせを多数設定して作成される楽曲が長くなるほど、ユーザの作業量が増えてしまうことになる。
【０００５】
長い楽曲においては一定期間の発音内容を繰り返して発音させる部分がある場合もある。このような場合には、ユーザは、その一定期間における音素材と発音タイミングとの組み合わせを複製して他の期間にも適用することにより、作業を簡略化することがある。しかしながら、単なる複製であることから楽曲の内容は単調なものとなる場合がある。
そのため、ユーザは、楽曲の進行の流れを大きく変化させずに複製部分の楽曲の印象を変化させることを試みる場合がある。この場合には、ユーザは、発音タイミングの変更をせずに、発音させる音素材の種類を変更することになるが、変更対象の全ての音素材の種類をそれぞれ変更する必要があるため、結果的には、作業の簡略化にはつながらなかった。
【０００６】
本発明は、上述の事情に鑑みてなされたものであり、音素材を組み合わせた楽曲について、一定期間の楽曲の印象を容易に変更可能にすることを目的とする。
【課題を解決するための手段】
【０００７】
上述の課題を解決するため、本発明は、時間軸が規定された配置領域を表示画面に表示させ、音素材の波形を示す素材データの特徴量を示す特徴量情報が対応付けられたアイコン画像を、入力される指示に応じて当該配置領域に表示させる表示制御手段と、素材データと当該素材データの前記特徴量情報とを対応付けたデータベースの種類を、入力される指示に応じて前記配置領域の時間軸に沿って設定するデータベース設定手段と、前記アイコン画像が表示された位置と前記時間軸において対応関係にあるデータベースを参照して前記アイコン画像と前記特徴量情報が特定の関係となる素材データを特定する特定手段に当該素材データを特定させ、当該アイコン画像の前記時間軸における位置に応じたタイミングおよび当該素材データに応じた発音内容を示す楽音データを出力する出力手段に当該楽音データを出力させる発音制御手段とを具備することを特徴とする発音制御装置を提供する。
【０００８】
また、別の好ましい態様において、前記配置領域は、前記素材データの加工内容を指定する指定値を示す指定座標軸がさらに規定され、前記発音制御手段は、前記アイコン画像の前記指定座標軸における位置に応じて、当該アイコン画像から前記特定された素材データに応じた発音内容が変化するように制御することを特徴とする。
【０００９】
また、別の好ましい態様において、前記配置領域は、前記素材データを特定するための特定値を示す特定座標軸がさらに規定され、前記特定の関係は、前記アイコン画像の前記特定座標軸における位置に基づいて決定されることを特徴とする。
【００１０】
また、別の好ましい態様において、前前記アイコン画像は、当該アイコン画像に対応付けられた特徴量情報に応じた絵柄の画像であることを特徴とする。
【００１１】
また、別の好ましい態様において、前記配置領域は、前記特徴量情報を規定するための特徴量規定軸がさらに規定され、前記表示制御手段は、前記配置領域のうち、前記アイコン画像に対応付けられた特徴量情報に対応する前記特徴量規定軸の位置に、当該アイコン画像を表示させることを特徴とする。
【００１２】
また、別の好ましい態様において、前記表示制御手段は、入力される指示に応じて、前記配置領域に表示された前記アイコン画像の前記時間軸に沿った方向の長さを変更し、前記発音制御手段は、前記アイコン画像の長さに応じて、当該アイコン画像から前記特定された素材データに応じた発音内容が変化するように制御することを特徴とする。
【００１３】
また、別の好ましい態様において、前記アイコン画像は、前記特徴量情報が示す特徴量に応じて変化することを特徴とする。
【００１４】
また、本発明は、上記記載の発音制御装置から、前記アイコン画像が表示された位置と前記時間軸において対応関係にあるデータベースの種類を示す種類情報および当該アイコン画像に対応付けられた特徴量情報を取得する取得手段と、複数種類の前記データベースのうち、前記種類情報が示す種類のデータベースを参照して、当該種類情報とともに取得した前記特徴量情報と特定の関係となる素材データを特定する特定手段と、前記特定された素材データを前記発音制御装置に出力する出力手段とを具備することを特徴とする特定装置を提供する。
【００１５】
また、本発明は、上記記載の発音制御装置と、上記記載の特定装置とを具備することを特徴とする発音制御システムを提供する。
【００１６】
また、本発明は、コンピュータを、時間軸が規定された配置領域を表示画面に表示させ、音素材の波形を示す素材データの特徴量を示す特徴量情報が対応付けられたアイコン画像を、入力される指示に応じて当該配置領域に表示させる表示制御手段と、素材データと当該素材データの前記特徴量情報とを対応付けたデータベースの種類を、入力される指示に応じて前記配置領域の時間軸に沿って設定するデータベース設定手段と、前記アイコン画像が表示された位置と前記時間軸において対応関係にあるデータベースを参照して前記アイコン画像と前記特徴量情報が特定の関係となる素材データを特定する特定手段に当該素材データを特定させ、当該アイコン画像の前記時間軸における位置に応じたタイミングおよび当該素材データに応じた発音内容を示す楽音データを出力する出力手段に当該楽音データを出力させる発音制御手段として機能させるためのプログラムを提供する。
【００１７】
また、本発明は、コンピュータを、上記記載の発音制御装置から、前記アイコン画像が表示された位置と前記時間軸において対応関係にあるデータベースの種類を示す種類情報および当該アイコン画像に対応付けられた特徴量情報を取得する取得手段と、複数種類の前記データベースのうち、前記種類情報が示す種類のデータベースを参照して、当該種類情報とともに取得した前記特徴量情報と特定の関係となる素材データを特定する特定手段と、前記特定された素材データを前記発音制御装置に出力する出力手段として機能させるためのプログラムを提供する。
【００１８】
また、本発明は、時間軸が規定された配置領域を表示画面に表示させ、音素材の波形を示す素材データの特徴量を示す特徴量情報が対応付けられたアイコン画像を、入力される指示に応じて当該配置領域に表示させる表示制御手段、および素材データと当該素材データの前記特徴量情報とを対応付けたデータベースの種類を、入力される指示に応じて前記配置領域の時間軸に沿って設定するデータベース設定手段に対して、前記指示を入力するステップと、前記アイコン画像が表示された位置と前記時間軸において対応関係にあるデータベースを参照して前記アイコン画像と前記特徴量情報が特定の関係となる素材データを特定するステップと、前記アイコン画像の前記時間軸における位置に応じたタイミングおよび当該アイコン画像に対応して特定された前記素材データに応じた発音内容を示す楽音データを出力するステップとを備えることを特徴とする発音制御方法を提供する。
【発明の効果】
【００１９】
本発明によれば、音素材を組み合わせた楽曲について、一定期間の楽曲の印象を容易に変更可能にすることができる。
【図面の簡単な説明】
【００２０】
【図１】本発明の実施形態における発音制御システムの構成を説明するブロック図である。
【図２】本発明の実施形態におけるサーバ装置の構成を説明する図である。
【図３】本発明の実施形態における特徴量データベースの例を説明する図である。
【図４】本発明の実施形態における情報処理端末の構成を説明する図である。
【図５】本発明の実施形態における抽出データの例を説明する図である。
【図６】本発明の実施形態におけるシーケンスデータの例を説明する図である。
【図７】本発明の実施形態における情報処理端末およびサーバ装置の機能を説明する機能ブロック図である。
【図８】本発明の実施形態におけるシーケンスプログラム実行時の表示画面の表示例を説明する図である。
【図９】本発明の実施形態におけるシーケンスプログラム実行時の発音制御システムの動作を説明する図である。
【図１０】本発明の実施形態における類似音置換プログラム実行時の発音制御システムの動作を説明する図である。
【図１１】本発明の実施形態における類似音置換プログラム実行時の表示画面の表示例を説明する図である。
【図１２】本発明の実施形態における類似音置換プログラム実行時の素材データ範囲を設定する画面を説明する図である。
【図１３】本発明の実施形態における類似音置換プログラム実行時の素材データの置換態様を設定する画面を説明する図である。
【図１４】本発明の実施形態におけるテンプレートシーケンスプログラム実行時の表示画面を説明する図である。
【図１５】本発明の実施形態におけるテンプレートシーケンスプログラムで利用される、図１４に示すテンプレート２の内容を説明する図である。
【図１６】本発明の変形例１におけるシーケンスプログラム実行時の表示画面の表示例を説明する図である。
【図１７】本発明の変形例４における類似音置換プログラム実行時の素材データの置換対象を指定する画面を説明する図である。
【図１８】本発明の変形例４における類似音置換プログラム実行時の発音制御システムの動作を説明する図である。
【図１９】図１７に示す画面の別の表示例を説明する図である。
【図２０】本発明の変形例１０における情報処理端末の構成を説明する図である。
【図２１】本発明の変形例１０における情報処理端末の機能を説明する機能ブロック図である。
【図２２】本発明の変形例１４における類似音置換プログラム実行時の素材データの置換対象を指定する画面を説明する図である。
【図２３】本発明の変形例１４におけるシーケンスプログラム実行時の表示画面の表示例を説明する図である。
【図２４】本発明の変形例１５におけるシーケンスプログラム実行時の表示画面の表示例を説明する図である。
【発明を実施するための形態】
【００２１】
＜実施形態＞
［全体構成］
図１は、本発明の実施形態における発音制御システム１の構成を説明するブロック図である。発音制御システム１は、インターネットなどの通信回線１０００を介して接続される情報処理端末１０およびサーバ装置５０を有する。発音制御システム１は、楽曲の楽音を示す楽曲データなどの一部として抽出された音素材を用いて楽音を発生させるための制御を行う。この例においては、音素材の波形を示す素材データは、サーバ装置５０において記憶されている。
【００２２】
情報処理端末１０は、携帯電話、タブレット端末、ＰＤＡ（Personal Digital Assistant）などの情報処理端末である。図１に示すように、情報処理端末１０は、筐体１００の前面に、タッチセンサ１２１、操作ボタン１２２、および表示画面１３１を有する。タッチセンサ１２１は、表示画面１３１の前面に設けられ、表示画面１３１とともに、タッチパネルを構成している。ここで、ユーザが情報処理端末１０に対して入力する指示は、タッチセンサ１２１または操作ボタン１２２を操作することにより行うものとする。なお、操作ボタン１２２は、図１においては、１つのみであるが、複数であってもよいし、全く無くてもよい。
【００２３】
情報処理端末１０は、ユーザによって入力された指示に応じて、サーバ装置５０に記憶された素材データを組み合わせて発音させるためのシーケンスデータを生成する。また、情報処理端末１０は、シーケンスデータに基づいてサーバ装置５０から素材データを取得し、この素材データに基づいてスピーカ１６１（図４参照）から発音させる。以下、発音制御システム１における各構成について説明する。
【００２４】
［サーバ装置５０の構成］
図２は、本発明の実施形態におけるサーバ装置５０の構成を説明する図である。サーバ装置５０は、制御部５１、通信部５４および記憶部５５を有する。これらの各構成は、バスを介して接続されている。
【００２５】
制御部５１は、ＣＰＵ（Central Processing Unit）、ＲＡＭ（Random Access Memory）、ＲＯＭ（Read Only Memory）などを有する。制御部５１は、ＲＯＭまたは記憶部５５に記憶された各種プログラムを実行することにより、各種機能を実現する。この例においては、制御部５１は、情報処理端末１０からの指示により、検索プログラムまたは抽出プログラムを実行する。検索プログラムが実行されると、情報処理端末１０からの指示に応じて、記憶部５５の特徴量データベース（以下、特徴量ＤＢと記す）を検索して、特定した素材データを情報処理端末１０に送信する機能を実現する。抽出プログラムは、情報処理端末１０から送信された切出データから音素材となる素材データを抽出して記憶部５５に記憶する機能を実現する。これらの機能の詳細については、機能構成の説明において述べる。
【００２６】
通信部５４は、制御部５１の制御に応じて、通信回線１０００と接続して、情報処理端末１０などの通信装置と情報のやりとりを行う。制御部５１は、通信部５４を介して取得した情報を用いて、記憶部５５に記憶された情報を更新するようにしてもよい。また、通信部５４は、通信回線１０００を介した通信に限らず、有線または無線により外部装置と接続可能に構成されたインターフェイスを有していてもよい。
【００２７】
記憶部５５は、ハードディスク、不揮発性メモリなどであり、特徴量ＤＢ、切出データベース（以下、切出ＤＢと記す）をそれぞれ記憶する記憶領域の他、上述した検索プログラム、抽出プログラムなどの各種プログラムを記憶する記憶領域を有する。
切出ＤＢは、楽音波形を示す切出データを記憶するデータベースである。切出データは、その一部または全部が、音素材を示す素材データとして用いられるデータである。
特徴量ＤＢは、複数の特徴量ＤＢ（特徴量ＤＢａ、ＤＢｂ，・・・）から構成されている。以下、それぞれを特に区別せずに説明する場合には、特徴量ＤＢという。特徴量ＤＢについては、予め記憶部５５に記憶されているが、通信部５４を介して外部装置から取得することにより、新たな種類の特徴量ＤＢがさらに記憶されるようにしてもよい。
【００２８】
図３は、本発明の実施形態における特徴量ＤＢの例を説明する図である。特徴量ＤＢは、音素材を示す素材データを特定する素材特定情報、および素材データの特徴量を示す特徴量情報とが対応付けて記憶されたデータベースであり、各素材データには、特徴量情報の内容に応じて複数のカテゴリ（分類Ａ、分類Ｂ・・・）に分類されている。素材特定情報は、切出ＤＢに記憶された切出データを識別する情報と、切出データの一部または全部を指定するデータ範囲を示す情報とを合わせたものをいう。例えば、図３に示す例においては、素材データは、切出データＡにおけるデータの先頭を基準とした時刻ｔｓ１から時刻ｔｅ１までのデータ範囲に対応する。
【００２９】
特徴量情報は、素材データの複数種類の特徴量ｐ１、ｐ２、・・・を示す。素材データの特徴量とは、例えば、素材データが表す音素材について、周波数別（高域、中域、低域）のそれぞれの強度、振幅のピークとなる時刻（素材データの先頭を基準とした時刻）、振幅のピーク強度、協和度、複雑さなどについての特徴量であり、素材データを解析して得られた値である。例えば、特徴量ｐ１は、その値により音素材の高域の強度を示す。以下、特徴量情報Ｐは、その特徴量ｐ１、ｐ２、・・・のそれぞれの値の組み合わせによってＰａ、Ｐｂ、・・・というように示す。
特徴量情報の内容に応じて分類されるカテゴリは、聴感上の特徴が似た音素材ごとに分類されたものであり、例えば、アタックが明瞭でエッジ感が強い音として分類されるカテゴリ「分類Ａ（例えば、エッジ音）」、ノイズのように聞こえる音として分類されるカテゴリ「分類Ｂ（例えば、テクスチャ音）」などである。
図３に示す特徴量ＤＢにおいて、切出データＡの時刻ｔｓ１から時刻ｔｅ１のデータ範囲として特定される素材データは、特徴量Ｐａであり、分類Ａのカテゴリに分類されていることを示す。以上が、サーバ装置５０のハードウエア構成についての説明である。
【００３０】
［情報処理端末１０の構成］
図４は、本発明の実施形態における情報処理端末１０の構成を説明する図である。情報処理端末１０は、制御部１１、操作部１２、表示部１３、通信部１４、記憶部１５及び音響処理部１６を有する。これらの各構成は、バスを介して接続されている。また、情報処理端末１０は、音響処理部１６に接続されたスピーカ１６１およびマイクロフォン１６２を有する。
【００３１】
制御部１１は、ＣＰＵ、ＲＡＭ、ＲＯＭなどを有し、ＲＯＭまたは記憶部１５に記憶された各種プログラムを実行することにより、各種機能を実現する。この例においては、制御部１１は、ユーザから入力される指示に応じて、シーケンスプログラム、類似音置換プログラムまたはテンプレートシーケンスプログラムを実行する。シーケンスプログラムが実行されると、ユーザから入力される指示に応じて、素材データを組み合わせて発音させるためのシーケンスデータを生成し、サーバ装置５０において検索、特定させた素材データを取得してスピーカ１６１から発音させる機能を実現する。類似音置換プログラムは、予め用意した楽曲データなどを用いて、サーバ装置５０に音素材となる素材データを抽出させ、その素材データに特徴量情報が類似した素材データを取得し、楽曲データと置換してスピーカ１６１から発音させる機能を実現する。テンプレートシーケンスプログラムは、上記の抽出された素材データに特徴量情報が類似した素材データをテンプレートに従って発音させる機能を実現する。これらの機能の詳細については後述する。
【００３２】
操作部１２は、ユーザによる操作を受け付けるタッチセンサ１２１および操作ボタン１２２を有し、それぞれに受け付けられた操作の内容を示す操作情報を制御部１１に出力する。これにより、ユーザからの指示が情報処理端末１０に対して入力される。
表示部１３は、液晶ディスプレイなどの表示デバイスであり、制御部１１の制御に応じた内容の表示を表示画面１３１に行う。表示画面１３１に表示される内容は、メニュー画面、設定画面などの他、実行されたプログラムによって様々な内容となる（図８、図１１、図１２、図１３、図１４参照）。
【００３３】
通信部１４は、制御部１１の制御に応じて、通信回線１０００と接続して、サーバ装置５０などの通信装置と情報のやりとりを行う。制御部１１は、通信部１４を介して取得した情報を用いて、記憶部１５に記憶された情報を更新するようにしてもよい。また、通信部１４は、通信回線１０００を介した通信に限らず、有線または無線により外部装置と接続可能に構成されたインターフェイスを有していてもよい。
記憶部１５は、揮発性メモリの一時記憶領域と不揮発性メモリで構成され、一時記憶領域には、後述のプログラムで利用する楽曲データや実行するプログラムなどを一時保存する。不揮発性メモリには、楽曲データベース（以下、楽曲ＤＢと記す）、抽出データ、素材データベース（以下、素材ＤＢと記す）、シーケンスデータおよびテンプレートデータをそれぞれ記憶する記憶領域の他、上述したシーケンスプログラム、類似音置換プログラムおよびテンプレートシーケンスプログラムなどの各種プログラムを記憶する記憶領域を有する。不揮発性メモリに記憶されている各種データについては、予め記憶部１５に記憶されているが、通信部１４を介して外部装置から取得することにより、新たに追加して記憶されるようにしてもよい。また、後述するようにしてユーザによって作成された新たなシーケンスデータおよびテンプレートデータについても、記憶部１５に記憶されるようにしてもよい。
楽曲ＤＢは、様々な楽曲の音の波形を示す楽曲データ（楽曲データＡ、Ｂ、・・・）が記憶されたデータベースである。素材ＤＢは、サーバ装置５０における検索プログラムが実行され、サーバ装置５０から送信された置換用の素材データ（素材データＷ１、Ｗ２、・・・）が記憶されたデータベースである。
【００３４】
図５は、本発明の実施形態における抽出データの例を説明する図である。抽出データは、サーバ装置５０において楽曲データから抽出された素材データの部分を特定する素材特定情報、その素材データの特徴量情報、その特徴量情報に応じて決められた分類、および、その特徴量情報に類似するものとしてサーバ装置５０において特定された置換用の素材データを識別する情報とが対応付けられたデータである。ここでの素材特定情報は、上述の素材特定情報と同様に、楽曲データを識別する情報と、楽曲データの一部または全部を指定するデータ範囲を示す情報とを合わせた情報である。例えば、図５に示す抽出データの例においては、素材データは、楽曲データＡにおけるデータの先頭を基準とした時刻ｔｓ２から時刻ｔｅ２までのデータ範囲に対応し、その特徴量情報はＰｂであり、カテゴリは分類Ｂであり、置換用の素材データは、類似するものから順にＷ５、Ｗ１、Ｗ２、・・・であることを示している。
【００３５】
図６は、本発明の実施形態におけるシーケンスデータの例を説明する図である。シーケンスデータは、特徴量指定データ（図６（ａ））およびＤＢ指定データ（図６（ｂ））により構成される。特徴量指定データは、発音タイミングを示す再生時刻、そのタイミングに発音させたい素材データに相当する特徴量情報、および発音の音量が対応付けられている。図６（ａ）の例によれば、再生時刻「０００２：０１：０００」（第２小節第１拍に対応）においては、特徴量情報Ｐｂに基づく音を、音量「２０」で発音させることが示されている。なお、後述するように、発音される特徴量情報Ｐｂに基づく音は、特徴量情報Ｐｂの素材データが示す音素材とは限らず、類似する音のいずれかとなる。
ＤＢ指定データは、特徴量指定データによって示される特徴量情報を用いて、サーバ装置５０において素材データを特定するときの検索対象となる特徴量ＤＢの種類を再生時刻の範囲として設定されたデータである。図６（ｂ）の例によれば、再生時刻「０００１：０１：０００」から「０００１：０３：９５９」までは、検索対象となるデータベースは特徴量ＤＢａであることを示している。
なお、テンプレートデータについては後述する。
【００３６】
図４に戻って説明を続ける。マイクロフォン１６２は、ユーザによる発音が入力され、発音内容を示すオーディオ信号を音響処理部１６に出力する。スピーカ１６１は、音響処理部１６から出力されるオーディオ信号を放音する。音響処理部１６は、ＤＳＰ（Digital Signal Processor）などの信号処理回路などを有する。音響処理部１６は、マイクロフォン１６２から入力されるオーディオ信号をＡ／Ｄ変換（アナログデジタル変換）して制御部１１に出力する。音響処理部１６は、制御部１１から出力された楽音データを、制御部１１によって設定されたエフェクト処理、Ｄ／Ａ変換（デジタルアナログ変換）処理、増幅処理などの信号処理などを施して、オーディオ信号としてスピーカ１６１に出力する。以上が、情報処理端末１０のハードウエア構成についての説明である。
【００３７】
［機能構成］
次に、情報処理端末１０の制御部１１がシーケンスプログラムを実行し、それに伴いサーバ装置５０の制御部５１が検索プログラムを実行することによって実現される機能について説明する。なお、以下に説明する機能を実現する各構成の一部または全部については、ハードウエアによって実現してもよい。
【００３８】
図７は、本発明の実施形態における情報処理端末１０およびサーバ装置５０の機能を説明する機能ブロック図である。制御部１１がシーケンスプログラムを実行すると、表示制御部１１０、設定部１２０、発音制御部１３０およびデータ出力部１４０を構成する。この例においては情報処理端末１０は、表示制御部１１０、設定部１２０および発音制御部１３０が構成されることにより発音制御装置として機能する。また、制御部５１が検索プログラムを実行すると、特定部５１０を構成する。この例においてはサーバ装置５０は、特定部５１０が構成されることにより特定装置として機能する。
表示制御部１１０は、ユーザによって入力される指示に応じて、表示画面１３１の表示内容を制御する。この場合、表示画面１３１には、図８に示すような内容が表示される。
【００３９】
図８は、本発明の実施形態におけるシーケンスプログラム実行時の表示画面１３１の表示例を説明する図である。表示画面１３１には、大きく分けてアイコン配置領域ＳＴおよびＤＢ配置領域ＤＴが表示される。アイコン配置領域ＳＴおよびＤＢ配置領域ＤＴは、横軸を共通の時間軸として決められている。拍子線ＢＬは、１拍ごとの位置を示す補助線である。また、アイコン配置領域ＳＴは、縦軸が発音の音量を規定する音量軸である。なお、アイコン画像の位置に関係なく音量が規定されるものとすれば音量軸はなくてもよい。
【００４０】
アイコン画像ｓ１、ｓ２、・・・は、特徴量情報が対応付けられた画像である。アイコン画像ｓ１、ｓ２、・・・がアイコン配置領域ＳＴに配置されることにより、アイコン画像左端の時間軸に沿った方向の位置に応じて、それぞれ対応した特徴量情報に基づく音の発音タイミングが規定される。また、アイコン画像下端の音量軸に沿った方向の位置に応じて、その音量が規定される。アイコン画像ｓ１、ｓ２、・・・の絵柄の種類は、対応付けられた特徴量情報が分類されるカテゴリ（分類Ａ、Ｂ、・・・）ごとに異なるように決められている。例えば、アイコン画像ｓ１に対応する特徴量情報とアイコン画像ｓ２に対応する特徴量情報とは異なるカテゴリに分類されるものであり、アイコン画像ｓ２に対応する特徴量情報とアイコン画像ｓ４に対応する特徴量情報とは同じカテゴリに分類されるものである。なお、アイコン画像の絵柄は、カテゴリに応じて異なったものでなくてもよい。すなわち、全て同じ絵柄であってもよいし、別のパラメータに応じて異なる絵柄になるように制御されてもよい。
【００４１】
ＤＢ画像ｄ１、ｄ２、・・・は、特徴量ＤＢの種類が対応付けられた画像である。ＤＢ画像ｄ１、ｄ２、・・・が、ＤＢ配置領域ＤＴに配置され、ＤＢ画像の左端から右端の時間軸に沿った方向の位置に応じて、そのＤＢ画像に対応する特徴量ＤＢがサーバ装置５０における検索対象として適用される期間が規定される。例えば、特徴量ＤＢａは、時刻ｔ０から時刻ｔ２までが検索対象として適用され、特徴量ＤＢｃは、時刻ｔ１から時刻ｔ３までが検索対象として適用される。すなわち、時刻ｔ１から時刻ｔ２までは、特徴量ＤＢａと特徴量ＤＢｃとの双方が検索対象として適用される。
【００４２】
また、表示画面１３１には、再生テンポを設定するためのテンポ制御ボタンｂ１、アイコン配置領域のアイコン画像の配置態様に基づいて、シーケンスデータを楽音データに変換するための指示を行うための変換指示ボタンｂ２、変換により生成された楽音データを発音させるための再生指示ボタンｂ３が表示される。なお、作成したシーケンスデータを記憶部１５に記憶させるための保存ボタンなどが表示されていてもよい。
【００４３】
図７に戻って説明を続ける。設定部１２０は、ユーザによって入力された指示に応じて、時間軸に沿って特徴量ＤＢの種類を設定する。この例においては、設定部１２０は、設定内容を表示制御部１１０に出力して、図８に示すように表示画面にＤＢ画像を表示させる。なお、設定部１２０は、表示制御部１１０への出力をせずに、ＤＢ画像が表示画面１３１に表示されないようにしてもよい。この場合には、ＤＢ配置領域ＤＴは不要である。すなわち、特徴量ＤＢの種類がアイコン配置領域ＳＴと同じ時間軸に沿って設定されていれば、その設定内容が表示画面１３１に表示されていても表示されていなくてもよい。
【００４４】
表示制御部１１０および設定部１２０は、アイコン画像の配置態様、特徴量ＤＢの種類の設定態様に応じてシーケンスデータを生成する。ここで、表示制御部１１０は、シーケンスデータのうち、特徴量指定データを生成し、設定部１２０は、シーケンスデータのうちＤＢ指定データを生成する。シーケンスデータは、アイコン画像が配置されたり、特徴量ＤＢの設定が行われたりする度に内容が決定されるようにしてもよいし、変換指示ボタンｂ２が操作されたときに決定されるようにしてもよい。上述した保存ボタンが表示画面１３１に表示されている場合には、ユーザによって保存ボタンが操作が操作されると、ここで生成されたシーケンスデータが記憶部１５に保存される。
【００４５】
発音制御部１３０は、ユーザによって変換指示ボタンｂ２が操作されると、サーバ装置５０に対して、生成されたシーケンスデータの一部または全部を通信部１４を介して送信し、サーバ装置５０の制御部５１に検索プログラムを起動、実行させる。シーケンスデータの一部とは、少なくとも、特徴量情報と、その特徴量情報に対して時間軸において対応関係にある特徴量ＤＢの種類（種類情報）とを対応付けた部分のデータである。そして、発音制御部１３０は、サーバ装置５０から素材データを通信部１４を介して受信して、受信した素材データおよびシーケンスデータに基づいて、データ出力部１４０から楽音データを出力させる。具体的には、発音制御部１３０は、シーケンスデータの特徴量指定データを参照して、アイコン画像に対応する素材データを音量に応じてレベルを変化させる加工をし、再生時刻に応じたタイミングで楽音データとして出力させる。データ出力部１４０は、発音制御部１３０の制御に応じて楽音データを出力する。
【００４６】
特定部５１０は、発音制御部１３０から送信されたシーケンスデータに基づく情報を通信部５４を介して受信し、記憶部５５に記憶された特徴量ＤＢのうち、受信した情報が示す検索対象となる種類の特徴量ＤＢを検索し、シーケンスデータに含まれる各特徴量情報のそれぞれに対して、類似する特徴量情報をもつ素材データを特定する。この例においては、特定部５１０は、特徴量情報を複数の特徴量により構成されるベクトル量として取り扱い、検索対象となる種類の特徴量ＤＢを参照してユークリッド距離が最も短くなる特徴量情報をもつ素材データを特定する。
なお、類似度を判断するためのアルゴリズムについては、公知の他のアルゴリズムを用いてもよい。また、ユークリッド距離が最も短くなるものでなくてもよく、２番目、３番目に近いものを特定してもよい。このような特定を行うために必要な情報は、予めユーザなどにより設定されていればよい。また、特定される素材データは、シーケンスデータに含まれる特徴量情報に対して、特徴量情報が類似関係にあるものでなくてもよく、予め決められた特定の関係にあればよい。また、検索対象については、検索対象となる種類の特徴量ＤＢとするだけなく、さらに、カテゴリにより絞りこまれてもよい。この場合には、検索対象となるカテゴリは、例えばユーザによって指示されたものであってもよいし、シーケンスデータに含まれる特徴量情報と同じカテゴリまたは関連するカテゴリであってもよい。ここで、関連するカテゴリは、予め設定されたアルゴリズムに従って決められてもよいし、予め関連するカテゴリ同士が設定されていてもよい。
【００４７】
そして、特定部５１０は、特定した素材データを通信部５４を介して発音制御部１３０に送信する。なお、上述の通り、この例においては、通信部５４は、シーケンスデータに基づく情報を受信することにより取得する取得手段、および特定された素材データを送信することにより出力する出力手段として機能する。
以上が機能構成についての説明である。続いて、シーケンスプログラム実行時の発音制御システム１における動作について図９を用いて説明する。
【００４８】
［シーケンスプログラム実行時の動作］
図９は、本発明の実施形態におけるシーケンスプログラム実行時の発音制御システム１の動作を説明する図である。ここでは、情報処理端末１０は、ユーザからシーケンスプログラムの実行の指示が入力された後の処理を説明する。シーケンスプログラムが実行されると、表示画面１３１には、図８に示すように、アイコン配置領域ＳＴ、ＤＢ配置領域ＤＴなどの表示がなされる。この段階においては、アイコン画像およびＤＢ画像は表示されていないものとする。
【００４９】
ユーザは、特徴量情報の内容を決定する指示、決定した内容により決まる絵柄のアイコン画像をアイコン配置領域ＳＴに配置する指示、ＤＢ画像をＤＢ配置領域ＤＴに配置する指示を入力することにより、楽音を発生させるためのシーケンスを作成する（ステップＳ１１０）。その結果、表示画面１３１には、図８に示す内容で表示されたものとする。この状態で生成されているシーケンスデータは、例えば、図６に示す内容となる。この場合、アイコン画像ｓ３、ｓ４、ｓ５に対応する特徴量情報は、Ｐｃ、Ｐｄ、Ｐｅとなる。
【００５０】
ユーザは、変換指示ボタンｂ２を操作することにより変換指示（ステップＳ１２０）を入力すると、情報処理端末１０は、発音制御部１３０によりサーバ装置５０にシーケンスデータを送信する（ステップＳ１３０）。送信されるシーケンスデータは、上述したように、全ての情報でなくてもよく、特徴量情報と、その特徴量情報に対して時間軸において対応関係にある特徴量ＤＢの種類とを対応付けた部分を有したデータであればよい。
【００５１】
サーバ装置５０は、このデータを受信すると、検索プログラムを実行し、特定部５１０により特徴量ＤＢを検索して素材データを特定する（ステップＳ１４０）。例えば、アイコン画像ｓ３に対応する特徴量情報Ｐｃについては、時間軸において対応関係にある特徴量ＤＢの種類となる特徴量ＤＢｃを検索して、特徴量情報Ｐｃに類似する特徴量情報をもつ素材データを情報処理端末１０に送信する（ステップＳ１５０）。このとき、サーバ装置５０は、特定した素材データがどの特徴量情報に対応したものであるかが識別できるようにして送信する。
【００５２】
情報処理端末１０は、これらのデータを受信が完了するとその旨をユーザに通知する。ユーザは、再生指示ボタンｂ３を操作することにより再生指示を入力（ステップＳ１６０）すると、発音制御部１３０によりデータ出力部１４０を制御させる。発音制御部１３０は、シーケンスデータのうち特徴量指定データを参照して、受信した素材データの音量を調整して、対応する特徴量情報の再生時刻にしたがって楽音データとしてデータ出力部１４０から出力（ステップＳ１７０）させ、スピーカ１６１から発音させる。
【００５３】
このようにして、ユーザが作成したシーケンスにしたがって、情報処理端末１０から楽音データが出力される。ここで、検索対象となる特徴量ＤＢの種類は、ＤＢ指定データによって規定されている。したがって、ユーザは、ＤＢ指定データを変更するだけで検索対象となる特徴量ＤＢの種類が変更されるから、特徴量指定データの内容が変更されていなくても、特定部５１０において特定される素材データも変化する。したがって、ユーザの再生指示により発音される内容も変化することになる。このとき、素材データは変化したとしても、特徴量情報が変わるわけではないから、素材データの音が全く違うものに変化せず、大体の場合は同じカテゴリに分類されているものから特定される。したがって、特徴量ＤＢの種類が、例えば、楽曲のジャンル（ジャズ、ロックなど）に応じたものとなっている場合には、ユーザはＤＢ指定データを変更するだけでも、同じような発音内容（楽音のパターンなど）を維持したまま、ジャズであったりロックであったりと印象を変更することができる。
続いて、類似音置換プログラム実行時の発音制御システム１における動作について図１０を用いて説明する。
【００５４】
［類似音置換プログラム実行時の動作］
図１０は、本発明の実施形態における類似音置換プログラム実行時の発音制御システム１の動作を説明する図である。ここでは、情報処理端末１０は、ユーザから類似音置換プログラムの実行の指示が入力された後の処理を説明する。類似音置換プログラムが実行されると、表示画面１３１には、サーバ装置５０に送信して素材データを抽出させる対象となる切出データを含む楽音データを決定するための表示として、図１１に示す内容の表示がなされる。制御部１１は、ユーザによって入力された指示に応じて、楽音データを決定する（ステップＳ２１０）。
【００５５】
図１１は、本発明の実施形態における類似音置換プログラム実行時の表示画面の表示例を説明する図である。制御部１１は、類似音置換プログラムを実行すると、表示画面１３１に、楽音データを、録音して入力するか、記憶部１５の楽曲ＤＢに予め記憶されている楽曲データから選択するかを決定するための画面を表示させる。この例において、表示画面１３１には、図１１（ａ）に示すように、録音して入力する指示をするための録音選択ボタンｂｓ１と、楽曲データから選択する指示をするための楽曲データ選択ボタンｂｓ２とが表示される。
【００５６】
ユーザが楽曲データ選択ボタンｂｓ２を操作すると、制御部１１は、楽曲ＤＢに記憶された楽曲データのリストを表示画面１３１に表示させる（図示略）。そして、ユーザによってこのリストから１つの楽曲データを選択する指示が入力されると、制御部１１は、選択された楽曲データを楽音データとして決定する（ステップＳ２１０、図１０参照）。
一方、ユーザが録音選択ボタンｂｓ１を操作すると、制御部１１は、表示画面１３１に表示される内容を図１１（ｂ）に示す内容に切り替える。このとき表示画面１３１には、録音を開始させる指示をユーザから受け付けるための録音開始ボタンｂｒｓ、録音の開始から経過した時間を示す録音時間表示バーｓｂ、１つ前の画面（この場合においては、図１１（ａ）に示す表示画面）に戻る指示をユーザから受け付けるための戻りボタンｂｒ、および録音した内容を楽音データとして決定する指示をユーザから受け付けるための決定ボタンｂｆが表示される。
【００５７】
ユーザが録音開始ボタンｂｒｓを操作すると、制御部１１は、表示画面１３１に表示される内容を図１１（ｃ）に示す内容に切り替え、マイクロフォン１６２から入力された音を示すデータを蓄積する。このとき表示画面１３１には、図１１（ｂ）に示す表示内容から、録音開始ボタンｂｒｓが録音を停止させる指示をユーザから受け付けるための録音停止ボタンｂｒｅに変更され、また、録音時間表示バーｓｂに録音時間に応じた経過表示バーｓｂｔを表示させる。
ユーザは、この状態において楽音データとしたい音をマイクロフォン１６２から入力する。音の入力が終了し、ユーザが録音停止ボタンｂｒｅを操作すると、制御部１１は、マイクロフォン１６２から入力される音を示すデータの蓄積を終了し、表示画面１３１の表示を図１１（ｂ）に示す内容に切り替える。
【００５８】
ユーザが録音開始ボタンｂｒｓを再度操作した場合には、制御部１１は、再びに録音を開始して、すでに蓄積されたデータを破棄して新たにデータの蓄積を開始してもよいし、破棄せず新たなデータを追加するようにしてもよい。一方、ユーザが決定ボタンｂｆを操作した場合には、録音によって蓄積されたデータを楽音データとして決定する（ステップＳ２１０、図１０参照）。
このように、制御部１１は、楽曲データまたは録音によって蓄積されたデータを楽音データとして決定する（ステップＳ２１０）と表示画面１３１に表示される内容を、図１２に示す内容に切り替える。
【００５９】
図１２は、本発明の実施形態における類似音置換プログラム実行時の素材データ範囲を設定する画面を説明する図である。表示画面１３１には、決定された楽音データの波形ｗｄ１および波形ｗｄ１の一部を拡大表示した波形ｗｄ２が表示されている。また、表示画面１３１には、波形ｗｄ１のうち波形ｗｄ２の表示範囲を規定するための表示範囲ウインドウｗｓが表示される。ユーザは表示範囲ウインドウｗｓの位置および範囲を変更する指示を入力すると、制御部１１は、表示範囲ウインドウｗｓの位置および範囲を変更し、その変更内容に応じて波形ｗｄ２の表示も変更する。
【００６０】
表示画面１３１には、決定した楽音データのうち、サーバ装置５０に送信するデータ範囲ｔｗ（切出データ）を指定するための範囲指定矢印（開始指定矢印ａｓおよび終了指定矢印ａｅ）が表示される。ユーザが範囲指定矢印の位置を指定すると、その間がデータ範囲ｔｗとして指定される。時間表示ｔｗｃは、データ範囲ｔｗの時間を示す表示である。範囲の指定方法は、上記に限らず、拍数や時間をなんらかの入力手段で数値入力しても良い。
表示画面１３１には、指定されたデータ範囲ｔｗを設定するための設定ボタンｂｋ、１つ前の画面に戻る指示をユーザから受け付けるための戻りボタンｂｒ、指定されたデータ範囲ｔｗの楽音データを再生してスピーカ１６１から出力させる指示をユーザから受け付けるための再生ボタンｂｐが表示される。位置の指定方法は、例えば表示画面１３１上でそれぞれの範囲指定矢印を二本の指でタッチしながら広げたり狭めたりスライドさせることによる。指定範囲矢印は、波形ｗｄ２に重ねるように表示し、その位置は波形ｗｄ２の中心線上でも良いし、中心線近辺でも良い。波形表示に重ねることで直感的に開始指定点と終了指定点がわかるので、指定範囲矢印は、特に矢印の形状を形成したアイコンでなくても良く、タッチする箇所を視覚的に誘導可能なアイコンであればよい。指定範囲矢印は、波形の開始指定点と終了指定点が認識し易いように、その一部を透かしても良いし、半透明であっても良い。
【００６１】
ユーザがデータ範囲ｔｗを指定してから再生ボタンｂｐを操作すると、制御部１１は、楽音データのうち、データ範囲ｔｗの部分のみ、再生してスピーカ１６１から出力させる。ユーザがデータ範囲ｔｗを指定してから設定ボタンｂｋを操作すると、制御部１１は、サーバ装置５０において素材データを抽出させる対象として、このデータ範囲ｔｗを設定し（ステップＳ２２０、図１０）、通信部１４からデータ範囲ｔｗの楽音データである切出データを送信させる（ステップＳ２３０）。
【００６２】
なお、シーケンスプログラムの実行のときに用いられたＤＢ指定データが、類似音置換プログラムにおいても用いられてもよい。この場合には、ＤＢ指定データについてもサーバ５０に送信される。
【００６３】
サーバ装置５０が切出データを受信すると、制御部５１は、抽出プログラムを実行し、データ範囲ｔｗの楽音データから素材データを抽出する（ステップＳ２４０）。この抽出方法としては、例えば、切出データから音量変化が一定以上の変化をするオンセットを検出し、オンセットから予め決められた時間の範囲のうち、特定の条件を満たす特徴量をもつ部分を素材データとして抽出する方法がある。楽音を示す切出データから素材データを抽出する方法については、公知の方法のいずれも用いることが可能であるが、例えば、特開２０１０−１９１３３７号公報に開示された方法を用いればよい。
【００６４】
続いて、制御部５１は、抽出した素材データに関連するデータを記憶部５５に登録する（ステップＳ２５０）。具体的には、制御部５１は、受信した切出データを切出ＤＢに登録し、特徴量ＤＢにデータ範囲、特徴量情報およびその分類を登録する。このとき、どの種類の特徴量ＤＢに登録するか（単数、複数を含む）については、予めユーザによって指定されていてもよいし、切出データが楽曲データの一部であり、楽曲データに対応するジャンルが取得可能な場合には、その楽曲データのジャンルに対応させてもよい。
なお、ステップＳ２６０における素材データの登録については、存在しなくてもよいし、登録を行うか否かを、ユーザが予め指定してもよい。
【００６５】
続いて、制御部５１は、検索プログラムを実行し、切出データから抽出した各素材データの特徴量情報に類似する素材データを特定する（ステップＳ２６０）。この例においては、制御部５１は、抽出した素材データの各々について、特徴量を算出し、特徴量情報が類似する５つの素材データを特徴量ＤＢから検索して特定する。この特定方法は、上述した特定部５１０における方法と同様にすればよい。すなわち、制御部５１は、各素材データについて、特徴量情報のユークリッド距離が近いものから５つの特徴量情報をもつ素材データを特定すればよい。なお、ステップＳ２５０において登録した情報は検索範囲から除外する。
制御部５１は、抽出した各素材データに類似する５つの素材データを特定すると、これらの素材データを通信部５４から情報処理端末１０に送信させ、また、図５に示すような抽出データを構成するための情報、すなわち、切出データのうち、素材データとして抽出した部分とその特徴量情報、類似する素材データ（置換用の素材データ）を識別する情報などを、通信部５４から送信させる（ステップＳ２７０）。
【００６６】
なお、制御部５１は、情報処理端末１０からＤＢ指定データが送信されている場合には、シーケンスプログラム実行に伴ってサーバ装置５０において実行された検索プログラムと同様に、素材データを特定するときの検索対象となる特徴量ＤＢの種類を、ＤＢ指定データに基づいて決定する。このとき、抽出された素材データの切出データにおけるデータ位置に基づいて、特徴量ＤＢの種類が決められるようになっていればよい。例えば、ＤＢ指定データにおける再生時刻範囲については、切出データのデータ位置を示す情報を用いて、その範囲が指定されていればよい。
【００６７】
情報処理端末１０がこれらの情報を受信すると、制御部１１は、抽出データを記憶部１５の一時記憶領域に記憶させ、表示画面１３１に表示される内容を、図１３に示す内容とする。なお、制御部１１は、サーバ装置５０での処理が行われている間、すなわち、ステップＳ２３０からステップＳ２７０の処理の間には、表示画面１３１を別の内容（「データ送信中」、「データ処理中」の表示など）にしてもよい。
【００６８】
図１３は、本発明の実施形態における類似音置換プログラム実行時の素材データの置換態様を設定する画面を説明する図である。表示画面１３１には、図１３に示すように、切出データの波形を示す波形ｗｄ３、素材データとして抽出された部分を示す抽出ウインドウｗｋ１、ｗｋ２、・・・が表示される。また、表示画面１３１には、波形ｗｄ３の下部に、抽出ウインドウｗｋ１、ｗｋ２、・・・に対応したアイコン列ｂｋ１、ｂｋ２、・・・が表示される。これらが表示される領域は、上述したアイコン配置領域ＳＴに相当する。横軸方向は、波形ｗｄ３における抽出された素材データの位置関係に対応しているため、アイコン配置領域ＳＴと同様に時間軸に相当する。ただし、図８に示す例とは異なり、一定の時刻が経過すると時間軸方向に一定量進むという関係にはなっていない。すなわち、一定の時刻が経過すると時間軸方向に一定量進むという波形ｗｄ３における時間軸が、適宜伸縮され、その結果として素材データが時系列に沿って並ぶように表示されている。このように、アイコン配置領域ＳＴに相当する部分については、時間軸が適宜伸縮されて表示される場合もある。
なお、ＤＢ指定データが用いられる場合には、ＤＢ配置領域ＤＴに相当する領域が、表示画面１３１に表示されるようにしてもよいし、表示されなくてもよい。
【００６９】
これらのアイコン列ｂｋ１、ｂｋ２・・・は、それぞれ素材データの特徴量情報により分類されるカテゴリに応じた絵柄の画像となっている。すなわち、この画像は、特徴量情報が対応付けられたアイコン画像に相当する。絵柄は、図１３に示すもの以外であっても良いが、視覚的にカテゴリ毎の判別が明確にできる絵柄が好ましい。この例においては、抽出ウインドウｗｋ１に対応する素材データと抽出ウインドウｗｋ４に対応する素材データとが同じカテゴリに分類され、抽出ウインドウｗｋ２に対応する素材データと抽出ウインドウｗｋ３に対応する素材データとが同じカテゴリに分類されている。
【００７０】
また、アイコン列ｂｋ１、ｂｋ２、・・・は、それぞれ、抽出された素材データを示すアイコン画像が並ぶ元音素材行ｂｋｉと、素材データに類似し、置換対象となる素材データを示すアイコン画像が並ぶ類似音素材行ｂｋｒとを有する。この例においては、類似音素材行ｂｋｒのアイコン画像は、対応する素材データと類似しているほど上に表示（後述する変形例３に記載する特定座標軸に相当）され、かつ色が濃く表示されている。類似音素材行ｂｋｒにおけるアイコン画像の行数は、図１３に示す数に限らず、任意に設定可能である。また、アイコン画像における類似程度の表示方法は、色の明度の濃淡に限らず、色相の変化、画像の大きさの変化等視覚的に判別が明確にできるものであれば良い。また、抽出された素材データと置換させる対象となる素材データを特定するためのカーソルｃｋがアイコン列ｂｋ１、ｂｋ２、・・・の各列に表示される。したがって、抽出された素材データの数に応じてアイコン列の数が変わる。アイコン列を構成するアイコン１つずつの表示の大きさは、表示画面を最大アイコン列で割り振っておいて、アイコン列が少ない場合は表示しない部分を残しても良いし、その都度表示するアイコン列数により表示画面を割り振って、１つずつの表示の大きさを変えて、全体で画面いっぱいになるように表示しても良い。
【００７１】
ユーザが図１３に示すようにアイコン列ｂｋ１、ｂｋ２、・・・の各列におけるカーソルｃｋの位置を操作するなどして、位置を特定する指示を入力すると、制御部１１は、抽出された素材データを、カーソルｃｋの位置に応じた置換用の素材データと置換するように設定する（ステップＳ２８０）。
ユーザが再生ボタンｂｐを操作することにより再生が指示されると（ステップＳ２９０）、制御部１１は、切出データのうち、設定された内容に応じて、抽出された素材データを置換用の素材データに置換して再生して楽音データとして出力（ステップＳ３００）し、スピーカ１６１から放音させる。そして、ユーザにより入力された指示により、ファイル名を指定して、置換したデータを示す情報を記憶部１５の不揮発性メモリに記憶する。この情報は、波形を示すデータであってもよいし、抽出データにおいて、選択された置換用の素材データを特定する情報を追加したものであってもよい。記憶されたファイルは、ファイル名を指定して、情報処理端末１０単体で読み出し可能となる。
【００７２】
なお、ユーザが抽出ウインドウｗｋ１、ｗｋ２、・・・の時間軸方向の長さを調整して、抽出された素材データの開始時間または終了時間を調整可能としてもよい。このようにして調整された場合には、情報処理端末１０は、サーバ装置５０に対して、変更内容を示す情報を送信し、サーバ装置５０の制御部５１は、抽出された素材データが変更されたものとして、ステップＳ２５０からの処理を行うようにすればよい。
以上が類似音置換プログラム実行時の動作についての説明である。
【００７３】
［テンプレートシーケンスプログラム実行時の動作］
図１４は、テンプレートシーケンスプログラム実行時の表示画面を説明する図である。テンプレートシーケンスプログラムは、予め複数（例えば、１６個）のテンプレートを用意しておき、そのテンプレートによって規定される発音タイミングで、素材データを発音させるプログラムである。
テンプレートシーケンスプログラムを実行するには、上述の素材データの置換態様を設定する画面（図１３）においてテンプレートシーケンスプログラムへの移行指示の操作を受け付けるための移行指示ボタンｂｔｓをユーザが操作して行う。図１４の上部にある波形領域は、素材データの置換態様を設定する画面で表示された波形ｗｄ３が示され、下部にあるトラック領域ＴＴには、複数（図１３の例では４つ）のトラックが表示される。個のトラック領域ＴＴは、上述したアイコン配置領域ＳＴに相当する。なお、トラックは上から順に、第１〜第４トラック（図１３におけるｔｂ１〜ｔｂ４に対応）と呼ぶ。トラックｔｂ１、ｔｂ２、ｔｂ３、ｔｂ４のそれぞれは、抽出ウインドウｗｋ１、ｗｋ２、ｗｋ３、ｗｋ４のいずれかに対応して設けられている。この例においては、抽出ウインドウｗｋ１、ｗｋ２、ｗｋ３、ｗｋ４に示されるａ〜ｄは、トラック領域ＴＴの各トラックｔｂ１，ｔｂ２、ｔｂ３、ｔｂ４の左側に示されるａ〜ｄに対応しており、波形領域のどの部分のデータとトラックの類似音が対応しているかがわかるようになっている。
【００７４】
各トラックは、１小節１６拍分の個々の発音タイミングを画面横方向に示しており、左端のアイコンから順に１拍づつ進んだ発音タイミングとなる。すなわち、横軸方向は、アイコン配置領域ＳＴと同様に時間軸に相当する。各発音タイミングは、四角形のアイコン画像で示されている。アイコン画像のうち、明るい表示（図１３においては太枠表示）となっているアイコン画像（以下、発音アイコン画像ｔｂｓという）は、発音タイミングを示し、枠内に表示されている数値が選択している類似音の種類（上述の置換用の素材データの種類に対応）を示している。例えば、「１」、「２」、・・・はそれぞれ類似度に応じて決められた置換用の素材データを示し、「０」は、波形ｗｄ３における抽出ウインドウに対応する素材データを示している。この発音アイコン画像ｔｂｓは、表示されているトラックにより、抽出された素材データの特徴量情報が対応付けられたアイコン画像に相当する。すなわち、画面縦軸方向に並ぶトラックは、特徴量情報を規定するための特徴量規定軸となる。一方、暗い表示（図１３においては細枠表示）となっているアイコン画像（以下、無音アイコン画像ｔｂｂという）は、発音しないタイミングを示している。
【００７５】
例えば、第１トラックｔｂ１においては、４拍目において抽出ウインドウｗｋ１に対応する素材データが発音され、６拍目において抽出ウインドウｗｋ１に対応する素材データに３番目に類似するものとして特定された素材データが発音され、１０拍目において抽出ウインドウｗｋ１に対応する素材データに１番目に類似するものとして特定された素材データが発音されることになる。
【００７６】
ユーザは、発音アイコン画像ｔｂｓをタッチして操作することにより発音アイコン画像ｔｂｓの数値を変更させて、対応する類似音の種類をサイクリックに選択できる。なお、図示の例は、１小節１６拍で示しているが、２拍子や３拍子、小節数も２小節や４小節など、自在に組んでよい。
また、テンプレートは、予めテンプレートシーケンスプログラムによって規定されているものとして説明しているが、ユーザが作ったり、既存のテンプレートを加工できるようにしてもよい。このようにして作成、加工したテンプレートは、上述したように、記憶部１５に記憶できるようにして、ユーザが後にテンプレートシーケンスプログラムを実行したときに、読み出して利用してもよい。また、拍数の合計値に応じて、トラック領域ＴＴに表示されるアイコン画像の数は増減させてもよいし、スクロールするようにして表示させてもよい。また、あらかじめ用意されたテンプレートだけでなく、新たにテンプレートを作成してもよい。この場合、ユーザは、特徴量情報を新たに設定し、その特徴量情報と類似する素材データを、上述したステップＳ２４０（図１０参照）で抽出された素材データの中から決定する。また、それぞれのトラックに付いて発音タイミングを任意に設定することができる。
【００７７】
左下のスライダｔｓは、演奏テンポを指定するもので、ユーザがスライドさせて希望するテンポを指定する。右下のボタンは、テンプレートを選択するテンプレートボタンｔｎであり、ユーザがテンプレートボタンｔｎをここをタッチして操作する度にテンプレートが１からサイクリックに変わって、テンプレートの種類を選択できる。図示の例ではテンプレート２が選択されている。
なお、上記の発音アイコン画像ｔｂｓに数値を表示させる代わりに発音アイコン画像ｔｂｓの色の明度あるいは濃度で表示したり、色の違いで表すようにしてもよい。また、トラックｔｂ１、ｔｂ２、ｔｂ３、ｔｂ４と抽出ウインドウｗｋ１、ｗｋ２、ｗｋ３、ｗｋ４関係についても同様にして、アルファベットによる表示以外に、色などにより対応関係がわかるようにしてもよい。
【００７８】
図１５は、本発明の実施形態におけるテンプレートシーケンスプログラムで利用される、図１４に示すテンプレート２の内容を示す。テンプレートには、それぞれのトラックに割当てられる素材データを選択するための特徴量情報を規定すると共に、それぞれのトラックにおける発音タイミングを規定する。特徴量情報は、図６の特徴量指定データにおける特徴量情報と同じ構成である。発音タイミングは、小節数とその小節内におけるタイミング（１拍が１２０）として指定される。例えば、図１５に示す発音タイミング「１：３６０」は、１小節目の３拍目であることを示している。なお、上述したように、ＤＢ指定データが用いられている場合には、再生時刻範囲については、テンプレートデータの発音タイミングの形式に合わせ、小節数とその小節内におけるタイミングを用いて、その範囲が指定されればよい。また、ＤＢ配置領域ＤＴに相当する領域が、表示画面１３１に表示されるようにしてもよいし、表示されなくてもよい。
【００７９】
テンプレートのそれぞれのトラックに対する素材データの割当ては、類似音置換プログラム実行時の切出データ送信の際に、各テンプレートの情報も合わせてサーバ装置５０に送り、サーバ装置５０で各テンプレートの特徴量情報に類似した素材データを割当てて、情報処理端末１０に抽出結果データとともに送るようにする。情報処理端末１０では、割当てテーブルでそれぞれのトラックと素材データの対応関係を割当てて一時記憶領域において記憶する。図１４に示す例では、第１トラックｔｂ１に抽出ウインドウｗｋ１に対応する素材データが、第２トラックｔｂ２に抽出ウインドウｗｋ１に対応する素材データが、第３トラックｔｂ３に抽出ウインドウｗｋ１に対応する素材データが、第４トラックｔｂ４に抽出ウインドウｗｋ１に対応する素材データがそれぞれ割当てられていることがわかる。
なお、１６個のテンプレートは、それぞれが特徴量と発音タイミングを異なるものとして使うのが一般的であるが、一部のテンプレートの間で、特徴量情報または発音タイミングのデータのどちらかを他のテンプレートと共通にして、サーバ装置５０と情報処理端末１０との間でやり取りするデータ量、サーバ装置５０における計算量を少なくするようにしてもよい。
【００８０】
表示画面１３１に図１４に示す内容の画面が表示されているときに、ユーザが再生ボタンｂｐを操作することにより再生が指示されると、制御部１１は、トラック領域ＴＴに表示された発音アイコン画像ｔｂｓの数値に応じて決められる素材データを、その発音アイコン画像ｔｂｓの位置に応じた発音タイミングで発音されるように再生して楽音データとして出力し、スピーカ１６１から放音させる。
そして、ユーザにより入力された指示により、ファイル名を指定してそれぞれのテンプレートと割当てテーブルのデータをひとつのファイルとして、記憶部１５の不揮発性メモリに記憶する。記憶されたファイルは、ファイル名で情報処理端末単体で読み出し可能となる。
【００８１】
［ＤＡＷへの適用例］
上述の実施形態では、情報処理端末１０は、タブレット端末、携帯電話、PADなどに適用した例として説明したが、他のひとつの例としては、情報処理端末１０において実現される各機能は、ＤＡＷ（Digital Audio Workstation）と呼ばれるアプリケーションソフトウェアをパソコン（パーソナルコンピュータ）ＰＣのＯＳ（Operating System）上で起動させることにより実現することができる。すなわち、情報処理端末１０は、ＤＡＷが動作しているパソコンＰＣにより音楽処理装置として実現される。音楽処理装置では、ＭＩＤＩ（Musical Instrument Digital Interface）イベントやオーディオ信号の録音／再生、編集、ミキシングなどの一連の音楽処理を実行することができ、その機能の一つとして上述のシーケンスプログラム、テンプレートシーケンスプログラムを持たせるようにする。
【００８２】
そして、ＤＡＷのアプリケーションのなかで、上記のシーケンスプログラムとの連携で、ＭＩＤＩイベントの録音／再生を制御するＭＩＤＩシーケンサで再生させた信号から特徴量を抽出してシーケンスデータを作成したり、抽出された特徴量に応じた素材データで新しいオーディオ信号として録音する。すなわち、ＭＩＤＩシーケンサと上記シーケンスプログラムの間でデータをやり取りしたり、あるいは、上記シーケンスプログラムで作成されたデータからオーディオ信号で録音し、さらに編集できる。
【００８３】
同様に、ＤＡＷのアプリケーションのなかで、上記のテンプレートシーケンスプログラムとの連携で、ＭＩＤＩシーケンサのＭＩＤＩのトラックを、テンプレートシーケンスプログラムのトラックから作成したり、逆にテンプレートシーケンスプログラムのテンプレートをＭＩＤＩシーケンサのトラックのタイミング情報を利用して作ったり、テンプレートシーケンスの１または複数のトラックのデータからＭＩＤＩデータを作る。
【００８４】
さらには、ＤＡＷのアプリケーションのミキサ画面では、上記シーケンスプログラムの入出力トラックを、他のＭＩＤＩトラックやオーディオトラック同様に選択指定できるように扱うことで、ＭＩＤＩデータの再生信号と上記シーケンスデータの再生信号をミキシングして出力したり、オーディオの再生信号と上記シーケンスデータの再生信号をミキシングして出力する。なお、上記シーケンスプログラムのみでの再生出力、記録も可能である。
【００８５】
また、ＤＡＷのアプリケーションにおけるデータの保存・再生では、プロジェクトファイルの構成データのひとつとして、上記シーケンスデータとＤＢ指定データを持たせて、一つのプロジェクトファイルにまとめるようにすればよい。この場合、具体的には、例えば、ヘッダ、オーディオトラックのデータ（複数トラック分の波形データおよび管理データ）、オーディオミキサのデータ（複数チャンネル分のパラメータ）、ＭＩＤＩトラックのデータ（複数トラック分のシーケンスデータ）、ＭＩＤＩミキサのデータ（複数チャンネル分のパラメータ）、ソフト音源のデータ（起動されたソフト音源のパラメータ）、ハード音源のデータ（音源ラックに登録されたハード音源のパラメータ）、ソフト効果器のデータ（起動されたソフト効果器のパラメータ）、ハード効果器のデータ（挿入されたハード効果器のパラメータ）、音源テーブル、効果器テーブル、音楽ＬＡＮのデータ、その他のデータに加え、上記シーケンスデータとＤＢ指定データから構成されるようになる。
【００８６】
この場合、ＤＡＷのアプリケーションによって提供される大量のオーディオデータを、上記シーケンスデータや素材データの元として使えるようになり、上記シーケンスプログラムの利用可能性を大きく高められるとともに、ＭＩＤＩシーケンサやオーディオデータの編集作業のひとつのツールとして上記シーケンスプログラムを利用することができる。
【００８７】
＜変形例＞
以上、本発明の実施形態について説明したが、本発明は以下のように、さまざまな態様で実施可能である。
［変形例１］
上述した実施形態において、ユーザによって入力された指示に応じて、アイコン配置領域ＳＴに表示されるアイコン画像が時間軸方向に伸縮可能に構成されてもよい。
【００８８】
図１６は、本発明の変形例１におけるシーケンスプログラム実行時の表示画面の表示例を説明する図である。表示制御部１１０は、表示画面１３１に表示されたアイコン画像の長さを、ユーザによって入力された指示に応じて時間軸に沿った方向に変化させる。例えば、図８に示すアイコン画像ｓ４を、図１６に示すアイコン画像ｓ４１のように、時間軸に沿った方向に伸長させる。この場合には、発音制御部１３０は、このアイコン画像ｓ４１に対応する素材データを出力部１４０から出力させるときに、アイコン画像ｓ４１の時間軸に沿った方向の長さに応じて、タイムストレッチ処理（素材データの波形を伸ばす処理）、ループ処理（素材データを繰り返して出力させる処理）などを施すことにより加工し、データ出力部１４０から楽音データとして出力させてもよい。この場合、シーケンス情報として発音終了のタイミング、ループ再生のフラグなど必要な情報が追加される。
なお、図８に示すアイコン画像は、すべて同じ大きさであり、本変形例での処理により時間軸に沿った方向に伸縮させていたが、伸縮させる前の状態であっても、そのアイコン画像に対応する特徴量情報に類似するものとして特定された素材データを再生したときの音長に応じた長さで表示されてもよい。
【００８９】
［変形例２］
上述した実施形態においては、アイコン配置領域ＳＴの縦軸は音量を示す座標軸（音量軸）であったが、例えば、ピッチ、音長などを示す座標軸（以下、指定座標軸という）としてもよい。すなわち、アイコン配置領域ＳＴは、素材データの音量以外の他の加工内容を指定する指定値を示す指定座標軸をもっていてもよい。ピッチを示す指定座標軸とした場合には、発音制御部１３０は、素材データのピッチを、アイコン画像の指定座標軸における位置に応じて変更してデータ出力部１４０から楽音データとして出力させればよい。音長を示す指定座標軸とした場合には、発音制御部１３０は、アイコン画像の指定座標軸に於ける位置に応じて、タイムストレッチ処理（素材データの波形を伸ばす処理）、ループ処理（素材データを繰り返して出力させる処理）などを施すことにより加工し、データ出力部１４０から楽音データとして出力させればよい。
また、指定座標軸によって指定される加工内容は、音量、ピッチなど複数種類にわたってもよく、この場合には、ユーザによって入力された指示に応じて、指定座標軸の種類を切り替えて、アイコン画像を配置可能なものとしてもよい。このように切り替え可能な指定座標軸をもつアイコン配置領域ＳＴにアイコン画像を配置させることにより、素材データを様々に加工してもよい。
【００９０】
［変形例３］
上述した実施形態においては、アイコン配置領域ＳＴの縦軸は素材データの加工内容を指定する指定座標軸であったが、特定部５１０において素材データを特定するための特定値を示す座標軸（以下、特定座標軸という）としてもよい。この場合には、特定部５１０は、素材データを特定するときに、アイコン画像の特定座標軸における位置に応じて特定すればよい。例えば、特定値が類似度に関するものであれば、アイコン配置領域ＳＴの上方にアイコン画像が位置するほど、特定部５１０において特定される素材データが類似度が低い（特徴量情報間のユークリッド距離が長い）ものが特定されるようにすればよい。
なお、類似度についてはユーザが指定するのではなく、例えば、ユーザが所定の操作（ランダムボタンの操作など）をすることにより、全てのアイコン画像または予め指定されたアイコン画像に対応する類似度が予め決められたアルゴリズム（例えばランダム）に従って指定されるようにしてもよい。
【００９１】
また、特定値の内容は複数種類にわたってもよく、この場合には、ユーザによって入力された指示に応じて、アイコン配置領域ＳＴにおける特定座標軸と変形例２における指定座標軸とを切り替えて、アイコン画像を配置可能なものとしてもよい。他の種類の例としては、例えば、アイコン画像に対応する特徴量情報を変化させて分類させるカテゴリを変化させるものであってもよい。
【００９２】
［変形例４］
上述した実施形態においては、類似音置換プログラムの実行により、表示画面１３１に表示される内容は、図１２に示す内容から図１３に示す内容に切り替わり、類似音として置換する素材データは、選択肢の中からユーザが選択していたが、図１７に示す内容での表示を行うことで、別の態様で置換する素材データを選択するようにしてもよい。図１７、図１８を用いて、この場合における表示画面１３１の表示内容および発音制御システム１の動作について説明する。
【００９３】
図１７は、本発明の変形例４における類似音置換プログラム実行時の素材データの置換対象を指定する画面を説明する図である。図１８は、本発明の変形例４における類似音置換プログラム実行時の発音制御システムの動作を説明する図である。図１８に示すステップＳ２１０からステップＳ２５０の処理までは、実施形態における処理と同様であるため、説明を省略する。
サーバ装置５０の制御部５１は、切出データから抽出した素材データを示す情報（切出データにおけるデータ範囲、特徴量情報）を抽出結果データとして、通信部５４から送信させる（ステップＳ３１０）。
【００９４】
情報処理端末１０において抽出結果データを受信すると、制御部１１は、表示画面１３１に表示される内容を図１７に示す内容に切り替える。この例においては、図１７に示すように、表示画面１３１には、切出データの波形ｗｄ３が表示され、また、抽出ウインドウｗｒ１、ｗｒ２、・・・が表示される。この抽出ウインドウが表示されている領域は、上述したアイコン配置領域ＳＴに相当し、横軸が時間軸に相当する。また、抽出ウインドウの各々は、抽出された素材データの特徴量情報が対応付けられたアイコン画像に相当する。
【００９５】
この例における抽出ウインドウｗｒ１、ｗｒ２、・・・は、特徴量情報が分類されたカテゴリに応じた色で表されている。ここでは、ウインドウ内部がカテゴリに応じた半透明の色で塗りつぶされ、上方の色が濃く、下方の色が薄くなるように決められている。以下の説明においては、抽出ウインドウｗｒ１を例として説明する。
抽出ウインドウｗｒ１の上部には、分類切替領域ｗｒｂが表示されている。分類切替領域ｗｒｂは複数の領域に分けられ、各領域には、分類対象となる全てのカテゴリに応じた色で塗りつぶされている。また、抽出ウインドウｗｒ１は、上下方向（縦軸）の位置が類似度と対応付けられ、上方ほど類似度が高くなるように決められている。すなわち、類似度と色の濃度とが相関を持っている。
【００９６】
分類切替領域ｗｒｂのいずれかの位置がユーザによって指定されると、制御部１１は、表示画面１３１の抽出ウインドウｗｒ１内の色を、指定された位置の領域の色に変更する。このとき、上方の色が濃く、下方の色が薄くなる態様であることは変化しない。これにより制御部１１は、色に応じたカテゴリを検索対象の分類として設定する。ユーザによるこの指定が行われなければ、抽出ウインドウｗｒ１に対応する素材データの特徴量情報が分類されているカテゴリがそのまま検索条件の分類として設定される。そして、抽出ウインドウｗｒ１の内部の位置がユーザによって指定されると、制御部１１は、縦軸における位置に応じた類似度を検索条件として設定する。このようにして、制御部１１は、分類と類似度とを検索条件として設定（ステップＳ３２０）する。
ユーザによって再生ボタンｂｐが操作されると、制御部１１は、検索条件を示す条件データを各ウインドウｗｒ１における素材データを識別する情報と対応付けて、通信部１４から送信させる（ステップＳ３３０）。
【００９７】
サーバ装置５０が条件データを受信すると、制御部５１は、実施形態におけるステップＳ２６０の処理と同様に、抽出した素材データの特徴量情報に類似する素材データを特定する（ステップＳ３４０）。ただし、この例においては、実施形態と異なり、制御部５１は、条件データに基づく制約のもと素材データを特定する。すなわち、検索対象は、特徴量ＤＢのうち条件データが示すカテゴリに分類された特徴量情報の素材データとする。また、ユークリッド距離が近いものから類似度に応じた順番の素材データを特定する。このとき、類似度が高いほどユークリッド距離が近い特徴量情報をもつ素材データが特定される。なお、上述したように、ＤＢ指定データが用いられている場合には、制御部５１は、素材データを特定するときの検索対象となる特徴量ＤＢの種類を、ＤＢ指定データに基づいて決定する。
制御部５１は、条件データに応じて素材データを特定すると、実施形態におけるステップＳ２７０の処理と同様に、特定した素材データ、および置換対象となる素材データを識別する情報を対応付けて、通信部５４から情報処理端末１０に送信させる（ステップＳ３５０）。
【００９８】
情報処理端末１０がこれらデータを受信すると、制御部１１は、抽出された素材データを特定された素材データと置換する（ステップＳ３６０）。ユーザが再生ボタンｂｐを操作することにより再生が指示されると（ステップＳ３７０）、制御部１１は、素材データが置換された切出データを再生して楽音データとして出力（ステップＳ３８０）し、スピーカ１６１から放音させる。
【００９９】
図１９は、図１７に示す画面の別の表示例を説明する図である。この表示例においては、ユーザによって指定された縦軸方向の位置（類似度）に横棒状のマーカｗｒｃを表示させている。これによってユーザは、どの程度の類似度が指定されているかの認識が容易となる。または、この表示例においては、波形ｗｄ３のうち抽出ウインドウｗｒ１に含まれる部分ｗｒａについては、置換対象の素材データの波形に置き換えて表示されている。他の抽出ウインドウｗｒ２、ｗｒ３、ｗｒ４についても同様である。
【０１００】
ここで、抽出ウインドウは、サーバ装置５０において抽出された素材データの部分を示しているが、ユーザが指定した領域（例えば、図１９に示す領域ｗｒｓ）をサーバ装置５０において抽出された素材データの部分として新たに追加してもよい。この場合には、情報処理端末１０からサーバ装置５０に領域ｗｒｓを示す情報を送信し、図１８のステップＳ２４０においてその領域ｗｒｓの波形が素材データとして抽出されたものとすればよい。このようにして、抽出ウインドウの数を増加させてもよい。また、ユーザが指定した抽出ウインドウを削除することができるようにしてもよい。
【０１０１】
なお、類似度についてはユーザが指定していたが、例えば、ユーザが所定の操作（ランダムボタンの操作など）をすることにより、全ての抽出ウインドウまたは予め指定された抽出ウインドウに対応する類似度が予め決められたアルゴリズム（例えばランダム）に従って指定されるようにしてもよい。
また、抽出ウインドウに含まれる部分とそれ以外の部分において再生するときの音量をそれぞれ調整できるようにしてもよい。この調整は、連続量で制御できるようにしてもよいし、オンオフできるか得られるようにしてもよい。また、抽出ウインドウ毎に調整できるようにしてもよい。このようにして、素材データ部分を際立たせたり目立たなくしたりした放音が可能となる。これらは、実施形態の図１３に示す表示がされているときにおいても適用可能である。
また、実施形態においても説明したように、ユーザが抽出ウインドウｗｒ１、ｗｒ２、・・・の時間軸方向の長さを調整して、抽出された素材データの開始時間または終了時間を調整可能としてもよい。
【０１０２】
［変形例５］
上述した実施形態において、図９に示すステップＳ１７０の処理、すなわち、シーケンスプログラムの実行時にデータ出力部１４０から出力される楽音データは、発音制御部１３０が、アイコン画像の時間軸における位置に応じたタイミングで素材データを出力することにより実現していたが、出力期間全体の発音内容を示すデータとして発音制御部１３０によって生成された後、データ出力部１４０から出力されるようにしてもよい。発音制御部１３０は、生成された楽音データを記憶部１５に出力して記憶させるようにしてもよい。また、楽音データとして記憶させる場合に限らず、シーケンスデータと素材データとの組み合わせなど、楽音データを生成するために必要な複数種類のデータで記憶させれるようにしてもよい。各種データを記憶させる指示については、ユーザによって入力されるようにすればよい。
【０１０３】
また、このような楽音データに基づく発音は、情報処理端末１０のスピーカ１６１から出力されていたが、情報処理端末１０に接続される外部のスピーカ装置から出力されるようにしてもよいし、サーバ装置５０から出力されるようにしてもよい。すなわち、発音制御部１３０は、音を出力する何らかの装置から発音されるように、楽音データを出力させるように、情報処理端末１０の構成のみならず接続される各構成を制御すればよい。
【０１０４】
［変形例６］
上述した実施形態においては、シーケンスプログラム実行時に表示画面１３１に表示されるアイコン画像、ＤＢ画像などはプログラム上において生成しているが、これらの画像は、予め記憶部１５、５５などに記憶されていてもよい。
【０１０５】
［変形例７］
上述した実施形態においては、アイコン配置領域ＳＴに表示されるアイコン画像に対応する特徴量情報の内容は、ユーザが入力した指示に応じて決定していたが、ユーザは、アイコン画像の絵柄（またはカテゴリ）を選択することにより、この絵柄に対応するカテゴリの予め決められた代表値を特徴量情報として決定するようにしてもよい。
【０１０６】
［変形例８］
上述した実施形態において、ＤＢ指定データの内容は、ユーザがＤＢ配置領域ＤＴにＤＢ画像を配置することにより決定されていたが、予め決められたアルゴリズムにしたがって、再生時刻範囲と特徴量ＤＢの種類との関係を、制御部１１が自動的に決定するようにしてもよい。
【０１０７】
［変形例９］
上述した実施形態において、ＤＢ指定データの内容として特徴量ＤＢの種類の指定がされていない再生時刻範囲が存在する場合には、指定されていない再生時刻範囲においては、予め決められた特徴量ＤＢの種類（全ての種類、一部の特定の種類など）が検索対象として指定されてもよいし、その範囲の直前に指定されていた種類を指定してもよい。
【０１０８】
［変形例１０］
上述した実施形態においては、発音制御システム１は、通信回線１０００を介して接続された情報処理端末１０とサーバ装置５０とにより構成されていたが、一体の装置として構成され、通信回線１０００を介していない構成としてもよい。また、別体の装置であっても、情報処理端末１０における各構成の一部がサーバ装置５０の構成に含まれていてもよいし、逆に、サーバ装置５０の各構成の一部が情報処理端末１０の構成に含まれていてもよい。また、情報処理端末１０の記憶部１５に記憶されている各種情報、およびサーバ装置５０の記憶部５５に記憶されている各種情報は、発音制御システム１全体としていずれかの記憶部において記憶されていればよく、情報処理端末１０およびサーバ装置５０以外に、これらの情報の全部または一部を記憶する記憶装置が通信回線１０００に接続されていてもよい。また、これらの情報は、通信回線１０００に接続可能な他の情報処理端末１０と共有することにより、他のユーザが使用できるようにしてもよい。
組み合わせとしては、例えば、特徴量ＤＢはサーバ装置５０の記憶部５５に記憶されている一方、情報処理端末１０において、記憶部１５に切出ＤＢが記憶され、特定部５１０の機能が実現されてもよい。さらには、検索プログラムおよび抽出プログラムの実行は情報処理端末１０で実行してもよいし、情報処理端末１０から得た情報をもとにサーバ装置５０で実行するようにしてもよい。
【０１０９】
また、専用特化したシーケンサのハードウェアで構成してもよい。上記のＤＡＷに適用した場合のＭＩＤＩシーケンサとの連携のみでよければ、上記シーケンスプログラム、テンプレートシーケンスプログラムをＭＩＤＩシーケンサに適用するようにしてもよい。
【０１１０】
ここで、情報処理端末１０とサーバ装置５０とが一体の装置として構成されている情報処理端末１０Ａとした場合について、図２０、図２１を用いて説明する。
【０１１１】
図２０は、本発明の変形例１０における情報処理端末１０Ａの構成を説明する図である。以下においては、実施形態における情報処理端末１０と異なる構成（制御部１１Ａ、記憶部１５Ａ）について説明し、同じ構成（符号が共通している構成）については、説明を省略する。
記憶部１５Ａは、実施形態における記憶部１５に記憶されていた内容に追加して記憶部５５に記憶されていた内容が追加されたものである。
制御部１１Ａは、実施形態における制御部１１および制御部５１において別々に実行されていたプログラムを、共に実行する。共に実行されるプログラム、例えば、シーケンスプログラムと検索プログラムとは、同じプログラムとして統合されて、記憶部１５Ａに記憶されていてもよい。
制御部１１Ａがシーケンスプログラムおよび検索プログラムを実行することにより実現される機能について、図２１を用いて説明する。
【０１１２】
図２１は、本発明の変形例１０における情報処理端末１０Ａの機能を説明する機能ブロック図である。図２１に示すように、変形例１０においては、実施形態において説明した図７に示す機能構成と異なる点は、発音制御部１３０Ａと特定部５１０Ａとが通信部を介さずに情報をやりとりする点である。この点以外については、実施形態において説明した内容と同様であるため、その説明を省略する。
【０１１３】
［変形例１１］
テンプレートシーケンスプログラムにおける、トラックの数は４つに限定されない。それよりも少なくてもよいし多くてもよい。さらには、トラックの概念をなくし、無制限（＝現実的にはシステムが許容できる最大量の）のトラック数にしてもよい。この場合、無数の特徴量データを時間軸に配置する形になり、それぞれ独立に類似音や特徴量パラメータ変更をすることができる。
【０１１４】
［変形例１２］
上述した実施形態においては、特徴量ＤＢのデータ範囲に応じて、適時切出ＤＢから素材データを取得しているが、あらかじめ切出し済みの区間の素材データだけを保持しておいても良い。その場合、特徴量ＤＢにデータ範囲の情報は不要である。
【０１１５】
［変形例１３］
上述した実施形態においては、抽出された素材データの特徴量情報に対して類似度の高い素材データを特徴量ＤＢを検索して特定する（ステップＳ２６０、図１０参照）ようにしているが、類似度の高さに閾値を持たせてもよい。この閾値は、あまりに類似するものが抽出されても、元の音との変わり映えがしなくなるために、ユークリッド距離が閾値に
応じた所定量以上の素材データを特定するためのものでもよいし、あまりにかけ離れたものを抽出しないようにするためにユークリッド距離が所定量以内のものとするようにしてもよい。また、前述の両方の閾値を用いてもよい。また、閾値は、ユーザが設定できるようにしてもよい。
【０１１６】
［変形例１４］
上述した実施形態および変形例４において、ユーザが抽出ウインドウの時間軸方向の長さを調整することができるようにしてもよいことを示したが、この調整において、より細かい調整が可能となるようにしてもよい。
【０１１７】
図２２は、本発明の変形例１４における類似音置換プログラム実行時の素材データの置換対象を指定する画面を説明する図である。図２２は、変形例４において説明した図１９において、ユーザが抽出ウインドウｗｒ３に対して所定の操作（ダブルクリック操作など）をしたときにの表示内容を示している。図２２に示すポップアップウインドウＰＷ１は、ユーザの操作に応じて表示され、その内容が抽出ウインドウｗｒ３に対応する波形を拡大したものとなっている。ユーザはポップアップウインドウＰＷ１において波形の範囲を変更することにより、時間軸方向の長さを調整することができる。このとき、波形が拡大表示されているため、その長さの調整を細かく行うことができる。
このようなポップアップウインドウを表示させて行う時間軸方向の調整は、実施形態における図８の表示においても行うことができるようにしてもよい。
【０１１８】
図２３は、本発明の変形例１４におけるシーケンスプログラム実行時の表示画面の表示例を説明する図である。図２３は、実施形態において説明した図８において、ユーザがアイコン画像ｓ３に対して所定の操作（ダブルクリック操作など）をしたときにの表示内容を示している。図２３に示すポップアップウインドウＰＷ２は、ユーザの操作に応じて表示され、その内容がアイコン画像ｓ３に対応する波形を拡大したものとなっている。ここで、アイコン画像ｓ３に対応する波形とは、再生時にアイコン画像ｓ３に対応して発音される音の波形である。ユーザはポップアップウインドウＰＷ２において波形の範囲を変更することにより、時間軸方向の長さを調整することができる。
【０１１９】
［変形例１５］
上述した実施形態において、ＤＢ配置領域ＤＴには、特徴量ＤＢの種類が対応付けられたＤＢ画像が表示されていたが、特徴量ＤＢの種類とその検索対象となる時刻の範囲とは別々に表示されていてもよい。
【０１２０】
図２４は、本発明の変形例１５におけるシーケンスプログラム実行時の表示画面の表示例を説明する図である。この例においては、ＤＢ配置領域ＤＴは、指定される特徴量ＤＢが各行に分割されて表示される。各行には、指定された特徴量ＤＢが検索対象となる時刻の範囲を示すＤＢ期間指定画像ｄ１ａ、ｄ２ａ、・・・が配置される。ＤＢ配置領域ＤＴの左側には、各行に対応した特徴量ＤＢの種類を指定するためのＤＢ種類指定領域ＤＭが表示されている。ユーザは、ポップアップメニューなどにより、各行に対応する特徴量ＤＢの種類を変更できるようになっている。
【０１２１】
図２４に示す例では、特徴量ＤＢａ、ＤＢｂ、ＤＢｃ指定され、例えば、特徴量ＤＢａについては、ＤＢ期間指定画像ｄ１ａが指定する時刻の範囲において検索対象となる。図２４における表示は、図８とは異なる表示であるが、特徴量ＤＢの種類およびその検索対象となる時刻の範囲は同じである。
なお、ＤＢ種類指定領域ＤＭの左側に表示されているチェックボックスＣＢにより、対応する行において指定された検索対象を有効とするか無効とするかを指定する事ができるようにしてもよい。このチェックボックスＣＢは、図８に示す表示において用いられてもよい。
【０１２２】
［変形例１６］
上述した実施形態において、図８に示す表示におけるアイコン画像は、ユーザの指示に応じて決定された特徴量情報に応じて配置されていた。ユーザが特徴量情報を指示するときに、所望の特徴量情報を特徴量ＤＢから検索するようにしてもよい。このときには、例えば、特開２０１１−１６３１７１号公報に開示された方法を用いればよい。また、このときの検索対象の特徴量ＤＢの種類については、図２４に示したチェックボックスＣＢにおいて指定された特徴量ＤＢとしてもよい。なお、ユーザがこのようにアイコン画像に対応する特徴量情報を指示する場合には、図８に示す表示の一部に、特徴量情報の指示をするための表示を行うようにすればよい。また、アイコン画像に対して所定の操作（ダブルクリック操作など）をしたときにポップアップウインドウなどを表示させて、そのアイコン画像に対応する特徴量情報を指示できるようにしてもよい。
【０１２３】
［変形例１７］
上述した実施形態での図８に示す表示において、特徴量ＤＢの種類、およびその検索対象となる時刻の範囲については、ユーザが指定していたが、例えば、ユーザが所定の操作（ランダムボタンの操作など）をすることにより、予め決められたアルゴリズム（例えばランダム）に従って指定されるようにしてもよい。また、図８に示すように予め特徴量ＤＢの種類、およびその検索対象となる時刻の範囲が決められている場合には、いずれかのＤＢ画像を指定して、指定されたＤＢ画像に対して予め決められたアルゴリズム（例えばランダム）に従って、特徴量ＤＢの種類、時刻の範囲が変更されるようにしてもよい。さらには、データベースのランダム選択で、ＤＢ配置領域ＤＴ自体をアクティブ（特徴量ＤＢを選択する機能が生きている状態）にして特徴量ＤＢを選択可能にしたり、非アクティブ（特徴量ＤＢを選択する機能が生きていない状態)にして特定の特徴量ＤＢのみを適用したりすることもランダムに行えるようにしてもよい。さらには、ＤＢ配置領域ＤＴにおいて選択されている特徴量ＤＢをアクティブ（選択されている特徴量ＤＢを検索対象とする状態）にしたり、非アクティブ（選択されている特徴量ＤＢを検索対象としない状態）にしたりすることもランダムに行えるようにしてもよい。このとき、アクティブな特徴量ＤＢに対応するＤＢ画像は色つきのままとして、非アクティブな特徴量ＤＢに対応するＤＢ画像はグレーアウトするなど、表示が変更されている特徴量ＤＢについてアクティブか非アクティブか認識できるようにするとよい。
【０１２４】
［変形例１８］
上述した実施形態での図８に示す表示において、アイコン画像に該当する音がない場合には、アイコン画像をグレーアウトさせてもよい。該当する音がないとは、例えば、そのアイコン画像に対応する時刻を範囲とする特徴量ＤＢ（検索対象となる特徴量ＤＢ）が決められていない場合、アイコン画像に対応する特徴量情報に基づいて特定部５１０により特定される素材データが存在しない場合などがある。特定部５１０により特定される素材データが存在しないとは、例えば、アイコン画像に対応する特徴量情報に最も類似する素材データが、しきい値として予め決められた類似度よりも類似していない場合、またカテゴリにより検索対象が絞り込まれる構成であるときに検索対象の特徴量ＤＢにそのカテゴリが含まれていない場合などがある。
【０１２５】
［変形例１９］
上述した実施形態における各プログラムは、磁気記録媒体（磁気テープ、磁気ディスクなど）、光記録媒体（光ディスクなど）、光磁気記録媒体、半導体メモリなどのコンピュータ読み取り可能な記録媒体に記憶した状態で提供し得る。また、情報処理端末１０またはサーバ装置５０は、各プログラムをネットワーク経由でダウンロードしてもよい。
【０１２６】
［変形例２０］
上述した実施形態におけるシーケンスプログラムで作成されるファイルとテンプレートシーケンスプログラムで作成されるファイルは、それぞれ別のファイルとして、不揮発性メモリに記憶されるようにしたが、ひとつの操作でシーケンスプログラムで作成されるファイルとテンプレートシーケンスで作成されるファイルを不揮発性メモリに記憶するようにしてもよい。そのとき、それぞれのファイルを拡張子を異ならせるなどして別ファイルとして、記憶するようにしてもよいし、ひとつのファイルにまとめて記憶するようにしてもよい。さらに、いずれのファイル名は、ユーザが指示する必要をなくし、曲名や日時等の情報から自動で指定されるようにしてもよい。
【符号の説明】
【０１２７】
１…発音制御システム、１０，１０Ａ…情報処理端末、１１，１１Ａ…制御部、１２…操作部、１２１…タッチセンサ、１２２…操作ボタン、１３…表示部、１３１…表示画面、１４…通信部、１５，１５Ａ…記憶部、１６…音響処理部、１６１…スピーカ、１６２…マイクロフォン、５０…サーバ装置、５１…制御部、５４…通信部、５５…記憶部、１００…筐体、１１０…表示制御部、１２０…設定部、１３０，１３０Ａ…発音制御部、１４０…データ出力部、５１０，５１０Ａ…特定部、１０００…通信回線
【技術分野】
【０００１】
本発明は、音素材を組み合わせて発音させる技術に関する。
【背景技術】
【０００２】
断片的な音素材をデータベースに記憶し、この音素材を組み合わせて楽音を発生させる技術がある。楽音を発生させるときに用いる音素材は、データベースに記憶された多数の音素材から選択することになる。この音素材の選択を容易にするために、データベースに記憶された音素材は、音楽的な特徴を示すカテゴリ毎に分類されている。特許文献１には、楽曲の波形から音素材を抽出するとともに、各カテゴリに分類してデータベースに記憶させる技術が開示されている。
【先行技術文献】
【特許文献】
【０００３】
【特許文献１】特開２０１０−１９１３３７号公報
【発明の概要】
【発明が解決しようとする課題】
【０００４】
データベースに記憶された音素材を用いて楽音を発生させるときの発音内容は、ユーザなどによって予め決定され、例えば、発音させる音素材と、その発音タイミングを規定することにより決定される。そのため、ユーザは、音素材と発音タイミングとの組み合わせを、発音したい音の数だけ決定する必要がある。したがって、この組み合わせを多数設定して作成される楽曲が長くなるほど、ユーザの作業量が増えてしまうことになる。
【０００５】
長い楽曲においては一定期間の発音内容を繰り返して発音させる部分がある場合もある。このような場合には、ユーザは、その一定期間における音素材と発音タイミングとの組み合わせを複製して他の期間にも適用することにより、作業を簡略化することがある。しかしながら、単なる複製であることから楽曲の内容は単調なものとなる場合がある。
そのため、ユーザは、楽曲の進行の流れを大きく変化させずに複製部分の楽曲の印象を変化させることを試みる場合がある。この場合には、ユーザは、発音タイミングの変更をせずに、発音させる音素材の種類を変更することになるが、変更対象の全ての音素材の種類をそれぞれ変更する必要があるため、結果的には、作業の簡略化にはつながらなかった。
【０００６】
本発明は、上述の事情に鑑みてなされたものであり、音素材を組み合わせた楽曲について、一定期間の楽曲の印象を容易に変更可能にすることを目的とする。
【課題を解決するための手段】
【０００７】
上述の課題を解決するため、本発明は、時間軸が規定された配置領域を表示画面に表示させ、音素材の波形を示す素材データの特徴量を示す特徴量情報が対応付けられたアイコン画像を、入力される指示に応じて当該配置領域に表示させる表示制御手段と、素材データと当該素材データの前記特徴量情報とを対応付けたデータベースの種類を、入力される指示に応じて前記配置領域の時間軸に沿って設定するデータベース設定手段と、前記アイコン画像が表示された位置と前記時間軸において対応関係にあるデータベースを参照して前記アイコン画像と前記特徴量情報が特定の関係となる素材データを特定する特定手段に当該素材データを特定させ、当該アイコン画像の前記時間軸における位置に応じたタイミングおよび当該素材データに応じた発音内容を示す楽音データを出力する出力手段に当該楽音データを出力させる発音制御手段とを具備することを特徴とする発音制御装置を提供する。
【０００８】
また、別の好ましい態様において、前記配置領域は、前記素材データの加工内容を指定する指定値を示す指定座標軸がさらに規定され、前記発音制御手段は、前記アイコン画像の前記指定座標軸における位置に応じて、当該アイコン画像から前記特定された素材データに応じた発音内容が変化するように制御することを特徴とする。
【０００９】
また、別の好ましい態様において、前記配置領域は、前記素材データを特定するための特定値を示す特定座標軸がさらに規定され、前記特定の関係は、前記アイコン画像の前記特定座標軸における位置に基づいて決定されることを特徴とする。
【００１０】
また、別の好ましい態様において、前前記アイコン画像は、当該アイコン画像に対応付けられた特徴量情報に応じた絵柄の画像であることを特徴とする。
【００１１】
また、別の好ましい態様において、前記配置領域は、前記特徴量情報を規定するための特徴量規定軸がさらに規定され、前記表示制御手段は、前記配置領域のうち、前記アイコン画像に対応付けられた特徴量情報に対応する前記特徴量規定軸の位置に、当該アイコン画像を表示させることを特徴とする。
【００１２】
また、別の好ましい態様において、前記表示制御手段は、入力される指示に応じて、前記配置領域に表示された前記アイコン画像の前記時間軸に沿った方向の長さを変更し、前記発音制御手段は、前記アイコン画像の長さに応じて、当該アイコン画像から前記特定された素材データに応じた発音内容が変化するように制御することを特徴とする。
【００１３】
また、別の好ましい態様において、前記アイコン画像は、前記特徴量情報が示す特徴量に応じて変化することを特徴とする。
【００１４】
また、本発明は、上記記載の発音制御装置から、前記アイコン画像が表示された位置と前記時間軸において対応関係にあるデータベースの種類を示す種類情報および当該アイコン画像に対応付けられた特徴量情報を取得する取得手段と、複数種類の前記データベースのうち、前記種類情報が示す種類のデータベースを参照して、当該種類情報とともに取得した前記特徴量情報と特定の関係となる素材データを特定する特定手段と、前記特定された素材データを前記発音制御装置に出力する出力手段とを具備することを特徴とする特定装置を提供する。
【００１５】
また、本発明は、上記記載の発音制御装置と、上記記載の特定装置とを具備することを特徴とする発音制御システムを提供する。
【００１６】
また、本発明は、コンピュータを、時間軸が規定された配置領域を表示画面に表示させ、音素材の波形を示す素材データの特徴量を示す特徴量情報が対応付けられたアイコン画像を、入力される指示に応じて当該配置領域に表示させる表示制御手段と、素材データと当該素材データの前記特徴量情報とを対応付けたデータベースの種類を、入力される指示に応じて前記配置領域の時間軸に沿って設定するデータベース設定手段と、前記アイコン画像が表示された位置と前記時間軸において対応関係にあるデータベースを参照して前記アイコン画像と前記特徴量情報が特定の関係となる素材データを特定する特定手段に当該素材データを特定させ、当該アイコン画像の前記時間軸における位置に応じたタイミングおよび当該素材データに応じた発音内容を示す楽音データを出力する出力手段に当該楽音データを出力させる発音制御手段として機能させるためのプログラムを提供する。
【００１７】
また、本発明は、コンピュータを、上記記載の発音制御装置から、前記アイコン画像が表示された位置と前記時間軸において対応関係にあるデータベースの種類を示す種類情報および当該アイコン画像に対応付けられた特徴量情報を取得する取得手段と、複数種類の前記データベースのうち、前記種類情報が示す種類のデータベースを参照して、当該種類情報とともに取得した前記特徴量情報と特定の関係となる素材データを特定する特定手段と、前記特定された素材データを前記発音制御装置に出力する出力手段として機能させるためのプログラムを提供する。
【００１８】
また、本発明は、時間軸が規定された配置領域を表示画面に表示させ、音素材の波形を示す素材データの特徴量を示す特徴量情報が対応付けられたアイコン画像を、入力される指示に応じて当該配置領域に表示させる表示制御手段、および素材データと当該素材データの前記特徴量情報とを対応付けたデータベースの種類を、入力される指示に応じて前記配置領域の時間軸に沿って設定するデータベース設定手段に対して、前記指示を入力するステップと、前記アイコン画像が表示された位置と前記時間軸において対応関係にあるデータベースを参照して前記アイコン画像と前記特徴量情報が特定の関係となる素材データを特定するステップと、前記アイコン画像の前記時間軸における位置に応じたタイミングおよび当該アイコン画像に対応して特定された前記素材データに応じた発音内容を示す楽音データを出力するステップとを備えることを特徴とする発音制御方法を提供する。
【発明の効果】
【００１９】
本発明によれば、音素材を組み合わせた楽曲について、一定期間の楽曲の印象を容易に変更可能にすることができる。
【図面の簡単な説明】
【００２０】
【図１】本発明の実施形態における発音制御システムの構成を説明するブロック図である。
【図２】本発明の実施形態におけるサーバ装置の構成を説明する図である。
【図３】本発明の実施形態における特徴量データベースの例を説明する図である。
【図４】本発明の実施形態における情報処理端末の構成を説明する図である。
【図５】本発明の実施形態における抽出データの例を説明する図である。
【図６】本発明の実施形態におけるシーケンスデータの例を説明する図である。
【図７】本発明の実施形態における情報処理端末およびサーバ装置の機能を説明する機能ブロック図である。
【図８】本発明の実施形態におけるシーケンスプログラム実行時の表示画面の表示例を説明する図である。
【図９】本発明の実施形態におけるシーケンスプログラム実行時の発音制御システムの動作を説明する図である。
【図１０】本発明の実施形態における類似音置換プログラム実行時の発音制御システムの動作を説明する図である。
【図１１】本発明の実施形態における類似音置換プログラム実行時の表示画面の表示例を説明する図である。
【図１２】本発明の実施形態における類似音置換プログラム実行時の素材データ範囲を設定する画面を説明する図である。
【図１３】本発明の実施形態における類似音置換プログラム実行時の素材データの置換態様を設定する画面を説明する図である。
【図１４】本発明の実施形態におけるテンプレートシーケンスプログラム実行時の表示画面を説明する図である。
【図１５】本発明の実施形態におけるテンプレートシーケンスプログラムで利用される、図１４に示すテンプレート２の内容を説明する図である。
【図１６】本発明の変形例１におけるシーケンスプログラム実行時の表示画面の表示例を説明する図である。
【図１７】本発明の変形例４における類似音置換プログラム実行時の素材データの置換対象を指定する画面を説明する図である。
【図１８】本発明の変形例４における類似音置換プログラム実行時の発音制御システムの動作を説明する図である。
【図１９】図１７に示す画面の別の表示例を説明する図である。
【図２０】本発明の変形例１０における情報処理端末の構成を説明する図である。
【図２１】本発明の変形例１０における情報処理端末の機能を説明する機能ブロック図である。
【図２２】本発明の変形例１４における類似音置換プログラム実行時の素材データの置換対象を指定する画面を説明する図である。
【図２３】本発明の変形例１４におけるシーケンスプログラム実行時の表示画面の表示例を説明する図である。
【図２４】本発明の変形例１５におけるシーケンスプログラム実行時の表示画面の表示例を説明する図である。
【発明を実施するための形態】
【００２１】
＜実施形態＞
［全体構成］
図１は、本発明の実施形態における発音制御システム１の構成を説明するブロック図である。発音制御システム１は、インターネットなどの通信回線１０００を介して接続される情報処理端末１０およびサーバ装置５０を有する。発音制御システム１は、楽曲の楽音を示す楽曲データなどの一部として抽出された音素材を用いて楽音を発生させるための制御を行う。この例においては、音素材の波形を示す素材データは、サーバ装置５０において記憶されている。
【００２２】
情報処理端末１０は、携帯電話、タブレット端末、ＰＤＡ（Personal Digital Assistant）などの情報処理端末である。図１に示すように、情報処理端末１０は、筐体１００の前面に、タッチセンサ１２１、操作ボタン１２２、および表示画面１３１を有する。タッチセンサ１２１は、表示画面１３１の前面に設けられ、表示画面１３１とともに、タッチパネルを構成している。ここで、ユーザが情報処理端末１０に対して入力する指示は、タッチセンサ１２１または操作ボタン１２２を操作することにより行うものとする。なお、操作ボタン１２２は、図１においては、１つのみであるが、複数であってもよいし、全く無くてもよい。
【００２３】
情報処理端末１０は、ユーザによって入力された指示に応じて、サーバ装置５０に記憶された素材データを組み合わせて発音させるためのシーケンスデータを生成する。また、情報処理端末１０は、シーケンスデータに基づいてサーバ装置５０から素材データを取得し、この素材データに基づいてスピーカ１６１（図４参照）から発音させる。以下、発音制御システム１における各構成について説明する。
【００２４】
［サーバ装置５０の構成］
図２は、本発明の実施形態におけるサーバ装置５０の構成を説明する図である。サーバ装置５０は、制御部５１、通信部５４および記憶部５５を有する。これらの各構成は、バスを介して接続されている。
【００２５】
制御部５１は、ＣＰＵ（Central Processing Unit）、ＲＡＭ（Random Access Memory）、ＲＯＭ（Read Only Memory）などを有する。制御部５１は、ＲＯＭまたは記憶部５５に記憶された各種プログラムを実行することにより、各種機能を実現する。この例においては、制御部５１は、情報処理端末１０からの指示により、検索プログラムまたは抽出プログラムを実行する。検索プログラムが実行されると、情報処理端末１０からの指示に応じて、記憶部５５の特徴量データベース（以下、特徴量ＤＢと記す）を検索して、特定した素材データを情報処理端末１０に送信する機能を実現する。抽出プログラムは、情報処理端末１０から送信された切出データから音素材となる素材データを抽出して記憶部５５に記憶する機能を実現する。これらの機能の詳細については、機能構成の説明において述べる。
【００２６】
通信部５４は、制御部５１の制御に応じて、通信回線１０００と接続して、情報処理端末１０などの通信装置と情報のやりとりを行う。制御部５１は、通信部５４を介して取得した情報を用いて、記憶部５５に記憶された情報を更新するようにしてもよい。また、通信部５４は、通信回線１０００を介した通信に限らず、有線または無線により外部装置と接続可能に構成されたインターフェイスを有していてもよい。
【００２７】
記憶部５５は、ハードディスク、不揮発性メモリなどであり、特徴量ＤＢ、切出データベース（以下、切出ＤＢと記す）をそれぞれ記憶する記憶領域の他、上述した検索プログラム、抽出プログラムなどの各種プログラムを記憶する記憶領域を有する。
切出ＤＢは、楽音波形を示す切出データを記憶するデータベースである。切出データは、その一部または全部が、音素材を示す素材データとして用いられるデータである。
特徴量ＤＢは、複数の特徴量ＤＢ（特徴量ＤＢａ、ＤＢｂ，・・・）から構成されている。以下、それぞれを特に区別せずに説明する場合には、特徴量ＤＢという。特徴量ＤＢについては、予め記憶部５５に記憶されているが、通信部５４を介して外部装置から取得することにより、新たな種類の特徴量ＤＢがさらに記憶されるようにしてもよい。
【００２８】
図３は、本発明の実施形態における特徴量ＤＢの例を説明する図である。特徴量ＤＢは、音素材を示す素材データを特定する素材特定情報、および素材データの特徴量を示す特徴量情報とが対応付けて記憶されたデータベースであり、各素材データには、特徴量情報の内容に応じて複数のカテゴリ（分類Ａ、分類Ｂ・・・）に分類されている。素材特定情報は、切出ＤＢに記憶された切出データを識別する情報と、切出データの一部または全部を指定するデータ範囲を示す情報とを合わせたものをいう。例えば、図３に示す例においては、素材データは、切出データＡにおけるデータの先頭を基準とした時刻ｔｓ１から時刻ｔｅ１までのデータ範囲に対応する。
【００２９】
特徴量情報は、素材データの複数種類の特徴量ｐ１、ｐ２、・・・を示す。素材データの特徴量とは、例えば、素材データが表す音素材について、周波数別（高域、中域、低域）のそれぞれの強度、振幅のピークとなる時刻（素材データの先頭を基準とした時刻）、振幅のピーク強度、協和度、複雑さなどについての特徴量であり、素材データを解析して得られた値である。例えば、特徴量ｐ１は、その値により音素材の高域の強度を示す。以下、特徴量情報Ｐは、その特徴量ｐ１、ｐ２、・・・のそれぞれの値の組み合わせによってＰａ、Ｐｂ、・・・というように示す。
特徴量情報の内容に応じて分類されるカテゴリは、聴感上の特徴が似た音素材ごとに分類されたものであり、例えば、アタックが明瞭でエッジ感が強い音として分類されるカテゴリ「分類Ａ（例えば、エッジ音）」、ノイズのように聞こえる音として分類されるカテゴリ「分類Ｂ（例えば、テクスチャ音）」などである。
図３に示す特徴量ＤＢにおいて、切出データＡの時刻ｔｓ１から時刻ｔｅ１のデータ範囲として特定される素材データは、特徴量Ｐａであり、分類Ａのカテゴリに分類されていることを示す。以上が、サーバ装置５０のハードウエア構成についての説明である。
【００３０】
［情報処理端末１０の構成］
図４は、本発明の実施形態における情報処理端末１０の構成を説明する図である。情報処理端末１０は、制御部１１、操作部１２、表示部１３、通信部１４、記憶部１５及び音響処理部１６を有する。これらの各構成は、バスを介して接続されている。また、情報処理端末１０は、音響処理部１６に接続されたスピーカ１６１およびマイクロフォン１６２を有する。
【００３１】
制御部１１は、ＣＰＵ、ＲＡＭ、ＲＯＭなどを有し、ＲＯＭまたは記憶部１５に記憶された各種プログラムを実行することにより、各種機能を実現する。この例においては、制御部１１は、ユーザから入力される指示に応じて、シーケンスプログラム、類似音置換プログラムまたはテンプレートシーケンスプログラムを実行する。シーケンスプログラムが実行されると、ユーザから入力される指示に応じて、素材データを組み合わせて発音させるためのシーケンスデータを生成し、サーバ装置５０において検索、特定させた素材データを取得してスピーカ１６１から発音させる機能を実現する。類似音置換プログラムは、予め用意した楽曲データなどを用いて、サーバ装置５０に音素材となる素材データを抽出させ、その素材データに特徴量情報が類似した素材データを取得し、楽曲データと置換してスピーカ１６１から発音させる機能を実現する。テンプレートシーケンスプログラムは、上記の抽出された素材データに特徴量情報が類似した素材データをテンプレートに従って発音させる機能を実現する。これらの機能の詳細については後述する。
【００３２】
操作部１２は、ユーザによる操作を受け付けるタッチセンサ１２１および操作ボタン１２２を有し、それぞれに受け付けられた操作の内容を示す操作情報を制御部１１に出力する。これにより、ユーザからの指示が情報処理端末１０に対して入力される。
表示部１３は、液晶ディスプレイなどの表示デバイスであり、制御部１１の制御に応じた内容の表示を表示画面１３１に行う。表示画面１３１に表示される内容は、メニュー画面、設定画面などの他、実行されたプログラムによって様々な内容となる（図８、図１１、図１２、図１３、図１４参照）。
【００３３】
通信部１４は、制御部１１の制御に応じて、通信回線１０００と接続して、サーバ装置５０などの通信装置と情報のやりとりを行う。制御部１１は、通信部１４を介して取得した情報を用いて、記憶部１５に記憶された情報を更新するようにしてもよい。また、通信部１４は、通信回線１０００を介した通信に限らず、有線または無線により外部装置と接続可能に構成されたインターフェイスを有していてもよい。
記憶部１５は、揮発性メモリの一時記憶領域と不揮発性メモリで構成され、一時記憶領域には、後述のプログラムで利用する楽曲データや実行するプログラムなどを一時保存する。不揮発性メモリには、楽曲データベース（以下、楽曲ＤＢと記す）、抽出データ、素材データベース（以下、素材ＤＢと記す）、シーケンスデータおよびテンプレートデータをそれぞれ記憶する記憶領域の他、上述したシーケンスプログラム、類似音置換プログラムおよびテンプレートシーケンスプログラムなどの各種プログラムを記憶する記憶領域を有する。不揮発性メモリに記憶されている各種データについては、予め記憶部１５に記憶されているが、通信部１４を介して外部装置から取得することにより、新たに追加して記憶されるようにしてもよい。また、後述するようにしてユーザによって作成された新たなシーケンスデータおよびテンプレートデータについても、記憶部１５に記憶されるようにしてもよい。
楽曲ＤＢは、様々な楽曲の音の波形を示す楽曲データ（楽曲データＡ、Ｂ、・・・）が記憶されたデータベースである。素材ＤＢは、サーバ装置５０における検索プログラムが実行され、サーバ装置５０から送信された置換用の素材データ（素材データＷ１、Ｗ２、・・・）が記憶されたデータベースである。
【００３４】
図５は、本発明の実施形態における抽出データの例を説明する図である。抽出データは、サーバ装置５０において楽曲データから抽出された素材データの部分を特定する素材特定情報、その素材データの特徴量情報、その特徴量情報に応じて決められた分類、および、その特徴量情報に類似するものとしてサーバ装置５０において特定された置換用の素材データを識別する情報とが対応付けられたデータである。ここでの素材特定情報は、上述の素材特定情報と同様に、楽曲データを識別する情報と、楽曲データの一部または全部を指定するデータ範囲を示す情報とを合わせた情報である。例えば、図５に示す抽出データの例においては、素材データは、楽曲データＡにおけるデータの先頭を基準とした時刻ｔｓ２から時刻ｔｅ２までのデータ範囲に対応し、その特徴量情報はＰｂであり、カテゴリは分類Ｂであり、置換用の素材データは、類似するものから順にＷ５、Ｗ１、Ｗ２、・・・であることを示している。
【００３５】
図６は、本発明の実施形態におけるシーケンスデータの例を説明する図である。シーケンスデータは、特徴量指定データ（図６（ａ））およびＤＢ指定データ（図６（ｂ））により構成される。特徴量指定データは、発音タイミングを示す再生時刻、そのタイミングに発音させたい素材データに相当する特徴量情報、および発音の音量が対応付けられている。図６（ａ）の例によれば、再生時刻「０００２：０１：０００」（第２小節第１拍に対応）においては、特徴量情報Ｐｂに基づく音を、音量「２０」で発音させることが示されている。なお、後述するように、発音される特徴量情報Ｐｂに基づく音は、特徴量情報Ｐｂの素材データが示す音素材とは限らず、類似する音のいずれかとなる。
ＤＢ指定データは、特徴量指定データによって示される特徴量情報を用いて、サーバ装置５０において素材データを特定するときの検索対象となる特徴量ＤＢの種類を再生時刻の範囲として設定されたデータである。図６（ｂ）の例によれば、再生時刻「０００１：０１：０００」から「０００１：０３：９５９」までは、検索対象となるデータベースは特徴量ＤＢａであることを示している。
なお、テンプレートデータについては後述する。
【００３６】
図４に戻って説明を続ける。マイクロフォン１６２は、ユーザによる発音が入力され、発音内容を示すオーディオ信号を音響処理部１６に出力する。スピーカ１６１は、音響処理部１６から出力されるオーディオ信号を放音する。音響処理部１６は、ＤＳＰ（Digital Signal Processor）などの信号処理回路などを有する。音響処理部１６は、マイクロフォン１６２から入力されるオーディオ信号をＡ／Ｄ変換（アナログデジタル変換）して制御部１１に出力する。音響処理部１６は、制御部１１から出力された楽音データを、制御部１１によって設定されたエフェクト処理、Ｄ／Ａ変換（デジタルアナログ変換）処理、増幅処理などの信号処理などを施して、オーディオ信号としてスピーカ１６１に出力する。以上が、情報処理端末１０のハードウエア構成についての説明である。
【００３７】
［機能構成］
次に、情報処理端末１０の制御部１１がシーケンスプログラムを実行し、それに伴いサーバ装置５０の制御部５１が検索プログラムを実行することによって実現される機能について説明する。なお、以下に説明する機能を実現する各構成の一部または全部については、ハードウエアによって実現してもよい。
【００３８】
図７は、本発明の実施形態における情報処理端末１０およびサーバ装置５０の機能を説明する機能ブロック図である。制御部１１がシーケンスプログラムを実行すると、表示制御部１１０、設定部１２０、発音制御部１３０およびデータ出力部１４０を構成する。この例においては情報処理端末１０は、表示制御部１１０、設定部１２０および発音制御部１３０が構成されることにより発音制御装置として機能する。また、制御部５１が検索プログラムを実行すると、特定部５１０を構成する。この例においてはサーバ装置５０は、特定部５１０が構成されることにより特定装置として機能する。
表示制御部１１０は、ユーザによって入力される指示に応じて、表示画面１３１の表示内容を制御する。この場合、表示画面１３１には、図８に示すような内容が表示される。
【００３９】
図８は、本発明の実施形態におけるシーケンスプログラム実行時の表示画面１３１の表示例を説明する図である。表示画面１３１には、大きく分けてアイコン配置領域ＳＴおよびＤＢ配置領域ＤＴが表示される。アイコン配置領域ＳＴおよびＤＢ配置領域ＤＴは、横軸を共通の時間軸として決められている。拍子線ＢＬは、１拍ごとの位置を示す補助線である。また、アイコン配置領域ＳＴは、縦軸が発音の音量を規定する音量軸である。なお、アイコン画像の位置に関係なく音量が規定されるものとすれば音量軸はなくてもよい。
【００４０】
アイコン画像ｓ１、ｓ２、・・・は、特徴量情報が対応付けられた画像である。アイコン画像ｓ１、ｓ２、・・・がアイコン配置領域ＳＴに配置されることにより、アイコン画像左端の時間軸に沿った方向の位置に応じて、それぞれ対応した特徴量情報に基づく音の発音タイミングが規定される。また、アイコン画像下端の音量軸に沿った方向の位置に応じて、その音量が規定される。アイコン画像ｓ１、ｓ２、・・・の絵柄の種類は、対応付けられた特徴量情報が分類されるカテゴリ（分類Ａ、Ｂ、・・・）ごとに異なるように決められている。例えば、アイコン画像ｓ１に対応する特徴量情報とアイコン画像ｓ２に対応する特徴量情報とは異なるカテゴリに分類されるものであり、アイコン画像ｓ２に対応する特徴量情報とアイコン画像ｓ４に対応する特徴量情報とは同じカテゴリに分類されるものである。なお、アイコン画像の絵柄は、カテゴリに応じて異なったものでなくてもよい。すなわち、全て同じ絵柄であってもよいし、別のパラメータに応じて異なる絵柄になるように制御されてもよい。
【００４１】
ＤＢ画像ｄ１、ｄ２、・・・は、特徴量ＤＢの種類が対応付けられた画像である。ＤＢ画像ｄ１、ｄ２、・・・が、ＤＢ配置領域ＤＴに配置され、ＤＢ画像の左端から右端の時間軸に沿った方向の位置に応じて、そのＤＢ画像に対応する特徴量ＤＢがサーバ装置５０における検索対象として適用される期間が規定される。例えば、特徴量ＤＢａは、時刻ｔ０から時刻ｔ２までが検索対象として適用され、特徴量ＤＢｃは、時刻ｔ１から時刻ｔ３までが検索対象として適用される。すなわち、時刻ｔ１から時刻ｔ２までは、特徴量ＤＢａと特徴量ＤＢｃとの双方が検索対象として適用される。
【００４２】
また、表示画面１３１には、再生テンポを設定するためのテンポ制御ボタンｂ１、アイコン配置領域のアイコン画像の配置態様に基づいて、シーケンスデータを楽音データに変換するための指示を行うための変換指示ボタンｂ２、変換により生成された楽音データを発音させるための再生指示ボタンｂ３が表示される。なお、作成したシーケンスデータを記憶部１５に記憶させるための保存ボタンなどが表示されていてもよい。
【００４３】
図７に戻って説明を続ける。設定部１２０は、ユーザによって入力された指示に応じて、時間軸に沿って特徴量ＤＢの種類を設定する。この例においては、設定部１２０は、設定内容を表示制御部１１０に出力して、図８に示すように表示画面にＤＢ画像を表示させる。なお、設定部１２０は、表示制御部１１０への出力をせずに、ＤＢ画像が表示画面１３１に表示されないようにしてもよい。この場合には、ＤＢ配置領域ＤＴは不要である。すなわち、特徴量ＤＢの種類がアイコン配置領域ＳＴと同じ時間軸に沿って設定されていれば、その設定内容が表示画面１３１に表示されていても表示されていなくてもよい。
【００４４】
表示制御部１１０および設定部１２０は、アイコン画像の配置態様、特徴量ＤＢの種類の設定態様に応じてシーケンスデータを生成する。ここで、表示制御部１１０は、シーケンスデータのうち、特徴量指定データを生成し、設定部１２０は、シーケンスデータのうちＤＢ指定データを生成する。シーケンスデータは、アイコン画像が配置されたり、特徴量ＤＢの設定が行われたりする度に内容が決定されるようにしてもよいし、変換指示ボタンｂ２が操作されたときに決定されるようにしてもよい。上述した保存ボタンが表示画面１３１に表示されている場合には、ユーザによって保存ボタンが操作が操作されると、ここで生成されたシーケンスデータが記憶部１５に保存される。
【００４５】
発音制御部１３０は、ユーザによって変換指示ボタンｂ２が操作されると、サーバ装置５０に対して、生成されたシーケンスデータの一部または全部を通信部１４を介して送信し、サーバ装置５０の制御部５１に検索プログラムを起動、実行させる。シーケンスデータの一部とは、少なくとも、特徴量情報と、その特徴量情報に対して時間軸において対応関係にある特徴量ＤＢの種類（種類情報）とを対応付けた部分のデータである。そして、発音制御部１３０は、サーバ装置５０から素材データを通信部１４を介して受信して、受信した素材データおよびシーケンスデータに基づいて、データ出力部１４０から楽音データを出力させる。具体的には、発音制御部１３０は、シーケンスデータの特徴量指定データを参照して、アイコン画像に対応する素材データを音量に応じてレベルを変化させる加工をし、再生時刻に応じたタイミングで楽音データとして出力させる。データ出力部１４０は、発音制御部１３０の制御に応じて楽音データを出力する。
【００４６】
特定部５１０は、発音制御部１３０から送信されたシーケンスデータに基づく情報を通信部５４を介して受信し、記憶部５５に記憶された特徴量ＤＢのうち、受信した情報が示す検索対象となる種類の特徴量ＤＢを検索し、シーケンスデータに含まれる各特徴量情報のそれぞれに対して、類似する特徴量情報をもつ素材データを特定する。この例においては、特定部５１０は、特徴量情報を複数の特徴量により構成されるベクトル量として取り扱い、検索対象となる種類の特徴量ＤＢを参照してユークリッド距離が最も短くなる特徴量情報をもつ素材データを特定する。
なお、類似度を判断するためのアルゴリズムについては、公知の他のアルゴリズムを用いてもよい。また、ユークリッド距離が最も短くなるものでなくてもよく、２番目、３番目に近いものを特定してもよい。このような特定を行うために必要な情報は、予めユーザなどにより設定されていればよい。また、特定される素材データは、シーケンスデータに含まれる特徴量情報に対して、特徴量情報が類似関係にあるものでなくてもよく、予め決められた特定の関係にあればよい。また、検索対象については、検索対象となる種類の特徴量ＤＢとするだけなく、さらに、カテゴリにより絞りこまれてもよい。この場合には、検索対象となるカテゴリは、例えばユーザによって指示されたものであってもよいし、シーケンスデータに含まれる特徴量情報と同じカテゴリまたは関連するカテゴリであってもよい。ここで、関連するカテゴリは、予め設定されたアルゴリズムに従って決められてもよいし、予め関連するカテゴリ同士が設定されていてもよい。
【００４７】
そして、特定部５１０は、特定した素材データを通信部５４を介して発音制御部１３０に送信する。なお、上述の通り、この例においては、通信部５４は、シーケンスデータに基づく情報を受信することにより取得する取得手段、および特定された素材データを送信することにより出力する出力手段として機能する。
以上が機能構成についての説明である。続いて、シーケンスプログラム実行時の発音制御システム１における動作について図９を用いて説明する。
【００４８】
［シーケンスプログラム実行時の動作］
図９は、本発明の実施形態におけるシーケンスプログラム実行時の発音制御システム１の動作を説明する図である。ここでは、情報処理端末１０は、ユーザからシーケンスプログラムの実行の指示が入力された後の処理を説明する。シーケンスプログラムが実行されると、表示画面１３１には、図８に示すように、アイコン配置領域ＳＴ、ＤＢ配置領域ＤＴなどの表示がなされる。この段階においては、アイコン画像およびＤＢ画像は表示されていないものとする。
【００４９】
ユーザは、特徴量情報の内容を決定する指示、決定した内容により決まる絵柄のアイコン画像をアイコン配置領域ＳＴに配置する指示、ＤＢ画像をＤＢ配置領域ＤＴに配置する指示を入力することにより、楽音を発生させるためのシーケンスを作成する（ステップＳ１１０）。その結果、表示画面１３１には、図８に示す内容で表示されたものとする。この状態で生成されているシーケンスデータは、例えば、図６に示す内容となる。この場合、アイコン画像ｓ３、ｓ４、ｓ５に対応する特徴量情報は、Ｐｃ、Ｐｄ、Ｐｅとなる。
【００５０】
ユーザは、変換指示ボタンｂ２を操作することにより変換指示（ステップＳ１２０）を入力すると、情報処理端末１０は、発音制御部１３０によりサーバ装置５０にシーケンスデータを送信する（ステップＳ１３０）。送信されるシーケンスデータは、上述したように、全ての情報でなくてもよく、特徴量情報と、その特徴量情報に対して時間軸において対応関係にある特徴量ＤＢの種類とを対応付けた部分を有したデータであればよい。
【００５１】
サーバ装置５０は、このデータを受信すると、検索プログラムを実行し、特定部５１０により特徴量ＤＢを検索して素材データを特定する（ステップＳ１４０）。例えば、アイコン画像ｓ３に対応する特徴量情報Ｐｃについては、時間軸において対応関係にある特徴量ＤＢの種類となる特徴量ＤＢｃを検索して、特徴量情報Ｐｃに類似する特徴量情報をもつ素材データを情報処理端末１０に送信する（ステップＳ１５０）。このとき、サーバ装置５０は、特定した素材データがどの特徴量情報に対応したものであるかが識別できるようにして送信する。
【００５２】
情報処理端末１０は、これらのデータを受信が完了するとその旨をユーザに通知する。ユーザは、再生指示ボタンｂ３を操作することにより再生指示を入力（ステップＳ１６０）すると、発音制御部１３０によりデータ出力部１４０を制御させる。発音制御部１３０は、シーケンスデータのうち特徴量指定データを参照して、受信した素材データの音量を調整して、対応する特徴量情報の再生時刻にしたがって楽音データとしてデータ出力部１４０から出力（ステップＳ１７０）させ、スピーカ１６１から発音させる。
【００５３】
このようにして、ユーザが作成したシーケンスにしたがって、情報処理端末１０から楽音データが出力される。ここで、検索対象となる特徴量ＤＢの種類は、ＤＢ指定データによって規定されている。したがって、ユーザは、ＤＢ指定データを変更するだけで検索対象となる特徴量ＤＢの種類が変更されるから、特徴量指定データの内容が変更されていなくても、特定部５１０において特定される素材データも変化する。したがって、ユーザの再生指示により発音される内容も変化することになる。このとき、素材データは変化したとしても、特徴量情報が変わるわけではないから、素材データの音が全く違うものに変化せず、大体の場合は同じカテゴリに分類されているものから特定される。したがって、特徴量ＤＢの種類が、例えば、楽曲のジャンル（ジャズ、ロックなど）に応じたものとなっている場合には、ユーザはＤＢ指定データを変更するだけでも、同じような発音内容（楽音のパターンなど）を維持したまま、ジャズであったりロックであったりと印象を変更することができる。
続いて、類似音置換プログラム実行時の発音制御システム１における動作について図１０を用いて説明する。
【００５４】
［類似音置換プログラム実行時の動作］
図１０は、本発明の実施形態における類似音置換プログラム実行時の発音制御システム１の動作を説明する図である。ここでは、情報処理端末１０は、ユーザから類似音置換プログラムの実行の指示が入力された後の処理を説明する。類似音置換プログラムが実行されると、表示画面１３１には、サーバ装置５０に送信して素材データを抽出させる対象となる切出データを含む楽音データを決定するための表示として、図１１に示す内容の表示がなされる。制御部１１は、ユーザによって入力された指示に応じて、楽音データを決定する（ステップＳ２１０）。
【００５５】
図１１は、本発明の実施形態における類似音置換プログラム実行時の表示画面の表示例を説明する図である。制御部１１は、類似音置換プログラムを実行すると、表示画面１３１に、楽音データを、録音して入力するか、記憶部１５の楽曲ＤＢに予め記憶されている楽曲データから選択するかを決定するための画面を表示させる。この例において、表示画面１３１には、図１１（ａ）に示すように、録音して入力する指示をするための録音選択ボタンｂｓ１と、楽曲データから選択する指示をするための楽曲データ選択ボタンｂｓ２とが表示される。
【００５６】
ユーザが楽曲データ選択ボタンｂｓ２を操作すると、制御部１１は、楽曲ＤＢに記憶された楽曲データのリストを表示画面１３１に表示させる（図示略）。そして、ユーザによってこのリストから１つの楽曲データを選択する指示が入力されると、制御部１１は、選択された楽曲データを楽音データとして決定する（ステップＳ２１０、図１０参照）。
一方、ユーザが録音選択ボタンｂｓ１を操作すると、制御部１１は、表示画面１３１に表示される内容を図１１（ｂ）に示す内容に切り替える。このとき表示画面１３１には、録音を開始させる指示をユーザから受け付けるための録音開始ボタンｂｒｓ、録音の開始から経過した時間を示す録音時間表示バーｓｂ、１つ前の画面（この場合においては、図１１（ａ）に示す表示画面）に戻る指示をユーザから受け付けるための戻りボタンｂｒ、および録音した内容を楽音データとして決定する指示をユーザから受け付けるための決定ボタンｂｆが表示される。
【００５７】
ユーザが録音開始ボタンｂｒｓを操作すると、制御部１１は、表示画面１３１に表示される内容を図１１（ｃ）に示す内容に切り替え、マイクロフォン１６２から入力された音を示すデータを蓄積する。このとき表示画面１３１には、図１１（ｂ）に示す表示内容から、録音開始ボタンｂｒｓが録音を停止させる指示をユーザから受け付けるための録音停止ボタンｂｒｅに変更され、また、録音時間表示バーｓｂに録音時間に応じた経過表示バーｓｂｔを表示させる。
ユーザは、この状態において楽音データとしたい音をマイクロフォン１６２から入力する。音の入力が終了し、ユーザが録音停止ボタンｂｒｅを操作すると、制御部１１は、マイクロフォン１６２から入力される音を示すデータの蓄積を終了し、表示画面１３１の表示を図１１（ｂ）に示す内容に切り替える。
【００５８】
ユーザが録音開始ボタンｂｒｓを再度操作した場合には、制御部１１は、再びに録音を開始して、すでに蓄積されたデータを破棄して新たにデータの蓄積を開始してもよいし、破棄せず新たなデータを追加するようにしてもよい。一方、ユーザが決定ボタンｂｆを操作した場合には、録音によって蓄積されたデータを楽音データとして決定する（ステップＳ２１０、図１０参照）。
このように、制御部１１は、楽曲データまたは録音によって蓄積されたデータを楽音データとして決定する（ステップＳ２１０）と表示画面１３１に表示される内容を、図１２に示す内容に切り替える。
【００５９】
図１２は、本発明の実施形態における類似音置換プログラム実行時の素材データ範囲を設定する画面を説明する図である。表示画面１３１には、決定された楽音データの波形ｗｄ１および波形ｗｄ１の一部を拡大表示した波形ｗｄ２が表示されている。また、表示画面１３１には、波形ｗｄ１のうち波形ｗｄ２の表示範囲を規定するための表示範囲ウインドウｗｓが表示される。ユーザは表示範囲ウインドウｗｓの位置および範囲を変更する指示を入力すると、制御部１１は、表示範囲ウインドウｗｓの位置および範囲を変更し、その変更内容に応じて波形ｗｄ２の表示も変更する。
【００６０】
表示画面１３１には、決定した楽音データのうち、サーバ装置５０に送信するデータ範囲ｔｗ（切出データ）を指定するための範囲指定矢印（開始指定矢印ａｓおよび終了指定矢印ａｅ）が表示される。ユーザが範囲指定矢印の位置を指定すると、その間がデータ範囲ｔｗとして指定される。時間表示ｔｗｃは、データ範囲ｔｗの時間を示す表示である。範囲の指定方法は、上記に限らず、拍数や時間をなんらかの入力手段で数値入力しても良い。
表示画面１３１には、指定されたデータ範囲ｔｗを設定するための設定ボタンｂｋ、１つ前の画面に戻る指示をユーザから受け付けるための戻りボタンｂｒ、指定されたデータ範囲ｔｗの楽音データを再生してスピーカ１６１から出力させる指示をユーザから受け付けるための再生ボタンｂｐが表示される。位置の指定方法は、例えば表示画面１３１上でそれぞれの範囲指定矢印を二本の指でタッチしながら広げたり狭めたりスライドさせることによる。指定範囲矢印は、波形ｗｄ２に重ねるように表示し、その位置は波形ｗｄ２の中心線上でも良いし、中心線近辺でも良い。波形表示に重ねることで直感的に開始指定点と終了指定点がわかるので、指定範囲矢印は、特に矢印の形状を形成したアイコンでなくても良く、タッチする箇所を視覚的に誘導可能なアイコンであればよい。指定範囲矢印は、波形の開始指定点と終了指定点が認識し易いように、その一部を透かしても良いし、半透明であっても良い。
【００６１】
ユーザがデータ範囲ｔｗを指定してから再生ボタンｂｐを操作すると、制御部１１は、楽音データのうち、データ範囲ｔｗの部分のみ、再生してスピーカ１６１から出力させる。ユーザがデータ範囲ｔｗを指定してから設定ボタンｂｋを操作すると、制御部１１は、サーバ装置５０において素材データを抽出させる対象として、このデータ範囲ｔｗを設定し（ステップＳ２２０、図１０）、通信部１４からデータ範囲ｔｗの楽音データである切出データを送信させる（ステップＳ２３０）。
【００６２】
なお、シーケンスプログラムの実行のときに用いられたＤＢ指定データが、類似音置換プログラムにおいても用いられてもよい。この場合には、ＤＢ指定データについてもサーバ５０に送信される。
【００６３】
サーバ装置５０が切出データを受信すると、制御部５１は、抽出プログラムを実行し、データ範囲ｔｗの楽音データから素材データを抽出する（ステップＳ２４０）。この抽出方法としては、例えば、切出データから音量変化が一定以上の変化をするオンセットを検出し、オンセットから予め決められた時間の範囲のうち、特定の条件を満たす特徴量をもつ部分を素材データとして抽出する方法がある。楽音を示す切出データから素材データを抽出する方法については、公知の方法のいずれも用いることが可能であるが、例えば、特開２０１０−１９１３３７号公報に開示された方法を用いればよい。
【００６４】
続いて、制御部５１は、抽出した素材データに関連するデータを記憶部５５に登録する（ステップＳ２５０）。具体的には、制御部５１は、受信した切出データを切出ＤＢに登録し、特徴量ＤＢにデータ範囲、特徴量情報およびその分類を登録する。このとき、どの種類の特徴量ＤＢに登録するか（単数、複数を含む）については、予めユーザによって指定されていてもよいし、切出データが楽曲データの一部であり、楽曲データに対応するジャンルが取得可能な場合には、その楽曲データのジャンルに対応させてもよい。
なお、ステップＳ２６０における素材データの登録については、存在しなくてもよいし、登録を行うか否かを、ユーザが予め指定してもよい。
【００６５】
続いて、制御部５１は、検索プログラムを実行し、切出データから抽出した各素材データの特徴量情報に類似する素材データを特定する（ステップＳ２６０）。この例においては、制御部５１は、抽出した素材データの各々について、特徴量を算出し、特徴量情報が類似する５つの素材データを特徴量ＤＢから検索して特定する。この特定方法は、上述した特定部５１０における方法と同様にすればよい。すなわち、制御部５１は、各素材データについて、特徴量情報のユークリッド距離が近いものから５つの特徴量情報をもつ素材データを特定すればよい。なお、ステップＳ２５０において登録した情報は検索範囲から除外する。
制御部５１は、抽出した各素材データに類似する５つの素材データを特定すると、これらの素材データを通信部５４から情報処理端末１０に送信させ、また、図５に示すような抽出データを構成するための情報、すなわち、切出データのうち、素材データとして抽出した部分とその特徴量情報、類似する素材データ（置換用の素材データ）を識別する情報などを、通信部５４から送信させる（ステップＳ２７０）。
【００６６】
なお、制御部５１は、情報処理端末１０からＤＢ指定データが送信されている場合には、シーケンスプログラム実行に伴ってサーバ装置５０において実行された検索プログラムと同様に、素材データを特定するときの検索対象となる特徴量ＤＢの種類を、ＤＢ指定データに基づいて決定する。このとき、抽出された素材データの切出データにおけるデータ位置に基づいて、特徴量ＤＢの種類が決められるようになっていればよい。例えば、ＤＢ指定データにおける再生時刻範囲については、切出データのデータ位置を示す情報を用いて、その範囲が指定されていればよい。
【００６７】
情報処理端末１０がこれらの情報を受信すると、制御部１１は、抽出データを記憶部１５の一時記憶領域に記憶させ、表示画面１３１に表示される内容を、図１３に示す内容とする。なお、制御部１１は、サーバ装置５０での処理が行われている間、すなわち、ステップＳ２３０からステップＳ２７０の処理の間には、表示画面１３１を別の内容（「データ送信中」、「データ処理中」の表示など）にしてもよい。
【００６８】
図１３は、本発明の実施形態における類似音置換プログラム実行時の素材データの置換態様を設定する画面を説明する図である。表示画面１３１には、図１３に示すように、切出データの波形を示す波形ｗｄ３、素材データとして抽出された部分を示す抽出ウインドウｗｋ１、ｗｋ２、・・・が表示される。また、表示画面１３１には、波形ｗｄ３の下部に、抽出ウインドウｗｋ１、ｗｋ２、・・・に対応したアイコン列ｂｋ１、ｂｋ２、・・・が表示される。これらが表示される領域は、上述したアイコン配置領域ＳＴに相当する。横軸方向は、波形ｗｄ３における抽出された素材データの位置関係に対応しているため、アイコン配置領域ＳＴと同様に時間軸に相当する。ただし、図８に示す例とは異なり、一定の時刻が経過すると時間軸方向に一定量進むという関係にはなっていない。すなわち、一定の時刻が経過すると時間軸方向に一定量進むという波形ｗｄ３における時間軸が、適宜伸縮され、その結果として素材データが時系列に沿って並ぶように表示されている。このように、アイコン配置領域ＳＴに相当する部分については、時間軸が適宜伸縮されて表示される場合もある。
なお、ＤＢ指定データが用いられる場合には、ＤＢ配置領域ＤＴに相当する領域が、表示画面１３１に表示されるようにしてもよいし、表示されなくてもよい。
【００６９】
これらのアイコン列ｂｋ１、ｂｋ２・・・は、それぞれ素材データの特徴量情報により分類されるカテゴリに応じた絵柄の画像となっている。すなわち、この画像は、特徴量情報が対応付けられたアイコン画像に相当する。絵柄は、図１３に示すもの以外であっても良いが、視覚的にカテゴリ毎の判別が明確にできる絵柄が好ましい。この例においては、抽出ウインドウｗｋ１に対応する素材データと抽出ウインドウｗｋ４に対応する素材データとが同じカテゴリに分類され、抽出ウインドウｗｋ２に対応する素材データと抽出ウインドウｗｋ３に対応する素材データとが同じカテゴリに分類されている。
【００７０】
また、アイコン列ｂｋ１、ｂｋ２、・・・は、それぞれ、抽出された素材データを示すアイコン画像が並ぶ元音素材行ｂｋｉと、素材データに類似し、置換対象となる素材データを示すアイコン画像が並ぶ類似音素材行ｂｋｒとを有する。この例においては、類似音素材行ｂｋｒのアイコン画像は、対応する素材データと類似しているほど上に表示（後述する変形例３に記載する特定座標軸に相当）され、かつ色が濃く表示されている。類似音素材行ｂｋｒにおけるアイコン画像の行数は、図１３に示す数に限らず、任意に設定可能である。また、アイコン画像における類似程度の表示方法は、色の明度の濃淡に限らず、色相の変化、画像の大きさの変化等視覚的に判別が明確にできるものであれば良い。また、抽出された素材データと置換させる対象となる素材データを特定するためのカーソルｃｋがアイコン列ｂｋ１、ｂｋ２、・・・の各列に表示される。したがって、抽出された素材データの数に応じてアイコン列の数が変わる。アイコン列を構成するアイコン１つずつの表示の大きさは、表示画面を最大アイコン列で割り振っておいて、アイコン列が少ない場合は表示しない部分を残しても良いし、その都度表示するアイコン列数により表示画面を割り振って、１つずつの表示の大きさを変えて、全体で画面いっぱいになるように表示しても良い。
【００７１】
ユーザが図１３に示すようにアイコン列ｂｋ１、ｂｋ２、・・・の各列におけるカーソルｃｋの位置を操作するなどして、位置を特定する指示を入力すると、制御部１１は、抽出された素材データを、カーソルｃｋの位置に応じた置換用の素材データと置換するように設定する（ステップＳ２８０）。
ユーザが再生ボタンｂｐを操作することにより再生が指示されると（ステップＳ２９０）、制御部１１は、切出データのうち、設定された内容に応じて、抽出された素材データを置換用の素材データに置換して再生して楽音データとして出力（ステップＳ３００）し、スピーカ１６１から放音させる。そして、ユーザにより入力された指示により、ファイル名を指定して、置換したデータを示す情報を記憶部１５の不揮発性メモリに記憶する。この情報は、波形を示すデータであってもよいし、抽出データにおいて、選択された置換用の素材データを特定する情報を追加したものであってもよい。記憶されたファイルは、ファイル名を指定して、情報処理端末１０単体で読み出し可能となる。
【００７２】
なお、ユーザが抽出ウインドウｗｋ１、ｗｋ２、・・・の時間軸方向の長さを調整して、抽出された素材データの開始時間または終了時間を調整可能としてもよい。このようにして調整された場合には、情報処理端末１０は、サーバ装置５０に対して、変更内容を示す情報を送信し、サーバ装置５０の制御部５１は、抽出された素材データが変更されたものとして、ステップＳ２５０からの処理を行うようにすればよい。
以上が類似音置換プログラム実行時の動作についての説明である。
【００７３】
［テンプレートシーケンスプログラム実行時の動作］
図１４は、テンプレートシーケンスプログラム実行時の表示画面を説明する図である。テンプレートシーケンスプログラムは、予め複数（例えば、１６個）のテンプレートを用意しておき、そのテンプレートによって規定される発音タイミングで、素材データを発音させるプログラムである。
テンプレートシーケンスプログラムを実行するには、上述の素材データの置換態様を設定する画面（図１３）においてテンプレートシーケンスプログラムへの移行指示の操作を受け付けるための移行指示ボタンｂｔｓをユーザが操作して行う。図１４の上部にある波形領域は、素材データの置換態様を設定する画面で表示された波形ｗｄ３が示され、下部にあるトラック領域ＴＴには、複数（図１３の例では４つ）のトラックが表示される。個のトラック領域ＴＴは、上述したアイコン配置領域ＳＴに相当する。なお、トラックは上から順に、第１〜第４トラック（図１３におけるｔｂ１〜ｔｂ４に対応）と呼ぶ。トラックｔｂ１、ｔｂ２、ｔｂ３、ｔｂ４のそれぞれは、抽出ウインドウｗｋ１、ｗｋ２、ｗｋ３、ｗｋ４のいずれかに対応して設けられている。この例においては、抽出ウインドウｗｋ１、ｗｋ２、ｗｋ３、ｗｋ４に示されるａ〜ｄは、トラック領域ＴＴの各トラックｔｂ１，ｔｂ２、ｔｂ３、ｔｂ４の左側に示されるａ〜ｄに対応しており、波形領域のどの部分のデータとトラックの類似音が対応しているかがわかるようになっている。
【００７４】
各トラックは、１小節１６拍分の個々の発音タイミングを画面横方向に示しており、左端のアイコンから順に１拍づつ進んだ発音タイミングとなる。すなわち、横軸方向は、アイコン配置領域ＳＴと同様に時間軸に相当する。各発音タイミングは、四角形のアイコン画像で示されている。アイコン画像のうち、明るい表示（図１３においては太枠表示）となっているアイコン画像（以下、発音アイコン画像ｔｂｓという）は、発音タイミングを示し、枠内に表示されている数値が選択している類似音の種類（上述の置換用の素材データの種類に対応）を示している。例えば、「１」、「２」、・・・はそれぞれ類似度に応じて決められた置換用の素材データを示し、「０」は、波形ｗｄ３における抽出ウインドウに対応する素材データを示している。この発音アイコン画像ｔｂｓは、表示されているトラックにより、抽出された素材データの特徴量情報が対応付けられたアイコン画像に相当する。すなわち、画面縦軸方向に並ぶトラックは、特徴量情報を規定するための特徴量規定軸となる。一方、暗い表示（図１３においては細枠表示）となっているアイコン画像（以下、無音アイコン画像ｔｂｂという）は、発音しないタイミングを示している。
【００７５】
例えば、第１トラックｔｂ１においては、４拍目において抽出ウインドウｗｋ１に対応する素材データが発音され、６拍目において抽出ウインドウｗｋ１に対応する素材データに３番目に類似するものとして特定された素材データが発音され、１０拍目において抽出ウインドウｗｋ１に対応する素材データに１番目に類似するものとして特定された素材データが発音されることになる。
【００７６】
ユーザは、発音アイコン画像ｔｂｓをタッチして操作することにより発音アイコン画像ｔｂｓの数値を変更させて、対応する類似音の種類をサイクリックに選択できる。なお、図示の例は、１小節１６拍で示しているが、２拍子や３拍子、小節数も２小節や４小節など、自在に組んでよい。
また、テンプレートは、予めテンプレートシーケンスプログラムによって規定されているものとして説明しているが、ユーザが作ったり、既存のテンプレートを加工できるようにしてもよい。このようにして作成、加工したテンプレートは、上述したように、記憶部１５に記憶できるようにして、ユーザが後にテンプレートシーケンスプログラムを実行したときに、読み出して利用してもよい。また、拍数の合計値に応じて、トラック領域ＴＴに表示されるアイコン画像の数は増減させてもよいし、スクロールするようにして表示させてもよい。また、あらかじめ用意されたテンプレートだけでなく、新たにテンプレートを作成してもよい。この場合、ユーザは、特徴量情報を新たに設定し、その特徴量情報と類似する素材データを、上述したステップＳ２４０（図１０参照）で抽出された素材データの中から決定する。また、それぞれのトラックに付いて発音タイミングを任意に設定することができる。
【００７７】
左下のスライダｔｓは、演奏テンポを指定するもので、ユーザがスライドさせて希望するテンポを指定する。右下のボタンは、テンプレートを選択するテンプレートボタンｔｎであり、ユーザがテンプレートボタンｔｎをここをタッチして操作する度にテンプレートが１からサイクリックに変わって、テンプレートの種類を選択できる。図示の例ではテンプレート２が選択されている。
なお、上記の発音アイコン画像ｔｂｓに数値を表示させる代わりに発音アイコン画像ｔｂｓの色の明度あるいは濃度で表示したり、色の違いで表すようにしてもよい。また、トラックｔｂ１、ｔｂ２、ｔｂ３、ｔｂ４と抽出ウインドウｗｋ１、ｗｋ２、ｗｋ３、ｗｋ４関係についても同様にして、アルファベットによる表示以外に、色などにより対応関係がわかるようにしてもよい。
【００７８】
図１５は、本発明の実施形態におけるテンプレートシーケンスプログラムで利用される、図１４に示すテンプレート２の内容を示す。テンプレートには、それぞれのトラックに割当てられる素材データを選択するための特徴量情報を規定すると共に、それぞれのトラックにおける発音タイミングを規定する。特徴量情報は、図６の特徴量指定データにおける特徴量情報と同じ構成である。発音タイミングは、小節数とその小節内におけるタイミング（１拍が１２０）として指定される。例えば、図１５に示す発音タイミング「１：３６０」は、１小節目の３拍目であることを示している。なお、上述したように、ＤＢ指定データが用いられている場合には、再生時刻範囲については、テンプレートデータの発音タイミングの形式に合わせ、小節数とその小節内におけるタイミングを用いて、その範囲が指定されればよい。また、ＤＢ配置領域ＤＴに相当する領域が、表示画面１３１に表示されるようにしてもよいし、表示されなくてもよい。
【００７９】
テンプレートのそれぞれのトラックに対する素材データの割当ては、類似音置換プログラム実行時の切出データ送信の際に、各テンプレートの情報も合わせてサーバ装置５０に送り、サーバ装置５０で各テンプレートの特徴量情報に類似した素材データを割当てて、情報処理端末１０に抽出結果データとともに送るようにする。情報処理端末１０では、割当てテーブルでそれぞれのトラックと素材データの対応関係を割当てて一時記憶領域において記憶する。図１４に示す例では、第１トラックｔｂ１に抽出ウインドウｗｋ１に対応する素材データが、第２トラックｔｂ２に抽出ウインドウｗｋ１に対応する素材データが、第３トラックｔｂ３に抽出ウインドウｗｋ１に対応する素材データが、第４トラックｔｂ４に抽出ウインドウｗｋ１に対応する素材データがそれぞれ割当てられていることがわかる。
なお、１６個のテンプレートは、それぞれが特徴量と発音タイミングを異なるものとして使うのが一般的であるが、一部のテンプレートの間で、特徴量情報または発音タイミングのデータのどちらかを他のテンプレートと共通にして、サーバ装置５０と情報処理端末１０との間でやり取りするデータ量、サーバ装置５０における計算量を少なくするようにしてもよい。
【００８０】
表示画面１３１に図１４に示す内容の画面が表示されているときに、ユーザが再生ボタンｂｐを操作することにより再生が指示されると、制御部１１は、トラック領域ＴＴに表示された発音アイコン画像ｔｂｓの数値に応じて決められる素材データを、その発音アイコン画像ｔｂｓの位置に応じた発音タイミングで発音されるように再生して楽音データとして出力し、スピーカ１６１から放音させる。
そして、ユーザにより入力された指示により、ファイル名を指定してそれぞれのテンプレートと割当てテーブルのデータをひとつのファイルとして、記憶部１５の不揮発性メモリに記憶する。記憶されたファイルは、ファイル名で情報処理端末単体で読み出し可能となる。
【００８１】
［ＤＡＷへの適用例］
上述の実施形態では、情報処理端末１０は、タブレット端末、携帯電話、PADなどに適用した例として説明したが、他のひとつの例としては、情報処理端末１０において実現される各機能は、ＤＡＷ（Digital Audio Workstation）と呼ばれるアプリケーションソフトウェアをパソコン（パーソナルコンピュータ）ＰＣのＯＳ（Operating System）上で起動させることにより実現することができる。すなわち、情報処理端末１０は、ＤＡＷが動作しているパソコンＰＣにより音楽処理装置として実現される。音楽処理装置では、ＭＩＤＩ（Musical Instrument Digital Interface）イベントやオーディオ信号の録音／再生、編集、ミキシングなどの一連の音楽処理を実行することができ、その機能の一つとして上述のシーケンスプログラム、テンプレートシーケンスプログラムを持たせるようにする。
【００８２】
そして、ＤＡＷのアプリケーションのなかで、上記のシーケンスプログラムとの連携で、ＭＩＤＩイベントの録音／再生を制御するＭＩＤＩシーケンサで再生させた信号から特徴量を抽出してシーケンスデータを作成したり、抽出された特徴量に応じた素材データで新しいオーディオ信号として録音する。すなわち、ＭＩＤＩシーケンサと上記シーケンスプログラムの間でデータをやり取りしたり、あるいは、上記シーケンスプログラムで作成されたデータからオーディオ信号で録音し、さらに編集できる。
【００８３】
同様に、ＤＡＷのアプリケーションのなかで、上記のテンプレートシーケンスプログラムとの連携で、ＭＩＤＩシーケンサのＭＩＤＩのトラックを、テンプレートシーケンスプログラムのトラックから作成したり、逆にテンプレートシーケンスプログラムのテンプレートをＭＩＤＩシーケンサのトラックのタイミング情報を利用して作ったり、テンプレートシーケンスの１または複数のトラックのデータからＭＩＤＩデータを作る。
【００８４】
さらには、ＤＡＷのアプリケーションのミキサ画面では、上記シーケンスプログラムの入出力トラックを、他のＭＩＤＩトラックやオーディオトラック同様に選択指定できるように扱うことで、ＭＩＤＩデータの再生信号と上記シーケンスデータの再生信号をミキシングして出力したり、オーディオの再生信号と上記シーケンスデータの再生信号をミキシングして出力する。なお、上記シーケンスプログラムのみでの再生出力、記録も可能である。
【００８５】
また、ＤＡＷのアプリケーションにおけるデータの保存・再生では、プロジェクトファイルの構成データのひとつとして、上記シーケンスデータとＤＢ指定データを持たせて、一つのプロジェクトファイルにまとめるようにすればよい。この場合、具体的には、例えば、ヘッダ、オーディオトラックのデータ（複数トラック分の波形データおよび管理データ）、オーディオミキサのデータ（複数チャンネル分のパラメータ）、ＭＩＤＩトラックのデータ（複数トラック分のシーケンスデータ）、ＭＩＤＩミキサのデータ（複数チャンネル分のパラメータ）、ソフト音源のデータ（起動されたソフト音源のパラメータ）、ハード音源のデータ（音源ラックに登録されたハード音源のパラメータ）、ソフト効果器のデータ（起動されたソフト効果器のパラメータ）、ハード効果器のデータ（挿入されたハード効果器のパラメータ）、音源テーブル、効果器テーブル、音楽ＬＡＮのデータ、その他のデータに加え、上記シーケンスデータとＤＢ指定データから構成されるようになる。
【００８６】
この場合、ＤＡＷのアプリケーションによって提供される大量のオーディオデータを、上記シーケンスデータや素材データの元として使えるようになり、上記シーケンスプログラムの利用可能性を大きく高められるとともに、ＭＩＤＩシーケンサやオーディオデータの編集作業のひとつのツールとして上記シーケンスプログラムを利用することができる。
【００８７】
＜変形例＞
以上、本発明の実施形態について説明したが、本発明は以下のように、さまざまな態様で実施可能である。
［変形例１］
上述した実施形態において、ユーザによって入力された指示に応じて、アイコン配置領域ＳＴに表示されるアイコン画像が時間軸方向に伸縮可能に構成されてもよい。
【００８８】
図１６は、本発明の変形例１におけるシーケンスプログラム実行時の表示画面の表示例を説明する図である。表示制御部１１０は、表示画面１３１に表示されたアイコン画像の長さを、ユーザによって入力された指示に応じて時間軸に沿った方向に変化させる。例えば、図８に示すアイコン画像ｓ４を、図１６に示すアイコン画像ｓ４１のように、時間軸に沿った方向に伸長させる。この場合には、発音制御部１３０は、このアイコン画像ｓ４１に対応する素材データを出力部１４０から出力させるときに、アイコン画像ｓ４１の時間軸に沿った方向の長さに応じて、タイムストレッチ処理（素材データの波形を伸ばす処理）、ループ処理（素材データを繰り返して出力させる処理）などを施すことにより加工し、データ出力部１４０から楽音データとして出力させてもよい。この場合、シーケンス情報として発音終了のタイミング、ループ再生のフラグなど必要な情報が追加される。
なお、図８に示すアイコン画像は、すべて同じ大きさであり、本変形例での処理により時間軸に沿った方向に伸縮させていたが、伸縮させる前の状態であっても、そのアイコン画像に対応する特徴量情報に類似するものとして特定された素材データを再生したときの音長に応じた長さで表示されてもよい。
【００８９】
［変形例２］
上述した実施形態においては、アイコン配置領域ＳＴの縦軸は音量を示す座標軸（音量軸）であったが、例えば、ピッチ、音長などを示す座標軸（以下、指定座標軸という）としてもよい。すなわち、アイコン配置領域ＳＴは、素材データの音量以外の他の加工内容を指定する指定値を示す指定座標軸をもっていてもよい。ピッチを示す指定座標軸とした場合には、発音制御部１３０は、素材データのピッチを、アイコン画像の指定座標軸における位置に応じて変更してデータ出力部１４０から楽音データとして出力させればよい。音長を示す指定座標軸とした場合には、発音制御部１３０は、アイコン画像の指定座標軸に於ける位置に応じて、タイムストレッチ処理（素材データの波形を伸ばす処理）、ループ処理（素材データを繰り返して出力させる処理）などを施すことにより加工し、データ出力部１４０から楽音データとして出力させればよい。
また、指定座標軸によって指定される加工内容は、音量、ピッチなど複数種類にわたってもよく、この場合には、ユーザによって入力された指示に応じて、指定座標軸の種類を切り替えて、アイコン画像を配置可能なものとしてもよい。このように切り替え可能な指定座標軸をもつアイコン配置領域ＳＴにアイコン画像を配置させることにより、素材データを様々に加工してもよい。
【００９０】
［変形例３］
上述した実施形態においては、アイコン配置領域ＳＴの縦軸は素材データの加工内容を指定する指定座標軸であったが、特定部５１０において素材データを特定するための特定値を示す座標軸（以下、特定座標軸という）としてもよい。この場合には、特定部５１０は、素材データを特定するときに、アイコン画像の特定座標軸における位置に応じて特定すればよい。例えば、特定値が類似度に関するものであれば、アイコン配置領域ＳＴの上方にアイコン画像が位置するほど、特定部５１０において特定される素材データが類似度が低い（特徴量情報間のユークリッド距離が長い）ものが特定されるようにすればよい。
なお、類似度についてはユーザが指定するのではなく、例えば、ユーザが所定の操作（ランダムボタンの操作など）をすることにより、全てのアイコン画像または予め指定されたアイコン画像に対応する類似度が予め決められたアルゴリズム（例えばランダム）に従って指定されるようにしてもよい。
【００９１】
また、特定値の内容は複数種類にわたってもよく、この場合には、ユーザによって入力された指示に応じて、アイコン配置領域ＳＴにおける特定座標軸と変形例２における指定座標軸とを切り替えて、アイコン画像を配置可能なものとしてもよい。他の種類の例としては、例えば、アイコン画像に対応する特徴量情報を変化させて分類させるカテゴリを変化させるものであってもよい。
【００９２】
［変形例４］
上述した実施形態においては、類似音置換プログラムの実行により、表示画面１３１に表示される内容は、図１２に示す内容から図１３に示す内容に切り替わり、類似音として置換する素材データは、選択肢の中からユーザが選択していたが、図１７に示す内容での表示を行うことで、別の態様で置換する素材データを選択するようにしてもよい。図１７、図１８を用いて、この場合における表示画面１３１の表示内容および発音制御システム１の動作について説明する。
【００９３】
図１７は、本発明の変形例４における類似音置換プログラム実行時の素材データの置換対象を指定する画面を説明する図である。図１８は、本発明の変形例４における類似音置換プログラム実行時の発音制御システムの動作を説明する図である。図１８に示すステップＳ２１０からステップＳ２５０の処理までは、実施形態における処理と同様であるため、説明を省略する。
サーバ装置５０の制御部５１は、切出データから抽出した素材データを示す情報（切出データにおけるデータ範囲、特徴量情報）を抽出結果データとして、通信部５４から送信させる（ステップＳ３１０）。
【００９４】
情報処理端末１０において抽出結果データを受信すると、制御部１１は、表示画面１３１に表示される内容を図１７に示す内容に切り替える。この例においては、図１７に示すように、表示画面１３１には、切出データの波形ｗｄ３が表示され、また、抽出ウインドウｗｒ１、ｗｒ２、・・・が表示される。この抽出ウインドウが表示されている領域は、上述したアイコン配置領域ＳＴに相当し、横軸が時間軸に相当する。また、抽出ウインドウの各々は、抽出された素材データの特徴量情報が対応付けられたアイコン画像に相当する。
【００９５】
この例における抽出ウインドウｗｒ１、ｗｒ２、・・・は、特徴量情報が分類されたカテゴリに応じた色で表されている。ここでは、ウインドウ内部がカテゴリに応じた半透明の色で塗りつぶされ、上方の色が濃く、下方の色が薄くなるように決められている。以下の説明においては、抽出ウインドウｗｒ１を例として説明する。
抽出ウインドウｗｒ１の上部には、分類切替領域ｗｒｂが表示されている。分類切替領域ｗｒｂは複数の領域に分けられ、各領域には、分類対象となる全てのカテゴリに応じた色で塗りつぶされている。また、抽出ウインドウｗｒ１は、上下方向（縦軸）の位置が類似度と対応付けられ、上方ほど類似度が高くなるように決められている。すなわち、類似度と色の濃度とが相関を持っている。
【００９６】
分類切替領域ｗｒｂのいずれかの位置がユーザによって指定されると、制御部１１は、表示画面１３１の抽出ウインドウｗｒ１内の色を、指定された位置の領域の色に変更する。このとき、上方の色が濃く、下方の色が薄くなる態様であることは変化しない。これにより制御部１１は、色に応じたカテゴリを検索対象の分類として設定する。ユーザによるこの指定が行われなければ、抽出ウインドウｗｒ１に対応する素材データの特徴量情報が分類されているカテゴリがそのまま検索条件の分類として設定される。そして、抽出ウインドウｗｒ１の内部の位置がユーザによって指定されると、制御部１１は、縦軸における位置に応じた類似度を検索条件として設定する。このようにして、制御部１１は、分類と類似度とを検索条件として設定（ステップＳ３２０）する。
ユーザによって再生ボタンｂｐが操作されると、制御部１１は、検索条件を示す条件データを各ウインドウｗｒ１における素材データを識別する情報と対応付けて、通信部１４から送信させる（ステップＳ３３０）。
【００９７】
サーバ装置５０が条件データを受信すると、制御部５１は、実施形態におけるステップＳ２６０の処理と同様に、抽出した素材データの特徴量情報に類似する素材データを特定する（ステップＳ３４０）。ただし、この例においては、実施形態と異なり、制御部５１は、条件データに基づく制約のもと素材データを特定する。すなわち、検索対象は、特徴量ＤＢのうち条件データが示すカテゴリに分類された特徴量情報の素材データとする。また、ユークリッド距離が近いものから類似度に応じた順番の素材データを特定する。このとき、類似度が高いほどユークリッド距離が近い特徴量情報をもつ素材データが特定される。なお、上述したように、ＤＢ指定データが用いられている場合には、制御部５１は、素材データを特定するときの検索対象となる特徴量ＤＢの種類を、ＤＢ指定データに基づいて決定する。
制御部５１は、条件データに応じて素材データを特定すると、実施形態におけるステップＳ２７０の処理と同様に、特定した素材データ、および置換対象となる素材データを識別する情報を対応付けて、通信部５４から情報処理端末１０に送信させる（ステップＳ３５０）。
【００９８】
情報処理端末１０がこれらデータを受信すると、制御部１１は、抽出された素材データを特定された素材データと置換する（ステップＳ３６０）。ユーザが再生ボタンｂｐを操作することにより再生が指示されると（ステップＳ３７０）、制御部１１は、素材データが置換された切出データを再生して楽音データとして出力（ステップＳ３８０）し、スピーカ１６１から放音させる。
【００９９】
図１９は、図１７に示す画面の別の表示例を説明する図である。この表示例においては、ユーザによって指定された縦軸方向の位置（類似度）に横棒状のマーカｗｒｃを表示させている。これによってユーザは、どの程度の類似度が指定されているかの認識が容易となる。または、この表示例においては、波形ｗｄ３のうち抽出ウインドウｗｒ１に含まれる部分ｗｒａについては、置換対象の素材データの波形に置き換えて表示されている。他の抽出ウインドウｗｒ２、ｗｒ３、ｗｒ４についても同様である。
【０１００】
ここで、抽出ウインドウは、サーバ装置５０において抽出された素材データの部分を示しているが、ユーザが指定した領域（例えば、図１９に示す領域ｗｒｓ）をサーバ装置５０において抽出された素材データの部分として新たに追加してもよい。この場合には、情報処理端末１０からサーバ装置５０に領域ｗｒｓを示す情報を送信し、図１８のステップＳ２４０においてその領域ｗｒｓの波形が素材データとして抽出されたものとすればよい。このようにして、抽出ウインドウの数を増加させてもよい。また、ユーザが指定した抽出ウインドウを削除することができるようにしてもよい。
【０１０１】
なお、類似度についてはユーザが指定していたが、例えば、ユーザが所定の操作（ランダムボタンの操作など）をすることにより、全ての抽出ウインドウまたは予め指定された抽出ウインドウに対応する類似度が予め決められたアルゴリズム（例えばランダム）に従って指定されるようにしてもよい。
また、抽出ウインドウに含まれる部分とそれ以外の部分において再生するときの音量をそれぞれ調整できるようにしてもよい。この調整は、連続量で制御できるようにしてもよいし、オンオフできるか得られるようにしてもよい。また、抽出ウインドウ毎に調整できるようにしてもよい。このようにして、素材データ部分を際立たせたり目立たなくしたりした放音が可能となる。これらは、実施形態の図１３に示す表示がされているときにおいても適用可能である。
また、実施形態においても説明したように、ユーザが抽出ウインドウｗｒ１、ｗｒ２、・・・の時間軸方向の長さを調整して、抽出された素材データの開始時間または終了時間を調整可能としてもよい。
【０１０２】
［変形例５］
上述した実施形態において、図９に示すステップＳ１７０の処理、すなわち、シーケンスプログラムの実行時にデータ出力部１４０から出力される楽音データは、発音制御部１３０が、アイコン画像の時間軸における位置に応じたタイミングで素材データを出力することにより実現していたが、出力期間全体の発音内容を示すデータとして発音制御部１３０によって生成された後、データ出力部１４０から出力されるようにしてもよい。発音制御部１３０は、生成された楽音データを記憶部１５に出力して記憶させるようにしてもよい。また、楽音データとして記憶させる場合に限らず、シーケンスデータと素材データとの組み合わせなど、楽音データを生成するために必要な複数種類のデータで記憶させれるようにしてもよい。各種データを記憶させる指示については、ユーザによって入力されるようにすればよい。
【０１０３】
また、このような楽音データに基づく発音は、情報処理端末１０のスピーカ１６１から出力されていたが、情報処理端末１０に接続される外部のスピーカ装置から出力されるようにしてもよいし、サーバ装置５０から出力されるようにしてもよい。すなわち、発音制御部１３０は、音を出力する何らかの装置から発音されるように、楽音データを出力させるように、情報処理端末１０の構成のみならず接続される各構成を制御すればよい。
【０１０４】
［変形例６］
上述した実施形態においては、シーケンスプログラム実行時に表示画面１３１に表示されるアイコン画像、ＤＢ画像などはプログラム上において生成しているが、これらの画像は、予め記憶部１５、５５などに記憶されていてもよい。
【０１０５】
［変形例７］
上述した実施形態においては、アイコン配置領域ＳＴに表示されるアイコン画像に対応する特徴量情報の内容は、ユーザが入力した指示に応じて決定していたが、ユーザは、アイコン画像の絵柄（またはカテゴリ）を選択することにより、この絵柄に対応するカテゴリの予め決められた代表値を特徴量情報として決定するようにしてもよい。
【０１０６】
［変形例８］
上述した実施形態において、ＤＢ指定データの内容は、ユーザがＤＢ配置領域ＤＴにＤＢ画像を配置することにより決定されていたが、予め決められたアルゴリズムにしたがって、再生時刻範囲と特徴量ＤＢの種類との関係を、制御部１１が自動的に決定するようにしてもよい。
【０１０７】
［変形例９］
上述した実施形態において、ＤＢ指定データの内容として特徴量ＤＢの種類の指定がされていない再生時刻範囲が存在する場合には、指定されていない再生時刻範囲においては、予め決められた特徴量ＤＢの種類（全ての種類、一部の特定の種類など）が検索対象として指定されてもよいし、その範囲の直前に指定されていた種類を指定してもよい。
【０１０８】
［変形例１０］
上述した実施形態においては、発音制御システム１は、通信回線１０００を介して接続された情報処理端末１０とサーバ装置５０とにより構成されていたが、一体の装置として構成され、通信回線１０００を介していない構成としてもよい。また、別体の装置であっても、情報処理端末１０における各構成の一部がサーバ装置５０の構成に含まれていてもよいし、逆に、サーバ装置５０の各構成の一部が情報処理端末１０の構成に含まれていてもよい。また、情報処理端末１０の記憶部１５に記憶されている各種情報、およびサーバ装置５０の記憶部５５に記憶されている各種情報は、発音制御システム１全体としていずれかの記憶部において記憶されていればよく、情報処理端末１０およびサーバ装置５０以外に、これらの情報の全部または一部を記憶する記憶装置が通信回線１０００に接続されていてもよい。また、これらの情報は、通信回線１０００に接続可能な他の情報処理端末１０と共有することにより、他のユーザが使用できるようにしてもよい。
組み合わせとしては、例えば、特徴量ＤＢはサーバ装置５０の記憶部５５に記憶されている一方、情報処理端末１０において、記憶部１５に切出ＤＢが記憶され、特定部５１０の機能が実現されてもよい。さらには、検索プログラムおよび抽出プログラムの実行は情報処理端末１０で実行してもよいし、情報処理端末１０から得た情報をもとにサーバ装置５０で実行するようにしてもよい。
【０１０９】
また、専用特化したシーケンサのハードウェアで構成してもよい。上記のＤＡＷに適用した場合のＭＩＤＩシーケンサとの連携のみでよければ、上記シーケンスプログラム、テンプレートシーケンスプログラムをＭＩＤＩシーケンサに適用するようにしてもよい。
【０１１０】
ここで、情報処理端末１０とサーバ装置５０とが一体の装置として構成されている情報処理端末１０Ａとした場合について、図２０、図２１を用いて説明する。
【０１１１】
図２０は、本発明の変形例１０における情報処理端末１０Ａの構成を説明する図である。以下においては、実施形態における情報処理端末１０と異なる構成（制御部１１Ａ、記憶部１５Ａ）について説明し、同じ構成（符号が共通している構成）については、説明を省略する。
記憶部１５Ａは、実施形態における記憶部１５に記憶されていた内容に追加して記憶部５５に記憶されていた内容が追加されたものである。
制御部１１Ａは、実施形態における制御部１１および制御部５１において別々に実行されていたプログラムを、共に実行する。共に実行されるプログラム、例えば、シーケンスプログラムと検索プログラムとは、同じプログラムとして統合されて、記憶部１５Ａに記憶されていてもよい。
制御部１１Ａがシーケンスプログラムおよび検索プログラムを実行することにより実現される機能について、図２１を用いて説明する。
【０１１２】
図２１は、本発明の変形例１０における情報処理端末１０Ａの機能を説明する機能ブロック図である。図２１に示すように、変形例１０においては、実施形態において説明した図７に示す機能構成と異なる点は、発音制御部１３０Ａと特定部５１０Ａとが通信部を介さずに情報をやりとりする点である。この点以外については、実施形態において説明した内容と同様であるため、その説明を省略する。
【０１１３】
［変形例１１］
テンプレートシーケンスプログラムにおける、トラックの数は４つに限定されない。それよりも少なくてもよいし多くてもよい。さらには、トラックの概念をなくし、無制限（＝現実的にはシステムが許容できる最大量の）のトラック数にしてもよい。この場合、無数の特徴量データを時間軸に配置する形になり、それぞれ独立に類似音や特徴量パラメータ変更をすることができる。
【０１１４】
［変形例１２］
上述した実施形態においては、特徴量ＤＢのデータ範囲に応じて、適時切出ＤＢから素材データを取得しているが、あらかじめ切出し済みの区間の素材データだけを保持しておいても良い。その場合、特徴量ＤＢにデータ範囲の情報は不要である。
【０１１５】
［変形例１３］
上述した実施形態においては、抽出された素材データの特徴量情報に対して類似度の高い素材データを特徴量ＤＢを検索して特定する（ステップＳ２６０、図１０参照）ようにしているが、類似度の高さに閾値を持たせてもよい。この閾値は、あまりに類似するものが抽出されても、元の音との変わり映えがしなくなるために、ユークリッド距離が閾値に
応じた所定量以上の素材データを特定するためのものでもよいし、あまりにかけ離れたものを抽出しないようにするためにユークリッド距離が所定量以内のものとするようにしてもよい。また、前述の両方の閾値を用いてもよい。また、閾値は、ユーザが設定できるようにしてもよい。
【０１１６】
［変形例１４］
上述した実施形態および変形例４において、ユーザが抽出ウインドウの時間軸方向の長さを調整することができるようにしてもよいことを示したが、この調整において、より細かい調整が可能となるようにしてもよい。
【０１１７】
図２２は、本発明の変形例１４における類似音置換プログラム実行時の素材データの置換対象を指定する画面を説明する図である。図２２は、変形例４において説明した図１９において、ユーザが抽出ウインドウｗｒ３に対して所定の操作（ダブルクリック操作など）をしたときにの表示内容を示している。図２２に示すポップアップウインドウＰＷ１は、ユーザの操作に応じて表示され、その内容が抽出ウインドウｗｒ３に対応する波形を拡大したものとなっている。ユーザはポップアップウインドウＰＷ１において波形の範囲を変更することにより、時間軸方向の長さを調整することができる。このとき、波形が拡大表示されているため、その長さの調整を細かく行うことができる。
このようなポップアップウインドウを表示させて行う時間軸方向の調整は、実施形態における図８の表示においても行うことができるようにしてもよい。
【０１１８】
図２３は、本発明の変形例１４におけるシーケンスプログラム実行時の表示画面の表示例を説明する図である。図２３は、実施形態において説明した図８において、ユーザがアイコン画像ｓ３に対して所定の操作（ダブルクリック操作など）をしたときにの表示内容を示している。図２３に示すポップアップウインドウＰＷ２は、ユーザの操作に応じて表示され、その内容がアイコン画像ｓ３に対応する波形を拡大したものとなっている。ここで、アイコン画像ｓ３に対応する波形とは、再生時にアイコン画像ｓ３に対応して発音される音の波形である。ユーザはポップアップウインドウＰＷ２において波形の範囲を変更することにより、時間軸方向の長さを調整することができる。
【０１１９】
［変形例１５］
上述した実施形態において、ＤＢ配置領域ＤＴには、特徴量ＤＢの種類が対応付けられたＤＢ画像が表示されていたが、特徴量ＤＢの種類とその検索対象となる時刻の範囲とは別々に表示されていてもよい。
【０１２０】
図２４は、本発明の変形例１５におけるシーケンスプログラム実行時の表示画面の表示例を説明する図である。この例においては、ＤＢ配置領域ＤＴは、指定される特徴量ＤＢが各行に分割されて表示される。各行には、指定された特徴量ＤＢが検索対象となる時刻の範囲を示すＤＢ期間指定画像ｄ１ａ、ｄ２ａ、・・・が配置される。ＤＢ配置領域ＤＴの左側には、各行に対応した特徴量ＤＢの種類を指定するためのＤＢ種類指定領域ＤＭが表示されている。ユーザは、ポップアップメニューなどにより、各行に対応する特徴量ＤＢの種類を変更できるようになっている。
【０１２１】
図２４に示す例では、特徴量ＤＢａ、ＤＢｂ、ＤＢｃ指定され、例えば、特徴量ＤＢａについては、ＤＢ期間指定画像ｄ１ａが指定する時刻の範囲において検索対象となる。図２４における表示は、図８とは異なる表示であるが、特徴量ＤＢの種類およびその検索対象となる時刻の範囲は同じである。
なお、ＤＢ種類指定領域ＤＭの左側に表示されているチェックボックスＣＢにより、対応する行において指定された検索対象を有効とするか無効とするかを指定する事ができるようにしてもよい。このチェックボックスＣＢは、図８に示す表示において用いられてもよい。
【０１２２】
［変形例１６］
上述した実施形態において、図８に示す表示におけるアイコン画像は、ユーザの指示に応じて決定された特徴量情報に応じて配置されていた。ユーザが特徴量情報を指示するときに、所望の特徴量情報を特徴量ＤＢから検索するようにしてもよい。このときには、例えば、特開２０１１−１６３１７１号公報に開示された方法を用いればよい。また、このときの検索対象の特徴量ＤＢの種類については、図２４に示したチェックボックスＣＢにおいて指定された特徴量ＤＢとしてもよい。なお、ユーザがこのようにアイコン画像に対応する特徴量情報を指示する場合には、図８に示す表示の一部に、特徴量情報の指示をするための表示を行うようにすればよい。また、アイコン画像に対して所定の操作（ダブルクリック操作など）をしたときにポップアップウインドウなどを表示させて、そのアイコン画像に対応する特徴量情報を指示できるようにしてもよい。
【０１２３】
［変形例１７］
上述した実施形態での図８に示す表示において、特徴量ＤＢの種類、およびその検索対象となる時刻の範囲については、ユーザが指定していたが、例えば、ユーザが所定の操作（ランダムボタンの操作など）をすることにより、予め決められたアルゴリズム（例えばランダム）に従って指定されるようにしてもよい。また、図８に示すように予め特徴量ＤＢの種類、およびその検索対象となる時刻の範囲が決められている場合には、いずれかのＤＢ画像を指定して、指定されたＤＢ画像に対して予め決められたアルゴリズム（例えばランダム）に従って、特徴量ＤＢの種類、時刻の範囲が変更されるようにしてもよい。さらには、データベースのランダム選択で、ＤＢ配置領域ＤＴ自体をアクティブ（特徴量ＤＢを選択する機能が生きている状態）にして特徴量ＤＢを選択可能にしたり、非アクティブ（特徴量ＤＢを選択する機能が生きていない状態)にして特定の特徴量ＤＢのみを適用したりすることもランダムに行えるようにしてもよい。さらには、ＤＢ配置領域ＤＴにおいて選択されている特徴量ＤＢをアクティブ（選択されている特徴量ＤＢを検索対象とする状態）にしたり、非アクティブ（選択されている特徴量ＤＢを検索対象としない状態）にしたりすることもランダムに行えるようにしてもよい。このとき、アクティブな特徴量ＤＢに対応するＤＢ画像は色つきのままとして、非アクティブな特徴量ＤＢに対応するＤＢ画像はグレーアウトするなど、表示が変更されている特徴量ＤＢについてアクティブか非アクティブか認識できるようにするとよい。
【０１２４】
［変形例１８］
上述した実施形態での図８に示す表示において、アイコン画像に該当する音がない場合には、アイコン画像をグレーアウトさせてもよい。該当する音がないとは、例えば、そのアイコン画像に対応する時刻を範囲とする特徴量ＤＢ（検索対象となる特徴量ＤＢ）が決められていない場合、アイコン画像に対応する特徴量情報に基づいて特定部５１０により特定される素材データが存在しない場合などがある。特定部５１０により特定される素材データが存在しないとは、例えば、アイコン画像に対応する特徴量情報に最も類似する素材データが、しきい値として予め決められた類似度よりも類似していない場合、またカテゴリにより検索対象が絞り込まれる構成であるときに検索対象の特徴量ＤＢにそのカテゴリが含まれていない場合などがある。
【０１２５】
［変形例１９］
上述した実施形態における各プログラムは、磁気記録媒体（磁気テープ、磁気ディスクなど）、光記録媒体（光ディスクなど）、光磁気記録媒体、半導体メモリなどのコンピュータ読み取り可能な記録媒体に記憶した状態で提供し得る。また、情報処理端末１０またはサーバ装置５０は、各プログラムをネットワーク経由でダウンロードしてもよい。
【０１２６】
［変形例２０］
上述した実施形態におけるシーケンスプログラムで作成されるファイルとテンプレートシーケンスプログラムで作成されるファイルは、それぞれ別のファイルとして、不揮発性メモリに記憶されるようにしたが、ひとつの操作でシーケンスプログラムで作成されるファイルとテンプレートシーケンスで作成されるファイルを不揮発性メモリに記憶するようにしてもよい。そのとき、それぞれのファイルを拡張子を異ならせるなどして別ファイルとして、記憶するようにしてもよいし、ひとつのファイルにまとめて記憶するようにしてもよい。さらに、いずれのファイル名は、ユーザが指示する必要をなくし、曲名や日時等の情報から自動で指定されるようにしてもよい。
【符号の説明】
【０１２７】
１…発音制御システム、１０，１０Ａ…情報処理端末、１１，１１Ａ…制御部、１２…操作部、１２１…タッチセンサ、１２２…操作ボタン、１３…表示部、１３１…表示画面、１４…通信部、１５，１５Ａ…記憶部、１６…音響処理部、１６１…スピーカ、１６２…マイクロフォン、５０…サーバ装置、５１…制御部、５４…通信部、５５…記憶部、１００…筐体、１１０…表示制御部、１２０…設定部、１３０，１３０Ａ…発音制御部、１４０…データ出力部、５１０，５１０Ａ…特定部、１０００…通信回線
【特許請求の範囲】
【請求項１】
時間軸が規定された配置領域を表示画面に表示させ、音素材の波形を示す素材データの特徴量を示す特徴量情報が対応付けられたアイコン画像を、入力される指示に応じて当該配置領域に表示させる表示制御手段と、
素材データと当該素材データの前記特徴量情報とを対応付けたデータベースの種類を、入力される指示に応じて前記配置領域の時間軸に沿って設定するデータベース設定手段と、
前記アイコン画像が表示された位置と前記時間軸において対応関係にあるデータベースを参照して前記アイコン画像と前記特徴量情報が特定の関係となる素材データを特定する特定手段に当該素材データを特定させ、当該アイコン画像の前記時間軸における位置に応じたタイミングおよび当該素材データに応じた発音内容を示す楽音データを出力する出力手段に当該楽音データを出力させる発音制御手段と
を具備することを特徴とする発音制御装置。
【請求項２】
前記配置領域は、前記素材データの加工内容を指定する指定値を示す指定座標軸がさらに規定され、
前記発音制御手段は、前記アイコン画像の前記指定座標軸における位置に応じて、当該アイコン画像から前記特定された素材データに応じた発音内容が変化するように制御する
ことを特徴とする請求項１に記載の発音制御装置。
【請求項３】
前記配置領域は、前記素材データを特定するための特定値を示す特定座標軸がさらに規定され、
前記特定の関係は、前記アイコン画像の前記特定座標軸における位置に基づいて決定される
ことを特徴とする請求項１または請求項２に記載の発音制御装置。
【請求項４】
前記アイコン画像は、当該アイコン画像に対応付けられた特徴量情報に応じた絵柄の画像である
ことを特徴とする請求項１乃至請求項３のいずれかに記載の発音制御装置。
【請求項５】
前記配置領域は、前記特徴量情報を規定するための特徴量規定軸がさらに規定され、
前記表示制御手段は、前記配置領域のうち、前記アイコン画像に対応付けられた特徴量情報に対応する前記特徴量規定軸の位置に、当該アイコン画像を表示させる
ことを特徴とする請求項１乃至請求項３のいずれかに記載の発音制御装置。
【請求項６】
前記表示制御手段は、入力される指示に応じて、前記配置領域に表示された前記アイコン画像の前記時間軸に沿った方向の長さを変更し、
前記発音制御手段は、前記アイコン画像の長さに応じて、当該アイコン画像から前記特定された素材データに応じた発音内容が変化するように制御する
ことを特徴とする請求項１乃至請求項５のいずれかに記載の発音制御装置。
【請求項７】
前記アイコン画像は、前記特徴量情報が示す特徴量に応じて変化する
ことを特徴とする請求項１乃至請求項６のいずれかに記載の発音制御装置。
【請求項８】
請求項１乃至請求項７のいずれかに記載の発音制御装置から、前記アイコン画像が表示された位置と前記時間軸において対応関係にあるデータベースの種類を示す種類情報および当該アイコン画像に対応付けられた特徴量情報を取得する取得手段と、
複数種類の前記データベースのうち、前記種類情報が示す種類のデータベースを参照して、当該種類情報とともに取得した前記特徴量情報と特定の関係となる素材データを特定する特定手段と、
前記特定された素材データを前記発音制御装置に出力する出力手段と
を具備することを特徴とする特定装置。
【請求項９】
請求項１乃至請求項７のいずれかに記載の発音制御装置と、
請求項８に記載の特定装置と
を具備することを特徴とする発音制御システム。
【請求項１０】
コンピュータを、
時間軸が規定された配置領域を表示画面に表示させ、音素材の波形を示す素材データの特徴量を示す特徴量情報が対応付けられたアイコン画像を、入力される指示に応じて当該配置領域に表示させる表示制御手段と、
素材データと当該素材データの前記特徴量情報とを対応付けたデータベースの種類を、入力される指示に応じて前記配置領域の時間軸に沿って設定するデータベース設定手段と、
前記アイコン画像が表示された位置と前記時間軸において対応関係にあるデータベースを参照して前記アイコン画像と前記特徴量情報が特定の関係となる素材データを特定する特定手段に当該素材データを特定させ、当該アイコン画像の前記時間軸における位置に応じたタイミングおよび当該素材データに応じた発音内容を示す楽音データを出力する出力手段に当該楽音データを出力させる発音制御手段
として機能させるためのプログラム。
【請求項１１】
コンピュータを、
請求項１乃至請求項７のいずれかに記載の発音制御装置から、前記アイコン画像が表示された位置と前記時間軸において対応関係にあるデータベースの種類を示す種類情報および当該アイコン画像に対応付けられた特徴量情報を取得する取得手段と、
複数種類の前記データベースのうち、前記種類情報が示す種類のデータベースを参照して、当該種類情報とともに取得した前記特徴量情報と特定の関係となる素材データを特定する特定手段と、
前記特定された素材データを前記発音制御装置に出力する出力手段
として機能させるためのプログラム。
【請求項１２】
時間軸が規定された配置領域を表示画面に表示させ、音素材の波形を示す素材データの特徴量を示す特徴量情報が対応付けられたアイコン画像を、入力される指示に応じて当該配置領域に表示させる表示制御手段、および素材データと当該素材データの前記特徴量情報とを対応付けたデータベースの種類を、入力される指示に応じて前記配置領域の時間軸に沿って設定するデータベース設定手段に対して、前記指示を入力するステップと、
前記アイコン画像が表示された位置と前記時間軸において対応関係にあるデータベースを参照して前記アイコン画像と前記特徴量情報が特定の関係となる素材データを特定するステップと、
前記アイコン画像の前記時間軸における位置に応じたタイミングおよび当該アイコン画像に対応して特定された前記素材データに応じた発音内容を示す楽音データを出力するステップと
を備えることを特徴とする発音制御方法。
【請求項１】
時間軸が規定された配置領域を表示画面に表示させ、音素材の波形を示す素材データの特徴量を示す特徴量情報が対応付けられたアイコン画像を、入力される指示に応じて当該配置領域に表示させる表示制御手段と、
素材データと当該素材データの前記特徴量情報とを対応付けたデータベースの種類を、入力される指示に応じて前記配置領域の時間軸に沿って設定するデータベース設定手段と、
前記アイコン画像が表示された位置と前記時間軸において対応関係にあるデータベースを参照して前記アイコン画像と前記特徴量情報が特定の関係となる素材データを特定する特定手段に当該素材データを特定させ、当該アイコン画像の前記時間軸における位置に応じたタイミングおよび当該素材データに応じた発音内容を示す楽音データを出力する出力手段に当該楽音データを出力させる発音制御手段と
を具備することを特徴とする発音制御装置。
【請求項２】
前記配置領域は、前記素材データの加工内容を指定する指定値を示す指定座標軸がさらに規定され、
前記発音制御手段は、前記アイコン画像の前記指定座標軸における位置に応じて、当該アイコン画像から前記特定された素材データに応じた発音内容が変化するように制御する
ことを特徴とする請求項１に記載の発音制御装置。
【請求項３】
前記配置領域は、前記素材データを特定するための特定値を示す特定座標軸がさらに規定され、
前記特定の関係は、前記アイコン画像の前記特定座標軸における位置に基づいて決定される
ことを特徴とする請求項１または請求項２に記載の発音制御装置。
【請求項４】
前記アイコン画像は、当該アイコン画像に対応付けられた特徴量情報に応じた絵柄の画像である
ことを特徴とする請求項１乃至請求項３のいずれかに記載の発音制御装置。
【請求項５】
前記配置領域は、前記特徴量情報を規定するための特徴量規定軸がさらに規定され、
前記表示制御手段は、前記配置領域のうち、前記アイコン画像に対応付けられた特徴量情報に対応する前記特徴量規定軸の位置に、当該アイコン画像を表示させる
ことを特徴とする請求項１乃至請求項３のいずれかに記載の発音制御装置。
【請求項６】
前記表示制御手段は、入力される指示に応じて、前記配置領域に表示された前記アイコン画像の前記時間軸に沿った方向の長さを変更し、
前記発音制御手段は、前記アイコン画像の長さに応じて、当該アイコン画像から前記特定された素材データに応じた発音内容が変化するように制御する
ことを特徴とする請求項１乃至請求項５のいずれかに記載の発音制御装置。
【請求項７】
前記アイコン画像は、前記特徴量情報が示す特徴量に応じて変化する
ことを特徴とする請求項１乃至請求項６のいずれかに記載の発音制御装置。
【請求項８】
請求項１乃至請求項７のいずれかに記載の発音制御装置から、前記アイコン画像が表示された位置と前記時間軸において対応関係にあるデータベースの種類を示す種類情報および当該アイコン画像に対応付けられた特徴量情報を取得する取得手段と、
複数種類の前記データベースのうち、前記種類情報が示す種類のデータベースを参照して、当該種類情報とともに取得した前記特徴量情報と特定の関係となる素材データを特定する特定手段と、
前記特定された素材データを前記発音制御装置に出力する出力手段と
を具備することを特徴とする特定装置。
【請求項９】
請求項１乃至請求項７のいずれかに記載の発音制御装置と、
請求項８に記載の特定装置と
を具備することを特徴とする発音制御システム。
【請求項１０】
コンピュータを、
時間軸が規定された配置領域を表示画面に表示させ、音素材の波形を示す素材データの特徴量を示す特徴量情報が対応付けられたアイコン画像を、入力される指示に応じて当該配置領域に表示させる表示制御手段と、
素材データと当該素材データの前記特徴量情報とを対応付けたデータベースの種類を、入力される指示に応じて前記配置領域の時間軸に沿って設定するデータベース設定手段と、
前記アイコン画像が表示された位置と前記時間軸において対応関係にあるデータベースを参照して前記アイコン画像と前記特徴量情報が特定の関係となる素材データを特定する特定手段に当該素材データを特定させ、当該アイコン画像の前記時間軸における位置に応じたタイミングおよび当該素材データに応じた発音内容を示す楽音データを出力する出力手段に当該楽音データを出力させる発音制御手段
として機能させるためのプログラム。
【請求項１１】
コンピュータを、
請求項１乃至請求項７のいずれかに記載の発音制御装置から、前記アイコン画像が表示された位置と前記時間軸において対応関係にあるデータベースの種類を示す種類情報および当該アイコン画像に対応付けられた特徴量情報を取得する取得手段と、
複数種類の前記データベースのうち、前記種類情報が示す種類のデータベースを参照して、当該種類情報とともに取得した前記特徴量情報と特定の関係となる素材データを特定する特定手段と、
前記特定された素材データを前記発音制御装置に出力する出力手段
として機能させるためのプログラム。
【請求項１２】
時間軸が規定された配置領域を表示画面に表示させ、音素材の波形を示す素材データの特徴量を示す特徴量情報が対応付けられたアイコン画像を、入力される指示に応じて当該配置領域に表示させる表示制御手段、および素材データと当該素材データの前記特徴量情報とを対応付けたデータベースの種類を、入力される指示に応じて前記配置領域の時間軸に沿って設定するデータベース設定手段に対して、前記指示を入力するステップと、
前記アイコン画像が表示された位置と前記時間軸において対応関係にあるデータベースを参照して前記アイコン画像と前記特徴量情報が特定の関係となる素材データを特定するステップと、
前記アイコン画像の前記時間軸における位置に応じたタイミングおよび当該アイコン画像に対応して特定された前記素材データに応じた発音内容を示す楽音データを出力するステップと
を備えることを特徴とする発音制御方法。
【図１】
【図２】
【図３】
【図４】
【図５】
【図６】
【図７】
【図８】
【図９】
【図１０】
【図１１】
【図１２】
【図１３】
【図１４】
【図１５】
【図１６】
【図１７】
【図１８】
【図１９】
【図２０】
【図２１】
【図２２】
【図２３】
【図２４】
【図２】
【図３】
【図４】
【図５】
【図６】
【図７】
【図８】
【図９】
【図１０】
【図１１】
【図１２】
【図１３】
【図１４】
【図１５】
【図１６】
【図１７】
【図１８】
【図１９】
【図２０】
【図２１】
【図２２】
【図２３】
【図２４】
【公開番号】特開２０１２−１９４５２５（Ｐ２０１２−１９４５２５Ａ）
【公開日】平成２４年１０月１１日（２０１２．１０．１１）
【国際特許分類】
【出願番号】特願２０１１−２４２６０６（Ｐ２０１１−２４２６０６）
【出願日】平成２３年１１月４日（２０１１．１１．４）
【出願人】（０００００４０７５）ヤマハ株式会社 (5,930)
【Ｆターム（参考）】
【公開日】平成２４年１０月１１日（２０１２．１０．１１）
【国際特許分類】
【出願日】平成２３年１１月４日（２０１１．１１．４）
【出願人】（０００００４０７５）ヤマハ株式会社 (5,930)
【Ｆターム（参考）】
[ Back to top ]