データ処理装置およびプログラム
【課題】音素材の抽出元となった楽音波形信号に関する情報を利用して、ユーザが所望の音素材をデータベースから選択可能にすること。
【解決手段】本発明の実施形態における楽音処理装置は、波形データと波形データを分類するためのタグデータとを対応付けた波形ＤＢから一の波形データを取得し、この波形データが示す楽音波形信号を解析して、予め決められた特徴を有する期間を音素材の楽音波形信号として特定するとともに、この音素材の楽音波形信号を解析して特徴量を算出する。そして、楽音処理装置は、音素材の楽音波形信号を示す特定データ、算出した特徴量を示す特徴量データ、および取得した波形データに対応するタグデータを対応付けて、音素材ＤＢに登録する。
【解決手段】本発明の実施形態における楽音処理装置は、波形データと波形データを分類するためのタグデータとを対応付けた波形ＤＢから一の波形データを取得し、この波形データが示す楽音波形信号を解析して、予め決められた特徴を有する期間を音素材の楽音波形信号として特定するとともに、この音素材の楽音波形信号を解析して特徴量を算出する。そして、楽音処理装置は、音素材の楽音波形信号を示す特定データ、算出した特徴量を示す特徴量データ、および取得した波形データに対応するタグデータを対応付けて、音素材ＤＢに登録する。
【発明の詳細な説明】
【技術分野】
【０００１】
本発明は、楽音波形信号から抽出された音素材をデータベースに登録する技術に関する。
【背景技術】
【０００２】
断片的な音素材をデータベースに記憶し、この音素材を組み合わせて楽音を発生させる技術がある。楽音を発生させるときに用いる音素材は、データベースに登録された多数の音素材から選択することになる。特許文献１には、このデータベースに登録する音素材を、楽曲の楽音波形信号から予め決められたアルゴリズムにしたがって抽出することが開示されている。この技術においては、抽出した音素材をその特徴に応じて分類してデータベースに登録するため、ユーザは、この分類を参照して、所望の音素材をデータベースから選択することができる。
【先行技術文献】
【特許文献】
【０００３】
【特許文献１】特開２０１０−１９１３３７号公報
【発明の概要】
【発明が解決しようとする課題】
【０００４】
音素材については特徴に応じて分類されることになるが、同じジャンルの楽曲など同じような属性を有する楽曲の楽音波形信号から音素材が抽出された場合、これらの音素材は同じような特徴を持つものとして取り扱われることが望ましい。しかしながら、特許文献１に記載された技術においては、音素材としての特徴に応じた分類をするため、抽出元の楽音波形信号がどのような属性を有していたかのデータは、音素材とは対応付けられることはなかった。そのため、ユーザが所望の音素材をデータベースから選択するときには、抽出元の楽音波形信号に関する情報を用いることはできなかった。
【０００５】
本発明は、上述の事情に鑑みてなされたものであり、音素材の抽出元となった楽音波形信号に関する情報を利用して、ユーザが所望の音素材をデータベースから選択可能にすることを目的とする。
【課題を解決するための手段】
【０００６】
上述の課題を解決するため、本発明は、楽音波形信号を示す楽音データと当該楽音データを分類するためのメタデータとを対応付けた波形データベースから、前記楽音データを取得する取得手段と、前記取得された楽音データが示す楽音波形信号を解析して、予め決められた特徴を有する楽音波形信号の期間を、音素材の楽音波形信号として特定する音素材特定手段と、前記音素材の楽音波形信号を解析して特徴量を算出する特徴量算出手段と、前記音素材の楽音波形信号を示す特定データ、前記算出された特徴量を示す特徴量データ、および前記取得された楽音データに対応するメタデータを対応付けて、音素材データベースに登録する登録手段とを具備することを特徴とするデータ処理装置を提供する。
【０００７】
また、別の好ましい態様において、ユーザによって指定される前記メタデータおよび前記特徴量を検索条件として決定する条件決定手段と、前記検索条件が示す前記メタデータが対応付けられ、かつ、前記検索条件が示す特徴量に類似する特徴量データを、前記音素材データベースから検索して特定する特徴特定手段と、前記特徴特定手段によって特定された特徴量データに対応する特定データを示す情報を、検索結果として表示手段に表示させる表示制御手段とをさらに具備することを特徴とする。
【０００８】
また、別の好ましい態様において、前記音素材特定手段は、前記取得された楽音データが示す楽音波形信号のうち、ユーザによって指定された一部の期間における楽音波形信号を解析して、予め決められた特徴を有する楽音波形信号の期間を、音素材の楽音波形信号として特定することを特徴とする。
【０００９】
また、別の好ましい態様において、前記特定データは、前記取得された楽音データが示す楽音波形信号と当該楽音波形信号の前記特定された期間を示す時刻情報とにより、前記特定された期間の楽音波形信号を示すことを特徴とする。
【００１０】
また、別の好ましい態様において、前記特定データは、前記特定された期間の楽音波形信号を抽出した楽音波形信号を示すことを特徴とする。
【００１１】
また、本発明は、コンピュータを、楽音波形信号を示す楽音データと当該楽音データを分類するためのメタデータとを対応付けた波形データベースから、前記楽音データを取得する取得手段と、前記取得された楽音データが示す楽音波形信号を解析して、予め決められた特徴を有する楽音波形信号の期間を、音素材の楽音波形信号として特定する音素材特定手段と、前記音素材の楽音波形信号を解析して特徴量を算出する特徴量算出手段と、前記音素材の楽音波形信号を示す特定データ、前記算出された特徴量を示す特徴量データ、および前記取得された楽音データに対応するメタデータを対応付けて、音素材データベースに登録する登録手段として機能させるためのプログラムを提供する。
【発明の効果】
【００１２】
本発明によれば、音素材の抽出元となった楽音波形信号に関する情報を利用して、ユーザが所望の音素材をデータベースから選択可能にすることができる。
【図面の簡単な説明】
【００１３】
【図１】本発明の実施形態における楽音処理装置の構成を説明するブロック図である。
【図２】本発明の実施形態における波形ＤＢの例を説明する図である。
【図３】本発明の実施形態における音素材ＤＢの例を説明する図である。
【図４】本発明の実施形態における特定データにより表される音素材の内容を説明する図である。
【図５】本発明の実施形態における分類テンプレートの例を説明する図である。
【図６】本発明の実施形態における音素材抽出機能および修正機能の構成を説明するブロック図である。
【図７】本発明の実施形態における解析期間指定表示の例を説明する図である。
【図８】本発明の実施形態における抽出完了表示の例を説明する図である。
【図９】本発明の実施形態における期間修正表示の例を説明する図である。
【図１０】本発明の実施形態におけるデータ検索機能の構成を説明するブロック図である。
【図１１】本発明の実施形態における検索条件設定表示の例を説明する図である。
【図１２】本発明の実施形態における検索結果表示の例を説明する図である。
【図１３】図１２において、選択されたタグデータが切り替えられたときの検索結果表示の例を説明する図である。
【図１４】本発明の実施形態における音素材決定表示の例を説明する図である。
【発明を実施するための形態】
【００１４】
＜実施形態＞
［概要］
本発明の実施形態における楽音処理装置は、パーソナルコンピュータ、携帯電話、ＰＤＡ（Personal Digital Assistant）、タブレット端末などの情報処理装置であり、ＯＳ（Operating System）上で特定のアプリケーションプログラムを実行することにより、ＤＡＷ（Digital Audio Workstation）と呼ばれる機能が実現される装置である。この楽音処理装置において実現されるＤＡＷにおいては、楽音波形信号の一部として抽出される音素材を用いて楽音を発生させるための制御を行う機能も実現される。また、楽音波形信号から音素材を抽出する機能、音素材をデータベースから検索する機能など、以下に説明する各機能も実現される。ＤＡＷを実現するアプリケーションプログラムの実行中においてサブルーチンのプログラムが実行されることにより、これらの各機能が実現される。
【００１５】
［楽音処理装置１０の構成］
図１は、本発明の実施形態における楽音処理装置１０の構成を説明するブロック図である。楽音処理装置１０は、制御部１１、操作部１２、表示部１３、インターフェイス１４、記憶部１５、および音響処理部１６を有する。これらの各構成はバスを介して接続されている。また、楽音処理装置１０は、音響処理部１６に接続されたスピーカ１６１およびマイクロフォン１６２を有する。
【００１６】
制御部１１は、ＣＰＵ（Central Processing Unit）、ＲＡＭ（Random Access Memory）、ＲＯＭ（Read Only Memory）などを有する。制御部１１は、ＲＯＭまたは記憶部１５に記憶された各種プログラムを実行することにより、各種機能を実現する。この例においては、制御部１１によるプログラムの実行には、ＤＡＷを実現するアプリケーションプログラムの実行、上述のサブルーチンのプログラムの実行が含まれる。サブルーチンのプログラムとしては、記憶部１５に記憶された再生プログラム、抽出プログラム、修正プログラム、および検索プログラムが含まれ、ユーザの指示に応じて実行される。
【００１７】
再生プログラムは、ＤＡＷにおいて楽音の発音内容を規定するシーケンスデータを再生し、楽音を発音させる処理を行う再生機能を実現するためのプログラムである。この再生機能においては、以下に説明するシーケンスデータにおける各トラックのデータを再生して楽音波形信号を合成し、スピーカ１６１から出力させる機能である。
抽出プログラムは、記憶部１５に記憶されている波形ＤＢに登録された波形データが示す楽音波形信号、再生機能により合成される楽音波形信号など、様々な楽音波形信号から音素材を抽出する音素材抽出機能を実現するためのプログラムである。
修正プログラムは、抽出された音素材のデータに修正を加える修正機能を実現するためのプログラムである。
検索プログラムは、記憶部１５に記憶されている音素材ＤＢから、検索条件に基づいて音素材を検索するデータ検索機能を実現するためのプログラムである。音素材抽出機能、修正機能、およびデータ検索機能の詳細については、後述する。
これらの各機能構成の一部または全部により、楽音処理装置１０において、本発明のデータ処理装置が実現される。
【００１８】
操作部１２はユーザによる操作を受け付ける操作ボタン、キーボード、マウス、タッチパネルなどの操作手段を有し、それぞれに受け付けられた操作の内容を示す操作データを制御部１１に出力する。これにより、ユーザからの指示が楽音処理装置１０に入力される。
表示部１３は、液晶ディスプレイなどの表示デバイスであり、制御部１１の制御に応じた内容の表示を表示画面１３１に行う。表示画面１３１に表示される内容は、メニュー画面、設定画面などの他、実行されたプログラムによって様々な内容となる（図７〜図９、図１１〜図１４参照）。
【００１９】
インターフェイス１４は、外部装置と接続して有線または無線により通信し、各種データの送受信をする機能を有する。また、インターフェイス１４には、外部装置からオーディオデータが入力されるＡＵＸ（Auxiliary）端子も設けられている。インターフェイス１４は、外部装置から入力された各種データを制御部１１に出力する一方、制御部１１からの制御により、外部装置へ各種データを出力する。なお、ＡＵＸ端子にアナログ信号が入力される場合には、Ａ／Ｄ変換（アナログデジタル変換）が施される。
【００２０】
マイクロフォン１６２は、入力された音の内容を示す楽音波形信号を音響処理部１６に出力する。
音響処理部１６は、ＤＳＰ（Digital Signal Processor）などの信号処理回路などを有する。この例においては、音響処理部１６は、マイクロフォン１６２から入力される楽音波形信号をＡ／Ｄ変換し、オーディオデータとして制御部１１に出力する。また、音響処理部１６は、制御部１１から出力されたオーディオデータを、制御部１１によって設定された音響処理、Ｄ／Ａ変換（デジタルアナログ変換）処理、増幅処理などの信号処理などを施して、楽音波形信号としてスピーカ１６１に出力する。
スピーカ１６１は、音響処理部１６から入力された楽音波形信号が示す音を出力する。
【００２１】
記憶部１５は、ハードディスク、フラッシュメモリなどの不揮発性メモリであって、上記の各種プログラムを記憶する記憶領域を有する。また、記憶部１５は、各種プログラムが実行されているときに用いられるシーケンスデータ、音素材データベース（以下、音素材ＤＢと記す）、波形データベース（以下、波形ＤＢと記す）、および分類テンプレートをそれぞれ記憶する記憶領域を有する。
【００２２】
図２は、本発明の実施形態における波形ＤＢの例を説明する図である。波形ＤＢは、楽音波形信号を示す波形データＷ１、Ｗ２、・・・が登録され、それぞれにはタグデータが対応付けられている。図２に示す例においては、波形データＷ１には、タグデータｔｇ１、ｔｇ４、ｔｇ８、・・・が対応付けられていることを示している。
これらの波形データが示す楽音波形信号は、楽曲、特定の楽器音、音素材など様々な内容のいずれかであり、その長さについても１秒未満から数分以上まで様々である。また、ループして用いられるものが存在してもよい。ループして用いられる波形データであっても、その一部の区間を用いてループしない波形データとして用いてもよい。なお、この例における波形データについては、複数チャンネル（例えばＬｃｈ、Ｒｃｈ）のデータが含まれている。以下の説明においては、楽音波形信号を示す波形データ、オーディオデータなどの各データは、Ｌｃｈ、Ｒｃｈの２ｃｈにより構成されているものとするが、より多くのチャンネル数で構成されていてもよいし、モノラル（１ｃｈ）で構成されていてもよい。
【００２３】
タグデータｔｇ１、ｔｇ２、・・・は、波形データをその特徴に応じて分類するためのメタデータである。この特徴とは、例えば、「Ｒｏｃｋ」、「Ｊａｚｚ」、「Ｐｏｐｓ」などのジャンル、「ｐｉａｎｏ」、「ｇｕｉｔａｒ」、「Ｂａｓｓ」、「Ｄｒｕｍｓ」などの楽器を示している。これらの特徴は、波形データ作成者などによって決められたもの、所定のアルゴリズムにより波形データを解析して決められたものなど、波形ＤＢに波形データが登録されるときに予め決められたものである。これらの各特徴は、タグデータにそれぞれ割り振られ、例えば、ｔｇ１は「Ｒｏｃｋ」、ｔｇ８は「ｐｉａｎｏ」というように割り振られている。各タグデータは、ジャンル、楽器などの分野ごとに区別されていてもよい。ここで、１つの波形データには、同じ分野のタグデータが複数対応付けられる場合もある。例えば、１つの波形データに、ジャンルを示す「Ｒｏｃｋ」のタグデータおよび「Ｐｏｐｓ」のタグデータ双方が対応付けられることもある。
【００２４】
なお、タグデータには、その他にも、「明るい」、「暗い」、「速い」、「遅い」などの曲調を示す特徴、「楽曲」、「楽器音」、「音素材」などのデータ種別を示す特徴、といった様々な特徴が割り当てられてもよい。また、メタデータは、この例においてはタグの形式で示されたデータであるが、どのような形式で示されたデータであってもよい。
【００２５】
図３は、本発明の実施形態における音素材ＤＢの例を説明する図である。音素材ＤＢは、音素材の内容を特定する情報が登録されている。図３に示すように、音素材の内容を特定する情報は、音素材の楽音波形信号の内容を特定する特定データ、音素材の楽音波形信号の特徴を示す特徴量データを含む。また、上述したタグデータについても各音素材に対応付けられている。タグデータが対応付けられて音素材ＤＢに登録される音素材は、音素材抽出機能によって抽出されたものである。
【００２６】
特定データは、波形ＤＢに登録された波形データのいずれかを指定する波形指定情報と、その波形データにおけるデータ範囲を時刻で指定する時刻指定情報との組み合わせにより構成されている。この例においては、時刻指定情報によって指定される時刻は、波形データのデータ先頭からの時刻として決められている。ここで、波形指定情報が示す波形データがループして用いられるものである場合には、データ範囲における開始位置の時刻が、終了位置の時刻より後の時刻として示されていてもよい。この場合には、音素材の内容は、開始位置からデータ最後までの区間の楽音波形信号に続いて、データ先頭から終了位置までの区間の楽音波形信号を接続したものとなる。特定データによって特定される音素材については、それぞれを特定するための識別子（この例においては、ｓｎ１、ｓｎ２、・・・）が付されている。以下、特定の音素材を示す場合には、音素材ｓｎ１というように記す。
なお、特定データのうち時刻指定情報が規定されていないものについては、波形指定情報が示す波形データそのものが音素材の楽音の内容を表している。例えば、音素材ｓｎ４が示す楽音ついては、波形データＷ５が示す楽音波形信号全体で表される。
【００２７】
図４は、本発明の実施形態における特定データにより表される音素材の内容を説明する図である。図４（ａ）は、音素材ｓｎ１、ｓｎ２、ｓｎ３が示す楽音の楽音波形信号を説明する図であり、図４（ｂ）は、音素材ｓｎ４が示す楽音の楽音波形信号を説明する図である。図３に示すように、音素材ｓｎ１の内容は、波形指定情報が波形データＷ１であり、時刻指定情報がｔｓ１〜ｔｅ１として特定されている。したがって、音素材ｓｎ１に対応する楽音波形信号は、図４（ａ）に示すように、波形データＷ１が示す楽音波形信号のうち、時刻ｔｓ１〜ｔｅ１の楽音波形信号となる。同様に、音素材ｓｎ２、ｓｎ３にそれぞれ対応する楽音波形信号についても、波形データＷ１が示す楽音波形信号の一部の範囲として特定される。一方、図４（ｂ）に示すように、音素材ｓｎ４が示す楽音波形信号については、時刻指定情報が規定されていないため、波形データＷ５が示す楽音波形信号全体として特定される。以下、音素材ｓｎ１、ｓｎ２、・・・が示す楽音波形信号を表すデータを、音素材データｓｎ１、ｓｎ２、・・・として記す。
【００２８】
図３に戻って説明を続ける。特徴量データは、各音素材の楽音波形信号がもつ複数種類の特徴量ｐ１、ｐ２、・・・を示す。例えば、音素材について、周波数別（高域、中域、低域）のそれぞれの強度、振幅のピークとなる時刻（音素材データの先頭を基準とした時刻）、振幅のピーク強度、協和度、複雑さなどについての特徴量であり、音素材データを解析して得られた値である。例えば、特徴量ｐ１は、その値により音素材の高域の強度を示す。以下、特徴量データは、その特徴量ｐ１、ｐ２、・・・のそれぞれの値の組み合わせによってＰａ、Ｐｂ、・・・というように示す。また、Ｐａの特徴量ｐ１、ｐ２、・・・の値は、ｐ１ａ、ｐ２ａ、・・・というように示す。例えば、音素材ｓｎ３については、特徴量データはＰｃであり、各特徴量の組み合わせは、ｐ１ｃ、ｐ２ｃ、・・・である。この例においては、各特徴量の値は、「０」から「１」の範囲で決められている。
【００２９】
図５は、本発明の実施形態における分類テンプレートの例を説明する図である。分類テンプレートは、音素材の特徴、すなわち特徴量データの内容により分類されるカテゴリについて、特徴量の種類毎に、分類の基準およびそのカテゴリの代表的な値としての指定値が決められ、カテゴリ毎に登録されている。
このカテゴリとは、聴感上の特徴が似た音素材毎に分類されたものであり、例えば、アタックが明瞭でエッジ感が強い音として分類されるカテゴリ（例えば、エッジ音）、ノイズのように聞こえる音として分類されるカテゴリ（例えば、テクスチャ音）などとして分類される。分類されるカテゴリは、その内容に応じてカテゴリＣ１、カテゴリＣ２、・・・として示す。
【００３０】
分類の基準は、各特徴量について、最小値と最大値が決められている。そのため、音素材は、その各特徴量が分類の基準を満たすカテゴリに分類される。例えば、カテゴリＣ１に分類される音素材は、特徴量ｐ１が「０．１」から「０．５」の範囲、特徴量ｐ２が「０．０」から「０．２」の範囲を満足していることになる。
指定値は、上述したようにカテゴリの代表的な特徴量の値である。例えば、カテゴリＣ２は、指定値として、特徴量ｐ１が「０．５」、特徴量ｐ２が「０．５」ということになる。一方、カテゴリＣ１における特徴量ｐ２の指定値のように、値が決められていない場合には、代表的な値が無いものとして扱われる。
【００３１】
図１に戻って説明を続ける。シーケンスデータは、時系列に発音内容を規定する複数のトラックを有している。各トラックは、この例においては、オーディオトラック、ＭＩＤＩ（Musical Instrument Digital Interface）トラック、音素材トラックのうち、いずれかの種類のトラックが割り当てられている。
【００３２】
ＭＩＤＩトラックは、ノートオン、ノートオフ、ノートナンバ、ベロシティなどのＭＩＤＩイベントと、これらのイベントの処理タイミング（例えば、トラックのデータ開始からの小節数、拍数、ティック数などにより表される）との関係を規定するトラックである。このように、ＭＩＤＩトラックは、この例においては、一般的に用いられるＭＩＤＩ形式で規定されているものとするが、イベントに応じた発音内容の楽音波形信号を生成する音源などを制御するための情報が規定されたトラックであれば、他の形式によって規定されていてもよい。
【００３３】
オーディオトラックは、オーディオデータとそのデータの再生開始タイミングが規定されたトラックである。オーディオデータとしては、波形ＤＢに記憶された波形データであってもよいし、別途入力された楽音波形信号を示すデータであってもよい。また、再生開始タイミングは、上記の処理タイミングと同様に、トラックのデータ開始からの小節数、拍数、ティック数により表される。なお、オーディオデータの再生音量を示す情報など他の情報が含まれていてもよい。
【００３４】
音素材トラックは、音素材データとそのデータの再生開始タイミングが規定されたトラックである。音素材データは、音素材ＤＢにおいて各音素材の識別子により特定される。また、再生開始タイミングは、上記の処理タイミングと同様に、トラックのデータ開始からの小節数、拍数、ティック数により表される。なお、音素材データは、音素材の識別子により特定されるのではなく、音素材の特徴量データによって特定されてもよい。この場合には、再生機能において、音素材トラックに規定された特徴量データに最も類似した特徴量データが音素材ＤＢから特定され、特定された特徴量データに対応する音素材データが再生すべき音素材データとして特定されるようにすればよい。
以上が、楽音処理装置１０のハードウエア構成についての説明である。
【００３５】
［音素材抽出機能および修正機能］
次に、楽音処理装置１０の制御部１１が抽出プログラムを実行することによって実現される音素材抽出機能について説明する。また、制御部１１が修正プログラムを実行することによって実現される修正機能についても併せて説明する。なお、以下に説明する音素材抽出機能および修正機能を実現する各構成の一部または全部については、ハードウエアによって実現してもよい。
【００３６】
図６は、本発明の実施形態における音素材抽出機能および修正機能の構成を説明するブロック図である。制御部１１が抽出プログラムを実行すると、取得部１１０、抽出部１２０および登録部１３０を有する音素材抽出機能部１００が構成され、音素材抽出機能が実現される。また、制御部１１が修正プログラムを実行すると、修正部２００が構成され、修正機能が実現される。
【００３７】
取得部１１０は、操作部１２により入力されるユーザの指示に応じて、波形ＤＢに登録された波形データから、一の波形データを取得し、抽出部１２０に出力する。
【００３８】
抽出部１２０は、音素材特定部１２１および特徴量算出部１２２を有し、音素材特定部１２１および特徴量算出部１２２の処理により、入力された波形データから音素材を抽出して、その音素材の特徴量を算出する。そして、抽出部１２０は、波形データが示す楽音波形信号のうち、抽出した音素材に対応する区間を示す情報と、算出した特徴量を示す特徴量データとを登録部１３０に出力する。このとき、抽出に用いた波形データ（抽出部１２０に入力された波形データ）を特定する情報についても出力する。
以下、音素材特定部１２１および特徴量算出部１２２の機能について説明する。
【００３９】
特徴量算出部１２２は、抽出部１２０に入力された波形データが示す楽音波形信号（以下、抽出元楽音波形信号という）のうち、音素材特定部１２１に指示された区間における特徴量を算出して、算出結果を音素材特定部１２１に出力する。
【００４０】
音素材特定部１２１は、抽出元楽音波形信号から、音量変化が一定以上の変化をするオンセットを検出し、オンセットから予め決められた時間の範囲のうち、様々な区間を特徴量算出部１２２に指示し特徴量を算出させる。音素材特定部１２１は、算出された各区間の特徴量のうち、予め決められた特定の条件を満たす特徴量の区間を、波形データから抽出した音素材に対応する抽出元楽音波形信号における区間として特定する。音素材特定部１２１は、入力された波形データ全体から、音素材の抽出を行って、音素材に対応する抽出元楽音波形信号における区間を特定していく。なお、このように波形データから音素材を抽出する方法については公知の方法のいずれも用いること可能であるが、例えば、特開２０１０−１９１３３７号公報に開示された方法を用いればよい。
【００４１】
そして、音素材特定部１２１は、抽出した音素材毎に、それぞれ特定した区間（以下、特定区間という）を示す情報と、この区間に対応して算出された特徴量を示す特徴量データとを出力し、入力された波形データを特定する情報（例えば、波形指定情報）についても出力する。
【００４２】
登録部１３０は、入力された波形指定情報が示す波形データに対応するタグデータを、波形ＤＢから読み出す。そして、登録部１３０は、入力された波形指定情報と、特定区間をデータ範囲とした時刻指定情報とを示す特定データ、特徴量データ、および読み出したタグデータを記憶部１５に出力し、抽出した音素材毎に音素材ＤＢに登録する。
【００４３】
また、登録部１３０は、抽出部１２０に入力された波形データのうち、特定区間の楽音波形信号を切り出した波形データを、波形ＤＢに登録する場合もある。この場合には、登録部１３０が音素材ＤＢに登録する特定データには時刻指定情報が含まれない。一方、この特定データにおける波形指定情報は、登録部１３０に入力された波形指定情報ではなく、この処理において波形ＤＢに登録した波形データを示すものとして登録される。すなわち、特定データは、波形データ全体を音素材として特定することで、音素材の楽音波形信号を示していることになる。
また、この例においては、登録部１３０は、波形データを波形ＤＢに登録するときには、入力された波形指定情報が示す波形データに対応するタグデータを、新たに登録した波形データに対応するタグデータとして対応付け、また、音素材ＤＢに登録する音素材に対応するタグデータとする。
【００４４】
登録部１３０による上記２種類の登録方法（波形ＤＢに波形データを登録しない場合、切り出した波形データを登録する場合）のいずれを適用するかについては、ユーザが予め設定すればよい。この例においては、前者の登録方法は「ｍｏｄｅ１」、後者の登録方法は「ｍｏｄｅ２」として設定される。なお、この登録方法については、登録部１３０が予め決められたアルゴリズムにしたがって設定してもよい。例えば、抽出部１２０において抽出された音素材の数が予め決められた数以上である場合には、「ｍｏｄｅ１」として設定され、当該数未満であれば、「ｍｏｄｅ２」として設定されればよい。また、「ｍｏｄｅ１」および「ｍｏｄｅ２」のいずれか一方の登録方法だけが用いられる構成であってもよい。以下の説明においては、「ｍｏｄｅ１」が設定されているものとして説明する。
【００４５】
修正部２００は、登録部１３０による波形ＤＢおよび音素材ＤＢへの登録前における音素材のデータ範囲（時刻指定情報）について、ユーザの指示に応じて修正する機能を有する。これにより抽出部１２０により抽出された音素材を、ユーザの要求に沿った音素材になるように調整することができる。このとき、特徴量データの内容を変更しなくてもよいし、特徴量データの内容を修正後の音素材から特徴量算出部１２２によって再算出させて更新してもよい。
なお、修正部２００は、既に登録されている音素材のデータ範囲を修正するようにしてもよい。
以上が、音素材抽出機能および修正機能についての説明である。
【００４６】
［音素材抽出機能および修正機能の動作例］
続いて、上述した抽出プログラムおよび修正プログラムが実行されたときの動作例について、表示画面１３１の表示例を参照しながら説明する。
まず、ユーザは、ＤＡＷ上において、波形データから音素材を抽出したい場合などにおいて、抽出プログラムの実行の指示を楽音処理装置１０に対して入力する。これにより、表示画面１３１には、波形ＤＢから波形データをユーザに選択させる表示がなされる。そして、ユーザが音素材を抽出したい波形データを選択すると、表示画面１３１には、図７に示す内容（解析期間指定表示）の表示がなされる。
【００４７】
図７は、本発明の実施形態における解析期間指定表示の例を説明する図である。表示画面１３１には、選択された波形データの楽音波形信号ｗｄ１および楽音波形信号ｗｄ１の一部を拡大表示した楽音波形信号ｗｄ２が表示されている。また、表示画面１３１には、楽音波形信号ｗｄ１のうち楽音波形信号ｗｄ２の表示範囲を規定するための表示範囲ウインドウｗｓが表示される。ユーザは表示範囲ウインドウｗｓの位置および範囲を変更する指示を入力すると、制御部１１は、表示範囲ウインドウｗｓの位置および範囲を変更し、その変更内容に応じて波形ｗｄ２の表示も変更する。
【００４８】
表示画面１３１には、選択した波形データの楽音信号波形のうち、抽出元楽音信号波形とする期間（以下、解析期間ｔｗという）を指定するための範囲指定矢印（開始指定矢印ａｓおよび終了指定矢印ａｅ）が表示される。ユーザが範囲指定矢印の位置を、ポインタｐｔなどを用いて指定すると、その間が解析期間ｔｗとして指定される。範囲の指定方法は、上記に限らず、拍数や時間をなんらかの入力手段で数値入力してもよい。
表示画面１３１には、指定された解析期間ｔｗの波形データを再生してスピーカ１６１から出力させる指示をユーザから受け付けるための試聴ボタンｂ１、指定された解析期間ｔｗを確定するための確定ボタンｂ２が表示される。ユーザは、ポインタｐｔなどを用いて試聴ボタンｂ１を操作して楽音の試聴をしながら所望の解析期間が決まったら、確定ボタンｂ２を操作する。なお、ユーザの操作により、全期間を解析期間とすることもできる。
確定ボタンｂ２が操作されると、表示画面１３１は、図８に示す抽出完了表示に遷移する。
【００４９】
図８は、本発明の実施形態における抽出完了表示の例を説明する図である。図８に示すように、表示画面１３１には、解析期間の波形データである抽出元楽音波形信号ｗｖ、抽出した音素材の期間（特定区間）を示す表示（この図における音素材ｓｎａ、ｓｎｂ、ｓｎｃ、ｓｎｄ）、各音素材に対応した特徴量データから分類されるカテゴリを示す表示（この図におけるアイコンｉｃａ、ｉｃｂ、ｉｃｃ、ｉｃｄ）が表示される。また、特定区間を修正するための修正ボタンｂ３、抽出した音素材をデータベースに登録するための登録ボタンｂ４についても、表示画面１３１に表示される。
【００５０】
ユーザは、音素材に対応する部分（例えばアイコンｉｃａ、ｉｃｂ、ｉｃｃ、ｉｃｄ）をポインタｐｔにより操作すると、対応する音素材の楽音波形信号が示す音が、制御部１１の制御によってスピーカ１６１から出力されるようになっている。
ユーザがスピーカ１６１から出力された音を試聴して、音素材の特定区間について修正する必要がない場合など、ユーザによって登録ボタンｂ４が操作されると、登録部１３０は、上述したように、音素材に関する各データ（特定データ、特徴量データ、タグデータ）を音素材ＤＢに登録する。
一方、ユーザが音素材の特定区間について修正したいと考えた場合など、ユーザによって修正ボタンｂ３が操作された場合には、修正プログラムが実行され、表示画面１３１は、図９に示す期間修正表示に遷移する。
【００５１】
図９は、本発明の実施形態における期間修正表示の例を説明する図である。図９に示すように、表示画面１３１には、最後に試聴した音素材の部分が拡大表示される。この例においては、最後に試聴した音素材は、音素材ｓｎｂであったものとする。また、音素材に対応する楽音波形信号の期間（特定区間）を調整するための範囲指定矢印（開始指定矢印ａｓおよび終了指定矢印ａｅ）が表示される。
その他、範囲指定矢印によって指定された期間の楽音波形信号が示す音を試聴するための試聴ボタンｂ５、範囲指定矢印によって指定された期間の楽音波形信号を音素材に対応する楽音波形信号として確定させる確定ボタンｂ６が表示画面１３１に表示される。
【００５２】
ユーザは、範囲指定矢印を操作して楽音波形信号の期間を調整し、試聴ボタンｂ５を操作して試聴する行為を繰り返すことにより、所望の音素材になるように楽音波形信号の期間を指定する。図９においては、開始時刻ｔｓｂ、終了時刻ｔｅｂとして規定される期間の楽音波形信号に対応する音素材ｓｎｂ１が指定されたものとする。そして、ユーザは、確定ボタンｂ６を操作すると、抽出された音素材ｓｎｂが、ユーザによって指定された音素材ｓｎｂ１に修正される。
【００５３】
そして、上述したとおり、ユーザによって登録ボタンｂ６が操作されると、登録部１３０は、上述したように、音素材に関する各データ（特定データ、特徴量データ、タグデータ）を音素材ＤＢに登録する。このとき、修正された音素材については、修正後の音素材に対応する特定データが音素材ＤＢに登録される。特徴量データについては、修正前に算出された特徴量を示すものであってもよいし、修正後の音素材が示す楽音波形信号について特徴量算出部１２２が再計算した特徴量を示すものであってもよい。いずれにするかは、ユーザの指示に応じて決定されればよい。
このようにして音素材に対応する楽音波形信号の開始時刻をずらすことにより、音の立ち上がり感を調整したり、終了時刻をずらすことにより残響感を調整したりすることができる。
以上が、抽出プログラム、修正プログラムが実行されたときの動作例の説明である。
【００５４】
［データ検索機能構成］
次に、楽音処理装置１０の制御部１１が検索プログラムを実行することによって実現されるデータ検索機能について説明する。なお、以下に説明する検索機能を実現する各構成の一部または全部については、ハードウエアによって実現してもよい。
【００５５】
図１０は、本発明の実施形態におけるデータ検索機能の構成を説明するブロック図である。制御部１１が検索プログラムを実行すると、表示制御部３１０、条件決定部３２０、特徴特定部３３０、および楽音特定部３４０を有するデータ検索部３００が構成され、データ検索機能が実現される。
【００５６】
表示制御部３１０は、特徴特定部３３０から指示された音素材データを示す画像（データ名称、対応する特徴量データに応じた画像などの音素材データを示す情報）を表示画面１３１に表示させる（以下、単に「音素材データを表示させる」という）。また、表示制御部３１０は、操作部１２から入力されるユーザの指示に応じて表示画面１３１における表示内容を変化させる。表示内容としては、データ検索機能に関する様々な内容（図１１〜図１４）であり、例えば、検索条件を指定する表示などが含まれる。表示画面１３１に表示される内容の具体例については、後述する動作例において説明する。
【００５７】
条件決定部３２０は、ユーザからの指示によって、分類テンプレートから特定のカテゴリが指定されると、そのカテゴリにおける各種類の特徴量の指定値を第１の検索条件として決定して、第１の検索条件を示す情報を特徴特定部３３０に出力する。また、条件決定部３２０は、ユーザからの指示によって、タグデータが指定されると、そのタグデータを第２の検索条件として決定して、第２の検索条件を示す情報を特徴特定部３３０に出力する。また、この例においては、上述のようにしてユーザに指定されたカテゴリにおける各種類の特徴量の上限値および下限値（分類基準）についても第２の検索条件に含まれている。
【００５８】
特徴特定部３３０は、上述のようにして決定された第１の検索条件に類似する特徴量データを、第２の検索条件にしたがって音素材ＤＢから検索して特定する。具体的には、以下のように検索を行う。
特徴特定部３３０は、まず、音素材ＤＢに登録された各音素材の特徴量データのうち、第２の検索条件に含まれる分類基準を満たし、かつ、指定されたタグデータが対応付けられているものを、第１の検索条件との距離計算の対象、すなわち検索対象となる特徴量データとして絞り込む。特徴特定部３３０は、絞り込んだ各特徴量データについて、予め決められた類似度計算方法にしたがって、第１の検索条件との類似度の計算を行う。類似度計算方法とは、類似の度合いを計算する方法であって、この例においては、ユークリッド距離計算であるものとする。なお、類似度計算方法については、マハラノビス距離計算、コサイン類似度計算など、ｎ次元ベクトルの距離またはｎ次元ベクトルの類似度を算出する方法を用いた計算方法であれば、どのようなものであってもよい。このｎ次元ベクトルは、類似度の計算において比較対象となる特徴量の種類の数に相当する。
また、類似度の計算において、第１の検索条件としてカテゴリにおける指定値が決められていない特徴量の種類（例えば、カテゴリＣ１の特徴量ｐ２）については、距離計算には用いない。
【００５９】
この計算結果から、特徴特定部３３０は、予め決められた値よりも類似度が高い（距離が近い）特徴量データを特定する。そして、特徴特定部３３０は、特定した特徴量データに対応する音素材データを示す情報を、楽音特定部３４０に出力する。また、特徴特定部３３０は、特定した特徴量データに対応する音素材データを示す情報を類似度と対応付けて表示制御部３１０に出力する。これにより、表示画面１３１には、検索結果として、その音素材データが類似順に表示される。なお、表示画面１３１には、特徴データの類似度が高い方から予め決められた数の音素材データが表示されるようにしてもよい。
【００６０】
楽音特定部３４０は、表示画面１３１に検索結果として表示された音素材データから、所望の音素材データとしてユーザによって選択された音素材データを特定する。このようにして特定された音素材データは、この例においては、シーケンスデータの音素材トラックを作成するときに用いられる音素材の識別子を特定するために用いられる。
以上が、データ検索機能についての説明である。
【００６１】
［データ検索機能の動作例］
続いて、上述した検索プログラムが実行されたときの動作例について、表示画面１３１の表示例を参照しながら説明する。
まず、ユーザは、ＤＡＷ上においてシーケンスデータの作成に用いる音素材を音素材ＤＢから選択したい場合などにおいて、検索プログラムの実行の指示を楽音処理装置１０に対して入力する。このようにすると、表示画面１３１には、図１１に示す検索条件設定表示がなされる。
【００６２】
図１１は、本発明の実施形態における検索条件設定表示の例を説明する図である。表示画面１３１の上部にはメニュー領域ＭＡが設けられ、下部には登録領域ＷＡが設けられる。メニュー領域ＭＡは、検索プログラムの実行開始、データの保存、検索プログラムの実行停止など様々な指示をする操作を行うために設けられた領域である。登録領域ＷＡは、検索した結果として選んだ音素材データを登録するための領域であり、その領域内には、音素材データを登録する楽音登録領域ＷＡ１、ＷＡ２、・・・、ＷＡ７を持つ。カーソルＣｓ２は、選んだ音素材データをどの領域に登録するかを選択するものである。
【００６３】
カテゴリ領域ＣＡは、分類テンプレートに登録されているカテゴリを表示する領域である。この例においては、カテゴリＣ１、Ｃ２、・・・Ｃ７、およびＣ８の一部が表示されている。この領域内は上下にスクロール可能であり、Ｃ８以降については、スクロールすることで表示されるようになる。ここでは、カーソルＣｓ１がカテゴリＣ２を選択している状態を示す。
【００６４】
また、第２の検索条件のうち、分野毎にタグデータを指定するための選択ボックスＳＢ１、ＳＢ２が表示されている。この例においては、選択ボックスＳＢ１は、ジャンルの分野のタグデータを選択して指定するものであり、選択ボックスＳＢ２は、楽器の分野のタグデータを選択して指定するものである。ここでは、ジャンルとして、「Ｒｏｃｋ」のタグデータが選択され、楽器として、「Ｐｉａｎｏ」が選択されている状態を示す。ユーザは、例えば、ポインタｐｔを用いて、カーソルＣｓ１、Ｃｓ２の位置の変更、選択ボックスＳＢ１、ＳＢ２の内容の変更を行い、決定ボタンｂ７を操作することにより、選択された内容で第１の検索条件および第２の検索条件の指定を行う。なお、選択ボックスＳＢ１においては、いずれか１つのジャンルを選択する場合に限らず、複数のジャンルを選択できるようにしてもよい。選択ボックしＳＢ２についても同様である。
【００６５】
ユーザによって、第１の検索条件および第２の検索条件が指定されると、条件決定部３２０による第１の検索条件および第２の検索条件の決定がなされて、特徴特定部３３０における処理が開始される。そして、表示画面１３１は、図１２に示す検索結果表示に遷移する。
【００６６】
図１２は、本発明の実施形態における検索結果表示の例を説明する図である。検索結果領域ＳＡは、特徴特定部３３０によって特定された特徴量データに対応した音素材データ（ｓｎ５、ｓｎ３、ｓｎ１、・・・など）が検索結果として表示される領域であり、カテゴリ領域と同様に上下にスクロール可能になっている。ここに表示される音素材データは、上述したように、第１の検索条件および第２の検索条件により、特徴特定部３３０によって音素材ＤＢから検索され特定された特徴データに対応するものであり、この例においては、類似しているほど（距離が近いほど）上位に表示される。破線カーソルＣｍは、検索条件設定表示においてユーザによって指定されたカテゴリ（図１１参照）を示している。
【００６７】
図１３は、図１２において、選択されたタグデータが切り替えられたときの検索結果表示の例を説明する図である。図１２に示す表示において、ユーザが選択ボックスＳＢ１を操作して、ジャンルについて「Ｒｏｃｋ」から「Ｊａｚｚ」へ、選択するタグデータを切り替えると、検索結果領域ＳＡに表示される音素材データが変更されて検索結果表示が図１３に示す内容に切り替わる。これは、ユーザが選択するタグデータが切り替わることで、ユーザによって指定される第２の検索条件の内容が変更されることになり、検索対象となる特徴量データが変更されるためである。
【００６８】
図１３に示す検索結果領域ＳＡに表示された音素材データのうち、図１２に示す検索結果領域ＳＡに表示された音素材データと同じもの、異なるもののそれぞれが存在する。双方に表示された音素材データについては、対応するタグデータに「Ｒｏｃｋ」、「Ｊａｚｚ」の双方が含まれる。一方、図１２に示す検索結果領域ＳＡにおいて表示されず、図１３に示す検索結果領域ＳＡにおいて表示された音素材データについては、対応するタグデータには、「Ｒｏｃｋ」が含まれず「Ｊａｚｚ」が含まれていることになる。逆に、図１３に示す検索結果領域ＳＡにおいて表示されず、図１２に示す検索結果領域ＳＡにおいて表示された音素材データについては、対応するタグデータには、「Ｊａｚｚ」が含まれず「Ｒｏｃｋ」が含まれていることになる。
【００６９】
図１２、図１３に示すような検索結果表示において、ユーザがカーソルＣｓ１を上下に移動させることにより、カーソルＣｓ１によって選択される音素材データが変化すると、制御部１１は、音素材データが示す音素材の楽音波形信号を、音響処理部１６を介してスピーカ１６１に供給する。例えば、図１２に示す検索結果表示において、カーソルＣｓ１が選択する音素材データが音素材データｓｎ３から音素材データｓｎ５に変化すると、音素材データｓｎ５に対応する楽音がスピーカ１６１から発音される。これにより、ユーザは、カーソルＣｓ１によって選択された音素材データに対応する音素材の内容を聴取することができる。
ユーザは、カーソルＣｓ１の移動に伴う発音を確認しながら、所望の音素材が決まった場合には、所望の音素材に対応する音素材データにカーソルＣｓ１を移動させて決定ボタンｂ７を操作することで、ユーザによって選択された音素材データが楽音特定部３４０によって特定される。そして、表示画面１３１は、図１４に示す音素材決定表示に遷移する。
【００７０】
図１４は、本発明の実施形態における音素材決定表示の例を説明する図である。楽音特定部３４０によって音素材データ（この例においては音素材データｓｎ１１）が特定されると、カーソルＣｓ２が選択する楽音登録領域ＷＡ１には、特定された音素材データを示す情報（音素材データｓｎ１１を示す「１１」）が表示される。このように、楽音登録領域ＷＡ１、ＷＡ２、・・・に登録された音素材データについては、上述したように、音素材トラックを作成するときの音素材の識別子を特定するために用いられる。
【００７１】
このように、ユーザは、第２の検索条件として指定するタグデータを変更することにより、検索対象となる音素材データを絞り込むことができるから、所望の音素材を選択しやすくなる。このタグデータは、元々、抽出元楽音波形信号に対応付けられていた情報を利用して、音素材に対応付けられたものである。そのため、ユーザが各音素材に対応するタグデータを別途入力しなくても、効率的に所望の音素材を選択することができるようになる。
【００７２】
＜変形例＞
以上、本発明の実施形態について説明したが、本発明は以下のように、様々な態様で実施可能である。
［変形例１］
上述した実施形態において、ユーザは、音素材を抽出したい波形データを波形ＤＢから選択していたが、ユーザは、音素材が抽出されていない波形データを全てが選択されるように操作することも可能である。これは、例えば、外部の記憶媒体などを利用して、波形ＤＢに新たな波形データが追加された場合に、追加した波形データからまとめて音素材を抽出する場合に使えばよい。この場合には、音素材抽出機能部１００における取得部１１０が、追加された波形データを順に取得し、抽出された音素材が音素材ＤＢに登録されるようにすればよい。また、波形ＤＢに新たな波形データが追加された場合には、ユーザの操作にかかわらず、自動的に音素材の抽出がなされ、音素材ＤＢに登録されるようにしてもよい。
【００７３】
［変形例２］
上述した実施形態においては、音素材を抽出する対象となる波形データは、予め波形ＤＢに登録されていたが、登録されていないデータであってもよい。例えば、外部から入力された楽音波形信号であってもよいし、再生機能によりシーケンスデータを再生した場合に得られる楽音波形信号であってもよい。すなわち、音素材を抽出する対象は、波形データにかかわらず、楽音波形信号を示す楽音データであればよい。この場合には、この楽音データまたは楽音データから抽出された音素材データ（抽出された楽音波形信号が示す波形データ）が波形ＤＢに登録されるようにすればよい。
【００７４】
また、この楽音データにメタデータが付加されている場合には、そのメタデータをタグデータとして用いたり、既に用いられるものに近いタグデータに変換して用いたりすればよい。一方、メタデータが付加されていない場合には、音素材に対応付けるタグデータをユーザが入力してもよい。また、制御部１１は、楽音データが示す楽音波形信号を解析して、解析結果に応じて、音素材に対応付けるタグデータを決定するようにしてもよい。なお、タグデータを対応付けずに音素材ＤＢに登録されるようにしてもよい。
【００７５】
［変形例３］
上述した実施形態において、音素材を抽出したい波形データとしてユーザによって選択された波形データが、予め決められた時間長より短い楽音波形信号を示す場合には、抽出部１２０は、楽音波形信号の一部を音素材として抽出するのではなく、全体を音素材として扱うようにしてもよい。この場合には、特徴量算出部１２２において算出される特徴量は、波形データが示す楽音波形信号全体の特徴を示すものとなる。
【００７６】
［変形例４］
上述した実施形態においては、第１の検索条件は、分類テンプレートによって示されるカテゴリがユーザによって指定されることで決定されていたが、ユーザによって各種類の特徴量が個別に指定されることで決定されてもよい。また、指定された内容が分類テンプレートに登録されるようにしてもよい。
【００７７】
［変形例５］
上述した実施形態において、登録部１３０は、音素材ＤＢへの音素材の登録に伴い、登録した音素材とその発音タイミングとを規定する音素材トラックに対応するシーケンスデータを記憶部１５に記憶するようにしてもよい。すなわち、１つの波形データの抽出元楽音波形信号から抽出された音素材の識別子と、音素材に対応する特定区間の始まりの時刻を示す情報とを対応付けたデータを記憶部１５に記憶すればよい。
ここで、特定区間の始まりの時刻は、楽音波形信号の先頭から経過時間に対応する絶対的な時刻である一方、音素材トラックについては、発音タイミングが小節数、拍数、ティック数などの相対的な時刻として表される。そのため、登録部１３０は、予め決められたテンポ（例えば、テンポ＝１２０（１拍０．５秒））を基準とすることによって、絶対的な時刻から相対的な時刻に変換して、音素材トラックとして記憶する。
このようにして記憶された音素材トラックは、再生機能によって上記テンポで再生されると、抽出元楽音波形信号のうち、抽出された音素材部分が発音され、それ以外の部分がミュートされたような発音内容としてスピーカ１６１から出力されることになる。
【００７８】
［変形例６］
上述した実施形態においては、検索結果領域ＳＡに表示される音素材データの表示順が類似順を表すようになっていたが、順番以外の表示態様で類似順が表されてもよい。例えば、表示の大きさ、濃さであったり、類似度を合わせて表示させたりすればよく、類似度に応じて表示態様が変化していればよい。
【００７９】
［変形例７］
上述した実施形態においては、楽音登録領域ＷＡ１、ＷＡ２、・・・に登録された音素材データについては、音素材トラックの作成などに用いられるものとしたが、他の用途に用いられてもよい。例えば、この音素材データを用いて発音する楽器、音源などにおいて用いられてもよい。楽器に用いられる場合には、音高を変化させて用いてもよいし、予め音高が異なる音素材データを記憶部１５に記憶させておいてもよい。音高が異なるだけの音素材データについては、特徴特定部３３０における検索対象にはならないようにしてもよい。このように、本発明のデータ処理装置を実現する楽音処理装置１０は、情報処理装置のほかにも、楽器、音源などにも適用することができる。
【００８０】
［変形例８］
上述した実施形態においては、波形ＤＢにおいて各波形データにはタグデータが対応付けられていたが、対応付けられていない波形データがあってもよい。タグデータが対応付けられていない波形データがユーザによって選択された場合には、この波形データから抽出された音素材については、タグデータが対応付けられない状態で音素材ＤＢに登録されてもよいし、ユーザによって入力されたタグデータが対応付けられるようにしてもよい。また、制御部１１は、この波形データが示す楽音波形信号を解析して、解析結果に応じて、音素材に対応付けるタグデータを決定するようにしてもよい。
【００８１】
また、波形ＤＢにおいて波形データにタグデータが対応付けられていても、この波形データから抽出された音素材については、音素材ＤＢに登録されるときに、このタグデータが対応付けられるのではなく、ユーザによって入力された別のタグデータが対応付けられるようにしてもよい。また、この音素材は、タグデータが対応付けられない状態で音素材ＤＢに登録されるようにしてもよい。
【００８２】
［変形例９］
上述した実施形態においては、本発明のデータ処理装置は、再生機能、音素材抽出機能、修正機能、およびデータ検索機能の各機能構成により実現されていたが、音素材抽出機能以外の各機能構成については存在しなくてもよい。
【００８３】
［変形例１０］
上述した実施形態における各プログラムは、磁気記録媒体（磁気テープ、磁気ディスクなど）、光記録媒体（光ディスクなど）、光磁気記録媒体、半導体メモリなどのコンピュータ読み取り可能な記録媒体に記憶した状態で提供し得る。また、楽音処理装置１０は、各プログラムをネットワーク経由でダウンロードしてもよい。
【符号の説明】
【００８４】
１０…楽音処理装置、１１…制御部、１２…操作部、１３…表示部、１３１…表示画面、１４…インターフェイス、１５…記憶部、１６…音響処理部、１６１…スピーカ、１６２…マイクロフォン、１００…音素材抽出機能部、１１０…取得部、１２０…抽出部、１２１…音素材特定部、１２２…特徴量算出部、１３０…登録部、２００…修正部、３００…データ検索部、３１０…表示制御部、３２０…条件決定部、３３０…特徴特定部、３４０…楽音特定部
【技術分野】
【０００１】
本発明は、楽音波形信号から抽出された音素材をデータベースに登録する技術に関する。
【背景技術】
【０００２】
断片的な音素材をデータベースに記憶し、この音素材を組み合わせて楽音を発生させる技術がある。楽音を発生させるときに用いる音素材は、データベースに登録された多数の音素材から選択することになる。特許文献１には、このデータベースに登録する音素材を、楽曲の楽音波形信号から予め決められたアルゴリズムにしたがって抽出することが開示されている。この技術においては、抽出した音素材をその特徴に応じて分類してデータベースに登録するため、ユーザは、この分類を参照して、所望の音素材をデータベースから選択することができる。
【先行技術文献】
【特許文献】
【０００３】
【特許文献１】特開２０１０−１９１３３７号公報
【発明の概要】
【発明が解決しようとする課題】
【０００４】
音素材については特徴に応じて分類されることになるが、同じジャンルの楽曲など同じような属性を有する楽曲の楽音波形信号から音素材が抽出された場合、これらの音素材は同じような特徴を持つものとして取り扱われることが望ましい。しかしながら、特許文献１に記載された技術においては、音素材としての特徴に応じた分類をするため、抽出元の楽音波形信号がどのような属性を有していたかのデータは、音素材とは対応付けられることはなかった。そのため、ユーザが所望の音素材をデータベースから選択するときには、抽出元の楽音波形信号に関する情報を用いることはできなかった。
【０００５】
本発明は、上述の事情に鑑みてなされたものであり、音素材の抽出元となった楽音波形信号に関する情報を利用して、ユーザが所望の音素材をデータベースから選択可能にすることを目的とする。
【課題を解決するための手段】
【０００６】
上述の課題を解決するため、本発明は、楽音波形信号を示す楽音データと当該楽音データを分類するためのメタデータとを対応付けた波形データベースから、前記楽音データを取得する取得手段と、前記取得された楽音データが示す楽音波形信号を解析して、予め決められた特徴を有する楽音波形信号の期間を、音素材の楽音波形信号として特定する音素材特定手段と、前記音素材の楽音波形信号を解析して特徴量を算出する特徴量算出手段と、前記音素材の楽音波形信号を示す特定データ、前記算出された特徴量を示す特徴量データ、および前記取得された楽音データに対応するメタデータを対応付けて、音素材データベースに登録する登録手段とを具備することを特徴とするデータ処理装置を提供する。
【０００７】
また、別の好ましい態様において、ユーザによって指定される前記メタデータおよび前記特徴量を検索条件として決定する条件決定手段と、前記検索条件が示す前記メタデータが対応付けられ、かつ、前記検索条件が示す特徴量に類似する特徴量データを、前記音素材データベースから検索して特定する特徴特定手段と、前記特徴特定手段によって特定された特徴量データに対応する特定データを示す情報を、検索結果として表示手段に表示させる表示制御手段とをさらに具備することを特徴とする。
【０００８】
また、別の好ましい態様において、前記音素材特定手段は、前記取得された楽音データが示す楽音波形信号のうち、ユーザによって指定された一部の期間における楽音波形信号を解析して、予め決められた特徴を有する楽音波形信号の期間を、音素材の楽音波形信号として特定することを特徴とする。
【０００９】
また、別の好ましい態様において、前記特定データは、前記取得された楽音データが示す楽音波形信号と当該楽音波形信号の前記特定された期間を示す時刻情報とにより、前記特定された期間の楽音波形信号を示すことを特徴とする。
【００１０】
また、別の好ましい態様において、前記特定データは、前記特定された期間の楽音波形信号を抽出した楽音波形信号を示すことを特徴とする。
【００１１】
また、本発明は、コンピュータを、楽音波形信号を示す楽音データと当該楽音データを分類するためのメタデータとを対応付けた波形データベースから、前記楽音データを取得する取得手段と、前記取得された楽音データが示す楽音波形信号を解析して、予め決められた特徴を有する楽音波形信号の期間を、音素材の楽音波形信号として特定する音素材特定手段と、前記音素材の楽音波形信号を解析して特徴量を算出する特徴量算出手段と、前記音素材の楽音波形信号を示す特定データ、前記算出された特徴量を示す特徴量データ、および前記取得された楽音データに対応するメタデータを対応付けて、音素材データベースに登録する登録手段として機能させるためのプログラムを提供する。
【発明の効果】
【００１２】
本発明によれば、音素材の抽出元となった楽音波形信号に関する情報を利用して、ユーザが所望の音素材をデータベースから選択可能にすることができる。
【図面の簡単な説明】
【００１３】
【図１】本発明の実施形態における楽音処理装置の構成を説明するブロック図である。
【図２】本発明の実施形態における波形ＤＢの例を説明する図である。
【図３】本発明の実施形態における音素材ＤＢの例を説明する図である。
【図４】本発明の実施形態における特定データにより表される音素材の内容を説明する図である。
【図５】本発明の実施形態における分類テンプレートの例を説明する図である。
【図６】本発明の実施形態における音素材抽出機能および修正機能の構成を説明するブロック図である。
【図７】本発明の実施形態における解析期間指定表示の例を説明する図である。
【図８】本発明の実施形態における抽出完了表示の例を説明する図である。
【図９】本発明の実施形態における期間修正表示の例を説明する図である。
【図１０】本発明の実施形態におけるデータ検索機能の構成を説明するブロック図である。
【図１１】本発明の実施形態における検索条件設定表示の例を説明する図である。
【図１２】本発明の実施形態における検索結果表示の例を説明する図である。
【図１３】図１２において、選択されたタグデータが切り替えられたときの検索結果表示の例を説明する図である。
【図１４】本発明の実施形態における音素材決定表示の例を説明する図である。
【発明を実施するための形態】
【００１４】
＜実施形態＞
［概要］
本発明の実施形態における楽音処理装置は、パーソナルコンピュータ、携帯電話、ＰＤＡ（Personal Digital Assistant）、タブレット端末などの情報処理装置であり、ＯＳ（Operating System）上で特定のアプリケーションプログラムを実行することにより、ＤＡＷ（Digital Audio Workstation）と呼ばれる機能が実現される装置である。この楽音処理装置において実現されるＤＡＷにおいては、楽音波形信号の一部として抽出される音素材を用いて楽音を発生させるための制御を行う機能も実現される。また、楽音波形信号から音素材を抽出する機能、音素材をデータベースから検索する機能など、以下に説明する各機能も実現される。ＤＡＷを実現するアプリケーションプログラムの実行中においてサブルーチンのプログラムが実行されることにより、これらの各機能が実現される。
【００１５】
［楽音処理装置１０の構成］
図１は、本発明の実施形態における楽音処理装置１０の構成を説明するブロック図である。楽音処理装置１０は、制御部１１、操作部１２、表示部１３、インターフェイス１４、記憶部１５、および音響処理部１６を有する。これらの各構成はバスを介して接続されている。また、楽音処理装置１０は、音響処理部１６に接続されたスピーカ１６１およびマイクロフォン１６２を有する。
【００１６】
制御部１１は、ＣＰＵ（Central Processing Unit）、ＲＡＭ（Random Access Memory）、ＲＯＭ（Read Only Memory）などを有する。制御部１１は、ＲＯＭまたは記憶部１５に記憶された各種プログラムを実行することにより、各種機能を実現する。この例においては、制御部１１によるプログラムの実行には、ＤＡＷを実現するアプリケーションプログラムの実行、上述のサブルーチンのプログラムの実行が含まれる。サブルーチンのプログラムとしては、記憶部１５に記憶された再生プログラム、抽出プログラム、修正プログラム、および検索プログラムが含まれ、ユーザの指示に応じて実行される。
【００１７】
再生プログラムは、ＤＡＷにおいて楽音の発音内容を規定するシーケンスデータを再生し、楽音を発音させる処理を行う再生機能を実現するためのプログラムである。この再生機能においては、以下に説明するシーケンスデータにおける各トラックのデータを再生して楽音波形信号を合成し、スピーカ１６１から出力させる機能である。
抽出プログラムは、記憶部１５に記憶されている波形ＤＢに登録された波形データが示す楽音波形信号、再生機能により合成される楽音波形信号など、様々な楽音波形信号から音素材を抽出する音素材抽出機能を実現するためのプログラムである。
修正プログラムは、抽出された音素材のデータに修正を加える修正機能を実現するためのプログラムである。
検索プログラムは、記憶部１５に記憶されている音素材ＤＢから、検索条件に基づいて音素材を検索するデータ検索機能を実現するためのプログラムである。音素材抽出機能、修正機能、およびデータ検索機能の詳細については、後述する。
これらの各機能構成の一部または全部により、楽音処理装置１０において、本発明のデータ処理装置が実現される。
【００１８】
操作部１２はユーザによる操作を受け付ける操作ボタン、キーボード、マウス、タッチパネルなどの操作手段を有し、それぞれに受け付けられた操作の内容を示す操作データを制御部１１に出力する。これにより、ユーザからの指示が楽音処理装置１０に入力される。
表示部１３は、液晶ディスプレイなどの表示デバイスであり、制御部１１の制御に応じた内容の表示を表示画面１３１に行う。表示画面１３１に表示される内容は、メニュー画面、設定画面などの他、実行されたプログラムによって様々な内容となる（図７〜図９、図１１〜図１４参照）。
【００１９】
インターフェイス１４は、外部装置と接続して有線または無線により通信し、各種データの送受信をする機能を有する。また、インターフェイス１４には、外部装置からオーディオデータが入力されるＡＵＸ（Auxiliary）端子も設けられている。インターフェイス１４は、外部装置から入力された各種データを制御部１１に出力する一方、制御部１１からの制御により、外部装置へ各種データを出力する。なお、ＡＵＸ端子にアナログ信号が入力される場合には、Ａ／Ｄ変換（アナログデジタル変換）が施される。
【００２０】
マイクロフォン１６２は、入力された音の内容を示す楽音波形信号を音響処理部１６に出力する。
音響処理部１６は、ＤＳＰ（Digital Signal Processor）などの信号処理回路などを有する。この例においては、音響処理部１６は、マイクロフォン１６２から入力される楽音波形信号をＡ／Ｄ変換し、オーディオデータとして制御部１１に出力する。また、音響処理部１６は、制御部１１から出力されたオーディオデータを、制御部１１によって設定された音響処理、Ｄ／Ａ変換（デジタルアナログ変換）処理、増幅処理などの信号処理などを施して、楽音波形信号としてスピーカ１６１に出力する。
スピーカ１６１は、音響処理部１６から入力された楽音波形信号が示す音を出力する。
【００２１】
記憶部１５は、ハードディスク、フラッシュメモリなどの不揮発性メモリであって、上記の各種プログラムを記憶する記憶領域を有する。また、記憶部１５は、各種プログラムが実行されているときに用いられるシーケンスデータ、音素材データベース（以下、音素材ＤＢと記す）、波形データベース（以下、波形ＤＢと記す）、および分類テンプレートをそれぞれ記憶する記憶領域を有する。
【００２２】
図２は、本発明の実施形態における波形ＤＢの例を説明する図である。波形ＤＢは、楽音波形信号を示す波形データＷ１、Ｗ２、・・・が登録され、それぞれにはタグデータが対応付けられている。図２に示す例においては、波形データＷ１には、タグデータｔｇ１、ｔｇ４、ｔｇ８、・・・が対応付けられていることを示している。
これらの波形データが示す楽音波形信号は、楽曲、特定の楽器音、音素材など様々な内容のいずれかであり、その長さについても１秒未満から数分以上まで様々である。また、ループして用いられるものが存在してもよい。ループして用いられる波形データであっても、その一部の区間を用いてループしない波形データとして用いてもよい。なお、この例における波形データについては、複数チャンネル（例えばＬｃｈ、Ｒｃｈ）のデータが含まれている。以下の説明においては、楽音波形信号を示す波形データ、オーディオデータなどの各データは、Ｌｃｈ、Ｒｃｈの２ｃｈにより構成されているものとするが、より多くのチャンネル数で構成されていてもよいし、モノラル（１ｃｈ）で構成されていてもよい。
【００２３】
タグデータｔｇ１、ｔｇ２、・・・は、波形データをその特徴に応じて分類するためのメタデータである。この特徴とは、例えば、「Ｒｏｃｋ」、「Ｊａｚｚ」、「Ｐｏｐｓ」などのジャンル、「ｐｉａｎｏ」、「ｇｕｉｔａｒ」、「Ｂａｓｓ」、「Ｄｒｕｍｓ」などの楽器を示している。これらの特徴は、波形データ作成者などによって決められたもの、所定のアルゴリズムにより波形データを解析して決められたものなど、波形ＤＢに波形データが登録されるときに予め決められたものである。これらの各特徴は、タグデータにそれぞれ割り振られ、例えば、ｔｇ１は「Ｒｏｃｋ」、ｔｇ８は「ｐｉａｎｏ」というように割り振られている。各タグデータは、ジャンル、楽器などの分野ごとに区別されていてもよい。ここで、１つの波形データには、同じ分野のタグデータが複数対応付けられる場合もある。例えば、１つの波形データに、ジャンルを示す「Ｒｏｃｋ」のタグデータおよび「Ｐｏｐｓ」のタグデータ双方が対応付けられることもある。
【００２４】
なお、タグデータには、その他にも、「明るい」、「暗い」、「速い」、「遅い」などの曲調を示す特徴、「楽曲」、「楽器音」、「音素材」などのデータ種別を示す特徴、といった様々な特徴が割り当てられてもよい。また、メタデータは、この例においてはタグの形式で示されたデータであるが、どのような形式で示されたデータであってもよい。
【００２５】
図３は、本発明の実施形態における音素材ＤＢの例を説明する図である。音素材ＤＢは、音素材の内容を特定する情報が登録されている。図３に示すように、音素材の内容を特定する情報は、音素材の楽音波形信号の内容を特定する特定データ、音素材の楽音波形信号の特徴を示す特徴量データを含む。また、上述したタグデータについても各音素材に対応付けられている。タグデータが対応付けられて音素材ＤＢに登録される音素材は、音素材抽出機能によって抽出されたものである。
【００２６】
特定データは、波形ＤＢに登録された波形データのいずれかを指定する波形指定情報と、その波形データにおけるデータ範囲を時刻で指定する時刻指定情報との組み合わせにより構成されている。この例においては、時刻指定情報によって指定される時刻は、波形データのデータ先頭からの時刻として決められている。ここで、波形指定情報が示す波形データがループして用いられるものである場合には、データ範囲における開始位置の時刻が、終了位置の時刻より後の時刻として示されていてもよい。この場合には、音素材の内容は、開始位置からデータ最後までの区間の楽音波形信号に続いて、データ先頭から終了位置までの区間の楽音波形信号を接続したものとなる。特定データによって特定される音素材については、それぞれを特定するための識別子（この例においては、ｓｎ１、ｓｎ２、・・・）が付されている。以下、特定の音素材を示す場合には、音素材ｓｎ１というように記す。
なお、特定データのうち時刻指定情報が規定されていないものについては、波形指定情報が示す波形データそのものが音素材の楽音の内容を表している。例えば、音素材ｓｎ４が示す楽音ついては、波形データＷ５が示す楽音波形信号全体で表される。
【００２７】
図４は、本発明の実施形態における特定データにより表される音素材の内容を説明する図である。図４（ａ）は、音素材ｓｎ１、ｓｎ２、ｓｎ３が示す楽音の楽音波形信号を説明する図であり、図４（ｂ）は、音素材ｓｎ４が示す楽音の楽音波形信号を説明する図である。図３に示すように、音素材ｓｎ１の内容は、波形指定情報が波形データＷ１であり、時刻指定情報がｔｓ１〜ｔｅ１として特定されている。したがって、音素材ｓｎ１に対応する楽音波形信号は、図４（ａ）に示すように、波形データＷ１が示す楽音波形信号のうち、時刻ｔｓ１〜ｔｅ１の楽音波形信号となる。同様に、音素材ｓｎ２、ｓｎ３にそれぞれ対応する楽音波形信号についても、波形データＷ１が示す楽音波形信号の一部の範囲として特定される。一方、図４（ｂ）に示すように、音素材ｓｎ４が示す楽音波形信号については、時刻指定情報が規定されていないため、波形データＷ５が示す楽音波形信号全体として特定される。以下、音素材ｓｎ１、ｓｎ２、・・・が示す楽音波形信号を表すデータを、音素材データｓｎ１、ｓｎ２、・・・として記す。
【００２８】
図３に戻って説明を続ける。特徴量データは、各音素材の楽音波形信号がもつ複数種類の特徴量ｐ１、ｐ２、・・・を示す。例えば、音素材について、周波数別（高域、中域、低域）のそれぞれの強度、振幅のピークとなる時刻（音素材データの先頭を基準とした時刻）、振幅のピーク強度、協和度、複雑さなどについての特徴量であり、音素材データを解析して得られた値である。例えば、特徴量ｐ１は、その値により音素材の高域の強度を示す。以下、特徴量データは、その特徴量ｐ１、ｐ２、・・・のそれぞれの値の組み合わせによってＰａ、Ｐｂ、・・・というように示す。また、Ｐａの特徴量ｐ１、ｐ２、・・・の値は、ｐ１ａ、ｐ２ａ、・・・というように示す。例えば、音素材ｓｎ３については、特徴量データはＰｃであり、各特徴量の組み合わせは、ｐ１ｃ、ｐ２ｃ、・・・である。この例においては、各特徴量の値は、「０」から「１」の範囲で決められている。
【００２９】
図５は、本発明の実施形態における分類テンプレートの例を説明する図である。分類テンプレートは、音素材の特徴、すなわち特徴量データの内容により分類されるカテゴリについて、特徴量の種類毎に、分類の基準およびそのカテゴリの代表的な値としての指定値が決められ、カテゴリ毎に登録されている。
このカテゴリとは、聴感上の特徴が似た音素材毎に分類されたものであり、例えば、アタックが明瞭でエッジ感が強い音として分類されるカテゴリ（例えば、エッジ音）、ノイズのように聞こえる音として分類されるカテゴリ（例えば、テクスチャ音）などとして分類される。分類されるカテゴリは、その内容に応じてカテゴリＣ１、カテゴリＣ２、・・・として示す。
【００３０】
分類の基準は、各特徴量について、最小値と最大値が決められている。そのため、音素材は、その各特徴量が分類の基準を満たすカテゴリに分類される。例えば、カテゴリＣ１に分類される音素材は、特徴量ｐ１が「０．１」から「０．５」の範囲、特徴量ｐ２が「０．０」から「０．２」の範囲を満足していることになる。
指定値は、上述したようにカテゴリの代表的な特徴量の値である。例えば、カテゴリＣ２は、指定値として、特徴量ｐ１が「０．５」、特徴量ｐ２が「０．５」ということになる。一方、カテゴリＣ１における特徴量ｐ２の指定値のように、値が決められていない場合には、代表的な値が無いものとして扱われる。
【００３１】
図１に戻って説明を続ける。シーケンスデータは、時系列に発音内容を規定する複数のトラックを有している。各トラックは、この例においては、オーディオトラック、ＭＩＤＩ（Musical Instrument Digital Interface）トラック、音素材トラックのうち、いずれかの種類のトラックが割り当てられている。
【００３２】
ＭＩＤＩトラックは、ノートオン、ノートオフ、ノートナンバ、ベロシティなどのＭＩＤＩイベントと、これらのイベントの処理タイミング（例えば、トラックのデータ開始からの小節数、拍数、ティック数などにより表される）との関係を規定するトラックである。このように、ＭＩＤＩトラックは、この例においては、一般的に用いられるＭＩＤＩ形式で規定されているものとするが、イベントに応じた発音内容の楽音波形信号を生成する音源などを制御するための情報が規定されたトラックであれば、他の形式によって規定されていてもよい。
【００３３】
オーディオトラックは、オーディオデータとそのデータの再生開始タイミングが規定されたトラックである。オーディオデータとしては、波形ＤＢに記憶された波形データであってもよいし、別途入力された楽音波形信号を示すデータであってもよい。また、再生開始タイミングは、上記の処理タイミングと同様に、トラックのデータ開始からの小節数、拍数、ティック数により表される。なお、オーディオデータの再生音量を示す情報など他の情報が含まれていてもよい。
【００３４】
音素材トラックは、音素材データとそのデータの再生開始タイミングが規定されたトラックである。音素材データは、音素材ＤＢにおいて各音素材の識別子により特定される。また、再生開始タイミングは、上記の処理タイミングと同様に、トラックのデータ開始からの小節数、拍数、ティック数により表される。なお、音素材データは、音素材の識別子により特定されるのではなく、音素材の特徴量データによって特定されてもよい。この場合には、再生機能において、音素材トラックに規定された特徴量データに最も類似した特徴量データが音素材ＤＢから特定され、特定された特徴量データに対応する音素材データが再生すべき音素材データとして特定されるようにすればよい。
以上が、楽音処理装置１０のハードウエア構成についての説明である。
【００３５】
［音素材抽出機能および修正機能］
次に、楽音処理装置１０の制御部１１が抽出プログラムを実行することによって実現される音素材抽出機能について説明する。また、制御部１１が修正プログラムを実行することによって実現される修正機能についても併せて説明する。なお、以下に説明する音素材抽出機能および修正機能を実現する各構成の一部または全部については、ハードウエアによって実現してもよい。
【００３６】
図６は、本発明の実施形態における音素材抽出機能および修正機能の構成を説明するブロック図である。制御部１１が抽出プログラムを実行すると、取得部１１０、抽出部１２０および登録部１３０を有する音素材抽出機能部１００が構成され、音素材抽出機能が実現される。また、制御部１１が修正プログラムを実行すると、修正部２００が構成され、修正機能が実現される。
【００３７】
取得部１１０は、操作部１２により入力されるユーザの指示に応じて、波形ＤＢに登録された波形データから、一の波形データを取得し、抽出部１２０に出力する。
【００３８】
抽出部１２０は、音素材特定部１２１および特徴量算出部１２２を有し、音素材特定部１２１および特徴量算出部１２２の処理により、入力された波形データから音素材を抽出して、その音素材の特徴量を算出する。そして、抽出部１２０は、波形データが示す楽音波形信号のうち、抽出した音素材に対応する区間を示す情報と、算出した特徴量を示す特徴量データとを登録部１３０に出力する。このとき、抽出に用いた波形データ（抽出部１２０に入力された波形データ）を特定する情報についても出力する。
以下、音素材特定部１２１および特徴量算出部１２２の機能について説明する。
【００３９】
特徴量算出部１２２は、抽出部１２０に入力された波形データが示す楽音波形信号（以下、抽出元楽音波形信号という）のうち、音素材特定部１２１に指示された区間における特徴量を算出して、算出結果を音素材特定部１２１に出力する。
【００４０】
音素材特定部１２１は、抽出元楽音波形信号から、音量変化が一定以上の変化をするオンセットを検出し、オンセットから予め決められた時間の範囲のうち、様々な区間を特徴量算出部１２２に指示し特徴量を算出させる。音素材特定部１２１は、算出された各区間の特徴量のうち、予め決められた特定の条件を満たす特徴量の区間を、波形データから抽出した音素材に対応する抽出元楽音波形信号における区間として特定する。音素材特定部１２１は、入力された波形データ全体から、音素材の抽出を行って、音素材に対応する抽出元楽音波形信号における区間を特定していく。なお、このように波形データから音素材を抽出する方法については公知の方法のいずれも用いること可能であるが、例えば、特開２０１０−１９１３３７号公報に開示された方法を用いればよい。
【００４１】
そして、音素材特定部１２１は、抽出した音素材毎に、それぞれ特定した区間（以下、特定区間という）を示す情報と、この区間に対応して算出された特徴量を示す特徴量データとを出力し、入力された波形データを特定する情報（例えば、波形指定情報）についても出力する。
【００４２】
登録部１３０は、入力された波形指定情報が示す波形データに対応するタグデータを、波形ＤＢから読み出す。そして、登録部１３０は、入力された波形指定情報と、特定区間をデータ範囲とした時刻指定情報とを示す特定データ、特徴量データ、および読み出したタグデータを記憶部１５に出力し、抽出した音素材毎に音素材ＤＢに登録する。
【００４３】
また、登録部１３０は、抽出部１２０に入力された波形データのうち、特定区間の楽音波形信号を切り出した波形データを、波形ＤＢに登録する場合もある。この場合には、登録部１３０が音素材ＤＢに登録する特定データには時刻指定情報が含まれない。一方、この特定データにおける波形指定情報は、登録部１３０に入力された波形指定情報ではなく、この処理において波形ＤＢに登録した波形データを示すものとして登録される。すなわち、特定データは、波形データ全体を音素材として特定することで、音素材の楽音波形信号を示していることになる。
また、この例においては、登録部１３０は、波形データを波形ＤＢに登録するときには、入力された波形指定情報が示す波形データに対応するタグデータを、新たに登録した波形データに対応するタグデータとして対応付け、また、音素材ＤＢに登録する音素材に対応するタグデータとする。
【００４４】
登録部１３０による上記２種類の登録方法（波形ＤＢに波形データを登録しない場合、切り出した波形データを登録する場合）のいずれを適用するかについては、ユーザが予め設定すればよい。この例においては、前者の登録方法は「ｍｏｄｅ１」、後者の登録方法は「ｍｏｄｅ２」として設定される。なお、この登録方法については、登録部１３０が予め決められたアルゴリズムにしたがって設定してもよい。例えば、抽出部１２０において抽出された音素材の数が予め決められた数以上である場合には、「ｍｏｄｅ１」として設定され、当該数未満であれば、「ｍｏｄｅ２」として設定されればよい。また、「ｍｏｄｅ１」および「ｍｏｄｅ２」のいずれか一方の登録方法だけが用いられる構成であってもよい。以下の説明においては、「ｍｏｄｅ１」が設定されているものとして説明する。
【００４５】
修正部２００は、登録部１３０による波形ＤＢおよび音素材ＤＢへの登録前における音素材のデータ範囲（時刻指定情報）について、ユーザの指示に応じて修正する機能を有する。これにより抽出部１２０により抽出された音素材を、ユーザの要求に沿った音素材になるように調整することができる。このとき、特徴量データの内容を変更しなくてもよいし、特徴量データの内容を修正後の音素材から特徴量算出部１２２によって再算出させて更新してもよい。
なお、修正部２００は、既に登録されている音素材のデータ範囲を修正するようにしてもよい。
以上が、音素材抽出機能および修正機能についての説明である。
【００４６】
［音素材抽出機能および修正機能の動作例］
続いて、上述した抽出プログラムおよび修正プログラムが実行されたときの動作例について、表示画面１３１の表示例を参照しながら説明する。
まず、ユーザは、ＤＡＷ上において、波形データから音素材を抽出したい場合などにおいて、抽出プログラムの実行の指示を楽音処理装置１０に対して入力する。これにより、表示画面１３１には、波形ＤＢから波形データをユーザに選択させる表示がなされる。そして、ユーザが音素材を抽出したい波形データを選択すると、表示画面１３１には、図７に示す内容（解析期間指定表示）の表示がなされる。
【００４７】
図７は、本発明の実施形態における解析期間指定表示の例を説明する図である。表示画面１３１には、選択された波形データの楽音波形信号ｗｄ１および楽音波形信号ｗｄ１の一部を拡大表示した楽音波形信号ｗｄ２が表示されている。また、表示画面１３１には、楽音波形信号ｗｄ１のうち楽音波形信号ｗｄ２の表示範囲を規定するための表示範囲ウインドウｗｓが表示される。ユーザは表示範囲ウインドウｗｓの位置および範囲を変更する指示を入力すると、制御部１１は、表示範囲ウインドウｗｓの位置および範囲を変更し、その変更内容に応じて波形ｗｄ２の表示も変更する。
【００４８】
表示画面１３１には、選択した波形データの楽音信号波形のうち、抽出元楽音信号波形とする期間（以下、解析期間ｔｗという）を指定するための範囲指定矢印（開始指定矢印ａｓおよび終了指定矢印ａｅ）が表示される。ユーザが範囲指定矢印の位置を、ポインタｐｔなどを用いて指定すると、その間が解析期間ｔｗとして指定される。範囲の指定方法は、上記に限らず、拍数や時間をなんらかの入力手段で数値入力してもよい。
表示画面１３１には、指定された解析期間ｔｗの波形データを再生してスピーカ１６１から出力させる指示をユーザから受け付けるための試聴ボタンｂ１、指定された解析期間ｔｗを確定するための確定ボタンｂ２が表示される。ユーザは、ポインタｐｔなどを用いて試聴ボタンｂ１を操作して楽音の試聴をしながら所望の解析期間が決まったら、確定ボタンｂ２を操作する。なお、ユーザの操作により、全期間を解析期間とすることもできる。
確定ボタンｂ２が操作されると、表示画面１３１は、図８に示す抽出完了表示に遷移する。
【００４９】
図８は、本発明の実施形態における抽出完了表示の例を説明する図である。図８に示すように、表示画面１３１には、解析期間の波形データである抽出元楽音波形信号ｗｖ、抽出した音素材の期間（特定区間）を示す表示（この図における音素材ｓｎａ、ｓｎｂ、ｓｎｃ、ｓｎｄ）、各音素材に対応した特徴量データから分類されるカテゴリを示す表示（この図におけるアイコンｉｃａ、ｉｃｂ、ｉｃｃ、ｉｃｄ）が表示される。また、特定区間を修正するための修正ボタンｂ３、抽出した音素材をデータベースに登録するための登録ボタンｂ４についても、表示画面１３１に表示される。
【００５０】
ユーザは、音素材に対応する部分（例えばアイコンｉｃａ、ｉｃｂ、ｉｃｃ、ｉｃｄ）をポインタｐｔにより操作すると、対応する音素材の楽音波形信号が示す音が、制御部１１の制御によってスピーカ１６１から出力されるようになっている。
ユーザがスピーカ１６１から出力された音を試聴して、音素材の特定区間について修正する必要がない場合など、ユーザによって登録ボタンｂ４が操作されると、登録部１３０は、上述したように、音素材に関する各データ（特定データ、特徴量データ、タグデータ）を音素材ＤＢに登録する。
一方、ユーザが音素材の特定区間について修正したいと考えた場合など、ユーザによって修正ボタンｂ３が操作された場合には、修正プログラムが実行され、表示画面１３１は、図９に示す期間修正表示に遷移する。
【００５１】
図９は、本発明の実施形態における期間修正表示の例を説明する図である。図９に示すように、表示画面１３１には、最後に試聴した音素材の部分が拡大表示される。この例においては、最後に試聴した音素材は、音素材ｓｎｂであったものとする。また、音素材に対応する楽音波形信号の期間（特定区間）を調整するための範囲指定矢印（開始指定矢印ａｓおよび終了指定矢印ａｅ）が表示される。
その他、範囲指定矢印によって指定された期間の楽音波形信号が示す音を試聴するための試聴ボタンｂ５、範囲指定矢印によって指定された期間の楽音波形信号を音素材に対応する楽音波形信号として確定させる確定ボタンｂ６が表示画面１３１に表示される。
【００５２】
ユーザは、範囲指定矢印を操作して楽音波形信号の期間を調整し、試聴ボタンｂ５を操作して試聴する行為を繰り返すことにより、所望の音素材になるように楽音波形信号の期間を指定する。図９においては、開始時刻ｔｓｂ、終了時刻ｔｅｂとして規定される期間の楽音波形信号に対応する音素材ｓｎｂ１が指定されたものとする。そして、ユーザは、確定ボタンｂ６を操作すると、抽出された音素材ｓｎｂが、ユーザによって指定された音素材ｓｎｂ１に修正される。
【００５３】
そして、上述したとおり、ユーザによって登録ボタンｂ６が操作されると、登録部１３０は、上述したように、音素材に関する各データ（特定データ、特徴量データ、タグデータ）を音素材ＤＢに登録する。このとき、修正された音素材については、修正後の音素材に対応する特定データが音素材ＤＢに登録される。特徴量データについては、修正前に算出された特徴量を示すものであってもよいし、修正後の音素材が示す楽音波形信号について特徴量算出部１２２が再計算した特徴量を示すものであってもよい。いずれにするかは、ユーザの指示に応じて決定されればよい。
このようにして音素材に対応する楽音波形信号の開始時刻をずらすことにより、音の立ち上がり感を調整したり、終了時刻をずらすことにより残響感を調整したりすることができる。
以上が、抽出プログラム、修正プログラムが実行されたときの動作例の説明である。
【００５４】
［データ検索機能構成］
次に、楽音処理装置１０の制御部１１が検索プログラムを実行することによって実現されるデータ検索機能について説明する。なお、以下に説明する検索機能を実現する各構成の一部または全部については、ハードウエアによって実現してもよい。
【００５５】
図１０は、本発明の実施形態におけるデータ検索機能の構成を説明するブロック図である。制御部１１が検索プログラムを実行すると、表示制御部３１０、条件決定部３２０、特徴特定部３３０、および楽音特定部３４０を有するデータ検索部３００が構成され、データ検索機能が実現される。
【００５６】
表示制御部３１０は、特徴特定部３３０から指示された音素材データを示す画像（データ名称、対応する特徴量データに応じた画像などの音素材データを示す情報）を表示画面１３１に表示させる（以下、単に「音素材データを表示させる」という）。また、表示制御部３１０は、操作部１２から入力されるユーザの指示に応じて表示画面１３１における表示内容を変化させる。表示内容としては、データ検索機能に関する様々な内容（図１１〜図１４）であり、例えば、検索条件を指定する表示などが含まれる。表示画面１３１に表示される内容の具体例については、後述する動作例において説明する。
【００５７】
条件決定部３２０は、ユーザからの指示によって、分類テンプレートから特定のカテゴリが指定されると、そのカテゴリにおける各種類の特徴量の指定値を第１の検索条件として決定して、第１の検索条件を示す情報を特徴特定部３３０に出力する。また、条件決定部３２０は、ユーザからの指示によって、タグデータが指定されると、そのタグデータを第２の検索条件として決定して、第２の検索条件を示す情報を特徴特定部３３０に出力する。また、この例においては、上述のようにしてユーザに指定されたカテゴリにおける各種類の特徴量の上限値および下限値（分類基準）についても第２の検索条件に含まれている。
【００５８】
特徴特定部３３０は、上述のようにして決定された第１の検索条件に類似する特徴量データを、第２の検索条件にしたがって音素材ＤＢから検索して特定する。具体的には、以下のように検索を行う。
特徴特定部３３０は、まず、音素材ＤＢに登録された各音素材の特徴量データのうち、第２の検索条件に含まれる分類基準を満たし、かつ、指定されたタグデータが対応付けられているものを、第１の検索条件との距離計算の対象、すなわち検索対象となる特徴量データとして絞り込む。特徴特定部３３０は、絞り込んだ各特徴量データについて、予め決められた類似度計算方法にしたがって、第１の検索条件との類似度の計算を行う。類似度計算方法とは、類似の度合いを計算する方法であって、この例においては、ユークリッド距離計算であるものとする。なお、類似度計算方法については、マハラノビス距離計算、コサイン類似度計算など、ｎ次元ベクトルの距離またはｎ次元ベクトルの類似度を算出する方法を用いた計算方法であれば、どのようなものであってもよい。このｎ次元ベクトルは、類似度の計算において比較対象となる特徴量の種類の数に相当する。
また、類似度の計算において、第１の検索条件としてカテゴリにおける指定値が決められていない特徴量の種類（例えば、カテゴリＣ１の特徴量ｐ２）については、距離計算には用いない。
【００５９】
この計算結果から、特徴特定部３３０は、予め決められた値よりも類似度が高い（距離が近い）特徴量データを特定する。そして、特徴特定部３３０は、特定した特徴量データに対応する音素材データを示す情報を、楽音特定部３４０に出力する。また、特徴特定部３３０は、特定した特徴量データに対応する音素材データを示す情報を類似度と対応付けて表示制御部３１０に出力する。これにより、表示画面１３１には、検索結果として、その音素材データが類似順に表示される。なお、表示画面１３１には、特徴データの類似度が高い方から予め決められた数の音素材データが表示されるようにしてもよい。
【００６０】
楽音特定部３４０は、表示画面１３１に検索結果として表示された音素材データから、所望の音素材データとしてユーザによって選択された音素材データを特定する。このようにして特定された音素材データは、この例においては、シーケンスデータの音素材トラックを作成するときに用いられる音素材の識別子を特定するために用いられる。
以上が、データ検索機能についての説明である。
【００６１】
［データ検索機能の動作例］
続いて、上述した検索プログラムが実行されたときの動作例について、表示画面１３１の表示例を参照しながら説明する。
まず、ユーザは、ＤＡＷ上においてシーケンスデータの作成に用いる音素材を音素材ＤＢから選択したい場合などにおいて、検索プログラムの実行の指示を楽音処理装置１０に対して入力する。このようにすると、表示画面１３１には、図１１に示す検索条件設定表示がなされる。
【００６２】
図１１は、本発明の実施形態における検索条件設定表示の例を説明する図である。表示画面１３１の上部にはメニュー領域ＭＡが設けられ、下部には登録領域ＷＡが設けられる。メニュー領域ＭＡは、検索プログラムの実行開始、データの保存、検索プログラムの実行停止など様々な指示をする操作を行うために設けられた領域である。登録領域ＷＡは、検索した結果として選んだ音素材データを登録するための領域であり、その領域内には、音素材データを登録する楽音登録領域ＷＡ１、ＷＡ２、・・・、ＷＡ７を持つ。カーソルＣｓ２は、選んだ音素材データをどの領域に登録するかを選択するものである。
【００６３】
カテゴリ領域ＣＡは、分類テンプレートに登録されているカテゴリを表示する領域である。この例においては、カテゴリＣ１、Ｃ２、・・・Ｃ７、およびＣ８の一部が表示されている。この領域内は上下にスクロール可能であり、Ｃ８以降については、スクロールすることで表示されるようになる。ここでは、カーソルＣｓ１がカテゴリＣ２を選択している状態を示す。
【００６４】
また、第２の検索条件のうち、分野毎にタグデータを指定するための選択ボックスＳＢ１、ＳＢ２が表示されている。この例においては、選択ボックスＳＢ１は、ジャンルの分野のタグデータを選択して指定するものであり、選択ボックスＳＢ２は、楽器の分野のタグデータを選択して指定するものである。ここでは、ジャンルとして、「Ｒｏｃｋ」のタグデータが選択され、楽器として、「Ｐｉａｎｏ」が選択されている状態を示す。ユーザは、例えば、ポインタｐｔを用いて、カーソルＣｓ１、Ｃｓ２の位置の変更、選択ボックスＳＢ１、ＳＢ２の内容の変更を行い、決定ボタンｂ７を操作することにより、選択された内容で第１の検索条件および第２の検索条件の指定を行う。なお、選択ボックスＳＢ１においては、いずれか１つのジャンルを選択する場合に限らず、複数のジャンルを選択できるようにしてもよい。選択ボックしＳＢ２についても同様である。
【００６５】
ユーザによって、第１の検索条件および第２の検索条件が指定されると、条件決定部３２０による第１の検索条件および第２の検索条件の決定がなされて、特徴特定部３３０における処理が開始される。そして、表示画面１３１は、図１２に示す検索結果表示に遷移する。
【００６６】
図１２は、本発明の実施形態における検索結果表示の例を説明する図である。検索結果領域ＳＡは、特徴特定部３３０によって特定された特徴量データに対応した音素材データ（ｓｎ５、ｓｎ３、ｓｎ１、・・・など）が検索結果として表示される領域であり、カテゴリ領域と同様に上下にスクロール可能になっている。ここに表示される音素材データは、上述したように、第１の検索条件および第２の検索条件により、特徴特定部３３０によって音素材ＤＢから検索され特定された特徴データに対応するものであり、この例においては、類似しているほど（距離が近いほど）上位に表示される。破線カーソルＣｍは、検索条件設定表示においてユーザによって指定されたカテゴリ（図１１参照）を示している。
【００６７】
図１３は、図１２において、選択されたタグデータが切り替えられたときの検索結果表示の例を説明する図である。図１２に示す表示において、ユーザが選択ボックスＳＢ１を操作して、ジャンルについて「Ｒｏｃｋ」から「Ｊａｚｚ」へ、選択するタグデータを切り替えると、検索結果領域ＳＡに表示される音素材データが変更されて検索結果表示が図１３に示す内容に切り替わる。これは、ユーザが選択するタグデータが切り替わることで、ユーザによって指定される第２の検索条件の内容が変更されることになり、検索対象となる特徴量データが変更されるためである。
【００６８】
図１３に示す検索結果領域ＳＡに表示された音素材データのうち、図１２に示す検索結果領域ＳＡに表示された音素材データと同じもの、異なるもののそれぞれが存在する。双方に表示された音素材データについては、対応するタグデータに「Ｒｏｃｋ」、「Ｊａｚｚ」の双方が含まれる。一方、図１２に示す検索結果領域ＳＡにおいて表示されず、図１３に示す検索結果領域ＳＡにおいて表示された音素材データについては、対応するタグデータには、「Ｒｏｃｋ」が含まれず「Ｊａｚｚ」が含まれていることになる。逆に、図１３に示す検索結果領域ＳＡにおいて表示されず、図１２に示す検索結果領域ＳＡにおいて表示された音素材データについては、対応するタグデータには、「Ｊａｚｚ」が含まれず「Ｒｏｃｋ」が含まれていることになる。
【００６９】
図１２、図１３に示すような検索結果表示において、ユーザがカーソルＣｓ１を上下に移動させることにより、カーソルＣｓ１によって選択される音素材データが変化すると、制御部１１は、音素材データが示す音素材の楽音波形信号を、音響処理部１６を介してスピーカ１６１に供給する。例えば、図１２に示す検索結果表示において、カーソルＣｓ１が選択する音素材データが音素材データｓｎ３から音素材データｓｎ５に変化すると、音素材データｓｎ５に対応する楽音がスピーカ１６１から発音される。これにより、ユーザは、カーソルＣｓ１によって選択された音素材データに対応する音素材の内容を聴取することができる。
ユーザは、カーソルＣｓ１の移動に伴う発音を確認しながら、所望の音素材が決まった場合には、所望の音素材に対応する音素材データにカーソルＣｓ１を移動させて決定ボタンｂ７を操作することで、ユーザによって選択された音素材データが楽音特定部３４０によって特定される。そして、表示画面１３１は、図１４に示す音素材決定表示に遷移する。
【００７０】
図１４は、本発明の実施形態における音素材決定表示の例を説明する図である。楽音特定部３４０によって音素材データ（この例においては音素材データｓｎ１１）が特定されると、カーソルＣｓ２が選択する楽音登録領域ＷＡ１には、特定された音素材データを示す情報（音素材データｓｎ１１を示す「１１」）が表示される。このように、楽音登録領域ＷＡ１、ＷＡ２、・・・に登録された音素材データについては、上述したように、音素材トラックを作成するときの音素材の識別子を特定するために用いられる。
【００７１】
このように、ユーザは、第２の検索条件として指定するタグデータを変更することにより、検索対象となる音素材データを絞り込むことができるから、所望の音素材を選択しやすくなる。このタグデータは、元々、抽出元楽音波形信号に対応付けられていた情報を利用して、音素材に対応付けられたものである。そのため、ユーザが各音素材に対応するタグデータを別途入力しなくても、効率的に所望の音素材を選択することができるようになる。
【００７２】
＜変形例＞
以上、本発明の実施形態について説明したが、本発明は以下のように、様々な態様で実施可能である。
［変形例１］
上述した実施形態において、ユーザは、音素材を抽出したい波形データを波形ＤＢから選択していたが、ユーザは、音素材が抽出されていない波形データを全てが選択されるように操作することも可能である。これは、例えば、外部の記憶媒体などを利用して、波形ＤＢに新たな波形データが追加された場合に、追加した波形データからまとめて音素材を抽出する場合に使えばよい。この場合には、音素材抽出機能部１００における取得部１１０が、追加された波形データを順に取得し、抽出された音素材が音素材ＤＢに登録されるようにすればよい。また、波形ＤＢに新たな波形データが追加された場合には、ユーザの操作にかかわらず、自動的に音素材の抽出がなされ、音素材ＤＢに登録されるようにしてもよい。
【００７３】
［変形例２］
上述した実施形態においては、音素材を抽出する対象となる波形データは、予め波形ＤＢに登録されていたが、登録されていないデータであってもよい。例えば、外部から入力された楽音波形信号であってもよいし、再生機能によりシーケンスデータを再生した場合に得られる楽音波形信号であってもよい。すなわち、音素材を抽出する対象は、波形データにかかわらず、楽音波形信号を示す楽音データであればよい。この場合には、この楽音データまたは楽音データから抽出された音素材データ（抽出された楽音波形信号が示す波形データ）が波形ＤＢに登録されるようにすればよい。
【００７４】
また、この楽音データにメタデータが付加されている場合には、そのメタデータをタグデータとして用いたり、既に用いられるものに近いタグデータに変換して用いたりすればよい。一方、メタデータが付加されていない場合には、音素材に対応付けるタグデータをユーザが入力してもよい。また、制御部１１は、楽音データが示す楽音波形信号を解析して、解析結果に応じて、音素材に対応付けるタグデータを決定するようにしてもよい。なお、タグデータを対応付けずに音素材ＤＢに登録されるようにしてもよい。
【００７５】
［変形例３］
上述した実施形態において、音素材を抽出したい波形データとしてユーザによって選択された波形データが、予め決められた時間長より短い楽音波形信号を示す場合には、抽出部１２０は、楽音波形信号の一部を音素材として抽出するのではなく、全体を音素材として扱うようにしてもよい。この場合には、特徴量算出部１２２において算出される特徴量は、波形データが示す楽音波形信号全体の特徴を示すものとなる。
【００７６】
［変形例４］
上述した実施形態においては、第１の検索条件は、分類テンプレートによって示されるカテゴリがユーザによって指定されることで決定されていたが、ユーザによって各種類の特徴量が個別に指定されることで決定されてもよい。また、指定された内容が分類テンプレートに登録されるようにしてもよい。
【００７７】
［変形例５］
上述した実施形態において、登録部１３０は、音素材ＤＢへの音素材の登録に伴い、登録した音素材とその発音タイミングとを規定する音素材トラックに対応するシーケンスデータを記憶部１５に記憶するようにしてもよい。すなわち、１つの波形データの抽出元楽音波形信号から抽出された音素材の識別子と、音素材に対応する特定区間の始まりの時刻を示す情報とを対応付けたデータを記憶部１５に記憶すればよい。
ここで、特定区間の始まりの時刻は、楽音波形信号の先頭から経過時間に対応する絶対的な時刻である一方、音素材トラックについては、発音タイミングが小節数、拍数、ティック数などの相対的な時刻として表される。そのため、登録部１３０は、予め決められたテンポ（例えば、テンポ＝１２０（１拍０．５秒））を基準とすることによって、絶対的な時刻から相対的な時刻に変換して、音素材トラックとして記憶する。
このようにして記憶された音素材トラックは、再生機能によって上記テンポで再生されると、抽出元楽音波形信号のうち、抽出された音素材部分が発音され、それ以外の部分がミュートされたような発音内容としてスピーカ１６１から出力されることになる。
【００７８】
［変形例６］
上述した実施形態においては、検索結果領域ＳＡに表示される音素材データの表示順が類似順を表すようになっていたが、順番以外の表示態様で類似順が表されてもよい。例えば、表示の大きさ、濃さであったり、類似度を合わせて表示させたりすればよく、類似度に応じて表示態様が変化していればよい。
【００７９】
［変形例７］
上述した実施形態においては、楽音登録領域ＷＡ１、ＷＡ２、・・・に登録された音素材データについては、音素材トラックの作成などに用いられるものとしたが、他の用途に用いられてもよい。例えば、この音素材データを用いて発音する楽器、音源などにおいて用いられてもよい。楽器に用いられる場合には、音高を変化させて用いてもよいし、予め音高が異なる音素材データを記憶部１５に記憶させておいてもよい。音高が異なるだけの音素材データについては、特徴特定部３３０における検索対象にはならないようにしてもよい。このように、本発明のデータ処理装置を実現する楽音処理装置１０は、情報処理装置のほかにも、楽器、音源などにも適用することができる。
【００８０】
［変形例８］
上述した実施形態においては、波形ＤＢにおいて各波形データにはタグデータが対応付けられていたが、対応付けられていない波形データがあってもよい。タグデータが対応付けられていない波形データがユーザによって選択された場合には、この波形データから抽出された音素材については、タグデータが対応付けられない状態で音素材ＤＢに登録されてもよいし、ユーザによって入力されたタグデータが対応付けられるようにしてもよい。また、制御部１１は、この波形データが示す楽音波形信号を解析して、解析結果に応じて、音素材に対応付けるタグデータを決定するようにしてもよい。
【００８１】
また、波形ＤＢにおいて波形データにタグデータが対応付けられていても、この波形データから抽出された音素材については、音素材ＤＢに登録されるときに、このタグデータが対応付けられるのではなく、ユーザによって入力された別のタグデータが対応付けられるようにしてもよい。また、この音素材は、タグデータが対応付けられない状態で音素材ＤＢに登録されるようにしてもよい。
【００８２】
［変形例９］
上述した実施形態においては、本発明のデータ処理装置は、再生機能、音素材抽出機能、修正機能、およびデータ検索機能の各機能構成により実現されていたが、音素材抽出機能以外の各機能構成については存在しなくてもよい。
【００８３】
［変形例１０］
上述した実施形態における各プログラムは、磁気記録媒体（磁気テープ、磁気ディスクなど）、光記録媒体（光ディスクなど）、光磁気記録媒体、半導体メモリなどのコンピュータ読み取り可能な記録媒体に記憶した状態で提供し得る。また、楽音処理装置１０は、各プログラムをネットワーク経由でダウンロードしてもよい。
【符号の説明】
【００８４】
１０…楽音処理装置、１１…制御部、１２…操作部、１３…表示部、１３１…表示画面、１４…インターフェイス、１５…記憶部、１６…音響処理部、１６１…スピーカ、１６２…マイクロフォン、１００…音素材抽出機能部、１１０…取得部、１２０…抽出部、１２１…音素材特定部、１２２…特徴量算出部、１３０…登録部、２００…修正部、３００…データ検索部、３１０…表示制御部、３２０…条件決定部、３３０…特徴特定部、３４０…楽音特定部
【特許請求の範囲】
【請求項１】
楽音波形信号を示す楽音データと当該楽音データを分類するためのメタデータとを対応付けた波形データベースから、前記楽音データを取得する取得手段と、
前記取得された楽音データが示す楽音波形信号を解析して、予め決められた特徴を有する楽音波形信号の期間を、音素材の楽音波形信号として特定する音素材特定手段と、
前記音素材の楽音波形信号を解析して特徴量を算出する特徴量算出手段と、
前記音素材の楽音波形信号を示す特定データ、前記算出された特徴量を示す特徴量データ、および前記取得された楽音データに対応するメタデータを対応付けて、音素材データベースに登録する登録手段と
を具備することを特徴とするデータ処理装置。
【請求項２】
ユーザによって指定される前記メタデータおよび前記特徴量を検索条件として決定する条件決定手段と、
前記検索条件が示す前記メタデータが対応付けられ、かつ、前記検索条件が示す特徴量に類似する特徴量データを、前記音素材データベースから検索して特定する特徴特定手段と、
前記特徴特定手段によって特定された特徴量データに対応する特定データを示す情報を、検索結果として表示手段に表示させる表示制御手段と
をさらに具備する
ことを特徴とする請求項１に記載のデータ処理装置。
【請求項３】
前記音素材特定手段は、前記取得された楽音データが示す楽音波形信号のうち、ユーザによって指定された一部の期間における楽音波形信号を解析して、予め決められた特徴を有する楽音波形信号の期間を、音素材の楽音波形信号として特定する
ことを特徴とする請求項１または請求項２に記載のデータ処理装置。
【請求項４】
前記特定データは、前記取得された楽音データが示す楽音波形信号と当該楽音波形信号の前記特定された期間を示す時刻情報とにより、前記特定された期間の楽音波形信号を示す
ことを特徴とする請求項１乃至請求項３のいずれかに記載のデータ処理装置。
【請求項５】
前記特定データは、前記特定された期間の楽音波形信号を抽出した楽音波形信号を示す
ことを特徴とする請求項１乃至請求項３のいずれかに記載のデータ処理装置。
【請求項６】
コンピュータを、
楽音波形信号を示す楽音データと当該楽音データを分類するためのメタデータとを対応付けた波形データベースから、前記楽音データを取得する取得手段と、
前記取得された楽音データが示す楽音波形信号を解析して、予め決められた特徴を有する楽音波形信号の期間を、音素材の楽音波形信号として特定する音素材特定手段と、
前記音素材の楽音波形信号を解析して特徴量を算出する特徴量算出手段と、
前記音素材の楽音波形信号を示す特定データ、前記算出された特徴量を示す特徴量データ、および前記取得された楽音データに対応するメタデータを対応付けて、音素材データベースに登録する登録手段
として機能させるためのプログラム。
【請求項１】
楽音波形信号を示す楽音データと当該楽音データを分類するためのメタデータとを対応付けた波形データベースから、前記楽音データを取得する取得手段と、
前記取得された楽音データが示す楽音波形信号を解析して、予め決められた特徴を有する楽音波形信号の期間を、音素材の楽音波形信号として特定する音素材特定手段と、
前記音素材の楽音波形信号を解析して特徴量を算出する特徴量算出手段と、
前記音素材の楽音波形信号を示す特定データ、前記算出された特徴量を示す特徴量データ、および前記取得された楽音データに対応するメタデータを対応付けて、音素材データベースに登録する登録手段と
を具備することを特徴とするデータ処理装置。
【請求項２】
ユーザによって指定される前記メタデータおよび前記特徴量を検索条件として決定する条件決定手段と、
前記検索条件が示す前記メタデータが対応付けられ、かつ、前記検索条件が示す特徴量に類似する特徴量データを、前記音素材データベースから検索して特定する特徴特定手段と、
前記特徴特定手段によって特定された特徴量データに対応する特定データを示す情報を、検索結果として表示手段に表示させる表示制御手段と
をさらに具備する
ことを特徴とする請求項１に記載のデータ処理装置。
【請求項３】
前記音素材特定手段は、前記取得された楽音データが示す楽音波形信号のうち、ユーザによって指定された一部の期間における楽音波形信号を解析して、予め決められた特徴を有する楽音波形信号の期間を、音素材の楽音波形信号として特定する
ことを特徴とする請求項１または請求項２に記載のデータ処理装置。
【請求項４】
前記特定データは、前記取得された楽音データが示す楽音波形信号と当該楽音波形信号の前記特定された期間を示す時刻情報とにより、前記特定された期間の楽音波形信号を示す
ことを特徴とする請求項１乃至請求項３のいずれかに記載のデータ処理装置。
【請求項５】
前記特定データは、前記特定された期間の楽音波形信号を抽出した楽音波形信号を示す
ことを特徴とする請求項１乃至請求項３のいずれかに記載のデータ処理装置。
【請求項６】
コンピュータを、
楽音波形信号を示す楽音データと当該楽音データを分類するためのメタデータとを対応付けた波形データベースから、前記楽音データを取得する取得手段と、
前記取得された楽音データが示す楽音波形信号を解析して、予め決められた特徴を有する楽音波形信号の期間を、音素材の楽音波形信号として特定する音素材特定手段と、
前記音素材の楽音波形信号を解析して特徴量を算出する特徴量算出手段と、
前記音素材の楽音波形信号を示す特定データ、前記算出された特徴量を示す特徴量データ、および前記取得された楽音データに対応するメタデータを対応付けて、音素材データベースに登録する登録手段
として機能させるためのプログラム。
【図１】
【図２】
【図３】
【図４】
【図５】
【図６】
【図７】
【図８】
【図９】
【図１０】
【図１１】
【図１２】
【図１３】
【図１４】
【図２】
【図３】
【図４】
【図５】
【図６】
【図７】
【図８】
【図９】
【図１０】
【図１１】
【図１２】
【図１３】
【図１４】
【公開番号】特開２０１２−２４７９５７（Ｐ２０１２−２４７９５７Ａ）
【公開日】平成２４年１２月１３日（２０１２．１２．１３）
【国際特許分類】
【出願番号】特願２０１１−１１８５１７（Ｐ２０１１−１１８５１７）
【出願日】平成２３年５月２６日（２０１１．５．２６）
【出願人】（０００００４０７５）ヤマハ株式会社 (5,930)
【公開日】平成２４年１２月１３日（２０１２．１２．１３）
【国際特許分類】
【出願日】平成２３年５月２６日（２０１１．５．２６）
【出願人】（０００００４０７５）ヤマハ株式会社 (5,930)
[ Back to top ]