データ検索装置およびプログラム
【課題】ユーザの想定に近い音素材が検索結果として得られるようにすること。
【解決手段】本発明の実施形態における楽音処理装置は、楽音波形信号を示す楽音データと当該楽音波形信号の複数種類の特徴量を示す特徴量データとを対応付けて登録された音素材データベースを用いて、ユーザから指定される検索条件に基づいて検索し、検索結果を表示する。このとき、ユーザの想定に近い音素材が検索結果として得られるように、ユーザによって指定された検索アルゴリズムにより検索が行われる。
【解決手段】本発明の実施形態における楽音処理装置は、楽音波形信号を示す楽音データと当該楽音波形信号の複数種類の特徴量を示す特徴量データとを対応付けて登録された音素材データベースを用いて、ユーザから指定される検索条件に基づいて検索し、検索結果を表示する。このとき、ユーザの想定に近い音素材が検索結果として得られるように、ユーザによって指定された検索アルゴリズムにより検索が行われる。
【発明の詳細な説明】
【技術分野】
【０００１】
本発明は、楽音波形信号を検索する技術に関する。
【背景技術】
【０００２】
断片的な音素材をデータベースに記憶し、この音素材を組み合わせて楽音を発生させる技術がある。楽音を発生させるときに用いる音素材は、データベースに登録された多数の音素材から選択されることになる。そのため、ユーザが所望する音素材を選択しやすくするために、これらの多数の音素材から一部の音素材に絞り込む検索処理を行う技術が開発されている。例えば、特許文献１には、ユーザが音素材を検索条件として指定することにより、データベースに登録された音素材から、この検索条件に類似した音素材を検索して、検索結果を表示する技術が記載されている。
【先行技術文献】
【特許文献】
【０００３】
【特許文献１】特開２０１０−２７１３９８号公報
【発明の概要】
【発明が解決しようとする課題】
【０００４】
このようにして検索された結果としての音素材は、検索条件に類似する順に複数表示される。ユーザは、この複数表示された検索結果から所望する音素材を選択することになる。このとき、ユーザの感覚に近い類似順で検索結果が表示されると、音素材の選択も容易に行うことができるが、必ずしもそのような類似順で表示されるとは限らない。そのため、ユーザは、自らが想定する類似順で検索結果が表示されるように、様々な検索条件を指定してみて試行錯誤する必要があった。
【０００５】
本発明は、上述の事情に鑑みてなされたものであり、ユーザの想定に近い音素材が検索結果として得られるようにすることを目的とする。
【課題を解決するための手段】
【０００６】
上述の課題を解決するため、本発明は、楽音波形信号を示す楽音データと当該楽音波形信号の複数種類の特徴量を示す特徴量データとを対応付けて登録されたデータベースを用いて、ユーザから指定される検索条件に基づいて検索をするデータ検索装置であって、第１の検索条件として、複数種類の前記特徴量を決定する条件決定手段と、前記第１の検索条件に類似する前記特徴量データの検索方法を各々示す複数の検索アルゴリズムから、第２の検索条件としての前記検索アルゴリズムを決定するアルゴリズム決定手段と、前記第２の検索条件が示す検索アルゴリズムを用いて、前記第１の検索条件に類似する前記特徴量データを前記データベースから検索して特定する特徴特定手段と、前記特徴特定手段によって特定された特徴量データに対応する楽音データを示す情報を、検索結果として表示手段に表示させる表示制御手段とを具備することを特徴とするデータ検索装置を提供する。
【０００７】
また、別の好ましい態様において、前記表示手段に表示された情報に対応する前記楽音データから、前記ユーザによって選択された前記楽音データを特定する楽音特定手段と、前記楽音特定手段によって特定された楽音データに対応する特徴量データと前記第１の検索条件とにおける前記特徴量の関係に基づいて、前記第２の検索条件として決定された検索アルゴリズムの更新をする更新手段とをさらに具備し、前記特徴特定手段は、前記第１の検索条件に類似する複数の前記特徴量データを特定し、前記表示制御手段は、前記特徴特定手段によって特定された複数の前記特徴量データに対応する楽音データを示す情報を、当該特徴量データと前記第１の検索条件との類似度に基づく態様で、前記表示手段に表示させることを特徴とする。
【０００８】
また、別の好ましい態様において、前記複数の検索アルゴリズムには、前記第１の検索条件に類似する特徴量データを、種類毎の前記特徴量の距離と種類毎に決められた重みとに基づいて検索する方法を示す前記検索アルゴリズムが含まれ、前記更新手段は、前記重みを変更することにより前記検索アルゴリズムの更新をすることを特徴とする。
【０００９】
また、別の好ましい態様において、前記楽音特定手段によって楽音データが特定されると、前記条件決定手段は、前記楽音特定手段によって特定された楽音データに対応する特徴量データに基づいて、前記第１の検索条件を更新し、前記アルゴリズム決定手段は、前記更新手段によって更新された検索アルゴリズムを前記第２の検索条件として更新し、前記特徴特定手段は、更新された前記第２の検索条件が示す検索方法により、更新された前記第１の検索条件に類似する前記特徴量データを前記データベースから検索して特定することを特徴とする。
【００１０】
また、別の好ましい態様において、前記更新手段は、前記第２の検索条件が予め決められた前記検索アルゴリズムである場合に、前記更新を行うことを特徴とする。
【００１１】
また、本発明は、コンピュータを、楽音波形信号を示す楽音データと当該楽音波形信号の複数種類の特徴量を示す特徴量データとを対応付けて登録されたデータベースを用いて、ユーザから指定される検索条件に基づいて検索をする装置として機能させるためのプログラムであって、前記コンピュータを、第１の検索条件として、複数種類の前記特徴量を決定する条件決定手段と、前記第１の検索条件に類似する前記特徴量データの検索方法を各々示す複数の検索アルゴリズムから、第２の検索条件としての前記検索アルゴリズムを決定するアルゴリズム決定手段と、前記第２の検索条件が示す検索アルゴリズムを用いて、前記第１の検索条件に類似する前記特徴量データを前記データベースから検索して特定する特徴特定手段と、前記特徴特定手段によって特定された特徴量データに対応する楽音データを示す情報を、検索結果として表示手段に表示させる表示制御手段として機能させるためのプログラムを提供する。
【発明の効果】
【００１２】
本発明によれば、ユーザの想定に近い音素材が検索結果として得られるようにすることができる。
【図面の簡単な説明】
【００１３】
【図１】本発明の実施形態における楽音処理装置の構成を説明するブロック図である。
【図２】本発明の実施形態における音素材ＤＢの例を説明する図である。
【図３】本発明の実施形態における特定データにより表される音素材の内容を説明する図である。
【図４】本発明の実施形態における分類テンプレートの例を説明する図である。
【図５】本発明の実施形態における設定テンプレートの例を説明する図である。
【図６】本発明の実施形態におけるデータ検索機能の構成を説明するブロック図である。
【図７】本発明の実施形態における検索条件設定表示の例を説明する図である。
【図８】本発明の実施形態における検索結果表示の例を説明する図である。
【図９】本発明の実施形態における音素材決定表示の例を説明する図である。
【図１０】本発明の変形例４における検索結果表示の例を説明する図である。
【発明を実施するための形態】
【００１４】
＜実施形態＞
［概要］
本発明の実施形態における楽音処理装置は、パーソナルコンピュータ、携帯電話、ＰＤＡ（Personal Digital Assistant）、タブレット端末などの情報処理装置であり、ＯＳ（Operating System）上で特定のアプリケーションプログラムを実行することにより、ＤＡＷ（Digital Audio Workstation）と呼ばれる機能が実現される装置である。この楽音処理装置において実現されるＤＡＷにおいては、楽音波形信号の一部として抽出される音素材を用いて楽音を発生させるための制御を行う機能も実現される。また、その他にも、音素材をデータベースから検索する機能など、以下に説明する各機能も実現される。ＤＡＷを実現するアプリケーションプログラムの実行中においてサブルーチンのプログラムが実行されることにより、これらの各機能が実現される。
【００１５】
［楽音処理装置１０の構成］
図１は、本発明の実施形態における楽音処理装置１０の構成を説明するブロック図である。楽音処理装置１０は、制御部１１、操作部１２、表示部１３、インターフェイス１４、記憶部１５、および音響処理部１６を有する。これらの各構成はバスを介して接続されている。また、楽音処理装置１０は、音響処理部１６に接続されたスピーカ１６１およびマイクロフォン１６２を有する。
【００１６】
制御部１１は、ＣＰＵ（Central Processing Unit）、ＲＡＭ（Random Access Memory）、ＲＯＭ（Read Only Memory）などを有する。制御部１１は、ＲＯＭまたは記憶部１５に記憶された各種プログラムを実行することにより、各種機能を実現する。この例においては、制御部１１によるプログラムの実行には、ＤＡＷを実現するアプリケーションプログラムの実行、上述のサブルーチンのプログラムの実行が含まれる。サブルーチンのプログラムとしては、記憶部１５に記憶された再生プログラム、抽出プログラム、および検索プログラムが含まれ、ユーザの指示に応じて実行される。
【００１７】
再生プログラムは、ＤＡＷにおいて楽音の発音内容を規定するシーケンスデータを再生し、楽音を発音させる処理を行う再生機能を実現するためのプログラムである。この再生機能においては、以下に説明するシーケンスデータにおける各トラックのデータを再生して楽音波形信号を合成し、この楽音波形信号を示すオーディオデータを音響処理部１６に出力して、スピーカ１６１から出力させる機能である。
抽出プログラムは、再生機能により合成される楽音波形信号などの様々な楽音波形信号から音素材を抽出する音素材抽出機能を実現するためのプログラムである。楽音波形信号から音素材を抽出する方法については公知の方法のいずれも用いること可能である。例えば、楽音波形信号から音量変化が一定以上の変化をするオンセットを検出し、オンセットから予め決められた時間の範囲のうち、様々な区間において楽音波形信号の特徴量を算出し、予め決められた特定の条件を満たす特徴量の区間を、音素材として抽出する。また、特開２０１０−１９１３３７号公報に開示された方法を用いてもよい。
検索プログラムは、記憶部１５に記憶されている音素材ＤＢから、検索条件に基づいて音素材を検索するデータ検索機能を実現するためのプログラムである。データ検索機能の詳細については、後述する。
【００１８】
操作部１２はユーザによる操作を受け付ける操作ボタン、キーボード、マウス、タッチパネルなどの操作手段を有し、それぞれに受け付けられた操作の内容を示す操作データを制御部１１に出力する。これにより、ユーザの指示が楽音処理装置１０に入力される。
表示部１３は、液晶ディスプレイなどの表示デバイスであり、制御部１１の制御に応じた内容の表示を表示画面１３１に行う。表示画面１３１に表示される内容は、メニュー画面、設定画面などの他、実行されたプログラムによって様々な内容となる（図７、図８、図９参照）。
【００１９】
インターフェイス１４は、外部装置と接続して有線または無線により通信し、各種データの送受信をする機能を有する。また、インターフェイス１４には、外部装置からオーディオデータが入力されるＡＵＸ（Auxiliary）端子も設けられている。インターフェイス１４は、外部装置から入力された各種データを制御部１１に出力する一方、制御部１１からの制御により、外部装置へ各種データを出力する。なお、ＡＵＸ端子にアナログ信号が入力される場合には、Ａ／Ｄ変換（アナログデジタル変換）が施される。
【００２０】
マイクロフォン１６２は、入力された音の内容を示す楽音波形信号を音響処理部１６に出力する。
音響処理部１６は、ＤＳＰ（Digital Signal Processor）などの信号処理回路などを有する。この例においては、音響処理部１６は、マイクロフォン１６２から入力される楽音波形信号をＡ／Ｄ変換し、オーディオデータとして制御部１１に出力する。また、音響処理部１６は、制御部１１から出力されたオーディオデータを、制御部１１によって設定された音響処理、Ｄ／Ａ変換（デジタルアナログ変換）処理、増幅処理などの信号処理などを施して、楽音波形信号としてスピーカ１６１に出力する。
スピーカ１６１は、音響処理部１６から入力された楽音波形信号が示す音を出力する。
【００２１】
記憶部１５は、ハードディスク、フラッシュメモリなどの不揮発性メモリであって、上記の各種プログラムを記憶する記憶領域を有する。また、記憶部１５は、各種プログラムが実行されているときに用いられるシーケンスデータ、音素材データベース（以下、音素材ＤＢと記す）、波形データベース（以下、波形ＤＢと記す）、分類テンプレート、および設定テンプレートをそれぞれ記憶する記憶領域を有する。
【００２２】
波形ＤＢは、楽音波形信号を示す波形データＷ１、Ｗ２、・・・が登録されている。これらの波形データが示す楽音波形信号は、楽曲、特定の楽器音、音素材など様々な内容のいずれかであり、その長さについても１秒未満から数分以上まで様々である。なお、この例における波形データについては、複数チャンネル（例えばＬｃｈ、Ｒｃｈ）のデータが含まれている。以下の説明においては、楽音波形信号を示す波形データ、オーディオデータなどの各データは、Ｌｃｈ、Ｒｃｈの２ｃｈにより構成されているものとするが、より多くのチャンネル数で構成されていてもよいし、モノラル（１ｃｈ）で構成されていてもよい。
【００２３】
図２は、本発明の実施形態における音素材ＤＢの例を説明する図である。音素材ＤＢは、音素材の内容を特定する情報が登録されている。図２に示すように、音素材の内容を特定する情報は、音素材の楽音波形信号の内容を特定する特定データ、音素材の楽音波形信号の特徴を示す特徴量データを含む。
【００２４】
特定データは、波形ＤＢに登録された波形データのいずれかを指定する波形指定情報と、その波形データにおけるデータ範囲を時刻で指定する時刻指定情報との組み合わせにより構成されている。この例においては、時刻指定情報によって指定される時刻は、波形データのデータ先頭からの時刻として決められている。特定データによって特定される音素材については、それぞれを特定するための識別子（この例においては、ｓｎ１、ｓｎ２、・・・）が付されている。以下、特定の音素材を示す場合には、音素材ｓｎ１というように記す。
なお、特定データのうち時刻指定情報が規定されていないものについては、波形指定情報が示す波形データそのものが音素材の楽音の内容を表している。例えば、音素材ｓｎ４が示す楽音ついては、波形データＷ５が示す楽音波形信号全体で表される。
【００２５】
図３は、本発明の実施形態における特定データにより表される音素材の内容を説明する図である。図３（ａ）は、音素材ｓｎ１、ｓｎ２、ｓｎ３が示す楽音の楽音波形信号を説明する図であり、図３（ｂ）は、音素材ｓｎ４が示す楽音の楽音波形信号を説明する図である。図２に示すように、音素材ｓｎ１の内容は、波形指定情報が波形データＷ１であり、時刻指定情報がｔｓ１〜ｔｅ１として特定されている。したがって、音素材ｓｎ１に対応する楽音波形信号は、図３（ａ）に示すように、波形データＷ１が示す楽音波形信号のうち、時刻ｔｓ１〜ｔｅ１の楽音波形信号となる。同様に、音素材ｓｎ２、ｓｎ３にそれぞれ対応する楽音波形信号についても、波形データＷ１が示す楽音波形信号の一部の範囲として特定される。一方、図３（ｂ）に示すように、音素材ｓｎ４が示す楽音波形信号については、時刻指定情報が規定されていないため、波形データＷ５が示す楽音波形信号全体として特定される。以下、音素材ｓｎ１、ｓｎ２、・・・が示す楽音波形信号を表すデータを、楽音データｓｎ１、ｓｎ２、・・・として記す。
【００２６】
図２に戻って説明を続ける。特徴量データは、各音素材の楽音波形信号がもつ複数種類の特徴量ｐ１、ｐ２、・・・を示す。例えば、音素材について、周波数別（高域、中域、低域）のそれぞれの強度、振幅のピークとなる時刻（楽音データの先頭を基準とした時刻）、振幅のピーク強度、協和度、複雑さなどについての特徴量であり、音素材データを解析して得られた値である。例えば、特徴量ｐ１は、その値により音素材の高域の強度を示す。以下、特徴量データは、その特徴量ｐ１、ｐ２、・・・のそれぞれの値の組み合わせによってＰａ、Ｐｂ、・・・というように示す。また、Ｐａの特徴量ｐ１、ｐ２、・・・の値は、ｐ１ａ、ｐ２ａ、・・・というように示す。例えば、音素材ｓｎ３については、特徴量データはＰｃであり、各特徴量の組み合わせは、ｐ１ｃ、ｐ２ｃ、・・・である。この例においては、各特徴量の値は、「０」から「１」の範囲で決められている。
【００２７】
図４は、本発明の実施形態における分類テンプレートの例を説明する図である。分類テンプレートは、音素材の特徴、すなわち特徴量データの内容により分類されるカテゴリについて、特徴量の種類毎に、分類の基準およびそのカテゴリの代表的な値としての指定値が決められ、カテゴリ毎に登録されている。
このカテゴリとは、聴感上の特徴が似た音素材毎に分類されたものであり、例えば、アタックが明瞭でエッジ感が強い音として分類されるカテゴリ（例えば、エッジ音）、ノイズのように聞こえる音として分類されるカテゴリ（例えば、テクスチャ音）などとして分類される。分類されるカテゴリは、その内容に応じてカテゴリＣ１、カテゴリＣ２、・・・として示す。
【００２８】
分類の基準は、各特徴量について、最小値と最大値が決められている。そのため、音素材は、その各特徴量が分類の基準を満たすカテゴリに分類される。例えば、カテゴリＣ１に分類される音素材は、特徴量ｐ１が「０．１」から「０．５」の範囲、特徴量ｐ２が「０．０」から「０．２」の範囲を満足していることになる。なお、音素材ＤＢにおいて、音素材に対応して分類されるカテゴリを、予め登録しておいてもよい。
指定値は、上述したようにカテゴリの代表的な特徴量の値である。例えば、カテゴリＣ２は、指定値として、特徴量ｐ１が「０．５」、特徴量ｐ２が「０．５」ということになる。一方、カテゴリＣ１における特徴量ｐ２の指定値のように、値が決められていない場合には、代表的な値が無いものとして扱われる。
【００２９】
図５は、本発明の実施形態における設定テンプレートの例を説明する図である。設定テンプレートは、検索プログラムが実行されているときに用いられるテンプレートであり、特徴量の種類毎の重要度が「０」から「１」の範囲で決められた各設定（重み設定Ａ、重み設定Ｂ、・・・）が登録されている。この例においては、設定内容が予め決められている設定と、ユーザによって設定内容が変更された重み設定（例えば、重み設定ＵＢ）とが存在する。
【００３０】
重み設定は、例えば、「標準設定」、「中域強度優先」、「エッジ優先」、「ノイズ優先」といったようにして決められ、その特徴を表す種類の特徴量について、相対的に重要度が高くなっている。例えば、「中域強度優先」の場合には、「中域の周波数の強度」を示す特徴量の重要度が、その他の特徴量に対して相対的に高くなるように決められている。「エッジ優先」の場合には、エッジ音の印象を与える種類の特徴量について、重要度が高くなるように決められている。「標準設定」の場合には、重要度はいずれの種類の特徴量についても同じである。
【００３１】
図１に戻って説明を続ける。シーケンスデータは、時系列に発音内容を規定する複数のトラックを有している。各トラックは、この例においては、オーディオトラック、ＭＩＤＩ（Musical Instrument Digital Interface）トラック、音素材トラックのうち、いずれかの種類のトラックが割り当てられている。
【００３２】
ＭＩＤＩトラックは、ノートオン、ノートオフ、ノートナンバ、ベロシティなどのＭＩＤＩイベントと、これらのイベントの処理タイミング（例えば、トラックのデータ開始からの小節数、拍数、ティック数などにより表される）との関係を規定するトラックである。このように、ＭＩＤＩトラックは、この例においては、一般的に用いられるＭＩＤＩ形式で規定されているものとするが、イベントに応じた発音内容の楽音波形信号を生成する音源などを制御するための情報が規定されたトラックであれば、他の形式によって規定されていてもよい。
【００３３】
オーディオトラックは、オーディオデータとそのデータの再生開始タイミングが規定されたトラックである。オーディオデータとしては、波形ＤＢに記憶された波形データであってもよいし、別途入力された楽音波形信号を示すデータであってもよい。また、再生開始タイミングは、上記の処理タイミングと同様に、トラックのデータ開始からの小節数、拍数、ティック数により表される。なお、オーディオデータの再生音量を示す情報など他の情報が含まれていてもよい。
【００３４】
音素材トラックは、楽音データとそのデータの再生開始タイミングが規定されたトラックである。楽音データは、音素材ＤＢにおいて各音素材の識別子により特定される。また、再生開始タイミングは、上記の処理タイミングと同様に、トラックのデータ開始からの小節数、拍数、ティック数により表される。なお、楽音データは、音素材の識別子により特定されるのではなく、音素材の特徴量データによって特定されてもよい。この場合には、再生機能において、音素材トラックに規定された特徴量データに最も類似した特徴量データが音素材ＤＢから特定され、特定された特徴量データに対応する音素材データが再生すべき楽音データとして特定されるようにすればよい。
以上が、楽音処理装置１０のハードウエア構成についての説明である。
【００３５】
［データ検索機能構成］
次に、楽音処理装置１０の制御部１１が検索プログラムを実行することによって実現されるデータ検索機能について説明する。なお、以下に説明する検索機能を実現する各構成の一部または全部については、ハードウエアによって実現してもよい。
【００３６】
図６は、本発明の実施形態におけるデータ検索機能の構成を説明するブロック図である。制御部１１が検索プログラムを実行すると、表示制御部１１０、条件決定部１２０、アルゴリズム決定部１３０、特徴特定部１４０、楽音特定部１５０、および更新部１６０を有するデータ検索部１００が構成され、データ検索機能が実現される。
【００３７】
表示制御部１１０は、特徴特定部１４０から指示された楽音データを示す画像（データ名称、対応する特徴量データに応じた画像などの楽音データを示す情報）を表示画面１３１に表示させる（以下、単に「楽音データを表示させる」という）。また、表示制御部１１０は、操作部１２から入力されるユーザの指示に応じて表示画面１３１における表示内容を変化させる。表示内容としては、データ検索機能に関する様々な内容（図７、図８、図９）であり、例えば、検索条件を指定する表示などが含まれる。表示画面１３１に表示される内容の具体例については、後述する動作例において説明する。
【００３８】
条件決定部１２０は、ユーザからの指示によって、分類テンプレートから特定のカテゴリが指定されると、そのカテゴリにおける各種類の特徴量の指定値を第１の検索条件として決定して、第１の検索条件を示す情報を特徴特定部１４０に出力する。
【００３９】
アルゴリズム決定部１３０は、ユーザからの指示によって、特徴特定部１４０において用いられる検索方法を示す検索アルゴリズムが指定されると、その検索アルゴリズムを第２の検索条件として決定して、第２の検索条件を示す情報を特徴特定部１４０および更新部１６０に出力する。この例においては、検索アルゴリズムには、特徴特定部１４０において計算される類似の度合い（以下、類似度という）の計算方法、および設定テンプレートから選択される重み設定が含まれている。また、この例においては、上述のようにしてユーザに指定されたカテゴリにおける各種類の特徴量の上限値および下限値（分類基準）についても検索アルゴリズムに含まれている。
ここで、類似度の計算方法の選択肢としては、例えば、ユークリッド距離計算、マハラノビス距離計算、コサイン類似度計算など、ｎ次元ベクトルの距離またはｎ次元ベクトルの類似度を算出する方法を用いた計算方法であればよい。このｎ次元ベクトルは、類似度の計算において比較対象となる特徴量の種類の数に相当する。
【００４０】
このように、この例においては、ユーザは、類似度計算方法、重み設定、カテゴリを選択することにより、検索アルゴリズムを指定することができる。そして、アルゴリズム決定部１３０は、ユーザによって指定された検索アルゴリズムを、第２の検索条件として決定する。
【００４１】
特徴特定部１４０は、上述のようにして決定された第１の検索条件に類似する特徴量データを、第２の検索条件が示す検索アルゴリズムを用いて音素材ＤＢから検索して特定する。具体的には、以下のように検索を行う。
特徴特定部１４０は、まず、音素材ＤＢに登録された各音素材の特徴量データのうち、第２の検索条件に含まれる分類基準を満たすものを、第１の検索条件との距離計算の対象となる特徴量データとして絞り込む。特徴特定部１４０は、絞り込んだ各特徴量データについて、第２の検索条件が示す類似度計算方法および重み設定にしたがって、第１の検索条件との類似度の計算を行う。この計算結果から、特徴特定部１４０は、予め決められた値よりも類似度が高い（距離が近い）特徴量データを特定する。そして、特徴特定部１４０は、特定した特徴量データに対応する楽音データを示す情報を、楽音特定部１５０に出力する。また、特徴特定部１４０は、特定した特徴量データに対応する楽音データを示す情報を類似度と対応付けて表示制御部１１０に出力する。これにより、表示画面１３１には、検索結果として、その楽音データが類似順に表示される。なお、表示画面１３１には、特徴データの類似度が高い方から予め決められた数の楽音データが表示されるようにしてもよい。
【００４２】
ここで、類似度の計算方法に重み設定を適用した場合の検索の方法の一例として、ユークリッド距離計算に重み設定を適用した場合について説明する。
まず、第１の検索条件として決定された特徴量ｐ１、ｐ２、・・・、ｐｎの値を、ｐ１ｘ、ｐ２ｘ、・・・、ｐｎｘとして表す。また、第２の検索条件として決定された重み設定が示す特徴量ｐ１、ｐ２、・・・、ｐｎに対応した重要度を、Ａ１、Ａ２、・・・、Ａｎとして表す。ユークリッド距離計算に重み設定を適用して重要度を特徴量の種類毎の重みとして用いた場合において、特徴量データＰｙ（ｐ１ｙ、ｐ２ｙ、・・・、ｐｎｙ）と第１の検索条件とのユークリッド距離ｄｘｙは、以下の式（１）で表される。
ｄｘｙ＝（Ａ１×（ｐ１ｘ−ｐ１ｙ）２＋Ａ２×（ｐ２ｘ−ｐ２ｙ）２＋・・・＋Ａｎ×（ｐ１ｘ−ｐ１ｙ）２）１／２ ・・・（１）
【００４３】
ここで、第１の検索条件としてカテゴリにおける指定値が決められていない特徴量の種類については、距離計算には用いない。カテゴリＣ１のｐ２のように指定値が決められていない場合には、例えば、式（１）においてｐ２ｘ＝ｐ２ｙとしたり、Ａ２＝０としたりして扱えばよい。
なお、他の類似度の計算方法を用いても、重み設定を特徴量の種類毎の重みとして用いることは同様である。他の計算方法への重み設定の適用方法としては、重みが大きい種類の特徴量ほど、特徴量の違いが類似度（距離）の変化に大きく影響を与えるように決められていればよい。すなわち、重みが大きい種類の特徴量ほど、その値の差が大きくなったときの類似度の減少量（距離の増加量）が大きくなるように決められていればよい。
【００４４】
楽音特定部１５０は、表示画面１３１に検索結果として表示された楽音データから、所望の楽音データとしてユーザによって選択された楽音データを特定し、特定した楽音データを示す情報を更新部１６０に出力する。このようにして特定された楽音データは、この例においては、シーケンスデータの音素材トラックを作成するときに用いられる音素材の識別子を特定するために用いられる。
【００４５】
更新部１６０は、第２の検索条件が示す検索アルゴリズムのうち重み設定における重要度を、楽音特定部１５０によって特定された楽音データに対応する特徴量と第１の検索条件の特徴量との関係に基づいて更新する。更新部１６０は、重要度を更新した重み設定を、設定テンプレートに登録する。このとき、更新部１６０は、元の重み設定に上書きして登録してもよいし、別の重み設定として新たに登録するようにしてもよい。いずれにするかは、ユーザの指示により予め決められていればよい。
なお、上書きして登録される場合には、予め決められた重み設定がユーザによって指定された場合にのみ更新が行われるようにしてもよい。このようにすると、設定テンプレートにおける重み設定が、ユーザによる楽音データの選択結果に応じて変化していくため、ユーザが第２の検索条件として同じ重み設定を指定しても、検索結果が変化するようにすることができる。
【００４６】
更新部１６０における重要度の更新態様についての一例を説明する。更新部１６０は、第１検索条件と、特定された楽音データに対応する特徴量とを種類毎に比較して、種類毎の差分を算出する。そして、更新部１６０は、差分が小さい特徴量の種類ほど、相対的に重要度が高くなるように、各種類の特徴量に対応した重要度を更新する。このように更新をすることにより、ユーザの感覚が重み設定に反映されるため、次に検索をするときには、ユーザが同じ検索条件を指定したとしても、検索結果として表示される楽音データの表示順が、前の表示順に比べて、ユーザの感覚にあった類似順で並ぶようになっていくことになる。
以上が、データ検索機能についての説明である。上記各機能構成により、楽音処理装置１０において、本発明のデータ検索装置が実現される。
【００４７】
［動作例］
続いて、上述した検索プログラムが実行されたときの動作例について、表示画面１３１の表示例を参照しながら説明する。
まず、ユーザは、ＤＡＷ上においてシーケンスデータの作成に用いる音素材を音素材ＤＢから選択したい場合などにおいて、検索プログラムの実行の指示を楽音処理装置１０に対して入力する。このようにすると、表示画面１３１には、図７に示す内容の表示がなされる。
【００４８】
図７は、本発明の実施形態における検索条件設定表示の例を説明する図である。表示画面１３１の上部にはメニュー領域ＭＡが設けられ、下部には登録領域ＷＡが設けられる。メニュー領域ＭＡは、検索プログラムの実行開始、データの保存、検索プログラムの実行停止など様々な指示をする操作を行うために設けられた領域である。登録領域ＷＡは、検索した結果として選んだ楽音データを登録するための領域であり、その領域内には、楽音データを登録する楽音登録領域ＷＡ１、ＷＡ２、・・・、ＷＡ７を持つ。カーソルＣｓ２は、選んだ楽音データをどの領域に登録するかを選択するものである。
【００４９】
カテゴリ領域ＣＡは、分類テンプレートに登録されているカテゴリを表示する領域である。この例においては、カテゴリＣ１、Ｃ２、・・・Ｃ７、およびＣ８の一部が表示されている。この領域内は上下にスクロール可能であり、Ｃ８以降については、スクロールすることで表示されるようになる。ここでは、カーソルＣｓ１がカテゴリＣ２を選択している状態を示す。
また、第２の検索条件のうち、類似度の計算方法（上述したユークリッド距離計算など）を指定するための選択ボックスＳＢ１、および設定テンプレートの中から重み設定を指定するための選択ボックスＳＢ２が表示されている。ここでは、類似度の計算方法として、ユークリッド距離計算が選択され、重み設定として、設定テンプレートにおける重み設定Ｂが選択されている状態を示す。ユーザは、例えば、ポインタｐｔを用いて、カーソルＣｓ１、Ｃｓ２の位置の変更、選択ボックスＳＢ１、ＳＢ２の内容の変更を行い、決定ボタンｂ１を操作することにより、選択された内容で第１の検索条件および第２の検索条件の指定を行う。ユーザによって、第１の検索条件および第２の検索条件が指定されると、条件決定部１２０による第１の検索条件の決定、およびアルゴリズム決定部１３０による第２の検索条件の決定がなされて、特徴特定部１４０における処理が開始される。そして、表示画面１３１は、図８に示す検索結果表示に遷移する。
【００５０】
図８は、本発明の実施形態における検索結果表示の例を説明する図である。検索結果領域ＳＡは、特徴特定部１４０によって特定された特徴量データに対応した楽音データ（ｓｎ５、ｓｎ３、ｓｎ１、・・・など）が検索結果として表示される領域であり、カテゴリ領域と同様に上下にスクロール可能になっている。ここに表示される楽音データは、上述したように、第１の検索条件および第２の検索条件により、特徴特定部１４０によって音素材ＤＢから検索され特定された特徴データに対応するものであり、この例においては、類似しているほど（距離が近いほど）上位に表示される。破線カーソルＣｍは、検索条件設定表示においてユーザによって指定されたカテゴリ（図７参照）を示している。
【００５１】
ここで、検索条件設定表示においてユーザが選択した類似度の計算方法、重み設定が図７に示す場合と異なる場合には、各楽音データについての類似度も異なるため、検索結果領域ＳＡにおける楽音データの表示順は変化する。例えば、重み設定が「標準設定」を示すものである場合には、どの種類の特徴量であっても同様に扱って類似度が計算される。一方、重み設定が「中域強度優先」を示すものである場合には、第１の検索条件における特徴量のうち、中域の強度の特徴量が近い特徴量データが、高い類似度になるように計算されるため、楽音データの表示順が「標準設定」の場合と異なって表示されることになる。このように、第２の検索条件をユーザが指定することができるため、表示画面１３１には、ユーザの想定に近い検索結果を表示されることになる。
【００５２】
ここで、ユーザがカーソルＣｓ１を上下に移動させることにより、カーソルＣｓ１によって選択される楽音データが変化すると、制御部１１は、楽音データが示す音素材の楽音波形信号を、音響処理部１６を介してスピーカ１６１に供給する。例えば、カーソルＣｓ１が選択する楽音データが楽音データｓｎ３から楽音データｓｎ５に変化すると、楽音データｓｎ５に対応する楽音がスピーカ１６１から発音される。これにより、ユーザは、カーソルＣｓ１によって選択された楽音データに対応する音素材の内容を聴取することができる。
ユーザは、カーソルＣｓ１の移動に伴う発音を確認しながら、所望の音素材が決まった場合には、所望の音素材に対応する楽音データにカーソルＣｓ１を移動させて決定ボタンｂ１を操作することで、ユーザによって選択された楽音データが楽音特定部１５０によって特定される。そして、表示画面１３１は、図９に示す音素材決定表示に遷移する。
【００５３】
図９は、本発明の実施形態における音素材決定表示の例を説明する図である。楽音特定部１５０によって楽音データ（この例においては楽音データｓｎ１１）が特定されると、カーソルＣｓ２が選択する楽音登録領域ＷＡ１には、特定された楽音データを示す情報（楽音データｓｎ１１を示す「１１」）が表示される。このように、楽音登録領域ＷＡ１、ＷＡ２、・・・に登録された楽音データについては、上述したように、音素材トラックを作成するときの音素材の識別子を特定するために用いられる。
【００５４】
また、更新部１６０は、楽音データｓｎ１１に対応する特徴量データが示す特徴量と、ユーザによって指定されたカテゴリＣ２の特徴量とを種類毎に比較して、第２検索条件として指定された重み設定Ｂの重要度を更新して、設定テンプレートに登録する。この例においては、新たに重み設定ＵＢとして登録したものとし、図５に示すように、重み設定ＵＢは、重み設定Ｂとは異なる重要度（特徴量ｐ２の重要度が増加、特徴量ｐ３の重要度が減少）に変わっている。
【００５５】
上述した検索が再び行われるときに、選択ボックスＳＢ２において重み設定ＵＢを選択し、その他の検索条件を同じにした場合には、重み設定Ｂの場合に比べて、ユーザの感覚が反映されるため、検索結果表示において、図８に示す場合に比べて、楽音データｓｎ１１が、より類似度が高いものとして上位に表示されるようになる。例えば、重み設定Ｂが「中域強度優先」を示すものであった場合において、ユーザは、発音を聴取した結果から、第１の検索条件の特徴量のうち中域の強度が類似した特徴量データに対応する楽音データであるものとして感じた楽音データｓｎ１１を選択する。したがって、ユーザが重み設定として再び「中域強度優先」を選択し、その他の条件を同じにした場合には、楽音データｓｎ１１がより上位に表示されるため、ユーザは、想定に近い検索結果が得られるようになったと感じるようになる。
【００５６】
＜変形例＞
以上、本発明の実施形態について説明したが、本発明は以下のように、様々な態様で実施可能である。
［変形例１］
上述した実施形態においては、第１の検索条件は、分類テンプレートによって示されるカテゴリがユーザによって指定されることで決定されていたが、ユーザによって各種類の特徴量が個別に指定されることで決定されてもよい。また、指定された内容が分類テンプレートに登録されるようにしてもよい。
第２の検索条件における重み設定についても、同様に、各種類の特徴量についての重要度がユーザによって個別に指定されるようにしてもよい。そして、指定された内容が設定テンプレートに登録されるようにしてもよい。
【００５７】
［変形例２］
上述した実施形態においては、第２の検索条件としてユーザによって指定される内容としては、類似度の計算方法および重み設定の双方が含まれていたが、いずれか一方はユーザによって指定されず、予め決められていてもよい。
【００５８】
［変形例３］
上述した実施形態においては、設定テンプレートは、重み設定が登録されていたが、類似度の計算方法と重み設定とが組み合わされて登録されていてもよい。この場合には、更新部１６０による重要度の更新については、類似度の計算方法の種類毎に別々に行われるようにすることができる。
例えば、第２の検索条件がユークリッド距離計算と重み設定Ｂとの組み合わせで決定され、重要度が更新された場合、実施形態においては、第２の検索条件において計算方法のみをマハラノビス距離計算に変更しても、重み設定は変更されないから更新された重要度により検索アルゴリズムが決められる。一方、本変形例においては、計算方法と重み設定とを組み合わせた内容で設定テンプレートに登録されているから、計算方法を変更すると、指定される重み設定も上記の更新がされていない設定に変更される。このようにすれば、計算方法ごとに重要度の更新を別個に管理することもできる。
【００５９】
［変形例４］
上述した実施形態において、表示画面１３１に検索結果表示がされている状態から、さらに検索が行われるようにしてもよい。この場合の処理について説明する。
表示画面１３１が図８に示す検索結果表示になっている場合において、カーソルＣｓ１によっていずれかの楽音データが選択された状態で、ユーザによって再検索が指示（図１０に示す再検索ボタンｂ１が操作）されると、実施形態と同様に、楽音特定部１５０は、その楽音データを特定し、更新部１６０は、重要度を更新する。一方、この場合には、実施形態における場合と異なり、楽音登録領域ＷＡ１には、特定された楽音データを示す情報は表示されないようになっている。
【００６０】
続いて、条件決定部１２０は、第１の検索条件を、楽音特定部１５０によって特定された楽音データに対応する特徴量データの内容に更新する。また、アルゴリズム決定部１３０は、更新部１６０が更新した内容になるように、第２の検索条件の重み設定を更新する。そして、特徴特定部１４０は、更新された第１の検索条件に類似する特徴量データを、更新された第２の検索条件を用いて音素材ＤＢから検索して特定する。これにより、表示画面１３１は、図１０に示す検索結果表示に遷移する。ここでは、カーソルＣｓ１は、楽音データｓｎ１１を選択していたものとする。
【００６１】
図１０は、本発明の変形例４における検索結果表示の例を説明する図である。図８に示す状態において検索結果領域ＳＡに表示されていた楽音データは、そのまま左側にスライドし、カテゴリが表示されていた領域に表示される。一方、検索結果領域ＳＡには、新たな検索結果としての楽音データが表示される。すなわち、この検索結果領域ＳＡには、楽音データｓｎ１１に特徴量データが類似した楽音データが検索結果として表示される。この検索に用いられる第２の検索条件の重み設定は、更新部１６０によって更新された重要度が用いられる。
【００６２】
この検索結果表示において、再検索ボタンｂ２が再び操作されると、上述のように更新された第１の検索条件および第２の検索条件を用いて再検索が行われる。一方、決定ボタンｂ１が操作されると、実施形態と同様に、カーソルＣｓ２が選択する楽音登録領域ＷＡ１に、楽音特定部１５０によって特定された楽音データ（決定ボタンｂ１が操作されたときにカーソルＣｓ１により選択されていた楽音データ）を示す情報が表示されることになる。
なお、再検索が行われるときには、重要度の更新が行われないようにしてもよい。この場合には、第２の検索条件は変更されず、第１の検索条件のみが変更されて再検索が行われることになる。
【００６３】
［変形例５］
上述した実施形態においては、検索結果領域ＳＡに表示される楽音データの表示順が類似順を表すようになっていたが、順番以外の表示態様で類似順が表されてもよい。例えば、表示の大きさ、濃さであったり、類似度を合わせて表示させたりすればよく、類似度に応じて表示態様が変化していればよい。
【００６４】
［変形例６］
上述した実施形態において、ユーザを識別する識別部を設け、ユーザ毎に設定テンプレートが記憶されるようにしてもよい。そして、識別部によって識別されたユーザに対応する設定テンプレートが実施形態における各処理に用いられるようにすればよい。操作部１２の操作などによりユーザを識別する情報が楽音処理装置１０に入力されると、識別部は、この情報を参照してユーザを識別すればよい。
このようにすれば、各ユーザに対応して重要度の更新が行われるから、１つの楽音処理装置１０を複数のユーザで共用する場合であっても、他のユーザの感覚が検索結果に反映されてしまうことを防止することができる。
【００６５】
［変形例７］
上述した実施形態においては、重要度を更新する更新部１６０が存在したが、必ずしも存在しなくてもよい。この場合には、検索結果として表示される楽音データは、最も類似した楽音データのみであってもよい。
【００６６】
［変形例８］
上述した実施形態においては、楽音登録領域ＷＡ１、ＷＡ２、・・・に登録された楽音データについては、音素材トラックの作成などに用いられるものとしたが、他の用途に用いられてもよい。例えば、この楽音データを用いて発音する楽器、音源などにおいて用いられてもよい。楽器に用いられる場合には、音高を変化させて用いてもよいし、予め音高が異なる楽音データを記憶部１５に記憶させておいてもよい。音高が異なるだけの楽音データについては、特徴特定部１４０における検索対象にはならないようにしてもよい。このように、本発明のデータ検索部１００を構成する楽音処理装置１０は、情報処理装置のほかにも、楽器、音源などにも適用することができる。
【００６７】
［変形例９］
上述した実施形態における各プログラムは、磁気記録媒体（磁気テープ、磁気ディスクなど）、光記録媒体（光ディスクなど）、光磁気記録媒体、半導体メモリなどのコンピュータ読み取り可能な記録媒体に記憶した状態で提供し得る。また、楽音処理装置１０は、各プログラムをネットワーク経由でダウンロードしてもよい。
【符号の説明】
【００６８】
１０…楽音処理装置、１１…制御部、１２…操作部、１３…表示部、１３１…表示画面、１４…インターフェイス、１５…記憶部、１６…音響処理部、１６１…スピーカ、１６２…マイクロフォン、１００…データ検索部、１１０…表示制御部、１２０…条件決定部、１３０…アルゴリズム決定部、１４０…特徴特定部、１５０…楽音特定部、１６０…更新部
【技術分野】
【０００１】
本発明は、楽音波形信号を検索する技術に関する。
【背景技術】
【０００２】
断片的な音素材をデータベースに記憶し、この音素材を組み合わせて楽音を発生させる技術がある。楽音を発生させるときに用いる音素材は、データベースに登録された多数の音素材から選択されることになる。そのため、ユーザが所望する音素材を選択しやすくするために、これらの多数の音素材から一部の音素材に絞り込む検索処理を行う技術が開発されている。例えば、特許文献１には、ユーザが音素材を検索条件として指定することにより、データベースに登録された音素材から、この検索条件に類似した音素材を検索して、検索結果を表示する技術が記載されている。
【先行技術文献】
【特許文献】
【０００３】
【特許文献１】特開２０１０−２７１３９８号公報
【発明の概要】
【発明が解決しようとする課題】
【０００４】
このようにして検索された結果としての音素材は、検索条件に類似する順に複数表示される。ユーザは、この複数表示された検索結果から所望する音素材を選択することになる。このとき、ユーザの感覚に近い類似順で検索結果が表示されると、音素材の選択も容易に行うことができるが、必ずしもそのような類似順で表示されるとは限らない。そのため、ユーザは、自らが想定する類似順で検索結果が表示されるように、様々な検索条件を指定してみて試行錯誤する必要があった。
【０００５】
本発明は、上述の事情に鑑みてなされたものであり、ユーザの想定に近い音素材が検索結果として得られるようにすることを目的とする。
【課題を解決するための手段】
【０００６】
上述の課題を解決するため、本発明は、楽音波形信号を示す楽音データと当該楽音波形信号の複数種類の特徴量を示す特徴量データとを対応付けて登録されたデータベースを用いて、ユーザから指定される検索条件に基づいて検索をするデータ検索装置であって、第１の検索条件として、複数種類の前記特徴量を決定する条件決定手段と、前記第１の検索条件に類似する前記特徴量データの検索方法を各々示す複数の検索アルゴリズムから、第２の検索条件としての前記検索アルゴリズムを決定するアルゴリズム決定手段と、前記第２の検索条件が示す検索アルゴリズムを用いて、前記第１の検索条件に類似する前記特徴量データを前記データベースから検索して特定する特徴特定手段と、前記特徴特定手段によって特定された特徴量データに対応する楽音データを示す情報を、検索結果として表示手段に表示させる表示制御手段とを具備することを特徴とするデータ検索装置を提供する。
【０００７】
また、別の好ましい態様において、前記表示手段に表示された情報に対応する前記楽音データから、前記ユーザによって選択された前記楽音データを特定する楽音特定手段と、前記楽音特定手段によって特定された楽音データに対応する特徴量データと前記第１の検索条件とにおける前記特徴量の関係に基づいて、前記第２の検索条件として決定された検索アルゴリズムの更新をする更新手段とをさらに具備し、前記特徴特定手段は、前記第１の検索条件に類似する複数の前記特徴量データを特定し、前記表示制御手段は、前記特徴特定手段によって特定された複数の前記特徴量データに対応する楽音データを示す情報を、当該特徴量データと前記第１の検索条件との類似度に基づく態様で、前記表示手段に表示させることを特徴とする。
【０００８】
また、別の好ましい態様において、前記複数の検索アルゴリズムには、前記第１の検索条件に類似する特徴量データを、種類毎の前記特徴量の距離と種類毎に決められた重みとに基づいて検索する方法を示す前記検索アルゴリズムが含まれ、前記更新手段は、前記重みを変更することにより前記検索アルゴリズムの更新をすることを特徴とする。
【０００９】
また、別の好ましい態様において、前記楽音特定手段によって楽音データが特定されると、前記条件決定手段は、前記楽音特定手段によって特定された楽音データに対応する特徴量データに基づいて、前記第１の検索条件を更新し、前記アルゴリズム決定手段は、前記更新手段によって更新された検索アルゴリズムを前記第２の検索条件として更新し、前記特徴特定手段は、更新された前記第２の検索条件が示す検索方法により、更新された前記第１の検索条件に類似する前記特徴量データを前記データベースから検索して特定することを特徴とする。
【００１０】
また、別の好ましい態様において、前記更新手段は、前記第２の検索条件が予め決められた前記検索アルゴリズムである場合に、前記更新を行うことを特徴とする。
【００１１】
また、本発明は、コンピュータを、楽音波形信号を示す楽音データと当該楽音波形信号の複数種類の特徴量を示す特徴量データとを対応付けて登録されたデータベースを用いて、ユーザから指定される検索条件に基づいて検索をする装置として機能させるためのプログラムであって、前記コンピュータを、第１の検索条件として、複数種類の前記特徴量を決定する条件決定手段と、前記第１の検索条件に類似する前記特徴量データの検索方法を各々示す複数の検索アルゴリズムから、第２の検索条件としての前記検索アルゴリズムを決定するアルゴリズム決定手段と、前記第２の検索条件が示す検索アルゴリズムを用いて、前記第１の検索条件に類似する前記特徴量データを前記データベースから検索して特定する特徴特定手段と、前記特徴特定手段によって特定された特徴量データに対応する楽音データを示す情報を、検索結果として表示手段に表示させる表示制御手段として機能させるためのプログラムを提供する。
【発明の効果】
【００１２】
本発明によれば、ユーザの想定に近い音素材が検索結果として得られるようにすることができる。
【図面の簡単な説明】
【００１３】
【図１】本発明の実施形態における楽音処理装置の構成を説明するブロック図である。
【図２】本発明の実施形態における音素材ＤＢの例を説明する図である。
【図３】本発明の実施形態における特定データにより表される音素材の内容を説明する図である。
【図４】本発明の実施形態における分類テンプレートの例を説明する図である。
【図５】本発明の実施形態における設定テンプレートの例を説明する図である。
【図６】本発明の実施形態におけるデータ検索機能の構成を説明するブロック図である。
【図７】本発明の実施形態における検索条件設定表示の例を説明する図である。
【図８】本発明の実施形態における検索結果表示の例を説明する図である。
【図９】本発明の実施形態における音素材決定表示の例を説明する図である。
【図１０】本発明の変形例４における検索結果表示の例を説明する図である。
【発明を実施するための形態】
【００１４】
＜実施形態＞
［概要］
本発明の実施形態における楽音処理装置は、パーソナルコンピュータ、携帯電話、ＰＤＡ（Personal Digital Assistant）、タブレット端末などの情報処理装置であり、ＯＳ（Operating System）上で特定のアプリケーションプログラムを実行することにより、ＤＡＷ（Digital Audio Workstation）と呼ばれる機能が実現される装置である。この楽音処理装置において実現されるＤＡＷにおいては、楽音波形信号の一部として抽出される音素材を用いて楽音を発生させるための制御を行う機能も実現される。また、その他にも、音素材をデータベースから検索する機能など、以下に説明する各機能も実現される。ＤＡＷを実現するアプリケーションプログラムの実行中においてサブルーチンのプログラムが実行されることにより、これらの各機能が実現される。
【００１５】
［楽音処理装置１０の構成］
図１は、本発明の実施形態における楽音処理装置１０の構成を説明するブロック図である。楽音処理装置１０は、制御部１１、操作部１２、表示部１３、インターフェイス１４、記憶部１５、および音響処理部１６を有する。これらの各構成はバスを介して接続されている。また、楽音処理装置１０は、音響処理部１６に接続されたスピーカ１６１およびマイクロフォン１６２を有する。
【００１６】
制御部１１は、ＣＰＵ（Central Processing Unit）、ＲＡＭ（Random Access Memory）、ＲＯＭ（Read Only Memory）などを有する。制御部１１は、ＲＯＭまたは記憶部１５に記憶された各種プログラムを実行することにより、各種機能を実現する。この例においては、制御部１１によるプログラムの実行には、ＤＡＷを実現するアプリケーションプログラムの実行、上述のサブルーチンのプログラムの実行が含まれる。サブルーチンのプログラムとしては、記憶部１５に記憶された再生プログラム、抽出プログラム、および検索プログラムが含まれ、ユーザの指示に応じて実行される。
【００１７】
再生プログラムは、ＤＡＷにおいて楽音の発音内容を規定するシーケンスデータを再生し、楽音を発音させる処理を行う再生機能を実現するためのプログラムである。この再生機能においては、以下に説明するシーケンスデータにおける各トラックのデータを再生して楽音波形信号を合成し、この楽音波形信号を示すオーディオデータを音響処理部１６に出力して、スピーカ１６１から出力させる機能である。
抽出プログラムは、再生機能により合成される楽音波形信号などの様々な楽音波形信号から音素材を抽出する音素材抽出機能を実現するためのプログラムである。楽音波形信号から音素材を抽出する方法については公知の方法のいずれも用いること可能である。例えば、楽音波形信号から音量変化が一定以上の変化をするオンセットを検出し、オンセットから予め決められた時間の範囲のうち、様々な区間において楽音波形信号の特徴量を算出し、予め決められた特定の条件を満たす特徴量の区間を、音素材として抽出する。また、特開２０１０−１９１３３７号公報に開示された方法を用いてもよい。
検索プログラムは、記憶部１５に記憶されている音素材ＤＢから、検索条件に基づいて音素材を検索するデータ検索機能を実現するためのプログラムである。データ検索機能の詳細については、後述する。
【００１８】
操作部１２はユーザによる操作を受け付ける操作ボタン、キーボード、マウス、タッチパネルなどの操作手段を有し、それぞれに受け付けられた操作の内容を示す操作データを制御部１１に出力する。これにより、ユーザの指示が楽音処理装置１０に入力される。
表示部１３は、液晶ディスプレイなどの表示デバイスであり、制御部１１の制御に応じた内容の表示を表示画面１３１に行う。表示画面１３１に表示される内容は、メニュー画面、設定画面などの他、実行されたプログラムによって様々な内容となる（図７、図８、図９参照）。
【００１９】
インターフェイス１４は、外部装置と接続して有線または無線により通信し、各種データの送受信をする機能を有する。また、インターフェイス１４には、外部装置からオーディオデータが入力されるＡＵＸ（Auxiliary）端子も設けられている。インターフェイス１４は、外部装置から入力された各種データを制御部１１に出力する一方、制御部１１からの制御により、外部装置へ各種データを出力する。なお、ＡＵＸ端子にアナログ信号が入力される場合には、Ａ／Ｄ変換（アナログデジタル変換）が施される。
【００２０】
マイクロフォン１６２は、入力された音の内容を示す楽音波形信号を音響処理部１６に出力する。
音響処理部１６は、ＤＳＰ（Digital Signal Processor）などの信号処理回路などを有する。この例においては、音響処理部１６は、マイクロフォン１６２から入力される楽音波形信号をＡ／Ｄ変換し、オーディオデータとして制御部１１に出力する。また、音響処理部１６は、制御部１１から出力されたオーディオデータを、制御部１１によって設定された音響処理、Ｄ／Ａ変換（デジタルアナログ変換）処理、増幅処理などの信号処理などを施して、楽音波形信号としてスピーカ１６１に出力する。
スピーカ１６１は、音響処理部１６から入力された楽音波形信号が示す音を出力する。
【００２１】
記憶部１５は、ハードディスク、フラッシュメモリなどの不揮発性メモリであって、上記の各種プログラムを記憶する記憶領域を有する。また、記憶部１５は、各種プログラムが実行されているときに用いられるシーケンスデータ、音素材データベース（以下、音素材ＤＢと記す）、波形データベース（以下、波形ＤＢと記す）、分類テンプレート、および設定テンプレートをそれぞれ記憶する記憶領域を有する。
【００２２】
波形ＤＢは、楽音波形信号を示す波形データＷ１、Ｗ２、・・・が登録されている。これらの波形データが示す楽音波形信号は、楽曲、特定の楽器音、音素材など様々な内容のいずれかであり、その長さについても１秒未満から数分以上まで様々である。なお、この例における波形データについては、複数チャンネル（例えばＬｃｈ、Ｒｃｈ）のデータが含まれている。以下の説明においては、楽音波形信号を示す波形データ、オーディオデータなどの各データは、Ｌｃｈ、Ｒｃｈの２ｃｈにより構成されているものとするが、より多くのチャンネル数で構成されていてもよいし、モノラル（１ｃｈ）で構成されていてもよい。
【００２３】
図２は、本発明の実施形態における音素材ＤＢの例を説明する図である。音素材ＤＢは、音素材の内容を特定する情報が登録されている。図２に示すように、音素材の内容を特定する情報は、音素材の楽音波形信号の内容を特定する特定データ、音素材の楽音波形信号の特徴を示す特徴量データを含む。
【００２４】
特定データは、波形ＤＢに登録された波形データのいずれかを指定する波形指定情報と、その波形データにおけるデータ範囲を時刻で指定する時刻指定情報との組み合わせにより構成されている。この例においては、時刻指定情報によって指定される時刻は、波形データのデータ先頭からの時刻として決められている。特定データによって特定される音素材については、それぞれを特定するための識別子（この例においては、ｓｎ１、ｓｎ２、・・・）が付されている。以下、特定の音素材を示す場合には、音素材ｓｎ１というように記す。
なお、特定データのうち時刻指定情報が規定されていないものについては、波形指定情報が示す波形データそのものが音素材の楽音の内容を表している。例えば、音素材ｓｎ４が示す楽音ついては、波形データＷ５が示す楽音波形信号全体で表される。
【００２５】
図３は、本発明の実施形態における特定データにより表される音素材の内容を説明する図である。図３（ａ）は、音素材ｓｎ１、ｓｎ２、ｓｎ３が示す楽音の楽音波形信号を説明する図であり、図３（ｂ）は、音素材ｓｎ４が示す楽音の楽音波形信号を説明する図である。図２に示すように、音素材ｓｎ１の内容は、波形指定情報が波形データＷ１であり、時刻指定情報がｔｓ１〜ｔｅ１として特定されている。したがって、音素材ｓｎ１に対応する楽音波形信号は、図３（ａ）に示すように、波形データＷ１が示す楽音波形信号のうち、時刻ｔｓ１〜ｔｅ１の楽音波形信号となる。同様に、音素材ｓｎ２、ｓｎ３にそれぞれ対応する楽音波形信号についても、波形データＷ１が示す楽音波形信号の一部の範囲として特定される。一方、図３（ｂ）に示すように、音素材ｓｎ４が示す楽音波形信号については、時刻指定情報が規定されていないため、波形データＷ５が示す楽音波形信号全体として特定される。以下、音素材ｓｎ１、ｓｎ２、・・・が示す楽音波形信号を表すデータを、楽音データｓｎ１、ｓｎ２、・・・として記す。
【００２６】
図２に戻って説明を続ける。特徴量データは、各音素材の楽音波形信号がもつ複数種類の特徴量ｐ１、ｐ２、・・・を示す。例えば、音素材について、周波数別（高域、中域、低域）のそれぞれの強度、振幅のピークとなる時刻（楽音データの先頭を基準とした時刻）、振幅のピーク強度、協和度、複雑さなどについての特徴量であり、音素材データを解析して得られた値である。例えば、特徴量ｐ１は、その値により音素材の高域の強度を示す。以下、特徴量データは、その特徴量ｐ１、ｐ２、・・・のそれぞれの値の組み合わせによってＰａ、Ｐｂ、・・・というように示す。また、Ｐａの特徴量ｐ１、ｐ２、・・・の値は、ｐ１ａ、ｐ２ａ、・・・というように示す。例えば、音素材ｓｎ３については、特徴量データはＰｃであり、各特徴量の組み合わせは、ｐ１ｃ、ｐ２ｃ、・・・である。この例においては、各特徴量の値は、「０」から「１」の範囲で決められている。
【００２７】
図４は、本発明の実施形態における分類テンプレートの例を説明する図である。分類テンプレートは、音素材の特徴、すなわち特徴量データの内容により分類されるカテゴリについて、特徴量の種類毎に、分類の基準およびそのカテゴリの代表的な値としての指定値が決められ、カテゴリ毎に登録されている。
このカテゴリとは、聴感上の特徴が似た音素材毎に分類されたものであり、例えば、アタックが明瞭でエッジ感が強い音として分類されるカテゴリ（例えば、エッジ音）、ノイズのように聞こえる音として分類されるカテゴリ（例えば、テクスチャ音）などとして分類される。分類されるカテゴリは、その内容に応じてカテゴリＣ１、カテゴリＣ２、・・・として示す。
【００２８】
分類の基準は、各特徴量について、最小値と最大値が決められている。そのため、音素材は、その各特徴量が分類の基準を満たすカテゴリに分類される。例えば、カテゴリＣ１に分類される音素材は、特徴量ｐ１が「０．１」から「０．５」の範囲、特徴量ｐ２が「０．０」から「０．２」の範囲を満足していることになる。なお、音素材ＤＢにおいて、音素材に対応して分類されるカテゴリを、予め登録しておいてもよい。
指定値は、上述したようにカテゴリの代表的な特徴量の値である。例えば、カテゴリＣ２は、指定値として、特徴量ｐ１が「０．５」、特徴量ｐ２が「０．５」ということになる。一方、カテゴリＣ１における特徴量ｐ２の指定値のように、値が決められていない場合には、代表的な値が無いものとして扱われる。
【００２９】
図５は、本発明の実施形態における設定テンプレートの例を説明する図である。設定テンプレートは、検索プログラムが実行されているときに用いられるテンプレートであり、特徴量の種類毎の重要度が「０」から「１」の範囲で決められた各設定（重み設定Ａ、重み設定Ｂ、・・・）が登録されている。この例においては、設定内容が予め決められている設定と、ユーザによって設定内容が変更された重み設定（例えば、重み設定ＵＢ）とが存在する。
【００３０】
重み設定は、例えば、「標準設定」、「中域強度優先」、「エッジ優先」、「ノイズ優先」といったようにして決められ、その特徴を表す種類の特徴量について、相対的に重要度が高くなっている。例えば、「中域強度優先」の場合には、「中域の周波数の強度」を示す特徴量の重要度が、その他の特徴量に対して相対的に高くなるように決められている。「エッジ優先」の場合には、エッジ音の印象を与える種類の特徴量について、重要度が高くなるように決められている。「標準設定」の場合には、重要度はいずれの種類の特徴量についても同じである。
【００３１】
図１に戻って説明を続ける。シーケンスデータは、時系列に発音内容を規定する複数のトラックを有している。各トラックは、この例においては、オーディオトラック、ＭＩＤＩ（Musical Instrument Digital Interface）トラック、音素材トラックのうち、いずれかの種類のトラックが割り当てられている。
【００３２】
ＭＩＤＩトラックは、ノートオン、ノートオフ、ノートナンバ、ベロシティなどのＭＩＤＩイベントと、これらのイベントの処理タイミング（例えば、トラックのデータ開始からの小節数、拍数、ティック数などにより表される）との関係を規定するトラックである。このように、ＭＩＤＩトラックは、この例においては、一般的に用いられるＭＩＤＩ形式で規定されているものとするが、イベントに応じた発音内容の楽音波形信号を生成する音源などを制御するための情報が規定されたトラックであれば、他の形式によって規定されていてもよい。
【００３３】
オーディオトラックは、オーディオデータとそのデータの再生開始タイミングが規定されたトラックである。オーディオデータとしては、波形ＤＢに記憶された波形データであってもよいし、別途入力された楽音波形信号を示すデータであってもよい。また、再生開始タイミングは、上記の処理タイミングと同様に、トラックのデータ開始からの小節数、拍数、ティック数により表される。なお、オーディオデータの再生音量を示す情報など他の情報が含まれていてもよい。
【００３４】
音素材トラックは、楽音データとそのデータの再生開始タイミングが規定されたトラックである。楽音データは、音素材ＤＢにおいて各音素材の識別子により特定される。また、再生開始タイミングは、上記の処理タイミングと同様に、トラックのデータ開始からの小節数、拍数、ティック数により表される。なお、楽音データは、音素材の識別子により特定されるのではなく、音素材の特徴量データによって特定されてもよい。この場合には、再生機能において、音素材トラックに規定された特徴量データに最も類似した特徴量データが音素材ＤＢから特定され、特定された特徴量データに対応する音素材データが再生すべき楽音データとして特定されるようにすればよい。
以上が、楽音処理装置１０のハードウエア構成についての説明である。
【００３５】
［データ検索機能構成］
次に、楽音処理装置１０の制御部１１が検索プログラムを実行することによって実現されるデータ検索機能について説明する。なお、以下に説明する検索機能を実現する各構成の一部または全部については、ハードウエアによって実現してもよい。
【００３６】
図６は、本発明の実施形態におけるデータ検索機能の構成を説明するブロック図である。制御部１１が検索プログラムを実行すると、表示制御部１１０、条件決定部１２０、アルゴリズム決定部１３０、特徴特定部１４０、楽音特定部１５０、および更新部１６０を有するデータ検索部１００が構成され、データ検索機能が実現される。
【００３７】
表示制御部１１０は、特徴特定部１４０から指示された楽音データを示す画像（データ名称、対応する特徴量データに応じた画像などの楽音データを示す情報）を表示画面１３１に表示させる（以下、単に「楽音データを表示させる」という）。また、表示制御部１１０は、操作部１２から入力されるユーザの指示に応じて表示画面１３１における表示内容を変化させる。表示内容としては、データ検索機能に関する様々な内容（図７、図８、図９）であり、例えば、検索条件を指定する表示などが含まれる。表示画面１３１に表示される内容の具体例については、後述する動作例において説明する。
【００３８】
条件決定部１２０は、ユーザからの指示によって、分類テンプレートから特定のカテゴリが指定されると、そのカテゴリにおける各種類の特徴量の指定値を第１の検索条件として決定して、第１の検索条件を示す情報を特徴特定部１４０に出力する。
【００３９】
アルゴリズム決定部１３０は、ユーザからの指示によって、特徴特定部１４０において用いられる検索方法を示す検索アルゴリズムが指定されると、その検索アルゴリズムを第２の検索条件として決定して、第２の検索条件を示す情報を特徴特定部１４０および更新部１６０に出力する。この例においては、検索アルゴリズムには、特徴特定部１４０において計算される類似の度合い（以下、類似度という）の計算方法、および設定テンプレートから選択される重み設定が含まれている。また、この例においては、上述のようにしてユーザに指定されたカテゴリにおける各種類の特徴量の上限値および下限値（分類基準）についても検索アルゴリズムに含まれている。
ここで、類似度の計算方法の選択肢としては、例えば、ユークリッド距離計算、マハラノビス距離計算、コサイン類似度計算など、ｎ次元ベクトルの距離またはｎ次元ベクトルの類似度を算出する方法を用いた計算方法であればよい。このｎ次元ベクトルは、類似度の計算において比較対象となる特徴量の種類の数に相当する。
【００４０】
このように、この例においては、ユーザは、類似度計算方法、重み設定、カテゴリを選択することにより、検索アルゴリズムを指定することができる。そして、アルゴリズム決定部１３０は、ユーザによって指定された検索アルゴリズムを、第２の検索条件として決定する。
【００４１】
特徴特定部１４０は、上述のようにして決定された第１の検索条件に類似する特徴量データを、第２の検索条件が示す検索アルゴリズムを用いて音素材ＤＢから検索して特定する。具体的には、以下のように検索を行う。
特徴特定部１４０は、まず、音素材ＤＢに登録された各音素材の特徴量データのうち、第２の検索条件に含まれる分類基準を満たすものを、第１の検索条件との距離計算の対象となる特徴量データとして絞り込む。特徴特定部１４０は、絞り込んだ各特徴量データについて、第２の検索条件が示す類似度計算方法および重み設定にしたがって、第１の検索条件との類似度の計算を行う。この計算結果から、特徴特定部１４０は、予め決められた値よりも類似度が高い（距離が近い）特徴量データを特定する。そして、特徴特定部１４０は、特定した特徴量データに対応する楽音データを示す情報を、楽音特定部１５０に出力する。また、特徴特定部１４０は、特定した特徴量データに対応する楽音データを示す情報を類似度と対応付けて表示制御部１１０に出力する。これにより、表示画面１３１には、検索結果として、その楽音データが類似順に表示される。なお、表示画面１３１には、特徴データの類似度が高い方から予め決められた数の楽音データが表示されるようにしてもよい。
【００４２】
ここで、類似度の計算方法に重み設定を適用した場合の検索の方法の一例として、ユークリッド距離計算に重み設定を適用した場合について説明する。
まず、第１の検索条件として決定された特徴量ｐ１、ｐ２、・・・、ｐｎの値を、ｐ１ｘ、ｐ２ｘ、・・・、ｐｎｘとして表す。また、第２の検索条件として決定された重み設定が示す特徴量ｐ１、ｐ２、・・・、ｐｎに対応した重要度を、Ａ１、Ａ２、・・・、Ａｎとして表す。ユークリッド距離計算に重み設定を適用して重要度を特徴量の種類毎の重みとして用いた場合において、特徴量データＰｙ（ｐ１ｙ、ｐ２ｙ、・・・、ｐｎｙ）と第１の検索条件とのユークリッド距離ｄｘｙは、以下の式（１）で表される。
ｄｘｙ＝（Ａ１×（ｐ１ｘ−ｐ１ｙ）２＋Ａ２×（ｐ２ｘ−ｐ２ｙ）２＋・・・＋Ａｎ×（ｐ１ｘ−ｐ１ｙ）２）１／２ ・・・（１）
【００４３】
ここで、第１の検索条件としてカテゴリにおける指定値が決められていない特徴量の種類については、距離計算には用いない。カテゴリＣ１のｐ２のように指定値が決められていない場合には、例えば、式（１）においてｐ２ｘ＝ｐ２ｙとしたり、Ａ２＝０としたりして扱えばよい。
なお、他の類似度の計算方法を用いても、重み設定を特徴量の種類毎の重みとして用いることは同様である。他の計算方法への重み設定の適用方法としては、重みが大きい種類の特徴量ほど、特徴量の違いが類似度（距離）の変化に大きく影響を与えるように決められていればよい。すなわち、重みが大きい種類の特徴量ほど、その値の差が大きくなったときの類似度の減少量（距離の増加量）が大きくなるように決められていればよい。
【００４４】
楽音特定部１５０は、表示画面１３１に検索結果として表示された楽音データから、所望の楽音データとしてユーザによって選択された楽音データを特定し、特定した楽音データを示す情報を更新部１６０に出力する。このようにして特定された楽音データは、この例においては、シーケンスデータの音素材トラックを作成するときに用いられる音素材の識別子を特定するために用いられる。
【００４５】
更新部１６０は、第２の検索条件が示す検索アルゴリズムのうち重み設定における重要度を、楽音特定部１５０によって特定された楽音データに対応する特徴量と第１の検索条件の特徴量との関係に基づいて更新する。更新部１６０は、重要度を更新した重み設定を、設定テンプレートに登録する。このとき、更新部１６０は、元の重み設定に上書きして登録してもよいし、別の重み設定として新たに登録するようにしてもよい。いずれにするかは、ユーザの指示により予め決められていればよい。
なお、上書きして登録される場合には、予め決められた重み設定がユーザによって指定された場合にのみ更新が行われるようにしてもよい。このようにすると、設定テンプレートにおける重み設定が、ユーザによる楽音データの選択結果に応じて変化していくため、ユーザが第２の検索条件として同じ重み設定を指定しても、検索結果が変化するようにすることができる。
【００４６】
更新部１６０における重要度の更新態様についての一例を説明する。更新部１６０は、第１検索条件と、特定された楽音データに対応する特徴量とを種類毎に比較して、種類毎の差分を算出する。そして、更新部１６０は、差分が小さい特徴量の種類ほど、相対的に重要度が高くなるように、各種類の特徴量に対応した重要度を更新する。このように更新をすることにより、ユーザの感覚が重み設定に反映されるため、次に検索をするときには、ユーザが同じ検索条件を指定したとしても、検索結果として表示される楽音データの表示順が、前の表示順に比べて、ユーザの感覚にあった類似順で並ぶようになっていくことになる。
以上が、データ検索機能についての説明である。上記各機能構成により、楽音処理装置１０において、本発明のデータ検索装置が実現される。
【００４７】
［動作例］
続いて、上述した検索プログラムが実行されたときの動作例について、表示画面１３１の表示例を参照しながら説明する。
まず、ユーザは、ＤＡＷ上においてシーケンスデータの作成に用いる音素材を音素材ＤＢから選択したい場合などにおいて、検索プログラムの実行の指示を楽音処理装置１０に対して入力する。このようにすると、表示画面１３１には、図７に示す内容の表示がなされる。
【００４８】
図７は、本発明の実施形態における検索条件設定表示の例を説明する図である。表示画面１３１の上部にはメニュー領域ＭＡが設けられ、下部には登録領域ＷＡが設けられる。メニュー領域ＭＡは、検索プログラムの実行開始、データの保存、検索プログラムの実行停止など様々な指示をする操作を行うために設けられた領域である。登録領域ＷＡは、検索した結果として選んだ楽音データを登録するための領域であり、その領域内には、楽音データを登録する楽音登録領域ＷＡ１、ＷＡ２、・・・、ＷＡ７を持つ。カーソルＣｓ２は、選んだ楽音データをどの領域に登録するかを選択するものである。
【００４９】
カテゴリ領域ＣＡは、分類テンプレートに登録されているカテゴリを表示する領域である。この例においては、カテゴリＣ１、Ｃ２、・・・Ｃ７、およびＣ８の一部が表示されている。この領域内は上下にスクロール可能であり、Ｃ８以降については、スクロールすることで表示されるようになる。ここでは、カーソルＣｓ１がカテゴリＣ２を選択している状態を示す。
また、第２の検索条件のうち、類似度の計算方法（上述したユークリッド距離計算など）を指定するための選択ボックスＳＢ１、および設定テンプレートの中から重み設定を指定するための選択ボックスＳＢ２が表示されている。ここでは、類似度の計算方法として、ユークリッド距離計算が選択され、重み設定として、設定テンプレートにおける重み設定Ｂが選択されている状態を示す。ユーザは、例えば、ポインタｐｔを用いて、カーソルＣｓ１、Ｃｓ２の位置の変更、選択ボックスＳＢ１、ＳＢ２の内容の変更を行い、決定ボタンｂ１を操作することにより、選択された内容で第１の検索条件および第２の検索条件の指定を行う。ユーザによって、第１の検索条件および第２の検索条件が指定されると、条件決定部１２０による第１の検索条件の決定、およびアルゴリズム決定部１３０による第２の検索条件の決定がなされて、特徴特定部１４０における処理が開始される。そして、表示画面１３１は、図８に示す検索結果表示に遷移する。
【００５０】
図８は、本発明の実施形態における検索結果表示の例を説明する図である。検索結果領域ＳＡは、特徴特定部１４０によって特定された特徴量データに対応した楽音データ（ｓｎ５、ｓｎ３、ｓｎ１、・・・など）が検索結果として表示される領域であり、カテゴリ領域と同様に上下にスクロール可能になっている。ここに表示される楽音データは、上述したように、第１の検索条件および第２の検索条件により、特徴特定部１４０によって音素材ＤＢから検索され特定された特徴データに対応するものであり、この例においては、類似しているほど（距離が近いほど）上位に表示される。破線カーソルＣｍは、検索条件設定表示においてユーザによって指定されたカテゴリ（図７参照）を示している。
【００５１】
ここで、検索条件設定表示においてユーザが選択した類似度の計算方法、重み設定が図７に示す場合と異なる場合には、各楽音データについての類似度も異なるため、検索結果領域ＳＡにおける楽音データの表示順は変化する。例えば、重み設定が「標準設定」を示すものである場合には、どの種類の特徴量であっても同様に扱って類似度が計算される。一方、重み設定が「中域強度優先」を示すものである場合には、第１の検索条件における特徴量のうち、中域の強度の特徴量が近い特徴量データが、高い類似度になるように計算されるため、楽音データの表示順が「標準設定」の場合と異なって表示されることになる。このように、第２の検索条件をユーザが指定することができるため、表示画面１３１には、ユーザの想定に近い検索結果を表示されることになる。
【００５２】
ここで、ユーザがカーソルＣｓ１を上下に移動させることにより、カーソルＣｓ１によって選択される楽音データが変化すると、制御部１１は、楽音データが示す音素材の楽音波形信号を、音響処理部１６を介してスピーカ１６１に供給する。例えば、カーソルＣｓ１が選択する楽音データが楽音データｓｎ３から楽音データｓｎ５に変化すると、楽音データｓｎ５に対応する楽音がスピーカ１６１から発音される。これにより、ユーザは、カーソルＣｓ１によって選択された楽音データに対応する音素材の内容を聴取することができる。
ユーザは、カーソルＣｓ１の移動に伴う発音を確認しながら、所望の音素材が決まった場合には、所望の音素材に対応する楽音データにカーソルＣｓ１を移動させて決定ボタンｂ１を操作することで、ユーザによって選択された楽音データが楽音特定部１５０によって特定される。そして、表示画面１３１は、図９に示す音素材決定表示に遷移する。
【００５３】
図９は、本発明の実施形態における音素材決定表示の例を説明する図である。楽音特定部１５０によって楽音データ（この例においては楽音データｓｎ１１）が特定されると、カーソルＣｓ２が選択する楽音登録領域ＷＡ１には、特定された楽音データを示す情報（楽音データｓｎ１１を示す「１１」）が表示される。このように、楽音登録領域ＷＡ１、ＷＡ２、・・・に登録された楽音データについては、上述したように、音素材トラックを作成するときの音素材の識別子を特定するために用いられる。
【００５４】
また、更新部１６０は、楽音データｓｎ１１に対応する特徴量データが示す特徴量と、ユーザによって指定されたカテゴリＣ２の特徴量とを種類毎に比較して、第２検索条件として指定された重み設定Ｂの重要度を更新して、設定テンプレートに登録する。この例においては、新たに重み設定ＵＢとして登録したものとし、図５に示すように、重み設定ＵＢは、重み設定Ｂとは異なる重要度（特徴量ｐ２の重要度が増加、特徴量ｐ３の重要度が減少）に変わっている。
【００５５】
上述した検索が再び行われるときに、選択ボックスＳＢ２において重み設定ＵＢを選択し、その他の検索条件を同じにした場合には、重み設定Ｂの場合に比べて、ユーザの感覚が反映されるため、検索結果表示において、図８に示す場合に比べて、楽音データｓｎ１１が、より類似度が高いものとして上位に表示されるようになる。例えば、重み設定Ｂが「中域強度優先」を示すものであった場合において、ユーザは、発音を聴取した結果から、第１の検索条件の特徴量のうち中域の強度が類似した特徴量データに対応する楽音データであるものとして感じた楽音データｓｎ１１を選択する。したがって、ユーザが重み設定として再び「中域強度優先」を選択し、その他の条件を同じにした場合には、楽音データｓｎ１１がより上位に表示されるため、ユーザは、想定に近い検索結果が得られるようになったと感じるようになる。
【００５６】
＜変形例＞
以上、本発明の実施形態について説明したが、本発明は以下のように、様々な態様で実施可能である。
［変形例１］
上述した実施形態においては、第１の検索条件は、分類テンプレートによって示されるカテゴリがユーザによって指定されることで決定されていたが、ユーザによって各種類の特徴量が個別に指定されることで決定されてもよい。また、指定された内容が分類テンプレートに登録されるようにしてもよい。
第２の検索条件における重み設定についても、同様に、各種類の特徴量についての重要度がユーザによって個別に指定されるようにしてもよい。そして、指定された内容が設定テンプレートに登録されるようにしてもよい。
【００５７】
［変形例２］
上述した実施形態においては、第２の検索条件としてユーザによって指定される内容としては、類似度の計算方法および重み設定の双方が含まれていたが、いずれか一方はユーザによって指定されず、予め決められていてもよい。
【００５８】
［変形例３］
上述した実施形態においては、設定テンプレートは、重み設定が登録されていたが、類似度の計算方法と重み設定とが組み合わされて登録されていてもよい。この場合には、更新部１６０による重要度の更新については、類似度の計算方法の種類毎に別々に行われるようにすることができる。
例えば、第２の検索条件がユークリッド距離計算と重み設定Ｂとの組み合わせで決定され、重要度が更新された場合、実施形態においては、第２の検索条件において計算方法のみをマハラノビス距離計算に変更しても、重み設定は変更されないから更新された重要度により検索アルゴリズムが決められる。一方、本変形例においては、計算方法と重み設定とを組み合わせた内容で設定テンプレートに登録されているから、計算方法を変更すると、指定される重み設定も上記の更新がされていない設定に変更される。このようにすれば、計算方法ごとに重要度の更新を別個に管理することもできる。
【００５９】
［変形例４］
上述した実施形態において、表示画面１３１に検索結果表示がされている状態から、さらに検索が行われるようにしてもよい。この場合の処理について説明する。
表示画面１３１が図８に示す検索結果表示になっている場合において、カーソルＣｓ１によっていずれかの楽音データが選択された状態で、ユーザによって再検索が指示（図１０に示す再検索ボタンｂ１が操作）されると、実施形態と同様に、楽音特定部１５０は、その楽音データを特定し、更新部１６０は、重要度を更新する。一方、この場合には、実施形態における場合と異なり、楽音登録領域ＷＡ１には、特定された楽音データを示す情報は表示されないようになっている。
【００６０】
続いて、条件決定部１２０は、第１の検索条件を、楽音特定部１５０によって特定された楽音データに対応する特徴量データの内容に更新する。また、アルゴリズム決定部１３０は、更新部１６０が更新した内容になるように、第２の検索条件の重み設定を更新する。そして、特徴特定部１４０は、更新された第１の検索条件に類似する特徴量データを、更新された第２の検索条件を用いて音素材ＤＢから検索して特定する。これにより、表示画面１３１は、図１０に示す検索結果表示に遷移する。ここでは、カーソルＣｓ１は、楽音データｓｎ１１を選択していたものとする。
【００６１】
図１０は、本発明の変形例４における検索結果表示の例を説明する図である。図８に示す状態において検索結果領域ＳＡに表示されていた楽音データは、そのまま左側にスライドし、カテゴリが表示されていた領域に表示される。一方、検索結果領域ＳＡには、新たな検索結果としての楽音データが表示される。すなわち、この検索結果領域ＳＡには、楽音データｓｎ１１に特徴量データが類似した楽音データが検索結果として表示される。この検索に用いられる第２の検索条件の重み設定は、更新部１６０によって更新された重要度が用いられる。
【００６２】
この検索結果表示において、再検索ボタンｂ２が再び操作されると、上述のように更新された第１の検索条件および第２の検索条件を用いて再検索が行われる。一方、決定ボタンｂ１が操作されると、実施形態と同様に、カーソルＣｓ２が選択する楽音登録領域ＷＡ１に、楽音特定部１５０によって特定された楽音データ（決定ボタンｂ１が操作されたときにカーソルＣｓ１により選択されていた楽音データ）を示す情報が表示されることになる。
なお、再検索が行われるときには、重要度の更新が行われないようにしてもよい。この場合には、第２の検索条件は変更されず、第１の検索条件のみが変更されて再検索が行われることになる。
【００６３】
［変形例５］
上述した実施形態においては、検索結果領域ＳＡに表示される楽音データの表示順が類似順を表すようになっていたが、順番以外の表示態様で類似順が表されてもよい。例えば、表示の大きさ、濃さであったり、類似度を合わせて表示させたりすればよく、類似度に応じて表示態様が変化していればよい。
【００６４】
［変形例６］
上述した実施形態において、ユーザを識別する識別部を設け、ユーザ毎に設定テンプレートが記憶されるようにしてもよい。そして、識別部によって識別されたユーザに対応する設定テンプレートが実施形態における各処理に用いられるようにすればよい。操作部１２の操作などによりユーザを識別する情報が楽音処理装置１０に入力されると、識別部は、この情報を参照してユーザを識別すればよい。
このようにすれば、各ユーザに対応して重要度の更新が行われるから、１つの楽音処理装置１０を複数のユーザで共用する場合であっても、他のユーザの感覚が検索結果に反映されてしまうことを防止することができる。
【００６５】
［変形例７］
上述した実施形態においては、重要度を更新する更新部１６０が存在したが、必ずしも存在しなくてもよい。この場合には、検索結果として表示される楽音データは、最も類似した楽音データのみであってもよい。
【００６６】
［変形例８］
上述した実施形態においては、楽音登録領域ＷＡ１、ＷＡ２、・・・に登録された楽音データについては、音素材トラックの作成などに用いられるものとしたが、他の用途に用いられてもよい。例えば、この楽音データを用いて発音する楽器、音源などにおいて用いられてもよい。楽器に用いられる場合には、音高を変化させて用いてもよいし、予め音高が異なる楽音データを記憶部１５に記憶させておいてもよい。音高が異なるだけの楽音データについては、特徴特定部１４０における検索対象にはならないようにしてもよい。このように、本発明のデータ検索部１００を構成する楽音処理装置１０は、情報処理装置のほかにも、楽器、音源などにも適用することができる。
【００６７】
［変形例９］
上述した実施形態における各プログラムは、磁気記録媒体（磁気テープ、磁気ディスクなど）、光記録媒体（光ディスクなど）、光磁気記録媒体、半導体メモリなどのコンピュータ読み取り可能な記録媒体に記憶した状態で提供し得る。また、楽音処理装置１０は、各プログラムをネットワーク経由でダウンロードしてもよい。
【符号の説明】
【００６８】
１０…楽音処理装置、１１…制御部、１２…操作部、１３…表示部、１３１…表示画面、１４…インターフェイス、１５…記憶部、１６…音響処理部、１６１…スピーカ、１６２…マイクロフォン、１００…データ検索部、１１０…表示制御部、１２０…条件決定部、１３０…アルゴリズム決定部、１４０…特徴特定部、１５０…楽音特定部、１６０…更新部
【特許請求の範囲】
【請求項１】
楽音波形信号を示す楽音データと当該楽音波形信号の複数種類の特徴量を示す特徴量データとを対応付けて登録されたデータベースを用いて、ユーザから指定される検索条件に基づいて検索をするデータ検索装置であって、
第１の検索条件として、複数種類の前記特徴量を決定する条件決定手段と、
前記第１の検索条件に類似する前記特徴量データの検索方法を各々示す複数の検索アルゴリズムから、第２の検索条件としての前記検索アルゴリズムを決定するアルゴリズム決定手段と、
前記第２の検索条件が示す検索アルゴリズムを用いて、前記第１の検索条件に類似する前記特徴量データを前記データベースから検索して特定する特徴特定手段と、
前記特徴特定手段によって特定された特徴量データに対応する楽音データを示す情報を、検索結果として表示手段に表示させる表示制御手段と
を具備することを特徴とするデータ検索装置。
【請求項２】
前記表示手段に表示された情報に対応する前記楽音データから、前記ユーザによって選択された前記楽音データを特定する楽音特定手段と、
前記楽音特定手段によって特定された楽音データに対応する特徴量データと前記第１の検索条件とにおける前記特徴量の関係に基づいて、前記第２の検索条件として決定された検索アルゴリズムの更新をする更新手段と
をさらに具備し、
前記特徴特定手段は、前記第１の検索条件に類似する複数の前記特徴量データを特定し、
前記表示制御手段は、前記特徴特定手段によって特定された複数の前記特徴量データに対応する楽音データを示す情報を、当該特徴量データと前記第１の検索条件との類似度に基づく態様で、前記表示手段に表示させる
ことを特徴とする請求項１に記載のデータ検索装置。
【請求項３】
前記複数の検索アルゴリズムには、前記第１の検索条件に類似する特徴量データを、種類毎の前記特徴量の距離と種類毎に決められた重みとに基づいて検索する方法を示す前記検索アルゴリズムが含まれ、
前記更新手段は、前記重みを変更することにより前記検索アルゴリズムの更新をする
ことを特徴とする請求項２に記載のデータ検索装置。
【請求項４】
前記楽音特定手段によって楽音データが特定されると、
前記条件決定手段は、前記楽音特定手段によって特定された楽音データに対応する特徴量データに基づいて、前記第１の検索条件を更新し、
前記アルゴリズム決定手段は、前記更新手段によって更新された検索アルゴリズムを前記第２の検索条件として更新し、
前記特徴特定手段は、更新された前記第２の検索条件が示す検索方法により、更新された前記第１の検索条件に類似する前記特徴量データを前記データベースから検索して特定する
ことを特徴とする請求項２または請求項３に記載のデータ検索装置。
【請求項５】
前記更新手段は、前記第２の検索条件が予め決められた前記検索アルゴリズムである場合に、前記更新を行う
ことを特徴とする請求項２乃至請求項４のいずれかに記載のデータ検索装置。
【請求項６】
コンピュータを、
楽音波形信号を示す楽音データと当該楽音波形信号の複数種類の特徴量を示す特徴量データとを対応付けて登録されたデータベースを用いて、ユーザから指定される検索条件に基づいて検索をする装置として機能させるためのプログラムであって、
前記コンピュータを、
第１の検索条件として、複数種類の前記特徴量を決定する条件決定手段と、
前記第１の検索条件に類似する前記特徴量データの検索方法を各々示す複数の検索アルゴリズムから、第２の検索条件としての前記検索アルゴリズムを決定するアルゴリズム決定手段と、
前記第２の検索条件が示す検索アルゴリズムを用いて、前記第１の検索条件に類似する前記特徴量データを前記データベースから検索して特定する特徴特定手段と、
前記特徴特定手段によって特定された特徴量データに対応する楽音データを示す情報を、検索結果として表示手段に表示させる表示制御手段
として機能させるためのプログラム。
【請求項１】
楽音波形信号を示す楽音データと当該楽音波形信号の複数種類の特徴量を示す特徴量データとを対応付けて登録されたデータベースを用いて、ユーザから指定される検索条件に基づいて検索をするデータ検索装置であって、
第１の検索条件として、複数種類の前記特徴量を決定する条件決定手段と、
前記第１の検索条件に類似する前記特徴量データの検索方法を各々示す複数の検索アルゴリズムから、第２の検索条件としての前記検索アルゴリズムを決定するアルゴリズム決定手段と、
前記第２の検索条件が示す検索アルゴリズムを用いて、前記第１の検索条件に類似する前記特徴量データを前記データベースから検索して特定する特徴特定手段と、
前記特徴特定手段によって特定された特徴量データに対応する楽音データを示す情報を、検索結果として表示手段に表示させる表示制御手段と
を具備することを特徴とするデータ検索装置。
【請求項２】
前記表示手段に表示された情報に対応する前記楽音データから、前記ユーザによって選択された前記楽音データを特定する楽音特定手段と、
前記楽音特定手段によって特定された楽音データに対応する特徴量データと前記第１の検索条件とにおける前記特徴量の関係に基づいて、前記第２の検索条件として決定された検索アルゴリズムの更新をする更新手段と
をさらに具備し、
前記特徴特定手段は、前記第１の検索条件に類似する複数の前記特徴量データを特定し、
前記表示制御手段は、前記特徴特定手段によって特定された複数の前記特徴量データに対応する楽音データを示す情報を、当該特徴量データと前記第１の検索条件との類似度に基づく態様で、前記表示手段に表示させる
ことを特徴とする請求項１に記載のデータ検索装置。
【請求項３】
前記複数の検索アルゴリズムには、前記第１の検索条件に類似する特徴量データを、種類毎の前記特徴量の距離と種類毎に決められた重みとに基づいて検索する方法を示す前記検索アルゴリズムが含まれ、
前記更新手段は、前記重みを変更することにより前記検索アルゴリズムの更新をする
ことを特徴とする請求項２に記載のデータ検索装置。
【請求項４】
前記楽音特定手段によって楽音データが特定されると、
前記条件決定手段は、前記楽音特定手段によって特定された楽音データに対応する特徴量データに基づいて、前記第１の検索条件を更新し、
前記アルゴリズム決定手段は、前記更新手段によって更新された検索アルゴリズムを前記第２の検索条件として更新し、
前記特徴特定手段は、更新された前記第２の検索条件が示す検索方法により、更新された前記第１の検索条件に類似する前記特徴量データを前記データベースから検索して特定する
ことを特徴とする請求項２または請求項３に記載のデータ検索装置。
【請求項５】
前記更新手段は、前記第２の検索条件が予め決められた前記検索アルゴリズムである場合に、前記更新を行う
ことを特徴とする請求項２乃至請求項４のいずれかに記載のデータ検索装置。
【請求項６】
コンピュータを、
楽音波形信号を示す楽音データと当該楽音波形信号の複数種類の特徴量を示す特徴量データとを対応付けて登録されたデータベースを用いて、ユーザから指定される検索条件に基づいて検索をする装置として機能させるためのプログラムであって、
前記コンピュータを、
第１の検索条件として、複数種類の前記特徴量を決定する条件決定手段と、
前記第１の検索条件に類似する前記特徴量データの検索方法を各々示す複数の検索アルゴリズムから、第２の検索条件としての前記検索アルゴリズムを決定するアルゴリズム決定手段と、
前記第２の検索条件が示す検索アルゴリズムを用いて、前記第１の検索条件に類似する前記特徴量データを前記データベースから検索して特定する特徴特定手段と、
前記特徴特定手段によって特定された特徴量データに対応する楽音データを示す情報を、検索結果として表示手段に表示させる表示制御手段
として機能させるためのプログラム。
【図１】
【図２】
【図３】
【図４】
【図５】
【図６】
【図７】
【図８】
【図９】
【図１０】
【図２】
【図３】
【図４】
【図５】
【図６】
【図７】
【図８】
【図９】
【図１０】
【公開番号】特開２０１２−２４７９５６（Ｐ２０１２−２４７９５６Ａ）
【公開日】平成２４年１２月１３日（２０１２．１２．１３）
【国際特許分類】
【出願番号】特願２０１１−１１８５１６（Ｐ２０１１−１１８５１６）
【出願日】平成２３年５月２６日（２０１１．５．２６）
【出願人】（０００００４０７５）ヤマハ株式会社 (5,930)
【Ｆターム（参考）】
【公開日】平成２４年１２月１３日（２０１２．１２．１３）
【国際特許分類】
【出願日】平成２３年５月２６日（２０１１．５．２６）
【出願人】（０００００４０７５）ヤマハ株式会社 (5,930)
【Ｆターム（参考）】
[ Back to top ]