音響解析装置
【課題】既存の音響情報から局所的な音響表現を出力する。
【解決手段】本発明の音響解析装置は、音響に関する任意の情報から音響表現を出力する音響解析装置であって、音階を示す情報または分散和音を示す情報の少なくとも一方を含む任意の音型情報、または、音圧レベルを示す情報またはビート位置を示す情報の少なくとも一方を含む任意の同期情報における所定時間の変化に基づいて、前記音型情報または前記同期情報の印象およびタイミングを表す音響表現を抽出する表現抽出部３０−２と、前記抽出した音響表現を示すデータを出力する表現出力部３０−３と、を備えることを特徴とする。
【解決手段】本発明の音響解析装置は、音響に関する任意の情報から音響表現を出力する音響解析装置であって、音階を示す情報または分散和音を示す情報の少なくとも一方を含む任意の音型情報、または、音圧レベルを示す情報またはビート位置を示す情報の少なくとも一方を含む任意の同期情報における所定時間の変化に基づいて、前記音型情報または前記同期情報の印象およびタイミングを表す音響表現を抽出する表現抽出部３０−２と、前記抽出した音響表現を示すデータを出力する表現出力部３０−３と、を備えることを特徴とする。
【発明の詳細な説明】
【技術分野】
【０００１】
本発明は、音響に関する任意の情報から音響表現を出力する音響解析装置に関する。
【背景技術】
【０００２】
従来から、音響信号を処理する技術が知られている。例えば、特許文献１には、変化に富む多様な音楽表現の楽曲を生成するとともに、楽曲の演奏時間を自由に変更し、時間的に変化する各種の事象に対応した楽曲の生成を行なう技術が開示されている。この技術では、電話番号、名前、スケジュールなどのデータや情報に基づいて音楽を生成し、音楽データに埋め込まれたイベントデータによって映像を変化させて再生する。具体的には、メロディ（主旋律）についてはメロディフレーズテーブルが用意されており、メロディ以外のジャンルやテンポ、キーなどについては、アレンジメント（伴奏）テーブルが用意されている。メロディフレーズテーブルから電話番号などに対応して選択した複数のメロディフレーズと、所望のアレンジメント要素とを拡張フレーズを用いながら合成することで、音楽表現の豊かな楽曲を生成する。
【０００３】
また、特許文献２には、音楽に対する印象に対応する画像を自動で選択しつつ、ユーザの好みに調整された画像を表示する技術が開示されている。この技術では、音楽の印象と画像の印象を自動で判定し、この判定に従って、音楽を再生する際の画像を自動で選択して表示する。具体的には、音楽を再生する際に、予め記憶されている音楽の印象を取得し、その音楽の印象に対応する印象を有する画像を、選択して画像表示部に表示する。このように選択され、画像表示部に表示している画像に対して加えられた使用者の操作情報を記憶し、画像を選択する際に反映する。
【先行技術文献】
【特許文献】
【０００４】
【特許文献１】特開２００５−３５２４２５号公報
【特許文献２】特開２０１０−２１０７４６号公報
【発明の概要】
【発明が解決しようとする課題】
【０００５】
しかしながら、特許文献１に開示されている技術では、イベントデータを音楽データに埋め込む必要があるため、音楽データを完成途中や完成状態ではなく、初めから生成する場合に限られてしまう。このため、利用者が手間を省きたい場合や好みの音楽を再生したい場合などのように、既存の音楽を再生する場合は、この技術を使うことができない。また、特許文献２に開示されている技術では、音楽の印象語が楽曲単位で割り当てられており、同一楽曲では異なる印象を連続的に表示することは困難である。一方、印象の異なる画像を連続的に表示する場合は、画像毎に楽曲を切り替えなければならないという課題がある。
【０００６】
本発明は、このような事情に鑑みてなされたものであり、既存の音響情報から局所的な音響表現を出力することができる音響解析装置を提供することを目的とする。
【課題を解決するための手段】
【０００７】
（１）上記の目的を達成するために、本発明は、以下のような手段を講じた。すなわち、本発明の音響解析装置は、音響に関する任意の情報から音響表現を出力する音響解析装置であって、音階を示す情報または分散和音を示す情報の少なくとも一方を含む任意の音型情報、または、音圧レベルを示す情報またはビート位置を示す情報の少なくとも一方を含む任意の同期情報における所定時間の変化に基づいて、前記音型情報または前記同期情報の印象およびタイミングを表す音響表現を抽出する表現抽出部と、前記抽出した音響表現を示すデータを出力する表現出力部と、を備えることを特徴とする。
【０００８】
このように、音階を示す情報または分散和音を示す情報の少なくとも一方を含む任意の音型情報、または、音圧レベルを示す情報またはビート位置を示す情報の少なくとも一方を含む任意の同期情報における所定時間の変化に基づいて、前記音型情報または同期情報の印象およびタイミングを表す音響表現を示すデータを出力するので、既存の音響データから音響表現を出力することが可能となる。例えば、市販の音楽データなどの既存の音響コンテンツを利用することができる。
【０００９】
（２）また、本発明の音響解析装置は、任意の音響データを読み取り、前記音響データにおける任意の音響特徴量を解析し、前記音響特徴量に基づいて、前記音型情報または前記同期情報を抽出する音響解析部、を備えることを特徴とする。
【００１０】
このように、任意の音響データを読み取り、前記音響データにおける任意の音響特徴量を解析し、前記音響特徴量に基づいて、前記音型情報または前記同期情報を抽出するので、入力し得るあらゆる音響データを対象とし、音響表現を得ることが可能となる。
【００１１】
（３）また、本発明の音響解析装置は、前記音型情報または前記同期情報が記録された媒体を計算機またはスキャナで読み取り、前記音型情報または前記同期情報を抽出する音響解析部、を備えることを特徴とする。
【００１２】
このように、音型情報または前記同期情報が記録された媒体を計算機またはスキャナで読み取り、前記音型情報または前記同期情報を抽出するので、信号化できるあらゆる音響データを対象とし、音響表現を得ることが可能となる。
【００１３】
（４）また、本発明の音響解析装置において、前記表現出力部は、前記音響表現を示すデータを、画面に表示し、または他のマルチメディアシステムに対して出力することを特徴とする。
【００１４】
このように、音響表現を示すデータを、画面に表示し、または他のマルチメディアシステムに対して出力するので、音響データを視覚的に表現することが可能となる。この場合、音響表現を示すデータを自動的に出力するので、ユーザは予め作業をする必要はない。
【００１５】
（５）また、本発明の音響解析装置において、前記音響データは、コンピュータファイル、光学メディア、または磁気メディアのいずれかであることを特徴とする。
【００１６】
このように、音響データは、コンピュータファイル、光学メディア、または磁気メディアのいずれかであるので、あらゆる音響データを対象とし、音響表現を得ることが可能となる。
【００１７】
（６）また、本発明の音響解析装置において、前記媒体は、ＭＩＤＩ、楽譜、または歌詞のいずれかであることを特徴とする。
【００１８】
このように、媒体は、ＭＩＤＩ、楽譜、または歌詞のいずれかであるので、あらゆるオーディオデータを対象とし、音響表現を得ることが可能となる。
【００１９】
（７）また、本発明の音響解析装置において、前記画面は、スクリーン、ディスプレイ、テレビ、ビルの壁面、窓、ガラス、鏡、またはパネルのいずれかであることを特徴とする。
【００２０】
このように、画面は、スクリーン、ディスプレイ、テレビ、ビルの壁面、窓、ガラス、鏡、またはパネルのいずれかであるので、あらゆる画面に音響表現を表示することが可能となる。また、音響データの再生に合わせて音響表現を自動的に付与することによって、予め作業は必要としない。さらに、同一楽曲内の局所的な変化に応じて音響表現を付与すれば、楽曲を切り替えることなく、印象の異なる音響表現を表示することが可能である。
【発明の効果】
【００２１】
本発明によれば、音階を示す情報または分散和音を示す情報の少なくとも一方を含む任意の音型情報、または、音圧レベルを示す情報またはビート位置を示す情報の少なくとも一方を含む任意の同期情報における所定時間の変化に基づいて、前記音型情報または同期情報の印象およびタイミングを表す音響表現を示すデータを出力するので、既存の音響データから音響表現を出力することが可能となる。例えば、市販の音楽データなどの既存の音響コンテンツを利用することができる。
【図面の簡単な説明】
【００２２】
【図１】本実施形態に係るマルチメディアシステムの概略構成を示す図である。
【図２】本実施形態に係るマルチメディアシステム１の機能を示すブロック図である。
【図３】本実施形態に係るマルチメディアシステム１の動作を示すフローチャートである。
【発明を実施するための形態】
【００２３】
本発明の実施形態に係る音響解析装置は、入力される音楽データから音響特徴量を解析し、解析した音響特徴量における任意時間内の変化に基づいて、音楽の表現を抽出する。この構成により、楽曲を切り替えることなく、局所的な音響表現を出力することが可能となる。また、本実施形態では、市販の音楽など既存の音楽コンテンツを利用することができる。
【００２４】
本発明の実施形態に係るマルチメディアシステムでは、入力として音響信号を利用する。音響信号とは、いずれの音波も含む概念であるが、好ましくは、音楽データを利用する。本実施形態では、一例として、音楽データを用いた例を示すが、本発明の技術的思想は、音楽データに限定されるわけではない。さらに、本発明の実施形態に係るマルチメディアシステムでは、入力される音楽データの音響特徴量の解析にｓｐｅｃｍｕｒｔ法を利用する。本明細書では、一例として、ｓｐｅｃｍｕｒｔ法を示すが、本発明の技術的思想は、ｓｐｅｃｍｕｒｔ法に限定されるわけではない。
【００２５】
図１は、本実施形態に係るマルチメディアシステムの概略構成を示す図である。図１に示すように、マルチメディアシステム１は、ディスプレイ１０と、スピーカ２０（２０ａ、２０ｂ）と、ＰＣ（Personal Computer）３０と、から構成されている。音響データ４０は、例えば、ＣＤプレイヤから入力される。図１では、２つのスピーカ２０ａ、２０ｂが、ディスプレイ１０の両脇に設けられている。
【００２６】
ＰＣ３０は、ケーブル３０ａを介して映写装置としてのディスプレイ１０に接続されている。また、ＰＣ３０は、ケーブル３０ｂを介して音響装置としてのスピーカ２０に接続されている。ＰＣ３０は、入力される音響データ４０から音響特徴量を解析し、解析した音響特徴量における任意時間内の変化に基づいて音楽の表現を抽出する。
【００２７】
ＰＣ３０は、抽出した音響データ４０の音響表現を記した映像信号をディスプレイ１０に発信すると共に、音響データ４０の音響信号をスピーカ２０に発信する。その際、映像信号はディスプレイ１０にＡ１として映写され、音響信号はスピーカ２０からＡ２として放射される。
【００２８】
図２は、本実施形態に係るマルチメディアシステム１の機能を示すブロック図である。ＰＣ３０の音響解析部３０−１は、入力される音響データ４０から音響特徴量を解析し、解析した音響特徴量に基づいて、音型情報または同期情報を出力する。また、ＰＣ３０の表現抽出部３０−２は、音響解析部３０−１が出力した音型情報または同期情報における任意時間内の変化に基づいて音響データ４０の音響表現を抽出する。さらに、ＰＣ３０の表現出力部３０−３は、表現抽出部３０−２が抽出した音響表現をディスプレイ１０に出力する。その他の構成については、図１で説明したとおりであるため、説明を省略する。
【００２９】
図３は、本実施形態に係るマルチメディアシステム１の動作を示すフローチャートである。初めに、ＰＣ３０に、音響データ４０を入力する（ステップＳ１）。次に、ＰＣ３０において、入力された音響データ４０の対数周波数スペクトルを獲得する（ステップＳ２）。まず、時刻ｔにおける音響データ４０の入力信号をＩ（ｔ）とする時、式（１）に基づいて、帯域ｘのサブバンド信号Ｂｘ（ｔ）を算出する。
【００３０】
【数１】
式（１）において、ｇｔ（ｔ）はガンマトーンフィルタのインパルス応答、Ｓｎはスケールパラメータである。ここで、中心周波数ｆｃＨｚのガンマトーンフィルタのインパルス応答は、式（２）で与えられる。
【００３１】
【数２】
式（２）において、ｎはフィルタの次元数でｂはインパルス応答の長さ、つまりフィルタのバンド幅に関係するパラメータである。人間の聴覚フィルタを想定した場合、ｎ＝４、ｂ＝１．０１９ＥＲＢ（ｆｃ）とすれば良い。ただし，ＥＲＢ（ｆｃ）は中心周波数がｆｃＨｚである等価方形幅（ＥＲＢ：Equivalent Rectangular Bandwidth）を表しており、式（３）で算出される。
【００３２】
【数３】
以上のように、算出されたサブバンド信号Ｂｘ（ｔ）から、式（４）で示される対数周波数スペクトルｖｔ（ｘ）を得る。
【００３３】
【数４】
次に、ＰＣ３０において、入力された音響データ４０の共通調波構造パターンを獲得する（ステップＳ３）。まず、単一音の性質として、その基本周波数に依らず対数周波数軸上の倍音の強度の比のパターンは一定であると仮定する。これを共通調波構造パターンと呼び、対数基本周波数を原点に取ってｈｔ（ｘ）と表すことにする。モノラル音楽音響信号の場合、ｈｔ（ｘ）は周波数に反比例するので、式（５）で表わすことができる。
【００３４】
【数５】
ここで、ｈｔ（ｘ）は基本周波数に相当する位置を原点とし、基本波成分エネルギーを１（ｈｔ（０）＝１）とする。一方、異なる基本周波数の単一音ｘα、ｘβが重畳した多重音の場合は、対数周波数軸上にこれら異なる基本周波数の対数の位置ごとにｈｔ（ｘ）を配置すれば、式（６）で示すように、それらの和がそのスペクトルになる。
【００３５】
【数６】
また、構成音の強度（エネルギー）が異なるならば、強度ｐ係数として、式（７）に示すように、ｈｔ（ｘ）に乗ずる。
【００３６】
【数７】
次に、ＰＣ３０において、フーリエ変換を実行し、入力された音響データ４０の基本周波数分布を算出する（ステップＳ４）。まず、得られた対数周波数スペクトルｖｔ（ｘ）を、式（８）に示すように、逆フーリエ変換して、Ｖ（ｙ）を算出する。
【００３７】
【数８】
一方、得られた共通調波構造パターンｈｔ（ｘ）を逆フーリエ変換して、Ｈ（ｙ）を得る。
【００３８】
【数９】
ここで、Ｖ（ｙ）、Ｈ（ｙ）をｙ領域で除算をし、逆畳み込み演算を行えば、入力された音響データ４０の基本周波数分布が得られる。入力された音響データ４０の基本周波数分布をｕｔ（ｘ）とすると、式（１０）で表わすことができる。
【００３９】
【数１０】
次に、ＰＣ３０において、入力された音響データ４０の基本周波数を解析する（ステップＳ５）。まず、算出された基本周波数分布ｕｔ（ｘ）の最大値Ｏｔを、式（１１）に示すように、算出する。
【００４０】
【数１１】
ここで、最大値Ｏｔを取るｘをｘｔとし、ｘｔを時刻ｔにおける音響データ４０の基本周波数とする。
【００４１】
同様に、音響データ４０の音圧レベルを解析する（ステップＳ１−１）。ここで、時刻ｔにおける音圧レベルをｙｔとする。また、同様に、音響データ４０のビート情報を解析する（ステップＳ１−２）。ここで、時刻ｔにおいて、音響データ４０のビートが検出された場合は、ｚｔ＝１とし、音響データ４０のビートが検出されない場合は、ｚｔ＝０とする。本実施形態では、ビート位置を示す情報が同期情報を構成する。ただし、本発明は、これに限定されるわけではない。すなわち、同期情報を、音圧レベルを示す情報またはビート位置を示す情報の少なくとも一方を含む任意の情報とすることが可能である。
【００４２】
次に、ＰＣ３０において、任意の時間内における入力された音響データ４０の表現を抽出する（ステップＳ６）。本実施形態では、一例として、一定時間内における基本周波数列を示す。ただし、本発明の技術的思想は、これに限定されるわけではない。ここで、時刻ｔ１から時刻ｔｎまでの基本周波数列Ｘとする。
【００４３】
【数１２】
そして、例えば、無音を示す式（１３）が得られれば、音響データ４０の表現として「無し」を抽出する。
【数１３】
また、開始を示す式（１４）が得られれば、音響データ４０の表現として「挿入」を抽出する。
【００４４】
【数１４】
また、終了を示す式（１５）が得られれば、音響データ４０の表現として「削除」を抽出する。
【００４５】
【数１５】
また、長音を示す式（１６）が得られれば、音響データ４０の表現として「静止」を抽出する。
【００４６】
【数１６】
また、上昇を示す式（１７）が得られれば、音響データ４０の表現として「拡大」を抽出する。
【００４７】
【数１７】
また、下降を示す式（１８）が得られれば、音響データ４０の表現として「縮小」を抽出する。
【００４８】
【数１８】
また、繰返を示す式（１９）が得られれば、音響データ４０の表現として「回転」を抽出する。
【００４９】
【数１９】
また、θＨＨｚより高音を示す式（２０）が得られれば、音響データ４０の表現として「遠方」を抽出する。
【００５０】
【数２０】
また、θＬＨｚより低音を示す式（２１）が得られれば、音響データ４０の表現として「近接」を抽出する。
【００５１】
【数２１】
また、短音を示す式（２２）が得られれば、音響データ４０の表現として「軽快」を抽出する。
【００５２】
【数２２】
最後に、抽出された音響表現をディスプレイ１０に映写すると共に、音響データ４０をスピーカ２０から放射する（ステップＳ７）。
【００５３】
このように、本実施形態によれば、ＰＣ３０に入力される音響データ４０の基本周波数、音圧情報およびビート情報を解析し、一定時間内における基本周波数列を入力された音響データ４０の表現として抽出する。そして、抽出した音響表現をディスプレイ１０に映写する。例えば、抽出した音響表現を、テキストで表示することが可能である。さらに、音響データ４０をスピーカ２０ａ、２０ｂから放射する。これにより、楽曲を切り替えることなく、局所的な音響表現を出力することが可能となる。また、市販の音楽など既存の音楽コンテンツを利用することができる。なお、音響表現の出力は、リアルタイムであっても良いし、そうでなくても良い。例えば、解析したビート情報に基づいて、音響表現を音響データと同期させて出力させても良いし、出力のタイミングをずらしても良い。
【００５４】
以上説明したように、本実施形態によれば、音階を示す情報または分散和音を示す情報の少なくとも一方を含む任意の音型情報、または、音圧レベルを示す情報またはビート位置を示す情報の少なくとも一方を含む任意の同期情報における所定時間の変化に基づいて、音型情報または同期情報の印象およびタイミングを表す音響表現を抽出し、抽出した音響表現を示すデータを出力するので、局所的な音響表現を出力することが可能となる。また、任意の音響データを読み取り、音響データにおける任意の音響特徴量を解析し、解析した音響特徴量に基づいて、音型情報または同期情報を出力すれば、市販の音楽など既存の音楽コンテンツを利用することができる。
【符号の説明】
【００５５】
１ マルチメディアシステム
１０ ディスプレイ
２０ａ スピーカ
２０ｂ スピーカ
２０ スピーカ
３０ ＰＣ
３０−１ 音響解析部
３０−２ 表現抽出部
３０−３ 表現出力部
３０ａ ケーブル
３０ｂ ケーブル
４０ 音楽データ
【技術分野】
【０００１】
本発明は、音響に関する任意の情報から音響表現を出力する音響解析装置に関する。
【背景技術】
【０００２】
従来から、音響信号を処理する技術が知られている。例えば、特許文献１には、変化に富む多様な音楽表現の楽曲を生成するとともに、楽曲の演奏時間を自由に変更し、時間的に変化する各種の事象に対応した楽曲の生成を行なう技術が開示されている。この技術では、電話番号、名前、スケジュールなどのデータや情報に基づいて音楽を生成し、音楽データに埋め込まれたイベントデータによって映像を変化させて再生する。具体的には、メロディ（主旋律）についてはメロディフレーズテーブルが用意されており、メロディ以外のジャンルやテンポ、キーなどについては、アレンジメント（伴奏）テーブルが用意されている。メロディフレーズテーブルから電話番号などに対応して選択した複数のメロディフレーズと、所望のアレンジメント要素とを拡張フレーズを用いながら合成することで、音楽表現の豊かな楽曲を生成する。
【０００３】
また、特許文献２には、音楽に対する印象に対応する画像を自動で選択しつつ、ユーザの好みに調整された画像を表示する技術が開示されている。この技術では、音楽の印象と画像の印象を自動で判定し、この判定に従って、音楽を再生する際の画像を自動で選択して表示する。具体的には、音楽を再生する際に、予め記憶されている音楽の印象を取得し、その音楽の印象に対応する印象を有する画像を、選択して画像表示部に表示する。このように選択され、画像表示部に表示している画像に対して加えられた使用者の操作情報を記憶し、画像を選択する際に反映する。
【先行技術文献】
【特許文献】
【０００４】
【特許文献１】特開２００５−３５２４２５号公報
【特許文献２】特開２０１０−２１０７４６号公報
【発明の概要】
【発明が解決しようとする課題】
【０００５】
しかしながら、特許文献１に開示されている技術では、イベントデータを音楽データに埋め込む必要があるため、音楽データを完成途中や完成状態ではなく、初めから生成する場合に限られてしまう。このため、利用者が手間を省きたい場合や好みの音楽を再生したい場合などのように、既存の音楽を再生する場合は、この技術を使うことができない。また、特許文献２に開示されている技術では、音楽の印象語が楽曲単位で割り当てられており、同一楽曲では異なる印象を連続的に表示することは困難である。一方、印象の異なる画像を連続的に表示する場合は、画像毎に楽曲を切り替えなければならないという課題がある。
【０００６】
本発明は、このような事情に鑑みてなされたものであり、既存の音響情報から局所的な音響表現を出力することができる音響解析装置を提供することを目的とする。
【課題を解決するための手段】
【０００７】
（１）上記の目的を達成するために、本発明は、以下のような手段を講じた。すなわち、本発明の音響解析装置は、音響に関する任意の情報から音響表現を出力する音響解析装置であって、音階を示す情報または分散和音を示す情報の少なくとも一方を含む任意の音型情報、または、音圧レベルを示す情報またはビート位置を示す情報の少なくとも一方を含む任意の同期情報における所定時間の変化に基づいて、前記音型情報または前記同期情報の印象およびタイミングを表す音響表現を抽出する表現抽出部と、前記抽出した音響表現を示すデータを出力する表現出力部と、を備えることを特徴とする。
【０００８】
このように、音階を示す情報または分散和音を示す情報の少なくとも一方を含む任意の音型情報、または、音圧レベルを示す情報またはビート位置を示す情報の少なくとも一方を含む任意の同期情報における所定時間の変化に基づいて、前記音型情報または同期情報の印象およびタイミングを表す音響表現を示すデータを出力するので、既存の音響データから音響表現を出力することが可能となる。例えば、市販の音楽データなどの既存の音響コンテンツを利用することができる。
【０００９】
（２）また、本発明の音響解析装置は、任意の音響データを読み取り、前記音響データにおける任意の音響特徴量を解析し、前記音響特徴量に基づいて、前記音型情報または前記同期情報を抽出する音響解析部、を備えることを特徴とする。
【００１０】
このように、任意の音響データを読み取り、前記音響データにおける任意の音響特徴量を解析し、前記音響特徴量に基づいて、前記音型情報または前記同期情報を抽出するので、入力し得るあらゆる音響データを対象とし、音響表現を得ることが可能となる。
【００１１】
（３）また、本発明の音響解析装置は、前記音型情報または前記同期情報が記録された媒体を計算機またはスキャナで読み取り、前記音型情報または前記同期情報を抽出する音響解析部、を備えることを特徴とする。
【００１２】
このように、音型情報または前記同期情報が記録された媒体を計算機またはスキャナで読み取り、前記音型情報または前記同期情報を抽出するので、信号化できるあらゆる音響データを対象とし、音響表現を得ることが可能となる。
【００１３】
（４）また、本発明の音響解析装置において、前記表現出力部は、前記音響表現を示すデータを、画面に表示し、または他のマルチメディアシステムに対して出力することを特徴とする。
【００１４】
このように、音響表現を示すデータを、画面に表示し、または他のマルチメディアシステムに対して出力するので、音響データを視覚的に表現することが可能となる。この場合、音響表現を示すデータを自動的に出力するので、ユーザは予め作業をする必要はない。
【００１５】
（５）また、本発明の音響解析装置において、前記音響データは、コンピュータファイル、光学メディア、または磁気メディアのいずれかであることを特徴とする。
【００１６】
このように、音響データは、コンピュータファイル、光学メディア、または磁気メディアのいずれかであるので、あらゆる音響データを対象とし、音響表現を得ることが可能となる。
【００１７】
（６）また、本発明の音響解析装置において、前記媒体は、ＭＩＤＩ、楽譜、または歌詞のいずれかであることを特徴とする。
【００１８】
このように、媒体は、ＭＩＤＩ、楽譜、または歌詞のいずれかであるので、あらゆるオーディオデータを対象とし、音響表現を得ることが可能となる。
【００１９】
（７）また、本発明の音響解析装置において、前記画面は、スクリーン、ディスプレイ、テレビ、ビルの壁面、窓、ガラス、鏡、またはパネルのいずれかであることを特徴とする。
【００２０】
このように、画面は、スクリーン、ディスプレイ、テレビ、ビルの壁面、窓、ガラス、鏡、またはパネルのいずれかであるので、あらゆる画面に音響表現を表示することが可能となる。また、音響データの再生に合わせて音響表現を自動的に付与することによって、予め作業は必要としない。さらに、同一楽曲内の局所的な変化に応じて音響表現を付与すれば、楽曲を切り替えることなく、印象の異なる音響表現を表示することが可能である。
【発明の効果】
【００２１】
本発明によれば、音階を示す情報または分散和音を示す情報の少なくとも一方を含む任意の音型情報、または、音圧レベルを示す情報またはビート位置を示す情報の少なくとも一方を含む任意の同期情報における所定時間の変化に基づいて、前記音型情報または同期情報の印象およびタイミングを表す音響表現を示すデータを出力するので、既存の音響データから音響表現を出力することが可能となる。例えば、市販の音楽データなどの既存の音響コンテンツを利用することができる。
【図面の簡単な説明】
【００２２】
【図１】本実施形態に係るマルチメディアシステムの概略構成を示す図である。
【図２】本実施形態に係るマルチメディアシステム１の機能を示すブロック図である。
【図３】本実施形態に係るマルチメディアシステム１の動作を示すフローチャートである。
【発明を実施するための形態】
【００２３】
本発明の実施形態に係る音響解析装置は、入力される音楽データから音響特徴量を解析し、解析した音響特徴量における任意時間内の変化に基づいて、音楽の表現を抽出する。この構成により、楽曲を切り替えることなく、局所的な音響表現を出力することが可能となる。また、本実施形態では、市販の音楽など既存の音楽コンテンツを利用することができる。
【００２４】
本発明の実施形態に係るマルチメディアシステムでは、入力として音響信号を利用する。音響信号とは、いずれの音波も含む概念であるが、好ましくは、音楽データを利用する。本実施形態では、一例として、音楽データを用いた例を示すが、本発明の技術的思想は、音楽データに限定されるわけではない。さらに、本発明の実施形態に係るマルチメディアシステムでは、入力される音楽データの音響特徴量の解析にｓｐｅｃｍｕｒｔ法を利用する。本明細書では、一例として、ｓｐｅｃｍｕｒｔ法を示すが、本発明の技術的思想は、ｓｐｅｃｍｕｒｔ法に限定されるわけではない。
【００２５】
図１は、本実施形態に係るマルチメディアシステムの概略構成を示す図である。図１に示すように、マルチメディアシステム１は、ディスプレイ１０と、スピーカ２０（２０ａ、２０ｂ）と、ＰＣ（Personal Computer）３０と、から構成されている。音響データ４０は、例えば、ＣＤプレイヤから入力される。図１では、２つのスピーカ２０ａ、２０ｂが、ディスプレイ１０の両脇に設けられている。
【００２６】
ＰＣ３０は、ケーブル３０ａを介して映写装置としてのディスプレイ１０に接続されている。また、ＰＣ３０は、ケーブル３０ｂを介して音響装置としてのスピーカ２０に接続されている。ＰＣ３０は、入力される音響データ４０から音響特徴量を解析し、解析した音響特徴量における任意時間内の変化に基づいて音楽の表現を抽出する。
【００２７】
ＰＣ３０は、抽出した音響データ４０の音響表現を記した映像信号をディスプレイ１０に発信すると共に、音響データ４０の音響信号をスピーカ２０に発信する。その際、映像信号はディスプレイ１０にＡ１として映写され、音響信号はスピーカ２０からＡ２として放射される。
【００２８】
図２は、本実施形態に係るマルチメディアシステム１の機能を示すブロック図である。ＰＣ３０の音響解析部３０−１は、入力される音響データ４０から音響特徴量を解析し、解析した音響特徴量に基づいて、音型情報または同期情報を出力する。また、ＰＣ３０の表現抽出部３０−２は、音響解析部３０−１が出力した音型情報または同期情報における任意時間内の変化に基づいて音響データ４０の音響表現を抽出する。さらに、ＰＣ３０の表現出力部３０−３は、表現抽出部３０−２が抽出した音響表現をディスプレイ１０に出力する。その他の構成については、図１で説明したとおりであるため、説明を省略する。
【００２９】
図３は、本実施形態に係るマルチメディアシステム１の動作を示すフローチャートである。初めに、ＰＣ３０に、音響データ４０を入力する（ステップＳ１）。次に、ＰＣ３０において、入力された音響データ４０の対数周波数スペクトルを獲得する（ステップＳ２）。まず、時刻ｔにおける音響データ４０の入力信号をＩ（ｔ）とする時、式（１）に基づいて、帯域ｘのサブバンド信号Ｂｘ（ｔ）を算出する。
【００３０】
【数１】
式（１）において、ｇｔ（ｔ）はガンマトーンフィルタのインパルス応答、Ｓｎはスケールパラメータである。ここで、中心周波数ｆｃＨｚのガンマトーンフィルタのインパルス応答は、式（２）で与えられる。
【００３１】
【数２】
式（２）において、ｎはフィルタの次元数でｂはインパルス応答の長さ、つまりフィルタのバンド幅に関係するパラメータである。人間の聴覚フィルタを想定した場合、ｎ＝４、ｂ＝１．０１９ＥＲＢ（ｆｃ）とすれば良い。ただし，ＥＲＢ（ｆｃ）は中心周波数がｆｃＨｚである等価方形幅（ＥＲＢ：Equivalent Rectangular Bandwidth）を表しており、式（３）で算出される。
【００３２】
【数３】
以上のように、算出されたサブバンド信号Ｂｘ（ｔ）から、式（４）で示される対数周波数スペクトルｖｔ（ｘ）を得る。
【００３３】
【数４】
次に、ＰＣ３０において、入力された音響データ４０の共通調波構造パターンを獲得する（ステップＳ３）。まず、単一音の性質として、その基本周波数に依らず対数周波数軸上の倍音の強度の比のパターンは一定であると仮定する。これを共通調波構造パターンと呼び、対数基本周波数を原点に取ってｈｔ（ｘ）と表すことにする。モノラル音楽音響信号の場合、ｈｔ（ｘ）は周波数に反比例するので、式（５）で表わすことができる。
【００３４】
【数５】
ここで、ｈｔ（ｘ）は基本周波数に相当する位置を原点とし、基本波成分エネルギーを１（ｈｔ（０）＝１）とする。一方、異なる基本周波数の単一音ｘα、ｘβが重畳した多重音の場合は、対数周波数軸上にこれら異なる基本周波数の対数の位置ごとにｈｔ（ｘ）を配置すれば、式（６）で示すように、それらの和がそのスペクトルになる。
【００３５】
【数６】
また、構成音の強度（エネルギー）が異なるならば、強度ｐ係数として、式（７）に示すように、ｈｔ（ｘ）に乗ずる。
【００３６】
【数７】
次に、ＰＣ３０において、フーリエ変換を実行し、入力された音響データ４０の基本周波数分布を算出する（ステップＳ４）。まず、得られた対数周波数スペクトルｖｔ（ｘ）を、式（８）に示すように、逆フーリエ変換して、Ｖ（ｙ）を算出する。
【００３７】
【数８】
一方、得られた共通調波構造パターンｈｔ（ｘ）を逆フーリエ変換して、Ｈ（ｙ）を得る。
【００３８】
【数９】
ここで、Ｖ（ｙ）、Ｈ（ｙ）をｙ領域で除算をし、逆畳み込み演算を行えば、入力された音響データ４０の基本周波数分布が得られる。入力された音響データ４０の基本周波数分布をｕｔ（ｘ）とすると、式（１０）で表わすことができる。
【００３９】
【数１０】
次に、ＰＣ３０において、入力された音響データ４０の基本周波数を解析する（ステップＳ５）。まず、算出された基本周波数分布ｕｔ（ｘ）の最大値Ｏｔを、式（１１）に示すように、算出する。
【００４０】
【数１１】
ここで、最大値Ｏｔを取るｘをｘｔとし、ｘｔを時刻ｔにおける音響データ４０の基本周波数とする。
【００４１】
同様に、音響データ４０の音圧レベルを解析する（ステップＳ１−１）。ここで、時刻ｔにおける音圧レベルをｙｔとする。また、同様に、音響データ４０のビート情報を解析する（ステップＳ１−２）。ここで、時刻ｔにおいて、音響データ４０のビートが検出された場合は、ｚｔ＝１とし、音響データ４０のビートが検出されない場合は、ｚｔ＝０とする。本実施形態では、ビート位置を示す情報が同期情報を構成する。ただし、本発明は、これに限定されるわけではない。すなわち、同期情報を、音圧レベルを示す情報またはビート位置を示す情報の少なくとも一方を含む任意の情報とすることが可能である。
【００４２】
次に、ＰＣ３０において、任意の時間内における入力された音響データ４０の表現を抽出する（ステップＳ６）。本実施形態では、一例として、一定時間内における基本周波数列を示す。ただし、本発明の技術的思想は、これに限定されるわけではない。ここで、時刻ｔ１から時刻ｔｎまでの基本周波数列Ｘとする。
【００４３】
【数１２】
そして、例えば、無音を示す式（１３）が得られれば、音響データ４０の表現として「無し」を抽出する。
【数１３】
また、開始を示す式（１４）が得られれば、音響データ４０の表現として「挿入」を抽出する。
【００４４】
【数１４】
また、終了を示す式（１５）が得られれば、音響データ４０の表現として「削除」を抽出する。
【００４５】
【数１５】
また、長音を示す式（１６）が得られれば、音響データ４０の表現として「静止」を抽出する。
【００４６】
【数１６】
また、上昇を示す式（１７）が得られれば、音響データ４０の表現として「拡大」を抽出する。
【００４７】
【数１７】
また、下降を示す式（１８）が得られれば、音響データ４０の表現として「縮小」を抽出する。
【００４８】
【数１８】
また、繰返を示す式（１９）が得られれば、音響データ４０の表現として「回転」を抽出する。
【００４９】
【数１９】
また、θＨＨｚより高音を示す式（２０）が得られれば、音響データ４０の表現として「遠方」を抽出する。
【００５０】
【数２０】
また、θＬＨｚより低音を示す式（２１）が得られれば、音響データ４０の表現として「近接」を抽出する。
【００５１】
【数２１】
また、短音を示す式（２２）が得られれば、音響データ４０の表現として「軽快」を抽出する。
【００５２】
【数２２】
最後に、抽出された音響表現をディスプレイ１０に映写すると共に、音響データ４０をスピーカ２０から放射する（ステップＳ７）。
【００５３】
このように、本実施形態によれば、ＰＣ３０に入力される音響データ４０の基本周波数、音圧情報およびビート情報を解析し、一定時間内における基本周波数列を入力された音響データ４０の表現として抽出する。そして、抽出した音響表現をディスプレイ１０に映写する。例えば、抽出した音響表現を、テキストで表示することが可能である。さらに、音響データ４０をスピーカ２０ａ、２０ｂから放射する。これにより、楽曲を切り替えることなく、局所的な音響表現を出力することが可能となる。また、市販の音楽など既存の音楽コンテンツを利用することができる。なお、音響表現の出力は、リアルタイムであっても良いし、そうでなくても良い。例えば、解析したビート情報に基づいて、音響表現を音響データと同期させて出力させても良いし、出力のタイミングをずらしても良い。
【００５４】
以上説明したように、本実施形態によれば、音階を示す情報または分散和音を示す情報の少なくとも一方を含む任意の音型情報、または、音圧レベルを示す情報またはビート位置を示す情報の少なくとも一方を含む任意の同期情報における所定時間の変化に基づいて、音型情報または同期情報の印象およびタイミングを表す音響表現を抽出し、抽出した音響表現を示すデータを出力するので、局所的な音響表現を出力することが可能となる。また、任意の音響データを読み取り、音響データにおける任意の音響特徴量を解析し、解析した音響特徴量に基づいて、音型情報または同期情報を出力すれば、市販の音楽など既存の音楽コンテンツを利用することができる。
【符号の説明】
【００５５】
１ マルチメディアシステム
１０ ディスプレイ
２０ａ スピーカ
２０ｂ スピーカ
２０ スピーカ
３０ ＰＣ
３０−１ 音響解析部
３０−２ 表現抽出部
３０−３ 表現出力部
３０ａ ケーブル
３０ｂ ケーブル
４０ 音楽データ
【特許請求の範囲】
【請求項１】
音響に関する任意の情報から音響表現を出力する音響解析装置であって、
音階を示す情報または分散和音を示す情報の少なくとも一方を含む任意の音型情報、または、音圧レベルを示す情報またはビート位置を示す情報の少なくとも一方を含む任意の同期情報における所定時間の変化に基づいて、前記音型情報または前記同期情報の印象およびタイミングを表す音響表現を抽出する表現抽出部と、
前記抽出した音響表現を示すデータを出力する表現出力部と、を備えることを特徴とする音響解析装置。
【請求項２】
任意の音響データを読み取り、前記音響データにおける任意の音響特徴量を解析し、前記音響特徴量に基づいて、前記音型情報または前記同期情報を抽出する音響解析部、を備えることを特徴とする請求項１記載の音響解析装置。
【請求項３】
前記音型情報または前記同期情報が記録された媒体を計算機またはスキャナで読み取り、前記音型情報または前記同期情報を抽出する音響解析部、を備えることを特徴とする請求項１記載の音響解析装置。
【請求項４】
前記表現出力部は、前記音響表現を示すデータを、画面に表示し、または他のマルチメディアシステムに対して出力することを特徴とする請求項１から請求項３のいずれかに記載の音響解析装置。
【請求項５】
前記音響データは、コンピュータファイル、光学メディア、または磁気メディアのいずれかであることを特徴とする請求項２記載の音響解析装置。
【請求項６】
前記媒体は、ＭＩＤＩ、楽譜、または歌詞のいずれかであることを特徴とする請求項３記載の音響解析装置。
【請求項７】
前記画面は、スクリーン、ディスプレイ、テレビ、ビルの壁面、窓、ガラス、鏡、またはパネルのいずれかであることを特徴とする請求項４記載の音響解析装置。
【請求項１】
音響に関する任意の情報から音響表現を出力する音響解析装置であって、
音階を示す情報または分散和音を示す情報の少なくとも一方を含む任意の音型情報、または、音圧レベルを示す情報またはビート位置を示す情報の少なくとも一方を含む任意の同期情報における所定時間の変化に基づいて、前記音型情報または前記同期情報の印象およびタイミングを表す音響表現を抽出する表現抽出部と、
前記抽出した音響表現を示すデータを出力する表現出力部と、を備えることを特徴とする音響解析装置。
【請求項２】
任意の音響データを読み取り、前記音響データにおける任意の音響特徴量を解析し、前記音響特徴量に基づいて、前記音型情報または前記同期情報を抽出する音響解析部、を備えることを特徴とする請求項１記載の音響解析装置。
【請求項３】
前記音型情報または前記同期情報が記録された媒体を計算機またはスキャナで読み取り、前記音型情報または前記同期情報を抽出する音響解析部、を備えることを特徴とする請求項１記載の音響解析装置。
【請求項４】
前記表現出力部は、前記音響表現を示すデータを、画面に表示し、または他のマルチメディアシステムに対して出力することを特徴とする請求項１から請求項３のいずれかに記載の音響解析装置。
【請求項５】
前記音響データは、コンピュータファイル、光学メディア、または磁気メディアのいずれかであることを特徴とする請求項２記載の音響解析装置。
【請求項６】
前記媒体は、ＭＩＤＩ、楽譜、または歌詞のいずれかであることを特徴とする請求項３記載の音響解析装置。
【請求項７】
前記画面は、スクリーン、ディスプレイ、テレビ、ビルの壁面、窓、ガラス、鏡、またはパネルのいずれかであることを特徴とする請求項４記載の音響解析装置。
【図１】
【図２】
【図３】
【図２】
【図３】
【公開番号】特開２０１３−８８６７１（Ｐ２０１３−８８６７１Ａ）
【公開日】平成２５年５月１３日（２０１３．５．１３）
【国際特許分類】
【出願番号】特願２０１１−２２９９９３（Ｐ２０１１−２２９９９３）
【出願日】平成２３年１０月１９日（２０１１．１０．１９）
【出願人】（０００２０８８９１）ＫＤＤＩ株式会社 (2,700)
【Ｆターム（参考）】
【公開日】平成２５年５月１３日（２０１３．５．１３）
【国際特許分類】
【出願日】平成２３年１０月１９日（２０１１．１０．１９）
【出願人】（０００２０８８９１）ＫＤＤＩ株式会社 (2,700)
【Ｆターム（参考）】
[ Back to top ]