説明

楽曲データ再構成装置、楽曲データ再構成方法、音楽コンテンツ再生装置および音楽コンテンツ再生方法

【課題】聴取しているユーザの気分、嗜好や周辺環境などをリアルタイムに楽曲に反映させて、楽曲自身を再構成することができるようにする装置を提供する。
【解決手段】楽曲の小節に対応する周期の信号と楽曲の拍に対応する周期の信号とを含む同期信号SYNCを発生すると共に、楽曲再構成用情報ARIを前記同期信号に同期して発生するリズムマスター部210と、入力される音楽コンテンツの楽曲データを、リズムマスター部210からの同期信号SYNCと、楽曲再構成用情報ARIとに応じて再構成して、出力楽曲データを生成して出力するリズムスレーブ部220とからなる。

【発明の詳細な説明】
【技術分野】
【0001】
この発明は、例えばディスクジョッキーが音楽コンテンツをアレンジして再生するのと同等の再生音声データを得ることができるようにする楽曲データ再構成装置、楽曲データ再構成方法、音楽コンテンツ再生装置および音楽コンテンツ再生方法に関する。
【背景技術】
【0002】
光ディスクやハードディスクなどの記録媒体の記録容量が大きくなったことから、それら記録媒体に大量の音楽コンテンツが格納可能となっている。そして、この大容量の記録媒体を用いた音楽コンテンツの再生装置も提供されている。
【0003】
従来のこの種の音楽コンテンツの再生装置においては、音楽視聴を行なうユーザ自身が、大量の音楽コンテンツの中から自分の聞きたい音楽コンテンツを選択し、再生操作を行なっている。
【0004】
また、例えば、ユーザの過去の音楽コンテンツに関する再生履歴を利用して、ユーザに、再生楽曲候補を推薦するシステムも提供されている(例えば、特許文献1(特開2003−173350公報)参照)。
【0005】
上記の特許文献は、次の通りである。
【特許文献1】特開2003−173350公報
【発明の開示】
【発明が解決しようとする課題】
【0006】
上述のように、従来は、ユーザが選択したり、あるいは装置が過去の再生履歴に基づいて選択したりして、ユーザに再生楽曲候補を呈示する方法は提案されている。しかしながら、従来の音楽コンテンツの再生装置においては、上述のようにして選択されて再生される楽曲は、楽曲制作者の意図した通りにそのまま再生されるのみで、特にユーザ毎に曲調の変化が施される等の個人の嗜好性が再生楽曲に反映させるようにするものは存在していない。
【0007】
すなわち、アーティスト等の制作側で作られた楽曲は、従来の音楽コンテンツの再生装置上の制約等の理由もあり、ユーザ側では、制作者の意図した通りに、ただ固定的に聴くのみであった。
【0008】
しかし、いわゆるディスクジョッキーのように、その楽曲のテンポや音程を変えたり、他の楽曲とのリミックスをしたりする等して、楽曲をその場の気分に合うように再構成して変更することができれば、楽曲の再生について、エンターテインメント性を高めることができると期待できる。
【0009】
この発明は、以上の点にかんがみ、聴取しているユーザの気分、嗜好や周辺環境などをリアルタイムに楽曲に反映させて、楽曲自身を再構成することができるようにして、楽曲の再生について、エンターテインメント性を高めることができるようにすることを目的とする。
【課題を解決するための手段】
【0010】
上記の課題を解決するために、請求項1の発明による楽曲データ再構成装置は、
楽曲の小節に対応する周期の信号と楽曲の拍に対応する周期の信号とを含む同期信号を発生すると共に、楽曲再構成用情報を前記同期信号に同期して発生するリズムマスター部と、
入力される音楽コンテンツの楽曲データを、前記リズムマスター部からの前記同期信号と、前記楽曲再構成用情報とに応じて再構成して、出力楽曲データを生成して出力するリズムスレーブ部とからなる
ことを特徴とする。
【0011】
この請求項1の発明によれば、リズムマスター部からの同期信号および楽曲再構成用情報に応じて、再生しようとする音楽コンテンツの楽曲データを、聴取しているユーザの気分、嗜好や周辺環境などをリアルタイムに反映させて、再構成することができる。
【0012】
また、請求項17の発明による音楽コンテンツ再生装置は、
複数個の音楽コンテンツのデータが格納されている音楽コンテンツデータ記憶部と、
前記音楽コンテンツデータ記憶部から、再生対象の音楽コンテンツのデータを取得する第1の取得手段と、
楽曲の小節に対応する周期の信号と楽曲の拍に対応する周期の信号とを含む同期信号を発生すると共に、楽曲再構成用情報を前記同期信号に同期して発生するリズムマスター手段と、
前記第1の取得手段により取得した前記再生対象の音楽コンテンツデータを、前記リズムマスター部からの前記同期信号と前記楽曲再構成用情報とに応じて再構成して、出力楽曲データを生成して音響再生出力するリズムスレーブ手段と、
を備えることを特徴とする。
【0013】
この請求項17の発明によれば、音楽コンテンツデータ記憶部に格納されている音楽コンテンツを再生する場合において、リズムマスター部からの同期信号および楽曲再構成用情報に応じて、前記再生しようとする当該音楽コンテンツの楽曲データを再構成することができるので、リズムマスター部からの同期信号および楽曲再構成用情報を、当該楽曲を聴取しているユーザ(リスナー)の気分、嗜好や周辺環境などをリアルタイムに反映させることにより、ユーザ(リスナー)がそのときに聴取要求して楽曲を再生することが可能になる。
【発明の効果】
【0014】
この発明によれば、聴取しているユーザの気分、嗜好や周辺環境などをリアルタイムに楽曲に反映させて、楽曲データを再構成することができるので、楽曲の再生について、エンターテインメント性を高めることができる。
【発明を実施するための最良の形態】
【0015】
[第1の実施形態]
以下、この発明の第1の実施形態を、図を参照しながら説明する。図1は、この発明の音楽コンテンツの再生装置の第1の実施形態と、音楽コンテンツおよびその属性情報の記録装置の第1の実施形態とが適用された記録再生装置の一例の構成を示すブロック図である。
【0016】
この第1の実施形態においては、記録再生装置は、音楽コンテンツ記憶部を備えるが、この音楽コンテンツ記憶部には、音楽コンテンツのデータとして楽曲の音響データの他に、映像データが含まれる場合もあることを想定して、映像音響データが記憶される。そして、この第1の実施形態では、音楽コンテンツのデータに付随して、さらに、各楽曲についての属性情報が、各音楽コンテンツの識別情報により対応付けられて記憶される。
【0017】
この属性情報は、テンポ、キー(調)、コード(chord)などのリズムおよびリズムと結びついて曲調を決定するための曲調属性情報(後述する楽曲構成情報に含まれる)だけでなく、後述するように演奏者情報、歌詞情報、感性情報、周辺環境情報等を含むものである。そして、音楽コンテンツに映像情報を含むときには、その映像についての属性に関する情報も含む場合がある。
【0018】
後述するように、音楽コンテンツがDVD(Digital Versatile Disc)などのリムーバル(着脱可能)な記録媒体に記憶されている場合において、この属性情報が当該記録媒体に音楽コンテンツに対応付けられて記録されている場合には、その記録媒体に記録されている属性情報を用いることができる。
【0019】
そして、DVD等の記録媒体から、記録再生装置の記憶部に音楽コンテンツのデータを記録する際には、属性情報も、対応付けて記録するようにする。
【0020】
記録媒体に、属性情報が記録されていない場合には、当該記録媒体から、記録再生装置の記憶部に音楽コンテンツのデータを記録する際に、記録再生装置において、必要な属性情報を生成し、当該生成した属性情報を、記録する音楽コンテンツについての映像音響データに対応付けて、記録するようにする。
【0021】
この第1の実施形態の記録再生装置では、音楽コンテンツの情報は、例えばインターネット上にある音楽コンテンツ提供サーバからもダウンロードすることができるように構成されている。
【0022】
この例の場合の音楽コンテンツ提供サーバの音楽コンテンツの情報には、属性情報が付随されていることを想定しており、この第1の実施形態の記録再生装置からの音楽コンテンツの取得要求を受け取ると、音楽コンテンツ提供サーバは、要求された音楽コンテンツの映像音響データと共に、属性情報を記録再生装置にダウンロードするようにする。
【0023】
そこで、記録再生装置は、ダウンロードされた映像音響データと、属性情報とを、音楽コンテンツの識別情報により対応付けて、記憶部に記憶するようにする。
【0024】
この例の記録再生装置は、マイクロコンピュータを搭載して構成されるもので、図1に示すように、CPU(Central Processing Unit)1に対してシステムバス2を介してプログラムROM(Read Only Memory)3およびワークエリア用RAM(Random Access Memory)4が接続されている。
【0025】
そして、システムバス2には、また、ユーザインターフェース11と、エンコード/デコード部12と、曲調分析部13と、通信インターフェース14と、再生履歴情報保持部15と、光ディスクドライブ16とが接続されている。
【0026】
ユーザインターフェース11は、ユーザの操作入力を受け付けるボタン操作部(図示を省略)や、例えばLCD(Liquid Crystal Display)からなるディスプレイを含む。
【0027】
エンコード/デコード部12には、音楽コンテンツ記憶部20が接続される。この例では、この音楽コンテンツ記憶部20は、例えば大容量のハードディスク装置により構成される。なお、大容量の書き換え可能な光ディスクを用いる書き込み/読み出し装置部により、音楽コンテンツ記憶部20を構成することもできる。
【0028】
エンコード/デコード部12は、この音楽コンテンツ記憶部20を構成するハードディスク装置にデータを書き込む際に、書き込み対象のデータをハードディスク装置に記録できるフォーマットのデータにエンコード処理し、また、このハードディスク装置から読み出したデータに対して、前記エンコードに対応するデコード処理を施すものである。この場合に、エンコード処理には、データ圧縮処理を含むことができ、それに対応してデコード処理には、データ伸長処理を含むことができる。
【0029】
この例では、音楽コンテンツのデータには、楽曲データのみではなく、音楽コンテンツに関連する映像データと、さらには、音楽コンテンツに関する属性情報(後で詳述する)が含まれている。
【0030】
そして、音楽コンテンツ記憶部20は、それぞれの音楽コンテンツに関して楽曲データと映像データとが記憶される映像音響データ記憶部21と、それぞれの属性情報が記憶される属性情報記憶部22とからなる。映像音響データ記憶部21の楽曲データおよび映像データと、属性情報記憶部22の属性情報とは、音楽コンテンツごとに音楽コンテンツのそれぞれを識別する音楽コンテンツ識別情報(コンテンツID)により互いに関連付けられている。
【0031】
曲調分析部13は、音楽コンテンツの楽曲データを音楽コンテンツ記憶部20の映像音響データ記憶部21に記憶する際に、楽曲データを解析して、楽曲の楽曲素材単位の区切りを検出すると共に、当該楽曲素材単位の楽曲構成情報を抽出する。この楽曲構成情報は、前記属性情報の一部として、属性情報記憶部22に記録されるようにされる。曲調分析部13は、記録すべき音楽コンテンツの情報に属性情報が附属されていない場合にのみ動作し、抽出された楽曲構成情報が属性情報の一部として記録される。
【0032】
ここで、楽曲素材単位とは、楽曲の拍、小節など、コードを付することができる単位である。そして、楽曲構成情報は、楽曲の楽曲素材単位のテンポ、キー、コード、音量、拍子、楽譜、コード進行などの、いわゆる曲調が決まる基準となる情報からなるものである。
【0033】
通信インターフェース14は、外部のネットワーク例えばインターネット5を通じて音楽コンテンツ提供サーバ装置6等に接続するために用いられるものである。この例では、音楽コンテンツ提供サーバ装置6は、楽曲データや映像データのみではなく、属性情報も提供することができるように構成されている。
【0034】
再生履歴情報保持部15は、当該記録再生装置において、過去に、どの楽曲をどのくらいの頻度や時間で聴いたかの履歴情報を保持する。再生された音楽コンテンツの識別情報(コンテンツID)に対応して再生回数(頻度)、その再生時間、その再生時の周辺環境情報(周辺環境情報についても後で詳述する)等が、この再生履歴情報保持部15には記憶されている。
【0035】
光ディスクドライブ16は、CD(Compact Disc)やDVD(Digital Versatile Disc)などの光ディスク7から、楽曲データや映像データの読み込みを行なう。光ディスク7に音楽コンテンツについての属性情報が記録されている場合には、当該属性情報の読み込みも行なう。
【0036】
この例の記録再生装置においては、システムバス2には、さらに、生体情報取得部30と、周辺環境情報取得部40と、映像音響出力部50とが接続されている。
【0037】
生体情報取得部30は、生体情報センサ31と生体情報解析部32とからなる。生体情報センサ31は、音楽コンテンツを視聴しているリスナーが、当該音楽コンテンツに対して嗜好を示しているか、あるいは、嗜好を示していないかなどを判別するための情報を検知する。この生体情報センサ31は、リスナーの例えば体動、呼吸、脈、血圧、体表温度、皮膚発汗、皮膚抵抗などの生体情報を検出し、それらの生体情報を生体情報解析部32に供給するものである。
【0038】
例えば、リスナーが聴取している楽曲に嗜好を示しており、いわゆる「楽曲に乗っている」状態のときには、リスナーの体動や呼吸は、演奏される音楽のリズムやテンポなどと同期したものとなることがある。例えば、ゆっくりとしたメロディーを演奏するようにしたいときには、体動や呼吸は、それに合わせたゆっくりしたものとなり、また、急激に大きな音に移行するときには、それに合わせて体動が大きくなると共に、呼吸もそれに合わせて吸気から、一旦、息を止め、一気に呼気に移るなどの変化をすることがある。
【0039】
さらに、リスナーは、気分が高揚するような音楽パートでは、脈や心拍が多くなると共に、皮膚発汗が多くなり、また、ゆったりとした音楽のパートでは脈や心拍はゆっくりと安定したものとなるなどの変化をすることがある。
【0040】
生体情報解析部32では、以上のような、リスナーの感情的な情報を、生体情報センサから受け取り、リスナーが聴取中の楽曲に嗜好を示しているかどうかの判別結果をシステムバス2に送出する。この場合に、生体情報解析部32では、再生中の楽曲構成情報をも参照して、リスナーの体動などが、楽曲に同期しているかどうかも判断するようにしている。
【0041】
そして、この実施形態では、生体情報解析部32は、例えば体動などの生体情報に基づく嗜好の度合いについて、複数段階のスレッショールド値を持ち、例えば、「嗜好を示していない(曲に乗ってない)」、「嗜好を示しているが嗜好の程度が低い」、「非常に嗜好を示している(曲に乗っている)」のような複数段階についての判断出力を送出するように構成されている。
【0042】
周辺環境情報取得部40は、GPS受信機41と、位置情報入力インターフェース42と、環境情報センサ43と、環境情報生成部44とからなる。
【0043】
GPS受信機41は、複数個の人工衛星から受信した電波から当該GPS受信機41の位置を算出する測位演算をし、その演算結果を、位置情報入力インターフェース42に送る。この例では、位置情報入力インターフェース42は、GPS受信機41からの測位演算結果を、例えば地名などの位置情報に変換して、システムバス2に送出する。この位置情報は、当該記録が行なわれた場所を示すものとされるもので、周辺環境情報の一部として、音楽コンテンツが記録されたときに、その属性情報の一部として記録される。
【0044】
環境情報センサ43は、温度センサや湿度センサの他、季節や日時を検知する時計部を含んでいる。環境情報生成部44は、環境情報センサ43からの情報を受け取り、温度、湿度、季節、日時などの情報をシステムバス2に送出する。これらの情報も、周辺環境情報の一部として、音楽コンテンツが記録されるときに、その属性情報の一部として記録される。
【0045】
映像・音響出力部50は、音響データデコード部51と、音響アレンジ部52と、音響出力部53と、映像データデコード部54と、映像アレンジ部55と、画像出力部56と、I/Oポート57とからなる。
【0046】
音響データデコード部51は、音声データが、非圧縮音声信号であるPCM音声信号である場合には、そのまま音響アレンジ部52を通じて音響出力部53に出力する。音楽データに、ATRAC(Adaptive Transform Acoustic Coding)やAAC(Advanced Audio Coding)などの圧縮がかかっている場合には、音響データデコード部51は、当該圧縮を解凍(伸長)して、デジタル音声信号にデコードする。音声データがMIDI(Music Instrument Digital Interface)の場合には、音響データデコード部51は、当該MIDIのデータからデジタル音声信号を生成デコードする。
【0047】
音響アレンジ部52は、I/Oポート57を通じてこれに供給される制御信号に応じて、特殊効果(エフェクト)処理をしたり、他の楽曲データを混合(リミックス)したりする。
【0048】
この実施形態では、音響アレンジ部52で行なうエフェクト処理としては、音響データに、例えば、ディストーション(Distortion)をかけたり、リバーブ(Reverb)をかけたりする処理がなされる。
【0049】
リミックスは、一般的なディスクジョッキーで行なわれている手法であり、ある小節や拍単位で音楽性を損なわないように、再生中の楽曲に複数の音楽素材をミックスしていく方法である。これは、予め用意された小節の切れ目(楽曲素材単位の区切り)やテンポ情報、コード情報等の楽曲構成情報を利用して、音楽理論にしたがい、再生中の楽曲に複数の音楽素材を、違和感無くミックスしていくものである。
【0050】
リミックスの場合には、CPU1の指示に従い、再生中の楽曲以外の他の楽曲から抽出されるリミックスする音響データが、音響データデコード部51に供給される。したがって、この実施形態では、音響データデコード部51は、再生中の音響データのデコード処理と、リミックスする音響データをデコード処理とを並行して実行することができる機能を備えている。
【0051】
音響アレンジ部52の出力は、音響出力部53に供給される。音響出力部53では、これに入力されるデジタル音声信号をアナログ音声信号に変換し、当該変換したアナログ音声信号を出力アンプ((図示せず))を介してスピーカや、出力端子を介してヘッドホン(図示せず)に供給して、音響再生する。
【0052】
映像データデコード部54は、この実施形態では、音楽コンテンツに付随する圧縮映像データをデコード(圧縮解凍(圧縮伸長))する。この場合、付随する圧縮映像データとしては、JPEG(Joint Photographic Experts Group)等で圧縮された静止画データ、MPEG(Moving Picture Experts Group)2、MPEG4等で圧縮された動画データ等があり、映像データデコード部54は、これらの圧縮を伸長デコードする機能を備えるものである。
【0053】
この映像データデコード部54でデコードされた映像データは、映像アレンジ部55に供給される。この映像アレンジ部55では、映像データに、例えば特殊効果(エフェクト)が施される。この特殊効果としては、既存の技術を用いるもので、この実施形態では、詳細は省略する。
【0054】
この映像アレンジ部55の出力映像データは、映像出力部56に供給される。映像出力部56は、デジタル映像データをデジタル映像信号のまた、若しくは必要に応じてアナログ映像信号に変換し、映像出力端子を通じてディスプレイの画面に表示される。
【0055】
[属性情報の説明]
この実施形態では、各音楽コンテンツの属性情報は、次に説明するような各種の情報が、各楽曲に対応して記録される。
【0056】
(1)楽曲構成情報
この楽曲構成情報は、前述した楽曲素材単位の区切り情報を含むと共に、楽曲のテンポ/キー/コード/音量/拍子の情報、楽譜の情報、コード進行の情報、繰り返してりミックスするループ用の音楽波形の立ち上がり情報等を含む。テンポの情報としては、例えばBPM(Beat Per Minutes)値が用いられる。
【0057】
この楽曲構成情報は、楽曲の曲調を示すものであり、音楽コンテンツの記録再生装置は、この楽曲構成情報を解析して、当該楽曲構成情報が似ている楽曲は、曲調が似ていると判断することができる。したがって、再生中の楽曲に対してリスナーが嗜好を示しているときには、この楽曲構成情報の解析結果に基づき、次の再生楽曲候補として再生中の楽曲と似ている曲調の楽曲を選択することができる。
【0058】
また、リスナーが再生中の楽曲に対して嗜好を示していないときには、例えば過去の再生履歴からリスナーが好んでいると思われる楽曲を検出し、その楽曲の楽曲構成情報を調べて、その楽曲構成情報と似ている楽曲を次の楽曲再生候補とすることにより、再生履歴に基づき、リスナーが好むと思われる楽曲と曲調が似ている楽曲を、次の楽曲再生候補することができる。
【0059】
また、この楽曲構成情報に含まれる楽曲素材単位の区切り情報や、楽曲のテンポ等や、コード進行などの情報を用いることにより、違和感の無いリミックスが可能になる。
【0060】
この場合、音楽コンテンツの映像音響データと属性情報とは、きっちりと対応しているようにされている。例えば、楽曲構成情報として属性情報中に記述されている、楽曲素材単位としての例えば小節の区切りのタイムコード情報と、実際の映像音響データの小節の区切りのタイムコードとが正確に一致しているように構成されている。
【0061】
したがって、この楽曲構成情報により、再生中の楽曲の楽曲素材単位の区切り、例えば小節や拍の区切のタイミングを検出することができると共に、リミックスしようとする他の楽曲の楽曲素材単位の情報を、再生中の楽曲の楽曲素材単位の区切りに同期して加算することができ、違和感の無いリミックスを行なえる。
【0062】
(2)エフェクト情報
エフェクト情報は、楽曲にかける特殊効果の情報であり、例えば前述したディストーションやリバーブ用のエフェクトパラメータからなる。この場合、エフェクトパラメータが時間的に変化する場合には、その時間変化に応じて変化するパラメータ情報となる。
【0063】
このエフェクト情報は、この例の音楽コンテンツの記録再生装置が、予め、固定的に複数種を備えるものを用いることができる。しかし、各楽曲毎に効果的なお薦めのエフェクト情報がある場合には、属性情報の一部として含められるものである。このお薦めのエフェクト情報は、例えば、音楽コンテンツの制作者により与えられる。エフェクト情報は、1種類ではなく、複数種類を属性情報として含めることができる。
【0064】
このエフェクト情報も、楽曲素材単位に対応した時間長分として、属性情報に含めると良い。
【0065】
(3)楽器情報
楽器情報は、当該楽曲において使用されているドラム、ギター等の楽器の情報である。例えば、1小節分のドラムやパーカッションの演奏パターンを、属性情報として記録しておき、それをループ状に繰り返し用いるようにすることもできる。また、リミックス用にそれらの楽器の演奏パターン情報を用いることもできる。
【0066】
なお、これらの1小節分のドラムやパーカッションの演奏パターンの情報は、属性情報として記録するのではなく、予め、記録再生装置がリミックス用などのために、複数パターンを備えておくようにしても良い。
【0067】
(4)演奏者情報
演奏者情報は、当該楽曲の演奏者(歌手を含む)の名前(グループ名を含む)、性別、年齢、グループ編成など、演奏者に関する情報である。
【0068】
(5)感性情報
感性情報は、当該楽曲を聴取したリスナーの感覚的認識を表すもので、例えば明るい曲/暗い曲、静かな曲/激しい曲、楽しい曲/悲しい曲などを定量化したデータである。この感性情報は、例えば図2に示すように、明るい/暗い、優しい/激しい、楽しい/悲しいなどのそれぞれを、予め感性軸として定義しておき、各感性軸について主観的な感覚的認識の程度を数値化したものを、リスナーにより設定してもらう等の方法で取得する。
【0069】
例えば、明るい/暗いの感性軸の場合、図2に示すように、主観的な感覚的認識の程度を、例えば、16段階の数値で表す。図2の例では、明るいとされる場合ほど数値が大きく、最も暗いとされる場合の数値として「0」が割り当てられている。優しい/激しい、楽しい/悲しいなどの他の感性軸についても同様とすることができる。感性軸は、これらの他にも設定することが可能である。
【0070】
図2のように、これらの感性軸上の値が設定されると、それらの値を線で結ぶことにより、曲調に応じた形の図形(図2では三角形の形が曲調に応じて変化)が得られる。換言すれば、これらの感性軸を用いることにより、似た曲調の楽曲を容易に検索することができる。
【0071】
この場合に、記録媒体に音楽コンテンツのデータに対応して記録する属性情報や音楽コンテンツ提供サーバから提供する属性情報の場合には、例えば数十人のリスナーに当該楽曲を聴いてもらって、各感性軸についての主観的な感覚的認識の程度の数値を報告してもらい、例えば、その平均値を各感性軸についての感性情報とするようにすることができる。
【0072】
後述するように、記録再生装置の使用者がリスナーとして、楽曲を聴取して、この感性情報を設定入力する場合もある。また、記録媒体に記録されていた属性情報に含まれる感性情報の数値や、音楽コンテンツ提供サーバから取得した属性情報に含まれる感性情報の通知が、実際にリスナーが楽曲を聴取した結果、異なるとリスナーが感じた場合には、記録再生装置の音楽コンテンツ記憶部に記憶する属性情報の感性情報としては、リスナー自身により、その感性情報の値を書き替えることができるように構成されている。
【0073】
(6)周辺環境情報
この周辺環境情報は、DVDの制作者や、音楽コンテンツ提供サーバからの音楽コンテンツの提供者などにより設定入力される、当該楽曲を聴くのにお薦めの場所、例えば山、海などの地域情報を含む。また、後述するように、記録再生装置での楽曲の記録時に、前述した周辺環境情報取得部40で取得された記録(録音)された場所、日時、季節、温度、湿度などの情報とされる場合もある。また、その記録時に、リスナーにより設定入力される、当該楽曲を聴くのにお薦めの場所などの地域情報を含む。
【0074】
(7)再生履歴情報
再生履歴情報は、リスナーが、どの楽曲を、どのくらいの頻度や時間で聴取しているかの情報であり、この実施形態では、前述したように、記録再生装置の再生履歴情報保持部15に記憶されて保持される。この再生履歴情報は、音楽コンテンツのデータを、音楽コンテンツ記憶部20に記憶する記録処理の際に属性情報に含められて、音楽コンテンツ記憶部20の属性情報記憶部22に、属性情報の一部として格納される。
【0075】
なお、再生履歴情報は、制作者により制作されるDVDや、サーバから取得する属性情報には含まれていない。
【0076】
[第1の実施形態の記録再生装置における記録処理]
次に、この第1の実施形態の記録再生装置における記録処理について説明する。この実施形態における記録処理の態様には、いくつかある。
【0077】
その一つは、DVDに記録されている音楽コンテンツのデータを読み込み、音楽コンテンツ記憶部20に書き込んで記録する態様である。他の一つは、インターネット5を通じて、音楽コンテンツ提供サーバ装置6から音楽コンテンツのデータをダウンロードしたものを記録する態様である。さらに、他の一つは、図示を省略したが、外部入力端子を通じて、他の再生機器などから音楽コンテンツのデータを転送し、それを音楽コンテンツ記憶部20に記録する態様である。
【0078】
これらの態様において、音楽コンテンツのデータに属性情報が含まれている場合には、この実施形態の記録再生装置は、音楽コンテンツについての映像音響データに加えて、その属性情報をも読み込み、音楽コンテンツ記憶部20に書き込むようにする。この実施形態の記録再生装置では、この記録の際に、ユーザが属性情報を追加、変更がしたい場合には、その追加、変更ができるように構成されている。
【0079】
また、音楽コンテンツのデータには、映像音響データのみしかなく、属性情報が含まれていない場合には、この実施形態の記録再生装置では、記録再生装置において属性情報を生成(設定)して、音楽コンテンツ記憶部20の属性情報記憶部22に記憶するようにする。
【0080】
すなわち、曲調分析部13でDVDやダウンロードした音響データを解析して、楽曲構成情報を取得して、それを属性情報の一部として記録する。また、ユーザは、自分が当該楽曲を実際に聴取した主観的な感覚的程度値の感性情報として、前述したような16段階のいずれかの数値を入力する。そして、この感性情報を属性情報の一部として記録する。さらに、周辺環境取得部40で取得した周辺環境情報も属性情報の一部として記録する。さらには、再生履歴情報も必要に応じて属性情報として記録するようにする。
【0081】
なお、この実施形態では、インターネット5上に、音楽コンテンツの識別情報に対応して属性情報を格納する属性情報提供サーバ装置を設けて、このサーバ装置に、音楽コンテンツの識別情報を伴うダウンロード要求を送って、当該音楽コンテンツの識別情報に対応する属性情報の提供を受けるようにすることも想定している。
【0082】
図3および図4は、音楽コンテンツ提供サーバ装置6から音楽コンテンツおよび属性情報を取得する場合における記録再生装置と音楽コンテンツ提供サーバ装置6の動作のフローチャートである。
【0083】
なお、ここでは、記録再生装置が音楽コンテンツ提供サーバ装置6から音楽コンテンツのデータと、これに付随する属性情報との提供を受ける場合を例にして説明するが、基本的には、異なる複数台の記録再生装置間で属性情報の送受を行なう場合においても、ほぼ同様の処理となる。
【0084】
図3は、音楽コンテンツのデータとこれに付随する属性情報の提供を要求する記録再生装置の処理を、また、図4は、音楽コンテンツのデータとこれに付随する属性情報を提供する音楽コンテンツ提供サーバ装置6の処理を、それぞれ説明するためのフローチャートである。
【0085】
記録再生装置に対して、音楽コンテンツデータとこれに対する属性情報との提供の要求を行なうためのプログラムを起動する所定の操作が行われると、記録再生装置のCPU1は、図3に示す処理を実行し、まず、ダウンロードする音楽コンテンツの選択入力を受け付ける(ステップS11)。
【0086】
そして、受け付けた選択入力に基づいて、ダウンロードを要求する音楽コンテンツの識別子を含む音楽コンテンツの提供要求を生成し、これを通信インターフェース14、インターネット5を通じて、音楽コンテンツ提供サーバ装置6に送信する(ステップS12)。
【0087】
一方、音楽コンテンツ提供サーバ装置6の制御部(CPU)は、常時、図4に示す処理を実行しており、インターネット5および自装置が備える通信インターフェースを通じて、記録再生装置からの音楽コンテンツの提供要求を受信待ちするようにし(ステップS21)、提供要求を受信したか否かを判断する(ステップS22)。ステップS22において、音楽コンテンツの提供要求を受信していないと判断したときには、ステップS21からの処理を繰り返し、音楽コンテンツの提供要求の受信待ちとなる。
【0088】
ステップS22の判断処理において、音楽コンテンツ提供サーバ装置6の制御部が、記録再生装置からの音楽コンテンツの提供要求を受信したと判断したときには、サーバ装置6の制御部は、受信した提供要求に含まれる音楽コンテンツの識別子に基づいて、自装置6に記憶されている音楽コンテンツの中から、目的とする音楽コンテンツのデータとこれに対する属性情報とを検索する(ステップS23)。
【0089】
そして、音楽コンテンツ提供サーバ装置6の制御部は、目的とする音楽コンテンツのデータが存在するか否かを判断し(ステップS24)、存在すると判断したときには、要求元の記録再生装置に、通信インターフェースおよびインターネット5を通じて送信する(ステップS25)。そして、ステップS21に戻って、このステップS21からの処理を繰り返す。
【0090】
また、ステップS24の判断処理において、目的とする音楽コンテンツのデータが存在しないと判断したときには、音楽コンテンツ提供サーバ装置6の制御部は、その旨を示す応答メッセージを生成し、要求元の記録再生装置に対して、通信インターフェースおよびインターネット5を通じて返信する(ステップS26)。そして、ステップS21に戻り、このステップS21からの処理を繰り返す。
【0091】
一方、要求元の記録再生装置は、音楽コンテンツ提供サーバ装置6からの応答(返信)を通信インターフェース14を通じて受信し(ステップS13)、受信した応答に基づいて、要求した音楽コンテンツのデータが送信されてきたか否かを判断する(ステップS14)。このステップS14の判断処理において、要求した音楽コンテンツのデータを受信したと判断したときには、その受信した音楽コンテンツのデータと、当該音楽コンテンツのデータに付随して提供された属性情報とを音楽コンテンツ記憶部に記録(格納)し(ステップS15)、この図3に示す処理を終了する。
【0092】
また、ステップS14の判断処理において、要求した音楽コンテンツのデータを受信していない(対応する音楽コンテンツのデータが存在しないことのメッセージを受信した)と判断したときには、記録再生装置の制御部は、図1には図示しなかったが、自装置が備えるLCD(Liquid Crystal Display)などの表示素子やLED(Light Emitting Diode)などの発光素子、あるいは、ブザーやアラームなどを用いて、目的とする音楽コンテンツのデータが存在しなかったことを記録再生装置のユーザに対して通知し(ステップS16)、この図3に示す処理を終了する。
【0093】
以上のようにして、この実施形態では、記録再生装置は、目的とする音楽コンテンツのデータの提供を受ける際に、この音楽コンテンツのデータに付随して提供される属性情報の提供をも受けることができるようにされている。そして、提供を受けた音楽コンテンツのデータ、および、当該音楽コンテンツのデータに対する属性情報を音楽コンテンツ記憶部20に記憶して再生時に利用することができるようにされる。
【0094】
なお、音楽コンテンツのデータに属性情報が付随していないときには、上述したように、曲調分析部13で解析して得られた楽曲構成情報や、周辺環境情報取得部で取得された周辺環境情報などから属性情報が構成されて、それが音楽コンテンツ記憶部20に音楽コンテンツの映像音響データと対応付けられて記憶される。
【0095】
また、記録再生装置の音楽コンテンツ記憶部には、音楽コンテンツの楽曲データは、既に存在しているが、その音楽コンテンツの属性情報が無いときには、音楽コンテンツの識別情報を検索子として、サーバ装置6にアクセスして、その属性情報のみをダウンロードすることもできるようにされている。
【0096】
次に、図5は、この実施形態の記録再生装置の音楽コンテンツ記憶部20の一例としてのハードディスク装置の概念的な構成を説明するための図である。すなわち、音楽コンテンツ記憶部20としてのハードディスク装置20HDは、音楽コンテンツの映像データや音響データ等の映像音響データDtの領域23と、その属性情報Atの領域24とを備え、領域23は映像音響データ記憶部21を構成し、領域24は属性情報記憶部22を構成する。
【0097】
この実施形態では、音楽コンテンツ記憶部20は、ハードディスク装置により構成したが、リム−バル(着脱可能)の記録メディアとしてのDVD等のディスク媒体を音楽コンテンツ記憶部として用いることもできる。図6は、その場合における音楽コンテンツ記憶部20の他の例としてのディスク媒体(例えば光磁気ディスク等の記録再生可能なもの)20RDの一例を説明するための図である。
【0098】
この図6に示すように、音声コンテンツデータや映像コンテンツデータなどのコンテンツデータ(映像音響データ)Dtが光ディスク20RDのデータ格納領域に格納されている。そして、図6に示すように、光ディスク20RDには、光ディスクに通常設けられるリードインアリア、TOC(Table Of Contents)エリア、リードアウトエリアのほかに、コンテンツ属性情報Atの格納エリアが設けられ、ここに属性情報が格納されるようにされている。コンテンツデータDtが、複数の楽曲のデータを含む場合には、それぞれの楽曲についての属性情報が記録される。この場合、コンテンツデータDtと属性情報Atとは、前述したように音楽コンテンツ識別情報(音楽コンテンツID)によって対応付けられている。
【0099】
なお、光ディスク20RDは、音楽コンテンツの制作者等により音楽コンテンツデータが記録されて市販されるものの他、例えば、一般ユーザが、パーソナルコンピュータなどを用いて、インターネットからダウンロードした音楽コンテンツを記録するなどして作成する場合もある。
【0100】
なお、図5、図6に示したように、記録媒体に記録される属性情報Atは、記録再生装置においてユーザが任意に内容を書き換えたり、追加したり、削除したり、あるいは、既存の属性情報を新たな属性情報に置き換えたりすることも可能である。例えば、属性情報中に楽曲素材単位の区切り情報を追加する場合には、記録再生装置において、目的とする音楽コンテンツデータを自動解析することにより、新たな楽曲素材単位の区切り情報を自動生成したり、ユーザインターフェース11を通じてユーザにより入力された区切り情報を追加したりすることが可能である。
【0101】
また、ユーザインターフェース11を通じてユーザからの変更指示入力を受け付けて、音楽コンテンツ記憶部20に記録されている属性情報を変更したり、同様に、ユーザインターフェース11を通じてユーザからの変更指示入力を受け付けて、音楽コンテンツ記憶部20に記録されている属性情報を削除したり、また、既に記録されている属性情報を、上述のように新たに生成したり、入力したりした属性情報で置き換えたりすることもできるようにされる。
【0102】
また、新たな属性情報を、インターネット5と通信インターフェース14とを通じて提供を受けたり、あるいは、USB(Universal Serial Bus)インターフェースなどのデジタルインターフェースに接続される他の記録再生装置等の外部機器から提供を受けたり、また、無線インターフェースと送受信アンテナを通じて無線LAN経由で提供を受けたりして、これを追加や置き換えに用いることも可能である。
【0103】
もちろん、上述したいずれの場合においても、音楽コンテンツの識別子によって、音楽コンテンツデータと属性情報とは必ず対応するようにされ、どの属性情報がどの音楽コンテンツデータに付随するものであるかは明確にされる。
【0104】
そして、以上のように、音楽コンテンツには、属性情報を付随させるようにすることにより、音楽コンテンツのデータの流通に伴い、その属性情報をも流通させ、音楽コンテンツデータの利用に合わせて、その属性情報を有効に活用し、新たな利用態様で音楽コンテンツデータを利用できるようにすることができる。
【0105】
なお、光ディスクドライブ16で読み込みを行なう光ディスク7が、音楽コンテンツデータとして属性情報を付随している場合には、図6に示した光ディスク20RDと同様の構成を備えるものである。
【0106】
次に、図1の実施形態の記録再生装置における記録処理動作の一例を、図を参照して説明する。図7は、この実施形態の記録再生装置のうちの記録処理部分を機能的に抽出して表したブロック図である。また、図8および図9は、その記録処理動作の一例を説明するためのフローチャートである。
【0107】
図7に示すように、記録再生装置は、記録の機能的には、2つの要素から構成される。一つは、複数個の音楽コンテンツが記憶保持されている音楽コンテンツ記憶部20であり、もう一つは音楽コンテンツの記録をする記録部100である。音楽コンテンツ記憶部20については、上述した通りであるので、ここでは、説明を省略する。記録部100は、音楽コンテンツデータおよび属性情報の記録処理を行なう部分である。以下、この記録部20の構成について説明する。
【0108】
記録部100は、この例では、入力された音楽コンテンツのデータ(映像音響データ)と、属性情報とを対応付けて音楽コンテンツ記憶部20に記憶する。この場合に、音楽コンテンツに対応する属性情報が入力される場合には、それをそのまま、あるいは、一部変更したり、追加したりして、音楽コンテンツ記憶部20の属性情報記憶部22に記憶するようにする。
【0109】
しかし、属性情報が音楽コンテンツに付随していない場合には、記録部100では、属性情報を生成して、音楽コンテンツのデータに付与して、音楽コンテンツ記憶部20の属性情報記憶部22に格納するようにする機能を備える。
【0110】
この実施形態では、音楽コンテンツのデータに対する属性情報の付与方法としては、最終的には付与するユーザが主観的な判断で付与を行なうようにする。もっとも、属性情報の一部の情報は、記録再生装置が自動的に生の映像音響データから計算して付与することもできる。すなわち、属性情報の一部である楽曲構成情報のテンポ情報や、記録再生装置の存在する場所や周辺環境情報等は、自動的に算出して、自動的に付加することもできる。しかし、この例では、記録再生装置は、あくまで楽曲構成情報や周辺環境情報を取得するのみで、最終的に、音楽コンテンツに付与する属性情報について、それが最適かどうかはユーザが決定するようにしている。
【0111】
記録部100は、図7に示すように、前述したユーザインターフェース11と、曲調分析部13と、再生履歴情報保持部15と、周辺環境情報取得部40とを含むほか、機能的な処理部として、音楽コンテンツ記録指示制御部101と、音楽コンテンツデータ保持部102と、映像音響データ記録設定部103と、属性情報記録設定部104と、エンコード部105と、楽曲構成情報取得部106とを備える。
【0112】
音楽コンテンツ記録指示制御部101は、ユーザインターフェース11を通じたユーザ指示に従って、音楽コンテンツの記録指示制御を行なう部分であって、CPU1が、ROM3に記憶されている記録のためのプログラムに基づいて、RAM4をワークエリアとして用いて実行する部分に相当する。
【0113】
音楽コンテンツデータ保持部102は、これから記録すべき音楽コンテンツの映像音響データや、付随する属性情報もあれば、当該属性情報を保持する部分である。
【0114】
これは、記録しようとする音楽コンテンツのソースが光ディスクドライブ16で読み込まれる光ディスク7である場合には、当該光ディスク7および光ディスクドライブ16の部分に相当する。
【0115】
また、記録しようとする音楽コンテンツのソースが、インターネット5を通じた音楽コンテンツ提供サーバ装置6である場合には、通信インターフェース14を通じて取り込まれた音楽コンテンツデータを一時的に蓄えるバッファメモリなどが、音楽コンテンツデータ保持部102に相当する。
【0116】
エンコード部105は、エンコード/デコード部12のエンコード部分のみの機能を抽出したものに相当する。
【0117】
映像音響データ記録設定部103は、エンコード部105に送り込む映像音響データを保持するものであり、RAM4の一部のエリアが利用される。
【0118】
属性情報記録設定部104は、エンコーダ回路に送り込む属性情報のデータを保持するものであり、これもRAM4の一部のエリアが利用される。
【0119】
楽曲構成情報取得部106は、音楽コンテンツデータに属性情報が付随していない場合に、記録しようとする音楽コンテンツに対応する属性情報を取得する機能部である。これは、例えば、前述したように、インターネットを通じて、属性情報提供サーバ装置に音楽コンテンツIDを検索子としてアクセスして、当該音楽コンテンツIDに対応する属性情報を取得する機能部や、他の記録再生装置などから、当該音楽コンテンツに対応する属性情報を取得する機能部などにより構成される。
【0120】
次に、図8および図9のフローチャートを参照しながら、記録処理動作について説明する。なお、この図8および図9の各処理ステップは、CPU1がROM3のプログラムにしたがって、RAM4をワークエリアとして用いて実行するものである。
【0121】
記録に先立ち、ユーザは、音楽コンテンツとして記録したい楽曲のデータを用意し、音楽コンテンツデータ保持部102に保存しておく。属性情報が付随されている場合には、音楽コンテンツデータ保持部102には、当該音楽コンテンツとしての楽曲の属性情報も保存される。音楽コンテンツデータ保持部102は、属性情報が当該記録したい楽曲に付随しているかどうかを、音楽コンテンツ記録指示制御部101に報告する。これにより、音楽コンテンツ記録指示制御部101は、記録すべき音楽コンテンツに属性情報が付随しているかどうかを予め認識している。
【0122】
次に、ユーザが、ユーザインターフェース11の操作部を通じて記録指示をすると、音楽コンテンツ記録指示制御部101は、指定された楽曲の記録指示を認識する(図8のステップS31)。音楽コンテンツ記録指示制御部101は、この記録指示を認識すると、指定された楽曲には、属性情報が付随しているかどうかを判別し(ステップS32)、属性情報が付随していると判別したときには、属性情報記録設定部104に、音楽コンテンツに付随する属性情報を記録するようにする記録指示を送る(ステップS33)。
【0123】
音楽コンテンツ記録指示制御部101は、また、音楽コンテンツデータ保持部102に、保持している記録対象の音楽コンテンツの映像音響データを映像音響データ記録設定部103に送出するようにすると共に、対応する属性情報を属性情報記録設定部104に送出するように指示する(ステップS34)。この指示を受けた音楽コンテンツデータ保持部102は、記録対象の音楽コンテンツの映像音響データを、その音楽コンテンツIDと共に映像音響データ記録設定部103に送ると共に、対応する属性情報を、その音楽コンテンツIDと共に属性情報記録設定部104に送る。
【0124】
属性情報記録設定部104は、音楽コンテンツデータ保持部102からの属性情報(音楽コンテンツIDを含む)を受け取ると、記録すべき属性情報の仮リストを作成し(ステップS35)、当該作成した属性情報の仮リストを、例えばユーザインターフェース11のディスプレイに表示する等して、ユーザに呈示する(ステップS36)。
【0125】
この記録すべき属性情報の仮リストの呈示を受けたユーザは、属性情報について修正や追加が必要だと判断したときには、ユーザインターフェース11の操作部を通じて所定の操作を行ない、そのままの属性情報と良いとしたときには、ユーザインターフェース11の決定キーなどを操作して、その旨を入力する。
【0126】
音楽コンテンツ記録指示制御部101は、ユーザから属性情報についての修正指示や追加指示があったかどうか判別し(ステップS37)、修正指示や追加指示があったと判別したときには、その旨を属性情報記録設定部104に伝える。この修正指示や追加指示を受けた属性情報記録設定部104は、ユーザインターフェース11を通じた修正指示内容や追加指示内容に応じて、属性情報の修正や追加を行なう(ステップS38)。
【0127】
属性情報の修正や追加後、あるいは、属性情報の修正や追加無しに、ユーザが当該属性情報についてOKという意味で決定キーを操作すると、音楽コンテンツ記録指示制御部101は、そのユーザの属性情報についての決定入力を検知し(ステップS39)、エンコード部105に、映像音響データ記録設定部103からの映像音響データと、属性情報記録設定部104からの属性情報とを受け取るように指示すると共に、受け取った情報をエンコードするように指示する。エンコード部105は、この指示を受けると、映像音響データと属性情報とを受け取って、音楽コンテンツ記憶部20に記憶するためのエンコード処理を実行する(ステップS40)。
【0128】
そして、エンコード部105は、エンコードした映像音響データを、映像音響データ記憶部21に書き込むと共に、エンコードした属性情報を、属性情報記憶部22に書き込む(ステップS41)。以上で、記録処理は終了となる。
【0129】
一方、ステップS32で、属性情報が音楽コンテンツに付随してはいないと判別したときには、音楽コンテンツ記録指示制御部101は、属性情報記録設定部104に、音楽コンテンツの属性情報を自装置で生成して記録するようにする指示を送る(図9のステップS51)。
【0130】
音楽コンテンツ記録指示制御部101は、また、音楽コンテンツデータ保持部102に、保持している記録対象の音楽コンテンツの映像音響データを映像音響データ記録設定部103と、曲調分析部13に送出するように指示する(ステップS52)。この指示を受けた音楽コンテンツデータ保持部102は、記録対象の音楽コンテンツの映像音響データをその音楽コンテンツIDと共に映像音響データ記録設定部103に送ると共に、当該音楽コンテンツの音響データを曲調分析部13に送出する。
【0131】
音楽コンテンツデータ保持部102からの音響データを受け取った曲調分析部13は、その音響データを分析して、楽曲素材単位のテンポ、キー、コード等の楽曲構成情報を抽出する(ステップS53)。
【0132】
属性情報記録設定部104は、音楽コンテンツ記録指示制御部101からの自装置で属性情報を生成する旨の指示を受け取ると、指定された楽曲についての再生履歴が再生履歴情報保持部15に保持されているか否か判別し、保持されていれば、その再生履歴を属性情報の一部とするために取得する(ステップS54)。なお、再生履歴情報がなければ、属性情報としての再生履歴情報は無しを意味する「null」とされる。
【0133】
また、属性情報記録設定部104は、記録対象の楽曲を聴取したユーザからユーザインターフェース11を通じて入力される当該楽曲についての明るい/暗い、激しい/優しい、楽しい/悲しいなどの感性情報の数値入力(例えば前述の16段階の数値)を受け付けて、属性情報の一部とする(ステップS55)。
【0134】
さらに、属性情報記録設定部104は、曲調分析部13で分析されて抽出された楽曲構成情報を、曲調分析部13から取得して、属性情報の一部とする(ステップS56)。また、さらに、属性情報記録設定部104は、周辺環境情報取得部40から周辺環境情報を取得して、当該周辺環境情報を属性情報の一部とする(ステップS57)。
【0135】
次に、属性情報記録設定部104は、ステップS54〜ステップS57で取得した情報に基づいて、記録すべき属性情報の仮リストを作成し(ステップS58)、当該作成した属性情報の仮リストを、例えばユーザインターフェース11のディスプレイに表示する等して、ユーザに呈示する(ステップS36)。
【0136】
この記録すべき属性情報の仮リストの呈示を受けたユーザは、属性情報について修正や追加が必要だと判断したときには、ユーザインターフェース11の操作部を通じて所定の操作を行ない、そのままの属性情報と良いとしたときには、ユーザインターフェース11の決定キーなどを操作して、その旨を入力する。
【0137】
音楽コンテンツ記録指示制御部101は、ユーザから属性情報についての修正指示や追加指示があったかどうか判別し(ステップS37)、修正指示や追加指示があったと判別したときには、その旨を属性情報記録設定部104に伝える。この修正指示や追加指示を受けた属性情報記録設定部104は、ユーザインターフェース11を通じた修正指示内容や追加指示内容に応じて、属性情報の修正や追加を行なう(ステップS38)。
【0138】
属性情報の修正や追加後、あるいは、属性情報の修正や追加無しに、ユーザが当該属性情報についてOKという意味で決定キーを操作すると、音楽コンテンツ記録指示制御部101は、そのユーザの属性情報についての決定入力を検知し(ステップS39)、エンコード部105に、映像音響データ記録設定部103からの映像音響データと、属性情報記録設定部104からの属性情報とを受け取るように指示すると共に、受け取った情報をエンコードするように指示する。エンコード部105は、この指示を受けると、映像音響データと属性情報とを受け取って、音楽コンテンツ記憶部20に記憶するためのエンコード処理を実行する(ステップS40)。
【0139】
そして、エンコード部105は、エンコードした映像音響データを、映像音響データ記憶部21に書き込むと共に、エンコードした属性情報を、属性情報記憶部22に書き込む(ステップS41)。以上で、記録処理は終了となる。
【0140】
なお、以上の実施形態では、属性情報の楽曲構成情報が音楽コンテンツに付随していないときには、曲調分析部13で楽曲構成情報を抽出するようにしたが、予め楽曲の曲調が譜面情報や制作者の情報により判っている場合には、曲調分析する必要は無く、ユーザがこの譜面情報に基づくテンポ、キー、コード等の楽曲構成情報を属性情報として入力することもできる。
【0141】
また、インターネット5などのネットワークを通じて楽曲構成情報が取得可能な場合には、属性情報記録設定部104は、楽曲構成情報取得部106を通じて楽曲構成情報を取得して、属性情報の一部とするようにすることもできる。
【0142】
この実施形態の記録再生装置では、楽曲の再生を繰り返すと、再生履歴情報保持部15に、過去のユーザの再生履歴情報が蓄積されてくる。よく聴く曲はリスナーの嗜好度が高く、逆に再生時間が短い曲はリスナーの嗜好度が低いことが多い。そこで、この楽曲毎の再生頻度・再生時間情報が更新される度に、各楽曲の音楽コンテンツの属性エリアに追記していく。
【0143】
また、属性情報とされて、音楽コンテンツ記憶部20の属性情報記憶部22に記憶された再生履歴情報は、音楽コンテンツの記録時のみではなく、対応する楽曲が再生されて、再生履歴情報保持部15の再生履歴が更新されるときに、同時に、属性情報記憶部22の対応する楽曲の属性情報の再生履歴情報も更新されるようにされている。
【0144】
よく聴く曲はリスナーの嗜好度が高く、逆に再生時間が短い曲はリスナーの嗜好度が低いことが多いので、この再生履歴情報を参照することにより、リスナーが嗜好する楽曲を検知することができると共に、その嗜好度の高い楽曲の曲調は、リスナーの嗜好度が高い曲調と判定することができる。そこで、この楽曲毎の再生頻度や再生時間情報が更新される度に、各楽曲の属性情報記憶部の再生履歴情報を追記しておくことにより、この属性情報の再生履歴情報および楽曲構成情報を参照することで、リスナーに好まれている楽曲およびその曲調を判定して、再生時の楽曲の再構成に利用することができる。
【0145】
[第1の実施形態の記録再生装置における再生処理]
次に、第1の実施形態の記録再生装置における再生処理について説明する。この実施形態では、再生処理のポイントとしては2点ある。
【0146】
一つは、再生スタート操作をするだけで、ユーザが嗜好するであろう楽曲を順次に装置が選択して、ユーザに呈示する機能を装置が備える点である。この場合、ユーザは、最初の曲を選択し、連続再生スタート操作をユーザインターフェース11の操作部を通じて入力する。すると、この実施形態の記録再生装置は、その最初に選択された楽曲にユーザが嗜好を示しているかどうか、ユーザ(リスナー)から取得した生体情報に基づいて判別し、嗜好を示していれば、最初に選ばれた楽曲に曲調が似ている楽曲を次の楽曲再生候補とする。
【0147】
この場合において、楽曲聴取者であるユーザ(リスナー)の生体情報を取得して、例えば、音楽に乗っているときの頭部や足等の体の動きや脈拍等から、その時々のリスナーの嗜好度を判定するようにする。
【0148】
リスナーが聴取中の楽曲に嗜好を示していないと判別したときには、例えば再生履歴情報保持部15に保持されている再生履歴情報に基づいて、リスナーが好んでいると考えられる楽曲を選択し、当該選択された楽曲に曲調が似ている楽曲を次の楽曲再生候補とする。あるいは、リスナーの周辺環境情報を取得し、当該取得した周辺環境情報に合致する楽曲を、属性情報を参照することにより検索し、検索結果の楽曲および当該楽曲に似ている曲調の楽曲を次の楽曲再生候補とするようにする。
【0149】
そして、2番目以降の楽曲の聴取しているときにも、リスナーから取得した生体情報に基づいて、当該聴取中の楽曲に嗜好を示しているかを常時判定して、上述と同様の処理を行ない、次の楽曲再生候補を更新してゆくようにする。これにより、この実施形態によれば、リアルタイムで、次の楽曲再生候補を更新しながらユーザに呈示することができるという効果がある。
【0150】
従来の楽曲再生装置では、例えば数百曲以上の楽曲データを内蔵記憶部に記憶しているときに、自動再生モードでは、アルバム単位や、記録された順、乱数によるランダムな順序での再生が行なわれているが、特にユーザ(リスナー)の嗜好を考慮して、再生順序が決定されるものは無い。
【0151】
また、いわゆるプレイリスト(再生楽曲候補のリスト)をユーザ側で作成して、その順序で再生するという例もあるが、この方法の場合には、ユーザ側で、いちいちプレイリストを作成する必要があり、手間がかかるものである。さらに、内蔵記憶部に保存される楽曲が増加するごとに、当該プレイリストを手直し必要があるという問題もあった。そして、この方法も、ユーザの嗜好を積極的に考慮しているわけではないという問題もあった。
【0152】
これに対して、この実施形態では、再生装置側が過去のユーザの再生履歴情報やユーザからリアルタイムに入力される生体情報等、さらには、再生装置が存在する地理的な情報等から、現在再生されている楽曲の属性情報と照らし合わせて嗜好度の予測を行ない、その場のユーザの状態において最も聴きたいと思われる楽曲を提供するものである。
【0153】
すなわち、音楽コンテンツの再生方法に関して、楽曲の属性情報と、リスナーの生体情報や、再生履歴情報、周辺環境情報を用いて、その時々のリスナーの嗜好に最適と思われる楽曲の候補を動的に選択し、それを再生提示するようにするものである。
【0154】
例えば、過去によく聴いた楽曲のコード進行やテンポに近い楽曲を、属性情報記憶部22に記憶されている多数の楽曲の属性情報から探索して、それを再生したり、現在聴いている楽曲でリスナーがリラックスしていると思われる生体情報が取得できた場合には、その構成に近い楽曲を、前記属性情報から探索して、それを再生したりするものである。すなわち、この実施形態では、楽曲の属性情報を利用してリスナーの嗜好に合う楽曲を動的に提示するものである。
【0155】
また、上述したように、この実施形態では、属性情報として、リスナーがどう感じるかの楽曲の感性情報(例えば暗い/明るい曲)、ユーザが何回この楽曲を再生したか等の再生履歴情報や演奏者や楽器に関する情報、どこで録音されたものか・どこで聴くと良いかの地理情報等の周辺環境情報等も記録されている。これらの情報を、必要に応じて再生側で利用することにより、多数の音楽コンテンツの中から、よりユーザの好みに合うものを抽出することができる。
【0156】
この実施形態の記録再生装置における二つ目の再生処理のポイントは、聴取中の楽曲に対して、その属性情報中の特に楽曲構成情報に基づいて、楽曲素材単位で、テンポやキー(音程)を変えたり、リミックスしたり、エフェクトをかけたりして、楽曲を再構成するようにする機能を備える点である。
【0157】
すなわち、リスナーのその時の気分に応じて、ディスクジョッキーのようにリミックスする等して複数曲を同時に再生したり、あるいは楽曲そのもののテンポやキー等の曲調を変更したりして、聴取中の楽曲を動的に再構成するものである。この動的な再構成のために、この実施形態では、楽曲データに、前述のような属性情報、特に楽曲構成情報を付随させて、リスナーが置かれた雰囲気に合うように楽曲を動的に再構成しながら再生・合成するものである。再構成は、あくまでリスナーがより楽しくなるように、再生される楽曲に変化を与えるものであり、新たな楽曲の楽しみ方をリスナーに提案するものである。
【0158】
前述したような属性情報は、音楽性を損なわずに楽曲を再構成再生することができるようにすることを目的としたものである。一般に、音楽(楽曲)は、小節、拍等で区切られており、更に、それらの区切りごとにコードが決められているので、音楽理論に従えば、例えば小節毎に別の音楽素材を組み合わせていっても音楽性を損なわずに曲調を変更することができる。これは、一般に、ディスクジョッキー等で行なわれているリミックスと呼ばれる手法である。
【0159】
以上のことを考慮して、この実施形態では、前述したように、特に楽曲を再構成するに必要な楽曲の構成情報を、当該音楽コンテンツの映像音響データに予め付帯させて属性情報として記録しておくものである。ここで、楽曲を再構成するに必要な楽曲の構成情報とは、前述した、テンポ、キー、コード、音量、拍子等の楽曲素材単位の楽曲構成情報である。
【0160】
なお、属性情報は、常に音楽コンテンツの映像音響データに付帯させておく必要はなく、例えば必要なときにのみ、音楽コンテンツの識別情報に基づいて、他の格納場所に格納されている属性情報を読み出したり、ネットワークを通じて当該属性情報のサーバ装置等から取得したりしても良い。
【0161】
この実施形態では、楽曲構成情報を用いて、やみくもに再構成する訳ではない。例えば、リスナーからの生体情報を再生装置にフィードバックして、リスナーの視聴状態を動的に把握し、また、記録再生装置が置かれている(存在する)場所の周辺環境情報を動的に把握し、その場に適した楽曲をその属性情報から再合成し、リスナーに提供するものである。
【0162】
以下に説明するように、この第1の実施形態では、リスナーが嗜好を示しているときにのみ楽曲を再構成するようにして、よりリスナー好まれるようにするようにしている。しかし、リスナーが嗜好を示していないときにも、楽曲を再構成して、リスナーに再構成後の楽曲を呈示することで、リスナーに嗜好を喚起させるようにしても勿論よい。
【0163】
この聴取中の楽曲の再構成の際にも、リスナーの生体情報を再生装置にフィードバックしたり、再生履歴情報を参照したり、周辺環境情報を参照したりして、再構成のためにリミックスする楽曲を選択したり、エフェクトを選択したりするようにしても勿論よい。さらには、属性情報中にお薦めのエフェクト情報があれば、それを使用することも勿論できる。
【0164】
次に、以上の再生処理の詳細処理動作例を、図を参照して説明する。図10は、この第1の実施形態の記録再生装置のうちの再生処理部分を機能的に抽出して表したブロック図である。また、図11〜図18は、楽曲の再構成処理を説明するための図である。さらに、図19〜図22は、その再生処理動作の一例を説明するためのフローチャートである。
【0165】
図10に示すように、この第1の実施形態の記録再生装置の再生処理部も、前述した記録処理部と同様に、2つの構成要素からなる。一つは、複数個の音楽コンテンツが記録保持されている音楽コンテンツ記憶部20であり、もう一つは、音楽コンテンツの再生を行なう再生部200である。音楽コンテンツ記憶部20は、前述した通りであるので、ここでは、再生部200について説明する。
【0166】
再生部200は、図10に示すように、ユーザインターフェース11と、再生履歴情報保持部15と、生体情報取得部30と、周辺環境情報取得部40と、音響出力部53と、映像出力部56とを含むと共に、ROM3に記憶されているプログラムにしたがってCPU1による処理により実現される機能的な処理部として、映像音響データ選択判断制御部201と、デコード部202と、属性情報取得部203と、映像音響データ取得部204と、映像音響データデコード部205と、映像音響アレンジ処理部206とを備える。
【0167】
映像音響データ選択判断制御部201は、ユーザインターフェース11を通じたユーザ指示に従って、再生対象の音楽コンテンツを選択したり、その再生制御処理(楽曲再構成処理を含む)を行なったり、また、再生履歴情報保持部15からの再生履歴情報、生体情報取得部30を通じて取得した生体情報、周辺環境情報取得部40から取得した周辺環境情報等に基づいて、再生対象の音楽コンテンツを選択したり、その再生制御(楽曲再構成を含む)を行なったりする部分であって、CPU1が、ROM3に記憶されている記録のためのプログラムに基づいて、RAM4をワークエリアとして用いて実行する部分に相当する。
【0168】
デコード部202は、映像音響データ選択判断制御部201からの音楽コンテンツの選択指示にしたがって、音楽コンテンツ記憶部20から映像音響データおよび属性情報を取得して、圧縮されているデータを伸長デコード処理するもので、エンコード/デコード部12のデコード部に相当する。
【0169】
そして、デコード部202は、音楽コンテンツ記憶部20から読み出して伸長デコードした属性情報は、属性情報取得部203に渡すと共に、音楽コンテンツ記憶部20から読み出して伸長デコードした映像音響データは、映像音響データ取得部204に供給する。
【0170】
属性情報取得部203は、デコード部202からの、音楽コンテンツ記憶部20から読み出されてデコードされた属性情報を受け取り、映像音響データ選択判断制御部201に渡す。この属性情報取得部203は、RAM4の一部領域を用いるバッファ部で構成されるものである。
【0171】
映像音響データ取得部204は、デコード部202からの、音楽コンテンツ記憶部20から読み出されてデコードされた映像音響データを受け取り、映像音響データデコード部205に渡す。この映像音響データ取得部204は、RAM4の一部領域を用いるバッファ部で構成されるものである。
【0172】
映像音響データデコード部205は、音響データデコード部51と、映像データデコード部54とで構成される部分であり、音響データをデコードして、映像音響アレンジ処理部206に渡すと共に、映像データをデコードして、映像音響アレンジ処理部206に渡す。
【0173】
映像音響アレンジ処理部206は、音響アレンジ部52と、映像アレンジ部55とで構成される部分であり、映像音響データ選択判断制御部201からの制御信号を受けて、デコードされた音響データに、他の楽曲の音響データをリミックスしたり、音響データにエフェクト処理を施したり、テンポやキーあるいはコード進行を変えたりして楽曲の再構成処理をする。また、デコードされた映像データにエフェクト処理を施したりする。
【0174】
そして、映像音響アレンジ処理部206は、リミックスしたりエフェクト処理したり等した音響データを音響出力部53に供給すると共に、エフェクト処理等した映像データを映像出力部56に供給する。
【0175】
生体情報取得部30で取得されるリスナーの生体情報は、映像音響データ選択判断制御部201に供給され、音楽コンテンツの選択および楽曲の再構成のために用いられる。また、周辺環境情報取得部40で取得された記録再生装置が存在する場所の情報などの周辺環境情報は、映像音響データ選択判断制御部201に供給され、音楽コンテンツの選択および楽曲の再構成のために用いられる。
【0176】
また、再生履歴情報保持部15は、これに供給される映像音響データ選択判断制御部201からの読み出し要求に従って、保持している再生履歴情報を映像音響データ選択判断制御部201に供給する。この再生履歴情報は、映像音響データ選択判断制御部201において、音楽コンテンツの選択および楽曲の再構成のために用いられる。
【0177】
図11は、図10の再生部200を、楽曲の再構成処理の観点から見た機能ブロック図の構成を示すもので、実質上の構成内容は、図10と変わりはない。
【0178】
この図11に示すように、再生部200は、楽曲データの再構成の基準となる同期信号と楽曲再構成用情報とを生成して出力するリズムマスター部210と、このリズムマスター部210からの同期信号SYNCと楽曲再構成用情報ARIとを受けて、楽曲データの再構成を実行するリズムスレーブ部220とからなる。リズムマスター部210からの同期信号SYNCは、楽曲データの再生に同期して出力されるものであり、また、楽曲再構成用情報ARIは、同期信号SYNCに同期して出力され、楽曲データの再生に同期して動的に変化する値である。
【0179】
リズムマスター部210は、コンサートで言うと指揮者に相当する機能を持ち、また、リズムスレーブ部220は、演奏者の立場に相当する機能を持つ。
【0180】
映像音響データ選択判断制御部201は、リズムマスター部210に属する映像音響データ選択判断制御RM(RMはリズムマスターの略)部201Mと、リズムスレーブ部220に属する映像音響選択判断制御RS(RSは、リズムスレーブの略)部201Sとに分けられる。また、属性情報取得部203は、リズムマスター部210と、リズムスレーブ部220の両方に属するものとされる。
【0181】
すなわち、リズムマスター部210は、映像音響データ選択判断制御RM部(以下、RM部という)201Mと、属性情報取得部203とを備えて構成される。
【0182】
また、リズムスレーブ部220は、映像音響データ選択判断制御RS部(以下、RS部という)201Sと、属性情報取得部203のほかに、生体情報取得部30と、周辺環境情報取得部40と、再生履歴情報保持部15と、映像音響データ取得部204と、映像音響データデコード部205と、映像音響アレンジ処理部206とを備えて構成される。
【0183】
そして、この第1の実施形態では、リズムマスター部210のRM部201Mは、属性情報取得部203で取得した再生中の音楽コンテンツの属性情報に基づいて、楽曲の再構成の基準となる同期信号SYNCと、楽曲構成用データARIとを生成し、当該生成した同期信号SYNCおよび楽曲再構成用データARIを、リズムスレーブ部220のRS部201Sに供給する。
【0184】
この実施形態では、この同期信号SYNCとして、図12に示すように、楽曲の小節に対応する周期の小節同期信号PHSYと、楽曲の拍に対応する周期のビート同期信号BTSYとを生成出力する。この場合に、RM部201Mは、この第1の実施形態では、再生中の楽曲の小節および拍に同期する信号を生成出力する。
【0185】
小節同期信号PHSYは、楽曲の小節の頭を示す信号であり、例えば楽曲の小節の先頭でのみ、立ち下がりエッジパルスとなっている。また、ビート同期信号BTSYは、楽曲の拍の頭を示す信号であり、例えば、拍の先頭のみ立下りエッジパルスとなっている。何拍子の曲かにより小節当たりの拍数は異なる。
【0186】
これらの同期信号に同期する形で、リズムマスター部210からリズムスレーブ部220へ楽曲再構成用データARIが送られる。この楽曲再構成用データARIは、多値のデータなのでデータバス等の複数ビット信号線上を流れる信号とされている。
【0187】
この第1の実施形態では、RM部201Mは、楽曲再構成用データARIとして、図12に示すように、楽曲構成情報のBPM値と、キー値と、コード値の3つを生成し、リズムスレーブ部220のRS部201Sに供給するようにする。各値のデータは、複数ビットの信号線により伝送するようにしても良いし、それぞれシリアルデータとして1本づつの信号線により伝送するようにしても良い。
【0188】
BPM値は、リズムスレーブ部220において、楽曲をどれくらいのテンポで再生するかのマスターテンポとなる値である。このBPM値は、同期信号SYNCの発振周波数に相当する。
【0189】
キー値は、再生する音楽コンテンツのキーを決める値である。特定のキーを決めない場合は「null」値でも良い。楽曲再構成用データARIのキー値が「null」値の場合、リズムスレーブ部220では、自由なキーで再生が行なわれる。
【0190】
コード値は、再生する音楽コンテンツのコード進行を決める値である。リズムスレーブ部220は、与えられたコード値で再生したり、代理コードで再生したりする。音楽理論に則り、調性が崩れなければ良い。コード値は「null」値でも良い。楽曲再構成データARIのコード値が「null」値の場合、リズムスレーブ部220では、自由なコードで再生を行なう。
【0191】
なお、この第1の実施形態の場合に、RM部201Mは、再生中の楽曲の属性情報から抽出したBPM値と、キー値と、コード値とを、そのまま楽曲再構成用情報ARIとして出力する。
【0192】
図13は、この第1の実施形態におけるリズムマスター部210の詳細構成例を示す図であり、特にRM部201Mの機能の詳細をブロック化したものである。すなわち、RM部201Mは、機能的には、属性情報解析部211と、同期信号生成部212と、同期信号出力回路213と、楽曲再構成用データ設定部214と、楽曲再構成用データ出力回路215とを備える。
【0193】
RM部201Mの属性情報解析部211では、属性情報取得部203から、再構成をしようとする再生中の楽曲の属性情報を受け取って解析し、当該再生中の楽曲の属性情報のうちの前述した楽曲構成情報を抽出し、当該抽出された楽曲構成情報のうち、特に小節や拍の区切り情報の一つであるテンポ情報としてのBPM値を同期信号生成部212に供給する。
【0194】
同期信号生成部212は、PLL(Phase Locked Loop)回路216を備え、属性情報解析部211からのBPM値に相当する発振周波数で発振し、かつ、再生対象の音楽コンテンツの小節および拍に位相同期する小節同期信号PHSYおよびビート同期信号BTSYとからなら同期信号SYNCを、前記PLL回路216を用いて生成し、生成した同期信号SYNCを同期信号出力回路213を通じて、図12に示すように、RS部201Sに供給する。
【0195】
RM部201Mの属性情報解析部211では、また、属性情報取得部203から受け取った、前記再生中の楽曲の属性情報の楽曲構成情報のうち、BPM値と、キー値と、コード値とを抽出して、楽曲再構成用データ設定部214に供給する。
【0196】
楽曲再構成用データ設定部214では、受け取ったBPM値はBPM値設定部217に設定し、受け取ったキー値はキー値設定部218に設定し、受け取ったコード値はコード値設定部219に設定する。そして、BPM値設定部217、キー値設定部218およびコード値設定部219に設定されたBPM値、キー値およびコード値は、楽曲再構成用データ設定部214から楽曲再構成用データ出力回路215に渡され、この楽曲再構成用データ出力回路215から、図12に示すように、楽曲再構成用データARIとして、RS部201Sに供給される。
【0197】
RM部201Mは、同期信号SYNCおよび楽曲再構成用データARIを、音楽コンテンツの楽曲データの再生に同期して、属性情報取得部203からの属性情報に基づいてリアルタイムに生成し、リズムスレーブ部220のRS部に供給する。
【0198】
次に、この第1の実施形態におけるリズムスレーブ部220の詳細構成例を図14に示す。リズムスレーブ部220のRS部201Sは、機能的には、図14に示すような構成とされるもので、アレンジ制御部221と、テンポ補正量算出部222と、音程補正量算出部223とを備えている。また、リズムスレーブ220の映像音響アレンジ処理部206は、テンポ補正回路225と、音程補正回路226と、ミキサーおよびエフェクト回路227とからなる。
【0199】
アレンジ制御部221は、予め、音楽コンテンツ記憶部20の属性情報記憶部22から、属性情報取得部203を通じて、すべての音楽コンテンツの属性情報を取得し、その取得した属性情報から楽曲再構成用属性情報テーブル224を作成して、保持している。
【0200】
この楽曲再構成用属性情報テーブル224の一例を図15に示す。ここでは、再構成処理の一例としてリミックスを行なうので、楽曲再構成用属性情報テーブル224は、リミックス用の属性情報テーブルの構成となっている。すなわち、図15に示すように、この楽曲再構成用属性情報テーブル224は、それぞれの楽曲素材名について、コード値と、BPM値と、楽曲名と、感性値とからなる。感性値は、この例では、明るい感じのみとしているが、当然ながらこの限りではない。
【0201】
アレンジ制御部221は、リミックス処理を実行する際には、RM部201Mから受け取った楽曲再構成用データARIのBPM値およびコード値に等しい、あるいは当該BPM値およびコード値に近似するBPM値およびコード値を有する楽曲素材を、リミックスしようとする楽器ごとに、楽曲再構成用属性情報テーブル224から検索する。
【0202】
そして、アレンジ制御部221は、生体情報取得部30からの生体情報や周辺環境情報取得部40からの周辺環境情報、再生履歴情報保持部15からの再生履歴情報を参照して、リスナーが明るい感じのものを要求しているか、そうではないかを判別し、楽曲再構成用属性情報テーブルの感性値を参照して、実際にリミックスする楽曲素材を決定する。そして、アレンジ制御部221は、決定した当該楽曲素材の音響データを音楽コンテンツ記憶部20から読み出すようにする選択指示をデコード部202に送る。
【0203】
これを受けたデコード部202は、選択指示された楽曲素材の音声データを音楽コンテンツ記憶部20から読み出し、既に読み出しをしている再生対象の映像音響データに加えて、これらのリミックス用の楽曲素材の音響データを映像音響データ取得部204に渡す。
【0204】
したがって、映像音響データ取得部204は、再生対象の映像音響データに加えて、このリミックス用の1個または複数個の楽曲素材の音響データを、映像音響データデコード部205に供給するようになる。
【0205】
このため、映像音響データデコード部205および映像音響アレンジ部206では、それらの複数個の映像音響データを並行して処理するものである。すなわち、映像音響データデコード部205と、映像音響アレンジ部206のテンポ補正回路225および音声補正回路226とは、図14に示すように、並行して処理する映像音響データの数分(図14では2個)の処理回路部を、機能的に、それぞれ備える構成となっている。
【0206】
図16は、リズムスレーブ部220の映像音響データデコード部205および映像音響アレンジ部206における楽曲信号の流れを、リズムマスター部210からの同期信号SYNCに、同期させて示した図である。この場合、楽曲データ(音響データ)の再生信号のストリームの一つを楽曲トラックと呼ぶことにする。上述したように、リズムスレーブ部220においては、楽曲トラックは、複数個からなり、それぞれ楽曲トラックの楽曲データについて、テンポ補正や音程補正が必要に応じてなされた後、ミキサーおよびエフェクト回路227において最終的にミックスされる。
【0207】
図16の例では、映像音響データデコード部205から出力された3つの楽曲トラックが、リズムマスター部210からの同期信号SYNCに同期して再生され、最終段でミックス出力されている様子を示している。この例では、楽曲トラック1は再生対象の音楽コンテンツの楽曲データのトラックであり、楽曲トラック2および楽曲トラック3は、リミックスする楽曲素材のトラックである。
【0208】
この図16の楽曲トラック2や楽曲トラック3のように、リミックスされる楽曲素材は、全部の小節区間に対応してすべて存在している必要はなく、ミックスする小節区間や複数拍分の区間の間だけ、飛び飛びで再生されるようにしても良い。
【0209】
なお、再生対象の音楽コンテンツの楽曲データについて、リミックスをすることなく、特殊効果のみをかける場合には、再生対象の音楽コンテンツの楽曲データについてのストリームしかなく、ミキサーおよびエフェクト回路227においては、前述したリバーブやディストーションなどの特殊効果処理が再生対象の音楽コンテンツの楽曲データについて施される。
【0210】
テンポ補正量算出部222は、属性情報取得部203から取得したBPM値と、リズムマスター部210からの楽曲再構成用データARI中のBPM値(BPM値の目標値(目標BPM値)となる)との差分から現在再生中の楽曲にリミックスする楽曲素材についてのテンポ補正量を算出する。このように補正する必要があるのは、BPM値が目標BPM値に全く一致しているものだけではなく、異なっているものであっても、キー値やコード値など、リミックスする楽曲素材として適切なものと判断できるものもあるので、そのような楽曲素材を選択した際に、そのBPM値を目標BPM値に合わせるためである。
【0211】
そして、テンポ補正量算出部222は、算出したテンポ補正量をテンポ補正回路225の対応する楽曲素材用の処理回路部に供給する。
【0212】
テンポ補正回路226は、音響データについて、音程を一定に保ちながら再生テンポのみを変更するように補正する回路である。この補正のアルゴリズムは、相関関数を使用する方法等、種々の方法が存在するが、この実施形態はそのアルゴリズムに特徴を有するものではないので、ここではその詳細な説明は省略する。
【0213】
音程補正量算出部223は、属性情報取得部203から取得したキー値/コード値と、リズムマスター部210からの楽曲再構成用データARI中のキー値/コード値(キー値/コード値の目標値(目標キー値/目標コード値)となる)との差分から現在再生中の楽曲にリミックスする楽曲素材のそれぞれについての音程補正量を算出する。このように補正する必要があるのは、キー値およびコード値が目標キー値および目標コード値に全く一致しているものだけではなく、異なっているものであっても、その他の条件などからして、リミックスする楽曲素材として適切なものと判断できるものもあるので、そのような楽曲素材を選択した際に、そのキー値およびコード値を目標値に合わせるためである。
【0214】
そして、音程補正量算出部223は、算出した音程補正量を音程補正回路226の、対応する楽曲素材用の処理回路部にそれぞれ供給する。
【0215】
音程補正回路226は、音響データについて、テンポを一定に保ちながら音程のみを変更するように補正する回路である。この補正のアルゴリズムとしては、種々の方法が存在するが、この実施形態はそのアルゴリズムに特徴を有するものではないので、ここではその詳細な説明は省略する。
【0216】
ミキサーおよびエフェクト回路227は、アレンジ制御部221からのミキシング制御信号や特殊効果制御信号を受けて、音程補正回路226からの映像音響データに特殊効果をかけたり、音程補正回路226からの複数個の映像音響データをミキシングしたりする。どのような特殊効果をかけるかは、アレンジ制御部221からの特殊効果制御信号による。
【0217】
図17は、リズムスレーブ部220の映像音響データデコード部205および映像音響アレンジ部206における楽曲信号の流れを、リズムマスター部210からの同期信号SYNCに、同期させて示すと共に、リズムスレーブ部220の映像音響アレンジ部206における楽曲再構成の動作を、リズムマスター部210の楽曲再構成用データARIとの対応させながら示す図である。
【0218】
図17の例の場合には、楽曲再構成用データARIは、再生対象の音楽コンテンツの属性情報から抽出したものとなっており、当該再生対象の音楽コンテンツは、楽曲トラック1の再生信号ストリームとなっている。図17の例では、楽曲再構成用データARIとして、BPM値「120」、キー値「Cmajor」、コード進行「C」→「G」→「F」の目標値がリズムマスター部210からリズムスレーブ部220へ入力されている。
【0219】
そして、リズムスレーブ部220では、この楽曲トラック1の再生対象音楽コンテンツの再生信号ストリームに対して、アレンジ制御部221による選択指示に基づいて音楽コンテンツ記憶部20から取得された2個の楽曲素材が楽曲トラック2、楽曲トラック3として映像音響データデコード部205から出力され、前記楽曲再構成用データARIのそれぞれの値の目標値に合うように補正され、最終的にミックスされる。
【0220】
すなわち、楽曲トラック2,3の音響データは、映像音響アレンジ処理部206において、楽曲再構成用データARIの目標BPM値や目標コード値に合致するように補正された後、楽曲トラック1の楽曲データにミックスされて、リミックス処理がなされる。
【0221】
この場合、図17に示すように、小節区間Paにおいては、楽曲トラック3の楽曲素材3が、楽曲トラック1の音響データにミックスされるが、属性情報取得部203を通じて取得されたこの楽曲素材3の小節区間PaでのBPM値は「120」であって、楽曲再構成用データARIのBPM値と同一であるので、楽曲素材3の楽曲データについては、映像音響アレンジ処理部206ではテンポの補正はなされない。
【0222】
しかし、属性情報取得部203を通じて取得された楽曲素材3の小節区間Paでのコード値は「D」であって、楽曲再構成用データARIのコード値「C」とは異なるので、当該楽曲素材3の楽曲データについては、映像音響アレンジ処理部206の音程補正回路226において、前述したようにして音程補正がなされ、「D」→「C」へと目標値になるように変更される。
【0223】
また、次の小節区間Pbの前半においては、楽曲トラック2の楽曲素材2が楽曲トラック1の音響データにミックスされ、また、小節区間Pbの後半においては、楽曲トラック2の楽曲素材2と、楽曲トラック3の楽曲素材3とが楽曲トラック1の楽曲データにミックスされる。
【0224】
そして、属性情報取得部203により取得された楽曲素材2の小節区間Pbの前半でのBPM値は「100」、コード値は「E」であって、楽曲再構成用データARIの目標BPM値「120」および目標コード値「G」と異なる。このため、楽曲素材2の楽曲データは、小節区間Pbの前半において、映像音響アレンジ処理部206で、「100」から「120」と、目標BPM値に合致するようにテンポの補正がなされるとともに、「E」から「G」と、目標コード値に合致するように音程の補正がなされる。そして、小節区間Pbの前半では、それらの補正がなされた楽曲素材2の楽曲データが、楽曲トラック1の楽曲データに加算される。
【0225】
また、この小節区間Pbの後半では、楽曲素材2のBPM値は「100」、コード値は「E」であって、楽曲再構成用データARIの目標BPM値「120」および目標コード値「F」と異なるが、楽曲素材3のBPM値は「120」、コード値は「F」であって、楽曲再構成用データARIの目標BPM値「120」および目標コード値「F」と同一である。
【0226】
このため、小節区間Pbの後半では、楽曲トラック2の楽曲素材2については、映像音響アレンジ処理部206でテンポおよび音程の補正がなされて楽曲トラック1の楽曲データに加算され、また、楽曲トラック3の楽曲素材3については補正されずに、楽曲トラック1の楽曲データに加算される。
【0227】
以上のようにして、この第1の実施形態では、再生対象の音楽コンテンツに対して、当該音楽コンテンツに同期する同期信号SYNCと、当該音楽コンテンツの楽曲構成情報に基づく楽曲再構成用データARIとを生成して、この同期信号SYNCおよび楽曲再構成用データARIを基にして、他の楽曲素材をミックスすることにより、いわゆるリミックス処理を元の楽曲に対して違和感なく、実行することができる。
【0228】
また、同期信号SYNCにより、小節や拍の区切りを容易に検出することができるので、楽曲データについて特殊効果を施すことも容易に行なうことができる。
【0229】
これら上述のアレンジ制御は、リアルタイムかつ動的に実行することができる。例えば、生体情報センサ入力のように時々刻々変化する入力に対しても、容易に追従することができる。
【0230】
なお、この実施形態では、リミックスの特殊効果処理の一つとして、ループ再生処理ができるようにしている。このループ再生処理とは、例えば1または複数小節分あるいは1または複数拍分の少量の楽曲素材のデータを、繰り返し再生する処理機能を言う。このループ再生することにより、少量の楽曲素材だけであっても、無限に音楽を奏でることができる。このループ再生を行なう楽曲素材としては、ドラムのリズムパターンなどが例として挙げられる。
【0231】
例えば、図18(C)に示すような元楽曲素材には、ループ再生の開始点であるマークイン(MarkIn)点と、ループ再生の終了点であるマークアウト(MarkOut)点とが、予め指定されている。この元楽曲素材の情報は、複数個が、例えば音楽コンテンツ記憶部20の属性情報記憶部22に、別個に設けられた「DJループ情報格納部」に格納されている。属性情報記憶部22ではなく、別の記憶エリアに「DJループ情報格納部」を設けて、当該格納部に元楽曲素材情報を格納するようにしても勿論よい。
【0232】
複数の元楽曲素材から1つの元楽曲素材が、例えばユーザインターフェース11を通じて選択指定され、ループ再生が指定されると、属性情報記憶部22から、指定された元楽曲素材情報が読み出され、リズムスレーブ部220の映像音響データデコード部205に供給される。そして、この映像音響データデコード部205と、映像音響アレンジ部206とにおいて、テンポ補正および音程補正を必要に応じて行いながら、ループ再生を実行する。
【0233】
この場合、映像音響データデコード部205および映像音響アレンジ部206は、同期信号SYNCの小節同期信号PHSYまたはビート同期信号BTSY(図18(A)参照)に同期して、図18(B)に示すように、ループ再生を行なう楽曲トラックにおいて、元楽曲素材のマークイン点から再生を開始し、マークアウト点まで再生すると、当該マークアウト点からマークイン点にジャンプすることにより、ループ再生を実行する。この場合、マークアウト点からマークイン点へループジャンプするタイミングとマークアウト点への到達タイミングは一致しているものとする。
【0234】
この場合、ループ再生を行なう一つの楽曲トラックだけでなく、全ての楽曲トラックが同期信号SYNCに同期して再生動作しているので、違和感無く、DJループ再生を行なうことができる。
【0235】
次に、図19、図20のフローチャートを参照しながら、上述した再生処理動作について説明する。なお、この図19、図20の各処理ステップは、CPU1がROM3のプログラムにしたがって、RAM4をワークエリアとして用いて実行するものである。
【0236】
ユーザは、先ず、ユーザインターフェース11のディスプレイの音楽コンテンツの選択画面から、希望する音楽コンテンツ(楽曲)を選択して、映像音響データ選択判断制御部201に対して、1曲目の再生を指示する。2曲目以降は、実施形態の記録再生装置にて自動的に選択されて再生が続行される。
【0237】
ユーザインターフェース11を通じて1曲目の再生指示を受けた映像音響データ選択判断制御部201は、当該再生指示を受けた音楽コンテンツを認識すると共に、音楽コンテンツ記憶部20の属性情報記憶部22から、当該再生指示を受けた音楽コンテンツの属性情報およびその他の全部の、あるいは所定量の属性情報を読み出すようにデコード部202に指示を出す。そして、その指示に応じてデコード部202から属性情報取得部203を通じて送られてくる属性情報を読み込み、解析する(ステップS61)。
【0238】
ここで、映像音響データ選択判断制御部201は、後述する次の再生楽曲候補の選定や、聴取中の楽曲の再構成のために、再生指示された音楽コンテンツの属性情報と、他の音楽コンテンツの属性情報を予め取得し、解析して、後述する次の再生楽曲候補の選定や、聴取中の楽曲の再構成のための事前準備をするものである。
【0239】
次に、映像音響データ選択判断制御部201は、デコード部202に、再生指示された音楽コンテンツの映像音響データの読み出しを指示する。すると、デコード部202は、音楽コンテンツ記憶部20から再生指示された音楽コンテンツの映像音響データを読み出して、映像音響データ取得部204に渡す。映像音響データ取得部204で取得された映像音響データは、映像音響データデコード部205に渡されてデコードされ、映像音響アレンジ処理部206を通じて音響出力部53に供給されて、音響出力されると共に、映像出力部56に供給されて、映像出力され、再生が開始される(ステップS62)。
【0240】
こうして、音楽コンテンツの再生が開始されると、映像音響データ選択判断制御部201はリスナーの生体情報を、生体情報取得部30から取得すると共に、周辺環境情報取得部40から周辺環境情報を取得する(ステップS63)。
【0241】
そして、映像音響データ選択判断制御部201は、生体情報取得部30から取得したリスナーの生体情報から、リスナーは聴取中の楽曲に対して嗜好を示しているかどうか判別する(ステップS64)。
【0242】
映像音響データ選択判断制御部201は、例えば、体の動きなどの生体情報を、記録再生装置の生体情報センサ31および生体情報解析部32を通じて受けることにより、リスナーが積極的に音楽を聴きたい状態か、そうでない状態かを判断する。例えば、音楽に乗っている状態では自然と音楽に合わせて体が動く。
【0243】
すなわち、再生中の楽曲の楽曲構成情報(楽曲素材単位の区切りやテンポ等)と、体の動きのセンサ(加速度センサ等)の出力信号の相互相関関数を計算する等すれば、その相関係数によりリスナーが積極的に音楽を視聴したい状態かどうかをある程度判断することが可能である。この場合に、属性情報中の感性情報も考慮するとさらに良い。つまり、激しい楽曲であれば、リスナーの体の動きもそれに応じて激しく動き、優しい楽曲の場合では、リスナーの体の動きはゆっくりとしたものとなると予測できる。
【0244】
相関係数が高い程、リスナーが音楽を積極的に視聴したい、いわゆる「乗り」の状態と捉えることができる。リスナーが積極的に音楽を聴いている状態にある場合には、より「乗り」数値の高い楽曲の繰り返し再生をすることで、ユーザの嗜好に合わせた楽曲を再生提示できると考えられる。
【0245】
また、逆に、楽曲聴取中のリスナーの体の動きが少なく、脳波等も落ち着いた状態であれば、逆に、「乗り」数値の低い静かな曲を音量が小さい状態等で再生提示することにより、ユーザはより穏やかに音楽を楽しむことができると考えられる。
【0246】
なお、「乗り」だけでなく、再生中の音楽コンテンツの属性情報に含まれる感性情報、例えば「明るい/暗い」、「やさしい/激しい」、「悲しい/楽しい」等の感性的な数値を参照しながら、リスナー生体情報を解析することで、ユーザが嗜好を示しているかどうかを判断するようにする。つまり、例えば優しい楽曲や悲しい楽曲などは「乗り」数値は低いが、脳波や脈等が落ち着いた状態であれば、嗜好を示しているとされる場合もある。
【0247】
ステップS64で、リスナーは再生中の楽曲に対して嗜好を示してはいないと判別したときには、映像音響データ選択判断制御部201は、再生履歴情報保持部15あるいは予め取り込んだ属性情報の各音楽コンテンツに含まれる再生履歴情報を参照して、再生頻度の高い楽曲を検出する(ステップS65)。
【0248】
次に、映像音響データ選択判断制御部201は、再生頻度の高い楽曲の属性情報の楽曲構成情報を抽出して、リスナーが好んでいると考えられる曲調を判定する。この場合、再生頻度の高い楽曲が複数個あり、それらの曲調が一致している場合には、その曲調の楽曲構成情報をリスナーが好んでいると判定する。また、再生頻度の高い楽曲が複数あり、かつ、曲調も複数通りあるときには、例えば曲調が同様の高頻度再生楽曲をリスナーが好んでいる楽曲構成情報と判定する。
【0249】
そして、映像音響データ選択判断制御部201は、上記のリスナーが好んでいると判定した曲調の楽曲構成情報と似ている楽曲構成情報を備える他の楽曲、つまり、曲調が似ている他の楽曲を選出し、それらを次の楽曲再生候補とする(ステップS66)。これは、リスナーが現在再生中の楽曲に嗜好を示していないので、過去のリスナーの再生履歴から、リスナーが嗜好していると考えられる楽曲を、リスナーに呈示しようとするものである。
【0250】
そして、映像音響データ選択判断制御部201は、再生中の楽曲が最後まで再生されたかを監視し(ステップS67)、楽曲の最後まで再生されたと判別したときには、当該再生した楽曲(音楽コンテンツ)についての再生履歴を、再生履歴情報保持部15において更新すると共に、当該音楽コンテンツの属性情報の再生履歴情報も更新する(ステップS68)。
【0251】
そして、映像音響データ選択判断制御部201は、ステップS66で決定した再生楽曲候補の中から、次に再生する楽曲の音楽コンテンツを選択し、当該音楽コンテンツの映像音響データの読み出しを指示し、その楽曲の再生を開始するようにする(ステップS69)。そして、ステップS63に戻り、当該ステップS63以降の処理を繰り返す。
【0252】
ステップS67で、楽曲の最後まで至っていないと判別したときには、映像音響データ選択判断制御部201は、リスナーによりユーザインターフェース11の操作部に設けられている次ボタンが押下されたか否か判別する(ステップS70)。この次ボタンは、リスナーが現在聴いている楽曲ではなく、次の楽曲を聴きたいときに押下されるボタンである。
【0253】
ステップS70で、次ボタンが押下されたと判別したときには、映像音響データ選択判断制御部201は、ステップS69に進んで、ステップS66で決定した再生楽曲候補の中から、次に再生する楽曲の音楽コンテンツを選択し、当該音楽コンテンツの映像音響データの読み出しを指示し、その楽曲の再生を開始するようにする。そして、ステップS63に戻り、当該ステップS63以降の処理を繰り返す。
【0254】
また、ステップS70で次ボタンが押下されてはいないと判別したときには、映像音響データ選択判断制御部201は、ユーザインターフェース11の操作部の停止ボタンがユーザにより押下されたか否か判別し(ステップS71)、停止ボタンが押下されていないと判別したときには、ステップS67に戻り、再生楽曲の終了を監視し、停止ボタンが押下されたと判別したときには、この再生処理ルーチンを終了する。
【0255】
また、ステップS64で、リスナーが再生中の楽曲に嗜好を示していると判別したときには、映像音響データ選択判断制御部201は、リスナーの嗜好度は高いかどうか、例えば前述した「乗り」数値などを用いて判定する(図12のステップS81)。
【0256】
そして、リスナーの嗜好度がそれほぼ高くないと判別したときには、映像音響データ選択判断制御部201は、この実施形態では、周辺環境情報取得部40から取得した周辺環境情報を加味して、現在再生中の楽曲と曲調が似ている楽曲を次の再生楽曲候補とする(ステップS82)。すなわち、例えば、先ず、現在再生中の楽曲に付随する属性情報の楽曲構成情報と似ている楽曲構成情報を属性情報とする他の楽曲を選定する。そして、周辺環境情報取得部40から取得した現在地の情報、例えば山や海などの情報を取得し、それらの場所において聴取することがお薦めとなっている周辺環境情報を属性情報に含む楽曲を、その選定された楽曲の中から選択して、次の再生楽曲候補とする。
【0257】
なお、ステップS82においては、現在再生中の楽曲と曲調が似ている楽曲は探索せずに、周辺環境情報のみに基づいて、次の再生楽曲候補を決定するようにしても良い。また、当該周辺環境情報に合致する周辺環境情報を備える楽曲のみではなく、その楽曲の楽曲構成情報と似ている楽曲を求めて、それらを次の再生楽曲候補とするようにしてもよい。
【0258】
次に、ステップS81で、嗜好度が高いと判別した時には、映像音響データ選択判断制御部201は、現在再生中の楽曲と曲調が似ている楽曲を次の再生楽曲候補とする(ステップS83)。すなわち、現在再生中の楽曲に付随する属性情報の楽曲構成情報と似ている楽曲構成情報を属性情報とする他の楽曲を選定し、それらを次の再生楽曲候補とする。
【0259】
さらに、映像音響データ選択判断制御部201は、再生中の楽曲の属性情報から、楽曲素材単位の区切り情報と共に、テンポや、キーや、コード進行などの楽曲素材単位の楽曲構成情報を取得する(ステップS84)。そして、この楽曲素材単位の区切り情報や、楽曲素材単位の楽曲構成情報を用いて、音楽的に違和感の無いように、楽曲の音響データを再構成する(ステップS85)。なお、このステップS85では、映像データにも、エフェクトをかけたりしても良い。
【0260】
音響データの再構成は、例えば前述したリミックスや、エフェクトの他、テンポを速くしたり、遅くしたり、また、キーを上げたり、下げたり、コード進行を変えてみたりする等の処理を含むものである。
【0261】
例えば、リミックスの場合には、他の楽曲の楽曲構成情報の中から、当該再生中の楽曲の楽曲構成情報と似ているものを選定して、前記楽曲素材単位の区切りを考慮して、違和感の無い様に元の楽曲に混合するようにする。このリミックスの際に、どのような楽曲素材単位の曲データをミックスするかを、属性情報中の前記感性情報を参照するようにしても良い。
【0262】
また、記録再生装置に、予めドラムによるリズムの刻みや、パーカッションのパートを記憶して用意しておき、それらを、再生中の楽曲に楽曲素材単位の区切りに注意しながらリミックスするようにするようにしてもよい。
【0263】
また、映像音響データ選択判断制御部201は、リミックスする他の楽曲を選定する場合に、周辺環境情報を参照して、当該周辺環境に適合する楽曲を、その属性情報の周辺環境情報を参照することにより探索するようにすることもできる。
【0264】
また、再生中の楽曲の属性情報中に、お薦めのエフェクトパラメータが含まれている場合には、そのエフェクトのパラメータを用いて、楽曲素材単位の区切りに注意して、音楽的に違和感の無いように、エフェクト処理を行なうこともできる。
【0265】
なお、上述の例では、リスナーが再生中の楽曲に嗜好を示していないときには、ステップS65で再生履歴情報を取得し、ステップS66で当該再生履歴情報に基づいて、次の再生楽曲候補を定めるようにしたが、ステップS65で、周辺環境情報取得部40を通じて取得した周辺環境情報を解析して例えば山とか海とかの場所を算出し、ステップS66で、属性情報として、当該周辺環境情報に合致する周辺環境情報を備える楽曲を次の再生楽曲候補として定めるようにしてもよい。また、当該周辺環境情報に合致する周辺環境情報を備える楽曲のみではなく、その楽曲の楽曲構成情報と似ている楽曲を求めて、それらを次の再生楽曲候補とするようにしてもよい。
【0266】
さらには、映像音響データ選択判断制御部201は、ステップS66において、再生履歴情報と、周辺環境情報との両方を用いて、次の再生楽曲候補を決定するようにすることもできる。
【0267】
図21は、リズムマスター部210での同期信号および楽曲再構成用データの生成出力処理の一例のフローチャートである。
【0268】
先ず、映像音響データ選択判断制御RM部201Mは、属性情報取得部203を通じて音楽コンテンツ記憶部20の属性情報記憶部22から再生対象の音楽コンテンツの属性情報を取得し(ステップS91)、当該取得した属性情報中から、BPM値、キー値およびコード値を抽出する(ステップS92)。
【0269】
次に、抽出したBPM値に基づいて、小節同期信号PHSYおよびビート同期信号BTSYからなる同期信号SYNCを生成する(ステップS93)。また、抽出したBPM値、キー値およびコード値を、BPM値設定部、キー値設定部およびコード値設定部に設定する(ステップS94)。
【0270】
そして、ステップS93で生成した同期信号SYNCと、ステップS94で設定したBPM値、キー値およびコード値からなる楽曲再構成用データARIとを、リズムスレーブ部220に送出する(ステップS95)。
【0271】
そして、再生の終了であるか否か判別し(ステップS96)、再生の終了であればこの図21の処理ルーチンを終了する。また、再生の終了でなければ、再生中の楽曲が最後まで再生されて終了となったか否か判別し(ステップS97)、楽曲はまだ終了ではないと判別したときには、ステップS93に戻って、同期信号SYNCおよび楽曲再構成用データARIをリズムスレーブ部220に送出を続ける。
【0272】
また、ステップS97で、楽曲は終了したと判別したときには、選択されている次の楽曲の再生準備をし(ステップS98)、ステップS91に戻り、以上の処理を繰り返す。
【0273】
なお、この場合、前述したように、例えば、属性情報中に記述されている、楽曲素材単位としての例えば小節の区切りのタイムコード情報と、実際の映像音響データの小節の区切りのタイムコードとが正確に一致しているように構成されており、音楽コンテンツの映像音響データと属性情報とは、きっちりと対応しているようにされている。したがって、リズムマスター部210からリズムスレーブ部220に供給される同期信号SYNCおよび楽曲再構成用データARIは、リズムスレーブ部220に映像音響データ取得部204を通じて入力される映像音響データの再生信号ストリームと、全く同期しているものである。
【0274】
次に、図22は、リズムスレーブ部220での楽曲再構成処理の一例のフローチャートである。なお、ここでは、楽曲再構成処理は、リミックス処理のみを例として説明するが、特殊効果処理をすることもできることは前述した通りである。
【0275】
先ず、映像音響データ選択判断制御RS部201Sは、属性情報取得部203を通じて音楽コンテンツ記憶部20の属性情報記憶部22から、再生対象の楽曲だけでなく、複数個の音楽コンテンツの属性情報を取得し(ステップS101)、当該取得した属性情報に基づいて、再生対象の楽曲にリミックスする楽曲素材を検出する(ステップS102)。
【0276】
ここで、音楽コンテンツ記憶部20の属性情報記憶部22から、すべての音楽コンテンツの属性情報を読み出して取得するようにしてもよいが、音楽コンテンツ記憶部20に記憶されている音楽コンテンツの数が大量になると、再生対象の楽曲にリミックスする楽曲素材の検出の負荷が過大になってしまう。そこで、この例では、一度にすべての属性情報を音楽コンテンツ記憶部20の属性情報記憶部22から読み出すのではなく、複数回に分けて読み出して、各回において再生対象の楽曲にリミックスする楽曲素材の検出をするようにする。
【0277】
複数回に分けて、属性情報を音楽コンテンツ記憶部20の属性情報記憶部22から読み出すので、リミックスする楽曲素材の検出処理は、再生対象の楽曲の再生が開始された後にも行なわれることになるが、楽曲の再生開始と同時にリミックスすることはあまり無いことを考慮すると、再生対象の楽曲にリミックスする楽曲素材の検出処理としては、十分に間に合う。
【0278】
次に、映像音響データ選択判断制御RS部201Sからの選択指示にしたがってデコード部202および映像音響データ取得部204を通じて、再生対象の映像音響データを取得して再生を開始する(ステップS103)。この再生は、リズムマスター部210からの同期信号SYNCおよび楽曲再構成用データARIに同期してなされるのは前述した通りである。
【0279】
次に、映像音響データ選択判断制御RS部201Sは、再生中の楽曲にリミックス処理を施すか否かを判別し(ステップS104)、リミックス処理をしないと判別したときには、再生対象の楽曲データを映像音響データデコード部205および映像音響アレンジ部206を通じて音響出力部53および映像出力部56に送出する(ステップS105)。
【0280】
また、ステップS104で、リミックス処理をすると判別したときには、ステップS102で検出したリミックスする楽曲素材のテンポと音程を、前述したように、リズムマスター部210からの楽曲再構成用データARIに基づいて、必要に応じて補正しながら、再生対象の楽曲データにリミックスする(ステップS106)。そして、リミックス処理した楽曲データを出力する(ステップS107)。
【0281】
そして、再生の終了であるか否か判別し(ステップS108)、再生の終了であればこの図22の処理ルーチンを終了する。また、再生の終了でなければ、再生中の楽曲が最後まで再生されて終了となったか否か判別し(ステップS109)、楽曲はまだ終了ではないと判別したときには、ステップS104に戻って、このステップS104以降の処理を繰り返す。
【0282】
また、ステップS109で、楽曲は終了したと判別したときには、選択されている次の楽曲の再生準備をし(ステップS110)、ステップS101に戻り、以上の処理を繰り返す。
【0283】
[第2の実施形態]
上述の第1の実施形態では、リズムマスター部210は、再生対象の音楽コンテンツの属性情報から抽出したBPM値、キー値、コード値を基準と、再生対象の楽曲についての再構成処理として、リミックス処理をする場合を主として説明した。このため、再生対象の楽曲のテンポや音程を変更することは行なわなかったが、リスナーの気分や、楽曲を聴取している場所などの周辺環境などを考慮して、再生対象の楽曲についてもテンポや音程を変更補正することを、楽曲の再構成処理に含めることもできる。
【0284】
また、場合によっては、リスナーがテンポや音程の変更指示をする場合も考えられる。また、再生対象の楽曲を、記録再生装置が置かれている場所で演奏されているドラムやピアノなどに同期させて再生させたいという要求や、記録再生装置に外部から入力される楽曲に同期させて再生させたいとする要求もある。
【0285】
この第2の実施形態は、これらの要求を実現することができるようにした記録再生装置を提供するものである。
【0286】
図23は、この第2の実施形態の場合における記録再生装置のブロック図で、図1の第1の実施形態の場合における記録再生装置において、システムバス2に対して、ライン入力インターフェース17と、マイク入力インターフェース18とが追加接続されている構成とされており、ハードウエア的には、その他の構成は、第1の実施形態と全く同様である。
【0287】
そして、ライン入力インターフェース17には、外部入力端子8が接続されている。ライン入力インターフェース17は、この外部入力端子(ライン入力端子)8を通じて入力された映像音響データをシステムバス2に送出する。
【0288】
この第2の実施形態では、外部入力端子8を通じて入力された映像音響データは、ユーザインターフェース11を通じたユーザ指示操作に応じて、エンコード/デコード部12で記録エンコードされ、音楽コンテンツ記憶部20の映像音響データ記憶部21に格納される。
【0289】
また、外部入力端子8を通じて入力された映像音響データが曲調分析部13で分析され、その結果得られた楽曲構成情報がエンコード/デコード部12により記録エンコードされ、音楽コンテンツ記憶部20の属性情報記憶部22に格納される。この場合、音楽コンテンツ記憶部20に格納される属性情報と、対応する映像音響データとは、その識別情報により対応付けられるのは前述した通りである。
【0290】
そして、この第2の実施形態では、後述するように、この外部入力端子8を通じて入力された映像音響データのテンポに同期して、再生対象の楽曲データの再生が可能とされるように構成されている。すなわち、外部入力端子8を通じて入力された映像音響データが曲調分析部13で分析され、その分析結果の一つであるBPM値に基づいて、前述した同期信号SYNCが生成されるものである。
【0291】
マイク入力インターフェース18には、収音手段としてのマイクロホン9が接続されており、このマイクロホン9で収音されて得られる音声信号が、このマイク入力インターフェース18でデジタル信号に変換されて、システムバス2に送出される。
【0292】
そして、この第2の実施形態では、後述するように、マイクロホン9で収音されて、マイク入力インターフェース18を通じて入力された音響データのテンポに同期して、再生対象の楽曲データの再生が可能とされるように構成されている。
【0293】
例えば、記録再生装置の近傍で演奏されているドラム、ピアノ、楽曲がマイクロホン9で収音され、曲調分析部13で分析されて、BPM値が検出され、検出されたBPM値に基づいて、前述した同期信号SYNCが生成される。
【0294】
図24は、前述の第1の実施形態の図10の再生部に対応する第2の実施形態の再生部200を示すものである。映像音響データ選択判断制御部201に対して、ライン入力インターフェース17が接続されると共に、マイク入力インターフェース18が接続されている点が異なると共に、映像音響データ選択判断制御部201におけるソフトウエア処理が第1の実施形態の場合とは異なる。その他は、第1の実施形態と同様である。
【0295】
図25は、図24の再生部200を、楽曲の再構成処理の観点から見た機能ブロック図の構成を示すもので、実質上の構成内容は、図24と変わりはない。
【0296】
この図25に示すように、再生部200は、楽曲データの再構成の基準となる同期信号と楽曲再構成用情報とを生成して出力するリズムマスター部210と、このリズムマスター部210からの同期信号と楽曲再構成用情報とを受けて、楽曲データの再構成を実行するリズムスレーブ部220とからなる。
【0297】
映像音響データ選択判断制御部201は、第1の実施形態と同様に、リズムマスター部210に属するRM部201Mと、リズムスレーブ部220に属するRS部201Sとに分けられる。そして、この第2の実施形態では、属性情報取得部203だけでなく、生体情報取得部30と、周辺環境情報取得部40と、再生履歴情報保持部15とが、リズムマスター部210と、リズムスレーブ部220の両方に属するものとされる。
【0298】
すなわち、この第2の実施形態におけるリズムマスター部210は、RM部201Mと、属性情報取得部203と、生体情報取得部30と、周辺環境情報取得部40と、再生履歴情報保持部15とを備えて構成される。
【0299】
一方、この第2の実施形態におけるリズムスレーブ部220は、第1の実施形態と同様に、RS部201Sと、属性情報取得部203と、生体情報取得部30と、周辺環境情報取得部40と、再生履歴情報保持部15と、映像音響データ取得部204と、映像音響データデコード部205と、映像音響アレンジ処理部206とを備えて構成される。つまり、リズムスレーブ部は、第1の実施形態とほぼ同様の構成とされる。
【0300】
そして、リズムマスター部210のRM部201Mは、属性情報取得部203からの属性情報のみに基づいて楽曲の再構成の基準となる同期信号SYNCを生成するのではない。この第2の実施形態では、リズムマスター部210は、ユーザインターフェース11を通じたユーザ入力、ライン入力インターフェース17を通じて外部から入力される映像音響データ、マイク入力インターフェース18を通じて入力される外部収音音声データ、生体情報取得部30で取得されたリスナーの生体情報、周辺環境情報取得部40で取得された周辺環境情報、再生履歴情報保持部15から読み出される再生履歴情報に基づいて、楽曲の再構成の基準となる同期信号SYNCを生成するようにする。
【0301】
また、この第2の実施形態では、リズムマスター部210は、同期信号SYNCのみではなく、楽曲構成用データARIも、ユーザインターフェース11を通じたユーザ入力、ライン入力インターフェース17を通じて外部から入力される映像音響データ、マイク入力インターフェース18を通じて入力される外部収音音声データ、生体情報取得部30で取得されたリスナーの生体情報、周辺環境情報取得部40で取得された周辺環境情報、再生履歴情報保持部15から読み出される再生履歴情報に基づいて、生成することが可能とされている。
【0302】
図26は、この第2の実施形態におけるリズムマスター部210の詳細構成例を示す図であり、特にRM部201Mの機能の詳細をブロック化したものである。この第2の実施形態では、RM部201Mは、第1の実施形態の同期信号生成部212に代わって同期信号生成部230を備えると共に、第1の実施形態の属性情報解析部211に代わって、再生態様設定部240を備える。
【0303】
そして、再生態様設定部240には、属性情報取得部203だけではなく、生体情報取得部30、周辺環境情報取得部40、再生履歴情報保持部15、ライン入力インターフェース17、マイク入力インターフェース18およびユーザインターフェース11の出力が供給される。その他は、第1の実施形態のリズムマスター部210と同様に構成される。
【0304】
同期信号生成部230は、内部リズム同期発生部231と、外部リズム同期発生部232と、生体リズム同期発生部233と、これら3種のリズム同期発生部231,232,233からの出力同期信号のいずれかを選択する選択スイッチ回路234とを備えて構成される。
【0305】
内部リズム同期発生部231は、例えばPLL回路を備え、第1の実施形態と同様に、再生対象の音楽コンテンツの属性情報から抽出されたBPM値に基づいて同期信号SYNCを生成するか、あるいは、ユーザインターフェース11を通じてユーザにより設定されたBPM値に基づいて同期信号SYNCを生成する。
【0306】
外部リズム同期発生部232は、例えばPLL回路を備え、ライン入力インターフェース17を通じて入力された外部入力信号から抽出されたBPM値や、マイク入力インターフェース18を通じて入力された外部収音音声信号から抽出されたBPM値に基づいて、外部から入力される音楽リズムに同期するように同期信号SYNCを生成する。
【0307】
生体リズム同期発生部233は、例えばPLL回路を備え、生体情報取得部30から取得したユーザの脈波や歩行テンポや歩行速度、腕や手を振るテンポや速度などの生体情報から、当該生体情報に同期する同期信号SYNCを生成する。なお、PLL回路は、3個の同期発生部231,232,233で、1個のPLL回路を共通に用いることができる。
【0308】
再生態様設定部240は、この第2の実施形態では、ユーザインターフェース11を通じたユーザの同期選択入力により、同期信号SYNCの発生を、内部リズム同期、外部リズム同期、生体リズムの何れにするかを決定し、同期信号生成部230の選択スイッチ回路234の選択制御信号を生成する。
【0309】
[内部リズム同期]
(再生対象音楽コンテンツに同期)
内部リズム同期の場合には、再生対象の音楽コンテンツの属性情報に同期させるのか、ユーザインターフェース11を通じてユーザ設定されたBPM値に同期させるのかが、さらに選択される。同様に、外部リズム同期の場合には、ライン入力端子8を通じた外部入力信号またはマイクロホン9で収音された外部音声の何れに同期させるのかが、さらに選択される。
【0310】
そして、内部リズム同期の再生対象の音楽コンテンツの属性情報同期が選択されたときには、再生態様設定部240は、選択スイッチ回路234は、内部リズム同期発生部231の出力を選択する状態に切り換えると共に、属性情報取得部203を通じて再生対象の音楽コンテンツの属性情報を取得し、その属性情報からBPM値を抽出して同期信号生成部230の内部リズム同期発生部231に供給する。内部リズム同期発生部231は、これに供給されたBPM値に相当する発振周波数で発振し、かつ、再生対象の音楽コンテンツの音楽リズムに位相同期する同期信号SYNCを生成する。
【0311】
したがって、同期信号生成部230からは、再生対象の音楽コンテンツの属性情報中のBPM値に基づいて生成された同期信号SYNCが同期信号出力回路213を通じてリズムスレーブ部220に出力される。
【0312】
また、このとき、再生態様設定部240は、属性情報取得部203を通じて取得した再生対象の音楽コンテンツの属性情報から、キー値と、コード値とを抽出し、前記抽出したBPM値と共に、楽曲再構成用データ設定部214に供給する。楽曲再構成用データ設定部214は、それらBPM値、キー値、コード値をそれぞれの設定部217,218,219に設定する。
【0313】
したがって、再生対象の音楽コンテンツの属性情報中のBPM値、キー値、コード値を含む楽曲再構成用データARIが、同期信号SYNCに同期して、リズムスレーブ部220に出力される。この結果、リズムスレーブ220では、第1の実施形態と同様にして、再生対象の音楽コンテンツの属性情報に基づいて楽曲に対する再構成がなされる。
【0314】
(ユーザ入力に同期)
また、内部リズム同期のユーザ入力設定同期が選択されたときには、再生態様設定部240は、選択スイッチ回路234を、内部リズム同期発生部231の出力を選択する状態に切り換えると共に、ユーザインターフェース11を通じてBPM値の入力を受け付け、当該受け付けたBPM設定値を、同期信号生成部230の内部リズム同期発生部231に供給する。内部リズム同期発生部231は、これに供給されたBPM値に相当する発振周波数で発振する同期信号SYNCを生成する。
【0315】
したがって、同期信号生成部230からは、ユーザにより指定されたBPM値に基づいて生成された同期信号SYNCが同期信号出力回路213を通じてリズムスレーブ部220に出力される。これにより、同期信号生成部230からは、ユーザが設定したBPM値に基づいて生成された同期信号SYNCが同期信号出力回路213を通じてリズムスレーブ部220に供給される。
【0316】
また、このとき、再生態様設定部240は、ユーザインターフェース11を通じて、BPM値の他、キー値およびコード値(コード進行)の入力を受け付け、当該受け付けたBPM値、キー値、コード値を楽曲再構成用データ設定部214に供給する。この場合、キー値やコード値は、時系列的に変化する態様もユーザにより入力されることになる。楽曲再構成用データ設定部214は、それらBPM値、キー値、コード値をそれぞれの設定部217,218,219に設定する。
【0317】
したがって、ユーザの設定値に応じたBPM値、キー値、コード値を含む楽曲再構成用データARIが、同期信号SYNCに同期して、リズムスレーブ部220に出力される。この結果、リズムスレーブ部220から、ユーザが設定したテンポや曲調で楽曲の音響再生出力をすることができる。
【0318】
[外部リズム同期]
また、外部リズム同期が選択されたときには、再生態様設定部240は、選択スイッチ回路234を、外部リズム同期発生部232の出力を選択する状態に切り換えると共に、ユーザ選択にしたがって、ライン入力インターフェース17を通じて、あるいはマイク入力インターフェース18を通じて取り込まれた音響データを、曲調分析部13で分析し、その分析結果として得られるBPM値を外部リズム同期発生部232に供給する。外部リズム同期発生部232は、これに供給されたBPM値に相当する発振周波数で発振し、かつ、外部から入力される音楽リズムに位相同期する同期信号SYNCを生成する。
【0319】
これにより、同期信号生成部230からは、外部入力信号またはマイク入力信号から検出されたBPM値に基づいて生成された同期信号SYNCが同期信号出力回路213を通じてリズムスレーブ部220に出力される。
【0320】
再生態様設定部240は、また、属性情報取得部203を通じて取得した再生対象の音楽コンテンツの属性情報から、キー値と、コード値とを抽出し、前記抽出したBPM値と共に、楽曲再構成用データ設定部214に供給する。楽曲再構成用データ設定部214は、それらBPM値、キー値、コード値をそれぞれの設定部217,218,219に設定する。
【0321】
したがって、外部入力信号またはマイク入力信号から検出されたBPM値、キー値、コード値を含む楽曲再構成用データARIが、同期信号SYNCに同期して、リズムスレーブ部220に出力される。
【0322】
これにより、この外部リズム同期の状態においては、リズムスレーブ部220から、外部から取り込まれた楽曲に同期して設定されたテンポで楽曲の音響再生出力をすることができる。
【0323】
[生体リズム同期]
また、生体リズム同期が選択されたときには、再生態様設定部240は、選択スイッチ回路234を、生体リズム同期発生部233の出力を選択する状態に切り換えると共に、生体情報取得部30を通じて取得した生体情報からテンポやリズムに関する成分を抽出し、抽出した成分からBPM値に対応する情報を生成し、当該生成したBPM値を、同期信号生成部230の生体リズム同期発生部231に供給する。
【0324】
これにより、同期信号生成部230においては、ユーザの生体リズムに相当する発振周波数で発振し、かつ、生体リズムに位相同期された同期信号SYNCが生成され、当該生成された同期信号SYNCが同期信号出力回路213を通じてリズムスレーブ部220に供給される。したがって、リズムスレーブ部220から、ユーザの生体リズムに同期したテンポで楽曲の音響再生出力をすることができる。
【0325】
なお、この生体リズム同期が選択されたときにおいては、単純に、生体情報取得部30を通じて取得した生体情報のみに基づいて同期信号SYNCを生成するのではなく、周辺環境情報取得部40からの周辺環境情報をも参照して、同期信号SYNCを生成することもできる。
【0326】
例えば、周辺環境情報から、記録再生装置が存在する位置が「海」で、気温が高く、天候が雨ではないと判別したときには、生体情報に同期して、アップテンポとなるような同期信号SYNCを生成し、また、記録再生装置が存在する位置が「山」であるときには、生体情報に同期して、スローテンポとなるような同期信号SYNCを生成するようにすることができる。
【0327】
また、再生履歴情報保持部15の再生履歴情報として、各楽曲に対応して、当該楽曲を視聴中のリスナーの脈などの生体情報を記憶して保持しておき、生体情報取得部30から取得して生体情報に近似する生体情報となっている楽曲を、再生履歴情報保持部15から検索し、その楽曲の属性情報からBPM値を求めて、同期信号SYNCを生成するようにしてもよい。その場合には、同期信号SYNCは、生体情報取得部30から取得した生体情報に同期させてもよいし、また、同期させなくても良い。
【0328】
また、このとき、再生態様設定部240は、この実施形態では、生体情報取得部30からの生体情報および/または周辺環境情報取得部40からの周辺環境情報を検索子として、再生履歴情報保持部15に保持されている再生履歴情報を検索し、検索結果の楽曲の属性情報からBPM値、キー値、コード値を生成し、それらを楽曲再構成用データ設定部214に渡す。楽曲再構成用データ設定部214は、それらBPM値、キー値、コード値をそれぞれの設定部217,218,219に設定する。
【0329】
例えば、生体情報からリスナーは気分が高揚していることが判定された場合に、当該気分が高揚しているときにいつも聴いている楽曲を再生履歴から検出し、その楽曲のBPM値に基づいて同期信号SYNCを生成し、その楽曲のBPM値、キー値、コード進行を楽曲再構成用データARIとして生成して、リズムマスター部210からリズムスレーブ部220に供給することができる。これにより、リスナーは、気分が高揚しているときにいつも聴いている楽曲に近似するテンポや曲調で楽曲を再生することが可能になる。
【0330】
また、周辺環境情報から、海または山などの場所を特定することができたり、雨、晴れ、などの天候を特定することができた場合に、再生履歴情報に含まれるそれらの周辺環境情報を参照して、当該場所や環境条件において、よく聴いている楽曲を再生履歴から検出し、その楽曲のBPM値に基づいて同期信号SYNCを生成し、その楽曲のBPM値、キー値、コード進行を楽曲再構成用データARIとして生成して、リズムマスター部210からリズムスレーブ部220に供給することができる。これにより、リスナーは、同じような周辺環境条件において、にいつも聴いている楽曲に近似するテンポや曲調で楽曲を再生することが可能になる。
【0331】
したがって、生体情報および/または周辺環境情報、さらに再生履歴情報に基づいて選定された楽曲の属性情報中のBPM値、キー値、コード値を含む楽曲再構成用データARIが、同期信号SYNCに同期して、リズムスレーブ部220に出力される。この結果、リズムスレーブ220では、そのときのユーザの気分や、周辺環境に応じたテンポおよび曲調で、楽曲が再構成がなされて、音響再生される。
【0332】
なお、上述の説明では、生体情報取得部30からの生体情報および/または周辺環境情報取得部40からの周辺環境情報の検索子としたが、これら生体情報および/または周辺環境情報から生成した検索子、例えば明るい感じで、かつアップテンポな感じ、ムーディーな感じでかつスローテンポな感じ、などのような検索子を生体情報および/または周辺環境情報から生成して、それを検索子として用いて、再生履歴情報保持部15に保持されている再生履歴情報を検索するようにしてもよい。
【0333】
また、生体情報および/または周辺環境情報から、BPM値や、キー値、コード値およびコード進行を生成するようにすることもできる。例えば、生体情報および/または周辺環境情報の種々の条件に対する、BPM値や、キー値、コード値およびコード進行の種々のデータ値のテーブルを予め用意しておき、生体情報および/または周辺環境情報により、前記テーブルから、対応するBPM値や、キー値、コード値およびコード進行のデータを読み出すようにしてもよい。このテーブルは、リスナーの再生履歴から生成したり、リスナーが自分自身で生成しておくようにしても良い。
【0334】
なお、この第2の実施形態において、同期信号SYNCの発生の方法としては、上述の例に限定されるものではない。例えば、周辺環境情報取得部40で取得した周辺環境情報と、再生履歴情報保持部15に保持されている再生履歴とから定めた同期信号SYNCを発生するようにすることもできる。
【0335】
例えば、周辺環境情報取得部40から取得した周辺環境情報を検索子として、再生履歴情報保持部15の再生履歴を検索し、当該再生履歴情報保持部15に記憶されている再生履歴情報に含まれる楽曲の属性情報中の周辺環境情報として同じ、あるいは近似するものを検出し、当該周辺環境情報を検索子として検索した楽曲の属性情報に含まれるBPM値に基づいて、同期信号SYNCを生成するようにしてもよい。
【0336】
上述した第1の実施形態では、最初に再生する楽曲は、ユーザが選択するようにした。この第2の実施形態においても、最初の楽曲は、ユーザが選択するようにしても良いが、内部リズム同期のユーザ設定による同期の場合や、外部リズム同期、また、生体リズム同期では、リズムスレーブ220において、楽曲再構成用データARIに合致するあるいは近似する楽曲を、音楽コンテンツ記憶部20の属性情報記憶部22に記憶されている属性情報から検出して、再生をするようにすることもできる。
【0337】
また、再生中の楽曲に対する再構成処理は、この第2の実施形態においても、リズムマスター部210からの同期信号SYNCおよび楽曲再構成用データARIを用いて、第1の実施形態と同様にしてできるものである。
【0338】
[リズムマスター部210の動作説明]
この第2の実施形態におけるリズムマスター部210での処理動作のフローチャートを、図27〜図29を参照しながら説明する。
【0339】
先ず、再生態様設定部240は、この実施形態では、ユーザインターフェース11を通じて、ユーザにより選択指定された同期基準は何であるか判別する(ステップS201)。
【0340】
このステップS201で、内部リズム同期の場合であって、同期基準は、再生対象の音楽コンテンツであると判別すると、映像音響データ選択判断制御RM部201Mの再生態様設定部240は、属性情報取得部203を通じて音楽コンテンツ記憶部20の属性情報記憶部22から再生対象の音楽コンテンツの属性情報を取得し(ステップS202)、当該取得した属性情報中から、BPM値、キー値およびコード値を抽出する(ステップS203)。
【0341】
次に、抽出したBPM値に基づいて、小節同期信号PHSYおよびビート同期信号BTSYからなる同期信号SYNCを生成する(ステップS204)。また、抽出したBPM値、キー値およびコード値を、BPM値設定部、キー値設定部およびコード値設定部に設定する(ステップS205)。
【0342】
そして、ステップS204で生成した同期信号SYNCと、ステップS94で設定したBPM値、キー値およびコード値からなる楽曲再構成用データARIとを、リズムスレーブ部220に送出する(ステップS206)。
【0343】
そして、再生の終了であるか否か判別し(ステップS207)、再生の終了であればこの処理ルーチンを終了する。また、再生の終了でなければ、再生中の楽曲が最後まで再生されて終了となったか否か判別し(ステップS208)、楽曲はまだ終了ではないと判別したときには、例えばユーザによりユーザインターフェース11を通じて、同期基準の変更操作がされたか否か判別し(ステップS210)、同期基準の変更操作がされたと判別したときには、ステップS201に戻って、このステップS201以降の処理を繰り返す。
【0344】
また、ステップS210で同期基準の変更操作がなされていないと判別したときには、ステップS204に戻り、このステップS204以降の処理を繰り返す。
【0345】
また、ステップS208で、楽曲は終了したと判別したときには、選択されている次の楽曲の再生準備をし(ステップS209)、ステップS202に戻り、以上の処理を繰り返す。
【0346】
次に、ステップS201で、設定された同期基準は、内部リズム同期の場合であって、ユーザ設定入力であると判別すると、再生態様設定部240は、ユーザ入力により設定されたBPM値を取得し(図28のステップS221)、当該取得したBPM値に基づいて、小節同期信号PHSYおよびビート同期信号BTSYからなる同期信号SYNCを生成する(ステップS222)。また、ユーザ入力により設定されたBPM値、キー値およびコード値を取得し(ステップS223)、当該取得したBPM値、キー値およびコード値を、楽曲再構成用データ設定部214に送って、そのBPM値設定部217、キー値設定部218およびコード値設定部219に設定する(ステップS224)。
【0347】
そして、ステップS222で生成した同期信号SYNCと、ステップS223で設定したBPM値、キー値およびコード値からなる楽曲再構成用データARIとを、リズムスレーブ部220に送出する(ステップS225)。
【0348】
そして、再生の終了であるか否か判別し(ステップS226)、再生の終了であればこの処理ルーチンを終了する。また、再生の終了でなければ、再生中の楽曲が最後まで再生されて終了となったか否か判別し(ステップS227)、楽曲はまだ終了ではないと判別したときには、例えばユーザによりユーザインターフェース11を通じて、同期基準の変更操作がされたか否か判別し(ステップS229)、同期基準の変更操作がされたと判別したときには、ステップS201に戻って、このステップS201以降の処理を繰り返す。
【0349】
また、ステップS229で同期基準の変更操作がなされていないと判別したときには、ステップS225に戻り、このステップS225以降の処理を繰り返す。
【0350】
また、ステップS227で、楽曲は終了したと判別したときには、選択されている次の楽曲の再生準備をし(ステップS228)、ステップS225に戻り、このステップS225以降の処理を繰り返す。
【0351】
次に、ステップS201で、設定された同期基準は、外部リズム同期であると判別したときには、同期基準となる外部入力は、外部入力端子8からの入力信号か、マイクロホン9で収音された音声信号かを判別する(図29のステップS231)。
【0352】
このステップS231で、外部入力端子8からの入力信号を同期基準とすると判別したときには、再生態様判定部240は、外部入力端子8を通じて入力された音声信号を曲調分析部13に供給して、分析を行なわせる(ステップS232)。また、ステップS231で、マイクロホン9で収音した音声信号を同期基準とすると判別したときには、再生態様判定部240は、マイクロホン9で収音された音声信号を曲調分析部13に供給して、分析を行なわせる(ステップS233)。
【0353】
ステップS232およびステップS233の次には、何れもステップS234に進み、曲調分析部13での分析結果からBPM値を求め、求めたBPM値を同期信号生成部230に渡して、同期信号SYNCを生成する(ステップS234)。
【0354】
また、曲調分析部13での分析結果からBPM値、キー値、コード値を求め、当該求めたBPM値、キー値、コード値を楽曲再構成用データ生成部214に送って、そのBPM設定部217、キー値設定部218、コード値設定部219に設定する(ステップS235)。
【0355】
そして、ステップS234で生成した同期信号SYNCと、ステップS235で設定したBPM値、キー値およびコード値からなる楽曲再構成用データARIとを、リズムスレーブ部220に送出する(ステップS236)。
【0356】
そして、再生の終了であるか否か判別し(ステップS237)、再生の終了であればこの処理ルーチンを終了する。また、再生の終了でなければ、再生中の楽曲が最後まで再生されて終了となったか否か判別し(ステップS238)、楽曲はまだ終了ではないと判別したときには、例えばユーザによりユーザインターフェース11を通じて、同期基準の変更操作がされたか否か判別し(ステップS239)、同期基準の変更操作がされたと判別したときには、ステップS201に戻って、このステップS201以降の処理を繰り返す。
【0357】
また、ステップS239で同期基準の変更操作がなされていないと判別したときには、ステップS234に戻り、このステップS234以降の処理を繰り返す。
【0358】
また、ステップS238で、楽曲は終了したと判別したときには、選択されている次の楽曲の再生準備をし(ステップS240)、ステップS231に戻り、このステップS231以降の処理を繰り返す。
【0359】
次に、ステップS201で、設定された同期基準は、生体リズム同期の場合であると判別すると、再生態様設定部240は、生体情報取得部30を通じてリスナーの生体情報を取得し(ステップS251)、また、記録再生装置の周辺環境情報を取得する(ステップS252)。
【0360】
そして、取得した生体情報から、テンポ情報を抽出し、その抽出したテンポ情報を同期信号生成部230に供給し、当該テンポ情報から、同期信号SYNCを生成する(ステップS253)。そして、生体情報と、周辺環境情報と、再生履歴情報保持部15の再生履歴情報とから、前述したようにして、BPM値、キー値、コード値を決定する(ステップS254)。
【0361】
そして、決定したBPM値、キー値およびコード値を、楽曲再構成用データ設定部214に送って、そのBPM値設定部217、キー値設定部218およびコード値設定部219に設定する(ステップS255)。
【0362】
そして、ステップS253で生成した同期信号SYNCと、ステップS255で設定したBPM値、キー値およびコード値からなる楽曲再構成用データARIとを、リズムスレーブ部220に送出する(ステップS256)。
【0363】
そして、再生の終了であるか否か判別し(ステップS257)、再生の終了であればこの処理ルーチンを終了する。また、再生の終了でなければ、再生中の楽曲が最後まで再生されて終了となったか否か判別し(ステップS258)、楽曲はまだ終了ではないと判別したときには、例えばユーザによりユーザインターフェース11を通じて、同期基準の変更操作がされたか否か判別し(ステップS260)、同期基準の変更操作がされたと判別したときには、ステップS201に戻って、このステップS201以降の処理を繰り返す。
【0364】
また、ステップS260で同期基準の変更操作がなされていないと判別したときには、ステップS251に戻り、このステップS251以降の処理を繰り返す。
【0365】
また、ステップS258で、楽曲は終了したと判別したときには、選択されている次の楽曲の再生準備をし(ステップS259)、ステップS251に戻り、このステップS251以降の処理を繰り返す。
【0366】
以上のようにして、この第2の実施形態では、再生対象の楽曲についても、テンポや音程を変える再構成を行なうことができる。リスナーは、例えばユーザインターフェースを通じて、テンポや音程の変更指示を変えることにより、再生中の楽曲を、当該視聴時点において自分が好むように再構成して、音響再生出力することができる。
【0367】
また、再生対象の楽曲を、外部から入力された音声に同期して再生するように再構成することができる。また、リスナーの歩行に合わせたり、脈拍に合わせたりして、楽曲を再生することが可能になる。また、周辺環境に応じて、テンポを上げたり、下げたり、また、キーを上げたり、下げたりすることもできる。
【0368】
図31は、この第2の実施形態において、リズムマスター部210からの同期信号SYNCおよび楽曲再構成用データARIを受けたリズムスレーブ部220の映像音響データデコード部205および映像音響アレンジ部206における楽曲信号の流れを、リズムマスター部210からの同期信号SYNCに、同期させて示すと共に、リズムスレーブ部220の映像音響アレンジ部206における楽曲再構成の動作を、リズムマスター部210の楽曲再構成用データARIとの対応させながら示す図である。
【0369】
図31の例の場合には、楽曲再構成用データARIは、再生対象の音楽コンテンツの属性情報から抽出したものとなっているとは限らず、再生対象の音楽コンテンツのBPM値と異なっている。また、楽曲再構成用データARIに含まれるキー値やコード値も、再生対象の音楽コンテンツのそれらと異なっている。
【0370】
図31において、再生対象の音楽コンテンツは、楽曲トラック1の再生信号ストリームとなっている。図31の例では、楽曲再構成用データARIとして、BPM値「120」、キー値「Cmajor」、コード進行「C」→「G」→「F」の目標値がリズムマスター部210からリズムスレーブ部220へ入力されている。
【0371】
そして、リズムスレーブ部220では、楽曲トラック1の再生対象音楽コンテンツの再生信号ストリームに対して、アレンジ制御部221による選択指示に基づいて音楽コンテンツ記憶部20から取得された当該再生対象音楽コンテンツの楽曲データ自身のテンポや音程が補正されると共に、2個の楽曲素材が、楽曲トラック2、楽曲トラック3として映像音響データデコード部205から出力され、その2個の楽曲素材の楽曲データが、前記楽曲再構成用データARIのそれぞれの値の目標値に合うように補正され、楽曲トラック1の再生対象音楽コンテンツに対して最終的にミックスされる。
【0372】
すなわち、楽曲トラック1の音響データは、映像音響アレンジ処理部206において、楽曲再構成用データARIの目標BPM値や目標コード値に合致するように補正されると共に、楽曲トラック2,3の音響データが、映像音響アレンジ処理部206において、楽曲再構成用データARIの目標BPM値や目標コード値に合致するように補正された後、楽曲トラック1の楽曲データにミックスされて、リミックス処理がなされる。
【0373】
この場合、図31に示すように、楽曲トラック1の音響データは、属性情報取得部203を通じて取得されたこの楽曲素材1の小節区間Pa、PbでのBPM値は「140」であって、楽曲再構成用データARIのBPM値「120」と異なっているので、映像音響アレンジ処理部206でテンポの補正がなされて、当該小節区間PaおよびPbにおける楽曲トラック1の楽曲データは、そのBPM値が「140」から「120」になるように補正される。
【0374】
また、楽曲トラック1の音響データは、属性情報取得部203を通じて取得されたこの楽曲素材1の小節区間Paでのコード値は「D」であって、楽曲再構成用データARIのコード値「C」と異なっているので、映像音響アレンジ処理部206で音程補正がなされて、楽曲トラック1の楽曲データは、そのコード値が「D」から「C」になるように補正される。
【0375】
そして、この小節区間Paでは、楽曲トラック3の楽曲素材3が、楽曲トラック1の音響データにミックスされるが、属性情報取得部203を通じて取得されたこの楽曲素材3の小節区間PaでのBPM値は「120」であって、楽曲再構成用データARIのBPM値と同一であるので、楽曲素材3の楽曲データについては、映像音響アレンジ処理部206ではテンポの補正はなされない。
【0376】
しかし、属性情報取得部203を通じて取得された楽曲素材3の小節区間Paでのコード値は「D」であって、楽曲再構成用データARIのコード値「C」とは異なるので、当該楽曲素材3の楽曲データについては、映像音響アレンジ処理部206の音程補正回路226において、前述したようにして音程補正がなされ、「D」→「C」へと目標値になるように変更される。
【0377】
また、次の小節区間Pbの前半においては、楽曲トラック1の音響データは、属性情報取得部203を通じて取得されたこの楽曲素材1の小節区間Pbの前半でのコード値は「D」であって、楽曲再構成用データARIのコード値「G」と異なっているので、映像音響アレンジ処理部206で音程補正がなされて、楽曲トラック1の楽曲データは、そのコード値が「D」から「G」になるように補正される。
【0378】
そして、楽曲トラック1の音響データは、属性情報取得部203を通じて取得されたこの楽曲素材1の小節区間Pbの後半でのコード値は「D」であって、楽曲再構成用データARIのコード値「F」と異なっているので、映像音響アレンジ処理部206で音程補正がなされて、楽曲トラック1の楽曲データは、そのコード値が「D」から「F」になるように補正される。
【0379】
そして、小節区間Pbの前半においては、楽曲トラック2の楽曲素材2が楽曲トラック1の音響データにミックスされ、また、小節区間Pbの後半においては、楽曲トラック2の楽曲素材2と、楽曲トラック3の楽曲素材3とが楽曲トラック1の楽曲データにミックスされる。
【0380】
そして、この小節区間Pbの前半においては、属性情報取得部203により取得された楽曲素材2の小節区間Pbの前半でのBPM値は「100」、コード値は「E」であって、楽曲再構成用データARIの目標BPM値「120」および目標コード値「G」と異なる。このため、楽曲素材2の楽曲データは、小節区間Pbの前半において、映像音響アレンジ処理部206で、「100」から「120」と、目標BPM値に合致するようにテンポの補正がなされるとともに、「E」から「G」と、目標コード値に合致するように音程の補正がなされる。そして、小節区間Pbの前半では、それらの補正がなされた楽曲素材2の楽曲データが、楽曲トラック1の楽曲データに加算される。
【0381】
また、この小節区間Pbの後半では、楽曲素材2のBPM値は「100」、コード値は「E」であって、楽曲再構成用データARIの目標BPM値「120」および目標コード値「F」と異なるが、楽曲素材3のBPM値は「120」、コード値は「F」であって、楽曲再構成用データARIの目標BPM値「120」および目標コード値「F」と同一である。
【0382】
このため、小節区間Pbの後半では、楽曲トラック2の楽曲素材2については、映像音響アレンジ処理部206でテンポおよび音程の補正がなされて楽曲トラック1の楽曲データに加算され、また、楽曲トラック3の楽曲素材3については補正されずに、楽曲トラック1の楽曲データに加算される。
【0383】
以上のようにして、この第2の実施形態においては、リズムマスター部からの同期信号SYNCと、楽曲再構成用データARIとを基にして、再生対象の音楽コンテンツに対して、例えば、リスナーの気分に応じた再構成を施すことができると共に、他の楽曲素材をミックスすることにより、いわゆるリミックス処理を元の楽曲に対して違和感なく、実行することができる。
【0384】
また、この第2の実施形態においても、同期信号SYNCにより、小節や拍の区切りを容易に検出することができるので、楽曲データについて特殊効果を施すことも容易に行なうことができる。同様にして、この第2の実施形態においても、リミックスの特殊効果処理の一つとして、ループ再生処理ができる。
【0385】
そして、この第2の実施形態では、音響再生された楽曲を聴取したユーザの生体情報や、周辺環境情報あるいはユーザの再生履歴情報に基づいて、同期信号を変更することもできるようにされているので、ユーザの好みや、環境変化に応じて、変化のある音響再生をすることが可能となる。
【0386】
[その他の実施形態および変形例]
上述の実施形態の説明では、音楽コンテンツ記憶部は、ハードディスク装置で構成し、音楽コンテンツの映像音響データと、属性情報とが、音楽コンテンツ識別情報(音楽コンテンツID)を介して対応付けられて記録されるようにしたが、前述もしたように、音楽コンテンツ記憶部は、リムーバル記録メディア(着脱可能メディア)であるDVDなどの光ディスクで構成することもできる。
【0387】
また、上述の説明では、音楽コンテンツ記憶部においては、音楽コンテンツには、属性情報が必ず付随するように説明したが、属性情報は、必要に応じて、例えばインターネットから、音楽コンテンツIDを検索子として取得して使用するようにすることもできる。その場合には、インターネットに接続されるサーバ装置が属性情報記憶部を構成することになる。
【0388】
つまり、音楽コンテンツの映像音響データと、属性情報とは、1つの記憶部に格納されている必要はなく、音楽コンテンツIDなどの両者を対応付ける情報を用いて対応することが可能な態様であれば、別々の記憶部に格納されていてもよい。
【0389】
また、上述の実施形態は、記録再生装置の場合であるが、この発明は、記録機能の無い再生装置であってもよいことは言うまでもない。
【0390】
また、図19および図20の再生処理の流れは、一例であって、どのように再生を行なうかは、これに限られるものではない。
【0391】
例えば、嗜好度が高いときにのみ、再生中の楽曲について、テンポやキーを変更したり、リミックスしたり、エフェクトをかけたりして再構成処理を行なうようにしたが、嗜好度に関係なく、再生中の楽曲について再構成処理を行なうようにしてもよい。
【0392】
また、再生履歴保持部17から取得した再生履歴情報と、再生対象の音楽コンテンツについての属性情報の楽曲構成情報とに基づいて、音響再生出力する再生対象の音楽コンテンツのデータを再構成するようにしてもよい。この場合、過去の再生履歴により例えば視聴頻度が高く好まれている楽曲を検出し、例えば、その楽曲の属性情報の楽曲構成情報と、再生中の音楽コンテンツの属性情報の楽曲構成情報とを用いて、違和感の無いように、高頻度再生履歴の楽曲データを楽曲素材単位で、再生中の音楽コンテンツのデータに加えたりして、リスナーに好まれる曲調に再生中楽曲を再構成することが可能になる。
【0393】
また、周辺環境情報取得手段から取得した周辺環境情報と、再生対象の音楽コンテンツについての属性情報とに基づいて、音響再生出力する再生対象の音楽コンテンツのデータを再構成するようにしてもよい。例えば、海、山、朝、昼、夜などの周辺環境情報を取得し、その周辺環境情報に適合する他の楽曲を、属性情報としての周辺環境情報を検索子として検索し、検索結果の他の楽曲のデータを、再生中の音楽コンテンツの属性情報の楽曲構成情報の区切り情報に合わせて、違和感の無いようにミックスしたりすることにより、音楽コンテンツのデータを再構成することができるので、周辺環境に応じた曲調に再生中楽曲を再構成することが可能になる。
【0394】
また、ユーザのユーザインターフェースを通じた再構成要求に応じて、音楽コンテンツに付随する属性情報の楽曲構成情報を用いて上述のような再構成処理をするようにしてもよい。その場合に、ユーザが、リミックス/エフェクト/テンポ変更/キー変更/コード変更のいずれを行なうかを選択することができるようにしても良い。
【0395】
また、上述の実施形態では、音楽コンテンツとしては、映像データが付随したものを取り扱うようにしたが、映像データは必須では無いことは言うまでもない。
【0396】
また、上述の第1の実施形態では、楽曲の再生を開始する際、最初の楽曲は、ユーザが選択指定するようにしたが、例えば、リスナーの生体情報や、周辺環境情報あるいは再生履歴情報から最初の楽曲を装置が自動的に選択するようにしてもよい。
【0397】
例えば、リスナーの生体情報から、リスナーが興奮状態あるいは沈静状態であるかを判別し、それに合致するあるいは逆の曲調の楽曲を最初の曲として選択するようにしても良い。また、現在位置が山か、海かを周辺環境情報から判別し、属性情報に含まれる周辺環境情報を参照して、当該場所に合致する楽曲を選択して、最初の楽曲としてもよい。また、再生履歴から良く聴いている楽曲を最初の楽曲として選択するようにしても良い。
【図面の簡単な説明】
【0398】
【図1】この発明による音楽コンテンツの再生装置の第1の実施形態が適用された記録再生装置のブロック図である。
【図2】実施形態の記録再生装置で用いられる属性情報の一部の情報を説明するための図である。
【図3】図1の記録再生装置における処理の一例のフローチャートである。
【図4】図1の記録再生装置の動作を説明するために用いるフローチャートである。
【図5】図1の音楽コンテンツ記憶部の例を説明するための図である。
【図6】図1の音楽コンテンツ記憶部の例を説明するための図である。
【図7】図1の記録再生装置のうちの記録処理動作部を説明するための機能ブロック図である。
【図8】図1の記録再生装置における記録処理動作を説明するためのフローチャートの一部である。
【図9】図1の記録再生装置における記録処理動作を説明するためのフローチャートの一部である。
【図10】図1の記録再生装置のうちの再生処理動作部を説明するための機能ブロック図である。
【図11】図1の記録再生装置の要部の機能ブロック図である。
【図12】図11の機能ブロック図の説明のための図である。
【図13】図11の機能ブロック図の一部の、さらに詳細な機能ブロック図である。
【図14】図11の機能ブロック図の一部の、さらに詳細な機能ブロック図である。
【図15】図11の機能ブロック図の一部の説明のための図である。
【図16】図11の機能ブロック図の説明のためのタイミング図である。
【図17】図11の機能ブロック図の説明のためのタイミング図である。
【図18】図11の機能ブロック図の説明のための図である。
【図19】図1の記録再生装置における再生処理動作を説明するためのフローチャートの一部である。
【図20】図1の記録再生装置における再生処理動作を説明するためのフローチャートの一部である。
【図21】図11の一部を構成するリズムマスター部の処理動作のフローチャートである。
【図22】図11の一部を構成するリズムスレーブ部の処理動作のフローチャートである。
【図23】この発明による音楽コンテンツの再生装置の第2の実施形態が適用された記録再生装置のブロック図である。
【図24】図23の第2の実施形態の記録再生装置のうちの再生処理動作部を説明するための機能ブロック図である。
【図25】図23の第2の実施形態の記録再生装置の要部の機能ブロック図である。
【図26】図23の機能ブロック図の一部の、さらに詳細な機能ブロック図である。
【図27】図23の一部を構成するリズムマスター部の処理動作のフローチャートの一部である。
【図28】図23の一部を構成するリズムマスター部の処理動作のフローチャートの一部である。
【図29】図23の一部を構成するリズムマスター部の処理動作のフローチャートの一部である。
【図30】図23の一部を構成するリズムマスター部の処理動作のフローチャートの一部である。
【図31】図23の機能ブロック図の説明のためのタイミング図である。
【符号の説明】
【0399】
10…CPU、20…音楽コンテンツ記憶部、30…生体情報取得部、40…周辺環境情報取得部、50…映像・音響出力部、210…リズムマスター部、220…リズムスレーブ部

【特許請求の範囲】
【請求項1】
楽曲の小節に対応する周期の信号と楽曲の拍に対応する周期の信号とを含む同期信号を発生すると共に、楽曲再構成用情報を前記同期信号に同期して発生するリズムマスター部と、
入力される音楽コンテンツの楽曲データを、前記リズムマスター部からの前記同期信号と、前記楽曲再構成用情報とに応じて再構成して、出力楽曲データを生成して出力するリズムスレーブ部とからなる
ことを特徴とする楽曲データ再構成装置。
【請求項2】
楽曲の小節に対応する周期の信号と楽曲の拍に対応する周期の信号とを含む同期信号を発生すると共に、楽曲再構成用情報を前記同期信号に同期して発生するリズムマスター部と、
前記リズムマスター部からの前記同期信号と前記楽曲再構成用情報とに応じて、複数の音楽コンテンツの楽曲データを加算して出力楽曲データを生成して出力するリズムスレーブ部とからなる
ことを特徴とする楽曲データ再構成装置。
【請求項3】
請求項1または請求項2に記載の楽曲データ再構成装置において、
前記楽曲再構成用情報は、テンポを示すための情報を含む
ことを特徴とする楽曲データ再構成装置。
【請求項4】
請求項1または請求項2に記載の楽曲データ再構成装置において、
前記楽曲再構成用情報は、テンポを示すための情報と、キーを示す情報とを含む
ことを特徴とする楽曲データ再構成装置。
【請求項5】
請求項1または請求項2に記載の楽曲データ再構成装置において、
前記楽曲再構成用情報は、テンポを示すための情報と、コードまたはコード進行を示す情報とを含む
ことを特徴とする楽曲データ再構成装置。
【請求項6】
請求項1または請求項2に記載の楽曲データ再構成装置において、
前記楽曲再構成用情報は、テンポを示すための情報と、キーを示す情報と、コードまたはコード進行を示す情報とを含む
ことを特徴とする楽曲データ再構成装置。
【請求項7】
請求項1または請求項2に記載の楽曲データ再構成装置において、
前記同期信号は、収音手段により収音した音声信号を解析することにより得る
ことを特徴とする楽曲データ再構成装置。
【請求項8】
請求項1または請求項2に記載の楽曲データ再構成装置において、
前記同期信号は、外部入力端子を通じて入力された音声信号を解析することにより得る
ことを特徴とする楽曲データ再構成装置。
【請求項9】
請求項1または請求項2に記載の楽曲データ再構成装置において、
ユーザ操作入力を受け付けるユーザ操作入力受付手段を備え、
前記ユーザ操作入力受付手段で受け付けた前記ユーザ操作入力に基づいて、前記リズムマスター部は、前記同期信号および前記楽曲再構成用情報を生成する
ことを特徴とする楽曲データ再構成装置。
【請求項10】
請求項1または請求項2に記載の楽曲データ再構成装置において、
前記リズムスレーブ部から出力された前記出力楽曲データを音響再生する手段と、
前記音響再生出力を聴取するリスナーの生体情報を取得する手段と、
前記取得したリスナーの生体情報に基づいて、前記リズムマスター部は、前記同期信号および前記楽曲再構成用情報を生成する
ことを特徴とする楽曲データ再構成装置。
【請求項11】
請求項1または請求項2に記載の楽曲データ再構成装置において、
周辺環境情報を取得する周辺環境情報取得手段を備え、
前記周辺環境情報取得手段で取得した周辺環境情報に基づいて、前記リズムマスター部は、前記同期信号および前記楽曲再構成用情報を生成する
ことを特徴とする楽曲データ再構成装置。
【請求項12】
請求項1に記載の楽曲データ再構成装置において、
前記リズムスレーブ部に前記楽曲データが入力される前記音楽コンテンツと対応付けられて、少なくとも前記音楽コンテンツの楽曲素材単位の楽曲構成情報を含む属性情報を取得する属性情報取得手段を備え、
前記リズムマスター部は、前記同期信号を、前記属性情報取得手段により取得された前記属性情報に含まれる前記リズムを示す情報に基づいて発生させるようにする
ことを特徴とする楽曲データ再構成装置。
【請求項13】
請求項2に記載の楽曲データ再構成装置において、
複数個の音楽コンテンツのデータが格納されている音楽コンテンツデータ記憶部から、再生対象の音楽コンテンツのデータを取得する第1の取得手段と、
前記音楽コンテンツと対応付けられて、少なくとも前記音楽コンテンツの楽曲素材単位の楽曲構成情報を含む属性情報を記憶する属性情報記憶部から前記属性情報を取得する第2の取得手段と、
を備え、
前記リズムスレーブ部は、第2の取得手段により取得した特定の音楽コンテンツの前記属性情報を解析して、前記リズムマスター部からの前記楽曲再構成用情報に近似する楽曲再構成用情報を有する複数の音楽コンテンツの楽曲データを、前記第1の取得手段を通じて取得し、前記同期信号に基づいて、それらの楽曲データを加算して出力楽曲データを生成して出力する
ことを特徴とする楽曲データ再構成装置。
【請求項14】
請求項13に記載の楽曲データ再構成装置において、
前記特定の音楽コンテンツは、ユーザにより選択された音楽コンテンツである
ことを特徴とする楽曲データ再構成装置。
【請求項15】
請求項13に記載の楽曲データ再構成装置において、
前記特定の音楽コンテンツは、再生楽曲候補として装置により選択された音楽コンテンツである
ことを特徴とする楽曲データ再構成装置。
【請求項16】
請求項1または請求項2に記載の楽曲データ再構成装置において、
前記リズムマスター部は、
設定された発振周波数で発振する発振回路に基づいて前記同期信号を得る第1の同期信号発生部と、
収音手段により収音した音声信号または外部入力端子を通じて入力された音声信号を解析することにより前記同期信号を得る第2の同期信号発生部と、
音響再生出力を聴取するリスナーの生体情報を取得し、前記取得したリスナーの生体情報に基づいて前記同期信号を得る第3の同期信号発生部と、
前記第1の同期信号発生部、前記第2の同期信号発生部、第3の同期信号発生部のうちのいずれかからの同期信号を選択して出力する選択手段と、
を備えることを特徴とする楽曲データ再構成装置。
【請求項17】
請求項16に記載の楽曲データ再構成装置において、
前記選択手段は、ユーザの選択操作入力に基づいて前記同期信号を選択する
ことを特徴とする楽曲データ再構成装置。
【請求項18】
請求項16に記載の楽曲データ再構成装置において、
前記リズムスレーブ部から出力された前記出力楽曲データを音響再生する手段と、
前記選択手段は、前記音響再生出力を聴取するリスナーの生体情報を取得する手段と、
前記取得したリスナーの生体情報に基づいて、前記選択手段の選択信号を生成することを特徴とする楽曲データ再構成装置。
【請求項19】
楽曲の小節に対応する周期の信号と楽曲の拍に対応する周期の信号とを含む同期信号を発生すると共に、楽曲再構成用情報を前記同期信号に同期して発生する第1のステップと、
入力される音楽コンテンツの楽曲データを、前記第1のステップで発生した前記同期信号と、前記楽曲再構成用情報とに応じて補正して、出力楽曲データを生成して出力する第2のステップとからなる
ことを特徴とする楽曲データ再構成方法。
【請求項20】
楽曲の小節に対応する周期の信号と楽曲の拍に対応する周期の信号とを含む同期信号を発生すると共に、楽曲再構成用情報を前記同期信号に同期して発生する第1のステップと、
前記第1のステップで発生する前記同期信号と前記楽曲再構成用情報とに応じて、複数の音楽コンテンツの楽曲データを加算して出力楽曲データを生成して出力する第2のステップとからなる
ことを特徴とする楽曲データ再構成方法。
【請求項21】
複数個の音楽コンテンツのデータが格納されている音楽コンテンツデータ記憶部と、
前記音楽コンテンツデータ記憶部から、再生対象の音楽コンテンツのデータを取得する第1の取得手段と、
楽曲の小節に対応する周期の信号と楽曲の拍に対応する周期の信号とを含む同期信号を発生すると共に、楽曲再構成用情報を前記同期信号に同期して発生するリズムマスター手段と、
前記第1の取得手段により取得した前記再生対象の音楽コンテンツデータを、前記リズムマスター部からの前記同期信号と前記楽曲再構成用情報とに応じて再構成して、出力楽曲データを生成して音響再生出力するリズムスレーブ手段と、
を備えることを特徴とする音楽コンテンツ再生装置。
【請求項22】
請求項21に記載の音楽コンテンツ再生装置において、
周囲の音声を収音する収音手段と、
前記収音手段で収音した音声信号を解析する解析手段と、
を備え、前記リズムマスター手段は、
前記解析手段の解析結果から、前記収音手段で収音した音声の曲調に応じた前記同期信号および前記楽曲再構成用情報を発生させる
ことを特徴とする音楽コンテンツ再生装置。
【請求項23】
請求項21に記載の音楽コンテンツ再生装置において、
他の装置から音楽コンテンツの楽曲データを入力するための外部入力端子と、
前記外部入力端子を通じて入力された前記楽曲データによる前記音楽コンテンツの曲調を解析する曲調解析手段と、
前記曲調解析手段の解析結果から、前記外部入力端子を通じて入力された前記音楽コンテンツの曲調に応じた前記同期信号および前記楽曲再構成用情報を発生させる
ことを特徴とする音楽コンテンツ再生装置。
【請求項24】
請求項21に記載の音楽コンテンツ再生装置において、
前記音響再生出力を聴取するリスナーの生体情報を取得する手段と、
前記リズムマスター手段は、前記取得したリスナーの生体情報に基づいて、前記同期信号および前記楽曲再構成用情報を生成する
ことを特徴とする音楽コンテンツ再生装置。
【請求項25】
請求項21に記載の音楽コンテンツ再生装置において、
周辺環境情報を取得する周辺環境情報取得手段を備え、
前記リズムマスター手段は、前記周辺環境情報取得手段で取得した周辺環境情報に基づいて、前記同期信号および前記楽曲再構成用情報を生成する
ことを特徴とする音楽コンテンツ再生装置。
【請求項26】
請求項21に記載の音楽コンテンツ再生装置において、
ユーザ操作入力を受け付けるユーザ操作入力受付手段を備え、
前記ユーザ操作入力受付手段で受け付けた前記ユーザ操作入力に基づいて、前記リズムマスター手段は、前記同期信号および前記楽曲再構成用情報を生成する
ことを特徴とする音楽コンテンツ再生装置。
【請求項27】
複数個の音楽コンテンツのデータが格納されている音楽コンテンツデータ記憶部から、再生対象の音楽コンテンツのデータを取得する第1の取得手段と、
前記音楽コンテンツと対応付けられて、少なくとも前記音楽コンテンツの楽曲素材単位の楽曲構成情報を含む属性情報を記憶する属性情報記憶部から前記属性情報を取得する第2の取得手段と、
前記第2の取得手段で取得した前記再生対象の音楽コンテンツの前記属性情報に基づいて、楽曲の小節に対応する周期の信号と楽曲の拍に対応する周期の信号とを含む同期信号を発生すると共に、楽曲再構成用情報を前記同期信号に同期して発生するリズムマスター手段と、
前記第1の取得手段により取得した前記再生対象の音楽コンテンツデータを、前記リズムマスター部からの前記同期信号と前記楽曲再構成用情報とに応じて再構成して、出力楽曲データを生成して音響再生出力するリズムスレーブ手段と、
を備えることを特徴とする音楽コンテンツ再生装置。
【請求項28】
請求項27に記載の音楽コンテンツ再生装置において、
前記音響再生出力を聴取するリスナーの生体情報を取得する手段と、
前記リズムマスター手段は、前記属性情報に加えて前記取得したリスナーの生体情報に基づいて、前記同期信号および前記楽曲再構成用情報を生成する
ことを特徴とする音楽コンテンツ再生装置。
【請求項29】
請求項27に記載の音楽コンテンツ再生装置において、
周辺環境情報を取得する周辺環境情報取得手段を備え、
前記リズムマスター手段は、前記属性情報に加えて前記周辺環境情報取得手段で取得した周辺環境情報に基づいて、前記同期信号および前記楽曲再構成用情報を生成する
ことを特徴とする音楽コンテンツ再生装置。
【請求項30】
請求項27に記載の音楽コンテンツ再生装置において、
ユーザ操作入力を受け付けるユーザ操作入力受付手段を備え、
前記リズムマスター手段は、前記属性情報に加えて前記ユーザ操作入力受付手段で受け付けた前記ユーザ操作入力に基づいて、前記同期信号および前記楽曲再構成用情報を生成する
ことを特徴とする音楽コンテンツ再生装置。
【請求項31】
請求項27に記載の音楽コンテンツ再生装置において、
音楽コンテンツの過去の再生履歴が保持されている再生履歴情報保持部と、
前記再生履歴情報保持部の再生履歴を参照して、再生頻度の高い音楽コンテンツを検出する検出手段と、
を備え、
前記検出手段で検出した前記再生頻度の高い音楽コンテンツの属性情報を、前記第2の取得手段を通じて前記属性情報記憶部から取得し、
前記リズムマスター部は、前記取得した前記属性情報に基づいて、前記同期信号および前記楽曲再構成用情報を生成する
ことを特徴とする音楽コンテンツ再生装置。
【請求項32】
請求項21または請求項27に記載の音楽コンテンツ再生装置において、
前記楽曲再構成用情報は、テンポを示すための情報を含む
ことを特徴とする音楽コンテンツ再生装置。
【請求項33】
請求項21または請求項27に記載の音楽コンテンツ再生装置において、
前記楽曲再構成用情報は、テンポを示すための情報と、キーを示す情報とを含む
ことを特徴とする音楽コンテンツ再生装置。
【請求項34】
請求項21または請求項27に記載の音楽コンテンツ再生装置において、
前記楽曲再構成用情報は、テンポを示すための情報と、コードまたはコード進行を示す情報とを含む
ことを特徴とする音楽コンテンツ再生装置。
【請求項35】
請求項21または請求項27に記載の音楽コンテンツ再生装置において、
前記楽曲再構成用情報は、テンポを示すための情報と、キーを示す情報と、コードまたはコード進行を示す情報とを含む
ことを特徴とする音楽コンテンツ再生装置。
【請求項36】
複数個の音楽コンテンツのデータが格納されている音楽コンテンツデータ記憶部から、再生対象の音楽コンテンツのデータを取得する取得ステップと、
楽曲の小節に対応する周期の信号と楽曲の拍に対応する周期の信号とを含む同期信号を発生すると共に、楽曲再構成用情報を前記同期信号に同期して発生するリズムマスターステップと、
前記第1の取得ステップで取得した前記再生対象の音楽コンテンツデータを、前記リズムマスターステップで生成された前記同期信号と前記楽曲再構成用情報とに応じて再構成して、出力楽曲データを生成して音響再生出力するリズムスレーブステップと、
を備えることを特徴とする音楽コンテンツ再生方法。
【請求項37】
複数個の音楽コンテンツのデータが格納されている音楽コンテンツデータ記憶部から、再生対象の音楽コンテンツのデータを取得する第1の取得ステップと、
前記音楽コンテンツと対応付けられて、少なくとも前記音楽コンテンツの楽曲素材単位の楽曲構成情報を含む属性情報を記憶する属性情報記憶部から前記属性情報を取得する第2の取得ステップと、
前記第2の取得ステップで取得した前記再生対象の音楽コンテンツの前記属性情報に基づいて、楽曲の小節に対応する周期の信号と楽曲の拍に対応する周期の信号とを含む同期信号を発生すると共に、楽曲再構成用情報を前記同期信号に同期して発生するリズムマスターステップと、
前記第1の取得ステップで取得した前記再生対象の音楽コンテンツデータを、前記リズムマスターステップからの前記同期信号と前記楽曲再構成用情報とに応じて再構成して、出力楽曲データを生成して音響再生出力するリズムスレーブステップと、
を備えることを特徴とする音楽コンテンツ再生方法。


【図1】
image rotate

【図2】
image rotate

【図3】
image rotate

【図4】
image rotate

【図5】
image rotate

【図6】
image rotate

【図7】
image rotate

【図8】
image rotate

【図9】
image rotate

【図10】
image rotate

【図11】
image rotate

【図12】
image rotate

【図13】
image rotate

【図14】
image rotate

【図15】
image rotate

【図16】
image rotate

【図17】
image rotate

【図18】
image rotate

【図19】
image rotate

【図20】
image rotate

【図21】
image rotate

【図22】
image rotate

【図23】
image rotate

【図24】
image rotate

【図25】
image rotate

【図26】
image rotate

【図27】
image rotate

【図28】
image rotate

【図29】
image rotate

【図30】
image rotate

【図31】
image rotate


【公開番号】特開2006−171133(P2006−171133A)
【公開日】平成18年6月29日(2006.6.29)
【国際特許分類】
【出願番号】特願2004−360670(P2004−360670)
【出願日】平成16年12月14日(2004.12.14)
【出願人】(000002185)ソニー株式会社 (34,172)
【Fターム(参考)】