再生装置、楽音信号出力装置、再生システム及びプログラム
【課題】楽音信号から得られる情報に基づいて、その楽音信号に曲データを同期して再生する。
【解決手段】第１楽音信号に同期して再生すべき曲データ（例えば、ＭＩＤＩデータ）の内容を指示する透かし情報が重畳された第２楽音信号を楽音信号取得部２１１が取得すると、第１再生部２１２は、第２楽音信号（例えば、透かし情報の周波数成分を除去した後の第２楽音信号）を再生する。復号部２１３は、取得された第２楽音信号から透かし情報を復号する。読出部２１４は、第１再生部２１２により再生される第２楽曲信号に同期して再生すべき曲データを読み出す。第２再生部２１５は、第１再生部２１２により再生される第２楽曲信号に同期して再生する曲データの内容を、復号された透かし情報に含まれるタイムコードに基づいて特定し、特定した内容を再生する。
【解決手段】第１楽音信号に同期して再生すべき曲データ（例えば、ＭＩＤＩデータ）の内容を指示する透かし情報が重畳された第２楽音信号を楽音信号取得部２１１が取得すると、第１再生部２１２は、第２楽音信号（例えば、透かし情報の周波数成分を除去した後の第２楽音信号）を再生する。復号部２１３は、取得された第２楽音信号から透かし情報を復号する。読出部２１４は、第１再生部２１２により再生される第２楽曲信号に同期して再生すべき曲データを読み出す。第２再生部２１５は、第１再生部２１２により再生される第２楽曲信号に同期して再生する曲データの内容を、復号された透かし情報に含まれるタイムコードに基づいて特定し、特定した内容を再生する。
【発明の詳細な説明】
【技術分野】
【０００１】
本発明は、同期再生に関する。
【背景技術】
【０００２】
オーディオデータに同期して別の曲データを再生するための技術として、例えば特許文献１に開示されたものがある。特許文献１に記載された技術は、デジタルオーディオデータのＬＳＢ（Least Significant Bit）にＭＩＤＩ（Musical Instrument Digital Interface：登録商標）データを格納し、これらの関連付けに基づいて各データを再生するものである。
【先行技術文献】
【特許文献】
【０００３】
【特許文献１】特開２００３−３１６３５６号公報
【発明の概要】
【発明が解決しようとする課題】
【０００４】
ところで、インターネットなどの通信網を経由して曲データやオーディオデータを配信することがあるが、その際にそれらのデータを圧縮することがある。特許文献１に記載された技術では、オーディオデータを圧縮したり、アナログ形式の楽音信号に変換したりした場合に、同期再生に必要な情報が失われてしまい、その同期再生の妨げとなることがある。
本発明は上述した課題に鑑みてなされたものであり、その目的は、楽音信号から得られる情報に基づいて、その楽音信号に曲データを同期して再生することを可能にする。
【課題を解決するための手段】
【０００５】
上述した目的を達成するために、本発明に係る再生装置は、第１楽音信号に同期して再生すべき曲データの内容を指示する透かし情報がその第１楽音信号の周波数成分よりも高い帯域に重畳された第２楽音信号を取得する取得手段と、前記取得手段により取得された第２楽音信号を再生する第１再生手段と、前記取得された第２楽音信号から前記透かし情報を復号する復号手段と、前記第１再生手段により再生される第２楽音信号に同期して再生すべき前記内容を復号された前記透かし情報に基づいて特定し、特定した内容を再生する第２再生手段とを備えることを特徴とする。
【０００６】
本発明の好ましい態様において、前記透かし情報は、曲データを識別する曲識別情報と、その曲データの再生すべき位置を示す位置情報とを含み、前記曲識別情報とその曲識別情報により識別される曲データとを対応付けて記憶する曲データ記憶手段から、前記復号手段により復号された透かし情報に含まれる曲識別情報に対応付けられた曲データを読み出す読出手段を備え、前記第２再生手段は、前記読出手段により読み出された曲データの前記透かし情報に含まれる位置情報が示す位置の内容を再生することを特徴とする。
【０００７】
本発明に係る楽音信号出力装置は、第１楽音信号に同期して再生すべき曲データの内容を指示する透かし情報をその第１楽音信号の周波数成分よりも高い帯域に重畳する重畳手段と、前記重畳手段により透かし情報が重畳された第２楽音信号を出力する出力手段とを備えることを特徴とする。
本発明に係る再生システムは、上記構成の楽音信号出力装置と、上記いずかの構成の再生装置とを備えることを特徴とする。
【０００８】
本発明に係るプログラムは、コンピュータを、第１楽音信号に同期して再生すべき曲データの内容を指示する透かし情報がその第１楽音信号の周波数成分よりも高い帯域に重畳された第２楽音信号を取得する取得手段と、前記取得手段により取得された第２楽音信号を再生する第１再生手段と、前記取得された第２楽音信号から前記透かし情報を復号する復号手段と、前記第１再生手段により再生される第２楽音信号に同期して再生すべき前記内容を復号された前記透かし情報に基づいて特定し、特定した内容を再生する第２再生手段として機能させる。
【発明の効果】
【０００９】
本発明によれば、楽音信号から得られる情報に基づいて、その楽音信号に曲データを同期して再生することができる。
【図面の簡単な説明】
【００１０】
【図１】再生システムの構成を示すブロック図。
【図２】楽音信号出力装置の構成を示すブロック図。
【図３】オーディオファイルの構造を説明する図。
【図４】自動演奏装置のハードウェア構成を示すブロック図。
【図５】ＭＩＤＩファイルの構造を説明する図。
【図６】楽音信号出力装置の制御部が実現する機能的構成を示す機能ブロック図。
【図７】第２楽音信号の構造を説明する図。
【図８】第２楽音信号の時系列的な変化を説明するグラフ。
【図９】自動演奏装置の制御部が実現する機能的構成を示す機能ブロック図。
【図１０】第２再生部において実行される処理の内容を説明する図。
【図１１】再生システムの構成を示すブロック図。
【図１２】再生システムの構成を示すブロック図。
【発明を実施するための形態】
【００１１】
以下、図面を参照しつつ本発明の一実施形態について説明する。
図１は、この実施形態の再生システム１の構成を示すブロック図である。
再生システム１は、楽音信号出力装置１０と自動演奏装置２０とを備える。楽音信号出力装置１０と自動演奏装置２０とはオーディオケーブル１００によって接続されている。楽音信号出力装置１０は、本発明の楽音信号出力装置の一例に相当し、オーディオケーブル１００を介して自動演奏装置２０に対して楽音信号を出力する。自動演奏装置２０は、本発明の再生装置の一例に相当し、ここでは自動演奏機能を有している電子ピアノである。なお、この明細書において、「楽音信号」は、楽音の波形を表すアナログ形式の波形信号である。
【００１２】
図２は、楽音信号出力装置１０の構成を示すブロック図である。図２に示すように、楽音信号出力装置１０は、制御部１１と、記憶部１２と、操作部１３と、表示部１４と、出力インタフェース１５とを備える。
制御部１１は、ＣＰＵ（Central Processing Unit）やＲＯＭ（Read Only Memory）、ＲＡＭ（Random Access Memory）を備える。ＣＰＵは、ＲＡＭをワークエリアとして用いてＲＯＭや記憶部１２に記憶されたプログラムを実行して、楽音信号出力装置１０の各部を制御する。記憶部１２は、例えばハードディスク装置を備えた記憶手段である。記憶部１２は、制御部１１が動作するためのプログラムを記憶するとともに、オーディオファイルが記憶されているオーディオファイル記憶領域１２１を有している。操作部１３は、例えばキーボードやマウスなどであり、利用者によって操作が行われると、その操作内容に応じた操作信号を制御部１１へ出力する。表示部１４は、例えば液晶ディスプレイを備える表示手段であり、各種の情報を表示する。出力インタフェース１５は、本発明の出力手段の一例に相当し、オーディオケーブル１００が接続される出力端子である。出力インタフェース１５は、制御部１１から供給される楽音信号を、オーディオケーブル１００を介して接続される自動演奏装置２０に出力するものである。
【００１３】
図３は、オーディオファイル記憶領域１２１に記憶されているオーディオファイルＡｕｄの構造を説明する図である。
オーディオファイルＡｕｄは、ＳｏｎｇＩＤとオーディオデータとの各情報を対応付けたものである。オーディオデータは、或る楽曲の楽器演奏や歌唱などによって発生する音が時系列的に規定されたデータである。オーディオデータは、例えば、音を表すアナログ形式の波形信号が特定のサンプリング周波数（例えば、４４．１ｋＨｚ）に従って標本化された後、量子化されたデジタルデータを表す。ＳｏｎｇＩＤは、オーディオファイル記憶領域１２１に記憶される各オーディオファイルを一意に識別する識別情報である。
【００１４】
図４は、自動演奏装置２０のハードウェア構成を示すブロック図である。図４に示すように、自動演奏装置２０は、制御部２１と、入力インタフェース２２と、記憶部２３と、スピーカ２４と、演奏操作部２５と、楽音信号生成部２６とを備える。
制御部２１は、制御部１１と同等の構成のほかシーケンサ（ここでは、ＭＩＤＩシーケンサ）としての機能を実現するための構成を有している。制御部２１のＣＰＵは、ＲＯＭや記憶部２３に記憶されたプログラムを実行して自動演奏装置２０の各部を制御する。入力インタフェース２２は、オーディオケーブル１００が接続される入力端子である。入力インタフェース２２には、楽音信号出力装置１０から供給される楽音信号が入力される。記憶部２３は、例えばハードディスク装置を備えた記憶手段であり、制御部２１が動作するためのプログラムを記憶するとともに、ＭＩＤＩファイルが記憶されているＭＩＤＩファイル記憶領域２３１を有している。スピーカ２４は、制御部２１により再生される楽音信号や、本発明の曲データの一例に相当するＭＩＤＩデータに応じて放音する放音手段に相当するものである。演奏操作部２５は、演奏者の演奏操作を受け付けるものであり、複数の鍵を有するピアノ鍵盤などの演奏操作子や、演奏操作を検知するセンサ、演奏者の操作がなくとも各鍵を押下させるための駆動回路などを有している。演奏操作部２５は、演奏者による演奏操作を受け付けると、その演奏操作をセンサによって検出し、検出した内容を示す演奏情報を制御部２１に出力する。楽音信号生成部２６は、音源回路やＤＳＰ（Digital Signal Processor）を備え、制御部２１から供給される演奏情報に従って音声処理を行い、演奏情報に応じた楽音信号を生成して制御部２１に出力する。制御部２１は、その楽音信号をスピーカ２４に出力して、楽音信号に応じた楽音を放音させる。
【００１５】
図５は、ＭＩＤＩファイル記憶領域２３１に記憶されているＭＩＤＩファイルの構造を説明する図である。ＭＩＤＩファイルＭｉｄは、例えば１つの楽曲に対応しており、曲ＩＤと、ＳｏｎｇＩＤと、ＭＩＤＩデータとの各情報を対応付けたものである。曲ＩＤは、各ＭＩＤＩファイルを一意に識別する識別情報である。ＭＩＤＩデータは、特定の楽音の発音や消音などといった演奏制御を指示するイベントや、イベント間の発生時間間隔を示すデルタタイムを含む演奏制御情報である。ＳｏｎｇＩＤは、本発明の曲識別情報の一例に相当し、オーディオファイル記憶領域１２１に記憶されたオーディオファイルＡｕｄに割り当てられたものと対応している。このＳｏｎｇＩＤは、自動演奏装置２０がオーディオファイルＡｕｄを基に生成された楽音信号を再生する際に、どのＭＩＤＩデータを再生するかを選択可能にするために割り当てられた識別情報である。
以上の構造を有するＭＩＤＩファイル記憶領域２３１は、本発明の曲データ記憶手段の一例に相当するものである。
【００１６】
次に、楽音信号出力装置１０及び自動演奏装置２０によって実現される機能について説明する。
［楽音信号出力装置１０］
楽音信号出力装置１０によって実現される機能について説明する。
図６は、楽音信号出力装置１０の制御部１１が実現する機能的構成を示す機能ブロック図である。制御部１１は、再生時刻特定部１１１、透かし情報生成部１１２、前処理部１１３、及び重畳部１１４に相当する機能を実現する。なお、後述する透かし情報が重畳される前の楽音信号であり、制御部１１が実現する各機能において処理対象となる楽音信号のことを、以下では「第１楽音信号」と称する。なお、制御部１１は、利用者により操作部１３が操作されて指定されたオーディオファイルＡｕｄをオーディオファイル記憶領域１２１から読み出し、そこに含まれるオーディオデータを基に第１楽音信号を生成する。
【００１７】
再生時刻特定部１１１は、第１楽音信号の再生位置を表す再生時刻を特定する。再生時刻は、オーディオデータの開始位置を基準としたとき（ここでは、「０：００」とする。）の再生位置を表すものである。再生時刻特定部１１１は、オーディオファイルＡｕｄを参照することにより再生時刻を特定し得る。
透かし情報生成部１１２は、第１楽音信号に重畳されることとなる透かし情報を生成する。ここでの透かし情報は、ＳｏｎｇＩＤと、再生時刻（つまり、再生位置）を示す位置情報（以下、「タイムコード」という。）とを含むビット列である。なお、透かし情報生成部１１２は、オーディオファイルＡｕｄからＳｏｎｇＩＤを特定し得る。
前処理部１１３は、例えばＬＰＦ（Low Pass Filter）を備えており、第１楽音信号に前処理を施す。具体的には、前処理部１１３は、前処理としてＬＰＦを用いたフィルタリング処理を第１楽音信号に施し、第１楽音信号の周波数成分のうち透かし情報が重畳されることとなる帯域に含まれる周波数成分を遮断する。すなわち、このＬＰＦは、遮断周波数をｆ0とする特性を持つものである。
【００１８】
重畳部１１４は、上記前処理が施された後の第１楽音信号に同期して再生すべき曲データの内容を指示する透かし情報を、その第１楽音信号に重畳する。ここでは、重畳部１１４は、第１楽音信号を搬送するための搬送波を表す搬送波信号を透かし情報に基づいて位相変調することにより、第１楽音信号の周波数成分よりも高い帯域に透かし情報が含まれるようにする。このようにして、第１楽音信号に透かし情報が重畳された楽音信号のことを、以下では「第２楽音信号」と称する。すなわち、第２楽音信号は、第１楽音信号と、透かし情報の波形を表す波形信号とが合成された楽音信号である。
なお、オーディオデータが複数チャネルからなる場合には、重畳部１１４は少なくとも１チャネルの第１楽音信号に透かし情報を重畳して第２楽音信号を生成すればよい。
【００１９】
図７は、第２楽音信号の構造を説明する図である。図７に示すグラフにおいて、横軸は周波数ｆを表しており、縦軸は周波数成分の音圧レベルを模式的に表したものである。図７に示すように、第２楽音信号にあっては、周波数ｆ0よりも低い周波数帯域に第１楽音信号の周波数成分が含まれており、周波数ｆ0よりも高い周波数帯域に透かし情報の周波数成分が含まれている。第１楽音信号は例えば可聴域（およそ２０Ｈｚ〜２０ｋＨｚ）に周波数成分を持つものであり、可聴域よりも高い帯域に透かし情報を重畳する帯域が確保されるからである。周波数ｆ0は、例えば２０ｋＨｚ以上のように可聴域外であることが好ましい。この場合、第２楽音信号に応じた楽音が放音された場合であっても、人間の耳には透かし情報に相当する音声を聴き取ることができないため聴感上の影響が少ないからである。また、楽音信号を圧縮するときのエンコーダの特性や、Ａ（アナログ）／Ｄ（デジタル）変換に用いるＡ／Ｄ変換器の特性などにより、可聴域外に重畳された透かし情報を維持することができない場合などには、例えば１５ｋＨｚ以上のように可聴域の比較的帯域に透かし情報が重畳されてもよい。要するに、第１楽音信号の周波数成分よりも高い帯域であって、聴感上の影響が低い帯域に透かし情報が重畳されることが好ましい。
出力インタフェース１５は、重畳部１１４により透かし情報が重畳された楽音信号である第２楽音信号を、自動演奏装置２０の制御部２１によって取得されるように出力する。制御部１１は、或る処理単位毎に供給される第１楽音信号に対して上記各機能により実現される処理を繰り返し行って、自動演奏装置２０に出力するための第２楽音信号を生成する。
【００２０】
図８は、出力インタフェース１５により出力される第２楽音信号の時系列的な変化を説明する図である。図８に示すグラフにおいて、横軸は時刻ｔを表しており、縦軸は第２楽音信号の振幅を表す。図８において、実線で示す波形が第２楽音信号を表すものであり、それに沿って描かれる破線はエンベロープを表す。
図８に示すように、第２楽音信号にはあっては、図中矢印で示す各区間にそれぞれ対応する再生時刻を示すタイムコードと、ＳｏｎｇＩＤとを含む透かし情報が重畳されている。ここでは、１つのオーディオファイルＡｕｄから生成される第２楽音信号は１つの楽曲に対応するので、ＳｏｎｇＩＤはすべて「００１」と共通している。また、タイムコードが示す再生時刻は時系列的に順番に「０：０１」、「０：０２」、・・・とされており、ここでは１秒刻みで定められている。
【００２１】
［自動演奏装置２０］
次に、自動演奏装置２０によって実現される機能について説明する。
図９は、自動演奏装置２０の制御部２１が実現する機能的構成を示す機能ブロック図である。制御部２１はプログラムを実行することにより、楽音信号取得部２１１、第１再生部２１２、復号部２１３、読出部２１４、及び第２再生部２１５に相当する各機能を実現する。
楽音信号取得部２１１は、楽音信号出力装置１０により出力された第２楽音信号を入力インタフェース２２から取得する。すなわち、楽音信号取得部２１１は、本発明の取得手段の一例に相当する。
【００２２】
第１再生部２１２は、例えば遮断周波数をｆ0とするＬＰＦを備えており、楽音信号取得部２１１により取得された第２楽音信号にこのＬＰＦを用いたフィルタリング処理を施してから、第２楽音信号を再生する。これにより、第１再生部２１２は、透かし情報の周波数成分を除去した後の第２楽音信号を再生することになるから、その再生内容は理想的には第１楽音信号の場合と同等となる。つまり、第１再生部２１２は、第１楽音信号に応じた楽音がスピーカ２４によって放音されるように、第２楽音信号を再生することとなる。すなわち、第１再生部２１２は、本発明の第１再生手段の一例に相当する。
なお、可聴域外に透かし情報の周波数成分が含まれる場合や、透かし情報の周波数成分の音圧レベルが低い場合などには、透かし情報に相当する音声に対する聴感上の影響が少ないため、上記フィルタリング処理を省略してもよい。つまり、第１再生部２１２は、楽音信号取得部２１１により取得された第２楽音信号をそのまま再生してもよい。
【００２３】
復号部２１３は、例えば遮断周波数をｆ0とするＨＰＦ（High Pass Filter）を備え、第２楽音信号から透かし情報を復号する。上述したように、透かし情報の周波数成分は第１楽音信号よりも高い帯域に含まれる。よって、復号部２１３は、このＨＰＦを用いたフィルタリング処理を施して、第２楽音信号から透かし情報に相当する周波数成分を取り出すことができる。そして、復号部２１３は、このフィルタリング処理により取り出した信号を復調することによって透かし情報を復号する。すなわち、復号部２１３は、本発明の復号手段の一例に相当する。
読出部２１４は、復号部２１３により復号された透かし情報に基づいてＳｏｎｇＩＤを特定し、特定したＳｏｎｇＩＤに対応付けられたＭＩＤＩデータを、ＭＩＤＩファイル記憶領域２３１から読み出す。すなわち、読出部２１４は、本発明の読出手段の一例に相当する。
【００２４】
第２再生部２１５は、第１再生部２１２により再生される第２楽曲信号に同期して再生すべき曲データの内容を透かし情報に基づいて特定し、特定した内容を再生する。第２再生部２１５は、読出部２１４により読み出されたＭＩＤＩデータのうち、復号部２１３により復号された透かし情報から復号したタイムコードが示す再生時刻の内容を再生する。これにより、第２再生部２１５は、第１再生部２１２により再生される第２楽音信号に同期して、その第２楽音信号の再生時刻に対応するＭＩＤＩデータの内容を再生することができる。すなわち、第２再生部２１５は、本発明の第２再生手段の一例に相当する。
【００２５】
図１０は、第２再生部２１５において実行される処理の内容を説明する図である。
第２再生部２１５が再生時刻を特定すると、ＭＩＤＩデータのうちこの再生時刻に対応するイベントを特定する。例えば再生時刻が「０：０４」である場合に同期して再生すべき曲データ内容が、図中実線矢印で示すイベントＥ３であるとする。この場合、第２再生部２１５は、イベントＥ３を表すイベントデータに基づいてＭＩＤＩデータを再生する。ところで、例えば復号部２１３、読出部２１４及び第２再生部２１５において実行される処理には或る処理時間を要する。よって、その処理時間（例えば、１００ｍｓ）をあらかじめ見込んでおき、第２再生部２１５は透かし情報から特定した再生時刻よりもその処理時間だけ先のイベントデータに基づいてＭＩＤＩデータを再生するとよい。また、第２再生部２１５が再生時刻「０：０４」を特定したときに、図中点線矢印で示すようにイベントＥ１を表すイベントデータに基づいてＭＩＤＩデータを再生している場合のように、ＭＩＤＩデータと第２楽音信号との再生タイミングが意図するものからずれている場合には、第２再生部２１５は、イベントＥ１，Ｅ２を省略したり、テンポを早くしたりする（デルタタイムを短くする）などして、同期再生が実現されるようにするとよい。
【００２６】
制御部１１は、以上の手順により同期再生を行うとともに、さらに、演奏操作部２５により受け付けられた演奏操作に応じて生成された楽音信号を合成し、その合成後の楽音信号に応じた楽音をスピーカ２４に放音させる。また、制御部１１は、ＭＩＤＩデータの再生内容に応じて演奏操作部２５の駆動回路を駆動することにより、演奏者の操作がなくとも対応する各鍵を押下させる。
【００２７】
以上説明した実施形態によると、楽音信号出力装置１０は、第１楽音信号とＭＩＤＩデータとを同期再生するために使用する透かし情報をその第１楽音信号に重畳し、それを第２楽音信号として出力する。自動演奏装置２０は、第２楽音信号に同期して再生すべきＭＩＤＩデータの内容を透かし情報に基づいて特定し、特定したＭＩＤＩデータの内容と第２楽音信号とを同期再生する。また、楽音信号出力装置１０や自動演奏装置２０が第２楽音信号をデータ圧縮した場合に、仮にＳｏｎｇＩＤやタイムコードの一部が失われたとしても、その失われた期間においてのみＭＩＤＩデータの再生すべき内容を特定できないもののその期間においてもＭＩＤＩデータを継続して再生することはできるので、さほど同期再生の妨げとはならない。
以上のように、再生システム１によれば、楽音信号から得られる情報に基づいて、その楽音信号と曲データとを同期再生することができる。
【００２８】
［変形例］
本発明は、上述した実施形態と異なる形態で実施することが可能である。また、以下に示す変形例は、各々を適宜に組み合わせてもよい。
（変形例１）
上述した実施形態では、楽音信号出力装置１０は、ＳｏｎｇＩＤとタイムコードとを含む透かし情報を第１楽音信号に重畳していた。これに代えて、楽音信号出力装置１０は、透かし情報としてＭＩＤＩデータを第１楽音信号に重畳するようにしてもよい。この場合も透かし情報は、第１楽音信号に同期して再生すべきＭＩＤＩデータの内容を指示する情報である。この変形例の構成においては、上述した実施形態の自動演奏装置２０が記憶していたＭＩＤＩファイルを楽音信号出力装置１０が記憶すればよく、自動演奏装置２０はそれを記憶していなくてもよい。
【００２９】
この変形例の構成において、透かし情報生成部１１２は、第１楽音信号と同期して再生するべきＭＩＤＩデータの内容を特定し、その内容を示すビット列を透かし情報として生成する。重畳部１１４は、その透かし情報を実施形態で説明したものと同じ態様で第１楽音信号に重畳する。楽音信号出力装置１０が実行するその他の処理は、実施形態で説明したものと同じである。一方、自動演奏装置２０の第２再生部２１５は、第２楽音信号から復号された透かし情報に基づいてＭＩＤＩデータの内容を特定し、特定した内容を再生する。
この構成によれば、同期再生すべきＭＩＤＩデータを楽音信号出力装置１０側で指定することができるため、新たなＭＩＤＩファイルを自動演奏装置２０に記憶させなくてもよい。一方で、この構成の場合、透かし情報のデータ量が実施形態の構成よりも大きくなり得るので、透かし情報の重畳やその復号に要する処理時間が実施形態の場合よりも長くなるいことが考えられる。しかしながら、この場合も、それらの処理に要する処理時間をあらかじめ見込んで第２再生部２１５が再生時刻を特定することにより、同期再生は実施形態と同じように実現される。
【００３０】
（変形例２）
上述した実施形態では、楽音信号出力装置１０と自動演奏装置２０とがオーディオケーブル１００によって接続されていたが、以下に説明する再生システム１ａの構成としてもよい。
図１１は、再生システム１ａの構成を示すブロック図である。再生システム１ａは、楽音信号出力装置１０ａと自動演奏装置２０ａとにより構成される。なお、図１１においては、制御部１１，２１を除く、図示するもの以外の構成については、楽音信号出力装置１０ａは楽音信号出力装置１０と同等の構成を有し、自動演奏装置２０ａは自動演奏装置２０と同等の構成を有している。
楽音信号出力装置１０ａは、出力インタフェース１５に代えて、例えば自装置に着脱自在なスピーカ１６を備える。スピーカ１６は、制御部１１から供給される楽音信号に応じて放音する放音手段に相当する。一方、自動演奏装置２０ａは、入力インタフェース２２に代えて、例えば自装置に着脱自在なマイクロホン２７を備える。マイクロホン２７は、収音し、収音した音声を表す音声信号を制御部２１に出力する収音手段に相当するものである。また、スピーカ１６によって放音された音がマイクロホン２７によって収音されるように、楽音信号出力装置１０ａと自動演奏装置２０ａとは或る程度近接して設置される。
【００３１】
この構成において、楽音信号出力装置１０ａの制御部１１は、生成した第２楽音信号をスピーカ１６に出力（つまり、放音出力）し、この第２楽音信号に応じた楽音をスピーカ１６に放音させる。自動演奏装置２０ａの制御部２１は、スピーカ１６によって放音された楽音をマイクロホン２７に収音させ、その収音結果を表す音声信号を第２楽音信号として取得する。制御部２１は、この第２楽音信号から実施形態と同じ手順により透かし情報を復号することで、実施形態と同等の同期再生を実現する。その他の処理は実施形態で説明したものと同じであり、この変形例の構成であっても実施形態の場合と同等の効果を奏する。
【００３２】
また、以下の再生システム１ｂの構成に変形してもよい。図１２は、再生システム１ｂの構成を示すブロック図である。再生システム１ｂは、楽音信号出力装置１０ｂと自動演奏装置２０ｂとにより構成される。なお、図１２においては、制御部１１，２１を除く、図示するもの以外の構成については、楽音信号出力装置１０ｂは楽音信号出力装置１０と同等の構成を有し、自動演奏装置２０ｂは自動演奏装置２０と同等の構成を有している。
楽音信号出力装置１０ｂは、第２楽音信号を送信出力する機能を持つ送信機であり、例えば放送局の送信機である。自動演奏装置２０ｂは、楽音信号出力装置１０ｂにより送信出力された第２楽音信号を受信する機能を持つ受信機であり、例えば放送局により放送された音声を聴く利用者により所有される。楽音信号出力装置１０ｂは、出力インタフェース１５に代えて送信部１７を備える。送信部１７は、制御部１１から供給される第２楽音信号に応じて搬送波を表す搬送波信号を変調して送信用信号を生成し、これを送信出力する。自動演奏装置２０ｂは、入力インタフェース２２に代えて受信部２８を備える。受信部２８は、楽音信号出力装置１０ｂにより送信された送信用信号を受信すると、これを復調することによって第２楽音信号を取り出し、制御部２１に出力する。制御部２１は、この第２楽音信号から実施形態と同等の手法により透かし情報を復号し、同期再生を実現する。その他の処理は実施形態で説明したものと同じであり、この構成であっても実施形態の場合と同等の効果を奏する。
この構成によれば、自動演奏装置２０ｂを所有する利用者は、自身の自動演奏装置２０ｂを用いて遠隔地にある楽音信号出力装置１０ｂにより出力された楽音信号が表す楽音と同期演奏（同期再生）を楽しむことができる。一方、自動演奏装置２０ｂを所有しない利用者であっても、楽音の聴取上の悪影響は少ない。
【００３３】
また、楽音信号出力装置１０ｂと自動演奏装置２０ｂとをインターネットなどの通信網を介して接続し、オーディオデータなどを圧縮して音声や動画を配信するサービスに本発明を適用することができる。この場合、楽音信号出力装置１０ｂはコンテンツプロバイダなどのサーバ装置である。一方、自動演奏装置２０ｂはコンテンツプロバイダからのコンテンツの提供を受けるクライアントにより所有される。この場合、楽音信号出力装置１０ｂは配信するコンテンツに含まれる第２楽音信号に透かし情報を重畳して送信出力する。そして、自動演奏装置２０ｂは受信した第２楽音信号から透かし情報を復号して、同期再生を実現する。
【００３４】
（変形例３）
上述した実施形態において楽音信号出力装置１０が透かし情報を重畳するための構成を以下のように変形してもよい。例えばＭ系列、Ｇｏｌｄ系列を用いた擬似ノイズ信号を用いた方法を採用してもよい。この場合、重畳部１１４は擬似ノイズ信号を発生し、これを透かし情報に基づいて位相変調する。一方、復号部２１３は、重畳部１１４と同じ擬似ノイズ信号を生成し、第２楽音信号との相関を求める。第２楽音信号に重畳される擬似ノイズ信号として自己相関性の非常に高い信号が用いられた場合に、その第２楽音信号と擬似ノイズ信号との相関を求めると、急峻なピークの現れる波形が抽出される。この波形が透かし情報を示しており、復号部２１３はこの波形を抽出して透かし情報を復号することができる。また、この擬似ノイズ信号を用いてスペクトラム拡散を行うようにしてもよいし、直交周波数分割多重方式（ＯＦＤＭ変調：Orthogonal Frequency-Division Multiplexing）の採用により透かし情報を重畳してもよい。後者の場合、制御部１１は、第１楽音信号の周波数成分のうち高周波数側の一部の帯域を除去した後、ＯＦＤＭ変調した透かし情報を元の第１楽音信号の周波数分布に合わせてその帯域に重畳する。この重畳の態様であっても、楽音信号出力装置１０は第１楽音信号の周波数成分よりも高周波数の帯域に透かし情報を重畳しており、上述の実施形態の構成と同等の効果を奏する。
【００３５】
上述した実施形態において、自動演奏装置２０は、ＭＩＤＩデータ以外の形式（例えば、ＭＰ３）の曲データを用いてもよい。また、自動演奏装置２０は自動演奏機能を有する電子ピアノであったが、エレキアコースティックギターや電子エレクトーンなどの他の種類の電子楽器であってもよい。また、電子楽器として機能する装置に限定されず、少なくとも、楽音信号を再生する一方で、曲データを再生する機能を持つ再生装置に本発明を適用することができる。
上述した実施形態において、前処理部１１３に相当する機能を省略してもよい。例えば、周波数ｆ0以上よりも周波数の高い帯域に楽音信号の周波数成分が含まれない場合や、透かし情報の周波数成分に対して楽音信号の周波数成分の音圧レベルがかなり小さい場合には、この前処理を省略しても聴感上の影響がほとんどないし、透かし情報の復号における悪影響はほとんど生じないと考えられるからである。
【００３６】
上述した実施形態における楽音信号出力装置１０の制御部１１や、自動演奏装置２０の制御部２１によって実行されるプログラムは、磁気記録媒体（磁気テープ、磁気ディスク（ＨＤＤ、ＦＤ）など）、光記録媒体（光ディスク（ＣＤ、ＤＶＤ）など）、光磁気記録媒体、半導体メモリなどのコンピュータ読取り可能な記録媒体に記録した状態で提供し得る。また、インターネットのようなネットワーク経由でダウンロードさせることも可能である。このように制御部１１や制御部２１によって実現される機能は、１又は複数のソフトウェアにより実現されてもよいし、１又は複数のハードウェアにより実現されてもよい。
【符号の説明】
【００３７】
１，１ａ，１ｂ…再生システム、１０，１０ａ，１０ｂ…楽音信号出力装置、１００…オーディオケーブル、１１…制御部、１１１…再生時刻特定部、１１２…透かし情報生成部、１１３…前処理部、１１４…重畳部、１２…記憶部、１２１…オーディオファイル記憶領域、１３…操作部、１４…表示部、１５…出力インタフェース、１６…スピーカ、１７…送信部、２０，２０ａ，２０ｂ…自動演奏装置、２１…制御部、２１１…楽音信号取得部、２１２…第１再生部、２１３…復号部、２１４…読出部、２１５…第２再生部、２２…入力インタフェース、２３…記憶部、２３１…ＭＩＤＩファイル記憶領域、２４…スピーカ、２５…演奏操作部、２６…楽音信号生成部、２７…マイクロホン、２８…受信部
【技術分野】
【０００１】
本発明は、同期再生に関する。
【背景技術】
【０００２】
オーディオデータに同期して別の曲データを再生するための技術として、例えば特許文献１に開示されたものがある。特許文献１に記載された技術は、デジタルオーディオデータのＬＳＢ（Least Significant Bit）にＭＩＤＩ（Musical Instrument Digital Interface：登録商標）データを格納し、これらの関連付けに基づいて各データを再生するものである。
【先行技術文献】
【特許文献】
【０００３】
【特許文献１】特開２００３−３１６３５６号公報
【発明の概要】
【発明が解決しようとする課題】
【０００４】
ところで、インターネットなどの通信網を経由して曲データやオーディオデータを配信することがあるが、その際にそれらのデータを圧縮することがある。特許文献１に記載された技術では、オーディオデータを圧縮したり、アナログ形式の楽音信号に変換したりした場合に、同期再生に必要な情報が失われてしまい、その同期再生の妨げとなることがある。
本発明は上述した課題に鑑みてなされたものであり、その目的は、楽音信号から得られる情報に基づいて、その楽音信号に曲データを同期して再生することを可能にする。
【課題を解決するための手段】
【０００５】
上述した目的を達成するために、本発明に係る再生装置は、第１楽音信号に同期して再生すべき曲データの内容を指示する透かし情報がその第１楽音信号の周波数成分よりも高い帯域に重畳された第２楽音信号を取得する取得手段と、前記取得手段により取得された第２楽音信号を再生する第１再生手段と、前記取得された第２楽音信号から前記透かし情報を復号する復号手段と、前記第１再生手段により再生される第２楽音信号に同期して再生すべき前記内容を復号された前記透かし情報に基づいて特定し、特定した内容を再生する第２再生手段とを備えることを特徴とする。
【０００６】
本発明の好ましい態様において、前記透かし情報は、曲データを識別する曲識別情報と、その曲データの再生すべき位置を示す位置情報とを含み、前記曲識別情報とその曲識別情報により識別される曲データとを対応付けて記憶する曲データ記憶手段から、前記復号手段により復号された透かし情報に含まれる曲識別情報に対応付けられた曲データを読み出す読出手段を備え、前記第２再生手段は、前記読出手段により読み出された曲データの前記透かし情報に含まれる位置情報が示す位置の内容を再生することを特徴とする。
【０００７】
本発明に係る楽音信号出力装置は、第１楽音信号に同期して再生すべき曲データの内容を指示する透かし情報をその第１楽音信号の周波数成分よりも高い帯域に重畳する重畳手段と、前記重畳手段により透かし情報が重畳された第２楽音信号を出力する出力手段とを備えることを特徴とする。
本発明に係る再生システムは、上記構成の楽音信号出力装置と、上記いずかの構成の再生装置とを備えることを特徴とする。
【０００８】
本発明に係るプログラムは、コンピュータを、第１楽音信号に同期して再生すべき曲データの内容を指示する透かし情報がその第１楽音信号の周波数成分よりも高い帯域に重畳された第２楽音信号を取得する取得手段と、前記取得手段により取得された第２楽音信号を再生する第１再生手段と、前記取得された第２楽音信号から前記透かし情報を復号する復号手段と、前記第１再生手段により再生される第２楽音信号に同期して再生すべき前記内容を復号された前記透かし情報に基づいて特定し、特定した内容を再生する第２再生手段として機能させる。
【発明の効果】
【０００９】
本発明によれば、楽音信号から得られる情報に基づいて、その楽音信号に曲データを同期して再生することができる。
【図面の簡単な説明】
【００１０】
【図１】再生システムの構成を示すブロック図。
【図２】楽音信号出力装置の構成を示すブロック図。
【図３】オーディオファイルの構造を説明する図。
【図４】自動演奏装置のハードウェア構成を示すブロック図。
【図５】ＭＩＤＩファイルの構造を説明する図。
【図６】楽音信号出力装置の制御部が実現する機能的構成を示す機能ブロック図。
【図７】第２楽音信号の構造を説明する図。
【図８】第２楽音信号の時系列的な変化を説明するグラフ。
【図９】自動演奏装置の制御部が実現する機能的構成を示す機能ブロック図。
【図１０】第２再生部において実行される処理の内容を説明する図。
【図１１】再生システムの構成を示すブロック図。
【図１２】再生システムの構成を示すブロック図。
【発明を実施するための形態】
【００１１】
以下、図面を参照しつつ本発明の一実施形態について説明する。
図１は、この実施形態の再生システム１の構成を示すブロック図である。
再生システム１は、楽音信号出力装置１０と自動演奏装置２０とを備える。楽音信号出力装置１０と自動演奏装置２０とはオーディオケーブル１００によって接続されている。楽音信号出力装置１０は、本発明の楽音信号出力装置の一例に相当し、オーディオケーブル１００を介して自動演奏装置２０に対して楽音信号を出力する。自動演奏装置２０は、本発明の再生装置の一例に相当し、ここでは自動演奏機能を有している電子ピアノである。なお、この明細書において、「楽音信号」は、楽音の波形を表すアナログ形式の波形信号である。
【００１２】
図２は、楽音信号出力装置１０の構成を示すブロック図である。図２に示すように、楽音信号出力装置１０は、制御部１１と、記憶部１２と、操作部１３と、表示部１４と、出力インタフェース１５とを備える。
制御部１１は、ＣＰＵ（Central Processing Unit）やＲＯＭ（Read Only Memory）、ＲＡＭ（Random Access Memory）を備える。ＣＰＵは、ＲＡＭをワークエリアとして用いてＲＯＭや記憶部１２に記憶されたプログラムを実行して、楽音信号出力装置１０の各部を制御する。記憶部１２は、例えばハードディスク装置を備えた記憶手段である。記憶部１２は、制御部１１が動作するためのプログラムを記憶するとともに、オーディオファイルが記憶されているオーディオファイル記憶領域１２１を有している。操作部１３は、例えばキーボードやマウスなどであり、利用者によって操作が行われると、その操作内容に応じた操作信号を制御部１１へ出力する。表示部１４は、例えば液晶ディスプレイを備える表示手段であり、各種の情報を表示する。出力インタフェース１５は、本発明の出力手段の一例に相当し、オーディオケーブル１００が接続される出力端子である。出力インタフェース１５は、制御部１１から供給される楽音信号を、オーディオケーブル１００を介して接続される自動演奏装置２０に出力するものである。
【００１３】
図３は、オーディオファイル記憶領域１２１に記憶されているオーディオファイルＡｕｄの構造を説明する図である。
オーディオファイルＡｕｄは、ＳｏｎｇＩＤとオーディオデータとの各情報を対応付けたものである。オーディオデータは、或る楽曲の楽器演奏や歌唱などによって発生する音が時系列的に規定されたデータである。オーディオデータは、例えば、音を表すアナログ形式の波形信号が特定のサンプリング周波数（例えば、４４．１ｋＨｚ）に従って標本化された後、量子化されたデジタルデータを表す。ＳｏｎｇＩＤは、オーディオファイル記憶領域１２１に記憶される各オーディオファイルを一意に識別する識別情報である。
【００１４】
図４は、自動演奏装置２０のハードウェア構成を示すブロック図である。図４に示すように、自動演奏装置２０は、制御部２１と、入力インタフェース２２と、記憶部２３と、スピーカ２４と、演奏操作部２５と、楽音信号生成部２６とを備える。
制御部２１は、制御部１１と同等の構成のほかシーケンサ（ここでは、ＭＩＤＩシーケンサ）としての機能を実現するための構成を有している。制御部２１のＣＰＵは、ＲＯＭや記憶部２３に記憶されたプログラムを実行して自動演奏装置２０の各部を制御する。入力インタフェース２２は、オーディオケーブル１００が接続される入力端子である。入力インタフェース２２には、楽音信号出力装置１０から供給される楽音信号が入力される。記憶部２３は、例えばハードディスク装置を備えた記憶手段であり、制御部２１が動作するためのプログラムを記憶するとともに、ＭＩＤＩファイルが記憶されているＭＩＤＩファイル記憶領域２３１を有している。スピーカ２４は、制御部２１により再生される楽音信号や、本発明の曲データの一例に相当するＭＩＤＩデータに応じて放音する放音手段に相当するものである。演奏操作部２５は、演奏者の演奏操作を受け付けるものであり、複数の鍵を有するピアノ鍵盤などの演奏操作子や、演奏操作を検知するセンサ、演奏者の操作がなくとも各鍵を押下させるための駆動回路などを有している。演奏操作部２５は、演奏者による演奏操作を受け付けると、その演奏操作をセンサによって検出し、検出した内容を示す演奏情報を制御部２１に出力する。楽音信号生成部２６は、音源回路やＤＳＰ（Digital Signal Processor）を備え、制御部２１から供給される演奏情報に従って音声処理を行い、演奏情報に応じた楽音信号を生成して制御部２１に出力する。制御部２１は、その楽音信号をスピーカ２４に出力して、楽音信号に応じた楽音を放音させる。
【００１５】
図５は、ＭＩＤＩファイル記憶領域２３１に記憶されているＭＩＤＩファイルの構造を説明する図である。ＭＩＤＩファイルＭｉｄは、例えば１つの楽曲に対応しており、曲ＩＤと、ＳｏｎｇＩＤと、ＭＩＤＩデータとの各情報を対応付けたものである。曲ＩＤは、各ＭＩＤＩファイルを一意に識別する識別情報である。ＭＩＤＩデータは、特定の楽音の発音や消音などといった演奏制御を指示するイベントや、イベント間の発生時間間隔を示すデルタタイムを含む演奏制御情報である。ＳｏｎｇＩＤは、本発明の曲識別情報の一例に相当し、オーディオファイル記憶領域１２１に記憶されたオーディオファイルＡｕｄに割り当てられたものと対応している。このＳｏｎｇＩＤは、自動演奏装置２０がオーディオファイルＡｕｄを基に生成された楽音信号を再生する際に、どのＭＩＤＩデータを再生するかを選択可能にするために割り当てられた識別情報である。
以上の構造を有するＭＩＤＩファイル記憶領域２３１は、本発明の曲データ記憶手段の一例に相当するものである。
【００１６】
次に、楽音信号出力装置１０及び自動演奏装置２０によって実現される機能について説明する。
［楽音信号出力装置１０］
楽音信号出力装置１０によって実現される機能について説明する。
図６は、楽音信号出力装置１０の制御部１１が実現する機能的構成を示す機能ブロック図である。制御部１１は、再生時刻特定部１１１、透かし情報生成部１１２、前処理部１１３、及び重畳部１１４に相当する機能を実現する。なお、後述する透かし情報が重畳される前の楽音信号であり、制御部１１が実現する各機能において処理対象となる楽音信号のことを、以下では「第１楽音信号」と称する。なお、制御部１１は、利用者により操作部１３が操作されて指定されたオーディオファイルＡｕｄをオーディオファイル記憶領域１２１から読み出し、そこに含まれるオーディオデータを基に第１楽音信号を生成する。
【００１７】
再生時刻特定部１１１は、第１楽音信号の再生位置を表す再生時刻を特定する。再生時刻は、オーディオデータの開始位置を基準としたとき（ここでは、「０：００」とする。）の再生位置を表すものである。再生時刻特定部１１１は、オーディオファイルＡｕｄを参照することにより再生時刻を特定し得る。
透かし情報生成部１１２は、第１楽音信号に重畳されることとなる透かし情報を生成する。ここでの透かし情報は、ＳｏｎｇＩＤと、再生時刻（つまり、再生位置）を示す位置情報（以下、「タイムコード」という。）とを含むビット列である。なお、透かし情報生成部１１２は、オーディオファイルＡｕｄからＳｏｎｇＩＤを特定し得る。
前処理部１１３は、例えばＬＰＦ（Low Pass Filter）を備えており、第１楽音信号に前処理を施す。具体的には、前処理部１１３は、前処理としてＬＰＦを用いたフィルタリング処理を第１楽音信号に施し、第１楽音信号の周波数成分のうち透かし情報が重畳されることとなる帯域に含まれる周波数成分を遮断する。すなわち、このＬＰＦは、遮断周波数をｆ0とする特性を持つものである。
【００１８】
重畳部１１４は、上記前処理が施された後の第１楽音信号に同期して再生すべき曲データの内容を指示する透かし情報を、その第１楽音信号に重畳する。ここでは、重畳部１１４は、第１楽音信号を搬送するための搬送波を表す搬送波信号を透かし情報に基づいて位相変調することにより、第１楽音信号の周波数成分よりも高い帯域に透かし情報が含まれるようにする。このようにして、第１楽音信号に透かし情報が重畳された楽音信号のことを、以下では「第２楽音信号」と称する。すなわち、第２楽音信号は、第１楽音信号と、透かし情報の波形を表す波形信号とが合成された楽音信号である。
なお、オーディオデータが複数チャネルからなる場合には、重畳部１１４は少なくとも１チャネルの第１楽音信号に透かし情報を重畳して第２楽音信号を生成すればよい。
【００１９】
図７は、第２楽音信号の構造を説明する図である。図７に示すグラフにおいて、横軸は周波数ｆを表しており、縦軸は周波数成分の音圧レベルを模式的に表したものである。図７に示すように、第２楽音信号にあっては、周波数ｆ0よりも低い周波数帯域に第１楽音信号の周波数成分が含まれており、周波数ｆ0よりも高い周波数帯域に透かし情報の周波数成分が含まれている。第１楽音信号は例えば可聴域（およそ２０Ｈｚ〜２０ｋＨｚ）に周波数成分を持つものであり、可聴域よりも高い帯域に透かし情報を重畳する帯域が確保されるからである。周波数ｆ0は、例えば２０ｋＨｚ以上のように可聴域外であることが好ましい。この場合、第２楽音信号に応じた楽音が放音された場合であっても、人間の耳には透かし情報に相当する音声を聴き取ることができないため聴感上の影響が少ないからである。また、楽音信号を圧縮するときのエンコーダの特性や、Ａ（アナログ）／Ｄ（デジタル）変換に用いるＡ／Ｄ変換器の特性などにより、可聴域外に重畳された透かし情報を維持することができない場合などには、例えば１５ｋＨｚ以上のように可聴域の比較的帯域に透かし情報が重畳されてもよい。要するに、第１楽音信号の周波数成分よりも高い帯域であって、聴感上の影響が低い帯域に透かし情報が重畳されることが好ましい。
出力インタフェース１５は、重畳部１１４により透かし情報が重畳された楽音信号である第２楽音信号を、自動演奏装置２０の制御部２１によって取得されるように出力する。制御部１１は、或る処理単位毎に供給される第１楽音信号に対して上記各機能により実現される処理を繰り返し行って、自動演奏装置２０に出力するための第２楽音信号を生成する。
【００２０】
図８は、出力インタフェース１５により出力される第２楽音信号の時系列的な変化を説明する図である。図８に示すグラフにおいて、横軸は時刻ｔを表しており、縦軸は第２楽音信号の振幅を表す。図８において、実線で示す波形が第２楽音信号を表すものであり、それに沿って描かれる破線はエンベロープを表す。
図８に示すように、第２楽音信号にはあっては、図中矢印で示す各区間にそれぞれ対応する再生時刻を示すタイムコードと、ＳｏｎｇＩＤとを含む透かし情報が重畳されている。ここでは、１つのオーディオファイルＡｕｄから生成される第２楽音信号は１つの楽曲に対応するので、ＳｏｎｇＩＤはすべて「００１」と共通している。また、タイムコードが示す再生時刻は時系列的に順番に「０：０１」、「０：０２」、・・・とされており、ここでは１秒刻みで定められている。
【００２１】
［自動演奏装置２０］
次に、自動演奏装置２０によって実現される機能について説明する。
図９は、自動演奏装置２０の制御部２１が実現する機能的構成を示す機能ブロック図である。制御部２１はプログラムを実行することにより、楽音信号取得部２１１、第１再生部２１２、復号部２１３、読出部２１４、及び第２再生部２１５に相当する各機能を実現する。
楽音信号取得部２１１は、楽音信号出力装置１０により出力された第２楽音信号を入力インタフェース２２から取得する。すなわち、楽音信号取得部２１１は、本発明の取得手段の一例に相当する。
【００２２】
第１再生部２１２は、例えば遮断周波数をｆ0とするＬＰＦを備えており、楽音信号取得部２１１により取得された第２楽音信号にこのＬＰＦを用いたフィルタリング処理を施してから、第２楽音信号を再生する。これにより、第１再生部２１２は、透かし情報の周波数成分を除去した後の第２楽音信号を再生することになるから、その再生内容は理想的には第１楽音信号の場合と同等となる。つまり、第１再生部２１２は、第１楽音信号に応じた楽音がスピーカ２４によって放音されるように、第２楽音信号を再生することとなる。すなわち、第１再生部２１２は、本発明の第１再生手段の一例に相当する。
なお、可聴域外に透かし情報の周波数成分が含まれる場合や、透かし情報の周波数成分の音圧レベルが低い場合などには、透かし情報に相当する音声に対する聴感上の影響が少ないため、上記フィルタリング処理を省略してもよい。つまり、第１再生部２１２は、楽音信号取得部２１１により取得された第２楽音信号をそのまま再生してもよい。
【００２３】
復号部２１３は、例えば遮断周波数をｆ0とするＨＰＦ（High Pass Filter）を備え、第２楽音信号から透かし情報を復号する。上述したように、透かし情報の周波数成分は第１楽音信号よりも高い帯域に含まれる。よって、復号部２１３は、このＨＰＦを用いたフィルタリング処理を施して、第２楽音信号から透かし情報に相当する周波数成分を取り出すことができる。そして、復号部２１３は、このフィルタリング処理により取り出した信号を復調することによって透かし情報を復号する。すなわち、復号部２１３は、本発明の復号手段の一例に相当する。
読出部２１４は、復号部２１３により復号された透かし情報に基づいてＳｏｎｇＩＤを特定し、特定したＳｏｎｇＩＤに対応付けられたＭＩＤＩデータを、ＭＩＤＩファイル記憶領域２３１から読み出す。すなわち、読出部２１４は、本発明の読出手段の一例に相当する。
【００２４】
第２再生部２１５は、第１再生部２１２により再生される第２楽曲信号に同期して再生すべき曲データの内容を透かし情報に基づいて特定し、特定した内容を再生する。第２再生部２１５は、読出部２１４により読み出されたＭＩＤＩデータのうち、復号部２１３により復号された透かし情報から復号したタイムコードが示す再生時刻の内容を再生する。これにより、第２再生部２１５は、第１再生部２１２により再生される第２楽音信号に同期して、その第２楽音信号の再生時刻に対応するＭＩＤＩデータの内容を再生することができる。すなわち、第２再生部２１５は、本発明の第２再生手段の一例に相当する。
【００２５】
図１０は、第２再生部２１５において実行される処理の内容を説明する図である。
第２再生部２１５が再生時刻を特定すると、ＭＩＤＩデータのうちこの再生時刻に対応するイベントを特定する。例えば再生時刻が「０：０４」である場合に同期して再生すべき曲データ内容が、図中実線矢印で示すイベントＥ３であるとする。この場合、第２再生部２１５は、イベントＥ３を表すイベントデータに基づいてＭＩＤＩデータを再生する。ところで、例えば復号部２１３、読出部２１４及び第２再生部２１５において実行される処理には或る処理時間を要する。よって、その処理時間（例えば、１００ｍｓ）をあらかじめ見込んでおき、第２再生部２１５は透かし情報から特定した再生時刻よりもその処理時間だけ先のイベントデータに基づいてＭＩＤＩデータを再生するとよい。また、第２再生部２１５が再生時刻「０：０４」を特定したときに、図中点線矢印で示すようにイベントＥ１を表すイベントデータに基づいてＭＩＤＩデータを再生している場合のように、ＭＩＤＩデータと第２楽音信号との再生タイミングが意図するものからずれている場合には、第２再生部２１５は、イベントＥ１，Ｅ２を省略したり、テンポを早くしたりする（デルタタイムを短くする）などして、同期再生が実現されるようにするとよい。
【００２６】
制御部１１は、以上の手順により同期再生を行うとともに、さらに、演奏操作部２５により受け付けられた演奏操作に応じて生成された楽音信号を合成し、その合成後の楽音信号に応じた楽音をスピーカ２４に放音させる。また、制御部１１は、ＭＩＤＩデータの再生内容に応じて演奏操作部２５の駆動回路を駆動することにより、演奏者の操作がなくとも対応する各鍵を押下させる。
【００２７】
以上説明した実施形態によると、楽音信号出力装置１０は、第１楽音信号とＭＩＤＩデータとを同期再生するために使用する透かし情報をその第１楽音信号に重畳し、それを第２楽音信号として出力する。自動演奏装置２０は、第２楽音信号に同期して再生すべきＭＩＤＩデータの内容を透かし情報に基づいて特定し、特定したＭＩＤＩデータの内容と第２楽音信号とを同期再生する。また、楽音信号出力装置１０や自動演奏装置２０が第２楽音信号をデータ圧縮した場合に、仮にＳｏｎｇＩＤやタイムコードの一部が失われたとしても、その失われた期間においてのみＭＩＤＩデータの再生すべき内容を特定できないもののその期間においてもＭＩＤＩデータを継続して再生することはできるので、さほど同期再生の妨げとはならない。
以上のように、再生システム１によれば、楽音信号から得られる情報に基づいて、その楽音信号と曲データとを同期再生することができる。
【００２８】
［変形例］
本発明は、上述した実施形態と異なる形態で実施することが可能である。また、以下に示す変形例は、各々を適宜に組み合わせてもよい。
（変形例１）
上述した実施形態では、楽音信号出力装置１０は、ＳｏｎｇＩＤとタイムコードとを含む透かし情報を第１楽音信号に重畳していた。これに代えて、楽音信号出力装置１０は、透かし情報としてＭＩＤＩデータを第１楽音信号に重畳するようにしてもよい。この場合も透かし情報は、第１楽音信号に同期して再生すべきＭＩＤＩデータの内容を指示する情報である。この変形例の構成においては、上述した実施形態の自動演奏装置２０が記憶していたＭＩＤＩファイルを楽音信号出力装置１０が記憶すればよく、自動演奏装置２０はそれを記憶していなくてもよい。
【００２９】
この変形例の構成において、透かし情報生成部１１２は、第１楽音信号と同期して再生するべきＭＩＤＩデータの内容を特定し、その内容を示すビット列を透かし情報として生成する。重畳部１１４は、その透かし情報を実施形態で説明したものと同じ態様で第１楽音信号に重畳する。楽音信号出力装置１０が実行するその他の処理は、実施形態で説明したものと同じである。一方、自動演奏装置２０の第２再生部２１５は、第２楽音信号から復号された透かし情報に基づいてＭＩＤＩデータの内容を特定し、特定した内容を再生する。
この構成によれば、同期再生すべきＭＩＤＩデータを楽音信号出力装置１０側で指定することができるため、新たなＭＩＤＩファイルを自動演奏装置２０に記憶させなくてもよい。一方で、この構成の場合、透かし情報のデータ量が実施形態の構成よりも大きくなり得るので、透かし情報の重畳やその復号に要する処理時間が実施形態の場合よりも長くなるいことが考えられる。しかしながら、この場合も、それらの処理に要する処理時間をあらかじめ見込んで第２再生部２１５が再生時刻を特定することにより、同期再生は実施形態と同じように実現される。
【００３０】
（変形例２）
上述した実施形態では、楽音信号出力装置１０と自動演奏装置２０とがオーディオケーブル１００によって接続されていたが、以下に説明する再生システム１ａの構成としてもよい。
図１１は、再生システム１ａの構成を示すブロック図である。再生システム１ａは、楽音信号出力装置１０ａと自動演奏装置２０ａとにより構成される。なお、図１１においては、制御部１１，２１を除く、図示するもの以外の構成については、楽音信号出力装置１０ａは楽音信号出力装置１０と同等の構成を有し、自動演奏装置２０ａは自動演奏装置２０と同等の構成を有している。
楽音信号出力装置１０ａは、出力インタフェース１５に代えて、例えば自装置に着脱自在なスピーカ１６を備える。スピーカ１６は、制御部１１から供給される楽音信号に応じて放音する放音手段に相当する。一方、自動演奏装置２０ａは、入力インタフェース２２に代えて、例えば自装置に着脱自在なマイクロホン２７を備える。マイクロホン２７は、収音し、収音した音声を表す音声信号を制御部２１に出力する収音手段に相当するものである。また、スピーカ１６によって放音された音がマイクロホン２７によって収音されるように、楽音信号出力装置１０ａと自動演奏装置２０ａとは或る程度近接して設置される。
【００３１】
この構成において、楽音信号出力装置１０ａの制御部１１は、生成した第２楽音信号をスピーカ１６に出力（つまり、放音出力）し、この第２楽音信号に応じた楽音をスピーカ１６に放音させる。自動演奏装置２０ａの制御部２１は、スピーカ１６によって放音された楽音をマイクロホン２７に収音させ、その収音結果を表す音声信号を第２楽音信号として取得する。制御部２１は、この第２楽音信号から実施形態と同じ手順により透かし情報を復号することで、実施形態と同等の同期再生を実現する。その他の処理は実施形態で説明したものと同じであり、この変形例の構成であっても実施形態の場合と同等の効果を奏する。
【００３２】
また、以下の再生システム１ｂの構成に変形してもよい。図１２は、再生システム１ｂの構成を示すブロック図である。再生システム１ｂは、楽音信号出力装置１０ｂと自動演奏装置２０ｂとにより構成される。なお、図１２においては、制御部１１，２１を除く、図示するもの以外の構成については、楽音信号出力装置１０ｂは楽音信号出力装置１０と同等の構成を有し、自動演奏装置２０ｂは自動演奏装置２０と同等の構成を有している。
楽音信号出力装置１０ｂは、第２楽音信号を送信出力する機能を持つ送信機であり、例えば放送局の送信機である。自動演奏装置２０ｂは、楽音信号出力装置１０ｂにより送信出力された第２楽音信号を受信する機能を持つ受信機であり、例えば放送局により放送された音声を聴く利用者により所有される。楽音信号出力装置１０ｂは、出力インタフェース１５に代えて送信部１７を備える。送信部１７は、制御部１１から供給される第２楽音信号に応じて搬送波を表す搬送波信号を変調して送信用信号を生成し、これを送信出力する。自動演奏装置２０ｂは、入力インタフェース２２に代えて受信部２８を備える。受信部２８は、楽音信号出力装置１０ｂにより送信された送信用信号を受信すると、これを復調することによって第２楽音信号を取り出し、制御部２１に出力する。制御部２１は、この第２楽音信号から実施形態と同等の手法により透かし情報を復号し、同期再生を実現する。その他の処理は実施形態で説明したものと同じであり、この構成であっても実施形態の場合と同等の効果を奏する。
この構成によれば、自動演奏装置２０ｂを所有する利用者は、自身の自動演奏装置２０ｂを用いて遠隔地にある楽音信号出力装置１０ｂにより出力された楽音信号が表す楽音と同期演奏（同期再生）を楽しむことができる。一方、自動演奏装置２０ｂを所有しない利用者であっても、楽音の聴取上の悪影響は少ない。
【００３３】
また、楽音信号出力装置１０ｂと自動演奏装置２０ｂとをインターネットなどの通信網を介して接続し、オーディオデータなどを圧縮して音声や動画を配信するサービスに本発明を適用することができる。この場合、楽音信号出力装置１０ｂはコンテンツプロバイダなどのサーバ装置である。一方、自動演奏装置２０ｂはコンテンツプロバイダからのコンテンツの提供を受けるクライアントにより所有される。この場合、楽音信号出力装置１０ｂは配信するコンテンツに含まれる第２楽音信号に透かし情報を重畳して送信出力する。そして、自動演奏装置２０ｂは受信した第２楽音信号から透かし情報を復号して、同期再生を実現する。
【００３４】
（変形例３）
上述した実施形態において楽音信号出力装置１０が透かし情報を重畳するための構成を以下のように変形してもよい。例えばＭ系列、Ｇｏｌｄ系列を用いた擬似ノイズ信号を用いた方法を採用してもよい。この場合、重畳部１１４は擬似ノイズ信号を発生し、これを透かし情報に基づいて位相変調する。一方、復号部２１３は、重畳部１１４と同じ擬似ノイズ信号を生成し、第２楽音信号との相関を求める。第２楽音信号に重畳される擬似ノイズ信号として自己相関性の非常に高い信号が用いられた場合に、その第２楽音信号と擬似ノイズ信号との相関を求めると、急峻なピークの現れる波形が抽出される。この波形が透かし情報を示しており、復号部２１３はこの波形を抽出して透かし情報を復号することができる。また、この擬似ノイズ信号を用いてスペクトラム拡散を行うようにしてもよいし、直交周波数分割多重方式（ＯＦＤＭ変調：Orthogonal Frequency-Division Multiplexing）の採用により透かし情報を重畳してもよい。後者の場合、制御部１１は、第１楽音信号の周波数成分のうち高周波数側の一部の帯域を除去した後、ＯＦＤＭ変調した透かし情報を元の第１楽音信号の周波数分布に合わせてその帯域に重畳する。この重畳の態様であっても、楽音信号出力装置１０は第１楽音信号の周波数成分よりも高周波数の帯域に透かし情報を重畳しており、上述の実施形態の構成と同等の効果を奏する。
【００３５】
上述した実施形態において、自動演奏装置２０は、ＭＩＤＩデータ以外の形式（例えば、ＭＰ３）の曲データを用いてもよい。また、自動演奏装置２０は自動演奏機能を有する電子ピアノであったが、エレキアコースティックギターや電子エレクトーンなどの他の種類の電子楽器であってもよい。また、電子楽器として機能する装置に限定されず、少なくとも、楽音信号を再生する一方で、曲データを再生する機能を持つ再生装置に本発明を適用することができる。
上述した実施形態において、前処理部１１３に相当する機能を省略してもよい。例えば、周波数ｆ0以上よりも周波数の高い帯域に楽音信号の周波数成分が含まれない場合や、透かし情報の周波数成分に対して楽音信号の周波数成分の音圧レベルがかなり小さい場合には、この前処理を省略しても聴感上の影響がほとんどないし、透かし情報の復号における悪影響はほとんど生じないと考えられるからである。
【００３６】
上述した実施形態における楽音信号出力装置１０の制御部１１や、自動演奏装置２０の制御部２１によって実行されるプログラムは、磁気記録媒体（磁気テープ、磁気ディスク（ＨＤＤ、ＦＤ）など）、光記録媒体（光ディスク（ＣＤ、ＤＶＤ）など）、光磁気記録媒体、半導体メモリなどのコンピュータ読取り可能な記録媒体に記録した状態で提供し得る。また、インターネットのようなネットワーク経由でダウンロードさせることも可能である。このように制御部１１や制御部２１によって実現される機能は、１又は複数のソフトウェアにより実現されてもよいし、１又は複数のハードウェアにより実現されてもよい。
【符号の説明】
【００３７】
１，１ａ，１ｂ…再生システム、１０，１０ａ，１０ｂ…楽音信号出力装置、１００…オーディオケーブル、１１…制御部、１１１…再生時刻特定部、１１２…透かし情報生成部、１１３…前処理部、１１４…重畳部、１２…記憶部、１２１…オーディオファイル記憶領域、１３…操作部、１４…表示部、１５…出力インタフェース、１６…スピーカ、１７…送信部、２０，２０ａ，２０ｂ…自動演奏装置、２１…制御部、２１１…楽音信号取得部、２１２…第１再生部、２１３…復号部、２１４…読出部、２１５…第２再生部、２２…入力インタフェース、２３…記憶部、２３１…ＭＩＤＩファイル記憶領域、２４…スピーカ、２５…演奏操作部、２６…楽音信号生成部、２７…マイクロホン、２８…受信部
【特許請求の範囲】
【請求項１】
第１楽音信号に同期して再生すべき曲データの内容を指示する透かし情報がその第１楽音信号の周波数成分よりも高い帯域に重畳された第２楽音信号を取得する取得手段と、
前記取得手段により取得された第２楽音信号を再生する第１再生手段と、
前記取得された第２楽音信号から前記透かし情報を復号する復号手段と、
前記第１再生手段により再生される第２楽音信号に同期して再生すべき前記内容を復号された前記透かし情報に基づいて特定し、特定した内容を再生する第２再生手段と
を備えることを特徴とする再生装置。
【請求項２】
前記透かし情報は、曲データを識別する曲識別情報と、その曲データの再生すべき位置を示す位置情報とを含み、
前記曲識別情報とその曲識別情報により識別される曲データとを対応付けて記憶する曲データ記憶手段から、前記復号手段により復号された透かし情報に含まれる曲識別情報に対応付けられた曲データを読み出す読出手段を備え、
前記第２再生手段は、前記読出手段により読み出された曲データの前記透かし情報に含まれる位置情報が示す位置の内容を再生する
ことを特徴とする請求項１に記載の再生装置。
【請求項３】
第１楽音信号に同期して再生すべき曲データの内容を指示する透かし情報をその第１楽音信号の周波数成分よりも高い帯域に重畳する重畳手段と、
前記重畳手段により透かし情報が重畳された第２楽音信号を出力する出力手段と
を備えることを特徴とする楽音信号出力装置。
【請求項４】
請求項３に記載の楽音信号出力装置と、
請求項１又は２に記載の再生装置と
を備えることを特徴とする再生システム。
【請求項５】
コンピュータを、
第１楽音信号に同期して再生すべき曲データの内容を指示する透かし情報がその第１楽音信号の周波数成分よりも高い帯域に重畳された第２楽音信号を取得する取得手段と、
前記取得手段により取得された第２楽音信号を再生する第１再生手段と、
前記取得された第２楽音信号から前記透かし情報を復号する復号手段と、
前記第１再生手段により再生される第２楽音信号に同期して再生すべき前記内容を復号された前記透かし情報に基づいて特定し、特定した内容を再生する第２再生手段
として機能させるためのプログラム。
【請求項１】
第１楽音信号に同期して再生すべき曲データの内容を指示する透かし情報がその第１楽音信号の周波数成分よりも高い帯域に重畳された第２楽音信号を取得する取得手段と、
前記取得手段により取得された第２楽音信号を再生する第１再生手段と、
前記取得された第２楽音信号から前記透かし情報を復号する復号手段と、
前記第１再生手段により再生される第２楽音信号に同期して再生すべき前記内容を復号された前記透かし情報に基づいて特定し、特定した内容を再生する第２再生手段と
を備えることを特徴とする再生装置。
【請求項２】
前記透かし情報は、曲データを識別する曲識別情報と、その曲データの再生すべき位置を示す位置情報とを含み、
前記曲識別情報とその曲識別情報により識別される曲データとを対応付けて記憶する曲データ記憶手段から、前記復号手段により復号された透かし情報に含まれる曲識別情報に対応付けられた曲データを読み出す読出手段を備え、
前記第２再生手段は、前記読出手段により読み出された曲データの前記透かし情報に含まれる位置情報が示す位置の内容を再生する
ことを特徴とする請求項１に記載の再生装置。
【請求項３】
第１楽音信号に同期して再生すべき曲データの内容を指示する透かし情報をその第１楽音信号の周波数成分よりも高い帯域に重畳する重畳手段と、
前記重畳手段により透かし情報が重畳された第２楽音信号を出力する出力手段と
を備えることを特徴とする楽音信号出力装置。
【請求項４】
請求項３に記載の楽音信号出力装置と、
請求項１又は２に記載の再生装置と
を備えることを特徴とする再生システム。
【請求項５】
コンピュータを、
第１楽音信号に同期して再生すべき曲データの内容を指示する透かし情報がその第１楽音信号の周波数成分よりも高い帯域に重畳された第２楽音信号を取得する取得手段と、
前記取得手段により取得された第２楽音信号を再生する第１再生手段と、
前記取得された第２楽音信号から前記透かし情報を復号する復号手段と、
前記第１再生手段により再生される第２楽音信号に同期して再生すべき前記内容を復号された前記透かし情報に基づいて特定し、特定した内容を再生する第２再生手段
として機能させるためのプログラム。
【図１】
【図２】
【図３】
【図４】
【図５】
【図６】
【図７】
【図８】
【図９】
【図１０】
【図１１】
【図１２】
【図２】
【図３】
【図４】
【図５】
【図６】
【図７】
【図８】
【図９】
【図１０】
【図１１】
【図１２】
【公開番号】特開２０１１−１４５５４１（Ｐ２０１１−１４５５４１Ａ）
【公開日】平成２３年７月２８日（２０１１．７．２８）
【国際特許分類】
【出願番号】特願２０１０−７１５０（Ｐ２０１０−７１５０）
【出願日】平成２２年１月１５日（２０１０．１．１５）
【出願人】（０００００４０７５）ヤマハ株式会社 (5,930)
【Ｆターム（参考）】
【公開日】平成２３年７月２８日（２０１１．７．２８）
【国際特許分類】
【出願日】平成２２年１月１５日（２０１０．１．１５）
【出願人】（０００００４０７５）ヤマハ株式会社 (5,930)
【Ｆターム（参考）】
[ Back to top ]