同期再生装置、楽曲自動リミックスシステム、同期再生方法および同期再生プログラム
【課題】周期性を有する音声情報または周期性を有する映像情報のいずれかである２つの視聴覚情報を再生時に滑らかに同期させる。
【解決手段】２つの視聴覚情報を再生時に同期させる同期再生方法であって、乗算部において、一方の視聴覚情報の単位時間当たりの周期的なアクセント数ＢＰＭＭに対して単調増加数列を形成する複数の数値を乗算するステップＳ４と、選択部において、前記乗算により得られた数値群から、他方の視聴覚情報の単位時間当たりの周期的なアクセント数ＢＰＭＯに最も近い数値ｂｏｐｔを選択するステップＳ５と、除算部において、前記他方の視聴覚情報の単位時間当たりの周期的なアクセント数ＢＰＭＯを、前記ｂｏｐｔで除算して得られる最適調整係数ｆｏｐｔを出力するステップＳ６と、を少なくとも含む。
【解決手段】２つの視聴覚情報を再生時に同期させる同期再生方法であって、乗算部において、一方の視聴覚情報の単位時間当たりの周期的なアクセント数ＢＰＭＭに対して単調増加数列を形成する複数の数値を乗算するステップＳ４と、選択部において、前記乗算により得られた数値群から、他方の視聴覚情報の単位時間当たりの周期的なアクセント数ＢＰＭＯに最も近い数値ｂｏｐｔを選択するステップＳ５と、除算部において、前記他方の視聴覚情報の単位時間当たりの周期的なアクセント数ＢＰＭＯを、前記ｂｏｐｔで除算して得られる最適調整係数ｆｏｐｔを出力するステップＳ６と、を少なくとも含む。
【発明の詳細な説明】
【技術分野】
【０００１】
本発明は、周期性を有する音声情報または周期性を有する映像情報のいずれかである２つの視聴覚情報を再生時に同期させる技術に関する。
【背景技術】
【０００２】
従来から、音楽を自動的にリミックスする技術が知られている。例えば、特開２００１−２４３６９２号公報（特許文献１）に開示されている技術は、リミックス対象となる前後２楽曲において、後ろの楽曲のＢＰＭ（Beats Per Minute）情報を、前の楽曲のＢＰＭ情報と一致させる。これにより、ユーザが、仮に楽曲のリミックスに熟練していなくても、容易にリミックスを行なうことができる。また、例えば、特表２００４−５２７７８６号公報（特許文献２）に開示されている技術は、楽曲のテンポを推定するために楽曲信号周波数成分の帯域通過フィルタリングによって得られた拍子候補に対し、振動器をマッチングさせることでテンポを自動抽出する。また、振動器の振動数を２の累乗することによって、検出テンポ精度を上げ、リミックスを行なっている。また、特開２００６−３３７９１４号公報（特許文献３）に開示されている技術は、楽曲自動リミックス機能を備えた再生装置に関するものである。この再生装置では、音響的特徴に基づいて楽曲リミックスを行なう際に、楽曲間エフェクトを挿入する。
【特許文献１】特開２００１−２４３６９２号公報
【特許文献２】特開２００４−５２７７８６号公報
【特許文献３】特開２００６−３３７９１４号公報
【非特許文献１】Ａｌｏｎｓｏ Ｍ．， Ｄａｖｉｄ Ｂ． ａｎｄ Ｒｉｃｈａｒｄ Ｇ．， “Ｔｅｍｐｏ ａｎｄ Ｂｅａｔ Ｅｓｔｉｍａｔｉｏｎ ｏｆ Ｍｕｓｉｃａｌ Ｓｉｇｎａｌｓ”， Ｐｒｏｃ． ＩＳＭＩＲ ２００４， ｐｐ． １５８−１６３
【発明の開示】
【発明が解決しようとする課題】
【０００３】
しかしながら、特許文献１では、ＢＰＭを一致させるリミックスを行なっているが、リミックス対象となる楽曲同士のＢＰＭが大きく異なる場合、ＢＰＭを一致させるための楽曲信号伸縮操作が音質を大きく劣化させてしまうという問題がある。また、特許文献２では、楽曲のテンポ情報推定後のリミックス時におけるＢＰＭ調整は、特許文献１と同様の手法を用いる必要があるため、同じような問題を有している。また、特許文献３においては、時系列上におけるテンポ、ビート情報を考慮して楽曲をリミックスしていないため、ＤＪが操作しているような心地の良いリミックスは得られない。さらに、従来の技術では、リミックス楽曲数が増えるに従って、ユーザの操作負担が増加してしまうという問題がある。
【０００４】
例えば、楽曲Ａ、ＢのＢＰＭをそれぞれＢＰＭＡ、ＢＰＭＢとし、楽曲テンポを調整する係数をｆとすると、従来の方法では、以下のような操作を行なっていた。すなわち、
ＢＰＭＡ＝ｆ×ＢＰＭＢ・・・（１）、または、
ｆ×ＢＰＭＡ＝ＢＰＭＢ・・・（２）、
となるような操作を行なうことによって、リミックス前後の楽曲のテンポを調整していた。しかしながら、式（１）、（２）では、テンポが大きく異なる楽曲をリミックスする場合は、音楽信号を伸縮する度合いが大きくなるため、音質が劣化してしまう。
【０００５】
本発明は、このような事情に鑑みてなされたものであり、周期性を有する音声情報または周期性を有する映像情報のいずれかである２つの視聴覚情報を再生時に滑らかに同期させることができる同期再生装置、楽曲自動リミックスシステム、同期再生方法および同期再生プログラムを提供することを目的とする。
【課題を解決するための手段】
【０００６】
（１）上記の目的を達成するために、本発明は、以下のような手段を講じた。すなわち、本発明の同期再生装置は、周期性を有する音声情報または周期性を有する映像情報のいずれかである２つの視聴覚情報を再生時に同期させる同期再生装置であって、一方の視聴覚情報の単位時間当たりの周期的なアクセント数ＢＰＭＭに対して単調増加数列を形成する複数の数値を乗算する乗算部と、前記乗算により得られた数値群から、他方の視聴覚情報の単位時間当たりの周期的なアクセント数ＢＰＭＯに最も近い数値ｂｏｐｔを選択する選択部と、前記他方の視聴覚情報の単位時間当たりの周期的なアクセント数ＢＰＭＯを、前記ｂｏｐｔで除算して得られる最適調整係数ｆｏｐｔを出力する除算部と、前記一方の視聴覚情報に対して少なくとも前記最適調整係数ｆｏｐｔを乗じて再生し、それと同時に前記他方の視聴覚情報を再生する再生部と、を備えることを特徴としている。
【０００７】
このように、乗算により得られた数値群から、他方の視聴覚情報の単位時間当たりの周期的なアクセント数ＢＰＭＯに最も近い数値ｂｏｐｔを選択し、前記他方の視聴覚情報の単位時間当たりの周期的なアクセント数ＢＰＭＯを、前記ｂｏｐｔで除算して得られる最適調整係数ｆｏｐｔを出力し、前記一方の視聴覚情報に対して少なくとも前記最適調整係数ｆｏｐｔを乗じて再生し、それと同時に前記他方の視聴覚情報を再生するので、両方の視聴覚情報のアクセント位置を合わせて再生することができる。これにより、ＢＰＭが大きく異なる視聴覚情報同士をリミックスする際の音声または画質の劣化を軽減することが可能となる。また、視聴者に対して、リミックスされた視聴覚情報を違和感なく提供することが可能となる。さらに、両方の視聴覚情報のアクセントの位置が自動的に合わせられるため、熟練していないユーザであっても、容易に視聴覚情報のリミックスを行なうことが可能となる。なお、視聴覚情報とは、音声情報および映像情報の両方の概念を含む。従って、本発明では、周期性を有するものであれば、２つの音声情報、２つの映像情報、および１つの音声情報と１つの映像情報を、再生時に同期させることが可能である。
【０００８】
（２）また、本発明の同期再生装置は、周期性を有する音声情報または周期性を有する映像情報のいずれかである２つの視聴覚情報を再生時に同期させる同期再生装置であって、一方の視聴覚情報の単位時間当たりの周期的なアクセント数ＢＰＭＭに対して単調増加数列を形成する複数の数値を乗算する乗算部と、前記乗算により得られた数値群から、他方の視聴覚情報の単位時間当たりの周期的なアクセント数ＢＰＭＯに最も近い数値ｂｏｐｔを選択する選択部と、前記他方の視聴覚情報の単位時間当たりの周期的なアクセント数ＢＰＭＯと、前記ｂｏｐｔとの相加平均ＢＰＭａｉｍを算出する相加平均算出部と、前記相加平均ＢＰＭａｉｍを前記ｂｏｐｔで除算して得られる最適調整係数ｆｏｐｔＭを出力すると共に、前記相加平均ＢＰＭａｉｍを前記他方の視聴覚情報の単位時間当たりの周期的なアクセント数ＢＰＭＯで除算して得られる最適調整係数ｆｏｐｔＯを出力する除算部と、前記一方の視聴覚情報に対して少なくとも前記最適調整係数ｆｏｐｔＭを乗じて再生し、それと同時に前記他方の視聴覚情報に対して少なくとも前記最適調整係数ｆｏｐｔＯを乗じて再生する再生部と、を備えることを特徴としている。
【０００９】
このように、乗算により得られた数値群から、他方の視聴覚情報の単位時間当たりの周期的なアクセント数ＢＰＭＯに最も近い数値ｂｏｐｔを選択し、前記他方の視聴覚情報の単位時間当たりの周期的なアクセント数ＢＰＭＯと、前記ｂｏｐｔとの相加平均ＢＰＭａｉｍを算出し、前記相加平均ＢＰＭａｉｍを前記ｂｏｐｔで除算して得られる最適調整係数ｆｏｐｔＭを出力し、前記相加平均ＢＰＭａｉｍを前記他方の視聴覚情報の単位時間当たりの周期的なアクセント数ＢＰＭＯで除算して得られる最適調整係数ｆｏｐｔＯを出力し、前記一方の視聴覚情報に対して少なくとも前記最適調整係数ｆｏｐｔＭを乗じて再生するので、両方の視聴覚情報のアクセント位置を合わせて再生することができる。これにより、ＢＰＭが大きく異なる視聴覚情報同士をリミックスする際の音声または画質の劣化を軽減することが可能となる。また、２つの視聴覚情報の双方を調整するので、一方のみを調整する場合よりも音質または画質の劣化を軽減させることが可能となる。また、視聴者に対して、リミックスされた視聴覚情報を違和感なく提供することが可能となる。さらに、両方の視聴覚情報のアクセントの位置が自動的に合わせられるため、熟練していないユーザであっても、容易に視聴覚情報のリミックスを行なうことが可能となる。
【００１０】
（３）また、本発明の同期再生装置において、前記再生部は、前記視聴覚情報に対して乗ずる調整係数を、時間経過に応じて１から最適調整係数まで変化させることを特徴としている。
【００１１】
このように、視聴覚情報に対して乗ずる調整係数を、時間経過に応じて１から最適調整係数まで変化させるので、単に最適調整係数を用いた場合よりも、２つの視聴覚情報のアクセント位置の調整を行なう際に、視聴者に対して与える違和感を軽減させることが可能となる。
【００１２】
（４）また、本発明の同期再生装置において、前記再生部は、前記最適調整係数が乗じられた視聴覚情報のアクセントの周期に合致した周期のアクセントを有する第三の視聴覚情報を、前記各視聴覚情報と同時に再生することを特徴としている。
【００１３】
このように、最適調整係数が乗じられた視聴覚情報のアクセントの周期に合致した周期のアクセントを有する第三の視聴覚情報を、前記各視聴覚情報と同時に再生するので、アクセントの位置を強調することができる。これにより、２つの視聴覚情報のアクセント位置の調整を行なう際に、視聴者に対して与える違和感を軽減させることが可能となる。
【００１４】
（５）また、本発明の同期再生装置において、前記再生部は、前記一方の視聴覚情報の再生が終了する前に前記他方の視聴覚情報の再生を開始することを特徴としている。
【００１５】
このように、一方の視聴覚情報の再生が終了する前に前記他方の視聴覚情報の再生を開始するので、２つの視聴覚情報のアクセント位置の調整を滑らかに行なうことが可能となる。
【００１６】
（６）また、本発明の同期再生装置は、２つの楽曲情報間の処理を行なう同期再生装置であって、予め選択されたエフェクト音Ｉおよびエフェクト音ＩＩについて、前記エフェクト音Ｉの単位時間当たりの周期的なアクセント数ＢＰＭ１に対して単調増加数列を形成する複数の数値を乗算して数値群Ｉを算出すると共に、前記エフェクト音ＩＩの単位時間当たりの周期的なアクセント数ＢＰＭ２に対して単調増加数列を形成する複数の数値を乗算して数値群ＩＩを算出する乗算部と、前記数値群Ｉから、前記一方の楽曲情報の単位時間当たりの周期的なアクセント数ＢＰＭ３に最も近い数値ｂｏｐｔ１を選択すると共に、前記数値群ＩＩから、前記他方の楽曲情報の単位時間当たりの周期的なアクセント数ＢＰＭ４に最も近い数値ｂｏｐｔ２を選択する選択部と、前記一方の楽曲情報の単位時間当たりの周期的なアクセント数ＢＰＭ３を、前記ｂｏｐｔ１で除算して得られる最適調整係数ｆｏｐｔ１を出力すると共に、前記他方の楽曲情報の単位時間当たりの周期的なアクセント数ＢＰＭ４を、前記ｂｏｐｔ２で除算して得られる最適調整係数ｆｏｐｔ２を出力する除算部と、前記一方の楽曲情報を再生すると共に、前記エフェクト音Ｉに対して前記最適調整係数ｆｏｐｔ１を乗じて再生し、前記エフェクト音ＩＩに対して前記最適調整係数ｆｏｐｔ２を乗じて再生すると共に、前記他方の楽曲情報を再生する再生部と、を備えることを特徴としている。
【００１７】
このように、エフェクト音ＩおよびＩＩによってテンポ調整を行なうことができるため、楽曲信号の伸縮操作が不要となる。その結果、楽曲の音質劣化が軽減される。その結果、楽曲が移り変わる部分における違和感を軽減することが可能となる。
【００１８】
（７）また、本発明の同期再生装置において、一方の楽曲情報の楽曲特徴量との特徴類似度が最も近い楽曲特徴量を持つエフェクト音Ｉと、他方の楽曲情報の楽曲特徴量との特徴類似度が最も近い楽曲特徴量を持つエフェクト音ＩＩとを選択するエフェクト音選択部を更に備えることを特徴としている。
【００１９】
このように、楽曲情報の楽曲特徴量との特徴類似度が最も近い楽曲特徴量を持つエフェクト音を選択するので、楽曲とエフェクト音とのリミックスを行なう際の音質劣化や違和感を軽減することが可能となる。
【００２０】
（８）また、本発明の楽曲自動リミックスシステムは、複数の楽曲データを格納する楽曲データベースと、ユーザの操作を契機としていずれか２つの楽曲データを選択する楽曲選択部と、請求項１から請求項５のいずれかに記載の同期再生装置と、前記同期再生装置により再生される楽曲データを音声として出力する出力部と、を備えることを特徴としている。
【００２１】
このように、乗算により得られた数値群から、他方の楽曲データの単位時間当たりの周期的なアクセント数ＢＰＭＯに最も近い数値ｂｏｐｔを選択し、前記他方の楽曲データの単位時間当たりの周期的なアクセント数ＢＰＭＯを、前記ｂｏｐｔで除算して得られる最適調整係数ｆｏｐｔを出力し、前記一方の楽曲データに対して少なくとも前記最適調整係数ｆｏｐｔを乗じて再生し、それと同時に前記他方の楽曲データを再生するので、両方の楽曲データのアクセント位置を合わせて再生することができる。これにより、ＢＰＭが大きく異なる楽曲データ同士をリミックスする際の音声劣化を軽減することが可能となる。また、視聴者に対して、リミックスされた楽曲データを違和感なく提供することが可能となる。さらに、両方の楽曲データのアクセントの位置が自動的に合わせられるため、熟練していないユーザであっても、容易に楽曲データのリミックスを行なうことが可能となる。
【００２２】
（９）また、本発明の同期再生方法は、周期性を有する音声情報または周期性を有する映像情報のいずれかである２つの視聴覚情報を再生時に同期させる同期再生方法であって、乗算部において、一方の視聴覚情報の単位時間当たりの周期的なアクセント数ＢＰＭＭに対して単調増加数列を形成する複数の数値を乗算するステップと、選択部において、前記乗算により得られた数値群から、他方の視聴覚情報の単位時間当たりの周期的なアクセント数ＢＰＭＯに最も近い数値ｂｏｐｔを選択するステップと、除算部において、前記他方の視聴覚情報の単位時間当たりの周期的なアクセント数ＢＰＭＯを、前記ｂｏｐｔで除算して得られる最適調整係数ｆｏｐｔを出力するステップと、再生部において、前記一方の視聴覚情報に対して少なくとも前記最適調整係数ｆｏｐｔを乗じて再生し、それと同時に前記他方の視聴覚情報を再生するステップと、を少なくとも含むことを特徴としている。
【００２３】
このように、乗算により得られた数値群から、他方の視聴覚情報の単位時間当たりの周期的なアクセント数ＢＰＭＯに最も近い数値ｂｏｐｔを選択し、前記他方の視聴覚情報の単位時間当たりの周期的なアクセント数ＢＰＭＯを、前記ｂｏｐｔで除算して得られる最適調整係数ｆｏｐｔを出力し、前記一方の視聴覚情報に対して少なくとも前記最適調整係数ｆｏｐｔを乗じて再生し、それと同時に前記他方の視聴覚情報を再生するので、両方の視聴覚情報のアクセント位置を合わせて再生することができる。これにより、ＢＰＭが大きく異なる視聴覚情報同士をリミックスする際の音声または画質の劣化を軽減することが可能となる。また、視聴者に対して、リミックスされた視聴覚情報を違和感なく提供することが可能となる。さらに、両方の視聴覚情報のアクセントの位置が自動的に合わせられるため、熟練していないユーザであっても、容易に視聴覚情報のリミックスを行なうことが可能となる。
【００２４】
（１０）また、本発明の同期再生方法は、周期性を有する音声情報または周期性を有する映像情報のいずれかである２つの視聴覚情報を再生時に同期させる同期再生方法であって、乗算部において、一方の視聴覚情報の単位時間当たりの周期的なアクセント数ＢＰＭＭに対して単調増加数列を形成する複数の数値を乗算するステップと、選択部において、前記乗算により得られた数値群から、他方の視聴覚情報の単位時間当たりの周期的なアクセント数ＢＰＭＯに最も近い数値ｂｏｐｔを選択するステップと、相加平均算出部において、前記他方の視聴覚情報の単位時間当たりの周期的なアクセント数ＢＰＭＯと、前記ｂｏｐｔとの相加平均ＢＰＭａｉｍを算出するステップと、除算部において、前記相加平均ＢＰＭａｉｍを前記ｂｏｐｔで除算して得られる最適調整係数ｆｏｐｔＭを出力すると共に、前記相加平均ＢＰＭａｉｍを前記他方の視聴覚情報の単位時間当たりの周期的なアクセント数ＢＰＭＯで除算して得られる最適調整係数ｆｏｐｔＯを出力するステップと、再生部において、前記一方の視聴覚情報に対して少なくとも前記最適調整係数ｆｏｐｔＭを乗じて再生し、それと同時に前記他方の視聴覚情報に対して少なくとも前記最適調整係数ｆｏｐｔＯを乗じて再生するステップと、を少なくとも含むことを特徴としている。
【００２５】
このように、乗算により得られた数値群から、他方の視聴覚情報の単位時間当たりの周期的なアクセント数ＢＰＭＯに最も近い数値ｂｏｐｔを選択し、前記他方の視聴覚情報の単位時間当たりの周期的なアクセント数ＢＰＭＯと、前記ｂｏｐｔとの相加平均ＢＰＭａｉｍを算出し、前記相加平均ＢＰＭａｉｍを前記ｂｏｐｔで除算して得られる最適調整係数ｆｏｐｔＭを出力し、前記相加平均ＢＰＭａｉｍを前記他方の視聴覚情報の単位時間当たりの周期的なアクセント数ＢＰＭＯで除算して得られる最適調整係数ｆｏｐｔＯを出力し、前記一方の視聴覚情報に対して少なくとも前記最適調整係数ｆｏｐｔＭを乗じて再生するので、両方の視聴覚情報のアクセント位置を合わせて再生することができる。これにより、ＢＰＭが大きく異なる視聴覚情報同士をリミックスする際の音声または画質の劣化を軽減することが可能となる。また、２つの視聴覚情報の双方を調整するので、一方のみを調整する場合よりも音質または画質の劣化を軽減させることが可能となる。また、視聴者に対して、リミックスされた視聴覚情報を違和感なく提供することが可能となる。さらに、両方の視聴覚情報のアクセントの位置が自動的に合わせられるため、熟練していないユーザであっても、容易に視聴覚情報のリミックスを行なうことが可能となる。
【００２６】
（１１）また、本発明の同期再生プログラムは、コンピュータにロードされることによって、周期性を有する音声情報または周期性を有する映像情報のいずれかである２つの視聴覚情報を再生時に同期させる同期再生プログラムであって、一方の視聴覚情報の単位時間当たりの周期的なアクセント数ＢＰＭＭに対して単調増加数列を形成する複数の数値を乗算する処理と、前記乗算で得られる数値群から、他方の視聴覚情報の単位時間当たりの周期的なアクセント数ＢＰＭＯに最も近い数値ｂｏｐｔを選択する処理と、前記他方の視聴覚情報の単位時間当たりの周期的なアクセント数ＢＰＭＯを、前記ｂｏｐｔで除算して最適調整係数ｆｏｐｔを出力する処理と、前記一方の視聴覚情報に対して少なくとも前記最適調整係数ｆｏｐｔを乗じて再生し、それと同時に前記他方の視聴覚情報を再生する処理と、を少なくとも含むことを特徴としている。
【００２７】
このように、乗算により得られた数値群から、他方の視聴覚情報の単位時間当たりの周期的なアクセント数ＢＰＭＯに最も近い数値ｂｏｐｔを選択し、前記他方の視聴覚情報の単位時間当たりの周期的なアクセント数ＢＰＭＯを、前記ｂｏｐｔで除算して得られる最適調整係数ｆｏｐｔを出力し、前記一方の視聴覚情報に対して少なくとも前記最適調整係数ｆｏｐｔを乗じて再生し、それと同時に前記他方の視聴覚情報を再生するので、両方の視聴覚情報のアクセント位置を合わせて再生することができる。これにより、ＢＰＭが大きく異なる視聴覚情報同士をリミックスする際の音声または画質の劣化を軽減することが可能となる。また、視聴者に対して、リミックスされた視聴覚情報を違和感なく提供することが可能となる。さらに、両方の視聴覚情報のアクセントの位置が自動的に合わせられるため、熟練していないユーザであっても、容易に視聴覚情報のリミックスを行なうことが可能となる。なお、視聴覚情報とは、音声情報および映像情報の両方の概念を含む。従って、本発明では、周期性を有するものであれば、２つの音声情報、２つの映像情報、および１つの音声情報と１つの映像情報を、再生時に同期させることが可能である。
【００２８】
（１２）また、本発明の同期再生プログラムは、コンピュータにロードされることによって、周期性を有する音声情報または周期性を有する映像情報のいずれかである２つの視聴覚情報を再生時に同期させる同期再生プログラムであって、一方の視聴覚情報の単位時間当たりの周期的なアクセント数ＢＰＭＭに対して単調増加数列を形成する複数の数値を乗算する処理と、前記乗算で得られる数値群から、他方の視聴覚情報の単位時間当たりの周期的なアクセント数ＢＰＭＯに最も近い数値ｂｏｐｔを選択する処理と、前記他方の視聴覚情報の単位時間当たりの周期的なアクセント数ＢＰＭＯと、前記ｂｏｐｔとの相加平均ＢＰＭａｉｍを算出する処理と、前記相加平均ＢＰＭａｉｍを前記ｂｏｐｔで除算して得られる最適調整係数ｆｏｐｔＭを出力すると共に、前記相加平均ＢＰＭａｉｍを前記他方の視聴覚情報の単位時間当たりの周期的なアクセント数ＢＰＭＯで除算して得られた最適調整係数ｆｏｐｔＯを出力する処理と、前記一方の視聴覚情報に対して少なくとも前記最適調整係数ｆｏｐｔＭを乗じて再生し、それと同時に前記他方の視聴覚情報に対して少なくとも前記最適調整係数ｆｏｐｔＯを乗じて再生する処理と、を少なくとも含むことを特徴としている。
【００２９】
このように、乗算により得られた数値群から、他方の視聴覚情報の単位時間当たりの周期的なアクセント数ＢＰＭＯに最も近い数値ｂｏｐｔを選択し、前記他方の視聴覚情報の単位時間当たりの周期的なアクセント数ＢＰＭＯと、前記ｂｏｐｔとの相加平均ＢＰＭａｉｍを算出し、前記相加平均ＢＰＭａｉｍを前記ｂｏｐｔで除算して得られる最適調整係数ｆｏｐｔＭを出力し、前記相加平均ＢＰＭａｉｍを前記他方の視聴覚情報の単位時間当たりの周期的なアクセント数ＢＰＭＯで除算して得られる最適調整係数ｆｏｐｔＯを出力し、前記一方の視聴覚情報に対して少なくとも前記最適調整係数ｆｏｐｔＭを乗じて再生するので、両方の視聴覚情報のアクセント位置を合わせて再生することができる。これにより、ＢＰＭが大きく異なる視聴覚情報同士をリミックスする際の音声または画質の劣化を軽減することが可能となる。また、２つの視聴覚情報の双方を調整するので、一方のみを調整する場合よりも音質または画質の劣化を軽減させることが可能となる。また、視聴者に対して、リミックスされた視聴覚情報を違和感なく提供することが可能となる。さらに、両方の視聴覚情報のアクセントの位置が自動的に合わせられるため、熟練していないユーザであっても、容易に視聴覚情報のリミックスを行なうことが可能となる。
【発明の効果】
【００３０】
本発明によれば、乗算により得られた数値群から、他方の視聴覚情報の単位時間当たりの周期的なアクセント数ＢＰＭＯに最も近い数値ｂｏｐｔを選択し、前記他方の視聴覚情報の単位時間当たりの周期的なアクセント数ＢＰＭＯを、前記ｂｏｐｔで除算して得られる最適調整係数ｆｏｐｔを出力し、前記一方の視聴覚情報に対して少なくとも前記最適調整係数ｆｏｐｔを乗じて再生し、それと同時に前記他方の視聴覚情報を再生するので、両方の視聴覚情報のアクセント位置を合わせて再生することができる。これにより、ＢＰＭが大きく異なる視聴覚情報同士をリミックスする際の音声または画質の劣化を軽減することが可能となる。また、視聴者に対して、リミックスされた視聴覚情報を違和感なく提供することが可能となる。さらに、両方の視聴覚情報のアクセントの位置が自動的に合わせられるため、熟練していないユーザであっても、容易に視聴覚情報のリミックスを行なうことが可能となる。
【発明を実施するための最良の形態】
【００３１】
（第１の実施形態）
次に、本発明に係る実施形態について、図面を参照しながら説明する。図１は、本発明の第１の実施形態に係る同期再生装置の概略構成を示すブロック図である。この同期再生装置１は、周期性を有する２つの音声情報、周期性を有する２つの映像情報、または周期性を有する１つの音声情報と周期性を有する１つの映像情報を、再生時に同期させる。本明細書では、周期性を有する音声情報および周期性を有する映像情報を、「視聴覚情報」と呼称する。すなわち、本明細書において、視聴覚情報といった場合は、周期性を有する音声情報または周期性を有する映像情報のいずれかを指すものとしている。また、ＢＰＭ（Beats Per Minute）とは、１分間あたりのアクセント数（ビート数）を意味する。アクセント（ビート）とは、音声情報の場合は、周期的な音声の強弱のことをいう。また、映像情報の場合は、周期的な繰返し映像のことであり、例えば、ボールがバウンドしている映像中、地面に着いた瞬間のボールの映像のことをいう。アクセント位置（ビート位置）とは、時間軸上でのアクセント（ビート）の位置、すなわち、アクセントが現れる時刻のことをいう。
【００３２】
同期再生装置１において、乗算部２は、第１の視聴覚情報の単位時間当たりの周期的なアクセント数ＢＰＭＭに対して、単調増加数列を形成する複数の数値を乗算する。この「単調増加数列を形成する複数の数値」は、例えば、ｃを整数として、２ｃで求められる数値を使用することができる。この場合、「ｃ＝−２，−１，０，１，２」とすると、２ｃは、「２ｃ＝０．２５，０．５，１，２，４」と求めることができる。乗算部２は、第１の視聴覚情報の単位時間当たりの周期的なアクセント数ＢＰＭＭに対して、このように２ｃで求められる数値を乗算する。なお、ここでは、「単調増加数列を形成する複数の数値」の例として、２ｃを用いて説明したが、本発明は、これに限定されるわけではない。
【００３３】
選択部３は、乗算部２における乗算により得られた数値群から、第２の視聴覚情報の単位時間当たりの周期的なアクセント数ＢＰＭＯに最も近い数値ｂｏｐｔを選択する。例えば、乗算部２における乗算により得られた数値群を、｛ｂ１，ｂ２，ｂ３，ｂ４，ｂ５｝としたときに、これらの中から第２の視聴覚情報の単位時間当たりの周期的なアクセント数ＢＰＭＯに最も近い数値ｂｏｐｔを選択する。この場合、選択部３が選択した数値ｂｏｐｔは、直接除算部４に入力される。
【００３４】
除算部４は、第２の視聴覚情報の単位時間当たりの周期的なアクセント数ＢＰＭＯを、ｂｏｐｔで除算して得られる最適調整係数ｆｏｐｔを出力する。再生部５は、第１の視聴覚情報に対して、少なくとも最適調整係数ｆｏｐｔを乗じて再生し、それと同時に第２の視聴覚情報を再生する。なお、相加平均算出部６については後述する。
【００３５】
図２は、第１の実施形態に係る同期再生装置の動作を示すフローチャートである。ここでは、視聴覚情報として、周期性のある音声情報、例えば、楽曲を例にとって説明する。この同期再生装置は、楽曲のＢＰＭを合わせるのではなく、楽曲のビート位置に着目し、２つの楽曲の調整係数ｆが最小となるような最適調整係数ｆｏｐｔを求め、このｆｏｐｔに基づいて楽曲テンポを調整する。これによって、楽曲の音質劣化を軽減させたリミックスを行なうことが可能になる。具体的には、例えば、ＢＰＭ１２０の楽曲とＢＰＭ６０の楽曲とを結合する場合、ＢＰＭ６０の楽曲をＢＰＭ１２０となるようにテンポ調整すると、音質劣化が著しくなる。本発明では、ビート位置に着目し、ＢＰＭ６０の裏拍子を考慮することによって、テンポ調整をすることなくリミックスを可能とする。なお、ここでは、両方の視聴覚情報のアクセント位置を合わせて再生することを、「テンポ調整」と呼称する。
【００３６】
図２において、楽曲Ｍと楽曲Ｏとを選定する（ステップＳ１）。ここで、テンポ調整を行なう楽曲をＭとし、テンポ調整を行なわない楽曲をＯとする。次に、ＢＰＭ情報は既知であるかどうかを判断し（ステップＳ２）、既知でない場合は、テンポ解析を行なう（ステップＳ３）。ここでテンポ解析を行なって得られた楽曲ＭのＢＰＭを、ＢＰＭＭとし、楽曲ＯのＢＰＭをＢＰＭＯとする。一方、ステップＳ２において、ＢＰＭが既知である場合は、ステップＳ４に遷移する。
【００３７】
次に、ＢＰＭＭに対して、２ｃを乗算する。ここで、「ｃ＝−２，−１，０，１，２」とし、数値群Ｇ＝｛ｂ１、ｂ２，ｂ３，ｂ４，ｂ５｝を得る（ステップＳ４）。次に、数値群ＧからＢＰＭＯに最も近い値であるｂｏｐｔを算出する（ステップＳ５）。すなわち、
ｂｏｐｔ＝２Ｃｏｐｔ×ＢＰＭＭである。
【００３８】
次に、最適テンポ調整係数（最適調整係数）ｆｏｐｔを計算する（ステップＳ６）。すなわち、
ｆｏｐｔ＝ＢＰＭＯ／ｂｏｐｔである。
【００３９】
なお、ステップＳ３におけるテンポ解析では、例えば、非特許文献１に記載されているテンポ推定手法を用いて、楽曲Ｍ、楽曲ＯのＢＰＭを計算することができる。また、既存のテンポ推定手法を利用せずに、予め用意されている楽曲メタデータを用いることも可能である。
【００４０】
（第２の実施形態）
上記のように最適テンポ調整係数（最適調整係数）を算出する際に、第１および第２の視聴覚情報の両方を調整することも可能である。この場合、図１における選択部３が選択した数値ｂｏｐｔは、直接除算部４には入力されずに、相加平均算出部６に入力される。相加平均算出部６は、第２の視聴覚情報の単位時間当たりの周期的なアクセント数ＢＰＭＯと、選択部３により選択されたｂｏｐｔとの相加平均ＢＰＭａｉｍを算出する。除算部４は、相加平均ＢＰＭａｉｍをｂｏｐｔで除算して得られる最適調整係数ｆｏｐｔＭを出力すると共に、相加平均ＢＰＭａｉｍを第２の視聴覚情報の単位時間当たりの周期的なアクセント数ＢＰＭＯで除算して得られる最適調整係数ｆｏｐｔＯを出力する。再生部５は、第１の視聴覚情報に対して少なくとも最適調整係数ｆｏｐｔＭを乗じて再生し、それと同時に第２の視聴覚情報に対して少なくとも最適調整係数ｆｏｐｔＯを乗じて再生する。
【００４１】
第２の実施形態に係る同期再生装置の動作についても、図２に示すフローチャートで説明することができる。図２において、まず、楽曲Ｍと楽曲Ｏとを選定する（ステップＳ１）。ここで、楽曲Ｍの最適テンポ調整係数をｆｏｐｔＭとし、楽曲Ｏの最適テンポ調整係数をｆｏｐｔＯとする。そして、再生部５におけるテンポをＢＰＭａｉｍとする。ＢＰＭ情報は既知であるかどうかを判断し（ステップＳ２）、既知でない場合は、テンポ解析を行なう（ステップＳ３）。ここでテンポ解析を行なって得られた楽曲ＭのＢＰＭを、ＢＰＭＭとし、楽曲ＯのＢＰＭをＢＰＭＯとする。一方、ステップＳ２において、ＢＰＭが既知である場合は、ステップＳ４に遷移する。
【００４２】
次に、ＢＰＭＭに対して、２ｃを乗算する。ここで、「ｃ＝−２，−１，０，１，２」とし、数値群Ｇ＝｛ｂ１、ｂ２，ｂ３，ｂ４，ｂ５｝を得る（ステップＳ４）。次に、数値群ＧからＢＰＭＯに最も近い値であるｂｏｐｔを算出する（ステップＳ５）。すなわち、
ｂｏｐｔ＝２Ｃｏｐｔ×ＢＰＭＭである。
【００４３】
次に、ｂｏｐｔとＢＰＭＯとの相加平均から再生部５におけるテンポＢＰＭａｉｍを求め、楽曲Ｍの最適テンポ調整係数ｆｏｐｔＭと、楽曲Ｏの最適テンポ調整係数とをｆｏｐｔＯ求める（ステップＳ６）。すなわち、
ＢＰＭａｉｍ＝（ｂｏｐｔ＋ＢＰＭＯ）／２、
ｆｏｐｔＭ＝ＢＰＭａｉｍ／ｂｏｐｔ、
ｆｏｐｔＯ＝ＢＰＭａｉｍ／ＢＰＭＯにより求められる。
【００４４】
このように求められたｆｏｐｔＭと、ｆｏｐｔＯに従って、楽曲Ｍと楽曲Ｏとのテンポ調整を行なうことによって、一方のみをテンポ調整する場合に比べて、音質劣化を軽減させることが可能となる。
【００４５】
なお、第１および第２の実施形態で示した同期再生装置は、楽曲のリミックスだけではなく、周期性を有する情報について適用することが可能である。周期性を有する複数の情報を同期させて、再生をすることができる。この場合、上記のＢＰＭ情報を、周期情報に置き換えて、最適周期調整係数として計算すればよい。特許文献２では、本実施形態と同様に、テンポ候補から２の累乗を乗算して得た候補を加えてテンポ推定を行なっているが、本実施形態のように、リミックスの対象とする楽曲同士のＢＰＭ調整を行なうための指標として用いられてはいない。また、特許文献２では、対話型の音楽再生装置を提案しているが、全自動でのリミックスではない。これに対し、本実施形態では、楽曲のＢＰＭ情報から裏拍子を自動的に認識するため、最も音質劣化の少ないリミックスを提供することが可能である。
【００４６】
（第３の実施形態）
第３の実施形態では、最適テンポ調整係数（最適調整係数）を利用した楽曲リミックスについて説明する。最適テンポ調整係数と、楽曲のビート位置情報を利用することによって、楽曲のビート感を合わせた楽曲リミックスを実現する。なお、以下の説明では、テンポ調整をする楽曲をＭ、テンポ調整をしない楽曲をＯとして、両楽曲のＢＰＭ情報をＢＰＭＭ、ＢＰＭＯ、ビート位置情報をＬＭ＝｛ｌＭ１，ｌＭ３，ｌＭ３，・・・｝、ＬＯ＝｛ｌＯ１，ｌＯ２，ｌＯ３，・・・｝とする。
【００４７】
図３は、第３の実施形態に係る楽曲リミックスの手順を示すフローチャートであり、図４は、２つの楽曲をリミックスする際の重畳区間を示す図である。また、図５は、ボリュームコントロールの様子を示す図である。まず、リミックス後の楽曲同士の重畳区間ＴＭを定義する（ステップＴ１）。次に、最適テンポ調整係数ｆｏｐｔを計算し、テンポ変調区間Ｔ（Ｔ＝ｆｏｐｔ×ＴＭ）を計算する（ステップＴ２）。次に、楽曲Ｍの信号から、テンポ変調区間Ｔを抽出し、これをＥＭ（ｔ）とする（ステップＴ３）。
【００４８】
次に、楽曲ＭのＥＭ（ｔ）に対して、テンポ調整（ｆｏｐｔ×ＢＰＭＭ）を行なう（ステップＴ４）。テンポ調整された楽曲ＭのＥＭ（ｔ）をＥＭｍ（ｔ）とする（ステップＴ５）。また、楽曲Ｏの信号から、重畳区間ＴＭを抽出し、これをＥＯｍ（ｔ）とする（ステップＴ５）。これにより、ビート位置の調整が行なわれる。次に、ＥＭｍ（ｔ）、ＥＯｍ（ｔ）における開始ビート位置ＳＭｍ、ＳＯｍを、ＬＭ、ＬＯから求める（ステップＴ６）。次に、ボリュームコントロールを行なって（ステップＴ７）、ＳＭｍ、ＳＯｍを時系列上で合わせて、楽曲Ｍと楽曲Ｏとを結合させる（ステップＴ８）。
【００４９】
ここで、ステップＴ７において、楽曲を結合する際に、クロスフェード等のボリュームコントロールを適用することにより、滑らかな楽曲のリミックスを行なうことが可能である。ボリュームコントロールは、図５に示すボリュームコントロール関数のように、重畳区間において、信号の振幅を徐々に減少させるような信号を乗算することによって、適用することができる。また、信号の振幅を徐々に増加させるような信号を乗算するようにしても良い。
【００５０】
（第４の実施形態）
本実施形態では、テンポ調整の際に、２つの楽曲が重なる部分における違和感を軽減するために、第３の音源を挿入する。なお、第３の音源は、ドラム音のように、リズムのみの音であっても良いし、楽曲であっても良い。本実施形態では、前の楽曲が完全に終了する前に次の楽曲が開始する場合、すなわち、２つの楽曲が重なり合う場合について説明する。前の楽曲が完全に終了してから次の楽曲が開始する場合に第３の音源を再生する例については、後述する。図６は、第４の実施形態において第３の音源を挿入する手順を示すフローチャートであり、図７は、ビート位置に第３の音源を挿入した信号の様子を示す図である。また、図８は、第３の音源および楽曲に対するボリュームコントロールの様子を示す図である。図６において、まず、リミックス後の楽曲同士の重畳区間ＴＭを定義する（ステップＲ１）。次に、最適テンポ調整係数ｆｏｐｔを計算し、テンポ変調区間Ｔ（Ｔ＝ｆｏｐｔ×ＴＭ）を計算する（ステップＲ２）。次に、楽曲Ｍの信号から、テンポ変調区間Ｔを抽出し、これをＥＭ（ｔ）とする（ステップＲ３）。
【００５１】
次に、楽曲ＭのＥＭ（ｔ）に対して、テンポ調整（ｆｏｐｔ×ＢＰＭＭ）を行なう（ステップＲ４）。テンポ調整された楽曲ＭのＥＭ（ｔ）をＥＭｍ（ｔ）とする（ステップＲ５）。また、楽曲Ｏの信号から、重畳区間ＴＭを抽出し、これをＥＯｍ（ｔ）とする（ステップＲ５）。次に、ビート位置の調整を行なう。すなわち、ＥＭｍ（ｔ）、ＥＯｍ（ｔ）における開始ビート位置ＳＭｍ、ＳＯｍを、ＬＭ、ＬＯから求める（ステップＲ６）。次に、重畳区間内において、楽曲Ｍおよび楽曲Ｏのビート位置情報ｌＡを取得し（ステップＲ７）、ｌＡの位置に第３の音源を挿入する（ステップＲ８）。図７は、ビート位置であるｌＡ１，ｌＡ２，ｌＡ３，・・・に第３の音源（ドラム音）を挿入した様子を示している。次に、図８に示すように、ボリュームコントロールを行なう（ステップＲ９）。具体的には、重畳区間内で、楽曲Ｍのボリュームを次第に減少させると共に、ドラム音源のボリュームを次第に上げていく。また、同時に楽曲Ｏのボリュームも次第に上げていく。重畳区間の中央あたりで、ドラム音源のボリュームを次第に下げていく。これにより、楽曲Ｍと楽曲Ｏとを結合させる（ステップＲ１０）。第４の実施形態によれば、楽曲のリミックスを行なう際の違和感を軽減することが可能となる。
【００５２】
（第５の実施形態）
本実施形態では、上記の第３の実施形態のステップＴ４において、テンポ調整係数に基づいてテンポ調整を行なう際に、徐々にテンポを調整する。図９は、第５の実施形態において、徐々にテンポを調整していく手順を示すフローチャートであり、図１０は、テンポを徐々に調整していく区間を示す図である。図９において、まず、リミックス後の楽曲同士の重畳区間ＴＭと、テンポを徐々に調整していく区間ＴＭ１とを定義する（ステップＰ１）。次に、最適テンポ調整係数ｆｏｐｔを計算し、テンポ変調区間Ｔ（Ｔ＝ｆｏｐｔ×ＴＭ）を計算する（ステップＰ２）。次に、楽曲Ｍの信号から、テンポ変調区間Ｔおよびテンポを徐々に調整していく区間ＴＭ１を抽出し、これらをそれぞれＥＭ（ｔ）、ＥＭ１（ｔ）とする（ステップＰ３）。
【００５３】
次に、楽曲ＭのＥＭ（ｔ）に対して、テンポ調整（ｆｏｐｔ×ＢＰＭＭ）を行ない、テンポ調整された楽曲ＭのＥＭ（ｔ）をＥＭｍ（ｔ）とする（ステップＰ４）。次に、ＥＭ１（ｔ）に対して、ＢＰＭＭからｆｏｐｔ×ＢＰＭＭまで調整するために、徐々にテンポ調整係数ｆを変化させる。具体的には、テンポ調整係数ｆを、１からｆｏｐｔまで変化させ、（ｆｏｐｔ×ＢＰＭＭ）を順次、計算することによって、滑らかにテンポ調整を行ない、ＥＭｍ１（ｔ）とする（ステップＰ５）。
【００５４】
具体的には、図１０に示すように、ＴＭ１の区間で、テンポ調整係数を１からｆｏｐｔまで変化させてテンポ調整を行なう。例えば、ｆｏｐｔ＝０．８０（ｓｅｃ）、ＴＭ１＝０．８０（ｓｅｃ）とすると、テンポ調整係数ｆを、｛１，０．９５，０．９０，０．８５，０．８０｝と変化させる。そして、
０〜２秒の区間では、ｆ＝１．００、
２〜４秒の区間では、ｆ＝０．９５、
４〜６秒の区間では、ｆ＝０．９０、
６〜８秒の区間では、ｆ＝０．８５、
８〜１０秒の区間では、ｆ＝０．８０、という調整を行なう。
【００５５】
次に、重畳区間におけるＥＭｍ（ｔ）、ＥＯｍ（ｔ）を抽出し（ステップＰ６）、開始ビート位置ＳＭｍ、ＳＯｍを、ＬＭ、ＬＯから求める（ステップＰ７）。次に、ＳＭｍ、ＳＯｍを時系列上で合わせて、楽曲Ｍと楽曲Ｏとを結合させる（ステップＰ８）。
【００５６】
このように、テンポ調整係数ｆを、１からｆｏｐｔまで変化させるので、最適テンポ調整係数によって求められたテンポに対して滑らかにテンポ調整を行なうことが可能となる。特に、最適テンポ調整係数のみを用いた場合と比較して、テンポ調整による違和感が軽減される。
【００５７】
（第６の実施形態）
本実施形態では、テンポ調整の際に、２つの楽曲が移り変わる部分における違和感を軽減するために、本実施形態は、第４の実施形態のように、第３の音源を挿入する。本実施形態においても、第３の音源は、ドラム音のように、リズムのみの音であっても良いし、楽曲であっても良い。本実施形態では、前の楽曲が完全に終了してから次の楽曲が開始する場合に第３の音源を再生する例について説明する。なお、本実施形態では、楽曲の特徴を表わす「楽曲特徴量」を、例えば、「楽曲ベクトル」を用いて説明する。また、楽曲の特徴の類似度合いを表わす「特徴類似度」、例えば、「コサイン距離」を用いて説明する。
【００５８】
図１１は、第６の実施形態に係る同期再生装置の概略構成を示すブロック図である。同期再生装置６０において、エフェクト音選択部６１は、一方の楽曲情報（楽曲Ａ）の楽曲ベクトルとのコサイン距離が最も近い楽曲ベクトルを持つエフェクト音Ｉと、他方の楽曲情報（楽曲Ｂ）の楽曲ベクトルとのコサイン距離が最も近い楽曲ベクトルを持つエフェクト音ＩＩとを選択する。乗算部６２は、エフェクト音Ｉの単位時間当たりの周期的なアクセント数ＢＰＭ１に対して単調増加数列を形成する複数の数値を乗算して数値群Ｉを算出する。また、エフェクト音ＩＩの単位時間当たりの周期的なアクセント数ＢＰＭ２に対して単調増加数列を形成する複数の数値を乗算して数値群ＩＩを算出する。
【００５９】
選択部６３は、数値群Ｉから、一方の楽曲情報（楽曲Ａ）の単位時間当たりの周期的なアクセント数ＢＰＭ３に最も近い数値ｂｏｐｔ１を選択する。また、数値群ＩＩから、他方の楽曲情報（楽曲Ｂ）の単位時間当たりの周期的なアクセント数ＢＰＭ４に最も近い数値ｂｏｐｔ２を選択する。除算部６４は、一方の楽曲情報（楽曲Ａ）の単位時間当たりの周期的なアクセント数ＢＰＭ３を、上記のｂｏｐｔ１で除算して得られる最適調整係数ｆｏｐｔ１を出力する。また、他方の楽曲情報（楽曲Ｂ）の単位時間当たりの周期的なアクセント数ＢＰＭ４を、上記ｂｏｐｔ２で除算して得られる最適調整係数ｆｏｐｔ２を出力する。
【００６０】
再生部６５は、一方の楽曲情報（楽曲Ａ）を再生し、その楽曲Ａの終了前の一定期間内に、その楽曲Ａと同時にエフェクト音Ｉに対して最適調整係数ｆｏｐｔ１を乗じて、エフェクト音Ｉを再生する。ここでは、クロスフェード方式を用いて両者を重ねて再生する。これにより、楽曲ＡのＢＰＭ３にエフェクト音ＩのＢＰＭ１を合わせることができる。次に、再生部６５は、楽曲Ａが終了し、エフェクト音Ｉの再生中に、エフェクト音ＩのＢＰＭ１と、エフェクト音ＩＩのＢＰＭ２とが合うようにエフェクト音同士を調整しながら、エフェクト音ＩＩの再生を開始する。そのとき、エフェクト音Ｉの再生を止めても良いし、クロスフェード方式を採って両者を再生しても良い。次に、再生部６５は、エフェクト音ＩＩに対して最適調整係数ｆｏｐｔ２を乗じて再生すると共に、他方の楽曲情報（楽曲Ｂ）を再生する。ここでも、クロスフェード方式を用いて両者を重ねて再生する。これにより、エフェクト音ＩＩのＢＰＭ２を楽曲ＢのＢＰＭ４に合わせることができる。次に、第６の実施形態に係る同期再生装置の楽曲間処理の動作について説明する。
【００６１】
図１２は、第６の実施形態に係る楽曲間処理の様子を示す図である。第６の実施形態では、まず、（１）前後の楽曲の特徴量を取得する。すなわち、再生中の楽曲（楽曲Ａ）と次に再生される楽曲（楽曲Ｂ）のＢＰＭ、ビート位置、楽曲ベクトルを取得する。楽曲ベクトルとは、音楽データのＭＦＣＣからツリーベクトル量子化手法（ＴｒｅｅＱ）を用いて得たヒストグラムを指すものである。また、ここでは、ＢＰＭ、ビート位置は既知とする。次に、（２）エフェクトの選択を行なう。ＢＰＭ、ビート位置、ベクトルが既知のエフェクト音を用意する。そして、楽曲Ｂのベクトルとのコサイン距離が最も近い楽曲ベクトルを持つエフェクト（エフェクトＩＩ）を選択する。次に、楽曲ＡのベクトルおよびエフェクトＩＩのベクトルとのコサイン距離の平均が一番大きいエフェクト（エフェクトＩ）を選択する。
【００６２】
次に、（３）エフェクトのテンポ変更を行なう。すなわち、エフェクト再生部分で、テンポが楽曲ＡのＢＰＭから楽曲ＢのＢＰＭへ徐々に推移するようエフェクトＩ、ＩＩのテンポを変動させるのである。最後に、（４）ビート位置合わせを行なう。音源が重なる部分のビート位置が揃うように、後ろの音源を挿入するタイミングを調整する。図１２は、このような楽曲間処理の様子を示す。図１２に示すように、楽曲ＡからエフェクトＩ、エフェクトＩＩと再生され、楽曲Ｂの順につなげて連続再生を行なう。楽曲Ａの最後の部分と、エフェクトＩの最初の部分と、エフェクトＩＩの最後の部分と楽曲Ｂの最初の部分は、クロスフェードとされる。
【００６３】
なお、本実施形態では、エフェクト音のみに最適調整係数を乗算する例を示したが、本発明は、これに限定されるわけではない。上記の各実施形態のように、楽曲Ａおよび楽曲Ｂに最適調整係数を乗算する手法を採ることも可能である。
【００６４】
第６の実施形態によれば、エフェクトＩおよびＩＩによってテンポ調整を行なうことができるため、楽曲信号の伸縮操作が不要となる。その結果、楽曲の音質劣化が軽減される。
【００６５】
（第７の実施形態）
本実施形態では、上記の同期再生装置を備えた楽曲自動リミックスシステムについて説明する。図１３は、第７の実施形態に係る楽曲自動リミックスシステムの概略構成を示すブロック図である。この楽曲自動リミックスシステム１１０は、同期再生装置１と、楽曲を選択する楽曲選択部１１１と、音楽データとしての複数の楽曲を格納する楽曲データベース（ＤＢ）１１２と、から構成される。
【００６６】
楽曲選択部１１１は、ユーザの操作を受け付けて、リミックスする楽曲を選択する。例えば、楽曲データベース１１２に格納されている楽曲またはそのリストをユーザに提示する。ユーザは、楽曲選択部１１１に対して、いずれかの楽曲を選択する操作を行なう。また、ユーザが直接楽曲を選択するのではなく、楽曲の雰囲気、例えば、明るい楽曲、静かな楽曲等の楽曲の属性情報を入力することもできる。この場合は、入力された属性情報と、楽曲データベース１１２に格納されている楽曲メタ情報等とを比較して、リミックスを行なう楽曲を選出することができる。
【００６７】
楽曲データベース１１２には、本システムで利用される楽曲および楽曲に関する情報が格納されている。例えば、楽曲データ、楽曲テンポ情報、楽曲ビート位置情報、さらに楽曲に付されたメタ情報などが格納されている。同期再生装置１は、上記各実施形態で説明した手法で、楽曲選択部１１１で選択された楽曲のリミックスを行なう。同期再生装置１において、最終的に結合されたリミックス用音楽信号は、スピーカ１１３で可聴音として出力される。また、データファイルとして、出力することも可能である。
【００６８】
なお、楽曲自動リミックスシステム１１０において、楽曲テンポ情報、楽曲ビート位置情報については、既知であるものとする。
【００６９】
（第８の実施形態）
本実施形態では、楽曲テンポ情報、楽曲ビート位置情報が未知である場合の形態を説明する。図１４は、第８の実施形態に係る楽曲自動リミックスシステムの概略構成を示すブロック図である。この楽曲自動リミックスシステム１２０は、第７の実施形態と同様に、同期再生装置１と、楽曲選択部１１１と、楽曲データベース１１２とを備えている。更に、楽曲取得・解析部１２１を備えている。この楽曲取得・解析部１２１は、楽曲データベース１１２に格納されている楽曲を取得し、解析して、解析結果を楽曲情報データベース１２２に格納する。楽曲取得・解析部１２１は、例えば、非特許文献１に開示されている技術を利用して、楽曲テンポ情報、楽曲ビート位置情報等を解析する。また、楽曲データベース１１２に格納されている楽曲データ、楽曲情報データ等も取得し、解析のために利用することができる。
【００７０】
楽曲情報データベース１２２は、楽曲取得・解析部１２１において解析された、楽曲に関する情報が格納される。例えば、楽曲テンポ情報、楽曲ビート位置情報等のデータが格納される。また、楽曲データベース１１２内の情報や、楽曲データを格納することも可能である。
【００７１】
本実施形態によれば、楽曲テンポ情報、楽曲ビート位置情報が未知である場合であっても、楽曲データベース１１２に格納されている情報に基づいて、これらを得ることができる。
【図面の簡単な説明】
【００７２】
【図１】第１の実施形態に係る同期再生装置の概略構成を示すブロック図である。
【図２】第１および第２の実施形態に係る同期再生装置の動作を示すフローチャートである。
【図３】第３の実施形態に係る楽曲リミックスの手順を示すフローチャートである。
【図４】２つの楽曲をリミックスする際の重畳区間を示す図である。
【図５】ボリュームコントロールの様子を示す図である。
【図６】第４の実施形態において第３の音源を挿入する手順を示すフローチャートである。
【図７】ビート位置に第３の音源を挿入した信号の様子を示す図である。
【図８】第３の音源および楽曲に対するボリュームコントロールの様子を示す図である。
【図９】第５の実施形態において、徐々にテンポを調整していく手順を示すフローチャートである。
【図１０】テンポを徐々に調整していく区間を示す図である。
【図１１】第６の実施形態に係る同期再生装置の概略構成を示すブロック図である。
【図１２】第６の実施形態に係る楽曲間処理の様子を示す図である。
【図１３】第７の実施形態に係る楽曲自動リミックスシステムの概略構成を示すブロック図である。
【図１４】第８の実施形態に係る楽曲自動リミックスシステムの概略構成を示すブロック図である。
【符号の説明】
【００７３】
１ 同期再生装置
２ 乗算部
３ 選択部
４ 除算部
５ 再生部
６ 相加平均算出部
１１０ 楽曲自動リミックスシステム
１１１ 楽曲選択部
１１２ 楽曲データベース
１１３ スピーカ
１２０ 楽曲自動リミックスシステム
１２１ 楽曲取得・解析部
１２２ 楽曲情報データベース
【技術分野】
【０００１】
本発明は、周期性を有する音声情報または周期性を有する映像情報のいずれかである２つの視聴覚情報を再生時に同期させる技術に関する。
【背景技術】
【０００２】
従来から、音楽を自動的にリミックスする技術が知られている。例えば、特開２００１−２４３６９２号公報（特許文献１）に開示されている技術は、リミックス対象となる前後２楽曲において、後ろの楽曲のＢＰＭ（Beats Per Minute）情報を、前の楽曲のＢＰＭ情報と一致させる。これにより、ユーザが、仮に楽曲のリミックスに熟練していなくても、容易にリミックスを行なうことができる。また、例えば、特表２００４−５２７７８６号公報（特許文献２）に開示されている技術は、楽曲のテンポを推定するために楽曲信号周波数成分の帯域通過フィルタリングによって得られた拍子候補に対し、振動器をマッチングさせることでテンポを自動抽出する。また、振動器の振動数を２の累乗することによって、検出テンポ精度を上げ、リミックスを行なっている。また、特開２００６−３３７９１４号公報（特許文献３）に開示されている技術は、楽曲自動リミックス機能を備えた再生装置に関するものである。この再生装置では、音響的特徴に基づいて楽曲リミックスを行なう際に、楽曲間エフェクトを挿入する。
【特許文献１】特開２００１−２４３６９２号公報
【特許文献２】特開２００４−５２７７８６号公報
【特許文献３】特開２００６−３３７９１４号公報
【非特許文献１】Ａｌｏｎｓｏ Ｍ．， Ｄａｖｉｄ Ｂ． ａｎｄ Ｒｉｃｈａｒｄ Ｇ．， “Ｔｅｍｐｏ ａｎｄ Ｂｅａｔ Ｅｓｔｉｍａｔｉｏｎ ｏｆ Ｍｕｓｉｃａｌ Ｓｉｇｎａｌｓ”， Ｐｒｏｃ． ＩＳＭＩＲ ２００４， ｐｐ． １５８−１６３
【発明の開示】
【発明が解決しようとする課題】
【０００３】
しかしながら、特許文献１では、ＢＰＭを一致させるリミックスを行なっているが、リミックス対象となる楽曲同士のＢＰＭが大きく異なる場合、ＢＰＭを一致させるための楽曲信号伸縮操作が音質を大きく劣化させてしまうという問題がある。また、特許文献２では、楽曲のテンポ情報推定後のリミックス時におけるＢＰＭ調整は、特許文献１と同様の手法を用いる必要があるため、同じような問題を有している。また、特許文献３においては、時系列上におけるテンポ、ビート情報を考慮して楽曲をリミックスしていないため、ＤＪが操作しているような心地の良いリミックスは得られない。さらに、従来の技術では、リミックス楽曲数が増えるに従って、ユーザの操作負担が増加してしまうという問題がある。
【０００４】
例えば、楽曲Ａ、ＢのＢＰＭをそれぞれＢＰＭＡ、ＢＰＭＢとし、楽曲テンポを調整する係数をｆとすると、従来の方法では、以下のような操作を行なっていた。すなわち、
ＢＰＭＡ＝ｆ×ＢＰＭＢ・・・（１）、または、
ｆ×ＢＰＭＡ＝ＢＰＭＢ・・・（２）、
となるような操作を行なうことによって、リミックス前後の楽曲のテンポを調整していた。しかしながら、式（１）、（２）では、テンポが大きく異なる楽曲をリミックスする場合は、音楽信号を伸縮する度合いが大きくなるため、音質が劣化してしまう。
【０００５】
本発明は、このような事情に鑑みてなされたものであり、周期性を有する音声情報または周期性を有する映像情報のいずれかである２つの視聴覚情報を再生時に滑らかに同期させることができる同期再生装置、楽曲自動リミックスシステム、同期再生方法および同期再生プログラムを提供することを目的とする。
【課題を解決するための手段】
【０００６】
（１）上記の目的を達成するために、本発明は、以下のような手段を講じた。すなわち、本発明の同期再生装置は、周期性を有する音声情報または周期性を有する映像情報のいずれかである２つの視聴覚情報を再生時に同期させる同期再生装置であって、一方の視聴覚情報の単位時間当たりの周期的なアクセント数ＢＰＭＭに対して単調増加数列を形成する複数の数値を乗算する乗算部と、前記乗算により得られた数値群から、他方の視聴覚情報の単位時間当たりの周期的なアクセント数ＢＰＭＯに最も近い数値ｂｏｐｔを選択する選択部と、前記他方の視聴覚情報の単位時間当たりの周期的なアクセント数ＢＰＭＯを、前記ｂｏｐｔで除算して得られる最適調整係数ｆｏｐｔを出力する除算部と、前記一方の視聴覚情報に対して少なくとも前記最適調整係数ｆｏｐｔを乗じて再生し、それと同時に前記他方の視聴覚情報を再生する再生部と、を備えることを特徴としている。
【０００７】
このように、乗算により得られた数値群から、他方の視聴覚情報の単位時間当たりの周期的なアクセント数ＢＰＭＯに最も近い数値ｂｏｐｔを選択し、前記他方の視聴覚情報の単位時間当たりの周期的なアクセント数ＢＰＭＯを、前記ｂｏｐｔで除算して得られる最適調整係数ｆｏｐｔを出力し、前記一方の視聴覚情報に対して少なくとも前記最適調整係数ｆｏｐｔを乗じて再生し、それと同時に前記他方の視聴覚情報を再生するので、両方の視聴覚情報のアクセント位置を合わせて再生することができる。これにより、ＢＰＭが大きく異なる視聴覚情報同士をリミックスする際の音声または画質の劣化を軽減することが可能となる。また、視聴者に対して、リミックスされた視聴覚情報を違和感なく提供することが可能となる。さらに、両方の視聴覚情報のアクセントの位置が自動的に合わせられるため、熟練していないユーザであっても、容易に視聴覚情報のリミックスを行なうことが可能となる。なお、視聴覚情報とは、音声情報および映像情報の両方の概念を含む。従って、本発明では、周期性を有するものであれば、２つの音声情報、２つの映像情報、および１つの音声情報と１つの映像情報を、再生時に同期させることが可能である。
【０００８】
（２）また、本発明の同期再生装置は、周期性を有する音声情報または周期性を有する映像情報のいずれかである２つの視聴覚情報を再生時に同期させる同期再生装置であって、一方の視聴覚情報の単位時間当たりの周期的なアクセント数ＢＰＭＭに対して単調増加数列を形成する複数の数値を乗算する乗算部と、前記乗算により得られた数値群から、他方の視聴覚情報の単位時間当たりの周期的なアクセント数ＢＰＭＯに最も近い数値ｂｏｐｔを選択する選択部と、前記他方の視聴覚情報の単位時間当たりの周期的なアクセント数ＢＰＭＯと、前記ｂｏｐｔとの相加平均ＢＰＭａｉｍを算出する相加平均算出部と、前記相加平均ＢＰＭａｉｍを前記ｂｏｐｔで除算して得られる最適調整係数ｆｏｐｔＭを出力すると共に、前記相加平均ＢＰＭａｉｍを前記他方の視聴覚情報の単位時間当たりの周期的なアクセント数ＢＰＭＯで除算して得られる最適調整係数ｆｏｐｔＯを出力する除算部と、前記一方の視聴覚情報に対して少なくとも前記最適調整係数ｆｏｐｔＭを乗じて再生し、それと同時に前記他方の視聴覚情報に対して少なくとも前記最適調整係数ｆｏｐｔＯを乗じて再生する再生部と、を備えることを特徴としている。
【０００９】
このように、乗算により得られた数値群から、他方の視聴覚情報の単位時間当たりの周期的なアクセント数ＢＰＭＯに最も近い数値ｂｏｐｔを選択し、前記他方の視聴覚情報の単位時間当たりの周期的なアクセント数ＢＰＭＯと、前記ｂｏｐｔとの相加平均ＢＰＭａｉｍを算出し、前記相加平均ＢＰＭａｉｍを前記ｂｏｐｔで除算して得られる最適調整係数ｆｏｐｔＭを出力し、前記相加平均ＢＰＭａｉｍを前記他方の視聴覚情報の単位時間当たりの周期的なアクセント数ＢＰＭＯで除算して得られる最適調整係数ｆｏｐｔＯを出力し、前記一方の視聴覚情報に対して少なくとも前記最適調整係数ｆｏｐｔＭを乗じて再生するので、両方の視聴覚情報のアクセント位置を合わせて再生することができる。これにより、ＢＰＭが大きく異なる視聴覚情報同士をリミックスする際の音声または画質の劣化を軽減することが可能となる。また、２つの視聴覚情報の双方を調整するので、一方のみを調整する場合よりも音質または画質の劣化を軽減させることが可能となる。また、視聴者に対して、リミックスされた視聴覚情報を違和感なく提供することが可能となる。さらに、両方の視聴覚情報のアクセントの位置が自動的に合わせられるため、熟練していないユーザであっても、容易に視聴覚情報のリミックスを行なうことが可能となる。
【００１０】
（３）また、本発明の同期再生装置において、前記再生部は、前記視聴覚情報に対して乗ずる調整係数を、時間経過に応じて１から最適調整係数まで変化させることを特徴としている。
【００１１】
このように、視聴覚情報に対して乗ずる調整係数を、時間経過に応じて１から最適調整係数まで変化させるので、単に最適調整係数を用いた場合よりも、２つの視聴覚情報のアクセント位置の調整を行なう際に、視聴者に対して与える違和感を軽減させることが可能となる。
【００１２】
（４）また、本発明の同期再生装置において、前記再生部は、前記最適調整係数が乗じられた視聴覚情報のアクセントの周期に合致した周期のアクセントを有する第三の視聴覚情報を、前記各視聴覚情報と同時に再生することを特徴としている。
【００１３】
このように、最適調整係数が乗じられた視聴覚情報のアクセントの周期に合致した周期のアクセントを有する第三の視聴覚情報を、前記各視聴覚情報と同時に再生するので、アクセントの位置を強調することができる。これにより、２つの視聴覚情報のアクセント位置の調整を行なう際に、視聴者に対して与える違和感を軽減させることが可能となる。
【００１４】
（５）また、本発明の同期再生装置において、前記再生部は、前記一方の視聴覚情報の再生が終了する前に前記他方の視聴覚情報の再生を開始することを特徴としている。
【００１５】
このように、一方の視聴覚情報の再生が終了する前に前記他方の視聴覚情報の再生を開始するので、２つの視聴覚情報のアクセント位置の調整を滑らかに行なうことが可能となる。
【００１６】
（６）また、本発明の同期再生装置は、２つの楽曲情報間の処理を行なう同期再生装置であって、予め選択されたエフェクト音Ｉおよびエフェクト音ＩＩについて、前記エフェクト音Ｉの単位時間当たりの周期的なアクセント数ＢＰＭ１に対して単調増加数列を形成する複数の数値を乗算して数値群Ｉを算出すると共に、前記エフェクト音ＩＩの単位時間当たりの周期的なアクセント数ＢＰＭ２に対して単調増加数列を形成する複数の数値を乗算して数値群ＩＩを算出する乗算部と、前記数値群Ｉから、前記一方の楽曲情報の単位時間当たりの周期的なアクセント数ＢＰＭ３に最も近い数値ｂｏｐｔ１を選択すると共に、前記数値群ＩＩから、前記他方の楽曲情報の単位時間当たりの周期的なアクセント数ＢＰＭ４に最も近い数値ｂｏｐｔ２を選択する選択部と、前記一方の楽曲情報の単位時間当たりの周期的なアクセント数ＢＰＭ３を、前記ｂｏｐｔ１で除算して得られる最適調整係数ｆｏｐｔ１を出力すると共に、前記他方の楽曲情報の単位時間当たりの周期的なアクセント数ＢＰＭ４を、前記ｂｏｐｔ２で除算して得られる最適調整係数ｆｏｐｔ２を出力する除算部と、前記一方の楽曲情報を再生すると共に、前記エフェクト音Ｉに対して前記最適調整係数ｆｏｐｔ１を乗じて再生し、前記エフェクト音ＩＩに対して前記最適調整係数ｆｏｐｔ２を乗じて再生すると共に、前記他方の楽曲情報を再生する再生部と、を備えることを特徴としている。
【００１７】
このように、エフェクト音ＩおよびＩＩによってテンポ調整を行なうことができるため、楽曲信号の伸縮操作が不要となる。その結果、楽曲の音質劣化が軽減される。その結果、楽曲が移り変わる部分における違和感を軽減することが可能となる。
【００１８】
（７）また、本発明の同期再生装置において、一方の楽曲情報の楽曲特徴量との特徴類似度が最も近い楽曲特徴量を持つエフェクト音Ｉと、他方の楽曲情報の楽曲特徴量との特徴類似度が最も近い楽曲特徴量を持つエフェクト音ＩＩとを選択するエフェクト音選択部を更に備えることを特徴としている。
【００１９】
このように、楽曲情報の楽曲特徴量との特徴類似度が最も近い楽曲特徴量を持つエフェクト音を選択するので、楽曲とエフェクト音とのリミックスを行なう際の音質劣化や違和感を軽減することが可能となる。
【００２０】
（８）また、本発明の楽曲自動リミックスシステムは、複数の楽曲データを格納する楽曲データベースと、ユーザの操作を契機としていずれか２つの楽曲データを選択する楽曲選択部と、請求項１から請求項５のいずれかに記載の同期再生装置と、前記同期再生装置により再生される楽曲データを音声として出力する出力部と、を備えることを特徴としている。
【００２１】
このように、乗算により得られた数値群から、他方の楽曲データの単位時間当たりの周期的なアクセント数ＢＰＭＯに最も近い数値ｂｏｐｔを選択し、前記他方の楽曲データの単位時間当たりの周期的なアクセント数ＢＰＭＯを、前記ｂｏｐｔで除算して得られる最適調整係数ｆｏｐｔを出力し、前記一方の楽曲データに対して少なくとも前記最適調整係数ｆｏｐｔを乗じて再生し、それと同時に前記他方の楽曲データを再生するので、両方の楽曲データのアクセント位置を合わせて再生することができる。これにより、ＢＰＭが大きく異なる楽曲データ同士をリミックスする際の音声劣化を軽減することが可能となる。また、視聴者に対して、リミックスされた楽曲データを違和感なく提供することが可能となる。さらに、両方の楽曲データのアクセントの位置が自動的に合わせられるため、熟練していないユーザであっても、容易に楽曲データのリミックスを行なうことが可能となる。
【００２２】
（９）また、本発明の同期再生方法は、周期性を有する音声情報または周期性を有する映像情報のいずれかである２つの視聴覚情報を再生時に同期させる同期再生方法であって、乗算部において、一方の視聴覚情報の単位時間当たりの周期的なアクセント数ＢＰＭＭに対して単調増加数列を形成する複数の数値を乗算するステップと、選択部において、前記乗算により得られた数値群から、他方の視聴覚情報の単位時間当たりの周期的なアクセント数ＢＰＭＯに最も近い数値ｂｏｐｔを選択するステップと、除算部において、前記他方の視聴覚情報の単位時間当たりの周期的なアクセント数ＢＰＭＯを、前記ｂｏｐｔで除算して得られる最適調整係数ｆｏｐｔを出力するステップと、再生部において、前記一方の視聴覚情報に対して少なくとも前記最適調整係数ｆｏｐｔを乗じて再生し、それと同時に前記他方の視聴覚情報を再生するステップと、を少なくとも含むことを特徴としている。
【００２３】
このように、乗算により得られた数値群から、他方の視聴覚情報の単位時間当たりの周期的なアクセント数ＢＰＭＯに最も近い数値ｂｏｐｔを選択し、前記他方の視聴覚情報の単位時間当たりの周期的なアクセント数ＢＰＭＯを、前記ｂｏｐｔで除算して得られる最適調整係数ｆｏｐｔを出力し、前記一方の視聴覚情報に対して少なくとも前記最適調整係数ｆｏｐｔを乗じて再生し、それと同時に前記他方の視聴覚情報を再生するので、両方の視聴覚情報のアクセント位置を合わせて再生することができる。これにより、ＢＰＭが大きく異なる視聴覚情報同士をリミックスする際の音声または画質の劣化を軽減することが可能となる。また、視聴者に対して、リミックスされた視聴覚情報を違和感なく提供することが可能となる。さらに、両方の視聴覚情報のアクセントの位置が自動的に合わせられるため、熟練していないユーザであっても、容易に視聴覚情報のリミックスを行なうことが可能となる。
【００２４】
（１０）また、本発明の同期再生方法は、周期性を有する音声情報または周期性を有する映像情報のいずれかである２つの視聴覚情報を再生時に同期させる同期再生方法であって、乗算部において、一方の視聴覚情報の単位時間当たりの周期的なアクセント数ＢＰＭＭに対して単調増加数列を形成する複数の数値を乗算するステップと、選択部において、前記乗算により得られた数値群から、他方の視聴覚情報の単位時間当たりの周期的なアクセント数ＢＰＭＯに最も近い数値ｂｏｐｔを選択するステップと、相加平均算出部において、前記他方の視聴覚情報の単位時間当たりの周期的なアクセント数ＢＰＭＯと、前記ｂｏｐｔとの相加平均ＢＰＭａｉｍを算出するステップと、除算部において、前記相加平均ＢＰＭａｉｍを前記ｂｏｐｔで除算して得られる最適調整係数ｆｏｐｔＭを出力すると共に、前記相加平均ＢＰＭａｉｍを前記他方の視聴覚情報の単位時間当たりの周期的なアクセント数ＢＰＭＯで除算して得られる最適調整係数ｆｏｐｔＯを出力するステップと、再生部において、前記一方の視聴覚情報に対して少なくとも前記最適調整係数ｆｏｐｔＭを乗じて再生し、それと同時に前記他方の視聴覚情報に対して少なくとも前記最適調整係数ｆｏｐｔＯを乗じて再生するステップと、を少なくとも含むことを特徴としている。
【００２５】
このように、乗算により得られた数値群から、他方の視聴覚情報の単位時間当たりの周期的なアクセント数ＢＰＭＯに最も近い数値ｂｏｐｔを選択し、前記他方の視聴覚情報の単位時間当たりの周期的なアクセント数ＢＰＭＯと、前記ｂｏｐｔとの相加平均ＢＰＭａｉｍを算出し、前記相加平均ＢＰＭａｉｍを前記ｂｏｐｔで除算して得られる最適調整係数ｆｏｐｔＭを出力し、前記相加平均ＢＰＭａｉｍを前記他方の視聴覚情報の単位時間当たりの周期的なアクセント数ＢＰＭＯで除算して得られる最適調整係数ｆｏｐｔＯを出力し、前記一方の視聴覚情報に対して少なくとも前記最適調整係数ｆｏｐｔＭを乗じて再生するので、両方の視聴覚情報のアクセント位置を合わせて再生することができる。これにより、ＢＰＭが大きく異なる視聴覚情報同士をリミックスする際の音声または画質の劣化を軽減することが可能となる。また、２つの視聴覚情報の双方を調整するので、一方のみを調整する場合よりも音質または画質の劣化を軽減させることが可能となる。また、視聴者に対して、リミックスされた視聴覚情報を違和感なく提供することが可能となる。さらに、両方の視聴覚情報のアクセントの位置が自動的に合わせられるため、熟練していないユーザであっても、容易に視聴覚情報のリミックスを行なうことが可能となる。
【００２６】
（１１）また、本発明の同期再生プログラムは、コンピュータにロードされることによって、周期性を有する音声情報または周期性を有する映像情報のいずれかである２つの視聴覚情報を再生時に同期させる同期再生プログラムであって、一方の視聴覚情報の単位時間当たりの周期的なアクセント数ＢＰＭＭに対して単調増加数列を形成する複数の数値を乗算する処理と、前記乗算で得られる数値群から、他方の視聴覚情報の単位時間当たりの周期的なアクセント数ＢＰＭＯに最も近い数値ｂｏｐｔを選択する処理と、前記他方の視聴覚情報の単位時間当たりの周期的なアクセント数ＢＰＭＯを、前記ｂｏｐｔで除算して最適調整係数ｆｏｐｔを出力する処理と、前記一方の視聴覚情報に対して少なくとも前記最適調整係数ｆｏｐｔを乗じて再生し、それと同時に前記他方の視聴覚情報を再生する処理と、を少なくとも含むことを特徴としている。
【００２７】
このように、乗算により得られた数値群から、他方の視聴覚情報の単位時間当たりの周期的なアクセント数ＢＰＭＯに最も近い数値ｂｏｐｔを選択し、前記他方の視聴覚情報の単位時間当たりの周期的なアクセント数ＢＰＭＯを、前記ｂｏｐｔで除算して得られる最適調整係数ｆｏｐｔを出力し、前記一方の視聴覚情報に対して少なくとも前記最適調整係数ｆｏｐｔを乗じて再生し、それと同時に前記他方の視聴覚情報を再生するので、両方の視聴覚情報のアクセント位置を合わせて再生することができる。これにより、ＢＰＭが大きく異なる視聴覚情報同士をリミックスする際の音声または画質の劣化を軽減することが可能となる。また、視聴者に対して、リミックスされた視聴覚情報を違和感なく提供することが可能となる。さらに、両方の視聴覚情報のアクセントの位置が自動的に合わせられるため、熟練していないユーザであっても、容易に視聴覚情報のリミックスを行なうことが可能となる。なお、視聴覚情報とは、音声情報および映像情報の両方の概念を含む。従って、本発明では、周期性を有するものであれば、２つの音声情報、２つの映像情報、および１つの音声情報と１つの映像情報を、再生時に同期させることが可能である。
【００２８】
（１２）また、本発明の同期再生プログラムは、コンピュータにロードされることによって、周期性を有する音声情報または周期性を有する映像情報のいずれかである２つの視聴覚情報を再生時に同期させる同期再生プログラムであって、一方の視聴覚情報の単位時間当たりの周期的なアクセント数ＢＰＭＭに対して単調増加数列を形成する複数の数値を乗算する処理と、前記乗算で得られる数値群から、他方の視聴覚情報の単位時間当たりの周期的なアクセント数ＢＰＭＯに最も近い数値ｂｏｐｔを選択する処理と、前記他方の視聴覚情報の単位時間当たりの周期的なアクセント数ＢＰＭＯと、前記ｂｏｐｔとの相加平均ＢＰＭａｉｍを算出する処理と、前記相加平均ＢＰＭａｉｍを前記ｂｏｐｔで除算して得られる最適調整係数ｆｏｐｔＭを出力すると共に、前記相加平均ＢＰＭａｉｍを前記他方の視聴覚情報の単位時間当たりの周期的なアクセント数ＢＰＭＯで除算して得られた最適調整係数ｆｏｐｔＯを出力する処理と、前記一方の視聴覚情報に対して少なくとも前記最適調整係数ｆｏｐｔＭを乗じて再生し、それと同時に前記他方の視聴覚情報に対して少なくとも前記最適調整係数ｆｏｐｔＯを乗じて再生する処理と、を少なくとも含むことを特徴としている。
【００２９】
このように、乗算により得られた数値群から、他方の視聴覚情報の単位時間当たりの周期的なアクセント数ＢＰＭＯに最も近い数値ｂｏｐｔを選択し、前記他方の視聴覚情報の単位時間当たりの周期的なアクセント数ＢＰＭＯと、前記ｂｏｐｔとの相加平均ＢＰＭａｉｍを算出し、前記相加平均ＢＰＭａｉｍを前記ｂｏｐｔで除算して得られる最適調整係数ｆｏｐｔＭを出力し、前記相加平均ＢＰＭａｉｍを前記他方の視聴覚情報の単位時間当たりの周期的なアクセント数ＢＰＭＯで除算して得られる最適調整係数ｆｏｐｔＯを出力し、前記一方の視聴覚情報に対して少なくとも前記最適調整係数ｆｏｐｔＭを乗じて再生するので、両方の視聴覚情報のアクセント位置を合わせて再生することができる。これにより、ＢＰＭが大きく異なる視聴覚情報同士をリミックスする際の音声または画質の劣化を軽減することが可能となる。また、２つの視聴覚情報の双方を調整するので、一方のみを調整する場合よりも音質または画質の劣化を軽減させることが可能となる。また、視聴者に対して、リミックスされた視聴覚情報を違和感なく提供することが可能となる。さらに、両方の視聴覚情報のアクセントの位置が自動的に合わせられるため、熟練していないユーザであっても、容易に視聴覚情報のリミックスを行なうことが可能となる。
【発明の効果】
【００３０】
本発明によれば、乗算により得られた数値群から、他方の視聴覚情報の単位時間当たりの周期的なアクセント数ＢＰＭＯに最も近い数値ｂｏｐｔを選択し、前記他方の視聴覚情報の単位時間当たりの周期的なアクセント数ＢＰＭＯを、前記ｂｏｐｔで除算して得られる最適調整係数ｆｏｐｔを出力し、前記一方の視聴覚情報に対して少なくとも前記最適調整係数ｆｏｐｔを乗じて再生し、それと同時に前記他方の視聴覚情報を再生するので、両方の視聴覚情報のアクセント位置を合わせて再生することができる。これにより、ＢＰＭが大きく異なる視聴覚情報同士をリミックスする際の音声または画質の劣化を軽減することが可能となる。また、視聴者に対して、リミックスされた視聴覚情報を違和感なく提供することが可能となる。さらに、両方の視聴覚情報のアクセントの位置が自動的に合わせられるため、熟練していないユーザであっても、容易に視聴覚情報のリミックスを行なうことが可能となる。
【発明を実施するための最良の形態】
【００３１】
（第１の実施形態）
次に、本発明に係る実施形態について、図面を参照しながら説明する。図１は、本発明の第１の実施形態に係る同期再生装置の概略構成を示すブロック図である。この同期再生装置１は、周期性を有する２つの音声情報、周期性を有する２つの映像情報、または周期性を有する１つの音声情報と周期性を有する１つの映像情報を、再生時に同期させる。本明細書では、周期性を有する音声情報および周期性を有する映像情報を、「視聴覚情報」と呼称する。すなわち、本明細書において、視聴覚情報といった場合は、周期性を有する音声情報または周期性を有する映像情報のいずれかを指すものとしている。また、ＢＰＭ（Beats Per Minute）とは、１分間あたりのアクセント数（ビート数）を意味する。アクセント（ビート）とは、音声情報の場合は、周期的な音声の強弱のことをいう。また、映像情報の場合は、周期的な繰返し映像のことであり、例えば、ボールがバウンドしている映像中、地面に着いた瞬間のボールの映像のことをいう。アクセント位置（ビート位置）とは、時間軸上でのアクセント（ビート）の位置、すなわち、アクセントが現れる時刻のことをいう。
【００３２】
同期再生装置１において、乗算部２は、第１の視聴覚情報の単位時間当たりの周期的なアクセント数ＢＰＭＭに対して、単調増加数列を形成する複数の数値を乗算する。この「単調増加数列を形成する複数の数値」は、例えば、ｃを整数として、２ｃで求められる数値を使用することができる。この場合、「ｃ＝−２，−１，０，１，２」とすると、２ｃは、「２ｃ＝０．２５，０．５，１，２，４」と求めることができる。乗算部２は、第１の視聴覚情報の単位時間当たりの周期的なアクセント数ＢＰＭＭに対して、このように２ｃで求められる数値を乗算する。なお、ここでは、「単調増加数列を形成する複数の数値」の例として、２ｃを用いて説明したが、本発明は、これに限定されるわけではない。
【００３３】
選択部３は、乗算部２における乗算により得られた数値群から、第２の視聴覚情報の単位時間当たりの周期的なアクセント数ＢＰＭＯに最も近い数値ｂｏｐｔを選択する。例えば、乗算部２における乗算により得られた数値群を、｛ｂ１，ｂ２，ｂ３，ｂ４，ｂ５｝としたときに、これらの中から第２の視聴覚情報の単位時間当たりの周期的なアクセント数ＢＰＭＯに最も近い数値ｂｏｐｔを選択する。この場合、選択部３が選択した数値ｂｏｐｔは、直接除算部４に入力される。
【００３４】
除算部４は、第２の視聴覚情報の単位時間当たりの周期的なアクセント数ＢＰＭＯを、ｂｏｐｔで除算して得られる最適調整係数ｆｏｐｔを出力する。再生部５は、第１の視聴覚情報に対して、少なくとも最適調整係数ｆｏｐｔを乗じて再生し、それと同時に第２の視聴覚情報を再生する。なお、相加平均算出部６については後述する。
【００３５】
図２は、第１の実施形態に係る同期再生装置の動作を示すフローチャートである。ここでは、視聴覚情報として、周期性のある音声情報、例えば、楽曲を例にとって説明する。この同期再生装置は、楽曲のＢＰＭを合わせるのではなく、楽曲のビート位置に着目し、２つの楽曲の調整係数ｆが最小となるような最適調整係数ｆｏｐｔを求め、このｆｏｐｔに基づいて楽曲テンポを調整する。これによって、楽曲の音質劣化を軽減させたリミックスを行なうことが可能になる。具体的には、例えば、ＢＰＭ１２０の楽曲とＢＰＭ６０の楽曲とを結合する場合、ＢＰＭ６０の楽曲をＢＰＭ１２０となるようにテンポ調整すると、音質劣化が著しくなる。本発明では、ビート位置に着目し、ＢＰＭ６０の裏拍子を考慮することによって、テンポ調整をすることなくリミックスを可能とする。なお、ここでは、両方の視聴覚情報のアクセント位置を合わせて再生することを、「テンポ調整」と呼称する。
【００３６】
図２において、楽曲Ｍと楽曲Ｏとを選定する（ステップＳ１）。ここで、テンポ調整を行なう楽曲をＭとし、テンポ調整を行なわない楽曲をＯとする。次に、ＢＰＭ情報は既知であるかどうかを判断し（ステップＳ２）、既知でない場合は、テンポ解析を行なう（ステップＳ３）。ここでテンポ解析を行なって得られた楽曲ＭのＢＰＭを、ＢＰＭＭとし、楽曲ＯのＢＰＭをＢＰＭＯとする。一方、ステップＳ２において、ＢＰＭが既知である場合は、ステップＳ４に遷移する。
【００３７】
次に、ＢＰＭＭに対して、２ｃを乗算する。ここで、「ｃ＝−２，−１，０，１，２」とし、数値群Ｇ＝｛ｂ１、ｂ２，ｂ３，ｂ４，ｂ５｝を得る（ステップＳ４）。次に、数値群ＧからＢＰＭＯに最も近い値であるｂｏｐｔを算出する（ステップＳ５）。すなわち、
ｂｏｐｔ＝２Ｃｏｐｔ×ＢＰＭＭである。
【００３８】
次に、最適テンポ調整係数（最適調整係数）ｆｏｐｔを計算する（ステップＳ６）。すなわち、
ｆｏｐｔ＝ＢＰＭＯ／ｂｏｐｔである。
【００３９】
なお、ステップＳ３におけるテンポ解析では、例えば、非特許文献１に記載されているテンポ推定手法を用いて、楽曲Ｍ、楽曲ＯのＢＰＭを計算することができる。また、既存のテンポ推定手法を利用せずに、予め用意されている楽曲メタデータを用いることも可能である。
【００４０】
（第２の実施形態）
上記のように最適テンポ調整係数（最適調整係数）を算出する際に、第１および第２の視聴覚情報の両方を調整することも可能である。この場合、図１における選択部３が選択した数値ｂｏｐｔは、直接除算部４には入力されずに、相加平均算出部６に入力される。相加平均算出部６は、第２の視聴覚情報の単位時間当たりの周期的なアクセント数ＢＰＭＯと、選択部３により選択されたｂｏｐｔとの相加平均ＢＰＭａｉｍを算出する。除算部４は、相加平均ＢＰＭａｉｍをｂｏｐｔで除算して得られる最適調整係数ｆｏｐｔＭを出力すると共に、相加平均ＢＰＭａｉｍを第２の視聴覚情報の単位時間当たりの周期的なアクセント数ＢＰＭＯで除算して得られる最適調整係数ｆｏｐｔＯを出力する。再生部５は、第１の視聴覚情報に対して少なくとも最適調整係数ｆｏｐｔＭを乗じて再生し、それと同時に第２の視聴覚情報に対して少なくとも最適調整係数ｆｏｐｔＯを乗じて再生する。
【００４１】
第２の実施形態に係る同期再生装置の動作についても、図２に示すフローチャートで説明することができる。図２において、まず、楽曲Ｍと楽曲Ｏとを選定する（ステップＳ１）。ここで、楽曲Ｍの最適テンポ調整係数をｆｏｐｔＭとし、楽曲Ｏの最適テンポ調整係数をｆｏｐｔＯとする。そして、再生部５におけるテンポをＢＰＭａｉｍとする。ＢＰＭ情報は既知であるかどうかを判断し（ステップＳ２）、既知でない場合は、テンポ解析を行なう（ステップＳ３）。ここでテンポ解析を行なって得られた楽曲ＭのＢＰＭを、ＢＰＭＭとし、楽曲ＯのＢＰＭをＢＰＭＯとする。一方、ステップＳ２において、ＢＰＭが既知である場合は、ステップＳ４に遷移する。
【００４２】
次に、ＢＰＭＭに対して、２ｃを乗算する。ここで、「ｃ＝−２，−１，０，１，２」とし、数値群Ｇ＝｛ｂ１、ｂ２，ｂ３，ｂ４，ｂ５｝を得る（ステップＳ４）。次に、数値群ＧからＢＰＭＯに最も近い値であるｂｏｐｔを算出する（ステップＳ５）。すなわち、
ｂｏｐｔ＝２Ｃｏｐｔ×ＢＰＭＭである。
【００４３】
次に、ｂｏｐｔとＢＰＭＯとの相加平均から再生部５におけるテンポＢＰＭａｉｍを求め、楽曲Ｍの最適テンポ調整係数ｆｏｐｔＭと、楽曲Ｏの最適テンポ調整係数とをｆｏｐｔＯ求める（ステップＳ６）。すなわち、
ＢＰＭａｉｍ＝（ｂｏｐｔ＋ＢＰＭＯ）／２、
ｆｏｐｔＭ＝ＢＰＭａｉｍ／ｂｏｐｔ、
ｆｏｐｔＯ＝ＢＰＭａｉｍ／ＢＰＭＯにより求められる。
【００４４】
このように求められたｆｏｐｔＭと、ｆｏｐｔＯに従って、楽曲Ｍと楽曲Ｏとのテンポ調整を行なうことによって、一方のみをテンポ調整する場合に比べて、音質劣化を軽減させることが可能となる。
【００４５】
なお、第１および第２の実施形態で示した同期再生装置は、楽曲のリミックスだけではなく、周期性を有する情報について適用することが可能である。周期性を有する複数の情報を同期させて、再生をすることができる。この場合、上記のＢＰＭ情報を、周期情報に置き換えて、最適周期調整係数として計算すればよい。特許文献２では、本実施形態と同様に、テンポ候補から２の累乗を乗算して得た候補を加えてテンポ推定を行なっているが、本実施形態のように、リミックスの対象とする楽曲同士のＢＰＭ調整を行なうための指標として用いられてはいない。また、特許文献２では、対話型の音楽再生装置を提案しているが、全自動でのリミックスではない。これに対し、本実施形態では、楽曲のＢＰＭ情報から裏拍子を自動的に認識するため、最も音質劣化の少ないリミックスを提供することが可能である。
【００４６】
（第３の実施形態）
第３の実施形態では、最適テンポ調整係数（最適調整係数）を利用した楽曲リミックスについて説明する。最適テンポ調整係数と、楽曲のビート位置情報を利用することによって、楽曲のビート感を合わせた楽曲リミックスを実現する。なお、以下の説明では、テンポ調整をする楽曲をＭ、テンポ調整をしない楽曲をＯとして、両楽曲のＢＰＭ情報をＢＰＭＭ、ＢＰＭＯ、ビート位置情報をＬＭ＝｛ｌＭ１，ｌＭ３，ｌＭ３，・・・｝、ＬＯ＝｛ｌＯ１，ｌＯ２，ｌＯ３，・・・｝とする。
【００４７】
図３は、第３の実施形態に係る楽曲リミックスの手順を示すフローチャートであり、図４は、２つの楽曲をリミックスする際の重畳区間を示す図である。また、図５は、ボリュームコントロールの様子を示す図である。まず、リミックス後の楽曲同士の重畳区間ＴＭを定義する（ステップＴ１）。次に、最適テンポ調整係数ｆｏｐｔを計算し、テンポ変調区間Ｔ（Ｔ＝ｆｏｐｔ×ＴＭ）を計算する（ステップＴ２）。次に、楽曲Ｍの信号から、テンポ変調区間Ｔを抽出し、これをＥＭ（ｔ）とする（ステップＴ３）。
【００４８】
次に、楽曲ＭのＥＭ（ｔ）に対して、テンポ調整（ｆｏｐｔ×ＢＰＭＭ）を行なう（ステップＴ４）。テンポ調整された楽曲ＭのＥＭ（ｔ）をＥＭｍ（ｔ）とする（ステップＴ５）。また、楽曲Ｏの信号から、重畳区間ＴＭを抽出し、これをＥＯｍ（ｔ）とする（ステップＴ５）。これにより、ビート位置の調整が行なわれる。次に、ＥＭｍ（ｔ）、ＥＯｍ（ｔ）における開始ビート位置ＳＭｍ、ＳＯｍを、ＬＭ、ＬＯから求める（ステップＴ６）。次に、ボリュームコントロールを行なって（ステップＴ７）、ＳＭｍ、ＳＯｍを時系列上で合わせて、楽曲Ｍと楽曲Ｏとを結合させる（ステップＴ８）。
【００４９】
ここで、ステップＴ７において、楽曲を結合する際に、クロスフェード等のボリュームコントロールを適用することにより、滑らかな楽曲のリミックスを行なうことが可能である。ボリュームコントロールは、図５に示すボリュームコントロール関数のように、重畳区間において、信号の振幅を徐々に減少させるような信号を乗算することによって、適用することができる。また、信号の振幅を徐々に増加させるような信号を乗算するようにしても良い。
【００５０】
（第４の実施形態）
本実施形態では、テンポ調整の際に、２つの楽曲が重なる部分における違和感を軽減するために、第３の音源を挿入する。なお、第３の音源は、ドラム音のように、リズムのみの音であっても良いし、楽曲であっても良い。本実施形態では、前の楽曲が完全に終了する前に次の楽曲が開始する場合、すなわち、２つの楽曲が重なり合う場合について説明する。前の楽曲が完全に終了してから次の楽曲が開始する場合に第３の音源を再生する例については、後述する。図６は、第４の実施形態において第３の音源を挿入する手順を示すフローチャートであり、図７は、ビート位置に第３の音源を挿入した信号の様子を示す図である。また、図８は、第３の音源および楽曲に対するボリュームコントロールの様子を示す図である。図６において、まず、リミックス後の楽曲同士の重畳区間ＴＭを定義する（ステップＲ１）。次に、最適テンポ調整係数ｆｏｐｔを計算し、テンポ変調区間Ｔ（Ｔ＝ｆｏｐｔ×ＴＭ）を計算する（ステップＲ２）。次に、楽曲Ｍの信号から、テンポ変調区間Ｔを抽出し、これをＥＭ（ｔ）とする（ステップＲ３）。
【００５１】
次に、楽曲ＭのＥＭ（ｔ）に対して、テンポ調整（ｆｏｐｔ×ＢＰＭＭ）を行なう（ステップＲ４）。テンポ調整された楽曲ＭのＥＭ（ｔ）をＥＭｍ（ｔ）とする（ステップＲ５）。また、楽曲Ｏの信号から、重畳区間ＴＭを抽出し、これをＥＯｍ（ｔ）とする（ステップＲ５）。次に、ビート位置の調整を行なう。すなわち、ＥＭｍ（ｔ）、ＥＯｍ（ｔ）における開始ビート位置ＳＭｍ、ＳＯｍを、ＬＭ、ＬＯから求める（ステップＲ６）。次に、重畳区間内において、楽曲Ｍおよび楽曲Ｏのビート位置情報ｌＡを取得し（ステップＲ７）、ｌＡの位置に第３の音源を挿入する（ステップＲ８）。図７は、ビート位置であるｌＡ１，ｌＡ２，ｌＡ３，・・・に第３の音源（ドラム音）を挿入した様子を示している。次に、図８に示すように、ボリュームコントロールを行なう（ステップＲ９）。具体的には、重畳区間内で、楽曲Ｍのボリュームを次第に減少させると共に、ドラム音源のボリュームを次第に上げていく。また、同時に楽曲Ｏのボリュームも次第に上げていく。重畳区間の中央あたりで、ドラム音源のボリュームを次第に下げていく。これにより、楽曲Ｍと楽曲Ｏとを結合させる（ステップＲ１０）。第４の実施形態によれば、楽曲のリミックスを行なう際の違和感を軽減することが可能となる。
【００５２】
（第５の実施形態）
本実施形態では、上記の第３の実施形態のステップＴ４において、テンポ調整係数に基づいてテンポ調整を行なう際に、徐々にテンポを調整する。図９は、第５の実施形態において、徐々にテンポを調整していく手順を示すフローチャートであり、図１０は、テンポを徐々に調整していく区間を示す図である。図９において、まず、リミックス後の楽曲同士の重畳区間ＴＭと、テンポを徐々に調整していく区間ＴＭ１とを定義する（ステップＰ１）。次に、最適テンポ調整係数ｆｏｐｔを計算し、テンポ変調区間Ｔ（Ｔ＝ｆｏｐｔ×ＴＭ）を計算する（ステップＰ２）。次に、楽曲Ｍの信号から、テンポ変調区間Ｔおよびテンポを徐々に調整していく区間ＴＭ１を抽出し、これらをそれぞれＥＭ（ｔ）、ＥＭ１（ｔ）とする（ステップＰ３）。
【００５３】
次に、楽曲ＭのＥＭ（ｔ）に対して、テンポ調整（ｆｏｐｔ×ＢＰＭＭ）を行ない、テンポ調整された楽曲ＭのＥＭ（ｔ）をＥＭｍ（ｔ）とする（ステップＰ４）。次に、ＥＭ１（ｔ）に対して、ＢＰＭＭからｆｏｐｔ×ＢＰＭＭまで調整するために、徐々にテンポ調整係数ｆを変化させる。具体的には、テンポ調整係数ｆを、１からｆｏｐｔまで変化させ、（ｆｏｐｔ×ＢＰＭＭ）を順次、計算することによって、滑らかにテンポ調整を行ない、ＥＭｍ１（ｔ）とする（ステップＰ５）。
【００５４】
具体的には、図１０に示すように、ＴＭ１の区間で、テンポ調整係数を１からｆｏｐｔまで変化させてテンポ調整を行なう。例えば、ｆｏｐｔ＝０．８０（ｓｅｃ）、ＴＭ１＝０．８０（ｓｅｃ）とすると、テンポ調整係数ｆを、｛１，０．９５，０．９０，０．８５，０．８０｝と変化させる。そして、
０〜２秒の区間では、ｆ＝１．００、
２〜４秒の区間では、ｆ＝０．９５、
４〜６秒の区間では、ｆ＝０．９０、
６〜８秒の区間では、ｆ＝０．８５、
８〜１０秒の区間では、ｆ＝０．８０、という調整を行なう。
【００５５】
次に、重畳区間におけるＥＭｍ（ｔ）、ＥＯｍ（ｔ）を抽出し（ステップＰ６）、開始ビート位置ＳＭｍ、ＳＯｍを、ＬＭ、ＬＯから求める（ステップＰ７）。次に、ＳＭｍ、ＳＯｍを時系列上で合わせて、楽曲Ｍと楽曲Ｏとを結合させる（ステップＰ８）。
【００５６】
このように、テンポ調整係数ｆを、１からｆｏｐｔまで変化させるので、最適テンポ調整係数によって求められたテンポに対して滑らかにテンポ調整を行なうことが可能となる。特に、最適テンポ調整係数のみを用いた場合と比較して、テンポ調整による違和感が軽減される。
【００５７】
（第６の実施形態）
本実施形態では、テンポ調整の際に、２つの楽曲が移り変わる部分における違和感を軽減するために、本実施形態は、第４の実施形態のように、第３の音源を挿入する。本実施形態においても、第３の音源は、ドラム音のように、リズムのみの音であっても良いし、楽曲であっても良い。本実施形態では、前の楽曲が完全に終了してから次の楽曲が開始する場合に第３の音源を再生する例について説明する。なお、本実施形態では、楽曲の特徴を表わす「楽曲特徴量」を、例えば、「楽曲ベクトル」を用いて説明する。また、楽曲の特徴の類似度合いを表わす「特徴類似度」、例えば、「コサイン距離」を用いて説明する。
【００５８】
図１１は、第６の実施形態に係る同期再生装置の概略構成を示すブロック図である。同期再生装置６０において、エフェクト音選択部６１は、一方の楽曲情報（楽曲Ａ）の楽曲ベクトルとのコサイン距離が最も近い楽曲ベクトルを持つエフェクト音Ｉと、他方の楽曲情報（楽曲Ｂ）の楽曲ベクトルとのコサイン距離が最も近い楽曲ベクトルを持つエフェクト音ＩＩとを選択する。乗算部６２は、エフェクト音Ｉの単位時間当たりの周期的なアクセント数ＢＰＭ１に対して単調増加数列を形成する複数の数値を乗算して数値群Ｉを算出する。また、エフェクト音ＩＩの単位時間当たりの周期的なアクセント数ＢＰＭ２に対して単調増加数列を形成する複数の数値を乗算して数値群ＩＩを算出する。
【００５９】
選択部６３は、数値群Ｉから、一方の楽曲情報（楽曲Ａ）の単位時間当たりの周期的なアクセント数ＢＰＭ３に最も近い数値ｂｏｐｔ１を選択する。また、数値群ＩＩから、他方の楽曲情報（楽曲Ｂ）の単位時間当たりの周期的なアクセント数ＢＰＭ４に最も近い数値ｂｏｐｔ２を選択する。除算部６４は、一方の楽曲情報（楽曲Ａ）の単位時間当たりの周期的なアクセント数ＢＰＭ３を、上記のｂｏｐｔ１で除算して得られる最適調整係数ｆｏｐｔ１を出力する。また、他方の楽曲情報（楽曲Ｂ）の単位時間当たりの周期的なアクセント数ＢＰＭ４を、上記ｂｏｐｔ２で除算して得られる最適調整係数ｆｏｐｔ２を出力する。
【００６０】
再生部６５は、一方の楽曲情報（楽曲Ａ）を再生し、その楽曲Ａの終了前の一定期間内に、その楽曲Ａと同時にエフェクト音Ｉに対して最適調整係数ｆｏｐｔ１を乗じて、エフェクト音Ｉを再生する。ここでは、クロスフェード方式を用いて両者を重ねて再生する。これにより、楽曲ＡのＢＰＭ３にエフェクト音ＩのＢＰＭ１を合わせることができる。次に、再生部６５は、楽曲Ａが終了し、エフェクト音Ｉの再生中に、エフェクト音ＩのＢＰＭ１と、エフェクト音ＩＩのＢＰＭ２とが合うようにエフェクト音同士を調整しながら、エフェクト音ＩＩの再生を開始する。そのとき、エフェクト音Ｉの再生を止めても良いし、クロスフェード方式を採って両者を再生しても良い。次に、再生部６５は、エフェクト音ＩＩに対して最適調整係数ｆｏｐｔ２を乗じて再生すると共に、他方の楽曲情報（楽曲Ｂ）を再生する。ここでも、クロスフェード方式を用いて両者を重ねて再生する。これにより、エフェクト音ＩＩのＢＰＭ２を楽曲ＢのＢＰＭ４に合わせることができる。次に、第６の実施形態に係る同期再生装置の楽曲間処理の動作について説明する。
【００６１】
図１２は、第６の実施形態に係る楽曲間処理の様子を示す図である。第６の実施形態では、まず、（１）前後の楽曲の特徴量を取得する。すなわち、再生中の楽曲（楽曲Ａ）と次に再生される楽曲（楽曲Ｂ）のＢＰＭ、ビート位置、楽曲ベクトルを取得する。楽曲ベクトルとは、音楽データのＭＦＣＣからツリーベクトル量子化手法（ＴｒｅｅＱ）を用いて得たヒストグラムを指すものである。また、ここでは、ＢＰＭ、ビート位置は既知とする。次に、（２）エフェクトの選択を行なう。ＢＰＭ、ビート位置、ベクトルが既知のエフェクト音を用意する。そして、楽曲Ｂのベクトルとのコサイン距離が最も近い楽曲ベクトルを持つエフェクト（エフェクトＩＩ）を選択する。次に、楽曲ＡのベクトルおよびエフェクトＩＩのベクトルとのコサイン距離の平均が一番大きいエフェクト（エフェクトＩ）を選択する。
【００６２】
次に、（３）エフェクトのテンポ変更を行なう。すなわち、エフェクト再生部分で、テンポが楽曲ＡのＢＰＭから楽曲ＢのＢＰＭへ徐々に推移するようエフェクトＩ、ＩＩのテンポを変動させるのである。最後に、（４）ビート位置合わせを行なう。音源が重なる部分のビート位置が揃うように、後ろの音源を挿入するタイミングを調整する。図１２は、このような楽曲間処理の様子を示す。図１２に示すように、楽曲ＡからエフェクトＩ、エフェクトＩＩと再生され、楽曲Ｂの順につなげて連続再生を行なう。楽曲Ａの最後の部分と、エフェクトＩの最初の部分と、エフェクトＩＩの最後の部分と楽曲Ｂの最初の部分は、クロスフェードとされる。
【００６３】
なお、本実施形態では、エフェクト音のみに最適調整係数を乗算する例を示したが、本発明は、これに限定されるわけではない。上記の各実施形態のように、楽曲Ａおよび楽曲Ｂに最適調整係数を乗算する手法を採ることも可能である。
【００６４】
第６の実施形態によれば、エフェクトＩおよびＩＩによってテンポ調整を行なうことができるため、楽曲信号の伸縮操作が不要となる。その結果、楽曲の音質劣化が軽減される。
【００６５】
（第７の実施形態）
本実施形態では、上記の同期再生装置を備えた楽曲自動リミックスシステムについて説明する。図１３は、第７の実施形態に係る楽曲自動リミックスシステムの概略構成を示すブロック図である。この楽曲自動リミックスシステム１１０は、同期再生装置１と、楽曲を選択する楽曲選択部１１１と、音楽データとしての複数の楽曲を格納する楽曲データベース（ＤＢ）１１２と、から構成される。
【００６６】
楽曲選択部１１１は、ユーザの操作を受け付けて、リミックスする楽曲を選択する。例えば、楽曲データベース１１２に格納されている楽曲またはそのリストをユーザに提示する。ユーザは、楽曲選択部１１１に対して、いずれかの楽曲を選択する操作を行なう。また、ユーザが直接楽曲を選択するのではなく、楽曲の雰囲気、例えば、明るい楽曲、静かな楽曲等の楽曲の属性情報を入力することもできる。この場合は、入力された属性情報と、楽曲データベース１１２に格納されている楽曲メタ情報等とを比較して、リミックスを行なう楽曲を選出することができる。
【００６７】
楽曲データベース１１２には、本システムで利用される楽曲および楽曲に関する情報が格納されている。例えば、楽曲データ、楽曲テンポ情報、楽曲ビート位置情報、さらに楽曲に付されたメタ情報などが格納されている。同期再生装置１は、上記各実施形態で説明した手法で、楽曲選択部１１１で選択された楽曲のリミックスを行なう。同期再生装置１において、最終的に結合されたリミックス用音楽信号は、スピーカ１１３で可聴音として出力される。また、データファイルとして、出力することも可能である。
【００６８】
なお、楽曲自動リミックスシステム１１０において、楽曲テンポ情報、楽曲ビート位置情報については、既知であるものとする。
【００６９】
（第８の実施形態）
本実施形態では、楽曲テンポ情報、楽曲ビート位置情報が未知である場合の形態を説明する。図１４は、第８の実施形態に係る楽曲自動リミックスシステムの概略構成を示すブロック図である。この楽曲自動リミックスシステム１２０は、第７の実施形態と同様に、同期再生装置１と、楽曲選択部１１１と、楽曲データベース１１２とを備えている。更に、楽曲取得・解析部１２１を備えている。この楽曲取得・解析部１２１は、楽曲データベース１１２に格納されている楽曲を取得し、解析して、解析結果を楽曲情報データベース１２２に格納する。楽曲取得・解析部１２１は、例えば、非特許文献１に開示されている技術を利用して、楽曲テンポ情報、楽曲ビート位置情報等を解析する。また、楽曲データベース１１２に格納されている楽曲データ、楽曲情報データ等も取得し、解析のために利用することができる。
【００７０】
楽曲情報データベース１２２は、楽曲取得・解析部１２１において解析された、楽曲に関する情報が格納される。例えば、楽曲テンポ情報、楽曲ビート位置情報等のデータが格納される。また、楽曲データベース１１２内の情報や、楽曲データを格納することも可能である。
【００７１】
本実施形態によれば、楽曲テンポ情報、楽曲ビート位置情報が未知である場合であっても、楽曲データベース１１２に格納されている情報に基づいて、これらを得ることができる。
【図面の簡単な説明】
【００７２】
【図１】第１の実施形態に係る同期再生装置の概略構成を示すブロック図である。
【図２】第１および第２の実施形態に係る同期再生装置の動作を示すフローチャートである。
【図３】第３の実施形態に係る楽曲リミックスの手順を示すフローチャートである。
【図４】２つの楽曲をリミックスする際の重畳区間を示す図である。
【図５】ボリュームコントロールの様子を示す図である。
【図６】第４の実施形態において第３の音源を挿入する手順を示すフローチャートである。
【図７】ビート位置に第３の音源を挿入した信号の様子を示す図である。
【図８】第３の音源および楽曲に対するボリュームコントロールの様子を示す図である。
【図９】第５の実施形態において、徐々にテンポを調整していく手順を示すフローチャートである。
【図１０】テンポを徐々に調整していく区間を示す図である。
【図１１】第６の実施形態に係る同期再生装置の概略構成を示すブロック図である。
【図１２】第６の実施形態に係る楽曲間処理の様子を示す図である。
【図１３】第７の実施形態に係る楽曲自動リミックスシステムの概略構成を示すブロック図である。
【図１４】第８の実施形態に係る楽曲自動リミックスシステムの概略構成を示すブロック図である。
【符号の説明】
【００７３】
１ 同期再生装置
２ 乗算部
３ 選択部
４ 除算部
５ 再生部
６ 相加平均算出部
１１０ 楽曲自動リミックスシステム
１１１ 楽曲選択部
１１２ 楽曲データベース
１１３ スピーカ
１２０ 楽曲自動リミックスシステム
１２１ 楽曲取得・解析部
１２２ 楽曲情報データベース
【特許請求の範囲】
【請求項１】
周期性を有する音声情報または周期性を有する映像情報のいずれかである２つの視聴覚情報を再生時に同期させる同期再生装置であって、
一方の視聴覚情報の単位時間当たりの周期的なアクセント数ＢＰＭＭに対して単調増加数列を形成する複数の数値を乗算する乗算部と、
前記乗算により得られた数値群から、他方の視聴覚情報の単位時間当たりの周期的なアクセント数ＢＰＭＯに最も近い数値ｂｏｐｔを選択する選択部と、
前記他方の視聴覚情報の単位時間当たりの周期的なアクセント数ＢＰＭＯを、前記ｂｏｐｔで除算して得られる最適調整係数ｆｏｐｔを出力する除算部と、
前記一方の視聴覚情報に対して少なくとも前記最適調整係数ｆｏｐｔを乗じて再生し、それと同時に前記他方の視聴覚情報を再生する再生部と、を備えることを特徴とする同期再生装置。
【請求項２】
周期性を有する音声情報または周期性を有する映像情報のいずれかである２つの視聴覚情報を再生時に同期させる同期再生装置であって、
一方の視聴覚情報の単位時間当たりの周期的なアクセント数ＢＰＭＭに対して単調増加数列を形成する複数の数値を乗算する乗算部と、
前記乗算により得られた数値群から、他方の視聴覚情報の単位時間当たりの周期的なアクセント数ＢＰＭＯに最も近い数値ｂｏｐｔを選択する選択部と、
前記他方の視聴覚情報の単位時間当たりの周期的なアクセント数ＢＰＭＯと、前記ｂｏｐｔとの相加平均ＢＰＭａｉｍを算出する相加平均算出部と、
前記相加平均ＢＰＭａｉｍを前記ｂｏｐｔで除算して得られる最適調整係数ｆｏｐｔＭを出力すると共に、前記相加平均ＢＰＭａｉｍを前記他方の視聴覚情報の単位時間当たりの周期的なアクセント数ＢＰＭＯで除算して得られる最適調整係数ｆｏｐｔＯを出力する除算部と、
前記一方の視聴覚情報に対して少なくとも前記最適調整係数ｆｏｐｔＭを乗じて再生し、それと同時に前記他方の視聴覚情報に対して少なくとも前記最適調整係数ｆｏｐｔＯを乗じて再生する再生部と、を備えることを特徴とする同期再生装置。
【請求項３】
前記再生部は、前記視聴覚情報に対して乗ずる調整係数を、時間経過に応じて１から最適調整係数まで変化させることを特徴とする請求項１または請求項２記載の同期再生装置。
【請求項４】
前記再生部は、前記最適調整係数が乗じられた視聴覚情報のアクセントの周期に合致した周期のアクセントを有する第三の視聴覚情報を、前記各視聴覚情報と同時に再生することを特徴とする請求項１または請求項２記載の同期再生装置。
【請求項５】
前記再生部は、前記一方の視聴覚情報の再生が終了する前に前記他方の視聴覚情報の再生を開始することを特徴とする請求項１から請求項４のいずれかに記載の同期再生装置。
【請求項６】
２つの楽曲情報間の処理を行なう同期再生装置であって、
予め選択されたエフェクト音Ｉおよびエフェクト音ＩＩについて、前記エフェクト音Ｉの単位時間当たりの周期的なアクセント数ＢＰＭ１に対して単調増加数列を形成する複数の数値を乗算して数値群Ｉを算出すると共に、前記エフェクト音ＩＩの単位時間当たりの周期的なアクセント数ＢＰＭ２に対して単調増加数列を形成する複数の数値を乗算して数値群ＩＩを算出する乗算部と、
前記数値群Ｉから、前記一方の楽曲情報の単位時間当たりの周期的なアクセント数ＢＰＭ３に最も近い数値ｂｏｐｔ１を選択すると共に、前記数値群ＩＩから、前記他方の楽曲情報の単位時間当たりの周期的なアクセント数ＢＰＭ４に最も近い数値ｂｏｐｔ２を選択する選択部と、
前記一方の楽曲情報の単位時間当たりの周期的なアクセント数ＢＰＭ３を、前記ｂｏｐｔ１で除算して得られる最適調整係数ｆｏｐｔ１を出力すると共に、前記他方の楽曲情報の単位時間当たりの周期的なアクセント数ＢＰＭ４を、前記ｂｏｐｔ２で除算して得られる最適調整係数ｆｏｐｔ２を出力する除算部と、
前記一方の楽曲情報を再生すると共に、前記エフェクト音Ｉに対して前記最適調整係数ｆｏｐｔ１を乗じて再生し、前記エフェクト音ＩＩに対して前記最適調整係数ｆｏｐｔ２を乗じて再生すると共に、前記他方の楽曲情報を再生する再生部と、を備えることを特徴とする同期再生装置。
【請求項７】
一方の楽曲情報の楽曲特徴量との特徴類似度が最も近い楽曲特徴量を持つエフェクト音Ｉと、他方の楽曲情報の楽曲特徴量との特徴類似度が最も近い楽曲特徴量を持つエフェクト音ＩＩとを選択するエフェクト音選択部を更に備えることを特徴とする請求項６記載の同期再生装置。
【請求項８】
複数の楽曲データを格納する楽曲データベースと、
ユーザの操作を契機としていずれか２つの楽曲データを選択する楽曲選択部と、
請求項１から請求項５のいずれかに記載の同期再生装置と、
前記同期再生装置により再生される楽曲データを音声として出力する出力部と、を備えることを特徴とする楽曲自動リミックスシステム。
【請求項９】
周期性を有する音声情報または周期性を有する映像情報のいずれかである２つの視聴覚情報を再生時に同期させる同期再生方法であって、
乗算部において、一方の視聴覚情報の単位時間当たりの周期的なアクセント数ＢＰＭＭに対して単調増加数列を形成する複数の数値を乗算するステップと、
選択部において、前記乗算により得られた数値群から、他方の視聴覚情報の単位時間当たりの周期的なアクセント数ＢＰＭＯに最も近い数値ｂｏｐｔを選択するステップと、
除算部において、前記他方の視聴覚情報の単位時間当たりの周期的なアクセント数ＢＰＭＯを、前記ｂｏｐｔで除算して得られる最適調整係数ｆｏｐｔを出力するステップと、
再生部において、前記一方の視聴覚情報に対して少なくとも前記最適調整係数ｆｏｐｔを乗じて再生し、それと同時に前記他方の視聴覚情報を再生するステップと、を少なくとも含むことを特徴とする同期再生方法。
【請求項１０】
周期性を有する音声情報または周期性を有する映像情報のいずれかである２つの視聴覚情報を再生時に同期させる同期再生方法であって、
乗算部において、一方の視聴覚情報の単位時間当たりの周期的なアクセント数ＢＰＭＭに対して単調増加数列を形成する複数の数値を乗算するステップと、
選択部において、前記乗算により得られた数値群から、他方の視聴覚情報の単位時間当たりの周期的なアクセント数ＢＰＭＯに最も近い数値ｂｏｐｔを選択するステップと、
相加平均算出部において、前記他方の視聴覚情報の単位時間当たりの周期的なアクセント数ＢＰＭＯと、前記ｂｏｐｔとの相加平均ＢＰＭａｉｍを算出するステップと、
除算部において、前記相加平均ＢＰＭａｉｍを前記ｂｏｐｔで除算して得られる最適調整係数ｆｏｐｔＭを出力すると共に、前記相加平均ＢＰＭａｉｍを前記他方の視聴覚情報の単位時間当たりの周期的なアクセント数ＢＰＭＯで除算して得られる最適調整係数ｆｏｐｔＯを出力するステップと、
再生部において、前記一方の視聴覚情報に対して少なくとも前記最適調整係数ｆｏｐｔＭを乗じて再生し、それと同時に前記他方の視聴覚情報に対して少なくとも前記最適調整係数ｆｏｐｔＯを乗じて再生するステップと、を少なくとも含むことを特徴とする同期再生方法。
【請求項１１】
コンピュータにロードされることによって、周期性を有する音声情報または周期性を有する映像情報のいずれかである２つの視聴覚情報を再生時に同期させる同期再生プログラムであって、
一方の視聴覚情報の単位時間当たりの周期的なアクセント数ＢＰＭＭに対して単調増加数列を形成する複数の数値を乗算する処理と、
前記乗算で得られる数値群から、他方の視聴覚情報の単位時間当たりの周期的なアクセント数ＢＰＭＯに最も近い数値ｂｏｐｔを選択する処理と、
前記他方の視聴覚情報の単位時間当たりの周期的なアクセント数ＢＰＭＯを、前記ｂｏｐｔで除算して最適調整係数ｆｏｐｔを出力する処理と、
前記一方の視聴覚情報に対して少なくとも前記最適調整係数ｆｏｐｔを乗じて再生し、それと同時に前記他方の視聴覚情報を再生する処理と、を少なくとも含むことを特徴とする同期再生プログラム。
【請求項１２】
コンピュータにロードされることによって、周期性を有する音声情報または周期性を有する映像情報のいずれかである２つの視聴覚情報を再生時に同期させる同期再生プログラムであって、
一方の視聴覚情報の単位時間当たりの周期的なアクセント数ＢＰＭＭに対して単調増加数列を形成する複数の数値を乗算する処理と、
前記乗算で得られる数値群から、他方の視聴覚情報の単位時間当たりの周期的なアクセント数ＢＰＭＯに最も近い数値ｂｏｐｔを選択する処理と、
前記他方の視聴覚情報の単位時間当たりの周期的なアクセント数ＢＰＭＯと、前記ｂｏｐｔとの相加平均ＢＰＭａｉｍを算出する処理と、
前記相加平均ＢＰＭａｉｍを前記ｂｏｐｔで除算して得られる最適調整係数ｆｏｐｔＭを出力すると共に、前記相加平均ＢＰＭａｉｍを前記他方の視聴覚情報の単位時間当たりの周期的なアクセント数ＢＰＭＯで除算して得られた最適調整係数ｆｏｐｔＯを出力する処理と、
前記一方の視聴覚情報に対して少なくとも前記最適調整係数ｆｏｐｔＭを乗じて再生し、それと同時に前記他方の視聴覚情報に対して少なくとも前記最適調整係数ｆｏｐｔＯを乗じて再生する処理と、を少なくとも含むことを特徴とする同期再生プログラム。
【請求項１】
周期性を有する音声情報または周期性を有する映像情報のいずれかである２つの視聴覚情報を再生時に同期させる同期再生装置であって、
一方の視聴覚情報の単位時間当たりの周期的なアクセント数ＢＰＭＭに対して単調増加数列を形成する複数の数値を乗算する乗算部と、
前記乗算により得られた数値群から、他方の視聴覚情報の単位時間当たりの周期的なアクセント数ＢＰＭＯに最も近い数値ｂｏｐｔを選択する選択部と、
前記他方の視聴覚情報の単位時間当たりの周期的なアクセント数ＢＰＭＯを、前記ｂｏｐｔで除算して得られる最適調整係数ｆｏｐｔを出力する除算部と、
前記一方の視聴覚情報に対して少なくとも前記最適調整係数ｆｏｐｔを乗じて再生し、それと同時に前記他方の視聴覚情報を再生する再生部と、を備えることを特徴とする同期再生装置。
【請求項２】
周期性を有する音声情報または周期性を有する映像情報のいずれかである２つの視聴覚情報を再生時に同期させる同期再生装置であって、
一方の視聴覚情報の単位時間当たりの周期的なアクセント数ＢＰＭＭに対して単調増加数列を形成する複数の数値を乗算する乗算部と、
前記乗算により得られた数値群から、他方の視聴覚情報の単位時間当たりの周期的なアクセント数ＢＰＭＯに最も近い数値ｂｏｐｔを選択する選択部と、
前記他方の視聴覚情報の単位時間当たりの周期的なアクセント数ＢＰＭＯと、前記ｂｏｐｔとの相加平均ＢＰＭａｉｍを算出する相加平均算出部と、
前記相加平均ＢＰＭａｉｍを前記ｂｏｐｔで除算して得られる最適調整係数ｆｏｐｔＭを出力すると共に、前記相加平均ＢＰＭａｉｍを前記他方の視聴覚情報の単位時間当たりの周期的なアクセント数ＢＰＭＯで除算して得られる最適調整係数ｆｏｐｔＯを出力する除算部と、
前記一方の視聴覚情報に対して少なくとも前記最適調整係数ｆｏｐｔＭを乗じて再生し、それと同時に前記他方の視聴覚情報に対して少なくとも前記最適調整係数ｆｏｐｔＯを乗じて再生する再生部と、を備えることを特徴とする同期再生装置。
【請求項３】
前記再生部は、前記視聴覚情報に対して乗ずる調整係数を、時間経過に応じて１から最適調整係数まで変化させることを特徴とする請求項１または請求項２記載の同期再生装置。
【請求項４】
前記再生部は、前記最適調整係数が乗じられた視聴覚情報のアクセントの周期に合致した周期のアクセントを有する第三の視聴覚情報を、前記各視聴覚情報と同時に再生することを特徴とする請求項１または請求項２記載の同期再生装置。
【請求項５】
前記再生部は、前記一方の視聴覚情報の再生が終了する前に前記他方の視聴覚情報の再生を開始することを特徴とする請求項１から請求項４のいずれかに記載の同期再生装置。
【請求項６】
２つの楽曲情報間の処理を行なう同期再生装置であって、
予め選択されたエフェクト音Ｉおよびエフェクト音ＩＩについて、前記エフェクト音Ｉの単位時間当たりの周期的なアクセント数ＢＰＭ１に対して単調増加数列を形成する複数の数値を乗算して数値群Ｉを算出すると共に、前記エフェクト音ＩＩの単位時間当たりの周期的なアクセント数ＢＰＭ２に対して単調増加数列を形成する複数の数値を乗算して数値群ＩＩを算出する乗算部と、
前記数値群Ｉから、前記一方の楽曲情報の単位時間当たりの周期的なアクセント数ＢＰＭ３に最も近い数値ｂｏｐｔ１を選択すると共に、前記数値群ＩＩから、前記他方の楽曲情報の単位時間当たりの周期的なアクセント数ＢＰＭ４に最も近い数値ｂｏｐｔ２を選択する選択部と、
前記一方の楽曲情報の単位時間当たりの周期的なアクセント数ＢＰＭ３を、前記ｂｏｐｔ１で除算して得られる最適調整係数ｆｏｐｔ１を出力すると共に、前記他方の楽曲情報の単位時間当たりの周期的なアクセント数ＢＰＭ４を、前記ｂｏｐｔ２で除算して得られる最適調整係数ｆｏｐｔ２を出力する除算部と、
前記一方の楽曲情報を再生すると共に、前記エフェクト音Ｉに対して前記最適調整係数ｆｏｐｔ１を乗じて再生し、前記エフェクト音ＩＩに対して前記最適調整係数ｆｏｐｔ２を乗じて再生すると共に、前記他方の楽曲情報を再生する再生部と、を備えることを特徴とする同期再生装置。
【請求項７】
一方の楽曲情報の楽曲特徴量との特徴類似度が最も近い楽曲特徴量を持つエフェクト音Ｉと、他方の楽曲情報の楽曲特徴量との特徴類似度が最も近い楽曲特徴量を持つエフェクト音ＩＩとを選択するエフェクト音選択部を更に備えることを特徴とする請求項６記載の同期再生装置。
【請求項８】
複数の楽曲データを格納する楽曲データベースと、
ユーザの操作を契機としていずれか２つの楽曲データを選択する楽曲選択部と、
請求項１から請求項５のいずれかに記載の同期再生装置と、
前記同期再生装置により再生される楽曲データを音声として出力する出力部と、を備えることを特徴とする楽曲自動リミックスシステム。
【請求項９】
周期性を有する音声情報または周期性を有する映像情報のいずれかである２つの視聴覚情報を再生時に同期させる同期再生方法であって、
乗算部において、一方の視聴覚情報の単位時間当たりの周期的なアクセント数ＢＰＭＭに対して単調増加数列を形成する複数の数値を乗算するステップと、
選択部において、前記乗算により得られた数値群から、他方の視聴覚情報の単位時間当たりの周期的なアクセント数ＢＰＭＯに最も近い数値ｂｏｐｔを選択するステップと、
除算部において、前記他方の視聴覚情報の単位時間当たりの周期的なアクセント数ＢＰＭＯを、前記ｂｏｐｔで除算して得られる最適調整係数ｆｏｐｔを出力するステップと、
再生部において、前記一方の視聴覚情報に対して少なくとも前記最適調整係数ｆｏｐｔを乗じて再生し、それと同時に前記他方の視聴覚情報を再生するステップと、を少なくとも含むことを特徴とする同期再生方法。
【請求項１０】
周期性を有する音声情報または周期性を有する映像情報のいずれかである２つの視聴覚情報を再生時に同期させる同期再生方法であって、
乗算部において、一方の視聴覚情報の単位時間当たりの周期的なアクセント数ＢＰＭＭに対して単調増加数列を形成する複数の数値を乗算するステップと、
選択部において、前記乗算により得られた数値群から、他方の視聴覚情報の単位時間当たりの周期的なアクセント数ＢＰＭＯに最も近い数値ｂｏｐｔを選択するステップと、
相加平均算出部において、前記他方の視聴覚情報の単位時間当たりの周期的なアクセント数ＢＰＭＯと、前記ｂｏｐｔとの相加平均ＢＰＭａｉｍを算出するステップと、
除算部において、前記相加平均ＢＰＭａｉｍを前記ｂｏｐｔで除算して得られる最適調整係数ｆｏｐｔＭを出力すると共に、前記相加平均ＢＰＭａｉｍを前記他方の視聴覚情報の単位時間当たりの周期的なアクセント数ＢＰＭＯで除算して得られる最適調整係数ｆｏｐｔＯを出力するステップと、
再生部において、前記一方の視聴覚情報に対して少なくとも前記最適調整係数ｆｏｐｔＭを乗じて再生し、それと同時に前記他方の視聴覚情報に対して少なくとも前記最適調整係数ｆｏｐｔＯを乗じて再生するステップと、を少なくとも含むことを特徴とする同期再生方法。
【請求項１１】
コンピュータにロードされることによって、周期性を有する音声情報または周期性を有する映像情報のいずれかである２つの視聴覚情報を再生時に同期させる同期再生プログラムであって、
一方の視聴覚情報の単位時間当たりの周期的なアクセント数ＢＰＭＭに対して単調増加数列を形成する複数の数値を乗算する処理と、
前記乗算で得られる数値群から、他方の視聴覚情報の単位時間当たりの周期的なアクセント数ＢＰＭＯに最も近い数値ｂｏｐｔを選択する処理と、
前記他方の視聴覚情報の単位時間当たりの周期的なアクセント数ＢＰＭＯを、前記ｂｏｐｔで除算して最適調整係数ｆｏｐｔを出力する処理と、
前記一方の視聴覚情報に対して少なくとも前記最適調整係数ｆｏｐｔを乗じて再生し、それと同時に前記他方の視聴覚情報を再生する処理と、を少なくとも含むことを特徴とする同期再生プログラム。
【請求項１２】
コンピュータにロードされることによって、周期性を有する音声情報または周期性を有する映像情報のいずれかである２つの視聴覚情報を再生時に同期させる同期再生プログラムであって、
一方の視聴覚情報の単位時間当たりの周期的なアクセント数ＢＰＭＭに対して単調増加数列を形成する複数の数値を乗算する処理と、
前記乗算で得られる数値群から、他方の視聴覚情報の単位時間当たりの周期的なアクセント数ＢＰＭＯに最も近い数値ｂｏｐｔを選択する処理と、
前記他方の視聴覚情報の単位時間当たりの周期的なアクセント数ＢＰＭＯと、前記ｂｏｐｔとの相加平均ＢＰＭａｉｍを算出する処理と、
前記相加平均ＢＰＭａｉｍを前記ｂｏｐｔで除算して得られる最適調整係数ｆｏｐｔＭを出力すると共に、前記相加平均ＢＰＭａｉｍを前記他方の視聴覚情報の単位時間当たりの周期的なアクセント数ＢＰＭＯで除算して得られた最適調整係数ｆｏｐｔＯを出力する処理と、
前記一方の視聴覚情報に対して少なくとも前記最適調整係数ｆｏｐｔＭを乗じて再生し、それと同時に前記他方の視聴覚情報に対して少なくとも前記最適調整係数ｆｏｐｔＯを乗じて再生する処理と、を少なくとも含むことを特徴とする同期再生プログラム。
【図１】
【図２】
【図３】
【図６】
【図７】
【図８】
【図９】
【図１１】
【図１２】
【図１３】
【図１４】
【図４】
【図５】
【図１０】
【図２】
【図３】
【図６】
【図７】
【図８】
【図９】
【図１１】
【図１２】
【図１３】
【図１４】
【図４】
【図５】
【図１０】
【公開番号】特開２００９−２０４９０７（Ｐ２００９−２０４９０７Ａ）
【公開日】平成２１年９月１０日（２００９．９．１０）
【国際特許分類】
【出願番号】特願２００８−４７３３５（Ｐ２００８−４７３３５）
【出願日】平成２０年２月２８日（２００８．２．２８）
【出願人】（０００２０８８９１）ＫＤＤＩ株式会社 (2,700)
【Ｆターム（参考）】
【公開日】平成２１年９月１０日（２００９．９．１０）
【国際特許分類】
【出願日】平成２０年２月２８日（２００８．２．２８）
【出願人】（０００２０８８９１）ＫＤＤＩ株式会社 (2,700)
【Ｆターム（参考）】
[ Back to top ]