楽音再生装置及び楽音再生方法
【課題】視聴者がエフェクト処理を再調整する手間を低減する。
【解決手段】本発明に係る楽音再生装置１００は、楽音データ１０１Ａに第１エフェクト処理を実行することにより処理済楽音データ１０２Ａを生成するエフェクト処理部１３Ａと、楽音データ１０１Ｂに第２エフェクト処理を実行することにより処理済楽音データ１０２Ｂを生成するエフェクト処理部１３Ｂと、楽音データ１０１Ａ及び１０１Ｂの特性に基づき、エフェクト処理部１３Ａによる第１エフェクト処理の実行の有無を制御し、エフェクト処理部１３Ｂによる第２エフェクト処理の実行の有無を制御するエフェクト制御部１９と、処理済楽音データ１０２Ａと処理済楽音データ１０２Ｂとをミキシングすることによりミキシング楽音データ１０３を生成するミキシング処理部１５と、ミキシング楽音データを再生楽音データ１０５として出力する楽音出力部１６とを備える。
【解決手段】本発明に係る楽音再生装置１００は、楽音データ１０１Ａに第１エフェクト処理を実行することにより処理済楽音データ１０２Ａを生成するエフェクト処理部１３Ａと、楽音データ１０１Ｂに第２エフェクト処理を実行することにより処理済楽音データ１０２Ｂを生成するエフェクト処理部１３Ｂと、楽音データ１０１Ａ及び１０１Ｂの特性に基づき、エフェクト処理部１３Ａによる第１エフェクト処理の実行の有無を制御し、エフェクト処理部１３Ｂによる第２エフェクト処理の実行の有無を制御するエフェクト制御部１９と、処理済楽音データ１０２Ａと処理済楽音データ１０２Ｂとをミキシングすることによりミキシング楽音データ１０３を生成するミキシング処理部１５と、ミキシング楽音データを再生楽音データ１０５として出力する楽音出力部１６とを備える。
【発明の詳細な説明】
【技術分野】
【０００１】
本発明は、楽音再生装置及び楽音再生方法に関し、特に、２つ以上の楽音データをミキシングすることにより再生楽音データを生成する楽音再生装置に関する。
【背景技術】
【０００２】
近年、楽音再生装置は、楽音に対して、音質改善及び臨場感向上を目的としたエコー処理などのエフェクト処理を実行することがある（例えば、特許文献１参照）。
【０００３】
また、主音声となるオーディオストリームと、副音声となるオーディオストリームとを、個別にデコードしてからミキシングして出力するミキシング技術がある。この技術は、映画に監督のコメンタリを付与する場合などに使用される。このような技術を用いて様々な再生を行うことで、１つのコンテンツを複数回楽しむことができる。
【０００４】
上記２点の技術を組み合わせた例として、例えば、特許文献２記載の技術が知られている。特許文献２記載の技術は、２つの楽音に対して、個別にエフェクト処理を施した後にミキシングする。これにより、再生のバリエーションが、さらに増加することとなる。
【先行技術文献】
【特許文献】
【０００５】
【特許文献１】特開２００９−０６０５５０号公報
【特許文献２】特開２００６−１３３６８５号公報
【特許文献３】特開２００５−２４２１８２号公報
【発明の概要】
【発明が解決しようとする課題】
【０００６】
しかしながら、特許文献２記載の構成では、一度エフェクト処理の内容を決定すると、エフェクト処理の再調整を実行しない限り、常に同じエフェクト処理が実行される。
【０００７】
もしある時刻で、視聴者が臨場感を味わうためにエコー処理を掛けたが、その後、ミキシング前の楽音の一つが音声に切り替わったと仮定する。
【０００８】
この場合、エコー処理が行われることで音声が聞き取りにくくなる。さらに、エコー処理された音声が、エコー処理された他の楽音とミキシングされることで、さらに当該音声が聞き取りにくくなる。
【０００９】
そのため、音声を聞き取りやすくするために、視聴者がエコー処理を再調整する手間が発生する。
【００１０】
このように、視聴者は視聴中に楽音の特性が変化するたびに、何度もエフェクト処理の再調整をすることになる。これにより、視聴者は楽音を楽しむことに集中できない。
【００１１】
そこで本発明は、視聴者がエフェクト処理を再調整する手間を低減できる楽音再生装置を提供することを目的とする。
【課題を解決するための手段】
【００１２】
上記課題を解決するために、本発明の一形態に係る楽音再生装置は、第１楽音データ及び第２楽音データをミキシングすることにより再生楽音データを生成する楽音再生装置であって、前記第１楽音データを取得する第１楽音取得部と、前記第２楽音データを取得する第２楽音取得部と、前記第１楽音データに第１エフェクト処理を実行することにより第１処理済楽音データを生成する第１エフェクト処理部と、前記第２楽音データに第２エフェクト処理を実行することにより第２処理済楽音データを生成する第２エフェクト処理部と、前記第１楽音データの特性を示す第１楽音特性データを取得する第１楽音特性取得部と、前記第２楽音データの特性を示す第２楽音特性データを取得する第２楽音特性取得部と、前記第１楽音特性データで示される前記第１楽音データの特性、及び前記第２楽音特性データで示される前記第２楽音データの特性に基づき、前記第１エフェクト処理部による前記第１エフェクト処理の実行の有無を制御し、前記第２エフェクト処理部による前記第２エフェクト処理の実行の有無を制御するエフェクト制御部とを備え、前記第１エフェクト処理部は、前記第１エフェクト処理を実行しない場合、前記第１楽音データを前記第１処理済楽音データとして出力し、前記第２エフェクト処理部は、前記第２エフェクト処理を実行しない場合、前記第２楽音データを前記第２処理済楽音データとして出力し、前記楽音再生装置は、さらに、前記第１処理済楽音データと前記第２処理済楽音データとをミキシングすることによりミキシング楽音データを生成するミキシング処理部と、前記ミキシング楽音データを前記再生楽音データとして出力する楽音出力部とを備える。
【００１３】
この構成によれば、本発明の一形態に係る楽音再生装置は、第１及び第２楽音特性データを用いて、自動的に第１及び第２エフェクト処理の実行／未実行を切り替えることができる。これにより、本発明の一形態に係る楽音再生装置は、視聴者がエフェクト処理を再調整する手間を低減できる。これにより、視聴者は、楽音を楽しむことに集中できる。
【００１４】
また、前記第１楽音データの特性及び前記第２楽音データの特性は、当該第１楽音データ又は当該第２楽音データが音声であるか、音楽であるかであり、前記エフェクト制御部は、前記第１楽音データが音楽である場合、前記第１エフェクト処理部に前記第１エフェクト処理を実行させ、前記第１楽音データが音声である場合、前記第１エフェクト処理部に前記第１エフェクト処理を実行させず、前記第２楽音データが音楽である場合、前記第２エフェクト処理部に前記第２エフェクト処理を実行させ、前記第２楽音データが音声である場合、前記第２エフェクト処理部に前記第２エフェクト処理を実行させなくてもよい。
【００１５】
また、前記第１楽音データの特性及び前記第２楽音データの特性は、当該第１楽音データ又は当該第２楽音データが音声であるか、音楽であるか、無音であるかであり、前記エフェクト制御部は、前記第１楽音データが音声である場合、かつ、前記第２楽音データが音楽である場合、前記第１エフェクト処理部に前記第１エフェクト処理を実行させず、前記第１楽音データが音声である場合、かつ、前記第２楽音データが無音である場合、前記第１エフェクト処理部に前記第１エフェクト処理を実行させ、前記第２楽音データが音声である場合、かつ、前記第１楽音データが音楽である場合、前記第２エフェクト処理部に前記第２エフェクト処理を実行させず、前記第２楽音データが音声である場合、かつ、前記第１楽音データが無音である場合、前記第２エフェクト処理部に前記第２エフェクト処理を実行させなくてもよい。
【００１６】
また、前記楽音再生装置は、さらに、前記第１楽音データの特性を解析することにより前記第１楽音特性データを生成する第１楽音解析部と、前記第２楽音データの特性を解析することにより前記第２楽音特性データを生成する第２楽音解析部とを備え、前記第１楽音特性取得部は、前記第１楽音解析部により生成された前記第１楽音特性データを取得し、前記第２楽音特性取得部は、前記第２楽音解析部により生成された前記第２楽音特性データを取得してもよい。
【００１７】
この構成によれば、本発明の一形態に係る楽音再生装置は、第１及び第２楽音特性データが存在しない場合でも、自動的に当該第１及び第２エフェクト処理の実行／未実行を切り替えることができる。
【００１８】
また、前記エフェクト制御部は、前記第１楽音特性データで示される前記第１楽音データの特性、及び前記第２楽音特性データで示される前記第２楽音データの特性に基づき、前記第１エフェクト処理の強さを示す第１パラメータを生成し、前記第２エフェクト処理の強さを示す第２パラメータを生成するパラメータ生成部を備え、前記第１エフェクト処理部は、前記第１パラメータを用いて前記第１エフェクト処理を行い、前記第２エフェクト処理部は、前記第２パラメータを用いて前記第２エフェクト処理を行ってもよい。
【００１９】
この構成によれば、本発明の一形態に係る楽音再生装置は、再生楽音をさらに細かく調整できる。
【００２０】
また、前記パラメータ生成部は、前記エフェクト制御部が前記第１エフェクト処理部の状態を、前記第１エフェクト処理を実行する状態から実行しない状態に切り替える場合、前記第１エフェクト処理の強さを連続的に減少させる前記第１パラメータを生成し、前記エフェクト制御部が前記第１エフェクト処理部の状態を、前記第１エフェクト処理を実行しない状態から実行する状態に切り替える場合、前記第１エフェクト処理の強さを連続的に増加させる前記第１パラメータを生成し、前記エフェクト制御部が前記第２エフェクト処理部の状態を、前記第２エフェクト処理を実行する状態から実行しない状態に切り替える場合、前記第２エフェクト処理の強さを連続的に減少させる前記第２パラメータを生成し、前記エフェクト制御部が前記第２エフェクト処理部の状態を、前記第２エフェクト処理を実行しない状態から実行する状態に切り替える場合、前記第２エフェクト処理の強さを連続的に増加させる前記第２パラメータを生成してもよい。
【００２１】
この構成によれば、本発明の一形態に係る楽音再生装置は、再生楽音の急激なエフェクトの変化を和らげることができるため、さらに最適な再生楽音を生成できる。
【００２２】
また、前記エフェクト制御部は、前記第１楽音特性データで示される前記第１楽音データの特性、及び前記第２楽音特性データで示される前記第２楽音データの特性に基づき、前記第１エフェクト処理の強さを示す第１パラメータを生成し、前記第２エフェクト処理の強さを示す第２パラメータを生成するパラメータ生成部を備え、前記第１エフェクト処理部は、前記第１パラメータを用いて前記第１エフェクト処理を行い、前記第２エフェクト処理部は、前記第２パラメータを用いて前記第２エフェクト処理を行い、前記エフェクト制御部は、前記第１楽音データが音声であり、かつ前記第２楽音データが音楽である場合、前記第１エフェクト処理部に前記第１エフェクト処理を実行させず、前記第２楽音データが音声であり、かつ前記第１楽音データが音楽である場合、前記第２エフェクト処理部に前記第２エフェクト処理を実行させず、前記第１楽音データ及び前記第２楽音データが共に音声である場合、前記第１エフェクト処理部に前記第１エフェクト処理を実行させ、かつ、前記第２エフェクト処理部に前記第２エフェクト処理を実行させ、前記パラメータ生成部は、前記第１楽音データ及び前記第２楽音データが共に音声である場合、前記第１楽音データが音楽である場合より前記第１エフェクト処理の強さが弱くなるように前記第１パラメータを生成し、かつ、前記第２楽音データが音楽である場合より前記第２エフェクト処理の強さが弱くなるように前記第２パラメータを生成してもよい。
【００２３】
この構成によれば、本発明の一形態に係る楽音再生装置は、再生楽音をさらに細かく調整できる。
【００２４】
また、前記エフェクト制御部は、前記第１楽音特性データで示される前記第１楽音データの特性、及び前記第２楽音特性データで示される前記第２楽音データの特性に基づき、前記第１エフェクト処理の強さを示す、予め定められた複数の第１パラメータからいずれかを選択し、前記第２エフェクト処理の強さを示す、予め定められた複数の第２パラメータからいずれかを選択するパラメータ選択部を備え、前記第１エフェクト処理部は、前記パラメータ選択部により選択された前記第１パラメータを用いて前記第１エフェクト処理を行い、前記第２エフェクト処理部は、前記パラメータ選択部により選択された前記第２パラメータを用いて前記第２エフェクト処理を行ってもよい。
【００２５】
この構成によれば、本発明の一形態に係る楽音再生装置は、再生楽音をさらに細かく調整できる。さらに、本発明の一形態に係る楽音再生装置は、当該調整に要する処理量を低減できる。
【００２６】
また、前記エフェクト制御部は、前記第１楽音特性データで示される前記第１楽音データの特性、及び前記第２楽音特性データで示される前記第２楽音データの特性に基づき、前記第１エフェクト処理の強さを示す第１パラメータを生成し、前記第２エフェクト処理の強さを示す第２パラメータを生成するパラメータ生成部と、前記第１楽音特性データで示される前記第１楽音データの特性、及び前記第２楽音特性データで示される前記第２楽音データの特性に基づき、前記第１エフェクト処理の強さを示す、予め定められた複数の第３パラメータからいずれかを選択し、前記第２エフェクト処理の強さを示す、予め定められた複数の第４パラメータからいずれかを選択するパラメータ選択部とを備え、前記第１及び前記第２楽音データに対する処理量が、予め定められた閾値より少ない場合、前記第１エフェクト処理部は、前記パラメータ生成部により生成された前記第１パラメータを用いて前記第１エフェクト処理を行い、前記第２エフェクト処理部は、前記パラメータ生成部により生成された前記第２パラメータを用いて前記第２エフェクト処理を行い、前記処理量が前記閾値より多い場合、前記第１エフェクト処理部は、前記パラメータ選択部により選択された前記第３パラメータを用いて前記第１エフェクト処理を行い、前記第２エフェクト処理部は、前記パラメータ選択部により選択された前記第４パラメータを用いて前記第２エフェクト処理を行ってもよい。
【００２７】
この構成によれば、本発明の一形態に係る楽音再生装置は、再生楽音をさらに細かく調整できる。さらに、本発明の一形態に係る楽音再生装置は、限られた処理性能を最大限生かして、最適な再生楽音を生成できる。
【００２８】
また、前記楽音再生装置は、さらに、前記ミキシング処理部により生成された前記ミキシング再生楽音データに第３エフェクト処理を行うことにより第３処理済楽音データを生成する第３エフェクト処理部を備え、前記エフェクト制御部は、前記第１及び前記第２エフェクト処理を実行し、かつ、前記第３エフェクト処理を実行しない第１条件で生成される再生楽音データと、前記第３及び前記第２エフェクト処理を実行せず、かつ、前記第３エフェクト処理を実行する第２条件で生成される再生楽音データとが同等である場合、前記第１及び前記第２エフェクト処理部に前記第１及び前記第２エフェクト処理を実行させず、かつ、前記第３エフェクト処理部に前記第３エフェクト処理を実行させ、前記第１条件で生成される再生楽音データと前記第２条件で生成される再生楽音データとが同等でない場合、前記第１及び前記第２エフェクト処理部に前記第１及び前記第２エフェクト処理を実行させ、かつ、前記第３エフェクト処理部に前記第３エフェクト処理を実行させず、前記第３エフェクト処理部は、前記第３エフェクト処理を実行しない場合、前記ミキシング楽音データを前記第３処理済楽音データとして出力し、前記楽音出力部は、前記第３処理済楽音データを前記再生楽音データとして出力してもよい。
【００２９】
この構成によれば、本発明の一形態に係る楽音再生装置は、エフェクト処理の内容に応じて、エフェクト処理をミキシングの前段で２回実行するのではなく、ミキシングの後段で１回実行するだけで最適な再生楽音を得ることができる。よって、本発明の一形態に係る楽音再生装置は、処理量を低減できる。
【００３０】
また、前記楽音再生装置は、さらに、前記第１楽音データのデコード時の情報である第１デコード情報を取得する第１デコード情報取得部と、前記第２楽音データのデコード時の情報である第２デコード情報を取得する第２デコード情報取得部とを備え、前記第１楽音解析部は、前記第１デコード情報を用いて前記第１楽音特性データを生成し、前記第２楽音解析部は、前記第２デコード情報を用いて前記第２楽音特性データを生成してもよい。
【００３１】
この構成によれば、本発明の一形態に係る楽音再生装置は、楽音データの解析に必要な情報を生成するのではなく、当該情報を参照するだけで済むため、処理量を低減できる。
【００３２】
また、前記楽音再生装置は、さらに、前記第１楽音解析部による前記第１楽音特性データの生成処理の実行の有無と、前記第２楽音解析部による前記第２楽音特性データの生成処理の実行の有無とを制御する楽音解析制御部を備え、前記エフェクト制御部は、前記第１楽音解析部による前記第１楽音特性データの生成処理が実行されない場合、前記第１エフェクト処理部による前記第１エフェクト処理の実行の有無を維持し、前記第２楽音解析部による前記第２楽音特性データの生成処理が実行されない場合、前記第２エフェクト処理部による前記第２エフェクト処理の実行の有無を維持してもよい。
【００３３】
この構成によれば、本発明の一形態に係る楽音再生装置は、楽音データを解析しない場合が発生するため、処理量を低減できる。
【００３４】
また、前記楽音解析制御部は、前記第１楽音解析部による前記第１楽音特性データの生成処理、及び前記第２楽音解析部による前記第２楽音特性データの生成処理を予め定められた周期で実行させるタイム制御部を備えてもよい。
【００３５】
この構成によれば、本発明の一形態に係る楽音再生装置は、楽音データの解析の精度を保ちつつ、処理量を低減できる。
【００３６】
また、前記タイム制御部は、さらに、前記第１楽音特性データで示される前記第１楽音データの特性が変化している期間が予め定められた第１時間より短いか否かを判定し、前記第２楽音特性データで示される前記第２楽音データの特性が変化している期間が予め定められた第２時間より短いか否かを判定し、前記エフェクト制御部は、前記第１楽音データの特性が変化している期間が前記第１時間より短い場合、当該特性の変化に基づく前記第１エフェクト処理部による前記第１エフェクト処理の実行の有無を維持し、前記第２楽音データの特性が変化している期間が前記第２時間より短い場合、当該特性の変化に基づく前記第２エフェクト処理部による前記第２エフェクト処理の有無を維持してもよい。
【００３７】
この構成によれば、本発明の一形態に係る楽音再生装置は、エフェクト処理の実行／未実行が頻繁に切り替わることによる視聴者の違和感を低減できる。
【００３８】
また、前記楽音再生装置は、さらに、前記第１又は第２楽音データに、予め定められたイベントが発生したことを示すイベント情報を取得するイベント取得部を備え、前記楽音解析制御部は、前記イベント情報により前記イベントが発生したことが示される場合、前記第１及び前記第２楽音解析部に前記第１及び前記第２楽音特性データを生成させてもよい。
【００３９】
この構成によれば、本発明の一形態に係る楽音再生装置は、効率的な楽音データの解析を実行できるので、処理量を低減できる。
【００４０】
また、前記イベントは、シーン切替又は楽音切替であってもよい。
【００４１】
この構成によれば、本発明の一形態に係る楽音再生装置は、効率的な楽音データの解析を実行できるので、処理量を低減できる。
【００４２】
また、前記楽音解析制御部は、前記第１楽音データがマルチチャネル信号である場合、前記第１楽音解析部にセンターチャネル又はフロントチャネルを指定し、前記第２楽音データがマルチチャネル信号である場合、前記第２楽音解析部にセンターチャネル又はフロントチャネルを指定する解析チャネル指定部を備え、前記第１楽音解析部は、前記第１楽音データに含まれる、前記解析チャネル指定部により指定されたチャネルの特性を解析することにより前記第１楽音特性データを生成し、前記第２楽音解析部は、前記第２楽音データに含まれる、前記解析チャネル指定部により指定されたチャネルの特性を解析することにより前記第２楽音特性データを生成してもよい。
【００４３】
この構成によれば、本発明の一形態に係る楽音再生装置は、楽音データを解析するチャネルを限定することで、処理量を低減できる。
【００４４】
なお、本発明は、このような楽音再生装置として実現できるだけでなく、楽音再生装置に含まれる特徴的な手段をステップとする楽音再生方法として実現したり、そのような特徴的なステップをコンピュータに実行させるプログラムとして実現したりすることもできる。そして、そのようなプログラムは、ＣＤ−ＲＯＭ等の記録媒体及びインターネット等の伝送媒体を介して流通させることができるのは言うまでもない。
【００４５】
さらに、本発明は、このような楽音再生装置の機能の一部又は全てを実現する半導体集積回路（ＬＳＩ）として実現できる。
【発明の効果】
【００４６】
以上より、本発明は、視聴者がエフェクト処理を再調整する手間を低減できる楽音再生装置を提供できる。
【図面の簡単な説明】
【００４７】
【図１】本発明の実施の形態１に係る楽音再生装置のブロック図である。
【図２】本発明の実施の形態１に係る楽音再生処理のフローチャートである。
【図３】本発明の実施の形態１に係る、楽音データの特性とエフェクト処理の実行の有無との関係を示す図である。
【図４】本発明の実施の形態２に係る楽音再生装置のブロック図である。
【図５】本発明の実施の形態３に係る楽音再生装置のブロック図である。
【図６】本発明の実施の形態３に係る楽音再生処理のフローチャートである。
【図７】本発明の実施の形態３の変形例に係る楽音再生装置のブロック図である。
【図８】本発明の実施の形態３の変形例に係る楽音再生装置のブロック図である。
【図９】本発明の実施の形態３の変形例に係る処理部選択処理のフローチャートである。
【図１０】本発明の実施の形態４に係る楽音再生装置のブロック図である。
【図１１】本発明の実施の形態４に係る楽音再生処理のフローチャートである。
【図１２】本発明の実施の形態５に係る楽音再生装置のブロック図である。
【図１３】本発明の実施の形態６に係る楽音再生装置のブロック図である。
【図１４】本発明の実施の形態６の変形例に係る楽音再生装置のブロック図である。
【図１５】本発明の実施の形態６係る楽音再生装置における楽音解析処理の実行／未実行の時間変化の一例を示す図である。
【図１６】本発明の実施の形態６に係る楽音解析制御処理のフローチャートである。
【図１７】本発明の実施の形態７に係る楽音再生装置のブロック図である。
【図１８】本発明の実施の形態７の変形例に係る楽音再生装置のブロック図である。
【図１９】本発明の実施の形態７に係る楽音解析制御処理のフローチャートである。
【図２０】本発明の実施の形態８に係る楽音再生装置のブロック図である。
【図２１】本発明の実施の形態８に係る解析チャネル指定処理のフローチャートである。
【発明を実施するための形態】
【００４８】
以下、本発明を実施するための形態について、図面を参照しながら説明する。
【００４９】
（実施の形態１）
本発明の実施の形態１に係る楽音再生装置は、楽音データの特性に応じて、エフェクト処理の実行／未実行を自動的に切り替える。これにより、本発明の実施の形態１に係る楽音再生装置は、視聴者がエフェクト処理を再調整する手間を低減できる。
【００５０】
まず、本発明の実施の形態１に係る楽音再生装置１００の構成を説明する。
【００５１】
図１は、本発明の実施の形態１に係る楽音再生装置１００のブロック図である。この楽音再生装置１００は、楽音データ１０１Ａ及び１０１Ｂをミキシングすることにより再生楽音データ１０５を生成する。
【００５２】
図１に示す楽音再生装置１００は、楽音取得部１１Ａ及び１１Ｂと、エフェクト処理部１３Ａ及び１３Ｂと、ミキシング処理部１５と、楽音出力部１６と、楽音特性取得部３１Ａ及び３２Ｂと、エフェクト制御部１９とを備える。
【００５３】
楽音取得部１１Ａは、外部から入力された楽音データ１０１Ａを取得する。楽音取得部１１Ｂは、外部から入力された楽音データ１０１Ｂを取得する。また、楽音データ１０１Ａ及び１０１Ｂは、音楽データ又は音声データ等のデジタルのオーディオデータである。例えば、楽音データ１０１Ａ及び１０１Ｂは、ＰＣＭ（Ｐｕｌｓｅ Ｃｏｄｅ Ｍｏｄｕｌａｔｉｏｎ）データである。
【００５４】
エフェクト処理部１３Ａは、楽音取得部１１Ａが取得した楽音データ１０１Ａに対してエフェクト処理を実行することにより処理済楽音データ１０２Ａを生成する。エフェクト処理部１３Ｂは、楽音取得部１１Ｂが取得した楽音データ１０１Ｂに対してエフェクト処理を実行することにより処理済楽音データ１０２Ｂを生成する。
【００５５】
最良の形態のひとつとして、エフェクト処理部１３Ａ及び１３Ｂは、エフェクト処理として、特許文献１記載のエコー処理、及びドルビープロロジック技術のようなチャネル拡張処理のどちらか一方を実行する、又は、両方を並列実行する。
【００５６】
楽音特性取得部３１Ａは、楽音データ１０１Ａの特性を示す楽音特性データ１０４Ａを取得する。楽音特性取得部３１Ｂは、楽音データ１０１Ｂの特性を示す楽音特性データ１０４Ｂを取得する。
【００５７】
なお、楽音特性取得部３１Ａ及び３１Ｂは、楽音再生装置１００が搭載される装置内の他の処理部により生成された楽音特性データ１０４Ａ及び１０４Ｂを取得してもよいし、他の装置で生成された楽音特性データ１０４Ａ及び１０４Ｂを、ネットワーク等を経由して取得してもよい。また、最良の形態のひとつとして、楽音特性データ１０４Ａ及び１０４Ｂは、楽音データ１０１Ａ及び１０１Ｂが音声であるか、音楽であるか、無音であるかを示す音声検出データを含む。
【００５８】
エフェクト制御部１９は、楽音特性データ１０４Ａ及び１０４Ｂで示される楽音データ１０１Ａ及び１０１Ｂの特性に応じて、再生楽音データ１０５が最適な音になるようにエフェクト処理部１３Ａ及び１３Ｂによるエフェクト処理の実行／未実行を制御する。
【００５９】
また、エフェクト処理部１３Ａは、エフェクト処理を実行しない場合、楽音データ１０１Ａを処理済楽音データ１０２Ａとして出力する。また、エフェクト処理部１３Ｂは、エフェクト処理を実行しない場合、楽音データ１０１Ｂを処理済楽音データ１０２Ｂとして出力する。
【００６０】
ミキシング処理部１５は、処理済楽音データ１０２Ａ及び１０２Ｂミキシングすることにより、ミキシング楽音データ１０３を生成する。
【００６１】
楽音出力部１６は、楽音のデジタルデータの出力部であり、ミキシングしたＰＣＭデータであるミキシング楽音データ１０３を再生楽音データ１０５として外部へ出力する。
【００６２】
図２は、エフェクト制御部１９によるエフェクト処理部１３Ａに対する制御のフローチャートである。なお、エフェクト処理部１３Ｂに対する処理も同様である。
【００６３】
まず、エフェクト制御部１９は、楽音特性データ１０４Ａで示される楽音データ１０１Ａの特性を判定する（Ｓ１０１）。
【００６４】
楽音データ１０１Ａが音楽である場合（Ｓ１０１で音楽）、エフェクト制御部１９は、エフェクト処理部１３Ａにエフェクト処理を実行させる（Ｓ１０３）。
【００６５】
また、楽音データ１０１Ａが無音である場合（Ｓ１０１で無音）、エフェクト制御部１９は、エフェクト処理部１３Ａにエフェクト処理を実行させない（Ｓ１０４）。
【００６６】
また、楽音データ１０１Ａが音声である場合（Ｓ１０１で音声）、エフェクト制御部１９は、他方の楽音データ１０１Ｂが無音であるか否かを判定する（Ｓ１０２）。
【００６７】
他方の楽音データ１０１Ｂが無音の場合（Ｓ１０２でＹｅｓ）、エフェクト制御部１９は、エフェクト処理部１３Ａにエフェクト処理を実行させる（Ｓ１０３）。
【００６８】
一方、他方の楽音データ１０１Ｂが無音でない場合（Ｓ１０２でＮｏ）、エフェクト制御部１９は、エフェクト処理部１３Ａにエフェクト処理を実行させない（Ｓ１０４）。
【００６９】
また、図３は、楽音データ１０１Ａ及び１０１Ｂの特性の組み合わせと、エフェクト処理部１３Ａ及び１３Ｂによるエフェクト処理の実行／未実行との関係の一例を示す図である。
【００７０】
以上により、本発明の実施の形態１に係る楽音再生装置１００は、ミキシング後の楽音で音声が聞き取りにくくなることを防止できる。また、楽音再生装置１００は、視聴者によるがエフェクト調整の手間を低減できる。このように、楽音再生装置１００は、自動で良好な臨場感と、良好な音声の聞き取りとを両立させることができる。
【００７１】
（実施の形態２）
図４は、本発明の実施の形態２に係る楽音再生装置１００Ａのブロック図である。
【００７２】
図４に示す楽音再生装置１００Ａは、図１に示す楽音再生装置１００の構成に加え、さらに、楽音解析部１７Ａ及び１７Ｂを備える。なお、図１と同様の要素には同一の符号を付しており、以下、相違点を主に説明する。
【００７３】
楽音解析部１７Ａは、楽音データ１０１Ａの特性を解析することにより楽音特性データ１０４Ａを生成する。楽音解析部１７Ｂは、楽音データ１０１Ｂの特性を解析することにより楽音特性データ１０４Ｂを生成する。
【００７４】
最良の形態のひとつとして、楽音解析部１７Ａ及び１７Ｂは、楽音データ１０１Ａ及び１０１Ｂが音声であるか、音楽であるか、無音であるかを検出する音声検出機能を有する。なお、音声検出機能の詳細は、例えば、特許文献３に記載されている。
【００７５】
また、楽音特性取得部３１Ａは、楽音解析部１７Ａにより生成された楽音特性データ１０４Ａを取得する。また、楽音特性取得部３１Ｂは、楽音解析部１７Ｂにより生成された楽音特性データ１０４Ｂを取得する。
【００７６】
この構成により、本発明の実施の形態２に係る楽音再生装置１００Ａは、楽音データ１０１Ａ及び１０１Ｂから楽音特性データ１０４Ａ及び１０４Ｂを生成できる。これにより、楽音再生装置１００Ａは、楽音特性データ１０４Ａ及び１０４Ｂが存在しない場合でも、自動でエフェクト処理の実行／未実行を切り替えることが可能となる。
【００７７】
（実施の形態３）
図５は、本発明の実施の形態３に係る楽音再生装置１００Ｂのブロック図である。この楽音再生装置１００Ｂは、図４に示す楽音再生装置１００Ａの構成に加え、さらに、パラメータ生成部２０Ａ及び２０Ｂを備える。以下、追加したブロックと信号の流れを説明する。
【００７８】
パラメータ生成部２０Ａは、楽音データ１０１Ａ及び１０１Ｂの特性に基づき、エフェクト処理部１３Ａで使用するパラメータ１０７Ａを自動的に生成する。また、パラメータ生成部２０Ｂは、楽音データ１０１Ａ及び１０１Ｂの特性に基づき、エフェクト処理部１３Ｂで使用するパラメータ１０７Ｂを自動的に生成する。
【００７９】
また、エフェクト処理部１３Ａは、パラメータ１０７Ａを用いて、楽音データ１０１Ａにエフェクト処理を行う。また、エフェクト処理部１３Ｂは、パラメータ１０７Ｂを用いて、楽音データ１０１Ｂにエフェクト処理を行う。
【００８０】
最良の形態のひとつとして、パラメータ生成部２０Ａは、楽音データ１０１Ａ及び１０１Ｂの特性の組み合わせに応じて、エフェクト処理の強さを変更する。
【００８１】
図６は、この場合のエフェクト制御部１９によるエフェクト処理部１３Ａに対する制御のフローチャートである。なお、エフェクト処理部１３Ｂに対する処理も同様である。
【００８２】
また、楽音データ１０１Ａが音楽及び無音（Ｓ１０１で音楽及び無音）の場合の処理は、図２と同様である。
【００８３】
楽音データ１０１Ａが音声である場合（Ｓ１０１で音声）、エフェクト制御部１９は、他方の楽音データ１０１Ｂの特性を判定する（Ｓ１０５）。
【００８４】
他方の楽音データ１０１Ｂが無音の場合（Ｓ１０５無音）、エフェクト制御部１９は、エフェクト処理部１３Ａにエフェクト処理を実行させる（Ｓ１０３）。
【００８５】
また、他方の楽音データ１０１Ｂが音楽である場合（Ｓ１０５で音楽）、エフェクト制御部１９は、エフェクト処理部１３Ａにエフェクト処理を実行させない（Ｓ１０４）。
【００８６】
また、他方の楽音データ１０１Ｂが音声である場合（Ｓ１０５で音声）、つまり、楽音データ１０１Ａ及び１０１Ｂが共に音声である場合、エフェクト制御部１９は、エフェクト処理部１３Ａにエフェクト処理を実行させるが、エフェクトの掛かり具合が、ステップＳ１０３の場合より弱くなるようにパラメータ１０７Ａを生成する（Ｓ１０６）。
【００８７】
また、別の最良の形態のひとつとして、パラメータ生成部２０Ａ及び２０Ｂは、エフェクト処理を実行から未実行に切り替えると決定した場合、徐々にエフェクトの掛かり具合を弱めるようにパラメータ１０７Ａ及び１０７Ｂを自動生成する。反対に、パラメータ生成部２０Ａ及び２０Ｂは、エフェクト処理を未実行から実行に切り替えると決定した場合、徐々にエフェクトの掛かり具合を強めるようにパラメータ１０７Ａ及び１０７Ｂを自動生成する。
【００８８】
この構成により、本発明の実施の形態３に係る楽音再生装置１００Ｂは、再生楽音の急激なエフェクトの変化を和らげることができるため、さらに最適な再生楽音を実現できる。
【００８９】
また、上記説明では、パラメータ１０７Ａ及び１０７Ｂを自動で生成するパラメータ生成部２０Ａ及び２０Ｂを用いる例を説明したが、図７に示す楽音再生装置１００Ｃのように、パラメータ生成部２０Ａ及び２０Ｂの代わりに、パラメータ選択部２１Ａ及び２１Ｂを用いてもよい。
【００９０】
このパラメータ選択部２１Ａは、予め準備された複数のパラメータから、楽音特性データ１０４Ａ及び１０４Ｂに応じて、パラメータ１０７Ａを選択する。また、パラメータ選択部２１Ｂは、予め準備された複数のパラメータから、楽音特性データ１０４Ａ及び１０４Ｂに応じて、パラメータ１０７Ｂを選択する。
【００９１】
また、図８に示す楽音再生装置１００Ｄのように、パラメータ生成部２０Ａ及び２０Ｂとパラメータ選択部２１Ａ及び２１Ｂとを共に用いてもよい。この場合、エフェクト処理部１３Ａで使用するパラメータ１０７Ａは、静的、又は、動的に選択されたパラメータ生成部２０Ａとパラメータ選択部２１Ａとのどちらかが出力する。同様に、エフェクト処理部１３Ｂで使用するパラメータ１０７Ｂは、静的、又は、動的に選択されたパラメータ生成部２０Ｂとパラメータ選択部２１Ｂとのどちらかが出力する。この場合でも、上記と同様の効果を得ることができる。
【００９２】
また、パラメータ１０７Ａを、パラメータ生成部２０Ａとパラメータ選択部２１Ａとのどちらの処理部で生成するか動的に選択する最良の形態のひとつを図９に示す。なお、パラメータ１０７Ｂに対する処理も同様である。
【００９３】
図９に示すように、処理量（処理負荷）が予め定められた閾値より少ない場合（Ｓ１１０でＮｏ）は、パラメータ１０７Ａを細かく設定できるパラメータ生成部２０Ａがパラメータ１０７Ａを生成する（Ｓ１１２）。また、処理量（処理負荷）が上記閾値より多い場合（Ｓ１１０でＹｅｓ）は、パラメータ１０７Ａの設定が粗くなるが、処理の軽いパラメータ選択部２１Ａがパラメータ１０７Ａを生成する（Ｓ１１１）。
【００９４】
この構成により、本発明の実施の形態３に係る楽音再生装置１００Ｄは、限られた処理性能を最大限生かして、最適な再生楽音を実現できる。
【００９５】
なお、ここでは、上記実施の形態２に係る楽音再生装置１００Ａが、さらに、パラメータ生成部２０Ａ及び２０Ｂを備える例を述べたが、実施の形態１に係る楽音再生装置１００に同様の変形例を適用してもよい。
【００９６】
（実施の形態４）
図１０は、本発明の実施の形態４に係る楽音再生装置１００Ｅのブロック図である。図１０に示す楽音再生装置１００Ｅは、図５に示す実施の形態３に係る１００Ｂの構成に加え、さらに、エフェクト処理部２２を備える。また、エフェクト制御部１９が、さらに、パラメータ生成部２０Ｃを備える。以下、追加したブロックと信号の流れを説明する。
【００９７】
パラメータ生成部２０Ｃは、楽音データ１０１Ａ及び１０１Ｂの特性に基づき、エフェクト処理部２２で使用するパラメータ１０７Ｃを自動的に生成する。
【００９８】
エフェクト処理部２２は、エフェクト処理部１３Ａ及び１３Ｂと同等の機能を有する。このエフェクト処理部２２は、パラメータ１０７Ｃを用いて、ミキシング処理部１５から出力されたミキシング楽音データ１０３に対してエフェクト処理を実行することにより、処理済楽音データ１１０を生成する。
【００９９】
また、エフェクト制御部１９は、楽音データ１０１Ａ及び１０１Ｂの特性に基づき、エフェクト処理部２２によるエフェクト処理の実行／未実行を制御する。また、エフェクト処理部２２は、エフェクト処理を実行しない場合、ミキシング楽音データ１０３を処理済楽音データ１１０として出力する。
【０１００】
また、楽音出力部１６は、処理済楽音データ１１０を再生楽音データ１０５として出力する。
【０１０１】
この構成でのエフェクト制御部１９の最良の形態のひとつを図１１に示す。
【０１０２】
エフェクト制御部１９は、楽音データ１０１Ａ及び１０１Ｂの両方にエフェクト処理部を実行すると判断した場合（Ｓ１２０でＹｅｓ）、エフェクト処理部１３Ａ及び１３Ｂが共にエフェクト処理を実行し、かつ、エフェクト処理部２２がエフェクト処理を実行しない場合と、エフェクト処理部１３Ａ及び１３Ｂが共にエフェクト処理を実行せず、かつ、エフェクト処理部２２がエフェクト処理を実行する場合とで、再生楽音データ１０５（処理済楽音データ１１０）が同等であるか否かを判定する（Ｓ１２１）。
【０１０３】
エフェクト処理部１３Ａ及び１３Ｂが共にエフェクト処理を実行し、かつ、エフェクト処理部２２がエフェクト処理を実行しない場合と、エフェクト処理部１３Ａ及び１３Ｂが共にエフェクト処理を実行せず、かつ、エフェクト処理部２２がエフェクト処理を実行する場合とで、再生楽音データ１０５が同等である場合（Ｓ１２１でＹｅｓ）、エフェクト制御部１９は、前段のエフェクト処理部１３Ａ及び１３Ｂにエフェクト処理を実行させず、かつ、後段のエフェクト処理部２２にエフェクト処理を実行させる（Ｓ１２２）。
【０１０４】
また、エフェクト制御部１９は、楽音データ１０１Ａ及び１０１Ｂの一方のみにエフェクト処理部を実行させると判断した場合（Ｓ１２０でＮｏ）、又は、エフェクト処理部１３Ａ及び１３Ｂが共にエフェクト処理を実行し、かつ、エフェクト処理部２２がエフェクト処理を実行しない場合と、エフェクト処理部１３Ａ及び１３Ｂが共にエフェクト処理を実行せず、かつ、エフェクト処理部２２がエフェクト処理を実行する場合とで、再生楽音データ１０５（処理済楽音データ１１０）が同等でない場合（Ｓ１２１でＮｏ）、前段のエフェクト処理部１３Ａ及び１３Ｂにエフェクト処理を実行させ、かつ、後段のエフェクト処理部２２にエフェクト処理を実行させない（Ｓ１２３）。
【０１０５】
この構成により、本発明の実施の形態４に係る楽音再生装置１００Ｅは、所定の条件を満たす場合は、複数回エフェクト処理を実行するのではなく、１回のエフェクト処理で最適な再生楽音データ１０５を生成できる。これにより、楽音再生装置１００Ｅは、処理量を低減できるので、低電力化、及び省資源化を実現できる。
【０１０６】
なお、ここでは、上記実施の形態３に係る楽音再生装置１００Ｂが、さらに、エフェクト処理部２２を備える例を述べたが、他の実施の形態、及びその変形例に係る楽音再生装置に同様の変形例を適用してもよい。
【０１０７】
（実施の形態５）
図１２は、本発明の実施の形態５に係る楽音再生装置１００Ｆのブロック図である。この楽音再生装置１００Ｆは、図１０に示す実施の形態４に係る楽音再生装置１００Ｅの構成に加え、さらに、デコード情報取得部２３Ａ及び２３Ｂを備える。以下、追加したブロックと信号の流れを説明する。
【０１０８】
デコード情報取得部２３Ａは、楽音データ１０１Ａのデコード時のデジタル情報であるデコード情報１１１Ａを取得する。デコード情報取得部２３Ｂは、楽音データ１０１Ｂのデコード時のデジタル情報であるデコード情報１１１Ｂを取得する。
【０１０９】
また、楽音解析部１７Ａは、デコード情報１１１Ａを用いて楽音データ１０１Ａの特性を解析することにより、楽音特性データ１０４Ａを生成する。また、楽音解析部１７Ｂは、デコード情報１１１Ｂを用いて楽音データ１０１Ｂの特性を解析することにより、楽音特性データ１０４Ｂを生成する。
【０１１０】
最良の形態のひとつとして、デコード情報１１１Ａ及び１１１Ｂは、ストリームデコード時に生成される周波数成分データである。また、楽音解析部１７Ａ及び１７Ｂは、当該周波数成分データを用いて、楽音データ１０１Ａ又は１０１Ｂの音声検出を行う。
【０１１１】
この構成により、本発明の実施の形態５に係る楽音再生装置１００Ｆは、楽音解析部１７Ａ及び１７Ｂが周波数成分データを生成する処理を省略できる。これにより、楽音再生装置１００Ｆは、処理量を低減できるので、低電力化及び省資源化を実現できる。
【０１１２】
なお、ここでは、上記実施の形態４に係る楽音再生装置１００Ｅが、さらに、デコード情報取得部２３Ａ及び２３Ｂを備える例を述べたが、他の実施の形態、及びその変形例に係る楽音再生装置に同様の変形例を適用してもよい。
【０１１３】
（実施の形態６）
図１３は、本発明の実施の形態６に係る楽音再生装置１００Ｇのブロック図である。図１３に示す楽音再生装置１００Ｇは、図１２に示す実施の形態５に係る楽音再生装置１００Ｆの構成に加え、さらに、楽音解析制御部２５を備える。以下、追加したブロックと信号の流れを説明する。
【０１１４】
楽音解析制御部２５は、楽音解析部１７Ａ及び１７Ｂによる解析処理（楽音特性データ１０４Ａ及び１０４Ｂの生成処理）の実行／未実行を制御する。
【０１１５】
以下、最良の形態のひとつを、図１４及び図１５を用いて、以下に説明する。
【０１１６】
図１４に示す楽音再生装置１００Ｈでは、楽音解析制御部２５は、タイム制御部２６を備える。このタイム制御部２６は、楽音解析部１７Ａ及び１７Ｂによる解析処理の実行／未実行を時間で制御する。具体的には、図１５に示すように、タイム制御部２６は、楽音解析部１７Ａ及び１７Ｂが解析処理を実行する実行区間と、楽音解析部１７Ａ及び１７Ｂが解析処理を実行しない未実行区間とを予め定められた周期で切り替える。また、例えば、各実行区間の長さである実行時間Ｔ１と、各未実行区間の長さである未実行時間Ｔ２とは、予めタイム制御部２６で設定される。
【０１１７】
ここで、楽音データの特性は、一般に短時間では変化しないため、予め定められた周期で解析処理を行ったとしても、視聴者に対する違和感は少ない。
【０１１８】
また、別の最良の形態のひとつを図１６に示す。
【０１１９】
まず、タイム制御部２６は、楽音データ１０１Ａの特性が変化している期間の長さを測定する（Ｓ１３０）。
【０１２０】
ここで、楽音データ１０１Ａの特性が変化している期間とは、例えば、図１５に示す音声区間中の無音区間１１２である。また、楽音データ１０１Ａの特性が変化している期間とは、無音区間中の音声区間又は音楽区間であってもよいし、音声区間中の音楽区間であってもよいし、音楽区間中の無音区間又は音声区間であってもよい。
【０１２１】
楽音データ１０１Ａの特性が変化している期間の長さが一定時間より短い場合（Ｓ１３０でＹｅｓ）、エフェクト制御部１９は、楽音解析部１７Ａの解析結果をエフェクト処理部１３Ａに反映させず、エフェクト処理の実行／未実行を維持する（Ｓ１３１）。
【０１２２】
また、楽音データ１０１Ａの特性が変化している期間の長さが上記一定時間より長い場合（Ｓ１３０でＮｏ）、タイム制御部２６は、実行時間を通常の実行時間Ｔ１より長い実行時間Ｔ３に設定する（Ｓ１３２）。例えば、タイム制御部２６は、図１５に示す音声区間から無音区間に変わる特性変化点１１３の周辺で実行時間を実行時間Ｔ３にする。これにより、楽音解析部１７Ａによる解析処理の精度を上げることができる。そして、タイム制御部２６は、楽音特性の変化が落ち着き次第、楽音解析部１７Ａの実行時間を実行時間Ｔ１に戻す。
【０１２３】
また、エフェクト制御部１９は、ステップＳ１３２で長くした実行区間内で楽音特性に変化があった場合（Ｓ１３３でＹｅｓ）、楽音解析部１７Ａの解析結果をエフェクト処理部１３Ａに反映させ、エフェクト処理の実行／未実行を切り替える（Ｓ１３４）。また、エフェクト制御部１９は、ステップＳ１３２で長くした実行区間内で楽音特性に変化がない場合（Ｓ１３３でＮｏ）、エフェクト処理の実行／未実行を維持する（Ｓ１３１）。
【０１２４】
なお、タイム制御部２６による楽音データ１０１Ｂに対する処理も同様である。
【０１２５】
以上により、本発明の実施の形態６に係る楽音再生装置１００Ｈは、エフェクト処理の実行／未実行が連続して切り替わることにより発生する違和感を低減できる。
【０１２６】
また、楽音再生装置１００Ｈは、解析処理を実行しない時間ができることで、処理量を低減できるので、低電力化及び省資源化を実現できる。
【０１２７】
なお、ここでは、上記実施の形態５に係る楽音再生装置１００Ｆが、さらに、楽音解析制御部２５を備える例を述べたが、他の実施の形態、及びその変形例に係る楽音再生装置に同様の変形例を適用してもよい。
【０１２８】
（実施の形態７）
図１７は、本発明の実施の形態７に係る楽音再生装置１００Ｉのブロック図である。図１７に示す楽音再生装置１００Ｉは、図１４に示す実施の形態６に係る楽音再生装置１００Ｈの構成に加え、イベント取得部２７を備える。
【０１２９】
このイベント取得部２７は、楽音データ１０１Ａ及び１０１Ｂに、予め定められたイベントが発生したことを示すイベント情報１１４を取得する。
【０１３０】
また、楽音解析制御部２５は、イベント情報１１４によりイベントが発生したことが示される場合、楽音解析部１７Ａ及び１７Ｂに楽音特性データ１０４Ａ及び１０４Ｂを生成させる。
【０１３１】
これにより、本発明の実施の形態７に係る楽音再生装置１００Ｉは、イベントが発生した時点で解析処理を実行することにより効率的な楽音データ１０１Ａ及び１０１Ｂの解析処理を実現できる。
【０１３２】
なお、イベントとしては、シーン切替、楽音切替等があるが、最良の形態のひとつとして、楽音切替をイベント情報１１４とするシステムを例に説明する。
【０１３３】
図１８は、この場合の楽音再生装置１００Ｊのブロック図である。図１８では、イベント取得部２７は、楽音切替情報取得部２８Ａ及び２８Ｂを備える。以下追加したブロックと信号の流れを説明する。
【０１３４】
楽音切替情報取得部２８Ａは、楽音データ１０１Ａの楽音切替情報１１５Ａを取得する。また、楽音切替情報取得部２８Ｂは、楽音データ１０１Ｂの楽音切替情報１１５Ｂを取得する。
【０１３５】
この構成での楽音解析制御部２５の最良の形態のひとつを図１９に示す。
【０１３６】
楽音切替時は楽音特性が変化する可能性が高いことを利用し、楽音切替情報１１５Ａにより楽音切替が発生したことが示される場合（Ｓ１４０でＹｅｓ）、楽音解析制御部２５は、強制的に楽音解析部１７Ａ及び１７Ｂに解析処理を実行させる（Ｓ１４１）。また、楽音切替情報１１５Ａにより楽音切替が発生したことが示されない場合（Ｓ１４０でＮｏ）、楽音解析制御部２５は、通常の処理（例えば、図１６に示す処理）を行う（Ｓ１４２）。
【０１３７】
この構成により、本発明の実施の形態７に係る楽音再生装置１００Ｉ及び１００Ｊは、楽音解析処理を実行するタイミングを正確に知ることができ、効率的な楽音解析処理を実行できる。これにより、楽音再生装置１００Ｉ及び１００Ｊは、処理量を低減できるので、低電力化及び省資源化を実現できる。
【０１３８】
なお、ここでは、上記実施の形態６に係る楽音再生装置１００Ｈが、さらに、イベント取得部２７を備える例を述べたが、他の実施の形態、及びその変形例に係る楽音再生装置に同様の変形例を適用してもよい。
【０１３９】
（実施の形態８）
図２０は、本発明の実施の形態８に係る楽音再生装置１００Ｋのブロック図である。図２０に示す楽音再生装置１００Ｋは、図１８に示す実施の形態７に係る楽音再生装置１００Ｊの構成に対し、楽音解析制御部２５が、さらに、解析チャネル指定部３０を備える点が異なる。以下、このブロックと信号の流れを説明する。
【０１４０】
解析チャネル指定部３０は、楽音データ１０１Ａ及び１０１Ｂに含まれる複数のチャネルのうち、楽音解析部１７Ａ及び１７Ｂが楽音解析処理を実行するチャネルを指定する。
【０１４１】
楽音解析部１７Ａは、楽音データ１０１Ａに含まれる、解析チャネル指定部３０により指定されたチャネルの特性を解析することにより楽音特性データ１０４Ａを生成する。楽音解析部１７Ｂは、楽音データ１０１Ｂに含まれる、解析チャネル指定部３０により指定されたチャネルの特性を解析することにより楽音特性データ１０４Ｂを生成する。
【０１４２】
最良の形態のひとつを図２１に示す。
【０１４３】
ここで、楽音解析部１７Ａ及び１７Ｂが音声検出を行う場合、音声成分がセンターチャネルに集中する。これを利用し、解析チャネル指定部３０は、楽音データ１０１Ａがマルチチャネル信号であり、センターチャネルが存在する場合（Ｓ１５０でＹｅｓ、かつ、Ｓ１５１でＹｅｓ）、楽音解析部１７Ａに解析処理をセンターチャネルのみに対して実行することを指示する（Ｓ１５２）。また、楽音データ１０１Ａが、センターチャネルが存在しないストリームであれば（Ｓ１５１でＮｏ）、解析チャネル指定部３０は、楽音解析部１７ＡにＬＦ／ＲＦのフロントチャネルのみに解析処理を実行することを指示する（Ｓ１５３）。
【０１４４】
なお、楽音データ１０１Ｂに対する処理も同様である。
【０１４５】
この構成により、本発明の実施の形態８に係る楽音再生装置１００Ｋは、５．１ｃｈストリームのようなマルチチャネルストリームが入力された場合、解析するチャネルを制限する。これにより、楽音再生装置１００Ｋは、処理量を低減できるので、低電力化及び省資源化が実現できる。
【０１４６】
なお、ここでは、上記実施の形態６に係る楽音再生装置１００Ｊが、さらに、解析チャネル指定部３０を備える例を述べたが、他の実施の形態、及びその変形例に係る楽音再生装置に同様の変形例を適用してもよい。
【０１４７】
以上、本発明の実施の形態に係る楽音再生装置について説明したが、本発明は、この実施の形態に限定されるものではない。
【０１４８】
例えば、上記実施形態は、２つの楽音データをミキシングする楽音再生装置について説明したが、３以上の楽音データミキシングする楽音再生装置に対しても、同様に、本発明を適用できる。
【０１４９】
また、上記実施の形態に係る楽音再生装置に含まれる各処理部は典型的には集積回路であるＬＳＩとして実現される。これらは個別に１チップ化されてもよいし、一部又は全てを含むように１チップ化されてもよい。
【０１５０】
また、集積回路化はＬＳＩに限るものではなく、専用回路又は汎用プロセッサで実現してもよい。ＬＳＩ製造後にプログラムすることが可能なＦＰＧＡ（Ｆｉｅｌｄ Ｐｒｏｇｒａｍｍａｂｌｅ Ｇａｔｅ Ａｒｒａｙ）、又はＬＳＩ内部の回路セルの接続や設定を再構成可能なリコンフィギュラブル・プロセッサを利用してもよい。
【０１５１】
また、本発明の実施の形態に係る、楽音再生装置の機能の一部又は全てを、ＣＰＵ等のプロセッサがプログラムを実行することにより実現してもよい。
【０１５２】
さらに、本発明は上記プログラムであってもよいし、上記プログラムが記録された記録媒体であってもよい。また、上記プログラムは、インターネット等の伝送媒体を介して流通させることができるのは言うまでもない。
【０１５３】
また、上記実施の形態１〜８に係る、楽音再生装置、及びその変形例の機能のうち少なくとも一部を組み合わせてもよい。
【０１５４】
更に、本発明の主旨を逸脱しない限り、本実施の形態に対して当業者が思いつく範囲内の変更を施した各種変形例も本発明に含まれる。
【産業上の利用可能性】
【０１５５】
本発明は、楽音再生装置に適用でき、複数の楽音をミキシングして再生する場合に有用である。
【符号の説明】
【０１５６】
１１Ａ、１１Ｂ 楽音取得部
１３Ａ、１３Ｂ、２２ エフェクト処理部
１５ ミキシング処理部
１６ 楽音出力部
１７Ａ、１７Ｂ 楽音解析部
１９ エフェクト制御部
２０Ａ、２０Ｂ、２０Ｃ パラメータ生成部
２１Ａ、２１Ｂ パラメータ選択部
２３Ａ、２３Ｂ デコード情報取得部
２５ 楽音解析制御部
２６ タイム制御部
２７ イベント取得部
２８Ａ、２８Ｂ 楽音切替情報取得部
３０ 解析チャネル指定部
３１Ａ、３１Ｂ 楽音特性取得部
１００、１００Ａ、１００Ｂ、１００Ｃ、１００Ｄ、１００Ｅ、１００Ｆ、１００Ｇ、１００Ｈ、１００Ｉ、１００Ｊ、１００Ｋ 楽音再生装置
１０１Ａ、１０１Ｂ 楽音データ
１０２Ａ、１０２Ｂ、１１０ 処理済楽音データ
１０３ ミキシング楽音データ
１０４Ａ、１０４Ｂ 楽音特性データ
１０５ 再生楽音データ
１０７Ａ、１０７Ｂ、１０７Ｃ パラメータ
１１１Ａ、１１１Ｂ デコード情報
１１２ 無音区間
１１３ 特性変化点
１１４ イベント情報
１１５Ａ、１１５Ｂ 楽音切替情報
【技術分野】
【０００１】
本発明は、楽音再生装置及び楽音再生方法に関し、特に、２つ以上の楽音データをミキシングすることにより再生楽音データを生成する楽音再生装置に関する。
【背景技術】
【０００２】
近年、楽音再生装置は、楽音に対して、音質改善及び臨場感向上を目的としたエコー処理などのエフェクト処理を実行することがある（例えば、特許文献１参照）。
【０００３】
また、主音声となるオーディオストリームと、副音声となるオーディオストリームとを、個別にデコードしてからミキシングして出力するミキシング技術がある。この技術は、映画に監督のコメンタリを付与する場合などに使用される。このような技術を用いて様々な再生を行うことで、１つのコンテンツを複数回楽しむことができる。
【０００４】
上記２点の技術を組み合わせた例として、例えば、特許文献２記載の技術が知られている。特許文献２記載の技術は、２つの楽音に対して、個別にエフェクト処理を施した後にミキシングする。これにより、再生のバリエーションが、さらに増加することとなる。
【先行技術文献】
【特許文献】
【０００５】
【特許文献１】特開２００９−０６０５５０号公報
【特許文献２】特開２００６−１３３６８５号公報
【特許文献３】特開２００５−２４２１８２号公報
【発明の概要】
【発明が解決しようとする課題】
【０００６】
しかしながら、特許文献２記載の構成では、一度エフェクト処理の内容を決定すると、エフェクト処理の再調整を実行しない限り、常に同じエフェクト処理が実行される。
【０００７】
もしある時刻で、視聴者が臨場感を味わうためにエコー処理を掛けたが、その後、ミキシング前の楽音の一つが音声に切り替わったと仮定する。
【０００８】
この場合、エコー処理が行われることで音声が聞き取りにくくなる。さらに、エコー処理された音声が、エコー処理された他の楽音とミキシングされることで、さらに当該音声が聞き取りにくくなる。
【０００９】
そのため、音声を聞き取りやすくするために、視聴者がエコー処理を再調整する手間が発生する。
【００１０】
このように、視聴者は視聴中に楽音の特性が変化するたびに、何度もエフェクト処理の再調整をすることになる。これにより、視聴者は楽音を楽しむことに集中できない。
【００１１】
そこで本発明は、視聴者がエフェクト処理を再調整する手間を低減できる楽音再生装置を提供することを目的とする。
【課題を解決するための手段】
【００１２】
上記課題を解決するために、本発明の一形態に係る楽音再生装置は、第１楽音データ及び第２楽音データをミキシングすることにより再生楽音データを生成する楽音再生装置であって、前記第１楽音データを取得する第１楽音取得部と、前記第２楽音データを取得する第２楽音取得部と、前記第１楽音データに第１エフェクト処理を実行することにより第１処理済楽音データを生成する第１エフェクト処理部と、前記第２楽音データに第２エフェクト処理を実行することにより第２処理済楽音データを生成する第２エフェクト処理部と、前記第１楽音データの特性を示す第１楽音特性データを取得する第１楽音特性取得部と、前記第２楽音データの特性を示す第２楽音特性データを取得する第２楽音特性取得部と、前記第１楽音特性データで示される前記第１楽音データの特性、及び前記第２楽音特性データで示される前記第２楽音データの特性に基づき、前記第１エフェクト処理部による前記第１エフェクト処理の実行の有無を制御し、前記第２エフェクト処理部による前記第２エフェクト処理の実行の有無を制御するエフェクト制御部とを備え、前記第１エフェクト処理部は、前記第１エフェクト処理を実行しない場合、前記第１楽音データを前記第１処理済楽音データとして出力し、前記第２エフェクト処理部は、前記第２エフェクト処理を実行しない場合、前記第２楽音データを前記第２処理済楽音データとして出力し、前記楽音再生装置は、さらに、前記第１処理済楽音データと前記第２処理済楽音データとをミキシングすることによりミキシング楽音データを生成するミキシング処理部と、前記ミキシング楽音データを前記再生楽音データとして出力する楽音出力部とを備える。
【００１３】
この構成によれば、本発明の一形態に係る楽音再生装置は、第１及び第２楽音特性データを用いて、自動的に第１及び第２エフェクト処理の実行／未実行を切り替えることができる。これにより、本発明の一形態に係る楽音再生装置は、視聴者がエフェクト処理を再調整する手間を低減できる。これにより、視聴者は、楽音を楽しむことに集中できる。
【００１４】
また、前記第１楽音データの特性及び前記第２楽音データの特性は、当該第１楽音データ又は当該第２楽音データが音声であるか、音楽であるかであり、前記エフェクト制御部は、前記第１楽音データが音楽である場合、前記第１エフェクト処理部に前記第１エフェクト処理を実行させ、前記第１楽音データが音声である場合、前記第１エフェクト処理部に前記第１エフェクト処理を実行させず、前記第２楽音データが音楽である場合、前記第２エフェクト処理部に前記第２エフェクト処理を実行させ、前記第２楽音データが音声である場合、前記第２エフェクト処理部に前記第２エフェクト処理を実行させなくてもよい。
【００１５】
また、前記第１楽音データの特性及び前記第２楽音データの特性は、当該第１楽音データ又は当該第２楽音データが音声であるか、音楽であるか、無音であるかであり、前記エフェクト制御部は、前記第１楽音データが音声である場合、かつ、前記第２楽音データが音楽である場合、前記第１エフェクト処理部に前記第１エフェクト処理を実行させず、前記第１楽音データが音声である場合、かつ、前記第２楽音データが無音である場合、前記第１エフェクト処理部に前記第１エフェクト処理を実行させ、前記第２楽音データが音声である場合、かつ、前記第１楽音データが音楽である場合、前記第２エフェクト処理部に前記第２エフェクト処理を実行させず、前記第２楽音データが音声である場合、かつ、前記第１楽音データが無音である場合、前記第２エフェクト処理部に前記第２エフェクト処理を実行させなくてもよい。
【００１６】
また、前記楽音再生装置は、さらに、前記第１楽音データの特性を解析することにより前記第１楽音特性データを生成する第１楽音解析部と、前記第２楽音データの特性を解析することにより前記第２楽音特性データを生成する第２楽音解析部とを備え、前記第１楽音特性取得部は、前記第１楽音解析部により生成された前記第１楽音特性データを取得し、前記第２楽音特性取得部は、前記第２楽音解析部により生成された前記第２楽音特性データを取得してもよい。
【００１７】
この構成によれば、本発明の一形態に係る楽音再生装置は、第１及び第２楽音特性データが存在しない場合でも、自動的に当該第１及び第２エフェクト処理の実行／未実行を切り替えることができる。
【００１８】
また、前記エフェクト制御部は、前記第１楽音特性データで示される前記第１楽音データの特性、及び前記第２楽音特性データで示される前記第２楽音データの特性に基づき、前記第１エフェクト処理の強さを示す第１パラメータを生成し、前記第２エフェクト処理の強さを示す第２パラメータを生成するパラメータ生成部を備え、前記第１エフェクト処理部は、前記第１パラメータを用いて前記第１エフェクト処理を行い、前記第２エフェクト処理部は、前記第２パラメータを用いて前記第２エフェクト処理を行ってもよい。
【００１９】
この構成によれば、本発明の一形態に係る楽音再生装置は、再生楽音をさらに細かく調整できる。
【００２０】
また、前記パラメータ生成部は、前記エフェクト制御部が前記第１エフェクト処理部の状態を、前記第１エフェクト処理を実行する状態から実行しない状態に切り替える場合、前記第１エフェクト処理の強さを連続的に減少させる前記第１パラメータを生成し、前記エフェクト制御部が前記第１エフェクト処理部の状態を、前記第１エフェクト処理を実行しない状態から実行する状態に切り替える場合、前記第１エフェクト処理の強さを連続的に増加させる前記第１パラメータを生成し、前記エフェクト制御部が前記第２エフェクト処理部の状態を、前記第２エフェクト処理を実行する状態から実行しない状態に切り替える場合、前記第２エフェクト処理の強さを連続的に減少させる前記第２パラメータを生成し、前記エフェクト制御部が前記第２エフェクト処理部の状態を、前記第２エフェクト処理を実行しない状態から実行する状態に切り替える場合、前記第２エフェクト処理の強さを連続的に増加させる前記第２パラメータを生成してもよい。
【００２１】
この構成によれば、本発明の一形態に係る楽音再生装置は、再生楽音の急激なエフェクトの変化を和らげることができるため、さらに最適な再生楽音を生成できる。
【００２２】
また、前記エフェクト制御部は、前記第１楽音特性データで示される前記第１楽音データの特性、及び前記第２楽音特性データで示される前記第２楽音データの特性に基づき、前記第１エフェクト処理の強さを示す第１パラメータを生成し、前記第２エフェクト処理の強さを示す第２パラメータを生成するパラメータ生成部を備え、前記第１エフェクト処理部は、前記第１パラメータを用いて前記第１エフェクト処理を行い、前記第２エフェクト処理部は、前記第２パラメータを用いて前記第２エフェクト処理を行い、前記エフェクト制御部は、前記第１楽音データが音声であり、かつ前記第２楽音データが音楽である場合、前記第１エフェクト処理部に前記第１エフェクト処理を実行させず、前記第２楽音データが音声であり、かつ前記第１楽音データが音楽である場合、前記第２エフェクト処理部に前記第２エフェクト処理を実行させず、前記第１楽音データ及び前記第２楽音データが共に音声である場合、前記第１エフェクト処理部に前記第１エフェクト処理を実行させ、かつ、前記第２エフェクト処理部に前記第２エフェクト処理を実行させ、前記パラメータ生成部は、前記第１楽音データ及び前記第２楽音データが共に音声である場合、前記第１楽音データが音楽である場合より前記第１エフェクト処理の強さが弱くなるように前記第１パラメータを生成し、かつ、前記第２楽音データが音楽である場合より前記第２エフェクト処理の強さが弱くなるように前記第２パラメータを生成してもよい。
【００２３】
この構成によれば、本発明の一形態に係る楽音再生装置は、再生楽音をさらに細かく調整できる。
【００２４】
また、前記エフェクト制御部は、前記第１楽音特性データで示される前記第１楽音データの特性、及び前記第２楽音特性データで示される前記第２楽音データの特性に基づき、前記第１エフェクト処理の強さを示す、予め定められた複数の第１パラメータからいずれかを選択し、前記第２エフェクト処理の強さを示す、予め定められた複数の第２パラメータからいずれかを選択するパラメータ選択部を備え、前記第１エフェクト処理部は、前記パラメータ選択部により選択された前記第１パラメータを用いて前記第１エフェクト処理を行い、前記第２エフェクト処理部は、前記パラメータ選択部により選択された前記第２パラメータを用いて前記第２エフェクト処理を行ってもよい。
【００２５】
この構成によれば、本発明の一形態に係る楽音再生装置は、再生楽音をさらに細かく調整できる。さらに、本発明の一形態に係る楽音再生装置は、当該調整に要する処理量を低減できる。
【００２６】
また、前記エフェクト制御部は、前記第１楽音特性データで示される前記第１楽音データの特性、及び前記第２楽音特性データで示される前記第２楽音データの特性に基づき、前記第１エフェクト処理の強さを示す第１パラメータを生成し、前記第２エフェクト処理の強さを示す第２パラメータを生成するパラメータ生成部と、前記第１楽音特性データで示される前記第１楽音データの特性、及び前記第２楽音特性データで示される前記第２楽音データの特性に基づき、前記第１エフェクト処理の強さを示す、予め定められた複数の第３パラメータからいずれかを選択し、前記第２エフェクト処理の強さを示す、予め定められた複数の第４パラメータからいずれかを選択するパラメータ選択部とを備え、前記第１及び前記第２楽音データに対する処理量が、予め定められた閾値より少ない場合、前記第１エフェクト処理部は、前記パラメータ生成部により生成された前記第１パラメータを用いて前記第１エフェクト処理を行い、前記第２エフェクト処理部は、前記パラメータ生成部により生成された前記第２パラメータを用いて前記第２エフェクト処理を行い、前記処理量が前記閾値より多い場合、前記第１エフェクト処理部は、前記パラメータ選択部により選択された前記第３パラメータを用いて前記第１エフェクト処理を行い、前記第２エフェクト処理部は、前記パラメータ選択部により選択された前記第４パラメータを用いて前記第２エフェクト処理を行ってもよい。
【００２７】
この構成によれば、本発明の一形態に係る楽音再生装置は、再生楽音をさらに細かく調整できる。さらに、本発明の一形態に係る楽音再生装置は、限られた処理性能を最大限生かして、最適な再生楽音を生成できる。
【００２８】
また、前記楽音再生装置は、さらに、前記ミキシング処理部により生成された前記ミキシング再生楽音データに第３エフェクト処理を行うことにより第３処理済楽音データを生成する第３エフェクト処理部を備え、前記エフェクト制御部は、前記第１及び前記第２エフェクト処理を実行し、かつ、前記第３エフェクト処理を実行しない第１条件で生成される再生楽音データと、前記第３及び前記第２エフェクト処理を実行せず、かつ、前記第３エフェクト処理を実行する第２条件で生成される再生楽音データとが同等である場合、前記第１及び前記第２エフェクト処理部に前記第１及び前記第２エフェクト処理を実行させず、かつ、前記第３エフェクト処理部に前記第３エフェクト処理を実行させ、前記第１条件で生成される再生楽音データと前記第２条件で生成される再生楽音データとが同等でない場合、前記第１及び前記第２エフェクト処理部に前記第１及び前記第２エフェクト処理を実行させ、かつ、前記第３エフェクト処理部に前記第３エフェクト処理を実行させず、前記第３エフェクト処理部は、前記第３エフェクト処理を実行しない場合、前記ミキシング楽音データを前記第３処理済楽音データとして出力し、前記楽音出力部は、前記第３処理済楽音データを前記再生楽音データとして出力してもよい。
【００２９】
この構成によれば、本発明の一形態に係る楽音再生装置は、エフェクト処理の内容に応じて、エフェクト処理をミキシングの前段で２回実行するのではなく、ミキシングの後段で１回実行するだけで最適な再生楽音を得ることができる。よって、本発明の一形態に係る楽音再生装置は、処理量を低減できる。
【００３０】
また、前記楽音再生装置は、さらに、前記第１楽音データのデコード時の情報である第１デコード情報を取得する第１デコード情報取得部と、前記第２楽音データのデコード時の情報である第２デコード情報を取得する第２デコード情報取得部とを備え、前記第１楽音解析部は、前記第１デコード情報を用いて前記第１楽音特性データを生成し、前記第２楽音解析部は、前記第２デコード情報を用いて前記第２楽音特性データを生成してもよい。
【００３１】
この構成によれば、本発明の一形態に係る楽音再生装置は、楽音データの解析に必要な情報を生成するのではなく、当該情報を参照するだけで済むため、処理量を低減できる。
【００３２】
また、前記楽音再生装置は、さらに、前記第１楽音解析部による前記第１楽音特性データの生成処理の実行の有無と、前記第２楽音解析部による前記第２楽音特性データの生成処理の実行の有無とを制御する楽音解析制御部を備え、前記エフェクト制御部は、前記第１楽音解析部による前記第１楽音特性データの生成処理が実行されない場合、前記第１エフェクト処理部による前記第１エフェクト処理の実行の有無を維持し、前記第２楽音解析部による前記第２楽音特性データの生成処理が実行されない場合、前記第２エフェクト処理部による前記第２エフェクト処理の実行の有無を維持してもよい。
【００３３】
この構成によれば、本発明の一形態に係る楽音再生装置は、楽音データを解析しない場合が発生するため、処理量を低減できる。
【００３４】
また、前記楽音解析制御部は、前記第１楽音解析部による前記第１楽音特性データの生成処理、及び前記第２楽音解析部による前記第２楽音特性データの生成処理を予め定められた周期で実行させるタイム制御部を備えてもよい。
【００３５】
この構成によれば、本発明の一形態に係る楽音再生装置は、楽音データの解析の精度を保ちつつ、処理量を低減できる。
【００３６】
また、前記タイム制御部は、さらに、前記第１楽音特性データで示される前記第１楽音データの特性が変化している期間が予め定められた第１時間より短いか否かを判定し、前記第２楽音特性データで示される前記第２楽音データの特性が変化している期間が予め定められた第２時間より短いか否かを判定し、前記エフェクト制御部は、前記第１楽音データの特性が変化している期間が前記第１時間より短い場合、当該特性の変化に基づく前記第１エフェクト処理部による前記第１エフェクト処理の実行の有無を維持し、前記第２楽音データの特性が変化している期間が前記第２時間より短い場合、当該特性の変化に基づく前記第２エフェクト処理部による前記第２エフェクト処理の有無を維持してもよい。
【００３７】
この構成によれば、本発明の一形態に係る楽音再生装置は、エフェクト処理の実行／未実行が頻繁に切り替わることによる視聴者の違和感を低減できる。
【００３８】
また、前記楽音再生装置は、さらに、前記第１又は第２楽音データに、予め定められたイベントが発生したことを示すイベント情報を取得するイベント取得部を備え、前記楽音解析制御部は、前記イベント情報により前記イベントが発生したことが示される場合、前記第１及び前記第２楽音解析部に前記第１及び前記第２楽音特性データを生成させてもよい。
【００３９】
この構成によれば、本発明の一形態に係る楽音再生装置は、効率的な楽音データの解析を実行できるので、処理量を低減できる。
【００４０】
また、前記イベントは、シーン切替又は楽音切替であってもよい。
【００４１】
この構成によれば、本発明の一形態に係る楽音再生装置は、効率的な楽音データの解析を実行できるので、処理量を低減できる。
【００４２】
また、前記楽音解析制御部は、前記第１楽音データがマルチチャネル信号である場合、前記第１楽音解析部にセンターチャネル又はフロントチャネルを指定し、前記第２楽音データがマルチチャネル信号である場合、前記第２楽音解析部にセンターチャネル又はフロントチャネルを指定する解析チャネル指定部を備え、前記第１楽音解析部は、前記第１楽音データに含まれる、前記解析チャネル指定部により指定されたチャネルの特性を解析することにより前記第１楽音特性データを生成し、前記第２楽音解析部は、前記第２楽音データに含まれる、前記解析チャネル指定部により指定されたチャネルの特性を解析することにより前記第２楽音特性データを生成してもよい。
【００４３】
この構成によれば、本発明の一形態に係る楽音再生装置は、楽音データを解析するチャネルを限定することで、処理量を低減できる。
【００４４】
なお、本発明は、このような楽音再生装置として実現できるだけでなく、楽音再生装置に含まれる特徴的な手段をステップとする楽音再生方法として実現したり、そのような特徴的なステップをコンピュータに実行させるプログラムとして実現したりすることもできる。そして、そのようなプログラムは、ＣＤ−ＲＯＭ等の記録媒体及びインターネット等の伝送媒体を介して流通させることができるのは言うまでもない。
【００４５】
さらに、本発明は、このような楽音再生装置の機能の一部又は全てを実現する半導体集積回路（ＬＳＩ）として実現できる。
【発明の効果】
【００４６】
以上より、本発明は、視聴者がエフェクト処理を再調整する手間を低減できる楽音再生装置を提供できる。
【図面の簡単な説明】
【００４７】
【図１】本発明の実施の形態１に係る楽音再生装置のブロック図である。
【図２】本発明の実施の形態１に係る楽音再生処理のフローチャートである。
【図３】本発明の実施の形態１に係る、楽音データの特性とエフェクト処理の実行の有無との関係を示す図である。
【図４】本発明の実施の形態２に係る楽音再生装置のブロック図である。
【図５】本発明の実施の形態３に係る楽音再生装置のブロック図である。
【図６】本発明の実施の形態３に係る楽音再生処理のフローチャートである。
【図７】本発明の実施の形態３の変形例に係る楽音再生装置のブロック図である。
【図８】本発明の実施の形態３の変形例に係る楽音再生装置のブロック図である。
【図９】本発明の実施の形態３の変形例に係る処理部選択処理のフローチャートである。
【図１０】本発明の実施の形態４に係る楽音再生装置のブロック図である。
【図１１】本発明の実施の形態４に係る楽音再生処理のフローチャートである。
【図１２】本発明の実施の形態５に係る楽音再生装置のブロック図である。
【図１３】本発明の実施の形態６に係る楽音再生装置のブロック図である。
【図１４】本発明の実施の形態６の変形例に係る楽音再生装置のブロック図である。
【図１５】本発明の実施の形態６係る楽音再生装置における楽音解析処理の実行／未実行の時間変化の一例を示す図である。
【図１６】本発明の実施の形態６に係る楽音解析制御処理のフローチャートである。
【図１７】本発明の実施の形態７に係る楽音再生装置のブロック図である。
【図１８】本発明の実施の形態７の変形例に係る楽音再生装置のブロック図である。
【図１９】本発明の実施の形態７に係る楽音解析制御処理のフローチャートである。
【図２０】本発明の実施の形態８に係る楽音再生装置のブロック図である。
【図２１】本発明の実施の形態８に係る解析チャネル指定処理のフローチャートである。
【発明を実施するための形態】
【００４８】
以下、本発明を実施するための形態について、図面を参照しながら説明する。
【００４９】
（実施の形態１）
本発明の実施の形態１に係る楽音再生装置は、楽音データの特性に応じて、エフェクト処理の実行／未実行を自動的に切り替える。これにより、本発明の実施の形態１に係る楽音再生装置は、視聴者がエフェクト処理を再調整する手間を低減できる。
【００５０】
まず、本発明の実施の形態１に係る楽音再生装置１００の構成を説明する。
【００５１】
図１は、本発明の実施の形態１に係る楽音再生装置１００のブロック図である。この楽音再生装置１００は、楽音データ１０１Ａ及び１０１Ｂをミキシングすることにより再生楽音データ１０５を生成する。
【００５２】
図１に示す楽音再生装置１００は、楽音取得部１１Ａ及び１１Ｂと、エフェクト処理部１３Ａ及び１３Ｂと、ミキシング処理部１５と、楽音出力部１６と、楽音特性取得部３１Ａ及び３２Ｂと、エフェクト制御部１９とを備える。
【００５３】
楽音取得部１１Ａは、外部から入力された楽音データ１０１Ａを取得する。楽音取得部１１Ｂは、外部から入力された楽音データ１０１Ｂを取得する。また、楽音データ１０１Ａ及び１０１Ｂは、音楽データ又は音声データ等のデジタルのオーディオデータである。例えば、楽音データ１０１Ａ及び１０１Ｂは、ＰＣＭ（Ｐｕｌｓｅ Ｃｏｄｅ Ｍｏｄｕｌａｔｉｏｎ）データである。
【００５４】
エフェクト処理部１３Ａは、楽音取得部１１Ａが取得した楽音データ１０１Ａに対してエフェクト処理を実行することにより処理済楽音データ１０２Ａを生成する。エフェクト処理部１３Ｂは、楽音取得部１１Ｂが取得した楽音データ１０１Ｂに対してエフェクト処理を実行することにより処理済楽音データ１０２Ｂを生成する。
【００５５】
最良の形態のひとつとして、エフェクト処理部１３Ａ及び１３Ｂは、エフェクト処理として、特許文献１記載のエコー処理、及びドルビープロロジック技術のようなチャネル拡張処理のどちらか一方を実行する、又は、両方を並列実行する。
【００５６】
楽音特性取得部３１Ａは、楽音データ１０１Ａの特性を示す楽音特性データ１０４Ａを取得する。楽音特性取得部３１Ｂは、楽音データ１０１Ｂの特性を示す楽音特性データ１０４Ｂを取得する。
【００５７】
なお、楽音特性取得部３１Ａ及び３１Ｂは、楽音再生装置１００が搭載される装置内の他の処理部により生成された楽音特性データ１０４Ａ及び１０４Ｂを取得してもよいし、他の装置で生成された楽音特性データ１０４Ａ及び１０４Ｂを、ネットワーク等を経由して取得してもよい。また、最良の形態のひとつとして、楽音特性データ１０４Ａ及び１０４Ｂは、楽音データ１０１Ａ及び１０１Ｂが音声であるか、音楽であるか、無音であるかを示す音声検出データを含む。
【００５８】
エフェクト制御部１９は、楽音特性データ１０４Ａ及び１０４Ｂで示される楽音データ１０１Ａ及び１０１Ｂの特性に応じて、再生楽音データ１０５が最適な音になるようにエフェクト処理部１３Ａ及び１３Ｂによるエフェクト処理の実行／未実行を制御する。
【００５９】
また、エフェクト処理部１３Ａは、エフェクト処理を実行しない場合、楽音データ１０１Ａを処理済楽音データ１０２Ａとして出力する。また、エフェクト処理部１３Ｂは、エフェクト処理を実行しない場合、楽音データ１０１Ｂを処理済楽音データ１０２Ｂとして出力する。
【００６０】
ミキシング処理部１５は、処理済楽音データ１０２Ａ及び１０２Ｂミキシングすることにより、ミキシング楽音データ１０３を生成する。
【００６１】
楽音出力部１６は、楽音のデジタルデータの出力部であり、ミキシングしたＰＣＭデータであるミキシング楽音データ１０３を再生楽音データ１０５として外部へ出力する。
【００６２】
図２は、エフェクト制御部１９によるエフェクト処理部１３Ａに対する制御のフローチャートである。なお、エフェクト処理部１３Ｂに対する処理も同様である。
【００６３】
まず、エフェクト制御部１９は、楽音特性データ１０４Ａで示される楽音データ１０１Ａの特性を判定する（Ｓ１０１）。
【００６４】
楽音データ１０１Ａが音楽である場合（Ｓ１０１で音楽）、エフェクト制御部１９は、エフェクト処理部１３Ａにエフェクト処理を実行させる（Ｓ１０３）。
【００６５】
また、楽音データ１０１Ａが無音である場合（Ｓ１０１で無音）、エフェクト制御部１９は、エフェクト処理部１３Ａにエフェクト処理を実行させない（Ｓ１０４）。
【００６６】
また、楽音データ１０１Ａが音声である場合（Ｓ１０１で音声）、エフェクト制御部１９は、他方の楽音データ１０１Ｂが無音であるか否かを判定する（Ｓ１０２）。
【００６７】
他方の楽音データ１０１Ｂが無音の場合（Ｓ１０２でＹｅｓ）、エフェクト制御部１９は、エフェクト処理部１３Ａにエフェクト処理を実行させる（Ｓ１０３）。
【００６８】
一方、他方の楽音データ１０１Ｂが無音でない場合（Ｓ１０２でＮｏ）、エフェクト制御部１９は、エフェクト処理部１３Ａにエフェクト処理を実行させない（Ｓ１０４）。
【００６９】
また、図３は、楽音データ１０１Ａ及び１０１Ｂの特性の組み合わせと、エフェクト処理部１３Ａ及び１３Ｂによるエフェクト処理の実行／未実行との関係の一例を示す図である。
【００７０】
以上により、本発明の実施の形態１に係る楽音再生装置１００は、ミキシング後の楽音で音声が聞き取りにくくなることを防止できる。また、楽音再生装置１００は、視聴者によるがエフェクト調整の手間を低減できる。このように、楽音再生装置１００は、自動で良好な臨場感と、良好な音声の聞き取りとを両立させることができる。
【００７１】
（実施の形態２）
図４は、本発明の実施の形態２に係る楽音再生装置１００Ａのブロック図である。
【００７２】
図４に示す楽音再生装置１００Ａは、図１に示す楽音再生装置１００の構成に加え、さらに、楽音解析部１７Ａ及び１７Ｂを備える。なお、図１と同様の要素には同一の符号を付しており、以下、相違点を主に説明する。
【００７３】
楽音解析部１７Ａは、楽音データ１０１Ａの特性を解析することにより楽音特性データ１０４Ａを生成する。楽音解析部１７Ｂは、楽音データ１０１Ｂの特性を解析することにより楽音特性データ１０４Ｂを生成する。
【００７４】
最良の形態のひとつとして、楽音解析部１７Ａ及び１７Ｂは、楽音データ１０１Ａ及び１０１Ｂが音声であるか、音楽であるか、無音であるかを検出する音声検出機能を有する。なお、音声検出機能の詳細は、例えば、特許文献３に記載されている。
【００７５】
また、楽音特性取得部３１Ａは、楽音解析部１７Ａにより生成された楽音特性データ１０４Ａを取得する。また、楽音特性取得部３１Ｂは、楽音解析部１７Ｂにより生成された楽音特性データ１０４Ｂを取得する。
【００７６】
この構成により、本発明の実施の形態２に係る楽音再生装置１００Ａは、楽音データ１０１Ａ及び１０１Ｂから楽音特性データ１０４Ａ及び１０４Ｂを生成できる。これにより、楽音再生装置１００Ａは、楽音特性データ１０４Ａ及び１０４Ｂが存在しない場合でも、自動でエフェクト処理の実行／未実行を切り替えることが可能となる。
【００７７】
（実施の形態３）
図５は、本発明の実施の形態３に係る楽音再生装置１００Ｂのブロック図である。この楽音再生装置１００Ｂは、図４に示す楽音再生装置１００Ａの構成に加え、さらに、パラメータ生成部２０Ａ及び２０Ｂを備える。以下、追加したブロックと信号の流れを説明する。
【００７８】
パラメータ生成部２０Ａは、楽音データ１０１Ａ及び１０１Ｂの特性に基づき、エフェクト処理部１３Ａで使用するパラメータ１０７Ａを自動的に生成する。また、パラメータ生成部２０Ｂは、楽音データ１０１Ａ及び１０１Ｂの特性に基づき、エフェクト処理部１３Ｂで使用するパラメータ１０７Ｂを自動的に生成する。
【００７９】
また、エフェクト処理部１３Ａは、パラメータ１０７Ａを用いて、楽音データ１０１Ａにエフェクト処理を行う。また、エフェクト処理部１３Ｂは、パラメータ１０７Ｂを用いて、楽音データ１０１Ｂにエフェクト処理を行う。
【００８０】
最良の形態のひとつとして、パラメータ生成部２０Ａは、楽音データ１０１Ａ及び１０１Ｂの特性の組み合わせに応じて、エフェクト処理の強さを変更する。
【００８１】
図６は、この場合のエフェクト制御部１９によるエフェクト処理部１３Ａに対する制御のフローチャートである。なお、エフェクト処理部１３Ｂに対する処理も同様である。
【００８２】
また、楽音データ１０１Ａが音楽及び無音（Ｓ１０１で音楽及び無音）の場合の処理は、図２と同様である。
【００８３】
楽音データ１０１Ａが音声である場合（Ｓ１０１で音声）、エフェクト制御部１９は、他方の楽音データ１０１Ｂの特性を判定する（Ｓ１０５）。
【００８４】
他方の楽音データ１０１Ｂが無音の場合（Ｓ１０５無音）、エフェクト制御部１９は、エフェクト処理部１３Ａにエフェクト処理を実行させる（Ｓ１０３）。
【００８５】
また、他方の楽音データ１０１Ｂが音楽である場合（Ｓ１０５で音楽）、エフェクト制御部１９は、エフェクト処理部１３Ａにエフェクト処理を実行させない（Ｓ１０４）。
【００８６】
また、他方の楽音データ１０１Ｂが音声である場合（Ｓ１０５で音声）、つまり、楽音データ１０１Ａ及び１０１Ｂが共に音声である場合、エフェクト制御部１９は、エフェクト処理部１３Ａにエフェクト処理を実行させるが、エフェクトの掛かり具合が、ステップＳ１０３の場合より弱くなるようにパラメータ１０７Ａを生成する（Ｓ１０６）。
【００８７】
また、別の最良の形態のひとつとして、パラメータ生成部２０Ａ及び２０Ｂは、エフェクト処理を実行から未実行に切り替えると決定した場合、徐々にエフェクトの掛かり具合を弱めるようにパラメータ１０７Ａ及び１０７Ｂを自動生成する。反対に、パラメータ生成部２０Ａ及び２０Ｂは、エフェクト処理を未実行から実行に切り替えると決定した場合、徐々にエフェクトの掛かり具合を強めるようにパラメータ１０７Ａ及び１０７Ｂを自動生成する。
【００８８】
この構成により、本発明の実施の形態３に係る楽音再生装置１００Ｂは、再生楽音の急激なエフェクトの変化を和らげることができるため、さらに最適な再生楽音を実現できる。
【００８９】
また、上記説明では、パラメータ１０７Ａ及び１０７Ｂを自動で生成するパラメータ生成部２０Ａ及び２０Ｂを用いる例を説明したが、図７に示す楽音再生装置１００Ｃのように、パラメータ生成部２０Ａ及び２０Ｂの代わりに、パラメータ選択部２１Ａ及び２１Ｂを用いてもよい。
【００９０】
このパラメータ選択部２１Ａは、予め準備された複数のパラメータから、楽音特性データ１０４Ａ及び１０４Ｂに応じて、パラメータ１０７Ａを選択する。また、パラメータ選択部２１Ｂは、予め準備された複数のパラメータから、楽音特性データ１０４Ａ及び１０４Ｂに応じて、パラメータ１０７Ｂを選択する。
【００９１】
また、図８に示す楽音再生装置１００Ｄのように、パラメータ生成部２０Ａ及び２０Ｂとパラメータ選択部２１Ａ及び２１Ｂとを共に用いてもよい。この場合、エフェクト処理部１３Ａで使用するパラメータ１０７Ａは、静的、又は、動的に選択されたパラメータ生成部２０Ａとパラメータ選択部２１Ａとのどちらかが出力する。同様に、エフェクト処理部１３Ｂで使用するパラメータ１０７Ｂは、静的、又は、動的に選択されたパラメータ生成部２０Ｂとパラメータ選択部２１Ｂとのどちらかが出力する。この場合でも、上記と同様の効果を得ることができる。
【００９２】
また、パラメータ１０７Ａを、パラメータ生成部２０Ａとパラメータ選択部２１Ａとのどちらの処理部で生成するか動的に選択する最良の形態のひとつを図９に示す。なお、パラメータ１０７Ｂに対する処理も同様である。
【００９３】
図９に示すように、処理量（処理負荷）が予め定められた閾値より少ない場合（Ｓ１１０でＮｏ）は、パラメータ１０７Ａを細かく設定できるパラメータ生成部２０Ａがパラメータ１０７Ａを生成する（Ｓ１１２）。また、処理量（処理負荷）が上記閾値より多い場合（Ｓ１１０でＹｅｓ）は、パラメータ１０７Ａの設定が粗くなるが、処理の軽いパラメータ選択部２１Ａがパラメータ１０７Ａを生成する（Ｓ１１１）。
【００９４】
この構成により、本発明の実施の形態３に係る楽音再生装置１００Ｄは、限られた処理性能を最大限生かして、最適な再生楽音を実現できる。
【００９５】
なお、ここでは、上記実施の形態２に係る楽音再生装置１００Ａが、さらに、パラメータ生成部２０Ａ及び２０Ｂを備える例を述べたが、実施の形態１に係る楽音再生装置１００に同様の変形例を適用してもよい。
【００９６】
（実施の形態４）
図１０は、本発明の実施の形態４に係る楽音再生装置１００Ｅのブロック図である。図１０に示す楽音再生装置１００Ｅは、図５に示す実施の形態３に係る１００Ｂの構成に加え、さらに、エフェクト処理部２２を備える。また、エフェクト制御部１９が、さらに、パラメータ生成部２０Ｃを備える。以下、追加したブロックと信号の流れを説明する。
【００９７】
パラメータ生成部２０Ｃは、楽音データ１０１Ａ及び１０１Ｂの特性に基づき、エフェクト処理部２２で使用するパラメータ１０７Ｃを自動的に生成する。
【００９８】
エフェクト処理部２２は、エフェクト処理部１３Ａ及び１３Ｂと同等の機能を有する。このエフェクト処理部２２は、パラメータ１０７Ｃを用いて、ミキシング処理部１５から出力されたミキシング楽音データ１０３に対してエフェクト処理を実行することにより、処理済楽音データ１１０を生成する。
【００９９】
また、エフェクト制御部１９は、楽音データ１０１Ａ及び１０１Ｂの特性に基づき、エフェクト処理部２２によるエフェクト処理の実行／未実行を制御する。また、エフェクト処理部２２は、エフェクト処理を実行しない場合、ミキシング楽音データ１０３を処理済楽音データ１１０として出力する。
【０１００】
また、楽音出力部１６は、処理済楽音データ１１０を再生楽音データ１０５として出力する。
【０１０１】
この構成でのエフェクト制御部１９の最良の形態のひとつを図１１に示す。
【０１０２】
エフェクト制御部１９は、楽音データ１０１Ａ及び１０１Ｂの両方にエフェクト処理部を実行すると判断した場合（Ｓ１２０でＹｅｓ）、エフェクト処理部１３Ａ及び１３Ｂが共にエフェクト処理を実行し、かつ、エフェクト処理部２２がエフェクト処理を実行しない場合と、エフェクト処理部１３Ａ及び１３Ｂが共にエフェクト処理を実行せず、かつ、エフェクト処理部２２がエフェクト処理を実行する場合とで、再生楽音データ１０５（処理済楽音データ１１０）が同等であるか否かを判定する（Ｓ１２１）。
【０１０３】
エフェクト処理部１３Ａ及び１３Ｂが共にエフェクト処理を実行し、かつ、エフェクト処理部２２がエフェクト処理を実行しない場合と、エフェクト処理部１３Ａ及び１３Ｂが共にエフェクト処理を実行せず、かつ、エフェクト処理部２２がエフェクト処理を実行する場合とで、再生楽音データ１０５が同等である場合（Ｓ１２１でＹｅｓ）、エフェクト制御部１９は、前段のエフェクト処理部１３Ａ及び１３Ｂにエフェクト処理を実行させず、かつ、後段のエフェクト処理部２２にエフェクト処理を実行させる（Ｓ１２２）。
【０１０４】
また、エフェクト制御部１９は、楽音データ１０１Ａ及び１０１Ｂの一方のみにエフェクト処理部を実行させると判断した場合（Ｓ１２０でＮｏ）、又は、エフェクト処理部１３Ａ及び１３Ｂが共にエフェクト処理を実行し、かつ、エフェクト処理部２２がエフェクト処理を実行しない場合と、エフェクト処理部１３Ａ及び１３Ｂが共にエフェクト処理を実行せず、かつ、エフェクト処理部２２がエフェクト処理を実行する場合とで、再生楽音データ１０５（処理済楽音データ１１０）が同等でない場合（Ｓ１２１でＮｏ）、前段のエフェクト処理部１３Ａ及び１３Ｂにエフェクト処理を実行させ、かつ、後段のエフェクト処理部２２にエフェクト処理を実行させない（Ｓ１２３）。
【０１０５】
この構成により、本発明の実施の形態４に係る楽音再生装置１００Ｅは、所定の条件を満たす場合は、複数回エフェクト処理を実行するのではなく、１回のエフェクト処理で最適な再生楽音データ１０５を生成できる。これにより、楽音再生装置１００Ｅは、処理量を低減できるので、低電力化、及び省資源化を実現できる。
【０１０６】
なお、ここでは、上記実施の形態３に係る楽音再生装置１００Ｂが、さらに、エフェクト処理部２２を備える例を述べたが、他の実施の形態、及びその変形例に係る楽音再生装置に同様の変形例を適用してもよい。
【０１０７】
（実施の形態５）
図１２は、本発明の実施の形態５に係る楽音再生装置１００Ｆのブロック図である。この楽音再生装置１００Ｆは、図１０に示す実施の形態４に係る楽音再生装置１００Ｅの構成に加え、さらに、デコード情報取得部２３Ａ及び２３Ｂを備える。以下、追加したブロックと信号の流れを説明する。
【０１０８】
デコード情報取得部２３Ａは、楽音データ１０１Ａのデコード時のデジタル情報であるデコード情報１１１Ａを取得する。デコード情報取得部２３Ｂは、楽音データ１０１Ｂのデコード時のデジタル情報であるデコード情報１１１Ｂを取得する。
【０１０９】
また、楽音解析部１７Ａは、デコード情報１１１Ａを用いて楽音データ１０１Ａの特性を解析することにより、楽音特性データ１０４Ａを生成する。また、楽音解析部１７Ｂは、デコード情報１１１Ｂを用いて楽音データ１０１Ｂの特性を解析することにより、楽音特性データ１０４Ｂを生成する。
【０１１０】
最良の形態のひとつとして、デコード情報１１１Ａ及び１１１Ｂは、ストリームデコード時に生成される周波数成分データである。また、楽音解析部１７Ａ及び１７Ｂは、当該周波数成分データを用いて、楽音データ１０１Ａ又は１０１Ｂの音声検出を行う。
【０１１１】
この構成により、本発明の実施の形態５に係る楽音再生装置１００Ｆは、楽音解析部１７Ａ及び１７Ｂが周波数成分データを生成する処理を省略できる。これにより、楽音再生装置１００Ｆは、処理量を低減できるので、低電力化及び省資源化を実現できる。
【０１１２】
なお、ここでは、上記実施の形態４に係る楽音再生装置１００Ｅが、さらに、デコード情報取得部２３Ａ及び２３Ｂを備える例を述べたが、他の実施の形態、及びその変形例に係る楽音再生装置に同様の変形例を適用してもよい。
【０１１３】
（実施の形態６）
図１３は、本発明の実施の形態６に係る楽音再生装置１００Ｇのブロック図である。図１３に示す楽音再生装置１００Ｇは、図１２に示す実施の形態５に係る楽音再生装置１００Ｆの構成に加え、さらに、楽音解析制御部２５を備える。以下、追加したブロックと信号の流れを説明する。
【０１１４】
楽音解析制御部２５は、楽音解析部１７Ａ及び１７Ｂによる解析処理（楽音特性データ１０４Ａ及び１０４Ｂの生成処理）の実行／未実行を制御する。
【０１１５】
以下、最良の形態のひとつを、図１４及び図１５を用いて、以下に説明する。
【０１１６】
図１４に示す楽音再生装置１００Ｈでは、楽音解析制御部２５は、タイム制御部２６を備える。このタイム制御部２６は、楽音解析部１７Ａ及び１７Ｂによる解析処理の実行／未実行を時間で制御する。具体的には、図１５に示すように、タイム制御部２６は、楽音解析部１７Ａ及び１７Ｂが解析処理を実行する実行区間と、楽音解析部１７Ａ及び１７Ｂが解析処理を実行しない未実行区間とを予め定められた周期で切り替える。また、例えば、各実行区間の長さである実行時間Ｔ１と、各未実行区間の長さである未実行時間Ｔ２とは、予めタイム制御部２６で設定される。
【０１１７】
ここで、楽音データの特性は、一般に短時間では変化しないため、予め定められた周期で解析処理を行ったとしても、視聴者に対する違和感は少ない。
【０１１８】
また、別の最良の形態のひとつを図１６に示す。
【０１１９】
まず、タイム制御部２６は、楽音データ１０１Ａの特性が変化している期間の長さを測定する（Ｓ１３０）。
【０１２０】
ここで、楽音データ１０１Ａの特性が変化している期間とは、例えば、図１５に示す音声区間中の無音区間１１２である。また、楽音データ１０１Ａの特性が変化している期間とは、無音区間中の音声区間又は音楽区間であってもよいし、音声区間中の音楽区間であってもよいし、音楽区間中の無音区間又は音声区間であってもよい。
【０１２１】
楽音データ１０１Ａの特性が変化している期間の長さが一定時間より短い場合（Ｓ１３０でＹｅｓ）、エフェクト制御部１９は、楽音解析部１７Ａの解析結果をエフェクト処理部１３Ａに反映させず、エフェクト処理の実行／未実行を維持する（Ｓ１３１）。
【０１２２】
また、楽音データ１０１Ａの特性が変化している期間の長さが上記一定時間より長い場合（Ｓ１３０でＮｏ）、タイム制御部２６は、実行時間を通常の実行時間Ｔ１より長い実行時間Ｔ３に設定する（Ｓ１３２）。例えば、タイム制御部２６は、図１５に示す音声区間から無音区間に変わる特性変化点１１３の周辺で実行時間を実行時間Ｔ３にする。これにより、楽音解析部１７Ａによる解析処理の精度を上げることができる。そして、タイム制御部２６は、楽音特性の変化が落ち着き次第、楽音解析部１７Ａの実行時間を実行時間Ｔ１に戻す。
【０１２３】
また、エフェクト制御部１９は、ステップＳ１３２で長くした実行区間内で楽音特性に変化があった場合（Ｓ１３３でＹｅｓ）、楽音解析部１７Ａの解析結果をエフェクト処理部１３Ａに反映させ、エフェクト処理の実行／未実行を切り替える（Ｓ１３４）。また、エフェクト制御部１９は、ステップＳ１３２で長くした実行区間内で楽音特性に変化がない場合（Ｓ１３３でＮｏ）、エフェクト処理の実行／未実行を維持する（Ｓ１３１）。
【０１２４】
なお、タイム制御部２６による楽音データ１０１Ｂに対する処理も同様である。
【０１２５】
以上により、本発明の実施の形態６に係る楽音再生装置１００Ｈは、エフェクト処理の実行／未実行が連続して切り替わることにより発生する違和感を低減できる。
【０１２６】
また、楽音再生装置１００Ｈは、解析処理を実行しない時間ができることで、処理量を低減できるので、低電力化及び省資源化を実現できる。
【０１２７】
なお、ここでは、上記実施の形態５に係る楽音再生装置１００Ｆが、さらに、楽音解析制御部２５を備える例を述べたが、他の実施の形態、及びその変形例に係る楽音再生装置に同様の変形例を適用してもよい。
【０１２８】
（実施の形態７）
図１７は、本発明の実施の形態７に係る楽音再生装置１００Ｉのブロック図である。図１７に示す楽音再生装置１００Ｉは、図１４に示す実施の形態６に係る楽音再生装置１００Ｈの構成に加え、イベント取得部２７を備える。
【０１２９】
このイベント取得部２７は、楽音データ１０１Ａ及び１０１Ｂに、予め定められたイベントが発生したことを示すイベント情報１１４を取得する。
【０１３０】
また、楽音解析制御部２５は、イベント情報１１４によりイベントが発生したことが示される場合、楽音解析部１７Ａ及び１７Ｂに楽音特性データ１０４Ａ及び１０４Ｂを生成させる。
【０１３１】
これにより、本発明の実施の形態７に係る楽音再生装置１００Ｉは、イベントが発生した時点で解析処理を実行することにより効率的な楽音データ１０１Ａ及び１０１Ｂの解析処理を実現できる。
【０１３２】
なお、イベントとしては、シーン切替、楽音切替等があるが、最良の形態のひとつとして、楽音切替をイベント情報１１４とするシステムを例に説明する。
【０１３３】
図１８は、この場合の楽音再生装置１００Ｊのブロック図である。図１８では、イベント取得部２７は、楽音切替情報取得部２８Ａ及び２８Ｂを備える。以下追加したブロックと信号の流れを説明する。
【０１３４】
楽音切替情報取得部２８Ａは、楽音データ１０１Ａの楽音切替情報１１５Ａを取得する。また、楽音切替情報取得部２８Ｂは、楽音データ１０１Ｂの楽音切替情報１１５Ｂを取得する。
【０１３５】
この構成での楽音解析制御部２５の最良の形態のひとつを図１９に示す。
【０１３６】
楽音切替時は楽音特性が変化する可能性が高いことを利用し、楽音切替情報１１５Ａにより楽音切替が発生したことが示される場合（Ｓ１４０でＹｅｓ）、楽音解析制御部２５は、強制的に楽音解析部１７Ａ及び１７Ｂに解析処理を実行させる（Ｓ１４１）。また、楽音切替情報１１５Ａにより楽音切替が発生したことが示されない場合（Ｓ１４０でＮｏ）、楽音解析制御部２５は、通常の処理（例えば、図１６に示す処理）を行う（Ｓ１４２）。
【０１３７】
この構成により、本発明の実施の形態７に係る楽音再生装置１００Ｉ及び１００Ｊは、楽音解析処理を実行するタイミングを正確に知ることができ、効率的な楽音解析処理を実行できる。これにより、楽音再生装置１００Ｉ及び１００Ｊは、処理量を低減できるので、低電力化及び省資源化を実現できる。
【０１３８】
なお、ここでは、上記実施の形態６に係る楽音再生装置１００Ｈが、さらに、イベント取得部２７を備える例を述べたが、他の実施の形態、及びその変形例に係る楽音再生装置に同様の変形例を適用してもよい。
【０１３９】
（実施の形態８）
図２０は、本発明の実施の形態８に係る楽音再生装置１００Ｋのブロック図である。図２０に示す楽音再生装置１００Ｋは、図１８に示す実施の形態７に係る楽音再生装置１００Ｊの構成に対し、楽音解析制御部２５が、さらに、解析チャネル指定部３０を備える点が異なる。以下、このブロックと信号の流れを説明する。
【０１４０】
解析チャネル指定部３０は、楽音データ１０１Ａ及び１０１Ｂに含まれる複数のチャネルのうち、楽音解析部１７Ａ及び１７Ｂが楽音解析処理を実行するチャネルを指定する。
【０１４１】
楽音解析部１７Ａは、楽音データ１０１Ａに含まれる、解析チャネル指定部３０により指定されたチャネルの特性を解析することにより楽音特性データ１０４Ａを生成する。楽音解析部１７Ｂは、楽音データ１０１Ｂに含まれる、解析チャネル指定部３０により指定されたチャネルの特性を解析することにより楽音特性データ１０４Ｂを生成する。
【０１４２】
最良の形態のひとつを図２１に示す。
【０１４３】
ここで、楽音解析部１７Ａ及び１７Ｂが音声検出を行う場合、音声成分がセンターチャネルに集中する。これを利用し、解析チャネル指定部３０は、楽音データ１０１Ａがマルチチャネル信号であり、センターチャネルが存在する場合（Ｓ１５０でＹｅｓ、かつ、Ｓ１５１でＹｅｓ）、楽音解析部１７Ａに解析処理をセンターチャネルのみに対して実行することを指示する（Ｓ１５２）。また、楽音データ１０１Ａが、センターチャネルが存在しないストリームであれば（Ｓ１５１でＮｏ）、解析チャネル指定部３０は、楽音解析部１７ＡにＬＦ／ＲＦのフロントチャネルのみに解析処理を実行することを指示する（Ｓ１５３）。
【０１４４】
なお、楽音データ１０１Ｂに対する処理も同様である。
【０１４５】
この構成により、本発明の実施の形態８に係る楽音再生装置１００Ｋは、５．１ｃｈストリームのようなマルチチャネルストリームが入力された場合、解析するチャネルを制限する。これにより、楽音再生装置１００Ｋは、処理量を低減できるので、低電力化及び省資源化が実現できる。
【０１４６】
なお、ここでは、上記実施の形態６に係る楽音再生装置１００Ｊが、さらに、解析チャネル指定部３０を備える例を述べたが、他の実施の形態、及びその変形例に係る楽音再生装置に同様の変形例を適用してもよい。
【０１４７】
以上、本発明の実施の形態に係る楽音再生装置について説明したが、本発明は、この実施の形態に限定されるものではない。
【０１４８】
例えば、上記実施形態は、２つの楽音データをミキシングする楽音再生装置について説明したが、３以上の楽音データミキシングする楽音再生装置に対しても、同様に、本発明を適用できる。
【０１４９】
また、上記実施の形態に係る楽音再生装置に含まれる各処理部は典型的には集積回路であるＬＳＩとして実現される。これらは個別に１チップ化されてもよいし、一部又は全てを含むように１チップ化されてもよい。
【０１５０】
また、集積回路化はＬＳＩに限るものではなく、専用回路又は汎用プロセッサで実現してもよい。ＬＳＩ製造後にプログラムすることが可能なＦＰＧＡ（Ｆｉｅｌｄ Ｐｒｏｇｒａｍｍａｂｌｅ Ｇａｔｅ Ａｒｒａｙ）、又はＬＳＩ内部の回路セルの接続や設定を再構成可能なリコンフィギュラブル・プロセッサを利用してもよい。
【０１５１】
また、本発明の実施の形態に係る、楽音再生装置の機能の一部又は全てを、ＣＰＵ等のプロセッサがプログラムを実行することにより実現してもよい。
【０１５２】
さらに、本発明は上記プログラムであってもよいし、上記プログラムが記録された記録媒体であってもよい。また、上記プログラムは、インターネット等の伝送媒体を介して流通させることができるのは言うまでもない。
【０１５３】
また、上記実施の形態１〜８に係る、楽音再生装置、及びその変形例の機能のうち少なくとも一部を組み合わせてもよい。
【０１５４】
更に、本発明の主旨を逸脱しない限り、本実施の形態に対して当業者が思いつく範囲内の変更を施した各種変形例も本発明に含まれる。
【産業上の利用可能性】
【０１５５】
本発明は、楽音再生装置に適用でき、複数の楽音をミキシングして再生する場合に有用である。
【符号の説明】
【０１５６】
１１Ａ、１１Ｂ 楽音取得部
１３Ａ、１３Ｂ、２２ エフェクト処理部
１５ ミキシング処理部
１６ 楽音出力部
１７Ａ、１７Ｂ 楽音解析部
１９ エフェクト制御部
２０Ａ、２０Ｂ、２０Ｃ パラメータ生成部
２１Ａ、２１Ｂ パラメータ選択部
２３Ａ、２３Ｂ デコード情報取得部
２５ 楽音解析制御部
２６ タイム制御部
２７ イベント取得部
２８Ａ、２８Ｂ 楽音切替情報取得部
３０ 解析チャネル指定部
３１Ａ、３１Ｂ 楽音特性取得部
１００、１００Ａ、１００Ｂ、１００Ｃ、１００Ｄ、１００Ｅ、１００Ｆ、１００Ｇ、１００Ｈ、１００Ｉ、１００Ｊ、１００Ｋ 楽音再生装置
１０１Ａ、１０１Ｂ 楽音データ
１０２Ａ、１０２Ｂ、１１０ 処理済楽音データ
１０３ ミキシング楽音データ
１０４Ａ、１０４Ｂ 楽音特性データ
１０５ 再生楽音データ
１０７Ａ、１０７Ｂ、１０７Ｃ パラメータ
１１１Ａ、１１１Ｂ デコード情報
１１２ 無音区間
１１３ 特性変化点
１１４ イベント情報
１１５Ａ、１１５Ｂ 楽音切替情報
【特許請求の範囲】
【請求項１】
第１楽音データ及び第２楽音データをミキシングすることにより再生楽音データを生成する楽音再生装置であって、
前記第１楽音データを取得する第１楽音取得部と、
前記第２楽音データを取得する第２楽音取得部と、
前記第１楽音データに第１エフェクト処理を実行することにより第１処理済楽音データを生成する第１エフェクト処理部と、
前記第２楽音データに第２エフェクト処理を実行することにより第２処理済楽音データを生成する第２エフェクト処理部と、
前記第１楽音データの特性を示す第１楽音特性データを取得する第１楽音特性取得部と、
前記第２楽音データの特性を示す第２楽音特性データを取得する第２楽音特性取得部と、
前記第１楽音特性データで示される前記第１楽音データの特性、及び前記第２楽音特性データで示される前記第２楽音データの特性に基づき、前記第１エフェクト処理部による前記第１エフェクト処理の実行の有無を制御し、前記第２エフェクト処理部による前記第２エフェクト処理の実行の有無を制御するエフェクト制御部とを備え、
前記第１エフェクト処理部は、前記第１エフェクト処理を実行しない場合、前記第１楽音データを前記第１処理済楽音データとして出力し、
前記第２エフェクト処理部は、前記第２エフェクト処理を実行しない場合、前記第２楽音データを前記第２処理済楽音データとして出力し、
前記楽音再生装置は、さらに、
前記第１処理済楽音データと前記第２処理済楽音データとをミキシングすることによりミキシング楽音データを生成するミキシング処理部と、
前記ミキシング楽音データを前記再生楽音データとして出力する楽音出力部とを備える
楽音再生装置。
【請求項２】
前記第１楽音データの特性及び前記第２楽音データの特性は、当該第１楽音データ又は当該第２楽音データが音声であるか、音楽であるかであり、
前記エフェクト制御部は、
前記第１楽音データが音楽である場合、前記第１エフェクト処理部に前記第１エフェクト処理を実行させ、
前記第１楽音データが音声である場合、前記第１エフェクト処理部に前記第１エフェクト処理を実行させず、
前記第２楽音データが音楽である場合、前記第２エフェクト処理部に前記第２エフェクト処理を実行させ、
前記第２楽音データが音声である場合、前記第２エフェクト処理部に前記第２エフェクト処理を実行させない
請求項１記載の楽音再生装置。
【請求項３】
前記第１楽音データの特性及び前記第２楽音データの特性は、当該第１楽音データ又は当該第２楽音データが音声であるか、音楽であるか、無音であるかであり、
前記エフェクト制御部は、
前記第１楽音データが音声である場合、かつ、前記第２楽音データが音楽である場合、前記第１エフェクト処理部に前記第１エフェクト処理を実行させず、
前記第１楽音データが音声である場合、かつ、前記第２楽音データが無音である場合、前記第１エフェクト処理部に前記第１エフェクト処理を実行させ、
前記第２楽音データが音声である場合、かつ、前記第１楽音データが音楽である場合、前記第２エフェクト処理部に前記第２エフェクト処理を実行させず、
前記第２楽音データが音声である場合、かつ、前記第１楽音データが無音である場合、前記第２エフェクト処理部に前記第２エフェクト処理を実行させる
請求項２記載の楽音再生装置。
【請求項４】
前記楽音再生装置は、さらに、
前記第１楽音データの特性を解析することにより前記第１楽音特性データを生成する第１楽音解析部と、
前記第２楽音データの特性を解析することにより前記第２楽音特性データを生成する第２楽音解析部とを備え、
前記第１楽音特性取得部は、前記第１楽音解析部により生成された前記第１楽音特性データを取得し、
前記第２楽音特性取得部は、前記第２楽音解析部により生成された前記第２楽音特性データを取得する
請求項１〜３のいずれか１項に記載の楽音再生装置。
【請求項５】
前記エフェクト制御部は、
前記第１楽音特性データで示される前記第１楽音データの特性、及び前記第２楽音特性データで示される前記第２楽音データの特性に基づき、前記第１エフェクト処理の強さを示す第１パラメータを生成し、前記第２エフェクト処理の強さを示す第２パラメータを生成するパラメータ生成部を備え、
前記第１エフェクト処理部は、前記第１パラメータを用いて前記第１エフェクト処理を行い、
前記第２エフェクト処理部は、前記第２パラメータを用いて前記第２エフェクト処理を行う
請求項１〜４のいずれか１項に記載の楽音再生装置。
【請求項６】
前記パラメータ生成部は、
前記エフェクト制御部が前記第１エフェクト処理部の状態を、前記第１エフェクト処理を実行する状態から実行しない状態に切り替える場合、前記第１エフェクト処理の強さを連続的に減少させる前記第１パラメータを生成し、
前記エフェクト制御部が前記第１エフェクト処理部の状態を、前記第１エフェクト処理を実行しない状態から実行する状態に切り替える場合、前記第１エフェクト処理の強さを連続的に増加させる前記第１パラメータを生成し、
前記エフェクト制御部が前記第２エフェクト処理部の状態を、前記第２エフェクト処理を実行する状態から実行しない状態に切り替える場合、前記第２エフェクト処理の強さを連続的に減少させる前記第２パラメータを生成し、
前記エフェクト制御部が前記第２エフェクト処理部の状態を、前記第２エフェクト処理を実行しない状態から実行する状態に切り替える場合、前記第２エフェクト処理の強さを連続的に増加させる前記第２パラメータを生成する
請求項５記載の楽音再生装置。
【請求項７】
前記エフェクト制御部は、
前記第１楽音特性データで示される前記第１楽音データの特性、及び前記第２楽音特性データで示される前記第２楽音データの特性に基づき、前記第１エフェクト処理の強さを示す第１パラメータを生成し、前記第２エフェクト処理の強さを示す第２パラメータを生成するパラメータ生成部を備え、
前記第１エフェクト処理部は、前記第１パラメータを用いて前記第１エフェクト処理を行い、
前記第２エフェクト処理部は、前記第２パラメータを用いて前記第２エフェクト処理を行い、
前記エフェクト制御部は、
前記第１楽音データが音声であり、かつ前記第２楽音データが音楽である場合、前記第１エフェクト処理部に前記第１エフェクト処理を実行させず、
前記第２楽音データが音声であり、かつ前記第１楽音データが音楽である場合、前記第２エフェクト処理部に前記第２エフェクト処理を実行させず、
前記第１楽音データ及び前記第２楽音データが共に音声である場合、前記第１エフェクト処理部に前記第１エフェクト処理を実行させ、かつ、前記第２エフェクト処理部に前記第２エフェクト処理を実行させ、
前記パラメータ生成部は、
前記第１楽音データ及び前記第２楽音データが共に音声である場合、前記第１楽音データが音楽である場合より前記第１エフェクト処理の強さが弱くなるように前記第１パラメータを生成し、かつ、前記第２楽音データが音楽である場合より前記第２エフェクト処理の強さが弱くなるように前記第２パラメータを生成する
請求項２記載の楽音再生装置。
【請求項８】
前記エフェクト制御部は、
前記第１楽音特性データで示される前記第１楽音データの特性、及び前記第２楽音特性データで示される前記第２楽音データの特性に基づき、前記第１エフェクト処理の強さを示す、予め定められた複数の第１パラメータからいずれかを選択し、前記第２エフェクト処理の強さを示す、予め定められた複数の第２パラメータからいずれかを選択するパラメータ選択部を備え、
前記第１エフェクト処理部は、前記パラメータ選択部により選択された前記第１パラメータを用いて前記第１エフェクト処理を行い、
前記第２エフェクト処理部は、前記パラメータ選択部により選択された前記第２パラメータを用いて前記第２エフェクト処理を行う
請求項１〜４のいずれか１項に記載の楽音再生装置。
【請求項９】
前記エフェクト制御部は、
前記第１楽音特性データで示される前記第１楽音データの特性、及び前記第２楽音特性データで示される前記第２楽音データの特性に基づき、前記第１エフェクト処理の強さを示す第１パラメータを生成し、前記第２エフェクト処理の強さを示す第２パラメータを生成するパラメータ生成部と、
前記第１楽音特性データで示される前記第１楽音データの特性、及び前記第２楽音特性データで示される前記第２楽音データの特性に基づき、前記第１エフェクト処理の強さを示す、予め定められた複数の第３パラメータからいずれかを選択し、前記第２エフェクト処理の強さを示す、予め定められた複数の第４パラメータからいずれかを選択するパラメータ選択部とを備え、
前記第１及び前記第２楽音データに対する処理量が、予め定められた閾値より少ない場合、前記第１エフェクト処理部は、前記パラメータ生成部により生成された前記第１パラメータを用いて前記第１エフェクト処理を行い、前記第２エフェクト処理部は、前記パラメータ生成部により生成された前記第２パラメータを用いて前記第２エフェクト処理を行い、
前記処理量が前記閾値より多い場合、前記第１エフェクト処理部は、前記パラメータ選択部により選択された前記第３パラメータを用いて前記第１エフェクト処理を行い、前記第２エフェクト処理部は、前記パラメータ選択部により選択された前記第４パラメータを用いて前記第２エフェクト処理を行う
請求項１〜４のいずれか１項に記載の楽音再生装置。
【請求項１０】
前記楽音再生装置は、さらに、
前記ミキシング処理部により生成された前記ミキシング再生楽音データに第３エフェクト処理を行うことにより第３処理済楽音データを生成する第３エフェクト処理部を備え、
前記エフェクト制御部は、
前記第１及び前記第２エフェクト処理を実行し、かつ、前記第３エフェクト処理を実行しない第１条件で生成される再生楽音データと、前記第３及び前記第２エフェクト処理を実行せず、かつ、前記第３エフェクト処理を実行する第２条件で生成される再生楽音データとが同等である場合、前記第１及び前記第２エフェクト処理部に前記第１及び前記第２エフェクト処理を実行させず、かつ、前記第３エフェクト処理部に前記第３エフェクト処理を実行させ、
前記第１条件で生成される再生楽音データと前記第２条件で生成される再生楽音データとが同等でない場合、前記第１及び前記第２エフェクト処理部に前記第１及び前記第２エフェクト処理を実行させ、かつ、前記第３エフェクト処理部に前記第３エフェクト処理を実行させず、
前記第３エフェクト処理部は、前記第３エフェクト処理を実行しない場合、前記ミキシング楽音データを前記第３処理済楽音データとして出力し、
前記楽音出力部は、前記第３処理済楽音データを前記再生楽音データとして出力する
請求項１〜９のいずれか１項に記載の楽音再生装置。
【請求項１１】
前記楽音再生装置は、さらに、
前記第１楽音データのデコード時の情報である第１デコード情報を取得する第１デコード情報取得部と、
前記第２楽音データのデコード時の情報である第２デコード情報を取得する第２デコード情報取得部とを備え、
前記第１楽音解析部は、前記第１デコード情報を用いて前記第１楽音特性データを生成し、
前記第２楽音解析部は、前記第２デコード情報を用いて前記第２楽音特性データを生成する
請求項４記載の楽音再生装置。
【請求項１２】
前記楽音再生装置は、さらに、
前記第１楽音解析部による前記第１楽音特性データの生成処理の実行の有無と、前記第２楽音解析部による前記第２楽音特性データの生成処理の実行の有無とを制御する楽音解析制御部を備え、
前記エフェクト制御部は、前記第１楽音解析部による前記第１楽音特性データの生成処理が実行されない場合、前記第１エフェクト処理部による前記第１エフェクト処理の実行の有無を維持し、前記第２楽音解析部による前記第２楽音特性データの生成処理が実行されない場合、前記第２エフェクト処理部による前記第２エフェクト処理の実行の有無を維持する
請求項４記載の楽音再生装置。
【請求項１３】
前記楽音解析制御部は、
前記第１楽音解析部による前記第１楽音特性データの生成処理、及び前記第２楽音解析部による前記第２楽音特性データの生成処理を予め定められた周期で実行させるタイム制御部を備える
請求項１２記載の楽音再生装置。
【請求項１４】
前記タイム制御部は、さらに、前記第１楽音特性データで示される前記第１楽音データの特性が変化している期間が予め定められた第１時間より短いか否かを判定し、前記第２楽音特性データで示される前記第２楽音データの特性が変化している期間が予め定められた第２時間より短いか否かを判定し、
前記エフェクト制御部は、前記第１楽音データの特性が変化している期間が前記第１時間より短い場合、当該特性の変化に基づく前記第１エフェクト処理部による前記第１エフェクト処理の実行の有無を維持し、前記第２楽音データの特性が変化している期間が前記第２時間より短い場合、当該特性の変化に基づく前記第２エフェクト処理部による前記第２エフェクト処理の有無を維持する
請求項１３記載の楽音再生装置。
【請求項１５】
前記楽音再生装置は、さらに、
前記第１又は第２楽音データに、予め定められたイベントが発生したことを示すイベント情報を取得するイベント取得部を備え、
前記楽音解析制御部は、前記イベント情報により前記イベントが発生したことが示される場合、前記第１及び前記第２楽音解析部に前記第１及び前記第２楽音特性データを生成させる
請求項１２〜１４のいずれか１項に記載の楽音再生装置。
【請求項１６】
前記イベントは、シーン切替又は楽音切替である
請求項１５に記載の楽音再生装置。
【請求項１７】
前記楽音解析制御部は、
前記第１楽音データがマルチチャネル信号である場合、前記第１楽音解析部にセンターチャネル又はフロントチャネルを指定し、前記第２楽音データがマルチチャネル信号である場合、前記第２楽音解析部にセンターチャネル又はフロントチャネルを指定する解析チャネル指定部を備え、
前記第１楽音解析部は、前記第１楽音データに含まれる、前記解析チャネル指定部により指定されたチャネルの特性を解析することにより前記第１楽音特性データを生成し、
前記第２楽音解析部は、前記第２楽音データに含まれる、前記解析チャネル指定部により指定されたチャネルの特性を解析することにより前記第２楽音特性データを生成する
請求項４記載の楽音再生装置。
【請求項１８】
第１楽音データ及び第２楽音データをミキシングすることにより再生楽音データを生成する楽音再生方法であって、
前記第１楽音データを取得する第１楽音取得ステップと、
前記第２楽音データを取得する第２楽音取得ステップと、
前記第１楽音データに第１エフェクト処理を実行することにより第１処理済楽音データを生成する第１エフェクト処理ステップと、
前記第２楽音データに第２エフェクト処理を実行することにより第２処理済楽音データを生成する第２エフェクト処理ステップと、
前記第１楽音データの特性を示す第１楽音特性データを取得する第１楽音特性取得ステップと、
前記第２楽音データの特性を示す第２楽音特性データを取得する第２楽音特性取得ステップと、
前記第１楽音特性データで示される前記第１楽音データの特性、及び前記第２楽音特性データで示される前記第２楽音データの特性に基づき、前記第１エフェクト処理ステップでの前記第１エフェクト処理の実行の有無を制御し、前記第２エフェクト処理ステップでの前記第２エフェクト処理の実行の有無を制御するエフェクト制御ステップとを含み、
前記第１エフェクト処理ステップは、前記第１エフェクト処理を実行しない場合、前記第１楽音データを前記第１処理済楽音データとして出力し、
前記第２エフェクト処理ステップでは、前記第２エフェクト処理を実行しない場合、前記第２楽音データを前記第２処理済楽音データとして出力し、
前記楽音再生方法は、さらに、
前記第１処理済楽音データと前記第２処理済楽音データとをミキシングすることによりミキシング楽音データを生成するミキシング処理ステップと、
前記ミキシング楽音データを前記再生楽音データとして出力する楽音出力ステップとを含む
楽音再生方法。
【請求項１】
第１楽音データ及び第２楽音データをミキシングすることにより再生楽音データを生成する楽音再生装置であって、
前記第１楽音データを取得する第１楽音取得部と、
前記第２楽音データを取得する第２楽音取得部と、
前記第１楽音データに第１エフェクト処理を実行することにより第１処理済楽音データを生成する第１エフェクト処理部と、
前記第２楽音データに第２エフェクト処理を実行することにより第２処理済楽音データを生成する第２エフェクト処理部と、
前記第１楽音データの特性を示す第１楽音特性データを取得する第１楽音特性取得部と、
前記第２楽音データの特性を示す第２楽音特性データを取得する第２楽音特性取得部と、
前記第１楽音特性データで示される前記第１楽音データの特性、及び前記第２楽音特性データで示される前記第２楽音データの特性に基づき、前記第１エフェクト処理部による前記第１エフェクト処理の実行の有無を制御し、前記第２エフェクト処理部による前記第２エフェクト処理の実行の有無を制御するエフェクト制御部とを備え、
前記第１エフェクト処理部は、前記第１エフェクト処理を実行しない場合、前記第１楽音データを前記第１処理済楽音データとして出力し、
前記第２エフェクト処理部は、前記第２エフェクト処理を実行しない場合、前記第２楽音データを前記第２処理済楽音データとして出力し、
前記楽音再生装置は、さらに、
前記第１処理済楽音データと前記第２処理済楽音データとをミキシングすることによりミキシング楽音データを生成するミキシング処理部と、
前記ミキシング楽音データを前記再生楽音データとして出力する楽音出力部とを備える
楽音再生装置。
【請求項２】
前記第１楽音データの特性及び前記第２楽音データの特性は、当該第１楽音データ又は当該第２楽音データが音声であるか、音楽であるかであり、
前記エフェクト制御部は、
前記第１楽音データが音楽である場合、前記第１エフェクト処理部に前記第１エフェクト処理を実行させ、
前記第１楽音データが音声である場合、前記第１エフェクト処理部に前記第１エフェクト処理を実行させず、
前記第２楽音データが音楽である場合、前記第２エフェクト処理部に前記第２エフェクト処理を実行させ、
前記第２楽音データが音声である場合、前記第２エフェクト処理部に前記第２エフェクト処理を実行させない
請求項１記載の楽音再生装置。
【請求項３】
前記第１楽音データの特性及び前記第２楽音データの特性は、当該第１楽音データ又は当該第２楽音データが音声であるか、音楽であるか、無音であるかであり、
前記エフェクト制御部は、
前記第１楽音データが音声である場合、かつ、前記第２楽音データが音楽である場合、前記第１エフェクト処理部に前記第１エフェクト処理を実行させず、
前記第１楽音データが音声である場合、かつ、前記第２楽音データが無音である場合、前記第１エフェクト処理部に前記第１エフェクト処理を実行させ、
前記第２楽音データが音声である場合、かつ、前記第１楽音データが音楽である場合、前記第２エフェクト処理部に前記第２エフェクト処理を実行させず、
前記第２楽音データが音声である場合、かつ、前記第１楽音データが無音である場合、前記第２エフェクト処理部に前記第２エフェクト処理を実行させる
請求項２記載の楽音再生装置。
【請求項４】
前記楽音再生装置は、さらに、
前記第１楽音データの特性を解析することにより前記第１楽音特性データを生成する第１楽音解析部と、
前記第２楽音データの特性を解析することにより前記第２楽音特性データを生成する第２楽音解析部とを備え、
前記第１楽音特性取得部は、前記第１楽音解析部により生成された前記第１楽音特性データを取得し、
前記第２楽音特性取得部は、前記第２楽音解析部により生成された前記第２楽音特性データを取得する
請求項１〜３のいずれか１項に記載の楽音再生装置。
【請求項５】
前記エフェクト制御部は、
前記第１楽音特性データで示される前記第１楽音データの特性、及び前記第２楽音特性データで示される前記第２楽音データの特性に基づき、前記第１エフェクト処理の強さを示す第１パラメータを生成し、前記第２エフェクト処理の強さを示す第２パラメータを生成するパラメータ生成部を備え、
前記第１エフェクト処理部は、前記第１パラメータを用いて前記第１エフェクト処理を行い、
前記第２エフェクト処理部は、前記第２パラメータを用いて前記第２エフェクト処理を行う
請求項１〜４のいずれか１項に記載の楽音再生装置。
【請求項６】
前記パラメータ生成部は、
前記エフェクト制御部が前記第１エフェクト処理部の状態を、前記第１エフェクト処理を実行する状態から実行しない状態に切り替える場合、前記第１エフェクト処理の強さを連続的に減少させる前記第１パラメータを生成し、
前記エフェクト制御部が前記第１エフェクト処理部の状態を、前記第１エフェクト処理を実行しない状態から実行する状態に切り替える場合、前記第１エフェクト処理の強さを連続的に増加させる前記第１パラメータを生成し、
前記エフェクト制御部が前記第２エフェクト処理部の状態を、前記第２エフェクト処理を実行する状態から実行しない状態に切り替える場合、前記第２エフェクト処理の強さを連続的に減少させる前記第２パラメータを生成し、
前記エフェクト制御部が前記第２エフェクト処理部の状態を、前記第２エフェクト処理を実行しない状態から実行する状態に切り替える場合、前記第２エフェクト処理の強さを連続的に増加させる前記第２パラメータを生成する
請求項５記載の楽音再生装置。
【請求項７】
前記エフェクト制御部は、
前記第１楽音特性データで示される前記第１楽音データの特性、及び前記第２楽音特性データで示される前記第２楽音データの特性に基づき、前記第１エフェクト処理の強さを示す第１パラメータを生成し、前記第２エフェクト処理の強さを示す第２パラメータを生成するパラメータ生成部を備え、
前記第１エフェクト処理部は、前記第１パラメータを用いて前記第１エフェクト処理を行い、
前記第２エフェクト処理部は、前記第２パラメータを用いて前記第２エフェクト処理を行い、
前記エフェクト制御部は、
前記第１楽音データが音声であり、かつ前記第２楽音データが音楽である場合、前記第１エフェクト処理部に前記第１エフェクト処理を実行させず、
前記第２楽音データが音声であり、かつ前記第１楽音データが音楽である場合、前記第２エフェクト処理部に前記第２エフェクト処理を実行させず、
前記第１楽音データ及び前記第２楽音データが共に音声である場合、前記第１エフェクト処理部に前記第１エフェクト処理を実行させ、かつ、前記第２エフェクト処理部に前記第２エフェクト処理を実行させ、
前記パラメータ生成部は、
前記第１楽音データ及び前記第２楽音データが共に音声である場合、前記第１楽音データが音楽である場合より前記第１エフェクト処理の強さが弱くなるように前記第１パラメータを生成し、かつ、前記第２楽音データが音楽である場合より前記第２エフェクト処理の強さが弱くなるように前記第２パラメータを生成する
請求項２記載の楽音再生装置。
【請求項８】
前記エフェクト制御部は、
前記第１楽音特性データで示される前記第１楽音データの特性、及び前記第２楽音特性データで示される前記第２楽音データの特性に基づき、前記第１エフェクト処理の強さを示す、予め定められた複数の第１パラメータからいずれかを選択し、前記第２エフェクト処理の強さを示す、予め定められた複数の第２パラメータからいずれかを選択するパラメータ選択部を備え、
前記第１エフェクト処理部は、前記パラメータ選択部により選択された前記第１パラメータを用いて前記第１エフェクト処理を行い、
前記第２エフェクト処理部は、前記パラメータ選択部により選択された前記第２パラメータを用いて前記第２エフェクト処理を行う
請求項１〜４のいずれか１項に記載の楽音再生装置。
【請求項９】
前記エフェクト制御部は、
前記第１楽音特性データで示される前記第１楽音データの特性、及び前記第２楽音特性データで示される前記第２楽音データの特性に基づき、前記第１エフェクト処理の強さを示す第１パラメータを生成し、前記第２エフェクト処理の強さを示す第２パラメータを生成するパラメータ生成部と、
前記第１楽音特性データで示される前記第１楽音データの特性、及び前記第２楽音特性データで示される前記第２楽音データの特性に基づき、前記第１エフェクト処理の強さを示す、予め定められた複数の第３パラメータからいずれかを選択し、前記第２エフェクト処理の強さを示す、予め定められた複数の第４パラメータからいずれかを選択するパラメータ選択部とを備え、
前記第１及び前記第２楽音データに対する処理量が、予め定められた閾値より少ない場合、前記第１エフェクト処理部は、前記パラメータ生成部により生成された前記第１パラメータを用いて前記第１エフェクト処理を行い、前記第２エフェクト処理部は、前記パラメータ生成部により生成された前記第２パラメータを用いて前記第２エフェクト処理を行い、
前記処理量が前記閾値より多い場合、前記第１エフェクト処理部は、前記パラメータ選択部により選択された前記第３パラメータを用いて前記第１エフェクト処理を行い、前記第２エフェクト処理部は、前記パラメータ選択部により選択された前記第４パラメータを用いて前記第２エフェクト処理を行う
請求項１〜４のいずれか１項に記載の楽音再生装置。
【請求項１０】
前記楽音再生装置は、さらに、
前記ミキシング処理部により生成された前記ミキシング再生楽音データに第３エフェクト処理を行うことにより第３処理済楽音データを生成する第３エフェクト処理部を備え、
前記エフェクト制御部は、
前記第１及び前記第２エフェクト処理を実行し、かつ、前記第３エフェクト処理を実行しない第１条件で生成される再生楽音データと、前記第３及び前記第２エフェクト処理を実行せず、かつ、前記第３エフェクト処理を実行する第２条件で生成される再生楽音データとが同等である場合、前記第１及び前記第２エフェクト処理部に前記第１及び前記第２エフェクト処理を実行させず、かつ、前記第３エフェクト処理部に前記第３エフェクト処理を実行させ、
前記第１条件で生成される再生楽音データと前記第２条件で生成される再生楽音データとが同等でない場合、前記第１及び前記第２エフェクト処理部に前記第１及び前記第２エフェクト処理を実行させ、かつ、前記第３エフェクト処理部に前記第３エフェクト処理を実行させず、
前記第３エフェクト処理部は、前記第３エフェクト処理を実行しない場合、前記ミキシング楽音データを前記第３処理済楽音データとして出力し、
前記楽音出力部は、前記第３処理済楽音データを前記再生楽音データとして出力する
請求項１〜９のいずれか１項に記載の楽音再生装置。
【請求項１１】
前記楽音再生装置は、さらに、
前記第１楽音データのデコード時の情報である第１デコード情報を取得する第１デコード情報取得部と、
前記第２楽音データのデコード時の情報である第２デコード情報を取得する第２デコード情報取得部とを備え、
前記第１楽音解析部は、前記第１デコード情報を用いて前記第１楽音特性データを生成し、
前記第２楽音解析部は、前記第２デコード情報を用いて前記第２楽音特性データを生成する
請求項４記載の楽音再生装置。
【請求項１２】
前記楽音再生装置は、さらに、
前記第１楽音解析部による前記第１楽音特性データの生成処理の実行の有無と、前記第２楽音解析部による前記第２楽音特性データの生成処理の実行の有無とを制御する楽音解析制御部を備え、
前記エフェクト制御部は、前記第１楽音解析部による前記第１楽音特性データの生成処理が実行されない場合、前記第１エフェクト処理部による前記第１エフェクト処理の実行の有無を維持し、前記第２楽音解析部による前記第２楽音特性データの生成処理が実行されない場合、前記第２エフェクト処理部による前記第２エフェクト処理の実行の有無を維持する
請求項４記載の楽音再生装置。
【請求項１３】
前記楽音解析制御部は、
前記第１楽音解析部による前記第１楽音特性データの生成処理、及び前記第２楽音解析部による前記第２楽音特性データの生成処理を予め定められた周期で実行させるタイム制御部を備える
請求項１２記載の楽音再生装置。
【請求項１４】
前記タイム制御部は、さらに、前記第１楽音特性データで示される前記第１楽音データの特性が変化している期間が予め定められた第１時間より短いか否かを判定し、前記第２楽音特性データで示される前記第２楽音データの特性が変化している期間が予め定められた第２時間より短いか否かを判定し、
前記エフェクト制御部は、前記第１楽音データの特性が変化している期間が前記第１時間より短い場合、当該特性の変化に基づく前記第１エフェクト処理部による前記第１エフェクト処理の実行の有無を維持し、前記第２楽音データの特性が変化している期間が前記第２時間より短い場合、当該特性の変化に基づく前記第２エフェクト処理部による前記第２エフェクト処理の有無を維持する
請求項１３記載の楽音再生装置。
【請求項１５】
前記楽音再生装置は、さらに、
前記第１又は第２楽音データに、予め定められたイベントが発生したことを示すイベント情報を取得するイベント取得部を備え、
前記楽音解析制御部は、前記イベント情報により前記イベントが発生したことが示される場合、前記第１及び前記第２楽音解析部に前記第１及び前記第２楽音特性データを生成させる
請求項１２〜１４のいずれか１項に記載の楽音再生装置。
【請求項１６】
前記イベントは、シーン切替又は楽音切替である
請求項１５に記載の楽音再生装置。
【請求項１７】
前記楽音解析制御部は、
前記第１楽音データがマルチチャネル信号である場合、前記第１楽音解析部にセンターチャネル又はフロントチャネルを指定し、前記第２楽音データがマルチチャネル信号である場合、前記第２楽音解析部にセンターチャネル又はフロントチャネルを指定する解析チャネル指定部を備え、
前記第１楽音解析部は、前記第１楽音データに含まれる、前記解析チャネル指定部により指定されたチャネルの特性を解析することにより前記第１楽音特性データを生成し、
前記第２楽音解析部は、前記第２楽音データに含まれる、前記解析チャネル指定部により指定されたチャネルの特性を解析することにより前記第２楽音特性データを生成する
請求項４記載の楽音再生装置。
【請求項１８】
第１楽音データ及び第２楽音データをミキシングすることにより再生楽音データを生成する楽音再生方法であって、
前記第１楽音データを取得する第１楽音取得ステップと、
前記第２楽音データを取得する第２楽音取得ステップと、
前記第１楽音データに第１エフェクト処理を実行することにより第１処理済楽音データを生成する第１エフェクト処理ステップと、
前記第２楽音データに第２エフェクト処理を実行することにより第２処理済楽音データを生成する第２エフェクト処理ステップと、
前記第１楽音データの特性を示す第１楽音特性データを取得する第１楽音特性取得ステップと、
前記第２楽音データの特性を示す第２楽音特性データを取得する第２楽音特性取得ステップと、
前記第１楽音特性データで示される前記第１楽音データの特性、及び前記第２楽音特性データで示される前記第２楽音データの特性に基づき、前記第１エフェクト処理ステップでの前記第１エフェクト処理の実行の有無を制御し、前記第２エフェクト処理ステップでの前記第２エフェクト処理の実行の有無を制御するエフェクト制御ステップとを含み、
前記第１エフェクト処理ステップは、前記第１エフェクト処理を実行しない場合、前記第１楽音データを前記第１処理済楽音データとして出力し、
前記第２エフェクト処理ステップでは、前記第２エフェクト処理を実行しない場合、前記第２楽音データを前記第２処理済楽音データとして出力し、
前記楽音再生方法は、さらに、
前記第１処理済楽音データと前記第２処理済楽音データとをミキシングすることによりミキシング楽音データを生成するミキシング処理ステップと、
前記ミキシング楽音データを前記再生楽音データとして出力する楽音出力ステップとを含む
楽音再生方法。
【図１】
【図２】
【図３】
【図４】
【図５】
【図６】
【図７】
【図８】
【図９】
【図１０】
【図１１】
【図１２】
【図１３】
【図１４】
【図１５】
【図１６】
【図１７】
【図１８】
【図１９】
【図２０】
【図２１】
【図２】
【図３】
【図４】
【図５】
【図６】
【図７】
【図８】
【図９】
【図１０】
【図１１】
【図１２】
【図１３】
【図１４】
【図１５】
【図１６】
【図１７】
【図１８】
【図１９】
【図２０】
【図２１】
【公開番号】特開２０１１−２５７４５６（Ｐ２０１１−２５７４５６Ａ）
【公開日】平成２３年１２月２２日（２０１１．１２．２２）
【国際特許分類】
【出願番号】特願２０１０−１２９４３５（Ｐ２０１０−１２９４３５）
【出願日】平成２２年６月４日（２０１０．６．４）
【出願人】（０００００５８２１）パナソニック株式会社 (73,050)
【Ｆターム（参考）】
【公開日】平成２３年１２月２２日（２０１１．１２．２２）
【国際特許分類】
【出願日】平成２２年６月４日（２０１０．６．４）
【出願人】（０００００５８２１）パナソニック株式会社 (73,050)
【Ｆターム（参考）】
[ Back to top ]