復号装置、復号方法、符号化装置、符号化方法、及び編集装置
多チャンネル音声信号を含む符号化音声信号を保存する保存手段（１１）と、符号化音声信号を変換して、時間領域の変換ブロックベースの音声信号を生成する変換手段（４０）と、変換ブロックベースの音声信号に、第１の窓関数と音声信号の混合比の積を第２の窓関数として乗算する窓処理手段（４１）と、乗算された変換ブロックベースの音声信号を重ね合わせてそれぞれのチャンネルの音声信号を合成する合成手段（４３）と、チャンネルの間でそれぞれのチャンネルの音声信号をミキシングして、ダウンミキシングされた音声信号を生成するミキシング手段（１４）と、を備える復号装置（１０）が開示されている。さらに、多チャンネル音声信号をダウンミキシングし、ダウンミキシングした音声信号を符号化し、符号化されたダウンミキシングされた音声信号を生成する、符号化装置が開示されている。
【発明の詳細な説明】
【技術分野】
【０００１】
本発明は、音声信号の復号及び符号化に関し、より詳細には、音声信号のダウンミキシングに関する。
【背景技術】
【０００２】
近年、ＡＣ３（Ａｕｄｉｏ Ｃｏｄｅ ｎｕｍｂｅｒ ３）、ＡＴＲＡＣ（Ａｄａｐｔｉｖｅ ＴＲａｎｓｆｏｒｍ Ａｃｏｕｓｔｉｃ Ｃｏｄｉｎｇ）、ＡＡＣ（Ａｄｖａｎｃｅｄ Ａｕｄｉｏ Ｃｏｄｉｎｇ）など、高い音質を実現するものが、音声信号の符号化のスキームとして利用されている。さらに、７．１チャンネル又は５．１チャンネルなどの多チャンネルの音声信号を利用してリアルな音響効果を再構築している。
【０００３】
７．１チャンネル又は５．１チャンネルなどの多チャンネル音声信号がステレオオーディオ機器を用いて再生される際には、多チャンネル音声信号をステレオ音声信号にダウンミキシングする処理が実行される。
【０００４】
例えば、符号化された５．１チャンネル音声信号をダウンミキシングし、ステレオオーディオ機器を用いてダウンミキシングされた音声信号を再生する場合、最初に、復号処理を実行して、左チャンネル、右チャンネル、中央チャンネル、左サラウンドチャンネル、右サラウンドチャンネル用の復号された５チャンネル音声信号を生成する。続いて、ステレオ左チャンネル音声信号を生成するため、左チャンネル、中央チャンネル、左サラウンドチャンネルのそれぞれの音声信号に、混合比係数を乗算して、得られた積を合計する。ステレオ右チャンネル音声信号を生成するため、右チャンネル、中央チャンネル、右サラウンドチャンネルのそれぞれの音声信号に対しても同様に乗算をして、合計する。
【先行技術文献】
【特許文献】
【０００５】
【特許文献１】特開２０００−２７６１９６号公報
【発明の概要】
【発明が解決しようとする課題】
【０００６】
一方で、音声信号を高速で処理する必要性が存在する。符号化された音声信号を復号して、ダウンミキシングする処理はソフトウェアでCPUを用いて実行されることが多いが、このＣＰＵが同時に別の処理を実行している場合、処理速度は低下しやすくなり、多くの時間を要する場合がある。
【０００７】
そこで、本発明は、新規で有用な復号装置、復号方法、符号化装置、符号化方法、及び編集装置を提供することを目的とする。本発明の個別の目的は、音声信号をダウンミキシングする際の乗算処理の数を削減する復号装置、復号方法、符号化装置、符号化方法、及び編集装置を提供することである。
【課題を解決するための手段】
【０００８】
本発明の一態様によると、多チャンネル音声信号を含む符号化音声信号を保存する保存手段と、前記符号化音声信号を変換して、時間領域の変換ブロックベースの音声信号を生成する変換手段と、前記変換ブロックベースの音声信号に、第１の窓関数と前記音声信号の混合比の積を第２の窓関数として乗算する窓処理手段と、乗算された変換ブロックベースの音声信号を重ね合わせて多チャンネル音声信号を合成する合成手段と、チャンネルの間で合成された多チャンネル音声信号をミキシングして、ダウンミキシングされた音声信号を生成するミキシング手段と、を備える復号装置が提供される。
【０００９】
本発明によると、ミキシングされる前に、音声信号は、第１の窓関数と音声信号の混合比との積である第２の窓関数によって乗算される。したがって、ミキシング手段は、多チャンネル音声信号をミキシングする際に混合比の乗算を実行することは不要となる。さらに、窓処理手段が音声信号に乗算する窓関数が、第１の窓関数から第２の窓関数に変更されたとしても、計算量は増加しない。したがって、音声信号のダウンミキシング時における乗算処理の数は減少する。
【００１０】
本発明の他の態様によると、多チャンネル音声信号を含む符号化音声信号を保存するメモリと、ＣＰＵと、を備え、前記ＣＰＵは、前記符号化音声信号を変換して、時間領域の変換ブロックベースの音声信号を生成し、前記変換ブロックベースの音声信号に、第１の窓関数と前記音声信号の混合比との積を第２の窓関数として乗算し、乗算された変換ブロックベースの音声信号を重ね合わせて多チャンネル音声信号を合成し、チャンネルの間で合成された多チャンネル音声信号をミキシングして、ダウンミキシングされた音声信号を生成するように構成されていることを特徴とする、復号装置が提供される。
【００１１】
本発明によると、上述の復号装置で説明した発明と同様の有利な効果を得ることができる。
【００１２】
本発明の他の態様によると、多チャンネル音声信号を保存する保存手段と、前記多チャンネル音声信号をチャンネルの間でミキシングしてダウンミキシングされた音声信号を生成するミキシング手段と、前記ダウンミキシングされた音声信号を分離して変換ブロックベースの音声信号を生成する分離手段と、前記変換ブロックベースの音声信号に第１の窓関数と前記音声信号の混合比の積を第２の窓関数として乗算する窓処理手段と、乗算された音声信号を変換して符号化音声信号を生成する変換手段と、を備える符号化装置が提供される。
【００１３】
本発明によると、ミキシングされた音声信号に、第１の窓関数と音声信号の混合比との積を第２の窓関数として乗算する。したがって、ミキシング手段は、多チャンネル音声信号のミキシング時に、複数のチャンネルの少なくとも一部に対して混合比の乗算を実行することは不要となる。さらに、窓処理手段が音声信号に乗算する窓関数が、第１の窓関数から第２の窓関数に変更されたとしても、計算量は増加しない。したがって、音声信号のダウンミキシング時における乗算処理の数は減少する。
【００１４】
本発明の他の態様によると、多チャンネル音声信号を保存するメモリと、ＣＰＵとを、備え、前記ＣＰＵは、前記多チャンネル音声信号をチャンネルの間でミキシングしてダウンミキシングされた音声信号を生成し、前記ダウンミキシングされた音声信号を分離して変換ブロックベースの音声信号を生成し、前記変換ブロックベースの音声信号に第１の窓関数と前記音声信号の混合比の積を第２の窓関数として乗算し、乗算された音声信号を変換して符号化音声信号を生成するように構成されている、符号化装置が提供される。
【００１５】
本発明によると、上述の符号化装置で説明した発明と同様の有利な効果を得ることができる。
【００１６】
本発明の他の態様によると、多チャンネル音声信号を含む符号化音声信号を変換して、時間領域の変換ブロックベースの音声信号を生成するステップと、前記変換ブロックベースの音声信号に、第１の窓関数と前記音声信号の混合比の積を第２の窓関数として乗算するステップと、乗算された変換ブロックベースの音声信号を重ね合わせて多チャンネル音声信号を合成するステップと、チャンネルの間で合成された多チャンネル音声信号をミキシングして、ダウンミキシングされた音声信号を生成するステップと、を含む復号方法が提供される。
【００１７】
本発明によると、ミキシングされる前に、音声信号は、第１の窓関数と音声信号の混合比との積である第２の窓関数によって乗算される。したがって、チャンネルの間の乗算された音声信号をミキシングしてミキシングされた音声信号を生成する際に、混合比の乗算を実行することは不要となる。さらに、音声信号に乗算する窓関数が、第１の窓関数から第２の窓関数に変更されたとしても、計算量は増加しない。したがって、音声信号のダウンミキシング時における乗算処理の数は減少する。
【００１８】
本発明の他の態様によると、多チャンネル音声信号をチャンネルの間でミキシングしてダウンミキシングされた音声信号を生成するステップと、前記ダウンミキシングされた音声信号を分離して変換ブロックベースの音声信号を生成するステップと、前記変換ブロックベースの音声信号に第１の窓関数と前記音声信号の混合比の積を第２の窓関数として乗算するステップと、乗算された音声信号を変換して符号化音声信号を生成するステップと、を含む、符号化方法が提供される。
【００１９】
本発明によると、ミキシングされた音声信号に、第１の窓関数と音声信号の混合比との積を第２の窓関数として乗算する。したがって、多チャンネル音声信号のミキシング時に、複数のチャンネルの少なくとも一部に対して混合比の乗算を実行することは不要となる。さらに、音声信号に乗算する窓関数が、第１の窓関数から第２の窓関数に変更されたとしても、計算量は増加しない。したがって、音声信号のダウンミキシング時における乗算処理の数は減少する。
【発明の効果】
【００２０】
本発明によると、音声信号のダウンミキシング時における乗算処理の数を削減する、復号装置、復号方法、符号化装置、符号化方法、及び編集装置を提供することができる。
【図面の簡単な説明】
【００２１】
【図１】音声信号のダウンミキシングに関連する構成を説明するブロック図である。
【図２】音声信号の復号処理のフローを説明する図である。
【図３】本発明の第１の実施の形態に係る復号装置の構成を説明するブロック図である。
【図４】ストリームの構造を説明する図である。
【図５】チャンネル復号器の構成を説明する図である。
【図６Ａ】窓関数保存部に保存されたスケール窓関数を説明する図である。
【図６Ｂ】窓関数保存部に保存されたスケール窓関数を説明する図である。
【図６Ｃ】窓関数保存部に保存されたスケール窓関数を説明する図である。
【図７】第１の実施の形態に係る復号装置の機能構成図である。
【図８】第１の実施の形態に係る復号装置を説明するフローチャートである。
【図９】音声信号の符号化処理のフローを説明する図である。
【図１０】本発明の第２の実施の形態に係る符号化装置の構成を説明するブロック図である。
【図１１】チャンネル符号化器の構成を説明するブロック図である。
【図１２】第２の実施の形態に係る符号化装置のミキシング部をベースとした、ミキシング部の構成を説明するブロック図である。
【図１３】第２の実施の形態に係る符号化装置の機能構成図である。
【図１４】本発明の第２の実施の形態に係る符号化方法を説明するフローチャートで０ある。
【図１５】本発明の第３の実施の形態に係る編集装置のハードウェア構成を説明するブロック図である。
【図１６】第３の実施の形態に係る編集装置の機能構成図である。
【図１７】編集装置の編集画面の一例を説明する図である。
【図１８】本発明の第３の実施の形態に係る編集装置を説明するフローチャートである。
【発明を実施するための形態】
【００２２】
以下、本発明の実施の形態について図面を参照して説明する。
【００２３】
［第１の実施の形態］
本発明の第１の実施の形態に係る復号装置について、多チャンネル音声信号含む符号化音声信号をダウンミキシングされた音声信号に復号する復号装置及び復号方法を例に説明する。第１の実施の形態では、例示としてＡＡＣを用いるが、本発明はＡＡＣに限定されないことは言うまでもない。
【００２４】
＜ダウンミキシング＞
図１は、５．１チャンネル音声信号のダウンミキシングに関連する構成を説明するブロック図である。
【００２５】
図１に示すように、ダウンミキシングは乗算器７００ａ〜７００ｅと、加算器７０１ａ、７０１ｂによって実行される。
【００２６】
乗算器７００ａは、左サラウンドチャンネルの音声信号ＬＳ０をダウンミックス係数δで乗算する。乗算器７００ｂは、左チャンネルの音声信号Ｌ０をダウンミックス係数αで乗算する。乗算器７００ｃは、中央チャンネルの音声信号Ｃ０をダウンミックス係数βで乗算する。ダウンミックス係数α、β、δは、それぞれのチャンネルの音声信号の混合比である。
【００２７】
加算器７０１は、乗算器７００ａから出力される音声信号と、乗算器７００ｂから出力される音声信号と、乗算器７００ｃから出力される音声信号とを加算し、ダウンミキシングされた左チャンネル音声信号ＬＤＭ０を生成する。同様に、右チャンネルについても、ダウンミキシングされた右チャンネル音声信号ＲＤＭ０を生成する。
【００２８】
＜音声信号の復号処理＞
図２は、音声信号の復号処理のフローを説明する図である。
【００２９】
図２に示すように、復号処理では、ＭＤＣＴ（修正離散コサイン変換）係数４４０が、符号化音声信号（符号化された信号）を含むストリームをエントロピー復号し、逆量子化することによって再生される。ＭＤＣＴ係数４４０は、変換（ＭＤＣＴ）ブロックベースのデータで形成される。変換ブロックは所定長を有する。再生されたＭＤＣＴ係数４４０は、ＩＭＤＣＴ（逆ＭＤＣＴ）により時間領域の変換ブロックベースの音声信号に変換される。窓関数４４１によって、変換ブロックベースの音声信号を乗算して得られた信号４４２を重ね合わせて加算することによって、復号処理された音声信号４４３が生成される。
【００３０】
＜復号装置のハードウェア構成＞
図３は、本発明の第１の実施の形態に係る復号装置の構成を説明するブロック図である。
【００３１】
図３に示すように、復号装置１０は、符号化された５．１チャンネル音声信号（符号化された信号）を含むストリームを保存する信号保存部１１と、ストリームから符号化された５．１チャンネル音声信号を抽出する多重分離部１２と、それぞれのチャンネルの音声信号に復号処理を実行するチャンネル復号器１３ａ、１３ｂ、１３ｃ、１３ｄ、１３ｅと、復号された５チャンネル音声信号をミキシングして、２チャンネル音声信号、即ち、ダウンミキシングされたステレオ音声信号を生成するミキシング部１４とを備える。第１の実施の形態に係る復号処理は、ＡＡＣに基づくエントロピー復号処理である。説明を容易にするため、本明細書のそれぞれの実施の形態では、低周波エフェクト（ＬＦＥ）チャンネルについての説明は省略する。
【００３２】
信号保存部１１から出力されるストリームＳは、符号化された５．１チャンネル音声信号を含む。
【００３３】
図４は、ストリームの構造を説明する図である。
【００３４】
図４に示すように、ここに示すストリームの構造は、ＡＤＴＳ（Ａｕｄｉｏ Ｄａｔａ Ｔｒａｎｓｐｏｒｔ Ｓｔｒｅａｍ）と呼ばれるストリームフォーマットを有する１フレーム（１０２４サンプルに相当する）の構造である。このストリームは、ヘッダ４５０と、ＣＲＣ４５１から始まり、続く符号化されたＡＡＣデータを含む。
【００３５】
ヘッダ４５０は、同期ワード、プロファイル、サンプリング周波数、チャンネル構成、著作権情報、デコーダバッファ満杯量（ｄｅｃｏｄｅｒ ｂｕｆｆｅｒ ｆｕｌｌｎｅｓｓ）、１フレーム長（バイト数）などを含む。ＣＲＣ４５１は、ヘッダ４５０と符号化データのエラーを検出するチェックサムである。ＳＣＥ（Ｓｉｎｇｌｅ Ｃｈａｎｎｅｌ Ｅｌｅｍｅｎｔ）４５２は、符号化された中央チャンネル音声信号であり、使用した窓関数と量子化などの情報に加えて、エントロピー符号化されたＭＤＣＴ係数を含む。ＣＰＥ（Ｃｈａｎｎｅｌ Ｐａｉｒ Ｅｌｅｍｅｎｔ）４５３、４５４は、符号化されたステレオ音声信号であり、ジョイントステレオ情報に加えて、それぞれのチャンネルの符号化情報を含む。ジョイントステレオ情報は、Ｍ／Ｓ（Ｍｉｄ／Ｓｉｄｅ）ステレオを使用するか否かを表す情報であり、Ｍ／Ｓステレオを使用するとした場合、Ｍ／Ｓステレオを使用する周波数帯を示す。符号化情報は、使用した窓関数、量子化、符号化されたＭＤＣＴ係数などに関する情報を含む。
【００３６】
ジョイントステレオを使用する場合、ステレオには同一の窓関数を使用する必要がある。この場合、使用した窓関数の情報は、ＣＰＥ４５３、４５４の一つに結合される。ＣＰＥ４５３は左チャンネルと右チャンネルに対応し、ＣＰＥ４５４は左サラウンドチャンネルと右サラウンドチャンネルに対応する。ＬＦＥ（ＬＦＥ Ｃｈａｎｎｅｌ Ｅｌｅｍｅｎｔ）４５５は、ＬＦＥチャンネルの符号化音声信号であり、ＳＣＥ４５２とほぼ同様の情報を含む。しかしながら、使用可能な窓関数、又は、使用可能なＭＤＣＴ係数の範囲には制限がある。ＦＩＬ（Ｆｉｌｌ Ｅｌｅｍｅｎｔ）４５６は、デコーダバッファのオーバーフローを回避するために必要に応じて挿入されるパッディングである。
【００３７】
多重分離部１２は、上述の構造を有するストリームから、それぞれのチャンネル（符号化された信号ＬＳｌＯ、ＬｌＯ、ＣｌＯ、ＲｌＯ、ＲＳｌＯ）の符号化音声信号を抽出し、それぞれのチャンネルの音声信号を、対応するそれぞれのチャンネルのチャンネル復号器１３ａ、１３ｂ、１３ｃ、１３ｄ、１３ｅに出力する。
【００３８】
チャンネル復号器１３ａは、左サラウンドチャンネルの音声信号を符号化して得た符号化された信号ＬＳ１０の復号処理を実行する。チャンネル復号器１３ｂは、左チャンネルの音声信号を符号化して得た符号化された信号Ｌ１０の復号処理を実行する。チャンネル復号器１３ｃは、中央チャンネルの音声信号を符号化して得た符号化された信号Ｃ１０の復号処理を実行する。チャンネル復号器１３ｄは、右チャンネルの音声信号を符号化して得た符号化された信号Ｒ１０の復号処理を実行する。チャンネル復号器１３ｅは、右サラウンドチャンネルの音声信号を符号化して得た符号化された信号ＲＳ１０の復号処理を実行する。
【００３９】
ミキシング部１４は、加算器３０ａ、３０ｂを含む。加算器３０ａは、チャンネル復号器１３ａによって処理された音声信号ＬＳ１１と、チャンネル復号器１３ｂによって処理された音声信号Ｌ１１と、チャンネル復号器１３ｃによって処理された音声信号Ｃ１１と、を加算して、ダウンミキシングされた左チャンネル音声信号ＬＤＭ１０を生成する。加算器３０ｂは、チャンネル復号器１３ｃによって処理された音声信号Ｃ１１と、チャンネル復号器１３ｄによって処理された音声信号Ｒ１１と、チャンネル復号器１３ｅによって処理された音声信号ＲＳ１１と、を加算して、ダウンミキシングされた右チャンネル音声信号ＲＤＭ１０を生成する。
【００４０】
図５は、チャンネル復号器の構成を説明するブロック図である。図３に示すチャンネル復号器１３ａ、１３ｂ、１３ｃ、１３ｄ、１３ｅのそれぞれの構成は基本的に同じであるので、チャンネル復号器１３ａの構成を図５に示す。
【００４１】
図５に示すように、チャンネル復号器１３ａは、変換部４０と、窓処理部４１と、窓関数保存部４２と、変換ブロック合成部４３とを含む。変換部４０は、エントロピー復号部４０ａと、逆量子化部４０ｂと、ＩＭＤＣＴ部４０ｃとを含む。それぞれの構成部によって実行される処理は、多重分離部１２から出力される制御信号によって制御される。
【００４２】
エントロピー復号部４０ａは、エントロピー復号により符号化音声信号（ビットストリーム）を復号して量子化ＭＤＣＴ係数を生成する。逆量子化部４０ｂは、エントロピー復号部４０ａから出力された量子化ＭＤＣＴ係数を逆量子化して、逆量子化ＭＤＣＴ係数を生成する。ＩＭＤＣＴ部４０ｃは、逆量子化部４０ｂから出力されたＭＤＣＴ係数を、ＩＭＤＣＴにより時間領域の音声信号に変換する。数式（１）は、ＩＭＤＣＴの変換を表す。
【数１】
【００４３】
数式（１）において、Ｎは、窓長（サンプル数）を表し、ｓｐｅｃ［ｉ］［ｋ］は、ＭＤＣＴ係数を表す。ｉは、変換ブロックのインデックスを表し、ｋは、ＭＤＣＴ係数のインデックスを表し、Ｘｉ，ｎは、時間領域の音声信号を表し、ｎは、時間領域の音声信号のインデックスを表し、ｎ０は、（Ｎ／２＋１）／２を表す。
【００４４】
窓処理部４１は、スケール窓関数（Ｓｃａｌｅｄ Ｗｉｎｄｏｗ Ｆｕｎｃｔｉｏｎ）により、変換部４０から出力される時間領域の音声信号を乗算する。スケール窓関数とは、音声信号の混合比であるダウンミックス係数と、正規化窓関数との積である。窓関数保存部４２は、窓処理部４１が音声信号に乗算する窓関数を保存して、該窓関数を窓処理部４１に出力する。
【００４５】
図６Ａ〜６Ｃは、窓関数保存部４２に保存されたスケール窓関数を説明する図である。図６Ａは、左チャンネルと右チャンネルの音声信号に乗算されるスケール窓関数を示す。図６Ｂは、中央チャンネルの音声信号に乗算されるスケール窓関数を示す。図６Ｃは、左サラウンドチャンネルと右サラウンドチャンネルの音声信号に乗算されるスケール窓関数を示す。
【００４６】
図６Ａに示すように、Ｎ個の離散値αＷ０、αＷ１、αＷ２、・・・、αＷＮ−１が、左チャンネル及び右チャンネルの音声信号に乗算するスケール窓関数として、窓関数保存部４２（図５）に準備されている。Ｗｍ（ｍ＝０、１、２、・・・、Ｎ−１）は、ダウンミックス係数を含まない、正規化窓関数の値である。αＷｍ（ｍ＝０、１、２、・・・、Ｎ−１）は、音声信号Ｘｉ、ｍに乗算する窓関数の値であり、インデックスｍに対応する窓関数値Ｗｍにダウンミックス係数αを乗算することによって得られる。即ち、αＷ０、αＷ１、αＷ２、・・・、αＷＮ−１は、窓関数値Ｗ０、Ｗ１、Ｗ２、・・・、ＷＮ−１をα倍することによって得られた値である。
【００４７】
窓関数保存部４２は、Ｎ個の値全てを保存する必要はなく、窓関数保存部４２は、窓関数の対称性を利用して、Ｎ／２個の値のみを保存してもよい。さらに、窓関数は、全てのチャンネルに必要とされるのではなく、スケール窓関数は、同一の倍率を有するチャンネルによって共有されてもよい。
【００４８】
窓処理部４１は、図６Ａに示すように、変換部４０から出力される音声信号を形成するＮ個のデータの各々に、窓関数値を乗算する。即ち、窓処理部４１は、数式（１）によって表されるデータｘｉ、０に窓関数値αＷ０を乗算し、データｘｉ、１に窓関数値αＷ１を乗算する。他の窓関数値に対しても同様である。ＡＡＣでは、窓長の異なる複数種類の窓関数が組み合わされて使用されるため、Ｎの値は窓関数の種類に応じて変化することに留意されたい。
【００４９】
さらに、図６Ｂに示すように、Ｎ個の離散値βＷ０、βＷ１、βＷ２、・・・、βＷＮ−１が、中央チャンネルの音声信号に乗算するスケール窓関数として、窓関数保存部４２（図５）に準備されている。
【００５０】
さらに、図６Ｃに示すように、Ｎ個の離散値δＷ０、δＷ１、δＷ２、・・・、δＷＮ−１が、左サラウンドチャンネル及び右サラウンドチャンネルの音声信号に乗算するスケール窓関数として、窓関数保存部４２（図５）に準備されている。
【００５１】
図６Ｂ及び図６Ｃに示すそれぞれの値の定義については、図６Ａに示すそれぞれの値の定義と同様である。さらに、図６Ｂ及び図６Ｃのそれぞれの値に対する窓処理部４１の処理の詳細については、図６Ａに示すそれぞれの値に対する窓処理部４１の処理と同様である。
【００５２】
以下の数式（２）は、ダウンミックス係数αの代表的な数式である。数式（３）は、ダウンミックス係数β及びδの代表的な数式である。
【数２】
【数３】
【００５３】
図６Ａ〜図６Ｃに示す値Ｗ０、Ｗ１、Ｗ２、・・・、ＷＮ−１を算出するために、様々な関数を窓関数として使用することができる。例えば、正弦（ｓｉｎｅ）窓を使用することができる。以下に示す数式（４）及び（５）は、正弦窓関数である。
【数４】
【数５】
【００５４】
上述の正弦窓の代わりに、ＫＢＤ窓（カイザーベッセル派生窓）を使用することもできる。
【００５５】
変換ブロック合成部４３は、窓処理部４１から出力された変換ブロックベースの音声信号を重ね合わせて、復号処理が行われた音声信号を合成する。以下の数式（６）は、変換ブロックベースの音声信号の重ね合わせを表す。
【数６】
【００５６】
数式（６）において、ｉは、変換ブロックのインデックスを表す。ｎは、変換ブロックにおける音声信号のインデックスを表す。ｏｕｔｉ、ｎは、重ね合わされた音声信号を表す。ｚは、窓関数によって乗算された変換ブロックベースの音声信号を表し、ｚｉ、ｎは、スケール窓関数ｗ（ｎ）と時間領域の音声信号ｘｉ、ｎとを用いて以下の数式（７）によって表される
【数７】
【００５７】
数式（６）によると、音声信号ｏｕｔｉ、ｎは、変換ブロックｉの前部半分の音声信号を、変換ブロックｉの直前の変換ブロック変換ブロックｉ−１の後部半分に加えて生成している。長い窓を使用する場合、数式（６）によって表されるｏｕｔｉ、ｎは、１フレームに相当する。さらに、短い窓を使用する場合、８つの変換ブロックを重ね合わせて得られる音声信号が１フレームに相当する。
【００５８】
上述のように、チャンネル復号器１３ａ、１３ｂ、１３ｃ、１３ｄ、１３ｅにより生成されるそれぞれのチャンネルの音声信号は、ミキシング部１４によってミキシングされ、ダウンミキシングされる。チャンネル復号器１３ａ、１３ｂ、１３ｃ、１３ｄ、１３ｅの処理によって、ダウンミックス係数の乗算が行われるため、ミキシング部１４は、ダウンミックス係数を掛け合わせない。このようにして、音声信号のダウンミキシングが完了する。
【００５９】
第１の実施の形態の復号装置によると、ダウンミックス係数によって乗算された窓関数は、ミキシング部１４によって処理されていない音声信号に乗算される。したがって、ミキシング部１４は、ダウンミックス係数を乗算する必要はない。ダウンミックス係数の乗算を実行しないので、音声信号をダウンミキシングする際の乗算処理の数を減らすことができ、結果として音声信号の処理が高速となる。さらに、従来のダウンミキシングにおいてダウンミックス係数の乗算に必要とされた乗算器を省くことができるので、回路の規模及び電力消費を削減できる。
【００６０】
＜復号装置の機能構成＞
上述の復号装置１０の機能は、プログラムを使用したソフトウェア処理として具現化してもよい。
【００６１】
図７は、第１の実施の形態に係る復号装置の機能構成図である。
【００６２】
図７に示すように、ＣＰＵ２００は、メモリ２１０に展開されたアプリケーションプログラムによって変換部２０１、窓処理部２０２、変換ブロック合成部２０３、ミキシング部２０４の各機能ブロックを構成する。変換部２０１の機能は、図５に示す変換部４０の機能と同様である。窓処理部２０２の機能は、図５に示す窓処理部４１の機能と同様である。変換ブロック合成部２０３の機能は、図５に示す変換ブロック合成部４３の機能と同様である。ミキシング部２０４の機能は、図３に示すミキシング部１４の機能と同様である。
【００６３】
メモリ２１０は、信号保存部２１１と窓関数保存部２１２の機能ブロックを構成する。信号保存部２１１の機能は、図３に示す信号保存部１１の機能と同様である。窓関数保存部２１２の機能は、図３に示す窓関数保存部４２の機能と同様である。メモリ２１０は、ＲＯＭ（Ｒｅａｄ Ｏｎｌｙ Ｍｅｍｏｒｙ）、ＲＡＭ（Ｒａｎｄｏｍ Ａｃｃｅｓｓ Ｍｅｍｏｒｙ）の何れか一つ、あるいは、両方を含んでもよい。本実施の形態では、メモリ２１０はＲＯＭとＲＡＭの両方を含むものとして説明を進める。メモリ２１０は、ハードディスクドライブ（ＨＤＤ）、半導体メモリ、磁気テープドライブ、光ディスクドライブなどの記録媒体を含む装置であってもよい。ＣＰＵ２００によって実行されるアプリケーションプログラムは、ＲＯＭ又はＲＡＭに保存してもよく、あるいは、上述の記録媒体を有するＨＤＤなどに保存してもよい。
【００６４】
音声信号の復号機能は、上述のそれぞれの機能ブロックによって具現化される。ＣＰＵ２００によって処理される（符号化信号を含む）音声信号は、信号保存部２１１に保存される。ＣＰＵ２００は、復号処理を行う符号化信号を信号保存部２１１から読み出し、変換部２０１を用いて符号化音声信号を変換して、時間領域の変換ブロックベースの音声信号を生成する。ここで、変換ブロックは所定長を有するものとする。
【００６５】
さらに、ＣＰＵ２００は、窓処理部２０２を用いて窓関数を時間領域の音声信号に乗算する処理を実行する。この処理において、ＣＰＵ２００は、音声信号に乗算する窓関数を窓関数保存部２１２から読み出す。さらに、ＣＰＵ２００は、変換ブロックベースの音声信号を重ね合わせて、変換ブロック合成部２０３を用いて復号処理を行う音声信号を合成する処理を実行する。
【００６６】
さらに、ＣＰＵ２００は、ミキシング部２０４を用いて音声信号をミキシングする処理を実行する。ダウンミキシングされた音声信号は、信号保存部２１１に保存される。
【００６７】
＜復号方法＞
図８は、本発明の第１の実施の形態に係る復号方法を説明するフローチャートである。本発明の第１の実施の形態に係る復号方法について図８を参照して、５．１チャンネル音声信号を復号してダウンミキシングする例を用いて説明する。
【００６８】
最初にステップＳ１００において、ＣＰＵ２００は、左サラウンドチャンネル（ＬＳ）、左チャンネル（Ｌ）、中央チャンネル（Ｃ）、右チャンネル（Ｒ）、右サラウンドチャンネル（ＲＳ）を含む、それぞれのチャンネルの音声信号を符号化して得られた符号化信号を時間領域の変換ブロックベースの音声信号に変換する。ここで、変換ブロックは所定長を有するものとする。この変換において、エントロピー復号、逆量子化、ＩＭＤＣＴを含む各処理が実行される。
【００６９】
続いて、ステップＳ１１０において、ＣＰＵ２００は、窓関数保存部２１２からスケール窓関数を読み出し、これらの窓関数を時間領域の変換ブロックベースの音声信号に乗算をする。上述のように、スケール窓関数とは、正規化窓関数と音声信号の混合比であるダウンミックス係数の積である。さらに、一例として、スケール窓関数は、それぞれのチャンネル毎に用意されており、それぞれのチャンネルに対応する窓関数がそれぞれのチャンネルの音声信号に乗算される。
【００７０】
続けて、ステップＳ１２０において、ＣＰＵ２００は、ステップＳ１１０で処理された変換ブロックベースの音声信号を重ね合わせ、復号処理を実行した音声信号を合成する。復号処理を実行した音声信号をステップＳ１１０においてダウンミックス係数に乗算していることに留意されたい。
【００７１】
続いて、ステップＳ１３０において、ＣＰＵ２００は、ステップＳ１２０において復号処理が実行された５チャンネル音声信号をミキシングして、ダウンミキシングされた左チャンネル（ＬＤＭ）音声信号とダウンミキシングされた右チャンネル音声信号（ＲＤＭ）音声信号を生成する。
【００７２】
具体的には、ＣＰＵ２００は、ステップＳ１２０において合成された左サラウンドチャンネル（ＬＳ）音声信号と、ステップＳ１２０において合成された左チャンネル（Ｌ）音声信号と、ステップＳ１２０において合成された中央チャンネル（Ｃ）音声信号とを加算して、ダウンミキシングされた左チャンネル（ＬＤＭ）音声信号を生成する。さらに、ＣＰＵ２００は、ステップＳ１２０において合成された中央チャンネル（Ｃ）音声信号と、右チャンネル（Ｒ）音声信号と、ステップＳ１２０において合成された右サラウンドチャンネル（ＲＳ）音声信号と加算して、ダウンミキシングされた右チャンネル（ＲＤＭ）音声信号を生成する。従来技術とは事なり、このステップＳ１３０においては、加算処理のみを実行し、ダウンミックス係数の乗算処理を実行しないことが重要である。
【００７３】
第１の実施の形態の復号方法によると、ステップＳ１１０においてダウンミックス係数によって乗算された窓関数は、まだミキシングされていない音声信号に乗算される。したがって、ステップＳ１３０では、ダウンミックス係数の乗算を実行することは不要となる。ダウンミックス係数の乗算を実行しないので、ステップＳ１３０の音声信号をダウンミキシングする際の乗算処理の数を減らすことができ、結果として、音声信号の処理が高速となる。
【００７４】
第１の実施の形態に係る窓処理は、ＭＤＣＴブロックの長さに依存することなく、適用可能であるため、処理を簡易化することができる。例えば、ＡＡＣには２つの長さの窓関数（長い窓長と短い窓長）が存在するが、これらの窓長のいずれか一つを使用した場合であっても、各チャンネル毎に長い窓長と短い窓長を任意に組み合わせた場合であっても、第１の実施の形態に係る窓処理は適用可能であるので、処理を簡易化することができる。さらに、第２の実施の形態で説明するが、第１の実施の形態に係る窓処理と同一の窓処理を符号化処理に適用することができる。
【００７５】
第１の実施の形態の修正例として、ＭＳステレオを左チャンネルと右チャンネルに行う場合、即ち、和信号と差信号によって左チャンネルと右チャンネルの音声信号を構築する場合、ＭＳステレオ処理は、逆量子化処理の後、又は、ＩＭＤＣＴ処理の前に実行して、和信号と差信号から左チャンネルと右チャンネルの音声信号を生成してもよい。ＭＳステレオは、左サラウンドチャンネル及び右サラウンドチャンネルに使用してもよい。
【００７６】
さらに、第１の実施の形態の別の修正例として、[−１．０、１．０]の範囲を有する復号信号を、所定のビット精度を有するように、所定のゲイン係数を乗算して拡大又は縮小し、復号装置からスケール信号（Ｓｃａｌｅｄ Ｓｉｇｎａｌ）を出力し、ゲイン係数で乗算された窓関数を復号時に信号に乗算する場合について説明する。例えば、１６ビット信号を復号装置から出力する場合、ゲイン係数は２１５に設定する。こうすることにより、復号された後にゲイン係数によって信号を乗算する必要はないので、上述と同様の有利な効果を得ることができる。
【００７７】
さらに、第１の実施の形態の別の修正例として、ダウンミックス係数によって乗算された基底関数を、ＩＭＤＣＴ実行時にＭＤＣＴ係数に乗算してもよい。こうすることによって、ダウンミキシング時にダウンミックス係数の乗算を実行することが不要となるので、上述と同様の有利な効果を得ることができる。
【００７８】
[第２の実施の形態]
本発明の第２の実施の形態に係る符号化装置について、多チャンネル音声信号からダウンミキシングされた符号化音声信号を生成する符号化装置及び符号化方法を例に説明する。第２の実施の形態では、例示としてＡＡＣを用いるが、本発明はＡＡＣに限定されないことは言うまでもない。
【００７９】
＜音声信号の符号化処理＞
図９は、音声信号の符号化処理のフローを説明する図である。
【００８０】
図９に示すように、符号化処理において、一定の間隔を有する変換ブロック４６１が、処理対象の音声信号４６０から切り取られ（分離され）、窓関数４６２によって乗算される。同時に、音声信号４６０のサンプルされた値が、予め算出されている窓関数の値によって乗算される。それぞれの変換ブロックは他の変換ブロックに対して重ね合わされるように設定される。
【００８１】
窓関数４６２によって乗算された時間領域の音声信号４６３は、ＭＤＣＴによってＭＤＣＴ係数４６４に変換される。ＭＤＣＴ係数４６４は、量子化され、エントロピー符号化されて符号化音声信号（符号化信号）を含むストリームを生成する。
【００８２】
＜符号化装置のハードウェア構成＞
図１０は、本発明の第２の実施の形態に係る符号化装置の構成を説明する図である。
【００８３】
図１０に示すように、符号化装置２０は、５．１チャンネル音声信号を保存する信号保存部２１と、それぞれのチャンネルの音声信号をミキシングして２チャンネルのダウンミキシングされたステレオ音声信号を生成するミキシング部２２と、音声信号の符号化処理を実行するチャンネル符号化器２３ａ、２３ｂと、２チャンネル符号化音声信号を多重化して、ストリームを生成する多重化部２４と、を含む。第２の実施の形態に係る符号化処理は、ＡＡＣに基づくエントロピー符号化処理である。
【００８４】
ミキシング部２２は、乗算器５０ａ、５０ｃ、５０ｅと、加算器５１ａ、５１ｂとを有する。乗算器５０ａは、所定の係数δ／αで左サラウンドチャンネル音声信号ＬＳ２０を乗算する。乗算器５０ｃは、所定の係数β／αで中央チャンネル音声信号Ｃ２０を乗算する。乗算器５０ｅは、所定の係数δ／αで右サラウンドチャンネル音声信号ＲＳ２０を乗算する。
【００８５】
加算器５１ａは、乗算器５０ａから出力される音声信号ＬＳ２１と、信号保存部２１から出力された左チャンネル音声信号Ｌ２０と、乗算器５０ｃから出力される音声信号Ｃ２１とを加算して、ダウンミキシングされた左チャンネル音声信号ＬＤＭ２０を生成する。加算器５１ｂは、乗算器５０ｃから出力される音声信号Ｃ２１と、信号保存部２１から出力された右チャンネル音声信号Ｒ２０と、乗算器５０ｅから出力される音声信号ＲＳ２１とを加算して、ダウンミキシングされた右チャンネル音声信号ＲＤＭ２０を生成する。
【００８６】
チャンネル符号化器２３ａは、左チャンネル音声信号ＬＤＭ２０の符号化処理を実行する。チャンネル符号化器２３ｂは、右チャンネル音声信号ＲＤＭ２０の符号化処理を実行する。
【００８７】
多重化部２４は、チャンネル符号化器２３から出力された音声信号ＬＤＭ３２と、チャンネル符号化器２３ｂから出力された音声信号ＲＤＭ２１とを多重化してストリームＳを生成する。
【００８８】
図１１は、チャンネル符号化器の構成を説明するブロック図である。図１０に示すそれぞれのチャンネル符号化器２３ａ、２３ｂは基本的に同様であるので、チャンネル符号化器２３ａの構成を図１１を参照して説明する
【００８９】
図１１に示すように、チャンネル符号化器２３は、変換ブロック分離部６０と、窓処理部６１と、窓関数保存部６２と、変換部６３とを含む。
【００９０】
変換ブロック分離部６０は、入力された音声信号を変換ブロックベースの音声信号に分離する。変換ブロックは所定長を有する。
【００９１】
窓処理部６１は、変換ブロック分離部６０から出力された音声信号を、スケール窓関数によって乗算する。スケール窓関数とは、音声信号の混合比を決定するダウンミックス係数と正規化窓関数との積である。第１の実施の形態と同様に、ＫＢＤ窓又は正弦窓など、様々な関数を窓関数として使用することができる。窓関数保存部６２は、窓処理部６１２が音声信号に乗算する窓関数を保存し、当該窓関数を窓処理部６１に出力する。
【００９２】
変換部６３は、ＭＤＣＴ部６３ａと、量子化部６３ｂと、エントロピー符号化部６３ｃとを含む。
【００９３】
ＭＤＣＴ部６３ａは、窓処理部６１から出力される時間領域の音声信号をＭＤＣＴによってＭＤＣＴ係数に変換する。数式（８）はＭＤＣＴ変換を表す。
【数８】
【００９４】
数式（８）において、Ｎは、窓長（サンプル数）を表し、ｚｉ、ｎは、窓関数を掛け合わせた時間領域の音声信号を表す。ｉは、変換ブロックのインデックスを表す。ｎは時間領域の音声信号のインデックスを表す。Ｘｉ，ｋは、ＭＤＣＴ係数を表す。ｋは、ＭＤＣＴ係数のインデックスを表す。ｎ０は、（Ｎ／２＋１）／２を表す。
【００９５】
量子化部６３ｂは、ＭＤＣＴ部６３ａから出力されたＭＤＣＴ係数を量子化して、量子化ＭＤＣＴ係数を生成する。エントロピー符号化部６３ｃは、量子化ＭＤＣＴ係数をエントロピー符号化によって符号化して符号化音声信号（ビットストリーム）を生成する。
【００９６】
図１２は、本発明の第２の実施の形態に係る符号化装置のミキシング部をベースとするミキシング部の構成を説明するブロック図である。
【００９７】
図１２に示すように、ミキシング部６５は、図１０に示すミキシング部２２に相当する。ミキシング部６５は、乗算器５０ａ、５０ｃ、５０ｅと、加算器５１ａ、５１ｂとを有する。乗算器５０ａは、所定の係数δ０で左サラウンドチャンネル音声信号ＬＳ２０を乗算する。乗算器５０ｂは、所定の係数α０で左チャンネル音声信号Ｌ２０を乗算する。乗算器５０ｃは、所定の係数β０で中央チャンネル音声信号Ｃ２０を乗算する。乗算器５０ｄは、所定の係数α０で右チャンネル音声信号Ｒ２０を乗算する。乗算器５０ｅは、所定の係数δ０で右サラウンドチャンネル音声信号ＲＳ２０を乗算する。
【００９８】
加算器５１ａは、乗算器５０ａから出力される音声信号ＬＳ２１と、乗算器５０ｂから出力される音声信号Ｌ２１と、乗算器５０ｃから出力される音声信号Ｃ２１とを加算して、ダウンミキシングされた左チャンネル音声信号ＬＤＭ３０を生成する。加算器５１ｂは、乗算器５０ｃから出力される音声信号Ｃ２１と、乗算器５０ｄから出力される音声信号Ｒ２１と、乗算器５０ｅから出力される音声信号ＲＳ２１とを加算して、ダウンミキシングされた右チャンネル音声信号ＲＤＭ３０を生成する。
【００９９】
ミキシング部６５は、図１に示すものと同様のダウンミキシングを実行する。ここで、ダウンミックス係数がα、β、δで表され、ダウンミックス係数αは図１２に示す係数α０に設定され、ダウンミックス係数βは図１２に示す係数β０に設定され、ダウンミックス係数δは図１２に示す係数δ０に設定される。これらの係数α０、β０、δ０を適当な値に設定することにより、乗算の回数をミキシング部６５の回数と比較して削減する、ミキシング部を構築することができる。
【０１００】
図１２とともに図１０を再び参照する。ミキシング部における、左チャンネル音声信号Ｌ２０と右チャンネル音声信号Ｒ２０に乗算する係数は１（＝α／α）に設定される。中央チャンネル音声信号Ｃ２０に乗算する係数は、ダウンミックス係数βをダウンミックス係数αで除算して得られる値（＝β／α）に設定される。左サラウンドチャンネル音声信号ＬＳ２０と右サラウンドチャンネル音声信号ＲＳ２０に乗算する係数はダウンミックス係数δをダウンミックス係数αで除算して得られる値（＝δ／α）に設定される。
【０１０１】
即ち、第２の実施の形態によると、音声信号に乗算する係数は、図１に示す音声信号に乗算するそれぞれの係数を、ダウンミックス係数αの逆数（１／α）で乗算して得た値となる。さらに、図１０に示すように、左チャンネル音声信号Ｌ２０と右チャンネル音声信号Ｒ２０に乗算する係数は１に設定しているので、左チャンネル音声信号Ｌ２０と右チャンネル音声信号Ｒ２０に乗算を実行することは不要となる。したがって、ミキシング部６５の乗算器５０ｂ、５０ｄはミキシング部２２から省略される。
【０１０２】
音声信号に乗算するそれぞれの係数にダウンミックス係数の逆数（＝１／α）を乗算することを省略するためには、ダウンミックス係数αによってダウンミキシングされた音声信号を乗算する必要がある。第２の実施の形態では、窓処理部６１が音声信号に乗算する窓関数を、ダウンミックス係数αによって窓関数を乗算して得られたスケール窓関数に設定する。したがって、音声信号に乗算するそれぞれの係数にダウンミックス係数αの逆数（＝１／α）の乗算を行うことは省略される。
【０１０３】
再び図１０を参照する。ダウンミックス係数であるαとβがお互いに等しい、又は、ダウンミックス係数であるαとδはお互いに等しい場合、β／α又はδ／αは１となるので、左チャンネルと右チャンネルに関連する乗算器に加えて、乗算器５０ｃ又は乗算器５０ａと５０ｅは省略することができる。ダウンミックス係数α、β、δがお互いに等しい場合、β／αとδ／αは１となり、全てのチャンネルに関連する乗算器は省略することができる。
【０１０４】
さらに、上述の説明において、音声信号に乗算するそれぞれの係数は、ダウンミックス係数αの逆数（＝１／α）によって乗算されるとしたが、音声信号に乗算するそれぞれの係数は、ダウンミックス係数βの逆数（＝１／β）又は、ダウンミックス係数δの逆数（＝１／δ）によって乗算してもよい。
【０１０５】
音声信号に乗算するそれぞれの係数をダウンミックス係数βの逆数（＝１／β）で乗算する場合、窓処理部６１が音声信号に乗算するスケール窓関数は、ダウンミックス係数βと正規化窓関数の積となる。さらに、ミキシング部２２の構成は、図１２のミキシング部６５の構成から乗算器５０ｃを省いたものとなる。
【０１０６】
音声信号に乗算するそれぞれの係数をダウンミックス係数δの逆数（＝１／δ）で乗算する場合、窓処理部６１が音声信号に乗算するスケール窓関数は、ダウンミックス係数δと正規化窓関数の積となる。さらに、ミキシング部２２の構成は、図１２のミキシング部６５の構成から乗算器５０ａ、５０ｅを省いたものとなる。
【０１０７】
第２の実施の形態の符号化装置によると、ダウンミックス係数によって乗算される窓関数は、ミキシング部２２によって処理された音声信号に乗算される。したがって、ミキシング部２２は、チャンネルの少なくとも一部にダウンミックス係数の乗算を実行することは不要となる。このため、音声信号をダウンミキシングする際の乗算処理の数を減らすことができ、結果として音声信号の処理が高速となる。さらに、従来のダウンミキシングにおいてダウンミックス係数の乗算に必要であった乗算器を不要とすることができるので、回路の規模及び電力消費を削減できる。
【０１０８】
例えば、ダウンミックス係数がチャンネルに応じて異なるとしても、ミキシング部２２におけるダウンミックス係数の乗算を少なくとも一つのチャンネルで省略できる。特に、複数のチャンネルのダウンミックス係数が等しい場合には、ミキシング部２２におけるダウンミックス係数の乗算をさらに省略することができる。
【０１０９】
＜符号化装置の機能構成＞
符号化装置２０の上述の機能は、プログラムを用いたソフトウェア処理によって具現化してもよい。
【０１１０】
図１３は、第２の実施の形態に係る符号化装置の機能構成図である。
【０１１１】
図１３に示すように、ＣＰＵ３００は、メモリ３１０に展開されるアプリケーションプログラムを用いて、ミキシング部３０１、変換ブロック分離部３０２、窓処理部３０３、変換部３０４のそれぞれの機能ブロックを構成する。ミキシング部３０１の機能は、図１０に示すミキシング部２２と同様である。変換ブロック分離部３０２の機能は、図１１に示す変換ブロック分離部６０と同様である。窓処理部３０３の機能は、図１１に示す窓処理部６１と同様である。変換部３０４の機能は、図１１に示す変換部６３と同様である。
【０１１２】
メモリ３１０は、信号保存部３１１と窓関数保存部３１２の機能ブロックを構成する。信号保存部３１１の機能は、図１０に示す信号保存部２１の機能と同様である。窓関数保存部３１２の機能は、図１１に示す窓関数保存部６２の機能と同様である。メモリ３１０は、ＲＯＭ（Ｒｅａｄ Ｏｎｌｙ Ｍｅｍｏｒｙ）、ＲＡＭ（Ｒａｎｄｏｍ Ａｃｃｅｓｓ Ｍｅｍｏｒｙ）の何れか一つ、あるいは、両方を含んでもよい。本実施の形態では、メモリ３１０はＲＯＭとＲＡＭの両方を含むものとして説明を進める。メモリ３１０は、ハードディスクドライブ（ＨＤＤ）、半導体メモリ、磁気テープドライブ、光ディスクドライブなどの記録媒体を含む装置であってもよい。ＣＰＵ３００によって実行されるアプリケーションプログラムは、ＲＯＭ又はＲＡＭに保存してもよく、あるいは、上述の記録媒体を有するＨＤＤなどに保存してもよい。
【０１１３】
音声信号の符号化機能は、上述のそれぞれの機能ブロックによって具現化される。ＣＰＵ３００によって処理される（符号化信号を含む）音声信号は、信号保存部３１１に保存される。ＣＰＵ３００は、メモリ３１０からダウンミキシングする音声信号を読み出し、ミキシング部３０１を用いて当該音声信号をミキシングする処理を実行する。
【０１１４】
さらに、ＣＰＵ３００は、変換ブロック分離部３０２を用いてダウンミキシングされた音声信号を分離して、時間領域の変換ブロックベースの音声信号を生成する処理を実行する。ここで、変換ブロックは所定長を有する。
【０１１５】
さらに、ＣＰＵ３００は、ダウンミキシングされた音声信号を、窓処理部３０３を用いて窓関数によって乗算する処理を実行する。この処理で、ＣＰＵ３００は、窓関数保存部３１２から音声信号に乗算する窓関数を読み出す。
【０１１６】
さらに、ＣＰＵ３００は、変換部３０４を用いて音声信号を変換して、符号化音声信号を生成する処理を実行する。符号化音声信号は、信号保存部３１１に保存される。
【０１１７】
＜符号化方法＞
【０１１８】
図１４は、本発明の第２の実施の形態に係る符号化方法を説明するフローチャートである。本発明の第２の実施の形態に係る符号化方法について図１４を参照して、５．１チャンネル音声信号をダウンミキシングして符号化する例を用いて説明する。
【０１１９】
最初に、ステップＳ２００において、ＣＰＵ３００は、左サラウンドチャンネル（ＬＳ）、左チャンネル（Ｌ）、中央チャンネル（Ｃ）、右チャンネル（Ｒ）、右サラウンドチャンネル（ＲＳ）を含む、それぞれのチャンネルの音声信号の一部を係数によって乗算し、得られた信号をミキシングして、ダウンミキシングした左チャンネル（ＬＤＭ）音声信号とダウンミキシングした右チャンネル（ＲＤＭ）音声信号を生成する。
【０１２０】
具体的には、ＣＰＵ３００は、左サラウンドチャンネル（ＬＳ）音声信号には係数δ／αを乗じて、中央チャンネル（Ｃ）音声信号には係数β／αを乗じる。左チャンネル（Ｌ）には係数の乗算を実行しない。ＣＰＵ３００は、係数δ／αを乗じた左サラウンドチャンネル（ＬＳ）音声信号と、左チャンネル（Ｌ）音声信号と、係数β／αを乗じた中央チャンネル（Ｃ）音声信号とを加算して、ダウンミキシングした左チャンネル（ＬＤＭ）音声信号を生成する。
【０１２１】
さらに、ＣＰＵ３００は、中央チャンネル（Ｃ）音声信号に係数β／αを乗じて、右サラウンドチャンネル（ＲＳ）音声信号に係数δ／αを乗じる。右チャンネル（Ｒ）音声信号に係数の乗算は実行しない。ＣＰＵ３００は、係数β／αを乗じた中央チャンネル（Ｃ）音声信号と、右チャンネル（Ｒ）音声信号と、係数δ／αを乗じた右サラウンドチャンネル（ＲＳ）音声信号とを加算して、ダウンミキシングした右チャンネル（ＲＤＭ）音声信号を生成する。
【０１２２】
続いて、ステップＳ２１０において、ＣＰＵ３００は、ステップＳ２００でダウンミキシングされた音声信号を分離して時間領域の変換ブロックベースの音声信号を生成する。変換ブロックは所定長を有する。
【０１２３】
続いて、ステップＳ２２０において、ＣＰＵ３００は、メモリ３１０の窓関数保存部３１２から窓関数を読み出し、ステップＳ２１０で生成された音声信号を当該窓関数によって乗算する。窓関数は、ダウンミックス係数の除算から得られたスケール窓関数である。さらに、一例では、窓関数をそれぞれのチャンネルに用意しておき、それぞれのチャンネルに対応する窓関数をそれぞれのチャンネルの音声信号に乗算する。
【０１２４】
続いて、ステップＳ２３０において、ＣＰＵ３００は、ステップＳ２２０で処理された音声信号を変換して符号化音声信号を生成する。この変換では、ＭＤＣＴ、量子化、エントロピー符号化を含むそれぞれの処理を実行する。
【０１２５】
第２の実施の形態の符号化方法によると、ダウンミックス係数で乗算された窓関数は、ミキシングされた音声信号に乗算される。したがって、ステップＳ２００において、複数のチャンネルの少なくとも一部にダウンミックス係数の乗算を実行する必要はなくなる。ダウンミックス係数の乗算を複数のチャンネルの少なくとも一部に実行しないので、ダウンミックス係数の乗算を全てのチャンネルに実行する従来技術と比較して、ステップＳ２００における音声信号の処理は高速となる。
【０１２６】
第２の実施の形態の修正例として、符号化装置に入力された所定のビット精度を有する信号を[−１．０、１．０]の範囲を有するように、所定のゲイン係数を乗算して拡大又は縮小し、符号化時にスケール信号を符号化してもよい。信号は、ゲイン係数で乗算された窓関数によって乗算してもよい。例えば、１６ビット信号を符号化装置に入力する場合、ゲイン係数は１／２１５に設定する。こうすることにより、符号化される前にゲイン係数によって信号を乗算する必要はないので、上述と同様の有利な効果を得ることができる。
【０１２７】
さらに、第２の実施の形態の別の修正例として、ＭＤＣＴを実行する際に、音声信号にダウンミックス係数によって乗算された基底関数を乗算してもよい。こうすることによって、ダウンミキシング時にダウンミックス係数の乗算を実行することが不要となるので、上述と同様の有利な効果を得ることができる。
【０１２８】
[第３の実施の形態]
本発明の第３の実施の形態に係る編集装置について、多チャンネル音声信号を編集する編集装置及び編集方法を例に説明する。第３の実施の形態では、例示としてＡＡＣを用いるが、本発明はＡＡＣに限定されないことは言うまでもない。
【０１２９】
＜編集装置のハードウェア構成＞
図１５は、本発明の第３の実施の形態に係る符号化装置の構成を説明する図である。
【０１３０】
図１５に示すように、編集装置１００は、光ディスク又はその他の記録媒体を駆動するドライブ１０１と、ＣＰＵ１０２と、ＲＯＭ１０３と、ＲＡＭ１０４と、ＨＤＤ１０５と、通信インタフェース１０６と、入力インタフェース１０７と、出力インタフェース１０８と、ＡＶ部１０９と、これらを接続するバス１１０と、を含む。さらに、第３の実施の形態に係る編集装置は、第１の実施の形態に係る復号装置の機能と、第２の実施の形態に係る復号装置の機能とを有する。
【０１３１】
光ディスクなどの脱着可能な媒体１０１ａがドライブ１０１に装着されると、脱着可能な媒体１０１ａからデータが読み出される。図１５には、ドライブ１０１は編集装置１００に設けられているが、ドライブ１０１は、外部ドライブでもよい。光ディスクの他に、ドライブ１０１には、磁気ディスク、光磁気ディスク、ブルーレイディスク、半導体メモリなどを用いてもよい。通信インタフェース１０６を介して接続可能なネットワークｎリソースから材料データを読み込んでもよい。
【０１３２】
ＣＰＵ１０２は、ＲＯＭ１０３に記録された制御プログラムを、ＲＡＭ１０４などの揮発性メモリ領域に展開して、編集装置１００の全体の動作を制御する。
【０１３３】
ＨＤＤ１０５は、編集装置としてのアプリケーションプログラムを保存する。ＣＰＵ１０２は、アプリケーションプログラムをＲＡＭ１０４に展開する。これによって、コンピュータは、編集装置として機能することができる。さらに、編集装置１００は、光ディスクなどの脱着可能な媒体１０１ａから読み出した材料データ、それぞれのクリップの編集データなどを、ＨＤＤ１０５に保存する。ＨＤＤ１０５に保存した材料データへのアクセス速度は、ドライブ１０１に装着した光ディスクよりも早いので、ＨＤＤ１０５に保存された材料データを用いることで、編集時の表示の遅延は減少する。編集データを保存する手段は、ＨＤＤ１０５に限定されず、高速アクセスが可能な保存手段であれば、例えば、磁気ディスク、光磁気ディスク、ブルーレイディスク、半導体メモリなどを用いてもよい。通信インタフェース１０６を介して接続可能なネットワークの保存手段を編集データの保存手段として用いてもよい。
【０１３４】
通信インタフェース１０６は、接続されたビデオカメラとの通信を、例えば、ＵＳＢ（Ｕｎｉｖｅｒｓａｌ Ｓｅｒｉａｌ Ｂｕｓ）を介して行い、ビデオカメラの記録媒体に記録されたデータを受信する。さらに、通信インタフェース１０６は、生成した編集データをネットワークのリソースにＬＡＮ又はインターネットを介して送信することができる。
【０１３５】
入力インタフェース１０７は、キーボード又はマウスなどの操作部４００を介して入力されたユーザによる指示を受け付け、バス１１０を介して操作信号をＣＰＵ１０２に提供する。出力インタフェース１０８は、ＣＰＵ１０２からの画像データ又は音声データをＬＣＤ（液晶ディスプレイ）又はＣＲＴなどの表示装置、又はスピーカなどの出力装置５００に提供する。
【０１３６】
ＡＶ部１０９は、様々な処理をビデオ信号と音声信号に実行し、次の構成要素と機能を有する。
【０１３７】
外部ビデオ信号インタフェース１１１は、画像圧縮／解凍部１１２、及び編集装置１００の外部とビデオ信号を送受信する。例えば、外部ビデオ信号インタフェース１１１は、アナログコンポジット信号及びアナログコンポーネント信号の入出力部を設けてもよい。
【０１３８】
画像圧縮／解凍部１１２は、ビデオインタフェース１１３を介して供給されたビデオデータを復号してアナログ変換して、得られたビデオ信号を外部ビデオ信号インタフェース１１１に出力する。さらに、画像圧縮／解凍部１１２は、外部ビデオ信号インタフェース１１１又は外部ビデオ／音声信号インタフェース１１４から供給されたビデオ信号を必要に応じてデジタル変換して、変換したビデオ信号を、例えば、ＭＰＥＧ−２方式によって圧縮し、得られたデータをビデオインタフェース１１３を介してバス１１０に出力する。
【０１３９】
ビデオインタフェース１１３は、画像圧縮／解凍部１１２及びバス１１０とデータを送受信する。
【０１４０】
外部ビデオ／音声信号インタフェース１１４は、外部機器から入力されたビデオデータを画像圧縮／解凍部１１２に出力し、音声データはオーディオプロセッサ１１６に出力する。さらに、外部ビデオ／音声信号インタフェース１１４は、画像圧縮／解凍部１１２から供給されたビデオデータと、オーディオプロセッサ１１６から供給された音声データを外部機器に出力する。例えば、外部ビデオ／音声信号インタフェース１１４は、ＳＤＩ（Ｓｅｒｉａｌ Ｄｉｇｉｔａｌ Ｉｎｔｅｒｆａｃｅ）などに基づくインタフェースである。外部音声信号インタフェース１１５は、外部機器とオーディオプロセッサ１１６の間で音声信号を送受信する。例えば、外部音声信号インタフェース１１５は、アナログ音声信号のインタフェース標準に基づくインタフェースである。
【０１４１】
オーディオプロセッサ１１６は、外部音声信号インタフェース１１５から供給された音声信号をアナログデジタル変換して、得られたデータをオーディオインタフェース１１７に出力する。さらに、オーディオプロセッサ１１６は、オーディオインタフェース１１７から出力される音声データにデジタルアナログ変換、音声調整（ｖｏｉｃｅ ａｄｊｕｓｔｍｅｎｔ）などを実行して、得られた信号を外部音声信号インタフェース１１５に出力する。
【０１４２】
オーディオインタフェース１１７は、オーディオプロセッサ１１６にデータを供給し、オーディオプロセッサ１１６からのデータをバス１１０に出力する。
【０１４３】
＜編集装置の機能構成＞
図１６は、第３の実施の形態に係る編集装置の機能構成図である。
【０１４４】
図１６に示すように、メモリに展開されたアプリケーションプログラムを用いて、編集装置１００のＣＰＵ１０２は、ユーザインタフェース部７０、編集部７３、情報入力部７４、情報出力部７５のそれぞれの機能ブロックを構成する。
【０１４５】
それぞれの機能ブロックは、材料データ及び／又は編集データを含むプロジェクトファイルのインポート機能、それぞれのクリップの編集機能、材料データ及び／編集データを含むプロジェクトファイルのエクスポート機能、プロジェクトファイルのエクスポート時における材料データのマージン設定機能などを具現化する。以下、編集機能の詳細について説明する
【０１４６】
＜編集機能＞
図１７は、編集装置の編集画面の一例を説明する図である。
【０１４７】
図１７を図１６と合わせて参照する。表示制御部７２によって編集画面の表示データを生成し、出力装置５００のディスプレイに出力する。
【０１４８】
編集画面１５０は、編集されたコンテンツ又は取得した材料データの再生画面を表示する再生ウインドウ１５１と、それぞれのクリップがタイムラインに沿って配置される、複数のトラックにより構成されるタイムラインウインドウ１５２と、アイコンなどを用いて取得した材料データを表示するビンウインドウ１５３と、を含む。
【０１４９】
ユーザインタフェース部７０は、操作部４００を介してユーザにより入力された指示を受け取る指示受け付け部７１と、ディスプレイ又はスピーカなどの出力装置５００の表示制御を実行する表示制御部７２とを含む。
【０１５０】
編集部７３は、情報入力部７４を介して、操作部４００を介してユーザから入力された指示によって指定されたクリップが参照する材料データ、又は、デフォルトで指定されるプロジェクト情報を有するクリップが参照する材料データを取得する。
【０１５１】
HDD１０５に記録された材料データが指定された場合、情報入力部７４はビンウインドウ１５３にアイコンを表示し、ＨＤＤ１０５に記録されていない材料データが指定された場合、情報入力部７４は、ネットワーク又は脱着可能な媒体のリソースから材料データを読み出し、ビンウインドウ１５３にアイコンを表示する。図示の例では、３つの材料データがアイコンＩＣ１〜ＩＣ３によって表示されている。
【０１５２】
指示受け付け部７１は、編集画面において、編集に使用されたクリップの指定、材料データの参照範囲、参照範囲により占有されるコンテンツの時間軸の時間的位置を受け取る。具体的には、指示受け付け部７１は、クリップＩＤの指定、参照範囲の開始点及び時間的長さ、クリップが配置されるコンテンツの時間情報などを受け取る。このためには、ユーザは、表示されたクリップ名を手掛かりとして、所望の材料データのアイコンをタイムライン上でドラッグしてドロップする。この動作により、指示受け付け部７１はクリップＩＤの指定を受け付け、選択されたクリップが、選択されたクリップが参照する参照範囲に対応する時間的長さ分、トラックに配置される。
【０１５３】
トラックに配置されたクリップのタイムライン上の開始点、終点、及び時間的な配置は、適当に変更することができ、例えば、編集画面におけるマウスカーソルの移動、所定の動作を行うための指示を入力することができる。
【０１５４】
例えば、録音材料の編集は以下のように実行する。ユーザが操作部４００を使用してＨＤＤ１０５に記録したＡＡＣ方式の５．１チャンネル録音材料を指定すると、指示受け付け部７１は指定を受け付け、編集部７３は表示制御部７２を介して、出力装置５００のディスプレイのビンウインドウ１５３にアイコン（クリップ）を表示する。
【０１５５】
ユーザが操作部４００を用いて、タイムラインウインドウ１５２の音声トラック１５４にクリップを配置するように指示をすると、指示受け付け部７１は指定を受け付け、編集部７３は表示制御部７２を介して出力装置５００のディスプレイの音声トラック１５４にクリップを表示する。ユーザが、例えば、操作部４００を用いた所定の操作により、表示される編集コンテンツの中から、ステレオへのダウンミキシングを選択した場合、指示受け付け部７１は、ステレオへのダウンミキシングの指示（編集処理指示）を受け付け、この指示を編集部７３に伝える。
【０１５６】
編集部７３は、指示受け付け部７１から通知された指示に従って、ＡＡＣ方式の５．１チャンネル録音材料をダウンミキシングして、ＡＡＣ方式の２チャンネルの録音材料を生成する。この時、編集部７３は、第１の実施の形態に係る復号方法を実行して、ダウンミキシングされた復号ステレオ音声信号を生成してもよく、又は、編集部７３は、第２の実施形態の係る符号化方法を実行して、ダウンミキシングされた符号化ステレオ音声信号を生成してもよい。さらに、両方の方法を略同時に実行いてもよい。
【０１５７】
編集部７３によって生成された音声信号は、情報出力部７５に出力される。情報出力部７５は、編集された録音材料を、例えば、ＨＤＤ１０５にバス１１０を介して出力して、当該編集された録音資料をそこに記録する。
【０１５８】
音声トラック１５４のクリップを再生する指示をユーザから与えられると、編集部７３は上述の復号方法によって５．１チャンネル録音材料をダウンミキシングしながら、ダウンミキシングされた材料を再生したかのように、ダウンミキシングされた復号ステレオ音声信号を出力して再生することができることに留意されたい。
【０１５９】
＜編集方法＞
図１８は、本発明の第３の実施の形態に係る編集方法を説明するフローチャートである。本発明の第３の実施の形態に係る編集方法について図１８を参照して５．１チャンネル音声信号を編集する場合を例に説明する。
【０１６０】
最初にステップＳ３００において、ユーザがＨＤＤ１０５に記録されたＡＡＣ方式の５．１チャンネル録音材料を指定すると、ＣＰＵ１０２はこの指定を受け付け、ビンウインドウ１５３にアイコンで録音材料を表示する。さらに、ユーザが表示アイコンをタイムラインウインドウ１５２の音声トラック１５４に配置する指示を与えると、ＣＰＵ１０２は指示を受け付け、タイムラインウインドウ１５２の音声トラック１５４に録音材料のクリップを配置する。
【０１６１】
続いて、ステップＳ３１０で、例えば、ユーザによる操作部４００を介した所定の操作によって表示される編集コンテンツから、録音材料のステレオへのダウンミキシングが選択されると、ＣＰＵ１０２は、選択を受け付ける。
【０１６２】
続いて、ステップＳ３２０で、ステレオへのダウンミキシングの指示を受け付けたＣＰＵ１０２は、ＡＡＣ方式の５．１チャンネル録音材料をダウンミキシングして２チャンネルステレオ音声信号を生成する。この時、ＣＰＵ１０２は、第１の実施の形態に係る復号方法を実行して、ダウンミキシングされた復号ステレオ音声信号を生成してもよく、又は、ＣＰＵ１０２は、第２の実施の形態に係る符号化方法を実行して、ダウンミキシングされた符号化ステレオ音声信号を生成してもよい。ＣＰＵ１０２は、ステップＳ３２０で生成された音声信号をバス１１０を介してＨＤＤ１０５に出力し、生成された音声信号をＨＤＤ１０５に保存する（ステップＳ３３０）。音声信号は、ＨＤＤに記録する代わりに、編集装置の外部の装置に出力してもよいことにも留意されたい。
【０１６３】
第３の実施の形態によると、音声信号を編集することができる編集装置であっても、第１の実施の形態と第２の実施の形態と同様の有利な効果を得ることができる。
【０１６４】
以上、本発明の好ましい実施の形態について詳細に説明した。しかしながら、本発明はこれらの特定の実施の形態に限定されることはなく、特許請求の範囲に記載された本発明の範囲から逸脱することなく様々な修正を行うことができる。
【０１６５】
例えば、音声信号のダウンミキシングは、ステレオへのダウンミキシングに限定されない。モノラルへのダウンミキシングを実行してもよい。さらに、ダウンミキシングは５．１チャンネルのダウンミキシングに限定されず、一例として、７．１チャンネルダウンミキシングを実行してもよい。より詳細には、７．１チャンネルのオーディオシステムでは、５．１チャンネルと同様のチャンネルに加えて、例えば、２チャンネル（左後方チャンネル（ＬＢ）及び右後方チャンネル（ＲＢ）がある。）７．１チャンネル音声信号が５．１チャンネル音声信号にダウンミキシングされる場合、ダウンミキシングは、数式（９）及び（１０）に従って実行することができる。
ＬＳＤＭ＝αＬＳ＋βＬＢ （９）
ＲＳＤＭ＝αＲＳ＋βＲＢ （１０）
【０１６６】
数式（９）において、ＬＳＤＭは、ダウンミキシング後の左サラウンドチャンネル音声信号を表し、ＬＳは、ダウンミキシング前の左サラウンドチャンネル音声信号を表し、ＬＢは、左後方チャンネル音声信号を表す。数式（１０）において、ＲＳＤＭは、ダウンミキシング後の右サラウンドチャンネル音声信号を表し、ＲＳは、ダウンミキシング前の右サラウンドチャンネル音声信号を表し、ＲＢは、右後方チャンネル音声信号を表す。数式（９）、（１０）において、α及びβは、ダウンミックス係数を表す。
【０１６７】
数式（９）、（１０）に従って生成される左サラウンドチャンネル音声信号と右サラウンドチャンネル音声信号、及び、ダウンミキシングでは使用されない中央チャンネル音声信号、左チャンネル音声信号、及び右チャンネル音声信号とが５．１チャンネル音声信号を構成する。５．１チャンネル音声信号を２チャンネル音声信号にダウンミキシングする方法と同様に、７．１チャンネル音声信号を２チャンネル音声信号にダウンミキシングしてもよい。
【０１６８】
さらに、上述の実施の形態では、ＡＡＣを例に説明したが、本発明は、ＡＡＣに限定されず、ＡＣ３、ＡＴＲＡＣ３のＭＤＣＴなど、時間周波数変換に窓関数を用いたコーデックを採用する場合に適用可能である。
【符号の説明】
【０１６９】
１０・・・復号装置
１１、２１、２１１、３１１・・・信号保存部
１２・・・多重分離部
１３ａ、１３ｂ、１３ｃ、１３ｄ、１３ｅ・・・チャンネル復号器
１４、２２、２０４、３０１・・・ミキシング部
２０・・・符号化装置
２３ａ、２３ｂ・・・チャンネル符号化器
２４・・・多重化部
３０ａ、３０ｂ、５１ａ、５１ｂ・・・加算器
４０、６３、２０１、３０４・・・変換部
４１、６１、２０２、３０３・・・窓処理部
４２、６２、２１２、３１２・・・窓関数保存部
４２、２０３・・・変換ブロック合成部
５０ａ、５０ｂ、５０ｃ、５０ｄ、５０ｅ・・・乗算器
６０、３０２・・・変換ブロック分離部
７３・・・編集部
１００、２００、３００・・・ＣＰＵ
２１０、３１０・・・メモリ
【技術分野】
【０００１】
本発明は、音声信号の復号及び符号化に関し、より詳細には、音声信号のダウンミキシングに関する。
【背景技術】
【０００２】
近年、ＡＣ３（Ａｕｄｉｏ Ｃｏｄｅ ｎｕｍｂｅｒ ３）、ＡＴＲＡＣ（Ａｄａｐｔｉｖｅ ＴＲａｎｓｆｏｒｍ Ａｃｏｕｓｔｉｃ Ｃｏｄｉｎｇ）、ＡＡＣ（Ａｄｖａｎｃｅｄ Ａｕｄｉｏ Ｃｏｄｉｎｇ）など、高い音質を実現するものが、音声信号の符号化のスキームとして利用されている。さらに、７．１チャンネル又は５．１チャンネルなどの多チャンネルの音声信号を利用してリアルな音響効果を再構築している。
【０００３】
７．１チャンネル又は５．１チャンネルなどの多チャンネル音声信号がステレオオーディオ機器を用いて再生される際には、多チャンネル音声信号をステレオ音声信号にダウンミキシングする処理が実行される。
【０００４】
例えば、符号化された５．１チャンネル音声信号をダウンミキシングし、ステレオオーディオ機器を用いてダウンミキシングされた音声信号を再生する場合、最初に、復号処理を実行して、左チャンネル、右チャンネル、中央チャンネル、左サラウンドチャンネル、右サラウンドチャンネル用の復号された５チャンネル音声信号を生成する。続いて、ステレオ左チャンネル音声信号を生成するため、左チャンネル、中央チャンネル、左サラウンドチャンネルのそれぞれの音声信号に、混合比係数を乗算して、得られた積を合計する。ステレオ右チャンネル音声信号を生成するため、右チャンネル、中央チャンネル、右サラウンドチャンネルのそれぞれの音声信号に対しても同様に乗算をして、合計する。
【先行技術文献】
【特許文献】
【０００５】
【特許文献１】特開２０００−２７６１９６号公報
【発明の概要】
【発明が解決しようとする課題】
【０００６】
一方で、音声信号を高速で処理する必要性が存在する。符号化された音声信号を復号して、ダウンミキシングする処理はソフトウェアでCPUを用いて実行されることが多いが、このＣＰＵが同時に別の処理を実行している場合、処理速度は低下しやすくなり、多くの時間を要する場合がある。
【０００７】
そこで、本発明は、新規で有用な復号装置、復号方法、符号化装置、符号化方法、及び編集装置を提供することを目的とする。本発明の個別の目的は、音声信号をダウンミキシングする際の乗算処理の数を削減する復号装置、復号方法、符号化装置、符号化方法、及び編集装置を提供することである。
【課題を解決するための手段】
【０００８】
本発明の一態様によると、多チャンネル音声信号を含む符号化音声信号を保存する保存手段と、前記符号化音声信号を変換して、時間領域の変換ブロックベースの音声信号を生成する変換手段と、前記変換ブロックベースの音声信号に、第１の窓関数と前記音声信号の混合比の積を第２の窓関数として乗算する窓処理手段と、乗算された変換ブロックベースの音声信号を重ね合わせて多チャンネル音声信号を合成する合成手段と、チャンネルの間で合成された多チャンネル音声信号をミキシングして、ダウンミキシングされた音声信号を生成するミキシング手段と、を備える復号装置が提供される。
【０００９】
本発明によると、ミキシングされる前に、音声信号は、第１の窓関数と音声信号の混合比との積である第２の窓関数によって乗算される。したがって、ミキシング手段は、多チャンネル音声信号をミキシングする際に混合比の乗算を実行することは不要となる。さらに、窓処理手段が音声信号に乗算する窓関数が、第１の窓関数から第２の窓関数に変更されたとしても、計算量は増加しない。したがって、音声信号のダウンミキシング時における乗算処理の数は減少する。
【００１０】
本発明の他の態様によると、多チャンネル音声信号を含む符号化音声信号を保存するメモリと、ＣＰＵと、を備え、前記ＣＰＵは、前記符号化音声信号を変換して、時間領域の変換ブロックベースの音声信号を生成し、前記変換ブロックベースの音声信号に、第１の窓関数と前記音声信号の混合比との積を第２の窓関数として乗算し、乗算された変換ブロックベースの音声信号を重ね合わせて多チャンネル音声信号を合成し、チャンネルの間で合成された多チャンネル音声信号をミキシングして、ダウンミキシングされた音声信号を生成するように構成されていることを特徴とする、復号装置が提供される。
【００１１】
本発明によると、上述の復号装置で説明した発明と同様の有利な効果を得ることができる。
【００１２】
本発明の他の態様によると、多チャンネル音声信号を保存する保存手段と、前記多チャンネル音声信号をチャンネルの間でミキシングしてダウンミキシングされた音声信号を生成するミキシング手段と、前記ダウンミキシングされた音声信号を分離して変換ブロックベースの音声信号を生成する分離手段と、前記変換ブロックベースの音声信号に第１の窓関数と前記音声信号の混合比の積を第２の窓関数として乗算する窓処理手段と、乗算された音声信号を変換して符号化音声信号を生成する変換手段と、を備える符号化装置が提供される。
【００１３】
本発明によると、ミキシングされた音声信号に、第１の窓関数と音声信号の混合比との積を第２の窓関数として乗算する。したがって、ミキシング手段は、多チャンネル音声信号のミキシング時に、複数のチャンネルの少なくとも一部に対して混合比の乗算を実行することは不要となる。さらに、窓処理手段が音声信号に乗算する窓関数が、第１の窓関数から第２の窓関数に変更されたとしても、計算量は増加しない。したがって、音声信号のダウンミキシング時における乗算処理の数は減少する。
【００１４】
本発明の他の態様によると、多チャンネル音声信号を保存するメモリと、ＣＰＵとを、備え、前記ＣＰＵは、前記多チャンネル音声信号をチャンネルの間でミキシングしてダウンミキシングされた音声信号を生成し、前記ダウンミキシングされた音声信号を分離して変換ブロックベースの音声信号を生成し、前記変換ブロックベースの音声信号に第１の窓関数と前記音声信号の混合比の積を第２の窓関数として乗算し、乗算された音声信号を変換して符号化音声信号を生成するように構成されている、符号化装置が提供される。
【００１５】
本発明によると、上述の符号化装置で説明した発明と同様の有利な効果を得ることができる。
【００１６】
本発明の他の態様によると、多チャンネル音声信号を含む符号化音声信号を変換して、時間領域の変換ブロックベースの音声信号を生成するステップと、前記変換ブロックベースの音声信号に、第１の窓関数と前記音声信号の混合比の積を第２の窓関数として乗算するステップと、乗算された変換ブロックベースの音声信号を重ね合わせて多チャンネル音声信号を合成するステップと、チャンネルの間で合成された多チャンネル音声信号をミキシングして、ダウンミキシングされた音声信号を生成するステップと、を含む復号方法が提供される。
【００１７】
本発明によると、ミキシングされる前に、音声信号は、第１の窓関数と音声信号の混合比との積である第２の窓関数によって乗算される。したがって、チャンネルの間の乗算された音声信号をミキシングしてミキシングされた音声信号を生成する際に、混合比の乗算を実行することは不要となる。さらに、音声信号に乗算する窓関数が、第１の窓関数から第２の窓関数に変更されたとしても、計算量は増加しない。したがって、音声信号のダウンミキシング時における乗算処理の数は減少する。
【００１８】
本発明の他の態様によると、多チャンネル音声信号をチャンネルの間でミキシングしてダウンミキシングされた音声信号を生成するステップと、前記ダウンミキシングされた音声信号を分離して変換ブロックベースの音声信号を生成するステップと、前記変換ブロックベースの音声信号に第１の窓関数と前記音声信号の混合比の積を第２の窓関数として乗算するステップと、乗算された音声信号を変換して符号化音声信号を生成するステップと、を含む、符号化方法が提供される。
【００１９】
本発明によると、ミキシングされた音声信号に、第１の窓関数と音声信号の混合比との積を第２の窓関数として乗算する。したがって、多チャンネル音声信号のミキシング時に、複数のチャンネルの少なくとも一部に対して混合比の乗算を実行することは不要となる。さらに、音声信号に乗算する窓関数が、第１の窓関数から第２の窓関数に変更されたとしても、計算量は増加しない。したがって、音声信号のダウンミキシング時における乗算処理の数は減少する。
【発明の効果】
【００２０】
本発明によると、音声信号のダウンミキシング時における乗算処理の数を削減する、復号装置、復号方法、符号化装置、符号化方法、及び編集装置を提供することができる。
【図面の簡単な説明】
【００２１】
【図１】音声信号のダウンミキシングに関連する構成を説明するブロック図である。
【図２】音声信号の復号処理のフローを説明する図である。
【図３】本発明の第１の実施の形態に係る復号装置の構成を説明するブロック図である。
【図４】ストリームの構造を説明する図である。
【図５】チャンネル復号器の構成を説明する図である。
【図６Ａ】窓関数保存部に保存されたスケール窓関数を説明する図である。
【図６Ｂ】窓関数保存部に保存されたスケール窓関数を説明する図である。
【図６Ｃ】窓関数保存部に保存されたスケール窓関数を説明する図である。
【図７】第１の実施の形態に係る復号装置の機能構成図である。
【図８】第１の実施の形態に係る復号装置を説明するフローチャートである。
【図９】音声信号の符号化処理のフローを説明する図である。
【図１０】本発明の第２の実施の形態に係る符号化装置の構成を説明するブロック図である。
【図１１】チャンネル符号化器の構成を説明するブロック図である。
【図１２】第２の実施の形態に係る符号化装置のミキシング部をベースとした、ミキシング部の構成を説明するブロック図である。
【図１３】第２の実施の形態に係る符号化装置の機能構成図である。
【図１４】本発明の第２の実施の形態に係る符号化方法を説明するフローチャートで０ある。
【図１５】本発明の第３の実施の形態に係る編集装置のハードウェア構成を説明するブロック図である。
【図１６】第３の実施の形態に係る編集装置の機能構成図である。
【図１７】編集装置の編集画面の一例を説明する図である。
【図１８】本発明の第３の実施の形態に係る編集装置を説明するフローチャートである。
【発明を実施するための形態】
【００２２】
以下、本発明の実施の形態について図面を参照して説明する。
【００２３】
［第１の実施の形態］
本発明の第１の実施の形態に係る復号装置について、多チャンネル音声信号含む符号化音声信号をダウンミキシングされた音声信号に復号する復号装置及び復号方法を例に説明する。第１の実施の形態では、例示としてＡＡＣを用いるが、本発明はＡＡＣに限定されないことは言うまでもない。
【００２４】
＜ダウンミキシング＞
図１は、５．１チャンネル音声信号のダウンミキシングに関連する構成を説明するブロック図である。
【００２５】
図１に示すように、ダウンミキシングは乗算器７００ａ〜７００ｅと、加算器７０１ａ、７０１ｂによって実行される。
【００２６】
乗算器７００ａは、左サラウンドチャンネルの音声信号ＬＳ０をダウンミックス係数δで乗算する。乗算器７００ｂは、左チャンネルの音声信号Ｌ０をダウンミックス係数αで乗算する。乗算器７００ｃは、中央チャンネルの音声信号Ｃ０をダウンミックス係数βで乗算する。ダウンミックス係数α、β、δは、それぞれのチャンネルの音声信号の混合比である。
【００２７】
加算器７０１は、乗算器７００ａから出力される音声信号と、乗算器７００ｂから出力される音声信号と、乗算器７００ｃから出力される音声信号とを加算し、ダウンミキシングされた左チャンネル音声信号ＬＤＭ０を生成する。同様に、右チャンネルについても、ダウンミキシングされた右チャンネル音声信号ＲＤＭ０を生成する。
【００２８】
＜音声信号の復号処理＞
図２は、音声信号の復号処理のフローを説明する図である。
【００２９】
図２に示すように、復号処理では、ＭＤＣＴ（修正離散コサイン変換）係数４４０が、符号化音声信号（符号化された信号）を含むストリームをエントロピー復号し、逆量子化することによって再生される。ＭＤＣＴ係数４４０は、変換（ＭＤＣＴ）ブロックベースのデータで形成される。変換ブロックは所定長を有する。再生されたＭＤＣＴ係数４４０は、ＩＭＤＣＴ（逆ＭＤＣＴ）により時間領域の変換ブロックベースの音声信号に変換される。窓関数４４１によって、変換ブロックベースの音声信号を乗算して得られた信号４４２を重ね合わせて加算することによって、復号処理された音声信号４４３が生成される。
【００３０】
＜復号装置のハードウェア構成＞
図３は、本発明の第１の実施の形態に係る復号装置の構成を説明するブロック図である。
【００３１】
図３に示すように、復号装置１０は、符号化された５．１チャンネル音声信号（符号化された信号）を含むストリームを保存する信号保存部１１と、ストリームから符号化された５．１チャンネル音声信号を抽出する多重分離部１２と、それぞれのチャンネルの音声信号に復号処理を実行するチャンネル復号器１３ａ、１３ｂ、１３ｃ、１３ｄ、１３ｅと、復号された５チャンネル音声信号をミキシングして、２チャンネル音声信号、即ち、ダウンミキシングされたステレオ音声信号を生成するミキシング部１４とを備える。第１の実施の形態に係る復号処理は、ＡＡＣに基づくエントロピー復号処理である。説明を容易にするため、本明細書のそれぞれの実施の形態では、低周波エフェクト（ＬＦＥ）チャンネルについての説明は省略する。
【００３２】
信号保存部１１から出力されるストリームＳは、符号化された５．１チャンネル音声信号を含む。
【００３３】
図４は、ストリームの構造を説明する図である。
【００３４】
図４に示すように、ここに示すストリームの構造は、ＡＤＴＳ（Ａｕｄｉｏ Ｄａｔａ Ｔｒａｎｓｐｏｒｔ Ｓｔｒｅａｍ）と呼ばれるストリームフォーマットを有する１フレーム（１０２４サンプルに相当する）の構造である。このストリームは、ヘッダ４５０と、ＣＲＣ４５１から始まり、続く符号化されたＡＡＣデータを含む。
【００３５】
ヘッダ４５０は、同期ワード、プロファイル、サンプリング周波数、チャンネル構成、著作権情報、デコーダバッファ満杯量（ｄｅｃｏｄｅｒ ｂｕｆｆｅｒ ｆｕｌｌｎｅｓｓ）、１フレーム長（バイト数）などを含む。ＣＲＣ４５１は、ヘッダ４５０と符号化データのエラーを検出するチェックサムである。ＳＣＥ（Ｓｉｎｇｌｅ Ｃｈａｎｎｅｌ Ｅｌｅｍｅｎｔ）４５２は、符号化された中央チャンネル音声信号であり、使用した窓関数と量子化などの情報に加えて、エントロピー符号化されたＭＤＣＴ係数を含む。ＣＰＥ（Ｃｈａｎｎｅｌ Ｐａｉｒ Ｅｌｅｍｅｎｔ）４５３、４５４は、符号化されたステレオ音声信号であり、ジョイントステレオ情報に加えて、それぞれのチャンネルの符号化情報を含む。ジョイントステレオ情報は、Ｍ／Ｓ（Ｍｉｄ／Ｓｉｄｅ）ステレオを使用するか否かを表す情報であり、Ｍ／Ｓステレオを使用するとした場合、Ｍ／Ｓステレオを使用する周波数帯を示す。符号化情報は、使用した窓関数、量子化、符号化されたＭＤＣＴ係数などに関する情報を含む。
【００３６】
ジョイントステレオを使用する場合、ステレオには同一の窓関数を使用する必要がある。この場合、使用した窓関数の情報は、ＣＰＥ４５３、４５４の一つに結合される。ＣＰＥ４５３は左チャンネルと右チャンネルに対応し、ＣＰＥ４５４は左サラウンドチャンネルと右サラウンドチャンネルに対応する。ＬＦＥ（ＬＦＥ Ｃｈａｎｎｅｌ Ｅｌｅｍｅｎｔ）４５５は、ＬＦＥチャンネルの符号化音声信号であり、ＳＣＥ４５２とほぼ同様の情報を含む。しかしながら、使用可能な窓関数、又は、使用可能なＭＤＣＴ係数の範囲には制限がある。ＦＩＬ（Ｆｉｌｌ Ｅｌｅｍｅｎｔ）４５６は、デコーダバッファのオーバーフローを回避するために必要に応じて挿入されるパッディングである。
【００３７】
多重分離部１２は、上述の構造を有するストリームから、それぞれのチャンネル（符号化された信号ＬＳｌＯ、ＬｌＯ、ＣｌＯ、ＲｌＯ、ＲＳｌＯ）の符号化音声信号を抽出し、それぞれのチャンネルの音声信号を、対応するそれぞれのチャンネルのチャンネル復号器１３ａ、１３ｂ、１３ｃ、１３ｄ、１３ｅに出力する。
【００３８】
チャンネル復号器１３ａは、左サラウンドチャンネルの音声信号を符号化して得た符号化された信号ＬＳ１０の復号処理を実行する。チャンネル復号器１３ｂは、左チャンネルの音声信号を符号化して得た符号化された信号Ｌ１０の復号処理を実行する。チャンネル復号器１３ｃは、中央チャンネルの音声信号を符号化して得た符号化された信号Ｃ１０の復号処理を実行する。チャンネル復号器１３ｄは、右チャンネルの音声信号を符号化して得た符号化された信号Ｒ１０の復号処理を実行する。チャンネル復号器１３ｅは、右サラウンドチャンネルの音声信号を符号化して得た符号化された信号ＲＳ１０の復号処理を実行する。
【００３９】
ミキシング部１４は、加算器３０ａ、３０ｂを含む。加算器３０ａは、チャンネル復号器１３ａによって処理された音声信号ＬＳ１１と、チャンネル復号器１３ｂによって処理された音声信号Ｌ１１と、チャンネル復号器１３ｃによって処理された音声信号Ｃ１１と、を加算して、ダウンミキシングされた左チャンネル音声信号ＬＤＭ１０を生成する。加算器３０ｂは、チャンネル復号器１３ｃによって処理された音声信号Ｃ１１と、チャンネル復号器１３ｄによって処理された音声信号Ｒ１１と、チャンネル復号器１３ｅによって処理された音声信号ＲＳ１１と、を加算して、ダウンミキシングされた右チャンネル音声信号ＲＤＭ１０を生成する。
【００４０】
図５は、チャンネル復号器の構成を説明するブロック図である。図３に示すチャンネル復号器１３ａ、１３ｂ、１３ｃ、１３ｄ、１３ｅのそれぞれの構成は基本的に同じであるので、チャンネル復号器１３ａの構成を図５に示す。
【００４１】
図５に示すように、チャンネル復号器１３ａは、変換部４０と、窓処理部４１と、窓関数保存部４２と、変換ブロック合成部４３とを含む。変換部４０は、エントロピー復号部４０ａと、逆量子化部４０ｂと、ＩＭＤＣＴ部４０ｃとを含む。それぞれの構成部によって実行される処理は、多重分離部１２から出力される制御信号によって制御される。
【００４２】
エントロピー復号部４０ａは、エントロピー復号により符号化音声信号（ビットストリーム）を復号して量子化ＭＤＣＴ係数を生成する。逆量子化部４０ｂは、エントロピー復号部４０ａから出力された量子化ＭＤＣＴ係数を逆量子化して、逆量子化ＭＤＣＴ係数を生成する。ＩＭＤＣＴ部４０ｃは、逆量子化部４０ｂから出力されたＭＤＣＴ係数を、ＩＭＤＣＴにより時間領域の音声信号に変換する。数式（１）は、ＩＭＤＣＴの変換を表す。
【数１】
【００４３】
数式（１）において、Ｎは、窓長（サンプル数）を表し、ｓｐｅｃ［ｉ］［ｋ］は、ＭＤＣＴ係数を表す。ｉは、変換ブロックのインデックスを表し、ｋは、ＭＤＣＴ係数のインデックスを表し、Ｘｉ，ｎは、時間領域の音声信号を表し、ｎは、時間領域の音声信号のインデックスを表し、ｎ０は、（Ｎ／２＋１）／２を表す。
【００４４】
窓処理部４１は、スケール窓関数（Ｓｃａｌｅｄ Ｗｉｎｄｏｗ Ｆｕｎｃｔｉｏｎ）により、変換部４０から出力される時間領域の音声信号を乗算する。スケール窓関数とは、音声信号の混合比であるダウンミックス係数と、正規化窓関数との積である。窓関数保存部４２は、窓処理部４１が音声信号に乗算する窓関数を保存して、該窓関数を窓処理部４１に出力する。
【００４５】
図６Ａ〜６Ｃは、窓関数保存部４２に保存されたスケール窓関数を説明する図である。図６Ａは、左チャンネルと右チャンネルの音声信号に乗算されるスケール窓関数を示す。図６Ｂは、中央チャンネルの音声信号に乗算されるスケール窓関数を示す。図６Ｃは、左サラウンドチャンネルと右サラウンドチャンネルの音声信号に乗算されるスケール窓関数を示す。
【００４６】
図６Ａに示すように、Ｎ個の離散値αＷ０、αＷ１、αＷ２、・・・、αＷＮ−１が、左チャンネル及び右チャンネルの音声信号に乗算するスケール窓関数として、窓関数保存部４２（図５）に準備されている。Ｗｍ（ｍ＝０、１、２、・・・、Ｎ−１）は、ダウンミックス係数を含まない、正規化窓関数の値である。αＷｍ（ｍ＝０、１、２、・・・、Ｎ−１）は、音声信号Ｘｉ、ｍに乗算する窓関数の値であり、インデックスｍに対応する窓関数値Ｗｍにダウンミックス係数αを乗算することによって得られる。即ち、αＷ０、αＷ１、αＷ２、・・・、αＷＮ−１は、窓関数値Ｗ０、Ｗ１、Ｗ２、・・・、ＷＮ−１をα倍することによって得られた値である。
【００４７】
窓関数保存部４２は、Ｎ個の値全てを保存する必要はなく、窓関数保存部４２は、窓関数の対称性を利用して、Ｎ／２個の値のみを保存してもよい。さらに、窓関数は、全てのチャンネルに必要とされるのではなく、スケール窓関数は、同一の倍率を有するチャンネルによって共有されてもよい。
【００４８】
窓処理部４１は、図６Ａに示すように、変換部４０から出力される音声信号を形成するＮ個のデータの各々に、窓関数値を乗算する。即ち、窓処理部４１は、数式（１）によって表されるデータｘｉ、０に窓関数値αＷ０を乗算し、データｘｉ、１に窓関数値αＷ１を乗算する。他の窓関数値に対しても同様である。ＡＡＣでは、窓長の異なる複数種類の窓関数が組み合わされて使用されるため、Ｎの値は窓関数の種類に応じて変化することに留意されたい。
【００４９】
さらに、図６Ｂに示すように、Ｎ個の離散値βＷ０、βＷ１、βＷ２、・・・、βＷＮ−１が、中央チャンネルの音声信号に乗算するスケール窓関数として、窓関数保存部４２（図５）に準備されている。
【００５０】
さらに、図６Ｃに示すように、Ｎ個の離散値δＷ０、δＷ１、δＷ２、・・・、δＷＮ−１が、左サラウンドチャンネル及び右サラウンドチャンネルの音声信号に乗算するスケール窓関数として、窓関数保存部４２（図５）に準備されている。
【００５１】
図６Ｂ及び図６Ｃに示すそれぞれの値の定義については、図６Ａに示すそれぞれの値の定義と同様である。さらに、図６Ｂ及び図６Ｃのそれぞれの値に対する窓処理部４１の処理の詳細については、図６Ａに示すそれぞれの値に対する窓処理部４１の処理と同様である。
【００５２】
以下の数式（２）は、ダウンミックス係数αの代表的な数式である。数式（３）は、ダウンミックス係数β及びδの代表的な数式である。
【数２】
【数３】
【００５３】
図６Ａ〜図６Ｃに示す値Ｗ０、Ｗ１、Ｗ２、・・・、ＷＮ−１を算出するために、様々な関数を窓関数として使用することができる。例えば、正弦（ｓｉｎｅ）窓を使用することができる。以下に示す数式（４）及び（５）は、正弦窓関数である。
【数４】
【数５】
【００５４】
上述の正弦窓の代わりに、ＫＢＤ窓（カイザーベッセル派生窓）を使用することもできる。
【００５５】
変換ブロック合成部４３は、窓処理部４１から出力された変換ブロックベースの音声信号を重ね合わせて、復号処理が行われた音声信号を合成する。以下の数式（６）は、変換ブロックベースの音声信号の重ね合わせを表す。
【数６】
【００５６】
数式（６）において、ｉは、変換ブロックのインデックスを表す。ｎは、変換ブロックにおける音声信号のインデックスを表す。ｏｕｔｉ、ｎは、重ね合わされた音声信号を表す。ｚは、窓関数によって乗算された変換ブロックベースの音声信号を表し、ｚｉ、ｎは、スケール窓関数ｗ（ｎ）と時間領域の音声信号ｘｉ、ｎとを用いて以下の数式（７）によって表される
【数７】
【００５７】
数式（６）によると、音声信号ｏｕｔｉ、ｎは、変換ブロックｉの前部半分の音声信号を、変換ブロックｉの直前の変換ブロック変換ブロックｉ−１の後部半分に加えて生成している。長い窓を使用する場合、数式（６）によって表されるｏｕｔｉ、ｎは、１フレームに相当する。さらに、短い窓を使用する場合、８つの変換ブロックを重ね合わせて得られる音声信号が１フレームに相当する。
【００５８】
上述のように、チャンネル復号器１３ａ、１３ｂ、１３ｃ、１３ｄ、１３ｅにより生成されるそれぞれのチャンネルの音声信号は、ミキシング部１４によってミキシングされ、ダウンミキシングされる。チャンネル復号器１３ａ、１３ｂ、１３ｃ、１３ｄ、１３ｅの処理によって、ダウンミックス係数の乗算が行われるため、ミキシング部１４は、ダウンミックス係数を掛け合わせない。このようにして、音声信号のダウンミキシングが完了する。
【００５９】
第１の実施の形態の復号装置によると、ダウンミックス係数によって乗算された窓関数は、ミキシング部１４によって処理されていない音声信号に乗算される。したがって、ミキシング部１４は、ダウンミックス係数を乗算する必要はない。ダウンミックス係数の乗算を実行しないので、音声信号をダウンミキシングする際の乗算処理の数を減らすことができ、結果として音声信号の処理が高速となる。さらに、従来のダウンミキシングにおいてダウンミックス係数の乗算に必要とされた乗算器を省くことができるので、回路の規模及び電力消費を削減できる。
【００６０】
＜復号装置の機能構成＞
上述の復号装置１０の機能は、プログラムを使用したソフトウェア処理として具現化してもよい。
【００６１】
図７は、第１の実施の形態に係る復号装置の機能構成図である。
【００６２】
図７に示すように、ＣＰＵ２００は、メモリ２１０に展開されたアプリケーションプログラムによって変換部２０１、窓処理部２０２、変換ブロック合成部２０３、ミキシング部２０４の各機能ブロックを構成する。変換部２０１の機能は、図５に示す変換部４０の機能と同様である。窓処理部２０２の機能は、図５に示す窓処理部４１の機能と同様である。変換ブロック合成部２０３の機能は、図５に示す変換ブロック合成部４３の機能と同様である。ミキシング部２０４の機能は、図３に示すミキシング部１４の機能と同様である。
【００６３】
メモリ２１０は、信号保存部２１１と窓関数保存部２１２の機能ブロックを構成する。信号保存部２１１の機能は、図３に示す信号保存部１１の機能と同様である。窓関数保存部２１２の機能は、図３に示す窓関数保存部４２の機能と同様である。メモリ２１０は、ＲＯＭ（Ｒｅａｄ Ｏｎｌｙ Ｍｅｍｏｒｙ）、ＲＡＭ（Ｒａｎｄｏｍ Ａｃｃｅｓｓ Ｍｅｍｏｒｙ）の何れか一つ、あるいは、両方を含んでもよい。本実施の形態では、メモリ２１０はＲＯＭとＲＡＭの両方を含むものとして説明を進める。メモリ２１０は、ハードディスクドライブ（ＨＤＤ）、半導体メモリ、磁気テープドライブ、光ディスクドライブなどの記録媒体を含む装置であってもよい。ＣＰＵ２００によって実行されるアプリケーションプログラムは、ＲＯＭ又はＲＡＭに保存してもよく、あるいは、上述の記録媒体を有するＨＤＤなどに保存してもよい。
【００６４】
音声信号の復号機能は、上述のそれぞれの機能ブロックによって具現化される。ＣＰＵ２００によって処理される（符号化信号を含む）音声信号は、信号保存部２１１に保存される。ＣＰＵ２００は、復号処理を行う符号化信号を信号保存部２１１から読み出し、変換部２０１を用いて符号化音声信号を変換して、時間領域の変換ブロックベースの音声信号を生成する。ここで、変換ブロックは所定長を有するものとする。
【００６５】
さらに、ＣＰＵ２００は、窓処理部２０２を用いて窓関数を時間領域の音声信号に乗算する処理を実行する。この処理において、ＣＰＵ２００は、音声信号に乗算する窓関数を窓関数保存部２１２から読み出す。さらに、ＣＰＵ２００は、変換ブロックベースの音声信号を重ね合わせて、変換ブロック合成部２０３を用いて復号処理を行う音声信号を合成する処理を実行する。
【００６６】
さらに、ＣＰＵ２００は、ミキシング部２０４を用いて音声信号をミキシングする処理を実行する。ダウンミキシングされた音声信号は、信号保存部２１１に保存される。
【００６７】
＜復号方法＞
図８は、本発明の第１の実施の形態に係る復号方法を説明するフローチャートである。本発明の第１の実施の形態に係る復号方法について図８を参照して、５．１チャンネル音声信号を復号してダウンミキシングする例を用いて説明する。
【００６８】
最初にステップＳ１００において、ＣＰＵ２００は、左サラウンドチャンネル（ＬＳ）、左チャンネル（Ｌ）、中央チャンネル（Ｃ）、右チャンネル（Ｒ）、右サラウンドチャンネル（ＲＳ）を含む、それぞれのチャンネルの音声信号を符号化して得られた符号化信号を時間領域の変換ブロックベースの音声信号に変換する。ここで、変換ブロックは所定長を有するものとする。この変換において、エントロピー復号、逆量子化、ＩＭＤＣＴを含む各処理が実行される。
【００６９】
続いて、ステップＳ１１０において、ＣＰＵ２００は、窓関数保存部２１２からスケール窓関数を読み出し、これらの窓関数を時間領域の変換ブロックベースの音声信号に乗算をする。上述のように、スケール窓関数とは、正規化窓関数と音声信号の混合比であるダウンミックス係数の積である。さらに、一例として、スケール窓関数は、それぞれのチャンネル毎に用意されており、それぞれのチャンネルに対応する窓関数がそれぞれのチャンネルの音声信号に乗算される。
【００７０】
続けて、ステップＳ１２０において、ＣＰＵ２００は、ステップＳ１１０で処理された変換ブロックベースの音声信号を重ね合わせ、復号処理を実行した音声信号を合成する。復号処理を実行した音声信号をステップＳ１１０においてダウンミックス係数に乗算していることに留意されたい。
【００７１】
続いて、ステップＳ１３０において、ＣＰＵ２００は、ステップＳ１２０において復号処理が実行された５チャンネル音声信号をミキシングして、ダウンミキシングされた左チャンネル（ＬＤＭ）音声信号とダウンミキシングされた右チャンネル音声信号（ＲＤＭ）音声信号を生成する。
【００７２】
具体的には、ＣＰＵ２００は、ステップＳ１２０において合成された左サラウンドチャンネル（ＬＳ）音声信号と、ステップＳ１２０において合成された左チャンネル（Ｌ）音声信号と、ステップＳ１２０において合成された中央チャンネル（Ｃ）音声信号とを加算して、ダウンミキシングされた左チャンネル（ＬＤＭ）音声信号を生成する。さらに、ＣＰＵ２００は、ステップＳ１２０において合成された中央チャンネル（Ｃ）音声信号と、右チャンネル（Ｒ）音声信号と、ステップＳ１２０において合成された右サラウンドチャンネル（ＲＳ）音声信号と加算して、ダウンミキシングされた右チャンネル（ＲＤＭ）音声信号を生成する。従来技術とは事なり、このステップＳ１３０においては、加算処理のみを実行し、ダウンミックス係数の乗算処理を実行しないことが重要である。
【００７３】
第１の実施の形態の復号方法によると、ステップＳ１１０においてダウンミックス係数によって乗算された窓関数は、まだミキシングされていない音声信号に乗算される。したがって、ステップＳ１３０では、ダウンミックス係数の乗算を実行することは不要となる。ダウンミックス係数の乗算を実行しないので、ステップＳ１３０の音声信号をダウンミキシングする際の乗算処理の数を減らすことができ、結果として、音声信号の処理が高速となる。
【００７４】
第１の実施の形態に係る窓処理は、ＭＤＣＴブロックの長さに依存することなく、適用可能であるため、処理を簡易化することができる。例えば、ＡＡＣには２つの長さの窓関数（長い窓長と短い窓長）が存在するが、これらの窓長のいずれか一つを使用した場合であっても、各チャンネル毎に長い窓長と短い窓長を任意に組み合わせた場合であっても、第１の実施の形態に係る窓処理は適用可能であるので、処理を簡易化することができる。さらに、第２の実施の形態で説明するが、第１の実施の形態に係る窓処理と同一の窓処理を符号化処理に適用することができる。
【００７５】
第１の実施の形態の修正例として、ＭＳステレオを左チャンネルと右チャンネルに行う場合、即ち、和信号と差信号によって左チャンネルと右チャンネルの音声信号を構築する場合、ＭＳステレオ処理は、逆量子化処理の後、又は、ＩＭＤＣＴ処理の前に実行して、和信号と差信号から左チャンネルと右チャンネルの音声信号を生成してもよい。ＭＳステレオは、左サラウンドチャンネル及び右サラウンドチャンネルに使用してもよい。
【００７６】
さらに、第１の実施の形態の別の修正例として、[−１．０、１．０]の範囲を有する復号信号を、所定のビット精度を有するように、所定のゲイン係数を乗算して拡大又は縮小し、復号装置からスケール信号（Ｓｃａｌｅｄ Ｓｉｇｎａｌ）を出力し、ゲイン係数で乗算された窓関数を復号時に信号に乗算する場合について説明する。例えば、１６ビット信号を復号装置から出力する場合、ゲイン係数は２１５に設定する。こうすることにより、復号された後にゲイン係数によって信号を乗算する必要はないので、上述と同様の有利な効果を得ることができる。
【００７７】
さらに、第１の実施の形態の別の修正例として、ダウンミックス係数によって乗算された基底関数を、ＩＭＤＣＴ実行時にＭＤＣＴ係数に乗算してもよい。こうすることによって、ダウンミキシング時にダウンミックス係数の乗算を実行することが不要となるので、上述と同様の有利な効果を得ることができる。
【００７８】
[第２の実施の形態]
本発明の第２の実施の形態に係る符号化装置について、多チャンネル音声信号からダウンミキシングされた符号化音声信号を生成する符号化装置及び符号化方法を例に説明する。第２の実施の形態では、例示としてＡＡＣを用いるが、本発明はＡＡＣに限定されないことは言うまでもない。
【００７９】
＜音声信号の符号化処理＞
図９は、音声信号の符号化処理のフローを説明する図である。
【００８０】
図９に示すように、符号化処理において、一定の間隔を有する変換ブロック４６１が、処理対象の音声信号４６０から切り取られ（分離され）、窓関数４６２によって乗算される。同時に、音声信号４６０のサンプルされた値が、予め算出されている窓関数の値によって乗算される。それぞれの変換ブロックは他の変換ブロックに対して重ね合わされるように設定される。
【００８１】
窓関数４６２によって乗算された時間領域の音声信号４６３は、ＭＤＣＴによってＭＤＣＴ係数４６４に変換される。ＭＤＣＴ係数４６４は、量子化され、エントロピー符号化されて符号化音声信号（符号化信号）を含むストリームを生成する。
【００８２】
＜符号化装置のハードウェア構成＞
図１０は、本発明の第２の実施の形態に係る符号化装置の構成を説明する図である。
【００８３】
図１０に示すように、符号化装置２０は、５．１チャンネル音声信号を保存する信号保存部２１と、それぞれのチャンネルの音声信号をミキシングして２チャンネルのダウンミキシングされたステレオ音声信号を生成するミキシング部２２と、音声信号の符号化処理を実行するチャンネル符号化器２３ａ、２３ｂと、２チャンネル符号化音声信号を多重化して、ストリームを生成する多重化部２４と、を含む。第２の実施の形態に係る符号化処理は、ＡＡＣに基づくエントロピー符号化処理である。
【００８４】
ミキシング部２２は、乗算器５０ａ、５０ｃ、５０ｅと、加算器５１ａ、５１ｂとを有する。乗算器５０ａは、所定の係数δ／αで左サラウンドチャンネル音声信号ＬＳ２０を乗算する。乗算器５０ｃは、所定の係数β／αで中央チャンネル音声信号Ｃ２０を乗算する。乗算器５０ｅは、所定の係数δ／αで右サラウンドチャンネル音声信号ＲＳ２０を乗算する。
【００８５】
加算器５１ａは、乗算器５０ａから出力される音声信号ＬＳ２１と、信号保存部２１から出力された左チャンネル音声信号Ｌ２０と、乗算器５０ｃから出力される音声信号Ｃ２１とを加算して、ダウンミキシングされた左チャンネル音声信号ＬＤＭ２０を生成する。加算器５１ｂは、乗算器５０ｃから出力される音声信号Ｃ２１と、信号保存部２１から出力された右チャンネル音声信号Ｒ２０と、乗算器５０ｅから出力される音声信号ＲＳ２１とを加算して、ダウンミキシングされた右チャンネル音声信号ＲＤＭ２０を生成する。
【００８６】
チャンネル符号化器２３ａは、左チャンネル音声信号ＬＤＭ２０の符号化処理を実行する。チャンネル符号化器２３ｂは、右チャンネル音声信号ＲＤＭ２０の符号化処理を実行する。
【００８７】
多重化部２４は、チャンネル符号化器２３から出力された音声信号ＬＤＭ３２と、チャンネル符号化器２３ｂから出力された音声信号ＲＤＭ２１とを多重化してストリームＳを生成する。
【００８８】
図１１は、チャンネル符号化器の構成を説明するブロック図である。図１０に示すそれぞれのチャンネル符号化器２３ａ、２３ｂは基本的に同様であるので、チャンネル符号化器２３ａの構成を図１１を参照して説明する
【００８９】
図１１に示すように、チャンネル符号化器２３は、変換ブロック分離部６０と、窓処理部６１と、窓関数保存部６２と、変換部６３とを含む。
【００９０】
変換ブロック分離部６０は、入力された音声信号を変換ブロックベースの音声信号に分離する。変換ブロックは所定長を有する。
【００９１】
窓処理部６１は、変換ブロック分離部６０から出力された音声信号を、スケール窓関数によって乗算する。スケール窓関数とは、音声信号の混合比を決定するダウンミックス係数と正規化窓関数との積である。第１の実施の形態と同様に、ＫＢＤ窓又は正弦窓など、様々な関数を窓関数として使用することができる。窓関数保存部６２は、窓処理部６１２が音声信号に乗算する窓関数を保存し、当該窓関数を窓処理部６１に出力する。
【００９２】
変換部６３は、ＭＤＣＴ部６３ａと、量子化部６３ｂと、エントロピー符号化部６３ｃとを含む。
【００９３】
ＭＤＣＴ部６３ａは、窓処理部６１から出力される時間領域の音声信号をＭＤＣＴによってＭＤＣＴ係数に変換する。数式（８）はＭＤＣＴ変換を表す。
【数８】
【００９４】
数式（８）において、Ｎは、窓長（サンプル数）を表し、ｚｉ、ｎは、窓関数を掛け合わせた時間領域の音声信号を表す。ｉは、変換ブロックのインデックスを表す。ｎは時間領域の音声信号のインデックスを表す。Ｘｉ，ｋは、ＭＤＣＴ係数を表す。ｋは、ＭＤＣＴ係数のインデックスを表す。ｎ０は、（Ｎ／２＋１）／２を表す。
【００９５】
量子化部６３ｂは、ＭＤＣＴ部６３ａから出力されたＭＤＣＴ係数を量子化して、量子化ＭＤＣＴ係数を生成する。エントロピー符号化部６３ｃは、量子化ＭＤＣＴ係数をエントロピー符号化によって符号化して符号化音声信号（ビットストリーム）を生成する。
【００９６】
図１２は、本発明の第２の実施の形態に係る符号化装置のミキシング部をベースとするミキシング部の構成を説明するブロック図である。
【００９７】
図１２に示すように、ミキシング部６５は、図１０に示すミキシング部２２に相当する。ミキシング部６５は、乗算器５０ａ、５０ｃ、５０ｅと、加算器５１ａ、５１ｂとを有する。乗算器５０ａは、所定の係数δ０で左サラウンドチャンネル音声信号ＬＳ２０を乗算する。乗算器５０ｂは、所定の係数α０で左チャンネル音声信号Ｌ２０を乗算する。乗算器５０ｃは、所定の係数β０で中央チャンネル音声信号Ｃ２０を乗算する。乗算器５０ｄは、所定の係数α０で右チャンネル音声信号Ｒ２０を乗算する。乗算器５０ｅは、所定の係数δ０で右サラウンドチャンネル音声信号ＲＳ２０を乗算する。
【００９８】
加算器５１ａは、乗算器５０ａから出力される音声信号ＬＳ２１と、乗算器５０ｂから出力される音声信号Ｌ２１と、乗算器５０ｃから出力される音声信号Ｃ２１とを加算して、ダウンミキシングされた左チャンネル音声信号ＬＤＭ３０を生成する。加算器５１ｂは、乗算器５０ｃから出力される音声信号Ｃ２１と、乗算器５０ｄから出力される音声信号Ｒ２１と、乗算器５０ｅから出力される音声信号ＲＳ２１とを加算して、ダウンミキシングされた右チャンネル音声信号ＲＤＭ３０を生成する。
【００９９】
ミキシング部６５は、図１に示すものと同様のダウンミキシングを実行する。ここで、ダウンミックス係数がα、β、δで表され、ダウンミックス係数αは図１２に示す係数α０に設定され、ダウンミックス係数βは図１２に示す係数β０に設定され、ダウンミックス係数δは図１２に示す係数δ０に設定される。これらの係数α０、β０、δ０を適当な値に設定することにより、乗算の回数をミキシング部６５の回数と比較して削減する、ミキシング部を構築することができる。
【０１００】
図１２とともに図１０を再び参照する。ミキシング部における、左チャンネル音声信号Ｌ２０と右チャンネル音声信号Ｒ２０に乗算する係数は１（＝α／α）に設定される。中央チャンネル音声信号Ｃ２０に乗算する係数は、ダウンミックス係数βをダウンミックス係数αで除算して得られる値（＝β／α）に設定される。左サラウンドチャンネル音声信号ＬＳ２０と右サラウンドチャンネル音声信号ＲＳ２０に乗算する係数はダウンミックス係数δをダウンミックス係数αで除算して得られる値（＝δ／α）に設定される。
【０１０１】
即ち、第２の実施の形態によると、音声信号に乗算する係数は、図１に示す音声信号に乗算するそれぞれの係数を、ダウンミックス係数αの逆数（１／α）で乗算して得た値となる。さらに、図１０に示すように、左チャンネル音声信号Ｌ２０と右チャンネル音声信号Ｒ２０に乗算する係数は１に設定しているので、左チャンネル音声信号Ｌ２０と右チャンネル音声信号Ｒ２０に乗算を実行することは不要となる。したがって、ミキシング部６５の乗算器５０ｂ、５０ｄはミキシング部２２から省略される。
【０１０２】
音声信号に乗算するそれぞれの係数にダウンミックス係数の逆数（＝１／α）を乗算することを省略するためには、ダウンミックス係数αによってダウンミキシングされた音声信号を乗算する必要がある。第２の実施の形態では、窓処理部６１が音声信号に乗算する窓関数を、ダウンミックス係数αによって窓関数を乗算して得られたスケール窓関数に設定する。したがって、音声信号に乗算するそれぞれの係数にダウンミックス係数αの逆数（＝１／α）の乗算を行うことは省略される。
【０１０３】
再び図１０を参照する。ダウンミックス係数であるαとβがお互いに等しい、又は、ダウンミックス係数であるαとδはお互いに等しい場合、β／α又はδ／αは１となるので、左チャンネルと右チャンネルに関連する乗算器に加えて、乗算器５０ｃ又は乗算器５０ａと５０ｅは省略することができる。ダウンミックス係数α、β、δがお互いに等しい場合、β／αとδ／αは１となり、全てのチャンネルに関連する乗算器は省略することができる。
【０１０４】
さらに、上述の説明において、音声信号に乗算するそれぞれの係数は、ダウンミックス係数αの逆数（＝１／α）によって乗算されるとしたが、音声信号に乗算するそれぞれの係数は、ダウンミックス係数βの逆数（＝１／β）又は、ダウンミックス係数δの逆数（＝１／δ）によって乗算してもよい。
【０１０５】
音声信号に乗算するそれぞれの係数をダウンミックス係数βの逆数（＝１／β）で乗算する場合、窓処理部６１が音声信号に乗算するスケール窓関数は、ダウンミックス係数βと正規化窓関数の積となる。さらに、ミキシング部２２の構成は、図１２のミキシング部６５の構成から乗算器５０ｃを省いたものとなる。
【０１０６】
音声信号に乗算するそれぞれの係数をダウンミックス係数δの逆数（＝１／δ）で乗算する場合、窓処理部６１が音声信号に乗算するスケール窓関数は、ダウンミックス係数δと正規化窓関数の積となる。さらに、ミキシング部２２の構成は、図１２のミキシング部６５の構成から乗算器５０ａ、５０ｅを省いたものとなる。
【０１０７】
第２の実施の形態の符号化装置によると、ダウンミックス係数によって乗算される窓関数は、ミキシング部２２によって処理された音声信号に乗算される。したがって、ミキシング部２２は、チャンネルの少なくとも一部にダウンミックス係数の乗算を実行することは不要となる。このため、音声信号をダウンミキシングする際の乗算処理の数を減らすことができ、結果として音声信号の処理が高速となる。さらに、従来のダウンミキシングにおいてダウンミックス係数の乗算に必要であった乗算器を不要とすることができるので、回路の規模及び電力消費を削減できる。
【０１０８】
例えば、ダウンミックス係数がチャンネルに応じて異なるとしても、ミキシング部２２におけるダウンミックス係数の乗算を少なくとも一つのチャンネルで省略できる。特に、複数のチャンネルのダウンミックス係数が等しい場合には、ミキシング部２２におけるダウンミックス係数の乗算をさらに省略することができる。
【０１０９】
＜符号化装置の機能構成＞
符号化装置２０の上述の機能は、プログラムを用いたソフトウェア処理によって具現化してもよい。
【０１１０】
図１３は、第２の実施の形態に係る符号化装置の機能構成図である。
【０１１１】
図１３に示すように、ＣＰＵ３００は、メモリ３１０に展開されるアプリケーションプログラムを用いて、ミキシング部３０１、変換ブロック分離部３０２、窓処理部３０３、変換部３０４のそれぞれの機能ブロックを構成する。ミキシング部３０１の機能は、図１０に示すミキシング部２２と同様である。変換ブロック分離部３０２の機能は、図１１に示す変換ブロック分離部６０と同様である。窓処理部３０３の機能は、図１１に示す窓処理部６１と同様である。変換部３０４の機能は、図１１に示す変換部６３と同様である。
【０１１２】
メモリ３１０は、信号保存部３１１と窓関数保存部３１２の機能ブロックを構成する。信号保存部３１１の機能は、図１０に示す信号保存部２１の機能と同様である。窓関数保存部３１２の機能は、図１１に示す窓関数保存部６２の機能と同様である。メモリ３１０は、ＲＯＭ（Ｒｅａｄ Ｏｎｌｙ Ｍｅｍｏｒｙ）、ＲＡＭ（Ｒａｎｄｏｍ Ａｃｃｅｓｓ Ｍｅｍｏｒｙ）の何れか一つ、あるいは、両方を含んでもよい。本実施の形態では、メモリ３１０はＲＯＭとＲＡＭの両方を含むものとして説明を進める。メモリ３１０は、ハードディスクドライブ（ＨＤＤ）、半導体メモリ、磁気テープドライブ、光ディスクドライブなどの記録媒体を含む装置であってもよい。ＣＰＵ３００によって実行されるアプリケーションプログラムは、ＲＯＭ又はＲＡＭに保存してもよく、あるいは、上述の記録媒体を有するＨＤＤなどに保存してもよい。
【０１１３】
音声信号の符号化機能は、上述のそれぞれの機能ブロックによって具現化される。ＣＰＵ３００によって処理される（符号化信号を含む）音声信号は、信号保存部３１１に保存される。ＣＰＵ３００は、メモリ３１０からダウンミキシングする音声信号を読み出し、ミキシング部３０１を用いて当該音声信号をミキシングする処理を実行する。
【０１１４】
さらに、ＣＰＵ３００は、変換ブロック分離部３０２を用いてダウンミキシングされた音声信号を分離して、時間領域の変換ブロックベースの音声信号を生成する処理を実行する。ここで、変換ブロックは所定長を有する。
【０１１５】
さらに、ＣＰＵ３００は、ダウンミキシングされた音声信号を、窓処理部３０３を用いて窓関数によって乗算する処理を実行する。この処理で、ＣＰＵ３００は、窓関数保存部３１２から音声信号に乗算する窓関数を読み出す。
【０１１６】
さらに、ＣＰＵ３００は、変換部３０４を用いて音声信号を変換して、符号化音声信号を生成する処理を実行する。符号化音声信号は、信号保存部３１１に保存される。
【０１１７】
＜符号化方法＞
【０１１８】
図１４は、本発明の第２の実施の形態に係る符号化方法を説明するフローチャートである。本発明の第２の実施の形態に係る符号化方法について図１４を参照して、５．１チャンネル音声信号をダウンミキシングして符号化する例を用いて説明する。
【０１１９】
最初に、ステップＳ２００において、ＣＰＵ３００は、左サラウンドチャンネル（ＬＳ）、左チャンネル（Ｌ）、中央チャンネル（Ｃ）、右チャンネル（Ｒ）、右サラウンドチャンネル（ＲＳ）を含む、それぞれのチャンネルの音声信号の一部を係数によって乗算し、得られた信号をミキシングして、ダウンミキシングした左チャンネル（ＬＤＭ）音声信号とダウンミキシングした右チャンネル（ＲＤＭ）音声信号を生成する。
【０１２０】
具体的には、ＣＰＵ３００は、左サラウンドチャンネル（ＬＳ）音声信号には係数δ／αを乗じて、中央チャンネル（Ｃ）音声信号には係数β／αを乗じる。左チャンネル（Ｌ）には係数の乗算を実行しない。ＣＰＵ３００は、係数δ／αを乗じた左サラウンドチャンネル（ＬＳ）音声信号と、左チャンネル（Ｌ）音声信号と、係数β／αを乗じた中央チャンネル（Ｃ）音声信号とを加算して、ダウンミキシングした左チャンネル（ＬＤＭ）音声信号を生成する。
【０１２１】
さらに、ＣＰＵ３００は、中央チャンネル（Ｃ）音声信号に係数β／αを乗じて、右サラウンドチャンネル（ＲＳ）音声信号に係数δ／αを乗じる。右チャンネル（Ｒ）音声信号に係数の乗算は実行しない。ＣＰＵ３００は、係数β／αを乗じた中央チャンネル（Ｃ）音声信号と、右チャンネル（Ｒ）音声信号と、係数δ／αを乗じた右サラウンドチャンネル（ＲＳ）音声信号とを加算して、ダウンミキシングした右チャンネル（ＲＤＭ）音声信号を生成する。
【０１２２】
続いて、ステップＳ２１０において、ＣＰＵ３００は、ステップＳ２００でダウンミキシングされた音声信号を分離して時間領域の変換ブロックベースの音声信号を生成する。変換ブロックは所定長を有する。
【０１２３】
続いて、ステップＳ２２０において、ＣＰＵ３００は、メモリ３１０の窓関数保存部３１２から窓関数を読み出し、ステップＳ２１０で生成された音声信号を当該窓関数によって乗算する。窓関数は、ダウンミックス係数の除算から得られたスケール窓関数である。さらに、一例では、窓関数をそれぞれのチャンネルに用意しておき、それぞれのチャンネルに対応する窓関数をそれぞれのチャンネルの音声信号に乗算する。
【０１２４】
続いて、ステップＳ２３０において、ＣＰＵ３００は、ステップＳ２２０で処理された音声信号を変換して符号化音声信号を生成する。この変換では、ＭＤＣＴ、量子化、エントロピー符号化を含むそれぞれの処理を実行する。
【０１２５】
第２の実施の形態の符号化方法によると、ダウンミックス係数で乗算された窓関数は、ミキシングされた音声信号に乗算される。したがって、ステップＳ２００において、複数のチャンネルの少なくとも一部にダウンミックス係数の乗算を実行する必要はなくなる。ダウンミックス係数の乗算を複数のチャンネルの少なくとも一部に実行しないので、ダウンミックス係数の乗算を全てのチャンネルに実行する従来技術と比較して、ステップＳ２００における音声信号の処理は高速となる。
【０１２６】
第２の実施の形態の修正例として、符号化装置に入力された所定のビット精度を有する信号を[−１．０、１．０]の範囲を有するように、所定のゲイン係数を乗算して拡大又は縮小し、符号化時にスケール信号を符号化してもよい。信号は、ゲイン係数で乗算された窓関数によって乗算してもよい。例えば、１６ビット信号を符号化装置に入力する場合、ゲイン係数は１／２１５に設定する。こうすることにより、符号化される前にゲイン係数によって信号を乗算する必要はないので、上述と同様の有利な効果を得ることができる。
【０１２７】
さらに、第２の実施の形態の別の修正例として、ＭＤＣＴを実行する際に、音声信号にダウンミックス係数によって乗算された基底関数を乗算してもよい。こうすることによって、ダウンミキシング時にダウンミックス係数の乗算を実行することが不要となるので、上述と同様の有利な効果を得ることができる。
【０１２８】
[第３の実施の形態]
本発明の第３の実施の形態に係る編集装置について、多チャンネル音声信号を編集する編集装置及び編集方法を例に説明する。第３の実施の形態では、例示としてＡＡＣを用いるが、本発明はＡＡＣに限定されないことは言うまでもない。
【０１２９】
＜編集装置のハードウェア構成＞
図１５は、本発明の第３の実施の形態に係る符号化装置の構成を説明する図である。
【０１３０】
図１５に示すように、編集装置１００は、光ディスク又はその他の記録媒体を駆動するドライブ１０１と、ＣＰＵ１０２と、ＲＯＭ１０３と、ＲＡＭ１０４と、ＨＤＤ１０５と、通信インタフェース１０６と、入力インタフェース１０７と、出力インタフェース１０８と、ＡＶ部１０９と、これらを接続するバス１１０と、を含む。さらに、第３の実施の形態に係る編集装置は、第１の実施の形態に係る復号装置の機能と、第２の実施の形態に係る復号装置の機能とを有する。
【０１３１】
光ディスクなどの脱着可能な媒体１０１ａがドライブ１０１に装着されると、脱着可能な媒体１０１ａからデータが読み出される。図１５には、ドライブ１０１は編集装置１００に設けられているが、ドライブ１０１は、外部ドライブでもよい。光ディスクの他に、ドライブ１０１には、磁気ディスク、光磁気ディスク、ブルーレイディスク、半導体メモリなどを用いてもよい。通信インタフェース１０６を介して接続可能なネットワークｎリソースから材料データを読み込んでもよい。
【０１３２】
ＣＰＵ１０２は、ＲＯＭ１０３に記録された制御プログラムを、ＲＡＭ１０４などの揮発性メモリ領域に展開して、編集装置１００の全体の動作を制御する。
【０１３３】
ＨＤＤ１０５は、編集装置としてのアプリケーションプログラムを保存する。ＣＰＵ１０２は、アプリケーションプログラムをＲＡＭ１０４に展開する。これによって、コンピュータは、編集装置として機能することができる。さらに、編集装置１００は、光ディスクなどの脱着可能な媒体１０１ａから読み出した材料データ、それぞれのクリップの編集データなどを、ＨＤＤ１０５に保存する。ＨＤＤ１０５に保存した材料データへのアクセス速度は、ドライブ１０１に装着した光ディスクよりも早いので、ＨＤＤ１０５に保存された材料データを用いることで、編集時の表示の遅延は減少する。編集データを保存する手段は、ＨＤＤ１０５に限定されず、高速アクセスが可能な保存手段であれば、例えば、磁気ディスク、光磁気ディスク、ブルーレイディスク、半導体メモリなどを用いてもよい。通信インタフェース１０６を介して接続可能なネットワークの保存手段を編集データの保存手段として用いてもよい。
【０１３４】
通信インタフェース１０６は、接続されたビデオカメラとの通信を、例えば、ＵＳＢ（Ｕｎｉｖｅｒｓａｌ Ｓｅｒｉａｌ Ｂｕｓ）を介して行い、ビデオカメラの記録媒体に記録されたデータを受信する。さらに、通信インタフェース１０６は、生成した編集データをネットワークのリソースにＬＡＮ又はインターネットを介して送信することができる。
【０１３５】
入力インタフェース１０７は、キーボード又はマウスなどの操作部４００を介して入力されたユーザによる指示を受け付け、バス１１０を介して操作信号をＣＰＵ１０２に提供する。出力インタフェース１０８は、ＣＰＵ１０２からの画像データ又は音声データをＬＣＤ（液晶ディスプレイ）又はＣＲＴなどの表示装置、又はスピーカなどの出力装置５００に提供する。
【０１３６】
ＡＶ部１０９は、様々な処理をビデオ信号と音声信号に実行し、次の構成要素と機能を有する。
【０１３７】
外部ビデオ信号インタフェース１１１は、画像圧縮／解凍部１１２、及び編集装置１００の外部とビデオ信号を送受信する。例えば、外部ビデオ信号インタフェース１１１は、アナログコンポジット信号及びアナログコンポーネント信号の入出力部を設けてもよい。
【０１３８】
画像圧縮／解凍部１１２は、ビデオインタフェース１１３を介して供給されたビデオデータを復号してアナログ変換して、得られたビデオ信号を外部ビデオ信号インタフェース１１１に出力する。さらに、画像圧縮／解凍部１１２は、外部ビデオ信号インタフェース１１１又は外部ビデオ／音声信号インタフェース１１４から供給されたビデオ信号を必要に応じてデジタル変換して、変換したビデオ信号を、例えば、ＭＰＥＧ−２方式によって圧縮し、得られたデータをビデオインタフェース１１３を介してバス１１０に出力する。
【０１３９】
ビデオインタフェース１１３は、画像圧縮／解凍部１１２及びバス１１０とデータを送受信する。
【０１４０】
外部ビデオ／音声信号インタフェース１１４は、外部機器から入力されたビデオデータを画像圧縮／解凍部１１２に出力し、音声データはオーディオプロセッサ１１６に出力する。さらに、外部ビデオ／音声信号インタフェース１１４は、画像圧縮／解凍部１１２から供給されたビデオデータと、オーディオプロセッサ１１６から供給された音声データを外部機器に出力する。例えば、外部ビデオ／音声信号インタフェース１１４は、ＳＤＩ（Ｓｅｒｉａｌ Ｄｉｇｉｔａｌ Ｉｎｔｅｒｆａｃｅ）などに基づくインタフェースである。外部音声信号インタフェース１１５は、外部機器とオーディオプロセッサ１１６の間で音声信号を送受信する。例えば、外部音声信号インタフェース１１５は、アナログ音声信号のインタフェース標準に基づくインタフェースである。
【０１４１】
オーディオプロセッサ１１６は、外部音声信号インタフェース１１５から供給された音声信号をアナログデジタル変換して、得られたデータをオーディオインタフェース１１７に出力する。さらに、オーディオプロセッサ１１６は、オーディオインタフェース１１７から出力される音声データにデジタルアナログ変換、音声調整（ｖｏｉｃｅ ａｄｊｕｓｔｍｅｎｔ）などを実行して、得られた信号を外部音声信号インタフェース１１５に出力する。
【０１４２】
オーディオインタフェース１１７は、オーディオプロセッサ１１６にデータを供給し、オーディオプロセッサ１１６からのデータをバス１１０に出力する。
【０１４３】
＜編集装置の機能構成＞
図１６は、第３の実施の形態に係る編集装置の機能構成図である。
【０１４４】
図１６に示すように、メモリに展開されたアプリケーションプログラムを用いて、編集装置１００のＣＰＵ１０２は、ユーザインタフェース部７０、編集部７３、情報入力部７４、情報出力部７５のそれぞれの機能ブロックを構成する。
【０１４５】
それぞれの機能ブロックは、材料データ及び／又は編集データを含むプロジェクトファイルのインポート機能、それぞれのクリップの編集機能、材料データ及び／編集データを含むプロジェクトファイルのエクスポート機能、プロジェクトファイルのエクスポート時における材料データのマージン設定機能などを具現化する。以下、編集機能の詳細について説明する
【０１４６】
＜編集機能＞
図１７は、編集装置の編集画面の一例を説明する図である。
【０１４７】
図１７を図１６と合わせて参照する。表示制御部７２によって編集画面の表示データを生成し、出力装置５００のディスプレイに出力する。
【０１４８】
編集画面１５０は、編集されたコンテンツ又は取得した材料データの再生画面を表示する再生ウインドウ１５１と、それぞれのクリップがタイムラインに沿って配置される、複数のトラックにより構成されるタイムラインウインドウ１５２と、アイコンなどを用いて取得した材料データを表示するビンウインドウ１５３と、を含む。
【０１４９】
ユーザインタフェース部７０は、操作部４００を介してユーザにより入力された指示を受け取る指示受け付け部７１と、ディスプレイ又はスピーカなどの出力装置５００の表示制御を実行する表示制御部７２とを含む。
【０１５０】
編集部７３は、情報入力部７４を介して、操作部４００を介してユーザから入力された指示によって指定されたクリップが参照する材料データ、又は、デフォルトで指定されるプロジェクト情報を有するクリップが参照する材料データを取得する。
【０１５１】
HDD１０５に記録された材料データが指定された場合、情報入力部７４はビンウインドウ１５３にアイコンを表示し、ＨＤＤ１０５に記録されていない材料データが指定された場合、情報入力部７４は、ネットワーク又は脱着可能な媒体のリソースから材料データを読み出し、ビンウインドウ１５３にアイコンを表示する。図示の例では、３つの材料データがアイコンＩＣ１〜ＩＣ３によって表示されている。
【０１５２】
指示受け付け部７１は、編集画面において、編集に使用されたクリップの指定、材料データの参照範囲、参照範囲により占有されるコンテンツの時間軸の時間的位置を受け取る。具体的には、指示受け付け部７１は、クリップＩＤの指定、参照範囲の開始点及び時間的長さ、クリップが配置されるコンテンツの時間情報などを受け取る。このためには、ユーザは、表示されたクリップ名を手掛かりとして、所望の材料データのアイコンをタイムライン上でドラッグしてドロップする。この動作により、指示受け付け部７１はクリップＩＤの指定を受け付け、選択されたクリップが、選択されたクリップが参照する参照範囲に対応する時間的長さ分、トラックに配置される。
【０１５３】
トラックに配置されたクリップのタイムライン上の開始点、終点、及び時間的な配置は、適当に変更することができ、例えば、編集画面におけるマウスカーソルの移動、所定の動作を行うための指示を入力することができる。
【０１５４】
例えば、録音材料の編集は以下のように実行する。ユーザが操作部４００を使用してＨＤＤ１０５に記録したＡＡＣ方式の５．１チャンネル録音材料を指定すると、指示受け付け部７１は指定を受け付け、編集部７３は表示制御部７２を介して、出力装置５００のディスプレイのビンウインドウ１５３にアイコン（クリップ）を表示する。
【０１５５】
ユーザが操作部４００を用いて、タイムラインウインドウ１５２の音声トラック１５４にクリップを配置するように指示をすると、指示受け付け部７１は指定を受け付け、編集部７３は表示制御部７２を介して出力装置５００のディスプレイの音声トラック１５４にクリップを表示する。ユーザが、例えば、操作部４００を用いた所定の操作により、表示される編集コンテンツの中から、ステレオへのダウンミキシングを選択した場合、指示受け付け部７１は、ステレオへのダウンミキシングの指示（編集処理指示）を受け付け、この指示を編集部７３に伝える。
【０１５６】
編集部７３は、指示受け付け部７１から通知された指示に従って、ＡＡＣ方式の５．１チャンネル録音材料をダウンミキシングして、ＡＡＣ方式の２チャンネルの録音材料を生成する。この時、編集部７３は、第１の実施の形態に係る復号方法を実行して、ダウンミキシングされた復号ステレオ音声信号を生成してもよく、又は、編集部７３は、第２の実施形態の係る符号化方法を実行して、ダウンミキシングされた符号化ステレオ音声信号を生成してもよい。さらに、両方の方法を略同時に実行いてもよい。
【０１５７】
編集部７３によって生成された音声信号は、情報出力部７５に出力される。情報出力部７５は、編集された録音材料を、例えば、ＨＤＤ１０５にバス１１０を介して出力して、当該編集された録音資料をそこに記録する。
【０１５８】
音声トラック１５４のクリップを再生する指示をユーザから与えられると、編集部７３は上述の復号方法によって５．１チャンネル録音材料をダウンミキシングしながら、ダウンミキシングされた材料を再生したかのように、ダウンミキシングされた復号ステレオ音声信号を出力して再生することができることに留意されたい。
【０１５９】
＜編集方法＞
図１８は、本発明の第３の実施の形態に係る編集方法を説明するフローチャートである。本発明の第３の実施の形態に係る編集方法について図１８を参照して５．１チャンネル音声信号を編集する場合を例に説明する。
【０１６０】
最初にステップＳ３００において、ユーザがＨＤＤ１０５に記録されたＡＡＣ方式の５．１チャンネル録音材料を指定すると、ＣＰＵ１０２はこの指定を受け付け、ビンウインドウ１５３にアイコンで録音材料を表示する。さらに、ユーザが表示アイコンをタイムラインウインドウ１５２の音声トラック１５４に配置する指示を与えると、ＣＰＵ１０２は指示を受け付け、タイムラインウインドウ１５２の音声トラック１５４に録音材料のクリップを配置する。
【０１６１】
続いて、ステップＳ３１０で、例えば、ユーザによる操作部４００を介した所定の操作によって表示される編集コンテンツから、録音材料のステレオへのダウンミキシングが選択されると、ＣＰＵ１０２は、選択を受け付ける。
【０１６２】
続いて、ステップＳ３２０で、ステレオへのダウンミキシングの指示を受け付けたＣＰＵ１０２は、ＡＡＣ方式の５．１チャンネル録音材料をダウンミキシングして２チャンネルステレオ音声信号を生成する。この時、ＣＰＵ１０２は、第１の実施の形態に係る復号方法を実行して、ダウンミキシングされた復号ステレオ音声信号を生成してもよく、又は、ＣＰＵ１０２は、第２の実施の形態に係る符号化方法を実行して、ダウンミキシングされた符号化ステレオ音声信号を生成してもよい。ＣＰＵ１０２は、ステップＳ３２０で生成された音声信号をバス１１０を介してＨＤＤ１０５に出力し、生成された音声信号をＨＤＤ１０５に保存する（ステップＳ３３０）。音声信号は、ＨＤＤに記録する代わりに、編集装置の外部の装置に出力してもよいことにも留意されたい。
【０１６３】
第３の実施の形態によると、音声信号を編集することができる編集装置であっても、第１の実施の形態と第２の実施の形態と同様の有利な効果を得ることができる。
【０１６４】
以上、本発明の好ましい実施の形態について詳細に説明した。しかしながら、本発明はこれらの特定の実施の形態に限定されることはなく、特許請求の範囲に記載された本発明の範囲から逸脱することなく様々な修正を行うことができる。
【０１６５】
例えば、音声信号のダウンミキシングは、ステレオへのダウンミキシングに限定されない。モノラルへのダウンミキシングを実行してもよい。さらに、ダウンミキシングは５．１チャンネルのダウンミキシングに限定されず、一例として、７．１チャンネルダウンミキシングを実行してもよい。より詳細には、７．１チャンネルのオーディオシステムでは、５．１チャンネルと同様のチャンネルに加えて、例えば、２チャンネル（左後方チャンネル（ＬＢ）及び右後方チャンネル（ＲＢ）がある。）７．１チャンネル音声信号が５．１チャンネル音声信号にダウンミキシングされる場合、ダウンミキシングは、数式（９）及び（１０）に従って実行することができる。
ＬＳＤＭ＝αＬＳ＋βＬＢ （９）
ＲＳＤＭ＝αＲＳ＋βＲＢ （１０）
【０１６６】
数式（９）において、ＬＳＤＭは、ダウンミキシング後の左サラウンドチャンネル音声信号を表し、ＬＳは、ダウンミキシング前の左サラウンドチャンネル音声信号を表し、ＬＢは、左後方チャンネル音声信号を表す。数式（１０）において、ＲＳＤＭは、ダウンミキシング後の右サラウンドチャンネル音声信号を表し、ＲＳは、ダウンミキシング前の右サラウンドチャンネル音声信号を表し、ＲＢは、右後方チャンネル音声信号を表す。数式（９）、（１０）において、α及びβは、ダウンミックス係数を表す。
【０１６７】
数式（９）、（１０）に従って生成される左サラウンドチャンネル音声信号と右サラウンドチャンネル音声信号、及び、ダウンミキシングでは使用されない中央チャンネル音声信号、左チャンネル音声信号、及び右チャンネル音声信号とが５．１チャンネル音声信号を構成する。５．１チャンネル音声信号を２チャンネル音声信号にダウンミキシングする方法と同様に、７．１チャンネル音声信号を２チャンネル音声信号にダウンミキシングしてもよい。
【０１６８】
さらに、上述の実施の形態では、ＡＡＣを例に説明したが、本発明は、ＡＡＣに限定されず、ＡＣ３、ＡＴＲＡＣ３のＭＤＣＴなど、時間周波数変換に窓関数を用いたコーデックを採用する場合に適用可能である。
【符号の説明】
【０１６９】
１０・・・復号装置
１１、２１、２１１、３１１・・・信号保存部
１２・・・多重分離部
１３ａ、１３ｂ、１３ｃ、１３ｄ、１３ｅ・・・チャンネル復号器
１４、２２、２０４、３０１・・・ミキシング部
２０・・・符号化装置
２３ａ、２３ｂ・・・チャンネル符号化器
２４・・・多重化部
３０ａ、３０ｂ、５１ａ、５１ｂ・・・加算器
４０、６３、２０１、３０４・・・変換部
４１、６１、２０２、３０３・・・窓処理部
４２、６２、２１２、３１２・・・窓関数保存部
４２、２０３・・・変換ブロック合成部
５０ａ、５０ｂ、５０ｃ、５０ｄ、５０ｅ・・・乗算器
６０、３０２・・・変換ブロック分離部
７３・・・編集部
１００、２００、３００・・・ＣＰＵ
２１０、３１０・・・メモリ
【特許請求の範囲】
【請求項１】
多チャンネル音声信号を含む符号化音声信号を保存する保存手段（１１）と、
前記符号化音声信号を変換して、時間領域の変換ブロックベースの音声信号を生成する変換手段（４０）と、
前記変換ブロックベースの音声信号に、第１の窓関数と前記音声信号の混合比の積を第２の窓関数として乗算する窓処理手段（４１）と、
乗算された変換ブロックベースの音声信号を重ね合わせて多チャンネル音声信号を合成する合成手段（４３）と、
チャンネルの間で合成された多チャンネル音声信号をミキシングして、ダウンミキシングされた音声信号を生成するミキシング手段（１４）と、を備える復号装置（１０）。
【請求項２】
前記第１の窓関数は正規化されていることを特徴とする、請求項１記載の復号装置。
【請求項３】
前記ミキシング手段は、前記合成された多チャンネル音声信号を、前記符号化音声信号に含まれているチャンネルの数より少ない数のチャンネルを有する音声信号に変換することを特徴とする、請求項１記載の復号装置。
【請求項４】
前記符号化音声信号は、５．１チャンネル又は７．１チャンネルのオーディオシステムの音声信号であり、
前記ミキシング手段は、ステレオ音声信号又はモノラル音声信号を生成することを特徴とする、請求項１記載の復号装置。
【請求項５】
多チャンネル音声信号を含む符号化音声信号を保存するメモリ（２１０）と、
ＣＰＵ（２００）と、を備え、
前記ＣＰＵは、前記符号化音声信号を変換して、時間領域の変換ブロックベースの音声信号を生成し、
前記変換ブロックベースの音声信号に、第１の窓関数と前記音声信号の混合比との積を第２の窓関数として乗算し、
乗算された変換ブロックベースの音声信号を重ね合わせて多チャンネル音声信号を合成し、
チャンネルの間で合成された多チャンネル音声信号をミキシングして、ダウンミキシングされた音声信号を生成するように構成されていることを特徴とする、復号装置（１０）。
【請求項６】
前記ＣＰＵは、
前記符号化音声信号に含まれているチャンネルの数より少ない数のチャンネルを有するミキシングされた音声信号に変換するように構成されていることを特徴とする、請求項５記載の復号装置。
【請求項７】
前記符号化音声信号は、５．１チャンネル又は７．１チャンネルのオーディオシステムの音声信号であり、
前記ＣＰＵは、ステレオ音声信号又はモノラル音声信号を生成するように構成されていることを特徴とする、請求項５記載の復号装置。
【請求項８】
多チャンネル音声信号を保存する保存手段（２１）と、
前記多チャンネル音声信号をチャンネルの間でミキシングしてダウンミキシングされた音声信号を生成するミキシング手段（２２）と、
前記ダウンミキシングされた音声信号を分離して変換ブロックベースの音声信号を生成する分離手段（６０）と、
前記変換ブロックベースの音声信号に第１の窓関数と前記音声信号の混合比の積を第２の窓関数として乗算する窓処理手段（６１）と、
乗算された音声信号を変換して符号化音声信号を生成する変換手段（６３）と、を備える符号化装置（２０）。
【請求項９】
前記ミキシング手段は、
第１のチャンネルの音声信号に、前記第１のチャンネルに関連付けられた第１の混合比（δ、β）と第２のチャンネルに関連付けられた第２の混合比（α）の逆数との積を第３の混合比（δ／α、β／α）として乗算する乗算手段（５０ａ、５０ｃ、５０ｅ）と、
前記第１のチャンネルと前記第２のチャンネルを含む多チャンネルの音声信号を加算する加算手段（５１ａ、５１ｂ）と、を備え、
前記窓処理手段は、前記変換ブロックベースの音声信号に前記第２の混合比と前記第１の窓関数の積である前記第２の窓関数を乗算することを特徴とする、請求項８記載の符号化装置。
【請求項１０】
前記第１の窓関数は正規化されていることを特徴とする、請求項８記載の符号化装置。
【請求項１１】
前記ミキシング手段は、前記多チャンネル音声信号を、より少ない数のチャンネルの音声信号に変換することを特徴とする、請求項８記載の復号装置。
【請求項１２】
多チャンネル音声信号を保存するメモリ（３１０）と、
ＣＰＵ（３００）と、を備え、
前記ＣＰＵが、
前記多チャンネル音声信号をチャンネルの間でミキシングしてダウンミキシングされた音声信号を生成し、
前記ダウンミキシングされた音声信号を分離して変換ブロックベースの音声信号を生成し、
前記変換ブロックベースの音声信号に第１の窓関数と前記音声信号の混合比の積を第２の窓関数として乗算し、
乗算された音声信号を変換して符号化音声信号を生成するように構成されていることを特徴とする、号化装置（２０）。
【請求項１３】
前記ＣＰＵは、前記多チャンネル音声信号をミキシングして、より少ない数のチャンネルの音声信号を生成するように構成されていることを特徴とする、請求項１２記載の復号装置。
【請求項１４】
多チャンネル音声信号を含む符号化音声信号を変換して、時間領域の変換ブロックベースの音声信号を生成するステップ（Ｓ１００）と、
前記変換ブロックベースの音声信号に、第１の窓関数と前記音声信号の混合比の積を第２の窓関数として乗算するステップ（Ｓ１１０）と、
乗算された変換ブロックベースの音声信号を重ね合わせて多チャンネル音声信号を合成するステップ（Ｓ１２０）と、
チャンネルの間で合成された多チャンネル音声信号をミキシングして、ダウンミキシングされた音声信号を生成するステップ（Ｓ１３０）と、を含む復号方法（１０）。
【請求項１５】
多チャンネル音声信号をチャンネルの間でミキシングしてダウンミキシングされた音声信号を生成するステップ（Ｓ２００）と、
前記ダウンミキシングされた音声信号を分離して変換ブロックベースの音声信号を生成するステップ（Ｓ２１０）と、
前記変換ブロックベースの音声信号に第１の窓関数と前記音声信号の混合比の積を第２の窓関数として乗算するステップ（Ｓ２２０）と、
乗算された音声信号を変換して符号化音声信号を生成するステップ（Ｓ２３０）と、を含む、符号化方法。
【請求項１６】
コンピュータに、
多チャンネル音声信号を含む符号化音声信号を変換して、時間領域の変換ブロックベースの音声信号を生成するステップ（Ｓ１００）と、
前記変換ブロックベースの音声信号に、第１の窓関数と前記音声信号の混合比の積を第２の窓関数として乗算するステップ（Ｓ１１０）と、
乗算された変換ブロックベースの音声信号を重ね合わせて多チャンネル音声信号を合成するステップ（Ｓ１２０）と、
チャンネルの間で合成された多チャンネル音声信号をミキシングして、ダウンミキシングされた音声信号を生成するステップ（Ｓ１３０）と、を実行させる復号プログラム。
【請求項１７】
コンピュータに、
多チャンネル音声信号をチャンネルの間でミキシングしてダウンミキシングされた音声信号を生成するステップ（Ｓ２００）と、
前記ダウンミキシングされた音声信号を分離して変換ブロックベースの音声信号を生成するステップ（Ｓ２１０）と、
前記変換ブロックベースの音声信号に第１の窓関数と前記音声信号の混合比の積を第２の窓関数として乗算するステップ（Ｓ２２０）と、
乗算された音声信号を変換して符号化音声信号を生成するステップ（Ｓ２３０）と、を実行させる、符号化プログラム。
【請求項１８】
コンピュータに、
多チャンネル音声信号を含む符号化音声信号を変換して、時間領域の変換ブロックベースの音声信号を生成するステップ（Ｓ１００）と、
前記変換ブロックベースの音声信号に、第１の窓関数と前記音声信号の混合比の積を第２の窓関数として乗算するステップ（Ｓ１１０）と、
乗算された変換ブロックベースの音声信号を重ね合わせて多チャンネル音声信号を合成するステップ（Ｓ１２０）と、
チャンネルの間で合成された多チャンネル音声信号をミキシングして、ダウンミキシングされた音声信号を生成するステップ（Ｓ１３０）と、を実行させる復号プログラムを記録した記録媒体。
【請求項１９】
コンピュータに、
多チャンネル音声信号をチャンネルの間でミキシングしてダウンミキシングされた音声信号を生成するステップ（Ｓ２００）と、
前記ダウンミキシングされた音声信号を分離して時間領域の変換ブロックベースの音声信号を生成するステップ（Ｓ２１０）と、
前記変換ブロックベースの音声信号に第１の窓関数と前記音声信号の混合比の積を第２の窓関数として乗算するステップ（Ｓ２２０）と、
乗算された音声信号を変換して符号化音声信号を生成するステップ（Ｓ２３０）と、を実行させる、符号化プログラムを記録した記録媒体。
【請求項２０】
多チャンネル音声信号を含む符号化音声信号を保存する保存手段（１０５）と、
変換手段（４０）、窓処理手段（４１）、合成手段（４３）、ミキシング手段（１４）を含む編集手段（７３）と、を備え、
前記変換手段は、ダウンミキシング処理のためのユーザの要求に応じて、前記符号化音声信号を変換して、変換ブロックベースの音声信号を生成し、
前記窓処理手段は、前記変換ブロックベースの音声信号に、第１の窓関数と前記音声信号の混合比の積を第２の窓関数として乗算し、
前記合成手段は、乗算された変換ブロックベースの音声信号を重ね合わせて多チャンネル音声信号を合成し、
前記ミキシング手段は、チャンネルの間で合成された多チャンネル音声信号をミキシングして、ダウンミキシングされた音声信号を生成する、編集装置（１００）。
【請求項２１】
多チャンネル音声信号を保存する保存手段（１０５）と、
ミキシング手段（２２）、分離手段（６０）、窓処理手段（６１）、変換手段（６３）を含む編集手段（７３）と、を備え、
前記ミキシング手段は、ダウンミキシング処理のためのユーザの要求に応じて、符号化音声信号をチャンネルの間でミキシングして、ダウンミキシングされた音声信号を生成し、
前記分離手段は、前記ダウンミキシングされた音声信号を分離して変換ブロックベースの音声信号を生成し、
前記窓処理手段は、前記変換ブロックベースの音声信号に、第１の窓関数と前記音声信号の混合比の積を第２の窓関数として乗算し、
前記変換手段は、乗算された音声信号を変換して符号化音声信号を生成する、編集装置（１００）。
【請求項１】
多チャンネル音声信号を含む符号化音声信号を保存する保存手段（１１）と、
前記符号化音声信号を変換して、時間領域の変換ブロックベースの音声信号を生成する変換手段（４０）と、
前記変換ブロックベースの音声信号に、第１の窓関数と前記音声信号の混合比の積を第２の窓関数として乗算する窓処理手段（４１）と、
乗算された変換ブロックベースの音声信号を重ね合わせて多チャンネル音声信号を合成する合成手段（４３）と、
チャンネルの間で合成された多チャンネル音声信号をミキシングして、ダウンミキシングされた音声信号を生成するミキシング手段（１４）と、を備える復号装置（１０）。
【請求項２】
前記第１の窓関数は正規化されていることを特徴とする、請求項１記載の復号装置。
【請求項３】
前記ミキシング手段は、前記合成された多チャンネル音声信号を、前記符号化音声信号に含まれているチャンネルの数より少ない数のチャンネルを有する音声信号に変換することを特徴とする、請求項１記載の復号装置。
【請求項４】
前記符号化音声信号は、５．１チャンネル又は７．１チャンネルのオーディオシステムの音声信号であり、
前記ミキシング手段は、ステレオ音声信号又はモノラル音声信号を生成することを特徴とする、請求項１記載の復号装置。
【請求項５】
多チャンネル音声信号を含む符号化音声信号を保存するメモリ（２１０）と、
ＣＰＵ（２００）と、を備え、
前記ＣＰＵは、前記符号化音声信号を変換して、時間領域の変換ブロックベースの音声信号を生成し、
前記変換ブロックベースの音声信号に、第１の窓関数と前記音声信号の混合比との積を第２の窓関数として乗算し、
乗算された変換ブロックベースの音声信号を重ね合わせて多チャンネル音声信号を合成し、
チャンネルの間で合成された多チャンネル音声信号をミキシングして、ダウンミキシングされた音声信号を生成するように構成されていることを特徴とする、復号装置（１０）。
【請求項６】
前記ＣＰＵは、
前記符号化音声信号に含まれているチャンネルの数より少ない数のチャンネルを有するミキシングされた音声信号に変換するように構成されていることを特徴とする、請求項５記載の復号装置。
【請求項７】
前記符号化音声信号は、５．１チャンネル又は７．１チャンネルのオーディオシステムの音声信号であり、
前記ＣＰＵは、ステレオ音声信号又はモノラル音声信号を生成するように構成されていることを特徴とする、請求項５記載の復号装置。
【請求項８】
多チャンネル音声信号を保存する保存手段（２１）と、
前記多チャンネル音声信号をチャンネルの間でミキシングしてダウンミキシングされた音声信号を生成するミキシング手段（２２）と、
前記ダウンミキシングされた音声信号を分離して変換ブロックベースの音声信号を生成する分離手段（６０）と、
前記変換ブロックベースの音声信号に第１の窓関数と前記音声信号の混合比の積を第２の窓関数として乗算する窓処理手段（６１）と、
乗算された音声信号を変換して符号化音声信号を生成する変換手段（６３）と、を備える符号化装置（２０）。
【請求項９】
前記ミキシング手段は、
第１のチャンネルの音声信号に、前記第１のチャンネルに関連付けられた第１の混合比（δ、β）と第２のチャンネルに関連付けられた第２の混合比（α）の逆数との積を第３の混合比（δ／α、β／α）として乗算する乗算手段（５０ａ、５０ｃ、５０ｅ）と、
前記第１のチャンネルと前記第２のチャンネルを含む多チャンネルの音声信号を加算する加算手段（５１ａ、５１ｂ）と、を備え、
前記窓処理手段は、前記変換ブロックベースの音声信号に前記第２の混合比と前記第１の窓関数の積である前記第２の窓関数を乗算することを特徴とする、請求項８記載の符号化装置。
【請求項１０】
前記第１の窓関数は正規化されていることを特徴とする、請求項８記載の符号化装置。
【請求項１１】
前記ミキシング手段は、前記多チャンネル音声信号を、より少ない数のチャンネルの音声信号に変換することを特徴とする、請求項８記載の復号装置。
【請求項１２】
多チャンネル音声信号を保存するメモリ（３１０）と、
ＣＰＵ（３００）と、を備え、
前記ＣＰＵが、
前記多チャンネル音声信号をチャンネルの間でミキシングしてダウンミキシングされた音声信号を生成し、
前記ダウンミキシングされた音声信号を分離して変換ブロックベースの音声信号を生成し、
前記変換ブロックベースの音声信号に第１の窓関数と前記音声信号の混合比の積を第２の窓関数として乗算し、
乗算された音声信号を変換して符号化音声信号を生成するように構成されていることを特徴とする、号化装置（２０）。
【請求項１３】
前記ＣＰＵは、前記多チャンネル音声信号をミキシングして、より少ない数のチャンネルの音声信号を生成するように構成されていることを特徴とする、請求項１２記載の復号装置。
【請求項１４】
多チャンネル音声信号を含む符号化音声信号を変換して、時間領域の変換ブロックベースの音声信号を生成するステップ（Ｓ１００）と、
前記変換ブロックベースの音声信号に、第１の窓関数と前記音声信号の混合比の積を第２の窓関数として乗算するステップ（Ｓ１１０）と、
乗算された変換ブロックベースの音声信号を重ね合わせて多チャンネル音声信号を合成するステップ（Ｓ１２０）と、
チャンネルの間で合成された多チャンネル音声信号をミキシングして、ダウンミキシングされた音声信号を生成するステップ（Ｓ１３０）と、を含む復号方法（１０）。
【請求項１５】
多チャンネル音声信号をチャンネルの間でミキシングしてダウンミキシングされた音声信号を生成するステップ（Ｓ２００）と、
前記ダウンミキシングされた音声信号を分離して変換ブロックベースの音声信号を生成するステップ（Ｓ２１０）と、
前記変換ブロックベースの音声信号に第１の窓関数と前記音声信号の混合比の積を第２の窓関数として乗算するステップ（Ｓ２２０）と、
乗算された音声信号を変換して符号化音声信号を生成するステップ（Ｓ２３０）と、を含む、符号化方法。
【請求項１６】
コンピュータに、
多チャンネル音声信号を含む符号化音声信号を変換して、時間領域の変換ブロックベースの音声信号を生成するステップ（Ｓ１００）と、
前記変換ブロックベースの音声信号に、第１の窓関数と前記音声信号の混合比の積を第２の窓関数として乗算するステップ（Ｓ１１０）と、
乗算された変換ブロックベースの音声信号を重ね合わせて多チャンネル音声信号を合成するステップ（Ｓ１２０）と、
チャンネルの間で合成された多チャンネル音声信号をミキシングして、ダウンミキシングされた音声信号を生成するステップ（Ｓ１３０）と、を実行させる復号プログラム。
【請求項１７】
コンピュータに、
多チャンネル音声信号をチャンネルの間でミキシングしてダウンミキシングされた音声信号を生成するステップ（Ｓ２００）と、
前記ダウンミキシングされた音声信号を分離して変換ブロックベースの音声信号を生成するステップ（Ｓ２１０）と、
前記変換ブロックベースの音声信号に第１の窓関数と前記音声信号の混合比の積を第２の窓関数として乗算するステップ（Ｓ２２０）と、
乗算された音声信号を変換して符号化音声信号を生成するステップ（Ｓ２３０）と、を実行させる、符号化プログラム。
【請求項１８】
コンピュータに、
多チャンネル音声信号を含む符号化音声信号を変換して、時間領域の変換ブロックベースの音声信号を生成するステップ（Ｓ１００）と、
前記変換ブロックベースの音声信号に、第１の窓関数と前記音声信号の混合比の積を第２の窓関数として乗算するステップ（Ｓ１１０）と、
乗算された変換ブロックベースの音声信号を重ね合わせて多チャンネル音声信号を合成するステップ（Ｓ１２０）と、
チャンネルの間で合成された多チャンネル音声信号をミキシングして、ダウンミキシングされた音声信号を生成するステップ（Ｓ１３０）と、を実行させる復号プログラムを記録した記録媒体。
【請求項１９】
コンピュータに、
多チャンネル音声信号をチャンネルの間でミキシングしてダウンミキシングされた音声信号を生成するステップ（Ｓ２００）と、
前記ダウンミキシングされた音声信号を分離して時間領域の変換ブロックベースの音声信号を生成するステップ（Ｓ２１０）と、
前記変換ブロックベースの音声信号に第１の窓関数と前記音声信号の混合比の積を第２の窓関数として乗算するステップ（Ｓ２２０）と、
乗算された音声信号を変換して符号化音声信号を生成するステップ（Ｓ２３０）と、を実行させる、符号化プログラムを記録した記録媒体。
【請求項２０】
多チャンネル音声信号を含む符号化音声信号を保存する保存手段（１０５）と、
変換手段（４０）、窓処理手段（４１）、合成手段（４３）、ミキシング手段（１４）を含む編集手段（７３）と、を備え、
前記変換手段は、ダウンミキシング処理のためのユーザの要求に応じて、前記符号化音声信号を変換して、変換ブロックベースの音声信号を生成し、
前記窓処理手段は、前記変換ブロックベースの音声信号に、第１の窓関数と前記音声信号の混合比の積を第２の窓関数として乗算し、
前記合成手段は、乗算された変換ブロックベースの音声信号を重ね合わせて多チャンネル音声信号を合成し、
前記ミキシング手段は、チャンネルの間で合成された多チャンネル音声信号をミキシングして、ダウンミキシングされた音声信号を生成する、編集装置（１００）。
【請求項２１】
多チャンネル音声信号を保存する保存手段（１０５）と、
ミキシング手段（２２）、分離手段（６０）、窓処理手段（６１）、変換手段（６３）を含む編集手段（７３）と、を備え、
前記ミキシング手段は、ダウンミキシング処理のためのユーザの要求に応じて、符号化音声信号をチャンネルの間でミキシングして、ダウンミキシングされた音声信号を生成し、
前記分離手段は、前記ダウンミキシングされた音声信号を分離して変換ブロックベースの音声信号を生成し、
前記窓処理手段は、前記変換ブロックベースの音声信号に、第１の窓関数と前記音声信号の混合比の積を第２の窓関数として乗算し、
前記変換手段は、乗算された音声信号を変換して符号化音声信号を生成する、編集装置（１００）。
【図１】
【図２】
【図３】
【図４】
【図５】
【図６Ａ】
【図６Ｂ】
【図６Ｃ】
【図７】
【図８】
【図９】
【図１０】
【図１１】
【図１２】
【図１３】
【図１４】
【図１５】
【図１６】
【図１７】
【図１８】
【図２】
【図３】
【図４】
【図５】
【図６Ａ】
【図６Ｂ】
【図６Ｃ】
【図７】
【図８】
【図９】
【図１０】
【図１１】
【図１２】
【図１３】
【図１４】
【図１５】
【図１６】
【図１７】
【図１８】
【公表番号】特表２０１２−５０４７７５（Ｐ２０１２−５０４７７５Ａ）
【公表日】平成２４年２月２３日（２０１２．２．２３）
【国際特許分類】
【出願番号】特願２０１１−５１４５７３（Ｐ２０１１−５１４５７３）
【出願日】平成２０年１０月１日（２００８．１０．１）
【国際出願番号】ＰＣＴ／ＪＰ２００８／０６８２５８
【国際公開番号】ＷＯ２０１０／０３８３１８
【国際公開日】平成２２年４月８日（２０１０．４．８）
【出願人】（５１１００６７２０）ジーブイビービー ホールディングス エス．エイ．アール．エル． (8)
【Ｆターム（参考）】
【公表日】平成２４年２月２３日（２０１２．２．２３）
【国際特許分類】
【出願日】平成２０年１０月１日（２００８．１０．１）
【国際出願番号】ＰＣＴ／ＪＰ２００８／０６８２５８
【国際公開番号】ＷＯ２０１０／０３８３１８
【国際公開日】平成２２年４月８日（２０１０．４．８）
【出願人】（５１１００６７２０）ジーブイビービー ホールディングス エス．エイ．アール．エル． (8)
【Ｆターム（参考）】
[ Back to top ]