復号化装置
【課題】 受聴者の位置が変化した場合に、受聴位置の変化に追随しにくい。追随する場合には多大な演算が必要となる。
【解決手段】 基本符号化データとサイド情報を分離するサイド情報分離手段と、サイド情報を調整するサイド情報調整手段と、基本符号化データをサイド情報調整手段により調整されたサイド情報を用いて復号化する復号化手段とを備え、サイド情報には、基本符号化データを復号化する際の、位相情報、遅延情報、及びゲイン情報が含まれる。
【解決手段】 基本符号化データとサイド情報を分離するサイド情報分離手段と、サイド情報を調整するサイド情報調整手段と、基本符号化データをサイド情報調整手段により調整されたサイド情報を用いて復号化する復号化手段とを備え、サイド情報には、基本符号化データを復号化する際の、位相情報、遅延情報、及びゲイン情報が含まれる。
【発明の詳細な説明】
【技術分野】
【０００１】
本発明は、オーディオ信号の復号化方法に関するものである。
【背景技術】
【０００２】
従来のオーディオ信号符号化方法、および、復号化方法としては、公知なものとしてISO/IECの国際標準方式、通称MPEG方式などが挙げられる。現在、幅広い応用を持ち、低ビットレート時でも高音質な符号化方式として、ISO/IEC １３８１８−７、通称MPEG2 AAC（Advanced Audio Coding）などがあげられる。本方式の拡張規格も複数規格化が現在なされている。その一つとして、空間音響情報(Spatial Cue Information)もしくは、聴覚的音響情報(Binaural Cue)と呼ばれる情報を利用する技術がある。このような技術の例としては、ISO国際標準規格であるMPEG-4 Audio (ISO/IEC 14496-3)において定められたパラメトリックステレオ(Parametric Stereo)方式がある（例えば、非特許文献１参照）。また、別の方式も提案されている（例えば、特許文献１、特許文献２参照）。
【非特許文献１】ISO/IEC 14496-3:2001 AMD2 "Parametric Coding for High Quality Audio"
【特許文献１】米国公開特許US2003/0035553 "Backwards-compatible Perceptual Coding of Spatial Cues"
【特許文献２】米国公開特許US2003/0219130 "Coherence-based Audio Coding and Synthesis"
【発明の開示】
【発明が解決しようとする課題】
【０００３】
従来のマルチチャンネル再生装置においては、ステレオ音源を固定的な係数をもとにマルチチャンネル化していた例が多い。そのため、受聴者の位置が変化した場合には、固定的なフィルタ係数を再計算してマルチチャンネル効果を得ていたがその効果は薄く、時々刻々と変化する微妙な受聴位置変化に対応できず、マルチチャンネル効果が得にくかった。また、マルチチャンネル効果をより最適に実現するために、マルチチャンネル出力に対して遅延演算やゲイン調整演算を行う必要があり、演算負荷が大きかった。
【０００４】
本発明は、このような従来の問題点に鑑みてなされたものであって、マルチチャンネル出力信号を最適に制御できるような、復号化装置を提供することを目的とする。
【課題を解決するための手段】
【０００５】
上記課題を解決するため、本願請求項１の発明は、
基本符号化データとサイド情報を分離する分離手段と、前記サイド情報を調整する調整手段と、前記基本符号化データを前記調整されたサイド情報を用いて復号化する復号化手段とを備えたことを特徴とするものである。
【０００６】
また本願請求項２の発明は、本願請求項１の発明において、
前記サイド情報には、基本符号化データを復号化する際の、位相情報が含まれており、前記調整手段は、前記位相情報を調整することを特徴とするものである。
【０００７】
また本願請求項３の発明は、本願請求項１又は２に記載の発明において、
前記サイド情報には、基本符号化データを復号化する際の、遅延情報が含まれており、前記調整手段は、前記遅延情報を調整することを特徴とするものである。
【０００８】
また本願請求項４の発明は、本願請求項１〜３のいずれか１項に記載の発明において、
前記サイド情報には、基本符号化データを復号化する際の、ゲイン情報が含まれており、前記調整手段は、前記ゲイン情報を調整することを特徴とするものである。
【０００９】
また本願請求項５の発明は、
基本符号化データとサイド情報を分離する分離手段と、前記サイド情報を調整する調整手段と、前記基本符号化データを前記調整されたサイド情報を用いて復号化する復号化手段とを備えたことを特徴とするものである。
【００１０】
また本願請求項６の発明は、本願請求項５の発明において、
前記サイド情報には、基本符号化データを復号化する際の、位相情報が含まれており、前記調整手段は、前記位相情報を調整することを特徴とするものである。
【００１１】
また本願請求項７の発明は、本願請求項５又は６に記載の発明において、
前記サイド情報には、基本符号化データを復号化する際の、遅延情報が含まれており、前記調整手段は、前記遅延情報を調整することを特徴とするものである。
【００１２】
また本願請求項８の発明は、本願請求項５〜７のいずれか１項に記載の発明において、
前記サイド情報には、基本符号化データを復号化する際の、ゲイン情報が含まれており、前記調整手段は、前記ゲイン情報を調整することを特徴とするものである。
【発明の効果】
【００１３】
前記手段を設けることで、時々刻々と変化する微妙な受聴位置変化を検出し、少ない計算量で最適かつ効果的にマルチチャンネル再生を実現することが可能となる。
【発明を実施するための最良の形態】
【００１４】
以下、本発明の実施の形態を、図面を参照しながら説明する。
（実施の形態１）
図１は、本発明の基本図である。復号化装置１０３は基本符号化データ１０１とサイド情報１０２と受聴位置受信手段１０４からの出力である受聴位置１０５を入力とし、それらからマルチチャンネル、ここでは６チャンネル分の音声データを出力する装置である。基本符号化データはたとえば２ｃｈ分の音声データをAAC方式で圧縮したものであり、復号化処理はAAC方式に従う。AAC方式で復号化された２チャンネル分の音声データと、サイド情報１０２を用いて、複数の（ここではLf、Rf、C、Ls、Rs、LFE）チャンネルに再構成する装置である。サイド情報１０２としては、たとえば、チャンネル間の相関度や位相差、チャンネル間のゲイン差などである。
【００１５】
復号化装置１０３は図２に示すような構成になっている。基本符号化データ１０１とサイド情報１０２が合わさったものを入力として、基本符号化データ２０３とサイド情報２０４を分離するサイド情報分離手段２０１と、受聴位置１０５と前記サイド情報分離手段２０１によって分離されたサイド情報２０４とを入力として、調整されたサイド情報２０５を出力とするサイド情報調整手段２０２と、基本データ２０３と調整されたサイド情報２０５を入力とし、マルチチャンネルの音声データを出力する復号化手段２０６で構成される。
【００１６】
図３は、図２の復号化装置１０３が組み込まれた復号化機器３０１と、マルチチャンネルの音声データを再生する６つのスピーカの配置を表している。標準受聴位置３０２から受聴者が受聴位置３０３へと移動した場合、サイド情報調整手段２０２の内部では次のような処理が行われる。LfとLs、あるいはRfとRsというような前後方向のチャンネル間のゲイン差を、後ろから出力（Ls、Rs）が大きくなるように調整する。その調整割合は、標準受聴位置３０２と受聴位置３０３との距離差で比例配分した割合にする。また同時に前後のチャンネル間位相差を、前からの出力（Lf、Rf、C）が遅く出力されるように遅延させるように調整する。その調整割合は前記ゲイン差での調整と同様である。前後のチャンネルの相関度が高い場合には、位相調整はほとんど行わず、ゲイン調整を主たる処理とする。あるいは、受聴位置３０４にずれた場合、LfとRfあるいはLsとRsという左右方向のチャンネル間ゲイン差を、右からの出力（Rf、Rs）が大きくなるように調整する。位相差に関しても同様である。左右のチャンネルの相関度が高い場合には、位相調整はほとんど行わず、ゲイン調整を主たる処理とすることで、演算資源を節約することが出来る。
【００１７】
また、図３には受聴位置発信手段３０５が備わっている。通常は、復号化機器３０１を操作するためのリモコンなどである。
図４は前記復号化機器３０１の基本構成である。前記受聴位置発信手段３０５からの受聴位置情報（角度４０２、距離４０３）を入力として受聴位置４０４を出力する受聴位置受信手段１０４と前記復号化装置１０３で構成されている。
【００１８】
なお、図１記載の受聴位置受信手段１０４は、受聴位置発信手段３０５との組で用いられる場合もあるが、それ以外の手段、たとえば、受聴者があらかじめ受聴位置を設定した情報を入力として、受聴位置を復号化装置１０３に入力しても良い。
【実施例】
【００１９】
本発明のより具体的な実施の形態について、
（実施例１）
図１は、本発明の基本図である。受聴者の前方の左右チャンネル信号であるLf、Rf、及び前方センターチャンネルC、受聴者の後方の左右チャンネル出力であるLs、Rs、及び超低域成分であるLFEの６ｃｈ信号を５．１ｃｈ信号と呼ぶが、それをダウンミックスして2chの信号に変換して符号化したものを基本符号化データ１０１と呼ぶ。５．１ｃｈ信号をダウンミックスする際に、各チャンネル間のゲイン差、位相差、相関度をサイド情報１０２として付加する仕組みをもつ符号化装置がある。本実施例は、前記符号化装置の出力である基本符号化データとサイド情報を復号化し、２ｃｈまたは５．１ｃｈ信号を復元することを目的とする装置である。
【００２０】
復号化装置１０３は基本符号化データ１０１とサイド情報１０２と受聴位置受信手段１０４からの出力である受聴位置１０５を入力とし、それらからマルチチャンネル、ここでは６チャンネル分の音声データを出力する装置である。基本符号化データはたとえば２ｃｈ分の音声データをAAC方式で圧縮したものであり、復号化処理はAAC方式に従う。AAC方式で復号化された２チャンネル分の音声データと、サイド情報１０２を用いて、複数の（ここではLf、Rf、C、Ls、Rs、LFE）チャンネルに再構成する装置である。サイド情報１０２としては、たとえば、チャンネル間の相関度や位相差、チャンネル間のゲイン差などである。
【００２１】
復号化装置１０３は図２に示すような構成になっている。基本符号化データ１０１とサイド情報１０２が合わさったものを入力として、基本符号化データ２０３とサイド情報２０４を分離するサイド情報分離手段２０１と、受聴位置１０５と前記サイド情報分離手段２０１によって分離されたサイド情報２０４とを入力として、調整されたサイド情報２０５を出力とするサイド情報調整手段２０２と、基本データ２０３と調整されたサイド情報２０５を入力とし、マルチチャンネルの音声データを出力する復号化手段２０６で構成される。
【００２２】
図３は、図２の復号化装置１０３が組み込まれた復号化機器３０１と、マルチチャンネルの音声データを再生する６つのスピーカの配置を表している。標準受聴位置３０２から受聴者が受聴位置３０３へと移動した場合、サイド情報調整手段２０２の内部では次のような処理が行われる。LfとLs、あるいはRfとRsというような前後方向のチャンネル間のゲイン差を、後ろから出力（Ls、Rs）が大きくなるように調整する。その調整割合は、標準受聴位置３０２と受聴位置３０３との距離差で比例配分した割合にする。また同時に前後のチャンネル間位相差を、前からの出力（Lf、Rf、C）が遅く出力されるように遅延させるように調整する。その調整割合は前記ゲイン差での調整と同様である。前後のチャンネルの相関度が高い場合には、位相調整はほとんど行わず、ゲイン調整を主たる処理とする。あるいは、受聴位置３０４にずれた場合、LfとRfあるいはLsとRsという左右方向のチャンネル間ゲイン差を、右からの出力（Rf、Rs）が大きくなるように調整する。位相差に関しても同様である。左右のチャンネルの相関度が高い場合には、位相調整はほとんど行わず、ゲイン調整を主たる処理とすることで、演算資源を節約することが出来る。
【００２３】
また、図３には受聴位置発信手段３０５が備わっている。通常は、復号化機器３０１を操作するためのリモコンなどである。
図４は前記復号化機器３０１の基本構成である。前記受聴位置発信手段３０５からの受聴位置情報（角度４０２、距離４０３）を入力として受聴位置４０４を出力する受聴位置受信手段１０４と前記復号化装置１０３で構成されている。
【００２４】
なお、図１記載の受聴位置受信手段１０４は、受聴位置発信手段３０５との組で用いられる場合もあるが、それ以外の手段、たとえば、受聴者があらかじめ受聴位置を設定した情報を入力として、受聴位置を復号化装置１０３に入力しても良い。
【００２５】
（実施例２）
図５で示す復号化装置５０１は、図１で示した復号化装置１０３と同様に基本符号化データ１０１とサイド情報１０２が混合されたものと、復号化装置５０１の音声データ出力チャンネル数を受信する出力数受信手段５０２の出力である出力数５０４を入力として、一つまたは複数の音声データ出力を行うものである。復号化装置５０１は図６に示す構成になっている。復号化装置５０１は、基本符号化データ１０１とサイド情報１０２の混合入力を基本符号化データ２０３とサイド情報２０４に分離するサイド情報分離手段２０１と、出力数５０４と前記サイド情報分離手段２０１によって分離されたサイド情報２０４とを入力として、出力数５０４に応じてサイド情報を調整するサイド情報調整手段６０１と、復号化手段２０６とを備える。実施例１記載のものとは、サイド情報調整手段６０１の作用が若干異なる。本実施例では、出力数５０４に応じて調整する。たとえば、図７に示すように、出力数５０４が３の場合、サイド情報２０４に含まれるチャンネル間位相差、チャンネル間相関値、チャンネル間ゲイン差を、たとえば次のように調整する。前後のチャンネル（LfとLs、RfとRs）間の相関値を１に限りなく近い値に設定し、前後のチャンネル間位相差を限りなく０に設定し、前後のチャンネル間ゲイン差を限りなく大きく設定することで実現する。そうすることによって、後ろ側の音声データ出力（Ls、Rs）が結果的に０に限りなく近くなり、３チャンネル再生が実現する。
【００２６】
現実的には、スピーカ配置（出力数５０４）は２か３か６かのどれかである。２の場合は、上記の処理に加え、センターチャンネル（C）とLf、センターチャンネル（C）とRfのチャンネル間相関値を限りなく１に近い値に設定し、前記チャンネル間のチャンネル間位相差を限りなく０に設定し、前記チャンネル間のチャンネル間ゲイン差を限りなく大きくすることで実現できる。結果的に、センターチャンネルの出力を０にすることである。
【００２７】
出力数受信手段５０２は、出力数検出手段７０１と組で使われる。ここでいう出力数検出手段７０１とはたとえば復号化機器７０２を遠隔操作するリモコンなどである。復号化機器７０２には、図５載の復号化装置５０１と出力数受信手段５０２を具備している。出力数検出手段７０１で検出された出力数５０４は無線または有線にて出力数受信手段５０２に送られる。出力数検出手段７０１の構成は図８及び図９に示す。図８は出力数検出手段７０１の具体的構成例である。出力数検出手段７０１は、出力機器８０１から基準信号を発しその角度及び距離を入力するための音声入力手段８０２と、音声入力手段８０２の出力を入力として出力数５０４を算出する出力数算出手段８０３で構成される。
【００２８】
なお、出力数検出手段７０１は、図９のような構成をとることもできる。図８との大きな違いは、出力機器８０１からの基準信号ではなく、出力機器８０１の配置を画像撮影手段９０１で撮影して出力数５０４を得る点である。
【００２９】
なお、出力数５０４は、たとえば受聴者が手動で入力しても良い。
（実施例３）
図１０に示すように、復号化装置１００１は、基本符号化データ１０１とサイド情報１０２が合成されたものと、制御情報１００３を入力として、一つまたは複数個のチャンネルの音声データを出力するものである。制御情報１００３はサイド情報１０２を、所望の音声データ出力を得られるように制御するための情報である。制御情報１００３はサイド情報制御手段１００２によって出力されるが、サイド情報制御手段１００２の入力としては、たとえば、受聴位置であるとか、スピーカの数であるとか、である。制御情報１００３を復号化装置１００１の入力とすることで、たとえば、Cの出力をLfとRfに振り分けたい場合、従来で有れば、一端復号化装置１００１で復号化してから、C出力成分を半分にし、LfとRfに足し合わせる作業が必要であった。それを行うメモリも必要であったし、出力全体に対して演算を施さねばならなかった。それに比べ、制御情報１００３を入力としてサイド情報１０２を操作することで、サイド情報１０２の簡単な変更だけでCの出力をなくすことも可能である。
【００３０】
たとえば、サイド情報１０２に含まれているRfとCのゲイン差を限りなく大きくしてRfにのみ出力するように設定することで実現できる。同様にLfとCのゲイン差も設定する。
図１１は復号化装置１００１の構成を示している。前記のような調整を、サイド情報調整手段１１０１内部で行う。サイド情報分離手段２０１で分離されたサイド情報２０４のゲイン差や位相差、相関度を変更することで、LfやRf、C、Ls、Rs、LFEの出力が自動的に変化することになり、出力段での余計な演算やメモリを必要とせず、所望の音場再生が実現可能となる。
【産業上の利用可能性】
【００３１】
本発明は、空間音響符号化技術を用いた機器、たとえば家庭用AVアンプや携帯電話や小型情報機器に有用である。
将来、放送・通信・インターネットなどで空間符号化を施されたデータが流通する際にも有益であろう。
【図面の簡単な説明】
【００３２】
【図１】受聴位置受信手段を説明する図である。
【図２】復号化装置を説明する図である。
【図３】復号化機器と受聴位置を説明する図である。
【図４】復号化機器を説明する図である。
【図５】出力数受信手段を説明する図である。
【図６】出力数受信手段を鑑みた復号化装置を説明する図である。
【図７】出力数が３の場合を説明する図である。
【図８】音声入力手段を具備した出力数検出手段を説明する図である。
【図９】画像入力手段を具備した出力数検出手段を説明する図である。
【図１０】サイド情報制御手段と復号化装置を説明する図である。
【図１１】復号化装置を説明する図である。
【符号の説明】
【００３３】
１０１ 基本符号化データ
１０２ サイド情報
１０３ 復号化装置
１０４ 受聴位置受信手段
１０５ 受聴位置
２０１ サイド情報分離手段
２０２ サイド情報調整手段
２０３ 基本符号化データ
２０４ サイド情報
２０５ 調整後のサイド情報
２０６ 復号化手段
３０１ 復号化機器
３０２ 標準受聴位置
３０３ 前後にずれた受聴位置
３０４ 左右にずれた受聴位置
３０５ 受聴位置発信手段
４０２ 角度
４０３ 距離
４０４ 受聴位置
５０１ 復号化装置
５０２ 出力数受信手段
５０３ 復号化機器
５０４ 出力数
６０１ サイド情報調整手段
６０２ 調整後のサイド情報
７０１ 出力数検出手段
７０２ 復号化機器
８０１ 出力機器
８０２ 音声入力手段
８０３ 出力数算出手段
９０１ 画像入力手段
９０２ 出力数算出手段
１００１ 復号化装置
１００２ サイド情報制御手段
１００３ 制御情報
１１０１ サイド情報調整手段
【技術分野】
【０００１】
本発明は、オーディオ信号の復号化方法に関するものである。
【背景技術】
【０００２】
従来のオーディオ信号符号化方法、および、復号化方法としては、公知なものとしてISO/IECの国際標準方式、通称MPEG方式などが挙げられる。現在、幅広い応用を持ち、低ビットレート時でも高音質な符号化方式として、ISO/IEC １３８１８−７、通称MPEG2 AAC（Advanced Audio Coding）などがあげられる。本方式の拡張規格も複数規格化が現在なされている。その一つとして、空間音響情報(Spatial Cue Information)もしくは、聴覚的音響情報(Binaural Cue)と呼ばれる情報を利用する技術がある。このような技術の例としては、ISO国際標準規格であるMPEG-4 Audio (ISO/IEC 14496-3)において定められたパラメトリックステレオ(Parametric Stereo)方式がある（例えば、非特許文献１参照）。また、別の方式も提案されている（例えば、特許文献１、特許文献２参照）。
【非特許文献１】ISO/IEC 14496-3:2001 AMD2 "Parametric Coding for High Quality Audio"
【特許文献１】米国公開特許US2003/0035553 "Backwards-compatible Perceptual Coding of Spatial Cues"
【特許文献２】米国公開特許US2003/0219130 "Coherence-based Audio Coding and Synthesis"
【発明の開示】
【発明が解決しようとする課題】
【０００３】
従来のマルチチャンネル再生装置においては、ステレオ音源を固定的な係数をもとにマルチチャンネル化していた例が多い。そのため、受聴者の位置が変化した場合には、固定的なフィルタ係数を再計算してマルチチャンネル効果を得ていたがその効果は薄く、時々刻々と変化する微妙な受聴位置変化に対応できず、マルチチャンネル効果が得にくかった。また、マルチチャンネル効果をより最適に実現するために、マルチチャンネル出力に対して遅延演算やゲイン調整演算を行う必要があり、演算負荷が大きかった。
【０００４】
本発明は、このような従来の問題点に鑑みてなされたものであって、マルチチャンネル出力信号を最適に制御できるような、復号化装置を提供することを目的とする。
【課題を解決するための手段】
【０００５】
上記課題を解決するため、本願請求項１の発明は、
基本符号化データとサイド情報を分離する分離手段と、前記サイド情報を調整する調整手段と、前記基本符号化データを前記調整されたサイド情報を用いて復号化する復号化手段とを備えたことを特徴とするものである。
【０００６】
また本願請求項２の発明は、本願請求項１の発明において、
前記サイド情報には、基本符号化データを復号化する際の、位相情報が含まれており、前記調整手段は、前記位相情報を調整することを特徴とするものである。
【０００７】
また本願請求項３の発明は、本願請求項１又は２に記載の発明において、
前記サイド情報には、基本符号化データを復号化する際の、遅延情報が含まれており、前記調整手段は、前記遅延情報を調整することを特徴とするものである。
【０００８】
また本願請求項４の発明は、本願請求項１〜３のいずれか１項に記載の発明において、
前記サイド情報には、基本符号化データを復号化する際の、ゲイン情報が含まれており、前記調整手段は、前記ゲイン情報を調整することを特徴とするものである。
【０００９】
また本願請求項５の発明は、
基本符号化データとサイド情報を分離する分離手段と、前記サイド情報を調整する調整手段と、前記基本符号化データを前記調整されたサイド情報を用いて復号化する復号化手段とを備えたことを特徴とするものである。
【００１０】
また本願請求項６の発明は、本願請求項５の発明において、
前記サイド情報には、基本符号化データを復号化する際の、位相情報が含まれており、前記調整手段は、前記位相情報を調整することを特徴とするものである。
【００１１】
また本願請求項７の発明は、本願請求項５又は６に記載の発明において、
前記サイド情報には、基本符号化データを復号化する際の、遅延情報が含まれており、前記調整手段は、前記遅延情報を調整することを特徴とするものである。
【００１２】
また本願請求項８の発明は、本願請求項５〜７のいずれか１項に記載の発明において、
前記サイド情報には、基本符号化データを復号化する際の、ゲイン情報が含まれており、前記調整手段は、前記ゲイン情報を調整することを特徴とするものである。
【発明の効果】
【００１３】
前記手段を設けることで、時々刻々と変化する微妙な受聴位置変化を検出し、少ない計算量で最適かつ効果的にマルチチャンネル再生を実現することが可能となる。
【発明を実施するための最良の形態】
【００１４】
以下、本発明の実施の形態を、図面を参照しながら説明する。
（実施の形態１）
図１は、本発明の基本図である。復号化装置１０３は基本符号化データ１０１とサイド情報１０２と受聴位置受信手段１０４からの出力である受聴位置１０５を入力とし、それらからマルチチャンネル、ここでは６チャンネル分の音声データを出力する装置である。基本符号化データはたとえば２ｃｈ分の音声データをAAC方式で圧縮したものであり、復号化処理はAAC方式に従う。AAC方式で復号化された２チャンネル分の音声データと、サイド情報１０２を用いて、複数の（ここではLf、Rf、C、Ls、Rs、LFE）チャンネルに再構成する装置である。サイド情報１０２としては、たとえば、チャンネル間の相関度や位相差、チャンネル間のゲイン差などである。
【００１５】
復号化装置１０３は図２に示すような構成になっている。基本符号化データ１０１とサイド情報１０２が合わさったものを入力として、基本符号化データ２０３とサイド情報２０４を分離するサイド情報分離手段２０１と、受聴位置１０５と前記サイド情報分離手段２０１によって分離されたサイド情報２０４とを入力として、調整されたサイド情報２０５を出力とするサイド情報調整手段２０２と、基本データ２０３と調整されたサイド情報２０５を入力とし、マルチチャンネルの音声データを出力する復号化手段２０６で構成される。
【００１６】
図３は、図２の復号化装置１０３が組み込まれた復号化機器３０１と、マルチチャンネルの音声データを再生する６つのスピーカの配置を表している。標準受聴位置３０２から受聴者が受聴位置３０３へと移動した場合、サイド情報調整手段２０２の内部では次のような処理が行われる。LfとLs、あるいはRfとRsというような前後方向のチャンネル間のゲイン差を、後ろから出力（Ls、Rs）が大きくなるように調整する。その調整割合は、標準受聴位置３０２と受聴位置３０３との距離差で比例配分した割合にする。また同時に前後のチャンネル間位相差を、前からの出力（Lf、Rf、C）が遅く出力されるように遅延させるように調整する。その調整割合は前記ゲイン差での調整と同様である。前後のチャンネルの相関度が高い場合には、位相調整はほとんど行わず、ゲイン調整を主たる処理とする。あるいは、受聴位置３０４にずれた場合、LfとRfあるいはLsとRsという左右方向のチャンネル間ゲイン差を、右からの出力（Rf、Rs）が大きくなるように調整する。位相差に関しても同様である。左右のチャンネルの相関度が高い場合には、位相調整はほとんど行わず、ゲイン調整を主たる処理とすることで、演算資源を節約することが出来る。
【００１７】
また、図３には受聴位置発信手段３０５が備わっている。通常は、復号化機器３０１を操作するためのリモコンなどである。
図４は前記復号化機器３０１の基本構成である。前記受聴位置発信手段３０５からの受聴位置情報（角度４０２、距離４０３）を入力として受聴位置４０４を出力する受聴位置受信手段１０４と前記復号化装置１０３で構成されている。
【００１８】
なお、図１記載の受聴位置受信手段１０４は、受聴位置発信手段３０５との組で用いられる場合もあるが、それ以外の手段、たとえば、受聴者があらかじめ受聴位置を設定した情報を入力として、受聴位置を復号化装置１０３に入力しても良い。
【実施例】
【００１９】
本発明のより具体的な実施の形態について、
（実施例１）
図１は、本発明の基本図である。受聴者の前方の左右チャンネル信号であるLf、Rf、及び前方センターチャンネルC、受聴者の後方の左右チャンネル出力であるLs、Rs、及び超低域成分であるLFEの６ｃｈ信号を５．１ｃｈ信号と呼ぶが、それをダウンミックスして2chの信号に変換して符号化したものを基本符号化データ１０１と呼ぶ。５．１ｃｈ信号をダウンミックスする際に、各チャンネル間のゲイン差、位相差、相関度をサイド情報１０２として付加する仕組みをもつ符号化装置がある。本実施例は、前記符号化装置の出力である基本符号化データとサイド情報を復号化し、２ｃｈまたは５．１ｃｈ信号を復元することを目的とする装置である。
【００２０】
復号化装置１０３は基本符号化データ１０１とサイド情報１０２と受聴位置受信手段１０４からの出力である受聴位置１０５を入力とし、それらからマルチチャンネル、ここでは６チャンネル分の音声データを出力する装置である。基本符号化データはたとえば２ｃｈ分の音声データをAAC方式で圧縮したものであり、復号化処理はAAC方式に従う。AAC方式で復号化された２チャンネル分の音声データと、サイド情報１０２を用いて、複数の（ここではLf、Rf、C、Ls、Rs、LFE）チャンネルに再構成する装置である。サイド情報１０２としては、たとえば、チャンネル間の相関度や位相差、チャンネル間のゲイン差などである。
【００２１】
復号化装置１０３は図２に示すような構成になっている。基本符号化データ１０１とサイド情報１０２が合わさったものを入力として、基本符号化データ２０３とサイド情報２０４を分離するサイド情報分離手段２０１と、受聴位置１０５と前記サイド情報分離手段２０１によって分離されたサイド情報２０４とを入力として、調整されたサイド情報２０５を出力とするサイド情報調整手段２０２と、基本データ２０３と調整されたサイド情報２０５を入力とし、マルチチャンネルの音声データを出力する復号化手段２０６で構成される。
【００２２】
図３は、図２の復号化装置１０３が組み込まれた復号化機器３０１と、マルチチャンネルの音声データを再生する６つのスピーカの配置を表している。標準受聴位置３０２から受聴者が受聴位置３０３へと移動した場合、サイド情報調整手段２０２の内部では次のような処理が行われる。LfとLs、あるいはRfとRsというような前後方向のチャンネル間のゲイン差を、後ろから出力（Ls、Rs）が大きくなるように調整する。その調整割合は、標準受聴位置３０２と受聴位置３０３との距離差で比例配分した割合にする。また同時に前後のチャンネル間位相差を、前からの出力（Lf、Rf、C）が遅く出力されるように遅延させるように調整する。その調整割合は前記ゲイン差での調整と同様である。前後のチャンネルの相関度が高い場合には、位相調整はほとんど行わず、ゲイン調整を主たる処理とする。あるいは、受聴位置３０４にずれた場合、LfとRfあるいはLsとRsという左右方向のチャンネル間ゲイン差を、右からの出力（Rf、Rs）が大きくなるように調整する。位相差に関しても同様である。左右のチャンネルの相関度が高い場合には、位相調整はほとんど行わず、ゲイン調整を主たる処理とすることで、演算資源を節約することが出来る。
【００２３】
また、図３には受聴位置発信手段３０５が備わっている。通常は、復号化機器３０１を操作するためのリモコンなどである。
図４は前記復号化機器３０１の基本構成である。前記受聴位置発信手段３０５からの受聴位置情報（角度４０２、距離４０３）を入力として受聴位置４０４を出力する受聴位置受信手段１０４と前記復号化装置１０３で構成されている。
【００２４】
なお、図１記載の受聴位置受信手段１０４は、受聴位置発信手段３０５との組で用いられる場合もあるが、それ以外の手段、たとえば、受聴者があらかじめ受聴位置を設定した情報を入力として、受聴位置を復号化装置１０３に入力しても良い。
【００２５】
（実施例２）
図５で示す復号化装置５０１は、図１で示した復号化装置１０３と同様に基本符号化データ１０１とサイド情報１０２が混合されたものと、復号化装置５０１の音声データ出力チャンネル数を受信する出力数受信手段５０２の出力である出力数５０４を入力として、一つまたは複数の音声データ出力を行うものである。復号化装置５０１は図６に示す構成になっている。復号化装置５０１は、基本符号化データ１０１とサイド情報１０２の混合入力を基本符号化データ２０３とサイド情報２０４に分離するサイド情報分離手段２０１と、出力数５０４と前記サイド情報分離手段２０１によって分離されたサイド情報２０４とを入力として、出力数５０４に応じてサイド情報を調整するサイド情報調整手段６０１と、復号化手段２０６とを備える。実施例１記載のものとは、サイド情報調整手段６０１の作用が若干異なる。本実施例では、出力数５０４に応じて調整する。たとえば、図７に示すように、出力数５０４が３の場合、サイド情報２０４に含まれるチャンネル間位相差、チャンネル間相関値、チャンネル間ゲイン差を、たとえば次のように調整する。前後のチャンネル（LfとLs、RfとRs）間の相関値を１に限りなく近い値に設定し、前後のチャンネル間位相差を限りなく０に設定し、前後のチャンネル間ゲイン差を限りなく大きく設定することで実現する。そうすることによって、後ろ側の音声データ出力（Ls、Rs）が結果的に０に限りなく近くなり、３チャンネル再生が実現する。
【００２６】
現実的には、スピーカ配置（出力数５０４）は２か３か６かのどれかである。２の場合は、上記の処理に加え、センターチャンネル（C）とLf、センターチャンネル（C）とRfのチャンネル間相関値を限りなく１に近い値に設定し、前記チャンネル間のチャンネル間位相差を限りなく０に設定し、前記チャンネル間のチャンネル間ゲイン差を限りなく大きくすることで実現できる。結果的に、センターチャンネルの出力を０にすることである。
【００２７】
出力数受信手段５０２は、出力数検出手段７０１と組で使われる。ここでいう出力数検出手段７０１とはたとえば復号化機器７０２を遠隔操作するリモコンなどである。復号化機器７０２には、図５載の復号化装置５０１と出力数受信手段５０２を具備している。出力数検出手段７０１で検出された出力数５０４は無線または有線にて出力数受信手段５０２に送られる。出力数検出手段７０１の構成は図８及び図９に示す。図８は出力数検出手段７０１の具体的構成例である。出力数検出手段７０１は、出力機器８０１から基準信号を発しその角度及び距離を入力するための音声入力手段８０２と、音声入力手段８０２の出力を入力として出力数５０４を算出する出力数算出手段８０３で構成される。
【００２８】
なお、出力数検出手段７０１は、図９のような構成をとることもできる。図８との大きな違いは、出力機器８０１からの基準信号ではなく、出力機器８０１の配置を画像撮影手段９０１で撮影して出力数５０４を得る点である。
【００２９】
なお、出力数５０４は、たとえば受聴者が手動で入力しても良い。
（実施例３）
図１０に示すように、復号化装置１００１は、基本符号化データ１０１とサイド情報１０２が合成されたものと、制御情報１００３を入力として、一つまたは複数個のチャンネルの音声データを出力するものである。制御情報１００３はサイド情報１０２を、所望の音声データ出力を得られるように制御するための情報である。制御情報１００３はサイド情報制御手段１００２によって出力されるが、サイド情報制御手段１００２の入力としては、たとえば、受聴位置であるとか、スピーカの数であるとか、である。制御情報１００３を復号化装置１００１の入力とすることで、たとえば、Cの出力をLfとRfに振り分けたい場合、従来で有れば、一端復号化装置１００１で復号化してから、C出力成分を半分にし、LfとRfに足し合わせる作業が必要であった。それを行うメモリも必要であったし、出力全体に対して演算を施さねばならなかった。それに比べ、制御情報１００３を入力としてサイド情報１０２を操作することで、サイド情報１０２の簡単な変更だけでCの出力をなくすことも可能である。
【００３０】
たとえば、サイド情報１０２に含まれているRfとCのゲイン差を限りなく大きくしてRfにのみ出力するように設定することで実現できる。同様にLfとCのゲイン差も設定する。
図１１は復号化装置１００１の構成を示している。前記のような調整を、サイド情報調整手段１１０１内部で行う。サイド情報分離手段２０１で分離されたサイド情報２０４のゲイン差や位相差、相関度を変更することで、LfやRf、C、Ls、Rs、LFEの出力が自動的に変化することになり、出力段での余計な演算やメモリを必要とせず、所望の音場再生が実現可能となる。
【産業上の利用可能性】
【００３１】
本発明は、空間音響符号化技術を用いた機器、たとえば家庭用AVアンプや携帯電話や小型情報機器に有用である。
将来、放送・通信・インターネットなどで空間符号化を施されたデータが流通する際にも有益であろう。
【図面の簡単な説明】
【００３２】
【図１】受聴位置受信手段を説明する図である。
【図２】復号化装置を説明する図である。
【図３】復号化機器と受聴位置を説明する図である。
【図４】復号化機器を説明する図である。
【図５】出力数受信手段を説明する図である。
【図６】出力数受信手段を鑑みた復号化装置を説明する図である。
【図７】出力数が３の場合を説明する図である。
【図８】音声入力手段を具備した出力数検出手段を説明する図である。
【図９】画像入力手段を具備した出力数検出手段を説明する図である。
【図１０】サイド情報制御手段と復号化装置を説明する図である。
【図１１】復号化装置を説明する図である。
【符号の説明】
【００３３】
１０１ 基本符号化データ
１０２ サイド情報
１０３ 復号化装置
１０４ 受聴位置受信手段
１０５ 受聴位置
２０１ サイド情報分離手段
２０２ サイド情報調整手段
２０３ 基本符号化データ
２０４ サイド情報
２０５ 調整後のサイド情報
２０６ 復号化手段
３０１ 復号化機器
３０２ 標準受聴位置
３０３ 前後にずれた受聴位置
３０４ 左右にずれた受聴位置
３０５ 受聴位置発信手段
４０２ 角度
４０３ 距離
４０４ 受聴位置
５０１ 復号化装置
５０２ 出力数受信手段
５０３ 復号化機器
５０４ 出力数
６０１ サイド情報調整手段
６０２ 調整後のサイド情報
７０１ 出力数検出手段
７０２ 復号化機器
８０１ 出力機器
８０２ 音声入力手段
８０３ 出力数算出手段
９０１ 画像入力手段
９０２ 出力数算出手段
１００１ 復号化装置
１００２ サイド情報制御手段
１００３ 制御情報
１１０１ サイド情報調整手段
【特許請求の範囲】
【請求項１】
基本符号化データとサイド情報を分離する分離手段と、前記サイド情報を調整する調整手段と、前記基本符号化データを前記調整されたサイド情報を用いて復号化する復号化手段とを備えたことを特徴とする復号化装置。
【請求項２】
前記サイド情報には、基本符号化データを復号化する際の、位相情報が含まれており、前記調整手段は、前記位相情報を調整することを特徴とした請求項１記載の復号化装置。
【請求項３】
前記サイド情報には、基本符号化データを復号化する際の、遅延情報が含まれており、前記調整手段は、前記遅延情報を調整することを特徴とした請求項１又は２に記載の復号化装置。
【請求項４】
前記サイド情報には、基本符号化データを復号化する際の、ゲイン情報が含まれており、前記調整手段は、前記ゲイン情報を調整することを特徴とした請求項１〜３のいずれか
項に記載の復号化装置。
【請求項５】
基本符号化データとサイド情報を分離する分離手段と、前記サイド情報を調整する調整手段と、前記基本符号化データを前記調整されたサイド情報を用いて復号化する復号化手段とを備えたことを特徴とする復号化方法。
【請求項６】
前記サイド情報には、基本符号化データを復号化する際の、位相情報が含まれており、前記調整手段は、前記位相情報を調整することを特徴とした請求項５記載の復号化装置。
【請求項７】
前記サイド情報には、基本符号化データを復号化する際の、遅延情報が含まれており、前記調整手段は、前記遅延情報を調整することを特徴とした請求項５又は６に記載の復号化装置。
【請求項８】
前記サイド情報には、基本符号化データを復号化する際の、ゲイン情報が含まれており、前記調整手段は、前記ゲイン情報を調整することを特徴とした請求項５〜７のいずれか１項に記載の復号化装置。
【請求項１】
基本符号化データとサイド情報を分離する分離手段と、前記サイド情報を調整する調整手段と、前記基本符号化データを前記調整されたサイド情報を用いて復号化する復号化手段とを備えたことを特徴とする復号化装置。
【請求項２】
前記サイド情報には、基本符号化データを復号化する際の、位相情報が含まれており、前記調整手段は、前記位相情報を調整することを特徴とした請求項１記載の復号化装置。
【請求項３】
前記サイド情報には、基本符号化データを復号化する際の、遅延情報が含まれており、前記調整手段は、前記遅延情報を調整することを特徴とした請求項１又は２に記載の復号化装置。
【請求項４】
前記サイド情報には、基本符号化データを復号化する際の、ゲイン情報が含まれており、前記調整手段は、前記ゲイン情報を調整することを特徴とした請求項１〜３のいずれか
項に記載の復号化装置。
【請求項５】
基本符号化データとサイド情報を分離する分離手段と、前記サイド情報を調整する調整手段と、前記基本符号化データを前記調整されたサイド情報を用いて復号化する復号化手段とを備えたことを特徴とする復号化方法。
【請求項６】
前記サイド情報には、基本符号化データを復号化する際の、位相情報が含まれており、前記調整手段は、前記位相情報を調整することを特徴とした請求項５記載の復号化装置。
【請求項７】
前記サイド情報には、基本符号化データを復号化する際の、遅延情報が含まれており、前記調整手段は、前記遅延情報を調整することを特徴とした請求項５又は６に記載の復号化装置。
【請求項８】
前記サイド情報には、基本符号化データを復号化する際の、ゲイン情報が含まれており、前記調整手段は、前記ゲイン情報を調整することを特徴とした請求項５〜７のいずれか１項に記載の復号化装置。
【図１】
【図２】
【図３】
【図４】
【図５】
【図６】
【図７】
【図８】
【図９】
【図１０】
【図１１】
【図２】
【図３】
【図４】
【図５】
【図６】
【図７】
【図８】
【図９】
【図１０】
【図１１】
【公開番号】特開２００６−５０２４１（Ｐ２００６−５０２４１Ａ）
【公開日】平成１８年２月１６日（２００６．２．１６）
【国際特許分類】
【出願番号】特願２００４−２２８２２７（Ｐ２００４−２２８２２７）
【出願日】平成１６年８月４日（２００４．８．４）
【出願人】（０００００５８２１）松下電器産業株式会社 (73,050)
【Ｆターム（参考）】
【公開日】平成１８年２月１６日（２００６．２．１６）
【国際特許分類】
【出願日】平成１６年８月４日（２００４．８．４）
【出願人】（０００００５８２１）松下電器産業株式会社 (73,050)
【Ｆターム（参考）】
[ Back to top ]