説明

オーディオ複号化装置

【課題】一般的に移動体放送では、伝送路の状態が常に変動し、符号化データの伝送誤りが頻発する。チャンネル拡大符号化信号に伝送誤りが発生した区間とそうでない区間とで再生されるチャンネル数の変動が発生し、急激な音場の変化が起こり、ユーザーが多大な違和感を感じるという問題が生じる。
【解決手段】上記の課題を解決するため、本願の請求項1記載の発明は、マルチチャンネル信号をダウンミックスした第一の符号化信号と、前記第一の符号化信号をマルチチャンネルに拡張する第二の符号化信号を復号化するオーディオ復号化装置において、前記第一の符号化信号と前記第二の符号化信号を分離する手段と、前記第一の符号化信号に含まれる符号化時間長を検出する検出手段とを備えることを特徴とするものである。

【発明の詳細な説明】
【技術分野】
【0001】
本発明は、マルチチャンネル信号を復号化するオーディオデコーダに関し、より具体的には、マルチチャンネル信号をステレオ信号やモノラル信号にダウンミックスした信号を符号化したダウンミックス符号化信号と、それをもとのマルチチャンネル信号に戻すための信号を符号化したチャンネル拡大部符号化信号とを分離してビットストリームに格納し、しかも、そのダウンミックス符号化信号が、MPEG規格AAC方式のステレオまたはモノラル符号化信号方式のステレオあるいはモノラルと互換性を持つようなオーディオデコーダに関するものである。
【背景技術】
【0002】
マルチチャンネルの音響信号を符号化する方式には、大きく分けて二つの方式がある。一つは、ドルビープロロジックに代表されるMatrix方式と呼ばれるものであり、もう一つは、ドルビーディジタル(AC3)やMPEG−AACに代表される離散チャンネル符号化方式である。
【0003】
前者は、マルチチャンネル信号を2chステレオにダウンミックスする際に、チャンネル毎の分離情報を、ダウンミックス信号の位相成分として加算して伝送する方式である。この方式の欠点は、2chステレオ信号中に分離情報が重畳されているために、再生機器でのマルチチャンネル信号のチャンネルセパレーションが良くない点である。
【0004】
一方の、離散チャンネル符号化方式では、基本的に各チャンネルを別々に符号化して伝送するため、マルチチャンネルのチャンネルセパレーションは向上する。ただし、チャンネルセパレーションの向上と引き換えに伝送情報量が増加し、伝送路の改修が必要になるという欠点がある。
【0005】
上記二つの符号化方式の欠点を克服するために、MPEGサラウンドという符号化方式がある。この方式は、マルチチャンネル信号を1または2chの信号にダウンミックスして、そのダウンミックス信号をAAC方式やAAC+SBR方式などの既存の符号化方式で符号化する。同時に、復号化器にてダウンミックス信号をマルチチャンネル信号へと分離するための分離情報を生成し前記ダウンミックス符号化データに付加して伝送する。前記分離情報は非常に小さなものであり、伝送情報量の増加は微々たるものであるため、情報量は1または2チャンネルの符号化情報を伝送する場合とほとんど変わらない。更に分離情報を利用することにより、Matrix方式よりもチャンネルセパレーションを劇的に向上させることができる。
【0006】
しかも、ダウンミックス信号は従来と互換性のある符号化で符号化されているために、従来のAAC復号化に対応した機器でも再生が可能である点も、既存のマルチチャンネル符号化技術と大きく異なる利点である。
【0007】
このように、MPEGサラウンド方式では、従来のマルチチャンネル符号化方式の欠点を解決しつつ互換性も確保することで、ユーザーに臨場感のある再生を提供することができる。
【非特許文献1】ドルビーデジタル:http://www.dolby.co.jp/images/consumer/auto/dd_faq.pdf
【非特許文献2】MPEGサラウンド規格書:ISO/IEC23003−1
【発明の開示】
【発明が解決しようとする課題】
【0008】
しかし、従来の欠点を解決するMPEGサラウンド方式であるが、この方式をワンセグ放送やディジタルラジオ放送などの、低ビットレートの移動体放送に適用する際に次のような課題が発生する。一般的に移動体放送では、伝送路の状態が常に変動し、符号化データの伝送誤りが頻発する。図1は移動体放送の概略図であるが、特にチャンネル拡大符号化信号に伝送誤りが発生した場合には、チャンネル拡大処理が正常に行われず、ダウンミックス符号化信号のみが復号化される。その結果、チャンネル拡大符号化信号に伝送誤りが発生した区間とそうでない区間とで再生されるチャンネル数の変動が発生し、急激な音場の変化が起こり、ユーザーが多大な違和感を感じるという問題が生じる。
【課題を解決するための手段】
【0009】
上記の課題を解決するため、本願の請求項1記載の発明は、マルチチャンネル信号をダウンミックスした第一の符号化信号と、前記第一の符号化信号をマルチチャンネルに拡張する第二の符号化信号とを含む符号化信号を復号化するオーディオ復号化装置であって、前記符号化信号から前記第一の符号化信号と前記第二の符号化信号とを分離する分離手段と、前記第二の符号化信号が正常に復号できるか否かを判定する判定手段と、前記第一の符号化信号と前記第二の符号化信号とからマルチチャンネル信号を生成するための通常モードで復号を行なう復号手段とを備え、前記判定手段により、第二の符号化信号を正常に復号できないと判定された場合、前記復号手段は、第一の符号化信号のみからマルチチャンネル信号を生成するためのMatrixモードで復号を行うことを特徴とするとするものである。
【発明の効果】
【0010】
本発明のオーディオ復号化装置によれば、拡張情報が正常なデータであるか否かを判断することで、拡張情報が正常である場合の復号化と拡張情報が正常でない場合の復号化とを適応的に切り替えることができ、ユーザーに違和感を与えることなくマルチチャンネル信号を再生することができる。
【発明を実施するための最良の形態】
【0011】
以下、本発明の実施の形態を、図面を参照しながら説明する。
【0012】
(実施の形態1)
図2は本実施の形態1におけるマルチチャンネル復号装置を示した構成図である。本実施の形態1におけるマルチチャンネル復号装置は、分離部201、拡張情報判定部202、切替部203、復号部204を備え、非特許文献ISO/IEC23003−1記載のMPEGサラウンド方式で符号化された符号化データを入力として、マルチチャンネル信号205を出力するものである。
【0013】
分離部201は、符号化データを入力し、ダウンミックス信号を符号化したダウンミックス符号化信号とダウンミックス信号をマルチチャンネル信号に戻すための拡張情報符号化信号とに分離する。また、分離部201は、分離したダウンミックス符号化信号を切替部203に出力し、拡張情報符号化信号を拡張情報判定部202に出力する。
【0014】
拡張情報判定部202は、入力された拡張情報符号化信号が正常であるか否かを判定する。拡張情報符号化信号が正常であると判定された場合には、拡張情報符号化信号を通常モード復号部205に出力する。また、拡張情報符号化信号が正常でないと判断された場合にはその旨を切替部203に通知する。ここで、正常でない拡張情報符号化信号とは、受信不良によりデータが欠落するなどして拡張情報を正しく復号できないような信号である。
【0015】
切替部203は、入力されたダウンミックス符号化信号を基本的には通常モード復号部205に出力する。また、切替部203は、拡張情報判定部202から拡張情報符号化信号が正常でないことを通知されると、入力されたダウンミックス符号化信号をマトリックスモード符号化部206に出力するよう出力先を切り替える。
【0016】
通常モード復号部205は、入力されたダウンミックス符号化信号と拡張情報符号化信号とからマルチチャンネル信号に復号する。復号化については図3を用いて詳細に説明する。
【0017】
図3に記載の復号化装置は、MPEGサラウンド方式の通常モード復号化の過程を図示している。MPEGサラウンド符号化データから分離されたダウンミックス符号化信号は、ダウンミックス信号復号化部300によってダウンミックスされたステレオあるいはモノラルの信号に復号化される。ダウンミックス復号化部としては、たとえばMPEG−AAC(非特許文献ISO/IEC−13818−3)やAAC+SBR(非特許文献ISO/IEC−14496−3)に記載の方式である。前記復号化されたダウンミックス復号化信号は、分析フィルタバンク301に入力される。分析フィルタバンク301では、時間軸の信号を周波数軸の信号へと変換される。分析フィルタバンクの一例は、非特許文献ISO/IEC−23003−3中の6.3.2に記載されている。
【0018】
一方、プレマトリックス処理部302は、拡張情報符号を入力として、プレマトリックス処理された信号R1を出力する。プレマトリックス処理部302の一例は、非特許文献ISO/IEC−23003−3の6.5に記載されている。信号R1は周波数軸上の信号で、前記分析フィルタバンクの出力結果と乗算され、無相関処理部303へと入力される。無相関処理部303では、入力された信号の位相を制御して、無相関化する処理である。その一例は、非特許文献ISO/IEC−23003−3の6.6項に記載されている。
【0019】
更に、ポストマトリックス処理部304は、拡張情報符号を入力として、ポストマトリックス処理された信号R2を出力する。ポストマトリックス処理の一例は、非特許文献ISO/IEC−23003−3の6.5に記載されている。
【0020】
前記無相関処理された信号と、前記ポストマトリックス処理された信号とを乗算し、時間的処理部305に入力され、マルチチャンネルの復号化信号を出力する物である。時間的処理部305の一例は、ISO/IEC−23003−3の6.8に記載されている。
【0021】
マトリックスモード復号部206は、入力されたダウンミックス信号をEnhanced Matrix Mode(ISO/IEC23003−1)で復号化する。Enhanced Matrix Modeの詳細は前記文献に記載されているが、MPEGサラウンド方式で規定されている各チャンネルのチャンネル間レベル差CLDおよびチャンネル間位相差ICCのパラメータを固定値として計算し、前記マルチチャンネル復号化装置を動作させるものである。
【0022】
復号部204は、通常モード復号部やマトリックスモード復号部により復号されたマルチチャンネル信号を出力する。
【0023】
図4はMPEGサラウンド方式で符号化された符号化データの詳細である。符号化データは、ダウンミックス信号を符号化したダウンミックス符号化信号401と、ダウンミックス符号化信号をマルチチャンネル信号へと復号化するために用いる拡張情報符号化信号402とから構成される。ダウンミックス符号化信号の先頭付近には、ダウンミックス信号を符号化する際に符号化装置にて決定されたフレーム長403が格納されている。フレーム長403はビット列の形で格納され、たとえば、1024サンプルか256サンプルかを区別するフラグである。
【0024】
次に図5を用いてマルチチャンネル復号装置の処理について説明する。
【0025】
分離部201は、MPEGサラウンド方式で符号化された符号化データを入力し(S501)、前記符号化データをダウンミックス符号化信号と拡張情報符号化信号とに分離する(S502)。分離する際には、符号化データに含まれるダウンミックス符号化信号の符号化長と、拡張情報符号化信号の符号化長を検出して、それら二つの信号の切れ目を識別する。このようにして分離部201は動作する。ダウンミックス符号化信号の符号化長は、非特許文献ISO/IEC−13818−3のMPEG−AAC方式に準じる。また、拡張情報符号化信号の符号化長は、非特許文献ISO/IEC−23003−3に記載のTable5に記述されているbsFrameLengthに準じる。
【0026】
拡張情報判定部202は、拡張情報符号化信号が正常であるか否かを判断する。拡張情報符号化信号の符号化長とダウンミックス信号を符号化した符号化データの符号化長の合計の値があらかじめ分かっており、受信した符号化長と、前記合計数が異なっている場合などに、拡張情報符号化信号が正常に受信できなかったと判断する。拡張情報符号化信号が正常であればステップ504へ、拡張情報符号化信号が正常でなければステップ505へ進む(S503)。
【0027】
復号部204は、拡張情報符号信号が正常であれば、ダウンミックス符号信号と拡張情報符号信号とからマルチチャンネル信号を生成し(S504)、拡張情報符号信号が正常でなければ、ダウンミックス信号からEnhanced Matrix Modeを用いてマルチチャンネル信号を生成し(S505)、復号化されて生成されたマルチチャンネル信号を出力する(S506)。
【0028】
このように構成されたマルチチャンネル復号装置は、拡張情報符号化信号が何らかの理由により正しく復号できない場合に、ダウンミックス符号化信号からマルチチャンネル信号を生成するよう復号化モードを切り替えることで、常にマルチチャンネル信号を出力することができる。これにより、チャンネル数が変動することによる聴覚の違和感を解消することができる。
【0029】
(実施の形態2)
実施の形態2では、復号化モードを切り替えた後に拡張情報符号化信号が正常であれば単純に通常モードに切り替えるのではなく、より聴覚の違和感をなくすような通常モードの切り替え方をするマルチチャンネル復号装置について図6を用いて説明する。なお、実施の形態1と同じ構成要素のものには同じ符号を付し、その説明を省略する。
【0030】
実施の形態1の拡張情報判定部202は、拡張情報符号化信号が正常でないと判断されたときにEnhanced Matrix Modeで復号を行なうよう切替部203に通知していたが、本実施の形態2の拡張情報判定部601では、一旦Enhanced Matrix Modeになった場合、拡張情報信号が正常になったとき、かつフレーム長が1024サンプルになったときに、通常モードに切り替えるよう切替部203に通知する。
【0031】
フレーム長判定部602は、符号化データの中からフレーム長を検出し、フレーム長が1024サンプルであるか否かを判定する。本願の場合ではフレーム長は、256サンプルと1024サンプルを想定しているが、それぞれのサンプル数が増減した場合であっても適用できる。その場合にはサンプル数の多い方を判定するようにすればよい。
【0032】
実施の形態2の復号モードの切り替えについて図7を用いて説明する。なお、図5と同様の処理をするステップについては同じ符号を付し、その説明を省略する。
【0033】
拡張情報判定部601は、現在通常モードで符号化データを復号しているか否かを判断する(S701)。判断方法としては、以前に拡張情報符号化信号が正常でないと判断されたことを記憶するフラグをたてることなどが考えられる。現在通常モードで復号中であると判断されればステップ503へ進み、以降の処理を行う。通常モードでないと判断されればステップ702に進む。
【0034】
拡張情報判定部601は、現在Enhanced Matrix Modeで復号していると判定した場合に、拡張情報符号化信号が正常であると判定される時、また、フレーム長判定部602により1024サンプルであると判定される時に、符号化モードを通常モードで復号するよう切替部203に通知する(S702)。
【0035】
このように、拡張情報判定部601は、一旦Enhanced Matrix Modeで復号化をしているときに、次回フレーム長情報が1024サンプルになるまでEnhanced Matrix Modeを維持して復号化し続けるよう制御する。途中で受信状態が改善しても次にフレーム長が1024サンプルになるまではEnhanced Matrix Modeによる復号化を維持する。つまり、受信不良が改善して通常モードで復号化が可能になっている場合でも、フレーム長が256サンプルの間はEnhanced Matrix Modeによる復号化を続けるということである。
【0036】
Enhanced Matrix Modeと通常モードは当然ながらマルチチャンネル信号の再現性は異なるわけで、Enhanced Matrix Modeの方が劣る。つまり、Enhanced Matrix Modeと通常モードが頻繁に切り替わるよりも、一旦Enhanced Matrix Modeに切り替わってしばらくその状態を続けた方が視聴者は違和感を感じることが少なく視聴できるのである。復帰する際には、できるだけマルチチャンネル信号の状態変化の少ないところで復帰すると良く、それは言い換えるとフレーム長が1024になるところである。
【0037】
(実施の形態3)
実施の形態3では、拡張情報符号化信号が正常でないと複数連続で判定された場合にEnhanced Matrix Modeに切り替えるマルチチャンネル復号装置について図8を用いて説明する。なお、実施の形態1と同じ構成要素のものには同じ符号を付し、その説明を省略する。
【0038】
実施の形態1の拡張情報判定部202は、拡張情報符号化信号が正常でないと判断されたときにEnhanced Matrix Modeで復号を行なうよう切替部203に通知していたが、本実施の形態3の拡張情報判定部801では、一旦Enhanced Matrix Modeになった場合、拡張情報信号が正常になったとき、かつ、拡張情報判定部801に備わったフレームカウンターの値があらかじめ決められた閾値を超えた場合に通常モードに切り替えるよう切替部203に通知する。閾値の一例としてたとえば1フレームであるが、その閾値が増減した場合であっても適用できる。閾値は、固定的な値を想定しているが、たとえば、符号化データの受信状況を判断して可変的に変動することも想定している。たとえば、マルチチャンネル復号化器にてGPS情報を利用して自局の位置を検出し、別途用意した受信エリアマップと照合して、良い受信状況が続くと判断されれば、前記閾値を固定化する。逆に受信状況が悪い、あるいは非常に劇的に変動すると判断された場合には、前記閾値を可変化させる。受信状況が良いと判断する場合は、たとえばこれから1分先に移動すると予想される移動先と現在位置を直線的に結び、その間に受信不良エリアが1つもない場合には受信状態が良いと判断し、逆に受信不良エリアが1つ以上ある場合には受信状態が悪いと判断する。
【0039】
実施の形態3の復号モードの切り替えについて図9を用いて説明する。なお、図5と同様の処理をするステップについては同じ符号を付し、その説明を省略する。
【0040】
拡張情報符号化信号が正常であるかを判断するステップS503で正常でないと判断されるとステップS901へと進む。S901では、フレームカウンターを1だけカウントアップさせる。なお、カウンターの初期値として0が設定されている。カウントアップの結果、1を超えるまでステップS505にすすみEnhanced Matrix Modeによる復号化処理を実施する。
【0041】
このように、拡張情報判定部801は、一旦Enhanced Matrix Modeで復号化をしているときに、Enhanced Matirx Modeによる復号化が1フレームより多く続くまではEnhanced Matrix Modeによる復号化を維持する。
【0042】
Enhanced Matrix Modeと通常モードは当然ながらマルチチャンネル信号の再現性は異なるわけで、Enhanced Matrix Modeの方が劣る。つまり、Enhanced Matrix Modeと通常モードが頻繁に切り替わるよりも、一旦Enhanced Matrix Modeに切り替わってしばらくその状態を続けた方が視聴者は違和感を感じることが少なく視聴できるのである。
【0043】
ここまで述べてきた実施の形態は、非特許文献ISO/IEC23003−1記載のMPEGサラウンドに関するものであり、ダウンミックス信号の符号化方式はAAC方式である。しかしながら、本願のような制御方法はそれに限った物ではなく、たとえばmp3サラウンド方式でも同様の制御をすることで、同じように受信不良時の違和感低減を図ることが可能である。とくに、受信不良時の再生チャンネル変動に起因する違和感の低減に効果的である。
【0044】
なお、実施の形態2で述べたサンプル数の条件と実施の形態3で述べたEnhanced Matrix Modeで復号化するフレームのカウント数の条件を組み合わせて、それぞれの条件を満たす時に、Enhanced Matrix Modeから通常モードに切り替えるとしてよい。かかる構成をとることで、より視聴者に違和感なくモードの切替を行なうことができる。
【0045】
また、本実施の形態では、発明を簡潔に説明するため、切替部を設けて通常モードとMatrixモードとの切替を説明したが、特に切替部を設ける必要はなく、拡張情報符号化信号を正しく復号できない場合には、図3のプレマトリックス部とホストマトリックス部で所定の値を用いることでマルチチャンネル信号に復号することができる。
【産業上の利用可能性】
【0046】
本発明は、マルチチャンネル符号化技術が用いられる車載用オーディオ装置やホームシアター装置、あるいは携帯電話に代表されるような移動体通信環境において、受信不良が発生した際に有用である。
【図面の簡単な説明】
【0047】
【図1】移動体通信を示す図
【図2】本発明の実施の形態1におけるマルチチャンネル復号化装置を示す図
【図3】MPEGサラウンド方式の通常モードで復号を行なう場合の構成図
【図4】符号化データの構造を示す図
【図5】本発明の実施の形態1におけるマルチチャンネル復号化装置のデータのフローを示す図
【図6】本発明の実施の形態2におけるマルチチャンネル復号化装置を示す図
【図7】本発明の実施の形態2におけるマルチチャンネル復号化装置のデータのフローを示す図
【図8】本発明の実施の形態3におけるマルチチャンネル復号化装置を示す図
【図9】本発明の実施の形態3におけるマルチチャンネル復号化装置のデータのフローを示す図
【符号の説明】
【0048】
201 分離部
202 拡張情報判定部
203 切替部
204 復号部
205 マトリックスモード復号部
206 通常モード復号部
300 ダウンミックス復号化部
301 分析フィルタバンク部
302 プレマトリックス部
303 無相間処理部
304 ポストマトリックス部
305 時間的処理部
401 ダウンミックス復号化信号
402 拡張情報符号化信号
403 フレーム長
601 拡張情報判定部
602 フレーム長判定部
801 拡張情報判定部
802 カウンター

【特許請求の範囲】
【請求項1】
マルチチャンネル信号をダウンミックスした第一の符号化信号と、前記第一の符号化信号をマルチチャンネルに拡張する第二の符号化信号とを含む符号化信号を復号化するオーディオ復号化装置であって、
前記符号化信号から前記第一の符号化信号と前記第二の符号化信号とを分離する分離手段と、
前記第二の符号化信号が正常に復号できるか否かを判定する判定手段と、
前記第一の符号化信号と前記第二の符号化信号とからマルチチャンネル信号を生成するための通常モードで復号を行なう復号手段とを備え、
前記判定手段により、第二の符号化信号を正常に復号できないと判定された場合、前記復号手段は、第一の符号化信号のみからマルチチャンネル信号を生成するためのMatrixモードで復号を行うことを特徴とするオーディオ復号化装置。
【請求項2】
前記符号化信号からフレーム長を検出し、前記フレーム長が最大長のフレーム長であるか否かを判定するフレーム長判定手段をさらに有し、
前記復号手段がMatrixモードで復号中に、前記判定手段により第二の符号化信号が正常に復号できると判定され、かつ、前記フレーム長判定手段により最大長のフレーム長であると判定されたときに、通常モードに切り替えて復号することを特徴とする請求項1記載のオーディオ復号装置。
【請求項3】
前記第二の符号化信号が連続して正常に復号できない回数をカウントするカウンターをさらに有し、
前記復号手段がMatrixモードで復号中に、前記判定手段により前記第二の符号化信号が正常に復号できると判定され、かつ、前記カウンターの値が閾値を越えたときに、通常モードに切り替えて復号することを特徴とする請求項1記載のオーディオ復号装置。
【請求項4】
マルチチャンネル信号をダウンミックスした第一の符号化信号と、前記第一の符号化信号をマルチチャンネルに拡張する第二の符号化信号とを含む符号化信号を復号化するオーディオ復号化方法であって、
前記符号化信号から前記第一の符号化信号と前記第二の符号化信号とを分離する分離ステップと、
前記第二の符号化信号が正常に復号できるか否かを判定する判定ステップと、
前記第一の符号化信号と前記第二の符号化信号とからマルチチャンネル信号を生成するための通常モードで復号を行なう復号ステップとを含み、
前記判定ステップにより、第二の符号化信号を正常に復号できないと判定された場合、前記復号ステップは、第一の符号化信号のみからマルチチャンネル信号を生成するためのMatrixモードで復号を行うことを特徴とするオーディオ復号化方法。

【図1】
image rotate

【図2】
image rotate

【図3】
image rotate

【図4】
image rotate

【図5】
image rotate

【図6】
image rotate

【図7】
image rotate

【図8】
image rotate

【図9】
image rotate