映像圧縮符号化データの復号装置
【課題】標準とは異なる復号処理を行った場合、これに起因する画質劣化を低減することができる映像圧縮符号化データの復号装置および復号方法を提供する。
【解決手段】符号化データの復号装置であって、標準画質の標準復号画像を生成し、標準復号画像に基づいて標準画質の標準予測画像を生成する標準予測画像生成部と、予測誤差情報に基づいて、標準復号画像とは画質が異なる非標準復号画像を生成する非標準復号画像生成部と、非標準復号画像に基づいて標準予測画像とは画質が異なる非標準予測画像を生成する非標準予測画像生成部と、標準予測画像と非標準予測画像の差分に応じた補正値を算出する補正値算出部と、を含む。非標準復号画像生成部は、補正値に基づいて非標準予測画像を補正する予測画像再構築部と、予測誤差情報を逆量子化して再生し、これと補正された非標準予測画像とを加算して非標準復号画像を生成する復号処理部と、を含む。
【解決手段】符号化データの復号装置であって、標準画質の標準復号画像を生成し、標準復号画像に基づいて標準画質の標準予測画像を生成する標準予測画像生成部と、予測誤差情報に基づいて、標準復号画像とは画質が異なる非標準復号画像を生成する非標準復号画像生成部と、非標準復号画像に基づいて標準予測画像とは画質が異なる非標準予測画像を生成する非標準予測画像生成部と、標準予測画像と非標準予測画像の差分に応じた補正値を算出する補正値算出部と、を含む。非標準復号画像生成部は、補正値に基づいて非標準予測画像を補正する予測画像再構築部と、予測誤差情報を逆量子化して再生し、これと補正された非標準予測画像とを加算して非標準復号画像を生成する復号処理部と、を含む。
【発明の詳細な説明】
【技術分野】
【０００１】
本発明は、圧縮符号化された映像信号の復号技術に関する。
【背景技術】
【０００２】
動画データの圧縮符号化方式の標準として、Ｈ．２６２／ＭＰＥＧ-２（以下ＭＰＥＧ-２と称する。）やＨ.２６４／ＭＰＥＧ４-ＡＶＣ（以下Ｈ.２６４と称する）等がある。ＭＰＥＧ-２は、インターレース形式のテレビ信号を６Ｍｂｉｔ／ｓ前後で符号化し、ＨＤＴＶ信号を２０Ｍｂｉｔ／ｓ程度で符号化するために、ＩＳＯ／ＩＥＣにより標準化されている。ＭＰＥＧ-２のビデオパート（ＩＳＯ／ＩＥＣ１３８１８-２）は、ＩＴＵ-Ｔと共通テキスト（ＩＴＵ-Ｔ Ｈ．２６２）として出版されている。一方、Ｈ．２６４は、携帯電話などの低ビットレートからＨＤＴＶなどの高ビットレートまで幅広く利用されることが想定されており、ＩＴＵ-ＴとＩＳＯ／ＩＥＣの共同グループＪＶＴによって標準化されたものである。
【０００３】
これらの標準による映像圧縮符号化技術は、動き補償画像間差分符号化技術、離散コサイン変換（ＤＣＴ）等の直交変換技術、量子化／逆量子化技術、可変長符号化等のエントロピー符号化技術等により構成されている。
【０００４】
これらの標準に基づく映像圧縮符号化においては、高能率の符号化を達成するために映像信号をある値で除算してその余りを丸める量子化を行っている。映像圧縮符号化データを復号するとき量子化によって丸めたデータは、完全には復元されず、除数が大きければ、ブロック歪やモスキート歪といった画質劣化となって現れる。
【０００５】
かかる量子化雑音の影響を復号装置で低減する技術として、従来、ポストフィルタ処理、ループ内フィルタ処理等があった。ループ内フィルタ処理としては、例えば、Ｈ．２６４においてデブロッキングフィルタが標準として規定されている。また、ポストフィルタ処理としては、例えば、特許文献１に示される技術があった。
【先行技術文献】
【特許文献】
【０００６】
【特許文献１】特開２００６−１５７９３８号公報
【発明の概要】
【発明が解決しようとする課題】
【０００７】
しかしながら、従来の標準に準拠した復号装置においては、復号画像を順次参照しつつ予測画像を生成し、かかる予測画像を用いて復号画像を構築するという性質上、参照される復号画像が本来の復号画像からずれると、そのずれが順次以降の復号画像に伝搬していくという劣化が生じてしまう。従来のポストフィルタ処理では、復号画像として最終的に復号装置から出力される画像のみがフィルタ処理の対象となる。すなわち、予測画像を生成に用いられる参照画像には、フィルタ処理は施されず、量子化雑音を有したまま参照され、これに基づいて予測画像が生成されることとなり、ポストフィルタ処理では、画質が十分に改善されないといった問題があった。
【０００８】
また、標準の復号手順としてループ内フィルタの適用が規定されているが、復号画像を構築する際に画質劣化を改善するべく標準とは異なったフィルタ処理を施すとドリフトノイズが発生することもあり、標準以外の処理が適用できないという問題があった。
【０００９】
本発明は、上記した点に鑑みてなされたものであり、量子化誤差等に起因する画質劣化を改善し、また、標準とは異なる復号処理を行った場合でもこれに起因する画質劣化を低減することができる映像圧縮符号化データの復号装置を提供することを目的とする。
【課題を解決するための手段】
【００１０】
本発明の映像圧縮符号化データの復号装置は、復号画像から予測画像を生成し、前記予測画像と符号化対象画像との差分を示す予測誤差情報を量子化して符号化した映像圧縮符号化データの復号装置であって、前記予測誤差情報に基づいて、標準画質の標準復号画像を生成し、前記標準復号画像に基づいて標準画質の標準予測画像を生成する標準予測画像生成部と、前記予測誤差情報に基づいて、前記標準復号画像とは画質が異なる非標準復号画像を生成する非標準復号画像生成部と、前記非標準復号画像に基づいて前記標準予測画像とは画質が異なる非標準予測画像を生成する非標準予測画像生成部と、前記標準予測画像と前記非標準予測画像の差分に応じた補正値を算出する補正値算出部と、を含み、前記非標準復号画像生成部は、前記補正値に基づいて前記非標準予測画像を補正する予測画像再構築部と、前記予測誤差情報を逆量子化して再生し、これと補正された前記非標準予測画像とを加算して前記非標準復号画像を生成する復号処理部と、を含むことを特徴としている。
【００１１】
また、本発明の他の復号装置は、復号画像から予測画像を生成し、前記予測画像と符号化対象画像との差分を示す予測誤差情報を直交変換および量子化して符号化した映像圧縮符号化データの復号装置であって、前記予測誤差情報に基づいて、標準画質の標準復号画像を生成し、前記標準復号画像に基づいて標準画質の標準予測画像を生成する標準予測画像生成部と、前記予測誤差情報に基づいて、前記標準復号画像とは画質が異なる非標準復号画像を生成する非標準復号画像生成部と、前記非標準復号画像に基づいて前記標準予測画像とは画質が異なる非標準予測画像を生成する非標準予測画像生成部と、前記標準予測画像の画素値を直交変換して前記標準予測画像の直交変換係数を生成する第１の直交変換部と、前記非標準予測画像の画素値を直交変換して前記非標準予測画像の直交変換係数を生成する第２の直交変換部と、前記標準予測画像の直交変換係数と前記非標準予測画像の直交変換係数の差分に応じた補正値を算出する補正値算出部と、を含み、前記非標準復号画像生成部は、前記補正値に基づいて前記非標準予測画像の直交変換係数を補正する直交変換係数補正部と、前記予測誤差情報を逆量子化して再生し、これと補正された前記非標準予測画像の直交変換係数とを加算した後、逆直交変換を行って前記非標準復号画像を生成する非標準復号処理部と、を含むことを特徴としている。
【００１２】
また、本発明の他の復号装置は、復号画像から予測画像を生成し、前記予測画像と符号化対象画像との差分を示す予測誤差情報を直交変換および量子化して符号化した映像圧縮符号化データの復号装置であって、前記予測誤差情報に基づいて、標準画質の標準復号画像を生成し、前記標準復号画像に基づいて標準画質の標準予測画像を生成する標準予測画像生成部と、前記予測誤差情報に基づいて、前記標準復号画像とは画質が異なる非標準復号画像を生成する非標準復号画像生成部と、前記非標準復号画像に基づいて前記標準予測画像とは画質が異なる非標準予測画像を生成する非標準予測画像生成部と、前記標準予測画像と前記非標準予測画像の画素値の差分値を直交変換した差分値直交変換係数を生成する差分値直交変換部と、前記差分値直交変換係数に応じた補正値を算出する補正値算出部と、を含み、前記非標準復号画像生成部は、前記予測誤差情報を逆量子化して再生し、これと前記補正値とを加算した後、逆直交変換を行って、非標準予測画像からの予測誤差に補正された予測誤差を生成する予測誤差補正部と、これと前記非標準予測画像とを加算して、前記非標準復号画像を生成する非標準復号処理部と、を含むことを特徴としている。
【発明の効果】
【００１３】
本発明の映像圧縮符号化データの復号装置によれば、非標準復号画像生成部が標準とは異なる手順に従って、ノイズ低減処理を行うことにより、復号画像の画質を改善することが可能となり、これを予測画像生成に用いる参照画像としても用いることにより、更なる画質の改善が可能となる。また、かかる非標準の復号画像から標準画質とは異なる非標準予測画像を生成し、これを用いて復号画像を生成する場合、場合によっては、かえって画質劣化を引き起こしてしまうことが懸念されるが、標準予測画像とのずれ量が量子化誤差の範囲に収まるように補正されるので、著しい画質劣化を防止することができる。
【図面の簡単な説明】
【００１４】
【図１】本発明の第１実施例に係る映像圧縮符号化データの復号装置の構成を示すブロック図である。
【図２】本発明の第２実施例に係る映像圧縮符号化データの復号装置の構成を示すブロック図である。
【図３】本発明の第３実施例に係る映像圧縮符号化データの復号装置の構成を示すブロック図である。
【図４】本発明の第４実施例に係る映像圧縮符号化データの復号装置の構成を示すブロック図である。
【図５】本発明の第５実施例に係る映像圧縮符号化データの復号装置の構成を示すブロック図である。
【図６】本発明の第６実施例に係る映像圧縮符号化データの復号装置の構成を示すブロック図である。
【図７】本発明の第７実施例に係る映像圧縮符号化データの復号装置の構成を示すブロック図である。
【発明を実施するための形態】
【００１５】
以下、本発明の実施例について図面を参照しつつ説明する。尚、以下に示す図において、実質的に同一又は等価な構成要素、部分には同一の参照符を付している。
【実施例１】
【００１６】
図１は、本発明の第１実施例である映像圧縮符号化データの復号装置の構成を示すブロック図である。エントロピー復号部１０は、図示しない符号化装置によって可変長符号化或いは算術符号化等のエントロピー符号化処理が施された映像圧縮符号化データを受信し、多重伝送された符号化モード情報、予測モード情報、動きベクトル情報、予測誤差情報、量子化パラメータ情報等の各データにエントロピー復号処理を行って分離抽出する処理を行う。ここで、符号化モード情報は、例えば符号化処理がイントラモードで行われたのか、あるいはインターモードで行われたのか等を示す符号化モードに関する情報である。予測モード情報とは、符号化装置における予測画像の生成処理に関する情報であり、例えばマクロブロックの分割情報、分割された領域ごとの参照画像の参照方法などの情報を含んでいる。動きベクトル情報とは、インターモードの場合に動き補償フレーム間予測に用いられる動きベクトルを示す情報である。予測誤差情報とは、伝送されるべき入力画像と予測画像との差分を示す情報である。量子化パラメータ情報は、符号化装置においてどのような量子化処理が行われたのかを示す情報であり、量子化ステップ幅等を制御する情報である。
【００１７】
非標準予測画像生成部２０は、後述する非標準復号画像生成部５０より供給される標準とは異なる手順で復号処理された非標準復号画像を参照画像として参照し、予測モード情報および動きベクトル情報に基づいて、標準とは異なる画質の非標準予測画像の生成処理を行う。非標準予測画像生成部２０は、例えば、非標準復号画像生成部５０より供給される非標準復号画像を一時的に蓄積するフレームメモリ２０ａおよびフレームメモリ２０ａに蓄積された非標準復号画像を参照し、エントロピー復号部１０より供給される予測モード情報および動きベクトル情報に基づいて非標準予測画像を生成する予測処理部２０ｂを含んでいる。尚、非標準予測画像生成部２０における予測画像の生成処理手順は、後述する標準予測画像生成部３０における予測画像の生成手順と同じであっても構わないが、非標準予測画像生成部２０においては、例えば参照画像の画素間補間を行う際に用いられる補間フィルタのフィルタ係数を適宜変更する等、標準とは異なる構成部分を含んでいてもよい。
【００１８】
標準予測画像生成部３０は、エントロピー復号部より供給される予測誤差情報および量子化パラメータ情報に基づいて、Ｈ．２６４やＭＰＥＧ-２等の標準に規定された復号処理を行って、標準復号画像を生成する標準復号処理部３０ａと、生成した標準復号画像を一時的に蓄積するフレームメモリ３０ｂと、エントロピー復号部１０より供給される予測モード情報および動きベクトル情報とフレームメモリ３０ｂに蓄積された標準復号画像から標準予測画像を生成する予測処理部３０ｃを含んでいる。すなわち、標準予測画像生成部３０により生成される標準予測画像は、従来の標準に従う復号装置によって生成される予測画像の画質と同等である。
【００１９】
補正値算出部４０は、非標準予測画像生成部２０より供給される非標準予測画像と、標準予測画像生成部３０より供給される標準予測画像との画素毎の差分（ずれ量）を特定し、特定された差分が映像圧縮符号化データに生じている量子化誤差範囲以下となるように非標準復号画像の画素値を補正するべく補正値を算出する。
【００２０】
非標準復号画像生成部５０は、エントロピー復号部１０より供給される予測誤差情報および量子化パラメータ情報と、非標準予測画像生成部２０より供給される非標準予測画像と、補正値算出部４０より供給される補正値に基づいて、非標準復号画像を構築する。非標準復号画像生成部５０は、非標準予測画像に対して補正値に基づき補正処理を行って、予測画像の再構築を行う予測画像再構築部５０ａと、符号化装置によって量子化された予測誤差情報を量子化パラメータ情報に基づいて逆量子化し、逆量子化された予測誤差情報と補正された非標準予測画像とを加算して非標準復号画像を生成する非標準復号処理部５０ｂとを含む。非標準復号処理部５０ｂにおける復号画像の生成手順は、標準に規定された復号手順とは異なり、例えば、量子化雑音低減フィルタを任意に挿入するなどの画質改善のための処理を含めてもよい。
【００２１】
次に、本実施例に係る復号装置の動作について説明する。伝送されるべき入力映像信号には、図示しない符号化装置において、動き補償フレーム間予測を用いた動画像の圧縮符号化処理が施される。すなわち、符号化装置は公知の手順に従って、参照画像を構築し、これと符号化対象画像を比較して動きベクトルを求める。そして、参照画像中の被写体を動きベクトル分だけずらした画像を予測画像として生成し、符号化対象画像と予測画像との画素毎の差分を示す予測誤差情報を生成する。符号化装置は、得られた予測誤差情報を量子化し、これに可変長符号化等のエントロピー符号化を施す。符号化装置は、かかる予測誤差情報に符号化処理に係る符号化モード情報、予測モード情報、動きベクトル情報、量子化パラメータ情報を多重化し、これを映像圧縮符号化データとして復号装置に伝送する。
【００２２】
符号化装置より送信された映像圧縮符号化データは、復号装置のエントロピー復号部１０により受信される。エントロピー復号部１０は、受信した映像圧縮符号化データに含まれる多重化された符号化モード情報、予測モード情報、動きベクトル情報、予測誤差情報、量子化パラメータ情報を分離する。エントロピー復号部１０は、予測モード情報および動きベクトル情報を非標準予測画像生成部２０に供給し、予測モード情報、動きベクトル情報、予測誤差情報および量子化パラメータ情報を標準予測画像生成部３０に供給し、量子化パラメータ情報を補正値算出部４０に供給し、予測誤差情報および量子化パラメータ情報を非標準復号画像生成部５０に供給する。
【００２３】
非標準予測画像生成部２０は、非標準復号画像生成部５０から供給される標準とは異なる画質の非標準復号画像をフレームメモリ２０ａに蓄積する。予測処理部２０ｂは、フレームメモリ２０ａに蓄積された非標準復号画像を参照し、これと動きベクトル情報および予測モード情報から非標準予測画像を生成する。生成された非標準予測画像は、補正値算出部４０および非標準復号画像生成部５０に供給される。予測処理部２０ｂは、標準の手順に従って生成される復号画像と比較して画質劣化が低減されているものと期待できる非標準復号画像を参照画像として用いるので、生成される非標準予測画像は、量子化ノイズによる画質劣化の影響が低減された良好な画像であることが期待できる。尚、非標準予測画像生成部２０は、例えば、任意のフィルタ係数を持つ補間フィルタを用いて参照画像の画素間補間を行う等の処理を行った上で予測画像を生成することとしてもよい。このようにして生成された非標準予測画像は、標準に従って生成される標準予測画像とは画質が異なり、標準予測画像よりも良質な画像であることが期待できるが、場合によっては標準予測画像からのずれが大きくなり、かかる非標準予測画像に基づいて復号画像を構築すると画質劣化を引き起こす可能性がある。
【００２４】
このような場合を検出し、画質劣化を防止するために、標準予測画像生成部３０において標準に従った標準予測画像を生成し、補正値算出部４０において非標準予測画像と標準予測画像の差分（ずれ量）に基づき補正値を生成し、非標準復号画像生成部５０において非標準予測画像を用いて復号画像を生成する際に非標準予測画像に対して補正値に基づき補正処理を行って非標準復号画像を構築する。
【００２５】
標準予測画像生成部３０の標準復号処理部３０ａは、予測誤差情報および量子化パラメータ情報に基づいてＨ．２６４やＭＰＥＧ-２等の標準に従って標準復号画像を生成し、これを一時的にフレームメモリ３０ｂに蓄積する。予測処理部３０ｃは、フレームメモリに蓄積された標準復号画像を参照し、これと動きベクトル情報および予測モード情報から標準予測画像を生成する。標準予測画像生成部３０は、生成した標準予測画像を補正値算出部４０に供給する。
【００２６】
補正値算出部４０は、非標準予測画像生成部２０より供給された非標準予測画像が適正なものかどうか評価するために以下の処理を行う。補正値算出部４０は、非標準予測画像と、標準予測画像との画素値を比較してその差分（ずれ量）を画素毎に算出する。次に、かかる両画像の画素毎のずれ量が符号化の際に生じる量子化誤差の範囲内であるか否かを評価する。量子化誤差の範囲は、量子化パラメータ情報に含まれる量子化ステップの幅を参照することにより特定される。補正値算出部４０は、両画像のずれ量が映像圧縮符号化データに生じている量子化誤差の範囲内にあると判断したときは、補正値を出力しない。すなわち、この場合、非標準復号画像生成部５０では、非標準復号画像を生成する際に非標準予測画像に対して補正処理を行わない。一方、補正値算出部４０は、両画像のずれ量が量子化誤差以上であると判断したときは、両画像のずれ量が例えばゼロとなるように非標準予測画像の画素値を補正するべく補正値を出力する。尚、補正値の算出方法としては、両画像のずれ量をゼロとするような補正値を求める他、例えば両画像のずれ量が量子化誤差範囲の上限又は下限となるように非標準予測画像の画素値を補正するべく補正値を求めてもよい。また、両画像のずれ量が量子化誤差範囲の上限又は下限から所定値だけ内側の値となるように非標準予測画像の画素値を補正するべく補正値を求めてもよい。また、近接する周囲の画素との関係から適応的に補正値を求めてもよい。補正値算出部４０は、生成した補正値を非標準復号画像生成部５０に供給する。
【００２７】
非標準復号画像生成部５０の予測画像再構築部５０ａは、補正値算出部４０より供給される補正値に基づいて非標準予測画像を補正する。かかる補正処理により、非標準予測画像は、標準予測画像とのずれ量が量子化誤差の範囲に収まるように再構築される。非標準復号処理部５０ｂは、符号化装置によって量子化された予測誤差情報を量子化パラメータ情報に基づいて逆量子化して予測誤差を再生し、これと補正された非標準予測画像とを加算して復号画像を生成し、これを非標準復号画像として出力する。復号画像を構築する際、量子化誤差を低減するための量子化雑音低減フィルタを任意に挿入するなど、標準の復号手順とは異なる手順で復号処理を行い、量子化誤差に起因する画質劣化を低減した復号画像を構築する。生成された非標準復号画像は、出力端子に出力されるとともに、次の処理単位の復号処理に供する予測画像を構築するための非標準予測画像生成部２０に供給される。
【００２８】
このように、本発明の第１実施例に係る映像圧縮符号化データ復号装置によれば、非標準復号画像生成部５０において、量子化誤差に起因する画質劣化を低減するべく、標準とは異なる手順で復号画像を構築し、更に、かかる復号処理によって画質が改善されていることが期待される非標準復号画像を参照して予測画像（非標準予測画像）を生成するようにしたので、標準方式と比較して視覚的に良好な復号画像を生成することが可能となる。また、標準画質とは異なる非標準予測画像を用いて、復号画像を生成する場合、場合によってはかえって画質劣化を引き起こしてしまうことが懸念されるが、標準予測画像とのずれ量が量子化誤差の範囲に収まるように補正されるので、著しい画質劣化を防止することができる。
【実施例２】
【００２９】
図２は、本発明の第２実施例である映像圧縮符号化データの復号装置の構成を示すブロック図である。第２実施例に係る復号装置は、符号化装置において動き補償フレーム間予測と離散コサイン変換（ＤＣＴ）等の直交変換とを組み合わせた所謂ハイブリッド方式による圧縮符号化処理が施された符号化データを復号するための構成を有するものとなっている。具体的には、第１実施例と比較して非標準予測画像生成部２０および標準予測画像生成部３０の後段にそれぞれ直交変換部６０および７０が設けられている点が異なる。以下、第１実施例と異なる部分について説明する。
【００３０】
非標準予測画像生成部２０において生成された非標準予測画像は、直交変換部６０に供給される。直交変換部６０は、供給された非標準予測画像に対して離散コサイン変換（ＤＣＴ）等の直交変換処理を施して、非標準予測画像の直交変換係数を生成してこれを非標準復号画像生成部５０および補正値算出部４０に供給する。標準予測画像生成部３０において生成された標準予測画像も同様に、直交変換部７０により直交変換処理が施され、標準予測画像の直交変換係数が補正値算出部４０に供給される。
【００３１】
補正値算出部４０は、非標準予測画像と標準予測画像とのずれ量を直交変換係数領域で特定し、量子化パラメータ情報に基づいて、両画像の直交変換係数のずれ量が量子化誤差の範囲内に収まるように非標準予測画像の直交変換係数を補正するべく直交変換係数成分毎の補正値を算出してこれを非標準復号画像生成部５０に供給する。
【００３２】
非標準復号画像生成部５０の直交変換係数補正部５０ｆは、非標準予測画像の直交変換係数と、補正値算出部４０より供給された補正値に基づいて非標準予測画像の直交変換係数を補正する。かかる補正処理により、直交変換係数領域で表された非標準予測画像は、標準予測画像とのずれ量が量子化誤差の範囲に収まるように補正される。非標準復号処理部５０ｂは、符号化装置によって直交変換、量子化された予測誤差情報を量子化パラメータ情報に基づいて逆量子化して予測誤差係数を再生し、再生された予測誤差係数と補正された非標準予測画像の直交変換係数とを加算した後、逆直交変換を施して、復号画像を生成し、これを非標準復号画像として出力する。非標準復号画像生成部５０は、復号画像を構築する際、例えば、量子化誤差を低減するための量子化雑音低減フィルタを任意に挿入するなど、標準の復号手順とは異なる手順で復号処理を行い、量子化誤差に起因する画質劣化を低減した復号画像を構築する。生成された非標準復号画像は、出力端子に出力されるとともに、次の処理単位の復号処理に供する予測画像を構築するために非標準予測画像生成部２０に供給される。
【００３３】
このように、第２実施例に係る復号装置によれば、第１実施例と同様の効果が得られるほか、直交変換処理を経た符号化データを復号する場合において、画素領域ではなく、実際に量子化雑音が発生している直交変換係数領域で標準予測画像と非標準予測画像との差分（ずれ量）を特定することができ、かかるずれ量に基づいて非標準予測画像の補正処理を行うことが可能となる。
【実施例３】
【００３４】
図３は、本発明の第３実施例である映像圧縮符号化データの復号装置の構成を示すブロック図である。第３実施例に係る復号装置は、第２実施例と同様、符号化装置において動き補償フレーム間予測と離散コサイン変換（ＤＣＴ）等の直交変換とを組み合わせたハイブリッド方式による符号化処理が施された符号化データを復号するための構成を有するものとなっている。第２実施例に係る復号装置との相違点は、第２実施例においては、非標準予測画像と標準予測画像のそれぞれについて直交変換を行った後、直交変換係数領域で両画像の差分（ずれ量）を特定することとしていたのに対して、第３実施例においては、非標準予測画像と標準予測画像の差分（ずれ量）を画素領域で特定し、この差分に対して離散コサイン変換（ＤＣＴ）等の直交変換を行う。
【００３５】
具体的には、非標準予測画像生成部２０において生成された非標準予測画像は、差分値直交変換部８０に供給される。また、標準予測画像生成部３０において生成された標準予測画像も、差分値直交変換部８０に供給される。差分値直交変換部８０は、非標準予測画像と標準予測画像との差分を画素領域で特定し、特定された両画像の差分値に対して直交変換を行い、得られた差分値の直交変換係数を補正値算出部４０に供給する。
【００３６】
補正値算出部４０は、量子化パラメータ情報に基づいて、直交変換係数によって示される非標準予測画像と標準予測画像のずれ量が量子化誤差の範囲以下に収まるように非標準予測画像の直交変換係数を補正するべく直交変換係数成分毎の補正値を算出してこれを非標準復号画像生成部５０に供給する。
【００３７】
非標準復号画像生成部５０の予測誤差補正部５０ｇは、符号化装置によって直交変換、量子化された予測誤差情報を量子化パラメータ情報に基づいて逆量子化して予測誤差係数を再生し、これに補正値算出部４０より供給された補正値を加算した後、逆直交変換を施して、非標準予測画像からの予測誤差に補正された予測誤差を生成する。かかる補正処理により得られる補正された予測誤差は、非標準予測画像と標準予測画像とのずれ量が量子化誤差の範囲に収まるように補正するための補正値分を含む非標準予測画像からの予測誤差が生成される。非標準復号処理部５０ｂは、補正された予測誤差と、非標準予測画像とを加算した後、復号画像を生成し、これを非標準復号画像として出力する。非標準復号画像生成部５０は、復号画像を構築する際、例えば、量子化誤差を低減するための量子化雑音低減フィルタを任意に挿入するなど、標準の復号手順とは異なる手順で復号処理を行い、量子化誤差に起因する画質劣化を低減した復号画像を構築する。生成された非標準復号画像は、出力端子に出力されるとともに、次の処理単位の復号処理に供する予測画像を構築するために非標準予測画像生成部２０に供給される。
【００３８】
このように、第３実施例に係る復号装置によれば、第１実施例および第２実施例に係る復号装置と同様の効果が得られるほか、第２実施例と比較して非標準予測画像と標準予測画像のそれぞれに対して直交変換する必要がなくなるので、直交変換処理数を削減することが可能となる。
【実施例４】
【００３９】
図４は、本発明の第４実施例である映像圧縮符号化データの復号装置の構成を示すブロック図である。第４実施例に係る復号装置は、非標準予測画像生成部２０および非標準復号画像生成部５０がそれぞれ画質改善のための第１フィルタ処理部５０ｃおよび第２フィルタ処理部２０ｃを有しており、これらのフィルタ処理部２０ｃおよび５０ｃを制御するためのフィルタ制御部９０が設けられている。尚、以下の説明においては、第１実施例に係る復号装置をベースとして、本実施例に係る復号装置を構成する場合を例に説明するが、これに限定されず、第２および第３実施例に係る復号装置をベースとして構成することも可能である。
【００４０】
非標準復号画像生成部５０によって生成された非標準復号画像は、予測画像を生成するための参照画像として非標準予測画像生成部２０に供給される。供給された非標準復号画像は、第２フィルタ処理部２０ｃによってフィルタ処理が施される。第２フィルタ処理部２０ｃは、フィルタ制御部９０によってフィルタ処理の適用／非適用が制御され、フィルタ制御部９０から「フィルタ処理適用」を示す制御信号が発せられると、受信した非標準復号画像に対して例えばブロック歪みを低減させるなど、参照画像としての画質を改善するようなフィルタ処理を行う。尚、第２フィルタ処理部２０ｃにおいて、雑音低減処理の他、輪郭強調処理のような画質改善処理を施すこととしてもよい。また、第２フィルタ処理部２０ｃは、互いに処理内容の異なる複数段のフィルタによって構成され、復号画像に対して種々のフィルタ処理を施すこととしてもよい。フィルタ処理が施された非標準復号画像は、フレームメモリ２０ａに蓄積される。一方、第２フィルタ処理部２０ｃは、フィルタ制御部９０から「フィルタ処理非適用」を示す制御信号が発せられると、受信した非標準復号画像に対してフィルタ処理を施さず、そのままフレームメモリ２０ａに蓄積する。予測処理部２０ｂは、フレームメモリ２０ｃに蓄積された非標準復号画像を参照し、これと動きベクトル情報および予測モード情報から非標準予測画像を生成する。生成された非標準予測画像は、補正値算出部４０および非標準復号画像生成部５０に供給される。このようにして生成された非標準予測画像は、標準に従って生成される標準予測画像とは画質が異なり、標準予測画像よりも良質な画像であることが期待できるが、場合によっては標準予測画像からのずれが大きくなり、かかる非標準予測画像に基づいて復号画像を構築すると画質劣化を引き起こす可能性がある。
【００４１】
このような場合を検出し、画質劣化を防止するために、標準予測画像生成部３０において標準に従った標準予測画像を生成し、補正値算出部４０において非標準予測画像と標準予測画像の差分（ずれ量）に基づき補正値を生成し、非標準復号画像生成部５０において、非標準予測画像を用いて復号画像を生成する際に、非標準予測画像に対して補正値に基づき補正処理を行って非標準復号画像を構築する。
【００４２】
標準予測画像生成部３０の標準復号処理部３０ａは、予測誤差情報および量子化パラメータ情報に基づいてＨ．２６４やＭＰＥＧ-２等の標準に従って標準復号画像を生成し、これを一時的にフレームメモリ３０ｂに蓄積する。予測処理部３０ｃは、フレームメモリ３０ｂに蓄積された標準復号画像を参照し、これと動きベクトル情報および予測モード情報から標準予測画像を生成する。標準予測画像生成部３０は、生成した標準予測画像を補正値算出部４０に供給する。
【００４３】
補正値算出部４０は、量子化パラメータを参照し、非標準予測画像と標準予測画像との差分（ずれ量）が符号化の際に生じる量子化誤差の範囲となるように非標準予測画像の画素値を補正するべく補正値を算出し、これを非標準復号画像生成部５０に供給する。
【００４４】
非標準復号画像生成部５０の予測画像再構築部５０ａは、非標準予測画像を補正値算出部４０より供給された補正値に基づいて補正を行う。かかる補正処理により、非標準予測画像は、標準予測画像とのずれ量が量子化誤差の範囲に収まるように再構築される。非標準復号処理部５０ｂは、符号化装置によって量子化された予測誤差情報を量子化パラメータ情報に基づいて逆量子化して予測誤差を再生し、再生された予測誤差と補正された非標準予測画像とを加算して復号画像を生成する。生成された復号画像は第１フィルタ処理部５０ｃに供給される。第１フィルタ処理部５０ｃは、フィルタ制御部９０によってその適用／非適用が制御され、フィルタ制御部９０から「フィルタ処理適用」を示す制御信号が発せられると、復号画像に対して量子化雑音低減処理などの雑音低減処理を施す。尚、第１フィルタ処理部５０ｃにおいて、雑音低減処理の他、輪郭強調処理のような画質改善処理を施すこととしてもよい。また、第１フィルタ処理部５０ｃは、互いに処理内容の異なる複数段のフィルタによって構成され、復号画像に対して種々のフィルタ処理を施すこととしてもよい。非標準復号画像生成部５０は、フィルタ処理を施した復号画像を非標準復号画像として出力端子に出力するとともに、次の処理単位の復号処理に供する予測画像を構築するために非標準予測画像生成部２０に供給される。尚、第１フィルタ処理部５０ｃは、フィルタ制御部９０から「フィルタ処理非適用」を示す制御信号が発せられたときは、復号画像に対してフィルタ処理を施さず生成された復号画像をそのまま出力する。
【００４５】
フィルタ制御部９０は、非標準復号画像生成部５０および非標準予測画像生成部２０に設けられたフィルタ処理部２０ｃおよび５０ｃに対してフィルタ処理の適用／非適用を示す制御信号を供給する。例えば、フィルタ制御部９０は外部入力に基づいて双方のフィルタを適用したり、いずれか一方のフィルタのみを適用する。或いは、フィルタ制御部９０は、復号画像のノイズレベル等に応じてフィルタ処理部２０ｃおよび５０ｃの適用／非適用を適応的に制御する。
【００４６】
このように、第４実施例に係る復号装置によれば、非標準復号画像生成部５０および非標準予測画像生成部にそれぞれ設けられたフィルタ処理部による雑音低減処理により、良好な復号画像を生成することが可能となる。また、外部入力や復号画像のノイズレベル等に基づいて、フィルタ処理の適用／非適用を制御することができるので、出力画像の画質を任意に設定することが可能となる。また、標準画質とは異なる非標準予測画像を用いて、復号画像を生成する場合、場合によっては、かえって画質劣化を引き起こしてしまうことが懸念されるが、標準予測画像とのずれ量が量子化誤差の範囲に収まるように補正されるので、著しい画質劣化を防止することができる。
【実施例５】
【００４７】
図５は、本発明の第５実施例である映像圧縮符号化データの復号装置の構成を示すブロック図である。
【００４８】
従来の標準に従って生成される復号画像においては、各画素を８ビットで表現して出力する場合が多い。また、Ｈ．２６４等では、復号画像の画素精度（ビット数）が映像圧縮符号化ストリームで指定され、指定されたビット数の画素値を持つ復号画像を構築する。本実施例に係る復号装置においては、非標準復号画像生成部５０の高精度復号画像生成部５０ｄが、入力されたストリームにおいて指定された標準の画素精度よりも高精度（画素あたりのビット数が多い）の復号画像を構築する点および標準予測画像生成部３０によって生成された標準予測画像を、これよりも高精度で生成される非標準予測画像の画素精度に合わせるための画素精度変換処理部３１が設けられている。尚、以下の説明においては、第１実施例に係る復号装置をベースとして本実施例に係る復号装置を構成する場合を例に説明するが、これに限定されず、第２および第３実施例に係る復号装置をベースとして構成することも可能である。
【００４９】
符号化装置において予測誤差が直交変換されて伝送される場合等、通常、復号装置において、これを量子化パラメータ情報に基づいて逆量子化して再生される予測誤差は、復号装置が生成する復号画像の画素精度に比べ高精度（ビット数が多い）な情報となっている。従来の標準の復号手順によれば、再生された予測誤差情報は、予測画像との加算処理を行う前に、データの丸め処理が行われ標準の画素精度に変換される。これに対して本実施例に係る高精度復号画像生成部５０ｄが供給される予測誤差情報に対して標準の画素精度への丸め処理を施すことなく再生処理を施す。予測画像再構築部５０ａは、非標準予測画像生成部２０より供給される標準よりも高精度な非標準予測画像に対して補正値算出部４０より供給される補正値に基づき補正処理を行う。高精度復号画像生成部５０ｄは、高精度のまま再生された予測誤差と、補正値に基づき補正された非標準予測画像とを加算して復号画像を生成し、これを非標準復号画像として出力する。このようにして生成される非標準復号画像は、標準の復号画像よりも高精度な画像となる。非標準復号画像は、出力端子に出力されるとともに、次の処理単位の復号処理に供する予測画像を構築するために非標準予測画像生成部２０に供給される。
【００５０】
非標準予測画像生成部２０は、非標準復号画像生成部５０より供給される標準よりも高精度の非標準復号画像を高精度のままフレームメモリ２０ａに蓄積する。予測処理部２０ｂは、フレームメモリ２０ａに蓄積された非標準復号画像を参照し、これと動きベクトル情報および予測モード情報から非標準予測画像を生成する。生成された非標準予測画像に対して丸め処理を行うこととしてもよいが、この場合、丸め処理対象ビットを標準よりも下位のビットに限定するなど参照画像の画素精度が維持される。非標準予測画像は、非標準復号画像生成部５０および補正値算出部４０に供給される。このようにして生成される非標準予測画像の画素精度は、標準予測画像の画素精度よりも高精度（画素あたりのビット数が多い）となり、かかる非標準予測画像を用いて復号画像を構築することにより、良好な画質の復号画像を構築できることが期待できるが、場合によっては標準予測画像からのずれが大きくなり、かかる非標準予測画像に基づいて復号画像を構築すると画質劣化を引き起こす可能性がある。
【００５１】
このような場合を検出し、画質劣化を防止するために、標準予測画像生成部３０において標準に従った標準予測画像を生成し、補正値算出部４０において非標準予測画像と標準予測画像の差分（ずれ量）に基づき補正値を生成し、非標準復号画像生成部５０において、非標準予測画像を用いて復号画像を生成する際に、非標準予測画像に対して補正値に基づき補正処理を行って非標準復号画像を構築する。
【００５２】
標準予測画像生成部３０の標準復号処理部３０ａは、予測誤差情報および量子化パラメータ情報に基づいてＨ．２６４やＭＰＥＧ-２等の標準に従って標準復号画像を生成し、これを一時的にフレームメモリ３０ｂに蓄積する。予測処理部３０ｃは、フレームメモリに蓄積された標準復号画像を参照し、これと動きベクトル情報および予測モード情報から標準予測画像を生成する。標準予測画像生成部３０は、生成した標準予測画像を補正値算出部４０に供給する。
【００５３】
画素精度変換処理部３１は、供給された標準予測画像の画素精度を非標準予測画像の画素精度に合わせるべく、標準予測画像に対して画素精度変換処理を施す。具体的には、標準予測画像と非標準予測画像の画素あたりのビット数が等しくなるように、標準予測画像の各画素データに冗長ビットを付加する等の処理を行う。精度変換された標準予測画像は、補正値算出部４０に供給される。尚、画素精度変換処理部３１による画素精度変換処理方法としては、上記したものの他、線形変換又は非線形変換により標準予測画像の画素値の範囲を拡大する方法や、所定の変換テーブルを参照する方法によって精度変換処理を行うこととしてもよい。
【００５４】
補正値算出部４０は、量子化パラメータを参照し、非標準予測画像と精度変換された標準予測画像とのずれ量が符号化の際に生じる量子化誤差の範囲内に収まるように非標準予測画像の画素値を補正するべく補正値を算出し、これを非標準復号画像生成部５０に供給する。供給された補正値は、上記したように非標準復号画像生成部５０において非標準予測画像の補正処理に用いられる。
【００５５】
このように、第５実施例に係る復号装置によれば、標準よりも高精度の復号画像を構築するようにしたので、標準画質よりも良好な復号画像を生成することが可能となる。また、標準画質とは異なる非標準予測画像を用いて、復号画像を生成する場合、場合によっては、かえって画質劣化を引き起こしてしまうことが懸念されるが、標準予測画像とのずれ量が量子化誤差の範囲に収まるように補正されるので、著しい画質劣化を防止することができる。
【実施例６】
【００５６】
図６は、本発明の第６実施例に係る映像圧縮符号化データの復号装置の構成を示すブロック図である。第６実施例に係る復号装置は、非標準復号画像生成部５０の高解像度復号画像生成部５０ｅが入力された映像圧縮符号化データが表現している解像度よりも高解像度の復号画像を構築し、標準予測画像生成部３０によって生成された標準予測画像をこれよりも高解像度で生成される非標準予測画像の解像度に合わせるための解像度変換処理部３２が設けられている。尚、以下の説明においては、第３実施例に係る復号装置をベースとした場合を例に説明するが、これに限定されず、第１および第２実施例に係る復号装置をベースとして構成することも可能である。
【００５７】
非標準復号画像生成部５０は、高解像度復号画像生成部５０ｅの復号処理によって標準の復号画像よりも高解像度の非標準復号画像を生成する。
【００５８】
非標準予測画像生成部２０は、非標準復号画像生成部５０より供給される標準よりも解像度の高い非標準復号画像を解像度を保持したままフレームメモリ２０ａに蓄積する。予測処理部２０ｂは、フレームメモリ２０ａに蓄積された非標準復号画像を参照し、これと動きベクトル情報および予測モード情報から非標準予測画像を生成する。このとき、動きベクトルのような参照画像の座標系に関わる値も、復号画像の解像度に応じてスケーリングする。生成された非標準予測画像は、差分値直交変換部８０に供給される。このようにして生成される非標準予測画像の解像度は、標準予測画像の解像度よりも高解像度となり、かかる非標準予測画像を用いて復号画像を構築することにより、良好な画質の復号画像を構築できることが期待できるが、場合によっては標準予測画像からのずれが大きくなり、かかる非標準予測画像に基づいて復号画像を構築すると画質劣化を引き起こす可能性がある。
【００５９】
このような場合を検出し、画質劣化を防止するために、標準予測画像生成部３０において標準に従った標準予測画像を生成し、補正値算出部４０において非標準予測画像と標準予測画像の差分（ずれ量）に基づき補正値を生成し、非標準復号画像生成部５０において、補正値に基づく補正処理を行う。
【００６０】
標準予測画像生成部３０は、予測誤差情報および量子化パラメータ情報に基づいてＨ．２６４やＭＰＥＧ-２等の標準に従って標準解像度の標準復号画像を生成し、これと動きベクトル情報および予測モード情報から標準解像度の標準予測画像を生成する。標準予測画像の生成単位となる画像領域（例えばマクロブロックやそれよりも小さな単位の画像領域）の画素数は、非標準予測画像のそれよりも少なくなっている。生成された標準予測画像は、解像度変換処理部３１に供給される。
【００６１】
解像度変換処理部３１は、供給された標準予測画像の解像度を非標準予測画像の解像度に合わせるべく、標準予測画像に対して解像度変換処理を施す。具体的には、標準予測画像と非標準予測画像の解像度が等しくなるように、アップサンプリング処理や画像のエッジやテキスチャの性質をなるべく保持するような適応的な画素間補間処理を行う。解像度変換された標準予測画像は、差分値直交変換部８０に供給される。
【００６２】
差分値直交変換部８０は、非標準予測画像と解像度変換された標準予測画像との差分を画素領域で特定し、特定された両画像の差分値に対して高解像度に応じた標準よりも入出力点数の多い直交変換を行い、得られた直交変換係数を補正値算出部４０に供給する。
【００６３】
補正値算出部４０は、量子化パラメータ情報に基づいて、直交変換係数によって示される非標準予測画像と標準予測画像のずれ量が量子化誤差の範囲以下に収まるように非標準予測画像の直交変換係数を補正するべく直交変換係数成分毎の補正値を算出してこれを非標準復号画像生成部５０に供給する。このとき、標準の解像度に対する直交変換の意味で対応する変換係数点のない差分値の直交変換係数点については、補正値なしとする、或いは、その差分値のゲインを減衰させるようなフィルタ処理を適用するなどしてもよい。例えばＤＣＴのような周波数領域への変換の場合、対応する変換係数点のない高周波成分を補正なしで、或いは高周波成分を減衰させるような補正値を出力してもよい。
【００６４】
非標準復号画像生成部５０の予測誤差補正部５０ｈは、符号化装置によって直交変換、量子化された予測誤差情報を量子化パラメータ情報に基づいて逆量子化して予測誤差係数を再生し、補正値算出部４０より供給された補正値と、対応する変換係数毎に加算した後、標準より入出力点数の多い逆直交変換を行うことにより、高解像度の画素領域で表された、補正値分を含む非標準予測画像からの予測誤差を生成する。高解像度復号画像生成部５０ｅは、生成された補正値分を含むと予測誤差と、非標準予測画像とを加算することにより、標準の復号画像よりも高解像度の非標準復号画像を生成する。非標準復号画像は、出力端子に出力されるとともに、次の処理単位の復号処理に供する予測画像を構築するために非標準予測画像生成部２０に供給される。
【００６５】
このように、第６実施例に係る復号装置によれば、標準よりも高解像度の復号画像を構築するようにしたので、標準画質よりも良好な復号画像を生成することが可能となる。また、標準画質とは異なる非標準予測画像を用いて、復号画像を生成する場合、場合によってはかえって画質劣化を引き起こしてしまうことが懸念されるが、標準予測画像とのずれ量が量子化誤差の範囲に収まるように補正されるので、著しい画質劣化を防止することができる。
【実施例７】
【００６６】
図７は、本発明の第７実施例に係る映像圧縮符号化データの復号装置の構成を示すブロック図である。第７実施例に係る復号装置は、第６実施例に係る復号装置と同様に、非標準復号画像生成部５０の高解像度復号画像生成部５０ｅが入力された映像圧縮符号化データが表現している解像度よりも高解像度の復号画像を構築する。第６実施例に係る復号装置との相違点は、非標準予測画像と標準予測画像の差分を画素領域ではなく、直交変換係数領域で特定して補正値を算出することである。以下、第６実施例に係る復号装置との相違点について説明する。
【００６７】
非標準予測画像生成部２０より生成された高解像度の非標準予測画像は、直交変換部６０に供給される。直交変換部６０は、供給された非標準予測画像に対して標準よりも入出力点数の多い離散コサイン変換（ＤＣＴ）等の直交変換処理を施して、非標準予測画像の直交変換係数を生成してこれを非標準復号画像生成部５０および補正値算出部４０に供給する。標準予測画像生成部３０において生成された標準予測画像も同様に、直交変換部７０により直交変換処理が施され、標準予測画像の直交変換係数が補正値算出部４０に供給される。非標準予測画像の解像度は標準予測画像の解像度よりも高く、画素数も多くなるため、直交変換の変換点数は、非標準予測画像の方が多くなる。従って、補正値算出部４０において両画像の直交変換係数の差分を特定することができるように、両画像同士で比較可能な変換係数を有するように直交変換を行う。例えばＤＣＴのような周波数領域への変換の場合は、非標準予測画像の変換係数の低周波成分が標準予測画像の変換係数と比較可能となるように直交変換を行う。
【００６８】
補正値算出部４０は、非標準予測画像と標準予測画像との差分（ずれ量）を直交変換係数領域で特定する。このとき、非標準予測画像の直交変換係数と、標準予測画像の直交変換係数では変換係数点の数が異なるが、対応する変換係数間ですれ量を特定する。例えば、直交変換がＤＣＴ変換のような周波数領域への変換である場合、対応する周波数成分同士の間でずれ量を特定する。そして、補正値算出部４０は、量子化パラメータ情報に基づいて、特定された両画像の直交変換係数のずれ量が量子化誤差の範囲内に収まるように非標準予測画像の直交変換係数を補正するべく補正値を算出してこれを非標準復号画像生成部５０に供給する。対応する変換係数点のない非標準予測画像の直交変換係数点については、補正せずにそのまま使用する。すなわち、補正値なしとする。或いは、そのずれ量のゲインを減衰させるようなフィルタ処理を適用するなどしてもよい。例えば逆ＤＣＴのような周波数領域からの逆変換の場合、対応する変換係数点のない高周波成分を補正なしで、或いは高周波成分を減衰させるような補正をするなどの処理をしてもよい。
【００６９】
非標準復号画像生成部５０の直交変換係数補正部５０ｆは、非標準予測画像の直交変換係数と、補正値算出部４０より供給された補正値に基づいて非標準予測画像の直交変換係数を補正する。かかる補正処理により、直交変換係数領域で表された非標準予測画像は、標準予測画像とのずれ量が量子化誤差の範囲に収まるように補正される。高解像度復号画像生成部５０ｅは、符号化装置によって直交変換、量子化された予測誤差情報を量子化パラメータ情報に基づいて逆量子化して予測誤差係数を再生し、再生された予測誤差係数と補正された非標準予測画像の直交変換係数とを対応する変換係数毎に加算した後、標準の変換点数よりも入出力変換点数の多い、逆直交変換を行うことにより、標準の復号画像よりも高解像度の非標準復号画像を生成する。非標準復号画像は、出力端子に出力されるとともに、次の処理単位の復号処理に供する予測画像を構築するために非標準予測画像生成部２０に供給される。
【００７０】
このように、第７実施例に係る復号装置によれば、標準よりも高解像度の復号画像を構築するようにしたので、標準画質よりも良好な復号画像を生成することが可能となる。また、標準画質とは異なる非標準予測画像を用いて、復号画像を生成する場合、場合によっては、かえって画質劣化を引き起こしてしまうことが懸念されるが、標準予測画像とのずれ量が量子化誤差の範囲に収まるように補正されるので、著しい画質劣化を防止することができる。また、直交変換処理を経た符号化データを復号する場合において、画素領域ではなく、実際に量子化雑音が発生している直交変換係数領域で標準予測画像と非標準予測画像との差分（ずれ量）を特定することができ、かかるずれ量に基づいて非標準予測画像の補正処理を行うことが可能となる。
【００７１】
以上、本発明の種々の実施形態を示したが、上記各実施例において示した構成部分を適宜組み合わせて復号装置を構成することも可能である。
【符号の説明】
【００７２】
１０ エントロピー復号部
２０ 非標準画像生成部
２０ａ フレームメモリ
２０ｂ 予測処理部
２０ｃ フィルタ処理部
３０ 標準予測画像生成部
３０ａ 標準復号処理部
３０ｂ フレームメモリ
３０ｃ 予測処理部
４０ 補正値算出部
５０ 非標準復号画像生成部
５０ａ 非標準画像再構築部
５０ｂ 非標準復号処理部
５０ｃ フィルタ処理部
５０ｄ 高精度復号画像生成部
５０ｅ 高解像度復号画像生成部
６０、７０ 直交変換部
８０ 差分値直交変換部
９０ フィルタ制御部
【技術分野】
【０００１】
本発明は、圧縮符号化された映像信号の復号技術に関する。
【背景技術】
【０００２】
動画データの圧縮符号化方式の標準として、Ｈ．２６２／ＭＰＥＧ-２（以下ＭＰＥＧ-２と称する。）やＨ.２６４／ＭＰＥＧ４-ＡＶＣ（以下Ｈ.２６４と称する）等がある。ＭＰＥＧ-２は、インターレース形式のテレビ信号を６Ｍｂｉｔ／ｓ前後で符号化し、ＨＤＴＶ信号を２０Ｍｂｉｔ／ｓ程度で符号化するために、ＩＳＯ／ＩＥＣにより標準化されている。ＭＰＥＧ-２のビデオパート（ＩＳＯ／ＩＥＣ１３８１８-２）は、ＩＴＵ-Ｔと共通テキスト（ＩＴＵ-Ｔ Ｈ．２６２）として出版されている。一方、Ｈ．２６４は、携帯電話などの低ビットレートからＨＤＴＶなどの高ビットレートまで幅広く利用されることが想定されており、ＩＴＵ-ＴとＩＳＯ／ＩＥＣの共同グループＪＶＴによって標準化されたものである。
【０００３】
これらの標準による映像圧縮符号化技術は、動き補償画像間差分符号化技術、離散コサイン変換（ＤＣＴ）等の直交変換技術、量子化／逆量子化技術、可変長符号化等のエントロピー符号化技術等により構成されている。
【０００４】
これらの標準に基づく映像圧縮符号化においては、高能率の符号化を達成するために映像信号をある値で除算してその余りを丸める量子化を行っている。映像圧縮符号化データを復号するとき量子化によって丸めたデータは、完全には復元されず、除数が大きければ、ブロック歪やモスキート歪といった画質劣化となって現れる。
【０００５】
かかる量子化雑音の影響を復号装置で低減する技術として、従来、ポストフィルタ処理、ループ内フィルタ処理等があった。ループ内フィルタ処理としては、例えば、Ｈ．２６４においてデブロッキングフィルタが標準として規定されている。また、ポストフィルタ処理としては、例えば、特許文献１に示される技術があった。
【先行技術文献】
【特許文献】
【０００６】
【特許文献１】特開２００６−１５７９３８号公報
【発明の概要】
【発明が解決しようとする課題】
【０００７】
しかしながら、従来の標準に準拠した復号装置においては、復号画像を順次参照しつつ予測画像を生成し、かかる予測画像を用いて復号画像を構築するという性質上、参照される復号画像が本来の復号画像からずれると、そのずれが順次以降の復号画像に伝搬していくという劣化が生じてしまう。従来のポストフィルタ処理では、復号画像として最終的に復号装置から出力される画像のみがフィルタ処理の対象となる。すなわち、予測画像を生成に用いられる参照画像には、フィルタ処理は施されず、量子化雑音を有したまま参照され、これに基づいて予測画像が生成されることとなり、ポストフィルタ処理では、画質が十分に改善されないといった問題があった。
【０００８】
また、標準の復号手順としてループ内フィルタの適用が規定されているが、復号画像を構築する際に画質劣化を改善するべく標準とは異なったフィルタ処理を施すとドリフトノイズが発生することもあり、標準以外の処理が適用できないという問題があった。
【０００９】
本発明は、上記した点に鑑みてなされたものであり、量子化誤差等に起因する画質劣化を改善し、また、標準とは異なる復号処理を行った場合でもこれに起因する画質劣化を低減することができる映像圧縮符号化データの復号装置を提供することを目的とする。
【課題を解決するための手段】
【００１０】
本発明の映像圧縮符号化データの復号装置は、復号画像から予測画像を生成し、前記予測画像と符号化対象画像との差分を示す予測誤差情報を量子化して符号化した映像圧縮符号化データの復号装置であって、前記予測誤差情報に基づいて、標準画質の標準復号画像を生成し、前記標準復号画像に基づいて標準画質の標準予測画像を生成する標準予測画像生成部と、前記予測誤差情報に基づいて、前記標準復号画像とは画質が異なる非標準復号画像を生成する非標準復号画像生成部と、前記非標準復号画像に基づいて前記標準予測画像とは画質が異なる非標準予測画像を生成する非標準予測画像生成部と、前記標準予測画像と前記非標準予測画像の差分に応じた補正値を算出する補正値算出部と、を含み、前記非標準復号画像生成部は、前記補正値に基づいて前記非標準予測画像を補正する予測画像再構築部と、前記予測誤差情報を逆量子化して再生し、これと補正された前記非標準予測画像とを加算して前記非標準復号画像を生成する復号処理部と、を含むことを特徴としている。
【００１１】
また、本発明の他の復号装置は、復号画像から予測画像を生成し、前記予測画像と符号化対象画像との差分を示す予測誤差情報を直交変換および量子化して符号化した映像圧縮符号化データの復号装置であって、前記予測誤差情報に基づいて、標準画質の標準復号画像を生成し、前記標準復号画像に基づいて標準画質の標準予測画像を生成する標準予測画像生成部と、前記予測誤差情報に基づいて、前記標準復号画像とは画質が異なる非標準復号画像を生成する非標準復号画像生成部と、前記非標準復号画像に基づいて前記標準予測画像とは画質が異なる非標準予測画像を生成する非標準予測画像生成部と、前記標準予測画像の画素値を直交変換して前記標準予測画像の直交変換係数を生成する第１の直交変換部と、前記非標準予測画像の画素値を直交変換して前記非標準予測画像の直交変換係数を生成する第２の直交変換部と、前記標準予測画像の直交変換係数と前記非標準予測画像の直交変換係数の差分に応じた補正値を算出する補正値算出部と、を含み、前記非標準復号画像生成部は、前記補正値に基づいて前記非標準予測画像の直交変換係数を補正する直交変換係数補正部と、前記予測誤差情報を逆量子化して再生し、これと補正された前記非標準予測画像の直交変換係数とを加算した後、逆直交変換を行って前記非標準復号画像を生成する非標準復号処理部と、を含むことを特徴としている。
【００１２】
また、本発明の他の復号装置は、復号画像から予測画像を生成し、前記予測画像と符号化対象画像との差分を示す予測誤差情報を直交変換および量子化して符号化した映像圧縮符号化データの復号装置であって、前記予測誤差情報に基づいて、標準画質の標準復号画像を生成し、前記標準復号画像に基づいて標準画質の標準予測画像を生成する標準予測画像生成部と、前記予測誤差情報に基づいて、前記標準復号画像とは画質が異なる非標準復号画像を生成する非標準復号画像生成部と、前記非標準復号画像に基づいて前記標準予測画像とは画質が異なる非標準予測画像を生成する非標準予測画像生成部と、前記標準予測画像と前記非標準予測画像の画素値の差分値を直交変換した差分値直交変換係数を生成する差分値直交変換部と、前記差分値直交変換係数に応じた補正値を算出する補正値算出部と、を含み、前記非標準復号画像生成部は、前記予測誤差情報を逆量子化して再生し、これと前記補正値とを加算した後、逆直交変換を行って、非標準予測画像からの予測誤差に補正された予測誤差を生成する予測誤差補正部と、これと前記非標準予測画像とを加算して、前記非標準復号画像を生成する非標準復号処理部と、を含むことを特徴としている。
【発明の効果】
【００１３】
本発明の映像圧縮符号化データの復号装置によれば、非標準復号画像生成部が標準とは異なる手順に従って、ノイズ低減処理を行うことにより、復号画像の画質を改善することが可能となり、これを予測画像生成に用いる参照画像としても用いることにより、更なる画質の改善が可能となる。また、かかる非標準の復号画像から標準画質とは異なる非標準予測画像を生成し、これを用いて復号画像を生成する場合、場合によっては、かえって画質劣化を引き起こしてしまうことが懸念されるが、標準予測画像とのずれ量が量子化誤差の範囲に収まるように補正されるので、著しい画質劣化を防止することができる。
【図面の簡単な説明】
【００１４】
【図１】本発明の第１実施例に係る映像圧縮符号化データの復号装置の構成を示すブロック図である。
【図２】本発明の第２実施例に係る映像圧縮符号化データの復号装置の構成を示すブロック図である。
【図３】本発明の第３実施例に係る映像圧縮符号化データの復号装置の構成を示すブロック図である。
【図４】本発明の第４実施例に係る映像圧縮符号化データの復号装置の構成を示すブロック図である。
【図５】本発明の第５実施例に係る映像圧縮符号化データの復号装置の構成を示すブロック図である。
【図６】本発明の第６実施例に係る映像圧縮符号化データの復号装置の構成を示すブロック図である。
【図７】本発明の第７実施例に係る映像圧縮符号化データの復号装置の構成を示すブロック図である。
【発明を実施するための形態】
【００１５】
以下、本発明の実施例について図面を参照しつつ説明する。尚、以下に示す図において、実質的に同一又は等価な構成要素、部分には同一の参照符を付している。
【実施例１】
【００１６】
図１は、本発明の第１実施例である映像圧縮符号化データの復号装置の構成を示すブロック図である。エントロピー復号部１０は、図示しない符号化装置によって可変長符号化或いは算術符号化等のエントロピー符号化処理が施された映像圧縮符号化データを受信し、多重伝送された符号化モード情報、予測モード情報、動きベクトル情報、予測誤差情報、量子化パラメータ情報等の各データにエントロピー復号処理を行って分離抽出する処理を行う。ここで、符号化モード情報は、例えば符号化処理がイントラモードで行われたのか、あるいはインターモードで行われたのか等を示す符号化モードに関する情報である。予測モード情報とは、符号化装置における予測画像の生成処理に関する情報であり、例えばマクロブロックの分割情報、分割された領域ごとの参照画像の参照方法などの情報を含んでいる。動きベクトル情報とは、インターモードの場合に動き補償フレーム間予測に用いられる動きベクトルを示す情報である。予測誤差情報とは、伝送されるべき入力画像と予測画像との差分を示す情報である。量子化パラメータ情報は、符号化装置においてどのような量子化処理が行われたのかを示す情報であり、量子化ステップ幅等を制御する情報である。
【００１７】
非標準予測画像生成部２０は、後述する非標準復号画像生成部５０より供給される標準とは異なる手順で復号処理された非標準復号画像を参照画像として参照し、予測モード情報および動きベクトル情報に基づいて、標準とは異なる画質の非標準予測画像の生成処理を行う。非標準予測画像生成部２０は、例えば、非標準復号画像生成部５０より供給される非標準復号画像を一時的に蓄積するフレームメモリ２０ａおよびフレームメモリ２０ａに蓄積された非標準復号画像を参照し、エントロピー復号部１０より供給される予測モード情報および動きベクトル情報に基づいて非標準予測画像を生成する予測処理部２０ｂを含んでいる。尚、非標準予測画像生成部２０における予測画像の生成処理手順は、後述する標準予測画像生成部３０における予測画像の生成手順と同じであっても構わないが、非標準予測画像生成部２０においては、例えば参照画像の画素間補間を行う際に用いられる補間フィルタのフィルタ係数を適宜変更する等、標準とは異なる構成部分を含んでいてもよい。
【００１８】
標準予測画像生成部３０は、エントロピー復号部より供給される予測誤差情報および量子化パラメータ情報に基づいて、Ｈ．２６４やＭＰＥＧ-２等の標準に規定された復号処理を行って、標準復号画像を生成する標準復号処理部３０ａと、生成した標準復号画像を一時的に蓄積するフレームメモリ３０ｂと、エントロピー復号部１０より供給される予測モード情報および動きベクトル情報とフレームメモリ３０ｂに蓄積された標準復号画像から標準予測画像を生成する予測処理部３０ｃを含んでいる。すなわち、標準予測画像生成部３０により生成される標準予測画像は、従来の標準に従う復号装置によって生成される予測画像の画質と同等である。
【００１９】
補正値算出部４０は、非標準予測画像生成部２０より供給される非標準予測画像と、標準予測画像生成部３０より供給される標準予測画像との画素毎の差分（ずれ量）を特定し、特定された差分が映像圧縮符号化データに生じている量子化誤差範囲以下となるように非標準復号画像の画素値を補正するべく補正値を算出する。
【００２０】
非標準復号画像生成部５０は、エントロピー復号部１０より供給される予測誤差情報および量子化パラメータ情報と、非標準予測画像生成部２０より供給される非標準予測画像と、補正値算出部４０より供給される補正値に基づいて、非標準復号画像を構築する。非標準復号画像生成部５０は、非標準予測画像に対して補正値に基づき補正処理を行って、予測画像の再構築を行う予測画像再構築部５０ａと、符号化装置によって量子化された予測誤差情報を量子化パラメータ情報に基づいて逆量子化し、逆量子化された予測誤差情報と補正された非標準予測画像とを加算して非標準復号画像を生成する非標準復号処理部５０ｂとを含む。非標準復号処理部５０ｂにおける復号画像の生成手順は、標準に規定された復号手順とは異なり、例えば、量子化雑音低減フィルタを任意に挿入するなどの画質改善のための処理を含めてもよい。
【００２１】
次に、本実施例に係る復号装置の動作について説明する。伝送されるべき入力映像信号には、図示しない符号化装置において、動き補償フレーム間予測を用いた動画像の圧縮符号化処理が施される。すなわち、符号化装置は公知の手順に従って、参照画像を構築し、これと符号化対象画像を比較して動きベクトルを求める。そして、参照画像中の被写体を動きベクトル分だけずらした画像を予測画像として生成し、符号化対象画像と予測画像との画素毎の差分を示す予測誤差情報を生成する。符号化装置は、得られた予測誤差情報を量子化し、これに可変長符号化等のエントロピー符号化を施す。符号化装置は、かかる予測誤差情報に符号化処理に係る符号化モード情報、予測モード情報、動きベクトル情報、量子化パラメータ情報を多重化し、これを映像圧縮符号化データとして復号装置に伝送する。
【００２２】
符号化装置より送信された映像圧縮符号化データは、復号装置のエントロピー復号部１０により受信される。エントロピー復号部１０は、受信した映像圧縮符号化データに含まれる多重化された符号化モード情報、予測モード情報、動きベクトル情報、予測誤差情報、量子化パラメータ情報を分離する。エントロピー復号部１０は、予測モード情報および動きベクトル情報を非標準予測画像生成部２０に供給し、予測モード情報、動きベクトル情報、予測誤差情報および量子化パラメータ情報を標準予測画像生成部３０に供給し、量子化パラメータ情報を補正値算出部４０に供給し、予測誤差情報および量子化パラメータ情報を非標準復号画像生成部５０に供給する。
【００２３】
非標準予測画像生成部２０は、非標準復号画像生成部５０から供給される標準とは異なる画質の非標準復号画像をフレームメモリ２０ａに蓄積する。予測処理部２０ｂは、フレームメモリ２０ａに蓄積された非標準復号画像を参照し、これと動きベクトル情報および予測モード情報から非標準予測画像を生成する。生成された非標準予測画像は、補正値算出部４０および非標準復号画像生成部５０に供給される。予測処理部２０ｂは、標準の手順に従って生成される復号画像と比較して画質劣化が低減されているものと期待できる非標準復号画像を参照画像として用いるので、生成される非標準予測画像は、量子化ノイズによる画質劣化の影響が低減された良好な画像であることが期待できる。尚、非標準予測画像生成部２０は、例えば、任意のフィルタ係数を持つ補間フィルタを用いて参照画像の画素間補間を行う等の処理を行った上で予測画像を生成することとしてもよい。このようにして生成された非標準予測画像は、標準に従って生成される標準予測画像とは画質が異なり、標準予測画像よりも良質な画像であることが期待できるが、場合によっては標準予測画像からのずれが大きくなり、かかる非標準予測画像に基づいて復号画像を構築すると画質劣化を引き起こす可能性がある。
【００２４】
このような場合を検出し、画質劣化を防止するために、標準予測画像生成部３０において標準に従った標準予測画像を生成し、補正値算出部４０において非標準予測画像と標準予測画像の差分（ずれ量）に基づき補正値を生成し、非標準復号画像生成部５０において非標準予測画像を用いて復号画像を生成する際に非標準予測画像に対して補正値に基づき補正処理を行って非標準復号画像を構築する。
【００２５】
標準予測画像生成部３０の標準復号処理部３０ａは、予測誤差情報および量子化パラメータ情報に基づいてＨ．２６４やＭＰＥＧ-２等の標準に従って標準復号画像を生成し、これを一時的にフレームメモリ３０ｂに蓄積する。予測処理部３０ｃは、フレームメモリに蓄積された標準復号画像を参照し、これと動きベクトル情報および予測モード情報から標準予測画像を生成する。標準予測画像生成部３０は、生成した標準予測画像を補正値算出部４０に供給する。
【００２６】
補正値算出部４０は、非標準予測画像生成部２０より供給された非標準予測画像が適正なものかどうか評価するために以下の処理を行う。補正値算出部４０は、非標準予測画像と、標準予測画像との画素値を比較してその差分（ずれ量）を画素毎に算出する。次に、かかる両画像の画素毎のずれ量が符号化の際に生じる量子化誤差の範囲内であるか否かを評価する。量子化誤差の範囲は、量子化パラメータ情報に含まれる量子化ステップの幅を参照することにより特定される。補正値算出部４０は、両画像のずれ量が映像圧縮符号化データに生じている量子化誤差の範囲内にあると判断したときは、補正値を出力しない。すなわち、この場合、非標準復号画像生成部５０では、非標準復号画像を生成する際に非標準予測画像に対して補正処理を行わない。一方、補正値算出部４０は、両画像のずれ量が量子化誤差以上であると判断したときは、両画像のずれ量が例えばゼロとなるように非標準予測画像の画素値を補正するべく補正値を出力する。尚、補正値の算出方法としては、両画像のずれ量をゼロとするような補正値を求める他、例えば両画像のずれ量が量子化誤差範囲の上限又は下限となるように非標準予測画像の画素値を補正するべく補正値を求めてもよい。また、両画像のずれ量が量子化誤差範囲の上限又は下限から所定値だけ内側の値となるように非標準予測画像の画素値を補正するべく補正値を求めてもよい。また、近接する周囲の画素との関係から適応的に補正値を求めてもよい。補正値算出部４０は、生成した補正値を非標準復号画像生成部５０に供給する。
【００２７】
非標準復号画像生成部５０の予測画像再構築部５０ａは、補正値算出部４０より供給される補正値に基づいて非標準予測画像を補正する。かかる補正処理により、非標準予測画像は、標準予測画像とのずれ量が量子化誤差の範囲に収まるように再構築される。非標準復号処理部５０ｂは、符号化装置によって量子化された予測誤差情報を量子化パラメータ情報に基づいて逆量子化して予測誤差を再生し、これと補正された非標準予測画像とを加算して復号画像を生成し、これを非標準復号画像として出力する。復号画像を構築する際、量子化誤差を低減するための量子化雑音低減フィルタを任意に挿入するなど、標準の復号手順とは異なる手順で復号処理を行い、量子化誤差に起因する画質劣化を低減した復号画像を構築する。生成された非標準復号画像は、出力端子に出力されるとともに、次の処理単位の復号処理に供する予測画像を構築するための非標準予測画像生成部２０に供給される。
【００２８】
このように、本発明の第１実施例に係る映像圧縮符号化データ復号装置によれば、非標準復号画像生成部５０において、量子化誤差に起因する画質劣化を低減するべく、標準とは異なる手順で復号画像を構築し、更に、かかる復号処理によって画質が改善されていることが期待される非標準復号画像を参照して予測画像（非標準予測画像）を生成するようにしたので、標準方式と比較して視覚的に良好な復号画像を生成することが可能となる。また、標準画質とは異なる非標準予測画像を用いて、復号画像を生成する場合、場合によってはかえって画質劣化を引き起こしてしまうことが懸念されるが、標準予測画像とのずれ量が量子化誤差の範囲に収まるように補正されるので、著しい画質劣化を防止することができる。
【実施例２】
【００２９】
図２は、本発明の第２実施例である映像圧縮符号化データの復号装置の構成を示すブロック図である。第２実施例に係る復号装置は、符号化装置において動き補償フレーム間予測と離散コサイン変換（ＤＣＴ）等の直交変換とを組み合わせた所謂ハイブリッド方式による圧縮符号化処理が施された符号化データを復号するための構成を有するものとなっている。具体的には、第１実施例と比較して非標準予測画像生成部２０および標準予測画像生成部３０の後段にそれぞれ直交変換部６０および７０が設けられている点が異なる。以下、第１実施例と異なる部分について説明する。
【００３０】
非標準予測画像生成部２０において生成された非標準予測画像は、直交変換部６０に供給される。直交変換部６０は、供給された非標準予測画像に対して離散コサイン変換（ＤＣＴ）等の直交変換処理を施して、非標準予測画像の直交変換係数を生成してこれを非標準復号画像生成部５０および補正値算出部４０に供給する。標準予測画像生成部３０において生成された標準予測画像も同様に、直交変換部７０により直交変換処理が施され、標準予測画像の直交変換係数が補正値算出部４０に供給される。
【００３１】
補正値算出部４０は、非標準予測画像と標準予測画像とのずれ量を直交変換係数領域で特定し、量子化パラメータ情報に基づいて、両画像の直交変換係数のずれ量が量子化誤差の範囲内に収まるように非標準予測画像の直交変換係数を補正するべく直交変換係数成分毎の補正値を算出してこれを非標準復号画像生成部５０に供給する。
【００３２】
非標準復号画像生成部５０の直交変換係数補正部５０ｆは、非標準予測画像の直交変換係数と、補正値算出部４０より供給された補正値に基づいて非標準予測画像の直交変換係数を補正する。かかる補正処理により、直交変換係数領域で表された非標準予測画像は、標準予測画像とのずれ量が量子化誤差の範囲に収まるように補正される。非標準復号処理部５０ｂは、符号化装置によって直交変換、量子化された予測誤差情報を量子化パラメータ情報に基づいて逆量子化して予測誤差係数を再生し、再生された予測誤差係数と補正された非標準予測画像の直交変換係数とを加算した後、逆直交変換を施して、復号画像を生成し、これを非標準復号画像として出力する。非標準復号画像生成部５０は、復号画像を構築する際、例えば、量子化誤差を低減するための量子化雑音低減フィルタを任意に挿入するなど、標準の復号手順とは異なる手順で復号処理を行い、量子化誤差に起因する画質劣化を低減した復号画像を構築する。生成された非標準復号画像は、出力端子に出力されるとともに、次の処理単位の復号処理に供する予測画像を構築するために非標準予測画像生成部２０に供給される。
【００３３】
このように、第２実施例に係る復号装置によれば、第１実施例と同様の効果が得られるほか、直交変換処理を経た符号化データを復号する場合において、画素領域ではなく、実際に量子化雑音が発生している直交変換係数領域で標準予測画像と非標準予測画像との差分（ずれ量）を特定することができ、かかるずれ量に基づいて非標準予測画像の補正処理を行うことが可能となる。
【実施例３】
【００３４】
図３は、本発明の第３実施例である映像圧縮符号化データの復号装置の構成を示すブロック図である。第３実施例に係る復号装置は、第２実施例と同様、符号化装置において動き補償フレーム間予測と離散コサイン変換（ＤＣＴ）等の直交変換とを組み合わせたハイブリッド方式による符号化処理が施された符号化データを復号するための構成を有するものとなっている。第２実施例に係る復号装置との相違点は、第２実施例においては、非標準予測画像と標準予測画像のそれぞれについて直交変換を行った後、直交変換係数領域で両画像の差分（ずれ量）を特定することとしていたのに対して、第３実施例においては、非標準予測画像と標準予測画像の差分（ずれ量）を画素領域で特定し、この差分に対して離散コサイン変換（ＤＣＴ）等の直交変換を行う。
【００３５】
具体的には、非標準予測画像生成部２０において生成された非標準予測画像は、差分値直交変換部８０に供給される。また、標準予測画像生成部３０において生成された標準予測画像も、差分値直交変換部８０に供給される。差分値直交変換部８０は、非標準予測画像と標準予測画像との差分を画素領域で特定し、特定された両画像の差分値に対して直交変換を行い、得られた差分値の直交変換係数を補正値算出部４０に供給する。
【００３６】
補正値算出部４０は、量子化パラメータ情報に基づいて、直交変換係数によって示される非標準予測画像と標準予測画像のずれ量が量子化誤差の範囲以下に収まるように非標準予測画像の直交変換係数を補正するべく直交変換係数成分毎の補正値を算出してこれを非標準復号画像生成部５０に供給する。
【００３７】
非標準復号画像生成部５０の予測誤差補正部５０ｇは、符号化装置によって直交変換、量子化された予測誤差情報を量子化パラメータ情報に基づいて逆量子化して予測誤差係数を再生し、これに補正値算出部４０より供給された補正値を加算した後、逆直交変換を施して、非標準予測画像からの予測誤差に補正された予測誤差を生成する。かかる補正処理により得られる補正された予測誤差は、非標準予測画像と標準予測画像とのずれ量が量子化誤差の範囲に収まるように補正するための補正値分を含む非標準予測画像からの予測誤差が生成される。非標準復号処理部５０ｂは、補正された予測誤差と、非標準予測画像とを加算した後、復号画像を生成し、これを非標準復号画像として出力する。非標準復号画像生成部５０は、復号画像を構築する際、例えば、量子化誤差を低減するための量子化雑音低減フィルタを任意に挿入するなど、標準の復号手順とは異なる手順で復号処理を行い、量子化誤差に起因する画質劣化を低減した復号画像を構築する。生成された非標準復号画像は、出力端子に出力されるとともに、次の処理単位の復号処理に供する予測画像を構築するために非標準予測画像生成部２０に供給される。
【００３８】
このように、第３実施例に係る復号装置によれば、第１実施例および第２実施例に係る復号装置と同様の効果が得られるほか、第２実施例と比較して非標準予測画像と標準予測画像のそれぞれに対して直交変換する必要がなくなるので、直交変換処理数を削減することが可能となる。
【実施例４】
【００３９】
図４は、本発明の第４実施例である映像圧縮符号化データの復号装置の構成を示すブロック図である。第４実施例に係る復号装置は、非標準予測画像生成部２０および非標準復号画像生成部５０がそれぞれ画質改善のための第１フィルタ処理部５０ｃおよび第２フィルタ処理部２０ｃを有しており、これらのフィルタ処理部２０ｃおよび５０ｃを制御するためのフィルタ制御部９０が設けられている。尚、以下の説明においては、第１実施例に係る復号装置をベースとして、本実施例に係る復号装置を構成する場合を例に説明するが、これに限定されず、第２および第３実施例に係る復号装置をベースとして構成することも可能である。
【００４０】
非標準復号画像生成部５０によって生成された非標準復号画像は、予測画像を生成するための参照画像として非標準予測画像生成部２０に供給される。供給された非標準復号画像は、第２フィルタ処理部２０ｃによってフィルタ処理が施される。第２フィルタ処理部２０ｃは、フィルタ制御部９０によってフィルタ処理の適用／非適用が制御され、フィルタ制御部９０から「フィルタ処理適用」を示す制御信号が発せられると、受信した非標準復号画像に対して例えばブロック歪みを低減させるなど、参照画像としての画質を改善するようなフィルタ処理を行う。尚、第２フィルタ処理部２０ｃにおいて、雑音低減処理の他、輪郭強調処理のような画質改善処理を施すこととしてもよい。また、第２フィルタ処理部２０ｃは、互いに処理内容の異なる複数段のフィルタによって構成され、復号画像に対して種々のフィルタ処理を施すこととしてもよい。フィルタ処理が施された非標準復号画像は、フレームメモリ２０ａに蓄積される。一方、第２フィルタ処理部２０ｃは、フィルタ制御部９０から「フィルタ処理非適用」を示す制御信号が発せられると、受信した非標準復号画像に対してフィルタ処理を施さず、そのままフレームメモリ２０ａに蓄積する。予測処理部２０ｂは、フレームメモリ２０ｃに蓄積された非標準復号画像を参照し、これと動きベクトル情報および予測モード情報から非標準予測画像を生成する。生成された非標準予測画像は、補正値算出部４０および非標準復号画像生成部５０に供給される。このようにして生成された非標準予測画像は、標準に従って生成される標準予測画像とは画質が異なり、標準予測画像よりも良質な画像であることが期待できるが、場合によっては標準予測画像からのずれが大きくなり、かかる非標準予測画像に基づいて復号画像を構築すると画質劣化を引き起こす可能性がある。
【００４１】
このような場合を検出し、画質劣化を防止するために、標準予測画像生成部３０において標準に従った標準予測画像を生成し、補正値算出部４０において非標準予測画像と標準予測画像の差分（ずれ量）に基づき補正値を生成し、非標準復号画像生成部５０において、非標準予測画像を用いて復号画像を生成する際に、非標準予測画像に対して補正値に基づき補正処理を行って非標準復号画像を構築する。
【００４２】
標準予測画像生成部３０の標準復号処理部３０ａは、予測誤差情報および量子化パラメータ情報に基づいてＨ．２６４やＭＰＥＧ-２等の標準に従って標準復号画像を生成し、これを一時的にフレームメモリ３０ｂに蓄積する。予測処理部３０ｃは、フレームメモリ３０ｂに蓄積された標準復号画像を参照し、これと動きベクトル情報および予測モード情報から標準予測画像を生成する。標準予測画像生成部３０は、生成した標準予測画像を補正値算出部４０に供給する。
【００４３】
補正値算出部４０は、量子化パラメータを参照し、非標準予測画像と標準予測画像との差分（ずれ量）が符号化の際に生じる量子化誤差の範囲となるように非標準予測画像の画素値を補正するべく補正値を算出し、これを非標準復号画像生成部５０に供給する。
【００４４】
非標準復号画像生成部５０の予測画像再構築部５０ａは、非標準予測画像を補正値算出部４０より供給された補正値に基づいて補正を行う。かかる補正処理により、非標準予測画像は、標準予測画像とのずれ量が量子化誤差の範囲に収まるように再構築される。非標準復号処理部５０ｂは、符号化装置によって量子化された予測誤差情報を量子化パラメータ情報に基づいて逆量子化して予測誤差を再生し、再生された予測誤差と補正された非標準予測画像とを加算して復号画像を生成する。生成された復号画像は第１フィルタ処理部５０ｃに供給される。第１フィルタ処理部５０ｃは、フィルタ制御部９０によってその適用／非適用が制御され、フィルタ制御部９０から「フィルタ処理適用」を示す制御信号が発せられると、復号画像に対して量子化雑音低減処理などの雑音低減処理を施す。尚、第１フィルタ処理部５０ｃにおいて、雑音低減処理の他、輪郭強調処理のような画質改善処理を施すこととしてもよい。また、第１フィルタ処理部５０ｃは、互いに処理内容の異なる複数段のフィルタによって構成され、復号画像に対して種々のフィルタ処理を施すこととしてもよい。非標準復号画像生成部５０は、フィルタ処理を施した復号画像を非標準復号画像として出力端子に出力するとともに、次の処理単位の復号処理に供する予測画像を構築するために非標準予測画像生成部２０に供給される。尚、第１フィルタ処理部５０ｃは、フィルタ制御部９０から「フィルタ処理非適用」を示す制御信号が発せられたときは、復号画像に対してフィルタ処理を施さず生成された復号画像をそのまま出力する。
【００４５】
フィルタ制御部９０は、非標準復号画像生成部５０および非標準予測画像生成部２０に設けられたフィルタ処理部２０ｃおよび５０ｃに対してフィルタ処理の適用／非適用を示す制御信号を供給する。例えば、フィルタ制御部９０は外部入力に基づいて双方のフィルタを適用したり、いずれか一方のフィルタのみを適用する。或いは、フィルタ制御部９０は、復号画像のノイズレベル等に応じてフィルタ処理部２０ｃおよび５０ｃの適用／非適用を適応的に制御する。
【００４６】
このように、第４実施例に係る復号装置によれば、非標準復号画像生成部５０および非標準予測画像生成部にそれぞれ設けられたフィルタ処理部による雑音低減処理により、良好な復号画像を生成することが可能となる。また、外部入力や復号画像のノイズレベル等に基づいて、フィルタ処理の適用／非適用を制御することができるので、出力画像の画質を任意に設定することが可能となる。また、標準画質とは異なる非標準予測画像を用いて、復号画像を生成する場合、場合によっては、かえって画質劣化を引き起こしてしまうことが懸念されるが、標準予測画像とのずれ量が量子化誤差の範囲に収まるように補正されるので、著しい画質劣化を防止することができる。
【実施例５】
【００４７】
図５は、本発明の第５実施例である映像圧縮符号化データの復号装置の構成を示すブロック図である。
【００４８】
従来の標準に従って生成される復号画像においては、各画素を８ビットで表現して出力する場合が多い。また、Ｈ．２６４等では、復号画像の画素精度（ビット数）が映像圧縮符号化ストリームで指定され、指定されたビット数の画素値を持つ復号画像を構築する。本実施例に係る復号装置においては、非標準復号画像生成部５０の高精度復号画像生成部５０ｄが、入力されたストリームにおいて指定された標準の画素精度よりも高精度（画素あたりのビット数が多い）の復号画像を構築する点および標準予測画像生成部３０によって生成された標準予測画像を、これよりも高精度で生成される非標準予測画像の画素精度に合わせるための画素精度変換処理部３１が設けられている。尚、以下の説明においては、第１実施例に係る復号装置をベースとして本実施例に係る復号装置を構成する場合を例に説明するが、これに限定されず、第２および第３実施例に係る復号装置をベースとして構成することも可能である。
【００４９】
符号化装置において予測誤差が直交変換されて伝送される場合等、通常、復号装置において、これを量子化パラメータ情報に基づいて逆量子化して再生される予測誤差は、復号装置が生成する復号画像の画素精度に比べ高精度（ビット数が多い）な情報となっている。従来の標準の復号手順によれば、再生された予測誤差情報は、予測画像との加算処理を行う前に、データの丸め処理が行われ標準の画素精度に変換される。これに対して本実施例に係る高精度復号画像生成部５０ｄが供給される予測誤差情報に対して標準の画素精度への丸め処理を施すことなく再生処理を施す。予測画像再構築部５０ａは、非標準予測画像生成部２０より供給される標準よりも高精度な非標準予測画像に対して補正値算出部４０より供給される補正値に基づき補正処理を行う。高精度復号画像生成部５０ｄは、高精度のまま再生された予測誤差と、補正値に基づき補正された非標準予測画像とを加算して復号画像を生成し、これを非標準復号画像として出力する。このようにして生成される非標準復号画像は、標準の復号画像よりも高精度な画像となる。非標準復号画像は、出力端子に出力されるとともに、次の処理単位の復号処理に供する予測画像を構築するために非標準予測画像生成部２０に供給される。
【００５０】
非標準予測画像生成部２０は、非標準復号画像生成部５０より供給される標準よりも高精度の非標準復号画像を高精度のままフレームメモリ２０ａに蓄積する。予測処理部２０ｂは、フレームメモリ２０ａに蓄積された非標準復号画像を参照し、これと動きベクトル情報および予測モード情報から非標準予測画像を生成する。生成された非標準予測画像に対して丸め処理を行うこととしてもよいが、この場合、丸め処理対象ビットを標準よりも下位のビットに限定するなど参照画像の画素精度が維持される。非標準予測画像は、非標準復号画像生成部５０および補正値算出部４０に供給される。このようにして生成される非標準予測画像の画素精度は、標準予測画像の画素精度よりも高精度（画素あたりのビット数が多い）となり、かかる非標準予測画像を用いて復号画像を構築することにより、良好な画質の復号画像を構築できることが期待できるが、場合によっては標準予測画像からのずれが大きくなり、かかる非標準予測画像に基づいて復号画像を構築すると画質劣化を引き起こす可能性がある。
【００５１】
このような場合を検出し、画質劣化を防止するために、標準予測画像生成部３０において標準に従った標準予測画像を生成し、補正値算出部４０において非標準予測画像と標準予測画像の差分（ずれ量）に基づき補正値を生成し、非標準復号画像生成部５０において、非標準予測画像を用いて復号画像を生成する際に、非標準予測画像に対して補正値に基づき補正処理を行って非標準復号画像を構築する。
【００５２】
標準予測画像生成部３０の標準復号処理部３０ａは、予測誤差情報および量子化パラメータ情報に基づいてＨ．２６４やＭＰＥＧ-２等の標準に従って標準復号画像を生成し、これを一時的にフレームメモリ３０ｂに蓄積する。予測処理部３０ｃは、フレームメモリに蓄積された標準復号画像を参照し、これと動きベクトル情報および予測モード情報から標準予測画像を生成する。標準予測画像生成部３０は、生成した標準予測画像を補正値算出部４０に供給する。
【００５３】
画素精度変換処理部３１は、供給された標準予測画像の画素精度を非標準予測画像の画素精度に合わせるべく、標準予測画像に対して画素精度変換処理を施す。具体的には、標準予測画像と非標準予測画像の画素あたりのビット数が等しくなるように、標準予測画像の各画素データに冗長ビットを付加する等の処理を行う。精度変換された標準予測画像は、補正値算出部４０に供給される。尚、画素精度変換処理部３１による画素精度変換処理方法としては、上記したものの他、線形変換又は非線形変換により標準予測画像の画素値の範囲を拡大する方法や、所定の変換テーブルを参照する方法によって精度変換処理を行うこととしてもよい。
【００５４】
補正値算出部４０は、量子化パラメータを参照し、非標準予測画像と精度変換された標準予測画像とのずれ量が符号化の際に生じる量子化誤差の範囲内に収まるように非標準予測画像の画素値を補正するべく補正値を算出し、これを非標準復号画像生成部５０に供給する。供給された補正値は、上記したように非標準復号画像生成部５０において非標準予測画像の補正処理に用いられる。
【００５５】
このように、第５実施例に係る復号装置によれば、標準よりも高精度の復号画像を構築するようにしたので、標準画質よりも良好な復号画像を生成することが可能となる。また、標準画質とは異なる非標準予測画像を用いて、復号画像を生成する場合、場合によっては、かえって画質劣化を引き起こしてしまうことが懸念されるが、標準予測画像とのずれ量が量子化誤差の範囲に収まるように補正されるので、著しい画質劣化を防止することができる。
【実施例６】
【００５６】
図６は、本発明の第６実施例に係る映像圧縮符号化データの復号装置の構成を示すブロック図である。第６実施例に係る復号装置は、非標準復号画像生成部５０の高解像度復号画像生成部５０ｅが入力された映像圧縮符号化データが表現している解像度よりも高解像度の復号画像を構築し、標準予測画像生成部３０によって生成された標準予測画像をこれよりも高解像度で生成される非標準予測画像の解像度に合わせるための解像度変換処理部３２が設けられている。尚、以下の説明においては、第３実施例に係る復号装置をベースとした場合を例に説明するが、これに限定されず、第１および第２実施例に係る復号装置をベースとして構成することも可能である。
【００５７】
非標準復号画像生成部５０は、高解像度復号画像生成部５０ｅの復号処理によって標準の復号画像よりも高解像度の非標準復号画像を生成する。
【００５８】
非標準予測画像生成部２０は、非標準復号画像生成部５０より供給される標準よりも解像度の高い非標準復号画像を解像度を保持したままフレームメモリ２０ａに蓄積する。予測処理部２０ｂは、フレームメモリ２０ａに蓄積された非標準復号画像を参照し、これと動きベクトル情報および予測モード情報から非標準予測画像を生成する。このとき、動きベクトルのような参照画像の座標系に関わる値も、復号画像の解像度に応じてスケーリングする。生成された非標準予測画像は、差分値直交変換部８０に供給される。このようにして生成される非標準予測画像の解像度は、標準予測画像の解像度よりも高解像度となり、かかる非標準予測画像を用いて復号画像を構築することにより、良好な画質の復号画像を構築できることが期待できるが、場合によっては標準予測画像からのずれが大きくなり、かかる非標準予測画像に基づいて復号画像を構築すると画質劣化を引き起こす可能性がある。
【００５９】
このような場合を検出し、画質劣化を防止するために、標準予測画像生成部３０において標準に従った標準予測画像を生成し、補正値算出部４０において非標準予測画像と標準予測画像の差分（ずれ量）に基づき補正値を生成し、非標準復号画像生成部５０において、補正値に基づく補正処理を行う。
【００６０】
標準予測画像生成部３０は、予測誤差情報および量子化パラメータ情報に基づいてＨ．２６４やＭＰＥＧ-２等の標準に従って標準解像度の標準復号画像を生成し、これと動きベクトル情報および予測モード情報から標準解像度の標準予測画像を生成する。標準予測画像の生成単位となる画像領域（例えばマクロブロックやそれよりも小さな単位の画像領域）の画素数は、非標準予測画像のそれよりも少なくなっている。生成された標準予測画像は、解像度変換処理部３１に供給される。
【００６１】
解像度変換処理部３１は、供給された標準予測画像の解像度を非標準予測画像の解像度に合わせるべく、標準予測画像に対して解像度変換処理を施す。具体的には、標準予測画像と非標準予測画像の解像度が等しくなるように、アップサンプリング処理や画像のエッジやテキスチャの性質をなるべく保持するような適応的な画素間補間処理を行う。解像度変換された標準予測画像は、差分値直交変換部８０に供給される。
【００６２】
差分値直交変換部８０は、非標準予測画像と解像度変換された標準予測画像との差分を画素領域で特定し、特定された両画像の差分値に対して高解像度に応じた標準よりも入出力点数の多い直交変換を行い、得られた直交変換係数を補正値算出部４０に供給する。
【００６３】
補正値算出部４０は、量子化パラメータ情報に基づいて、直交変換係数によって示される非標準予測画像と標準予測画像のずれ量が量子化誤差の範囲以下に収まるように非標準予測画像の直交変換係数を補正するべく直交変換係数成分毎の補正値を算出してこれを非標準復号画像生成部５０に供給する。このとき、標準の解像度に対する直交変換の意味で対応する変換係数点のない差分値の直交変換係数点については、補正値なしとする、或いは、その差分値のゲインを減衰させるようなフィルタ処理を適用するなどしてもよい。例えばＤＣＴのような周波数領域への変換の場合、対応する変換係数点のない高周波成分を補正なしで、或いは高周波成分を減衰させるような補正値を出力してもよい。
【００６４】
非標準復号画像生成部５０の予測誤差補正部５０ｈは、符号化装置によって直交変換、量子化された予測誤差情報を量子化パラメータ情報に基づいて逆量子化して予測誤差係数を再生し、補正値算出部４０より供給された補正値と、対応する変換係数毎に加算した後、標準より入出力点数の多い逆直交変換を行うことにより、高解像度の画素領域で表された、補正値分を含む非標準予測画像からの予測誤差を生成する。高解像度復号画像生成部５０ｅは、生成された補正値分を含むと予測誤差と、非標準予測画像とを加算することにより、標準の復号画像よりも高解像度の非標準復号画像を生成する。非標準復号画像は、出力端子に出力されるとともに、次の処理単位の復号処理に供する予測画像を構築するために非標準予測画像生成部２０に供給される。
【００６５】
このように、第６実施例に係る復号装置によれば、標準よりも高解像度の復号画像を構築するようにしたので、標準画質よりも良好な復号画像を生成することが可能となる。また、標準画質とは異なる非標準予測画像を用いて、復号画像を生成する場合、場合によってはかえって画質劣化を引き起こしてしまうことが懸念されるが、標準予測画像とのずれ量が量子化誤差の範囲に収まるように補正されるので、著しい画質劣化を防止することができる。
【実施例７】
【００６６】
図７は、本発明の第７実施例に係る映像圧縮符号化データの復号装置の構成を示すブロック図である。第７実施例に係る復号装置は、第６実施例に係る復号装置と同様に、非標準復号画像生成部５０の高解像度復号画像生成部５０ｅが入力された映像圧縮符号化データが表現している解像度よりも高解像度の復号画像を構築する。第６実施例に係る復号装置との相違点は、非標準予測画像と標準予測画像の差分を画素領域ではなく、直交変換係数領域で特定して補正値を算出することである。以下、第６実施例に係る復号装置との相違点について説明する。
【００６７】
非標準予測画像生成部２０より生成された高解像度の非標準予測画像は、直交変換部６０に供給される。直交変換部６０は、供給された非標準予測画像に対して標準よりも入出力点数の多い離散コサイン変換（ＤＣＴ）等の直交変換処理を施して、非標準予測画像の直交変換係数を生成してこれを非標準復号画像生成部５０および補正値算出部４０に供給する。標準予測画像生成部３０において生成された標準予測画像も同様に、直交変換部７０により直交変換処理が施され、標準予測画像の直交変換係数が補正値算出部４０に供給される。非標準予測画像の解像度は標準予測画像の解像度よりも高く、画素数も多くなるため、直交変換の変換点数は、非標準予測画像の方が多くなる。従って、補正値算出部４０において両画像の直交変換係数の差分を特定することができるように、両画像同士で比較可能な変換係数を有するように直交変換を行う。例えばＤＣＴのような周波数領域への変換の場合は、非標準予測画像の変換係数の低周波成分が標準予測画像の変換係数と比較可能となるように直交変換を行う。
【００６８】
補正値算出部４０は、非標準予測画像と標準予測画像との差分（ずれ量）を直交変換係数領域で特定する。このとき、非標準予測画像の直交変換係数と、標準予測画像の直交変換係数では変換係数点の数が異なるが、対応する変換係数間ですれ量を特定する。例えば、直交変換がＤＣＴ変換のような周波数領域への変換である場合、対応する周波数成分同士の間でずれ量を特定する。そして、補正値算出部４０は、量子化パラメータ情報に基づいて、特定された両画像の直交変換係数のずれ量が量子化誤差の範囲内に収まるように非標準予測画像の直交変換係数を補正するべく補正値を算出してこれを非標準復号画像生成部５０に供給する。対応する変換係数点のない非標準予測画像の直交変換係数点については、補正せずにそのまま使用する。すなわち、補正値なしとする。或いは、そのずれ量のゲインを減衰させるようなフィルタ処理を適用するなどしてもよい。例えば逆ＤＣＴのような周波数領域からの逆変換の場合、対応する変換係数点のない高周波成分を補正なしで、或いは高周波成分を減衰させるような補正をするなどの処理をしてもよい。
【００６９】
非標準復号画像生成部５０の直交変換係数補正部５０ｆは、非標準予測画像の直交変換係数と、補正値算出部４０より供給された補正値に基づいて非標準予測画像の直交変換係数を補正する。かかる補正処理により、直交変換係数領域で表された非標準予測画像は、標準予測画像とのずれ量が量子化誤差の範囲に収まるように補正される。高解像度復号画像生成部５０ｅは、符号化装置によって直交変換、量子化された予測誤差情報を量子化パラメータ情報に基づいて逆量子化して予測誤差係数を再生し、再生された予測誤差係数と補正された非標準予測画像の直交変換係数とを対応する変換係数毎に加算した後、標準の変換点数よりも入出力変換点数の多い、逆直交変換を行うことにより、標準の復号画像よりも高解像度の非標準復号画像を生成する。非標準復号画像は、出力端子に出力されるとともに、次の処理単位の復号処理に供する予測画像を構築するために非標準予測画像生成部２０に供給される。
【００７０】
このように、第７実施例に係る復号装置によれば、標準よりも高解像度の復号画像を構築するようにしたので、標準画質よりも良好な復号画像を生成することが可能となる。また、標準画質とは異なる非標準予測画像を用いて、復号画像を生成する場合、場合によっては、かえって画質劣化を引き起こしてしまうことが懸念されるが、標準予測画像とのずれ量が量子化誤差の範囲に収まるように補正されるので、著しい画質劣化を防止することができる。また、直交変換処理を経た符号化データを復号する場合において、画素領域ではなく、実際に量子化雑音が発生している直交変換係数領域で標準予測画像と非標準予測画像との差分（ずれ量）を特定することができ、かかるずれ量に基づいて非標準予測画像の補正処理を行うことが可能となる。
【００７１】
以上、本発明の種々の実施形態を示したが、上記各実施例において示した構成部分を適宜組み合わせて復号装置を構成することも可能である。
【符号の説明】
【００７２】
１０ エントロピー復号部
２０ 非標準画像生成部
２０ａ フレームメモリ
２０ｂ 予測処理部
２０ｃ フィルタ処理部
３０ 標準予測画像生成部
３０ａ 標準復号処理部
３０ｂ フレームメモリ
３０ｃ 予測処理部
４０ 補正値算出部
５０ 非標準復号画像生成部
５０ａ 非標準画像再構築部
５０ｂ 非標準復号処理部
５０ｃ フィルタ処理部
５０ｄ 高精度復号画像生成部
５０ｅ 高解像度復号画像生成部
６０、７０ 直交変換部
８０ 差分値直交変換部
９０ フィルタ制御部
【特許請求の範囲】
【請求項１】
復号画像から予測画像を生成し、前記予測画像と符号化対象画像との差分を示す予測誤差情報を量子化して符号化した映像圧縮符号化データの復号装置であって、
前記予測誤差情報に基づいて、標準画質の標準復号画像を生成し、前記標準復号画像に基づいて標準画質の標準予測画像を生成する標準予測画像生成部と、
前記予測誤差情報に基づいて、前記標準復号画像とは画質が異なる非標準復号画像を生成する非標準復号画像生成部と、
前記非標準復号画像に基づいて前記標準予測画像とは画質が異なる非標準予測画像を生成する非標準予測画像生成部と、
前記標準予測画像と前記非標準予測画像の差分に応じた補正値を算出する補正値算出部と、を含み、
前記非標準復号画像生成部は、前記補正値に基づいて前記非標準予測画像を補正する予測画像再構築部と、前記予測誤差情報を逆量子化して再生し、これと補正された前記非標準予測画像とを加算して前記非標準復号画像を生成する非標準復号処理部と、を含むことを特徴とする復号装置。
【請求項２】
復号画像から予測画像を生成し、前記予測画像と符号化対象画像との差分を示す予測誤差情報を直交変換および量子化して符号化した映像圧縮符号化データの復号装置であって、
前記予測誤差情報に基づいて、標準画質の標準復号画像を生成し、前記標準復号画像に基づいて標準画質の標準予測画像を生成する標準予測画像生成部と、
前記予測誤差情報に基づいて、前記標準復号画像とは画質が異なる非標準復号画像を生成する非標準復号画像生成部と、
前記非標準復号画像に基づいて前記標準予測画像とは画質が異なる非標準予測画像を生成する非標準予測画像生成部と、
前記標準予測画像の画素値を直交変換して前記標準予測画像の直交変換係数を生成する第１の直交変換部と、
前記非標準予測画像の画素値を直交変換して前記非標準予測画像の直交変換係数を生成する第２の直交変換部と、
前記標準予測画像の直交変換係数と前記非標準予測画像の直交変換係数の差分に応じた補正値を算出する補正値算出部と、を含み、
前記非標準復号画像生成部は、前記補正値に基づいて前記非標準予測画像の直交変換係数を補正する直交変換係数補正部と、前記予測誤差情報を逆量子化して再生し、これと補正された前記非標準予測画像の直交変換係数とを加算した後、逆直交変換を行って前記非標準復号画像を生成する非標準復号処理部と、を含むことを特徴とする復号装置。
【請求項３】
復号画像から予測画像を生成し、前記予測画像と符号化対象画像との差分を示す予測誤差情報を直交変換および量子化して符号化した映像圧縮符号化データの復号装置であって、
前記予測誤差情報に基づいて、標準画質の標準復号画像を生成し、前記標準復号画像に基づいて標準画質の標準予測画像を生成する標準予測画像生成部と、
前記予測誤差情報に基づいて、前記標準復号画像とは画質が異なる非標準復号画像を生成する非標準復号画像生成部と、
前記非標準復号画像に基づいて前記標準予測画像とは画質が異なる非標準予測画像を生成する非標準予測画像生成部と、
前記標準予測画像と前記非標準予測画像の画素値の差分値を直交変換した差分値直交変換係数を生成する差分値直交変換部と、
前記差分値直交変換係数に応じた補正値を算出する補正値算出部と、を含み、
前記非標準復号画像生成部は、前記予測誤差情報を逆量子化して再生し、これと前記補正値とを加算した後、逆直交変換を行って、非標準予測画像からの予測誤差に補正された予測誤差を生成する予測誤差補正部と、補正された前記予測誤差と前記非標準予測画像とを加算して、前記非標準復号画像を生成する非標準復号処理部と、を含むことを特徴とする復号装置。
【請求項４】
前記補正値算出部は、前記標準予測画像と前記非標準予測画像の差分が前記映像圧縮符号化データに生じる量子化誤差の範囲内に収まるように前記非標準復号画像の画素値を補正するべく前記補正値を算出することを特徴とする請求項１に記載の復号装置。
【請求項５】
前記補正値算出部は、前記標準予測画像の直交変換係数と前記非標準予測画像の直交変換係数の差分が前記映像圧縮符号化データに生じる量子化誤差の範囲内に収まるように前記非標準復号画像の直交変換係数を補正するべく前記補正値を算出することを特徴とする請求項２に記載の復号装置。
【請求項６】
前記補正値算出部は、前記標準予測画像と前記非標準予測画像の差分が前記映像圧縮符号化データに生じる量子化誤差の範囲内に収まるように前記非標準復号画像の直交変換係数を補正するべく前記補正値を算出することを特徴とする請求項３に記載の復号装置。
【請求項７】
前記非標準復号画像生成部は、生成した復号画像に対してノイズ低減処理を施す第１フィルタ処理部を含み、
前記非標準予測画像生成部は、前記非標準復号画像に対してノイズ低減処理を施す第２フィルタ処理部と、フィルタ処理が施された前記非標準復号画像を一時的に蓄積するフレームメモリと、前記フレームメモリに蓄積された前記非標準復号画像を参照して、これと動きベクトル情報から前記非標準予測画像を生成する予測処理部と、を含み、
前記第１および第２フィルタ処理部の適用／非適用を制御するフィルタ処理部を更に含むことを特徴とする請求項１乃至３にいずれか１つに記載の復号装置。
【請求項８】
前記復号処理部は、前記標準復号画像よりも画素精度の高い復号画像を生成し、これを前記非標準復号画像として出力し、
前記非標準予測画像生成部は、前記非標準復号画像の画素精度を維持した前記非標準予測画像を生成し、
前記非標準予測画像の画素精度と一致するように前記標準予測画像の画素精度の変換処理を行う画素精度変換処理部を更に有することを特徴とする請求項１乃至３のいずれか１つに記載の復号装置。
【請求項９】
前記復号処理部は、前記標準復号画像よりも高解像度の復号画像を生成し、これを前記非標準復号画像として出力し、
前記非標準予測画像生成部は、前記非標準復号画像の解像度を維持した前記非標準予測画像を生成し、
前記非標準予測画像の解像度に一致するように前記標準予測画像の解像度の変換処理を行う解像度変換処理部を更に含むことを特徴とする請求項１乃至３のいずれか１つに記載の復号装置。
【請求項１０】
前記復号処理部は、前記標準復号画像よりも高解像度の復号画像を生成し、これを前記非標準復号画像として出力し、
前記非標準予測画像生成部は、前記非標準復号画像の解像度を維持した前記非標準予測画像を生成し、
前記第２の直交変換部は、前記第１の直交変換部よりも変換係数点の多い非標準予測画像の直交変換係数を生成し、
前記補正値算出部は、対応する変換係数点間における前記標準予測画像の直交変換係数と前記非標準予測画像の直交変換係数の差分に応じた補正値を算出することを特徴とする請求項２に記載の復号装置。
【請求項１】
復号画像から予測画像を生成し、前記予測画像と符号化対象画像との差分を示す予測誤差情報を量子化して符号化した映像圧縮符号化データの復号装置であって、
前記予測誤差情報に基づいて、標準画質の標準復号画像を生成し、前記標準復号画像に基づいて標準画質の標準予測画像を生成する標準予測画像生成部と、
前記予測誤差情報に基づいて、前記標準復号画像とは画質が異なる非標準復号画像を生成する非標準復号画像生成部と、
前記非標準復号画像に基づいて前記標準予測画像とは画質が異なる非標準予測画像を生成する非標準予測画像生成部と、
前記標準予測画像と前記非標準予測画像の差分に応じた補正値を算出する補正値算出部と、を含み、
前記非標準復号画像生成部は、前記補正値に基づいて前記非標準予測画像を補正する予測画像再構築部と、前記予測誤差情報を逆量子化して再生し、これと補正された前記非標準予測画像とを加算して前記非標準復号画像を生成する非標準復号処理部と、を含むことを特徴とする復号装置。
【請求項２】
復号画像から予測画像を生成し、前記予測画像と符号化対象画像との差分を示す予測誤差情報を直交変換および量子化して符号化した映像圧縮符号化データの復号装置であって、
前記予測誤差情報に基づいて、標準画質の標準復号画像を生成し、前記標準復号画像に基づいて標準画質の標準予測画像を生成する標準予測画像生成部と、
前記予測誤差情報に基づいて、前記標準復号画像とは画質が異なる非標準復号画像を生成する非標準復号画像生成部と、
前記非標準復号画像に基づいて前記標準予測画像とは画質が異なる非標準予測画像を生成する非標準予測画像生成部と、
前記標準予測画像の画素値を直交変換して前記標準予測画像の直交変換係数を生成する第１の直交変換部と、
前記非標準予測画像の画素値を直交変換して前記非標準予測画像の直交変換係数を生成する第２の直交変換部と、
前記標準予測画像の直交変換係数と前記非標準予測画像の直交変換係数の差分に応じた補正値を算出する補正値算出部と、を含み、
前記非標準復号画像生成部は、前記補正値に基づいて前記非標準予測画像の直交変換係数を補正する直交変換係数補正部と、前記予測誤差情報を逆量子化して再生し、これと補正された前記非標準予測画像の直交変換係数とを加算した後、逆直交変換を行って前記非標準復号画像を生成する非標準復号処理部と、を含むことを特徴とする復号装置。
【請求項３】
復号画像から予測画像を生成し、前記予測画像と符号化対象画像との差分を示す予測誤差情報を直交変換および量子化して符号化した映像圧縮符号化データの復号装置であって、
前記予測誤差情報に基づいて、標準画質の標準復号画像を生成し、前記標準復号画像に基づいて標準画質の標準予測画像を生成する標準予測画像生成部と、
前記予測誤差情報に基づいて、前記標準復号画像とは画質が異なる非標準復号画像を生成する非標準復号画像生成部と、
前記非標準復号画像に基づいて前記標準予測画像とは画質が異なる非標準予測画像を生成する非標準予測画像生成部と、
前記標準予測画像と前記非標準予測画像の画素値の差分値を直交変換した差分値直交変換係数を生成する差分値直交変換部と、
前記差分値直交変換係数に応じた補正値を算出する補正値算出部と、を含み、
前記非標準復号画像生成部は、前記予測誤差情報を逆量子化して再生し、これと前記補正値とを加算した後、逆直交変換を行って、非標準予測画像からの予測誤差に補正された予測誤差を生成する予測誤差補正部と、補正された前記予測誤差と前記非標準予測画像とを加算して、前記非標準復号画像を生成する非標準復号処理部と、を含むことを特徴とする復号装置。
【請求項４】
前記補正値算出部は、前記標準予測画像と前記非標準予測画像の差分が前記映像圧縮符号化データに生じる量子化誤差の範囲内に収まるように前記非標準復号画像の画素値を補正するべく前記補正値を算出することを特徴とする請求項１に記載の復号装置。
【請求項５】
前記補正値算出部は、前記標準予測画像の直交変換係数と前記非標準予測画像の直交変換係数の差分が前記映像圧縮符号化データに生じる量子化誤差の範囲内に収まるように前記非標準復号画像の直交変換係数を補正するべく前記補正値を算出することを特徴とする請求項２に記載の復号装置。
【請求項６】
前記補正値算出部は、前記標準予測画像と前記非標準予測画像の差分が前記映像圧縮符号化データに生じる量子化誤差の範囲内に収まるように前記非標準復号画像の直交変換係数を補正するべく前記補正値を算出することを特徴とする請求項３に記載の復号装置。
【請求項７】
前記非標準復号画像生成部は、生成した復号画像に対してノイズ低減処理を施す第１フィルタ処理部を含み、
前記非標準予測画像生成部は、前記非標準復号画像に対してノイズ低減処理を施す第２フィルタ処理部と、フィルタ処理が施された前記非標準復号画像を一時的に蓄積するフレームメモリと、前記フレームメモリに蓄積された前記非標準復号画像を参照して、これと動きベクトル情報から前記非標準予測画像を生成する予測処理部と、を含み、
前記第１および第２フィルタ処理部の適用／非適用を制御するフィルタ処理部を更に含むことを特徴とする請求項１乃至３にいずれか１つに記載の復号装置。
【請求項８】
前記復号処理部は、前記標準復号画像よりも画素精度の高い復号画像を生成し、これを前記非標準復号画像として出力し、
前記非標準予測画像生成部は、前記非標準復号画像の画素精度を維持した前記非標準予測画像を生成し、
前記非標準予測画像の画素精度と一致するように前記標準予測画像の画素精度の変換処理を行う画素精度変換処理部を更に有することを特徴とする請求項１乃至３のいずれか１つに記載の復号装置。
【請求項９】
前記復号処理部は、前記標準復号画像よりも高解像度の復号画像を生成し、これを前記非標準復号画像として出力し、
前記非標準予測画像生成部は、前記非標準復号画像の解像度を維持した前記非標準予測画像を生成し、
前記非標準予測画像の解像度に一致するように前記標準予測画像の解像度の変換処理を行う解像度変換処理部を更に含むことを特徴とする請求項１乃至３のいずれか１つに記載の復号装置。
【請求項１０】
前記復号処理部は、前記標準復号画像よりも高解像度の復号画像を生成し、これを前記非標準復号画像として出力し、
前記非標準予測画像生成部は、前記非標準復号画像の解像度を維持した前記非標準予測画像を生成し、
前記第２の直交変換部は、前記第１の直交変換部よりも変換係数点の多い非標準予測画像の直交変換係数を生成し、
前記補正値算出部は、対応する変換係数点間における前記標準予測画像の直交変換係数と前記非標準予測画像の直交変換係数の差分に応じた補正値を算出することを特徴とする請求項２に記載の復号装置。
【図１】
【図２】
【図３】
【図４】
【図５】
【図６】
【図７】
【図２】
【図３】
【図４】
【図５】
【図６】
【図７】
【公開番号】特開２０１０−２４５７３４（Ｐ２０１０−２４５７３４Ａ）
【公開日】平成２２年１０月２８日（２０１０．１０．２８）
【国際特許分類】
【出願番号】特願２００９−９０９３８（Ｐ２００９−９０９３８）
【出願日】平成２１年４月３日（２００９．４．３）
【出願人】（００００００２９５）沖電気工業株式会社 (6,645)
【Ｆターム（参考）】
【公開日】平成２２年１０月２８日（２０１０．１０．２８）
【国際特許分類】
【出願日】平成２１年４月３日（２００９．４．３）
【出願人】（００００００２９５）沖電気工業株式会社 (6,645)
【Ｆターム（参考）】
[ Back to top ]