スケーラブル画像符号化
画像信号VSを符号化する符号化装置1であって、元の画像信号をダウンサンプリングされた画像信号に変換するダウンサンプリング手段11と、第１符合化画像信号BLを生成するために、前記ダウンサンプリング手段11に接続されるとともに、前記ダウンサンプリングされた画像信号を符号化する第１符号化手段14と、前記ダウンサンプリング手段11に接続されるとともに、前記ダウンサンプリングされた画像信号をアップサンプリングされた画像信号に変換するアップサンプリング手段16と、前記元の画像信号及び前記アップサンプリングされた画像信号から残余画像信号RSを生成する減算器13と、第２符号化画像信号ELを生成するように、減算器13に接続されるとともに、前記ダウンサンプリングされた画像信号を符号化する第２符号化手段14と、を備える。前記第１符号化器手段14が、不可逆符号化用に構成される。前記符号化装置1は、例えばフィルタ10を用いて、前記残余画像信号RSの、つまり第２符号化画像信号ELの画像鮮明度内容を増加させるように構成される。
【発明の詳細な説明】
【技術分野】
【０００１】
本発明は、スケーラブルな画像及びビデオの符号化に関する。より特には、本発明は、異なる解像度を有する少なくとも２つの符号化信号を生成するために画像又はビデオ信号を符号化する装置及び方法に関する。
【背景技術】
【０００２】
画像（静止画）及びビデオ（動画）を符号化及び復号することは、周知である。広く使用される画像復号の種類の一つは、例えば、"H.264 and MPEG-4 Video Compression" by I.E.G. Richardson and G.J. Sullivan, John Wiley and Sons Ltd., 2003のテキストに記載されている、国際ＭＰＥＧ−２及びＭＰＥＧ−４規格に規定されている。通常のスケーラブルＭＰＥＧ互換符号化装置は、
−ダウンサンプリングされた画像信号を生成するダウンサンプラと、
−低解像度を有する画像を表す第１符合化画像信号（「ベース層」）を生成するために、前記ダウンサンプラに接続され、前記ダウンサンプリングされた画像を符号化する第１符号化器と、
−前記符号化器に接続され、前記ダウンサンプリングされた画像信号を再構築する復号器と、
−前記第１復号器に接続され、前記元の画像信号を再構築するアップサンプラと、
−残余（差異）信号を生成するために、前記元の画像信号から前記再構築された画像信号を減算する減算器と、
−前記低解像度画像と一緒にして、高解像度を有する画像を表す第２符号化画像信号（「エンハンスド層」）を生成するために、前記残余信号を符号化する第２符号化器と、
を備える。
【０００３】
この既知の符号化技法は、復号器が、低解像度画像になる第１画像信号、又は高解像度画像になる両方の画像信号、のいずれか一方を用い得るという有利な点を有する。第１（「ベース層」）画像信号が大部分の情報を含む一方で、第２（「エンハンスド層」）画像信号は、解像度を向上させるのに必要な追加的な情報のみを含むように設計される。しかし、実際には、この第２画像信号は、（第１）符号化器及び復号器によって導入されるアーチファクトを通常含み、これにより、ビットレートが増加することになる。
【０００４】
ＭＰＥＧ互換装置において用いられる符号化は、不可逆符号化、すなわちある情報が失われ、元の入力画像信号を完全に再構築することを不可能にさせている。符号化処理が含まれる量子化ステップにおいて通常発生する、この情報損失は、画像品質の劣化を生じさせる。アーチファクトの導入及び／又は解像度の損失を含み得る劣化は、ビットレートを低減するという重要な有意性を提供する一方で、多くの場合、知覚するのが困難である。しかし、不可逆符号化は、元の画像信号及び再構築された画像信号の間における不一致を生じさせ、このことは、情報内容及び第２（「エンハンスド層」）符号化画像信号のビットレートを増加させる。
【発明の開示】
【発明が解決しようとする課題】
【０００５】
本発明の目的は、従来技術のこれら及び他の問題を解決すること、また不可逆符号化を維持するとともに容認可能な画像品質を提供する一方で、低減されたビットレートを有する第２符号化画像信号を生成する、画像信号を生成する装置および方法を提供することである。
【課題を解決するための手段】
【０００６】
したがって、本発明は、画像信号を符号化する符号化装置であって、
−元の画像信号を、ダウンサンプリングされた画像信号に変換するダウンサンプリング手段と、
−第１符合化画像信号を生成するために、前記ダウンサンプリング手段に接続されるとともに、前記ダウンサンプリングされた画像信号を符号化する第１符号化手段と、
−前記ダウンサンプリング手段に接続されるとともに、前記ダウンサンプリングされた画像信号をアップサンプリングされた画像信号に変換するアップサンプリング手段と、
−前記元の画像信号及び前記アップサンプリングされた画像信号から残余画像信号を生成する減算手段と、
−第２符号化画像信号を生成するために、前記残余画像信号を符号化する第２符号化手段と、
を備え、
【０００７】
前記第１符号化器手段が、不可逆符号化用に構成され、補正手段が、前記残余画像信号の画像鮮明度内容を増加させるように設けられるような、
符号化装置を提供する。
【０００８】
前記アップサンプリング手段を前記ダウンサンプリング手段に接続することによって、前記アップサンプリングされた画像信号は、符号化及び復号をされていないので、前記符号化ステップ及び復号ステップによって導入されるいかなるアーチファクトも除去する。これらのアーチファクトは残余信号に含まれていないので、この信号は、相当少ない情報を含み、したがって、強く低減されたビットレートを有する。しかし、斯様な残余信号は、多くの場合、目立つ品質損失につながり得る。この理由のために、本発明の符号化装置は、残余信号の画像鮮明度内容を増加させる補正手段を具備される。残余信号のこの増加された情報内容は、第２符号化信号の増加されたビットレートを必然的に含むが、生じるビットレートは、従来技術の対応する信号のビットレートよりも低い。
【０００９】
当然、補正手段を省略することも可能であり得る。しかし、このことは、比較的劣等な画像品質を有する画像を生じさせ得る。不可逆符号化を可逆(loss-less)符号化で置換することも可能であり得るが、このことは、必然的に、不可逆符号化に通常含まれるデータ低減が犠牲にされ得るので、ビットレートの低減を生じさせ得ない。加えて、ＭＰＥＧ及び、ＡＶＣなどの他の規格との互換性も失われ得る。
【００１０】
欧州特許第EP0577363B1号が、元の画像がダウンサンプリングされ、その後アップサンプリングされて、異なる画像を生成するために該元の画像と比較されるような、放射線画像を圧縮する装置を開示していることを特記される。ダウンサンプリングされた画像は、可逆符号化技術である異なるパルス符合変調に従う。不可逆符号化技術によって引き起こされるビットレートの増加を避けることの問題は、したがって、この従来技術の装置においては発生しない。加えると、この従来技術の装置の応用例は、放射線画像に制限されるとともに、可逆符号化技術のため、欧州特許第EP0577363B1号から既知である装置は、ＭＰＥＧ互換ではない。
【００１１】
本発明において、残余信号の画像鮮明度内容を増加させる様々な補正手段が用いられ得る。第１の実施例において、補正手段は、アップサンプリングされた画像信号の帯域幅を低減する帯域幅低減手段を備える。帯域幅低減手段は、アップサンプリングされた画像信号の帯域幅を低減するために、ダウンサンプリング手段と減算手段との間に配置されるフィルタ手段によって構成され得る。残余信号を生成するために、アップサンプリングされた画像信号が元の画像信号から減算されるので、アップサンプリングされた画像信号の帯域幅の低減が、残余信号の帯域幅つまり画像鮮明度内容を増加させる一方で、アーチファクトが存在しないという利益をなお受ける。
【００１２】
フィルタ手段は、好ましくは、アップサンプリングされた画像信号の周波数分布が、第１符号化装置及び復号装置がダウンサンプリング手段及びアップサンプリング手段の間に配置された場合と同じ信号の周波数分布と実質的に等しい又は等価であるように設計される。斯様にして、既存の符号化装置との互換性は維持される。当然、アップサンプリングされた信号の周波数分布は、比較的狭い通過帯域を有するフィルタ手段を用いて、従来技術の装置における周波数分布とは異なり、例えば狭められ得る。
【００１３】
従来の符号化器及び復号器は、通常、符号化が画像信号値の量子化及び／又は打ち切り(truncation)を含む場合特に、フィルタ、又は少なくともディスプレイフィルタ特性を含むことを特記される。本発明者は、ダウンサンプリング手段、アップサンプリング手段及び減算手段からなるループから符号化手段及び復号手段を省略することが、残余信号におけるアーチファクトの数を低減させるが、符号化及び復号手段の帯域制限フィルタ特性をも除去することを理解している。したがって、符号化及び復号手段を存在させることなくこの帯域制限効果を達成するために、フィルタ手段が追加され得る。
【００１４】
フィルタ手段は、アップサンプリング手段と一体化され得る。すなわち、アップサンプリング手段は、通常、（低域通過）フィルタを含み、このフィルタの特性は、アップリングされた画像信号の所望な周波数分布を提供するように調整され得る。代替的に又は追加的に、フィルタ手段は、アップサンプリング手段と直列に配置され得る。すなわち、アップサンプリング手段に接続される個別のフィルタユニットが設けられ得る。
【００１５】
フィルタ手段は、好ましくは、低域通過フィルタ特性を有する。すなわち、低い（空間）周波数がフィルタ手段によって通過される一方で、高い（空間）周波数が減衰される。
【００１６】
上述の第１の実施例において、補正手段は、アップサンプリングされた画像信号の帯域幅を低減するために、ダウンサンプリング手段と減算手段との間に配置されるフィルタ手段を備える。第２の実施例において、補正手段は、再構築された画像信号を生成するために前記第１符号化画像信号を復号及びアップサンプリングする復号手段及び更なるアップサンプリング手段と、前記再構築された画像信号及び前記元の画像信号の差を生成する更なる減算手段と、符号化の前に前記差を前記残余信号へ加算する更なる加算手段と、を備える。
【００１７】
この第２の実施例において、２つのアップサンプリング手段が、２つのアップサンプリング画像信号を生成するために設けられ、前記２つのアップサンプリング画像信号のうちの１つは、第１実施例におけるように事前に符号化され後に復号されており、前記２つのアップサンプリング画像信号のうちの１つは、そのようにはされていない。これら２つのアップサンプリングされた信号を元の画像信号から減算するとともに、生じる残余信号を組み合わせることによって、増加された情報内容を有する新しい残余画像信号が得られる。すなわち、符号化及び復号することなく生成される（第１）残余画像信号は、符号化及び復号ステップによって導入され得るアーチファクトを含まず、比較的低い画像鮮明度内容を有する。符号化及び復号を用いて生成される（第２）残余画像信号は、アーチファクトを含み得、符号化及び復号のフィルタリング効果の利益を受けるので、比較的高い画像鮮明度内容を有する。これらの残余画像信号を組み合わせることによって、アーチファクト及びいかなるフィルタ処理されていない信号成分の両方の相対的分布が低減され、それにより、非常に満足のいくトレードオフを達成し得る。第２符号化画像信号は、補正手段を用いることなく獲得され得るよりも高い、情報（すなわち、画像鮮明度）内容、すなわちビットレートを有し、向上された画像品質を生じさせる。第２符号化画像信号のビットレートは、従来の符号化装置よりも、なお低い。
【００１８】
符号化装置が減算手段及び更なる減算手段のそれぞれによって出力される画像信号を重み付けする重み付け手段を含むことが好ましい。有利には、重み付け手段は、画像信号を対応する因数で乗算する乗算器を備え、因数の合計は、１に実質的に又はほぼ等しい。すなわち、重み付け手段は、２つの残余信号の相対的配分が決定されるようにする。本発明の利益を達成するために、これらの２つの因数の両方は、０よりも大きくあるべきであることが理解され得る。
【００１９】
第２の実施例において、追加的な符号化信号を生成するために、前記減算手段によって出力される前記残余信号を符号化する追加的な符号化手段を更に備えることが有利であり得る。追加的な符号化手段は、符号化処理を促進するために、第２符号化手段と接続され得る。
【００２０】
第１及び第２の実施例は、適切に組み合わせられ得、これにより、アップサンプリングされた（しかし符号化及び復号されていない）画像信号をフィルタリングするフィルタ手段を追加的に含む第２の実施例の装置を提供し得る。
【００２１】
本発明の符号化装置は、有利には、前記入力画像信号を分析するとともに品質信号を生成する信号分析手段と、好ましくは増加された振幅を有する（すなわち、前記品質信号が、好ましくは、１と等しい又は１より大きいような）修正された残余画像信号を生成するために、前記残余信号及び前記品質信号を乗算する乗算手段（又は適切な制御増幅器）と、を更に備え得る。このことは、残余信号が、応用例に応じて、又は符号化される画像信号に応じて減衰（又は増幅）されるようにする。
【００２２】
更なる実施例において、本発明の符号化装置は、平均値修正残余画像信号を生成するために、前記残余信号又は前記修正された残余信号及びオフセット信号を合成する合成手段を更に備え得る。このことは、ＤＣオフセットが補償されるのを可能にする。
【００２３】
本発明の符号化装置が、好ましくはＭＰＥＧ規格又はＡＶＣ規格などの国際画像圧縮規格に従い画像を符号化するように構成されることが特に好ましい。このことは、既存の及び将来の復号装置の両方との互換性を保証する。しかし、本発明は、標準規格互換性に制限されず、所望であればいかなる規格から外れたものでもよい。
【００２４】
加えて、本発明は、上述の符号化装置を備える民生用装置などの機器を提供する。非制限的例として、本発明は、ＤＶＤレコーダ、ハードディスクを用いた画像記憶装置、適切なソフトウェアプログラムを実行する計算機、及び等価な装置などの、上述の符号化装置を備える画像記憶装置を提供する。
【００２５】
上述の機器の別の例は、画像情報を遠隔ユニットへ送信するネットワーク装置であって、上述の符号化装置を備えるネットワーク装置である。斯様なネットワーク装置は、例えば、様々な表示スクリーン、計算機、及び他の装置へ画像を送信するために家庭内で用いられ得る。当該機器の更なる別の例は、受信器、送信器、及び上述の符号化装置を備える携帯型民生用装置である。斯様な携帯型民生用装置は、携帯電話又は、送受信器を有するラップトップ計算機若しくはノートブック装置であり得る。
【００２６】
上述の機器の更なる例は、上述の符号化装置を備えるカメラ装置である。斯様なカメラ装置は、画像（静止画）、動画（ビデオ）、又はその両方に関するカメラであり得る。
【００２７】
本発明は、上述の符号化装置を備える画像処理装置も提供する。本発明は、追加的に、上述の符号化装置を用いて符号化される画像信号を復号する復号装置、上述の符号化装置又は以下に記載の方法によって符号化された画像信号、及び上述の符号化装置又は以下に記載の方法によって符号化された画像信号を含む情報担体を提供する。斯様な画像信号は、例えば、電気ケーブル、光ファイバーケーブル、若しくは、電波若しくは赤外線光（赤外線光はブルートゥース若しくは類似の技術を用いて送信され得る）を用いた無線などのいかなる適切な手段を介して、ケーブルネットワークを介して、又はインターネットを介して伝送され得る。適切な情報担体は、ＤＶＤ若しくは類似の光学情報担体、又はハードディスクなどの磁気情報担体によって構成され得る。
【００２８】
本発明は、更に、画像信号を符号化する方法であって、
−元の画像信号を、ダウンサンプリングされた画像信号に変換するダウンサンプリングするステップと、
−第１符合化画像信号を生成するために、前記ダウンサンプリングされた画像信号を符号化するステップと、
−前記ダウンサンプリングされた画像信号をアップサンプリングされた画像信号に変換するステップと、
−前記元の画像信号及び前記アップサンプリングされた画像信号から、減算によって残余画像信号を生成するステップと、
−第２符号化画像信号を生成するために、前記残余画像信号を符号化するステップと、
を有し、
【００２９】
前記ダウンサンプリングされた画像信号を符号化するステップが、不可逆符号化するステップを含み、当該方法が、前記残余画像信号の画像鮮明度内容を増加させるステップを更に有する、
方法を提供する。
【００３０】
本発明は、追加的に、上述の方法を実行する計算機プログラム製品を提供する。本文書で開示されるいかなるアルゴリズムのコンポーネントも、実際的には、全体的に又は部分的に、ハードウェア（例えば、特定用途向けＩＣの一部）として又は専用デジタル信号処理器若しくは汎用処理器で実行するソフトウェアとして、実施化され得ることを特記される。計算機プログラム製品は、汎用又は専用処理器に、命令を処理器にロードする一連のローディングステップの後で、発明の特徴的な機能のいかなるものも実行させる一群の命令のいかなる物理的な実施化をも含むように理解されるべきである。特に、計算機プログラム製品は、例えば、ディスク又はテープなどの担体にデータとして実施化され得、データは、メモリに存在し、データは、（有線又は無線）ネットワーク接続を介して又は紙でプログラムコードとして送信される。プログラムコードとは別に、プログラムに関して必要とされる特性データは、計算機プログラム製品としても実施化され得る。
【００３１】
本発明は、添付の図面に示される例示的な実施例を参照にして以下にさらに説明され得る。
【発明を実施するための最良の形態】
【００３２】
図１に示される従来技術の符号化装置１'は、ダウンサンプラ１１、第１符号化ユニット１４、復号ユニット１５、アップサンプラ１２、減算ユニット１３、及び第２符号化ユニット１６を備える。ダウンサンプリングユニット１１は、元の画像信号ＶＳを受け取り、ダウンサンプリングされた画像信号を第１符合化器１４へ供給し、そこでは前記信号が符号化される。生じる第１符号化画像信号ＢＬは、出力されるとともに復号ユニット１５へ供給される。復号画像信号は、アップサンプリングユニット１２においてアップサンプリングされ、減算ユニット１３において元の信号ＶＳから減算される。生じる残余画像信号ＲＳは、第２符号化ユニット１６によって符号化され、第２符号化画像信号ＥＬとして出力される。ＭＰＥＧ互換システムにおいて、第１符号化画像信号ＢＬは、「ベース層」と呼ばれる一方で、第２符号化画像信号ＥＬは、「エンハンスド層」と呼ばれる。第１符号化画像信号ＢＬ及び第２符号化画像信号ＥＬは、一緒になって、送信及び／又は記憶される符号化画像信号を構成する。
【００３３】
この既知の構成において、残余信号ＲＳは、ダウンサンプリング、符号化、復号、及びアップサンプリングによって導入されるいかなるエラーも表す。しかし、これらのステップのアーチファクトは、残余信号ＲＳに不所望な情報を含めさせ、そして、第２符号化画像信号ＥＬのビットレート（毎秒の情報ユニットの数）をかなり増加させる。これらのアーチファクトは、信号値の量子化及び／又は打ち切り(truncation)を通常含む、第１符号化ユニット１４によって用いられる不可逆符号化に主によるものである。
【００３４】
可能な解決策は、図２に示され、符号化装置１"は、ダウンサンプラ１１、アップサンプラ１２、第１符号化ユニット１４、減算ユニット１３、及び第２符号化ユニット１６をも有する。しかし、図２の装置において、第１符号化装置１４は、ユニット１１、１２及び１３によって構成されるループの外側に配置されている。加えて、何の復号ユニットも存在しない。結果として、残余信号ＲＳは、第１符号化ユニット１４によって導入され得るようなアーチファクトを含まない。
【００３５】
図１の符号化及び復号ユニットは、アーチファクトを導入するだけでなく、フィルタ機能をも導入する。斯様なフィルタ機能は、高い周波数を減衰させる傾向にある演算を重み付けする変換係数によって生じられ得る。本発明者は、符号化ユニット１４及び復号ユニット１５を、ユニット１１、１２及び１３（図２）によって構成されるループの外側に配置することによって、このフィルタ機能は失われることを理解している。結果として、アップサンプリングされた画像信号の帯域幅は拡げられ、残余信号ＲＳの帯域幅は狭められ、第２符号化信号ＥＬの画像鮮明度内容は低減される。この情報損失が、知覚可能な画像劣化になり得ることが分かっている。
【００３６】
この問題は、図３に示される本発明の符号化装置１によって解決される。図３の単なる例示的な符号化装置１は、ダウンサンプリングユニット１１、アップサンプリングユニット１２、及び減算ユニット１３によって構成される比較ループをも備える一方で、第１符号化器１４及び第２符号化器１６は、このループの外側に配置される。図２の配置とは対照的に、フィルタユニット１０が、アップサンプリングユニット１２と直列に配置される。このフィルタユニット１０は、図１の配置におけるループの内側に配置される符号化ユニット１４及び復号ユニット１５のフィルタ機能を実質的に置換する。斯様にして、符号化ユニット１４及び復号ユニット１５を該ループの外側に配置する肯定的な効果が保持される一方で、これらのフィルタ機能はフィルタ１０によって置換される。
【００３７】
図３において、フィルタユニット１０は、アップサンプリングユニット１２の上流に示される。しかし、このことは、必須ではなく、フィルタユニット１０は、アップサンプリングユニット１２の下流にも配置され得る。（図示されない）他の実施例において、フィルタユニット１０は、アップサンプリングユニット１２において一体化され得る。すなわち、アップサンプリングユニットは、通常、追加的なフィルタ１０のフィルタ特性を有するように構成され得るフィルタを含む。このことは、図８に概略的に示され、フィルタ伝達関数Ｈの絶対値|H|が、周波数fの関数として概略的に示される。アップサンプリングユニット１２の元のフィルタ伝達関数Ｈは、Iによって示される一方で、アップサンプリングユニット１２においてフィルタ１０を含むことの結果としての修正されたフィルタ伝達関数は、IIによって示される。示される例において、アップサンプラ１２においてフィルタ１０を一体化することの効果は、フィルタの通過帯域を狭めることである。
【００３８】
このことは、図６及び７に更に示される。図６において、ダウンサンプリング１１の例示的な実施例は、更に詳細に示される。ユニット１１は、低域通過フィルタ１１３及びダウンサンプラ１１５を備えるように示される。同様に、アップサンプリングユニット１２は、補間ユニット１２１及び低域通過フィルタ１２３を備えるように示される。低域通過フィルタ１２３は、フィルタ係数の２つのセットの畳み込みを実行するように構成される畳み込みユニット１２７からフィルタ係数を導出する。標準的な係数ｓｃは、アップサンプリングユニットの低域通過フィルタによって通常用いられる係数である。修正された係数ａｃは、図３の低域通過フィルタ１０の係数である。フィルタ係数の２つのセットの畳み込みを実行することによって、フィルタ１２３は、（図８と比較して）２つのフィルタの特性を組み合わせるフィルタ特性を獲得した。斯様にして、本発明の有利な特徴は、追加的なフィルタ（図３の１０）を犠牲にすることなく達成され得る。
【００３９】
本発明の符号化装置１の代替的な実施例は、図４に概略的に示される。図４の実施例は、エッジなどの画像信号の特徴を検出する信号分析（ＳＡ）ユニット１７を追加的に含む。信号分析ユニット１７によって出力されるエッジ信号ＥＳ、及び残余信号ＲＳは、乗算器１８において乗算される。このことは、残余信号ＲＳが画像信号のエッジ及び他の重要な特徴付近で増幅されるのを可能にし、通常、より高い空間周波数（画像鮮明度情報）内容が増加することになる。
【００４０】
エッジ及び他の重要な特徴付近での残像信号ＲＳのこの（比較的小さい）増幅は、失われていた可能性のあるいかなる高い周波数の成分に関する補償をも提供する。
【００４１】
図４の実施例は、符号化の前に信号のＤＣレベルを調整するために、（減衰された）残余信号ＲＳをオフセット信号ＤＣと合成する合成ユニット（加算器）１９も含む。
【００４２】
信号分析ユニット１７は、図４における破線によって示されるために、フィルタ１０のフィルタ係数を調整するようにも用いられ得る。
【００４３】
本発明の符号化装置１によって生成される画像信号を復号する復号器は、図５に概略的に示される。図５の復号装置は、第１符号化画像信号ＢＬを復号する第１復号ユニット４４、及び第２復号画像信号ＥＬを復号する第２復号ユニット４６を備える。アップサンプリングユニット４１は、第１復号ユニット４４に接続される。アップサンプリング及び復号された第１画像信号は、減算器４３において、復号された第２画像信号から減算される。示される実施例において、オフセット調整（オフセット信号ＤＣ）は、減算器４３に第２復号画像信号を供給することの前に実行される。減算器４３によって出力される信号は、再構築画像信号ＶＳ"である。
【００４４】
本発明の符号化装置１の代替的な実施例は、図９に概略的に示される。図９の実施例において、第１符号化器１４も、ユニット１１、１２、及び１３によって構成されるループの外側に配置される。しかし、第１符号化器１４の後に、再構築画像信号ＶＳ'を生成する復号器１５及びアップサンプラ２１が続いている。減算器２２において、再構築画像信号ＶＳ'は、補助残余信号を生成するために、元の画像信号ＶＳから減算される。図３及び４の実施例のように、主たる残余信号ＲＳは、減算器１３によって生成される。主たる残余信号ＲＳ及び補助残余信号ＲＳ'は、合成ユニット（加算器）２５において合成される。この合成された残余信号は、その後、第２符号化器１６によって符号化され、第２符号化器画像信号ＥＬを生成する。第１符号化画像信号ＢＬ及び第２符号化画像信号ＥＬは、一緒になって、（例えばケーブルネットワーク又はインターネットを介して）送信及び／又は（例えば、ＤＶＤなどの光学的又は磁気的情報担体に）記憶される符号化画像信号を構成する。
【００４５】
図９から確認され得るように、（主たる）残余信号ＲＳは、符号化器１４によって生成されるアーチファクトは含まず、また（示される実施例において）追加的なフィルタステップ（図３及び４のフィルタ１０）を用いて生成されない。補助残余信号ＲＳ'は、（図１を比較して）従来技術に従い生成され、アーチファクトを含み得るが、符号化ユニット１４及び復号ユニット１５によってフィルタリングすることによる利益も含み得る。合成ユニット２５において主たる残余信号ＲＳ及び補助残余信号ＲＳ'を合成することによって、生じる残余信号が得られ、このことは、本発明と従来技術との有利な点を組み合わせる一方で、不利な点を軽減する。
【００４６】
図９の実施例において、乗算器２３及び２４は、重み付け因数ａ及び重み付け因数ｂのそれぞれによって、（主たる）残余信号ＲＳ及び補助残余信号ＲＳ'を乗算するために設けられる。好ましくは、ａ及びｂの両方は、０より大きく、ａ及びｂの合計は、ほぼ１に等しい（ａ＋ｂ≒１）。斯様にすると、第２符号化器１６によって符号化される残余信号は、主たる残余画像信号ＲＳ及び補助残余信号ＲＳ'の重み付け平均である。重み付け因数ａ及びｂの正確な値は、特定の応用例に依存する。
【００４７】
本発明の符号化装置１の更なる実施例は、図１０に示される。図１０の実施例は、図９の実施例に類似し、ユニット１１、１２、及び１３によって構成されるループの外側に配置される第１符号化器１４も有する。加えて、補助残余画像信号ＲＳ'は、減算ユニット２２によって生成される。しかし、図９の実施例とは対照的に、図１０の実施例は、第１符号化画像信号ＥＬに加えて、第２符号化画像信号ＥＬ１及び第３符号化画像信号ＥＬ２を、第１符号化ユニット１４、第２符号化ユニット１６、及び第３符号化ユニット２９のそれぞれを用いて生成する。第２符号化画像信号ＥＬ１は、（主たる）残余信号ＲＳを符号化することによって生成される一方で、第３符号化画像信号ＥＬ２は、元の画像信号ＲＳ及び補助残余画像信号ＲＳ'の差を符号化するとことによって生成される。このことは、第２符号化画像信号ＥＬ１がいかなる高周波数損失に関しても特定の補償を既に提供し、エンハンスメント層を比較的低いビットレートで提供するという有利な点を有する。第２符号化画像信号ＥＬ１の周波数補償が近似値である一方で、第３符号化画像信号ＥＬ２は、いかなる更なる周波数損失をもほぼ正確に補償する。第２符号化ユニット１６及び第３符号化ユニット２９は、符号化情報の重複を避けるためにリンクされ得る。例えば、第２符号化ユニット１６によって符号化されるいかなる動きベクトルも、第３符号化ユニット２９によって符号化される第３符合化画像信号ＥＬ２に含まれる必要はない。結果として、第３符号化画像信号ＥＬ２は、非常に低いビットレートを有し得る。
【００４８】
（主たる）残余画像信号ＲＳは、乗算係数Ｃが供給される（追加的な）乗算器２３によって減衰され得る。同様に、第３符号化ユニット２９に送信される画像信号は、乗算因数Ｄが供給される（任意選択的な）乗算器２８を用いて減衰され得る。因数Ｃ及びＤは、特定の応用例及び／又は画像信号の内容に依存し得る。
【００４９】
図３及び４の実施例は、図９および図１０の実施例と組み合わせられ得る。例えば、フィルタ１０は、図９及び１０の実施例におけるアップサンプリングユニット１２と直列に配置され得る。追加的に又は代替的に、フィルタ１０は、変換ユニット（例えばデジタルコサイン変換ユニット）、重み付けユニット、逆重み付けユニット、及び逆変換ユニットの直列接続によって構成され得る。他の修正態様も、当業者にとって明らかである。
【００５０】
本発明の符号化装置は、例えば、画像情報を遠隔ユニットへ送信するネットワーク装置と、受信器および送信器を備える携帯電話などの携帯型民生用装置と、及びカメラ装置とにおいて用いられ得る。
【００５１】
本発明は、第２（「エンハンスメント層」）符号化画像信号のビットレートが、残余信号を生成する回路から不可逆符号化器及び復号器を取り除くことによって低減され得るという洞察に基づく。本発明は、画像の品質が前記回路においてフィルタを含むことによって実質的にエンハンスされ得ること、また、本発明に従い生成される残余信号と従来技術に従い生成される残余信号とを組み合わせることによって適切なビットレート低減が達成され得るという更なる洞察から利益を得る。
【００５２】
本文書における如何なる参照符号も本発明の範囲を制限するように解釈されてはならないことを特記される。特に、「有する」という動詞及びその活用形の使用は、記載される以外の異なる他の要素を排除しないことと意図される。単数形の（回路）構成要素は、複数個の（回路）構成要素又はそれらの等価物を用いて置換され得る。
【００５３】
本発明は、上述の実施例に制限されず、当業者が、添付の請求の範囲から逸脱することなく、多数の代わりの実施例を設計することが可能であることを注意しなければならない。
【図面の簡単な説明】
【００５４】
【図１】図１は、従来技術による第１画像符号化装置を概略的に示す。
【図２】図２は、従来技術による第２画像符号化装置を概略的に示す。
【図３】図３は、本発明による画像符号化装置の第１実施例を概略的に示す。
【図４】図４は、本発明による画像符号化装置の第２実施例を概略的に示す。
【図５】図５は、本発明による画像復号装置の実施例を概略的に示す。
【図６】図６は、本発明によるフィルタユニットの第１実施例を概略的に示す。
【図７】図７は、本発明によるフィルタユニットの第２実施例を概略的に示す。
【図８】図８は、本発明によるフィルタ特性を概略的に示す。
【図９】図９は、本発明による画像符号化装置の第３実施例を概略的に示す。
【図１０】図１０は、本発明による画像符号化装置の第４実施例を概略的に示す。
【技術分野】
【０００１】
本発明は、スケーラブルな画像及びビデオの符号化に関する。より特には、本発明は、異なる解像度を有する少なくとも２つの符号化信号を生成するために画像又はビデオ信号を符号化する装置及び方法に関する。
【背景技術】
【０００２】
画像（静止画）及びビデオ（動画）を符号化及び復号することは、周知である。広く使用される画像復号の種類の一つは、例えば、"H.264 and MPEG-4 Video Compression" by I.E.G. Richardson and G.J. Sullivan, John Wiley and Sons Ltd., 2003のテキストに記載されている、国際ＭＰＥＧ−２及びＭＰＥＧ−４規格に規定されている。通常のスケーラブルＭＰＥＧ互換符号化装置は、
−ダウンサンプリングされた画像信号を生成するダウンサンプラと、
−低解像度を有する画像を表す第１符合化画像信号（「ベース層」）を生成するために、前記ダウンサンプラに接続され、前記ダウンサンプリングされた画像を符号化する第１符号化器と、
−前記符号化器に接続され、前記ダウンサンプリングされた画像信号を再構築する復号器と、
−前記第１復号器に接続され、前記元の画像信号を再構築するアップサンプラと、
−残余（差異）信号を生成するために、前記元の画像信号から前記再構築された画像信号を減算する減算器と、
−前記低解像度画像と一緒にして、高解像度を有する画像を表す第２符号化画像信号（「エンハンスド層」）を生成するために、前記残余信号を符号化する第２符号化器と、
を備える。
【０００３】
この既知の符号化技法は、復号器が、低解像度画像になる第１画像信号、又は高解像度画像になる両方の画像信号、のいずれか一方を用い得るという有利な点を有する。第１（「ベース層」）画像信号が大部分の情報を含む一方で、第２（「エンハンスド層」）画像信号は、解像度を向上させるのに必要な追加的な情報のみを含むように設計される。しかし、実際には、この第２画像信号は、（第１）符号化器及び復号器によって導入されるアーチファクトを通常含み、これにより、ビットレートが増加することになる。
【０００４】
ＭＰＥＧ互換装置において用いられる符号化は、不可逆符号化、すなわちある情報が失われ、元の入力画像信号を完全に再構築することを不可能にさせている。符号化処理が含まれる量子化ステップにおいて通常発生する、この情報損失は、画像品質の劣化を生じさせる。アーチファクトの導入及び／又は解像度の損失を含み得る劣化は、ビットレートを低減するという重要な有意性を提供する一方で、多くの場合、知覚するのが困難である。しかし、不可逆符号化は、元の画像信号及び再構築された画像信号の間における不一致を生じさせ、このことは、情報内容及び第２（「エンハンスド層」）符号化画像信号のビットレートを増加させる。
【発明の開示】
【発明が解決しようとする課題】
【０００５】
本発明の目的は、従来技術のこれら及び他の問題を解決すること、また不可逆符号化を維持するとともに容認可能な画像品質を提供する一方で、低減されたビットレートを有する第２符号化画像信号を生成する、画像信号を生成する装置および方法を提供することである。
【課題を解決するための手段】
【０００６】
したがって、本発明は、画像信号を符号化する符号化装置であって、
−元の画像信号を、ダウンサンプリングされた画像信号に変換するダウンサンプリング手段と、
−第１符合化画像信号を生成するために、前記ダウンサンプリング手段に接続されるとともに、前記ダウンサンプリングされた画像信号を符号化する第１符号化手段と、
−前記ダウンサンプリング手段に接続されるとともに、前記ダウンサンプリングされた画像信号をアップサンプリングされた画像信号に変換するアップサンプリング手段と、
−前記元の画像信号及び前記アップサンプリングされた画像信号から残余画像信号を生成する減算手段と、
−第２符号化画像信号を生成するために、前記残余画像信号を符号化する第２符号化手段と、
を備え、
【０００７】
前記第１符号化器手段が、不可逆符号化用に構成され、補正手段が、前記残余画像信号の画像鮮明度内容を増加させるように設けられるような、
符号化装置を提供する。
【０００８】
前記アップサンプリング手段を前記ダウンサンプリング手段に接続することによって、前記アップサンプリングされた画像信号は、符号化及び復号をされていないので、前記符号化ステップ及び復号ステップによって導入されるいかなるアーチファクトも除去する。これらのアーチファクトは残余信号に含まれていないので、この信号は、相当少ない情報を含み、したがって、強く低減されたビットレートを有する。しかし、斯様な残余信号は、多くの場合、目立つ品質損失につながり得る。この理由のために、本発明の符号化装置は、残余信号の画像鮮明度内容を増加させる補正手段を具備される。残余信号のこの増加された情報内容は、第２符号化信号の増加されたビットレートを必然的に含むが、生じるビットレートは、従来技術の対応する信号のビットレートよりも低い。
【０００９】
当然、補正手段を省略することも可能であり得る。しかし、このことは、比較的劣等な画像品質を有する画像を生じさせ得る。不可逆符号化を可逆(loss-less)符号化で置換することも可能であり得るが、このことは、必然的に、不可逆符号化に通常含まれるデータ低減が犠牲にされ得るので、ビットレートの低減を生じさせ得ない。加えて、ＭＰＥＧ及び、ＡＶＣなどの他の規格との互換性も失われ得る。
【００１０】
欧州特許第EP0577363B1号が、元の画像がダウンサンプリングされ、その後アップサンプリングされて、異なる画像を生成するために該元の画像と比較されるような、放射線画像を圧縮する装置を開示していることを特記される。ダウンサンプリングされた画像は、可逆符号化技術である異なるパルス符合変調に従う。不可逆符号化技術によって引き起こされるビットレートの増加を避けることの問題は、したがって、この従来技術の装置においては発生しない。加えると、この従来技術の装置の応用例は、放射線画像に制限されるとともに、可逆符号化技術のため、欧州特許第EP0577363B1号から既知である装置は、ＭＰＥＧ互換ではない。
【００１１】
本発明において、残余信号の画像鮮明度内容を増加させる様々な補正手段が用いられ得る。第１の実施例において、補正手段は、アップサンプリングされた画像信号の帯域幅を低減する帯域幅低減手段を備える。帯域幅低減手段は、アップサンプリングされた画像信号の帯域幅を低減するために、ダウンサンプリング手段と減算手段との間に配置されるフィルタ手段によって構成され得る。残余信号を生成するために、アップサンプリングされた画像信号が元の画像信号から減算されるので、アップサンプリングされた画像信号の帯域幅の低減が、残余信号の帯域幅つまり画像鮮明度内容を増加させる一方で、アーチファクトが存在しないという利益をなお受ける。
【００１２】
フィルタ手段は、好ましくは、アップサンプリングされた画像信号の周波数分布が、第１符号化装置及び復号装置がダウンサンプリング手段及びアップサンプリング手段の間に配置された場合と同じ信号の周波数分布と実質的に等しい又は等価であるように設計される。斯様にして、既存の符号化装置との互換性は維持される。当然、アップサンプリングされた信号の周波数分布は、比較的狭い通過帯域を有するフィルタ手段を用いて、従来技術の装置における周波数分布とは異なり、例えば狭められ得る。
【００１３】
従来の符号化器及び復号器は、通常、符号化が画像信号値の量子化及び／又は打ち切り(truncation)を含む場合特に、フィルタ、又は少なくともディスプレイフィルタ特性を含むことを特記される。本発明者は、ダウンサンプリング手段、アップサンプリング手段及び減算手段からなるループから符号化手段及び復号手段を省略することが、残余信号におけるアーチファクトの数を低減させるが、符号化及び復号手段の帯域制限フィルタ特性をも除去することを理解している。したがって、符号化及び復号手段を存在させることなくこの帯域制限効果を達成するために、フィルタ手段が追加され得る。
【００１４】
フィルタ手段は、アップサンプリング手段と一体化され得る。すなわち、アップサンプリング手段は、通常、（低域通過）フィルタを含み、このフィルタの特性は、アップリングされた画像信号の所望な周波数分布を提供するように調整され得る。代替的に又は追加的に、フィルタ手段は、アップサンプリング手段と直列に配置され得る。すなわち、アップサンプリング手段に接続される個別のフィルタユニットが設けられ得る。
【００１５】
フィルタ手段は、好ましくは、低域通過フィルタ特性を有する。すなわち、低い（空間）周波数がフィルタ手段によって通過される一方で、高い（空間）周波数が減衰される。
【００１６】
上述の第１の実施例において、補正手段は、アップサンプリングされた画像信号の帯域幅を低減するために、ダウンサンプリング手段と減算手段との間に配置されるフィルタ手段を備える。第２の実施例において、補正手段は、再構築された画像信号を生成するために前記第１符号化画像信号を復号及びアップサンプリングする復号手段及び更なるアップサンプリング手段と、前記再構築された画像信号及び前記元の画像信号の差を生成する更なる減算手段と、符号化の前に前記差を前記残余信号へ加算する更なる加算手段と、を備える。
【００１７】
この第２の実施例において、２つのアップサンプリング手段が、２つのアップサンプリング画像信号を生成するために設けられ、前記２つのアップサンプリング画像信号のうちの１つは、第１実施例におけるように事前に符号化され後に復号されており、前記２つのアップサンプリング画像信号のうちの１つは、そのようにはされていない。これら２つのアップサンプリングされた信号を元の画像信号から減算するとともに、生じる残余信号を組み合わせることによって、増加された情報内容を有する新しい残余画像信号が得られる。すなわち、符号化及び復号することなく生成される（第１）残余画像信号は、符号化及び復号ステップによって導入され得るアーチファクトを含まず、比較的低い画像鮮明度内容を有する。符号化及び復号を用いて生成される（第２）残余画像信号は、アーチファクトを含み得、符号化及び復号のフィルタリング効果の利益を受けるので、比較的高い画像鮮明度内容を有する。これらの残余画像信号を組み合わせることによって、アーチファクト及びいかなるフィルタ処理されていない信号成分の両方の相対的分布が低減され、それにより、非常に満足のいくトレードオフを達成し得る。第２符号化画像信号は、補正手段を用いることなく獲得され得るよりも高い、情報（すなわち、画像鮮明度）内容、すなわちビットレートを有し、向上された画像品質を生じさせる。第２符号化画像信号のビットレートは、従来の符号化装置よりも、なお低い。
【００１８】
符号化装置が減算手段及び更なる減算手段のそれぞれによって出力される画像信号を重み付けする重み付け手段を含むことが好ましい。有利には、重み付け手段は、画像信号を対応する因数で乗算する乗算器を備え、因数の合計は、１に実質的に又はほぼ等しい。すなわち、重み付け手段は、２つの残余信号の相対的配分が決定されるようにする。本発明の利益を達成するために、これらの２つの因数の両方は、０よりも大きくあるべきであることが理解され得る。
【００１９】
第２の実施例において、追加的な符号化信号を生成するために、前記減算手段によって出力される前記残余信号を符号化する追加的な符号化手段を更に備えることが有利であり得る。追加的な符号化手段は、符号化処理を促進するために、第２符号化手段と接続され得る。
【００２０】
第１及び第２の実施例は、適切に組み合わせられ得、これにより、アップサンプリングされた（しかし符号化及び復号されていない）画像信号をフィルタリングするフィルタ手段を追加的に含む第２の実施例の装置を提供し得る。
【００２１】
本発明の符号化装置は、有利には、前記入力画像信号を分析するとともに品質信号を生成する信号分析手段と、好ましくは増加された振幅を有する（すなわち、前記品質信号が、好ましくは、１と等しい又は１より大きいような）修正された残余画像信号を生成するために、前記残余信号及び前記品質信号を乗算する乗算手段（又は適切な制御増幅器）と、を更に備え得る。このことは、残余信号が、応用例に応じて、又は符号化される画像信号に応じて減衰（又は増幅）されるようにする。
【００２２】
更なる実施例において、本発明の符号化装置は、平均値修正残余画像信号を生成するために、前記残余信号又は前記修正された残余信号及びオフセット信号を合成する合成手段を更に備え得る。このことは、ＤＣオフセットが補償されるのを可能にする。
【００２３】
本発明の符号化装置が、好ましくはＭＰＥＧ規格又はＡＶＣ規格などの国際画像圧縮規格に従い画像を符号化するように構成されることが特に好ましい。このことは、既存の及び将来の復号装置の両方との互換性を保証する。しかし、本発明は、標準規格互換性に制限されず、所望であればいかなる規格から外れたものでもよい。
【００２４】
加えて、本発明は、上述の符号化装置を備える民生用装置などの機器を提供する。非制限的例として、本発明は、ＤＶＤレコーダ、ハードディスクを用いた画像記憶装置、適切なソフトウェアプログラムを実行する計算機、及び等価な装置などの、上述の符号化装置を備える画像記憶装置を提供する。
【００２５】
上述の機器の別の例は、画像情報を遠隔ユニットへ送信するネットワーク装置であって、上述の符号化装置を備えるネットワーク装置である。斯様なネットワーク装置は、例えば、様々な表示スクリーン、計算機、及び他の装置へ画像を送信するために家庭内で用いられ得る。当該機器の更なる別の例は、受信器、送信器、及び上述の符号化装置を備える携帯型民生用装置である。斯様な携帯型民生用装置は、携帯電話又は、送受信器を有するラップトップ計算機若しくはノートブック装置であり得る。
【００２６】
上述の機器の更なる例は、上述の符号化装置を備えるカメラ装置である。斯様なカメラ装置は、画像（静止画）、動画（ビデオ）、又はその両方に関するカメラであり得る。
【００２７】
本発明は、上述の符号化装置を備える画像処理装置も提供する。本発明は、追加的に、上述の符号化装置を用いて符号化される画像信号を復号する復号装置、上述の符号化装置又は以下に記載の方法によって符号化された画像信号、及び上述の符号化装置又は以下に記載の方法によって符号化された画像信号を含む情報担体を提供する。斯様な画像信号は、例えば、電気ケーブル、光ファイバーケーブル、若しくは、電波若しくは赤外線光（赤外線光はブルートゥース若しくは類似の技術を用いて送信され得る）を用いた無線などのいかなる適切な手段を介して、ケーブルネットワークを介して、又はインターネットを介して伝送され得る。適切な情報担体は、ＤＶＤ若しくは類似の光学情報担体、又はハードディスクなどの磁気情報担体によって構成され得る。
【００２８】
本発明は、更に、画像信号を符号化する方法であって、
−元の画像信号を、ダウンサンプリングされた画像信号に変換するダウンサンプリングするステップと、
−第１符合化画像信号を生成するために、前記ダウンサンプリングされた画像信号を符号化するステップと、
−前記ダウンサンプリングされた画像信号をアップサンプリングされた画像信号に変換するステップと、
−前記元の画像信号及び前記アップサンプリングされた画像信号から、減算によって残余画像信号を生成するステップと、
−第２符号化画像信号を生成するために、前記残余画像信号を符号化するステップと、
を有し、
【００２９】
前記ダウンサンプリングされた画像信号を符号化するステップが、不可逆符号化するステップを含み、当該方法が、前記残余画像信号の画像鮮明度内容を増加させるステップを更に有する、
方法を提供する。
【００３０】
本発明は、追加的に、上述の方法を実行する計算機プログラム製品を提供する。本文書で開示されるいかなるアルゴリズムのコンポーネントも、実際的には、全体的に又は部分的に、ハードウェア（例えば、特定用途向けＩＣの一部）として又は専用デジタル信号処理器若しくは汎用処理器で実行するソフトウェアとして、実施化され得ることを特記される。計算機プログラム製品は、汎用又は専用処理器に、命令を処理器にロードする一連のローディングステップの後で、発明の特徴的な機能のいかなるものも実行させる一群の命令のいかなる物理的な実施化をも含むように理解されるべきである。特に、計算機プログラム製品は、例えば、ディスク又はテープなどの担体にデータとして実施化され得、データは、メモリに存在し、データは、（有線又は無線）ネットワーク接続を介して又は紙でプログラムコードとして送信される。プログラムコードとは別に、プログラムに関して必要とされる特性データは、計算機プログラム製品としても実施化され得る。
【００３１】
本発明は、添付の図面に示される例示的な実施例を参照にして以下にさらに説明され得る。
【発明を実施するための最良の形態】
【００３２】
図１に示される従来技術の符号化装置１'は、ダウンサンプラ１１、第１符号化ユニット１４、復号ユニット１５、アップサンプラ１２、減算ユニット１３、及び第２符号化ユニット１６を備える。ダウンサンプリングユニット１１は、元の画像信号ＶＳを受け取り、ダウンサンプリングされた画像信号を第１符合化器１４へ供給し、そこでは前記信号が符号化される。生じる第１符号化画像信号ＢＬは、出力されるとともに復号ユニット１５へ供給される。復号画像信号は、アップサンプリングユニット１２においてアップサンプリングされ、減算ユニット１３において元の信号ＶＳから減算される。生じる残余画像信号ＲＳは、第２符号化ユニット１６によって符号化され、第２符号化画像信号ＥＬとして出力される。ＭＰＥＧ互換システムにおいて、第１符号化画像信号ＢＬは、「ベース層」と呼ばれる一方で、第２符号化画像信号ＥＬは、「エンハンスド層」と呼ばれる。第１符号化画像信号ＢＬ及び第２符号化画像信号ＥＬは、一緒になって、送信及び／又は記憶される符号化画像信号を構成する。
【００３３】
この既知の構成において、残余信号ＲＳは、ダウンサンプリング、符号化、復号、及びアップサンプリングによって導入されるいかなるエラーも表す。しかし、これらのステップのアーチファクトは、残余信号ＲＳに不所望な情報を含めさせ、そして、第２符号化画像信号ＥＬのビットレート（毎秒の情報ユニットの数）をかなり増加させる。これらのアーチファクトは、信号値の量子化及び／又は打ち切り(truncation)を通常含む、第１符号化ユニット１４によって用いられる不可逆符号化に主によるものである。
【００３４】
可能な解決策は、図２に示され、符号化装置１"は、ダウンサンプラ１１、アップサンプラ１２、第１符号化ユニット１４、減算ユニット１３、及び第２符号化ユニット１６をも有する。しかし、図２の装置において、第１符号化装置１４は、ユニット１１、１２及び１３によって構成されるループの外側に配置されている。加えて、何の復号ユニットも存在しない。結果として、残余信号ＲＳは、第１符号化ユニット１４によって導入され得るようなアーチファクトを含まない。
【００３５】
図１の符号化及び復号ユニットは、アーチファクトを導入するだけでなく、フィルタ機能をも導入する。斯様なフィルタ機能は、高い周波数を減衰させる傾向にある演算を重み付けする変換係数によって生じられ得る。本発明者は、符号化ユニット１４及び復号ユニット１５を、ユニット１１、１２及び１３（図２）によって構成されるループの外側に配置することによって、このフィルタ機能は失われることを理解している。結果として、アップサンプリングされた画像信号の帯域幅は拡げられ、残余信号ＲＳの帯域幅は狭められ、第２符号化信号ＥＬの画像鮮明度内容は低減される。この情報損失が、知覚可能な画像劣化になり得ることが分かっている。
【００３６】
この問題は、図３に示される本発明の符号化装置１によって解決される。図３の単なる例示的な符号化装置１は、ダウンサンプリングユニット１１、アップサンプリングユニット１２、及び減算ユニット１３によって構成される比較ループをも備える一方で、第１符号化器１４及び第２符号化器１６は、このループの外側に配置される。図２の配置とは対照的に、フィルタユニット１０が、アップサンプリングユニット１２と直列に配置される。このフィルタユニット１０は、図１の配置におけるループの内側に配置される符号化ユニット１４及び復号ユニット１５のフィルタ機能を実質的に置換する。斯様にして、符号化ユニット１４及び復号ユニット１５を該ループの外側に配置する肯定的な効果が保持される一方で、これらのフィルタ機能はフィルタ１０によって置換される。
【００３７】
図３において、フィルタユニット１０は、アップサンプリングユニット１２の上流に示される。しかし、このことは、必須ではなく、フィルタユニット１０は、アップサンプリングユニット１２の下流にも配置され得る。（図示されない）他の実施例において、フィルタユニット１０は、アップサンプリングユニット１２において一体化され得る。すなわち、アップサンプリングユニットは、通常、追加的なフィルタ１０のフィルタ特性を有するように構成され得るフィルタを含む。このことは、図８に概略的に示され、フィルタ伝達関数Ｈの絶対値|H|が、周波数fの関数として概略的に示される。アップサンプリングユニット１２の元のフィルタ伝達関数Ｈは、Iによって示される一方で、アップサンプリングユニット１２においてフィルタ１０を含むことの結果としての修正されたフィルタ伝達関数は、IIによって示される。示される例において、アップサンプラ１２においてフィルタ１０を一体化することの効果は、フィルタの通過帯域を狭めることである。
【００３８】
このことは、図６及び７に更に示される。図６において、ダウンサンプリング１１の例示的な実施例は、更に詳細に示される。ユニット１１は、低域通過フィルタ１１３及びダウンサンプラ１１５を備えるように示される。同様に、アップサンプリングユニット１２は、補間ユニット１２１及び低域通過フィルタ１２３を備えるように示される。低域通過フィルタ１２３は、フィルタ係数の２つのセットの畳み込みを実行するように構成される畳み込みユニット１２７からフィルタ係数を導出する。標準的な係数ｓｃは、アップサンプリングユニットの低域通過フィルタによって通常用いられる係数である。修正された係数ａｃは、図３の低域通過フィルタ１０の係数である。フィルタ係数の２つのセットの畳み込みを実行することによって、フィルタ１２３は、（図８と比較して）２つのフィルタの特性を組み合わせるフィルタ特性を獲得した。斯様にして、本発明の有利な特徴は、追加的なフィルタ（図３の１０）を犠牲にすることなく達成され得る。
【００３９】
本発明の符号化装置１の代替的な実施例は、図４に概略的に示される。図４の実施例は、エッジなどの画像信号の特徴を検出する信号分析（ＳＡ）ユニット１７を追加的に含む。信号分析ユニット１７によって出力されるエッジ信号ＥＳ、及び残余信号ＲＳは、乗算器１８において乗算される。このことは、残余信号ＲＳが画像信号のエッジ及び他の重要な特徴付近で増幅されるのを可能にし、通常、より高い空間周波数（画像鮮明度情報）内容が増加することになる。
【００４０】
エッジ及び他の重要な特徴付近での残像信号ＲＳのこの（比較的小さい）増幅は、失われていた可能性のあるいかなる高い周波数の成分に関する補償をも提供する。
【００４１】
図４の実施例は、符号化の前に信号のＤＣレベルを調整するために、（減衰された）残余信号ＲＳをオフセット信号ＤＣと合成する合成ユニット（加算器）１９も含む。
【００４２】
信号分析ユニット１７は、図４における破線によって示されるために、フィルタ１０のフィルタ係数を調整するようにも用いられ得る。
【００４３】
本発明の符号化装置１によって生成される画像信号を復号する復号器は、図５に概略的に示される。図５の復号装置は、第１符号化画像信号ＢＬを復号する第１復号ユニット４４、及び第２復号画像信号ＥＬを復号する第２復号ユニット４６を備える。アップサンプリングユニット４１は、第１復号ユニット４４に接続される。アップサンプリング及び復号された第１画像信号は、減算器４３において、復号された第２画像信号から減算される。示される実施例において、オフセット調整（オフセット信号ＤＣ）は、減算器４３に第２復号画像信号を供給することの前に実行される。減算器４３によって出力される信号は、再構築画像信号ＶＳ"である。
【００４４】
本発明の符号化装置１の代替的な実施例は、図９に概略的に示される。図９の実施例において、第１符号化器１４も、ユニット１１、１２、及び１３によって構成されるループの外側に配置される。しかし、第１符号化器１４の後に、再構築画像信号ＶＳ'を生成する復号器１５及びアップサンプラ２１が続いている。減算器２２において、再構築画像信号ＶＳ'は、補助残余信号を生成するために、元の画像信号ＶＳから減算される。図３及び４の実施例のように、主たる残余信号ＲＳは、減算器１３によって生成される。主たる残余信号ＲＳ及び補助残余信号ＲＳ'は、合成ユニット（加算器）２５において合成される。この合成された残余信号は、その後、第２符号化器１６によって符号化され、第２符号化器画像信号ＥＬを生成する。第１符号化画像信号ＢＬ及び第２符号化画像信号ＥＬは、一緒になって、（例えばケーブルネットワーク又はインターネットを介して）送信及び／又は（例えば、ＤＶＤなどの光学的又は磁気的情報担体に）記憶される符号化画像信号を構成する。
【００４５】
図９から確認され得るように、（主たる）残余信号ＲＳは、符号化器１４によって生成されるアーチファクトは含まず、また（示される実施例において）追加的なフィルタステップ（図３及び４のフィルタ１０）を用いて生成されない。補助残余信号ＲＳ'は、（図１を比較して）従来技術に従い生成され、アーチファクトを含み得るが、符号化ユニット１４及び復号ユニット１５によってフィルタリングすることによる利益も含み得る。合成ユニット２５において主たる残余信号ＲＳ及び補助残余信号ＲＳ'を合成することによって、生じる残余信号が得られ、このことは、本発明と従来技術との有利な点を組み合わせる一方で、不利な点を軽減する。
【００４６】
図９の実施例において、乗算器２３及び２４は、重み付け因数ａ及び重み付け因数ｂのそれぞれによって、（主たる）残余信号ＲＳ及び補助残余信号ＲＳ'を乗算するために設けられる。好ましくは、ａ及びｂの両方は、０より大きく、ａ及びｂの合計は、ほぼ１に等しい（ａ＋ｂ≒１）。斯様にすると、第２符号化器１６によって符号化される残余信号は、主たる残余画像信号ＲＳ及び補助残余信号ＲＳ'の重み付け平均である。重み付け因数ａ及びｂの正確な値は、特定の応用例に依存する。
【００４７】
本発明の符号化装置１の更なる実施例は、図１０に示される。図１０の実施例は、図９の実施例に類似し、ユニット１１、１２、及び１３によって構成されるループの外側に配置される第１符号化器１４も有する。加えて、補助残余画像信号ＲＳ'は、減算ユニット２２によって生成される。しかし、図９の実施例とは対照的に、図１０の実施例は、第１符号化画像信号ＥＬに加えて、第２符号化画像信号ＥＬ１及び第３符号化画像信号ＥＬ２を、第１符号化ユニット１４、第２符号化ユニット１６、及び第３符号化ユニット２９のそれぞれを用いて生成する。第２符号化画像信号ＥＬ１は、（主たる）残余信号ＲＳを符号化することによって生成される一方で、第３符号化画像信号ＥＬ２は、元の画像信号ＲＳ及び補助残余画像信号ＲＳ'の差を符号化するとことによって生成される。このことは、第２符号化画像信号ＥＬ１がいかなる高周波数損失に関しても特定の補償を既に提供し、エンハンスメント層を比較的低いビットレートで提供するという有利な点を有する。第２符号化画像信号ＥＬ１の周波数補償が近似値である一方で、第３符号化画像信号ＥＬ２は、いかなる更なる周波数損失をもほぼ正確に補償する。第２符号化ユニット１６及び第３符号化ユニット２９は、符号化情報の重複を避けるためにリンクされ得る。例えば、第２符号化ユニット１６によって符号化されるいかなる動きベクトルも、第３符号化ユニット２９によって符号化される第３符合化画像信号ＥＬ２に含まれる必要はない。結果として、第３符号化画像信号ＥＬ２は、非常に低いビットレートを有し得る。
【００４８】
（主たる）残余画像信号ＲＳは、乗算係数Ｃが供給される（追加的な）乗算器２３によって減衰され得る。同様に、第３符号化ユニット２９に送信される画像信号は、乗算因数Ｄが供給される（任意選択的な）乗算器２８を用いて減衰され得る。因数Ｃ及びＤは、特定の応用例及び／又は画像信号の内容に依存し得る。
【００４９】
図３及び４の実施例は、図９および図１０の実施例と組み合わせられ得る。例えば、フィルタ１０は、図９及び１０の実施例におけるアップサンプリングユニット１２と直列に配置され得る。追加的に又は代替的に、フィルタ１０は、変換ユニット（例えばデジタルコサイン変換ユニット）、重み付けユニット、逆重み付けユニット、及び逆変換ユニットの直列接続によって構成され得る。他の修正態様も、当業者にとって明らかである。
【００５０】
本発明の符号化装置は、例えば、画像情報を遠隔ユニットへ送信するネットワーク装置と、受信器および送信器を備える携帯電話などの携帯型民生用装置と、及びカメラ装置とにおいて用いられ得る。
【００５１】
本発明は、第２（「エンハンスメント層」）符号化画像信号のビットレートが、残余信号を生成する回路から不可逆符号化器及び復号器を取り除くことによって低減され得るという洞察に基づく。本発明は、画像の品質が前記回路においてフィルタを含むことによって実質的にエンハンスされ得ること、また、本発明に従い生成される残余信号と従来技術に従い生成される残余信号とを組み合わせることによって適切なビットレート低減が達成され得るという更なる洞察から利益を得る。
【００５２】
本文書における如何なる参照符号も本発明の範囲を制限するように解釈されてはならないことを特記される。特に、「有する」という動詞及びその活用形の使用は、記載される以外の異なる他の要素を排除しないことと意図される。単数形の（回路）構成要素は、複数個の（回路）構成要素又はそれらの等価物を用いて置換され得る。
【００５３】
本発明は、上述の実施例に制限されず、当業者が、添付の請求の範囲から逸脱することなく、多数の代わりの実施例を設計することが可能であることを注意しなければならない。
【図面の簡単な説明】
【００５４】
【図１】図１は、従来技術による第１画像符号化装置を概略的に示す。
【図２】図２は、従来技術による第２画像符号化装置を概略的に示す。
【図３】図３は、本発明による画像符号化装置の第１実施例を概略的に示す。
【図４】図４は、本発明による画像符号化装置の第２実施例を概略的に示す。
【図５】図５は、本発明による画像復号装置の実施例を概略的に示す。
【図６】図６は、本発明によるフィルタユニットの第１実施例を概略的に示す。
【図７】図７は、本発明によるフィルタユニットの第２実施例を概略的に示す。
【図８】図８は、本発明によるフィルタ特性を概略的に示す。
【図９】図９は、本発明による画像符号化装置の第３実施例を概略的に示す。
【図１０】図１０は、本発明による画像符号化装置の第４実施例を概略的に示す。
【特許請求の範囲】
【請求項１】
画像信号を符号化する符号化装置であって、
−元の画像信号を、ダウンサンプリングされた画像信号に変換するダウンサンプリング手段と、
−第１符合化画像信号を生成するために、前記ダウンサンプリング手段に接続されるとともに、前記ダウンサンプリングされた画像信号を符号化する第１符号化手段と、
−前記ダウンサンプリング手段に接続されるとともに、前記ダウンサンプリングされた画像信号をアップサンプリングされた画像信号に変換するアップサンプリング手段と、
−前記元の画像信号及び前記アップサンプリングされた画像信号から残余画像信号を生成する減算手段と、
−第２符号化画像信号を生成するために、前記残余画像信号を符号化する第２符号化手段と、
を備え、
前記第１符号化手段が、不可逆符号化用に構成され、補正手段が、前記残余画像信号の画像鮮明度内容を増加させるように設けられる、
装置。
【請求項２】
前記補正手段が、前記アップサンプリングされた画像信号の帯域幅を低減する帯域幅低減手段を備える、請求項１に記載の装置。
【請求項３】
前記帯域幅低減手段が、前記ダウンサンプリング手段と前記減算手段との間に構成されるフィルタ手段を備え、前記フィルタ手段が、好ましくは、低域通過フィルタ特性を有する、請求項２に記載の装置。
【請求項４】
前記フィルタ手段が、前記アップスケーリング手段と一体である、請求項３に記載の装置。
【請求項５】
前記フィルタ手段が、前記アップスケーリング手段と直列に配置される、請求項３に記載の装置。
【請求項６】
前記補正手段が、再構築された画像信号を生成するために前記第１符号化画像信号を復号及びアップサンプリングする復号手段及び更なるアップサンプリング手段と、前記再構築された画像信号及び前記元の画像信号の差を生成する更なる減算手段と、符号化の前に前記差を前記残余信号へ加算する更なる加算手段と、を備える、請求項１に記載の装置。
【請求項７】
前記減算手段及び前記更なる減算手段のそれぞれによって出力される前記画像信号を重み付けする重み付け手段を更に備える、請求項６に記載の装置。
【請求項８】
追加的な符号化信号を生成するために、前記減算手段によって出力される前記残余信号を符号化する追加的な符号化手段を更に備える、請求項６に記載の装置。
【請求項９】
前記入力画像信号を分析するとともに品質信号を生成する信号分析手段と、修正された残余画像信号を生成するために、前記残余信号及び前記品質信号を乗算する乗算手段と、を更に備え、前記品質信号が、好ましくは、１と等しい又は１より大きい、請求項１に記載の装置。
【請求項１０】
平均値修正残余画像信号を生成するために、前記残余信号又は前記修正された残余信号及びオフセット信号を合成する合成手段を更に備える、請求項１に記載の装置。
【請求項１１】
請求項１に記載の符号化装置を備える画像記憶装置。
【請求項１２】
画像情報を遠隔ユニットへ送信するネットワーク装置であって、請求項１に記載の符号化装置を備えるネットワーク装置。
【請求項１３】
受信器、送信器、及び請求項１に記載の符号化装置を備える携帯型民生用装置。
【請求項１４】
請求項１に記載の符号化装置を備えるカメラ装置。
【請求項１５】
画像信号を符号化する方法であって、
−元の画像信号を、ダウンサンプリングされた画像信号に変換するステップと、
−第１符合化画像信号を生成するために、前記ダウンサンプリングされた画像信号を符号化するステップと、
−前記ダウンサンプリングされた画像信号をアップサンプリングされた画像信号に変換するステップと、
−前記元の画像信号及び前記アップサンプリングされた画像信号から、減算によって残余画像信号を生成するステップと、
−第２符号化画像信号を生成するために、前記残余画像信号を符号化するステップと、
を有し、
前記ダウンサンプリングされた画像信号を符号化するステップが、不可逆符号化するステップを含み、当該方法が、前記残余画像信号の画像鮮明度内容を増加させるステップを更に有する、
方法。
【請求項１６】
前記アップサンプリングされた画像信号の帯域幅を低減するステップを更に有する、請求項１５に記載の方法。
【請求項１７】
−前記入力画像信号を分析するとともに品質信号を生成するステップと、
−修正された残余画像信号を生成するために、前記残余信号及び前記品質信号を乗算するステップと、
を更に有し、
前記品質信号が、好ましくは、１と等しいまたは１より大きい、
請求項１５に記載の方法。
【請求項１８】
請求項１に記載の符号化装置、又は請求項１５に記載の方法によって符号化された画像信号。
【請求項１９】
請求項１に記載の符号化装置、又は請求項１５に記載の方法によって符号化された画像を含む情報担体。
【請求項２０】
処理器実行可能ステップである、
−元の画像信号を、ダウンサンプリングされた画像信号に変換するステップと、
−第１符合化画像信号を生成するために、前記ダウンサンプリングされた画像信号を符号化するステップと、
−前記ダウンサンプリングされた画像信号を、アップサンプリングされた画像信号に変換するステップと、
−前記元の画像信号及び前記アップサンプリングされた画像信号から、減算によって残余画像信号を生成するステップと、
−第２符号化画像信号を生成するために、前記残余画像信号を符号化するステップと、
を実行させる計算機プログラムであって、
前記ダウンサンプリングされた画像信号を符号化するステップが、不可逆符号化するステップを含み、当該方法が、前記残余画像信号の画像鮮明度内容を増加させるステップを更に有する、
計算機プログラム。
【請求項１】
画像信号を符号化する符号化装置であって、
−元の画像信号を、ダウンサンプリングされた画像信号に変換するダウンサンプリング手段と、
−第１符合化画像信号を生成するために、前記ダウンサンプリング手段に接続されるとともに、前記ダウンサンプリングされた画像信号を符号化する第１符号化手段と、
−前記ダウンサンプリング手段に接続されるとともに、前記ダウンサンプリングされた画像信号をアップサンプリングされた画像信号に変換するアップサンプリング手段と、
−前記元の画像信号及び前記アップサンプリングされた画像信号から残余画像信号を生成する減算手段と、
−第２符号化画像信号を生成するために、前記残余画像信号を符号化する第２符号化手段と、
を備え、
前記第１符号化手段が、不可逆符号化用に構成され、補正手段が、前記残余画像信号の画像鮮明度内容を増加させるように設けられる、
装置。
【請求項２】
前記補正手段が、前記アップサンプリングされた画像信号の帯域幅を低減する帯域幅低減手段を備える、請求項１に記載の装置。
【請求項３】
前記帯域幅低減手段が、前記ダウンサンプリング手段と前記減算手段との間に構成されるフィルタ手段を備え、前記フィルタ手段が、好ましくは、低域通過フィルタ特性を有する、請求項２に記載の装置。
【請求項４】
前記フィルタ手段が、前記アップスケーリング手段と一体である、請求項３に記載の装置。
【請求項５】
前記フィルタ手段が、前記アップスケーリング手段と直列に配置される、請求項３に記載の装置。
【請求項６】
前記補正手段が、再構築された画像信号を生成するために前記第１符号化画像信号を復号及びアップサンプリングする復号手段及び更なるアップサンプリング手段と、前記再構築された画像信号及び前記元の画像信号の差を生成する更なる減算手段と、符号化の前に前記差を前記残余信号へ加算する更なる加算手段と、を備える、請求項１に記載の装置。
【請求項７】
前記減算手段及び前記更なる減算手段のそれぞれによって出力される前記画像信号を重み付けする重み付け手段を更に備える、請求項６に記載の装置。
【請求項８】
追加的な符号化信号を生成するために、前記減算手段によって出力される前記残余信号を符号化する追加的な符号化手段を更に備える、請求項６に記載の装置。
【請求項９】
前記入力画像信号を分析するとともに品質信号を生成する信号分析手段と、修正された残余画像信号を生成するために、前記残余信号及び前記品質信号を乗算する乗算手段と、を更に備え、前記品質信号が、好ましくは、１と等しい又は１より大きい、請求項１に記載の装置。
【請求項１０】
平均値修正残余画像信号を生成するために、前記残余信号又は前記修正された残余信号及びオフセット信号を合成する合成手段を更に備える、請求項１に記載の装置。
【請求項１１】
請求項１に記載の符号化装置を備える画像記憶装置。
【請求項１２】
画像情報を遠隔ユニットへ送信するネットワーク装置であって、請求項１に記載の符号化装置を備えるネットワーク装置。
【請求項１３】
受信器、送信器、及び請求項１に記載の符号化装置を備える携帯型民生用装置。
【請求項１４】
請求項１に記載の符号化装置を備えるカメラ装置。
【請求項１５】
画像信号を符号化する方法であって、
−元の画像信号を、ダウンサンプリングされた画像信号に変換するステップと、
−第１符合化画像信号を生成するために、前記ダウンサンプリングされた画像信号を符号化するステップと、
−前記ダウンサンプリングされた画像信号をアップサンプリングされた画像信号に変換するステップと、
−前記元の画像信号及び前記アップサンプリングされた画像信号から、減算によって残余画像信号を生成するステップと、
−第２符号化画像信号を生成するために、前記残余画像信号を符号化するステップと、
を有し、
前記ダウンサンプリングされた画像信号を符号化するステップが、不可逆符号化するステップを含み、当該方法が、前記残余画像信号の画像鮮明度内容を増加させるステップを更に有する、
方法。
【請求項１６】
前記アップサンプリングされた画像信号の帯域幅を低減するステップを更に有する、請求項１５に記載の方法。
【請求項１７】
−前記入力画像信号を分析するとともに品質信号を生成するステップと、
−修正された残余画像信号を生成するために、前記残余信号及び前記品質信号を乗算するステップと、
を更に有し、
前記品質信号が、好ましくは、１と等しいまたは１より大きい、
請求項１５に記載の方法。
【請求項１８】
請求項１に記載の符号化装置、又は請求項１５に記載の方法によって符号化された画像信号。
【請求項１９】
請求項１に記載の符号化装置、又は請求項１５に記載の方法によって符号化された画像を含む情報担体。
【請求項２０】
処理器実行可能ステップである、
−元の画像信号を、ダウンサンプリングされた画像信号に変換するステップと、
−第１符合化画像信号を生成するために、前記ダウンサンプリングされた画像信号を符号化するステップと、
−前記ダウンサンプリングされた画像信号を、アップサンプリングされた画像信号に変換するステップと、
−前記元の画像信号及び前記アップサンプリングされた画像信号から、減算によって残余画像信号を生成するステップと、
−第２符号化画像信号を生成するために、前記残余画像信号を符号化するステップと、
を実行させる計算機プログラムであって、
前記ダウンサンプリングされた画像信号を符号化するステップが、不可逆符号化するステップを含み、当該方法が、前記残余画像信号の画像鮮明度内容を増加させるステップを更に有する、
計算機プログラム。
【図１】
【図２】
【図３】
【図４】
【図５】
【図６】
【図７】
【図８】
【図９】
【図１０】
【図２】
【図３】
【図４】
【図５】
【図６】
【図７】
【図８】
【図９】
【図１０】
【公表番号】特表２００８−５２３６８６（Ｐ２００８−５２３６８６Ａ）
【公表日】平成２０年７月３日（２００８．７．３）
【国際特許分類】
【出願番号】特願２００７−５４５０６４（Ｐ２００７−５４５０６４）
【出願日】平成１７年１２月８日（２００５．１２．８）
【国際出願番号】ＰＣＴ／ＩＢ２００５／０５４１２３
【国際公開番号】ＷＯ２００６／０６４４２２
【国際公開日】平成１８年６月２２日（２００６．６．２２）
【出願人】（５９００００２４８）コーニンクレッカ フィリップス エレクトロニクス エヌ ヴィ (12,071)
【Ｆターム（参考）】
【公表日】平成２０年７月３日（２００８．７．３）
【国際特許分類】
【出願日】平成１７年１２月８日（２００５．１２．８）
【国際出願番号】ＰＣＴ／ＩＢ２００５／０５４１２３
【国際公開番号】ＷＯ２００６／０６４４２２
【国際公開日】平成１８年６月２２日（２００６．６．２２）
【出願人】（５９００００２４８）コーニンクレッカ フィリップス エレクトロニクス エヌ ヴィ (12,071)
【Ｆターム（参考）】
[ Back to top ]