画素ブロックを符号化及び再構成する方法、並びに対応する装置
【課題】Ｎ個の画素からなる現在のブロックを再構成する方法を提案する。
【解決手段】本方法は、Ｎ個の残差係数を復号化して逆量子化するステップ１００、Ｎ個の参照係数を決定するステップ１００、前記Ｎ個の残差係数と、少なくとも１つの照明の変動のパラメータにより定義される照明の変動のモデルを考慮することで前記Ｎ個の参照係数から決定されたＮ個の予測係数とから、前記現在のブロックについてのＮ個の係数を繰り返し再構成するステップ１１０，１２０，１３０，１４０，１６０及び１７０、再構成されたＮ個の係数をＮ個の画素からなる現在のブロックに変換するステップ１８０を含み、前記照明の変動のパラメータは、ｋを整数とし且つ１≦ｋ≦Ｎとして、前記現在のブロックのついてｋ個の係数のそれぞれの再構成に関してリファインされる。
【解決手段】本方法は、Ｎ個の残差係数を復号化して逆量子化するステップ１００、Ｎ個の参照係数を決定するステップ１００、前記Ｎ個の残差係数と、少なくとも１つの照明の変動のパラメータにより定義される照明の変動のモデルを考慮することで前記Ｎ個の参照係数から決定されたＮ個の予測係数とから、前記現在のブロックについてのＮ個の係数を繰り返し再構成するステップ１１０，１２０，１３０，１４０，１６０及び１７０、再構成されたＮ個の係数をＮ個の画素からなる現在のブロックに変換するステップ１８０を含み、前記照明の変動のパラメータは、ｋを整数とし且つ１≦ｋ≦Ｎとして、前記現在のブロックのついてｋ個の係数のそれぞれの再構成に関してリファインされる。
【発明の詳細な説明】
【技術分野】
【０００１】
本発明は、画像符号化の一般的な分野に関する。より詳細には、本発明は、画像の画素ブロックを再構成する方法、及び係る画素ブロックを符号化する方法に関する。また、本発明は、対応する符号化及び復号化装置に関する。
【背景技術】
【０００２】
画像系列を符号化データのストリームに符号化する方法、及びこのストリームを復号化する方法の大部分は、時間予測又は画像間予測、及び同様に空間予測又は画像内予測を使用する。画像内又は画像間予測は、画像系列の圧縮が改善されるのを可能にする。画像内又は画像間予測は、現在のブロックについて、予測ブロックの生成及び現在のブロック及び予測ブロックの間の残差とも呼ばれる差の符号化を含む。予測ブロックが現在のブロックと相関すると、現在のブロックを符号化するために必要とされるビット数が少なくなり、従って圧縮が効率的になる。しかし、画像間（それぞれ画像内）予測は、（それぞれの現在の画像における）系列の画像間の輝度の変動があるときにその効率を失う。係る輝度の変動は、例えば照明の変更、フェード効果、フラッシュ等による。
【０００３】
輝度における変動を考慮した画像系列を符号化／復号化する方法が知られている。従って、文献ISO/IEC 14496-10に記載される規格MPEG-4 AVC/H.264のフレームワーク内で、輝度の変動の場合において圧縮を改善するため、重み付け予測方法を使用することが知られている。このため、MPEG-4 AVC/H.264規格は、画素の１以上のブロックを含む画像スライス毎に、重み付けされた予測パラメータのストリームにおける明示的な送信を可能にする。従って、重み付け予測パラメータ又は幾つかの重み付け予測パラメータのセットによる照明補正は、重み付けパラメータ又は重み付け予測パラメータのセットが関連付けされる画像スライスの全てのブロックについて同じやり方で適用される。例えば、重み付けパラメータは、動きベクトルＭＶを使用して、現在のブロックＢcurの平均と、個の現在のブロックに関連付けされる参照ブロックＢrefの平均との間の比率を計算することで、現在のブロックＢcurについて決定される。ブロックの平均は、例えばブロックの画素に関連する輝度値の平均である。参照ブロックは、例えば、動き予測のステップの間に決定される。係る予測方法は、現在のブロックの輝度の変動が現在のブロックに関連する値から決定されるので正確である。しかし、係る方法は、画像スライス毎に、従って潜在的にブロック毎に、重み付け予測パラメータのセットのストリームにおける送信を意味するので、ビットレートの観点で費用がかかる。
【０００４】
局所的な輝度の変動を補正して、コーダ側及びデコーダ側で同じやり方で重み付けパラメータをローカルに決定することが、当該技術分野において知られている。この場合、重み付けパラメータは、ストリームで明示的に送信されない。例えば、現在のブロックＢcurの重み付けパラメータは、現在のブロックＢcurの近傍ブロックＮcの平均と、現在のブロックＢcurと関連する参照ブロックＢrefの近傍ブロックＮrとの比率を計算することで決定される。例えば近傍ブロックの平均は、問題となる近傍ブロックの画素に関連する輝度値の平均である。Ｎcは、ブロックＢcurの原因となる近傍ブロックに位置される。従って、Ｎcは、Ｂcの前に符号化され（それぞれ再構成される）。係る方法は、重み付け予測パラメータは、ストリームで明示的に送信されないが、コーダ側及びデコーダ側で同じやり方で決定されないため、ビットレートの観点で安価である。しかし、係る予測方法は、現在のブロックＢcurに関連付けされる重み付けパラメータがこのブロックのコンテンツを考慮しない点で、先の方法よりも正確ではない。
【０００５】
国際出願WO 2011012669は、予測方法が現在のブロックのコンテンツを考慮し、照明の局所的な変動に関連するパラメータを明示的に符号化する必要なしに、照明の局所的な変動に動的に適応する、符号化及び復号化方法を記載する。この符号化及び復号化方法は、重み付け予測パラメータがストリームで送信されない場合に、符号化効率を改善する利点を有する。
【０００６】
しかし、WO 2011012669では、重み付けパラメータは、変換の最初に再構成される係数、すなわちＤＣ係数のみから更新される。
【発明の概要】
【発明が解決しようとする課題】
【０００７】
本発明の目的は、従来技術の問題点の少なくとも１つを克服することにある。
【課題を解決するための手段】
【０００８】
この目的を達成するため、本発明は、Ｎを整数としてＮ個の画素からなる現在のブロックを再構成する方法に関する。再構成する方法は、以下のステップを含む。Ｎ個の残差係数を復号化及び逆量子化するステップ。Ｎ個の参照係数を決定するステップ。Ｎ個の残差係数と、少なくとも１つの照明の変動のパラメータにより定義される照明の変動のモデルを考慮することでＮ個の参照係数から決定されるＮ個の予測係数とから、現在のブロックのＮ個の係数を再構成するステップ。照明の変動のパラメータは、ｋを整数とし且つ１≦ｋ≦Ｎとして現在のブロックのｋ個の係数のそれぞれの再構成に関してリファインされる。Ｎ個の再構成された係数をＮ画素からなる現在のブロックに変換するステップ。
【０００９】
特定の実施の形態によれば、現在のブロックについてＮ個の係数を再構成するステップは、以下のステップを含む。ａ）照明の変動のモデルを考慮することで、参照係数からｋ個の最初の予測係数を計算するステップ。ｂ）ｋ個の最初の残差係数及びｋ個の最初に計算された予測係数からｋ個の再構成された係数を計算するステップ。ｃ）既に再構成された全ての係数及び対応する参照係数から、少なくとも１つの照明の変動のパラメータをリファインするステップ。ｄ）ｋ個の後続の係数により、Ｎ個の再構成された係数の計算まで、ステップａ）〜ｃ）を繰り返すステップ。
【００１０】
本発明の別の態様によれば、再構成方法は、ステップｃ）とｄ）の間で、ステップｃ）でリファインされた少なくとも１つの照明の変動のパラメータから既に再構成された全ての係数をリファインするステップを含む。
【００１１】
本発明の特定の特徴によれば、ｋの値は１に等しい。
本発明の別の特定の特徴によれば、ｋの値はある繰返しから他の繰返しで変動する。
本発明の別の特定の特徴によれば、ｋの値は、ゼロの残差係数から分離された２つの非ゼロの残差係数間の距離に等しい。
【００１２】
本発明の更に別の特定の特徴によれば、ｋの値は、閾値よりも低い残差係数から分離された閾値よりも大きい２つの残差係数間の距離に等しい。
本発明の特定の態様によれば、少なくとも１つのリファインされた照明のパラメータは、量子化雑音の分散により重み付けされる二次の誤差を最小化することで決定される。二次の誤差は、再構成された係数と対応する参照係数との間で計算される。
【００１３】
本発明は、Ｎを整数として、Ｎ個の画素の現在のブロックを符号化する方法に関し、当該方法は、以下のステップを含む。現在のブロックをＮ個の現在の係数に変換するステップ。Ｎ個の参照係数を計算するステップ。少なくとも１つの照明の変動のパラメータにより定義される照明の変動のモデルを考慮することで、Ｎ個の参照係数から決定されたｎ個の現在の係数とＮ個の予測係数とからＮ個の残差係数を計算するステップ。照明の変動のパラメータは、ｋを整数とし且つ１≦ｋ≦Ｎとして、現在のブロックのｋ個の係数のそれぞれの再構成でリファインされる。Ｎ個の残差係数を量子化及び符号化するステップ。
【００１４】
特定の実施の形態によれば、Ｎ個の残差係数を計算するステップは、以下のステップを含む。ａ）ｋを１に等しいか又は１よりも大きい整数とし、少なくとも１つの照明の変動のパラメータにより定義される照明の変動のモデルを考慮することで、参照係数からｋ個の最初の予測係数を計算するステップ。ｂ）ｋ個の最初の現在の係数とｋ個の最初の予測係数とからｋ個の残差係数を計算するステップ。ｃ）ｋ個の最初の量子化次いで逆量子化された残差係数と、ｋ個の最初の計算された予測係数とからｋ個の再構成された係数を計算するステップ。ｄ）既に再構成された全ての係数と対応する参照係数とから、少なくとも１つの照明の変動のパラメータをリファインするステップ。ｅ）ｋ個の後続する係数について、Ｎ個の残差の係数の計算まで、ステップａ）〜ｄ）を繰返すステップ。
【００１５】
本発明の特定の態様によれば、符号化方法は、ステップｄ）とｅ）との間で、ステップｄ）でリファインされた少なくとも１つの照明の変動のパラメータから既に再構成された全ての係数と、対応する参照係数とをリファインするステップを含む。
【００１６】
さらに、本発明は、Ｎを整数としてＮ画素の現在のブロックを表すストリームを復号化する装置に関し、当該装置は、以下を備える。ストリームからＮ個の残差係数を復号化及び逆量子化する手段。Ｎ個の参照係数を決定する手段。Ｎ個の残差係数と、少なくとも１つの照明の変動のパラメータにより定義される照明の変動のモデルを考慮することでＮ個の参照係数から決定されたＮ個の予測係数とから、現在のブロックのＮ個の係数を再構成する手段。照明の変動のパラメータは、ｋを整数とし且つ１≦ｋ≦Ｎとして、現在のブロックのｋ個の係数のそれぞれの再構成に関してリファインされる。Ｎ個の再構成された係数をＮ個の画素の現在のブロックに変換する手段。
【００１７】
さらに、本発明は、符号化装置に関し、当該装置は、以下を備える。現在のブロックをＮ個の現在の係数に変換する手段。Ｎ個の参照係数を決定する手段。Ｎ個の現在の係数と、少なくとも１つの照明の変動のパラメータにより定義される照明の変動のモデルを考慮することでＮ個の参照係数から決定されたＮ個の予測係数とから、Ｎ個の残差係数を計算する手段。照明の変動のパラメータは、ｋを整数であって且つ１≦ｋ≦Ｎとして、現在のブロックのｋ個の係数のそれぞれの再構成に関してリファインされる。Ｎ個の残差係数を量子化及び符号化する手段。
【００１８】
有利なことに、本発明に係る符号化及び再構成方法は、再構成された現在ブロックＢrecの係数が計算されたときに、予測ブロックを次第に調節するように、照明の変動の１以上のパラメータのリファインを実現するものであり、これにより符号化効率が改善されるのを可能にする。これらの方法は、特に照明の変動である、信号特性の局所的な変動に対して規則的且つ正確に適合する。加えて、これらの方法は、照明の変動の１以上のパラメータを明示的に符号化することを必要としない。
【図面の簡単な説明】
【００１９】
本発明は、以下の添付図面を参照して、限定されるものではない実施の形態及び有利な実現により良好に理解及び例示されるであろう。
【図１】本発明に係る再構成方法を例示する図である。
【図２】残差係数を例示する図である。
【図３】残差係数を例示する図である。
【図４】本発明に係る符号化方法を例示する図である。
【図５】本発明に係る符号化装置を例示する図である。
【図６】本発明に係る復号化装置を例示する図である。
【発明を実施するための形態】
【００２０】
本発明は、画像の系列の画素のブロックを再構成する方法、及び係るブロックを符号化する方法に関する。画像系列は、一連の幾つかのピクチャである。それぞれのピクチャは、ピクチャデータの少なくとも１つのアイテムが関連付けされる画素又はピクチャポイントを含む。画像データのアイテムは、例えば輝度データのアイテム又は色度データのアイテムである。
【００２１】
また、表現「明るさ変動“brightness variation”」は、英語の用語として、「輝度変動“luminance variation”」、「光度変動“luminosity variation”」又は「照明変動“illumination variation”」として知られる。
【００２２】
用語「動きデータ」は、最も広い意味で理解されるべきである。動きデータは、動きベクトルを含み、おそらく参照画像が画像系列において識別されるのを可能にする参照画像インデックスを含む。また、動きデータは、予測ブロックを導出するために参照ブロックに適用される必要がある補間タイプを示す情報のアイテムを含む。
【００２３】
用語「残差データ“residual data”」は、他のデータの抽出後に得られるデータを意味する。この用語は、「残差“residue”」の表現と同義語である。残差ブロックは、残差データが関連付けされる画素のブロックである。
【００２４】
用語「変換された残差データ」は、変換が適用された残差データを意味する。ＤＣＴ（離散コサイン変換）は、2003年9月にJ.Wiley&Sonsにより出版された「H.264 and MPEG-4
video compression」と呼ばれるI.E.Richardsonによる書籍の3.4.4.4節に記載される変換の例である。I.E.Richardsonによる書籍の3.4.2.3節に記載されるウェーブレット変換及びアダマール変換は、他の例である。係る変換は、例えば残差の輝度及び／又は色度データといった画像データのブロックを、「周波数データのブロック」又は「係数のブロック」とも呼ばれる「変換データのブロック」に変換する。係数のブロックは、連続する係数又はＤＣ係数の名の下で知られる低周波係数及びＡＣ係数として知られる高周波係数を有する。
【００２５】
「予測データ“prediction data”」の表現は、他のデータを予測するために使用されるデータを意味する。予測ブロックは、予測データが関連付けされる画素のブロックである。
【００２６】
予測ブロックは、予測（空間予測又は画像内予測）するブロックに属する画像と同じ画像の１又は複数のブロックから得られるか、又は予測するブロックが属する画像の異なる画像（時間予測又は画像間予測）の１つのブロック（単方向予測）又は複数のブロック（双方向予測）から得られる。
【００２７】
用語「画像領域“image domain”」は、輝度及び／又は色度が関連付けされる画素の領域を表す。「周波数領域」又は「変換領域」は、係数の領域を表す。画像の例えばＤＣＴといった変換を適用することで画像領域から変換領域に変わり、逆に、例えば逆ＤＣＴといった先の変換の逆変換を適用することで、変換領域から画像領域に変わる。
【００２８】
その後、符号化及び再構成方法は、ある画素ブロックを参照して記載される。これらの方法は、１以上の画像の符号化及び再構成を視野に入れて、ある画像の幾つかのブロック、及びある系列の幾つかの画像に適用することができることは明らかである。
【００２９】
画素領域で考慮されるブロックデータは、Ｂxxと名付けられる。提案されるスキームでは、変換領域で考慮されるブロックデータは、Ｃxxと名付けられる。
【００３０】
Ｂcurを予測によりインター画像モード又はイントラ画像モードにおいて再構成される現在ブロックであるとする。Ｂrefを関連される参照ブロックであるとする。この参照ブロックは、現在の画像の既に再構成されたブロックであるか、又は既に再構成された別の画像のブロックである。これは、現在の画像の既に再構成された画素、又は既に再構成された別の画像の画素から補間により構築されるブロックである。確かに、Ｂrefがサブピクセルレベルの精度で動きベクトルにより参照画像において識別されるブロックである場合、参照ブロックＢrefが補間される。予測ブロックＢpredは、参照ブロックＢrefに従うリニアタイプの輝度の局所的な変動のモデルに従って構築される。
【００３１】
例えばＢpred(x,y)＝a+b.Ｂref(x,y)としてＢpred(x,y)＝ｆ[Ｂref(x,y)]
a及びbは、照明の変動のパラメータであり、(x,y)は、画像における画素の座標である。
【００３２】
本発明によれば、現在のブロックＢcurの再構成されたブロックＢrecへの再構成は、変換領域で行われる。ひとたび全てのＢcurの係数が変換領域で計算されると、再構成されたブロックを生成するため、逆変換が適用される。本発明によれば、１以上のＢcurの係数のそれぞれの再構成に関して、明るさの変動のモデルのパラメータがリファインされる。
【００３３】
これを行うため、１つの方法は、符号化スキームで典型的に使用される変換の線形性の特性に基づくものであり、変換係数と明るさの変動のモデルのパラメータとの間のダイレクトリンクが確立されるのを可能にする。標準的なスキームとは異なり、ブロックＢcurは、変換領域で再構成される。変換は、予測ブロックが変換領域Ｃpredで決定される参照ブロックＢrefに適用される。変換された残差ブロックＣrecは、変換された再構成されたブロックＣrecを生成するために、参照ブロックＢrefに加えられる。逆変換は、最終的な再構成されたブロックＢrecを生成するため、変換領域における再構成されたブロックに適用される。より詳細には、本発明に係るブロックＢcurを再構成する方法は、図１を参照して記載される以下のステップを含む。
【００３４】
ステップ１００で、Ｎ個の残差係数を復号化及び逆量子化し、Ｎ個の参照係数を決定するステップ。ステップ１７５で、少なくとも１つの照明の変動のパラメータにより定義される照明の変動のモデルを考慮することで、Ｎ個の残差係数と、Ｎ個の参照係数から決定されるＮ個の予測係数とから、現在のブロックのＮ個の係数を再構成するステップ。照明の変動のパラメータは、ｋを整数且つ０≦ｋ≦Ｎとして、現在のブロックについてｋ個の係数のそれぞれの再構成に関してリファインされる。ステップ１８０で、Ｎ個の再構成された係数をＮ個の画素の現在のブロックに変換するステップ。
【００３５】
本発明に係るブロックＢcurを再構成する方法は、図４を参照して記載される以下のステップを含む。ステップ２００で、現在のブロックをＮ個の現在の係数に変換し、Ｎ個の参照符号を決定するステップ。ステップ２８５で、少なくとも１つの照明の変動のパラメータにより定義される照明の変動のモデルを考慮することで、Ｎ個の現在の係数と、Ｎ個の参照係数から決定されたＮ個の予測係数とから、Ｎ個の残差係数を計算するステップ。照明の変動のパラメータは、ｋを整数且つ１≦ｋ≦Ｎとして前記現在のブロックのｋ個の係数のそれぞれの再構成に関してリファインされる。ステップ２９０で、Ｎ個の残差係数を量子化及び符号化するステップ。
【００３６】
有利なことに、本発明に係る符号化及び再構成方法は、再構成された現在のブロックＢrecの係数が計算されているとき、予測ブロックを次第に調節するように、照明の変動のパラメータのリファイニングを実現し、このように符号化効率が改善される。照明の変動の１以上のパラメータは、現在のブロックＢrecの係数の再構成が長引くときにリファインされる。これは、これらの照明の変動のパラメータがますます正確であり、結果的に現在のブロックの精度が改善されるのを可能となることを意味する。
【００３７】
図１は、本発明の特定の実施の形態に係る、画素ブロックＢrecを再構成する方法を示す。Ｂrecは、再構成された現在のブロックＢcurである。
【００３８】
ステップ１００の間、変換された残差ブロックは、復号化され、次いで逆量子化される。このようにして得られたブロックは、ｉ＝０．．．Ｎ−１であり、整数Ｎは、変換からの係数の数として、残差係数Ｃresiを含む。変換８×８の場合、Ｎ＝６４である。照明の変動のパラメータａinit及びｂinitの初期値は、参照ブロックＢrefの参照係数Ｃrefiと同様に得られる。照明の変動のパラメータの初期値が例えば復号化され、或いは例えばビデオ符号化規格により予め定義され、従って再構成方法について知られる。参照ブロックＢrefは、例えば動きベクトルを使用して画像領域で決定され、次いで参照係数Ｃrefiのブロックに変換される。同様に、再構成される画素ブロックの最初の係数Ｃrec0は、例えば以下の式に従って再構成される。
【００３９】
Ｃrec0＝ａinit.Ｄ0＋ｂinitＣref0＋Ｃrec0
この場合、
【数１】
であり、ｄ0(.)は、変換のインデックス０の基本ベクトルであり、Ｂrはそのサポートである。
【００４０】
ステップ１１０の間、ｐはゼロに初期化される。
ステップ１２０の間、式Ｃpredi＝ａ.Ｄi＋ｂ.Ｃrefiに従って、ｉ＝ｐ＋１，．．．，ｐ＋ｋp，ｋp>=１及びｐ＋ｋp<Ｎについて予測係数Ｃprediが計算される。
【００４１】
Ｃprediは、予測係数と呼ばれる、予測ブロックのインデックスｉの変換係数であり、Ｃrefiは、参照係数と呼ばれる、参照ブロックのインデックスｉの変換係数であり、ｄi(.)は、変換のインデックスｉの基本ベクトルであり、Ｂrをベクトルのサポートｄi(.)として、
【数２】
である。
【００４２】
一般に、（例えばDCT−離散コサイン変換、DST−離散サイン変換、FFT−高速フーリエ変換といった）変換ベースは、第一の係数がＤ0=１である信号の平均となり、変換の後続するベクトルが任意のｉ>０についてＤi=０となるようなものである。
【００４３】
本発明の特定の特性によれば、ｋp＝１である。本発明の別の特定の特性によれば、ｋpは、１とＮ−１との間の予め決定された値を有する。変形例によれば、ｋpの値は、ある繰り返しから他の繰り返しへと変わる。例えば、ｋpの値は、図２に示されるようなゼロ係数Ｃresiにより分離される２つの非ゼロの係数Ｃresiの間の距離に等しい。インデックス０の係数は、その値に係らずに考慮される。この図２に関して、インデックス４とＮ−２の係数はゼロである。更に別の変形例によれば、ｋpの値は、図３に示されるように、閾値Ｔｈよりも小さい振幅の係数Ｃresiにより分離される、閾値Ｔｈよりも大きい振幅の２つの係数Ｃresiの間の距離に等しく、インデックス０の係数は、その値に係らず考慮される。この図３に関して、インデックス１，３，Ｎ−３及びＮ−１の係数は、Ｔｈよりも大きい振幅を有する。
【００４４】
ステップ１３０の間、ｉ＝ｐ+１,…,ｐ+ｋpについて再構成された係数Ｃreciは、以下の式に従って、予測係数Ｃprediと残差係数Ｃresiとから計算される。
【００４５】
【数３】
ステップ１４０の間、パラメータａ及びｂは、ｐ＋ｋpでのｉ＝０について、再構成された係数Ｃreci及び参照ブロックにおけるそれらの対応する係数Ｃrefiからリファインされる。リファインされたパラメータは、
＜外１＞
として示される。照明の変動のパラメータは、異なる方法によりリファインすることができる。
【００４６】
第一の方法によれば、リファインされた照明の変動パラメータ
＜外２＞
は、量子化雑音の変動により重み付けされたモデリングの二次誤差を最小化することで得られる。
【００４７】
【数４】
Ｑiは、インデックスｉの係数の量子化ステップである。
【００４８】
＜外３＞
は、従って、最小自乗法により得られ、これは、２つの未知数及び２つの式をもつ線形システムを解くことにつながる。
【００４９】
変換ベースの第一のベクトルがＤ0=１であり、他の全てが任意のｉ>０についてＤi＝０である（例えばDCT，DST，FFTといった）標準的な変換ベースの場合、以下の式のシステムが得られる。
【００５０】
【数５】
従って以下が得られる。
【００５１】
＜外４＞
なお、それぞれの新たな係数について、線形システムを解く前に、以下の項
＜外５＞
が更新される。
【００５２】
第二の方法によれば、リファインされた照明の変動のパラメータ
＜外６＞
は、尤度最大化により得られる。
【００５３】
パラメータ
＜外７＞
は、ａ及びｂ、ｐ＋ｋpでｉ＝０についてＣrefi及びＣreciを知る正確な係数である（すなわち量子化されていない）係数Ｃcuriの尤度を最大にするパラメータである。
【００５４】
【数６】
は、線形モデル
【数７】
に従ってＣrefiにより近似される。ここでεiは、分散σi2に相関しない、雑音であることが想定される白色ガウス性雑音とである。
【００５５】
ｎiを量子化雑音として、
【数８】
であるとき、
【数９】
を得る。
【００５６】
適用された量子化は一様量子化であり、量子化雑音ｎiは一様であり、使用される量子化ステップをＱiとして、確率１／Ｑiである。
【００５７】
εi及びｎiが両者間で独立であり、且つｉとは無関係であると仮定される場合、以下を得る。
【００５８】
【数１０】
その結果は、関数はａ及びｂに関して最大にされる。Ｋは、ａ及びｂとは独立なパラメータである。
【００５９】
【数１１】
この最大値をサーチするため、確率勾配型の解法が使用される。
この第二の方法の変形例によれば、式
【数１２】
において現れる付加雑音ｎiは、正規ガウス型として考えられる。この特定の場合では、この雑音の分散は、一様な量子化雑音の分散、すなわちσi2＝Ｑi2／１２に対応する。
【００６０】
次いで、尤度は、Ｋをａ及びｂに独立なパラメータとして、以下のように書かれる。
【００６１】
【数１３】
次いで、ａ及びｂに関する尤度の最大化は、先に記載されたような、重み付け最小自乗を解くことになる。
【００６２】
任意のステップ１５０の間、既に再構成されている係数は、ｐ＋ｋpでｉ＝０について、以下の式
【数１４】
に従って、新たな照明の変動のパラメータ
【数１５】
に基づいてリファインされる。
【００６３】
他の変形例によれば、この任意のステップは、Ｎ−１でｉ＝０について全ての係数Ｃreciが再構成されたときに一度だけ実現される。
【００６４】
ステップ１６０の間、現在のブロックＢcurのＮ個の係数Ｃreciが再構成されているかがチェックされる。再構成される場合、本方法はステップ１８０に進み、再構成されていない場合、ステップ１７０で、ｐがｐ＝ｐ＋ｋpにインクリメントされ、本方法は、ステップ１２０に進む。
【００６５】
ステップ１８０の間、変換領域における再構成された係数のブロックＣreciは、逆変換により再構成された画素ブロックＢrecに変換される。
【００６６】
図４は、本発明の特定の実施の形態に係る、現在の画素ブロックＢcurを符号化する方法を示す。
【００６７】
ステップ２００の間、現在のブロックＢcurは、ｉ＝０．．．Ｎ−１について係数Ｃcuriに変換される。符号化されるべき現在のブロックの第一の残差係数Ｃres0は、例えば以下の式
【数１６】
に従って計算される。この場合、
【数１７】
であり、ｄ0(.)は、変換のインデックス０の基本ベクトルである。ａinit及びｂinitは、照明の変動のパラメータの初期値である。照明の変動のパラメータのこれらの初期値は、例えば再構成方法に送信されるように符号化されるか、又はさもなければこれらの初期値は、ビデオ符号化規格により予め定義され、すなわち再構成方法について分かっている。参照ブロックＢrefの係数Ｃrefiも得られる。参照ブロックＢrefは、例えば動きベクトルを使用して画像領域で決定され、次いで、係数Ｃrefiのブロックに変換される。
【００６８】
ステップ２１０の間、ｐはゼロに初期化される。
【００６９】
ステップ２２０の間、以下の式に従って、ｉ＝ｐ＋１，．．．，ｐ＋ｋp，ｋp>=１及びｐ＋ｋp<Ｎとして予測係数Ｃprediが計算される。
【００７０】
【数１８】
ステップ２３０の間、ｉ＝ｐ＋１，．．．，ｐ＋ｋpについて残差係数Ｃres_curiが計算される。
【００７１】
【数１９】
ステップ２４０の間、ｉ＝ｐ＋１，．．．，ｐ＋ｋpについて再構成された係数Ｃreciは、以下の式に従って、予測係数Ｃprediと、量子化され、次いで逆量子化された残差係数Ｃresiから計算される。
【００７２】
【数２０】
【数２１】
であり、Ｑ及びＱ-1は、量子化、次いで逆量子化演算をそれぞれ表す。
【００７３】
ステップ２５０の間、パラメータは、ａ及びｂは、再構成された係数Ｃreciと、ｐ＋ｋpでのｉ＝０について参照ブロックにおける対応する係数Ｃrefiとからリファインされる。リファインされたパラメータは、
＜外８＞
として示される。このステップは、ステップ１４０に同一である。
【００７４】
任意のステップ２６０の間、既に再構成された係数は、ｐ＋ｋpでｉ＝０について、以下の式
【数２２】
に従って、新たな照明の変動のパラメータ
＜外９＞
に基づいてリファインされる。このステップは、ステップ１５０と同じである。
【００７５】
１つの変形例によれば、Ｎ−１でｉ＝０について全ての係数Ｃreciが再構成されたときに、この任意のステップ２６０が１度だけ実現される。
【００７６】
ステップ２７０の間、変換された残差ブロックの全ての残差係数Ｃresiが計算されたかがチェックされる。全ての残差係数が計算された場合、本方法がステップ２９０に進み、全ての残差係数が計算されていない場合、ステップ２８０で、ｐ＝ｐ＋ｐkにｐがインクリメントされ、本方法は、ステップ２２０に進む。
【００７７】
ステップ２９０の間、残差係数Ｃres_curiが符号化され、エントロピー符号化によりストリームＦに符号化される。次いで、変換領域で再構成された係数のブロックＣreciは、逆変換により再構成された画素ブロックＢrecに変換される。この画素ブロック自身は、ビデオ予測において典型的に行われているように、その後に空間的又は時間的に参照として使用することができる。
【００７８】
これらの符号化及び再構成方法は、信号特性の局所的な変動、特に照明の変動に対する永続的且つより正確な適応を可能にする。さらに、これらの方法によれば、明示的な局所的な照明の変動のパラメータをそれぞれ符号化、復号化する必要がない。
【００７９】
予測モデルをリファインするステップ１４０及び２４０は、Ｂpred(x,y)=a+b.Ｂref(x,y)のタイプの線形モデル以外のモデルに適用することができる。本発明は、他のモデルＢpred(x,y)＝ｆ[Ｂref(x,y)]に一般化することができ、この場合、ｆ[.]は、ビデオ信号の時間的な変動を表す関数である。
【００８０】
また、本発明は、図５を参照して記載される符号化装置１２、及び図６を参照して記載される復号化装置１３に関するものであり、これらの構成は、照明の変動のパラメータをリファインするために、変換領域における予測を演算するために変更される。これらの図において、グレイで網掛けしたモジュールは、標準的な符号化及び復号化スキームに関して追加又は変更されたモジュールである。図５及び図６では、図示されるモジュールは、物理的に区別可能なユニットに対応するか又は対応しない機能ユニットである。例えば、これらのモジュール又はこれらのモジュールのうちの幾つかは、１つのコンポーネントで互いにグループ化されるか、同じソフトウェアの機能を構成する。反対に、幾つかのモジュールは、個別の物理的なエンティティから構成される。
【００８１】
図５を参照して、符号化装置１２は、ある画像の系列に属している入力画像を受信する。それぞれの画像は、画素ブロックＢcurに分割され、画素ブロックのそれぞれと、ピクチャデータの少なくとも１つのアイテムが関連付けされる。符号化装置１２は、特に、時間予測による符号化を実現する。時間予測による符号化又はINTER符号化に関連する符号化装置１２のモジュールのみが図３で表される。表現されず且つビデオコーダの分野における当業者にとって知られている他のモジュールは、空間予測あり又はなしでINTRA符号化を実現する。符号化装置１２は、特に、現在のブロックＢcurを変換されたブロックＣcurに変換することができるＴを変換するモジュール１１００、及び、例えば
現在により、係数毎に、変換ブロックＣcurから予測ブロックＣpredを抽出して、変換領域において残差ブロックＣres_curを生成することができる計算モジュール１２００を有する。変換Ｔは、例えば離散コサイン変換（又はＤＣＴ）である。また、変換Ｔは、変換領域で計算された残差ブロックを量子化された係数に量子化することができるモジュール１２０２を備える。また、符号化装置１２は、量子化された係数をストリームＦに符号化することができるエントロピー符号化モジュール１２０４を有する。符号化装置１２は、モジュール１２０２に対する逆演算を実行するモジュール１２０６を備える。モジュール１２０６は、逆量子化ＩＱを実行して、逆量子化される残差係数Ｃresを生成する。モジュール１２０６は、係数毎に、例えば加算により、モジュール１２０６からの残差係数ブロックＣresと予測ブロックＣpredとをマージして、変換領域Ｃrecにおいて再構成されたブロックを生成することができる計算モジュール１２０８に接続される。計算モジュール１２０８は、変換領域において再構成されたブロックＣresを、メモリ１２１２に記憶されている、Ｂrecとして示される再構成された画像データブロックに変換することができる逆変換モジュール１２１０に接続される。
【００８２】
符号化装置１２は、ブロックＢcurとメモリ１２１２に記憶される参照ピクチャＩrefのブロックとの間の少なくとも１つの動きベクトルを予測することが可能な動き予測モジュール１２１４を更に有する。この参照ピクチャは、前に符号化され、次いで再構成されている。１つの変形例によれば、動き予測は、現在のブロックＢcurとオリジナルの参照画像Ｉcurとの間で行われ、この場合、メモリ１２１２は、動き予測モジュール１２１４に接続されない。当業者に知られている方法によれば、動き予測モジュールは、現在のブロックＢcurと、動きデータのアイテムを使用して識別された参照画像Ｉrefにおけるブロックとの間で計算されたエラーを最小にするように、参照画像Ｉrefにおいて、動きデータのアイテム、特に動きベクトルをサーチする。
【００８３】
動きデータの決定されたアイテムは、動き予測モジュール２１４により、予め決定された符号化モードのセットにおけるブロックＢcurの符号化モードを選択可能な決定モジュール１２１６に送信される。選択された符号化モードは、例えばビットレートの歪みのタイプの基準を最小にするモードである。しかし、本発明は、この選択モードに限定されるものではなく、例えば先験的なタイプの基準といった別の基準に従って、保持されるモードを選択することができる。
【００８４】
決定モジュール１２１６により選択される符号化モードは、例えば時間予測モード又はINTERモードの場合における動きデータといった、動きデータと同様に、動き補償モジュール１２１８に送信される。選択された符号化モード、及び必要に応じて動きデータは、エントロピー符号化モジュール１２０４に送信され、ストリームＦに符号化される。動き補償モジュール１２１８は、決定モジュール１２１６により決定された符号化モードと、おそらく動き予測モジュール１２１４（画像間予測）により決定された動きデータとから、参照ブロックＢrefを決定する。動き補償モジュール１２１８は、変換モジュール１１００と同じ変換モジュール１２２０に接続される。変換モジュール１２２０は、画像領域で得られた参照ブロックＢrefを変換された参照ブロックＣrefに変換可能である。変換モジュール１２２０は、照明の変動のパラメータから予測ブロックＣpredを生成可能な予測計算モジュール１２２２に接続される。また、変換モジュール１２２０は、符号化方法のステップ２５０に従って照明の変動のパラメータをリファイン可能なモジュール１２２４、及び任意に符号化方法のステップ２６０に従って、リファインされた照明の変動のパラメータに基づいて既に再構成された係数をリファイン可能なモジュール１２２６に接続される。
【００８５】
図６を参照して、復号化モジュール１３は、画像の系列を表す符号化データのストリームＦを入力で受信する。ストリームＦは、例えばチャネルを介して符号化装置１２に送信される。復号化装置１３は、例えば符号化モードといった復号化データ、及び画像のコンテンツに関連する復号化データを生成可能なエントロピー復号化モジュール１３００を有する。
【００８６】
復号化装置１３は、動きデータ再構成モジュールを更に有する。第一の実施の形態によれば、動きデータ再構成モジュールは、エントロピー復号化モジュール１３００であり、前記動きデータを表すストリームＦの一部を復号化する。図６に示されない変形例によれば、動きデータ再構成モジュールは、動き予測モジュールである。復号化装置１３を介して動きデータを再構成するこのソリューションは、「テンプレートマッチング」として知られる。
【００８７】
次いで、画像のコンテンツに関して復号化されたデータは、逆量子化を実行して残差係数Ｃresを生成可能なモジュール１３０２に送信される。モジュール１３０２は、符号化さえたストリームＦを生成した符号化装置１２のモジュール１２０６と同じである。モジュール１３０２は、係数毎に、例えば加算により、モジュール１３０２からの残差係数Ｃresのブロックと予測ブロックＣpredとをマージして、変換領域において再構成された現在ブロックＣresを生成可能な計算モジュール１３０４に接続される。変換領域において再構成された現在ブロックＣrecは、符号化装置のモジュール１２１０と同じである逆変換モジュール１３０６により画像領域において再構成されたブロックＢrecに変換される。逆変換モジュール１３０６は、メモリ１３０８に接続され、メモリにおいて、画像領域において再構成されたデータが特に記憶される。復号化装置１３は、動き補償モジュール１３１０を更に有する。動き補償モジュール１３１０は、エントロピー復号化モジュール１３００により現在のブロックについて復号化された符号化モードから、及びおそらく動きデータ再構成モジュールにより決定された動きデータから参照ブロックＢrefを決定する。動き補償モジュール１３１０は、符号化装置の変換モジュール１２２０と同じ変換モジュール１３１２に接続される。変換モジュール１３１２は、画像領域において得られた参照ブロックＢrefを変換された参照ブロックＣrefに変換可能である。変換モジュール１３１２は、照明の変動パラメータからリファインされた予測ブロックＣpredを生成可能な予測計算モジュール１３１４に接続される。また、変換モジュール１３１２は、再構成方法のステップ１４０に従って照明の変動のパラメータをリファイン可能なリファイニングモジュール１３１６、及びおそらく再構成方法のステップ１５０に従って、リファインされた照明の変動のパラメータに基づいて既に再構成された係数をリファイン可能なモジュール１３１８に接続可能である。
【００８８】
本発明に係る符号化及び復号化装置は、例えばハードウェア、ソフトウェア、ファームウェア、特定用途向けプロセッサ又はそれらの組み合わせといった様々な形式で実現される。好ましくは、本発明は、ハードウェアとソフトウェアの組み合わせとして実現される。さらに、ソフトウェアは、プログラム記録媒体で実施されるアプリケーションプログラムとして実現されることが好ましい。アプリケーションプログラムは、任意の適切なアーキテクチャにアップロードされる、マシンにより実行される場合がある。好ましくは、マシンは、１以上の中央処理ユニット（CPU）、ランダムアクセスメモリ（RAM）、及び入力／出力（I/O）インタフェースのようなハードウェアを有するコンピュータプラットフォームで実現される。また、コンピュータプラットフォームは、オペレーティングシステム及びマイクロ命令コードを含む。本明細書で記載された様々なプロセス及び機能は、マイクロ命令コードの一部又はオペレーティングシステムを介して実行されるアプリケーションプログラム（或いはこれらの組み合わせ）の何れかである。さらに、様々な他の周辺装置は、更なるデータ記憶装置及び印刷装置のようなコンピュータプラットフォームに接続される場合がある。
【００８９】
変形例に拠れば、本発明に係る符号化及び復号化装置は、例えば（例えばASIC（特定用と向け集積回路）のような）専用コンポーネント又はFPGA（フィールドプログラマブルゲートアレイ）又はVLSI（超大型集積回路）、或いはある装置に集積される幾つかの電子コンポーネントの形式で純粋なハードウェア実装に従って実現されるか、或いはハードウェアエレメントとソフトウェアエレメントの混合の形式で実現される場合がある。
【符号の説明】
【００９０】
１２ ：符号化装置
１１００：変換モジュール
１２００：計算モジュール
１２０２：量子化モジュール
１２０４：エントロピー符号化モジュール
１２０６：逆量子化モジュール
１２０８：計算モジュール
１２１０：逆変換モジュール
１２１２：メモリ
１２１４：動き予測モジュール
１２１６：決定モジュール
１２１８：動き補償モジュール
１２２０：変換モジュール
１２２２：予測計算モジュール
１２２４：リファインモジュール
１２２６：リファインモジュール
１３ ：復号化装置
１３００：エントロピー復号化モジュール
１３０２：逆量子化モジュール
１３０４：計算モジュール
１３０６：逆変換モジュール
１３０８：メモリ
１３１０：動き補償モジュール
１３１２：変換モジュール
１３１４：予測計算モジュール
１３１６：リファインモジュール
１３１８：リファインモジュール
【技術分野】
【０００１】
本発明は、画像符号化の一般的な分野に関する。より詳細には、本発明は、画像の画素ブロックを再構成する方法、及び係る画素ブロックを符号化する方法に関する。また、本発明は、対応する符号化及び復号化装置に関する。
【背景技術】
【０００２】
画像系列を符号化データのストリームに符号化する方法、及びこのストリームを復号化する方法の大部分は、時間予測又は画像間予測、及び同様に空間予測又は画像内予測を使用する。画像内又は画像間予測は、画像系列の圧縮が改善されるのを可能にする。画像内又は画像間予測は、現在のブロックについて、予測ブロックの生成及び現在のブロック及び予測ブロックの間の残差とも呼ばれる差の符号化を含む。予測ブロックが現在のブロックと相関すると、現在のブロックを符号化するために必要とされるビット数が少なくなり、従って圧縮が効率的になる。しかし、画像間（それぞれ画像内）予測は、（それぞれの現在の画像における）系列の画像間の輝度の変動があるときにその効率を失う。係る輝度の変動は、例えば照明の変更、フェード効果、フラッシュ等による。
【０００３】
輝度における変動を考慮した画像系列を符号化／復号化する方法が知られている。従って、文献ISO/IEC 14496-10に記載される規格MPEG-4 AVC/H.264のフレームワーク内で、輝度の変動の場合において圧縮を改善するため、重み付け予測方法を使用することが知られている。このため、MPEG-4 AVC/H.264規格は、画素の１以上のブロックを含む画像スライス毎に、重み付けされた予測パラメータのストリームにおける明示的な送信を可能にする。従って、重み付け予測パラメータ又は幾つかの重み付け予測パラメータのセットによる照明補正は、重み付けパラメータ又は重み付け予測パラメータのセットが関連付けされる画像スライスの全てのブロックについて同じやり方で適用される。例えば、重み付けパラメータは、動きベクトルＭＶを使用して、現在のブロックＢcurの平均と、個の現在のブロックに関連付けされる参照ブロックＢrefの平均との間の比率を計算することで、現在のブロックＢcurについて決定される。ブロックの平均は、例えばブロックの画素に関連する輝度値の平均である。参照ブロックは、例えば、動き予測のステップの間に決定される。係る予測方法は、現在のブロックの輝度の変動が現在のブロックに関連する値から決定されるので正確である。しかし、係る方法は、画像スライス毎に、従って潜在的にブロック毎に、重み付け予測パラメータのセットのストリームにおける送信を意味するので、ビットレートの観点で費用がかかる。
【０００４】
局所的な輝度の変動を補正して、コーダ側及びデコーダ側で同じやり方で重み付けパラメータをローカルに決定することが、当該技術分野において知られている。この場合、重み付けパラメータは、ストリームで明示的に送信されない。例えば、現在のブロックＢcurの重み付けパラメータは、現在のブロックＢcurの近傍ブロックＮcの平均と、現在のブロックＢcurと関連する参照ブロックＢrefの近傍ブロックＮrとの比率を計算することで決定される。例えば近傍ブロックの平均は、問題となる近傍ブロックの画素に関連する輝度値の平均である。Ｎcは、ブロックＢcurの原因となる近傍ブロックに位置される。従って、Ｎcは、Ｂcの前に符号化され（それぞれ再構成される）。係る方法は、重み付け予測パラメータは、ストリームで明示的に送信されないが、コーダ側及びデコーダ側で同じやり方で決定されないため、ビットレートの観点で安価である。しかし、係る予測方法は、現在のブロックＢcurに関連付けされる重み付けパラメータがこのブロックのコンテンツを考慮しない点で、先の方法よりも正確ではない。
【０００５】
国際出願WO 2011012669は、予測方法が現在のブロックのコンテンツを考慮し、照明の局所的な変動に関連するパラメータを明示的に符号化する必要なしに、照明の局所的な変動に動的に適応する、符号化及び復号化方法を記載する。この符号化及び復号化方法は、重み付け予測パラメータがストリームで送信されない場合に、符号化効率を改善する利点を有する。
【０００６】
しかし、WO 2011012669では、重み付けパラメータは、変換の最初に再構成される係数、すなわちＤＣ係数のみから更新される。
【発明の概要】
【発明が解決しようとする課題】
【０００７】
本発明の目的は、従来技術の問題点の少なくとも１つを克服することにある。
【課題を解決するための手段】
【０００８】
この目的を達成するため、本発明は、Ｎを整数としてＮ個の画素からなる現在のブロックを再構成する方法に関する。再構成する方法は、以下のステップを含む。Ｎ個の残差係数を復号化及び逆量子化するステップ。Ｎ個の参照係数を決定するステップ。Ｎ個の残差係数と、少なくとも１つの照明の変動のパラメータにより定義される照明の変動のモデルを考慮することでＮ個の参照係数から決定されるＮ個の予測係数とから、現在のブロックのＮ個の係数を再構成するステップ。照明の変動のパラメータは、ｋを整数とし且つ１≦ｋ≦Ｎとして現在のブロックのｋ個の係数のそれぞれの再構成に関してリファインされる。Ｎ個の再構成された係数をＮ画素からなる現在のブロックに変換するステップ。
【０００９】
特定の実施の形態によれば、現在のブロックについてＮ個の係数を再構成するステップは、以下のステップを含む。ａ）照明の変動のモデルを考慮することで、参照係数からｋ個の最初の予測係数を計算するステップ。ｂ）ｋ個の最初の残差係数及びｋ個の最初に計算された予測係数からｋ個の再構成された係数を計算するステップ。ｃ）既に再構成された全ての係数及び対応する参照係数から、少なくとも１つの照明の変動のパラメータをリファインするステップ。ｄ）ｋ個の後続の係数により、Ｎ個の再構成された係数の計算まで、ステップａ）〜ｃ）を繰り返すステップ。
【００１０】
本発明の別の態様によれば、再構成方法は、ステップｃ）とｄ）の間で、ステップｃ）でリファインされた少なくとも１つの照明の変動のパラメータから既に再構成された全ての係数をリファインするステップを含む。
【００１１】
本発明の特定の特徴によれば、ｋの値は１に等しい。
本発明の別の特定の特徴によれば、ｋの値はある繰返しから他の繰返しで変動する。
本発明の別の特定の特徴によれば、ｋの値は、ゼロの残差係数から分離された２つの非ゼロの残差係数間の距離に等しい。
【００１２】
本発明の更に別の特定の特徴によれば、ｋの値は、閾値よりも低い残差係数から分離された閾値よりも大きい２つの残差係数間の距離に等しい。
本発明の特定の態様によれば、少なくとも１つのリファインされた照明のパラメータは、量子化雑音の分散により重み付けされる二次の誤差を最小化することで決定される。二次の誤差は、再構成された係数と対応する参照係数との間で計算される。
【００１３】
本発明は、Ｎを整数として、Ｎ個の画素の現在のブロックを符号化する方法に関し、当該方法は、以下のステップを含む。現在のブロックをＮ個の現在の係数に変換するステップ。Ｎ個の参照係数を計算するステップ。少なくとも１つの照明の変動のパラメータにより定義される照明の変動のモデルを考慮することで、Ｎ個の参照係数から決定されたｎ個の現在の係数とＮ個の予測係数とからＮ個の残差係数を計算するステップ。照明の変動のパラメータは、ｋを整数とし且つ１≦ｋ≦Ｎとして、現在のブロックのｋ個の係数のそれぞれの再構成でリファインされる。Ｎ個の残差係数を量子化及び符号化するステップ。
【００１４】
特定の実施の形態によれば、Ｎ個の残差係数を計算するステップは、以下のステップを含む。ａ）ｋを１に等しいか又は１よりも大きい整数とし、少なくとも１つの照明の変動のパラメータにより定義される照明の変動のモデルを考慮することで、参照係数からｋ個の最初の予測係数を計算するステップ。ｂ）ｋ個の最初の現在の係数とｋ個の最初の予測係数とからｋ個の残差係数を計算するステップ。ｃ）ｋ個の最初の量子化次いで逆量子化された残差係数と、ｋ個の最初の計算された予測係数とからｋ個の再構成された係数を計算するステップ。ｄ）既に再構成された全ての係数と対応する参照係数とから、少なくとも１つの照明の変動のパラメータをリファインするステップ。ｅ）ｋ個の後続する係数について、Ｎ個の残差の係数の計算まで、ステップａ）〜ｄ）を繰返すステップ。
【００１５】
本発明の特定の態様によれば、符号化方法は、ステップｄ）とｅ）との間で、ステップｄ）でリファインされた少なくとも１つの照明の変動のパラメータから既に再構成された全ての係数と、対応する参照係数とをリファインするステップを含む。
【００１６】
さらに、本発明は、Ｎを整数としてＮ画素の現在のブロックを表すストリームを復号化する装置に関し、当該装置は、以下を備える。ストリームからＮ個の残差係数を復号化及び逆量子化する手段。Ｎ個の参照係数を決定する手段。Ｎ個の残差係数と、少なくとも１つの照明の変動のパラメータにより定義される照明の変動のモデルを考慮することでＮ個の参照係数から決定されたＮ個の予測係数とから、現在のブロックのＮ個の係数を再構成する手段。照明の変動のパラメータは、ｋを整数とし且つ１≦ｋ≦Ｎとして、現在のブロックのｋ個の係数のそれぞれの再構成に関してリファインされる。Ｎ個の再構成された係数をＮ個の画素の現在のブロックに変換する手段。
【００１７】
さらに、本発明は、符号化装置に関し、当該装置は、以下を備える。現在のブロックをＮ個の現在の係数に変換する手段。Ｎ個の参照係数を決定する手段。Ｎ個の現在の係数と、少なくとも１つの照明の変動のパラメータにより定義される照明の変動のモデルを考慮することでＮ個の参照係数から決定されたＮ個の予測係数とから、Ｎ個の残差係数を計算する手段。照明の変動のパラメータは、ｋを整数であって且つ１≦ｋ≦Ｎとして、現在のブロックのｋ個の係数のそれぞれの再構成に関してリファインされる。Ｎ個の残差係数を量子化及び符号化する手段。
【００１８】
有利なことに、本発明に係る符号化及び再構成方法は、再構成された現在ブロックＢrecの係数が計算されたときに、予測ブロックを次第に調節するように、照明の変動の１以上のパラメータのリファインを実現するものであり、これにより符号化効率が改善されるのを可能にする。これらの方法は、特に照明の変動である、信号特性の局所的な変動に対して規則的且つ正確に適合する。加えて、これらの方法は、照明の変動の１以上のパラメータを明示的に符号化することを必要としない。
【図面の簡単な説明】
【００１９】
本発明は、以下の添付図面を参照して、限定されるものではない実施の形態及び有利な実現により良好に理解及び例示されるであろう。
【図１】本発明に係る再構成方法を例示する図である。
【図２】残差係数を例示する図である。
【図３】残差係数を例示する図である。
【図４】本発明に係る符号化方法を例示する図である。
【図５】本発明に係る符号化装置を例示する図である。
【図６】本発明に係る復号化装置を例示する図である。
【発明を実施するための形態】
【００２０】
本発明は、画像の系列の画素のブロックを再構成する方法、及び係るブロックを符号化する方法に関する。画像系列は、一連の幾つかのピクチャである。それぞれのピクチャは、ピクチャデータの少なくとも１つのアイテムが関連付けされる画素又はピクチャポイントを含む。画像データのアイテムは、例えば輝度データのアイテム又は色度データのアイテムである。
【００２１】
また、表現「明るさ変動“brightness variation”」は、英語の用語として、「輝度変動“luminance variation”」、「光度変動“luminosity variation”」又は「照明変動“illumination variation”」として知られる。
【００２２】
用語「動きデータ」は、最も広い意味で理解されるべきである。動きデータは、動きベクトルを含み、おそらく参照画像が画像系列において識別されるのを可能にする参照画像インデックスを含む。また、動きデータは、予測ブロックを導出するために参照ブロックに適用される必要がある補間タイプを示す情報のアイテムを含む。
【００２３】
用語「残差データ“residual data”」は、他のデータの抽出後に得られるデータを意味する。この用語は、「残差“residue”」の表現と同義語である。残差ブロックは、残差データが関連付けされる画素のブロックである。
【００２４】
用語「変換された残差データ」は、変換が適用された残差データを意味する。ＤＣＴ（離散コサイン変換）は、2003年9月にJ.Wiley&Sonsにより出版された「H.264 and MPEG-4
video compression」と呼ばれるI.E.Richardsonによる書籍の3.4.4.4節に記載される変換の例である。I.E.Richardsonによる書籍の3.4.2.3節に記載されるウェーブレット変換及びアダマール変換は、他の例である。係る変換は、例えば残差の輝度及び／又は色度データといった画像データのブロックを、「周波数データのブロック」又は「係数のブロック」とも呼ばれる「変換データのブロック」に変換する。係数のブロックは、連続する係数又はＤＣ係数の名の下で知られる低周波係数及びＡＣ係数として知られる高周波係数を有する。
【００２５】
「予測データ“prediction data”」の表現は、他のデータを予測するために使用されるデータを意味する。予測ブロックは、予測データが関連付けされる画素のブロックである。
【００２６】
予測ブロックは、予測（空間予測又は画像内予測）するブロックに属する画像と同じ画像の１又は複数のブロックから得られるか、又は予測するブロックが属する画像の異なる画像（時間予測又は画像間予測）の１つのブロック（単方向予測）又は複数のブロック（双方向予測）から得られる。
【００２７】
用語「画像領域“image domain”」は、輝度及び／又は色度が関連付けされる画素の領域を表す。「周波数領域」又は「変換領域」は、係数の領域を表す。画像の例えばＤＣＴといった変換を適用することで画像領域から変換領域に変わり、逆に、例えば逆ＤＣＴといった先の変換の逆変換を適用することで、変換領域から画像領域に変わる。
【００２８】
その後、符号化及び再構成方法は、ある画素ブロックを参照して記載される。これらの方法は、１以上の画像の符号化及び再構成を視野に入れて、ある画像の幾つかのブロック、及びある系列の幾つかの画像に適用することができることは明らかである。
【００２９】
画素領域で考慮されるブロックデータは、Ｂxxと名付けられる。提案されるスキームでは、変換領域で考慮されるブロックデータは、Ｃxxと名付けられる。
【００３０】
Ｂcurを予測によりインター画像モード又はイントラ画像モードにおいて再構成される現在ブロックであるとする。Ｂrefを関連される参照ブロックであるとする。この参照ブロックは、現在の画像の既に再構成されたブロックであるか、又は既に再構成された別の画像のブロックである。これは、現在の画像の既に再構成された画素、又は既に再構成された別の画像の画素から補間により構築されるブロックである。確かに、Ｂrefがサブピクセルレベルの精度で動きベクトルにより参照画像において識別されるブロックである場合、参照ブロックＢrefが補間される。予測ブロックＢpredは、参照ブロックＢrefに従うリニアタイプの輝度の局所的な変動のモデルに従って構築される。
【００３１】
例えばＢpred(x,y)＝a+b.Ｂref(x,y)としてＢpred(x,y)＝ｆ[Ｂref(x,y)]
a及びbは、照明の変動のパラメータであり、(x,y)は、画像における画素の座標である。
【００３２】
本発明によれば、現在のブロックＢcurの再構成されたブロックＢrecへの再構成は、変換領域で行われる。ひとたび全てのＢcurの係数が変換領域で計算されると、再構成されたブロックを生成するため、逆変換が適用される。本発明によれば、１以上のＢcurの係数のそれぞれの再構成に関して、明るさの変動のモデルのパラメータがリファインされる。
【００３３】
これを行うため、１つの方法は、符号化スキームで典型的に使用される変換の線形性の特性に基づくものであり、変換係数と明るさの変動のモデルのパラメータとの間のダイレクトリンクが確立されるのを可能にする。標準的なスキームとは異なり、ブロックＢcurは、変換領域で再構成される。変換は、予測ブロックが変換領域Ｃpredで決定される参照ブロックＢrefに適用される。変換された残差ブロックＣrecは、変換された再構成されたブロックＣrecを生成するために、参照ブロックＢrefに加えられる。逆変換は、最終的な再構成されたブロックＢrecを生成するため、変換領域における再構成されたブロックに適用される。より詳細には、本発明に係るブロックＢcurを再構成する方法は、図１を参照して記載される以下のステップを含む。
【００３４】
ステップ１００で、Ｎ個の残差係数を復号化及び逆量子化し、Ｎ個の参照係数を決定するステップ。ステップ１７５で、少なくとも１つの照明の変動のパラメータにより定義される照明の変動のモデルを考慮することで、Ｎ個の残差係数と、Ｎ個の参照係数から決定されるＮ個の予測係数とから、現在のブロックのＮ個の係数を再構成するステップ。照明の変動のパラメータは、ｋを整数且つ０≦ｋ≦Ｎとして、現在のブロックについてｋ個の係数のそれぞれの再構成に関してリファインされる。ステップ１８０で、Ｎ個の再構成された係数をＮ個の画素の現在のブロックに変換するステップ。
【００３５】
本発明に係るブロックＢcurを再構成する方法は、図４を参照して記載される以下のステップを含む。ステップ２００で、現在のブロックをＮ個の現在の係数に変換し、Ｎ個の参照符号を決定するステップ。ステップ２８５で、少なくとも１つの照明の変動のパラメータにより定義される照明の変動のモデルを考慮することで、Ｎ個の現在の係数と、Ｎ個の参照係数から決定されたＮ個の予測係数とから、Ｎ個の残差係数を計算するステップ。照明の変動のパラメータは、ｋを整数且つ１≦ｋ≦Ｎとして前記現在のブロックのｋ個の係数のそれぞれの再構成に関してリファインされる。ステップ２９０で、Ｎ個の残差係数を量子化及び符号化するステップ。
【００３６】
有利なことに、本発明に係る符号化及び再構成方法は、再構成された現在のブロックＢrecの係数が計算されているとき、予測ブロックを次第に調節するように、照明の変動のパラメータのリファイニングを実現し、このように符号化効率が改善される。照明の変動の１以上のパラメータは、現在のブロックＢrecの係数の再構成が長引くときにリファインされる。これは、これらの照明の変動のパラメータがますます正確であり、結果的に現在のブロックの精度が改善されるのを可能となることを意味する。
【００３７】
図１は、本発明の特定の実施の形態に係る、画素ブロックＢrecを再構成する方法を示す。Ｂrecは、再構成された現在のブロックＢcurである。
【００３８】
ステップ１００の間、変換された残差ブロックは、復号化され、次いで逆量子化される。このようにして得られたブロックは、ｉ＝０．．．Ｎ−１であり、整数Ｎは、変換からの係数の数として、残差係数Ｃresiを含む。変換８×８の場合、Ｎ＝６４である。照明の変動のパラメータａinit及びｂinitの初期値は、参照ブロックＢrefの参照係数Ｃrefiと同様に得られる。照明の変動のパラメータの初期値が例えば復号化され、或いは例えばビデオ符号化規格により予め定義され、従って再構成方法について知られる。参照ブロックＢrefは、例えば動きベクトルを使用して画像領域で決定され、次いで参照係数Ｃrefiのブロックに変換される。同様に、再構成される画素ブロックの最初の係数Ｃrec0は、例えば以下の式に従って再構成される。
【００３９】
Ｃrec0＝ａinit.Ｄ0＋ｂinitＣref0＋Ｃrec0
この場合、
【数１】
であり、ｄ0(.)は、変換のインデックス０の基本ベクトルであり、Ｂrはそのサポートである。
【００４０】
ステップ１１０の間、ｐはゼロに初期化される。
ステップ１２０の間、式Ｃpredi＝ａ.Ｄi＋ｂ.Ｃrefiに従って、ｉ＝ｐ＋１，．．．，ｐ＋ｋp，ｋp>=１及びｐ＋ｋp<Ｎについて予測係数Ｃprediが計算される。
【００４１】
Ｃprediは、予測係数と呼ばれる、予測ブロックのインデックスｉの変換係数であり、Ｃrefiは、参照係数と呼ばれる、参照ブロックのインデックスｉの変換係数であり、ｄi(.)は、変換のインデックスｉの基本ベクトルであり、Ｂrをベクトルのサポートｄi(.)として、
【数２】
である。
【００４２】
一般に、（例えばDCT−離散コサイン変換、DST−離散サイン変換、FFT−高速フーリエ変換といった）変換ベースは、第一の係数がＤ0=１である信号の平均となり、変換の後続するベクトルが任意のｉ>０についてＤi=０となるようなものである。
【００４３】
本発明の特定の特性によれば、ｋp＝１である。本発明の別の特定の特性によれば、ｋpは、１とＮ−１との間の予め決定された値を有する。変形例によれば、ｋpの値は、ある繰り返しから他の繰り返しへと変わる。例えば、ｋpの値は、図２に示されるようなゼロ係数Ｃresiにより分離される２つの非ゼロの係数Ｃresiの間の距離に等しい。インデックス０の係数は、その値に係らずに考慮される。この図２に関して、インデックス４とＮ−２の係数はゼロである。更に別の変形例によれば、ｋpの値は、図３に示されるように、閾値Ｔｈよりも小さい振幅の係数Ｃresiにより分離される、閾値Ｔｈよりも大きい振幅の２つの係数Ｃresiの間の距離に等しく、インデックス０の係数は、その値に係らず考慮される。この図３に関して、インデックス１，３，Ｎ−３及びＮ−１の係数は、Ｔｈよりも大きい振幅を有する。
【００４４】
ステップ１３０の間、ｉ＝ｐ+１,…,ｐ+ｋpについて再構成された係数Ｃreciは、以下の式に従って、予測係数Ｃprediと残差係数Ｃresiとから計算される。
【００４５】
【数３】
ステップ１４０の間、パラメータａ及びｂは、ｐ＋ｋpでのｉ＝０について、再構成された係数Ｃreci及び参照ブロックにおけるそれらの対応する係数Ｃrefiからリファインされる。リファインされたパラメータは、
＜外１＞
として示される。照明の変動のパラメータは、異なる方法によりリファインすることができる。
【００４６】
第一の方法によれば、リファインされた照明の変動パラメータ
＜外２＞
は、量子化雑音の変動により重み付けされたモデリングの二次誤差を最小化することで得られる。
【００４７】
【数４】
Ｑiは、インデックスｉの係数の量子化ステップである。
【００４８】
＜外３＞
は、従って、最小自乗法により得られ、これは、２つの未知数及び２つの式をもつ線形システムを解くことにつながる。
【００４９】
変換ベースの第一のベクトルがＤ0=１であり、他の全てが任意のｉ>０についてＤi＝０である（例えばDCT，DST，FFTといった）標準的な変換ベースの場合、以下の式のシステムが得られる。
【００５０】
【数５】
従って以下が得られる。
【００５１】
＜外４＞
なお、それぞれの新たな係数について、線形システムを解く前に、以下の項
＜外５＞
が更新される。
【００５２】
第二の方法によれば、リファインされた照明の変動のパラメータ
＜外６＞
は、尤度最大化により得られる。
【００５３】
パラメータ
＜外７＞
は、ａ及びｂ、ｐ＋ｋpでｉ＝０についてＣrefi及びＣreciを知る正確な係数である（すなわち量子化されていない）係数Ｃcuriの尤度を最大にするパラメータである。
【００５４】
【数６】
は、線形モデル
【数７】
に従ってＣrefiにより近似される。ここでεiは、分散σi2に相関しない、雑音であることが想定される白色ガウス性雑音とである。
【００５５】
ｎiを量子化雑音として、
【数８】
であるとき、
【数９】
を得る。
【００５６】
適用された量子化は一様量子化であり、量子化雑音ｎiは一様であり、使用される量子化ステップをＱiとして、確率１／Ｑiである。
【００５７】
εi及びｎiが両者間で独立であり、且つｉとは無関係であると仮定される場合、以下を得る。
【００５８】
【数１０】
その結果は、関数はａ及びｂに関して最大にされる。Ｋは、ａ及びｂとは独立なパラメータである。
【００５９】
【数１１】
この最大値をサーチするため、確率勾配型の解法が使用される。
この第二の方法の変形例によれば、式
【数１２】
において現れる付加雑音ｎiは、正規ガウス型として考えられる。この特定の場合では、この雑音の分散は、一様な量子化雑音の分散、すなわちσi2＝Ｑi2／１２に対応する。
【００６０】
次いで、尤度は、Ｋをａ及びｂに独立なパラメータとして、以下のように書かれる。
【００６１】
【数１３】
次いで、ａ及びｂに関する尤度の最大化は、先に記載されたような、重み付け最小自乗を解くことになる。
【００６２】
任意のステップ１５０の間、既に再構成されている係数は、ｐ＋ｋpでｉ＝０について、以下の式
【数１４】
に従って、新たな照明の変動のパラメータ
【数１５】
に基づいてリファインされる。
【００６３】
他の変形例によれば、この任意のステップは、Ｎ−１でｉ＝０について全ての係数Ｃreciが再構成されたときに一度だけ実現される。
【００６４】
ステップ１６０の間、現在のブロックＢcurのＮ個の係数Ｃreciが再構成されているかがチェックされる。再構成される場合、本方法はステップ１８０に進み、再構成されていない場合、ステップ１７０で、ｐがｐ＝ｐ＋ｋpにインクリメントされ、本方法は、ステップ１２０に進む。
【００６５】
ステップ１８０の間、変換領域における再構成された係数のブロックＣreciは、逆変換により再構成された画素ブロックＢrecに変換される。
【００６６】
図４は、本発明の特定の実施の形態に係る、現在の画素ブロックＢcurを符号化する方法を示す。
【００６７】
ステップ２００の間、現在のブロックＢcurは、ｉ＝０．．．Ｎ−１について係数Ｃcuriに変換される。符号化されるべき現在のブロックの第一の残差係数Ｃres0は、例えば以下の式
【数１６】
に従って計算される。この場合、
【数１７】
であり、ｄ0(.)は、変換のインデックス０の基本ベクトルである。ａinit及びｂinitは、照明の変動のパラメータの初期値である。照明の変動のパラメータのこれらの初期値は、例えば再構成方法に送信されるように符号化されるか、又はさもなければこれらの初期値は、ビデオ符号化規格により予め定義され、すなわち再構成方法について分かっている。参照ブロックＢrefの係数Ｃrefiも得られる。参照ブロックＢrefは、例えば動きベクトルを使用して画像領域で決定され、次いで、係数Ｃrefiのブロックに変換される。
【００６８】
ステップ２１０の間、ｐはゼロに初期化される。
【００６９】
ステップ２２０の間、以下の式に従って、ｉ＝ｐ＋１，．．．，ｐ＋ｋp，ｋp>=１及びｐ＋ｋp<Ｎとして予測係数Ｃprediが計算される。
【００７０】
【数１８】
ステップ２３０の間、ｉ＝ｐ＋１，．．．，ｐ＋ｋpについて残差係数Ｃres_curiが計算される。
【００７１】
【数１９】
ステップ２４０の間、ｉ＝ｐ＋１，．．．，ｐ＋ｋpについて再構成された係数Ｃreciは、以下の式に従って、予測係数Ｃprediと、量子化され、次いで逆量子化された残差係数Ｃresiから計算される。
【００７２】
【数２０】
【数２１】
であり、Ｑ及びＱ-1は、量子化、次いで逆量子化演算をそれぞれ表す。
【００７３】
ステップ２５０の間、パラメータは、ａ及びｂは、再構成された係数Ｃreciと、ｐ＋ｋpでのｉ＝０について参照ブロックにおける対応する係数Ｃrefiとからリファインされる。リファインされたパラメータは、
＜外８＞
として示される。このステップは、ステップ１４０に同一である。
【００７４】
任意のステップ２６０の間、既に再構成された係数は、ｐ＋ｋpでｉ＝０について、以下の式
【数２２】
に従って、新たな照明の変動のパラメータ
＜外９＞
に基づいてリファインされる。このステップは、ステップ１５０と同じである。
【００７５】
１つの変形例によれば、Ｎ−１でｉ＝０について全ての係数Ｃreciが再構成されたときに、この任意のステップ２６０が１度だけ実現される。
【００７６】
ステップ２７０の間、変換された残差ブロックの全ての残差係数Ｃresiが計算されたかがチェックされる。全ての残差係数が計算された場合、本方法がステップ２９０に進み、全ての残差係数が計算されていない場合、ステップ２８０で、ｐ＝ｐ＋ｐkにｐがインクリメントされ、本方法は、ステップ２２０に進む。
【００７７】
ステップ２９０の間、残差係数Ｃres_curiが符号化され、エントロピー符号化によりストリームＦに符号化される。次いで、変換領域で再構成された係数のブロックＣreciは、逆変換により再構成された画素ブロックＢrecに変換される。この画素ブロック自身は、ビデオ予測において典型的に行われているように、その後に空間的又は時間的に参照として使用することができる。
【００７８】
これらの符号化及び再構成方法は、信号特性の局所的な変動、特に照明の変動に対する永続的且つより正確な適応を可能にする。さらに、これらの方法によれば、明示的な局所的な照明の変動のパラメータをそれぞれ符号化、復号化する必要がない。
【００７９】
予測モデルをリファインするステップ１４０及び２４０は、Ｂpred(x,y)=a+b.Ｂref(x,y)のタイプの線形モデル以外のモデルに適用することができる。本発明は、他のモデルＢpred(x,y)＝ｆ[Ｂref(x,y)]に一般化することができ、この場合、ｆ[.]は、ビデオ信号の時間的な変動を表す関数である。
【００８０】
また、本発明は、図５を参照して記載される符号化装置１２、及び図６を参照して記載される復号化装置１３に関するものであり、これらの構成は、照明の変動のパラメータをリファインするために、変換領域における予測を演算するために変更される。これらの図において、グレイで網掛けしたモジュールは、標準的な符号化及び復号化スキームに関して追加又は変更されたモジュールである。図５及び図６では、図示されるモジュールは、物理的に区別可能なユニットに対応するか又は対応しない機能ユニットである。例えば、これらのモジュール又はこれらのモジュールのうちの幾つかは、１つのコンポーネントで互いにグループ化されるか、同じソフトウェアの機能を構成する。反対に、幾つかのモジュールは、個別の物理的なエンティティから構成される。
【００８１】
図５を参照して、符号化装置１２は、ある画像の系列に属している入力画像を受信する。それぞれの画像は、画素ブロックＢcurに分割され、画素ブロックのそれぞれと、ピクチャデータの少なくとも１つのアイテムが関連付けされる。符号化装置１２は、特に、時間予測による符号化を実現する。時間予測による符号化又はINTER符号化に関連する符号化装置１２のモジュールのみが図３で表される。表現されず且つビデオコーダの分野における当業者にとって知られている他のモジュールは、空間予測あり又はなしでINTRA符号化を実現する。符号化装置１２は、特に、現在のブロックＢcurを変換されたブロックＣcurに変換することができるＴを変換するモジュール１１００、及び、例えば
現在により、係数毎に、変換ブロックＣcurから予測ブロックＣpredを抽出して、変換領域において残差ブロックＣres_curを生成することができる計算モジュール１２００を有する。変換Ｔは、例えば離散コサイン変換（又はＤＣＴ）である。また、変換Ｔは、変換領域で計算された残差ブロックを量子化された係数に量子化することができるモジュール１２０２を備える。また、符号化装置１２は、量子化された係数をストリームＦに符号化することができるエントロピー符号化モジュール１２０４を有する。符号化装置１２は、モジュール１２０２に対する逆演算を実行するモジュール１２０６を備える。モジュール１２０６は、逆量子化ＩＱを実行して、逆量子化される残差係数Ｃresを生成する。モジュール１２０６は、係数毎に、例えば加算により、モジュール１２０６からの残差係数ブロックＣresと予測ブロックＣpredとをマージして、変換領域Ｃrecにおいて再構成されたブロックを生成することができる計算モジュール１２０８に接続される。計算モジュール１２０８は、変換領域において再構成されたブロックＣresを、メモリ１２１２に記憶されている、Ｂrecとして示される再構成された画像データブロックに変換することができる逆変換モジュール１２１０に接続される。
【００８２】
符号化装置１２は、ブロックＢcurとメモリ１２１２に記憶される参照ピクチャＩrefのブロックとの間の少なくとも１つの動きベクトルを予測することが可能な動き予測モジュール１２１４を更に有する。この参照ピクチャは、前に符号化され、次いで再構成されている。１つの変形例によれば、動き予測は、現在のブロックＢcurとオリジナルの参照画像Ｉcurとの間で行われ、この場合、メモリ１２１２は、動き予測モジュール１２１４に接続されない。当業者に知られている方法によれば、動き予測モジュールは、現在のブロックＢcurと、動きデータのアイテムを使用して識別された参照画像Ｉrefにおけるブロックとの間で計算されたエラーを最小にするように、参照画像Ｉrefにおいて、動きデータのアイテム、特に動きベクトルをサーチする。
【００８３】
動きデータの決定されたアイテムは、動き予測モジュール２１４により、予め決定された符号化モードのセットにおけるブロックＢcurの符号化モードを選択可能な決定モジュール１２１６に送信される。選択された符号化モードは、例えばビットレートの歪みのタイプの基準を最小にするモードである。しかし、本発明は、この選択モードに限定されるものではなく、例えば先験的なタイプの基準といった別の基準に従って、保持されるモードを選択することができる。
【００８４】
決定モジュール１２１６により選択される符号化モードは、例えば時間予測モード又はINTERモードの場合における動きデータといった、動きデータと同様に、動き補償モジュール１２１８に送信される。選択された符号化モード、及び必要に応じて動きデータは、エントロピー符号化モジュール１２０４に送信され、ストリームＦに符号化される。動き補償モジュール１２１８は、決定モジュール１２１６により決定された符号化モードと、おそらく動き予測モジュール１２１４（画像間予測）により決定された動きデータとから、参照ブロックＢrefを決定する。動き補償モジュール１２１８は、変換モジュール１１００と同じ変換モジュール１２２０に接続される。変換モジュール１２２０は、画像領域で得られた参照ブロックＢrefを変換された参照ブロックＣrefに変換可能である。変換モジュール１２２０は、照明の変動のパラメータから予測ブロックＣpredを生成可能な予測計算モジュール１２２２に接続される。また、変換モジュール１２２０は、符号化方法のステップ２５０に従って照明の変動のパラメータをリファイン可能なモジュール１２２４、及び任意に符号化方法のステップ２６０に従って、リファインされた照明の変動のパラメータに基づいて既に再構成された係数をリファイン可能なモジュール１２２６に接続される。
【００８５】
図６を参照して、復号化モジュール１３は、画像の系列を表す符号化データのストリームＦを入力で受信する。ストリームＦは、例えばチャネルを介して符号化装置１２に送信される。復号化装置１３は、例えば符号化モードといった復号化データ、及び画像のコンテンツに関連する復号化データを生成可能なエントロピー復号化モジュール１３００を有する。
【００８６】
復号化装置１３は、動きデータ再構成モジュールを更に有する。第一の実施の形態によれば、動きデータ再構成モジュールは、エントロピー復号化モジュール１３００であり、前記動きデータを表すストリームＦの一部を復号化する。図６に示されない変形例によれば、動きデータ再構成モジュールは、動き予測モジュールである。復号化装置１３を介して動きデータを再構成するこのソリューションは、「テンプレートマッチング」として知られる。
【００８７】
次いで、画像のコンテンツに関して復号化されたデータは、逆量子化を実行して残差係数Ｃresを生成可能なモジュール１３０２に送信される。モジュール１３０２は、符号化さえたストリームＦを生成した符号化装置１２のモジュール１２０６と同じである。モジュール１３０２は、係数毎に、例えば加算により、モジュール１３０２からの残差係数Ｃresのブロックと予測ブロックＣpredとをマージして、変換領域において再構成された現在ブロックＣresを生成可能な計算モジュール１３０４に接続される。変換領域において再構成された現在ブロックＣrecは、符号化装置のモジュール１２１０と同じである逆変換モジュール１３０６により画像領域において再構成されたブロックＢrecに変換される。逆変換モジュール１３０６は、メモリ１３０８に接続され、メモリにおいて、画像領域において再構成されたデータが特に記憶される。復号化装置１３は、動き補償モジュール１３１０を更に有する。動き補償モジュール１３１０は、エントロピー復号化モジュール１３００により現在のブロックについて復号化された符号化モードから、及びおそらく動きデータ再構成モジュールにより決定された動きデータから参照ブロックＢrefを決定する。動き補償モジュール１３１０は、符号化装置の変換モジュール１２２０と同じ変換モジュール１３１２に接続される。変換モジュール１３１２は、画像領域において得られた参照ブロックＢrefを変換された参照ブロックＣrefに変換可能である。変換モジュール１３１２は、照明の変動パラメータからリファインされた予測ブロックＣpredを生成可能な予測計算モジュール１３１４に接続される。また、変換モジュール１３１２は、再構成方法のステップ１４０に従って照明の変動のパラメータをリファイン可能なリファイニングモジュール１３１６、及びおそらく再構成方法のステップ１５０に従って、リファインされた照明の変動のパラメータに基づいて既に再構成された係数をリファイン可能なモジュール１３１８に接続可能である。
【００８８】
本発明に係る符号化及び復号化装置は、例えばハードウェア、ソフトウェア、ファームウェア、特定用途向けプロセッサ又はそれらの組み合わせといった様々な形式で実現される。好ましくは、本発明は、ハードウェアとソフトウェアの組み合わせとして実現される。さらに、ソフトウェアは、プログラム記録媒体で実施されるアプリケーションプログラムとして実現されることが好ましい。アプリケーションプログラムは、任意の適切なアーキテクチャにアップロードされる、マシンにより実行される場合がある。好ましくは、マシンは、１以上の中央処理ユニット（CPU）、ランダムアクセスメモリ（RAM）、及び入力／出力（I/O）インタフェースのようなハードウェアを有するコンピュータプラットフォームで実現される。また、コンピュータプラットフォームは、オペレーティングシステム及びマイクロ命令コードを含む。本明細書で記載された様々なプロセス及び機能は、マイクロ命令コードの一部又はオペレーティングシステムを介して実行されるアプリケーションプログラム（或いはこれらの組み合わせ）の何れかである。さらに、様々な他の周辺装置は、更なるデータ記憶装置及び印刷装置のようなコンピュータプラットフォームに接続される場合がある。
【００８９】
変形例に拠れば、本発明に係る符号化及び復号化装置は、例えば（例えばASIC（特定用と向け集積回路）のような）専用コンポーネント又はFPGA（フィールドプログラマブルゲートアレイ）又はVLSI（超大型集積回路）、或いはある装置に集積される幾つかの電子コンポーネントの形式で純粋なハードウェア実装に従って実現されるか、或いはハードウェアエレメントとソフトウェアエレメントの混合の形式で実現される場合がある。
【符号の説明】
【００９０】
１２ ：符号化装置
１１００：変換モジュール
１２００：計算モジュール
１２０２：量子化モジュール
１２０４：エントロピー符号化モジュール
１２０６：逆量子化モジュール
１２０８：計算モジュール
１２１０：逆変換モジュール
１２１２：メモリ
１２１４：動き予測モジュール
１２１６：決定モジュール
１２１８：動き補償モジュール
１２２０：変換モジュール
１２２２：予測計算モジュール
１２２４：リファインモジュール
１２２６：リファインモジュール
１３ ：復号化装置
１３００：エントロピー復号化モジュール
１３０２：逆量子化モジュール
１３０４：計算モジュール
１３０６：逆変換モジュール
１３０８：メモリ
１３１０：動き補償モジュール
１３１２：変換モジュール
１３１４：予測計算モジュール
１３１６：リファインモジュール
１３１８：リファインモジュール
【特許請求の範囲】
【請求項１】
Ｎを整数としてＮ個の画素からなる現在のブロックを再構成する方法であって、
Ｎ個の残差係数を復号化して逆量子化するステップと、
Ｎ個の参照係数を決定するステップと、
前記Ｎ個の残差係数と、少なくとも１つの照明の変動のパラメータにより定義される照明の変動のモデルを使用することで、前記Ｎ個の参照係数から決定されたＮ個の予測係数とから、前記現在のブロックについてのＮ個の係数を繰り返し再構成するステップと、前記照明の変動のパラメータは、ｋを整数とし且つ１≦ｋ≦Ｎとして、前記現在のブロックのついてｋ個の係数のそれぞれの再構成に関してリファインされ、
再構成されたＮ個の係数をＮ個の画素からなる現在のブロックに変換するステップと、
を含むことを特徴とする再構成方法。
【請求項２】
前記現在のブロックについての前記Ｎ個の係数を再構成するステップは、
ａ）前記照明の変動モデルを考慮することで、前記参照係数からｋ個の最初の予測係数を計算するステップと、
ｂ）ｋ個の最初の残差係数と、計算されたｋ個の最初の予測係数とから再構成されるｋ個の係数を計算するステップと、
ｃ）既に再構成された全ての係数と、対応する参照する係数とから、前記少なくとも１つの照明の変動のパラメータをリファインするステップと、
ｄ）再構成されたＮ個の係数の計算まで、ｋ個の後続の係数により前記ステップａ）からステップｃ）を繰り返すステップと、
を含む請求項１記載の再構成方法。
【請求項３】
前記ステップｃ）と前記ステップｄ）の間で、前記ステップｃ）でリファインされた前記少なくとも１つの照明の変動パラメータと、前記対応する参照係数とから既に再構成された全ての係数をリファインするステップを含む、
請求項１記載の再構成方法。
【請求項４】
前記ｋの値は１に等しい、
請求項２又は３記載の再構成方法。
【請求項５】
前記ｋの値は、ある繰返しのときの値と他の繰り返しのときの値とで変化する、
請求項２又は３記載の再構成方法。
【請求項６】
前記ｋの値は、ゼロの残差係数により分離された２つの非ゼロの残差係数の間の距離に等しい、
請求項５記載の再構成方法。
【請求項７】
前記ｋの値は、閾値よりも小さい残差係数により分離される、前記閾値よりも大きい２つの残差係数の間の距離に等しい、
請求項５記載の再構成方法。
【請求項８】
リファインされた前記少なくとも１つの照明の変動のパラメータは、量子化雑音の分散により重み付けされた二次誤差を最小化することで決定され、
前記二次誤差は、前記再構成された係数と前記対応する参照係数との間で計算される、
請求項１乃至７の何れか記載の再構成方法。
【請求項９】
Ｎを整数としてＮ個の画素からなる現在のブロックを符号化する方法であって、
前記現在のブロックをＮ個の現在の係数に変換するステップと、
Ｎ個の参照係数を決定するステップと、
前記Ｎ個の現在の係数と、少なくとも１つの照明の変動のパラメータにより定義される照明の変動のモデルを使用することで前記Ｎ個の参照係数から決定されるＮ個の予測係数とから、Ｎ個の残差係数を繰り返し計算するステップと、前記照明の変動のパラメータは、ｋを整数とし且つ１≦ｋ≦Ｎとして、前記現在のブロックのｋ個の係数のそれぞれの再構成に関してリファインされ、
前記Ｎ個の残差係数を量子化及び符号化するステップと、
を含むことを特徴とする符号化方法。
【請求項１０】
前記Ｎ個の残差係数を計算するステップは、
ａ）前記照明の変動のモデルを考慮することで、前記参照係数からｋ個の最初の予測係数を計算するステップと、
ｂ）ｋ個の最初の現在の係数と、計算されたｋ個の最初の予測係数とから、ｋ個の残差係数を計算するステップと、
ｃ）ｋ個の最初の量子化、次いで逆量子化された残差係数と、計算されたｋ個の最初の予測係数とから再構成されたｋ個の係数を計算するステップと、
ｄ）既に再構成された全ての係数と、対応する参照係数とから前記少なくとも１つの照明の変動のパラメータをリファインするステップと、
ｅ）前記Ｎ個の残差係数の計算まで、ｋ個の後続の係数により前記ステップａ）から前記ステップｄ）を繰り返すステップと、
を含む請求項６記載の符号化方法。
【請求項１１】
前記ステップｄ）と前記ステップｅ）との間で、前記ステップｄ）でリファインされた前記少なくとも１つの照明の変動のパラメータと、前記対応する参照係数とから既に再構成された全ての係数をリファインするステップを含む、
請求項１０記載の符号化方法。
【請求項１２】
Ｎを整数としてＮ個の画素からなる現在のブロックを表すストリームを復号化する復号化装置であって、
Ｎ個の残差係数を復号化して逆量子化する手段と、
Ｎ個の参照係数を決定する手段と、
前記Ｎ個の残差係数と、少なくとも１つの照明の変動のパラメータにより定義される照明の変動のモデルを使用することで、前記Ｎ個の参照係数から決定されたＮ個の予測係数とから、前記現在のブロックについてのＮ個の係数を繰り返し再構成する手段と、前記照明の変動のパラメータは、ｋを整数とし且つ１≦ｋ≦Ｎとして、前記現在のブロックのついてｋ個の係数のそれぞれの再構成に関してリファインされ、
再構成されたＮ個の係数をＮ個の画素からなる現在のブロックに変換する手段と、
を備えることを特徴とする復号化装置。
【請求項１３】
当該復号化装置は、請求項１乃至８の何れか記載の再構成方法のステップを実行する、
請求項１２記載の復号化装置。
【請求項１４】
Ｎを整数としてＮ個の画素からなる現在のブロックを符号化する符号化装置であって、
前記現在のブロックをＮ個の現在の係数に変換する手段と、
Ｎ個の参照係数を決定する手段と、
前記Ｎ個の現在の係数と、少なくとも１つの照明の変動のパラメータにより定義される照明の変動のモデルを使用することで前記Ｎ個の参照係数から決定されるＮ個の予測係数とから、Ｎ個の残差係数を繰り返し計算する手段と、前記照明の変動のパラメータは、ｋを整数とし且つ１≦ｋ≦Ｎとして、前記現在のブロックのｋ個の係数のそれぞれの再構成に関してリファインされ、
前記Ｎ個の残差係数を量子化及び符号化する手段と、
を備えることを特徴とする符号化装置。
【請求項１５】
当該符号化装置は、請求項９乃至１１の何れか記載の符号化方法のステップを実行する、
請求項１４記載の符号化装置。
【請求項１】
Ｎを整数としてＮ個の画素からなる現在のブロックを再構成する方法であって、
Ｎ個の残差係数を復号化して逆量子化するステップと、
Ｎ個の参照係数を決定するステップと、
前記Ｎ個の残差係数と、少なくとも１つの照明の変動のパラメータにより定義される照明の変動のモデルを使用することで、前記Ｎ個の参照係数から決定されたＮ個の予測係数とから、前記現在のブロックについてのＮ個の係数を繰り返し再構成するステップと、前記照明の変動のパラメータは、ｋを整数とし且つ１≦ｋ≦Ｎとして、前記現在のブロックのついてｋ個の係数のそれぞれの再構成に関してリファインされ、
再構成されたＮ個の係数をＮ個の画素からなる現在のブロックに変換するステップと、
を含むことを特徴とする再構成方法。
【請求項２】
前記現在のブロックについての前記Ｎ個の係数を再構成するステップは、
ａ）前記照明の変動モデルを考慮することで、前記参照係数からｋ個の最初の予測係数を計算するステップと、
ｂ）ｋ個の最初の残差係数と、計算されたｋ個の最初の予測係数とから再構成されるｋ個の係数を計算するステップと、
ｃ）既に再構成された全ての係数と、対応する参照する係数とから、前記少なくとも１つの照明の変動のパラメータをリファインするステップと、
ｄ）再構成されたＮ個の係数の計算まで、ｋ個の後続の係数により前記ステップａ）からステップｃ）を繰り返すステップと、
を含む請求項１記載の再構成方法。
【請求項３】
前記ステップｃ）と前記ステップｄ）の間で、前記ステップｃ）でリファインされた前記少なくとも１つの照明の変動パラメータと、前記対応する参照係数とから既に再構成された全ての係数をリファインするステップを含む、
請求項１記載の再構成方法。
【請求項４】
前記ｋの値は１に等しい、
請求項２又は３記載の再構成方法。
【請求項５】
前記ｋの値は、ある繰返しのときの値と他の繰り返しのときの値とで変化する、
請求項２又は３記載の再構成方法。
【請求項６】
前記ｋの値は、ゼロの残差係数により分離された２つの非ゼロの残差係数の間の距離に等しい、
請求項５記載の再構成方法。
【請求項７】
前記ｋの値は、閾値よりも小さい残差係数により分離される、前記閾値よりも大きい２つの残差係数の間の距離に等しい、
請求項５記載の再構成方法。
【請求項８】
リファインされた前記少なくとも１つの照明の変動のパラメータは、量子化雑音の分散により重み付けされた二次誤差を最小化することで決定され、
前記二次誤差は、前記再構成された係数と前記対応する参照係数との間で計算される、
請求項１乃至７の何れか記載の再構成方法。
【請求項９】
Ｎを整数としてＮ個の画素からなる現在のブロックを符号化する方法であって、
前記現在のブロックをＮ個の現在の係数に変換するステップと、
Ｎ個の参照係数を決定するステップと、
前記Ｎ個の現在の係数と、少なくとも１つの照明の変動のパラメータにより定義される照明の変動のモデルを使用することで前記Ｎ個の参照係数から決定されるＮ個の予測係数とから、Ｎ個の残差係数を繰り返し計算するステップと、前記照明の変動のパラメータは、ｋを整数とし且つ１≦ｋ≦Ｎとして、前記現在のブロックのｋ個の係数のそれぞれの再構成に関してリファインされ、
前記Ｎ個の残差係数を量子化及び符号化するステップと、
を含むことを特徴とする符号化方法。
【請求項１０】
前記Ｎ個の残差係数を計算するステップは、
ａ）前記照明の変動のモデルを考慮することで、前記参照係数からｋ個の最初の予測係数を計算するステップと、
ｂ）ｋ個の最初の現在の係数と、計算されたｋ個の最初の予測係数とから、ｋ個の残差係数を計算するステップと、
ｃ）ｋ個の最初の量子化、次いで逆量子化された残差係数と、計算されたｋ個の最初の予測係数とから再構成されたｋ個の係数を計算するステップと、
ｄ）既に再構成された全ての係数と、対応する参照係数とから前記少なくとも１つの照明の変動のパラメータをリファインするステップと、
ｅ）前記Ｎ個の残差係数の計算まで、ｋ個の後続の係数により前記ステップａ）から前記ステップｄ）を繰り返すステップと、
を含む請求項６記載の符号化方法。
【請求項１１】
前記ステップｄ）と前記ステップｅ）との間で、前記ステップｄ）でリファインされた前記少なくとも１つの照明の変動のパラメータと、前記対応する参照係数とから既に再構成された全ての係数をリファインするステップを含む、
請求項１０記載の符号化方法。
【請求項１２】
Ｎを整数としてＮ個の画素からなる現在のブロックを表すストリームを復号化する復号化装置であって、
Ｎ個の残差係数を復号化して逆量子化する手段と、
Ｎ個の参照係数を決定する手段と、
前記Ｎ個の残差係数と、少なくとも１つの照明の変動のパラメータにより定義される照明の変動のモデルを使用することで、前記Ｎ個の参照係数から決定されたＮ個の予測係数とから、前記現在のブロックについてのＮ個の係数を繰り返し再構成する手段と、前記照明の変動のパラメータは、ｋを整数とし且つ１≦ｋ≦Ｎとして、前記現在のブロックのついてｋ個の係数のそれぞれの再構成に関してリファインされ、
再構成されたＮ個の係数をＮ個の画素からなる現在のブロックに変換する手段と、
を備えることを特徴とする復号化装置。
【請求項１３】
当該復号化装置は、請求項１乃至８の何れか記載の再構成方法のステップを実行する、
請求項１２記載の復号化装置。
【請求項１４】
Ｎを整数としてＮ個の画素からなる現在のブロックを符号化する符号化装置であって、
前記現在のブロックをＮ個の現在の係数に変換する手段と、
Ｎ個の参照係数を決定する手段と、
前記Ｎ個の現在の係数と、少なくとも１つの照明の変動のパラメータにより定義される照明の変動のモデルを使用することで前記Ｎ個の参照係数から決定されるＮ個の予測係数とから、Ｎ個の残差係数を繰り返し計算する手段と、前記照明の変動のパラメータは、ｋを整数とし且つ１≦ｋ≦Ｎとして、前記現在のブロックのｋ個の係数のそれぞれの再構成に関してリファインされ、
前記Ｎ個の残差係数を量子化及び符号化する手段と、
を備えることを特徴とする符号化装置。
【請求項１５】
当該符号化装置は、請求項９乃至１１の何れか記載の符号化方法のステップを実行する、
請求項１４記載の符号化装置。
【図１】
【図２】
【図３】
【図４】
【図５】
【図６】
【図２】
【図３】
【図４】
【図５】
【図６】
【公開番号】特開２０１３−９８９８４（Ｐ２０１３−９８９８４Ａ）
【公開日】平成２５年５月２０日（２０１３．５．２０）
【国際特許分類】
【外国語出願】
【出願番号】特願２０１２−２３６４２０（Ｐ２０１２−２３６４２０）
【出願日】平成２４年１０月２６日（２０１２．１０．２６）
【出願人】（５０１２６３８１０）トムソン ライセンシング (2,848)
【氏名又は名称原語表記】Ｔｈｏｍｓｏｎ Ｌｉｃｅｎｓｉｎｇ
【住所又は居所原語表記】１−５， ｒｕｅ Ｊｅａｎｎｅ ｄ’Ａｒｃ， ９２１３０ ＩＳＳＹ ＬＥＳ ＭＯＵＬＩＮＥＡＵＸ， Ｆｒａｎｃｅ
【Ｆターム（参考）】
【公開日】平成２５年５月２０日（２０１３．５．２０）
【国際特許分類】
【出願番号】特願２０１２−２３６４２０（Ｐ２０１２−２３６４２０）
【出願日】平成２４年１０月２６日（２０１２．１０．２６）
【出願人】（５０１２６３８１０）トムソン ライセンシング (2,848)
【氏名又は名称原語表記】Ｔｈｏｍｓｏｎ Ｌｉｃｅｎｓｉｎｇ
【住所又は居所原語表記】１−５， ｒｕｅ Ｊｅａｎｎｅ ｄ’Ａｒｃ， ９２１３０ ＩＳＳＹ ＬＥＳ ＭＯＵＬＩＮＥＡＵＸ， Ｆｒａｎｃｅ
【Ｆターム（参考）】
[ Back to top ]