動画像符号化装置、動画像復号装置、動画像符号化方法、動画像復号方法、動画像符号化プログラム、及び、動画像復号プログラム
【課題】付加情報の符号量増大を抑制することにより、符号化処理と復号処理における処理効率を向上する。
【解決手段】ブロック単位で予測信号を生成する動画像復号装置200は、符号化データを復号して、予測ブロックよりも画素数が少ない低解像ブロックを生成する低解像ブロック復号部151を備える。また、復号済み画像を用いて、復号低解像ブロックにより生成された低解像ブロックを、予測ブロックと同じ画素数のブロックに拡大する拡大ブロック生成部154を備える。更に、拡大ブロックを所定の分割規則に基づいて分割し、複数の小ブロックを生成するブロック分割部162と、復号済み画像と上記複数の小ブロックとを用いて小ブロックの予測小ブロックを生成する小ブロック予測部152とを備える。
【解決手段】ブロック単位で予測信号を生成する動画像復号装置200は、符号化データを復号して、予測ブロックよりも画素数が少ない低解像ブロックを生成する低解像ブロック復号部151を備える。また、復号済み画像を用いて、復号低解像ブロックにより生成された低解像ブロックを、予測ブロックと同じ画素数のブロックに拡大する拡大ブロック生成部154を備える。更に、拡大ブロックを所定の分割規則に基づいて分割し、複数の小ブロックを生成するブロック分割部162と、復号済み画像と上記複数の小ブロックとを用いて小ブロックの予測小ブロックを生成する小ブロック予測部152とを備える。
【発明の詳細な説明】
【技術分野】
【0001】
本発明は、ブロック単位で予測ブロックを生成する動画像復号技術と動画像符号化技術に関する。
【背景技術】
【0002】
従来、予測対象ブロックの予測信号(予測ブロック)をブロック単位で生成する既存の符号化方式として、例えば特許文献1に記載の技術が提案されている。かかる技術は、フレーム間の動きを示す動きベクトルと、この動きベクトルから生成される予測ブロックと予測対象ブロックとの間の誤差ブロックとを、エントロピー符号化することにより、時間方向の冗長度を低減するものである。ここで、予測対象ブロックとは、次に予測処理が行われる入力フレームの分割ブロックである。
【先行技術文献】
【特許文献】
【0003】
【特許文献1】特開2002−354486号公報
【発明の概要】
【発明が解決しようとする課題】
【0004】
細かい動き表現を含む画像領域の時間予測性能を向上させるためには、数多くの動きベクトルなどの情報(以下、「動き情報」と記す。)が必要となる。ところが、上述した従来の方式では、動き情報の符号化が必要となるため、動き情報を始めとする、いわゆる付加情報の符号量が増大する。このことが、符号化処理や復号処理における処理効率の向上を困難とする要因になっている。
【0005】
そこで、本発明の課題は、上述の付加情報の符号量増大を抑制することにより、符号化処理と復号処理における処理効率を向上することである。
【課題を解決するための手段】
【0006】
本発明に係る動画像符号化装置は、ブロック単位で予測ブロックを生成する動画像符号化装置であって、復号済み画像が保持される保持手段(メモリ)と、入力された符号化対象の画像を、複数の予測対象ブロックに分割する第1の分割手段と、前記予測対象ブロックを、当該予測対象ブロックよりも画素数が少ない低解像ブロックに変換及び符号化した後、当該低解像ブロックの符号化データを復号することで、復号低解像ブロックを生成する生成手段と、前記生成された復号低解像ブロックを、前記予測対象ブロックと同じ画素数のブロックに拡大する拡大手段と、前記拡大されたブロックを、所定の分割規則に基づいて分割することで、複数の小ブロックを生成する第2の分割手段と、前記生成された小ブロックと前記復号済み画像との間のブロックマッチングにより検出された前記生成された小ブロックの動きベクトルに対応する前記復号済み画像内のブロックを予測小ブロックとして生成する予測手段と、前記生成された複数の予測小ブロックを、前記分割規則に基づいて統合することで、予測ブロックを生成する統合手段とを備える。
【0007】
本発明に係る動画像復号装置は、ブロック単位で予測ブロックを生成する動画像復号装置であって、復号済み画像が保持される保持手段(例えばメモリ)と、入力された符号化データを復号して得られる低解像ブロック情報と前記復号済み画像とに基づいて、予測ブロックよりも画素数が少ない低解像ブロックを生成する復号手段と、前記生成された低解像ブロックを、前記予測ブロックと同じ画素数のブロックに拡大する拡大手段と、当該拡大されたブロックを、所定の分割規則に基づいて分割することで、複数の小ブロックを生成する分割手段と、前記分割された小ブロックと前記復号済み画像との間のブロックマッチングにより検出された前記分割された小ブロックの動きベクトルに対応する前記復号済み画像内のブロックを予測小ブロックとして生成する予測手段と、当該生成された複数の予測小ブロックを、前記分割規則に基づいて統合することで、予測ブロックを生成する統合手段とを備える。
【0008】
動画像符号化装置と動画像復号装置間で高精度な予測符号化を行うには、動画像符号化装置において、予測ブロックよりも画素数の少ない低解像ブロックを圧縮符号化して符号化データを動画像復号装置に送信することが望ましい。この点、これらの発明によれば、低解像ブロックの画素数は、予測ブロックの画素数よりも少ないため、低解像ブロックが圧縮された符号化データは、従来の動き情報よりも付加情報の符号量が少なくなる。これにより、付加情報の符号量増大は低減され、その結果、符号化処理と復号処理における処理効率は向上する。
【0009】
特に、動画像復号装置では、まず、拡大ブロックを分割して小ブロックを得、小ブロックと復号済み画像とから予測小ブロックを生成する。これにより、動画像の細かい領域の高精度な予測を行うことが可能な複数の予測小ブロックを得る。そして、これらを統合することで、予測ブロックを生成する。したがって、上述した処理効率の向上と同時に、符号量の少ない低解像ブロックを利用した高精度な予測が可能となる。
【0010】
上述した動画像符号化装置は、前記符号化対象の画像を符号化対象ブロックに分割する第3の分割手段と、前記分割された符号化対象ブロックと前記予測ブロックとを画素単位で減算して誤差ブロックを生成する減算手段と、前記生成された誤差ブロックを符号化する符号化手段と、前記符号化された符号化データを復号して、復号誤差ブロックを生成する復号手段と、前記予測ブロックと前記復号誤差ブロックとを画素単位で加算して復号ブロックを生成し、当該復号ブロックを前記保持手段に出力する出力手段とを更に備えることが望ましい。
【0011】
また、動画像符号化装置では、拡大手段が、前記生成された復号低解像ブロックの画素と予測対象ブロックの上辺および左辺に隣接する復号済みブロックの画素を用いて、前記予測対象ブロックと同じ画素数のブロックを生成することが望ましい。
【0012】
また、動画像符号化装置では、生成手段が、前記予測対象ブロックを所定の変換規則に基づいて当該予測対象ブロックよりも画素数が少ない低解像予測対象ブロックに変換する手段と、低解像予測ブロックを生成する低解像予測ブロック生成手段と、前記低解像予測対象ブロックと前記低解像予測ブロックとを画素単位で減算して低解像誤差ブロックを生成する手段と、当該低解像誤差ブロックを符号化した後、前記低解像誤差ブロックの符号化データを復号することで復号低解像誤差ブロックを生成する手段と、前記復号低解像誤差ブロックと前記低解像予測ブロックとを画素単位で加算して前記低解像ブロックを復元する手段とを含んで構成され、前記低解像予測ブロック生成手段が、前記予測ブロックと同じ画素数の第2の予測ブロックを生成する手段と、前記変換規則に基づいて該第2の予測ブロックから前記低解像予測ブロックを生成する手段とを含んで構成され、前記生成手段は、さらに、前記低解像誤差ブロック内のすべての差分画素値がゼロの場合には、前記第2の予測ブロックを前記予測ブロックとして出力する手段を含んで構成されることが望ましい。
【0013】
上述した動画像復号装置は、前記符号化データを復号し、誤差ブロックを生成する生成手段と、前記予測ブロックと前記誤差ブロックとを画素単位で加算して復号ブロックを生成し、当該復号ブロックを前記保持手段に出力する出力手段とを更に備えることが望ましい。
【0014】
また、動画像復号装置では、拡大手段が、前記生成された低解像ブロックの画素と予測ブロックの上辺および左辺に隣接する復号済みブロックの画素を用いて、前記予測ブロックと同じ画素数のブロックを生成することが望ましい。
【0015】
また、動画像復号装置では、復号手段が、前記入力された符号化データを復号して低解像誤差ブロックを復号する手段と、低解像予測ブロックを生成する低解像予測ブロック生成手段と、前記低解像誤差ブロックと前記低解像予測ブロックとを画素単位で加算して前記低解像ブロックを生成する手段とを含んで構成され、前記低解像予測ブロック生成手段が、前記予測ブロックと同じ画素数の第2の予測ブロックを生成する手段と、所定の規則に基づいて該第2の予測ブロックから前記低解像予測ブロックを生成する手段とを含んで構成され、前記復号手段は、さらに、前記低解像誤差ブロック内のすべての差分画素値がゼロの場合には、前記第2の予測ブロックを前記予測ブロックとして出力する手段を含んで構成されることが望ましい。
【0016】
更に、本発明に係る動画像符号化・復号技術は、装置のみならず、方法あるいはプログラムの形態を採ることもでき、以下にその特徴を説明する動画像符号化方法、動画像復号方法、動画像符号化プログラム、及び動画像復号プログラムは、動画像符号化装置、及び動画像復号装置に関する上述の効果と同様の効果を奏する。
【0017】
すなわち、本発明に係る動画像符号化方法は、復号済み画像を用いてブロック単位で予測ブロックを生成する動画像符号化方法であって、入力された符号化対象の画像を、複数の予測対象ブロックに分割する第1の分割ステップと、前記予測対象ブロックを、当該予測対象ブロックよりも画素数が少ない低解像ブロックに変換及び符号化した後、当該低解像ブロックの符号化データを復号することで、復号低解像ブロックを生成する生成ステップと、前記復号済み画像を用いて、前記生成された復号低解像ブロックを、前記予測対象ブロックと同じ画素数のブロックに拡大する拡大ステップと、前記拡大されたブロックを、所定の分割規則に基づいて分割することで、複数の小ブロックを生成する第2の分割ステップと、前記生成された小ブロックと前記復号済み画像との間のブロックマッチングにより検出された前記生成された小ブロックの動きベクトルに対応する前記復号済み画像内のブロックを予測小ブロックとして生成する予測ステップと、前記生成された複数の予測小ブロックを、前記分割規則に基づいて統合することで、予測ブロックを生成する統合ステップとを含む。
【0018】
本発明に係る動画像復号方法は、復号済み画像を用いてブロック単位で予測ブロックを生成する動画像復号方法であって、入力された符号化データを復号して得られる低解像ブロック情報と前記復号済み画像とに基づいて、予測ブロックよりも画素数が少ない低解像ブロックを生成する復号ステップと、前記復号済み画像を用いて、前記生成された低解像ブロックを、前記予測ブロックと同じ画素数のブロックに拡大する拡大ステップと、当該拡大されたブロックを、所定の分割規則に基づいて分割することで、複数の小ブロックを生成する分割ステップと、前記分割された小ブロックと前記復号済み画像との間のブロックマッチングにより検出された前記分割された小ブロックの動きベクトルに対応する前記復号済み画像内のブロックを予測小ブロックとして生成する予測ステップと、前記生成された複数の予測小ブロックを、前記分割規則に基づいて統合することで、予測ブロックを生成する統合ステップとを含む。
【0019】
また、本発明に係る動画像符号化プログラムは、復号済み画像と、ブロック単位で予測ブロックを生成する機能を有する動画像符号化プログラムとを保持する保持手段を備えるコンピュータに、入力された符号化対象の画像を、複数の予測対象ブロックに分割する第1の分割処理と、前記予測対象ブロックを、当該予測対象ブロックよりも画素数が少ない低解像ブロックに変換及び符号化した後、当該低解像ブロックの符号化データを復号することで、復号低解像ブロックを生成する生成処理と、前記復号済み画像を用いて、前記生成された復号低解像ブロックを、前記予測対象ブロックと同じ画素数のブロックに拡大する拡大処理と、前記拡大されたブロックを、所定の分割規則に基づいて分割することで、複数の小ブロックを生成する第2の分割処理と、前記生成された小ブロックと前記復号済み画像との間のブロックマッチングにより検出された前記生成された小ブロックの動きベクトルに対応する前記復号済み画像内のブロックを予測小ブロックとして生成する予測処理と、前記生成された複数の予測小ブロックを、前記分割規則に基づいて統合することで、予測ブロックを生成する統合処理とを実行させる。
【0020】
本発明に係る動画像復号プログラムは、復号済み画像と、ブロック単位で予測ブロックを生成する機能を有する動画像復号プログラムとを保持する保持手段を備えるコンピュータに、入力された符号化データを復号して得られる低解像ブロック情報と前記復号済み画像とに基づいて、予測ブロックよりも画素数が少ない低解像ブロックを生成する復号処理と、前記復号済み画像を用いて、前記生成された低解像ブロックを、前記予測ブロックと同じ画素数のブロックに拡大する拡大処理と、当該拡大されたブロックを、所定の分割規則に基づいて分割することで、複数の小ブロックを生成する分割処理と、前記分割された小ブロックと前記復号済み画像との間のブロックマッチングにより検出された前記分割された小ブロックの動きベクトルに対応する前記復号済み画像内のブロックを予測小ブロックとして生成する予測処理と、当該生成された複数の予測小ブロックを、前記分割規則に基づいて統合することで、予測ブロックを生成する統合処理とを実行させる。
【0021】
上記目的を達成するために、本発明に係る動画像復号装置は、復号対象となる符号化データを所定のブロック単位で復号し予測ブロックを生成する動画像復号装置であって、復号済み画像が保持される保持手段と、入力された符号化データをエントロピー復号することで、前記復号ブロックよりも画素数が少なく当該復号ブロックと時間的・空間的に同一位置の低解像ブロックを符号化した低解像ブロック情報を生成するエントロピー復号手段と、前記エントロピー復号手段により生成された低解像ブロック情報を復号し、前記復号済み画像を参照して、前記低解像ブロックを生成する低解像ブロック復号手段と、前記低解像ブロック復号手段により生成された低解像ブロックを、所定の分割規則に基づき分割することで、複数の低解像分割ブロックを生成する低解像ブロック分割手段と、前記保持手段に保持されている復号済み画像と、前記低解像ブロック分割手段により生成された低解像分割ブロックとから、当該低解像分割ブロックよりも画素数が多く当該低解像分割ブロックと時間的・空間的に同一位置の予測小ブロックを生成する予測小ブロック生成手段と、前記予測小ブロック生成手段により生成された予測小ブロックを、前記分割規則に対応した所定の統合規則に基づき統合することで、予測ブロックを生成するブロック統合手段とを備えることを特徴とする。
【0022】
また、上記目的を達成するために、本発明に係る動画像符号化装置は、符号化対象となる画像を所定のブロック単位で符号化し予測ブロックを生成する動画像符号化装置であって、復号済み画像が保持される保持手段と、入力された画像を複数の符号化対象ブロックに分割する符号化ブロック分割手段と、前記符号化ブロック分割手段により分割された符号化対象ブロックよりも画素数が少なく当該符号化対象ブロックと時間的・空間的に同一位置の低解像ブロックを符号化することで低解像ブロック情報を生成し、当該低解像ブロック情報を復号し、前記復号済み画像を参照して、復号低解像ブロックを生成する復号低解像ブロック生成手段と、前記復号低解像ブロック生成手段により生成された復号低解像ブロックを、所定の分割規則に基づき分割することで、複数の低解像分割ブロックを生成する低解像ブロック分割手段と、前記保持手段に保持されている復号済み画像と、前記低解像ブロック分割手段により生成された低解像分割ブロックとから、当該低解像分割ブロックよりも画素数が多く当該低解像分割ブロックと時間的・空間的に同一位置の予測小ブロックを生成する予測小ブロック生成手段と、前記予測小ブロック生成手段により生成された予測小ブロックを、前記分割規則に対応した所定の統合規則に基づき統合することで、予測ブロックを生成するブロック統合手段とを備えることを特徴とする。
【0023】
動画像符号化装置と動画像復号装置間で高精度な予測符号化を行うには、動画像符号化装置において、符号化対象ブロックよりも画素数の少ない低解像ブロックを圧縮符号化した低解像ブロック情報をエントロピー符号化して動画像復号装置に送信することが望ましい。低解像ブロックは符号化対象ブロックよりも画素数が少なく、低解像ブロック情報は、符号化対象ブロックの予測に必要とされる従来の予測情報よりも付加情報の符号量が少なくなるため、付加情報の符号量増大を回避し、処理効率を高めることができる。
【0024】
また、動画像復号装置では、低解像ブロック情報から低解像ブロックを復号し、得られた低解像ブロックを複数の低解像分割ブロックに分割し、各低解像分割ブロックと復号済み画像とから、低解像分割ブロックよりも画素数が多く当該低解像分割ブロックと時間的・空間的に同一位置の予測小ブロックを生成し、該予測小ブロックを統合することで予測ブロックを生成することが望ましい。この場合、低解像ブロックをさらに分割して低解像分割ブロックを得て、低解像分割ブロックと復号済み画像とから、予測小ブロックを生成することで、動画像の細かい領域の高精度な予測を行うことが可能な予測小ブロックを得て、該予測小ブロックを統合することで予測ブロックを生成することができる。即ち、少ない符号量の低解像ブロック情報を用いながら、高精度な予測を行い、同時に、処理効率を高めることができる。
【0025】
本発明に係る動画像復号装置では、前記エントロピー復号手段は、前記符号化データをエントロピー復号することで、当該符号化データに含まれ符号化対象ブロックと予測ブロックとの誤差を表す誤差ブロック情報をさらに生成し、前記動画像復号装置は、前記エントロピー復号手段により生成された誤差ブロック情報を復号することで、誤差ブロックを生成する誤差ブロック復号手段と、前記ブロック統合手段により生成された予測ブロックと、前記誤差ブロック復号手段により生成された誤差ブロックとに基づいて、復号ブロックを生成する復号ブロック生成手段とをさらに具備することが望ましい。
【0026】
本発明に係る動画像符号化装置は、前記符号化対象ブロック分割手段により分割された符号化対象ブロックと、前記ブロック統合手段により生成された予測ブロックとの誤差を画素単位で求めることで、当該誤差を表す誤差ブロックを生成する誤差ブロック生成手段と、前記誤差ブロック生成手段により生成された誤差ブロックを符号化することで誤差ブロック情報を生成する誤差ブロック符号化手段と、前記誤差ブロック符号化手段により生成された誤差ブロック情報を復号することで、復号誤差ブロックを生成する誤差ブロック復号手段と、前記ブロック統合手段により生成された予測ブロックと、前記誤差ブロック復号手段により生成された復号誤差ブロックとに基づいて、復号ブロックを生成する復号ブロック生成手段とをさらに具備することが望ましい。
【0027】
また、本発明に係る動画像符号化装置は、前記復号低解像ブロック生成手段により生成された低解像ブロック情報および前記誤差ブロック符号化手段により生成された誤差ブロック情報をエントロピー符号化するエントロピー符号化手段をさらに具備することが望ましい。
【0028】
なお、本発明は、動画像復号方法、動画像符号化方法、動画像復号プログラム、動画像符号化プログラムとして捉えることもでき、以下のように記述することができる。これらは、上記の動画像復号装置、動画像符号化装置と同様の効果を奏する。
【0029】
本発明に係る動画像復号方法は、復号済み画像が保持される保持手段を備え、復号対象となる符号化データを所定のブロック単位で復号し予測ブロックを生成する動画像復号装置における動画像復号方法であって、入力された復号対象の符号化データをエントロピー復号することで、前記復号ブロックよりも画素数が少なく当該復号ブロックと時間的・空間的に同一位置の低解像ブロックを符号化した低解像ブロック情報を生成するエントロピー復号工程と、前記エントロピー復号工程にて生成された低解像ブロック情報を復号し、前記復号済み画像を参照して、前記低解像ブロックを生成する低解像ブロック復号工程と、前記低解像ブロック復号工程にて生成された低解像ブロックを、所定の分割規則に基づき分割することで、複数の低解像分割ブロックを生成する低解像ブロック分割工程と、前記保持手段に保持されている復号済み画像と、前記低解像ブロック分割工程にて生成された低解像分割ブロックとから、当該低解像分割ブロックよりも画素数が多く当該低解像分割ブロックと時間的・空間的に同一位置の予測小ブロックを生成する予測小ブロック生成工程と、前記予測小ブロック生成工程にて生成された予測小ブロックを、前記分割規則に対応した所定の統合規則に基づき統合することで、予測ブロックを生成するブロック統合工程とを有することを特徴とする。
【0030】
本発明に係る動画像符号化方法は、復号済み画像が保持される保持手段を備え、符号化対象となる画像を所定のブロック単位で符号化し予測ブロックを生成する動画像符号化装置における動画像符号化方法であって、入力された符号化対象の画像を複数の符号化対象ブロックに分割する符号化ブロック分割工程と、前記符号化ブロック分割工程にて分割された符号化対象ブロックよりも画素数が少なく当該符号化対象ブロックと時間的・空間的に同一位置の低解像ブロックを符号化することで低解像ブロック情報を生成し、当該低解像ブロック情報を復号し、前記復号済み画像を参照して、復号低解像ブロックを生成する復号低解像ブロック生成工程と、前記復号低解像ブロック生成工程にて生成された復号低解像ブロックを、所定の分割規則に基づき分割することで、複数の低解像分割ブロックを生成する低解像ブロック分割工程と、前記保持手段に保持されている復号済み画像と、前記低解像ブロック分割工程にて生成された低解像分割ブロックとから、当該低解像分割ブロックよりも画素数が多く当該低解像分割ブロックと時間的・空間的に同一位置の予測小ブロックを生成する予測小ブロック生成工程と、前記予測小ブロック生成工程にて生成された予測小ブロックを、前記分割規則に対応した所定の統合規則に基づき統合することで、予測ブロックを生成するブロック統合工程とを有することを特徴とする。
【0031】
本発明に係る動画像復号プログラムは、復号済み画像が保持される保持手段を備え、復号対象となる符号化データを所定のブロック単位で復号し予測ブロックを生成する動画像復号装置、に設けたコンピュータを、入力された復号対象の符号化データをエントロピー復号することで、前記復号ブロックよりも画素数が少なく当該復号ブロックと時間的・空間的に同一位置の低解像ブロックを符号化した低解像ブロック情報を生成するエントロピー復号手段と、前記エントロピー復号手段により生成された低解像ブロック情報を復号し、前記復号済み画像を参照して、前記低解像ブロックを生成する低解像ブロック復号手段と、前記低解像ブロック復号手段により生成された低解像ブロックを、所定の分割規則に基づき分割することで、複数の低解像分割ブロックを生成する低解像ブロック分割手段と、前記保持手段に保持されている復号済み画像と、前記低解像ブロック分割手段により生成された低解像分割ブロックとから、当該低解像分割ブロックよりも画素数が多く当該低解像分割ブロックと時間的・空間的に同一位置の予測小ブロックを生成する予測小ブロック生成手段と、前記予測小ブロック生成手段により生成された予測小ブロックを、前記分割規則に対応した所定の統合規則に基づき統合することで、予測ブロックを生成するブロック統合手段、として機能させることを特徴とする。
【0032】
本発明に係る動画像符号化プログラムは、復号済み画像が保持される保持手段を備え、符号化対象となる画像を所定のブロック単位で符号化し予測ブロックを生成する動画像符号化装置、に設けたコンピュータを、入力された符号化対象の画像を複数の符号化対象ブロックに分割する符号化ブロック分割手段と、前記符号化対象ブロック分割手段により分割された符号化対象ブロックよりも画素数が少なく当該符号化対象ブロックと時間的・空間的に同一位置の低解像ブロックを符号化することで、低解像ブロック情報を生成し、当該低解像ブロック情報を復号し、前記復号済み画像を参照して、復号低解像ブロックを生成する復号低解像ブロック生成手段と、前記復号低解像ブロック生成手段により生成された復号低解像ブロックを、所定の分割規則に基づき分割することで、複数の低解像分割ブロックを生成する低解像ブロック分割手段と、前記保持手段に保持されている復号済み画像と、前記低解像ブロック分割手段により生成された低解像分割ブロックとから、当該低解像分割ブロックよりも画素数が多く当該低解像分割ブロックと時間的・空間的に同一位置の予測小ブロックを生成する予測小ブロック生成手段と、前記予測小ブロック生成手段により生成された予測小ブロックを、前記分割規則に対応した所定の統合規則に基づき統合することで、予測ブロックを生成するブロック統合手段、として機能させることを特徴とする。
【発明の効果】
【0033】
本発明によれば、付加情報の符号量増大が抑制されるので、符号化処理や復号処理における処理効率を高めることができる。
【図面の簡単な説明】
【0034】
【図1】第1実施形態における動画像符号化装置の構成を示す図である。
【図2】第1実施形態における動画像復号装置の構成を示す図である。
【図3】ブロックマッチングを説明するための図である。
【図4】ブロック縮小化処理を説明するための図である。
【図5】ブロック拡大処理を説明するための第1の図である。
【図6】ブロック拡大処理を説明するための第2の図である。
【図7】拡大ブロックの4×4分割を説明するための図である。
【図8】拡大ブロックの2×2分割を説明するための図である。
【図9】4×4小ブロック動き推定処理を説明するための図である。
【図10】2×2小ブロック動き推定処理を説明するための図である。
【図11】ブロック符号化処理を説明するためのフローチャートである。
【図12】低解像ブロック符号化・復号処理を説明するためのフローチャートである。
【図13】小ブロック動き推定処理を説明するためのフローチャートである。
【図14】ブロック復号処理を説明するためのフローチャートである。
【図15】低解像ブロック復号処理を説明するためのフローチャートである。
【図16】動画像符号化処理又は動画像復号処理をコンピュータシステムにより実現するためのプログラムを格納するデータ記憶媒体について説明する図である。
【図17】第1実施形態の動画像符号化プログラムの構成を示す図である。
【図18】第1実施形態の動画像復号プログラムの構成を示す図である。
【図19】ブロック分割を伴うブロックマッチングを説明するための図である。
【図20】ブロックサイズに関する第4の変形態様を説明するための図である。
【図21】第5変形態様におけるブロック拡大処理を説明するための図である。
【図22】第5変形態様における動画像符号化装置の構成を示す図である。
【図23】第5変形態様における動画像復号装置の構成を示す図である。
【図24】第6変形態様におけるブロック縮小化処理を説明するための図である。
【図25】第8変形態様における動画像符号化装置の構成を示す図である。
【図26】第8変形態様における動画像復号装置の構成を示す図である。
【図27】第8変形態様におけるブロック拡大処理を説明するための図である。
【図28】第2実施形態における動画像復号装置を説明する図である。
【図29】第2実施形態における動画像符号化装置を説明する図である。
【図30】第2実施形態におけるブロック復号処理フローを示した図である。
【図31】第2実施形態における低解像ブロック復号処理フローを示した図である。
【図32】第2実施形態における小ブロック予測処理フローを示した図である。
【図33】第2実施形態におけるブロック符号化処理ブローを示した図である。
【図34】第2実施形態における低解像ブロック符号化・復号処理フローを示した図である。
【図35】分割ブロック予測処理を説明するための図である。
【図36】ブロック画素配置を説明するための図である。
【図37】第2実施形態の動画像復号プログラムの構成図である。
【図38】第2実施形態の動画像符号化プログラムの構成図である。
【発明を実施するための形態】
【0035】
[第1実施形態]
以下、添付図面を参照しながら、本発明の第1実施形態について説明する。図1は、本発明に係る予測符号化を実現可能な動画像符号化装置(以下、単に「符号化装置100」と記す。)の構成を示す図である。同様に、図2は、本発明に係る予測復号を実現する動画像復号装置(以下、単に「復号装置200」と記す。)の構成を示す図である。これら各装置の有する構成要素は、バスを介して、相互に信号の入出力が可能なように接続されている。また、両図において、同一の機能を有する構成要素には同一の符号を付す。
【0036】
まず、図1を参照して、符号化装置の構成を説明する。符号化装置100は、符号化ブロック分割部251により、入力フレーム201を、16×16画素の符号化対象ブロック(予測対象ブロック)202に分割する。そして、分割して得られた複数の符号化対象ブロック(予測対象ブロック)202をラスタスキャン順に予測・符号化する装置である。
【0037】
ここで、予測対象ブロックとは、入力フレーム201をブロック分割することにより得られるブロックのうち、次の予測対象となるブロックである。符号化対象ブロックとは、入力フレーム201をブロック分割することにより得られるブロックのうち、次の符号化対象となるブロックである。本実施の形態では、予測処理の対象ブロックと符号化処理の対象ブロックとを同サイズとするために、予測対象ブロックと符号化対象ブロックは一致する。また、予測ブロックとは、過去に復号した画素から予測処理により生成されるブロックである。
【0038】
符号化対象ブロック(予測対象ブロック)202は、まず復号低解像ブロック生成部252に入力される。復号低解像ブロック生成部252は、予測対象ブロック202よりも画素数の少ない復号低解像ブロック110、及び、低解像ブロック情報102を生成する。動き推定部211には、予測対象ブロック202がラスタスキャン順に入力される。動き推定部211は、入力された予測対象ブロック202と、フレームメモリ153に保存されている過去の復号フレームから抽出される複数の候補予測ブロック203との間でブロックマッチングを実行し、1本の低解像ブロック予測用動きベクトル104を検出する。
【0039】
ここで、図3を参照し、ブロックマッチングを説明する。ブロックマッチングとは、予測対象ブロックの動きベクトルを検出する技術である。ブロックマッチングでは、動き推定部211は、過去に復号された復号フレーム520上に探索範囲522を設定し、探索範囲内を探索する。次に、予測対象ブロック202との差分評価値が最小となるブロック105の位置を検出する。そして、復号フレーム上において予測対象ブロック202と空間的に同一位置にある仮想ブロック521から、検出されたブロック105までの移動量を、動きベクトル104とする。なお、差分評価値としては、検出対象のブロックと符号化対象ブロックとの間で対応する画素の差分絶対値和や、動きベクトルの符号量の換算値を当該差分絶対値和に加算した値などを適用することができる。
【0040】
動き補償部133は、低解像ブロック予測用動きベクトル104に対応する低解像予測ブロック106を生成する。具体的には、低解像ブロック予測用動きベクトル104に基づいて、フレームメモリ153に保存されている過去の復号フレーム520から、8×8画素のブロックに対応する画素を取得し、これを低解像予測ブロック106とする。図4に、16×16画素サイズのブロック10と8×8画素サイズの低解像ブロック11との対応関係を示す。図4に示すように、8×8画素サイズの低解像ブロック11は、16×16画素サイズのブロック10から、縦横1ライン間隔で画素を抽出したブロックである。
【0041】
ここで、低解像ブロックを画素抽出によって生成することは、後述する小ブロック予測処理の予測性能を高める効果がある。つまり、低解像ブロックの各画素が高周波成分を保持しているため、符号化装置100は、動き検出の際に、細かい特徴を捉え易くなる。その結果、予測性能が向上する。
【0042】
符号化対象ブロック(予測対象ブロック)202に関しても、縮小化処理部134により、図4に示した規則に従って、符号化対象ブロック202よりも画素数の少ない低解像符号化対象ブロック(低解像予測対象ブロック)205に変換される。減算部213は、低解像符号化対象ブロック(低解像予測対象ブロック)205と低解像予測ブロック106とにおける各画素を減算し、低解像誤差ブロック206を生成する。
【0043】
変換部214は、低解像誤差ブロック206を4個の4×4ブロックに分割した後、これら各4×4ブロックに対して、4×4離散コサイン変換(DCT:Discrete Cosine Transform)を施す。そして、それぞれ16個の低解像誤差ブロックに関する変換係数207を生成する。量子化部215は、変換係数207を量子化し、低解像誤差ブロックの量子化変換係数107を生成する。統合部216は、動きベクトル104と低解像誤差ブロックの量子化変換係数107とを纏め、低解像ブロック情報102として、エントロピー符号化部255に出力する。
【0044】
逆量子化部136は、量子化変換係数107を逆量子化し、低解像誤差ブロックの復号量子化変換係数108を生成する。逆変換部137は、復号量子化変換係数108を逆DCT変換し、復号低解像誤差ブロック109を生成する。加算部217は、低解像予測ブロック106と復号低解像誤差ブロック109とにおける各画素を加算し、復号低解像ブロック110を生成する。
【0045】
拡大ブロック生成部154は、復号低解像ブロック110を、図5に示す拡大ブロック127に拡大する。すなわち、拡大ブロック生成部154は、フレームメモリ153に保存されている現フレームの復号済み画素から、現在予測対象となっているブロック位置の上辺、及び左辺に隣接するブロックの復号画素を、境界復号画素群123として取得し、図5に示すように、復号低解像ブロック110の周囲に配置する。
【0046】
続いて、拡大ブロック生成部154は、図6に示す内挿計算処理により、黒四角で示す画素の内挿値を算出し、拡大ブロック127を生成する。この処理により、8×8ブロックサイズの復号低解像ブロック110は、後述の予測処理によって生成される予測ブロックと同じブロックサイズ(16×16)の拡大ブロック127に拡張される。なお、予測対象のブロックが現フレームの端のブロックである場合には、隣接するブロックが存在しないため、拡大ブロック生成部154は、境界復号画素群123を取得することができない。この場合には、復号低解像ブロック110の境界画素にて、これを代用する。
【0047】
ブロック分割部162は、図7のブロック127aに示すように、拡大ブロック127を、16個の4×4小ブロック112aに分割する。更に、ブロック分割部162は、図8のブロック127bに示すように、拡大ブロック127を、64個の2×2小ブロック112bに分割する。これらの分割された各小ブロックは、1個の4×4小ブロック112aと、これと空間的に同一位置にある4個の2×2小ブロック112bとを1組として、順に、小ブロック予測部152に入力される。
【0048】
小ブロック予測部152は、ブロックマッチングにより小ブロック112の動きベクトル115を検出する小ブロック動き推定部163と、検出された小ブロック動きベクトル115を用いて小ブロック112の予測小ブロック116を生成する小ブロック動き補償部164とから構成される。本実施の形態では、小ブロック予測部152は、これらの機能を用いて、各々の2×2小ブロック112bの予測小ブロック116bを生成する。
【0049】
より具体的には、
(1)小ブロック動き推定部163は、4×4小ブロックの動きベクトル検出処理を実行する。以下、16個の4×4小ブロック112aのうち、特に図9に示す左上端のブロック112a1に着目し、小ブロック予測部152の機能を説明するが、他の15個の4×4小ブロックについても、空間的なブロック位置が異なるだけで、同様の手順によって処理される。図9は、16分割された4×4小ブロックのうち、左上端に位置する4×4小ブロック112a1の動きベクトル115a1の検出手法を説明するための図である。小ブロック動き推定部163は、4×4小ブロック112aが小ブロック動き推定部163に入力されると、過去に復号されたフレーム520(フレームメモリ153に保存)上に探索範囲181a1を設定する。続いて、所与の規則に従って探索範囲内を探索し、4×4小ブロック112a1との差分評価値(小ブロック内における画素の差分絶対値の総和)が最小となる4×4小ブロック116a1の位置を検出し、これを4×4予測小ブロック116a1とする。そして、小ブロック動き推定部163は、4×4小ブロック112a1と空間的に同一位置にある復号フレーム520上の4×4ブロック117a1と、検出された4×4予測小ブロック116a1との間における移動量を、4×4小ブロック112a1の動きベクトル115a1とする。
【0050】
なお、探索範囲181a1は、予め定めたサイズとし、低解像予測ブロックの生成に用いた符号化済みの低解像ブロック予測用動きベクトル104を中心とした位置に設定するものとする。これは、検出される4×4小ブロックの動きベクトルが低解像ブロック予測用動きベクトル104に近い可能性が高いことを考慮してのものであり、探索精度を高める効果や探索範囲を小さく設定できる効果がある。したがって、同一の符号化対象ブロックに属する16個の4×4小ブロックの探索範囲の中心点に関しても同様に、低解像ブロック予測用動きベクトル104の示す位置に設定される。
【0051】
(2)小ブロック動き推定部163は、(1)にて動きベクトルが検出された4×4小ブロック112a1と同一の組に属する4個の2×2小ブロックの動きベクトルを検出する。以下、4個の2×2小ブロックのうち、特に、図10に示す左上端のブロック112b1に着目して説明する。図10は、64分割された2×2小ブロックのうち、左上端に位置する2×2小ブロック112b1の動きベクトル115b1の検出手法を説明するための図である。小ブロック動き推定部163は、2×2小ブロック112b1が小ブロック動き推定部163に入力されると、過去に復号されたフレーム520(フレームメモリ153に保存)上に探索範囲181b1を設定する。続いて、所定の規則に従って探索範囲内を探索し、2×2小ブロック112b1との差分評価値(小ブロック内における画素の差分絶対値の総和)が最小となる2×2小ブロック116b1の位置を検出し、これを2×2予測小ブロック116b1とする。そして、小ブロック動き推定部163は、2×2予測小ブロック112b1と空間的に同一位置にある復号フレーム520上の2×2ブロック117b1と、検出された2×2小ブロック116b1との間の移動量を、2×2小ブロック112b1の動きベクトル115b1とする。更に、残りの3個の2×2小ブロックについても、同様の方法で2×2小ブロックの動きベクトルを検出する。
【0052】
なお、探索範囲181b1は、予め定めたサイズとし、2×2小ブロック112b1と同じ組に属する4×4小ブロック112a1の動きベクトル115a1を中心とした位置に設定する。これは、検出される2×2小ブロックの動きベクトルが空間的に同一位置にあること、すなわち、当該動きベクトルが、同じ組に属する4×4小ブロックの動きベクトルに近い可能性が高いこと、を考慮したものであり、探索範囲を小さく設定できる効果がある。したがって、小ブロック動き推定部163は、同一の組に属する4個の2×2小ブロックの探索範囲の中心点も同様に、空間的に同一位置にある4×4小ブロックの動きベクトル115a1により示される位置に設定する。
【0053】
(3)検出された4本の2×2小ブロックの動きベクトル115bは、小ブロック動き補償部164に入力される。小ブロック動き補償部164は、復号フレーム520(フレームメモリ153に保存)から、2×2小ブロックの動きベクトル115bに対応する予測小ブロック116bを取得する。このような小ブロック予測部152の処理は、復号装置200が符号化データから生成可能なデータのみを用いて実行されるため、復号装置200においても同様の処理結果を得ることができる。つまり、復号装置200でも、符号化装置100と同じ動きベクトルを検出することができる。したがって、各2×2小ブロックの動きベクトルは、符号化する必要がない。
【0054】
ブロック統合部155は、64個の2×2予測小ブロックのそれぞれを、ブロック分割部162における分割規則に基づいて、分割前の元の位置に並べることにより統合し、これにより16×16画素の予測ブロック118を生成する。減算部253は、符号化対象ブロック202と予測ブロック118とにおける各画素の差分値を計算して誤差ブロック208を生成する。
【0055】
誤差ブロック符号化部254は、誤差ブロック208を符号化して誤差ブロック情報119を生成し、エントロピー符号化部255に出力する。図1に示したように、誤差ブロック符号化部254は、変換部218と量子化部219とをその構成要素とする。変換部218は、誤差ブロック208を、4×4単位で4×4離散コサイン変換(DCT)し、16個の4×4ブロックのそれぞれについて、16個の変換係数209を生成する。量子化部219は、各変換係数209を量子化し、誤差ブロック情報(例えば、量子化変換係数)119を生成する。
【0056】
誤差ブロック復号部156は、誤差ブロック情報119を復号して復号誤差ブロック121を生成する。図1に示したように、誤差ブロック復号部156は、逆量子化部140と逆変換部141とをその構成要素とする。逆量子化部140は、16個の4×4ブロックそれぞれについて、16個の量子化変換係数119を逆量子化することにより、復号量子化変換係数120を生成する。逆変換部141は、各4×4ブロックの復号量子化変換係数120を逆DCT変換することで、復号誤差ブロック121を生成する。
【0057】
加算部157は、予測ブロック118と復号誤差ブロック121とにおける各画素を加算し、復号ブロック122を生成する。生成された復号ブロック122はフレームメモリ153に保存され、その結果、復号済み画像は更新される。エントロピー符号化部255は、低解像ブロック情報102と誤差ブロック情報119とをエントロピー符号化することにより、符号化データ101に多重化する。
【0058】
次に、符号化装置100の動作を説明する。併せて、本発明に係る動画像符号化方法を構成する各ステップについて説明する。図11は、予測符号化の対象ブロックの符号化処理を説明するためのフローチャートである。なお、図11のブロック符号化処理において、後述するブロック復号処理とその内容及び処理結果が共通するステップの符号を図中括弧内に示す。
【0059】
まず、符号化ブロック分割部251により入力フレーム201が分割されると、符号化装置100は、符号化対象ブロック202を得る。S1では、復号低解像ブロック生成部252が、図12に示す低解像ブロック符号化・復号処理を実行する。
【0060】
図12のS101では、次の符号化対象ブロック(予測対象ブロック)が入力される。S102では、動き推定部211が、予測対象ブロックと、フレームメモリに保存されている過去に復号された復号フレームとから、低解像ブロック予測用動きベクトルを検出する。なお、動きベクトルの検出手法は、復号低解像ブロック生成部252の構成説明において既述のため、省略する。
【0061】
S103では、動き補償部133が、フレームメモリの復号フレームから低解像ブロック予測用動きベクトルに対応する低解像予測ブロックを取得する。S104では、縮小化処理部134が、図4を参照して説明した上述の変換規則に基づいて、予測対象ブロックを低解像予測対象ブロックに変換する。S105では、減算部213が、低解像予測対象ブロックと低解像予測ブロックとの間において各画素を減算し、低解像誤差ブロックを生成する。
【0062】
S106では、変換部214が低解像誤差ブロックをDCT変換した後、量子化部215がDCT係数を量子化する。その結果、低解像誤差ブロックの量子化変換係数が生成される。なお、S106における量子化精度は、後述する図11のS8における量子化精度よりも高く設定する。これは、符号化装置100が低解像ブロックの画質を高くすることにより、S3、S4における2×2小予測ブロック検出精度を高くすることができる、という効果による。
【0063】
図12のS107では、逆量子化部136と逆変換部137とが、低解像誤差ブロックの量子化変換係数を復号(逆量子化・逆変換)する。その結果、復号低解像誤差ブロックが生成される。S108では、加算部217が、低解像予測ブロックと復号低解像誤差ブロックとの間で各画素を加算し、復号低解像ブロックを生成する。そして、統合部216が、動きベクトルと低解像誤差ブロックの量子化変換係数とを統合して低解像ブロック情報を生成する(S109)。
【0064】
図11に戻り、S2では、拡大ブロック生成部154が、図5及び図6に示したように、復号低解像ブロックを、予測ブロックと同サイズ(16×16画素)の拡大ブロック127に拡大する。拡大ブロックの生成手法に関しては、拡大ブロック生成部154の機能説明にて、図5、図6を参照して説明した通りであるので省略する。
【0065】
S3では、図7、図8に示したように、ブロック分割部162が、拡大ブロックを4×4小ブロックと2×2小ブロックとに分割する。分割された各小ブロックは、1個の4×4小ブロックと、空間的にこれと同一位置にある4個の2×2小ブロックとを1組として、小ブロック動き推定部163に入力される。
【0066】
S4では、小ブロック動き推定部163が、上記組単位で、4個の2×2小ブロックの動きベクトルを検出する。小ブロック動き推定処理は、1個の4×4小ブロックと4個の2×2小ブロックとに対してそれぞれ実行される。その順序は、先に4×4小ブロックに対する処理が実行され、その後、4個の2×2小ブロックに対する処理が実行される。
【0067】
ここで、図13を参照して、小ブロック動き推定処理を説明する。まず、S41では小ブロックが入力され、評価値Eminが、最大整数値(初期値)として設定される(S42)。次に、S43にて、小ブロックのサイズが判定される。その後、その判定結果に応じた処理S441またはS442が実行される。すなわち、過去の復号フレーム520(フレームメモリ153に保存)上に、探索範囲のサイズと探索範囲の中心位置(探索中心点)とが設定される。
【0068】
続いて、復号フレーム520の探索範囲内における予測小ブロックの候補が、その探索中心点からスパイラル順に探索され、その結果、上記評価値Eminが最小となる予測小ブロックが特定される。具体的には、小ブロック動き推定部163は、フレームメモリ153の復号フレームから、次の候補の予測小ブロック113を取得し(S45)、評価値Eを計算する(S46)。評価値Eは、小ブロックと予測小ブロックとの間における画素差分値の絶対値の総和である。
【0069】
S47では、評価値Eが評価値Eminよりも小さいか否かが判定される。評価値Eが評価値Eminより小さい場合には(S47;YES)、評価値Eminが評価値Eに更新されるとともに、小ブロックの動きベクトルが、小ブロックの位置から予測小ブロックの現候補ブロックの位置までの移動量に更新される(S48)。一方、評価値Eが評価値Emin以上の場合には(S47;NO)、S48の処理は省略され、S49に移行する。
【0070】
S49では、探索範囲内における全候補の予測小ブロックの探索が終了したか否かが判定される。以降、S49にて探索範囲内における全候補の予測小ブロックの探索が終了したと判断されるまで、S45〜S49の一連の処理が繰り返し実行される。そして、上記探索が終了したと判断された時点で、小ブロック動き推定処理は終了する。
【0071】
図11に戻り、S5では、小ブロック動き補償部164が、S3とS4にて検出された4本の2×2小ブロックの動きベクトルに対応する2×2予測小ブロック116を、フレームメモリ153の復号フレームからそれぞれ取得する。S3〜S5の各処理は、16組の小ブロックについて実行される。
【0072】
S6では、ブロック統合部155が、S3で用いた分割規則に基づいて、64個の2×2予測小ブロックを分割前の位置に並べることにより、16×16画素の予測ブロックに統合する。S7では、減算部253が、符号化対象ブロックと予測ブロックとの間で各画素を減算し、誤差ブロックを生成する。S8では、誤差ブロック符号化部254が、誤差ブロックを符号化(変換・量子化)して、誤差ブロック情報(例えば、量子化変換係数)を生成する。
【0073】
S9では、誤差ブロック復号部156が、上記誤差ブロック情報を復号(逆量子化・逆変換)し、復号誤差ブロックを生成する。S10では、加算部157が、予測ブロックと復号誤差ブロックとの間で各画素を加算し、復号ブロックを生成する。生成された復号ブロックが、フレームメモリ153の現在の復号フレームに保存されると(S11)、エントロピー符号化部255は、低解像ブロック情報と誤差ブロック情報とをエントロピー符号化し(S12)、ブロック符号化処理は終了する。
【0074】
次いで、図2に示した復号装置200の構成を説明する。復号装置200は、ブロック単位の予測処理と符号化データ101の復号処理とを実行し、ブロック単位でラスタスキャン順に復号ブロック122を再生する装置である。本実施の形態では、予測処理により生成される予測ブロックと復号ブロックとは同サイズであり、共に16×16画素とする。
【0075】
エントロピー復号部150は、復号対象とする復号ブロックの生成に必要とされる符号化データ101の入力を受けると、エントロピー復号により、符号化データ101を、低解像ブロック情報102と誤差ブロック情報119とに分離する。低解像ブロック復号部151は、低解像ブロック情報102を復号することにより、予測ブロックよりも画素数の少ない8×8画素の復号低解像ブロック110を生成する。
【0076】
分離部131は、低解像ブロック情報102を、低解像ブロック予測用動きベクトル104と低解像誤差ブロック情報(例えば、低解像誤差ブロックの量子化変換係数)107とに分離する。動き補償部133は、低解像ブロック予測用動きベクトル104に対応する低解像予測ブロック106を、フレームメモリ153に保存されている復号フレーム520から取得する。
【0077】
逆量子化部136は、低解像誤差ブロックの量子化変換係数107を逆量子化して、低解像誤差ブロックの復号量子化変換係数108を生成する。逆変換部137は、復号量子化変換係数108を逆DCT変換することにより、復号低解像誤差ブロック109を生成する。加算部135は、低解像予測ブロック106と復号低解像誤差ブロック109とにおける各画素の加算値を算出し、復号低解像ブロック110を生成する。
【0078】
なお、拡大ブロック生成部154、ブロック分割部162、小ブロック予測部152、及び、ブロック統合部155の有する各機能と処理結果は、符号化装置100の説明と同様である。したがって、その説明、及び説明のための図示は省略する。
【0079】
また、誤差ブロック復号部156は、誤差ブロック情報(例えば、量子化変換係数)119を復号して復号誤差ブロック121を生成する。誤差ブロック復号部156は、逆量子化部140と逆変換部141とを有する。逆量子化部140は、量子化変換係数119を逆量子化し、復号量子化変換係数120を生成する。逆変換部141は、復号量子化変換係数120を逆DCT変換し、復号誤差ブロック121を生成する。
【0080】
加算部157は、予測ブロック118の各画素について、復号誤差ブロック121と空間的に一致する位置の画素と当該画素との加算値を算出し、これにより復号ブロック122を生成する。復号ブロック122はフレームメモリ153に保存され復号済み画像が更新される。
【0081】
続いて、復号装置200の動作を説明し、併せて、本発明に係る動画像復号方法を構成する各ステップについて説明する。なお、図14のブロック復号処理において、図11に示したブロック符号化処理とその内容及び処理結果が共通するステップの符号を図中括弧内に示す。
【0082】
次のブロックの復号処理が開始されると、まず、T1にて、当該ブロックの復号に必要とされる1ブロック分の符号化データが、エントロピー復号部150に入力される(T1)。T2では、エントロピー復号部150が、入力された符号化データをエントロピー復号し、低解像ブロック情報と誤差ブロック情報とを得る。これらの情報のうち、低解像ブロック情報は、低解像ブロック復号処理404により、低解像ブロック復号部151に入力され、復号低解像ブロックに復号される。
【0083】
ここで、図15を参照し、T3における低解像ブロック復号処理を説明する。T31では、低解像ブロック情報が分離部131に入力される。分離部131は、T32にて、低解像ブロック情報を動きベクトルと低解像誤差ブロック情報とに分離する。T33では、動き補償部133が、過去に復号された復号フレーム520(フレームメモリ153に保存)から、低解像ブロック予測用動きベクトル104に対応する低解像ブロック予測ブロック106を取得する。
【0084】
T34では、逆量子化部136が、低解像誤差ブロック情報としての量子化変換係数107を逆量子化し、復号量子化変換係数108を生成する。更に、逆変換部137が、この復号量子化変換係数108を逆DCT変換し、復号低解像誤差ブロック109を生成する。T35では、加算部135が、低解像予測ブロック106と復号低解像誤差ブロック109との各画素を加算して、復号低解像ブロック110を生成する。
【0085】
図14に戻り、図5及び図6に示したように、拡大ブロック生成部154が、復号低解像ブロック110を予測ブロックと同サイズ(16×16画素)の拡大ブロック127に拡大する(T4)。拡大ブロックの生成手法に関しては、拡大ブロック生成部154の機能説明にて、図5、図6を参照して説明した通りであるので省略する。
【0086】
T5〜T7では、ブロック分割部162と小ブロック予測部152とが、64個の2×2小ブロックに拡大ブロックを分割し、64個の2×2予測小ブロックを生成する。なお、図14のT5,T6の各処理は、図11に示したS3,S4の各処理とそれぞれ同様であるので、その詳細な説明は省略する。また、T7の処理は、図11のS5の処理と同様であるので、その説明は省略する。
【0087】
T8では、ブロック統合部155は、T6及びT7にて生成された64個の2×2予測小ブロックを、T5における分割規則に基づいて、分割前の元の位置に並べる。これにより、上記予測小ブロックを16×16画素の予測ブロックに統合する。
【0088】
T9では、誤差ブロック復号部156が、誤差ブロック情報(例えば量子化変換係数)を復号(逆量子化・逆変換)し、復号誤差ブロックを生成する。T10では、加算部157が、予測ブロックと復号誤差ブロックとの各画素を加算し、復号ブロックを生成する。T11では、復号ブロックがフレームメモリ153に保存され、その結果、復号済み画像が更新される。
【0089】
図16(a)は、本実施の形態における画像符号化処理を実現するための動画像符号化プログラム、及び、同画像復号処理を実現するための動画像復号プログラムが格納されたフレキシブルディスクの物理フォーマットを例示している。また、図16(b)は、上記フレキシブルディスクの正面の外観と断面構造を示す。フレキシブルディスクFDはケースF内に内蔵され、当該ディスクの表面には、外周からは内周に向かって同心円状に複数のトラックTrが形成されている。これら各トラックは、角度方向に、16個のセクタSeに分割されている。フレキシブルディスクFD上に割り当てられた領域には、データとして、上述のプログラムが記録されている。
【0090】
フレキシブルディスクFDに上記プログラムを記録する場合には、図16(c)に示すように、コンピュータシステムCsからフレキシブルディスクドライブFDDを介する。フレキシブルディスクFD内のプログラムにより、符号化装置100または復号装置200をコンピュータシステムCs中に構築する場合には、フレキシブルディスクドライブFDDが、上記プログラムをフレキシブルディスクFDから読み出し、コンピュータシステムCsに転送する。
【0091】
図17は、本発明に係る動画像符号化プログラム261の構成を示す図である。動画像符号化プログラム261は、記録媒体260に記録されている。記録媒体260は、例えば、上述したフレキシブルディスクであるが、光ディスクやICカード、CD−ROM、DVD、あるいは半導体メモリであってもよい。コンピュータシステムCsには、PC(Personal Computer)に限らず、CPUを具備し、ソフトウエアによる情報処理や制御を行うDVDプレーヤ、セットトップボックス、携帯電話などを含む。
【0092】
次に、本発明に係る動画像符号化プログラムおよび動画像復号プログラムの構成について説明する。動画像符号化プログラム261は、図17に示すように、記録媒体260に形成されたプログラム格納領域260a内に格納されている。動画像符号化プログラム261は、動画像符号化処理を統括的に制御するメインモジュール261aと、符号化対象ブロック分割モジュール261bと、復号低解像ブロック生成モジュール261cと、低解像ブロック拡大モジュール216dと、拡大ブロック分割モジュール261eと、小ブロック予測モジュール261fと、ブロック統合モジュール261gとを、構成単位として有する。これら各モジュールを実行させることによって実現する機能は、上述した動画像符号化装置100の符号化ブロック分割部251、復号低解像ブロック生成部252、拡大ブロック生成部154、ブロック分割部162、小ブロック予測部152、ブロック統合部155の各機能とそれぞれ同様である。
【0093】
動画像復号プログラム161は、図18に示すように、記録媒体160に形成されたプログラム格納領域160a内に格納されている。動画像復号プログラム161は、動画像復号処理を統括的に制御するメインモジュール161aと、エントロピー復号モジュール161bと、低解像ブロック復号モジュール161cと、低解像ブロック拡大モジュール161dと、拡大ブロック分割モジュール161eと、小ブロック予測モジュール161fと、ブロック統合モジュール161gとを、構成単位として有する。これら各モジュールを実行させることによって実現する機能は、上述した動画像復号装置200のエントロピー復号部150、低解像ブロック復号部151、拡大ブロック生成部154、ブロック分割部162、小ブロック予測部152、ブロック統合部155の各機能とそれぞれ同様である。
【0094】
なお、動画像符号化プログラム261は、その一部若しくは全部が、通信回線等の伝送媒体を介して伝送され、他の機器により受信されて記録(インストールを含む)される構成としてもよい。動画像復号プログラム161に関しても同様に、その一部若しくは全部が、通信回線等の伝送媒体を介して伝送され、他の機器により受信されて記録(インストールを含む)される構成としてもよい。
【0095】
なお、上記実施の形態に記載の態様は、本発明に係る動画像符号化・復号技術の好適な一例であり、本発明は、かかる態様に限定されるものではない。
【0096】
(第1の変形態様)
かかる態様は、小ブロックの動きベクトル検出方法に関する。上記実施形態では、小ブロックの動きベクトル検出の際の探索範囲を、4×4小ブロックで±32、2×2小ブロックで±1としたが、異なる探索範囲でもよい。また、小ブロックの動きベクトル成分の精度についても、整数値だけでなく、実数値とすることも可能である。実数値には、1/2画素、1/4画素などがあり、ベクトル成分が実数値の場合における予測画素の算出方法としては、例えばH.264(“Text of ISO/IEC 14496-10 Advanced Video Coding 3rd Edition”,September 2004.)に記載されている方法を適用できる。
【0097】
また、上記実施形態では、小ブロックの動きベクトル検出時における探索範囲の中心点に関しては、4×4小ブロックでは低解像ブロック予測用動きベクトル、2×2小ブロックでは空間的に同一位置の4×4小ブロックの動きベクトルとした。しかし、符号化側と復号側とで一意に決定できる値であれば、これに限定されない。例えば、0ベクトルや、中央値予測などの方法により隣接小ブロックの動きベクトルから選定される予測ベクトルを、探索範囲の中心点に設定することもできる。
【0098】
更に、小ブロックの動きベクトルを検出する際の評価値を画素差分値の絶対値和としたが、これに限定されず、符号化側と復号側とで一意に決定できる評価方法であればよい。例えば、画素差分値の二乗和や、画素位置に応じた画素差分値の重み付け絶対値和(二乗和)などへの変形も可能である。予測対象の復号フレームを1フレームに限定したが、複数の復号済みフレームを対象とし、小ブロック毎に異なる復号フレームから予測小ブロックを生成してもよい。このとき、評価値として画素差分値の絶対値和など、符号化側と復号側とで同じ評価値を用いれば、復号フレームの選択情報を符号化する必要はなくなり、効率的である。
【0099】
(第2の変形態様)
かかる態様は、予測方法に関する。予測方法として、時間方向の予測に限定して説明したが、符号化対象ブロックまたは復号ブロックと同一フレーム内の既に復号された復号済み画像を用いた空間方向の予測にも、同様の方法を適用することができる。すなわち、上述した復号低解像ブロックを、イントラ予測を用いて拡大することも可能である。より具体的には、復号装置200が、復号低解像ブロックを再分割した低解像ブロックを分割し、同じフレーム内の隣接する復号済みの画素を用いて、例えばH.264(“Text of ISO/IEC 14496-10 Advanced Video Coding 3rd Edition”, September 2004.)の複数のイントラ予測モードから、最適なモードを決定した上で、当該復号低解像ブロックに該当する高解像度信号のブロックを予測する場合なども本発明に含まれる。この場合、各縮小分割ブロックの予測モードを明示的に伝送する必要がないため、少ない補助情報で高精度に対象ブロックを予測できるという優れた効果を奏する。また、上述した時間方向の予測と空間方向の予測とを組み合わせて高精度の予測を行ってもよい。例えば、拡大ブロック生成部154にて、イントラ予測による復号低解像ブロックの拡大処理を実行し、この拡大ブロックを小ブロックに分割して、小ブロック予測部152の処理を実現する方法も有効である。
【0100】
(第3の変形態様)
かかる態様は、誤差ブロックの符号化に関する。予測ブロックと符号化対象ブロックとの間の誤差ブロックを符号化する処理は必須ではない。つまり、誤差ブロック符号化部254(図1)と誤差ブロック復号部156(図1と図2)とは省略することもできる。また、符号化対象ブロックあるいは復号ブロック毎に符号化の有無を決めてもよい。誤差ブロック、及び低解像誤差ブロックの具体的な符号化・復号方法については、上述の方法に限定されるものではない。更に、上記実施の形態では、符号化対象ブロックと予測対象ブロックとを同じブロックサイズとしたが、異なるサイズでも本発明の予測方法は実現可能である。また、誤差信号の符号化は、ブロック単位に限定されるものではなく、画面単位で行ってもよい。但し、この場合には、低解像ブロックの拡大処理に用いるブロック境界の復号画素を用意すべく、低解像ブロックの拡大処理を実行する前に、隣接予測ブロックの生成処理と予測誤差信号の復号処理とを実行する必要がある。
【0101】
(第4の変形態様)
かかる態様は、ブロックサイズに関する。上記実施の形態では、低解像ブロック予測用の動きベクトルは、符号化対象ブロックと復号ブロックとに1本ずつとした。しかし、図19に示すように、符号化対象ブロックを複数のブロックに分割し、分割ブロック単位でブロックマッチングを実施する方法に対しても、本発明に係る予測方法は適用可能である。この場合には、符号化対象ブロック単位で小ブロックのサイズが決定されるとともに、分割ブロックのサイズ情報と複数個の動きベクトル(104a,104b,104c,104d)とが符号化される。
【0102】
更に、図19の例では、4×4小ブロックの動きベクトル検出時における探索範囲の中心点は、4本の低解像ブロック予測用の動きベクトルから空間的に同一の位置の動きベクトルが示す位置に設定できる。
【0103】
なお、図19では、分割方法を8×8単位としているが、これに限定されるものではなく、H.264(“Text of ISO/IEC 14496-10 Advanced Video Coding 3rd Edition”, September 2004.)に示すような複数の分割方法を適応的に利用することができる。また、符号化対象ブロックサイズと復号ブロックサイズとに関しても、16×16に限定されるものではない。すなわち、32×32、8×8、4×4など、異なるブロックサイズであっても、そのサイズに応じて小ブロックのサイズを変更することにより、本発明を適用できる。
【0104】
小ブロック予測部152(図6のS3とS4)における小ブロックのサイズも、4×4と2×2とに限定されるものではない。例えば、図20に示す5×5小ブロック112cや3×3小ブロック112dのように、隣接小ブロックを相互にオーバラップさせることで、小ブロックサイズを拡大してもよい。小さいブロックサイズは、ブロック内に特徴がない場合に予測性能が落ちる傾向があるため、かかる態様を採ることで、局所的な予測性能の向上が見込まれる。なお、小ブロックサイズを、5×5と4×4並びに3×3と2×2で適応的に切り替える方法も有効である。これと同様に、変換・量子化を実行する際のブロックサイズも限定されない。すなわち、符号化装置100及び復号装置200は、誤差ブロックを、例えば8×8ブロックや16×16ブロック単位で変換・量子化してもよい。
【0105】
(第5の変形態様)
かかる態様は、復号低解像ブロックの拡大方法に関する。上記実施の形態では、拡大ブロック生成部154は、復号低解像ブロックを拡大するために参照する境界復号画素群123を、予測ブロックの上辺と左辺に隣接するブロックの復号画素から取得するものとした。しかし、図21に示すように、境界復号画素群123を、隣接するブロックの復号低解像ブロックの復号画素から取得して、拡大ブロックを生成することもできる。
【0106】
上述の変形態様を実現するための符号化装置300及び復号装置400を、図22、図23にそれぞれ示す。符号化装置300、復号装置400は、符号化装置100、復号装置200と以下の点において相違する。
(i)復号低解像ブロック110を一度フレームメモリ153に保存する点
(ii)隣接ブロックに空間的に対応する復号低解像ブロックの復号画素を境界復号画素として、復号低解像ブロックに統合する点
(iii)境界復号画素を含む低解像ブロック124(図21参照)を単位として、拡大ブロック生成部154に入力する点このように符号化装置300及び復号装置400を構成することで、境界復号画素を変更することが可能となる。
【0107】
なお、図1と図2に示した各装置の特徴と、図22と図23に示した各装置の特徴とを、条件に応じて適応的に組み合わせてもよい。例えば、各装置は、隣接するブロックの低解像ブロック用動きベクトルが現在の予測対象のブロックと同じ場合には、復号低解像ブロックの復号画素を境界復号画素として用いる。異なる場合には、復号フレームの復号画素を境界復号画素として用いる。また、複数の予測方法をブロック単位で適応的に切り替える符号化方式では、現在の予測対象ブロックの隣接ブロックの予測方法を条件として、境界復号画素を変更してもよい。
【0108】
更に、境界復号画素を用いることなく、フレーム端での処理のように、低解像予測ブロック内の画素のみから拡大ブロックを生成するものとしてもよい。また、上記実施の形態では、境界復号画素を現フレームの復号済み画像から抽出したが、空間的に同一位置にある過去の復号フレームの復号画素を用いることもできる。境界復号画素は、予測対象のブロックに隣接する画素としたが、復号済みの画素であれば、これに限定されることはなく、ブロック境界から離れた復号画素、あるいは、複数の復号画素から生成した画素などを用いてもよい。
【0109】
(第6の変形態様)
かかる態様は、縮小化方法に関する。上記実施の形態では、図4に示したように、ブロックの縮小化処理として、縦・横方向に1ライン間隔で間引く方法を採ったが、この方法に限定されない。例えば、低解像ブロックの画素数は、符号化装置100と復号装置200間で予め定めておけばよく、復号ブロック(符号化対象ブロック)よりも画素数の少ない任意の形状とすることができる。例えば、図4に示した低解像予測ブロック106の各画素を縦横方向に1画素ずらしたブロックや、図24の低解像予測ブロック1061のように画素数を半分としたブロックに対しても、本発明は適用可能である。
【0110】
また、上記実施の形態では、ブロックの縮小化を、画素間引き処理のみにより実現したが、ブロックの画素にローパスフィルタ処理を施した後に間引き処理を行ってもよい。但し、動き探索の精度を高めるためには、小ブロック動き推定部163への入力となる候補予測ブロック113に対しても、同一のローパスフィルタ処理を施す必要がある。
【0111】
(第7の変形態様)
かかる態様は、低解像ブロック予測に関する。上記実施の形態では、各装置は、低解像予測ブロックを、フレームメモリ153から直接取得したが、低解像予測ブロック106を生成するために必要とするデータ15を、フレームメモリ153に保存されている過去の復号フレーム520から取得してもよい。その後、動き補償部133の内部で、図3に示した16×16画素サイズの予測ブロック105を生成し、予測ブロック105を8×8画素サイズの低解像予測ブロック106に変換してもよい。
【0112】
また、上記実施の形態では、各装置は、16×16画素の予測対象ブロックを動き推定部211への入力としたが、低解像ブロック予測は本実施例に記載した方法には限定されず、例えば、予測対象ブロックに図4の変換規則を施した低解像ブロックを上記入力としてもよい。この場合、低解像予測ブロックと低解像符号化対象ブロック(低解像予測対象ブロック)との予測誤差が小さくなるように、低解像ブロック予測用動きベクトルを選定することにより、低解像誤差ブロックの符号量が削減される効果がある。
【0113】
(第8の変形態様)
かかる態様は、複数予測モードの符号化に関する。上述の実施形態では、符号化対象ブロック(復号ブロック)の予測方法を、本発明に係る予測方法のみとした。しかし、背景技術に記載したような、複数の動きベクトルを符号化する従来のブロック予測方法と、発明に係る予測方法との何れかを、符号化対象ブロック(復号ブロック)単位で、適宜選択するものとしてもよい。
【0114】
更に、上述の予測方法では、16×16ブロック内の全画素を、本発明に係る予測方法により予測するものとした。しかし、16×16ブロックを分割し、分割ブロック単位で、本発明の予測方法と、低解像ブロック予測用動きベクトルを用いたフレーム間予測方法とを適応的に切り替えてもよい。例えば、16×16符号化対象ブロック(復号ブロック)を4個の8×8ブロックに分割し、8×8単位での適応予測を行う場合において、その実施を可能とする符号化装置500を図25に示す。同様の復号装置600を図26に示す。本態様における、復号低解像ブロック及び拡大ブロックを図27に示す。
【0115】
図25の符号化装置500は、図1に示した符号化装置100と、以下の点において相違する。第1に、拡大ブロック生成部1541は、復号低解像ブロックの拡大処理を8×8単位で実行する。すなわち、拡大ブロック生成部1541は、4×4単位で復号低解像ブロックを8×8拡大ブロックに拡張し、ブロック分割部162に出力する。拡大ブロック生成部1541は、図27に示すように、8×8復号低解像ブロック110を、4個の4×4低解像ブロック110a,110b,110c,110dに分割する。そして、4×4ブロック単位で、境界復号画素群128a〜128dと統合し、8×8拡大ブロック1271に拡大する。拡大された8×8拡大ブロックは、ブロック分割部165にて、ブロック1271aとブロック1271bとに示すように、4×4小ブロックと2×2小ブロックとに分割される。そして、小ブロック予測部152に入力される。
【0116】
なお、境界復号画素群128a〜128dには、復号画素を用いるため、この適応予測方式では、8×8単位で予測誤差の符号化処理を実行する必要がある。但し、既存の符号化方式では、通常8×8単位で予測誤差の符号化処理が実行されるため、予測処理と誤差符号化処理の実行単位を切り替えるだけで、上記適応予測方式にも対応することができる。
【0117】
第2に、判定部256は、8×8ブロック単位で、予測方法と予測ブロックの選択を行う。判定部256には、予測対象ブロック202と、動き補償部1331が低解像ブロック予測用動きベクトル104を用いてフレームメモリ153から読み出した16×16予測ブロック105とが入力される。その後、これらのブロックは、4個の8×8符号化対象ブロックと、16×16予測ブロックを4分割した低解像予測ブロック選択用8×8予測ブロックとにそれぞれ分割される。
【0118】
一方、判定部256には、ブロック統合部155から、本発明の小ブロック予測方法にて生成された8×8予測ブロック118が入力される。判定部256は、2種類の予測ブロックについて、符号化対象ブロックとの画素差分絶対値和を8×8単位で計算し、値が小さい方の8×8予測ブロックを選択し、16×16画素の予測ブロック126に統合する。そして、選択された予測方式の選択情報125を統合部2161に出力する。
【0119】
第3に、統合部2161は、選択情報125を、低解像ブロック情報1021に統合する。選択情報125が低解像ブロック予測用動きベクトル104を用いた予測方式を選択している場合には、8×8ブロックサイズの復号低解像ブロックのうち、対応する4×4ブロック領域の情報は必要ない。このため、かかる場合には、対応する4×4低解像誤差ブロックの量子化変換係数はすべてゼロとなるため、低解像ブロック情報1021に統合しない。
【0120】
図26の復号装置600は、図1に示した復号装置200と、以下の点において相違する。第1に、拡大ブロック生成部1541は、復号低解像ブロックの拡大処理を8×8単位で実行する。その手法は、図27を用いて説明した通りであるので、詳細は省略するが、復号側においても、8×8予測ブロックが生成された時点で、対応する8×8予測誤差ブロックの復号処理を実行し、8×8復号ブロックを復号する必要がある。
【0121】
第2に、スイッチ159は、低解像ブロック情報1021から分離された選択情報125に従って、2種類の予測方式を切り替える。但し、選択情報125が動きベクトル104を用いた予測方式を選択している場合には、8×8復号低解像ブロックのうち、対応する4×4ブロック領域の情報が、低解像ブロック情報1021に含まれていない。つまり、低解像誤差ブロックの量子化係数はすべてゼロとなる。このため、当該領域については、該当する4×4低解像ブロックの復号処理、及び本発明の小ブロック予測処理は実行されない。
【0122】
なお、第8の変形態様においても、上述した第5の変形態様にて説明したブロック拡大方法の適用は可能であり、予測対象ブロックの隣接ブロックの予測方法に応じて、ブロック拡大方法を適応的に切り替えることができる。
【0123】
[第2実施形態]
以下、図面を参照しながら、本発明に係る実施形態を説明する。
【0124】
[装置構成]
図28には、本発明の予測復号を実現する動画像復号装置(以下「復号装置」と称する)の構成を示し、図29には、本発明の予測符号化を実現する動画像符号化装置(以下「符号化装置」と称する)の構成を示す。なお、図28及び図29において同じ番号が付された処理部は、同じ機能を有するものとする。
【0125】
[符号化装置の構成]
図29の符号化装置は、入力フレーム201を符号化ブロック分割部251にて8×8の符号化対象ブロック202に分割し、分割で得られた複数の符号化対象ブロック202をラスタスキャン順に符号化する装置である。第1実施形態と同様に、本実施形態でも予測対象の予測対象ブロックと符号化対象の符号化対象ブロックのブロックサイズを同じとするため、予測対象ブロックと符号化対象ブロックは一致する。また、予測ブロックとは、過去に復号した画素から予測処理により生成されるブロックである。なお、予測対象ブロックと符号化対象ブロックのブロックサイズが異なっても良い。符号化対象ブロック202はまず、復号低解像ブロック生成部252に入力される。
【0126】
復号低解像ブロック生成部252は、「符号化対象ブロック(予測対象ブロック)202よりも画素数の少ない復号低解像ブロック110」及び「低解像ブロック情報102」を生成する処理部である。ここで、復号低解像ブロック生成部252の動作を説明する。動き推定部211には、符号化対象ブロック(予測対象ブロック)202がラスタスキャン順に入力され、動き推定部211は、入力された符号化対象ブロック(予測対象ブロック)202とフレームメモリ153に保持されている複数の候補予測ブロック203との間でブロックマッチングを実施し、1本の動きベクトル104を検出する。動きベクトル予測・符号化部212は、検出された動きベクトル104を入力し、各成分の値について予測動きベクトルの各成分の値を減算した差分動きベクトル103を算出する。予測動きベクトルは、現ブロックの左、直上、右上(フレームの外の場合は、左上)の隣接3ブロックの動きベクトルを対象とした中央値予測(成分毎)により算出される。動き補償部133は、フレームメモリ153に保持されている復号済みの復号フレーム520から、動きベクトル104に対応するブロック105を取得する。ブロック105は、縮小化処理部134によって、図36に示すように、縦横1ライン置きに画素を抽出した低解像予測ブロック106に変換される。さらに符号化対象ブロック(予測対象ブロック)202も同様に、縮小化処理部134によって符号化対象ブロック(予測対象ブロック)202よりも画素数の少ない低解像符号化対象ブロック(低解像予測対象ブロック)205に変換される。減算部213は、低解像符号化対象ブロック(低解像予測対象ブロック)205の各画素について、低解像予測ブロック106と空間的に一致する位置の画素と当該各画素との差分値を算出し、低解像誤差ブロック206を生成する。変換部214は低解像誤差ブロック206を4x4離散コサイン変換(DCT)し、16個の低解像誤差ブロックの変換係数207を生成する。量子化部215は変換係数207を量子化し、低解像誤差ブロックの量子化変換係数107を生成する。統合部216は、差分動きベクトル103と低解像誤差ブロックの量子化変換係数107とをまとめて、低解像ブロック情報102としてエントロピー符号化部255に出力する。逆量子化部136は、量子化変換係数107を逆量子化し、低解像誤差ブロックの復号量子化変換係数108を生成する。逆変換部137は、復号量子化変換係数108を逆DCT変換し、復号低解像誤差ブロック109を生成する。加算部217は、低解像予測ブロック106の各画素について、復号低解像誤差ブロック109と空間的に一致する位置の画素と当該各画素との加算値を算出し、復号低解像ブロック110を生成する。
【0127】
次に、低解像ブロック分割部166は、復号低解像ブロック110を、図36のブロック106と同様に2x2の低解像分割ブロック112に分割する。各低解像分割ブロック112は、小ブロック予測部158(図1、図2の152に相当)に入力される。
【0128】
小ブロック予測部158は、フレームメモリ153に保持されている復号済み画像を用いて、低解像分割ブロック112毎に、4x4の予測小ブロック116を生成する処理部である。この小ブロック予測部158の処理は、復号済み画像のみを入力として実施するため、復号装置においても同様の処理が実施できる。ここで、小ブロック予測部158の動作を説明する。小ブロック予測部158に入力された4x4ブロック(「候補予測小ブロック」という)113は、縮小化処理部134によって、画素数の少ない候補縮小予測小ブロック114に変換され、拡大動き推定部138へ出力される。拡大動き推定部138は、図35に示す2x2の低解像分割ブロック112(112a〜112d)と、低解像分割ブロックの4画素と空間的に対応する4画素(候補縮小予測小ブロック114)との間のブロックマッチングを実施し、低解像分割ブロックの動きベクトル115(115a〜115d)を検出する。この際の差分評価値は、「低解像分割ブロックの4画素」と「検索する4x4ブロック(候補予測小ブロック113)の16画素の内、低解像分割ブロックの4画素と空間的に対応する4画素(候補縮小予測小ブロック114)」との差分絶対値和とする(詳細は図32を用いて後述する)。このような復号済み画像のみを入力値とした差分評価値は、復号装置でも算出できるため、復号装置でも符号化装置と同じ動きベクトルを検出することができる。予測小ブロック取得部139は、低解像分割ブロックの動きベクトル115(115a〜115d)に対応する4x4予測小ブロック116(116a〜116d)を、フレームメモリ153の復号フレーム520から取得する。
【0129】
次に、ブロック統合部155は、図35の左側に示すように4個の予測小ブロック116a〜116dを統合し、8x8の予測ブロック118(図29)を生成する。減算部253は、符号化対象ブロック202の各画素について、予測ブロック118と空間的に一致する位置の画素と当該各画素との差分値を算出し、誤差ブロック208を生成する。
【0130】
誤差ブロック符号化部254は、誤差ブロック208を符号化して誤差ブロック情報119を生成し、エントロピー符号化部255に出力する処理部である。ここで、誤差ブロック符号化部254の動作を説明する。変換部218は誤差ブロック208を8x8離散コサイン変換(DCT)し、64個の変換係数209を生成する。量子化部219は変換係数209を量子化し、誤差ブロック情報(量子化変換係数)119を生成する。
【0131】
誤差ブロック復号部156は、誤差ブロック情報119を復号して復号誤差ブロック121を生成する処理部である。ここで、誤差ブロック復号部156の動作を説明する。逆量子化部140は、量子化変換係数119を逆量子化し、復号量子化変換係数120を生成する。逆変換部141は、復号量子化変換係数120を逆DCT変換し、復号誤差ブロック121を生成する。
【0132】
次に、加算部157は、予測ブロック118の各画素について、復号誤差ブロック121と空間的に一致する位置の画素と当該各画素との加算値を算出し、復号ブロック122を生成する。生成された復号ブロック122はフレームメモリ153の現在の復号フレーム610に保持される。最後に、エントロピー符号化部255は、低解像ブロック情報102と誤差ブロック情報119とをエントロピー符号化して、符号化データ101に多重化する。
【0133】
[復号装置の構成]
図28の復号装置は、符号化データ101を復号し、8x8復号ブロック122をラスタスキャン順で再生する装置である。1個の8x8復号ブロックに相当する符号化データ101は、まず、エントロピー復号部150に入力される。エントロピー復号部150は、エントロピー復号によって低解像ブロック情報102と誤差ブロック情報119とを生成する。
【0134】
低解像ブロック復号部151は、低解像ブロック情報102を復号して、復号ブロックよりも画素数の少ない復号低解像ブロック110を生成する処理部である。ここで、低解像ブロック復号部151の動作を説明する。分離部131は、低解像ブロック情報102を差分動きベクトル103と低解像誤差ブロック情報(低解像誤差ブロックの量子化変換係数)107とに分離する。動きベクトル予測・復号部132は、差分動きベクトル103の各成分の値に予測動きベクトルの各成分の値を加算することにより動きベクトル104を算出する。予測動きベクトルは、例えば、現ブロックの左、直上、右上(フレームの外の場合は、左上)の隣接3ブロックの動きベクトルを対象とした中央値予測(成分毎)により算出される。動き補償部133は、フレームメモリ153に保持されている復号済みの復号フレーム520から、動きベクトル104に対応するブロック105を取得する。ブロック105は、縮小化処理部134によって、図36に示すように、縦横1ライン置きに画素を抽出した低解像予測ブロック106に変換される。逆量子化部136は、低解像誤差ブロックの量子化変換係数107を逆量子化し、低解像誤差ブロックの復号量子化変換係数108を生成する。逆変換部137は、復号量子化変換係数108を逆DCT変換し、復号低解像誤差ブロック109を生成する。加算部135は、低解像予測ブロック106の各画素について、復号低解像誤差ブロック109と空間的に一致する位置の画素と当該各画素との加算値を算出し、復号低解像ブロック110を生成する。
【0135】
次に、低解像ブロック分割部166は、図36のブロック106と同様に、復号低解像ブロック110を2x2の低解像分割ブロック112に分割する。各低解像分割ブロック112は、小ブロック予測部158に入力される。
【0136】
小ブロック予測部158(図1、図2の152に相当)は、フレームメモリ153に保持されている復号済み画像を用いて、低解像分割ブロック112毎に、4x4の予測小ブロック116を生成する処理部である。ここで、小ブロック予測部158の動作を説明する。拡大動き推定部138は、図35に示す2x2の低解像分割ブロック112(112a〜112d)と、低解像分割ブロックの4画素と空間的に対応する4画素(候補縮小予測小ブロック114)との間のブロックマッチングを実施し、低解像分割ブロックの動きベクトル115(115a〜115d)を検出する。この際の差分評価値は、「低解像分割ブロックの4画素」と「検索する4x4ブロック(候補予測小ブロック113)の16画素の内、低解像分割ブロックの4画素と空間的に対応する4画素(候補縮小予測小ブロック114)」との差分絶対値和とする(詳細は図32を用いて後述する)。このような復号済み画像のみを入力値とした差分評価値は、復号装置でも算出できるため、復号装置でも符号化装置と同じ動きベクトルを検出することができる。予測小ブロック取得部139は、低解像分割ブロックの動きベクトル115(115a〜115d)に対応する4x4予測小ブロック116(116a〜116d)を、フレームメモリ153の復号フレーム520から取得する。
【0137】
次に、ブロック統合部155は、図35の左側に示すように4個の予測小ブロック116a〜116dを統合し、8x8の予測ブロック118(図28)を生成する。
【0138】
誤差ブロック復号部156は、誤差ブロック情報(量子化変換係数)119を復号して復号誤差ブロック121を生成する処理部である。ここで、誤差ブロック復号部156の動作を説明する。逆量子化部140は、量子化変換係数119を逆量子化し、復号量子化変換係数120を生成する。逆変換部141は、復号量子化変換係数120を逆DCT変換し、復号誤差ブロック121を生成する。
【0139】
次に、加算部157は、予測ブロック118の各画素について、復号誤差ブロック121と空間的に一致する位置の画素と当該各画素との加算値を算出し、復号ブロック122を生成する。復号ブロック122はフレームメモリ153の現在の復号フレーム610に保持される。
【0140】
[処理フローの説明]
図30には、本発明の予測復号を実現する動画像復号処理フローを示し、図33には、本発明の予測符号化を実現する動画像符号化処理フローを示す。なお、図30及び図33において同じ番号が付された処理は、同じ処理結果を導くものとする。
【0141】
[動画像復号処理フロー]
図30にて本発明の予測符号化を実現する動画像復号処理フローを説明する。次の復号ブロックの復号処理が開始されると(処理401)、まず、処理402により、次の復号ブロックの復号に必要とされる1ブロック分の符号化データが図28のエントロピー復号部150に入力される。入力された符号化データは、処理403にて、エントロピー復号部150によってエントロピー復号され、低解像ブロック情報と誤差ブロック情報とが得られる。このうち低解像ブロック情報は処理404にて、低解像ブロック復号部151によって低解像ブロック復号処理が施され、復号低解像ブロックが生成される。
【0142】
ここで、図31を用いて、処理404の低解像ブロック復号処理フローを説明する。低解像ブロック復号処理が開始されると(処理421)、まず、分離部131が低解像ブロック情報を取得し(処理422)、該低解像ブロック情報を差分動きベクトルと低解像誤差ブロック情報とに分離する(処理423)。処理424では、動きベクトル予測・復号部132が、差分動きベクトル103の各成分の値に予測動きベクトルの各成分の値を加算することにより動きベクトル104を算出(復号)する。予測動きベクトルは、例えば、現ブロックの左、直上、右上(フレームの外の場合は、左上)の隣接3ブロックの動きベクトルを対象とした中央値予測(成分毎)により算出される。得られた動きベクトルは、以降の復号ブロックの復号における動きベクトル予測処理のために保持される。
【0143】
次の処理425では、動き補償部133が、フレームメモリ153に保持されている復号済みの復号フレーム520から、動きベクトル104に対応するブロック105を取得する。次の処理426では、取得されたブロック105は、縮小化処理部134によって、図36に示すように縦横1ライン置きに画素を抽出した低解像予測ブロック106に変換される。
【0144】
次の処理427では、逆量子化部136が、低解像誤差ブロックの量子化変換係数107を逆量子化し、低解像誤差ブロックの復号量子化変換係数108を生成する。そして、逆変換部137が、復号量子化変換係数108を逆DCT変換し、復号低解像誤差ブロック109を生成する。そして、処理428では、加算部135が、低解像予測ブロック106の各画素について、復号低解像誤差ブロック109と空間的に一致する位置の画素と当該各画素との加算値を算出し、復号低解像ブロック110を生成して、低解像ブロック復号処理を終了する(処理429)。
【0145】
図30に説明を戻す。処理405では、低解像ブロック分割部166が、復号低解像ブロック110を2x2の低解像分割ブロック112に分割する。処理406では、小ブロック予測部158が、4個の低解像分割ブロック112に対して、小ブロック予測処理を施す。
【0146】
ここで、図32を用いて小ブロック予測処理フローを説明する。小ブロック予測処理が開始されると(処理430)、まず、処理431では、初期値として、評価値Eminは最大整数値に設定され、分割動きベクトル0ベクトルに設定される。次に、処理432では、低解像分割ブロック112が小ブロック予測部158に入力される。続いて処理434の拡大動き推定処理では、拡大動き推定部138によって低解像分割ブロックの動きベクトルが検出される。
【0147】
この拡大動き推定処理では、フレームメモリ153の復号フレームの探索範囲(縦、横方向に±16画素)内をその中心(0ベクトル)からスパイラル順に候補予測小ブロックが抽出され、評価値Eminが最小となる予測小ブロック位置が検出される。より具体的には、処理4341にて、フレームメモリ153の復号フレームから次の候補の予測小ブロックが取得され、処理4342にて、取得された候補予測小ブロックが、例えば図36のブロック106と同様に低解像予測ブロックの次元(画素数)に変換される。処理4343では、評価値E(「低解像分割ブロックの4画素」と「検索する4x4ブロックの16画素の内、低解像分割ブロックの4画素と空間的に対応する4画素」との差分の絶対値和)が計算され、処理4344では、評価値Eが評価値Eminより小さいか否かが判断される。ここで、評価値Eが評価値Eminより小さい場合には、処理4345にて、評価値Eminが評価値Eに更新され、分割動きベクトルが、評価値Eに対応する分割動きベクトルに更新される。以降、処理4341〜処理4345が、探索範囲内の全ての候補予測小ブロックの探索が終了するまで、繰り返される。最後に、処理435にて、予測小ブロック取得部139が、評価値Eが最小となる分割動きベクトルに対応する予測小ブロックを、フレームメモリ153の復号フレームから取得することにより、小ブロック予測処理が終了する(処理436)。以上の小ブロック予測処理により、4個の予測小ブロックが生成される。
【0148】
説明を図30に戻す。処理406にて生成された4個の予測小ブロックは、処理407にてブロック統合部155によって、予測ブロックに統合される。次の処理408では、誤差ブロック復号部156が、誤差ブロック情報(量子化変換係数)を復号(逆量子化・逆変換)し、復号誤差ブロックを生成する。次の処理409では、加算部157によって予測ブロックと復号誤差ブロックとが各画素について加算され、復号ブロックが生成される。最後に、処理410にて、復号ブロックはフレームメモリ153の現在の復号フレームに保持され、ブロック復号処理は終了する(処理411)。
【0149】
[動画像符号化処理フロー]
次に、図33を用いて本発明の予測符号化を実現する符号化対象ブロックの符号化処理フローを説明する。最初に、図29の符号化ブロック分割部251が入力フレーム201を分割することにより、符号化対象ブロック202が得られる。符号化対象ブロック202の符号化処理が開始されると(処理441)、まず、処理442では、復号低解像ブロック生成部252が、図34の低解像ブロック符号化・復号処理を実行する。
【0150】
以下、図34を用いて低解像ブロック符号化・復号処理を説明する。低解像ブロック符号化・復号処理が開始されると(処理451)、まず、処理452にて、次の符号化対象ブロックが入力され、処理453では、符号化対象ブロックとフレームメモリの復号フレームとから動きベクトルが検出される。なお、ここでの動きベクトルの検出方法については、図29の復号低解像ブロック生成部252の構成説明において、説明済みのため割愛する。次の処理454では、フレームメモリの復号フレームから動きベクトルに対応するブロックが取得される。次の処理455では、予測動きベクトル生成後、動きベクトルと予測動きベクトルとの間で各成分について減算処理が行われ、差分動きベクトルが生成される。動きベクトルと生成された差分動きベクトルとは、以降の符号化対象ブロックにおける動きベクトル予測のために保持される。なお、ここでの予測動きベクトルの生成方法については、図29の動きベクトル予測・符号化部212の構成説明において、説明済みのため割愛する。次の処理456では、符号化対象ブロック(予測対象ブロック)が、例えば図36のブロック106と同様に、低解像符号化対象ブロック(低解像予測対象ブロック)に変換され、さらに処理457では、動きベクトルに対応するブロックが、上記符号化対象ブロック(予測対象ブロック)と同様に、低解像予測ブロックに変換される。
【0151】
処理458では、低解像符号化対象ブロック(低解像予測対象ブロック)と低解像予測ブロックとの間で各画素について減算が行われ、低解像誤差ブロックが生成される。次の処理459では、低解像誤差ブロックが符号化(変換・量子化)され、低解像誤差ブロックの量子化変換係数が生成される。次の処理427では、量子化変換係数が復号(逆量子化・逆変換)され、復号低解像誤差ブロックが生成される。次の処理428では、低解像予測ブロックと復号低解像誤差ブロックとの間で各画素について加算が行われ、復号低解像ブロックが生成される。最後に、処理460では、差分動きベクトルと量子化変換係数とが統合され、低解像ブロック情報が生成されて、低解像ブロック符号化・復号処理が終了する(処理461)。
【0152】
説明を図33に戻す。処理405では、低解像ブロック分割部166が、生成された復号低解像ブロックを、低解像分割ブロックに分割する。処理406では、小ブロック予測部158が、分割された低解像分割ブロックに対して小ブロック予測処理を施し、予測小ブロックを生成する。なお、ここでは、小ブロック予測処理(図32)については、既に説明済みのため、説明を省略する。
【0153】
処理407では、ブロック統合部155が、生成された予測小ブロックを、予測ブロックに統合する。次の処理443では、減算部253が符号化対象ブロックと予測ブロックとの間で各画素の減算処理を実施し、誤差ブロックを生成する。次の処理444では、誤差ブロック符号化部254が誤差ブロックを符号化(変換・量子化)し、誤差ブロック情報(量子化変換係数)を生成する。次の処理408では、誤差ブロック復号部156がに誤差ブロック情報(量子化変換係数)を復号(逆量子化・逆変換)し、復号誤差ブロックを生成する。次の処理409では、加算部157が予測ブロックと復号誤差ブロックとの間で各画素の加算処理を実施し、復号ブロックを生成する。そして、処理410にて、生成された復号ブロックがフレームメモリ153の現在の復号フレームに保持された後、処理445では、エントロピー符号化部255が、低解像ブロック情報と誤差ブロック情報とをエントロピー符号化し、ブロック符号化処理は終了する(処理446)。
【0154】
[コンピュータシステムの構成例]
図16は、上記実施形態の画像符号化処理に関する動画像符号化プログラム、画像復号処理に関する動画像復号プログラムを格納したフレキシブルディスク等の記憶媒体を用いて、コンピュータシステムにより実施する場合を説明するための図である。
【0155】
図16(b)は、フレキシブルディスクの正面からみた外観、断面構造、及びフレキシブルディスクを示し、図16(a)は、記録媒体本体であるフレキシブルディスクの物理フォーマットの例を示している。フレキシブルディスクFDはケースF内に内蔵され、該ディスクの表面には、同心円状に外周からは内周に向かって複数のトラックTrが形成され、各トラックは角度方向に16個のセクタSeに分割されている。従って、上記プログラムを格納したフレキシブルディスクでは、上記フレキシブルディスクFD上に割り当てられた領域に、上記プログラムとしてのデータが記録されている。
【0156】
また、図16(c)は、フレキシブルディスクFDに上記プログラムの記録再生を行うための構成を示す。上記プログラムをフレキシブルディスクFDに記録する場合は、コンピュータシステムCsから上記プログラムとしてのデータを、フレキシブルディスクドライブを介して書き込む。また、フレキシブルディスク内のプログラムにより上記符号化装置あるいは復号化装置をコンピュータシステム中に構築する場合は、フレキシブルディスクドライブによりプログラムをフレキシブルディスクから読み出し、コンピュータシステムに転送する。
【0157】
なお、上記説明では、データ記録媒体としてフレキシブルディスクを用いて説明を行ったが、光ディスクを用いても同様に行うことができる。また、記録媒体はこれに限らず、ICカード、ROMカセット等、プログラムを記録できるものであれば同様に実施することができる。またコンピュータとして、CPUを具備しソフトウエアによる処理や制御を行うDVDプレーヤ、セットトップボックス、携帯電話などを含む。
【0158】
次に、動画像復号プログラムおよび動画像符号化プログラムの構成について説明する。
【0159】
図37に示すように、動画像復号プログラム161は、記録媒体160に形成されたプログラム格納領域160a内に格納されている。動画像復号プログラム161は、動画像復号処理を統括的に制御するメインモジュール161aと、図28のエントロピー復号部150の動作を実行するためのエントロピー復号モジュール161bと、図28の低解像ブロック復号部151の動作を実行するための低解像ブロック復号モジュール161cと、図28の低解像ブロック分割部166の動作を実行するための低解像ブロック分割モジュール161hと、図28の小ブロック予測部158の動作を実行するための小ブロック予測モジュール161iと、図28のブロック統合部155の動作を実行するためのブロック統合モジュール161gとを備えて構成される。
【0160】
図38に示すように、動画像符号化プログラム261は、記録媒体260に形成されたプログラム格納領域260a内に格納されている。動画像符号化プログラム261は、動画像符号化処理を統括的に制御するメインモジュール261aと、図29の符号化ブロック分割部251の動作を実行するための符号化ブロック分割モジュール261bと、図29の復号低解像ブロック生成部252の動作を実行するための復号低解像ブロック生成モジュール261cと、図29の低解像ブロック分割部166の動作を実行するための低解像ブロック分割モジュール261hと、図29の小ブロック予測部158の動作を実行するための小ブロック予測モジュール261iと、図29のブロック統合部155の動作を実行するためのブロック統合モジュール261gとを備えて構成される。
【0161】
なお、上記の動画像復号プログラム161は、その一部若しくは全部が、通信回線等の伝送媒体を介して伝送され、他の機器により受信されて記録(インストールを含む)される構成としてもよい。同様に、動画像符号化プログラム261も、その一部若しくは全部が、通信回線等の伝送媒体を介して伝送され、他の機器により受信されて記録(インストールを含む)される構成としてもよい。
【0162】
[各種の変形態様の説明]
以上、本発明の実施形態について説明したが、次のような変形を行っても良く、いずれの形態も本発明に含まれる。
【0163】
(1)予測方法に関する変形態様
上述では、予測方法として、時間方向の予測に限定して説明したが、符号化対象ブロック(予測対象ブロック)又は復号ブロックと同一フレーム内の既に復号した復号済み画像を用いた空間方向の予測にも、同様の方法を適用することができる。即ち、上述した復号低解像ブロックを基に、当該復号低解像ブロックを再分割した低解像分割ブロックに対し、同じフレーム内の隣接する復号済みの画素を用いて、例えば、H.264(”Text of ISO/IEC 14496-10 Advanced Video Coding 3rd Edition”, September 2004.)の複数のイントラ予測モードから、最適なモードを決定した上で、当該復号低解像ブロックに該当する高解像度信号のブロックを予測する場合なども本発明に含まれる。この場合、各低解像分割ブロックの予測モードを明示的に伝送する必要がないため、少ない補助情報で高精度に対象ブロックを予測できるという優れた効果がある。また、上述した時間方向の予測と空間方向の予測とを組み合わせて高精度の予測を行ってもよい。
【0164】
(2)誤差ブロックの符号化に関する変形態様
予測ブロックと符号化対象ブロックとの間の誤差ブロックを符号化することは必須ではない。つまり、誤差ブロック符号化部254(図29)と誤差ブロック復号部156(図28と図29)の処理は省略してもよい。また、符号化対象ブロックあるいは復号ブロック毎に符号化の有無を決めても良い。また、誤差ブロックならびに低解像誤差ブロックの具体的な符号化・復号方法については、上述の方法に限定されるものではない。
【0165】
(3)複数予測モードの符号化に関する変形態様
上述の実施形態では、符号化対象ブロックの符号化処理に適用する予測方法を、本発明の予測方法のみとしているが、符号化対象ブロックを縮小しない従来の符号化方法に対し、本発明の予測方法を適用してもよい。
【0166】
(4)ブロックサイズに関する変形態様
上述では、符号化対象ブロック(予測対象ブロック)ならびに復号ブロックのサイズを8x8、低解像ブロックのサイズを4x4、低解像分割ブロックを2x2としているが、本発明の予測符号化は、これらのサイズには限定されない。例えば、符号化対象ブロック及び復号ブロックのサイズをH.264と同じ16x16、低解像ブロックを8x8、低解像分割ブロックを2x2とするなど、低解像ブロックをさらに4分割よりも細かく分割する場合にも本発明は有効である。同様に、変換・量子化を実施するブロックサイズも限定されない。例えば、H.264のように、誤差ブロックを4x4ブロックに分割して、4x4ブロック単位で変換・量子化を行ってもよい。
【0167】
(5)縮小化方法に関する変形態様
上述では、図36のように、縮小化処理を縦・横に1ライン間引く方法としているが、ブロックの縮小化処理はこの方法には限定されない。例えば、低解像ブロックは、符号化装置と復号装置間で予め定めておけば、復号ブロック(符号化対象ブロック、予測対象ブロック)よりも画素数の少ない任意の形状としてもよく、図36のブロック106の各画素を縦横方向に1画素ずらしたブロック(図36のブロック1060)や、図36のブロック106の画素とブロック1060の画素の両方を持つブロック1062なども含まれる。また、ブロックにローパスフィルタ処理を施した後に縦・横にダウンサンプリングする方法や、4個の隣接画素を平均化して1画素に変換する方法など、画像縮小化に適用される様々な方法を適用することができる。
【0168】
(6)縮小化処理の実施手順に関する変形態様
縮小化処理部は省略してもよい。例えば、縮小化処理部の機能が、動き補償部や拡大動き推定部に含まれている場合や、低解像ブロックに属さない画素を評価に含めずに処理できる場合には、縮小化処理部は必要とされない。また、低解像ブロック復号部による縮小化処理と低解像予測ブロック生成部による縮小化処理とは、復号装置と符号化装置間で予め規定されていれば、異なる方法を用いても良い。
【0169】
(7)拡大動き推定に関する変形態様
拡大動き推定処理における探索範囲、探索手順及び探索開始点は、上述の方法に限定されない。探索範囲は符号化装置と復号装置間で予め規定されていれば、任意の範囲に設定できる。探索手順についても同様で、例えば、中心からのスパイラルではなく、探索範囲を左上から右下に向かってラスタスキャン順に探索する方法なども適用できる。探索開始点についても、0ベクトルではなく、例えば、予測ベクトルを中心として探索範囲を設定することも可能である。また、動き推定・動き補償方法についても、動きベクトルを検出するブロックマッチングに限定されず、アフィンパラメータや透視投影変換パラメータなどの動きパラメータにてブロック内の画素の予測値を算出する方法でも、本発明は適用可能である。この場合も、小ブロック予測部にて検出された動きパラメータは伝送する必要がない。第1実施例の小ブロック予測も同様にブロックマッチングに限定されない。
【0170】
(8)分離部、統合部に関する変形態様
図28の分離部131及び図29の統合部216は必ずしも必要とされない。例えば、図28では、動きベクトル予測・復号部132と逆量子化部136が、エントロピー復号部150からデータを直接受け取ってもよい。図29では、動きベクトル予測・符号化部212と量子化部215から直接、エントロピー符号化部255にデータを出力してもよい。
【符号の説明】
【0171】
100、300、500…動画像符号化装置、131…分離部、132…ベクトル予測・復号部、133…補償部、134…縮小化処理部、135…加算部、136…逆量子化部、137…逆変換部、138…推定部、139…予測小ブロック取得部、140…逆量子化部、141…逆変換部、150…エントロピー復号部、151…低解像ブロック復号部、152、158…小ブロック予測部、153…フレームメモリ、154…拡大ブロック生成部、155…ブロック統合部、156…誤差ブロック復号部、157…加算部、159…スイッチ、160…記録媒体、162…ブロック分割部、163…推定部、164…補償部、165…ブロック分割部、166…低解像ブロック分割部、200、400、600…動画像復号装置、211…推定部、212…ベクトル予測・符号化部、213…減算部、214…変換部、215…量子化部、216…統合部、217…加算部、218…変換部、219…量子化部、251…符号化ブロック分割部、252…復号低解像ブロック生成部、253…減算部、254…誤差ブロック符号化部、255…エントロピー符号化部、256…判定部、260…記録媒体。
【技術分野】
【0001】
本発明は、ブロック単位で予測ブロックを生成する動画像復号技術と動画像符号化技術に関する。
【背景技術】
【0002】
従来、予測対象ブロックの予測信号(予測ブロック)をブロック単位で生成する既存の符号化方式として、例えば特許文献1に記載の技術が提案されている。かかる技術は、フレーム間の動きを示す動きベクトルと、この動きベクトルから生成される予測ブロックと予測対象ブロックとの間の誤差ブロックとを、エントロピー符号化することにより、時間方向の冗長度を低減するものである。ここで、予測対象ブロックとは、次に予測処理が行われる入力フレームの分割ブロックである。
【先行技術文献】
【特許文献】
【0003】
【特許文献1】特開2002−354486号公報
【発明の概要】
【発明が解決しようとする課題】
【0004】
細かい動き表現を含む画像領域の時間予測性能を向上させるためには、数多くの動きベクトルなどの情報(以下、「動き情報」と記す。)が必要となる。ところが、上述した従来の方式では、動き情報の符号化が必要となるため、動き情報を始めとする、いわゆる付加情報の符号量が増大する。このことが、符号化処理や復号処理における処理効率の向上を困難とする要因になっている。
【0005】
そこで、本発明の課題は、上述の付加情報の符号量増大を抑制することにより、符号化処理と復号処理における処理効率を向上することである。
【課題を解決するための手段】
【0006】
本発明に係る動画像符号化装置は、ブロック単位で予測ブロックを生成する動画像符号化装置であって、復号済み画像が保持される保持手段(メモリ)と、入力された符号化対象の画像を、複数の予測対象ブロックに分割する第1の分割手段と、前記予測対象ブロックを、当該予測対象ブロックよりも画素数が少ない低解像ブロックに変換及び符号化した後、当該低解像ブロックの符号化データを復号することで、復号低解像ブロックを生成する生成手段と、前記生成された復号低解像ブロックを、前記予測対象ブロックと同じ画素数のブロックに拡大する拡大手段と、前記拡大されたブロックを、所定の分割規則に基づいて分割することで、複数の小ブロックを生成する第2の分割手段と、前記生成された小ブロックと前記復号済み画像との間のブロックマッチングにより検出された前記生成された小ブロックの動きベクトルに対応する前記復号済み画像内のブロックを予測小ブロックとして生成する予測手段と、前記生成された複数の予測小ブロックを、前記分割規則に基づいて統合することで、予測ブロックを生成する統合手段とを備える。
【0007】
本発明に係る動画像復号装置は、ブロック単位で予測ブロックを生成する動画像復号装置であって、復号済み画像が保持される保持手段(例えばメモリ)と、入力された符号化データを復号して得られる低解像ブロック情報と前記復号済み画像とに基づいて、予測ブロックよりも画素数が少ない低解像ブロックを生成する復号手段と、前記生成された低解像ブロックを、前記予測ブロックと同じ画素数のブロックに拡大する拡大手段と、当該拡大されたブロックを、所定の分割規則に基づいて分割することで、複数の小ブロックを生成する分割手段と、前記分割された小ブロックと前記復号済み画像との間のブロックマッチングにより検出された前記分割された小ブロックの動きベクトルに対応する前記復号済み画像内のブロックを予測小ブロックとして生成する予測手段と、当該生成された複数の予測小ブロックを、前記分割規則に基づいて統合することで、予測ブロックを生成する統合手段とを備える。
【0008】
動画像符号化装置と動画像復号装置間で高精度な予測符号化を行うには、動画像符号化装置において、予測ブロックよりも画素数の少ない低解像ブロックを圧縮符号化して符号化データを動画像復号装置に送信することが望ましい。この点、これらの発明によれば、低解像ブロックの画素数は、予測ブロックの画素数よりも少ないため、低解像ブロックが圧縮された符号化データは、従来の動き情報よりも付加情報の符号量が少なくなる。これにより、付加情報の符号量増大は低減され、その結果、符号化処理と復号処理における処理効率は向上する。
【0009】
特に、動画像復号装置では、まず、拡大ブロックを分割して小ブロックを得、小ブロックと復号済み画像とから予測小ブロックを生成する。これにより、動画像の細かい領域の高精度な予測を行うことが可能な複数の予測小ブロックを得る。そして、これらを統合することで、予測ブロックを生成する。したがって、上述した処理効率の向上と同時に、符号量の少ない低解像ブロックを利用した高精度な予測が可能となる。
【0010】
上述した動画像符号化装置は、前記符号化対象の画像を符号化対象ブロックに分割する第3の分割手段と、前記分割された符号化対象ブロックと前記予測ブロックとを画素単位で減算して誤差ブロックを生成する減算手段と、前記生成された誤差ブロックを符号化する符号化手段と、前記符号化された符号化データを復号して、復号誤差ブロックを生成する復号手段と、前記予測ブロックと前記復号誤差ブロックとを画素単位で加算して復号ブロックを生成し、当該復号ブロックを前記保持手段に出力する出力手段とを更に備えることが望ましい。
【0011】
また、動画像符号化装置では、拡大手段が、前記生成された復号低解像ブロックの画素と予測対象ブロックの上辺および左辺に隣接する復号済みブロックの画素を用いて、前記予測対象ブロックと同じ画素数のブロックを生成することが望ましい。
【0012】
また、動画像符号化装置では、生成手段が、前記予測対象ブロックを所定の変換規則に基づいて当該予測対象ブロックよりも画素数が少ない低解像予測対象ブロックに変換する手段と、低解像予測ブロックを生成する低解像予測ブロック生成手段と、前記低解像予測対象ブロックと前記低解像予測ブロックとを画素単位で減算して低解像誤差ブロックを生成する手段と、当該低解像誤差ブロックを符号化した後、前記低解像誤差ブロックの符号化データを復号することで復号低解像誤差ブロックを生成する手段と、前記復号低解像誤差ブロックと前記低解像予測ブロックとを画素単位で加算して前記低解像ブロックを復元する手段とを含んで構成され、前記低解像予測ブロック生成手段が、前記予測ブロックと同じ画素数の第2の予測ブロックを生成する手段と、前記変換規則に基づいて該第2の予測ブロックから前記低解像予測ブロックを生成する手段とを含んで構成され、前記生成手段は、さらに、前記低解像誤差ブロック内のすべての差分画素値がゼロの場合には、前記第2の予測ブロックを前記予測ブロックとして出力する手段を含んで構成されることが望ましい。
【0013】
上述した動画像復号装置は、前記符号化データを復号し、誤差ブロックを生成する生成手段と、前記予測ブロックと前記誤差ブロックとを画素単位で加算して復号ブロックを生成し、当該復号ブロックを前記保持手段に出力する出力手段とを更に備えることが望ましい。
【0014】
また、動画像復号装置では、拡大手段が、前記生成された低解像ブロックの画素と予測ブロックの上辺および左辺に隣接する復号済みブロックの画素を用いて、前記予測ブロックと同じ画素数のブロックを生成することが望ましい。
【0015】
また、動画像復号装置では、復号手段が、前記入力された符号化データを復号して低解像誤差ブロックを復号する手段と、低解像予測ブロックを生成する低解像予測ブロック生成手段と、前記低解像誤差ブロックと前記低解像予測ブロックとを画素単位で加算して前記低解像ブロックを生成する手段とを含んで構成され、前記低解像予測ブロック生成手段が、前記予測ブロックと同じ画素数の第2の予測ブロックを生成する手段と、所定の規則に基づいて該第2の予測ブロックから前記低解像予測ブロックを生成する手段とを含んで構成され、前記復号手段は、さらに、前記低解像誤差ブロック内のすべての差分画素値がゼロの場合には、前記第2の予測ブロックを前記予測ブロックとして出力する手段を含んで構成されることが望ましい。
【0016】
更に、本発明に係る動画像符号化・復号技術は、装置のみならず、方法あるいはプログラムの形態を採ることもでき、以下にその特徴を説明する動画像符号化方法、動画像復号方法、動画像符号化プログラム、及び動画像復号プログラムは、動画像符号化装置、及び動画像復号装置に関する上述の効果と同様の効果を奏する。
【0017】
すなわち、本発明に係る動画像符号化方法は、復号済み画像を用いてブロック単位で予測ブロックを生成する動画像符号化方法であって、入力された符号化対象の画像を、複数の予測対象ブロックに分割する第1の分割ステップと、前記予測対象ブロックを、当該予測対象ブロックよりも画素数が少ない低解像ブロックに変換及び符号化した後、当該低解像ブロックの符号化データを復号することで、復号低解像ブロックを生成する生成ステップと、前記復号済み画像を用いて、前記生成された復号低解像ブロックを、前記予測対象ブロックと同じ画素数のブロックに拡大する拡大ステップと、前記拡大されたブロックを、所定の分割規則に基づいて分割することで、複数の小ブロックを生成する第2の分割ステップと、前記生成された小ブロックと前記復号済み画像との間のブロックマッチングにより検出された前記生成された小ブロックの動きベクトルに対応する前記復号済み画像内のブロックを予測小ブロックとして生成する予測ステップと、前記生成された複数の予測小ブロックを、前記分割規則に基づいて統合することで、予測ブロックを生成する統合ステップとを含む。
【0018】
本発明に係る動画像復号方法は、復号済み画像を用いてブロック単位で予測ブロックを生成する動画像復号方法であって、入力された符号化データを復号して得られる低解像ブロック情報と前記復号済み画像とに基づいて、予測ブロックよりも画素数が少ない低解像ブロックを生成する復号ステップと、前記復号済み画像を用いて、前記生成された低解像ブロックを、前記予測ブロックと同じ画素数のブロックに拡大する拡大ステップと、当該拡大されたブロックを、所定の分割規則に基づいて分割することで、複数の小ブロックを生成する分割ステップと、前記分割された小ブロックと前記復号済み画像との間のブロックマッチングにより検出された前記分割された小ブロックの動きベクトルに対応する前記復号済み画像内のブロックを予測小ブロックとして生成する予測ステップと、前記生成された複数の予測小ブロックを、前記分割規則に基づいて統合することで、予測ブロックを生成する統合ステップとを含む。
【0019】
また、本発明に係る動画像符号化プログラムは、復号済み画像と、ブロック単位で予測ブロックを生成する機能を有する動画像符号化プログラムとを保持する保持手段を備えるコンピュータに、入力された符号化対象の画像を、複数の予測対象ブロックに分割する第1の分割処理と、前記予測対象ブロックを、当該予測対象ブロックよりも画素数が少ない低解像ブロックに変換及び符号化した後、当該低解像ブロックの符号化データを復号することで、復号低解像ブロックを生成する生成処理と、前記復号済み画像を用いて、前記生成された復号低解像ブロックを、前記予測対象ブロックと同じ画素数のブロックに拡大する拡大処理と、前記拡大されたブロックを、所定の分割規則に基づいて分割することで、複数の小ブロックを生成する第2の分割処理と、前記生成された小ブロックと前記復号済み画像との間のブロックマッチングにより検出された前記生成された小ブロックの動きベクトルに対応する前記復号済み画像内のブロックを予測小ブロックとして生成する予測処理と、前記生成された複数の予測小ブロックを、前記分割規則に基づいて統合することで、予測ブロックを生成する統合処理とを実行させる。
【0020】
本発明に係る動画像復号プログラムは、復号済み画像と、ブロック単位で予測ブロックを生成する機能を有する動画像復号プログラムとを保持する保持手段を備えるコンピュータに、入力された符号化データを復号して得られる低解像ブロック情報と前記復号済み画像とに基づいて、予測ブロックよりも画素数が少ない低解像ブロックを生成する復号処理と、前記復号済み画像を用いて、前記生成された低解像ブロックを、前記予測ブロックと同じ画素数のブロックに拡大する拡大処理と、当該拡大されたブロックを、所定の分割規則に基づいて分割することで、複数の小ブロックを生成する分割処理と、前記分割された小ブロックと前記復号済み画像との間のブロックマッチングにより検出された前記分割された小ブロックの動きベクトルに対応する前記復号済み画像内のブロックを予測小ブロックとして生成する予測処理と、当該生成された複数の予測小ブロックを、前記分割規則に基づいて統合することで、予測ブロックを生成する統合処理とを実行させる。
【0021】
上記目的を達成するために、本発明に係る動画像復号装置は、復号対象となる符号化データを所定のブロック単位で復号し予測ブロックを生成する動画像復号装置であって、復号済み画像が保持される保持手段と、入力された符号化データをエントロピー復号することで、前記復号ブロックよりも画素数が少なく当該復号ブロックと時間的・空間的に同一位置の低解像ブロックを符号化した低解像ブロック情報を生成するエントロピー復号手段と、前記エントロピー復号手段により生成された低解像ブロック情報を復号し、前記復号済み画像を参照して、前記低解像ブロックを生成する低解像ブロック復号手段と、前記低解像ブロック復号手段により生成された低解像ブロックを、所定の分割規則に基づき分割することで、複数の低解像分割ブロックを生成する低解像ブロック分割手段と、前記保持手段に保持されている復号済み画像と、前記低解像ブロック分割手段により生成された低解像分割ブロックとから、当該低解像分割ブロックよりも画素数が多く当該低解像分割ブロックと時間的・空間的に同一位置の予測小ブロックを生成する予測小ブロック生成手段と、前記予測小ブロック生成手段により生成された予測小ブロックを、前記分割規則に対応した所定の統合規則に基づき統合することで、予測ブロックを生成するブロック統合手段とを備えることを特徴とする。
【0022】
また、上記目的を達成するために、本発明に係る動画像符号化装置は、符号化対象となる画像を所定のブロック単位で符号化し予測ブロックを生成する動画像符号化装置であって、復号済み画像が保持される保持手段と、入力された画像を複数の符号化対象ブロックに分割する符号化ブロック分割手段と、前記符号化ブロック分割手段により分割された符号化対象ブロックよりも画素数が少なく当該符号化対象ブロックと時間的・空間的に同一位置の低解像ブロックを符号化することで低解像ブロック情報を生成し、当該低解像ブロック情報を復号し、前記復号済み画像を参照して、復号低解像ブロックを生成する復号低解像ブロック生成手段と、前記復号低解像ブロック生成手段により生成された復号低解像ブロックを、所定の分割規則に基づき分割することで、複数の低解像分割ブロックを生成する低解像ブロック分割手段と、前記保持手段に保持されている復号済み画像と、前記低解像ブロック分割手段により生成された低解像分割ブロックとから、当該低解像分割ブロックよりも画素数が多く当該低解像分割ブロックと時間的・空間的に同一位置の予測小ブロックを生成する予測小ブロック生成手段と、前記予測小ブロック生成手段により生成された予測小ブロックを、前記分割規則に対応した所定の統合規則に基づき統合することで、予測ブロックを生成するブロック統合手段とを備えることを特徴とする。
【0023】
動画像符号化装置と動画像復号装置間で高精度な予測符号化を行うには、動画像符号化装置において、符号化対象ブロックよりも画素数の少ない低解像ブロックを圧縮符号化した低解像ブロック情報をエントロピー符号化して動画像復号装置に送信することが望ましい。低解像ブロックは符号化対象ブロックよりも画素数が少なく、低解像ブロック情報は、符号化対象ブロックの予測に必要とされる従来の予測情報よりも付加情報の符号量が少なくなるため、付加情報の符号量増大を回避し、処理効率を高めることができる。
【0024】
また、動画像復号装置では、低解像ブロック情報から低解像ブロックを復号し、得られた低解像ブロックを複数の低解像分割ブロックに分割し、各低解像分割ブロックと復号済み画像とから、低解像分割ブロックよりも画素数が多く当該低解像分割ブロックと時間的・空間的に同一位置の予測小ブロックを生成し、該予測小ブロックを統合することで予測ブロックを生成することが望ましい。この場合、低解像ブロックをさらに分割して低解像分割ブロックを得て、低解像分割ブロックと復号済み画像とから、予測小ブロックを生成することで、動画像の細かい領域の高精度な予測を行うことが可能な予測小ブロックを得て、該予測小ブロックを統合することで予測ブロックを生成することができる。即ち、少ない符号量の低解像ブロック情報を用いながら、高精度な予測を行い、同時に、処理効率を高めることができる。
【0025】
本発明に係る動画像復号装置では、前記エントロピー復号手段は、前記符号化データをエントロピー復号することで、当該符号化データに含まれ符号化対象ブロックと予測ブロックとの誤差を表す誤差ブロック情報をさらに生成し、前記動画像復号装置は、前記エントロピー復号手段により生成された誤差ブロック情報を復号することで、誤差ブロックを生成する誤差ブロック復号手段と、前記ブロック統合手段により生成された予測ブロックと、前記誤差ブロック復号手段により生成された誤差ブロックとに基づいて、復号ブロックを生成する復号ブロック生成手段とをさらに具備することが望ましい。
【0026】
本発明に係る動画像符号化装置は、前記符号化対象ブロック分割手段により分割された符号化対象ブロックと、前記ブロック統合手段により生成された予測ブロックとの誤差を画素単位で求めることで、当該誤差を表す誤差ブロックを生成する誤差ブロック生成手段と、前記誤差ブロック生成手段により生成された誤差ブロックを符号化することで誤差ブロック情報を生成する誤差ブロック符号化手段と、前記誤差ブロック符号化手段により生成された誤差ブロック情報を復号することで、復号誤差ブロックを生成する誤差ブロック復号手段と、前記ブロック統合手段により生成された予測ブロックと、前記誤差ブロック復号手段により生成された復号誤差ブロックとに基づいて、復号ブロックを生成する復号ブロック生成手段とをさらに具備することが望ましい。
【0027】
また、本発明に係る動画像符号化装置は、前記復号低解像ブロック生成手段により生成された低解像ブロック情報および前記誤差ブロック符号化手段により生成された誤差ブロック情報をエントロピー符号化するエントロピー符号化手段をさらに具備することが望ましい。
【0028】
なお、本発明は、動画像復号方法、動画像符号化方法、動画像復号プログラム、動画像符号化プログラムとして捉えることもでき、以下のように記述することができる。これらは、上記の動画像復号装置、動画像符号化装置と同様の効果を奏する。
【0029】
本発明に係る動画像復号方法は、復号済み画像が保持される保持手段を備え、復号対象となる符号化データを所定のブロック単位で復号し予測ブロックを生成する動画像復号装置における動画像復号方法であって、入力された復号対象の符号化データをエントロピー復号することで、前記復号ブロックよりも画素数が少なく当該復号ブロックと時間的・空間的に同一位置の低解像ブロックを符号化した低解像ブロック情報を生成するエントロピー復号工程と、前記エントロピー復号工程にて生成された低解像ブロック情報を復号し、前記復号済み画像を参照して、前記低解像ブロックを生成する低解像ブロック復号工程と、前記低解像ブロック復号工程にて生成された低解像ブロックを、所定の分割規則に基づき分割することで、複数の低解像分割ブロックを生成する低解像ブロック分割工程と、前記保持手段に保持されている復号済み画像と、前記低解像ブロック分割工程にて生成された低解像分割ブロックとから、当該低解像分割ブロックよりも画素数が多く当該低解像分割ブロックと時間的・空間的に同一位置の予測小ブロックを生成する予測小ブロック生成工程と、前記予測小ブロック生成工程にて生成された予測小ブロックを、前記分割規則に対応した所定の統合規則に基づき統合することで、予測ブロックを生成するブロック統合工程とを有することを特徴とする。
【0030】
本発明に係る動画像符号化方法は、復号済み画像が保持される保持手段を備え、符号化対象となる画像を所定のブロック単位で符号化し予測ブロックを生成する動画像符号化装置における動画像符号化方法であって、入力された符号化対象の画像を複数の符号化対象ブロックに分割する符号化ブロック分割工程と、前記符号化ブロック分割工程にて分割された符号化対象ブロックよりも画素数が少なく当該符号化対象ブロックと時間的・空間的に同一位置の低解像ブロックを符号化することで低解像ブロック情報を生成し、当該低解像ブロック情報を復号し、前記復号済み画像を参照して、復号低解像ブロックを生成する復号低解像ブロック生成工程と、前記復号低解像ブロック生成工程にて生成された復号低解像ブロックを、所定の分割規則に基づき分割することで、複数の低解像分割ブロックを生成する低解像ブロック分割工程と、前記保持手段に保持されている復号済み画像と、前記低解像ブロック分割工程にて生成された低解像分割ブロックとから、当該低解像分割ブロックよりも画素数が多く当該低解像分割ブロックと時間的・空間的に同一位置の予測小ブロックを生成する予測小ブロック生成工程と、前記予測小ブロック生成工程にて生成された予測小ブロックを、前記分割規則に対応した所定の統合規則に基づき統合することで、予測ブロックを生成するブロック統合工程とを有することを特徴とする。
【0031】
本発明に係る動画像復号プログラムは、復号済み画像が保持される保持手段を備え、復号対象となる符号化データを所定のブロック単位で復号し予測ブロックを生成する動画像復号装置、に設けたコンピュータを、入力された復号対象の符号化データをエントロピー復号することで、前記復号ブロックよりも画素数が少なく当該復号ブロックと時間的・空間的に同一位置の低解像ブロックを符号化した低解像ブロック情報を生成するエントロピー復号手段と、前記エントロピー復号手段により生成された低解像ブロック情報を復号し、前記復号済み画像を参照して、前記低解像ブロックを生成する低解像ブロック復号手段と、前記低解像ブロック復号手段により生成された低解像ブロックを、所定の分割規則に基づき分割することで、複数の低解像分割ブロックを生成する低解像ブロック分割手段と、前記保持手段に保持されている復号済み画像と、前記低解像ブロック分割手段により生成された低解像分割ブロックとから、当該低解像分割ブロックよりも画素数が多く当該低解像分割ブロックと時間的・空間的に同一位置の予測小ブロックを生成する予測小ブロック生成手段と、前記予測小ブロック生成手段により生成された予測小ブロックを、前記分割規則に対応した所定の統合規則に基づき統合することで、予測ブロックを生成するブロック統合手段、として機能させることを特徴とする。
【0032】
本発明に係る動画像符号化プログラムは、復号済み画像が保持される保持手段を備え、符号化対象となる画像を所定のブロック単位で符号化し予測ブロックを生成する動画像符号化装置、に設けたコンピュータを、入力された符号化対象の画像を複数の符号化対象ブロックに分割する符号化ブロック分割手段と、前記符号化対象ブロック分割手段により分割された符号化対象ブロックよりも画素数が少なく当該符号化対象ブロックと時間的・空間的に同一位置の低解像ブロックを符号化することで、低解像ブロック情報を生成し、当該低解像ブロック情報を復号し、前記復号済み画像を参照して、復号低解像ブロックを生成する復号低解像ブロック生成手段と、前記復号低解像ブロック生成手段により生成された復号低解像ブロックを、所定の分割規則に基づき分割することで、複数の低解像分割ブロックを生成する低解像ブロック分割手段と、前記保持手段に保持されている復号済み画像と、前記低解像ブロック分割手段により生成された低解像分割ブロックとから、当該低解像分割ブロックよりも画素数が多く当該低解像分割ブロックと時間的・空間的に同一位置の予測小ブロックを生成する予測小ブロック生成手段と、前記予測小ブロック生成手段により生成された予測小ブロックを、前記分割規則に対応した所定の統合規則に基づき統合することで、予測ブロックを生成するブロック統合手段、として機能させることを特徴とする。
【発明の効果】
【0033】
本発明によれば、付加情報の符号量増大が抑制されるので、符号化処理や復号処理における処理効率を高めることができる。
【図面の簡単な説明】
【0034】
【図1】第1実施形態における動画像符号化装置の構成を示す図である。
【図2】第1実施形態における動画像復号装置の構成を示す図である。
【図3】ブロックマッチングを説明するための図である。
【図4】ブロック縮小化処理を説明するための図である。
【図5】ブロック拡大処理を説明するための第1の図である。
【図6】ブロック拡大処理を説明するための第2の図である。
【図7】拡大ブロックの4×4分割を説明するための図である。
【図8】拡大ブロックの2×2分割を説明するための図である。
【図9】4×4小ブロック動き推定処理を説明するための図である。
【図10】2×2小ブロック動き推定処理を説明するための図である。
【図11】ブロック符号化処理を説明するためのフローチャートである。
【図12】低解像ブロック符号化・復号処理を説明するためのフローチャートである。
【図13】小ブロック動き推定処理を説明するためのフローチャートである。
【図14】ブロック復号処理を説明するためのフローチャートである。
【図15】低解像ブロック復号処理を説明するためのフローチャートである。
【図16】動画像符号化処理又は動画像復号処理をコンピュータシステムにより実現するためのプログラムを格納するデータ記憶媒体について説明する図である。
【図17】第1実施形態の動画像符号化プログラムの構成を示す図である。
【図18】第1実施形態の動画像復号プログラムの構成を示す図である。
【図19】ブロック分割を伴うブロックマッチングを説明するための図である。
【図20】ブロックサイズに関する第4の変形態様を説明するための図である。
【図21】第5変形態様におけるブロック拡大処理を説明するための図である。
【図22】第5変形態様における動画像符号化装置の構成を示す図である。
【図23】第5変形態様における動画像復号装置の構成を示す図である。
【図24】第6変形態様におけるブロック縮小化処理を説明するための図である。
【図25】第8変形態様における動画像符号化装置の構成を示す図である。
【図26】第8変形態様における動画像復号装置の構成を示す図である。
【図27】第8変形態様におけるブロック拡大処理を説明するための図である。
【図28】第2実施形態における動画像復号装置を説明する図である。
【図29】第2実施形態における動画像符号化装置を説明する図である。
【図30】第2実施形態におけるブロック復号処理フローを示した図である。
【図31】第2実施形態における低解像ブロック復号処理フローを示した図である。
【図32】第2実施形態における小ブロック予測処理フローを示した図である。
【図33】第2実施形態におけるブロック符号化処理ブローを示した図である。
【図34】第2実施形態における低解像ブロック符号化・復号処理フローを示した図である。
【図35】分割ブロック予測処理を説明するための図である。
【図36】ブロック画素配置を説明するための図である。
【図37】第2実施形態の動画像復号プログラムの構成図である。
【図38】第2実施形態の動画像符号化プログラムの構成図である。
【発明を実施するための形態】
【0035】
[第1実施形態]
以下、添付図面を参照しながら、本発明の第1実施形態について説明する。図1は、本発明に係る予測符号化を実現可能な動画像符号化装置(以下、単に「符号化装置100」と記す。)の構成を示す図である。同様に、図2は、本発明に係る予測復号を実現する動画像復号装置(以下、単に「復号装置200」と記す。)の構成を示す図である。これら各装置の有する構成要素は、バスを介して、相互に信号の入出力が可能なように接続されている。また、両図において、同一の機能を有する構成要素には同一の符号を付す。
【0036】
まず、図1を参照して、符号化装置の構成を説明する。符号化装置100は、符号化ブロック分割部251により、入力フレーム201を、16×16画素の符号化対象ブロック(予測対象ブロック)202に分割する。そして、分割して得られた複数の符号化対象ブロック(予測対象ブロック)202をラスタスキャン順に予測・符号化する装置である。
【0037】
ここで、予測対象ブロックとは、入力フレーム201をブロック分割することにより得られるブロックのうち、次の予測対象となるブロックである。符号化対象ブロックとは、入力フレーム201をブロック分割することにより得られるブロックのうち、次の符号化対象となるブロックである。本実施の形態では、予測処理の対象ブロックと符号化処理の対象ブロックとを同サイズとするために、予測対象ブロックと符号化対象ブロックは一致する。また、予測ブロックとは、過去に復号した画素から予測処理により生成されるブロックである。
【0038】
符号化対象ブロック(予測対象ブロック)202は、まず復号低解像ブロック生成部252に入力される。復号低解像ブロック生成部252は、予測対象ブロック202よりも画素数の少ない復号低解像ブロック110、及び、低解像ブロック情報102を生成する。動き推定部211には、予測対象ブロック202がラスタスキャン順に入力される。動き推定部211は、入力された予測対象ブロック202と、フレームメモリ153に保存されている過去の復号フレームから抽出される複数の候補予測ブロック203との間でブロックマッチングを実行し、1本の低解像ブロック予測用動きベクトル104を検出する。
【0039】
ここで、図3を参照し、ブロックマッチングを説明する。ブロックマッチングとは、予測対象ブロックの動きベクトルを検出する技術である。ブロックマッチングでは、動き推定部211は、過去に復号された復号フレーム520上に探索範囲522を設定し、探索範囲内を探索する。次に、予測対象ブロック202との差分評価値が最小となるブロック105の位置を検出する。そして、復号フレーム上において予測対象ブロック202と空間的に同一位置にある仮想ブロック521から、検出されたブロック105までの移動量を、動きベクトル104とする。なお、差分評価値としては、検出対象のブロックと符号化対象ブロックとの間で対応する画素の差分絶対値和や、動きベクトルの符号量の換算値を当該差分絶対値和に加算した値などを適用することができる。
【0040】
動き補償部133は、低解像ブロック予測用動きベクトル104に対応する低解像予測ブロック106を生成する。具体的には、低解像ブロック予測用動きベクトル104に基づいて、フレームメモリ153に保存されている過去の復号フレーム520から、8×8画素のブロックに対応する画素を取得し、これを低解像予測ブロック106とする。図4に、16×16画素サイズのブロック10と8×8画素サイズの低解像ブロック11との対応関係を示す。図4に示すように、8×8画素サイズの低解像ブロック11は、16×16画素サイズのブロック10から、縦横1ライン間隔で画素を抽出したブロックである。
【0041】
ここで、低解像ブロックを画素抽出によって生成することは、後述する小ブロック予測処理の予測性能を高める効果がある。つまり、低解像ブロックの各画素が高周波成分を保持しているため、符号化装置100は、動き検出の際に、細かい特徴を捉え易くなる。その結果、予測性能が向上する。
【0042】
符号化対象ブロック(予測対象ブロック)202に関しても、縮小化処理部134により、図4に示した規則に従って、符号化対象ブロック202よりも画素数の少ない低解像符号化対象ブロック(低解像予測対象ブロック)205に変換される。減算部213は、低解像符号化対象ブロック(低解像予測対象ブロック)205と低解像予測ブロック106とにおける各画素を減算し、低解像誤差ブロック206を生成する。
【0043】
変換部214は、低解像誤差ブロック206を4個の4×4ブロックに分割した後、これら各4×4ブロックに対して、4×4離散コサイン変換(DCT:Discrete Cosine Transform)を施す。そして、それぞれ16個の低解像誤差ブロックに関する変換係数207を生成する。量子化部215は、変換係数207を量子化し、低解像誤差ブロックの量子化変換係数107を生成する。統合部216は、動きベクトル104と低解像誤差ブロックの量子化変換係数107とを纏め、低解像ブロック情報102として、エントロピー符号化部255に出力する。
【0044】
逆量子化部136は、量子化変換係数107を逆量子化し、低解像誤差ブロックの復号量子化変換係数108を生成する。逆変換部137は、復号量子化変換係数108を逆DCT変換し、復号低解像誤差ブロック109を生成する。加算部217は、低解像予測ブロック106と復号低解像誤差ブロック109とにおける各画素を加算し、復号低解像ブロック110を生成する。
【0045】
拡大ブロック生成部154は、復号低解像ブロック110を、図5に示す拡大ブロック127に拡大する。すなわち、拡大ブロック生成部154は、フレームメモリ153に保存されている現フレームの復号済み画素から、現在予測対象となっているブロック位置の上辺、及び左辺に隣接するブロックの復号画素を、境界復号画素群123として取得し、図5に示すように、復号低解像ブロック110の周囲に配置する。
【0046】
続いて、拡大ブロック生成部154は、図6に示す内挿計算処理により、黒四角で示す画素の内挿値を算出し、拡大ブロック127を生成する。この処理により、8×8ブロックサイズの復号低解像ブロック110は、後述の予測処理によって生成される予測ブロックと同じブロックサイズ(16×16)の拡大ブロック127に拡張される。なお、予測対象のブロックが現フレームの端のブロックである場合には、隣接するブロックが存在しないため、拡大ブロック生成部154は、境界復号画素群123を取得することができない。この場合には、復号低解像ブロック110の境界画素にて、これを代用する。
【0047】
ブロック分割部162は、図7のブロック127aに示すように、拡大ブロック127を、16個の4×4小ブロック112aに分割する。更に、ブロック分割部162は、図8のブロック127bに示すように、拡大ブロック127を、64個の2×2小ブロック112bに分割する。これらの分割された各小ブロックは、1個の4×4小ブロック112aと、これと空間的に同一位置にある4個の2×2小ブロック112bとを1組として、順に、小ブロック予測部152に入力される。
【0048】
小ブロック予測部152は、ブロックマッチングにより小ブロック112の動きベクトル115を検出する小ブロック動き推定部163と、検出された小ブロック動きベクトル115を用いて小ブロック112の予測小ブロック116を生成する小ブロック動き補償部164とから構成される。本実施の形態では、小ブロック予測部152は、これらの機能を用いて、各々の2×2小ブロック112bの予測小ブロック116bを生成する。
【0049】
より具体的には、
(1)小ブロック動き推定部163は、4×4小ブロックの動きベクトル検出処理を実行する。以下、16個の4×4小ブロック112aのうち、特に図9に示す左上端のブロック112a1に着目し、小ブロック予測部152の機能を説明するが、他の15個の4×4小ブロックについても、空間的なブロック位置が異なるだけで、同様の手順によって処理される。図9は、16分割された4×4小ブロックのうち、左上端に位置する4×4小ブロック112a1の動きベクトル115a1の検出手法を説明するための図である。小ブロック動き推定部163は、4×4小ブロック112aが小ブロック動き推定部163に入力されると、過去に復号されたフレーム520(フレームメモリ153に保存)上に探索範囲181a1を設定する。続いて、所与の規則に従って探索範囲内を探索し、4×4小ブロック112a1との差分評価値(小ブロック内における画素の差分絶対値の総和)が最小となる4×4小ブロック116a1の位置を検出し、これを4×4予測小ブロック116a1とする。そして、小ブロック動き推定部163は、4×4小ブロック112a1と空間的に同一位置にある復号フレーム520上の4×4ブロック117a1と、検出された4×4予測小ブロック116a1との間における移動量を、4×4小ブロック112a1の動きベクトル115a1とする。
【0050】
なお、探索範囲181a1は、予め定めたサイズとし、低解像予測ブロックの生成に用いた符号化済みの低解像ブロック予測用動きベクトル104を中心とした位置に設定するものとする。これは、検出される4×4小ブロックの動きベクトルが低解像ブロック予測用動きベクトル104に近い可能性が高いことを考慮してのものであり、探索精度を高める効果や探索範囲を小さく設定できる効果がある。したがって、同一の符号化対象ブロックに属する16個の4×4小ブロックの探索範囲の中心点に関しても同様に、低解像ブロック予測用動きベクトル104の示す位置に設定される。
【0051】
(2)小ブロック動き推定部163は、(1)にて動きベクトルが検出された4×4小ブロック112a1と同一の組に属する4個の2×2小ブロックの動きベクトルを検出する。以下、4個の2×2小ブロックのうち、特に、図10に示す左上端のブロック112b1に着目して説明する。図10は、64分割された2×2小ブロックのうち、左上端に位置する2×2小ブロック112b1の動きベクトル115b1の検出手法を説明するための図である。小ブロック動き推定部163は、2×2小ブロック112b1が小ブロック動き推定部163に入力されると、過去に復号されたフレーム520(フレームメモリ153に保存)上に探索範囲181b1を設定する。続いて、所定の規則に従って探索範囲内を探索し、2×2小ブロック112b1との差分評価値(小ブロック内における画素の差分絶対値の総和)が最小となる2×2小ブロック116b1の位置を検出し、これを2×2予測小ブロック116b1とする。そして、小ブロック動き推定部163は、2×2予測小ブロック112b1と空間的に同一位置にある復号フレーム520上の2×2ブロック117b1と、検出された2×2小ブロック116b1との間の移動量を、2×2小ブロック112b1の動きベクトル115b1とする。更に、残りの3個の2×2小ブロックについても、同様の方法で2×2小ブロックの動きベクトルを検出する。
【0052】
なお、探索範囲181b1は、予め定めたサイズとし、2×2小ブロック112b1と同じ組に属する4×4小ブロック112a1の動きベクトル115a1を中心とした位置に設定する。これは、検出される2×2小ブロックの動きベクトルが空間的に同一位置にあること、すなわち、当該動きベクトルが、同じ組に属する4×4小ブロックの動きベクトルに近い可能性が高いこと、を考慮したものであり、探索範囲を小さく設定できる効果がある。したがって、小ブロック動き推定部163は、同一の組に属する4個の2×2小ブロックの探索範囲の中心点も同様に、空間的に同一位置にある4×4小ブロックの動きベクトル115a1により示される位置に設定する。
【0053】
(3)検出された4本の2×2小ブロックの動きベクトル115bは、小ブロック動き補償部164に入力される。小ブロック動き補償部164は、復号フレーム520(フレームメモリ153に保存)から、2×2小ブロックの動きベクトル115bに対応する予測小ブロック116bを取得する。このような小ブロック予測部152の処理は、復号装置200が符号化データから生成可能なデータのみを用いて実行されるため、復号装置200においても同様の処理結果を得ることができる。つまり、復号装置200でも、符号化装置100と同じ動きベクトルを検出することができる。したがって、各2×2小ブロックの動きベクトルは、符号化する必要がない。
【0054】
ブロック統合部155は、64個の2×2予測小ブロックのそれぞれを、ブロック分割部162における分割規則に基づいて、分割前の元の位置に並べることにより統合し、これにより16×16画素の予測ブロック118を生成する。減算部253は、符号化対象ブロック202と予測ブロック118とにおける各画素の差分値を計算して誤差ブロック208を生成する。
【0055】
誤差ブロック符号化部254は、誤差ブロック208を符号化して誤差ブロック情報119を生成し、エントロピー符号化部255に出力する。図1に示したように、誤差ブロック符号化部254は、変換部218と量子化部219とをその構成要素とする。変換部218は、誤差ブロック208を、4×4単位で4×4離散コサイン変換(DCT)し、16個の4×4ブロックのそれぞれについて、16個の変換係数209を生成する。量子化部219は、各変換係数209を量子化し、誤差ブロック情報(例えば、量子化変換係数)119を生成する。
【0056】
誤差ブロック復号部156は、誤差ブロック情報119を復号して復号誤差ブロック121を生成する。図1に示したように、誤差ブロック復号部156は、逆量子化部140と逆変換部141とをその構成要素とする。逆量子化部140は、16個の4×4ブロックそれぞれについて、16個の量子化変換係数119を逆量子化することにより、復号量子化変換係数120を生成する。逆変換部141は、各4×4ブロックの復号量子化変換係数120を逆DCT変換することで、復号誤差ブロック121を生成する。
【0057】
加算部157は、予測ブロック118と復号誤差ブロック121とにおける各画素を加算し、復号ブロック122を生成する。生成された復号ブロック122はフレームメモリ153に保存され、その結果、復号済み画像は更新される。エントロピー符号化部255は、低解像ブロック情報102と誤差ブロック情報119とをエントロピー符号化することにより、符号化データ101に多重化する。
【0058】
次に、符号化装置100の動作を説明する。併せて、本発明に係る動画像符号化方法を構成する各ステップについて説明する。図11は、予測符号化の対象ブロックの符号化処理を説明するためのフローチャートである。なお、図11のブロック符号化処理において、後述するブロック復号処理とその内容及び処理結果が共通するステップの符号を図中括弧内に示す。
【0059】
まず、符号化ブロック分割部251により入力フレーム201が分割されると、符号化装置100は、符号化対象ブロック202を得る。S1では、復号低解像ブロック生成部252が、図12に示す低解像ブロック符号化・復号処理を実行する。
【0060】
図12のS101では、次の符号化対象ブロック(予測対象ブロック)が入力される。S102では、動き推定部211が、予測対象ブロックと、フレームメモリに保存されている過去に復号された復号フレームとから、低解像ブロック予測用動きベクトルを検出する。なお、動きベクトルの検出手法は、復号低解像ブロック生成部252の構成説明において既述のため、省略する。
【0061】
S103では、動き補償部133が、フレームメモリの復号フレームから低解像ブロック予測用動きベクトルに対応する低解像予測ブロックを取得する。S104では、縮小化処理部134が、図4を参照して説明した上述の変換規則に基づいて、予測対象ブロックを低解像予測対象ブロックに変換する。S105では、減算部213が、低解像予測対象ブロックと低解像予測ブロックとの間において各画素を減算し、低解像誤差ブロックを生成する。
【0062】
S106では、変換部214が低解像誤差ブロックをDCT変換した後、量子化部215がDCT係数を量子化する。その結果、低解像誤差ブロックの量子化変換係数が生成される。なお、S106における量子化精度は、後述する図11のS8における量子化精度よりも高く設定する。これは、符号化装置100が低解像ブロックの画質を高くすることにより、S3、S4における2×2小予測ブロック検出精度を高くすることができる、という効果による。
【0063】
図12のS107では、逆量子化部136と逆変換部137とが、低解像誤差ブロックの量子化変換係数を復号(逆量子化・逆変換)する。その結果、復号低解像誤差ブロックが生成される。S108では、加算部217が、低解像予測ブロックと復号低解像誤差ブロックとの間で各画素を加算し、復号低解像ブロックを生成する。そして、統合部216が、動きベクトルと低解像誤差ブロックの量子化変換係数とを統合して低解像ブロック情報を生成する(S109)。
【0064】
図11に戻り、S2では、拡大ブロック生成部154が、図5及び図6に示したように、復号低解像ブロックを、予測ブロックと同サイズ(16×16画素)の拡大ブロック127に拡大する。拡大ブロックの生成手法に関しては、拡大ブロック生成部154の機能説明にて、図5、図6を参照して説明した通りであるので省略する。
【0065】
S3では、図7、図8に示したように、ブロック分割部162が、拡大ブロックを4×4小ブロックと2×2小ブロックとに分割する。分割された各小ブロックは、1個の4×4小ブロックと、空間的にこれと同一位置にある4個の2×2小ブロックとを1組として、小ブロック動き推定部163に入力される。
【0066】
S4では、小ブロック動き推定部163が、上記組単位で、4個の2×2小ブロックの動きベクトルを検出する。小ブロック動き推定処理は、1個の4×4小ブロックと4個の2×2小ブロックとに対してそれぞれ実行される。その順序は、先に4×4小ブロックに対する処理が実行され、その後、4個の2×2小ブロックに対する処理が実行される。
【0067】
ここで、図13を参照して、小ブロック動き推定処理を説明する。まず、S41では小ブロックが入力され、評価値Eminが、最大整数値(初期値)として設定される(S42)。次に、S43にて、小ブロックのサイズが判定される。その後、その判定結果に応じた処理S441またはS442が実行される。すなわち、過去の復号フレーム520(フレームメモリ153に保存)上に、探索範囲のサイズと探索範囲の中心位置(探索中心点)とが設定される。
【0068】
続いて、復号フレーム520の探索範囲内における予測小ブロックの候補が、その探索中心点からスパイラル順に探索され、その結果、上記評価値Eminが最小となる予測小ブロックが特定される。具体的には、小ブロック動き推定部163は、フレームメモリ153の復号フレームから、次の候補の予測小ブロック113を取得し(S45)、評価値Eを計算する(S46)。評価値Eは、小ブロックと予測小ブロックとの間における画素差分値の絶対値の総和である。
【0069】
S47では、評価値Eが評価値Eminよりも小さいか否かが判定される。評価値Eが評価値Eminより小さい場合には(S47;YES)、評価値Eminが評価値Eに更新されるとともに、小ブロックの動きベクトルが、小ブロックの位置から予測小ブロックの現候補ブロックの位置までの移動量に更新される(S48)。一方、評価値Eが評価値Emin以上の場合には(S47;NO)、S48の処理は省略され、S49に移行する。
【0070】
S49では、探索範囲内における全候補の予測小ブロックの探索が終了したか否かが判定される。以降、S49にて探索範囲内における全候補の予測小ブロックの探索が終了したと判断されるまで、S45〜S49の一連の処理が繰り返し実行される。そして、上記探索が終了したと判断された時点で、小ブロック動き推定処理は終了する。
【0071】
図11に戻り、S5では、小ブロック動き補償部164が、S3とS4にて検出された4本の2×2小ブロックの動きベクトルに対応する2×2予測小ブロック116を、フレームメモリ153の復号フレームからそれぞれ取得する。S3〜S5の各処理は、16組の小ブロックについて実行される。
【0072】
S6では、ブロック統合部155が、S3で用いた分割規則に基づいて、64個の2×2予測小ブロックを分割前の位置に並べることにより、16×16画素の予測ブロックに統合する。S7では、減算部253が、符号化対象ブロックと予測ブロックとの間で各画素を減算し、誤差ブロックを生成する。S8では、誤差ブロック符号化部254が、誤差ブロックを符号化(変換・量子化)して、誤差ブロック情報(例えば、量子化変換係数)を生成する。
【0073】
S9では、誤差ブロック復号部156が、上記誤差ブロック情報を復号(逆量子化・逆変換)し、復号誤差ブロックを生成する。S10では、加算部157が、予測ブロックと復号誤差ブロックとの間で各画素を加算し、復号ブロックを生成する。生成された復号ブロックが、フレームメモリ153の現在の復号フレームに保存されると(S11)、エントロピー符号化部255は、低解像ブロック情報と誤差ブロック情報とをエントロピー符号化し(S12)、ブロック符号化処理は終了する。
【0074】
次いで、図2に示した復号装置200の構成を説明する。復号装置200は、ブロック単位の予測処理と符号化データ101の復号処理とを実行し、ブロック単位でラスタスキャン順に復号ブロック122を再生する装置である。本実施の形態では、予測処理により生成される予測ブロックと復号ブロックとは同サイズであり、共に16×16画素とする。
【0075】
エントロピー復号部150は、復号対象とする復号ブロックの生成に必要とされる符号化データ101の入力を受けると、エントロピー復号により、符号化データ101を、低解像ブロック情報102と誤差ブロック情報119とに分離する。低解像ブロック復号部151は、低解像ブロック情報102を復号することにより、予測ブロックよりも画素数の少ない8×8画素の復号低解像ブロック110を生成する。
【0076】
分離部131は、低解像ブロック情報102を、低解像ブロック予測用動きベクトル104と低解像誤差ブロック情報(例えば、低解像誤差ブロックの量子化変換係数)107とに分離する。動き補償部133は、低解像ブロック予測用動きベクトル104に対応する低解像予測ブロック106を、フレームメモリ153に保存されている復号フレーム520から取得する。
【0077】
逆量子化部136は、低解像誤差ブロックの量子化変換係数107を逆量子化して、低解像誤差ブロックの復号量子化変換係数108を生成する。逆変換部137は、復号量子化変換係数108を逆DCT変換することにより、復号低解像誤差ブロック109を生成する。加算部135は、低解像予測ブロック106と復号低解像誤差ブロック109とにおける各画素の加算値を算出し、復号低解像ブロック110を生成する。
【0078】
なお、拡大ブロック生成部154、ブロック分割部162、小ブロック予測部152、及び、ブロック統合部155の有する各機能と処理結果は、符号化装置100の説明と同様である。したがって、その説明、及び説明のための図示は省略する。
【0079】
また、誤差ブロック復号部156は、誤差ブロック情報(例えば、量子化変換係数)119を復号して復号誤差ブロック121を生成する。誤差ブロック復号部156は、逆量子化部140と逆変換部141とを有する。逆量子化部140は、量子化変換係数119を逆量子化し、復号量子化変換係数120を生成する。逆変換部141は、復号量子化変換係数120を逆DCT変換し、復号誤差ブロック121を生成する。
【0080】
加算部157は、予測ブロック118の各画素について、復号誤差ブロック121と空間的に一致する位置の画素と当該画素との加算値を算出し、これにより復号ブロック122を生成する。復号ブロック122はフレームメモリ153に保存され復号済み画像が更新される。
【0081】
続いて、復号装置200の動作を説明し、併せて、本発明に係る動画像復号方法を構成する各ステップについて説明する。なお、図14のブロック復号処理において、図11に示したブロック符号化処理とその内容及び処理結果が共通するステップの符号を図中括弧内に示す。
【0082】
次のブロックの復号処理が開始されると、まず、T1にて、当該ブロックの復号に必要とされる1ブロック分の符号化データが、エントロピー復号部150に入力される(T1)。T2では、エントロピー復号部150が、入力された符号化データをエントロピー復号し、低解像ブロック情報と誤差ブロック情報とを得る。これらの情報のうち、低解像ブロック情報は、低解像ブロック復号処理404により、低解像ブロック復号部151に入力され、復号低解像ブロックに復号される。
【0083】
ここで、図15を参照し、T3における低解像ブロック復号処理を説明する。T31では、低解像ブロック情報が分離部131に入力される。分離部131は、T32にて、低解像ブロック情報を動きベクトルと低解像誤差ブロック情報とに分離する。T33では、動き補償部133が、過去に復号された復号フレーム520(フレームメモリ153に保存)から、低解像ブロック予測用動きベクトル104に対応する低解像ブロック予測ブロック106を取得する。
【0084】
T34では、逆量子化部136が、低解像誤差ブロック情報としての量子化変換係数107を逆量子化し、復号量子化変換係数108を生成する。更に、逆変換部137が、この復号量子化変換係数108を逆DCT変換し、復号低解像誤差ブロック109を生成する。T35では、加算部135が、低解像予測ブロック106と復号低解像誤差ブロック109との各画素を加算して、復号低解像ブロック110を生成する。
【0085】
図14に戻り、図5及び図6に示したように、拡大ブロック生成部154が、復号低解像ブロック110を予測ブロックと同サイズ(16×16画素)の拡大ブロック127に拡大する(T4)。拡大ブロックの生成手法に関しては、拡大ブロック生成部154の機能説明にて、図5、図6を参照して説明した通りであるので省略する。
【0086】
T5〜T7では、ブロック分割部162と小ブロック予測部152とが、64個の2×2小ブロックに拡大ブロックを分割し、64個の2×2予測小ブロックを生成する。なお、図14のT5,T6の各処理は、図11に示したS3,S4の各処理とそれぞれ同様であるので、その詳細な説明は省略する。また、T7の処理は、図11のS5の処理と同様であるので、その説明は省略する。
【0087】
T8では、ブロック統合部155は、T6及びT7にて生成された64個の2×2予測小ブロックを、T5における分割規則に基づいて、分割前の元の位置に並べる。これにより、上記予測小ブロックを16×16画素の予測ブロックに統合する。
【0088】
T9では、誤差ブロック復号部156が、誤差ブロック情報(例えば量子化変換係数)を復号(逆量子化・逆変換)し、復号誤差ブロックを生成する。T10では、加算部157が、予測ブロックと復号誤差ブロックとの各画素を加算し、復号ブロックを生成する。T11では、復号ブロックがフレームメモリ153に保存され、その結果、復号済み画像が更新される。
【0089】
図16(a)は、本実施の形態における画像符号化処理を実現するための動画像符号化プログラム、及び、同画像復号処理を実現するための動画像復号プログラムが格納されたフレキシブルディスクの物理フォーマットを例示している。また、図16(b)は、上記フレキシブルディスクの正面の外観と断面構造を示す。フレキシブルディスクFDはケースF内に内蔵され、当該ディスクの表面には、外周からは内周に向かって同心円状に複数のトラックTrが形成されている。これら各トラックは、角度方向に、16個のセクタSeに分割されている。フレキシブルディスクFD上に割り当てられた領域には、データとして、上述のプログラムが記録されている。
【0090】
フレキシブルディスクFDに上記プログラムを記録する場合には、図16(c)に示すように、コンピュータシステムCsからフレキシブルディスクドライブFDDを介する。フレキシブルディスクFD内のプログラムにより、符号化装置100または復号装置200をコンピュータシステムCs中に構築する場合には、フレキシブルディスクドライブFDDが、上記プログラムをフレキシブルディスクFDから読み出し、コンピュータシステムCsに転送する。
【0091】
図17は、本発明に係る動画像符号化プログラム261の構成を示す図である。動画像符号化プログラム261は、記録媒体260に記録されている。記録媒体260は、例えば、上述したフレキシブルディスクであるが、光ディスクやICカード、CD−ROM、DVD、あるいは半導体メモリであってもよい。コンピュータシステムCsには、PC(Personal Computer)に限らず、CPUを具備し、ソフトウエアによる情報処理や制御を行うDVDプレーヤ、セットトップボックス、携帯電話などを含む。
【0092】
次に、本発明に係る動画像符号化プログラムおよび動画像復号プログラムの構成について説明する。動画像符号化プログラム261は、図17に示すように、記録媒体260に形成されたプログラム格納領域260a内に格納されている。動画像符号化プログラム261は、動画像符号化処理を統括的に制御するメインモジュール261aと、符号化対象ブロック分割モジュール261bと、復号低解像ブロック生成モジュール261cと、低解像ブロック拡大モジュール216dと、拡大ブロック分割モジュール261eと、小ブロック予測モジュール261fと、ブロック統合モジュール261gとを、構成単位として有する。これら各モジュールを実行させることによって実現する機能は、上述した動画像符号化装置100の符号化ブロック分割部251、復号低解像ブロック生成部252、拡大ブロック生成部154、ブロック分割部162、小ブロック予測部152、ブロック統合部155の各機能とそれぞれ同様である。
【0093】
動画像復号プログラム161は、図18に示すように、記録媒体160に形成されたプログラム格納領域160a内に格納されている。動画像復号プログラム161は、動画像復号処理を統括的に制御するメインモジュール161aと、エントロピー復号モジュール161bと、低解像ブロック復号モジュール161cと、低解像ブロック拡大モジュール161dと、拡大ブロック分割モジュール161eと、小ブロック予測モジュール161fと、ブロック統合モジュール161gとを、構成単位として有する。これら各モジュールを実行させることによって実現する機能は、上述した動画像復号装置200のエントロピー復号部150、低解像ブロック復号部151、拡大ブロック生成部154、ブロック分割部162、小ブロック予測部152、ブロック統合部155の各機能とそれぞれ同様である。
【0094】
なお、動画像符号化プログラム261は、その一部若しくは全部が、通信回線等の伝送媒体を介して伝送され、他の機器により受信されて記録(インストールを含む)される構成としてもよい。動画像復号プログラム161に関しても同様に、その一部若しくは全部が、通信回線等の伝送媒体を介して伝送され、他の機器により受信されて記録(インストールを含む)される構成としてもよい。
【0095】
なお、上記実施の形態に記載の態様は、本発明に係る動画像符号化・復号技術の好適な一例であり、本発明は、かかる態様に限定されるものではない。
【0096】
(第1の変形態様)
かかる態様は、小ブロックの動きベクトル検出方法に関する。上記実施形態では、小ブロックの動きベクトル検出の際の探索範囲を、4×4小ブロックで±32、2×2小ブロックで±1としたが、異なる探索範囲でもよい。また、小ブロックの動きベクトル成分の精度についても、整数値だけでなく、実数値とすることも可能である。実数値には、1/2画素、1/4画素などがあり、ベクトル成分が実数値の場合における予測画素の算出方法としては、例えばH.264(“Text of ISO/IEC 14496-10 Advanced Video Coding 3rd Edition”,September 2004.)に記載されている方法を適用できる。
【0097】
また、上記実施形態では、小ブロックの動きベクトル検出時における探索範囲の中心点に関しては、4×4小ブロックでは低解像ブロック予測用動きベクトル、2×2小ブロックでは空間的に同一位置の4×4小ブロックの動きベクトルとした。しかし、符号化側と復号側とで一意に決定できる値であれば、これに限定されない。例えば、0ベクトルや、中央値予測などの方法により隣接小ブロックの動きベクトルから選定される予測ベクトルを、探索範囲の中心点に設定することもできる。
【0098】
更に、小ブロックの動きベクトルを検出する際の評価値を画素差分値の絶対値和としたが、これに限定されず、符号化側と復号側とで一意に決定できる評価方法であればよい。例えば、画素差分値の二乗和や、画素位置に応じた画素差分値の重み付け絶対値和(二乗和)などへの変形も可能である。予測対象の復号フレームを1フレームに限定したが、複数の復号済みフレームを対象とし、小ブロック毎に異なる復号フレームから予測小ブロックを生成してもよい。このとき、評価値として画素差分値の絶対値和など、符号化側と復号側とで同じ評価値を用いれば、復号フレームの選択情報を符号化する必要はなくなり、効率的である。
【0099】
(第2の変形態様)
かかる態様は、予測方法に関する。予測方法として、時間方向の予測に限定して説明したが、符号化対象ブロックまたは復号ブロックと同一フレーム内の既に復号された復号済み画像を用いた空間方向の予測にも、同様の方法を適用することができる。すなわち、上述した復号低解像ブロックを、イントラ予測を用いて拡大することも可能である。より具体的には、復号装置200が、復号低解像ブロックを再分割した低解像ブロックを分割し、同じフレーム内の隣接する復号済みの画素を用いて、例えばH.264(“Text of ISO/IEC 14496-10 Advanced Video Coding 3rd Edition”, September 2004.)の複数のイントラ予測モードから、最適なモードを決定した上で、当該復号低解像ブロックに該当する高解像度信号のブロックを予測する場合なども本発明に含まれる。この場合、各縮小分割ブロックの予測モードを明示的に伝送する必要がないため、少ない補助情報で高精度に対象ブロックを予測できるという優れた効果を奏する。また、上述した時間方向の予測と空間方向の予測とを組み合わせて高精度の予測を行ってもよい。例えば、拡大ブロック生成部154にて、イントラ予測による復号低解像ブロックの拡大処理を実行し、この拡大ブロックを小ブロックに分割して、小ブロック予測部152の処理を実現する方法も有効である。
【0100】
(第3の変形態様)
かかる態様は、誤差ブロックの符号化に関する。予測ブロックと符号化対象ブロックとの間の誤差ブロックを符号化する処理は必須ではない。つまり、誤差ブロック符号化部254(図1)と誤差ブロック復号部156(図1と図2)とは省略することもできる。また、符号化対象ブロックあるいは復号ブロック毎に符号化の有無を決めてもよい。誤差ブロック、及び低解像誤差ブロックの具体的な符号化・復号方法については、上述の方法に限定されるものではない。更に、上記実施の形態では、符号化対象ブロックと予測対象ブロックとを同じブロックサイズとしたが、異なるサイズでも本発明の予測方法は実現可能である。また、誤差信号の符号化は、ブロック単位に限定されるものではなく、画面単位で行ってもよい。但し、この場合には、低解像ブロックの拡大処理に用いるブロック境界の復号画素を用意すべく、低解像ブロックの拡大処理を実行する前に、隣接予測ブロックの生成処理と予測誤差信号の復号処理とを実行する必要がある。
【0101】
(第4の変形態様)
かかる態様は、ブロックサイズに関する。上記実施の形態では、低解像ブロック予測用の動きベクトルは、符号化対象ブロックと復号ブロックとに1本ずつとした。しかし、図19に示すように、符号化対象ブロックを複数のブロックに分割し、分割ブロック単位でブロックマッチングを実施する方法に対しても、本発明に係る予測方法は適用可能である。この場合には、符号化対象ブロック単位で小ブロックのサイズが決定されるとともに、分割ブロックのサイズ情報と複数個の動きベクトル(104a,104b,104c,104d)とが符号化される。
【0102】
更に、図19の例では、4×4小ブロックの動きベクトル検出時における探索範囲の中心点は、4本の低解像ブロック予測用の動きベクトルから空間的に同一の位置の動きベクトルが示す位置に設定できる。
【0103】
なお、図19では、分割方法を8×8単位としているが、これに限定されるものではなく、H.264(“Text of ISO/IEC 14496-10 Advanced Video Coding 3rd Edition”, September 2004.)に示すような複数の分割方法を適応的に利用することができる。また、符号化対象ブロックサイズと復号ブロックサイズとに関しても、16×16に限定されるものではない。すなわち、32×32、8×8、4×4など、異なるブロックサイズであっても、そのサイズに応じて小ブロックのサイズを変更することにより、本発明を適用できる。
【0104】
小ブロック予測部152(図6のS3とS4)における小ブロックのサイズも、4×4と2×2とに限定されるものではない。例えば、図20に示す5×5小ブロック112cや3×3小ブロック112dのように、隣接小ブロックを相互にオーバラップさせることで、小ブロックサイズを拡大してもよい。小さいブロックサイズは、ブロック内に特徴がない場合に予測性能が落ちる傾向があるため、かかる態様を採ることで、局所的な予測性能の向上が見込まれる。なお、小ブロックサイズを、5×5と4×4並びに3×3と2×2で適応的に切り替える方法も有効である。これと同様に、変換・量子化を実行する際のブロックサイズも限定されない。すなわち、符号化装置100及び復号装置200は、誤差ブロックを、例えば8×8ブロックや16×16ブロック単位で変換・量子化してもよい。
【0105】
(第5の変形態様)
かかる態様は、復号低解像ブロックの拡大方法に関する。上記実施の形態では、拡大ブロック生成部154は、復号低解像ブロックを拡大するために参照する境界復号画素群123を、予測ブロックの上辺と左辺に隣接するブロックの復号画素から取得するものとした。しかし、図21に示すように、境界復号画素群123を、隣接するブロックの復号低解像ブロックの復号画素から取得して、拡大ブロックを生成することもできる。
【0106】
上述の変形態様を実現するための符号化装置300及び復号装置400を、図22、図23にそれぞれ示す。符号化装置300、復号装置400は、符号化装置100、復号装置200と以下の点において相違する。
(i)復号低解像ブロック110を一度フレームメモリ153に保存する点
(ii)隣接ブロックに空間的に対応する復号低解像ブロックの復号画素を境界復号画素として、復号低解像ブロックに統合する点
(iii)境界復号画素を含む低解像ブロック124(図21参照)を単位として、拡大ブロック生成部154に入力する点このように符号化装置300及び復号装置400を構成することで、境界復号画素を変更することが可能となる。
【0107】
なお、図1と図2に示した各装置の特徴と、図22と図23に示した各装置の特徴とを、条件に応じて適応的に組み合わせてもよい。例えば、各装置は、隣接するブロックの低解像ブロック用動きベクトルが現在の予測対象のブロックと同じ場合には、復号低解像ブロックの復号画素を境界復号画素として用いる。異なる場合には、復号フレームの復号画素を境界復号画素として用いる。また、複数の予測方法をブロック単位で適応的に切り替える符号化方式では、現在の予測対象ブロックの隣接ブロックの予測方法を条件として、境界復号画素を変更してもよい。
【0108】
更に、境界復号画素を用いることなく、フレーム端での処理のように、低解像予測ブロック内の画素のみから拡大ブロックを生成するものとしてもよい。また、上記実施の形態では、境界復号画素を現フレームの復号済み画像から抽出したが、空間的に同一位置にある過去の復号フレームの復号画素を用いることもできる。境界復号画素は、予測対象のブロックに隣接する画素としたが、復号済みの画素であれば、これに限定されることはなく、ブロック境界から離れた復号画素、あるいは、複数の復号画素から生成した画素などを用いてもよい。
【0109】
(第6の変形態様)
かかる態様は、縮小化方法に関する。上記実施の形態では、図4に示したように、ブロックの縮小化処理として、縦・横方向に1ライン間隔で間引く方法を採ったが、この方法に限定されない。例えば、低解像ブロックの画素数は、符号化装置100と復号装置200間で予め定めておけばよく、復号ブロック(符号化対象ブロック)よりも画素数の少ない任意の形状とすることができる。例えば、図4に示した低解像予測ブロック106の各画素を縦横方向に1画素ずらしたブロックや、図24の低解像予測ブロック1061のように画素数を半分としたブロックに対しても、本発明は適用可能である。
【0110】
また、上記実施の形態では、ブロックの縮小化を、画素間引き処理のみにより実現したが、ブロックの画素にローパスフィルタ処理を施した後に間引き処理を行ってもよい。但し、動き探索の精度を高めるためには、小ブロック動き推定部163への入力となる候補予測ブロック113に対しても、同一のローパスフィルタ処理を施す必要がある。
【0111】
(第7の変形態様)
かかる態様は、低解像ブロック予測に関する。上記実施の形態では、各装置は、低解像予測ブロックを、フレームメモリ153から直接取得したが、低解像予測ブロック106を生成するために必要とするデータ15を、フレームメモリ153に保存されている過去の復号フレーム520から取得してもよい。その後、動き補償部133の内部で、図3に示した16×16画素サイズの予測ブロック105を生成し、予測ブロック105を8×8画素サイズの低解像予測ブロック106に変換してもよい。
【0112】
また、上記実施の形態では、各装置は、16×16画素の予測対象ブロックを動き推定部211への入力としたが、低解像ブロック予測は本実施例に記載した方法には限定されず、例えば、予測対象ブロックに図4の変換規則を施した低解像ブロックを上記入力としてもよい。この場合、低解像予測ブロックと低解像符号化対象ブロック(低解像予測対象ブロック)との予測誤差が小さくなるように、低解像ブロック予測用動きベクトルを選定することにより、低解像誤差ブロックの符号量が削減される効果がある。
【0113】
(第8の変形態様)
かかる態様は、複数予測モードの符号化に関する。上述の実施形態では、符号化対象ブロック(復号ブロック)の予測方法を、本発明に係る予測方法のみとした。しかし、背景技術に記載したような、複数の動きベクトルを符号化する従来のブロック予測方法と、発明に係る予測方法との何れかを、符号化対象ブロック(復号ブロック)単位で、適宜選択するものとしてもよい。
【0114】
更に、上述の予測方法では、16×16ブロック内の全画素を、本発明に係る予測方法により予測するものとした。しかし、16×16ブロックを分割し、分割ブロック単位で、本発明の予測方法と、低解像ブロック予測用動きベクトルを用いたフレーム間予測方法とを適応的に切り替えてもよい。例えば、16×16符号化対象ブロック(復号ブロック)を4個の8×8ブロックに分割し、8×8単位での適応予測を行う場合において、その実施を可能とする符号化装置500を図25に示す。同様の復号装置600を図26に示す。本態様における、復号低解像ブロック及び拡大ブロックを図27に示す。
【0115】
図25の符号化装置500は、図1に示した符号化装置100と、以下の点において相違する。第1に、拡大ブロック生成部1541は、復号低解像ブロックの拡大処理を8×8単位で実行する。すなわち、拡大ブロック生成部1541は、4×4単位で復号低解像ブロックを8×8拡大ブロックに拡張し、ブロック分割部162に出力する。拡大ブロック生成部1541は、図27に示すように、8×8復号低解像ブロック110を、4個の4×4低解像ブロック110a,110b,110c,110dに分割する。そして、4×4ブロック単位で、境界復号画素群128a〜128dと統合し、8×8拡大ブロック1271に拡大する。拡大された8×8拡大ブロックは、ブロック分割部165にて、ブロック1271aとブロック1271bとに示すように、4×4小ブロックと2×2小ブロックとに分割される。そして、小ブロック予測部152に入力される。
【0116】
なお、境界復号画素群128a〜128dには、復号画素を用いるため、この適応予測方式では、8×8単位で予測誤差の符号化処理を実行する必要がある。但し、既存の符号化方式では、通常8×8単位で予測誤差の符号化処理が実行されるため、予測処理と誤差符号化処理の実行単位を切り替えるだけで、上記適応予測方式にも対応することができる。
【0117】
第2に、判定部256は、8×8ブロック単位で、予測方法と予測ブロックの選択を行う。判定部256には、予測対象ブロック202と、動き補償部1331が低解像ブロック予測用動きベクトル104を用いてフレームメモリ153から読み出した16×16予測ブロック105とが入力される。その後、これらのブロックは、4個の8×8符号化対象ブロックと、16×16予測ブロックを4分割した低解像予測ブロック選択用8×8予測ブロックとにそれぞれ分割される。
【0118】
一方、判定部256には、ブロック統合部155から、本発明の小ブロック予測方法にて生成された8×8予測ブロック118が入力される。判定部256は、2種類の予測ブロックについて、符号化対象ブロックとの画素差分絶対値和を8×8単位で計算し、値が小さい方の8×8予測ブロックを選択し、16×16画素の予測ブロック126に統合する。そして、選択された予測方式の選択情報125を統合部2161に出力する。
【0119】
第3に、統合部2161は、選択情報125を、低解像ブロック情報1021に統合する。選択情報125が低解像ブロック予測用動きベクトル104を用いた予測方式を選択している場合には、8×8ブロックサイズの復号低解像ブロックのうち、対応する4×4ブロック領域の情報は必要ない。このため、かかる場合には、対応する4×4低解像誤差ブロックの量子化変換係数はすべてゼロとなるため、低解像ブロック情報1021に統合しない。
【0120】
図26の復号装置600は、図1に示した復号装置200と、以下の点において相違する。第1に、拡大ブロック生成部1541は、復号低解像ブロックの拡大処理を8×8単位で実行する。その手法は、図27を用いて説明した通りであるので、詳細は省略するが、復号側においても、8×8予測ブロックが生成された時点で、対応する8×8予測誤差ブロックの復号処理を実行し、8×8復号ブロックを復号する必要がある。
【0121】
第2に、スイッチ159は、低解像ブロック情報1021から分離された選択情報125に従って、2種類の予測方式を切り替える。但し、選択情報125が動きベクトル104を用いた予測方式を選択している場合には、8×8復号低解像ブロックのうち、対応する4×4ブロック領域の情報が、低解像ブロック情報1021に含まれていない。つまり、低解像誤差ブロックの量子化係数はすべてゼロとなる。このため、当該領域については、該当する4×4低解像ブロックの復号処理、及び本発明の小ブロック予測処理は実行されない。
【0122】
なお、第8の変形態様においても、上述した第5の変形態様にて説明したブロック拡大方法の適用は可能であり、予測対象ブロックの隣接ブロックの予測方法に応じて、ブロック拡大方法を適応的に切り替えることができる。
【0123】
[第2実施形態]
以下、図面を参照しながら、本発明に係る実施形態を説明する。
【0124】
[装置構成]
図28には、本発明の予測復号を実現する動画像復号装置(以下「復号装置」と称する)の構成を示し、図29には、本発明の予測符号化を実現する動画像符号化装置(以下「符号化装置」と称する)の構成を示す。なお、図28及び図29において同じ番号が付された処理部は、同じ機能を有するものとする。
【0125】
[符号化装置の構成]
図29の符号化装置は、入力フレーム201を符号化ブロック分割部251にて8×8の符号化対象ブロック202に分割し、分割で得られた複数の符号化対象ブロック202をラスタスキャン順に符号化する装置である。第1実施形態と同様に、本実施形態でも予測対象の予測対象ブロックと符号化対象の符号化対象ブロックのブロックサイズを同じとするため、予測対象ブロックと符号化対象ブロックは一致する。また、予測ブロックとは、過去に復号した画素から予測処理により生成されるブロックである。なお、予測対象ブロックと符号化対象ブロックのブロックサイズが異なっても良い。符号化対象ブロック202はまず、復号低解像ブロック生成部252に入力される。
【0126】
復号低解像ブロック生成部252は、「符号化対象ブロック(予測対象ブロック)202よりも画素数の少ない復号低解像ブロック110」及び「低解像ブロック情報102」を生成する処理部である。ここで、復号低解像ブロック生成部252の動作を説明する。動き推定部211には、符号化対象ブロック(予測対象ブロック)202がラスタスキャン順に入力され、動き推定部211は、入力された符号化対象ブロック(予測対象ブロック)202とフレームメモリ153に保持されている複数の候補予測ブロック203との間でブロックマッチングを実施し、1本の動きベクトル104を検出する。動きベクトル予測・符号化部212は、検出された動きベクトル104を入力し、各成分の値について予測動きベクトルの各成分の値を減算した差分動きベクトル103を算出する。予測動きベクトルは、現ブロックの左、直上、右上(フレームの外の場合は、左上)の隣接3ブロックの動きベクトルを対象とした中央値予測(成分毎)により算出される。動き補償部133は、フレームメモリ153に保持されている復号済みの復号フレーム520から、動きベクトル104に対応するブロック105を取得する。ブロック105は、縮小化処理部134によって、図36に示すように、縦横1ライン置きに画素を抽出した低解像予測ブロック106に変換される。さらに符号化対象ブロック(予測対象ブロック)202も同様に、縮小化処理部134によって符号化対象ブロック(予測対象ブロック)202よりも画素数の少ない低解像符号化対象ブロック(低解像予測対象ブロック)205に変換される。減算部213は、低解像符号化対象ブロック(低解像予測対象ブロック)205の各画素について、低解像予測ブロック106と空間的に一致する位置の画素と当該各画素との差分値を算出し、低解像誤差ブロック206を生成する。変換部214は低解像誤差ブロック206を4x4離散コサイン変換(DCT)し、16個の低解像誤差ブロックの変換係数207を生成する。量子化部215は変換係数207を量子化し、低解像誤差ブロックの量子化変換係数107を生成する。統合部216は、差分動きベクトル103と低解像誤差ブロックの量子化変換係数107とをまとめて、低解像ブロック情報102としてエントロピー符号化部255に出力する。逆量子化部136は、量子化変換係数107を逆量子化し、低解像誤差ブロックの復号量子化変換係数108を生成する。逆変換部137は、復号量子化変換係数108を逆DCT変換し、復号低解像誤差ブロック109を生成する。加算部217は、低解像予測ブロック106の各画素について、復号低解像誤差ブロック109と空間的に一致する位置の画素と当該各画素との加算値を算出し、復号低解像ブロック110を生成する。
【0127】
次に、低解像ブロック分割部166は、復号低解像ブロック110を、図36のブロック106と同様に2x2の低解像分割ブロック112に分割する。各低解像分割ブロック112は、小ブロック予測部158(図1、図2の152に相当)に入力される。
【0128】
小ブロック予測部158は、フレームメモリ153に保持されている復号済み画像を用いて、低解像分割ブロック112毎に、4x4の予測小ブロック116を生成する処理部である。この小ブロック予測部158の処理は、復号済み画像のみを入力として実施するため、復号装置においても同様の処理が実施できる。ここで、小ブロック予測部158の動作を説明する。小ブロック予測部158に入力された4x4ブロック(「候補予測小ブロック」という)113は、縮小化処理部134によって、画素数の少ない候補縮小予測小ブロック114に変換され、拡大動き推定部138へ出力される。拡大動き推定部138は、図35に示す2x2の低解像分割ブロック112(112a〜112d)と、低解像分割ブロックの4画素と空間的に対応する4画素(候補縮小予測小ブロック114)との間のブロックマッチングを実施し、低解像分割ブロックの動きベクトル115(115a〜115d)を検出する。この際の差分評価値は、「低解像分割ブロックの4画素」と「検索する4x4ブロック(候補予測小ブロック113)の16画素の内、低解像分割ブロックの4画素と空間的に対応する4画素(候補縮小予測小ブロック114)」との差分絶対値和とする(詳細は図32を用いて後述する)。このような復号済み画像のみを入力値とした差分評価値は、復号装置でも算出できるため、復号装置でも符号化装置と同じ動きベクトルを検出することができる。予測小ブロック取得部139は、低解像分割ブロックの動きベクトル115(115a〜115d)に対応する4x4予測小ブロック116(116a〜116d)を、フレームメモリ153の復号フレーム520から取得する。
【0129】
次に、ブロック統合部155は、図35の左側に示すように4個の予測小ブロック116a〜116dを統合し、8x8の予測ブロック118(図29)を生成する。減算部253は、符号化対象ブロック202の各画素について、予測ブロック118と空間的に一致する位置の画素と当該各画素との差分値を算出し、誤差ブロック208を生成する。
【0130】
誤差ブロック符号化部254は、誤差ブロック208を符号化して誤差ブロック情報119を生成し、エントロピー符号化部255に出力する処理部である。ここで、誤差ブロック符号化部254の動作を説明する。変換部218は誤差ブロック208を8x8離散コサイン変換(DCT)し、64個の変換係数209を生成する。量子化部219は変換係数209を量子化し、誤差ブロック情報(量子化変換係数)119を生成する。
【0131】
誤差ブロック復号部156は、誤差ブロック情報119を復号して復号誤差ブロック121を生成する処理部である。ここで、誤差ブロック復号部156の動作を説明する。逆量子化部140は、量子化変換係数119を逆量子化し、復号量子化変換係数120を生成する。逆変換部141は、復号量子化変換係数120を逆DCT変換し、復号誤差ブロック121を生成する。
【0132】
次に、加算部157は、予測ブロック118の各画素について、復号誤差ブロック121と空間的に一致する位置の画素と当該各画素との加算値を算出し、復号ブロック122を生成する。生成された復号ブロック122はフレームメモリ153の現在の復号フレーム610に保持される。最後に、エントロピー符号化部255は、低解像ブロック情報102と誤差ブロック情報119とをエントロピー符号化して、符号化データ101に多重化する。
【0133】
[復号装置の構成]
図28の復号装置は、符号化データ101を復号し、8x8復号ブロック122をラスタスキャン順で再生する装置である。1個の8x8復号ブロックに相当する符号化データ101は、まず、エントロピー復号部150に入力される。エントロピー復号部150は、エントロピー復号によって低解像ブロック情報102と誤差ブロック情報119とを生成する。
【0134】
低解像ブロック復号部151は、低解像ブロック情報102を復号して、復号ブロックよりも画素数の少ない復号低解像ブロック110を生成する処理部である。ここで、低解像ブロック復号部151の動作を説明する。分離部131は、低解像ブロック情報102を差分動きベクトル103と低解像誤差ブロック情報(低解像誤差ブロックの量子化変換係数)107とに分離する。動きベクトル予測・復号部132は、差分動きベクトル103の各成分の値に予測動きベクトルの各成分の値を加算することにより動きベクトル104を算出する。予測動きベクトルは、例えば、現ブロックの左、直上、右上(フレームの外の場合は、左上)の隣接3ブロックの動きベクトルを対象とした中央値予測(成分毎)により算出される。動き補償部133は、フレームメモリ153に保持されている復号済みの復号フレーム520から、動きベクトル104に対応するブロック105を取得する。ブロック105は、縮小化処理部134によって、図36に示すように、縦横1ライン置きに画素を抽出した低解像予測ブロック106に変換される。逆量子化部136は、低解像誤差ブロックの量子化変換係数107を逆量子化し、低解像誤差ブロックの復号量子化変換係数108を生成する。逆変換部137は、復号量子化変換係数108を逆DCT変換し、復号低解像誤差ブロック109を生成する。加算部135は、低解像予測ブロック106の各画素について、復号低解像誤差ブロック109と空間的に一致する位置の画素と当該各画素との加算値を算出し、復号低解像ブロック110を生成する。
【0135】
次に、低解像ブロック分割部166は、図36のブロック106と同様に、復号低解像ブロック110を2x2の低解像分割ブロック112に分割する。各低解像分割ブロック112は、小ブロック予測部158に入力される。
【0136】
小ブロック予測部158(図1、図2の152に相当)は、フレームメモリ153に保持されている復号済み画像を用いて、低解像分割ブロック112毎に、4x4の予測小ブロック116を生成する処理部である。ここで、小ブロック予測部158の動作を説明する。拡大動き推定部138は、図35に示す2x2の低解像分割ブロック112(112a〜112d)と、低解像分割ブロックの4画素と空間的に対応する4画素(候補縮小予測小ブロック114)との間のブロックマッチングを実施し、低解像分割ブロックの動きベクトル115(115a〜115d)を検出する。この際の差分評価値は、「低解像分割ブロックの4画素」と「検索する4x4ブロック(候補予測小ブロック113)の16画素の内、低解像分割ブロックの4画素と空間的に対応する4画素(候補縮小予測小ブロック114)」との差分絶対値和とする(詳細は図32を用いて後述する)。このような復号済み画像のみを入力値とした差分評価値は、復号装置でも算出できるため、復号装置でも符号化装置と同じ動きベクトルを検出することができる。予測小ブロック取得部139は、低解像分割ブロックの動きベクトル115(115a〜115d)に対応する4x4予測小ブロック116(116a〜116d)を、フレームメモリ153の復号フレーム520から取得する。
【0137】
次に、ブロック統合部155は、図35の左側に示すように4個の予測小ブロック116a〜116dを統合し、8x8の予測ブロック118(図28)を生成する。
【0138】
誤差ブロック復号部156は、誤差ブロック情報(量子化変換係数)119を復号して復号誤差ブロック121を生成する処理部である。ここで、誤差ブロック復号部156の動作を説明する。逆量子化部140は、量子化変換係数119を逆量子化し、復号量子化変換係数120を生成する。逆変換部141は、復号量子化変換係数120を逆DCT変換し、復号誤差ブロック121を生成する。
【0139】
次に、加算部157は、予測ブロック118の各画素について、復号誤差ブロック121と空間的に一致する位置の画素と当該各画素との加算値を算出し、復号ブロック122を生成する。復号ブロック122はフレームメモリ153の現在の復号フレーム610に保持される。
【0140】
[処理フローの説明]
図30には、本発明の予測復号を実現する動画像復号処理フローを示し、図33には、本発明の予測符号化を実現する動画像符号化処理フローを示す。なお、図30及び図33において同じ番号が付された処理は、同じ処理結果を導くものとする。
【0141】
[動画像復号処理フロー]
図30にて本発明の予測符号化を実現する動画像復号処理フローを説明する。次の復号ブロックの復号処理が開始されると(処理401)、まず、処理402により、次の復号ブロックの復号に必要とされる1ブロック分の符号化データが図28のエントロピー復号部150に入力される。入力された符号化データは、処理403にて、エントロピー復号部150によってエントロピー復号され、低解像ブロック情報と誤差ブロック情報とが得られる。このうち低解像ブロック情報は処理404にて、低解像ブロック復号部151によって低解像ブロック復号処理が施され、復号低解像ブロックが生成される。
【0142】
ここで、図31を用いて、処理404の低解像ブロック復号処理フローを説明する。低解像ブロック復号処理が開始されると(処理421)、まず、分離部131が低解像ブロック情報を取得し(処理422)、該低解像ブロック情報を差分動きベクトルと低解像誤差ブロック情報とに分離する(処理423)。処理424では、動きベクトル予測・復号部132が、差分動きベクトル103の各成分の値に予測動きベクトルの各成分の値を加算することにより動きベクトル104を算出(復号)する。予測動きベクトルは、例えば、現ブロックの左、直上、右上(フレームの外の場合は、左上)の隣接3ブロックの動きベクトルを対象とした中央値予測(成分毎)により算出される。得られた動きベクトルは、以降の復号ブロックの復号における動きベクトル予測処理のために保持される。
【0143】
次の処理425では、動き補償部133が、フレームメモリ153に保持されている復号済みの復号フレーム520から、動きベクトル104に対応するブロック105を取得する。次の処理426では、取得されたブロック105は、縮小化処理部134によって、図36に示すように縦横1ライン置きに画素を抽出した低解像予測ブロック106に変換される。
【0144】
次の処理427では、逆量子化部136が、低解像誤差ブロックの量子化変換係数107を逆量子化し、低解像誤差ブロックの復号量子化変換係数108を生成する。そして、逆変換部137が、復号量子化変換係数108を逆DCT変換し、復号低解像誤差ブロック109を生成する。そして、処理428では、加算部135が、低解像予測ブロック106の各画素について、復号低解像誤差ブロック109と空間的に一致する位置の画素と当該各画素との加算値を算出し、復号低解像ブロック110を生成して、低解像ブロック復号処理を終了する(処理429)。
【0145】
図30に説明を戻す。処理405では、低解像ブロック分割部166が、復号低解像ブロック110を2x2の低解像分割ブロック112に分割する。処理406では、小ブロック予測部158が、4個の低解像分割ブロック112に対して、小ブロック予測処理を施す。
【0146】
ここで、図32を用いて小ブロック予測処理フローを説明する。小ブロック予測処理が開始されると(処理430)、まず、処理431では、初期値として、評価値Eminは最大整数値に設定され、分割動きベクトル0ベクトルに設定される。次に、処理432では、低解像分割ブロック112が小ブロック予測部158に入力される。続いて処理434の拡大動き推定処理では、拡大動き推定部138によって低解像分割ブロックの動きベクトルが検出される。
【0147】
この拡大動き推定処理では、フレームメモリ153の復号フレームの探索範囲(縦、横方向に±16画素)内をその中心(0ベクトル)からスパイラル順に候補予測小ブロックが抽出され、評価値Eminが最小となる予測小ブロック位置が検出される。より具体的には、処理4341にて、フレームメモリ153の復号フレームから次の候補の予測小ブロックが取得され、処理4342にて、取得された候補予測小ブロックが、例えば図36のブロック106と同様に低解像予測ブロックの次元(画素数)に変換される。処理4343では、評価値E(「低解像分割ブロックの4画素」と「検索する4x4ブロックの16画素の内、低解像分割ブロックの4画素と空間的に対応する4画素」との差分の絶対値和)が計算され、処理4344では、評価値Eが評価値Eminより小さいか否かが判断される。ここで、評価値Eが評価値Eminより小さい場合には、処理4345にて、評価値Eminが評価値Eに更新され、分割動きベクトルが、評価値Eに対応する分割動きベクトルに更新される。以降、処理4341〜処理4345が、探索範囲内の全ての候補予測小ブロックの探索が終了するまで、繰り返される。最後に、処理435にて、予測小ブロック取得部139が、評価値Eが最小となる分割動きベクトルに対応する予測小ブロックを、フレームメモリ153の復号フレームから取得することにより、小ブロック予測処理が終了する(処理436)。以上の小ブロック予測処理により、4個の予測小ブロックが生成される。
【0148】
説明を図30に戻す。処理406にて生成された4個の予測小ブロックは、処理407にてブロック統合部155によって、予測ブロックに統合される。次の処理408では、誤差ブロック復号部156が、誤差ブロック情報(量子化変換係数)を復号(逆量子化・逆変換)し、復号誤差ブロックを生成する。次の処理409では、加算部157によって予測ブロックと復号誤差ブロックとが各画素について加算され、復号ブロックが生成される。最後に、処理410にて、復号ブロックはフレームメモリ153の現在の復号フレームに保持され、ブロック復号処理は終了する(処理411)。
【0149】
[動画像符号化処理フロー]
次に、図33を用いて本発明の予測符号化を実現する符号化対象ブロックの符号化処理フローを説明する。最初に、図29の符号化ブロック分割部251が入力フレーム201を分割することにより、符号化対象ブロック202が得られる。符号化対象ブロック202の符号化処理が開始されると(処理441)、まず、処理442では、復号低解像ブロック生成部252が、図34の低解像ブロック符号化・復号処理を実行する。
【0150】
以下、図34を用いて低解像ブロック符号化・復号処理を説明する。低解像ブロック符号化・復号処理が開始されると(処理451)、まず、処理452にて、次の符号化対象ブロックが入力され、処理453では、符号化対象ブロックとフレームメモリの復号フレームとから動きベクトルが検出される。なお、ここでの動きベクトルの検出方法については、図29の復号低解像ブロック生成部252の構成説明において、説明済みのため割愛する。次の処理454では、フレームメモリの復号フレームから動きベクトルに対応するブロックが取得される。次の処理455では、予測動きベクトル生成後、動きベクトルと予測動きベクトルとの間で各成分について減算処理が行われ、差分動きベクトルが生成される。動きベクトルと生成された差分動きベクトルとは、以降の符号化対象ブロックにおける動きベクトル予測のために保持される。なお、ここでの予測動きベクトルの生成方法については、図29の動きベクトル予測・符号化部212の構成説明において、説明済みのため割愛する。次の処理456では、符号化対象ブロック(予測対象ブロック)が、例えば図36のブロック106と同様に、低解像符号化対象ブロック(低解像予測対象ブロック)に変換され、さらに処理457では、動きベクトルに対応するブロックが、上記符号化対象ブロック(予測対象ブロック)と同様に、低解像予測ブロックに変換される。
【0151】
処理458では、低解像符号化対象ブロック(低解像予測対象ブロック)と低解像予測ブロックとの間で各画素について減算が行われ、低解像誤差ブロックが生成される。次の処理459では、低解像誤差ブロックが符号化(変換・量子化)され、低解像誤差ブロックの量子化変換係数が生成される。次の処理427では、量子化変換係数が復号(逆量子化・逆変換)され、復号低解像誤差ブロックが生成される。次の処理428では、低解像予測ブロックと復号低解像誤差ブロックとの間で各画素について加算が行われ、復号低解像ブロックが生成される。最後に、処理460では、差分動きベクトルと量子化変換係数とが統合され、低解像ブロック情報が生成されて、低解像ブロック符号化・復号処理が終了する(処理461)。
【0152】
説明を図33に戻す。処理405では、低解像ブロック分割部166が、生成された復号低解像ブロックを、低解像分割ブロックに分割する。処理406では、小ブロック予測部158が、分割された低解像分割ブロックに対して小ブロック予測処理を施し、予測小ブロックを生成する。なお、ここでは、小ブロック予測処理(図32)については、既に説明済みのため、説明を省略する。
【0153】
処理407では、ブロック統合部155が、生成された予測小ブロックを、予測ブロックに統合する。次の処理443では、減算部253が符号化対象ブロックと予測ブロックとの間で各画素の減算処理を実施し、誤差ブロックを生成する。次の処理444では、誤差ブロック符号化部254が誤差ブロックを符号化(変換・量子化)し、誤差ブロック情報(量子化変換係数)を生成する。次の処理408では、誤差ブロック復号部156がに誤差ブロック情報(量子化変換係数)を復号(逆量子化・逆変換)し、復号誤差ブロックを生成する。次の処理409では、加算部157が予測ブロックと復号誤差ブロックとの間で各画素の加算処理を実施し、復号ブロックを生成する。そして、処理410にて、生成された復号ブロックがフレームメモリ153の現在の復号フレームに保持された後、処理445では、エントロピー符号化部255が、低解像ブロック情報と誤差ブロック情報とをエントロピー符号化し、ブロック符号化処理は終了する(処理446)。
【0154】
[コンピュータシステムの構成例]
図16は、上記実施形態の画像符号化処理に関する動画像符号化プログラム、画像復号処理に関する動画像復号プログラムを格納したフレキシブルディスク等の記憶媒体を用いて、コンピュータシステムにより実施する場合を説明するための図である。
【0155】
図16(b)は、フレキシブルディスクの正面からみた外観、断面構造、及びフレキシブルディスクを示し、図16(a)は、記録媒体本体であるフレキシブルディスクの物理フォーマットの例を示している。フレキシブルディスクFDはケースF内に内蔵され、該ディスクの表面には、同心円状に外周からは内周に向かって複数のトラックTrが形成され、各トラックは角度方向に16個のセクタSeに分割されている。従って、上記プログラムを格納したフレキシブルディスクでは、上記フレキシブルディスクFD上に割り当てられた領域に、上記プログラムとしてのデータが記録されている。
【0156】
また、図16(c)は、フレキシブルディスクFDに上記プログラムの記録再生を行うための構成を示す。上記プログラムをフレキシブルディスクFDに記録する場合は、コンピュータシステムCsから上記プログラムとしてのデータを、フレキシブルディスクドライブを介して書き込む。また、フレキシブルディスク内のプログラムにより上記符号化装置あるいは復号化装置をコンピュータシステム中に構築する場合は、フレキシブルディスクドライブによりプログラムをフレキシブルディスクから読み出し、コンピュータシステムに転送する。
【0157】
なお、上記説明では、データ記録媒体としてフレキシブルディスクを用いて説明を行ったが、光ディスクを用いても同様に行うことができる。また、記録媒体はこれに限らず、ICカード、ROMカセット等、プログラムを記録できるものであれば同様に実施することができる。またコンピュータとして、CPUを具備しソフトウエアによる処理や制御を行うDVDプレーヤ、セットトップボックス、携帯電話などを含む。
【0158】
次に、動画像復号プログラムおよび動画像符号化プログラムの構成について説明する。
【0159】
図37に示すように、動画像復号プログラム161は、記録媒体160に形成されたプログラム格納領域160a内に格納されている。動画像復号プログラム161は、動画像復号処理を統括的に制御するメインモジュール161aと、図28のエントロピー復号部150の動作を実行するためのエントロピー復号モジュール161bと、図28の低解像ブロック復号部151の動作を実行するための低解像ブロック復号モジュール161cと、図28の低解像ブロック分割部166の動作を実行するための低解像ブロック分割モジュール161hと、図28の小ブロック予測部158の動作を実行するための小ブロック予測モジュール161iと、図28のブロック統合部155の動作を実行するためのブロック統合モジュール161gとを備えて構成される。
【0160】
図38に示すように、動画像符号化プログラム261は、記録媒体260に形成されたプログラム格納領域260a内に格納されている。動画像符号化プログラム261は、動画像符号化処理を統括的に制御するメインモジュール261aと、図29の符号化ブロック分割部251の動作を実行するための符号化ブロック分割モジュール261bと、図29の復号低解像ブロック生成部252の動作を実行するための復号低解像ブロック生成モジュール261cと、図29の低解像ブロック分割部166の動作を実行するための低解像ブロック分割モジュール261hと、図29の小ブロック予測部158の動作を実行するための小ブロック予測モジュール261iと、図29のブロック統合部155の動作を実行するためのブロック統合モジュール261gとを備えて構成される。
【0161】
なお、上記の動画像復号プログラム161は、その一部若しくは全部が、通信回線等の伝送媒体を介して伝送され、他の機器により受信されて記録(インストールを含む)される構成としてもよい。同様に、動画像符号化プログラム261も、その一部若しくは全部が、通信回線等の伝送媒体を介して伝送され、他の機器により受信されて記録(インストールを含む)される構成としてもよい。
【0162】
[各種の変形態様の説明]
以上、本発明の実施形態について説明したが、次のような変形を行っても良く、いずれの形態も本発明に含まれる。
【0163】
(1)予測方法に関する変形態様
上述では、予測方法として、時間方向の予測に限定して説明したが、符号化対象ブロック(予測対象ブロック)又は復号ブロックと同一フレーム内の既に復号した復号済み画像を用いた空間方向の予測にも、同様の方法を適用することができる。即ち、上述した復号低解像ブロックを基に、当該復号低解像ブロックを再分割した低解像分割ブロックに対し、同じフレーム内の隣接する復号済みの画素を用いて、例えば、H.264(”Text of ISO/IEC 14496-10 Advanced Video Coding 3rd Edition”, September 2004.)の複数のイントラ予測モードから、最適なモードを決定した上で、当該復号低解像ブロックに該当する高解像度信号のブロックを予測する場合なども本発明に含まれる。この場合、各低解像分割ブロックの予測モードを明示的に伝送する必要がないため、少ない補助情報で高精度に対象ブロックを予測できるという優れた効果がある。また、上述した時間方向の予測と空間方向の予測とを組み合わせて高精度の予測を行ってもよい。
【0164】
(2)誤差ブロックの符号化に関する変形態様
予測ブロックと符号化対象ブロックとの間の誤差ブロックを符号化することは必須ではない。つまり、誤差ブロック符号化部254(図29)と誤差ブロック復号部156(図28と図29)の処理は省略してもよい。また、符号化対象ブロックあるいは復号ブロック毎に符号化の有無を決めても良い。また、誤差ブロックならびに低解像誤差ブロックの具体的な符号化・復号方法については、上述の方法に限定されるものではない。
【0165】
(3)複数予測モードの符号化に関する変形態様
上述の実施形態では、符号化対象ブロックの符号化処理に適用する予測方法を、本発明の予測方法のみとしているが、符号化対象ブロックを縮小しない従来の符号化方法に対し、本発明の予測方法を適用してもよい。
【0166】
(4)ブロックサイズに関する変形態様
上述では、符号化対象ブロック(予測対象ブロック)ならびに復号ブロックのサイズを8x8、低解像ブロックのサイズを4x4、低解像分割ブロックを2x2としているが、本発明の予測符号化は、これらのサイズには限定されない。例えば、符号化対象ブロック及び復号ブロックのサイズをH.264と同じ16x16、低解像ブロックを8x8、低解像分割ブロックを2x2とするなど、低解像ブロックをさらに4分割よりも細かく分割する場合にも本発明は有効である。同様に、変換・量子化を実施するブロックサイズも限定されない。例えば、H.264のように、誤差ブロックを4x4ブロックに分割して、4x4ブロック単位で変換・量子化を行ってもよい。
【0167】
(5)縮小化方法に関する変形態様
上述では、図36のように、縮小化処理を縦・横に1ライン間引く方法としているが、ブロックの縮小化処理はこの方法には限定されない。例えば、低解像ブロックは、符号化装置と復号装置間で予め定めておけば、復号ブロック(符号化対象ブロック、予測対象ブロック)よりも画素数の少ない任意の形状としてもよく、図36のブロック106の各画素を縦横方向に1画素ずらしたブロック(図36のブロック1060)や、図36のブロック106の画素とブロック1060の画素の両方を持つブロック1062なども含まれる。また、ブロックにローパスフィルタ処理を施した後に縦・横にダウンサンプリングする方法や、4個の隣接画素を平均化して1画素に変換する方法など、画像縮小化に適用される様々な方法を適用することができる。
【0168】
(6)縮小化処理の実施手順に関する変形態様
縮小化処理部は省略してもよい。例えば、縮小化処理部の機能が、動き補償部や拡大動き推定部に含まれている場合や、低解像ブロックに属さない画素を評価に含めずに処理できる場合には、縮小化処理部は必要とされない。また、低解像ブロック復号部による縮小化処理と低解像予測ブロック生成部による縮小化処理とは、復号装置と符号化装置間で予め規定されていれば、異なる方法を用いても良い。
【0169】
(7)拡大動き推定に関する変形態様
拡大動き推定処理における探索範囲、探索手順及び探索開始点は、上述の方法に限定されない。探索範囲は符号化装置と復号装置間で予め規定されていれば、任意の範囲に設定できる。探索手順についても同様で、例えば、中心からのスパイラルではなく、探索範囲を左上から右下に向かってラスタスキャン順に探索する方法なども適用できる。探索開始点についても、0ベクトルではなく、例えば、予測ベクトルを中心として探索範囲を設定することも可能である。また、動き推定・動き補償方法についても、動きベクトルを検出するブロックマッチングに限定されず、アフィンパラメータや透視投影変換パラメータなどの動きパラメータにてブロック内の画素の予測値を算出する方法でも、本発明は適用可能である。この場合も、小ブロック予測部にて検出された動きパラメータは伝送する必要がない。第1実施例の小ブロック予測も同様にブロックマッチングに限定されない。
【0170】
(8)分離部、統合部に関する変形態様
図28の分離部131及び図29の統合部216は必ずしも必要とされない。例えば、図28では、動きベクトル予測・復号部132と逆量子化部136が、エントロピー復号部150からデータを直接受け取ってもよい。図29では、動きベクトル予測・符号化部212と量子化部215から直接、エントロピー符号化部255にデータを出力してもよい。
【符号の説明】
【0171】
100、300、500…動画像符号化装置、131…分離部、132…ベクトル予測・復号部、133…補償部、134…縮小化処理部、135…加算部、136…逆量子化部、137…逆変換部、138…推定部、139…予測小ブロック取得部、140…逆量子化部、141…逆変換部、150…エントロピー復号部、151…低解像ブロック復号部、152、158…小ブロック予測部、153…フレームメモリ、154…拡大ブロック生成部、155…ブロック統合部、156…誤差ブロック復号部、157…加算部、159…スイッチ、160…記録媒体、162…ブロック分割部、163…推定部、164…補償部、165…ブロック分割部、166…低解像ブロック分割部、200、400、600…動画像復号装置、211…推定部、212…ベクトル予測・符号化部、213…減算部、214…変換部、215…量子化部、216…統合部、217…加算部、218…変換部、219…量子化部、251…符号化ブロック分割部、252…復号低解像ブロック生成部、253…減算部、254…誤差ブロック符号化部、255…エントロピー符号化部、256…判定部、260…記録媒体。
【特許請求の範囲】
【請求項1】
ブロック単位で予測ブロックを生成する動画像符号化装置であって、
復号済み画像が保持される保持手段と、
入力された符号化対象画像を、複数の予測対象ブロックに分割する第1の分割手段と、
前記予測対象ブロックを、当該予測対象ブロックよりも画素数が少ない低解像ブロックに変換及び符号化した後、当該低解像ブロックの符号化データを復号することで、復号低解像ブロックを生成する生成手段と、
前記生成された復号低解像ブロックを、前記予測対象ブロックと同じ画素数のブロックに拡大する拡大手段と、
前記拡大されたブロックを、所定の分割規則に基づいて分割することで、複数の小ブロックを生成する第2の分割手段と、
前記生成された小ブロックと前記復号済み画像との間のブロックマッチングにより検出された前記生成された小ブロックの動きベクトルに対応する前記復号済み画像内のブロックを予測小ブロックとして生成する予測手段と、
前記生成された複数の予測小ブロックを、前記分割規則に基づいて統合することで、予測ブロックを生成する統合手段とを備える動画像符号化装置。
【請求項2】
前記符号化対象画像を符号化対象ブロックに分割する第3の分割手段と、
前記分割された符号化対象ブロックと前記予測ブロックとを画素単位で減算して誤差ブロックを生成する減算手段と、
前記生成された誤差ブロックを符号化する符号化手段と、
前記符号化された符号化データを復号して、復号誤差ブロックを生成する復号手段と、
前記予測ブロックと前記復号誤差ブロックとを画素単位で加算して復号ブロックを生成し、当該復号ブロックを前記保持手段に出力する出力手段とを更に備える請求項1に記載の動画像符号化装置。
【請求項3】
前記拡大手段が、前記生成された復号低解像ブロックの画素と予測対象ブロックの上辺および左辺に隣接する復号済みブロックの画素を用いて、前記予測対象ブロックと同じ画素数のブロックを生成する
ことを特徴とする請求項1に記載の動画像符号化装置。
【請求項4】
前記生成手段が、
前記予測対象ブロックを所定の変換規則に基づいて当該予測対象ブロックよりも画素数が少ない低解像予測対象ブロックに変換する手段と、
低解像予測ブロックを生成する低解像予測ブロック生成手段と、
前記低解像予測対象ブロックと前記低解像予測ブロックとを画素単位で減算して低解像誤差ブロックを生成する手段と、
当該低解像誤差ブロックを符号化した後、前記低解像誤差ブロックの符号化データを復号することで復号低解像誤差ブロックを生成する手段と、
前記復号低解像誤差ブロックと前記低解像予測ブロックとを画素単位で加算して前記低解像ブロックを復元する手段と、
を含んで構成され、
前記低解像予測ブロック生成手段が、
前記予測ブロックと同じ画素数の第2の予測ブロックを生成する手段と、
前記変換規則に基づいて該第2の予測ブロックから前記低解像予測ブロックを生成する手段と、
を含んで構成され、
前記生成手段は、さらに、
前記低解像誤差ブロック内のすべての差分画素値がゼロの場合には、前記第2の予測ブロックを前記予測ブロックとして出力する手段を含んで構成される、
ことを特徴とする請求項1に記載の動画像符号化装置。
【請求項5】
ブロック単位で予測ブロックを生成する動画像復号装置であって、
復号済み画像が保持される保持手段と、
入力された符号化データを復号して得られる低解像ブロック情報と前記復号済み画像とに基づいて、予測ブロックよりも画素数が少ない低解像ブロックを生成する復号手段と、
前記生成された低解像ブロックを、前記予測ブロックと同じ画素数のブロックに拡大する拡大手段と、
当該拡大されたブロックを、所定の分割規則に基づいて分割することで、複数の小ブロックを生成する分割手段と、
前記分割された小ブロックと前記復号済み画像との間のブロックマッチングにより検出された前記分割された小ブロックの動きベクトルに対応する前記復号済み画像内のブロックを予測小ブロックとして生成する予測手段と、
当該生成された複数の予測小ブロックを、前記分割規則に基づいて統合することで、予測ブロックを生成する統合手段とを備える動画像復号装置。
【請求項6】
前記符号化データを復号し、誤差ブロックを生成する生成手段と、
前記予測ブロックと前記誤差ブロックとを画素単位で加算して復号ブロックを生成し、当該復号ブロックを前記保持手段に出力する出力手段とを更に備える請求項5に記載の動画像復号装置。
【請求項7】
前記拡大手段が、前記生成された低解像ブロックの画素と予測ブロックの上辺および左辺に隣接する復号済みブロックの画素を用いて、前記予測ブロックと同じ画素数のブロックを生成する
ことを特徴とする請求項5に記載の動画像復号装置。
【請求項8】
前記復号手段が、
前記入力された符号化データを復号して低解像誤差ブロックを復号する手段と、
低解像予測ブロックを生成する低解像予測ブロック生成手段と、
前記低解像誤差ブロックと前記低解像予測ブロックとを画素単位で加算して前記低解像ブロックを生成する手段と、
を含んで構成され、
前記低解像予測ブロック生成手段が、
前記予測ブロックと同じ画素数の第2の予測ブロックを生成する手段と、
所定の規則に基づいて該第2の予測ブロックから前記低解像予測ブロックを生成する手段と、
を含んで構成され、
前記復号手段は、さらに、
前記低解像誤差ブロック内のすべての差分画素値がゼロの場合には、前記第2の予測ブロックを前記予測ブロックとして出力する手段を含んで構成される、
ことを特徴とする請求項5に記載の動画像復号装置。
【請求項9】
復号済み画像を用いてブロック単位で予測ブロックを生成する動画像符号化方法であって、
入力された符号化対象の画像を、複数の予測対象ブロックに分割する第1の分割ステップと、
前記予測対象ブロックを、当該予測対象ブロックよりも画素数が少ない低解像ブロックに変換及び符号化した後、当該低解像ブロックの符号化データを復号することで、復号低解像ブロックを生成する生成ステップと、
前記生成された復号低解像ブロックを、前記予測対象ブロックと同じ画素数のブロックに拡大する拡大ステップと、
前記拡大されたブロックを、所定の分割規則に基づいて分割することで、複数の小ブロックを生成する第2の分割ステップと、
前記生成された小ブロックと前記復号済み画像との間のブロックマッチングにより検出された前記生成された小ブロックの動きベクトルに対応する前記復号済み画像内のブロックを予測小ブロックとして生成する予測ステップと、
前記生成された複数の予測小ブロックを、前記分割規則に基づいて統合することで、予測ブロックを生成する統合ステップとを含むことを特徴とする動画像符号化方法。
【請求項10】
復号済み画像を用いてブロック単位で予測ブロックを生成する動画像復号方法であって、
入力された符号化データを復号して得られる低解像ブロック情報と前記復号済み画像とに基づいて、予測ブロックよりも画素数が少ない低解像ブロックを生成する復号ステップと、
前記生成された低解像ブロックを、前記予測ブロックと同じ画素数のブロックに拡大する拡大ステップと、
当該拡大されたブロックを、所定の分割規則に基づいて分割することで、複数の小ブロックを生成する分割ステップと、
前記分割された小ブロックと前記復号済み画像との間のブロックマッチングにより検出された前記分割された小ブロックの動きベクトルに対応する前記復号済み画像内のブロックを予測小ブロックとして生成する予測ステップと、
前記生成された複数の予測小ブロックを、前記分割規則に基づいて統合することで、予測ブロックを生成する統合ステップとを含むことを特徴とする動画像復号方法。
【請求項11】
復号済み画像と、ブロック単位で予測ブロックを生成する機能を有する動画像符号化プログラムとを保持する保持手段を備えるコンピュータに、
入力された符号化対象の画像を、複数の予測対象ブロックに分割する第1の分割処理と、
前記予測対象ブロックを、当該予測対象ブロックよりも画素数が少ない低解像ブロックに変換及び符号化した後、当該低解像ブロックの符号化データを復号することで、復号低解像ブロックを生成する生成処理と、
前記生成された復号低解像ブロックを、前記予測対象ブロックと同じ画素数のブロックに拡大する拡大処理と、
前記拡大されたブロックを、所定の分割規則に基づいて分割することで、複数の小ブロックを生成する第2の分割処理と、
前記生成された小ブロックと前記復号済み画像との間のブロックマッチングにより検出された前記生成された小ブロックの動きベクトルに対応する前記復号済み画像内のブロックを予測小ブロックとして生成する予測処理と、
前記生成された複数の予測小ブロックを、前記分割規則に基づいて統合することで、予測ブロックを生成する統合処理とを実行させることを特徴とする動画像符号化プログラム。
【請求項12】
復号済み画像と、ブロック単位で予測ブロックを生成する機能を有する動画像復号プログラムとを保持する保持手段を備えるコンピュータに、
入力された符号化データを復号して得られる低解像ブロック情報と前記復号済み画像とに基づいて、予測ブロックよりも画素数が少ない低解像ブロックを生成する復号処理と、
前記生成された低解像ブロックを、前記予測ブロックと同じ画素数のブロックに拡大する拡大処理と、
当該拡大されたブロックを、所定の分割規則に基づいて分割することで、複数の小ブロックを生成する分割処理と、
前記分割された小ブロックと前記復号済み画像との間のブロックマッチングにより検出された前記分割された小ブロックの動きベクトルに対応する前記復号済み画像内のブロックを予測小ブロックとして生成する予測処理と、
当該生成された複数の予測小ブロックを、前記分割規則に基づいて統合することで、予測ブロックを生成する統合処理とを実行させることを特徴とする動画像復号プログラム。
【請求項1】
ブロック単位で予測ブロックを生成する動画像符号化装置であって、
復号済み画像が保持される保持手段と、
入力された符号化対象画像を、複数の予測対象ブロックに分割する第1の分割手段と、
前記予測対象ブロックを、当該予測対象ブロックよりも画素数が少ない低解像ブロックに変換及び符号化した後、当該低解像ブロックの符号化データを復号することで、復号低解像ブロックを生成する生成手段と、
前記生成された復号低解像ブロックを、前記予測対象ブロックと同じ画素数のブロックに拡大する拡大手段と、
前記拡大されたブロックを、所定の分割規則に基づいて分割することで、複数の小ブロックを生成する第2の分割手段と、
前記生成された小ブロックと前記復号済み画像との間のブロックマッチングにより検出された前記生成された小ブロックの動きベクトルに対応する前記復号済み画像内のブロックを予測小ブロックとして生成する予測手段と、
前記生成された複数の予測小ブロックを、前記分割規則に基づいて統合することで、予測ブロックを生成する統合手段とを備える動画像符号化装置。
【請求項2】
前記符号化対象画像を符号化対象ブロックに分割する第3の分割手段と、
前記分割された符号化対象ブロックと前記予測ブロックとを画素単位で減算して誤差ブロックを生成する減算手段と、
前記生成された誤差ブロックを符号化する符号化手段と、
前記符号化された符号化データを復号して、復号誤差ブロックを生成する復号手段と、
前記予測ブロックと前記復号誤差ブロックとを画素単位で加算して復号ブロックを生成し、当該復号ブロックを前記保持手段に出力する出力手段とを更に備える請求項1に記載の動画像符号化装置。
【請求項3】
前記拡大手段が、前記生成された復号低解像ブロックの画素と予測対象ブロックの上辺および左辺に隣接する復号済みブロックの画素を用いて、前記予測対象ブロックと同じ画素数のブロックを生成する
ことを特徴とする請求項1に記載の動画像符号化装置。
【請求項4】
前記生成手段が、
前記予測対象ブロックを所定の変換規則に基づいて当該予測対象ブロックよりも画素数が少ない低解像予測対象ブロックに変換する手段と、
低解像予測ブロックを生成する低解像予測ブロック生成手段と、
前記低解像予測対象ブロックと前記低解像予測ブロックとを画素単位で減算して低解像誤差ブロックを生成する手段と、
当該低解像誤差ブロックを符号化した後、前記低解像誤差ブロックの符号化データを復号することで復号低解像誤差ブロックを生成する手段と、
前記復号低解像誤差ブロックと前記低解像予測ブロックとを画素単位で加算して前記低解像ブロックを復元する手段と、
を含んで構成され、
前記低解像予測ブロック生成手段が、
前記予測ブロックと同じ画素数の第2の予測ブロックを生成する手段と、
前記変換規則に基づいて該第2の予測ブロックから前記低解像予測ブロックを生成する手段と、
を含んで構成され、
前記生成手段は、さらに、
前記低解像誤差ブロック内のすべての差分画素値がゼロの場合には、前記第2の予測ブロックを前記予測ブロックとして出力する手段を含んで構成される、
ことを特徴とする請求項1に記載の動画像符号化装置。
【請求項5】
ブロック単位で予測ブロックを生成する動画像復号装置であって、
復号済み画像が保持される保持手段と、
入力された符号化データを復号して得られる低解像ブロック情報と前記復号済み画像とに基づいて、予測ブロックよりも画素数が少ない低解像ブロックを生成する復号手段と、
前記生成された低解像ブロックを、前記予測ブロックと同じ画素数のブロックに拡大する拡大手段と、
当該拡大されたブロックを、所定の分割規則に基づいて分割することで、複数の小ブロックを生成する分割手段と、
前記分割された小ブロックと前記復号済み画像との間のブロックマッチングにより検出された前記分割された小ブロックの動きベクトルに対応する前記復号済み画像内のブロックを予測小ブロックとして生成する予測手段と、
当該生成された複数の予測小ブロックを、前記分割規則に基づいて統合することで、予測ブロックを生成する統合手段とを備える動画像復号装置。
【請求項6】
前記符号化データを復号し、誤差ブロックを生成する生成手段と、
前記予測ブロックと前記誤差ブロックとを画素単位で加算して復号ブロックを生成し、当該復号ブロックを前記保持手段に出力する出力手段とを更に備える請求項5に記載の動画像復号装置。
【請求項7】
前記拡大手段が、前記生成された低解像ブロックの画素と予測ブロックの上辺および左辺に隣接する復号済みブロックの画素を用いて、前記予測ブロックと同じ画素数のブロックを生成する
ことを特徴とする請求項5に記載の動画像復号装置。
【請求項8】
前記復号手段が、
前記入力された符号化データを復号して低解像誤差ブロックを復号する手段と、
低解像予測ブロックを生成する低解像予測ブロック生成手段と、
前記低解像誤差ブロックと前記低解像予測ブロックとを画素単位で加算して前記低解像ブロックを生成する手段と、
を含んで構成され、
前記低解像予測ブロック生成手段が、
前記予測ブロックと同じ画素数の第2の予測ブロックを生成する手段と、
所定の規則に基づいて該第2の予測ブロックから前記低解像予測ブロックを生成する手段と、
を含んで構成され、
前記復号手段は、さらに、
前記低解像誤差ブロック内のすべての差分画素値がゼロの場合には、前記第2の予測ブロックを前記予測ブロックとして出力する手段を含んで構成される、
ことを特徴とする請求項5に記載の動画像復号装置。
【請求項9】
復号済み画像を用いてブロック単位で予測ブロックを生成する動画像符号化方法であって、
入力された符号化対象の画像を、複数の予測対象ブロックに分割する第1の分割ステップと、
前記予測対象ブロックを、当該予測対象ブロックよりも画素数が少ない低解像ブロックに変換及び符号化した後、当該低解像ブロックの符号化データを復号することで、復号低解像ブロックを生成する生成ステップと、
前記生成された復号低解像ブロックを、前記予測対象ブロックと同じ画素数のブロックに拡大する拡大ステップと、
前記拡大されたブロックを、所定の分割規則に基づいて分割することで、複数の小ブロックを生成する第2の分割ステップと、
前記生成された小ブロックと前記復号済み画像との間のブロックマッチングにより検出された前記生成された小ブロックの動きベクトルに対応する前記復号済み画像内のブロックを予測小ブロックとして生成する予測ステップと、
前記生成された複数の予測小ブロックを、前記分割規則に基づいて統合することで、予測ブロックを生成する統合ステップとを含むことを特徴とする動画像符号化方法。
【請求項10】
復号済み画像を用いてブロック単位で予測ブロックを生成する動画像復号方法であって、
入力された符号化データを復号して得られる低解像ブロック情報と前記復号済み画像とに基づいて、予測ブロックよりも画素数が少ない低解像ブロックを生成する復号ステップと、
前記生成された低解像ブロックを、前記予測ブロックと同じ画素数のブロックに拡大する拡大ステップと、
当該拡大されたブロックを、所定の分割規則に基づいて分割することで、複数の小ブロックを生成する分割ステップと、
前記分割された小ブロックと前記復号済み画像との間のブロックマッチングにより検出された前記分割された小ブロックの動きベクトルに対応する前記復号済み画像内のブロックを予測小ブロックとして生成する予測ステップと、
前記生成された複数の予測小ブロックを、前記分割規則に基づいて統合することで、予測ブロックを生成する統合ステップとを含むことを特徴とする動画像復号方法。
【請求項11】
復号済み画像と、ブロック単位で予測ブロックを生成する機能を有する動画像符号化プログラムとを保持する保持手段を備えるコンピュータに、
入力された符号化対象の画像を、複数の予測対象ブロックに分割する第1の分割処理と、
前記予測対象ブロックを、当該予測対象ブロックよりも画素数が少ない低解像ブロックに変換及び符号化した後、当該低解像ブロックの符号化データを復号することで、復号低解像ブロックを生成する生成処理と、
前記生成された復号低解像ブロックを、前記予測対象ブロックと同じ画素数のブロックに拡大する拡大処理と、
前記拡大されたブロックを、所定の分割規則に基づいて分割することで、複数の小ブロックを生成する第2の分割処理と、
前記生成された小ブロックと前記復号済み画像との間のブロックマッチングにより検出された前記生成された小ブロックの動きベクトルに対応する前記復号済み画像内のブロックを予測小ブロックとして生成する予測処理と、
前記生成された複数の予測小ブロックを、前記分割規則に基づいて統合することで、予測ブロックを生成する統合処理とを実行させることを特徴とする動画像符号化プログラム。
【請求項12】
復号済み画像と、ブロック単位で予測ブロックを生成する機能を有する動画像復号プログラムとを保持する保持手段を備えるコンピュータに、
入力された符号化データを復号して得られる低解像ブロック情報と前記復号済み画像とに基づいて、予測ブロックよりも画素数が少ない低解像ブロックを生成する復号処理と、
前記生成された低解像ブロックを、前記予測ブロックと同じ画素数のブロックに拡大する拡大処理と、
当該拡大されたブロックを、所定の分割規則に基づいて分割することで、複数の小ブロックを生成する分割処理と、
前記分割された小ブロックと前記復号済み画像との間のブロックマッチングにより検出された前記分割された小ブロックの動きベクトルに対応する前記復号済み画像内のブロックを予測小ブロックとして生成する予測処理と、
当該生成された複数の予測小ブロックを、前記分割規則に基づいて統合することで、予測ブロックを生成する統合処理とを実行させることを特徴とする動画像復号プログラム。
【図1】
【図2】
【図3】
【図4】
【図5】
【図6】
【図7】
【図8】
【図9】
【図10】
【図11】
【図12】
【図13】
【図14】
【図15】
【図16】
【図17】
【図18】
【図19】
【図20】
【図21】
【図22】
【図23】
【図24】
【図25】
【図26】
【図27】
【図28】
【図29】
【図30】
【図31】
【図32】
【図33】
【図34】
【図35】
【図36】
【図37】
【図38】
【図2】
【図3】
【図4】
【図5】
【図6】
【図7】
【図8】
【図9】
【図10】
【図11】
【図12】
【図13】
【図14】
【図15】
【図16】
【図17】
【図18】
【図19】
【図20】
【図21】
【図22】
【図23】
【図24】
【図25】
【図26】
【図27】
【図28】
【図29】
【図30】
【図31】
【図32】
【図33】
【図34】
【図35】
【図36】
【図37】
【図38】
【公開番号】特開2013−85306(P2013−85306A)
【公開日】平成25年5月9日(2013.5.9)
【国際特許分類】
【出願番号】特願2013−24564(P2013−24564)
【出願日】平成25年2月12日(2013.2.12)
【分割の表示】特願2010−276956(P2010−276956)の分割
【原出願日】平成17年12月27日(2005.12.27)
【出願人】(392026693)株式会社エヌ・ティ・ティ・ドコモ (5,876)
【Fターム(参考)】
【公開日】平成25年5月9日(2013.5.9)
【国際特許分類】
【出願日】平成25年2月12日(2013.2.12)
【分割の表示】特願2010−276956(P2010−276956)の分割
【原出願日】平成17年12月27日(2005.12.27)
【出願人】(392026693)株式会社エヌ・ティ・ティ・ドコモ (5,876)
【Fターム(参考)】
[ Back to top ]