１つ以上の所定の予測因子の除外を伴う符号化及び復号
本発明は、１つの画像又は一連の画像を符号化し、上記複数の画像のうちの１つの画像ＩＥ中の少なくとも１つの画素群ＭＢを表すデータからなるデータフローＦを生成する方法に関する。上記方法は、上記画素群ＭＢに関する所定の数の予測因子Ｐ１，…，Ｐｎを算出する段階と、所定の選択基準に従って、最適な予測因子を選択する段階とを有している。本発明では、算出段階と選択段階との間において、算出した所定の数の予測因子のうちから少なくとも１つの予測因子を除外する段階が実行される。上記除外段階は、ｉ番目予測因子Ｐｉとｊ番目予測因子Ｐｊとの少なくとも２つについて、上記ｊ番目予測因子と上記ｉ番目予測因子との差分を算出する段階と、算出した差分を変換する段階と、変換結果に量子化演算を実行する段階と、量子化演算結果と所定の値とを比較する段階と、上記量子化演算結果が上記所定の値以下の場合に、ｊ番目予測因子を除外する段階とを含む。
【発明の詳細な説明】
【技術分野】
【０００１】
本発明は、広くは、画像処理の分野に関し、より詳細には、複数のデジタル画像間及びデジタル画像列間での比較による符号化及び復号に関する。
【背景技術】
【０００２】
画像転送のための符号化及び復号の方法は多数存在している。著名な符号化タイプとしては、画像が独立的に、すなわち、他の画像を参照することなく符号化される「イントラ（intra）」コーディングと称される符号化や、画像間の差分だけを抽出して送信するように、過去の画像と結び付けて現在の画像を符号化する「インター（inter）」コーディングと称される符号化などが特に知られている。
【０００３】
一般に、上記のタイプの符号化方法には、予測的符号化ステップが含まれる。予測的符号化ステップでは、現在の画像中のブロック又はマクロブロックと称される画素群が、他の基準ブロック又は基準マクロブロックとの比較によって予測される。ここでいう基準ブロック又は基準マクロブロックとは、以前に符号化及び復号が行われているブロック又はマクロブロックを指す。
【０００４】
例えば、Ｈ２６４／ＭＰＥＧ−４ ＡＶＣ（Advanced Video Coding）規格の場合、マクロブロックの予測的符号化ステップには、複数の区画に従ったマクロブロックの細分化ステップが含まれる。一般に、区画は、より小さなブロックの形をとる。
【０００５】
１６×１６イントラ符号化の場合、マクロブロックは、４つの空間的予測因子（spatial predictor）の組との比較によって予測がなされる固有の区画とみなされる。８×８又は４×４イントラ符号化の場合、より小さい各ブロックは、１６×１６イントラ符号化で使用される４つの空間的予測因子を含む９つの空間的予測因子の組との比較によって予測される。
【０００６】
インター符号化の場合、マクロブロックは、１６×１６、８×１６、１６×８、及び８×８モードに従って区画分けできる。８×８モードが選択された場合、各８×８ブロックは、８×８、４×８、８×４、及び４×４モードに従って、もう一度区画分けされる。各現在ブロックは、１つ以上の基準画像の１つ以上のブロックと比較される。そして、現在ブロックと基準ブロックとの間の変化を表すベクトルとして時間的予測因子が定義される。例えば、マクロブロックが１６個のブロックに区画分けされる場合（４×４モードの場合）、２４個の変位ベクトルが符号化される。画素全体の予測だけでなく、２分の１画素、４分の１画素、又は８分の１画素へと拡張可能な予測を達成するために、そのようなインター符号化は、変位ベクトルの分割によるさらなる改良がなされる。
【０００７】
故に、Ｈ２６４／ＡＶＣ規格として実現されるような、比較に基づくイントラ又はインター符号化は、最良の予測因子を選択するために、上記のさまざまな予測因子について、それらが空間的タイプであるか又は時間的タイプであるかといった比較結果に依存することとなる。ここでいう最良の予測因子とは、所定の基準、例えば、ビットレート／歪みコスト、を考慮した上で、ブロック符号化を最適化するものを指す。
【０００８】
そのような予測的符号化の欠点の１つが、大量の予測因子が提示されるということである。比較のためになされるいくつかの符号化は、用いられた画像コンテンツ及びビットレートに対して非常に似かよったものとなり、それらの複数の予測因子に起因する比較情報のビットレートを不必要に増大させることがわかっている。
【０００９】
そのような予測的符号化の別の欠点は、ビットレート／歪みコストなどの選択基準の算出が予測因子の組に対して実行されるので、中央処理ユニットの演算能力及び処理時間の観点から、利用者の負担が大きくなるということである。
【先行技術文献】
【非特許文献】
【００１０】
【非特許文献１】G. J. Sullivan and T. Wiegand, "Rate-distortion optimization for video compression", IEEE Signal Proc. Mag., pp. 74-90, 1998
【発明の概要】
【発明が解決しようとする課題】
【００１１】
本発明の目的のうちの１つは、上記の従来技術の欠点を改善することにある。
【課題を解決するための手段】
【００１２】
このために、本発明の一態様は、１つの画像又は一連の画像を符号化し、複数の画像のうちの１つの画像中の少なくとも１つの画素群を表すデータからなるデータストリームを生成する方法に関する。上記方法は、
− 画素群に関する所定の数の予測因子を算出する段階と、
− 所定の選択基準に基づいて最適な予測因子を選択する段階と
を有している。
【００１３】
本発明による方法は、算出段階と選択段階との間に、算出した所定の数の予測因子のうちから少なくとも１つの予測因子を除外する段階をさらに有することを特徴とする。除外段階は、ｉ番目予測因子とｊ番目予測因子との少なくとも２つの予測因子について、
− ｊ番目予測因子とｉ番目予測因子との差分を算出する段階と、
− 算出した差分を変換する段階と、
− 変換結果に量子化演算を実行する段階と、
− 量子化演算結果と所定の値とを比較する段階と、
− 量子化演算結果が所定の値以下であった場合に、ｊ番目予測因子を除外する段階とを含む。
【００１４】
したがって、上記構成により、より少ない数の予測因子を使用するブロック符号化が可能となり、先に記載した比較情報のビットレートを十分に削減できる。
【００１５】
さらに、上記構成により、符号化がなされる元画像に依存しない、予測因子を除外するための最適な基準を決定することができる。したがって、そのような除外基準は、符号化装置レベルで採用した場合に、復号装置レベルでの再現性を有する。
【００１６】
最後に、上記構成により、１つ以上の所定の予測因子の除外によって、予測因子の内容及び画像のさまざまな内容に適した符号化が行えるようになる。
【００１７】
同様に、本発明は、１つの画像又は一連の画像を表したデータストリームの復号方法に関する。ストリームは、複数の画像のうちの１つの画像中の少なくとも１つの画素群を表すデータからなる。上記復号方法は、
− 画素群に関する所定の数の予測因子の関数である、ストリームに含まれる最適予測因子インデックスを読み取る段階と、
− 読み取ったインデックスから最適な予測因子を算出する段階とを有している。
【００１８】
上記復号方法は、読取段階の前に、
− 所定の数の予測因子を算出する段階と、
− ｉ番目予測因子とｊ番目予測因子との少なくとも２つの予測因子について、ｊ番目予測因子とｉ番目予測因子との差分を算出する段階と、
− 算出した差分を変換する段階と、
− 変換結果に量子化演算を実行する段階と、
− 量子化演算結果と所定の値とを比較する段階と、
− 量子化演算結果が所定の値以下であった場合、読取段階で読み取られる最適予測因子インデックスがより少ない数の予測因子の関数となるように、ｊ番目予測因子を除外する段階とをさらに有することを特徴とする。
【００１９】
先に記載した符号化方法及び復号方法の有利な特徴によれば、量子化演算は、最適化のための基準に従って、除外される予測因子の数を決定する。
【００２０】
故に、上記構成により、予測因子の最適な除外数をマクロブロック毎に得るために、ｊ番目予測因子とｉ番目予測因子との差分に対する量子化演算を、オンザフライ化、すなわち、符号化がなされる（かつ、後に復号がなされる）現在画像のマクロブロックそれぞれに対して適合させることができる。
【００２１】
先に記載した符号化方法及び復号方法の別の有利な特徴によれば、量子化演算では、パラメータとして量子化幅が使用される。量子化幅自体は、符号化時及び復号時に実行される量子化演算で使用される。
【００２２】
上記構成により、１つ以上の所定の予測因子の除外によって、予測因子の内容及び画像のさまざまな内容に適した予測因子インデックスの符号化が行えるようになる。
【００２３】
先に記載した符号化方法及び復号方法の別の有利な特徴によれば、予測因子は、空間的タイプ又は時間的タイプである。
【００２４】
故に、上記構成により、イントラ符号化（及び、後の復号）と、インター符号化（及び、後の復号）との両方の予測因子の除外を実現できる。
【００２５】
また、本発明は、１つの画像又は一連の画像を符号化し、複数の画像のうちの１つの画像中の少なくとも１つの画素群を表すデータからなるデータストリームを生成する符号化装置に関する。上記符号化装置は、
− 画素群に関する所定の数の予測因子を算出する予測因子算出モジュールと、
− 所定の選択基準に基づいて最適な予測因子を決定する判断モジュールとを具備している。
【００２６】
上記符号化装置は、所定の数の予測因子のうちから少なくとも１つの予測因子を除外する除外モジュールをさらに具備することを特徴とする。除外モジュールは、ｉ番目予測因子とｊ番目予測因子との少なくとも２つの予測因子について、
・ ｊ番目予測因子とｉ番目予測因子との差分を決定する手順と、
・ 算出した差分を変換する手順と、
・ 変換結果に量子化演算を実行する手順と、
・ 量子化演算結果と所定の値とを比較する手順と、
・ 量子化演算結果が所定の値以下であった場合に、ｊ番目予測因子を除外する手順とを実行する算出手段を具備する。
【００２７】
また、本発明は、１つの画像又は一連の画像を表したデータストリームを復号する復号装置に関する。ストリームは、複数の画像のうちの１つの画像中の少なくとも１つの画素群を表すデータからなる。上記復号装置は、
− 画素群に関する所定の数の予測因子の関数である、ストリームに含まれる最適予測因子インデックスを読み取る読取モジュールと、
− 読み取ったインデックスから最適な予測因子を算出する最適予測因子算出モジュールとを具備している。
【００２８】
上記復号装置は、
− 所定の数の予測因子を算出する予測因子算出モジュールと、
− 所定の数の予測因子のうちから少なくとも１つの予測因子を除外する除外モジュールとをさらに具備することを特徴とする。除外モジュールは、
・ ｉ番目予測因子（Ｐｉ）とｊ番目予測因子（Ｐｊ）との少なくとも２つの予測因子について、
− ｊ番目予測因子とｉ番目予測因子との差分を決定する手順と、
− 算出した差分を変換する手順と、
− 変換結果に量子化演算を実行する手順と、
− 量子化演算結果と所定の値とを比較する手順と、
− 量子化演算結果が所定の値以下であった場合に、ｊ番目予測因子を除外する手順とを実行する算出手段と、
・ 算出手段の取得した、より少ない所定の数の予測因子を送信する送信手段とを具備する。
【００２９】
また、本発明は、コンピュータ上で実行されたとき、上記の各方法のうちの１つを実現する複数の命令からなるコンピュータプログラムに関する。
【００３０】
その他の特徴及び利点は、添付の各図面を参照して記載された２つの好適な実施形態から明らかとなる。
【図面の簡単な説明】
【００３１】
【図１】本発明による符号化方法の各ステップを示す図である。
【図２】本発明による符号化装置の一実施形態を示す図である。
【図３Ａ】本発明による符号化装置において選択可能なさまざまな形状の区画を示す図である。
【図３Ｂ】本発明による符号化装置において選択可能なさまざまな形状の区画を示す図である。
【図４Ａ】図３に示したさまざまな初期区画の選択に応じて区画分けされたマクロブロックを示す図である。
【図４Ｂ】図３に示したさまざまな初期区画の選択に応じて区画分けされたマクロブロックを示す図である。
【図５】図３Ａのイントラ符号化モードで使用される空間的予測因子を示す図である。
【図６】除外される予測因子の数を最適化するための基準を示す図である。
【図７】本発明による復号装置を示す図である。
【図８】本発明による復号方法の各ステップを示す図である。
【図９】２分の１画素解像度による４×４インター符号化で使用される時間的予測因子を示す図である。
【発明を実施するための形態】
【００３２】
［第１実施形態の詳細］
これより、本発明の一実施形態について記載する。本発明による符号化方法は、Ｈ．２６４／ＭＰＥＧ−４ ＡＶＣ規格に準じた符号化によって得られるものに近いビットストリームに従う一連の画像を符号化するために使用される。この実施形態では、本発明による符号化方法は、例えば、Ｈ．２６４／ＭＰＥＧ−４ ＡＶＣ規格に基本的に準じた符号化装置を修正することによって、ソフトウェア又はハードウェア方式で実現される。本発明による符号化方法は、図１に示された複数のステップＣ１〜Ｃ１２からなるアルゴリズムの形で表される。
【００３３】
当然ながら、本発明による復号方法もまた、Ｈ．２６４／ＭＰＥＧ−４ ＡＶＣ規格に基本的に準じた復号装置を修正することによって、ソフトウェア又はハードウェア方式で実現される。
【００３４】
本発明の実施形態によれば、本発明による符号化方法は、図２に示された符号化装置ＣＯとして実現される。符号化装置ＣＯによって実行される符号化は、例えば、イントラタイプである。
【００３５】
図１に示された第１ステップＣ１では、符号化対象の一連の画像のうちの１つの画像ＩＥに属するマクロブロックに対して、所定の形状の区画の所定の組から選択されたより小さい特定の区画の選択が行なわれる。そのために、例えば、サイズが１６×１６である、画像ＩＥに属するマクロブロックＭＢは、図２に示された区画選択モジュールＳＰへ入力される。
【００３６】
区画選択モジュールＳＰは、例えば、全数比較に基づく選択方法、又は、偏りを持たせたアルゴリズムを用いた選択方法を使用する。そのような方法は、当業者の知るところであるので、説明は省略する（文献「Rate-distortion optimization for video compression」（非特許文献１）を参照されたい）。
【００３７】
上記区画は、符号化装置ＣＯのデータベースＢＤにおいてグループ化される。
【００３８】
選択モジュールＳＰによって選択される可能性のあるマクロブロックのさまざまな区画を、限定を意図しない例示として図３に示す。
【００３９】
図３Ａは、四角形の形状を有した初期区画ＰＡ１を示す。
【００４０】
図３Ｂは、線形の形状を有した初期区画ＰＡ１を示す。
【００４１】
図１に示された次のステップＣ２では、図３に示されたもののうちの１つのような選択された初期区画ＰＡ１に応じて、複数の区画ＰＡ１，ＰＡ２，…，ＰＡｎへのマクロブロックＭＢの細分化が行われる。そのような細分化は、図２に示されたマクロブロック区画分けモジュールＰＭＢ１によって実行される。マクロブロック区画分けモジュールＰＭＢ１は、区画分けアルゴリズムを使用するか、又は、所定の区画に応じた区画分けを実行する。
【００４２】
図４は、図３に示された初期区画ＰＡ１に応じた細分化の後に得られた複数のマクロブロックＭＢｐａｒｔを示す。
【００４３】
図４Ａは、それぞれが四角形の形状を有し、かつ同数の画素を含んだ４つの区画ＰＡ１，…，ＰＡ４からなる、区画分けされたマクロブロックＭＢｐａｒｔを示す。
【００４４】
図４Ｂは、それぞれが線形の形状を有し、かつ同数の画素を含んだ４つの区画ＰＡ１，…，ＰＡ４からなる、区画分けされたマクロブロックＭＢｐａｒｔを示す。
【００４５】
図１に示されたステップＣ３では、区画分けモジュールＰＭＢ１が、区画分けが行われたマクロブロックＭＢｐａｒｔを、図２に示された算出モジュールＣＡＬ１へ送信する。
【００４６】
図１に示されたステップＣ４では、算出モジュールＣＡＬ１が、受信した区画分けされたマクロブロックＭＢｐａｒｔに対して起こり得るさまざまな予測の算出に使用されるＥ１個の空間的予測因子を決定する。例えば、図４に示されたように、イントラ符号化モードが８×８タイプである場合、算出モジュールＣＡＬ１は、既知の手法によって、９個の起こり得る空間的予測因子Ｐ１，Ｐ２，…，Ｐ９が存在すると判断する。
【００４７】
図５を参照すると、これら９個の空間的予測因子は、現在の区画ＰＡ１、区画ＰＡ２、区画ＰＡ３、又は区画ＰＡ４を、同一の画像に含まれた基準区画と比較して予測可能である起こり得る９つの方向にそれぞれ対応している。慣習的に、これら９つの方向は、
− 垂直方向Ｐ１と、
− 水平方向Ｐ２と、
− 上記の２つの方向の平均である、ＤＣ方向Ｐ３と、
− 数種の斜め方向Ｐ４〜Ｐ９とを含む。
【００４８】
図２を参照すると、そのような基準区画は、Ｈ．２６４／ＭＰＥＧ−４ ＡＶＣ規格に従って、換言すれば、以下のような既知の手法に準じて符号化される。すなわち、
− 変換・量子化モジュールＭＴＱ１によって実行される離散コサイン変換及び量子化によって符号化がなされ、
− 逆変換・量子化モジュールＭＴＱＩ１によって実行される逆離散コサイン変換及び逆量子化によって復号がなされる。
【００４９】
本発明によれば、ステップＣ５で、算出モジュールＣＡＬ１が、算出した予測因子の集合Ｅ１を、予測因子除外モジュールＭＥＬＰ１へ送信する。予測因子除外モジュールＭＥＬＰ１の役割は、冗長な空間予測因子、すなわち、類似した符号化となるような予測因子を、この集合から削除することである。
【００５０】
このために、モジュールＭＥＬＰ１は、先に記載した９個の空間的予測因子Ｐ１，Ｐ１，…，Ｐ９を含む集合Ｅ１に対して、以下のアルゴリズムを実行する。
【００５１】
ステップＣ６で、１≦ｉ≦９かつ２≦ｊ≦９の間、モジュールＭＥＬＰ１は、差分Ｐｊ−Ｐｉを算出する。
【００５２】
ステップＣ７で、モジュールＭＥＬＰ１は、算出した差分を変換Ｔ１（Ｐｊ−Ｐｉ）する。
【００５３】
そのような変換は、例えば、先に記載した基準区画の符号化及び復号に使用されるような離散コサイン変換である。
【００５４】
変形例として、他の既知の変換が使用されてよい。特に、離散ウェーブレット変換、フラクタルウェーブレット変換などが挙げられる。
【００５５】
ステップＣ８で、モジュールＭＥＬＰ１は、得られた変換係数に量子化演算Ｑ１（Ｔ１（Ｐｊ−Ｐｉ））を実行する。
【００５６】
量子化演算は、サイコ−ビジュアル（psycho-visual）、プラナー（planar）などのタイプであってよい係数を有した行列からなる。
【００５７】
ステップＣ９で、モジュールＭＥＬＰ１は、下式のように、得られた量子化結果と所定値ｑ１とを比較する。
Ｑ１（Ｔ１（Ｐｊ−Ｐｉ））≦ｑ１
【００５８】
実際には、モジュールＭＥＬＰ１は、以下の数式の計算を行う。
Ｑ１ｏｐｔ（Ｔ１（Ｐｊ−Ｐｉ））＝０
ここで、値Ｑ１ｏｐｔは、集合Ｅ１からの予測因子の適切な除外が行えるように係数が選択された行列として定義される。
【００５９】
量子化行列Ｑ１ｏｐｔは、量子化幅ＱＰ１ｏｐｔを使用する。本発明の一実施形態による量子化幅ＱＰ１ｏｐｔは、用いられるイントラ符号化モード毎に経験的に固定となる。
【００６０】
近似的に、イントラモード毎に、値ＱＰ１ｏｐｔは以下の範囲内にある。
０≦ＱＰ１ｏｐｔ≦ＱＰ１＋６
ここで、値ＱＰ１は、先に記載した基準区画の符号化及び復号に用いられる量子化の量子化幅である。
【００６１】
図６の記載から見て取れるように、８×８イントラ符号化モードの場合、画像一式とともに変化する値ＱＰ１ｏｐｔを用いることによって、ＱＰ１ｏｐｔ＝４のとき、最大のビットレート削減効果が得られる。
【００６２】
先に記載したステップＣ９において、
− 式Ｑ１ｏｐｔ（Ｔ１（Ｐｊ−Ｐｉ））＝０を満たす場合、モジュールＭＥＬＰ１は、予測因子の集合Ｅ１から予測因子Ｐｊを除外Ｅ１ｒｅｓ＝Ｅ１−｛Ｐｊ｝する。
− 式Ｑ１ｏｐｔ（Ｔ１（Ｐｊ−Ｐｉ））＝０を満たさない場合、換言すれば、Ｑ１ｏｐｔ（Ｔ１（Ｐｊ−Ｐｉ））≠０であった場合、モジュールＭＥＬＰ１は、メモリに予測因子Ｐｊを保持する。
【００６３】
ステップＣ１０で、予測演算モジュールＰＲＥＤ１（図１）は、除外されなかった予測因子だけからなる予測因子の限定済み集合Ｅ１ｒｅｓに対して、マクロブロックＭＢｐａｒｔの各区画ＰＡ１，…，ＰＡｎの起こり得る空間的予測因子を算出する。故に、そのような構成により、１つ又は複数の予測因子のインデックスの削減を可能とする主な利点が提供される。ここで、インデックスは、図７に示された復号装置ＤＯに送信するためのものである。
【００６４】
予測演算モジュールＰＲＥＤ１によってさまざまな起こり得る予測が算出されると、図１に示されたステップｃ１１で、図２に示された判断モジュールＤＣＮ１が、画像ＩＥの区画分けされた複数のマクロブロック全体を走査し、これらのマクロブロックそれぞれを符号化するために使用される予測因子を選択する。マクロブロックに起こり得る予測に基づき、判断モジュールＤＣＮ１は、当業者には既知のビットレート歪み基準に従って、最適な予測因子を選択する。
【００６５】
符号化対象の現在のマクロブロックＭＢに対し、判断モジュールＤＣＮ１は、比較のために、予測因子の限定済み集合Ｅ１ｒｅｓの予測因子を用いる。
【００６６】
次いで、ステップＣ１２で、予測された各マクロブロックＭＢｐｒｅｄが、Ｈ．２６４／ＭＰＥＧ−４ ＡＶＣ規格などで符号化される。
【００６７】
判断モジュールＤＣＮ１によってこの構造的符号化が実行されれば、画像ＩＥのブロックに対応した残余の係数は、もしそれが存在するならば、変換・量子化モジュールＭＴＱ１へ送信される。離散コサイン変換と、その後の量子化とが実行される。次いで、それらの量子化された係数を有したマクロブロックのスライスが、エントロピック符号化モジュールＣＥへ送信され、画像ＩＥと同様の手法で既に符号化されているビデオシーケンスの他の画像を用いて、本発明による符号化がなされたビデオビットストリームＦを生成する。
【００６８】
正しく符号化されたビットストリームＦは、通信ネットワークを介してリモート端末に送信される。リモート端末には、図７に示された復号装置ＤＯが含まれる。
【００６９】
ビットストリームＦは、まず、エントロピック復号モジュールＤＥに送信される。エントロピック復号モジュールＤＥは、図２に示されたエントロピック符号化モジュールＣＥによって実行されたものへの逆復号を提供する。次いで、再現対象の画像マクロブロック毎に、モジュールＤＥによって復号された係数が、逆量子化・逆変換モジュールＭＱＴＩ２へ送信される。
【００７０】
次いで、画像再構築モジュールＲＩが、転送エラーを分離させた、本願発明による符号化ステップＣ１２でモジュールＤＣＮ１（図２）によって生成されたデータに対応する復号されたデータを受信する。モジュールＲＩは、図８に示されたように、本発明による復号方法の複数のステップＤ１〜Ｄ１１を実行する。
【００７１】
第１ステップＤ１では、復号対象の画像ＩＥの現在のマクロブロックのスライス中の符号化されたデータ構造が復号される。既知の手法で、再構築モジュールＲＩは、上記マクロブロック範囲のデータから以下の判断を行う。すなわち、
− 上記データの符号化タイプは、イントラ符号化であるか、インター符号化であるか（本実施例では、イントラ符号化である）と、
− 再構築対象のマクロブロックの区画分けタイプは、４×４イントラ、８×８イントラ、ライン等であるか（本実施例では、８×８イントラである）と、
− ステップＣ１１で判断モジュールＤＣＮ１によって選択されたような最適予測因子インデックスであるかとが判断される。
【００７２】
図８に示された次のステップＤ２では、ステップＤ１で決定された区画分けに従って、復号対象の現在のマクロブロックの細分化を行う。そのために、図２に示されたものとあらゆる点で類似したマクロブロック区画分けモジュールＰＭＢ２が、マクロブロックをｎ個の区画ＰＡ１，ＰＡ２，…，ＰＡｎへ細分化する。
【００７３】
区画分けステップＤ２に続いて、図８に示されたステップＤ３で、区画分けモジュールＰＭＢ２は、復号対象であり、ｎ個の区画に分けられた現在のマクロブロックを、図７に示された算出モジュールＣＡＬ２へ送信する。算出モジュールＣＡＬ２は、図１の符号化装置ＣＯの算出モジュールＣＡＬ１と、あらゆる点で類似する。
【００７４】
図８に示されたステップＤ４で、算出モジュールＣＡＬ２は、受信した区画分けされたマクロブロックＭＢｐａｒｔのさまざまな起こり得る予測因子を算出するために使用される空間的予測因子の数Ｅ２を決定する。
【００７５】
ステップＤ５で、算出モジュールＣＡＬ２は、算出した予測因子の集合Ｅ２を予測因子除外モジュールＭＥＬＰ２へ送信する。予測因子除外モジュールＭＥＬＰ２は、図１の符号化装置ＣＯの予測因子除外モジュールＭＥＬＰ１と、あらゆる点で類似する。
【００７６】
ステップＤ６からステップＤ９で、予測因子除外モジュールＭＥＬＰ２は、先に記載した符号化装置ＣＯのモジュールＭＥＬＰ１によって実行されたものと同一のアルゴリズムを実行し、集合Ｅ２から冗長な空間的予測因子、すなわち、類似した復号結果になるであろう予測因子を削除して、予測因子の削減済み集合Ｅ２ｒｅｓを得る。
【００７７】
図８に示されたステップＤ１０で、図７に示された判断モジュールＤＣＮ２が、区画分けされたマクロブロック全体を走査して、これらのマクロブロックのそれぞれを復号する予測因子を選択する。マクロブロックに対してあり得る予測因子に基づき、判断モジュールＤＣＮ２は、当業者には既知のビットレート歪み基準に従って、最適な予測因子を選択する。
【００７８】
復号対象の現在のマクロブロックＭＢに対し、判断モジュールＤＣＮ２は、比較のために、予測因子の限定済み集合Ｅ２の予測因子を用いる。
【００７９】
次いで、ステップＤ１１で、予測された各マクロブロックが、Ｈ．２６４／ＭＰＥＧ−４ ＡＶＣ規格などで復号される。
【００８０】
画像ＩＥのすべてのマクロブロックが復号されれば、画像再構築モジュールＲＩが、復号装置ＤＯからの出力として、復号した画像ＩＥに対応する画像ＩＤを提供する。
【００８１】
復号装置ＤＯで実行される予測因子除外アルゴリズムが符号化装置ＣＯで実行されるものとあらゆる点で類似していることを踏まえると、使用される予測因子が与える情報のコストは、大幅に削減される。
【００８２】
［第２実施形態の詳細］
以下に記載される第２実施形態は、図２に示された符号化装置ＣＯがイントラタイプの符号化の代わりにインタータイプの符号化を実行するという点で、先に記載のものとは異なっている。
【００８３】
第２実施形態の目的の１つは、関連する変位ベクトルのコストを削減するように、符号化対象のブロック毎にサブ画素解像度の除外を管理することにある。
【００８４】
先のイントラモードのステップＣ１と同様に、選択モジュールＳＰが区画を選択する。区画は、例示のように、それぞれがブロック形状を有する。
【００８５】
先のイントラモードのステップＣ２と同様に、現在のマクロブロックは、ｎ個の区画となるように、例えば、１６個の４×４ブロックへと細分化される。
【００８６】
次のステップＣ３は、先に記載したイントラ符号化で実行されたものと同一である。
【００８７】
次のステップＣ４で、予測モジュールＰＲＥＤ１の算出モジュールＣＡＬ１が、現在の４×４ブロックのさまざまな起こり得る予測を算出するための予測因子の数を決定する。このとき、予測因子は、空間的予測因子ではなく、時間的予測因子である。
【００８８】
既知の手法により、算出モジュールＣＡＬ１は、現在ブロックと図９に示された基準ブロックとの間の動きを表す変位ベクトルのとるさまざまな方向を決定する。基準ブロックＢｒｅｆは、基準画像、例えば、先の画像列、に属する。例えば、変位ベクトルが２分の１画素に分割された場合、既知の手法によって、算出モジュールＣＡＬ１は、図９に示されたように、基準画素全体に対し以下の９個の予測因子を算出する。
− Ｐ’１：画素全体のベクトル
− Ｐ’２：垂直上方向の１／２画素のベクトル
− Ｐ’３：垂直下方向の１／２画素のベクトル
− Ｐ’４：水平右方向の１／２画素のベクトル
− Ｐ’５：水平左方向の１／２画素のベクトル
− Ｐ’６：斜め右上方向の１／２画素のベクトル
− Ｐ’７：斜め右下方向の１／２画素のベクトル
− Ｐ’８：斜め左上方向の１／２画素のベクトル
− Ｐ’９：斜め左下方向の１／２画素のベクトル
【００８９】
先に記載したステップＣ５と同様に、算出モジュールＣＡＬ１は、算出したベクトルＰ’１からベクトルＰ’９の集合Ｅ’１を、予測因子除外モジュールＭＥＬＰ１へ送信する。
【００９０】
イントラモードのステップＣ６からステップＣ９と同様に、除外モジュールＭＥＬＰ１は、先に記載した９個の時間的予測因子Ｐ’１，…，Ｐ’ｊ，…，Ｐ’９を含む集合Ｅ’１に対して以下のアルゴリズムを実行する。
【００９１】
実際には、モジュールＭＥＬＰ１は、以下の式を計算する。
Ｑ’１ｏｐｔ（Ｔ’１（Ｐ’ｊ−Ｐ’１））＝０ ｆｏｒ ２≦ｊ≦ｎ
ここで、Ｑ’１ｏｐｔは、２分の１画素ベクトルの集合Ｅ’１から最適な除外を行うように係数が選択された行列である。
【００９２】
量子化行列Ｑ’１ｏｐｔは、量子化幅ＱＰ’１ｏｐｔを用いる。本発明の一実施形態による量子化幅ＱＰ’１ｏｐｔは、使用されるインター符号化モード毎に経験的に設定される。
【００９３】
近似的に、２分の１画素の解像度を用いる４×４インターモードの場合、最大の圧縮は、ＱＰ’１ｏｐｔ＝１７で得られる。
【００９４】
先に記載したステップＣ９で、
− 式Ｑ’１ｏｐｔ（Ｔ’１（Ｐ’ｊ−Ｐ’１））＝０をＭ回満たす場合、例えば、関連する２分の１画素ベクトルの半数に対して、モジュールＭＥＬＰ１は、削減された予測因子集合を得るように、すべての２分の１画素の予測因子Ｐ’２〜Ｐ’９を集合Ｅ’１から除外する。すなわち、画素全体のベクトルＰ’１へと削減されたＥ’１ｒｅｓ＝Ｐ’１とする。
− 式Ｑ’１ｏｐｔ（Ｔ’１（Ｐ’ｊ−Ｐ’１））＝０を満たさない場合、モジュールＭＥＬＰ１は、予測因子Ｐ’ｊをメモリに保持する。
【００９５】
続く、最適な予測因子の選択ステップＣ１１及び符号化ステップＣ１２は、先に記載したイントラモードのステップＣ１１及びステップＣ１２とそれぞれ同様であるので、ここでは再度の説明は行わない。
【００９６】
次いで、復号装置ＤＯの再構築モジュールＲＩは、先に記載したイントラモードの復号方法のそれと類似しているステップＤ１ないしステップＤ１１を実行する。しかしながら、ステップＤ１ないしステップＤ１１は、インターモードに適合したものとなっている。
【００９７】
第１ステップＤ１では、復号対象の画像ＩＥの現在のマクロブロックの一部分の符号化されたデータ構造体の復号が行われる。既知の手法により、再構築モジュールＲＩが、上記マクロブロック部分のデータから以下を判断する。すなわち、
− 符号化タイプ（記載した実施例ではインターデータタイプである）と、
− 再構築対象のマクロブロックの区画分けタイプ（記載した実施例では４×４インタータイプである）と、
− ステップＣ１１で判断モジュールＤＣＮ１によって選択されたような最適な変位ベクトルのインデックスであるかとが判断される。
【００９８】
次のステップＤ２で、マクロブロック区画分けモジュールＰＭＢ２が、マクロブロックを１６個の４×４ブロックへと細分化する。
【００９９】
区画分けステップＤ２に続いて、先に記載したイントラモードのそれと類似したステップＤ３で、区画分けモジュールＰＭＢ２は、復号対象であり、１６個の区画に分けられた現在のマクロブロックを、先に記載した算出モジュールＣＡＬ２へ送信する。
【０１００】
ステップＤ４で、算出モジュールＣＡＬ２は、受信した区画分けされたマクロブロックＭＢｐａｒｔのさまざまな起こり得る予測を算出するために使用される時間的予測因子の数Ｅ’２を決定する。
【０１０１】
ステップＤ５で、算出モジュールＣＡＬ２は、算出した９個の変位ベクトルＰ’１〜Ｐ’９の集合Ｅ’２を、先に記載した予測因子除外モジュールＭＥＬＰ２へ送信する。
【０１０２】
ステップＤ６からステップＤ９で、予測因子除外モジュールＭＥＬＰ２は、先に記載した符号化装置ＣＯのモジュールＭＥＬＰ１によって実行されたものと同一のアルゴリズムを実行し、集合Ｅ’２から２分の１ベクトルを削除して、削減された集合Ｅ２ｒｅｓを得る。ここで、集合Ｅ２ｒｅｓは、全体画素ベクトルＰ’１だけからなる。
【０１０３】
ステップＤ１０で、判断モジュールＤＣＮ２が、区画分けされたマクロブロックの全体を走査し、これらのマクロブロックそれぞれを復号するためのベクトルを選択する。マクロブロックに対して起こり得る予測の中から、判断モジュールＤＣＮ２は、当業者には既知のビットレート歪み基準に従って、最適な変位ベクトルを選択する。
【０１０４】
復号対象の現在のマクロブロックＭＢに対し、判断モジュールＤＣＮ２は、比較のために、予測因子の限定された集合Ｅ’２ｒｅｓのベクトルを用いる。集合Ｅ’２ｒｅｓにはベクトルＰ’１だけが含まれることから、判断モジュールＤＣＮ２は、このベクトルをデフォルトとして選択する。
【０１０５】
ステップＤ１１で、予測された各マクロブロックが、Ｈ．２６４／ＭＰＥＧ−４ ＡＶＣ規格などで復号される。
【０１０６】
画像ＩＥのすべてのマクロブロックが復号されたならば、画像再構築モジュールＲＩが、復号装置ＤＯからの出力として、画像ＩＥの復号に対応する画像ＩＤを提供する。
【０１０７】
復号装置ＤＯで実行される予測因子除外アルゴリズムが符号化装置ＣＯで実行されるものとあらゆる点で同一であることから、用いられる２分の１画素ベクトルが与える情報のコストは、大幅に削減される。
【０１０８】
以上、複数の実施形態について説明したが、当然ながら、これらは純粋に例示を目的としたものであって、限定を意図しない。本発明の範囲から逸脱することなく、当業者によって、数多くの変形例が容易に作り出される。
【０１０９】
故に、例えば、符号化（後の復号）のために算出される所定数の予測因子の除外用いられる量子化演算Ｑ１（又はＱ２）は、符号化時（後の復号時）に実行される量子化演算と同一の手法で、後処理演算を受けてよい。そのような後処理演算の例としては、例えば、係数の大部分がゼロに等しいときに、量子化行列のすべての係数をゼロに設定することが挙げられる。
【０１１０】
また、第２実施形態に関しては、２分の１画素の変位ベクトルに加えて、４分の１画素、及び／又は、８分の１画素、…、及び／又は、ｎ分の１画素の変位ベクトルが想定できる。符号化対象の画像の解像度に応じて、変位ベクトルの１つ以上の分割タイプの選択が行なえる。
【符号の説明】
【０１１１】
ＢＤ データベース
ＣＡＬ１，ＣＡＬ２ 予測因子算出モジュール
ＣＥ エントロピック符号化モジュール
ＣＯ 符号化装置
ＤＣＮ１，ＤＣＮ２ 判断モジュール
ＤＯ 復号装置
ＤＥ エントロピック復号モジュール
Ｆ ビットストリーム
ＩＤ 出力画像
ＩＥ 元画像
ＭＢ マクロブロック
ＭＢｐａｒｔ 細分化後のマクロブロック
ＭＢｐｒｅｄ 予測したマクロブロック
ＭＥＬＰ１，ＭＥＬＰ２ 予測因子除外モジュール
ＭＴＱ１ 変換・量子化モジュール
ＭＴＱＩ１ 逆変換・逆量子化モジュール
ＭＱＴＩ２ 逆量子化・逆変換モジュール
ＰＭＢ１，ＰＭＢ２ マクロブロック区画分けモジュール
ＰＲＥＤ１ 予測演算モジュール
ＲＩ 画像再構築モジュール
ＳＰ 区画選択モジュール
【技術分野】
【０００１】
本発明は、広くは、画像処理の分野に関し、より詳細には、複数のデジタル画像間及びデジタル画像列間での比較による符号化及び復号に関する。
【背景技術】
【０００２】
画像転送のための符号化及び復号の方法は多数存在している。著名な符号化タイプとしては、画像が独立的に、すなわち、他の画像を参照することなく符号化される「イントラ（intra）」コーディングと称される符号化や、画像間の差分だけを抽出して送信するように、過去の画像と結び付けて現在の画像を符号化する「インター（inter）」コーディングと称される符号化などが特に知られている。
【０００３】
一般に、上記のタイプの符号化方法には、予測的符号化ステップが含まれる。予測的符号化ステップでは、現在の画像中のブロック又はマクロブロックと称される画素群が、他の基準ブロック又は基準マクロブロックとの比較によって予測される。ここでいう基準ブロック又は基準マクロブロックとは、以前に符号化及び復号が行われているブロック又はマクロブロックを指す。
【０００４】
例えば、Ｈ２６４／ＭＰＥＧ−４ ＡＶＣ（Advanced Video Coding）規格の場合、マクロブロックの予測的符号化ステップには、複数の区画に従ったマクロブロックの細分化ステップが含まれる。一般に、区画は、より小さなブロックの形をとる。
【０００５】
１６×１６イントラ符号化の場合、マクロブロックは、４つの空間的予測因子（spatial predictor）の組との比較によって予測がなされる固有の区画とみなされる。８×８又は４×４イントラ符号化の場合、より小さい各ブロックは、１６×１６イントラ符号化で使用される４つの空間的予測因子を含む９つの空間的予測因子の組との比較によって予測される。
【０００６】
インター符号化の場合、マクロブロックは、１６×１６、８×１６、１６×８、及び８×８モードに従って区画分けできる。８×８モードが選択された場合、各８×８ブロックは、８×８、４×８、８×４、及び４×４モードに従って、もう一度区画分けされる。各現在ブロックは、１つ以上の基準画像の１つ以上のブロックと比較される。そして、現在ブロックと基準ブロックとの間の変化を表すベクトルとして時間的予測因子が定義される。例えば、マクロブロックが１６個のブロックに区画分けされる場合（４×４モードの場合）、２４個の変位ベクトルが符号化される。画素全体の予測だけでなく、２分の１画素、４分の１画素、又は８分の１画素へと拡張可能な予測を達成するために、そのようなインター符号化は、変位ベクトルの分割によるさらなる改良がなされる。
【０００７】
故に、Ｈ２６４／ＡＶＣ規格として実現されるような、比較に基づくイントラ又はインター符号化は、最良の予測因子を選択するために、上記のさまざまな予測因子について、それらが空間的タイプであるか又は時間的タイプであるかといった比較結果に依存することとなる。ここでいう最良の予測因子とは、所定の基準、例えば、ビットレート／歪みコスト、を考慮した上で、ブロック符号化を最適化するものを指す。
【０００８】
そのような予測的符号化の欠点の１つが、大量の予測因子が提示されるということである。比較のためになされるいくつかの符号化は、用いられた画像コンテンツ及びビットレートに対して非常に似かよったものとなり、それらの複数の予測因子に起因する比較情報のビットレートを不必要に増大させることがわかっている。
【０００９】
そのような予測的符号化の別の欠点は、ビットレート／歪みコストなどの選択基準の算出が予測因子の組に対して実行されるので、中央処理ユニットの演算能力及び処理時間の観点から、利用者の負担が大きくなるということである。
【先行技術文献】
【非特許文献】
【００１０】
【非特許文献１】G. J. Sullivan and T. Wiegand, "Rate-distortion optimization for video compression", IEEE Signal Proc. Mag., pp. 74-90, 1998
【発明の概要】
【発明が解決しようとする課題】
【００１１】
本発明の目的のうちの１つは、上記の従来技術の欠点を改善することにある。
【課題を解決するための手段】
【００１２】
このために、本発明の一態様は、１つの画像又は一連の画像を符号化し、複数の画像のうちの１つの画像中の少なくとも１つの画素群を表すデータからなるデータストリームを生成する方法に関する。上記方法は、
− 画素群に関する所定の数の予測因子を算出する段階と、
− 所定の選択基準に基づいて最適な予測因子を選択する段階と
を有している。
【００１３】
本発明による方法は、算出段階と選択段階との間に、算出した所定の数の予測因子のうちから少なくとも１つの予測因子を除外する段階をさらに有することを特徴とする。除外段階は、ｉ番目予測因子とｊ番目予測因子との少なくとも２つの予測因子について、
− ｊ番目予測因子とｉ番目予測因子との差分を算出する段階と、
− 算出した差分を変換する段階と、
− 変換結果に量子化演算を実行する段階と、
− 量子化演算結果と所定の値とを比較する段階と、
− 量子化演算結果が所定の値以下であった場合に、ｊ番目予測因子を除外する段階とを含む。
【００１４】
したがって、上記構成により、より少ない数の予測因子を使用するブロック符号化が可能となり、先に記載した比較情報のビットレートを十分に削減できる。
【００１５】
さらに、上記構成により、符号化がなされる元画像に依存しない、予測因子を除外するための最適な基準を決定することができる。したがって、そのような除外基準は、符号化装置レベルで採用した場合に、復号装置レベルでの再現性を有する。
【００１６】
最後に、上記構成により、１つ以上の所定の予測因子の除外によって、予測因子の内容及び画像のさまざまな内容に適した符号化が行えるようになる。
【００１７】
同様に、本発明は、１つの画像又は一連の画像を表したデータストリームの復号方法に関する。ストリームは、複数の画像のうちの１つの画像中の少なくとも１つの画素群を表すデータからなる。上記復号方法は、
− 画素群に関する所定の数の予測因子の関数である、ストリームに含まれる最適予測因子インデックスを読み取る段階と、
− 読み取ったインデックスから最適な予測因子を算出する段階とを有している。
【００１８】
上記復号方法は、読取段階の前に、
− 所定の数の予測因子を算出する段階と、
− ｉ番目予測因子とｊ番目予測因子との少なくとも２つの予測因子について、ｊ番目予測因子とｉ番目予測因子との差分を算出する段階と、
− 算出した差分を変換する段階と、
− 変換結果に量子化演算を実行する段階と、
− 量子化演算結果と所定の値とを比較する段階と、
− 量子化演算結果が所定の値以下であった場合、読取段階で読み取られる最適予測因子インデックスがより少ない数の予測因子の関数となるように、ｊ番目予測因子を除外する段階とをさらに有することを特徴とする。
【００１９】
先に記載した符号化方法及び復号方法の有利な特徴によれば、量子化演算は、最適化のための基準に従って、除外される予測因子の数を決定する。
【００２０】
故に、上記構成により、予測因子の最適な除外数をマクロブロック毎に得るために、ｊ番目予測因子とｉ番目予測因子との差分に対する量子化演算を、オンザフライ化、すなわち、符号化がなされる（かつ、後に復号がなされる）現在画像のマクロブロックそれぞれに対して適合させることができる。
【００２１】
先に記載した符号化方法及び復号方法の別の有利な特徴によれば、量子化演算では、パラメータとして量子化幅が使用される。量子化幅自体は、符号化時及び復号時に実行される量子化演算で使用される。
【００２２】
上記構成により、１つ以上の所定の予測因子の除外によって、予測因子の内容及び画像のさまざまな内容に適した予測因子インデックスの符号化が行えるようになる。
【００２３】
先に記載した符号化方法及び復号方法の別の有利な特徴によれば、予測因子は、空間的タイプ又は時間的タイプである。
【００２４】
故に、上記構成により、イントラ符号化（及び、後の復号）と、インター符号化（及び、後の復号）との両方の予測因子の除外を実現できる。
【００２５】
また、本発明は、１つの画像又は一連の画像を符号化し、複数の画像のうちの１つの画像中の少なくとも１つの画素群を表すデータからなるデータストリームを生成する符号化装置に関する。上記符号化装置は、
− 画素群に関する所定の数の予測因子を算出する予測因子算出モジュールと、
− 所定の選択基準に基づいて最適な予測因子を決定する判断モジュールとを具備している。
【００２６】
上記符号化装置は、所定の数の予測因子のうちから少なくとも１つの予測因子を除外する除外モジュールをさらに具備することを特徴とする。除外モジュールは、ｉ番目予測因子とｊ番目予測因子との少なくとも２つの予測因子について、
・ ｊ番目予測因子とｉ番目予測因子との差分を決定する手順と、
・ 算出した差分を変換する手順と、
・ 変換結果に量子化演算を実行する手順と、
・ 量子化演算結果と所定の値とを比較する手順と、
・ 量子化演算結果が所定の値以下であった場合に、ｊ番目予測因子を除外する手順とを実行する算出手段を具備する。
【００２７】
また、本発明は、１つの画像又は一連の画像を表したデータストリームを復号する復号装置に関する。ストリームは、複数の画像のうちの１つの画像中の少なくとも１つの画素群を表すデータからなる。上記復号装置は、
− 画素群に関する所定の数の予測因子の関数である、ストリームに含まれる最適予測因子インデックスを読み取る読取モジュールと、
− 読み取ったインデックスから最適な予測因子を算出する最適予測因子算出モジュールとを具備している。
【００２８】
上記復号装置は、
− 所定の数の予測因子を算出する予測因子算出モジュールと、
− 所定の数の予測因子のうちから少なくとも１つの予測因子を除外する除外モジュールとをさらに具備することを特徴とする。除外モジュールは、
・ ｉ番目予測因子（Ｐｉ）とｊ番目予測因子（Ｐｊ）との少なくとも２つの予測因子について、
− ｊ番目予測因子とｉ番目予測因子との差分を決定する手順と、
− 算出した差分を変換する手順と、
− 変換結果に量子化演算を実行する手順と、
− 量子化演算結果と所定の値とを比較する手順と、
− 量子化演算結果が所定の値以下であった場合に、ｊ番目予測因子を除外する手順とを実行する算出手段と、
・ 算出手段の取得した、より少ない所定の数の予測因子を送信する送信手段とを具備する。
【００２９】
また、本発明は、コンピュータ上で実行されたとき、上記の各方法のうちの１つを実現する複数の命令からなるコンピュータプログラムに関する。
【００３０】
その他の特徴及び利点は、添付の各図面を参照して記載された２つの好適な実施形態から明らかとなる。
【図面の簡単な説明】
【００３１】
【図１】本発明による符号化方法の各ステップを示す図である。
【図２】本発明による符号化装置の一実施形態を示す図である。
【図３Ａ】本発明による符号化装置において選択可能なさまざまな形状の区画を示す図である。
【図３Ｂ】本発明による符号化装置において選択可能なさまざまな形状の区画を示す図である。
【図４Ａ】図３に示したさまざまな初期区画の選択に応じて区画分けされたマクロブロックを示す図である。
【図４Ｂ】図３に示したさまざまな初期区画の選択に応じて区画分けされたマクロブロックを示す図である。
【図５】図３Ａのイントラ符号化モードで使用される空間的予測因子を示す図である。
【図６】除外される予測因子の数を最適化するための基準を示す図である。
【図７】本発明による復号装置を示す図である。
【図８】本発明による復号方法の各ステップを示す図である。
【図９】２分の１画素解像度による４×４インター符号化で使用される時間的予測因子を示す図である。
【発明を実施するための形態】
【００３２】
［第１実施形態の詳細］
これより、本発明の一実施形態について記載する。本発明による符号化方法は、Ｈ．２６４／ＭＰＥＧ−４ ＡＶＣ規格に準じた符号化によって得られるものに近いビットストリームに従う一連の画像を符号化するために使用される。この実施形態では、本発明による符号化方法は、例えば、Ｈ．２６４／ＭＰＥＧ−４ ＡＶＣ規格に基本的に準じた符号化装置を修正することによって、ソフトウェア又はハードウェア方式で実現される。本発明による符号化方法は、図１に示された複数のステップＣ１〜Ｃ１２からなるアルゴリズムの形で表される。
【００３３】
当然ながら、本発明による復号方法もまた、Ｈ．２６４／ＭＰＥＧ−４ ＡＶＣ規格に基本的に準じた復号装置を修正することによって、ソフトウェア又はハードウェア方式で実現される。
【００３４】
本発明の実施形態によれば、本発明による符号化方法は、図２に示された符号化装置ＣＯとして実現される。符号化装置ＣＯによって実行される符号化は、例えば、イントラタイプである。
【００３５】
図１に示された第１ステップＣ１では、符号化対象の一連の画像のうちの１つの画像ＩＥに属するマクロブロックに対して、所定の形状の区画の所定の組から選択されたより小さい特定の区画の選択が行なわれる。そのために、例えば、サイズが１６×１６である、画像ＩＥに属するマクロブロックＭＢは、図２に示された区画選択モジュールＳＰへ入力される。
【００３６】
区画選択モジュールＳＰは、例えば、全数比較に基づく選択方法、又は、偏りを持たせたアルゴリズムを用いた選択方法を使用する。そのような方法は、当業者の知るところであるので、説明は省略する（文献「Rate-distortion optimization for video compression」（非特許文献１）を参照されたい）。
【００３７】
上記区画は、符号化装置ＣＯのデータベースＢＤにおいてグループ化される。
【００３８】
選択モジュールＳＰによって選択される可能性のあるマクロブロックのさまざまな区画を、限定を意図しない例示として図３に示す。
【００３９】
図３Ａは、四角形の形状を有した初期区画ＰＡ１を示す。
【００４０】
図３Ｂは、線形の形状を有した初期区画ＰＡ１を示す。
【００４１】
図１に示された次のステップＣ２では、図３に示されたもののうちの１つのような選択された初期区画ＰＡ１に応じて、複数の区画ＰＡ１，ＰＡ２，…，ＰＡｎへのマクロブロックＭＢの細分化が行われる。そのような細分化は、図２に示されたマクロブロック区画分けモジュールＰＭＢ１によって実行される。マクロブロック区画分けモジュールＰＭＢ１は、区画分けアルゴリズムを使用するか、又は、所定の区画に応じた区画分けを実行する。
【００４２】
図４は、図３に示された初期区画ＰＡ１に応じた細分化の後に得られた複数のマクロブロックＭＢｐａｒｔを示す。
【００４３】
図４Ａは、それぞれが四角形の形状を有し、かつ同数の画素を含んだ４つの区画ＰＡ１，…，ＰＡ４からなる、区画分けされたマクロブロックＭＢｐａｒｔを示す。
【００４４】
図４Ｂは、それぞれが線形の形状を有し、かつ同数の画素を含んだ４つの区画ＰＡ１，…，ＰＡ４からなる、区画分けされたマクロブロックＭＢｐａｒｔを示す。
【００４５】
図１に示されたステップＣ３では、区画分けモジュールＰＭＢ１が、区画分けが行われたマクロブロックＭＢｐａｒｔを、図２に示された算出モジュールＣＡＬ１へ送信する。
【００４６】
図１に示されたステップＣ４では、算出モジュールＣＡＬ１が、受信した区画分けされたマクロブロックＭＢｐａｒｔに対して起こり得るさまざまな予測の算出に使用されるＥ１個の空間的予測因子を決定する。例えば、図４に示されたように、イントラ符号化モードが８×８タイプである場合、算出モジュールＣＡＬ１は、既知の手法によって、９個の起こり得る空間的予測因子Ｐ１，Ｐ２，…，Ｐ９が存在すると判断する。
【００４７】
図５を参照すると、これら９個の空間的予測因子は、現在の区画ＰＡ１、区画ＰＡ２、区画ＰＡ３、又は区画ＰＡ４を、同一の画像に含まれた基準区画と比較して予測可能である起こり得る９つの方向にそれぞれ対応している。慣習的に、これら９つの方向は、
− 垂直方向Ｐ１と、
− 水平方向Ｐ２と、
− 上記の２つの方向の平均である、ＤＣ方向Ｐ３と、
− 数種の斜め方向Ｐ４〜Ｐ９とを含む。
【００４８】
図２を参照すると、そのような基準区画は、Ｈ．２６４／ＭＰＥＧ−４ ＡＶＣ規格に従って、換言すれば、以下のような既知の手法に準じて符号化される。すなわち、
− 変換・量子化モジュールＭＴＱ１によって実行される離散コサイン変換及び量子化によって符号化がなされ、
− 逆変換・量子化モジュールＭＴＱＩ１によって実行される逆離散コサイン変換及び逆量子化によって復号がなされる。
【００４９】
本発明によれば、ステップＣ５で、算出モジュールＣＡＬ１が、算出した予測因子の集合Ｅ１を、予測因子除外モジュールＭＥＬＰ１へ送信する。予測因子除外モジュールＭＥＬＰ１の役割は、冗長な空間予測因子、すなわち、類似した符号化となるような予測因子を、この集合から削除することである。
【００５０】
このために、モジュールＭＥＬＰ１は、先に記載した９個の空間的予測因子Ｐ１，Ｐ１，…，Ｐ９を含む集合Ｅ１に対して、以下のアルゴリズムを実行する。
【００５１】
ステップＣ６で、１≦ｉ≦９かつ２≦ｊ≦９の間、モジュールＭＥＬＰ１は、差分Ｐｊ−Ｐｉを算出する。
【００５２】
ステップＣ７で、モジュールＭＥＬＰ１は、算出した差分を変換Ｔ１（Ｐｊ−Ｐｉ）する。
【００５３】
そのような変換は、例えば、先に記載した基準区画の符号化及び復号に使用されるような離散コサイン変換である。
【００５４】
変形例として、他の既知の変換が使用されてよい。特に、離散ウェーブレット変換、フラクタルウェーブレット変換などが挙げられる。
【００５５】
ステップＣ８で、モジュールＭＥＬＰ１は、得られた変換係数に量子化演算Ｑ１（Ｔ１（Ｐｊ−Ｐｉ））を実行する。
【００５６】
量子化演算は、サイコ−ビジュアル（psycho-visual）、プラナー（planar）などのタイプであってよい係数を有した行列からなる。
【００５７】
ステップＣ９で、モジュールＭＥＬＰ１は、下式のように、得られた量子化結果と所定値ｑ１とを比較する。
Ｑ１（Ｔ１（Ｐｊ−Ｐｉ））≦ｑ１
【００５８】
実際には、モジュールＭＥＬＰ１は、以下の数式の計算を行う。
Ｑ１ｏｐｔ（Ｔ１（Ｐｊ−Ｐｉ））＝０
ここで、値Ｑ１ｏｐｔは、集合Ｅ１からの予測因子の適切な除外が行えるように係数が選択された行列として定義される。
【００５９】
量子化行列Ｑ１ｏｐｔは、量子化幅ＱＰ１ｏｐｔを使用する。本発明の一実施形態による量子化幅ＱＰ１ｏｐｔは、用いられるイントラ符号化モード毎に経験的に固定となる。
【００６０】
近似的に、イントラモード毎に、値ＱＰ１ｏｐｔは以下の範囲内にある。
０≦ＱＰ１ｏｐｔ≦ＱＰ１＋６
ここで、値ＱＰ１は、先に記載した基準区画の符号化及び復号に用いられる量子化の量子化幅である。
【００６１】
図６の記載から見て取れるように、８×８イントラ符号化モードの場合、画像一式とともに変化する値ＱＰ１ｏｐｔを用いることによって、ＱＰ１ｏｐｔ＝４のとき、最大のビットレート削減効果が得られる。
【００６２】
先に記載したステップＣ９において、
− 式Ｑ１ｏｐｔ（Ｔ１（Ｐｊ−Ｐｉ））＝０を満たす場合、モジュールＭＥＬＰ１は、予測因子の集合Ｅ１から予測因子Ｐｊを除外Ｅ１ｒｅｓ＝Ｅ１−｛Ｐｊ｝する。
− 式Ｑ１ｏｐｔ（Ｔ１（Ｐｊ−Ｐｉ））＝０を満たさない場合、換言すれば、Ｑ１ｏｐｔ（Ｔ１（Ｐｊ−Ｐｉ））≠０であった場合、モジュールＭＥＬＰ１は、メモリに予測因子Ｐｊを保持する。
【００６３】
ステップＣ１０で、予測演算モジュールＰＲＥＤ１（図１）は、除外されなかった予測因子だけからなる予測因子の限定済み集合Ｅ１ｒｅｓに対して、マクロブロックＭＢｐａｒｔの各区画ＰＡ１，…，ＰＡｎの起こり得る空間的予測因子を算出する。故に、そのような構成により、１つ又は複数の予測因子のインデックスの削減を可能とする主な利点が提供される。ここで、インデックスは、図７に示された復号装置ＤＯに送信するためのものである。
【００６４】
予測演算モジュールＰＲＥＤ１によってさまざまな起こり得る予測が算出されると、図１に示されたステップｃ１１で、図２に示された判断モジュールＤＣＮ１が、画像ＩＥの区画分けされた複数のマクロブロック全体を走査し、これらのマクロブロックそれぞれを符号化するために使用される予測因子を選択する。マクロブロックに起こり得る予測に基づき、判断モジュールＤＣＮ１は、当業者には既知のビットレート歪み基準に従って、最適な予測因子を選択する。
【００６５】
符号化対象の現在のマクロブロックＭＢに対し、判断モジュールＤＣＮ１は、比較のために、予測因子の限定済み集合Ｅ１ｒｅｓの予測因子を用いる。
【００６６】
次いで、ステップＣ１２で、予測された各マクロブロックＭＢｐｒｅｄが、Ｈ．２６４／ＭＰＥＧ−４ ＡＶＣ規格などで符号化される。
【００６７】
判断モジュールＤＣＮ１によってこの構造的符号化が実行されれば、画像ＩＥのブロックに対応した残余の係数は、もしそれが存在するならば、変換・量子化モジュールＭＴＱ１へ送信される。離散コサイン変換と、その後の量子化とが実行される。次いで、それらの量子化された係数を有したマクロブロックのスライスが、エントロピック符号化モジュールＣＥへ送信され、画像ＩＥと同様の手法で既に符号化されているビデオシーケンスの他の画像を用いて、本発明による符号化がなされたビデオビットストリームＦを生成する。
【００６８】
正しく符号化されたビットストリームＦは、通信ネットワークを介してリモート端末に送信される。リモート端末には、図７に示された復号装置ＤＯが含まれる。
【００６９】
ビットストリームＦは、まず、エントロピック復号モジュールＤＥに送信される。エントロピック復号モジュールＤＥは、図２に示されたエントロピック符号化モジュールＣＥによって実行されたものへの逆復号を提供する。次いで、再現対象の画像マクロブロック毎に、モジュールＤＥによって復号された係数が、逆量子化・逆変換モジュールＭＱＴＩ２へ送信される。
【００７０】
次いで、画像再構築モジュールＲＩが、転送エラーを分離させた、本願発明による符号化ステップＣ１２でモジュールＤＣＮ１（図２）によって生成されたデータに対応する復号されたデータを受信する。モジュールＲＩは、図８に示されたように、本発明による復号方法の複数のステップＤ１〜Ｄ１１を実行する。
【００７１】
第１ステップＤ１では、復号対象の画像ＩＥの現在のマクロブロックのスライス中の符号化されたデータ構造が復号される。既知の手法で、再構築モジュールＲＩは、上記マクロブロック範囲のデータから以下の判断を行う。すなわち、
− 上記データの符号化タイプは、イントラ符号化であるか、インター符号化であるか（本実施例では、イントラ符号化である）と、
− 再構築対象のマクロブロックの区画分けタイプは、４×４イントラ、８×８イントラ、ライン等であるか（本実施例では、８×８イントラである）と、
− ステップＣ１１で判断モジュールＤＣＮ１によって選択されたような最適予測因子インデックスであるかとが判断される。
【００７２】
図８に示された次のステップＤ２では、ステップＤ１で決定された区画分けに従って、復号対象の現在のマクロブロックの細分化を行う。そのために、図２に示されたものとあらゆる点で類似したマクロブロック区画分けモジュールＰＭＢ２が、マクロブロックをｎ個の区画ＰＡ１，ＰＡ２，…，ＰＡｎへ細分化する。
【００７３】
区画分けステップＤ２に続いて、図８に示されたステップＤ３で、区画分けモジュールＰＭＢ２は、復号対象であり、ｎ個の区画に分けられた現在のマクロブロックを、図７に示された算出モジュールＣＡＬ２へ送信する。算出モジュールＣＡＬ２は、図１の符号化装置ＣＯの算出モジュールＣＡＬ１と、あらゆる点で類似する。
【００７４】
図８に示されたステップＤ４で、算出モジュールＣＡＬ２は、受信した区画分けされたマクロブロックＭＢｐａｒｔのさまざまな起こり得る予測因子を算出するために使用される空間的予測因子の数Ｅ２を決定する。
【００７５】
ステップＤ５で、算出モジュールＣＡＬ２は、算出した予測因子の集合Ｅ２を予測因子除外モジュールＭＥＬＰ２へ送信する。予測因子除外モジュールＭＥＬＰ２は、図１の符号化装置ＣＯの予測因子除外モジュールＭＥＬＰ１と、あらゆる点で類似する。
【００７６】
ステップＤ６からステップＤ９で、予測因子除外モジュールＭＥＬＰ２は、先に記載した符号化装置ＣＯのモジュールＭＥＬＰ１によって実行されたものと同一のアルゴリズムを実行し、集合Ｅ２から冗長な空間的予測因子、すなわち、類似した復号結果になるであろう予測因子を削除して、予測因子の削減済み集合Ｅ２ｒｅｓを得る。
【００７７】
図８に示されたステップＤ１０で、図７に示された判断モジュールＤＣＮ２が、区画分けされたマクロブロック全体を走査して、これらのマクロブロックのそれぞれを復号する予測因子を選択する。マクロブロックに対してあり得る予測因子に基づき、判断モジュールＤＣＮ２は、当業者には既知のビットレート歪み基準に従って、最適な予測因子を選択する。
【００７８】
復号対象の現在のマクロブロックＭＢに対し、判断モジュールＤＣＮ２は、比較のために、予測因子の限定済み集合Ｅ２の予測因子を用いる。
【００７９】
次いで、ステップＤ１１で、予測された各マクロブロックが、Ｈ．２６４／ＭＰＥＧ−４ ＡＶＣ規格などで復号される。
【００８０】
画像ＩＥのすべてのマクロブロックが復号されれば、画像再構築モジュールＲＩが、復号装置ＤＯからの出力として、復号した画像ＩＥに対応する画像ＩＤを提供する。
【００８１】
復号装置ＤＯで実行される予測因子除外アルゴリズムが符号化装置ＣＯで実行されるものとあらゆる点で類似していることを踏まえると、使用される予測因子が与える情報のコストは、大幅に削減される。
【００８２】
［第２実施形態の詳細］
以下に記載される第２実施形態は、図２に示された符号化装置ＣＯがイントラタイプの符号化の代わりにインタータイプの符号化を実行するという点で、先に記載のものとは異なっている。
【００８３】
第２実施形態の目的の１つは、関連する変位ベクトルのコストを削減するように、符号化対象のブロック毎にサブ画素解像度の除外を管理することにある。
【００８４】
先のイントラモードのステップＣ１と同様に、選択モジュールＳＰが区画を選択する。区画は、例示のように、それぞれがブロック形状を有する。
【００８５】
先のイントラモードのステップＣ２と同様に、現在のマクロブロックは、ｎ個の区画となるように、例えば、１６個の４×４ブロックへと細分化される。
【００８６】
次のステップＣ３は、先に記載したイントラ符号化で実行されたものと同一である。
【００８７】
次のステップＣ４で、予測モジュールＰＲＥＤ１の算出モジュールＣＡＬ１が、現在の４×４ブロックのさまざまな起こり得る予測を算出するための予測因子の数を決定する。このとき、予測因子は、空間的予測因子ではなく、時間的予測因子である。
【００８８】
既知の手法により、算出モジュールＣＡＬ１は、現在ブロックと図９に示された基準ブロックとの間の動きを表す変位ベクトルのとるさまざまな方向を決定する。基準ブロックＢｒｅｆは、基準画像、例えば、先の画像列、に属する。例えば、変位ベクトルが２分の１画素に分割された場合、既知の手法によって、算出モジュールＣＡＬ１は、図９に示されたように、基準画素全体に対し以下の９個の予測因子を算出する。
− Ｐ’１：画素全体のベクトル
− Ｐ’２：垂直上方向の１／２画素のベクトル
− Ｐ’３：垂直下方向の１／２画素のベクトル
− Ｐ’４：水平右方向の１／２画素のベクトル
− Ｐ’５：水平左方向の１／２画素のベクトル
− Ｐ’６：斜め右上方向の１／２画素のベクトル
− Ｐ’７：斜め右下方向の１／２画素のベクトル
− Ｐ’８：斜め左上方向の１／２画素のベクトル
− Ｐ’９：斜め左下方向の１／２画素のベクトル
【００８９】
先に記載したステップＣ５と同様に、算出モジュールＣＡＬ１は、算出したベクトルＰ’１からベクトルＰ’９の集合Ｅ’１を、予測因子除外モジュールＭＥＬＰ１へ送信する。
【００９０】
イントラモードのステップＣ６からステップＣ９と同様に、除外モジュールＭＥＬＰ１は、先に記載した９個の時間的予測因子Ｐ’１，…，Ｐ’ｊ，…，Ｐ’９を含む集合Ｅ’１に対して以下のアルゴリズムを実行する。
【００９１】
実際には、モジュールＭＥＬＰ１は、以下の式を計算する。
Ｑ’１ｏｐｔ（Ｔ’１（Ｐ’ｊ−Ｐ’１））＝０ ｆｏｒ ２≦ｊ≦ｎ
ここで、Ｑ’１ｏｐｔは、２分の１画素ベクトルの集合Ｅ’１から最適な除外を行うように係数が選択された行列である。
【００９２】
量子化行列Ｑ’１ｏｐｔは、量子化幅ＱＰ’１ｏｐｔを用いる。本発明の一実施形態による量子化幅ＱＰ’１ｏｐｔは、使用されるインター符号化モード毎に経験的に設定される。
【００９３】
近似的に、２分の１画素の解像度を用いる４×４インターモードの場合、最大の圧縮は、ＱＰ’１ｏｐｔ＝１７で得られる。
【００９４】
先に記載したステップＣ９で、
− 式Ｑ’１ｏｐｔ（Ｔ’１（Ｐ’ｊ−Ｐ’１））＝０をＭ回満たす場合、例えば、関連する２分の１画素ベクトルの半数に対して、モジュールＭＥＬＰ１は、削減された予測因子集合を得るように、すべての２分の１画素の予測因子Ｐ’２〜Ｐ’９を集合Ｅ’１から除外する。すなわち、画素全体のベクトルＰ’１へと削減されたＥ’１ｒｅｓ＝Ｐ’１とする。
− 式Ｑ’１ｏｐｔ（Ｔ’１（Ｐ’ｊ−Ｐ’１））＝０を満たさない場合、モジュールＭＥＬＰ１は、予測因子Ｐ’ｊをメモリに保持する。
【００９５】
続く、最適な予測因子の選択ステップＣ１１及び符号化ステップＣ１２は、先に記載したイントラモードのステップＣ１１及びステップＣ１２とそれぞれ同様であるので、ここでは再度の説明は行わない。
【００９６】
次いで、復号装置ＤＯの再構築モジュールＲＩは、先に記載したイントラモードの復号方法のそれと類似しているステップＤ１ないしステップＤ１１を実行する。しかしながら、ステップＤ１ないしステップＤ１１は、インターモードに適合したものとなっている。
【００９７】
第１ステップＤ１では、復号対象の画像ＩＥの現在のマクロブロックの一部分の符号化されたデータ構造体の復号が行われる。既知の手法により、再構築モジュールＲＩが、上記マクロブロック部分のデータから以下を判断する。すなわち、
− 符号化タイプ（記載した実施例ではインターデータタイプである）と、
− 再構築対象のマクロブロックの区画分けタイプ（記載した実施例では４×４インタータイプである）と、
− ステップＣ１１で判断モジュールＤＣＮ１によって選択されたような最適な変位ベクトルのインデックスであるかとが判断される。
【００９８】
次のステップＤ２で、マクロブロック区画分けモジュールＰＭＢ２が、マクロブロックを１６個の４×４ブロックへと細分化する。
【００９９】
区画分けステップＤ２に続いて、先に記載したイントラモードのそれと類似したステップＤ３で、区画分けモジュールＰＭＢ２は、復号対象であり、１６個の区画に分けられた現在のマクロブロックを、先に記載した算出モジュールＣＡＬ２へ送信する。
【０１００】
ステップＤ４で、算出モジュールＣＡＬ２は、受信した区画分けされたマクロブロックＭＢｐａｒｔのさまざまな起こり得る予測を算出するために使用される時間的予測因子の数Ｅ’２を決定する。
【０１０１】
ステップＤ５で、算出モジュールＣＡＬ２は、算出した９個の変位ベクトルＰ’１〜Ｐ’９の集合Ｅ’２を、先に記載した予測因子除外モジュールＭＥＬＰ２へ送信する。
【０１０２】
ステップＤ６からステップＤ９で、予測因子除外モジュールＭＥＬＰ２は、先に記載した符号化装置ＣＯのモジュールＭＥＬＰ１によって実行されたものと同一のアルゴリズムを実行し、集合Ｅ’２から２分の１ベクトルを削除して、削減された集合Ｅ２ｒｅｓを得る。ここで、集合Ｅ２ｒｅｓは、全体画素ベクトルＰ’１だけからなる。
【０１０３】
ステップＤ１０で、判断モジュールＤＣＮ２が、区画分けされたマクロブロックの全体を走査し、これらのマクロブロックそれぞれを復号するためのベクトルを選択する。マクロブロックに対して起こり得る予測の中から、判断モジュールＤＣＮ２は、当業者には既知のビットレート歪み基準に従って、最適な変位ベクトルを選択する。
【０１０４】
復号対象の現在のマクロブロックＭＢに対し、判断モジュールＤＣＮ２は、比較のために、予測因子の限定された集合Ｅ’２ｒｅｓのベクトルを用いる。集合Ｅ’２ｒｅｓにはベクトルＰ’１だけが含まれることから、判断モジュールＤＣＮ２は、このベクトルをデフォルトとして選択する。
【０１０５】
ステップＤ１１で、予測された各マクロブロックが、Ｈ．２６４／ＭＰＥＧ−４ ＡＶＣ規格などで復号される。
【０１０６】
画像ＩＥのすべてのマクロブロックが復号されたならば、画像再構築モジュールＲＩが、復号装置ＤＯからの出力として、画像ＩＥの復号に対応する画像ＩＤを提供する。
【０１０７】
復号装置ＤＯで実行される予測因子除外アルゴリズムが符号化装置ＣＯで実行されるものとあらゆる点で同一であることから、用いられる２分の１画素ベクトルが与える情報のコストは、大幅に削減される。
【０１０８】
以上、複数の実施形態について説明したが、当然ながら、これらは純粋に例示を目的としたものであって、限定を意図しない。本発明の範囲から逸脱することなく、当業者によって、数多くの変形例が容易に作り出される。
【０１０９】
故に、例えば、符号化（後の復号）のために算出される所定数の予測因子の除外用いられる量子化演算Ｑ１（又はＱ２）は、符号化時（後の復号時）に実行される量子化演算と同一の手法で、後処理演算を受けてよい。そのような後処理演算の例としては、例えば、係数の大部分がゼロに等しいときに、量子化行列のすべての係数をゼロに設定することが挙げられる。
【０１１０】
また、第２実施形態に関しては、２分の１画素の変位ベクトルに加えて、４分の１画素、及び／又は、８分の１画素、…、及び／又は、ｎ分の１画素の変位ベクトルが想定できる。符号化対象の画像の解像度に応じて、変位ベクトルの１つ以上の分割タイプの選択が行なえる。
【符号の説明】
【０１１１】
ＢＤ データベース
ＣＡＬ１，ＣＡＬ２ 予測因子算出モジュール
ＣＥ エントロピック符号化モジュール
ＣＯ 符号化装置
ＤＣＮ１，ＤＣＮ２ 判断モジュール
ＤＯ 復号装置
ＤＥ エントロピック復号モジュール
Ｆ ビットストリーム
ＩＤ 出力画像
ＩＥ 元画像
ＭＢ マクロブロック
ＭＢｐａｒｔ 細分化後のマクロブロック
ＭＢｐｒｅｄ 予測したマクロブロック
ＭＥＬＰ１，ＭＥＬＰ２ 予測因子除外モジュール
ＭＴＱ１ 変換・量子化モジュール
ＭＴＱＩ１ 逆変換・逆量子化モジュール
ＭＱＴＩ２ 逆量子化・逆変換モジュール
ＰＭＢ１，ＰＭＢ２ マクロブロック区画分けモジュール
ＰＲＥＤ１ 予測演算モジュール
ＲＩ 画像再構築モジュール
ＳＰ 区画選択モジュール
【特許請求の範囲】
【請求項１】
１つの画像又は一連の画像を符号化し、前記複数の画像のうちの１つの画像（ＩＥ）中の少なくとも１つの画素群（ＭＢ）を表すデータからなるデータストリーム（Ｆ）を生成するための、
前記画素群（ＭＢ）に関する所定の数の予測因子（Ｐ１，…，Ｐｎ）を算出する段階（Ｃ４）と、
所定の選択基準に基づいて最適な予測因子を選択する段階と
を有した符号化方法であって、
前記算出段階と前記選択段階との間に、算出した前記所定の数の予測因子のうちから少なくとも１つの予測因子を除外する段階をさらに有し、
前記除外段階は、ｉ番目予測因子（Ｐｉ）とｊ番目予測因子（Ｐｊ）との少なくとも２つの予測因子について、
前記ｊ番目予測因子と前記ｉ番目予測因子との差分を算出する段階（Ｃ６）と、
算出した差分を変換する段階（Ｃ７）と、
変換結果に量子化演算を実行する段階（Ｃ９）と、
量子化演算結果と所定の値とを比較する段階と、
前記量子化演算結果が前記所定の値以下であった場合に、ｊ番目予測因子を除外する段階と
を含むことを特徴とする符号化方法。
【請求項２】
前記量子化演算（Ｑ１ｏｐｔ）実行段階が、最適化のための基準に従って、除外される予測因子の数を決定する段階を含むことを特徴とする請求項１に記載の符号化方法。
【請求項３】
前記量子化演算実行段階では、パラメータとして量子化幅が使用され、
前記量子化幅は、符号化時に実行される量子化演算で使用されるものと同一であることを特徴とする請求項１又は２に記載の符号化方法。
【請求項４】
前記予測因子が、空間的予測因子又は時間的予測因子であることを特徴とする請求項１に記載の符号化方法。
【請求項５】
１つの画像又は一連の画像を表したデータストリームであって、前記複数の画像のうちの１つの画像（ＩＥ）中の少なくとも１つの画素群を表すデータからなるデータストリーム（Ｆ）を復号するための、
前記画素群に関する所定の数の予測因子（Ｐ１，…，Ｐｎ）の関数である、前記ストリームに含まれる最適予測因子インデックスを読み取る段階と、
読み取ったインデックスから最適な予測因子を算出する段階と
を有した復号方法であって、
前記読取段階の前に、
前記所定の数の予測因子（Ｐ１，…，Ｐｎ）を算出する段階（Ｄ４）と、
ｉ番目予測因子（Ｐｉ）とｊ番目予測因子（Ｐｊ）との少なくとも２つの予測因子について、前記ｊ番目予測因子と前記ｉ番目予測因子との差分を算出する段階（Ｄ６）と、
算出した差分を変換する段階（Ｄ７）と、
変換結果に量子化演算を実行する段階（Ｄ８）と、
量子化演算結果と所定の値とを比較する段階（Ｄ９）と、
前記量子化演算結果が前記所定の値以下であった場合、前記読取段階で読み取られる前記最適予測因子インデックスがより少ない数の予測因子の関数となるように、ｊ番目予測因子を除外する段階と
をさらに有することを特徴とする復号方法。
【請求項６】
前記量子化演算実行段階が、最適化のための基準に従って、除外される予測因子の数を決定する段階を含むことを特徴とする請求項５に記載の復号方法。
【請求項７】
前記量子化演算実行段階では、パラメータとして量子化幅が使用され、
前記量子化幅は、復号時に実行される量子化演算で使用されるものと同一であることを特徴とする請求項５又は６に記載の復号方法。
【請求項８】
前記予測因子が、空間的予測因子又は時間的予測因子であることを特徴とする請求項５に記載の復号方法。
【請求項９】
１つの画像又は一連の画像を符号化し、前記複数の画像のうちの１つの画像（ＩＥ）中の少なくとも１つの画素群（ＭＢ）を表すデータからなるデータストリーム（Ｆ）を生成するための、
前記画素群に関する所定の数の予測因子（Ｐ１，…，Ｐｎ）を算出する予測因子算出モジュール（ＣＡＬ１）と、
所定の選択基準に基づいて最適な予測因子を決定する判断モジュール（ＤＣＮ１）と
を具備した符号化装置（ＣＯ）であって、
前記所定の数の予測因子のうちから少なくとも１つの予測因子を除外する除外モジュール（ＭＥＬＰ１）をさらに具備し、
前記除外モジュールは、
ｉ番目予測因子（Ｐｉ）とｊ番目予測因子（Ｐｊ）との少なくとも２つの予測因子について、
前記ｊ番目予測因子と前記ｉ番目予測因子との差分（Ｐｊ−Ｐｉ）を決定する手順と、
算出した差分を変換する手順と、
変換結果に量子化演算を実行する手順と、
量子化演算結果と所定の値とを比較する手順と、
前記量子化演算結果が前記所定の値以下であった場合に、ｊ番目予測因子を除外する手順と
を実行する算出手段を具備することを特徴とする符号化装置。
【請求項１０】
１つの画像又は一連の画像を表したデータストリームであって、前記複数の画像のうちの１つの画像（ＩＥ）中の少なくとも１つの画素群を表すデータからなるデータストリーム（Ｆ）を復号するための、
前記画素群に関する所定の数（Ｅ）の予測因子（Ｐ１，…，Ｐｎ）の関数である、前記ストリームに含まれる最適予測因子インデックスを読み取る読取モジュールと、
読み取ったインデックスから最適な予測因子を算出する最適予測因子算出モジュールと
を具備した復号装置（ＤＯ）であって、
前記所定の数の予測因子（Ｐ１，…，Ｐｎ）を算出する予測因子算出モジュール（ＣＡＬ２）と、
前記所定の数の予測因子のうちから少なくとも１つの予測因子を除外する除外モジュール（ＭＥＬＰ２）と
をさらに具備し、
前記除外モジュールは、
ｉ番目予測因子（Ｐｉ）とｊ番目予測因子（Ｐｊ）との少なくとも２つの予測因子について、
前記ｊ番目予測因子と前記ｉ番目予測因子との差分（Ｐｊ−Ｐｉ）を決定する手順と、
算出した差分を変換する手順と、
変換結果に量子化演算を実行する手順と、
量子化演算結果と所定の値とを比較する手順と、
前記量子化演算結果が前記所定の値以下であった場合に、ｊ番目予測因子を除外する手順と
を実行する算出手段と、
前記算出手段の取得した、より少ない所定の数の予測因子を送信する送信手段と
を具備することを特徴とする復号装置。
【請求項１１】
コンピュータ上で実行されたとき、請求項１乃至８のいずれか１項に記載の方法を実現する複数の命令からなるコンピュータプログラム。
【請求項１】
１つの画像又は一連の画像を符号化し、前記複数の画像のうちの１つの画像（ＩＥ）中の少なくとも１つの画素群（ＭＢ）を表すデータからなるデータストリーム（Ｆ）を生成するための、
前記画素群（ＭＢ）に関する所定の数の予測因子（Ｐ１，…，Ｐｎ）を算出する段階（Ｃ４）と、
所定の選択基準に基づいて最適な予測因子を選択する段階と
を有した符号化方法であって、
前記算出段階と前記選択段階との間に、算出した前記所定の数の予測因子のうちから少なくとも１つの予測因子を除外する段階をさらに有し、
前記除外段階は、ｉ番目予測因子（Ｐｉ）とｊ番目予測因子（Ｐｊ）との少なくとも２つの予測因子について、
前記ｊ番目予測因子と前記ｉ番目予測因子との差分を算出する段階（Ｃ６）と、
算出した差分を変換する段階（Ｃ７）と、
変換結果に量子化演算を実行する段階（Ｃ９）と、
量子化演算結果と所定の値とを比較する段階と、
前記量子化演算結果が前記所定の値以下であった場合に、ｊ番目予測因子を除外する段階と
を含むことを特徴とする符号化方法。
【請求項２】
前記量子化演算（Ｑ１ｏｐｔ）実行段階が、最適化のための基準に従って、除外される予測因子の数を決定する段階を含むことを特徴とする請求項１に記載の符号化方法。
【請求項３】
前記量子化演算実行段階では、パラメータとして量子化幅が使用され、
前記量子化幅は、符号化時に実行される量子化演算で使用されるものと同一であることを特徴とする請求項１又は２に記載の符号化方法。
【請求項４】
前記予測因子が、空間的予測因子又は時間的予測因子であることを特徴とする請求項１に記載の符号化方法。
【請求項５】
１つの画像又は一連の画像を表したデータストリームであって、前記複数の画像のうちの１つの画像（ＩＥ）中の少なくとも１つの画素群を表すデータからなるデータストリーム（Ｆ）を復号するための、
前記画素群に関する所定の数の予測因子（Ｐ１，…，Ｐｎ）の関数である、前記ストリームに含まれる最適予測因子インデックスを読み取る段階と、
読み取ったインデックスから最適な予測因子を算出する段階と
を有した復号方法であって、
前記読取段階の前に、
前記所定の数の予測因子（Ｐ１，…，Ｐｎ）を算出する段階（Ｄ４）と、
ｉ番目予測因子（Ｐｉ）とｊ番目予測因子（Ｐｊ）との少なくとも２つの予測因子について、前記ｊ番目予測因子と前記ｉ番目予測因子との差分を算出する段階（Ｄ６）と、
算出した差分を変換する段階（Ｄ７）と、
変換結果に量子化演算を実行する段階（Ｄ８）と、
量子化演算結果と所定の値とを比較する段階（Ｄ９）と、
前記量子化演算結果が前記所定の値以下であった場合、前記読取段階で読み取られる前記最適予測因子インデックスがより少ない数の予測因子の関数となるように、ｊ番目予測因子を除外する段階と
をさらに有することを特徴とする復号方法。
【請求項６】
前記量子化演算実行段階が、最適化のための基準に従って、除外される予測因子の数を決定する段階を含むことを特徴とする請求項５に記載の復号方法。
【請求項７】
前記量子化演算実行段階では、パラメータとして量子化幅が使用され、
前記量子化幅は、復号時に実行される量子化演算で使用されるものと同一であることを特徴とする請求項５又は６に記載の復号方法。
【請求項８】
前記予測因子が、空間的予測因子又は時間的予測因子であることを特徴とする請求項５に記載の復号方法。
【請求項９】
１つの画像又は一連の画像を符号化し、前記複数の画像のうちの１つの画像（ＩＥ）中の少なくとも１つの画素群（ＭＢ）を表すデータからなるデータストリーム（Ｆ）を生成するための、
前記画素群に関する所定の数の予測因子（Ｐ１，…，Ｐｎ）を算出する予測因子算出モジュール（ＣＡＬ１）と、
所定の選択基準に基づいて最適な予測因子を決定する判断モジュール（ＤＣＮ１）と
を具備した符号化装置（ＣＯ）であって、
前記所定の数の予測因子のうちから少なくとも１つの予測因子を除外する除外モジュール（ＭＥＬＰ１）をさらに具備し、
前記除外モジュールは、
ｉ番目予測因子（Ｐｉ）とｊ番目予測因子（Ｐｊ）との少なくとも２つの予測因子について、
前記ｊ番目予測因子と前記ｉ番目予測因子との差分（Ｐｊ−Ｐｉ）を決定する手順と、
算出した差分を変換する手順と、
変換結果に量子化演算を実行する手順と、
量子化演算結果と所定の値とを比較する手順と、
前記量子化演算結果が前記所定の値以下であった場合に、ｊ番目予測因子を除外する手順と
を実行する算出手段を具備することを特徴とする符号化装置。
【請求項１０】
１つの画像又は一連の画像を表したデータストリームであって、前記複数の画像のうちの１つの画像（ＩＥ）中の少なくとも１つの画素群を表すデータからなるデータストリーム（Ｆ）を復号するための、
前記画素群に関する所定の数（Ｅ）の予測因子（Ｐ１，…，Ｐｎ）の関数である、前記ストリームに含まれる最適予測因子インデックスを読み取る読取モジュールと、
読み取ったインデックスから最適な予測因子を算出する最適予測因子算出モジュールと
を具備した復号装置（ＤＯ）であって、
前記所定の数の予測因子（Ｐ１，…，Ｐｎ）を算出する予測因子算出モジュール（ＣＡＬ２）と、
前記所定の数の予測因子のうちから少なくとも１つの予測因子を除外する除外モジュール（ＭＥＬＰ２）と
をさらに具備し、
前記除外モジュールは、
ｉ番目予測因子（Ｐｉ）とｊ番目予測因子（Ｐｊ）との少なくとも２つの予測因子について、
前記ｊ番目予測因子と前記ｉ番目予測因子との差分（Ｐｊ−Ｐｉ）を決定する手順と、
算出した差分を変換する手順と、
変換結果に量子化演算を実行する手順と、
量子化演算結果と所定の値とを比較する手順と、
前記量子化演算結果が前記所定の値以下であった場合に、ｊ番目予測因子を除外する手順と
を実行する算出手段と、
前記算出手段の取得した、より少ない所定の数の予測因子を送信する送信手段と
を具備することを特徴とする復号装置。
【請求項１１】
コンピュータ上で実行されたとき、請求項１乃至８のいずれか１項に記載の方法を実現する複数の命令からなるコンピュータプログラム。
【図１】
【図２】
【図３Ａ】
【図３Ｂ】
【図４Ａ】
【図４Ｂ】
【図５】
【図６】
【図７】
【図８】
【図９】
【図２】
【図３Ａ】
【図３Ｂ】
【図４Ａ】
【図４Ｂ】
【図５】
【図６】
【図７】
【図８】
【図９】
【公表番号】特表２０１２−５０５６１８（Ｐ２０１２−５０５６１８Ａ）
【公表日】平成２４年３月１日（２０１２．３．１）
【国際特許分類】
【出願番号】特願２０１１−５３１５３６（Ｐ２０１１−５３１５３６）
【出願日】平成２１年１０月１２日（２００９．１０．１２）
【国際出願番号】ＰＣＴ／ＦＲ２００９／０５１９３７
【国際公開番号】ＷＯ２０１０／０４３８０６
【国際公開日】平成２２年４月２２日（２０１０．４．２２）
【出願人】（５９１０３４１５４）フランス・テレコム (290)
【Ｆターム（参考）】
【公表日】平成２４年３月１日（２０１２．３．１）
【国際特許分類】
【出願日】平成２１年１０月１２日（２００９．１０．１２）
【国際出願番号】ＰＣＴ／ＦＲ２００９／０５１９３７
【国際公開番号】ＷＯ２０１０／０４３８０６
【国際公開日】平成２２年４月２２日（２０１０．４．２２）
【出願人】（５９１０３４１５４）フランス・テレコム (290)
【Ｆターム（参考）】
[ Back to top ]