動画像符号化装置
【課題】動画像符号化処理において、画質を向上させながら符号量の変動を抑えることにより、高画質で低遅延な符号化処理を行うこと。
【解決手段】時系列に並ぶ複数の画像からなる動画像を画面内予測もしくは画面間予測によって符号化する動画像符号化装置であって、この複数の画像を、画面内予測又は画面間予測において画素値を参照する領域である参照領域と、画素値を参照しない領域である非参照領域とに分割し、時系列上においてあらかじめ定められた所定の間隔で複数の画像における参照領域と非参照領域とが入れ替わるように複数の画像における参照領域と非参照領域を決定する。そして、複数の画像の符号化の際には、非参照領域については参照領域よりも粗い粒度で量子化を行う。
【解決手段】時系列に並ぶ複数の画像からなる動画像を画面内予測もしくは画面間予測によって符号化する動画像符号化装置であって、この複数の画像を、画面内予測又は画面間予測において画素値を参照する領域である参照領域と、画素値を参照しない領域である非参照領域とに分割し、時系列上においてあらかじめ定められた所定の間隔で複数の画像における参照領域と非参照領域とが入れ替わるように複数の画像における参照領域と非参照領域を決定する。そして、複数の画像の符号化の際には、非参照領域については参照領域よりも粗い粒度で量子化を行う。
【発明の詳細な説明】
【技術分野】
【０００１】
本発明は、動画像を符号化する技術に関する。
【背景技術】
【０００２】
近年、ブロードバンドネットワークの発達による動画配信コンテンツの増加や、ＤＶＤなどの大容量記憶媒体と大画面映像表示機器の利用などにより、動画符号化技術は必要不可欠な技術となっている。また、撮像デバイスや表示デバイスの高解像度化と共に、動画像符号化技術において高解像度で符号化する技術も必要不可欠となっている。
【０００３】
動画像符号化処理は、動画像符号化装置に入力される原画像（入力画像）をより少ないデータ量のストリームに変換する処理である。例えば、高解像度かつ高画質な符号化が可能な動画符号化技術の一つとして、国際標準であるＨ．２６４／ＡＶＣ規格（非特許文献１）が存在する。
【０００４】
Ｈ．２６４／ＡＶＣによる符号化処理では、一般的には、原画像に対して１６×１６の画素で構成されるマクロブロックと呼ばれる単位で処理が行われる。また、Ｈ．２６４／ＡＶＣでは、画像情報が一般的に持つ特性、すなわち隣接画素間とフレーム間に高い相関を持つという特性を利用して画像の予測を行い、さらに人間の視覚では変化を知覚しにくい高周波成分などの冗長な情報を削減する。これにより、広い伝送帯域（例えば、ＨＤ−ＳＤＩ（High Definition Serial Digital Interface）では約１．５Ｇｂｐｓ）にある入力画像を、低い伝送帯域（例えば、地上波デジタル放送での約１５Ｍｂｐｓ）に適用する。
【０００５】
ところで、Ｈ．２６４／ＡＶＣ符号化で用いられる予測方式には、主に画面内予測と画面間予測の二つの予測方式が存在する。画面内予測では、予測の単位となるブロックのサイズや予測方向の組み合わせに応じて複数の予測方式が用意されている。画面間予測においても、予測の単位となるブロックのサイズに応じて複数の予測方式が用意されている。Ｈ．２６４／ＡＶＣでは、目標とする画質や符号量に応じてこれらの予測方式を動的に選択することで、高画質かつ高圧縮な符号化方式を実現している。
【０００６】
ここで、図２１を用いて、Ｈ．２６４／ＡＶＣ符号化の概要について説明する。図２１は、従来のＨ．２６４／ＡＶＣ符号化処理を行う画像符号化装置の構成を示す図である。
【０００７】
画面内予測を用いた符号化処理を行うには、まず、モード選択部９３０が画面内予測部９１０を選択する。そして、画面内予測部９１０、直交変換部９４０、量子化部９５０、および可変長符号化部９８０を経て、原画像９０からストリーム９１を得る。また、画面間予測を用いた符号化処理では、モード選択部９３０が画面間予測部９２０を選択する。そして、画面間予測部９２０、直交変換部９４０、量子化部９５０、および可変長符号化部９８０を経て、原画像９０からストリーム９１を得る。
【０００８】
次に、量子化部９５０で実行される量子化について説明する。
【０００９】
Ｈ．２６４／ＡＶＣ符号化で行う量子化では、符号化制御部９９０が決定した量子化係数Ｄ８４を用いて量子化の粒度を調整する。量子化粒度が小さければ符号量は大きくなるがより原画像に近い画像になり易く、量子化粒度が大きければ符号量は小さいが原画像から離れた画像になり易い。
【００１０】
そこで、Ｈ．２６４／ＡＶＣ符号化では、目標とする画質や符号量に応じて量子化係数Ｄ８４を動的に選択することで、高画質かつ高圧縮な符号化効率の高い符号化を実現している。
【００１１】
以下、Ｈ．２６４／ＡＶＣ符号化の各処理について説明する。
【００１２】
画面内予測部９１０には、原画像９０と、その周辺の画像である再構成画像９２とが入力される。再構成画像９２は、逆直交変換部９７０から出力される復元差分画像９７と、モード選択部９３０によって出力される予測画像９５とが足し合わされて構成される画像である。
【００１３】
そして、画面内予測部９１０は、原画像９０と再構成画像９２とから、画面内予測処理により適切な画面内予測モード（画面内予測方式）を選択し、画面内予測モードのモード情報を表す画面内予測情報Ｄ８１、予測結果である画面内予測画像９３、および原画像９０と画面内予測画像９３との差分を表す画面内予測誤差を生成する。
【００１４】
画面間予測部９２０は、原画像９０と、その前後（過去または未来）の原画像から生成された再構成画像９２の入力を受け付け、画面間予測情報Ｄ８２、画面間予測画像９４、および原画像９０と画面間予測画像９４との差分を表す画面間予測誤差を生成する。
【００１５】
モード選択部９３０は、画面内予測部９１０から入力される画面内予測誤差と、画面間予測部９２０から入力される画面間予測誤差とから、符号化モード選択アルゴリズムに従い、画面内予測および画面間予測のいずれかの符号化モードを決定する。そして、画面内予測を選択した場合には画面内予測画像９３を、画面間予測を選択した場合には画面間予測画像９４を、予測画像９５として出力する。
【００１６】
なお、符号化モード選択アルゴリズムは、ストリーム９１の符号量および画質に大きな影響を与えるため、符号化対象となる原画像９０の内容や映像符号化の用途によって様々な方式が存在している。
【００１７】
直交変換部９４０は、原画像９０と予測画像９５との差分である差分画像９６から、直交変換処理によって周波数成分Ｄ８３を生成する。
【００１８】
量子化部９５０は、符号化制御部９９０から入力される量子化係数Ｄ８４と、直交変換部９４０から入力される周波数成分Ｄ８３とから量子化処理を行い、情報量を削減した量子化値Ｄ８５を出力する。
【００１９】
逆量子化部９６０は、量子化値Ｄ８５に対して逆量子化処理を行い、復元周波数成分Ｄ８６を生成する。
【００２０】
逆直交変換部９７０は、復元周波数成分Ｄ８６に対して逆直交変換処理を行い、復元差分画像９７を生成する。そして、生成された復元差分画像９７と、モード選択部９３０によって出力された予測画像９５とが足し合わされて、再構成画像９２としてメモリ等の記憶装置に記憶される。
【００２１】
可変長符号化部９８０は、量子化値Ｄ８５と、画面内予測情報Ｄ８１もしくは画面間予測情報Ｄ８２を、より少ないデータ量のデータ列に符号化し、ストリーム９１として出力する。
【００２２】
ストリームバッファ１０００は、ストリーム９１を一旦バッファリングした後、伝送路もしくは後段のデコーダに出力する。また、バッファリングしているストリーム９１の符号量を符号量情報Ｄ８７として、符号化制御部９９０に出力する。
【００２３】
符号化制御部９９０は、ストリームバッファ１０００から入力される符号量情報Ｄ８７を用いて、レート制御アルゴリズムに従い量子化係数Ｄ８４を決定し、これを量子化部９５０に出力する。
【００２４】
ここで、量子化係数Ｄ８４の制御によるレート制御アルゴリズムは、動画像符号化効率に大きな影響を与えるため、動画像符号化の用途によって様々な方式が存在している。量子化係数Ｄ８４の制御によるレート制御アルゴリズムで動画像符号化効率を向上させる技術として、例えば、特許文献１に記載の画像符号化技術が挙げられる。
【００２５】
特許文献１には、画面間予測における参照関係をピクチャ単位で管理することで、画面間予測において量子化係数を小さくした、より原画像に近い予測画像を参照することで客観画質を向上させる方法が開示されている。さらに、特許文献１には、１コマおきに鋭画像と鈍画像とを繰り返して表示すると、人間の視覚では全体が鋭画像に見える“鋭鈍画像の繰り返し錯覚”と呼ばれる視覚特性を利用して主観画質を向上させる方法も開示されている。
【００２６】
図２２は、特許文献１に記載の画像符号化技術における“鋭鈍画像の繰り返し錯覚”を利用した符号化効率の向上方法について説明する図である。図２２に示されるように、１コマおきに、量子化係数を小さくした高画質な画像と、量子化係数を大きくして符号量を削減した低画質な画像を交互に表示すると、“鋭鈍画像の繰り返し錯覚”により、人間の視覚では動画像全体として量子化係数の小さい高画質な動画像と同等に見える。
【００２７】
従って、特許文献１の画像符号化技術では、結果として主観画質を維持したまま量子化係数を大きくして符号量を削減することができる。
【先行技術文献】
【非特許文献】
【００２８】
【非特許文献１】ＩＴＵ−Ｔ Ｒｅｃｏｍｍｅｎｄａｔｉｏｎ Ｈ．２６４， “Ａｄｖａｎｃｅｄ ｖｉｄｅｏ ｃｏｄｉｎｇ ｆｏｒ ｇｅｎｅｒｉｃ ａｕｄｉｏｖｉｓｕａｌ ｓｅｒｖｉｃｅｓ” ２００７．
【特許文献】
【００２９】
【特許文献１】特開２００８−３１１８２４号公報
【発明の概要】
【発明が解決しようとする課題】
【００３０】
ところで、動画像符号化では、符号化および復号化時に遅延が生じることが一般的に知られている。
【００３１】
動画像符号化装置に画像を入力した後、この動画像符号化装置より出力された符号を動画像復号化装置に入力し、復号化処理を実行して表示を行うシステムにおいて、同一画像の入力から表示までの時間差が遅延時間であり、一般的な動画像符号化装置および動画像復号化装置では、数１００ミリ秒から数秒程度の遅延となっている。
【００３２】
また、昨今では、非圧縮画像データとの同時使用などを目的として、例えば遅延時間が１６ミリ秒以下といったような、動画像符号化および復号化における低遅延化の必要性が出てきている。
【００３３】
低遅延の動画像符号化および復号化を実現するためには、データ発生量の変動を抑えることが必要である。一般に、画像データは、画像データ全体のデータ量から決定される固定のビットレートにより伝送され、伝送された画像データはバッファに格納されて処理される
ここで、動画像符号化において画像のある領域においてビットレート以上の大量の符号データを生成した場合、この領域については、処理の際にバッファ内にあるデータでは足りず、バッファへの符号データの伝送待ちが生じてしまう。そして、この領域について全ての処理が完了しないと、この領域の表示を行うことができないため、結果として画像全体の表示における遅延時間が大きくなってしまう。
【００３４】
つまり、遅延時間は想定される最大符号発生量を処理する時間によって決定され、この遅延時間は、ビットレートと最大符号発生量との差、すなわち発生符号量の変動量に大きく影響される。
【００３５】
図２３は、特許文献１に記載の画像符号化技術における、ピクチャ単位の量子化制御による符号量変動について説明する図である。
【００３６】
特許文献１の画像符号化技術では、量子化係数の大きい非参照ピクチャと、量子化係数の小さい参照ピクチャを決定し、ピクチャ単位で量子化係数を制御する。
【００３７】
そのため、非参照ピクチャでは参照ピクチャに比べて大幅に符号量が小さくなり、ピクチャ間の符号量変動が大きくなるため、非参照ピクチャで数ピクチャ分のバッファリングが必要になり、数ピクチャ単位での遅延が生じてしまうという課題があった。
【００３８】
そこで本発明は、上記課題に鑑み、動画像符号化処理において、画質を向上させながら符号量の変動を抑えることにより、高画質で低遅延な符号化処理を行うことが可能な動画像符号化装置、動画像符号化方法、および、動画像符号化プログラムを提供することを目的とする。
【課題を解決するための手段】
【００３９】
上記課題を解決するために、本発明の一態様によれば、時系列に並ぶ複数の画像からなる動画像を画面内予測もしくは画面間予測によって符号化する動画像符号化装置であって、前記複数の画像を、前記画面内予測又は前記画面間予測において画素値を参照する領域である参照領域と、画素値を参照しない領域である非参照領域と、に分割し、かつ、前記時系列上においてあらかじめ定められた所定の間隔で前記複数の画像における前記参照領域と前記非参照領域とが入れ替わるように前記複数の画像における前記参照領域と前記非参照領域を決定する参照制御部と、前記複数の画像の前記符号化の際に、前記非参照領域については前記参照領域よりも粗い粒度で量子化を行う量子化部と、を有することを特徴とする動画像符号化装置が提供される。
【００４０】
この構成によれば、符号量の変動を抑えることにより遅延を抑え、かつ高画質に動画像を符号化することができる。
【００４１】
本発明の他の態様によれば、前記参照制御部は、前記画像において、一定単位の領域における前記参照領域と前記非参照領域との割合が、前記画像に含まれるいずれの一定単位の領域でも同じとなるように、前記参照領域と前記非参照領域を決定するようになっていてもよい。
【００４２】
この構成によれば、一定単位の領域内に符号量の変動を抑えることができる。
【００４３】
本発明の他の態様によれば、動画像符号化装置は、前記複数の画像に対して前記画面内予測による前記符号化を行う画面内予測部をさらに有し、前記画面内予測部は、前記画像内において前記符号化対象のマクロブロックであるカレントマクロブロックと、前記参照領域または前記非参照領域と、の位置関係によって、前記参照領域の画素のみを参照して前記符号化を行うようになっていてもよい。
【００４４】
この構成によれば、画面内予測において、高画質である参照領域の画素のみを参照することとなるため、符号化効率の低下を回避することができる。
【００４５】
本発明の他の態様によれば、動画像符号化装置は、前記複数の画像に対して前記画面間予測による前記符号化を行う画面間予測部をさらに有し、前記画面間予測部は、前記画面間予測を行う際に、動きベクトルの探索範囲が前記参照領域となる前記複数の画像の少なくとも一つを参照するようになっていてもよい。
【００４６】
この構成によれば、画面間予測において、高画質である参照領域の画素のみを参照することとなるため、符号化効率の低下を回避することができる。
【発明の効果】
【００４７】
本発明によれば、符号量の変動を抑えることにより遅延を抑え、かつ高画質に動画像を符号化することができる。
【図面の簡単な説明】
【００４８】
【図１】本発明の一実施形態に係る動画像符号化装置の構成の一例を示す図である。
【図２】本発明の一実施形態に係る動画像符号化装置における参照制御部が実行するピクチャ毎の参照領域と非参照領域の管理方法の第１の具体例について説明する図である。
【図３】符号化対象ピクチャにおける１マクロブロックラインあたりの符号量について説明する図である。
【図４】符号化対象ピクチャにおける１マクロブロックラインごとの符号量の変動について示す図である。
【図５】画面間予測制限情報の一例について概念的に説明する図である。
【図６】画面間予測制限情報の一例について概念的に説明する図である。
【図７】画面間予測制限情報の一例について概念的に説明する図である。
【図８】Ｈ．２６４／ＡＶＣ規格における４×４ブロックに対する画面内予測における予測方向の種類を示す図である。
【図９】参照領域とカレントマクロブロックとの各位置関係における画面内予測モードの制限の一例について説明する図である。
【図１０】本発明の一実施形態に係る動画像符号化装置における参照制御部が実行するピクチャ毎の参照領域と非参照領域の管理方法の第２の具体例について説明する図である。
【図１１】符号化対象ピクチャにおける１ピクチャあたりの符号量について説明する図である。
【図１２】符号化対象ピクチャにおける１ピクチャごとの符号量の変動について示す図である。
【図１３】画面間予測制限情報の一例について概念的に説明する図である。
【図１４】画面間予測制限情報の一例について概念的に説明する図である。
【図１５】画面間予測制限情報の一例について概念的に説明する図である。
【図１６】参照領域とカレントマクロブロックとの各位置関係における画面内予測モードの制限の一例について説明する図である。
【図１７】本発明の一実施形態に係る動画像符号化装置における参照制御部が実行するピクチャ毎の参照領域と非参照領域の管理方法の第３の具体例について説明する図である。
【図１８】符号化対象ピクチャにおける１マクロブロックラインあたりの符号量について説明する図である。
【図１９】画面間予測制限情報の一例について概念的に説明する図である。
【図２０】画面間予測制限情報の一例について概念的に説明する図である。
【図２１】従来のＨ．２６４／ＡＶＣ符号化処理を行う画像符号化装置の構成を示す図である。
【図２２】特許文献１に記載の画像符号化技術における“鋭鈍画像の繰り返し錯覚”を利用した符号化効率の向上方法について説明する図である。
【図２３】特許文献１に記載の画像符号化技術における、ピクチャ単位の量子化制御による符号量変動について説明する図である。
【発明を実施するための形態】
【００４９】
以下、本発明の実施形態について、図面を参照して説明する。なお、以下の説明において参照する各図では、他の図と同等部分は同一符号によって示される。
【００５０】
（動画像符号化装置の構成）
図１は、本実施形態に係る動画像符号化装置の構成の一例を示す図である。動画像符号化装置１は、画面内予測部１１０と、画面間予測部１２０と、モード選択部１３０と、直交変換部１４０と、量子化部１５０と、逆量子化部１６０と、逆直交変換部１７０と、可変長符号化部１８０と、符号化制御部１９０と、ストリームバッファ２００と、参照制御部２１０と、を有する。
【００５１】
ここで、符号化制御部１９０と参照制御部２１０以外の構成については、図２１に示される従来の動画像符号化装置の構成と同様であるので、以下においては簡単に説明する。
【００５２】
なお、図１に示される動画像符号化装置１は、例えば、ＬＳＩ（Large Scale Integration）やＦＰＧＡ（Field-Programmable Gate Array）などによって実現可能であり、動画像符号化処理を行う種々の画像処理機器に適用することが可能である。また、例えば、図示しないＣＰＵ（Central Processing Unit）、ＲＡＭ（Random Access Memory）等のメモリ、ハードディスク等の記憶装置、ネットワークインタフェース等の一般的なコンピュータの構成と同様の構成によっても実現可能である。つまり、動画像符号化装置１の各構成の機能は、例えば、ＣＰＵがハードディスク等に記憶されているプログラムを読み出して実行することによって実現することが可能である。
【００５３】
画面内予測部１１０は、原画像１０と、その周囲に位置する画像である再構成画像１２と、参照制御部２１０から出力される画面内予測制限情報Ｄ１１（後述する）とを取得する。そして、画面内予測情報Ｄ１と、画面内予測の予測結果である画面内予測画像１３と、原画像１０と画面内予測画像１３との差分を表す画面内予測誤差とを生成する。
【００５４】
画面内予測情報Ｄ１には、画面内予測を行ったブロックサイズを表す情報である画面内予測ブロックタイプや、画面内予測の方向を表す画面内予測モード情報が含まれる。
【００５５】
画面間予測部１２０は、原画像１０と、これよりも過去の原画像（時間軸上、原画像１０の前に位置する原画像。以下、同様。）または未来の原画像（時間軸上、原画像１０の後に位置する原画像。以下、同様。）から生成された再構成画像１２と、参照制御部２１０から出力される画面間予測制限情報Ｄ１２（後述する）とを取得し、画面間予測情報Ｄ２と、画面間予測の予測結果である画面間予測画像１４と、原画像１０と画面間予測画像１４との差分を表す画面間予測誤差とを生成する。
【００５６】
画面間予測情報Ｄ２には、画面間予測を行った際のブロックサイズを表す画面間予測ブロックタイプや、動き補償を行った結果の動きベクトル情報が含まれる。
【００５７】
モード選択部１３０は、画面内予測部１１０から出力される画面内予測誤差と、画面間予測部１２０から出力される画面間予測誤差とから、モード選択アルゴリズムに従って、選択する予測モード（画面内予測もしくは画面間予測）を決定する。“画面内予測”が選択された場合は画面内予測画像１３を、“画面間予測”が選択された場合は画面間予測画像１４を、予測画像１５として出力する。
【００５８】
直交変換部１４０は、原画像１０と予測画像１５との差分である差分画像１６から、直交変換処理によって周波数成分Ｄ３を生成する。
【００５９】
量子化部１５０は、符号化制御部１９０から出力される量子化係数Ｄ４と、直交変換部１４０から出力される周波数成分Ｄ３とから量子化処理を行い、情報量を削減した量子化値Ｄ５を出力する。
【００６０】
逆量子化部１６０は、量子化部１５０から出力される量子化値Ｄ５に対して逆量子化処理を行い、復元周波数成分Ｄ６を生成する。
【００６１】
逆直交変換部１７０は、逆量子化部１６０から出力される復元周波数成分Ｄ６に対して逆直交変換処理を行い、復元差分画像１７を生成する。
【００６２】
そして、復元差分画像１７と、モード選択部１３０によって選択された予測画像１５とを足し合わせて、再構成画像１２としてメモリ等の記憶装置に記憶する。
【００６３】
可変長符号化部１８０は、量子化値Ｄ５と、画面内予測情報Ｄ１もしくは画面間予測情報Ｄ２を、より少ないデータ量のデータ列に符号化し、ストリーム１１として出力する。
【００６４】
ストリームバッファ２００は、可変長符号化部１８０から出力されるストリーム１１を取得し、バッファリングした後に、動画像符号化装置１に接続されている伝送路、もしくは後段のデコーダ等にストリーム１１を出力する。また、バッファリングしているストリーム１１の符号量を符号量情報Ｄ７として符号化制御部１９０へ出力する。
【００６５】
符号化制御部１９０は、ストリームバッファ２００から符号量情報Ｄ７を取得し、レート制御アルゴリズムに従って量子化係数Ｄ４を算出する。さらに、参照制御部２１０から出力されるカレントＭＢ（マクロブロック。以下、同様。）の領域判定結果Ｄ１３（後述する）が“参照領域”を示すものだった場合は量子化係数をそのままに、領域判定結果Ｄ１３が“非参照領域”を示すものだった場合は量子化係数にオフセット値を加算して、量子化部１５０に出力する。
【００６６】
ここで、「参照領域」とは、画面間予測又は画面内予測においてマクロブロックの予測処理を行う際に、画面間予測においては画面間参照の探索範囲となる領域を、画面内予測においては画面内画素参照の対象となる領域を、意味し、「非参照領域」は、画面間予測においては画面間参照の探索範囲としない領域を、画面内予測においては画面内画素参照の対象としない領域を、指す。
【００６７】
参照制御部２１０は、ピクチャ毎に参照領域と非参照領域の位置を管理して、予測処理対象のマクロブロックであるカレントＭＢが非参照領域と参照領域のどちらに含まれるのかを判定する。そして、その判定結果に応じて、画面内予測部１１０に画面内予測制限情報Ｄ１１を出力し、画面間予測部１２０に画面間予測制限情報Ｄ１２を出力する。また、符号化制御部１９０に対して、カレントＭＢが参照領域もしくは非参照領域のどちらに含まれるのかを表す領域判定結果Ｄ１３を出力する。この点については、後に詳述する。
【００６８】
以下、本実施形態に係る動画像符号化装置の特徴である参照制御部２１０について、以下、図面を参照しながら詳述する。
【００６９】
（参照制御部２１０）
［具体例１：符号化対象ピクチャを左右分割］
図２は、本実施形態に係る動画像符号化装置１の参照制御部２１０が実行するピクチャ毎の参照領域と非参照領域の管理方法の一例について説明する図である。
【００７０】
本具体例においては、参照制御部２１０は各ピクチャを左右に分割し、その一方を参照領域、他方を非参照領域として、これを１ピクチャ毎に切り替える制御を行う場合について説明する。
【００７１】
参照制御部２１０は、時系列（表示順。以下、同様。）上、最初のピクチャである符号化対象ピクチャ４０３では、符号化対象ピクチャ４０３の左半分を参照領域として、右半分を非参照領域とし、次ピクチャ以降（ピクチャ４０２、４０１）では、時系列上の前のピクチャで非参照領域だった領域を参照領域とし、参照領域だった領域を非参照領域とする。また、参照制御部２１０は、このピクチャ毎の参照領域もしくは非参照領域の位置（左半分もしくは右半分）を示す位置管理情報を保持しておく。そして、この位置管理情報に基づいて、処理中のカレントＭＢが参照領域もしくは非参照領域のどちらに含まれるのかを判断し、判断結果を領域判定結果Ｄ１３として符号化制御部１９０に出力する。
【００７２】
（画質についての効果）
これにより、符号化対象ピクチャの左および右のいずれでも、交互に非参照領域と参照領域が切り替わって表示されることとなるため、“鋭鈍画像の繰り返し錯覚”を利用して主観画質を維持することが可能である。さらに、符号量を削減することもできる。
【００７３】
なお、本具体例においては、１ピクチャ毎に左右の参照領域と非参照領域とを切り替える点が特徴であり、最初のピクチャ４０３における参照領域と非参照領域は逆であっても構わない（すなわち、ピクチャ４０３の右半分を参照領域とし、左半分を非参照領域としてもよい）。
【００７４】
（符号量変動についての効果）
次に、図２を用いて説明したように、参照制御部２１０が、符号化対象ピクチャを左右で非参照領域と参照領域とに分割した場合の符号量変動について説明する。
【００７５】
図３は、符号化対象ピクチャにおける１マクロブロックライン（以下、「ＭＢＬ」という）あたりの符号量について説明する図である。また、図４は、ＭＢＬごとにおける符号量の変動を示す図である。
【００７６】
動画像符号化処理は、図３に示されるように、符号化対象ピクチャ４０１に対して、矢印で示されるラスタスキャン順に従ってＭＢ単位で実行される。
【００７７】
ここで、本具体例のように、符号化対象ピクチャ４０１の左半分が参照領域、右半分が非参照領域となった場合、符号量の少ない非参照領域と符号量の多い参照領域の１ＭＢＬ内に含まれる面積は、いずれのＭＢＬにおいても常に一定となる（図３参照）。そのため、本具体例の場合、図４に示される通り、符号量は１ＭＢＬ単位でほぼ同じとなり、符号量変動を１ＭＢＬ単位以内にまで抑えることができる。
【００７８】
よって、本具体例の符号化方法によれば、符号量変動を吸収するストリームバッファ２００の容量を削減することが可能となり、低遅延化を実現することができる。
【００７９】
なお、本具体例では、符号化対象ピクチャを左右に分割しているが、これに限定されるものではない。一定ＭＢ数毎に含まれる参照領域と非参照領域の面積が常に同じとなり、一定間隔で非参照領域と参照領域とが切り替わるものであれば、“鋭鈍画像の繰り返し錯覚”を利用したまま低遅延化を実現することが可能である。よって、例えば、ピクチャを上下もしくは斜めに分割する方法や、３つ以上の複数の領域に分割するものであっても構わない。
【００８０】
（画面内予測制限情報および画面間予測制限情報について）
ここで、参照制御部２１０が出力する画面内予測制限情報Ｄ１１および画面間予測制限情報Ｄ１２について説明する。
【００８１】
図２の例のように、符号化対象ピクチャの左右で高画質な参照領域と低画質な非参照領域とに分けると、画質を維持しつつ、符号量の変動を抑えて遅延を少なくすることが可能である。しかし、一方で、ピクチャの左右で高画質な参照領域と低画質な非参照領域とが分けた場合、画面内予測および画面間予測において非参照領域の画素値が参照された場合に符号化効率が悪化してしまうという懸念がある。
【００８２】
そこで、参照制御部２１０は、非参照領域から画質劣化が伝搬しないように、カレントＭＢの画面内予測については画面内予測部１１０に画面内予測制限情報Ｄ１１を、画面間予測については画面間予測部１２０に画面間予測制限情報Ｄ１２を出力する。
【００８３】
（画面間予測の制限）
まず、参照制御部２１０が画面間予測部１２０に対して出力する画面間予測制限情報Ｄ１２について説明する。
【００８４】
画面間予測制限情報Ｄ１２には、参照ピクチャ番号が含まれる。「参照ピクチャ番号」は、画面間予測処理において、動きベクトル探索を行う参照画像を示す番号である。また、画面間予測処理は、カレントＭＢを中心とした探索範囲内でカレントＭＢと似た画素ブロックを探索する処理である。
【００８５】
図５〜図７は、本具体例において、参照制御部２１０が画面間予測部１２０に対して出力する画面間予測制限情報Ｄ１２の一例について概念的に説明する図である。
【００８６】
参照制御部２１０は、図５に示されるように、符号化対象ピクチャ４０１の探索範囲４１が左半分の参照領域内に存在しているならば、時間軸上、過去に左半分の領域が参照領域だった画像のうち符号化対象ピクチャ４０１に対して時間的に最も近い画像であるピクチャ４０３のピクチャ番号を、画面間予測制限情報Ｄ１２に含めて指定する。
【００８７】
また、図６に示されるように、探索範囲４１が右半分の非参照領域内に存在しているならば、時間軸上、過去に右半分の領域が参照領域だった画像のうち符号化対象ピクチャ４０１に対して時間的に最も近い画像であるピクチャ４０２のピクチャ番号を、画面間予測制限情報Ｄ１２に含めて指定する。
【００８８】
また、図７に示されるように、カレントＭＢが符号化対象ピクチャ４０１の中央付近に位置することで、探索範囲４１が左右両方の領域にまたがっている場合は、過去に左半分の領域が参照領域だった直近の画像であるピクチャ４０３の参照領域（より具体的には、参照領域における探索範囲４１と同一範囲部分。図１５においても同様。）と、過去に右半分が参照領域だった直近の画像であるピクチャ４０２の参照領域（より具体的には、参照領域における探索範囲４１と同一範囲部分。図１５においても同様。）の両方を参照する様に、両画像のピクチャ番号を指定する。
【００８９】
従って、本具体例によれば、画面間予測では常に小さい量子化係数で符号化された参照画像を使用することになるため、結果として、画面間予測精度が向上し動画像符号化効率も向上する。
【００９０】
（画面内予測の制限）
次に、参照制御部２１０が画面内予測部１１０に対して出力する画面内予測制限情報Ｄ１１について説明する。
【００９１】
画面内予測制限情報Ｄ１１には、モード制限情報が含まれる。参照制御部２１０は、画面内予測部１１０に対して非参照領域から画素値を参照せずに、参照領域からのみ画素値を参照するように、モード制限情報を設定する。以下、「モード制限情報」について説明する。
【００９２】
図８は、Ｈ．２６４／ＡＶＣ規格に規定されている４×４ブロックに対する画面内予測における予測モード（予測方向）の種類を示す図である。また、図９は、参照領域とカレントＭＢとの各位置関係における画面内予測モードの制限の一例について説明する図である。
【００９３】
参照制御部２１０は、図９（ａ）に示されるように、符号化対象ピクチャ４０１ａの左側が非参照領域で、カレントＭＢが参照領域内にあり、非参照領域の右側に隣接している場合は、左側の画素値を参照する画面内予測モードを使用禁止にすることを示すモード制限情報を、画面内予測制限情報Ｄ１１として指定する（図９（ｃ）「位置Ａ」欄）。
【００９４】
また、図９（ｂ）に示されるように、符号化対象ピクチャ４０１ｂの右側が非参照領域で、カレントＭＢが非参照領域の左側に隣接している場合は、右側の画素値を参照する画面内予測モードを使用禁止にすることを示すモード制限情報を、画面内予測制限情報Ｄ１１として指定する（図９（ｃ）「位置Ｂ」欄）。
【００９５】
参照領域とカレントＭＢとの位置関係が上記以外の場合、つまり符号化対象ピクチャの左側が非参照領域で、カレントＭＢが非参照領域の右側に隣接していない場合と、符号化対象ピクチャの右側が非参照領域で、カレントＭＢが非参照領域の左側に隣接していない場合は、画面内予測モードに制限を加える必要がない。よって、参照制御部２１０は、モード制限情報は特に指定しない。この時、例えば、画面内予測制限情報Ｄ１１としては予測モードに制限がない旨を示す情報が含まれるようになっていてもよい。
【００９６】
［具体例２：符号化対象ピクチャを上下分割］
図１０は、参照制御部２１０で行うピクチャ毎の参照領域と非参照領域の管理方法の他の例について説明する図である。本具体例においては、参照制御部２１０は各ピクチャを上下に分割し、その一方を参照領域、他方を非参照領域として、これを１ピクチャ毎に切り替える制御を行う。
【００９７】
図１０に示されるように、参照制御部２１０は、例えば、時系列上、最初のピクチャである符号化対象ピクチャ５０３の上半分を参照領域として、下半分を非参照領域とし、次ピクチャ以降（ピクチャ５０２、５０１）では、時間軸上、前ピクチャで非参照領域だった領域を参照領域とし、参照領域だった領域を非参照領域とする。また、参照制御部２１０は、この参照領域もしくは非参照領域の位置を示す位置管理情報を保持しておく。そして、この位置管理情報に基づいて、処理中のカレントＭＢが参照領域もしくは非参照領域のどちらに含まれるのかを判断し、判断結果を領域判定結果Ｄ１３として符号化制御部１９０に出力する。
【００９８】
（符号量変動についての効果）
以下、図１０を用いて説明したように、参照制御部２１０が、符号化対象ピクチャを上下で非参照領域と参照領域とに分割した場合の符号量変動について説明する。
【００９９】
図１１は、符号化対象ピクチャにおける１ピクチャあたりの符号量について説明する図である。また、図１２は、ピクチャごとにおける符号量の変動を示す図である。
【０１００】
動画像符号化処理は、図１１に示されるように、符号化対象ピクチャ５０１に対して、矢印で示されるラスタスキャン順に従ってＭＢ単位で実行される。
【０１０１】
ここで、本具体例のように、符号化対象ピクチャ５０１の上半分が参照領域、下半分が非参照領域となった場合、符号量の少ない非参照領域と符号量の多い参照領域の１ピクチャ内に含まれる面積は、いずれのピクチャでも常に一定となる。そのため、本具体例の場合、図１２に示される通り、符号量は１ピクチャ単位でほぼ同じ符号量となり、符号量変動を１ピクチャ単位以内にまで抑えることができる。
【０１０２】
よって、本具体例の符号化方法によれば、符号量変動を吸収するストリームバッファ２００の容量を削減することが可能となり、低遅延化を実現することができる。
【０１０３】
また、画質については、上記具体例１と同様に、符号化対象ピクチャの上下のいずれでも交互に非参照領域と参照領域とが切り替わって表示されることとなるため、“鋭鈍画像の繰り返し錯覚”を利用して主観画質を維持することが可能である。また、符号量を削減することもできる。
【０１０４】
なお、本具体例においては、１ピクチャ毎に上下の参照領域と非参照領域とを切り替える点が特徴であり、最初のピクチャ５０３における参照領域と非参照領域は逆であっても構わない（すなわち、ピクチャ５０３の下半分を参照領域とし、上半分を非参照領域としてもよい）。
【０１０５】
（画面間予測の制限）
具体例１と同様に、参照制御部２１０が画面間予測部１２０に対して出力する画面間予測制限情報Ｄ１２には、参照ピクチャ番号が含まれ、「参照ピクチャ番号」は画面間予測処理において、動きベクトル探索を行う参照画像を示す番号である。
【０１０６】
図１３〜図１５は、本具体例において、参照制御部２１０が画面間予測部１２０に対して出力する画面間予測制限情報Ｄ１２の一例について概念的に説明する図である。
【０１０７】
参照制御部２１０は、図１３に示されるように、符号化対象ピクチャ５０１の探索範囲５１が上半分の参照領域内に存在しているならば、時間軸上、過去に上半分の領域が参照領域だった画像のうち符号化対象ピクチャ５０１に対して時間的に最も近い画像であるピクチャ５０３のピクチャ番号を、画面間予測制限情報Ｄ１２に含めて指定する。
【０１０８】
また、図１４に示されるように、探索範囲５１が下半分の非参照領域内に存在しているならば、時間軸上、過去に下半分の領域が参照領域だった画像のうち符号化対象ピクチャ５０１に対して時間的に最も近い画像であるピクチャ５０２のピクチャ番号を、画面間予測制限情報Ｄ１２に含めて指定する。
【０１０９】
また、図１５に示されるように、カレントＭＢが符号化対象ピクチャ５０１の中央付近に位置することで、探索範囲５１が上下両方の領域にまたがっている場合は、過去に上半分の領域が参照領域だった直近の画像であるピクチャ５０３の参照領域と、過去に下半分が参照領域だった直近の画像であるピクチャ５０２の参照領域の両方を参照する様に、両画像のピクチャ番号を指定する。
【０１１０】
従って、本具体例によれば、画面間予測では常に小さい量子化係数で符号化された参照画像を使用することになるため、結果として、画面間予測精度が向上し動画像符号化効率も向上する。
【０１１１】
また、動画像は一般的に横方向への動きが大きい。本具体例では、上記具体例１の場合よりも探索範囲を横長に確保できるため、横方向の画面間予測精度を向上させることができるという利点がある。
【０１１２】
（画面内予測の制限）
図１６は、参照領域とカレントＭＢとの各位置関係における画面内予測モードの制限の一例について説明する図である。
【０１１３】
具体例１と同様に、参照制御部２１０が画面内予測部１１０に対して出力する画面内予測制限情報Ｄ１１には、モード制限情報が含まれる。参照制御部２１０は、図１６（ａ）に示されるように、符号化対象ピクチャ５０１ａの上側が非参照領域で、カレントＭＢが非参照領域の下側に隣接している場合は、上側の画素値を参照する画面内予測モードを使用禁止にすることを示すモード制限情報を、画面内予測制限情報Ｄ１１として指定する（図１６（ｂ）「位置Ｃ」欄）。
【０１１４】
参照領域とカレントＭＢとの位置関係が上記以外の場合、つまり符号化対象ピクチャの上側が非参照領域で、カレントＭＢが非参照領域の下側に隣接していない場合と、符号化対象ピクチャの下側が非参照領域の場合には、画面内予測モードに制限を加える必要はない。よって、参照制御部２１０は、モード制限情報は特に指定しない。この時、例えば、画面内予測制限情報Ｄ１１としては予測モードに制限がない旨を示す情報が含まれるようになっていてもよい。
【０１１５】
本具体例では、画面内予測モードにおいて、ピクチャの左右方向の予測モードが制限されないため、横方向の動きがある画像に対しては、上記具体例１よりも予測精度が向上するという利点がある。
【０１１６】
［具体例３：符号化対象ピクチャを複数に分割］
図１７は、参照制御部２１０で行うピクチャ毎の参照領域と非参照領域の管理方法の他の例について説明する図である。本具体例においては、参照制御部２１０は各ピクチャを横方向に３つに分割し、そのうちの２つを参照領域、残りの１つを非参照領域として、これを１ピクチャ毎に切り替える制御を行う。
【０１１７】
図１７に示されるように、参照制御部２１０は、例えば、時系列上、最初のピクチャである符号化対象ピクチャ６０４の右の領域を非参照領域として、中央と左を参照領域とし、次ピクチャ以降（ピクチャ６０３、６０２、６０１）では、前ピクチャで非参照領域だった領域が右なら中央、中央なら左、左なら右の領域を非参照領域とし、残りの領域を参照領域とする。
【０１１８】
参照制御部２１０は、上記具体例１や具体例２と同様に、この参照領域もしくは非参照領域の位置（左、中央、右）を示す位置管理情報に基づいて、処理中のカレントＭＢが参照領域もしくは非参照領域のどちらに含まれるのかを表す領域判定結果Ｄ１３を符号化制御部１９０に出力する。
【０１１９】
なお、本具体例ではピクチャを３つに分割し、そのうちの１つを非参照領域、２つを参照領域とし、時系列上、非参照領域を右、中央、左の順番に移動するようにしたが、これに限定されるものではない。ピクチャを複数分割する場合は、分割数や非参照領域の移動順は他の方法でもよく、非参照領域と参照領域の設定パターンが、時系列上、所定の周期で繰り返されるものであればよい。例えば、各ピクチャをより多くの領域に分割してもよい。
【０１２０】
（符号量変動についての効果）
以下、図１７を用いて説明したように、参照制御部２１０が、符号化対象ピクチャを３分割し、非参照領域と参照領域の位置を管理した場合の符号量変動について説明する。
【０１２１】
図１８は、符号化対象ピクチャにおける１ＭＢＬあたりの符号量について説明する図である。
【０１２２】
動画像符号化処理は、図１８に示されるように、符号化対象ピクチャ６０１に対して、矢印で示されるラスタスキャン順に従ってＭＢ単位で実行される。
【０１２３】
ここで、本具体例のように、符号化対象ピクチャ６０１の右が非参照領域となり、中央と左が参照領域となった場合、符号量の少ない非参照領域と符号量の多い参照領域の１ＭＢＬ内に含まれる面積は、いずれのＭＢＬでも常に一定となる（図１８参照）。そのため、本具体例の場合、上記具体例１と同様に、符号量は１ＭＢＬ単位でほぼ同じとなり、符号量変動を１ＭＢＬ単位以内にまで抑えることができる。
【０１２４】
よって、本具体例の符号化方法によれば、符号量変動を吸収するストリームバッファ２００の容量を削減することが可能となり、低遅延化を実現することができる。
【０１２５】
また、画質については、ピクチャ内において画質の低い非参照領域の占める割合が上記具体例１よりも狭く、動画像として再生した場合に、各ピクチャの同一箇所において非参照領域が出現する間隔が上記具体例１よりも長くなる。よって、フレームレートが３０ｆｐｓなどの低い場合でも、“鋭鈍画像の繰り返し錯覚”の主観画質向上効果を受けることが可能である。
【０１２６】
（画面間予測の制限）
図１９および図２０は、本具体例において、参照制御部２１０が画面間予測部１２０に対して出力する画面間予測制限情報Ｄ１２の一例について概念的に説明する図である。
【０１２７】
参照制御部２１０は、符号化対象ピクチャ６０１の探索範囲６１が左の参照領域内に存在しているならば、時間軸上、過去に左の領域が参照領域だった画像のうち符号化対象ピクチャ５０１に対して時間的に最も近い画像のピクチャ番号を、画面間予測制限情報Ｄ１２に含めて指定する。また、探索範囲６１が符号化対象ピクチャ６０１の中央の領域内に存在しているならば、時間軸上、過去に中央の領域が参照領域だった画像のうち符号化対象ピクチャ６０１に対して時間的に最も近い画像のピクチャ番号を、画面間予測制限情報Ｄ１２に含めて指定する。探索範囲６１が符号化対象ピクチャ６０１の右の領域内に存在している場合も同様である。つまり、時間軸上、過去に右の領域が参照領域だった画像のうち符号化対象ピクチャ６０１に対して時間的に最も近い画像のピクチャ番号を、画面間予測制限情報Ｄ１２に含めて指定する。
【０１２８】
また、図１９および図２０に示されるように、探索範囲６１が符号化対象ピクチャ６０１の左と中央、もしくは中央と右、の様に複数の領域にまたがっている場合は、過去の画像のうち、探索範囲がまたがっている位置と同じ位置の領域が参照領域だった画像の参照領域を参照する様に、その画像のピクチャ番号を画面間予測制限情報Ｄ１２に含めて指定する。
【０１２９】
なお、図１９および図２０の例では、参照画像として単一のピクチャのみを参照する場合を示しているが、上記具体例１で図７を用いて説明したように、複数の参照画像を参照するようになっていてもよい。例えば、図１９の例では、探索範囲６１が符号化対象ピクチャ６０１の左と中央の領域にまたがっているが、この場合には、過去に左の領域が参照画像だった直近の画像であるピクチャ６０３と、過去に中央の領域が参照領域だった直近の画像であるピクチャ６０２の両方を参照画像とするようになっていてもよい。この時、参照制御部２１０は、ピクチャ６０２とピクチャ６０３のピクチャ番号を画面間予測制限情報Ｄ１２に含めて指定する。
【０１３０】
以上のように、本具体例によれば、画面間予測では常に小さい量子化係数で符号化された参照画像を使用することになるため、結果として、画面間予測精度が向上し動画像符号化効率も向上する。
【０１３１】
また、単一の参照画像に対して、１ピクチャを２つの領域に分割する上記具体例１よりも広い探索範囲を確保できるため、結果として、画面間予測精度が向上し動画像符号化効率も向上するという利点がある。
【０１３２】
（画面内予測の制限）
画面内予測の制限については、上記具体例１と同様である。すなわち、参照制御部２１０は、カレントＭＢが非参照領域に隣接する場合（例えば、図２０のような場合）に、非参照領域から画素値を参照しないようにモード制限情報を、画面内予測制限情報Ｄ１１として指定する。
【０１３３】
（まとめ）
以上のとおり、本実施形態によれば、符号量の変動を抑えることにより遅延を抑え、かつ高画質に動画像を符号化することができる。
【０１３４】
なお、本発明の範囲は、図示され記載された例示的な実施形態に限定されるものではなく、本発明が目的とするものと均等な効果をもたらすすべての実施形態をも含む。さらに、本発明の範囲は、すべての開示されたそれぞれの特徴のうち特定の特徴のあらゆる所望する組み合わせによって画されうる。
【０１３５】
（付記）
以上に、本発明に係る実施形態について詳細に説明したことからも明らかなように、前述の実施形態の一部または全部は、以下の各付記のようにも記載することができる。しかしながら、以下の各付記は、あくまでも、本発明の単なる例示に過ぎず、本発明は、かかる場合のみに限るものではない。
【０１３６】
（付記１）
参照制御部と量子化部とを有し、時系列に並ぶ複数の画像からなる動画像を画面内予測もしくは画面間予測によって符号化する動画像符号化装置が実行する動画像符号化方法であって、
前記参照制御部は、前記複数の画像を、前記画面内予測又は前記画面間予測において画素値を参照する領域である参照領域と、画素値を参照しない領域である非参照領域と、に分割し、かつ、前記時系列上においてあらかじめ定められた所定の間隔で前記複数の画像における前記参照領域と前記非参照領域とが入れ替わるように前記複数の画像における前記参照領域と前記非参照領域を決定する第１のステップと、
前記量子化部は、前記複数の画像の前記符号化の際に、前記非参照領域については前記参照領域よりも粗い粒度で量子化を行う第２のステップと、
を含むことを特徴とする動画像符号化方法。
【０１３７】
（付記２）
時系列に並ぶ複数の画像からなる動画像を画面内予測もしくは画面間予測によって符号化する動画像符号化方法をコンピュータに実行させる動画像符号化プログラムであって、該プログラムは、前記コンピュータに、
前記複数の画像を、前記画面内予測又は前記画面間予測において画素値を参照する領域である参照領域と、画素値を参照しない領域である非参照領域と、に分割し、かつ、前記時系列上においてあらかじめ定められた所定の間隔で前記複数の画像における前記参照領域と前記非参照領域とが入れ替わるように前記複数の画像における前記参照領域と前記非参照領域を決定する第１の処理ステップと、
前記複数の画像の前記符号化の際に、前記非参照領域については前記参照領域よりも粗い粒度で量子化を行う第２の処理ステップと、
を含む処理を実行させるための動画像符号化プログラム。
【符号の説明】
【０１３８】
１ 動画像符号化装置
１０ 原画像
１１ ストリーム
１２ 再構成画像
１３ 画面内予測画像
１４ 画面間予測画像
１５ 予測画像
１６ 差分画像
１７ 復元差分画像
４１ 探索範囲
５１ 探索範囲
６１ 探索範囲
９０ 原画像
９１ ストリーム
９２ 再構成画像
９３ 画面内予測画像
９４ 画面間予測画像
９５ 予測画像
９６ 差分画像
９７ 復元差分画像
１１０ 画面内予測部
１２０ 画面間予測部
１３０ モード選択部
１４０ 直交変換部
１５０ 量子化部
１６０ 逆量子化部
１７０ 逆直交変換部
１８０ 可変長符号化部
１９０ 符号化制御部
２００ ストリームバッファ
２１０ 参照制御部
４０１ 符号化対象ピクチャ
４０１ａ、４０１ｂ 符号化対象ピクチャ
４０２ ピクチャ
４０３ ピクチャ
５０１ 符号化対象ピクチャ
５０１ａ 符号化対象ピクチャ
５０２ ピクチャ
５０３ ピクチャ
６０１ 符号化対象ピクチャ
６０２ ピクチャ
６０３ ピクチャ
９１０ 画面内予測部
９２０ 画面間予測部
９３０ モード選択部
９４０ 直交変換部
９５０ 量子化部
９６０ 逆量子化部
９７０ 逆直交変換部
９８０ 可変長符号化部
９９０ 符号化制御部
１０００ ストリームバッファ
Ｄ１ 画面内予測情報
Ｄ２ 画面間予測情報
Ｄ３ 周波数成分
Ｄ４ 量子化係数
Ｄ５ 量子化値
Ｄ６ 復元周波数成分
Ｄ７ 符号量情報
Ｄ１１ 画面内予測制限情報
Ｄ１２ 画面間予測制限情報
Ｄ１３ 領域判定結果
Ｄ８１ 画面内予測情報
Ｄ８２ 画面間予測情報
Ｄ８３ 周波数成分
Ｄ８４ 量子化係数
Ｄ８５ 量子化値
Ｄ８６ 復元周波数成分
Ｄ８７ 符号量情報
【技術分野】
【０００１】
本発明は、動画像を符号化する技術に関する。
【背景技術】
【０００２】
近年、ブロードバンドネットワークの発達による動画配信コンテンツの増加や、ＤＶＤなどの大容量記憶媒体と大画面映像表示機器の利用などにより、動画符号化技術は必要不可欠な技術となっている。また、撮像デバイスや表示デバイスの高解像度化と共に、動画像符号化技術において高解像度で符号化する技術も必要不可欠となっている。
【０００３】
動画像符号化処理は、動画像符号化装置に入力される原画像（入力画像）をより少ないデータ量のストリームに変換する処理である。例えば、高解像度かつ高画質な符号化が可能な動画符号化技術の一つとして、国際標準であるＨ．２６４／ＡＶＣ規格（非特許文献１）が存在する。
【０００４】
Ｈ．２６４／ＡＶＣによる符号化処理では、一般的には、原画像に対して１６×１６の画素で構成されるマクロブロックと呼ばれる単位で処理が行われる。また、Ｈ．２６４／ＡＶＣでは、画像情報が一般的に持つ特性、すなわち隣接画素間とフレーム間に高い相関を持つという特性を利用して画像の予測を行い、さらに人間の視覚では変化を知覚しにくい高周波成分などの冗長な情報を削減する。これにより、広い伝送帯域（例えば、ＨＤ−ＳＤＩ（High Definition Serial Digital Interface）では約１．５Ｇｂｐｓ）にある入力画像を、低い伝送帯域（例えば、地上波デジタル放送での約１５Ｍｂｐｓ）に適用する。
【０００５】
ところで、Ｈ．２６４／ＡＶＣ符号化で用いられる予測方式には、主に画面内予測と画面間予測の二つの予測方式が存在する。画面内予測では、予測の単位となるブロックのサイズや予測方向の組み合わせに応じて複数の予測方式が用意されている。画面間予測においても、予測の単位となるブロックのサイズに応じて複数の予測方式が用意されている。Ｈ．２６４／ＡＶＣでは、目標とする画質や符号量に応じてこれらの予測方式を動的に選択することで、高画質かつ高圧縮な符号化方式を実現している。
【０００６】
ここで、図２１を用いて、Ｈ．２６４／ＡＶＣ符号化の概要について説明する。図２１は、従来のＨ．２６４／ＡＶＣ符号化処理を行う画像符号化装置の構成を示す図である。
【０００７】
画面内予測を用いた符号化処理を行うには、まず、モード選択部９３０が画面内予測部９１０を選択する。そして、画面内予測部９１０、直交変換部９４０、量子化部９５０、および可変長符号化部９８０を経て、原画像９０からストリーム９１を得る。また、画面間予測を用いた符号化処理では、モード選択部９３０が画面間予測部９２０を選択する。そして、画面間予測部９２０、直交変換部９４０、量子化部９５０、および可変長符号化部９８０を経て、原画像９０からストリーム９１を得る。
【０００８】
次に、量子化部９５０で実行される量子化について説明する。
【０００９】
Ｈ．２６４／ＡＶＣ符号化で行う量子化では、符号化制御部９９０が決定した量子化係数Ｄ８４を用いて量子化の粒度を調整する。量子化粒度が小さければ符号量は大きくなるがより原画像に近い画像になり易く、量子化粒度が大きければ符号量は小さいが原画像から離れた画像になり易い。
【００１０】
そこで、Ｈ．２６４／ＡＶＣ符号化では、目標とする画質や符号量に応じて量子化係数Ｄ８４を動的に選択することで、高画質かつ高圧縮な符号化効率の高い符号化を実現している。
【００１１】
以下、Ｈ．２６４／ＡＶＣ符号化の各処理について説明する。
【００１２】
画面内予測部９１０には、原画像９０と、その周辺の画像である再構成画像９２とが入力される。再構成画像９２は、逆直交変換部９７０から出力される復元差分画像９７と、モード選択部９３０によって出力される予測画像９５とが足し合わされて構成される画像である。
【００１３】
そして、画面内予測部９１０は、原画像９０と再構成画像９２とから、画面内予測処理により適切な画面内予測モード（画面内予測方式）を選択し、画面内予測モードのモード情報を表す画面内予測情報Ｄ８１、予測結果である画面内予測画像９３、および原画像９０と画面内予測画像９３との差分を表す画面内予測誤差を生成する。
【００１４】
画面間予測部９２０は、原画像９０と、その前後（過去または未来）の原画像から生成された再構成画像９２の入力を受け付け、画面間予測情報Ｄ８２、画面間予測画像９４、および原画像９０と画面間予測画像９４との差分を表す画面間予測誤差を生成する。
【００１５】
モード選択部９３０は、画面内予測部９１０から入力される画面内予測誤差と、画面間予測部９２０から入力される画面間予測誤差とから、符号化モード選択アルゴリズムに従い、画面内予測および画面間予測のいずれかの符号化モードを決定する。そして、画面内予測を選択した場合には画面内予測画像９３を、画面間予測を選択した場合には画面間予測画像９４を、予測画像９５として出力する。
【００１６】
なお、符号化モード選択アルゴリズムは、ストリーム９１の符号量および画質に大きな影響を与えるため、符号化対象となる原画像９０の内容や映像符号化の用途によって様々な方式が存在している。
【００１７】
直交変換部９４０は、原画像９０と予測画像９５との差分である差分画像９６から、直交変換処理によって周波数成分Ｄ８３を生成する。
【００１８】
量子化部９５０は、符号化制御部９９０から入力される量子化係数Ｄ８４と、直交変換部９４０から入力される周波数成分Ｄ８３とから量子化処理を行い、情報量を削減した量子化値Ｄ８５を出力する。
【００１９】
逆量子化部９６０は、量子化値Ｄ８５に対して逆量子化処理を行い、復元周波数成分Ｄ８６を生成する。
【００２０】
逆直交変換部９７０は、復元周波数成分Ｄ８６に対して逆直交変換処理を行い、復元差分画像９７を生成する。そして、生成された復元差分画像９７と、モード選択部９３０によって出力された予測画像９５とが足し合わされて、再構成画像９２としてメモリ等の記憶装置に記憶される。
【００２１】
可変長符号化部９８０は、量子化値Ｄ８５と、画面内予測情報Ｄ８１もしくは画面間予測情報Ｄ８２を、より少ないデータ量のデータ列に符号化し、ストリーム９１として出力する。
【００２２】
ストリームバッファ１０００は、ストリーム９１を一旦バッファリングした後、伝送路もしくは後段のデコーダに出力する。また、バッファリングしているストリーム９１の符号量を符号量情報Ｄ８７として、符号化制御部９９０に出力する。
【００２３】
符号化制御部９９０は、ストリームバッファ１０００から入力される符号量情報Ｄ８７を用いて、レート制御アルゴリズムに従い量子化係数Ｄ８４を決定し、これを量子化部９５０に出力する。
【００２４】
ここで、量子化係数Ｄ８４の制御によるレート制御アルゴリズムは、動画像符号化効率に大きな影響を与えるため、動画像符号化の用途によって様々な方式が存在している。量子化係数Ｄ８４の制御によるレート制御アルゴリズムで動画像符号化効率を向上させる技術として、例えば、特許文献１に記載の画像符号化技術が挙げられる。
【００２５】
特許文献１には、画面間予測における参照関係をピクチャ単位で管理することで、画面間予測において量子化係数を小さくした、より原画像に近い予測画像を参照することで客観画質を向上させる方法が開示されている。さらに、特許文献１には、１コマおきに鋭画像と鈍画像とを繰り返して表示すると、人間の視覚では全体が鋭画像に見える“鋭鈍画像の繰り返し錯覚”と呼ばれる視覚特性を利用して主観画質を向上させる方法も開示されている。
【００２６】
図２２は、特許文献１に記載の画像符号化技術における“鋭鈍画像の繰り返し錯覚”を利用した符号化効率の向上方法について説明する図である。図２２に示されるように、１コマおきに、量子化係数を小さくした高画質な画像と、量子化係数を大きくして符号量を削減した低画質な画像を交互に表示すると、“鋭鈍画像の繰り返し錯覚”により、人間の視覚では動画像全体として量子化係数の小さい高画質な動画像と同等に見える。
【００２７】
従って、特許文献１の画像符号化技術では、結果として主観画質を維持したまま量子化係数を大きくして符号量を削減することができる。
【先行技術文献】
【非特許文献】
【００２８】
【非特許文献１】ＩＴＵ−Ｔ Ｒｅｃｏｍｍｅｎｄａｔｉｏｎ Ｈ．２６４， “Ａｄｖａｎｃｅｄ ｖｉｄｅｏ ｃｏｄｉｎｇ ｆｏｒ ｇｅｎｅｒｉｃ ａｕｄｉｏｖｉｓｕａｌ ｓｅｒｖｉｃｅｓ” ２００７．
【特許文献】
【００２９】
【特許文献１】特開２００８−３１１８２４号公報
【発明の概要】
【発明が解決しようとする課題】
【００３０】
ところで、動画像符号化では、符号化および復号化時に遅延が生じることが一般的に知られている。
【００３１】
動画像符号化装置に画像を入力した後、この動画像符号化装置より出力された符号を動画像復号化装置に入力し、復号化処理を実行して表示を行うシステムにおいて、同一画像の入力から表示までの時間差が遅延時間であり、一般的な動画像符号化装置および動画像復号化装置では、数１００ミリ秒から数秒程度の遅延となっている。
【００３２】
また、昨今では、非圧縮画像データとの同時使用などを目的として、例えば遅延時間が１６ミリ秒以下といったような、動画像符号化および復号化における低遅延化の必要性が出てきている。
【００３３】
低遅延の動画像符号化および復号化を実現するためには、データ発生量の変動を抑えることが必要である。一般に、画像データは、画像データ全体のデータ量から決定される固定のビットレートにより伝送され、伝送された画像データはバッファに格納されて処理される
ここで、動画像符号化において画像のある領域においてビットレート以上の大量の符号データを生成した場合、この領域については、処理の際にバッファ内にあるデータでは足りず、バッファへの符号データの伝送待ちが生じてしまう。そして、この領域について全ての処理が完了しないと、この領域の表示を行うことができないため、結果として画像全体の表示における遅延時間が大きくなってしまう。
【００３４】
つまり、遅延時間は想定される最大符号発生量を処理する時間によって決定され、この遅延時間は、ビットレートと最大符号発生量との差、すなわち発生符号量の変動量に大きく影響される。
【００３５】
図２３は、特許文献１に記載の画像符号化技術における、ピクチャ単位の量子化制御による符号量変動について説明する図である。
【００３６】
特許文献１の画像符号化技術では、量子化係数の大きい非参照ピクチャと、量子化係数の小さい参照ピクチャを決定し、ピクチャ単位で量子化係数を制御する。
【００３７】
そのため、非参照ピクチャでは参照ピクチャに比べて大幅に符号量が小さくなり、ピクチャ間の符号量変動が大きくなるため、非参照ピクチャで数ピクチャ分のバッファリングが必要になり、数ピクチャ単位での遅延が生じてしまうという課題があった。
【００３８】
そこで本発明は、上記課題に鑑み、動画像符号化処理において、画質を向上させながら符号量の変動を抑えることにより、高画質で低遅延な符号化処理を行うことが可能な動画像符号化装置、動画像符号化方法、および、動画像符号化プログラムを提供することを目的とする。
【課題を解決するための手段】
【００３９】
上記課題を解決するために、本発明の一態様によれば、時系列に並ぶ複数の画像からなる動画像を画面内予測もしくは画面間予測によって符号化する動画像符号化装置であって、前記複数の画像を、前記画面内予測又は前記画面間予測において画素値を参照する領域である参照領域と、画素値を参照しない領域である非参照領域と、に分割し、かつ、前記時系列上においてあらかじめ定められた所定の間隔で前記複数の画像における前記参照領域と前記非参照領域とが入れ替わるように前記複数の画像における前記参照領域と前記非参照領域を決定する参照制御部と、前記複数の画像の前記符号化の際に、前記非参照領域については前記参照領域よりも粗い粒度で量子化を行う量子化部と、を有することを特徴とする動画像符号化装置が提供される。
【００４０】
この構成によれば、符号量の変動を抑えることにより遅延を抑え、かつ高画質に動画像を符号化することができる。
【００４１】
本発明の他の態様によれば、前記参照制御部は、前記画像において、一定単位の領域における前記参照領域と前記非参照領域との割合が、前記画像に含まれるいずれの一定単位の領域でも同じとなるように、前記参照領域と前記非参照領域を決定するようになっていてもよい。
【００４２】
この構成によれば、一定単位の領域内に符号量の変動を抑えることができる。
【００４３】
本発明の他の態様によれば、動画像符号化装置は、前記複数の画像に対して前記画面内予測による前記符号化を行う画面内予測部をさらに有し、前記画面内予測部は、前記画像内において前記符号化対象のマクロブロックであるカレントマクロブロックと、前記参照領域または前記非参照領域と、の位置関係によって、前記参照領域の画素のみを参照して前記符号化を行うようになっていてもよい。
【００４４】
この構成によれば、画面内予測において、高画質である参照領域の画素のみを参照することとなるため、符号化効率の低下を回避することができる。
【００４５】
本発明の他の態様によれば、動画像符号化装置は、前記複数の画像に対して前記画面間予測による前記符号化を行う画面間予測部をさらに有し、前記画面間予測部は、前記画面間予測を行う際に、動きベクトルの探索範囲が前記参照領域となる前記複数の画像の少なくとも一つを参照するようになっていてもよい。
【００４６】
この構成によれば、画面間予測において、高画質である参照領域の画素のみを参照することとなるため、符号化効率の低下を回避することができる。
【発明の効果】
【００４７】
本発明によれば、符号量の変動を抑えることにより遅延を抑え、かつ高画質に動画像を符号化することができる。
【図面の簡単な説明】
【００４８】
【図１】本発明の一実施形態に係る動画像符号化装置の構成の一例を示す図である。
【図２】本発明の一実施形態に係る動画像符号化装置における参照制御部が実行するピクチャ毎の参照領域と非参照領域の管理方法の第１の具体例について説明する図である。
【図３】符号化対象ピクチャにおける１マクロブロックラインあたりの符号量について説明する図である。
【図４】符号化対象ピクチャにおける１マクロブロックラインごとの符号量の変動について示す図である。
【図５】画面間予測制限情報の一例について概念的に説明する図である。
【図６】画面間予測制限情報の一例について概念的に説明する図である。
【図７】画面間予測制限情報の一例について概念的に説明する図である。
【図８】Ｈ．２６４／ＡＶＣ規格における４×４ブロックに対する画面内予測における予測方向の種類を示す図である。
【図９】参照領域とカレントマクロブロックとの各位置関係における画面内予測モードの制限の一例について説明する図である。
【図１０】本発明の一実施形態に係る動画像符号化装置における参照制御部が実行するピクチャ毎の参照領域と非参照領域の管理方法の第２の具体例について説明する図である。
【図１１】符号化対象ピクチャにおける１ピクチャあたりの符号量について説明する図である。
【図１２】符号化対象ピクチャにおける１ピクチャごとの符号量の変動について示す図である。
【図１３】画面間予測制限情報の一例について概念的に説明する図である。
【図１４】画面間予測制限情報の一例について概念的に説明する図である。
【図１５】画面間予測制限情報の一例について概念的に説明する図である。
【図１６】参照領域とカレントマクロブロックとの各位置関係における画面内予測モードの制限の一例について説明する図である。
【図１７】本発明の一実施形態に係る動画像符号化装置における参照制御部が実行するピクチャ毎の参照領域と非参照領域の管理方法の第３の具体例について説明する図である。
【図１８】符号化対象ピクチャにおける１マクロブロックラインあたりの符号量について説明する図である。
【図１９】画面間予測制限情報の一例について概念的に説明する図である。
【図２０】画面間予測制限情報の一例について概念的に説明する図である。
【図２１】従来のＨ．２６４／ＡＶＣ符号化処理を行う画像符号化装置の構成を示す図である。
【図２２】特許文献１に記載の画像符号化技術における“鋭鈍画像の繰り返し錯覚”を利用した符号化効率の向上方法について説明する図である。
【図２３】特許文献１に記載の画像符号化技術における、ピクチャ単位の量子化制御による符号量変動について説明する図である。
【発明を実施するための形態】
【００４９】
以下、本発明の実施形態について、図面を参照して説明する。なお、以下の説明において参照する各図では、他の図と同等部分は同一符号によって示される。
【００５０】
（動画像符号化装置の構成）
図１は、本実施形態に係る動画像符号化装置の構成の一例を示す図である。動画像符号化装置１は、画面内予測部１１０と、画面間予測部１２０と、モード選択部１３０と、直交変換部１４０と、量子化部１５０と、逆量子化部１６０と、逆直交変換部１７０と、可変長符号化部１８０と、符号化制御部１９０と、ストリームバッファ２００と、参照制御部２１０と、を有する。
【００５１】
ここで、符号化制御部１９０と参照制御部２１０以外の構成については、図２１に示される従来の動画像符号化装置の構成と同様であるので、以下においては簡単に説明する。
【００５２】
なお、図１に示される動画像符号化装置１は、例えば、ＬＳＩ（Large Scale Integration）やＦＰＧＡ（Field-Programmable Gate Array）などによって実現可能であり、動画像符号化処理を行う種々の画像処理機器に適用することが可能である。また、例えば、図示しないＣＰＵ（Central Processing Unit）、ＲＡＭ（Random Access Memory）等のメモリ、ハードディスク等の記憶装置、ネットワークインタフェース等の一般的なコンピュータの構成と同様の構成によっても実現可能である。つまり、動画像符号化装置１の各構成の機能は、例えば、ＣＰＵがハードディスク等に記憶されているプログラムを読み出して実行することによって実現することが可能である。
【００５３】
画面内予測部１１０は、原画像１０と、その周囲に位置する画像である再構成画像１２と、参照制御部２１０から出力される画面内予測制限情報Ｄ１１（後述する）とを取得する。そして、画面内予測情報Ｄ１と、画面内予測の予測結果である画面内予測画像１３と、原画像１０と画面内予測画像１３との差分を表す画面内予測誤差とを生成する。
【００５４】
画面内予測情報Ｄ１には、画面内予測を行ったブロックサイズを表す情報である画面内予測ブロックタイプや、画面内予測の方向を表す画面内予測モード情報が含まれる。
【００５５】
画面間予測部１２０は、原画像１０と、これよりも過去の原画像（時間軸上、原画像１０の前に位置する原画像。以下、同様。）または未来の原画像（時間軸上、原画像１０の後に位置する原画像。以下、同様。）から生成された再構成画像１２と、参照制御部２１０から出力される画面間予測制限情報Ｄ１２（後述する）とを取得し、画面間予測情報Ｄ２と、画面間予測の予測結果である画面間予測画像１４と、原画像１０と画面間予測画像１４との差分を表す画面間予測誤差とを生成する。
【００５６】
画面間予測情報Ｄ２には、画面間予測を行った際のブロックサイズを表す画面間予測ブロックタイプや、動き補償を行った結果の動きベクトル情報が含まれる。
【００５７】
モード選択部１３０は、画面内予測部１１０から出力される画面内予測誤差と、画面間予測部１２０から出力される画面間予測誤差とから、モード選択アルゴリズムに従って、選択する予測モード（画面内予測もしくは画面間予測）を決定する。“画面内予測”が選択された場合は画面内予測画像１３を、“画面間予測”が選択された場合は画面間予測画像１４を、予測画像１５として出力する。
【００５８】
直交変換部１４０は、原画像１０と予測画像１５との差分である差分画像１６から、直交変換処理によって周波数成分Ｄ３を生成する。
【００５９】
量子化部１５０は、符号化制御部１９０から出力される量子化係数Ｄ４と、直交変換部１４０から出力される周波数成分Ｄ３とから量子化処理を行い、情報量を削減した量子化値Ｄ５を出力する。
【００６０】
逆量子化部１６０は、量子化部１５０から出力される量子化値Ｄ５に対して逆量子化処理を行い、復元周波数成分Ｄ６を生成する。
【００６１】
逆直交変換部１７０は、逆量子化部１６０から出力される復元周波数成分Ｄ６に対して逆直交変換処理を行い、復元差分画像１７を生成する。
【００６２】
そして、復元差分画像１７と、モード選択部１３０によって選択された予測画像１５とを足し合わせて、再構成画像１２としてメモリ等の記憶装置に記憶する。
【００６３】
可変長符号化部１８０は、量子化値Ｄ５と、画面内予測情報Ｄ１もしくは画面間予測情報Ｄ２を、より少ないデータ量のデータ列に符号化し、ストリーム１１として出力する。
【００６４】
ストリームバッファ２００は、可変長符号化部１８０から出力されるストリーム１１を取得し、バッファリングした後に、動画像符号化装置１に接続されている伝送路、もしくは後段のデコーダ等にストリーム１１を出力する。また、バッファリングしているストリーム１１の符号量を符号量情報Ｄ７として符号化制御部１９０へ出力する。
【００６５】
符号化制御部１９０は、ストリームバッファ２００から符号量情報Ｄ７を取得し、レート制御アルゴリズムに従って量子化係数Ｄ４を算出する。さらに、参照制御部２１０から出力されるカレントＭＢ（マクロブロック。以下、同様。）の領域判定結果Ｄ１３（後述する）が“参照領域”を示すものだった場合は量子化係数をそのままに、領域判定結果Ｄ１３が“非参照領域”を示すものだった場合は量子化係数にオフセット値を加算して、量子化部１５０に出力する。
【００６６】
ここで、「参照領域」とは、画面間予測又は画面内予測においてマクロブロックの予測処理を行う際に、画面間予測においては画面間参照の探索範囲となる領域を、画面内予測においては画面内画素参照の対象となる領域を、意味し、「非参照領域」は、画面間予測においては画面間参照の探索範囲としない領域を、画面内予測においては画面内画素参照の対象としない領域を、指す。
【００６７】
参照制御部２１０は、ピクチャ毎に参照領域と非参照領域の位置を管理して、予測処理対象のマクロブロックであるカレントＭＢが非参照領域と参照領域のどちらに含まれるのかを判定する。そして、その判定結果に応じて、画面内予測部１１０に画面内予測制限情報Ｄ１１を出力し、画面間予測部１２０に画面間予測制限情報Ｄ１２を出力する。また、符号化制御部１９０に対して、カレントＭＢが参照領域もしくは非参照領域のどちらに含まれるのかを表す領域判定結果Ｄ１３を出力する。この点については、後に詳述する。
【００６８】
以下、本実施形態に係る動画像符号化装置の特徴である参照制御部２１０について、以下、図面を参照しながら詳述する。
【００６９】
（参照制御部２１０）
［具体例１：符号化対象ピクチャを左右分割］
図２は、本実施形態に係る動画像符号化装置１の参照制御部２１０が実行するピクチャ毎の参照領域と非参照領域の管理方法の一例について説明する図である。
【００７０】
本具体例においては、参照制御部２１０は各ピクチャを左右に分割し、その一方を参照領域、他方を非参照領域として、これを１ピクチャ毎に切り替える制御を行う場合について説明する。
【００７１】
参照制御部２１０は、時系列（表示順。以下、同様。）上、最初のピクチャである符号化対象ピクチャ４０３では、符号化対象ピクチャ４０３の左半分を参照領域として、右半分を非参照領域とし、次ピクチャ以降（ピクチャ４０２、４０１）では、時系列上の前のピクチャで非参照領域だった領域を参照領域とし、参照領域だった領域を非参照領域とする。また、参照制御部２１０は、このピクチャ毎の参照領域もしくは非参照領域の位置（左半分もしくは右半分）を示す位置管理情報を保持しておく。そして、この位置管理情報に基づいて、処理中のカレントＭＢが参照領域もしくは非参照領域のどちらに含まれるのかを判断し、判断結果を領域判定結果Ｄ１３として符号化制御部１９０に出力する。
【００７２】
（画質についての効果）
これにより、符号化対象ピクチャの左および右のいずれでも、交互に非参照領域と参照領域が切り替わって表示されることとなるため、“鋭鈍画像の繰り返し錯覚”を利用して主観画質を維持することが可能である。さらに、符号量を削減することもできる。
【００７３】
なお、本具体例においては、１ピクチャ毎に左右の参照領域と非参照領域とを切り替える点が特徴であり、最初のピクチャ４０３における参照領域と非参照領域は逆であっても構わない（すなわち、ピクチャ４０３の右半分を参照領域とし、左半分を非参照領域としてもよい）。
【００７４】
（符号量変動についての効果）
次に、図２を用いて説明したように、参照制御部２１０が、符号化対象ピクチャを左右で非参照領域と参照領域とに分割した場合の符号量変動について説明する。
【００７５】
図３は、符号化対象ピクチャにおける１マクロブロックライン（以下、「ＭＢＬ」という）あたりの符号量について説明する図である。また、図４は、ＭＢＬごとにおける符号量の変動を示す図である。
【００７６】
動画像符号化処理は、図３に示されるように、符号化対象ピクチャ４０１に対して、矢印で示されるラスタスキャン順に従ってＭＢ単位で実行される。
【００７７】
ここで、本具体例のように、符号化対象ピクチャ４０１の左半分が参照領域、右半分が非参照領域となった場合、符号量の少ない非参照領域と符号量の多い参照領域の１ＭＢＬ内に含まれる面積は、いずれのＭＢＬにおいても常に一定となる（図３参照）。そのため、本具体例の場合、図４に示される通り、符号量は１ＭＢＬ単位でほぼ同じとなり、符号量変動を１ＭＢＬ単位以内にまで抑えることができる。
【００７８】
よって、本具体例の符号化方法によれば、符号量変動を吸収するストリームバッファ２００の容量を削減することが可能となり、低遅延化を実現することができる。
【００７９】
なお、本具体例では、符号化対象ピクチャを左右に分割しているが、これに限定されるものではない。一定ＭＢ数毎に含まれる参照領域と非参照領域の面積が常に同じとなり、一定間隔で非参照領域と参照領域とが切り替わるものであれば、“鋭鈍画像の繰り返し錯覚”を利用したまま低遅延化を実現することが可能である。よって、例えば、ピクチャを上下もしくは斜めに分割する方法や、３つ以上の複数の領域に分割するものであっても構わない。
【００８０】
（画面内予測制限情報および画面間予測制限情報について）
ここで、参照制御部２１０が出力する画面内予測制限情報Ｄ１１および画面間予測制限情報Ｄ１２について説明する。
【００８１】
図２の例のように、符号化対象ピクチャの左右で高画質な参照領域と低画質な非参照領域とに分けると、画質を維持しつつ、符号量の変動を抑えて遅延を少なくすることが可能である。しかし、一方で、ピクチャの左右で高画質な参照領域と低画質な非参照領域とが分けた場合、画面内予測および画面間予測において非参照領域の画素値が参照された場合に符号化効率が悪化してしまうという懸念がある。
【００８２】
そこで、参照制御部２１０は、非参照領域から画質劣化が伝搬しないように、カレントＭＢの画面内予測については画面内予測部１１０に画面内予測制限情報Ｄ１１を、画面間予測については画面間予測部１２０に画面間予測制限情報Ｄ１２を出力する。
【００８３】
（画面間予測の制限）
まず、参照制御部２１０が画面間予測部１２０に対して出力する画面間予測制限情報Ｄ１２について説明する。
【００８４】
画面間予測制限情報Ｄ１２には、参照ピクチャ番号が含まれる。「参照ピクチャ番号」は、画面間予測処理において、動きベクトル探索を行う参照画像を示す番号である。また、画面間予測処理は、カレントＭＢを中心とした探索範囲内でカレントＭＢと似た画素ブロックを探索する処理である。
【００８５】
図５〜図７は、本具体例において、参照制御部２１０が画面間予測部１２０に対して出力する画面間予測制限情報Ｄ１２の一例について概念的に説明する図である。
【００８６】
参照制御部２１０は、図５に示されるように、符号化対象ピクチャ４０１の探索範囲４１が左半分の参照領域内に存在しているならば、時間軸上、過去に左半分の領域が参照領域だった画像のうち符号化対象ピクチャ４０１に対して時間的に最も近い画像であるピクチャ４０３のピクチャ番号を、画面間予測制限情報Ｄ１２に含めて指定する。
【００８７】
また、図６に示されるように、探索範囲４１が右半分の非参照領域内に存在しているならば、時間軸上、過去に右半分の領域が参照領域だった画像のうち符号化対象ピクチャ４０１に対して時間的に最も近い画像であるピクチャ４０２のピクチャ番号を、画面間予測制限情報Ｄ１２に含めて指定する。
【００８８】
また、図７に示されるように、カレントＭＢが符号化対象ピクチャ４０１の中央付近に位置することで、探索範囲４１が左右両方の領域にまたがっている場合は、過去に左半分の領域が参照領域だった直近の画像であるピクチャ４０３の参照領域（より具体的には、参照領域における探索範囲４１と同一範囲部分。図１５においても同様。）と、過去に右半分が参照領域だった直近の画像であるピクチャ４０２の参照領域（より具体的には、参照領域における探索範囲４１と同一範囲部分。図１５においても同様。）の両方を参照する様に、両画像のピクチャ番号を指定する。
【００８９】
従って、本具体例によれば、画面間予測では常に小さい量子化係数で符号化された参照画像を使用することになるため、結果として、画面間予測精度が向上し動画像符号化効率も向上する。
【００９０】
（画面内予測の制限）
次に、参照制御部２１０が画面内予測部１１０に対して出力する画面内予測制限情報Ｄ１１について説明する。
【００９１】
画面内予測制限情報Ｄ１１には、モード制限情報が含まれる。参照制御部２１０は、画面内予測部１１０に対して非参照領域から画素値を参照せずに、参照領域からのみ画素値を参照するように、モード制限情報を設定する。以下、「モード制限情報」について説明する。
【００９２】
図８は、Ｈ．２６４／ＡＶＣ規格に規定されている４×４ブロックに対する画面内予測における予測モード（予測方向）の種類を示す図である。また、図９は、参照領域とカレントＭＢとの各位置関係における画面内予測モードの制限の一例について説明する図である。
【００９３】
参照制御部２１０は、図９（ａ）に示されるように、符号化対象ピクチャ４０１ａの左側が非参照領域で、カレントＭＢが参照領域内にあり、非参照領域の右側に隣接している場合は、左側の画素値を参照する画面内予測モードを使用禁止にすることを示すモード制限情報を、画面内予測制限情報Ｄ１１として指定する（図９（ｃ）「位置Ａ」欄）。
【００９４】
また、図９（ｂ）に示されるように、符号化対象ピクチャ４０１ｂの右側が非参照領域で、カレントＭＢが非参照領域の左側に隣接している場合は、右側の画素値を参照する画面内予測モードを使用禁止にすることを示すモード制限情報を、画面内予測制限情報Ｄ１１として指定する（図９（ｃ）「位置Ｂ」欄）。
【００９５】
参照領域とカレントＭＢとの位置関係が上記以外の場合、つまり符号化対象ピクチャの左側が非参照領域で、カレントＭＢが非参照領域の右側に隣接していない場合と、符号化対象ピクチャの右側が非参照領域で、カレントＭＢが非参照領域の左側に隣接していない場合は、画面内予測モードに制限を加える必要がない。よって、参照制御部２１０は、モード制限情報は特に指定しない。この時、例えば、画面内予測制限情報Ｄ１１としては予測モードに制限がない旨を示す情報が含まれるようになっていてもよい。
【００９６】
［具体例２：符号化対象ピクチャを上下分割］
図１０は、参照制御部２１０で行うピクチャ毎の参照領域と非参照領域の管理方法の他の例について説明する図である。本具体例においては、参照制御部２１０は各ピクチャを上下に分割し、その一方を参照領域、他方を非参照領域として、これを１ピクチャ毎に切り替える制御を行う。
【００９７】
図１０に示されるように、参照制御部２１０は、例えば、時系列上、最初のピクチャである符号化対象ピクチャ５０３の上半分を参照領域として、下半分を非参照領域とし、次ピクチャ以降（ピクチャ５０２、５０１）では、時間軸上、前ピクチャで非参照領域だった領域を参照領域とし、参照領域だった領域を非参照領域とする。また、参照制御部２１０は、この参照領域もしくは非参照領域の位置を示す位置管理情報を保持しておく。そして、この位置管理情報に基づいて、処理中のカレントＭＢが参照領域もしくは非参照領域のどちらに含まれるのかを判断し、判断結果を領域判定結果Ｄ１３として符号化制御部１９０に出力する。
【００９８】
（符号量変動についての効果）
以下、図１０を用いて説明したように、参照制御部２１０が、符号化対象ピクチャを上下で非参照領域と参照領域とに分割した場合の符号量変動について説明する。
【００９９】
図１１は、符号化対象ピクチャにおける１ピクチャあたりの符号量について説明する図である。また、図１２は、ピクチャごとにおける符号量の変動を示す図である。
【０１００】
動画像符号化処理は、図１１に示されるように、符号化対象ピクチャ５０１に対して、矢印で示されるラスタスキャン順に従ってＭＢ単位で実行される。
【０１０１】
ここで、本具体例のように、符号化対象ピクチャ５０１の上半分が参照領域、下半分が非参照領域となった場合、符号量の少ない非参照領域と符号量の多い参照領域の１ピクチャ内に含まれる面積は、いずれのピクチャでも常に一定となる。そのため、本具体例の場合、図１２に示される通り、符号量は１ピクチャ単位でほぼ同じ符号量となり、符号量変動を１ピクチャ単位以内にまで抑えることができる。
【０１０２】
よって、本具体例の符号化方法によれば、符号量変動を吸収するストリームバッファ２００の容量を削減することが可能となり、低遅延化を実現することができる。
【０１０３】
また、画質については、上記具体例１と同様に、符号化対象ピクチャの上下のいずれでも交互に非参照領域と参照領域とが切り替わって表示されることとなるため、“鋭鈍画像の繰り返し錯覚”を利用して主観画質を維持することが可能である。また、符号量を削減することもできる。
【０１０４】
なお、本具体例においては、１ピクチャ毎に上下の参照領域と非参照領域とを切り替える点が特徴であり、最初のピクチャ５０３における参照領域と非参照領域は逆であっても構わない（すなわち、ピクチャ５０３の下半分を参照領域とし、上半分を非参照領域としてもよい）。
【０１０５】
（画面間予測の制限）
具体例１と同様に、参照制御部２１０が画面間予測部１２０に対して出力する画面間予測制限情報Ｄ１２には、参照ピクチャ番号が含まれ、「参照ピクチャ番号」は画面間予測処理において、動きベクトル探索を行う参照画像を示す番号である。
【０１０６】
図１３〜図１５は、本具体例において、参照制御部２１０が画面間予測部１２０に対して出力する画面間予測制限情報Ｄ１２の一例について概念的に説明する図である。
【０１０７】
参照制御部２１０は、図１３に示されるように、符号化対象ピクチャ５０１の探索範囲５１が上半分の参照領域内に存在しているならば、時間軸上、過去に上半分の領域が参照領域だった画像のうち符号化対象ピクチャ５０１に対して時間的に最も近い画像であるピクチャ５０３のピクチャ番号を、画面間予測制限情報Ｄ１２に含めて指定する。
【０１０８】
また、図１４に示されるように、探索範囲５１が下半分の非参照領域内に存在しているならば、時間軸上、過去に下半分の領域が参照領域だった画像のうち符号化対象ピクチャ５０１に対して時間的に最も近い画像であるピクチャ５０２のピクチャ番号を、画面間予測制限情報Ｄ１２に含めて指定する。
【０１０９】
また、図１５に示されるように、カレントＭＢが符号化対象ピクチャ５０１の中央付近に位置することで、探索範囲５１が上下両方の領域にまたがっている場合は、過去に上半分の領域が参照領域だった直近の画像であるピクチャ５０３の参照領域と、過去に下半分が参照領域だった直近の画像であるピクチャ５０２の参照領域の両方を参照する様に、両画像のピクチャ番号を指定する。
【０１１０】
従って、本具体例によれば、画面間予測では常に小さい量子化係数で符号化された参照画像を使用することになるため、結果として、画面間予測精度が向上し動画像符号化効率も向上する。
【０１１１】
また、動画像は一般的に横方向への動きが大きい。本具体例では、上記具体例１の場合よりも探索範囲を横長に確保できるため、横方向の画面間予測精度を向上させることができるという利点がある。
【０１１２】
（画面内予測の制限）
図１６は、参照領域とカレントＭＢとの各位置関係における画面内予測モードの制限の一例について説明する図である。
【０１１３】
具体例１と同様に、参照制御部２１０が画面内予測部１１０に対して出力する画面内予測制限情報Ｄ１１には、モード制限情報が含まれる。参照制御部２１０は、図１６（ａ）に示されるように、符号化対象ピクチャ５０１ａの上側が非参照領域で、カレントＭＢが非参照領域の下側に隣接している場合は、上側の画素値を参照する画面内予測モードを使用禁止にすることを示すモード制限情報を、画面内予測制限情報Ｄ１１として指定する（図１６（ｂ）「位置Ｃ」欄）。
【０１１４】
参照領域とカレントＭＢとの位置関係が上記以外の場合、つまり符号化対象ピクチャの上側が非参照領域で、カレントＭＢが非参照領域の下側に隣接していない場合と、符号化対象ピクチャの下側が非参照領域の場合には、画面内予測モードに制限を加える必要はない。よって、参照制御部２１０は、モード制限情報は特に指定しない。この時、例えば、画面内予測制限情報Ｄ１１としては予測モードに制限がない旨を示す情報が含まれるようになっていてもよい。
【０１１５】
本具体例では、画面内予測モードにおいて、ピクチャの左右方向の予測モードが制限されないため、横方向の動きがある画像に対しては、上記具体例１よりも予測精度が向上するという利点がある。
【０１１６】
［具体例３：符号化対象ピクチャを複数に分割］
図１７は、参照制御部２１０で行うピクチャ毎の参照領域と非参照領域の管理方法の他の例について説明する図である。本具体例においては、参照制御部２１０は各ピクチャを横方向に３つに分割し、そのうちの２つを参照領域、残りの１つを非参照領域として、これを１ピクチャ毎に切り替える制御を行う。
【０１１７】
図１７に示されるように、参照制御部２１０は、例えば、時系列上、最初のピクチャである符号化対象ピクチャ６０４の右の領域を非参照領域として、中央と左を参照領域とし、次ピクチャ以降（ピクチャ６０３、６０２、６０１）では、前ピクチャで非参照領域だった領域が右なら中央、中央なら左、左なら右の領域を非参照領域とし、残りの領域を参照領域とする。
【０１１８】
参照制御部２１０は、上記具体例１や具体例２と同様に、この参照領域もしくは非参照領域の位置（左、中央、右）を示す位置管理情報に基づいて、処理中のカレントＭＢが参照領域もしくは非参照領域のどちらに含まれるのかを表す領域判定結果Ｄ１３を符号化制御部１９０に出力する。
【０１１９】
なお、本具体例ではピクチャを３つに分割し、そのうちの１つを非参照領域、２つを参照領域とし、時系列上、非参照領域を右、中央、左の順番に移動するようにしたが、これに限定されるものではない。ピクチャを複数分割する場合は、分割数や非参照領域の移動順は他の方法でもよく、非参照領域と参照領域の設定パターンが、時系列上、所定の周期で繰り返されるものであればよい。例えば、各ピクチャをより多くの領域に分割してもよい。
【０１２０】
（符号量変動についての効果）
以下、図１７を用いて説明したように、参照制御部２１０が、符号化対象ピクチャを３分割し、非参照領域と参照領域の位置を管理した場合の符号量変動について説明する。
【０１２１】
図１８は、符号化対象ピクチャにおける１ＭＢＬあたりの符号量について説明する図である。
【０１２２】
動画像符号化処理は、図１８に示されるように、符号化対象ピクチャ６０１に対して、矢印で示されるラスタスキャン順に従ってＭＢ単位で実行される。
【０１２３】
ここで、本具体例のように、符号化対象ピクチャ６０１の右が非参照領域となり、中央と左が参照領域となった場合、符号量の少ない非参照領域と符号量の多い参照領域の１ＭＢＬ内に含まれる面積は、いずれのＭＢＬでも常に一定となる（図１８参照）。そのため、本具体例の場合、上記具体例１と同様に、符号量は１ＭＢＬ単位でほぼ同じとなり、符号量変動を１ＭＢＬ単位以内にまで抑えることができる。
【０１２４】
よって、本具体例の符号化方法によれば、符号量変動を吸収するストリームバッファ２００の容量を削減することが可能となり、低遅延化を実現することができる。
【０１２５】
また、画質については、ピクチャ内において画質の低い非参照領域の占める割合が上記具体例１よりも狭く、動画像として再生した場合に、各ピクチャの同一箇所において非参照領域が出現する間隔が上記具体例１よりも長くなる。よって、フレームレートが３０ｆｐｓなどの低い場合でも、“鋭鈍画像の繰り返し錯覚”の主観画質向上効果を受けることが可能である。
【０１２６】
（画面間予測の制限）
図１９および図２０は、本具体例において、参照制御部２１０が画面間予測部１２０に対して出力する画面間予測制限情報Ｄ１２の一例について概念的に説明する図である。
【０１２７】
参照制御部２１０は、符号化対象ピクチャ６０１の探索範囲６１が左の参照領域内に存在しているならば、時間軸上、過去に左の領域が参照領域だった画像のうち符号化対象ピクチャ５０１に対して時間的に最も近い画像のピクチャ番号を、画面間予測制限情報Ｄ１２に含めて指定する。また、探索範囲６１が符号化対象ピクチャ６０１の中央の領域内に存在しているならば、時間軸上、過去に中央の領域が参照領域だった画像のうち符号化対象ピクチャ６０１に対して時間的に最も近い画像のピクチャ番号を、画面間予測制限情報Ｄ１２に含めて指定する。探索範囲６１が符号化対象ピクチャ６０１の右の領域内に存在している場合も同様である。つまり、時間軸上、過去に右の領域が参照領域だった画像のうち符号化対象ピクチャ６０１に対して時間的に最も近い画像のピクチャ番号を、画面間予測制限情報Ｄ１２に含めて指定する。
【０１２８】
また、図１９および図２０に示されるように、探索範囲６１が符号化対象ピクチャ６０１の左と中央、もしくは中央と右、の様に複数の領域にまたがっている場合は、過去の画像のうち、探索範囲がまたがっている位置と同じ位置の領域が参照領域だった画像の参照領域を参照する様に、その画像のピクチャ番号を画面間予測制限情報Ｄ１２に含めて指定する。
【０１２９】
なお、図１９および図２０の例では、参照画像として単一のピクチャのみを参照する場合を示しているが、上記具体例１で図７を用いて説明したように、複数の参照画像を参照するようになっていてもよい。例えば、図１９の例では、探索範囲６１が符号化対象ピクチャ６０１の左と中央の領域にまたがっているが、この場合には、過去に左の領域が参照画像だった直近の画像であるピクチャ６０３と、過去に中央の領域が参照領域だった直近の画像であるピクチャ６０２の両方を参照画像とするようになっていてもよい。この時、参照制御部２１０は、ピクチャ６０２とピクチャ６０３のピクチャ番号を画面間予測制限情報Ｄ１２に含めて指定する。
【０１３０】
以上のように、本具体例によれば、画面間予測では常に小さい量子化係数で符号化された参照画像を使用することになるため、結果として、画面間予測精度が向上し動画像符号化効率も向上する。
【０１３１】
また、単一の参照画像に対して、１ピクチャを２つの領域に分割する上記具体例１よりも広い探索範囲を確保できるため、結果として、画面間予測精度が向上し動画像符号化効率も向上するという利点がある。
【０１３２】
（画面内予測の制限）
画面内予測の制限については、上記具体例１と同様である。すなわち、参照制御部２１０は、カレントＭＢが非参照領域に隣接する場合（例えば、図２０のような場合）に、非参照領域から画素値を参照しないようにモード制限情報を、画面内予測制限情報Ｄ１１として指定する。
【０１３３】
（まとめ）
以上のとおり、本実施形態によれば、符号量の変動を抑えることにより遅延を抑え、かつ高画質に動画像を符号化することができる。
【０１３４】
なお、本発明の範囲は、図示され記載された例示的な実施形態に限定されるものではなく、本発明が目的とするものと均等な効果をもたらすすべての実施形態をも含む。さらに、本発明の範囲は、すべての開示されたそれぞれの特徴のうち特定の特徴のあらゆる所望する組み合わせによって画されうる。
【０１３５】
（付記）
以上に、本発明に係る実施形態について詳細に説明したことからも明らかなように、前述の実施形態の一部または全部は、以下の各付記のようにも記載することができる。しかしながら、以下の各付記は、あくまでも、本発明の単なる例示に過ぎず、本発明は、かかる場合のみに限るものではない。
【０１３６】
（付記１）
参照制御部と量子化部とを有し、時系列に並ぶ複数の画像からなる動画像を画面内予測もしくは画面間予測によって符号化する動画像符号化装置が実行する動画像符号化方法であって、
前記参照制御部は、前記複数の画像を、前記画面内予測又は前記画面間予測において画素値を参照する領域である参照領域と、画素値を参照しない領域である非参照領域と、に分割し、かつ、前記時系列上においてあらかじめ定められた所定の間隔で前記複数の画像における前記参照領域と前記非参照領域とが入れ替わるように前記複数の画像における前記参照領域と前記非参照領域を決定する第１のステップと、
前記量子化部は、前記複数の画像の前記符号化の際に、前記非参照領域については前記参照領域よりも粗い粒度で量子化を行う第２のステップと、
を含むことを特徴とする動画像符号化方法。
【０１３７】
（付記２）
時系列に並ぶ複数の画像からなる動画像を画面内予測もしくは画面間予測によって符号化する動画像符号化方法をコンピュータに実行させる動画像符号化プログラムであって、該プログラムは、前記コンピュータに、
前記複数の画像を、前記画面内予測又は前記画面間予測において画素値を参照する領域である参照領域と、画素値を参照しない領域である非参照領域と、に分割し、かつ、前記時系列上においてあらかじめ定められた所定の間隔で前記複数の画像における前記参照領域と前記非参照領域とが入れ替わるように前記複数の画像における前記参照領域と前記非参照領域を決定する第１の処理ステップと、
前記複数の画像の前記符号化の際に、前記非参照領域については前記参照領域よりも粗い粒度で量子化を行う第２の処理ステップと、
を含む処理を実行させるための動画像符号化プログラム。
【符号の説明】
【０１３８】
１ 動画像符号化装置
１０ 原画像
１１ ストリーム
１２ 再構成画像
１３ 画面内予測画像
１４ 画面間予測画像
１５ 予測画像
１６ 差分画像
１７ 復元差分画像
４１ 探索範囲
５１ 探索範囲
６１ 探索範囲
９０ 原画像
９１ ストリーム
９２ 再構成画像
９３ 画面内予測画像
９４ 画面間予測画像
９５ 予測画像
９６ 差分画像
９７ 復元差分画像
１１０ 画面内予測部
１２０ 画面間予測部
１３０ モード選択部
１４０ 直交変換部
１５０ 量子化部
１６０ 逆量子化部
１７０ 逆直交変換部
１８０ 可変長符号化部
１９０ 符号化制御部
２００ ストリームバッファ
２１０ 参照制御部
４０１ 符号化対象ピクチャ
４０１ａ、４０１ｂ 符号化対象ピクチャ
４０２ ピクチャ
４０３ ピクチャ
５０１ 符号化対象ピクチャ
５０１ａ 符号化対象ピクチャ
５０２ ピクチャ
５０３ ピクチャ
６０１ 符号化対象ピクチャ
６０２ ピクチャ
６０３ ピクチャ
９１０ 画面内予測部
９２０ 画面間予測部
９３０ モード選択部
９４０ 直交変換部
９５０ 量子化部
９６０ 逆量子化部
９７０ 逆直交変換部
９８０ 可変長符号化部
９９０ 符号化制御部
１０００ ストリームバッファ
Ｄ１ 画面内予測情報
Ｄ２ 画面間予測情報
Ｄ３ 周波数成分
Ｄ４ 量子化係数
Ｄ５ 量子化値
Ｄ６ 復元周波数成分
Ｄ７ 符号量情報
Ｄ１１ 画面内予測制限情報
Ｄ１２ 画面間予測制限情報
Ｄ１３ 領域判定結果
Ｄ８１ 画面内予測情報
Ｄ８２ 画面間予測情報
Ｄ８３ 周波数成分
Ｄ８４ 量子化係数
Ｄ８５ 量子化値
Ｄ８６ 復元周波数成分
Ｄ８７ 符号量情報
【特許請求の範囲】
【請求項１】
時系列に並ぶ複数の画像からなる動画像を画面内予測もしくは画面間予測によって符号化する動画像符号化装置であって、
前記複数の画像を、前記画面内予測又は前記画面間予測において画素値を参照する領域である参照領域と、画素値を参照しない領域である非参照領域と、に分割し、かつ、前記時系列上においてあらかじめ定められた所定の間隔で前記複数の画像における前記参照領域と前記非参照領域とが入れ替わるように前記複数の画像における前記参照領域と前記非参照領域を決定する参照制御部と、
前記複数の画像の前記符号化の際に、前記非参照領域については前記参照領域よりも粗い粒度で量子化を行う量子化部と、
を有することを特徴とする動画像符号化装置。
【請求項２】
前記参照制御部は、前記画像において、一定単位の領域における前記参照領域と前記非参照領域との割合が、前記画像に含まれるいずれの一定単位の領域でも同じとなるように、前記参照領域と前記非参照領域を決定することを特徴とする請求項１に記載の動画像符号化装置。
【請求項３】
前記複数の画像に対して前記画面内予測による前記符号化を行う画面内予測部をさらに有し、
前記画面内予測部は、前記画像内において前記符号化対象のマクロブロックであるカレントマクロブロックと、前記参照領域または前記非参照領域と、の位置関係によって、前記参照領域の画素のみを参照して前記符号化を行うことを特徴とする請求項１又は２に記載の動画像符号化装置。
【請求項４】
前記複数の画像に対して前記画面間予測による前記符号化を行う画面間予測部をさらに有し、
前記画面間予測部は、前記画面間予測を行う際に、動きベクトルの探索範囲が前記参照領域となる前記複数の画像の少なくとも一つを参照することを特徴とする請求項１から３のいずれか一項に記載の動画像符号化装置。
【請求項１】
時系列に並ぶ複数の画像からなる動画像を画面内予測もしくは画面間予測によって符号化する動画像符号化装置であって、
前記複数の画像を、前記画面内予測又は前記画面間予測において画素値を参照する領域である参照領域と、画素値を参照しない領域である非参照領域と、に分割し、かつ、前記時系列上においてあらかじめ定められた所定の間隔で前記複数の画像における前記参照領域と前記非参照領域とが入れ替わるように前記複数の画像における前記参照領域と前記非参照領域を決定する参照制御部と、
前記複数の画像の前記符号化の際に、前記非参照領域については前記参照領域よりも粗い粒度で量子化を行う量子化部と、
を有することを特徴とする動画像符号化装置。
【請求項２】
前記参照制御部は、前記画像において、一定単位の領域における前記参照領域と前記非参照領域との割合が、前記画像に含まれるいずれの一定単位の領域でも同じとなるように、前記参照領域と前記非参照領域を決定することを特徴とする請求項１に記載の動画像符号化装置。
【請求項３】
前記複数の画像に対して前記画面内予測による前記符号化を行う画面内予測部をさらに有し、
前記画面内予測部は、前記画像内において前記符号化対象のマクロブロックであるカレントマクロブロックと、前記参照領域または前記非参照領域と、の位置関係によって、前記参照領域の画素のみを参照して前記符号化を行うことを特徴とする請求項１又は２に記載の動画像符号化装置。
【請求項４】
前記複数の画像に対して前記画面間予測による前記符号化を行う画面間予測部をさらに有し、
前記画面間予測部は、前記画面間予測を行う際に、動きベクトルの探索範囲が前記参照領域となる前記複数の画像の少なくとも一つを参照することを特徴とする請求項１から３のいずれか一項に記載の動画像符号化装置。
【図１】
【図２】
【図３】
【図４】
【図５】
【図６】
【図７】
【図８】
【図９】
【図１０】
【図１１】
【図１２】
【図１３】
【図１４】
【図１５】
【図１６】
【図１７】
【図１８】
【図１９】
【図２０】
【図２１】
【図２２】
【図２３】
【図２】
【図３】
【図４】
【図５】
【図６】
【図７】
【図８】
【図９】
【図１０】
【図１１】
【図１２】
【図１３】
【図１４】
【図１５】
【図１６】
【図１７】
【図１８】
【図１９】
【図２０】
【図２１】
【図２２】
【図２３】
【公開番号】特開２０１３−１１０４６６（Ｐ２０１３−１１０４６６Ａ）
【公開日】平成２５年６月６日（２０１３．６．６）
【国際特許分類】
【出願番号】特願２０１１−２５１８７９（Ｐ２０１１−２５１８７９）
【出願日】平成２３年１１月１７日（２０１１．１１．１７）
【出願人】（０００００１１２２）株式会社日立国際電気 (5,007)
【Ｆターム（参考）】
【公開日】平成２５年６月６日（２０１３．６．６）
【国際特許分類】
【出願日】平成２３年１１月１７日（２０１１．１１．１７）
【出願人】（０００００１１２２）株式会社日立国際電気 (5,007)
【Ｆターム（参考）】
[ Back to top ]