動き予測情報検出装置
【課題】任意の動き情報と重み情報を高精度に決定できる動き予測情報検出装置を提供すること。
【解決手段】第１の重み情報算出部１は、参照画像と処理対象画像から暫定的な重み情報を決定する。動き情報算出部２は、算定的な重み情報で重み補償した参照画像と処理対象画像から動き情報を決定する。符号化モード決定部５は、第１の重み情報算出部１で決定された重み情報および動き情報算出部３で決定された動き情報で補償した参照画像の、処理対象画像に対する精度から符号化モードを決定する。第２の重み情報算出部６は、動き情報算出部で決定された動き情報で補償した参照画像と処理対象画像と符号化モードから高精度の重み情報を決定する。
【解決手段】第１の重み情報算出部１は、参照画像と処理対象画像から暫定的な重み情報を決定する。動き情報算出部２は、算定的な重み情報で重み補償した参照画像と処理対象画像から動き情報を決定する。符号化モード決定部５は、第１の重み情報算出部１で決定された重み情報および動き情報算出部３で決定された動き情報で補償した参照画像の、処理対象画像に対する精度から符号化モードを決定する。第２の重み情報算出部６は、動き情報算出部で決定された動き情報で補償した参照画像と処理対象画像と符号化モードから高精度の重み情報を決定する。
【発明の詳細な説明】
【技術分野】
【０００１】
本発明は、動き予測情報検出装置に関し、特に、参照画像に動き補償と重み補償を適用することで処理対象画像（符号化対象画像）に対する参照画像の精度を向上させ、処理対象画像と参照画像との誤差を最小にする動き情報および重み情報を決定する動き予測情報検出装置に関する。
【背景技術】
【０００２】
連続して入力される動画像信号を符号化する符号化方式の１つとして、フレーム間予測符号化方式がある。フレーム間予測符号化方式では、時間的相関の予測効率が高められた動き補償を行うために動き情報が用いられる。
【０００３】
動き補償には、符号化対象画像における個々の小領域（画素ブロック）が平行移動することを前提とした局所的動き補償方式が広く利用されている。この方式は、照度変化などがなく、被写体の動きが平行移動の場合には効果的である。
【０００４】
一方、上述の動き補償では対処しきれない突然の照度変化やフェード、ディゾルブなど時間的に輝度値が変化する画像については、重み補償を行う方法が提案されている。
【０００５】
例えば、下記特許文献１，２には、２つの参照画像の線形外挿あるいは線形内挿のいずれかで得られる重み情報を選択して動き補償を行う方法が提案されている。また、本発明者は、下記特許文献３（先願）で処理対象画像と参照画像の画素値の和、２乗和および積和から重み付き動き予測情報を決定する方法を先に提案した。
【特許文献１】特開２００３−２８４０７５号公報
【特許文献２】特開２００４−７３７９号公報
【特許文献３】特許出願２００４−２１３２８号（先願）
【発明の開示】
【発明が解決しようとする課題】
【０００６】
上記特許文献１，２で提案された方法では、重み情報が、２つの参照画像の線形外挿あるいは線形内挿、例えば（0.5，0.5）あるいは（-1，2）で重み付けして得られる２種類しかないため、最適な重み情報を得ることができないという課題がある。また、上記特許文献３の方法では、最適な重み情報を得ることはできるが、符号化効率が最適であるとは限らないという課題がある。
【０００７】
一般に、重み補償は単体で用いられるのではなく、平行移動を表す動きベクトルを用いた動き補償と併せて用いられる。このとき、重み補償と動き補償について個別に求められた最適解は、必ずしも全体の最適解とはならない。しかも、重み補償と動き補償の順序が異なれば、重み補償と動き補償についての個別の最適解も異なってくる。つまり、動き補償および重み補償いずれの補償を個々に最適化しても全体の最適解は導くことができない。
【０００８】
例えば、移動物体やカメラワークにより明確な動きを伴うシーンが黒へのフェードアウトを伴う画像の場合、動き補償より先に重み補償を適用して従来法で最適な重み情報を求めると、平行移動で十分対処できる移動物体領域であっても、無関係な画素値の積和で重み情報を算出してしまう。したがって、重み補償としては最適解が得られたとしても、その後の動き補償の適用が困難となるので、全体として近似精度が最適とはならない。
【０００９】
逆に、重み補償より動き補償を先に適用すると、従来法ではフェードの効果によって存在しない動き情報を検出する恐れがある。例えば、フェードアウトでは輝度値そのものが小さくなっていくので、平坦なブロックではランダムな動きベクトルが発生する。
【００１０】
また、図５に示すグラデーションを伴う画像のように、画素値が滑らかに変化する画像の場合、例えば、明るかった領域が黒へのフェードアウトによって対象ブロックと同じような画素値に変化するので、明るかった領域への動きベクトルが誤検出される。つまり、グラデーションを伴う画像において、画像内容には変化がなく画素値のみが変化した場合、参照画像の画素ブロックＡが処理対象画像の画素ブロックＢに動いたと判断されて動きベクトルＣが誤検出される。
【００１１】
また、画像内にはイントラ予測モードで符号化を採用する画素ブロックも存在するが、イントラ予測モードが採用される画素ブロックについて、その画素値を最小２乗法の処理対象に含めて重み情報を導出することは、無駄に処理負荷を増大させる。さらに、イントラ予測モードが採用されるような誤差が大きな画素値は、外れ値に敏感な最小２乗法において誤った重み情報を導出させてしまう課題を抱える。
【００１２】
本発明の目的は、上記課題を解決し、任意の動き情報と重み情報を高精度に決定できる動き予測情報検出装置を提供することにある。
【課題を解決するための手段】
【００１３】
上記課題を解決するため、本発明は、参照画像に重み付き動き補償を適用することで処理対象画像に対する参照画像の精度を向上させ、処理対象画像と参照画像との誤差を最小にする動き情報および重み情報を決定する動き予測情報検出装置において、参照画像と処理対象画像から暫定的な重み情報を決定する第１の重み情報算出手段と、前記第１の重み情報算出手段で決定された重み情報で補償した参照画像と処理対象画像から動き情報を決定する動き情報算出手段と、前記第１の重み情報算出手段で決定された重み情報および前記動き情報算出手段で決定された動き情報で補償した参照画像の、処理対象画像に対する精度から符号化モードを決定する符号化モード決定手段と、前記動き情報算出手段で決定された動き情報で補償した参照画像と処理対象画像と符号化モードから重み情報を決定する第２の重み情報算出手段とを備えたことを基本的特徴としている。
【発明の効果】
【００１４】
本発明によれば、暫定的に決定した重み情報で参照画像を重み補償した後、該参照画像と処理対象画像から動き情報を決定し、さらに、該動き情報で動き補償した参照画像と処理対象画像から重み情報を決定して高精度の参照画像を構成するので、最適な動き情報および重み情報を決定することができる。
【００１５】
また、重み情報算出に際し、動きに対する耐性および高速性を併せ持つ処理方式と処理対象とする画素を選別して高精度に重み情報を決定する方式を組み合わせることにより、高速かつ高精度に動き情報および重み情報を決定できる。これにより、フェードなど時間的な画素変化を伴う画像の圧縮の際の圧縮率向上を実現することが可能となる。
【００１６】
また、さらに交互に動き補償と重み補償を反復適用すれば、より最適解に近い動き情報および重み情報を得ることができる。このときの反復演算を考えると動き予測情報の精度の高さよりも1 回あたりの処理負荷は低い方が望ましい。
【００１７】
また、符号化モードを決定し、該符号化モードによって重み情報の算出に使用する画素と使用しない画素を選別して必要最小限の画素を参照するようにすることにより、最終的な重み情報の決定に際しての演算量を削減しつつ高精度の重み情報を導出することができる。
【発明を実施するための最良の形態】
【００１８】
以下、図面を参照して本発明を説明する。図１は、本発明における処理の流れを示すフローチャートであり、これらの処理を実行する各部分は、ハードウエアでもソフトウエアでも構成できる。図２は、各部分での処理対象画像（フレーム）と参照画像（フレーム）の関係を示す図である。
【００１９】
本発明における処理は、大別すると、第１の重み情報算出部１と重み補償部２による重み情報算出・重み補償処理、動き情報算出部３と動き補償部４による動き情報算出・動き補償処理、符号化モード決定部５による符号化モード決定処理、および第２の重み情報算出部６と重み補償部７による重み情報算出・重み補償処理からなる。以下、各部分での処理について順次説明する。
【００２０】
ここで、入力される情報は、参照画像の画素値および処理対象画像（符号化対象画像）の画素値であり、出力される情報は、動き補償および重み補償された参照画像の画素値、あるいは動き情報および重み情報である。
【００２１】
１．第１の重み情報算出部１と重み補償部２
第１の重み情報算出部１は、入力された処理対象画像と参照画像から暫定的な重み情報を推定する。ただし、当初は動き補償が適用される前であるので、移動物体領域では、処理対象画像と参照画像とが同じ位置の画素における比較は意味をなさない。また、カメラワークが存在する場合も画素単位の比率は重み情報として全く使えない。
【００２２】
よって、動きの影響を排除するため、フレーム全体の特徴量として、例えば画素値平均を算出し、フェードの種別に応じた算出法を用いて重み情報を算出する。つまり、動き補償がなくても重み補償の誤差が小さくなるように、フレーム全体の特徴量である画素値平均から重み情報を算出する。この段階では必ずしも重み補償における最適解は導かれない。
【００２３】
重み補償部２は、以上により暫定的に算出された重み情報を用いて重み補償を行う。
【００２４】
図２には、処理対象画像と時間的にその前後にある第１および第２の参照画像を示している。同図（ａ）は入力されたそのままの画像であり、同図（ｂ）は第１および第２の参照画像が、第１の重み情報算出部１で算出された重み情報で重み補償された状態を示している。ここでの処理により第１および第２の参照画像それぞれの画素値平均が処理対象画像の画素値平均に近づく。図示○印は、各フレームでの移動物体の位置を示している。ここでは、動き補償はまだ行われていないため移動物体の位置的対応はとられないが、フレーム全体の特徴量として画素値平均を算出しているので、正しく重み補償し得る重み情報を決定することができる。
【００２５】
なお、フェードの種別に応じた重み情報算出法としては、例えば本発明者が先に提案した特願２００４−１２１０１７号の発明を利用できる。この重み情報算出法の概略を図３のフローチャートを用いて説明する。
【００２６】
まず、参照画像の画素値および処理対象画像の画素値をフェード判別処理（Ｓ３１）に与える。フェード判別処理（Ｓ３１）では、まず、フェードが存在するか否かを判別し、フェードが存在する場合には、さらに、フェードが黒フェードか白フェードかを判別する。
【００２７】
フェードが存在するか否かは、例えば画素値の和のフレーム間での時間的変化を特徴量とし、それが単純減少するか単純増加するかなどの時間的変化の連続性を調べることにより、あるいは１フレームにおける画素の平均値、最頻値あるいは代表値などの時間的変化の連続性を調べることにより判別できる。フェードが存在しない、すなわち非フェードの場合には重み情報の算出処理は行わない。
【００２８】
フェードが黒フェードか白フェードかは、参照画像から処理対象画像への画素値の変化率が画素値に対して比例関係にあるか反比例関係にあるかに基づいて判別できる。黒フェードか白フェードかのフェード種別が判別できれば、フェードインかフェードアウトかはフレームの前後関係および画素値の和などの比較で判別できる。
【００２９】
黒フェードの場合には、第１の重み情報算出処理（Ｓ３２）を実行し、白フェードの場合には第２の重み情報算出処理（Ｓ３３）を実行する。
【００３０】
第１の重み情報算出処理（Ｓ３２）では、重み情報の一部であるオフセット係数ｗ２を固定値０に設定し、重み係数ｗ１だけを算出する。このとき、処理対象画像における画素値平均と重み補償された画素値平均の間の誤差ｅを最小にする重み係数ｗ１を最適な重み係数として求める。
【００３１】
第２の重み情報算出処理（Ｓ３３）では、重み係数ｗ１だけでなくオフセット係数ｗ２を求める必要があるため、画素値平均の増減が画素値平均そのものではなく画素値平均の差（変化幅）に比例することを利用する。この場合、重み係数ｗ１は、処理対象画像の画素値平均の補数および参照画像の画素値平均の補数の比で求めることができる。また、オフセット係数ｗ２は重み係数ｗ１に依存して求めることができる。
【００３２】
２．動き情報算出部３と動き補償部４
動き情報算出部３は、第１の重み情報算出部１で算出された暫定的な重み情報により重み補償された参照画像を用いて動き探索を行い、動き情報を算出する。ここで用いられる参照画像は、重み補償部２でフェードの効果がある程度打ち消されているので、動き補償に用いる動き情報を精度良く算出することができる。ここでの動き探索では任意の方式を用いることができる。
【００３３】
図２（ｃ），（ｄ）はそれぞれ、動き探索の状態、第１，第２の参照画像が動き補償部４で動き補償された状態を示している。動き情報算出部３と動き補償部４での処理により第１の参照画像と第２の参照画像における移動物体（○印）の位置的対応がとられるようになる。
【００３４】
３．符号化モード決定部５
符号化モード決定部５は、重み補償部２および動き補償部４によって補償された参照画像を使って符号化モードを決定する。すなわち、重み補償部２による重み補償と動き補償部４による動き補償によって十分に近似できているか否かを判断するため、複数の参照方式の中から誤差が最小になる参照方式を選択し、予測誤差を最小にする符号化モードを決定する。この決定に際しての誤差としては、参照画像と処理対象画像との間の自乗誤差などを用いることができる。
【００３５】
参照方式には、第１の参照画像を参照する方式、第２の参照画像を参照する方式、第１および第２のの参照画像を参照する方式、いずれの参照画像も参照しない方式がある。
【００３６】
第１の参照画像を参照する符号化モードを持つ画素ブロックの集合をＦとし、第２の参照画像を参照する符号化モードを持つ集合をＢ、第１の参照画像および第２の参照画像を参照する符号化モードを持つ集合をＣ、参照画像を利用しない符号化モードを持つ集合をＤとする。なお、重み情報は、集合Ｄに影響を及ぼさないので、集合Ｄの画素ブロックについては重み情報の算出を考慮する必要がない。
【００３７】
図４は、処理対象画像における符号化モードを例示的に示している。ここでは、集合Ｆ，Ｂ，Ｃ，Ｄが一塊りに分布するものとして示しているが、実際には画素ブロックを単位として斑状に分布する。
【００３８】
４．第２の重み情報算出部６と重み補償部７
第２の重み情報算出部６には、動きによる影響だけを排除するため、暫定的な重み情報は用いず動き情報だけを用いて補償した参照画像を入力する。また、処理対象画像と符号化モード決定部（Ｓ１３）で得られた符号化モードによる参照方式を入力する。
【００３９】
重み情報としては参照画像ごとに重み係数とオフセット係数の一組が算出される。重み補償は、参照画像を１つだけ利用する参照方式の場合と複数利用する参照方式の場合とがあるが、後者で前者の重み情報を使い回すことによって重み情報に必要な符号量を節約したり、復号処理手順を動き補償と共通化できる。
【００４０】
しかし、重み情報を使い回すことは、１枚の参照画像だけを利用する参照方式の場合の最適な重み情報が複数枚の参照画像を利用する参照方式の場合にも最適な重み情報になるとはいえない。これらの参照方式で共に最適な重み情報となる評価関数による評価が必要となる。
【００４１】
ここで、ｎ画素からなる処理対象画像の画素値、動き情報によって動き補償された第１，第２の参照画像の画素値をそれぞれ、ｐｉ，ｐｉ′，ｐｉ″（１≦ｉ≦ｎ）と定義する。なお、ｉは、１フレームにおける画素を走査順に並べたときの画素の順番を表す。
【００４２】
符号化モードの集合Ｆ，Ｂ，Ｃごとの画素値を使うと、第１の参照画像に対する重み情報ｗ０，ｗ２および第２の参照画像に対する重み情報ｗ１，ｗ３による補償の、処理対象画像の画素に対する二乗誤差ｅは、式(1)で表すことができる。
【００４３】
式(1)の右辺第一項目は集合Ｆでの二乗誤差であり、第二項目は集合Ｂでの二乗誤差であり、第三項目は集合Ｃでの二乗誤差であり、それらの二乗誤差の加算が画像全体の二乗誤差ｅとなる。式(1)を最適な重み情報の評価関数とする。
【００４４】
【数１】
【００４５】
集合Ｆ，Ｂ，Ｃ，Ｄの分布は、符号化モード決定部５で既に決定されている。各集合にそれぞれｎｆ，ｎｂ，ｎｃ，ｎｄ個（ｎｆ＋ｎｂ＋ｎｃ＋ｎｄ＝ｎ）の画素が存在しているとする。
【００４６】
ここで、二乗誤差ｅを最小化するｗ０，ｗ１，ｗ２，ｗ３が最適な重み情報となるので、該重み情報を決定するために二乗誤差ｅを偏微分して０になる条件を求める。まず、二乗誤差ｅを偏微分すると式(2)が導出される。ただし、集合Ｘに属する画素和をガウスの記号を使って式(3)で表した。
【００４７】
【数２】
【００４８】
【数３】
【００４９】
重み情報をベクトルで表現すると、式(4)となり、式(2)で表される式(1)の偏微分項がすべて０になるための条件は、式(5)で表わされる。
【００５０】
【数４】
【００５１】
【数５】
【００５２】
ただし、行列Ａおよびベクトルｂは、符号化モードの集合Ｆ，Ｂ，Ｃごとに画素の積和を要素として持ち、それぞれ式(6)および式(7)で定義される。行列Ａは、符号化モードごとの参照画像の画素値の和、二乗和や積和から構成される対称行列であり、ｂは、符号化モードごとの処理対象画像の画素値を含めた和や積和から構成されるベクトルである。
【００５３】
【数６】
【００５４】
【数７】
【００５５】
行列Ａおよびベクトルｂに画素値を代入して式(5)を数式的に解くことによって、重み情報のベクトルｗを求めることができる。式(5)は、０＝Ａｗ−ｂと変形できる一次式である。なお、行列Ａは対称行列であるので、逆行列を求めずにCholesky分解によって後退代入で解くこともできる。
【００５６】
第２の重み情報算出部６は高精度の重み情報を算出し、重み補償部７はこの重み情報を用いて重み補償を行うことにより、図２（ｅ）に示すように高精度に重み補償された第１、第２参照画像を生成する。なお、必要ならば動き情報算出部３から動き情報を得ることができ、第２の重み情報算出部６から重み情報を得ることができる。
【００５７】
以上では、第１の重み情報算出部１と重み補償部２での処理、および動き情報算出部３と動き補償部４での処理をそれぞれ１回だけ行って、符号化モード決定部５、第２の重み情報算出部６と重み補償部６での処理を進めるものとして説明したが、動き補償部４での処理を行った後、第１の重み情報算出部１に処理を戻し、それらでの重み補償および動き補償を反復して行った後、符号化モード決定部５、および第２の重み情報算出部６と重み補償部７に処理を進めるようにすることもできる。このようにすれば、より高精度の動き補償および重み補償が可能になる。
【００５８】
また、参照方式としては、処理対象画像の前後の１フレームを参照画像とする方式に限られず、その他のフレーム、それらフレームの任意の組み合わせを参照画像とする方式であってもよい。
【００５９】
図６は、本発明に係る動き予測情報検出装置が適用される動画像符号化装置を示すブロック図である。フレーム間の予測を行わないイントラ符号化フレームをＩ、過去の参照画像を用いて予測を行う順方向予測符号化フレームをＰ、過去と未来の参照画像を用いて予測を行う双方向予測符号化フレームをＢとし、連続する動画像を、例えばＩ(1)，Ｂ(2)，Ｂ(3)，Ｐ(4)，Ｂ(5)，Ｂ(6)，Ｐ(7)，・・・で符号化しようとするとき、本装置には、それらの順序が、Ｉ(1)，Ｐ(4)，Ｂ(2)，Ｂ(3)，Ｐ(7)，Ｂ(5)，Ｂ(6)，・・・と入れ替えられた入力画像ａが入力される。
【００６０】
これによりＰ(4)はＩ(1)を参照画像としての予測が可能になり、Ｂ(2)とＢ(3)は、Ｉ(1)とＰ(4)を参照画像としての予測が可能になる。また、Ｐ(7)は、Ｐ(4)を参照画像としての予測が可能になり、Ｂ(5)とＢ(6)は、Ｐ(4)とＰ(7)を参照画像としての予測が可能になる。
【００６１】
入力画像ａは順方向予測部６１、逆方向予測部６２、双方向予測部６３、重み付き動き補償部６６、および予測選択部６４に入力される。順方向予測部６１は入力画像ａと重み付き動き補償された過去の参照画像との間の予測誤差を出力する。また、逆方向予測部６２は、入力画像ａと重み付き動き補償された未来の参照画像との間の予測誤差を出力し、双方向予測部６３は、入力画像ａと重み付き動き補償された過去および未来の参照画像との間の予測誤差を出力する。
【００６２】
順方向予測部６１、逆方向予測部６２、および双方向予測部６３に入力される重み付き補償された参照画像はフレームメモリ６５内に蓄えられている画像を重み付き動き補償部６６で重み付き補償することにより得られる。重み付き動き補償部６６は、本発明に係る動き予測情報検出装置を含んでいる。
【００６３】
予測選択部６４は、選択制御部６７からの符号化モード、つまりフレームがＩであるかＰであるかＢあるかに従って制御され、Ｉでは入力画像ａを選択し、Ｐでは順方向予測部６１からの予測誤差を選択し、また、Ｂではマクロブロックごとに決定された符号化モードに従って、入力画像ａ、順方向予測部６１からの予測誤差、逆方向予測部６２からの予測誤差、あるいは双方向予測部６３からの予測誤差を選択する。Ｂである場合のマクロブロックごとでの選択を可能にするため、選択制御部６７には本発明に係る動き予測情報検出装置で決定された符号化モードが入力される。予測選択部６４は、符号化モードの決定後に選択を行うので、ここで出力は遅延される。
【００６４】
ＤＣＴ（直交変換）部６８は、予測選択部６４で選択された入力画像ａまたは予測誤差を、例えば8×8画素のブロック単位でＤＣＴ係数に変換し、量子化部６９は、量子化制御部７０からの量子化パラメータに従ってＤＣＴ係数を量子化する。量子化部６９の出力は、可変長符号化（ＶＬＣ）部７１で可変長符号化され、多重化部７２で重み情報および動きベクトル情報と共に多重化された後、バッファ７３を介して送出される。
【００６５】
また、量子化部６９から出力されるＩおよびＰについての出力は、逆量子化部７４で逆量子化され、逆ＤＣＴ部７５で予測誤差信号に再生され、加算器７６で重み付き動き補償部６６からの参照画像と加算される。この加算により得れらた局部復号画像は、フレームメモリ６５に蓄積される。このようにしてＩおよびＰについての局部復号画像がフレームメモリ６５に蓄積され、更新される。
【００６６】
重み付き動き補償部６６は、フレームメモリ５５に蓄積された局部復号画像と入力画像ａとから動き情報および重み情報を算出する共に参照画像を生成し、順方向予測部６１、逆方向予測部６２、双方向予測部６３および加算器７６に出力する。
【図面の簡単な説明】
【００６７】
【図１】本発明における処理の流れを示すフローチャートである。
【図２】図１の各処理過程での処理対象画像と参照画像の関係を示す図である。
【図３】フェード種別に応じた重み情報算出処理の概略を示すフローチャートである。
【図４】処理対象画像における符号化モードを示す説明図である。
【図５】フェードにより誤検出される動きベクトルを示す説明図である。
【図６】本発明に係る動き予測情報検出装置が適用される動画像符号化装置を示すブロック図である。
【符号の説明】
【００６８】
１・・・第１の重み情報算出部、２，７・・・重み補償部、３・・・動き情報算出部、４・・・動き補償部、５・・・符号化モード決定部、６・・・第２の重み情報算出部、６１・・・順方向予測部、６２・・・逆方向予測部、６３・・・双方向予測部、６４・・・予測選択部、６５・・・フレームメモリ、６６・・・重み付き動き補償部、６７・・・選択制御部、６８・・・ＤＣＴ（直交変換）部、６９・・・量子化部、７０・・・量子化制御部、７１・・・可変長符号化（ＶＬＣ）部、７２・・・多重化部、７３・・・バッファ、７４・・・逆量子化部、７５・・・逆ＤＣＴ部、７６・・・加算器
【技術分野】
【０００１】
本発明は、動き予測情報検出装置に関し、特に、参照画像に動き補償と重み補償を適用することで処理対象画像（符号化対象画像）に対する参照画像の精度を向上させ、処理対象画像と参照画像との誤差を最小にする動き情報および重み情報を決定する動き予測情報検出装置に関する。
【背景技術】
【０００２】
連続して入力される動画像信号を符号化する符号化方式の１つとして、フレーム間予測符号化方式がある。フレーム間予測符号化方式では、時間的相関の予測効率が高められた動き補償を行うために動き情報が用いられる。
【０００３】
動き補償には、符号化対象画像における個々の小領域（画素ブロック）が平行移動することを前提とした局所的動き補償方式が広く利用されている。この方式は、照度変化などがなく、被写体の動きが平行移動の場合には効果的である。
【０００４】
一方、上述の動き補償では対処しきれない突然の照度変化やフェード、ディゾルブなど時間的に輝度値が変化する画像については、重み補償を行う方法が提案されている。
【０００５】
例えば、下記特許文献１，２には、２つの参照画像の線形外挿あるいは線形内挿のいずれかで得られる重み情報を選択して動き補償を行う方法が提案されている。また、本発明者は、下記特許文献３（先願）で処理対象画像と参照画像の画素値の和、２乗和および積和から重み付き動き予測情報を決定する方法を先に提案した。
【特許文献１】特開２００３−２８４０７５号公報
【特許文献２】特開２００４−７３７９号公報
【特許文献３】特許出願２００４−２１３２８号（先願）
【発明の開示】
【発明が解決しようとする課題】
【０００６】
上記特許文献１，２で提案された方法では、重み情報が、２つの参照画像の線形外挿あるいは線形内挿、例えば（0.5，0.5）あるいは（-1，2）で重み付けして得られる２種類しかないため、最適な重み情報を得ることができないという課題がある。また、上記特許文献３の方法では、最適な重み情報を得ることはできるが、符号化効率が最適であるとは限らないという課題がある。
【０００７】
一般に、重み補償は単体で用いられるのではなく、平行移動を表す動きベクトルを用いた動き補償と併せて用いられる。このとき、重み補償と動き補償について個別に求められた最適解は、必ずしも全体の最適解とはならない。しかも、重み補償と動き補償の順序が異なれば、重み補償と動き補償についての個別の最適解も異なってくる。つまり、動き補償および重み補償いずれの補償を個々に最適化しても全体の最適解は導くことができない。
【０００８】
例えば、移動物体やカメラワークにより明確な動きを伴うシーンが黒へのフェードアウトを伴う画像の場合、動き補償より先に重み補償を適用して従来法で最適な重み情報を求めると、平行移動で十分対処できる移動物体領域であっても、無関係な画素値の積和で重み情報を算出してしまう。したがって、重み補償としては最適解が得られたとしても、その後の動き補償の適用が困難となるので、全体として近似精度が最適とはならない。
【０００９】
逆に、重み補償より動き補償を先に適用すると、従来法ではフェードの効果によって存在しない動き情報を検出する恐れがある。例えば、フェードアウトでは輝度値そのものが小さくなっていくので、平坦なブロックではランダムな動きベクトルが発生する。
【００１０】
また、図５に示すグラデーションを伴う画像のように、画素値が滑らかに変化する画像の場合、例えば、明るかった領域が黒へのフェードアウトによって対象ブロックと同じような画素値に変化するので、明るかった領域への動きベクトルが誤検出される。つまり、グラデーションを伴う画像において、画像内容には変化がなく画素値のみが変化した場合、参照画像の画素ブロックＡが処理対象画像の画素ブロックＢに動いたと判断されて動きベクトルＣが誤検出される。
【００１１】
また、画像内にはイントラ予測モードで符号化を採用する画素ブロックも存在するが、イントラ予測モードが採用される画素ブロックについて、その画素値を最小２乗法の処理対象に含めて重み情報を導出することは、無駄に処理負荷を増大させる。さらに、イントラ予測モードが採用されるような誤差が大きな画素値は、外れ値に敏感な最小２乗法において誤った重み情報を導出させてしまう課題を抱える。
【００１２】
本発明の目的は、上記課題を解決し、任意の動き情報と重み情報を高精度に決定できる動き予測情報検出装置を提供することにある。
【課題を解決するための手段】
【００１３】
上記課題を解決するため、本発明は、参照画像に重み付き動き補償を適用することで処理対象画像に対する参照画像の精度を向上させ、処理対象画像と参照画像との誤差を最小にする動き情報および重み情報を決定する動き予測情報検出装置において、参照画像と処理対象画像から暫定的な重み情報を決定する第１の重み情報算出手段と、前記第１の重み情報算出手段で決定された重み情報で補償した参照画像と処理対象画像から動き情報を決定する動き情報算出手段と、前記第１の重み情報算出手段で決定された重み情報および前記動き情報算出手段で決定された動き情報で補償した参照画像の、処理対象画像に対する精度から符号化モードを決定する符号化モード決定手段と、前記動き情報算出手段で決定された動き情報で補償した参照画像と処理対象画像と符号化モードから重み情報を決定する第２の重み情報算出手段とを備えたことを基本的特徴としている。
【発明の効果】
【００１４】
本発明によれば、暫定的に決定した重み情報で参照画像を重み補償した後、該参照画像と処理対象画像から動き情報を決定し、さらに、該動き情報で動き補償した参照画像と処理対象画像から重み情報を決定して高精度の参照画像を構成するので、最適な動き情報および重み情報を決定することができる。
【００１５】
また、重み情報算出に際し、動きに対する耐性および高速性を併せ持つ処理方式と処理対象とする画素を選別して高精度に重み情報を決定する方式を組み合わせることにより、高速かつ高精度に動き情報および重み情報を決定できる。これにより、フェードなど時間的な画素変化を伴う画像の圧縮の際の圧縮率向上を実現することが可能となる。
【００１６】
また、さらに交互に動き補償と重み補償を反復適用すれば、より最適解に近い動き情報および重み情報を得ることができる。このときの反復演算を考えると動き予測情報の精度の高さよりも1 回あたりの処理負荷は低い方が望ましい。
【００１７】
また、符号化モードを決定し、該符号化モードによって重み情報の算出に使用する画素と使用しない画素を選別して必要最小限の画素を参照するようにすることにより、最終的な重み情報の決定に際しての演算量を削減しつつ高精度の重み情報を導出することができる。
【発明を実施するための最良の形態】
【００１８】
以下、図面を参照して本発明を説明する。図１は、本発明における処理の流れを示すフローチャートであり、これらの処理を実行する各部分は、ハードウエアでもソフトウエアでも構成できる。図２は、各部分での処理対象画像（フレーム）と参照画像（フレーム）の関係を示す図である。
【００１９】
本発明における処理は、大別すると、第１の重み情報算出部１と重み補償部２による重み情報算出・重み補償処理、動き情報算出部３と動き補償部４による動き情報算出・動き補償処理、符号化モード決定部５による符号化モード決定処理、および第２の重み情報算出部６と重み補償部７による重み情報算出・重み補償処理からなる。以下、各部分での処理について順次説明する。
【００２０】
ここで、入力される情報は、参照画像の画素値および処理対象画像（符号化対象画像）の画素値であり、出力される情報は、動き補償および重み補償された参照画像の画素値、あるいは動き情報および重み情報である。
【００２１】
１．第１の重み情報算出部１と重み補償部２
第１の重み情報算出部１は、入力された処理対象画像と参照画像から暫定的な重み情報を推定する。ただし、当初は動き補償が適用される前であるので、移動物体領域では、処理対象画像と参照画像とが同じ位置の画素における比較は意味をなさない。また、カメラワークが存在する場合も画素単位の比率は重み情報として全く使えない。
【００２２】
よって、動きの影響を排除するため、フレーム全体の特徴量として、例えば画素値平均を算出し、フェードの種別に応じた算出法を用いて重み情報を算出する。つまり、動き補償がなくても重み補償の誤差が小さくなるように、フレーム全体の特徴量である画素値平均から重み情報を算出する。この段階では必ずしも重み補償における最適解は導かれない。
【００２３】
重み補償部２は、以上により暫定的に算出された重み情報を用いて重み補償を行う。
【００２４】
図２には、処理対象画像と時間的にその前後にある第１および第２の参照画像を示している。同図（ａ）は入力されたそのままの画像であり、同図（ｂ）は第１および第２の参照画像が、第１の重み情報算出部１で算出された重み情報で重み補償された状態を示している。ここでの処理により第１および第２の参照画像それぞれの画素値平均が処理対象画像の画素値平均に近づく。図示○印は、各フレームでの移動物体の位置を示している。ここでは、動き補償はまだ行われていないため移動物体の位置的対応はとられないが、フレーム全体の特徴量として画素値平均を算出しているので、正しく重み補償し得る重み情報を決定することができる。
【００２５】
なお、フェードの種別に応じた重み情報算出法としては、例えば本発明者が先に提案した特願２００４−１２１０１７号の発明を利用できる。この重み情報算出法の概略を図３のフローチャートを用いて説明する。
【００２６】
まず、参照画像の画素値および処理対象画像の画素値をフェード判別処理（Ｓ３１）に与える。フェード判別処理（Ｓ３１）では、まず、フェードが存在するか否かを判別し、フェードが存在する場合には、さらに、フェードが黒フェードか白フェードかを判別する。
【００２７】
フェードが存在するか否かは、例えば画素値の和のフレーム間での時間的変化を特徴量とし、それが単純減少するか単純増加するかなどの時間的変化の連続性を調べることにより、あるいは１フレームにおける画素の平均値、最頻値あるいは代表値などの時間的変化の連続性を調べることにより判別できる。フェードが存在しない、すなわち非フェードの場合には重み情報の算出処理は行わない。
【００２８】
フェードが黒フェードか白フェードかは、参照画像から処理対象画像への画素値の変化率が画素値に対して比例関係にあるか反比例関係にあるかに基づいて判別できる。黒フェードか白フェードかのフェード種別が判別できれば、フェードインかフェードアウトかはフレームの前後関係および画素値の和などの比較で判別できる。
【００２９】
黒フェードの場合には、第１の重み情報算出処理（Ｓ３２）を実行し、白フェードの場合には第２の重み情報算出処理（Ｓ３３）を実行する。
【００３０】
第１の重み情報算出処理（Ｓ３２）では、重み情報の一部であるオフセット係数ｗ２を固定値０に設定し、重み係数ｗ１だけを算出する。このとき、処理対象画像における画素値平均と重み補償された画素値平均の間の誤差ｅを最小にする重み係数ｗ１を最適な重み係数として求める。
【００３１】
第２の重み情報算出処理（Ｓ３３）では、重み係数ｗ１だけでなくオフセット係数ｗ２を求める必要があるため、画素値平均の増減が画素値平均そのものではなく画素値平均の差（変化幅）に比例することを利用する。この場合、重み係数ｗ１は、処理対象画像の画素値平均の補数および参照画像の画素値平均の補数の比で求めることができる。また、オフセット係数ｗ２は重み係数ｗ１に依存して求めることができる。
【００３２】
２．動き情報算出部３と動き補償部４
動き情報算出部３は、第１の重み情報算出部１で算出された暫定的な重み情報により重み補償された参照画像を用いて動き探索を行い、動き情報を算出する。ここで用いられる参照画像は、重み補償部２でフェードの効果がある程度打ち消されているので、動き補償に用いる動き情報を精度良く算出することができる。ここでの動き探索では任意の方式を用いることができる。
【００３３】
図２（ｃ），（ｄ）はそれぞれ、動き探索の状態、第１，第２の参照画像が動き補償部４で動き補償された状態を示している。動き情報算出部３と動き補償部４での処理により第１の参照画像と第２の参照画像における移動物体（○印）の位置的対応がとられるようになる。
【００３４】
３．符号化モード決定部５
符号化モード決定部５は、重み補償部２および動き補償部４によって補償された参照画像を使って符号化モードを決定する。すなわち、重み補償部２による重み補償と動き補償部４による動き補償によって十分に近似できているか否かを判断するため、複数の参照方式の中から誤差が最小になる参照方式を選択し、予測誤差を最小にする符号化モードを決定する。この決定に際しての誤差としては、参照画像と処理対象画像との間の自乗誤差などを用いることができる。
【００３５】
参照方式には、第１の参照画像を参照する方式、第２の参照画像を参照する方式、第１および第２のの参照画像を参照する方式、いずれの参照画像も参照しない方式がある。
【００３６】
第１の参照画像を参照する符号化モードを持つ画素ブロックの集合をＦとし、第２の参照画像を参照する符号化モードを持つ集合をＢ、第１の参照画像および第２の参照画像を参照する符号化モードを持つ集合をＣ、参照画像を利用しない符号化モードを持つ集合をＤとする。なお、重み情報は、集合Ｄに影響を及ぼさないので、集合Ｄの画素ブロックについては重み情報の算出を考慮する必要がない。
【００３７】
図４は、処理対象画像における符号化モードを例示的に示している。ここでは、集合Ｆ，Ｂ，Ｃ，Ｄが一塊りに分布するものとして示しているが、実際には画素ブロックを単位として斑状に分布する。
【００３８】
４．第２の重み情報算出部６と重み補償部７
第２の重み情報算出部６には、動きによる影響だけを排除するため、暫定的な重み情報は用いず動き情報だけを用いて補償した参照画像を入力する。また、処理対象画像と符号化モード決定部（Ｓ１３）で得られた符号化モードによる参照方式を入力する。
【００３９】
重み情報としては参照画像ごとに重み係数とオフセット係数の一組が算出される。重み補償は、参照画像を１つだけ利用する参照方式の場合と複数利用する参照方式の場合とがあるが、後者で前者の重み情報を使い回すことによって重み情報に必要な符号量を節約したり、復号処理手順を動き補償と共通化できる。
【００４０】
しかし、重み情報を使い回すことは、１枚の参照画像だけを利用する参照方式の場合の最適な重み情報が複数枚の参照画像を利用する参照方式の場合にも最適な重み情報になるとはいえない。これらの参照方式で共に最適な重み情報となる評価関数による評価が必要となる。
【００４１】
ここで、ｎ画素からなる処理対象画像の画素値、動き情報によって動き補償された第１，第２の参照画像の画素値をそれぞれ、ｐｉ，ｐｉ′，ｐｉ″（１≦ｉ≦ｎ）と定義する。なお、ｉは、１フレームにおける画素を走査順に並べたときの画素の順番を表す。
【００４２】
符号化モードの集合Ｆ，Ｂ，Ｃごとの画素値を使うと、第１の参照画像に対する重み情報ｗ０，ｗ２および第２の参照画像に対する重み情報ｗ１，ｗ３による補償の、処理対象画像の画素に対する二乗誤差ｅは、式(1)で表すことができる。
【００４３】
式(1)の右辺第一項目は集合Ｆでの二乗誤差であり、第二項目は集合Ｂでの二乗誤差であり、第三項目は集合Ｃでの二乗誤差であり、それらの二乗誤差の加算が画像全体の二乗誤差ｅとなる。式(1)を最適な重み情報の評価関数とする。
【００４４】
【数１】
【００４５】
集合Ｆ，Ｂ，Ｃ，Ｄの分布は、符号化モード決定部５で既に決定されている。各集合にそれぞれｎｆ，ｎｂ，ｎｃ，ｎｄ個（ｎｆ＋ｎｂ＋ｎｃ＋ｎｄ＝ｎ）の画素が存在しているとする。
【００４６】
ここで、二乗誤差ｅを最小化するｗ０，ｗ１，ｗ２，ｗ３が最適な重み情報となるので、該重み情報を決定するために二乗誤差ｅを偏微分して０になる条件を求める。まず、二乗誤差ｅを偏微分すると式(2)が導出される。ただし、集合Ｘに属する画素和をガウスの記号を使って式(3)で表した。
【００４７】
【数２】
【００４８】
【数３】
【００４９】
重み情報をベクトルで表現すると、式(4)となり、式(2)で表される式(1)の偏微分項がすべて０になるための条件は、式(5)で表わされる。
【００５０】
【数４】
【００５１】
【数５】
【００５２】
ただし、行列Ａおよびベクトルｂは、符号化モードの集合Ｆ，Ｂ，Ｃごとに画素の積和を要素として持ち、それぞれ式(6)および式(7)で定義される。行列Ａは、符号化モードごとの参照画像の画素値の和、二乗和や積和から構成される対称行列であり、ｂは、符号化モードごとの処理対象画像の画素値を含めた和や積和から構成されるベクトルである。
【００５３】
【数６】
【００５４】
【数７】
【００５５】
行列Ａおよびベクトルｂに画素値を代入して式(5)を数式的に解くことによって、重み情報のベクトルｗを求めることができる。式(5)は、０＝Ａｗ−ｂと変形できる一次式である。なお、行列Ａは対称行列であるので、逆行列を求めずにCholesky分解によって後退代入で解くこともできる。
【００５６】
第２の重み情報算出部６は高精度の重み情報を算出し、重み補償部７はこの重み情報を用いて重み補償を行うことにより、図２（ｅ）に示すように高精度に重み補償された第１、第２参照画像を生成する。なお、必要ならば動き情報算出部３から動き情報を得ることができ、第２の重み情報算出部６から重み情報を得ることができる。
【００５７】
以上では、第１の重み情報算出部１と重み補償部２での処理、および動き情報算出部３と動き補償部４での処理をそれぞれ１回だけ行って、符号化モード決定部５、第２の重み情報算出部６と重み補償部６での処理を進めるものとして説明したが、動き補償部４での処理を行った後、第１の重み情報算出部１に処理を戻し、それらでの重み補償および動き補償を反復して行った後、符号化モード決定部５、および第２の重み情報算出部６と重み補償部７に処理を進めるようにすることもできる。このようにすれば、より高精度の動き補償および重み補償が可能になる。
【００５８】
また、参照方式としては、処理対象画像の前後の１フレームを参照画像とする方式に限られず、その他のフレーム、それらフレームの任意の組み合わせを参照画像とする方式であってもよい。
【００５９】
図６は、本発明に係る動き予測情報検出装置が適用される動画像符号化装置を示すブロック図である。フレーム間の予測を行わないイントラ符号化フレームをＩ、過去の参照画像を用いて予測を行う順方向予測符号化フレームをＰ、過去と未来の参照画像を用いて予測を行う双方向予測符号化フレームをＢとし、連続する動画像を、例えばＩ(1)，Ｂ(2)，Ｂ(3)，Ｐ(4)，Ｂ(5)，Ｂ(6)，Ｐ(7)，・・・で符号化しようとするとき、本装置には、それらの順序が、Ｉ(1)，Ｐ(4)，Ｂ(2)，Ｂ(3)，Ｐ(7)，Ｂ(5)，Ｂ(6)，・・・と入れ替えられた入力画像ａが入力される。
【００６０】
これによりＰ(4)はＩ(1)を参照画像としての予測が可能になり、Ｂ(2)とＢ(3)は、Ｉ(1)とＰ(4)を参照画像としての予測が可能になる。また、Ｐ(7)は、Ｐ(4)を参照画像としての予測が可能になり、Ｂ(5)とＢ(6)は、Ｐ(4)とＰ(7)を参照画像としての予測が可能になる。
【００６１】
入力画像ａは順方向予測部６１、逆方向予測部６２、双方向予測部６３、重み付き動き補償部６６、および予測選択部６４に入力される。順方向予測部６１は入力画像ａと重み付き動き補償された過去の参照画像との間の予測誤差を出力する。また、逆方向予測部６２は、入力画像ａと重み付き動き補償された未来の参照画像との間の予測誤差を出力し、双方向予測部６３は、入力画像ａと重み付き動き補償された過去および未来の参照画像との間の予測誤差を出力する。
【００６２】
順方向予測部６１、逆方向予測部６２、および双方向予測部６３に入力される重み付き補償された参照画像はフレームメモリ６５内に蓄えられている画像を重み付き動き補償部６６で重み付き補償することにより得られる。重み付き動き補償部６６は、本発明に係る動き予測情報検出装置を含んでいる。
【００６３】
予測選択部６４は、選択制御部６７からの符号化モード、つまりフレームがＩであるかＰであるかＢあるかに従って制御され、Ｉでは入力画像ａを選択し、Ｐでは順方向予測部６１からの予測誤差を選択し、また、Ｂではマクロブロックごとに決定された符号化モードに従って、入力画像ａ、順方向予測部６１からの予測誤差、逆方向予測部６２からの予測誤差、あるいは双方向予測部６３からの予測誤差を選択する。Ｂである場合のマクロブロックごとでの選択を可能にするため、選択制御部６７には本発明に係る動き予測情報検出装置で決定された符号化モードが入力される。予測選択部６４は、符号化モードの決定後に選択を行うので、ここで出力は遅延される。
【００６４】
ＤＣＴ（直交変換）部６８は、予測選択部６４で選択された入力画像ａまたは予測誤差を、例えば8×8画素のブロック単位でＤＣＴ係数に変換し、量子化部６９は、量子化制御部７０からの量子化パラメータに従ってＤＣＴ係数を量子化する。量子化部６９の出力は、可変長符号化（ＶＬＣ）部７１で可変長符号化され、多重化部７２で重み情報および動きベクトル情報と共に多重化された後、バッファ７３を介して送出される。
【００６５】
また、量子化部６９から出力されるＩおよびＰについての出力は、逆量子化部７４で逆量子化され、逆ＤＣＴ部７５で予測誤差信号に再生され、加算器７６で重み付き動き補償部６６からの参照画像と加算される。この加算により得れらた局部復号画像は、フレームメモリ６５に蓄積される。このようにしてＩおよびＰについての局部復号画像がフレームメモリ６５に蓄積され、更新される。
【００６６】
重み付き動き補償部６６は、フレームメモリ５５に蓄積された局部復号画像と入力画像ａとから動き情報および重み情報を算出する共に参照画像を生成し、順方向予測部６１、逆方向予測部６２、双方向予測部６３および加算器７６に出力する。
【図面の簡単な説明】
【００６７】
【図１】本発明における処理の流れを示すフローチャートである。
【図２】図１の各処理過程での処理対象画像と参照画像の関係を示す図である。
【図３】フェード種別に応じた重み情報算出処理の概略を示すフローチャートである。
【図４】処理対象画像における符号化モードを示す説明図である。
【図５】フェードにより誤検出される動きベクトルを示す説明図である。
【図６】本発明に係る動き予測情報検出装置が適用される動画像符号化装置を示すブロック図である。
【符号の説明】
【００６８】
１・・・第１の重み情報算出部、２，７・・・重み補償部、３・・・動き情報算出部、４・・・動き補償部、５・・・符号化モード決定部、６・・・第２の重み情報算出部、６１・・・順方向予測部、６２・・・逆方向予測部、６３・・・双方向予測部、６４・・・予測選択部、６５・・・フレームメモリ、６６・・・重み付き動き補償部、６７・・・選択制御部、６８・・・ＤＣＴ（直交変換）部、６９・・・量子化部、７０・・・量子化制御部、７１・・・可変長符号化（ＶＬＣ）部、７２・・・多重化部、７３・・・バッファ、７４・・・逆量子化部、７５・・・逆ＤＣＴ部、７６・・・加算器
【特許請求の範囲】
【請求項１】
参照画像に重み付き動き補償を適用することで処理対象画像に対する参照画像の精度を向上させ、処理対象画像と参照画像との誤差を最小にする動き情報および重み情報を決定する動き予測情報検出装置において、
参照画像と処理対象画像から暫定的な重み情報を決定する第１の重み情報算出手段と、
前記第１の重み情報算出手段で決定された重み情報で補償した参照画像と処理対象画像から動き情報を決定する動き情報算出手段と、
前記第１の重み情報算出手段で決定された重み情報および前記動き情報算出手段で決定された動き情報で補償した参照画像の、処理対象画像に対する精度から符号化モードを決定する符号化モード決定手段と、
前記動き情報算出手段で決定された動き情報で補償した参照画像と処理対象画像と符号化モードから重み情報を決定する第２の重み情報算出手段とを備えたことを特徴とする動き予測情報検出装置。
【請求項２】
前記第１の重み情報算出手段と前記動き情報算出手段での処理を反復して行うことを特徴とする請求項１に記載の動き予測情報検出装置。
【請求項３】
上記第１の重み情報算出手段は、参照画像の動き補償が無くても正しく重み補償し得る重み情報を決定するように構成されていることを特徴とする請求項１に記載の動き予測情報検出装置。
【請求項４】
上記動き情報算出手段における動き探索方式は、任意であることを特徴とする請求項１に記載の動き予測情報検出装置。
【請求項５】
上記符号化モード決定手段は、動き情報および重み情報で補償した参照画像の処理対象画像に対する誤差の大きさによって最適な符号化モードを決定することを特徴とする請求項１に記載の動き予測情報検出装置。
【請求項６】
上記第２の重み情報算出手段は、符号化モードによって重み情報の算出に使用する画素と使用しない画素を選別することを特徴とする請求項１に記載の動き予測情報検出装置。
【請求項７】
上記第２の重み情報算出手段は、符号化モードに応じた算出処理を行うことを特徴とする請求項１に記載の動き予測情報検出装置。
【請求項８】
上記第２の重み情報算出手段は、符号化モードごとに設定した誤差の和が最小になるように重み情報を決定することを特徴とする請求項１に記載の動き予測情報検出装置。
【請求項９】
上記第２の重み情報算出手段は、一次式を解くことによって重み情報を決定することを特徴とする請求項１に記載の動き予測情報検出装置。
【請求項１０】
上記一次式は、符号化モード毎に参照フレームの画素値の和、二乗和や積和から構成される対称行列と、符号化モード毎に符号化対象フレームの画素値を含めた和や積和から構成されるベクトルを含むことを特徴とする請求項９に記載の動き予測情報検出装置。
【請求項１】
参照画像に重み付き動き補償を適用することで処理対象画像に対する参照画像の精度を向上させ、処理対象画像と参照画像との誤差を最小にする動き情報および重み情報を決定する動き予測情報検出装置において、
参照画像と処理対象画像から暫定的な重み情報を決定する第１の重み情報算出手段と、
前記第１の重み情報算出手段で決定された重み情報で補償した参照画像と処理対象画像から動き情報を決定する動き情報算出手段と、
前記第１の重み情報算出手段で決定された重み情報および前記動き情報算出手段で決定された動き情報で補償した参照画像の、処理対象画像に対する精度から符号化モードを決定する符号化モード決定手段と、
前記動き情報算出手段で決定された動き情報で補償した参照画像と処理対象画像と符号化モードから重み情報を決定する第２の重み情報算出手段とを備えたことを特徴とする動き予測情報検出装置。
【請求項２】
前記第１の重み情報算出手段と前記動き情報算出手段での処理を反復して行うことを特徴とする請求項１に記載の動き予測情報検出装置。
【請求項３】
上記第１の重み情報算出手段は、参照画像の動き補償が無くても正しく重み補償し得る重み情報を決定するように構成されていることを特徴とする請求項１に記載の動き予測情報検出装置。
【請求項４】
上記動き情報算出手段における動き探索方式は、任意であることを特徴とする請求項１に記載の動き予測情報検出装置。
【請求項５】
上記符号化モード決定手段は、動き情報および重み情報で補償した参照画像の処理対象画像に対する誤差の大きさによって最適な符号化モードを決定することを特徴とする請求項１に記載の動き予測情報検出装置。
【請求項６】
上記第２の重み情報算出手段は、符号化モードによって重み情報の算出に使用する画素と使用しない画素を選別することを特徴とする請求項１に記載の動き予測情報検出装置。
【請求項７】
上記第２の重み情報算出手段は、符号化モードに応じた算出処理を行うことを特徴とする請求項１に記載の動き予測情報検出装置。
【請求項８】
上記第２の重み情報算出手段は、符号化モードごとに設定した誤差の和が最小になるように重み情報を決定することを特徴とする請求項１に記載の動き予測情報検出装置。
【請求項９】
上記第２の重み情報算出手段は、一次式を解くことによって重み情報を決定することを特徴とする請求項１に記載の動き予測情報検出装置。
【請求項１０】
上記一次式は、符号化モード毎に参照フレームの画素値の和、二乗和や積和から構成される対称行列と、符号化モード毎に符号化対象フレームの画素値を含めた和や積和から構成されるベクトルを含むことを特徴とする請求項９に記載の動き予測情報検出装置。
【図１】
【図２】
【図３】
【図４】
【図５】
【図６】
【図２】
【図３】
【図４】
【図５】
【図６】
【公開番号】特開２００６−５４８０２（Ｐ２００６−５４８０２Ａ）
【公開日】平成１８年２月２３日（２００６．２．２３）
【国際特許分類】
【出願番号】特願２００４−２３６６２１（Ｐ２００４−２３６６２１）
【出願日】平成１６年８月１６日（２００４．８．１６）
【出願人】（０００２０８８９１）ＫＤＤＩ株式会社 (2,700)
【Ｆターム（参考）】
【公開日】平成１８年２月２３日（２００６．２．２３）
【国際特許分類】
【出願日】平成１６年８月１６日（２００４．８．１６）
【出願人】（０００２０８８９１）ＫＤＤＩ株式会社 (2,700)
【Ｆターム（参考）】
[ Back to top ]