説明

画像予測符号化装置、画像予測復号装置、画像予測符号化方法、画像予測復号方法、画像予測符号化プログラム、及び画像予測復号プログラム

【課題】 画素領域において画面内予測信号を生成するための予測方法に関するモード情報を削減することによって効率的な符号化処理又は復号処理を実現すること。
【解決手段】 この画像予測符号化装置10は、対象領域に隣接する既再生の画素信号からなる隣接領域に対し、隣接領域に対応するデータに基づいて導き出された予測方法を、Rモード予測方法又はLモード予測方法として決定する画面内予測信号生成方法決定部15と、決定されたRモード予測方法に基づいて画面内予測信号を生成する画面内予測信号生成部16と、生成された画面内予測信号に基づいて、対象領域の画素信号との残差信号を符号化する減算器18、変換部19、量子化部20、及びエントロピー符号化部25とを備える。

【発明の詳細な説明】
【技術分野】
【0001】
本発明は、画像予測符号化装置、画像予測復号装置、画像予測符号化方法、画像予測復号方法、画像予測符号化プログラム、及び画像予測復号プログラムに関するものである。
【背景技術】
【0002】
静止画像データや動画像データの伝送や蓄積を効率よく行うために、従来から画像データを圧縮符号化技術により圧縮することが行われている。このような圧縮符号化技術としては、動画像の場合はMPEG1〜4やH.261〜H.264等の方式が広く用いられている。
【0003】
これらの符号化方式では、符号化の対象となる画像データを複数のブロックに分割した上で符号化処理及び復号処理を行う。さらに、MPEG4やH.264等の方式においては、符号化効率を更に高めるため、画面内の対象ブロックの符号化に際して、対象ブロックと同じ画面内にある隣接する既再生の画素信号を用いて予測信号を生成する。既再生の画素信号とは、いったん圧縮された画像データから復元されたものを意味する。そして、予測信号を対象ブロックの画素信号から差し引いた差分信号を符号化する。
【0004】
ここで、MPEG4では、対象ブロックの画像信号を離散コサイン変換した上で予測符号化する。すなわち、対象ブロックの直流成分及び第1行若しくは第1列の交流成分の係数に対し、該当対象ブロックの上又は左にあるブロックの同一成分の係数を予測値とし、両者の差分を符号化する。この予測値の決定は、対象ブロックの斜め上にあるブロックと対象ブロックの上又は左にあるブロックとの直流成分の勾配の大きさに基づいて行われる。このような画面内予測方法は、下記特許文献1に記載されている。
【0005】
一方、H.264では、対象ブロックに隣接する既再生の画素値を所定の方向に外挿して予測信号を生成する方法を採用している。この画素領域での画面内予測信号生成は、画像の細部を予測できるメリットがある。図14(a)には、H.264に用いられる画面内予測方法を説明するための模式図、図14(b)には、H.264の画面内予測方法における画素信号の引き伸ばし方向を示す。図14(a)において、ブロック901は対象ブロックであり、ブロック902〜904は隣接するブロックで、過去の処理において既に再生された画素信号を含むブロックである。ここでは、ブロック901の対象ブロックの境界に隣接する既再生画素群905を用いて、図14(b)に示す9つの方向で予測信号を生成する。たとえば、方向“0”の場合、ブロック901の真上にある隣接画素を下方に引き伸ばして予測信号を生成し、方向“1”の場合、ブロック901の左にある既再生画素を右に引き伸ばして予測信号を生成し、方向“2”の場合は、画素群905の全体の画素値の平均値を予測信号として生成する。予測信号を生成する際のより具体的な方法については、たとえば下記非特許文献1に記載されている。H.264では、このようにして生成された9つの予測信号のそれぞれと対象ブロックの画素信号との差分をとり、差分値が最も小さい予測信号の生成方法を最適の予測方法(又は、モードとも言う)とする。
【0006】
画像データの伝送の際には、画像データの復元のためにこのようにして決定された最適予測方法を示す識別情報を送信側に送る必要がある。その際、ブロック902とブロック903の2つのブロックに対して決定された予測方法を参考に、ブロック901の最適予測方法に関する情報を符号化する。すなわち、ブロック902の予測方法の識別情報とブロック903の予測方法の識別情報とを比較し、値の小さいものを参照モード情報として決定する。そして、対象ブロックの最適予測方法に関する識別情報をこの参照モード情報から相対的に符号化する。
【特許文献1】米国特許公報第6148109号
【非特許文献1】Iain E.G. Richardson, “H.264 and MPEG-4 video compression”,Wiley 2003, pages pp.177 - 183.
【発明の開示】
【発明が解決しようとする課題】
【0007】
しかしながら、H.264のように画素領域における画面内予測信号生成による符号化方法では、画素信号の符号化効率を向上させるため多くの予測方法を設けることは可能であるが、その場合は予測方法を識別するためのモード情報を符号化する際に符号長の長い情報を用いる必要があるため、全体の符号量が増大する。このような問題を解決するために、上述したように、隣接ブロックの予測方法に関する識別情報に対する相対的な符号化が行われるが、2つの隣接ブロックの予測方法を用いる結果、最適予測方法に対して精度が高い参照モード情報を生成することができない傾向にあり、モード情報の符号量を十分に抑えることができない。
【0008】
さらに、隣接ブロックがフレーム間予測符号化によって符号化される場合は、隣接ブロックが画面内予測に関するモード情報を持っていないことから、固定のモード情報を参照して相対的に対象ブロックのモード情報を符号化する。フレーム間予測符号化とは、過去に符号化された後に復元された再生画像を参照画像として、この参照画像から対象ブロックに対する誤差の最も小さい予測信号を用いた予測符号化方法である。このように隣接ブロックがフレーム間予測符号化を採用する場合は、対象ブロックを画面内予測符号化する際の予測方法に関するモード情報の符号化効率が低下する。
【0009】
そこで、本発明は、かかる課題に鑑みて為されたものであり、画素領域において画面内予測信号を生成するための予測方法に関するモード情報を削減することによって効率的な符号化処理又は復号処理が可能な画像予測符号化装置、画像予測復号装置、画像予測符号化方法、画像予測復号方法、画像予測符号化プログラム、及び画像予測復号プログラムを提供することを目的とする。
【課題を解決するための手段】
【0010】
上記課題を解決するため、本発明の画像予測符号化装置は、画像を複数の領域に分割し、領域のうちの処理対象である対象領域に含まれる画素信号に対して画面内予測信号を生成し、対象領域の画素信号と画面内予測信号との残差信号を符号化する画像予測符号化装置であって、対象領域に隣接する既再生の画素信号からなる隣接領域に対応する既処理のデータに基づいて、画面内予測信号を生成するための所定の複数の予測方法の中から、隣接領域の画素信号と相関の高い画面内予測信号を生成する予測方法を導き出し、該予測方法を第1の予測方法として決定する第1予測方法決定手段と、第1予測方法決定手段によって決定された第1の予測方法に基づいて画面内予測信号を生成する予測信号生成手段と、予測信号生成手段によって生成された画面内予測信号に基づいて、対象領域の画素信号との残差信号を符号化する画像符号化手段と、を備える。
【0011】
本発明の画像予測符号化方法は、画像を複数の領域に分割し、領域のうちの処理対象である対象領域に含まれる画素信号に対して画面内予測信号を生成し、対象領域の画素信号と画面内予測信号との残差信号を符号化する画像予測符号化方法であって、第1予測方法決定手段が、対象領域に隣接する既再生の画素信号からなる隣接領域に対応する既処理のデータに基づいて、画面内予測信号を生成するための所定の複数の予測方法の中から、隣接領域の画素信号と相関の高い画面内予測信号を生成する予測方法を導き出し、該予測方法を第1の予測方法として決定する第1予測方法決定ステップと、予測信号生成手段が、第1予測方法決定ステップにおいて決定された第1の予測方法に基づいて画面内予測信号を生成する予測信号生成ステップと、画像符号化手段が、予測信号生成ステップによって生成された画面内予測信号に基づいて、対象領域の画素信号との残差信号を符号化する画像符号化ステップと、を備える。
【0012】
本発明の画像予測符号化プログラムは、画像を複数の領域に分割し、領域のうちの処理対象である対象領域に含まれる画素信号に対して画面内予測信号を生成し、対象領域の画素信号と画面内予測信号との残差信号を符号化する画像予測符号化プログラムであって、コンピュータを、対象領域に隣接する既再生の画素信号からなる隣接領域に対応する既処理のデータに基づいて、画面内予測信号を生成するための所定の複数の予測方法の中から、隣接領域の画素信号と相関の高い画面内予測信号を生成する予測方法を導き出し、該予測方法を第1の予測方法として決定する第1予測方法決定手段、第1予測方法決定手段によって決定された第1の予測方法に基づいて画面内予測信号を生成する予測信号生成手段、及び予測信号生成手段によって生成された画面内予測信号に基づいて、対象領域の画素信号との残差信号を符号化する画像符号化手段、として機能させる。
【0013】
このような画像予測符号化装置、画像予測符号化方法、及び画像予測符号化プログラムによれば、符号化対象の対象領域に隣接する既再生の隣接領域に対して、その隣接領域に対応して処理されたデータを用いて隣接領域の画素信号と相関の高い予測信号を生成するための第1の予測方法が導出され、その予測方法に基づいて対象領域の画面内予測信号が生成され、その画面内予測信号を用いて対象領域の残差信号が符号化される。これにより、既再生の隣接領域に対応する既処理のデータを用いるだけで画面内予測信号の予測方法が導かれるので、予測方法を識別するモード情報を伝送する必要が無くなり、全体の符号化効率が向上する。
【0014】
或いは、本発明の画像予測符号化装置は、画像を複数の領域に分割し、領域のうちの処理対象である対象領域に含まれる画素信号に対して画面内予測信号を生成し、対象領域の画素信号と画面内予測信号との残差信号を符号化する画像予測符号化装置であって、対象領域に隣接する既再生の画素信号からなる隣接領域に対応する既処理のデータに基づいて、画面内予測信号を生成するための所定の複数の予測方法の中から、隣接領域の画素信号と相関の高い画面内予測信号を生成する予測方法を導き出し、該予測方法を第1の予測方法として決定する第1予測方法決定手段と、対象領域に対し所定の複数の予測方法に対応した複数の予測信号を生成するとともに、所定の評価基準に従って複数の予測方法の中から対象領域に適した第2の予測方法を決定する第2予測方法決定手段と、第2予測方法決定手段によって決定された第2の予測方法に基づいて画面内予測信号を生成する予測信号生成手段と、第1の予測方法に基づいて第2の予測方法を相対的に符号化するモード情報符号化手段と、予測信号生成手段によって生成された画面内予測信号に基づいて、対象領域の画素信号との残差信号を符号化する画像符号化手段と、を備える。
【0015】
或いは、本発明の画像予測符号化方法は、画像を複数の領域に分割し、領域のうちの処理対象である対象領域に含まれる画素信号に対して画面内予測信号を生成し、対象領域の画素信号と画面内予測信号との残差信号を符号化する画像予測符号化方法であって、第1予測方法決定手段が、対象領域に隣接する既再生の画素信号からなる隣接領域に対応する既処理のデータに基づいて、画面内予測信号を生成するための所定の複数の予測方法の中から、隣接領域の画素信号と相関の高い画面内予測信号を生成する予測方法を導き出し、該予測方法を第1の予測方法として決定する第1予測方法決定ステップと、第2予測方法決定手段が、対象領域に対し所定の複数の予測方法に対応した複数の予測信号を生成するとともに、所定の評価基準に従って複数の予測方法の中から対象領域に適した第2の予測方法を決定する第2予測方法決定ステップと、予測信号生成手段が、第2予測方法決定ステップにおいて決定された第2の予測方法に基づいて画面内予測信号を生成する予測信号生成ステップと、モード情報符号化手段が、第1の予測方法に基づいて第2の予測方法を相対的に符号化するモード情報符号化ステップと、画像符号化手段が、予測信号生成手段によって生成された画面内予測信号に基づいて、対象領域の画素信号との残差信号を符号化する画像符号化ステップと、を備える。
【0016】
或いは、本発明の画像予測符号化プログラムは、画像を複数の領域に分割し、領域のうちの処理対象である対象領域に含まれる画素信号に対して画面内予測信号を生成し、対象領域の画素信号と画面内予測信号との残差信号を符号化する画像予測符号化プログラムであって、コンピュータを、対象領域に隣接する既再生の画素信号からなる隣接領域に対応する既処理のデータに基づいて、画面内予測信号を生成するための所定の複数の予測方法の中から、隣接領域の画素信号と相関の高い画面内予測信号を生成する予測方法を導き出し、該予測方法を第1の予測方法として決定する第1予測方法決定手段、対象領域に対し所定の複数の予測方法に対応した複数の予測信号を生成するとともに、所定の評価基準に従って複数の予測方法の中から対象領域に適した第2の予測方法を決定する第2予測方法決定手段、第2予測方法決定手段によって決定された第2の予測方法に基づいて画面内予測信号を生成する予測信号生成手段、第1の予測方法に基づいて第2の予測方法を相対的に符号化するモード情報符号化手段、及び予測信号生成手段によって生成された画面内予測信号に基づいて、対象領域の画素信号との残差信号を符号化する画像符号化手段、として機能させる。
【0017】
このような画像予測符号化装置、画像予測符号化方法、及び画像予測符号化プログラムによれば、符号化対象の対象領域に隣接する既再生の隣接領域に対して、その隣接領域に対応して処理されたデータを用いて隣接領域の画素信号と相関の高い予測信号を生成するための第1の予測方法が導出され、その第1の予測方法に基づいて対象領域の画面内予測信号を生成するための第2の予測方法が相対的に符号化されるとともに、画面内予測信号を用いて対象領域の残差信号が符号化される。既再生の隣接領域に対応する既処理のデータを用いて隣接領域に対して導き出された予測方法は、対象領域に最適な予測方法に近くなる可能性が高いので、それを用いて相対的に対象領域の予測方法に関するモード情報を符号化することで、予測方法を識別するモード情報の符号量が低減され、全体の符号化効率が向上する。
【0018】
また、第1予測方法決定手段は、隣接領域に対し、所定の複数の予測方法に対応した複数の予測信号を生成するとともに、所定の評価基準に従って複数の予測方法の中から第1の予測方法を決定することが好ましい。この場合、隣接領域に対し複数の予測方法に中から所定の評価基準に従って第1の予測方法を決定することにより、既再生の画素信号に基づいて対象領域に最適な予測方法に近い予測方法を容易に特定することができる。
【0019】
さらに、第1予測方法決定手段は、隣接領域に対し、隣接領域に対応して過去に決定された3以上の予測方法を用いて、所定の評価基準に従って第1の予測方法を決定することも好ましい。かかる構成を採れば、隣接領域に対して決定された予測方法を3つ以上用いて所定の評価基準に従って第1の予測方法を決定することにより、対象領域に最適な予測方法に近い予測方法を容易に特定することができる。
【0020】
本発明の画像予測復号装置は、画像を複数の領域に分割し、領域のうちの処理対象である対象領域に含まれる画素信号に対して画面内予測信号を生成し、圧縮画像データに含まれる対象領域に関する残差信号と画面内予測信号とを合成することによって対象領域の画素信号を復元する画像予測復号装置であって、対象領域に隣接する既再生の画素信号からなる隣接領域に対応する既処理のデータに基づいて、画面内予測信号を生成するための所定の複数の予測方法の中から、隣接領域の画素信号と相関の高い画面内予測信号を生成する予測方法を導き出し、該予測方法を第1の予測方法として決定する第1予測方法決定手段と、第1予測方法決定手段によって決定された第1の予測方法に基づいて画面内予測信号を生成する予測信号生成手段と、圧縮画像データの中から対象領域に関する残差信号を抽出して再生残差信号に復元する復元手段と、画面内予測信号と復元手段によって復元された再生残差信号とを合成することによって、対象領域の画素信号を復元する画像復元手段と、を備える。
【0021】
本発明の画像予測復号方法は、画像を複数の領域に分割し、領域のうちの処理対象である対象領域に含まれる画素信号に対して画面内予測信号を生成し、圧縮画像データに含まれる対象領域に関する残差信号と画面内予測信号とを合成することによって対象領域の画素信号を復元する画像予測復号方法であって、第1予測方法決定手段が、対象領域に隣接する既再生の画素信号からなる隣接領域に対応する既処理のデータに基づいて、画面内予測信号を生成するための所定の複数の予測方法の中から、隣接領域の画素信号と相関の高い画面内予測信号を生成する予測方法を導き出し、該予測方法を第1の予測方法として決定する第1予測方法決定ステップと、予測信号生成手段が、第1予測方法決定ステップにおいて決定された第1の予測方法に基づいて画面内予測信号を生成する予測信号生成ステップと、復元手段が、圧縮画像データの中から対象領域に関する残差信号を抽出して再生残差信号に復元する復元ステップと、画像復元手段が、画面内予測信号と復元ステップにおいて復元された再生残差信号とを合成することによって、対象領域の画素信号を復元する画像復元ステップと、を備える。
【0022】
本発明の画像予測復号プログラムは、画像を複数の領域に分割し、領域のうちの処理対象である対象領域に含まれる画素信号に対して画面内予測信号を生成し、圧縮画像データに含まれる対象領域に関する残差信号と画面内予測信号とを合成することによって対象領域の画素信号を復元する画像予測復号プログラムであって、対象領域に隣接する既再生の画素信号からなる隣接領域に対応する既処理のデータに基づいて、画面内予測信号を生成するための所定の複数の予測方法の中から、隣接領域の画素信号と相関の高い画面内予測信号を生成する予測方法を導き出し、該予測方法を第1の予測方法として決定する第1予測方法決定手段、第1予測方法決定手段によって決定された第1の予測方法に基づいて画面内予測信号を生成する予測信号生成手段、圧縮画像データの中から対象領域に関する残差信号を抽出して再生残差信号に復元する復元手段、及び画面内予測信号と復元手段によって復元された再生残差信号とを合成することによって、対象領域の画素信号を復元する画像復元手段、として機能させる。
【0023】
このような画像予測復号装置、画像予測復号方法、画像予測復号プログラムによれば、復号対象の対象領域に隣接する既再生の隣接領域に対して、その隣接領域に対応して処理されたデータを用いて隣接領域の画素信号と相関の高い予測信号を生成するための第1の予測方法が導出され、その予測方法に基づいて対象領域の画面内予測信号が生成され、その画面内予測信号を用いて、対象領域の残差信号が復元された再生残差信号から対象領域の画素信号が復元される。これにより、既再生の隣接領域に対応する既処理のデータを用いるだけで画面内予測信号の予測方法が導かれるので、予測方法を識別するモード情報を伝送する必要が無くなり、全体の復号効率が向上する。
【0024】
或いは、本発明の画像予測復号装置は、画像を複数の領域に分割し、領域のうちの処理対象である対象領域に含まれる画素信号に対して画面内予測信号を生成し、圧縮画像データに含まれる対象領域に関する残差信号と画面内予測信号とを合成することによって対象領域の画素信号を復元する画像予測復号装置であって、対象領域に隣接する既再生の画素信号からなる隣接領域に対応する既処理のデータに基づいて、画面内予測信号を生成するための所定の複数の予測方法の中から、隣接領域の画素信号と相関の高い画面内予測信号を生成する予測方法を導き出し、該予測方法を第1の予測方法として決定する第1予測方法決定手段と、圧縮画像データの中から、対象領域に関する予測方法を識別する相対的な情報である相対予測方法を抽出するとともに、第1の予測方法及び相対予測方法に基づいて、対象領域に対する第2の予測方法を導出する予測方法導出手段と、予測方法導出手段によって導出された第2の予測方法に基づいて画面内予測信号を生成する予測信号生成手段と、圧縮画像データの中から対象領域に関する残差信号を抽出して再生残差信号に復元する復元手段と、画面内予測信号と復元手段によって復元された再生残差信号とを合成することによって、対象領域の画素信号を復元する画像復元手段と、を備える。
【0025】
或いは、本発明の画像予測復号方法は、画像を複数の領域に分割し、領域のうちの処理対象である対象領域に含まれる画素信号に対して画面内予測信号を生成し、圧縮画像データに含まれる対象領域に関する残差信号と画面内予測信号とを合成することによって対象領域の画素信号を復元する画像予測復号方法であって、第1予測方法決定手段が、対象領域に隣接する既再生の画素信号からなる隣接領域に対応する既処理のデータに基づいて、画面内予測信号を生成するための所定の複数の予測方法の中から、隣接領域の画素信号と相関の高い画面内予測信号を生成する予測方法を導き出し、該予測方法を第1の予測方法として決定する第1予測方法決定ステップと、予測方法導出手段が、圧縮画像データの中から、対象領域に関する予測方法を識別する相対的な情報である相対予測方法を抽出するとともに、第1の予測方法及び相対予測方法に基づいて、対象領域に対する第2の予測方法を導出する予測方法導出ステップと、予測信号生成手段が、第2予測方法導出ステップにおいて導出された第2の予測方法に基づいて画面内予測信号を生成する予測信号生成ステップと、復元手段が、圧縮画像データの中から対象領域に関する残差信号を抽出して再生残差信号に復元する復元ステップと、画像復元手段が、画面内予測信号と復元手段によって復元された再生残差信号とを合成することによって、対象領域の画素信号を復元する画像復元ステップと、を備える。
【0026】
或いは、本発明の画像予測復号プログラムは、画像を複数の領域に分割し、領域のうちの処理対象である対象領域に含まれる画素信号に対して画面内予測信号を生成し、圧縮画像データに含まれる対象領域に関する残差信号と画面内予測信号とを合成することによって対象領域の画素信号を復元する画像予測復号プログラムであって、コンピュータを、対象領域に隣接する既再生の画素信号からなる隣接領域に対応する既処理のデータに基づいて、画面内予測信号を生成するための所定の複数の予測方法の中から、隣接領域の画素信号と相関の高い画面内予測信号を生成する予測方法を導き出し、該予測方法を第1の予測方法として決定する第1予測方法決定手段、圧縮画像データの中から、対象領域に関する予測方法を識別する相対的な情報である相対予測方法を抽出するとともに、第1の予測方法及び相対予測方法に基づいて、対象領域に対する第2の予測方法を導出する予測方法導出手段、予測方法導出手段によって導出された第2の予測方法に基づいて画面内予測信号を生成する予測信号生成手段、圧縮画像データの中から対象領域に関する残差信号を抽出して再生残差信号に復元する復元手段、及び画面内予測信号と復元手段によって復元された再生残差信号とを合成することによって、対象領域の画素信号を復元する画像復元手段、として機能させる。
【0027】
このような画像予測復号装置、画像予測復号方法、及び画像予測復号プログラムによれば、復号対象の対象領域に隣接する既再生の隣接領域に対して、その隣接領域に対応して処理されたデータを用いて隣接領域の画素信号と相関の高い予測信号を生成するための第1の予測方法が導出され、その第1の予測方法及び相対予測方法に基づいて対象領域の第2の予測方法が導き出されて画面内予測信号が生成されるとともに、その画面内予測信号を用いて、対象領域の残差信号が復元された再生残差信号から対象領域の画素信号が復元される。既再生の隣接領域に対応する既処理のデータを用いて隣接領域に対して導き出された予測方法は、対象領域に最適な予測方法に近くなる可能性が高いので、それを用いて対象領域の予測方法に関するモード情報を復元することで、予測方法を識別するモード情報(相対予測方法)の符号量が低減され、全体の復号効率が向上する。
【0028】
また、第1予測方法決定手段は、隣接領域に対し、所定の複数の予測方法に対応した複数の予測信号を生成するとともに、所定の評価基準に従って複数の予測方法の中から第1の予測方法を決定することが好ましい。この場合、隣接領域に対し複数の予測方法に中から所定の評価基準に従って第1の予測方法を決定することにより、既再生の画素信号に基づいて対象領域に最適な予測方法に近い予測方法を容易に特定することができる。
【0029】
さらに、第1予測方法決定手段は、隣接領域に対し、隣接領域に対応して過去に決定された3以上の予測方法を用いて、所定の評価基準に従って第1の予測方法を決定することも好ましい。かかる構成を採れば、隣接領域に対して決定された予測方法を3つ以上用いて所定の評価基準に従って第1の予測方法を決定することにより、対象領域に最適な予測方法に近い予測方法を容易に特定することができる。
【発明の効果】
【0030】
本発明によれば、画素領域において画面内予測信号を生成するための予測方法に関するモード情報を削減することによって効率的な符号化処理又は復号処理が可能となる。
【発明を実施するための最良の形態】
【0031】
以下、図面を参照しつつ本発明に係る画像予測符号化装置及び画像予測復号装置の好適な実施形態について詳細に説明する。
【0032】
(画像予測符号化装置)
図1は、本発明の好適な一実施形態にかかる画像予測符号化装置の構成を示すブロック図である。同図に示す画像予測符号化装置10は、入力端子11と、ブロック分割部12と、画面間予測信号生成方法決定部13と、画面間予測信号生成部14と、画面内予測信号生成方法決定部15と、画面内予測信号生成部(予測信号生成手段)16と、切り替えスイッチ17と、減算器(画像符号化手段)18と、変換部(画像符号化手段)19と、量子化部(画像符号化手段)20と、逆量子化部21と、逆変換部22と、加算器23と、フレームメモリ24と、エントロピー符号化部(画像符号化手段)25と、出力端子26とを備えて構成されている。以下、画像予測符号化装置10の各構成要素について説明する。
【0033】
ブロック分割部12は、入力端子11から複数画面分の画像データからなる動画像データが入力され、その画像データを複数の領域に分割する。具体的には、ブロック分割部12は、画像データを8×8画素からなるブロックに分割するが、それ以外の任意の大きさ及び形状のブロックに分割してもよい。ブロック分割部12は、分割したブロックの画素信号をラインL2を経由して減算器18に、ラインL3を経由して画面間予測信号生成方法決定部13及び画面内予測信号生成方法決定部15に出力する。
【0034】
画面間予測信号生成部14及び画面内予測信号生成部16は、符号化処理の対象となる領域(以下、対象ブロックと呼ぶ)に対して、対象ブロックの画像を予測する予測信号を生成する。このとき、画面間予測信号生成部14は、予測信号の生成において「画面間予測」と呼ばれる予測方法を用い、画面内予測信号生成部16は、「画面内予測」と呼ばれる予測方法を用いる。「画面間予測」においては、過去に符号化された後に復元された再生画像を参照画像として、この参照画像から対象ブロックに対する誤差の最も小さい予測信号を与える動き情報を求める(「動き検出」処理という)ことにより予測方法が決定される。これに対し、「画面内予測」においては、対象ブロックに空間的に隣接する既再生の画素値を用いて所定の方法で画面内予測信号が生成され、この予測方法は、静止画像の符号化・復号にも適用できる。
【0035】
画面間予測信号生成方法決定部13は、ラインL3経由で入力された対象ブロックの画素信号、及びラインL11経由でフレームメモリ24から入力された参照画像に基づいて、上記の動き検出を行うことにより画面間予測方法を決定する。ここで、画面間予測信号生成方法決定部13は、対象ブロックを再分割して、再分割した小領域に対して画面間予測方法を決定しても良く、各種の領域の分割方法から対象ブロック全体に対して最も効率の良い分割方法を選択することができる。また、参照画像としては、過去に符号化された後に復元された複数の画像が用いられても良い。この動き検出の方法は、従来のMPEG−2,4、及びH.264におけるいずれかの方法と同様であるので、詳細な説明は省略する。画面間予測信号生成方法決定部13は、決定した動き情報及び小領域の分割方法を、ラインL12経由で画面間予測信号生成部14に送出するとともに、ラインL14経由でエントロピー符号化部25に送出する。これに対して、画面間予測信号生成部14において、小領域の分割方法と、それぞれの小領域に対応する動き情報と、フレームメモリ24から取得された参照画像とに基づいて予測信号が生成され、端子17a及び切り替えスイッチ17経由で減算器18及び加算器23に送られる。
【0036】
画面内予測信号生成方法決定部15は、ラインL3経由で入力された対象ブロックの画素信号、及びラインL10経由でフレームメモリ24から入力された参照画像に基づいて、画面内予測における予測方法を決定する(詳細は、後述する。)。画面内予測信号生成方法決定部15は、決定した予測方法に関する情報を、ラインL13経由で画面内予測信号生成部16に送出するとともに、ラインL14又はラインL15経由でエントロピー符号化部25に送出する。これに対して、画面内予測信号生成部16において、予測方法に関する情報と、フレームメモリ24から取得された同じ画面内にある既再生の画素信号とに基づいて、所定の方法で予測信号が生成され、端子17b及び切り替えスイッチ17経由で減算器18及び加算器23に送られる。
【0037】
切り替えスイッチ17は、画面間予測信号生成部14及び画面内予測信号生成部16から送られた予測信号のうちのどちらが対象領域の画素信号との誤差が小さいかを判定し、判定結果に応じて誤差の小さい方の予測信号を選択して減算器18及び加算器23に出力する。但し、切り替えスイッチ17は、一枚目の画面について過去の画像が存在しないために全てのブロックが画面内予測で処理される場合は、一枚目の画像を処理する際には常に画面内予測信号生成部16側の端子17bと接続される。同様に、シーンカット直後の画面を処理する場合や周期的に画面内予測の画像を導入する必要がある場合においては、切り替えスイッチ17は画面全体に対し画面内予測による予測信号を選択することもできる。
【0038】
減算器18は、ブロック分割部12から入力された対象ブロックの画素信号から切り替えスイッチ17を経由して入力された予測信号を差し引いて残差信号を生成する。この残差信号はラインL4経由で変換部19に出力され、変換部19は、この残差信号を離散コサイン変換して変換係数を生成する。この変換係数は、ラインL5経由で量子化部20に出力され、量子化部20が変換係数を量子化した後、ラインL6経由でエントロピー符号化部25及び逆量子化部21に出力する。エントロピー符号化部25は、量子化された変換係数を符号化して、画面間予測信号生成方法決定部13から出力された動き情報及び小領域の分割方法、又は画面内予測信号生成方法決定部15から出力された予測方法に関する情報と合成して出力端子26に出力する。
【0039】
逆量子化部21は、量子化された変換係数を逆量子化して変換係数に戻し、ラインL7経由で逆変換部22に出力し、逆変換部22が変換係数を逆離散コサイン変換することにより残差信号を復元する。加算器23は、この残差信号とラインL17経由で入力された予測信号とを合成することにより対象ブロックの画素信号を再生し、ラインL9経由でフレームメモリ24に格納する。フレームメモリ24に格納された対象ブロックの画素信号は、次に処理される対象ブロックの予測信号を生成するために利用される。
【0040】
次に、画面内予測信号生成方法決定部15の構成についてより詳細に説明する。図2は、画面内予測信号生成方法決定部15の構成を示すブロック図である。同図に示すように、画面内予測信号生成方法決定部15は、予測方法決定部(第2予測方法決定手段、モード情報符号化手段)41と、予測信号生成部(第2予測方法決定手段)42と、Rモード決定部(第1予測方法決定手段)43と、格納部44と、モード情報予測部(モード情報符号化手段)45と、Lモード決定部(第1予測方法決定手段)46とを備えている。
【0041】
予測信号生成部42は、ラインL10経由でフレームメモリ24から読み出された対象ブロックに隣接する既再生の画素を用いて、9つの方法で予測信号を生成する。具体的には、予測信号生成部42は、図14(a)に示すように、対象ブロックであるブロック901に対し、その境界に隣接する既再生画素群905を用いて、図14(b)に示す9つの方向で予測信号を生成する。たとえば方向0の場合、ブロック901の真上にある隣接画素を下方に引き伸ばして予測信号を生成し、また方向1の場合、ブロック901の左にある既再生画素を右に引き伸ばして予測信号を生成する。予測信号を生成する方法の詳細は、たとえば米国特許公報第6148109号に記載されている。予測信号生成部42は、このようにして生成した9つの予測信号を、ラインL32経由で予測方法決定部41に送る。なお、予測信号生成部42は、9つの予測信号を生成する以外に、より多いまたは少ない予測信号を生成してもよい。また上述と異なる方法、たとえばスプライン外挿などの方法で予測信号を生成してもよい。
【0042】
Rモード決定部43は、既再生の隣接領域に対応して決定された予測方法に関するモード情報に基づいて、9つの予測方法(図14(b)参照)の中から隣接領域の画素信号と相関の高い画面内予測信号を生成する1つの予測方法を所定の評価基準で導出する。すなわち、Rモード決定部43は、格納部44に格納されている過去に処理されたブロックの予測方法に関するモード情報を複数取得し、所定の方法で予測方法を決定する(Rモード予測)。ここで、格納部44には、過去に処理されたブロックに対応して決定された予測方法に関するモード情報がラインL34経由で格納されている。
【0043】
図3はRモード予測方法を決定する処理を説明するための模式図である。同図において対象ブロックは301である。302及び303は過去に符号化され復元された隣接する画素の領域を示す。領域302にはブロック302a〜302f、領域303にはブロック303a〜303cが含まれており、これらのブロックは、それぞれを符号化する際に用いられる予測方法に関するモード情報を所有している。なお、領域302は12(水平)x4(垂直)画素のブロック、領域303は4x4画素のブロックからなる領域であるが、それ以外の大きさ形状の領域にしてもよい。従来技術における隣接ブロックは、対象ブロック301に対し上のブロック302dと左にあるブロック(図示せず)のみである点で、本実施形態と異なる点に注意されたい。
【0044】
そこで、Rモード決定部43は、格納部44に格納されたブロック302a〜302f、303a〜303cの所有する画面内予測に関するモード情報の中で出現率の最も高いモード情報に対応する予測方法を、対象ブロックに隣接する画素全体に相関の高い予測方法であるRモード予測方法として決定する。なお、Rモード決定部43は、それ以外の方法で3個以上のブロックに対応して決定されたモード情報に基づいてRモード予測方法を決定してもよいし、領域302と領域303をあわせた領域として、異なる形状や大きさの領域を用いてもよい。Rモード決定部43は、このRモード予測方法に関する情報をラインL31経由で予測方法決定部41に送る。なお、Rモード決定部43は、Rモード予測方法に関する識別情報を対象に所定の関数を用いて演算し、演算の結果得られた識別情報を予測方法決定部41に送ってもよい。このような関数としては、識別情報が数値情報を含む場合に識別情報に対して±n(nは任意の整数)を加算するような関数が挙げられる。
【0045】
予測方法決定部41は、ラインL3経由で対象ブロックの画素信号が入力されると、ラインL32経由で送られた9つの予測信号に対し、対象ブロックの信号との差分を求め、最も小さい差分値を与える予測信号を最適予測信号として決定する。予測方法決定部41は、この最適予測信号にかかわる予測方法に関するモード情報を、ラインL13経由で画面内予測信号生成部16(図1参照)に送るとともに、ラインL35経由でモード情報予測部45に送る。
【0046】
また、予測方法決定部41は、最適予測信号にかかわる予測方法に関するモード情報をRモード予測方法に関する情報に基づいて符号化する。具体的には、予測方法決定部41は、最適予測方法がRモード予測方法と一致する場合は識別情報「0」に符号化し、そうでない場合は識別情報「1」に符号化し、識別情報をラインL15経由でエントロピー符号化部25(図1参照)に送る。すなわち、予測方法決定部41は、識別情報が「0」の場合は、識別情報以外の情報を後段の処理部に送る必要がない。なぜなら、画面内予測信号生成部16は、Rモード予測方法で決定された予測方法と同一の予測方法で画面内予測信号を生成することになるので、再生側では同じRモード決定方法で予測方法を決定できるからである。これに対し、識別情報が「1」の場合、さらに予測方法に関するモード情報を送る必要がある(詳細は後述する。)。なお、予測方法決定部41は、Rモード予測方法をそのまま最適予測方法として決定して画面内予測信号生成部16に送るように動作してもよい。
【0047】
Lモード決定部46は、隣接領域を含む領域に対応する既再生の画素信号に基づいて、9つの予測方法(図14(b)参照)の中から隣接領域の画素信号と相関の高い画面内予測信号を生成する1つの予測方法を所定の評価基準で導出する。すなわち、Lモード決定部46は、フレームメモリ24に格納されたデータを参照しながら、対象ブロックに隣接する隣接領域の予測方法を改めて決定する(Lモード予測)。図4は、Lモード決定部46によるLモード予測方法を決定する処理を説明するための模式図である。ブロック401は対象領域である。ブロック402から404は既再生の隣接ブロックである。斜線で塗りつぶされている領域405は対象ブロック401の隣接領域である。この領域405は対象ブロックの境界から上に4画素、左に4画素を囲む逆L字領域であるが、それ以外の形や大きさの隣接領域405を用いてもよい。Lモード決定部46は、この逆L字領域に隣接する領域406の画素群を用いて、図14で説明した方法と同様の予測方法で、逆L字領域405に対する9つの予測信号を生成する。さらに、Lモード決定部46は、逆L字領域405の信号と9つの予測信号との差分をそれぞれ算出し、最も小さい差分の予測信号を与える予測方法に対応する予測モード情報(第1予測方法に関する予測情報)を、対象ブロックに逆L字領域405の画素に相関の高い予測方法として決定する。
【0048】
以下、図5を参照しながら、Lモード決定部46によるLモード予測方法の処理の流れについて説明する。まず、Lモード決定部46は、対象領域401に隣接する隣接領域405に対し、領域406にある画素群を用いて9つの予測信号を生成する(ステップS11)。次に、逆L字領域の隣接領域405の信号と9つの予測信号との差分値をそれぞれ求める(ステップS12)。その後、Lモード決定部46は、最も小さい差分値を与える予測信号に対応する予測方法を最適Lモード(第1予測方法)とする(ステップS13)。最後に、Lモード決定部46は、この最適Lモードに関する情報をモード情報予測部45及び格納部44に出力する(ステップS14)。なお、Lモード決定部46は、Lモード予測方法に関する識別情報を対象に所定の関数を用いて演算し、演算の結果得られた識別情報をモード情報予測部45及び格納部44に送ってもよい。このような関数としては、識別情報が数値情報を含む場合に識別情報に対して±n(nは任意の整数)を加算するような関数が挙げられる。
【0049】
図2に戻って、モード情報予測部45は、Lモード決定部46から入力された最適Lモードに関する情報に基づいて、最適予測信号にかかわる予測方法に関するモード情報を符号化する。ここで、モード情報予測部45には、Lモード決定部46から送られる第1予測方法に関する情報及び、予測方法決定部41から送られる対象ブロックの最適予測方法に関する情報が入力される。モード情報予測部45は、最適Lモードに関する情報に対して、対象ブロックの最適予測方法に関するモード情報を相対的に符号化する。相対的に符号化する方法としては、対象ブロックの最適予測方法を示すモード情報と最適Lモードを示すモード情報との差分値を求めることによって符号化する方法が挙げられるが、それ以外の方法を採用してもよい。モード情報予測部45は、このように得られた相対予測情報をラインL14経由でエントロピー符号化部25に送る。
【0050】
次に、図6を参照して、画面内予測信号生成方法決定部15における予測信号生成方法の決定処理について説明する。まず、予測信号生成部42が、対象ブロックに対し上述した方法で9つの画面内予測信号を生成する(ステップS01)。次に、予測方法決定部41は、対象ブロックの画像と9つの予測信号との差分をそれぞれ求める(ステップS02)。そして、予測方法決定部41は、最も小さい差分値を与える予測方法を最適予測モードとして決定する(ステップS03)。一方、Rモード決定部43は、上述した方法で最適なRモードの予測方法を決定する(ステップS04)。ここで決定されるRモード予測方法は過去に決定されたモードをもとに決定されるので、9つのモードのうちのいずれかに該当する。その後、予測方法決定部41は、Rモード予測方法とステップS03で決定された最適予測モードとを比較し、両者が一致しているか否かを判定する(ステップS05)。両者が同じである場合(ステップS05;YES)、予測方法決定部41は、Rモード予測方法が画面内予測信号の生成に用いる予測方法であることを示す識別情報「0」を出力する(ステップS06)。一方、最適予測モードがRモード予測方法と一致していない場合(ステップS05;NO)、Lモード決定部46が、上述した方法でLモード予測方法を決定する(ステップS07)。さらに、モード情報予測部45が、Lモード予測方法に関する情報に対する最適予測モードの相対的情報である相対予測方法を符号化する(ステップS08)。最後に、モード情報予測部45がこの相対予測情報を出力する(ステップS09)。
【0051】
以上説明した画像予測符号化装置10によれば、符号化対象の対象領域に隣接する既再生の隣接領域に対して、その隣接領域に対応して処理されたデータを用いてRモード及びLモードの予測方法が導出され、その予測方法に基づいて対象領域の画面内予測信号を生成するための最適予測方法が符号化されるとともに、画面内予測信号を用いて対象領域の残差信号が符号化される。既再生の隣接領域に対応するデータを用いて隣接領域に対して導き出されたRモード及びLモードの予測方法は、対象領域に最適予測方法に近くなる可能性が高いので、それを用いて相対的に対象領域の予測方法に関するモード情報を符号化することで、予測方法を識別するモード情報の符号量が低減され、全体の符号化効率が向上する。
【0052】
特に、Rモードのように対象ブロックに隣接する複数の隣接ブロックがそれぞれ所有する予測方法に関する情報を3つ以上用いて所定の評価基準の下で予測方法を決定する場合は、その予測方法は対象領域本来の予測方法に近くなる確率が高くなる。従って、それを対象領域の予測方法とすることができるので、予測方法を識別するためのモード情報(例えば、図14(b)に示す9つのモードを識別する情報)を伝送する必要がなくなる。その結果、簡易な処理でモード情報にかかわる符号量を削減することが可能となる。
【0053】
また、Lモードのように対象ブロックの隣接領域に対して9つの予測方法から決定される予測方法を用いる場合は、対象ブロックの予測方法に対し相関が高くなりそれに基づいて対象ブロックのモード情報をさらに効率よく符号化できる。これにより、モード情報にかかわる符号量を削減する効果が高くなる。さらに、対象ブロックに隣接する領域が画面間予測符号化する場合で、隣接ブロックが画面内予測情報を持っていない場合においても、対象ブロックの隣接領域に対して複数の予測方法から決定される予測方法、または3つ以上の隣接ブロックがそれぞれ所有する予測方法に関する情報を用いて所定の評価基準の下で決定される予測方法をもとに対象領域の予測方法を符号化する。その結果、対象ブロックにおける予測方法に関する情報をさらに効率よく符号化することができる。
【0054】
(画像予測復号装置)
図7は、本発明の好適な一実施形態にかかる画像予測復号装置の構成を示すブロック図である。同図に示す画像予測復号装置50は、入力端子58と、データ解析部(復元手段)51と、逆量子化部(復元手段)52と、逆変換部(復元手段)53と、加算器(画像復元手段)54と、予測信号生成部(予測信号生成手段)55と、フレームメモリ56と、予測方法取得部57と、出力端子59とを備えて構成されている。以下、画像予測復号装置50の各構成要素について説明する。
【0055】
データ解析部51は、入力端子58から圧縮符号化された圧縮画像データが入力されて、その圧縮画像データから、対象ブロックの残差信号、予測方法に関する情報、量子化パラメータ、及び動き情報(画面間予測の場合)を抽出する。この圧縮画像データには、一画面の画像を複数のブロックに分割された対象ブロックを対象に予測符号化された残差信号及び予測方法に関するモード情報が含まれている。データ解析部51は、抽出した残差信号及び量子化パラメータを、ラインL42及びラインL44bを経由して逆量子化部52に出力し、動き情報と、モード情報に含まれるRモードに関する識別情報及びLモード予測方法に関する相対予測情報とを、ラインL51及びラインL52を経由して予測方法取得部57に出力する。このRモードに関する識別情報が「0」の場合はRモードが予測方法として用いられていることを示し、「1」の場合はLモードが予測方法として用いられていることを示す。相対予測情報は、Lモードの場合に予測方法に関する情報の相対値を示す。
【0056】
逆量子化部52は、対象ブロックの残差信号を量子化パラメータに基づいて逆量子化する。逆量子化部52は、逆量子化した残差信号をラインL43経由で逆変換部53に出力する。
【0057】
逆変換部53は、逆量子化部52から入力された残差信号を逆離散コサイン変換して再生残差信号に復元する。逆変換部53は、復元した再生残差信号をラインL44経由で加算器54に出力する。
【0058】
予測信号生成部55は、予測方法取得部57によって導出された予測方法(詳細は後述する。)に基づいて、フレームメモリ56から参照画像信号を取得し予測信号を生成する。予測信号生成部55は、この予測信号をラインL45経由で加算器54に送り、加算器54は、逆変換部53によって復元された再生残差信号と予測信号とを合成することによって対象ブロックの画素信号を復元し、ラインL48経由で出力端子59に出力すると同時に、フレームメモリ56に格納する。
【0059】
次に、予測方法取得部57の構成についてより詳細に説明する。図8は、予測方法取得部57の構成を示すブロック図である。同図に示すように、予測方法取得部57は、切り替えスイッチ61と、Rモード決定部(第1予測方法決定手段)64と、格納部65と、Lモード決定部(第1予測方法決定手段)66と、モード情報生成部(予測方法導出手段)67とを備えている。
【0060】
切り替えスイッチ61は、ラインL51経由で入力されたRモード識別情報に応じて、予測信号生成部55と端子62及び端子63との接続を切り替えるスイッチである。具体的には、切り替えスイッチ61は、識別情報が「0」の場合は端子62に、「1」の場合は端子63に接続する。
【0061】
Rモード決定部64は、既再生の隣接領域に対し、隣接領域に対応して決定された予測方法に関するモード情報に基づいて、所定の評価基準で1つの予測方法を導出する。すなわち、Rモード決定部64は、格納部65に格納されている過去に処理されたブロックの予測方法に関するモード情報を3つ以上取得し、所定の方法で1つの予測方法を決定する。Rモードの予測決定方法は、画像予測符号化装置10のRモード決定部43と同様である。つまり、Rモード決定部64は、ブロック302a〜302f、303a〜303c(図3参照)の所有する画面内予測に関するモード情報の中で出現率の最も高いモード情報に対応する予測方法をRモード予測方法として決定する。なお、Rモード決定部64は、それ以外の方法で3個以上のブロックのモード情報に基づいてRモード予測方法を決定してもよい。Rモード決定部64は、切り替えスイッチ61が端子62に接続された場合は、このRモード予測方法に関する情報をラインL50経由で予測信号生成部55に送る。
【0062】
モード情報生成部67は、切り替えスイッチ61が端子63に接続されLモードとなる場合に、最適予測方法に関する情報を生成し、予測信号生成部55に送る。このとき、モード情報生成部67は、ラインL52経由で入力された予測方法に関する情報の相対予測情報および、Lモード決定部66から入力されたLモード予測方法に関する情報に基づいて、予測信号の生成に用いる最適予測方法に関する情報を導出する。すなわち、モード情報生成部67は、Lモード予測方法に関する情報に対象ブロックの予測方法に関する相対予測情報を加算することにより最適予測方法に関する予測モード情報を生成する、
【0063】
Lモード決定部66は、対象ブロックに隣接する隣接領域に対し、所定の複数の予測モードの中から予測モードを決定し、Lモード予測方法としてラインL66経由でモード情報生成部67に出力する。Lモード決定部66における予測モードの決定方法は、画像予測符号化装置10のLモード決定部46と同様である。
【0064】
次に、図9を参照して、予測方法取得部57における予測信号生成方法の取得処理について説明する。まず、データ解析部51から予測方法取得部57に圧縮画像データから抽出されたRモード識別情報が入力される(ステップS21)。切り替えスイッチ61は、この情報がRモードを示すかどうかを判断する(ステップS22)。Rモードを示す場合は(ステップS22;YES)、Rモード決定部64が、Rモード決定方法に従いRモード予測方法を決定し、最適予測モードとして予測信号生成部55に出力する(ステップS23)。一方、Rモードではない場合(ステップS22;NO)、モード情報生成部67に圧縮画像データから抽出された相対予測情報が入力される(ステップS24)。次に、Lモード決定部66が、Lモード決定方法にしたがいLモード予測方法を決定する(ステップS25)。そして、モード情報生成部67が、Lモード予測方法に関するモード情報と相対予測情報とを加算することにより最適予測モードを求める(ステップS26)。その後、モード情報生成部67は、このように求められた最適予測モードに関する情報を予測信号生成部55に出力する(ステップS27)。
【0065】
以上説明した画像予測復号装置50によれば、復号対象の対象領域に隣接する既再生の隣接領域に対して、その隣接領域に対応して処理されたデータを用いてRモード及びLモードの予測方法が導出され、その予測方法及び相対予測方法に基づいて対象領域の最適予測方法が導き出されて画面内予測信号が生成されるとともに、その画面内予測信号を用いて、対象領域の残差信号が復元された再生残差信号から対象領域の画素信号が復元される。既再生の隣接領域に対応するデータを用いて隣接領域に対して導き出された予測方法は、対象領域に最適な予測方法に近くなる可能性が高いので、それを用いて対象領域の予測方法に関するモード情報を復元することで、予測方法を識別するモード情報(相対予測方法)の符号量が低減され、全体の復号効率が向上する。
【0066】
特に、Rモードのように対象ブロックに隣接する複数の隣接ブロックがそれぞれ所有する予測方法に関する情報を3つ以上用いて所定の評価基準の下で決定する場合は、その予測方法は対象領域本来の予測方法に近くなる確率が高くなる。従って、それを対象領域の予測方法とすることができるので、予測方法を識別するためのモード情報(例えば、図14(b)に示す9つのモードを識別する情報)を受信する必要がなくなる。その結果、簡易な処理でモード情報にかかわる伝送量を削減することが可能となる。
【0067】
また、Lモードのように対象ブロックの隣接領域に対して9つの予測方法から決定される予測方法を用いる場合は、対象ブロックの予測方法に対し相関が高くなりそれに基づいて対象ブロックのモード情報をさらに効率よく符号化できる。これにより、モード情報にかかわる符号量を削減する効果が高くなる。さらに、対象ブロックに隣接する領域が画面間予測符号化する場合で、隣接ブロックが画面内予測情報を持っていない場合においても、対象ブロックの隣接領域に対して複数の予測方法から決定される予測方法、または3つ以上の隣接ブロックがそれぞれ所有する予測方法に関する情報を用いて所定の評価基準の下で決定される予測方法をもとに対象領域の予測情報を符号化する。その結果、対象ブロックにおける予測方法に関する情報をさらに効率よく符号化することができる。
【0068】
以下、コンピュータを画像予測符号化装置10及び画像予測復号装置50として動作させる画像予測符号化プログラム及び画像予測復号プログラムについて説明する。
【0069】
図12は、記録媒体に記録された画像予測符号化プログラム及び画像予測復号プログラムを実行するためのコンピュータのハードウェア構成を示す図であり、図13は、記録媒体に記憶された画像予測符号化プログラム及び画像予測復号プログラムを実行するためのコンピュータの斜視図である。同図に示すコンピュータは、パーソナルコンピュータ等の狭義のコンピュータには限定されず、CPUを具備しソフトウエアによる処理や制御を行なうDVDプレーヤ、セットトップボックス、携帯電話などを含む。コンピュータ530は、フロッピーディスクドライブ装置、CD−ROMドライブ装置、DVDドライブ装置等の読取装置512と、オペレーティングシステムを常駐させた作業用メモリ(RAM)514と、記録媒体510に記憶されたプログラムを記憶するメモリ516と、ディスプレイといった表示装置518と、入力装置であるマウス520及びキーボード522と、データ等の送受を行うための通信装置524と、プログラムの実行を制御するCPU526とを備えている。このコンピュータ530は、記録媒体510が読取装置512に挿入されると、読取装置512から記録媒体510に格納された画像予測符号化プログラム及び画像予測復号プログラムにアクセス可能になり、画像予測符号化プログラムによって、本発明による画像予測符号化装置10として、画像予測復号プログラムによって、本発明による画像予測復号装置50として、動作することが可能になる。
【0070】
なお、本発明は、前述した実施形態に限定されるものではない。例えば、画像予測符号化装置10では、RモードとLモードをブロック単位で切り替えるようになっているが、切り替え単位は、画像単位またはシーケンス単位で行ってもよい。また、切り替えを行わずにRモードとLモードのどれか一方だけを用いてもよい。さらに図2のRモード決定部43とLモード決定部46を入れ替えてもよいし、Rモード決定部43とLモード決定部46とを同じRモードもしくはLモードにしてもよい。
【0071】
また、画像予測復号装置50においても、RモードとLモードをブロック単位で切り替えるようになっているが、切り替え単位は、画像単位またはシーケンス単位で行ってもよい。また、切り替えを行わずにRモードとLモードのどれか一方だけを用いてもよい。その場合はRモード識別情報がないため図8における破線で囲まれた機能ブロックのいずれかを用いればよい。さらに図8におけるRモード決定部64とLモード決定部66とを入れ替えてもよいし、Rモード決定部64とLモード決定部66とを同じRモードもしくはLモードにしてもよい。
【0072】
また、図2に示す画面内予測信号生成方法決定部15の代わりに図10に示す画面内予測信号生成方法決定部115、図8に示す予測方法取得部57の代わりに図11に示す予測方法取得部157を用いてもよい。
【0073】
図10に示す画面内予測信号生成方法決定部115の画面内予測信号生成方法決定部15との相違点は、Rモード決定部43の代わりにFモード決定部143を設けた点である。このFモード決定部143は、画面全体に最も頻繁に生じる予測方法を決定する。具体的には、ラインL34経由で各ブロックの予測方法に関する情報を格納部44に格納した上で、格納部44から各ブロックの予測方法を読み出し、その予測方法の中から大多数の予測方法を導き出し、Fモード予測方法とする。ここで、格納部44に格納される予測モードは時間的に前の画像に関する予測情報でもよいし、現在処理対象の画像に関する予測モードでもよい。Fモード決定部143は、このように決定したFモード予測方法に関する情報はラインL31経由で予測方法決定部41に送出する。
【0074】
また、図11に示す予測方法取得部157の予測方法取得部57との相違点は、Rモード決定部64及び格納部65の代わりにFモード情報格納部164を設けた点である。Fモード情報格納部164は、ラインL111経由でFモードの予測方法に関する情報が入力され、その情報を格納する。切り替えスイッチ161は、ラインL51経由の制御信号により、モード情報生成部67側の端子163及びFモード情報格納部164側の端子162と、予測信号生成部55との接続を切り替える。Fモード情報格納部164は、Fモードの予測方法に関する情報をラインL50経由で予測信号生成部55に出力する。
【図面の簡単な説明】
【0075】
【図1】本発明の好適な一実施形態にかかる画像予測符号化装置の構成を示すブロック図である。
【図2】図1の画面内予測信号生成方法決定部の構成を示すブロック図である。
【図3】図2のRモード決定部におけるRモード予測方法を決定する処理を説明するための模式図である。
【図4】図2のLモード決定部によるLモード予測方法を決定する処理を説明するための模式図である。
【図5】図2のLモード決定部によるLモード予測方法の決定処理を示すフローチャートである。
【図6】図1の画面内予測信号生成方法決定部における予測信号生成方法の決定処理を示すフローチャートである。
【図7】本発明の好適な一実施形態にかかる画像予測復号装置の構成を示すブロック図である。
【図8】図7の予測方法取得部の構成を示すブロック図である。
【図9】図7の予測方法取得部における予測信号生成方法の取得処理を示すフローチャートである。
【図10】図2の画面内予測信号生成方法決定部の変形例を示すブロック図である。
【図11】図8の予測方法取得部の変形例を示すブロック図である。
【図12】本発明の実施形態にかかる画像予測符号化プログラム及び画像予測復号プログラムを実行するためのコンピュータのハードウェア構成を示す図である。
【図13】図12のコンピュータの斜視図である。
【図14】(a)は、H.264に用いられる画面内予測方法を説明するための模式図、(b)は、H.264の画面内予測方法における画素信号の引き伸ばし方向を示す図である。
【符号の説明】
【0076】
10…画像予測符号化装置、11…入力端子、12…ブロック分割部、13…画面間予測信号生成方法決定部、14…画面間予測信号生成部、15…画面内予測信号生成方法決定部、16…画面内予測信号生成部、17…切り替えスイッチ、18…減算器、19…変換部、20…量子化部、21…逆量子化部、22…逆変換部、23…加算器、24…フレームメモリ、25…エントロピー符号化部、26…出力端子、41…予測方法決定部、42…予測信号生成部、43…Rモード決定部、44…格納部、45…モード情報予測部、46…Lモード決定部、50…画像予測復号装置、51…データ解析部、52…逆量子化部、53…逆変換部、54…加算器、55…予測信号生成部、56…フレームメモリ、57…予測方法取得部、58…入力端子、59…出力端子、61…切り替えスイッチ、64…Rモード決定部、65…格納部、66…Lモード決定部、67…モード情報生成部、115…画面内予測信号生成方法決定部、143…Fモード決定部、157…予測方法取得部、164…Fモード情報格納部、301,401,901…対象領域、302a〜302f,303a〜303c,402〜406,902〜904…隣接領域。

【特許請求の範囲】
【請求項1】
画像を複数の領域に分割し、前記領域のうちの処理対象である対象領域に含まれる画素信号に対して画面内予測信号を生成し、前記対象領域の画素信号と前記画面内予測信号との残差信号を符号化する画像予測符号化装置であって、
前記対象領域に隣接する既再生の画素信号からなる隣接領域に対応する既処理のデータに基づいて、前記画面内予測信号を生成するための所定の複数の予測方法の中から、前記隣接領域の画素信号と相関の高い画面内予測信号を生成する予測方法を導き出し、該予測方法を第1の予測方法として決定する第1予測方法決定手段と、
前記第1予測方法決定手段によって決定された前記第1の予測方法に基づいて前記画面内予測信号を生成する予測信号生成手段と、
前記予測信号生成手段によって生成された画面内予測信号に基づいて、前記対象領域の画素信号との残差信号を符号化する画像符号化手段と、
を備えることを特徴とする画像予測符号化装置。
【請求項2】
画像を複数の領域に分割し、前記領域のうちの処理対象である対象領域に含まれる画素信号に対して画面内予測信号を生成し、前記対象領域の画素信号と前記画面内予測信号との残差信号を符号化する画像予測符号化装置であって、
前記対象領域に隣接する既再生の画素信号からなる隣接領域に対応する既処理のデータに基づいて、前記画面内予測信号を生成するための所定の複数の予測方法の中から、前記隣接領域の画素信号と相関の高い画面内予測信号を生成する予測方法を導き出し、該予測方法を第1の予測方法として決定する第1予測方法決定手段と、
前記対象領域に対し所定の複数の予測方法に対応した複数の予測信号を生成するとともに、所定の評価基準に従って前記複数の予測方法の中から前記対象領域に適した第2の予測方法を決定する第2予測方法決定手段と、
前記第2予測方法決定手段によって決定された前記第2の予測方法に基づいて前記画面内予測信号を生成する予測信号生成手段と、
前記第1の予測方法に基づいて前記第2の予測方法を相対的に符号化するモード情報符号化手段と、
前記予測信号生成手段によって生成された画面内予測信号に基づいて、前記対象領域の画素信号との残差信号を符号化する画像符号化手段と、
を備えることを特徴とする画像予測符号化装置。
【請求項3】
前記第1予測方法決定手段は、前記隣接領域に対し、前記所定の複数の予測方法に対応した複数の予測信号を生成するとともに、所定の評価基準に従って前記複数の予測方法の中から第1の予測方法を決定する、
ことを特徴とする請求項1又は2に記載の画像予測符号化装置。
【請求項4】
前記第1予測方法決定手段は、前記隣接領域に対し、前記隣接領域に対応して過去に決定された3以上の予測方法を用いて、所定の評価基準に従って前記第1の予測方法を決定する、
ことを特徴とする請求項1又は2に記載の画像予測符号化装置。
【請求項5】
画像を複数の領域に分割し、前記領域のうちの処理対象である対象領域に含まれる画素信号に対して画面内予測信号を生成し、圧縮画像データに含まれる前記対象領域に関する残差信号と前記画面内予測信号とを合成することによって前記対象領域の画素信号を復元する画像予測復号装置であって、
前記対象領域に隣接する既再生の画素信号からなる隣接領域に対応する既処理のデータに基づいて、前記画面内予測信号を生成するための所定の複数の予測方法の中から、前記隣接領域の画素信号と相関の高い画面内予測信号を生成する予測方法を導き出し、該予測方法を第1の予測方法として決定する第1予測方法決定手段と、
前記第1予測方法決定手段によって決定された前記第1の予測方法に基づいて前記画面内予測信号を生成する予測信号生成手段と、
前記圧縮画像データの中から前記対象領域に関する残差信号を抽出して再生残差信号に復元する復元手段と、
前記画面内予測信号と前記復元手段によって復元された再生残差信号とを合成することによって、前記対象領域の画素信号を復元する画像復元手段と、
を備えることを特徴とする画像予測復号装置。
【請求項6】
画像を複数の領域に分割し、前記領域のうちの処理対象である対象領域に含まれる画素信号に対して画面内予測信号を生成し、圧縮画像データに含まれる前記対象領域に関する残差信号と前記画面内予測信号とを合成することによって前記対象領域の画素信号を復元する画像予測復号装置であって、
前記対象領域に隣接する既再生の画素信号からなる隣接領域に対応する既処理のデータに基づいて、前記画面内予測信号を生成するための所定の複数の予測方法の中から、前記隣接領域の画素信号と相関の高い画面内予測信号を生成する予測方法を導き出し、該予測方法を第1の予測方法として決定する第1予測方法決定手段と、
前記圧縮画像データの中から、前記対象領域に関する予測方法を識別する相対的な情報である相対予測方法を抽出するとともに、前記第1の予測方法及び前記相対予測方法に基づいて、前記対象領域に対する第2の予測方法を導出する予測方法導出手段と、
前記予測方法導出手段によって導出された前記第2の予測方法に基づいて前記画面内予測信号を生成する予測信号生成手段と、
前記圧縮画像データの中から前記対象領域に関する残差信号を抽出して再生残差信号に復元する復元手段と、
前記画面内予測信号と前記復元手段によって復元された再生残差信号とを合成することによって、前記対象領域の画素信号を復元する画像復元手段と、
を備えることを特徴とする画像予測復号装置。
【請求項7】
前記第1予測方法決定手段は、前記隣接領域に対し、前記所定の複数の予測方法に対応した複数の予測信号を生成するとともに、所定の評価基準に従って前記複数の予測方法の中から第1の予測方法を決定する、
ことを特徴とする請求項5又は6に記載の画像予測復号装置。
【請求項8】
前記第1予測方法決定手段は、前記隣接領域に対し、前記隣接領域に対応して過去に決定された3以上の予測方法を用いて、所定の評価基準に従って前記第1の予測方法を決定する、
ことを特徴とする請求項5又は6に記載の画像予測復号装置。
【請求項9】
画像を複数の領域に分割し、前記領域のうちの処理対象である対象領域に含まれる画素信号に対して画面内予測信号を生成し、前記対象領域の画素信号と前記画面内予測信号との残差信号を符号化する画像予測符号化方法であって、
第1予測方法決定手段が、前記対象領域に隣接する既再生の画素信号からなる隣接領域に対応する既処理のデータに基づいて、前記画面内予測信号を生成するための所定の複数の予測方法の中から、前記隣接領域の画素信号と相関の高い画面内予測信号を生成する予測方法を導き出し、該予測方法を第1の予測方法として決定する第1予測方法決定ステップと、
予測信号生成手段が、前記第1予測方法決定ステップにおいて決定された前記第1の予測方法に基づいて前記画面内予測信号を生成する予測信号生成ステップと、
画像符号化手段が、前記予測信号生成ステップによって生成された画面内予測信号に基づいて、前記対象領域の画素信号との残差信号を符号化する画像符号化ステップと、
を備えることを特徴とする画像予測符号化方法。
【請求項10】
画像を複数の領域に分割し、前記領域のうちの処理対象である対象領域に含まれる画素信号に対して画面内予測信号を生成し、前記対象領域の画素信号と前記画面内予測信号との残差信号を符号化する画像予測符号化方法であって、
第1予測方法決定手段が、前記対象領域に隣接する既再生の画素信号からなる隣接領域に対応する既処理のデータに基づいて、前記画面内予測信号を生成するための所定の複数の予測方法の中から、前記隣接領域の画素信号と相関の高い画面内予測信号を生成する予測方法を導き出し、該予測方法を第1の予測方法として決定する第1予測方法決定ステップと、
第2予測方法決定手段が、前記対象領域に対し所定の複数の予測方法に対応した複数の予測信号を生成するとともに、所定の評価基準に従って前記複数の予測方法の中から前記対象領域に適した第2の予測方法を決定する第2予測方法決定ステップと、
予測信号生成手段が、前記第2予測方法決定ステップにおいて決定された前記第2の予測方法に基づいて前記画面内予測信号を生成する予測信号生成ステップと、
モード情報符号化手段が、前記第1の予測方法に基づいて前記第2の予測方法を相対的に符号化するモード情報符号化ステップと、
画像符号化手段が、前記予測信号生成手段によって生成された画面内予測信号に基づいて、前記対象領域の画素信号との残差信号を符号化する画像符号化ステップと、
を備えることを特徴とする画像予測符号化方法。
【請求項11】
画像を複数の領域に分割し、前記領域のうちの処理対象である対象領域に含まれる画素信号に対して画面内予測信号を生成し、圧縮画像データに含まれる前記対象領域に関する残差信号と前記画面内予測信号とを合成することによって前記対象領域の画素信号を復元する画像予測復号方法であって、
第1予測方法決定手段が、前記対象領域に隣接する既再生の画素信号からなる隣接領域に対応する既処理のデータに基づいて、前記画面内予測信号を生成するための所定の複数の予測方法の中から、前記隣接領域の画素信号と相関の高い画面内予測信号を生成する予測方法を導き出し、該予測方法を第1の予測方法として決定する第1予測方法決定ステップと、
予測信号生成手段が、前記第1予測方法決定ステップにおいて決定された前記第1の予測方法に基づいて前記画面内予測信号を生成する予測信号生成ステップと、
復元手段が、前記圧縮画像データの中から前記対象領域に関する残差信号を抽出して再生残差信号に復元する復元ステップと、
画像復元手段が、前記画面内予測信号と前記復元ステップにおいて復元された再生残差信号とを合成することによって、前記対象領域の画素信号を復元する画像復元ステップと、
を備えることを特徴とする画像予測復号方法。
【請求項12】
画像を複数の領域に分割し、前記領域のうちの処理対象である対象領域に含まれる画素信号に対して画面内予測信号を生成し、圧縮画像データに含まれる前記対象領域に関する残差信号と前記画面内予測信号とを合成することによって前記対象領域の画素信号を復元する画像予測復号方法であって、
第1予測方法決定手段が、前記対象領域に隣接する既再生の画素信号からなる隣接領域に対応する既処理のデータに基づいて、前記画面内予測信号を生成するための所定の複数の予測方法の中から、前記隣接領域の画素信号と相関の高い画面内予測信号を生成する予測方法を導き出し、該予測方法を第1の予測方法として決定する第1予測方法決定ステップと、
予測方法導出手段が、前記圧縮画像データの中から、前記対象領域に関する予測方法を識別する相対的な情報である相対予測方法を抽出するとともに、前記第1の予測方法及び前記相対予測方法に基づいて、前記対象領域に対する第2の予測方法を導出する予測方法導出ステップと、
予測信号生成手段が、前記第2予測方法導出ステップにおいて導出された前記第2の予測方法に基づいて前記画面内予測信号を生成する予測信号生成ステップと、
復元手段が、前記圧縮画像データの中から前記対象領域に関する残差信号を抽出して再生残差信号に復元する復元ステップと、
画像復元手段が、前記画面内予測信号と前記復元手段によって復元された再生残差信号とを合成することによって、前記対象領域の画素信号を復元する画像復元ステップと、
を備えることを特徴とする画像予測復号方法。
【請求項13】
画像を複数の領域に分割し、前記領域のうちの処理対象である対象領域に含まれる画素信号に対して画面内予測信号を生成し、前記対象領域の画素信号と前記画面内予測信号との残差信号を符号化する画像予測符号化プログラムであって、
コンピュータを、
前記対象領域に隣接する既再生の画素信号からなる隣接領域に対し、前記隣接領域に対応する既処理のデータに基づいて、前記画面内予測信号を生成するための所定の複数の予測方法の中から、前記隣接領域の画素信号と相関の高い画面内予測信号を生成する予測方法を導き出し、該予測方法を第1の予測方法として決定する第1予測方法決定手段、
前記第1予測方法決定手段によって決定された前記第1の予測方法に基づいて前記画面内予測信号を生成する予測信号生成手段、及び
前記予測信号生成手段によって生成された画面内予測信号に基づいて、前記対象領域の画素信号との残差信号を符号化する画像符号化手段、
として機能させることを特徴とする画像予測符号化プログラム。
【請求項14】
画像を複数の領域に分割し、前記領域のうちの処理対象である対象領域に含まれる画素信号に対して画面内予測信号を生成し、前記対象領域の画素信号と前記画面内予測信号との残差信号を符号化する画像予測符号化プログラムであって、
コンピュータを、
前記対象領域に隣接する既再生の画素信号からなる隣接領域に対応する既処理のデータに基づいて、前記画面内予測信号を生成するための所定の複数の予測方法の中から、前記隣接領域の画素信号と相関の高い画面内予測信号を生成する予測方法を導き出し、該予測方法を第1の予測方法として決定する第1予測方法決定手段、
前記対象領域に対し所定の複数の予測方法に対応した複数の予測信号を生成するとともに、所定の評価基準に従って前記複数の予測方法の中から前記対象領域に適した第2の予測方法を決定する第2予測方法決定手段、
前記第2予測方法決定手段によって決定された前記第2の予測方法に基づいて前記画面内予測信号を生成する予測信号生成手段、
前記第1の予測方法に基づいて前記第2の予測方法を相対的に符号化するモード情報符号化手段、及び
前記予測信号生成手段によって生成された画面内予測信号に基づいて、前記対象領域の画素信号との残差信号を符号化する画像符号化手段、
として機能させることを特徴とする画像予測符号化プログラム。
【請求項15】
画像を複数の領域に分割し、前記領域のうちの処理対象である対象領域に含まれる画素信号に対して画面内予測信号を生成し、圧縮画像データに含まれる前記対象領域に関する残差信号と前記画面内予測信号とを合成することによって前記対象領域の画素信号を復元する画像予測復号プログラムであって、
前記対象領域に隣接する既再生の画素信号からなる隣接領域に対応する既処理のデータに基づいて、前記画面内予測信号を生成するための所定の複数の予測方法の中から、前記隣接領域の画素信号と相関の高い画面内予測信号を生成する予測方法を導き出し、該予測方法を第1の予測方法として決定する第1予測方法決定手段、
前記第1予測方法決定手段によって決定された前記第1の予測方法に基づいて前記画面内予測信号を生成する予測信号生成手段、
前記圧縮画像データの中から前記対象領域に関する残差信号を抽出して再生残差信号に復元する復元手段、及び
前記画面内予測信号と前記復元手段によって復元された再生残差信号とを合成することによって、前記対象領域の画素信号を復元する画像復元手段、
として機能させることを特徴とする画像予測復号プログラム。
【請求項16】
画像を複数の領域に分割し、前記領域のうちの処理対象である対象領域に含まれる画素信号に対して画面内予測信号を生成し、圧縮画像データに含まれる前記対象領域に関する残差信号と前記画面内予測信号とを合成することによって前記対象領域の画素信号を復元する画像予測復号プログラムであって、
コンピュータを、
前記対象領域に隣接する既再生の画素信号からなる隣接領域に対応する既処理のデータに基づいて、前記画面内予測信号を生成するための所定の複数の予測方法の中から、前記隣接領域の画素信号と相関の高い画面内予測信号を生成する予測方法を導き出し、該予測方法を第1の予測方法として決定する第1予測方法決定手段、
前記圧縮画像データの中から、前記対象領域に関する予測方法を識別する相対的な情報である相対予測方法を抽出するとともに、前記第1の予測方法及び前記相対予測方法に基づいて、前記対象領域に対する第2の予測方法を導出する予測方法導出手段、
前記予測方法導出手段によって導出された前記第2の予測方法に基づいて前記画面内予測信号を生成する予測信号生成手段、
前記圧縮画像データの中から前記対象領域に関する残差信号を抽出して再生残差信号に復元する復元手段、及び
前記画面内予測信号と前記復元手段によって復元された再生残差信号とを合成することによって、前記対象領域の画素信号を復元する画像復元手段、
として機能させることを特徴とする画像予測復号プログラム。

【図1】
image rotate

【図2】
image rotate

【図3】
image rotate

【図4】
image rotate

【図5】
image rotate

【図6】
image rotate

【図7】
image rotate

【図8】
image rotate

【図9】
image rotate

【図10】
image rotate

【図11】
image rotate

【図12】
image rotate

【図13】
image rotate

【図14】
image rotate


【公開番号】特開2007−116351(P2007−116351A)
【公開日】平成19年5月10日(2007.5.10)
【国際特許分類】
【出願番号】特願2005−304534(P2005−304534)
【出願日】平成17年10月19日(2005.10.19)
【公序良俗違反の表示】
(特許庁注:以下のものは登録商標)
1.フロッピー
【出願人】(392026693)株式会社エヌ・ティ・ティ・ドコモ (5,876)
【Fターム(参考)】