画像復号化装置及び画像復号化方法
【課題】本発明は、簡易な構成で短時間かつ正確に復号化処理を行い得る画像復号化装置及び画像復号化方法を実現するものである。
【解決手段】所定の符号化方式に準拠した復号化処理を行う画像復号化装置及び画像復号化方法において、高速再生モード時、符号化方式で符号化された画像データにおける所望位置のIピクチャを基準として当該Iピクチャ及び後続する所定数のPピクチャからなる簡易再生フレームを抽出するようにした。
【解決手段】所定の符号化方式に準拠した復号化処理を行う画像復号化装置及び画像復号化方法において、高速再生モード時、符号化方式で符号化された画像データにおける所望位置のIピクチャを基準として当該Iピクチャ及び後続する所定数のPピクチャからなる簡易再生フレームを抽出するようにした。
【発明の詳細な説明】
【0001】
【発明の属する技術分野】
本発明は画像復号化装置及び画像復号化方法に関し、例えばJVT(Joint Model of Enhanced−Compression Video Coding)符号化方式に準拠した画像復号化装置及び画像復号化方法に適用して好適なものである。
【0002】
【従来の技術】
近年、画像情報をディジタル化して取り扱い、その際、効率の高い情報の伝達及び蓄積を目的とし、画像情報特有の冗長性を利用して、離散コサイン変換等の直交変換と動き補償とにより圧縮するMPEG(Moving Picture Experts Groupe )などの方式に準拠した装置が、放送局などの情報配信及び一般家庭における情報受信の双方において普及しつつある。
【0003】
特にMPEG2(ISO/IEC 13818−2)は、汎用画像符号化方式として定義されており、飛び越し走査画像及び順次走査画像の双方、並びに標準解像度画像及び高精細画像を網羅する標準で、プロフェッショナル用途及びコンシューマ用途の広範なアプリケーションに現在広く用いられている。
【0004】
かかるMPEG2圧縮方式を用いることにより、例えば720×480画素をもつ標準解像度の飛び越し走査画像であれば4〜8〔Mbps〕、1920×1088画素をもつ高解像度の飛び越し走査画像であれば18〜22〔Mbps〕の符号量(ビットレート)を割り当てることで、高い圧縮率と良好な画質の実現が可能である。
【0005】
MPEG2は主として放送用に適合する高画質符号化を対象としていたが、MPEG1より低い符号量(ビットレート)、すなわちより高い圧縮率の符号化方式には対応していなかった。
【0006】
携帯端末の普及により、今後そのような符号化方式のニーズは高まると思われ、これに対応してMPEG4符号化方式の標準化が行われた。画像符号化方式に関しては、1998年12月にISO/IEC 14496−2としてその規格が国際標準に承認された。
【0007】
さらに近年、当初テレビ会議用の画像符号化を目的として、H.26L(ITU−T Q6/16 VCEG)という標準の規格化が進んでいる。H.26LはMPEG2やMPEG4といった従来の符号化方式に比べ、その符号化、復号化により多くの演算量が要求されるものの、より高い符号化効率が実現されることが知られている。
【0008】
また現在、MPEG4の活動の一環として、このH.26Lをベースに、当該H.26Lではサポートされていない機能をも取り入れ、より高い符号化効率を実現する標準化がJVT符号化方式として行われている。標準化のスケジュールとしては、2003年3月にはH.264及びMPEG−4 Part10(Advanced Video Coding)という名の元に国際標準となる予定である。
【0009】
ここでJVT符号化方式について説明する。入力される画像信号は、まずA/D変換されてディジタル化された後、出力となる画像圧縮情報のGOP(Group of Pictures)構造に応じて、フレーム画像の並べ替えを行う。
【0010】
イントラ符号化が行われる画像に関しては、入力画像と、イントラ予測により生成される画素値の差分情報が離散コサイン変換及びカルーネン・レーベ変換等の直交変換が施された後、その結果得られる変換係数に対して量子化処理が施される。
【0011】
量子化された変換係数は、可変長符号化及び算術符号化等の可逆符号化が施された後、蓄積されて画像圧縮情報として出力される。かかる量子化処理は当該蓄積状態に応じてフィードバック的にレート制御される。
【0012】
一方、量子化された変換係数は、逆量子化処理及び逆直交変換処理が施されて復号化画像情報となり、デブロックフィルタ処理によりブロック歪の除去が施された後、その情報がフレームメモリに蓄積されながら、イントラ予測処理に供される。
【0013】
このイントラ予測処理において、ブロック/マクロブロックに対して適用されたイントラ予測モードに関する情報は、可逆符号化処理に供されて、画像圧縮情報におけるヘッダ情報の一部として符号化される。
【0014】
またインタ符号化が行われる画像に関しては、まず画像情報は動き予測・補償処理されると同時に、参照となる画像情報がフレームメモリから読み出されて、動き予測・補償処理を施された後、参照画像情報が生成される。参照画像情報は当該画像情報との差分信号へ変換される。
【0015】
動き補償・予測処理では、同時に動きベクトル情報を可逆符号化処理を施して、画像圧縮情報のヘッダ部に挿入される情報を形成する。その他の処理はイントラ符号化が施される画像圧縮情報と同様である。
【0016】
このJVT符号化方式においては、入力となる画像情報が飛び越し走査である場合には、2つのマクロブロックをペア(Pair)(以下、マクロブロックペアと呼ぶ)として、それぞれのマクロブロックペアに対して、フィールドモード又はフレームモードにより符号化することが可能である。
【0017】
以下では、JVT符号化方式において定められているイントラ予測の方法について述べる。
【0018】
イントラ予測処理において入力となるパラメータは、当該マクロブロックのmb_type、prev_intra4×4_pred_mode_flag(if available)、rem_intra4×4_pred_mode(if available)、intra_chroma_pred_mode(if available)、隣接マクロブロック(又は隣接マクロブロックペア)の画素値である。また、出力となるパラメータは、当該マクロブロック(又は当該マクロブロックペア)に対する予測画素値である。イントラ予測は、デブロックフィルタ処理前の画素値を用いて行われる。
【0019】
以下では、まず、輝度信号に対するイントラ予測方式について述べる。輝度信号に対する処理は、以下に述べるように、当該マクロブロックが、イントラ4×4モードであるか、イントラ16×16モードであるかによって、その処理が異なる。
【0020】
まず、イントラ4×4モードにおける処理は以下の通りである。
【0021】
この処理は、mb_part_pred_mode(mb_type、0)が、Intra_4×4に等しい時に適用され、入力となるパラメータは、prev_intra4×4_pred_mode_flag、rem_intra4×4_pred_mode(if available)、周辺輝度blockの、De‐blocking filtering処理前の画素値(if available)であり、出力は、当該マクロブロックに対する輝度信号の予測値である。輝度信号4×4ブロックのスキャン順は、図4R>4に示す通りである。
【0022】
以下では、まず、adaptive_frame_field_flagの値が0の時、当該ブロックのイントラ予測が”available”か、”not available”かの判定を行う処理について述べる。この処理の入力は、当該輝度ブロックの位置、隣接ブロックに含まれる、復号化処理処理済みの輝度画素値(デブロックフィルタ処理前のもの)であり、出力は、図5に示されるA〜Mの画素値が”available”であるかどうかである。4×4LumaBlkLocを、4×4LumaBlkIdxにより指し示される。4×4輝度ブロックの、左上部の画素値の位置と定義する。4×4LumaBlkIdxにより指し示される、4×4輝度ブロックに含まれるそれぞれの画素値は、図5におけるa〜pであり、これらは隣接する画素値A〜Mにより予測される。画素値の位置は、4×4LumaBlkLocにより指し示される。例えばdの位置は、
【0023】
【数1】
【0024】
で表される。
【0025】
またAの位置は、
【0026】
【数2】
【0027】
のように示される。
【0028】
画素値A〜Mは、以下の第1〜第3のいずれか一つでも成り立つ時、”not available”であるとする。第1に、当該画素が、ピクチャ外、若しくはスライス外である時、第2に、復号化処理において、当該画素が、当該ブロックより後に処理されるブロックに属する時、第3に、constrainde_intra_pred_flag=0で、当該ブロックがインターマクロブロックに属する時である。
【0029】
E〜Hが”not available”であるが、Dが”available”の時、E〜Hを”available”であるとして、その値はDで代用する。
【0030】
次に、mb_adaptive_frame_filed_flagの値が1で、field_pic_flagの値が0の時の処理について述べる。図5に示された画素値a〜pに対して、隣接画素A〜Mが以下のように定義される。すなわち、当該マクロブロックがframe decoding modeの場合、mb_adaptive_field_flagの値が0である場合と同様の処理が行われる。
【0031】
当該マクロブロックが、field decoding modeで、top macroblockである場合には、
【0032】
【数3】
【0033】
のように隣接画素値が定義される。
【0034】
また当該マクロブロックが、field decoding modeで、bottom field macroblockである場合には、
【0035】
【数4】
【0036】
のように隣接画素値が定義される。
【0037】
次に、イントラ予測値の生成処理について述べる。本処理の入力は、prev_inrta4×4_pred_flag、rem_intra4×4_pred_mode、4×4LumaBlkIdxによって指し示される4×4輝度ブロックの位置、LumaBlkLoc[4×4LumaBlkIdx]であり、出力は、Intra4×4LumaPredMode[4×4LumaBlkIdx]である。図6にntra4×4LumaPredMode[4×4LumaBlkIdx]及びそれに対応する予測モードの名称を示す。
【0038】
Intra4×4LumaPredMode[4×4LumaBlkIdx]の値が0、1、3、4、5、6、7、8の時、予測方向はそれぞれ図7に示す通りである。
【0039】
adaptive_frame_field_flagが0の時、若しくは、field_pic_flagが1の時、隣接マクロブロックのアドレス検出並びに、”availability”の検出は以下のように行われる。この処理の入力は、MbAddress(当該マクロブロックのアドレス)であり、出力は、MbAddressA(当該マクロブロックの左に位置するマクロブロックのアドレス)、MbAddressB(当該マクロブロックの上に位置するマクロブロックのアドレス)及び、これら2つのマクロブロックのアドレス”availability”である。
【0040】
あるマクロブロックのアドレスMbAddressに対して、第1に、MbAddress<0、第2に、MbAddress>Max MbAddress−1、第3に、MbAddressにより指定されるマクロブロックが異なるスライスに属するものである、第4に、MbAddressにより指定されるマクロブロックが復号化済みではない、でなる第1〜第4のいずれかが成り立つ時、このMbAddressで指定されるマクロブロックは、”not available”であるとされる。
【0041】
この処理が、隣接するマクロブロックA及びBに以下のように適用される。すなわち、第一の処理に関しては、入力はMbPairAddressA=MbPairAddress−1であり、出力はMbPairAddressAが”available”であるかどうかである。第二の処理に関しては、入力はMbPairAddressB=MbPairAddress−(frame_width_in_mbs_minus1+1)であり、出力はMbPairAddressBが”available”であるかどうかである。
【0042】
adaptive_frame_field_flagが0、若しくは。Field_pic_flegが1の時、隣接のマクロブロックのアドレス検出並びに”availability”の検出は以下のように行われる。この処理の入力パラメータは、MbAddressAであり、出力は変数”ExIntra4×4LumaPred”の値(4つ)である。
【0043】
まず、当該マクロブロックの左部に位置するマクロブロックに関してであるが、MbAddressAで指し示されるマクロブロックが”available”で、MbAddressAで指し示されるマクロブロックのmb_typeが、I_4×4若しくはSIの時、ExIntra4×4LumaPredModeの値は
【0044】
【数5】
【0045】
のように得られる。
【0046】
ここで、Intra4×4LumaPredModeは、MbAddressAにより指し示されるマクロブロックに対して割り当てられた値である。
【0047】
MbAressAで指し示されるマクロブロックが”available”でないか、若しくは、そのmb_typeがI_4×4でもSIでもない場合、ExIntra4×4LumaPredModeの値は、
【0048】
【数6】
【0049】
の処理により得られる。
【0050】
次に、当該マクロブロックの上部に位置するマクロブロックに関してであるが、入力となるパラメータは、MbAddressB出力となるパラメータは、変数”ExtIntra4×4LumaPred”の値(4つ)となる。
【0051】
MbAddressBで指し示されるマクロブロックが、”available”で、MbAddressBで指し示されるマクロブロックmb_type_が、I_4×4若しくはSIの時、ExIntra4×4LumaPredModeの値は、
【0052】
【数7】
【0053】
の処理により得られる。
【0054】
ここで、Intra4×4LumaPredModeは、MbAddressBにより指し示されるマクロブロックに対して割り当てられた値である。
【0055】
MbAddressBで指し示されるマクロブロックが”avaiable”でないか、若しくは、そのmb_typeがI_4×4でもSIでもない場合、ExIntra4×4LumaPredModeの値は、
【0056】
【数8】
【0057】
の処理により得られる。
【0058】
次に、上述したようなマクロブロックレベルのフィールド/フレーム適応型符号化を行う際の、隣接マクロブロックペアのイントラ予測モードに関する情報の抽出方法について述べる。
【0059】
当該マクロブロックのmb_adaptive_field_flagが1で、field_pic_flagが0の時適用される処理について述べる。
【0060】
まず、当該マクロブロックペアが、frame modeの時であるが、入力となる情報は、MbPairAddressA及びMbPairAddressBであり、出力となる情報は、top macroblock、bottom macroblockそれぞれに対して、当該マクロブロックに対するExIntra4×4LumaPredModeTop及びExIntra4×4LumaPredModeBottom(合計8個)である。
【0061】
Top macroblockに関しては、上述の式(5)に記述された処理の、MbAddressAとして、MbPairAddressAが入力され、この結果、ExIntra4×4LumaPredModeTopが出力される。また、上述の式(7)に記述された、MbAddressBとして、MbPairAddressBが入力され、この結果、ExIntra4×4PredModeTopが出力される。
【0062】
次に、Bottpm Macroblockに関しては、上述の式(5)に記述された処理の、MbAddressAとして、MbPairAddressAが入力され、この結果ExIntra4×4LumaPredModeBottomが出力される。また上述の式(7)に記述された処理の、MbAddressBとして、MbPairAddressBが入力され、この結果、ExIntra4×4LumaPredModeBottomが出力される。
【0063】
まず、当該マクロブロックペアが、field modeの時であるが、入力となる情報は、MbPairAddressA及びMbPairAddressBであり、出力となる情報は、top macroblock、bottom macroblockそれぞれに対して、当該マクロブロックに対するExIntra4×4LumaPredModeTop及びExIntra4×4LumaPredModeBottom(合計8個)である。
【0064】
隣接マクロブロックペアのMbPairAddressAに対する処理は、以下の通りである。すなわち、8.3.1.2.3.1に記述された処理の、MbAddressAとして、MbPairAddressAが入力され、この結果、ExIntra4×4PredModeTopが出力される。また、上述の式(5)に記述された処理の、MbPairAddressAが入力され、この結果ExIntra4×4LumaPredModeBottomが出力される。
【0065】
隣接マクロブロックペアのMbPairAddressBがfiled modeである時、若しくは、”available”ではない時、以下の処理が適用される。すなわち、当該MB Pairにおけるtop macroblockに関しては、上述の式(7)に述べられている処理が適用され、その入力は、MbPairAddressBで指し示されるMB Pairのtop macroblockが、MBAddressBとして用いられる。その出力はExIntra4×4LumaPredModeTopとなる。また、当該MBPairAddressBで指し示されるMBPairのbottom macroblockが、MBAddressBとして用いられる。その出力はExIntra4×4LumaPredModeBottomとなる。
【0066】
隣接マクロブロックペアMbPairAddressBがframe modeである時、以下の処理が適用される。すなわち、当該MB Pairにおけるtop macroblockに関しては、上述の式(7)に述べられている処理が適用され、その入力は、MBPairAddressBで指し閉めされるMB Pairのbottom macroblockが、MBAddressBとして用いられる。その出力はExIntra4×4LumaPredModeTopとなる。また、当該MB Pairにおけるbottom macroblockに関しては、上述の式(7)に述べられている処理が適用され、その入力は、MBPairAddressBで指し示されるMB Pair のbottom macroblockが、MBAddressBとして用いられる。その出力はExIntra4×4LumaPredModeBottomとなる。
【0067】
図8に、当該マクロブロックペアがfield modeの際の、上述の処理を図示する。
【0068】
次に、当該マクロブロックに対するIntra4×4LumaPredModeの復号化処理について述べる。
【0069】
この処理は、adaptive_frame_field_flagが1、若しくは、field_pic_flagが1の時適用される。入力となる情報は、prev_intra4×4_pred_mode_flag、rem_intra4×4_pred_mode並びにExIntra4×4LumaPredModeであり、出力となる情報は、当該macroblock(MbAddressにより指定される)に対するIntra_4×4LumaPredModeである。その処理は、
【0070】
【数9】
【0071】
の擬似コードにより記述される通りである。
【0072】
次に、上述したような、マクロブロックペア(MB Pair)に対するIntra4×4LumaPredModeの復号化処理について述べる。
【0073】
この処理は、mb_adaptive_frame_field_flagが1で、field_pic_flagが0の時適用される。
【0074】
当該マクロブロックペアのtop macroblcokに対するprev_intra4×4_pred_mode_flag、rem_intra4×4_pred_mode、ExIntra4×4LumaModePredTopが、式(8)に記述された処理の入力となり、その出力である、Intra4×4LumaPredModeが、当該マクロブロックペアのtop macroblockに対して割り当てられる。
【0075】
当該マクロブロックぺアのbottom macroblockに対するprev_intra4×4_pred_mode_flag、rem_intra4×4_pred_mode、ExIntra4×4LumaPredModeが、式(8)に記述された処理の入力となり、その出力である、Intra4×4LumaPredModeが、当該マクロブロックペアのbottom macroblockに対して割り当てられる。
【0076】
次に、イントラ4×4モードにおける、イントラ予測の復号化処理にして述べる。
【0077】
入力となるパラメータは、図5において示された隣接画素値A〜M及び当該4×4ブロックに対して定義されるIntra4×4LumaPredMode[4×4LumaBlkIdx]であり、出力となるパラメータは、4×4LumaBlkIdxによって指定される4×4ブロックに対する予測画素値である。Intra4×4LumaPredMode[4×4LumaBlkIdx]の値に応じて、以下に述べる。いずれかのイントラ予測モードが用いられる。
【0078】
以下では、Vertical予測の方法について述べる。この予測方法は、Intra4×4LumaPredMode[4×4LumaBlkIdx]が0の時適用される。A、B、C、Dが”available”の場合のみ適用される。それぞれの予測値は、
【0079】
【数10】
【0080】
の通りである。
【0081】
以下では、Horizontal予測の方法について述べる。この予測方法は、Intra4×4LumaPredMode[4×4LumaBlkIdx]が1の時適用される。I、J、K、Lが”available”の場合のみ適用される。それぞれの予測値は、
【0082】
【数11】
【0083】
の通りである。
【0084】
以下では、DC予測の方法について述べる。この予測方法は、Intra4×4LumaPredMode[4×4LumaBlkIdx]が2の時適用される。画素a〜pの全てに対する予測値として、以下の値が用いられる。
【0085】
すなわち、A、B、C、D、I、J、K、Lが全て”available”である時、予測値は、
【0086】
【数12】
【0087】
とする。
【0088】
A、B、C、Dが全て”unavailable”である時、予測値は、
【0089】
【数13】
【0090】
とする。
【0091】
I、J、K、Lが全て”unavailable”である時、予測値は、
【0092】
【数14】
【0093】
とする。
【0094】
A、B、C、D、I、J、K、Lが全て”available”である時、128を予測値として用いる。
【0095】
以下では、Diagonal_Down_Left予測について述べる。この予測方法は、Intra4×4LumaPredMode[4×4LumaBlkIdx]が3の時適用される。A、B、C、D、I、J、K、L、Mが全て”available”の場合のみ適用される。それぞれの予測値は、
【0096】
【数15】
【0097】
の通りである。
【0098】
以下では、Diagonal_Down_Right予測について述べる。この予測方法は、Intra4×4LumaPredMode[4×4LumaBlkIdx]が4の時適用される。A、B、C、D、I、J、K、L、Mが”available”の場合のみ適用される。それぞれの予測値は、
【0099】
【数16】
【0100】
の通りである。
【0101】
以下では、Diagonal_Vertical_Right予測について述べる。この予測方法は、Intra4×4LumaPredMode[4×4LumaBlkIdx]が5の時適用される。A、B、C、D、I、J、K、L、Mが”available”の場合のみ適用される。それぞれの予測値は、
【0102】
【数17】
【0103】
の通りである。
【0104】
以下では、Horizontal_Downについて述べる。この予測方法は、Intra4×4LumaPredMode[4×4LumaBlkIdx]が6の時適用される。A、B、C、D、I、J、K、L、Mが”available”の場合のみ適用される。それぞれの予測値は、
【0105】
【数18】
【0106】
以下の通りである。
【0107】
以下では、Vertical_Left予測値について述べる。この予測方法は、Intra4×4LumaPredMode[4×4LumaBlkIdx]が7の時適用される。A、B、C、D、I、J、K、L、Mが”available”の場合のみ適用される。それぞれの予測値は、
【0108】
【数19】
【0109】
の通りである。
【0110】
以下では、Horizontal_Up予測について述べる。この予測方法は、Intra4×4LumaPredMode[4×4LumaBlkIdx]が8の時適用される。A、B、C、D、I、J、K、L、Mが”available”の場合のみ適用される。それぞれの予測値は、
【0111】
【数20】
【0112】
の通りである。
【0113】
次に、当該輝度信号が、イントラ16×16モードであるマクロブロックに属する場合の、イントラ予測の方法について述べる。この処理は、mb_part_pred_mode(mb_type、0)が、Intra16×16と等しい時、適用される。入力となるパラメータは、当該マクロブロックに対するmb_type及び当該マクロブロックの隣接画素値の、De−blocking filtering処理前の値であり、出力となるパラメータは、当該マクロブロックに対する予測画素値である。
【0114】
以下では、当該マクロブロックに属する画素値を、P(x、y);x、y=0..15で表す。また、隣接画素値は、P(x、−1)及びP(−1、y);=−1..15で表す。
【0115】
P(x、−1)及びP(−1、y)について、以下のいずれかが成り立つ時、”unavailable”であるとする。すなわち、当該ピクチャ又は当該スライス内に存在しない時、隣接画素値が非イントラマクロブロックに所属し、かつconstrained_intra_pred_flagが1の時である。
【0116】
イントラ16×16モードの時、以下に述べる4通りのいずれかの方法によりイントラ予測が行われる。
【0117】
Mode0はvertaicl予測であり、P(x、−1);x、y=−1..15が”available”である時にのみ適用される。生成される予測値は、
【0118】
【数21】
【0119】
の通りである。
【0120】
Mode1はhorizontal予測であり、P(−1、y);x、y=−1..15が”available”である時にのみ適用される。生成される予測値は、
【0121】
【数22】
【0122】
の通りである。
【0123】
Mode2はDC予測であり、予測値は以下のように生成される。すなわち、P(x、−1)及びP(−1、y);x、y=−1..15が全て”available”である場合には、
【0124】
【数23】
【0125】
となる。
【0126】
P(x、−1);x、y=−1..15が”not available”である場合には、
【0127】
【数24】
【0128】
となる。
【0129】
P(−1、y);x、y=−1..15が”not available”である場合には、
【0130】
【数25】
【0131】
となる。
【0132】
P(x、−1)及びP(−1、y);x、y=−1..15が全て”notavailable”である場合には、予測値として128を用いる。
【0133】
Mode3はplane予測である。この予測モードは、P(x、−1)及びP(−1、y);x、y=−1..15が全て”availeble”の場合のみ適用される。予測値の生成は、
【0134】
【数26】
【0135】
に示す通りである。ここでClip1は0〜255の範囲でのクリップ処理を表す。
【0136】
次に、色差信号に対するイントラ予測について述べる。この処理は、Iマクロブロック並びにSIマクロブロックに対してのみ適用される。入力となるパラメータは、intra_chroma_pred_mode及びデブロックフィルタ処理前の、隣接画素値であり、出力となるパラメータは、当該マクロブロックの色差信号に対する予測値である。
【0137】
以下では、当該マクロブロックに属する画素値を、P(x、y);x、y=0..7で表す。また、隣接画素値は、P(x、−1)及びP(−1、y)=−1..7で表す。
【0138】
色差信号に対するイントラ予測モードは、輝度信号に対するそれとは独立に設定することが可能である。
【0139】
P(x、−1)及びP(−1、y)について、以下のいずれかが成り立つ時、”unavailable”であるとする。すなわち、当該ピクチャ又は当該スライス内に存在しない時、隣接画素値が非イントラマクロブロックに所属し、かつconstrained_intra_pred_flagが1の時である。
【0140】
Mode0はDC予測であり、その予測値は以下の通りである。すなわち、P(x、−1)及びP(−1、y)が”available”である場合には、
【0141】
【数27】
【0142】
が成り立つ。
【0143】
P(−1、y)が”not available”である場合には、
【0144】
【数28】
【0145】
が成り立つ。
【0146】
P(x、−1)が”not available”である場合には、
【0147】
【数29】
【0148】
が成り立つ。
【0149】
P(x、−1)及びP(−1、y)が”not available”である場合には、予測値として128を用いる。
【0150】
Mode1はhorizontal予測であり、P(−1、y)が”not available”である場合にのみ適用される。その予測値は、
【0151】
【数30】
【0152】
に示す通りである。
【0153】
Mode2はvertical予測であり、P(x、−1)が”available”である場合にのみ適用される。その予測値は、
【0154】
【数31】
【0155】
に示す通りである。
【0156】
Mode3はplane予測であり、P(x、−1)及びP(−1、y)が”available”である場合にのみ適用される。その予測値は、
【0157】
【数32】
【0158】
に示す通りである。
【0159】
ところでJVT符号化方式では、図9に示すように、単一のマクロブロックを、16×16、16×8、8×8の大きさの単一又は複数の動き予測ブロックに分割し、動き補償処理を行うことが可能である。8×8動き予測ブロックのそれぞれに関しては、図9に示す通り、さらに8×8、8×4、4×8又は4×4のサブブロックに分割し、動き補償処理を行うことが可能である。
【0160】
【発明が解決しようとする課題】
ところで、DVDに代表される画像再生装置では、メディアから通常の再生速度での再生のみならず、高速早送り再生や高速巻戻し再生にも対応している。図10に画像再生装置1の概略構成を示す。
【0161】
この画像再生装置1では、メディア2から再生されたMPEG2方式の画像情報に付加されたビットストリームの読込み位置情報S1が読込み位置指定器3に供給される。この読込み位置指定器3は、外部から高速早送り再生や高速巻戻し再生等の再生モード信号S2を受け取ると、読込み位置情報S1に基づいて、指定された再生モードに適する読込み位置を読込み器4に指定させる。この読込み器4では、読込み位置指定器3によって指定された読込み位置に従って、メディア2からMPEG2方式の画像情報S1のビットストリームを非連続的に読み込む。
【0162】
画像復号器5は、読込み器4から供給されるビットストリームに基づいてMPEG2方式に応じた復号処理を行うことにより、当該ビットストリームから高精細度の画像に復元するようになされている。
【0163】
その際、かかる構成の画像再生装置1では、読込み位置指定器3は、読込み器4の出力がMPEG2方式のビットストリームとして矛盾なく復号処理し得るように、読込み位置を指定する必要がある。
【0164】
すなわち、MPEG2方式における通常の画像圧縮情報の各GOPの先頭のIピクチャ(イントラ符号化画像、すなわちフレーム内符号化画像)及びその後に続く数枚のPピクチャ(フレーム間順方向予測符号化画像)のビットストリームを元のMPEG2方式の画像情報のビットストリームから抜き出す。MPEG2方式では、Pピクチャは直前のIピクチャ又はPピクチャを予測フレームとして使用するため、高速再生のために抜き出したストリームでもMPEG2方式のストリームとして矛盾なく復号化し得るようになされている。
【0165】
例えば図11(A)に示すように、MPEG2方式のビットストリームが、GOP単位で所定周期でIピクチャ(I0、I1、…)及びPピクチャ(P0、P1、…)が符号化された後、その間にBピクチャ(双方向予測符号化画像)(B0、B1、…)が後で符号化されて挿入される。すなわち図11(B)に示すように、通常再生におけるI0、B1、B2、P3、B4、B5、P6、……、In、Bn+1、Bn+2、Pn+3のビットストリームから、高速再生では、I0、P3、P6、……、In、Pn+3のビットストリームが抜き出される。
【0166】
ところが、JVT符号化方式の場合には、Pピクチャであっても複数の予測フレームを使用することが可能になっていると共に、MPEG2方式では使用できないBピクチャを予測フレームとして使用できるものの、従来のMPEG2方式の場合と同様にIピクチャ及びPピクチャを抜き出したとしても、予測関係が成り立たないため、予測フレームを容易にすることができず、抜き出し後のストリームを正常に復号化することができないという問題があった。
【0167】
すなわちJVT符号化方式のビットストリームでは、図12(A)に示すように、GOP単位で所定周期で現れるIピクチャ(I0、I1、…)及びPピクチャ(P0、P1、…)のみならず、その間にBピクチャ(B0、B1、…)もPピクチャの予測画像として挿入される。すなわち図12(B)に示すように、通常再生におけるI0、B1、B2、P3、B4、B5、P6、……、In、Bn+1、Bn+2、Pn+3のビットストリームから、高速再生では、I0、P3、P6、……、In、Pn+3のビットストリームが抜き出されても、Pピクチャの予測画像が存在しないため、正常な復号化を行うことが困難となる問題があった。
【0168】
本発明は以上の点を考慮してなされたもので、簡易な構成で短時間かつ正確に復号化処理を行い得る画像復号化装置及び画像復号化方法を提案しようとするものである。
【0169】
【課題を解決するための手段】
かかる課題を解決するため本発明においては、所定の符号化方式に準拠した復号化処理を行う画像復号化装置において、符号化方式で符号化された画像データに対して復号化処理を施す復号化手段と、復号化手段を制御する制御手段とを設け、高速再生モード時、制御手段は、画像データにおける所望位置のIピクチャを基準として当該Iピクチャ及び後続する所定数のPピクチャからなる簡易再生フレームを抽出するように復号化手段を制御するようにした。
【0170】
この結果この画像復号化装置では、高速再生モード時に画像データを全て復号化することなく、そのうちの一部又は全部を簡易再生フレームとして復号化するようにしたことにより、通常再生モード時よりも短い時間で復号化処理を行うことができる。
【0171】
また本発明においては、所定の符号化方式に準拠した復号化処理を行う画像復号化方法において、高速再生モード時、符号化方式で符号化された画像データにおける所望位置のIピクチャを基準として当該Iピクチャ及び後続する所定数のPピクチャからなる簡易再生フレームを抽出するようにした。
【0172】
この結果この画像復号化方法では、高速再生モード時に画像データを全て復号化することなく、そのうちの一部又は全部を簡易再生フレームとして復号化するようにしたことにより、通常再生モード時よりも短い時間で復号化処理を行うことができる。
【0173】
【発明の実施の形態】
以下図面について、本願発明の一実施の形態について説明する。
【0174】
(1)本実施の形態におけるJVT符号化方式に準拠した画像復号化装置の構成図1において、10は本実施の形態におけるJVT符号化方式に準拠した画像復号化装置を示し、外部入力されるビットストリームでなる画像圧縮情報S10を、外部指定された再生モードに応じた復号方法で順次復号処理しながら、表示用の高精細度の画像に復元するようになされている。
【0175】
まず外部入力される画像圧縮情報S10は、蓄積バッファ11に格納された後、所定タイミングで読み出されて可逆復号化部12に送出される。可逆復号化部12では、予め定められた画像圧縮情報のフォーマットに基づき、可変長復号化及び算術復号化等の処理が行われる。
【0176】
その際、可逆復号化部12は、画像圧縮情報S10に基づくフレーム画像がイントラ符号化又はインタ符号化のいずれの符号化方法で行われたものかを判断する。可逆復号化部12は、イントラ符号化であると判断した場合には、画像圧縮情報S10のヘッダ部に書き込まれているイントラ予測モード情報S11Aをも復号化してイントラ予測部13に送出する一方、インタ符号化であると判断した場合には、画像圧縮情報S10のヘッダ部に書き込まれている動きベクトル情報S11Bをも復号化して動き予測・補償部14に送出する。
【0177】
この可逆復号化部12の出力である量子化された離散コサイン変換及びカルーネン・レーベ変換等の直交変換が施された変換係数S11Cは、逆量子化部15において逆量子化された後、逆直交変換部16に送出される。この逆直交変換部16では、与えられた変換係数S11Cは、所定方式に基づく4次の逆直交変換が施された後、加算器17の一入力端に与えられる。
【0178】
ここで可逆復号部12においてイントラ符号化であると判断された場合、加算器17の他入力端には、イントラ予測部13において生成された予測画像が入力される。この加算器17において、逆直交変換された画像情報と予測画像とが合成された後、当該合成結果がデブロックフィルタ18に与えられてブロック歪が除去される。
【0179】
このデブロックフィルタ18を介して得られた加算器17の出力は、画面並べ替えバッファ19に一時的に保持された後、D/A変換部20においてアナログ変換される一方、フレームメモリ21に一時的に格納された後、イントラ予測部13において上述した予測画像が生成される。
【0180】
これに対して可逆復号部12においてインタ符号化であると判断された場合、加算器17の他入力端には、動き予測・補償部14において生成された参照画像が入力される。この加算器17において、逆直交変換された画像情報と参照画像とが合成された後、当該合成結果がデブロックフィルタ18に与えられてブロック歪が除去される。
【0181】
このデブロックフィルタ18を介して得られた加算器17の出力は、画面並べ替えバッファ19に一時的に保持された後、D/A変換部20においてアナログ変換される一方、フレームメモリ21に一時的に格納された後、動き予測・補償部14において、当該フレームメモリ21に格納された画像情報と可逆復号化処理が施された動きベクトル情報とに基づいて上述の参照画像が生成される。
【0182】
かかる構成に加えて、本実施の形態による画像復号化装置10では、再生モード制御部22が設けられており、外部から指定された再生モードに応じて、画像圧縮情報S10のビットストリームの復号化方法を変更し得るようになされている。例えば、通常再生を表す再生モードの場合、画像復号化装置10では、JVT符号化方式に準拠した復号化方法で画像の復号化を行う。
【0183】
これに対して再生モードが早送りや巻戻し等の特殊な再生モードである場合、本実施の形態の場合、JVT符号化方式に準拠する復号化方法ではなく、画像圧縮情報S10のビットストリームの簡易再生を行うようになされている。
【0184】
この画像復号化装置10では、再生モード制御部22は、外部から各種再生モードを表す再生モード信号S12が入力されると共に、可逆復号化部12から復号化された画像、スライス(マクロブロックの集合体)、マクロブロックの復号タイプ、フレーム番号及びマクロブロック位置等が復号画像情報S11Dとして入力される。
【0185】
再生モード制御部22は、再生モード信号S12に基づく再生モードに応じて、ビット読込み位置信号S13Aを可逆復号化部12に送出すると共に、変換係数制御信号S13Bを逆量子化部15に送出し、さらに画像表示信号S13Cを画像並べ替えバッファ19に送出する。
【0186】
(2)高速再生時における簡易再生方法
実際に再生モード制御部22において、再生モード信号S12に基づいて、早送り再生又は巻戻し再生を表す再生モードが指定されると、先頭のIピクチャから復号化の順番での先頭数フレームを簡易再生し、その中の一部又は全部の画像を高速再生用の画像として利用するようになされている。
【0187】
すなわち再生モード制御部22は、画像圧縮情報S10のビットストリームにおけるランダムアクセスポイント直後のフレームであるIピクチャI0から次のIピクチャInの直前までのビットストリームにおいては、IピクチャI0及びPピクチャP3、P6の3フレームのみ(以下、これを簡易再生フレームと呼ぶ)を再生モードに応じた変則再生に使用することとする。この簡易再生フレームを得るためには、予測画像の問題より、I0、B1、B2、P3、B4、B5、P6のビットストリームを復号化する必要がある。
【0188】
再生モード制御部は、再生モードが「早送り」を表す場合には、表示画像が含まれないPピクチャP6の復号化後であってIピクチャInの直前までのビットストリーム(以下、これを読飛ばしストリームと呼ぶ)を復号化する必要がなく、その旨を表すビット読込み信号を可逆復号化部に送出することにより、この可逆復号化部において読飛ばしストリームを復号化することなく読み飛ばさせる。
【0189】
このとき再生モード制御部22は、簡易再生フレームを形成するIピクチャI0及びPピクチャP3、P6のフレームをその順番で順次表示させる旨の画像表示信号S13Cを画像並べ替えバッファ19に送出することにより、この画像並べ替えバッファ19において当該フレーム表示順序に従った早送り再生用の簡易再生フレームを後段のD/A変換部20に送出させる。
【0190】
これに対して再生モード制御部22は、再生モードが「巻戻し」を表す場合には、IピクチャI0の前に位置するランダムアクセスポイントまで、画像圧縮情報S10のビットストリームを遡る旨のビット読込み信号S13Aを可逆復号化部12に送出することにより、この可逆復号化部12において簡易再生フレームの前のランダムアクセスポイントまで戻らせる。
【0191】
このとき再生モード制御部22は、簡易再生フレームを形成するIピクチャI0及びPピクチャP3、P6のフレームをその逆の順番で順次表示させる旨の画像表示信号S13Cを画像並べ替えバッファ19に送出することにより、この画像並べ替えバッファ19において当該フレーム表示順序に従った早巻戻し再生用の簡易再生フレームを後段のD/A変換部20に送出させる。
【0192】
また再生モード制御部22は、再生モードが「早送り」又は「巻戻し」のいずれの場合においても、可逆復号化部12から得られる画像、スライス、マクロブロックの符号化タイプ及びその位置に基づき、変換係数の復号化が必要ない旨又は変換係数のDC(直流)成分のみを復号化する旨を表す変換係数制御信号S13Bとして逆量子化部15に送出することにより、この逆量子化部15において逆量子化処理を行わずに変換係数0又はDC成分のみを後段の逆直交変換部16に送出させる。
【0193】
この結果、逆直交変換部16及び続く加算器17は、入力される変換係数が全て0又はDC成分のみである場合には、逆直交変換処理及び加算処理を簡略化することが可能であり、これによりフレーム内のデコード時間を短縮化することができる。実際に逆直交変換部16は、変換係数のDC成分のみの復号時には、4次の逆直交変換を変換係数のDC成分の乗算に置き換えるようになされている。
【0194】
(2−1)イントラ符号化画像の簡易再生方法
図2(A)〜(D)において、第1〜第4の簡易再生方法に対応して、イントラ符号化された画像から簡易再生フレームを抽出して再生する場合の詳細方法について説明する。このイントラ符号化された画像の1スライスSL分を複数のマクロブロックMBから形成した概略図を示す。これらの図中の斜線部分が復号化されるマクロブロックを表している。
【0195】
(2−1−1)第1の簡易復号化方法
イントラ符号化された画像の復号時に、全てのマクロブロックを復号化せずに、画面中心部分などの予め設定された一部分をスライス単位で復号化する方法である(図2(A))。
【0196】
なお復号化を行わないスライスに関しては、過去に復号化した画像についての同位置の情報をコピーしたり、続いて説明する第2〜第4の簡易復号化を適用することが可能である。
【0197】
(2−1−2)第2の簡易復号化方法
イントラ符号化された画像の復号時に、各スライス内の一部のマクロブロックのみをJVT符号化方式に従って復号化する一方、それ以外のマクロブロックを空間予測(spatial prediction)方式により簡易的に復号化する方法である(図2(B))。
【0198】
JVT符号化方式に従って復号化するマクロブロックは、スライスの先頭により1マクロブロックライン分相当のマクロブロックとする。また、これ以外のマクロブロックに関しては、空間予測方式のみを実行して変換係数の復号化を行わない。
【0199】
(2−1−3)第3の簡易復号化方法
上述した第2の簡易復号化方法に加えて、イントラ符号化された画像の復号時に、JVT符号化方式に従って復号化するマクロブロック以外のマクロブロックを空間予測方式で復号化すると共に変換係数のDC成分のみを再構成することにより簡易的に復号化する方法である(図2(C))。
【0200】
この第3の簡易復号化方法においては、変換係数のAC(交流)成分は全て0として処理を行うことにより、復号化処理の軽減を図るようになされている。
【0201】
(2−1−4)第4の簡易復号化方法
イントラ符号化された画像の復号時に、各スライス内の全てのマクロブロックを空間予測方式で復号化すると共に変換係数のDC成分のみを再構成することにより簡易的に復号化する方法である(図2(D))。この場合も第3の簡易復号化方法と同様に、変換係数のAC係数については全て0として処理を行うことにより、復号化処理の軽減を図るようになされている。
【0202】
上述の第1〜第4の簡易復号化方法を、再生モードに応じて選択的に切換え制御し得るようにしても良い。実際に第2、第3及び第4の簡易復号化方法の順に画質が向上するようになされている。
【0203】
(2−2)インタ符号化画像の簡易再生方法
またインタ符号化された画像の復号時には、図3に示すように、動きベクトルを用いた動き補償による処理のみを復号化を行い、変換係数の再構成は行わない(すなわち変換係数に関してはDC成分及びAC成分にかかわらず全て0であるとして処理を行う)方法である。
【0204】
このとき予測に用いる参照画像は、JVT符号化方式に準拠した復号化画像であっても、このフレーム以前に過去に簡易復号化を行った再構成画像であっても問題はない。
【0205】
(3)本実施の形態による動作及び効果
以上の構成において、JVT符号化方式に準拠した復号化処理を行う画像復号化装置10では、通常再生から高速再生に再生モードが切り換えられると、画像圧縮情報S10のビットストリームにおけるランダムアクセスポイント直後のIピクチャからBピクチャを除いた数ピクチャ分でなる簡易再生フレームについて復号化する。
【0206】
そして「早送り」を表す高速再生モードである場合には、簡易再生フレーム以降の読飛ばしストリームを復号化しないように読み飛ばした後、当該簡易再生フレームを形成するIピクチャ及びPピクチャをその順番で表示させる。
【0207】
これに対して「巻戻し」を表す高速再生モードである場合には、簡易再生フレームの前に位置するランダムアクセスポイントまでビットストリームを遡らせた後、当該簡易再生フレームを形成するIピクチャ及びPピクチャをその逆の順番で表示させる。
【0208】
このように高速再生モード時に画像圧縮情報S10のビットストリームを全て復号化することなく、そのうちの一部又は全部を簡易再生フレームとして復号化することにより、通常再生モード時よりも短い時間で復号化処理を行うことができる。
【0209】
さらに画像復号化装置10において、イントラ符号化された画像の復号時に、簡易再生フレーム内の各ピクチャを形成する複数のスライスについて、当該各スライス単位で、一部又は全部のマクロブロックのみJVT符号化方式に従って復号化し、当該復号対象とならないマクロブロックについては空間予測方式に従う復号化及び又は変換係数のDC成分のみの再構成を実行するようにしたことにより、復号化処理に要する処理時間を短縮化することができる。
【0210】
このことはインタ符号化された画像の復号時には、動きベクトルを用いた動き補償による処理のみを復号化を行って変換係数の再構成は行わないようにしてことでも、同様に復号化処理に要する処理時間を短縮化することができる。
【0211】
以上の構成によれば、JVT符号化方式に準拠した復号化処理を行う画像復号化装置10において、外部入力される再生モードに応じて復号化方法を変更する再生モード制御部22を設け、高速再生モード時に画像圧縮情報S10のビットストリームを全て復号化することなく、そのうちの一部又は全部を簡易再生フレームとして復号化するようにしたことにより、通常再生モード時よりも短い時間で復号化処理を行うことができ、かくして簡易な構成で短時間かつ正確に復号化処理を行い得る画像復号化装置10を実現できる。
【0212】
(4)他の実施の形態
なお上述の本実施の形態においては、JVT符号化方式(所定の符号化方式)に準拠した復号化処理を行う画像復号化装置として、図1に示す構成のものを適用するようにした場合について述べたが、本発明はこれに限らず、この他種々の構成のものを広く適用するようにしても良い。
【0213】
また上述の本実施の形態においては、JVT符号化方式で符号化された画像圧縮情報(画像データ)S10に対して復号化処理を施す復号化手段を可逆復号化部12から構成し、当該可逆復号化部(復号化手段)12を制御する制御手段を再生モード制御部22から構成するようにした場合について述べたが、本発明はこれに限らず、 高速再生モード時、画像圧縮情報(画像データ)S10におけるランダムアクセスポイント(所望位置)のIピクチャを基準として当該Iピクチャ及び後続する所定数のPピクチャからなる簡易再生フレームを抽出することができれば、この他種々の構成のものや一体構成のものなど広く適用することができる。
【0214】
さらに上述の本実施の形態においては、高速再生モードが早送り再生の場合、簡易再生フレーム以降を復号化することなく、当該簡易再生フレームを形成するIピクチャ及び各Pピクチャを順番に復号化する一方、高速再生モードが巻戻し再生の場合、簡易再生フレームの前まで遡らせた後、当該簡易再生フレームを形成するIピクチャ及び各Pピクチャを順次復号化した後、当該復号順序と逆順に簡易再生フレームを出力するようにした場合について述べたが、本発明はこれに限らず、高速再生モードに応じた変則再生時に復号化処理に要する処理時間を短縮化し得れば、この他種々の方法を適用するようにしても良い。
【0215】
さらに上述の本実施の形態においては、JVT符号化方式のうちイントラ符号化(フレーム内符号化)された画像圧縮情報(画像データ)S10における簡易再生フレーム内のIピクチャ及び各Pピクチャについて、スライス単位(所定の情報単位)で当該スライス(情報)内の一部又は全部を復号化する一方、復号化しない部分については、なにもしない第1の処理(図2(A))、空間予測符号化(可逆符号化)により得られた予測方式の信号に準拠して空間予測のみを復号化する第2の処理(図2(B))、DCT変換符号化(変換符号化)による変換係数のDC(直流)成分のみ復号化する第3の処理(図2(C))、又は第2及び第3の処理を組み合わせた第4の処理(図2(D))のいずれかを選択的に行うようにした場合について述べたが、本発明はこれに限らず、これら第1〜第4の処理を再生モードに応じて自動的に選択するようにしても良い。
【0216】
この場合、第2の処理よりも第3及び第4の処理の方が画質が良いことと、第2の処理よりも第3及び第4の処理の方が復号化に要する処理時間が遅いこととバランスを考慮するようにすれば良い。
【0217】
また第2の処理における可逆符号化として空間予測符号化を適用すると共に、第3及び第4の処理における変換符号化としてDCT変換符号化を適用するようにした場合について述べたが、本発明はこれに限らず、この他種々の符号化を広く適用するようにしても良い。
【0218】
さらに上述の実施の形態においては、JVT符号化方式の画像圧縮情報S10が限定された予測フレームを使用している場合、可逆復号化部12(図1)によりビットストリームを形成するフレーム数をさらに減らすことが可能である。例えば、高速再生モード時に用いるフレームがPピクチャであった場合、直前のI又はPピクチャのみから予測を行うようにして予測関係を限定することにより、表示に用いることのないフレームの復号化を行う必要がなくなり、より短時間で復号化処理を行うことができる利点がある。
【0219】
【発明の効果】
上述のように本発明によれば、所定の符号化方式に準拠した復号化処理を行う画像復号化装置において、符号化方式で符号化された画像データに対して復号化処理を施す復号化手段と、復号化手段を制御する制御手段とを設け、高速再生モード時、制御手段は、画像データにおける所望位置のIピクチャを基準として当該Iピクチャ及び後続する所定数のPピクチャからなる簡易再生フレームを抽出するように復号化手段を制御するようにしたことにより、通常再生モード時よりも短い時間で復号化処理を行うことができ、かくして簡易な構成で短時間かつ正確に復号化処理を行い得る画像復号化装置を実現できる。
【0220】
また本発明によれば、所定の符号化方式に準拠した復号化処理を行う画像復号化方法において、高速再生モード時、符号化方式で符号化された画像データにおける所望位置のIピクチャを基準として当該Iピクチャ及び後続する所定数のPピクチャからなる簡易再生フレームを抽出するようにしたことにより、通常再生モード時よりも短い時間で復号化処理を行うことができ、かくして簡易な構成で短時間かつ正確に復号化処理を行い得る画像復号化方法を実現できる。
【図面の簡単な説明】
【図1】本実施の形態による画像復号化装置の構成を示すブロック図である。
【図2】イントラ符号化画像の簡易再生方法の説明に供する略線的な概念図である。
【図3】インタ符号化画像の簡易再生方法の説明に供する略線的な概念図である。
【図4】イントラ4×4モード処理の説明に供する略線的な平面図である。
【図5】イントラ4×4モード処理の説明に供する略線的な平面図である。
【図6】イントラ予測値の生成処理の説明に供する略線的な平面図である。
【図7】イントラ予測値の生成処理の説明に供する略線的な平面図である。
【図8】隣接マクロブロックペアのイントラ予測モードの説明に供する略線的な平面図である。
【図9】JVT符号化方式による動き補償処理の説明に供する略線的な平面図である。
【図10】従来の画像再生装置の構成を示すブロック図である。
【図11】MPEG2方式による復号化方法の説明に供する略線的な概念図である。
【図12】JVT符号化方式による復号化方法の説明に供する略線的な概念図である。
【符号の図面の簡単な説明】
10……画像復号化装置、12……可逆復号化部、13……イントラ予測部、14……動き予測・補償部、15……逆量子化部、16……逆直交変換部、17……加算器、18……デブロックフィルタ、19……画面並べ替えバッファ、21……フレームメモリ、22……再生モード制御部。
【0001】
【発明の属する技術分野】
本発明は画像復号化装置及び画像復号化方法に関し、例えばJVT(Joint Model of Enhanced−Compression Video Coding)符号化方式に準拠した画像復号化装置及び画像復号化方法に適用して好適なものである。
【0002】
【従来の技術】
近年、画像情報をディジタル化して取り扱い、その際、効率の高い情報の伝達及び蓄積を目的とし、画像情報特有の冗長性を利用して、離散コサイン変換等の直交変換と動き補償とにより圧縮するMPEG(Moving Picture Experts Groupe )などの方式に準拠した装置が、放送局などの情報配信及び一般家庭における情報受信の双方において普及しつつある。
【0003】
特にMPEG2(ISO/IEC 13818−2)は、汎用画像符号化方式として定義されており、飛び越し走査画像及び順次走査画像の双方、並びに標準解像度画像及び高精細画像を網羅する標準で、プロフェッショナル用途及びコンシューマ用途の広範なアプリケーションに現在広く用いられている。
【0004】
かかるMPEG2圧縮方式を用いることにより、例えば720×480画素をもつ標準解像度の飛び越し走査画像であれば4〜8〔Mbps〕、1920×1088画素をもつ高解像度の飛び越し走査画像であれば18〜22〔Mbps〕の符号量(ビットレート)を割り当てることで、高い圧縮率と良好な画質の実現が可能である。
【0005】
MPEG2は主として放送用に適合する高画質符号化を対象としていたが、MPEG1より低い符号量(ビットレート)、すなわちより高い圧縮率の符号化方式には対応していなかった。
【0006】
携帯端末の普及により、今後そのような符号化方式のニーズは高まると思われ、これに対応してMPEG4符号化方式の標準化が行われた。画像符号化方式に関しては、1998年12月にISO/IEC 14496−2としてその規格が国際標準に承認された。
【0007】
さらに近年、当初テレビ会議用の画像符号化を目的として、H.26L(ITU−T Q6/16 VCEG)という標準の規格化が進んでいる。H.26LはMPEG2やMPEG4といった従来の符号化方式に比べ、その符号化、復号化により多くの演算量が要求されるものの、より高い符号化効率が実現されることが知られている。
【0008】
また現在、MPEG4の活動の一環として、このH.26Lをベースに、当該H.26Lではサポートされていない機能をも取り入れ、より高い符号化効率を実現する標準化がJVT符号化方式として行われている。標準化のスケジュールとしては、2003年3月にはH.264及びMPEG−4 Part10(Advanced Video Coding)という名の元に国際標準となる予定である。
【0009】
ここでJVT符号化方式について説明する。入力される画像信号は、まずA/D変換されてディジタル化された後、出力となる画像圧縮情報のGOP(Group of Pictures)構造に応じて、フレーム画像の並べ替えを行う。
【0010】
イントラ符号化が行われる画像に関しては、入力画像と、イントラ予測により生成される画素値の差分情報が離散コサイン変換及びカルーネン・レーベ変換等の直交変換が施された後、その結果得られる変換係数に対して量子化処理が施される。
【0011】
量子化された変換係数は、可変長符号化及び算術符号化等の可逆符号化が施された後、蓄積されて画像圧縮情報として出力される。かかる量子化処理は当該蓄積状態に応じてフィードバック的にレート制御される。
【0012】
一方、量子化された変換係数は、逆量子化処理及び逆直交変換処理が施されて復号化画像情報となり、デブロックフィルタ処理によりブロック歪の除去が施された後、その情報がフレームメモリに蓄積されながら、イントラ予測処理に供される。
【0013】
このイントラ予測処理において、ブロック/マクロブロックに対して適用されたイントラ予測モードに関する情報は、可逆符号化処理に供されて、画像圧縮情報におけるヘッダ情報の一部として符号化される。
【0014】
またインタ符号化が行われる画像に関しては、まず画像情報は動き予測・補償処理されると同時に、参照となる画像情報がフレームメモリから読み出されて、動き予測・補償処理を施された後、参照画像情報が生成される。参照画像情報は当該画像情報との差分信号へ変換される。
【0015】
動き補償・予測処理では、同時に動きベクトル情報を可逆符号化処理を施して、画像圧縮情報のヘッダ部に挿入される情報を形成する。その他の処理はイントラ符号化が施される画像圧縮情報と同様である。
【0016】
このJVT符号化方式においては、入力となる画像情報が飛び越し走査である場合には、2つのマクロブロックをペア(Pair)(以下、マクロブロックペアと呼ぶ)として、それぞれのマクロブロックペアに対して、フィールドモード又はフレームモードにより符号化することが可能である。
【0017】
以下では、JVT符号化方式において定められているイントラ予測の方法について述べる。
【0018】
イントラ予測処理において入力となるパラメータは、当該マクロブロックのmb_type、prev_intra4×4_pred_mode_flag(if available)、rem_intra4×4_pred_mode(if available)、intra_chroma_pred_mode(if available)、隣接マクロブロック(又は隣接マクロブロックペア)の画素値である。また、出力となるパラメータは、当該マクロブロック(又は当該マクロブロックペア)に対する予測画素値である。イントラ予測は、デブロックフィルタ処理前の画素値を用いて行われる。
【0019】
以下では、まず、輝度信号に対するイントラ予測方式について述べる。輝度信号に対する処理は、以下に述べるように、当該マクロブロックが、イントラ4×4モードであるか、イントラ16×16モードであるかによって、その処理が異なる。
【0020】
まず、イントラ4×4モードにおける処理は以下の通りである。
【0021】
この処理は、mb_part_pred_mode(mb_type、0)が、Intra_4×4に等しい時に適用され、入力となるパラメータは、prev_intra4×4_pred_mode_flag、rem_intra4×4_pred_mode(if available)、周辺輝度blockの、De‐blocking filtering処理前の画素値(if available)であり、出力は、当該マクロブロックに対する輝度信号の予測値である。輝度信号4×4ブロックのスキャン順は、図4R>4に示す通りである。
【0022】
以下では、まず、adaptive_frame_field_flagの値が0の時、当該ブロックのイントラ予測が”available”か、”not available”かの判定を行う処理について述べる。この処理の入力は、当該輝度ブロックの位置、隣接ブロックに含まれる、復号化処理処理済みの輝度画素値(デブロックフィルタ処理前のもの)であり、出力は、図5に示されるA〜Mの画素値が”available”であるかどうかである。4×4LumaBlkLocを、4×4LumaBlkIdxにより指し示される。4×4輝度ブロックの、左上部の画素値の位置と定義する。4×4LumaBlkIdxにより指し示される、4×4輝度ブロックに含まれるそれぞれの画素値は、図5におけるa〜pであり、これらは隣接する画素値A〜Mにより予測される。画素値の位置は、4×4LumaBlkLocにより指し示される。例えばdの位置は、
【0023】
【数1】
【0024】
で表される。
【0025】
またAの位置は、
【0026】
【数2】
【0027】
のように示される。
【0028】
画素値A〜Mは、以下の第1〜第3のいずれか一つでも成り立つ時、”not available”であるとする。第1に、当該画素が、ピクチャ外、若しくはスライス外である時、第2に、復号化処理において、当該画素が、当該ブロックより後に処理されるブロックに属する時、第3に、constrainde_intra_pred_flag=0で、当該ブロックがインターマクロブロックに属する時である。
【0029】
E〜Hが”not available”であるが、Dが”available”の時、E〜Hを”available”であるとして、その値はDで代用する。
【0030】
次に、mb_adaptive_frame_filed_flagの値が1で、field_pic_flagの値が0の時の処理について述べる。図5に示された画素値a〜pに対して、隣接画素A〜Mが以下のように定義される。すなわち、当該マクロブロックがframe decoding modeの場合、mb_adaptive_field_flagの値が0である場合と同様の処理が行われる。
【0031】
当該マクロブロックが、field decoding modeで、top macroblockである場合には、
【0032】
【数3】
【0033】
のように隣接画素値が定義される。
【0034】
また当該マクロブロックが、field decoding modeで、bottom field macroblockである場合には、
【0035】
【数4】
【0036】
のように隣接画素値が定義される。
【0037】
次に、イントラ予測値の生成処理について述べる。本処理の入力は、prev_inrta4×4_pred_flag、rem_intra4×4_pred_mode、4×4LumaBlkIdxによって指し示される4×4輝度ブロックの位置、LumaBlkLoc[4×4LumaBlkIdx]であり、出力は、Intra4×4LumaPredMode[4×4LumaBlkIdx]である。図6にntra4×4LumaPredMode[4×4LumaBlkIdx]及びそれに対応する予測モードの名称を示す。
【0038】
Intra4×4LumaPredMode[4×4LumaBlkIdx]の値が0、1、3、4、5、6、7、8の時、予測方向はそれぞれ図7に示す通りである。
【0039】
adaptive_frame_field_flagが0の時、若しくは、field_pic_flagが1の時、隣接マクロブロックのアドレス検出並びに、”availability”の検出は以下のように行われる。この処理の入力は、MbAddress(当該マクロブロックのアドレス)であり、出力は、MbAddressA(当該マクロブロックの左に位置するマクロブロックのアドレス)、MbAddressB(当該マクロブロックの上に位置するマクロブロックのアドレス)及び、これら2つのマクロブロックのアドレス”availability”である。
【0040】
あるマクロブロックのアドレスMbAddressに対して、第1に、MbAddress<0、第2に、MbAddress>Max MbAddress−1、第3に、MbAddressにより指定されるマクロブロックが異なるスライスに属するものである、第4に、MbAddressにより指定されるマクロブロックが復号化済みではない、でなる第1〜第4のいずれかが成り立つ時、このMbAddressで指定されるマクロブロックは、”not available”であるとされる。
【0041】
この処理が、隣接するマクロブロックA及びBに以下のように適用される。すなわち、第一の処理に関しては、入力はMbPairAddressA=MbPairAddress−1であり、出力はMbPairAddressAが”available”であるかどうかである。第二の処理に関しては、入力はMbPairAddressB=MbPairAddress−(frame_width_in_mbs_minus1+1)であり、出力はMbPairAddressBが”available”であるかどうかである。
【0042】
adaptive_frame_field_flagが0、若しくは。Field_pic_flegが1の時、隣接のマクロブロックのアドレス検出並びに”availability”の検出は以下のように行われる。この処理の入力パラメータは、MbAddressAであり、出力は変数”ExIntra4×4LumaPred”の値(4つ)である。
【0043】
まず、当該マクロブロックの左部に位置するマクロブロックに関してであるが、MbAddressAで指し示されるマクロブロックが”available”で、MbAddressAで指し示されるマクロブロックのmb_typeが、I_4×4若しくはSIの時、ExIntra4×4LumaPredModeの値は
【0044】
【数5】
【0045】
のように得られる。
【0046】
ここで、Intra4×4LumaPredModeは、MbAddressAにより指し示されるマクロブロックに対して割り当てられた値である。
【0047】
MbAressAで指し示されるマクロブロックが”available”でないか、若しくは、そのmb_typeがI_4×4でもSIでもない場合、ExIntra4×4LumaPredModeの値は、
【0048】
【数6】
【0049】
の処理により得られる。
【0050】
次に、当該マクロブロックの上部に位置するマクロブロックに関してであるが、入力となるパラメータは、MbAddressB出力となるパラメータは、変数”ExtIntra4×4LumaPred”の値(4つ)となる。
【0051】
MbAddressBで指し示されるマクロブロックが、”available”で、MbAddressBで指し示されるマクロブロックmb_type_が、I_4×4若しくはSIの時、ExIntra4×4LumaPredModeの値は、
【0052】
【数7】
【0053】
の処理により得られる。
【0054】
ここで、Intra4×4LumaPredModeは、MbAddressBにより指し示されるマクロブロックに対して割り当てられた値である。
【0055】
MbAddressBで指し示されるマクロブロックが”avaiable”でないか、若しくは、そのmb_typeがI_4×4でもSIでもない場合、ExIntra4×4LumaPredModeの値は、
【0056】
【数8】
【0057】
の処理により得られる。
【0058】
次に、上述したようなマクロブロックレベルのフィールド/フレーム適応型符号化を行う際の、隣接マクロブロックペアのイントラ予測モードに関する情報の抽出方法について述べる。
【0059】
当該マクロブロックのmb_adaptive_field_flagが1で、field_pic_flagが0の時適用される処理について述べる。
【0060】
まず、当該マクロブロックペアが、frame modeの時であるが、入力となる情報は、MbPairAddressA及びMbPairAddressBであり、出力となる情報は、top macroblock、bottom macroblockそれぞれに対して、当該マクロブロックに対するExIntra4×4LumaPredModeTop及びExIntra4×4LumaPredModeBottom(合計8個)である。
【0061】
Top macroblockに関しては、上述の式(5)に記述された処理の、MbAddressAとして、MbPairAddressAが入力され、この結果、ExIntra4×4LumaPredModeTopが出力される。また、上述の式(7)に記述された、MbAddressBとして、MbPairAddressBが入力され、この結果、ExIntra4×4PredModeTopが出力される。
【0062】
次に、Bottpm Macroblockに関しては、上述の式(5)に記述された処理の、MbAddressAとして、MbPairAddressAが入力され、この結果ExIntra4×4LumaPredModeBottomが出力される。また上述の式(7)に記述された処理の、MbAddressBとして、MbPairAddressBが入力され、この結果、ExIntra4×4LumaPredModeBottomが出力される。
【0063】
まず、当該マクロブロックペアが、field modeの時であるが、入力となる情報は、MbPairAddressA及びMbPairAddressBであり、出力となる情報は、top macroblock、bottom macroblockそれぞれに対して、当該マクロブロックに対するExIntra4×4LumaPredModeTop及びExIntra4×4LumaPredModeBottom(合計8個)である。
【0064】
隣接マクロブロックペアのMbPairAddressAに対する処理は、以下の通りである。すなわち、8.3.1.2.3.1に記述された処理の、MbAddressAとして、MbPairAddressAが入力され、この結果、ExIntra4×4PredModeTopが出力される。また、上述の式(5)に記述された処理の、MbPairAddressAが入力され、この結果ExIntra4×4LumaPredModeBottomが出力される。
【0065】
隣接マクロブロックペアのMbPairAddressBがfiled modeである時、若しくは、”available”ではない時、以下の処理が適用される。すなわち、当該MB Pairにおけるtop macroblockに関しては、上述の式(7)に述べられている処理が適用され、その入力は、MbPairAddressBで指し示されるMB Pairのtop macroblockが、MBAddressBとして用いられる。その出力はExIntra4×4LumaPredModeTopとなる。また、当該MBPairAddressBで指し示されるMBPairのbottom macroblockが、MBAddressBとして用いられる。その出力はExIntra4×4LumaPredModeBottomとなる。
【0066】
隣接マクロブロックペアMbPairAddressBがframe modeである時、以下の処理が適用される。すなわち、当該MB Pairにおけるtop macroblockに関しては、上述の式(7)に述べられている処理が適用され、その入力は、MBPairAddressBで指し閉めされるMB Pairのbottom macroblockが、MBAddressBとして用いられる。その出力はExIntra4×4LumaPredModeTopとなる。また、当該MB Pairにおけるbottom macroblockに関しては、上述の式(7)に述べられている処理が適用され、その入力は、MBPairAddressBで指し示されるMB Pair のbottom macroblockが、MBAddressBとして用いられる。その出力はExIntra4×4LumaPredModeBottomとなる。
【0067】
図8に、当該マクロブロックペアがfield modeの際の、上述の処理を図示する。
【0068】
次に、当該マクロブロックに対するIntra4×4LumaPredModeの復号化処理について述べる。
【0069】
この処理は、adaptive_frame_field_flagが1、若しくは、field_pic_flagが1の時適用される。入力となる情報は、prev_intra4×4_pred_mode_flag、rem_intra4×4_pred_mode並びにExIntra4×4LumaPredModeであり、出力となる情報は、当該macroblock(MbAddressにより指定される)に対するIntra_4×4LumaPredModeである。その処理は、
【0070】
【数9】
【0071】
の擬似コードにより記述される通りである。
【0072】
次に、上述したような、マクロブロックペア(MB Pair)に対するIntra4×4LumaPredModeの復号化処理について述べる。
【0073】
この処理は、mb_adaptive_frame_field_flagが1で、field_pic_flagが0の時適用される。
【0074】
当該マクロブロックペアのtop macroblcokに対するprev_intra4×4_pred_mode_flag、rem_intra4×4_pred_mode、ExIntra4×4LumaModePredTopが、式(8)に記述された処理の入力となり、その出力である、Intra4×4LumaPredModeが、当該マクロブロックペアのtop macroblockに対して割り当てられる。
【0075】
当該マクロブロックぺアのbottom macroblockに対するprev_intra4×4_pred_mode_flag、rem_intra4×4_pred_mode、ExIntra4×4LumaPredModeが、式(8)に記述された処理の入力となり、その出力である、Intra4×4LumaPredModeが、当該マクロブロックペアのbottom macroblockに対して割り当てられる。
【0076】
次に、イントラ4×4モードにおける、イントラ予測の復号化処理にして述べる。
【0077】
入力となるパラメータは、図5において示された隣接画素値A〜M及び当該4×4ブロックに対して定義されるIntra4×4LumaPredMode[4×4LumaBlkIdx]であり、出力となるパラメータは、4×4LumaBlkIdxによって指定される4×4ブロックに対する予測画素値である。Intra4×4LumaPredMode[4×4LumaBlkIdx]の値に応じて、以下に述べる。いずれかのイントラ予測モードが用いられる。
【0078】
以下では、Vertical予測の方法について述べる。この予測方法は、Intra4×4LumaPredMode[4×4LumaBlkIdx]が0の時適用される。A、B、C、Dが”available”の場合のみ適用される。それぞれの予測値は、
【0079】
【数10】
【0080】
の通りである。
【0081】
以下では、Horizontal予測の方法について述べる。この予測方法は、Intra4×4LumaPredMode[4×4LumaBlkIdx]が1の時適用される。I、J、K、Lが”available”の場合のみ適用される。それぞれの予測値は、
【0082】
【数11】
【0083】
の通りである。
【0084】
以下では、DC予測の方法について述べる。この予測方法は、Intra4×4LumaPredMode[4×4LumaBlkIdx]が2の時適用される。画素a〜pの全てに対する予測値として、以下の値が用いられる。
【0085】
すなわち、A、B、C、D、I、J、K、Lが全て”available”である時、予測値は、
【0086】
【数12】
【0087】
とする。
【0088】
A、B、C、Dが全て”unavailable”である時、予測値は、
【0089】
【数13】
【0090】
とする。
【0091】
I、J、K、Lが全て”unavailable”である時、予測値は、
【0092】
【数14】
【0093】
とする。
【0094】
A、B、C、D、I、J、K、Lが全て”available”である時、128を予測値として用いる。
【0095】
以下では、Diagonal_Down_Left予測について述べる。この予測方法は、Intra4×4LumaPredMode[4×4LumaBlkIdx]が3の時適用される。A、B、C、D、I、J、K、L、Mが全て”available”の場合のみ適用される。それぞれの予測値は、
【0096】
【数15】
【0097】
の通りである。
【0098】
以下では、Diagonal_Down_Right予測について述べる。この予測方法は、Intra4×4LumaPredMode[4×4LumaBlkIdx]が4の時適用される。A、B、C、D、I、J、K、L、Mが”available”の場合のみ適用される。それぞれの予測値は、
【0099】
【数16】
【0100】
の通りである。
【0101】
以下では、Diagonal_Vertical_Right予測について述べる。この予測方法は、Intra4×4LumaPredMode[4×4LumaBlkIdx]が5の時適用される。A、B、C、D、I、J、K、L、Mが”available”の場合のみ適用される。それぞれの予測値は、
【0102】
【数17】
【0103】
の通りである。
【0104】
以下では、Horizontal_Downについて述べる。この予測方法は、Intra4×4LumaPredMode[4×4LumaBlkIdx]が6の時適用される。A、B、C、D、I、J、K、L、Mが”available”の場合のみ適用される。それぞれの予測値は、
【0105】
【数18】
【0106】
以下の通りである。
【0107】
以下では、Vertical_Left予測値について述べる。この予測方法は、Intra4×4LumaPredMode[4×4LumaBlkIdx]が7の時適用される。A、B、C、D、I、J、K、L、Mが”available”の場合のみ適用される。それぞれの予測値は、
【0108】
【数19】
【0109】
の通りである。
【0110】
以下では、Horizontal_Up予測について述べる。この予測方法は、Intra4×4LumaPredMode[4×4LumaBlkIdx]が8の時適用される。A、B、C、D、I、J、K、L、Mが”available”の場合のみ適用される。それぞれの予測値は、
【0111】
【数20】
【0112】
の通りである。
【0113】
次に、当該輝度信号が、イントラ16×16モードであるマクロブロックに属する場合の、イントラ予測の方法について述べる。この処理は、mb_part_pred_mode(mb_type、0)が、Intra16×16と等しい時、適用される。入力となるパラメータは、当該マクロブロックに対するmb_type及び当該マクロブロックの隣接画素値の、De−blocking filtering処理前の値であり、出力となるパラメータは、当該マクロブロックに対する予測画素値である。
【0114】
以下では、当該マクロブロックに属する画素値を、P(x、y);x、y=0..15で表す。また、隣接画素値は、P(x、−1)及びP(−1、y);=−1..15で表す。
【0115】
P(x、−1)及びP(−1、y)について、以下のいずれかが成り立つ時、”unavailable”であるとする。すなわち、当該ピクチャ又は当該スライス内に存在しない時、隣接画素値が非イントラマクロブロックに所属し、かつconstrained_intra_pred_flagが1の時である。
【0116】
イントラ16×16モードの時、以下に述べる4通りのいずれかの方法によりイントラ予測が行われる。
【0117】
Mode0はvertaicl予測であり、P(x、−1);x、y=−1..15が”available”である時にのみ適用される。生成される予測値は、
【0118】
【数21】
【0119】
の通りである。
【0120】
Mode1はhorizontal予測であり、P(−1、y);x、y=−1..15が”available”である時にのみ適用される。生成される予測値は、
【0121】
【数22】
【0122】
の通りである。
【0123】
Mode2はDC予測であり、予測値は以下のように生成される。すなわち、P(x、−1)及びP(−1、y);x、y=−1..15が全て”available”である場合には、
【0124】
【数23】
【0125】
となる。
【0126】
P(x、−1);x、y=−1..15が”not available”である場合には、
【0127】
【数24】
【0128】
となる。
【0129】
P(−1、y);x、y=−1..15が”not available”である場合には、
【0130】
【数25】
【0131】
となる。
【0132】
P(x、−1)及びP(−1、y);x、y=−1..15が全て”notavailable”である場合には、予測値として128を用いる。
【0133】
Mode3はplane予測である。この予測モードは、P(x、−1)及びP(−1、y);x、y=−1..15が全て”availeble”の場合のみ適用される。予測値の生成は、
【0134】
【数26】
【0135】
に示す通りである。ここでClip1は0〜255の範囲でのクリップ処理を表す。
【0136】
次に、色差信号に対するイントラ予測について述べる。この処理は、Iマクロブロック並びにSIマクロブロックに対してのみ適用される。入力となるパラメータは、intra_chroma_pred_mode及びデブロックフィルタ処理前の、隣接画素値であり、出力となるパラメータは、当該マクロブロックの色差信号に対する予測値である。
【0137】
以下では、当該マクロブロックに属する画素値を、P(x、y);x、y=0..7で表す。また、隣接画素値は、P(x、−1)及びP(−1、y)=−1..7で表す。
【0138】
色差信号に対するイントラ予測モードは、輝度信号に対するそれとは独立に設定することが可能である。
【0139】
P(x、−1)及びP(−1、y)について、以下のいずれかが成り立つ時、”unavailable”であるとする。すなわち、当該ピクチャ又は当該スライス内に存在しない時、隣接画素値が非イントラマクロブロックに所属し、かつconstrained_intra_pred_flagが1の時である。
【0140】
Mode0はDC予測であり、その予測値は以下の通りである。すなわち、P(x、−1)及びP(−1、y)が”available”である場合には、
【0141】
【数27】
【0142】
が成り立つ。
【0143】
P(−1、y)が”not available”である場合には、
【0144】
【数28】
【0145】
が成り立つ。
【0146】
P(x、−1)が”not available”である場合には、
【0147】
【数29】
【0148】
が成り立つ。
【0149】
P(x、−1)及びP(−1、y)が”not available”である場合には、予測値として128を用いる。
【0150】
Mode1はhorizontal予測であり、P(−1、y)が”not available”である場合にのみ適用される。その予測値は、
【0151】
【数30】
【0152】
に示す通りである。
【0153】
Mode2はvertical予測であり、P(x、−1)が”available”である場合にのみ適用される。その予測値は、
【0154】
【数31】
【0155】
に示す通りである。
【0156】
Mode3はplane予測であり、P(x、−1)及びP(−1、y)が”available”である場合にのみ適用される。その予測値は、
【0157】
【数32】
【0158】
に示す通りである。
【0159】
ところでJVT符号化方式では、図9に示すように、単一のマクロブロックを、16×16、16×8、8×8の大きさの単一又は複数の動き予測ブロックに分割し、動き補償処理を行うことが可能である。8×8動き予測ブロックのそれぞれに関しては、図9に示す通り、さらに8×8、8×4、4×8又は4×4のサブブロックに分割し、動き補償処理を行うことが可能である。
【0160】
【発明が解決しようとする課題】
ところで、DVDに代表される画像再生装置では、メディアから通常の再生速度での再生のみならず、高速早送り再生や高速巻戻し再生にも対応している。図10に画像再生装置1の概略構成を示す。
【0161】
この画像再生装置1では、メディア2から再生されたMPEG2方式の画像情報に付加されたビットストリームの読込み位置情報S1が読込み位置指定器3に供給される。この読込み位置指定器3は、外部から高速早送り再生や高速巻戻し再生等の再生モード信号S2を受け取ると、読込み位置情報S1に基づいて、指定された再生モードに適する読込み位置を読込み器4に指定させる。この読込み器4では、読込み位置指定器3によって指定された読込み位置に従って、メディア2からMPEG2方式の画像情報S1のビットストリームを非連続的に読み込む。
【0162】
画像復号器5は、読込み器4から供給されるビットストリームに基づいてMPEG2方式に応じた復号処理を行うことにより、当該ビットストリームから高精細度の画像に復元するようになされている。
【0163】
その際、かかる構成の画像再生装置1では、読込み位置指定器3は、読込み器4の出力がMPEG2方式のビットストリームとして矛盾なく復号処理し得るように、読込み位置を指定する必要がある。
【0164】
すなわち、MPEG2方式における通常の画像圧縮情報の各GOPの先頭のIピクチャ(イントラ符号化画像、すなわちフレーム内符号化画像)及びその後に続く数枚のPピクチャ(フレーム間順方向予測符号化画像)のビットストリームを元のMPEG2方式の画像情報のビットストリームから抜き出す。MPEG2方式では、Pピクチャは直前のIピクチャ又はPピクチャを予測フレームとして使用するため、高速再生のために抜き出したストリームでもMPEG2方式のストリームとして矛盾なく復号化し得るようになされている。
【0165】
例えば図11(A)に示すように、MPEG2方式のビットストリームが、GOP単位で所定周期でIピクチャ(I0、I1、…)及びPピクチャ(P0、P1、…)が符号化された後、その間にBピクチャ(双方向予測符号化画像)(B0、B1、…)が後で符号化されて挿入される。すなわち図11(B)に示すように、通常再生におけるI0、B1、B2、P3、B4、B5、P6、……、In、Bn+1、Bn+2、Pn+3のビットストリームから、高速再生では、I0、P3、P6、……、In、Pn+3のビットストリームが抜き出される。
【0166】
ところが、JVT符号化方式の場合には、Pピクチャであっても複数の予測フレームを使用することが可能になっていると共に、MPEG2方式では使用できないBピクチャを予測フレームとして使用できるものの、従来のMPEG2方式の場合と同様にIピクチャ及びPピクチャを抜き出したとしても、予測関係が成り立たないため、予測フレームを容易にすることができず、抜き出し後のストリームを正常に復号化することができないという問題があった。
【0167】
すなわちJVT符号化方式のビットストリームでは、図12(A)に示すように、GOP単位で所定周期で現れるIピクチャ(I0、I1、…)及びPピクチャ(P0、P1、…)のみならず、その間にBピクチャ(B0、B1、…)もPピクチャの予測画像として挿入される。すなわち図12(B)に示すように、通常再生におけるI0、B1、B2、P3、B4、B5、P6、……、In、Bn+1、Bn+2、Pn+3のビットストリームから、高速再生では、I0、P3、P6、……、In、Pn+3のビットストリームが抜き出されても、Pピクチャの予測画像が存在しないため、正常な復号化を行うことが困難となる問題があった。
【0168】
本発明は以上の点を考慮してなされたもので、簡易な構成で短時間かつ正確に復号化処理を行い得る画像復号化装置及び画像復号化方法を提案しようとするものである。
【0169】
【課題を解決するための手段】
かかる課題を解決するため本発明においては、所定の符号化方式に準拠した復号化処理を行う画像復号化装置において、符号化方式で符号化された画像データに対して復号化処理を施す復号化手段と、復号化手段を制御する制御手段とを設け、高速再生モード時、制御手段は、画像データにおける所望位置のIピクチャを基準として当該Iピクチャ及び後続する所定数のPピクチャからなる簡易再生フレームを抽出するように復号化手段を制御するようにした。
【0170】
この結果この画像復号化装置では、高速再生モード時に画像データを全て復号化することなく、そのうちの一部又は全部を簡易再生フレームとして復号化するようにしたことにより、通常再生モード時よりも短い時間で復号化処理を行うことができる。
【0171】
また本発明においては、所定の符号化方式に準拠した復号化処理を行う画像復号化方法において、高速再生モード時、符号化方式で符号化された画像データにおける所望位置のIピクチャを基準として当該Iピクチャ及び後続する所定数のPピクチャからなる簡易再生フレームを抽出するようにした。
【0172】
この結果この画像復号化方法では、高速再生モード時に画像データを全て復号化することなく、そのうちの一部又は全部を簡易再生フレームとして復号化するようにしたことにより、通常再生モード時よりも短い時間で復号化処理を行うことができる。
【0173】
【発明の実施の形態】
以下図面について、本願発明の一実施の形態について説明する。
【0174】
(1)本実施の形態におけるJVT符号化方式に準拠した画像復号化装置の構成図1において、10は本実施の形態におけるJVT符号化方式に準拠した画像復号化装置を示し、外部入力されるビットストリームでなる画像圧縮情報S10を、外部指定された再生モードに応じた復号方法で順次復号処理しながら、表示用の高精細度の画像に復元するようになされている。
【0175】
まず外部入力される画像圧縮情報S10は、蓄積バッファ11に格納された後、所定タイミングで読み出されて可逆復号化部12に送出される。可逆復号化部12では、予め定められた画像圧縮情報のフォーマットに基づき、可変長復号化及び算術復号化等の処理が行われる。
【0176】
その際、可逆復号化部12は、画像圧縮情報S10に基づくフレーム画像がイントラ符号化又はインタ符号化のいずれの符号化方法で行われたものかを判断する。可逆復号化部12は、イントラ符号化であると判断した場合には、画像圧縮情報S10のヘッダ部に書き込まれているイントラ予測モード情報S11Aをも復号化してイントラ予測部13に送出する一方、インタ符号化であると判断した場合には、画像圧縮情報S10のヘッダ部に書き込まれている動きベクトル情報S11Bをも復号化して動き予測・補償部14に送出する。
【0177】
この可逆復号化部12の出力である量子化された離散コサイン変換及びカルーネン・レーベ変換等の直交変換が施された変換係数S11Cは、逆量子化部15において逆量子化された後、逆直交変換部16に送出される。この逆直交変換部16では、与えられた変換係数S11Cは、所定方式に基づく4次の逆直交変換が施された後、加算器17の一入力端に与えられる。
【0178】
ここで可逆復号部12においてイントラ符号化であると判断された場合、加算器17の他入力端には、イントラ予測部13において生成された予測画像が入力される。この加算器17において、逆直交変換された画像情報と予測画像とが合成された後、当該合成結果がデブロックフィルタ18に与えられてブロック歪が除去される。
【0179】
このデブロックフィルタ18を介して得られた加算器17の出力は、画面並べ替えバッファ19に一時的に保持された後、D/A変換部20においてアナログ変換される一方、フレームメモリ21に一時的に格納された後、イントラ予測部13において上述した予測画像が生成される。
【0180】
これに対して可逆復号部12においてインタ符号化であると判断された場合、加算器17の他入力端には、動き予測・補償部14において生成された参照画像が入力される。この加算器17において、逆直交変換された画像情報と参照画像とが合成された後、当該合成結果がデブロックフィルタ18に与えられてブロック歪が除去される。
【0181】
このデブロックフィルタ18を介して得られた加算器17の出力は、画面並べ替えバッファ19に一時的に保持された後、D/A変換部20においてアナログ変換される一方、フレームメモリ21に一時的に格納された後、動き予測・補償部14において、当該フレームメモリ21に格納された画像情報と可逆復号化処理が施された動きベクトル情報とに基づいて上述の参照画像が生成される。
【0182】
かかる構成に加えて、本実施の形態による画像復号化装置10では、再生モード制御部22が設けられており、外部から指定された再生モードに応じて、画像圧縮情報S10のビットストリームの復号化方法を変更し得るようになされている。例えば、通常再生を表す再生モードの場合、画像復号化装置10では、JVT符号化方式に準拠した復号化方法で画像の復号化を行う。
【0183】
これに対して再生モードが早送りや巻戻し等の特殊な再生モードである場合、本実施の形態の場合、JVT符号化方式に準拠する復号化方法ではなく、画像圧縮情報S10のビットストリームの簡易再生を行うようになされている。
【0184】
この画像復号化装置10では、再生モード制御部22は、外部から各種再生モードを表す再生モード信号S12が入力されると共に、可逆復号化部12から復号化された画像、スライス(マクロブロックの集合体)、マクロブロックの復号タイプ、フレーム番号及びマクロブロック位置等が復号画像情報S11Dとして入力される。
【0185】
再生モード制御部22は、再生モード信号S12に基づく再生モードに応じて、ビット読込み位置信号S13Aを可逆復号化部12に送出すると共に、変換係数制御信号S13Bを逆量子化部15に送出し、さらに画像表示信号S13Cを画像並べ替えバッファ19に送出する。
【0186】
(2)高速再生時における簡易再生方法
実際に再生モード制御部22において、再生モード信号S12に基づいて、早送り再生又は巻戻し再生を表す再生モードが指定されると、先頭のIピクチャから復号化の順番での先頭数フレームを簡易再生し、その中の一部又は全部の画像を高速再生用の画像として利用するようになされている。
【0187】
すなわち再生モード制御部22は、画像圧縮情報S10のビットストリームにおけるランダムアクセスポイント直後のフレームであるIピクチャI0から次のIピクチャInの直前までのビットストリームにおいては、IピクチャI0及びPピクチャP3、P6の3フレームのみ(以下、これを簡易再生フレームと呼ぶ)を再生モードに応じた変則再生に使用することとする。この簡易再生フレームを得るためには、予測画像の問題より、I0、B1、B2、P3、B4、B5、P6のビットストリームを復号化する必要がある。
【0188】
再生モード制御部は、再生モードが「早送り」を表す場合には、表示画像が含まれないPピクチャP6の復号化後であってIピクチャInの直前までのビットストリーム(以下、これを読飛ばしストリームと呼ぶ)を復号化する必要がなく、その旨を表すビット読込み信号を可逆復号化部に送出することにより、この可逆復号化部において読飛ばしストリームを復号化することなく読み飛ばさせる。
【0189】
このとき再生モード制御部22は、簡易再生フレームを形成するIピクチャI0及びPピクチャP3、P6のフレームをその順番で順次表示させる旨の画像表示信号S13Cを画像並べ替えバッファ19に送出することにより、この画像並べ替えバッファ19において当該フレーム表示順序に従った早送り再生用の簡易再生フレームを後段のD/A変換部20に送出させる。
【0190】
これに対して再生モード制御部22は、再生モードが「巻戻し」を表す場合には、IピクチャI0の前に位置するランダムアクセスポイントまで、画像圧縮情報S10のビットストリームを遡る旨のビット読込み信号S13Aを可逆復号化部12に送出することにより、この可逆復号化部12において簡易再生フレームの前のランダムアクセスポイントまで戻らせる。
【0191】
このとき再生モード制御部22は、簡易再生フレームを形成するIピクチャI0及びPピクチャP3、P6のフレームをその逆の順番で順次表示させる旨の画像表示信号S13Cを画像並べ替えバッファ19に送出することにより、この画像並べ替えバッファ19において当該フレーム表示順序に従った早巻戻し再生用の簡易再生フレームを後段のD/A変換部20に送出させる。
【0192】
また再生モード制御部22は、再生モードが「早送り」又は「巻戻し」のいずれの場合においても、可逆復号化部12から得られる画像、スライス、マクロブロックの符号化タイプ及びその位置に基づき、変換係数の復号化が必要ない旨又は変換係数のDC(直流)成分のみを復号化する旨を表す変換係数制御信号S13Bとして逆量子化部15に送出することにより、この逆量子化部15において逆量子化処理を行わずに変換係数0又はDC成分のみを後段の逆直交変換部16に送出させる。
【0193】
この結果、逆直交変換部16及び続く加算器17は、入力される変換係数が全て0又はDC成分のみである場合には、逆直交変換処理及び加算処理を簡略化することが可能であり、これによりフレーム内のデコード時間を短縮化することができる。実際に逆直交変換部16は、変換係数のDC成分のみの復号時には、4次の逆直交変換を変換係数のDC成分の乗算に置き換えるようになされている。
【0194】
(2−1)イントラ符号化画像の簡易再生方法
図2(A)〜(D)において、第1〜第4の簡易再生方法に対応して、イントラ符号化された画像から簡易再生フレームを抽出して再生する場合の詳細方法について説明する。このイントラ符号化された画像の1スライスSL分を複数のマクロブロックMBから形成した概略図を示す。これらの図中の斜線部分が復号化されるマクロブロックを表している。
【0195】
(2−1−1)第1の簡易復号化方法
イントラ符号化された画像の復号時に、全てのマクロブロックを復号化せずに、画面中心部分などの予め設定された一部分をスライス単位で復号化する方法である(図2(A))。
【0196】
なお復号化を行わないスライスに関しては、過去に復号化した画像についての同位置の情報をコピーしたり、続いて説明する第2〜第4の簡易復号化を適用することが可能である。
【0197】
(2−1−2)第2の簡易復号化方法
イントラ符号化された画像の復号時に、各スライス内の一部のマクロブロックのみをJVT符号化方式に従って復号化する一方、それ以外のマクロブロックを空間予測(spatial prediction)方式により簡易的に復号化する方法である(図2(B))。
【0198】
JVT符号化方式に従って復号化するマクロブロックは、スライスの先頭により1マクロブロックライン分相当のマクロブロックとする。また、これ以外のマクロブロックに関しては、空間予測方式のみを実行して変換係数の復号化を行わない。
【0199】
(2−1−3)第3の簡易復号化方法
上述した第2の簡易復号化方法に加えて、イントラ符号化された画像の復号時に、JVT符号化方式に従って復号化するマクロブロック以外のマクロブロックを空間予測方式で復号化すると共に変換係数のDC成分のみを再構成することにより簡易的に復号化する方法である(図2(C))。
【0200】
この第3の簡易復号化方法においては、変換係数のAC(交流)成分は全て0として処理を行うことにより、復号化処理の軽減を図るようになされている。
【0201】
(2−1−4)第4の簡易復号化方法
イントラ符号化された画像の復号時に、各スライス内の全てのマクロブロックを空間予測方式で復号化すると共に変換係数のDC成分のみを再構成することにより簡易的に復号化する方法である(図2(D))。この場合も第3の簡易復号化方法と同様に、変換係数のAC係数については全て0として処理を行うことにより、復号化処理の軽減を図るようになされている。
【0202】
上述の第1〜第4の簡易復号化方法を、再生モードに応じて選択的に切換え制御し得るようにしても良い。実際に第2、第3及び第4の簡易復号化方法の順に画質が向上するようになされている。
【0203】
(2−2)インタ符号化画像の簡易再生方法
またインタ符号化された画像の復号時には、図3に示すように、動きベクトルを用いた動き補償による処理のみを復号化を行い、変換係数の再構成は行わない(すなわち変換係数に関してはDC成分及びAC成分にかかわらず全て0であるとして処理を行う)方法である。
【0204】
このとき予測に用いる参照画像は、JVT符号化方式に準拠した復号化画像であっても、このフレーム以前に過去に簡易復号化を行った再構成画像であっても問題はない。
【0205】
(3)本実施の形態による動作及び効果
以上の構成において、JVT符号化方式に準拠した復号化処理を行う画像復号化装置10では、通常再生から高速再生に再生モードが切り換えられると、画像圧縮情報S10のビットストリームにおけるランダムアクセスポイント直後のIピクチャからBピクチャを除いた数ピクチャ分でなる簡易再生フレームについて復号化する。
【0206】
そして「早送り」を表す高速再生モードである場合には、簡易再生フレーム以降の読飛ばしストリームを復号化しないように読み飛ばした後、当該簡易再生フレームを形成するIピクチャ及びPピクチャをその順番で表示させる。
【0207】
これに対して「巻戻し」を表す高速再生モードである場合には、簡易再生フレームの前に位置するランダムアクセスポイントまでビットストリームを遡らせた後、当該簡易再生フレームを形成するIピクチャ及びPピクチャをその逆の順番で表示させる。
【0208】
このように高速再生モード時に画像圧縮情報S10のビットストリームを全て復号化することなく、そのうちの一部又は全部を簡易再生フレームとして復号化することにより、通常再生モード時よりも短い時間で復号化処理を行うことができる。
【0209】
さらに画像復号化装置10において、イントラ符号化された画像の復号時に、簡易再生フレーム内の各ピクチャを形成する複数のスライスについて、当該各スライス単位で、一部又は全部のマクロブロックのみJVT符号化方式に従って復号化し、当該復号対象とならないマクロブロックについては空間予測方式に従う復号化及び又は変換係数のDC成分のみの再構成を実行するようにしたことにより、復号化処理に要する処理時間を短縮化することができる。
【0210】
このことはインタ符号化された画像の復号時には、動きベクトルを用いた動き補償による処理のみを復号化を行って変換係数の再構成は行わないようにしてことでも、同様に復号化処理に要する処理時間を短縮化することができる。
【0211】
以上の構成によれば、JVT符号化方式に準拠した復号化処理を行う画像復号化装置10において、外部入力される再生モードに応じて復号化方法を変更する再生モード制御部22を設け、高速再生モード時に画像圧縮情報S10のビットストリームを全て復号化することなく、そのうちの一部又は全部を簡易再生フレームとして復号化するようにしたことにより、通常再生モード時よりも短い時間で復号化処理を行うことができ、かくして簡易な構成で短時間かつ正確に復号化処理を行い得る画像復号化装置10を実現できる。
【0212】
(4)他の実施の形態
なお上述の本実施の形態においては、JVT符号化方式(所定の符号化方式)に準拠した復号化処理を行う画像復号化装置として、図1に示す構成のものを適用するようにした場合について述べたが、本発明はこれに限らず、この他種々の構成のものを広く適用するようにしても良い。
【0213】
また上述の本実施の形態においては、JVT符号化方式で符号化された画像圧縮情報(画像データ)S10に対して復号化処理を施す復号化手段を可逆復号化部12から構成し、当該可逆復号化部(復号化手段)12を制御する制御手段を再生モード制御部22から構成するようにした場合について述べたが、本発明はこれに限らず、 高速再生モード時、画像圧縮情報(画像データ)S10におけるランダムアクセスポイント(所望位置)のIピクチャを基準として当該Iピクチャ及び後続する所定数のPピクチャからなる簡易再生フレームを抽出することができれば、この他種々の構成のものや一体構成のものなど広く適用することができる。
【0214】
さらに上述の本実施の形態においては、高速再生モードが早送り再生の場合、簡易再生フレーム以降を復号化することなく、当該簡易再生フレームを形成するIピクチャ及び各Pピクチャを順番に復号化する一方、高速再生モードが巻戻し再生の場合、簡易再生フレームの前まで遡らせた後、当該簡易再生フレームを形成するIピクチャ及び各Pピクチャを順次復号化した後、当該復号順序と逆順に簡易再生フレームを出力するようにした場合について述べたが、本発明はこれに限らず、高速再生モードに応じた変則再生時に復号化処理に要する処理時間を短縮化し得れば、この他種々の方法を適用するようにしても良い。
【0215】
さらに上述の本実施の形態においては、JVT符号化方式のうちイントラ符号化(フレーム内符号化)された画像圧縮情報(画像データ)S10における簡易再生フレーム内のIピクチャ及び各Pピクチャについて、スライス単位(所定の情報単位)で当該スライス(情報)内の一部又は全部を復号化する一方、復号化しない部分については、なにもしない第1の処理(図2(A))、空間予測符号化(可逆符号化)により得られた予測方式の信号に準拠して空間予測のみを復号化する第2の処理(図2(B))、DCT変換符号化(変換符号化)による変換係数のDC(直流)成分のみ復号化する第3の処理(図2(C))、又は第2及び第3の処理を組み合わせた第4の処理(図2(D))のいずれかを選択的に行うようにした場合について述べたが、本発明はこれに限らず、これら第1〜第4の処理を再生モードに応じて自動的に選択するようにしても良い。
【0216】
この場合、第2の処理よりも第3及び第4の処理の方が画質が良いことと、第2の処理よりも第3及び第4の処理の方が復号化に要する処理時間が遅いこととバランスを考慮するようにすれば良い。
【0217】
また第2の処理における可逆符号化として空間予測符号化を適用すると共に、第3及び第4の処理における変換符号化としてDCT変換符号化を適用するようにした場合について述べたが、本発明はこれに限らず、この他種々の符号化を広く適用するようにしても良い。
【0218】
さらに上述の実施の形態においては、JVT符号化方式の画像圧縮情報S10が限定された予測フレームを使用している場合、可逆復号化部12(図1)によりビットストリームを形成するフレーム数をさらに減らすことが可能である。例えば、高速再生モード時に用いるフレームがPピクチャであった場合、直前のI又はPピクチャのみから予測を行うようにして予測関係を限定することにより、表示に用いることのないフレームの復号化を行う必要がなくなり、より短時間で復号化処理を行うことができる利点がある。
【0219】
【発明の効果】
上述のように本発明によれば、所定の符号化方式に準拠した復号化処理を行う画像復号化装置において、符号化方式で符号化された画像データに対して復号化処理を施す復号化手段と、復号化手段を制御する制御手段とを設け、高速再生モード時、制御手段は、画像データにおける所望位置のIピクチャを基準として当該Iピクチャ及び後続する所定数のPピクチャからなる簡易再生フレームを抽出するように復号化手段を制御するようにしたことにより、通常再生モード時よりも短い時間で復号化処理を行うことができ、かくして簡易な構成で短時間かつ正確に復号化処理を行い得る画像復号化装置を実現できる。
【0220】
また本発明によれば、所定の符号化方式に準拠した復号化処理を行う画像復号化方法において、高速再生モード時、符号化方式で符号化された画像データにおける所望位置のIピクチャを基準として当該Iピクチャ及び後続する所定数のPピクチャからなる簡易再生フレームを抽出するようにしたことにより、通常再生モード時よりも短い時間で復号化処理を行うことができ、かくして簡易な構成で短時間かつ正確に復号化処理を行い得る画像復号化方法を実現できる。
【図面の簡単な説明】
【図1】本実施の形態による画像復号化装置の構成を示すブロック図である。
【図2】イントラ符号化画像の簡易再生方法の説明に供する略線的な概念図である。
【図3】インタ符号化画像の簡易再生方法の説明に供する略線的な概念図である。
【図4】イントラ4×4モード処理の説明に供する略線的な平面図である。
【図5】イントラ4×4モード処理の説明に供する略線的な平面図である。
【図6】イントラ予測値の生成処理の説明に供する略線的な平面図である。
【図7】イントラ予測値の生成処理の説明に供する略線的な平面図である。
【図8】隣接マクロブロックペアのイントラ予測モードの説明に供する略線的な平面図である。
【図9】JVT符号化方式による動き補償処理の説明に供する略線的な平面図である。
【図10】従来の画像再生装置の構成を示すブロック図である。
【図11】MPEG2方式による復号化方法の説明に供する略線的な概念図である。
【図12】JVT符号化方式による復号化方法の説明に供する略線的な概念図である。
【符号の図面の簡単な説明】
10……画像復号化装置、12……可逆復号化部、13……イントラ予測部、14……動き予測・補償部、15……逆量子化部、16……逆直交変換部、17……加算器、18……デブロックフィルタ、19……画面並べ替えバッファ、21……フレームメモリ、22……再生モード制御部。
【特許請求の範囲】
【請求項1】
所定の符号化方式に準拠した復号化処理を行う画像復号化装置において、
上記符号化方式で符号化された画像データに対して上記復号化処理を施す復号化手段と、
上記復号化手段を制御する制御手段と
を具え、
高速再生モード時、上記制御手段は、上記画像データにおける所望位置のIピクチャを基準として当該Iピクチャ及び後続する所定数のPピクチャからなる簡易再生フレームを抽出するように上記復号化手段を制御する
ことを特徴とする画像復号化装置。
【請求項2】
上記制御部は、
上記高速再生モードが早送り再生の場合、上記簡易再生フレーム以降を復号化することなく、当該簡易再生フレームを形成する上記Iピクチャ及び各上記Pピクチャを順番に復号化するように上記復号化手段を制御する一方、
上記高速再生モードが巻戻し再生の場合、上記簡易再生フレームの前まで遡らせた後、当該簡易再生フレームを形成する上記Iピクチャ及び各上記Pピクチャを順次復号化した後、当該復号順序と逆順に上記簡易再生フレームを出力するように上記復号化手段を制御する
ことを特徴とする請求項1に記載の画像復号化装置。
【請求項3】
上記制御手段は、
上記符号化方式のうちフレーム内符号化された上記画像データにおける上記簡易再生フレーム内の上記Iピクチャ及び各上記Pピクチャについて、所定の情報単位で当該情報内の一部又は全部を復号化するように上記復号化手段を制御する一方、
当該復号化しない部分については、なにもしない第1の処理、可逆符号化により得られた予測方式の信号に準拠して空間予測のみを復号化する第2の処理、変換符号化による変換係数の直流成分のみ復号化する第3の処理、又は上記第2及び第3の処理を組み合わせた第4の処理のいずれかを選択的に行うように上記復号化手段を制御する
ことを特徴とする請求項1に記載の画像復号化装置。
【請求項4】
所定の符号化方式に準拠した復号化処理を行う画像復号化方法において、
高速再生モード時、上記符号化方式で符号化された画像データにおける所望位置のIピクチャを基準として当該Iピクチャ及び後続する所定数のPピクチャからなる簡易再生フレームを抽出する
ことを特徴とする画像復号化方法。
【請求項5】
上記高速再生モードが早送り再生の場合、上記簡易再生フレーム以降を復号化することなく、当該簡易再生フレームを形成する上記Iピクチャ及び各上記Pピクチャを順番に復号化する一方、
上記高速再生モードが巻戻し再生の場合、上記簡易再生フレームの前まで遡らせた後、当該簡易再生フレームを形成する上記Iピクチャ及び各上記Pピクチャを順次復号化した後、当該復号順序と逆順に上記簡易再生フレームを出力する
ことを特徴とする請求項4に記載の画像復号化方法。
【請求項6】
上記符号化方式のうちフレーム内符号化された上記画像データにおける上記簡易再生フレーム内の上記Iピクチャ及び各上記Pピクチャについて、所定の情報単位で当該情報内の一部又は全部を復号化する一方、
当該復号化しない部分については、なにもしない第1の処理、可逆符号化により得られた予測方式の信号に準拠して空間予測のみを復号化する第2の処理、変換符号化による変換係数の直流成分のみ復号化する第3の処理、又は上記第2及び第3の処理を組み合わせた第4の処理のいずれかを選択的に行う
ことを特徴とする請求項4に記載の画像復号化方法。
【請求項1】
所定の符号化方式に準拠した復号化処理を行う画像復号化装置において、
上記符号化方式で符号化された画像データに対して上記復号化処理を施す復号化手段と、
上記復号化手段を制御する制御手段と
を具え、
高速再生モード時、上記制御手段は、上記画像データにおける所望位置のIピクチャを基準として当該Iピクチャ及び後続する所定数のPピクチャからなる簡易再生フレームを抽出するように上記復号化手段を制御する
ことを特徴とする画像復号化装置。
【請求項2】
上記制御部は、
上記高速再生モードが早送り再生の場合、上記簡易再生フレーム以降を復号化することなく、当該簡易再生フレームを形成する上記Iピクチャ及び各上記Pピクチャを順番に復号化するように上記復号化手段を制御する一方、
上記高速再生モードが巻戻し再生の場合、上記簡易再生フレームの前まで遡らせた後、当該簡易再生フレームを形成する上記Iピクチャ及び各上記Pピクチャを順次復号化した後、当該復号順序と逆順に上記簡易再生フレームを出力するように上記復号化手段を制御する
ことを特徴とする請求項1に記載の画像復号化装置。
【請求項3】
上記制御手段は、
上記符号化方式のうちフレーム内符号化された上記画像データにおける上記簡易再生フレーム内の上記Iピクチャ及び各上記Pピクチャについて、所定の情報単位で当該情報内の一部又は全部を復号化するように上記復号化手段を制御する一方、
当該復号化しない部分については、なにもしない第1の処理、可逆符号化により得られた予測方式の信号に準拠して空間予測のみを復号化する第2の処理、変換符号化による変換係数の直流成分のみ復号化する第3の処理、又は上記第2及び第3の処理を組み合わせた第4の処理のいずれかを選択的に行うように上記復号化手段を制御する
ことを特徴とする請求項1に記載の画像復号化装置。
【請求項4】
所定の符号化方式に準拠した復号化処理を行う画像復号化方法において、
高速再生モード時、上記符号化方式で符号化された画像データにおける所望位置のIピクチャを基準として当該Iピクチャ及び後続する所定数のPピクチャからなる簡易再生フレームを抽出する
ことを特徴とする画像復号化方法。
【請求項5】
上記高速再生モードが早送り再生の場合、上記簡易再生フレーム以降を復号化することなく、当該簡易再生フレームを形成する上記Iピクチャ及び各上記Pピクチャを順番に復号化する一方、
上記高速再生モードが巻戻し再生の場合、上記簡易再生フレームの前まで遡らせた後、当該簡易再生フレームを形成する上記Iピクチャ及び各上記Pピクチャを順次復号化した後、当該復号順序と逆順に上記簡易再生フレームを出力する
ことを特徴とする請求項4に記載の画像復号化方法。
【請求項6】
上記符号化方式のうちフレーム内符号化された上記画像データにおける上記簡易再生フレーム内の上記Iピクチャ及び各上記Pピクチャについて、所定の情報単位で当該情報内の一部又は全部を復号化する一方、
当該復号化しない部分については、なにもしない第1の処理、可逆符号化により得られた予測方式の信号に準拠して空間予測のみを復号化する第2の処理、変換符号化による変換係数の直流成分のみ復号化する第3の処理、又は上記第2及び第3の処理を組み合わせた第4の処理のいずれかを選択的に行う
ことを特徴とする請求項4に記載の画像復号化方法。
【図1】
【図2】
【図3】
【図4】
【図5】
【図6】
【図7】
【図8】
【図9】
【図10】
【図11】
【図12】
【図2】
【図3】
【図4】
【図5】
【図6】
【図7】
【図8】
【図9】
【図10】
【図11】
【図12】
【公開番号】特開2004−328511(P2004−328511A)
【公開日】平成16年11月18日(2004.11.18)
【国際特許分類】
【出願番号】特願2003−122472(P2003−122472)
【出願日】平成15年4月25日(2003.4.25)
【出願人】(000002185)ソニー株式会社 (34,172)
【Fターム(参考)】
【公開日】平成16年11月18日(2004.11.18)
【国際特許分類】
【出願日】平成15年4月25日(2003.4.25)
【出願人】(000002185)ソニー株式会社 (34,172)
【Fターム(参考)】
[ Back to top ]