画像符号化方法および画像復号方法、画像符号化装置および画像復号装置、並びに画像符号化ビットストリーム及び記録媒体
【課題】3つの色成分に対して4:0:0フォーマットを使用して符号化処理を行った場合に1ピクチャ分のデータを一つのアクセスユニットに含めることを可能とするとともに、それぞれの色成分間で時間情報を揃えたり、符号化モードを揃えたりすることを可能とする。
【解決手段】複数の色成分からなる入力画像信号に対して圧縮処理を行う画像符号化方式において、それぞれの色成分の入力画像信号を独立に符号化処理を行うことにより得られる符号化データと、前記符号化データがどの色成分のものに対してのものであるかを示すパラメータとを、ビットストリームに多重する。また、複数の色成分からなる画像信号が圧縮されたビットストリームを入力して復号処理を行う画像復号方式において、どの色成分のものに対する符号化データであるかを示すパラメータを用いてそれぞれの色成分の符号化データの復号処理を行う。
【解決手段】複数の色成分からなる入力画像信号に対して圧縮処理を行う画像符号化方式において、それぞれの色成分の入力画像信号を独立に符号化処理を行うことにより得られる符号化データと、前記符号化データがどの色成分のものに対してのものであるかを示すパラメータとを、ビットストリームに多重する。また、複数の色成分からなる画像信号が圧縮されたビットストリームを入力して復号処理を行う画像復号方式において、どの色成分のものに対する符号化データであるかを示すパラメータを用いてそれぞれの色成分の符号化データの復号処理を行う。
【発明の詳細な説明】
【技術分野】
【0001】
この発明は、複数の色成分からなる入力画像信号に対して圧縮処理を行う画像符号化方法と装置および複数の色成分からなる画像信号が圧縮されたビットストリームを入力して復号処理を行う画像復号方法と装置、並びに画像符号化ビットストリーム及び記録媒体に関するものである。
【背景技術】
【0002】
従来、MPEGやITU−TH.26xなどの国際標準映像符号化方式では、主として「4:2:0」フォーマットと呼ばれる入力信号フォーマットの使用を前提としてきた。4:2:0フォーマットとは、RGBなどのカラー画像信号を、輝度成分(Y)と2つの色差成分(CB、CR)に変換し、色差成分のサンプル数を輝度成分のサンプル数に対して水平方向・垂直方向ともに半分に削減したフォーマットのことである。人間の視覚特性上、色差成分は輝度成分に比べて視認性が劣ることから、従来の国際標準映像符号化方式では、符号化を行う前に色差成分のサンプル数を減らすことで符号化対象の情報量を削減しておくことを前提としていた。
【0003】
一方、近年のビデオディスプレイの高解像度化・高階調化に伴い、色差成分をダウンサンプルすることなく輝度成分と同一サンプルで符号化する方式についての検討も行われている。輝度成分と色差成分とが同一のサンプル数のフォーマットは「4:4:4」フォーマットと呼ばれている。そして、4:4:4フォーマットを入力する符号化方式として「ハイ444プロファイル」が策定されている(例えば、非特許文献1参照)。
【0004】
従来の4:2:0フォーマットでは色差成分のダウンサンプルを前提とし、Y、CB、CRという色空間にのみ限定されていたのに対し、4:4:4フォーマットでは色成分間にサンプル比の区別がないため、Y、CB、CRのほか、R,G,Bを直接使用したり、そのほかの色空間を定義して利用したりすることが可能である。
【先行技術文献】
【非特許文献】
【0005】
【非特許文献1】ISO/IEC 14496−10|ITU−T H.264規格(Advanced Video Coding:AVC)
【発明の概要】
【発明が解決しようとする課題】
【0006】
ISO/IEC 14496−10|ITU−TH.264(2005)規格(以下、AVCと称す)で定義されたハイ444プロファイルを用いると、従来の符号化方式と同様に、マクロブロックを単位とした符号化処理・復号処理を行う必要がある。
【0007】
すなわち、ひとつのマクロブロックの中に3つの色成分のデータが含まれているため、それぞれの色成分のデータをマクロブロック単位に順番に処理を行うこととなるため、符号化・復号処理を並列化する、という目的には好ましくない。
【0008】
一方、AVCでは、4:0:0フォーマットが定義されている。これは、元々は輝度成分のみの画像、すなわちモノクロ画像の符号化処理を対象としたものである。この4:0:0フォーマットを用いて、4:4:4フォーマットの3つの色成分に対してそれぞれを4:0:0フォーマットで符号化処理を行うことによって3つの独立した符号化データを生成する、という方法をとることもできる。この場合、それぞれの色成分を独立に処理することとなるため、並列処理が可能となる。
【0009】
しかし、それぞれの色成分を独立に処理を行うこととなるため、それぞれの色成分間で時間情報を合わせたり、符号化モードを揃えたりする、というような処理を現在の標準規格では実現することが不可能であった。そのため、ランダムアクセス再生(早送りや巻き戻しなど)やピクチャ単位の編集処理が容易に実現できない、という問題が発生するものであった。
【0010】
この問題についてさらに説明する。AVCで定義されている各種データは、アクセスユニットデリミタ(AUD)、シーケンスパラメータセット(SPS)、ピクチャパラメータセット(PPS)、ピクチャデータの順序で配置されている。なお、本発明に関係しないデータについてはここでは割愛する。
【0011】
また、AVCでは、一つのアクセスユニット(AU)は一つのピクチャ(1フレームもしくは1フィールドに相当する)によって構成するもの、と定義されている。アクセスユニットの境界はアクセスユニットデリミタ(AUD)を用いて示すことができる。例えばAVCのBaselineプロファイルであれば、各ピクチャの境界にアクセスユニットデリミタが配置されるため、アクセスユニットデリミタを検出することにより一つのアクセスユニットを独立にかつ簡単に取り出すことができ、一つのピクチャ分のデータを復号することが可能である。
【0012】
一方、現在のAVC方式を用いて4:0:0フォーマットで3つの色成分を符号化した場合、それぞれの色成分ごとにアクセスユニットが定義されることとなり、一つのピクチャは3つのアクセスユニットにより構成されることとなる。そのため、アクセスユニットデリミタを検出するだけでは一つのピクチャ分のデータを取り出すことができなく、ランダムアクセス再生やピクチャ単位の編集処理が容易に実現できなくなる。また、それぞれの色成分ごとで独立に符号化処理が行われるため、時間情報を揃えたり、符号化モードを揃えたりすることが困難になるものである。
【0013】
そこで、この発明では、AVCを拡張することにより、4:4:4フォーマットの3つの色成分に対してそれぞれを4:0:0フォーマットを使用して符号化処理を行った場合においても1ピクチャ分のデータを一つのアクセスユニットに含めることを可能とするとともに、それぞれの色成分間で時間情報を揃えたり、符号化モードを揃えたりすることを可能とする画像符号化方法および画像復号方法、画像符号化装置および画像復号装置、並びに画像符号化ビットストリーム及び記録媒体を提供することを目的とする。
【課題を解決するための手段】
【0014】
この発明に係る画像符号化方法は、複数の色成分からなる入力画像信号に対して圧縮処理を行う画像符号化方式において、それぞれの色成分の入力画像信号を独立に符号化処理を行うことにより得られる符号化データと、前記符号化データがどの色成分のものに対してのものであるかを示すパラメータとを、ビットストリームに多重することを特徴とする。
【0015】
また、この発明に係る画像復号方法は、複数の色成分からなる画像信号が圧縮されたビットストリームを入力して復号処理を行う画像復号方式において、どの色成分のものに対する符号化データであるかを示すパラメータを用いてそれぞれの色成分の符号化データの復号処理を行い、前記符号化データがどの色成分のデータに対してのものであるかを示すパラメータを、前記ビットストリームのシンタックスのうち、スライスヘッダの一部から検出することを特徴とする。
【0016】
また、この発明に係る画像復号方法は、複数の色成分からなる画像信号が圧縮されたビットストリームを入力して復号処理を行う画像復号方法において、どの色成分のものに対する符号化データであるかを示すパラメータを用いてそれぞれの色成分の符号化データの復号処理を行い、一つのアクセスユニットの中にデリミタで各色成分毎に区切られてまとめて並べられる前記色成分の符号化データを検出することを特徴とする。
【0017】
また、この発明に係る画像復号方法は、複数の色成分からなる画像信号が圧縮されたビットストリームを入力して復号処理を行う画像復号方法において、どの色成分のものに対する符号化データであるかを示すパラメータを用いてそれぞれの色成分の符号化データの復号処理を行い、前記符号化データがどの色成分のものに対してのものであるかを示すパラメータを、前記ビットストリームのシンタックスのうち、NALユニットのヘッダ情報の一部から検出することを特徴とする。
【0018】
また、この発明に係る画像復号方法は、複数の色成分からなる画像信号が圧縮されたビットストリームを入力して復号処理を行う画像復号方法において、どの色成分のものに対する符号化データであるかを示すパラメータを用いてそれぞれの色成分の符号化データの復号処理を行い、前記符号化データのスライスの空間的な構造を全ての色成分に対して共通とすることを特徴とする。
【0019】
また、この発明に係る画像復号方法は、複数の色成分からなる画像信号が圧縮されたビットストリームを入力して復号処理を行う画像復号方法において、どの色成分のものに対する符号化データであるかを示すパラメータを用いてそれぞれの色成分の符号化データの復号処理を行い、前記符号化データの符号化のタイプを全ての色成分に対して共通とすることを特徴とする。
【0020】
また、この発明に係る画像復号方法は、複数の色成分からなる画像信号が圧縮されたビットストリームを入力して復号処理を行う画像復号方法において、どの色成分のものに対する符号化データであるかを示すパラメータを用いてそれぞれの色成分の符号化データの復号処理を行い、前記符号化データのシーケンスパラメータセットのIDに含まれる複数のフォーマットのパラメータに基づき、異なるフォーマットで復号処理を行うモードを切り替えることを特徴とする。
【0021】
また、この発明に係る画像符号化装置は、複数の色成分からなる入力画像信号に対して圧縮処理を行う画像符号化装置において、それぞれの色成分の入力画像信号を独立に符号化処理を行うことにより得られる符号化データと、前記符号化データがどの色成分のデータに対してのものであるかを示すパラメータとを、ビットストリームに多重する多重手段を備えたことを特徴とする。
【0022】
また、この発明に係る画像符号化ビットストリームは、複数の色成分からなる入力画像信号を圧縮符号化した結果生成されるビットストリームであって、各色成分の画像信号の圧縮データをスライス単位に構成し、該スライスのヘッダ領域に該スライスデータがいずれの色成分の圧縮データを含むか否かを示すパラメータが多重されることを特徴とする。
【0023】
また、この発明に係る記録媒体は、複数の色成分からなる入力画像信号を圧縮符号化した結果生成されるビットストリームであって、各色成分の画像信号の圧縮データをスライス単位に構成し、該スライスのヘッダ領域に該スライスデータがいずれの色成分の圧縮データを含むか否かを示すパラメータが多重された画像符号化ビットストリームが記録されたことを特徴とする。
【0024】
また、この発明に係る画像符号化装置は、4:4:4フォーマットのカラー画像を圧縮符号化してビットストリームを生成する画像符号化装置において、4:4:4フォーマットの各色成分の信号を4:0:0フォーマットで独立に符号化を行うか否かを示す識別情報をビットストリームに多重するとともに、該識別情報が、各色成分の信号を4:0:0フォーマットで独立に符号化することを示す場合に、4:4:4フォーマットの各色成分を独立に4:0:0フォーマットのピクチャとして符号化することを特徴とする。
【0025】
また、この発明に係る画像符号化方法は、4:4:4フォーマットのカラー画像を圧縮符号化してビットストリームを生成する画像符号化方法において、4:4:4フォーマットの各色成分の信号を4:0:0フォーマットで独立に符号化を行うか否かを示す識別情報をビットストリームに多重するとともに、該識別情報が、各色成分の信号を4:0:0フォーマットで独立に符号化することを示す場合に、4:4:4フォーマットの各色成分を独立に4:0:0フォーマットのピクチャとして符号化することを特徴とする。
【0026】
また、この発明に係る画像復号装置は、4:4:4フォーマットのカラー画像を圧縮符号化して生成されたビットストリームを入力として、カラー画像信号を復号する画像復号装置において、前記ビットストリームから、各色成分の信号が独立に4:0:0フォーマットで符号化されているか否かを示す識別情報を復号するとともに、該識別情報が、各色成分の信号が独立に4:0:0フォーマットで符号化されていることを示す場合は、同一フレームないしはフィールドに属する4:0:0フォーマットで符号化された3枚の独立したピクチャ符号化データをまとめた単位をアクセスユニットとして認識することを特徴とする。
【0027】
また、この発明に係る画像復号方法は、4:4:4フォーマットのカラー画像を圧縮符号化して生成されたビットストリームを入力として、カラー画像信号を復号する画像復号方法において、前記ビットストリームから、各色成分の信号が独立に4:0:0フォーマットで符号化されているか否かを示す識別情報を復号するとともに、該識別情報が、各色成分の信号が独立に4:0:0フォーマットで符号化されていることを示す場合は、同一フレームないしはフィールドに属する4:0:0フォーマットで符号化された3枚の独立したピクチャ符号化データをまとめた単位をアクセスユニットとして認識することを特徴とする。
【0028】
また、この発明に係る画像符号化装置は、4:4:4フォーマットのカラー画像を圧縮符号化してビットストリームを生成する画像符号化装置において、4:4:4フォーマットの各色成分の信号を4:0:0フォーマットで独立に符号化を行うか否かを示す識別情報をビットストリームに多重するとともに、該識別情報が、各色成分の信号を4:0:0フォーマットで独立に符号化することを示す場合に、同一フレームないしはフィールドに属する4:0:0フォーマットで符号化された3枚の独立したピクチャ符号化データをまとめた単位をアクセスユニットとして符号化することを特徴とする。
【0029】
また、この発明に係る画像符号化方法は、4:4:4フォーマットのカラー画像を圧縮符号化してビットストリームを生成する画像符号化方法において、4:4:4フォーマットの各色成分の信号を4:0:0フォーマットで独立に符号化を行うか否かを示す識別情報をビットストリームに多重するとともに、該識別情報が、各色成分の信号を4:0:0フォーマットで独立に符号化することを示す場合に、同一フレームないしはフィールドに属する4:0:0フォーマットで符号化された3枚の独立したピクチャ符号化データをまとめた単位をアクセスユニットとして符号化することを特徴とする。
【0030】
また、この発明に係る画像復号装置は、4:4:4フォーマットのカラー画像を圧縮符号化して生成されたビットストリームを入力として、カラー画像信号を復号する画像復号装置において、前記ビットストリームから、各色成分の信号が独立に4:0:0フォーマットで符号化されているか否かを示す識別情報を復号するとともに、該識別情報が、各色成分の信号が独立に4:0:0フォーマットで符号化されていることを示す場合は、スライスヘッダから、当該スライスに含まれる符号化データがいずれの色成分の符号化データを識別するための色成分識別情報を復号することを特徴とする。
【0031】
また、この発明に係る画像復号方法は、4:4:4フォーマットのカラー画像を圧縮符号化して生成されたビットストリームを入力として、カラー画像信号を復号する画像復号方法において、前記ビットストリームから、各色成分の信号が独立に4:0:0フォーマットで符号化されているか否かを示す識別情報を復号するとともに、該識別情報が、各色成分の信号が独立に4:0:0フォーマットで符号化されていることを示す場合は、スライスヘッダから、当該スライスに含まれる符号化データがいずれの色成分の符号化データを識別するための色成分識別情報を復号することを特徴とする。
【0032】
また、この発明に係る画像符号化装置は、4:4:4フォーマットのカラー画像を圧縮符号化してビットストリームを生成する画像符号化装置において、4:4:4フォーマットの各色成分の信号を4:0:0フォーマットで独立に符号化を行うか否かを示す識別情報をビットストリームに多重するとともに、該識別情報が、各色成分の信号を4:0:0フォーマットで独立に符号化することを示す場合に、スライスヘッダに、当該スライスに含まれる符号化データがいずれの色成分の符号化データを識別するための色成分識別情報を多重するとともに、異なる色成分の符号化データを含むスライスデータを任意の順序でビットストリームに多重することを特徴とする。
【0033】
また、この発明に係る画像符号化方法は、4:4:4フォーマットのカラー画像を圧縮符号化してビットストリームを生成する画像符号化方法において、4:4:4フォーマットの各色成分の信号を4:0:0フォーマットで独立に符号化を行うか否かを示す識別情報をビットストリームに多重するとともに、該識別情報が、各色成分の信号を4:0:0フォーマットで独立に符号化することを示す場合に、スライスヘッダに、当該スライスに含まれる符号化データがいずれの色成分の符号化データを識別するための色成分識別情報を多重するとともに、異なる色成分の符号化データを含むスライスデータを任意の順序でビットストリームに多重することを特徴とする。
【0034】
また、この発明に係る画像符号化装置は、4:4:4フォーマットのカラー画像を圧縮符号化してビットストリームを生成する画像符号化装置において、4:4:4フォーマットの各色成分の信号を4:0:0フォーマットのピクチャとして独立に符号化を行うか否かを示す識別情報をビットストリームに多重するとともに、該識別情報が、各色成分の信号を4:0:0フォーマットのピクチャとして独立に符号化することを示す場合に、同一アクセスユニットに属するすべての色成分の信号が共通のピクチャ符号化タイプで符号化されるように構成することを特徴とする。
【0035】
また、この発明に係る画像符号化方法は、4:4:4フォーマットのカラー画像を圧縮符号化してビットストリームを生成する画像符号化方法において、4:4:4フォーマットの各色成分の信号を4:0:0フォーマットのピクチャとして独立に符号化を行うか否かを示す識別情報をビットストリームに多重するとともに、該識別情報が、各色成分の信号を4:0:0フォーマットのピクチャとして独立に符号化することを示す場合に、同一アクセスユニットに属するすべての色成分の信号が共通のピクチャ符号化タイプで符号化されるように構成することを特徴とする。
【0036】
また、この発明に係る画像符号化装置は、4:4:4フォーマットのカラー画像を圧縮符号化してビットストリームを生成する画像符号化装置において、4:4:4フォーマットの各色成分の信号を4:0:0フォーマットで独立に符号化を行うか否かを示す識別情報をビットストリームに多重するとともに、該識別情報が、各色成分の信号を4:0:0フォーマットで独立に符号化することを示す場合に、同一フレームないしはフィールドに属する4:0:0フォーマットで符号化された3枚の独立したピクチャ符号化データをまとめた単位をアクセスユニットとし、アクセスユニットの単位で仮想ストリームバッファのオーバフローが発生しないように符号化処理を行うことを特徴とする。
【0037】
また、この発明に係る画像符号化方法は、4:4:4フォーマットのカラー画像を圧縮符号化してビットストリームを生成する画像符号化方法において、4:4:4フォーマットの各色成分の信号を4:0:0フォーマットで独立に符号化を行うか否かを示す識別情報をビットストリームに多重するとともに、該識別情報が、各色成分の信号を4:0:0フォーマットで独立に符号化することを示す場合に、同一フレームないしはフィールドに属する4:0:0フォーマットで符号化された3枚の独立したピクチャ符号化データをまとめた単位をアクセスユニットとし、アクセスユニットの単位で仮想ストリームバッファのオーバフローが発生しないように符号化処理を行うことを特徴とする。
【発明の効果】
【0038】
この発明によれば、ランダムアクセス再生やピクチャ単位の編集処理を、AUDを用いて容易に実行することが可能となり、3つの色成分に対してそれぞれを4:0:0フォーマットを使用して符号化処理を行った場合においても1ピクチャ分のデータを一つのアクセスユニットに含めることを可能とするとともに、それぞれの色成分間で時間情報を揃えたり、符号化モードを揃えたりすることが可能となる。
【図面の簡単な説明】
【0039】
【図1】この発明の画像符号化装置が生成する符号化ビットストリームのシンタックスのうち、この発明に関わる部分を抜き出した図である。
【図2】既存の規格との互換性を確保する別の方法として、パラメータcolour_idの定義についての説明図である。
【図3】AUDとAUDの間に1ピクチャを構成する全ての色成分のデータを一つのアクセスユニット(AU)に含むようにした説明図である。
【図4】色成分のデータを一つのアクセスユニットの中にDelimiterで各色成分毎に区切りまとめて並べた説明図である。
【図5】4:0:0フォーマットと4:4:4フォーマットの符号化モードを任意の単位で切り替える説明図である。
【図6】この発明の実施の形態7における共通符号化処理の説明図である。
【図7】この発明の実施の形態7における独立符号化処理の説明図である。
【図8】この発明の実施の形態7の符号化装置・復号装置における、ピクチャ間の時間方向の動き予測参照関係を示す図である。
【図9】この発明の実施の形態7の符号化装置で生成され、復号装置が入力・復号処理の対象とするビットストリームの構造の一例を示す図である。
【図10】この発明の実施の形態7における共通符号化処理、独立符号化処理それぞれの場合のスライスデータのビットストリーム構成を示す図である。
【図11】この発明の実施の形態7に係る符号化装置の概略構成を示すブロック図である。
【図12】図11に示す多重化部105による多重化されて出力されるビットストリーム106の説明図である。
【図13】図11に示す第1のピクチャ符号化部102の内部構成を示すブロック図である。
【図14】図11に示す第2のピクチャ符号化部104の内部構成をブロック図である。
【図15】この発明の実施の形態7に係る復号装置の概略構成を示すブロック図である。
【図16】図15に示す第1のピクチャ復号部302の内部構成を示すブロック図である。
【図17】図15に示す第2のピクチャ復号部304の内部構成を示すブロック図である。
【図18】図11に示す符号化装置の変形例を示すブロック図である。
【図19】図11に示す符号化装置の他の変形例を示すブロック図である。
【図20】図18に示す符号化装置に対応する復号装置を示すブロック図である。
【図21】図19に示す符号化装置に対応する復号装置を示すブロック図である。
【図22】従来のYUV4:2:0フォーマットのビットストリームに含まれるマクロブロックヘッダ情報の符号化データの構成を示す図である。
【図23】従来のYUV4:2:0フォーマットのビットストリームに対する互換性を確保する第1のピクチャ復号部302の予測部311の内部構成を示す図である。
【図24】ビットストリームの構造の他の例を示す図である。
【図25】ビットストリームの構造のさらに他の例を示す図である。
【発明を実施するための形態】
【0040】
実施の形態1.
図1は、この発明の画像符号化装置が生成する符号化ビットストリームのシンタックスのうち、この発明に関わる部分を抜き出した図である。図1において、(a)はNAL(ネットワークアブストラクションレイヤ)ユニットのヘッダ情報のシンタックス、(b)はSPS(シーケンスパラメータセット)のシンタックス、(c)はPPS(ピクチャパラメータセット)のシンタックス、(d)はスライスヘッダのシンタックスである。網掛け部分以外は、既存のAVC規格で定められているシンタックスであり、網掛け部分は既存のAVC規格で定められているが、この発明により新たに機能を追加するシンタックスもしくは既存のAVC規格では定められておらずこの発明により新たに追加するシンタックスである。
【0041】
以下、AVCで定義されているパラメータについて簡単に記す。
図1の(a)において、NALユニットのnal_ref_idcは、NALユニットのデータが予測参照に使用される画像データであるか否かを示すパラメータである。また、nal_unit_typeは、NALユニットのデータがスライスデータ、SPS、PPS、アクセスユニットデリミタ(AUD)のいずれであるかを示すパラメータである。
【0042】
図1の(b)において、SPSのprofile_idcは、符号化シーケンスのプロファイルを示すものであり、AVCではベースライン、メイン、ハイ、ハイ444などが定義されている。また、seq_paremeter_set_idはSPSのIDを示すものであり、一つの符号化シーケンスの中に複数のSPSを定義してそれぞれをIDで管理するものである。さらに、chroma_format_idcはハイ444プロファイルのときにのみ使用されるもので、符号化シーケンスが4:0:0、4:2:0、4:2:2,4:4:4のいずれかのフォーマットであるかを示すパラメータである。
【0043】
図1の(c)において、PPSのpic_paremter_set_idはPPSのIDを示すものであり、ひとつの符号化シーケンスの中に複数のPPSを定義してそれぞれをIDで管理するものである。PPS中のseq_paremeter_set_idは、このPPSがどのSPSに属するかを示すパラメータである。
【0044】
図1の(d)において、スライスヘッダのfirst_mb_in_sliceは、スライスデータの先頭マクロブロックデータが画面内のどの位置にあるかを示すパラメータである。また、slice_typeは、スライスデータがフレーム内符号化、片方向予測符号化、双予測符号化のいずれであるかを示すパラメータである。さらに、pic_parameter_set_idはスライスデータがどのPPSに属するかを示すパラメータである。
【0045】
次に動作について説明する。 3つの色成分の画像信号に対して4:0:0フォーマットを用いてそれぞれの色成分を独立に符号化処理を行う場合、図1の(b)に示すSPSに含まれるパラメータの一つであるprofile_idcに、新たに4:0:0フォーマットを用いて3つの色成分のデータを独立に符号化する処理であることを示すデータを設けるとともに、図1の(d)に示すスライスヘッダに、新たにcolour_idのパラメータを設け、スライスデータに含まれている符号化データが3つの色成分のいずれのものであるかを示すようにする。
【0046】
既存の4:0:0フォーマット(モノクロ画像)、4:2:0フォーマット、4:2:2フォーマット、4:4:4フォーマットで符号化処理を行う場合には、図1の(d)に示すパラメータcolour_idは使用せず、この発明により新たに定義する4:0:0フォーマットを用いて3つの色成分のデータを独立に符号化するモードのときにのみ、パラメータcolour_idを使用することにより、既存の規格には影響を及ぼさないようにすることができる。
【0047】
この発明により新たに定義する4:0:0フォーマットを用いて3つの色成分のデータを独立に符号化するモードのときには、パラメータcolour_idを使用することによって、図3のように、3つの色成分のデータを一つのアクセスユニット(AU)に含むようにして、AUDとAUDの間に1ピクチャを構成する全ての色成分のデータを入れるようにする。
【0048】
また、既存の規格との互換性を確保する別の方法として、パラメータcolour_idを、図2のような定義としてもよい。このようにcolour_idを定義することで、colour_id=0の場合は、既存の規格のようにひとつのマクロブロックの中に3つの色成分のデータが含まれる形式で符号化されたスライスデータであることを示す。その他の値の場合は、本実施の形態1で述べた4:0:0フォーマットを用いて3つの色成分のデータを独立に符号化する処理で符号化されたスライスデータであることを示すことが可能である。
【0049】
これにより、既存の方式と本実施の形態1で述べた方式の双方を包含するビットストリームを構成でき、既存方式との互換性を保つ点で有用である。また、スライスの数が多くなって、パラメータcolour_id自体の符号量のオーバヘッドが符号化効率に影響を与えるという場合には、既存の方式と本実施の形態1で述べた方式のいずれがより選択されやすいか、という判断基準に基づいて適当な可変長符号化を行い、colour_id自体の符号量を低減するように構成してもよい。
【0050】
このように、複数の色成分からなる入力画像信号に対して圧縮処理を行う画像符号化方式において、それぞれの色成分の入力画像信号を独立に符号化処理を行うことにより得られる符号化データと、前記符号化データがどの色成分のものに対してのものであるかを示すパラメータとを、ビットストリームに多重することによって、ランダムアクセス再生やピクチャ単位の編集処理を、AUDを用いて容易に実行することが可能となる。
【0051】
複数の色成分からなる画像信号が圧縮されたビットストリームを入力して復号処理を行う画像復号方式において、どの色成分のものに対する符号化データであるかを示すパラメータを用いてそれぞれの色成分の符号化データの復号処理を容易に行うことができる。
【0052】
また、3つの色成分のデータが一つのアクセスユニットに含まれることになるため、3つの色成分のデータが同時にIDR(Instantaneous Devoding Refresh)ピクチャとして符号化されることとなる。
【0053】
IDRピクチャはAVCで定義されているもので、IDRピクチャからであれば即時に正常な復号処理が可能となるピクチャであり、ランダムアクセス再生の先頭として利用することを想定して設けられたものである。
【0054】
また、3つの色成分のうちの一つの色成分だけを取り出したい場合には、特定の値を持っているcolour_idのスライスデータのみを抽出することにより容易に実現できる。
【0055】
なお、図1では、colour_idパラメータをスライスヘッダの先頭に設けたが、必ずしも先頭に配置する必要はなく、スライスヘッダの中に含まれていれば同様の効果を得ることが可能である。
【0056】
実施の形態2.
実施の形態1と同様に、一つのアクセスユニットの中に3つの色成分の符号化データを入れるものではあるが、図3に示す実施の形態1が、それぞれの色成分のデータ(R,B,G)を順番に並べたものであるのに対し、図4に示すように、Rだけ、Bだけ、Gだけと色成分をまとめて並べる方法をとることもできる。さらに、現在のAVCでは定義されていない「Delimiter」を入れることによって、所定の色成分のもののみを簡単に取り出すような構成をとることも可能である。
【0057】
このようにすることによって、例えばそれぞれの色成分ごとに異なるプロセッサを割り当てて並列に処理を行うことが容易にできるようになる。なお、この発明で示した「Delimiter」は、AVCのSEI(Supplemental Enhancement Information)メッセージペイロードを拡張することによって、既存の規格に影響を及ぼすことなく実現することが可能である。もちろん、これ以外の別の方法で「Delimiter」を定義しても同様の効果を得ることは可能である。
【0058】
実施の形態3.
スライスヘッダのcolour_idの代わりに、NALユニットの一部において色成分を示すパラメータを入れることによっても、実施の形態1と同じ効果を得ることができる。AVCでは、スライスヘッダおよびスライスヘッダに後続するスライスデータはNALユニットのペイロードとして定義されているため、NALユニットのnal_unit_typeパラメータを拡張して、このパラメータの中にNALユニットのペイロードに含まれている映像データがどの色成分であるかを示すようにする。さらに、3つの色成分のデータは一つのアクセスユニット(AU)に含むようにすることにより、AUDとAUDの間に1ピクチャを構成する全てのデータを入れるようにする。
【0059】
このようにすることにより、実施の形態1と同様に、ランダムアクセス再生やピクチャ単位の編集処理が容易に実行できるとともに、3つの色成分のうちの一つの成分だけを取り出したい場合に、スライスヘッダまで解析することなく、NALユニットのヘッダデータのみで抽出することが可能となる。
【0060】
実施の形態4.
実施の形態1〜3のときに、さらに3つの色成分のデータが符号化されているスライスヘッダのfirst_mb_in_sliceパラメータに対して常に同じ値とするように制約を設ける。first_mb_in_sliceパラメータは、スライスデータの先頭データの位置が画面内のどこであるかを示すものである。
【0061】
従来のAVCの符号化方式では、スライスの構造は任意の形式をとることが可能なものであるため、各色成分でスライスの構造を異なるものとすることも可能ではあるが、この制約を設けることによって、同じfirst_mb_in_sliceの値を持つスライスデータを3つ集めてくることによって、正しい色の状態をもった画像の一部分を復号・表示することが可能となる。
【0062】
このようにすることにより、画面の特定の部分、例えば中央部分だけを表示させたい、という場合に、制約を設けない場合にはfirst_mb_in_sliceの値がそれぞれの色成分で異なるために一画面分全てのスライスデータを用いて画面全体を復号しないと3つの色成分を合成して正しい復号画像が得られなかったものが、一画面全てではなく一部のスライスデータのみを用いて復号・表示処理が可能となる。また、個々の色成分のデータを個々のプロセッサを用いて並列処理を行う場合、各スライスデータが同じ位置から開始されるようになるため、並列処理の管理が容易になる。
【0063】
実施の形態5.
実施の形態4に対して、さらに各色成分のスライスヘッダのslice_typeパラメータに対して常に同じ値とするように制約を設ける。slice_typeパラメータは、スライスヘッダに後続するスライスデータがフレーム内符号化、片方向予測符号化、双予測符号化のいずれであるか、等を示すものである。フレーム内符号化であれば、フレーム間予測処理が使用されないため、即時に復号・表示処理が可能となる。
【0064】
そこで、画面上同じ位置にあるスライスデータについては符号化のタイプを全ての色成分に対して共通とし同じ符号化処理を行うことにより、復号装置では、ランダムアクセス再生時にはフレーム内符号化のスライスのみを復号処理を行うことによって高速に復号・表示処理を行うことが可能となる。
【0065】
実施の形態6.
前述の実施の形態1〜5のような構成をとることによって、新たに定義する4:0:0フォーマットを用いて3つの色成分のデータを独立に符号化するモードと、4:4:4フォーマットの符号化モードを任意の単位で切り替えることが可能となる。
【0066】
例えば図5のように、SPSのseq_parameter_set_id=1に対して新たに定義した4:0:0フォーマットのパラメータをセットし、seq_parameter_set_id=2に対して4:4:4フォーマットのパラメータをセットして、それぞれのseq_parameter_set_idに対応するSPSを異なるpic_parameter_set_idを持たせてセットすることにより、ピクチャ単位で両者を切り替えることが可能となる。
【0067】
このようにすることにより、符号化効率のより良い方を選択して符号化処理を行ったり、アプリケーションによって都合のよい方を選択して符号化処理を行うことが可能となる。
【0068】
なお、本実施の形態5では、ピクチャ単位で両者を切り替えるものとして説明を行ったが、AVCの規格上では、同じ処理によりスライス単位での切り替えも可能である。
【0069】
また、この発明では、動画像符号化方式の国際標準であるAVCを用いて説明を行ったが、もちろん他の符号化方式を用いても同様の効果を得ることは可能である。
【0070】
実施の形態7.
本実施の形態7では、3つの色成分信号を共通のマクロブロックヘッダで符号化するか、個別のマクロブロックヘッダで符号化するかを1フレーム(ないしは1フィールド)の単位で切り分けながら符号化・復号する装置構成・動作を具体的な図面をもとに説明する。以下、特に断らない限り、「1フレーム」と記載した場合は1フレームないしは1フィールドのデータ単位とみなす。
【0071】
本実施の形態7におけるマクロブロックヘッダは、マクロブロックタイプ・サブマクロブロックタイプ・イントラ予測モードなどの符号化・予測モード情報、参照画像識別番号・動きベクトルなどの動き予測情報、変換係数に対する量子化パラメータ、変換ブロックサイズ指示フラグ、8×8ブロック単位での有効変換係数有無判定フラグなど、変換係数データ以外のマクロブロックオーバヘッド情報を含むものとする。
【0072】
以降、1フレームの3つの色成分信号を共通のマクロブロックヘッダで符号化する処理を「共通符号化処理」、1フレームの3つの色成分信号を個別の独立したマクロブロックヘッダで符号化する処理を「独立符号化処理」と記す。同様に、1フレームの3つの色成分信号が共通のマクロブロックヘッダで符号化されたビットストリームからフレーム画像データを復号する処理を「共通復号処理」、1フレームの3つの色成分信号が個別の独立したマクロブロックヘッダで符号化されたビットストリームからフレーム画像データを復号する処理を「独立復号処理」と記す。
【0073】
本実施の形態7における共通符号化処理では、図6に示すように、1フレーム分の入力映像信号をC0成分、C1成分、C2成分の3つの色成分をまとめた形の共通符号化処理の対象となるマクロブロックに分割する。一方、独立符号化処理では、図7に示すように、1フレーム分の入力映像信号をC0成分、C1成分、C2成分3つの色成分に分離し、それらを単一の色成分からなるマクロブロック、つまりC0成分、C1成分、C2成分毎の独立符号化処理の対象となる各マクロブロックに分割する。
【0074】
すなわち、共通符号化処理の対象となるマクロブロックは、C0、C1、C2の3つの色成分のサンプルを含むが、独立符号化処理の対象となるマクロブロックは、C0またはC1またはC2成分のうちのいずれか1つの成分のサンプルのみを含む。
【0075】
図8には、本実施の形態7の符号化装置・復号装置における、ピクチャ間の時間方向の動き予測参照関係を示す。この例では、太縦棒線で示されるデータ単位をピクチャとし、ピクチャとアクセスユニットとの関係を囲み点線で示している。共通符号化・復号処理の場合、1ピクチャは、3つの色成分が混在した1フレーム分の映像信号を表すデータであって、独立符号化・復号処理の場合、1ピクチャはいずれか1つの色成分の1フレーム分の映像信号とする。
【0076】
アクセスユニットは、映像信号に対してオーディオ・音声情報などとの同期などを目的とするタイムスタンプを付与する最小データ単位であり、共通符号化・復号処理の場合、1つのアクセスユニットには1ピクチャ分のデータを含む。
【0077】
一方、独立符号化・復号処理の場合は、1つのアクセスユニットに3つのピクチャが含まれる。これは、独立符号化・復号処理の場合、3つの色成分すべての同一表示時刻のピクチャがそろってはじめて1フレーム分の再生映像信号が得られるためである。なお、各ピクチャの上部に付与した番号は、ピクチャの時間方向の符号化・復号処理順序(動画データの圧縮符号化方式の標準であるAVC:Advanced Video Codingのframe_num)を示す。
【0078】
図8では、ピクチャ間の矢印は動き予測の参照方向を示している。すなわち、独立符号化・復号処理の場合、同一アクセスユニットに含まれるピクチャの間での動き予測参照、ならびに異なる色成分間での動き予測参照は行わないものとし、C0、C1、C2の各色成分のピクチャを同一色成分の信号に限定して予測参照しながら符号化・復号する。
【0079】
このような構成とすることにより、本実施の形態7における独立符号化・復号処理の場合は、各色成分の符号化・復号を、他の色成分の符号化・復号処理に全く依存することなく実行でき、並列処理が容易になる。
【0080】
なお、AVCでは、自身はイントラ符号化を行うとともに、動き補償予測に用いる参照画像メモリの内容をリセットするIDR(instantaneous decoder refresh)ピクチャが定義されている。IDRピクチャは他のいかなるピクチャにも依存せずに復号可能であるためランダムアクセスポイントとして利用される。
【0081】
共通符号化処理の場合のアクセスユニットは、1アクセスユニット=1ピクチャであるが、独立符号化処理の場合のアクセスユニットでは1アクセスユニットが複数ピクチャで構成されるため、ある色成分ピクチャがIDRピクチャである場合は他の残りの色成分ピクチャもIDRピクチャとして、IDRアクセスユニットを定義し、ランダムアクセス機能を確保する。
【0082】
以下、共通符号化処理による符号化を行ったか、独立符号化処理による符号化を行ったかを示す識別情報(インター予測モード共通化識別フラグやマクロブロックヘッダ共通化識別フラグ相当の情報)を、本実施の形態7では、共通符号化・独立符号化識別信号と呼ぶ。
【0083】
図9に、本実施の形態7の符号化装置で生成され、本実施の形態7の復号装置が入力・復号処理の対象とするビットストリームの構造の一例を示す。同図は、シーケンスからフレームレベルまでのビットストリーム構成を示したもので、まず、シーケンスレベルの上位ヘッダ(AVCの場合、SPS(sequence parameter set)など)に、共通符号化・独立符号化識別信号を多重しておく。
【0084】
個々のフレームはアクセスユニットの単位で符号化される。AUDとは、AVCにおいてアクセスユニットの切れ目を識別するためのユニークなNALユニットであるAccess Unit Delimiter NALユニットを示す。共通符号化・独立符号化識別信号が「共通符号化処理によるピクチャ符号化」を示す場合は、アクセスユニットには1ピクチャ分の符号化データが含まれる。
【0085】
このときのピクチャは、前述のように3つの色成分が混在した1フレーム分の映像信号を表すデータであるとする。このとき、i番目のアクセスユニットの符号化データはスライスデータ Slice(i,j)の集合として構成される。jは、1ピクチャ内のスライスデータのインデックスである。
【0086】
一方、共通符号化・独立符号化識別信号が「独立符号化処理によるピクチャ符号化」を示す場合は、1ピクチャはいずれか1つの色成分の1フレーム分の映像信号である。このとき、p番目のアクセスユニットの符号化データは、アクセスユニット内のq番目のピクチャのスライスデータ Slice(p,q,r)の集合として構成される。rは、1ピクチャ内のスライスデータのインデックスである。RGBのように色成分が3成分で構成される映像信号の場合、qは0,1,2のいずれかである。
【0087】
また、3原色からなる映像信号に加えて例えばアルファブレンディングのための透過度情報のような付加データを同一アクセスユニットとして符号化・復号する場合や、4成分以上の色成分(例えばカラー印刷で使用されるYMCKなど)で構成される映像信号を符号化・復号する場合などは、q>3として扱うことができる。
【0088】
本実施の形態7における符号化装置、復号装置は、独立符号化処理を選択すれば、映像信号を構成する各色成分をまったく独立に符号化するため、原理的に符号化・復号処理を変更することなく、色成分の枚数を自在に変更できる。将来、映像信号の色表現を行うための信号形式が変更された場合にも、本実施の形態7における独立符号化処理で対応可能となる効果がある。
【0089】
このような構成を実現するために、本実施の形態7では、共通符号化・独立符号化識別信号は「1アクセスユニット内に含まれ、各々が相互に動き予測参照することなく独立に符号化されるピクチャの数」という形で表現する。
【0090】
共通符号化・独立符号化識別信号3を、以降、num_pictures_in_au と呼ぶ。つまり、num_pictures_in_au=1は「共通符号化処理」を示し、num_pictures_in_au=3は本実施の形態7における「独立符号化処理」を示す。色成分が4以上となる場合、num_pictures_in_au>3なる値に設定すればよい。
【0091】
このようなシグナリングを行うことによって、復号装置は、num_pictures_in_auを復号、参照すれば共通符号化処理による符号化データと独立符号化処理による符号化データの区別ができるだけでなく、1つのアクセスユニット内に何枚の単一色成分ピクチャが存在するかを同時に知ることができ、将来の映像信号の色表現拡張への対応も可能にしつつ、共通符号化処理と独立符号化処理をビットストリーム中でシームレスに扱うことが可能である。
【0092】
図10には、共通符号化処理、独立符号化処理それぞれの場合のスライスデータのビットストリーム構成を示す。独立符号化処理によって符号化されたビットストリームでは、後述する効果を達成するため、復号装置で受信したスライスデータがアクセスユニット内のどの色成分のピクチャに属するスライスかを識別可能なように、スライスデータの先頭のヘッダ領域に色成分識別フラグ(color_channel_idc)を付与する。
【0093】
color_channel_idcは、その値が同じスライスをグループ化する。つまり、color_channel_idcの値が異なるスライス間では、いかなる符号化・復号の依存性(例えば動き予測参照、CABAC(Context-Adaptive Binary Arithmetic Coding)のコンテキストモデリング・生起確率学習など)も持たせないものとする。なお、color_channel_idcは、図1の(d)に示す実施の形態1のcolor_idと同じもので、同じセマンティクスの情報である。
【0094】
このように規定することで、独立符号化処理の場合のアクセスユニット内の個々のピクチャの独立性が確保される。また、各スライスヘッダに多重される frame_num (スライスが属するピクチャの符号化・復号処理順序)については、1アクセスユニット内の全色成分ピクチャにおいて同一の値とする。
【0095】
図11に、本実施の形態7に係る符号化装置の概略構成を示す。同図において、共通符号化処理は、第1のピクチャ符号化部102において実行され、独立符号化処理は、第2のピクチャ符号化部104(3つの色成分分を用意)において実行される。入力映像信号1は、スイッチ(SW)100によって第1のピクチャ符号化部102か、色成分分離部103および色成分毎の第2のピクチャ符号化部104のいずれかに供給される。スイッチ100は、共通符号化・独立符号化識別信号101によって駆動され、入力映像信号1を指定されたパスへ供給する。
【0096】
以下では、共通符号化・独立符号化識別信号(num_pictures_in_au)101は、入力映像信号が4:4:4フォーマットの場合にシーケンスパラメータセットに多重され、シーケンスの単位で共通符号化処理と独立符号化処理を選択する信号とする場合について説明する。
【0097】
共通符号化処理を用いた場合は、復号装置側では共通復号処理を実行し、独立符号化処理を用いた場合は、復号装置側では独立復号処理を実行する必要があるため、共通符号化・独立符号化識別信号101は、それを指定する情報としてビットストリームに多重する必要がある。そのため、共通符号化・独立符号化識別信号101は多重化部105へ入力される。この共通符号化・独立符号化識別信号101の多重化単位は、シーケンス内のいくつかのピクチャ群からなるGOP(Group Of Pictures)の単位など、ピクチャよりも上位レイヤであればどのような単位であってもよい。
【0098】
第1のピクチャ符号化部102では、共通符号化処理を実行するために、入力映像信号1を図6に示すように3つの色成分のサンプルをまとめた形式のマクロブロックへ分割して、その単位で符号化処理を進める。第1のピクチャ符号化部102における符号化処理は後述する。
【0099】
独立符号化処理が選択された場合は、入力映像信号1は色成分分離部103でC0、C1、C2の1フレーム分のデータへ分離され、それぞれ対応する第2のピクチャ符号化部104へ供給される。第2のピクチャ符号化部104では、色成分ごとに分離された1フレーム分の信号を図7に示す形式のマクロブロックへ分割して、その単位で符号化処理を進める。第2のピクチャ符号化部における符号化処理は後述する。
【0100】
第1のピクチャ符号化部102には、3つの色成分からなる1ピクチャ分の映像信号が入力され、符号化データはビットストリーム133として出力される。第2のピクチャ符号化部104には、単一色成分からなる1ピクチャ分の映像信号が入力され、符号化データはビットストリーム233a〜cとして出力される。
【0101】
これらビットストリームは、共通符号化・独立符号化識別信号101の状態に基づいて多重化部105でビットストリーム106の形式に多重化され、出力される。すなわち、多重化部105は、それぞれの色成分の入力画像信号を独立に符号化することにより得られる符号化データと、符号化データがどの色成分のデータに対してのものであるかを示すパラメータとを、ビットストリームに多重化する。
【0102】
ビットストリーム106の多重化に際しては、独立符号化処理される場合のアクセスユニット中では、スライスデータのビットストリーム中での多重化順、伝送順を、アクセスユニット内のピクチャ(各色成分)間でインタリーブ可能とする。
【0103】
すなわち、図12は、アクセスユニット内でのスライスインタリーブ不可の場合(a)と、スライスインタリーブ可の場合(b)とを示す。スライスインタリーブ不可の場合(a)に、C1成分のピクチャデータは、C0成分の符号化が完了するまでビットストリームに多重できなく、C2成分のピクチャデータは、C0,C1成分の符号化が完了するまでビットストリームに多重できないが、スライスインタリーブ可の場合(b)に、C1成分は、C0成分の1スライス分がビットストリームに多重されれば、直ぐに多重化可能であり、C2成分は、C0,C1成分の1スライス分がビットストリームに多重されれば、直ぐに多重化可能である。
【0104】
この場合、復号装置側では、受信したスライスデータが、アクセスユニット内のどの色成分に属するスライスかを識別する必要がある。そのために、スライスデータの先頭のヘッダ領域に図10のように多重する色成分識別フラグを利用する。なお、ここに記載した図12のスライスインタリーブの概念は、図3で開示されている概念と等価である。
【0105】
このような構成にすることにより、符号化装置では、図11の符号化装置のように3つの色成分のピクチャをそれぞれ独立な第2のピクチャ符号化部6を3セット使用して、並列処理により符号化を行う場合に、他の色成分ピクチャの符号化データの完成を待たずに、自身のピクチャのスライスデータが準備できればすぐに符号化データを送出可能となる。
【0106】
AVCでは1ピクチャを複数のスライスデータに分割して符号化することができ、スライスデータ長やスライス内に含まれるマクロブロックの個数については、符号化条件に応じて柔軟に変化させることができる。
【0107】
画像空間上で隣り合うスライスの間では、スライスの復号処理の独立性を確保するため、イントラ予測や算術符号化などの近傍コンテキストの利用ができないため、スライスデータ長はできるだけ長いほうが符号化効率は高い。
【0108】
一方、伝送や記録の過程でビットストリームに誤りが混入した場合は、スライスデータ長が短いほど誤りからの復帰が早まり、品質劣化を抑えやすくなる。色成分識別フラグを多重化することなく、スライスの長さや構成、色成分の順序などを固定的にしてしまうと、符号化装置においてビットストリームの生成条件が固定化されてしまい、多様な符号化要求条件に柔軟に対応することができなくなる。
【0109】
また、図12のようにビットストリームを構成することができれば、符号化装置では伝送に必要な送信バッファサイズ、すなわち符号化装置側での処理遅延を小さくすることができる。
【0110】
その様子を図11に示す。もしピクチャをまたがるスライスデータの多重が許容されない場合、符号化装置は、ある特定の色成分のピクチャの符号化が終了するまでの間、他のピクチャの符号化データをバッファリングさせる必要がある。これはピクチャレベルでの遅延が発生することを意味する。
【0111】
一方、同図最下部に示すように、スライスレベルでインタリーブ可能とすれば、ある特定の色成分のピクチャ符号化部はスライスデータの単位で符号化データを多重化部に出力することができ、遅延を抑制することができる。
【0112】
なお、1つの色成分ピクチャ内においては、それに含まれるスライスデータはマクロブロックのラスタスキャン順で伝送するようにしてもよいし、1つのピクチャ内でもインタリーブ伝送を可能とするように構成してもよい。
【0113】
以下、第1ピクチャ符号化部102および第2のピクチャ符号化部104の動作を詳しく説明する。 第1のピクチャ符号化部102の動作概要 第1のピクチャ符号化部102の内部構成を図13に示す。同図において、入力映像信号1は、4:4:4フォーマットで、かつ図6の形式の3つの色成分をまとめたマクロブロックの単位で入力されるものとする。
【0114】
まず、予測部110において、メモリ111に格納される動き補償予測参照画像データの中から参照画像を選択し、該マクロブロックの単位で動き補償予測処理が行われる。メモリ111には、複数時刻に渡る、3つの色成分で構成される複数枚の参照画像データが格納され、予測部110では、これらの中からマクロブロックの単位で最適な参照画像を選択して動き予測を行う。
【0115】
メモリ111内の参照画像データの配置は、色成分ごとに面順次で分けて格納してもよいし、各色成分のサンプルを点順次で格納してもよい。動き補償予測を行うブロックサイズは7種類用意されており、まず、マクロブロック単位に、16×16、16×8、8×16、8×8のいずれかのサイズを選択することができる。さらに、8×8が選択された場合には、各8×8ブロックごとに、8×8、8×4、4×8、4×4のいずれかのサイズを選択することができる。
【0116】
予測部110では、16×16、16×8、8×16、8×8のすべてまたは一部のブロックサイズ・8×8、8×4、4×8、4×4のサブブロックサイズ、および所定の探索範囲の動きベクトルおよび利用可能な1枚以上の参照画像に対してマクロブロックごとに動き補償予測処理を実行して、動きベクトルと予測に用いる参照画像識別情報112と減算器113により、動き補償予測単位となるブロックごとの予測差分信号114を得る。
【0117】
予測差分信号114は符号化モード判定部115においてその予測効率が評価され、予測部110で実行した予測処理の中から、予測対象のマクロブロックに対して最適な予測効率が得られるマクロブロックタイプ/サブマクロブロックタイプ116と動きベクトル・参照画像識別情報112を出力する。
【0118】
マクロブロックタイプ、サブマクロブロックタイプ、参照画像インデックス、動きベクトルなどのマクロブロックヘッダ情報はすべて、3つの色成分に対して共通のヘッダ情報として決定され、符号化に使用され、ビットストリームに多重化される。
【0119】
予測効率の最適性の評価にあたっては、演算量を抑制する目的で、ある所定の色成分(たとえばRGBのうちのG成分、YUVのうちのY成分など)に対する予測誤差量だけを評価してもよいし、演算量は大きくなるが最適な予測性能を得るべくすべての色成分についての予測誤差量を総合評価するようにしてもよい。また、最終的なマクロブロックタイプ/サブマクロブロックタイプ116の選定にあたっては、符号化制御部117の判断で定まる各タイプに対する重み係数118が加味されることもある。
【0120】
同様に、予測部110では、イントラ予測も実行する。イントラ予測実行時は、信号112には、イントラ予測モード情報が出力される。以降、特にイントラ予測、動き補償予測を区別しない場合には、出力信号112はイントラ予測モード情報、動きベクトル情報、参照画像識別番号をまとめて予測オーバヘッド情報と呼ぶ。イントラ予測についても所定の色成分だけの予測誤差量を評価してもよいし、すべての色成分についての予測誤差量を総合評価するようにしてもよい。最後に、マクロブロックタイプをイントラ予測にするか、インター予測にするかを、符号化モード判定部115において予測効率または符号化効率で評価して選定する。
【0121】
選定されたマクロブロックタイプ/サブマクロブロックタイプ116と、予測オーバヘッド情報112に基づくイントラ予測・動き補償予測によって得られる予測差分信号114を変換部119へ出力する。変換部119は入力される予測差分信号114を変換し変換係数として量子化部120へ出力する。この際、変換を行う単位となるブロックのサイズを4×4か8×8のいずれかから選択するようにしてもよい。変換ブロックサイズを選択可能とする場合は、符号化時に選択されたブロックサイズを、変換ブロックサイズ指定フラグ134の値に反映し、同フラグをビットストリームに多重化する。
【0122】
量子化部120は、入力される変換係数を、符号化制御部117によって定まる量子化パラメータ121に基づいて量子化を行い、量子化済み変換係数122として可変長符号化部123へ出力する。量子化済み変換係数122は、3つの色成分分の情報を含み、可変長符号化部123にてハフマン符号化や算術符号化などの手段によりエントロピー符号化される。
【0123】
また、量子化済み変換係数122は、逆量子化部124、逆変換部125を経て局部復号予測差分信号126へ復元され、選定されたマクロブロックタイプ/サブマクロブロックタイプ116と予測オーバヘッド情報112に基づいて生成される予測画像127と加算器128で加算することで局部復号画像129が生成される。局部復号画像129は、デブロッキングフィルタ130でブロックひずみ除去処理を実施した後、以降の動き補償予測処理に用いるためメモリ111へ格納される。
【0124】
可変長符号化部123には、当該マクロブロックに対してデブロッキングフィルタを施すか否かを示すデブロッキングフィルタ制御フラグ131も入力される。
【0125】
可変長符号化部123に入力される量子化済み変換係数122、マクロブロックタイプ/サブマクロブロックタイプ116、予測オーバヘッド情報112、量子化パラメータ121は所定の規則(シンタックス)に従ってビットストリームとして配列・整形され、図6の形式のマクロブロックが1つないしは複数個まとまったスライスデータの単位でNALユニット化された符号化データとして送信バッファ132へ出力される。
【0126】
送信バッファ17では符号化装置が接続される伝送路の帯域や記録媒体の読み出し速度に合わせてビットストリームを平滑化してビデオストリーム133として出力する。また、送信バッファ133中のビットストリーム蓄積状況に応じて符号化制御部117へフィードバックをかけ、以降の映像フレームの符号化における発生符号量を制御する。
【0127】
なお、第1のピクチャ符号化部102の出力は、3成分をまとめた単位のスライスであって、アクセスユニットをまとめた単位での符号量と等価であるため、送信バッファ132はそのまま多重化部105内に配置してもよい。
【0128】
本実施の形態7における第1のピクチャ符号化部102では、共通符号化・独立符号化識別信号101によってシーケンス中のすべてのスライスデータがC0,C1,C2混在スライス(すなわち、3つの色成分の情報が混在するスライス)であることが識別可能であるため、スライスヘッダに色成分識別フラグは多重化しない。
【0129】
第2のピクチャ符号化部104の動作概要
第2のピクチャ符号化部104の内部構成を図14に示す。557769JP03の図1の説明を流用して図Hの説明文案を作成していますが、図番が図1のままの箇所があります。同図において、入力映像信号1aは、図7の形式の単一色成分のサンプルからなるマクロブロックの単位で入力されるものとする。
【0130】
まず、予測部210において、メモリ211に格納される動き補償予測参照画像データの中から参照画像を選択し、該マクロブロックの単位で動き補償予測処理を行う。メモリ211には、複数時刻に渡る、単一色成分単一色成分を符号化処理対象とすることがポイント。図Hと図Iの見た目の違いは、メモリ16の面数としています。で構成される複数枚の参照画像データを格納でき、予測部210では、これらの中からマクロブロックの単位で最適な参照画像を選択して動き予測を行う。
【0131】
メモリ211は3つの色成分分をまとめた単位でメモリ111と共用するようにしてもよい。動き補償予測を行うブロックサイズには7種類用意されており、まず、マクロブロック単位に、16×16、16×8、8×16、8×8のいずれかのサイズを選択することができる。さらに、8×8が選択された場合には、各8×8ブロックごとに、8×8、8×4、4×8、4×4のいずれかのサイズを選択することができる。
【0132】
予測部210では、16×16、16×8、8×16、8×8のすべてまたは一部のブロックサイズ・8×8、8×4、4×8、4×4のサブブロックサイズ、および所定の探索範囲の動きベクトルおよび利用可能な1枚以上の参照画像に対してマクロブロックごとに動き補償予測処理を実行して、動きベクトルと予測に用いる参照画像のインデックス212と減算器213により、動き補償予測単位となるブロックごとの予測差分信号214を得る。
【0133】
予測差分信号214は符号化モード判定部215においてその予測効率が評価され、予測部210で実行した予測処理の中から、予測対象のマクロブロックに対して最適な予測効率が得られるマクロブロックタイプ/サブマクロブロックタイプ216と動きベクトル・参照画像のインデックス212を出力する。マクロブロックタイプ、サブマクロブロックタイプ、参照画像インデックス、動きベクトルなどのマクロブロックヘッダ情報はすべて、入力映像信号1aの単一色成分の信号に対するヘッダ情報として決定され、符号化に使用され、ビットストリームに多重化される。
【0134】
予測効率の最適性の評価にあたっては、符号化処理対象となる単一色成分に対する予測誤差量だけを評価する。また、最終的なマクロブロックタイプ/サブマクロブロックタイプ216の選定にあたっては、符号化制御部217の判断で定まる各タイプに対する重み係数218が加味されることもある。
【0135】
同様に、予測部210では、イントラ予測も実行する。予測部110を、イントラ、インター予測を両方実行するブロックとした。イントラ予測実行時は、信号212には、イントラ予測モード情報が出力される。以降、特にイントラ予測、動き補償予測を区別しない場合には、信号212は予測オーバヘッド情報と呼ぶ。イントラ予測についても符号化処理対象となる単一色成分に対する予測誤差量だけを評価する。最後に、マクロブロックタイプをイントラ予測にするか、インター予測にするかを予測効率または符号化効率で評価して選定する。
【0136】
選定されたマクロブロックタイプ/サブマクロブロックタイプ216と、予測オーバヘッド情報212によって得られる予測差分信号214を変換部219へ出力する。変換部219は入力される単一色成分分の予測差分信号214を変換し変換係数として量子化部220へ出力する。この際、変換を行う単位となるブロックのサイズを4×4か8×8のいずれかから選択するようにしてもよい。選択可能とする場合は、符号化時に選択されたブロックサイズを、変換ブロックサイズ指定フラグ234の値に反映し、同フラグをビットストリームに多重化する。
【0137】
量子化部220は入力される変換係数を、符号化制御部217によって定まる量子化パラメータ221に基づいて量子化を行い、量子化済み変換係数222として可変長符号化部223へ出力する。量子化済み変換係数222は、単一色成分分の情報を含み、可変長符号化部223にてハフマン符号化や算術符号化などの手段によりエントロピー符号化される。
【0138】
また、量子化済み変換係数222は逆量子化部224、逆変換部225を経て局部復号予測差分信号226へ復元され、選定されたマクロブロックタイプ/サブマクロブロックタイプ216と予測オーバヘッド情報212に基づいて生成される予測画像227と加算器228で加算することで局部復号画像229が生成される。
【0139】
局部復号画像229は、デブロッキングフィルタ230でブロックひずみ除去処理を実施した後、以降の動き補償予測処理に用いるためメモリ211へ格納される。可変長符号化部223には、当該マクロブロックに対してデブロッキングフィルタを施すか否かを示すデブロッキングフィルタ制御フラグ231も入力される。
【0140】
可変長符号化部223に入力される量子化済み変換係数222、マクロブロックタイプ/サブマクロブロックタイプ216、予測オーバヘッド情報212、量子化パラメータ221は所定の規則(シンタックス)に従ってビットストリームとして配列・整形され、図7の形式のマクロブロックが1つないしは複数個まとまったスライスデータの単位でNALユニット化された符号化データとして送信バッファ232へ出力される。
【0141】
送信バッファ232では符号化装置が接続される伝送路の帯域や記録媒体の読み出し速度に合わせてビットストリームを平滑化してビデオストリーム233として出力する。また、送信バッファ232中のビットストリーム蓄積状況に応じて符号化制御部217へフィードバックをかけ、以降の映像フレームの符号化における発生符号量を制御する。
【0142】
なお、第2のピクチャ符号化部104の出力は、単一色成分のデータのみからなるスライスであって、アクセスユニットをまとめた単位での符号量制御が必要となる場合には、多重化部105内に全色成分のスライスを多重した単位での共通送信バッファを設け、同バッファの占有量をもとに各色成分の符号化制御部217にフィードバックをかけるように構成してもよい。
【0143】
また、この際、全色成分の発生情報量だけを用いて符号化制御を行うようにしてもよいし、各色成分の送信バッファ232の状態も加味して符号化制御を行うようにしてもよい。全色成分の発生情報量だけを用いて符号化制御を行う場合は、送信バッファ232相当の機能を多重化部105内の共通送信バッファで実現することとして、送信バッファ232を省略する構成をとることもできる。
【0144】
本実施の形態7における第2のピクチャ符号化部104では、共通符号化・独立符号化識別信号101によってシーケンス中のすべてのスライスデータが単一色成分スライス(すなわち、C0スライスまたはC1スライスまたはC2スライス)であることが識別可能であるため、スライスヘッダに常に色成分識別フラグを多重化し、復号装置側でどのスライスがアクセスユニット内のどのピクチャデータに該当するかを識別できるようにする。
【0145】
このため、各第2のピクチャ符号化部104は、それぞれの送信バッファ232からの出力を1ピクチャ分ためることなく、1スライス分のデータがたまった時点で送出することができる。
【0146】
なお、第1のピクチャ符号化部102と第2のピクチャ符号化部104とは、マクロブロックヘッダ情報を3成分共通の情報として扱うか、単一の色成分の情報として扱うかの違いと、スライスデータのビットストリーム構成が異なるだけである。図13や図14における予測部や変換部・逆変換部、量子化部・逆量子化部、デブロッキングフィルタなどの基本的な処理ブロックの多くは、3つの色成分の情報とまとめて処理するか、単一の色成分の情報だけを扱うかの違いだけで、第1のピクチャ符号化部102と第2のピクチャ符号化部104とで共通の機能ブロックで実現することもできる。
【0147】
したがって、図11のような完全に独立な符号化処理部としてだけでなく、図13や図14の基本構成要素を適宜組み合わせて多様な符号化装置の実装を実現することができる。また、第1のピクチャ符号化部102におけるメモリ111の配置を面順次で持つことにすれば、参照画像格納メモリの構成を第1のピクチャ符号化部102と第2のピクチャ符号化部104とで共通にできる。
【0148】
また、図示はしていないが、本実施の形態における符号化装置では、図9、図10の配列に従うビデオストリーム106をバッファリングする仮想的なストリームバッファ(符号化ピクチャバッファ)と、復号画像313a、313bをバッファリングする仮想的なフレームメモリ(復号ピクチャバッファ)の存在を想定し、符号化ピクチャバッファのオーバーフロー・アンダーフローや、復号ピクチャバッファの破綻がないようにビデオストリーム106を生成する。この制御は、主として、符号化制御部117、217で行う。
【0149】
これにより、復号装置において、ビデオストリーム106を符号化ピクチャバッファと復号ピクチャバッファの動作(仮想バッファモデル)に従って復号する場合に、復号装置に破綻が生じないようにすることを保証する。仮想バッファモデルを以下に規定する。
【0150】
符号化ピクチャバッファの動作はアクセスユニット単位で行う。上述のとおり、共通復号処理を行う場合には、1アクセスユニットには1ピクチャ分の符号化データが含まれ、独立復号処理を行う場合に1アクセスユニットには色成分数分のピクチャ(3成分ならば3ピクチャ分)の符号化データが含まれている。
【0151】
符号化ピクチャバッファについて規定される動作は、アクセスユニットの最初のビットと最後のビットが符号化ピクチャバッファに入力される時刻とアクセスユニットのビットが符号化ピクチャバッファから読み出される時刻である。なお、符号化ピクチャバッファからの読み出しは瞬時に行われると規定し、アクセスユニットのすべてのビットが同じ時刻に符号化ピクチャバッファから読み出されることする。
【0152】
アクセスユニットのビットは、符号化ピクチャバッファから読み出されると、上位ヘッダ解析部へ入力され、上述のとおり、第1のピクチャ復号部または第2のピクチャ復号部にて復号処理が行われ、アクセスユニット単位に束ねられたカラー映像フレームとして出力される。なお、符号化ピクチャバッファからビットを読み出して、アクセスユニット単位のカラー映像フレームとして出力するまでの処理は、仮想バッファモデルの規定上は瞬時に行われるものとする。
【0153】
アクセスユニット単位に構成されたカラー映像フレームは、復号ピクチャバッファへ入力され、復号ピクチャバッファからの出力時刻が算出される。復号ピクチャバッファからの出力時刻は、符号化ピクチャバッファからの読み出し時刻に所定の遅延時間を加えた値である。
【0154】
この遅延時間は、ビットストリームに多重して復号装置を制御することが可能である。遅延時間が0の場合、すなわち復号ピクチャバッファからの出力時刻が符号化ピクチャバッファからの読み出し時刻に等しい場合には、カラー映像フレームが復号ピクチャバッファへ入力されると同時に復号ピクチャバッファから出力される。
【0155】
それ以外の場合、すなわち復号ピクチャバッファからの出力時刻が符号化ピクチャバッファからの読み出し時刻より遅い場合、復号ピクチャバッファからの出力時刻になるまでカラー映像フレームは復号ピクチャバッファに保存される。上述のとおり、アクセスユニット単位に復号ピクチャバッファからの動作が規定される。
【0156】
図15に、本実施の形態7の復号装置の概略構成を示す。同図において、共通復号処理は、第1のピクチャ復号部302において実行され、独立復号処理は、色成分判定部303と第2のピクチャ復号部304(3つの色成分分を用意)において実行される。
【0157】
ビットストリーム106は、上位ヘッダ解析部300でNALユニット単位に分割され、シーケンスパラメータセットやピクチャパラメータセットなどの上位ヘッダ情報は、そのまま復号して復号装置内の第1のピクチャ復号部302、色成分判定部303、第2のピクチャ復号部304が参照可能な所定のメモリエリアへ格納しておく。シーケンス単位に多重される共通符号化・独立符号化識別信号(num_pictures_in_au)は、上位ヘッダ情報の一部として復号・保持される。
【0158】
復号されたnum_pictures_in_auはスイッチ(SW)301に供給され、スイッチ301は、num_pictures_in_au = 1ならば、ピクチャごとのスライスNALユニットを第1のピクチャ復号部302へ供給し、num_pictures_in_au = 3ならば、色成分判定部303に供給する。
【0159】
すなわち、num_pictures_in_au = 1ならば第1のピクチャ復号部302により、共通復号処理が行われ、num_pictures_in_au = 3ならば3つの第2のピクチャ復号部304により、独立復号処理が行われる。第1および第2のピクチャ復号部の詳細な動作は後述する。
【0160】
色成分判定部303は、どの色成分のものに対する符号化データであるかを示すパラメータを検出する検出手段をなすもので、図10で示した色成分識別フラグの値により、スライスNALユニットが現在のアクセスユニット内のいずれの色成分ピクチャに相当するかを識別して、適切な第2のピクチャ復号部304へ分配供給する。
【0161】
このような復号装置の構成によって、図12のようにアクセスユニット内でスライスがインタリーブされて符号化されたビットストリームを受信しても、どのスライスがどの色成分ピクチャに属するかを容易に判別し正しく復号できる効果がある。
【0162】
第1のピクチャ復号部302の動作概要
第1のピクチャ復号部302の内部構成を図16に示す。第1のピクチャ復号部302は、図11の符号化装置から出力される図9,図10の配列に従うビットストリーム106を、C0、C1、C2混在スライスの単位で受信して、図6に示す3つの色成分のサンプルからなるマクロブロックを単位として復号処理を行い、出力映像フレームを復元する。
【0163】
可変長復号部310は、ビットストリーム106を入力とし、所定の規則(シンタックス)に従ってビットストリーム106を解読して、3成分分の量子化済み変換係数122、および3成分で共通して用いられるマクロブロックヘッダ情報(マクロブロックタイプ/サブマクロブロックタイプ116、予測オーバヘッド情報112、変換ブロックサイズ指定フラグ134、量子化パラメータ121)を抽出する。量子化済み変換係数122は量子化パラメータ121とともに、第1のピクチャ符号化部102と同じ処理を行う逆量子化部124へ入力され、逆量子化処理が行われる。
【0164】
次いで、その出力が第1のピクチャ符号化部102と同じ処理を行う逆変換部125へ入力され、局部復号予測差分信号126へ復元される(変換ブロックサイズ指定フラグ134がビットストリーム106中に存在すれば、それを逆量子化、逆変換処理過程で参照する)。
【0165】
一方、予測部311は、第1のピクチャ符号化部102中の予測部110のうち、予測オーバヘッド情報112を参照して予測画像127を生成する処理だけが含まれ、予測部311に対してマクロブロックタイプ/サブマクロブロックタイプ116、予測オーバヘッド情報112が入力され、3成分分の予測画像127を得る。
【0166】
マクロブロックタイプがイントラ予測であることを示す場合は、予測オーバヘッド情報112からイントラ予測モード情報に従って3成分分の予測画像127を得、マクロブロックタイプがインター予測であることを示す場合は、予測オーバヘッド情報112から動きベクトル、参照画像インデックスに従って3成分分の予測画像127を得る。
【0167】
局部復号予測差分信号126と予測画像127は加算器128により加算され、3成分分の暫定復号画像129を得る。暫定復号画像129は以降のマクロブロックの動き補償予測に用いられるため、第1のピクチャ符号化部102と同じ処理を行うデブロッキングフィルタ130で3成分分の暫定復号画像サンプルに対してブロックひずみ除去処理を実施した後、復号画像313として出力されるとともに、メモリ312へ格納される。
【0168】
この際、可変長復号部310によって解読されたデブロッキングフィルタ制御フラグ131の指示に基づいてデブロッキングフィルタ処理を暫定復号画像129に対して作用させる。メモリ312には、複数時刻に渡る、3つの色成分で構成される複数枚の参照画像データが格納される。
【0169】
予測部311では、これらの中からマクロブロックの単位でビットストリームから抽出した参照画像インデックスで示される参照画像を選択して予測画像生成を行う。メモリ312内の参照画像データの配置は、色成分ごとに面順次で分けて格納してもよいし、各色成分のサンプルを点順次で格納してもよい。復号画像313は3つの色成分を含み、そのまま共通復号処理におけるアクセスユニット313aを構成するカラー映像フレームとなる。
【0170】
第2のピクチャ復号部304の動作概要
第2のピクチャ復号部304の内部構成を図17に示す。第2のピクチャ復号部304は、図11の符号化装置から出力される図9,図10の配列に従うビットストリーム106が、色成分判定部303で振り分けられたC0ないしは、C1ないしは、C2スライスNALユニット450の単位で受信して、図7に示す単一色成分のサンプルからなるマクロブロックを単位として復号処理を行い、出力映像フレームを復元する。
【0171】
可変長復号部410は、ビットストリーム450を入力とし、所定の規則(シンタックス)に従ってビットストリーム450を解読して、単一色成分の量子化済み変換係数222、および単一色成分に適用するマクロブロックヘッダ情報(マクロブロックタイプ/サブマクロブロックタイプ216、予測オーバヘッド情報212、変換ブロックサイズ指定フラグ234、量子化パラメータ221)を抽出する。
【0172】
量子化済み変換係数222は量子化パラメータ221とともに第2のピクチャ符号化部104と同じ処理を行う逆量子化部224へ入力され、逆量子化処理が行われる。次いでその出力が第2のピクチャ符号化部104と同じ処理を行う逆変換部225へ入力され、局部復号予測差分信号226へ復元される(変換ブロックサイズ指定フラグ234がビットストリーム450中に存在すれば、それを逆量子化、逆直交変換処理過程で参照する)。
【0173】
一方、予測部311は、第2のピクチャ符号化部104中の予測部210のうち、予測オーバヘッド情報212を参照して予測画像227を生成する処理だけが含まれ、予測部411に対してマクロブロックタイプ/サブマクロブロックタイプ216、予測オーバヘッド情報212が入力され、単一色成分の予測画像227を得る。
【0174】
マクロブロックタイプがイントラ予測であることを示す場合は、予測オーバヘッド情報212からイントラ予測モード情報に従って単一色成分の予測画像227を得、マクロブロックタイプがインター予測であることを示す場合は、予測オーバヘッド情報212から動きベクトル、参照画像インデックスに従って単一色成分の予測画像227を得る。
【0175】
局部復号予測差分信号226と予測画像227は加算器228により加算され、単一色成分マクロブロックの暫定復号画像229を得る。暫定復号画像229は以降のマクロブロックの動き補償予測に用いられるため、第2のピクチャ符号化部104と同じ処理を行うデブロッキングフィルタ230で単一色成分の暫定復号画像サンプルに対してブロックひずみ除去処理を実施した後、復号画像451として出力されるとともに、メモリ412へ格納される。
【0176】
この際、可変長復号部410によって解読されたデブロッキングフィルタ制御フラグ231の指示に基づいてデブロッキングフィルタ処理を暫定復号画像229に対して作用させる。復号画像410は単一色成分のサンプルのみを含み、図15における他の並列処理される第2のピクチャ復号部304のそれぞれの出力をアクセスユニット313bの単位に束ねることで、カラー映像フレームとして構成される。
【0177】
以上のことから明らかなように、第1のピクチャ復号部302と第2のピクチャ復号部304とは、マクロブロックヘッダ情報を3成分共通の情報として扱うか、単一の色成分の情報として扱うかの違いと、スライスデータのビットストリーム構成が異なるだけで、図13や図14における動き補償予測処理や逆変換、逆量子化などの基本的な復号処理ブロックの多くは第1のピクチャ復号部302と第2のピクチャ復号部304とで共通の機能ブロックで実現できる。
【0178】
したがって、図15のような完全に独立な符号化処理部としてだけでなく、図16や図17の基本構成要素を適宜組み合わせて多様な復号装置の実装を実現することができる。現時点で具体的な装置構成は記述しきれないが・・・また、第1のピクチャ復号部302におけるメモリ312の配置を面順次で持つことにすれば、メモリ312、メモリ412の構成を第1のピクチャ復号部302と第2のピクチャ復号部304とで共通にできる。
【0179】
なお、図15の復号装置は、図11の符号化装置の別の形態として、共通符号化・独立符号化識別信号3を常に「独立符号化処理」に固定化して、第1のピクチャ符号化部102を一切使用せず全フレームを独立符号化するように構成された符号化装置から出力されるビットストリームを受信して復号することももちろん可能である。
【0180】
また、図15の復号装置の別の形態として、常に共通符号化・独立符号化識別信号3が「独立符号化処理」に固定化されることを前提とする利用形態では、スイッチ301や第1のピクチャ復号部302を省略した独立復号処理を行うのみの復号装置として構成してもよい。
【0181】
さらに、第1のピクチャ復号部302に、従来のYUV(輝度信号(Y)と、輝度信号と青色成分の差(U)、輝度信号と赤色成分の差(V)の3つの情報で色を表す形式の信号)4:2:0フォーマットを対象として3成分まとめて符号化されたAVCハイプロファイル準拠のビットストリームの復号機能を備えるようにし、上位ヘッダ解析部300において、ビットストリーム106から復号するプロファイル識別子を参照していずれのフォーマットで符号化されたビットストリームかを判定し、判定結果を共通符号化・独立符号化識別信号3の信号線の情報の一部としてスイッチ301と第1のピクチャ復号部302に伝える構成をとれば、従来のYUV4:2:0フォーマットのビットストリームに対する互換性を確保する復号装置を構成することもできる。
【0182】
なお、本実施の形態7における第1のピクチャ符号化部102では、スライスデータに3つの色成分の情報が混在し、かつ3つの色成分に対してまったく同じイントラ・インター予測処理を実施するため、予測誤差信号空間で、色成分間での信号相関が残存することがある。
【0183】
これを除去する工夫として、例えば、予測誤差信号に対して、色空間変換処理を施すように構成してもよい。このような構成をもつ第1のピクチャ符号化部102の例を図18,図19に示す。なお、図18,図19において、色空間変換部及び逆色空間変換部以外は図13と共通する。
【0184】
図18は、色空間変換処理を、変換処理を行う前の画素レベルで実施する例であり、色空間変換部150aを変換部の前に、逆色空間変換部151aを逆変換部の後に配置する。
【0185】
図19は、色空間変換処理を、変換処理を行った後で得られた係数データに対して処理対象の周波数成分を適宜選択しながら実施HHI提案する例であり、色空間変換部150bを変換部の後に、逆色空間変換部151bを逆変換部の前に配置する。色空間変換を施す周波数成分を限定することで、特定の色成分に含まれる高周波ノイズ成分がノイズをあまり含まない他の色成分に伝播することを抑制することができる効果がある。
【0186】
色空間変換処理の対象となる周波数成分を適応選択可能とする場合には、復号側で符号化時の選択を判断するためのシグナリング情報152aa、152bをビットストリームに多重化する。
【0187】
色空間変換処理は、符号化対象の画像信号の性質に応じて複数の変換方式をマクロブロック単位に切り替えて使用するようにしてもよいし、マクロブロックの単位で変換有無を判定するように構成してもよい。選択可能な変換方式の種別をシーケンスレベルなどで指定しておき、それらの中からどれを選ぶかをピクチャ、スライス、マクロブロックなどの単位で指定するようにも構成できる。また、直交変換の前で実施するか、後で実施するかを選択可能なように構成してもよい。
【0188】
これらの適応符号化処理を行う場合は、選択可能なすべての選択肢について、符号化モード判定部115ないし215で符号化効率の評価を行ってもっとも符号化効率が高いものを選択するように構成することができる。これらの適応符号化処理を実施する場合は、復号側で符号化時の選択を判断するためのシグナリング情報152a、152bをビットストリームに多重化する。このようなシグナリングは、スライス、ピクチャ、GOP、シーケンスなどマクロブロックとは異なるレベルで指定してもよい。
【0189】
図18,図19の符号化装置に対応する復号装置を図20,図21に示す。なお、図20,図21において、逆色空間変換部以外は図16と共通する。図20は、図18の符号化装置によって、変換処理前に色空間変換が行われて符号化されたビットストリームを復号する復号装置である。
【0190】
可変長復号部はビットストリームから、逆色空間変換部151aにおいて変換を行うか行わないかを選択する変換有無の情報や、逆色空間変換部において実行可能な変換方式を選択する情報152aaを復号して、逆色空間変換部151aへ供給する。図20の復号装置は、逆色空間変換部151aにおいて、これらの情報に基づいて逆変換後の予測誤差信号に対する色空間変換処理を実施する。
【0191】
また、図21は、図19の符号化装置によって、変換処理後に処理対象の周波数成分を選択して色空間変換を行うことによって符号化されたビットストリームを復号する復号装置である。可変長復号部はビットストリームから、逆色空間変換部151bにおいて変換を行うか行わないかを選択する変換有無の情報や、逆色空間変換部において実行される変換方式を選択する情報や、色空間変換を施す周波数成分を特定する情報などを含む識別情報152bを復号して逆色空間変換部151bに供給する。図21の復号装置は、逆色空間変換部151bにおいて、これらの情報に基づいて逆量子化後の変換係数データに対し色空間変換処理を実施する。
【0192】
図20、図21の復号装置は、図15の復号装置と同様、第1のピクチャ復号部302に、従来のYUV4:2:0フォーマットを対象として3成分まとめて符号化されたAVCハイプロファイル準拠のビットストリームの復号機能を備えるようにし、上位ヘッダ解析部300において、ビデオストリーム106から復号するプロファイル識別子を参照していずれのフォーマットで符号化されたビットストリームかを判定し、判定結果を共通符号化・独立符号化識別信号101の信号線の情報の一部としてスイッチ10と第1のピクチャ復号部302に伝える構成をとれば、従来のYUV4:2:0フォーマットのビットストリームに対する互換性を確保する復号装置を構成することもできる。
【0193】
図22に従来のYUV4:2:0フォーマットのビットストリームに含まれるマクロブロックヘッダ情報の符号化データの構成を示す。マクロブロックタイプがイントラ予測のときに、イントラ色差予測モード500の符号化データが含まれている。マクロブロックタイプがインター予測のときには、マクロブロックヘッダ情報に含まれる参照画像識別番号、動きベクトル情報を用いて輝度成分とは異なる方法で色差成分の動きベクトルが生成される。
【0194】
従来のYUV4:2:0フォーマットのビットストリームに対する互換性を確保する復号装置の動作について説明する。上述のとおり、第1のピクチャ復号部302が従来のYUV4:2:0フォーマットのビットストリームの復号機能を備えるものとする。第1のピクチャ復号部の内部構成は図16と同じである。
【0195】
従来のYUV4:2:0フォーマットのビットストリームの復号機能を備えた第1のピクチャ復号部302の可変長復号部310の動作を説明する。ビデオストリーム106が可変長復号部310へ入力されると、色差フォーマット指示フラグを復号する。色差フォーマット指示フラグは、ビデオストリーム106のシーケンスパラメータヘッダに含まれ、入力映像フォーマットが4:4:4か、4:2:2か、4:2:0か、4:0:0かのいずれかのフォーマットを示すフラグである。
【0196】
ビデオストリーム106のマクロブロックヘッダ情報の復号処理は色差フォーマット指示フラグの値によって切り替えられる。マクロブロックタイプがイントラ予測を示している場合で、色差フォーマット指示フラグが4:2:0または4:2:2を示している場合にはイントラ色差予測モードをビットストリームから復号する。色差フォーマット指示フラグが4:4:4を示している場合にはイントラ色差予測モードの復号をスキップする。色差フォーマット指示フラグが4:0:0を示している場合、入力映像信号は輝度信号のみで構成されるフォーマット(4:0:0フォーマット)であるため、イントラ色差予測モードの復号をスキップする。
【0197】
イントラ色差予測モード以外のマクロブロックヘッダ情報の復号処理は、従来のYUV4:2:0フォーマットのビットストリームの復号機能を備えていない第1のピクチャ復号部302の可変長復号部310と同じである。
【0198】
以上により、ビデオストリーム106が可変長復号部310へ入力されると、色差フォーマット指示フラグ(図示せず)、3成分分の量子化済み変換係数、マクロブロックヘッダ情報(マクロブロックタイプ/サブマクロブロックタイプ、予測オーバヘッド情報、変換ブロックサイズ指定フラグ、量子化パラメータ)を抽出する。予測部311には、色差指示フォーマット指示フラグ(図示せず)と予測オーバヘッド情報が入力され、3成分分の予測画像127を得る。
【0199】
図23に従来のYUV4:2:0フォーマットのビットストリームに対する互換性を確保する第1のピクチャ復号部302の予測部311の内部構成を示し、その動作を説明する。
【0200】
切替部501は、マクロブロックタイプを判別し、マクロブロックタイプがイントラ予測であることを示す場合は、切替部502にて色差フォーマット指示フラグの値を判別する。色差フォーマット指示フラグの値が、4:2:0または4:2:2のいずれかを示す場合には、予測オーバヘッド情報からイントラ予測モード情報とイントラ色差予測モード情報に従って3成分分の予測画像127を得る。3成分のうち、輝度信号の予測画像は、イントラ予測モード情報に従って輝度信号イントラ予測部にて生成される。
【0201】
色差信号2成分の予測画像は、イントラ色差予測モード情報に従って、輝度成分とは異なる処理を行う色差信号イントラ予測部にて生成される。色差フォーマット指示フラグの値が、4:4:4を示す場合には、3成分すべての予測画像がイントラ予測モード情報に従って輝度信号イントラ予測部にて生成される。色差フォーマット指示フラグの値が、4:0:0を示す場合には、4:0:0フォーマットは輝度信号(1成分)のみで構成されるため、輝度信号の予測画像のみがイントラ予測モード情報に従って輝度信号イントラ予測部にて生成される。
【0202】
切替部501にてマクロブロックタイプがインター予測であることを示す場合は、切替部503にて色差フォーマット指示フラグの値を判別する。色差フォーマット指示フラグの値が4:2:0または4:2:2のいずれかを示す場合には、輝度信号については、輝度信号インター予測部にて予測オーバヘッド情報から動きベクトル、参照画像インデックスに従って、AVC規格が定める輝度信号の予測画像生成方法に従って予測画像が生成される。
【0203】
色差信号2成分の予測画像については、色差信号インター予測部にて、予測オーバヘッド情報から得られる動きベクトルを色差フォーマットに基づいてスケーリングして色差動きベクトルを生成し、予測オーバヘッド情報から得られる参照画像インデックスが指示する参照画像から、上記色差動きベクトルに基づいてAVC規格の定める方法に従って予測画像が生成される。色差フォーマット指示フラグの値が、4:0:0を示す場合には、4:0:0フォーマットは輝度信号(1成分)のみで構成されるため、輝度信号の予測画像のみが動きベクトル、参照画像インデックスに従って輝度信号インター予測部にて生成される。
【0204】
以上のように、従来のYUV4:2:0フォーマットの色差信号の予測画像を生成する手段を設け、ビットストリームから復号した色差フォーマット指示フラグの値に応じて3成分の予測画像の生成に用いる手段を切り替えるようにしたため、従来のYUV4:2:0フォーマットのビットストリームに対する互換性を確保する復号装置を構成することができる。
【0205】
なお、図20,図21の復号装置に供給するビットストリーム106に、図15の復号装置のように色空間変換処理をサポートしない復号装置でも復号が可能であるビットストリームかどうかを示す情報をシーケンスパラメータセットなどの単位で付与しておけば、図20,図21、図15のいずれの復号装置でもそれぞれの復号性能に応じたビットストリームの復号が可能であり、ビットストリームの互換性を確保しやすい効果がある。
【0206】
実施の形態8.
本実施の形態8では、図11や図15など実施の形態7の符号化装置・復号装置において、その入出力対象となるビットストリームの構成のみが異なる別の実施の形態について述べる。本実施の形態8における符号化装置は、図24に示すビットストリーム構成で符号化データの多重化を行う。
【0207】
図9の構成のビットストリームにおいて、AUD NALユニットは、その要素として primary_pic_type という情報を含む。これは、表に示されるように、AUD NALユニットで始まるアクセスユニット内のピクチャデータが符号化される際のピクチャ符号化タイプの情報を示す。
【0208】
【表1】
【0209】
例えば、primary_pic_type = 0の場合は、ピクチャ内すべてがイントラ符号化されていることを示す。primary_pic_type = 1の場合は、イントラ符号化されるスライスと、参照ピクチャリストを1つだけ使用して動き補償予測を行うことが可能なスライスとがピクチャ内で混在できることを示す。primary_pic_typeは、1つのピクチャがどのような符号化モードを使用して符号化できるかを規定する情報であるので、符号化装置側ではこの情報を操作することで、入力映像信号の性質やランダムアクセス機能などの種々の条件に適した符号化を行うことができる。
【0210】
実施の形態7では、primary_pic_typeがアクセスユニットあたり1つだけしかないので、独立符号化処理を行う場合のアクセスユニットでは3つの色成分ピクチャで primary_pic_type は共通とする。本実施の形態8では、各色成分ピクチャの独立符号化を行う場合に、図9のAUD NALユニット内に、num_pictures_in_au の値に応じて、追加で残り2つの色成分ピクチャ分の primary_pic_type を挿入するか、図24のビットストリーム構成のように、各色成分ピクチャの符号化データを、色成分ピクチャの開始を示すNALユニット (Color Channel Delimiter)から開始するように構成し、このCCD NALユニット中に、対応するピクチャのprimary_pic_type情報を含むように構成する。なお、実施の形態8のCCD NALユニットの概念は、図4で開示されている概念と等価である。
【0211】
この構成では、各色成分ピクチャの符号化データは1ピクチャ分まとめて多重されるので、実施の形態7で述べた色成分識別フラグ(color_channel_idc)はスライスヘッダではなく、CCD NALユニットに含めるようにする。これにより、各スライスへの多重が必要であった色成分識別フラグの情報をピクチャ単位のデータに集約できるので、オーバヘッド情報を削減できる効果がある。
【0212】
また、バイト列として構成されるCCD NALユニットを検出してcolor_channel_idcを色成分ピクチャあたり1度だけ検証すればよく、可変長復号処理を行うことなく色成分ピクチャの先頭をすばやく見つけることができるので、復号装置側で、色成分ごとに復号対象のNALユニットを分離するためにスライスヘッダ中のcolor_channel_idcを逐一検証しなくてもよくなり、第2のピクチャ復号部へのデータ供給を円滑に行うことができる。
【0213】
一方で、このような構成では、実施の形態7の図12で述べたような、符号化装置のバッファサイズ、処理遅延を低減する効果が薄れるため、色成分識別フラグはスライス単位に多重するか、色成分ピクチャ単位に多重するかをより上位のレベル(シーケンスやGOP)でシグナリングするように構成してもよい。このようなビットストリーム構成をとることで、符号化装置はその利用形態に応じて柔軟な実装を行うことが可能となる。
【0214】
実施の形態9.
さらに、別の実施の形態として、図25に示すビットストリーム構成で符号化データの多重化を行ってもよい。同図において、図24ではCCD NALユニットに含むようにした color_channel_idc , primary_pic_type は各AUDに含むようにする。本実施の形態9におけるビットストリーム構成では、独立符号化処理の場合にも、1つのアクセスユニットに1つの(色成分)ピクチャが含まれるように構成する。すなわち、図25においては、1ピクチャ(1色成分)=1アクセスユニットとして定義する。
【0215】
このような構成でも、色成分識別フラグの情報をピクチャ単位のデータに集約できることによるオーバヘッド情報の削減効果、また、バイト列として構成されるAUD NALユニットを検出してcolor_channel_idcをピクチャあたり1度だけ検証すればよく、可変長復号処理を行うことなく色成分ピクチャの先頭をすばやく見つけることができるので、復号装置側で、色成分ごとに復号対象のNALユニットを分離するためにスライスヘッダ中のcolor_channel_idcを逐一検証することなく第2のピクチャ復号部へのデータ供給を円滑に行うことができる。
【0216】
一方、1フレームないしは1フィールドの画像は3つのアクセスユニットから構成されるため、3つのアクセスユニットが同一時刻の画像データであることを指定する必要がある。このため、図25のビットストリーム構成では、さらにAUDの中に、各ピクチャのシーケンス番号(時間方向の符号化・復号順序等)を付与するように構成することもできる。
【0217】
このような構成によって、復号装置側では、各ピクチャの復号・表示順や色成分属性、IDRの是非などを、スライスデータを一切復号することなく検証可能となり、ビットストリームレベルの編集や特殊再生を効率よく行うことが可能となる。
【0218】
また、図9、図24ないしは図25のビットストリーム構成において、AUDやCCDの領域に、ひとつの色成分ピクチャに含まれるスライスNALユニットの個数を指定する情報を格納するように構成してもよい。
【0219】
なお、上記すべての実施の形態について、変換処理、逆変換処理は、DCTのように直交性を保証する変換でもよいし、AVCのような、厳密にはDCTのような直交変換でなく、量子化・逆量子化処理と組み合わせて直交性を近似する変換であってもよい。また、変換を行わずに、予測誤差信号を画素レベルの情報として符号化するような構成であってもよい。
【技術分野】
【0001】
この発明は、複数の色成分からなる入力画像信号に対して圧縮処理を行う画像符号化方法と装置および複数の色成分からなる画像信号が圧縮されたビットストリームを入力して復号処理を行う画像復号方法と装置、並びに画像符号化ビットストリーム及び記録媒体に関するものである。
【背景技術】
【0002】
従来、MPEGやITU−TH.26xなどの国際標準映像符号化方式では、主として「4:2:0」フォーマットと呼ばれる入力信号フォーマットの使用を前提としてきた。4:2:0フォーマットとは、RGBなどのカラー画像信号を、輝度成分(Y)と2つの色差成分(CB、CR)に変換し、色差成分のサンプル数を輝度成分のサンプル数に対して水平方向・垂直方向ともに半分に削減したフォーマットのことである。人間の視覚特性上、色差成分は輝度成分に比べて視認性が劣ることから、従来の国際標準映像符号化方式では、符号化を行う前に色差成分のサンプル数を減らすことで符号化対象の情報量を削減しておくことを前提としていた。
【0003】
一方、近年のビデオディスプレイの高解像度化・高階調化に伴い、色差成分をダウンサンプルすることなく輝度成分と同一サンプルで符号化する方式についての検討も行われている。輝度成分と色差成分とが同一のサンプル数のフォーマットは「4:4:4」フォーマットと呼ばれている。そして、4:4:4フォーマットを入力する符号化方式として「ハイ444プロファイル」が策定されている(例えば、非特許文献1参照)。
【0004】
従来の4:2:0フォーマットでは色差成分のダウンサンプルを前提とし、Y、CB、CRという色空間にのみ限定されていたのに対し、4:4:4フォーマットでは色成分間にサンプル比の区別がないため、Y、CB、CRのほか、R,G,Bを直接使用したり、そのほかの色空間を定義して利用したりすることが可能である。
【先行技術文献】
【非特許文献】
【0005】
【非特許文献1】ISO/IEC 14496−10|ITU−T H.264規格(Advanced Video Coding:AVC)
【発明の概要】
【発明が解決しようとする課題】
【0006】
ISO/IEC 14496−10|ITU−TH.264(2005)規格(以下、AVCと称す)で定義されたハイ444プロファイルを用いると、従来の符号化方式と同様に、マクロブロックを単位とした符号化処理・復号処理を行う必要がある。
【0007】
すなわち、ひとつのマクロブロックの中に3つの色成分のデータが含まれているため、それぞれの色成分のデータをマクロブロック単位に順番に処理を行うこととなるため、符号化・復号処理を並列化する、という目的には好ましくない。
【0008】
一方、AVCでは、4:0:0フォーマットが定義されている。これは、元々は輝度成分のみの画像、すなわちモノクロ画像の符号化処理を対象としたものである。この4:0:0フォーマットを用いて、4:4:4フォーマットの3つの色成分に対してそれぞれを4:0:0フォーマットで符号化処理を行うことによって3つの独立した符号化データを生成する、という方法をとることもできる。この場合、それぞれの色成分を独立に処理することとなるため、並列処理が可能となる。
【0009】
しかし、それぞれの色成分を独立に処理を行うこととなるため、それぞれの色成分間で時間情報を合わせたり、符号化モードを揃えたりする、というような処理を現在の標準規格では実現することが不可能であった。そのため、ランダムアクセス再生(早送りや巻き戻しなど)やピクチャ単位の編集処理が容易に実現できない、という問題が発生するものであった。
【0010】
この問題についてさらに説明する。AVCで定義されている各種データは、アクセスユニットデリミタ(AUD)、シーケンスパラメータセット(SPS)、ピクチャパラメータセット(PPS)、ピクチャデータの順序で配置されている。なお、本発明に関係しないデータについてはここでは割愛する。
【0011】
また、AVCでは、一つのアクセスユニット(AU)は一つのピクチャ(1フレームもしくは1フィールドに相当する)によって構成するもの、と定義されている。アクセスユニットの境界はアクセスユニットデリミタ(AUD)を用いて示すことができる。例えばAVCのBaselineプロファイルであれば、各ピクチャの境界にアクセスユニットデリミタが配置されるため、アクセスユニットデリミタを検出することにより一つのアクセスユニットを独立にかつ簡単に取り出すことができ、一つのピクチャ分のデータを復号することが可能である。
【0012】
一方、現在のAVC方式を用いて4:0:0フォーマットで3つの色成分を符号化した場合、それぞれの色成分ごとにアクセスユニットが定義されることとなり、一つのピクチャは3つのアクセスユニットにより構成されることとなる。そのため、アクセスユニットデリミタを検出するだけでは一つのピクチャ分のデータを取り出すことができなく、ランダムアクセス再生やピクチャ単位の編集処理が容易に実現できなくなる。また、それぞれの色成分ごとで独立に符号化処理が行われるため、時間情報を揃えたり、符号化モードを揃えたりすることが困難になるものである。
【0013】
そこで、この発明では、AVCを拡張することにより、4:4:4フォーマットの3つの色成分に対してそれぞれを4:0:0フォーマットを使用して符号化処理を行った場合においても1ピクチャ分のデータを一つのアクセスユニットに含めることを可能とするとともに、それぞれの色成分間で時間情報を揃えたり、符号化モードを揃えたりすることを可能とする画像符号化方法および画像復号方法、画像符号化装置および画像復号装置、並びに画像符号化ビットストリーム及び記録媒体を提供することを目的とする。
【課題を解決するための手段】
【0014】
この発明に係る画像符号化方法は、複数の色成分からなる入力画像信号に対して圧縮処理を行う画像符号化方式において、それぞれの色成分の入力画像信号を独立に符号化処理を行うことにより得られる符号化データと、前記符号化データがどの色成分のものに対してのものであるかを示すパラメータとを、ビットストリームに多重することを特徴とする。
【0015】
また、この発明に係る画像復号方法は、複数の色成分からなる画像信号が圧縮されたビットストリームを入力して復号処理を行う画像復号方式において、どの色成分のものに対する符号化データであるかを示すパラメータを用いてそれぞれの色成分の符号化データの復号処理を行い、前記符号化データがどの色成分のデータに対してのものであるかを示すパラメータを、前記ビットストリームのシンタックスのうち、スライスヘッダの一部から検出することを特徴とする。
【0016】
また、この発明に係る画像復号方法は、複数の色成分からなる画像信号が圧縮されたビットストリームを入力して復号処理を行う画像復号方法において、どの色成分のものに対する符号化データであるかを示すパラメータを用いてそれぞれの色成分の符号化データの復号処理を行い、一つのアクセスユニットの中にデリミタで各色成分毎に区切られてまとめて並べられる前記色成分の符号化データを検出することを特徴とする。
【0017】
また、この発明に係る画像復号方法は、複数の色成分からなる画像信号が圧縮されたビットストリームを入力して復号処理を行う画像復号方法において、どの色成分のものに対する符号化データであるかを示すパラメータを用いてそれぞれの色成分の符号化データの復号処理を行い、前記符号化データがどの色成分のものに対してのものであるかを示すパラメータを、前記ビットストリームのシンタックスのうち、NALユニットのヘッダ情報の一部から検出することを特徴とする。
【0018】
また、この発明に係る画像復号方法は、複数の色成分からなる画像信号が圧縮されたビットストリームを入力して復号処理を行う画像復号方法において、どの色成分のものに対する符号化データであるかを示すパラメータを用いてそれぞれの色成分の符号化データの復号処理を行い、前記符号化データのスライスの空間的な構造を全ての色成分に対して共通とすることを特徴とする。
【0019】
また、この発明に係る画像復号方法は、複数の色成分からなる画像信号が圧縮されたビットストリームを入力して復号処理を行う画像復号方法において、どの色成分のものに対する符号化データであるかを示すパラメータを用いてそれぞれの色成分の符号化データの復号処理を行い、前記符号化データの符号化のタイプを全ての色成分に対して共通とすることを特徴とする。
【0020】
また、この発明に係る画像復号方法は、複数の色成分からなる画像信号が圧縮されたビットストリームを入力して復号処理を行う画像復号方法において、どの色成分のものに対する符号化データであるかを示すパラメータを用いてそれぞれの色成分の符号化データの復号処理を行い、前記符号化データのシーケンスパラメータセットのIDに含まれる複数のフォーマットのパラメータに基づき、異なるフォーマットで復号処理を行うモードを切り替えることを特徴とする。
【0021】
また、この発明に係る画像符号化装置は、複数の色成分からなる入力画像信号に対して圧縮処理を行う画像符号化装置において、それぞれの色成分の入力画像信号を独立に符号化処理を行うことにより得られる符号化データと、前記符号化データがどの色成分のデータに対してのものであるかを示すパラメータとを、ビットストリームに多重する多重手段を備えたことを特徴とする。
【0022】
また、この発明に係る画像符号化ビットストリームは、複数の色成分からなる入力画像信号を圧縮符号化した結果生成されるビットストリームであって、各色成分の画像信号の圧縮データをスライス単位に構成し、該スライスのヘッダ領域に該スライスデータがいずれの色成分の圧縮データを含むか否かを示すパラメータが多重されることを特徴とする。
【0023】
また、この発明に係る記録媒体は、複数の色成分からなる入力画像信号を圧縮符号化した結果生成されるビットストリームであって、各色成分の画像信号の圧縮データをスライス単位に構成し、該スライスのヘッダ領域に該スライスデータがいずれの色成分の圧縮データを含むか否かを示すパラメータが多重された画像符号化ビットストリームが記録されたことを特徴とする。
【0024】
また、この発明に係る画像符号化装置は、4:4:4フォーマットのカラー画像を圧縮符号化してビットストリームを生成する画像符号化装置において、4:4:4フォーマットの各色成分の信号を4:0:0フォーマットで独立に符号化を行うか否かを示す識別情報をビットストリームに多重するとともに、該識別情報が、各色成分の信号を4:0:0フォーマットで独立に符号化することを示す場合に、4:4:4フォーマットの各色成分を独立に4:0:0フォーマットのピクチャとして符号化することを特徴とする。
【0025】
また、この発明に係る画像符号化方法は、4:4:4フォーマットのカラー画像を圧縮符号化してビットストリームを生成する画像符号化方法において、4:4:4フォーマットの各色成分の信号を4:0:0フォーマットで独立に符号化を行うか否かを示す識別情報をビットストリームに多重するとともに、該識別情報が、各色成分の信号を4:0:0フォーマットで独立に符号化することを示す場合に、4:4:4フォーマットの各色成分を独立に4:0:0フォーマットのピクチャとして符号化することを特徴とする。
【0026】
また、この発明に係る画像復号装置は、4:4:4フォーマットのカラー画像を圧縮符号化して生成されたビットストリームを入力として、カラー画像信号を復号する画像復号装置において、前記ビットストリームから、各色成分の信号が独立に4:0:0フォーマットで符号化されているか否かを示す識別情報を復号するとともに、該識別情報が、各色成分の信号が独立に4:0:0フォーマットで符号化されていることを示す場合は、同一フレームないしはフィールドに属する4:0:0フォーマットで符号化された3枚の独立したピクチャ符号化データをまとめた単位をアクセスユニットとして認識することを特徴とする。
【0027】
また、この発明に係る画像復号方法は、4:4:4フォーマットのカラー画像を圧縮符号化して生成されたビットストリームを入力として、カラー画像信号を復号する画像復号方法において、前記ビットストリームから、各色成分の信号が独立に4:0:0フォーマットで符号化されているか否かを示す識別情報を復号するとともに、該識別情報が、各色成分の信号が独立に4:0:0フォーマットで符号化されていることを示す場合は、同一フレームないしはフィールドに属する4:0:0フォーマットで符号化された3枚の独立したピクチャ符号化データをまとめた単位をアクセスユニットとして認識することを特徴とする。
【0028】
また、この発明に係る画像符号化装置は、4:4:4フォーマットのカラー画像を圧縮符号化してビットストリームを生成する画像符号化装置において、4:4:4フォーマットの各色成分の信号を4:0:0フォーマットで独立に符号化を行うか否かを示す識別情報をビットストリームに多重するとともに、該識別情報が、各色成分の信号を4:0:0フォーマットで独立に符号化することを示す場合に、同一フレームないしはフィールドに属する4:0:0フォーマットで符号化された3枚の独立したピクチャ符号化データをまとめた単位をアクセスユニットとして符号化することを特徴とする。
【0029】
また、この発明に係る画像符号化方法は、4:4:4フォーマットのカラー画像を圧縮符号化してビットストリームを生成する画像符号化方法において、4:4:4フォーマットの各色成分の信号を4:0:0フォーマットで独立に符号化を行うか否かを示す識別情報をビットストリームに多重するとともに、該識別情報が、各色成分の信号を4:0:0フォーマットで独立に符号化することを示す場合に、同一フレームないしはフィールドに属する4:0:0フォーマットで符号化された3枚の独立したピクチャ符号化データをまとめた単位をアクセスユニットとして符号化することを特徴とする。
【0030】
また、この発明に係る画像復号装置は、4:4:4フォーマットのカラー画像を圧縮符号化して生成されたビットストリームを入力として、カラー画像信号を復号する画像復号装置において、前記ビットストリームから、各色成分の信号が独立に4:0:0フォーマットで符号化されているか否かを示す識別情報を復号するとともに、該識別情報が、各色成分の信号が独立に4:0:0フォーマットで符号化されていることを示す場合は、スライスヘッダから、当該スライスに含まれる符号化データがいずれの色成分の符号化データを識別するための色成分識別情報を復号することを特徴とする。
【0031】
また、この発明に係る画像復号方法は、4:4:4フォーマットのカラー画像を圧縮符号化して生成されたビットストリームを入力として、カラー画像信号を復号する画像復号方法において、前記ビットストリームから、各色成分の信号が独立に4:0:0フォーマットで符号化されているか否かを示す識別情報を復号するとともに、該識別情報が、各色成分の信号が独立に4:0:0フォーマットで符号化されていることを示す場合は、スライスヘッダから、当該スライスに含まれる符号化データがいずれの色成分の符号化データを識別するための色成分識別情報を復号することを特徴とする。
【0032】
また、この発明に係る画像符号化装置は、4:4:4フォーマットのカラー画像を圧縮符号化してビットストリームを生成する画像符号化装置において、4:4:4フォーマットの各色成分の信号を4:0:0フォーマットで独立に符号化を行うか否かを示す識別情報をビットストリームに多重するとともに、該識別情報が、各色成分の信号を4:0:0フォーマットで独立に符号化することを示す場合に、スライスヘッダに、当該スライスに含まれる符号化データがいずれの色成分の符号化データを識別するための色成分識別情報を多重するとともに、異なる色成分の符号化データを含むスライスデータを任意の順序でビットストリームに多重することを特徴とする。
【0033】
また、この発明に係る画像符号化方法は、4:4:4フォーマットのカラー画像を圧縮符号化してビットストリームを生成する画像符号化方法において、4:4:4フォーマットの各色成分の信号を4:0:0フォーマットで独立に符号化を行うか否かを示す識別情報をビットストリームに多重するとともに、該識別情報が、各色成分の信号を4:0:0フォーマットで独立に符号化することを示す場合に、スライスヘッダに、当該スライスに含まれる符号化データがいずれの色成分の符号化データを識別するための色成分識別情報を多重するとともに、異なる色成分の符号化データを含むスライスデータを任意の順序でビットストリームに多重することを特徴とする。
【0034】
また、この発明に係る画像符号化装置は、4:4:4フォーマットのカラー画像を圧縮符号化してビットストリームを生成する画像符号化装置において、4:4:4フォーマットの各色成分の信号を4:0:0フォーマットのピクチャとして独立に符号化を行うか否かを示す識別情報をビットストリームに多重するとともに、該識別情報が、各色成分の信号を4:0:0フォーマットのピクチャとして独立に符号化することを示す場合に、同一アクセスユニットに属するすべての色成分の信号が共通のピクチャ符号化タイプで符号化されるように構成することを特徴とする。
【0035】
また、この発明に係る画像符号化方法は、4:4:4フォーマットのカラー画像を圧縮符号化してビットストリームを生成する画像符号化方法において、4:4:4フォーマットの各色成分の信号を4:0:0フォーマットのピクチャとして独立に符号化を行うか否かを示す識別情報をビットストリームに多重するとともに、該識別情報が、各色成分の信号を4:0:0フォーマットのピクチャとして独立に符号化することを示す場合に、同一アクセスユニットに属するすべての色成分の信号が共通のピクチャ符号化タイプで符号化されるように構成することを特徴とする。
【0036】
また、この発明に係る画像符号化装置は、4:4:4フォーマットのカラー画像を圧縮符号化してビットストリームを生成する画像符号化装置において、4:4:4フォーマットの各色成分の信号を4:0:0フォーマットで独立に符号化を行うか否かを示す識別情報をビットストリームに多重するとともに、該識別情報が、各色成分の信号を4:0:0フォーマットで独立に符号化することを示す場合に、同一フレームないしはフィールドに属する4:0:0フォーマットで符号化された3枚の独立したピクチャ符号化データをまとめた単位をアクセスユニットとし、アクセスユニットの単位で仮想ストリームバッファのオーバフローが発生しないように符号化処理を行うことを特徴とする。
【0037】
また、この発明に係る画像符号化方法は、4:4:4フォーマットのカラー画像を圧縮符号化してビットストリームを生成する画像符号化方法において、4:4:4フォーマットの各色成分の信号を4:0:0フォーマットで独立に符号化を行うか否かを示す識別情報をビットストリームに多重するとともに、該識別情報が、各色成分の信号を4:0:0フォーマットで独立に符号化することを示す場合に、同一フレームないしはフィールドに属する4:0:0フォーマットで符号化された3枚の独立したピクチャ符号化データをまとめた単位をアクセスユニットとし、アクセスユニットの単位で仮想ストリームバッファのオーバフローが発生しないように符号化処理を行うことを特徴とする。
【発明の効果】
【0038】
この発明によれば、ランダムアクセス再生やピクチャ単位の編集処理を、AUDを用いて容易に実行することが可能となり、3つの色成分に対してそれぞれを4:0:0フォーマットを使用して符号化処理を行った場合においても1ピクチャ分のデータを一つのアクセスユニットに含めることを可能とするとともに、それぞれの色成分間で時間情報を揃えたり、符号化モードを揃えたりすることが可能となる。
【図面の簡単な説明】
【0039】
【図1】この発明の画像符号化装置が生成する符号化ビットストリームのシンタックスのうち、この発明に関わる部分を抜き出した図である。
【図2】既存の規格との互換性を確保する別の方法として、パラメータcolour_idの定義についての説明図である。
【図3】AUDとAUDの間に1ピクチャを構成する全ての色成分のデータを一つのアクセスユニット(AU)に含むようにした説明図である。
【図4】色成分のデータを一つのアクセスユニットの中にDelimiterで各色成分毎に区切りまとめて並べた説明図である。
【図5】4:0:0フォーマットと4:4:4フォーマットの符号化モードを任意の単位で切り替える説明図である。
【図6】この発明の実施の形態7における共通符号化処理の説明図である。
【図7】この発明の実施の形態7における独立符号化処理の説明図である。
【図8】この発明の実施の形態7の符号化装置・復号装置における、ピクチャ間の時間方向の動き予測参照関係を示す図である。
【図9】この発明の実施の形態7の符号化装置で生成され、復号装置が入力・復号処理の対象とするビットストリームの構造の一例を示す図である。
【図10】この発明の実施の形態7における共通符号化処理、独立符号化処理それぞれの場合のスライスデータのビットストリーム構成を示す図である。
【図11】この発明の実施の形態7に係る符号化装置の概略構成を示すブロック図である。
【図12】図11に示す多重化部105による多重化されて出力されるビットストリーム106の説明図である。
【図13】図11に示す第1のピクチャ符号化部102の内部構成を示すブロック図である。
【図14】図11に示す第2のピクチャ符号化部104の内部構成をブロック図である。
【図15】この発明の実施の形態7に係る復号装置の概略構成を示すブロック図である。
【図16】図15に示す第1のピクチャ復号部302の内部構成を示すブロック図である。
【図17】図15に示す第2のピクチャ復号部304の内部構成を示すブロック図である。
【図18】図11に示す符号化装置の変形例を示すブロック図である。
【図19】図11に示す符号化装置の他の変形例を示すブロック図である。
【図20】図18に示す符号化装置に対応する復号装置を示すブロック図である。
【図21】図19に示す符号化装置に対応する復号装置を示すブロック図である。
【図22】従来のYUV4:2:0フォーマットのビットストリームに含まれるマクロブロックヘッダ情報の符号化データの構成を示す図である。
【図23】従来のYUV4:2:0フォーマットのビットストリームに対する互換性を確保する第1のピクチャ復号部302の予測部311の内部構成を示す図である。
【図24】ビットストリームの構造の他の例を示す図である。
【図25】ビットストリームの構造のさらに他の例を示す図である。
【発明を実施するための形態】
【0040】
実施の形態1.
図1は、この発明の画像符号化装置が生成する符号化ビットストリームのシンタックスのうち、この発明に関わる部分を抜き出した図である。図1において、(a)はNAL(ネットワークアブストラクションレイヤ)ユニットのヘッダ情報のシンタックス、(b)はSPS(シーケンスパラメータセット)のシンタックス、(c)はPPS(ピクチャパラメータセット)のシンタックス、(d)はスライスヘッダのシンタックスである。網掛け部分以外は、既存のAVC規格で定められているシンタックスであり、網掛け部分は既存のAVC規格で定められているが、この発明により新たに機能を追加するシンタックスもしくは既存のAVC規格では定められておらずこの発明により新たに追加するシンタックスである。
【0041】
以下、AVCで定義されているパラメータについて簡単に記す。
図1の(a)において、NALユニットのnal_ref_idcは、NALユニットのデータが予測参照に使用される画像データであるか否かを示すパラメータである。また、nal_unit_typeは、NALユニットのデータがスライスデータ、SPS、PPS、アクセスユニットデリミタ(AUD)のいずれであるかを示すパラメータである。
【0042】
図1の(b)において、SPSのprofile_idcは、符号化シーケンスのプロファイルを示すものであり、AVCではベースライン、メイン、ハイ、ハイ444などが定義されている。また、seq_paremeter_set_idはSPSのIDを示すものであり、一つの符号化シーケンスの中に複数のSPSを定義してそれぞれをIDで管理するものである。さらに、chroma_format_idcはハイ444プロファイルのときにのみ使用されるもので、符号化シーケンスが4:0:0、4:2:0、4:2:2,4:4:4のいずれかのフォーマットであるかを示すパラメータである。
【0043】
図1の(c)において、PPSのpic_paremter_set_idはPPSのIDを示すものであり、ひとつの符号化シーケンスの中に複数のPPSを定義してそれぞれをIDで管理するものである。PPS中のseq_paremeter_set_idは、このPPSがどのSPSに属するかを示すパラメータである。
【0044】
図1の(d)において、スライスヘッダのfirst_mb_in_sliceは、スライスデータの先頭マクロブロックデータが画面内のどの位置にあるかを示すパラメータである。また、slice_typeは、スライスデータがフレーム内符号化、片方向予測符号化、双予測符号化のいずれであるかを示すパラメータである。さらに、pic_parameter_set_idはスライスデータがどのPPSに属するかを示すパラメータである。
【0045】
次に動作について説明する。 3つの色成分の画像信号に対して4:0:0フォーマットを用いてそれぞれの色成分を独立に符号化処理を行う場合、図1の(b)に示すSPSに含まれるパラメータの一つであるprofile_idcに、新たに4:0:0フォーマットを用いて3つの色成分のデータを独立に符号化する処理であることを示すデータを設けるとともに、図1の(d)に示すスライスヘッダに、新たにcolour_idのパラメータを設け、スライスデータに含まれている符号化データが3つの色成分のいずれのものであるかを示すようにする。
【0046】
既存の4:0:0フォーマット(モノクロ画像)、4:2:0フォーマット、4:2:2フォーマット、4:4:4フォーマットで符号化処理を行う場合には、図1の(d)に示すパラメータcolour_idは使用せず、この発明により新たに定義する4:0:0フォーマットを用いて3つの色成分のデータを独立に符号化するモードのときにのみ、パラメータcolour_idを使用することにより、既存の規格には影響を及ぼさないようにすることができる。
【0047】
この発明により新たに定義する4:0:0フォーマットを用いて3つの色成分のデータを独立に符号化するモードのときには、パラメータcolour_idを使用することによって、図3のように、3つの色成分のデータを一つのアクセスユニット(AU)に含むようにして、AUDとAUDの間に1ピクチャを構成する全ての色成分のデータを入れるようにする。
【0048】
また、既存の規格との互換性を確保する別の方法として、パラメータcolour_idを、図2のような定義としてもよい。このようにcolour_idを定義することで、colour_id=0の場合は、既存の規格のようにひとつのマクロブロックの中に3つの色成分のデータが含まれる形式で符号化されたスライスデータであることを示す。その他の値の場合は、本実施の形態1で述べた4:0:0フォーマットを用いて3つの色成分のデータを独立に符号化する処理で符号化されたスライスデータであることを示すことが可能である。
【0049】
これにより、既存の方式と本実施の形態1で述べた方式の双方を包含するビットストリームを構成でき、既存方式との互換性を保つ点で有用である。また、スライスの数が多くなって、パラメータcolour_id自体の符号量のオーバヘッドが符号化効率に影響を与えるという場合には、既存の方式と本実施の形態1で述べた方式のいずれがより選択されやすいか、という判断基準に基づいて適当な可変長符号化を行い、colour_id自体の符号量を低減するように構成してもよい。
【0050】
このように、複数の色成分からなる入力画像信号に対して圧縮処理を行う画像符号化方式において、それぞれの色成分の入力画像信号を独立に符号化処理を行うことにより得られる符号化データと、前記符号化データがどの色成分のものに対してのものであるかを示すパラメータとを、ビットストリームに多重することによって、ランダムアクセス再生やピクチャ単位の編集処理を、AUDを用いて容易に実行することが可能となる。
【0051】
複数の色成分からなる画像信号が圧縮されたビットストリームを入力して復号処理を行う画像復号方式において、どの色成分のものに対する符号化データであるかを示すパラメータを用いてそれぞれの色成分の符号化データの復号処理を容易に行うことができる。
【0052】
また、3つの色成分のデータが一つのアクセスユニットに含まれることになるため、3つの色成分のデータが同時にIDR(Instantaneous Devoding Refresh)ピクチャとして符号化されることとなる。
【0053】
IDRピクチャはAVCで定義されているもので、IDRピクチャからであれば即時に正常な復号処理が可能となるピクチャであり、ランダムアクセス再生の先頭として利用することを想定して設けられたものである。
【0054】
また、3つの色成分のうちの一つの色成分だけを取り出したい場合には、特定の値を持っているcolour_idのスライスデータのみを抽出することにより容易に実現できる。
【0055】
なお、図1では、colour_idパラメータをスライスヘッダの先頭に設けたが、必ずしも先頭に配置する必要はなく、スライスヘッダの中に含まれていれば同様の効果を得ることが可能である。
【0056】
実施の形態2.
実施の形態1と同様に、一つのアクセスユニットの中に3つの色成分の符号化データを入れるものではあるが、図3に示す実施の形態1が、それぞれの色成分のデータ(R,B,G)を順番に並べたものであるのに対し、図4に示すように、Rだけ、Bだけ、Gだけと色成分をまとめて並べる方法をとることもできる。さらに、現在のAVCでは定義されていない「Delimiter」を入れることによって、所定の色成分のもののみを簡単に取り出すような構成をとることも可能である。
【0057】
このようにすることによって、例えばそれぞれの色成分ごとに異なるプロセッサを割り当てて並列に処理を行うことが容易にできるようになる。なお、この発明で示した「Delimiter」は、AVCのSEI(Supplemental Enhancement Information)メッセージペイロードを拡張することによって、既存の規格に影響を及ぼすことなく実現することが可能である。もちろん、これ以外の別の方法で「Delimiter」を定義しても同様の効果を得ることは可能である。
【0058】
実施の形態3.
スライスヘッダのcolour_idの代わりに、NALユニットの一部において色成分を示すパラメータを入れることによっても、実施の形態1と同じ効果を得ることができる。AVCでは、スライスヘッダおよびスライスヘッダに後続するスライスデータはNALユニットのペイロードとして定義されているため、NALユニットのnal_unit_typeパラメータを拡張して、このパラメータの中にNALユニットのペイロードに含まれている映像データがどの色成分であるかを示すようにする。さらに、3つの色成分のデータは一つのアクセスユニット(AU)に含むようにすることにより、AUDとAUDの間に1ピクチャを構成する全てのデータを入れるようにする。
【0059】
このようにすることにより、実施の形態1と同様に、ランダムアクセス再生やピクチャ単位の編集処理が容易に実行できるとともに、3つの色成分のうちの一つの成分だけを取り出したい場合に、スライスヘッダまで解析することなく、NALユニットのヘッダデータのみで抽出することが可能となる。
【0060】
実施の形態4.
実施の形態1〜3のときに、さらに3つの色成分のデータが符号化されているスライスヘッダのfirst_mb_in_sliceパラメータに対して常に同じ値とするように制約を設ける。first_mb_in_sliceパラメータは、スライスデータの先頭データの位置が画面内のどこであるかを示すものである。
【0061】
従来のAVCの符号化方式では、スライスの構造は任意の形式をとることが可能なものであるため、各色成分でスライスの構造を異なるものとすることも可能ではあるが、この制約を設けることによって、同じfirst_mb_in_sliceの値を持つスライスデータを3つ集めてくることによって、正しい色の状態をもった画像の一部分を復号・表示することが可能となる。
【0062】
このようにすることにより、画面の特定の部分、例えば中央部分だけを表示させたい、という場合に、制約を設けない場合にはfirst_mb_in_sliceの値がそれぞれの色成分で異なるために一画面分全てのスライスデータを用いて画面全体を復号しないと3つの色成分を合成して正しい復号画像が得られなかったものが、一画面全てではなく一部のスライスデータのみを用いて復号・表示処理が可能となる。また、個々の色成分のデータを個々のプロセッサを用いて並列処理を行う場合、各スライスデータが同じ位置から開始されるようになるため、並列処理の管理が容易になる。
【0063】
実施の形態5.
実施の形態4に対して、さらに各色成分のスライスヘッダのslice_typeパラメータに対して常に同じ値とするように制約を設ける。slice_typeパラメータは、スライスヘッダに後続するスライスデータがフレーム内符号化、片方向予測符号化、双予測符号化のいずれであるか、等を示すものである。フレーム内符号化であれば、フレーム間予測処理が使用されないため、即時に復号・表示処理が可能となる。
【0064】
そこで、画面上同じ位置にあるスライスデータについては符号化のタイプを全ての色成分に対して共通とし同じ符号化処理を行うことにより、復号装置では、ランダムアクセス再生時にはフレーム内符号化のスライスのみを復号処理を行うことによって高速に復号・表示処理を行うことが可能となる。
【0065】
実施の形態6.
前述の実施の形態1〜5のような構成をとることによって、新たに定義する4:0:0フォーマットを用いて3つの色成分のデータを独立に符号化するモードと、4:4:4フォーマットの符号化モードを任意の単位で切り替えることが可能となる。
【0066】
例えば図5のように、SPSのseq_parameter_set_id=1に対して新たに定義した4:0:0フォーマットのパラメータをセットし、seq_parameter_set_id=2に対して4:4:4フォーマットのパラメータをセットして、それぞれのseq_parameter_set_idに対応するSPSを異なるpic_parameter_set_idを持たせてセットすることにより、ピクチャ単位で両者を切り替えることが可能となる。
【0067】
このようにすることにより、符号化効率のより良い方を選択して符号化処理を行ったり、アプリケーションによって都合のよい方を選択して符号化処理を行うことが可能となる。
【0068】
なお、本実施の形態5では、ピクチャ単位で両者を切り替えるものとして説明を行ったが、AVCの規格上では、同じ処理によりスライス単位での切り替えも可能である。
【0069】
また、この発明では、動画像符号化方式の国際標準であるAVCを用いて説明を行ったが、もちろん他の符号化方式を用いても同様の効果を得ることは可能である。
【0070】
実施の形態7.
本実施の形態7では、3つの色成分信号を共通のマクロブロックヘッダで符号化するか、個別のマクロブロックヘッダで符号化するかを1フレーム(ないしは1フィールド)の単位で切り分けながら符号化・復号する装置構成・動作を具体的な図面をもとに説明する。以下、特に断らない限り、「1フレーム」と記載した場合は1フレームないしは1フィールドのデータ単位とみなす。
【0071】
本実施の形態7におけるマクロブロックヘッダは、マクロブロックタイプ・サブマクロブロックタイプ・イントラ予測モードなどの符号化・予測モード情報、参照画像識別番号・動きベクトルなどの動き予測情報、変換係数に対する量子化パラメータ、変換ブロックサイズ指示フラグ、8×8ブロック単位での有効変換係数有無判定フラグなど、変換係数データ以外のマクロブロックオーバヘッド情報を含むものとする。
【0072】
以降、1フレームの3つの色成分信号を共通のマクロブロックヘッダで符号化する処理を「共通符号化処理」、1フレームの3つの色成分信号を個別の独立したマクロブロックヘッダで符号化する処理を「独立符号化処理」と記す。同様に、1フレームの3つの色成分信号が共通のマクロブロックヘッダで符号化されたビットストリームからフレーム画像データを復号する処理を「共通復号処理」、1フレームの3つの色成分信号が個別の独立したマクロブロックヘッダで符号化されたビットストリームからフレーム画像データを復号する処理を「独立復号処理」と記す。
【0073】
本実施の形態7における共通符号化処理では、図6に示すように、1フレーム分の入力映像信号をC0成分、C1成分、C2成分の3つの色成分をまとめた形の共通符号化処理の対象となるマクロブロックに分割する。一方、独立符号化処理では、図7に示すように、1フレーム分の入力映像信号をC0成分、C1成分、C2成分3つの色成分に分離し、それらを単一の色成分からなるマクロブロック、つまりC0成分、C1成分、C2成分毎の独立符号化処理の対象となる各マクロブロックに分割する。
【0074】
すなわち、共通符号化処理の対象となるマクロブロックは、C0、C1、C2の3つの色成分のサンプルを含むが、独立符号化処理の対象となるマクロブロックは、C0またはC1またはC2成分のうちのいずれか1つの成分のサンプルのみを含む。
【0075】
図8には、本実施の形態7の符号化装置・復号装置における、ピクチャ間の時間方向の動き予測参照関係を示す。この例では、太縦棒線で示されるデータ単位をピクチャとし、ピクチャとアクセスユニットとの関係を囲み点線で示している。共通符号化・復号処理の場合、1ピクチャは、3つの色成分が混在した1フレーム分の映像信号を表すデータであって、独立符号化・復号処理の場合、1ピクチャはいずれか1つの色成分の1フレーム分の映像信号とする。
【0076】
アクセスユニットは、映像信号に対してオーディオ・音声情報などとの同期などを目的とするタイムスタンプを付与する最小データ単位であり、共通符号化・復号処理の場合、1つのアクセスユニットには1ピクチャ分のデータを含む。
【0077】
一方、独立符号化・復号処理の場合は、1つのアクセスユニットに3つのピクチャが含まれる。これは、独立符号化・復号処理の場合、3つの色成分すべての同一表示時刻のピクチャがそろってはじめて1フレーム分の再生映像信号が得られるためである。なお、各ピクチャの上部に付与した番号は、ピクチャの時間方向の符号化・復号処理順序(動画データの圧縮符号化方式の標準であるAVC:Advanced Video Codingのframe_num)を示す。
【0078】
図8では、ピクチャ間の矢印は動き予測の参照方向を示している。すなわち、独立符号化・復号処理の場合、同一アクセスユニットに含まれるピクチャの間での動き予測参照、ならびに異なる色成分間での動き予測参照は行わないものとし、C0、C1、C2の各色成分のピクチャを同一色成分の信号に限定して予測参照しながら符号化・復号する。
【0079】
このような構成とすることにより、本実施の形態7における独立符号化・復号処理の場合は、各色成分の符号化・復号を、他の色成分の符号化・復号処理に全く依存することなく実行でき、並列処理が容易になる。
【0080】
なお、AVCでは、自身はイントラ符号化を行うとともに、動き補償予測に用いる参照画像メモリの内容をリセットするIDR(instantaneous decoder refresh)ピクチャが定義されている。IDRピクチャは他のいかなるピクチャにも依存せずに復号可能であるためランダムアクセスポイントとして利用される。
【0081】
共通符号化処理の場合のアクセスユニットは、1アクセスユニット=1ピクチャであるが、独立符号化処理の場合のアクセスユニットでは1アクセスユニットが複数ピクチャで構成されるため、ある色成分ピクチャがIDRピクチャである場合は他の残りの色成分ピクチャもIDRピクチャとして、IDRアクセスユニットを定義し、ランダムアクセス機能を確保する。
【0082】
以下、共通符号化処理による符号化を行ったか、独立符号化処理による符号化を行ったかを示す識別情報(インター予測モード共通化識別フラグやマクロブロックヘッダ共通化識別フラグ相当の情報)を、本実施の形態7では、共通符号化・独立符号化識別信号と呼ぶ。
【0083】
図9に、本実施の形態7の符号化装置で生成され、本実施の形態7の復号装置が入力・復号処理の対象とするビットストリームの構造の一例を示す。同図は、シーケンスからフレームレベルまでのビットストリーム構成を示したもので、まず、シーケンスレベルの上位ヘッダ(AVCの場合、SPS(sequence parameter set)など)に、共通符号化・独立符号化識別信号を多重しておく。
【0084】
個々のフレームはアクセスユニットの単位で符号化される。AUDとは、AVCにおいてアクセスユニットの切れ目を識別するためのユニークなNALユニットであるAccess Unit Delimiter NALユニットを示す。共通符号化・独立符号化識別信号が「共通符号化処理によるピクチャ符号化」を示す場合は、アクセスユニットには1ピクチャ分の符号化データが含まれる。
【0085】
このときのピクチャは、前述のように3つの色成分が混在した1フレーム分の映像信号を表すデータであるとする。このとき、i番目のアクセスユニットの符号化データはスライスデータ Slice(i,j)の集合として構成される。jは、1ピクチャ内のスライスデータのインデックスである。
【0086】
一方、共通符号化・独立符号化識別信号が「独立符号化処理によるピクチャ符号化」を示す場合は、1ピクチャはいずれか1つの色成分の1フレーム分の映像信号である。このとき、p番目のアクセスユニットの符号化データは、アクセスユニット内のq番目のピクチャのスライスデータ Slice(p,q,r)の集合として構成される。rは、1ピクチャ内のスライスデータのインデックスである。RGBのように色成分が3成分で構成される映像信号の場合、qは0,1,2のいずれかである。
【0087】
また、3原色からなる映像信号に加えて例えばアルファブレンディングのための透過度情報のような付加データを同一アクセスユニットとして符号化・復号する場合や、4成分以上の色成分(例えばカラー印刷で使用されるYMCKなど)で構成される映像信号を符号化・復号する場合などは、q>3として扱うことができる。
【0088】
本実施の形態7における符号化装置、復号装置は、独立符号化処理を選択すれば、映像信号を構成する各色成分をまったく独立に符号化するため、原理的に符号化・復号処理を変更することなく、色成分の枚数を自在に変更できる。将来、映像信号の色表現を行うための信号形式が変更された場合にも、本実施の形態7における独立符号化処理で対応可能となる効果がある。
【0089】
このような構成を実現するために、本実施の形態7では、共通符号化・独立符号化識別信号は「1アクセスユニット内に含まれ、各々が相互に動き予測参照することなく独立に符号化されるピクチャの数」という形で表現する。
【0090】
共通符号化・独立符号化識別信号3を、以降、num_pictures_in_au と呼ぶ。つまり、num_pictures_in_au=1は「共通符号化処理」を示し、num_pictures_in_au=3は本実施の形態7における「独立符号化処理」を示す。色成分が4以上となる場合、num_pictures_in_au>3なる値に設定すればよい。
【0091】
このようなシグナリングを行うことによって、復号装置は、num_pictures_in_auを復号、参照すれば共通符号化処理による符号化データと独立符号化処理による符号化データの区別ができるだけでなく、1つのアクセスユニット内に何枚の単一色成分ピクチャが存在するかを同時に知ることができ、将来の映像信号の色表現拡張への対応も可能にしつつ、共通符号化処理と独立符号化処理をビットストリーム中でシームレスに扱うことが可能である。
【0092】
図10には、共通符号化処理、独立符号化処理それぞれの場合のスライスデータのビットストリーム構成を示す。独立符号化処理によって符号化されたビットストリームでは、後述する効果を達成するため、復号装置で受信したスライスデータがアクセスユニット内のどの色成分のピクチャに属するスライスかを識別可能なように、スライスデータの先頭のヘッダ領域に色成分識別フラグ(color_channel_idc)を付与する。
【0093】
color_channel_idcは、その値が同じスライスをグループ化する。つまり、color_channel_idcの値が異なるスライス間では、いかなる符号化・復号の依存性(例えば動き予測参照、CABAC(Context-Adaptive Binary Arithmetic Coding)のコンテキストモデリング・生起確率学習など)も持たせないものとする。なお、color_channel_idcは、図1の(d)に示す実施の形態1のcolor_idと同じもので、同じセマンティクスの情報である。
【0094】
このように規定することで、独立符号化処理の場合のアクセスユニット内の個々のピクチャの独立性が確保される。また、各スライスヘッダに多重される frame_num (スライスが属するピクチャの符号化・復号処理順序)については、1アクセスユニット内の全色成分ピクチャにおいて同一の値とする。
【0095】
図11に、本実施の形態7に係る符号化装置の概略構成を示す。同図において、共通符号化処理は、第1のピクチャ符号化部102において実行され、独立符号化処理は、第2のピクチャ符号化部104(3つの色成分分を用意)において実行される。入力映像信号1は、スイッチ(SW)100によって第1のピクチャ符号化部102か、色成分分離部103および色成分毎の第2のピクチャ符号化部104のいずれかに供給される。スイッチ100は、共通符号化・独立符号化識別信号101によって駆動され、入力映像信号1を指定されたパスへ供給する。
【0096】
以下では、共通符号化・独立符号化識別信号(num_pictures_in_au)101は、入力映像信号が4:4:4フォーマットの場合にシーケンスパラメータセットに多重され、シーケンスの単位で共通符号化処理と独立符号化処理を選択する信号とする場合について説明する。
【0097】
共通符号化処理を用いた場合は、復号装置側では共通復号処理を実行し、独立符号化処理を用いた場合は、復号装置側では独立復号処理を実行する必要があるため、共通符号化・独立符号化識別信号101は、それを指定する情報としてビットストリームに多重する必要がある。そのため、共通符号化・独立符号化識別信号101は多重化部105へ入力される。この共通符号化・独立符号化識別信号101の多重化単位は、シーケンス内のいくつかのピクチャ群からなるGOP(Group Of Pictures)の単位など、ピクチャよりも上位レイヤであればどのような単位であってもよい。
【0098】
第1のピクチャ符号化部102では、共通符号化処理を実行するために、入力映像信号1を図6に示すように3つの色成分のサンプルをまとめた形式のマクロブロックへ分割して、その単位で符号化処理を進める。第1のピクチャ符号化部102における符号化処理は後述する。
【0099】
独立符号化処理が選択された場合は、入力映像信号1は色成分分離部103でC0、C1、C2の1フレーム分のデータへ分離され、それぞれ対応する第2のピクチャ符号化部104へ供給される。第2のピクチャ符号化部104では、色成分ごとに分離された1フレーム分の信号を図7に示す形式のマクロブロックへ分割して、その単位で符号化処理を進める。第2のピクチャ符号化部における符号化処理は後述する。
【0100】
第1のピクチャ符号化部102には、3つの色成分からなる1ピクチャ分の映像信号が入力され、符号化データはビットストリーム133として出力される。第2のピクチャ符号化部104には、単一色成分からなる1ピクチャ分の映像信号が入力され、符号化データはビットストリーム233a〜cとして出力される。
【0101】
これらビットストリームは、共通符号化・独立符号化識別信号101の状態に基づいて多重化部105でビットストリーム106の形式に多重化され、出力される。すなわち、多重化部105は、それぞれの色成分の入力画像信号を独立に符号化することにより得られる符号化データと、符号化データがどの色成分のデータに対してのものであるかを示すパラメータとを、ビットストリームに多重化する。
【0102】
ビットストリーム106の多重化に際しては、独立符号化処理される場合のアクセスユニット中では、スライスデータのビットストリーム中での多重化順、伝送順を、アクセスユニット内のピクチャ(各色成分)間でインタリーブ可能とする。
【0103】
すなわち、図12は、アクセスユニット内でのスライスインタリーブ不可の場合(a)と、スライスインタリーブ可の場合(b)とを示す。スライスインタリーブ不可の場合(a)に、C1成分のピクチャデータは、C0成分の符号化が完了するまでビットストリームに多重できなく、C2成分のピクチャデータは、C0,C1成分の符号化が完了するまでビットストリームに多重できないが、スライスインタリーブ可の場合(b)に、C1成分は、C0成分の1スライス分がビットストリームに多重されれば、直ぐに多重化可能であり、C2成分は、C0,C1成分の1スライス分がビットストリームに多重されれば、直ぐに多重化可能である。
【0104】
この場合、復号装置側では、受信したスライスデータが、アクセスユニット内のどの色成分に属するスライスかを識別する必要がある。そのために、スライスデータの先頭のヘッダ領域に図10のように多重する色成分識別フラグを利用する。なお、ここに記載した図12のスライスインタリーブの概念は、図3で開示されている概念と等価である。
【0105】
このような構成にすることにより、符号化装置では、図11の符号化装置のように3つの色成分のピクチャをそれぞれ独立な第2のピクチャ符号化部6を3セット使用して、並列処理により符号化を行う場合に、他の色成分ピクチャの符号化データの完成を待たずに、自身のピクチャのスライスデータが準備できればすぐに符号化データを送出可能となる。
【0106】
AVCでは1ピクチャを複数のスライスデータに分割して符号化することができ、スライスデータ長やスライス内に含まれるマクロブロックの個数については、符号化条件に応じて柔軟に変化させることができる。
【0107】
画像空間上で隣り合うスライスの間では、スライスの復号処理の独立性を確保するため、イントラ予測や算術符号化などの近傍コンテキストの利用ができないため、スライスデータ長はできるだけ長いほうが符号化効率は高い。
【0108】
一方、伝送や記録の過程でビットストリームに誤りが混入した場合は、スライスデータ長が短いほど誤りからの復帰が早まり、品質劣化を抑えやすくなる。色成分識別フラグを多重化することなく、スライスの長さや構成、色成分の順序などを固定的にしてしまうと、符号化装置においてビットストリームの生成条件が固定化されてしまい、多様な符号化要求条件に柔軟に対応することができなくなる。
【0109】
また、図12のようにビットストリームを構成することができれば、符号化装置では伝送に必要な送信バッファサイズ、すなわち符号化装置側での処理遅延を小さくすることができる。
【0110】
その様子を図11に示す。もしピクチャをまたがるスライスデータの多重が許容されない場合、符号化装置は、ある特定の色成分のピクチャの符号化が終了するまでの間、他のピクチャの符号化データをバッファリングさせる必要がある。これはピクチャレベルでの遅延が発生することを意味する。
【0111】
一方、同図最下部に示すように、スライスレベルでインタリーブ可能とすれば、ある特定の色成分のピクチャ符号化部はスライスデータの単位で符号化データを多重化部に出力することができ、遅延を抑制することができる。
【0112】
なお、1つの色成分ピクチャ内においては、それに含まれるスライスデータはマクロブロックのラスタスキャン順で伝送するようにしてもよいし、1つのピクチャ内でもインタリーブ伝送を可能とするように構成してもよい。
【0113】
以下、第1ピクチャ符号化部102および第2のピクチャ符号化部104の動作を詳しく説明する。 第1のピクチャ符号化部102の動作概要 第1のピクチャ符号化部102の内部構成を図13に示す。同図において、入力映像信号1は、4:4:4フォーマットで、かつ図6の形式の3つの色成分をまとめたマクロブロックの単位で入力されるものとする。
【0114】
まず、予測部110において、メモリ111に格納される動き補償予測参照画像データの中から参照画像を選択し、該マクロブロックの単位で動き補償予測処理が行われる。メモリ111には、複数時刻に渡る、3つの色成分で構成される複数枚の参照画像データが格納され、予測部110では、これらの中からマクロブロックの単位で最適な参照画像を選択して動き予測を行う。
【0115】
メモリ111内の参照画像データの配置は、色成分ごとに面順次で分けて格納してもよいし、各色成分のサンプルを点順次で格納してもよい。動き補償予測を行うブロックサイズは7種類用意されており、まず、マクロブロック単位に、16×16、16×8、8×16、8×8のいずれかのサイズを選択することができる。さらに、8×8が選択された場合には、各8×8ブロックごとに、8×8、8×4、4×8、4×4のいずれかのサイズを選択することができる。
【0116】
予測部110では、16×16、16×8、8×16、8×8のすべてまたは一部のブロックサイズ・8×8、8×4、4×8、4×4のサブブロックサイズ、および所定の探索範囲の動きベクトルおよび利用可能な1枚以上の参照画像に対してマクロブロックごとに動き補償予測処理を実行して、動きベクトルと予測に用いる参照画像識別情報112と減算器113により、動き補償予測単位となるブロックごとの予測差分信号114を得る。
【0117】
予測差分信号114は符号化モード判定部115においてその予測効率が評価され、予測部110で実行した予測処理の中から、予測対象のマクロブロックに対して最適な予測効率が得られるマクロブロックタイプ/サブマクロブロックタイプ116と動きベクトル・参照画像識別情報112を出力する。
【0118】
マクロブロックタイプ、サブマクロブロックタイプ、参照画像インデックス、動きベクトルなどのマクロブロックヘッダ情報はすべて、3つの色成分に対して共通のヘッダ情報として決定され、符号化に使用され、ビットストリームに多重化される。
【0119】
予測効率の最適性の評価にあたっては、演算量を抑制する目的で、ある所定の色成分(たとえばRGBのうちのG成分、YUVのうちのY成分など)に対する予測誤差量だけを評価してもよいし、演算量は大きくなるが最適な予測性能を得るべくすべての色成分についての予測誤差量を総合評価するようにしてもよい。また、最終的なマクロブロックタイプ/サブマクロブロックタイプ116の選定にあたっては、符号化制御部117の判断で定まる各タイプに対する重み係数118が加味されることもある。
【0120】
同様に、予測部110では、イントラ予測も実行する。イントラ予測実行時は、信号112には、イントラ予測モード情報が出力される。以降、特にイントラ予測、動き補償予測を区別しない場合には、出力信号112はイントラ予測モード情報、動きベクトル情報、参照画像識別番号をまとめて予測オーバヘッド情報と呼ぶ。イントラ予測についても所定の色成分だけの予測誤差量を評価してもよいし、すべての色成分についての予測誤差量を総合評価するようにしてもよい。最後に、マクロブロックタイプをイントラ予測にするか、インター予測にするかを、符号化モード判定部115において予測効率または符号化効率で評価して選定する。
【0121】
選定されたマクロブロックタイプ/サブマクロブロックタイプ116と、予測オーバヘッド情報112に基づくイントラ予測・動き補償予測によって得られる予測差分信号114を変換部119へ出力する。変換部119は入力される予測差分信号114を変換し変換係数として量子化部120へ出力する。この際、変換を行う単位となるブロックのサイズを4×4か8×8のいずれかから選択するようにしてもよい。変換ブロックサイズを選択可能とする場合は、符号化時に選択されたブロックサイズを、変換ブロックサイズ指定フラグ134の値に反映し、同フラグをビットストリームに多重化する。
【0122】
量子化部120は、入力される変換係数を、符号化制御部117によって定まる量子化パラメータ121に基づいて量子化を行い、量子化済み変換係数122として可変長符号化部123へ出力する。量子化済み変換係数122は、3つの色成分分の情報を含み、可変長符号化部123にてハフマン符号化や算術符号化などの手段によりエントロピー符号化される。
【0123】
また、量子化済み変換係数122は、逆量子化部124、逆変換部125を経て局部復号予測差分信号126へ復元され、選定されたマクロブロックタイプ/サブマクロブロックタイプ116と予測オーバヘッド情報112に基づいて生成される予測画像127と加算器128で加算することで局部復号画像129が生成される。局部復号画像129は、デブロッキングフィルタ130でブロックひずみ除去処理を実施した後、以降の動き補償予測処理に用いるためメモリ111へ格納される。
【0124】
可変長符号化部123には、当該マクロブロックに対してデブロッキングフィルタを施すか否かを示すデブロッキングフィルタ制御フラグ131も入力される。
【0125】
可変長符号化部123に入力される量子化済み変換係数122、マクロブロックタイプ/サブマクロブロックタイプ116、予測オーバヘッド情報112、量子化パラメータ121は所定の規則(シンタックス)に従ってビットストリームとして配列・整形され、図6の形式のマクロブロックが1つないしは複数個まとまったスライスデータの単位でNALユニット化された符号化データとして送信バッファ132へ出力される。
【0126】
送信バッファ17では符号化装置が接続される伝送路の帯域や記録媒体の読み出し速度に合わせてビットストリームを平滑化してビデオストリーム133として出力する。また、送信バッファ133中のビットストリーム蓄積状況に応じて符号化制御部117へフィードバックをかけ、以降の映像フレームの符号化における発生符号量を制御する。
【0127】
なお、第1のピクチャ符号化部102の出力は、3成分をまとめた単位のスライスであって、アクセスユニットをまとめた単位での符号量と等価であるため、送信バッファ132はそのまま多重化部105内に配置してもよい。
【0128】
本実施の形態7における第1のピクチャ符号化部102では、共通符号化・独立符号化識別信号101によってシーケンス中のすべてのスライスデータがC0,C1,C2混在スライス(すなわち、3つの色成分の情報が混在するスライス)であることが識別可能であるため、スライスヘッダに色成分識別フラグは多重化しない。
【0129】
第2のピクチャ符号化部104の動作概要
第2のピクチャ符号化部104の内部構成を図14に示す。557769JP03の図1の説明を流用して図Hの説明文案を作成していますが、図番が図1のままの箇所があります。同図において、入力映像信号1aは、図7の形式の単一色成分のサンプルからなるマクロブロックの単位で入力されるものとする。
【0130】
まず、予測部210において、メモリ211に格納される動き補償予測参照画像データの中から参照画像を選択し、該マクロブロックの単位で動き補償予測処理を行う。メモリ211には、複数時刻に渡る、単一色成分単一色成分を符号化処理対象とすることがポイント。図Hと図Iの見た目の違いは、メモリ16の面数としています。で構成される複数枚の参照画像データを格納でき、予測部210では、これらの中からマクロブロックの単位で最適な参照画像を選択して動き予測を行う。
【0131】
メモリ211は3つの色成分分をまとめた単位でメモリ111と共用するようにしてもよい。動き補償予測を行うブロックサイズには7種類用意されており、まず、マクロブロック単位に、16×16、16×8、8×16、8×8のいずれかのサイズを選択することができる。さらに、8×8が選択された場合には、各8×8ブロックごとに、8×8、8×4、4×8、4×4のいずれかのサイズを選択することができる。
【0132】
予測部210では、16×16、16×8、8×16、8×8のすべてまたは一部のブロックサイズ・8×8、8×4、4×8、4×4のサブブロックサイズ、および所定の探索範囲の動きベクトルおよび利用可能な1枚以上の参照画像に対してマクロブロックごとに動き補償予測処理を実行して、動きベクトルと予測に用いる参照画像のインデックス212と減算器213により、動き補償予測単位となるブロックごとの予測差分信号214を得る。
【0133】
予測差分信号214は符号化モード判定部215においてその予測効率が評価され、予測部210で実行した予測処理の中から、予測対象のマクロブロックに対して最適な予測効率が得られるマクロブロックタイプ/サブマクロブロックタイプ216と動きベクトル・参照画像のインデックス212を出力する。マクロブロックタイプ、サブマクロブロックタイプ、参照画像インデックス、動きベクトルなどのマクロブロックヘッダ情報はすべて、入力映像信号1aの単一色成分の信号に対するヘッダ情報として決定され、符号化に使用され、ビットストリームに多重化される。
【0134】
予測効率の最適性の評価にあたっては、符号化処理対象となる単一色成分に対する予測誤差量だけを評価する。また、最終的なマクロブロックタイプ/サブマクロブロックタイプ216の選定にあたっては、符号化制御部217の判断で定まる各タイプに対する重み係数218が加味されることもある。
【0135】
同様に、予測部210では、イントラ予測も実行する。予測部110を、イントラ、インター予測を両方実行するブロックとした。イントラ予測実行時は、信号212には、イントラ予測モード情報が出力される。以降、特にイントラ予測、動き補償予測を区別しない場合には、信号212は予測オーバヘッド情報と呼ぶ。イントラ予測についても符号化処理対象となる単一色成分に対する予測誤差量だけを評価する。最後に、マクロブロックタイプをイントラ予測にするか、インター予測にするかを予測効率または符号化効率で評価して選定する。
【0136】
選定されたマクロブロックタイプ/サブマクロブロックタイプ216と、予測オーバヘッド情報212によって得られる予測差分信号214を変換部219へ出力する。変換部219は入力される単一色成分分の予測差分信号214を変換し変換係数として量子化部220へ出力する。この際、変換を行う単位となるブロックのサイズを4×4か8×8のいずれかから選択するようにしてもよい。選択可能とする場合は、符号化時に選択されたブロックサイズを、変換ブロックサイズ指定フラグ234の値に反映し、同フラグをビットストリームに多重化する。
【0137】
量子化部220は入力される変換係数を、符号化制御部217によって定まる量子化パラメータ221に基づいて量子化を行い、量子化済み変換係数222として可変長符号化部223へ出力する。量子化済み変換係数222は、単一色成分分の情報を含み、可変長符号化部223にてハフマン符号化や算術符号化などの手段によりエントロピー符号化される。
【0138】
また、量子化済み変換係数222は逆量子化部224、逆変換部225を経て局部復号予測差分信号226へ復元され、選定されたマクロブロックタイプ/サブマクロブロックタイプ216と予測オーバヘッド情報212に基づいて生成される予測画像227と加算器228で加算することで局部復号画像229が生成される。
【0139】
局部復号画像229は、デブロッキングフィルタ230でブロックひずみ除去処理を実施した後、以降の動き補償予測処理に用いるためメモリ211へ格納される。可変長符号化部223には、当該マクロブロックに対してデブロッキングフィルタを施すか否かを示すデブロッキングフィルタ制御フラグ231も入力される。
【0140】
可変長符号化部223に入力される量子化済み変換係数222、マクロブロックタイプ/サブマクロブロックタイプ216、予測オーバヘッド情報212、量子化パラメータ221は所定の規則(シンタックス)に従ってビットストリームとして配列・整形され、図7の形式のマクロブロックが1つないしは複数個まとまったスライスデータの単位でNALユニット化された符号化データとして送信バッファ232へ出力される。
【0141】
送信バッファ232では符号化装置が接続される伝送路の帯域や記録媒体の読み出し速度に合わせてビットストリームを平滑化してビデオストリーム233として出力する。また、送信バッファ232中のビットストリーム蓄積状況に応じて符号化制御部217へフィードバックをかけ、以降の映像フレームの符号化における発生符号量を制御する。
【0142】
なお、第2のピクチャ符号化部104の出力は、単一色成分のデータのみからなるスライスであって、アクセスユニットをまとめた単位での符号量制御が必要となる場合には、多重化部105内に全色成分のスライスを多重した単位での共通送信バッファを設け、同バッファの占有量をもとに各色成分の符号化制御部217にフィードバックをかけるように構成してもよい。
【0143】
また、この際、全色成分の発生情報量だけを用いて符号化制御を行うようにしてもよいし、各色成分の送信バッファ232の状態も加味して符号化制御を行うようにしてもよい。全色成分の発生情報量だけを用いて符号化制御を行う場合は、送信バッファ232相当の機能を多重化部105内の共通送信バッファで実現することとして、送信バッファ232を省略する構成をとることもできる。
【0144】
本実施の形態7における第2のピクチャ符号化部104では、共通符号化・独立符号化識別信号101によってシーケンス中のすべてのスライスデータが単一色成分スライス(すなわち、C0スライスまたはC1スライスまたはC2スライス)であることが識別可能であるため、スライスヘッダに常に色成分識別フラグを多重化し、復号装置側でどのスライスがアクセスユニット内のどのピクチャデータに該当するかを識別できるようにする。
【0145】
このため、各第2のピクチャ符号化部104は、それぞれの送信バッファ232からの出力を1ピクチャ分ためることなく、1スライス分のデータがたまった時点で送出することができる。
【0146】
なお、第1のピクチャ符号化部102と第2のピクチャ符号化部104とは、マクロブロックヘッダ情報を3成分共通の情報として扱うか、単一の色成分の情報として扱うかの違いと、スライスデータのビットストリーム構成が異なるだけである。図13や図14における予測部や変換部・逆変換部、量子化部・逆量子化部、デブロッキングフィルタなどの基本的な処理ブロックの多くは、3つの色成分の情報とまとめて処理するか、単一の色成分の情報だけを扱うかの違いだけで、第1のピクチャ符号化部102と第2のピクチャ符号化部104とで共通の機能ブロックで実現することもできる。
【0147】
したがって、図11のような完全に独立な符号化処理部としてだけでなく、図13や図14の基本構成要素を適宜組み合わせて多様な符号化装置の実装を実現することができる。また、第1のピクチャ符号化部102におけるメモリ111の配置を面順次で持つことにすれば、参照画像格納メモリの構成を第1のピクチャ符号化部102と第2のピクチャ符号化部104とで共通にできる。
【0148】
また、図示はしていないが、本実施の形態における符号化装置では、図9、図10の配列に従うビデオストリーム106をバッファリングする仮想的なストリームバッファ(符号化ピクチャバッファ)と、復号画像313a、313bをバッファリングする仮想的なフレームメモリ(復号ピクチャバッファ)の存在を想定し、符号化ピクチャバッファのオーバーフロー・アンダーフローや、復号ピクチャバッファの破綻がないようにビデオストリーム106を生成する。この制御は、主として、符号化制御部117、217で行う。
【0149】
これにより、復号装置において、ビデオストリーム106を符号化ピクチャバッファと復号ピクチャバッファの動作(仮想バッファモデル)に従って復号する場合に、復号装置に破綻が生じないようにすることを保証する。仮想バッファモデルを以下に規定する。
【0150】
符号化ピクチャバッファの動作はアクセスユニット単位で行う。上述のとおり、共通復号処理を行う場合には、1アクセスユニットには1ピクチャ分の符号化データが含まれ、独立復号処理を行う場合に1アクセスユニットには色成分数分のピクチャ(3成分ならば3ピクチャ分)の符号化データが含まれている。
【0151】
符号化ピクチャバッファについて規定される動作は、アクセスユニットの最初のビットと最後のビットが符号化ピクチャバッファに入力される時刻とアクセスユニットのビットが符号化ピクチャバッファから読み出される時刻である。なお、符号化ピクチャバッファからの読み出しは瞬時に行われると規定し、アクセスユニットのすべてのビットが同じ時刻に符号化ピクチャバッファから読み出されることする。
【0152】
アクセスユニットのビットは、符号化ピクチャバッファから読み出されると、上位ヘッダ解析部へ入力され、上述のとおり、第1のピクチャ復号部または第2のピクチャ復号部にて復号処理が行われ、アクセスユニット単位に束ねられたカラー映像フレームとして出力される。なお、符号化ピクチャバッファからビットを読み出して、アクセスユニット単位のカラー映像フレームとして出力するまでの処理は、仮想バッファモデルの規定上は瞬時に行われるものとする。
【0153】
アクセスユニット単位に構成されたカラー映像フレームは、復号ピクチャバッファへ入力され、復号ピクチャバッファからの出力時刻が算出される。復号ピクチャバッファからの出力時刻は、符号化ピクチャバッファからの読み出し時刻に所定の遅延時間を加えた値である。
【0154】
この遅延時間は、ビットストリームに多重して復号装置を制御することが可能である。遅延時間が0の場合、すなわち復号ピクチャバッファからの出力時刻が符号化ピクチャバッファからの読み出し時刻に等しい場合には、カラー映像フレームが復号ピクチャバッファへ入力されると同時に復号ピクチャバッファから出力される。
【0155】
それ以外の場合、すなわち復号ピクチャバッファからの出力時刻が符号化ピクチャバッファからの読み出し時刻より遅い場合、復号ピクチャバッファからの出力時刻になるまでカラー映像フレームは復号ピクチャバッファに保存される。上述のとおり、アクセスユニット単位に復号ピクチャバッファからの動作が規定される。
【0156】
図15に、本実施の形態7の復号装置の概略構成を示す。同図において、共通復号処理は、第1のピクチャ復号部302において実行され、独立復号処理は、色成分判定部303と第2のピクチャ復号部304(3つの色成分分を用意)において実行される。
【0157】
ビットストリーム106は、上位ヘッダ解析部300でNALユニット単位に分割され、シーケンスパラメータセットやピクチャパラメータセットなどの上位ヘッダ情報は、そのまま復号して復号装置内の第1のピクチャ復号部302、色成分判定部303、第2のピクチャ復号部304が参照可能な所定のメモリエリアへ格納しておく。シーケンス単位に多重される共通符号化・独立符号化識別信号(num_pictures_in_au)は、上位ヘッダ情報の一部として復号・保持される。
【0158】
復号されたnum_pictures_in_auはスイッチ(SW)301に供給され、スイッチ301は、num_pictures_in_au = 1ならば、ピクチャごとのスライスNALユニットを第1のピクチャ復号部302へ供給し、num_pictures_in_au = 3ならば、色成分判定部303に供給する。
【0159】
すなわち、num_pictures_in_au = 1ならば第1のピクチャ復号部302により、共通復号処理が行われ、num_pictures_in_au = 3ならば3つの第2のピクチャ復号部304により、独立復号処理が行われる。第1および第2のピクチャ復号部の詳細な動作は後述する。
【0160】
色成分判定部303は、どの色成分のものに対する符号化データであるかを示すパラメータを検出する検出手段をなすもので、図10で示した色成分識別フラグの値により、スライスNALユニットが現在のアクセスユニット内のいずれの色成分ピクチャに相当するかを識別して、適切な第2のピクチャ復号部304へ分配供給する。
【0161】
このような復号装置の構成によって、図12のようにアクセスユニット内でスライスがインタリーブされて符号化されたビットストリームを受信しても、どのスライスがどの色成分ピクチャに属するかを容易に判別し正しく復号できる効果がある。
【0162】
第1のピクチャ復号部302の動作概要
第1のピクチャ復号部302の内部構成を図16に示す。第1のピクチャ復号部302は、図11の符号化装置から出力される図9,図10の配列に従うビットストリーム106を、C0、C1、C2混在スライスの単位で受信して、図6に示す3つの色成分のサンプルからなるマクロブロックを単位として復号処理を行い、出力映像フレームを復元する。
【0163】
可変長復号部310は、ビットストリーム106を入力とし、所定の規則(シンタックス)に従ってビットストリーム106を解読して、3成分分の量子化済み変換係数122、および3成分で共通して用いられるマクロブロックヘッダ情報(マクロブロックタイプ/サブマクロブロックタイプ116、予測オーバヘッド情報112、変換ブロックサイズ指定フラグ134、量子化パラメータ121)を抽出する。量子化済み変換係数122は量子化パラメータ121とともに、第1のピクチャ符号化部102と同じ処理を行う逆量子化部124へ入力され、逆量子化処理が行われる。
【0164】
次いで、その出力が第1のピクチャ符号化部102と同じ処理を行う逆変換部125へ入力され、局部復号予測差分信号126へ復元される(変換ブロックサイズ指定フラグ134がビットストリーム106中に存在すれば、それを逆量子化、逆変換処理過程で参照する)。
【0165】
一方、予測部311は、第1のピクチャ符号化部102中の予測部110のうち、予測オーバヘッド情報112を参照して予測画像127を生成する処理だけが含まれ、予測部311に対してマクロブロックタイプ/サブマクロブロックタイプ116、予測オーバヘッド情報112が入力され、3成分分の予測画像127を得る。
【0166】
マクロブロックタイプがイントラ予測であることを示す場合は、予測オーバヘッド情報112からイントラ予測モード情報に従って3成分分の予測画像127を得、マクロブロックタイプがインター予測であることを示す場合は、予測オーバヘッド情報112から動きベクトル、参照画像インデックスに従って3成分分の予測画像127を得る。
【0167】
局部復号予測差分信号126と予測画像127は加算器128により加算され、3成分分の暫定復号画像129を得る。暫定復号画像129は以降のマクロブロックの動き補償予測に用いられるため、第1のピクチャ符号化部102と同じ処理を行うデブロッキングフィルタ130で3成分分の暫定復号画像サンプルに対してブロックひずみ除去処理を実施した後、復号画像313として出力されるとともに、メモリ312へ格納される。
【0168】
この際、可変長復号部310によって解読されたデブロッキングフィルタ制御フラグ131の指示に基づいてデブロッキングフィルタ処理を暫定復号画像129に対して作用させる。メモリ312には、複数時刻に渡る、3つの色成分で構成される複数枚の参照画像データが格納される。
【0169】
予測部311では、これらの中からマクロブロックの単位でビットストリームから抽出した参照画像インデックスで示される参照画像を選択して予測画像生成を行う。メモリ312内の参照画像データの配置は、色成分ごとに面順次で分けて格納してもよいし、各色成分のサンプルを点順次で格納してもよい。復号画像313は3つの色成分を含み、そのまま共通復号処理におけるアクセスユニット313aを構成するカラー映像フレームとなる。
【0170】
第2のピクチャ復号部304の動作概要
第2のピクチャ復号部304の内部構成を図17に示す。第2のピクチャ復号部304は、図11の符号化装置から出力される図9,図10の配列に従うビットストリーム106が、色成分判定部303で振り分けられたC0ないしは、C1ないしは、C2スライスNALユニット450の単位で受信して、図7に示す単一色成分のサンプルからなるマクロブロックを単位として復号処理を行い、出力映像フレームを復元する。
【0171】
可変長復号部410は、ビットストリーム450を入力とし、所定の規則(シンタックス)に従ってビットストリーム450を解読して、単一色成分の量子化済み変換係数222、および単一色成分に適用するマクロブロックヘッダ情報(マクロブロックタイプ/サブマクロブロックタイプ216、予測オーバヘッド情報212、変換ブロックサイズ指定フラグ234、量子化パラメータ221)を抽出する。
【0172】
量子化済み変換係数222は量子化パラメータ221とともに第2のピクチャ符号化部104と同じ処理を行う逆量子化部224へ入力され、逆量子化処理が行われる。次いでその出力が第2のピクチャ符号化部104と同じ処理を行う逆変換部225へ入力され、局部復号予測差分信号226へ復元される(変換ブロックサイズ指定フラグ234がビットストリーム450中に存在すれば、それを逆量子化、逆直交変換処理過程で参照する)。
【0173】
一方、予測部311は、第2のピクチャ符号化部104中の予測部210のうち、予測オーバヘッド情報212を参照して予測画像227を生成する処理だけが含まれ、予測部411に対してマクロブロックタイプ/サブマクロブロックタイプ216、予測オーバヘッド情報212が入力され、単一色成分の予測画像227を得る。
【0174】
マクロブロックタイプがイントラ予測であることを示す場合は、予測オーバヘッド情報212からイントラ予測モード情報に従って単一色成分の予測画像227を得、マクロブロックタイプがインター予測であることを示す場合は、予測オーバヘッド情報212から動きベクトル、参照画像インデックスに従って単一色成分の予測画像227を得る。
【0175】
局部復号予測差分信号226と予測画像227は加算器228により加算され、単一色成分マクロブロックの暫定復号画像229を得る。暫定復号画像229は以降のマクロブロックの動き補償予測に用いられるため、第2のピクチャ符号化部104と同じ処理を行うデブロッキングフィルタ230で単一色成分の暫定復号画像サンプルに対してブロックひずみ除去処理を実施した後、復号画像451として出力されるとともに、メモリ412へ格納される。
【0176】
この際、可変長復号部410によって解読されたデブロッキングフィルタ制御フラグ231の指示に基づいてデブロッキングフィルタ処理を暫定復号画像229に対して作用させる。復号画像410は単一色成分のサンプルのみを含み、図15における他の並列処理される第2のピクチャ復号部304のそれぞれの出力をアクセスユニット313bの単位に束ねることで、カラー映像フレームとして構成される。
【0177】
以上のことから明らかなように、第1のピクチャ復号部302と第2のピクチャ復号部304とは、マクロブロックヘッダ情報を3成分共通の情報として扱うか、単一の色成分の情報として扱うかの違いと、スライスデータのビットストリーム構成が異なるだけで、図13や図14における動き補償予測処理や逆変換、逆量子化などの基本的な復号処理ブロックの多くは第1のピクチャ復号部302と第2のピクチャ復号部304とで共通の機能ブロックで実現できる。
【0178】
したがって、図15のような完全に独立な符号化処理部としてだけでなく、図16や図17の基本構成要素を適宜組み合わせて多様な復号装置の実装を実現することができる。現時点で具体的な装置構成は記述しきれないが・・・また、第1のピクチャ復号部302におけるメモリ312の配置を面順次で持つことにすれば、メモリ312、メモリ412の構成を第1のピクチャ復号部302と第2のピクチャ復号部304とで共通にできる。
【0179】
なお、図15の復号装置は、図11の符号化装置の別の形態として、共通符号化・独立符号化識別信号3を常に「独立符号化処理」に固定化して、第1のピクチャ符号化部102を一切使用せず全フレームを独立符号化するように構成された符号化装置から出力されるビットストリームを受信して復号することももちろん可能である。
【0180】
また、図15の復号装置の別の形態として、常に共通符号化・独立符号化識別信号3が「独立符号化処理」に固定化されることを前提とする利用形態では、スイッチ301や第1のピクチャ復号部302を省略した独立復号処理を行うのみの復号装置として構成してもよい。
【0181】
さらに、第1のピクチャ復号部302に、従来のYUV(輝度信号(Y)と、輝度信号と青色成分の差(U)、輝度信号と赤色成分の差(V)の3つの情報で色を表す形式の信号)4:2:0フォーマットを対象として3成分まとめて符号化されたAVCハイプロファイル準拠のビットストリームの復号機能を備えるようにし、上位ヘッダ解析部300において、ビットストリーム106から復号するプロファイル識別子を参照していずれのフォーマットで符号化されたビットストリームかを判定し、判定結果を共通符号化・独立符号化識別信号3の信号線の情報の一部としてスイッチ301と第1のピクチャ復号部302に伝える構成をとれば、従来のYUV4:2:0フォーマットのビットストリームに対する互換性を確保する復号装置を構成することもできる。
【0182】
なお、本実施の形態7における第1のピクチャ符号化部102では、スライスデータに3つの色成分の情報が混在し、かつ3つの色成分に対してまったく同じイントラ・インター予測処理を実施するため、予測誤差信号空間で、色成分間での信号相関が残存することがある。
【0183】
これを除去する工夫として、例えば、予測誤差信号に対して、色空間変換処理を施すように構成してもよい。このような構成をもつ第1のピクチャ符号化部102の例を図18,図19に示す。なお、図18,図19において、色空間変換部及び逆色空間変換部以外は図13と共通する。
【0184】
図18は、色空間変換処理を、変換処理を行う前の画素レベルで実施する例であり、色空間変換部150aを変換部の前に、逆色空間変換部151aを逆変換部の後に配置する。
【0185】
図19は、色空間変換処理を、変換処理を行った後で得られた係数データに対して処理対象の周波数成分を適宜選択しながら実施HHI提案する例であり、色空間変換部150bを変換部の後に、逆色空間変換部151bを逆変換部の前に配置する。色空間変換を施す周波数成分を限定することで、特定の色成分に含まれる高周波ノイズ成分がノイズをあまり含まない他の色成分に伝播することを抑制することができる効果がある。
【0186】
色空間変換処理の対象となる周波数成分を適応選択可能とする場合には、復号側で符号化時の選択を判断するためのシグナリング情報152aa、152bをビットストリームに多重化する。
【0187】
色空間変換処理は、符号化対象の画像信号の性質に応じて複数の変換方式をマクロブロック単位に切り替えて使用するようにしてもよいし、マクロブロックの単位で変換有無を判定するように構成してもよい。選択可能な変換方式の種別をシーケンスレベルなどで指定しておき、それらの中からどれを選ぶかをピクチャ、スライス、マクロブロックなどの単位で指定するようにも構成できる。また、直交変換の前で実施するか、後で実施するかを選択可能なように構成してもよい。
【0188】
これらの適応符号化処理を行う場合は、選択可能なすべての選択肢について、符号化モード判定部115ないし215で符号化効率の評価を行ってもっとも符号化効率が高いものを選択するように構成することができる。これらの適応符号化処理を実施する場合は、復号側で符号化時の選択を判断するためのシグナリング情報152a、152bをビットストリームに多重化する。このようなシグナリングは、スライス、ピクチャ、GOP、シーケンスなどマクロブロックとは異なるレベルで指定してもよい。
【0189】
図18,図19の符号化装置に対応する復号装置を図20,図21に示す。なお、図20,図21において、逆色空間変換部以外は図16と共通する。図20は、図18の符号化装置によって、変換処理前に色空間変換が行われて符号化されたビットストリームを復号する復号装置である。
【0190】
可変長復号部はビットストリームから、逆色空間変換部151aにおいて変換を行うか行わないかを選択する変換有無の情報や、逆色空間変換部において実行可能な変換方式を選択する情報152aaを復号して、逆色空間変換部151aへ供給する。図20の復号装置は、逆色空間変換部151aにおいて、これらの情報に基づいて逆変換後の予測誤差信号に対する色空間変換処理を実施する。
【0191】
また、図21は、図19の符号化装置によって、変換処理後に処理対象の周波数成分を選択して色空間変換を行うことによって符号化されたビットストリームを復号する復号装置である。可変長復号部はビットストリームから、逆色空間変換部151bにおいて変換を行うか行わないかを選択する変換有無の情報や、逆色空間変換部において実行される変換方式を選択する情報や、色空間変換を施す周波数成分を特定する情報などを含む識別情報152bを復号して逆色空間変換部151bに供給する。図21の復号装置は、逆色空間変換部151bにおいて、これらの情報に基づいて逆量子化後の変換係数データに対し色空間変換処理を実施する。
【0192】
図20、図21の復号装置は、図15の復号装置と同様、第1のピクチャ復号部302に、従来のYUV4:2:0フォーマットを対象として3成分まとめて符号化されたAVCハイプロファイル準拠のビットストリームの復号機能を備えるようにし、上位ヘッダ解析部300において、ビデオストリーム106から復号するプロファイル識別子を参照していずれのフォーマットで符号化されたビットストリームかを判定し、判定結果を共通符号化・独立符号化識別信号101の信号線の情報の一部としてスイッチ10と第1のピクチャ復号部302に伝える構成をとれば、従来のYUV4:2:0フォーマットのビットストリームに対する互換性を確保する復号装置を構成することもできる。
【0193】
図22に従来のYUV4:2:0フォーマットのビットストリームに含まれるマクロブロックヘッダ情報の符号化データの構成を示す。マクロブロックタイプがイントラ予測のときに、イントラ色差予測モード500の符号化データが含まれている。マクロブロックタイプがインター予測のときには、マクロブロックヘッダ情報に含まれる参照画像識別番号、動きベクトル情報を用いて輝度成分とは異なる方法で色差成分の動きベクトルが生成される。
【0194】
従来のYUV4:2:0フォーマットのビットストリームに対する互換性を確保する復号装置の動作について説明する。上述のとおり、第1のピクチャ復号部302が従来のYUV4:2:0フォーマットのビットストリームの復号機能を備えるものとする。第1のピクチャ復号部の内部構成は図16と同じである。
【0195】
従来のYUV4:2:0フォーマットのビットストリームの復号機能を備えた第1のピクチャ復号部302の可変長復号部310の動作を説明する。ビデオストリーム106が可変長復号部310へ入力されると、色差フォーマット指示フラグを復号する。色差フォーマット指示フラグは、ビデオストリーム106のシーケンスパラメータヘッダに含まれ、入力映像フォーマットが4:4:4か、4:2:2か、4:2:0か、4:0:0かのいずれかのフォーマットを示すフラグである。
【0196】
ビデオストリーム106のマクロブロックヘッダ情報の復号処理は色差フォーマット指示フラグの値によって切り替えられる。マクロブロックタイプがイントラ予測を示している場合で、色差フォーマット指示フラグが4:2:0または4:2:2を示している場合にはイントラ色差予測モードをビットストリームから復号する。色差フォーマット指示フラグが4:4:4を示している場合にはイントラ色差予測モードの復号をスキップする。色差フォーマット指示フラグが4:0:0を示している場合、入力映像信号は輝度信号のみで構成されるフォーマット(4:0:0フォーマット)であるため、イントラ色差予測モードの復号をスキップする。
【0197】
イントラ色差予測モード以外のマクロブロックヘッダ情報の復号処理は、従来のYUV4:2:0フォーマットのビットストリームの復号機能を備えていない第1のピクチャ復号部302の可変長復号部310と同じである。
【0198】
以上により、ビデオストリーム106が可変長復号部310へ入力されると、色差フォーマット指示フラグ(図示せず)、3成分分の量子化済み変換係数、マクロブロックヘッダ情報(マクロブロックタイプ/サブマクロブロックタイプ、予測オーバヘッド情報、変換ブロックサイズ指定フラグ、量子化パラメータ)を抽出する。予測部311には、色差指示フォーマット指示フラグ(図示せず)と予測オーバヘッド情報が入力され、3成分分の予測画像127を得る。
【0199】
図23に従来のYUV4:2:0フォーマットのビットストリームに対する互換性を確保する第1のピクチャ復号部302の予測部311の内部構成を示し、その動作を説明する。
【0200】
切替部501は、マクロブロックタイプを判別し、マクロブロックタイプがイントラ予測であることを示す場合は、切替部502にて色差フォーマット指示フラグの値を判別する。色差フォーマット指示フラグの値が、4:2:0または4:2:2のいずれかを示す場合には、予測オーバヘッド情報からイントラ予測モード情報とイントラ色差予測モード情報に従って3成分分の予測画像127を得る。3成分のうち、輝度信号の予測画像は、イントラ予測モード情報に従って輝度信号イントラ予測部にて生成される。
【0201】
色差信号2成分の予測画像は、イントラ色差予測モード情報に従って、輝度成分とは異なる処理を行う色差信号イントラ予測部にて生成される。色差フォーマット指示フラグの値が、4:4:4を示す場合には、3成分すべての予測画像がイントラ予測モード情報に従って輝度信号イントラ予測部にて生成される。色差フォーマット指示フラグの値が、4:0:0を示す場合には、4:0:0フォーマットは輝度信号(1成分)のみで構成されるため、輝度信号の予測画像のみがイントラ予測モード情報に従って輝度信号イントラ予測部にて生成される。
【0202】
切替部501にてマクロブロックタイプがインター予測であることを示す場合は、切替部503にて色差フォーマット指示フラグの値を判別する。色差フォーマット指示フラグの値が4:2:0または4:2:2のいずれかを示す場合には、輝度信号については、輝度信号インター予測部にて予測オーバヘッド情報から動きベクトル、参照画像インデックスに従って、AVC規格が定める輝度信号の予測画像生成方法に従って予測画像が生成される。
【0203】
色差信号2成分の予測画像については、色差信号インター予測部にて、予測オーバヘッド情報から得られる動きベクトルを色差フォーマットに基づいてスケーリングして色差動きベクトルを生成し、予測オーバヘッド情報から得られる参照画像インデックスが指示する参照画像から、上記色差動きベクトルに基づいてAVC規格の定める方法に従って予測画像が生成される。色差フォーマット指示フラグの値が、4:0:0を示す場合には、4:0:0フォーマットは輝度信号(1成分)のみで構成されるため、輝度信号の予測画像のみが動きベクトル、参照画像インデックスに従って輝度信号インター予測部にて生成される。
【0204】
以上のように、従来のYUV4:2:0フォーマットの色差信号の予測画像を生成する手段を設け、ビットストリームから復号した色差フォーマット指示フラグの値に応じて3成分の予測画像の生成に用いる手段を切り替えるようにしたため、従来のYUV4:2:0フォーマットのビットストリームに対する互換性を確保する復号装置を構成することができる。
【0205】
なお、図20,図21の復号装置に供給するビットストリーム106に、図15の復号装置のように色空間変換処理をサポートしない復号装置でも復号が可能であるビットストリームかどうかを示す情報をシーケンスパラメータセットなどの単位で付与しておけば、図20,図21、図15のいずれの復号装置でもそれぞれの復号性能に応じたビットストリームの復号が可能であり、ビットストリームの互換性を確保しやすい効果がある。
【0206】
実施の形態8.
本実施の形態8では、図11や図15など実施の形態7の符号化装置・復号装置において、その入出力対象となるビットストリームの構成のみが異なる別の実施の形態について述べる。本実施の形態8における符号化装置は、図24に示すビットストリーム構成で符号化データの多重化を行う。
【0207】
図9の構成のビットストリームにおいて、AUD NALユニットは、その要素として primary_pic_type という情報を含む。これは、表に示されるように、AUD NALユニットで始まるアクセスユニット内のピクチャデータが符号化される際のピクチャ符号化タイプの情報を示す。
【0208】
【表1】
【0209】
例えば、primary_pic_type = 0の場合は、ピクチャ内すべてがイントラ符号化されていることを示す。primary_pic_type = 1の場合は、イントラ符号化されるスライスと、参照ピクチャリストを1つだけ使用して動き補償予測を行うことが可能なスライスとがピクチャ内で混在できることを示す。primary_pic_typeは、1つのピクチャがどのような符号化モードを使用して符号化できるかを規定する情報であるので、符号化装置側ではこの情報を操作することで、入力映像信号の性質やランダムアクセス機能などの種々の条件に適した符号化を行うことができる。
【0210】
実施の形態7では、primary_pic_typeがアクセスユニットあたり1つだけしかないので、独立符号化処理を行う場合のアクセスユニットでは3つの色成分ピクチャで primary_pic_type は共通とする。本実施の形態8では、各色成分ピクチャの独立符号化を行う場合に、図9のAUD NALユニット内に、num_pictures_in_au の値に応じて、追加で残り2つの色成分ピクチャ分の primary_pic_type を挿入するか、図24のビットストリーム構成のように、各色成分ピクチャの符号化データを、色成分ピクチャの開始を示すNALユニット (Color Channel Delimiter)から開始するように構成し、このCCD NALユニット中に、対応するピクチャのprimary_pic_type情報を含むように構成する。なお、実施の形態8のCCD NALユニットの概念は、図4で開示されている概念と等価である。
【0211】
この構成では、各色成分ピクチャの符号化データは1ピクチャ分まとめて多重されるので、実施の形態7で述べた色成分識別フラグ(color_channel_idc)はスライスヘッダではなく、CCD NALユニットに含めるようにする。これにより、各スライスへの多重が必要であった色成分識別フラグの情報をピクチャ単位のデータに集約できるので、オーバヘッド情報を削減できる効果がある。
【0212】
また、バイト列として構成されるCCD NALユニットを検出してcolor_channel_idcを色成分ピクチャあたり1度だけ検証すればよく、可変長復号処理を行うことなく色成分ピクチャの先頭をすばやく見つけることができるので、復号装置側で、色成分ごとに復号対象のNALユニットを分離するためにスライスヘッダ中のcolor_channel_idcを逐一検証しなくてもよくなり、第2のピクチャ復号部へのデータ供給を円滑に行うことができる。
【0213】
一方で、このような構成では、実施の形態7の図12で述べたような、符号化装置のバッファサイズ、処理遅延を低減する効果が薄れるため、色成分識別フラグはスライス単位に多重するか、色成分ピクチャ単位に多重するかをより上位のレベル(シーケンスやGOP)でシグナリングするように構成してもよい。このようなビットストリーム構成をとることで、符号化装置はその利用形態に応じて柔軟な実装を行うことが可能となる。
【0214】
実施の形態9.
さらに、別の実施の形態として、図25に示すビットストリーム構成で符号化データの多重化を行ってもよい。同図において、図24ではCCD NALユニットに含むようにした color_channel_idc , primary_pic_type は各AUDに含むようにする。本実施の形態9におけるビットストリーム構成では、独立符号化処理の場合にも、1つのアクセスユニットに1つの(色成分)ピクチャが含まれるように構成する。すなわち、図25においては、1ピクチャ(1色成分)=1アクセスユニットとして定義する。
【0215】
このような構成でも、色成分識別フラグの情報をピクチャ単位のデータに集約できることによるオーバヘッド情報の削減効果、また、バイト列として構成されるAUD NALユニットを検出してcolor_channel_idcをピクチャあたり1度だけ検証すればよく、可変長復号処理を行うことなく色成分ピクチャの先頭をすばやく見つけることができるので、復号装置側で、色成分ごとに復号対象のNALユニットを分離するためにスライスヘッダ中のcolor_channel_idcを逐一検証することなく第2のピクチャ復号部へのデータ供給を円滑に行うことができる。
【0216】
一方、1フレームないしは1フィールドの画像は3つのアクセスユニットから構成されるため、3つのアクセスユニットが同一時刻の画像データであることを指定する必要がある。このため、図25のビットストリーム構成では、さらにAUDの中に、各ピクチャのシーケンス番号(時間方向の符号化・復号順序等)を付与するように構成することもできる。
【0217】
このような構成によって、復号装置側では、各ピクチャの復号・表示順や色成分属性、IDRの是非などを、スライスデータを一切復号することなく検証可能となり、ビットストリームレベルの編集や特殊再生を効率よく行うことが可能となる。
【0218】
また、図9、図24ないしは図25のビットストリーム構成において、AUDやCCDの領域に、ひとつの色成分ピクチャに含まれるスライスNALユニットの個数を指定する情報を格納するように構成してもよい。
【0219】
なお、上記すべての実施の形態について、変換処理、逆変換処理は、DCTのように直交性を保証する変換でもよいし、AVCのような、厳密にはDCTのような直交変換でなく、量子化・逆量子化処理と組み合わせて直交性を近似する変換であってもよい。また、変換を行わずに、予測誤差信号を画素レベルの情報として符号化するような構成であってもよい。
【特許請求の範囲】
【請求項1】
複数の色成分からなる入力画像信号に対して圧縮処理を行う画像符号化方法において、 それぞれの色成分の入力画像信号を独立に符号化処理を行うことにより得られる符号化データと、前記符号化データがどの色成分のデータに対してのものであるかを示すパラメータとを、ビットストリームに多重する
ことを特徴とする画像符号化方法。
【請求項2】
請求項1に記載の画像符号化方法において、
前記符号化データがどの色成分のデータに対してのものであるかを示すパラメータは、前記ビットストリームのシンタックスのうち、スライスヘッダの一部に含まれる
ことを特徴とする画像符号化方法。
【請求項3】
請求項1に記載の画像符号化方法において、
前記色成分のデータは、一つのアクセスユニットの中にデリミタで各色成分毎に区切られてまとめて並べられる
ことを特徴とする画像符号化方法。
【請求項4】
請求項1に記載の画像符号化方法において、
前記符号化データがどの色成分のものに対してのものであるかを示すパラメータは、前記ビットストリームのシンタックスのうち、NALユニットのヘッダ情報の一部に含まれる
ことを特徴とする画像符号化方法。
【請求項5】
請求項1に記載の画像符号化方法において、
前記符号化データのスライスの空間的な構造を全ての色成分に対して共通とする
ことを特徴とする画像符号化方法。
【請求項6】
請求項1に記載の画像符号化方法において、
前記符号化データの符号化のタイプを全ての色成分に対して共通とする
ことを特徴とする画像符号化方法。
【請求項7】
請求項1に記載の画像符号化方法において、
前記符号化データのシーケンスパラメータセットのIDに複数のフォーマットのパラメータをセットして、異なるフォーマットで符号化処理を行うモードを切り替える
ことを特徴とする画像符号化方法。
【請求項8】
複数の色成分からなる画像信号が圧縮されたビットストリームを入力して復号処理を行う画像復号方法において、
どの色成分のものに対する符号化データであるかを示すパラメータを用いてそれぞれの色成分の符号化データの復号処理を行い、
前記符号化データがどの色成分のデータに対してのものであるかを示すパラメータを、前記ビットストリームのシンタックスのうち、スライスヘッダの一部から検出する
ことを特徴とする画像復号方法。
【請求項9】
複数の色成分からなる画像信号が圧縮されたビットストリームを入力して復号処理を行う画像復号方法において、
どの色成分のものに対する符号化データであるかを示すパラメータを用いてそれぞれの色成分の符号化データの復号処理を行い、
一つのアクセスユニットの中にデリミタで各色成分毎に区切られてまとめて並べられる前記色成分の符号化データを検出する
ことを特徴とする画像復号方法。
【請求項10】
複数の色成分からなる画像信号が圧縮されたビットストリームを入力して復号処理を行う画像復号方法において、
どの色成分のものに対する符号化データであるかを示すパラメータを用いてそれぞれの色成分の符号化データの復号処理を行い、
前記符号化データがどの色成分のものに対してのものであるかを示すパラメータを、前記ビットストリームのシンタックスのうち、NALユニットのヘッダ情報の一部から検出する
ことを特徴とする画像復号方法。
【請求項11】
複数の色成分からなる画像信号が圧縮されたビットストリームを入力して復号処理を行う画像復号方法において、
どの色成分のものに対する符号化データであるかを示すパラメータを用いてそれぞれの色成分の符号化データの復号処理を行い、
前記符号化データのスライスの空間的な構造を全ての色成分に対して共通とする
ことを特徴とする画像復号方法。
【請求項12】
複数の色成分からなる画像信号が圧縮されたビットストリームを入力して復号処理を行う画像復号方法において、
どの色成分のものに対する符号化データであるかを示すパラメータを用いてそれぞれの色成分の符号化データの復号処理を行い、
前記符号化データの符号化のタイプを全ての色成分に対して共通とする
ことを特徴とする画像復号方法。
【請求項13】
複数の色成分からなる画像信号が圧縮されたビットストリームを入力して復号処理を行う画像復号方法において、
どの色成分のものに対する符号化データであるかを示すパラメータを用いてそれぞれの色成分の符号化データの復号処理を行い、
前記符号化データのシーケンスパラメータセットのIDに含まれる複数のフォーマットのパラメータに基づき、異なるフォーマットで復号処理を行うモードを切り替える
ことを特徴とする画像復号方法。
【請求項14】
複数の色成分からなる入力画像信号に対して圧縮処理を行う画像符号化装置において、 それぞれの色成分の入力画像信号を独立に符号化処理を行うことにより得られる符号化データと、前記符号化データがどの色成分のデータに対してのものであるかを示すパラメータとを、ビットストリームに多重する多重手段を備えた
ことを特徴とする画像符号化装置。
【請求項15】
複数の色成分からなる入力画像信号を圧縮符号化した結果生成されるビットストリームであって、各色成分の画像信号の圧縮データをスライス単位に構成し、該スライスのヘッダ領域に該スライスデータがいずれの色成分の圧縮データを含むか否かを示すパラメータが多重されることを特徴とする画像符号化ビットストリーム。
【請求項16】
複数の色成分からなる入力画像信号を圧縮符号化した結果生成されるビットストリームであって、各色成分の画像信号の圧縮データをスライス単位に構成し、該スライスのヘッダ領域に該スライスデータがいずれの色成分の圧縮データを含むか否かを示すパラメータが多重された画像符号化ビットストリームが記録された記録媒体。
【請求項17】
4:4:4フォーマットのカラー画像を圧縮符号化してビットストリームを生成する画像符号化装置において、
4:4:4フォーマットの各色成分の信号を4:0:0フォーマットで独立に符号化を行うか否かを示す識別情報をビットストリームに多重するとともに、
該識別情報が、各色成分の信号を4:0:0フォーマットで独立に符号化することを示す場合に、4:4:4フォーマットの各色成分を独立に4:0:0フォーマットのピクチャとして符号化することを特徴とする画像符号化装置。
【請求項18】
4:4:4フォーマットのカラー画像を圧縮符号化してビットストリームを生成する画像符号化方法において、
4:4:4フォーマットの各色成分の信号を4:0:0フォーマットで独立に符号化を行うか否かを示す識別情報をビットストリームに多重するとともに、
該識別情報が、各色成分の信号を4:0:0フォーマットで独立に符号化することを示す場合に、4:4:4フォーマットの各色成分を独立に4:0:0フォーマットのピクチャとして符号化することを特徴とする画像符号化方法。
【請求項19】
4:4:4フォーマットのカラー画像を圧縮符号化して生成されたビットストリームを入力として、カラー画像信号を復号する画像復号装置において、
前記ビットストリームから、各色成分の信号が独立に4:0:0フォーマットで符号化されているか否かを示す識別情報を復号するとともに、該識別情報が、各色成分の信号が独立に4:0:0フォーマットで符号化されていることを示す場合は、同一フレームないしはフィールドに属する4:0:0フォーマットで符号化された3枚の独立したピクチャ符号化データをまとめた単位をアクセスユニットとして認識することを特徴とする画像復号装置。
【請求項20】
4:4:4フォーマットのカラー画像を圧縮符号化して生成されたビットストリームを入力として、カラー画像信号を復号する画像復号方法において、
前記ビットストリームから、各色成分の信号が独立に4:0:0フォーマットで符号化されているか否かを示す識別情報を復号するとともに、該識別情報が、各色成分の信号が独立に4:0:0フォーマットで符号化されていることを示す場合は、同一フレームないしはフィールドに属する4:0:0フォーマットで符号化された3枚の独立したピクチャ符号化データをまとめた単位をアクセスユニットとして認識することを特徴とする画像復号方法。
【請求項21】
4:4:4フォーマットのカラー画像を圧縮符号化してビットストリームを生成する画像符号化装置において、
4:4:4フォーマットの各色成分の信号を4:0:0フォーマットで独立に符号化を行うか否かを示す識別情報をビットストリームに多重するとともに、
該識別情報が、各色成分の信号を4:0:0フォーマットで独立に符号化することを示す場合に、同一フレームないしはフィールドに属する4:0:0フォーマットで符号化された3枚の独立したピクチャ符号化データをまとめた単位をアクセスユニットとして符号化することを特徴とする画像符号化装置。
【請求項22】
4:4:4フォーマットのカラー画像を圧縮符号化してビットストリームを生成する画像符号化方法において、
4:4:4フォーマットの各色成分の信号を4:0:0フォーマットで独立に符号化を行うか否かを示す識別情報をビットストリームに多重するとともに、
該識別情報が、各色成分の信号を4:0:0フォーマットで独立に符号化することを示す場合に、同一フレームないしはフィールドに属する4:0:0フォーマットで符号化された3枚の独立したピクチャ符号化データをまとめた単位をアクセスユニットとして符号化することを特徴とする画像符号化方法。
【請求項23】
4:4:4フォーマットのカラー画像を圧縮符号化して生成されたビットストリームを入力として、カラー画像信号を復号する画像復号装置において、
前記ビットストリームから、各色成分の信号が独立に4:0:0フォーマットで符号化されているか否かを示す識別情報を復号するとともに、該識別情報が、各色成分の信号が独立に4:0:0フォーマットで符号化されていることを示す場合は、スライスヘッダから、当該スライスに含まれる符号化データがいずれの色成分の符号化データを識別するための色成分識別情報を復号することを特徴とする画像復号装置。
【請求項24】
4:4:4フォーマットのカラー画像を圧縮符号化して生成されたビットストリームを入力として、カラー画像信号を復号する画像復号方法において、
前記ビットストリームから、各色成分の信号が独立に4:0:0フォーマットで符号化されているか否かを示す識別情報を復号するとともに、該識別情報が、各色成分の信号が独立に4:0:0フォーマットで符号化されていることを示す場合は、スライスヘッダから、当該スライスに含まれる符号化データがいずれの色成分の符号化データを識別するための色成分識別情報を復号することを特徴とする画像復号方法。
【請求項25】
4:4:4フォーマットのカラー画像を圧縮符号化してビットストリームを生成する画像符号化装置において、
4:4:4フォーマットの各色成分の信号を4:0:0フォーマットで独立に符号化を行うか否かを示す識別情報をビットストリームに多重するとともに、該識別情報が、各色成分の信号を4:0:0フォーマットで独立に符号化することを示す場合に、スライスヘッダに、当該スライスに含まれる符号化データがいずれの色成分の符号化データを識別するための色成分識別情報を多重するとともに、異なる色成分の符号化データを含むスライスデータを任意の順序でビットストリームに多重することを特徴とする画像符号化装置。
【請求項26】
4:4:4フォーマットのカラー画像を圧縮符号化してビットストリームを生成する画像符号化方法において、
4:4:4フォーマットの各色成分の信号を4:0:0フォーマットで独立に符号化を行うか否かを示す識別情報をビットストリームに多重するとともに、該識別情報が、各色成分の信号を4:0:0フォーマットで独立に符号化することを示す場合に、スライスヘッダに、当該スライスに含まれる符号化データがいずれの色成分の符号化データを識別するための色成分識別情報を多重するとともに、異なる色成分の符号化データを含むスライスデータを任意の順序でビットストリームに多重することを特徴とする画像符号化方法。
【請求項27】
4:4:4フォーマットのカラー画像を圧縮符号化してビットストリームを生成する画像符号化装置において、
4:4:4フォーマットの各色成分の信号を4:0:0フォーマットのピクチャとして独立に符号化を行うか否かを示す識別情報をビットストリームに多重するとともに、該識別情報が、各色成分の信号を4:0:0フォーマットのピクチャとして独立に符号化することを示す場合に、同一アクセスユニットに属するすべての色成分の信号が共通のピクチャ符号化タイプで符号化されるように構成することを特徴とする画像符号化装置。
【請求項28】
4:4:4フォーマットのカラー画像を圧縮符号化してビットストリームを生成する画像符号化方法において、
4:4:4フォーマットの各色成分の信号を4:0:0フォーマットのピクチャとして独立に符号化を行うか否かを示す識別情報をビットストリームに多重するとともに、該識別情報が、各色成分の信号を4:0:0フォーマットのピクチャとして独立に符号化することを示す場合に、同一アクセスユニットに属するすべての色成分の信号が共通のピクチャ符号化タイプで符号化されるように構成することを特徴とする画像符号化方法。
【請求項29】
4:4:4フォーマットのカラー画像を圧縮符号化してビットストリームを生成する画像符号化装置において、
4:4:4フォーマットの各色成分の信号を4:0:0フォーマットで独立に符号化を行うか否かを示す識別情報をビットストリームに多重するとともに、該識別情報が、各色成分の信号を4:0:0フォーマットで独立に符号化することを示す場合に、同一フレームないしはフィールドに属する4:0:0フォーマットで符号化された3枚の独立したピクチャ符号化データをまとめた単位をアクセスユニットとし、アクセスユニットの単位で仮想ストリームバッファのオーバフローが発生しないように符号化処理を行うことを特徴とする画像符号化装置。
【請求項30】
4:4:4フォーマットのカラー画像を圧縮符号化してビットストリームを生成する画像符号化方法において、
4:4:4フォーマットの各色成分の信号を4:0:0フォーマットで独立に符号化を行うか否かを示す識別情報をビットストリームに多重するとともに、該識別情報が、各色成分の信号を4:0:0フォーマットで独立に符号化することを示す場合に、同一フレームないしはフィールドに属する4:0:0フォーマットで符号化された3枚の独立したピクチャ符号化データをまとめた単位をアクセスユニットとし、アクセスユニットの単位で仮想ストリームバッファのオーバフローが発生しないように符号化処理を行うことを特徴とする画像符号化方法。
【請求項1】
複数の色成分からなる入力画像信号に対して圧縮処理を行う画像符号化方法において、 それぞれの色成分の入力画像信号を独立に符号化処理を行うことにより得られる符号化データと、前記符号化データがどの色成分のデータに対してのものであるかを示すパラメータとを、ビットストリームに多重する
ことを特徴とする画像符号化方法。
【請求項2】
請求項1に記載の画像符号化方法において、
前記符号化データがどの色成分のデータに対してのものであるかを示すパラメータは、前記ビットストリームのシンタックスのうち、スライスヘッダの一部に含まれる
ことを特徴とする画像符号化方法。
【請求項3】
請求項1に記載の画像符号化方法において、
前記色成分のデータは、一つのアクセスユニットの中にデリミタで各色成分毎に区切られてまとめて並べられる
ことを特徴とする画像符号化方法。
【請求項4】
請求項1に記載の画像符号化方法において、
前記符号化データがどの色成分のものに対してのものであるかを示すパラメータは、前記ビットストリームのシンタックスのうち、NALユニットのヘッダ情報の一部に含まれる
ことを特徴とする画像符号化方法。
【請求項5】
請求項1に記載の画像符号化方法において、
前記符号化データのスライスの空間的な構造を全ての色成分に対して共通とする
ことを特徴とする画像符号化方法。
【請求項6】
請求項1に記載の画像符号化方法において、
前記符号化データの符号化のタイプを全ての色成分に対して共通とする
ことを特徴とする画像符号化方法。
【請求項7】
請求項1に記載の画像符号化方法において、
前記符号化データのシーケンスパラメータセットのIDに複数のフォーマットのパラメータをセットして、異なるフォーマットで符号化処理を行うモードを切り替える
ことを特徴とする画像符号化方法。
【請求項8】
複数の色成分からなる画像信号が圧縮されたビットストリームを入力して復号処理を行う画像復号方法において、
どの色成分のものに対する符号化データであるかを示すパラメータを用いてそれぞれの色成分の符号化データの復号処理を行い、
前記符号化データがどの色成分のデータに対してのものであるかを示すパラメータを、前記ビットストリームのシンタックスのうち、スライスヘッダの一部から検出する
ことを特徴とする画像復号方法。
【請求項9】
複数の色成分からなる画像信号が圧縮されたビットストリームを入力して復号処理を行う画像復号方法において、
どの色成分のものに対する符号化データであるかを示すパラメータを用いてそれぞれの色成分の符号化データの復号処理を行い、
一つのアクセスユニットの中にデリミタで各色成分毎に区切られてまとめて並べられる前記色成分の符号化データを検出する
ことを特徴とする画像復号方法。
【請求項10】
複数の色成分からなる画像信号が圧縮されたビットストリームを入力して復号処理を行う画像復号方法において、
どの色成分のものに対する符号化データであるかを示すパラメータを用いてそれぞれの色成分の符号化データの復号処理を行い、
前記符号化データがどの色成分のものに対してのものであるかを示すパラメータを、前記ビットストリームのシンタックスのうち、NALユニットのヘッダ情報の一部から検出する
ことを特徴とする画像復号方法。
【請求項11】
複数の色成分からなる画像信号が圧縮されたビットストリームを入力して復号処理を行う画像復号方法において、
どの色成分のものに対する符号化データであるかを示すパラメータを用いてそれぞれの色成分の符号化データの復号処理を行い、
前記符号化データのスライスの空間的な構造を全ての色成分に対して共通とする
ことを特徴とする画像復号方法。
【請求項12】
複数の色成分からなる画像信号が圧縮されたビットストリームを入力して復号処理を行う画像復号方法において、
どの色成分のものに対する符号化データであるかを示すパラメータを用いてそれぞれの色成分の符号化データの復号処理を行い、
前記符号化データの符号化のタイプを全ての色成分に対して共通とする
ことを特徴とする画像復号方法。
【請求項13】
複数の色成分からなる画像信号が圧縮されたビットストリームを入力して復号処理を行う画像復号方法において、
どの色成分のものに対する符号化データであるかを示すパラメータを用いてそれぞれの色成分の符号化データの復号処理を行い、
前記符号化データのシーケンスパラメータセットのIDに含まれる複数のフォーマットのパラメータに基づき、異なるフォーマットで復号処理を行うモードを切り替える
ことを特徴とする画像復号方法。
【請求項14】
複数の色成分からなる入力画像信号に対して圧縮処理を行う画像符号化装置において、 それぞれの色成分の入力画像信号を独立に符号化処理を行うことにより得られる符号化データと、前記符号化データがどの色成分のデータに対してのものであるかを示すパラメータとを、ビットストリームに多重する多重手段を備えた
ことを特徴とする画像符号化装置。
【請求項15】
複数の色成分からなる入力画像信号を圧縮符号化した結果生成されるビットストリームであって、各色成分の画像信号の圧縮データをスライス単位に構成し、該スライスのヘッダ領域に該スライスデータがいずれの色成分の圧縮データを含むか否かを示すパラメータが多重されることを特徴とする画像符号化ビットストリーム。
【請求項16】
複数の色成分からなる入力画像信号を圧縮符号化した結果生成されるビットストリームであって、各色成分の画像信号の圧縮データをスライス単位に構成し、該スライスのヘッダ領域に該スライスデータがいずれの色成分の圧縮データを含むか否かを示すパラメータが多重された画像符号化ビットストリームが記録された記録媒体。
【請求項17】
4:4:4フォーマットのカラー画像を圧縮符号化してビットストリームを生成する画像符号化装置において、
4:4:4フォーマットの各色成分の信号を4:0:0フォーマットで独立に符号化を行うか否かを示す識別情報をビットストリームに多重するとともに、
該識別情報が、各色成分の信号を4:0:0フォーマットで独立に符号化することを示す場合に、4:4:4フォーマットの各色成分を独立に4:0:0フォーマットのピクチャとして符号化することを特徴とする画像符号化装置。
【請求項18】
4:4:4フォーマットのカラー画像を圧縮符号化してビットストリームを生成する画像符号化方法において、
4:4:4フォーマットの各色成分の信号を4:0:0フォーマットで独立に符号化を行うか否かを示す識別情報をビットストリームに多重するとともに、
該識別情報が、各色成分の信号を4:0:0フォーマットで独立に符号化することを示す場合に、4:4:4フォーマットの各色成分を独立に4:0:0フォーマットのピクチャとして符号化することを特徴とする画像符号化方法。
【請求項19】
4:4:4フォーマットのカラー画像を圧縮符号化して生成されたビットストリームを入力として、カラー画像信号を復号する画像復号装置において、
前記ビットストリームから、各色成分の信号が独立に4:0:0フォーマットで符号化されているか否かを示す識別情報を復号するとともに、該識別情報が、各色成分の信号が独立に4:0:0フォーマットで符号化されていることを示す場合は、同一フレームないしはフィールドに属する4:0:0フォーマットで符号化された3枚の独立したピクチャ符号化データをまとめた単位をアクセスユニットとして認識することを特徴とする画像復号装置。
【請求項20】
4:4:4フォーマットのカラー画像を圧縮符号化して生成されたビットストリームを入力として、カラー画像信号を復号する画像復号方法において、
前記ビットストリームから、各色成分の信号が独立に4:0:0フォーマットで符号化されているか否かを示す識別情報を復号するとともに、該識別情報が、各色成分の信号が独立に4:0:0フォーマットで符号化されていることを示す場合は、同一フレームないしはフィールドに属する4:0:0フォーマットで符号化された3枚の独立したピクチャ符号化データをまとめた単位をアクセスユニットとして認識することを特徴とする画像復号方法。
【請求項21】
4:4:4フォーマットのカラー画像を圧縮符号化してビットストリームを生成する画像符号化装置において、
4:4:4フォーマットの各色成分の信号を4:0:0フォーマットで独立に符号化を行うか否かを示す識別情報をビットストリームに多重するとともに、
該識別情報が、各色成分の信号を4:0:0フォーマットで独立に符号化することを示す場合に、同一フレームないしはフィールドに属する4:0:0フォーマットで符号化された3枚の独立したピクチャ符号化データをまとめた単位をアクセスユニットとして符号化することを特徴とする画像符号化装置。
【請求項22】
4:4:4フォーマットのカラー画像を圧縮符号化してビットストリームを生成する画像符号化方法において、
4:4:4フォーマットの各色成分の信号を4:0:0フォーマットで独立に符号化を行うか否かを示す識別情報をビットストリームに多重するとともに、
該識別情報が、各色成分の信号を4:0:0フォーマットで独立に符号化することを示す場合に、同一フレームないしはフィールドに属する4:0:0フォーマットで符号化された3枚の独立したピクチャ符号化データをまとめた単位をアクセスユニットとして符号化することを特徴とする画像符号化方法。
【請求項23】
4:4:4フォーマットのカラー画像を圧縮符号化して生成されたビットストリームを入力として、カラー画像信号を復号する画像復号装置において、
前記ビットストリームから、各色成分の信号が独立に4:0:0フォーマットで符号化されているか否かを示す識別情報を復号するとともに、該識別情報が、各色成分の信号が独立に4:0:0フォーマットで符号化されていることを示す場合は、スライスヘッダから、当該スライスに含まれる符号化データがいずれの色成分の符号化データを識別するための色成分識別情報を復号することを特徴とする画像復号装置。
【請求項24】
4:4:4フォーマットのカラー画像を圧縮符号化して生成されたビットストリームを入力として、カラー画像信号を復号する画像復号方法において、
前記ビットストリームから、各色成分の信号が独立に4:0:0フォーマットで符号化されているか否かを示す識別情報を復号するとともに、該識別情報が、各色成分の信号が独立に4:0:0フォーマットで符号化されていることを示す場合は、スライスヘッダから、当該スライスに含まれる符号化データがいずれの色成分の符号化データを識別するための色成分識別情報を復号することを特徴とする画像復号方法。
【請求項25】
4:4:4フォーマットのカラー画像を圧縮符号化してビットストリームを生成する画像符号化装置において、
4:4:4フォーマットの各色成分の信号を4:0:0フォーマットで独立に符号化を行うか否かを示す識別情報をビットストリームに多重するとともに、該識別情報が、各色成分の信号を4:0:0フォーマットで独立に符号化することを示す場合に、スライスヘッダに、当該スライスに含まれる符号化データがいずれの色成分の符号化データを識別するための色成分識別情報を多重するとともに、異なる色成分の符号化データを含むスライスデータを任意の順序でビットストリームに多重することを特徴とする画像符号化装置。
【請求項26】
4:4:4フォーマットのカラー画像を圧縮符号化してビットストリームを生成する画像符号化方法において、
4:4:4フォーマットの各色成分の信号を4:0:0フォーマットで独立に符号化を行うか否かを示す識別情報をビットストリームに多重するとともに、該識別情報が、各色成分の信号を4:0:0フォーマットで独立に符号化することを示す場合に、スライスヘッダに、当該スライスに含まれる符号化データがいずれの色成分の符号化データを識別するための色成分識別情報を多重するとともに、異なる色成分の符号化データを含むスライスデータを任意の順序でビットストリームに多重することを特徴とする画像符号化方法。
【請求項27】
4:4:4フォーマットのカラー画像を圧縮符号化してビットストリームを生成する画像符号化装置において、
4:4:4フォーマットの各色成分の信号を4:0:0フォーマットのピクチャとして独立に符号化を行うか否かを示す識別情報をビットストリームに多重するとともに、該識別情報が、各色成分の信号を4:0:0フォーマットのピクチャとして独立に符号化することを示す場合に、同一アクセスユニットに属するすべての色成分の信号が共通のピクチャ符号化タイプで符号化されるように構成することを特徴とする画像符号化装置。
【請求項28】
4:4:4フォーマットのカラー画像を圧縮符号化してビットストリームを生成する画像符号化方法において、
4:4:4フォーマットの各色成分の信号を4:0:0フォーマットのピクチャとして独立に符号化を行うか否かを示す識別情報をビットストリームに多重するとともに、該識別情報が、各色成分の信号を4:0:0フォーマットのピクチャとして独立に符号化することを示す場合に、同一アクセスユニットに属するすべての色成分の信号が共通のピクチャ符号化タイプで符号化されるように構成することを特徴とする画像符号化方法。
【請求項29】
4:4:4フォーマットのカラー画像を圧縮符号化してビットストリームを生成する画像符号化装置において、
4:4:4フォーマットの各色成分の信号を4:0:0フォーマットで独立に符号化を行うか否かを示す識別情報をビットストリームに多重するとともに、該識別情報が、各色成分の信号を4:0:0フォーマットで独立に符号化することを示す場合に、同一フレームないしはフィールドに属する4:0:0フォーマットで符号化された3枚の独立したピクチャ符号化データをまとめた単位をアクセスユニットとし、アクセスユニットの単位で仮想ストリームバッファのオーバフローが発生しないように符号化処理を行うことを特徴とする画像符号化装置。
【請求項30】
4:4:4フォーマットのカラー画像を圧縮符号化してビットストリームを生成する画像符号化方法において、
4:4:4フォーマットの各色成分の信号を4:0:0フォーマットで独立に符号化を行うか否かを示す識別情報をビットストリームに多重するとともに、該識別情報が、各色成分の信号を4:0:0フォーマットで独立に符号化することを示す場合に、同一フレームないしはフィールドに属する4:0:0フォーマットで符号化された3枚の独立したピクチャ符号化データをまとめた単位をアクセスユニットとし、アクセスユニットの単位で仮想ストリームバッファのオーバフローが発生しないように符号化処理を行うことを特徴とする画像符号化方法。
【図1】
【図2】
【図3】
【図4】
【図5】
【図6】
【図7】
【図8】
【図9】
【図10】
【図11】
【図12】
【図13】
【図14】
【図15】
【図16】
【図17】
【図18】
【図19】
【図20】
【図21】
【図22】
【図23】
【図24】
【図25】
【図2】
【図3】
【図4】
【図5】
【図6】
【図7】
【図8】
【図9】
【図10】
【図11】
【図12】
【図13】
【図14】
【図15】
【図16】
【図17】
【図18】
【図19】
【図20】
【図21】
【図22】
【図23】
【図24】
【図25】
【公開番号】特開2010−110007(P2010−110007A)
【公開日】平成22年5月13日(2010.5.13)
【国際特許分類】
【出願番号】特願2010−3114(P2010−3114)
【出願日】平成22年1月8日(2010.1.8)
【分割の表示】特願2006−541534(P2006−541534)の分割
【原出願日】平成18年6月19日(2006.6.19)
【国等の委託研究の成果に係る記載事項】(出願人による申告)平成18年度、文部科学省、「重要課題解決型研究等の推進デジタルシネマの標準技術に関する研究」委託研究、産業技術力強化法第19条の適用を受ける特許出願
【出願人】(000006013)三菱電機株式会社 (33,312)
【Fターム(参考)】
【公開日】平成22年5月13日(2010.5.13)
【国際特許分類】
【出願日】平成22年1月8日(2010.1.8)
【分割の表示】特願2006−541534(P2006−541534)の分割
【原出願日】平成18年6月19日(2006.6.19)
【国等の委託研究の成果に係る記載事項】(出願人による申告)平成18年度、文部科学省、「重要課題解決型研究等の推進デジタルシネマの標準技術に関する研究」委託研究、産業技術力強化法第19条の適用を受ける特許出願
【出願人】(000006013)三菱電機株式会社 (33,312)
【Fターム(参考)】
[ Back to top ]