画像符号化装置及び画像変換装置
【課題】非圧縮画像データを符号化するときに画質の低下を防ぐことができる技術を提供することを課題とする。
【解決手段】画像符号化装置1は、入力された非圧縮画像データを複数のマクロブロック(MB)に分割する。周辺ブロック特定部111は、符号化対象MBを特定し、符号化済みのマクロブロックの中から周辺MBを特定する。符号化対象MBがマクロブロックペアを構成している場合、符号化対象MBが属するマクロブロックペアを構成しないマクロブロックが周辺MBとして特定される。周辺MBがマクロブロックペアを構成する場合、符号化対象MBと周辺MBとは、フィールド種別が一致する。イントラ符号化された周辺MBの数がしきい値よりも小さければ、省略モード許可部112は、符号化対象MBに対するスキップモードあるいはダイレクトモードの適用を許可する。
【解決手段】画像符号化装置1は、入力された非圧縮画像データを複数のマクロブロック(MB)に分割する。周辺ブロック特定部111は、符号化対象MBを特定し、符号化済みのマクロブロックの中から周辺MBを特定する。符号化対象MBがマクロブロックペアを構成している場合、符号化対象MBが属するマクロブロックペアを構成しないマクロブロックが周辺MBとして特定される。周辺MBがマクロブロックペアを構成する場合、符号化対象MBと周辺MBとは、フィールド種別が一致する。イントラ符号化された周辺MBの数がしきい値よりも小さければ、省略モード許可部112は、符号化対象MBに対するスキップモードあるいはダイレクトモードの適用を許可する。
【発明の詳細な説明】
【技術分野】
【0001】
本発明は、MPEGあるいはH.264などの規格に基づいて画像データを符号化する技術に関する。
【背景技術】
【0002】
デジタル放送で配信される画像や、DVD(Digital Versatile Disk)、ハードディスク装置などに格納される画像などは、各種の符号化方式に従って圧縮される。画像の圧縮は、伝送帯域の圧迫の抑制、あるいは、伝送速度の向上、記憶サイズの縮小などを目的として行われる。
【0003】
従来から採用されてきた符号化方式にMPEG2がある。MPEG2は、記録媒体への記録だけでなく、通信メディア、放送メディアでも利用できる符号化方式である。具体的には、デジタル放送やテレビ会議、テレビ電話システムなどに、MPEG2が広く利用されている。
【0004】
符号化方式には、MPEG2と別の規格として、H.264がある。H.264は、MPEG2と比較して約2倍から4倍の圧縮率の向上が図られている。符号化方式には異なる複数の方式が存在するため、符号化された画像データの符号量の削減などを目的として、符号化方式の変換が行われる場合がある。
【先行技術文献】
【特許文献】
【0005】
【特許文献1】特開2008−206151号公報
【発明の概要】
【発明が解決しようとする課題】
【0006】
H.264あるいはMPEG2では、非圧縮画像データの複数のマクロブロックごとに、マクロブロック種別が決定される。各マクロブロックは、決定されたマクロブロック種別に基づいて符号化される。マクロブロック種別には、ダイレクトモード(H.264のみ)及びスキップモードと呼ばれる特殊なモードがある。
【0007】
スキップモードでは、マクロブロックの動き情報や画素情報などが符号化されない。ダイレクトモードでは、マクロブロックの動き情報が符号化されない。スキップモードまたはダイレクトモードを用いることにより、画像データの圧縮率を向上することができる。
【0008】
上記特許文献1に開示されている符号化方法では、マクロブロックにスキップモードを適用するか否かを判断するための基準が開示されている。上記特許文献1に係る符号化方法では、量子化されたマクロブロックの係数ブロックが所定のしきい値よりも小さい場合に、量子化されたマクロブロックに対してスキップモードが適用される。
【0009】
H.264画像データの再生時において、スキップモードが適用されたマクロブロック(スキップマクロブロック)の動きベクトルの予測が行われる。スキップマクロブロックの周囲の全てのマクロブロックがイントラ符号化されている場合、スキップマクロブロックの動きベクトルの大きさは0となる。スキップマクロブロックの表示には、スキップマクロブロックの位置に対応する参照画像の画素情報が用いられる。
【0010】
スキップマクロブロックの動きベクトルが0になることにより、主観画質の劣化が生じることがある。動きが大きいシーンでは、参照画像と符号化対象画像との差分が大きくなるため、マクロブロックはイントラ符号化されやすい。動きの大きいシーンにおいて、イントラ符号化された複数のマクロブロックの中に、スキップマクロブロックが存在するケースを考える。このケースでは、スキップマクロブロックには動きがなく、スキップマクロブロックの周囲では動きが生じるために、視聴者は、再生された画像データの動きに違和感を覚える。このように、非圧縮画像データの符号化にスキップモードを用いることにより、再生画像の主観画質が劣化するという問題がある。
【0011】
そこで、本発明は前記問題点に鑑み、非圧縮画像データを符号化するときに画質の低下を防ぐことができる技術を提供することを目的とする。
【課題を解決するための手段】
【0012】
上記課題を解決するため、請求項1記載の発明は、画像符号化装置であって、非圧縮画像データを複数のブロックに分割し、各ブロックに対して適用するブロック種別を決定するブロック種別決定部と、決定されたブロック種別に基づいて各ブロックを符号化する符号化部と、を備え、前記ブロック種別決定部は、符号化対象ブロックと、前記符号化対象ブロックの周辺に位置する周辺ブロックとを前記複数のブロックから特定するブロック特定部と、前記符号化対象ブロックの一部の情報の符号化が省略された省略モードを前記符号化対象ブロックのブロック種別として適用するか否かを、前記周辺ブロックの符号化に関するブロック情報に基づいて判定する省略モード許可部と、を備えることを特徴とする。
【0013】
請求項2記載の発明は、請求項1に記載の画像符号化装置において、前記周辺ブロックは、前記符号化部により既に符号化されたブロックであり、前記省略モード許可部は、イントラ符号化された前記周辺ブロックの数が所定数より小さければ、前記符号化対象ブロックのブロック種別として前記省略モードの適用を許可することを特徴とする。
【0014】
請求項3記載の発明は、請求項1または請求項2に記載の画像符号化装置において、前記符号化部は、上下方向に互いに隣接する二つのブロックにより構成されるブロックペア単位で、非圧縮画像データをインターレース走査に対応させて符号化し、前記ブロック特定部は、前記符号化対象ブロックを含むブロックペアである基準ペアがフィールド符号化される場合、前記基準ペアと異なり、かつフレーム符号化されるブロックペアを構成するブロックを前記周辺ブロックとして特定することを特徴とする。
【0015】
請求項4記載の発明は、請求項1または請求項2に記載の画像符号化装置において、前記符号化部は、上下方向に互いに隣接する二つのブロックにより構成されるブロックペア単位で、非圧縮画像データをインターレースに対応させて符号化し、前記ブロック特定部は、前記符号化対象ブロックを含むブロックペアである基準ペアがフィールド符号化される場合、前記基準ペアと異なり、かつフィールド符号化される第1ブロックペアを選択し、前記第1ブロックペアを構成する二つのブロックのうち前記符号化対象ブロックとフィールド種別が一致するブロックを前記周辺ブロックとして特定することを特徴とする。
【0016】
請求項5記載の発明は、請求項1ないし請求項4のいずれか記載の画像符号化装置において、前記省略モードは、前記符号化対象ブロックの動き情報及び画素情報の符号化が省略されたスキップモード、を含むことを特徴とする。
【0017】
請求項6記載の発明は、請求項1ないし請求項4のいずれかに記載の画像符号化装置において、前記省略モードは、前記符号化対象ブロックの動き情報の符号化が省略されたダイレクトモード、を含むことを特徴とする。
【0018】
請求項7記載の発明は、請求項1ないし請求項6のいずれかに記載の画像符号化装置において、前記符号化対象ブロックは、複数のサブブロックにより構成され、前記省略モードは、各サブブロックの動き情報の符号化が省略されたモード、を含むことを特徴とする。
【0019】
請求項8記載の発明は、画像変換装置であって、第1符号化画像データを復号化して非圧縮画像データを生成する画像復号化装置と、非圧縮画像データを符号化して第2符号化画像データを生成する画像符号化装置と、前記第1符号化画像データを構成する複数の第1符号化ブロックの符号化に関するブロック情報を取得するブロック情報取得装置と、を備え、前記画像符号化装置は、前記非圧縮画像データを複数のブロックに分割し、各ブロックに対して適用するブロック種別を決定する種別決定部と、決定されたブロック種別に基づいて各ブロックを符号化する符号化部と、を備え、前記符号化部は、符号化対象ブロックと、前記符号化対象ブロックの周辺に位置する周辺ブロックとを前記複数のブロックから特定し、前記周辺ブロックに対応する位置対応ブロックを前記複数の第1符号化ブロックから特定するブロック特定部と、前記符号化対象ブロックの一部の情報の符号化が省略された省略モードを、前記符号化対象ブロックのブロック種別として許可するか否かを、前記位置対応ブロックのブロック情報に基づいて判定する省略モード許可部と、を含むことを特徴とする。
【0020】
請求項9記載の発明は、請求項8に記載の画像変換装置において、前記省略モード許可部は、前記位置対応ブロックに含まれ、かつイントラ符号化された第1符号化ブロックの数が所定数より小さければ、前記符号化対象ブロックのブロック種別として前記省略モードを許可することを特徴とする。
【0021】
請求項10記載の発明は、請求項8または請求項9に記載の画像変換装置において、前記符号化部は、上下方向に互いに隣接する二つのブロックにより構成されるブロックペア単位で、非圧縮画像データをインターレースに対応させて符号化し、前記ブロック特定部は、前記符号化対象ブロックを含むブロックペアである基準ペアがフィールド符号化される場合、前記基準ペアと異なり、かつフレーム符号化されるブロックペアを構成するブロックを前記周辺ブロックとして特定することを特徴とする。
【0022】
請求項11記載の発明は、請求項8または請求項9に記載の画像変換装置において、前記符号化部は、上下方向に互いに隣接する二つのブロックにより構成されるブロックペア単位で、非圧縮画像データをインターレースに対応させて符号化し、前記ブロック特定部は、前記符号化対象ブロックを含むブロックペアである基準ペアがフィールド符号化される場合、前記基準ペアと異なり、かつフィールド符号化される第1ブロックペアを選択し、前記第1ブロックペアを構成する二つのブロックのうち前記符号化対象ブロックとフィールド種別が一致するブロックを前記周辺ブロックとして特定することを特徴とする。
【0023】
請求項12記載の発明は、請求項11に記載の画像変換装置において、前記ブロック特定部は、前記位置対応ブロックがフィールド符号化され、かつ第1フィールド及び第2フィールドを含む場合、前記第1ブロックペアを構成する二つのブロックに対応し、かつ前記位置対応ブロックを含む二つの第1符号化ブロックを特定し、前記省略モード許可部は、前記二つの第1符号化ブロックのうち少なくとも一つがイントラ符号化されていれば、前記位置対応ブロックがイントラ符号化されていると判定することを特徴とする。
【0024】
請求項13記載の発明は、請求項8に記載の画像変換装置において、前記周辺ブロックは、複数のブロックを含み、前記ブロック種別決定部は、前記位置対応ブロックのブロック情報に基づいて、前記位置対応ブロックに含まれる複数の第1符号化ブロックの動きベクトルの平均を算出する平均算出部、を含み、前記省略モード許可部は、前記符号化対象ブロックに対して前記省略モードの適用を許可するか否かを、前記動きベクトルの平均に基づいて判定することを特徴とする。
【0025】
請求項14記載の発明は、請求項13に記載の画像変換装置において、前記符号化部は、上下方向に互いに隣接する二つのブロックにより構成されるブロックペア単位で、非圧縮画像データをインターレースに対応させて符号化し、前記ブロック特定部は、前記符号化対象ブロックを含むブロックペアである基準ペアがフィールド符号化される場合、前記基準ペアと異なり、かつフレーム符号化されるブロックペアを構成するブロックを前記周辺ブロックとして特定することを特徴とする。
【0026】
請求項15記載の発明は、請求項13に記載の画像変換装置において、前記符号化部は、上下方向に互いに隣接する二つのブロックにより構成されるブロックペア単位で、非圧縮画像データをインターレースに対応させて符号化し、前記ブロック特定部は、前記符号化対象ブロックを含むブロックペアである基準ペアがフィールド符号化される場合、前記基準ペアと異なり、かつフィールド符号化される第1ブロックペアを選択し、前記第1ブロックペアを構成する二つのブロックのうち前記符号化対象ブロックとフィールド種別が一致するブロックを前記周辺ブロックとして特定することを特徴とする。
【0027】
請求項16記載の発明は、請求項15に記載の画像変換装置において、前記位置対応ブロックがフィールド符号化され、かつ第1フィールド及び第2フィールドを含む場合、前記第1ブロックペアを構成し、かつ前記符号化対象ブロックとフィールド種別が異なるブロックを、新たに前記周辺ブロックとして特定することを特徴とする。
【0028】
請求項17記載の発明は、請求項8ないし請求項16のいずれかに記載の画像変換装置において、前記省略モードは、前記符号化対象ブロックの動き情報及び画素情報の符号化が省略されたスキップモード、を含むことを特徴とする。
【0029】
請求項18記載の発明は、請求項8ないし請求項16のいずれかに記載の画像変換装置において、前記省略モードは、前記符号化対象ブロックの動き情報の符号化が省略されたダイレクトモード、を含むことを特徴とする。
【0030】
請求項19記載の発明は、請求項8ないし請求項18のいずれかに記載の画像変換装置において、前記符号化対象ブロックは、複数のサブブロックにより構成され、前記省略モードは、各サブブロックの動き情報の符号化が省略されたモード、を含むことを特徴とする。
【発明の効果】
【0031】
本発明に係る画像符号化装置は、既に符号化されている周辺ブロックのブロック情報に基づいて、符号化対象ブロックに対する省略モードの適用の可否を判定する。たとえば、イントラ符号化された周辺ブロックの数が所定数よりも小さければ、符号化対象ブロックに対する省略モードの適用が許可される。周辺ブロックの符号化の状況に応じて符号化対象ブロックに対する省略モードの適用が抑制されるため、符号化画像データの画質を向上させることができる。
【0032】
本発明に係る画像変換装置は、符号化対象ブロックと周辺ブロックとを特定し、周辺ブロックに対応する第1符号化画像データのブロックを位置対応ブロックとして特定する。本発明に係る画像変換装置は、位置対応ブロックのブロック情報に基づいて、符号化対象ブロックに対する省略モードの適用の可否を判定する。たとえば、イントラ符号化された位置対応ブロックの数が所定数よりも小さければ、符号化対象ブロックに対する省略モードの適用が許可される。あるいは、位置対応ブロックの動きベクトルの平均に基づいて、符号化対象ブロックに対する省略モードの適用の可否が判定される。このように、位置対応ブロックの符号化の状況に応じて符号化対象ブロックに対する省略モードの適用が抑制されるため、第2符号化画像データの画質を向上させることができる。
【図面の簡単な説明】
【0033】
【図1】本発明の第1の実施の形態に係る画像符号化装置の機能的構成を示すブロック図である。
【図2】マクロブロック種別決定部の動作の流れを示すフローチャートである。
【図3】符号化対象マクロブロックと周辺マクロブロックとの位置関係を示す図である。
【図4】符号化対象マクロブロックと周辺マクロブロックとの位置関係を示す図である。
【図5】本発明の第2の実施の形態に係る画像変換装置の機能的構成を示すブロック図である。
【図6】マクロブロック種別決定部の動作の流れを示すフローチャートである。
【図7】符号化対象マクロブロックと周辺マクロブロックとの位置関係を示す図である。
【図8】符号化対象マクロブロックと周辺マクロブロックとの位置関係を示す図である。
【図9】H.264及びMPEG2におけるフィールド区分の違いを示す図である。
【図10】本発明の第3の実施の形態に係る画像変換装置の機能的構成を示すブロック図である。
【図11】符号化対象マクロブロックと周辺マクロブロックとの位置関係を示す図である。
【発明を実施するための形態】
【0034】
以下、図面を参照しつつ本発明の実施の形態について説明する。
【0035】
[第1の実施の形態]
{1.全体構成}
図1は、本実施の形態に係る画像符号化装置1の機能的構成を示すブロック図である。図1に示すように、画像符号化装置1は、入力された非圧縮画像データをH.264方式で符号化して、H.264画像データを出力する装置である。画像符号化装置1は、マクロブロック種別決定部11と、符号化部12とを備える。
【0036】
マクロブロック種別決定部11は、非圧縮画像データを構成する複数のマクロブロックの各々に対して適用するマクロブロック種別を決定する。決定されたマクロブロック種別に関する種別情報が、符号化部12に入力される。符号化部12は、決定されたマクロブロック種別に基づいて各マクロブロックを符号化する。
【0037】
マクロブロック種別決定部11は、周辺ブロック特定部111と、省略モード許可部112とを備える。周辺ブロック特定部111は、符号化対象マクロブロックと、周辺マクロブロックとを特定する。周辺マクロブロックは、符号化対象マクロブロックの周辺に位置するマクロブロックである。周辺マクロブロックは、符号化対象マクロブロックのマクロブロック種別を決定するために用いられる。以下、符号化対象マクロブロックを「符号化対象MB(MacroBlock)」と呼ぶ。周辺マクロブロックを「周辺MB」と呼ぶ。
【0038】
省略モード許可部112は、符号化対象MBに対して省略モードの適用を許可するか否かを、周辺MBの符号化に関する情報に基づいて判定する。省略モードは、マクロブロックに関する一部の情報の符号化を省略するマクロブロック種別を指し、スキップモード及びダイレクトモードが該当する。スキップモードでは、マクロブロックの画素情報及び動き情報が符号化されない。ダイレクトモードは、マクロブロックの動き情報が符号化されない。
【0039】
{2.マクロブロック種別決定部11の動作の流れ}
図2は、マクロブロック種別決定部11の動作を示すフローチャートである。初期状態では、符号化対象MBのマクロブロック種別として省略モードの適用が禁止されている。
【0040】
非圧縮画像データは、画像符号化装置1に入力され、複数のマクロブロックに分割される。マクロブロック種別決定部11は、分割された複数のマクロブロックの中から符号化対象MBを決定する(ステップS11)。
【0041】
マクロブロック種別決定部11は、符号化済みのマクロブロックがあるか否かを確認する(ステップS12)。符号化済みのマクロブロックが存在しない場合(ステップS12でNo)、マクロブロック種別決定部11は、図2に示す処理を終了する。つまり、符号化対象MBに対する省略モードの適用が禁止される。これは、符号化対象MBに対する省略モードの適用の可否を判定するときに、周辺MBを特定する必要があるためである。
【0042】
一方、符号化済みのマクロブロックが存在する場合(ステップS12でYes)、周辺ブロック特定部111は、符号化済みのマクロブロックの中から周辺MBを特定する(ステップS13)。周辺MBの決定(ステップS13)の詳細は後述する。省略モード許可部112は、周辺MBのマクロブロック情報を符号化部12から取得する。省略モード許可部112は、周辺MBのマクロブロック情報を参照して、イントラ符号化された周辺MBをカウントする(ステップS14)。マクロブロック情報は、各マクロブロックの符号化モードを特定することができる情報である。イントラ符号化されている周辺MBの数がしきい値よりも小さければ(ステップS15でYes)、省略モード許可部112は、符号化対象MBに対して省略モードを適用することを許可する(ステップS16)。
【0043】
省略モードの適用が許可されることにより、マクロブロック種別決定部11は、符号化対象MBのマクロブロック種別として、スキップモードあるいはダイレクトモードを適用することが可能となる。ただし、スキップモードあるいはダイレクトモードが符号化対象MBに必ず適用されるとは限らない。これは、マクロブロック種別決定部11が、符号化対象MBの符号化コストなどに基づいて、符号化対象MBに適用するマクロブロック種別を決定するためである。
【0044】
イントラ符号化されている周辺MBの数がしきい値以上であれば(ステップS15でNo)、省略モード許可部112は、図2に示す処理を終了する。つまり、符号化対象MBに対する省略モードの適用が禁止される。しきい値は、画像符号化装置1に予め設定されている数値である。しきい値として1が設定された場合、イントラ符号化された周辺MBが一つでも存在すれば、符号化対象MBに対する省略モードの適用が禁止される。
【0045】
{3.周辺MBの決定}
非圧縮画像データがインターレース走査に対応している場合、非圧縮画像データは、Topフィールド及びBottomフィールドの二つのフィールドに分割される。H.264では、二つのフィールドは、フレーム符号化及びフィールド符号化のいずれかの方式で符号化される。フレーム符号化では、二つのフィールドが区別されることなく符号化される。フィールド符号化では、二つのフィールドが個別に符号化される。
【0046】
H.264には、インターレース走査に対応した符号化方式として、PAFF(Picture Adaptive Frame−Field Coding)と、MBAFF(Macroblock Adaptive Frame−Field Coding)とが存在する。PAFFでは、フレーム符号化とフィールド符号化とをピクチャ単位で切り替えることができる。MBAFFでは、フレーム符号化とフィールド符号化とをマクロブロックペア単位で切り替えることができる。マクロブロックペアは、MBAFFに基づく符号化のときに用いられ、上下方向に互いに隣接する二つのマクロブロックにより構成される。
【0047】
非圧縮画像データがMBAFFで符号化されるか否かによって、周辺MBの特定基準が異なる。周辺MBの特定基準の詳細を、非圧縮画像データがMBAFFで符号化される場合と、MBAFFで符号化されない場合とに分けて説明する。
【0048】
{3.1.非圧縮画像データがMBAFFで符号化されない場合}
まず、非圧縮画像データがMBAFFで符号化されない場合における、周辺MBの特定基準を説明する。非圧縮画像データがMBAFFで符号化されないケースとしては、PAFFに基づく符号化、またはプログレッシブ走査に対応した符号化が挙げられる。
【0049】
図3は、非圧縮画像データがMBAFFで符号化されない場合における、符号化対象MBと周辺MBとの位置関係を示す図である。非圧縮画像データは、5×6のマクロブロックm0〜m29で構成される。符号化部12は、マクロブロックm0,m1,m2,・・・,m28,m29の順に符号化する。
【0050】
図3に示す例では、マクロブロックm0〜m11が符号化済みであり、マクロブロックm12が符号化対象MBである。符号化済みのマクロブロックm0〜m11をハッチングあるいは砂地で示す。砂地で示すマクロブロックは、マクロブロックm12が符号化対象MBであるときに周辺MBとして特定されたマクロブロックである。
【0051】
上述したステップS13(図2参照)において、周辺ブロック特定部111は、符号化済みのマクロブロックを周辺MBとして特定する。本実施の形態では、周辺ブロック特定部111は、マクロブロックm12に隣接する4つのマクロブロックm6〜m8,m11を周辺MBとして特定する。
【0052】
省略モード許可部112は、マクロブロックm6〜m8,m11のうちイントラ符号化されたマクロブロックをカウントする(ステップS14)。イントラ符号化されたマクロブロックのカウント値がしきい値よりも小さければ(ステップS15でYes)、マクロブロックm12に対する省略モードの適用が許可される(ステップS16)。これにより、マクロブロックm12のサブマクロブロックに対するダイレクトモードの適用も可能となる。
【0053】
周辺ブロック特定部111は、符号化対象MBに隣接しないマクロブロック(マクロブロックm4,m6など)を周辺MBとして特定してもよい。あるいは、周辺ブロック特定部111は、全ての符号化済みのマクロブロックを周辺MBとして特定してもよい。
【0054】
{3.2.非圧縮画像データがMBAFFで符号化される場合}
非圧縮画像データがMBAFFで符号化される場合における、周辺MBの特定基準を説明する。以下、符号化対象MBを含むマクロブロック(基準ペア)が、フィールド符号化される場合と、フレーム符号化される場合とに分けて説明する。
【0055】
まず、基準ペアがフィールド符号化される場合における、周辺MBの特定基準を説明する。図4は、基準ペアがフィールド符号化される場合における符号化対象MBと周辺MBとの位置関係を示す図である。図4では、符号化済みマクロブロックをハッチングあるいは砂地で示している。砂地で示すマクロブロックは、マクロブロックm14が符号化対象MBであるときに周辺MBとして特定されたマクロブロックである。マクロブロックは、マクロブロックm0,m1・・・m29の順に符号化される。
【0056】
図4において、マクロブロックm0〜m29は、それぞれマクロブロックペアを構成する。一点鎖線で示すマクロブロックペアは、フレーム符号化される。実線で示すマクロブロックペアP11,P12,P13は、フィールド符号化される。マクロブロックm4,m5がマクロブロックペアP11を構成する。マクロブロックm12,m13がマクロブロックペアP12を構成する。マクロブロックm14,m15が、マクロブロックペアP13を構成する。マクロブロックm4,m12,m14がTopフィールドである。マクロブロックm5,m13,m15がBottomフィールドである。
【0057】
マクロブロックm14を符号化対象MBとし、マクロブロックペアP13を基準ペアとする。基準ペアがフィールド符号化される場合、以下に示す二つの基準のいずれかを満たすマクロブロックが周辺MBとして特定される。
(1)基準ペアと異なり、かつフレーム符号化されるマクロブロックペアを構成するマクロブロック。
(2)基準ペアと異なり、かつフィールド符号化されるマクロブロックペアを構成する二つのマクロブロックのうち、符号化対象MBとフィールド種別が一致するマクロブロック。
【0058】
図4に示す例では、周辺ブロック特定部111は、基準(1)に該当する周辺MBとして、マクロブロックm14に隣接するマクロブロックm3,m7を特定する。周辺ブロック特定部111は、基準(1)を満たすのであれば、マクロブロックm3,m7の他にマクロブロックm1、m10などを周辺ブロックとして特定してもよい。あるいは、周辺ブロック特定部111は、基準(1)を満たし、かつ符号化済みの全てのマクロブロックを周辺MBとして特定してもよい。
【0059】
周辺ブロック特定部111は、基準(2)に該当する周辺MBとして、基準ペア(マクロブロックペアP13)に隣接したマクロブロックペアP11,P12を特定する。マクロブロックペアP11,P12に含まれるマクロブロックのうち、マクロブロックm4,m12が周辺MBとして特定される。これは、マクロブロックm4,m12のフィールド種別と、マクロブロックm14のフィールド種別とが一致するためである。周辺ブロック特定部111は、基準(2)を満たすのであれば、基準ペアに直接隣接しないマクロブロックペアを構成するマクロブロックから周辺MBを特定してもよい。
【0060】
図3において、非圧縮画像データがMBAFFで符号化されない場合には、符号化対象MB(マクロブロックm12)の真上に隣接するマクロブロック(マクロブロックm7)が周辺MBとして特定されている。しかし、図4に示す例では、符号化対象MB(マクロブロックm14)の真上に隣接するマクロブロックm5は、マクロブロックm14とフィールド種別が異なるため、マクロブロックm14の周辺MBとして特定されない。このように、非圧縮画像データがどのように符号化されるかによって、周辺MBとして特定されるマクロブロックが変化する。
【0061】
次に、基準ペアがフレーム符号化される場合における、周辺MBの特定基準を説明する。この場合、周辺ブロック特定部111は、非圧縮画像データがMBAFFで符号化されない場合と同じ基準(図3参照)で周辺MBを特定する。つまり、基準ペアがフレーム符号化される場合、周辺ブロック特定部111は、他のマクロブロックペアがフィールド符号化されているか、フレーム符号化されているかに関係なく、符号化済みのマクロブロックを周辺MBとして特定することができる。これは、符号化対象MBがTopフィールド及びBottomフィールドを含んでいるため、符号化済みマクロブロックの種別を確認する必要がないためである。
【0062】
ステップS13において周辺MBが特定された後に、省略モード許可部112は、周辺MBのマクロブロック情報に基づいて、符号化対象MBに対する省略モードの適用の可否を判定する(ステップS14〜ステップS16)。
【0063】
以上説明したように、マクロブロック種別決定部11は、イントラ符号化された周辺MBの数がしきい値よりも小さければ、符号化対象MBに対する省略モードの適用を許可する。これにより、マクロブロックがイントラ符号化されることの多いシーン(動きの大きいシーンなど)を符号化する際に、マクロブロックに対する省略モードの適用が抑制される。再生時に視聴者が違和感を覚えることのないH.264画像データを生成することができる。
【0064】
[第2の実施の形態]
{1.全体構成}
図5は、本実施の形態に係る画像変換装置100の機能的構成を示すブロック図である。画像変換装置100は、MPEG2画像データをH.264画像データに変換する。画像変換装置100は、画像復号化装置2と、画像符号化装置3とを備える。
【0065】
以下、上記第1の実施の形態と異なる点を中心に説明する。
【0066】
画像復号化装置2は、MPEG2画像データを復号化して、非圧縮画像データを生成する。非圧縮画像データは、画像符号化装置3に入力される。画像符号化装置3は、上記第1の実施の形態の画像符号化装置1と同様に、非圧縮画像データをH.264方式で符号化する。画像符号化装置3は、マクロブロック種別決定部11と、符号化部12と、マクロブロック情報取得部31とを備える。
【0067】
マクロブロック情報取得部31は、MPEG2画像データの各マクロブロックのマクロブロック情報を画像復号化装置2から取得する。マクロブロック種別決定部11は、周辺MBに対応するMPEG2画像データのマクロブロックのマクロブロック情報を、マクロブロック情報取得部31から取得する。マクロブロック種別決定部11は、取得したマクロブロック情報に基づいて、符号化対象MBに対する省略モードの適用の可否を判定する。
【0068】
{2.マクロブロック種別決定部11の動作の流れ}
図6は、本実施の形態におけるマクロブロック種別決定部11の動作の流れを示すフローチャートである。初期状態では、マクロブロック種別として、省略モードの適用が禁止されている。
【0069】
非圧縮画像データは、画像符号化装置3に入力され、複数のマクロブロックに分割される。マクロブロック種別決定部11は、分割された複数のマクロブロックの中から符号化対象MBを決定する(ステップS21)。
【0070】
周辺ブロック決定部11は、周辺MBと、位置対応MBとを特定する(ステップS22)。位置対応MBとは、周辺MBの位置に対応するMPEG2画像データのマクロブロックのことである。省略モード許可部112は、位置対応MBのマクロブロック情報をマクロブロック情報取得部31から取得する(ステップS23)。
【0071】
省略モード許可部112は、取得したマクロブロック情報に基づいて、イントラ符号化されている位置対応MBをカウントする(ステップS24)。イントラ符号化されている位置対応MBの数がしきい値よりも小さければ(ステップS25でYes)、省略モード許可部112は、符号化対象MBに対して省略モードを適用することを許可する(ステップS26)。
【0072】
イントラ符号化されている位置対応MBの数がしきい値以上であれば(ステップS25でNo)、省略モード許可部112は、符号化対象MBに対する省略モードの適用を許可することなく、図6に示す処理を終了する。
【0073】
{3.周辺MB及び位置対応MBの特定}
次に、周辺MB及び位置対応MBの特定(ステップS22)と、イントラ符号化された位置対応MBのカウント(ステップS24)について詳しく説明する。ステップS22及びステップS24における処理は、下記に示す画像変換の条件(パターンA〜パターンC)に応じて変化する。
【0074】
(パターンA)非圧縮画像データがMBAFFで符号化されない場合。
(パターンB)MPEG2画像データがインターレース走査に対応せず、非圧縮画像データがMBAFFで符号化される場合。
(パターンC)MPEG2画像データがインターレース走査に対応し、非圧縮画像データがMBAFFで符号化される場合。
【0075】
{3.1.パターンAにおける周辺MB及び位置対応MBの特定}
パターンAは、具体的には、非圧縮画像データがPAFFで符号化される場合、または非圧縮画像データがプログレッシブ走査に対応して符号化される場合に適用される。パターンAでは、MPEG2画像データの走査方式は、インターレース走査であっても、プログレッシブ走査であってもよい。
【0076】
図7は、パターンAが適用される場合における符号化対象MBと周辺MBとの位置関係を示す図である。MPEG2及び非圧縮画像データは、5×6のマクロブロックで構成される。マクロブロックは、マクロブロックm0,m1・・・m29の順に符号化される。
【0077】
図7では、符号化対象MBがマクロブロックm12であるときの周辺MBを砂地で示している。パターンAにおいて、周辺ブロック特定部111は、符号化対象MB(マクロブロックm12)を囲むようにして直接隣接する8個のマクロブロック(マクロブロックm6〜m8,m11,m13,m16〜m18)を周辺MBとして特定する。上記第1の実施の形態と異なり、パターンAでは、周辺MBの特定の際にマクロブロックが符号化済みであるか否かは考慮されない。
【0078】
周辺ブロック特定部111は、マクロブロックm6〜m8,m11,m13,m16〜m18に対応するMPEG2画像データのマクロブロックを、位置対応MBとして特定する。周辺ブロック特定部111は、マクロブロックm12に直接隣接しないマクロブロックm2,m10,m28などを周辺MBとして特定してもよい。あるいは、全てのマクロブロックが周辺MBとして特定されてもよい。周辺ブロック特定部111は、マクロブロックm12の位置に対応するMPEG2画像データのマクロブロックを位置対応MBとして特定してもよい。
【0079】
省略モード許可部112は、特定された位置対応MBに対応するマクロブロック情報を参照して、イントラ符号化された位置対応MBをカウントする(ステップS24)。カウント値に基づいて、マクロブロックm12に対して省略モードの適用を許可するか否かが判定される(ステップS25,S26)。
【0080】
{3.2.パターンBにおける周辺MB及び参照MBの特定}
パターンBは、MPEG2画像データがインターレース走査に対応せず、かつ非圧縮画像データがMBAFFで符号化される場合に適用される。
【0081】
図8は、パターンBが適用される場合における符号化対象MBと周辺MBとの位置関係を示す図である。MPEG2及び非圧縮画像データは、5×6のマクロブロックで構成される。マクロブロックは、マクロブロックm0,m1・・・m29の順に符号化される。
【0082】
図8では、符号化対象MBがマクロブロックm14であるときに、周辺MBとして特定されるマクロブロックを砂地で示している。図8において、マクロブロックm0〜m29は、それぞれマクロブロックペアを構成する。一点鎖線で示すマクロブロックペアは、フレーム符号化される。実線で示すマクロブロックペアP21,P22,P23,P24は、フィールド符号化される。マクロブロックm4,m5がマクロブロックペアP21を構成する。マクロブロックm10,m11がマクロブロックペアP22を構成する。マクロブロックm14,m15がマクロブロックペアP23(基準ペア)を構成する。マクロブロックm16,m17がマクロブロックペアP24を構成する。マクロブロックm4,m10,m14,m16がTopフィールドである。マクロブロックm5,m11,m15,m17がBottomフィールドである。
【0083】
パターンBでは、基準ペアがフィールド符号化されるか、フレーム符号化されるかによって、周辺MBの特定基準が異なる。まず、基準ペアがフィールド符号化される場合における周辺MBの特定基準を説明する。
【0084】
パターンBにおいて基準ペアがフィールド符号化される場合、周辺ブロック特定部111は、以下に示す(B1)、(B2)のどちらかの基準に該当するマクロブロックを周辺MBとして特定する。
(B1)基準ペアと異なり、フレーム符号化されるマクロブロックペアを構成するマクロブロック。
(B2)基準ペアと異なり、フィールド符号化されるマクロブロックペアを構成する二つのマクロブロックのうち、符号化対象MBとフィールド種別が一致するマクロブロック。
【0085】
図8に示す例では、周辺ブロック特定部111は、基準(B1)に該当し、かつマクロブロックm14に直接隣接するマクロブロックm3,m7,m12,m13を周辺MBとして特定する。周辺ブロック特定部111は、基準(B2)の条件に該当し、かつ基準ペアに直接隣接したマクロブロックペアP21,P24を構成するマクロブロックm4,m16を、周辺MBとして特定する。この結果、マクロブロックm3,m4,m7,m12,m13,m16に対応するMPEG2画像データのマクロブロックが、位置対応MBとして特定される。
【0086】
周辺ブロック特定部111は、基準(B1)に該当し、かつ、基準ペア(マクロブロックペアP23)に直接隣接しないマクロブロックm1,m22,m24などを周辺MBとして特定してもよい。周辺ブロック特定部111は、基準(B2)に該当し、かつ基準ペアに直接隣接しないマクロブロックペアP22から周辺MBを特定してもよい。図8に示す例では、マクロブロックm10を周辺MBとして特定することができる。パターンAと同様に、マクロブロックm14に対応するMPEG2画像データのマクロブロックが、位置対応MBとして特定されてもよい。
【0087】
次に、パターンBにおいて基準ペアがフレーム符号化される場合における周辺MBの特定基準を説明する。この場合、周辺ブロック特定部111は、パターンAと同様の基準で周辺MBを特定する。つまり、パターンBにおいて基準ペアがフレーム符号化される場合、周辺ブロック特定部111は、他のマクロブロックのフィールド種別を考慮することなく、周辺MBを特定する。
【0088】
省略モード許可部112は、特定された位置対応MBに対応するマクロブロック情報を参照して、イントラ符号化された位置対応MBをカウントする(ステップS24)。カウント値に基づいて、マクロブロックm14に対して省略モードの適用を許可するか否かが判定される(ステップS25,S26)。
【0089】
{3.3.パターンCにおける周辺MB及び参照MBの特定}
パターンCは、MPEG2画像データがインターレース走査に対応し、かつ基準ペアがMBAFFで符号化される場合に適用される。
【0090】
パターンCにおける周辺MB及び位置対応MBの特定は、パターンBと同様である。パターンCでは、イントラ符号化された位置対応MBのカウント方法が、パターンA,Bと異なる。これは、MPEG2におけるフィールド符号化と、H.264におけるマクロブロックペア単位でのフィールド符号化とではマクロブロックに対するフィールド種別の割り当てが異なるためである。以下、詳しく説明する。
【0091】
図9は、マクロブロックm4,m5のフィールド区分と、MPEG2画像データのマクロブロックm4i,m5iのフィールド区分を示す図である。マクロブロックm4は、周辺MBとして特定されている。マクロブロックm4,m5は、マクロブロックペアP21を構成する。マクロブロックm4i,m5iは、マクロブロックm4,m5の位置に対応する。マクロブロックm4iは、周辺MBとして特定されたマクロブロックm4の位置対応MBである。マクロブロックm4i,m5iは、MPEG2で符号化されているためマクロブロックペアを構成しない。
【0092】
マクロブロックm4は、マクロブロックペアP21の上側に位置するため、Topフィールドとして符号化される。マクロブロックm5は、マクロブロックペアP21の下側に位置するため、Bottomフィールドとして符号化される。一方、MPEG2では、マクロブロックm4i,m5iの上側の8ラインがTopフィールドとして符号化される。下側の8ラインがBottomフィールドとして符号化される。
【0093】
つまり、パターンCでは、同じ位置にあるマクロブロックm4とマクロブロックm4iとは、同じ位置にあるにも関わらず、フィールド種別が一致しない。マクロブロックm4と、マクロブロックm4i,m5iの上側の8ラインとが対応関係にある。このため、省略モード許可部112は、マクロブロックm4i,m5iのうちいずれか一つがイントラ符号化されていれば、位置対応MB(マクロブロックm4i)がイントラ符号化されていると判定する。一方、マクロブロックm4i,m5iの両者がインター符号化されていれば、位置対応MBは、インター符号化されていると判定される。省略モード許可部112は、マクロブロックm4i,m5iの両者がイントラ符号化されていれば、位置対応MB(マクロブロックm4i)がイントラ符号化されていると判定してもよい。
【0094】
省略モード許可部112は、イントラ符号化された位置対応MBのカウント値に基づいて、符号化対象MBに対する省略モードの可否を判定する(ステップS25,S26)。
【0095】
このように、本実施の形態に係る画像変換装置100は、符号化対象MBに対する省略モードの適用の可否を、イントラ符号化されている位置対応MBの数に基づいて判断する。符号化対象MBの周囲の動きの大きさをMPEG2画像データから判断することにより、第1の実施の形態と比べて、多くのマクロブロックを周辺MBとして特定することができる。したがって、適用モードを許可するか否かの判断の精度を向上することができる。
【0096】
[第3の実施の形態]
図10は、第3の実施の形態に係る画像変換装置200の機能的構成を示すブロック図である。画像変換装置200において、マクロブロック種別決定部11は、平均値算出部113を新たに備える。平均値算出部113は、位置対応MBの動きベクトルのベクトル平均を算出する。省略モード許可部112は、算出されたベクトル平均に基づいて、符号化対象MBに対する省略モードの適用の可否を判定する。以下、上記第1の実施の形態及び上記第2の実施の形態と異なる点を中心に説明する。
【0097】
図6を参照して、符号化対象MBに対する省略モードの適用の可否を判定する流れを説明する。符号化対象MBの特定(ステップS21、図6参照)は、上記第2の実施の形態と同様である。周辺MB及び位置対応MBの決定(ステップS22)は、基本的には、上記第2の実施で説明したパターンA〜パターンCのいずれかに基づいて決定される。
【0098】
しかし、画像変換の条件がパターンCに該当する場合において、周辺MBの特定基準が、上記第2の実施の形態と異なることがある。具体的には、MPEG2画像データがインターレース走査に対応し、非圧縮画像データがMBAFFで符号化され、かつ基準ペアがフィールド符号化される場合である。以下、詳しく説明する。
【0099】
図11は、本実施の形態において、パターンCが適用され、基準ペアがフィールド符号化される場合における符号化対象MBと周辺MBとの位置関係を示す図である。図8と同様に、マクロブロックペアP21〜P24が構成されている。マクロブロックm4,m10,m14,m16がTopフィールドである。マクロブロックm5,m11,m15,m17がBottomフィールドである。
【0100】
周辺ブロック特定部111は、以下に示す(C1)、(C2)のいずれかの基準に該当するマクロブロックを周辺MBとして特定する。
(C1)基準ペアと異なり、フレーム符号化されるマクロブロックペアを構成するマクロブロック。
(C2)基準ペアと異なり、フィールド符号化されるマクロブロックペアを構成する二つのマクロブロック。
【0101】
基準(C1)は、上記第2の実施の形態に係る基準(B1)と同じである。図11に示すように、周辺ブロック特定部111は、基準(C1)を満たし、かつ符号化対象MB(マクロブロックm14)に直接隣接するマクロブロックm3,m7,m12,m13を周辺MBとして特定する。基準(C1)では、フレーム符号化されるマクロブロックペアを構成する二つのマクロブロック(たとえば、マクロブロックm3,m4)を同時に周辺MBとして特定しなくてもよい。
【0102】
基準(C2)は、上記第2の実施の形態の基準(B2)の条件と異なり、符号化対象MBのフィールド種別が考慮されない。つまり、符号化対象MBのフィールド種別に関係なく、マクロブロックペアを構成する二つのマクロブロックが、周辺MBとして特定される。図11に示すように、周辺ブロック特定部111は、基準(C2)を満たすマクロブロックとして、基準ペア(マクロブロックペアP23)に直接隣接するマクロブロックペアP21,P22からマクロブロックm4,m5,m16,m17を抽出する。この結果、マクロブロックm3〜m5,m7,m12,m13,m16〜17が、マクロブロックm14の周辺MBとして特定される。これらのマクロブロックに対応するMPEG2画像データのマクロブロックが、位置対応MBとして特定される。
【0103】
周辺ブロック特定部111は、基準(C1)を満たし、符号化対象MB(マクロブロックm14)に直接隣接しないマクロブロックm2,m24などを周辺MBとして特定してもよい。周辺ブロック特定部111は、基準(C2)を満たし、基準ペア(マクロブロックペアP23)に直接隣接しないマクロブロックm10を周辺MBとして特定してもよい。パターンAと同様に、マクロブロックm14に対応するMPEG2画像データのマクロブロックが、位置対応MBとして特定されてもよい。
【0104】
再び、図6を参照する。ステップS22において周辺MB及び位置対応MBを特定した後、マクロブロック種別決定部11は、位置対応MBのマクロブロック情報をマクロブロック情報取得部31から取得する(ステップS23)。マクロブロック情報は、位置対応MBの動きベクトル情報を含む。
【0105】
ステップS24における処理に代えて、平均値算出部113が、位置対応MBの動きベクトル情報を用いて、位置対応MBの動きベクトルのベクトル平均を算出する。ベクトル平均は、位置対応MBの動きベクトルの総和を周辺MBの数で割ることにより算出される。
【0106】
省略モード許可部112は、ステップS25における処理に代えて、ベクトル平均の大きさが所定値以上であるか否かを確認する。ベクトル平均の大きさが所定値よりも小さければ、省略モード許可部112は、符号化対象MBに対する省略モードの適用を許可する(ステップS26)。ベクトル平均の大きさが所定値以上であれば、省略モード許可部112は、符号化対象MBに対する省略モードの適用を許可しない。
【0107】
このように、本実施の形態では、位置対応MBの動きベクトルのベクトル平均に基づいて、符号化対象MBに対する省略モードの適用の可否が判定される。位置対応MBの動きベクトルに基づいて符号化対象MBの周辺領域の画像の動きを推測することにより、動きの大きい場面での省略モードの適用を確実に禁止することができる。このため、主観画質の低下を防ぐことが可能となる。
【0108】
第3の実施の形態では、平均値算出部113が、動きベクトルの平均としてベクトル平均を算出する例について説明した。しかし、平均値算出部113は、動きベクトルの平均として、動きベクトルのスカラー平均を算出してもよい。この場合、スカラー平均が所定値以下であれば、省略モード許可部11は、符号化対象MBに対して省略モードの適用を許可すればよい。
【0109】
平均値算出部113は、動きベクトルの平均として、動きベクトルの角度のばらつきを算出してもよい。角度のばらつきとは、複数の動きベクトルからベクトルを一つ選択し、選択されたベクトルと他の動きベクトルとの角度の差を平均した値である。省略モード許可部112は、角度のばらつきが所定値以下であれば、符号化対象MBに対して省略モードの適用を許可すればよい。
【0110】
第3の実施の形態では、動きベクトルのベクトル平均に基づいて符号化対象MBに対する省略モードの適用の可否を判定した。しかし、省略モード許可部112は、位置対応MBの動きベクトルの中に零ベクトルが存在しない場合に、符号化対象MBに対する省略モードの適用を許可してもよい。あるいは、動きベクトルの中に存在する零ベクトルの数が所定数以下である場合に、符号化対象MBに対する省略モードの適用を許可してもよい。
【符号の説明】
【0111】
1、3 画像符号化装置
2 画像復号化装置
11 マクロブロック種別決定部
12 符号化部
31 マクロブロック情報取得部
100,200 画像変換装置
111 周辺ブロック特定部
112 省略モード許可部
113 平均値算出部
【技術分野】
【0001】
本発明は、MPEGあるいはH.264などの規格に基づいて画像データを符号化する技術に関する。
【背景技術】
【0002】
デジタル放送で配信される画像や、DVD(Digital Versatile Disk)、ハードディスク装置などに格納される画像などは、各種の符号化方式に従って圧縮される。画像の圧縮は、伝送帯域の圧迫の抑制、あるいは、伝送速度の向上、記憶サイズの縮小などを目的として行われる。
【0003】
従来から採用されてきた符号化方式にMPEG2がある。MPEG2は、記録媒体への記録だけでなく、通信メディア、放送メディアでも利用できる符号化方式である。具体的には、デジタル放送やテレビ会議、テレビ電話システムなどに、MPEG2が広く利用されている。
【0004】
符号化方式には、MPEG2と別の規格として、H.264がある。H.264は、MPEG2と比較して約2倍から4倍の圧縮率の向上が図られている。符号化方式には異なる複数の方式が存在するため、符号化された画像データの符号量の削減などを目的として、符号化方式の変換が行われる場合がある。
【先行技術文献】
【特許文献】
【0005】
【特許文献1】特開2008−206151号公報
【発明の概要】
【発明が解決しようとする課題】
【0006】
H.264あるいはMPEG2では、非圧縮画像データの複数のマクロブロックごとに、マクロブロック種別が決定される。各マクロブロックは、決定されたマクロブロック種別に基づいて符号化される。マクロブロック種別には、ダイレクトモード(H.264のみ)及びスキップモードと呼ばれる特殊なモードがある。
【0007】
スキップモードでは、マクロブロックの動き情報や画素情報などが符号化されない。ダイレクトモードでは、マクロブロックの動き情報が符号化されない。スキップモードまたはダイレクトモードを用いることにより、画像データの圧縮率を向上することができる。
【0008】
上記特許文献1に開示されている符号化方法では、マクロブロックにスキップモードを適用するか否かを判断するための基準が開示されている。上記特許文献1に係る符号化方法では、量子化されたマクロブロックの係数ブロックが所定のしきい値よりも小さい場合に、量子化されたマクロブロックに対してスキップモードが適用される。
【0009】
H.264画像データの再生時において、スキップモードが適用されたマクロブロック(スキップマクロブロック)の動きベクトルの予測が行われる。スキップマクロブロックの周囲の全てのマクロブロックがイントラ符号化されている場合、スキップマクロブロックの動きベクトルの大きさは0となる。スキップマクロブロックの表示には、スキップマクロブロックの位置に対応する参照画像の画素情報が用いられる。
【0010】
スキップマクロブロックの動きベクトルが0になることにより、主観画質の劣化が生じることがある。動きが大きいシーンでは、参照画像と符号化対象画像との差分が大きくなるため、マクロブロックはイントラ符号化されやすい。動きの大きいシーンにおいて、イントラ符号化された複数のマクロブロックの中に、スキップマクロブロックが存在するケースを考える。このケースでは、スキップマクロブロックには動きがなく、スキップマクロブロックの周囲では動きが生じるために、視聴者は、再生された画像データの動きに違和感を覚える。このように、非圧縮画像データの符号化にスキップモードを用いることにより、再生画像の主観画質が劣化するという問題がある。
【0011】
そこで、本発明は前記問題点に鑑み、非圧縮画像データを符号化するときに画質の低下を防ぐことができる技術を提供することを目的とする。
【課題を解決するための手段】
【0012】
上記課題を解決するため、請求項1記載の発明は、画像符号化装置であって、非圧縮画像データを複数のブロックに分割し、各ブロックに対して適用するブロック種別を決定するブロック種別決定部と、決定されたブロック種別に基づいて各ブロックを符号化する符号化部と、を備え、前記ブロック種別決定部は、符号化対象ブロックと、前記符号化対象ブロックの周辺に位置する周辺ブロックとを前記複数のブロックから特定するブロック特定部と、前記符号化対象ブロックの一部の情報の符号化が省略された省略モードを前記符号化対象ブロックのブロック種別として適用するか否かを、前記周辺ブロックの符号化に関するブロック情報に基づいて判定する省略モード許可部と、を備えることを特徴とする。
【0013】
請求項2記載の発明は、請求項1に記載の画像符号化装置において、前記周辺ブロックは、前記符号化部により既に符号化されたブロックであり、前記省略モード許可部は、イントラ符号化された前記周辺ブロックの数が所定数より小さければ、前記符号化対象ブロックのブロック種別として前記省略モードの適用を許可することを特徴とする。
【0014】
請求項3記載の発明は、請求項1または請求項2に記載の画像符号化装置において、前記符号化部は、上下方向に互いに隣接する二つのブロックにより構成されるブロックペア単位で、非圧縮画像データをインターレース走査に対応させて符号化し、前記ブロック特定部は、前記符号化対象ブロックを含むブロックペアである基準ペアがフィールド符号化される場合、前記基準ペアと異なり、かつフレーム符号化されるブロックペアを構成するブロックを前記周辺ブロックとして特定することを特徴とする。
【0015】
請求項4記載の発明は、請求項1または請求項2に記載の画像符号化装置において、前記符号化部は、上下方向に互いに隣接する二つのブロックにより構成されるブロックペア単位で、非圧縮画像データをインターレースに対応させて符号化し、前記ブロック特定部は、前記符号化対象ブロックを含むブロックペアである基準ペアがフィールド符号化される場合、前記基準ペアと異なり、かつフィールド符号化される第1ブロックペアを選択し、前記第1ブロックペアを構成する二つのブロックのうち前記符号化対象ブロックとフィールド種別が一致するブロックを前記周辺ブロックとして特定することを特徴とする。
【0016】
請求項5記載の発明は、請求項1ないし請求項4のいずれか記載の画像符号化装置において、前記省略モードは、前記符号化対象ブロックの動き情報及び画素情報の符号化が省略されたスキップモード、を含むことを特徴とする。
【0017】
請求項6記載の発明は、請求項1ないし請求項4のいずれかに記載の画像符号化装置において、前記省略モードは、前記符号化対象ブロックの動き情報の符号化が省略されたダイレクトモード、を含むことを特徴とする。
【0018】
請求項7記載の発明は、請求項1ないし請求項6のいずれかに記載の画像符号化装置において、前記符号化対象ブロックは、複数のサブブロックにより構成され、前記省略モードは、各サブブロックの動き情報の符号化が省略されたモード、を含むことを特徴とする。
【0019】
請求項8記載の発明は、画像変換装置であって、第1符号化画像データを復号化して非圧縮画像データを生成する画像復号化装置と、非圧縮画像データを符号化して第2符号化画像データを生成する画像符号化装置と、前記第1符号化画像データを構成する複数の第1符号化ブロックの符号化に関するブロック情報を取得するブロック情報取得装置と、を備え、前記画像符号化装置は、前記非圧縮画像データを複数のブロックに分割し、各ブロックに対して適用するブロック種別を決定する種別決定部と、決定されたブロック種別に基づいて各ブロックを符号化する符号化部と、を備え、前記符号化部は、符号化対象ブロックと、前記符号化対象ブロックの周辺に位置する周辺ブロックとを前記複数のブロックから特定し、前記周辺ブロックに対応する位置対応ブロックを前記複数の第1符号化ブロックから特定するブロック特定部と、前記符号化対象ブロックの一部の情報の符号化が省略された省略モードを、前記符号化対象ブロックのブロック種別として許可するか否かを、前記位置対応ブロックのブロック情報に基づいて判定する省略モード許可部と、を含むことを特徴とする。
【0020】
請求項9記載の発明は、請求項8に記載の画像変換装置において、前記省略モード許可部は、前記位置対応ブロックに含まれ、かつイントラ符号化された第1符号化ブロックの数が所定数より小さければ、前記符号化対象ブロックのブロック種別として前記省略モードを許可することを特徴とする。
【0021】
請求項10記載の発明は、請求項8または請求項9に記載の画像変換装置において、前記符号化部は、上下方向に互いに隣接する二つのブロックにより構成されるブロックペア単位で、非圧縮画像データをインターレースに対応させて符号化し、前記ブロック特定部は、前記符号化対象ブロックを含むブロックペアである基準ペアがフィールド符号化される場合、前記基準ペアと異なり、かつフレーム符号化されるブロックペアを構成するブロックを前記周辺ブロックとして特定することを特徴とする。
【0022】
請求項11記載の発明は、請求項8または請求項9に記載の画像変換装置において、前記符号化部は、上下方向に互いに隣接する二つのブロックにより構成されるブロックペア単位で、非圧縮画像データをインターレースに対応させて符号化し、前記ブロック特定部は、前記符号化対象ブロックを含むブロックペアである基準ペアがフィールド符号化される場合、前記基準ペアと異なり、かつフィールド符号化される第1ブロックペアを選択し、前記第1ブロックペアを構成する二つのブロックのうち前記符号化対象ブロックとフィールド種別が一致するブロックを前記周辺ブロックとして特定することを特徴とする。
【0023】
請求項12記載の発明は、請求項11に記載の画像変換装置において、前記ブロック特定部は、前記位置対応ブロックがフィールド符号化され、かつ第1フィールド及び第2フィールドを含む場合、前記第1ブロックペアを構成する二つのブロックに対応し、かつ前記位置対応ブロックを含む二つの第1符号化ブロックを特定し、前記省略モード許可部は、前記二つの第1符号化ブロックのうち少なくとも一つがイントラ符号化されていれば、前記位置対応ブロックがイントラ符号化されていると判定することを特徴とする。
【0024】
請求項13記載の発明は、請求項8に記載の画像変換装置において、前記周辺ブロックは、複数のブロックを含み、前記ブロック種別決定部は、前記位置対応ブロックのブロック情報に基づいて、前記位置対応ブロックに含まれる複数の第1符号化ブロックの動きベクトルの平均を算出する平均算出部、を含み、前記省略モード許可部は、前記符号化対象ブロックに対して前記省略モードの適用を許可するか否かを、前記動きベクトルの平均に基づいて判定することを特徴とする。
【0025】
請求項14記載の発明は、請求項13に記載の画像変換装置において、前記符号化部は、上下方向に互いに隣接する二つのブロックにより構成されるブロックペア単位で、非圧縮画像データをインターレースに対応させて符号化し、前記ブロック特定部は、前記符号化対象ブロックを含むブロックペアである基準ペアがフィールド符号化される場合、前記基準ペアと異なり、かつフレーム符号化されるブロックペアを構成するブロックを前記周辺ブロックとして特定することを特徴とする。
【0026】
請求項15記載の発明は、請求項13に記載の画像変換装置において、前記符号化部は、上下方向に互いに隣接する二つのブロックにより構成されるブロックペア単位で、非圧縮画像データをインターレースに対応させて符号化し、前記ブロック特定部は、前記符号化対象ブロックを含むブロックペアである基準ペアがフィールド符号化される場合、前記基準ペアと異なり、かつフィールド符号化される第1ブロックペアを選択し、前記第1ブロックペアを構成する二つのブロックのうち前記符号化対象ブロックとフィールド種別が一致するブロックを前記周辺ブロックとして特定することを特徴とする。
【0027】
請求項16記載の発明は、請求項15に記載の画像変換装置において、前記位置対応ブロックがフィールド符号化され、かつ第1フィールド及び第2フィールドを含む場合、前記第1ブロックペアを構成し、かつ前記符号化対象ブロックとフィールド種別が異なるブロックを、新たに前記周辺ブロックとして特定することを特徴とする。
【0028】
請求項17記載の発明は、請求項8ないし請求項16のいずれかに記載の画像変換装置において、前記省略モードは、前記符号化対象ブロックの動き情報及び画素情報の符号化が省略されたスキップモード、を含むことを特徴とする。
【0029】
請求項18記載の発明は、請求項8ないし請求項16のいずれかに記載の画像変換装置において、前記省略モードは、前記符号化対象ブロックの動き情報の符号化が省略されたダイレクトモード、を含むことを特徴とする。
【0030】
請求項19記載の発明は、請求項8ないし請求項18のいずれかに記載の画像変換装置において、前記符号化対象ブロックは、複数のサブブロックにより構成され、前記省略モードは、各サブブロックの動き情報の符号化が省略されたモード、を含むことを特徴とする。
【発明の効果】
【0031】
本発明に係る画像符号化装置は、既に符号化されている周辺ブロックのブロック情報に基づいて、符号化対象ブロックに対する省略モードの適用の可否を判定する。たとえば、イントラ符号化された周辺ブロックの数が所定数よりも小さければ、符号化対象ブロックに対する省略モードの適用が許可される。周辺ブロックの符号化の状況に応じて符号化対象ブロックに対する省略モードの適用が抑制されるため、符号化画像データの画質を向上させることができる。
【0032】
本発明に係る画像変換装置は、符号化対象ブロックと周辺ブロックとを特定し、周辺ブロックに対応する第1符号化画像データのブロックを位置対応ブロックとして特定する。本発明に係る画像変換装置は、位置対応ブロックのブロック情報に基づいて、符号化対象ブロックに対する省略モードの適用の可否を判定する。たとえば、イントラ符号化された位置対応ブロックの数が所定数よりも小さければ、符号化対象ブロックに対する省略モードの適用が許可される。あるいは、位置対応ブロックの動きベクトルの平均に基づいて、符号化対象ブロックに対する省略モードの適用の可否が判定される。このように、位置対応ブロックの符号化の状況に応じて符号化対象ブロックに対する省略モードの適用が抑制されるため、第2符号化画像データの画質を向上させることができる。
【図面の簡単な説明】
【0033】
【図1】本発明の第1の実施の形態に係る画像符号化装置の機能的構成を示すブロック図である。
【図2】マクロブロック種別決定部の動作の流れを示すフローチャートである。
【図3】符号化対象マクロブロックと周辺マクロブロックとの位置関係を示す図である。
【図4】符号化対象マクロブロックと周辺マクロブロックとの位置関係を示す図である。
【図5】本発明の第2の実施の形態に係る画像変換装置の機能的構成を示すブロック図である。
【図6】マクロブロック種別決定部の動作の流れを示すフローチャートである。
【図7】符号化対象マクロブロックと周辺マクロブロックとの位置関係を示す図である。
【図8】符号化対象マクロブロックと周辺マクロブロックとの位置関係を示す図である。
【図9】H.264及びMPEG2におけるフィールド区分の違いを示す図である。
【図10】本発明の第3の実施の形態に係る画像変換装置の機能的構成を示すブロック図である。
【図11】符号化対象マクロブロックと周辺マクロブロックとの位置関係を示す図である。
【発明を実施するための形態】
【0034】
以下、図面を参照しつつ本発明の実施の形態について説明する。
【0035】
[第1の実施の形態]
{1.全体構成}
図1は、本実施の形態に係る画像符号化装置1の機能的構成を示すブロック図である。図1に示すように、画像符号化装置1は、入力された非圧縮画像データをH.264方式で符号化して、H.264画像データを出力する装置である。画像符号化装置1は、マクロブロック種別決定部11と、符号化部12とを備える。
【0036】
マクロブロック種別決定部11は、非圧縮画像データを構成する複数のマクロブロックの各々に対して適用するマクロブロック種別を決定する。決定されたマクロブロック種別に関する種別情報が、符号化部12に入力される。符号化部12は、決定されたマクロブロック種別に基づいて各マクロブロックを符号化する。
【0037】
マクロブロック種別決定部11は、周辺ブロック特定部111と、省略モード許可部112とを備える。周辺ブロック特定部111は、符号化対象マクロブロックと、周辺マクロブロックとを特定する。周辺マクロブロックは、符号化対象マクロブロックの周辺に位置するマクロブロックである。周辺マクロブロックは、符号化対象マクロブロックのマクロブロック種別を決定するために用いられる。以下、符号化対象マクロブロックを「符号化対象MB(MacroBlock)」と呼ぶ。周辺マクロブロックを「周辺MB」と呼ぶ。
【0038】
省略モード許可部112は、符号化対象MBに対して省略モードの適用を許可するか否かを、周辺MBの符号化に関する情報に基づいて判定する。省略モードは、マクロブロックに関する一部の情報の符号化を省略するマクロブロック種別を指し、スキップモード及びダイレクトモードが該当する。スキップモードでは、マクロブロックの画素情報及び動き情報が符号化されない。ダイレクトモードは、マクロブロックの動き情報が符号化されない。
【0039】
{2.マクロブロック種別決定部11の動作の流れ}
図2は、マクロブロック種別決定部11の動作を示すフローチャートである。初期状態では、符号化対象MBのマクロブロック種別として省略モードの適用が禁止されている。
【0040】
非圧縮画像データは、画像符号化装置1に入力され、複数のマクロブロックに分割される。マクロブロック種別決定部11は、分割された複数のマクロブロックの中から符号化対象MBを決定する(ステップS11)。
【0041】
マクロブロック種別決定部11は、符号化済みのマクロブロックがあるか否かを確認する(ステップS12)。符号化済みのマクロブロックが存在しない場合(ステップS12でNo)、マクロブロック種別決定部11は、図2に示す処理を終了する。つまり、符号化対象MBに対する省略モードの適用が禁止される。これは、符号化対象MBに対する省略モードの適用の可否を判定するときに、周辺MBを特定する必要があるためである。
【0042】
一方、符号化済みのマクロブロックが存在する場合(ステップS12でYes)、周辺ブロック特定部111は、符号化済みのマクロブロックの中から周辺MBを特定する(ステップS13)。周辺MBの決定(ステップS13)の詳細は後述する。省略モード許可部112は、周辺MBのマクロブロック情報を符号化部12から取得する。省略モード許可部112は、周辺MBのマクロブロック情報を参照して、イントラ符号化された周辺MBをカウントする(ステップS14)。マクロブロック情報は、各マクロブロックの符号化モードを特定することができる情報である。イントラ符号化されている周辺MBの数がしきい値よりも小さければ(ステップS15でYes)、省略モード許可部112は、符号化対象MBに対して省略モードを適用することを許可する(ステップS16)。
【0043】
省略モードの適用が許可されることにより、マクロブロック種別決定部11は、符号化対象MBのマクロブロック種別として、スキップモードあるいはダイレクトモードを適用することが可能となる。ただし、スキップモードあるいはダイレクトモードが符号化対象MBに必ず適用されるとは限らない。これは、マクロブロック種別決定部11が、符号化対象MBの符号化コストなどに基づいて、符号化対象MBに適用するマクロブロック種別を決定するためである。
【0044】
イントラ符号化されている周辺MBの数がしきい値以上であれば(ステップS15でNo)、省略モード許可部112は、図2に示す処理を終了する。つまり、符号化対象MBに対する省略モードの適用が禁止される。しきい値は、画像符号化装置1に予め設定されている数値である。しきい値として1が設定された場合、イントラ符号化された周辺MBが一つでも存在すれば、符号化対象MBに対する省略モードの適用が禁止される。
【0045】
{3.周辺MBの決定}
非圧縮画像データがインターレース走査に対応している場合、非圧縮画像データは、Topフィールド及びBottomフィールドの二つのフィールドに分割される。H.264では、二つのフィールドは、フレーム符号化及びフィールド符号化のいずれかの方式で符号化される。フレーム符号化では、二つのフィールドが区別されることなく符号化される。フィールド符号化では、二つのフィールドが個別に符号化される。
【0046】
H.264には、インターレース走査に対応した符号化方式として、PAFF(Picture Adaptive Frame−Field Coding)と、MBAFF(Macroblock Adaptive Frame−Field Coding)とが存在する。PAFFでは、フレーム符号化とフィールド符号化とをピクチャ単位で切り替えることができる。MBAFFでは、フレーム符号化とフィールド符号化とをマクロブロックペア単位で切り替えることができる。マクロブロックペアは、MBAFFに基づく符号化のときに用いられ、上下方向に互いに隣接する二つのマクロブロックにより構成される。
【0047】
非圧縮画像データがMBAFFで符号化されるか否かによって、周辺MBの特定基準が異なる。周辺MBの特定基準の詳細を、非圧縮画像データがMBAFFで符号化される場合と、MBAFFで符号化されない場合とに分けて説明する。
【0048】
{3.1.非圧縮画像データがMBAFFで符号化されない場合}
まず、非圧縮画像データがMBAFFで符号化されない場合における、周辺MBの特定基準を説明する。非圧縮画像データがMBAFFで符号化されないケースとしては、PAFFに基づく符号化、またはプログレッシブ走査に対応した符号化が挙げられる。
【0049】
図3は、非圧縮画像データがMBAFFで符号化されない場合における、符号化対象MBと周辺MBとの位置関係を示す図である。非圧縮画像データは、5×6のマクロブロックm0〜m29で構成される。符号化部12は、マクロブロックm0,m1,m2,・・・,m28,m29の順に符号化する。
【0050】
図3に示す例では、マクロブロックm0〜m11が符号化済みであり、マクロブロックm12が符号化対象MBである。符号化済みのマクロブロックm0〜m11をハッチングあるいは砂地で示す。砂地で示すマクロブロックは、マクロブロックm12が符号化対象MBであるときに周辺MBとして特定されたマクロブロックである。
【0051】
上述したステップS13(図2参照)において、周辺ブロック特定部111は、符号化済みのマクロブロックを周辺MBとして特定する。本実施の形態では、周辺ブロック特定部111は、マクロブロックm12に隣接する4つのマクロブロックm6〜m8,m11を周辺MBとして特定する。
【0052】
省略モード許可部112は、マクロブロックm6〜m8,m11のうちイントラ符号化されたマクロブロックをカウントする(ステップS14)。イントラ符号化されたマクロブロックのカウント値がしきい値よりも小さければ(ステップS15でYes)、マクロブロックm12に対する省略モードの適用が許可される(ステップS16)。これにより、マクロブロックm12のサブマクロブロックに対するダイレクトモードの適用も可能となる。
【0053】
周辺ブロック特定部111は、符号化対象MBに隣接しないマクロブロック(マクロブロックm4,m6など)を周辺MBとして特定してもよい。あるいは、周辺ブロック特定部111は、全ての符号化済みのマクロブロックを周辺MBとして特定してもよい。
【0054】
{3.2.非圧縮画像データがMBAFFで符号化される場合}
非圧縮画像データがMBAFFで符号化される場合における、周辺MBの特定基準を説明する。以下、符号化対象MBを含むマクロブロック(基準ペア)が、フィールド符号化される場合と、フレーム符号化される場合とに分けて説明する。
【0055】
まず、基準ペアがフィールド符号化される場合における、周辺MBの特定基準を説明する。図4は、基準ペアがフィールド符号化される場合における符号化対象MBと周辺MBとの位置関係を示す図である。図4では、符号化済みマクロブロックをハッチングあるいは砂地で示している。砂地で示すマクロブロックは、マクロブロックm14が符号化対象MBであるときに周辺MBとして特定されたマクロブロックである。マクロブロックは、マクロブロックm0,m1・・・m29の順に符号化される。
【0056】
図4において、マクロブロックm0〜m29は、それぞれマクロブロックペアを構成する。一点鎖線で示すマクロブロックペアは、フレーム符号化される。実線で示すマクロブロックペアP11,P12,P13は、フィールド符号化される。マクロブロックm4,m5がマクロブロックペアP11を構成する。マクロブロックm12,m13がマクロブロックペアP12を構成する。マクロブロックm14,m15が、マクロブロックペアP13を構成する。マクロブロックm4,m12,m14がTopフィールドである。マクロブロックm5,m13,m15がBottomフィールドである。
【0057】
マクロブロックm14を符号化対象MBとし、マクロブロックペアP13を基準ペアとする。基準ペアがフィールド符号化される場合、以下に示す二つの基準のいずれかを満たすマクロブロックが周辺MBとして特定される。
(1)基準ペアと異なり、かつフレーム符号化されるマクロブロックペアを構成するマクロブロック。
(2)基準ペアと異なり、かつフィールド符号化されるマクロブロックペアを構成する二つのマクロブロックのうち、符号化対象MBとフィールド種別が一致するマクロブロック。
【0058】
図4に示す例では、周辺ブロック特定部111は、基準(1)に該当する周辺MBとして、マクロブロックm14に隣接するマクロブロックm3,m7を特定する。周辺ブロック特定部111は、基準(1)を満たすのであれば、マクロブロックm3,m7の他にマクロブロックm1、m10などを周辺ブロックとして特定してもよい。あるいは、周辺ブロック特定部111は、基準(1)を満たし、かつ符号化済みの全てのマクロブロックを周辺MBとして特定してもよい。
【0059】
周辺ブロック特定部111は、基準(2)に該当する周辺MBとして、基準ペア(マクロブロックペアP13)に隣接したマクロブロックペアP11,P12を特定する。マクロブロックペアP11,P12に含まれるマクロブロックのうち、マクロブロックm4,m12が周辺MBとして特定される。これは、マクロブロックm4,m12のフィールド種別と、マクロブロックm14のフィールド種別とが一致するためである。周辺ブロック特定部111は、基準(2)を満たすのであれば、基準ペアに直接隣接しないマクロブロックペアを構成するマクロブロックから周辺MBを特定してもよい。
【0060】
図3において、非圧縮画像データがMBAFFで符号化されない場合には、符号化対象MB(マクロブロックm12)の真上に隣接するマクロブロック(マクロブロックm7)が周辺MBとして特定されている。しかし、図4に示す例では、符号化対象MB(マクロブロックm14)の真上に隣接するマクロブロックm5は、マクロブロックm14とフィールド種別が異なるため、マクロブロックm14の周辺MBとして特定されない。このように、非圧縮画像データがどのように符号化されるかによって、周辺MBとして特定されるマクロブロックが変化する。
【0061】
次に、基準ペアがフレーム符号化される場合における、周辺MBの特定基準を説明する。この場合、周辺ブロック特定部111は、非圧縮画像データがMBAFFで符号化されない場合と同じ基準(図3参照)で周辺MBを特定する。つまり、基準ペアがフレーム符号化される場合、周辺ブロック特定部111は、他のマクロブロックペアがフィールド符号化されているか、フレーム符号化されているかに関係なく、符号化済みのマクロブロックを周辺MBとして特定することができる。これは、符号化対象MBがTopフィールド及びBottomフィールドを含んでいるため、符号化済みマクロブロックの種別を確認する必要がないためである。
【0062】
ステップS13において周辺MBが特定された後に、省略モード許可部112は、周辺MBのマクロブロック情報に基づいて、符号化対象MBに対する省略モードの適用の可否を判定する(ステップS14〜ステップS16)。
【0063】
以上説明したように、マクロブロック種別決定部11は、イントラ符号化された周辺MBの数がしきい値よりも小さければ、符号化対象MBに対する省略モードの適用を許可する。これにより、マクロブロックがイントラ符号化されることの多いシーン(動きの大きいシーンなど)を符号化する際に、マクロブロックに対する省略モードの適用が抑制される。再生時に視聴者が違和感を覚えることのないH.264画像データを生成することができる。
【0064】
[第2の実施の形態]
{1.全体構成}
図5は、本実施の形態に係る画像変換装置100の機能的構成を示すブロック図である。画像変換装置100は、MPEG2画像データをH.264画像データに変換する。画像変換装置100は、画像復号化装置2と、画像符号化装置3とを備える。
【0065】
以下、上記第1の実施の形態と異なる点を中心に説明する。
【0066】
画像復号化装置2は、MPEG2画像データを復号化して、非圧縮画像データを生成する。非圧縮画像データは、画像符号化装置3に入力される。画像符号化装置3は、上記第1の実施の形態の画像符号化装置1と同様に、非圧縮画像データをH.264方式で符号化する。画像符号化装置3は、マクロブロック種別決定部11と、符号化部12と、マクロブロック情報取得部31とを備える。
【0067】
マクロブロック情報取得部31は、MPEG2画像データの各マクロブロックのマクロブロック情報を画像復号化装置2から取得する。マクロブロック種別決定部11は、周辺MBに対応するMPEG2画像データのマクロブロックのマクロブロック情報を、マクロブロック情報取得部31から取得する。マクロブロック種別決定部11は、取得したマクロブロック情報に基づいて、符号化対象MBに対する省略モードの適用の可否を判定する。
【0068】
{2.マクロブロック種別決定部11の動作の流れ}
図6は、本実施の形態におけるマクロブロック種別決定部11の動作の流れを示すフローチャートである。初期状態では、マクロブロック種別として、省略モードの適用が禁止されている。
【0069】
非圧縮画像データは、画像符号化装置3に入力され、複数のマクロブロックに分割される。マクロブロック種別決定部11は、分割された複数のマクロブロックの中から符号化対象MBを決定する(ステップS21)。
【0070】
周辺ブロック決定部11は、周辺MBと、位置対応MBとを特定する(ステップS22)。位置対応MBとは、周辺MBの位置に対応するMPEG2画像データのマクロブロックのことである。省略モード許可部112は、位置対応MBのマクロブロック情報をマクロブロック情報取得部31から取得する(ステップS23)。
【0071】
省略モード許可部112は、取得したマクロブロック情報に基づいて、イントラ符号化されている位置対応MBをカウントする(ステップS24)。イントラ符号化されている位置対応MBの数がしきい値よりも小さければ(ステップS25でYes)、省略モード許可部112は、符号化対象MBに対して省略モードを適用することを許可する(ステップS26)。
【0072】
イントラ符号化されている位置対応MBの数がしきい値以上であれば(ステップS25でNo)、省略モード許可部112は、符号化対象MBに対する省略モードの適用を許可することなく、図6に示す処理を終了する。
【0073】
{3.周辺MB及び位置対応MBの特定}
次に、周辺MB及び位置対応MBの特定(ステップS22)と、イントラ符号化された位置対応MBのカウント(ステップS24)について詳しく説明する。ステップS22及びステップS24における処理は、下記に示す画像変換の条件(パターンA〜パターンC)に応じて変化する。
【0074】
(パターンA)非圧縮画像データがMBAFFで符号化されない場合。
(パターンB)MPEG2画像データがインターレース走査に対応せず、非圧縮画像データがMBAFFで符号化される場合。
(パターンC)MPEG2画像データがインターレース走査に対応し、非圧縮画像データがMBAFFで符号化される場合。
【0075】
{3.1.パターンAにおける周辺MB及び位置対応MBの特定}
パターンAは、具体的には、非圧縮画像データがPAFFで符号化される場合、または非圧縮画像データがプログレッシブ走査に対応して符号化される場合に適用される。パターンAでは、MPEG2画像データの走査方式は、インターレース走査であっても、プログレッシブ走査であってもよい。
【0076】
図7は、パターンAが適用される場合における符号化対象MBと周辺MBとの位置関係を示す図である。MPEG2及び非圧縮画像データは、5×6のマクロブロックで構成される。マクロブロックは、マクロブロックm0,m1・・・m29の順に符号化される。
【0077】
図7では、符号化対象MBがマクロブロックm12であるときの周辺MBを砂地で示している。パターンAにおいて、周辺ブロック特定部111は、符号化対象MB(マクロブロックm12)を囲むようにして直接隣接する8個のマクロブロック(マクロブロックm6〜m8,m11,m13,m16〜m18)を周辺MBとして特定する。上記第1の実施の形態と異なり、パターンAでは、周辺MBの特定の際にマクロブロックが符号化済みであるか否かは考慮されない。
【0078】
周辺ブロック特定部111は、マクロブロックm6〜m8,m11,m13,m16〜m18に対応するMPEG2画像データのマクロブロックを、位置対応MBとして特定する。周辺ブロック特定部111は、マクロブロックm12に直接隣接しないマクロブロックm2,m10,m28などを周辺MBとして特定してもよい。あるいは、全てのマクロブロックが周辺MBとして特定されてもよい。周辺ブロック特定部111は、マクロブロックm12の位置に対応するMPEG2画像データのマクロブロックを位置対応MBとして特定してもよい。
【0079】
省略モード許可部112は、特定された位置対応MBに対応するマクロブロック情報を参照して、イントラ符号化された位置対応MBをカウントする(ステップS24)。カウント値に基づいて、マクロブロックm12に対して省略モードの適用を許可するか否かが判定される(ステップS25,S26)。
【0080】
{3.2.パターンBにおける周辺MB及び参照MBの特定}
パターンBは、MPEG2画像データがインターレース走査に対応せず、かつ非圧縮画像データがMBAFFで符号化される場合に適用される。
【0081】
図8は、パターンBが適用される場合における符号化対象MBと周辺MBとの位置関係を示す図である。MPEG2及び非圧縮画像データは、5×6のマクロブロックで構成される。マクロブロックは、マクロブロックm0,m1・・・m29の順に符号化される。
【0082】
図8では、符号化対象MBがマクロブロックm14であるときに、周辺MBとして特定されるマクロブロックを砂地で示している。図8において、マクロブロックm0〜m29は、それぞれマクロブロックペアを構成する。一点鎖線で示すマクロブロックペアは、フレーム符号化される。実線で示すマクロブロックペアP21,P22,P23,P24は、フィールド符号化される。マクロブロックm4,m5がマクロブロックペアP21を構成する。マクロブロックm10,m11がマクロブロックペアP22を構成する。マクロブロックm14,m15がマクロブロックペアP23(基準ペア)を構成する。マクロブロックm16,m17がマクロブロックペアP24を構成する。マクロブロックm4,m10,m14,m16がTopフィールドである。マクロブロックm5,m11,m15,m17がBottomフィールドである。
【0083】
パターンBでは、基準ペアがフィールド符号化されるか、フレーム符号化されるかによって、周辺MBの特定基準が異なる。まず、基準ペアがフィールド符号化される場合における周辺MBの特定基準を説明する。
【0084】
パターンBにおいて基準ペアがフィールド符号化される場合、周辺ブロック特定部111は、以下に示す(B1)、(B2)のどちらかの基準に該当するマクロブロックを周辺MBとして特定する。
(B1)基準ペアと異なり、フレーム符号化されるマクロブロックペアを構成するマクロブロック。
(B2)基準ペアと異なり、フィールド符号化されるマクロブロックペアを構成する二つのマクロブロックのうち、符号化対象MBとフィールド種別が一致するマクロブロック。
【0085】
図8に示す例では、周辺ブロック特定部111は、基準(B1)に該当し、かつマクロブロックm14に直接隣接するマクロブロックm3,m7,m12,m13を周辺MBとして特定する。周辺ブロック特定部111は、基準(B2)の条件に該当し、かつ基準ペアに直接隣接したマクロブロックペアP21,P24を構成するマクロブロックm4,m16を、周辺MBとして特定する。この結果、マクロブロックm3,m4,m7,m12,m13,m16に対応するMPEG2画像データのマクロブロックが、位置対応MBとして特定される。
【0086】
周辺ブロック特定部111は、基準(B1)に該当し、かつ、基準ペア(マクロブロックペアP23)に直接隣接しないマクロブロックm1,m22,m24などを周辺MBとして特定してもよい。周辺ブロック特定部111は、基準(B2)に該当し、かつ基準ペアに直接隣接しないマクロブロックペアP22から周辺MBを特定してもよい。図8に示す例では、マクロブロックm10を周辺MBとして特定することができる。パターンAと同様に、マクロブロックm14に対応するMPEG2画像データのマクロブロックが、位置対応MBとして特定されてもよい。
【0087】
次に、パターンBにおいて基準ペアがフレーム符号化される場合における周辺MBの特定基準を説明する。この場合、周辺ブロック特定部111は、パターンAと同様の基準で周辺MBを特定する。つまり、パターンBにおいて基準ペアがフレーム符号化される場合、周辺ブロック特定部111は、他のマクロブロックのフィールド種別を考慮することなく、周辺MBを特定する。
【0088】
省略モード許可部112は、特定された位置対応MBに対応するマクロブロック情報を参照して、イントラ符号化された位置対応MBをカウントする(ステップS24)。カウント値に基づいて、マクロブロックm14に対して省略モードの適用を許可するか否かが判定される(ステップS25,S26)。
【0089】
{3.3.パターンCにおける周辺MB及び参照MBの特定}
パターンCは、MPEG2画像データがインターレース走査に対応し、かつ基準ペアがMBAFFで符号化される場合に適用される。
【0090】
パターンCにおける周辺MB及び位置対応MBの特定は、パターンBと同様である。パターンCでは、イントラ符号化された位置対応MBのカウント方法が、パターンA,Bと異なる。これは、MPEG2におけるフィールド符号化と、H.264におけるマクロブロックペア単位でのフィールド符号化とではマクロブロックに対するフィールド種別の割り当てが異なるためである。以下、詳しく説明する。
【0091】
図9は、マクロブロックm4,m5のフィールド区分と、MPEG2画像データのマクロブロックm4i,m5iのフィールド区分を示す図である。マクロブロックm4は、周辺MBとして特定されている。マクロブロックm4,m5は、マクロブロックペアP21を構成する。マクロブロックm4i,m5iは、マクロブロックm4,m5の位置に対応する。マクロブロックm4iは、周辺MBとして特定されたマクロブロックm4の位置対応MBである。マクロブロックm4i,m5iは、MPEG2で符号化されているためマクロブロックペアを構成しない。
【0092】
マクロブロックm4は、マクロブロックペアP21の上側に位置するため、Topフィールドとして符号化される。マクロブロックm5は、マクロブロックペアP21の下側に位置するため、Bottomフィールドとして符号化される。一方、MPEG2では、マクロブロックm4i,m5iの上側の8ラインがTopフィールドとして符号化される。下側の8ラインがBottomフィールドとして符号化される。
【0093】
つまり、パターンCでは、同じ位置にあるマクロブロックm4とマクロブロックm4iとは、同じ位置にあるにも関わらず、フィールド種別が一致しない。マクロブロックm4と、マクロブロックm4i,m5iの上側の8ラインとが対応関係にある。このため、省略モード許可部112は、マクロブロックm4i,m5iのうちいずれか一つがイントラ符号化されていれば、位置対応MB(マクロブロックm4i)がイントラ符号化されていると判定する。一方、マクロブロックm4i,m5iの両者がインター符号化されていれば、位置対応MBは、インター符号化されていると判定される。省略モード許可部112は、マクロブロックm4i,m5iの両者がイントラ符号化されていれば、位置対応MB(マクロブロックm4i)がイントラ符号化されていると判定してもよい。
【0094】
省略モード許可部112は、イントラ符号化された位置対応MBのカウント値に基づいて、符号化対象MBに対する省略モードの可否を判定する(ステップS25,S26)。
【0095】
このように、本実施の形態に係る画像変換装置100は、符号化対象MBに対する省略モードの適用の可否を、イントラ符号化されている位置対応MBの数に基づいて判断する。符号化対象MBの周囲の動きの大きさをMPEG2画像データから判断することにより、第1の実施の形態と比べて、多くのマクロブロックを周辺MBとして特定することができる。したがって、適用モードを許可するか否かの判断の精度を向上することができる。
【0096】
[第3の実施の形態]
図10は、第3の実施の形態に係る画像変換装置200の機能的構成を示すブロック図である。画像変換装置200において、マクロブロック種別決定部11は、平均値算出部113を新たに備える。平均値算出部113は、位置対応MBの動きベクトルのベクトル平均を算出する。省略モード許可部112は、算出されたベクトル平均に基づいて、符号化対象MBに対する省略モードの適用の可否を判定する。以下、上記第1の実施の形態及び上記第2の実施の形態と異なる点を中心に説明する。
【0097】
図6を参照して、符号化対象MBに対する省略モードの適用の可否を判定する流れを説明する。符号化対象MBの特定(ステップS21、図6参照)は、上記第2の実施の形態と同様である。周辺MB及び位置対応MBの決定(ステップS22)は、基本的には、上記第2の実施で説明したパターンA〜パターンCのいずれかに基づいて決定される。
【0098】
しかし、画像変換の条件がパターンCに該当する場合において、周辺MBの特定基準が、上記第2の実施の形態と異なることがある。具体的には、MPEG2画像データがインターレース走査に対応し、非圧縮画像データがMBAFFで符号化され、かつ基準ペアがフィールド符号化される場合である。以下、詳しく説明する。
【0099】
図11は、本実施の形態において、パターンCが適用され、基準ペアがフィールド符号化される場合における符号化対象MBと周辺MBとの位置関係を示す図である。図8と同様に、マクロブロックペアP21〜P24が構成されている。マクロブロックm4,m10,m14,m16がTopフィールドである。マクロブロックm5,m11,m15,m17がBottomフィールドである。
【0100】
周辺ブロック特定部111は、以下に示す(C1)、(C2)のいずれかの基準に該当するマクロブロックを周辺MBとして特定する。
(C1)基準ペアと異なり、フレーム符号化されるマクロブロックペアを構成するマクロブロック。
(C2)基準ペアと異なり、フィールド符号化されるマクロブロックペアを構成する二つのマクロブロック。
【0101】
基準(C1)は、上記第2の実施の形態に係る基準(B1)と同じである。図11に示すように、周辺ブロック特定部111は、基準(C1)を満たし、かつ符号化対象MB(マクロブロックm14)に直接隣接するマクロブロックm3,m7,m12,m13を周辺MBとして特定する。基準(C1)では、フレーム符号化されるマクロブロックペアを構成する二つのマクロブロック(たとえば、マクロブロックm3,m4)を同時に周辺MBとして特定しなくてもよい。
【0102】
基準(C2)は、上記第2の実施の形態の基準(B2)の条件と異なり、符号化対象MBのフィールド種別が考慮されない。つまり、符号化対象MBのフィールド種別に関係なく、マクロブロックペアを構成する二つのマクロブロックが、周辺MBとして特定される。図11に示すように、周辺ブロック特定部111は、基準(C2)を満たすマクロブロックとして、基準ペア(マクロブロックペアP23)に直接隣接するマクロブロックペアP21,P22からマクロブロックm4,m5,m16,m17を抽出する。この結果、マクロブロックm3〜m5,m7,m12,m13,m16〜17が、マクロブロックm14の周辺MBとして特定される。これらのマクロブロックに対応するMPEG2画像データのマクロブロックが、位置対応MBとして特定される。
【0103】
周辺ブロック特定部111は、基準(C1)を満たし、符号化対象MB(マクロブロックm14)に直接隣接しないマクロブロックm2,m24などを周辺MBとして特定してもよい。周辺ブロック特定部111は、基準(C2)を満たし、基準ペア(マクロブロックペアP23)に直接隣接しないマクロブロックm10を周辺MBとして特定してもよい。パターンAと同様に、マクロブロックm14に対応するMPEG2画像データのマクロブロックが、位置対応MBとして特定されてもよい。
【0104】
再び、図6を参照する。ステップS22において周辺MB及び位置対応MBを特定した後、マクロブロック種別決定部11は、位置対応MBのマクロブロック情報をマクロブロック情報取得部31から取得する(ステップS23)。マクロブロック情報は、位置対応MBの動きベクトル情報を含む。
【0105】
ステップS24における処理に代えて、平均値算出部113が、位置対応MBの動きベクトル情報を用いて、位置対応MBの動きベクトルのベクトル平均を算出する。ベクトル平均は、位置対応MBの動きベクトルの総和を周辺MBの数で割ることにより算出される。
【0106】
省略モード許可部112は、ステップS25における処理に代えて、ベクトル平均の大きさが所定値以上であるか否かを確認する。ベクトル平均の大きさが所定値よりも小さければ、省略モード許可部112は、符号化対象MBに対する省略モードの適用を許可する(ステップS26)。ベクトル平均の大きさが所定値以上であれば、省略モード許可部112は、符号化対象MBに対する省略モードの適用を許可しない。
【0107】
このように、本実施の形態では、位置対応MBの動きベクトルのベクトル平均に基づいて、符号化対象MBに対する省略モードの適用の可否が判定される。位置対応MBの動きベクトルに基づいて符号化対象MBの周辺領域の画像の動きを推測することにより、動きの大きい場面での省略モードの適用を確実に禁止することができる。このため、主観画質の低下を防ぐことが可能となる。
【0108】
第3の実施の形態では、平均値算出部113が、動きベクトルの平均としてベクトル平均を算出する例について説明した。しかし、平均値算出部113は、動きベクトルの平均として、動きベクトルのスカラー平均を算出してもよい。この場合、スカラー平均が所定値以下であれば、省略モード許可部11は、符号化対象MBに対して省略モードの適用を許可すればよい。
【0109】
平均値算出部113は、動きベクトルの平均として、動きベクトルの角度のばらつきを算出してもよい。角度のばらつきとは、複数の動きベクトルからベクトルを一つ選択し、選択されたベクトルと他の動きベクトルとの角度の差を平均した値である。省略モード許可部112は、角度のばらつきが所定値以下であれば、符号化対象MBに対して省略モードの適用を許可すればよい。
【0110】
第3の実施の形態では、動きベクトルのベクトル平均に基づいて符号化対象MBに対する省略モードの適用の可否を判定した。しかし、省略モード許可部112は、位置対応MBの動きベクトルの中に零ベクトルが存在しない場合に、符号化対象MBに対する省略モードの適用を許可してもよい。あるいは、動きベクトルの中に存在する零ベクトルの数が所定数以下である場合に、符号化対象MBに対する省略モードの適用を許可してもよい。
【符号の説明】
【0111】
1、3 画像符号化装置
2 画像復号化装置
11 マクロブロック種別決定部
12 符号化部
31 マクロブロック情報取得部
100,200 画像変換装置
111 周辺ブロック特定部
112 省略モード許可部
113 平均値算出部
【特許請求の範囲】
【請求項1】
非圧縮画像データを複数のブロックに分割し、各ブロックに対して適用するブロック種別を決定するブロック種別決定部と、
決定されたブロック種別に基づいて各ブロックを符号化する符号化部と、
を備え、
前記ブロック種別決定部は、
符号化対象ブロックと、前記符号化対象ブロックの周辺に位置する周辺ブロックとを前記複数のブロックから特定するブロック特定部と、
前記符号化対象ブロックの一部の情報の符号化が省略された省略モードを前記符号化対象ブロックのブロック種別として適用するか否かを、前記周辺ブロックの符号化に関するブロック情報に基づいて判定する省略モード許可部と、
を備えることを特徴とする画像符号化装置。
【請求項2】
請求項1に記載の画像符号化装置において、
前記周辺ブロックは、前記符号化部により既に符号化されたブロックであり、
前記省略モード許可部は、
イントラ符号化された前記周辺ブロックの数が所定数より小さければ、前記符号化対象ブロックのブロック種別として前記省略モードの適用を許可することを特徴とする画像符号化装置。
【請求項3】
請求項1または請求項2に記載の画像符号化装置において、
前記符号化部は、上下方向に互いに隣接する二つのブロックにより構成されるブロックペア単位で、非圧縮画像データをインターレース走査に対応させて符号化し、
前記ブロック特定部は、前記符号化対象ブロックを含むブロックペアである基準ペアがフィールド符号化される場合、前記基準ペアと異なり、かつフレーム符号化されるブロックペアを構成するブロックを前記周辺ブロックとして特定することを特徴とする画像符号化装置。
【請求項4】
請求項1または請求項2に記載の画像符号化装置において、
前記符号化部は、上下方向に互いに隣接する二つのブロックにより構成されるブロックペア単位で、非圧縮画像データをインターレースに対応させて符号化し、
前記ブロック特定部は、前記符号化対象ブロックを含むブロックペアである基準ペアがフィールド符号化される場合、前記基準ペアと異なり、かつフィールド符号化される第1ブロックペアを選択し、前記第1ブロックペアを構成する二つのブロックのうち前記符号化対象ブロックとフィールド種別が一致するブロックを前記周辺ブロックとして特定することを特徴とする画像符号化装置。
【請求項5】
請求項1ないし請求項4のいずれか記載の画像符号化装置において、
前記省略モードは、
前記符号化対象ブロックの動き情報及び画素情報の符号化が省略されたスキップモード、
を含むことを特徴とする画像符号化装置。
【請求項6】
請求項1ないし請求項4のいずれかに記載の画像符号化装置において、
前記省略モードは、
前記符号化対象ブロックの動き情報の符号化が省略されたダイレクトモード、
を含むことを特徴とする画像符号化装置。
【請求項7】
請求項1ないし請求項6のいずれかに記載の画像符号化装置において、
前記符号化対象ブロックは、複数のサブブロックにより構成され、
前記省略モードは、
各サブブロックの動き情報の符号化が省略されたモード、
を含むことを特徴とする画像符号化装置。
【請求項8】
第1符号化画像データを復号化して非圧縮画像データを生成する画像復号化装置と、
非圧縮画像データを符号化して第2符号化画像データを生成する画像符号化装置と、
前記第1符号化画像データを構成する複数の第1符号化ブロックの符号化に関するブロック情報を取得するブロック情報取得装置と、
を備え、
前記画像符号化装置は、
前記非圧縮画像データを複数のブロックに分割し、各ブロックに対して適用するブロック種別を決定する種別決定部と、
決定されたブロック種別に基づいて各ブロックを符号化する符号化部と、
を備え、
前記符号化部は、
符号化対象ブロックと、前記符号化対象ブロックの周辺に位置する周辺ブロックとを前記複数のブロックから特定し、前記周辺ブロックに対応する位置対応ブロックを前記複数の第1符号化ブロックから特定するブロック特定部と、
前記符号化対象ブロックの一部の情報の符号化が省略された省略モードを、前記符号化対象ブロックのブロック種別として許可するか否かを、前記位置対応ブロックのブロック情報に基づいて判定する省略モード許可部と、
を含むことを特徴とする画像変換装置。
【請求項9】
請求項8に記載の画像変換装置において、
前記省略モード許可部は、
前記位置対応ブロックに含まれ、かつイントラ符号化された第1符号化ブロックの数が所定数より小さければ、前記符号化対象ブロックのブロック種別として前記省略モードを許可することを特徴とする画像変換装置。
【請求項10】
請求項8または請求項9に記載の画像変換装置において、
前記符号化部は、上下方向に互いに隣接する二つのブロックにより構成されるブロックペア単位で、非圧縮画像データをインターレースに対応させて符号化し、
前記ブロック特定部は、前記符号化対象ブロックを含むブロックペアである基準ペアがフィールド符号化される場合、前記基準ペアと異なり、かつフレーム符号化されるブロックペアを構成するブロックを前記周辺ブロックとして特定することを特徴とする画像変換装置。
【請求項11】
請求項8または請求項9に記載の画像変換装置において、
前記符号化部は、上下方向に互いに隣接する二つのブロックにより構成されるブロックペア単位で、非圧縮画像データをインターレースに対応させて符号化し、
前記ブロック特定部は、前記符号化対象ブロックを含むブロックペアである基準ペアがフィールド符号化される場合、前記基準ペアと異なり、かつフィールド符号化される第1ブロックペアを選択し、前記第1ブロックペアを構成する二つのブロックのうち前記符号化対象ブロックとフィールド種別が一致するブロックを前記周辺ブロックとして特定することを特徴とする画像変換装置。
【請求項12】
請求項11に記載の画像変換装置において、
前記ブロック特定部は、
前記位置対応ブロックがフィールド符号化され、かつ第1フィールド及び第2フィールドを含む場合、前記第1ブロックペアを構成する二つのブロックに対応し、かつ前記位置対応ブロックを含む二つの第1符号化ブロックを特定し、
前記省略モード許可部は、
前記二つの第1符号化ブロックのうち少なくとも一つがイントラ符号化されていれば、前記位置対応ブロックがイントラ符号化されていると判定することを特徴とする画像変換装置。
【請求項13】
請求項8に記載の画像変換装置において、
前記周辺ブロックは、複数のブロックを含み、
前記ブロック種別決定部は、
前記位置対応ブロックのブロック情報に基づいて、前記位置対応ブロックに含まれる複数の第1符号化ブロックの動きベクトルの平均を算出する平均算出部、
を含み、
前記省略モード許可部は、
前記符号化対象ブロックに対して前記省略モードの適用を許可するか否かを、前記動きベクトルの平均に基づいて判定することを特徴とする画像変換装置。
【請求項14】
請求項13に記載の画像変換装置において、
前記符号化部は、上下方向に互いに隣接する二つのブロックにより構成されるブロックペア単位で、非圧縮画像データをインターレースに対応させて符号化し、
前記ブロック特定部は、前記符号化対象ブロックを含むブロックペアである基準ペアがフィールド符号化される場合、前記基準ペアと異なり、かつフレーム符号化されるブロックペアを構成するブロックを前記周辺ブロックとして特定することを特徴とする画像変換装置。
【請求項15】
請求項13に記載の画像変換装置において、
前記符号化部は、上下方向に互いに隣接する二つのブロックにより構成されるブロックペア単位で、非圧縮画像データをインターレースに対応させて符号化し、
前記ブロック特定部は、前記符号化対象ブロックを含むブロックペアである基準ペアがフィールド符号化される場合、前記基準ペアと異なり、かつフィールド符号化される第1ブロックペアを選択し、前記第1ブロックペアを構成する二つのブロックのうち前記符号化対象ブロックとフィールド種別が一致するブロックを前記周辺ブロックとして特定することを特徴とする画像変換装置。
【請求項16】
請求項15に記載の画像変換装置において、
前記ブロック特定部は、
前記位置対応ブロックがフィールド符号化され、かつ第1フィールド及び第2フィールドを含む場合、前記第1ブロックペアを構成し、かつ前記符号化対象ブロックとフィールド種別が異なるブロックを、新たに前記周辺ブロックとして特定することを特徴とする画像変換装置。
【請求項17】
請求項8ないし請求項16のいずれかに記載の画像変換装置において、
前記省略モードは、
前記符号化対象ブロックの動き情報及び画素情報の符号化が省略されたスキップモード、を含むことを特徴とする画像変換装置。
【請求項18】
請求項8ないし請求項16のいずれかに記載の画像変換装置において、
前記省略モードは、
前記符号化対象ブロックの動き情報の符号化が省略されたダイレクトモード、
を含むことを特徴とする画像変換装置。
【請求項19】
請求項8ないし請求項18のいずれかに記載の画像変換装置において、
前記符号化対象ブロックは、複数のサブブロックにより構成され、
前記省略モードは、
各サブブロックの動き情報の符号化が省略されたモード、
を含むことを特徴とする画像変換装置。
【請求項1】
非圧縮画像データを複数のブロックに分割し、各ブロックに対して適用するブロック種別を決定するブロック種別決定部と、
決定されたブロック種別に基づいて各ブロックを符号化する符号化部と、
を備え、
前記ブロック種別決定部は、
符号化対象ブロックと、前記符号化対象ブロックの周辺に位置する周辺ブロックとを前記複数のブロックから特定するブロック特定部と、
前記符号化対象ブロックの一部の情報の符号化が省略された省略モードを前記符号化対象ブロックのブロック種別として適用するか否かを、前記周辺ブロックの符号化に関するブロック情報に基づいて判定する省略モード許可部と、
を備えることを特徴とする画像符号化装置。
【請求項2】
請求項1に記載の画像符号化装置において、
前記周辺ブロックは、前記符号化部により既に符号化されたブロックであり、
前記省略モード許可部は、
イントラ符号化された前記周辺ブロックの数が所定数より小さければ、前記符号化対象ブロックのブロック種別として前記省略モードの適用を許可することを特徴とする画像符号化装置。
【請求項3】
請求項1または請求項2に記載の画像符号化装置において、
前記符号化部は、上下方向に互いに隣接する二つのブロックにより構成されるブロックペア単位で、非圧縮画像データをインターレース走査に対応させて符号化し、
前記ブロック特定部は、前記符号化対象ブロックを含むブロックペアである基準ペアがフィールド符号化される場合、前記基準ペアと異なり、かつフレーム符号化されるブロックペアを構成するブロックを前記周辺ブロックとして特定することを特徴とする画像符号化装置。
【請求項4】
請求項1または請求項2に記載の画像符号化装置において、
前記符号化部は、上下方向に互いに隣接する二つのブロックにより構成されるブロックペア単位で、非圧縮画像データをインターレースに対応させて符号化し、
前記ブロック特定部は、前記符号化対象ブロックを含むブロックペアである基準ペアがフィールド符号化される場合、前記基準ペアと異なり、かつフィールド符号化される第1ブロックペアを選択し、前記第1ブロックペアを構成する二つのブロックのうち前記符号化対象ブロックとフィールド種別が一致するブロックを前記周辺ブロックとして特定することを特徴とする画像符号化装置。
【請求項5】
請求項1ないし請求項4のいずれか記載の画像符号化装置において、
前記省略モードは、
前記符号化対象ブロックの動き情報及び画素情報の符号化が省略されたスキップモード、
を含むことを特徴とする画像符号化装置。
【請求項6】
請求項1ないし請求項4のいずれかに記載の画像符号化装置において、
前記省略モードは、
前記符号化対象ブロックの動き情報の符号化が省略されたダイレクトモード、
を含むことを特徴とする画像符号化装置。
【請求項7】
請求項1ないし請求項6のいずれかに記載の画像符号化装置において、
前記符号化対象ブロックは、複数のサブブロックにより構成され、
前記省略モードは、
各サブブロックの動き情報の符号化が省略されたモード、
を含むことを特徴とする画像符号化装置。
【請求項8】
第1符号化画像データを復号化して非圧縮画像データを生成する画像復号化装置と、
非圧縮画像データを符号化して第2符号化画像データを生成する画像符号化装置と、
前記第1符号化画像データを構成する複数の第1符号化ブロックの符号化に関するブロック情報を取得するブロック情報取得装置と、
を備え、
前記画像符号化装置は、
前記非圧縮画像データを複数のブロックに分割し、各ブロックに対して適用するブロック種別を決定する種別決定部と、
決定されたブロック種別に基づいて各ブロックを符号化する符号化部と、
を備え、
前記符号化部は、
符号化対象ブロックと、前記符号化対象ブロックの周辺に位置する周辺ブロックとを前記複数のブロックから特定し、前記周辺ブロックに対応する位置対応ブロックを前記複数の第1符号化ブロックから特定するブロック特定部と、
前記符号化対象ブロックの一部の情報の符号化が省略された省略モードを、前記符号化対象ブロックのブロック種別として許可するか否かを、前記位置対応ブロックのブロック情報に基づいて判定する省略モード許可部と、
を含むことを特徴とする画像変換装置。
【請求項9】
請求項8に記載の画像変換装置において、
前記省略モード許可部は、
前記位置対応ブロックに含まれ、かつイントラ符号化された第1符号化ブロックの数が所定数より小さければ、前記符号化対象ブロックのブロック種別として前記省略モードを許可することを特徴とする画像変換装置。
【請求項10】
請求項8または請求項9に記載の画像変換装置において、
前記符号化部は、上下方向に互いに隣接する二つのブロックにより構成されるブロックペア単位で、非圧縮画像データをインターレースに対応させて符号化し、
前記ブロック特定部は、前記符号化対象ブロックを含むブロックペアである基準ペアがフィールド符号化される場合、前記基準ペアと異なり、かつフレーム符号化されるブロックペアを構成するブロックを前記周辺ブロックとして特定することを特徴とする画像変換装置。
【請求項11】
請求項8または請求項9に記載の画像変換装置において、
前記符号化部は、上下方向に互いに隣接する二つのブロックにより構成されるブロックペア単位で、非圧縮画像データをインターレースに対応させて符号化し、
前記ブロック特定部は、前記符号化対象ブロックを含むブロックペアである基準ペアがフィールド符号化される場合、前記基準ペアと異なり、かつフィールド符号化される第1ブロックペアを選択し、前記第1ブロックペアを構成する二つのブロックのうち前記符号化対象ブロックとフィールド種別が一致するブロックを前記周辺ブロックとして特定することを特徴とする画像変換装置。
【請求項12】
請求項11に記載の画像変換装置において、
前記ブロック特定部は、
前記位置対応ブロックがフィールド符号化され、かつ第1フィールド及び第2フィールドを含む場合、前記第1ブロックペアを構成する二つのブロックに対応し、かつ前記位置対応ブロックを含む二つの第1符号化ブロックを特定し、
前記省略モード許可部は、
前記二つの第1符号化ブロックのうち少なくとも一つがイントラ符号化されていれば、前記位置対応ブロックがイントラ符号化されていると判定することを特徴とする画像変換装置。
【請求項13】
請求項8に記載の画像変換装置において、
前記周辺ブロックは、複数のブロックを含み、
前記ブロック種別決定部は、
前記位置対応ブロックのブロック情報に基づいて、前記位置対応ブロックに含まれる複数の第1符号化ブロックの動きベクトルの平均を算出する平均算出部、
を含み、
前記省略モード許可部は、
前記符号化対象ブロックに対して前記省略モードの適用を許可するか否かを、前記動きベクトルの平均に基づいて判定することを特徴とする画像変換装置。
【請求項14】
請求項13に記載の画像変換装置において、
前記符号化部は、上下方向に互いに隣接する二つのブロックにより構成されるブロックペア単位で、非圧縮画像データをインターレースに対応させて符号化し、
前記ブロック特定部は、前記符号化対象ブロックを含むブロックペアである基準ペアがフィールド符号化される場合、前記基準ペアと異なり、かつフレーム符号化されるブロックペアを構成するブロックを前記周辺ブロックとして特定することを特徴とする画像変換装置。
【請求項15】
請求項13に記載の画像変換装置において、
前記符号化部は、上下方向に互いに隣接する二つのブロックにより構成されるブロックペア単位で、非圧縮画像データをインターレースに対応させて符号化し、
前記ブロック特定部は、前記符号化対象ブロックを含むブロックペアである基準ペアがフィールド符号化される場合、前記基準ペアと異なり、かつフィールド符号化される第1ブロックペアを選択し、前記第1ブロックペアを構成する二つのブロックのうち前記符号化対象ブロックとフィールド種別が一致するブロックを前記周辺ブロックとして特定することを特徴とする画像変換装置。
【請求項16】
請求項15に記載の画像変換装置において、
前記ブロック特定部は、
前記位置対応ブロックがフィールド符号化され、かつ第1フィールド及び第2フィールドを含む場合、前記第1ブロックペアを構成し、かつ前記符号化対象ブロックとフィールド種別が異なるブロックを、新たに前記周辺ブロックとして特定することを特徴とする画像変換装置。
【請求項17】
請求項8ないし請求項16のいずれかに記載の画像変換装置において、
前記省略モードは、
前記符号化対象ブロックの動き情報及び画素情報の符号化が省略されたスキップモード、を含むことを特徴とする画像変換装置。
【請求項18】
請求項8ないし請求項16のいずれかに記載の画像変換装置において、
前記省略モードは、
前記符号化対象ブロックの動き情報の符号化が省略されたダイレクトモード、
を含むことを特徴とする画像変換装置。
【請求項19】
請求項8ないし請求項18のいずれかに記載の画像変換装置において、
前記符号化対象ブロックは、複数のサブブロックにより構成され、
前記省略モードは、
各サブブロックの動き情報の符号化が省略されたモード、
を含むことを特徴とする画像変換装置。
【図1】
【図2】
【図3】
【図4】
【図5】
【図6】
【図7】
【図8】
【図9】
【図10】
【図11】
【図2】
【図3】
【図4】
【図5】
【図6】
【図7】
【図8】
【図9】
【図10】
【図11】
【公開番号】特開2011−151546(P2011−151546A)
【公開日】平成23年8月4日(2011.8.4)
【国際特許分類】
【出願番号】特願2010−10133(P2010−10133)
【出願日】平成22年1月20日(2010.1.20)
【出願人】(591128453)株式会社メガチップス (322)
【Fターム(参考)】
【公開日】平成23年8月4日(2011.8.4)
【国際特許分類】
【出願日】平成22年1月20日(2010.1.20)
【出願人】(591128453)株式会社メガチップス (322)
【Fターム(参考)】
[ Back to top ]