画像符号化装置及び画像符号化方法
【課題】 ＲＧＢ色空間の画像情報を動き補償を含む符号化方法によって符号化する場合に好適な動き補償のブロックを構成する。
【解決手段】 画像をＲ画素成分、Ｇ画素成分、Ｂ画素成分のそれぞれのコンポーネント毎に所定の画素数を有するブロックに分割して動き補償処理し、処理された画像データを周波数変換した後、エントロピー符号化して符号データを生成する画像符号化装置において、動き補償手段が、符号化対象フレームにおけるＧ画素成分のブロックを偶数ラインと奇数ラインとで分割して、前記偶数ラインの画素のサブブロックと前記奇数ラインの画素のサブブロックとでそれぞれ動き補償処理を行う。
【解決手段】 画像をＲ画素成分、Ｇ画素成分、Ｂ画素成分のそれぞれのコンポーネント毎に所定の画素数を有するブロックに分割して動き補償処理し、処理された画像データを周波数変換した後、エントロピー符号化して符号データを生成する画像符号化装置において、動き補償手段が、符号化対象フレームにおけるＧ画素成分のブロックを偶数ラインと奇数ラインとで分割して、前記偶数ラインの画素のサブブロックと前記奇数ラインの画素のサブブロックとでそれぞれ動き補償処理を行う。
【発明の詳細な説明】
【技術分野】
【０００１】
本発明は、画像符号化装置及び画像符号化方法に関し、特に、イメージセンサーで撮像されたＲＧＢ色空間の画像情報を符号化する技術に関するものである。
【背景技術】
【０００２】
動画像の符号化方式としては、ＭＰＥＧ−２やＭＰＥＧ−４ ＡＶＣ（Ｈ．２６４）方式が知られている。図８に従来の符号化装置の構成例を示す。
【０００３】
図８の符号化装置には、符号化処理対象の画像として、ＹＣｂＣｒ空間の画像データが入力される。８０１は動き検出処理部であり、フレーム間で、マクロブロックと呼ばれる画素群単位で動きベクトルを検出する。８０２は動き補償処理部であり、動き検出処理部８０１によって検出された動きベクトルの情報を用いて、マクロブロック毎にフレーム間の動き補償処理を行う。８０３は周波数変換処理部であり、画像データに対してＤＣＴ（離散コサイン変換）を行う。８０４は量子化処理部であり、ＤＣＴ後の画像データの量子化処理を行う。８０５はエントロピー符号化部であり、量子化後の画像データの可変長符号化を行う。エントロピー符号化部８０５から出力されるのが符号化後の符号データである。
【０００４】
このような符号化装置では、前述したようにマクロブロックという画素群を単位として動き補償を含む符号化処理が行われる。図９にマクロブロックの構成例を示す。色空間としてはＹＣｂＣｒが用いられ、Ｃｂ，Ｃｒコンポーネント（色差情報）はＹコンポーネント（輝度情報）に対してサブサンプリングされている。図９の例では、Ｃｂ，Ｃｒ成分は、水平／垂直方向ともに１／２に縮小されており、４：２：０と呼ばれる構造となっている。動きベクトルは、このマクロブロック単位で指定されるが、Ｃｂ，Ｃｒコンポーネントに対しては、１／２の値として使用される。
【０００５】
なお、このような符号化装置は、ＤＣＴ演算が有限精度で行われるため、あるいは、量子化誤差が発生するため、符号化ロスを伴う非可逆符号化となっている。
【０００６】
次に、図１０に、図８の符号化装置を含む撮像装置のシステムの例を示す。不図示のイメージセンサーからは、一般的にＲＧＢの色空間の画像情報が入力されるため、これを現像処理部１００１によって信号処理（現像）した後、色変換処理部１００２によってＲＧＢからＹＣｂＣｒへ色空間を変換する。その後、符号化部１００３（図８の符号化装置に相当）によって符号化する。このとき、色変換処理部１００２による変換の際に使用される変換マトリクスの係数が有限精度であるため、色空間変換が非可逆処理となっている。
【０００７】
また、ＲＧＢを含む複数の色空間に対応して適応的な符号化を行う技術が特許提案されている。特許文献１には、クロマフォーマット信号及び色空間信号に基づき、イントラ予測用のブロックサイズを適応的に変更して、色信号を画像内予測符号化する発明が記載されている。
【先行技術文献】
【特許文献】
【０００８】
【特許文献１】特開２０１０−１０４０２７号公報
【発明の概要】
【発明が解決しようとする課題】
【０００９】
しかしながら、前述したＭＰＥＧ−２やＨ．２６４などの従来の符号化装置においては、色空間としてＹＣｂＣｒを用いているため、イメージセンサーから入力されるＲＧＢの色空間の画像情報をそのまま符号化できない。したがって、ＲＧＢをＹＣｂＣｒに色空間変換してから符号化することになるが、その際、前述したような非可逆処理や非可逆符号化による情報損失又は画質劣化が発生することになる。
【００１０】
また、前述の特許文献１には、ＲＧＢの色空間の画像情報をイントラ予測符号化する際に可逆符号化する構成が記載されているものの、動き補償を含む符号化においてＲＧＢの色空間の画像情報を可逆符号化するものではなかった。特に、ＲＧＢの色空間の画像情報の符号化に適した動き補償のブロック構造を提案するものではなかった。
【００１１】
その他、ＪＰＥＧ２０００のロスレスモードなど、可逆符号化の規格は世に存在するものの、それらは主に静止画用途であるため画面内符号化を行っており、動き補償を含む符号化において可逆符号化を行うものではなかった。画面内符号化が動き補償を含む符号化（画面間予測符号化）よりも符号化効率の点で劣ることは明白である。
【００１２】
このような技術的背景から、イメージセンサーから入力されたＲＧＢ色空間の画像情報を、動き補償を含む符号化方法によって高能率に符号化し、なおかつ可逆またはそれに近いくらい高画質に符号化することが望まれている。
【００１３】
そこで、本発明の目的は、ＲＧＢ色空間の画像情報を動き補償を含む符号化方法によって符号化する場合に好適な動き補償のブロックを構成する画像符号化装置及び画像符号化方法を提供することにある。
【課題を解決するための手段】
【００１４】
上記目的を達成するために、本発明の画像符号化装置は、入力されたＲＧＢ色空間の画像情報を符号化する画像符号化装置であって、画像をＲ画素成分、Ｇ画素成分、Ｂ画素成分のそれぞれのコンポーネント毎に所定の画素数を有するブロックに分割する分割手段と、符号化対象フレームとフレーム間予測で参照される参照フレームとの間で、それぞれのＧ画素成分のブロックについてフレーム間の動きベクトルを検出する動き検出手段と、前記動き検出手段によって検出された動きベクトルに基づいて前記符号化対象フレームにおける各ブロックの動き補償処理を行う動き補償手段と、前記動き補償手段によって処理された画像データを周波数変換した後、エントロピー符号化して符号データを生成する符号化手段とを備え、前記動き補償手段は、前記符号化対象フレームにおけるＧ画素成分のブロックを偶数ラインと奇数ラインとで分割して、前記偶数ラインの画素のサブブロックと前記奇数ラインの画素のサブブロックとでそれぞれ動き補償処理を行うことを特徴とする。
【００１５】
また、本発明の画像符号化方法は、入力されたＲＧＢ色空間の画像情報を符号化する画像符号化方法であって、画像をＲ画素成分、Ｇ画素成分、Ｂ画素成分のそれぞれのコンポーネント毎に所定の画素数を有するブロックに分割する分割工程と、符号化対象フレームとフレーム間予測で参照される参照フレームとの間で、それぞれのＧ画素成分のブロックについてフレーム間の動きベクトルを検出する動き検出工程と、前記動き検出工程で検出された動きベクトルに基づいて前記符号化対象フレームにおける各ブロックの動き補償処理を行う動き補償工程と、前記動き補償工程で処理された画像データを周波数変換した後、エントロピー符号化して符号データを生成する符号化工程とを有し、前記動き補償工程では、前記符号化対象フレームにおけるＧ画素成分のブロックを偶数ラインと奇数ラインとで分割して、前記偶数ラインの画素のサブブロックと前記奇数ラインの画素のサブブロックとでそれぞれ動き補償処理を行うことを特徴とする。
【発明の効果】
【００１６】
本発明によれば、ＲＧＢ色空間の画像情報の符号化に適した動き補償のブロックを構成して符号化することができる。
【図面の簡単な説明】
【００１７】
【図１】本発明の実施形態に係る画像符号化装置の構成例を示すブロック図である。
【図２】本発明の画像符号化装置で符号化されたデータを復号可能な画像復号装置の構成例を示すブロック図である。
【図３】本実施形態の動き補償処理に係るフローチャートである。
【図４】本実施形態の他の動き補償処理に係るフローチャートである。
【図５】ベイヤー画素配列の説明図である。
【図６】本実施形態におけるブロック構成の説明図である。
【図７】Ｇ画素成分のブロックの分割例である。
【図８】従来の符号化装置の構成例を示すブロック図である。
【図９】マクロブロックの構成例である。
【図１０】従来の符号化装置を含む撮像装置のシステムの例を示すブロック図である。
【図１１】Ｇ画素成分のブロックにおける画素配置と動きベクトルの関係を示した図である。
【発明を実施するための形態】
【００１８】
以下、図面を参照しながら、本発明の実施の形態を詳細に説明する。
【００１９】
図１は、本発明の実施形態に係る画像符号化装置の構成例を示すブロック図である。図１の画像符号化装置は、イメージセンサーから入力される画像情報（動画像）を動き補償を含む符号化方法によって圧縮符号化する。
【００２０】
図１において、イメージセンサー／信号処理部１００により、所定の周期で動画像を構成するフレーム毎の画像情報が入力される。イメージセンサー／信号処理部１００から入力されるのは、ＲＧＢ（赤・緑・青）の色空間の画像情報であり、撮像部であるイメージセンサーによって撮像された後、信号処理部によって所定の信号処理が施されている。信号処理された画像情報は、記憶部であるフレームメモリ１０７に一時的に記憶される。
【００２１】
画像情報の各色コンポーネントの配置は、イメージセンサーの画素配置によって異なるが、例えば図５のようなベイヤー画素配列が用いられる。図５において、５０１はＧ画素、５０２はＢ画素、５０３はＲ画素を表している。図５のように、ベイヤー画素配列のイメージセンサーにおいては、Ｇ画素の総画素数は、Ｒ画素およびＢ画素の各画素数の２倍存在する。本実施形態では、図５のような画素配列からなるイメージセンサーによって撮像された画像情報を、Ｒ，Ｇ，Ｂのそれぞれのコンポーネント毎に所定のブロック単位に分割して符号化する。
【００２２】
本実施形態におけるブロック構成を図６に示す。本実施形態では、画素分割処理部１０１が、フレームメモリ１０７に保持された画像情報を、図６のように、Ｇを１６×１６画素、ＢおよびＲをそれぞれ８×８画素の画素数を有する集合体（ブロック）に分割して読み出す。このブロックを単位として、本実施形態では動き補償を含む符号化を行う。
【００２３】
図１において、ＲＧＢ色空間の画像情報は、画素分割処理部１０１によって図６の如きブロックに分割された後、動き補償処理部１０２及び動き検出処理部１０５に供給される。動き検出処理部１０５は、従来の方法ではＹ（輝度）成分での動き検出が一般的であったが、本実施形態では、図６のＧ（緑）画素成分での動き検出処理を行って動きベクトルを求める。
【００２４】
動き検出処理部１０５での動き検出のアルゴリズムは、Ｇ画素成分のブロックを用いる点以外、従来と大きく変わることはなく、符号化対象フレームと、動き補償のフレーム間予測で参照されるフレーム（参照フレーム）との間で、ブロックのマッチング処理を行う。動き検出処理部１０５は、符号化対象フレーム中のＧ画素成分のブロック単位で、参照フレーム中のＧ画素成分のブロックとの画素差分値の絶対値総和を求め、その最小値を得る位置を動きベクトルとして検出する。
【００２５】
動き補償方式切り替え部１０６は、偶数ライン・奇数ラインを一括で予測するか、偶数ライン・奇数ラインを分割して予測するかを、切り替えるユニットである。動き検出処理部１０５により検出された動きベクトルの情報と共に、動き補償方式の切替信号を動き補償処理部１０２に供給する。この選択の機能については、図３等を参照して後述する。
【００２６】
動き補償処理部１０２は、図６のＧ（緑）画素、Ｂ（青）画素、Ｒ（赤）画素の各ブロック毎に、各ブロックに対して動き検出処理部１０５により検出された動きベクトルの情報、及び、前述した動き補償方式の切替信号に基づいて、動き補償処理を行う。このとき、Ｂ画素成分のブロックとＲ画素成分のブロックに対しては、同じ位置のＧ画素成分のブロックの動きベクトルを１／２にして使用する。動き補償によって得られた差分画像データは整数変換処理部１０３に、偶数ライン・奇数ラインに分割して予測されたブロックを特定する情報を含む各ブロックの動きベクトル情報はエントロピー符号化部１０４に供給される。
【００２７】
整数変換処理部１０３は、動き補償された後の差分画像データに対して周波数変換を行う。ここでの周波数変換としては、整数変換を使用する。整数変換は、Ｈ．２６４の勧告においても採用されている方式である。変換式については特記しないが、従来例で示したＭＰＥＧ−２で使用されているＤＣＴ（離散コサイン変換）と異なり、演算自体が整数精度で構成可能な方式であり、可逆な変換であるという特徴がある。
【００２８】
エントロピー符号化部１０４は、整数変換処理部１０３により変換された画像データの可変長符号化を行う。例えば、ハフマン符号化をベースとする可変長符号化や、二値算術符号化等を行う。なお、一般的なエントロピー符号化方式は可逆符号化であるから、本実施形態におけるエントロピー符号化部１０４によっても可逆符号化が実現される。画像データの可変長符号化されたデータに加えて、動きベクトル情報等の付加データを符号化したデータを重畳して、最終的にエントロピー符号化部１０４から出力されるのが符号化後の符号データである。
【００２９】
なお、本実施形態においては、可逆符号化を実現するため、従来の動き補償を用いた符号化方式で採用されているような、周波数変換された画像データの量子化処理を行わない。本実施形態は、このような構成にすることにより、動き補償を用いた符号化方式であっても可逆符号化を実現することが可能である。
【００３０】
ここで、Ｇ画素成分のブロックにおける画素配置と動きベクトルの関係を示した図を図１１に示す。１１０１は、符号化対象のブロックであり、１１０２及び１１０３は、参照フレームのブロックを表している。また、１１０２に対するベクトルは、縦方向の動きベクトル成分が偶数となる場合（図は縦方向に２画素ずれた例）、１１０３に対するベクトルは、縦方向の動きベクトル成分が奇数となる場合（図は縦方向に３画素ずれた例）を示している。図５に示したように、ベイヤー画素配置ではＧ画素に対して画素ラインごとに画素配置の水平位相が異なるため、縦方向の動きベクトル成分が奇数の場合は、異なった位相間での予測を行ってしまうことになる。
【００３１】
したがって、本実施形態では、動き補償処理部１０２が、図７に示す如くＧ画素成分のブロックを分割して動き補償を行うことを可能にする。図７にＧ画素成分のブロックの分割例を示す。具体的な動作として、動き検出処理部１０５で検出された動きベクトルの縦方向の成分が奇数の値を示す場合は、動き補償方式切り替え部１０６が、Ｇ画素成分のブロックを偶数ラインと奇数ラインに分割するための動き補償方式の切替信号を発生する。動きベクトルの縦方向の成分が奇数の値を示す場合は、図７のように、奇数ラインをＧ１、偶数ラインをＧ２として、それぞれ別々にフレーム間予測して動き補償することで、予測効率の低下を抑制することができる。
【００３２】
図３に、本実施形態の動き補償処理に係るフローチャートを示す。図３のフローチャートは、不図示のコンピュータの制御によって、動き検出処理部１０５、動き補償方式切り替え部１０６、動き補償処理部１０２によって実行される処理を図示したものである。
【００３３】
図３において、符号化対象のＧ画素成分のブロックについての処理が開始されると（Ｓ３０１）、動き検出処理部１０５が、当該ブロックについて参照フレームを参照した動き検出を行い、所定の演算によって動きベクトルを求める（Ｓ３０２）。次に、動き補償方式切り替え部１０６が、ステップＳ３０２で求められた動きベクトルに関して、縦方向（垂直方向）の成分が偶数の値（０，２，４，６，・・・）になるか、奇数の値（１，３，５，７，・・・）になるか、判断する（Ｓ３０３）。動き補償方式切り替え部１０６は、動きベクトルの縦方向の成分が偶数の値になる場合（Ｓ３０３でＹｅｓ）には、Ｇ画素成分のブロックを偶数ライン・奇数ライン一括して予測するための動き補償方式の切替信号を発生する。一方、動きベクトルの縦方向の成分が奇数の値になる場合（Ｓ３０３でＮｏ）には、Ｇ画素成分のブロックを偶数ライン・奇数ラインで分割して予測するための動き補償方式の切替信号を発生する。動きベクトルの縦方向の成分が偶数の場合に、Ｇ画素成分のブロックを一括して予測するモードを選ぶのは、分割しない分動きベクトル本数が少なくてすみ、動きベクトルを符号化する効率を高められるためである。
【００３４】
次に、動き補償処理部１０２が、ステップＳ３０２で求められた動きベクトル、及び、ステップＳ３０３で選択された動き補償方式の切り替え信号に従って、動き補償処理を行う。動きベクトルの縦方向成分が偶数の値になる場合、動き補償処理部１０２は、Ｇ画素成分のブロックを分割せずに、図６のブロック形状で予測画像の生成や、符号化対象ブロックと予測画像との差分を示す差分画像データの生成を含む動き補償処理を行う（Ｓ３０４）。一方、動きベクトルの縦方向成分が奇数の値になる場合、動き補償処理部１０２は、Ｇ画素成分のブロックを図７のようにＧ１，Ｇ２のサブブロックに分割する。そして、図７のＧ１及びＧ２のそれぞれのサブブロックについて予測画像の生成や、符号化対象ブロックと予測画像との差分を示す差分画像データの生成を含む動き補償処理を行う（Ｓ３０５）。以上で当該符号化対象ブロックの動き補償に係る処理が終了となり（Ｓ３０６）、引き続き次のブロックについて同様の処理が繰り返される。なお、Ｂ画素及びＲ画素については、Ｇ画素成分のブロックで求めた動きベクトルを１／２にした動きベクトルを用いて、図６に示したブロック形状で、Ｂ画素成分のブロック、Ｒ画素成分のブロックでそれぞれ動き補償処理する。
【００３５】
図２は、本実施形態に係る図１の画像符号化装置で符号化された符号データを復号可能な画像復号装置の構成例を示すブロック図である。図１の画像符号化装置で符号化された符号データを不図示の記録媒体に記録した後、再生されたものを取得して復号しても良い。或いは、ネットワーク経由で通信路を介して符号データを受信して、復号しても良い。
【００３６】
図２において、エントロピー復号化部２０１は、図１の画像符号化装置で符号化された符号データを入力して復号し、整数変換後の画像データを復元する。さらに、符号データから各ブロックの動きベクトル情報を抽出して、動き補償方式切り替え部２０４に供給する。この動きベクトル情報は、フレーム中に存在するＧ画素成分のブロックのうち、偶数ライン・奇数ラインに分割して予測されたブロックを特定する情報を含む。
【００３７】
逆整数変換部２０２は、復元された整数変換後の画像データに対して、整数変換の逆変換処理を行って、差分画像データを復元する。動き補償方式切り替え部２０４は、各ブロックの動きベクトル情報を動き補償部２０３に与える。さらに、動き補償方式切り替え部２０４は、特にＧ画素成分のブロックについて、偶数ライン・奇数ラインを一括で予測したか、偶数ライン・奇数ラインを分割して予測したかを示す動き補償方式の切替信号を動き補償部２０３に供給する。
【００３８】
動き補償部２０３は、復元された差分画像データを取得し、Ｒ，Ｇ，Ｂの各画素成分のブロックについて、それぞれ動きベクトル情報を用いて元のＲＧＢ色空間の画像データを復元する。特にＧ画素成分のブロックについては、偶数ライン・奇数ラインの一括予測か偶数ライン・奇数ラインの分割予測かを適応的に判断しながら動き補償処理を行う。
【００３９】
２０５はフレームメモリである。動き補償部２０３によって復号化された画像データは、ベイヤー配列のままなので、フレームメモリ２０５に一時記憶し、表示する際に、現像処理部２０６によって現像処理が行われ、表示可能な画像データにして出力される。出力された画像データに係る画像は、不図示の表示装置によって表示される。こうして復元され表示される画像（動画像）は、可逆符号化されて復号化された画像であって、本発明の実施形態の構成によれば可逆的な画像の復元が可能となる。
【００４０】
次に、本実施形態の他の動き補償処理について、図４のフローチャートを示して説明する。図４のフローチャートは、不図示のコンピュータの制御によって、動き検出処理部１０５、動き補償方式切り替え部１０６、動き補償処理部１０２によって実行される処理を図示したものである。
【００４１】
前述した説明では、動きベクトルの縦方向の成分が偶数の値になるか、奇数の値になるかに応じて、Ｇ画素成分のブロックについて、偶数ライン・奇数ラインを一括で動き補償処理するか、偶数ライン・奇数ラインを分割して動き補償処理するかを判断していた。この変形例として、動き補償における予測を少数画素精度（半画素、１／４画素、等）で行うことに応じて、Ｇ画素成分のブロックについて、偶数ライン・奇数ラインを分割して予測することを判断してもよい。通常、動き補償の際には、整数画素精度での予測の他に、半画素精度での予測もしばしば使用されている。本実施形態のＧ画素成分のブロック構造であれば、このような少数画素精度での予測の場合に、偶数ライン・奇数ラインを分割して予測したほうが、予測効率が高くなることが容易に推測される。以下、少数画素精度の例として半画素精度を例に説明するが、１／４画素等のその他の少数画素精度であっても同様である。
【００４２】
図４において、符号化対象のＧ画素成分のブロックについての処理が開始されると（Ｓ４０１）、動き検出処理部１０５が、当該ブロックについて参照フレームを参照した動き検出を行い、所定の演算によって動きベクトルを求める（Ｓ４０２）。次に、動き補償方式切り替え部１０６が、動き補償が半画素精度で行われるか、整数画素精度で行われるか、判断する（Ｓ４０３）。半画素精度の場合、Ｓ４０６へフローが遷移し（Ｓ４０３でＹｅｓ）、半画素精度でない場合（すなわち整数画素精度の場合）、Ｓ４０４へフローが遷移する（Ｓ４０３でＮｏ）。ステップＳ４０３で半画素精度の場合（Ｓ４０３でＹｅｓ）には、動き補償方式切り替え部１０６が、Ｇ画素成分のブロックを偶数ライン・奇数ラインで分割して予測するための動き補償方式の切替信号を発生する。
【００４３】
次に、動き補償方式切り替え部１０６が、ステップＳ４０２で求められた動きベクトルに関して、縦方向（垂直方向）の成分が偶数の値（０，２，４，６，・・・）になるか、奇数の値（１，３，５，７，・・・）になるか、判断する（Ｓ４０４）。動き補償方式切り替え部１０６は、動きベクトルの縦方向の成分が偶数の値になる場合（Ｓ４０４でＹｅｓ）には、Ｇ画素成分のブロックを偶数ライン・奇数ライン一括して予測するための動き補償方式の切替信号を発生する。一方、動きベクトルの縦方向の成分が奇数の値になる場合（Ｓ４０４でＮｏ）には、Ｇ画素成分のブロックを偶数ライン・奇数ラインで分割して予測するための動き補償方式の切替信号を発生する。
【００４４】
次に、動き補償処理部１０２が、ステップＳ４０２で求められた動きベクトル、及び、ステップＳ４０３又はＳ４０４で選択された動き補償方式の切り替え信号に従って、動き補償処理を行う。動き補償が整数画素精度であり、なおかつ動きベクトルの縦方向成分が偶数の値になる場合、動き補償処理部１０２は、Ｇ画素成分のブロックをＧ１，Ｇ２のサブブロックに分割しない。すなわち、図６のブロック形状で予測画像の生成や、符号化対象ブロックと予測画像との差分を示す差分画像データの生成を含む動き補償処理を行う（Ｓ４０５）。一方、動き補償が半画素精度であるか、又は、動き補償が整数画素精度であるが動きベクトルの縦方向成分が奇数の値になる場合、動き補償処理部１０２は、Ｇ画素成分のブロックを図７のようにＧ１，Ｇ２のサブブロックに分割する。そして、図７のＧ１及びＧ２のそれぞれのサブブロックについて予測画像の生成や、符号化対象ブロックと予測画像との差分を示す差分画像データの生成を含む動き補償処理を行う（Ｓ４０５）。以上で当該符号化対象ブロックの動き補償に係る処理が終了となり（Ｓ４０７）、引き続き次のブロックについて同様の処理が繰り返される。なお、Ｂ画素及びＲ画素については、Ｇ画素成分のブロックで求めた動きベクトルを１／２にした動きベクトルを用いて、図６に示したブロック形状で、Ｂ画素成分のブロック、Ｒ画素成分のブロックでそれぞれ動き補償処理する。
【００４５】
また、上述した本発明の実施形態における図３、図４に示した各処理は、各処理の機能を実現する為のコンピュータプログラムを本件発明の画像符号化装置が動作するシステムのメモリから読み出してシステムのＣＰＵが実行することによっても実現できる。この場合、メモリに記憶されたプログラムは本件発明を構成する。
【００４６】
上記プログラムは、前述した機能の一部を実現する為のものであっても良い。さらに、前述した機能をコンピュータシステムに既に記録されているプログラムとの組合せで実現できるもの、いわゆる差分ファイル（差分プログラム）であっても良い。
【００４７】
また、図３、図４に示した各処理の全部または一部の機能を専用のハードウェアにより実現してもよい。また、図３、図４に示した各処理の機能を実現する為のプログラムをコンピュータ読み取り可能な記録媒体に記録して、この記録媒体に記録されたプログラムをコンピュータシステムに読み込ませ、実行することにより各処理を行っても良い。なお、ここでいう「コンピュータシステム」とは、ＯＳや周辺機器等のハードウェアを含むものとする。
【００４８】
ここで、「コンピュータ読み取り可能な記録媒体」とは、フレキシブルディスク、光磁気ディスク、ＲＯＭ、ＣＤ−ＲＯＭ等の可搬媒体、コンピュータシステムに内蔵されるハードディスク等の記憶装置を含む。さらに、インターネット等のネットワークや電話回線等の通信回線を介してプログラムが送信された場合のサーバやクライアントとなるコンピュータシステム内部の揮発メモリ（ＲＡＭ）のように、一定時間プログラムを保持しているものも含むものとする。
【００４９】
また、上記プログラムは、このプログラムを記憶装置等に格納したコンピュータシステムから、伝送媒体を介して、あるいは、伝送媒体中の伝送波により他のコンピュータシステムに伝送されてもよい。ここで、プログラムを伝送する「伝送媒体」は、インターネット等のネットワーク（通信網）や電話回線等の通信回線（通信線）のように情報を伝送する機能を有する媒体のことをいう。
【００５０】
また、上記のプログラムを記録したコンピュータ読み取り可能な記録媒体等のプログラムプロダクトも本発明の実施形態として適用することができる。上記のプログラム、記録媒体、伝送媒体およびプログラムプロダクトは、本発明の範疇に含まれる。
【００５１】
以上、本発明を好ましい実施例により説明したが、本発明は上述した実施例に限ることなくクレームに示した範囲で種々の変更が可能である。
【符号の説明】
【００５２】
１００ イメージセンサー／信号処理部
１０１ 画素分割処理部
１０２ 動き補償処理部
１０３ 整数変換処理部
１０４ エントロピー符号化部
１０５ 動き検出処理部
１０６ 動き補償方式切り替え部
１０７ フレームメモリ
【技術分野】
【０００１】
本発明は、画像符号化装置及び画像符号化方法に関し、特に、イメージセンサーで撮像されたＲＧＢ色空間の画像情報を符号化する技術に関するものである。
【背景技術】
【０００２】
動画像の符号化方式としては、ＭＰＥＧ−２やＭＰＥＧ−４ ＡＶＣ（Ｈ．２６４）方式が知られている。図８に従来の符号化装置の構成例を示す。
【０００３】
図８の符号化装置には、符号化処理対象の画像として、ＹＣｂＣｒ空間の画像データが入力される。８０１は動き検出処理部であり、フレーム間で、マクロブロックと呼ばれる画素群単位で動きベクトルを検出する。８０２は動き補償処理部であり、動き検出処理部８０１によって検出された動きベクトルの情報を用いて、マクロブロック毎にフレーム間の動き補償処理を行う。８０３は周波数変換処理部であり、画像データに対してＤＣＴ（離散コサイン変換）を行う。８０４は量子化処理部であり、ＤＣＴ後の画像データの量子化処理を行う。８０５はエントロピー符号化部であり、量子化後の画像データの可変長符号化を行う。エントロピー符号化部８０５から出力されるのが符号化後の符号データである。
【０００４】
このような符号化装置では、前述したようにマクロブロックという画素群を単位として動き補償を含む符号化処理が行われる。図９にマクロブロックの構成例を示す。色空間としてはＹＣｂＣｒが用いられ、Ｃｂ，Ｃｒコンポーネント（色差情報）はＹコンポーネント（輝度情報）に対してサブサンプリングされている。図９の例では、Ｃｂ，Ｃｒ成分は、水平／垂直方向ともに１／２に縮小されており、４：２：０と呼ばれる構造となっている。動きベクトルは、このマクロブロック単位で指定されるが、Ｃｂ，Ｃｒコンポーネントに対しては、１／２の値として使用される。
【０００５】
なお、このような符号化装置は、ＤＣＴ演算が有限精度で行われるため、あるいは、量子化誤差が発生するため、符号化ロスを伴う非可逆符号化となっている。
【０００６】
次に、図１０に、図８の符号化装置を含む撮像装置のシステムの例を示す。不図示のイメージセンサーからは、一般的にＲＧＢの色空間の画像情報が入力されるため、これを現像処理部１００１によって信号処理（現像）した後、色変換処理部１００２によってＲＧＢからＹＣｂＣｒへ色空間を変換する。その後、符号化部１００３（図８の符号化装置に相当）によって符号化する。このとき、色変換処理部１００２による変換の際に使用される変換マトリクスの係数が有限精度であるため、色空間変換が非可逆処理となっている。
【０００７】
また、ＲＧＢを含む複数の色空間に対応して適応的な符号化を行う技術が特許提案されている。特許文献１には、クロマフォーマット信号及び色空間信号に基づき、イントラ予測用のブロックサイズを適応的に変更して、色信号を画像内予測符号化する発明が記載されている。
【先行技術文献】
【特許文献】
【０００８】
【特許文献１】特開２０１０−１０４０２７号公報
【発明の概要】
【発明が解決しようとする課題】
【０００９】
しかしながら、前述したＭＰＥＧ−２やＨ．２６４などの従来の符号化装置においては、色空間としてＹＣｂＣｒを用いているため、イメージセンサーから入力されるＲＧＢの色空間の画像情報をそのまま符号化できない。したがって、ＲＧＢをＹＣｂＣｒに色空間変換してから符号化することになるが、その際、前述したような非可逆処理や非可逆符号化による情報損失又は画質劣化が発生することになる。
【００１０】
また、前述の特許文献１には、ＲＧＢの色空間の画像情報をイントラ予測符号化する際に可逆符号化する構成が記載されているものの、動き補償を含む符号化においてＲＧＢの色空間の画像情報を可逆符号化するものではなかった。特に、ＲＧＢの色空間の画像情報の符号化に適した動き補償のブロック構造を提案するものではなかった。
【００１１】
その他、ＪＰＥＧ２０００のロスレスモードなど、可逆符号化の規格は世に存在するものの、それらは主に静止画用途であるため画面内符号化を行っており、動き補償を含む符号化において可逆符号化を行うものではなかった。画面内符号化が動き補償を含む符号化（画面間予測符号化）よりも符号化効率の点で劣ることは明白である。
【００１２】
このような技術的背景から、イメージセンサーから入力されたＲＧＢ色空間の画像情報を、動き補償を含む符号化方法によって高能率に符号化し、なおかつ可逆またはそれに近いくらい高画質に符号化することが望まれている。
【００１３】
そこで、本発明の目的は、ＲＧＢ色空間の画像情報を動き補償を含む符号化方法によって符号化する場合に好適な動き補償のブロックを構成する画像符号化装置及び画像符号化方法を提供することにある。
【課題を解決するための手段】
【００１４】
上記目的を達成するために、本発明の画像符号化装置は、入力されたＲＧＢ色空間の画像情報を符号化する画像符号化装置であって、画像をＲ画素成分、Ｇ画素成分、Ｂ画素成分のそれぞれのコンポーネント毎に所定の画素数を有するブロックに分割する分割手段と、符号化対象フレームとフレーム間予測で参照される参照フレームとの間で、それぞれのＧ画素成分のブロックについてフレーム間の動きベクトルを検出する動き検出手段と、前記動き検出手段によって検出された動きベクトルに基づいて前記符号化対象フレームにおける各ブロックの動き補償処理を行う動き補償手段と、前記動き補償手段によって処理された画像データを周波数変換した後、エントロピー符号化して符号データを生成する符号化手段とを備え、前記動き補償手段は、前記符号化対象フレームにおけるＧ画素成分のブロックを偶数ラインと奇数ラインとで分割して、前記偶数ラインの画素のサブブロックと前記奇数ラインの画素のサブブロックとでそれぞれ動き補償処理を行うことを特徴とする。
【００１５】
また、本発明の画像符号化方法は、入力されたＲＧＢ色空間の画像情報を符号化する画像符号化方法であって、画像をＲ画素成分、Ｇ画素成分、Ｂ画素成分のそれぞれのコンポーネント毎に所定の画素数を有するブロックに分割する分割工程と、符号化対象フレームとフレーム間予測で参照される参照フレームとの間で、それぞれのＧ画素成分のブロックについてフレーム間の動きベクトルを検出する動き検出工程と、前記動き検出工程で検出された動きベクトルに基づいて前記符号化対象フレームにおける各ブロックの動き補償処理を行う動き補償工程と、前記動き補償工程で処理された画像データを周波数変換した後、エントロピー符号化して符号データを生成する符号化工程とを有し、前記動き補償工程では、前記符号化対象フレームにおけるＧ画素成分のブロックを偶数ラインと奇数ラインとで分割して、前記偶数ラインの画素のサブブロックと前記奇数ラインの画素のサブブロックとでそれぞれ動き補償処理を行うことを特徴とする。
【発明の効果】
【００１６】
本発明によれば、ＲＧＢ色空間の画像情報の符号化に適した動き補償のブロックを構成して符号化することができる。
【図面の簡単な説明】
【００１７】
【図１】本発明の実施形態に係る画像符号化装置の構成例を示すブロック図である。
【図２】本発明の画像符号化装置で符号化されたデータを復号可能な画像復号装置の構成例を示すブロック図である。
【図３】本実施形態の動き補償処理に係るフローチャートである。
【図４】本実施形態の他の動き補償処理に係るフローチャートである。
【図５】ベイヤー画素配列の説明図である。
【図６】本実施形態におけるブロック構成の説明図である。
【図７】Ｇ画素成分のブロックの分割例である。
【図８】従来の符号化装置の構成例を示すブロック図である。
【図９】マクロブロックの構成例である。
【図１０】従来の符号化装置を含む撮像装置のシステムの例を示すブロック図である。
【図１１】Ｇ画素成分のブロックにおける画素配置と動きベクトルの関係を示した図である。
【発明を実施するための形態】
【００１８】
以下、図面を参照しながら、本発明の実施の形態を詳細に説明する。
【００１９】
図１は、本発明の実施形態に係る画像符号化装置の構成例を示すブロック図である。図１の画像符号化装置は、イメージセンサーから入力される画像情報（動画像）を動き補償を含む符号化方法によって圧縮符号化する。
【００２０】
図１において、イメージセンサー／信号処理部１００により、所定の周期で動画像を構成するフレーム毎の画像情報が入力される。イメージセンサー／信号処理部１００から入力されるのは、ＲＧＢ（赤・緑・青）の色空間の画像情報であり、撮像部であるイメージセンサーによって撮像された後、信号処理部によって所定の信号処理が施されている。信号処理された画像情報は、記憶部であるフレームメモリ１０７に一時的に記憶される。
【００２１】
画像情報の各色コンポーネントの配置は、イメージセンサーの画素配置によって異なるが、例えば図５のようなベイヤー画素配列が用いられる。図５において、５０１はＧ画素、５０２はＢ画素、５０３はＲ画素を表している。図５のように、ベイヤー画素配列のイメージセンサーにおいては、Ｇ画素の総画素数は、Ｒ画素およびＢ画素の各画素数の２倍存在する。本実施形態では、図５のような画素配列からなるイメージセンサーによって撮像された画像情報を、Ｒ，Ｇ，Ｂのそれぞれのコンポーネント毎に所定のブロック単位に分割して符号化する。
【００２２】
本実施形態におけるブロック構成を図６に示す。本実施形態では、画素分割処理部１０１が、フレームメモリ１０７に保持された画像情報を、図６のように、Ｇを１６×１６画素、ＢおよびＲをそれぞれ８×８画素の画素数を有する集合体（ブロック）に分割して読み出す。このブロックを単位として、本実施形態では動き補償を含む符号化を行う。
【００２３】
図１において、ＲＧＢ色空間の画像情報は、画素分割処理部１０１によって図６の如きブロックに分割された後、動き補償処理部１０２及び動き検出処理部１０５に供給される。動き検出処理部１０５は、従来の方法ではＹ（輝度）成分での動き検出が一般的であったが、本実施形態では、図６のＧ（緑）画素成分での動き検出処理を行って動きベクトルを求める。
【００２４】
動き検出処理部１０５での動き検出のアルゴリズムは、Ｇ画素成分のブロックを用いる点以外、従来と大きく変わることはなく、符号化対象フレームと、動き補償のフレーム間予測で参照されるフレーム（参照フレーム）との間で、ブロックのマッチング処理を行う。動き検出処理部１０５は、符号化対象フレーム中のＧ画素成分のブロック単位で、参照フレーム中のＧ画素成分のブロックとの画素差分値の絶対値総和を求め、その最小値を得る位置を動きベクトルとして検出する。
【００２５】
動き補償方式切り替え部１０６は、偶数ライン・奇数ラインを一括で予測するか、偶数ライン・奇数ラインを分割して予測するかを、切り替えるユニットである。動き検出処理部１０５により検出された動きベクトルの情報と共に、動き補償方式の切替信号を動き補償処理部１０２に供給する。この選択の機能については、図３等を参照して後述する。
【００２６】
動き補償処理部１０２は、図６のＧ（緑）画素、Ｂ（青）画素、Ｒ（赤）画素の各ブロック毎に、各ブロックに対して動き検出処理部１０５により検出された動きベクトルの情報、及び、前述した動き補償方式の切替信号に基づいて、動き補償処理を行う。このとき、Ｂ画素成分のブロックとＲ画素成分のブロックに対しては、同じ位置のＧ画素成分のブロックの動きベクトルを１／２にして使用する。動き補償によって得られた差分画像データは整数変換処理部１０３に、偶数ライン・奇数ラインに分割して予測されたブロックを特定する情報を含む各ブロックの動きベクトル情報はエントロピー符号化部１０４に供給される。
【００２７】
整数変換処理部１０３は、動き補償された後の差分画像データに対して周波数変換を行う。ここでの周波数変換としては、整数変換を使用する。整数変換は、Ｈ．２６４の勧告においても採用されている方式である。変換式については特記しないが、従来例で示したＭＰＥＧ−２で使用されているＤＣＴ（離散コサイン変換）と異なり、演算自体が整数精度で構成可能な方式であり、可逆な変換であるという特徴がある。
【００２８】
エントロピー符号化部１０４は、整数変換処理部１０３により変換された画像データの可変長符号化を行う。例えば、ハフマン符号化をベースとする可変長符号化や、二値算術符号化等を行う。なお、一般的なエントロピー符号化方式は可逆符号化であるから、本実施形態におけるエントロピー符号化部１０４によっても可逆符号化が実現される。画像データの可変長符号化されたデータに加えて、動きベクトル情報等の付加データを符号化したデータを重畳して、最終的にエントロピー符号化部１０４から出力されるのが符号化後の符号データである。
【００２９】
なお、本実施形態においては、可逆符号化を実現するため、従来の動き補償を用いた符号化方式で採用されているような、周波数変換された画像データの量子化処理を行わない。本実施形態は、このような構成にすることにより、動き補償を用いた符号化方式であっても可逆符号化を実現することが可能である。
【００３０】
ここで、Ｇ画素成分のブロックにおける画素配置と動きベクトルの関係を示した図を図１１に示す。１１０１は、符号化対象のブロックであり、１１０２及び１１０３は、参照フレームのブロックを表している。また、１１０２に対するベクトルは、縦方向の動きベクトル成分が偶数となる場合（図は縦方向に２画素ずれた例）、１１０３に対するベクトルは、縦方向の動きベクトル成分が奇数となる場合（図は縦方向に３画素ずれた例）を示している。図５に示したように、ベイヤー画素配置ではＧ画素に対して画素ラインごとに画素配置の水平位相が異なるため、縦方向の動きベクトル成分が奇数の場合は、異なった位相間での予測を行ってしまうことになる。
【００３１】
したがって、本実施形態では、動き補償処理部１０２が、図７に示す如くＧ画素成分のブロックを分割して動き補償を行うことを可能にする。図７にＧ画素成分のブロックの分割例を示す。具体的な動作として、動き検出処理部１０５で検出された動きベクトルの縦方向の成分が奇数の値を示す場合は、動き補償方式切り替え部１０６が、Ｇ画素成分のブロックを偶数ラインと奇数ラインに分割するための動き補償方式の切替信号を発生する。動きベクトルの縦方向の成分が奇数の値を示す場合は、図７のように、奇数ラインをＧ１、偶数ラインをＧ２として、それぞれ別々にフレーム間予測して動き補償することで、予測効率の低下を抑制することができる。
【００３２】
図３に、本実施形態の動き補償処理に係るフローチャートを示す。図３のフローチャートは、不図示のコンピュータの制御によって、動き検出処理部１０５、動き補償方式切り替え部１０６、動き補償処理部１０２によって実行される処理を図示したものである。
【００３３】
図３において、符号化対象のＧ画素成分のブロックについての処理が開始されると（Ｓ３０１）、動き検出処理部１０５が、当該ブロックについて参照フレームを参照した動き検出を行い、所定の演算によって動きベクトルを求める（Ｓ３０２）。次に、動き補償方式切り替え部１０６が、ステップＳ３０２で求められた動きベクトルに関して、縦方向（垂直方向）の成分が偶数の値（０，２，４，６，・・・）になるか、奇数の値（１，３，５，７，・・・）になるか、判断する（Ｓ３０３）。動き補償方式切り替え部１０６は、動きベクトルの縦方向の成分が偶数の値になる場合（Ｓ３０３でＹｅｓ）には、Ｇ画素成分のブロックを偶数ライン・奇数ライン一括して予測するための動き補償方式の切替信号を発生する。一方、動きベクトルの縦方向の成分が奇数の値になる場合（Ｓ３０３でＮｏ）には、Ｇ画素成分のブロックを偶数ライン・奇数ラインで分割して予測するための動き補償方式の切替信号を発生する。動きベクトルの縦方向の成分が偶数の場合に、Ｇ画素成分のブロックを一括して予測するモードを選ぶのは、分割しない分動きベクトル本数が少なくてすみ、動きベクトルを符号化する効率を高められるためである。
【００３４】
次に、動き補償処理部１０２が、ステップＳ３０２で求められた動きベクトル、及び、ステップＳ３０３で選択された動き補償方式の切り替え信号に従って、動き補償処理を行う。動きベクトルの縦方向成分が偶数の値になる場合、動き補償処理部１０２は、Ｇ画素成分のブロックを分割せずに、図６のブロック形状で予測画像の生成や、符号化対象ブロックと予測画像との差分を示す差分画像データの生成を含む動き補償処理を行う（Ｓ３０４）。一方、動きベクトルの縦方向成分が奇数の値になる場合、動き補償処理部１０２は、Ｇ画素成分のブロックを図７のようにＧ１，Ｇ２のサブブロックに分割する。そして、図７のＧ１及びＧ２のそれぞれのサブブロックについて予測画像の生成や、符号化対象ブロックと予測画像との差分を示す差分画像データの生成を含む動き補償処理を行う（Ｓ３０５）。以上で当該符号化対象ブロックの動き補償に係る処理が終了となり（Ｓ３０６）、引き続き次のブロックについて同様の処理が繰り返される。なお、Ｂ画素及びＲ画素については、Ｇ画素成分のブロックで求めた動きベクトルを１／２にした動きベクトルを用いて、図６に示したブロック形状で、Ｂ画素成分のブロック、Ｒ画素成分のブロックでそれぞれ動き補償処理する。
【００３５】
図２は、本実施形態に係る図１の画像符号化装置で符号化された符号データを復号可能な画像復号装置の構成例を示すブロック図である。図１の画像符号化装置で符号化された符号データを不図示の記録媒体に記録した後、再生されたものを取得して復号しても良い。或いは、ネットワーク経由で通信路を介して符号データを受信して、復号しても良い。
【００３６】
図２において、エントロピー復号化部２０１は、図１の画像符号化装置で符号化された符号データを入力して復号し、整数変換後の画像データを復元する。さらに、符号データから各ブロックの動きベクトル情報を抽出して、動き補償方式切り替え部２０４に供給する。この動きベクトル情報は、フレーム中に存在するＧ画素成分のブロックのうち、偶数ライン・奇数ラインに分割して予測されたブロックを特定する情報を含む。
【００３７】
逆整数変換部２０２は、復元された整数変換後の画像データに対して、整数変換の逆変換処理を行って、差分画像データを復元する。動き補償方式切り替え部２０４は、各ブロックの動きベクトル情報を動き補償部２０３に与える。さらに、動き補償方式切り替え部２０４は、特にＧ画素成分のブロックについて、偶数ライン・奇数ラインを一括で予測したか、偶数ライン・奇数ラインを分割して予測したかを示す動き補償方式の切替信号を動き補償部２０３に供給する。
【００３８】
動き補償部２０３は、復元された差分画像データを取得し、Ｒ，Ｇ，Ｂの各画素成分のブロックについて、それぞれ動きベクトル情報を用いて元のＲＧＢ色空間の画像データを復元する。特にＧ画素成分のブロックについては、偶数ライン・奇数ラインの一括予測か偶数ライン・奇数ラインの分割予測かを適応的に判断しながら動き補償処理を行う。
【００３９】
２０５はフレームメモリである。動き補償部２０３によって復号化された画像データは、ベイヤー配列のままなので、フレームメモリ２０５に一時記憶し、表示する際に、現像処理部２０６によって現像処理が行われ、表示可能な画像データにして出力される。出力された画像データに係る画像は、不図示の表示装置によって表示される。こうして復元され表示される画像（動画像）は、可逆符号化されて復号化された画像であって、本発明の実施形態の構成によれば可逆的な画像の復元が可能となる。
【００４０】
次に、本実施形態の他の動き補償処理について、図４のフローチャートを示して説明する。図４のフローチャートは、不図示のコンピュータの制御によって、動き検出処理部１０５、動き補償方式切り替え部１０６、動き補償処理部１０２によって実行される処理を図示したものである。
【００４１】
前述した説明では、動きベクトルの縦方向の成分が偶数の値になるか、奇数の値になるかに応じて、Ｇ画素成分のブロックについて、偶数ライン・奇数ラインを一括で動き補償処理するか、偶数ライン・奇数ラインを分割して動き補償処理するかを判断していた。この変形例として、動き補償における予測を少数画素精度（半画素、１／４画素、等）で行うことに応じて、Ｇ画素成分のブロックについて、偶数ライン・奇数ラインを分割して予測することを判断してもよい。通常、動き補償の際には、整数画素精度での予測の他に、半画素精度での予測もしばしば使用されている。本実施形態のＧ画素成分のブロック構造であれば、このような少数画素精度での予測の場合に、偶数ライン・奇数ラインを分割して予測したほうが、予測効率が高くなることが容易に推測される。以下、少数画素精度の例として半画素精度を例に説明するが、１／４画素等のその他の少数画素精度であっても同様である。
【００４２】
図４において、符号化対象のＧ画素成分のブロックについての処理が開始されると（Ｓ４０１）、動き検出処理部１０５が、当該ブロックについて参照フレームを参照した動き検出を行い、所定の演算によって動きベクトルを求める（Ｓ４０２）。次に、動き補償方式切り替え部１０６が、動き補償が半画素精度で行われるか、整数画素精度で行われるか、判断する（Ｓ４０３）。半画素精度の場合、Ｓ４０６へフローが遷移し（Ｓ４０３でＹｅｓ）、半画素精度でない場合（すなわち整数画素精度の場合）、Ｓ４０４へフローが遷移する（Ｓ４０３でＮｏ）。ステップＳ４０３で半画素精度の場合（Ｓ４０３でＹｅｓ）には、動き補償方式切り替え部１０６が、Ｇ画素成分のブロックを偶数ライン・奇数ラインで分割して予測するための動き補償方式の切替信号を発生する。
【００４３】
次に、動き補償方式切り替え部１０６が、ステップＳ４０２で求められた動きベクトルに関して、縦方向（垂直方向）の成分が偶数の値（０，２，４，６，・・・）になるか、奇数の値（１，３，５，７，・・・）になるか、判断する（Ｓ４０４）。動き補償方式切り替え部１０６は、動きベクトルの縦方向の成分が偶数の値になる場合（Ｓ４０４でＹｅｓ）には、Ｇ画素成分のブロックを偶数ライン・奇数ライン一括して予測するための動き補償方式の切替信号を発生する。一方、動きベクトルの縦方向の成分が奇数の値になる場合（Ｓ４０４でＮｏ）には、Ｇ画素成分のブロックを偶数ライン・奇数ラインで分割して予測するための動き補償方式の切替信号を発生する。
【００４４】
次に、動き補償処理部１０２が、ステップＳ４０２で求められた動きベクトル、及び、ステップＳ４０３又はＳ４０４で選択された動き補償方式の切り替え信号に従って、動き補償処理を行う。動き補償が整数画素精度であり、なおかつ動きベクトルの縦方向成分が偶数の値になる場合、動き補償処理部１０２は、Ｇ画素成分のブロックをＧ１，Ｇ２のサブブロックに分割しない。すなわち、図６のブロック形状で予測画像の生成や、符号化対象ブロックと予測画像との差分を示す差分画像データの生成を含む動き補償処理を行う（Ｓ４０５）。一方、動き補償が半画素精度であるか、又は、動き補償が整数画素精度であるが動きベクトルの縦方向成分が奇数の値になる場合、動き補償処理部１０２は、Ｇ画素成分のブロックを図７のようにＧ１，Ｇ２のサブブロックに分割する。そして、図７のＧ１及びＧ２のそれぞれのサブブロックについて予測画像の生成や、符号化対象ブロックと予測画像との差分を示す差分画像データの生成を含む動き補償処理を行う（Ｓ４０５）。以上で当該符号化対象ブロックの動き補償に係る処理が終了となり（Ｓ４０７）、引き続き次のブロックについて同様の処理が繰り返される。なお、Ｂ画素及びＲ画素については、Ｇ画素成分のブロックで求めた動きベクトルを１／２にした動きベクトルを用いて、図６に示したブロック形状で、Ｂ画素成分のブロック、Ｒ画素成分のブロックでそれぞれ動き補償処理する。
【００４５】
また、上述した本発明の実施形態における図３、図４に示した各処理は、各処理の機能を実現する為のコンピュータプログラムを本件発明の画像符号化装置が動作するシステムのメモリから読み出してシステムのＣＰＵが実行することによっても実現できる。この場合、メモリに記憶されたプログラムは本件発明を構成する。
【００４６】
上記プログラムは、前述した機能の一部を実現する為のものであっても良い。さらに、前述した機能をコンピュータシステムに既に記録されているプログラムとの組合せで実現できるもの、いわゆる差分ファイル（差分プログラム）であっても良い。
【００４７】
また、図３、図４に示した各処理の全部または一部の機能を専用のハードウェアにより実現してもよい。また、図３、図４に示した各処理の機能を実現する為のプログラムをコンピュータ読み取り可能な記録媒体に記録して、この記録媒体に記録されたプログラムをコンピュータシステムに読み込ませ、実行することにより各処理を行っても良い。なお、ここでいう「コンピュータシステム」とは、ＯＳや周辺機器等のハードウェアを含むものとする。
【００４８】
ここで、「コンピュータ読み取り可能な記録媒体」とは、フレキシブルディスク、光磁気ディスク、ＲＯＭ、ＣＤ−ＲＯＭ等の可搬媒体、コンピュータシステムに内蔵されるハードディスク等の記憶装置を含む。さらに、インターネット等のネットワークや電話回線等の通信回線を介してプログラムが送信された場合のサーバやクライアントとなるコンピュータシステム内部の揮発メモリ（ＲＡＭ）のように、一定時間プログラムを保持しているものも含むものとする。
【００４９】
また、上記プログラムは、このプログラムを記憶装置等に格納したコンピュータシステムから、伝送媒体を介して、あるいは、伝送媒体中の伝送波により他のコンピュータシステムに伝送されてもよい。ここで、プログラムを伝送する「伝送媒体」は、インターネット等のネットワーク（通信網）や電話回線等の通信回線（通信線）のように情報を伝送する機能を有する媒体のことをいう。
【００５０】
また、上記のプログラムを記録したコンピュータ読み取り可能な記録媒体等のプログラムプロダクトも本発明の実施形態として適用することができる。上記のプログラム、記録媒体、伝送媒体およびプログラムプロダクトは、本発明の範疇に含まれる。
【００５１】
以上、本発明を好ましい実施例により説明したが、本発明は上述した実施例に限ることなくクレームに示した範囲で種々の変更が可能である。
【符号の説明】
【００５２】
１００ イメージセンサー／信号処理部
１０１ 画素分割処理部
１０２ 動き補償処理部
１０３ 整数変換処理部
１０４ エントロピー符号化部
１０５ 動き検出処理部
１０６ 動き補償方式切り替え部
１０７ フレームメモリ
【特許請求の範囲】
【請求項１】
入力されたＲＧＢ色空間の画像情報を符号化する画像符号化装置であって、
画像をＲ画素成分、Ｇ画素成分、Ｂ画素成分のそれぞれのコンポーネント毎に所定の画素数を有するブロックに分割する分割手段と、
符号化対象フレームとフレーム間予測で参照される参照フレームとの間で、それぞれのＧ画素成分のブロックについてフレーム間の動きベクトルを検出する動き検出手段と、
前記動き検出手段によって検出された動きベクトルに基づいて前記符号化対象フレームにおける各ブロックの動き補償処理を行う動き補償手段と、
前記動き補償手段によって処理された画像データを周波数変換した後、エントロピー符号化して符号データを生成する符号化手段とを備え、
前記動き補償手段は、前記符号化対象フレームにおけるＧ画素成分のブロックを偶数ラインと奇数ラインとで分割して、前記偶数ラインの画素のサブブロックと前記奇数ラインの画素のサブブロックとでそれぞれ動き補償処理を行うことを特徴とする画像符号化装置。
【請求項２】
前記動き検出手段によって、符号化対象のＧ画素成分のブロックについて検出された動きベクトルの垂直方向の成分が偶数の値になるか、奇数の値になるかを判断し、前記垂直方向の成分が奇数の値になる場合には、前記符号化対象のＧ画素成分のブロックを偶数ラインと奇数ラインとで分割して動き補償処理し、前記垂直方向の成分が偶数の値になる場合には、前記符号化対象のＧ画素成分のブロックを分割せずに動き補償処理するように、前記動き補償手段の動作を切り替える切り替え手段をさらに備えることを特徴とする請求項１に記載の画像符号化装置。
【請求項３】
前記動き補償手段によって、符号化対象のＧ画素成分のブロックの動き補償処理が少数画素精度で行われる場合には、前記符号化対象のＧ画素成分のブロックを偶数ラインと奇数ラインとで分割して動き補償処理し、前記符号化対象のＧ画素成分のブロックの動き補償処理が整数画素精度で行われる場合には、前記符号化対象のＧ画素成分のブロックを分割せずに動き補償処理することが可能となるように、前記動き補償手段の動作を切り替える切り替え手段をさらに備えることを特徴とする請求項１に記載の画像符号化装置。
【請求項４】
前記符号化手段は、前記画像データを整数変換し、当該整数変換された画像データの量子化処理をすることなくエントロピー符号化することを特徴とする請求項１乃至３の何れか１項に記載の画像符号化装置。
【請求項５】
入力されたＲＧＢ色空間の画像情報を符号化する画像符号化方法であって、
画像をＲ画素成分、Ｇ画素成分、Ｂ画素成分のそれぞれのコンポーネント毎に所定の画素数を有するブロックに分割する分割工程と、
符号化対象フレームとフレーム間予測で参照される参照フレームとの間で、それぞれのＧ画素成分のブロックについてフレーム間の動きベクトルを検出する動き検出工程と、
前記動き検出工程で検出された動きベクトルに基づいて前記符号化対象フレームにおける各ブロックの動き補償処理を行う動き補償工程と、
前記動き補償工程で処理された画像データを周波数変換した後、エントロピー符号化して符号データを生成する符号化工程とを有し、
前記動き補償工程では、前記符号化対象フレームにおけるＧ画素成分のブロックを偶数ラインと奇数ラインとで分割して、前記偶数ラインの画素のサブブロックと前記奇数ラインの画素のサブブロックとでそれぞれ動き補償処理を行うことを特徴とする画像符号化方法。
【請求項１】
入力されたＲＧＢ色空間の画像情報を符号化する画像符号化装置であって、
画像をＲ画素成分、Ｇ画素成分、Ｂ画素成分のそれぞれのコンポーネント毎に所定の画素数を有するブロックに分割する分割手段と、
符号化対象フレームとフレーム間予測で参照される参照フレームとの間で、それぞれのＧ画素成分のブロックについてフレーム間の動きベクトルを検出する動き検出手段と、
前記動き検出手段によって検出された動きベクトルに基づいて前記符号化対象フレームにおける各ブロックの動き補償処理を行う動き補償手段と、
前記動き補償手段によって処理された画像データを周波数変換した後、エントロピー符号化して符号データを生成する符号化手段とを備え、
前記動き補償手段は、前記符号化対象フレームにおけるＧ画素成分のブロックを偶数ラインと奇数ラインとで分割して、前記偶数ラインの画素のサブブロックと前記奇数ラインの画素のサブブロックとでそれぞれ動き補償処理を行うことを特徴とする画像符号化装置。
【請求項２】
前記動き検出手段によって、符号化対象のＧ画素成分のブロックについて検出された動きベクトルの垂直方向の成分が偶数の値になるか、奇数の値になるかを判断し、前記垂直方向の成分が奇数の値になる場合には、前記符号化対象のＧ画素成分のブロックを偶数ラインと奇数ラインとで分割して動き補償処理し、前記垂直方向の成分が偶数の値になる場合には、前記符号化対象のＧ画素成分のブロックを分割せずに動き補償処理するように、前記動き補償手段の動作を切り替える切り替え手段をさらに備えることを特徴とする請求項１に記載の画像符号化装置。
【請求項３】
前記動き補償手段によって、符号化対象のＧ画素成分のブロックの動き補償処理が少数画素精度で行われる場合には、前記符号化対象のＧ画素成分のブロックを偶数ラインと奇数ラインとで分割して動き補償処理し、前記符号化対象のＧ画素成分のブロックの動き補償処理が整数画素精度で行われる場合には、前記符号化対象のＧ画素成分のブロックを分割せずに動き補償処理することが可能となるように、前記動き補償手段の動作を切り替える切り替え手段をさらに備えることを特徴とする請求項１に記載の画像符号化装置。
【請求項４】
前記符号化手段は、前記画像データを整数変換し、当該整数変換された画像データの量子化処理をすることなくエントロピー符号化することを特徴とする請求項１乃至３の何れか１項に記載の画像符号化装置。
【請求項５】
入力されたＲＧＢ色空間の画像情報を符号化する画像符号化方法であって、
画像をＲ画素成分、Ｇ画素成分、Ｂ画素成分のそれぞれのコンポーネント毎に所定の画素数を有するブロックに分割する分割工程と、
符号化対象フレームとフレーム間予測で参照される参照フレームとの間で、それぞれのＧ画素成分のブロックについてフレーム間の動きベクトルを検出する動き検出工程と、
前記動き検出工程で検出された動きベクトルに基づいて前記符号化対象フレームにおける各ブロックの動き補償処理を行う動き補償工程と、
前記動き補償工程で処理された画像データを周波数変換した後、エントロピー符号化して符号データを生成する符号化工程とを有し、
前記動き補償工程では、前記符号化対象フレームにおけるＧ画素成分のブロックを偶数ラインと奇数ラインとで分割して、前記偶数ラインの画素のサブブロックと前記奇数ラインの画素のサブブロックとでそれぞれ動き補償処理を行うことを特徴とする画像符号化方法。
【図１】
【図２】
【図３】
【図４】
【図５】
【図６】
【図７】
【図８】
【図９】
【図１０】
【図１１】
【図２】
【図３】
【図４】
【図５】
【図６】
【図７】
【図８】
【図９】
【図１０】
【図１１】
【公開番号】特開２０１３−１７０８５（Ｐ２０１３−１７０８５Ａ）
【公開日】平成２５年１月２４日（２０１３．１．２４）
【国際特許分類】
【出願番号】特願２０１１−１４９１９８（Ｐ２０１１−１４９１９８）
【出願日】平成２３年７月５日（２０１１．７．５）
【出願人】（０００００１００７）キヤノン株式会社 (59,756)
【Ｆターム（参考）】
【公開日】平成２５年１月２４日（２０１３．１．２４）
【国際特許分類】
【出願日】平成２３年７月５日（２０１１．７．５）
【出願人】（０００００１００７）キヤノン株式会社 (59,756)
【Ｆターム（参考）】
[ Back to top ]