映像符号化装置
【課題】従来の適応的フィールド・フレーム符号化（ＡＦＦ）による映像符号化方法では、１つの入力画像に対して、フレーム単位もしくは１６×３２画素ブロック単位で、フレーム符号化とフィールド符号化という処理の異なる符号化を複数回行う必要があった。これにより、ＡＦＦ方式を用いない場合に比べて処理量が２倍以上に増加してしまうという課題があった。
【解決手段】入力画像がインタレース画像である場合に、ＡＦＦのモード判定を行うＡＦＦモード判定部（１４０）と、ＡＦＦモード判定部（１４０）によるモード判定の判定結果に応じて入力画像を符号化する映像符号化部（１１０）と、を有する映像符号化装置。
【解決手段】入力画像がインタレース画像である場合に、ＡＦＦのモード判定を行うＡＦＦモード判定部（１４０）と、ＡＦＦモード判定部（１４０）によるモード判定の判定結果に応じて入力画像を符号化する映像符号化部（１１０）と、を有する映像符号化装置。
【発明の詳細な説明】
【技術分野】
【０００１】
本発明は、動画像を符号化する映像符号化装置に関し、特に、適応的フィールド・フレーム符号化を行う映像符号化装置に関する。
【背景技術】
【０００２】
近年、ブロードバンドネットワークの発達による動画配信コンテンツの増加や、ＤＶＤなどの大容量記憶媒体と大画面映像表示機器の利用などにより、動画符号化技術は必要不可欠な技術となっている。また、撮像デバイスや表示デバイスの高解像度化と共に、動画符号化技術において高解像度で符号化する技術も必要不可欠となっている。
【０００３】
符号化処理とは、映像符号化装置に入力される原画像をより少ないデータ量のストリームに変換する処理であるが、高解像度かつ高画質な符号化が可能な動画符号化技術の一つとして、国際標準であるＨ．２６４／ＡＶＣが存在する。Ｈ．２６４／ＡＶＣ符号化方式では、画面内予測（フレーム内予測）や画面間予測（フレーム間予測）等の予測技術を用いて符号化を行う。また、Ｈ．２６４／ＡＶＣによる符号化処理では、一般的には、原画像に対して１６×１６の画素で構成されるマクロブロック（以下、適宜「ＭＢ」という）と呼ばれる単位で処理が行われる。
【０００４】
ところで、Ｈ．２６４／ＡＶＣ符号化で用いられる予測方式には、主に画面内予測と画面間予測の二つの予測方式があるが、画面内予測では、予測の単位となるブロックのサイズや予測方向の組み合わせに応じて複数の予測方式が用意されている。画面間予測においても、予測の単位となるブロックのサイズに応じて複数の予測方式が用意されている。Ｈ．２６４／ＡＶＣでは、目標とする画質や符号量に応じてこれらの予測方式を動的に選択することで、高画質かつ高圧縮な符号化方式を実現している。
【０００５】
ここで、図１８を用いて、Ｈ．２６４／ＡＶＣ符号化の概要について説明する。図１８は、従来のＨ．２６４／ＡＶＣ符号化処理を行う映像符号化装置の構成を示す図である。
【０００６】
画面内予測を用いた符号化処理では、モード選択部９３０が画面内予測部９１０を選択する。そして、画面内予測部９１０、直交変換部９４０、量子化部９５０、および可変長符号化部９８０を経て、原画像９０からストリーム９１を得る。また、画面間予測を用いた符号化処理では、モード選択部９３０が画面間予測部９２０を選択する。そして、画面間予測部９２０、直交変換部９４０、量子化部９５０、および可変長符号化部９８０を経て、原画像９０からストリーム９１を得る。
【０００７】
画面内予測部９１０には、原画像９０および再構成画像９２が入力される。再構成画像９２は、逆直交変換部９７０から出力される復元差分画像９７と、モード選択部９３０によって出力される予測画像９５とが足し合わされて構成される画像である。
【０００８】
そして、原画像９０と再構成画像９２とから、画面内予測処理により適切な画面内予測モードを選択し、画面内予測モードのモード情報を表す画面内予測情報Ｄ８１、予測結果である画面内予測画像９３、および原画像９０と画面内予測画像９３との差分を表す画面内予測誤差Ｄ８２を生成する。また、画面内予測情報Ｄ８１には、画面内予測を行った際のブロックサイズを表す画面内予測ブロックタイプや、画面内予測の方向を表す画面内予測モード情報が含まれる。
【０００９】
画面間予測部９２０は、原画像９０と、その前後（過去または未来）の原画像から生成された再構成画像９２の入力を受け付け、画面間予測情報Ｄ８３、画面間予測画像９４、および原画像９０と画面間予測画像９４との差分を表す画面間予測誤差Ｄ８４を生成する。画面間予測情報Ｄ８３には、画面間予測を行った際のブロックサイズを表す画面間予測ブロックタイプや、動き補償を行った結果の動きベクトル情報が含まれる。
【００１０】
符号化制御部９９０は、画面内予測部９１０から入力される画面内予測誤差Ｄ８２、画面間予測部９２０から入力される画面間予測誤差Ｄ８４、および可変長符号化部９８０から入力される符号量情報Ｄ８６（後述）から、符号化モード選択アルゴリズムに従い、画面内予測および画面間予測のいずれかの符号化モードを決定する。そして、決定した符号化モードを示す符号化モード選択情報Ｄ８７をモード選択部９３０に出力する。また、レート制御アルゴリズムに従い、量子化係数Ｄ８８を決定し、量子化部９５０に出力する。
【００１１】
なお、符号化モード選択アルゴリズムおよびレート制御アルゴリズムは、ストリーム９１の符号量および画質に大きな影響を与えるため、符号化対象となる原画像９０の内容や映像符号化の用途によって様々な方式が存在している。
【００１２】
モード選択部９３０は、符号化制御部９９０から入力された符号化モード選択情報Ｄ８７に従い、画面内予測部９１０が選択されている場合は画面内予測画像９３を、画面間予測部９２０が選択されている場合は画面間予測画像９４を、予測画像９５として出力する。
【００１３】
直交変換部９４０は、原画像９０と予測画像９５との差分である差分画像９６から、直交変換処理によって周波数成分Ｄ８９を生成する。
【００１４】
量子化部９５０は、符号化制御部９９０から入力される量子化係数Ｄ８８と、直交変換部９４０から入力される周波数成分Ｄ８９とから量子化処理を行い、情報量を削減した量子化値Ｄ９０を出力する。
【００１５】
逆量子化部９６０は、量子化値Ｄ９０に対して逆量子化処理を行い、復元周波数成分Ｄ９１を生成する。
【００１６】
逆直交変換部９７０は、復元周波数成分Ｄ９１に対して逆直交変換処理を行い、復元差分画像９７を生成する。そして、生成された復元差分画像９７と、モード選択部９３０によって出力された予測画像９５とが足し合わされて、再構成画像９２として記憶される。
【００１７】
可変長符号化部９８０は、量子化値Ｄ９０と、画面内予測情報Ｄ８１もしくは画面間予測情報Ｄ８３を、より少ないデータ量のデータ列に符号化し、ストリーム９１として出力する。また、符号量情報Ｄ８６を符号化制御部９９０に出力する。符号量情報Ｄ８６は可変長符号化後のストリーム９１の符号量を示す情報である。
【００１８】
図１８に示される従来の映像符号化装置において、入力される原画像９０には、インタレース（Ｉｎｔｅｒｌａｃｅ）とプログレッシブ（Ｐｒｏｇｒｅｓｓｉｖｅ）の二種類が存在する。図１９は、インタレース（Ｉｎｔｅｒｌａｃｅ）とプログレッシブ（Ｐｒｏｇｒｅｓｓｉｖｅ）について説明する図である。
【００１９】
図１９（ａ）に示されるように、インタレースは、プログレッシブに対して画像縦方向１／２に間引いた画像によって構成され、画面上端から奇数ラインだけ抜き出したトップフィールド（ｔｏｐ−ｆｉｅｌｄ）と、偶数ラインだけ抜き出したボトムフィールド（ｂｏｔｔｏｍ−ｆｉｅｌｄ）とを交互に描画することで全体を表示する。
【００２０】
一方、図１９（ｂ）に示されるように、プログレッシブは、間引き処理されないフルサイズの画像によって構成される。
【００２１】
ところで、Ｈ．２６４／ＡＶＣでは、原画像９０がインタレースの場合に、符号化効率を向上させることが可能な適応型フィールド・フレーム符号化（Ａｄａｐｔｉｖｅ−ＦｉｅｌｄＦｒａｍｅＣｏｄｉｎｇ）（以下、「ＡＦＦ」という）と呼ばれる符号化ツールを備えている（例えば、特許文献１）。
【００２２】
図２０は、従来のＨ．２６４／ＡＶＣの適応型フィールド・フレーム符号化（ＡＦＦ）について説明する図である。ＡＦＦは、入力画像がインタレースの場合に、図２０（ａ）に示されるようにトップフィールドとボトムフィールドを一つのフレームとして符号化するフレーム符号化（ｆｒａｍｅ−ｃｏｄｉｎｇ）と、図２０（ｂ）に示されるようにトップフィールドとボトムフィールドを別々のピクチャとして符号化するフィールド符号化（ｆｉｅｌｄ−ｃｏｄｉｎｇ）とを、フレーム単位で切り替えながら符号化する符号化処理方法である。
【００２３】
映像の動きが小さい場合や明るさの変化がない場合など、トップフィールドとボトムフィールドに差が少ない場合は、フィールド符号化と比べてフレーム符号化の方が縦方向の画素密度が二倍になり画像内での画素相関が高くなる。よって、画面内予測の精度が向上し、符号化効率が向上することが期待できる。さらに、画面間予測においても、フィールド符号化と比べてフレーム符号化の方が、画素密度の向上により画素ブロックでの予測効率が向上するため、より大きな予測ブロックが選ばれやすくなり符号化効率が向上することが期待できる。
【００２４】
一方で、画像内の動きや明るさの変化が大きく、トップフィールドとボトムフィールドの画像間で変化が生じる場合には、フレーム符号化では画像内での画素相関が低くなる。よって、画面内予測および画面間予測のいずれにおいても、フレーム符号化を行うとフィールド符号化を行う場合よりも符号化効率が低下してしまう。
【００２５】
このように、Ｈ．２６４／ＡＶＣのＡＦＦを使用する場合は、符号化効率を向上させるために、画像の状況に応じてフィールド符号化とフレーム符号化とを適切に切り替えることが重要となる。
【００２６】
また、図２１は、従来のＡＦＦの符号化モード決定方法の概要を示す図である。従来のＨ．２６４／ＡＶＣの参照ソフトウェアＪＭなどでは、ＡＦＦの符号化モードを決定するためにマルチパス手法を用いていた。
【００２７】
具体的には、原画像９０をフレーム符号化用の映像符号化部８１０とフィールド符号化用の映像符号化部８２０の両方で符号化し、ＡＦＦモード選択部８３０でいずれか一方の出力ストリームを選択し、これを最終的なストリーム９１として出力する。
【００２８】
また、ＡＦＦには、ピクチャごとにフィールド符号化とフレーム符号化を切り替える方法と、マクロブロックごとにフィールド符号化とフレーム符号化を切り替える方法が存在する。前者はピクチャ適応型フィールド・フレーム符号化（ＰＡＦＦ）、後者はマクロブロック適応型フィールド・フレーム符号化（ＭＢＡＦＦ）と呼ばれる。
【００２９】
図２２は、従来のＰＡＦＦおよびＭＢＡＦＦにおける符号化モード決定方法の概要を示す図である。Ｈ．２６４／ＡＶＣ規格では、ＰＡＦＦとＭＢＡＦＦは入れ子の関係となっており、ＰＡＦＦでフレーム符号化が選択された場合のみＭＢＡＦＦを使用することができる関係となっている。ＰＡＦＦを使用する場合には、フレームに対して、映像符号化部８６０と映像符号化部８７０の二系統を用いて、映像符号化部８６０でフレーム符号化を、映像符号化部８７０でフィールド符号化を行う。そして、ＰＡＦＦモード選択部８８０において、フレームごとに、それぞれの符号化結果からどちらのＡＦＦ符号化モードの方が符号化効率が良くなるかを判定し、より効率の良い方の符号化結果を選択する。
【００３０】
ＰＡＦＦでフレーム符号化が選択された場合には、さらにＭＢＡＦＦを使用することができる。ＭＢＡＦＦを使用する場合にも同様に、映像符号化部として二系統の映像符号化部８６１、８６２を用いて、一方の映像符号化部８６１でフレーム符号化を、他方の映像符号化部８６２でフィールド符号化を行い、１６×３２（横画素数×縦画素数。以下同様。）のスーパーＭＢごとに、それぞれの符号化結果からどちらのＡＦＦ符号化モードの方が、符号化効率が良くなるかを判定し、より効率の良い方の符号化結果をＭＢＡＦＦモード選択部８６３で選択する。
【００３１】
そして、ＭＢＡＦＦモード選択部８６３およびＰＡＦＦモード選択部８８０で、それぞれ、１６×３２のスーパーＭＢごと、フレームごとにいずれか一方の出力ストリームを選択し、これを最終的なストリーム９１として出力する。
【先行技術文献】
【特許文献】
【００３２】
【特許文献１】特開２００８−２８３５９５号公報
【発明の概要】
【発明が解決しようとする課題】
【００３３】
しかしながら、従来の符号化方法では、１つの入力画像に対して、フレーム単位もしくは１６×３２画素ブロック単位で、フレーム符号化とフィールド符号化という処理の異なる符号化を複数回行う必要があった。これにより、ＡＦＦを使用した場合は、使用しない場合に比べて処理量が２倍以上に増加してしまうという課題があった。
【００３４】
そこで、本発明は、このような課題に鑑み、適応的フィールド・フレーム符号化（ＡＦＦ）を行う映像符号化装置であって、ＡＦＦを使用する場合における符号化処理の処理量を削減することが可能な映像符号化装置を提供することを目的とする。
【課題を解決するための手段】
【００３５】
上記課題を解決するために、本発明の一態様によれば、入力画像がインタレース画像である場合に、適応的フィールド・フレーム符号化（Ａｄａｐｔｉｖｅ−ＦｉｅｌｄＦｒａｍｅＣｏｄｉｎｇ）のモード判定を行うＡＦＦモード判定部と、前記ＡＦＦモード判定部による前記モード判定の判定結果に応じて前記入力画像を符号化する映像符号化部と、を有する映像符号化装置が提供される。
【００３６】
この構成によれば、符号化効率を保ちつつ、符号化処理の処理量を削減することが可能である。
【００３７】
本発明の他の態様によれば、前記ＡＦＦモード判定部は、前記入力画像のフィールド符号化時とフレーム符号化時における画素差分を比較することで前記モード判定を行うことを特徴とする映像符号化装置が提供される。
【００３８】
本発明の他の態様によれば、前記ＡＦＦモード判定部は、前記映像符号化部において符号化処理が行われたピクチャの画面間予測の結果である動きベクトル情報を用いて前記モード判定を行うことを特徴とする映像符号化装置が提供される。
【発明の効果】
【００３９】
本発明によれば、符号化効率を保ちつつ、符号化処理の処理量を削減することが可能である。
【図面の簡単な説明】
【００４０】
【図１】本発明の一実施形態に係る映像符号化装置における符号化方法の概念を示す図である。
【図２】本発明の一実施形態に係る映像符号化装置の構成の一例を示す図である。
【図３】映像符号化部１１０の構成の一例を示す図である。
【図４】原画像生成部１５０の動作を説明する図である。
【図５】原画像生成部１５０の構成の一例を示す図である。
【図６】再構成画像変換部１６０の動作（ライト）を説明する図である。
【図７】再構成画像変換部１６０の動作（リード）を説明する図である。
【図８】再構成画像変換部１６０の構成の一例を示す図である。
【図９】ＶＰＤ方式におけるＦＲＭ差分とＦＬＤ差分の算出において用いられる画素の並び順の一例を示す図である。
【図１０】ＶＰＤ方式のＡＦＦモード判定の処理フローの一例を示すフロー図である。
【図１１】ＶＰＤ方式におけるＦＲＭ差分とＦＬＤ差分の算出において用いられる画素の並び順の一例を示す図である。
【図１２】ＶＰＤ方式におけるＦＲＭ差分とＦＬＤ差分の算出において用いられる画素の並び順の一例を示す図である。
【図１３】ＭＶ方式の８×８画素ブロック単位のＭＶ導出の概念を示す図である。
【図１４】ＭＶ方式のＡＦＦモード判定の処理フローの一例を示すフロー図である。
【図１５】ＡＦＦモードの統合判定の処理フローの一例を示すフロー図である。
【図１６】ＡＦＦモード判定部１４０の構成の一例を示す図である。
【図１７】本発明の一実施形態に係る映像符号化装置のハードウェア構成の一例を示すブロック図である。
【図１８】従来のＨ．２６４／ＡＶＣ符号化処理を行う映像符号化装置の構成を示す図である。
【図１９】インタレース（Ｉｎｔｅｒｌａｃｅ）とプログレッシブ（Ｐｒｏｇｒｅｓｓｉｖｅ）について説明する図である。
【図２０】従来のＨ．２６４／ＡＶＣの適応型フィールド・フレーム符号化について説明する図である。
【図２１】従来のＡＦＦの符号化モード決定方法の概要を示す図である。
【図２２】従来のＰＡＦＦおよびＭＢＡＦＦにおける符号化モード決定方法の概要を示す図である。
【発明を実施するための形態】
【００４１】
以下、本発明の実施形態について、図面を参照して説明する。なお、以下の説明において参照する各図では、他の図と同等部分は同一符号によって示される。
【００４２】
（符号化方法の概念）
図１は、本実施形態に係る映像符号化装置における符号化方法の概念を示す図である。
【００４３】
本実施形態に係る符号化方法では、映像符号化装置に入力される原画像１０の符号化を行う（Ｓ０２）前に、フレーム符号化とフィールド符号化のいずれの方法で符号化した方が、符号化効率が良いかを判定するＡＦＦモード判定を行い（Ｓ０１）、このＡＦＦモード判定の結果に従ってフレーム符号化かフィールド符号化のいずれか一方のみの符号化を行う。
【００４４】
これにより、従来の符号化方法に対して符号化効率をほとんど落とすことなく、符号化処理の処理量を削減することができる。
【００４５】
（映像符号化装置の構成）
図２は、本実施形態に係る映像符号化装置の構成の一例を示す図である。映像符号化装置１は、Ｈ．２６４／ＡＶＣ符号化を行う映像符号化部１１０、再構成画像を蓄積する外部メモリ１２０、符号化モードの決定などを行う符号化制御部１３０、ＡＦＦモードの判定を行うＡＦＦモード判定部１４０、判定されたＡＦＦモードに基づいて入力画像９から原画像１０を生成する原画像生成部１５０、映像符号化部１１０と外部メモリ１２０との間でＡＦＦモードに合わせて再構成画像を変換する再構成画像変換部１６０、および再構成画像変換部１６０と外部メモリ１２０との間を仲介するメモリバス１７０を含んで構成される。
【００４６】
映像符号化部１１０は、原画像生成部１５０から１６×１６画素のマクロブロック（ＭＢ）単位で出力される原画像１０を受け付け、符号化制御部１３０から出力される符号化モード情報に従って画面間予測もしくは画面内予測によるＨ．２６４／ＡＶＣ符号化を行い、ストリーム１１を出力する。
【００４７】
符号化制御部１３０は、映像符号化装置１の外部からの符号化設定情報Ｓ１の入力を受け付けるとともに、映像符号化部１１０からの符号化に関する情報の入力を受け付ける。符号化設定情報Ｓ１は、映像符号化部１１０の動作を制御するための情報である。また、映像符号化部１１０に画面間予測もしくは画面内予測のいずれかの符号化モードを示す符号化モード選択情報を出力する。
【００４８】
ＡＦＦモード判定部１４０は、映像符号化装置１の外部から入力される入力画像９、映像符号化部１１０から入力される動きベクトル（ＭＶ）情報に基づいて、ＡＦＦモード判定を行い、判定結果をＡＦＦモード判定情報として出力する。
【００４９】
原画像生成部１５０は、ＡＦＦモード判定部１４０から出力されるＡＦＦモード判定情報に基づいて、映像符号化装置１の外部から入力される入力画像９を変換し、原画像１０を生成して映像符号化部１１０に出力する。
【００５０】
再構成画像変換部１６０は、映像符号化部１１０から外部メモリ１２０に対して再構成画像のデータが書き込み・読み出しが行われる際に、ＡＦＦモード判定部１４０から出力されるＡＦＦモード判定情報に基づいて再構成画像のデータの変換を行う。
【００５１】
外部メモリ１２０は、映像符号化部１１０が一時的に再構成画像を蓄積するために用いられるメモリである。すなわち、外部メモリ１２０は、メモリバス１７０を経由して、映像符号化部１１０から出力される再構成画像をバッファリングする。外部メモリ１２０は、例えばＤＲＡＭ等の揮発性メモリで構成される。
【００５２】
以下、主要な構成について詳述する。
【００５３】
（映像符号化部１１０）
以下、映像符号化部１１０について詳述する。図３は、映像符号化部１１０の構成の一例を示す図である（なお、図３においては映像符号化部１１０とその他の構成との関連性を示すために、映像符号化部１１０以外の構成も示されている）。
【００５４】
図３に示されるように、映像符号化部１１０は、画面内予測部２１０、画面間予測部２２０、モード選択部２３０、直交変換部２４０、量子化部２５０、逆量子化部２６０、逆直交変換部２７０、および可変長符号化部２８０を含んで構成される。
【００５５】
画面内予測部２１０は、原画像生成部１５０（図２）から出力される原画像１０が入力されるととともに、カレントＭＢ（符号化処理中のマクロブロック）の周囲の再構成画像１２が入力され、画面内予測情報Ｄ１、画面内予測結果である画面内予測画像１３、および原画像１０と画面内予測画像１３との差分を表す画面内予測誤差Ｄ２を生成する。そして、画面内予測情報Ｄ１は可変長符号化部２８０に、画面内予測画像１３はモード選択部２３０に、画面内予測誤差Ｄ２は符号化制御部１３０に、それぞれ出力する。
【００５６】
画面間予測部２２０は、原画像生成部１５０（図２）から出力される原画像１０が入力されるとともに、再構成画像変換部１６０において過去または未来の原画像１０（処理中の原画像１０よりも前または後に入力された原画像１０）から生成された再構成画像１２’が入力される。なお、この再構成画像１２’は、メモリコントローラ（再構成画像変換部１６０）が、外部メモリ１２０に保存されている再構成画像１２を読み出すものである。
【００５７】
そして、動きベクトル情報を含む画面間予測情報Ｄ３、画面間予測結果である画面間予測画像１４、および原画像１０と画面間予測画像１４との差分を表す画面間予測誤差Ｄ４を生成する。そして、画面間予測情報Ｄ３は可変長符号化部２８０に、画面間予測画像１４はモード選択部２３０に、画面間予測誤差Ｄ４は符号化制御部１３０に、それぞれ出力する。
【００５８】
なお、符号化制御部１３０は、画面内予測部２１０から出力される画面内予測誤差Ｄ２、画面間予測部２２０から出力される画面間予測誤差Ｄ４、および可変長符号化部２８０から出力される符号量情報Ｄ６から、符号化モード選択アルゴリズムに従って符号化モード（画面間予測もしくは画面内予測）を決定し、決定した符号化モードを示す符号化モード選択情報Ｄ７をモード選択部２３０に出力する。また、レート制御アルゴリズムに従って量子化係数Ｄ８を決定し、量子化部２５０に出力する。
【００５９】
符号化制御部１３０で用いられる符号化モード選択アルゴリズムおよびレート制御アルゴリズムは、ストリームの符号量および画質に大きな影響を与えるため、符号化対象となる原画像１０の内容や映像符号化の用途によって様々な方式が存在する。
【００６０】
モード選択部２３０は、符号化制御部１３０から入力された画面内予測および画面間予測のいずれかの符号化モードを示す符号化モード選択情報Ｄ７に従い、符号化モード選択情報Ｄ７において画面内予測が選択されている場合は画面内予測画像１３を、画面間予測が選択されている場合は画面間予測画像１４を、予測画像１５として出力する。
【００６１】
直交変換部２４０は、原画像１０と予測画像１５との差分である差分画像１６に対して直交変換処理を行って周波数成分Ｄ９を生成し、量子化部２５０に出力する。
【００６２】
量子化部２５０は、符号化制御部１３０から出力される量子化係数Ｄ８と、直交変換部２４０から出力される周波数成分Ｄ９とから量子化処理を行い、情報量を削減した量子化値Ｄ１０を出力する。
【００６３】
逆量子化部２６０は、量子化値Ｄ１０に対して逆量子化処理を行い、復元周波数成分Ｄ１１を生成して逆直交変換部２７０に出力する。
【００６４】
逆直交変換部２７０は、復元周波数成分Ｄ１１に対して逆直交変換処理を行い、復元差分画像１７を生成して出力する。なお、この復元差分画像１７と、モード選択部２３０によって選択された予測画像１５とが足し合わされて再構成画像１２が生成され、生成された再構成画像１２は外部メモリ１２０に記憶される。
【００６５】
可変長符号化部２８０は、量子化値Ｄ１０と、画面内予測情報Ｄ１又は画面間予測情報Ｄ３とを、より少ないデータ量のデータ列に符号化し（可変長符号化）、ストリーム１１として出力するとともに、符号量情報Ｄ６を符号化制御部１３０に出力する。符号量情報Ｄ６は可変長符号化後のストリーム１１の符号量を示す情報である。
【００６６】
（原画像生成部１５０）
以下、原画像生成部１５０について詳述する。図４は、原画像生成部１５０の動作を説明する図である。
【００６７】
上述したように、映像符号化部１１０では、１６×１６画素のＭＢ単位で符号化処理が行われる。そこで、原画像生成部１５０は、ＡＦＦモード判定部１４０から出力されるＡＦＦモード判定情報を受け付け、このＡＦＦモード判定情報により示されるＡＦＦモード判定結果に応じて入力画像９を変換し、ＭＢ単位の原画像１０として出力する。
【００６８】
入力画像９がインタレース画像の場合は、ＡＦＦモード判定部１４０のＡＦＦモード判定結果に応じて出力する原画像１０を生成する。この時、ＡＦＦモード判定結果がフィールド符号化を示している場合は、入力画像９のトップフィールドとボトムフィールドのどちらか一方から１６×１６画素を切り出してＭＢ単位の原画像１０として出力する（図４（ａ））。
【００６９】
一方で、ＡＦＦモード判定結果がフレーム符号化を示している場合は、トップフィールドとボトムフィールドの両方から１６×８画素を切り出し、トップフィールドとボトムフィールドを１ライン毎に交互に並べて１６×１６画素に変換してからＭＢ単位の原画像１０として出力する（図４（ｂ））。
【００７０】
なお、入力画像９がプログレッシブ画像の場合はＡＦＦ処理が行われないため、ＡＦＦモード判定結果によらず、１６×１６画素をそのまま切り出してＭＢ単位の原画像１０として出力する。
【００７１】
図５は、原画像生成部１５０の構成の一例を示す図である。原画像生成部１５０は、原画像変換部１５１と、原画像用メモリ１５２とを含んで構成される。
【００７２】
原画像用メモリ１５２は、入力画像９がインタレース画像の場合にのみ使用されるメモリであり、原画像１０を１フィールド分バッファリングするためのメモリである。
【００７３】
原画像変換部１５１は、ＡＦＦモード判定部１４０（図２）から出力されるＡＦＦモード判定情報Ｄ２１に応じて入力画像９を変換する。具体的には、入力画像９がインタレース画像であり、かつＡＦＦモード判定情報Ｄ２１においてフィールド符号化モードが選択されている場合は、原画像用メモリ１５２から入力画像９のトップフィールドもしくはボトムフィールドのいずれか一方から１６×１６画素分を読み出してＭＢ単位の原画像１０として出力する。
【００７４】
一方、入力画像９がインタレース画像であり、ＡＦＦモード判定情報Ｄ２１においてフレーム符号化モードが選択されている場合は、原画像用メモリ１５２から入力画像９のトップフィールドとボトムフィールドとを、それぞれ１６×８画素分読み出し、トップフィールドとボトムフィールドとを１ラインごとに交互に並べて１６×１６画素でＭＢ単位の原画像１０として出力する。
【００７５】
なお、原画像変換部１５１は、入力された入力画像９がプログレッシブ画像の場合は、入力画像９を１６×１６画素でそのまま原画像１０として出力する。
【００７６】
（再構成画像変換部１６０）
以下、再構成画像変換部１６０について詳述する。図６および図７は、再構成画像変換部１６０の動作を説明する図である。再構成画像変換の動作のうち、再構成画像１２のライト（書き込み）に関わるものを図６に、再構成画像１２のリード（読み出し）に関わるものを図７に示す。
【００７７】
再構成画像変換部１６０は、ＡＦＦモード判定部１４０から出力されるＡＦＦモード判定情報Ｄ２１に応じて、映像符号化部１１０から出力される再構成画像１２を変換して外部メモリ１２０に書き出す一方で、外部メモリ１２０から適切なタイミングで読み出した再構成画像１２を変換して映像符号化部１１０に供給する動作を行う。
【００７８】
（ライト動作）
入力画像９がプログレッシブ画像か、もしくは入力画像９がインタレース画像でかつＡＦＦモード判定情報Ｄ２１がフィールド符号化モードを示している場合は、再構成画像１２を変換せずにそのまま外部メモリ１２０に書き出す（図６（ｂ））。
【００７９】
一方で、入力画像９がインタレース画像でかつＡＦＦモード判定情報Ｄ２１がフレーム符号化を示している場合は、再構成画像１２をトップフィールドとボトムフィールドに分割して外部メモリ１２０に書き出す（図６（ａ））。
【００８０】
（リード動作）
入力画像９がプログレッシブ画像か、もしくは入力画像９がインタレース画像でかつＡＦＦモード判定情報Ｄ２１がフィールド符号化モードを示している場合は、そのまま外部メモリ１２０から再構成画像１２を読み出す（図７（ｂ））。
【００８１】
一方で、入力画像９がインタレース画像でかつＡＦＦモード判定情報Ｄ２１がフレーム符号化を示している場合は、トップフィールド用とボトムフィールド用の２つのメモリ領域から画像データを読み出し、１ラインごとに交互に並び替えを行うことで１枚の再構成画像１２として出力する（図７（ａ））。
【００８２】
図８は、再構成画像変換部１６０の構成の一例を示す図である。再構成画像変換部１６０は、再構成画像ライト部１６１と、再構成画像リード部１６２とを含んで構成される。
【００８３】
再構成画像ライト部１６１は、ＡＦＦモード判定情報Ｄ２１の入力を受け付け、このＡＦＦモード判定情報Ｄ２１に応じて映像符号化部１１０から出力される再構成画像１２を変換し外部メモリ１２０に書き出す。具体的には、入力画像９がインタレース画像で、かつＡＦＦモード判定情報Ｄ２１がフレーム符号化モードを示している場合は、受け付けた再構成画像１２をトップフィールドとボトムフィールドとに分割して外部メモリ１２０に書き出す。
【００８４】
一方で、入力画像９がプログレッシブ画像か、もしくは入力画像９がインタレース画像でかつＡＦＦモード判定情報Ｄ２１がフィールド符号化モードを示している場合には、再構成画像１２をそのまま外部メモリ１２０に書き出す。
【００８５】
再構成画像リード部１６２は、ＡＦＦモード判定情報Ｄ２１に応じて外部メモリ１２０から読み出した再構成画像１２を変換し、映像符号化部１１０に出力する。具体的には、再構成画像リード部１６２は、入力画像９がインタレース画像でかつＡＦＦモード判定情報Ｄ２１がフレーム符号化モードを示している場合は、外部メモリ１２０からトップフィールドとボトムフィールドの同じ画素位置から画素値を読み出し、１ラインごとに交互に並べて再構成画像１２として出力する。
【００８６】
一方で、入力画像９がプログレッシブ画像か、入力画像９がインタレース画像でかつＡＦＦモード判定情報がフィールド符号化モードを示している場合には、外部メモリ１２０から読み出した再構成画像１２をそのまま映像符号化部１１０へ出力する。
【００８７】
（ＡＦＦモード判定部１４０）
以下、ＡＦＦモード判定部１４０におけるＡＦＦモード判定のアルゴリズムについて説明する。
【００８８】
本実施形態においては、ＡＦＦモード判定アルゴリズムには、一例として、入力画像９のテクスチャ情報を用いるＶＰＤ（Ｖｅｒｔｉｃａｌ Ｐｉｘｅｌ Ｄｉｆｆｅｒｅｎｃｅ）方式と、画面間予測部２２０から出力される動きベクトル（ＭＶ）情報を用いるＭＶ方式の２方式を利用する。
【００８９】
そして、ＡＦＦモード判定部１４０では、この２つの方式によってＡＦＦモード判定を行った上で、これらの判定結果を統合して最終的なＡＦＦモードを決定してＡＦＦモード判定情報を出力する。
【００９０】
（ＶＰＤ方式）
まず、ＡＦＦモード判定アルゴリズムのうち、入力画像９のテクスチャ情報に基づいてＡＦＦモード判定を行うＶＰＤ方式について説明する。
【００９１】
ＶＰＤ方式は、入力画像９のテクスチャ情報から画素単位でフレーム差分（以下、「ＦＲＭ差分」という）とフィールド差分（以下、「ＦＬＤ差分」という）の２つの特徴量を計算し、これらの計算結果を比較することでＡＦＦモード判定を行う方式である。
【００９２】
図９に示されるように、以下に説明するＶＰＤ方式では、一例として、画像中、縦方向において同じ位置に並ぶ各フィールドの画素T1、B1、T2、B2、T3、B3、・・・の画素値を用いてＦＲＭ差分とＦＬＤ差分とを算出する。具体的には、ＦＲＭ差分とＦＬＤ差分は以下の式（１）、式（２）によって算出することが可能である。なお、以下の算出式は、画素Bnの位置に対して画素差分により各特徴量（ＦＲＭ差分、ＦＬＤ差分）を算出するものである。（式（１）、式（２）において、VTnは画素Tnの画素値、VBnは画素Bnの画素値、abs(x)はxの絶対値である。）
【００９３】
【数１】
ＶＰＤ方式のＡＦＦモード判定の処理フローの一例を図１０に示す。
【００９４】
まず、初期値として、ＦＲＭ符号化画素数＝０、ＦＬＤ符号化画素数＝０、と設定する（ステップＳ１２０１）。
【００９５】
上記の式（１）、式（２）によりＦＲＭ差分値とＦＬＤ差分値を計算する（ステップＳ１０２）。ステップＳ１０２で算出されたＦＲＭ差分とＦＬＤ差分とを比較し、ＦＲＭ差分値≧ＦＬＤ差分値であれば（ステップＳ１０３）、ＦＬＤ符号化画素数を１加算し（ステップＳ１０４）、ＦＲＭ差分＜ＦＬＤ差分であれば（ステップＳ１０３）、ＦＲＭ符号化画素数を１加算する（ステップＳ１０５）。
【００９６】
ピクチャ適応型フィールド・フレーム符号化（ＰＡＦＦ）における判定ならば１フレーム、マクロブロック適応型フィールド・フレーム符号化（ＭＢＡＦＦ）における判定ならば１６×３２画素の評価対象範囲内の画素値に対してステップＳ１０２〜ステップＳ１０５の処理を繰り返す（ステップＳ１０６）。
【００９７】
上記の評価対象の評価が完了した場合には、ＦＲＭ符号化画素数とＦＬＤ符号化画素数とを比較し、ＦＲＭ符号化画素数≧ＦＬＤ符号化画素数であれば（ステップＳ１０７）、“フレーム符号化”をＶＰＤ判定結果として出力し（ステップＳ１０８）、ＦＲＭ符号化画素数＜ＦＬＤ符号化画素数であれば（ステップＳ１０７）、“フィールド符号化”をＶＰＤ判定結果として出力する（ステップＳ１０９）。ここで出力されたＶＰＤ判定結果は、後述する統合判定に用いられる。
【００９８】
なお、上記のＶＰＤ方式におけるＦＲＭ差分とＦＬＤ差分を算出する式（１）および式（２）は、フレーム符号化時とフィールド符号化時のテクスチャの差分を計算することがその目的である。よって、この目的に沿うものであれば上記の式（１）および式（２）とは異なる計算式を用いても有効である。例えば、以下のような計算式を採用してもよい。以下の式（３）および式（４）は、画素Bnの位置に対して画素差分により各特徴量（ＦＲＭ差分、ＦＬＤ差分）を算出するものである。
【００９９】
【数２】
さらに、このＶＰＤ方式のＦＲＭ差分とＦＬＤ差分の上記算出式（１）〜（４）で計算に用いる画素値は、フレーム符号化時とフィールド符号化時のテクスチャの差分を計算するために用いられるものである。よって、この目的に沿うものであれば、必ずしも画像中、縦方向に並ぶ画素の画素値である必要はなく、例えば、図１１に示されるように、画像中において斜め方向に並ぶ画素T1、B1、T2、B2、T3、B3、・・・の画素値であっても有効である。
【０１００】
また、同様に、図１２に示されるように、画像中、異なる複数の方向２１〜２５に並ぶ画素列の中から、最も画素差分が小さくなる画素列の画素差分を特徴量として用いる方法も有効である。このように、画素差分が小さくなる方向の画素差分を特徴量として用いることにより、評価画素内にエッジがある場合にエッジに沿った特徴量を判定に用いることで、一般に人間の目で注視されやすいエッジの画質を向上させることができるという利点がある。
【０１０１】
（ＭＶ方式）
ＭＶ方式は、画面間予測部２２０から前ピクチャの動きベクトル（以下、「ＭＶ」という）の入力を受け付け、この動きベクトルの大きさと閾値（以下、「ＭＶ閾値」という）とを比較することでＡＦＦモード判定を行う方式である。以下、ＭＶ方式によるＡＦＦモード判定について説明する。
【０１０２】
まず、ＡＦＦモード判定部１４０は、画面間予測部２２０からＭＶ（動きベクトル）を取得する。このとき、ＭＶは８×８画素ブロック単位などに統一する。図１３は、ＭＶ方式の８×８画素ブロック単位のＭＶ導出の概念を示す図である。
【０１０３】
具体的には、１６×１６画素ブロックのＭＶが１つである場合は、各８×８画素ブロックに対して１６×１６画素ブロックのＭＶを割り当てる（図１３（ａ））。８×１６画素ブロックもしくは１６×８画素ブロックのＭＶについては、各８×８画素ブロックの個数分のＭＶを割り当てる（図１３（ｂ））。
【０１０４】
４×４画素ブロック、４×８画素ブロック、８×４画素ブロックについては、８×８画素ブロックごとに内部に含まれる４×４画素ブロック単位のＭＶを平均してＭＶを求める（図１３（ｃ））。
【０１０５】
なお、ＭＶはフレーム符号化されたものとフィールド符号化されたものの、どちらでもよい。また、ＭＶの取得単位は、図１３の例では８×８画素ブロックとしたが、これに限らず、４×４画素ブロック単位や１６×１６画素ブロック単位などでも構わない。
【０１０６】
次に、以下の式（５）により動きベクトルコストMVCostを計算する。
【０１０７】
【数３】
式（５）において、MVxはＸ座標のＭＶ、MVyはＹ座標のＭＶであり、WxとWyはそれぞれMVxとMVyの重みである。重みWxとWyは任意の値を設定可能とするが、ＡＦＦモード判定では、画像中の縦方向の動きのほうが横方向の動きよりも重要となるため、Wx＝０．５、Wy＝１、等とWyをWxよりも大きな値に設定するのが好ましい。
【０１０８】
ＭＶ方式のＡＦＦモード判定の処理フローの一例を図１４に示す。
【０１０９】
まず、初期値として、ＦＲＭ符号化ＭＶ数＝０、ＦＬＤ符号化ＭＶ数＝０、と設定する（ステップＳ２０１）。
【０１１０】
次に、上記式（５）により動きベクトルコストMVCostを算出する（ステップＳ２０２）。MVCost＜ＭＶ閾値である場合は（ステップＳ２０３）、ＦＲＭ符号化ＭＶ数を１インクリメントし（ステップＳ２０５）、MVCost≧ＭＶ閾値の場合は（ステップＳ２０３）、ＦＬＤ符号化ＭＶ数を１インクリメントする（ステップＳ２０４）。この方式では、縦方向の動きの大きい画像ではＦＲＭ符号化よりもＦＬＤ符号化の方が符号化効率が高くなることを利用して、ＦＲＭ符号化とＦＬＤ符号化のどちらに適した動きベクトルが多いのかを評価することを意図している。なお、ステップＳ２０３におけるＭＶ閾値は、画像サイズによって適当な値が異なるため、映像符号化装置１の外部の装置等から設定可能とするのが好ましい。
【０１１１】
ピクチャ適応型フィールド・フレーム符号化（ＰＡＦＦ）における判定ならば１フレーム、マクロブロック適応型フィールド・フレーム符号化（ＭＢＡＦＦ）における判定ならば１６×３２画素の評価対象範囲内の画素ブロックが有するＭＶに対してステップＳ０２２〜ステップＳ２０５の処理を繰り返す（ステップＳ２０６）。
【０１１２】
上記の評価対象の評価が完了した場合には、ＦＬＤ符号化ＭＶ数とＦＲＭ符号化ＭＶ数とを比較し、ＦＲＭ符号化ＭＶ数≧ＦＬＤ符号化ＭＶ数であれば（ステップＳ２０７）、“フレーム符号化”をＭＶ判定結果として出力し（ステップＳ２０８）、ＦＲＭ符号化ＭＶ数＜ＦＬＤ符号化ＭＶ数であれば（ステップＳ２０７）、“フィールド符号化”をＭＶ判定結果として出力する（ステップＳ２０９）。なお、ここで出力されたＭＶ判定結果は、後述する統合判定に用いられる。
【０１１３】
また、上記のMVCostを計算するための式（５）は、ＭＶの大きさを計算することがその目的である。よって、ＭＶの大きさを計算可能な式であれば異なる計算式を用いてもよい。例えば、以下のような計算式を採用しても構わない。
【０１１４】
【数４】
【０１１５】
上記に説明したＭＶ方式は、従来の映像符号化装置と同様の仕組みを利用できるため、実装コストが低く、従来の映像符号化装置と比較しても処理量の増加はほとんど無いという利点がある。
【０１１６】
（ＶＰＤ方式とＭＶ方式の統合判定）
本実施形態においては、ＡＦＦモード判定部１４０では、上述したＶＰＤ方式とＭＶ方式によりＡＦＦモードの判定を行った後、これらの判定結果を統合して最終的なＡＦＦモードを決定する。
【０１１７】
図１５は、統合判定の処理フローの一例を示すフロー図である。
【０１１８】
まず、ＶＰＤ判定結果を取得する（ステップＳ３０１）。本ステップでの処理は、具体的には図１０に示される処理である。また、ＭＶ判定結果を取得する（ステップＳ３０２）。本ステップでの処理は、具体的には図１４に示される処理である。
【０１１９】
ここで、ＡＦＦモード判定部１４０では、ステップＳ３０１で取得されたＶＰＤ判定結果を有効とするか無効とするかを示すＶＰＤイネーブル（ＶＰＤ判定フラグ）と、ステップＳ３０２で取得されたＭＶ判定結果を有効とするか無効とするかを示すＭＶイネーブル（ＭＶ判定フラグ）を有している。以下の処理においては、ＶＰＤ判定結果、ＭＶ判定結果、ＶＰＤ判定フラグ、およびＭＶ判定フラグの内容に応じて最終的なＡＦＦモード判定が行われる（ステップＳ３０３、Ｓ３０４）。
【０１２０】
すなわち、ＶＰＤ判定結果とＭＶ判定結果の双方が“フレーム符号化”であれば、最終的なＡＦＦモード判定結果として“フレーム符号化”を出力する（ステップＳ３０５）。
【０１２１】
ＶＰＤ判定結果が“フレーム符号化”であり、かつＭＶ判定結果が“フィールド符号化”の場合であって、ＶＰＤ判定フラグが有効の場合は“フレーム符号化”を出力し（ステップＳ３０５）、無効の場合は“フィールド符号化”を出力する（ステップＳ３０６）。
【０１２２】
ＶＰＤ判定結果が“フィールド符号化”であり、かつＭＶ判定結果が“フレーム符号化”の場合であって、ＭＶ判定フラグが有効の場合は“フレーム符号化”を出力し（ステップＳ３０５）、ＭＶ判定フラグが無効の場合は“フィールド符号化”を出力する（ステップＳ３０６）。
【０１２３】
ＶＰＤ判定結果とＭＶ判定結果の双方が“フィールド符号化”である場合は、最終的なＡＦＦモード判定結果として“フィールド符号化”を出力する（ステップＳ３０６）。
【０１２４】
図１６は、ＡＦＦモード判定部１４０の構成の一例を示す図である。ＡＦＦモード判定部１４０は、ＶＰＤ判定部１４１と、ＭＶ判定部１４２と、統合判定部１４３と、変更部１４４と、を含んで構成される。
【０１２５】
ＶＰＤ判定部１４１は、ＶＰＤバッファ１４１ａに画素情報Ｄ３１をバッファリングし、ＶＰＤ方式に従って図１０に示されるＡＦＦモード判定処理を行い、この判定結果であるＶＰＤ判定結果を出力する。
【０１２６】
ＭＶ判定部１４２は、映像符号化部１１０の画面間予測部２２０から入力されるＭＶ情報Ｄ３２をＭＶバッファ１４２ａにバッファリングし、符号化制御部１３０から入力されるＭＶ閾値Ｄ３３を用いて、ＭＶ方式に従って図１４に示されるＡＦＦモード判定処理を行い、この判定結果であるＭＶ判定結果を出力する。
【０１２７】
統合判定部１４３は、符号化制御部１３０からＶＰＤフラグ（ＶＰＤイネーブル）信号とＭＶフラグ（ＭＶイネーブル）信号の入力を受け付ける。そして、このＶＰＤフラグ信号、ＭＶフラグ信号、ＶＰＤ判定部１４１からのＶＰＤ判定結果、およびＭＶ判定部１４２からのＭＶ判定結果から、図１５に示される統合判定アルゴリズムに従って、最終的なＡＦＦモードの判定結果を出力する。
【０１２８】
変更部１４４は、統合判定部１４３におけるＡＦＦモード判定に関する設定を変更する。例えば、ＶＰＤ判定部１４１におけるＶＰＤ判定結果とＭＶ判定部１４２におけるＭＶ判定結果とに対する重み（例えば、後述する式（７）における重みWvpd、Wmv）を映像符号化装置１の動作設定に応じて自動的に変更する場合が挙げられる。また、ユーザの入力操作を受け付けることによって手動でその都度変更される等となっていてもよい。
【０１２９】
以上説明したＡＦＦモード判定方法によれば、ＶＰＤ方式とＭＶ方式という原理の異なる２つのＡＦＦモード判定方式を組み合わせることで、それぞれの方式で不得意とする入力画像や符号化状況に対しても適切なモード選択を行うことができ、符号化効率を向上させることができる。
【０１３０】
ところで、ＶＰＤ方式とＭＶ方式においては、上記説明した方法以外にも、ＡＦＦモード判定に利用可能な情報や、ＡＦＦモード判定処理において生じる遅延などに応じて、様々なアルゴリズムを選択することが可能である。以下、ＡＦＦモード判定方法の変形例について説明する。
【０１３１】
（ＡＦＦモード判定方法の変形例）
以下では、統合判定部１４３にて実行される統合判定アルゴリズムにおいて重み付けを用いる方法（以下、「重み付け統合判定」という）について説明する。
【０１３２】
具体的には、統合判定部１４３は、ＶＰＤ方式のＦＲＭ符号化画素数とＦＬＤ符号化画素数、およびＭＶ方式のＦＲＭ符号化ＭＶ数とＦＬＤ符号化ＭＶ数を用いて、以下の判定式を用いてＡＦＦモード評価を行う。（下記式（７）において、WvpdはＶＰＤ方式に対する重み係数、WmvはＭＶ方式に対する重み係数）
【０１３３】
【数５】
統合判定部１４３は、最終的なＡＦＦモード判定結果として、上記式（７）の判定式が成立する場合には“フィールド符号化”を、成立しない場合には“フレーム符号化”を選択する。
【０１３４】
本例の重み付け統合判定によれば、画像サイズや符号化処理状況に応じて適切な重み係数WvpdとWmvを指定することで符号化処理効率を向上させることが可能となる。
【０１３５】
ところで、ＭＶ方式では画面間予測結果であるＭＶを判定に用いるため、符号化処理中のカレントピクチャのＭＶを使用することはできないという特徴がある。そのため、ＭＶ方式では、ＡＦＦモード判定を行うタイミングと画面間予測処理の動作タイミングとの間に存在する遅延が大きければ大きいほど前ピクチャの画面間予測結果を使用する必要がある。これにより、ＡＦＦモードの判定精度が落ちてしまう可能性がある。
【０１３６】
一方、ＶＰＤ方式では、入力画像９をＡＦＦモード判定に使用しているため、入力画像９を構成する画素を保持するための内部バッファを備える必要がある。また、ＡＦＦモード評価の評価単位に合わせて画素を保持するために、画像サイズが大きくなるとバッファも大きなものが必要になる、という特徴がある。
【０１３７】
そのため、ＶＰＤ方式では、使用可能な画素バッファ量が決まっている場合は画像サイズに応じて確保できる縦画素ライン数が変わるため、画像サイズが大きくなると確保できる縦ピクセルライン数が減少してしまい、ＡＦＦモード判定の精度が落ちてしまう可能性がある。
【０１３８】
そこで、統合判定アルゴリズムに重み付け統合判定を用いる際に、映像符号化装置１の動作時にユーザが要求する遅延量や画像サイズに応じて、重み付け統合判定のＶＰＤ方式とＭＶ方式の重み係数を変更部１４４によって変更することで、ＡＦＦモード判定の精度の低下を防止することが可能である。
【０１３９】
以下、重み係数の変更方法の一例について説明する。
【０１４０】
本例では、ＶＰＤ方式に影響を与える画像サイズは、１９２０×１０８０と７２０×４８０のいずれかが選択されるものとする。
【０１４１】
また、１９２０×１０８０で１ＭＢ毎に縦１画素ラインで１６画素分のバッファを持つとする。この場合、７２０×４８０の画像では画像サイズの比率が約１／６となるため、同じ容量のバッファにおいては、１ＭＢあたり縦６画素ラインで９６画素をバッファリングすることが可能となる。
【０１４２】
そのため、ＶＰＤ方式では画像サイズが１９２０×１０８０である場合よりも、画像サイズが７２０×４８０である場合の方が、高精度なＡＦＦモード判定が可能となる。
【０１４３】
そこで、例えば、ＶＰＤ方式の重み係数Wvpdに画像サイズ１９２０×１０８０の場合は“１”を、画像サイズ７２０×４８０の場合は“２”を指定すること等により、画像サイズによるＡＦＦモード判定の精度の違いに対応することが可能になる。
【０１４４】
また、本例では、ＭＶ方式に影響を与える遅延量は、１フレーム遅延と２フレーム遅延のいずれかが選択されるものとする。
【０１４５】
この時、１フレーム遅延の場合では、ＭＶ方式は、１フレーム＋１フレーム＝２フレーム前のピクチャの画面間予測結果のＭＶを使用する。一方で、２フレーム遅延では、ＭＶ方式は、１フレーム＋２フレーム＝３フレーム前のピクチャの画面間予測結果のＭＶを使用することとなる。
【０１４６】
したがって、ＭＶ方式では、２フレーム遅延の場合よりも１フレーム遅延の場合の方がより高精度なＡＦＦモード判定が可能となる。
【０１４７】
そこで、例えば、ＭＶ方式の重み係数Wmvに１フレーム遅延の場合は“４”を、２フレーム遅延の場合には“３”を指定すること等により、要求される遅延時間によって生じるＡＦＦモード判定の精度の違いに対応することが可能となる。
【０１４８】
このように、ＶＰＤ方式とＭＶ方式の重み付け統合判定に関して、各方式において影響のある映像符号化装置１の動作パラメータに応じて重み係数WvpdとWmvの値を変更部１４４で変更することで、より高精度なＡＦＦモード判定を行うことができ、符号化効率を向上することが可能となる。
【０１４９】
なお、重み付け統合判定の重み係数に影響を与える要素として、上記の変形例では遅延量と画素バッファ量を挙げたがこれに限定されるものではなく、ＶＰＤ方式とＭＶ方式の判定精度に影響を与える要素であれば他のものにも適用可能である。
【０１５０】
また、ＶＰＤ方式とＭＶ方式の重み係数WvpdとWmvの値についても、上記説明中に示した数値には限られず、他の値であってもよい。
【０１５１】
以上のＡＦＦモード判定方法によれば、必要な判定精度や符号化遅延に応じて２方式のＡＦＦモード判定の結果に重み付けをすることで、用途に応じた適切なＡＦＦモード判定方法を選択することが可能である。これにより、さらに符号化効率を向上させることが可能である。
（映像符号化装置のハードウェア構成）
図１７は、本実施形態による映像符号化装置のハードウェア構成の一例を示すブロック図である。図１７に示されるコンピュータ装置である映像符号化装置１において、ＣＰＵ３０１は、ＲＯＭ３０４および／またはハードディスクドライブ３０６に格納されたプログラムに従い、ＲＡＭ３０５を一次記憶用ワークメモリとして利用して、システム全体を制御する。
【０１５２】
これにより、上記説明した本実施形態に係る映像符号化装置における映像符号化部１１０、符号化制御部１３０、ＡＦＦモード判定部１４０、原画像生成部１５０、および再構成画像変換部１６０における処理が実現される。また、本実施形態に係る映像符号化装置における外部メモリ１２０は、ＲＡＭ３０５やハードディスクドライブ３０６等により実現可能である。
【０１５３】
また、上記説明した入力画像９、原画像１０、ストリーム１１、再構成画像１２、符号化設定情報Ｓ１、ＡＦＦモード判定情報Ｄ２１、画素情報Ｄ３１、ＭＶ（動きベクトル）情報Ｄ３２、ＭＶ閾値Ｄ３３、およびその他のデータは、ＲＡＭ３０５やハードディスクドライブ３０６等の記憶領域に記憶されるデータである。
【０１５４】
さらに、ＣＰＵ３０１は、マウス３０２ａまたはキーボード３０２を介して入力されるユーザの指示に従い、ハードディスクドライブ３０６に格納されたプログラムに基づき、本実施形態に係る映像符号化処理における各種データの設定変更等を実行する。ディスプレイインタフェース３０３には、ＣＲＴやＬＣＤなどのディスプレイが接続され、ＣＰＵ３０１が実行する映像符号化処理の設定変更画面、処理経過、処理結果等のユーザに対する情報等が表示される。
【０１５５】
リムーバブルメディアドライブ３０７は、主に、リムーバブルメディアからハードディスクドライブ３０６へファイルを書き込んだり、ハードディスクドライブ３０６から読み出したファイルをリムーバブルメディアへ書き込む場合に利用される。リムーバブルメディアとしては、フロッピディスク（ＦＤ）、ＣＤ−ＲＯＭ、ＣＤ−Ｒ、ＣＤ−Ｒ／Ｗ、ＤＶＤ−ＲＯＭ、ＤＶＤ−Ｒ、ＤＶＤ−Ｒ／Ｗ、ＤＶＤ−ＲＡＭやＭＯ、あるいはメモリカード、ＣＦカード、スマートメディア、ＳＤカード、メモリスティックなどが利用可能である。
【０１５６】
ネットワークインタフェース３０８は、コンピュータ装置である映像符号化装置１を外部のネットワークへ接続するためのインタフェースである。例えば、入力画像９はネットワークインタフェース３０８を介して映像符号化装置１に入力され、符号化処理後のストリーム１１はネットワークインタフェース３０８を介して映像符号化装置１から外部の装置等に出力される。
【０１５７】
なお、図１７に示した本実施形態に係る映像符号化装置のハードウェア構成は一例に過ぎず、その他の任意のハードウェア構成を用いることができることはいうまでもない。
（まとめ）
以上のとおり、本実施形態によれば、符号化効率を保ちつつ、符号化処理の処理量を削減することが可能である。
【０１５８】
なお、本発明の範囲は、図示され記載された例示的な実施形態に限定されるものではなく、本発明が目的とするものと均等な効果をもたらすすべての実施形態をも含む。さらに、本発明の範囲は、すべての開示されたそれぞれの特徴のうち特定の特徴のあらゆる所望する組み合わせによって画されうる。
【０１５９】
（付記）
以上に、本発明に係る実施形態について詳細に説明したことからも明らかなように、前述の実施形態の一部または全部は、以下の各付記のようにも記載することができる。しかしながら、以下の各付記は、あくまでも、本発明の単なる例示に過ぎず、本発明は、かかる場合のみに限るものではない。
【０１６０】
（付記１）
入力画像がインタレース画像である場合に、適応的フィールド・フレーム符号化（Ａｄａｐｔｉｖｅ−ＦｉｅｌｄＦｒａｍｅＣｏｄｉｎｇ）のモード判定を行うＡＦＦモード判定部と、
前記ＡＦＦモード判定部による前記モード判定の判定結果に応じて前記入力画像を符号化する映像符号化部と、
を有する映像符号化装置。
【０１６１】
この構成によれば、符号化効率を保ちつつ、符号化処理の処理量を削減することが可能である。
【０１６２】
（付記２）
前記ＡＦＦモード判定部は、前記入力画像のフィールド符号化時とフレーム符号化時における画素差分を比較することで前記モード判定を行うことを特徴とする付記１に記載の映像符号化装置。
【０１６３】
（付記３）
前記ＡＦＦモード判定部は、前記映像符号化部において符号化処理が行われたピクチャの画面間予測の結果である動きベクトル情報を用いて前記モード判定を行うことを特徴とする付記１又は２に記載の映像符号化装置。
【０１６４】
（付記４）
前記ＡＦＦモード判定部は、
前記入力画像のフィールド符号化時とフレーム符号化時における画素差分を比較することで適応的フィールド・フレーム符号化のモード判定を行うＶＰＤ（Ｖｅｒｔｉｃａｌ Ｐｉｘｅｌ Ｄｉｆｆｅｒｅｎｃｅ）判定部と、
前記映像符号化部において符号化処理が行われたピクチャの画面間予測の結果である動きベクトル情報を用いて適応的フィールド・フレーム符号化のモード判定を行うＭＶ（Ｍｏｔｉｏｎ Ｖｅｃｔｏｒ）判定部と、
前記ＶＰＤ判定部におけるモード判定結果と、前記ＭＶ判定部におけるモード判定結果とから、前記モード判定を行う統合判定部と、
を有する付記１から３のいずれか一項に記載の映像符号化装置。
【０１６５】
この構成によれば、ＶＰＤ方式とＭＶ方式という原理の異なる２つのＡＦＦモード判定方式を組み合わせることで、それぞれの方式で不得意とする入力画像や符号化状況に対しても適切なモード選択を行うことができ、符号化効率を向上させることができる。
【０１６６】
（付記５）
前記統合判定部は、前記ＶＰＤ判定部におけるモード判定結果と、前記ＭＶ判定部におけるモード判定結果とに対して重み付けを行うことで前記モード判定を行うことを特徴とする付記４に記載の映像符号化装置。
【０１６７】
この構成によれば、画像サイズや符号化処理状況に応じて適切な重み係数を指定することで符号化処理効率を向上させることが可能となる。
【０１６８】
（付記６）
前記ＡＦＦモード判定部は、
前記統合判定部における前記モード判定に関する設定を変更する変更部をさらに有する付記４又は５に記載の映像符号化装置。
【０１６９】
この構成によれば、ＶＰＤ方式とＭＶ方式の各方式において影響のある映像符号化装置の動作パラメータに応じて重み係数の値を変更することで、より高精度なＡＦＦモード判定を行うことができ、符号化効率を向上することが可能となる。
【０１７０】
（付記７）
ＡＦＦモード判定部と、映像符号化部と、を有する映像符号化装置が実行する映像符号化方法であって、
前記ＡＦＦモード判定部により、入力画像がインタレース画像である場合に、適応的フィールド・フレーム符号化（Ａｄａｐｔｉｖｅ−ＦｉｅｌｄＦｒａｍｅＣｏｄｉｎｇ）のモード判定を行う第１のステップと、
前記映像符号化部により、前記第１のステップにおける前記モード判定の判定結果に応じて前記入力画像を符号化する第２のステップと、
を有する映像符号化方法。
【０１７１】
この構成によれば、符号化効率を保ちつつ、符号化処理の処理量を削減することが可能である。
【０１７２】
（付記８）
コンピュータに、
入力画像がインタレース画像である場合に、適応的フィールド・フレーム符号化（Ａｄａｐｔｉｖｅ−ＦｉｅｌｄＦｒａｍｅＣｏｄｉｎｇ）のモード判定を行う第１のステップと、
前記第１のステップにおける前記モード判定の判定結果に応じて前記入力画像を符号化する第２のステップと、
を実行させるための映像符号化プログラム。
【０１７３】
この構成によれば、符号化効率を保ちつつ、符号化処理の処理量を削減することが可能である。
【符号の説明】
【０１７４】
１ 映像符号化装置
９ 入力画像
１０ 原画像
１１ ストリーム
１２、１２’ 再構成画像
１３ 画面内予測画像
１４ 画面間予測画像
１５ 予測画像
１６ 差分画像
１７ 復元差分画像
１１０ 映像符号化部
１２０ 外部メモリ
１３０ 符号化制御部
１４０ ＡＦＦモード判定部
１４１ ＶＰＤ判定部
１４１ａ ＶＰＤバッファ
１４２ ＭＶ判定部
１４２ａ ＭＶバッファ
１４３ 統合判定部
１４４ 変更部
１５０ 原画像生成部
１５１ 原画像変換部
１５２ 原画像用メモリ
１６０ 再構成画像変換部
１６１ 再構成画像ライト部
１６２ 再構成画像リード部
１７０ メモリバス
２１０ 画面内予測部
２２０ 画面間予測部
２３０ モード選択部
２４０ 直交変換部
２５０ 量子化部
２６０ 逆量子化部
２７０ 逆直交変換部
２８０ 可変長符号化部
３０２ キーボード
３０２ａ マウス
３０３ ディスプレイインタフェース
３０６ ハードディスクドライブ
３０７ リムーバブルメディアドライブ
３０８ ネットワークインタフェース
Ｄ１ 画面内予測情報
Ｄ２ 画面内予測誤差
Ｄ３ 画面間予測情報
Ｄ４ 画面間予測誤差
Ｄ６ 符号量情報
Ｄ７ 符号化モード選択情報
Ｄ８ 量子化係数
Ｄ９ 周波数成分
Ｄ１０ 量子化値
Ｄ１１ 復元周波数成分
Ｄ２１ モード判定情報
Ｄ３１ 画素情報
Ｄ３２ ＭＶ（動きベクトル）情報
Ｄ３３ ＭＶ（動きベクトル）閾値
Ｄ８１ 画面内予測情報
Ｄ８２ 画面内予測誤差
Ｄ８３ 画面間予測情報
Ｄ８４ 画面間予測誤差
Ｄ８６ 符号量情報
Ｄ８７ 符号化モード選択情報
Ｄ８８ 量子化係数
Ｄ８９ 周波数成分
Ｄ９０ 量子化値
Ｄ９１ 復元周波数成分
Ｓ１ 符号化設定情報
９０ 原画像
９１ ストリーム
９２ 再構成画像
９３ 画面内予測画像
９４ 画面間予測画像
９５ 予測画像
９６ 差分画像
９７ 復元差分画像
８１０ フレーム符号化を行う映像符号化部
８２０ フィールド符号化を行う映像符号化部
８３０ ＡＦＦモード選択部
８６０ ＰＡＦＦにおいてフレーム符号化を行う映像符号化部
８６１ ＭＢＡＦＦにおいてフレーム符号化を行う映像符号化部
８６２ ＭＢＡＦＦにおいてフィールド符号化を行う映像符号化部
８６３ ＭＢＡＦＦモード選択部
８７０ ＰＡＦＦにおいてフィールド符号化を行う映像符号化部
８８０ ＰＡＦＦモード選択部
９１０ 画面内予測部
９２０ 画面間予測部
９３０ モード選択部
９４０ 直交変換部
９５０ 量子化部
９６０ 逆量子化部
９７０ 逆直交変換部
９８０ 可変長符号化部
９９０ 符号化制御部
【技術分野】
【０００１】
本発明は、動画像を符号化する映像符号化装置に関し、特に、適応的フィールド・フレーム符号化を行う映像符号化装置に関する。
【背景技術】
【０００２】
近年、ブロードバンドネットワークの発達による動画配信コンテンツの増加や、ＤＶＤなどの大容量記憶媒体と大画面映像表示機器の利用などにより、動画符号化技術は必要不可欠な技術となっている。また、撮像デバイスや表示デバイスの高解像度化と共に、動画符号化技術において高解像度で符号化する技術も必要不可欠となっている。
【０００３】
符号化処理とは、映像符号化装置に入力される原画像をより少ないデータ量のストリームに変換する処理であるが、高解像度かつ高画質な符号化が可能な動画符号化技術の一つとして、国際標準であるＨ．２６４／ＡＶＣが存在する。Ｈ．２６４／ＡＶＣ符号化方式では、画面内予測（フレーム内予測）や画面間予測（フレーム間予測）等の予測技術を用いて符号化を行う。また、Ｈ．２６４／ＡＶＣによる符号化処理では、一般的には、原画像に対して１６×１６の画素で構成されるマクロブロック（以下、適宜「ＭＢ」という）と呼ばれる単位で処理が行われる。
【０００４】
ところで、Ｈ．２６４／ＡＶＣ符号化で用いられる予測方式には、主に画面内予測と画面間予測の二つの予測方式があるが、画面内予測では、予測の単位となるブロックのサイズや予測方向の組み合わせに応じて複数の予測方式が用意されている。画面間予測においても、予測の単位となるブロックのサイズに応じて複数の予測方式が用意されている。Ｈ．２６４／ＡＶＣでは、目標とする画質や符号量に応じてこれらの予測方式を動的に選択することで、高画質かつ高圧縮な符号化方式を実現している。
【０００５】
ここで、図１８を用いて、Ｈ．２６４／ＡＶＣ符号化の概要について説明する。図１８は、従来のＨ．２６４／ＡＶＣ符号化処理を行う映像符号化装置の構成を示す図である。
【０００６】
画面内予測を用いた符号化処理では、モード選択部９３０が画面内予測部９１０を選択する。そして、画面内予測部９１０、直交変換部９４０、量子化部９５０、および可変長符号化部９８０を経て、原画像９０からストリーム９１を得る。また、画面間予測を用いた符号化処理では、モード選択部９３０が画面間予測部９２０を選択する。そして、画面間予測部９２０、直交変換部９４０、量子化部９５０、および可変長符号化部９８０を経て、原画像９０からストリーム９１を得る。
【０００７】
画面内予測部９１０には、原画像９０および再構成画像９２が入力される。再構成画像９２は、逆直交変換部９７０から出力される復元差分画像９７と、モード選択部９３０によって出力される予測画像９５とが足し合わされて構成される画像である。
【０００８】
そして、原画像９０と再構成画像９２とから、画面内予測処理により適切な画面内予測モードを選択し、画面内予測モードのモード情報を表す画面内予測情報Ｄ８１、予測結果である画面内予測画像９３、および原画像９０と画面内予測画像９３との差分を表す画面内予測誤差Ｄ８２を生成する。また、画面内予測情報Ｄ８１には、画面内予測を行った際のブロックサイズを表す画面内予測ブロックタイプや、画面内予測の方向を表す画面内予測モード情報が含まれる。
【０００９】
画面間予測部９２０は、原画像９０と、その前後（過去または未来）の原画像から生成された再構成画像９２の入力を受け付け、画面間予測情報Ｄ８３、画面間予測画像９４、および原画像９０と画面間予測画像９４との差分を表す画面間予測誤差Ｄ８４を生成する。画面間予測情報Ｄ８３には、画面間予測を行った際のブロックサイズを表す画面間予測ブロックタイプや、動き補償を行った結果の動きベクトル情報が含まれる。
【００１０】
符号化制御部９９０は、画面内予測部９１０から入力される画面内予測誤差Ｄ８２、画面間予測部９２０から入力される画面間予測誤差Ｄ８４、および可変長符号化部９８０から入力される符号量情報Ｄ８６（後述）から、符号化モード選択アルゴリズムに従い、画面内予測および画面間予測のいずれかの符号化モードを決定する。そして、決定した符号化モードを示す符号化モード選択情報Ｄ８７をモード選択部９３０に出力する。また、レート制御アルゴリズムに従い、量子化係数Ｄ８８を決定し、量子化部９５０に出力する。
【００１１】
なお、符号化モード選択アルゴリズムおよびレート制御アルゴリズムは、ストリーム９１の符号量および画質に大きな影響を与えるため、符号化対象となる原画像９０の内容や映像符号化の用途によって様々な方式が存在している。
【００１２】
モード選択部９３０は、符号化制御部９９０から入力された符号化モード選択情報Ｄ８７に従い、画面内予測部９１０が選択されている場合は画面内予測画像９３を、画面間予測部９２０が選択されている場合は画面間予測画像９４を、予測画像９５として出力する。
【００１３】
直交変換部９４０は、原画像９０と予測画像９５との差分である差分画像９６から、直交変換処理によって周波数成分Ｄ８９を生成する。
【００１４】
量子化部９５０は、符号化制御部９９０から入力される量子化係数Ｄ８８と、直交変換部９４０から入力される周波数成分Ｄ８９とから量子化処理を行い、情報量を削減した量子化値Ｄ９０を出力する。
【００１５】
逆量子化部９６０は、量子化値Ｄ９０に対して逆量子化処理を行い、復元周波数成分Ｄ９１を生成する。
【００１６】
逆直交変換部９７０は、復元周波数成分Ｄ９１に対して逆直交変換処理を行い、復元差分画像９７を生成する。そして、生成された復元差分画像９７と、モード選択部９３０によって出力された予測画像９５とが足し合わされて、再構成画像９２として記憶される。
【００１７】
可変長符号化部９８０は、量子化値Ｄ９０と、画面内予測情報Ｄ８１もしくは画面間予測情報Ｄ８３を、より少ないデータ量のデータ列に符号化し、ストリーム９１として出力する。また、符号量情報Ｄ８６を符号化制御部９９０に出力する。符号量情報Ｄ８６は可変長符号化後のストリーム９１の符号量を示す情報である。
【００１８】
図１８に示される従来の映像符号化装置において、入力される原画像９０には、インタレース（Ｉｎｔｅｒｌａｃｅ）とプログレッシブ（Ｐｒｏｇｒｅｓｓｉｖｅ）の二種類が存在する。図１９は、インタレース（Ｉｎｔｅｒｌａｃｅ）とプログレッシブ（Ｐｒｏｇｒｅｓｓｉｖｅ）について説明する図である。
【００１９】
図１９（ａ）に示されるように、インタレースは、プログレッシブに対して画像縦方向１／２に間引いた画像によって構成され、画面上端から奇数ラインだけ抜き出したトップフィールド（ｔｏｐ−ｆｉｅｌｄ）と、偶数ラインだけ抜き出したボトムフィールド（ｂｏｔｔｏｍ−ｆｉｅｌｄ）とを交互に描画することで全体を表示する。
【００２０】
一方、図１９（ｂ）に示されるように、プログレッシブは、間引き処理されないフルサイズの画像によって構成される。
【００２１】
ところで、Ｈ．２６４／ＡＶＣでは、原画像９０がインタレースの場合に、符号化効率を向上させることが可能な適応型フィールド・フレーム符号化（Ａｄａｐｔｉｖｅ−ＦｉｅｌｄＦｒａｍｅＣｏｄｉｎｇ）（以下、「ＡＦＦ」という）と呼ばれる符号化ツールを備えている（例えば、特許文献１）。
【００２２】
図２０は、従来のＨ．２６４／ＡＶＣの適応型フィールド・フレーム符号化（ＡＦＦ）について説明する図である。ＡＦＦは、入力画像がインタレースの場合に、図２０（ａ）に示されるようにトップフィールドとボトムフィールドを一つのフレームとして符号化するフレーム符号化（ｆｒａｍｅ−ｃｏｄｉｎｇ）と、図２０（ｂ）に示されるようにトップフィールドとボトムフィールドを別々のピクチャとして符号化するフィールド符号化（ｆｉｅｌｄ−ｃｏｄｉｎｇ）とを、フレーム単位で切り替えながら符号化する符号化処理方法である。
【００２３】
映像の動きが小さい場合や明るさの変化がない場合など、トップフィールドとボトムフィールドに差が少ない場合は、フィールド符号化と比べてフレーム符号化の方が縦方向の画素密度が二倍になり画像内での画素相関が高くなる。よって、画面内予測の精度が向上し、符号化効率が向上することが期待できる。さらに、画面間予測においても、フィールド符号化と比べてフレーム符号化の方が、画素密度の向上により画素ブロックでの予測効率が向上するため、より大きな予測ブロックが選ばれやすくなり符号化効率が向上することが期待できる。
【００２４】
一方で、画像内の動きや明るさの変化が大きく、トップフィールドとボトムフィールドの画像間で変化が生じる場合には、フレーム符号化では画像内での画素相関が低くなる。よって、画面内予測および画面間予測のいずれにおいても、フレーム符号化を行うとフィールド符号化を行う場合よりも符号化効率が低下してしまう。
【００２５】
このように、Ｈ．２６４／ＡＶＣのＡＦＦを使用する場合は、符号化効率を向上させるために、画像の状況に応じてフィールド符号化とフレーム符号化とを適切に切り替えることが重要となる。
【００２６】
また、図２１は、従来のＡＦＦの符号化モード決定方法の概要を示す図である。従来のＨ．２６４／ＡＶＣの参照ソフトウェアＪＭなどでは、ＡＦＦの符号化モードを決定するためにマルチパス手法を用いていた。
【００２７】
具体的には、原画像９０をフレーム符号化用の映像符号化部８１０とフィールド符号化用の映像符号化部８２０の両方で符号化し、ＡＦＦモード選択部８３０でいずれか一方の出力ストリームを選択し、これを最終的なストリーム９１として出力する。
【００２８】
また、ＡＦＦには、ピクチャごとにフィールド符号化とフレーム符号化を切り替える方法と、マクロブロックごとにフィールド符号化とフレーム符号化を切り替える方法が存在する。前者はピクチャ適応型フィールド・フレーム符号化（ＰＡＦＦ）、後者はマクロブロック適応型フィールド・フレーム符号化（ＭＢＡＦＦ）と呼ばれる。
【００２９】
図２２は、従来のＰＡＦＦおよびＭＢＡＦＦにおける符号化モード決定方法の概要を示す図である。Ｈ．２６４／ＡＶＣ規格では、ＰＡＦＦとＭＢＡＦＦは入れ子の関係となっており、ＰＡＦＦでフレーム符号化が選択された場合のみＭＢＡＦＦを使用することができる関係となっている。ＰＡＦＦを使用する場合には、フレームに対して、映像符号化部８６０と映像符号化部８７０の二系統を用いて、映像符号化部８６０でフレーム符号化を、映像符号化部８７０でフィールド符号化を行う。そして、ＰＡＦＦモード選択部８８０において、フレームごとに、それぞれの符号化結果からどちらのＡＦＦ符号化モードの方が符号化効率が良くなるかを判定し、より効率の良い方の符号化結果を選択する。
【００３０】
ＰＡＦＦでフレーム符号化が選択された場合には、さらにＭＢＡＦＦを使用することができる。ＭＢＡＦＦを使用する場合にも同様に、映像符号化部として二系統の映像符号化部８６１、８６２を用いて、一方の映像符号化部８６１でフレーム符号化を、他方の映像符号化部８６２でフィールド符号化を行い、１６×３２（横画素数×縦画素数。以下同様。）のスーパーＭＢごとに、それぞれの符号化結果からどちらのＡＦＦ符号化モードの方が、符号化効率が良くなるかを判定し、より効率の良い方の符号化結果をＭＢＡＦＦモード選択部８６３で選択する。
【００３１】
そして、ＭＢＡＦＦモード選択部８６３およびＰＡＦＦモード選択部８８０で、それぞれ、１６×３２のスーパーＭＢごと、フレームごとにいずれか一方の出力ストリームを選択し、これを最終的なストリーム９１として出力する。
【先行技術文献】
【特許文献】
【００３２】
【特許文献１】特開２００８−２８３５９５号公報
【発明の概要】
【発明が解決しようとする課題】
【００３３】
しかしながら、従来の符号化方法では、１つの入力画像に対して、フレーム単位もしくは１６×３２画素ブロック単位で、フレーム符号化とフィールド符号化という処理の異なる符号化を複数回行う必要があった。これにより、ＡＦＦを使用した場合は、使用しない場合に比べて処理量が２倍以上に増加してしまうという課題があった。
【００３４】
そこで、本発明は、このような課題に鑑み、適応的フィールド・フレーム符号化（ＡＦＦ）を行う映像符号化装置であって、ＡＦＦを使用する場合における符号化処理の処理量を削減することが可能な映像符号化装置を提供することを目的とする。
【課題を解決するための手段】
【００３５】
上記課題を解決するために、本発明の一態様によれば、入力画像がインタレース画像である場合に、適応的フィールド・フレーム符号化（Ａｄａｐｔｉｖｅ−ＦｉｅｌｄＦｒａｍｅＣｏｄｉｎｇ）のモード判定を行うＡＦＦモード判定部と、前記ＡＦＦモード判定部による前記モード判定の判定結果に応じて前記入力画像を符号化する映像符号化部と、を有する映像符号化装置が提供される。
【００３６】
この構成によれば、符号化効率を保ちつつ、符号化処理の処理量を削減することが可能である。
【００３７】
本発明の他の態様によれば、前記ＡＦＦモード判定部は、前記入力画像のフィールド符号化時とフレーム符号化時における画素差分を比較することで前記モード判定を行うことを特徴とする映像符号化装置が提供される。
【００３８】
本発明の他の態様によれば、前記ＡＦＦモード判定部は、前記映像符号化部において符号化処理が行われたピクチャの画面間予測の結果である動きベクトル情報を用いて前記モード判定を行うことを特徴とする映像符号化装置が提供される。
【発明の効果】
【００３９】
本発明によれば、符号化効率を保ちつつ、符号化処理の処理量を削減することが可能である。
【図面の簡単な説明】
【００４０】
【図１】本発明の一実施形態に係る映像符号化装置における符号化方法の概念を示す図である。
【図２】本発明の一実施形態に係る映像符号化装置の構成の一例を示す図である。
【図３】映像符号化部１１０の構成の一例を示す図である。
【図４】原画像生成部１５０の動作を説明する図である。
【図５】原画像生成部１５０の構成の一例を示す図である。
【図６】再構成画像変換部１６０の動作（ライト）を説明する図である。
【図７】再構成画像変換部１６０の動作（リード）を説明する図である。
【図８】再構成画像変換部１６０の構成の一例を示す図である。
【図９】ＶＰＤ方式におけるＦＲＭ差分とＦＬＤ差分の算出において用いられる画素の並び順の一例を示す図である。
【図１０】ＶＰＤ方式のＡＦＦモード判定の処理フローの一例を示すフロー図である。
【図１１】ＶＰＤ方式におけるＦＲＭ差分とＦＬＤ差分の算出において用いられる画素の並び順の一例を示す図である。
【図１２】ＶＰＤ方式におけるＦＲＭ差分とＦＬＤ差分の算出において用いられる画素の並び順の一例を示す図である。
【図１３】ＭＶ方式の８×８画素ブロック単位のＭＶ導出の概念を示す図である。
【図１４】ＭＶ方式のＡＦＦモード判定の処理フローの一例を示すフロー図である。
【図１５】ＡＦＦモードの統合判定の処理フローの一例を示すフロー図である。
【図１６】ＡＦＦモード判定部１４０の構成の一例を示す図である。
【図１７】本発明の一実施形態に係る映像符号化装置のハードウェア構成の一例を示すブロック図である。
【図１８】従来のＨ．２６４／ＡＶＣ符号化処理を行う映像符号化装置の構成を示す図である。
【図１９】インタレース（Ｉｎｔｅｒｌａｃｅ）とプログレッシブ（Ｐｒｏｇｒｅｓｓｉｖｅ）について説明する図である。
【図２０】従来のＨ．２６４／ＡＶＣの適応型フィールド・フレーム符号化について説明する図である。
【図２１】従来のＡＦＦの符号化モード決定方法の概要を示す図である。
【図２２】従来のＰＡＦＦおよびＭＢＡＦＦにおける符号化モード決定方法の概要を示す図である。
【発明を実施するための形態】
【００４１】
以下、本発明の実施形態について、図面を参照して説明する。なお、以下の説明において参照する各図では、他の図と同等部分は同一符号によって示される。
【００４２】
（符号化方法の概念）
図１は、本実施形態に係る映像符号化装置における符号化方法の概念を示す図である。
【００４３】
本実施形態に係る符号化方法では、映像符号化装置に入力される原画像１０の符号化を行う（Ｓ０２）前に、フレーム符号化とフィールド符号化のいずれの方法で符号化した方が、符号化効率が良いかを判定するＡＦＦモード判定を行い（Ｓ０１）、このＡＦＦモード判定の結果に従ってフレーム符号化かフィールド符号化のいずれか一方のみの符号化を行う。
【００４４】
これにより、従来の符号化方法に対して符号化効率をほとんど落とすことなく、符号化処理の処理量を削減することができる。
【００４５】
（映像符号化装置の構成）
図２は、本実施形態に係る映像符号化装置の構成の一例を示す図である。映像符号化装置１は、Ｈ．２６４／ＡＶＣ符号化を行う映像符号化部１１０、再構成画像を蓄積する外部メモリ１２０、符号化モードの決定などを行う符号化制御部１３０、ＡＦＦモードの判定を行うＡＦＦモード判定部１４０、判定されたＡＦＦモードに基づいて入力画像９から原画像１０を生成する原画像生成部１５０、映像符号化部１１０と外部メモリ１２０との間でＡＦＦモードに合わせて再構成画像を変換する再構成画像変換部１６０、および再構成画像変換部１６０と外部メモリ１２０との間を仲介するメモリバス１７０を含んで構成される。
【００４６】
映像符号化部１１０は、原画像生成部１５０から１６×１６画素のマクロブロック（ＭＢ）単位で出力される原画像１０を受け付け、符号化制御部１３０から出力される符号化モード情報に従って画面間予測もしくは画面内予測によるＨ．２６４／ＡＶＣ符号化を行い、ストリーム１１を出力する。
【００４７】
符号化制御部１３０は、映像符号化装置１の外部からの符号化設定情報Ｓ１の入力を受け付けるとともに、映像符号化部１１０からの符号化に関する情報の入力を受け付ける。符号化設定情報Ｓ１は、映像符号化部１１０の動作を制御するための情報である。また、映像符号化部１１０に画面間予測もしくは画面内予測のいずれかの符号化モードを示す符号化モード選択情報を出力する。
【００４８】
ＡＦＦモード判定部１４０は、映像符号化装置１の外部から入力される入力画像９、映像符号化部１１０から入力される動きベクトル（ＭＶ）情報に基づいて、ＡＦＦモード判定を行い、判定結果をＡＦＦモード判定情報として出力する。
【００４９】
原画像生成部１５０は、ＡＦＦモード判定部１４０から出力されるＡＦＦモード判定情報に基づいて、映像符号化装置１の外部から入力される入力画像９を変換し、原画像１０を生成して映像符号化部１１０に出力する。
【００５０】
再構成画像変換部１６０は、映像符号化部１１０から外部メモリ１２０に対して再構成画像のデータが書き込み・読み出しが行われる際に、ＡＦＦモード判定部１４０から出力されるＡＦＦモード判定情報に基づいて再構成画像のデータの変換を行う。
【００５１】
外部メモリ１２０は、映像符号化部１１０が一時的に再構成画像を蓄積するために用いられるメモリである。すなわち、外部メモリ１２０は、メモリバス１７０を経由して、映像符号化部１１０から出力される再構成画像をバッファリングする。外部メモリ１２０は、例えばＤＲＡＭ等の揮発性メモリで構成される。
【００５２】
以下、主要な構成について詳述する。
【００５３】
（映像符号化部１１０）
以下、映像符号化部１１０について詳述する。図３は、映像符号化部１１０の構成の一例を示す図である（なお、図３においては映像符号化部１１０とその他の構成との関連性を示すために、映像符号化部１１０以外の構成も示されている）。
【００５４】
図３に示されるように、映像符号化部１１０は、画面内予測部２１０、画面間予測部２２０、モード選択部２３０、直交変換部２４０、量子化部２５０、逆量子化部２６０、逆直交変換部２７０、および可変長符号化部２８０を含んで構成される。
【００５５】
画面内予測部２１０は、原画像生成部１５０（図２）から出力される原画像１０が入力されるととともに、カレントＭＢ（符号化処理中のマクロブロック）の周囲の再構成画像１２が入力され、画面内予測情報Ｄ１、画面内予測結果である画面内予測画像１３、および原画像１０と画面内予測画像１３との差分を表す画面内予測誤差Ｄ２を生成する。そして、画面内予測情報Ｄ１は可変長符号化部２８０に、画面内予測画像１３はモード選択部２３０に、画面内予測誤差Ｄ２は符号化制御部１３０に、それぞれ出力する。
【００５６】
画面間予測部２２０は、原画像生成部１５０（図２）から出力される原画像１０が入力されるとともに、再構成画像変換部１６０において過去または未来の原画像１０（処理中の原画像１０よりも前または後に入力された原画像１０）から生成された再構成画像１２’が入力される。なお、この再構成画像１２’は、メモリコントローラ（再構成画像変換部１６０）が、外部メモリ１２０に保存されている再構成画像１２を読み出すものである。
【００５７】
そして、動きベクトル情報を含む画面間予測情報Ｄ３、画面間予測結果である画面間予測画像１４、および原画像１０と画面間予測画像１４との差分を表す画面間予測誤差Ｄ４を生成する。そして、画面間予測情報Ｄ３は可変長符号化部２８０に、画面間予測画像１４はモード選択部２３０に、画面間予測誤差Ｄ４は符号化制御部１３０に、それぞれ出力する。
【００５８】
なお、符号化制御部１３０は、画面内予測部２１０から出力される画面内予測誤差Ｄ２、画面間予測部２２０から出力される画面間予測誤差Ｄ４、および可変長符号化部２８０から出力される符号量情報Ｄ６から、符号化モード選択アルゴリズムに従って符号化モード（画面間予測もしくは画面内予測）を決定し、決定した符号化モードを示す符号化モード選択情報Ｄ７をモード選択部２３０に出力する。また、レート制御アルゴリズムに従って量子化係数Ｄ８を決定し、量子化部２５０に出力する。
【００５９】
符号化制御部１３０で用いられる符号化モード選択アルゴリズムおよびレート制御アルゴリズムは、ストリームの符号量および画質に大きな影響を与えるため、符号化対象となる原画像１０の内容や映像符号化の用途によって様々な方式が存在する。
【００６０】
モード選択部２３０は、符号化制御部１３０から入力された画面内予測および画面間予測のいずれかの符号化モードを示す符号化モード選択情報Ｄ７に従い、符号化モード選択情報Ｄ７において画面内予測が選択されている場合は画面内予測画像１３を、画面間予測が選択されている場合は画面間予測画像１４を、予測画像１５として出力する。
【００６１】
直交変換部２４０は、原画像１０と予測画像１５との差分である差分画像１６に対して直交変換処理を行って周波数成分Ｄ９を生成し、量子化部２５０に出力する。
【００６２】
量子化部２５０は、符号化制御部１３０から出力される量子化係数Ｄ８と、直交変換部２４０から出力される周波数成分Ｄ９とから量子化処理を行い、情報量を削減した量子化値Ｄ１０を出力する。
【００６３】
逆量子化部２６０は、量子化値Ｄ１０に対して逆量子化処理を行い、復元周波数成分Ｄ１１を生成して逆直交変換部２７０に出力する。
【００６４】
逆直交変換部２７０は、復元周波数成分Ｄ１１に対して逆直交変換処理を行い、復元差分画像１７を生成して出力する。なお、この復元差分画像１７と、モード選択部２３０によって選択された予測画像１５とが足し合わされて再構成画像１２が生成され、生成された再構成画像１２は外部メモリ１２０に記憶される。
【００６５】
可変長符号化部２８０は、量子化値Ｄ１０と、画面内予測情報Ｄ１又は画面間予測情報Ｄ３とを、より少ないデータ量のデータ列に符号化し（可変長符号化）、ストリーム１１として出力するとともに、符号量情報Ｄ６を符号化制御部１３０に出力する。符号量情報Ｄ６は可変長符号化後のストリーム１１の符号量を示す情報である。
【００６６】
（原画像生成部１５０）
以下、原画像生成部１５０について詳述する。図４は、原画像生成部１５０の動作を説明する図である。
【００６７】
上述したように、映像符号化部１１０では、１６×１６画素のＭＢ単位で符号化処理が行われる。そこで、原画像生成部１５０は、ＡＦＦモード判定部１４０から出力されるＡＦＦモード判定情報を受け付け、このＡＦＦモード判定情報により示されるＡＦＦモード判定結果に応じて入力画像９を変換し、ＭＢ単位の原画像１０として出力する。
【００６８】
入力画像９がインタレース画像の場合は、ＡＦＦモード判定部１４０のＡＦＦモード判定結果に応じて出力する原画像１０を生成する。この時、ＡＦＦモード判定結果がフィールド符号化を示している場合は、入力画像９のトップフィールドとボトムフィールドのどちらか一方から１６×１６画素を切り出してＭＢ単位の原画像１０として出力する（図４（ａ））。
【００６９】
一方で、ＡＦＦモード判定結果がフレーム符号化を示している場合は、トップフィールドとボトムフィールドの両方から１６×８画素を切り出し、トップフィールドとボトムフィールドを１ライン毎に交互に並べて１６×１６画素に変換してからＭＢ単位の原画像１０として出力する（図４（ｂ））。
【００７０】
なお、入力画像９がプログレッシブ画像の場合はＡＦＦ処理が行われないため、ＡＦＦモード判定結果によらず、１６×１６画素をそのまま切り出してＭＢ単位の原画像１０として出力する。
【００７１】
図５は、原画像生成部１５０の構成の一例を示す図である。原画像生成部１５０は、原画像変換部１５１と、原画像用メモリ１５２とを含んで構成される。
【００７２】
原画像用メモリ１５２は、入力画像９がインタレース画像の場合にのみ使用されるメモリであり、原画像１０を１フィールド分バッファリングするためのメモリである。
【００７３】
原画像変換部１５１は、ＡＦＦモード判定部１４０（図２）から出力されるＡＦＦモード判定情報Ｄ２１に応じて入力画像９を変換する。具体的には、入力画像９がインタレース画像であり、かつＡＦＦモード判定情報Ｄ２１においてフィールド符号化モードが選択されている場合は、原画像用メモリ１５２から入力画像９のトップフィールドもしくはボトムフィールドのいずれか一方から１６×１６画素分を読み出してＭＢ単位の原画像１０として出力する。
【００７４】
一方、入力画像９がインタレース画像であり、ＡＦＦモード判定情報Ｄ２１においてフレーム符号化モードが選択されている場合は、原画像用メモリ１５２から入力画像９のトップフィールドとボトムフィールドとを、それぞれ１６×８画素分読み出し、トップフィールドとボトムフィールドとを１ラインごとに交互に並べて１６×１６画素でＭＢ単位の原画像１０として出力する。
【００７５】
なお、原画像変換部１５１は、入力された入力画像９がプログレッシブ画像の場合は、入力画像９を１６×１６画素でそのまま原画像１０として出力する。
【００７６】
（再構成画像変換部１６０）
以下、再構成画像変換部１６０について詳述する。図６および図７は、再構成画像変換部１６０の動作を説明する図である。再構成画像変換の動作のうち、再構成画像１２のライト（書き込み）に関わるものを図６に、再構成画像１２のリード（読み出し）に関わるものを図７に示す。
【００７７】
再構成画像変換部１６０は、ＡＦＦモード判定部１４０から出力されるＡＦＦモード判定情報Ｄ２１に応じて、映像符号化部１１０から出力される再構成画像１２を変換して外部メモリ１２０に書き出す一方で、外部メモリ１２０から適切なタイミングで読み出した再構成画像１２を変換して映像符号化部１１０に供給する動作を行う。
【００７８】
（ライト動作）
入力画像９がプログレッシブ画像か、もしくは入力画像９がインタレース画像でかつＡＦＦモード判定情報Ｄ２１がフィールド符号化モードを示している場合は、再構成画像１２を変換せずにそのまま外部メモリ１２０に書き出す（図６（ｂ））。
【００７９】
一方で、入力画像９がインタレース画像でかつＡＦＦモード判定情報Ｄ２１がフレーム符号化を示している場合は、再構成画像１２をトップフィールドとボトムフィールドに分割して外部メモリ１２０に書き出す（図６（ａ））。
【００８０】
（リード動作）
入力画像９がプログレッシブ画像か、もしくは入力画像９がインタレース画像でかつＡＦＦモード判定情報Ｄ２１がフィールド符号化モードを示している場合は、そのまま外部メモリ１２０から再構成画像１２を読み出す（図７（ｂ））。
【００８１】
一方で、入力画像９がインタレース画像でかつＡＦＦモード判定情報Ｄ２１がフレーム符号化を示している場合は、トップフィールド用とボトムフィールド用の２つのメモリ領域から画像データを読み出し、１ラインごとに交互に並び替えを行うことで１枚の再構成画像１２として出力する（図７（ａ））。
【００８２】
図８は、再構成画像変換部１６０の構成の一例を示す図である。再構成画像変換部１６０は、再構成画像ライト部１６１と、再構成画像リード部１６２とを含んで構成される。
【００８３】
再構成画像ライト部１６１は、ＡＦＦモード判定情報Ｄ２１の入力を受け付け、このＡＦＦモード判定情報Ｄ２１に応じて映像符号化部１１０から出力される再構成画像１２を変換し外部メモリ１２０に書き出す。具体的には、入力画像９がインタレース画像で、かつＡＦＦモード判定情報Ｄ２１がフレーム符号化モードを示している場合は、受け付けた再構成画像１２をトップフィールドとボトムフィールドとに分割して外部メモリ１２０に書き出す。
【００８４】
一方で、入力画像９がプログレッシブ画像か、もしくは入力画像９がインタレース画像でかつＡＦＦモード判定情報Ｄ２１がフィールド符号化モードを示している場合には、再構成画像１２をそのまま外部メモリ１２０に書き出す。
【００８５】
再構成画像リード部１６２は、ＡＦＦモード判定情報Ｄ２１に応じて外部メモリ１２０から読み出した再構成画像１２を変換し、映像符号化部１１０に出力する。具体的には、再構成画像リード部１６２は、入力画像９がインタレース画像でかつＡＦＦモード判定情報Ｄ２１がフレーム符号化モードを示している場合は、外部メモリ１２０からトップフィールドとボトムフィールドの同じ画素位置から画素値を読み出し、１ラインごとに交互に並べて再構成画像１２として出力する。
【００８６】
一方で、入力画像９がプログレッシブ画像か、入力画像９がインタレース画像でかつＡＦＦモード判定情報がフィールド符号化モードを示している場合には、外部メモリ１２０から読み出した再構成画像１２をそのまま映像符号化部１１０へ出力する。
【００８７】
（ＡＦＦモード判定部１４０）
以下、ＡＦＦモード判定部１４０におけるＡＦＦモード判定のアルゴリズムについて説明する。
【００８８】
本実施形態においては、ＡＦＦモード判定アルゴリズムには、一例として、入力画像９のテクスチャ情報を用いるＶＰＤ（Ｖｅｒｔｉｃａｌ Ｐｉｘｅｌ Ｄｉｆｆｅｒｅｎｃｅ）方式と、画面間予測部２２０から出力される動きベクトル（ＭＶ）情報を用いるＭＶ方式の２方式を利用する。
【００８９】
そして、ＡＦＦモード判定部１４０では、この２つの方式によってＡＦＦモード判定を行った上で、これらの判定結果を統合して最終的なＡＦＦモードを決定してＡＦＦモード判定情報を出力する。
【００９０】
（ＶＰＤ方式）
まず、ＡＦＦモード判定アルゴリズムのうち、入力画像９のテクスチャ情報に基づいてＡＦＦモード判定を行うＶＰＤ方式について説明する。
【００９１】
ＶＰＤ方式は、入力画像９のテクスチャ情報から画素単位でフレーム差分（以下、「ＦＲＭ差分」という）とフィールド差分（以下、「ＦＬＤ差分」という）の２つの特徴量を計算し、これらの計算結果を比較することでＡＦＦモード判定を行う方式である。
【００９２】
図９に示されるように、以下に説明するＶＰＤ方式では、一例として、画像中、縦方向において同じ位置に並ぶ各フィールドの画素T1、B1、T2、B2、T3、B3、・・・の画素値を用いてＦＲＭ差分とＦＬＤ差分とを算出する。具体的には、ＦＲＭ差分とＦＬＤ差分は以下の式（１）、式（２）によって算出することが可能である。なお、以下の算出式は、画素Bnの位置に対して画素差分により各特徴量（ＦＲＭ差分、ＦＬＤ差分）を算出するものである。（式（１）、式（２）において、VTnは画素Tnの画素値、VBnは画素Bnの画素値、abs(x)はxの絶対値である。）
【００９３】
【数１】
ＶＰＤ方式のＡＦＦモード判定の処理フローの一例を図１０に示す。
【００９４】
まず、初期値として、ＦＲＭ符号化画素数＝０、ＦＬＤ符号化画素数＝０、と設定する（ステップＳ１２０１）。
【００９５】
上記の式（１）、式（２）によりＦＲＭ差分値とＦＬＤ差分値を計算する（ステップＳ１０２）。ステップＳ１０２で算出されたＦＲＭ差分とＦＬＤ差分とを比較し、ＦＲＭ差分値≧ＦＬＤ差分値であれば（ステップＳ１０３）、ＦＬＤ符号化画素数を１加算し（ステップＳ１０４）、ＦＲＭ差分＜ＦＬＤ差分であれば（ステップＳ１０３）、ＦＲＭ符号化画素数を１加算する（ステップＳ１０５）。
【００９６】
ピクチャ適応型フィールド・フレーム符号化（ＰＡＦＦ）における判定ならば１フレーム、マクロブロック適応型フィールド・フレーム符号化（ＭＢＡＦＦ）における判定ならば１６×３２画素の評価対象範囲内の画素値に対してステップＳ１０２〜ステップＳ１０５の処理を繰り返す（ステップＳ１０６）。
【００９７】
上記の評価対象の評価が完了した場合には、ＦＲＭ符号化画素数とＦＬＤ符号化画素数とを比較し、ＦＲＭ符号化画素数≧ＦＬＤ符号化画素数であれば（ステップＳ１０７）、“フレーム符号化”をＶＰＤ判定結果として出力し（ステップＳ１０８）、ＦＲＭ符号化画素数＜ＦＬＤ符号化画素数であれば（ステップＳ１０７）、“フィールド符号化”をＶＰＤ判定結果として出力する（ステップＳ１０９）。ここで出力されたＶＰＤ判定結果は、後述する統合判定に用いられる。
【００９８】
なお、上記のＶＰＤ方式におけるＦＲＭ差分とＦＬＤ差分を算出する式（１）および式（２）は、フレーム符号化時とフィールド符号化時のテクスチャの差分を計算することがその目的である。よって、この目的に沿うものであれば上記の式（１）および式（２）とは異なる計算式を用いても有効である。例えば、以下のような計算式を採用してもよい。以下の式（３）および式（４）は、画素Bnの位置に対して画素差分により各特徴量（ＦＲＭ差分、ＦＬＤ差分）を算出するものである。
【００９９】
【数２】
さらに、このＶＰＤ方式のＦＲＭ差分とＦＬＤ差分の上記算出式（１）〜（４）で計算に用いる画素値は、フレーム符号化時とフィールド符号化時のテクスチャの差分を計算するために用いられるものである。よって、この目的に沿うものであれば、必ずしも画像中、縦方向に並ぶ画素の画素値である必要はなく、例えば、図１１に示されるように、画像中において斜め方向に並ぶ画素T1、B1、T2、B2、T3、B3、・・・の画素値であっても有効である。
【０１００】
また、同様に、図１２に示されるように、画像中、異なる複数の方向２１〜２５に並ぶ画素列の中から、最も画素差分が小さくなる画素列の画素差分を特徴量として用いる方法も有効である。このように、画素差分が小さくなる方向の画素差分を特徴量として用いることにより、評価画素内にエッジがある場合にエッジに沿った特徴量を判定に用いることで、一般に人間の目で注視されやすいエッジの画質を向上させることができるという利点がある。
【０１０１】
（ＭＶ方式）
ＭＶ方式は、画面間予測部２２０から前ピクチャの動きベクトル（以下、「ＭＶ」という）の入力を受け付け、この動きベクトルの大きさと閾値（以下、「ＭＶ閾値」という）とを比較することでＡＦＦモード判定を行う方式である。以下、ＭＶ方式によるＡＦＦモード判定について説明する。
【０１０２】
まず、ＡＦＦモード判定部１４０は、画面間予測部２２０からＭＶ（動きベクトル）を取得する。このとき、ＭＶは８×８画素ブロック単位などに統一する。図１３は、ＭＶ方式の８×８画素ブロック単位のＭＶ導出の概念を示す図である。
【０１０３】
具体的には、１６×１６画素ブロックのＭＶが１つである場合は、各８×８画素ブロックに対して１６×１６画素ブロックのＭＶを割り当てる（図１３（ａ））。８×１６画素ブロックもしくは１６×８画素ブロックのＭＶについては、各８×８画素ブロックの個数分のＭＶを割り当てる（図１３（ｂ））。
【０１０４】
４×４画素ブロック、４×８画素ブロック、８×４画素ブロックについては、８×８画素ブロックごとに内部に含まれる４×４画素ブロック単位のＭＶを平均してＭＶを求める（図１３（ｃ））。
【０１０５】
なお、ＭＶはフレーム符号化されたものとフィールド符号化されたものの、どちらでもよい。また、ＭＶの取得単位は、図１３の例では８×８画素ブロックとしたが、これに限らず、４×４画素ブロック単位や１６×１６画素ブロック単位などでも構わない。
【０１０６】
次に、以下の式（５）により動きベクトルコストMVCostを計算する。
【０１０７】
【数３】
式（５）において、MVxはＸ座標のＭＶ、MVyはＹ座標のＭＶであり、WxとWyはそれぞれMVxとMVyの重みである。重みWxとWyは任意の値を設定可能とするが、ＡＦＦモード判定では、画像中の縦方向の動きのほうが横方向の動きよりも重要となるため、Wx＝０．５、Wy＝１、等とWyをWxよりも大きな値に設定するのが好ましい。
【０１０８】
ＭＶ方式のＡＦＦモード判定の処理フローの一例を図１４に示す。
【０１０９】
まず、初期値として、ＦＲＭ符号化ＭＶ数＝０、ＦＬＤ符号化ＭＶ数＝０、と設定する（ステップＳ２０１）。
【０１１０】
次に、上記式（５）により動きベクトルコストMVCostを算出する（ステップＳ２０２）。MVCost＜ＭＶ閾値である場合は（ステップＳ２０３）、ＦＲＭ符号化ＭＶ数を１インクリメントし（ステップＳ２０５）、MVCost≧ＭＶ閾値の場合は（ステップＳ２０３）、ＦＬＤ符号化ＭＶ数を１インクリメントする（ステップＳ２０４）。この方式では、縦方向の動きの大きい画像ではＦＲＭ符号化よりもＦＬＤ符号化の方が符号化効率が高くなることを利用して、ＦＲＭ符号化とＦＬＤ符号化のどちらに適した動きベクトルが多いのかを評価することを意図している。なお、ステップＳ２０３におけるＭＶ閾値は、画像サイズによって適当な値が異なるため、映像符号化装置１の外部の装置等から設定可能とするのが好ましい。
【０１１１】
ピクチャ適応型フィールド・フレーム符号化（ＰＡＦＦ）における判定ならば１フレーム、マクロブロック適応型フィールド・フレーム符号化（ＭＢＡＦＦ）における判定ならば１６×３２画素の評価対象範囲内の画素ブロックが有するＭＶに対してステップＳ０２２〜ステップＳ２０５の処理を繰り返す（ステップＳ２０６）。
【０１１２】
上記の評価対象の評価が完了した場合には、ＦＬＤ符号化ＭＶ数とＦＲＭ符号化ＭＶ数とを比較し、ＦＲＭ符号化ＭＶ数≧ＦＬＤ符号化ＭＶ数であれば（ステップＳ２０７）、“フレーム符号化”をＭＶ判定結果として出力し（ステップＳ２０８）、ＦＲＭ符号化ＭＶ数＜ＦＬＤ符号化ＭＶ数であれば（ステップＳ２０７）、“フィールド符号化”をＭＶ判定結果として出力する（ステップＳ２０９）。なお、ここで出力されたＭＶ判定結果は、後述する統合判定に用いられる。
【０１１３】
また、上記のMVCostを計算するための式（５）は、ＭＶの大きさを計算することがその目的である。よって、ＭＶの大きさを計算可能な式であれば異なる計算式を用いてもよい。例えば、以下のような計算式を採用しても構わない。
【０１１４】
【数４】
【０１１５】
上記に説明したＭＶ方式は、従来の映像符号化装置と同様の仕組みを利用できるため、実装コストが低く、従来の映像符号化装置と比較しても処理量の増加はほとんど無いという利点がある。
【０１１６】
（ＶＰＤ方式とＭＶ方式の統合判定）
本実施形態においては、ＡＦＦモード判定部１４０では、上述したＶＰＤ方式とＭＶ方式によりＡＦＦモードの判定を行った後、これらの判定結果を統合して最終的なＡＦＦモードを決定する。
【０１１７】
図１５は、統合判定の処理フローの一例を示すフロー図である。
【０１１８】
まず、ＶＰＤ判定結果を取得する（ステップＳ３０１）。本ステップでの処理は、具体的には図１０に示される処理である。また、ＭＶ判定結果を取得する（ステップＳ３０２）。本ステップでの処理は、具体的には図１４に示される処理である。
【０１１９】
ここで、ＡＦＦモード判定部１４０では、ステップＳ３０１で取得されたＶＰＤ判定結果を有効とするか無効とするかを示すＶＰＤイネーブル（ＶＰＤ判定フラグ）と、ステップＳ３０２で取得されたＭＶ判定結果を有効とするか無効とするかを示すＭＶイネーブル（ＭＶ判定フラグ）を有している。以下の処理においては、ＶＰＤ判定結果、ＭＶ判定結果、ＶＰＤ判定フラグ、およびＭＶ判定フラグの内容に応じて最終的なＡＦＦモード判定が行われる（ステップＳ３０３、Ｓ３０４）。
【０１２０】
すなわち、ＶＰＤ判定結果とＭＶ判定結果の双方が“フレーム符号化”であれば、最終的なＡＦＦモード判定結果として“フレーム符号化”を出力する（ステップＳ３０５）。
【０１２１】
ＶＰＤ判定結果が“フレーム符号化”であり、かつＭＶ判定結果が“フィールド符号化”の場合であって、ＶＰＤ判定フラグが有効の場合は“フレーム符号化”を出力し（ステップＳ３０５）、無効の場合は“フィールド符号化”を出力する（ステップＳ３０６）。
【０１２２】
ＶＰＤ判定結果が“フィールド符号化”であり、かつＭＶ判定結果が“フレーム符号化”の場合であって、ＭＶ判定フラグが有効の場合は“フレーム符号化”を出力し（ステップＳ３０５）、ＭＶ判定フラグが無効の場合は“フィールド符号化”を出力する（ステップＳ３０６）。
【０１２３】
ＶＰＤ判定結果とＭＶ判定結果の双方が“フィールド符号化”である場合は、最終的なＡＦＦモード判定結果として“フィールド符号化”を出力する（ステップＳ３０６）。
【０１２４】
図１６は、ＡＦＦモード判定部１４０の構成の一例を示す図である。ＡＦＦモード判定部１４０は、ＶＰＤ判定部１４１と、ＭＶ判定部１４２と、統合判定部１４３と、変更部１４４と、を含んで構成される。
【０１２５】
ＶＰＤ判定部１４１は、ＶＰＤバッファ１４１ａに画素情報Ｄ３１をバッファリングし、ＶＰＤ方式に従って図１０に示されるＡＦＦモード判定処理を行い、この判定結果であるＶＰＤ判定結果を出力する。
【０１２６】
ＭＶ判定部１４２は、映像符号化部１１０の画面間予測部２２０から入力されるＭＶ情報Ｄ３２をＭＶバッファ１４２ａにバッファリングし、符号化制御部１３０から入力されるＭＶ閾値Ｄ３３を用いて、ＭＶ方式に従って図１４に示されるＡＦＦモード判定処理を行い、この判定結果であるＭＶ判定結果を出力する。
【０１２７】
統合判定部１４３は、符号化制御部１３０からＶＰＤフラグ（ＶＰＤイネーブル）信号とＭＶフラグ（ＭＶイネーブル）信号の入力を受け付ける。そして、このＶＰＤフラグ信号、ＭＶフラグ信号、ＶＰＤ判定部１４１からのＶＰＤ判定結果、およびＭＶ判定部１４２からのＭＶ判定結果から、図１５に示される統合判定アルゴリズムに従って、最終的なＡＦＦモードの判定結果を出力する。
【０１２８】
変更部１４４は、統合判定部１４３におけるＡＦＦモード判定に関する設定を変更する。例えば、ＶＰＤ判定部１４１におけるＶＰＤ判定結果とＭＶ判定部１４２におけるＭＶ判定結果とに対する重み（例えば、後述する式（７）における重みWvpd、Wmv）を映像符号化装置１の動作設定に応じて自動的に変更する場合が挙げられる。また、ユーザの入力操作を受け付けることによって手動でその都度変更される等となっていてもよい。
【０１２９】
以上説明したＡＦＦモード判定方法によれば、ＶＰＤ方式とＭＶ方式という原理の異なる２つのＡＦＦモード判定方式を組み合わせることで、それぞれの方式で不得意とする入力画像や符号化状況に対しても適切なモード選択を行うことができ、符号化効率を向上させることができる。
【０１３０】
ところで、ＶＰＤ方式とＭＶ方式においては、上記説明した方法以外にも、ＡＦＦモード判定に利用可能な情報や、ＡＦＦモード判定処理において生じる遅延などに応じて、様々なアルゴリズムを選択することが可能である。以下、ＡＦＦモード判定方法の変形例について説明する。
【０１３１】
（ＡＦＦモード判定方法の変形例）
以下では、統合判定部１４３にて実行される統合判定アルゴリズムにおいて重み付けを用いる方法（以下、「重み付け統合判定」という）について説明する。
【０１３２】
具体的には、統合判定部１４３は、ＶＰＤ方式のＦＲＭ符号化画素数とＦＬＤ符号化画素数、およびＭＶ方式のＦＲＭ符号化ＭＶ数とＦＬＤ符号化ＭＶ数を用いて、以下の判定式を用いてＡＦＦモード評価を行う。（下記式（７）において、WvpdはＶＰＤ方式に対する重み係数、WmvはＭＶ方式に対する重み係数）
【０１３３】
【数５】
統合判定部１４３は、最終的なＡＦＦモード判定結果として、上記式（７）の判定式が成立する場合には“フィールド符号化”を、成立しない場合には“フレーム符号化”を選択する。
【０１３４】
本例の重み付け統合判定によれば、画像サイズや符号化処理状況に応じて適切な重み係数WvpdとWmvを指定することで符号化処理効率を向上させることが可能となる。
【０１３５】
ところで、ＭＶ方式では画面間予測結果であるＭＶを判定に用いるため、符号化処理中のカレントピクチャのＭＶを使用することはできないという特徴がある。そのため、ＭＶ方式では、ＡＦＦモード判定を行うタイミングと画面間予測処理の動作タイミングとの間に存在する遅延が大きければ大きいほど前ピクチャの画面間予測結果を使用する必要がある。これにより、ＡＦＦモードの判定精度が落ちてしまう可能性がある。
【０１３６】
一方、ＶＰＤ方式では、入力画像９をＡＦＦモード判定に使用しているため、入力画像９を構成する画素を保持するための内部バッファを備える必要がある。また、ＡＦＦモード評価の評価単位に合わせて画素を保持するために、画像サイズが大きくなるとバッファも大きなものが必要になる、という特徴がある。
【０１３７】
そのため、ＶＰＤ方式では、使用可能な画素バッファ量が決まっている場合は画像サイズに応じて確保できる縦画素ライン数が変わるため、画像サイズが大きくなると確保できる縦ピクセルライン数が減少してしまい、ＡＦＦモード判定の精度が落ちてしまう可能性がある。
【０１３８】
そこで、統合判定アルゴリズムに重み付け統合判定を用いる際に、映像符号化装置１の動作時にユーザが要求する遅延量や画像サイズに応じて、重み付け統合判定のＶＰＤ方式とＭＶ方式の重み係数を変更部１４４によって変更することで、ＡＦＦモード判定の精度の低下を防止することが可能である。
【０１３９】
以下、重み係数の変更方法の一例について説明する。
【０１４０】
本例では、ＶＰＤ方式に影響を与える画像サイズは、１９２０×１０８０と７２０×４８０のいずれかが選択されるものとする。
【０１４１】
また、１９２０×１０８０で１ＭＢ毎に縦１画素ラインで１６画素分のバッファを持つとする。この場合、７２０×４８０の画像では画像サイズの比率が約１／６となるため、同じ容量のバッファにおいては、１ＭＢあたり縦６画素ラインで９６画素をバッファリングすることが可能となる。
【０１４２】
そのため、ＶＰＤ方式では画像サイズが１９２０×１０８０である場合よりも、画像サイズが７２０×４８０である場合の方が、高精度なＡＦＦモード判定が可能となる。
【０１４３】
そこで、例えば、ＶＰＤ方式の重み係数Wvpdに画像サイズ１９２０×１０８０の場合は“１”を、画像サイズ７２０×４８０の場合は“２”を指定すること等により、画像サイズによるＡＦＦモード判定の精度の違いに対応することが可能になる。
【０１４４】
また、本例では、ＭＶ方式に影響を与える遅延量は、１フレーム遅延と２フレーム遅延のいずれかが選択されるものとする。
【０１４５】
この時、１フレーム遅延の場合では、ＭＶ方式は、１フレーム＋１フレーム＝２フレーム前のピクチャの画面間予測結果のＭＶを使用する。一方で、２フレーム遅延では、ＭＶ方式は、１フレーム＋２フレーム＝３フレーム前のピクチャの画面間予測結果のＭＶを使用することとなる。
【０１４６】
したがって、ＭＶ方式では、２フレーム遅延の場合よりも１フレーム遅延の場合の方がより高精度なＡＦＦモード判定が可能となる。
【０１４７】
そこで、例えば、ＭＶ方式の重み係数Wmvに１フレーム遅延の場合は“４”を、２フレーム遅延の場合には“３”を指定すること等により、要求される遅延時間によって生じるＡＦＦモード判定の精度の違いに対応することが可能となる。
【０１４８】
このように、ＶＰＤ方式とＭＶ方式の重み付け統合判定に関して、各方式において影響のある映像符号化装置１の動作パラメータに応じて重み係数WvpdとWmvの値を変更部１４４で変更することで、より高精度なＡＦＦモード判定を行うことができ、符号化効率を向上することが可能となる。
【０１４９】
なお、重み付け統合判定の重み係数に影響を与える要素として、上記の変形例では遅延量と画素バッファ量を挙げたがこれに限定されるものではなく、ＶＰＤ方式とＭＶ方式の判定精度に影響を与える要素であれば他のものにも適用可能である。
【０１５０】
また、ＶＰＤ方式とＭＶ方式の重み係数WvpdとWmvの値についても、上記説明中に示した数値には限られず、他の値であってもよい。
【０１５１】
以上のＡＦＦモード判定方法によれば、必要な判定精度や符号化遅延に応じて２方式のＡＦＦモード判定の結果に重み付けをすることで、用途に応じた適切なＡＦＦモード判定方法を選択することが可能である。これにより、さらに符号化効率を向上させることが可能である。
（映像符号化装置のハードウェア構成）
図１７は、本実施形態による映像符号化装置のハードウェア構成の一例を示すブロック図である。図１７に示されるコンピュータ装置である映像符号化装置１において、ＣＰＵ３０１は、ＲＯＭ３０４および／またはハードディスクドライブ３０６に格納されたプログラムに従い、ＲＡＭ３０５を一次記憶用ワークメモリとして利用して、システム全体を制御する。
【０１５２】
これにより、上記説明した本実施形態に係る映像符号化装置における映像符号化部１１０、符号化制御部１３０、ＡＦＦモード判定部１４０、原画像生成部１５０、および再構成画像変換部１６０における処理が実現される。また、本実施形態に係る映像符号化装置における外部メモリ１２０は、ＲＡＭ３０５やハードディスクドライブ３０６等により実現可能である。
【０１５３】
また、上記説明した入力画像９、原画像１０、ストリーム１１、再構成画像１２、符号化設定情報Ｓ１、ＡＦＦモード判定情報Ｄ２１、画素情報Ｄ３１、ＭＶ（動きベクトル）情報Ｄ３２、ＭＶ閾値Ｄ３３、およびその他のデータは、ＲＡＭ３０５やハードディスクドライブ３０６等の記憶領域に記憶されるデータである。
【０１５４】
さらに、ＣＰＵ３０１は、マウス３０２ａまたはキーボード３０２を介して入力されるユーザの指示に従い、ハードディスクドライブ３０６に格納されたプログラムに基づき、本実施形態に係る映像符号化処理における各種データの設定変更等を実行する。ディスプレイインタフェース３０３には、ＣＲＴやＬＣＤなどのディスプレイが接続され、ＣＰＵ３０１が実行する映像符号化処理の設定変更画面、処理経過、処理結果等のユーザに対する情報等が表示される。
【０１５５】
リムーバブルメディアドライブ３０７は、主に、リムーバブルメディアからハードディスクドライブ３０６へファイルを書き込んだり、ハードディスクドライブ３０６から読み出したファイルをリムーバブルメディアへ書き込む場合に利用される。リムーバブルメディアとしては、フロッピディスク（ＦＤ）、ＣＤ−ＲＯＭ、ＣＤ−Ｒ、ＣＤ−Ｒ／Ｗ、ＤＶＤ−ＲＯＭ、ＤＶＤ−Ｒ、ＤＶＤ−Ｒ／Ｗ、ＤＶＤ−ＲＡＭやＭＯ、あるいはメモリカード、ＣＦカード、スマートメディア、ＳＤカード、メモリスティックなどが利用可能である。
【０１５６】
ネットワークインタフェース３０８は、コンピュータ装置である映像符号化装置１を外部のネットワークへ接続するためのインタフェースである。例えば、入力画像９はネットワークインタフェース３０８を介して映像符号化装置１に入力され、符号化処理後のストリーム１１はネットワークインタフェース３０８を介して映像符号化装置１から外部の装置等に出力される。
【０１５７】
なお、図１７に示した本実施形態に係る映像符号化装置のハードウェア構成は一例に過ぎず、その他の任意のハードウェア構成を用いることができることはいうまでもない。
（まとめ）
以上のとおり、本実施形態によれば、符号化効率を保ちつつ、符号化処理の処理量を削減することが可能である。
【０１５８】
なお、本発明の範囲は、図示され記載された例示的な実施形態に限定されるものではなく、本発明が目的とするものと均等な効果をもたらすすべての実施形態をも含む。さらに、本発明の範囲は、すべての開示されたそれぞれの特徴のうち特定の特徴のあらゆる所望する組み合わせによって画されうる。
【０１５９】
（付記）
以上に、本発明に係る実施形態について詳細に説明したことからも明らかなように、前述の実施形態の一部または全部は、以下の各付記のようにも記載することができる。しかしながら、以下の各付記は、あくまでも、本発明の単なる例示に過ぎず、本発明は、かかる場合のみに限るものではない。
【０１６０】
（付記１）
入力画像がインタレース画像である場合に、適応的フィールド・フレーム符号化（Ａｄａｐｔｉｖｅ−ＦｉｅｌｄＦｒａｍｅＣｏｄｉｎｇ）のモード判定を行うＡＦＦモード判定部と、
前記ＡＦＦモード判定部による前記モード判定の判定結果に応じて前記入力画像を符号化する映像符号化部と、
を有する映像符号化装置。
【０１６１】
この構成によれば、符号化効率を保ちつつ、符号化処理の処理量を削減することが可能である。
【０１６２】
（付記２）
前記ＡＦＦモード判定部は、前記入力画像のフィールド符号化時とフレーム符号化時における画素差分を比較することで前記モード判定を行うことを特徴とする付記１に記載の映像符号化装置。
【０１６３】
（付記３）
前記ＡＦＦモード判定部は、前記映像符号化部において符号化処理が行われたピクチャの画面間予測の結果である動きベクトル情報を用いて前記モード判定を行うことを特徴とする付記１又は２に記載の映像符号化装置。
【０１６４】
（付記４）
前記ＡＦＦモード判定部は、
前記入力画像のフィールド符号化時とフレーム符号化時における画素差分を比較することで適応的フィールド・フレーム符号化のモード判定を行うＶＰＤ（Ｖｅｒｔｉｃａｌ Ｐｉｘｅｌ Ｄｉｆｆｅｒｅｎｃｅ）判定部と、
前記映像符号化部において符号化処理が行われたピクチャの画面間予測の結果である動きベクトル情報を用いて適応的フィールド・フレーム符号化のモード判定を行うＭＶ（Ｍｏｔｉｏｎ Ｖｅｃｔｏｒ）判定部と、
前記ＶＰＤ判定部におけるモード判定結果と、前記ＭＶ判定部におけるモード判定結果とから、前記モード判定を行う統合判定部と、
を有する付記１から３のいずれか一項に記載の映像符号化装置。
【０１６５】
この構成によれば、ＶＰＤ方式とＭＶ方式という原理の異なる２つのＡＦＦモード判定方式を組み合わせることで、それぞれの方式で不得意とする入力画像や符号化状況に対しても適切なモード選択を行うことができ、符号化効率を向上させることができる。
【０１６６】
（付記５）
前記統合判定部は、前記ＶＰＤ判定部におけるモード判定結果と、前記ＭＶ判定部におけるモード判定結果とに対して重み付けを行うことで前記モード判定を行うことを特徴とする付記４に記載の映像符号化装置。
【０１６７】
この構成によれば、画像サイズや符号化処理状況に応じて適切な重み係数を指定することで符号化処理効率を向上させることが可能となる。
【０１６８】
（付記６）
前記ＡＦＦモード判定部は、
前記統合判定部における前記モード判定に関する設定を変更する変更部をさらに有する付記４又は５に記載の映像符号化装置。
【０１６９】
この構成によれば、ＶＰＤ方式とＭＶ方式の各方式において影響のある映像符号化装置の動作パラメータに応じて重み係数の値を変更することで、より高精度なＡＦＦモード判定を行うことができ、符号化効率を向上することが可能となる。
【０１７０】
（付記７）
ＡＦＦモード判定部と、映像符号化部と、を有する映像符号化装置が実行する映像符号化方法であって、
前記ＡＦＦモード判定部により、入力画像がインタレース画像である場合に、適応的フィールド・フレーム符号化（Ａｄａｐｔｉｖｅ−ＦｉｅｌｄＦｒａｍｅＣｏｄｉｎｇ）のモード判定を行う第１のステップと、
前記映像符号化部により、前記第１のステップにおける前記モード判定の判定結果に応じて前記入力画像を符号化する第２のステップと、
を有する映像符号化方法。
【０１７１】
この構成によれば、符号化効率を保ちつつ、符号化処理の処理量を削減することが可能である。
【０１７２】
（付記８）
コンピュータに、
入力画像がインタレース画像である場合に、適応的フィールド・フレーム符号化（Ａｄａｐｔｉｖｅ−ＦｉｅｌｄＦｒａｍｅＣｏｄｉｎｇ）のモード判定を行う第１のステップと、
前記第１のステップにおける前記モード判定の判定結果に応じて前記入力画像を符号化する第２のステップと、
を実行させるための映像符号化プログラム。
【０１７３】
この構成によれば、符号化効率を保ちつつ、符号化処理の処理量を削減することが可能である。
【符号の説明】
【０１７４】
１ 映像符号化装置
９ 入力画像
１０ 原画像
１１ ストリーム
１２、１２’ 再構成画像
１３ 画面内予測画像
１４ 画面間予測画像
１５ 予測画像
１６ 差分画像
１７ 復元差分画像
１１０ 映像符号化部
１２０ 外部メモリ
１３０ 符号化制御部
１４０ ＡＦＦモード判定部
１４１ ＶＰＤ判定部
１４１ａ ＶＰＤバッファ
１４２ ＭＶ判定部
１４２ａ ＭＶバッファ
１４３ 統合判定部
１４４ 変更部
１５０ 原画像生成部
１５１ 原画像変換部
１５２ 原画像用メモリ
１６０ 再構成画像変換部
１６１ 再構成画像ライト部
１６２ 再構成画像リード部
１７０ メモリバス
２１０ 画面内予測部
２２０ 画面間予測部
２３０ モード選択部
２４０ 直交変換部
２５０ 量子化部
２６０ 逆量子化部
２７０ 逆直交変換部
２８０ 可変長符号化部
３０２ キーボード
３０２ａ マウス
３０３ ディスプレイインタフェース
３０６ ハードディスクドライブ
３０７ リムーバブルメディアドライブ
３０８ ネットワークインタフェース
Ｄ１ 画面内予測情報
Ｄ２ 画面内予測誤差
Ｄ３ 画面間予測情報
Ｄ４ 画面間予測誤差
Ｄ６ 符号量情報
Ｄ７ 符号化モード選択情報
Ｄ８ 量子化係数
Ｄ９ 周波数成分
Ｄ１０ 量子化値
Ｄ１１ 復元周波数成分
Ｄ２１ モード判定情報
Ｄ３１ 画素情報
Ｄ３２ ＭＶ（動きベクトル）情報
Ｄ３３ ＭＶ（動きベクトル）閾値
Ｄ８１ 画面内予測情報
Ｄ８２ 画面内予測誤差
Ｄ８３ 画面間予測情報
Ｄ８４ 画面間予測誤差
Ｄ８６ 符号量情報
Ｄ８７ 符号化モード選択情報
Ｄ８８ 量子化係数
Ｄ８９ 周波数成分
Ｄ９０ 量子化値
Ｄ９１ 復元周波数成分
Ｓ１ 符号化設定情報
９０ 原画像
９１ ストリーム
９２ 再構成画像
９３ 画面内予測画像
９４ 画面間予測画像
９５ 予測画像
９６ 差分画像
９７ 復元差分画像
８１０ フレーム符号化を行う映像符号化部
８２０ フィールド符号化を行う映像符号化部
８３０ ＡＦＦモード選択部
８６０ ＰＡＦＦにおいてフレーム符号化を行う映像符号化部
８６１ ＭＢＡＦＦにおいてフレーム符号化を行う映像符号化部
８６２ ＭＢＡＦＦにおいてフィールド符号化を行う映像符号化部
８６３ ＭＢＡＦＦモード選択部
８７０ ＰＡＦＦにおいてフィールド符号化を行う映像符号化部
８８０ ＰＡＦＦモード選択部
９１０ 画面内予測部
９２０ 画面間予測部
９３０ モード選択部
９４０ 直交変換部
９５０ 量子化部
９６０ 逆量子化部
９７０ 逆直交変換部
９８０ 可変長符号化部
９９０ 符号化制御部
【特許請求の範囲】
【請求項１】
入力画像がインタレース画像である場合に、適応的フィールド・フレーム符号化（Ａｄａｐｔｉｖｅ−ＦｉｅｌｄＦｒａｍｅＣｏｄｉｎｇ）のモード判定を行うＡＦＦモード判定部と、
前記ＡＦＦモード判定部による前記モード判定の判定結果に応じて前記入力画像を符号化する映像符号化部と、
を有する映像符号化装置。
【請求項２】
前記ＡＦＦモード判定部は、前記入力画像のフィールド符号化時とフレーム符号化時における画素差分を比較することで前記モード判定を行うことを特徴とする請求項１に記載の映像符号化装置。
【請求項３】
前記ＡＦＦモード判定部は、前記映像符号化部において符号化処理が行われたピクチャの画面間予測の結果である動きベクトル情報を用いて前記モード判定を行うことを特徴とする請求項１又は２に記載の映像符号化装置。
【請求項１】
入力画像がインタレース画像である場合に、適応的フィールド・フレーム符号化（Ａｄａｐｔｉｖｅ−ＦｉｅｌｄＦｒａｍｅＣｏｄｉｎｇ）のモード判定を行うＡＦＦモード判定部と、
前記ＡＦＦモード判定部による前記モード判定の判定結果に応じて前記入力画像を符号化する映像符号化部と、
を有する映像符号化装置。
【請求項２】
前記ＡＦＦモード判定部は、前記入力画像のフィールド符号化時とフレーム符号化時における画素差分を比較することで前記モード判定を行うことを特徴とする請求項１に記載の映像符号化装置。
【請求項３】
前記ＡＦＦモード判定部は、前記映像符号化部において符号化処理が行われたピクチャの画面間予測の結果である動きベクトル情報を用いて前記モード判定を行うことを特徴とする請求項１又は２に記載の映像符号化装置。
【図１】
【図２】
【図３】
【図４】
【図５】
【図６】
【図７】
【図８】
【図９】
【図１０】
【図１１】
【図１２】
【図１３】
【図１４】
【図１５】
【図１６】
【図１７】
【図１８】
【図１９】
【図２０】
【図２１】
【図２２】
【図２】
【図３】
【図４】
【図５】
【図６】
【図７】
【図８】
【図９】
【図１０】
【図１１】
【図１２】
【図１３】
【図１４】
【図１５】
【図１６】
【図１７】
【図１８】
【図１９】
【図２０】
【図２１】
【図２２】
【公開番号】特開２０１２−２５３４７６（Ｐ２０１２−２５３４７６Ａ）
【公開日】平成２４年１２月２０日（２０１２．１２．２０）
【国際特許分類】
【出願番号】特願２０１１−１２３０８３（Ｐ２０１１−１２３０８３）
【出願日】平成２３年６月１日（２０１１．６．１）
【出願人】（０００００１１２２）株式会社日立国際電気 (5,007)
【Ｆターム（参考）】
【公開日】平成２４年１２月２０日（２０１２．１２．２０）
【国際特許分類】
【出願日】平成２３年６月１日（２０１１．６．１）
【出願人】（０００００１１２２）株式会社日立国際電気 (5,007)
【Ｆターム（参考）】
[ Back to top ]