動画像の符号化方式変換方法および装置ならびに符号化方式変換プログラムおよびその記録媒体
【課題】第１符号化方式の第１動画像を第２符号化方式の第２動画像に変換する際に、第１動画像の符号情報を直接利用することで、画質の劣化を最小限に抑えながら符号化方式を高速に変換する。
【解決手段】フィールド符号化モードを適用すべき画像領域にフレーム符号化モードを適用してしまうと画質が大幅に劣化して符号化効率を低下させてしまう一方、フレーム符号化モードを適用すべき画像領域にフィールド符号化モードを適用しても符号化効率の低下は前者に比べて相対的に小さい点に着目し、第１符号化方式においてフィールド符号化符号化が適用された画像領域に関しては第２符号化方式でも当該モードを引き継ぐ一方、第１符号化方式においてフレーム符号化符号化が適用された画像領域に関しては、改めて第２符号化方式における各符号化モードの適応度を比較して符号化モードを決定する。
【解決手段】フィールド符号化モードを適用すべき画像領域にフレーム符号化モードを適用してしまうと画質が大幅に劣化して符号化効率を低下させてしまう一方、フレーム符号化モードを適用すべき画像領域にフィールド符号化モードを適用しても符号化効率の低下は前者に比べて相対的に小さい点に着目し、第１符号化方式においてフィールド符号化符号化が適用された画像領域に関しては第２符号化方式でも当該モードを引き継ぐ一方、第１符号化方式においてフレーム符号化符号化が適用された画像領域に関しては、改めて第２符号化方式における各符号化モードの適応度を比較して符号化モードを決定する。
【発明の詳細な説明】
【技術分野】
【０００１】
本発明は、動画像の符号化方式変換方法および装置ならびに符号化方式変換プログラムおよびその記録媒体に係り、特に、MPEG-2 ストリームからH.264 ストリームへの変換に好適な符号化方式変換方法および装置ならびに符号化方式変換プログラムおよびその記録媒体に関する。
【背景技術】
【０００２】
様々な画像圧縮方式が国際標準規格として策定される中、MPEG は放送用途からコンシューマ向けまで広く普及している。特に、MPEG-2 は衛星・地上波デジタル放送のみならずDVD の符号化方式としても利用されている。しかしながら、そのMPEG-2 コンテンツをインターネット向けのストリーミング配信に利用する場合はビットレートを大幅に削減することが望ましい。
【０００３】
このような要望を背景に、新しい画像符号化方式としてH.264/MPEG-4 AVC(以下、H.264) が普及しつつある。H.264 では様々な予測モード（予測方向）が規定されており、圧縮効率の観点では、MPEG-2 と比べて同じ画質でビットレートを半分にできる性能を備えている。このため、無線端末、ADSLあるいは光ファイバーなど様々な帯域のネットワークに同一コンテンツを配信するワンソースマルチユースを実現する場合、マスターコンテンツとしてのMPEG-2 をH.264 に変換する需要が大きい。
【０００４】
前記MPEG-2およびH.264では、２つのフィールドで１つのフレームが構成されるインタレース構造の映像データをマクロブロック(MB)単位で符号化する場合、符号化モードとして、フレーム符号化モードまたはフィールド符号化モードがMBペアごとに選択される。特許文献１，２には、インタレース構造の映像データを符号化する際に、フレーム符号化モードおよびフィールド符号化モードのいずれかを選択する技術が開示されている。
【０００５】
この符号化方式では、図４に示すように、１つのフレームから切り出される水平m画素で垂直２n画素の制御ブロックを符号化対象として、その画素情報をフレーム符号化モードで符号化を行う場合には、図５に示したように、その領域を水平m画素で垂直n画素の２つの領域に分割することで２つのフレームMBが生成される。
【０００６】
一方、フィールド符号化モードで符号化を行う場合には、図６(a)，(b)に示したように、水平m画素で垂直2n画素の領域を、水平m画素で奇数フィールドの垂直n画素の領域と、水平m画素で偶数フィールドの垂直n画素の領域とに分割することで２つのフィールドMBが生成される。
【０００７】
従来技術では、符号化モードを決定するために、フレーム符号化モードおよびフィール符号化モードの双方で符号化を行って、その発生ビット量を比較し、この比較結果に基づいて符号化モードが決定される。しかしながら、MPEG-2ストリームからH.264ストリームへの変換時に、MPEG-2 を完全に復号してからH.264 へ再符号化する処理では、上記した符号化モード判定をやり直さなければならないので、実用的な時間内での実現は難しい。
【０００８】
このような技術課題に対して、特許文献３には、既存のMPEG-2 コンテンツをH.264 に変換する技術として、MPEG-2 の符号情報を再利用して変換を高速化する方式が提案されている。
【特許文献１】特開２００７−１０４０１２号公報
【特許文献２】特開２００７−２７８０５号公報
【特許文献３】特開２００７−１０４２３１号公報
【発明の開示】
【発明が解決しようとする課題】
【０００９】
特許文献１，２は、画素情報を符号化する技術であり、符号化方式を変換する際に、元の符号情報を利用して再符号化を高速化する技術が開示されていない。
【００１０】
特許文献３では、予測モードとしてインター予測およびイントラ予測を適応的に切り替えて符号化効率を向上させる技術が開示されるのみで、符号化モードを適応的に切り替えて符号化効率を向上させる技術が開示されていない。
【００１１】
本発明の目的は、上記した従来技術の課題を解決し、第１符号化方式の第１動画像を第２符号化方式の第２動画像に変換する際に、第１動画像の符号情報を直接利用することで第２動画像に好適な符号化モードを高速に推定し、画質の劣化を最小限に抑えながら符号化方式を高速に変換する符号化方式変換方法および装置ならびに符号化方式変換プログラムおよびその記録媒体を提供することにある。
【課題を解決するための手段】
【００１２】
上記した目的を達成するために、本発明では、フィールド符号化モードを適用すべき画像領域にフレーム符号化モードを適用してしまうと画質が大幅に劣化して符号化効率を低下させてしまう一方、その逆に、フレーム符号化モードを適用すべき画像領域にフィールド符号化モードを適用しても符号化効率の低下は前者に比べて相対的に小さい点に着目した。そして、第１符号化方式においてフィールド符号化符号化が適用された画像領域に関しては第２符号化方式でも当該モードを引き継ぐ一方、第１符号化方式においてフレーム符号化符号化が適用された画像領域に関しては、改めて第２符号化方式における各符号化モードの適応度を比較し、この比較結果に基づいて符号化モードを決定するようにした点に特徴がある。
【発明の効果】
【００１３】
本発明によれば、第１符号化方式で符号化された第１動画像を第２符号化方式で符号化された第２動画像に変換する動画像の符号化方式変換において、以下のような効果が達成される。
【００１４】
(1)第１符号化方式においてフィールド符号化が適用された画像領域に関しては第２符号化方式でも当該モードを引き継ぐので、符号化モードの判定プロセスを簡略化でき、変換時間を短縮できる。
【００１５】
(2)第１符号化方式においてフレーム符号化が適用された画像領域に関しては、改めて第２符号化方式における各符号化モードの適応度を比較し、この比較結果に基づいて符号化モードを決定するようにしたので、第１符号化方式ではフレーム符号化モードで符号化されたが第２符号化方式ではフィールド符号化が望ましい画像領域に関してはフィールド符号化を採用できる。したがって、符号化方式変換に伴う画質劣化を最小限に抑えられるようになる。
【００１６】
(3)第１符号化方式においてフレーム符号化が適用された画像領域に関して第２符号化方式における各符号化モードの適応度を比較する際、フレーム符号化の適応度がフィールド符号化の適応度よりも有意に高い場合のみフレーム符号化モードを採用し、フレーム符号化の適応度がフィールド符号化の適応度よりも高くても、その差分が僅かである場合には、符号化モードを誤った場合でも画像劣化等のペナルティが小さいフィールド符号化を採用するようにしたので、全体として画像劣化の少ない変換が可能になる。
【発明を実施するための最良の形態】
【００１７】
以下、図面を参照して本発明の最良の実施の形態について詳細に説明する。図１は、本発明に係る符号化方式変換システムの主要部の構成を示した図であり、ここでは、MPEG-2ストリームをH.264ストリームへ変換する場合を例にして説明する。
【００１８】
抽出部１０は、入力されたMPEG-2ストリームV1を可変長復号して符号情報を抽出する。なお、ここでの復号処理はMPEG-2ストリームを符号情報まで戻す可変長復号のみの部分的な復号である。抽出された符号情報は復号部１１および符号化モード決定部１２へ送られる。復号部１１は、符号情報を逆量子化および逆DCT変換して画素情報を生成し、これを符号化モード決定部１２および符号化部１３へ送る。
【００１９】
符号化モード決定部１２は、前記抽出部１０で抽出された符号情報および前記復号部１１で生成された画素情報に基づいて、MPEG-2 ストリームV1の水平m画素×垂直2n画素の制御ブロックごとに、H.264 における最適な符号化モードを決定し、この決定結果を符号化部１３へ提供する。本実施形態では、隣接する２つのMB（以下、MBペアと表現する場合もある）ごとに、H.264における符号化モードとしてフレーム符号化およびフィールド符号化の一方が決定される。符号化部１３は、符号化モードの決定結果をH.264 の符号化モードに適用して各MBペアの画素情報を符号化し、H.264 ストリームV2として出力する。
【００２０】
前記符号化モード決定部１２において、入力モード判定部１２１は、前記抽出部１０で抽出された符号情報をMBペア単位で読み出し、各MBがMPEG-2ではフレーム符号化およびフィールド符号化のいずれのモードで符号化されていたのか判定する。相関判定部１２２およびテクスチャ判定部１２３は、MPEG-2ストリームV1ではフレーム符号化されたMBペアをH.264の各符号化モードで符号化した際の適応度を比較する適応度比較部として機能する。そして、相関判定部１２２は、MPEG-2ではフレーム符号化モードを採用されたMBペアに関して、H.264でも同様にフレーム符号化モードの適応度が優っているか否かを、各MBペアの画素情報の空間相関に基づいて推定する。テクスチャ判定部１２３は、MPEG-2ではフレーム符号化モードを採用されたMBペアに関して、H.264でも同様にフレーム符号化モードの適応度が優っているか否かを、各MBペアのテクスチャに基づいて判定する。
【００２１】
前記抽出部１０、復号部１１、符号化モード決定部１２および符号化部１３は、動画像の入出力インタフェースを有するコンピュータを用いて構成することができ、その場合、各部はコンピュータが有するCPU、記憶装置、計時装置および本発明の処理を行うプログラムなどにより実現される。なお、プログラム はCD-ROMなどの記録媒体に格納することができる。
【００２２】
次いで、フローチャートを参照して本実施形態の動作を詳細に説明する。図２は、前記符号化モード決定部１２の動作を示したフローチャートである。
【００２３】
本実施形態では、フィールド符号化モードを適用すべきMBペアに対してフレーム符号化モードを適用してしまうと、動きの大きい縞状部分の画質が大幅に劣化して符号化効率を低下させてしまう一方、その逆に、フレーム符号化モードを適用すべきMBペアに対してフィールド符号化モードを適用しても符号化効率の低下は前者に比べて相対的に小さい点に着目した。そして、フィールド符号化の適用を前提とし、MPEG-2でフレーム符号化が適用されていたMBペアについてのみ、改めて詳細なモード判定を行うことで、画質の劣化を抑えながら符号化モードの高速な判定を可能にしている。
【００２４】
ステップＳ１では、符号化モードの判定対象となる２つのMBのペアが今回の注目MBペアとして抽出される。ステップＳ２では、注目MBペアに対するMPEG-2での符号化モードが判定され、MBペアの少なくとも一方のMBの符号化モードがフィールド符号化であればステップＳ９へ進む。ステップＳ９では、当該MBペアに対してH.264で採用する符号化モードとしてフィールド符号化が決定される。
【００２５】
これに対して、MBペアの符号化モードがいずれもフレーム符号化であれば、改めて符号化モード判定を行うべくステップＳ３へ進む。ステップＳ３では、前記相関判定部１２２において、注目MBペアの画素情報をフレーム符号化する適応度として、ライン間画素相関値SADframeが次式(1)に基づいて算出される。ステップＳ４では、前記相関判定部１２２において、注目MBペアの画素情報をフィールド符号化する適応度として、ライン間画素相関値SADfieldが次式(2)に基づいて算出される。ここで、c(x,y) はMBペア内の各座標(x、y)の画素値である。
【００２６】
【数１】
【００２７】
【数２】
【００２８】
ステップＳ５では、フレーム符号化で得られたライン間画素相関値SADframeから、フィールド符号化で得られたライン間画素相関値SADfieldを減じた値（SADframe-SADfield）が、所定の判定基準値TH1よりも小さいか否かに基づいて、当該注目MBペアに対する符号化モードとしてフィールド符号化の適応度が有意に高いか否かが判定される。
【００２９】
本実施形態では、前記差分（SADframe-SADfield）が判定基準値TH1を上回っている、換言すれば、フレーム符号化で得られたライン間画素相関値SADframeが、フィールド符号化で得られたライン間画素相関値SADfieldよりも、少なくとも前記判定基準値TH1分だけ有意に高ければ、更に厳密にモード判定を下すべくステップＳ６へ進む。これに対して、フレーム符号化で得られたライン間画素相関値SADframeが、フィールド符号化で得られたライン間画素相関値SADfieldよりも有意に高くなければ、フィールド符号化を選択すべくステップＳ９へ進む。
【００３０】
ステップＳ６では、前記差分（SADframe-SADfield）が判定基準値TH1を下回っていると判定されたMBペアのみを対象に、前記テクスチャ判定部１２３において、さらにテクスチャ判定が行われる。
【００３１】
図３は、MBペアのテクスチャの分類を示した図であり、同図(a)のように、MBペアの全領域が平坦で一定の画素値を有していればフィールド符号化およびフレーム符号化のいずれでも効率は変わりない。同図(b)のように、MBペアのそれぞれは全領域が一定の画素値を有しているがMB同士で画素値が異なる場合にはフィールド符号化よりもフレーム符号化の方が効率が高い。同図(c)のように、一方のMBのみが平坦な場合もフィールド符号化よりもフレーム符号化の方が効率が高い。
【００３２】
同図(d)のように、MBペアの全領域で画素値が複雑に変化する場合にはフィールド符号化およびフレーム符号化のいずれでも高い効率が得られない。同図(e)のような斜めエッジや、同図(f)のような滑らかな曲線エッジの場合はフィールド符号化よりもフレーム符号化の方が効率が高い。
【００３３】
すなわち、フィールド符号化およびフレーム符号化のいずれでも符号化効率が変わらず、符号化モードの適用を誤った場合でも画像劣化を最小限に抑えることを考慮すれば、フレーム符号化よりもフィールド符号化が望ましいテクスチャは、MBペア全体が平坦な(a)の場合、およびMBペアの全領域で画素値が複雑に変化する(d)の場合に限られる。ただし、(d)のテクスチャと(b)，(c)，(e)，(f)の各テクスチャとを区別するためには、更に複雑な演算が必要となるので、本実施形態では、(a)のテクスチャのみを識別すべく、次式(3)に基づいてテクスチャ判定が行われる。
【００３４】
【数３】
【００３５】
ここで、c(x,y) はMBペア内の各座標(x、y)の画素値であり、c_aveはMBペア内の画素値の平均値である。したがって、上式(3)は、MBペア内での画素値の分散を表している。
【００３６】
図２へ戻り、ステップＳ７では、前記画素値分散VARが所定の基準値TH2と比較される。そして、VAR＞TH2すなわちMBペア内の画像が複雑であればステップＳ８へ進み、当該MBペアに関するH.264での符号化モードとしてフレーム符号化が決定される。これに対して、VAR≦TH2すなわちMBペア内の画像が平坦であればステップＳ９へ進み、当該MBペアに関するH.264での符号化モードとしてフィールド符号化が決定される。
【００３７】
ステップＳ１０では、次のMBペアが存在するか否かが判定される。存在すればステップＳ１へ戻り、注目するMBペアを切替ながら上記した各処理が繰り返される。
【００３８】
なお、上記した実施形態では、テクスチャ判定においてフィールド符号化を適用するMBペアとして、図６(a)のように、MBペアの全領域が平坦で一定の画素値を有しているMBペアを識別するものとして説明したが、フィールド符号化およびフレーム符号化のいずれでも符号化効率が変わらないテクスチャであれば、図６(d)に示したように、MBペアの全領域で画素値が複雑に変化するMBペアも識別してフィールド符号化を適用するするようにしても良いし、あるいは、図６(d)に示したテクスチャのみを識別してフィールド符号化を適用するするようにしても良い。
【００３９】
さらに、上記した実施形態では、判定基準値TH1，TH2が固定値であるものとして説明したが、動画像のビットレートが低くなると、動きの大きい縞状部分での画質劣化が緩和され、フィールド符号化よりもフレーム符号化の方が有利になることがある。したがって、各判定基準値TH1，TH2をビットレートの関数として適応的に調整し、ビットレートが低下するほど判定基準値TH1，TH2が小さくなるようにしても良い。
【図面の簡単な説明】
【００４０】
【図１】本発明に係る符号化方式変換システムの主要部の構成を示した図である。
【図２】符号化モード決定部の動作を示したフローチャートである。
【図３】MBペアのテクスチャの分類を示した図である。
【図４】インタレース構造の映像データをMBペア単位で符号する方法を示した図である。
【図５】フレーム符号化モードでの符号化方法を示した図である。
【図６】フィールド符号化モードでの符号化方法を示した図である。
【符号の説明】
【００４１】
１０…抽出部，１１…復号部，１２…符号化モード決定部，１３…符号化部，１２１…入力モード判定部，１２２…相関判定部，１２３…テクスチャ判定部
【技術分野】
【０００１】
本発明は、動画像の符号化方式変換方法および装置ならびに符号化方式変換プログラムおよびその記録媒体に係り、特に、MPEG-2 ストリームからH.264 ストリームへの変換に好適な符号化方式変換方法および装置ならびに符号化方式変換プログラムおよびその記録媒体に関する。
【背景技術】
【０００２】
様々な画像圧縮方式が国際標準規格として策定される中、MPEG は放送用途からコンシューマ向けまで広く普及している。特に、MPEG-2 は衛星・地上波デジタル放送のみならずDVD の符号化方式としても利用されている。しかしながら、そのMPEG-2 コンテンツをインターネット向けのストリーミング配信に利用する場合はビットレートを大幅に削減することが望ましい。
【０００３】
このような要望を背景に、新しい画像符号化方式としてH.264/MPEG-4 AVC(以下、H.264) が普及しつつある。H.264 では様々な予測モード（予測方向）が規定されており、圧縮効率の観点では、MPEG-2 と比べて同じ画質でビットレートを半分にできる性能を備えている。このため、無線端末、ADSLあるいは光ファイバーなど様々な帯域のネットワークに同一コンテンツを配信するワンソースマルチユースを実現する場合、マスターコンテンツとしてのMPEG-2 をH.264 に変換する需要が大きい。
【０００４】
前記MPEG-2およびH.264では、２つのフィールドで１つのフレームが構成されるインタレース構造の映像データをマクロブロック(MB)単位で符号化する場合、符号化モードとして、フレーム符号化モードまたはフィールド符号化モードがMBペアごとに選択される。特許文献１，２には、インタレース構造の映像データを符号化する際に、フレーム符号化モードおよびフィールド符号化モードのいずれかを選択する技術が開示されている。
【０００５】
この符号化方式では、図４に示すように、１つのフレームから切り出される水平m画素で垂直２n画素の制御ブロックを符号化対象として、その画素情報をフレーム符号化モードで符号化を行う場合には、図５に示したように、その領域を水平m画素で垂直n画素の２つの領域に分割することで２つのフレームMBが生成される。
【０００６】
一方、フィールド符号化モードで符号化を行う場合には、図６(a)，(b)に示したように、水平m画素で垂直2n画素の領域を、水平m画素で奇数フィールドの垂直n画素の領域と、水平m画素で偶数フィールドの垂直n画素の領域とに分割することで２つのフィールドMBが生成される。
【０００７】
従来技術では、符号化モードを決定するために、フレーム符号化モードおよびフィール符号化モードの双方で符号化を行って、その発生ビット量を比較し、この比較結果に基づいて符号化モードが決定される。しかしながら、MPEG-2ストリームからH.264ストリームへの変換時に、MPEG-2 を完全に復号してからH.264 へ再符号化する処理では、上記した符号化モード判定をやり直さなければならないので、実用的な時間内での実現は難しい。
【０００８】
このような技術課題に対して、特許文献３には、既存のMPEG-2 コンテンツをH.264 に変換する技術として、MPEG-2 の符号情報を再利用して変換を高速化する方式が提案されている。
【特許文献１】特開２００７−１０４０１２号公報
【特許文献２】特開２００７−２７８０５号公報
【特許文献３】特開２００７−１０４２３１号公報
【発明の開示】
【発明が解決しようとする課題】
【０００９】
特許文献１，２は、画素情報を符号化する技術であり、符号化方式を変換する際に、元の符号情報を利用して再符号化を高速化する技術が開示されていない。
【００１０】
特許文献３では、予測モードとしてインター予測およびイントラ予測を適応的に切り替えて符号化効率を向上させる技術が開示されるのみで、符号化モードを適応的に切り替えて符号化効率を向上させる技術が開示されていない。
【００１１】
本発明の目的は、上記した従来技術の課題を解決し、第１符号化方式の第１動画像を第２符号化方式の第２動画像に変換する際に、第１動画像の符号情報を直接利用することで第２動画像に好適な符号化モードを高速に推定し、画質の劣化を最小限に抑えながら符号化方式を高速に変換する符号化方式変換方法および装置ならびに符号化方式変換プログラムおよびその記録媒体を提供することにある。
【課題を解決するための手段】
【００１２】
上記した目的を達成するために、本発明では、フィールド符号化モードを適用すべき画像領域にフレーム符号化モードを適用してしまうと画質が大幅に劣化して符号化効率を低下させてしまう一方、その逆に、フレーム符号化モードを適用すべき画像領域にフィールド符号化モードを適用しても符号化効率の低下は前者に比べて相対的に小さい点に着目した。そして、第１符号化方式においてフィールド符号化符号化が適用された画像領域に関しては第２符号化方式でも当該モードを引き継ぐ一方、第１符号化方式においてフレーム符号化符号化が適用された画像領域に関しては、改めて第２符号化方式における各符号化モードの適応度を比較し、この比較結果に基づいて符号化モードを決定するようにした点に特徴がある。
【発明の効果】
【００１３】
本発明によれば、第１符号化方式で符号化された第１動画像を第２符号化方式で符号化された第２動画像に変換する動画像の符号化方式変換において、以下のような効果が達成される。
【００１４】
(1)第１符号化方式においてフィールド符号化が適用された画像領域に関しては第２符号化方式でも当該モードを引き継ぐので、符号化モードの判定プロセスを簡略化でき、変換時間を短縮できる。
【００１５】
(2)第１符号化方式においてフレーム符号化が適用された画像領域に関しては、改めて第２符号化方式における各符号化モードの適応度を比較し、この比較結果に基づいて符号化モードを決定するようにしたので、第１符号化方式ではフレーム符号化モードで符号化されたが第２符号化方式ではフィールド符号化が望ましい画像領域に関してはフィールド符号化を採用できる。したがって、符号化方式変換に伴う画質劣化を最小限に抑えられるようになる。
【００１６】
(3)第１符号化方式においてフレーム符号化が適用された画像領域に関して第２符号化方式における各符号化モードの適応度を比較する際、フレーム符号化の適応度がフィールド符号化の適応度よりも有意に高い場合のみフレーム符号化モードを採用し、フレーム符号化の適応度がフィールド符号化の適応度よりも高くても、その差分が僅かである場合には、符号化モードを誤った場合でも画像劣化等のペナルティが小さいフィールド符号化を採用するようにしたので、全体として画像劣化の少ない変換が可能になる。
【発明を実施するための最良の形態】
【００１７】
以下、図面を参照して本発明の最良の実施の形態について詳細に説明する。図１は、本発明に係る符号化方式変換システムの主要部の構成を示した図であり、ここでは、MPEG-2ストリームをH.264ストリームへ変換する場合を例にして説明する。
【００１８】
抽出部１０は、入力されたMPEG-2ストリームV1を可変長復号して符号情報を抽出する。なお、ここでの復号処理はMPEG-2ストリームを符号情報まで戻す可変長復号のみの部分的な復号である。抽出された符号情報は復号部１１および符号化モード決定部１２へ送られる。復号部１１は、符号情報を逆量子化および逆DCT変換して画素情報を生成し、これを符号化モード決定部１２および符号化部１３へ送る。
【００１９】
符号化モード決定部１２は、前記抽出部１０で抽出された符号情報および前記復号部１１で生成された画素情報に基づいて、MPEG-2 ストリームV1の水平m画素×垂直2n画素の制御ブロックごとに、H.264 における最適な符号化モードを決定し、この決定結果を符号化部１３へ提供する。本実施形態では、隣接する２つのMB（以下、MBペアと表現する場合もある）ごとに、H.264における符号化モードとしてフレーム符号化およびフィールド符号化の一方が決定される。符号化部１３は、符号化モードの決定結果をH.264 の符号化モードに適用して各MBペアの画素情報を符号化し、H.264 ストリームV2として出力する。
【００２０】
前記符号化モード決定部１２において、入力モード判定部１２１は、前記抽出部１０で抽出された符号情報をMBペア単位で読み出し、各MBがMPEG-2ではフレーム符号化およびフィールド符号化のいずれのモードで符号化されていたのか判定する。相関判定部１２２およびテクスチャ判定部１２３は、MPEG-2ストリームV1ではフレーム符号化されたMBペアをH.264の各符号化モードで符号化した際の適応度を比較する適応度比較部として機能する。そして、相関判定部１２２は、MPEG-2ではフレーム符号化モードを採用されたMBペアに関して、H.264でも同様にフレーム符号化モードの適応度が優っているか否かを、各MBペアの画素情報の空間相関に基づいて推定する。テクスチャ判定部１２３は、MPEG-2ではフレーム符号化モードを採用されたMBペアに関して、H.264でも同様にフレーム符号化モードの適応度が優っているか否かを、各MBペアのテクスチャに基づいて判定する。
【００２１】
前記抽出部１０、復号部１１、符号化モード決定部１２および符号化部１３は、動画像の入出力インタフェースを有するコンピュータを用いて構成することができ、その場合、各部はコンピュータが有するCPU、記憶装置、計時装置および本発明の処理を行うプログラムなどにより実現される。なお、プログラム はCD-ROMなどの記録媒体に格納することができる。
【００２２】
次いで、フローチャートを参照して本実施形態の動作を詳細に説明する。図２は、前記符号化モード決定部１２の動作を示したフローチャートである。
【００２３】
本実施形態では、フィールド符号化モードを適用すべきMBペアに対してフレーム符号化モードを適用してしまうと、動きの大きい縞状部分の画質が大幅に劣化して符号化効率を低下させてしまう一方、その逆に、フレーム符号化モードを適用すべきMBペアに対してフィールド符号化モードを適用しても符号化効率の低下は前者に比べて相対的に小さい点に着目した。そして、フィールド符号化の適用を前提とし、MPEG-2でフレーム符号化が適用されていたMBペアについてのみ、改めて詳細なモード判定を行うことで、画質の劣化を抑えながら符号化モードの高速な判定を可能にしている。
【００２４】
ステップＳ１では、符号化モードの判定対象となる２つのMBのペアが今回の注目MBペアとして抽出される。ステップＳ２では、注目MBペアに対するMPEG-2での符号化モードが判定され、MBペアの少なくとも一方のMBの符号化モードがフィールド符号化であればステップＳ９へ進む。ステップＳ９では、当該MBペアに対してH.264で採用する符号化モードとしてフィールド符号化が決定される。
【００２５】
これに対して、MBペアの符号化モードがいずれもフレーム符号化であれば、改めて符号化モード判定を行うべくステップＳ３へ進む。ステップＳ３では、前記相関判定部１２２において、注目MBペアの画素情報をフレーム符号化する適応度として、ライン間画素相関値SADframeが次式(1)に基づいて算出される。ステップＳ４では、前記相関判定部１２２において、注目MBペアの画素情報をフィールド符号化する適応度として、ライン間画素相関値SADfieldが次式(2)に基づいて算出される。ここで、c(x,y) はMBペア内の各座標(x、y)の画素値である。
【００２６】
【数１】
【００２７】
【数２】
【００２８】
ステップＳ５では、フレーム符号化で得られたライン間画素相関値SADframeから、フィールド符号化で得られたライン間画素相関値SADfieldを減じた値（SADframe-SADfield）が、所定の判定基準値TH1よりも小さいか否かに基づいて、当該注目MBペアに対する符号化モードとしてフィールド符号化の適応度が有意に高いか否かが判定される。
【００２９】
本実施形態では、前記差分（SADframe-SADfield）が判定基準値TH1を上回っている、換言すれば、フレーム符号化で得られたライン間画素相関値SADframeが、フィールド符号化で得られたライン間画素相関値SADfieldよりも、少なくとも前記判定基準値TH1分だけ有意に高ければ、更に厳密にモード判定を下すべくステップＳ６へ進む。これに対して、フレーム符号化で得られたライン間画素相関値SADframeが、フィールド符号化で得られたライン間画素相関値SADfieldよりも有意に高くなければ、フィールド符号化を選択すべくステップＳ９へ進む。
【００３０】
ステップＳ６では、前記差分（SADframe-SADfield）が判定基準値TH1を下回っていると判定されたMBペアのみを対象に、前記テクスチャ判定部１２３において、さらにテクスチャ判定が行われる。
【００３１】
図３は、MBペアのテクスチャの分類を示した図であり、同図(a)のように、MBペアの全領域が平坦で一定の画素値を有していればフィールド符号化およびフレーム符号化のいずれでも効率は変わりない。同図(b)のように、MBペアのそれぞれは全領域が一定の画素値を有しているがMB同士で画素値が異なる場合にはフィールド符号化よりもフレーム符号化の方が効率が高い。同図(c)のように、一方のMBのみが平坦な場合もフィールド符号化よりもフレーム符号化の方が効率が高い。
【００３２】
同図(d)のように、MBペアの全領域で画素値が複雑に変化する場合にはフィールド符号化およびフレーム符号化のいずれでも高い効率が得られない。同図(e)のような斜めエッジや、同図(f)のような滑らかな曲線エッジの場合はフィールド符号化よりもフレーム符号化の方が効率が高い。
【００３３】
すなわち、フィールド符号化およびフレーム符号化のいずれでも符号化効率が変わらず、符号化モードの適用を誤った場合でも画像劣化を最小限に抑えることを考慮すれば、フレーム符号化よりもフィールド符号化が望ましいテクスチャは、MBペア全体が平坦な(a)の場合、およびMBペアの全領域で画素値が複雑に変化する(d)の場合に限られる。ただし、(d)のテクスチャと(b)，(c)，(e)，(f)の各テクスチャとを区別するためには、更に複雑な演算が必要となるので、本実施形態では、(a)のテクスチャのみを識別すべく、次式(3)に基づいてテクスチャ判定が行われる。
【００３４】
【数３】
【００３５】
ここで、c(x,y) はMBペア内の各座標(x、y)の画素値であり、c_aveはMBペア内の画素値の平均値である。したがって、上式(3)は、MBペア内での画素値の分散を表している。
【００３６】
図２へ戻り、ステップＳ７では、前記画素値分散VARが所定の基準値TH2と比較される。そして、VAR＞TH2すなわちMBペア内の画像が複雑であればステップＳ８へ進み、当該MBペアに関するH.264での符号化モードとしてフレーム符号化が決定される。これに対して、VAR≦TH2すなわちMBペア内の画像が平坦であればステップＳ９へ進み、当該MBペアに関するH.264での符号化モードとしてフィールド符号化が決定される。
【００３７】
ステップＳ１０では、次のMBペアが存在するか否かが判定される。存在すればステップＳ１へ戻り、注目するMBペアを切替ながら上記した各処理が繰り返される。
【００３８】
なお、上記した実施形態では、テクスチャ判定においてフィールド符号化を適用するMBペアとして、図６(a)のように、MBペアの全領域が平坦で一定の画素値を有しているMBペアを識別するものとして説明したが、フィールド符号化およびフレーム符号化のいずれでも符号化効率が変わらないテクスチャであれば、図６(d)に示したように、MBペアの全領域で画素値が複雑に変化するMBペアも識別してフィールド符号化を適用するするようにしても良いし、あるいは、図６(d)に示したテクスチャのみを識別してフィールド符号化を適用するするようにしても良い。
【００３９】
さらに、上記した実施形態では、判定基準値TH1，TH2が固定値であるものとして説明したが、動画像のビットレートが低くなると、動きの大きい縞状部分での画質劣化が緩和され、フィールド符号化よりもフレーム符号化の方が有利になることがある。したがって、各判定基準値TH1，TH2をビットレートの関数として適応的に調整し、ビットレートが低下するほど判定基準値TH1，TH2が小さくなるようにしても良い。
【図面の簡単な説明】
【００４０】
【図１】本発明に係る符号化方式変換システムの主要部の構成を示した図である。
【図２】符号化モード決定部の動作を示したフローチャートである。
【図３】MBペアのテクスチャの分類を示した図である。
【図４】インタレース構造の映像データをMBペア単位で符号する方法を示した図である。
【図５】フレーム符号化モードでの符号化方法を示した図である。
【図６】フィールド符号化モードでの符号化方法を示した図である。
【符号の説明】
【００４１】
１０…抽出部，１１…復号部，１２…符号化モード決定部，１３…符号化部，１２１…入力モード判定部，１２２…相関判定部，１２３…テクスチャ判定部
【特許請求の範囲】
【請求項１】
画素情報を所定の制御ブロック単位で符号化する第１および第２符号化方式が、フレーム符号化モードおよびフィールド符号化モードを備え、第１符号化方式の第１動画像を第２符号化方式の第２動画像に変換する符号化方式変換装置において、
第１動画像の各制御ブロックの符号化モードを判定する入力モード判定手段と、
第１動画像のフレーム符号化された制御ブロックを第２符号化方式の各符号化モードで符号化する際の適応度を比較する適応度比較手段と、
第１動画像のフレーム符号化された制御ブロックのうち、前記適応度比較手段においてフィールド符号化の適応度よりもフレーム符号化の適応度が有意に高いとされた制御ブロックをフレーム符号化するフレーム符号化手段と、
第１動画像のフィールド符号化された制御ブロック、および第１動画像のフレーム符号化された制御ブロックのうち、前記適応度判定手段においてフィールド符号化の適応度よりもフレーム符号化の適応度が有意に高いとされた以外の制御ブロックをフィールド符号化するフィールド符号化手段とを含むことを特徴とする動画像の符号化方式変換装置。
【請求項２】
前記適応度比較手段は、
第１動画像のフレーム符号化された制御ブロックをフィールド符号化した際のライン間画素相関値を算出する手段と、
第１動画像のフレーム符号化された制御ブロックをフレーム符号化した際のライン間画素相関値を算出する手段と、
前記各ライン間画素相関値を比較する手段とを含み、
フレーム符号化のライン間画素相関値がフィールド符号化のライン間画素相関値よりも高く、かつ両者の差分が所定の第１基準値を上回る制御ブロックはフレーム符号化の適応度が有意に高いと判定されることを特徴とする請求項１に記載の動画像の符号化方式変換装置。
【請求項３】
前記適応度比較手段がさらに、
前記ライン間画素相関値に基づいてフレーム符号化の適応度が有意に高いと判定された制御ブロック内の画素情報の分散を算出する手段を具備し、
フレーム符号化の適応度が有意に高いと判定された制御ブロックのうち、分散が所定の第２基準値を上回る制御ブロックはフレーム符号化の適応度が有意に高いと判定されることを特徴とする請求項２に記載の動画像の符号化方式変換装置。
【請求項４】
前記第１および第２符号化方式は、画素情報を符号情報に変換する手順、および符号情報を可変長符号化する手順を含み、
前記第１動画像を符号情報まで可変長復号する可変長復号手段と、
前記符号情報を画素情報まで復号する復号手段とを含み、
前記入力モード判定手段は、第１動画像の符号情報に基づいて入力モード判定を行い、
前記適応度比較手段は、第１動画像の符画素情報に基づいて適応度を比較することを特徴とする請求項１ないし３のいずれかに記載の動画像の符号化方式変換装置。
【請求項５】
前記第１および第２基準値の少なくとも一方が動画像のビットレートの関数であり、各基準値がビットレートの低下に伴って適応的に小さくなることを特徴とする請求項４に記載の動画像の符号化方式変換装置。
【請求項６】
画素情報を所定の制御ブロック単位で符号化する第１および第２符号化方式が、フレーム符号化モードおよびフィールド符号化モードを備え、第１符号化方式の第１動画像を第２符号化方式の第２動画像に変換する符号化方式変換方法において、
第１動画像の各制御ブロックの符号化モードを判定する手順と、
第１動画像のフレーム符号化された制御ブロックを第２符号化方式の各符号化モードで符号化する際の適応度を比較する手順と、
第１動画像のフレーム符号化された制御ブロックのうち、前記適応度比較手段においてフィールド符号化の適応度よりもフレーム符号化の適応度が有意に高いとされた制御ブロックをフレーム符号化する手順と、
第１動画像のフィールド符号化された制御ブロック、および第１動画像のフレーム符号化された制御ブロックのうち、前記適応度判定手段においてフィールド符号化の適応度よりもフレーム符号化の適応度が有意に高いとされた以外の制御ブロックをフィールド符号化する手順とを含むことを特徴とする動画像の符号化方式変換方法。
【請求項７】
前記適応度を比較する手順が、
第１動画像のフレーム符号化された制御ブロックをフィールド符号化した際のライン間画素相関値を算出する手順と、
第１動画像のフレーム符号化された制御ブロックをフレーム符号化した際のライン間画素相関値を算出する手順と、
前記各ライン間画素相関値を比較する手順とを含み、
フレーム符号化のライン間画素相関値がフィールド符号化のライン間画素相関値よりも高く、かつ両者の差分が所定の第１基準値を上回る制御ブロックはフレーム符号化の適応度が有意に高いと判定されることを特徴とする請求項６に記載の動画像の符号化方式変換方法。
【請求項８】
前記適応度を比較する手順がさらに、
前記ライン間画素相関値に基づいてフレーム符号化の適応度が有意に高いと判定された制御ブロック内の画素情報の分散を算出する手順を具備し、
フレーム符号化の適応度が有意に高いと判定された制御ブロックのうち、分散が所定の第２基準値を上回る制御ブロックはフレーム符号化の適応度が有意に高いと判定されることを特徴とする請求項７に記載の動画像の符号化方式変換方法。
【請求項９】
前記第１および第２符号化方式は、画素情報を符号情報に変換する手順、および符号情報を可変長符号化する手順を含み、
前記第１動画像を符号情報まで可変長復号する手順と、
前記符号情報を画素情報まで復号する手順とを含み、
第１動画像の符号情報に基づいて入力モード判定が行われ、
第１動画像の符画素情報に基づいて適応度が比較されることを特徴とする請求項６ないし８のいずれかに記載の動画像の符号化方式変換方法。
【請求項１０】
前記第１および第２基準値の少なくとも一方が動画像のビットレートの関数であり、各基準値がビットレートの低下に伴って適応的に小さくなることを特徴とする請求項９に記載の動画像の符号化方式変換方法。
【請求項１１】
前記請求項６ないし１０のいずれかに記載の動画像の符号化方式変換方法を、コンピュータに実行させるための動画像の符号化方式変換プログラム。
【請求項１２】
前記請求項１１に記載した動画像の符号化方式変換プログラムをコンピュータが読み取り可能に記憶した記録媒体。
【請求項１】
画素情報を所定の制御ブロック単位で符号化する第１および第２符号化方式が、フレーム符号化モードおよびフィールド符号化モードを備え、第１符号化方式の第１動画像を第２符号化方式の第２動画像に変換する符号化方式変換装置において、
第１動画像の各制御ブロックの符号化モードを判定する入力モード判定手段と、
第１動画像のフレーム符号化された制御ブロックを第２符号化方式の各符号化モードで符号化する際の適応度を比較する適応度比較手段と、
第１動画像のフレーム符号化された制御ブロックのうち、前記適応度比較手段においてフィールド符号化の適応度よりもフレーム符号化の適応度が有意に高いとされた制御ブロックをフレーム符号化するフレーム符号化手段と、
第１動画像のフィールド符号化された制御ブロック、および第１動画像のフレーム符号化された制御ブロックのうち、前記適応度判定手段においてフィールド符号化の適応度よりもフレーム符号化の適応度が有意に高いとされた以外の制御ブロックをフィールド符号化するフィールド符号化手段とを含むことを特徴とする動画像の符号化方式変換装置。
【請求項２】
前記適応度比較手段は、
第１動画像のフレーム符号化された制御ブロックをフィールド符号化した際のライン間画素相関値を算出する手段と、
第１動画像のフレーム符号化された制御ブロックをフレーム符号化した際のライン間画素相関値を算出する手段と、
前記各ライン間画素相関値を比較する手段とを含み、
フレーム符号化のライン間画素相関値がフィールド符号化のライン間画素相関値よりも高く、かつ両者の差分が所定の第１基準値を上回る制御ブロックはフレーム符号化の適応度が有意に高いと判定されることを特徴とする請求項１に記載の動画像の符号化方式変換装置。
【請求項３】
前記適応度比較手段がさらに、
前記ライン間画素相関値に基づいてフレーム符号化の適応度が有意に高いと判定された制御ブロック内の画素情報の分散を算出する手段を具備し、
フレーム符号化の適応度が有意に高いと判定された制御ブロックのうち、分散が所定の第２基準値を上回る制御ブロックはフレーム符号化の適応度が有意に高いと判定されることを特徴とする請求項２に記載の動画像の符号化方式変換装置。
【請求項４】
前記第１および第２符号化方式は、画素情報を符号情報に変換する手順、および符号情報を可変長符号化する手順を含み、
前記第１動画像を符号情報まで可変長復号する可変長復号手段と、
前記符号情報を画素情報まで復号する復号手段とを含み、
前記入力モード判定手段は、第１動画像の符号情報に基づいて入力モード判定を行い、
前記適応度比較手段は、第１動画像の符画素情報に基づいて適応度を比較することを特徴とする請求項１ないし３のいずれかに記載の動画像の符号化方式変換装置。
【請求項５】
前記第１および第２基準値の少なくとも一方が動画像のビットレートの関数であり、各基準値がビットレートの低下に伴って適応的に小さくなることを特徴とする請求項４に記載の動画像の符号化方式変換装置。
【請求項６】
画素情報を所定の制御ブロック単位で符号化する第１および第２符号化方式が、フレーム符号化モードおよびフィールド符号化モードを備え、第１符号化方式の第１動画像を第２符号化方式の第２動画像に変換する符号化方式変換方法において、
第１動画像の各制御ブロックの符号化モードを判定する手順と、
第１動画像のフレーム符号化された制御ブロックを第２符号化方式の各符号化モードで符号化する際の適応度を比較する手順と、
第１動画像のフレーム符号化された制御ブロックのうち、前記適応度比較手段においてフィールド符号化の適応度よりもフレーム符号化の適応度が有意に高いとされた制御ブロックをフレーム符号化する手順と、
第１動画像のフィールド符号化された制御ブロック、および第１動画像のフレーム符号化された制御ブロックのうち、前記適応度判定手段においてフィールド符号化の適応度よりもフレーム符号化の適応度が有意に高いとされた以外の制御ブロックをフィールド符号化する手順とを含むことを特徴とする動画像の符号化方式変換方法。
【請求項７】
前記適応度を比較する手順が、
第１動画像のフレーム符号化された制御ブロックをフィールド符号化した際のライン間画素相関値を算出する手順と、
第１動画像のフレーム符号化された制御ブロックをフレーム符号化した際のライン間画素相関値を算出する手順と、
前記各ライン間画素相関値を比較する手順とを含み、
フレーム符号化のライン間画素相関値がフィールド符号化のライン間画素相関値よりも高く、かつ両者の差分が所定の第１基準値を上回る制御ブロックはフレーム符号化の適応度が有意に高いと判定されることを特徴とする請求項６に記載の動画像の符号化方式変換方法。
【請求項８】
前記適応度を比較する手順がさらに、
前記ライン間画素相関値に基づいてフレーム符号化の適応度が有意に高いと判定された制御ブロック内の画素情報の分散を算出する手順を具備し、
フレーム符号化の適応度が有意に高いと判定された制御ブロックのうち、分散が所定の第２基準値を上回る制御ブロックはフレーム符号化の適応度が有意に高いと判定されることを特徴とする請求項７に記載の動画像の符号化方式変換方法。
【請求項９】
前記第１および第２符号化方式は、画素情報を符号情報に変換する手順、および符号情報を可変長符号化する手順を含み、
前記第１動画像を符号情報まで可変長復号する手順と、
前記符号情報を画素情報まで復号する手順とを含み、
第１動画像の符号情報に基づいて入力モード判定が行われ、
第１動画像の符画素情報に基づいて適応度が比較されることを特徴とする請求項６ないし８のいずれかに記載の動画像の符号化方式変換方法。
【請求項１０】
前記第１および第２基準値の少なくとも一方が動画像のビットレートの関数であり、各基準値がビットレートの低下に伴って適応的に小さくなることを特徴とする請求項９に記載の動画像の符号化方式変換方法。
【請求項１１】
前記請求項６ないし１０のいずれかに記載の動画像の符号化方式変換方法を、コンピュータに実行させるための動画像の符号化方式変換プログラム。
【請求項１２】
前記請求項１１に記載した動画像の符号化方式変換プログラムをコンピュータが読み取り可能に記憶した記録媒体。
【図１】
【図２】
【図３】
【図４】
【図５】
【図６】
【図２】
【図３】
【図４】
【図５】
【図６】
【公開番号】特開２００９−４９７６４（Ｐ２００９−４９７６４Ａ）
【公開日】平成２１年３月５日（２００９．３．５）
【国際特許分類】
【出願番号】特願２００７−２１４８１１（Ｐ２００７−２１４８１１）
【出願日】平成１９年８月２１日（２００７．８．２１）
【出願人】（０００２０８８９１）ＫＤＤＩ株式会社 (2,700)
【Ｆターム（参考）】
【公開日】平成２１年３月５日（２００９．３．５）
【国際特許分類】
【出願日】平成１９年８月２１日（２００７．８．２１）
【出願人】（０００２０８８９１）ＫＤＤＩ株式会社 (2,700)
【Ｆターム（参考）】
[ Back to top ]