説明

符号化データ編集方法、装置、プログラム、および媒体

【課題】H.264符号化データの編集処理において、再符号化処理をすれば、膨大な処理負荷と、画質の劣化が発生する。処理負荷を抑制し、かつ画質劣化を発生させないためには、動き予測やDCT変換等の高負荷処理を行わずに、編集によって崩れてしまうピクチャ間の参照関係を復元する必要がある。
【解決手段】IピクチャをIDR Iピクチャに変換することによって崩れてしまう参照関係を、スライスヘッダ内のフィールドを書き換えて参照関係を復元する復元ステップと、マクロブロックレイヤーにある参照ピクチャインデックスフィールドを、IDR Iピクチャへの変換後の参照ピクチャリストのインデックスに合致するように変換する変換ステップとを有することを特徴とする、H.264符号化データ編集装置、プログラムおよび媒体。

【発明の詳細な説明】
【技術分野】
【0001】
本発明は、PC上で動作するソフトウェアで、圧縮された画像を編集する技術に関する。
【背景技術】
【0002】
近年、パーソナルコンピュータ(以下PC)を用いて、映像の編集が盛んに行われており、ビデオカメラで撮影した映像をPC上で確認し、編集、保存するという機能を持つアプリケーションが数多く存在する。
【0003】
一方、映像分野ではハイビジョン化が進み、HD解像度のMPEG−2コーデックを用いた高画質な映像がビデオカメラ等で作成できるようになった。高解像度で高画質な映像を実現するには、高ビットレートでのMPEG−2エンコードが必要となる。そこで、新たな動画コーデックであるH.264(MPEG−4 AVC)に対する期待が高まっている。H.264は従来のMPEG−2やMPEG−4と比較し、2倍から3倍の圧縮効率を実現することが出来ると言われている。
【0004】
MPEG2規格やH.264規格の動画像データの圧縮の手法においては、動き検出と呼ばれる技術が用いられている。そして動き検出の逆処理に相当する動き補償処理と呼称される処理を行って画像を復号する。動き検出とは簡単に言うと、連続するフレーム間で写っている要素がどのように動いたかを検出して効率よく圧縮する方法である。MPEG2規格の動き検出においてはマクロブロック(例えば16画素×16画素のブロック)ごとに、そのマクロブロックが前後のフレームにおいて、どの方向へどの程度動いているかという動きベクトルを求める。そして動きベクトルと、それに対応するマクロブロックの各画素との差分データを求める。そして動き補償処理において画像を復元する際には、この動きベクトルと画素の差分データを合成して元の画像を再現する。差分データは本来の画素データと比較するとデータサイズがかなり小さくなるので、高圧縮が可能となっている。圧縮前に比して、データサイズを小さくできることから、データ転送の速度が、圧縮しない場合に比べて、かなり速くなるという効果を得られる。
【0005】
H.264は圧縮率を向上させるための様々な手法が盛り込まれており、MPEG−2と比較して、エンコードやデコードに膨大な処理を必要とする。特に、H.264のエンコードには、膨大な処理が必要となる。
【0006】
H.264については、以下の非特許文献1に記載されている。H.264を利用する映像規格では、ランダムアクセスを容易に実現するために、MPEG−2のピクチャ構成と類似させる制約を設け、H.264にGroup Of Pictures(GOP)の概念を導入している場合がある。
【0007】
また、映像規格において、2つの映像データファイルをシームレスに再生する機能を定義し、シームレス再生を実現させるための条件を定めている場合がある。シームレス再生を実現させるための条件としては、以下のような条件が挙げられる。
・ 多重化システムに関する条件
ビデオ、オーディオを多重化するシステム(例えば、MPEG−2 Transport Streamなど)の連続性を規定する条件。システムクロックの開始時間、システムのバッファ制御などに関する条件などがある。
・ ビデオのエレメンタリーストリームに関する条件
連続する2つの映像データのビデオエレメンタリデータに関する代表的な条件として、以下に挙げる条件がある。
−後半の映像データのデコード開始ピクチャはIDR Iピクチャにする。
−前半の映像データと後半の映像データのビデオエレメンタリデータをつなぎ合わせて1つ映像データにした場合に、CPBバッファがオーバーフロー、アンダーフローしてはならない。
【0008】
以上のような映像規格を用いて記録された映像データを編集する場合の、現実的な編集ケースとして、以下のような編集ケースが考えられる。
・ 不要箇所を削除する編集
TV映像などを記録し、後にCMの部分のみを削除するようなケース。
・ 切り替え効果などを付加する編集
ビデオカメラ等で映像を記録し、後にタイトルなどを挿入したり、シーンとシーンの切り替え効果を付加するようなケース。
【0009】
これらの編集機能を実現し、編集後の映像データをシームレスに再生させる方法としては、大きく分けて以下の2つ方法がある。
・編集ポイント以降の映像を全て非圧縮データに復号、あるいは新規作成し、その非圧縮データを符号化してシームレス再生の条件を満たす方法。
・ 編集ポイント近辺のみを部分的に非圧縮データに復号、あるいは新規作成し、編集ポイント近辺のみをシームレス再生の条件を満たすように符号化して、シームレス再生の条件を満たす方法。
【0010】
前者は、H.264映像を最も容易に編集できるが、編集した映像ストリームを得るには膨大な処理を必要とし、長時間の映像ストリームの編集には適していない。また、H.264などの映像圧縮方式は、可逆変換ではないため、少なからず画質が劣化してしまう。
後者は、部分的な符号化処理しか必要ないので、前者の方法と比較して、格段に処理負荷を抑制できる。また、エンコードしない区間の映像の画質劣化は発生しないため、有効な手段である。しかしながら、映像データの繋ぎ目がOpen GOPの場合、各スライスの参照ピクチャリストと、再符号化した参照ピクチャの整合性を確保しなければならない。
以下に示す特許文献1によれば、編集ポイントでH.264規格で定義されるIDR I ピクチャを挿入し、ピクチャ間で連続的に変化するパラメータを制御する方法が示されている。しかしながら、参照関係が崩れたPピクチャ、Bピクチャに関しては、再符号化するしかなく、動き予測や、DCT変換などの高負荷な処理が必要となってしまう。映像データの繋ぎ目がOpen GOPで、参照されるBピクチャを使用している場合、繋ぎ目での参照関係は完全に崩れてしまい、次のGOPまで、ほぼ全てのピクチャを再符号化しなければならない。再符号化処理をすれば、前述したように、少なからず画質が劣化してしまう。
【非特許文献1】ITU−T(InternationalTelecommunicationsUnion−Telecommunicationstandardizationsector)H.264規格書
【特許文献1】特開2007−194735号公報
【発明の開示】
【発明が解決しようとする課題】
【0011】
本発明は、上記に示す編集時の処理負荷を抑制し、かつ画質の劣化を最小限に留めることを目的とする、H.264編集装置に関する。
【課題を解決するための手段】
【0012】
上記の課題を解決するために、本発明では、編集位置のピクチャ種別を判定する第1の判定ステップと、前記第1の判定ステップで、OpenGOPで、かつIピクチャの直後の「参照されるBピクチャ」と判定された場合に、スライスヘッダ内のフィールドを書き換えて、該IピクチャをIDR Iピクチャに変換する変換ステップと、該参照されるBピクチャを削除する削除ステップと、前記変換ステップと前記削除ステップにより参照関係が保持できないピクチャを検出する検出ステップと、 前記検出ステップで検出されたピクチャの参照関係をスライスヘッダ内のフィールドを書き換えて復元することができるかを判定する第2の判定ステップと、前記第2の判定ステップで復元できると判定した場合に、スライスヘッダ内のフィールドを書き換えて参照関係を復元する復元ステップと、前記判定ステップで復元できないと判定した場合に、該当ピクチャのマクロブロックレイヤーにあるrefIdxフィールドを変換する変換ステップとを有することを特徴とする。
【発明の効果】
【0013】
符号化時に発生する動き予測、DCT変換等の高負荷処理を可能な限り抑制しつつ、画質の劣化を最小限に抑え、シームレス接続可能なH.264編集が可能となる。
【発明を実施するための最良の形態】
【0014】
(実施の形態1)
映像規格で採用されているH.264のデータ構成を図1に示す。本来、H.264には、Group Of Picture(GOP)という概念はないが、映像再生時にランダムアクセスするために、映像規格でピクチャの構成を制限し、MPEG−2などと同じGOPの概念を実現している。
【0015】
H.264では、NAL Unitと呼ばれるデータの単位を定義しており、識別子を付加することで、データの内容が識別できる。
NAL Unitのデータの種別には、再生に最低限必要な情報として、以下のものがある。
・Access Unit Delimiter(AU Delimiter)
ピクチャの境界と直後のピクチャのタイプ(Iピクチャ、Pピクチャ、Bピクチャ)を示す情報を格納。
・Sequence Parameter Set (SPS)
ピクチャの解像度、フレームレート、アスペクト比など、映像の基本となる情報を格納。以降のピクチャをデコードするためには必須のNAL Unit。
・Picture Parameter Set (PPS)
符号化モード、符号化ツールの有無など、以降のピクチャをデコードするために必須の情報を格納。
・Slice Data
スライスヘッダとマクロブロック情報から構成されている。
スライスヘッダには、同スライス内のマクロブロックをデコードするために必要な格納されている。
マクロブロックは、16x16ピクセル分に相当する圧縮された映像情報が格納されている。マクロブロックは大別すると、以下の2種類がある。
・イントラマクロブック
該当マクロブロックが含まれるピクチャ内の復号された映像情報を用いて、該当ブロックのデータを予測し、データを圧縮する、フレーム内圧縮を用いるマクロブロック。
・インターマクロブロック
既に復号された別のピクチャ内の映像情報を用いて、該当マクロブロックのデータを予測し、データを圧縮する、フレーム間圧縮を用いるマクロブロック。
各マクロブロックは、イントラ/インターの種別によって、以下のような情報が格納される。
イントラマクロブロックの場合
・マクロブロックの種別
・画面内予測モード
・残差情報
インターマクロブロックの場合
・マクロブロックの種別
・参照ピクチャインデックス
・モーションベクトル
・残差情報
・End of Sequence (EOS)
H.264のシーケンスの終端を示す情報を格納。
H.264規格では、スライスの種別を以下のように分類しており、スライスタイプとしてスライスヘッダに格納されている。
・Iスライス
イントラマクロブロックしか含まないスライス。
Iスライスの中でも、nal_unit_typeが5のスライスは、IDR Iスライスと称される。
・Pスライス
イントラマクロブロックとインターマクロブロックを含むスライス。
インターマクロブロックは、前方方向のフレーム間圧縮のみを使用し、後方方向のフレーム間圧縮は使用しない。
・Bスライス
イントラマクロブロックとインターマクロブロックを含むスライス。
インターマクロブロックは、前方方向、後方方向、または双方向のフレーム間圧縮を使用する。
H.264規格におけるフレーム間圧縮は、参照ピクチャインデックスとモーションベクトルを用いる。MPEG−2規格では、参照可能なピクチャは1つしかないが、H.264規格では、複数の参照ピクチャの中から選択が可能であり、スライス単位で参照可能なピクチャのリストが生成される。8x8画素を最小の単位として、参照可能なピクチャのリストのインデックスがマクロブロック情報の中に格納される。
【0016】
参照可能なピクチャのリストは、H.264規格で「Decoded Picture Buffer (DPB)」と称される、既にデコードされた複数のピクチャの非圧縮画像のバッファと、スライスのタイプ、およびスライスヘッダに格納されている参照ピクチャリストのオペレーション情報によって、一意に定まる。
【0017】
H.264規格によれば、IDR Iピクチャをデコードするタイミングで、DPBに溜まっている非圧縮画像のリストはフラッシュされ、以降、nal_ref_idc > 0 のスライスを格納しているピクチャ(被参照ピクチャ)をデコードし、DPBに順に格納される。DPBに格納する非圧縮画像の最大格納数は、SPSに格納されているnum_ref_framesフィールドによって定まる。DPBに既に最大格納数分の非圧縮画像が格納されている状態で、次の被参照ピクチャをDPBに格納する場合は、H.264規格で定義される手順に従って、DPBを更新する。
【0018】
H.264規格によれば、デコード順にピクチャを並べた場合、IDR Iピクチャをまたぐ参照関係でのフレーム間圧縮は、存在しない。逆に、IDR Iピクチャをまたがなければ、PピクチャがIピクチャをまたいで、別のBピクチャを参照することも可能である。
【0019】
図2は、H.264規格におけるPピクチャ参照関係を示しており、図3は、H.264規格におけるBピクチャ参照関係を示している。ランダムアクセスは、IDR Iピクチャの挿入する間隔で可能となる。MPEG−2規格とは異なり、Group Of Pictures(GOP)という概念はない。
【0020】
一方で、H.264を利用する映像規格では、従来のMPEG−2規格を利用した映像規格と概念を合わせるため、H.264規格に制限を加えて運用されるケースがある。例えば、以下のような制限を加え、MPEG−2規格におけるGOPの概念をH.264規格で実現するケースがある。
・ピクチャに含まれるスライスタイプの制限
Iピクチャには、Iスライスのみ使用可能。
Pピクチャには、Pスライスのみ使用可能。
Bピクチャには、Bスライスのみ使用可能。
・フレーム間圧縮における参照関係の制限
Iピクチャは、他のピクチャを参照しない。
Pピクチャは、IピクチャまたはPピクチャを参照可能。ただし、デコード順にピクチャを並べた場合の、Iピクチャをまたぐ参照はしない。
Bピクチャは、表示順に並べた場合の、直前のIピクチャまたはピクチャから、直後のIピクチャまたはPピクチャまでのピクチャを参照可能。
【0021】
これらの制限を加えることで、H.264規格において、GOPの概念が導入できる。図4に示すように、IDR IピクチャをGOPの境界として、Closed GOPの概念を実現し、GOP単位でのランダムアクセスが可能となる。また、図5に示すように、IピクチャをGOPの境界として、先に述べた参照関係の制約を加えることで、Open GOPの概念を実現できる。
【0022】
Open GOPは、Closed GOPと比較して、圧縮効率を向上できるため、H.264を利用する映像規格において、しばしば利用される。また、Bピクチャの中でも、被参照ピクチャとなるBピクチャを特別に、「参照されるBピクチャ」などと称する場合もある。参照されるBピクチャを用いることで、フレーム間圧縮の圧縮効率を向上できることが一般的に知られている。
【0023】
本発明では、図6に示すような、1つの映像ファイルの不要区間を削除し、シームレス接続可能な2つの映像を作成する、映像編集に着目する。図13は、本発明における編集装置の基本構成を示している。編集元となるH.264符号化001を、ピクチャ解析部002でピクチャの種別を解析する。Open GOPの先頭のIピクチャの場合は、IDR Iピクチャ変換部003で、IDR Iピクチャに変換する。先頭のIピクチャでなければ、スライスヘッダ解析部004において、参照関係が保持できているかを解析する。スライスヘッダのみの書き換えで、参照関係が復元可能な場合は、スライスヘッダ変換部005で新たなスライスヘッダに置き換え、編集後の符号化データ007を得る。スライスヘッダの書き換えだけでは、参照関係が復元できない場合は、マクロブロック内データ変換部006において、マクロブロック内の参照ピクチャインデックスが記述されているフィールドを、編集元のH.264符号化データにおける参照インデックスから、編集後のH.264符号化データにおける参照インデックスに変換し、編集後の符号化データ007を得る。
図7に本発明の編集装置における全体の処理手順を示す。編集位置がOpen GOPかどうかの確認を行う判定ステップS001において、編集位置がIDR Iピクチャか、Iピクチャかを判定する。ここで、編集位置がIDR Iピクチャであれば、以降のピクチャの参照関係は保証されているので、参照関係を確認する必要がない。編集位置がIピクチャの場合、シームレス再生を実現するために、変換ステップS002において、IピクチャをIDR Iピクチャに変換する。
【0024】
IピクチャをIDR Iピクチャに変換すれば、以降のPピクチャやBピクチャの参照ピクチャリストを構築する際、編集前のH.264データとは異なる参照ピクチャリストになる可能性がある。図8に示すように、Iピクチャの場合は、DPBはフラッシュされず、IDR Iピクチャの場合は、DPBがフラッシュされるため、参照ピクチャリスト構築の際のDPBの内容が異なるため、参照インデックスの異なる参照ピクチャリストになるからである。
【0025】
また、Open GOPにおいて、デコード順にピクチャを並べた場合の、Iピクチャの直後に存在するBピクチャは、削除ステップS003で削除する。直前のGOPの最後のPピクチャを参照しており、また、表示順に並べた場合に、編集位置の範囲外であるためである。
【0026】
削除するBピクチャが参照されないBピクチャの場合と、参照されるBピクチャの場合で、後続のPピクチャにおける参照インデックスと参照ピクチャの関係が異なる。
削除するBピクチャが参照されないBピクチャの場合、図8に示すように、後続のPピクチャにおける参照関係は、編集前の同じ位置のPピクチャと比較して、同じ可能性がある。一方、削除するBピクチャが参照されるBピクチャの場合、図9に示すように、次のPピクチャにおける参照ピクチャリストは、全く異なる関係になる。
【0027】
図8は、例として、最大3ピクチャの参照が可能な場合に、参照されないBピクチャでH.264符号化されたデータを、Iピクチャの位置で編集し、先頭のIピクチャをIDR Iに変換した場合の参照ピクチャリストの内容の差異を示している。L0方向は、前方向を意味しており、L1方向は、後方向を意味する。Pピクチャにおける前方参照ピクチャリストは、H.264規格に従って、デコード順に被参照ピクチャを順に配置する。また、Bピクチャにおける、前方向、後方向の参照ピクチャリストは、H.264規格に従って、表示順に被参照ピクチャを順に配置する。先に述べた、映像規格における参照関係の制約を適用すると、実際に参照可能なピクチャのインデックスは、編集前と編集後で相違がないことがわかる。即ち、参照されないBピクチャしか使用していないH.264符号化データを編集する際には、Iピクチャの直後のBピクチャを削除しても、以降の参照関係は保持されることが分かる。従って、IDR Iピクチャを挿入することにより、影響を与えるのは、連続的に変化するスライスヘッダ上のパラメータのみとなる。
同じく、図9は、例として、最大3ピクチャの参照が可能な場合に、参照されるBピクチャでH.264符号化されたデータを、Iピクチャの位置で編集し、先頭のIピクチャをIDR Iに変換した場合の参照ピクチャリストの内容の差異を示している。ここでは、P(12)における参照関係が大きく変化していることが分かる。編集前のP(12)における参照ピクチャリストでは、I(9)の順序が3番目であるのに対し、編集後のP(12)における参照ピクチャリストでは、I(9)の順序が1番目であり、参照関係が保持できない。
【0028】
編集前のP(12)におけるマクロブロックで、インターマクロブロックにおける参照ピクチャインデックスは、すべて3番目のI(9)を指すように、ref_idx_L0 = 2(0がリストの先頭を指す)となっている。しかしながら、編集後のP(12)における参照ピクチャリスト内には、1つのピクチャしか存在せず、元のマクロブロックに格納されているref_idx_L0 = 2という情報は使用できない。スライスヘッダの書き換えだけでは、この参照関係を復元することはできない。
【0029】
IDR Iピクチャに変換することにより、後続の参照関係が保持されるかどうかを、判定ステップS004で判定する。参照関係が保持されている場合は、さらに以降のピクチャの参照関係が保持されていることを確認し、終端のピクチャに辿り着くまで参照関係の確認を行う。参照関係が保持されていない場合は、参照関係の復元を行う。まず、スライスヘッダの書き換えのみで、参照関係を復元することができるかを、判定ステップS005で判定する。
【0030】
スライスヘッダの書き換えのみで、参照関係を復元可能な場合は、スライスヘッダ書き換えステップS100において、スライスヘッダ内の参照ピクチャリストの操作に関するフィールドを追加、あるいは書き換え、参照関係を復元する。スライスヘッダの書き換えだけでは、参照関係が復元できない場合は、マクロブロック書き換えステップS200において、マクロブロックのref_idxフィールドを書き換え、参照関係を復元する。
スライスヘッダ書き換えステップS100においては、図10に示すように、まず、S300において、編集前と編集後の各ピクチャの参照関係を一致させる、参照ピクチャインデックス変換テーブルを作成する。
【0031】
参照ピクチャインデックス変換テーブルは、ピクチャ単位で生成する。参照ピクチャインデックス変換テーブル作成の処理手順を図11に示す。S301において、変換テーブルを初期化し、S302、S303、S304、S305、S307、S308において、編集前の参照ピクチャリストと、編集後の参照ピクチャリストを比較し、編集前の参照ピクチャリスト内のN番目のピクチャ(N = 0, 1, 2, ...)が、編集後の参照ピクチャリストのどの位置に移動したか確認(例えばM番目)し、S307において、変換テーブルを作成する。このとき、編集前の参照ピクチャリストのN番目のピクチャが、編集後の参照ピクチャリスト内に存在しない場合は、テーブルの該当インデックスに「−1」などと、存在しないことが分かる数値を挿入する。図11の例のように、初期値を「−1」とし、代入しないという方法もある。
【0032】
図9のP(12)における参照関係を例に、テーブルを作成すると、以下の数式1のようになる。
【0033】
【数1】

【0034】
以上の参照ピクチャインデックス変換テーブル作成ステップS300で作成した変換テーブルをS101で用いて、参照ピクチャリストの順序を入れ替える。そして、S102において、スライスヘッダにref_pic_list_reordering()フィールドを追加し、入れ替えをH.264符号化データに反映する。
【0035】
マクロブロック書き換えステップS200においては、図12に示すように、動き予測やDCT変換等の高負荷処理を行わず、高速に参照関係を復元したH.264符号化データを生成する方法を提供する。
【0036】
まず、編集前と編集後の各ピクチャの参照関係を一致させる、参照ピクチャインデックス変換テーブルを、作成ステップS300において作成する。
【0037】
参照ピクチャインデックス変換テーブル作成ステップS300で得られた変換テーブルを使用し、各マクロブロックのref_idx_LXフィールドを変換する。可変長符号の復号ステップS202において、編集前の該当ピクチャのマクロブロックの可変長符号を復号し、マクロブロックの情報を得る。このとき、通常の復号処理で行う、画面内予測処理、動き補償処理、逆量子化、逆DCT変換等の処理は不要である。マクロブロックに含まれる情報は、前述したように、イントラマクロブロックとインターマクロブロックで異なる。
イントラマクロブロックの場合
・マクロブロックの種別
・画面内予測モード
・残差情報
インターマクロブロックの場合
・マクロブロックの種別
・参照ピクチャインデックス
・モーションベクトル
・ 残差情報
マクロブロック種別判定ステップS203において、イントラマクロブロックか、インターマクロブロックかを判定する。この内、インターマクロブロック情報に格納されている「参照ピクチャインデックス」を、変換ステップS204において、参照ピクチャインデックス変換テーブルで変換し、数式2及び3のように、新たな参照ピクチャインデックスを生成する。
【0038】
【数2】

【0039】
【数3】

【0040】
可変長符号化ステップS205において、変換したref_idx_LXの情報で、各マクロブロックを可変長符号化する。
【0041】
以上の処理をマクロブロックの終端まで繰り返し、参照関係を復元したスライスデータを得る。
【0042】
以上のように、本発明では、スライスヘッダの書き換えでは、復元できない参照関係を、高速に復元することができる。
【産業上の利用可能性】
【0043】
本発明に係る画像符号化データ編集装置は、H.264の規格にしたがって圧縮された映像ストリームを編集する装置として活用することができる。
【図面の簡単な説明】
【0044】
【図1】映像規格で採用されているH.264データ構成を表した図
【図2】H.264での参照関係(Pピクチャ)を表した図
【図3】H.264での参照関係(Bピクチャ)を表した図
【図4】映像規格で定義されているClosed GOPでの参照関係を表した図
【図5】映像規格で定義されているOpen GOPでの参照関係を表した図
【図6】映像編集の例を表した図
【図7】本発明の編集処理手順を表したフローチャート
【図8】参照されるBピクチャを使用しない場合の参照関係の変化を表した図
【図9】参照されるBピクチャを使用した場合の参照関係の変化を表した図
【図10】本発明のスライスヘッダ書き換え手順を表したフローチャート
【図11】本発明の参照ピクチャインデックス変換テーブル作成手順を表したフローチャート
【図12】本発明のマクロブロック書き換え手順を表したフローチャート
【図13】本発明の編集装置の構成を表したブロック図
【符号の説明】
【0045】
001 編集元のH.264符号化データ
002 ピクチャ種別解析装置
003 IDR Iピクチャへの変換装置
004 スライスヘッダ解析装置
005 スライスヘッダ変換装置
006 参照インデックスフィールド変換装置
007 編集後のH.264符号化データ

【特許請求の範囲】
【請求項1】
編集位置のピクチャ種別を判定する第1の判定ステップと、
前記第1の判定ステップで、OpenGOPで、かつIピクチャの直後の「参照されるBピクチャ」と判定された場合に、スライスヘッダ内のフィールドを書き換えて、該IピクチャをIDR Iピクチャに変換する第1の変換ステップと、
該参照されるBピクチャを削除する削除ステップと、
前記第1の変換ステップと前記削除ステップにより参照関係が保持できないピクチャを検出する検出ステップと、
前記検出ステップで検出されたピクチャの参照関係をスライスヘッダ内のフィールドを書き換えて復元することができるかを判定する第2の判定ステップと、
前記第2の判定ステップで復元できると判定した場合に、スライスヘッダ内のフィールドを書き換えて参照関係を復元する復元ステップと、
前記判定ステップで復元できないと判定した場合に、該当ピクチャのマクロブロックレイヤーにある参照ピクチャインデックスフィールドの値を、参照関係が変更された後の参照ピクチャインデックスに変換する第2の変換ステップと
を有することを特徴とする符号化データを編集する編集方法。
【請求項2】
前記復元ステップにおいて、編集前の符号化データにおける参照ピクチャリストと、編集後の符号化データにおける参照ピクチャリストを比較し、編集前の符号化データにおける参照ピクチャインデックスを、編集後の符号化データにおける参照ピクチャインデックスに変換する第3の変換ステップを有することを特徴とする、請求項1に記載の符号化データを編集する編集方法。
【請求項3】
前記第2の変換ステップにおいて、編集前の符号化データにおける参照ピクチャリストと、編集後の符号化データにおける参照ピクチャリストを比較し、編集前の符号化データにおける参照ピクチャインデックスを、編集後の符号化データにおける参照ピクチャインデックスに変換する第4の変換ステップを有することを特徴とする請求項1に記載の符号化データを編集する編集方法。
【請求項4】
請求項1から請求項3のいずれかの請求項に記載の編集方法により、符号化データを編集する編集装置。
【請求項5】
H.264符号化データを編集することを特徴とする請求項4に記載の編集装置。
【請求項6】
請求項1から請求項3のいずれかの請求項に記載の編集方法を実行させるプログラム。
【請求項7】
請求項6に記載したプログラムを記録した媒体。

【図1】
image rotate

【図2】
image rotate

【図3】
image rotate

【図4】
image rotate

【図5】
image rotate

【図6】
image rotate

【図7】
image rotate

【図8】
image rotate

【図9】
image rotate

【図10】
image rotate

【図11】
image rotate

【図12】
image rotate

【図13】
image rotate


【公開番号】特開2011−23772(P2011−23772A)
【公開日】平成23年2月3日(2011.2.3)
【国際特許分類】
【出願番号】特願2007−293927(P2007−293927)
【出願日】平成19年11月13日(2007.11.13)
【出願人】(000005821)パナソニック株式会社 (73,050)
【Fターム(参考)】