画像編集装置および画像編集方法
【課題】 エフェクト部分の画質が高く、また、エフェクトの前後部分の画質劣化が少なく、レンダリング部分との切り替わり点で画質の差が少ないスマートレンダリング処理を高速に行う。
【解決手段】 制御部４０により、編集点を含む第１の符号化ストリームのＧＯＰの開始点から第２の符号化ストリームのＧＯＰの終了点までを編集区間として設定するとともに、上記編集区間内にエフェクト区間を設定して、復号処理部１０、切換処理部２０及び再エンコード処理部３０の動作を制御する。上記編集区間の上記２つの符号化ストリームを上記復号処理部１０により復号し、上記切換処理部２０により上記２つの符号化ストリームの非圧縮画像データと上記エフェクト区間のエフェクト処理済非圧縮画像データを繋いで上記再エンコード処理部３０により再エンコードして、上記２つの符号化ストリームを上記編集点を含む上記エフェクト区間でエフェクト処理を施して繋いだ第３の符号化ストリームの２つのオープンＧＯＰの圧縮符号化データを生成する。
【解決手段】 制御部４０により、編集点を含む第１の符号化ストリームのＧＯＰの開始点から第２の符号化ストリームのＧＯＰの終了点までを編集区間として設定するとともに、上記編集区間内にエフェクト区間を設定して、復号処理部１０、切換処理部２０及び再エンコード処理部３０の動作を制御する。上記編集区間の上記２つの符号化ストリームを上記復号処理部１０により復号し、上記切換処理部２０により上記２つの符号化ストリームの非圧縮画像データと上記エフェクト区間のエフェクト処理済非圧縮画像データを繋いで上記再エンコード処理部３０により再エンコードして、上記２つの符号化ストリームを上記編集点を含む上記エフェクト区間でエフェクト処理を施して繋いだ第３の符号化ストリームの２つのオープンＧＯＰの圧縮符号化データを生成する。
【発明の詳細な説明】
【技術分野】
【０００１】
本発明は、圧縮符号化された符号化ストリーム、例えば、ＭＰＥＧで符号化された画像信号を編集するのに適用される画像編集装置および画像編集方法に関する。
【背景技術】
【０００２】
近年、画像間圧縮符号化方式の一つであるＭＰＥＧ(Moving Picture Experts Group)が広く実用化されつつある。ＭＰＥＧのような圧縮符号化を利用することによって、記録媒体を有効活用することができる。ＭＰＥＧにより符号化された画像信号を編集する場合、復号された画像信号と、外部からの画像信号をつなげて、再びＭＰＥＧで符号化し、ストリームを記録媒体に記録するような編集システムが構成できる。さらに、他の記録媒体に記録されているビデオ信号をレコーダにより記録するダビングの場合でも、他の記録媒体の再生信号が復号され、再符号化される。
【０００３】
ＭＰＥＧなどに代表される画像圧縮方式では、フレーム間予測を用いて映像信号を圧縮符号化することで、高い圧縮効率を実現している。しかし、映像を編集することを考えた場合、フレーム間予測を用いた圧縮画像は、フレーム間に予測による圧縮信号の関連があるため、圧縮されたままの映像信号で、映像素材をつなぎ合わせることとはできない。そのため、映像素材を編集することが予め考慮されたシステムにおいては、一般的に、フレーム間予測を用いず、フレーム内での圧縮のみを用いて符号化が行われている。
【０００４】
ＭＰＥＧの場合では、ピクチャタイプとして、Ｉ、Ｐ、Ｂの３種類が存在する。Ｉピクチャ(Intra-coded picture：イントラ符号化画像)は、符号化されるときその画像１枚の中だけで閉じた情報を使用するものである。従って、復号時には、Ｉピクチャ自身の情報のみで復号できる。Ｐピクチャ(Predictive-coded picture：順方向予測符号化画像)は、予測画像、すなわち、差分をとる基準となる画像として、時間的に前の既に復号されたＩピクチャまたはＰピクチャを使用するものである。
【０００５】
動き補償された予測画像との差を符号化するか、差分を取らずに符号化するか、効率の良い方をマクロブロック単位で選択する。Ｂピクチャ(Bidirectionally predictive-coded picture：両方向予測符号化画像)は、予測画像、すなわち、差分をとる基準となる画像として、時間的に前の既に復号されたＩピクチャまたはＰピクチャ、時間的に後ろの既に復号されたＩピクチャまたはＰピクチャ、並びにこの両方から作られた補間画像の３種類を使用する。この３種類のそれぞれの動き補償後の差分の符号化と、イントラ符号化の中で、最も効率の良いものをマクロブロック単位で選択する。
【０００６】
従って、マクロブロックタイプとしては、フレーム内符号化(Intra)マクロブロックと、過去から未来を予測する順方向(Foward)フレーム間予測マクロブロックと、未来から過去を予測する逆方向(Backward)フレーム間予測マクロブロックと、前後両方向から予測する両方向マクロブロックとがある。Ｉピクチャ内の全てのマクロブロックは、フレーム内符号化マクロブロックである。また、Ｐピクチャ内には、フレーム内符号化マクロブロックと順方向フレーム間予測マクロブロックとが含まれる。Ｂピクチャ内には、上述した４種類の全てのタイプのマクロブロックが含まれる。
【０００７】
そして、ＭＰＥＧでは、ランダムアクセスを可能とするために、複数枚のピクチャのまとまりであるピクチャ群としてＧＯＰ(Group Of Picture)構造が規定されている。ＧＯＰに関するＭＰＥＧの規則では、第１にビットストリーム上で、ＧＯＰの最初がＩピクチャであること、第２に、原画像の順で、ＧＯＰの最後がＩまたはＰピクチャであることが規定されている。また、ＧＯＰとしては、以前のＧＯＰの最後のＩまたはＰピクチャからの予測を必要とする構造も許容されている。以前のＧＯＰの画像を使用しないで復号できるＧＯＰは、クローズドＧＯＰと称される。ＧＯＰ内のみで画像を参照し、ＧＯＰ内で完全にデコードが可能な、ＧＯＰで閉じた構造を持つクローズドＧＯＰに対し、クローズドＧＯＰ構造ではないＧＯＰ構造、すなわち、ＧＯＰをまたいで画像を参照する構造のＧＯＰは、オープンＧＯＰと称される。
【０００８】
また、ＭＰＥＧにおいて、双方向のフレーム間予測を用いた圧縮符号化方式は、ロングＧＯＰ方式の圧縮と呼ばれる。ＰピクチャやＢピクチャは、データ量がＩピクチャに比べて小さいため、ＧＯＰを長くすれば、すなわち、ロングＧＯＰを構成するピクチャ数を増加させれば、映像の圧縮率を高くすることができる。したがって、デジタル放送やＤＶＤ(Digital Versatile Disk)ビデオでの利用に適している。
【０００９】
しかしながら、二つのＭＰＥＧのビデオストリームが編集点で切り換えられたストリームを考えると、フレーム単位の場合では、どのような位相で二つのストリームが接続されるかが分からない。編集点が含まれず、ＧＯＰ構造が完全に保存されているＧＯＰの場合では、編集点処理を行わないで、そのまま出力しても復号することができる。
【００１０】
編集点が含まれるために、ＧＯＰ構造が保存されない場合には、編集点より時間的に前のストリームでは、ＧＯＰの編集点から後のデータが破棄される。また、時間的に後のストリームでは、編集点から前のデータが破棄される。編集点をはさんで残った二つのストリームを復号する場合には、これらの二つのストリームを新たなＧＯＰとして扱う。従って、新たなＧＯＰに予測参照画像としてのＩピクチャが含まれていないと、そのＧＯＰが復号不可能となってしまう。この場合には、編集後のビットストリームの復号を可能とするために、ビットストリームをＭＰＥＧ復号で一度ベースバンドに戻し、再度符号化を行なってビットストリームを得る必要がある。
【００１１】
そこで、従来から、編集点付近の必要最小区間のみをデコードし再エンコードする手法が知られている。すなわち、削除や結合を行う部分のＧＯＰおよび当該ＧＯＰが変化することにより影響を受けるＧＯＰのみをデコードおよび再エンコードし、それ以外のＧＯＰについては、ＧＯＰ単位でコピーを行う。この編集点付近の必要最小区間のみをデコードし再エンコードする手法の代表的な例としては、スマートレンダリングと呼ばれる手法が一般的に知られている（例えば、特許文献１、２参照）。
【００１２】
従来の一般的なスマートレンダリングを図７に示す。すなわち、２つの符号化ストリーム(Stream 1),(Stream2)にエフェクト(Effect)をかけて繋ぐ場合、エフェクト部分を再エンコードし、エフェクトのない部分は単純にコピーを行っていた。
【００１３】
具体的な例として、２つの符号化ストリーム(Stream 1),(Stream 2)にディゾルブやワイプなどのトランジションエフェクト(Transition Effect)をかけて繋ぐ場合を図８に示す。この例の場合、第１の符号化ストリーム(Stream 1)のＢピクチャ(B6)は 参照画となるＰピクチャ(P8)がエフェクトにより失われデコードできなくなる。そこで、スマートレンダリングでは、このＢピクチャ(B6)から再エンコードを行い、同様に第２の符号化ストリーム(Stream 2)の Ｂピクチャ(B10)からＰピクチャ(P14)も参照画が失われるため再エンコードの対象になる。
【００１４】
この第１の符号化ストリーム(Stream 1)のＢピクチャ(B6)から第２の符号化ストリーム(Stream 2)のＰピクチャ(P14)までを 単純に再エンコードし、エフェクトのない部分は単純にコピーを行っていた。
【００１５】
このような従来のスマートレンダリングでは、先頭部分はクローズドＧＯＰとしてエンコードされるので、画質の劣化が大きくなる。
【００１６】
また 新しくＢピクチャ(B0)となるピクチャは、エフェクトがかかってなく画の変化がないにもかかわらず、エフェクトのかかっているＩピクチャ(I2)を参照画としてしまうため、画質劣化が大きくなる。
【００１７】
同様に後部についても新たにＢピクチャ(B7)からＰピクチャ(P11)となる部分も 画に変化がないにもかかわらずエフェクトのかかった部分を参照するため画質劣化が大きくなる。
【特許文献１】特開平１１−３４１３６号公報
【特許文献２】特開２００４−１０４３６１号公報
【発明の開示】
【発明が解決しようとする課題】
【００１８】
上述の如き従来のスマートレンダリングでは、必要最低限な部分、すなわち、編集により参照画とすべきピクチャがなくなりデコード不可能となるエフェクト部分のみ再エンコードしていたので、レンダリング部分の画質劣化が大きいという問題があった。すなわち、参照画がなくなったため再エンコードする部分は、画像に変化が無いにも拘わらず単純に再エンコード処理が行われるため、画質劣化が大きく、再生時に、レンダリング部分との切り替わり点で画質の差が目立つ場合がある。
【００１９】
そこで、本発明の目的は、上述の如き従来の問題点に鑑み、エフェクト部分の画質が高く、また、エフェクトの前後部分の画質劣化が少なく、レンダリング部分との切り替わり点で画質の差が少ないレンダリング処理を高速に行うことができる画像編集装置および画像編集方法を提供することにある。
【００２０】
本発明の更に他の目的、本発明によって得られる具体的な利点は、以下に説明される実施の形態の説明から一層明らかにされる。
【課題を解決するための手段】
【００２１】
本発明では、トランジションエフェクト(Transition Effect)などを使った編集箇所では、エフェクトのかかった部分とその前後のエフェクトのかかっていない部分の画像には通常関連性があるという性質を利用し、エフェクトのかかっていない部分の画像をエフェクトのかかっている部分の参照画として利用する。
【００２２】
すなわち、本発明は、画像編集装置であって、圧縮符号化された第１の符号化ストリームと第２の圧縮符号化ストリームを復号して、各フレーム単位の非圧縮画像データとその符号化パラメータを得る復号処理を行う復号処理部と、上記第１の符号化ストリームを復号して得られる編集点を含むエフェクト区間の非圧縮画像データと上記第２の符号化ストリームを復号して得られる上記エフェクト区間の非圧縮画像データからエフェクト処理済非圧縮画像データを生成し、上記第１の符号化ストリームを復号して得られる上記編集点を含むＧＯＰの開始点のフレームから上記エフェクト区間の開始点の前のフレームまでの非圧縮画像データと、生成された上記エフェクト区間の上記エフェクト処理済非圧縮画像データと、上記第２の符号化ストリームを復号して得られた上記エフェクト区間の終了点の後のフレームから上記編集区間の終了点のフレームまでの非圧縮画像データを繋ぐ切換処理を行う切換処理部と、上記切換処理部により繋がれた上記第１の符号化ストリームの非圧縮画像データと上記エフェクト処理済非圧縮画像データと上記第２の符号化ストリームの非圧縮画像データを再エンコードする再エンコード処理部と、これら各部の動作を制御する制御部とを備え、上記制御部は、第１の符号化ストリームの編集点を含むＧＯＰの開始点のフレームから第２の符号化ストリームの上記編集点を含むＧＯＰの終了点のフレームまでを編集区間として設定するとともに、上記編集区間内に上記切換処理部におけるエフェクト処理の開始点から終了点までをエフェクト区間として設定し、上記制御部により設定された上記編集区間の第１の符号化ストリームと第２の符号化ストリームを上記復号処理部により復号し、上記切換処理部により上記第１の符号化ストリームの非圧縮画像データと上記制御部により設定された上記エフェクト区間の上記エフェクト処理済非圧縮画像データと上記第２の符号化ストリームの非圧縮画像データを繋いで、上記再エンコード処理部により再エンコードして、上記編集区間の上記第１の符号化ストリームと上記第２の符号化ストリームを上記編集点を含む上記エフェクト区間でエフェクト処理を施して繋いだ第３の符号化ストリームの２つのオープンＧＯＰの圧縮符号化データを生成することを特徴とする。
【００２３】
また、本発明は、画像編集方法であって、 第１の符号化ストリームと第２の符号化ストリームを編集点で切り換えて繋ぐ際に、上記第１の符号化ストリームの上記編集点を含むＧＯＰの開始点から上記第２の符号化ストリームの上記編集点を含むＧＯＰと終了点までを編集区間として設定するとともに、上記編集区間内に上記エフェクト処理部によるエフェクト処理の開始点と終了点を指定してエフェクト区間を設定し、上記編集区間の上記第１の符号化ストリームと上記第２の符号化ストリームを復号して、各フレーム単位の非圧縮画像データとその符号化パラメータを得る復号処理を行い、上記復号処理により得られる上記編集点を含むエフェクト区間の上記第１の符号化ストリームの非圧縮画像データと上記第２の符号化ストリームの非圧縮画像データからエフェクト処理済非圧縮画像データを生成し、上記復号処理により得られた上記編集点を含むＧＯＰの開始点のフレームから上記エフェクト区間の開始点の前のフレームまでの上記第１の符号化ストリームの非圧縮画像データと、生成された上記エフェクト区間の上記エフェクト処理済非圧縮画像データと、上記復号処理により得られた上記エフェクト区間の終了点の後のフレームから上記編集区間の終了点のフレームまでの上記第２の符号化ストリームの非圧縮画像データを繋ぐ切換処理を行い、上記切換処理により繋がれた上記第１の符号化ストリームの非圧縮画像データと上記エフェクト処理済非圧縮画像データと上記第２の符号化ストリームの非圧縮画像データについて、上記編集点を含むＧＯＰの開始点のフレームから上記エフェクト区間の開始点の２フレーム前までは上記復号処理により得られた上記第１の符号化ストリームの非圧縮画像データを上記復号処理により得られた符号化パラメータを用いて再エンコードし、上記復号処理により得られた上記エフェクト区間の開始点の前の１フレームの上記第１の符号化ストリームの非圧縮画像データと上記エフェクト処理により生成された上記エフェクト区間のエフェクト処理済非圧縮画像データと上記復号処理により得られた上記エフェクト区間の終了点の後のフレームから上記エフェクト区間の終了点の後の最初のＰピクチャのフレームまでの上記第２の符号化ストリームの非圧縮画像データを再エンコードし、上記エフェクト区間の終了点の後の最初のＰピクチャのフレームの次のフレームから上記編集区間の終了点のフレームまで上記復号処理により得られた上記第２の符号化ストリームの非圧縮画像データをその符号化パラメータ用いて再エンコードし、上記編集区間の上記第１の符号化ストリームと上記第２の符号化ストリームを上記編集点でエフェクト処理を施して繋いだ２つのオープンＧＯＰの圧縮符号化データを生成する再エンコード処理を行うことを特徴とする。
【発明の効果】
【００２４】
本発明では、スマートレンダリングの処理において、レンダリングを必要とする範囲だけでなく、その前後のＧＯＰ区切りにまでレンダリング範囲を拡張し、本来 レンダリングの必要がない部分については、元素材の持つパラメータ（動きベクトル，ピクチャタイプなど）を再利用して再エンコードするので、高速に再エンコードすることができる。また、本発明では、レンダリングが必要な部分については、前後のレンダリング不要な部分を参照画として使用してエンコードを行うので、エフェクト部分の画質が高く、また、エフェクトのイン点、アウト点付近が連続したＧＯＰとしてエンコード処理されるため、切り替わり点での画質の差が少なく、エフェクトの前後部分の画質劣化が少ないレンダリング処理を行うことができる。さらに、本発明では、レンダリング部分との切り替わり点で画質の差が少ないレンダリング処理を行うことができる。すなわち、本来レンダリングの必要がなかった部分については再エンコードが行われるが、元素材の持つパラメータを再利用するため画質の劣化が軽微であり、エンコード処理のうち負荷の重い動き検出などが省略されるため高速に処理を行うことができる。
【００２５】
したがって、本発明によれば、エフェクト部分の画質が高く、また、エフェクトの前後部分の画質劣化が少なく、レンダリング部分との切り替わり点で画質の差が少ないレンダリング処理を高速に行うことができる画像編集装置および画像編集方法を提供することができる。
【発明を実施するための最良の形態】
【００２６】
以下、本発明の実施の形態について、図面を参照して詳細に説明する。なお、本発明は以下の例に限定されるものではなく、本発明の要旨を逸脱しない範囲で、任意に変更可能であることは言うまでもない。
【００２７】
［画像編集装置の構成］
本発明は、例えば図１に示すような構成の画像編集装置１００に適用される。
【００２８】
この画像編集装置１００は、圧縮符号化された二つの符号化ストリーム、例えば、二つのＭＰＥＧのビデオストリーム(Stream A)，(Stream B)を編集点で切り換えて繋ぐ際に、再エンコードを部分的に行うスマートレンダリング編集装置である。この画像編集装置１００は、復号処理部１０、切換処理部２０、再エンコード処理部３０と、これら動作を制御する制御部４０などからなる。
【００２９】
上記復号処理部１０は、編集区間の符号化ストリームを復号するものであって、第１の符号化ストリーム(Stream A)が入力される第１のデコーダ１１と、第２の符号化ストリーム（Stream B）が入力される第２のデコーダ１２からなる。
【００３０】
上記第１のデコーダ１１は、入力された第１の符号化ストリーム(Stream A)について編集区間の復号処理を行うもので、その動作が上記制御部４０により制御される。この第１のデコーダ１１は、上記第１の符号化ストリーム(Stream A)を復号して得られる編集区間の第１の復号出力Ｓ１としてフレーム単位の非圧縮画像データとその符号化パラメータ(動きベクトルやピクチャタイプなど)を上記切換処理部２０に供給する。
【００３１】
また、上記第２のデコーダ１２は、入力された第２の符号化ストリーム(Stream B)について編集区間の復号処理を行うもので、その動作が上記制御部４０により制御される。この第２のデコーダ１２は、上記第２の符号化ストリーム(Stream B)を復号する。そして、編集区間の第２の復号出力Ｓ２としてフレーム単位の非圧縮画像データとその符号化パラメータ（動きベクトルやピクチャタイプなど）を上記切換処理部２０に供給する。
【００３２】
すなわち、上記復号処理部１０は、上記第１の符号化ストリーム(Stream A)を復号し、フレーム単位の非圧縮画像データとその符号化パラメータを第１の復号出力Ｓ１として出力する第１のデコーダ１１と、上記第２の符号化ストリーム(Stream B)を復号し、フレーム単位の非圧縮画像データとその符号化パラメータを第２の復号出力Ｓ２として出力する第２のデコーダ１２からなる。
【００３３】
上記切換処理部２０は、上記復号出力Ｓ１と上記復号出力Ｓ２を繋ぎ部分で切り換えて再エンコード処理部３０に供給するものであって、第１のパラメータ付加部２１、第２のパラメータ付加部２２、エフェクト処理部２３、切換スイッチ部２４からなる。
【００３４】
上記第１のパラメータ付加部２１には、上記第１のデコーダ１１による上記第１の復号出力Ｓ１として復号して得られたフレーム単位の非圧縮画像データとその符号化パラメータ(動きベクトルやピクチャタイプなど)が入力される。この第１のパラメータ付加部２１は、上記第１のストリーム(Stream A)を復号して得られたフレーム単位の非圧縮画像データに、その符号化パラメータ(動きベクトルやピクチャタイプなど)を付加する。これにより、第１の符号化パラメータ付き非圧縮画像データを生成する。
【００３５】
また、上記第２のパラメータ付加部２２には、上記第２のデコーダ１２による上記第２の復号出力Ｓ２として得られたフレーム単位の非圧縮画像データとその符号化パラメータ（動きベクトルやピクチャタイプなど）が入力される。この第２のパラメータ付加部２２は、上記第２のストリーム（Stream B）の繋ぎ部分を復号して得られたフレーム単位の非圧縮画像データに、その符号化パラメータ（動きベクトルやピクチャタイプなど）を付加する。これにより、第２の符号化パラメータ付き非圧縮画像データを生成する。
【００３６】
さらに、上記エフェクト処理部２３には、上記第１のデコーダ１１による上記第１の復号出力Ｓ２として得られたフレーム単位の非圧縮画像データと上記第２のデコーダ１２により上記第２の復号出力Ｓ２として得られたフレーム単位の非圧縮画像データが入力される。このエフェクト処理部２３は、二つの符号化ストリーム(Stream A)，(Stream B)の繋ぎ部分にエフェクト処理を施すものである。上記第１の符号化ストリーム(Stream A)を復号して得られた非圧縮画像データと上記第２の符号化ストリーム(Stream B)を復号して得られた非圧縮画像データからエフェクト処理済非圧縮画像データを生成する。このエフェクト処理部２３では、二つの符号化ストリーム(Stream A)，(Stream B)の繋ぎ部分にディゾルブやワイプなどのトランジションエフェクト(Transition Effect)をかけるエフェクト処理を施す。
【００３７】
そして、上記切換スイッチ部２４は、その動作が上記制御部４０により制御され、上記第１の符号化パラメータ付き非圧縮画像データとエフェクト処理済非圧縮画像データと第２の符号化パラメータ付き非圧縮画像データを順次切り換えて、上記再エンコード処理部３０に供給する。
【００３８】
上記再エンコード処理部３０は、第１の符号化ストリーム(Stream A)と第２の符号化ストリーム(Stream B)の繋ぎ部分の再エンコード処理を行い、二つの符号化ストリーム(Stream A)，(Stream B)を繋いだ第３の符号化ストリーム(Stream C)を出力するものである。この再エンコード処理部３０は、エンコード部３１と切換スイッチ部３２からなる。
【００３９】
上記エンコード部３１は、その動作が上記制御部４０により制御され、上記切換処理部２０から上記切換スイッチ部２４を介して供給される編集区間の非圧縮画像データに再エンコード処理を施す。これにより、上記第１の符号化ストリーム(Stream A)と第２の符号化ストリーム(Stream B)の繋ぎ部分を圧縮符号化した２つのオープンＧＯＰの圧縮符号化データを生成する。
【００４０】
すなわち、上記エンコード部３１は、上記切換処理部２０により繋がれた上記第１の符号化パラメータ付き非圧縮画像データと上記エフェクト処理済非圧縮画像データと上記第２の符号化パラメータ付き非圧縮画像データから上記編集区間の上記第１の符号化ストリーム(Stream A)と第２の符号化ストリーム(Stream B)を上記編集点でエフェクト処理を施して繋いだ２つのオープンＧＯＰの圧縮符号化データを生成する。
【００４１】
そして、上記切換スイッチ部３２は、その動作が上記制御部４０により制御され、上記第１の符号化ストリーム(Stream A)と、上記エンコード部３１により再エンコード処理が施されて生成された繋ぎ部分の圧縮符号化データと、上記第２の符号化ストリーム(Stream B)を順次切り換える。これにより、上記二つの符号化ストリーム(Stream A)，(Stream B)を繋いだ第３の符号化ストリーム(Stream C)を出力する。
【００４２】
上記制御部４０は、上記第１の符号化ストリーム(Stream A)の編集点を含むＧＯＰの開始点のフレームから上記第２の符号化ストリーム(Stream B)の上記編集点を含むＧＯＰの終了点のフレームまでを編集区間として設定する。そして、上記編集区間内に上記切換処理部２０におけるエフェクト処理の開始点から終了点までをエフェクト区間として設定して、上記復号処理部１０、切換処理部２０及び再エンコード処理部３０の動作を制御する。
【００４３】
［スマートレンダリング動作］
この画像編集装置１００では、パラメータエンコード機能を使用したスマートレンダリングを行う。
【００４４】
ここで、パラメータエンコードの概念を図２に示す。パラメータエンコードは、入力ストリームＡを再エンコードして出力ストリームＢを場合に、例えばビットレート変換 やスマートレンダリングなどで、元素材のビットストリームが持つパラメータの状態を基本的に維持したままエンコードを行う機能である。
【００４５】
具体的は、通常の再エンコードでは単純にデコードしエンコードするだけであるが、パラメータエンコードでは、デコーダ１１０により入力ストリームＡをデコードするときに、入力ストリームＡのデコード画情報Ｃとともに 動きベクトル情報などのパラメータＤを取り出し、エンコーダ１２０による再エンコードして出力ストリームＢを生成ときに再利用する。これにより 画質の世代劣化が抑えられ、動き検出が不要になるなど高速に処理が行われる。
【００４６】
この画像編集装置１００では、例えば、図３の（Ａ），（Ｂ）に示すように、２つの符号化ストリーム(Stream A)，(Stream B)にトランジションエフェクトをかけて繋ぐ場合に、このエフェクト部分を含むＧＯＰの始まりから、このＧＯＰの終了までを編集区間としてパラメータエンコード機能を使用したスマートレンダリング処理を行う。
【００４７】
すなわち、上記復号処理部１０の第１のデコーダ１１は、第１の符号化ストリーム(Stream A)のＢピクチャ(B0)からＰピクチャ(P14)までを復号して第１の復号出力Ｓ１を得る。また、第２のデコーダ１２は、第２の符号化ストリーム(Stream B)のＢピクチャ(B0)からＰピクチャ(P14)までを復号して第２の復号出力Ｓ２を得る。
【００４８】
そして、上記復号処理部１０により得られる第１の復号出力Ｓ１と第２の復号出力Ｓ２について、上記切換処理部２０において、エフェクト処理部２３により繋ぎ部分にエフェクト処理を施す。これにより、エフェクト処理を施したエフェクト区間を介して第１の復号出力Ｓ１と第２の復号出力Ｓ２を繋ぐ。この切換処理部２０により、２つの符号化ストリーム(Stream A)，(Stream B)を編集点で繋いだ非圧縮画像データを得る。上記切換処理部２０に得られる非圧縮画像データは、図４の（Ａ）に示すような非圧縮フレームの並びになる。
【００４９】
上記再エンコード処理部３０では、この非圧縮画像データをエンコードするわけであるが、エフェクト区間は当然パラメータの再利用はできないので、上記エフェクト処理部２３は上記再エンコード処理部３０に無効を表すパラメータを渡す。
【００５０】
また、上記切換処理部２０に得られる非圧縮画像データのピクチャ(B6)については 、エフェクトがかかっていないが、参照画となるＰピクチャ(P8)が エフェクトにより変化しているので、パラメータは再利用できない。そこで、上記エフェクト処理部２３は、上記Ｂピクチャ(B6)については 、元はＢピクチャであったということを示すパラメータだけを上記再エンコード処理部３０に渡す。
【００５１】
上記切換処理部２０により得られる非圧縮画像データは、Ｂピクチャ(B0)からＰピクチャ(P5)まではエフェクトがかかっていない。そこで、上記再エンコード処理部３０のエンコード部３１では、上記第１のパラメータ付加部２１により非圧縮画像データに付加された符号化パラメータ(動きベクトルやピクチャタイプなど)を再利用して、Ｂピクチャ(B0)からＰピクチャ(P5)までを圧縮符号化する。
【００５２】
このように符号化パラメータを再利用することにより、Ｂピクチャ(B0)からＰピクチャ(P5)までを劣化が少なくしかも高速で圧縮符号化することができる。
【００５３】
また、上記エフェクト処理部２３によりエフェクト処理が施されるＢピクチャ(B7)からＢピクチャ(B12)までのエフェクト区間については、編集前のフレームを参照画として使え、上記再エンコード処理部３０のエンコード部３１では、連続したＧＯＰ構造として圧縮符号化される。これにより高画質が期待できる。
【００５４】
さらに、エフェクト区間後のＢピクチャ(B10)からＰピクチャ(P14)までについては、エフェクトがかかっていない。そこで、上記再エンコード処理部３０のエンコード部３１では、上記第２のパラメータ付加部２２により非圧縮画像データに付加された符号化パラメータ(動きベクトルやピクチャタイプなど)を再利用して、Ｂピクチャ(B10)からＰピクチャ(P14)までを圧縮符号化する。この際、エフェクトによる変化が後ろの画に影響を及ぼさないように、上記再エンコード処理部３０のエンコード部３１は、最初のＰピクチャ（P11)を強制的にＩピクチャ(I11)に変更する。
【００５５】
そして、上記再エンコード処理部３０の切換スイッチ部３２は、編集区間の前は第１の符号化ストリーム(Stream A)を選択しており、編集区間は上記エンコード部３１により再エンコードされた圧縮符号化データを選択し、上記編集区間の後は第２の符号化ストリーム(Stream B)を選択することにより、図４の（Ｂ）に示すように圧縮フレームが並んだ第３の符号化ストリーム(Stream C)を出力する。
【００５６】
［スマートレンダリングの処理手順］
この画像編集装置１００では、例えば、図５のフローチャートに示す手順に従って、制御部４０が上記復号処理部１０，切換処理部２０及び再エンコード処理部３０の動作を制御して、上記パラメータエンコード機能を使用したスマートレンダリングを行う。
【００５７】
すなわち、この画像編集装置１００において、上記制御部４０は、先ず、ユーザにより操作される図示しない操作部の操作入力を受け付けて、レンダリング範囲を決定する（ステップＳ１）。
【００５８】
このステップＳ１では、上記図３及び図４に示した２つの符号化ストリーム(Stream A)，(Stream B)をトランジションエフェクトをかけて繋ぐ場合に対応させると、上記制御部４０は、２つの符号化ストリーム(Stream A)，(Stream B)を繋ぐ編集点を指定する操作入力を受け付けて、上記第１の符号化ストリーム(Stream A)の上記編集点を含むＧＯＰの開始点から上記第２の符号化ストリーム(Stream B)の上記編集点を含むＧＯＰと終了点までを編集区間として設定する。また、上記編集区間内に上記エフェクト処理部２３によるエフェクト処理の開始点すなわちイン点から終了点すなわちアウト点までをエフェクト区間として設定する。
【００５９】
次に、上記制御部４０は、上記ステップＳ１で決定したレンダリング範囲でレンダリング処理を行った場合のエフェクトによる画像の変化が大きいか否かを判定する（ステップＳ２）。
【００６０】
そして、上記制御部４０は、上記ステップＳ２の判定処理における判定結果がＮＯ、すなわち、エフェクトによる画像の変化が小さい場合には、ステップＳ３に進む。このステップＳ３では、パラメータエンコード機能を使用したスマートレンダリングを行うように、上記復号処理部１０，切換処理部２０及び再エンコード処理部３０の動作を制御する。
【００６１】
ステップＳ３では、上記制御部４０は、処理しているフレームが上記ステップＳ１で決定されたレンダリング範囲におけるエフェクト処理のイン点に到達したか否かを判定する。このステップＳ３における判定結果がＮＯ、すなわち、イン点に到達していない場合には、ステップＳ４の処理に進み、また、判定結果がＹＥＳ、すなわち、イン点に到達した場合には、ステップＳ８の処理に進む。
ステップＳ４では、上記復号処理部１０の第１のデコーダ１１により第１の符号化ストリーム(Stream A)について１フレームを復号して、第１の復号出力Ｓ１として上記１フレームの非圧縮画像データとその(動きベクトルやピクチャタイプなど)を得る。
【００６２】
次のステップＳ５では、上記第１のデコーダ１１により復号した第１の符号化ストリーム(Stream A)の１フレームは、参照画が有効であるか否かを判定する。このステップＳ５における判定結果がＹＥＳ、すなわち、参照画が有効である場合には、ステップＳ６の処理に進み、また、判定結果がＮＯ、すなわち、参照画が有効でない場合には、ステップＳ７の処理に進む。
【００６３】
ステップＳ６では、上記第１のパラメータ付加部２１により、上記第１のデコーダ１１による第１の復号出力Ｓ１として得られた上記第１の符号化ストリーム(Stream A)の１フレームの非圧縮画像データにその(動きベクトルやピクチャタイプなど)を付加する。
【００６４】
次のステップＳ７では、上記第１のデコーダ１１により復号した第１の符号化ストリーム(Stream A)の１フレームの非圧縮画像データを上記再エンコード処理部３０によりエンコードして圧縮符号化データを生成する。
【００６５】
上記制御部４０は、処理しているフレームが上記ステップＳ１で決定されたレンダリング範囲におけるエフェクト処理のイン点に達するまで、上記ステップＳ３からステップＳ７の処理を繰り返し行う。
【００６６】
ここで、上記図３及び図４に示した２つの符号化ストリーム(Stream A),(Stream B)をトランジションエフェクトをかけて繋ぐ場合に対応させると、上記ステップＳ３からステップＳ７の処理を繰り返し行うことにより、エフェクト区間よりも前のＢピクチャ(B0)からＰピクチャ(P5)までを再エンコードして圧縮符号化する。
【００６７】
すなわち、上記エフェクト区間よりも前のＢピクチャ(B0)からＰピクチャ(P5)までを上記第１のデコーダ１１により復号する。そして、上記エンコード部３１により、符号化パラメータ(動きベクトルやピクチャタイプなど)を再利用して、上記Ｂピクチャ（B0）からＰピクチャ（P5）までを圧縮符号化する。
【００６８】
なお、上記切換処理部２０に得られる非圧縮画像データのピクチャ(B6)については 、エフェクトがかかっていないが、参照画となるＰピクチャ(P8)が エフェクトにより変化しており、パラメータは再利用できない。そこで、上記エフェクト処理部２３は、元はＢピクチャであったということを示すパラメータだけを上記再エンコード処理部３０に渡す。
【００６９】
そして、上記ステップＳ３における判定結果がＹＥＳ、すなわち、イン点に到達した場合にステップＳ８の処理に進んで、処理しているフレームが上記ステップＳ１で決定されたレンダリング範囲におけるアウト点に到達したか否かを判定する。このステップＳ８における判定結果がＮＯ、すなわち、アウト点に到達していない場合には、ステップＳ９の処理に進み、また、判定結果がＹＥＳ、すなわち、アウト点に到達した場合には、ステップＳ１２の処理に進む。
【００７０】
ステップＳ９では、上記復号処理部１０の第１及び第２のデコーダ１１，１２により２つの符号化ストリーム(Stream A),(Stream B)ついてそれぞれ１フレームを復号する。
【００７１】
次のステップＳ１０では、上記第１及び第２のデコーダ１１，１２により復号した２つの符号化ストリーム(Stream A),(Stream B)の各１フレームの非圧縮画像データを用いて上記エフェクト処理部２３によりエフェクト処理を行い、１フレームのエフェクト処理済非圧縮画像データを生成する。
【００７２】
次のステップＳ１１では、上記エフェクト処理部２３により生成した１フレームのエフェクト処理済非圧縮画像データを上記再エンコード処理部３０によりエンコードして圧縮符号化データを生成する。
【００７３】
上記制御部４０は、処理しているフレームが上記ステップＳ１で決定されたレンダリング範囲におけるアウト点に達するまで、上記ステップＳ８からステップＳ１１の処理を繰り返し行う。
【００７４】
すなわち、上記図３及び図４に示した２つの符号化ストリーム(Stream A),(Stream B)をトランジションエフェクトをかけて繋ぐ場合に対応させると、上記ステップＳ８からステップＳ１１の処理を繰り返し行うことにより、エフェクト区間のＢピクチャ(B7)からＢピクチャ(B12)までの各フレームのエフェクト処理済非圧縮画像データを上記エフェクト処理部２３により生成して上記再エンコード処理部３０によりエンコードして圧縮符号化データを生成する。
【００７５】
そして、上記ステップＳ８における判定結果がＹＥＳ、すなわち、アウト点に到達した場合にステップＳ１２の処理に進んで、処理しているフレームがＰピクチャであるか否かを判定する。このステップＳ１２における判定結果がＮＯ、すなわち、Ｐピクチャでない場合には、ステップＳ１３の処理に進み、また、判定結果がＹＥＳ、すなわち、Ｐピクチャである場合には、ステップＳ１５の処理に進む。
【００７６】
ステップＳ１３では、上記復号処理部１０の第２のデコーダ１２により第２の符号化ストリーム(Stream B)について１フレームを復号する。
【００７７】
次のステップＳ１４では、上記第２のデコーダ１２により復号した第２の符号化ストリーム(Stream B)の非圧縮画像データを上記再エンコード処理部３０によりエンコードして圧縮符号化データを生成する。
【００７８】
上記制御部４０は、処理しているフレームがＰピクチャになるまで、上記ステップＳ１２からステップＳ１４の処理を繰り返し行う。
【００７９】
そして、上記ステップＳ１２における判定結果がＹＥＳ、すなわち、処理しているフレームが上記ステップＳ１で決定されたレンダリング範囲におけるエフェクト処理のアウト点後の最初のＰピクチャになると、ステップＳ１５に進む。
【００８０】
ステップＳ１５では、上記復号処理部１０の第２のデコーダ１２により第２の符号化ストリーム(Stream B)について次の１フレームを復号する。
【００８１】
次のステップＳ１６では、上記ステップＳ１５において上記第２のデコーダ１２により復号した第２の符号化ストリーム(Stream B)の１フレームの非圧縮符号化データをＩピクチャとしてエンコードするようにパラメータを設定する。
【００８２】
次のステップＳ１７では、上記ステップＳ１５において上記第２のデコーダ１２に復号した第２の符号化ストリーム(Stream B)の１フレームの非圧縮符号化データを上記再エンコード処理部３０によりＩピクチャとしてエンコードして圧縮符号化データを生成する。
【００８３】
次のステップＳ１８では、処理しているフレームが上記ステップＳ１で決定されたレンダリング範囲にあるか否かを判定する。このステップＳ１８における判定結果がＹＥＳ、すなわち、レンダリング範囲にある場合にはステップＳ１９の処理に進み、判定結果がＮＯ、すなわち、レンダリング範囲でなくなるとレンダリング処理を終了する。
【００８４】
ステップＳ１９では、上記復号処理部１０の第２のデコーダ１２により第２の符号化ストリーム(Stream B)について次の１フレームを復号する。
【００８５】
次のステップＳ２０では、上記第２のパラメータ付加部２２により、上記第２のデコーダ１２による第２の復号出力Ｓ２として得られた上記第２の符号化ストリーム(Stream B)の１フレームの非圧縮画像データにその(動きベクトルやピクチャタイプなど)を付加する。
【００８６】
次のステップＳ２１では、上記第２のデコーダ１２により復号した第２の符号化ストリーム(Stream B)の１フレームの非圧縮画像データを上記再エンコード処理部３０によりエンコードして圧縮符号化データを生成する。
【００８７】
上記制御部４０は、処理しているフレームが上記ステップＳ１で決定されたレンダリング範囲でなくなるまで、上記ステップＳ１８からステップＳ２１の処理を繰り返し行い、レンダリング範囲でなくなるとレンダリング処理を終了する。
【００８８】
すなわち、上記図３及び図４に示した２つの符号化ストリーム(Stream A),(Stream B)をトランジションエフェクトをかけて繋ぐ場合に対応させると、上記ステップＳ１２からステップＳ２１の処理により、エフェクト区間よりも後のＢピクチャ(B10)からＰピクチャ(P14)までを上記第２のデコーダ１２により復号する。そして、上記第２のパラメータ付加部２２により非圧縮画像データに付加された符号化パラメータ(動きベクトルやピクチャタイプなど)を再利用して、上記再エンコード処理部３０によりＢピクチャ(B10)からＰピクチャ(P14)までをエンコードして圧縮符号化する。この際、エフェクトによる変化が後ろの画に影響を及ぼさないように、上記ステップＳ１２の判定処理により最初のＰピクチャ(P11)を検出して、上記ステップＳ１５からステップＳ１７の処理により強制的にＩピクチャ(I11)としてエンコードしている。
【００８９】
すなわち、この画像編集装置１００は、圧縮符号化された第１の符号化ストリーム(Stream A)と第２の圧縮符号化ストリーム(Stream B)を復号して、各フレーム単位の非圧縮画像データとその符号化パラメータを得る復号処理を行う復号処理部１０と、上記第１の符号化ストリーム(Stream A)を上記復号処理部１０により復号して得られる編集点を含むエフェクト区間の非圧縮画像データと上記第２の符号化ストリーム(Stream B)を上記復号処理部１０により復号して得られる上記エフェクト区間の非圧縮画像データからエフェクト処理済非圧縮画像データを生成し、上記第１の符号化ストリーム(Stream A)の復号処理により得られた上記編集点を含むＧＯＰの開始点のフレームから上記エフェクト区間の開始点の前のフレームまでの非圧縮画像データと、生成された上記エフェクト区間の上記エフェクト処理済非圧縮画像データと、上記第２の符号化ストリーム(Stream B)の復号処理により得られた上記エフェクト区間の終了点の後のフレームから上記編集区間の終了点のフレームまでの非圧縮画像データを繋ぐ切換処理を行う切換処理部２０と、上記切換処理部２０により繋がれた上記第１の符号化ストリーム(Stream A)の非圧縮画像データと上記エフェクト処理済非圧縮画像データと上記第２の符号化ストリーム(Stream B)の非圧縮画像データを再エンコードする再エンコード処理部３０と、これら各部の動作を制御する制御部４０とを備える。
【００９０】
上記制御部４０は、上記第１の符号化ストリーム(Stream A)の編集点を含むＧＯＰの開始点のフレームから上記第２の符号化ストリーム(Stream B)の上記編集点を含むＧＯＰの終了点のフレームまでを編集区間として設定するとともに、上記編集区間内に上記切換処理部２０におけるエフェクト処理の開始点から終了点までをエフェクト区間として設定して、上記復号処理部１０、切換処理部２０及び再エンコード処理部３０の動作を制御する。
【００９１】
そして、上記編集区間の第１の符号化ストリーム(Stream A)と第２の符号化ストリーム(Stream B)を上記復号処理部１０により復号し、上記切換処理部２０により上記第１の符号化ストリーム(Stream A)の非圧縮画像データと上記エフェクト区間の上記エフェクト処理済非圧縮画像データと上記第２の符号化ストリーム(Stream B)の非圧縮画像データを繋ぎ、上記再エンコード処理部３０により再エンコードして、上記編集区間の上記第１の符号化ストリーム(Stream A)と上記第２の符号化ストリーム(Stream B)を上記編集点を含む上記エフェクト区間でエフェクト処理を施して繋いだ第３の符号化ストリーム(Stream C)の２つのオープンＧＯＰの圧縮符号化データを生成する。
【００９２】
この画像編集装置１００のように、スマートレンダリングの処理において、レンダリングを必要とする範囲だけでなく、その前後のＧＯＰ区切りにまでレンダリング範囲を拡張し、本来レンダリングの必要がない部分については、元素材の持つパラメータ(動きベクトル，ピクチャタイプなど）を再利用して再エンコードすることにより、高速に再エンコードすることができる。また、レンダリングが必要な部分については、前後のレンダリング不要な部分を参照画として使用してエンコードを行うことにより、エフェクト部分の画質が高く、また、エフェクトのイン点、アウト点付近が連続したＧＯＰとしてエンコード処理され、切り替わり点での画質の差が少なく、エフェクトの前後部分の画質劣化が少ないレンダリング処理を行うことができる。さらに、レンダリング部分との切り替わり点で画質の差が少ないレンダリング処理を行うことができる。すなわち、本来レンダリングの必要がなかった部分については再エンコードが行われるが、元素材の持つパラメータを再利用するため画質の劣化が軽微であり、エンコード処理のうち負荷の重い動き検出などが省略されるため高速に処理を行うことができる。
【００９３】
すなわち、この画像編集装置１００では、第１の符号化ストリームと第２の符号化ストリームを編集点で切り換えて繋ぐ際に、上記第１の符号化ストリームの上記編集点を含むＧＯＰの開始点から上記第２の符号化ストリームの上記編集点を含むＧＯＰと終了点までを編集区間として設定するとともに、上記編集区間内にエフェクト処理の開始点から終了点までをエフェクト区間として設定し、上記編集区間の上記第１の符号化ストリームと上記第２の符号化ストリームを復号して、各フレーム単位の非圧縮画像データとその符号化パラメータを得る復号処理を行う。
【００９４】
そして、上記復号処理により得られる上記編集点を含むエフェクト区間の上記第１の符号化ストリームの非圧縮画像データと上記第２の符号化ストリームの非圧縮画像データからエフェクト処理済非圧縮画像データを生成し、上記復号処理により得られた上記編集点を含むＧＯＰの開始点のフレームから上記エフェクト区間の開始点の前のフレームまでの上記第１の符号化ストリームの非圧縮画像データと、生成された上記エフェクト区間の上記エフェクト処理済非圧縮画像データと、上記復号処理により得られた上記エフェクト区間の終了点の後のフレームから上記編集区間の終了点のフレームまでの上記第２の符号化ストリームの非圧縮画像データを繋ぐ切換処理を行う。
【００９５】
さらに、上記切換処理により繋がれた上記第１の符号化ストリームの非圧縮画像データと上記エフェクト処理済非圧縮画像データと上記第２の符号化ストリームの非圧縮画像データについて、上記編集点を含むＧＯＰの開始点のフレームから上記エフェクト区間の開始点の２フレーム前までは上記復号処理により得られた上記第１の符号化ストリームの非圧縮画像データを上記復号処理により得られた符号化パラメータを用いて再エンコードし、上記復号処理により得られた上記エフェクト区間の開始点の前の１フレームの上記第１の符号化ストリームの非圧縮画像データと上記エフェクト処理により生成された上記エフェクト区間のエフェクト処理済非圧縮画像データと上記復号処理により得られた上記エフェクト区間の終了点の後のフレームから上記エフェクト区間の終了点の後の最初のＰピクチャのフレームまでの上記第２の符号化ストリームの非圧縮画像データを再エンコードし、上記エフェクト区間の終了点の後の最初のＰピクチャのフレームの次のフレームから上記編集区間の終了点のフレームまで上記復号処理により得られた上記第２の符号化ストリームの非圧縮画像データをその符号化パラメータ用いて再エンコードし、上記編集区間の上記第１の符号化ストリームと上記第２の符号化ストリームを上記編集点でエフェクト処理を施して繋いた２つのオープンＧＯＰの圧縮符号化データを生成する再エンコード処理を行う。
【００９６】
ここで、従来のスマートレンダリング処理と上述の如きパラメータエンコード機能を使用したスマートレンダリング処理の画質の違いを見るために、一例として実際のある画像について、エフェクトのかかった再エンコード前の非圧縮状態を基準にスマートレンダリング結果のＳＮＲを計算した結果を図６に示す。
【００９７】
この図６から明らかなように、パラメータエンコード機能を使用したスマートレンダリング処理を行うことによりＳＮＲを改善することができる。
【００９８】
なお、エフェクトによっては、そのイン点前、または アウト点後の画像と大きく変わってしまい参照画としての利用が適さない場合がある。その場合の対処方法は、次の（１），（２）の２通りある。
（１）エンコーダが通常持っているシーンチェンジ検出機能を働かせ、ＧＯＰ構成の最適化をエンコーダに行わせる。
（２）予めエフェクト内容により、元ストリームとの差が十分大きいと判断できる場合、エフェクトのイン点、アウト点 をＧＯＰの境として指定し、クローズドとしてエンコードを行う。
【００９９】
そこで、上記制御部４０は、上記ステップＳ２の判定処理における判定結果がＹＥＳ、すなわち、エフェクトによる画像の変化が大きい場合には、ステップＳ２２に進んで、通常のスマートレンダリングの処理手順に従った制御を行い、エフェクトのイン点とアウト点がＧＯＰの再開になるようにエフェクト区間を設定して、上記再エンコード処理部３０により通常のエンコード処理を行う。
【図面の簡単な説明】
【０１００】
【図１】本発明を適用した画像編集装置の構成例を示すブロック図である。
【図２】パラメータエンコードの概念を示す模式図である。
【図３】上記画像編集装置により実行される２つの符号化ストリームにトランジションエフェクトをかけて繋ぐスマートレンダリング処理を示す模式図である。
【図４】上記画像編集装置により実行されるパラメータエンコード機能を使用したスマートレンダリング処理を示す模式図である。
【図５】上記画像編集装置により実行されるパラメータエンコード機能を使用したスマートレンダリング処理の手順を示すフローチャートである。
【図６】従来のスマートレンダリング処理とパラメータエンコード機能を使用したスマートレンダリング処理の画質の違いを比較して示すグラフである。
【図７】従来の一般的なスマートレンダリングを示す模式図である。
【図８】２つの符号化ストリームにトランジションエフェクトをかけて繋ぐ従来のスマートレンダリング処理を示す模式図である。
【符号の説明】
【０１０１】
１０ 復号処理部、１１ 第１のデコーダ、１２ 第２のデコーダ、２０ 切換処理部、２１ 第１のパラメータ付加部、２２ 第２のパラメータ付加部、２３ エフェクト処理部、２４ 切換スイッチ部、３０ 再エンコード処理部、３１ エンコード部、３２ 切換スイッチ部、４０ 制御部、１００ 画像編集装置
【技術分野】
【０００１】
本発明は、圧縮符号化された符号化ストリーム、例えば、ＭＰＥＧで符号化された画像信号を編集するのに適用される画像編集装置および画像編集方法に関する。
【背景技術】
【０００２】
近年、画像間圧縮符号化方式の一つであるＭＰＥＧ(Moving Picture Experts Group)が広く実用化されつつある。ＭＰＥＧのような圧縮符号化を利用することによって、記録媒体を有効活用することができる。ＭＰＥＧにより符号化された画像信号を編集する場合、復号された画像信号と、外部からの画像信号をつなげて、再びＭＰＥＧで符号化し、ストリームを記録媒体に記録するような編集システムが構成できる。さらに、他の記録媒体に記録されているビデオ信号をレコーダにより記録するダビングの場合でも、他の記録媒体の再生信号が復号され、再符号化される。
【０００３】
ＭＰＥＧなどに代表される画像圧縮方式では、フレーム間予測を用いて映像信号を圧縮符号化することで、高い圧縮効率を実現している。しかし、映像を編集することを考えた場合、フレーム間予測を用いた圧縮画像は、フレーム間に予測による圧縮信号の関連があるため、圧縮されたままの映像信号で、映像素材をつなぎ合わせることとはできない。そのため、映像素材を編集することが予め考慮されたシステムにおいては、一般的に、フレーム間予測を用いず、フレーム内での圧縮のみを用いて符号化が行われている。
【０００４】
ＭＰＥＧの場合では、ピクチャタイプとして、Ｉ、Ｐ、Ｂの３種類が存在する。Ｉピクチャ(Intra-coded picture：イントラ符号化画像)は、符号化されるときその画像１枚の中だけで閉じた情報を使用するものである。従って、復号時には、Ｉピクチャ自身の情報のみで復号できる。Ｐピクチャ(Predictive-coded picture：順方向予測符号化画像)は、予測画像、すなわち、差分をとる基準となる画像として、時間的に前の既に復号されたＩピクチャまたはＰピクチャを使用するものである。
【０００５】
動き補償された予測画像との差を符号化するか、差分を取らずに符号化するか、効率の良い方をマクロブロック単位で選択する。Ｂピクチャ(Bidirectionally predictive-coded picture：両方向予測符号化画像)は、予測画像、すなわち、差分をとる基準となる画像として、時間的に前の既に復号されたＩピクチャまたはＰピクチャ、時間的に後ろの既に復号されたＩピクチャまたはＰピクチャ、並びにこの両方から作られた補間画像の３種類を使用する。この３種類のそれぞれの動き補償後の差分の符号化と、イントラ符号化の中で、最も効率の良いものをマクロブロック単位で選択する。
【０００６】
従って、マクロブロックタイプとしては、フレーム内符号化(Intra)マクロブロックと、過去から未来を予測する順方向(Foward)フレーム間予測マクロブロックと、未来から過去を予測する逆方向(Backward)フレーム間予測マクロブロックと、前後両方向から予測する両方向マクロブロックとがある。Ｉピクチャ内の全てのマクロブロックは、フレーム内符号化マクロブロックである。また、Ｐピクチャ内には、フレーム内符号化マクロブロックと順方向フレーム間予測マクロブロックとが含まれる。Ｂピクチャ内には、上述した４種類の全てのタイプのマクロブロックが含まれる。
【０００７】
そして、ＭＰＥＧでは、ランダムアクセスを可能とするために、複数枚のピクチャのまとまりであるピクチャ群としてＧＯＰ(Group Of Picture)構造が規定されている。ＧＯＰに関するＭＰＥＧの規則では、第１にビットストリーム上で、ＧＯＰの最初がＩピクチャであること、第２に、原画像の順で、ＧＯＰの最後がＩまたはＰピクチャであることが規定されている。また、ＧＯＰとしては、以前のＧＯＰの最後のＩまたはＰピクチャからの予測を必要とする構造も許容されている。以前のＧＯＰの画像を使用しないで復号できるＧＯＰは、クローズドＧＯＰと称される。ＧＯＰ内のみで画像を参照し、ＧＯＰ内で完全にデコードが可能な、ＧＯＰで閉じた構造を持つクローズドＧＯＰに対し、クローズドＧＯＰ構造ではないＧＯＰ構造、すなわち、ＧＯＰをまたいで画像を参照する構造のＧＯＰは、オープンＧＯＰと称される。
【０００８】
また、ＭＰＥＧにおいて、双方向のフレーム間予測を用いた圧縮符号化方式は、ロングＧＯＰ方式の圧縮と呼ばれる。ＰピクチャやＢピクチャは、データ量がＩピクチャに比べて小さいため、ＧＯＰを長くすれば、すなわち、ロングＧＯＰを構成するピクチャ数を増加させれば、映像の圧縮率を高くすることができる。したがって、デジタル放送やＤＶＤ(Digital Versatile Disk)ビデオでの利用に適している。
【０００９】
しかしながら、二つのＭＰＥＧのビデオストリームが編集点で切り換えられたストリームを考えると、フレーム単位の場合では、どのような位相で二つのストリームが接続されるかが分からない。編集点が含まれず、ＧＯＰ構造が完全に保存されているＧＯＰの場合では、編集点処理を行わないで、そのまま出力しても復号することができる。
【００１０】
編集点が含まれるために、ＧＯＰ構造が保存されない場合には、編集点より時間的に前のストリームでは、ＧＯＰの編集点から後のデータが破棄される。また、時間的に後のストリームでは、編集点から前のデータが破棄される。編集点をはさんで残った二つのストリームを復号する場合には、これらの二つのストリームを新たなＧＯＰとして扱う。従って、新たなＧＯＰに予測参照画像としてのＩピクチャが含まれていないと、そのＧＯＰが復号不可能となってしまう。この場合には、編集後のビットストリームの復号を可能とするために、ビットストリームをＭＰＥＧ復号で一度ベースバンドに戻し、再度符号化を行なってビットストリームを得る必要がある。
【００１１】
そこで、従来から、編集点付近の必要最小区間のみをデコードし再エンコードする手法が知られている。すなわち、削除や結合を行う部分のＧＯＰおよび当該ＧＯＰが変化することにより影響を受けるＧＯＰのみをデコードおよび再エンコードし、それ以外のＧＯＰについては、ＧＯＰ単位でコピーを行う。この編集点付近の必要最小区間のみをデコードし再エンコードする手法の代表的な例としては、スマートレンダリングと呼ばれる手法が一般的に知られている（例えば、特許文献１、２参照）。
【００１２】
従来の一般的なスマートレンダリングを図７に示す。すなわち、２つの符号化ストリーム(Stream 1),(Stream2)にエフェクト(Effect)をかけて繋ぐ場合、エフェクト部分を再エンコードし、エフェクトのない部分は単純にコピーを行っていた。
【００１３】
具体的な例として、２つの符号化ストリーム(Stream 1),(Stream 2)にディゾルブやワイプなどのトランジションエフェクト(Transition Effect)をかけて繋ぐ場合を図８に示す。この例の場合、第１の符号化ストリーム(Stream 1)のＢピクチャ(B6)は 参照画となるＰピクチャ(P8)がエフェクトにより失われデコードできなくなる。そこで、スマートレンダリングでは、このＢピクチャ(B6)から再エンコードを行い、同様に第２の符号化ストリーム(Stream 2)の Ｂピクチャ(B10)からＰピクチャ(P14)も参照画が失われるため再エンコードの対象になる。
【００１４】
この第１の符号化ストリーム(Stream 1)のＢピクチャ(B6)から第２の符号化ストリーム(Stream 2)のＰピクチャ(P14)までを 単純に再エンコードし、エフェクトのない部分は単純にコピーを行っていた。
【００１５】
このような従来のスマートレンダリングでは、先頭部分はクローズドＧＯＰとしてエンコードされるので、画質の劣化が大きくなる。
【００１６】
また 新しくＢピクチャ(B0)となるピクチャは、エフェクトがかかってなく画の変化がないにもかかわらず、エフェクトのかかっているＩピクチャ(I2)を参照画としてしまうため、画質劣化が大きくなる。
【００１７】
同様に後部についても新たにＢピクチャ(B7)からＰピクチャ(P11)となる部分も 画に変化がないにもかかわらずエフェクトのかかった部分を参照するため画質劣化が大きくなる。
【特許文献１】特開平１１−３４１３６号公報
【特許文献２】特開２００４−１０４３６１号公報
【発明の開示】
【発明が解決しようとする課題】
【００１８】
上述の如き従来のスマートレンダリングでは、必要最低限な部分、すなわち、編集により参照画とすべきピクチャがなくなりデコード不可能となるエフェクト部分のみ再エンコードしていたので、レンダリング部分の画質劣化が大きいという問題があった。すなわち、参照画がなくなったため再エンコードする部分は、画像に変化が無いにも拘わらず単純に再エンコード処理が行われるため、画質劣化が大きく、再生時に、レンダリング部分との切り替わり点で画質の差が目立つ場合がある。
【００１９】
そこで、本発明の目的は、上述の如き従来の問題点に鑑み、エフェクト部分の画質が高く、また、エフェクトの前後部分の画質劣化が少なく、レンダリング部分との切り替わり点で画質の差が少ないレンダリング処理を高速に行うことができる画像編集装置および画像編集方法を提供することにある。
【００２０】
本発明の更に他の目的、本発明によって得られる具体的な利点は、以下に説明される実施の形態の説明から一層明らかにされる。
【課題を解決するための手段】
【００２１】
本発明では、トランジションエフェクト(Transition Effect)などを使った編集箇所では、エフェクトのかかった部分とその前後のエフェクトのかかっていない部分の画像には通常関連性があるという性質を利用し、エフェクトのかかっていない部分の画像をエフェクトのかかっている部分の参照画として利用する。
【００２２】
すなわち、本発明は、画像編集装置であって、圧縮符号化された第１の符号化ストリームと第２の圧縮符号化ストリームを復号して、各フレーム単位の非圧縮画像データとその符号化パラメータを得る復号処理を行う復号処理部と、上記第１の符号化ストリームを復号して得られる編集点を含むエフェクト区間の非圧縮画像データと上記第２の符号化ストリームを復号して得られる上記エフェクト区間の非圧縮画像データからエフェクト処理済非圧縮画像データを生成し、上記第１の符号化ストリームを復号して得られる上記編集点を含むＧＯＰの開始点のフレームから上記エフェクト区間の開始点の前のフレームまでの非圧縮画像データと、生成された上記エフェクト区間の上記エフェクト処理済非圧縮画像データと、上記第２の符号化ストリームを復号して得られた上記エフェクト区間の終了点の後のフレームから上記編集区間の終了点のフレームまでの非圧縮画像データを繋ぐ切換処理を行う切換処理部と、上記切換処理部により繋がれた上記第１の符号化ストリームの非圧縮画像データと上記エフェクト処理済非圧縮画像データと上記第２の符号化ストリームの非圧縮画像データを再エンコードする再エンコード処理部と、これら各部の動作を制御する制御部とを備え、上記制御部は、第１の符号化ストリームの編集点を含むＧＯＰの開始点のフレームから第２の符号化ストリームの上記編集点を含むＧＯＰの終了点のフレームまでを編集区間として設定するとともに、上記編集区間内に上記切換処理部におけるエフェクト処理の開始点から終了点までをエフェクト区間として設定し、上記制御部により設定された上記編集区間の第１の符号化ストリームと第２の符号化ストリームを上記復号処理部により復号し、上記切換処理部により上記第１の符号化ストリームの非圧縮画像データと上記制御部により設定された上記エフェクト区間の上記エフェクト処理済非圧縮画像データと上記第２の符号化ストリームの非圧縮画像データを繋いで、上記再エンコード処理部により再エンコードして、上記編集区間の上記第１の符号化ストリームと上記第２の符号化ストリームを上記編集点を含む上記エフェクト区間でエフェクト処理を施して繋いだ第３の符号化ストリームの２つのオープンＧＯＰの圧縮符号化データを生成することを特徴とする。
【００２３】
また、本発明は、画像編集方法であって、 第１の符号化ストリームと第２の符号化ストリームを編集点で切り換えて繋ぐ際に、上記第１の符号化ストリームの上記編集点を含むＧＯＰの開始点から上記第２の符号化ストリームの上記編集点を含むＧＯＰと終了点までを編集区間として設定するとともに、上記編集区間内に上記エフェクト処理部によるエフェクト処理の開始点と終了点を指定してエフェクト区間を設定し、上記編集区間の上記第１の符号化ストリームと上記第２の符号化ストリームを復号して、各フレーム単位の非圧縮画像データとその符号化パラメータを得る復号処理を行い、上記復号処理により得られる上記編集点を含むエフェクト区間の上記第１の符号化ストリームの非圧縮画像データと上記第２の符号化ストリームの非圧縮画像データからエフェクト処理済非圧縮画像データを生成し、上記復号処理により得られた上記編集点を含むＧＯＰの開始点のフレームから上記エフェクト区間の開始点の前のフレームまでの上記第１の符号化ストリームの非圧縮画像データと、生成された上記エフェクト区間の上記エフェクト処理済非圧縮画像データと、上記復号処理により得られた上記エフェクト区間の終了点の後のフレームから上記編集区間の終了点のフレームまでの上記第２の符号化ストリームの非圧縮画像データを繋ぐ切換処理を行い、上記切換処理により繋がれた上記第１の符号化ストリームの非圧縮画像データと上記エフェクト処理済非圧縮画像データと上記第２の符号化ストリームの非圧縮画像データについて、上記編集点を含むＧＯＰの開始点のフレームから上記エフェクト区間の開始点の２フレーム前までは上記復号処理により得られた上記第１の符号化ストリームの非圧縮画像データを上記復号処理により得られた符号化パラメータを用いて再エンコードし、上記復号処理により得られた上記エフェクト区間の開始点の前の１フレームの上記第１の符号化ストリームの非圧縮画像データと上記エフェクト処理により生成された上記エフェクト区間のエフェクト処理済非圧縮画像データと上記復号処理により得られた上記エフェクト区間の終了点の後のフレームから上記エフェクト区間の終了点の後の最初のＰピクチャのフレームまでの上記第２の符号化ストリームの非圧縮画像データを再エンコードし、上記エフェクト区間の終了点の後の最初のＰピクチャのフレームの次のフレームから上記編集区間の終了点のフレームまで上記復号処理により得られた上記第２の符号化ストリームの非圧縮画像データをその符号化パラメータ用いて再エンコードし、上記編集区間の上記第１の符号化ストリームと上記第２の符号化ストリームを上記編集点でエフェクト処理を施して繋いだ２つのオープンＧＯＰの圧縮符号化データを生成する再エンコード処理を行うことを特徴とする。
【発明の効果】
【００２４】
本発明では、スマートレンダリングの処理において、レンダリングを必要とする範囲だけでなく、その前後のＧＯＰ区切りにまでレンダリング範囲を拡張し、本来 レンダリングの必要がない部分については、元素材の持つパラメータ（動きベクトル，ピクチャタイプなど）を再利用して再エンコードするので、高速に再エンコードすることができる。また、本発明では、レンダリングが必要な部分については、前後のレンダリング不要な部分を参照画として使用してエンコードを行うので、エフェクト部分の画質が高く、また、エフェクトのイン点、アウト点付近が連続したＧＯＰとしてエンコード処理されるため、切り替わり点での画質の差が少なく、エフェクトの前後部分の画質劣化が少ないレンダリング処理を行うことができる。さらに、本発明では、レンダリング部分との切り替わり点で画質の差が少ないレンダリング処理を行うことができる。すなわち、本来レンダリングの必要がなかった部分については再エンコードが行われるが、元素材の持つパラメータを再利用するため画質の劣化が軽微であり、エンコード処理のうち負荷の重い動き検出などが省略されるため高速に処理を行うことができる。
【００２５】
したがって、本発明によれば、エフェクト部分の画質が高く、また、エフェクトの前後部分の画質劣化が少なく、レンダリング部分との切り替わり点で画質の差が少ないレンダリング処理を高速に行うことができる画像編集装置および画像編集方法を提供することができる。
【発明を実施するための最良の形態】
【００２６】
以下、本発明の実施の形態について、図面を参照して詳細に説明する。なお、本発明は以下の例に限定されるものではなく、本発明の要旨を逸脱しない範囲で、任意に変更可能であることは言うまでもない。
【００２７】
［画像編集装置の構成］
本発明は、例えば図１に示すような構成の画像編集装置１００に適用される。
【００２８】
この画像編集装置１００は、圧縮符号化された二つの符号化ストリーム、例えば、二つのＭＰＥＧのビデオストリーム(Stream A)，(Stream B)を編集点で切り換えて繋ぐ際に、再エンコードを部分的に行うスマートレンダリング編集装置である。この画像編集装置１００は、復号処理部１０、切換処理部２０、再エンコード処理部３０と、これら動作を制御する制御部４０などからなる。
【００２９】
上記復号処理部１０は、編集区間の符号化ストリームを復号するものであって、第１の符号化ストリーム(Stream A)が入力される第１のデコーダ１１と、第２の符号化ストリーム（Stream B）が入力される第２のデコーダ１２からなる。
【００３０】
上記第１のデコーダ１１は、入力された第１の符号化ストリーム(Stream A)について編集区間の復号処理を行うもので、その動作が上記制御部４０により制御される。この第１のデコーダ１１は、上記第１の符号化ストリーム(Stream A)を復号して得られる編集区間の第１の復号出力Ｓ１としてフレーム単位の非圧縮画像データとその符号化パラメータ(動きベクトルやピクチャタイプなど)を上記切換処理部２０に供給する。
【００３１】
また、上記第２のデコーダ１２は、入力された第２の符号化ストリーム(Stream B)について編集区間の復号処理を行うもので、その動作が上記制御部４０により制御される。この第２のデコーダ１２は、上記第２の符号化ストリーム(Stream B)を復号する。そして、編集区間の第２の復号出力Ｓ２としてフレーム単位の非圧縮画像データとその符号化パラメータ（動きベクトルやピクチャタイプなど）を上記切換処理部２０に供給する。
【００３２】
すなわち、上記復号処理部１０は、上記第１の符号化ストリーム(Stream A)を復号し、フレーム単位の非圧縮画像データとその符号化パラメータを第１の復号出力Ｓ１として出力する第１のデコーダ１１と、上記第２の符号化ストリーム(Stream B)を復号し、フレーム単位の非圧縮画像データとその符号化パラメータを第２の復号出力Ｓ２として出力する第２のデコーダ１２からなる。
【００３３】
上記切換処理部２０は、上記復号出力Ｓ１と上記復号出力Ｓ２を繋ぎ部分で切り換えて再エンコード処理部３０に供給するものであって、第１のパラメータ付加部２１、第２のパラメータ付加部２２、エフェクト処理部２３、切換スイッチ部２４からなる。
【００３４】
上記第１のパラメータ付加部２１には、上記第１のデコーダ１１による上記第１の復号出力Ｓ１として復号して得られたフレーム単位の非圧縮画像データとその符号化パラメータ(動きベクトルやピクチャタイプなど)が入力される。この第１のパラメータ付加部２１は、上記第１のストリーム(Stream A)を復号して得られたフレーム単位の非圧縮画像データに、その符号化パラメータ(動きベクトルやピクチャタイプなど)を付加する。これにより、第１の符号化パラメータ付き非圧縮画像データを生成する。
【００３５】
また、上記第２のパラメータ付加部２２には、上記第２のデコーダ１２による上記第２の復号出力Ｓ２として得られたフレーム単位の非圧縮画像データとその符号化パラメータ（動きベクトルやピクチャタイプなど）が入力される。この第２のパラメータ付加部２２は、上記第２のストリーム（Stream B）の繋ぎ部分を復号して得られたフレーム単位の非圧縮画像データに、その符号化パラメータ（動きベクトルやピクチャタイプなど）を付加する。これにより、第２の符号化パラメータ付き非圧縮画像データを生成する。
【００３６】
さらに、上記エフェクト処理部２３には、上記第１のデコーダ１１による上記第１の復号出力Ｓ２として得られたフレーム単位の非圧縮画像データと上記第２のデコーダ１２により上記第２の復号出力Ｓ２として得られたフレーム単位の非圧縮画像データが入力される。このエフェクト処理部２３は、二つの符号化ストリーム(Stream A)，(Stream B)の繋ぎ部分にエフェクト処理を施すものである。上記第１の符号化ストリーム(Stream A)を復号して得られた非圧縮画像データと上記第２の符号化ストリーム(Stream B)を復号して得られた非圧縮画像データからエフェクト処理済非圧縮画像データを生成する。このエフェクト処理部２３では、二つの符号化ストリーム(Stream A)，(Stream B)の繋ぎ部分にディゾルブやワイプなどのトランジションエフェクト(Transition Effect)をかけるエフェクト処理を施す。
【００３７】
そして、上記切換スイッチ部２４は、その動作が上記制御部４０により制御され、上記第１の符号化パラメータ付き非圧縮画像データとエフェクト処理済非圧縮画像データと第２の符号化パラメータ付き非圧縮画像データを順次切り換えて、上記再エンコード処理部３０に供給する。
【００３８】
上記再エンコード処理部３０は、第１の符号化ストリーム(Stream A)と第２の符号化ストリーム(Stream B)の繋ぎ部分の再エンコード処理を行い、二つの符号化ストリーム(Stream A)，(Stream B)を繋いだ第３の符号化ストリーム(Stream C)を出力するものである。この再エンコード処理部３０は、エンコード部３１と切換スイッチ部３２からなる。
【００３９】
上記エンコード部３１は、その動作が上記制御部４０により制御され、上記切換処理部２０から上記切換スイッチ部２４を介して供給される編集区間の非圧縮画像データに再エンコード処理を施す。これにより、上記第１の符号化ストリーム(Stream A)と第２の符号化ストリーム(Stream B)の繋ぎ部分を圧縮符号化した２つのオープンＧＯＰの圧縮符号化データを生成する。
【００４０】
すなわち、上記エンコード部３１は、上記切換処理部２０により繋がれた上記第１の符号化パラメータ付き非圧縮画像データと上記エフェクト処理済非圧縮画像データと上記第２の符号化パラメータ付き非圧縮画像データから上記編集区間の上記第１の符号化ストリーム(Stream A)と第２の符号化ストリーム(Stream B)を上記編集点でエフェクト処理を施して繋いだ２つのオープンＧＯＰの圧縮符号化データを生成する。
【００４１】
そして、上記切換スイッチ部３２は、その動作が上記制御部４０により制御され、上記第１の符号化ストリーム(Stream A)と、上記エンコード部３１により再エンコード処理が施されて生成された繋ぎ部分の圧縮符号化データと、上記第２の符号化ストリーム(Stream B)を順次切り換える。これにより、上記二つの符号化ストリーム(Stream A)，(Stream B)を繋いだ第３の符号化ストリーム(Stream C)を出力する。
【００４２】
上記制御部４０は、上記第１の符号化ストリーム(Stream A)の編集点を含むＧＯＰの開始点のフレームから上記第２の符号化ストリーム(Stream B)の上記編集点を含むＧＯＰの終了点のフレームまでを編集区間として設定する。そして、上記編集区間内に上記切換処理部２０におけるエフェクト処理の開始点から終了点までをエフェクト区間として設定して、上記復号処理部１０、切換処理部２０及び再エンコード処理部３０の動作を制御する。
【００４３】
［スマートレンダリング動作］
この画像編集装置１００では、パラメータエンコード機能を使用したスマートレンダリングを行う。
【００４４】
ここで、パラメータエンコードの概念を図２に示す。パラメータエンコードは、入力ストリームＡを再エンコードして出力ストリームＢを場合に、例えばビットレート変換 やスマートレンダリングなどで、元素材のビットストリームが持つパラメータの状態を基本的に維持したままエンコードを行う機能である。
【００４５】
具体的は、通常の再エンコードでは単純にデコードしエンコードするだけであるが、パラメータエンコードでは、デコーダ１１０により入力ストリームＡをデコードするときに、入力ストリームＡのデコード画情報Ｃとともに 動きベクトル情報などのパラメータＤを取り出し、エンコーダ１２０による再エンコードして出力ストリームＢを生成ときに再利用する。これにより 画質の世代劣化が抑えられ、動き検出が不要になるなど高速に処理が行われる。
【００４６】
この画像編集装置１００では、例えば、図３の（Ａ），（Ｂ）に示すように、２つの符号化ストリーム(Stream A)，(Stream B)にトランジションエフェクトをかけて繋ぐ場合に、このエフェクト部分を含むＧＯＰの始まりから、このＧＯＰの終了までを編集区間としてパラメータエンコード機能を使用したスマートレンダリング処理を行う。
【００４７】
すなわち、上記復号処理部１０の第１のデコーダ１１は、第１の符号化ストリーム(Stream A)のＢピクチャ(B0)からＰピクチャ(P14)までを復号して第１の復号出力Ｓ１を得る。また、第２のデコーダ１２は、第２の符号化ストリーム(Stream B)のＢピクチャ(B0)からＰピクチャ(P14)までを復号して第２の復号出力Ｓ２を得る。
【００４８】
そして、上記復号処理部１０により得られる第１の復号出力Ｓ１と第２の復号出力Ｓ２について、上記切換処理部２０において、エフェクト処理部２３により繋ぎ部分にエフェクト処理を施す。これにより、エフェクト処理を施したエフェクト区間を介して第１の復号出力Ｓ１と第２の復号出力Ｓ２を繋ぐ。この切換処理部２０により、２つの符号化ストリーム(Stream A)，(Stream B)を編集点で繋いだ非圧縮画像データを得る。上記切換処理部２０に得られる非圧縮画像データは、図４の（Ａ）に示すような非圧縮フレームの並びになる。
【００４９】
上記再エンコード処理部３０では、この非圧縮画像データをエンコードするわけであるが、エフェクト区間は当然パラメータの再利用はできないので、上記エフェクト処理部２３は上記再エンコード処理部３０に無効を表すパラメータを渡す。
【００５０】
また、上記切換処理部２０に得られる非圧縮画像データのピクチャ(B6)については 、エフェクトがかかっていないが、参照画となるＰピクチャ(P8)が エフェクトにより変化しているので、パラメータは再利用できない。そこで、上記エフェクト処理部２３は、上記Ｂピクチャ(B6)については 、元はＢピクチャであったということを示すパラメータだけを上記再エンコード処理部３０に渡す。
【００５１】
上記切換処理部２０により得られる非圧縮画像データは、Ｂピクチャ(B0)からＰピクチャ(P5)まではエフェクトがかかっていない。そこで、上記再エンコード処理部３０のエンコード部３１では、上記第１のパラメータ付加部２１により非圧縮画像データに付加された符号化パラメータ(動きベクトルやピクチャタイプなど)を再利用して、Ｂピクチャ(B0)からＰピクチャ(P5)までを圧縮符号化する。
【００５２】
このように符号化パラメータを再利用することにより、Ｂピクチャ(B0)からＰピクチャ(P5)までを劣化が少なくしかも高速で圧縮符号化することができる。
【００５３】
また、上記エフェクト処理部２３によりエフェクト処理が施されるＢピクチャ(B7)からＢピクチャ(B12)までのエフェクト区間については、編集前のフレームを参照画として使え、上記再エンコード処理部３０のエンコード部３１では、連続したＧＯＰ構造として圧縮符号化される。これにより高画質が期待できる。
【００５４】
さらに、エフェクト区間後のＢピクチャ(B10)からＰピクチャ(P14)までについては、エフェクトがかかっていない。そこで、上記再エンコード処理部３０のエンコード部３１では、上記第２のパラメータ付加部２２により非圧縮画像データに付加された符号化パラメータ(動きベクトルやピクチャタイプなど)を再利用して、Ｂピクチャ(B10)からＰピクチャ(P14)までを圧縮符号化する。この際、エフェクトによる変化が後ろの画に影響を及ぼさないように、上記再エンコード処理部３０のエンコード部３１は、最初のＰピクチャ（P11)を強制的にＩピクチャ(I11)に変更する。
【００５５】
そして、上記再エンコード処理部３０の切換スイッチ部３２は、編集区間の前は第１の符号化ストリーム(Stream A)を選択しており、編集区間は上記エンコード部３１により再エンコードされた圧縮符号化データを選択し、上記編集区間の後は第２の符号化ストリーム(Stream B)を選択することにより、図４の（Ｂ）に示すように圧縮フレームが並んだ第３の符号化ストリーム(Stream C)を出力する。
【００５６】
［スマートレンダリングの処理手順］
この画像編集装置１００では、例えば、図５のフローチャートに示す手順に従って、制御部４０が上記復号処理部１０，切換処理部２０及び再エンコード処理部３０の動作を制御して、上記パラメータエンコード機能を使用したスマートレンダリングを行う。
【００５７】
すなわち、この画像編集装置１００において、上記制御部４０は、先ず、ユーザにより操作される図示しない操作部の操作入力を受け付けて、レンダリング範囲を決定する（ステップＳ１）。
【００５８】
このステップＳ１では、上記図３及び図４に示した２つの符号化ストリーム(Stream A)，(Stream B)をトランジションエフェクトをかけて繋ぐ場合に対応させると、上記制御部４０は、２つの符号化ストリーム(Stream A)，(Stream B)を繋ぐ編集点を指定する操作入力を受け付けて、上記第１の符号化ストリーム(Stream A)の上記編集点を含むＧＯＰの開始点から上記第２の符号化ストリーム(Stream B)の上記編集点を含むＧＯＰと終了点までを編集区間として設定する。また、上記編集区間内に上記エフェクト処理部２３によるエフェクト処理の開始点すなわちイン点から終了点すなわちアウト点までをエフェクト区間として設定する。
【００５９】
次に、上記制御部４０は、上記ステップＳ１で決定したレンダリング範囲でレンダリング処理を行った場合のエフェクトによる画像の変化が大きいか否かを判定する（ステップＳ２）。
【００６０】
そして、上記制御部４０は、上記ステップＳ２の判定処理における判定結果がＮＯ、すなわち、エフェクトによる画像の変化が小さい場合には、ステップＳ３に進む。このステップＳ３では、パラメータエンコード機能を使用したスマートレンダリングを行うように、上記復号処理部１０，切換処理部２０及び再エンコード処理部３０の動作を制御する。
【００６１】
ステップＳ３では、上記制御部４０は、処理しているフレームが上記ステップＳ１で決定されたレンダリング範囲におけるエフェクト処理のイン点に到達したか否かを判定する。このステップＳ３における判定結果がＮＯ、すなわち、イン点に到達していない場合には、ステップＳ４の処理に進み、また、判定結果がＹＥＳ、すなわち、イン点に到達した場合には、ステップＳ８の処理に進む。
ステップＳ４では、上記復号処理部１０の第１のデコーダ１１により第１の符号化ストリーム(Stream A)について１フレームを復号して、第１の復号出力Ｓ１として上記１フレームの非圧縮画像データとその(動きベクトルやピクチャタイプなど)を得る。
【００６２】
次のステップＳ５では、上記第１のデコーダ１１により復号した第１の符号化ストリーム(Stream A)の１フレームは、参照画が有効であるか否かを判定する。このステップＳ５における判定結果がＹＥＳ、すなわち、参照画が有効である場合には、ステップＳ６の処理に進み、また、判定結果がＮＯ、すなわち、参照画が有効でない場合には、ステップＳ７の処理に進む。
【００６３】
ステップＳ６では、上記第１のパラメータ付加部２１により、上記第１のデコーダ１１による第１の復号出力Ｓ１として得られた上記第１の符号化ストリーム(Stream A)の１フレームの非圧縮画像データにその(動きベクトルやピクチャタイプなど)を付加する。
【００６４】
次のステップＳ７では、上記第１のデコーダ１１により復号した第１の符号化ストリーム(Stream A)の１フレームの非圧縮画像データを上記再エンコード処理部３０によりエンコードして圧縮符号化データを生成する。
【００６５】
上記制御部４０は、処理しているフレームが上記ステップＳ１で決定されたレンダリング範囲におけるエフェクト処理のイン点に達するまで、上記ステップＳ３からステップＳ７の処理を繰り返し行う。
【００６６】
ここで、上記図３及び図４に示した２つの符号化ストリーム(Stream A),(Stream B)をトランジションエフェクトをかけて繋ぐ場合に対応させると、上記ステップＳ３からステップＳ７の処理を繰り返し行うことにより、エフェクト区間よりも前のＢピクチャ(B0)からＰピクチャ(P5)までを再エンコードして圧縮符号化する。
【００６７】
すなわち、上記エフェクト区間よりも前のＢピクチャ(B0)からＰピクチャ(P5)までを上記第１のデコーダ１１により復号する。そして、上記エンコード部３１により、符号化パラメータ(動きベクトルやピクチャタイプなど)を再利用して、上記Ｂピクチャ（B0）からＰピクチャ（P5）までを圧縮符号化する。
【００６８】
なお、上記切換処理部２０に得られる非圧縮画像データのピクチャ(B6)については 、エフェクトがかかっていないが、参照画となるＰピクチャ(P8)が エフェクトにより変化しており、パラメータは再利用できない。そこで、上記エフェクト処理部２３は、元はＢピクチャであったということを示すパラメータだけを上記再エンコード処理部３０に渡す。
【００６９】
そして、上記ステップＳ３における判定結果がＹＥＳ、すなわち、イン点に到達した場合にステップＳ８の処理に進んで、処理しているフレームが上記ステップＳ１で決定されたレンダリング範囲におけるアウト点に到達したか否かを判定する。このステップＳ８における判定結果がＮＯ、すなわち、アウト点に到達していない場合には、ステップＳ９の処理に進み、また、判定結果がＹＥＳ、すなわち、アウト点に到達した場合には、ステップＳ１２の処理に進む。
【００７０】
ステップＳ９では、上記復号処理部１０の第１及び第２のデコーダ１１，１２により２つの符号化ストリーム(Stream A),(Stream B)ついてそれぞれ１フレームを復号する。
【００７１】
次のステップＳ１０では、上記第１及び第２のデコーダ１１，１２により復号した２つの符号化ストリーム(Stream A),(Stream B)の各１フレームの非圧縮画像データを用いて上記エフェクト処理部２３によりエフェクト処理を行い、１フレームのエフェクト処理済非圧縮画像データを生成する。
【００７２】
次のステップＳ１１では、上記エフェクト処理部２３により生成した１フレームのエフェクト処理済非圧縮画像データを上記再エンコード処理部３０によりエンコードして圧縮符号化データを生成する。
【００７３】
上記制御部４０は、処理しているフレームが上記ステップＳ１で決定されたレンダリング範囲におけるアウト点に達するまで、上記ステップＳ８からステップＳ１１の処理を繰り返し行う。
【００７４】
すなわち、上記図３及び図４に示した２つの符号化ストリーム(Stream A),(Stream B)をトランジションエフェクトをかけて繋ぐ場合に対応させると、上記ステップＳ８からステップＳ１１の処理を繰り返し行うことにより、エフェクト区間のＢピクチャ(B7)からＢピクチャ(B12)までの各フレームのエフェクト処理済非圧縮画像データを上記エフェクト処理部２３により生成して上記再エンコード処理部３０によりエンコードして圧縮符号化データを生成する。
【００７５】
そして、上記ステップＳ８における判定結果がＹＥＳ、すなわち、アウト点に到達した場合にステップＳ１２の処理に進んで、処理しているフレームがＰピクチャであるか否かを判定する。このステップＳ１２における判定結果がＮＯ、すなわち、Ｐピクチャでない場合には、ステップＳ１３の処理に進み、また、判定結果がＹＥＳ、すなわち、Ｐピクチャである場合には、ステップＳ１５の処理に進む。
【００７６】
ステップＳ１３では、上記復号処理部１０の第２のデコーダ１２により第２の符号化ストリーム(Stream B)について１フレームを復号する。
【００７７】
次のステップＳ１４では、上記第２のデコーダ１２により復号した第２の符号化ストリーム(Stream B)の非圧縮画像データを上記再エンコード処理部３０によりエンコードして圧縮符号化データを生成する。
【００７８】
上記制御部４０は、処理しているフレームがＰピクチャになるまで、上記ステップＳ１２からステップＳ１４の処理を繰り返し行う。
【００７９】
そして、上記ステップＳ１２における判定結果がＹＥＳ、すなわち、処理しているフレームが上記ステップＳ１で決定されたレンダリング範囲におけるエフェクト処理のアウト点後の最初のＰピクチャになると、ステップＳ１５に進む。
【００８０】
ステップＳ１５では、上記復号処理部１０の第２のデコーダ１２により第２の符号化ストリーム(Stream B)について次の１フレームを復号する。
【００８１】
次のステップＳ１６では、上記ステップＳ１５において上記第２のデコーダ１２により復号した第２の符号化ストリーム(Stream B)の１フレームの非圧縮符号化データをＩピクチャとしてエンコードするようにパラメータを設定する。
【００８２】
次のステップＳ１７では、上記ステップＳ１５において上記第２のデコーダ１２に復号した第２の符号化ストリーム(Stream B)の１フレームの非圧縮符号化データを上記再エンコード処理部３０によりＩピクチャとしてエンコードして圧縮符号化データを生成する。
【００８３】
次のステップＳ１８では、処理しているフレームが上記ステップＳ１で決定されたレンダリング範囲にあるか否かを判定する。このステップＳ１８における判定結果がＹＥＳ、すなわち、レンダリング範囲にある場合にはステップＳ１９の処理に進み、判定結果がＮＯ、すなわち、レンダリング範囲でなくなるとレンダリング処理を終了する。
【００８４】
ステップＳ１９では、上記復号処理部１０の第２のデコーダ１２により第２の符号化ストリーム(Stream B)について次の１フレームを復号する。
【００８５】
次のステップＳ２０では、上記第２のパラメータ付加部２２により、上記第２のデコーダ１２による第２の復号出力Ｓ２として得られた上記第２の符号化ストリーム(Stream B)の１フレームの非圧縮画像データにその(動きベクトルやピクチャタイプなど)を付加する。
【００８６】
次のステップＳ２１では、上記第２のデコーダ１２により復号した第２の符号化ストリーム(Stream B)の１フレームの非圧縮画像データを上記再エンコード処理部３０によりエンコードして圧縮符号化データを生成する。
【００８７】
上記制御部４０は、処理しているフレームが上記ステップＳ１で決定されたレンダリング範囲でなくなるまで、上記ステップＳ１８からステップＳ２１の処理を繰り返し行い、レンダリング範囲でなくなるとレンダリング処理を終了する。
【００８８】
すなわち、上記図３及び図４に示した２つの符号化ストリーム(Stream A),(Stream B)をトランジションエフェクトをかけて繋ぐ場合に対応させると、上記ステップＳ１２からステップＳ２１の処理により、エフェクト区間よりも後のＢピクチャ(B10)からＰピクチャ(P14)までを上記第２のデコーダ１２により復号する。そして、上記第２のパラメータ付加部２２により非圧縮画像データに付加された符号化パラメータ(動きベクトルやピクチャタイプなど)を再利用して、上記再エンコード処理部３０によりＢピクチャ(B10)からＰピクチャ(P14)までをエンコードして圧縮符号化する。この際、エフェクトによる変化が後ろの画に影響を及ぼさないように、上記ステップＳ１２の判定処理により最初のＰピクチャ(P11)を検出して、上記ステップＳ１５からステップＳ１７の処理により強制的にＩピクチャ(I11)としてエンコードしている。
【００８９】
すなわち、この画像編集装置１００は、圧縮符号化された第１の符号化ストリーム(Stream A)と第２の圧縮符号化ストリーム(Stream B)を復号して、各フレーム単位の非圧縮画像データとその符号化パラメータを得る復号処理を行う復号処理部１０と、上記第１の符号化ストリーム(Stream A)を上記復号処理部１０により復号して得られる編集点を含むエフェクト区間の非圧縮画像データと上記第２の符号化ストリーム(Stream B)を上記復号処理部１０により復号して得られる上記エフェクト区間の非圧縮画像データからエフェクト処理済非圧縮画像データを生成し、上記第１の符号化ストリーム(Stream A)の復号処理により得られた上記編集点を含むＧＯＰの開始点のフレームから上記エフェクト区間の開始点の前のフレームまでの非圧縮画像データと、生成された上記エフェクト区間の上記エフェクト処理済非圧縮画像データと、上記第２の符号化ストリーム(Stream B)の復号処理により得られた上記エフェクト区間の終了点の後のフレームから上記編集区間の終了点のフレームまでの非圧縮画像データを繋ぐ切換処理を行う切換処理部２０と、上記切換処理部２０により繋がれた上記第１の符号化ストリーム(Stream A)の非圧縮画像データと上記エフェクト処理済非圧縮画像データと上記第２の符号化ストリーム(Stream B)の非圧縮画像データを再エンコードする再エンコード処理部３０と、これら各部の動作を制御する制御部４０とを備える。
【００９０】
上記制御部４０は、上記第１の符号化ストリーム(Stream A)の編集点を含むＧＯＰの開始点のフレームから上記第２の符号化ストリーム(Stream B)の上記編集点を含むＧＯＰの終了点のフレームまでを編集区間として設定するとともに、上記編集区間内に上記切換処理部２０におけるエフェクト処理の開始点から終了点までをエフェクト区間として設定して、上記復号処理部１０、切換処理部２０及び再エンコード処理部３０の動作を制御する。
【００９１】
そして、上記編集区間の第１の符号化ストリーム(Stream A)と第２の符号化ストリーム(Stream B)を上記復号処理部１０により復号し、上記切換処理部２０により上記第１の符号化ストリーム(Stream A)の非圧縮画像データと上記エフェクト区間の上記エフェクト処理済非圧縮画像データと上記第２の符号化ストリーム(Stream B)の非圧縮画像データを繋ぎ、上記再エンコード処理部３０により再エンコードして、上記編集区間の上記第１の符号化ストリーム(Stream A)と上記第２の符号化ストリーム(Stream B)を上記編集点を含む上記エフェクト区間でエフェクト処理を施して繋いだ第３の符号化ストリーム(Stream C)の２つのオープンＧＯＰの圧縮符号化データを生成する。
【００９２】
この画像編集装置１００のように、スマートレンダリングの処理において、レンダリングを必要とする範囲だけでなく、その前後のＧＯＰ区切りにまでレンダリング範囲を拡張し、本来レンダリングの必要がない部分については、元素材の持つパラメータ(動きベクトル，ピクチャタイプなど）を再利用して再エンコードすることにより、高速に再エンコードすることができる。また、レンダリングが必要な部分については、前後のレンダリング不要な部分を参照画として使用してエンコードを行うことにより、エフェクト部分の画質が高く、また、エフェクトのイン点、アウト点付近が連続したＧＯＰとしてエンコード処理され、切り替わり点での画質の差が少なく、エフェクトの前後部分の画質劣化が少ないレンダリング処理を行うことができる。さらに、レンダリング部分との切り替わり点で画質の差が少ないレンダリング処理を行うことができる。すなわち、本来レンダリングの必要がなかった部分については再エンコードが行われるが、元素材の持つパラメータを再利用するため画質の劣化が軽微であり、エンコード処理のうち負荷の重い動き検出などが省略されるため高速に処理を行うことができる。
【００９３】
すなわち、この画像編集装置１００では、第１の符号化ストリームと第２の符号化ストリームを編集点で切り換えて繋ぐ際に、上記第１の符号化ストリームの上記編集点を含むＧＯＰの開始点から上記第２の符号化ストリームの上記編集点を含むＧＯＰと終了点までを編集区間として設定するとともに、上記編集区間内にエフェクト処理の開始点から終了点までをエフェクト区間として設定し、上記編集区間の上記第１の符号化ストリームと上記第２の符号化ストリームを復号して、各フレーム単位の非圧縮画像データとその符号化パラメータを得る復号処理を行う。
【００９４】
そして、上記復号処理により得られる上記編集点を含むエフェクト区間の上記第１の符号化ストリームの非圧縮画像データと上記第２の符号化ストリームの非圧縮画像データからエフェクト処理済非圧縮画像データを生成し、上記復号処理により得られた上記編集点を含むＧＯＰの開始点のフレームから上記エフェクト区間の開始点の前のフレームまでの上記第１の符号化ストリームの非圧縮画像データと、生成された上記エフェクト区間の上記エフェクト処理済非圧縮画像データと、上記復号処理により得られた上記エフェクト区間の終了点の後のフレームから上記編集区間の終了点のフレームまでの上記第２の符号化ストリームの非圧縮画像データを繋ぐ切換処理を行う。
【００９５】
さらに、上記切換処理により繋がれた上記第１の符号化ストリームの非圧縮画像データと上記エフェクト処理済非圧縮画像データと上記第２の符号化ストリームの非圧縮画像データについて、上記編集点を含むＧＯＰの開始点のフレームから上記エフェクト区間の開始点の２フレーム前までは上記復号処理により得られた上記第１の符号化ストリームの非圧縮画像データを上記復号処理により得られた符号化パラメータを用いて再エンコードし、上記復号処理により得られた上記エフェクト区間の開始点の前の１フレームの上記第１の符号化ストリームの非圧縮画像データと上記エフェクト処理により生成された上記エフェクト区間のエフェクト処理済非圧縮画像データと上記復号処理により得られた上記エフェクト区間の終了点の後のフレームから上記エフェクト区間の終了点の後の最初のＰピクチャのフレームまでの上記第２の符号化ストリームの非圧縮画像データを再エンコードし、上記エフェクト区間の終了点の後の最初のＰピクチャのフレームの次のフレームから上記編集区間の終了点のフレームまで上記復号処理により得られた上記第２の符号化ストリームの非圧縮画像データをその符号化パラメータ用いて再エンコードし、上記編集区間の上記第１の符号化ストリームと上記第２の符号化ストリームを上記編集点でエフェクト処理を施して繋いた２つのオープンＧＯＰの圧縮符号化データを生成する再エンコード処理を行う。
【００９６】
ここで、従来のスマートレンダリング処理と上述の如きパラメータエンコード機能を使用したスマートレンダリング処理の画質の違いを見るために、一例として実際のある画像について、エフェクトのかかった再エンコード前の非圧縮状態を基準にスマートレンダリング結果のＳＮＲを計算した結果を図６に示す。
【００９７】
この図６から明らかなように、パラメータエンコード機能を使用したスマートレンダリング処理を行うことによりＳＮＲを改善することができる。
【００９８】
なお、エフェクトによっては、そのイン点前、または アウト点後の画像と大きく変わってしまい参照画としての利用が適さない場合がある。その場合の対処方法は、次の（１），（２）の２通りある。
（１）エンコーダが通常持っているシーンチェンジ検出機能を働かせ、ＧＯＰ構成の最適化をエンコーダに行わせる。
（２）予めエフェクト内容により、元ストリームとの差が十分大きいと判断できる場合、エフェクトのイン点、アウト点 をＧＯＰの境として指定し、クローズドとしてエンコードを行う。
【００９９】
そこで、上記制御部４０は、上記ステップＳ２の判定処理における判定結果がＹＥＳ、すなわち、エフェクトによる画像の変化が大きい場合には、ステップＳ２２に進んで、通常のスマートレンダリングの処理手順に従った制御を行い、エフェクトのイン点とアウト点がＧＯＰの再開になるようにエフェクト区間を設定して、上記再エンコード処理部３０により通常のエンコード処理を行う。
【図面の簡単な説明】
【０１００】
【図１】本発明を適用した画像編集装置の構成例を示すブロック図である。
【図２】パラメータエンコードの概念を示す模式図である。
【図３】上記画像編集装置により実行される２つの符号化ストリームにトランジションエフェクトをかけて繋ぐスマートレンダリング処理を示す模式図である。
【図４】上記画像編集装置により実行されるパラメータエンコード機能を使用したスマートレンダリング処理を示す模式図である。
【図５】上記画像編集装置により実行されるパラメータエンコード機能を使用したスマートレンダリング処理の手順を示すフローチャートである。
【図６】従来のスマートレンダリング処理とパラメータエンコード機能を使用したスマートレンダリング処理の画質の違いを比較して示すグラフである。
【図７】従来の一般的なスマートレンダリングを示す模式図である。
【図８】２つの符号化ストリームにトランジションエフェクトをかけて繋ぐ従来のスマートレンダリング処理を示す模式図である。
【符号の説明】
【０１０１】
１０ 復号処理部、１１ 第１のデコーダ、１２ 第２のデコーダ、２０ 切換処理部、２１ 第１のパラメータ付加部、２２ 第２のパラメータ付加部、２３ エフェクト処理部、２４ 切換スイッチ部、３０ 再エンコード処理部、３１ エンコード部、３２ 切換スイッチ部、４０ 制御部、１００ 画像編集装置
【特許請求の範囲】
【請求項１】
圧縮符号化された第１の符号化ストリームと第２の圧縮符号化ストリームを復号して、各フレーム単位の非圧縮画像データとその符号化パラメータを得る復号処理を行う復号処理部と、
上記第１の符号化ストリームを復号して得られる編集点を含むエフェクト区間の非圧縮画像データと上記第２の符号化ストリームを復号して得られる上記エフェクト区間の非圧縮画像データからエフェクト処理済非圧縮画像データを生成し、上記第１の符号化ストリームを復号して得られる上記編集点を含むＧＯＰの開始点のフレームから上記エフェクト区間の開始点の前のフレームまでの非圧縮画像データと、生成された上記エフェクト区間の上記エフェクト処理済非圧縮画像データと、上記第２の符号化ストリームを復号して得られた上記エフェクト区間の終了点の後のフレームから上記編集区間の終了点のフレームまでの非圧縮画像データを繋ぐ切換処理を行う切換処理部と、
上記切換処理部により繋がれた上記第１の符号化ストリームの非圧縮画像データと上記エフェクト処理済非圧縮画像データと上記第２の符号化ストリームの非圧縮画像データを再エンコードする再エンコード処理部と、
これら各部の動作を制御する制御部とを備え、
上記制御部は、第１の符号化ストリームの編集点を含むＧＯＰの開始点のフレームから第２の符号化ストリームの上記編集点を含むＧＯＰの終了点のフレームまでを編集区間として設定するとともに、上記編集区間内に上記切換処理部におけるエフェクト処理の開始点から終了点までをエフェクト区間として設定し、
上記制御部により設定された上記編集区間の第１の符号化ストリームと第２の符号化ストリームを上記復号処理部により復号し、上記切換処理部により上記第１の符号化ストリームの非圧縮画像データと上記制御部により設定された上記エフェクト区間の上記エフェクト処理済非圧縮画像データと上記第２の符号化ストリームの非圧縮画像データを繋いで、上記再エンコード処理部により再エンコードして、上記編集区間の上記第１の符号化ストリームと上記第２の符号化ストリームを上記編集点を含む上記エフェクト区間でエフェクト処理を施して繋いだ第３の符号化ストリームの２つのオープンＧＯＰの圧縮符号化データを生成する画像編集装置。
【請求項２】
上記再エンコード処理部は、上記切換処理により繋がれた上記第１の符号化ストリームの非圧縮画像データと上記エフェクト処理済非圧縮画像データと上記第２の符号化ストリームの非圧縮画像データについて、上記編集点を含むＧＯＰの開始点のフレームから上記エフェクト区間の開始点の２フレーム前までは上記復号処理により得られた上記第１の符号化ストリームの非圧縮画像データを上記復号処理により得られた符号化パラメータを用いて再エンコードし、上記復号処理により得られた上記エフェクト区間の開始点の前の１フレームの上記第１の符号化ストリームの非圧縮画像データと上記エフェクト処理により生成された上記エフェクト区間のエフェクト処理済非圧縮画像データと上記復号処理により得られた上記エフェクト区間の終了点の後のフレームから上記エフェクト区間の終了点の後の最初のＰピクチャのフレームまでの上記第２の符号化ストリームの非圧縮画像データを再エンコードし、上記エフェクト区間の終了点の後の最初のＰピクチャのフレームの次のフレームから上記編集区間の終了点のフレームまで上記復号処理により得られた上記第２の符号化ストリームの非圧縮画像データをその符号化パラメータ用いて再エンコードして、上記編集区間の上記第１の符号化ストリームと上記第２の符号化ストリームを上記編集点でエフェクト処理を施して繋いた２つのオープンＧＯＰの圧縮符号化データを生成する再エンコード処理を行う請求項１記載の画像編集装置。
【請求項３】
上記復号処理部は、上記第１の符号化ストリームを復号し、フレーム単位の非圧縮画像データとその符号化パラメータを第１の復号出力として出力する第１のデコーダと、上記第２の符号化ストリームを復号し、フレーム単位の非圧縮画像データとその符号化パラメータを第２の復号出力として出力する第２のデコーダからなり、
上記切換処理部は、上記第１の復号出力として得られたフレーム単位の非圧縮画像データとその符号化パラメータが入力され、上記フレーム単位の非圧縮画像データに、その符号化パラメータを付加して、第１の符号化パラメータ付き非圧縮画像データを生成する第１のパラメータ付加部と、上記第２の復号出力として得られたフレーム単位の非圧縮画像データとその符号化パラメータが入力され、上記フレーム単位の非圧縮画像データに、その符号化パラメータを付加して、第２の符号化パラメータ付き非圧縮画像データを生成する第２のパラメータ付加部と、上記第１の復号出力として得られたフレーム単位の非圧縮画像データと上記第２の復号出力として得られたフレーム単位の非圧縮画像データからエフェクト処理済非圧縮画像データを生成するエフェクト処理部と、上記第１のパラメータ付加部により生成された第１の符号化パラメータ付き非圧縮画像データと、上記エフェクト処理部により生成されたエフェクト処理済非圧縮画像データと、上記第２のパラメータ付加部により生成された第２の符号化パラメータ付き非圧縮画像データを順次切り換えて繋ぐ切換スイッチ部からなり、
上記再エンコード処理部は、上記切換処理部により繋がれた上記第１の符号化パラメータ付き非圧縮画像データと上記エフェクト処理済非圧縮画像データと上記第２の符号化パラメータ付き非圧縮画像データから上記編集区間の上記第１の符号化ストリームと上記第２の符号化ストリームを上記編集点でエフェクト処理を施して繋いた２つのオープンＧＯＰの圧縮符号化データを生成する再エンコード処理を行う請求項２記載の画像編集装置。
【請求項４】
上記エフェクト処理部は、上記第１の符号化ストリームと上記第２の符号化ストリームの繋ぎ部分にトランジションエフェクトをかけるエフェクト処理を施す請求項３記載の画像編集装置。
【請求項５】
第１の符号化ストリームと第２の符号化ストリームを編集点で切り換えて繋ぐ際に、上記第１の符号化ストリームの上記編集点を含むＧＯＰの開始点から上記第２の符号化ストリームの上記編集点を含むＧＯＰと終了点までを編集区間として設定するとともに、上記編集区間内にエフェクト処理の開始点から終了点までをエフェクト区間として設定し、
上記編集区間の上記第１の符号化ストリームと上記第２の符号化ストリームを復号して、各フレーム単位の非圧縮画像データとその符号化パラメータを得る復号処理を行い、
上記復号処理により得られる上記編集点を含むエフェクト区間の上記第１の符号化ストリームの非圧縮画像データと上記第２の符号化ストリームの非圧縮画像データからエフェクト処理済非圧縮画像データを生成し、上記復号処理により得られた上記編集点を含むＧＯＰの開始点のフレームから上記エフェクト区間の開始点の前のフレームまでの上記第１の符号化ストリームの非圧縮画像データと、生成された上記エフェクト区間の上記エフェクト処理済非圧縮画像データと、上記復号処理により得られた上記エフェクト区間の終了点の後のフレームから上記編集区間の終了点のフレームまでの上記第２の符号化ストリームの非圧縮画像データを繋ぐ切換処理を行い、
上記切換処理により繋がれた上記第１の符号化ストリームの非圧縮画像データと上記エフェクト処理済非圧縮画像データと上記第２の符号化ストリームの非圧縮画像データについて、上記編集点を含むＧＯＰの開始点のフレームから上記エフェクト区間の開始点の２フレーム前までは上記復号処理により得られた上記第１の符号化ストリームの非圧縮画像データを上記復号処理により得られた符号化パラメータを用いて再エンコードし、上記復号処理により得られた上記エフェクト区間の開始点の前の１フレームの上記第１の符号化ストリームの非圧縮画像データと上記エフェクト処理により生成された上記エフェクト区間のエフェクト処理済非圧縮画像データと上記復号処理により得られた上記エフェクト区間の終了点の後のフレームから上記エフェクト区間の終了点の後の最初のＰピクチャのフレームまでの上記第２の符号化ストリームの非圧縮画像データを再エンコードし、上記エフェクト区間の終了点の後の最初のＰピクチャのフレームの次のフレームから上記編集区間の終了点のフレームまで上記復号処理により得られた上記第２の符号化ストリームの非圧縮画像データをその符号化パラメータ用いて再エンコードし、上記編集区間の上記第１の符号化ストリームと上記第２の符号化ストリームを上記編集点でエフェクト処理を施して繋いた２つのオープンＧＯＰの圧縮符号化データを生成する再エンコード処理を行う画像編集方法。
【請求項１】
圧縮符号化された第１の符号化ストリームと第２の圧縮符号化ストリームを復号して、各フレーム単位の非圧縮画像データとその符号化パラメータを得る復号処理を行う復号処理部と、
上記第１の符号化ストリームを復号して得られる編集点を含むエフェクト区間の非圧縮画像データと上記第２の符号化ストリームを復号して得られる上記エフェクト区間の非圧縮画像データからエフェクト処理済非圧縮画像データを生成し、上記第１の符号化ストリームを復号して得られる上記編集点を含むＧＯＰの開始点のフレームから上記エフェクト区間の開始点の前のフレームまでの非圧縮画像データと、生成された上記エフェクト区間の上記エフェクト処理済非圧縮画像データと、上記第２の符号化ストリームを復号して得られた上記エフェクト区間の終了点の後のフレームから上記編集区間の終了点のフレームまでの非圧縮画像データを繋ぐ切換処理を行う切換処理部と、
上記切換処理部により繋がれた上記第１の符号化ストリームの非圧縮画像データと上記エフェクト処理済非圧縮画像データと上記第２の符号化ストリームの非圧縮画像データを再エンコードする再エンコード処理部と、
これら各部の動作を制御する制御部とを備え、
上記制御部は、第１の符号化ストリームの編集点を含むＧＯＰの開始点のフレームから第２の符号化ストリームの上記編集点を含むＧＯＰの終了点のフレームまでを編集区間として設定するとともに、上記編集区間内に上記切換処理部におけるエフェクト処理の開始点から終了点までをエフェクト区間として設定し、
上記制御部により設定された上記編集区間の第１の符号化ストリームと第２の符号化ストリームを上記復号処理部により復号し、上記切換処理部により上記第１の符号化ストリームの非圧縮画像データと上記制御部により設定された上記エフェクト区間の上記エフェクト処理済非圧縮画像データと上記第２の符号化ストリームの非圧縮画像データを繋いで、上記再エンコード処理部により再エンコードして、上記編集区間の上記第１の符号化ストリームと上記第２の符号化ストリームを上記編集点を含む上記エフェクト区間でエフェクト処理を施して繋いだ第３の符号化ストリームの２つのオープンＧＯＰの圧縮符号化データを生成する画像編集装置。
【請求項２】
上記再エンコード処理部は、上記切換処理により繋がれた上記第１の符号化ストリームの非圧縮画像データと上記エフェクト処理済非圧縮画像データと上記第２の符号化ストリームの非圧縮画像データについて、上記編集点を含むＧＯＰの開始点のフレームから上記エフェクト区間の開始点の２フレーム前までは上記復号処理により得られた上記第１の符号化ストリームの非圧縮画像データを上記復号処理により得られた符号化パラメータを用いて再エンコードし、上記復号処理により得られた上記エフェクト区間の開始点の前の１フレームの上記第１の符号化ストリームの非圧縮画像データと上記エフェクト処理により生成された上記エフェクト区間のエフェクト処理済非圧縮画像データと上記復号処理により得られた上記エフェクト区間の終了点の後のフレームから上記エフェクト区間の終了点の後の最初のＰピクチャのフレームまでの上記第２の符号化ストリームの非圧縮画像データを再エンコードし、上記エフェクト区間の終了点の後の最初のＰピクチャのフレームの次のフレームから上記編集区間の終了点のフレームまで上記復号処理により得られた上記第２の符号化ストリームの非圧縮画像データをその符号化パラメータ用いて再エンコードして、上記編集区間の上記第１の符号化ストリームと上記第２の符号化ストリームを上記編集点でエフェクト処理を施して繋いた２つのオープンＧＯＰの圧縮符号化データを生成する再エンコード処理を行う請求項１記載の画像編集装置。
【請求項３】
上記復号処理部は、上記第１の符号化ストリームを復号し、フレーム単位の非圧縮画像データとその符号化パラメータを第１の復号出力として出力する第１のデコーダと、上記第２の符号化ストリームを復号し、フレーム単位の非圧縮画像データとその符号化パラメータを第２の復号出力として出力する第２のデコーダからなり、
上記切換処理部は、上記第１の復号出力として得られたフレーム単位の非圧縮画像データとその符号化パラメータが入力され、上記フレーム単位の非圧縮画像データに、その符号化パラメータを付加して、第１の符号化パラメータ付き非圧縮画像データを生成する第１のパラメータ付加部と、上記第２の復号出力として得られたフレーム単位の非圧縮画像データとその符号化パラメータが入力され、上記フレーム単位の非圧縮画像データに、その符号化パラメータを付加して、第２の符号化パラメータ付き非圧縮画像データを生成する第２のパラメータ付加部と、上記第１の復号出力として得られたフレーム単位の非圧縮画像データと上記第２の復号出力として得られたフレーム単位の非圧縮画像データからエフェクト処理済非圧縮画像データを生成するエフェクト処理部と、上記第１のパラメータ付加部により生成された第１の符号化パラメータ付き非圧縮画像データと、上記エフェクト処理部により生成されたエフェクト処理済非圧縮画像データと、上記第２のパラメータ付加部により生成された第２の符号化パラメータ付き非圧縮画像データを順次切り換えて繋ぐ切換スイッチ部からなり、
上記再エンコード処理部は、上記切換処理部により繋がれた上記第１の符号化パラメータ付き非圧縮画像データと上記エフェクト処理済非圧縮画像データと上記第２の符号化パラメータ付き非圧縮画像データから上記編集区間の上記第１の符号化ストリームと上記第２の符号化ストリームを上記編集点でエフェクト処理を施して繋いた２つのオープンＧＯＰの圧縮符号化データを生成する再エンコード処理を行う請求項２記載の画像編集装置。
【請求項４】
上記エフェクト処理部は、上記第１の符号化ストリームと上記第２の符号化ストリームの繋ぎ部分にトランジションエフェクトをかけるエフェクト処理を施す請求項３記載の画像編集装置。
【請求項５】
第１の符号化ストリームと第２の符号化ストリームを編集点で切り換えて繋ぐ際に、上記第１の符号化ストリームの上記編集点を含むＧＯＰの開始点から上記第２の符号化ストリームの上記編集点を含むＧＯＰと終了点までを編集区間として設定するとともに、上記編集区間内にエフェクト処理の開始点から終了点までをエフェクト区間として設定し、
上記編集区間の上記第１の符号化ストリームと上記第２の符号化ストリームを復号して、各フレーム単位の非圧縮画像データとその符号化パラメータを得る復号処理を行い、
上記復号処理により得られる上記編集点を含むエフェクト区間の上記第１の符号化ストリームの非圧縮画像データと上記第２の符号化ストリームの非圧縮画像データからエフェクト処理済非圧縮画像データを生成し、上記復号処理により得られた上記編集点を含むＧＯＰの開始点のフレームから上記エフェクト区間の開始点の前のフレームまでの上記第１の符号化ストリームの非圧縮画像データと、生成された上記エフェクト区間の上記エフェクト処理済非圧縮画像データと、上記復号処理により得られた上記エフェクト区間の終了点の後のフレームから上記編集区間の終了点のフレームまでの上記第２の符号化ストリームの非圧縮画像データを繋ぐ切換処理を行い、
上記切換処理により繋がれた上記第１の符号化ストリームの非圧縮画像データと上記エフェクト処理済非圧縮画像データと上記第２の符号化ストリームの非圧縮画像データについて、上記編集点を含むＧＯＰの開始点のフレームから上記エフェクト区間の開始点の２フレーム前までは上記復号処理により得られた上記第１の符号化ストリームの非圧縮画像データを上記復号処理により得られた符号化パラメータを用いて再エンコードし、上記復号処理により得られた上記エフェクト区間の開始点の前の１フレームの上記第１の符号化ストリームの非圧縮画像データと上記エフェクト処理により生成された上記エフェクト区間のエフェクト処理済非圧縮画像データと上記復号処理により得られた上記エフェクト区間の終了点の後のフレームから上記エフェクト区間の終了点の後の最初のＰピクチャのフレームまでの上記第２の符号化ストリームの非圧縮画像データを再エンコードし、上記エフェクト区間の終了点の後の最初のＰピクチャのフレームの次のフレームから上記編集区間の終了点のフレームまで上記復号処理により得られた上記第２の符号化ストリームの非圧縮画像データをその符号化パラメータ用いて再エンコードし、上記編集区間の上記第１の符号化ストリームと上記第２の符号化ストリームを上記編集点でエフェクト処理を施して繋いた２つのオープンＧＯＰの圧縮符号化データを生成する再エンコード処理を行う画像編集方法。
【図１】
【図２】
【図３】
【図４】
【図５】
【図６】
【図７】
【図８】
【図２】
【図３】
【図４】
【図５】
【図６】
【図７】
【図８】
【公開番号】特開２０１０−１３０５１６（Ｐ２０１０−１３０５１６Ａ）
【公開日】平成２２年６月１０日（２０１０．６．１０）
【国際特許分類】
【出願番号】特願２００８−３０４８７８（Ｐ２００８−３０４８７８）
【出願日】平成２０年１１月２８日（２００８．１１．２８）
【出願人】（０００００２１８５）ソニー株式会社 (34,172)
【Ｆターム（参考）】
【公開日】平成２２年６月１０日（２０１０．６．１０）
【国際特許分類】
【出願日】平成２０年１１月２８日（２００８．１１．２８）
【出願人】（０００００２１８５）ソニー株式会社 (34,172)
【Ｆターム（参考）】
[ Back to top ]