情報処理装置および情報処理方法、記録媒体、並びに、プログラム
【課題】延長された再エンコード区間における符号配分量を設定する。
【解決手段】基準となる再エンコード区間のエンコードにおいてＶＢＶ占有量が目標値以下となり、延長再エンコード区間が設定された場合、延長再エンコード区間のオリジナルストリーム（編集素材）のエンコード時におけるこの区間のＶＢＶ開始点のバッファ占有量をＶ４、再エンコード時のＶＢＶ開始点、すなわち、最長再エンコード区間の一つ前の区間における再エンコードの終了点におけるバッファ占有量をＶ１’、この延長再エンコード区間となるＧＯＰのＶＢＶ目標点をＶ２’とすると、延長再エンコード区間に対応するオリジナルストリームの対応するＧＯＰにおいては、符号化によりバッファ占有量がＶ４からＶ２’に変化したという実績がある。そこで、この符号化実績を利用して、Ｖ４−Ｖ１’を、ＶＢＶ上昇分として担保とし、符号配分を設定する。本発明は、再生装置に適用できる。
【解決手段】基準となる再エンコード区間のエンコードにおいてＶＢＶ占有量が目標値以下となり、延長再エンコード区間が設定された場合、延長再エンコード区間のオリジナルストリーム（編集素材）のエンコード時におけるこの区間のＶＢＶ開始点のバッファ占有量をＶ４、再エンコード時のＶＢＶ開始点、すなわち、最長再エンコード区間の一つ前の区間における再エンコードの終了点におけるバッファ占有量をＶ１’、この延長再エンコード区間となるＧＯＰのＶＢＶ目標点をＶ２’とすると、延長再エンコード区間に対応するオリジナルストリームの対応するＧＯＰにおいては、符号化によりバッファ占有量がＶ４からＶ２’に変化したという実績がある。そこで、この符号化実績を利用して、Ｖ４−Ｖ１’を、ＶＢＶ上昇分として担保とし、符号配分を設定する。本発明は、再生装置に適用できる。
【発明の詳細な説明】
【技術分野】
【０００１】
本発明は、情報処理装置および情報処理方法、記録媒体、並びに、プログラムに関し、特に、フレーム間予測を用いて圧縮した映像データを編集する場合に用いて好適な、情報処理装置および情報処理方法、記録媒体、並びに、プログラムに関する。
【背景技術】
【０００２】
MPEG（Moving Picture Coding Experts Group／Moving Picture Experts Group）などに代表される画像圧縮方式では、フレーム間予測を用いて映像信号を圧縮符号化することで、高い圧縮効率を実現している。しかし、映像を編集することを考えた場合、フレーム間予測を用いた圧縮画像は、フレーム間に予測による圧縮信号の関連があるため、圧縮されたままの映像信号で、映像素材をつなぎ合わせることとはできない。そのため、映像素材を編集することが予め考慮されたシステムにおいては、一般的に、フレーム間予測を用いず、フレーム内での圧縮のみを用いて符号化が行われている。
【０００３】
しかしながら、例えば、ＨＤ（High Definition）信号のように、高精細で情報量の多い映像信号が取り扱われる場合、フレーム内圧縮のみで符号化を行うと、低い圧縮効率しか得られないため、多量のデータを伝送したり、蓄積するためには、転送速度が速かったり、記憶容量が大きかったり、または、処理速度が速いなどの、高価なシステムが必要となってしまう。すなわち、高精細で情報量の多い映像信号を安価なシステムで取り扱うためには、フレーム間予測を用いて圧縮効率を上げることが必要となる。
【０００４】
MPEGストリームを編集するために、従来、編集点（スプライス点）近傍のピクチャを一旦デコードし、非圧縮の画像信号を編集点でつなぎあわせた後、再エンコードする技術が用いられている（例えば、特許文献１）。
【特許文献１】国際公開番号ＷＯ９９／０５８６４号公報
【０００５】
MPEGにおいて、Ｉピクチャ（Ｉ-Picture）、Ｐピクチャ（Ｐ-Picture）、および、Ｂピクチャ（B-Picture）から構成される、双方向のフレーム間予測を用いた圧縮符号化方式は、Long GOP（Group of Picture)方式の圧縮と呼ばれる。
【０００６】
Ｉピクチャとは、フレーム内（Intra）符号化画像のことであり、他の画面とは独立に符号化されるピクチャであり、この情報のみで画像を復号することができるものである。Ｐピクチャとは、フレーム間(inter)順方向予測符号化画像のことであり、時間的に前（順方向）のフレームからの差分によって表現される前方向予測符号化ピクチャである。Ｂピクチャとは、双方向予測符号化画像のことであり、時間的に前（順方向）、または後（逆方向）、または前後（双方向）のピクチャを利用して動き補償フレーム間予測により符号化されるピクチャである。
【０００７】
ＰピクチャやＢピクチャは、データ量がＩピクチャに比べて小さいため、GOPを長くすれば（すなわち、Long GOPを構成するピクチャ数を増加させれば）、映像の圧縮率を高くすることができるので、デジタル放送やDVD（Digital Versatile Disk）ビデオでの利用に適している。しかしながら、GOPが長すぎると、フレーム精度での編集コントロールが困難となり、特に、業務用用途での編集では、運用上の問題が発生する。
【０００８】
Long GOP方式で圧縮された２つの映像データを所定の編集点で接続することにより編集する処理について、図１を用いて説明する。
【０００９】
まず、編集対象符号化ストリーム１および編集対象符号化ストリーム２のそれぞれにおいて、編集点近傍の部分的なデコードが行われ、部分的な非圧縮の映像信号１および映像信号２が得られる。そして、非圧縮の映像信号１および映像信号２が編集点で接続されて、必要に応じて編集点付近にエフェクト（Effect）が施されて、再エンコードが行われる。そして、再エンコードされた符号化ストリームが、デコードおよび再エンコードされていない（部分的なデコードが行われた編集点近傍以外の）符号化ストリームと結合される。
【００１０】
図１を用いて説明した方法は、圧縮された編集素材の映像データを全てデコードしてから、映像信号を編集点でつなぎ、再び全ての映像信号を再エンコードして編集済みの符号化ストリームを得る方法と比較して、再エンコードによる画質劣化を局所的に抑えることができるとともに、編集処理時間を大幅に短縮することができるなどの利点がある。
【発明の開示】
【発明が解決しようとする課題】
【００１１】
上述したように、編集点近傍を部分的にデコードした後、非圧縮の映像信号を接続して、接続された非圧縮の映像を再エンコードし、デコードおよび再エンコードされていない部分の符号化ストリームと結合することにより、編集を行った場合、再エンコード部分と再エンコードしない部分のVBV Buffer Occupancyの連続性を保つ必要がある。
【００１２】
図２を用いて、VBV Buffer Occupancyの連続性について説明する。
【００１３】
編集後の符号化ストリームにおいて、VBVバッファが破綻しないようにするためには、再エンコード開始部と終了部のOccupancyを、前後に結合する再エンコードしない符号化ストリームの結合部のOccupancyに一致させる必要がある。すなわち、編集後の圧縮映像の図中Ｅで示される再エンコード部分の最初のＩピクチャの図中Ｃで示されるOccupancyは、編集前の圧縮素材映像１の図中Ａで示されるOccupancyと一致するように、編集後の圧縮映像の図中Ｅで示される再エンコード部分の次のＩピクチャの図中Ｄで示されるOccupancyは、編集前の圧縮素材映像２の図中Ｂで示されるOccupancyと一致するように制御されなければならない。
【００１４】
編集前後のOccupancyは、Closed GOPの場合であっても、Closed GOPでないOpen GOPである場合にも、同様に、一致させる必要がある。VBV Buffer Occupancyの連続性が保たれていない場合、デコード時にデコーダのバッファが破綻し、例えば、ピクチャスキップやフリーズなどの現象が発生する原因となり得る。
【００１５】
PS(Program Stream)やTS(Transport Stream)においては、SCR（System Clock Reference)またはPCR（Program Clock Reference）と、PTS（Presentation Time Stamp）やDTS（Decoding Time Stamp）から、各ピクチャのVBV BufferのOccupancyを求めることができる。しかしながら、ES(Elementary Stream)においては、VBV BufferのOccupancyを容易に求めることはできない。
【００１６】
ＥＳにおいては、Picture HeaderのVBV Delayの値から、それぞれのピクチャのVBV BufferのOccupancyを求めることができる。しかしながら、Picture HeaderのVBV Delayのパラメータには、正確な値が入っているとは限らないため、VBV Delayのパラメータから算出されたOccupancyの値に信憑性がある（正確である）とはいえない。また、VBR(Variable Bit Rate)でエンコードされたＥＳにおいては、VBV Delayの値が固定値となるので、VBV BufferのOccupancyを求めるために利用することができない。
【００１７】
このように、ＥＳにおいては、VBV BufferのOccupancyを容易に求めることはできないので、ＥＳを編集するにあたり、VBV Bufferの連続性を保つように正しく再エンコードできない場合、バッファがオーバフローまたはアンダーフローしてしまい、デコードされた映像に、例えば、ピクチャスキップやフリーズなどの現象が発生してしまう恐れがある。
【００１８】
例えば、放送番組制作用途のシステムなどでは、映像にピクチャスキップやフリーズなどなどが発生することは許されない。しかし、従来、タイムスタンプが挿入されていないESを編集するにあたっては、VBV Buffer Occupancyの連続性を保つことはできなかった。
【００１９】
本発明はこのような状況に鑑みてなされたものであり、ＥＳを編集するにあたり、VBV Buffer Occupancyの連続性を保つことができるようにするものである。
【課題を解決するための手段】
【００２０】
本発明の一側面の情報処理装置は、第１の符号化ストリームおよび第２の符号化ストリームを編集点で接続する処理を実行する情報処理装置であって、前記第１の符号化ストリームおよび前記第２の符号化ストリームのうち、再エンコードを実行する区間を決定する制御手段と、前記第１の符号化ストリームおよび前記第２の符号化ストリームをデコードするデコード手段と、前記第１の符号化ストリームが前記デコード手段によりデコードされて生成された第１のベースバンド信号と、前記第２の符号化ストリームが前記デコード手段によりデコードされて生成された第２のベースバンド信号とが、前記編集点で接続された第３のベースバンド信号をエンコードして、第３の符号化ストリームを生成するエンコード手段と、前記エンコード手段によるエンコード処理の発生符号量を管理する管理手段とを備え、前記制御手段は、前記第１の符号化ストリームおよび前記第２の符号化ストリームのうち、再エンコードを実行する第１の区間を決定し、前記管理手段は、前記第１の区間において、前記エンコード手段によりエンコードされて生成された前記第３の符号化ストリームの終了点と、前記第２の符号化ストリームにおける対応する部分とのオキュパンシの連続性が保たれたかを判断し、前記制御手段は、前記管理手段により、前記オキュパンシの連続性が保たれなかったと判断された場合、前記第１の区間に続く所定の区間を、再エンコードを実行する第２の区間として、更に再エンコードを実行する第１の動作モードと、前記第１の区間におけるエンコード処理を再度実行させる第２の動作モードとのいずれかに基づいて、前記第１の符号化ストリームおよび前記第２の符号化ストリームのうち、再エンコードを実行する区間を決定する。
【００２１】
前記デコード手段への前記第１の符号化ストリームおよび前記第２の符号化ストリームの供給を制御する供給制御手段を更に備えるようにすることができる。
【００２２】
前記管理手段には、第１の動作モードにおいて、前記第２の区間における前記エンコード手段によるエンコード処理の発生符号量を、前記第２の符号化ストリームにおける対応する部分のオキュパンシを基に管理させるようにすることができる。
【００２３】
前記管理手段には、第２の動作モードにおいて、オキュパンシの連続性が保たれなかったと判断された場合における前記第１の区間の前記第３の符号化ストリームの終了点のオキュパンシに基づいて、前記第１の区間における２回目の前記エンコード手段によるエンコード処理の発生符号量を管理させるようにすることができる。
【００２４】
前記エンコード手段には、ＭＰＥＧのLong GOP形式でエンコード処理を実行させるようにすることができ、前記第２の区間は、１GOPに対応する区間であるものとすることができる。
【００２５】
前記エンコード手段には、ＭＰＥＧのLong GOP形式でエンコード処理を実行させるようにすることができ、前記管理手段により、前記オキュパンシの連続性が保たれたと判断された場合、前記制御手段には、前記第１の区間に続く次のGOPの最初の前方向参照フレームの直前までのフレームを、再エンコードを実行する第３の区間として、更に追加させるようにすることができる。
【００２６】
前記エンコード手段には、ＭＰＥＧのLong GOP形式でエンコード処理を実行させるようにすることができ、前記制御手段には、前記第１の符号化ストリームにおける前記編集点を含むＧＯＰの開始位置から、前記第２の符号化ストリームにおける前記編集点を含むＧＯＰの終了位置までを基準区間とし、前記基準区間に含まれるフレーム数を基に、前記第１の区間を決定させるようにすることができる。
【００２７】
前記制御手段には、前記基準区間に含まれるフレーム数Ｍが、基準となる１ＧＯＰに含まれるフレーム数Ｎに対して、Ｎ／２≦Ｍ≦Ｎを満たす場合、前記基準区間を前記第１の区間とさせるようにすることができる。
【００２８】
前記制御手段には、前記基準区間に含まれるフレーム数Ｍが、基準となる１ＧＯＰに含まれるフレーム数Ｎに対して、０≦Ｍ＜Ｎ／２を満たす場合、前記基準区間に１ＧＯＰ加えた区間を前記第１の区間とさせるようにすることができる。
【００２９】
前記制御手段には、前記基準区間に含まれるフレーム数Ｍが、基準となる１ＧＯＰに含まれるフレーム数Ｎに対して、Ｎ＋１≦Ｍ≦２Ｎ−１を満たす場合、前記基準区間を複数ＧＯＰに分割するとともに、前記基準区間を前記第１の区間とさせるようにすることができる。
【００３０】
前記制御手段には、前記基準区間に含まれるフレーム数Ｍが、基準となる１ＧＯＰに含まれるフレーム数Ｎに対して、Ｎ＋１≦Ｍ≦２Ｎ−１を満たし、前記第１の符号化ストリームにおける前記編集点を含むＧＯＰの開始位置から前記編集点までのフレーム数Ａが、Ａ≧Ｎ／２を満たす場合、前記基準区間を、前記編集点で２つのＧＯＰに分割させるようにすることができる。
【００３１】
前記エンコード手段には、前記編集点で分割された２つのＧＯＰのうちの時間的に後のＧＯＰは、表示順でＩ２ピクチャから開始されるように、前記第３のベースバンド信号をエンコードして、第３の符号化ストリームを生成させるようにすることができる。
【００３２】
前記制御手段には、前記編集点で分割された２つのＧＯＰのうちの時間的に後のＧＯＰに含まれるフレーム数Ｒが、Ｎ／２≦Ｒを満たさないとき、前記基準区間に１ＧＯＰ加えた区間を前記第１の区間とし、Ｎ／２≦Ｒを満たすとき、前記基準区間を前記第１の区間とさせるようにすることができる。
【００３３】
本発明の一側面の情報処理方法は、第１の符号化ストリームおよび第２の符号化ストリームを編集点で接続する処理を実行する情報処理装置の情報処理方法であって、前記第１の符号化ストリームおよび前記第２の符号化ストリームのうち、再エンコードを実行する第１の区間を決定し、前記第１の区間内の前記第１の符号化ストリームおよび前記第２の符号化ストリームをデコードするとともに、前記第１の符号化ストリームがデコードされて生成された第１のベースバンド信号と、前記第２の符号化ストリームがデコードされて生成された第２のベースバンド信号とが、前記編集点で接続された第３のベースバンド信号をエンコードして、第３の符号化ストリームを生成し、前記第１の区間においてエンコードされて生成された前記第３の符号化ストリームの終了点と、前記第２の符号化ストリームにおける対応する部分とのオキュパンシの連続性が保たれたかを判断し、第１の動作モードにおいて、前記オキュパンシの連続性が保たれなかったと判断された場合、前記第１の区間に続く所定の区間を、再エンコードを実行する第２の区間として、更に、再エンコードを実行し、第２の動作モードにおいて、前記オキュパンシの連続性が保たれなかったと判断された場合、前記第１の区間における再エンコード処理を再度実行するステップを含む。
【００３４】
本発明の一側面のプログラムは、第１の符号化ストリームおよび第２の符号化ストリームを編集点で接続する処理をコンピュータに実行させるためのプログラムであって、前記第１の符号化ストリームおよび前記第２の符号化ストリームのうち、再エンコードを実行する第１の区間を決定し、前記第１の区間内の前記第１の符号化ストリームおよび前記第２の符号化ストリームのデコードを制御するとともに、前記第１の符号化ストリームがデコードされて生成された第１のベースバンド信号と、前記第２の符号化ストリームがデコードされて生成された第２のベースバンド信号とが前記編集点で接続された第３のベースバンド信号のエンコードを制御することにより、第３の符号化ストリームの生成を制御し、前記第１の区間においてエンコードされて生成された前記第３の符号化ストリームの終了点と、前記第２の符号化ストリームにおける対応する部分とのオキュパンシの連続性が保たれたかを判断し、第１の動作モードにおいて、前記オキュパンシの連続性が保たれなかったと判断された場合、前記第１の区間に続く所定の区間を、再エンコードを実行する第２の区間として、更に、再エンコードの実行を制御し、第２の動作モードにおいて、前記オキュパンシの連続性が保たれなかったと判断された場合、前記第１の区間における再エンコード処理が再度実行されるように制御するステップを含む処理をコンピュータに実行させる。
【００３５】
本発明の一側面においては、第１の符号化ストリームおよび第２の符号化ストリームのうち、再エンコードを実行する第１の区間が決定され、第１の区間内の第１の符号化ストリームおよび第２の符号化ストリームがデコードされ、第１の符号化ストリームがデコードされて生成された第１のベースバンド信号と、第２の符号化ストリームがデコードされて生成された第２のベースバンド信号とが編集点で接続された第３のベースバンド信号がエンコードされて、第３の符号化ストリームが生成され、第１の区間においてエンコードされて生成された第３の符号化ストリームの終了点と、第２の符号化ストリームにおける対応する部分とのオキュパンシの連続性が保たれたかが判断され、第１の動作モードにおいてオキュパンシの連続性が保たれなかったと判断された場合、第１の区間に続く所定の区間である第２の区間で、更に再エンコードが実行され、第２の動作モードにおいてオキュパンシの連続性が保たれなかったと判断された場合、第１の区間における再エンコード処理が再度実行される。
【００３６】
ネットワークとは、少なくとも２つの装置が接続され、ある装置から、他の装置に対して、情報の伝達をできるようにした仕組みをいう。ネットワークを介して通信する装置は、独立した装置どうしであっても良いし、１つの装置を構成している内部ブロックどうしであっても良い。
【００３７】
また、通信とは、無線通信および有線通信は勿論、無線通信と有線通信とが混在した通信、即ち、ある区間では無線通信が行われ、他の区間では有線通信が行われるようなものであっても良い。さらに、ある装置から他の装置への通信が有線通信で行われ、他の装置からある装置への通信が無線通信で行われるようなものであっても良い。
【００３８】
編集装置は、独立した装置であっても良いし、記録再生装置や情報処理装置の編集処理を行うブロックであっても良い。
【発明の効果】
【００３９】
以上のように、本発明の一側面によれば、編集処理を行うことができ、特に、再エンコード区間と再エンコードされない区間とでＶＢＶ占有量の連続性が保たれなかった場合、同一の再エンコード区間での再エンコード処理が繰り返されるか、または、続く所定区間を再エンコード区間として更に設定して、再エンコードを実行することができる。
【発明を実施するための最良の形態】
【００４０】
以下に本発明の実施の形態を説明するが、本発明の構成要件と、明細書または図面に記載の実施の形態との対応関係を例示すると、次のようになる。この記載は、本発明をサポートする実施の形態が、明細書または図面に記載されていることを確認するためのものである。従って、明細書または図面中には記載されているが、本発明の構成要件に対応する実施の形態として、ここには記載されていない実施の形態があったとしても、そのことは、その実施の形態が、その構成要件に対応するものではないことを意味するものではない。逆に、実施の形態が構成要件に対応するものとしてここに記載されていたとしても、そのことは、その実施の形態が、その構成要件以外の構成要件には対応しないものであることを意味するものでもない。
【００４１】
本発明の一側面の情報処理装置(例えば、図３の編集装置１)は、第１の符号化ストリームおよび第２の符号化ストリームを編集点で接続する処理を実行する情報処理装置であって、前記第１の符号化ストリームおよび前記第２の符号化ストリームのうち、再エンコードを実行する区間を決定する制御手段（例えば、図９の制御部１０１であり、そのうち、例えば、図３のＣＰＵ１１に対応する部分）と、前記第１の符号化ストリームおよび前記第２の符号化ストリームをデコードするデコード手段（例えば、図９のデコーダ１０３）と、前記第１の符号化ストリームが前記デコード手段によりデコードされて生成された第１のベースバンド信号と、前記第２の符号化ストリームが前記デコード手段によりデコードされて生成された第２のベースバンド信号とが、前記編集点で接続された第３のベースバンド信号をエンコードして、第３の符号化ストリームを生成するエンコード手段（例えば、図３のエンコーダ２７）と、前記エンコード手段によるエンコード処理の発生符号量を管理する管理手段（例えば、図９の制御部１０１であり、そのうち、例えば、図３のＣＰＵ２０に対応する部分）とを備え、前記制御手段は、前記第１の符号化ストリームおよび前記第２の符号化ストリームのうち、再エンコードを実行する第１の区間（例えば、最小再エンコード区間）を決定し、前記管理手段は、前記第１の区間において、前記エンコード手段によりエンコードされて生成された前記第３の符号化ストリームの終了点と、前記第２の符号化ストリームにおける対応する部分とのオキュパンシの連続性が保たれたかを判断し、前記制御手段は、前記管理手段により、前記オキュパンシの連続性が保たれなかったと判断された場合、前記第１の区間に続く所定の区間を、再エンコードを実行する第２の区間（例えば、延長再エンコード区間）として、更に再エンコードを実行する第１の動作モード（例えば、延長再エンコード区間設定モード）と、前記第１の区間におけるエンコード処理を再度実行させる第２の動作モード（例えば、２パスエンコードモード）とのいずれかに基づいて、前記第１の符号化ストリームおよび前記第２の符号化ストリームのうち、再エンコードを実行する区間を決定する。
【００４２】
前記デコード手段への前記第１の符号化ストリームおよび前記第２の符号化ストリームの供給を制御する供給制御手段(例えば、図９の取得部１０２)を更に備えることができる。
【００４３】
本発明の一側面の情報処理方法は、第１の符号化ストリームおよび第２の符号化ストリームを編集点で接続する処理を実行する情報処理装置(例えば、図３の編集装置１)の情報処理方法であって、前記第１の符号化ストリームおよび前記第２の符号化ストリームのうち、再エンコードを実行する第１の区間（例えば、最小再エンコード区間）を決定し（例えば、図１１のステップＳ２の処理）、前記第１の区間内の前記第１の符号化ストリームおよび前記第２の符号化ストリームをデコードするとともに、前記第１の符号化ストリームがデコードされて生成された第１のベースバンド信号と、前記第２の符号化ストリームがデコードされて生成された第２のベースバンド信号とが、前記編集点で接続された第３のベースバンド信号をエンコードして、第３の符号化ストリームを生成し（例えば、図１６のステップＳ８４の処理、または、図２１のステップＳ１５５の処理）、前記第１の区間においてエンコードされて生成された前記第３の符号化ストリームの終了点と、前記第２の符号化ストリームにおける対応する部分とのオキュパンシの連続性が保たれたかを判断し（例えば、図１６のステップＳ８６の処理、または、図２１のステップＳ１５８の処理）、第１の動作モード（例えば、延長再エンコード区間設定モード）において、前記オキュパンシの連続性が保たれなかったと判断された場合、前記第１の区間に続く所定の区間を、再エンコードを実行する第２の区間（例えば、延長再エンコード区間）として、更に、再エンコードを実行し（例えば、図２１のステップＳ１５９およびステップＳ１６０の処理）、第２の動作モード（例えば、２パスエンコードモード）において、前記オキュパンシの連続性が保たれなかったと判断された場合、前記第１の区間における再エンコード処理を再度実行する（例えば、図１６のステップＳ８９およびステップＳ８４の処理）ステップを含む。
【００４４】
本発明の一側面のプログラムは、第１の符号化ストリームおよび第２の符号化ストリームを編集点で接続する処理をコンピュータに実行させるためのプログラムであって、前記第１の符号化ストリームおよび前記第２の符号化ストリームのうち、再エンコードを実行する第１の区間（例えば、最小再エンコード区間）を決定し（例えば、図１１のステップＳ２の処理）、前記第１の区間内の前記第１の符号化ストリームおよび前記第２の符号化ストリームのデコードを制御するとともに、前記第１の符号化ストリームがデコードされて生成された第１のベースバンド信号と、前記第２の符号化ストリームがデコードされて生成された第２のベースバンド信号とが前記編集点で接続された第３のベースバンド信号のエンコードを制御することにより、第３の符号化ストリームの生成を制御し（例えば、図１６のステップＳ８４の処理、または、図２１のステップＳ１５５の処理）、前記第１の区間においてエンコードされて生成された前記第３の符号化ストリームの終了点と、前記第２の符号化ストリームにおける対応する部分とのオキュパンシの連続性が保たれたかを判断し（例えば、図１６のステップＳ８６の処理、または、図２１のステップＳ１５８の処理）、第１の動作モード（例えば、延長再エンコード区間設定モード）において、前記オキュパンシの連続性が保たれなかったと判断された場合、前記第１の区間に続く所定の区間を、再エンコードを実行する第２の区間（例えば、延長再エンコード区間）として、更に、再エンコードの実行を制御し（例えば、図２１のステップＳ１５９およびステップＳ１６０の処理）、第２の動作モード（例えば、２パスエンコードモード）において、前記オキュパンシの連続性が保たれなかったと判断された場合、前記第１の区間における再エンコード処理が再度実行されるように制御する（例えば、図１６のステップＳ８９およびステップＳ８４の処理）ステップを含む処理をコンピュータに実行させる。
【００４５】
以下、図を参照して、本発明の実施の形態について説明する。
【００４６】
図３は本発明を適用した編集装置１のハードウェア構成を示すブロック図である。
【００４７】
ＣＰＵ（Central Processing Unit）１１は、ノースブリッジ１２に接続され、例えば、ＨＤＤ（Hard disk Drive）１６に記憶されているデータの読み出しなどの処理を制御したり、ＣＰＵ２０が実行する編集処理を制御するための制御信号やコマンドを生成し、出力する。ノースブリッジ１２は、ＰＣＩバス（Peripheral Component Interconnect/Interface）１４に接続され、例えば、ＣＰＵ１１の制御に基づいて、サウスブリッジ１５を介して、ＨＤＤ１６に記憶されているデータの供給を受けて、ＰＣＩバス１４、ＰＣＩブリッジ１７を介して、メモリ１８に供給する。また、ノースブリッジ１２は、メモリ１３とも接続されており、ＣＰＵ１１の処理に必要なデータを授受する。
【００４８】
メモリ１３は、ＣＰＵ１１が実行する処理に必要なデータを保存する。サウスブリッジ１５は、ＨＤＤ１６のデータの書き込みおよび読み出しを制御する。ＨＤＤ１６には、圧縮符号化された編集用の素材が記憶される。
【００４９】
ＰＣＩブリッジ１７は、メモリ１８のデータの書き込みおよび読み出しを制御したり、デコーダ２２乃至２４、または、ストリームスプライサ２５への圧縮符号化データの供給を制御するとともに、ＰＣＩバス１４およびコントロールバス１９のデータの授受を制御する。メモリ１８は、ＰＣＩブリッジ１７の制御に基づいて、ＨＤＤ１６により読み出された、編集用素材である圧縮符号化データや、ストリームスプライサ２５から供給される編集後の圧縮符号化データを記憶する。
【００５０】
ＣＰＵ２０は、ノースブリッジ１２、ＰＣＩバス１４、ＰＣＩブリッジ１７、および、コントロールバス１９を介して、ＣＰＵ１１から供給された制御信号やコマンドにしたがって、ＰＣＩブリッジ１７、デコーダ２２乃至２４、ストリームスプライサ２５、エフェクト／スイッチ２６、エンコーダ２７、および、スイッチ２９が実行する処理を制御する。メモリ２１は、ＣＰＵ２０の処理に必要なデータを記憶する。
【００５１】
デコーダ２２乃至デコーダ２４は、ＣＰＵ２０の制御に基づいて、供給された圧縮符号化データをデコードし、非圧縮の映像信号(ベースバンドの画像データ)を出力する。また、デコーダ２２乃至デコーダ２４は、編集装置１に含まれない独立した装置として設けられていても良い。例えば、デコーダ２４が、独立した装置として設けられている場合、デコーダ２４は、後述する処理により編集されて生成された圧縮編集映像データの供給を受け、復号し、出力することができるようになされる。
【００５２】
ストリームスプライサ２５は、ＣＰＵ２０の制御に基づいて、供給された符号化ストリーム（圧縮映像データ）を、デコーダ２４に供給したり、ＰＣＩブリッジ１７を介して、メモリ１８に供給して保存させる。また、ストリームスプライサ２５は、エンコーダ２７から、エンコード処理において取得されたデータの供給を受け、ＰＣＩブリッジ１７を介して、メモリ１８に供給して保存させることも可能である。
【００５３】
エフェクト／スイッチ２６は、ＣＰＵ２０の制御に基づいて、デコーダ２２またはデコーダ２３、もしくは、入力端子２８から供給される、非圧縮の映像信号出力を切り替える、すなわち、供給された非圧縮の映像信号を所定のフレームで結合するとともに、必要に応じて、所定の範囲にエフェクトを施して、エンコーダ２７に供給したり、入力端子２８から供給される非圧縮の映像信号をエンコーダ２７に供給する。エンコーダ２７は、ＣＰＵ２０の制御に基づいて、供給された非圧縮の映像信号をエンコードする。
【００５４】
スイッチ２９は、ＣＰＵ２０の制御に基づいて、エフェクト／スイッチ２６から出力されるベースバンド画像信号、または、ストリームスプライサ２５から供給され、デコーダ２４によってデコードされたベースバンド画像信号のいずれかを、外部の、例えば、表示装置などに出力する。
【００５５】
次に、編集装置１の動作について説明する。
【００５６】
ＨＤＤ１６には、Long GOPのOpen GOP方式で圧縮された複数の圧縮素材映像データが記憶されている。ＣＰＵ１１は、図示しない操作入力部からユーザの操作入力を受け、編集される２つのストリームと、その編集点の情報を受ける。
【００５７】
ＣＰＵ１１は、圧縮符号化された圧縮素材映像データであるストリームＡおよびストリームＢのＧＯＰ構造、並びに、編集点を示す情報を基に、ストリームＡおよびストリームＢのうち、再エンコードを行う区間を決定する。
【００５８】
このとき、ＣＰＵ１１は、再エンコードを試みる最小の区間として、最小再エンコード区間を決定する。最小再エンコード区間の決定について、図４乃至図６を用いて説明する。
【００５９】
すなわち、図４に示されるように、ストリームＡにおける編集点ａを含むＧＯＰの開始位置をαとし、ストリームＢにおける編集点ｂを含むＧＯＰの終了位置をβとしたとき、ストリームＡおよびストリームＢが編集点において接続されて生成されるストリームＣにおける基準再エンコード区間は、編集点ａおよびｂを含むαからβまでの区間とされる。
【００６０】
そして、編集点ａおよびｂを含むαからβまでの区間、すなわち、基準再エンコード区間に含まれるフレーム数Ａ＋Ｂが、これらのストリームにおける基準となる１ＧＯＰに含まれるフレーム数Ｎに対して、Ｎ／２≦Ａ＋Ｂ≦Ｎを満たす場合、図４に示されるように、基準再エンコード区間は、そのまま、最小再エンコード区間に設定される。
【００６１】
そして、編集点ａおよびｂを含むαからβまでの区間、すなわち、基準再エンコード区間に含まれるフレーム数Ａ＋Ｂが、これらのストリームにおける基準となる１ＧＯＰに含まれるフレーム数Ｎに対して、０≦Ａ＋Ｂ＜Ｎ／２を満たす場合、図５に示されるように、最小再エンコード区間は、ストリームＢにおける編集点ｂを含むＧＯＰの次のＧＯＰを含ませて、αから次のＧＯＰの終了点γまでであるものとする。
【００６２】
そして、次のＧＯＰに含まれるフレーム数がＣであるとき、基準再エンコード区間に含まれるフレーム数A＋Bに、ストリームＢの次のＧＯＰのフレーム数を加えた値Ａ＋Ｂ＋Ｃは、Ｎ／２≦Ａ＋Ｂ＋Ｃ≦Ｎを満たすか否かが判断される。Ｎ／２≦Ａ＋Ｂ＋Ｃ≦Ｎが満たされる場合、αからγまでが１ＧＯＰとされて、最小再エンコード区間に設定される。それに対して、Ｎ／２≦Ａ＋Ｂ＋Ｃ≦Ｎが満たされない場合、換言すれば、Ｎ＜Ａ＋Ｂ＋Ｃである場合、αからγまでを、１ＧＯＰがＮ／２≦ｘ≦Ｎを満たすように複数のＧＯＰに分割して、２以上のＧＯＰを設定し、これら全てを最小再エンコード区間に設定する。
【００６３】
最小再エンコード区間が、複数のＧＯＰに分割されるとき、それぞれのＧＯＰに含まれるフレーム数ができるだけ均等になるように分割されると好適である。例えば、２ＧＯＰに分割される場合、Ａ＋Ｂ＋Ｃのフレーム数が偶数の場合は均等に分割され、奇数の場合は後ろが１フレーム多くなるように分割されて、２ＧＯＰとされ、この２ＧＯＰが最小再エンコード区間に設定される。
【００６４】
また、このとき、αからγまでのフレーム数が、ＧＯＰの数で割り切れない値であった場合、時間的に後ろとなるＧＯＰのフレーム数が多くなるようにすると好適である。具体的には、例えば、αからγまでのフレーム数が１９であった場合、１つ目のＧＯＰのフレーム数を９とし、２つ目のＧＯＰのフレーム数を１０とすると好適である。なぜなら、再エンコードされた符号化ストリームと、再エンコードしない部分の符号化ストリームとの接続部分のOccupancy（オキュパンシ）を合わせこむためのデコードおよびエンコードの処理において、時間的に後のＧＯＰのフレーム数が多いほうが、符号割り当ての自由度が高くなるからである。
【００６５】
更に、Ａ＋Ｂ＋Ｃのフレーム数をできるだけ均等に分割する以外に、予め定められた所定のフレーム数で、ＧＯＰを分割するものとしても良い。例えば、２つのうちの時間的に前のＧＯＰを構成するフレーム数が必ず所定のフレーム数（例えば、Ｎ／２またはＮ／２以上となる最小の整数）となるようにして、ＧＯＰが分割されるものとしても良い。また、予め定められた所定のフレーム数は、それぞれのＧＯＰにおいて、１ＧＯＰがＮ／２≦ｘ≦Ｎを満たす区間で定められるものとすると好適である。
【００６６】
具体的には、例えば、Ｎ＝１５のとき、Ａ＋Ｂ＋Ｃ＝１６であれば、１つ目のＧＯＰのフレーム数を８、２つ目のＧＯＰのフレーム数を８とし、Ａ＋Ｂ＋Ｃ＝１７であれば、１つ目のＧＯＰのフレーム数を８、２つ目のＧＯＰのフレーム数を９とし、Ａ＋Ｂ＋Ｃ＝１８であれば、１つ目のＧＯＰのフレーム数を８、２つ目のＧＯＰのフレーム数を１０とするように、２つ目のＧＯＰのフレーム数を変化させ、同様に、Ａ＋Ｂ＋Ｃ＝２２であれば、１つ目のＧＯＰのフレーム数を８、２つ目のＧＯＰのフレーム数を１４とするようにしても良い。
【００６７】
そして、編集点ａおよびｂを含むαからβまでの区間、すなわち、基準再エンコード区間に含まれるフレーム数Ａ＋Ｂが、これらのストリームにおける基準となる１ＧＯＰに含まれるフレーム数Ｎに対して、N＋１≦Ａ＋Ｂ≦２Ｎ−１を満たす場合、図６に示されるように、基準再エンコード区間は、基準再エンコード区間のフレーム数が偶数の場合は均等に分割され、奇数の場合は後ろが１フレーム多くなるように分割されて、２ＧＯＰとされ、この２ＧＯＰが最小再エンコード区間に設定される。
【００６８】
この場合においても、αからβまでのフレーム数が、２で割り切れない値であった場合、時間的に後ろとなるＧＯＰのフレーム数が多くなるようにすると好適である。
【００６９】
また、同様にして、この場合においても、Ａ＋Ｂのフレーム数をできるだけ均等に分割する以外に、予め定められた所定のフレーム数で、ＧＯＰを分割するものとしても良い。例えば、２つのうちの時間的に前のＧＯＰを構成するフレーム数が必ず所定のフレーム数（例えば、Ｎ／２またはＮ／２以上となる最小の整数）となるようにして、ＧＯＰが分割されるものとしても良い。
【００７０】
また、Ｎ＋１≦Ａ＋Ｂ≦２Ｎ−１が成り立つ場合、更に、Ａ≧Ｎ／２であるか否かを判断し、Ａ≧Ｎ／２が成り立つ場合、編集点をＧＯＰの切れ目としても良い。そして、そのとき、編集点以降に対応する後ろ側のＧＯＰの先頭をＩ２ピクチャとし、Ｂ０およびＢ１ピクチャを省略するようにしてもよい。
【００７１】
このように、編集点、すなわち、大きく絵が変化する部分でＧＯＰを分割し、編集点以降に対応する後ろ側のＧＯＰのディスプレイ順における先頭をＩ２ピクチャとし、Ｂ０およびＢ１ピクチャを省略するものとすると、編集点以降のＧＯＰの画質の劣化を抑制することができ、好適である。
【００７２】
また、Ｎ＋１≦Ａ＋Ｂ≦２Ｎ−１であり、かつ、Ａ≧Ｎ／２である場合、最小再エンコード区間において、編集点より後ろの部分のフレーム数、すなわち、フレーム数Ｂが少ない場合（例えば、Ｂ≧Ｎ／２が成り立たないような場合）、編集点より後ろの部分が所定のフレーム数以上（例えば、Ｎ／２以上）となるように、ストリームＢの続くＧＯＰを最小再エンコード区間に加えるものとすると、極端に少ないフレーム数で構成されたＧＯＰを再エンコード区間に含ませることを防止することができる。これにより、編集点よりも後ろの部分のＧＯＰにおいて、ＶＢＶ占有量の連続性を保ちつつ、それぞれのフレームに適切な発生符号量を配分することが容易となるので、好適である。
【００７３】
そして、Ｎ＋１≦Ａ＋Ｂ≦２Ｎ−１であるが、Ａ≧Ｎ／２ではない場合、上述した場合と同様にして、Ａ＋Ｂのフレーム数をできるだけ均等に２つのＧＯＰに分割するようにしてもよいし、上述したように、１ＧＯＰがＮ／２≦ｘ≦Ｎを満たす区間で、予め定められた所定のフレーム数で、２つのＧＯＰに分割するものとしても良い。
【００７４】
このようにして、最小再エンコード区間を決定するようにすることにより、再エンコード区間の設定について、短いGOPを結果として残さない様にすることができ、いたずらに画質の劣化をもたらさないようにすることができる。
【００７５】
そして、再エンコードを行う区間の各GOPに対し、画質の劣化をもたらさないように、かつ、出来る限り大きなGOP長となる様なエンコードを実施できるため、符号化効率が向上し、より良い画質の符号化を期待することができる。
【００７６】
そして、ＣＰＵ１１は、ストリームＡおよびストリームＢを、VBV Buffer ModelのVBV占有量の連続性を守ったまま、編集点で接続して１つのストリームとする、すなわち、スプライシングするための処理を実行する。
【００７７】
すなわち、ＣＰＵ１１は、最小再エンコード区間の再エンコード処理を実行させるために必要なストリーム、すなわち、ストリームＡの編集点ａまでの部分がデコーダ２２に供給され、ストリームＢの編集点ｂ以降の部分（編集点ｂ以降の部分のデコードに必要なフレームが編集点ｂ以前に存在する場合は、そのフレームも含む）がデコーダ２３に供給され、エフェクト／スイッチ２６によって、編集点で接続され、必要に応じてエフェクトが施されるように、制御信号を生成し、ノースブリッジ１２、ＰＣＩバス１４、ＰＣＩブリッジ１７、および、コントロールバス１９を介して、ＣＰＵ２０に送出する。
【００７８】
再エンコード区間および再エンコード区間前後の部分の表示が指令されている場合、ＣＰＵ１１は、ストリームＡにおいて表示開始が指令された位置から編集点までの圧縮画像データ、および、ストリームＢにおいて編集点(編集点以降の部分をデコードするために必要なフレームを含む)から表示終了が指令された位置までの圧縮画像データの、メモリ１８への供給を制御するので、ＣＰＵ２０は、ストリームＡの最小再エンコード区間以前の部分のデータは、ストリームスプライサ２５を介して、デコーダ２４に供給され、スイッチ２９を介して、外部の表示装置などに出力され、続いて、エフェクト／スイッチ２６から出力された、編集された部分のベースバンド画像データが、スイッチ２９を介して、外部の表示装置などに出力されるように制御する。
【００７９】
そして、編集装置１においては、最小再エンコード区間における再エンコード時の発生符号量の調節に失敗した場合、すなわち、スプライシングの実行時に再エンコードが実行される区間と実行されない区間とのVBV占有量の連続性が保たれなかった場合に、最小再エンコード区間において、再度エンコードを実行する、いわゆる、リトライ動作を実行することができるようになされている。そして、このとき、編集装置１においては、実行された最小再エンコード区間におけるエンコード処理の実績を基に、最小再エンコード区間の再エンコード処理をもう一度行うことが可能なようになされている。
【００８０】
これにより、ＶＢＶ占有量の連続性を保ちつつ、再エンコードを実行する区間をできるだけ小さくすることができるので、再エンコード処理により画像が劣化してしまう可能性のある領域の発生量を抑制することができる。
【００８１】
これに対して、再度エンコードを実行するリトライ動作は、編集画像をリアルタイムで表示させる場合など、即時性が重要視されるような場合に、ユーザの要求を満たさない場合がある。
【００８２】
そこで、編集装置１においては、スプライシングの実行時にVBV占有量の接合ができなかった場合に、再度エンコードを実行する、いわゆる、リトライ動作を実行するのみでなく、再エンコード区間自体を延ばして処理を実行することも可能なようになされている。このことにより、装置内部のエンコーダとデコーダやつなぎ動作を実行するスイッチャー(例えば、図３のエフェクト／スイッチ２６)との調走などの複雑な動作は１回だけで済み、実装が楽になる。また、このような処理は、編集画像をリアルタイムで表示させる場合など、即時性が重要視されるような場合に用いると好適である。
【００８３】
まず、図４乃至図６を用いて説明した最小再エンコード区間の再エンコード(デコードおよびエンコード)が実行される。ＣＰＵ１１は、ストリームＡおよびストリームＢをＨＤＤ１６から読み出させ、サウスブリッジ１５、ノースブリッジ１２、ＰＣＩバス１４、および、ＰＣＩブリッジ１７を介して、メモリ１８に供給する。そして、ＣＰＵ１１は、ストリームＡおよびストリームＢのうち、最小再エンコード区間のデータが、それぞれ、デコーダ２２およびデコーダ２３に供給されてデコードされ、エフェクト／スイッチ２６において接続されて、必要に応じてエフェクトがかけられ、エンコーダ２７に供給されるように制御する。
【００８４】
ＣＰＵ２０は、ここで、再エンコードのVBV占有量の開始値は、最小再エンコード区間の最初、すなわち、ストリームＡのaを含むGOPの先頭におけるオリジナルのVBV占有量であり、再エンコード終了時のVBV占有量の目標値は、最小再エンコード区間の次のGOPの開始のVBV占有量であるものとする。すなわち、図７に示されるように、最小再エンコード区間の最後をβとした場合、次のＧＯＰの開始のＩ２ピクチャ(図中アで示される)のＶＢＶ占有量が、再エンコード終了位置のVBV占有量の目標値となる。
【００８５】
そして、ＣＰＵ２０は、任意の発生符号量調整方法により、目標VBV占有量よりも大きなVBV占有量で最小再エンコード区間のエンコードが終了する様に再エンコードの実行を制御する。
【００８６】
そして、最小再エンコード区間でのエンコード終了時に、目標VBV占有量より実際のVBV占有量が大きければ、zero stuffによって、VBV占有量を連続的とすることが可能であり、そこで動作を終了させて、再エンコード結果を得ることができる。
【００８７】
目標VBV占有量よりも実際のVBV占有量を大きくすることができた場合、続いて、次GOPのcoding順の最初のＰピクチャ（図７において図中イで示されるピクチャ）の直前までのフレームが、ストリームスプライサ２５に供給されるとともに、デコーダ２３に供給され、デコードされた後、エフェクト／スイッチ２６を介して、エンコーダ２７に供給されてエンコードされる。
【００８８】
このとき、次GOPのcoding順の最初のＰピクチャ（図７において図中イで示されるピクチャ）でのVBV占有量を目標値とし、Ｉピクチャ（図７において図中アで示されるピクチャ）の符号量を、オリジナルのストリームＢにおける該当するＩピクチャの符号量として、次GOPの先頭から最初のPピクチャ（図７において図中イで示されるピクチャ）の手前まで(IBBか、または、IB)を、PピクチャでVBV占有量を連続的とすることができる様に(VBV占有量を目標値よりも大きくする様に)、任意の発生符号調整方法により再エンコード処理が実行される。
【００８９】
その結果、目標Ｐピクチャで、必要に応じてzero stuffを利用して、VBV占有量を連続とすることができれば、ＣＰＵ２０は、Ｉピクチャの符号を、オリジナルのストリームＢにおける該当するＩピクチャの符号に差し替えて、エンコード結果とし、スプライシング動作を終了させる。
【００９０】
一方、目標Ｐピクチャで、VBV占有量を連続にすることができなかった場合、ＣＰＵ２０は、図７のβまでの再エンコード区間すなわち、GOP切れ目でのVBV占有量が連続となったエンコード結果をもって、スプライシング動作を終了させる。換言すれば、図７のβまでの再エンコード区間以降、次GOPのcoding順の最初のＰピクチャの直前までのフレーム（例えば、図７において図中アで示されるピクチャから図中イで示されるピクチャまでの範囲）において、編集後の圧縮画像データとして、再エンコードされた圧縮画像データではなく、ストリームスプライサ２５に供給されたオリジナルのストリームに含まれていたフレームが採用される。
【００９１】
スプライシング動作が終了された場合、ＣＰＵ２０は、ＣＰＵ１１に対して、デコーダ２２またはデコーダ２３へのストリームの供給を停止させるように、制御信号を供給する。再エンコード区間のみの表示が指令されている場合、ＣＰＵ１１は、ストリームＢのメモリ１８への転送をストップさせる。また、再エンコード区間前後の部分の表示が指令されている場合、ＣＰＵ１１は、ストリームＢのメモリ１８への転送を続ける。ＣＰＵ２０は、エフェクト／スイッチ２６から出力された、編集された部分のベースバンド画像データが、スイッチ２９を介して、外部の表示装置などに出力されるのに続いて、ストリームＢの再エンコード区間以後の部分のデータは、ストリームスプライサ２５を介して、デコーダ２４に供給され、スイッチ２９を介して、外部の表示装置などに出力されるように制御する。
【００９２】
これに対して、最小再エンコード区間でのエンコード終了時に、目標VBV占有量よりも占有量が小さくなってしまった場合は、zero stuffによってVBV占有量を連続にすることはできないため、ＣＰＵ２０は、実行された最小再エンコード区間におけるエンコード処理の実績を基に、最小再エンコード区間の再エンコード処理をもう一度行う、すなわち、上述したリトライ動作を実行するか、または、次GOPもエンコード対象として、任意の発生符号調整方法により再エンコードが継続されるように、各部を制御する。
【００９３】
最小再エンコード区間の再エンコード処理をリトライするようになされている場合、ＣＰＵ２０は、既に実行された１回目の最小再エンコード区間におけるエンコード処理の実績を基に、最小再エンコード区間における符号配分を決定する。このようにすることにより、２回目の再エンコードにおいては、最小再エンコード区間でのエンコード終了時に、目標VBV占有量よりも占有量が小さくなってしまうようなことを防ぐことができる。このような処理が実行される動作モードを、２パスエンコードモードと称する。
【００９４】
また、最小再エンコード区間でのエンコード終了時に、目標VBV占有量よりも占有量が小さくなってしまってもリトライ動作を実行せず、次のＧＯＰを再エンコード対象とする場合、ＣＰＵ２０は、図８Ａに示される最小再エンコード区間に対して、図８Ｂに示されるように、次のＧＯＰを延長再エンコード区間とし、任意の発生符号量調整方法により、目標VBV占有量よりも大きなVBV占有量で延長再エンコード区間のエンコードが終了する様に、目標発生符号量を設定して、再エンコードを実行させる。図中γで示される、更に続くＧＯＰの開始のVBV占有量が、再エンコード区間が延長された場合の延長再エンコード区間における再エンコード終了時のVBV占有量の目標値とされる。
【００９５】
そして、図８Ｂに示されるγまでの再エンコード結果、目標VBV占有量よりも実際のVBV占有量を大きくすることができた場合、上述した場合と同様に、続くGOPのcoding順の最初のＰピクチャ（図７において図中イで示されるピクチャ）でのVBV占有量を目標値として、再エンコードが実行される。図８Ｂに示されるγまでの再エンコード結果、目標VBV占有量よりも実際のVBV占有量を大きくすることができなかった場合、更に、続くＧＯＰが次の延長再エンコード区間とされる。このような処理が実行される動作モードを、延長再エンコード区間設定モードと称する。
【００９６】
なお、最小再エンコード区間、または、延長再エンコード区間に続く次のＧＯＰにおいて、coding順で最初のＰピクチャの前にＢピクチャが配置されていなかった場合、GOP切れ目でのVBV占有量が連続となったエンコード結果を以って、スプライシング動作が終了される。また、ストリームＡの編集点aがGOPのdisplay順先頭であった場合、最小再エンコード区間の開始はストリームＢの編集点bからであるものとすることができる。
【００９７】
すなわち、編集装置１においては、最小再エンコード区間の切れ目(最小再エンコード区間の最後と、続くＧＯＰの最初と)でVBV占有量をあわせることができなかった場合、最小再エンコード区間の再エンコードを、１回目における再エンコードの実績を基にもう一度行うか、次のGOP切れ目までエンコード区間が延長されて延長再エンコード区間とされて、ＶＢＶ占有量が連続性を有するまで、延長再エンコード区間が設定される。そして、再エンコード区間の切れ目でVBV占有量をあわせることができた場合、再エンコード区間の次のGOPのIピクチャにはオリジナルの符号が使用され、更に、再エンコード区間の次のGOPの最初のPピクチャまでのフレームが再エンコードされる。そして、ＰピクチャにおいてVBVを合わせることができれば、このＰピクチャの手前までで再エンコードが終了される。また、ＰピクチャにおいてVBVを合わせることができなかったときには、再エンコード区間までで再エンコードが終了される。
【００９８】
すなわち、編集装置１においては、スプライシング実行時の動作モードとして、リトライ動作を実行する２パスエンコードモードと、再エンコードを実行する区間を延長する延長再エンコード区間設定モードとの２つの動作モードを有する。編集装置１においては、例えば、編集装置１の構成または設定、もしくは、ユーザの操作入力などに基づいて、動作モードが設定されて、設定された動作モードに基づいた処理が実行されるようになされている。
【００９９】
２パスエンコードモードにおいては、編集点を含むＧＯＰを含んで構成される最小再エンコード区間においてのみ、ＶＢＶ占有量の連続性を守って再エンコードが実行されるので、編集後のストリームにおいて、再エンコードによって画質が劣化してしまう恐れのある部分を最小にすることが可能となる。したがって、編集結果をリアルタイムで再生して確認するよりも画質をできるだけ劣化しないようにしたい場合などに、２パスエンコードモードで編集が行われると好適である。
【０１００】
また、延長再エンコード区間設定モードにおいては、編集点を含むＧＯＰにより構成される最小再エンコード区間において、目標VBV占有量よりも実際のVBV占有量を大きくすることができなかった場合においても、リトライ動作を行わないようにすることができるので、リトライ動作を含むものと比較して、実装が容易になる。また、リトライ動作を行う場合と異なり、編集結果を略リアルタイムに再生出力することが可能であるので、編集結果を略リアルタイムに再生出力する必要がある場合は、延長再エンコード区間設定モードで編集が行われると好適である。
【０１０１】
次に、図９は、図３の編集装置１の機能の構成例を示すブロック図である。なお、図９において、図３における場合と対応する部分には同一の符号を付してあり、その説明は適宜省略する。
【０１０２】
編集装置１は、制御部１０１、取得部１０２、デコーダ２２およびデコーダ２３を含むデコーダ１０３、並びに、エンコーダ２７から構成される。
【０１０３】
制御部１０１は、ＣＰＵ１１およびＣＰＵ２０に対応し、編集装置１の各部を制御する。取得部１０２は、制御部１０１の制御に基づいて、ＨＤＤ１６またはメモリ１８から圧縮素材映像データを取得して、再エンコード区間に対応する部分は、デコーダ２２またはデコーダ２３を含むデコーダ１０３に供給する。圧縮素材映像データが記憶されるＨＤＤ１６またはメモリ１８が取得部１０２に含まれるようにしてもよいし、取得部１０２が編集装置１に接続されている他の装置から圧縮素材映像データを取得するものとしてもよい。また、取得部１０２は、必要に応じて、再エンコード区間に対応しない部分も取得し、再エンコードされた領域と接続して編集画像を生成するために（図３におけるストリームスプライサ２５に）出力する。
【０１０４】
デコーダ１０３は、取得部１０２から供給された圧縮素材映像データをデコードし、その結果として得られた非圧縮の映像信号をエンコーダ２７に供給する。なお、図９に示す編集装置１には、圧縮素材映像データをデコードするデコーダとして、２つのデコーダ２２およびデコーダ２３が設けられ、編集後のストリームをデコードするデコーダとして、デコーダ２４が設けられているが、編集装置１に設けられるデコーダは１つであってもよいし、３以上であってもよい。
【０１０５】
また、制御部１０１は、より詳細には図１０に示すような機能を有している。
【０１０６】
すなわち、制御部１０１は、ＣＰＵ１１およびＣＰＵ２０が実行可能な機能を併せ持つものとして定義されるものである。また、ＣＰＵ１１は、操作入力取得部１３１、再エンコード区間決定部１３２、動作モード決定部１３３、ストリーム送出制御部１３４、および、パラメータ送出部１３５の機能を有し、ＣＰＵ２０は、ストリーム取得制御部１５１、パラメータ取得部１５２、復号制御部１５３、符号化制御部１５４、および、動作モード判定部１５５から構成される。
【０１０７】
操作入力取得部１３１は、ユーザによる操作入力を受けて、編集されるストリームおよび編集点に関する情報などのユーザの操作に応じた情報を取得し、取得した情報を再エンコード区間決定部１３２またはストリーム送出制御部１３４に供給する。また、操作入力取得部１３１は、ユーザから、動作モードを設定または変更する操作入力を受けたとき、動作モード決定部１３３に、動作モードに関する操作入力の内容を供給する。
【０１０８】
再エンコード区間決定部１３２は、まず、操作入力取得部１３１からの編集されるストリームおよび編集点に関する情報に基づいて、最小再エンコード区間を決定する。再エンコード区間決定部１３２は、決定された最小再エンコード区間を示す情報をパラメータ送出部１３５およびストリーム送出制御部１３４に供給する。そして、再エンコード区間決定部１３２は、動作モードが延長再エンコード区間設定モードであり、符号化制御部１５４から、ストリーム供給を停止させる要求を受けなかった場合、換言すれば、最小再エンコード区間の再エンコード処理の結果、ＶＢＶ占有量が、目標値よりも下回ったために、延長再エンコード区間として次のＧＯＰを設定することが要求された場合、延長再エンコード区間を示す情報をパラメータ送出部１３５およびストリーム送出制御部１３４に供給する。
【０１０９】
動作モード決定部１３３は、操作入力取得部１３１から供給されるユーザによる操作入力、または、編集装置１の設定に基づいて、動作モードを決定し、再エンコード区間決定部１３２および動作モード判定部１５５に供給する。
【０１１０】
パラメータ送出部１３５は、再エンコード区間決定部１３２からの最小再エンコード区間または延長再エンコード区間を示す情報に基づいて、ストリームの再エンコードに必要な各種のパラメータをパラメータ取得部１５２に供給する。
【０１１１】
ストリーム送出制御部１３４は、操作入力取得部１３１および再エンコード区間決定部１３２からの情報に基づいて、編集されるストリームのうちの再エンコード区間として設定された部分がデコーダ２２またはデコーダ２３に送出されるように、取得部１０２を制御する。また、ストリーム送出制御部１３４は、必要に応じて、編集されるストリームのうちの再エンコード区間として設定されていない部分も取得し、再エンコードされた部分と接続されるように、取得部１０２を制御する。また、ストリーム送出制御部１３４は、操作入力取得部１３１からの情報に基づいて、ストリームの編集、記憶、または表示などのユーザの操作に応じた処理を行うための制御信号をストリーム取得制御部１５１に供給する。
【０１１２】
ストリーム取得制御部１５１は、ストリーム送出制御部１３４からの制御信号に基づいて、編集されるストリームの取得を制御する。また、ストリーム取得制御部１５１は、編集されるストリームのうちの再エンコードされる区間のストリームを、復号制御部１５３を制御してデコードさせるとともに、符号化制御部１５４を制御してエンコードさせる。
【０１１３】
復号制御部１５３は、動作モード判定部１５５により判定される動作モードに基づいて、ストリームのデコードを制御する。パラメータ取得部１５２は、パラメータ送出部１３５からストリームの再エンコードに必要な各種のパラメータを取得し、符号化制御部１５４に供給する。
【０１１４】
符号化制御部１５４は、動作モード判定部１５５により判定される動作モードに基づいて、パラメータ取得部１５２から供給されるパラメータを用いて、ストリームの再エンコードを制御する。符号化制御部１５４は、２パスエンコードモードにおいて、最小再エンコード区間の再エンコード処理の結果、ＶＢＶ占有量が、目標値よりも下回った場合、１回目のエンコード処理の結果得られる各種パラメータ（例えば、発生符号量などの実績）をエンコーダ２７から取得し、２回目のエンコード処理の符号配分の決定に用いる。また、符号化制御部１５４は、延長再エンコード区間設定モードにおいて、最小再エンコード区間の再エンコード処理の結果、ＶＢＶ占有量が、目標値よりも下回った場合、延長再エンコード区間が設定されるように、再エンコード区間決定部１３２に、ストリーム供給を停止させる要求を通知せず、延長再エンコード区間の設定を要求する。
【０１１５】
動作モード判定部１５５は、動作モード決定部１３３により決定された動作モードに基づいて、動作モードが２パスエンコードモードであるか、延長再エンコード区間設定モードであるかを判定し、判定結果を、復号制御部１５３および符号化制御部１５４に供給する。
【０１１６】
次に、図１１および図１２のフローチャートを参照して、ＣＰＵ１１の処理について説明する。
【０１１７】
ステップＳ１において、ＣＰＵ１１は、圧縮符号化された圧縮素材映像データであるストリームＡおよびストリームＢのＧＯＰ構造、並びに、編集点を示す情報の入力を受ける。また、ＣＰＵ１１は、再エンコード区間前後の部分の表示が指令されている場合、ストリームＡの最小再エンコード区間以前の部分のデータが、ストリームスプライサ２５を介して、デコーダ２４に供給され、スイッチ２９を介して、外部の表示装置などに出力されるように各部を制御させるための制御信号を生成し、ノースブリッジ１２、ＰＣＩバス１４、ＰＣＩブリッジ１７、および、コントロールバス１９を介して、ＣＰＵ２０に送出する。
【０１１８】
ステップＳ２において、図１３または図１４および図１５を用いて後述する最小再エンコード区間決定処理が実行され、図４乃至図６を用いて説明したように、最小再エンコード区間が決定される。
【０１１９】
ステップＳ３において、ＣＰＵ１１は、ステップＳ２において、最小再エンコード区間が決定されたか否かを判断する。ステップＳ３において、最小再エンコード区間が決定されなかったと判断された場合、処理は、終了される。
【０１２０】
ステップＳ３において、最小再エンコード区間が決定されたと判断された場合、ステップＳ４において、ＣＰＵ１１は、最小再エンコード区間の再エンコード処理を実行させるために必要なパラメータを取得する。
【０１２１】
最小再エンコード区間の再エンコード処理を実行させるために必要なパラメータには、例えば、ストリームＡにおける編集点を含むＧＯＰまでのＧＯＰ数など、その位置を示す情報、ストリームＡにおける編集点を含むＧＯＰにおける編集点の位置を示す情報、ストリームＢにおける編集点を含むＧＯＰからストリーム終了までのＧＯＰ数など、その位置を示す情報、ストリームＢにおける編集点を含むＧＯＰにおける編集点の位置を示す情報、最小再エンコード区間のはじめのＶＢＶ値および次のＧＯＰの最初のフレームのＶＢＶ値（すなわち、最小再エンコード区間におけるＶＢＶ目標値）、エフェクトの有無またはエフェクトの種類を示す情報などがある。
【０１２２】
ステップＳ５において、ＣＰＵ１１は、最小再エンコード区間のエンコード終端処理に必要なパラメータを取得する。エンコード終端処理とは、図７を用いて説明した、最小再エンコード区間の次のＧＯＰの最初のＰピクチャまでの再エンコード処理と、その結果に基づいた、編集ストリームＣの生成処理である。
【０１２３】
最小再エンコード区間のエンコード終端処理を実行させるために必要なパラメータには、例えば、該当するＧＯＰにおけるＶＢＶ目標値、該当するＧＯＰの次のＧＯＰの最初のＰピクチャにおけるＶＢＶ値、該当するＧＯＰの次のＧＯＰのＩピクチャの発生符号量、該当するＧＯＰの次のＧＯＰの最初のＰピクチャ直前のＢピクチャの数、該当するＧＯＰの次のＧＯＰの最初のＰピクチャ直前のＢピクチャにおける量子化マトリクスなどがある。
【０１２４】
ステップＳ６において、ＣＰＵ１１は、最小再エンコード区間の再エンコード処理を実行させるために必要なストリームのデコーダ２２およびデコーダ２３への送出を制御する。具体的には、ＣＰＵ１１は、最小再エンコード区間の再エンコード処理を実行させるために必要なストリーム、すなわち、ストリームＡの編集点ａまでの部分がデコーダ２２に供給され、ストリームＢの編集点ｂ以降の部分（編集点ｂ以降の部分のデコードに必要なフレームが編集点ｂ以前に存在する場合は、そのフレームも含む）がデコーダ２３に供給され、エフェクト／スイッチ２６によって、編集点で接続され、必要に応じてエフェクトが施されるように、各部を制御させるための制御信号を生成し、ノースブリッジ１２、ＰＣＩバス１４、ＰＣＩブリッジ１７、および、コントロールバス１９を介して、ＣＰＵ２０に送出する。
【０１２５】
ステップＳ７において、ＣＰＵ１１は、最小再エンコード区間の再エンコード処理を実行させるために必要なパラメータおよびエンコード終端処理に必要なパラメータを、ノースブリッジ１２、ＰＣＩバス１４、ＰＣＩブリッジ１７、および、コントロールバス１９を介して、ＣＰＵ２０に送出する。
【０１２６】
ステップＳ８において、ＣＰＵ１１は、最小再エンコード区間において表示出力されるストリームが、エンコーダ２７への入力データとなるようにスイッチ２９を制御させるための制御信号を、ノースブリッジ１２、ＰＣＩバス１４、ＰＣＩブリッジ１７、および、コントロールバス１９を介して、ＣＰＵ２０に送出する。
【０１２７】
ステップＳ９において、ＣＰＵ１１は、動作モードは、２パスエンコードモードであるか否かを判断する。ステップＳ９において、２パスエンコードモードであると判断された場合、処理は、後述するステップＳ１５に進む。
【０１２８】
ステップＳ９において、２パスエンコードモードではないと判断された場合、動作モードは、延長再エンコード区間設定モードであるので、ステップＳ１０において、ＣＰＵ１１は、次に再エンコードされる延長再エンコード区間の再エンコード処理を実行させるために必要なパラメータを取得する。
【０１２９】
ステップＳ１１において、ＣＰＵ１１は、次に再エンコードされる延長再エンコード区間のエンコード終端処理に必要なパラメータを取得する。
【０１３０】
ステップＳ１２において、ＣＰＵ１１は、次に再エンコードされる延長再エンコード区間の再エンコード処理を実行させるために必要なストリーム、すなわち、ストリームＢの最小再エンコード区間に続くＧＯＰのデコーダ２３への送出を制御する。
【０１３１】
ステップＳ１３において、ＣＰＵ１１は、次に再エンコードされる延長再エンコード区間の再エンコード処理を実行させるために必要なパラメータおよびエンコード終端処理に必要なパラメータを、ノースブリッジ１２、ＰＣＩバス１４、ＰＣＩブリッジ１７、および、コントロールバス１９を介して、ＣＰＵ２０に送出する。
【０１３２】
ステップＳ１４において、ＣＰＵ１１は、コントロールバス１９、ＰＣＩブリッジ１７、ＰＣＩバス１４、および、ノースブリッジ１２を介して、ＣＰＵ２０から、デコーダ２３へのストリーム供給を停止させる要求を受けたか否かを判断する。
【０１３３】
すなわち、最小再エンコード区間における再エンコード処理において、目標VBV占有量よりも大きなVBV占有量で最小再エンコード区間のエンコードが終了された場合、ＣＰＵ２０は、ＣＰＵ１１に、デコーダ２３へのストリーム供給を停止させる要求を送出する。
【０１３４】
ステップＳ１４において、ＣＰＵ２０から、デコーダ２３へのストリーム供給を停止させる要求を受けていない、すなわち、最小再エンコード区間における再エンコード処理において、目標VBV占有量よりも大きなVBV占有量で最小再エンコード区間のエンコードが終了されていないと判断された場合、処理は、ステップＳ１０に戻り、それ以降の処理が繰り返される。ステップＳ１４において、ＣＰＵ２０から、デコーダ２３へのストリーム供給を停止させる要求を受けたと判断された場合、処理は、後述するステップＳ１８に進む。
【０１３５】
ステップＳ９において、２パスエンコードモードであると判断された場合、ステップＳ１５において、ＣＰＵ１１は、最小再エンコード区間の再エンコード処理を実行させるために必要なストリームのデコーダ２２およびデコーダ２３への送出を制御する。具体的には、ＣＰＵ１１は、最小再エンコード区間の再エンコード処理を実行させるために必要なストリーム、すなわち、ストリームＡの編集点ａまでの部分がデコーダ２２に供給され、ストリームＢの編集点ｂ以降の部分（編集点ｂ以降の部分のデコードに必要なフレームが編集点ｂ以前に存在する場合は、そのフレームも含む）がデコーダ２３に供給され、エフェクト／スイッチ２６によって、編集点で接続され、必要に応じてエフェクトが施されるように、各部を制御させるための制御信号を生成し、ノースブリッジ１２、ＰＣＩバス１４、ＰＣＩブリッジ１７、および、コントロールバス１９を介して、ＣＰＵ２０に送出する。
【０１３６】
ステップＳ１６において、ＣＰＵ１１は、最小再エンコード区間の再エンコード処理を実行させるために必要なパラメータおよびエンコード終端処理に必要なパラメータを、ノースブリッジ１２、ＰＣＩバス１４、ＰＣＩブリッジ１７、および、コントロールバス１９を介して、ＣＰＵ２０に送出する。
【０１３７】
ステップＳ１７において、ＣＰＵ１１は、コントロールバス１９、ＰＣＩブリッジ１７、ＰＣＩバス１４、および、ノースブリッジ１２を介して、ＣＰＵ２０から、最小再エンコード区間のエンコードが成功したことの通知を受けたか否かを判断する。ステップＳ１７において、最小再エンコード区間のエンコードが成功したことの通知を受けていないと判断された場合、処理は、ステップＳ１５に戻り、それ以降の処理が繰り返される。
【０１３８】
ステップＳ１４において、ＣＰＵ２０から、デコーダ２３へのストリーム供給を停止させる要求を受けたと判断された場合、または、ステップＳ１７において、最小再エンコード区間のエンコードが成功したことの通知を受けたと判断された場合、ステップＳ１８において、ＣＰＵ１１は、最終的な再エンコード区間に続くフレームとして、Iピクチャに続いてBピクチャが配置されているか否かを判断する。ステップＳ１８において、Iピクチャに続いてBピクチャが配置されていない、すなわち、Ｉピクチャに続いて、Ｐピクチャが配置されていると判断された場合、処理は、後述するステップＳ２１に進む。
【０１３９】
ステップＳ１８において、Iピクチャに続いてBピクチャが配置されていると判断された場合、ステップＳ１９において、ＣＰＵ１１は、最終的な再エンコード区間に続くIピクチャ、１枚以上のBピクチャ、および、Pピクチャ、すなわち、図７において図中アに示されるフレームから図中イに示されるフレームまでの複数のフレームは、ＨＤＤ１６から読み出され、サウスブリッジ１５、ノースブリッジ１２、ＰＣＩバス１４、および、ＰＣＩブリッジ１７を介して、メモリ１８に供給されているか否かを判断する。ステップＳ１９において、Iピクチャ、１枚以上のBピクチャ、および、Pピクチャが、メモリ１８に供給されていると判断された場合、処理は、後述するステップＳ２１に進む。
【０１４０】
ステップＳ１９において、Iピクチャ、１枚以上のBピクチャ、および、Pピクチャが、メモリ１８に供給されていないと判断された場合、ステップＳ２０において、ＣＰＵ１１は、最終的な再エンコード区間に続くIピクチャ、１枚以上のBピクチャ、および、Pピクチャのデコーダ２３への供給を制御する。
【０１４１】
ステップＳ１８において、Iピクチャに続いてBピクチャが配置されていない、すなわち、Ｉピクチャに続いて、Ｐピクチャが配置されていると判断された場合、ステップＳ１９において、Iピクチャ、１枚以上のBピクチャ、および、Pピクチャが、メモリ１８に供給されていると判断された場合、または、ステップＳ２０の処理の終了後、ステップＳ２１において、ＣＰＵ１１は、再エンコード区間外において表示出力されるストリームが、ストリームスプライサ２５を介してデコーダ２４に供給されてデコードされ、外部の表示装置などに供給されるように各部を制御させるための制御信号を生成し、ノースブリッジ１２、ＰＣＩバス１４、ＰＣＩブリッジ１７、および、コントロールバス１９を介して、ＣＰＵ２０に送出して、処理が終了される。
【０１４２】
このような処理により、ＣＰＵ１１は、最小再エンコード区間を決定して、最小再エンコード区間の再エンコード処理、および、エンコード終端処理に必要なパラメータを、ノースブリッジ１２、ＰＣＩバス１４、ＰＣＩブリッジ１７、および、コントロールバス１９を介して、ＣＰＵ２０に送出するとともに、再エンコード区間のストリームの、ノースブリッジ１２、ＰＣＩバス１４、および、ＰＣＩブリッジ１７を介した、メモリ１８への供給と、デコーダ２３(または、必要に応じて、デコーダ２２)への供給を制御することができるようになされている。
【０１４３】
また、ＣＰＵ１１は、２パスエンコードモードにおいて、最小再エンコード区間において実行される再エンコードの結果、ＶＢＶ占有量が連続するまで、最小再エンコード区間の再エンコードが実行されるように、各種制御を実行するので、できるだけ少ない再エンコード区間としつつ、ＶＢＶの制約を守るようにすることができる。これにより、画質の劣化を防止することができる。
【０１４４】
また、ＣＰＵ１１は、延長再エンコード設定モードにおいて、予め、次に再エンコードされる延長再エンコード区間の再エンコード処理、および、エンコード終端処理に必要なパラメータを、ノースブリッジ１２、ＰＣＩバス１４、ＰＣＩブリッジ１７、および、コントロールバス１９を介して、ＣＰＵ２０に送出するとともに、再エンコード区間が延長された場合に続いて再エンコードされるストリームを、ノースブリッジ１２、ＰＣＩバス１４、および、ＰＣＩブリッジ１７を介して、メモリ１８に供給させ、デコーダ２３(または、必要に応じて、デコーダ２２)に供給させることができるようになされている。これにより、編集装置１は、再エンコード区間が延長され、延長再エンコード区間が設定された場合であっても、処理が遅延されたりとまったりすることがないため、連続して編集画像を再生出力させることが可能となる。
【０１４５】
次に、図１３のフローチャートを参照して、図１１のステップＳ２において実行される処理の第１の例である、最小再エンコード区間決定処理１について説明する。
【０１４６】
ステップＳ４１において、ＣＰＵ１１は、編集されるそれぞれのストリームにおける編集点位置の情報を基に、図４を用いて説明したように、基準再エンコード区間を決定する。すなわち、ストリームＡにおける編集点ａを含むＧＯＰの開始位置をαとし、ストリームＢにおける編集点ｂを含むＧＯＰの終了位置をβとしたとき、ストリームＡおよびストリームＢが編集点において接続されて生成されるストリームＣにおける基準再エンコード区間は、編集点ａおよびｂを含むαからβまでの区間とされる。
【０１４７】
ステップＳ４２において、ＣＰＵ１１は、基準となる１GOPフレーム数をNとして、基準再エンコード区間に含まれるフレーム数A＋Bは、Ｎ／２≦Ａ＋Ｂ≦Ｎを満たすか否かを判断する。
【０１４８】
ステップＳ４２において、フレーム数A＋Bは、Ｎ／２≦Ａ＋Ｂ≦Ｎを満たすと判断された場合、ステップＳ４３において、ＣＰＵ１１は、基準再エンコード区間を１ＧＯＰとして、最小再エンコード区間に設定し、処理は、図１１のステップＳ２に戻り、ステップＳ３に進む。
【０１４９】
ステップＳ４２において、フレーム数A＋Bは、Ｎ／２≦Ａ＋Ｂ≦Ｎを満たさないと判断された場合、ステップＳ４４において、ＣＰＵ１１は、基準となる１GOPフレーム数をNとして、基準再エンコード区間に含まれるフレーム数A＋Bは、N＋１≦Ａ＋Ｂ≦２Ｎ−１を満たすか否かを判断する。
【０１５０】
ステップＳ４４において、フレーム数A＋Bは、N＋１≦Ａ＋Ｂ≦２Ｎ−１を満たすと判断された場合、ステップＳ４５において、ＣＰＵ１１は、図６を用いて説明したように、基準再エンコード区間のフレーム数が偶数の場合は均等に分割し、奇数の場合は後ろが１フレーム多くなるように分割して、２ＧＯＰとし、最小再エンコード区間に設定する。
【０１５１】
また、このとき、フレーム数Ａ＋Ｂが割り切れない値であった場合、時間的に後ろとなるＧＯＰのフレーム数が多くなるようにすると好適である。なぜなら、再エンコードされた符号化ストリームと、再エンコードしない部分の符号化ストリームとの接続部分のOccupancy（オキュパンシ）を合わせこむためのデコードおよびエンコードの処理において、時間的に後のＧＯＰのフレーム数が多いほうが、符号割り当ての自由度が高くなるからである。
【０１５２】
ステップＳ４４において、フレーム数A＋Bは、N＋１≦Ａ＋Ｂ≦２Ｎ−１を満たさないと判断された場合、ステップＳ４６において、ＣＰＵ１１は、基準となる１GOPフレーム数をNとして、基準再エンコード区間に含まれるフレーム数A＋Bは、０≦Ａ＋Ｂ＜Ｎ／２を満たすか否かを判断する。
【０１５３】
ステップＳ４６において、フレーム数A＋Bは、０≦Ａ＋Ｂ＜Ｎ／２を満たさないと判断された場合、フレーム数A＋Bは、２Ｎ以上の値を有するので、ステップＳ４７において、ＣＰＵ１１は、エラー処理を実行し、処理は、図１１のステップＳ２に戻り、ステップＳ３に進む。
【０１５４】
ステップＳ４６において、フレーム数A＋Bは、０≦Ａ＋Ｂ＜Ｎ／２を満たすと判断された場合、ステップＳ４８において、ＣＰＵ１１は、基準再エンコード区間に含まれるフレーム数A＋Bに、ストリームＢの次のＧＯＰのフレーム数を加えた値Ａ＋Ｂ＋Ｃは、Ｎ／２≦Ａ＋Ｂ＋Ｃ≦Ｎを満たすか否かを判断する。
【０１５５】
ステップＳ４８において、Ａ＋Ｂ＋Ｃは、Ｎ／２≦Ａ＋Ｂ＋Ｃ≦Ｎを満たさないと判断された場合、すなわち、Ｎ＜Ａ＋Ｂ＋Ｃである場合、ステップＳ４９において、ＣＰＵ１１は、図５を用いて説明したように、基準再エンコード区間にストリームＢの次のＧＯＰを加えたものを、１ＧＯＰがＮ／２≦ｘ≦Ｎを満たすように分割して、２以上のＧＯＰを設定して、最小再エンコード区間に設定する。このとき、それぞれのＧＯＰに含まれるフレーム数ができるだけ均等になるように分割されると好適である。例えば、２ＧＯＰに分割される場合、Ａ＋Ｂ＋Ｃのフレーム数が偶数の場合は均等に分割され、奇数の場合は後ろが１フレーム多くなるように分割されて、２ＧＯＰとされ、この２ＧＯＰが最小再エンコード区間に設定される。
【０１５６】
また、このとき、フレーム数Ａ＋Ｂ＋Ｃが割り切れない値であった場合、時間的に後ろとなるＧＯＰのフレーム数が多くなるようにすると好適である。なぜなら、再エンコードされた符号化ストリームと、再エンコードしない部分の符号化ストリームとの接続部分のOccupancy（オキュパンシ）を合わせこむためのデコードおよびエンコードの処理において、時間的に後のＧＯＰのフレーム数が多いほうが、符号割り当ての自由度が高くなるからである。
【０１５７】
更に、Ａ＋Ｂ＋Ｃのフレーム数をできるだけ均等に分割する以外に、予め定められた所定のフレーム数で、ＧＯＰを分割するものとしても良い。例えば、２つのうちの時間的に前のＧＯＰを構成するフレーム数が必ず所定のフレーム数（例えば、Ｎ／２またはＮ／２以上となる最小の整数）となるようにして、ＧＯＰが分割されるものとしても良い。また、予め定められた所定のフレーム数は、それぞれのＧＯＰにおいて、１ＧＯＰがＮ／２≦ｘ≦Ｎを満たす区間で定められるものとすると好適である。
【０１５８】
ステップＳ４９の処理の終了後、処理は、図１２のステップＳ２に戻り、ステップＳ３に進む。
【０１５９】
ステップＳ４８において、Ａ＋Ｂ＋Ｃは、Ｎ／２≦Ａ＋Ｂ＋Ｃ≦Ｎを満たすと判断された場合、ステップＳ５０において、ＣＰＵ１１は、基準再エンコード区間にストリームＢの次のＧＯＰを加えたものを１ＧＯＰとして、最小再エンコード区間に設定し、処理は、図１１のステップＳ２に戻り、ステップＳ３に進む。
【０１６０】
このような処理により、最小再エンコード区間の設定について、短いGOPを結果として残さない様にすることができ、いたずらに画質の劣化をもたらさないようにすることができる。そして、再エンコードを行う区間の各GOPに対し、出来る限り大きなGOP長となる様なエンコードを実施できるため、符号化効率が最大となり、より良い画質の符号化を期待することができる。
【０１６１】
なお、ステップＳ４５の処理においては、基準再エンコード区間内のフレーム数をできるだけ均等になるように分割するものとして説明したが、ここでは、Ａ＋Ｂのフレーム数をできるだけ均等に分割する以外に、予め定められた所定のフレーム数で、ＧＯＰを分割するものとしても良い。
【０１６２】
次に、図１４および図１５のフローチャートを参照して、図１２のステップＳ２において実行される処理の第２の例である、最小再エンコード区間決定処理２について説明する。
【０１６３】
ステップＳ６１乃至ステップＳ６４において、図１４のステップＳ４１乃至ステップＳ４４と、基本的に同様の処理が実行される。
【０１６４】
すなわち、ＣＰＵ１１は、編集されるそれぞれのストリームにおける編集点位置の情報を基に、図４を用いて説明したように、基準再エンコード区間を決定する。そして、基準となる１GOPフレーム数をNとして、基準再エンコード区間に含まれるフレーム数Ａ＋Ｂは、Ｎ／２≦Ａ＋Ｂ≦Ｎを満たすと判断された場合、基準再エンコード区間を１ＧＯＰとして、最小再エンコード区間が設定される。
【０１６５】
そして、フレーム数Ａ＋Ｂは、Ｎ／２≦Ａ＋Ｂ≦Ｎを満たさないと判断された場合、基準となる１GOPフレーム数をNとして、基準再エンコード区間に含まれるフレーム数A＋Bは、N＋１≦Ａ＋Ｂ≦２Ｎ−１を満たすか否かが判断される。フレーム数A＋Bは、N＋１≦Ａ＋Ｂ≦２Ｎ−１を満たさないと判断された場合、処理は、後述するステップＳ６７に進む。
【０１６６】
フレーム数Ａ＋Ｂは、Ｎ＋１≦Ａ＋Ｂ≦２Ｎ−１を満たすと判断された場合、ステップＳ６５において、ＣＰＵ１１は、基準再エンコード区間のうち、編集点より前にあるフレームの数Ａは、Ａ≧Ｎ／２を満たしているか否かを判断する。ステップＳ６５において、Ａ≧Ｎ／２を満たしていると判断された場合、処理は、後述するステップＳ７２に進む。
【０１６７】
ステップＳ６５において、Ａ≧Ｎ／２を満たしていないと判断された場合、ステップＳ６６において、ＣＰＵ１１は、フレーム数Ａ＋Ｂの値に基づいた所定のフレーム数になるように分割して２ＧＯＰとし、最小再エンコード区間に設定して、処理は、図１２のステップＳ２に戻り、ステップＳ３に進む。
【０１６８】
また、このとき、例えば、２つのうちの時間的に前のＧＯＰを構成するフレーム数が必ず所定のフレーム数（例えば、Ｎ／２またはＮ／２以上となる最小の整数）となるようにして、ＧＯＰが分割されるものとしても良い。具体的には、例えば、Ｎ＝１５のとき、Ａ＋Ｂ＝１６であれば、１つ目のＧＯＰのフレーム数を８、２つ目のＧＯＰのフレーム数を８とし、Ａ＋Ｂ＝１７であれば、１つ目のＧＯＰのフレーム数を８、２つ目のＧＯＰのフレーム数を９とし、Ａ＋Ｂ＝１８であれば、１つ目のＧＯＰのフレーム数を８、２つ目のＧＯＰのフレーム数を１０とするように、２つ目のＧＯＰのフレーム数を変化させ、同様に、Ａ＋Ｂ＝２２であれば、１つ目のＧＯＰのフレーム数を８、２つ目のＧＯＰのフレーム数を１４とするようにしても良い。
【０１６９】
このようにして、時間的に前のＧＯＰのフレーム数を、再エンコードが困難とならないような所定の値に固定しておき、後のＧＯＰのフレーム数が多くなるように設定すると、再エンコードしない部分の符号化ストリームとの接続部分のOccupancy（オキュパンシ）を合わせこむためのデコードおよびエンコードの処理において、時間的に後のＧＯＰのフレーム数が多いほうが、符号割り当ての自由度が高くなるため、好適である。
【０１７０】
ステップＳ６４において、フレーム数Ａ＋Ｂは、N＋１≦Ａ＋Ｂ≦２Ｎ−１を満たさないと判断された場合、ステップＳ６７乃至ステップＳ７１において、図１４のステップＳ４６乃至ステップＳ５０と基本的に同様の処理が繰り返される。
【０１７１】
すなわち、基準となる１GOPフレーム数をＮとして、基準再エンコード区間に含まれるフレーム数Ａ＋Ｂは、０≦Ａ＋Ｂ＜Ｎ／２を満たすか否かが判断され、フレーム数Ａ＋Ｂは、０≦Ａ＋Ｂ＜Ｎ／２を満たさないと判断された場合、フレーム数Ａ＋Ｂは、２Ｎ以上の値を有するので、エラー処理が実行され、処理は、図１２のステップＳ２に戻り、ステップＳ３に進む。そして、フレーム数Ａ＋Ｂは、０≦Ａ＋Ｂ＜Ｎ／２を満たすと判断された場合、基準再エンコード区間に含まれるフレーム数Ａ＋Ｂに、ストリームＢの次のＧＯＰのフレーム数を加えた値Ａ＋Ｂ＋Ｃは、Ｎ／２≦Ａ＋Ｂ＋Ｃ≦Ｎを満たすか否かが判断される。
【０１７２】
Ａ＋Ｂ＋Ｃは、Ｎ／２≦Ａ＋Ｂ＋Ｃ≦Ｎを満たさないと判断された場合、すなわち、Ｎ＜Ａ＋Ｂ＋Ｃである場合、図５を用いて説明したように、基準再エンコード区間にストリームＢの次のＧＯＰを加えたものが、１ＧＯＰがＮ／２≦ｘ≦Ｎを満たすように分割されて、２以上のＧＯＰが設定されて、最小再エンコード区間に設定され、処理は、図１２のステップＳ２に戻り、ステップＳ３に進む。このとき、Ａ＋Ｂ＋Ｃのフレーム数ができるだけ均等になるようにＧＯＰを分割するようにしてもよいし、上述したように、１ＧＯＰがＮ／２≦ｘ≦Ｎを満たす区間で、予め定められた所定のフレーム数に基づいて、ＧＯＰを分割するものとしても良い。
【０１７３】
そして、Ａ＋Ｂ＋Ｃは、Ｎ／２≦Ａ＋Ｂ＋Ｃ≦Ｎを満たすと判断された場合、基準再エンコード区間にストリームＢの次のＧＯＰを加えたものが１ＧＯＰとされて、最小再エンコード区間に設定され、処理は、図１２のステップＳ２に戻り、ステップＳ３に進む。
【０１７４】
ステップＳ６５において、Ａ≧Ｎ／２を満たしていると判断された場合、ステップＳ７２において、ＣＰＵ１１は、編集点をＧＯＰの切れ目としたとき、基準再エンコード区間の編集点より後ろのＧＯＰのＧＯＰ数Ｂは、Ｎ／２≦Ｂを満たすか否かを判断する。
【０１７５】
ステップＳ７２において、基準再エンコード区間の後ろのＧＯＰのＧＯＰ数Ｂは、Ｎ／２≦Ｂを満たすと判断された場合、ステップＳ７３において、ＣＰＵ１１は、編集点をＧＯＰの切れ目として、基準再エンコード区間を２ＧＯＰに分割し、最小再エンコード区間に設定して、処理は、図１２のステップＳ２に戻り、ステップＳ３に進む。
【０１７６】
なお、ステップＳ７３の処理が実行された場合、図１２を用いて説明したＣＰＵ１１の処理のステップＳ７において、ＣＰＵ１１は、最小再エンコード区間において編集点より後ろのＧＯＰのディスプレイ順における先頭をＩ２ピクチャとする（換言すれば、Ｂ０およびＢ１ピクチャを省略する）ことを示す情報を、再エンコードに必要なパラメータとして、ノースブリッジ１２、ＰＣＩバス１４、ＰＣＩブリッジ１７、および、コントロールバス１９を介して、ＣＰＵ２０に送出する。
【０１７７】
ステップＳ７２において、基準再エンコード区間の後ろのＧＯＰのＧＯＰ数Ｂは、Ｎ／２≦Ｂを満たさないと判断された場合、ステップＳ７４において、ＣＰＵ１１は、編集点をＧＯＰの切れ目としたとき、基準再エンコード区間の後ろのＧＯＰのＧＯＰ数Ｂに、ストリームＢの次のＧＯＰのフレーム数Ｃを加えたＢ＋Ｃは、Ｎ／２≦Ｂ＋Ｃ≦Ｎを満たすか否かを判断する。
【０１７８】
ステップＳ７４において、Ｎ／２≦Ｂ＋Ｃ≦Ｎが満たされると判断された場合、ステップＳ７５において、ＣＰＵ１１は、基準再エンコード区間にストリームＢの次のＧＯＰを加えたものを、１ＧＯＰ目が編集点より前、２ＧＯＰ目を編集点より後ろの部分として、最小再エンコード区間に設定して、処理は、図１２のステップＳ２に戻り、ステップＳ３に進む。
【０１７９】
ステップＳ７４において、Ｎ／２≦Ｂ＋Ｃ≦Ｎを満たさないと判断された場合、ステップＳ７６において、ＣＰＵ１１は、Ｂ＋Ｃは、Ｎ／２＞Ｂ＋Ｃを満たすか否かを判断する。
【０１８０】
ステップＳ７６において、Ｎ／２＞Ｂ＋Ｃが満たされないと判断された場合、Ｂ＋Ｃ＞Ｎであるので、ステップＳ７７において、ＣＰＵ１１は、基準再エンコード区間にストリームＢの次のＧＯＰを加えたものを、１ＧＯＰ目が編集点より前、２ＧＯＰ目および３ＧＯＰ目を、編集点より後ろの部分、すなわち、フレーム数がＢ＋Ｃフレームである部分を２ＧＯＰに分割したそれぞれのＧＯＰであるものとして、この３ＧＯＰを最小再エンコード区間に設定し、処理は、図１２のステップＳ２に戻り、ステップＳ３に進む。
【０１８１】
ステップＳ７６において、Ｎ／２＞Ｂ＋Ｃが満たされると判断された場合、ステップＳ７８において、ＣＰＵ１１は、更に、ストリームＢの次のＧＯＰのフレーム数を加えたフレーム数は、Ｎ／２と等しいか、または、大きいかを判断する。ステップＳ７８において、フレーム数はＮ／２より小さいと判断された場合、フレーム数が、Ｎ／２と等しいか、または、大きいと判断されるまで、ステップＳ７８の処理が繰り返される。
【０１８２】
ステップＳ７８において、フレーム数が、Ｎ／２と等しいか、または、大きいと判断された場合、ステップＳ７９において、ＣＰＵ１１は、基準再エンコード区間にストリームＢの複数ＧＯＰを加えたものを、１ＧＯＰ目が編集点より前、２ＧＯＰ目を編集点より後ろの部分として、最小再エンコード区間に設定して、処理は、図１２のステップＳ２に戻り、ステップＳ３に進む。
【０１８３】
このような処理により、最小再エンコード区間の設定について、ＧＯＰを構成するフレーム数と、編集点の位置とを考慮して、いたずらに画質の劣化をもたらさないようなＧＯＰ構成とすることができる。それにより、より良い画質の符号化を期待することができる。
【０１８４】
なお、ステップＳ６６の処理においては、Ａ＋Ｂのフレーム数をできるだけ均等に分割する以外に、予め定められた所定のフレーム数で、ＧＯＰを分割するものとして説明したが、ここでは、基準再エンコード区間内のフレーム数をできるだけ均等になるように分割するものとしても良い。
【０１８５】
次に、図１６のフローチャートを参照して、２パスエンコードモードにおいて実行される、ＣＰＵ２０の処理１について説明する。
【０１８６】
ステップＳ８１において、ＣＰＵ２０は、図１１のステップＳ７においてＣＰＵ１１により送出された、最小再エンコード区間の再エンコード処理を実行させるために必要なパラメータおよびエンコード終端処理に必要なパラメータを取得する。
【０１８７】
ステップＳ８２において、ＣＰＵ２０は、最小再エンコード区間のＶＢＶ開始値Ｖ１とＶＢＶ目標値Ｖ２とを取得する。
【０１８８】
ステップＳ８３において、図１８を用いて後述する最小再エンコード区間の符号配分決定処理が実行される。
【０１８９】
ステップＳ８４において、ＣＰＵ２０は、決定された符号配分に基づいて、最小再エンコード区間のデコードおよびエンコード、並びに、編集点の接続の制御を開始する。すなわち、ＣＰＵ２０は、ノースブリッジ１２、ＰＣＩバス１４、ＰＣＩブリッジ１７、および、コントロールバス１９を介して、ＣＰＵ１１から送出される制御信号を基に、ストリームＡの最小再エンコード区間以前の部分のデータは、ストリームスプライサ２５を介して、デコーダ２４に供給され、スイッチ２９を介して、外部の表示装置などに出力されるように、ＰＣＩブリッジ１７、ストリームスプライサ２５、デコーダ２４、および、スイッチ２９の動作を制御し、ストリームＡの最小再エンコード区間のデータがデコーダ２２に供給されてデコードされ、ストリームＢの編集点ｂ以降の部分（編集点ｂ以降の部分のデコードに必要なフレームが編集点ｂ以前に存在する場合は、そのフレームも含む）がデコーダ２３に供給され、エフェクト／スイッチ２６によって、デコードされたそれぞれのストリームが編集点で接続され、必要に応じてエフェクトが施された後、スイッチ２９を介して、外部の表示装置などに出力されるとともに、エンコーダ２７によってエンコードされるように、ＰＣＩブリッジ１７、デコーダ２２、デコーダ２３、エフェクト／スイッチ２６、エンコーダ２７、および、スイッチ２９の動作を制御する。
【０１９０】
ステップＳ８５において、ＣＰＵ２０は、最小再エンコード区間の再エンコードは終了したか否かを判断する。最小再エンコード区間の再エンコードは終了していないと判断された場合、最小再エンコード区間の再エンコードは終了したと判断されるまで、ステップＳ８５の処理が繰り返される。
【０１９１】
ステップＳ８５において、最小再エンコード区間の再エンコードは終了したと判断された場合、ステップＳ８６において、ＣＰＵ２０は、最小再エンコード区間の再エンコード終了点のＶＢＶ値は、ＶＢＶ目標値に合致するか否かを判断する。
【０１９２】
例えば、ステップＳ８２において、図１７に示される最小再エンコード区間におけるＶＢＶ開始値Ｖ１とＶＢＶ目標値Ｖ２とが取得される。そして、再エンコード終了点のＶＢＶ値は、ＶＢＶ目標値であるＶ２より大きな値となるか否かが判断される。
【０１９３】
ステップＳ８６において、再エンコード終了点のＶＢＶ値は、ＶＢＶ目標値に合致しないと判断された場合、ステップＳ８７において、ＣＰＵ２０は、最小再エンコード区間において実施された再エンコード処理に関するパラメータとして、実際のエンコード結果によるVBV到達点、および、最小再エンコード区間の符号の総発生符号量Ｇを取得する。実際のエンコード結果によるVBV到達点は、例えば、図１７において、Ｖ３で示される。
【０１９４】
ステップＳ８８において、ＣＰＵ２０は、ＶＢＶ目標値に対するＶＢＶ達成値の差分を求める。
【０１９５】
すなわち、ＣＰＵ２０は、図１７に示されるように、最小再エンコード区間におけるＶＢＶ開始値Ｖ１とＶＢＶ目標値Ｖ２、実際のエンコード結果によるVBV到達点Ｖ３、および、最小再エンコード区間の符号の総発生符号量Ｇを基に、Ｖ２−Ｖ３をVBV Buffer上昇分の担保とする。
【０１９６】
ステップＳ８９において、ＣＰＵ２０は、ステップＳ８８において求められた、ＶＢＶ目標値に対するＶＢＶ到達値の差分を基に、発生符号量の再計算を実行し、処理は、ステップＳ８４に戻り、それ以降の処理が繰り返される。
【０１９７】
すなわち、ＣＰＵ２０は、VBV Buffer上昇分Ｖ２−Ｖ３を考慮して、最小再エンコード区間を再度エンコードする場合、TM5の発生符号目標値計算において、Ｇ‘＝Ｇ−（Ｖ２−Ｖ３）−Δを用いる。ここで、Δは、画質を考慮した上での各機器で考慮するマージン分とする。
【０１９８】
ステップＳ８６において、再エンコード終了点のＶＢＶ値は、ＶＢＶ目標値に合致する、すなわち、Occupancyの連続性が保たれたと判断された場合、ステップＳ９０において、図２０を用いて後述するエンコード終端処理が実行され、処理が終了される。
【０１９９】
このような処理により、再エンコード区間の終了点において、ＶＢＶ目標値に合致するか否かが判断され、ＶＢＶ目標値に合致しなかった場合、１回目のエンコードの実績に基づいて、もう一度、最小再エンコード区間の再エンコードが実行されるので、２回目には、再エンコード区間の終了点において、ＶＢＶ目標値に合致することができるような再エンコード処理が実行されるように符号配分が決定される可能性が高くなる。
【０２００】
なお、ここでは、ステップＳ８３において、図１８を用いて後述する最小再エンコード区間の符号配分決定処理が実行されて、符号配分が決定されるものとして説明するが、ここでは、ＶＢＶ目標値Ｖ２に対して、最小再エンコード区間の符号配分を決定することが可能であれば、符号配分の決定方法は、いずれの方法を用いてもよい。
【０２０１】
また、ここでは、最小再エンコード区間の１回目の再エンコード処理によってＶＢＶ目標値に到達しなかった場合、再度、最小再エンコード区間を再エンコードするものとして説明しているが、最小再エンコード区間が複数のＧＯＰで構成されているとき、全てのＧＯＰの再エンコードを繰り返すことなく、最後の１ＧＯＰのみ、または、後ろから複数のＧＯＰのみの再エンコードを、符号配分を変更して繰り返すようにしてもよい。
【０２０２】
次に、図１８のフローチャートを参照して、図１６のステップＳ８３において実行される最小再エンコード区間の符号配分決定処理について説明する。
【０２０３】
ステップＳ１１１において、ＣＰＵ２０は、ステップＳ８２において取得された、最小再エンコード区間のＶＢＶ開始値Ｖ１とＶＢＶ目標値Ｖ２とに基づいて、Ｖ２−Ｖ１を求める。
【０２０４】
ステップＳ１１２において、ＣＰＵ２０は、最小再エンコード区間において、平均的な絵柄が続いた場合を仮定し、その場合の発生符号量Ｇを求める。
【０２０５】
すなわち、編集点を含んだ最小再エンコード区間に対して、ＶＢＶ開始点からＶＢＶ目標点までの符号化を行う際、この部分のエンコード処理に関しては、まだ、何の実績も無いので、最小再エンコード区間の終了点において、ＶＢＶ占有量がいずれの値に到達するかを推定するための根拠がない。このため、エンコード終了点におけるＶＢＶ到達点の推定処理は容易ではない。そこで、ＣＰＵ２０は、図１９に示されるように、最小再エンコード区間に含まれる画像が平均的な絵柄である、すなわち、ＶＢＶ到達点もＶ１となることを想定して、その場合の発生符号量Ｇを求める。
【０２０６】
そして、ステップＳ１１３において、ＣＰＵ２０は、Ｖ２−Ｖ１を、VBV上昇分として考慮し、最小再エンコード区間における発生符号量を求める。
【０２０７】
すなわち、ＣＰＵ２０は、最小再エンコード区間に含まれる画像が平均的な絵柄であることを想定した上で、ステップＳ８２において取得された、最小再エンコード区間のＶＢＶ開始値Ｖ１とＶＢＶ目標値Ｖ２に基づいて、図１９に示されるＶ２−Ｖ１を、VBV上昇分として担保する。そして、ＣＰＵ２０は、ＴＭ５の発生符号目標値計算において、Ｇ‘＝Ｇ−（Ｖ２−Ｖ１）−Δを求める。ここで、Δは、画質を考慮した上での各機器で考慮するマージン分とする。
【０２０８】
そして、ステップＳ１１４において、ＣＰＵ２０は、ステップＳ１１３により求められた発生符号量に基づいて、最小再エンコード区間の符号配分を決定し、処理は、図１６のステップＳ８３に戻り、ステップＳ８４に進む。
【０２０９】
このような処理により、最小再エンコード区間の最初の再エンコード時における発生符号量の配分が決定される。これにより、Ｖ２−Ｖ１が正の値であっても負の値であっても、ＴＭ５の発生符号目標値計算において、Ｇの値を最小再エンコード区間に含まれる画像が平均的な絵柄であるとしたときよりも適切な発生符号量を割り当てて、バッファアンダーフローを防止しつつ、画質劣化を抑制することが可能となる。
【０２１０】
次に、図２０のフローチャートを参照して、図１６のステップＳ９０において実行される、エンコード終端処理について説明する。
【０２１１】
ステップＳ１２１において、ＣＰＵ２０は、次のＧＯＰのエンコード前に、次のＧＯＰのＢピクチャの量子化マトリクスを設定する。
【０２１２】
ステップＳ１２２において、ＣＰＵ２０は、Ｉピクチャから次のＰピクチャの直前までの区間の再エンコードを実行する。
【０２１３】
ステップＳ１２３において、ＣＰＵ２０は、ＶＢＶ目標値を次のＧＯＰの最初のＰピクチャの直前のＶＢＶ値に設定し、再エンコード終了点のＶＢＶ値は、ＶＢＶ目標値に合致するか否かを判断する。このとき、オリジナルのストリーム(例えば、図４などにおけるストリームＢ)のＩピクチャのビット量を用いて、再エンコード終了点のＶＢＶ値は、ＶＢＶ目標値に合致するか否かの判断が実行される。
【０２１４】
ステップＳ１２３において、ＶＢＶ目標値に合致した、すなわち、Occupancyの連続性が保たれたと判断された場合、ステップＳ１２４において、ＣＰＵ２０は、再エンコードを終了し、Ｉピクチャをオリジナルのストリーム(例えば、図４などにおけるストリームＢ)のＩピクチャに置き換えて、このＧＯＰの最初のＰピクチャの直前までの再エンコード画像を、編集画像として採用するように、各部を制御して、処理は、図１６のステップＳ９０に戻り、処理が終了される。
【０２１５】
ステップＳ１２３において、ＶＢＶ目標値に合致しなかったと判断された場合、ステップＳ１２５において、ＣＰＵ２０は、再エンコードを終了し、前のＧＯＰまでの再エンコード画像を採用する、すなわち、ストリームスプライサ２５に供給されたオリジナルのストリームＢにおいて、最初のＰピクチャの前に配置されている１枚または複数枚のＢピクチャを編集画像として採用する処理を実行して（換言すれば、ステップＳ１２２において再エンコードされた、次のＰピクチャの直前までの区間の再エンコード結果を破棄して）、処理は、図１６のステップＳ９０に戻り、処理が終了される。
【０２１６】
このような処理により、ＧＯＰの切れ目でＶＢＶが連続した場合、次のＰピクチャの直前まで再エンコードされる区間が延長され、その再エンコードされる区間の終了点でＶＢＶが連続するように、再エンコードが制御される。そして、次のＰピクチャにおいてＶＢＶが連続した場合、編集データとして、次のＧＯＰの最初のＰピクチャの直前までのＢピクチャが加えられる。
【０２１７】
次に、図２１のフローチャートを参照して、延長再エンコード区間設定モードにおいて実行される、ＣＰＵ２０の処理２について説明する。
【０２１８】
ステップＳ１５１において、ＣＰＵ２０は、図１１のステップＳ７においてＣＰＵ１１により送出された、最小再エンコード区間の再エンコード処理を実行させるために必要なパラメータおよびエンコード終端処理に必要なパラメータを取得する。
【０２１９】
ステップＳ１５２において、ＣＰＵ２０は、最小再エンコード区間のＶＢＶ開始値Ｖ１とＶＢＶ目標値Ｖ２とを取得する。
【０２２０】
ステップＳ１５３において、図１８を用いて説明した、最小再エンコード区間の符号配分決定処理が実行される。
【０２２１】
ステップＳ１５４において、ＣＰＵ２０は、決定された符号配分に基づいて、最小再エンコード区間のデコードおよびエンコード、並びに、編集点の接続の制御を開始する。すなわち、ＣＰＵ２０は、ノースブリッジ１２、ＰＣＩバス１４、ＰＣＩブリッジ１７、および、コントロールバス１９を介して、ＣＰＵ１１から送出される制御信号を基に、ストリームＡの最小再エンコード区間以前の部分のデータは、ストリームスプライサ２５を介して、デコーダ２４に供給され、スイッチ２９を介して、外部の表示装置などに出力されるように、ＰＣＩブリッジ１７、ストリームスプライサ２５、デコーダ２４、および、スイッチ２９の動作を制御し、ストリームＡの最小再エンコード区間のデータがデコーダ２２に供給されてデコードされ、ストリームＢの編集点ｂ以降の部分（編集点ｂ以降の部分のデコードに必要なフレームが編集点ｂ以前に存在する場合は、そのフレームも含む）がデコーダ２３に供給され、エフェクト／スイッチ２６によって、デコードされたそれぞれのストリームが編集点で接続され、必要に応じてエフェクトが施された後、スイッチ２９を介して、外部の表示装置などに出力されるとともに、エンコーダ２７によってエンコードされるように、ＰＣＩブリッジ１７、デコーダ２２、デコーダ２３、エフェクト／スイッチ２６、エンコーダ２７、および、スイッチ２９の動作を制御する。
【０２２２】
ステップＳ１５５において、ＣＰＵ２０は、図１２のステップＳ１３においてＣＰＵ１１により送出された、延長再エンコード区間の再エンコード処理を実行させるために必要なパラメータおよびエンコード終端処理に必要なパラメータを取得する。
【０２２３】
ステップＳ１５６において、ＣＰＵ２０は、延長再エンコード区間のＶＢＶ開始値Ｖ１’とＶＢＶ目標値Ｖ２’とを取得する。
【０２２４】
ステップＳ１５７において、ＣＰＵ２０は、現在設定されている再エンコード区間(例えば、１回目のステップＳ１５７の処理においては、最小再エンコード区間、それ以降に実行されるステップＳ１５７の処理においては、延長再エンコード区間)の再エンコードは終了したか否かを判断する。ステップＳ１５７において、現在設定されている区間の再エンコードは終了していないと判断された場合、現在設定されている区間の再エンコードは終了したと判断されるまで、ステップＳ１５７の処理が繰り返される。
【０２２５】
ステップＳ１５７において、現在設定されている区間の再エンコードは終了したと判断された場合、ステップＳ１５８において、ＣＰＵ２０は、再エンコード終了点のＶＢＶ値は、ＶＢＶ目標値に合致するか否かを判断する。
【０２２６】
ステップＳ１５８において、再エンコード終了点のＶＢＶ値は、ＶＢＶ目標値に合致しないと判断された場合、ステップＳ１５９において、図２２または図２４を用いて後述する、延長再エンコード区間の設定処理が実行される。
【０２２７】
ステップＳ１６０において、ＣＰＵ２０は、ステップＳ１５９において決定した、次のＧＯＰ延長再エンコード区間の符号配分に基づいて、次に再エンコードされる延長再エンコード区間のデコードおよびエンコードの開始を制御し、処理は、ステップＳ１５５に戻り、それ以降の処理が繰り返される。
【０２２８】
ステップＳ１５８において、再エンコード終了点のＶＢＶ値は、ＶＢＶ目標値に合致する、すなわち、Occupancyの連続性が保たれたと判断された場合、ステップＳ１６１において、図２０を用いて説明したエンコード終端処理が実行され、処理が終了される。
【０２２９】
このような処理により、再エンコード区間の終了点において、ＶＢＶ目標値に合致するか否かが判断され、ＶＢＶ目標値に合致しなかった場合、再エンコード区間が延長されるので、再エンコードがリトライされない。そのため、編集時にリアルタイムで編集画像を表示させる場合などの応答性が向上する。
【０２３０】
また、ある再エンコード区間の処理が終了する前に、次に再エンコードされる延長再エンコード区間を再エンコードするために必要な情報が取得されるので、再エンコード区間が延長された場合でも、処理が遅延されるようなことがない。
【０２３１】
次に、図２２のフローチャートを参照して、図２１のステップＳ１５９において実行される処理の第１の例である、延長再エンコード区間の設定処理１について説明する。
【０２３２】
ステップＳ１８１において、ＣＰＵ２０は、ステップＳ１５６において取得された、延長再エンコード区間のＶＢＶ開始値Ｖ１´とＶＢＶ目標値Ｖ２´とに基づいて、Ｖ２´−Ｖ１´を求める。
【０２３３】
ステップＳ１８２において、ＣＰＵ２０は、延長再エンコード区間において、平均的な絵柄が続いた場合を仮定し、その場合の発生符号量Ｇを求める。
【０２３４】
すなわち、ＣＰＵ２０は、最小再エンコード区間における場合と同様にして、延長再エンコード区間に含まれる画像が平均的な絵柄であること、すなわち、再エンコード終了点がＶ１´となる場合を想定した発生符号量Ｇを基に、VBV Bufferの上昇分を考慮し、発生符号量Ｇ´を求めるものとする。
【０２３５】
そして、ステップＳ１８３において、ＣＰＵ２０は、Ｖ２´−Ｖ１´を、VBV上昇分として考慮し、延長再エンコード区間における発生符号量を求める。
【０２３６】
すなわち、ＣＰＵ２０は、延長再エンコード区間に含まれる画像が平均的な絵柄であることを想定した上で、ステップＳ１５６において取得された、延長再エンコード区間のＶＢＶ開始値Ｖ１´とＶＢＶ目標値Ｖ２´に基づいて、Ｖ２´−Ｖ１´、すなわち、図２３に示されるＶ２´−Ｖ１´を、VBV上昇分として担保する。そして、ＣＰＵ２０は、ＴＭ５の発生符号目標値計算において、Ｇ‘＝Ｇ−（Ｖ２´−Ｖ１´）−Δを求める。ここで、Δは、画質を考慮した上での各機器で考慮するマージン分とする。
【０２３７】
ステップＳ１８４において、ＣＰＵ２０は、図２１のステップＳ１５５において取得した、次にエンコードされる延長再エンコード区間の再エンコード処理を実行させるために必要なパラメータおよびエンコード終端処理に必要なパラメータ、並びに、ステップＳ１８３において求められた延長再エンコード区間における発生符号量Ｇ´を基に、符号配分が決定され、延長再エンコード区間の再エンコードの設定を行い、処理は、図２１のステップＳ１５９に戻り、ステップＳ１６０に進む。
【０２３８】
このような処理により、延長再エンコード区間における符号量の配分が求められる。
【０２３９】
ところで、延長再エンコード区間においては、編集点が存在しないことから、ストリームＢの編集点以降のオリジナルのエンコードにおいて、オリジナルのVBV開始点からVBV目標点までの符号化実績が存在する。したがって、この符号化実績を用いて、発生符号量を算出すると好適である。例えば、オリジナルの符号化実績よりも量子化を粗くすることにより、オリジナルのVBV開始点よりＶＢＶ占有量の値の少ない延長再エンコード区間開始点からオリジナルのVBV目標点へバッファ占有量が移行するような符号配分が可能となる。
【０２４０】
次に、図２４のフローチャートを参照して、図２１のステップＳ１５９において実行される処理の第２の例である、延長再エンコード区間の設定処理２について説明する。
【０２４１】
ステップＳ２０１において、ＣＰＵ２０は、ノースブリッジ１２、ＰＣＩバス１４、ＰＣＩブリッジ１７、および、コントロールバス１９を介して、ＣＰＵ１１から、延長再エンコード区間におけるオリジナルのＶＢＶ開始値におけるバッファ占有量Ｖ４を取得する。
【０２４２】
すなわち、図２５に示されるように、延長再エンコード区間となるGOPのオリジナル、すなわち、編集素材であるストリームＢがエンコードされた場合のこの区間におけるＶＢＶ開始点のバッファ占有量をＶ４、再エンコード時のＶＢＶ開始点、すなわち、最長再エンコード区間の一つ前の区間における再エンコードの終了点におけるバッファ占有量をＶ１´、この延長再エンコード区間となるＧＯＰのＶＢＶ目標点をＶ２´とすると、延長再エンコード区間に対応するオリジナルストリーム、すなわち、編集素材であるストリームＢの対応するＧＯＰにおいては、符号化が実行されることによりバッファ占有量がＶ４からＶ２´に変化したという実績がある。この処理においては、この符号化実績を利用して、符号配分が設定される。
【０２４３】
ステップＳ２０２において、ＣＰＵ２０は、ステップＳ１５６において取得された、延長再エンコード区間のＶＢＶ開始値Ｖ１´と、ステップＳ２０１において取得された延長再エンコード区間におけるオリジナルのＶＢＶ開始値におけるバッファ占有量Ｖ４に基づいて、Ｖ４−Ｖ１´を求める。
【０２４４】
ステップＳ２０３において、ＣＰＵ２０は、図２２のステップＳ１３２における場合と同様に、延長再エンコード区間において、平均的な絵柄が続いた場合を仮定し、その場合の発生符号量Ｇを求める。
【０２４５】
そして、ステップＳ２０４において、ＣＰＵ２０は、Ｖ４−Ｖ１´を、ＶＢＶ上昇分として考慮し、延長再エンコード区間における発生符号量を求める。
【０２４６】
すなわち、ＣＰＵ２０は、延長再エンコード区間に対応するオリジナルストリーム、すなわち、編集素材であるストリームＢの対応するＧＯＰにおいては、符号化が実行されることによりバッファ占有量がＶ４からＶ２´に変化したという実績に基づいて、Ｖ４−Ｖ１´、すなわち、図２５に示されるＶ４−Ｖ１´を、ＶＢＶ上昇分として担保する。そして、ＣＰＵ２０は、ＴＭ５の発生符号目標値計算において、Ｇ″＝Ｇ−（Ｖ４−Ｖ１´）−Δを求める。ここで、Δは、画質を考慮した上での各機器で考慮するマージン分とする。
【０２４７】
ステップＳ２０５において、ＣＰＵ２０は、図２１のステップＳ１５５において取得した、次にエンコードされる延長再エンコード区間の再エンコード処理を実行させるために必要なパラメータおよびエンコード終端処理に必要なパラメータ、並びに、ステップＳ２０４において求められた延長再エンコード区間における発生符号量Ｇ″を基に、符号配分を決定して、延長再エンコード区間の再エンコードの設定を行い、処理は、図２１のステップＳ１５９に戻り、ステップＳ１６０に進む。
【０２４８】
このような処理により、延長再エンコード区間の発生符号量の配分が決定される。これにより、Ｖ４−Ｖ１´が正の値であっても負の値であっても、ＴＭ５の発生符号目標値計算において、Ｇの値を最小再エンコード区間に含まれる画像が平均的な絵柄であるとしたときよりも適切な発生符号量を割り当てて、バッファアンダーフローを防止しつつ、画質劣化を抑制することが可能となる。
【０２４９】
なお、ここでは、コーディックの方式としてＭＰＥＧを用いた場合を例として説明しているが、フレーム相関を伴うコーディック処理を行う場合、バッファモデリングにしたがうコーディック処理を行う場合においても、本発明は適用可能であることはいうまでもない。例えば、ＡＶＣ（Advanced Video Coding）／Ｈ．２６４などにおいて、本発明は適用可能である。
【０２５０】
上述した一連の処理は、ソフトウェアにより実行することもできる。そのソフトウェアは、そのソフトウェアを構成するプログラムが、専用のハードウェアに組み込まれているコンピュータ、または、各種のプログラムをインストールすることで、各種の機能を実行することが可能な、例えば汎用のパーソナルコンピュータなどに、記録媒体からインストールされる。この場合、例えば、図３を用いて説明した編集装置１は、図２６に示されるようなパーソナルコンピュータ３０１により構成される。
【０２５１】
図２６において、ＣＰＵ（Central Processing Unit）３１１は、ＲＯＭ（Read Only Memory）３１２に記憶されているプログラム、または記憶部３１８からＲＡＭ（Random Access Memory）３１３にロードされたプログラムにしたがって、各種の処理を実行する。ＲＡＭ３１３にはまた、ＣＰＵ３１１が各種の処理を実行する上において必要なデータなども適宜記憶される。
【０２５２】
ＣＰＵ３１１、ＲＯＭ３１２、およびＲＡＭ３１３は、バス３１４を介して相互に接続されている。このバス３１４にはまた、入出力インタフェース３１５も接続されている。
【０２５３】
入出力インタフェース３１５には、キーボード、マウスなどよりなる入力部３１６、ディスプレイやスピーカなどよりなる出力部３１７、ハードディスクなどより構成される記憶部３１８、モデム、ターミナルアダプタなどより構成される通信部３１９が接続されている。通信部３１９は、インターネットを含むネットワークを介しての通信処理を行う。
【０２５４】
入出力インタフェース３１５にはまた、必要に応じてドライブ３２０が接続され、磁気ディスク３３１、光ディスク３３２、光磁気ディスク３３３、もしくは、半導体メモリ３３４などが適宜装着され、それらから読み出されたコンピュータプログラムが、必要に応じて記憶部３１８にインストールされる。
【０２５５】
一連の処理をソフトウェアにより実行させる場合には、そのソフトウェアを構成するプログラムが、専用のハードウェアに組み込まれているコンピュータ、または、各種のプログラムをインストールすることで、各種の機能を実行することが可能な、例えば汎用のパーソナルコンピュータなどに、ネットワークや記録媒体からインストールされる。
【０２５６】
この記録媒体は、図２６に示されるように、装置本体とは別に、ユーザにプログラムを供給するために配布される、プログラムが記憶されている磁気ディスク３３１（フロッピディスクを含む）、光ディスク３３２（ＣＤ-ＲＯＭ（Compact Disk-Read Only Memory），ＤＶＤ（Digital Versatile Disk）を含む）、光磁気ディスク３３３（ＭＤ（Mini-Disk）（商標）を含む）、もしくは半導体メモリ３３４などよりなるパッケージメディアにより構成されるだけでなく、装置本体に予め組み込まれた状態でユーザに供給される、プログラムが記憶されているＲＯＭ３１２や、記憶部３１８に含まれるハードディスクなどで構成される。
【０２５７】
また、本明細書において、記録媒体に記録されるプログラムを記述するステップは、記載された順序に沿って時系列的に行われる処理はもちろん、必ずしも時系列的に処理されなくとも、並列的あるいは個別に実行される処理をも含むものである。
【０２５８】
なお、上述の実施の形態においては、編集装置１が、それぞれ、デコーダとエンコーダを有しているものとして説明したが、デコーダおよびエンコーダが、それぞれ、独立した装置として構成されている場合においても、本発明は適用可能である。例えば、図２７に示されるように、ストリームデータを復号してベースバンド信号に変換する復号装置３７１、ベースバンド信号を符号化してストリームデータに変換する符号化装置３７２が、それぞれ独立した装置として構成されていても良い。
【０２５９】
このとき、復号装置３７１は、映像素材である圧縮符号化データを復号し、符号化装置３７２に供給するのみならず、本発明を適用することにより符号化装置３７２により部分的に符号化された後、編集されて生成された圧縮符号化データの供給を受け、復号処理を行い、ベースバンド信号に変換することができる。ベースバンド信号に変換された編集後のストリームは、例えば、所定の表示装置に供給されて表示されたり、他の装置に出力されて、必要な処理が施される。
【０２６０】
さらに、上述の実施の形態においては、デコーダ２２乃至２４が、供給された圧縮符号化データを完全にデコードせず、対応するエンコーダ２７が、非完全に復号されたデータの対応する部分を部分的にエンコードする場合においても、本発明は適用可能である。
【０２６１】
例えば、デコーダ２２乃至２４が、ＶＬＣ符号に対する復号および逆量子化のみを行い、逆DCT変換を実行していなかった場合、エンコーダ２７は、量子化および可変長符号化処理を行うが、DCT変換処理は行わない。このような部分的な符号化（中途段階からの符号化）を行うエンコーダにおいても、本発明を適用することができるのは言うまでもない。
【０２６２】
さらに、上述の実施の形態においては、デコーダ２２乃至２４が完全に復号したベースバンド信号を、エンコーダ２７が中途段階まで符号化する場合（例えば、DCT変換および量子化を行うが可変長符号化処理を行わないなど）や、デコーダ２２乃至２４が完全に復号していない（例えば、ＶＬＣ符号に対する復号および逆量子化のみを行い、逆DCT変換を実行していない）ため、中途段階まで符号化されているデータに対して、エンコーダ２７が更に中途段階まで符号化する場合など（例えば、量子化を行うが可変長符号化処理を行わないなど）においても、本発明は適用可能である。
【０２６３】
更に、図２７に示される復号装置３７１が、供給されたストリームデータを完全に復号せず、対応する符号化装置３７２が、非完全に復号されたデータの対応する部分を部分的に符号化する場合においても、本発明は適用可能である。
【０２６４】
例えば、復号装置３７１が、ＶＬＣ符号に対する復号および逆量子化のみを行い、逆DCT変換を実行していなかった場合、符号化装置３７２は、量子化および可変長符号化処理を行うが、DCT変換処理は行わない。このような部分的な復号処理（中途段階までの復号）を行う復号装置３７１のデコード処理、および、符号化（中途段階からの符号化）を行う符号化装置３７２のエンコード処理において、本発明を適用することができるのは言うまでもない。
【０２６５】
更に、復号装置３７１が完全に復号したベースバンド信号を、符号化装置３７２が中途段階まで符号化する場合（例えば、DCT変換および量子化を行うが可変長符号化処理を行わないなど）や、復号装置３７１が完全に復号していない（例えば、ＶＬＣ符号に対する復号および逆量子化のみを行い、逆DCT変換を実行していない）ため、中途段階まで符号化されているデータに対して、符号化装置３７２が更に中途段階まで符号化する場合など（例えば、量子化を行うが可変長符号化処理を行わないなど）においても、本発明は適用可能である。
【０２６６】
更に、このような部分的な復号を行う（復号処理の工程のうちの一部を実行する）符号化装置３１と部分的な符号化を行う（符号化処理の工程のうちの一部を実行する）符号化装置３７２で構成されたトランスコーダ３８１においても、本発明は適用可能である。このようなトランスコーダ３８１は、例えば、スプライシングなどの編集を行う編集装置３８２、すなわち、上述した編集装置１のストリームスプライサ２５やエフェクト／スイッチ２６が実行可能な機能を有する編集装置が利用される場合などに用いられる。
【０２６７】
さらに、上述の実施の形態においては、ＣＰＵ１１およびＣＰＵ２０がそれぞれ別の形態で構成されているが、これに限らず、編集装置１全体を制御する１つのＣＰＵとして構成する形態も考えられる。同様に、上述の実施の形態においては、メモリ１３およびメモリ２１がそれぞれ別の形態で構成されているが、これに限らず、編集装置１において１つのメモリとして構成する形態も考えられる。
【０２６８】
さらに、上述の実施の形態においては、ＨＤＤ１６、デコーダ２２乃至２４、ストリームスプライサ２５、エフェクト／スイッチ２６、エンコーダ２７、入力端子２８、および、スイッチ２９を、それぞれ、ブリッジおよびバスを介して接続し、編集装置として一体化されている場合について述べたが、本発明はこれに限らず、例えば、これらの構成要素のうちの一部が、外部から有線または無線で接続されるようにしても良いし、これらの構成要素は、この他、種々の接続形態で相互に接続されるようにしてもよい。
【０２６９】
さらに、上述の実施の形態においては、圧縮された編集用の素材がＨＤＤに記憶されている場合について述べたが、本発明はこれに限らず、例えば、光ディスク、光磁気ディスク、半導体メモリ、磁気ディスク等の種々の記録媒体に記録された編集用の素材を用いて編集処理を行う場合にも適用することができる。
【０２７０】
さらに、上述の実施の形態においては、デコーダ２２乃至２４、ストリームスプライサ２５、エフェクト／スイッチ２６、エンコーダ２７、入力端子２８、および、スイッチ２９は、同一の拡張カード（例えば、PCIカード、PCI−Expressカード）に搭載する形態に限らず、例えばPCI−Expressなどの技術によりカード間の転送速度が高い場合には、それぞれ別の拡張カードに搭載してもよい。
【０２７１】
なお、本明細書において、システムとは、複数の装置により構成される装置全体を表すものである。
【０２７２】
なお、本発明の実施の形態は、上述した実施の形態に限定されるものではなく、本発明の要旨を逸脱しない範囲において種々の変更が可能である。
【図面の簡単な説明】
【０２７３】
【図１】編集と部分再エンコードについて説明するための図である。
【図２】部分再エンコードおよび編集処理を実行した場合のVBVバッファについて説明するための図である。
【図３】編集装置の構成を示すブロック図である。
【図４】最小再エンコード区間の設定について説明するための図である。
【図５】最小再エンコード区間の設定について説明するための図である。
【図６】最小再エンコード区間の設定について説明するための図である。
【図７】エンコード終端処理について説明するための図である。
【図８】再エンコード区間の延長について説明するための図である。
【図９】編集装置の機能構成を示す機能ブロック図である。
【図１０】制御部の機能構成を示す機能ブロック図である。
【図１１】ＣＰＵ１１の処理について説明するためのフローチャートである。
【図１２】ＣＰＵ１１の処理について説明するためのフローチャートである。
【図１３】最小再エンコード区間決定処理１について説明するためのフローチャートである。
【図１４】最小再エンコード区間決定処理２について説明するためのフローチャートである。
【図１５】最小再エンコード区間決定処理２について説明するためのフローチャートである。
【図１６】ＣＰＵ２０の処理１について説明するためのフローチャートである。
【図１７】ＶＢＶ占有量について説明するための図である。
【図１８】最小再エンコード区間の符号配分決定処理について説明するためのフローチャートである。
【図１９】ＶＢＶ占有量について説明するための図である。
【図２０】エンコード終端処理について説明するためのフローチャートである。
【図２１】ＣＰＵ２０の処理２について説明するためのフローチャートである。
【図２２】延長再エンコード区間の設定処理１について説明するためのフローチャートである。
【図２３】ＶＢＶ占有量について説明するための図である。
【図２４】延長再エンコード区間の設定処理２について説明するためのフローチャートである。
【図２５】ＶＢＶ占有量について説明するための図である。
【図２６】パーソナルコンピュータの構成を示すブロック図である。
【図２７】本発明を適用可能な異なる装置の構成について説明するための図である。
【符号の説明】
【０２７４】
１ 編集装置， １１ ＣＰＵ， １６ ＨＤＤ， ２０ ＣＰＵ， ２２乃至２４ デコーダ， ２５ ストリームスプライサ， ２６ エフェクト／スイッチ， ２７ エンコーダ， ２９ スイッチ， １０１ 制御部， １０２ 取得部， １０３ デコーダ， １３２ 再エンコード区間決定部， １３３ 動作モード決定部， １５４ 符号化制御部， １５５ 動作モード判定部
【技術分野】
【０００１】
本発明は、情報処理装置および情報処理方法、記録媒体、並びに、プログラムに関し、特に、フレーム間予測を用いて圧縮した映像データを編集する場合に用いて好適な、情報処理装置および情報処理方法、記録媒体、並びに、プログラムに関する。
【背景技術】
【０００２】
MPEG（Moving Picture Coding Experts Group／Moving Picture Experts Group）などに代表される画像圧縮方式では、フレーム間予測を用いて映像信号を圧縮符号化することで、高い圧縮効率を実現している。しかし、映像を編集することを考えた場合、フレーム間予測を用いた圧縮画像は、フレーム間に予測による圧縮信号の関連があるため、圧縮されたままの映像信号で、映像素材をつなぎ合わせることとはできない。そのため、映像素材を編集することが予め考慮されたシステムにおいては、一般的に、フレーム間予測を用いず、フレーム内での圧縮のみを用いて符号化が行われている。
【０００３】
しかしながら、例えば、ＨＤ（High Definition）信号のように、高精細で情報量の多い映像信号が取り扱われる場合、フレーム内圧縮のみで符号化を行うと、低い圧縮効率しか得られないため、多量のデータを伝送したり、蓄積するためには、転送速度が速かったり、記憶容量が大きかったり、または、処理速度が速いなどの、高価なシステムが必要となってしまう。すなわち、高精細で情報量の多い映像信号を安価なシステムで取り扱うためには、フレーム間予測を用いて圧縮効率を上げることが必要となる。
【０００４】
MPEGストリームを編集するために、従来、編集点（スプライス点）近傍のピクチャを一旦デコードし、非圧縮の画像信号を編集点でつなぎあわせた後、再エンコードする技術が用いられている（例えば、特許文献１）。
【特許文献１】国際公開番号ＷＯ９９／０５８６４号公報
【０００５】
MPEGにおいて、Ｉピクチャ（Ｉ-Picture）、Ｐピクチャ（Ｐ-Picture）、および、Ｂピクチャ（B-Picture）から構成される、双方向のフレーム間予測を用いた圧縮符号化方式は、Long GOP（Group of Picture)方式の圧縮と呼ばれる。
【０００６】
Ｉピクチャとは、フレーム内（Intra）符号化画像のことであり、他の画面とは独立に符号化されるピクチャであり、この情報のみで画像を復号することができるものである。Ｐピクチャとは、フレーム間(inter)順方向予測符号化画像のことであり、時間的に前（順方向）のフレームからの差分によって表現される前方向予測符号化ピクチャである。Ｂピクチャとは、双方向予測符号化画像のことであり、時間的に前（順方向）、または後（逆方向）、または前後（双方向）のピクチャを利用して動き補償フレーム間予測により符号化されるピクチャである。
【０００７】
ＰピクチャやＢピクチャは、データ量がＩピクチャに比べて小さいため、GOPを長くすれば（すなわち、Long GOPを構成するピクチャ数を増加させれば）、映像の圧縮率を高くすることができるので、デジタル放送やDVD（Digital Versatile Disk）ビデオでの利用に適している。しかしながら、GOPが長すぎると、フレーム精度での編集コントロールが困難となり、特に、業務用用途での編集では、運用上の問題が発生する。
【０００８】
Long GOP方式で圧縮された２つの映像データを所定の編集点で接続することにより編集する処理について、図１を用いて説明する。
【０００９】
まず、編集対象符号化ストリーム１および編集対象符号化ストリーム２のそれぞれにおいて、編集点近傍の部分的なデコードが行われ、部分的な非圧縮の映像信号１および映像信号２が得られる。そして、非圧縮の映像信号１および映像信号２が編集点で接続されて、必要に応じて編集点付近にエフェクト（Effect）が施されて、再エンコードが行われる。そして、再エンコードされた符号化ストリームが、デコードおよび再エンコードされていない（部分的なデコードが行われた編集点近傍以外の）符号化ストリームと結合される。
【００１０】
図１を用いて説明した方法は、圧縮された編集素材の映像データを全てデコードしてから、映像信号を編集点でつなぎ、再び全ての映像信号を再エンコードして編集済みの符号化ストリームを得る方法と比較して、再エンコードによる画質劣化を局所的に抑えることができるとともに、編集処理時間を大幅に短縮することができるなどの利点がある。
【発明の開示】
【発明が解決しようとする課題】
【００１１】
上述したように、編集点近傍を部分的にデコードした後、非圧縮の映像信号を接続して、接続された非圧縮の映像を再エンコードし、デコードおよび再エンコードされていない部分の符号化ストリームと結合することにより、編集を行った場合、再エンコード部分と再エンコードしない部分のVBV Buffer Occupancyの連続性を保つ必要がある。
【００１２】
図２を用いて、VBV Buffer Occupancyの連続性について説明する。
【００１３】
編集後の符号化ストリームにおいて、VBVバッファが破綻しないようにするためには、再エンコード開始部と終了部のOccupancyを、前後に結合する再エンコードしない符号化ストリームの結合部のOccupancyに一致させる必要がある。すなわち、編集後の圧縮映像の図中Ｅで示される再エンコード部分の最初のＩピクチャの図中Ｃで示されるOccupancyは、編集前の圧縮素材映像１の図中Ａで示されるOccupancyと一致するように、編集後の圧縮映像の図中Ｅで示される再エンコード部分の次のＩピクチャの図中Ｄで示されるOccupancyは、編集前の圧縮素材映像２の図中Ｂで示されるOccupancyと一致するように制御されなければならない。
【００１４】
編集前後のOccupancyは、Closed GOPの場合であっても、Closed GOPでないOpen GOPである場合にも、同様に、一致させる必要がある。VBV Buffer Occupancyの連続性が保たれていない場合、デコード時にデコーダのバッファが破綻し、例えば、ピクチャスキップやフリーズなどの現象が発生する原因となり得る。
【００１５】
PS(Program Stream)やTS(Transport Stream)においては、SCR（System Clock Reference)またはPCR（Program Clock Reference）と、PTS（Presentation Time Stamp）やDTS（Decoding Time Stamp）から、各ピクチャのVBV BufferのOccupancyを求めることができる。しかしながら、ES(Elementary Stream)においては、VBV BufferのOccupancyを容易に求めることはできない。
【００１６】
ＥＳにおいては、Picture HeaderのVBV Delayの値から、それぞれのピクチャのVBV BufferのOccupancyを求めることができる。しかしながら、Picture HeaderのVBV Delayのパラメータには、正確な値が入っているとは限らないため、VBV Delayのパラメータから算出されたOccupancyの値に信憑性がある（正確である）とはいえない。また、VBR(Variable Bit Rate)でエンコードされたＥＳにおいては、VBV Delayの値が固定値となるので、VBV BufferのOccupancyを求めるために利用することができない。
【００１７】
このように、ＥＳにおいては、VBV BufferのOccupancyを容易に求めることはできないので、ＥＳを編集するにあたり、VBV Bufferの連続性を保つように正しく再エンコードできない場合、バッファがオーバフローまたはアンダーフローしてしまい、デコードされた映像に、例えば、ピクチャスキップやフリーズなどの現象が発生してしまう恐れがある。
【００１８】
例えば、放送番組制作用途のシステムなどでは、映像にピクチャスキップやフリーズなどなどが発生することは許されない。しかし、従来、タイムスタンプが挿入されていないESを編集するにあたっては、VBV Buffer Occupancyの連続性を保つことはできなかった。
【００１９】
本発明はこのような状況に鑑みてなされたものであり、ＥＳを編集するにあたり、VBV Buffer Occupancyの連続性を保つことができるようにするものである。
【課題を解決するための手段】
【００２０】
本発明の一側面の情報処理装置は、第１の符号化ストリームおよび第２の符号化ストリームを編集点で接続する処理を実行する情報処理装置であって、前記第１の符号化ストリームおよび前記第２の符号化ストリームのうち、再エンコードを実行する区間を決定する制御手段と、前記第１の符号化ストリームおよび前記第２の符号化ストリームをデコードするデコード手段と、前記第１の符号化ストリームが前記デコード手段によりデコードされて生成された第１のベースバンド信号と、前記第２の符号化ストリームが前記デコード手段によりデコードされて生成された第２のベースバンド信号とが、前記編集点で接続された第３のベースバンド信号をエンコードして、第３の符号化ストリームを生成するエンコード手段と、前記エンコード手段によるエンコード処理の発生符号量を管理する管理手段とを備え、前記制御手段は、前記第１の符号化ストリームおよび前記第２の符号化ストリームのうち、再エンコードを実行する第１の区間を決定し、前記管理手段は、前記第１の区間において、前記エンコード手段によりエンコードされて生成された前記第３の符号化ストリームの終了点と、前記第２の符号化ストリームにおける対応する部分とのオキュパンシの連続性が保たれたかを判断し、前記制御手段は、前記管理手段により、前記オキュパンシの連続性が保たれなかったと判断された場合、前記第１の区間に続く所定の区間を、再エンコードを実行する第２の区間として、更に再エンコードを実行する第１の動作モードと、前記第１の区間におけるエンコード処理を再度実行させる第２の動作モードとのいずれかに基づいて、前記第１の符号化ストリームおよび前記第２の符号化ストリームのうち、再エンコードを実行する区間を決定する。
【００２１】
前記デコード手段への前記第１の符号化ストリームおよび前記第２の符号化ストリームの供給を制御する供給制御手段を更に備えるようにすることができる。
【００２２】
前記管理手段には、第１の動作モードにおいて、前記第２の区間における前記エンコード手段によるエンコード処理の発生符号量を、前記第２の符号化ストリームにおける対応する部分のオキュパンシを基に管理させるようにすることができる。
【００２３】
前記管理手段には、第２の動作モードにおいて、オキュパンシの連続性が保たれなかったと判断された場合における前記第１の区間の前記第３の符号化ストリームの終了点のオキュパンシに基づいて、前記第１の区間における２回目の前記エンコード手段によるエンコード処理の発生符号量を管理させるようにすることができる。
【００２４】
前記エンコード手段には、ＭＰＥＧのLong GOP形式でエンコード処理を実行させるようにすることができ、前記第２の区間は、１GOPに対応する区間であるものとすることができる。
【００２５】
前記エンコード手段には、ＭＰＥＧのLong GOP形式でエンコード処理を実行させるようにすることができ、前記管理手段により、前記オキュパンシの連続性が保たれたと判断された場合、前記制御手段には、前記第１の区間に続く次のGOPの最初の前方向参照フレームの直前までのフレームを、再エンコードを実行する第３の区間として、更に追加させるようにすることができる。
【００２６】
前記エンコード手段には、ＭＰＥＧのLong GOP形式でエンコード処理を実行させるようにすることができ、前記制御手段には、前記第１の符号化ストリームにおける前記編集点を含むＧＯＰの開始位置から、前記第２の符号化ストリームにおける前記編集点を含むＧＯＰの終了位置までを基準区間とし、前記基準区間に含まれるフレーム数を基に、前記第１の区間を決定させるようにすることができる。
【００２７】
前記制御手段には、前記基準区間に含まれるフレーム数Ｍが、基準となる１ＧＯＰに含まれるフレーム数Ｎに対して、Ｎ／２≦Ｍ≦Ｎを満たす場合、前記基準区間を前記第１の区間とさせるようにすることができる。
【００２８】
前記制御手段には、前記基準区間に含まれるフレーム数Ｍが、基準となる１ＧＯＰに含まれるフレーム数Ｎに対して、０≦Ｍ＜Ｎ／２を満たす場合、前記基準区間に１ＧＯＰ加えた区間を前記第１の区間とさせるようにすることができる。
【００２９】
前記制御手段には、前記基準区間に含まれるフレーム数Ｍが、基準となる１ＧＯＰに含まれるフレーム数Ｎに対して、Ｎ＋１≦Ｍ≦２Ｎ−１を満たす場合、前記基準区間を複数ＧＯＰに分割するとともに、前記基準区間を前記第１の区間とさせるようにすることができる。
【００３０】
前記制御手段には、前記基準区間に含まれるフレーム数Ｍが、基準となる１ＧＯＰに含まれるフレーム数Ｎに対して、Ｎ＋１≦Ｍ≦２Ｎ−１を満たし、前記第１の符号化ストリームにおける前記編集点を含むＧＯＰの開始位置から前記編集点までのフレーム数Ａが、Ａ≧Ｎ／２を満たす場合、前記基準区間を、前記編集点で２つのＧＯＰに分割させるようにすることができる。
【００３１】
前記エンコード手段には、前記編集点で分割された２つのＧＯＰのうちの時間的に後のＧＯＰは、表示順でＩ２ピクチャから開始されるように、前記第３のベースバンド信号をエンコードして、第３の符号化ストリームを生成させるようにすることができる。
【００３２】
前記制御手段には、前記編集点で分割された２つのＧＯＰのうちの時間的に後のＧＯＰに含まれるフレーム数Ｒが、Ｎ／２≦Ｒを満たさないとき、前記基準区間に１ＧＯＰ加えた区間を前記第１の区間とし、Ｎ／２≦Ｒを満たすとき、前記基準区間を前記第１の区間とさせるようにすることができる。
【００３３】
本発明の一側面の情報処理方法は、第１の符号化ストリームおよび第２の符号化ストリームを編集点で接続する処理を実行する情報処理装置の情報処理方法であって、前記第１の符号化ストリームおよび前記第２の符号化ストリームのうち、再エンコードを実行する第１の区間を決定し、前記第１の区間内の前記第１の符号化ストリームおよび前記第２の符号化ストリームをデコードするとともに、前記第１の符号化ストリームがデコードされて生成された第１のベースバンド信号と、前記第２の符号化ストリームがデコードされて生成された第２のベースバンド信号とが、前記編集点で接続された第３のベースバンド信号をエンコードして、第３の符号化ストリームを生成し、前記第１の区間においてエンコードされて生成された前記第３の符号化ストリームの終了点と、前記第２の符号化ストリームにおける対応する部分とのオキュパンシの連続性が保たれたかを判断し、第１の動作モードにおいて、前記オキュパンシの連続性が保たれなかったと判断された場合、前記第１の区間に続く所定の区間を、再エンコードを実行する第２の区間として、更に、再エンコードを実行し、第２の動作モードにおいて、前記オキュパンシの連続性が保たれなかったと判断された場合、前記第１の区間における再エンコード処理を再度実行するステップを含む。
【００３４】
本発明の一側面のプログラムは、第１の符号化ストリームおよび第２の符号化ストリームを編集点で接続する処理をコンピュータに実行させるためのプログラムであって、前記第１の符号化ストリームおよび前記第２の符号化ストリームのうち、再エンコードを実行する第１の区間を決定し、前記第１の区間内の前記第１の符号化ストリームおよび前記第２の符号化ストリームのデコードを制御するとともに、前記第１の符号化ストリームがデコードされて生成された第１のベースバンド信号と、前記第２の符号化ストリームがデコードされて生成された第２のベースバンド信号とが前記編集点で接続された第３のベースバンド信号のエンコードを制御することにより、第３の符号化ストリームの生成を制御し、前記第１の区間においてエンコードされて生成された前記第３の符号化ストリームの終了点と、前記第２の符号化ストリームにおける対応する部分とのオキュパンシの連続性が保たれたかを判断し、第１の動作モードにおいて、前記オキュパンシの連続性が保たれなかったと判断された場合、前記第１の区間に続く所定の区間を、再エンコードを実行する第２の区間として、更に、再エンコードの実行を制御し、第２の動作モードにおいて、前記オキュパンシの連続性が保たれなかったと判断された場合、前記第１の区間における再エンコード処理が再度実行されるように制御するステップを含む処理をコンピュータに実行させる。
【００３５】
本発明の一側面においては、第１の符号化ストリームおよび第２の符号化ストリームのうち、再エンコードを実行する第１の区間が決定され、第１の区間内の第１の符号化ストリームおよび第２の符号化ストリームがデコードされ、第１の符号化ストリームがデコードされて生成された第１のベースバンド信号と、第２の符号化ストリームがデコードされて生成された第２のベースバンド信号とが編集点で接続された第３のベースバンド信号がエンコードされて、第３の符号化ストリームが生成され、第１の区間においてエンコードされて生成された第３の符号化ストリームの終了点と、第２の符号化ストリームにおける対応する部分とのオキュパンシの連続性が保たれたかが判断され、第１の動作モードにおいてオキュパンシの連続性が保たれなかったと判断された場合、第１の区間に続く所定の区間である第２の区間で、更に再エンコードが実行され、第２の動作モードにおいてオキュパンシの連続性が保たれなかったと判断された場合、第１の区間における再エンコード処理が再度実行される。
【００３６】
ネットワークとは、少なくとも２つの装置が接続され、ある装置から、他の装置に対して、情報の伝達をできるようにした仕組みをいう。ネットワークを介して通信する装置は、独立した装置どうしであっても良いし、１つの装置を構成している内部ブロックどうしであっても良い。
【００３７】
また、通信とは、無線通信および有線通信は勿論、無線通信と有線通信とが混在した通信、即ち、ある区間では無線通信が行われ、他の区間では有線通信が行われるようなものであっても良い。さらに、ある装置から他の装置への通信が有線通信で行われ、他の装置からある装置への通信が無線通信で行われるようなものであっても良い。
【００３８】
編集装置は、独立した装置であっても良いし、記録再生装置や情報処理装置の編集処理を行うブロックであっても良い。
【発明の効果】
【００３９】
以上のように、本発明の一側面によれば、編集処理を行うことができ、特に、再エンコード区間と再エンコードされない区間とでＶＢＶ占有量の連続性が保たれなかった場合、同一の再エンコード区間での再エンコード処理が繰り返されるか、または、続く所定区間を再エンコード区間として更に設定して、再エンコードを実行することができる。
【発明を実施するための最良の形態】
【００４０】
以下に本発明の実施の形態を説明するが、本発明の構成要件と、明細書または図面に記載の実施の形態との対応関係を例示すると、次のようになる。この記載は、本発明をサポートする実施の形態が、明細書または図面に記載されていることを確認するためのものである。従って、明細書または図面中には記載されているが、本発明の構成要件に対応する実施の形態として、ここには記載されていない実施の形態があったとしても、そのことは、その実施の形態が、その構成要件に対応するものではないことを意味するものではない。逆に、実施の形態が構成要件に対応するものとしてここに記載されていたとしても、そのことは、その実施の形態が、その構成要件以外の構成要件には対応しないものであることを意味するものでもない。
【００４１】
本発明の一側面の情報処理装置(例えば、図３の編集装置１)は、第１の符号化ストリームおよび第２の符号化ストリームを編集点で接続する処理を実行する情報処理装置であって、前記第１の符号化ストリームおよび前記第２の符号化ストリームのうち、再エンコードを実行する区間を決定する制御手段（例えば、図９の制御部１０１であり、そのうち、例えば、図３のＣＰＵ１１に対応する部分）と、前記第１の符号化ストリームおよび前記第２の符号化ストリームをデコードするデコード手段（例えば、図９のデコーダ１０３）と、前記第１の符号化ストリームが前記デコード手段によりデコードされて生成された第１のベースバンド信号と、前記第２の符号化ストリームが前記デコード手段によりデコードされて生成された第２のベースバンド信号とが、前記編集点で接続された第３のベースバンド信号をエンコードして、第３の符号化ストリームを生成するエンコード手段（例えば、図３のエンコーダ２７）と、前記エンコード手段によるエンコード処理の発生符号量を管理する管理手段（例えば、図９の制御部１０１であり、そのうち、例えば、図３のＣＰＵ２０に対応する部分）とを備え、前記制御手段は、前記第１の符号化ストリームおよび前記第２の符号化ストリームのうち、再エンコードを実行する第１の区間（例えば、最小再エンコード区間）を決定し、前記管理手段は、前記第１の区間において、前記エンコード手段によりエンコードされて生成された前記第３の符号化ストリームの終了点と、前記第２の符号化ストリームにおける対応する部分とのオキュパンシの連続性が保たれたかを判断し、前記制御手段は、前記管理手段により、前記オキュパンシの連続性が保たれなかったと判断された場合、前記第１の区間に続く所定の区間を、再エンコードを実行する第２の区間（例えば、延長再エンコード区間）として、更に再エンコードを実行する第１の動作モード（例えば、延長再エンコード区間設定モード）と、前記第１の区間におけるエンコード処理を再度実行させる第２の動作モード（例えば、２パスエンコードモード）とのいずれかに基づいて、前記第１の符号化ストリームおよび前記第２の符号化ストリームのうち、再エンコードを実行する区間を決定する。
【００４２】
前記デコード手段への前記第１の符号化ストリームおよび前記第２の符号化ストリームの供給を制御する供給制御手段(例えば、図９の取得部１０２)を更に備えることができる。
【００４３】
本発明の一側面の情報処理方法は、第１の符号化ストリームおよび第２の符号化ストリームを編集点で接続する処理を実行する情報処理装置(例えば、図３の編集装置１)の情報処理方法であって、前記第１の符号化ストリームおよび前記第２の符号化ストリームのうち、再エンコードを実行する第１の区間（例えば、最小再エンコード区間）を決定し（例えば、図１１のステップＳ２の処理）、前記第１の区間内の前記第１の符号化ストリームおよび前記第２の符号化ストリームをデコードするとともに、前記第１の符号化ストリームがデコードされて生成された第１のベースバンド信号と、前記第２の符号化ストリームがデコードされて生成された第２のベースバンド信号とが、前記編集点で接続された第３のベースバンド信号をエンコードして、第３の符号化ストリームを生成し（例えば、図１６のステップＳ８４の処理、または、図２１のステップＳ１５５の処理）、前記第１の区間においてエンコードされて生成された前記第３の符号化ストリームの終了点と、前記第２の符号化ストリームにおける対応する部分とのオキュパンシの連続性が保たれたかを判断し（例えば、図１６のステップＳ８６の処理、または、図２１のステップＳ１５８の処理）、第１の動作モード（例えば、延長再エンコード区間設定モード）において、前記オキュパンシの連続性が保たれなかったと判断された場合、前記第１の区間に続く所定の区間を、再エンコードを実行する第２の区間（例えば、延長再エンコード区間）として、更に、再エンコードを実行し（例えば、図２１のステップＳ１５９およびステップＳ１６０の処理）、第２の動作モード（例えば、２パスエンコードモード）において、前記オキュパンシの連続性が保たれなかったと判断された場合、前記第１の区間における再エンコード処理を再度実行する（例えば、図１６のステップＳ８９およびステップＳ８４の処理）ステップを含む。
【００４４】
本発明の一側面のプログラムは、第１の符号化ストリームおよび第２の符号化ストリームを編集点で接続する処理をコンピュータに実行させるためのプログラムであって、前記第１の符号化ストリームおよび前記第２の符号化ストリームのうち、再エンコードを実行する第１の区間（例えば、最小再エンコード区間）を決定し（例えば、図１１のステップＳ２の処理）、前記第１の区間内の前記第１の符号化ストリームおよび前記第２の符号化ストリームのデコードを制御するとともに、前記第１の符号化ストリームがデコードされて生成された第１のベースバンド信号と、前記第２の符号化ストリームがデコードされて生成された第２のベースバンド信号とが前記編集点で接続された第３のベースバンド信号のエンコードを制御することにより、第３の符号化ストリームの生成を制御し（例えば、図１６のステップＳ８４の処理、または、図２１のステップＳ１５５の処理）、前記第１の区間においてエンコードされて生成された前記第３の符号化ストリームの終了点と、前記第２の符号化ストリームにおける対応する部分とのオキュパンシの連続性が保たれたかを判断し（例えば、図１６のステップＳ８６の処理、または、図２１のステップＳ１５８の処理）、第１の動作モード（例えば、延長再エンコード区間設定モード）において、前記オキュパンシの連続性が保たれなかったと判断された場合、前記第１の区間に続く所定の区間を、再エンコードを実行する第２の区間（例えば、延長再エンコード区間）として、更に、再エンコードの実行を制御し（例えば、図２１のステップＳ１５９およびステップＳ１６０の処理）、第２の動作モード（例えば、２パスエンコードモード）において、前記オキュパンシの連続性が保たれなかったと判断された場合、前記第１の区間における再エンコード処理が再度実行されるように制御する（例えば、図１６のステップＳ８９およびステップＳ８４の処理）ステップを含む処理をコンピュータに実行させる。
【００４５】
以下、図を参照して、本発明の実施の形態について説明する。
【００４６】
図３は本発明を適用した編集装置１のハードウェア構成を示すブロック図である。
【００４７】
ＣＰＵ（Central Processing Unit）１１は、ノースブリッジ１２に接続され、例えば、ＨＤＤ（Hard disk Drive）１６に記憶されているデータの読み出しなどの処理を制御したり、ＣＰＵ２０が実行する編集処理を制御するための制御信号やコマンドを生成し、出力する。ノースブリッジ１２は、ＰＣＩバス（Peripheral Component Interconnect/Interface）１４に接続され、例えば、ＣＰＵ１１の制御に基づいて、サウスブリッジ１５を介して、ＨＤＤ１６に記憶されているデータの供給を受けて、ＰＣＩバス１４、ＰＣＩブリッジ１７を介して、メモリ１８に供給する。また、ノースブリッジ１２は、メモリ１３とも接続されており、ＣＰＵ１１の処理に必要なデータを授受する。
【００４８】
メモリ１３は、ＣＰＵ１１が実行する処理に必要なデータを保存する。サウスブリッジ１５は、ＨＤＤ１６のデータの書き込みおよび読み出しを制御する。ＨＤＤ１６には、圧縮符号化された編集用の素材が記憶される。
【００４９】
ＰＣＩブリッジ１７は、メモリ１８のデータの書き込みおよび読み出しを制御したり、デコーダ２２乃至２４、または、ストリームスプライサ２５への圧縮符号化データの供給を制御するとともに、ＰＣＩバス１４およびコントロールバス１９のデータの授受を制御する。メモリ１８は、ＰＣＩブリッジ１７の制御に基づいて、ＨＤＤ１６により読み出された、編集用素材である圧縮符号化データや、ストリームスプライサ２５から供給される編集後の圧縮符号化データを記憶する。
【００５０】
ＣＰＵ２０は、ノースブリッジ１２、ＰＣＩバス１４、ＰＣＩブリッジ１７、および、コントロールバス１９を介して、ＣＰＵ１１から供給された制御信号やコマンドにしたがって、ＰＣＩブリッジ１７、デコーダ２２乃至２４、ストリームスプライサ２５、エフェクト／スイッチ２６、エンコーダ２７、および、スイッチ２９が実行する処理を制御する。メモリ２１は、ＣＰＵ２０の処理に必要なデータを記憶する。
【００５１】
デコーダ２２乃至デコーダ２４は、ＣＰＵ２０の制御に基づいて、供給された圧縮符号化データをデコードし、非圧縮の映像信号(ベースバンドの画像データ)を出力する。また、デコーダ２２乃至デコーダ２４は、編集装置１に含まれない独立した装置として設けられていても良い。例えば、デコーダ２４が、独立した装置として設けられている場合、デコーダ２４は、後述する処理により編集されて生成された圧縮編集映像データの供給を受け、復号し、出力することができるようになされる。
【００５２】
ストリームスプライサ２５は、ＣＰＵ２０の制御に基づいて、供給された符号化ストリーム（圧縮映像データ）を、デコーダ２４に供給したり、ＰＣＩブリッジ１７を介して、メモリ１８に供給して保存させる。また、ストリームスプライサ２５は、エンコーダ２７から、エンコード処理において取得されたデータの供給を受け、ＰＣＩブリッジ１７を介して、メモリ１８に供給して保存させることも可能である。
【００５３】
エフェクト／スイッチ２６は、ＣＰＵ２０の制御に基づいて、デコーダ２２またはデコーダ２３、もしくは、入力端子２８から供給される、非圧縮の映像信号出力を切り替える、すなわち、供給された非圧縮の映像信号を所定のフレームで結合するとともに、必要に応じて、所定の範囲にエフェクトを施して、エンコーダ２７に供給したり、入力端子２８から供給される非圧縮の映像信号をエンコーダ２７に供給する。エンコーダ２７は、ＣＰＵ２０の制御に基づいて、供給された非圧縮の映像信号をエンコードする。
【００５４】
スイッチ２９は、ＣＰＵ２０の制御に基づいて、エフェクト／スイッチ２６から出力されるベースバンド画像信号、または、ストリームスプライサ２５から供給され、デコーダ２４によってデコードされたベースバンド画像信号のいずれかを、外部の、例えば、表示装置などに出力する。
【００５５】
次に、編集装置１の動作について説明する。
【００５６】
ＨＤＤ１６には、Long GOPのOpen GOP方式で圧縮された複数の圧縮素材映像データが記憶されている。ＣＰＵ１１は、図示しない操作入力部からユーザの操作入力を受け、編集される２つのストリームと、その編集点の情報を受ける。
【００５７】
ＣＰＵ１１は、圧縮符号化された圧縮素材映像データであるストリームＡおよびストリームＢのＧＯＰ構造、並びに、編集点を示す情報を基に、ストリームＡおよびストリームＢのうち、再エンコードを行う区間を決定する。
【００５８】
このとき、ＣＰＵ１１は、再エンコードを試みる最小の区間として、最小再エンコード区間を決定する。最小再エンコード区間の決定について、図４乃至図６を用いて説明する。
【００５９】
すなわち、図４に示されるように、ストリームＡにおける編集点ａを含むＧＯＰの開始位置をαとし、ストリームＢにおける編集点ｂを含むＧＯＰの終了位置をβとしたとき、ストリームＡおよびストリームＢが編集点において接続されて生成されるストリームＣにおける基準再エンコード区間は、編集点ａおよびｂを含むαからβまでの区間とされる。
【００６０】
そして、編集点ａおよびｂを含むαからβまでの区間、すなわち、基準再エンコード区間に含まれるフレーム数Ａ＋Ｂが、これらのストリームにおける基準となる１ＧＯＰに含まれるフレーム数Ｎに対して、Ｎ／２≦Ａ＋Ｂ≦Ｎを満たす場合、図４に示されるように、基準再エンコード区間は、そのまま、最小再エンコード区間に設定される。
【００６１】
そして、編集点ａおよびｂを含むαからβまでの区間、すなわち、基準再エンコード区間に含まれるフレーム数Ａ＋Ｂが、これらのストリームにおける基準となる１ＧＯＰに含まれるフレーム数Ｎに対して、０≦Ａ＋Ｂ＜Ｎ／２を満たす場合、図５に示されるように、最小再エンコード区間は、ストリームＢにおける編集点ｂを含むＧＯＰの次のＧＯＰを含ませて、αから次のＧＯＰの終了点γまでであるものとする。
【００６２】
そして、次のＧＯＰに含まれるフレーム数がＣであるとき、基準再エンコード区間に含まれるフレーム数A＋Bに、ストリームＢの次のＧＯＰのフレーム数を加えた値Ａ＋Ｂ＋Ｃは、Ｎ／２≦Ａ＋Ｂ＋Ｃ≦Ｎを満たすか否かが判断される。Ｎ／２≦Ａ＋Ｂ＋Ｃ≦Ｎが満たされる場合、αからγまでが１ＧＯＰとされて、最小再エンコード区間に設定される。それに対して、Ｎ／２≦Ａ＋Ｂ＋Ｃ≦Ｎが満たされない場合、換言すれば、Ｎ＜Ａ＋Ｂ＋Ｃである場合、αからγまでを、１ＧＯＰがＮ／２≦ｘ≦Ｎを満たすように複数のＧＯＰに分割して、２以上のＧＯＰを設定し、これら全てを最小再エンコード区間に設定する。
【００６３】
最小再エンコード区間が、複数のＧＯＰに分割されるとき、それぞれのＧＯＰに含まれるフレーム数ができるだけ均等になるように分割されると好適である。例えば、２ＧＯＰに分割される場合、Ａ＋Ｂ＋Ｃのフレーム数が偶数の場合は均等に分割され、奇数の場合は後ろが１フレーム多くなるように分割されて、２ＧＯＰとされ、この２ＧＯＰが最小再エンコード区間に設定される。
【００６４】
また、このとき、αからγまでのフレーム数が、ＧＯＰの数で割り切れない値であった場合、時間的に後ろとなるＧＯＰのフレーム数が多くなるようにすると好適である。具体的には、例えば、αからγまでのフレーム数が１９であった場合、１つ目のＧＯＰのフレーム数を９とし、２つ目のＧＯＰのフレーム数を１０とすると好適である。なぜなら、再エンコードされた符号化ストリームと、再エンコードしない部分の符号化ストリームとの接続部分のOccupancy（オキュパンシ）を合わせこむためのデコードおよびエンコードの処理において、時間的に後のＧＯＰのフレーム数が多いほうが、符号割り当ての自由度が高くなるからである。
【００６５】
更に、Ａ＋Ｂ＋Ｃのフレーム数をできるだけ均等に分割する以外に、予め定められた所定のフレーム数で、ＧＯＰを分割するものとしても良い。例えば、２つのうちの時間的に前のＧＯＰを構成するフレーム数が必ず所定のフレーム数（例えば、Ｎ／２またはＮ／２以上となる最小の整数）となるようにして、ＧＯＰが分割されるものとしても良い。また、予め定められた所定のフレーム数は、それぞれのＧＯＰにおいて、１ＧＯＰがＮ／２≦ｘ≦Ｎを満たす区間で定められるものとすると好適である。
【００６６】
具体的には、例えば、Ｎ＝１５のとき、Ａ＋Ｂ＋Ｃ＝１６であれば、１つ目のＧＯＰのフレーム数を８、２つ目のＧＯＰのフレーム数を８とし、Ａ＋Ｂ＋Ｃ＝１７であれば、１つ目のＧＯＰのフレーム数を８、２つ目のＧＯＰのフレーム数を９とし、Ａ＋Ｂ＋Ｃ＝１８であれば、１つ目のＧＯＰのフレーム数を８、２つ目のＧＯＰのフレーム数を１０とするように、２つ目のＧＯＰのフレーム数を変化させ、同様に、Ａ＋Ｂ＋Ｃ＝２２であれば、１つ目のＧＯＰのフレーム数を８、２つ目のＧＯＰのフレーム数を１４とするようにしても良い。
【００６７】
そして、編集点ａおよびｂを含むαからβまでの区間、すなわち、基準再エンコード区間に含まれるフレーム数Ａ＋Ｂが、これらのストリームにおける基準となる１ＧＯＰに含まれるフレーム数Ｎに対して、N＋１≦Ａ＋Ｂ≦２Ｎ−１を満たす場合、図６に示されるように、基準再エンコード区間は、基準再エンコード区間のフレーム数が偶数の場合は均等に分割され、奇数の場合は後ろが１フレーム多くなるように分割されて、２ＧＯＰとされ、この２ＧＯＰが最小再エンコード区間に設定される。
【００６８】
この場合においても、αからβまでのフレーム数が、２で割り切れない値であった場合、時間的に後ろとなるＧＯＰのフレーム数が多くなるようにすると好適である。
【００６９】
また、同様にして、この場合においても、Ａ＋Ｂのフレーム数をできるだけ均等に分割する以外に、予め定められた所定のフレーム数で、ＧＯＰを分割するものとしても良い。例えば、２つのうちの時間的に前のＧＯＰを構成するフレーム数が必ず所定のフレーム数（例えば、Ｎ／２またはＮ／２以上となる最小の整数）となるようにして、ＧＯＰが分割されるものとしても良い。
【００７０】
また、Ｎ＋１≦Ａ＋Ｂ≦２Ｎ−１が成り立つ場合、更に、Ａ≧Ｎ／２であるか否かを判断し、Ａ≧Ｎ／２が成り立つ場合、編集点をＧＯＰの切れ目としても良い。そして、そのとき、編集点以降に対応する後ろ側のＧＯＰの先頭をＩ２ピクチャとし、Ｂ０およびＢ１ピクチャを省略するようにしてもよい。
【００７１】
このように、編集点、すなわち、大きく絵が変化する部分でＧＯＰを分割し、編集点以降に対応する後ろ側のＧＯＰのディスプレイ順における先頭をＩ２ピクチャとし、Ｂ０およびＢ１ピクチャを省略するものとすると、編集点以降のＧＯＰの画質の劣化を抑制することができ、好適である。
【００７２】
また、Ｎ＋１≦Ａ＋Ｂ≦２Ｎ−１であり、かつ、Ａ≧Ｎ／２である場合、最小再エンコード区間において、編集点より後ろの部分のフレーム数、すなわち、フレーム数Ｂが少ない場合（例えば、Ｂ≧Ｎ／２が成り立たないような場合）、編集点より後ろの部分が所定のフレーム数以上（例えば、Ｎ／２以上）となるように、ストリームＢの続くＧＯＰを最小再エンコード区間に加えるものとすると、極端に少ないフレーム数で構成されたＧＯＰを再エンコード区間に含ませることを防止することができる。これにより、編集点よりも後ろの部分のＧＯＰにおいて、ＶＢＶ占有量の連続性を保ちつつ、それぞれのフレームに適切な発生符号量を配分することが容易となるので、好適である。
【００７３】
そして、Ｎ＋１≦Ａ＋Ｂ≦２Ｎ−１であるが、Ａ≧Ｎ／２ではない場合、上述した場合と同様にして、Ａ＋Ｂのフレーム数をできるだけ均等に２つのＧＯＰに分割するようにしてもよいし、上述したように、１ＧＯＰがＮ／２≦ｘ≦Ｎを満たす区間で、予め定められた所定のフレーム数で、２つのＧＯＰに分割するものとしても良い。
【００７４】
このようにして、最小再エンコード区間を決定するようにすることにより、再エンコード区間の設定について、短いGOPを結果として残さない様にすることができ、いたずらに画質の劣化をもたらさないようにすることができる。
【００７５】
そして、再エンコードを行う区間の各GOPに対し、画質の劣化をもたらさないように、かつ、出来る限り大きなGOP長となる様なエンコードを実施できるため、符号化効率が向上し、より良い画質の符号化を期待することができる。
【００７６】
そして、ＣＰＵ１１は、ストリームＡおよびストリームＢを、VBV Buffer ModelのVBV占有量の連続性を守ったまま、編集点で接続して１つのストリームとする、すなわち、スプライシングするための処理を実行する。
【００７７】
すなわち、ＣＰＵ１１は、最小再エンコード区間の再エンコード処理を実行させるために必要なストリーム、すなわち、ストリームＡの編集点ａまでの部分がデコーダ２２に供給され、ストリームＢの編集点ｂ以降の部分（編集点ｂ以降の部分のデコードに必要なフレームが編集点ｂ以前に存在する場合は、そのフレームも含む）がデコーダ２３に供給され、エフェクト／スイッチ２６によって、編集点で接続され、必要に応じてエフェクトが施されるように、制御信号を生成し、ノースブリッジ１２、ＰＣＩバス１４、ＰＣＩブリッジ１７、および、コントロールバス１９を介して、ＣＰＵ２０に送出する。
【００７８】
再エンコード区間および再エンコード区間前後の部分の表示が指令されている場合、ＣＰＵ１１は、ストリームＡにおいて表示開始が指令された位置から編集点までの圧縮画像データ、および、ストリームＢにおいて編集点(編集点以降の部分をデコードするために必要なフレームを含む)から表示終了が指令された位置までの圧縮画像データの、メモリ１８への供給を制御するので、ＣＰＵ２０は、ストリームＡの最小再エンコード区間以前の部分のデータは、ストリームスプライサ２５を介して、デコーダ２４に供給され、スイッチ２９を介して、外部の表示装置などに出力され、続いて、エフェクト／スイッチ２６から出力された、編集された部分のベースバンド画像データが、スイッチ２９を介して、外部の表示装置などに出力されるように制御する。
【００７９】
そして、編集装置１においては、最小再エンコード区間における再エンコード時の発生符号量の調節に失敗した場合、すなわち、スプライシングの実行時に再エンコードが実行される区間と実行されない区間とのVBV占有量の連続性が保たれなかった場合に、最小再エンコード区間において、再度エンコードを実行する、いわゆる、リトライ動作を実行することができるようになされている。そして、このとき、編集装置１においては、実行された最小再エンコード区間におけるエンコード処理の実績を基に、最小再エンコード区間の再エンコード処理をもう一度行うことが可能なようになされている。
【００８０】
これにより、ＶＢＶ占有量の連続性を保ちつつ、再エンコードを実行する区間をできるだけ小さくすることができるので、再エンコード処理により画像が劣化してしまう可能性のある領域の発生量を抑制することができる。
【００８１】
これに対して、再度エンコードを実行するリトライ動作は、編集画像をリアルタイムで表示させる場合など、即時性が重要視されるような場合に、ユーザの要求を満たさない場合がある。
【００８２】
そこで、編集装置１においては、スプライシングの実行時にVBV占有量の接合ができなかった場合に、再度エンコードを実行する、いわゆる、リトライ動作を実行するのみでなく、再エンコード区間自体を延ばして処理を実行することも可能なようになされている。このことにより、装置内部のエンコーダとデコーダやつなぎ動作を実行するスイッチャー(例えば、図３のエフェクト／スイッチ２６)との調走などの複雑な動作は１回だけで済み、実装が楽になる。また、このような処理は、編集画像をリアルタイムで表示させる場合など、即時性が重要視されるような場合に用いると好適である。
【００８３】
まず、図４乃至図６を用いて説明した最小再エンコード区間の再エンコード(デコードおよびエンコード)が実行される。ＣＰＵ１１は、ストリームＡおよびストリームＢをＨＤＤ１６から読み出させ、サウスブリッジ１５、ノースブリッジ１２、ＰＣＩバス１４、および、ＰＣＩブリッジ１７を介して、メモリ１８に供給する。そして、ＣＰＵ１１は、ストリームＡおよびストリームＢのうち、最小再エンコード区間のデータが、それぞれ、デコーダ２２およびデコーダ２３に供給されてデコードされ、エフェクト／スイッチ２６において接続されて、必要に応じてエフェクトがかけられ、エンコーダ２７に供給されるように制御する。
【００８４】
ＣＰＵ２０は、ここで、再エンコードのVBV占有量の開始値は、最小再エンコード区間の最初、すなわち、ストリームＡのaを含むGOPの先頭におけるオリジナルのVBV占有量であり、再エンコード終了時のVBV占有量の目標値は、最小再エンコード区間の次のGOPの開始のVBV占有量であるものとする。すなわち、図７に示されるように、最小再エンコード区間の最後をβとした場合、次のＧＯＰの開始のＩ２ピクチャ(図中アで示される)のＶＢＶ占有量が、再エンコード終了位置のVBV占有量の目標値となる。
【００８５】
そして、ＣＰＵ２０は、任意の発生符号量調整方法により、目標VBV占有量よりも大きなVBV占有量で最小再エンコード区間のエンコードが終了する様に再エンコードの実行を制御する。
【００８６】
そして、最小再エンコード区間でのエンコード終了時に、目標VBV占有量より実際のVBV占有量が大きければ、zero stuffによって、VBV占有量を連続的とすることが可能であり、そこで動作を終了させて、再エンコード結果を得ることができる。
【００８７】
目標VBV占有量よりも実際のVBV占有量を大きくすることができた場合、続いて、次GOPのcoding順の最初のＰピクチャ（図７において図中イで示されるピクチャ）の直前までのフレームが、ストリームスプライサ２５に供給されるとともに、デコーダ２３に供給され、デコードされた後、エフェクト／スイッチ２６を介して、エンコーダ２７に供給されてエンコードされる。
【００８８】
このとき、次GOPのcoding順の最初のＰピクチャ（図７において図中イで示されるピクチャ）でのVBV占有量を目標値とし、Ｉピクチャ（図７において図中アで示されるピクチャ）の符号量を、オリジナルのストリームＢにおける該当するＩピクチャの符号量として、次GOPの先頭から最初のPピクチャ（図７において図中イで示されるピクチャ）の手前まで(IBBか、または、IB)を、PピクチャでVBV占有量を連続的とすることができる様に(VBV占有量を目標値よりも大きくする様に)、任意の発生符号調整方法により再エンコード処理が実行される。
【００８９】
その結果、目標Ｐピクチャで、必要に応じてzero stuffを利用して、VBV占有量を連続とすることができれば、ＣＰＵ２０は、Ｉピクチャの符号を、オリジナルのストリームＢにおける該当するＩピクチャの符号に差し替えて、エンコード結果とし、スプライシング動作を終了させる。
【００９０】
一方、目標Ｐピクチャで、VBV占有量を連続にすることができなかった場合、ＣＰＵ２０は、図７のβまでの再エンコード区間すなわち、GOP切れ目でのVBV占有量が連続となったエンコード結果をもって、スプライシング動作を終了させる。換言すれば、図７のβまでの再エンコード区間以降、次GOPのcoding順の最初のＰピクチャの直前までのフレーム（例えば、図７において図中アで示されるピクチャから図中イで示されるピクチャまでの範囲）において、編集後の圧縮画像データとして、再エンコードされた圧縮画像データではなく、ストリームスプライサ２５に供給されたオリジナルのストリームに含まれていたフレームが採用される。
【００９１】
スプライシング動作が終了された場合、ＣＰＵ２０は、ＣＰＵ１１に対して、デコーダ２２またはデコーダ２３へのストリームの供給を停止させるように、制御信号を供給する。再エンコード区間のみの表示が指令されている場合、ＣＰＵ１１は、ストリームＢのメモリ１８への転送をストップさせる。また、再エンコード区間前後の部分の表示が指令されている場合、ＣＰＵ１１は、ストリームＢのメモリ１８への転送を続ける。ＣＰＵ２０は、エフェクト／スイッチ２６から出力された、編集された部分のベースバンド画像データが、スイッチ２９を介して、外部の表示装置などに出力されるのに続いて、ストリームＢの再エンコード区間以後の部分のデータは、ストリームスプライサ２５を介して、デコーダ２４に供給され、スイッチ２９を介して、外部の表示装置などに出力されるように制御する。
【００９２】
これに対して、最小再エンコード区間でのエンコード終了時に、目標VBV占有量よりも占有量が小さくなってしまった場合は、zero stuffによってVBV占有量を連続にすることはできないため、ＣＰＵ２０は、実行された最小再エンコード区間におけるエンコード処理の実績を基に、最小再エンコード区間の再エンコード処理をもう一度行う、すなわち、上述したリトライ動作を実行するか、または、次GOPもエンコード対象として、任意の発生符号調整方法により再エンコードが継続されるように、各部を制御する。
【００９３】
最小再エンコード区間の再エンコード処理をリトライするようになされている場合、ＣＰＵ２０は、既に実行された１回目の最小再エンコード区間におけるエンコード処理の実績を基に、最小再エンコード区間における符号配分を決定する。このようにすることにより、２回目の再エンコードにおいては、最小再エンコード区間でのエンコード終了時に、目標VBV占有量よりも占有量が小さくなってしまうようなことを防ぐことができる。このような処理が実行される動作モードを、２パスエンコードモードと称する。
【００９４】
また、最小再エンコード区間でのエンコード終了時に、目標VBV占有量よりも占有量が小さくなってしまってもリトライ動作を実行せず、次のＧＯＰを再エンコード対象とする場合、ＣＰＵ２０は、図８Ａに示される最小再エンコード区間に対して、図８Ｂに示されるように、次のＧＯＰを延長再エンコード区間とし、任意の発生符号量調整方法により、目標VBV占有量よりも大きなVBV占有量で延長再エンコード区間のエンコードが終了する様に、目標発生符号量を設定して、再エンコードを実行させる。図中γで示される、更に続くＧＯＰの開始のVBV占有量が、再エンコード区間が延長された場合の延長再エンコード区間における再エンコード終了時のVBV占有量の目標値とされる。
【００９５】
そして、図８Ｂに示されるγまでの再エンコード結果、目標VBV占有量よりも実際のVBV占有量を大きくすることができた場合、上述した場合と同様に、続くGOPのcoding順の最初のＰピクチャ（図７において図中イで示されるピクチャ）でのVBV占有量を目標値として、再エンコードが実行される。図８Ｂに示されるγまでの再エンコード結果、目標VBV占有量よりも実際のVBV占有量を大きくすることができなかった場合、更に、続くＧＯＰが次の延長再エンコード区間とされる。このような処理が実行される動作モードを、延長再エンコード区間設定モードと称する。
【００９６】
なお、最小再エンコード区間、または、延長再エンコード区間に続く次のＧＯＰにおいて、coding順で最初のＰピクチャの前にＢピクチャが配置されていなかった場合、GOP切れ目でのVBV占有量が連続となったエンコード結果を以って、スプライシング動作が終了される。また、ストリームＡの編集点aがGOPのdisplay順先頭であった場合、最小再エンコード区間の開始はストリームＢの編集点bからであるものとすることができる。
【００９７】
すなわち、編集装置１においては、最小再エンコード区間の切れ目(最小再エンコード区間の最後と、続くＧＯＰの最初と)でVBV占有量をあわせることができなかった場合、最小再エンコード区間の再エンコードを、１回目における再エンコードの実績を基にもう一度行うか、次のGOP切れ目までエンコード区間が延長されて延長再エンコード区間とされて、ＶＢＶ占有量が連続性を有するまで、延長再エンコード区間が設定される。そして、再エンコード区間の切れ目でVBV占有量をあわせることができた場合、再エンコード区間の次のGOPのIピクチャにはオリジナルの符号が使用され、更に、再エンコード区間の次のGOPの最初のPピクチャまでのフレームが再エンコードされる。そして、ＰピクチャにおいてVBVを合わせることができれば、このＰピクチャの手前までで再エンコードが終了される。また、ＰピクチャにおいてVBVを合わせることができなかったときには、再エンコード区間までで再エンコードが終了される。
【００９８】
すなわち、編集装置１においては、スプライシング実行時の動作モードとして、リトライ動作を実行する２パスエンコードモードと、再エンコードを実行する区間を延長する延長再エンコード区間設定モードとの２つの動作モードを有する。編集装置１においては、例えば、編集装置１の構成または設定、もしくは、ユーザの操作入力などに基づいて、動作モードが設定されて、設定された動作モードに基づいた処理が実行されるようになされている。
【００９９】
２パスエンコードモードにおいては、編集点を含むＧＯＰを含んで構成される最小再エンコード区間においてのみ、ＶＢＶ占有量の連続性を守って再エンコードが実行されるので、編集後のストリームにおいて、再エンコードによって画質が劣化してしまう恐れのある部分を最小にすることが可能となる。したがって、編集結果をリアルタイムで再生して確認するよりも画質をできるだけ劣化しないようにしたい場合などに、２パスエンコードモードで編集が行われると好適である。
【０１００】
また、延長再エンコード区間設定モードにおいては、編集点を含むＧＯＰにより構成される最小再エンコード区間において、目標VBV占有量よりも実際のVBV占有量を大きくすることができなかった場合においても、リトライ動作を行わないようにすることができるので、リトライ動作を含むものと比較して、実装が容易になる。また、リトライ動作を行う場合と異なり、編集結果を略リアルタイムに再生出力することが可能であるので、編集結果を略リアルタイムに再生出力する必要がある場合は、延長再エンコード区間設定モードで編集が行われると好適である。
【０１０１】
次に、図９は、図３の編集装置１の機能の構成例を示すブロック図である。なお、図９において、図３における場合と対応する部分には同一の符号を付してあり、その説明は適宜省略する。
【０１０２】
編集装置１は、制御部１０１、取得部１０２、デコーダ２２およびデコーダ２３を含むデコーダ１０３、並びに、エンコーダ２７から構成される。
【０１０３】
制御部１０１は、ＣＰＵ１１およびＣＰＵ２０に対応し、編集装置１の各部を制御する。取得部１０２は、制御部１０１の制御に基づいて、ＨＤＤ１６またはメモリ１８から圧縮素材映像データを取得して、再エンコード区間に対応する部分は、デコーダ２２またはデコーダ２３を含むデコーダ１０３に供給する。圧縮素材映像データが記憶されるＨＤＤ１６またはメモリ１８が取得部１０２に含まれるようにしてもよいし、取得部１０２が編集装置１に接続されている他の装置から圧縮素材映像データを取得するものとしてもよい。また、取得部１０２は、必要に応じて、再エンコード区間に対応しない部分も取得し、再エンコードされた領域と接続して編集画像を生成するために（図３におけるストリームスプライサ２５に）出力する。
【０１０４】
デコーダ１０３は、取得部１０２から供給された圧縮素材映像データをデコードし、その結果として得られた非圧縮の映像信号をエンコーダ２７に供給する。なお、図９に示す編集装置１には、圧縮素材映像データをデコードするデコーダとして、２つのデコーダ２２およびデコーダ２３が設けられ、編集後のストリームをデコードするデコーダとして、デコーダ２４が設けられているが、編集装置１に設けられるデコーダは１つであってもよいし、３以上であってもよい。
【０１０５】
また、制御部１０１は、より詳細には図１０に示すような機能を有している。
【０１０６】
すなわち、制御部１０１は、ＣＰＵ１１およびＣＰＵ２０が実行可能な機能を併せ持つものとして定義されるものである。また、ＣＰＵ１１は、操作入力取得部１３１、再エンコード区間決定部１３２、動作モード決定部１３３、ストリーム送出制御部１３４、および、パラメータ送出部１３５の機能を有し、ＣＰＵ２０は、ストリーム取得制御部１５１、パラメータ取得部１５２、復号制御部１５３、符号化制御部１５４、および、動作モード判定部１５５から構成される。
【０１０７】
操作入力取得部１３１は、ユーザによる操作入力を受けて、編集されるストリームおよび編集点に関する情報などのユーザの操作に応じた情報を取得し、取得した情報を再エンコード区間決定部１３２またはストリーム送出制御部１３４に供給する。また、操作入力取得部１３１は、ユーザから、動作モードを設定または変更する操作入力を受けたとき、動作モード決定部１３３に、動作モードに関する操作入力の内容を供給する。
【０１０８】
再エンコード区間決定部１３２は、まず、操作入力取得部１３１からの編集されるストリームおよび編集点に関する情報に基づいて、最小再エンコード区間を決定する。再エンコード区間決定部１３２は、決定された最小再エンコード区間を示す情報をパラメータ送出部１３５およびストリーム送出制御部１３４に供給する。そして、再エンコード区間決定部１３２は、動作モードが延長再エンコード区間設定モードであり、符号化制御部１５４から、ストリーム供給を停止させる要求を受けなかった場合、換言すれば、最小再エンコード区間の再エンコード処理の結果、ＶＢＶ占有量が、目標値よりも下回ったために、延長再エンコード区間として次のＧＯＰを設定することが要求された場合、延長再エンコード区間を示す情報をパラメータ送出部１３５およびストリーム送出制御部１３４に供給する。
【０１０９】
動作モード決定部１３３は、操作入力取得部１３１から供給されるユーザによる操作入力、または、編集装置１の設定に基づいて、動作モードを決定し、再エンコード区間決定部１３２および動作モード判定部１５５に供給する。
【０１１０】
パラメータ送出部１３５は、再エンコード区間決定部１３２からの最小再エンコード区間または延長再エンコード区間を示す情報に基づいて、ストリームの再エンコードに必要な各種のパラメータをパラメータ取得部１５２に供給する。
【０１１１】
ストリーム送出制御部１３４は、操作入力取得部１３１および再エンコード区間決定部１３２からの情報に基づいて、編集されるストリームのうちの再エンコード区間として設定された部分がデコーダ２２またはデコーダ２３に送出されるように、取得部１０２を制御する。また、ストリーム送出制御部１３４は、必要に応じて、編集されるストリームのうちの再エンコード区間として設定されていない部分も取得し、再エンコードされた部分と接続されるように、取得部１０２を制御する。また、ストリーム送出制御部１３４は、操作入力取得部１３１からの情報に基づいて、ストリームの編集、記憶、または表示などのユーザの操作に応じた処理を行うための制御信号をストリーム取得制御部１５１に供給する。
【０１１２】
ストリーム取得制御部１５１は、ストリーム送出制御部１３４からの制御信号に基づいて、編集されるストリームの取得を制御する。また、ストリーム取得制御部１５１は、編集されるストリームのうちの再エンコードされる区間のストリームを、復号制御部１５３を制御してデコードさせるとともに、符号化制御部１５４を制御してエンコードさせる。
【０１１３】
復号制御部１５３は、動作モード判定部１５５により判定される動作モードに基づいて、ストリームのデコードを制御する。パラメータ取得部１５２は、パラメータ送出部１３５からストリームの再エンコードに必要な各種のパラメータを取得し、符号化制御部１５４に供給する。
【０１１４】
符号化制御部１５４は、動作モード判定部１５５により判定される動作モードに基づいて、パラメータ取得部１５２から供給されるパラメータを用いて、ストリームの再エンコードを制御する。符号化制御部１５４は、２パスエンコードモードにおいて、最小再エンコード区間の再エンコード処理の結果、ＶＢＶ占有量が、目標値よりも下回った場合、１回目のエンコード処理の結果得られる各種パラメータ（例えば、発生符号量などの実績）をエンコーダ２７から取得し、２回目のエンコード処理の符号配分の決定に用いる。また、符号化制御部１５４は、延長再エンコード区間設定モードにおいて、最小再エンコード区間の再エンコード処理の結果、ＶＢＶ占有量が、目標値よりも下回った場合、延長再エンコード区間が設定されるように、再エンコード区間決定部１３２に、ストリーム供給を停止させる要求を通知せず、延長再エンコード区間の設定を要求する。
【０１１５】
動作モード判定部１５５は、動作モード決定部１３３により決定された動作モードに基づいて、動作モードが２パスエンコードモードであるか、延長再エンコード区間設定モードであるかを判定し、判定結果を、復号制御部１５３および符号化制御部１５４に供給する。
【０１１６】
次に、図１１および図１２のフローチャートを参照して、ＣＰＵ１１の処理について説明する。
【０１１７】
ステップＳ１において、ＣＰＵ１１は、圧縮符号化された圧縮素材映像データであるストリームＡおよびストリームＢのＧＯＰ構造、並びに、編集点を示す情報の入力を受ける。また、ＣＰＵ１１は、再エンコード区間前後の部分の表示が指令されている場合、ストリームＡの最小再エンコード区間以前の部分のデータが、ストリームスプライサ２５を介して、デコーダ２４に供給され、スイッチ２９を介して、外部の表示装置などに出力されるように各部を制御させるための制御信号を生成し、ノースブリッジ１２、ＰＣＩバス１４、ＰＣＩブリッジ１７、および、コントロールバス１９を介して、ＣＰＵ２０に送出する。
【０１１８】
ステップＳ２において、図１３または図１４および図１５を用いて後述する最小再エンコード区間決定処理が実行され、図４乃至図６を用いて説明したように、最小再エンコード区間が決定される。
【０１１９】
ステップＳ３において、ＣＰＵ１１は、ステップＳ２において、最小再エンコード区間が決定されたか否かを判断する。ステップＳ３において、最小再エンコード区間が決定されなかったと判断された場合、処理は、終了される。
【０１２０】
ステップＳ３において、最小再エンコード区間が決定されたと判断された場合、ステップＳ４において、ＣＰＵ１１は、最小再エンコード区間の再エンコード処理を実行させるために必要なパラメータを取得する。
【０１２１】
最小再エンコード区間の再エンコード処理を実行させるために必要なパラメータには、例えば、ストリームＡにおける編集点を含むＧＯＰまでのＧＯＰ数など、その位置を示す情報、ストリームＡにおける編集点を含むＧＯＰにおける編集点の位置を示す情報、ストリームＢにおける編集点を含むＧＯＰからストリーム終了までのＧＯＰ数など、その位置を示す情報、ストリームＢにおける編集点を含むＧＯＰにおける編集点の位置を示す情報、最小再エンコード区間のはじめのＶＢＶ値および次のＧＯＰの最初のフレームのＶＢＶ値（すなわち、最小再エンコード区間におけるＶＢＶ目標値）、エフェクトの有無またはエフェクトの種類を示す情報などがある。
【０１２２】
ステップＳ５において、ＣＰＵ１１は、最小再エンコード区間のエンコード終端処理に必要なパラメータを取得する。エンコード終端処理とは、図７を用いて説明した、最小再エンコード区間の次のＧＯＰの最初のＰピクチャまでの再エンコード処理と、その結果に基づいた、編集ストリームＣの生成処理である。
【０１２３】
最小再エンコード区間のエンコード終端処理を実行させるために必要なパラメータには、例えば、該当するＧＯＰにおけるＶＢＶ目標値、該当するＧＯＰの次のＧＯＰの最初のＰピクチャにおけるＶＢＶ値、該当するＧＯＰの次のＧＯＰのＩピクチャの発生符号量、該当するＧＯＰの次のＧＯＰの最初のＰピクチャ直前のＢピクチャの数、該当するＧＯＰの次のＧＯＰの最初のＰピクチャ直前のＢピクチャにおける量子化マトリクスなどがある。
【０１２４】
ステップＳ６において、ＣＰＵ１１は、最小再エンコード区間の再エンコード処理を実行させるために必要なストリームのデコーダ２２およびデコーダ２３への送出を制御する。具体的には、ＣＰＵ１１は、最小再エンコード区間の再エンコード処理を実行させるために必要なストリーム、すなわち、ストリームＡの編集点ａまでの部分がデコーダ２２に供給され、ストリームＢの編集点ｂ以降の部分（編集点ｂ以降の部分のデコードに必要なフレームが編集点ｂ以前に存在する場合は、そのフレームも含む）がデコーダ２３に供給され、エフェクト／スイッチ２６によって、編集点で接続され、必要に応じてエフェクトが施されるように、各部を制御させるための制御信号を生成し、ノースブリッジ１２、ＰＣＩバス１４、ＰＣＩブリッジ１７、および、コントロールバス１９を介して、ＣＰＵ２０に送出する。
【０１２５】
ステップＳ７において、ＣＰＵ１１は、最小再エンコード区間の再エンコード処理を実行させるために必要なパラメータおよびエンコード終端処理に必要なパラメータを、ノースブリッジ１２、ＰＣＩバス１４、ＰＣＩブリッジ１７、および、コントロールバス１９を介して、ＣＰＵ２０に送出する。
【０１２６】
ステップＳ８において、ＣＰＵ１１は、最小再エンコード区間において表示出力されるストリームが、エンコーダ２７への入力データとなるようにスイッチ２９を制御させるための制御信号を、ノースブリッジ１２、ＰＣＩバス１４、ＰＣＩブリッジ１７、および、コントロールバス１９を介して、ＣＰＵ２０に送出する。
【０１２７】
ステップＳ９において、ＣＰＵ１１は、動作モードは、２パスエンコードモードであるか否かを判断する。ステップＳ９において、２パスエンコードモードであると判断された場合、処理は、後述するステップＳ１５に進む。
【０１２８】
ステップＳ９において、２パスエンコードモードではないと判断された場合、動作モードは、延長再エンコード区間設定モードであるので、ステップＳ１０において、ＣＰＵ１１は、次に再エンコードされる延長再エンコード区間の再エンコード処理を実行させるために必要なパラメータを取得する。
【０１２９】
ステップＳ１１において、ＣＰＵ１１は、次に再エンコードされる延長再エンコード区間のエンコード終端処理に必要なパラメータを取得する。
【０１３０】
ステップＳ１２において、ＣＰＵ１１は、次に再エンコードされる延長再エンコード区間の再エンコード処理を実行させるために必要なストリーム、すなわち、ストリームＢの最小再エンコード区間に続くＧＯＰのデコーダ２３への送出を制御する。
【０１３１】
ステップＳ１３において、ＣＰＵ１１は、次に再エンコードされる延長再エンコード区間の再エンコード処理を実行させるために必要なパラメータおよびエンコード終端処理に必要なパラメータを、ノースブリッジ１２、ＰＣＩバス１４、ＰＣＩブリッジ１７、および、コントロールバス１９を介して、ＣＰＵ２０に送出する。
【０１３２】
ステップＳ１４において、ＣＰＵ１１は、コントロールバス１９、ＰＣＩブリッジ１７、ＰＣＩバス１４、および、ノースブリッジ１２を介して、ＣＰＵ２０から、デコーダ２３へのストリーム供給を停止させる要求を受けたか否かを判断する。
【０１３３】
すなわち、最小再エンコード区間における再エンコード処理において、目標VBV占有量よりも大きなVBV占有量で最小再エンコード区間のエンコードが終了された場合、ＣＰＵ２０は、ＣＰＵ１１に、デコーダ２３へのストリーム供給を停止させる要求を送出する。
【０１３４】
ステップＳ１４において、ＣＰＵ２０から、デコーダ２３へのストリーム供給を停止させる要求を受けていない、すなわち、最小再エンコード区間における再エンコード処理において、目標VBV占有量よりも大きなVBV占有量で最小再エンコード区間のエンコードが終了されていないと判断された場合、処理は、ステップＳ１０に戻り、それ以降の処理が繰り返される。ステップＳ１４において、ＣＰＵ２０から、デコーダ２３へのストリーム供給を停止させる要求を受けたと判断された場合、処理は、後述するステップＳ１８に進む。
【０１３５】
ステップＳ９において、２パスエンコードモードであると判断された場合、ステップＳ１５において、ＣＰＵ１１は、最小再エンコード区間の再エンコード処理を実行させるために必要なストリームのデコーダ２２およびデコーダ２３への送出を制御する。具体的には、ＣＰＵ１１は、最小再エンコード区間の再エンコード処理を実行させるために必要なストリーム、すなわち、ストリームＡの編集点ａまでの部分がデコーダ２２に供給され、ストリームＢの編集点ｂ以降の部分（編集点ｂ以降の部分のデコードに必要なフレームが編集点ｂ以前に存在する場合は、そのフレームも含む）がデコーダ２３に供給され、エフェクト／スイッチ２６によって、編集点で接続され、必要に応じてエフェクトが施されるように、各部を制御させるための制御信号を生成し、ノースブリッジ１２、ＰＣＩバス１４、ＰＣＩブリッジ１７、および、コントロールバス１９を介して、ＣＰＵ２０に送出する。
【０１３６】
ステップＳ１６において、ＣＰＵ１１は、最小再エンコード区間の再エンコード処理を実行させるために必要なパラメータおよびエンコード終端処理に必要なパラメータを、ノースブリッジ１２、ＰＣＩバス１４、ＰＣＩブリッジ１７、および、コントロールバス１９を介して、ＣＰＵ２０に送出する。
【０１３７】
ステップＳ１７において、ＣＰＵ１１は、コントロールバス１９、ＰＣＩブリッジ１７、ＰＣＩバス１４、および、ノースブリッジ１２を介して、ＣＰＵ２０から、最小再エンコード区間のエンコードが成功したことの通知を受けたか否かを判断する。ステップＳ１７において、最小再エンコード区間のエンコードが成功したことの通知を受けていないと判断された場合、処理は、ステップＳ１５に戻り、それ以降の処理が繰り返される。
【０１３８】
ステップＳ１４において、ＣＰＵ２０から、デコーダ２３へのストリーム供給を停止させる要求を受けたと判断された場合、または、ステップＳ１７において、最小再エンコード区間のエンコードが成功したことの通知を受けたと判断された場合、ステップＳ１８において、ＣＰＵ１１は、最終的な再エンコード区間に続くフレームとして、Iピクチャに続いてBピクチャが配置されているか否かを判断する。ステップＳ１８において、Iピクチャに続いてBピクチャが配置されていない、すなわち、Ｉピクチャに続いて、Ｐピクチャが配置されていると判断された場合、処理は、後述するステップＳ２１に進む。
【０１３９】
ステップＳ１８において、Iピクチャに続いてBピクチャが配置されていると判断された場合、ステップＳ１９において、ＣＰＵ１１は、最終的な再エンコード区間に続くIピクチャ、１枚以上のBピクチャ、および、Pピクチャ、すなわち、図７において図中アに示されるフレームから図中イに示されるフレームまでの複数のフレームは、ＨＤＤ１６から読み出され、サウスブリッジ１５、ノースブリッジ１２、ＰＣＩバス１４、および、ＰＣＩブリッジ１７を介して、メモリ１８に供給されているか否かを判断する。ステップＳ１９において、Iピクチャ、１枚以上のBピクチャ、および、Pピクチャが、メモリ１８に供給されていると判断された場合、処理は、後述するステップＳ２１に進む。
【０１４０】
ステップＳ１９において、Iピクチャ、１枚以上のBピクチャ、および、Pピクチャが、メモリ１８に供給されていないと判断された場合、ステップＳ２０において、ＣＰＵ１１は、最終的な再エンコード区間に続くIピクチャ、１枚以上のBピクチャ、および、Pピクチャのデコーダ２３への供給を制御する。
【０１４１】
ステップＳ１８において、Iピクチャに続いてBピクチャが配置されていない、すなわち、Ｉピクチャに続いて、Ｐピクチャが配置されていると判断された場合、ステップＳ１９において、Iピクチャ、１枚以上のBピクチャ、および、Pピクチャが、メモリ１８に供給されていると判断された場合、または、ステップＳ２０の処理の終了後、ステップＳ２１において、ＣＰＵ１１は、再エンコード区間外において表示出力されるストリームが、ストリームスプライサ２５を介してデコーダ２４に供給されてデコードされ、外部の表示装置などに供給されるように各部を制御させるための制御信号を生成し、ノースブリッジ１２、ＰＣＩバス１４、ＰＣＩブリッジ１７、および、コントロールバス１９を介して、ＣＰＵ２０に送出して、処理が終了される。
【０１４２】
このような処理により、ＣＰＵ１１は、最小再エンコード区間を決定して、最小再エンコード区間の再エンコード処理、および、エンコード終端処理に必要なパラメータを、ノースブリッジ１２、ＰＣＩバス１４、ＰＣＩブリッジ１７、および、コントロールバス１９を介して、ＣＰＵ２０に送出するとともに、再エンコード区間のストリームの、ノースブリッジ１２、ＰＣＩバス１４、および、ＰＣＩブリッジ１７を介した、メモリ１８への供給と、デコーダ２３(または、必要に応じて、デコーダ２２)への供給を制御することができるようになされている。
【０１４３】
また、ＣＰＵ１１は、２パスエンコードモードにおいて、最小再エンコード区間において実行される再エンコードの結果、ＶＢＶ占有量が連続するまで、最小再エンコード区間の再エンコードが実行されるように、各種制御を実行するので、できるだけ少ない再エンコード区間としつつ、ＶＢＶの制約を守るようにすることができる。これにより、画質の劣化を防止することができる。
【０１４４】
また、ＣＰＵ１１は、延長再エンコード設定モードにおいて、予め、次に再エンコードされる延長再エンコード区間の再エンコード処理、および、エンコード終端処理に必要なパラメータを、ノースブリッジ１２、ＰＣＩバス１４、ＰＣＩブリッジ１７、および、コントロールバス１９を介して、ＣＰＵ２０に送出するとともに、再エンコード区間が延長された場合に続いて再エンコードされるストリームを、ノースブリッジ１２、ＰＣＩバス１４、および、ＰＣＩブリッジ１７を介して、メモリ１８に供給させ、デコーダ２３(または、必要に応じて、デコーダ２２)に供給させることができるようになされている。これにより、編集装置１は、再エンコード区間が延長され、延長再エンコード区間が設定された場合であっても、処理が遅延されたりとまったりすることがないため、連続して編集画像を再生出力させることが可能となる。
【０１４５】
次に、図１３のフローチャートを参照して、図１１のステップＳ２において実行される処理の第１の例である、最小再エンコード区間決定処理１について説明する。
【０１４６】
ステップＳ４１において、ＣＰＵ１１は、編集されるそれぞれのストリームにおける編集点位置の情報を基に、図４を用いて説明したように、基準再エンコード区間を決定する。すなわち、ストリームＡにおける編集点ａを含むＧＯＰの開始位置をαとし、ストリームＢにおける編集点ｂを含むＧＯＰの終了位置をβとしたとき、ストリームＡおよびストリームＢが編集点において接続されて生成されるストリームＣにおける基準再エンコード区間は、編集点ａおよびｂを含むαからβまでの区間とされる。
【０１４７】
ステップＳ４２において、ＣＰＵ１１は、基準となる１GOPフレーム数をNとして、基準再エンコード区間に含まれるフレーム数A＋Bは、Ｎ／２≦Ａ＋Ｂ≦Ｎを満たすか否かを判断する。
【０１４８】
ステップＳ４２において、フレーム数A＋Bは、Ｎ／２≦Ａ＋Ｂ≦Ｎを満たすと判断された場合、ステップＳ４３において、ＣＰＵ１１は、基準再エンコード区間を１ＧＯＰとして、最小再エンコード区間に設定し、処理は、図１１のステップＳ２に戻り、ステップＳ３に進む。
【０１４９】
ステップＳ４２において、フレーム数A＋Bは、Ｎ／２≦Ａ＋Ｂ≦Ｎを満たさないと判断された場合、ステップＳ４４において、ＣＰＵ１１は、基準となる１GOPフレーム数をNとして、基準再エンコード区間に含まれるフレーム数A＋Bは、N＋１≦Ａ＋Ｂ≦２Ｎ−１を満たすか否かを判断する。
【０１５０】
ステップＳ４４において、フレーム数A＋Bは、N＋１≦Ａ＋Ｂ≦２Ｎ−１を満たすと判断された場合、ステップＳ４５において、ＣＰＵ１１は、図６を用いて説明したように、基準再エンコード区間のフレーム数が偶数の場合は均等に分割し、奇数の場合は後ろが１フレーム多くなるように分割して、２ＧＯＰとし、最小再エンコード区間に設定する。
【０１５１】
また、このとき、フレーム数Ａ＋Ｂが割り切れない値であった場合、時間的に後ろとなるＧＯＰのフレーム数が多くなるようにすると好適である。なぜなら、再エンコードされた符号化ストリームと、再エンコードしない部分の符号化ストリームとの接続部分のOccupancy（オキュパンシ）を合わせこむためのデコードおよびエンコードの処理において、時間的に後のＧＯＰのフレーム数が多いほうが、符号割り当ての自由度が高くなるからである。
【０１５２】
ステップＳ４４において、フレーム数A＋Bは、N＋１≦Ａ＋Ｂ≦２Ｎ−１を満たさないと判断された場合、ステップＳ４６において、ＣＰＵ１１は、基準となる１GOPフレーム数をNとして、基準再エンコード区間に含まれるフレーム数A＋Bは、０≦Ａ＋Ｂ＜Ｎ／２を満たすか否かを判断する。
【０１５３】
ステップＳ４６において、フレーム数A＋Bは、０≦Ａ＋Ｂ＜Ｎ／２を満たさないと判断された場合、フレーム数A＋Bは、２Ｎ以上の値を有するので、ステップＳ４７において、ＣＰＵ１１は、エラー処理を実行し、処理は、図１１のステップＳ２に戻り、ステップＳ３に進む。
【０１５４】
ステップＳ４６において、フレーム数A＋Bは、０≦Ａ＋Ｂ＜Ｎ／２を満たすと判断された場合、ステップＳ４８において、ＣＰＵ１１は、基準再エンコード区間に含まれるフレーム数A＋Bに、ストリームＢの次のＧＯＰのフレーム数を加えた値Ａ＋Ｂ＋Ｃは、Ｎ／２≦Ａ＋Ｂ＋Ｃ≦Ｎを満たすか否かを判断する。
【０１５５】
ステップＳ４８において、Ａ＋Ｂ＋Ｃは、Ｎ／２≦Ａ＋Ｂ＋Ｃ≦Ｎを満たさないと判断された場合、すなわち、Ｎ＜Ａ＋Ｂ＋Ｃである場合、ステップＳ４９において、ＣＰＵ１１は、図５を用いて説明したように、基準再エンコード区間にストリームＢの次のＧＯＰを加えたものを、１ＧＯＰがＮ／２≦ｘ≦Ｎを満たすように分割して、２以上のＧＯＰを設定して、最小再エンコード区間に設定する。このとき、それぞれのＧＯＰに含まれるフレーム数ができるだけ均等になるように分割されると好適である。例えば、２ＧＯＰに分割される場合、Ａ＋Ｂ＋Ｃのフレーム数が偶数の場合は均等に分割され、奇数の場合は後ろが１フレーム多くなるように分割されて、２ＧＯＰとされ、この２ＧＯＰが最小再エンコード区間に設定される。
【０１５６】
また、このとき、フレーム数Ａ＋Ｂ＋Ｃが割り切れない値であった場合、時間的に後ろとなるＧＯＰのフレーム数が多くなるようにすると好適である。なぜなら、再エンコードされた符号化ストリームと、再エンコードしない部分の符号化ストリームとの接続部分のOccupancy（オキュパンシ）を合わせこむためのデコードおよびエンコードの処理において、時間的に後のＧＯＰのフレーム数が多いほうが、符号割り当ての自由度が高くなるからである。
【０１５７】
更に、Ａ＋Ｂ＋Ｃのフレーム数をできるだけ均等に分割する以外に、予め定められた所定のフレーム数で、ＧＯＰを分割するものとしても良い。例えば、２つのうちの時間的に前のＧＯＰを構成するフレーム数が必ず所定のフレーム数（例えば、Ｎ／２またはＮ／２以上となる最小の整数）となるようにして、ＧＯＰが分割されるものとしても良い。また、予め定められた所定のフレーム数は、それぞれのＧＯＰにおいて、１ＧＯＰがＮ／２≦ｘ≦Ｎを満たす区間で定められるものとすると好適である。
【０１５８】
ステップＳ４９の処理の終了後、処理は、図１２のステップＳ２に戻り、ステップＳ３に進む。
【０１５９】
ステップＳ４８において、Ａ＋Ｂ＋Ｃは、Ｎ／２≦Ａ＋Ｂ＋Ｃ≦Ｎを満たすと判断された場合、ステップＳ５０において、ＣＰＵ１１は、基準再エンコード区間にストリームＢの次のＧＯＰを加えたものを１ＧＯＰとして、最小再エンコード区間に設定し、処理は、図１１のステップＳ２に戻り、ステップＳ３に進む。
【０１６０】
このような処理により、最小再エンコード区間の設定について、短いGOPを結果として残さない様にすることができ、いたずらに画質の劣化をもたらさないようにすることができる。そして、再エンコードを行う区間の各GOPに対し、出来る限り大きなGOP長となる様なエンコードを実施できるため、符号化効率が最大となり、より良い画質の符号化を期待することができる。
【０１６１】
なお、ステップＳ４５の処理においては、基準再エンコード区間内のフレーム数をできるだけ均等になるように分割するものとして説明したが、ここでは、Ａ＋Ｂのフレーム数をできるだけ均等に分割する以外に、予め定められた所定のフレーム数で、ＧＯＰを分割するものとしても良い。
【０１６２】
次に、図１４および図１５のフローチャートを参照して、図１２のステップＳ２において実行される処理の第２の例である、最小再エンコード区間決定処理２について説明する。
【０１６３】
ステップＳ６１乃至ステップＳ６４において、図１４のステップＳ４１乃至ステップＳ４４と、基本的に同様の処理が実行される。
【０１６４】
すなわち、ＣＰＵ１１は、編集されるそれぞれのストリームにおける編集点位置の情報を基に、図４を用いて説明したように、基準再エンコード区間を決定する。そして、基準となる１GOPフレーム数をNとして、基準再エンコード区間に含まれるフレーム数Ａ＋Ｂは、Ｎ／２≦Ａ＋Ｂ≦Ｎを満たすと判断された場合、基準再エンコード区間を１ＧＯＰとして、最小再エンコード区間が設定される。
【０１６５】
そして、フレーム数Ａ＋Ｂは、Ｎ／２≦Ａ＋Ｂ≦Ｎを満たさないと判断された場合、基準となる１GOPフレーム数をNとして、基準再エンコード区間に含まれるフレーム数A＋Bは、N＋１≦Ａ＋Ｂ≦２Ｎ−１を満たすか否かが判断される。フレーム数A＋Bは、N＋１≦Ａ＋Ｂ≦２Ｎ−１を満たさないと判断された場合、処理は、後述するステップＳ６７に進む。
【０１６６】
フレーム数Ａ＋Ｂは、Ｎ＋１≦Ａ＋Ｂ≦２Ｎ−１を満たすと判断された場合、ステップＳ６５において、ＣＰＵ１１は、基準再エンコード区間のうち、編集点より前にあるフレームの数Ａは、Ａ≧Ｎ／２を満たしているか否かを判断する。ステップＳ６５において、Ａ≧Ｎ／２を満たしていると判断された場合、処理は、後述するステップＳ７２に進む。
【０１６７】
ステップＳ６５において、Ａ≧Ｎ／２を満たしていないと判断された場合、ステップＳ６６において、ＣＰＵ１１は、フレーム数Ａ＋Ｂの値に基づいた所定のフレーム数になるように分割して２ＧＯＰとし、最小再エンコード区間に設定して、処理は、図１２のステップＳ２に戻り、ステップＳ３に進む。
【０１６８】
また、このとき、例えば、２つのうちの時間的に前のＧＯＰを構成するフレーム数が必ず所定のフレーム数（例えば、Ｎ／２またはＮ／２以上となる最小の整数）となるようにして、ＧＯＰが分割されるものとしても良い。具体的には、例えば、Ｎ＝１５のとき、Ａ＋Ｂ＝１６であれば、１つ目のＧＯＰのフレーム数を８、２つ目のＧＯＰのフレーム数を８とし、Ａ＋Ｂ＝１７であれば、１つ目のＧＯＰのフレーム数を８、２つ目のＧＯＰのフレーム数を９とし、Ａ＋Ｂ＝１８であれば、１つ目のＧＯＰのフレーム数を８、２つ目のＧＯＰのフレーム数を１０とするように、２つ目のＧＯＰのフレーム数を変化させ、同様に、Ａ＋Ｂ＝２２であれば、１つ目のＧＯＰのフレーム数を８、２つ目のＧＯＰのフレーム数を１４とするようにしても良い。
【０１６９】
このようにして、時間的に前のＧＯＰのフレーム数を、再エンコードが困難とならないような所定の値に固定しておき、後のＧＯＰのフレーム数が多くなるように設定すると、再エンコードしない部分の符号化ストリームとの接続部分のOccupancy（オキュパンシ）を合わせこむためのデコードおよびエンコードの処理において、時間的に後のＧＯＰのフレーム数が多いほうが、符号割り当ての自由度が高くなるため、好適である。
【０１７０】
ステップＳ６４において、フレーム数Ａ＋Ｂは、N＋１≦Ａ＋Ｂ≦２Ｎ−１を満たさないと判断された場合、ステップＳ６７乃至ステップＳ７１において、図１４のステップＳ４６乃至ステップＳ５０と基本的に同様の処理が繰り返される。
【０１７１】
すなわち、基準となる１GOPフレーム数をＮとして、基準再エンコード区間に含まれるフレーム数Ａ＋Ｂは、０≦Ａ＋Ｂ＜Ｎ／２を満たすか否かが判断され、フレーム数Ａ＋Ｂは、０≦Ａ＋Ｂ＜Ｎ／２を満たさないと判断された場合、フレーム数Ａ＋Ｂは、２Ｎ以上の値を有するので、エラー処理が実行され、処理は、図１２のステップＳ２に戻り、ステップＳ３に進む。そして、フレーム数Ａ＋Ｂは、０≦Ａ＋Ｂ＜Ｎ／２を満たすと判断された場合、基準再エンコード区間に含まれるフレーム数Ａ＋Ｂに、ストリームＢの次のＧＯＰのフレーム数を加えた値Ａ＋Ｂ＋Ｃは、Ｎ／２≦Ａ＋Ｂ＋Ｃ≦Ｎを満たすか否かが判断される。
【０１７２】
Ａ＋Ｂ＋Ｃは、Ｎ／２≦Ａ＋Ｂ＋Ｃ≦Ｎを満たさないと判断された場合、すなわち、Ｎ＜Ａ＋Ｂ＋Ｃである場合、図５を用いて説明したように、基準再エンコード区間にストリームＢの次のＧＯＰを加えたものが、１ＧＯＰがＮ／２≦ｘ≦Ｎを満たすように分割されて、２以上のＧＯＰが設定されて、最小再エンコード区間に設定され、処理は、図１２のステップＳ２に戻り、ステップＳ３に進む。このとき、Ａ＋Ｂ＋Ｃのフレーム数ができるだけ均等になるようにＧＯＰを分割するようにしてもよいし、上述したように、１ＧＯＰがＮ／２≦ｘ≦Ｎを満たす区間で、予め定められた所定のフレーム数に基づいて、ＧＯＰを分割するものとしても良い。
【０１７３】
そして、Ａ＋Ｂ＋Ｃは、Ｎ／２≦Ａ＋Ｂ＋Ｃ≦Ｎを満たすと判断された場合、基準再エンコード区間にストリームＢの次のＧＯＰを加えたものが１ＧＯＰとされて、最小再エンコード区間に設定され、処理は、図１２のステップＳ２に戻り、ステップＳ３に進む。
【０１７４】
ステップＳ６５において、Ａ≧Ｎ／２を満たしていると判断された場合、ステップＳ７２において、ＣＰＵ１１は、編集点をＧＯＰの切れ目としたとき、基準再エンコード区間の編集点より後ろのＧＯＰのＧＯＰ数Ｂは、Ｎ／２≦Ｂを満たすか否かを判断する。
【０１７５】
ステップＳ７２において、基準再エンコード区間の後ろのＧＯＰのＧＯＰ数Ｂは、Ｎ／２≦Ｂを満たすと判断された場合、ステップＳ７３において、ＣＰＵ１１は、編集点をＧＯＰの切れ目として、基準再エンコード区間を２ＧＯＰに分割し、最小再エンコード区間に設定して、処理は、図１２のステップＳ２に戻り、ステップＳ３に進む。
【０１７６】
なお、ステップＳ７３の処理が実行された場合、図１２を用いて説明したＣＰＵ１１の処理のステップＳ７において、ＣＰＵ１１は、最小再エンコード区間において編集点より後ろのＧＯＰのディスプレイ順における先頭をＩ２ピクチャとする（換言すれば、Ｂ０およびＢ１ピクチャを省略する）ことを示す情報を、再エンコードに必要なパラメータとして、ノースブリッジ１２、ＰＣＩバス１４、ＰＣＩブリッジ１７、および、コントロールバス１９を介して、ＣＰＵ２０に送出する。
【０１７７】
ステップＳ７２において、基準再エンコード区間の後ろのＧＯＰのＧＯＰ数Ｂは、Ｎ／２≦Ｂを満たさないと判断された場合、ステップＳ７４において、ＣＰＵ１１は、編集点をＧＯＰの切れ目としたとき、基準再エンコード区間の後ろのＧＯＰのＧＯＰ数Ｂに、ストリームＢの次のＧＯＰのフレーム数Ｃを加えたＢ＋Ｃは、Ｎ／２≦Ｂ＋Ｃ≦Ｎを満たすか否かを判断する。
【０１７８】
ステップＳ７４において、Ｎ／２≦Ｂ＋Ｃ≦Ｎが満たされると判断された場合、ステップＳ７５において、ＣＰＵ１１は、基準再エンコード区間にストリームＢの次のＧＯＰを加えたものを、１ＧＯＰ目が編集点より前、２ＧＯＰ目を編集点より後ろの部分として、最小再エンコード区間に設定して、処理は、図１２のステップＳ２に戻り、ステップＳ３に進む。
【０１７９】
ステップＳ７４において、Ｎ／２≦Ｂ＋Ｃ≦Ｎを満たさないと判断された場合、ステップＳ７６において、ＣＰＵ１１は、Ｂ＋Ｃは、Ｎ／２＞Ｂ＋Ｃを満たすか否かを判断する。
【０１８０】
ステップＳ７６において、Ｎ／２＞Ｂ＋Ｃが満たされないと判断された場合、Ｂ＋Ｃ＞Ｎであるので、ステップＳ７７において、ＣＰＵ１１は、基準再エンコード区間にストリームＢの次のＧＯＰを加えたものを、１ＧＯＰ目が編集点より前、２ＧＯＰ目および３ＧＯＰ目を、編集点より後ろの部分、すなわち、フレーム数がＢ＋Ｃフレームである部分を２ＧＯＰに分割したそれぞれのＧＯＰであるものとして、この３ＧＯＰを最小再エンコード区間に設定し、処理は、図１２のステップＳ２に戻り、ステップＳ３に進む。
【０１８１】
ステップＳ７６において、Ｎ／２＞Ｂ＋Ｃが満たされると判断された場合、ステップＳ７８において、ＣＰＵ１１は、更に、ストリームＢの次のＧＯＰのフレーム数を加えたフレーム数は、Ｎ／２と等しいか、または、大きいかを判断する。ステップＳ７８において、フレーム数はＮ／２より小さいと判断された場合、フレーム数が、Ｎ／２と等しいか、または、大きいと判断されるまで、ステップＳ７８の処理が繰り返される。
【０１８２】
ステップＳ７８において、フレーム数が、Ｎ／２と等しいか、または、大きいと判断された場合、ステップＳ７９において、ＣＰＵ１１は、基準再エンコード区間にストリームＢの複数ＧＯＰを加えたものを、１ＧＯＰ目が編集点より前、２ＧＯＰ目を編集点より後ろの部分として、最小再エンコード区間に設定して、処理は、図１２のステップＳ２に戻り、ステップＳ３に進む。
【０１８３】
このような処理により、最小再エンコード区間の設定について、ＧＯＰを構成するフレーム数と、編集点の位置とを考慮して、いたずらに画質の劣化をもたらさないようなＧＯＰ構成とすることができる。それにより、より良い画質の符号化を期待することができる。
【０１８４】
なお、ステップＳ６６の処理においては、Ａ＋Ｂのフレーム数をできるだけ均等に分割する以外に、予め定められた所定のフレーム数で、ＧＯＰを分割するものとして説明したが、ここでは、基準再エンコード区間内のフレーム数をできるだけ均等になるように分割するものとしても良い。
【０１８５】
次に、図１６のフローチャートを参照して、２パスエンコードモードにおいて実行される、ＣＰＵ２０の処理１について説明する。
【０１８６】
ステップＳ８１において、ＣＰＵ２０は、図１１のステップＳ７においてＣＰＵ１１により送出された、最小再エンコード区間の再エンコード処理を実行させるために必要なパラメータおよびエンコード終端処理に必要なパラメータを取得する。
【０１８７】
ステップＳ８２において、ＣＰＵ２０は、最小再エンコード区間のＶＢＶ開始値Ｖ１とＶＢＶ目標値Ｖ２とを取得する。
【０１８８】
ステップＳ８３において、図１８を用いて後述する最小再エンコード区間の符号配分決定処理が実行される。
【０１８９】
ステップＳ８４において、ＣＰＵ２０は、決定された符号配分に基づいて、最小再エンコード区間のデコードおよびエンコード、並びに、編集点の接続の制御を開始する。すなわち、ＣＰＵ２０は、ノースブリッジ１２、ＰＣＩバス１４、ＰＣＩブリッジ１７、および、コントロールバス１９を介して、ＣＰＵ１１から送出される制御信号を基に、ストリームＡの最小再エンコード区間以前の部分のデータは、ストリームスプライサ２５を介して、デコーダ２４に供給され、スイッチ２９を介して、外部の表示装置などに出力されるように、ＰＣＩブリッジ１７、ストリームスプライサ２５、デコーダ２４、および、スイッチ２９の動作を制御し、ストリームＡの最小再エンコード区間のデータがデコーダ２２に供給されてデコードされ、ストリームＢの編集点ｂ以降の部分（編集点ｂ以降の部分のデコードに必要なフレームが編集点ｂ以前に存在する場合は、そのフレームも含む）がデコーダ２３に供給され、エフェクト／スイッチ２６によって、デコードされたそれぞれのストリームが編集点で接続され、必要に応じてエフェクトが施された後、スイッチ２９を介して、外部の表示装置などに出力されるとともに、エンコーダ２７によってエンコードされるように、ＰＣＩブリッジ１７、デコーダ２２、デコーダ２３、エフェクト／スイッチ２６、エンコーダ２７、および、スイッチ２９の動作を制御する。
【０１９０】
ステップＳ８５において、ＣＰＵ２０は、最小再エンコード区間の再エンコードは終了したか否かを判断する。最小再エンコード区間の再エンコードは終了していないと判断された場合、最小再エンコード区間の再エンコードは終了したと判断されるまで、ステップＳ８５の処理が繰り返される。
【０１９１】
ステップＳ８５において、最小再エンコード区間の再エンコードは終了したと判断された場合、ステップＳ８６において、ＣＰＵ２０は、最小再エンコード区間の再エンコード終了点のＶＢＶ値は、ＶＢＶ目標値に合致するか否かを判断する。
【０１９２】
例えば、ステップＳ８２において、図１７に示される最小再エンコード区間におけるＶＢＶ開始値Ｖ１とＶＢＶ目標値Ｖ２とが取得される。そして、再エンコード終了点のＶＢＶ値は、ＶＢＶ目標値であるＶ２より大きな値となるか否かが判断される。
【０１９３】
ステップＳ８６において、再エンコード終了点のＶＢＶ値は、ＶＢＶ目標値に合致しないと判断された場合、ステップＳ８７において、ＣＰＵ２０は、最小再エンコード区間において実施された再エンコード処理に関するパラメータとして、実際のエンコード結果によるVBV到達点、および、最小再エンコード区間の符号の総発生符号量Ｇを取得する。実際のエンコード結果によるVBV到達点は、例えば、図１７において、Ｖ３で示される。
【０１９４】
ステップＳ８８において、ＣＰＵ２０は、ＶＢＶ目標値に対するＶＢＶ達成値の差分を求める。
【０１９５】
すなわち、ＣＰＵ２０は、図１７に示されるように、最小再エンコード区間におけるＶＢＶ開始値Ｖ１とＶＢＶ目標値Ｖ２、実際のエンコード結果によるVBV到達点Ｖ３、および、最小再エンコード区間の符号の総発生符号量Ｇを基に、Ｖ２−Ｖ３をVBV Buffer上昇分の担保とする。
【０１９６】
ステップＳ８９において、ＣＰＵ２０は、ステップＳ８８において求められた、ＶＢＶ目標値に対するＶＢＶ到達値の差分を基に、発生符号量の再計算を実行し、処理は、ステップＳ８４に戻り、それ以降の処理が繰り返される。
【０１９７】
すなわち、ＣＰＵ２０は、VBV Buffer上昇分Ｖ２−Ｖ３を考慮して、最小再エンコード区間を再度エンコードする場合、TM5の発生符号目標値計算において、Ｇ‘＝Ｇ−（Ｖ２−Ｖ３）−Δを用いる。ここで、Δは、画質を考慮した上での各機器で考慮するマージン分とする。
【０１９８】
ステップＳ８６において、再エンコード終了点のＶＢＶ値は、ＶＢＶ目標値に合致する、すなわち、Occupancyの連続性が保たれたと判断された場合、ステップＳ９０において、図２０を用いて後述するエンコード終端処理が実行され、処理が終了される。
【０１９９】
このような処理により、再エンコード区間の終了点において、ＶＢＶ目標値に合致するか否かが判断され、ＶＢＶ目標値に合致しなかった場合、１回目のエンコードの実績に基づいて、もう一度、最小再エンコード区間の再エンコードが実行されるので、２回目には、再エンコード区間の終了点において、ＶＢＶ目標値に合致することができるような再エンコード処理が実行されるように符号配分が決定される可能性が高くなる。
【０２００】
なお、ここでは、ステップＳ８３において、図１８を用いて後述する最小再エンコード区間の符号配分決定処理が実行されて、符号配分が決定されるものとして説明するが、ここでは、ＶＢＶ目標値Ｖ２に対して、最小再エンコード区間の符号配分を決定することが可能であれば、符号配分の決定方法は、いずれの方法を用いてもよい。
【０２０１】
また、ここでは、最小再エンコード区間の１回目の再エンコード処理によってＶＢＶ目標値に到達しなかった場合、再度、最小再エンコード区間を再エンコードするものとして説明しているが、最小再エンコード区間が複数のＧＯＰで構成されているとき、全てのＧＯＰの再エンコードを繰り返すことなく、最後の１ＧＯＰのみ、または、後ろから複数のＧＯＰのみの再エンコードを、符号配分を変更して繰り返すようにしてもよい。
【０２０２】
次に、図１８のフローチャートを参照して、図１６のステップＳ８３において実行される最小再エンコード区間の符号配分決定処理について説明する。
【０２０３】
ステップＳ１１１において、ＣＰＵ２０は、ステップＳ８２において取得された、最小再エンコード区間のＶＢＶ開始値Ｖ１とＶＢＶ目標値Ｖ２とに基づいて、Ｖ２−Ｖ１を求める。
【０２０４】
ステップＳ１１２において、ＣＰＵ２０は、最小再エンコード区間において、平均的な絵柄が続いた場合を仮定し、その場合の発生符号量Ｇを求める。
【０２０５】
すなわち、編集点を含んだ最小再エンコード区間に対して、ＶＢＶ開始点からＶＢＶ目標点までの符号化を行う際、この部分のエンコード処理に関しては、まだ、何の実績も無いので、最小再エンコード区間の終了点において、ＶＢＶ占有量がいずれの値に到達するかを推定するための根拠がない。このため、エンコード終了点におけるＶＢＶ到達点の推定処理は容易ではない。そこで、ＣＰＵ２０は、図１９に示されるように、最小再エンコード区間に含まれる画像が平均的な絵柄である、すなわち、ＶＢＶ到達点もＶ１となることを想定して、その場合の発生符号量Ｇを求める。
【０２０６】
そして、ステップＳ１１３において、ＣＰＵ２０は、Ｖ２−Ｖ１を、VBV上昇分として考慮し、最小再エンコード区間における発生符号量を求める。
【０２０７】
すなわち、ＣＰＵ２０は、最小再エンコード区間に含まれる画像が平均的な絵柄であることを想定した上で、ステップＳ８２において取得された、最小再エンコード区間のＶＢＶ開始値Ｖ１とＶＢＶ目標値Ｖ２に基づいて、図１９に示されるＶ２−Ｖ１を、VBV上昇分として担保する。そして、ＣＰＵ２０は、ＴＭ５の発生符号目標値計算において、Ｇ‘＝Ｇ−（Ｖ２−Ｖ１）−Δを求める。ここで、Δは、画質を考慮した上での各機器で考慮するマージン分とする。
【０２０８】
そして、ステップＳ１１４において、ＣＰＵ２０は、ステップＳ１１３により求められた発生符号量に基づいて、最小再エンコード区間の符号配分を決定し、処理は、図１６のステップＳ８３に戻り、ステップＳ８４に進む。
【０２０９】
このような処理により、最小再エンコード区間の最初の再エンコード時における発生符号量の配分が決定される。これにより、Ｖ２−Ｖ１が正の値であっても負の値であっても、ＴＭ５の発生符号目標値計算において、Ｇの値を最小再エンコード区間に含まれる画像が平均的な絵柄であるとしたときよりも適切な発生符号量を割り当てて、バッファアンダーフローを防止しつつ、画質劣化を抑制することが可能となる。
【０２１０】
次に、図２０のフローチャートを参照して、図１６のステップＳ９０において実行される、エンコード終端処理について説明する。
【０２１１】
ステップＳ１２１において、ＣＰＵ２０は、次のＧＯＰのエンコード前に、次のＧＯＰのＢピクチャの量子化マトリクスを設定する。
【０２１２】
ステップＳ１２２において、ＣＰＵ２０は、Ｉピクチャから次のＰピクチャの直前までの区間の再エンコードを実行する。
【０２１３】
ステップＳ１２３において、ＣＰＵ２０は、ＶＢＶ目標値を次のＧＯＰの最初のＰピクチャの直前のＶＢＶ値に設定し、再エンコード終了点のＶＢＶ値は、ＶＢＶ目標値に合致するか否かを判断する。このとき、オリジナルのストリーム(例えば、図４などにおけるストリームＢ)のＩピクチャのビット量を用いて、再エンコード終了点のＶＢＶ値は、ＶＢＶ目標値に合致するか否かの判断が実行される。
【０２１４】
ステップＳ１２３において、ＶＢＶ目標値に合致した、すなわち、Occupancyの連続性が保たれたと判断された場合、ステップＳ１２４において、ＣＰＵ２０は、再エンコードを終了し、Ｉピクチャをオリジナルのストリーム(例えば、図４などにおけるストリームＢ)のＩピクチャに置き換えて、このＧＯＰの最初のＰピクチャの直前までの再エンコード画像を、編集画像として採用するように、各部を制御して、処理は、図１６のステップＳ９０に戻り、処理が終了される。
【０２１５】
ステップＳ１２３において、ＶＢＶ目標値に合致しなかったと判断された場合、ステップＳ１２５において、ＣＰＵ２０は、再エンコードを終了し、前のＧＯＰまでの再エンコード画像を採用する、すなわち、ストリームスプライサ２５に供給されたオリジナルのストリームＢにおいて、最初のＰピクチャの前に配置されている１枚または複数枚のＢピクチャを編集画像として採用する処理を実行して（換言すれば、ステップＳ１２２において再エンコードされた、次のＰピクチャの直前までの区間の再エンコード結果を破棄して）、処理は、図１６のステップＳ９０に戻り、処理が終了される。
【０２１６】
このような処理により、ＧＯＰの切れ目でＶＢＶが連続した場合、次のＰピクチャの直前まで再エンコードされる区間が延長され、その再エンコードされる区間の終了点でＶＢＶが連続するように、再エンコードが制御される。そして、次のＰピクチャにおいてＶＢＶが連続した場合、編集データとして、次のＧＯＰの最初のＰピクチャの直前までのＢピクチャが加えられる。
【０２１７】
次に、図２１のフローチャートを参照して、延長再エンコード区間設定モードにおいて実行される、ＣＰＵ２０の処理２について説明する。
【０２１８】
ステップＳ１５１において、ＣＰＵ２０は、図１１のステップＳ７においてＣＰＵ１１により送出された、最小再エンコード区間の再エンコード処理を実行させるために必要なパラメータおよびエンコード終端処理に必要なパラメータを取得する。
【０２１９】
ステップＳ１５２において、ＣＰＵ２０は、最小再エンコード区間のＶＢＶ開始値Ｖ１とＶＢＶ目標値Ｖ２とを取得する。
【０２２０】
ステップＳ１５３において、図１８を用いて説明した、最小再エンコード区間の符号配分決定処理が実行される。
【０２２１】
ステップＳ１５４において、ＣＰＵ２０は、決定された符号配分に基づいて、最小再エンコード区間のデコードおよびエンコード、並びに、編集点の接続の制御を開始する。すなわち、ＣＰＵ２０は、ノースブリッジ１２、ＰＣＩバス１４、ＰＣＩブリッジ１７、および、コントロールバス１９を介して、ＣＰＵ１１から送出される制御信号を基に、ストリームＡの最小再エンコード区間以前の部分のデータは、ストリームスプライサ２５を介して、デコーダ２４に供給され、スイッチ２９を介して、外部の表示装置などに出力されるように、ＰＣＩブリッジ１７、ストリームスプライサ２５、デコーダ２４、および、スイッチ２９の動作を制御し、ストリームＡの最小再エンコード区間のデータがデコーダ２２に供給されてデコードされ、ストリームＢの編集点ｂ以降の部分（編集点ｂ以降の部分のデコードに必要なフレームが編集点ｂ以前に存在する場合は、そのフレームも含む）がデコーダ２３に供給され、エフェクト／スイッチ２６によって、デコードされたそれぞれのストリームが編集点で接続され、必要に応じてエフェクトが施された後、スイッチ２９を介して、外部の表示装置などに出力されるとともに、エンコーダ２７によってエンコードされるように、ＰＣＩブリッジ１７、デコーダ２２、デコーダ２３、エフェクト／スイッチ２６、エンコーダ２７、および、スイッチ２９の動作を制御する。
【０２２２】
ステップＳ１５５において、ＣＰＵ２０は、図１２のステップＳ１３においてＣＰＵ１１により送出された、延長再エンコード区間の再エンコード処理を実行させるために必要なパラメータおよびエンコード終端処理に必要なパラメータを取得する。
【０２２３】
ステップＳ１５６において、ＣＰＵ２０は、延長再エンコード区間のＶＢＶ開始値Ｖ１’とＶＢＶ目標値Ｖ２’とを取得する。
【０２２４】
ステップＳ１５７において、ＣＰＵ２０は、現在設定されている再エンコード区間(例えば、１回目のステップＳ１５７の処理においては、最小再エンコード区間、それ以降に実行されるステップＳ１５７の処理においては、延長再エンコード区間)の再エンコードは終了したか否かを判断する。ステップＳ１５７において、現在設定されている区間の再エンコードは終了していないと判断された場合、現在設定されている区間の再エンコードは終了したと判断されるまで、ステップＳ１５７の処理が繰り返される。
【０２２５】
ステップＳ１５７において、現在設定されている区間の再エンコードは終了したと判断された場合、ステップＳ１５８において、ＣＰＵ２０は、再エンコード終了点のＶＢＶ値は、ＶＢＶ目標値に合致するか否かを判断する。
【０２２６】
ステップＳ１５８において、再エンコード終了点のＶＢＶ値は、ＶＢＶ目標値に合致しないと判断された場合、ステップＳ１５９において、図２２または図２４を用いて後述する、延長再エンコード区間の設定処理が実行される。
【０２２７】
ステップＳ１６０において、ＣＰＵ２０は、ステップＳ１５９において決定した、次のＧＯＰ延長再エンコード区間の符号配分に基づいて、次に再エンコードされる延長再エンコード区間のデコードおよびエンコードの開始を制御し、処理は、ステップＳ１５５に戻り、それ以降の処理が繰り返される。
【０２２８】
ステップＳ１５８において、再エンコード終了点のＶＢＶ値は、ＶＢＶ目標値に合致する、すなわち、Occupancyの連続性が保たれたと判断された場合、ステップＳ１６１において、図２０を用いて説明したエンコード終端処理が実行され、処理が終了される。
【０２２９】
このような処理により、再エンコード区間の終了点において、ＶＢＶ目標値に合致するか否かが判断され、ＶＢＶ目標値に合致しなかった場合、再エンコード区間が延長されるので、再エンコードがリトライされない。そのため、編集時にリアルタイムで編集画像を表示させる場合などの応答性が向上する。
【０２３０】
また、ある再エンコード区間の処理が終了する前に、次に再エンコードされる延長再エンコード区間を再エンコードするために必要な情報が取得されるので、再エンコード区間が延長された場合でも、処理が遅延されるようなことがない。
【０２３１】
次に、図２２のフローチャートを参照して、図２１のステップＳ１５９において実行される処理の第１の例である、延長再エンコード区間の設定処理１について説明する。
【０２３２】
ステップＳ１８１において、ＣＰＵ２０は、ステップＳ１５６において取得された、延長再エンコード区間のＶＢＶ開始値Ｖ１´とＶＢＶ目標値Ｖ２´とに基づいて、Ｖ２´−Ｖ１´を求める。
【０２３３】
ステップＳ１８２において、ＣＰＵ２０は、延長再エンコード区間において、平均的な絵柄が続いた場合を仮定し、その場合の発生符号量Ｇを求める。
【０２３４】
すなわち、ＣＰＵ２０は、最小再エンコード区間における場合と同様にして、延長再エンコード区間に含まれる画像が平均的な絵柄であること、すなわち、再エンコード終了点がＶ１´となる場合を想定した発生符号量Ｇを基に、VBV Bufferの上昇分を考慮し、発生符号量Ｇ´を求めるものとする。
【０２３５】
そして、ステップＳ１８３において、ＣＰＵ２０は、Ｖ２´−Ｖ１´を、VBV上昇分として考慮し、延長再エンコード区間における発生符号量を求める。
【０２３６】
すなわち、ＣＰＵ２０は、延長再エンコード区間に含まれる画像が平均的な絵柄であることを想定した上で、ステップＳ１５６において取得された、延長再エンコード区間のＶＢＶ開始値Ｖ１´とＶＢＶ目標値Ｖ２´に基づいて、Ｖ２´−Ｖ１´、すなわち、図２３に示されるＶ２´−Ｖ１´を、VBV上昇分として担保する。そして、ＣＰＵ２０は、ＴＭ５の発生符号目標値計算において、Ｇ‘＝Ｇ−（Ｖ２´−Ｖ１´）−Δを求める。ここで、Δは、画質を考慮した上での各機器で考慮するマージン分とする。
【０２３７】
ステップＳ１８４において、ＣＰＵ２０は、図２１のステップＳ１５５において取得した、次にエンコードされる延長再エンコード区間の再エンコード処理を実行させるために必要なパラメータおよびエンコード終端処理に必要なパラメータ、並びに、ステップＳ１８３において求められた延長再エンコード区間における発生符号量Ｇ´を基に、符号配分が決定され、延長再エンコード区間の再エンコードの設定を行い、処理は、図２１のステップＳ１５９に戻り、ステップＳ１６０に進む。
【０２３８】
このような処理により、延長再エンコード区間における符号量の配分が求められる。
【０２３９】
ところで、延長再エンコード区間においては、編集点が存在しないことから、ストリームＢの編集点以降のオリジナルのエンコードにおいて、オリジナルのVBV開始点からVBV目標点までの符号化実績が存在する。したがって、この符号化実績を用いて、発生符号量を算出すると好適である。例えば、オリジナルの符号化実績よりも量子化を粗くすることにより、オリジナルのVBV開始点よりＶＢＶ占有量の値の少ない延長再エンコード区間開始点からオリジナルのVBV目標点へバッファ占有量が移行するような符号配分が可能となる。
【０２４０】
次に、図２４のフローチャートを参照して、図２１のステップＳ１５９において実行される処理の第２の例である、延長再エンコード区間の設定処理２について説明する。
【０２４１】
ステップＳ２０１において、ＣＰＵ２０は、ノースブリッジ１２、ＰＣＩバス１４、ＰＣＩブリッジ１７、および、コントロールバス１９を介して、ＣＰＵ１１から、延長再エンコード区間におけるオリジナルのＶＢＶ開始値におけるバッファ占有量Ｖ４を取得する。
【０２４２】
すなわち、図２５に示されるように、延長再エンコード区間となるGOPのオリジナル、すなわち、編集素材であるストリームＢがエンコードされた場合のこの区間におけるＶＢＶ開始点のバッファ占有量をＶ４、再エンコード時のＶＢＶ開始点、すなわち、最長再エンコード区間の一つ前の区間における再エンコードの終了点におけるバッファ占有量をＶ１´、この延長再エンコード区間となるＧＯＰのＶＢＶ目標点をＶ２´とすると、延長再エンコード区間に対応するオリジナルストリーム、すなわち、編集素材であるストリームＢの対応するＧＯＰにおいては、符号化が実行されることによりバッファ占有量がＶ４からＶ２´に変化したという実績がある。この処理においては、この符号化実績を利用して、符号配分が設定される。
【０２４３】
ステップＳ２０２において、ＣＰＵ２０は、ステップＳ１５６において取得された、延長再エンコード区間のＶＢＶ開始値Ｖ１´と、ステップＳ２０１において取得された延長再エンコード区間におけるオリジナルのＶＢＶ開始値におけるバッファ占有量Ｖ４に基づいて、Ｖ４−Ｖ１´を求める。
【０２４４】
ステップＳ２０３において、ＣＰＵ２０は、図２２のステップＳ１３２における場合と同様に、延長再エンコード区間において、平均的な絵柄が続いた場合を仮定し、その場合の発生符号量Ｇを求める。
【０２４５】
そして、ステップＳ２０４において、ＣＰＵ２０は、Ｖ４−Ｖ１´を、ＶＢＶ上昇分として考慮し、延長再エンコード区間における発生符号量を求める。
【０２４６】
すなわち、ＣＰＵ２０は、延長再エンコード区間に対応するオリジナルストリーム、すなわち、編集素材であるストリームＢの対応するＧＯＰにおいては、符号化が実行されることによりバッファ占有量がＶ４からＶ２´に変化したという実績に基づいて、Ｖ４−Ｖ１´、すなわち、図２５に示されるＶ４−Ｖ１´を、ＶＢＶ上昇分として担保する。そして、ＣＰＵ２０は、ＴＭ５の発生符号目標値計算において、Ｇ″＝Ｇ−（Ｖ４−Ｖ１´）−Δを求める。ここで、Δは、画質を考慮した上での各機器で考慮するマージン分とする。
【０２４７】
ステップＳ２０５において、ＣＰＵ２０は、図２１のステップＳ１５５において取得した、次にエンコードされる延長再エンコード区間の再エンコード処理を実行させるために必要なパラメータおよびエンコード終端処理に必要なパラメータ、並びに、ステップＳ２０４において求められた延長再エンコード区間における発生符号量Ｇ″を基に、符号配分を決定して、延長再エンコード区間の再エンコードの設定を行い、処理は、図２１のステップＳ１５９に戻り、ステップＳ１６０に進む。
【０２４８】
このような処理により、延長再エンコード区間の発生符号量の配分が決定される。これにより、Ｖ４−Ｖ１´が正の値であっても負の値であっても、ＴＭ５の発生符号目標値計算において、Ｇの値を最小再エンコード区間に含まれる画像が平均的な絵柄であるとしたときよりも適切な発生符号量を割り当てて、バッファアンダーフローを防止しつつ、画質劣化を抑制することが可能となる。
【０２４９】
なお、ここでは、コーディックの方式としてＭＰＥＧを用いた場合を例として説明しているが、フレーム相関を伴うコーディック処理を行う場合、バッファモデリングにしたがうコーディック処理を行う場合においても、本発明は適用可能であることはいうまでもない。例えば、ＡＶＣ（Advanced Video Coding）／Ｈ．２６４などにおいて、本発明は適用可能である。
【０２５０】
上述した一連の処理は、ソフトウェアにより実行することもできる。そのソフトウェアは、そのソフトウェアを構成するプログラムが、専用のハードウェアに組み込まれているコンピュータ、または、各種のプログラムをインストールすることで、各種の機能を実行することが可能な、例えば汎用のパーソナルコンピュータなどに、記録媒体からインストールされる。この場合、例えば、図３を用いて説明した編集装置１は、図２６に示されるようなパーソナルコンピュータ３０１により構成される。
【０２５１】
図２６において、ＣＰＵ（Central Processing Unit）３１１は、ＲＯＭ（Read Only Memory）３１２に記憶されているプログラム、または記憶部３１８からＲＡＭ（Random Access Memory）３１３にロードされたプログラムにしたがって、各種の処理を実行する。ＲＡＭ３１３にはまた、ＣＰＵ３１１が各種の処理を実行する上において必要なデータなども適宜記憶される。
【０２５２】
ＣＰＵ３１１、ＲＯＭ３１２、およびＲＡＭ３１３は、バス３１４を介して相互に接続されている。このバス３１４にはまた、入出力インタフェース３１５も接続されている。
【０２５３】
入出力インタフェース３１５には、キーボード、マウスなどよりなる入力部３１６、ディスプレイやスピーカなどよりなる出力部３１７、ハードディスクなどより構成される記憶部３１８、モデム、ターミナルアダプタなどより構成される通信部３１９が接続されている。通信部３１９は、インターネットを含むネットワークを介しての通信処理を行う。
【０２５４】
入出力インタフェース３１５にはまた、必要に応じてドライブ３２０が接続され、磁気ディスク３３１、光ディスク３３２、光磁気ディスク３３３、もしくは、半導体メモリ３３４などが適宜装着され、それらから読み出されたコンピュータプログラムが、必要に応じて記憶部３１８にインストールされる。
【０２５５】
一連の処理をソフトウェアにより実行させる場合には、そのソフトウェアを構成するプログラムが、専用のハードウェアに組み込まれているコンピュータ、または、各種のプログラムをインストールすることで、各種の機能を実行することが可能な、例えば汎用のパーソナルコンピュータなどに、ネットワークや記録媒体からインストールされる。
【０２５６】
この記録媒体は、図２６に示されるように、装置本体とは別に、ユーザにプログラムを供給するために配布される、プログラムが記憶されている磁気ディスク３３１（フロッピディスクを含む）、光ディスク３３２（ＣＤ-ＲＯＭ（Compact Disk-Read Only Memory），ＤＶＤ（Digital Versatile Disk）を含む）、光磁気ディスク３３３（ＭＤ（Mini-Disk）（商標）を含む）、もしくは半導体メモリ３３４などよりなるパッケージメディアにより構成されるだけでなく、装置本体に予め組み込まれた状態でユーザに供給される、プログラムが記憶されているＲＯＭ３１２や、記憶部３１８に含まれるハードディスクなどで構成される。
【０２５７】
また、本明細書において、記録媒体に記録されるプログラムを記述するステップは、記載された順序に沿って時系列的に行われる処理はもちろん、必ずしも時系列的に処理されなくとも、並列的あるいは個別に実行される処理をも含むものである。
【０２５８】
なお、上述の実施の形態においては、編集装置１が、それぞれ、デコーダとエンコーダを有しているものとして説明したが、デコーダおよびエンコーダが、それぞれ、独立した装置として構成されている場合においても、本発明は適用可能である。例えば、図２７に示されるように、ストリームデータを復号してベースバンド信号に変換する復号装置３７１、ベースバンド信号を符号化してストリームデータに変換する符号化装置３７２が、それぞれ独立した装置として構成されていても良い。
【０２５９】
このとき、復号装置３７１は、映像素材である圧縮符号化データを復号し、符号化装置３７２に供給するのみならず、本発明を適用することにより符号化装置３７２により部分的に符号化された後、編集されて生成された圧縮符号化データの供給を受け、復号処理を行い、ベースバンド信号に変換することができる。ベースバンド信号に変換された編集後のストリームは、例えば、所定の表示装置に供給されて表示されたり、他の装置に出力されて、必要な処理が施される。
【０２６０】
さらに、上述の実施の形態においては、デコーダ２２乃至２４が、供給された圧縮符号化データを完全にデコードせず、対応するエンコーダ２７が、非完全に復号されたデータの対応する部分を部分的にエンコードする場合においても、本発明は適用可能である。
【０２６１】
例えば、デコーダ２２乃至２４が、ＶＬＣ符号に対する復号および逆量子化のみを行い、逆DCT変換を実行していなかった場合、エンコーダ２７は、量子化および可変長符号化処理を行うが、DCT変換処理は行わない。このような部分的な符号化（中途段階からの符号化）を行うエンコーダにおいても、本発明を適用することができるのは言うまでもない。
【０２６２】
さらに、上述の実施の形態においては、デコーダ２２乃至２４が完全に復号したベースバンド信号を、エンコーダ２７が中途段階まで符号化する場合（例えば、DCT変換および量子化を行うが可変長符号化処理を行わないなど）や、デコーダ２２乃至２４が完全に復号していない（例えば、ＶＬＣ符号に対する復号および逆量子化のみを行い、逆DCT変換を実行していない）ため、中途段階まで符号化されているデータに対して、エンコーダ２７が更に中途段階まで符号化する場合など（例えば、量子化を行うが可変長符号化処理を行わないなど）においても、本発明は適用可能である。
【０２６３】
更に、図２７に示される復号装置３７１が、供給されたストリームデータを完全に復号せず、対応する符号化装置３７２が、非完全に復号されたデータの対応する部分を部分的に符号化する場合においても、本発明は適用可能である。
【０２６４】
例えば、復号装置３７１が、ＶＬＣ符号に対する復号および逆量子化のみを行い、逆DCT変換を実行していなかった場合、符号化装置３７２は、量子化および可変長符号化処理を行うが、DCT変換処理は行わない。このような部分的な復号処理（中途段階までの復号）を行う復号装置３７１のデコード処理、および、符号化（中途段階からの符号化）を行う符号化装置３７２のエンコード処理において、本発明を適用することができるのは言うまでもない。
【０２６５】
更に、復号装置３７１が完全に復号したベースバンド信号を、符号化装置３７２が中途段階まで符号化する場合（例えば、DCT変換および量子化を行うが可変長符号化処理を行わないなど）や、復号装置３７１が完全に復号していない（例えば、ＶＬＣ符号に対する復号および逆量子化のみを行い、逆DCT変換を実行していない）ため、中途段階まで符号化されているデータに対して、符号化装置３７２が更に中途段階まで符号化する場合など（例えば、量子化を行うが可変長符号化処理を行わないなど）においても、本発明は適用可能である。
【０２６６】
更に、このような部分的な復号を行う（復号処理の工程のうちの一部を実行する）符号化装置３１と部分的な符号化を行う（符号化処理の工程のうちの一部を実行する）符号化装置３７２で構成されたトランスコーダ３８１においても、本発明は適用可能である。このようなトランスコーダ３８１は、例えば、スプライシングなどの編集を行う編集装置３８２、すなわち、上述した編集装置１のストリームスプライサ２５やエフェクト／スイッチ２６が実行可能な機能を有する編集装置が利用される場合などに用いられる。
【０２６７】
さらに、上述の実施の形態においては、ＣＰＵ１１およびＣＰＵ２０がそれぞれ別の形態で構成されているが、これに限らず、編集装置１全体を制御する１つのＣＰＵとして構成する形態も考えられる。同様に、上述の実施の形態においては、メモリ１３およびメモリ２１がそれぞれ別の形態で構成されているが、これに限らず、編集装置１において１つのメモリとして構成する形態も考えられる。
【０２６８】
さらに、上述の実施の形態においては、ＨＤＤ１６、デコーダ２２乃至２４、ストリームスプライサ２５、エフェクト／スイッチ２６、エンコーダ２７、入力端子２８、および、スイッチ２９を、それぞれ、ブリッジおよびバスを介して接続し、編集装置として一体化されている場合について述べたが、本発明はこれに限らず、例えば、これらの構成要素のうちの一部が、外部から有線または無線で接続されるようにしても良いし、これらの構成要素は、この他、種々の接続形態で相互に接続されるようにしてもよい。
【０２６９】
さらに、上述の実施の形態においては、圧縮された編集用の素材がＨＤＤに記憶されている場合について述べたが、本発明はこれに限らず、例えば、光ディスク、光磁気ディスク、半導体メモリ、磁気ディスク等の種々の記録媒体に記録された編集用の素材を用いて編集処理を行う場合にも適用することができる。
【０２７０】
さらに、上述の実施の形態においては、デコーダ２２乃至２４、ストリームスプライサ２５、エフェクト／スイッチ２６、エンコーダ２７、入力端子２８、および、スイッチ２９は、同一の拡張カード（例えば、PCIカード、PCI−Expressカード）に搭載する形態に限らず、例えばPCI−Expressなどの技術によりカード間の転送速度が高い場合には、それぞれ別の拡張カードに搭載してもよい。
【０２７１】
なお、本明細書において、システムとは、複数の装置により構成される装置全体を表すものである。
【０２７２】
なお、本発明の実施の形態は、上述した実施の形態に限定されるものではなく、本発明の要旨を逸脱しない範囲において種々の変更が可能である。
【図面の簡単な説明】
【０２７３】
【図１】編集と部分再エンコードについて説明するための図である。
【図２】部分再エンコードおよび編集処理を実行した場合のVBVバッファについて説明するための図である。
【図３】編集装置の構成を示すブロック図である。
【図４】最小再エンコード区間の設定について説明するための図である。
【図５】最小再エンコード区間の設定について説明するための図である。
【図６】最小再エンコード区間の設定について説明するための図である。
【図７】エンコード終端処理について説明するための図である。
【図８】再エンコード区間の延長について説明するための図である。
【図９】編集装置の機能構成を示す機能ブロック図である。
【図１０】制御部の機能構成を示す機能ブロック図である。
【図１１】ＣＰＵ１１の処理について説明するためのフローチャートである。
【図１２】ＣＰＵ１１の処理について説明するためのフローチャートである。
【図１３】最小再エンコード区間決定処理１について説明するためのフローチャートである。
【図１４】最小再エンコード区間決定処理２について説明するためのフローチャートである。
【図１５】最小再エンコード区間決定処理２について説明するためのフローチャートである。
【図１６】ＣＰＵ２０の処理１について説明するためのフローチャートである。
【図１７】ＶＢＶ占有量について説明するための図である。
【図１８】最小再エンコード区間の符号配分決定処理について説明するためのフローチャートである。
【図１９】ＶＢＶ占有量について説明するための図である。
【図２０】エンコード終端処理について説明するためのフローチャートである。
【図２１】ＣＰＵ２０の処理２について説明するためのフローチャートである。
【図２２】延長再エンコード区間の設定処理１について説明するためのフローチャートである。
【図２３】ＶＢＶ占有量について説明するための図である。
【図２４】延長再エンコード区間の設定処理２について説明するためのフローチャートである。
【図２５】ＶＢＶ占有量について説明するための図である。
【図２６】パーソナルコンピュータの構成を示すブロック図である。
【図２７】本発明を適用可能な異なる装置の構成について説明するための図である。
【符号の説明】
【０２７４】
１ 編集装置， １１ ＣＰＵ， １６ ＨＤＤ， ２０ ＣＰＵ， ２２乃至２４ デコーダ， ２５ ストリームスプライサ， ２６ エフェクト／スイッチ， ２７ エンコーダ， ２９ スイッチ， １０１ 制御部， １０２ 取得部， １０３ デコーダ， １３２ 再エンコード区間決定部， １３３ 動作モード決定部， １５４ 符号化制御部， １５５ 動作モード判定部
【特許請求の範囲】
【請求項１】
第１の符号化ストリームおよび第２の符号化ストリームを編集点で接続する処理を実行する情報処理装置において、
前記第１の符号化ストリームおよび前記第２の符号化ストリームのうち、再エンコードを実行する区間を決定する制御手段と、
前記第１の符号化ストリームおよび前記第２の符号化ストリームをデコードするデコード手段と、
前記第１の符号化ストリームが前記デコード手段によりデコードされて生成された第１のベースバンド信号と、前記第２の符号化ストリームが前記デコード手段によりデコードされて生成された第２のベースバンド信号とが、前記編集点で接続された第３のベースバンド信号をエンコードして、第３の符号化ストリームを生成するエンコード手段と、
前記エンコード手段によるエンコード処理の発生符号量を管理する管理手段と
を備え、
前記制御手段は、前記第１の符号化ストリームおよび前記第２の符号化ストリームのうち、再エンコードを実行する第１の区間を決定し、
前記管理手段は、前記第１の区間において、前記エンコード手段によりエンコードされて生成された前記第３の符号化ストリームの終了点と、前記第２の符号化ストリームにおける対応する部分とのオキュパンシの連続性が保たれたかを判断し、
前記制御手段は、前記管理手段により、前記オキュパンシの連続性が保たれなかったと判断された場合、前記第１の区間に続く所定の区間を、再エンコードを実行する第２の区間として、更に再エンコードを実行する第１の動作モードと、前記第１の区間におけるエンコード処理を再度実行させる第２の動作モードとのいずれかに基づいて、前記第１の符号化ストリームおよび前記第２の符号化ストリームのうち、再エンコードを実行する区間を決定する
情報処理装置。
【請求項２】
前記デコード手段への前記第１の符号化ストリームおよび前記第２の符号化ストリームの供給を制御する供給制御手段
を更に備える請求項１に記載の情報処理装置。
【請求項３】
前記管理手段は、第１の動作モードにおいて、前記第２の区間における前記エンコード手段によるエンコード処理の発生符号量を、前記第２の符号化ストリームにおける対応する部分のオキュパンシを基に管理する
請求項１に記載の情報処理装置。
【請求項４】
前記管理手段は、第２の動作モードにおいて、オキュパンシの連続性が保たれなかったと判断された場合における前記第１の区間の前記第３の符号化ストリームの終了点のオキュパンシに基づいて、前記第１の区間における２回目の前記エンコード手段によるエンコード処理の発生符号量を管理する
請求項１に記載の情報処理装置。
【請求項５】
前記エンコード手段は、ＭＰＥＧのLong GOP形式でエンコード処理を実行し、
前記第２の区間は、１GOPに対応する区間である
請求項１に記載の情報処理装置。
【請求項６】
前記エンコード手段は、ＭＰＥＧのLong GOP形式でエンコード処理を実行し、
前記管理手段により、前記オキュパンシの連続性が保たれたと判断された場合、前記制御手段は、前記第１の区間に続く次のGOPの最初の前方向参照フレームの直前までのフレームを、再エンコードを実行する第３の区間として、更に追加する
請求項１に記載の情報処理装置。
【請求項７】
前記エンコード手段は、ＭＰＥＧのLong GOP形式でエンコード処理を実行し、
前記制御手段は、前記第１の符号化ストリームにおける前記編集点を含むＧＯＰの開始位置から、前記第２の符号化ストリームにおける前記編集点を含むＧＯＰの終了位置までを基準区間とし、前記基準区間に含まれるフレーム数を基に、前記第１の区間を決定する
請求項１に記載の情報処理装置。
【請求項８】
前記制御手段は、前記基準区間に含まれるフレーム数Ｍが、基準となる１ＧＯＰに含まれるフレーム数Ｎに対して、Ｎ／２≦Ｍ≦Ｎを満たす場合、前記基準区間を前記第１の区間とする
請求項７に記載の情報処理装置。
【請求項９】
前記制御手段は、前記基準区間に含まれるフレーム数Ｍが、基準となる１ＧＯＰに含まれるフレーム数Ｎに対して、０≦Ｍ＜Ｎ／２を満たす場合、前記基準区間に１ＧＯＰ加えた区間を前記第１の区間とする
請求項７に記載の情報処理装置。
【請求項１０】
前記制御手段は、前記基準区間に含まれるフレーム数Ｍが、基準となる１ＧＯＰに含まれるフレーム数Ｎに対して、Ｎ＋１≦Ｍ≦２Ｎ−１を満たす場合、前記基準区間を複数ＧＯＰに分割するとともに、前記基準区間を前記第１の区間とする
請求項７に記載の情報処理装置。
【請求項１１】
前記制御手段は、前記基準区間に含まれるフレーム数Ｍが、基準となる１ＧＯＰに含まれるフレーム数Ｎに対して、Ｎ＋１≦Ｍ≦２Ｎ−１を満たし、前記第１の符号化ストリームにおける前記編集点を含むＧＯＰの開始位置から前記編集点までのフレーム数Ａが、Ａ≧Ｎ／２を満たす場合、前記基準区間を、前記編集点で２つのＧＯＰに分割する
請求項７に記載の情報処理装置。
【請求項１２】
前記エンコード手段は、前記編集点で分割された２つのＧＯＰのうちの時間的に後のＧＯＰは、表示順でＩ２ピクチャから開始されるように、前記第３のベースバンド信号をエンコードして、第３の符号化ストリームを生成する
請求項１１に記載の情報処理装置。
【請求項１３】
前記制御手段は、前記編集点で分割された２つのＧＯＰのうちの時間的に後のＧＯＰに含まれるフレーム数Ｒが、Ｎ／２≦Ｒを満たさないとき、前記基準区間に１ＧＯＰ加えた区間を前記第１の区間とし、Ｎ／２≦Ｒを満たすとき、前記基準区間を前記第１の区間とする
請求項１１に記載の情報処理装置。
【請求項１４】
第１の符号化ストリームおよび第２の符号化ストリームを編集点で接続する処理を実行する情報処理装置の情報処理方法において、
前記第１の符号化ストリームおよび前記第２の符号化ストリームのうち、再エンコードを実行する第１の区間を決定し、
前記第１の区間内の前記第１の符号化ストリームおよび前記第２の符号化ストリームをデコードするとともに、前記第１の符号化ストリームがデコードされて生成された第１のベースバンド信号と、前記第２の符号化ストリームがデコードされて生成された第２のベースバンド信号とが、前記編集点で接続された第３のベースバンド信号をエンコードして、第３の符号化ストリームを生成し、
前記第１の区間においてエンコードされて生成された前記第３の符号化ストリームの終了点と、前記第２の符号化ストリームにおける対応する部分とのオキュパンシの連続性が保たれたかを判断し、
第１の動作モードにおいて、前記オキュパンシの連続性が保たれなかったと判断された場合、前記第１の区間に続く所定の区間を、再エンコードを実行する第２の区間として、更に、再エンコードを実行し、
第２の動作モードにおいて、前記オキュパンシの連続性が保たれなかったと判断された場合、前記第１の区間における再エンコード処理を再度実行する
ステップを含む情報処理方法。
【請求項１５】
第１の符号化ストリームおよび第２の符号化ストリームを編集点で接続する処理をコンピュータに実行させるためのプログラムであって、
前記第１の符号化ストリームおよび前記第２の符号化ストリームのうち、再エンコードを実行する第１の区間を決定し、
前記第１の区間内の前記第１の符号化ストリームおよび前記第２の符号化ストリームのデコードを制御するとともに、前記第１の符号化ストリームがデコードされて生成された第１のベースバンド信号と、前記第２の符号化ストリームがデコードされて生成された第２のベースバンド信号とが前記編集点で接続された第３のベースバンド信号のエンコードを制御することにより、第３の符号化ストリームの生成を制御し、
前記第１の区間においてエンコードされて生成された前記第３の符号化ストリームの終了点と、前記第２の符号化ストリームにおける対応する部分とのオキュパンシの連続性が保たれたかを判断し、
第１の動作モードにおいて、前記オキュパンシの連続性が保たれなかったと判断された場合、前記第１の区間に続く所定の区間を、再エンコードを実行する第２の区間として、更に、再エンコードの実行を制御し、
第２の動作モードにおいて、前記オキュパンシの連続性が保たれなかったと判断された場合、前記第１の区間における再エンコード処理が再度実行されるように制御する
ステップを含む処理をコンピュータに実行させるプログラム。
【請求項１６】
第１の符号化ストリームおよび第２の符号化ストリームを編集点で接続する処理をコンピュータに実行させるためのプログラムであって、
前記第１の符号化ストリームおよび前記第２の符号化ストリームのうち、再エンコードを実行する第１の区間を決定し、
前記第１の区間内の前記第１の符号化ストリームおよび前記第２の符号化ストリームのデコードを制御するとともに、前記第１の符号化ストリームがデコードされて生成された第１のベースバンド信号と、前記第２の符号化ストリームがデコードされて生成された第２のベースバンド信号とが前記編集点で接続された第３のベースバンド信号のエンコードを制御することにより、第３の符号化ストリームの生成を制御し、
前記第１の区間においてエンコードされて生成された前記第３の符号化ストリームの終了点と、前記第２の符号化ストリームにおける対応する部分とのオキュパンシの連続性が保たれたかを判断し、
第１の動作モードにおいて、前記オキュパンシの連続性が保たれなかったと判断された場合、前記第１の区間に続く所定の区間を、再エンコードを実行する第２の区間として、更に、再エンコードの実行を制御し、
第２の動作モードにおいて、前記オキュパンシの連続性が保たれなかったと判断された場合、前記第１の区間における再エンコード処理が再度実行されるように制御する
ステップを含む処理をコンピュータに実行させるためのプログラムが記録されている記録媒体。
【請求項１】
第１の符号化ストリームおよび第２の符号化ストリームを編集点で接続する処理を実行する情報処理装置において、
前記第１の符号化ストリームおよび前記第２の符号化ストリームのうち、再エンコードを実行する区間を決定する制御手段と、
前記第１の符号化ストリームおよび前記第２の符号化ストリームをデコードするデコード手段と、
前記第１の符号化ストリームが前記デコード手段によりデコードされて生成された第１のベースバンド信号と、前記第２の符号化ストリームが前記デコード手段によりデコードされて生成された第２のベースバンド信号とが、前記編集点で接続された第３のベースバンド信号をエンコードして、第３の符号化ストリームを生成するエンコード手段と、
前記エンコード手段によるエンコード処理の発生符号量を管理する管理手段と
を備え、
前記制御手段は、前記第１の符号化ストリームおよび前記第２の符号化ストリームのうち、再エンコードを実行する第１の区間を決定し、
前記管理手段は、前記第１の区間において、前記エンコード手段によりエンコードされて生成された前記第３の符号化ストリームの終了点と、前記第２の符号化ストリームにおける対応する部分とのオキュパンシの連続性が保たれたかを判断し、
前記制御手段は、前記管理手段により、前記オキュパンシの連続性が保たれなかったと判断された場合、前記第１の区間に続く所定の区間を、再エンコードを実行する第２の区間として、更に再エンコードを実行する第１の動作モードと、前記第１の区間におけるエンコード処理を再度実行させる第２の動作モードとのいずれかに基づいて、前記第１の符号化ストリームおよび前記第２の符号化ストリームのうち、再エンコードを実行する区間を決定する
情報処理装置。
【請求項２】
前記デコード手段への前記第１の符号化ストリームおよび前記第２の符号化ストリームの供給を制御する供給制御手段
を更に備える請求項１に記載の情報処理装置。
【請求項３】
前記管理手段は、第１の動作モードにおいて、前記第２の区間における前記エンコード手段によるエンコード処理の発生符号量を、前記第２の符号化ストリームにおける対応する部分のオキュパンシを基に管理する
請求項１に記載の情報処理装置。
【請求項４】
前記管理手段は、第２の動作モードにおいて、オキュパンシの連続性が保たれなかったと判断された場合における前記第１の区間の前記第３の符号化ストリームの終了点のオキュパンシに基づいて、前記第１の区間における２回目の前記エンコード手段によるエンコード処理の発生符号量を管理する
請求項１に記載の情報処理装置。
【請求項５】
前記エンコード手段は、ＭＰＥＧのLong GOP形式でエンコード処理を実行し、
前記第２の区間は、１GOPに対応する区間である
請求項１に記載の情報処理装置。
【請求項６】
前記エンコード手段は、ＭＰＥＧのLong GOP形式でエンコード処理を実行し、
前記管理手段により、前記オキュパンシの連続性が保たれたと判断された場合、前記制御手段は、前記第１の区間に続く次のGOPの最初の前方向参照フレームの直前までのフレームを、再エンコードを実行する第３の区間として、更に追加する
請求項１に記載の情報処理装置。
【請求項７】
前記エンコード手段は、ＭＰＥＧのLong GOP形式でエンコード処理を実行し、
前記制御手段は、前記第１の符号化ストリームにおける前記編集点を含むＧＯＰの開始位置から、前記第２の符号化ストリームにおける前記編集点を含むＧＯＰの終了位置までを基準区間とし、前記基準区間に含まれるフレーム数を基に、前記第１の区間を決定する
請求項１に記載の情報処理装置。
【請求項８】
前記制御手段は、前記基準区間に含まれるフレーム数Ｍが、基準となる１ＧＯＰに含まれるフレーム数Ｎに対して、Ｎ／２≦Ｍ≦Ｎを満たす場合、前記基準区間を前記第１の区間とする
請求項７に記載の情報処理装置。
【請求項９】
前記制御手段は、前記基準区間に含まれるフレーム数Ｍが、基準となる１ＧＯＰに含まれるフレーム数Ｎに対して、０≦Ｍ＜Ｎ／２を満たす場合、前記基準区間に１ＧＯＰ加えた区間を前記第１の区間とする
請求項７に記載の情報処理装置。
【請求項１０】
前記制御手段は、前記基準区間に含まれるフレーム数Ｍが、基準となる１ＧＯＰに含まれるフレーム数Ｎに対して、Ｎ＋１≦Ｍ≦２Ｎ−１を満たす場合、前記基準区間を複数ＧＯＰに分割するとともに、前記基準区間を前記第１の区間とする
請求項７に記載の情報処理装置。
【請求項１１】
前記制御手段は、前記基準区間に含まれるフレーム数Ｍが、基準となる１ＧＯＰに含まれるフレーム数Ｎに対して、Ｎ＋１≦Ｍ≦２Ｎ−１を満たし、前記第１の符号化ストリームにおける前記編集点を含むＧＯＰの開始位置から前記編集点までのフレーム数Ａが、Ａ≧Ｎ／２を満たす場合、前記基準区間を、前記編集点で２つのＧＯＰに分割する
請求項７に記載の情報処理装置。
【請求項１２】
前記エンコード手段は、前記編集点で分割された２つのＧＯＰのうちの時間的に後のＧＯＰは、表示順でＩ２ピクチャから開始されるように、前記第３のベースバンド信号をエンコードして、第３の符号化ストリームを生成する
請求項１１に記載の情報処理装置。
【請求項１３】
前記制御手段は、前記編集点で分割された２つのＧＯＰのうちの時間的に後のＧＯＰに含まれるフレーム数Ｒが、Ｎ／２≦Ｒを満たさないとき、前記基準区間に１ＧＯＰ加えた区間を前記第１の区間とし、Ｎ／２≦Ｒを満たすとき、前記基準区間を前記第１の区間とする
請求項１１に記載の情報処理装置。
【請求項１４】
第１の符号化ストリームおよび第２の符号化ストリームを編集点で接続する処理を実行する情報処理装置の情報処理方法において、
前記第１の符号化ストリームおよび前記第２の符号化ストリームのうち、再エンコードを実行する第１の区間を決定し、
前記第１の区間内の前記第１の符号化ストリームおよび前記第２の符号化ストリームをデコードするとともに、前記第１の符号化ストリームがデコードされて生成された第１のベースバンド信号と、前記第２の符号化ストリームがデコードされて生成された第２のベースバンド信号とが、前記編集点で接続された第３のベースバンド信号をエンコードして、第３の符号化ストリームを生成し、
前記第１の区間においてエンコードされて生成された前記第３の符号化ストリームの終了点と、前記第２の符号化ストリームにおける対応する部分とのオキュパンシの連続性が保たれたかを判断し、
第１の動作モードにおいて、前記オキュパンシの連続性が保たれなかったと判断された場合、前記第１の区間に続く所定の区間を、再エンコードを実行する第２の区間として、更に、再エンコードを実行し、
第２の動作モードにおいて、前記オキュパンシの連続性が保たれなかったと判断された場合、前記第１の区間における再エンコード処理を再度実行する
ステップを含む情報処理方法。
【請求項１５】
第１の符号化ストリームおよび第２の符号化ストリームを編集点で接続する処理をコンピュータに実行させるためのプログラムであって、
前記第１の符号化ストリームおよび前記第２の符号化ストリームのうち、再エンコードを実行する第１の区間を決定し、
前記第１の区間内の前記第１の符号化ストリームおよび前記第２の符号化ストリームのデコードを制御するとともに、前記第１の符号化ストリームがデコードされて生成された第１のベースバンド信号と、前記第２の符号化ストリームがデコードされて生成された第２のベースバンド信号とが前記編集点で接続された第３のベースバンド信号のエンコードを制御することにより、第３の符号化ストリームの生成を制御し、
前記第１の区間においてエンコードされて生成された前記第３の符号化ストリームの終了点と、前記第２の符号化ストリームにおける対応する部分とのオキュパンシの連続性が保たれたかを判断し、
第１の動作モードにおいて、前記オキュパンシの連続性が保たれなかったと判断された場合、前記第１の区間に続く所定の区間を、再エンコードを実行する第２の区間として、更に、再エンコードの実行を制御し、
第２の動作モードにおいて、前記オキュパンシの連続性が保たれなかったと判断された場合、前記第１の区間における再エンコード処理が再度実行されるように制御する
ステップを含む処理をコンピュータに実行させるプログラム。
【請求項１６】
第１の符号化ストリームおよび第２の符号化ストリームを編集点で接続する処理をコンピュータに実行させるためのプログラムであって、
前記第１の符号化ストリームおよび前記第２の符号化ストリームのうち、再エンコードを実行する第１の区間を決定し、
前記第１の区間内の前記第１の符号化ストリームおよび前記第２の符号化ストリームのデコードを制御するとともに、前記第１の符号化ストリームがデコードされて生成された第１のベースバンド信号と、前記第２の符号化ストリームがデコードされて生成された第２のベースバンド信号とが前記編集点で接続された第３のベースバンド信号のエンコードを制御することにより、第３の符号化ストリームの生成を制御し、
前記第１の区間においてエンコードされて生成された前記第３の符号化ストリームの終了点と、前記第２の符号化ストリームにおける対応する部分とのオキュパンシの連続性が保たれたかを判断し、
第１の動作モードにおいて、前記オキュパンシの連続性が保たれなかったと判断された場合、前記第１の区間に続く所定の区間を、再エンコードを実行する第２の区間として、更に、再エンコードの実行を制御し、
第２の動作モードにおいて、前記オキュパンシの連続性が保たれなかったと判断された場合、前記第１の区間における再エンコード処理が再度実行されるように制御する
ステップを含む処理をコンピュータに実行させるためのプログラムが記録されている記録媒体。
【図１】
【図２】
【図３】
【図４】
【図５】
【図６】
【図７】
【図８】
【図９】
【図１０】
【図１１】
【図１２】
【図１３】
【図１４】
【図１５】
【図１６】
【図１７】
【図１８】
【図１９】
【図２０】
【図２１】
【図２２】
【図２３】
【図２４】
【図２５】
【図２６】
【図２７】
【図２】
【図３】
【図４】
【図５】
【図６】
【図７】
【図８】
【図９】
【図１０】
【図１１】
【図１２】
【図１３】
【図１４】
【図１５】
【図１６】
【図１７】
【図１８】
【図１９】
【図２０】
【図２１】
【図２２】
【図２３】
【図２４】
【図２５】
【図２６】
【図２７】
【公開番号】特開２００８−６６８４６（Ｐ２００８−６６８４６Ａ）
【公開日】平成２０年３月２１日（２００８．３．２１）
【国際特許分類】
【出願番号】特願２００６−２４０２５３（Ｐ２００６−２４０２５３）
【出願日】平成１８年９月５日（２００６．９．５）
【出願人】（０００００２１８５）ソニー株式会社 (34,172)
【Ｆターム（参考）】
【公開日】平成２０年３月２１日（２００８．３．２１）
【国際特許分類】
【出願日】平成１８年９月５日（２００６．９．５）
【出願人】（０００００２１８５）ソニー株式会社 (34,172)
【Ｆターム（参考）】
[ Back to top ]