情報処理装置および情報処理方法、記録媒体、並びにプログラム
【課題】編集点が決まる前に、編集素材の再符号化を開始する。
【解決手段】編集処理制御部は、アセンブル編集の編集点において、下地の符号化ストリームのデコードを制御するとともに、IN点が決定されるまで、各GOPのエンコードを制御する。編集後ストリーム選択部は、そのGOP内にIN点が無かった場合、エンコードされてメモリ４３に保存された、そのGOPの符号化データを廃棄し、そのGOP内にIN点があった場合、エンコードされてメモリ４３に保存された、そのGOPの符号化データを編集後の符号化ストリームとして採用する。本発明は、編集装置に適用できる。
【解決手段】編集処理制御部は、アセンブル編集の編集点において、下地の符号化ストリームのデコードを制御するとともに、IN点が決定されるまで、各GOPのエンコードを制御する。編集後ストリーム選択部は、そのGOP内にIN点が無かった場合、エンコードされてメモリ４３に保存された、そのGOPの符号化データを廃棄し、そのGOP内にIN点があった場合、エンコードされてメモリ４３に保存された、そのGOPの符号化データを編集後の符号化ストリームとして採用する。本発明は、編集装置に適用できる。
【発明の詳細な説明】
【技術分野】
【０００１】
本発明は、情報処理装置および情報処理方法、記録媒体、並びにプログラムに関し、特に、編集処理を行う場合に用いて好適な、情報処理装置および情報処理方法、記録媒体、並びにプログラムに関する。
【背景技術】
【０００２】
従来、２つの符号化ストリームを接続する編集処理を行うために、編集対象圧縮映像データ１および編集対象圧縮映像データ２のそれぞれにおいて、編集点近傍の部分的なデコードを行い、部分的な非圧縮の映像信号１および映像信号２を得て、所定の編集点で接続した後、その部分の再エンコードが行われ、再エンコードされた圧縮映像データが、デコードおよび再エンコードされていない（部分的なデコードが行われた編集点近傍以外の）圧縮映像データと結合されるようになされている技術がある(例えば、特許文献1参照)。
【０００３】
【特許文献１】特開２００６−６７０９５号公報
【０００４】
上述した特許文献１においては、２つの符号化ストリームの編集点付近を、一旦デコードして接続した後、再びエンコード処理が実行されるようになされているが、例えば、符号化ストリームではなく、ベースバンド入力信号を用いた編集処理が実行される場合が考えられる。
【０００５】
図1を参照して、例えば、所定の記録媒体に記録されている編集素材となる第1のストリームをデコードした出力と、ベースバンド入力信号であるSDI入力とを編集点にて接続するアセンブル編集を行い、エンコードして、編集済み状態の符号化ストリームを得る処理について説明する。
【０００６】
第1の符号化ストリームは、デコーダに入力されてデコードされる。そして、そのデコーダ出力は、編集点を含むGOPの先頭位置からエンコーダに供給されて、元の符号化ストリームの同一の部分とVBVoccupancy（VBVバッファの占有率）が連続になるようにエンコードが開始される。そして、編集点において、エンコーダへの入力は、SDI入力に切り替えられて、SDI信号が続けてエンコードされる。
【０００７】
すなわち、編集点よりも、エンコード開始点が時間的に前となる。
【０００８】
次に、図２を参照して、例えば、所定のストリームに記録されている編集素材となる第1のストリームにおいて、IN点およびOUT点で定められる所定の領域に、SDI入力が上書きされるインサート編集が実行されて、編集済み状態の符号化ストリームを得る処理について説明する。
【０００９】
IN点における接続は、アセンブル編集と同様に行われる。そして、OUT点に関しては、OUT点を含むGOPの先頭において、第1の符号化ストリームのデコードが開始され、エンコーダへの入力が、編集点において、SDI信号から第1の符号化ストリームのデコーダ出力に切換えられる。そして、上述した特開２００６−６７０９５号公報に記載の編集処理における再エンコード処理と同様に、編集点を含むGOPと、必要に応じてそれに続く所定フレーム後のVBVoccupancy目標点までの再エンコード処理は、元の符号化ストリームのVBVoccupancy目標点とVBVoccupancyが連続するように定められたVBVoccupancy目標値に合致するような符号化が実行されるように、発生符号量が合わせ込まれる。
【００１０】
インサート編集においても、アセンブル編集と同様にIN点においては、編集点よりも、エンコード開始点が時間的に前であり、また、OUT点においては、編集点よりも、VBVoccupancy合わせ込みエンコード処理の開始点が、時間的に前にある。そして、再エンコードされない第１の符号化ストリームとの接続点は、編集点であるOUT点よりも時間的に後ろである。
【００１１】
すなわち、インサート編集において、元の符号化ストリームにデータが上書きされる領域は、IN点およびOUT点により定められる範囲よりも広い領域である。
【００１２】
アセンブル編集であっても、インサート編集であっても、編集点を含むGOPのエンコードは、編集点前のGOP切れ目からパラメータが設定されている必要があるため、編集点が予め決まっていない場合、デコードおよびエンコードを開始することはできない。
【００１３】
そこで、ベースバンド入力を独立にエンコードして第２の符号化ストリームを生成し、上述した特開２００６−６７０９５号公報に記載の編集処理と同様の、ストリーム同士の編集に帰着させる場合について、図３を用いて説明する。
【００１４】
編集点を決めるためのモニタリングは、第１の符号化ストリームのデコード出力、及びベースバンド信号であるSDI入力を用いるが、これらのベースバンド信号は、編集点を決めるためだけに独立して用いられる。これらの映像をモニタリングしたオペレータから指令された編集点に基づいて、表示から遅れて、上述した特開２００６−６７０９５号公報に記載の編集処理と同様のストリーム同士の編集処理、すなわち、第１の符号化ストリームおよび第２の符号化ストリームのデコードおよび再エンコードが実行される。
【発明の開示】
【発明が解決しようとする課題】
【００１５】
このように、上述した特許文献１に記載の従来の編集処理と再符号化を実行する場合、編集点が予め決まっていなければ、編集素材となる符号化ストリームの再エンコード範囲をできるだけ少なくするように、編集に用いる符号化ストリームのデコードおよび再エンコードが必要な最小の範囲を決めることができなかった。
【００１６】
したがって、ベースバンド信号をそのまま編集符号化の素材として利用しようとした場合、任意の編集点に対し、圧縮は時間軸を前に遡って開始する必要があるので、図３を用いて説明した編集処理では、オペレータのモニタリングに対して編集結果がエンコードされるのに時間がかかってしまう。
【００１７】
また、上述した特許文献１に記載の従来の編集符号化を実行するためには、ベースバンド信号に対して、圧縮を２度かけることになってしまい、画質的にも、時間的にも不利である。また、ベースバンド入力信号を編集前に圧縮する必要があるので、その圧縮信号を一時保持するための大きな記録領域を有するメモリなどが必要となる。
【００１８】
本発明はこのような状況に鑑みてなされたものであり、例えば、MPEG LongGOPで符号化されて記録されているストリームデータに対して、ベースバンド入力された動画信号を接続または上書きする編集処理を行う場合に、編集素材の映像をオペレータがモニタしながら編集点を決定し、従来よりも早く編集結果を構成するストリームデータを得ることができるとともに、編集結果の画像劣化を少なくすることができるようにするものである。
【課題を解決するための手段】
【００１９】
本発明の第１の側面の情報処理装置は、編集処理を実行する情報処理装置であって、ベースバンド画像データを所定の符号化範囲ごとに符号化する符号化手段と、第１の映像信号および第２の映像信号を参照するユーザによる編集点を指令する操作入力に基づいて、前記符号化手段に供給されるベースバンド画像データを、前記第１の映像信号と前記第２の映像信号とでスイッチングするスイッチング手段と、前記第１の映像信号および前記第２の映像信号を参照するユーザによる編集点を指令する操作入力に基づいて、前記符号化手段により符号化された前記第１の映像信号のうち、前記第１の映像信号から前記第２の映像信号に切換えられる前記編集点を含まない、前記編集点よりも前の前記符号化範囲の符号化データを編集後の符号化ストリームとして選択しないように、編集後の符号化ストリームの生成を制御する編集データ制御手段とを備える。
【００２０】
前記第１の映像信号は、符号化ストリームが復号されて得られるベースバンドの映像信号であり、前記第２の映像信号は、ベースバンドの映像信号として入力された信号であるものとすることができる。
【００２１】
前記符号化手段による符号化処理を制御する符号化制御手段を更に備えさせるようにすることができ、前記符号化制御手段には、前記第１の映像信号に対応する符号化ストリームの再符号化の開始箇所と終了箇所において、再符号化された部分の仮想バッファ占有量と再符号化されていない部分の仮想バッファ占有量が連続性を有するように、前記第１の映像信号の符号化を制御させるようにすることができる。
【００２２】
前記符号化制御手段には、前記第１の映像信号のうち、前記第２の映像信号から前記第１の映像信号に切換えられる前記編集点を含む前記符号化範囲の次の前記符号化範囲以降において、再符号化された部分の仮想バッファ占有量と再符号化されていない部分の仮想バッファ占有量が連続性を有するように、前記第１の映像信号の符号化を制御させるようにすることができる。
【００２３】
前記符号化手段による符号化処理の範囲を決定する符号化範囲決定手段を更に備えさせるようにすることができ、前記符号化範囲決定手段には、前記第２の映像信号から前記第１の映像信号に切換えられる前記編集点を含む前記符号化範囲の次の前記符号化範囲以降において、再符号化された部分の仮想バッファ占有量と再符号化されていない部分の仮想バッファ占有量が連続性を有するように、前記符号化手段による前記第１の映像信号の符号化を実行可能であるように、前記符号化手段による前記第１の映像信号の再符号化の終了位置を決定させるようにすることができる。
【００２４】
前記第１の映像信号に対応する符号化ストリームには、フレームごとのゼロスタッフに関する情報が付随されているものとすることができる。
【００２５】
前記符号化制御手段には、前記第１の映像信号に対応する符号化ストリームに付随されている前記ゼロスタッフに関する情報に基づいて、前記第１の映像信号のうち、前記第２の映像信号から前記第１の映像信号に切換えられる前記編集点を含む前記符号化範囲の次の前記符号化範囲以降において、仮想バッファ占有量におけるゼロスタッフ分の調整により、再符号化された部分の仮想バッファ占有量と再符号化されていない部分の仮想バッファ占有量が連続性を有するように、前記第１の映像信号の符号化を制御させるようにすることができる。
【００２６】
本発明の第１の側面の情報処理方法は、編集処理を実行する情報処理装置の情報処理方法であって、ベースバンド画像データを所定の符号化範囲ごとに符号化し、第１の映像信号および第２の映像信号を参照するユーザによる編集点を指令する操作入力に基づいて、符号化されるベースバンド画像データを、前記第１の映像信号と前記第２の映像信号とでスイッチングし、前記第１の映像信号および前記第２の映像信号を参照するユーザによる編集点を指令する操作入力に基づいて、符号化された前記第１の映像信号のうち、前記第１の映像信号から前記第２の映像信号に切換えられる前記編集点を含まない、前記編集点よりも前の前記符号化範囲の符号化データを編集後の符号化ストリームとして選択しないように、編集後の符号化ストリームの生成を制御するステップを含む。
【００２７】
本発明の第１の側面のプログラムは、編集処理の制御をコンピュータに実行させるためのプログラムであって、ベースバンド画像データを所定の符号化範囲ごとに符号化する処理を制御し、第１の映像信号および第２の映像信号を参照するユーザによる編集点を指令する操作入力に基づいて、符号化されるベースバンド画像データを、前記第１の映像信号と前記第２の映像信号とでスイッチングする処理を制御し、前記第１の映像信号および前記第２の映像信号を参照するユーザによる編集点を指令する操作入力に基づいて、符号化された前記第１の映像信号のうち、前記第１の映像信号から前記第２の映像信号に切換えられる前記編集点を含まない、前記編集点よりも前の前記符号化範囲の符号化データを編集後の符号化ストリームとして選択しないように、編集後の符号化ストリームの生成を制御するステップを含む処理をコンピュータに実行させる。
【００２８】
本発明の第１の側面においては、ベースバンド画像データが所定の符号化範囲ごとに符号化され、第１の映像信号および第２の映像信号を参照するユーザによる編集点を指令する操作入力を受け、符号化されるベースバンド画像データが、第１の映像信号と第２の映像信号とでスイッチングされ、ユーザによる編集点を指令する操作入力に基づいて、符号化された第１の映像信号のうち、編集点を含まない、編集点よりも前の符号化範囲の符号化データを編集後の符号化ストリームとして選択しないように、編集後の符号化ストリームが生成される。
【００２９】
本発明の第２の側面の情報処理装置は、編集処理を実行する情報処理装置であって、ベースバンド画像データを所定の符号化範囲ごとに符号化する符号化手段と、第１の映像信号および第２の映像信号を参照するユーザによる編集点を指令する操作入力に基づいて、前記符号化手段に供給されるベースバンド画像データを、前記第１の映像信号にと前記第２の映像信号とでスイッチングするスイッチング手段と、前記スイッチング手段によりスイッチングされて前記符号化手段に供給されるベースバンド画像データを所定時間遅延させる遅延手段とを備える。
【００３０】
前記所定の符号化範囲に含まれるフレーム数の上限値をN（Nは、正の整数）とすることができ、前記遅延手段には、1コマンド遅延分とパラメータ演算のために必要な時間に対応するフレーム数をαとしたとき、前記符号化手段に供給されるベースバンド画像データをＮ＋αフレームの処理時間だけ遅延させるようにすることができる。
【００３１】
前記所定の符号化範囲に含まれるフレーム数の上限値をN（Nは、正の整数）とすることができ、前記遅延手段には、1コマンド遅延分とパラメータ演算のために必要な時間に対応するフレーム数をβとしたとき、前記符号化手段に供給されるベースバンド画像データを（Ｎ−１）＋βフレームの処理時間だけ遅延させるようにすることができる。
【００３２】
前記所定の符号化範囲に含まれるフレーム数の上限値をN（Nは、正の整数）とすることができ、前記所定の符号化範囲に含まれるフレーム数の下限値をN´（N´は、正の整数）とすることができ、前記遅延手段には、1コマンド遅延分とパラメータ演算のために必要な時間に対応するフレーム数をβとしたとき、前記符号化手段に供給されるベースバンド画像データを（Ｎ＋Ｎ´−１）＋βフレームの処理時間だけ遅延させるようにすることができる。
【００３３】
前記符号化手段には、前記第１の映像信号に対応する符号化ストリームの再符号化の開始箇所と終了箇所において、再符号化された部分の仮想バッファ占有量と再符号化されていない部分の仮想バッファ占有量が連続性を有するまで、前記第２の映像信号から前記第１の映像信号に切換えられる前記編集点を含む前記符号化範囲およびそれに続く所定フレーム数の前記第１の映像信号の符号化をくりかえさせるようにすることができ、前記所定の符号化範囲に含まれるフレーム数の上限値をN（Nは、正の整数）とすることができ、前記所定の符号化範囲に続いて前記符号化手段により符号化される前記所定フレームの数をM（Mは、正の整数）とすることができ、前記遅延手段には、前記符号化手段に供給されるベースバンド画像データを（Ｎ＋Ｍ＋１）フレームの処理時間だけ遅延させるようにすることができる。
【００３４】
前記第１の符号化手段に供給される前記第１の映像信号に対応するベースバンド画像データを符号化する第２の符号化手段を更に備えさせるようにすることができる。
【００３５】
前記第１の符号化手段による符号化処理を制御する制御手段を更に備えさせるようにすることができ、前記第１の符号化手段には、前記制御手段による制御に基づいて、前記編集点を含む所定の区間の符号化処理を行わせるようにすることができ、前記第２の符号化手段には、前記第１の符号化手段により符号化される前記所定の区間の符号化終了予定点に対応する終了予定点対応フレームの符号化の結果得られる仮想バッファ占有量、および、符号化のＧＯＰ位相を前記制御手段に通知させるようにすることができ、前記制御手段には、前記第２の符号化手段による通知に基づいて、前記第２の符号化手段による符号化のＧＯＰ位相に合致するように、かつ、前記所定の区間の符号化終了予定点の仮想バッファ占有量の目標値が、前記第２の符号化手段による前記終了予定点対応フレームの符号化の結果得られる仮想バッファ占有量となるように、前記第１の符号化手段による符号化処理を制御させるようにすることができる。
【００３６】
前記所定の符号化範囲に含まれるフレーム数の上限値をN（Nは、正の整数）とさせるようにすることができ、前記制御手段が、前記第２の符号化手段による通知に基づいて、前記第１の符号化手段による符号化処理のパラメータを演算するために必要な時間と1コマンド遅延分との和に対応するフレーム数をａ（aは、正の整数）とさせるようにすることができ、前記第２の符号化手段に前記終了予定点対応フレームが入力されてから、前記制御手段が前記第２の符号化手段による前記通知を取得するまでにかかる時間に対応するフレーム数をｂ（ｂは、正の整数）とさせるようにすることができ、前記遅延手段には、前記第１の符号化手段に供給されるベースバンド画像データを（２Ｎ＋２＋ａ＋ｂ）フレームの処理時間だけ遅延させるようにすることができる。
【００３７】
本発明の第２の側面の情報処理方法は、編集処理を実行する情報処理装置の情報処理方法であって、第１の映像信号および第２の映像信号を参照するユーザによる編集点を指令する操作入力に基づいて、符号化されるベースバンド画像データを、前記第１の映像信号にと前記第２の映像信号とでスイッチングし、スイッチングされた前記ベースバンド画像データを符号化の前に所定時間遅延したのち、ベースバンド画像データを所定の符号化範囲ごとに符号化するステップを含む。
【００３８】
本発明の第２の側面のプログラムは、編集処理の制御をコンピュータに実行させるためのプログラムであって、第１の映像信号および第２の映像信号を参照するユーザによる編集点を指令する操作入力に基づいて、符号化されるベースバンド画像データを、前記第１の映像信号にと前記第２の映像信号とでスイッチングするように符号化部へのデータの供給を制御し、スイッチングされた前記ベースバンド画像データを符号化の前に所定時間遅延したのち、ベースバンド画像データが所定の符号化範囲ごとに符号化されるように、符号化処理を制御するステップを含む処理をコンピュータに実行させる。
【００３９】
本発明の第２の側面においては、第１の映像信号および第２の映像信号を参照するユーザによる編集点を指令する操作入力を受け、符号化されるベースバンド画像データを、前記第１の映像信号にと前記第２の映像信号とでスイッチングさせ、スイッチングされた前記ベースバンド画像データを符号化の前に所定時間遅延させ、ベースバンド画像データを所定の符号化範囲ごとに符号化させる。
【００４０】
編集装置は、独立した装置であっても良いし、記録装置、記録再生装置、または、情報処理装置の編集処理を行うブロックであっても良い。
【発明の効果】
【００４１】
以上のように、本発明の第１の側面によれば、編集処理を行うことができ、特に、ベースバンド入力された動画信号を接続または上書きする編集処理を行う場合に、編集素材の映像をオペレータがモニタしながら編集点を決定した後、従来よりも早く編集結果を構成するストリームデータを得ることができるとともに、画像劣化を少なくすることができる。
【００４２】
また、本発明の第２の側面によれば、編集処理を行うことができ、特に、ベースバンド入力された動画信号を接続または上書きする編集処理を行う場合に、編集素材の映像をオペレータがモニタしながら編集点を決定した後、従来よりも早く編集結果を構成するストリームデータを得ることができるとともに、画像劣化を少なくすることができる。
【発明を実施するための最良の形態】
【００４３】
以下に本発明の実施の形態を説明するが、本発明の構成要件と、明細書または図面に記載の実施の形態との対応関係を例示すると、次のようになる。この記載は、本発明をサポートする実施の形態が、明細書または図面に記載されていることを確認するためのものである。従って、明細書または図面中には記載されているが、本発明の構成要件に対応する実施の形態として、ここには記載されていない実施の形態があったとしても、そのことは、その実施の形態が、その構成要件に対応するものではないことを意味するものではない。逆に、実施の形態が構成要件に対応するものとしてここに記載されていたとしても、そのことは、その実施の形態が、その構成要件以外の構成要件には対応しないものであることを意味するものでもない。
【００４４】
本発明の第１の側面の情報処理装置は、編集処理を実行する情報処理装置であって、ベースバンド画像データを所定の符号化範囲（例えば、GOP）ごとに符号化する符号化手段（例えば、図１９のエンコーダ６０）と、第１の映像信号および第２の映像信号を参照するユーザによる編集点を指令する操作入力に基づいて、前記符号化手段に供給されるベースバンド画像データを、前記第１の映像信号と前記第２の映像信号とでスイッチングするスイッチング手段（例えば、図１９のスイッチ/エフェクト５８）と、前記第１の映像信号および前記第２の映像信号を参照するユーザによる編集点を指令する操作入力に基づいて、前記符号化手段により符号化された前記第１の映像信号のうち、前記第１の映像信号から前記第２の映像信号に切換えられる前記編集点を含まない、前記編集点よりも前の前記符号化範囲の符号化データを編集後の符号化ストリームとして選択しないように、編集後の符号化ストリームの生成を制御する編集データ制御手段（例えば、図２０の編集後ストリーム選択部１４４）とを備える。
【００４５】
前記符号化手段による符号化処理を制御する符号化制御手段（例えば、図２０のエンコード制御部９３）を更に備えることができ、前記符号化制御手段は、前記第１の映像信号に対応する符号化ストリームの再符号化の開始箇所と終了箇所において、再符号化された部分の仮想バッファ占有量（例えば、ＶＢＶ占有量）と再符号化されていない部分の仮想バッファ占有量が連続性を有するように、前記第１の映像信号の符号化を制御することができる。
【００４６】
前記符号化制御手段は、前記第１の映像信号のうち、前記第２の映像信号から前記第１の映像信号に切換えられる前記編集点を含む前記符号化範囲の次の前記符号化範囲以降において、再符号化された部分の仮想バッファ占有量（例えば、ＶＢＶ占有量）と再符号化されていない部分の仮想バッファ占有量が連続性を有するように、前記第１の映像信号の符号化を制御することができる。
【００４７】
前記符号化手段による符号化処理の範囲を決定する符号化範囲決定手段（例えば、図２０の再エンコード範囲決定部１４２）を更に備えることができ、前記符号化範囲決定手段は、前記第２の映像信号から前記第１の映像信号に切換えられる前記編集点を含む前記符号化範囲の次の前記符号化範囲以降において、再符号化された部分の仮想バッファ占有量（例えば、ＶＢＶ占有量）と再符号化されていない部分の仮想バッファ占有量が連続性を有するように、前記符号化手段による前記第１の映像信号の符号化を実行可能であるように、前記符号化手段による前記第１の映像信号の再符号化の終了位置を決定することができる。
【００４８】
本発明の第１の側面の情報処理方法は、編集処理を実行する情報処理装置の情報処理方法であって、ベースバンド画像データを所定の符号化範囲（例えば、GOP）ごとに符号化し（例えば、図３０のステップＳ６５の処理）、第１の映像信号および第２の映像信号を参照するユーザによる編集点を指令する操作入力に基づいて、符号化されるベースバンド画像データを、前記第１の映像信号と前記第２の映像信号とでスイッチングし（例えば、図３１のステップＳ６９の処理）、前記第１の映像信号および前記第２の映像信号を参照するユーザによる編集点を指令する操作入力に基づいて、符号化された前記第１の映像信号のうち、前記第１の映像信号から前記第２の映像信号に切換えられる前記編集点を含まない、前記編集点よりも前の前記符号化範囲の符号化データを編集後の符号化ストリームとして選択しないように、編集後の符号化ストリームの生成を制御する（例えば、図３０のステップＳ６７の処理）ステップを含む。
【００４９】
本発明の第１の側面のプログラムは、編集処理の制御をコンピュータに実行させるためのプログラムであって、ベースバンド画像データを所定の符号化範囲（例えば、GOP）ごとに符号化する処理を制御し（例えば、図３０のステップＳ６５の処理）、第１の映像信号および第２の映像信号を参照するユーザによる編集点を指令する操作入力に基づいて、符号化されるベースバンド画像データを、前記第１の映像信号と前記第２の映像信号とでスイッチングする処理を制御し（例えば、図３１のステップＳ６９の処理）、前記第１の映像信号および前記第２の映像信号を参照するユーザによる編集点を指令する操作入力に基づいて、符号化された前記第１の映像信号のうち、前記第１の映像信号から前記第２の映像信号に切換えられる前記編集点を含まない、前記編集点よりも前の前記符号化範囲の符号化データを編集後の符号化ストリームとして選択しないように、編集後の符号化ストリームの生成を制御する（例えば、図３０のステップＳ６７の処理）ステップを含む処理をコンピュータに実行させる。
【００５０】
本発明の第２の側面の情報処理装置は、編集処理を実行する情報処理装置（例えば、図４の編集装置３１または図３２の編集装置１７１）であって、ベースバンド画像データを所定の符号化範囲（例えば、GOP）ごとに符号化する符号化手段（例えば、図４または図３２のエンコーダ６０）と、第１の映像信号および第２の映像信号を参照するユーザによる編集点を指令する操作入力に基づいて、前記符号化手段に供給されるベースバンド画像データを、前記第１の映像信号にと前記第２の映像信号とでスイッチングするスイッチング手段（例えば、図４または図３２のスイッチ/エフェクト５８）と、前記スイッチング手段によりスイッチングされて前記符号化手段に供給されるベースバンド画像データを所定時間遅延させる遅延手段（例えば、図４または図３２のフレームバッファ５９）とを備える。
【００５１】
前記第１の符号化手段に供給される前記第１の映像信号に対応するベースバンド画像データを符号化する第２の符号化手段（例えば、図３２のエンコーダ１８３）を更に備えさせるようにすることができる。
【００５２】
前記第１の符号化手段による符号化処理を制御する制御手段（例えば、図３２のＣＰＵ１８２）を更に備えさせるようにすることができ、前記第１の符号化手段には、前記制御手段による制御に基づいて、前記編集点を含む所定の区間（例えば、ブリッジクリップ）の符号化処理を行わせるようにすることができ、前記第２の符号化手段には、前記第１の符号化手段により符号化される前記所定の区間の符号化終了予定点に対応する終了予定点対応フレームの符号化の結果得られる仮想バッファ占有量、および、符号化のＧＯＰ位相を前記制御手段に通知させるようにすることができ、前記制御手段には、前記第２の符号化手段による通知に基づいて、前記第２の符号化手段による符号化のＧＯＰ位相に合致するように、かつ、前記所定の区間の符号化終了予定点の仮想バッファ占有量の目標値が、前記第２の符号化手段による前記終了予定点対応フレームの符号化の結果得られる仮想バッファ占有量となるように、前記第１の符号化手段による符号化処理を制御させるようにすることができる。
【００５３】
本発明の第２の側面の情報処理方法は、編集処理を実行する情報処理装置の情報処理方法であって、第１の映像信号および第２の映像信号を参照するユーザによる編集点を指令する操作入力に基づいて、符号化されるベースバンド画像データを、前記第１の映像信号にと前記第２の映像信号とでスイッチングし（例えば、図１７のステップＳ１６の処理）、スイッチングされた前記ベースバンド画像データを符号化の前に所定時間遅延したのち、ベースバンド画像データを所定の符号化範囲（例えば、GOP）ごとに符号化する（例えば、図１７のステップＳ１８の処理）ステップを含む。
【００５４】
本発明の第２の側面のプログラムは、編集処理の制御をコンピュータに実行させるためのプログラムであって、第１の映像信号および第２の映像信号を参照するユーザによる編集点を指令する操作入力に基づいて、符号化されるベースバンド画像データを、前記第１の映像信号にと前記第２の映像信号とでスイッチングするように符号化部へのデータの供給を制御し（例えば、図１７のステップＳ１６の処理）、スイッチングされた前記ベースバンド画像データを符号化の前に所定時間遅延したのち、ベースバンド画像データが所定の符号化範囲（例えば、GOP）ごとに符号化されるように、符号化処理を制御する（例えば、図１７のステップＳ１８の処理）ステップを含む処理をコンピュータに実行させる。
【００５５】
以下、図を参照して、本発明の実施の形態について説明する。
【００５６】
図４を参照して、本発明の第１の実施の形態である編集装置３１の構成について説明する。
【００５７】
CPU（Central Processing Unit）４１は、ノースブリッジ４２に接続され、例えば、HDD（Hard disk Drive）４６または記録メディア４８に記録されているデータの読み出しなどの処理を制御したり、CPU５２が実行する編集処理を制御するための制御信号やコマンドを生成して出力したりする。ノースブリッジ４２は、PCIバス（Peripheral Component Interconnect/Interface）４４に接続され、例えば、CPU４１の制御に基づいて、サウスブリッジ４５を介して、HDD４６または記録メディア４８に記録されているデータの供給を受けて、PCIバス４４、PCIブリッジ４９を介して、メモリ５０、デコーダ５４、またはデコーダ５５に供給する。また、ノースブリッジ４２は、メモリ４３とも接続されており、CPU４１の処理に必要なデータを授受する。
【００５８】
メモリ４３は、CPU４１が実行する処理に必要なデータを保存する。サウスブリッジ４５は、HDD４６のデータの書き込みおよび読み出しを制御する。HDD４６には、記録メディア４８に記録されている圧縮符号化されたインサート編集の対象となる圧縮映像データ（以下、適宜、下地データも称する）の所定の位置に挿入される圧縮映像データ（以下、適宜、上書きデータとも称する）が記録される。
【００５９】
また、サウスブリッジ４５には、ドライブ４７が接続されており、ドライブ４７は、記録メディア４８から下地データを読み出したり、サウスブリッジ４５から供給された下地データや上書きデータを記録メディア４８に記録したりする。記録メディア４８は、例えば、磁気ディスク、光ディスク、光磁気ディスク、或いは半導体メモリなどからなり、インサート編集の対象となる下地データを記録している。
【００６０】
PCIブリッジ４９は、デコーダ５４、デコーダ５５への圧縮映像データの供給や、エンコーダ６０から供給される編集後の圧縮映像データの取得を制御するとともに、メモリ５０のデータの書き込みおよび読み出しを制御したり、PCIバス４４およびコントロールバス５１のデータの授受を制御する。メモリ５０は、PCIブリッジ４９の制御に基づいて、HDD４６または記録メディア４８より読み出された編集素材の符号化ストリームや、エンコーダ６０から供給される編集後の圧縮映像データを記憶する。
【００６１】
CPU５２は、ノースブリッジ４２、PCIバス４４、PCIブリッジ４９、およびコントロールバス５１を介して、CPU４１から供給された制御信号やコマンドにしたがって、PCIブリッジ４９、デコーダ５４乃至デコーダ５６、スイッチ５７、スイッチ/エフェクト５８、エンコーダ６０、およびスイッチ６２が実行する処理を制御する。メモリ５３は、CPU５２の処理に必要なデータを記憶する。
【００６２】
デコーダ５４乃至デコーダ５６は、CPU５２の制御に基づいて、供給された圧縮映像データをデコードし、非圧縮の映像信号（ベースバンドの画像データ）を出力する。また、デコーダ５４乃至デコーダ５６は、編集装置３１に含まれない独立した装置として設けられていても良い。例えば、デコーダ５６が、独立した装置として設けられている場合、デコーダ５６は、後述する処理により編集されて生成された圧縮映像データの供給を受け、復号し、出力することができるようになされる。デコーダ５４の出力は、図示しない第１のモニタに出力されて表示される。
【００６３】
スイッチ５７は、CPU５２の制御に基づいて、デコーダ５５から供給されたベースバンドの画像データと、入力端子６１を介して入力されるベースバンドの画像データとのいずれかをスイッチ/エフェクトに供給する。スイッチ５７の図示しない第２のモニタに出力されて表示される。
【００６４】
スイッチ/エフェクト５８は、CPU５２の制御に基づいて、デコーダ５４、または、スイッチ５７を介して、デコーダ５５もしくは入力端子６１から非圧縮の映像信号の供給を受け、CPU５２の制御に基づいて、供給される非圧縮の映像信号の出力を切り替える。すなわち、スイッチ/エフェクト５８は、供給された非圧縮の映像信号を所定のフレームで結合するとともに、必要に応じて所定の範囲にエフェクトを施して、フレームバッファ(frame buffer)５９に供給する。
【００６５】
フレームバッファ５９は、供給されたベースバンド画像データを所定の一定期間だけ保持し、エンコーダ６０に供給する。フレームバッファ５９によるバッファリングの期間については後述する。
【００６６】
エンコーダ６０は、CPU５２の制御に基づいて、供給された非圧縮の映像信号をエンコードする。すなわちエンコーダ６０は、非圧縮の映像信号をエンコードすることにより、編集後の符号化ストリームを生成する。
【００６７】
スイッチ６２は、CPU５２の制御に基づいて、スイッチ/エフェクト５８から出力されるベースバンド画像信号、または、デコーダ５６によってデコードされたベースバンド画像信号のいずれかを、外部の図示しない第３のモニタに出力して表示させる。
【００６８】
また、入力端子６１からは、ベースバンドの画像データであるＳＤＩ信号が入力され、スイッチ５７を介してスイッチ/エフェクト５８に供給される。
【００６９】
このように、編集装置３１においては、エンコーダ６０の入力の前段にフレームバッファ５９が挿入されている。これに対して、第１のモニタに出力されるデコーダ５４の出力、および、第２のモニタに出力されるスイッチ５７の入力は、フレームバッファ５９による遅延前のデータである。すなわち、オペレータが第１のモニタおよび第２のモニタにより確認する編集素材の映像に対して、エンコーダ６０への入力は、一定時間遅延したものとなる。
【００７０】
図５乃至図１５を参照して、編集装置３１において編集が実行される場合に、フレームバッファ５９によるバッファリングによって発生するエンコーダ６０への入力信号の遅延時間、および、編集装置３１の各部の動作について説明する。
【００７１】
図５に示されるように、編集素材である符号化ストリームは、デコーダ５４に入力されてデコードされ、そのデコーダ出力は、エンコーダ６０に供給される。IN点が指令されたとき、IN点を含むGOPの先頭位置において、元の符号化ストリームの同一の部分とVBVoccupancyが連続になるようにエンコードが実行される。エンコーダ６０への入力は、SDI入力に切り替えられて、SDI信号が続けてエンコードされる。
【００７２】
そして、OUT点が指令されたとき、OUT点を含むGOPの先頭において、第1の符号化ストリームのデコードが開始され、エンコーダへの入力が、編集点において、SDI信号から第1の符号化ストリームのデコーダ出力に切換えられる。そして、上述した特開２００６−６７０９５号公報に記載の編集処理における再エンコード処理と同様に、編集点を含むGOPと、必要に応じてそれに続く所定フレーム後のVBVoccupancy目標点までのエンコード処理は、元の符号化ストリームのVBVoccupancy目標点とVBVoccupancyが連続するように定められたVBVoccupancy目標値に合致するような符号化が実行されるように、発生符号量が合わせ込まれる。
【００７３】
オペレータがモニタを確認しながら編集点を決定し、その手前のGOPの切れ目から、VBVoccupancy目標値をはじめとする、正しいパラメータでエンコードを実行するためには、フレームバッファ５９によるバッファリングによって発生するエンコーダ６０への入力信号の遅延時間が、編集点決定後、設定パラメータを決めたのち、そのGOPの最初のフレームからエンコード開始するために十分な時間であればよい。
【００７４】
図６を参照して、アセンブル編集における編集点、および、インサート編集におけるIN点において必要なフレームバッファ５９のバッファ容量について説明する。
【００７５】
最大GOP長がNの場合、IN点(または編集点、以下同様)がGOPの先頭であったとき、そのGOPの先頭フレームがエンコード開始点であることから、IN点がGOP内のいずれの位置に設定されても、IN点を含むGOPの先頭からIN点までの最大のフレーム数は、（Ｎ−１）[フレーム]となる。openGOPの場合、実際のエンコードはIN点を含むGOPの先頭からであるが、参照画入力のために、エンコーダへの信号入力開始は参照画からとなるので、エンコードに参照画入力の１フレーム分の時間が必要となる。また、1コマンド遅延分とパラメータ演算のために時間を必要とするので、この時間に対応するフレーム数をα[フレーム]とすると、フレームバッファ５９のバッファ容量を（Ｎ−１）＋１＋α＝Ｎ＋α[フレーム]以上とすれば、編集点決定後、設定パラメータを決め、GOP切れ目からエンコード開始するために十分な時間だけ遅延した接続後のベースバンド画像データが、エンコーダ６０に供給される。エンコーダ６０におけるエンコードの制約条件は、エンコード開始点におけるVBVoccupancyを、再エンコードを実行しない部分と再エンコードを実行する部分とで連続させることである。
【００７６】
次に、図７を参照して、インサート編集におけるOUT点において必要なフレームバッファ５９のバッファ容量について説明する。
【００７７】
最大GOP長がNの場合、OUT点がGOP内のいずれの位置に設定されても、OUT点を含むGOPの先頭からIN点までの最大のフレーム数は、最大で（Ｎ−１）[フレーム]となる。また、1コマンド遅延分とパラメータ演算のために時間を必要とするので、この時間に対応するフレーム数をβ[フレーム]とすると、フレームバッファ５９のバッファ容量を（Ｎ−１）＋β[フレーム] 以上とすれば、編集点決定後、設定パラメータを決め、GOP切れ目からエンコード開始するために十分な時間だけ遅延した接続後のベースバンド画像データが、エンコーダ６０に供給される。
【００７８】
そして、エンコーダ６０におけるエンコードの制約条件は、OUT点を含むGOPの最後のフレームか、または、その次のGOPのIピクチャまでを、符号化ストリームの再エンコード範囲の終了点とすることと、終了点におけるVBVoccupancyを、再エンコードを実行しない部分と再エンコードを実行する部分とで連続させることができるように、VBVoccupancy目標値を設定してエンコードを行うことである。
【００７９】
OUT点が、インサート処理における下地となっている符号化ストリームにおけるGOP切れ目と重なっていた場合、OUT点のVBVoccupancyをVBVoccupancy目標値としてエンコードが行われる。OUT点が、インサート処理における挿入部分に対応するベースバンド入力データを符号化したときのGOP切れ目と重なっていた場合、OUT点から次のGOPの切れ目までの間を１GOPとして、そのGOPの終端でVBVoccupancyが連続するように、エンコードが実行される。
【００８０】
また、アセンブル編集における編集点や、IN点では、上書きデータまたは接続されるデータであるベースバンド入力データのエンコード処理において、任意に最大GOP長(N)以下となるようにGOPを設定してエンコードしていけばよいが、OUT点を含むGOP（OUT点がGOPの切れ目のときは、その次のGOP）では、再エンコードされない場合の元の符号化ストリームにおけるGOP切れ目に合わせてGOPを設定してエンコードを行う必要がある。
【００８１】
OUT点を含むGOPを構成するフレームの数は、GOPの最大フレーム数の設定枚数を超えてはならないし、符号化効率が落ち、画質に影響を及ぼす可能性があるため、極端に短いGOPが発生することも避けたい。
【００８２】
そこで、インサートされた部分の符号化結果におけるOUT点を含むGOPと、下地となっている符号化ストリームにおけるOUT点後のGOPが、最大GOP数Nを超えている場合、図９に示されるように、その部分は、２つのGOPに分割されるように、エンコーダ６０においてエンコードされる。
【００８３】
このような処理により、OUT点を含むGOPに含まれているフレーム数が必ずN以下になるようにすれば、フレームバッファ５９のバッファ容量として、上述した値を用いることにより、オペレータがモニタに表示される編集素材を確認しながら所望の位置で編集点（IN点またはOUT点）を指令するような場合に、従来と比較して、画質を劣化させずに、迅速に編集処理を行うことが可能となる。
【００８４】
また、符号化効率を落とさないために必要な、１GOPに含まれるフレーム数の最小値をN´としたとき、OUT点を含むGOPのフレーム数が、N'に満たない場合は、その前後どちらかのGOPと結合し、結合されたGOPに含まれるフレーム数がN以上となった場合には、GOPに含まれるフレーム数がN´を下回らないように再度GOPを分割することにより、それぞれのGOPに含まれるフレーム数がN´乃至Nの範囲内になるようにする。
【００８５】
例えば、OUT点を含むGOPの範囲を、時間的に先の部分、すなわち、インサート編集における下地である符号化ストリーム側に広げる場合、フレームバッファ５９のバッファ容量を、上述したように、（Ｎ−１）＋β[フレーム]とすれば、編集点決定後、設定パラメータを決め、GOP切れ目からエンコード開始するために十分な時間だけ遅延した接続後のベースバンド画像データが、エンコーダ６０に供給される。
【００８６】
これに対して、OUT点を含むGOPの範囲を、時間的に前の部分、すなわち、インサート編集における上書きデータであるベースバンドデータ側に広げる場合、フレームバッファ５９のバッファ容量を、上述したように、（Ｎ−１）＋β[フレーム]としてしまっては、遅延の時間が足らなくなってしまう恐れがある。
【００８７】
ベースバンドデータは編集処理において初めてのエンコードが施されるだけであるのに対し、下地となる符号化ストリームは、少なくとも2回目のエンコードが施されるため、画質劣化を防ぐには、OUT点を含むGOPの範囲を、時間的に前の部分、すなわち、インサート編集における上書きデータであるベースバンドデータ側に広げる方が好適である。
【００８８】
OUT点を含むGOPの範囲を、時間的に前の部分、すなわち、インサート編集における上書きデータであるベースバンドデータ側に広げることを考えるならば、フレームバッファ５９のバッファ容量を（Ｎ＋Ｎ´−１）＋β[フレーム]以上とすれば、図１１の上部に示されるように、編集点決定後、設定パラメータを決め、GOP切れ目からエンコード開始するために十分な時間だけ遅延した接続後のベースバンド画像データが、エンコーダ６０に供給される。
【００８９】
フレームバッファ５９のバッファ容量を（Ｎ＋Ｎ´−１）＋β[フレーム]以上とすれば、図１１の下部に示されるように、OUT点とGOPの切れ目とが重なってしまった場合においても、十分な時間だけ遅延した接続後のベースバンド画像データが、エンコーダ６０に供給され、終了点におけるVBVoccupancyを、再エンコードを実行しない部分と再エンコードを実行する部分とで連続させることができるように符号化処理を行うフレーム数を充分確保することが可能となる。
【００９０】
また、例えば、図１２に示されるように、インサート編集における下地である符号化ストリームの1GOP中にIN点およびOUT点がいずれも存在した場合、フレームバッファ５９のバッファ容量が（Ｎ＋Ｎ´−１）＋β[フレーム]以上であれば、OUT点が決定された時点ではまだそのGOPのエンコードは開始されていないので、編集処理を問題なく行うことが可能となる。
【００９１】
また、例えば、図１３に示されるように、インサート編集における下地である符号化ストリームにおけるOUT点を含むGOPに含まれるフレーム数が最小値のN´であったとしても、編集処理を問題なく行うことが可能となる。
【００９２】
すなわち、処理されるストリームの最大GOP長をＮ[フレーム]、最小GOP長をＮ'[フレーム]として、(コマンド遅延分＋パラメータ演算分)にかかる時間に対応するフレーム処理時間が、IN点におけるα[フレーム]分とOUT点におけるβ[フレーム]分とで等しい値であるとしたとき、フレームバッファ５９のバッファ容量を(Ｎ＋Ｎ'−１＋β)[フレーム]とすれば、編集点決定後、設定パラメータを決め、GOP切れ目からエンコード開始するために十分な時間だけ遅延した接続後のベースバンド画像データが、エンコーダ６０に供給される。
【００９３】
なお、(コマンド遅延分＋パラメータ演算分)にかかる時間に対応するフレーム処理時間が、IN点におけるα[フレーム]分とOUT点におけるβ[フレーム]分とが等しい値ではなかった場合、フレームバッファ５９のバッファ容量は、(Ｎ＋Ｎ'−１＋β)[フレーム]と(Ｎ−１＋α)[フレーム]とのうちの、いずれか大きいほうの値とすればよい。
【００９４】
なお、再エンコード区間の終了点におけるVBVoccupancyを、再エンコードを実行しない部分と再エンコードを実行する部分とで連続させるために、例えば、編集点（OUT点）を含むGOP（または、そのGOPと次のIピクチャまで）のエンコード終了時に、目標VBV占有量よりも占有量が小さくなってしまった場合は、zero stuffによってVBV占有量を連続にすることはできないため、次GOPもエンコード対象として、任意の発生符号調整方法により再エンコードが継続されるようしてもよい。
【００９５】
また、再エンコード区間の終了点におけるVBVoccupancyを、再エンコードを実行しない部分と再エンコードを実行する部分とで連続させるために、再エンコード区間の終了点におけるVBVoccupancyが、再エンコードを実行しない部分と再エンコードを実行する部分とで連続するまで、エンコードを繰り返す2-path法を用いることにより、VBVoccupancyの連続性を保障するようにしてもよい。2-path法は、エンコードの結果、VBVoccupancyが合わなかった場合、ずれ分を符号配分量から引いて新たに符号配分を設定し、VBVoccupancyが連続するまでエンコードを繰り返し行う方法である。
【００９６】
2-path法を行う場合、OUT点以降のデータ、すなわち、インサート処理における下地となっている符号化ストリームは、その都度、ＨＤＤ４６から読み出すようにしても良いが、フレームバッファ５９に必要なフレーム分がバッファリングされていれば、データの読み出しを繰り返す必要がなくなり、好適である。
【００９７】
具体的には、図１５に示されるように、VBV占有量の合わせ込みのために行うエンコードの最小フレーム数は、1GOP分のフレーム数と、次GOPのIピクチャまでのフレーム数との合計値である。従って、GOP先頭からIピクチャまでの最大数をMとすると、1GOPの最大数はNであり、エンコード時に必要となる前方参照画の1フレームを考慮すると、フレームバッファ５９のバッファ容量を（Ｎ＋Ｍ＋１）[フレーム]とすれば、フレームバッファ５９に蓄積されているベースバンド画像信号を用いて、2-path法を実行することができる。
【００９８】
したがって、2-path法を行う場合、フレームバッファ５９のバッファ容量は、(Ｎ＋Ｎ'−１＋β)[フレーム]と（Ｎ＋Ｍ＋１）[フレーム]とのうちのいずれか大きい方とすると好適である。
【００９９】
図１６に、編集装置３１のCPU４１およびCPU５２が有する機能を説明するための機能ブロック図を示す。
【０１００】
CPU４１は、パラメータ取得部８１、ユーザ入力取得部８２、IN点/OUT点決定部８３、再エンコード範囲決定部８４、および、編集処理制御部８５の機能を有しており、CPU５２は、デコード処理部９１、＃１スイッチ制御部９２、エンコード処理部９３、および、＃２スイッチ制御部９４の機能を有している。
【０１０１】
パラメータ取得部８１は、フレームバッファ５９のバッファ容量などの編集装置３１において予め決まっているパラメータや、編集される符号化ストリームまたはベースバンド画像データに関するGOP位相やVBV占有量など、処理に必要な各種パラメータを取得する。
【０１０２】
ユーザ入力取得部８２は、図示しない操作入力部から供給される、IN点(編集点を含む)およびOUT点の指令を取得する。
【０１０３】
IN点/OUT点決定部８３は、ユーザ入力取得部８２から供給されたユーザの操作入力と、パラメータ取得部により取得された各種パラメータを基に、編集におけるIN点(編集点を含む)およびOUT点を決定し、編集処理制御部８５に供給する。ここでは、第１のモニタおよび第２のモニタにより編集素材の映像を確認するオペレータが入力したIN点およびOUT点の指令のタイミングで、略リアルタイムに、スイッチ/エフェクト５８のスイッチが切換えられて、フレームバッファ５９に出力されるデータが切換えられるものとする。
【０１０４】
再エンコード範囲決定部８４は、ユーザ入力取得部８２から供給されたユーザの操作入力と、パラメータ取得部により取得された各種パラメータ、並びに、IN点/OUT点決定部８３により決定されたIN点およびOUT点を基に、インサート処理における下地となっている符号化ストリームの再エンコード範囲を決定し、編集処理制御部８５に供給する。
【０１０５】
編集処理制御部８５は、IN点/OUT点決定部８３により決定されたIN点およびOUT点、並びに、再エンコード範囲決定部８４より決定された下地となっている符号化ストリームの再エンコード範囲を基に、デコーダ５４乃至デコーダ５６、スイッチ５７、スイッチ/エフェクト５８、エンコーダ６０、および、スイッチ６２の動作を制御するためのコマンドなどを生成し、ノースブリッジ４２、ＰＣＩバス４４、ＰＣＩブリッジ４９、および、コントロールバス５１を介して、生成したコマンドをＣＰＵ５２に供給する。
【０１０６】
デコード処理部９１は、編集処理制御部８５から供給されたコマンドに基づいて、デコーダ５４乃至デコーダ５６の動作を制御する。
【０１０７】
＃１スイッチ制御部９２は、スイッチ/エフェクト５８の動作を制御して、編集点において、ストリームバッファ５９に出力するデータを切換えて、データを接続させる。
【０１０８】
エンコード処理部９３は、編集処理制御部８５から供給されたコマンドに基づいて、エンコーダ６０の動作を制御する。
【０１０９】
＃２スイッチ制御部９４は、スイッチ５７を制御して、スイッチ／エフェクト５８に供給される、例えば、上書き用のデータの切り替えを制御する。
【０１１０】
次に、図１７および図１８のフローチャートを参照して、編集装置３１が実行する編集処理１について説明する。
【０１１１】
ステップＳ１１において、CPU４１は、HDD（Hard disk Drive）４６または記録メディア４８に記録されている下地の符号化ストリームを読み出し、ノースブリッジ４２およびPCIバス４４を介して、PCIブリッジ４９に供給する。CPU５２は、供給された下地の符号化ストリームを、必要に応じて、一旦メモリ５０に蓄積した後、デコーダ５４に供給する。デコーダ５４は、デコード制御部９１の制御に基づいて、供給された下地の符号化ストリームのデコードを開始し、デコードされて生成されたベースバンド信号を、スイッチ/エフェクト５８に供給する。
【０１１２】
ステップＳ１２において、モニタ１およびモニタ２は、遅延前の編集素材の表示を開始し、モニタ３は、スイッチ/エフェクト５８の出力、すなわち、遅延前の編集結果の表示を開始する。オペレータは、モニタ１およびモニタ２に表示される映像を観測し、信号を切替えたいタイミングを図示しない操作入力部により指令する。
【０１１３】
ステップＳ１３において、CPU４１のパラメータ取得部８１は、下地の符号化ストリームに関するGOP位相情報を取得し、IN点/OUT点決定部８３および再エンコード範囲決定部８４に供給する。これにより、CPU４１は、下地の符号化ストリームのGOPの切れ目を検出することができる。また、CPU４１は、フレームバッファ５９のバッファ容量も認識しているので、エンコーダ６０による再エンコードの開始タイミングを制御することが可能となる。
【０１１４】
ステップＳ１４において、パラメータ取得部８１は、下地の符号化ストリームに関する、GOP切れ目でのVBV占有量を取得し、IN点/OUT点決定部８３および再エンコード範囲決定部８４に供給する。これにより、例えば、上述した特開２００６−６７０９５号公報に記載の技術やその他の公知の技術を用いて、VBVoccupancyを、再エンコードを実行しない部分と再エンコードを実行する部分とで連続させることが可能となる。
【０１１５】
ステップＳ１５において、ユーザ入力取得部８２は、フレームバッファ５９およびエンコーダ６０への入力信号を下地の符号化ストリームに対応するベースバンド信号から入力端子６１より供給されるベースバンド信号に切替える様に操作入力を受けたか否かを判断する。
【０１１６】
ステップＳ１５において、フレームバッファ５９およびエンコーダ６０への入力信号を切換える操作入力を受けていないと判断された場合、操作入力を受けたと判断されるまで、ステップＳ１５の処理が繰り返される。
【０１１７】
ステップＳ１５において、フレームバッファ５９およびエンコーダ６０への入力信号を切換える操作入力を受けたと判断された場合、ステップＳ１６において、IN点/OUT点決定部８３は、編集におけるIN点を決定し、編集処理制御部８５に供給する。編集処理制御部８５は、CPU５２の＃１スイッチ制御部９２を制御するための制御信号を生成し、CPU５２に供給する。CPU５２の＃１スイッチ制御部９２は、スイッチ/エフェクト５８の動作を制御して、編集点において出力するデータを切換えて、フレームバッファ５９およびエンコーダ６０への入力信号を下地の符号化ストリームに対応するベースバンド信号から入力端子６１より供給されるベースバンド信号に切替える、すなわち、下地の符号化ストリームに対応するベースバンド信号と入力端子６１より供給されるベースバンド信号を接続させる。フレームバッファ５９では、供給されたベースバンド信号がバッファリングされるので、エンコーダ６０への入力は、フレームバッファ５９のバッファ容量分だけ遅延する。
【０１１８】
ステップＳ１７において、再エンコード範囲決定部８４は、IN点/OUT点決定部８３により決定されたIN点の設定位置を検出し、IN点を含むGOPに関してエンコーダ６０によるエンコードを開始するためのタイミングを設定する。
【０１１９】
ステップＳ１８において、編集処理制御部８５は、フレームバッファ５９によりバッファリングされた、下地の符号化ストリームのIN点を含むGOPの最初のフレームからの、エンコーダ６０によるエンコードを制御する制御信号を、CPU５２のエンコード制御部９３に供給する。エンコード制御部９３は、編集処理制御部８５から供給された制御信号に基づいて、フレームバッファ５９によりバッファリングされた、下地の符号化ストリームのIN点を含むGOPの最初のフレームからの、エンコーダ６０によるエンコードを制御する。エンコード制御部９３は、基本的に、OUT点を含むGOPまでの間においては、エンコーダ６０に対して、任意のGOP長でのエンコードを実行させることが可能である。エンコード制御部９３は、例えば、符号化効率ができるだけ高くなるように、１GOPを最大GOP長Nとしてエンコードが実行されるようにしても良い。
【０１２０】
ステップＳ１９において、CPU４１は、PCIブリッジ４９、PCIバス４４、および、ノースブリッジ４２を介して供給されるエンコード結果の取得を開始して、メモリ４３に供給して保存させる。
【０１２１】
ステップＳ２０において、ユーザ入力取得部８２は、フレームバッファ５９およびエンコーダ６０への入力信号を、入力端子６１より供給されるベースバンド信号から、デコーダ５４から出力される下地の符号化ストリームに対応するベースバンド信号に切替える様に操作入力を受けたか否かを判断する。
【０１２２】
ステップＳ２０において、フレームバッファ５９およびエンコーダ６０への入力信号を切換える操作入力を受けていないと判断された場合、入力信号を切換える操作入力を受けたと判断されるまで、ステップＳ２０の処理が繰り返される。
【０１２３】
ステップＳ２０において、フレームバッファ５９およびエンコーダ６０への入力信号を切換える操作入力を受けたと判断された場合、ステップＳ２１において、IN点/OUT点決定部８３は、編集におけるOUT点を決定し、編集処理制御部８５に供給する。編集処理制御部８５は、CPU５２の＃１スイッチ制御部９２を制御するための制御信号を生成し、CPU５２に供給する。CPU５２の＃１スイッチ制御部９２は、スイッチ/エフェクト５８の動作を制御して、編集点において出力するデータを切換えて、フレームバッファ５９およびエンコーダ６０への入力信号を入力端子６１より供給されるベースバンド信号から下地の符号化ストリームに対応するベースバンド信号に切替える。すなわち、編集処理制御部８５は、入力端子６１より供給されるベースバンド信号と下地の符号化ストリームに対応するベースバンド信号を接続させる。フレームバッファ５９では、接続されたベースバンド信号と下地の符号化ストリームに対応するベースバンド信号がバッファリングされる。
【０１２４】
ステップＳ２２において、再エンコード範囲決定部８４は、エンコード終了点のストリーム接続位置におけるVBV占有量が一致するように、エンコード処理を制御して、再エンコード終了位置を決定し、決定した再エンコード範囲を、編集処理制御部８５に供給する。編集処理制御部８５は、エンコーダ６０によるエンコードを制御する制御信号を、CPU５２のエンコード制御部９３に供給する。エンコード制御部９３は、編集処理制御部８５から供給された制御信号に基づいて、フレームバッファ５９によりバッファリングされていた、下地の符号化ストリームのＯＵＴ点を含むGOPの最初のフレームからの、エンコーダ６０によるエンコードを制御する。
【０１２５】
ステップＳ２３において、再エンコード範囲決定部８４は、エンコーダ６０によるエンコードが正しく終了したか否かを判断する。ステップＳ２３において、エンコーダ６０によるエンコードが正しく終了していない、すなわち、エンコード終了点のストリーム接続位置におけるVBV占有量が一致していないと判断された場合、処理は、ステップＳ２２に戻り、それ以降の処理が繰り返される。
【０１２６】
ステップＳ２３において、エンコーダ６０によるエンコードが正しく終了したと判断された場合、ステップＳ２４において、CPU４１は、PCIブリッジ４９、PCIバス４４、および、ノースブリッジ４２を介して供給され、メモリ４３に保存されている編集された部分のエンコード結果のストリームを、サウスブリッジ４５を介してドライブ４７に供給し、装着されている記録メディア４８の所定の記録領域に記録することにより、編集されていない部分の符号化ストリームとを接続して、処理が終了される。
【０１２７】
なお、ドライブ４７による記録メディア４８の記録速度、再生速度が、現在記録再生を実行している符号の速度に比べて十分に大きければ、下地となる符号化ストリームに対応するベースバンド画像データを再生しながら、新規に作成した編集後の符号データを記録メディア４８に記録することは可能である。
【０１２８】
このような処理により、編集素材の映像をオペレータがモニタしながら編集点を決定し、従来よりも早く編集結果を得ることができるとともに、画像劣化を少なくすることができる。
【０１２９】
なお、終了点におけるVBVoccupancyを、再エンコードを実行しない部分と再エンコードを実行する部分とで連続させるために、例えば、編集点（OUT点）を含むGOP（または、そのGOPと次のIピクチャまで）のエンコード終了時に、目標VBV占有量よりも占有量が小さくなってしまった場合は、zero stuffによってVBV占有量を連続にすることはできないため、次GOPもエンコード対象として、任意の発生符号調整方法により再エンコードが継続されるようしてもよい。
【０１３０】
また、終了点におけるVBVoccupancyが、再エンコードを実行しない部分と再エンコードを実行する部分とで連続するまで、同一の範囲でエンコードを繰り返す2-path法を用いることにより、VBVoccupancyの連続性を保障するようにしてもよい。
【０１３１】
次に、図１９を参照して、本発明の第２の実施の形態である編集装置１０１の構成について説明する。
【０１３２】
なお、図４の編集装置３１における場合と対応する部分には、同一の符号を付してあり、その説明は適宜省略する。
【０１３３】
すなわち、図１９の編集装置１０１は、CPU４１に代わってCPU１２１が備えられ、CPU５２に代わってCPU１２２が備えられ、フレームバッファ５９が省略されている以外は、基本的に、図４の編集装置３１と同様の構成を有している。
【０１３４】
編集装置１０１においては、編集点（IN点/OUT点）を指定する操作入力が取得される前に、下地となる符号化ストリームのデコードおよびエンコードを、それぞれのGOP単位で開始しておくようになされている。そして、エンコードされたGOP中に編集点（IN点/OUT点）が無ければ、エンコード結果を破棄するものとする。
【０１３５】
図２０に、編集装置１０１のCPU１２１およびCPU１２２が有する機能を説明するための機能ブロック図を示す。
【０１３６】
なお、図１６の編集装置３１における場合と対応する部分には、同一の符号を付してあり、その説明は適宜省略する。
【０１３７】
すなわち、編集装置１０１のCPU１２１は、IN点/OUT点決定部８３、再エンコード範囲決定部８４、および、編集処理制御部８５に代わって、IN点/OUT点決定部１４１、再エンコード範囲決定部１４２、編集処理制御部１４３、および、編集後ストリーム選択部１４４の機能を有している。また、編集装置１０１のCPU１２２は、編集装置３１のCPU５２と基本的に同様の機能を有している。
【０１３８】
IN点/OUT点決定部１４１は、ユーザ入力取得部８２から供給されたユーザの操作入力と、パラメータ取得部により取得された各種パラメータを基に、編集におけるIN点(編集点を含む)およびOUT点を決定し、編集処理制御部１４３、および、編集後ストリーム選択部１４４に供給する。ここでも、第１のモニタおよび第２のモニタにより編集素材の映像を確認するオペレータが入力したIN点およびOUT点の指令のタイミングで、略リアルタイムに、スイッチ/エフェクト５８のスイッチが切換えられて、エンコーダ６０に出力されるデータが切換えられるものとする。
【０１３９】
再エンコード範囲決定部１４２は、ユーザ入力取得部８２から供給されたユーザの操作入力と、パラメータ取得部８１により取得された各種パラメータ、並びに、IN点/OUT点決定部１４１により決定されたIN点およびOUT点を基に、インサート処理における下地となっている符号化ストリームのエンコード結果のうち、再エンコード結果を編集結果として選択する範囲としての再エンコード範囲を決定し、編集処理制御部１４３、および、編集後ストリーム選択部１４４に供給する。
【０１４０】
編集処理制御部１４３は、IN点/OUT点決定部１４１により決定されたIN点およびOUT点、並びに、再エンコード範囲決定部１４２より決定された、下地となっている符号化ストリームのエンコード結果のうちの再エンコード結果を編集結果として選択する範囲としての再エンコード範囲を基に、デコーダ５４乃至デコーダ５６、スイッチ５７、スイッチ/エフェクト５８、エンコーダ６０、および、スイッチ６２の動作を制御するためのコマンドなどを生成し、ノースブリッジ４２、ＰＣＩバス４４、ＰＣＩブリッジ４９、および、コントロールバス５１を介して、生成したコマンドをＣＰＵ５２に供給する。
【０１４１】
編集後ストリーム選択部１４４は、IN点/OUT点決定部１４１により決定されたIN点およびOUT点、並びに、再エンコード範囲決定部１４２より決定された下地となっている符号化ストリームのエンコード結果のうちの再エンコード結果を編集結果として選択する範囲に基づいて、PCIブリッジ４９、PCIバス４４、および、ノースブリッジ４２を介して供給されるエンコード結果の取得を開始して、メモリ４３に保存される再符号化ストリームのうち、破棄される部分と、破棄されずに残されて、ドライブ４７に装着されている記録メディア４８の所定の記録領域に記録される部分とを選択する。
【０１４２】
具体的には、編集処理制御部１４３は、アセンブル編集の編集点において、図２１に示されるように、下地の符号化ストリームのデコードを制御するとともに、IN点が決定されるまで、各GOPのエンコードを制御する。編集後ストリーム選択部１４４は、そのGOP内にIN点が無かった場合、エンコードされてメモリ４３に保存された、そのGOPの符号化データを廃棄する。
【０１４３】
下地の符号化ストリームをデコードしたベースバンド信号を再エンコードした結果は、必ずしもオリジナルと同じデータとはならない。したがって、IN点が定まるまでは、GOPの切れ目のVBVoccupancyの推移は、図２２に示されるように、GOPの切れ目において連続性を有するように制御されなければならない。
【０１４４】
例えば、エンコーダ６０によるエンコードをTM5による符号量配分で行っている場合、次GOPに与えられる符号総量は、G＝ビットレート×そのGOPのフレーム数N/ピクチャレートとし、Rを、GOP切れ目において、VBVbufferの最大値から下回った値(負数)であるとしたとき、R＋Gで表される。その詳細は、例えば、ISO/IEC JTC1/SC29/WG11/ N0400 Test Model 5 の10 RATE CONTROL AND QUANTIZATION CONTROLなどに開示されている。
【０１４５】
すなわち、TM5による符号量配分において、図２２に示されるように、GOPの切れ目においてVBVoccupancyの連続性を有することは、エンコード対象GOPの総符号量計算をする際、オリジナルストリームによるR値を使って符号配分を計算することに対応する。
【０１４６】
また、インサート編集のIN点に関しては、上述したアセンブル編集と同様の処理が実行される。
【０１４７】
そして、インサート編集のOUT点に関して、編集処理制御部８５は、図２３に示されるように、OUT点直後のGOP切れ目、すなわち、OUT点を含むGOPの次のGOPの先頭から、そのGOPの終了点に設定されるVBVoccupancy目標値に対するVBVoccupancy合わせ込みエンコードを実行する。
【０１４８】
この場合においても、編集装置３１における場合と同様に、OUT点を含むGOPのフレーム数(図２３中、kで示される範囲のフレーム数)は、最大GOP長Nを超えてはならない。
【０１４９】
そして、編集装置１０１においては、編集装置３１における場合とは異なり、インサートされるSDI入力（ベースバンド画像データ）をエンコードする場合のGOP位相を、図２４に示されるように、下地の符号化ストリームと同じものとする。
【０１５０】
編集処理制御部１４３は、パラメータ取得部８１により取得された下地の符号化ストリームのGOP位相とGOP長に基づいて、SDI入力をエンコードする場合のGOP位相を、下地の符号化ストリームと同じものとなるように、エンコード制御部９３に制御信号を供給する。これにより、任意のOUT点に対して、OUT点を含むGOPの長さは、下地の符号化ストリームにおいて規定されている最大GOP長Nを超えることは無い。
【０１５１】
そして、ユーザ入力取得部８２が、図示しない操作入力部から供給されるOUT点の指令を取得したとき、編集処理制御部８５は、パラメータ取得部８１により取得された下地の符号化ストリームのGOPの切れ目におけるVBVoccupancyに基づいて、VBVoccupancy目標点に向かってVBVoccupancyを合わせ込むように、エンコード制御部９３に制御信号を供給する。
【０１５２】
図２５を用いて、OUT点によって決まる再エンコード範囲の終了点と、VBVoccupancyの合わせ込みについて説明する。
【０１５３】
編集処理制御部１４３は、OUT点が決定され、その次のGOP切れ目αからのVBVoccupancy目標値設定が間に合うならば、次のGOP切れ目βのVBVoccupancyを目標値としたレート制御を行って、エンコードを行い、βにおいて、VBVoccupancyが連続性を有するように制御できれば（zero stuffを利用して連続性を有してもよい)そこでエンコードを終了するように、エンコード制御部９３に制御信号を供給する。
【０１５４】
それに対して、βにおいてVBVoccupancyを合わせられない場合、または、αの時点でオリジナルのVBVoccupancyとは値がかけ離れていて、βで合わせる様なレート制御を行った場合に、あまりにも画質が落ちることが明らかと判断された場合、編集処理制御部１４３は、次のγ以降のGOP切れ目におけるVBVoccupancyを目標値としたエンコードを行うように、エンコード制御部９３に制御信号を供給する。
【０１５５】
このとき、編集処理制御部１４３は、βでのVBVoccupancyの合わせ込みの結果を待たずに、次のγにおけるVBVoccupancy目標値設定、および、その設定に基づいたエンコード処理の開始を行うようにしても良い。このとき、βにおいてVBVoccupancyが連続性を有するように制御できなかった場合に、次のγにおけるVBVoccupancy目標値設定に基づいたエンコード処理の処理結果を用いるものとし、βにおいてVBVoccupancyが連続性を有するように制御できた場合、βからγのエンコードの結果を破棄するようにすればよい。
【０１５６】
また、VBVoccupancyの目標値の設定や、その目標値に合致するようにエンコードを実行するための制御については、例えば、上述した特開２００６−６７０９５号公報に開示されている技術などを用いても良いし、他の方法を用いるようにしても良い。そして、VBVoccupancyの目標値の設定や、その目標値に合致するようにエンコードを実行するための制御によっては、VBVoccupancyの目標値の設定箇所、すなわち、再エンコードされる範囲の終了点を変更してもかまわない。
【０１５７】
次に、OUT点決定後の処理について説明する。
【０１５８】
例えば、図２５に示されるように、αを切れ目とするGOP内でOUT点が決定され、OUT点がαとは異なる位置である場合、図２６に示されるようにして、エンコード中のストリームのVBVoccupancyが、オリジナルのストリームのα直後のIピクチャにおけるVBVoccupancyよりも小さい場合には、α手前のGOPの最終Bピクチャへのzero stuffによって、VBVoccupancyを合わせ込むことができるので、そこでエンコードを終了することも可能である。
【０１５９】
図２６の下部に示されるように、OUT点がGOPの切れ目αである場合は、その直前のPピクチャ(図２６ではP14)は、直後のBピクチャ(図２６ではBおよび,B1)とは無関係な画であるため、このPピクチャは、直後のBピクチャの前方参照画とはならない。従って、この先も、再エンコードを続ける必要がある。
【０１６０】
OUT点がGOPの切れ目αではなく、図中αで示されるよりも時間的に前のGOPの途中のいずれかのポイントである場合、図２７Ａに示されるように、B0,B1の前方参照画P14が再エンコードされ、B0,B1が再エンコードされないで接続されるよりも、P14,B0,B1が再エンコードされ、後方参照画I2が再エンコードされないで接続される方がSNR的に有利であるので、B0,B1までを再エンコード対象とすると好適である（例えば、特開２００６−６７０９５号公報参照）。
【０１６１】
これに対して、図２６の下部に示されるように、OUT点がGOPの切れ目αである場合は、α直後のB0,B1に1回余分にエンコードを行うことによるSNR劣化のことを考慮すると、図２７Ｂに示されるように、GOP切れ目でエンコードを終了ようにしたほうが、画質劣化の防止につながる可能性が高くなる。
【０１６２】
また、上述したように、OUT点を含むGOPの切れ目αにおいて、GOP切れ目直前のBピクチャでのVBVoccupancyが次GOPのIピクチャのVBVoccupancyよりも、1picture_rate後のVBVoccupancy増加分を加算した状態において大きければ、Bピクチャに関するzero stuffでVBVoccupancyを連続とすることが可能であるので、OUT点を含むGOPの切れ目αにおいてエンコードを終了することが可能である。そのときのVBVoccupancyの推移を図２８のＡに示す。
【０１６３】
そして、これに対して、図２８のＢに示されるように、IピクチャのVBVoccupancyの方が大きかったとしても、図２８のＣに示されるように、α以降のGOPに含まれるzero stuffを削ることによって、それ以前のVBVoccupancy推移が図中γに示される範囲においてVBV Buffer underflowを起こさないのであれば、OUT点を含むGOPの切れ目αにおいてエンコードを終了させることができる。
【０１６４】
この場合、VBV_delay値が変更されるので、新たなVBV_delay値を計算し、picture_header内容を書き直す必要がある。
【０１６５】
また、α以降のGOPに含まれるzero stuffを削ることによりVBV Buffer underflowを起こさないようにするためには、予めGOP毎のzero stuff量を知る必要がある。したがって、このような処理を実行するためには、管理データとして、GOP毎のzero stuffを別途記録しておく必要がある。
【０１６６】
LongGOPで符号化されたストリームデータの場合、フレーム毎のデータ量が一定ではないため、フレームを指定して再生を開始させたい場合などのために、必ず、フレーム番号と、そのESデータ記録位置とを対応させるテーブルが管理データとして用意されているはずなので、そうしたテーブルに、zero stuff量に関する情報を付加して管理すると好適である。
【０１６７】
例えば、記録メディア４８としてProfessional Disc(商標)が用いられる場合、管理データとして、Picture Pointerという情報が記録メディア４８上に記録管理されているので、図２９に示されるように、Picture Pointerに従来含まれている情報（図中Xで示される部分）に、そのフレームのzero stuff量を追加して（図中Yで示される部分）、管理データとして利用することが可能である。
【０１６８】
なお、zero stuff量の情報は、エンコード時にのみエンコーダから出力されるものであるので、編集装置１０１が、既に符号化されてしまっているデータが記録された記録メディア４８に対して編集処理を実行する場合、CPU１２１は、記録メディア４８に記録された符号化ストリームデータを解析し、各フレームのzero stuff量に関する情報を取得するものとする。
【０１６９】
また、上述したように、編集装置１０１においては、インサートされるベースバンド信号を符号化する場合、下地の符号化ストリームとGOP位相を合わるようになされている。これにより、VBVoccupancyを合わせ込むためのエンコードを行う範囲の符号が、下地の符号化ストリームと全く同じピクチャタイプとなることから、SNR的にも有効である。
【０１７０】
次に、図３０および図３１のフローチャートを参照して、編集装置１０１が実行する編集処理２について説明する。
【０１７１】
ステップＳ６１において、CPU１２１は、HDD（Hard disk Drive）４６または記録メディア４８に記録されている下地の符号化ストリームを読み出し、ノースブリッジ４２およびPCIバス４４を介して、PCIブリッジ４９に供給する。CPU１２２は、供給された下地の符号化ストリームを、必要に応じて、一旦メモリ５０に蓄積した後、デコーダ５４に供給する。デコーダ５４は、デコード制御部９１の制御に基づいて、供給された下地の符号化ストリームのデコードを開始し、デコードされて生成されたベースバンド信号を、スイッチ/エフェクト５８に供給する。
【０１７２】
ステップＳ６２において、モニタ１およびモニタ２は、編集素材の表示を開始し、モニタ３は、スイッチ/エフェクト５８の出力、すなわち、編集結果の表示を開始する。オペレータは、モニタ１およびモニタ２に表示される映像を観測し、信号を切替えたいタイミングを図示しない操作入力部により指令する。
【０１７３】
ステップＳ６３において、CPU１２１のパラメータ取得部８１は、下地の符号化ストリームに関するGOP位相情報を取得し、IN点/OUT点決定部１４１および再エンコード範囲決定部１４２に供給する。これにより、CPU１２１は、下地の符号化ストリームのGOPの切れ目を検出することができる。
【０１７４】
ステップＳ６４において、パラメータ取得部８１は、下地の符号化ストリームに関する、GOP切れ目でのVBV占有量を取得し、IN点/OUT点決定部１４１および再エンコード範囲決定部１４２に供給する。これにより、例えば、上述した特開２００６−６７０９５号公報に記載の技術やその他の公知の技術を用いて、VBVoccupancyを、再エンコードを実行しない部分と再エンコードを実行する部分とで連続させることが可能となる。
【０１７５】
ステップＳ６５において、編集処理制御部１４３は、GOP切れ目からの下地の符号化ストリームを制御する制御信号を、CPU１２２のエンコード制御部９３に供給する。エンコード制御部９３は、編集処理制御部８５から供給された制御信号に基づいて、下地の符号化ストリームのあるGOPの最初フレームからの、エンコーダ６０によるエンコードを制御する。CPU１２１は、PCIブリッジ４９、PCIバス４４、および、ノースブリッジ４２を介して供給されるエンコード結果の取得を開始して、メモリ４３に供給して一時保存させる。
【０１７６】
ステップＳ６６において、ユーザ入力取得部８２は、エンコーダ６０への入力信号を下地の符号化ストリームからベースバンド信号に切替える様に操作入力を受けたか否かを判断する。
【０１７７】
ステップＳ６６において、エンコーダ６０への入力信号を下地の符号化ストリームからベースバンド信号に切替える様に操作入力を受けていないと判断された場合、ステップＳ６７において、編集後ストリーム選択部１４４は、メモリ４３に一時保持されているエンコード結果を破棄し、処理は、ステップＳ６５に戻り、それ以降の処理が繰り返される。
【０１７８】
ステップＳ６６において、エンコーダ６０への入力信号を下地の符号化ストリームからベースバンド信号に切替える様に操作入力を受けたと判断された場合、ステップＳ６８において、編集後ストリーム選択部１４４は、メモリ４３に一時保持されているエンコード結果のうちの、IN点を含むGOPの先頭からの蓄積を開始する。
【０１７９】
ステップＳ６９において、IN点/OUT点決定部１４１は、編集におけるIN点を決定し、編集処理制御部１４３に供給する。編集処理制御部１４３は、CPU１２２の＃１スイッチ制御部９２を制御するための制御信号を生成し、CPU１２２に供給する。CPU１２２の＃１スイッチ制御部９２は、スイッチ/エフェクト５８の動作を制御して、編集点において出力するデータを切換えて、エンコーダ６０への入力信号を下地の符号化ストリームに対応するベースバンド信号から入力端子６１より供給されるベースバンド信号に切替える、すなわち、下地の符号化ストリームに対応するベースバンド信号と入力端子６１より供給されるベースバンド信号を接続させる。
【０１８０】
ステップＳ７０において、ユーザ入力取得部８２は、エンコーダ６０への入力信号をベースバンド信号から下地の符号化ストリームに切替える様に操作入力を受けたか否かを判断する。ステップＳ７０において、エンコーダ６０への入力信号をベースバンド信号から下地の符号化ストリームに切替える様に操作入力を受けていないと判断された場合、操作入力を受けたと判断されるまで、ステップＳ７０の処理が繰り返される。
【０１８１】
ステップＳ７０において、エンコーダ６０への入力信号をベースバンド信号から下地の符号化ストリームに切替える様に操作入力を受けたと判断された場合、ステップＳ７１において、IN点/OUT点決定部１４１は、編集におけるOUT点を検出する。
【０１８２】
ステップＳ７２において、IN点/OUT点決定部１４１は、検出されたOUT点を示す情報を、編集処理制御部１４３に供給する。編集処理制御部１４３は、CPU１２２の＃１スイッチ制御部９２を制御するための制御信号を生成し、CPU１２２に供給する。CPU１２２の＃１スイッチ制御部９２は、スイッチ/エフェクト５８の動作を制御して、編集点において出力するデータを切換えて、エンコーダ６０への入力信号を入力端子６１より供給されるベースバンド信号から下地の符号化ストリームに対応するベースバンド信号に切替える。すなわち、編集処理制御部８５は、入力端子６１より供給されるベースバンド信号と下地の符号化ストリームに対応するベースバンド信号を接続させる。
【０１８３】
ステップＳ７３において、再エンコード範囲決定部１４２は、図２４を用いて説明したように、OUT点直後のGOP切れ目、すなわち、OUT点を含むGOPの次のGOPの先頭から、そのGOPの終了点に設定されるVBVoccupancy目標値に対するVBVoccupancy合わせ込みエンコードが実行され、エンコード終了点のストリーム接続位置におけるVBV占有量が一致するように、エンコード処理を制御して、再エンコード終了位置を決定し、決定した再エンコード範囲を、編集処理制御部１４３に供給する。編集処理制御部１４３は、エンコーダ６０によるエンコードを制御する制御信号を、CPU１２２のエンコード制御部９３に供給する。エンコード制御部９３は、編集処理制御部１４３から供給された制御信号に基づいて、下地の符号化ストリームのIN点を含むGOPの最初のフレームからの、エンコーダ６０によるエンコードを制御する。
【０１８４】
ステップＳ７４において、再エンコード範囲決定部１４２は、エンコーダ６０によるエンコードが正しく終了したか否かを判断する。ステップＳ７４において、エンコーダ６０によるエンコードが正しく終了していない、すなわち、エンコード終了点のストリーム接続位置におけるVBV占有量が一致していないと判断された場合、処理は、ステップＳ７３に戻り、それ以降の処理が繰り返される。
【０１８５】
ステップＳ７４において、エンコーダ６０によるエンコードが正しく終了したと判断された場合、ステップＳ７５において、CPU４１は、PCIブリッジ４９、PCIバス４４、および、ノースブリッジ４２を介して供給され、メモリ４３に保存されている編集された部分のエンコード結果のストリームを、サウスブリッジ４５を介してドライブ４７に供給し、装着されている記録メディア４８の所定の記録領域に記録することにより、編集されていない部分の符号化ストリームとを接続して、処理が終了される。
【０１８６】
なお、ドライブ４７による記録メディア４８の記録速度、再生速度が、現在記録再生を実行している符号の速度に比べて十分に大きければ、下地となる符号化ストリームに対応するベースバンド画像データを再生しながら、新規に作成した編集後の符号データを記録メディア４８に記録することは可能である。
【０１８７】
このような処理により、例えば、第１の実施の形態の編集装置３１のようにフレームバッファを設けなくても、編集素材の映像をオペレータがモニタしながら編集点を決定し、従来よりも早く編集結果を得ることができるとともに、画像劣化を少なくすることができる。
【０１８８】
なお、ここでは、上書きされる符号化ストリームのGOP位相は、下地の符号化ストリームのGOP位相と同一の構成となるように制御される。
【０１８９】
このように、第１の実施の形態の編集装置３１、および、第２の実施の形態の編集装置１０１のいずれにおいても、ベースバンド信号を、そのまま編集処理に用いるようになされているので、ベースバンド信号を編集前に圧縮する必要がないので、画質の劣化を防止することができるとともに、処理時間も短縮され、その圧縮信号を一時保持するための大きな記録領域を有するメモリなども不必要である。
【０１９０】
また、上述した説明においては、第２の実施の形態において、上書きされる符号化ストリームのGOP位相は、下地の符号化ストリームのGOP位相と同一の構成となるように制御されるものとして説明したが、第１の実施の形態においても、上書きされる符号化ストリームのGOP位相は、下地の符号化ストリームのGOP位相と同一の構成となるように制御してもよい。
【０１９１】
ところで、第１の実施の形態および第２の実施の形態を用いて説明した処理により編集が実行された後、編集点の変更を行いたいとしても、ベースバンド信号のIN点前およびOUT点後の部分は素材ストリームとして残されていないため、編集点を容易に変更することができない。
【０１９２】
例えば、ＨＤＤ４６に予め記憶されていた符号化ストリームを下地データとして、入力端子６１から入力されたベースバンド信号を用いて、上述した第１の実施の形態および第２の実施の形態を用いて説明した処理により上書き編集を行った場合、最終的に生成された編集後の符号化ストリームがＨＤＤ４６に保存される。その後、ベースバンド信号の上書き開始位置を早くしたい、上書き終了位置を遅くしたい、または、異なるタイミングのベースバンド信号に上書きされるデータを変更したいような場合、編集素材として、IN点よりも前、OUT点よりも後のベースバンド信号は記録していないため、ベースバンド信号を再取得し、再度編集処理を行わなければならない。
【０１９３】
このように編集を繰り返すことにより、編集位置によっては、複数世代の世代落ちが発生してしまう恐れがある。
【０１９４】
そこで、編集素材としてのベースバンド信号を編集に用いるとともに、ベースバンド信号の符号化処理を実行して、再度編集処理が行われたときに利用可能なストリームデータを生成しておくものとすると好適である。
【０１９５】
そこで、本発明の第３の実施の形態として、図３２を参照して、編集素材としてのベースバンド信号を編集に用いるとともに、ベースバンド信号の符号化処理を実行する編集装置１７１について説明する。
【０１９６】
なお、図４の編集装置３１における場合と対応する部分には、同一の符号を付してあり、その説明は適宜省略する。
【０１９７】
すなわち、図３２の編集装置１７１は、CPU４１に代わってCPU１８１が備えられ、CPU５２に代わってCPU１８２が備えられ、フレームバッファ５９に代わってフレームバッファ１８４が備えられ、入力端子６１から入力されるベースバンド信号をエンコードして、ＰＣＩブリッジ４９に供給するエンコーダ１８３が新たに備えられている以外は、基本的に、図４の編集装置３１と同様の構成を有している。
【０１９８】
CPU１８１は、ＣＰＵ４１が有する機能に加えて、入力端子６１から入力されるベースバンド信号のエンコーダ１８３によるエンコード処理の制御、エンコーダ６０によるエンコードの範囲の設定、および、編集処理が行われた部分のストリームと、編集処理が行われていない編集下地のストリームと、ベースバンド信号がエンコーダ１８３によってエンコードされたストリームとの接続の制御の機能を有するものである。
【０１９９】
ＣＰＵ１８２は、ＣＰＵ５２が有する機能に加えて、入力端子６１から入力されるベースバンド信号のエンコーダ１８３によるエンコードを制御するとともに、エンコーダ１８３によるエンコードの結果得られる符号化ストリームのＧＯＰ位相およびVBVoccupancyの値を取得し、これを基に、エンコーダ６０の処理を制御するものである。
【０２００】
エンコーダ１８３は、入力端子６１から供給されたベースバンド信号をエンコードするものである。エンコーダ１８３では、最良と考えられる任意GOP位相でエンコードが実行される。エンコーダ１８３によりエンコードされた編集素材のベースバンド信号に対応する符号化ストリーム、および、各フレームのVBVoccupancy等の管理データは、ＰＣＩバス４４、ノースブリッジ４２、および、サウスブリッジ４５を介して、ＨＤＤ４６に供給され、格納される。更に、エンコーダ１８３は、エンコードの結果得られる符号化ストリームのＧＯＰ位相およびVBVoccupancyの値を少なくとも含む情報を、コントロールバス５１を介して、ＣＰＵ１８２に供給する。
【０２０１】
フレームバッファ１８４は、供給されたベースバンド画像データを所定の一定期間だけ保持し、エンコーダ６０に供給する。フレームバッファ１８４によるバッファリングの期間は、バッファリング前のデータを表示させるモニタ１乃至モニタ３を参照したユーザなどによりIN点やOUT点の指定を受けた後、編集処理を行うためにエンコーダ６０によりエンコードされるデータの範囲を決定することが可能である期間であり、かつ、エンコーダ１８３によるエンコード結果をエンコーダ６０によるエンコード処理のパラメータの決定に利用することが可能である期間である。その詳細については後述する。
【０２０２】
次に、図３２の編集装置１７１の動作について説明する。
【０２０３】
ユーザにより、編集処理の開始が指令され、ＨＤＤ４６に格納されているストリームデータの中から、編集下地として用いるストリームデータの選択を受けたとき、ＣＰＵ１８１は、各部を制御して、選択されたストリームをＨＤＤ４６から読み出して、サウスブリッジ４５、ノースブリッジ４２、PCIバス４４、および、PCIブリッジ４９を介して、デコーダ５４、またはデコーダ５５に供給する。
【０２０４】
デコーダ５４、またはデコーダ５５に供給されたデータは、デコードされて、スイッチ／エフェクト５８に供給される。ここでは、編集下地として用いられるストリームデータは、デコーダ５４に供給されてデコードされた後、モニタ１により表示されるとともに、スイッチ／エフェクト５８に供給されるものとする。
【０２０５】
そして、入力端子６１から入力されたベースバンド信号（SDI入力）は、スイッチ５７を介して、モニタ２により表示されるとともに、スイッチ/エフェクト５８に供給され、更に、エンコーダ１８３に供給されてエンコードされる。エンコーダ１８３によりエンコードされて生成されたベースバンド信号に対応するストリームは、PCIブリッジ４９に供給されて、メモリ５０に一旦格納された後、更に、ＰＣＩバス４４、および、ノースブリッジ４２を介して、メモリ４３に供給されて、編集処理に用いられるとともに、更に、サウスブリッジ４５を介して、ＨＤＤ４６に供給され、編集点の変更などの再編集に用いることができるように、格納される。
【０２０６】
スイッチ／エフェクト５８に供給されるデータ、および、スイッチ／エフェクト５８からの出力データは、モニタ１乃至モニタ３に表示される。表示されているのは、いずれも、フレームバッファ１８４によるバッファリング前のデータである。
【０２０７】
スイッチ/エフェクト５８から出力される信号は、予め決められたタイミングで切り替わるか、または、モニタ１乃至３を監視しているユーザによって任意のタイミングで切替えられる。この切り替わりタイミングが編集点である。
【０２０８】
図３３を参照して、編集処理の例について説明する。図３３においては、IN点で、メインストレージとして用いているＨＤＤ４６に記憶されているストリーム１から、SDI入力、すなわち、入力端子６１から入力されたベースバンド信号につなげ、OUT点で、ベースバンド信号からＨＤＤ４６に記憶されているストリーム２につなげる、すなわち、上述したアセンブル編集を２回繰り返す編集処理が実行されている。ここで、ストリーム１とストリーム２とが同一のストリームであるとき、図３３に示される編集処理は、上述したインサート編集となる。
【０２０９】
上述したように、編集装置１７１は、編集点においてベースバンド信号を接続してエンコード処理を行うことにより生成されたブリッジクリップと、そのブリッジクリップの前後に接続されるストリームとを接続するためのスプライシング処理を実行することが可能であり、ブリッジクリップの生成に用いるためのエンコーダ６０と、編集素材として用いたベースバンド入力であるSDI入力をエンコードしてＨＤＤ４６に保持させるために用いるエンコーダ１８３の２つのエンコーダを有している。
【０２１０】
エンコーダ１８３は、ＨＤＤ４６に記憶されているストリーム１やストリーム２とは無関係に、任意位相、このシステムで利用可能な最大のＧＯＰ長、または、所定のＧＯＰ長でベースバンド信号をエンコードする。
【０２１１】
図３３に示されるようにして編集処理を行いつつ、再編集を行うために供給されたベースバンド信号をエンコードして保持しておきたい場合、単純に考えると、ベースバンド信号を一旦エンコードしてストリーム化してから、編集のために必要な部分だけ、デコードおよびエンコードを行えばよいのであるが、その場合、例えば、IN点から図中βまたはγで示される部分や、図中εまたはδからOUT点で示される部分など、再度エンコードされる範囲のベースバンド信号は、１世代、世代落ちしてしまう。そこで、編集装置１７１においては、編集処理を行う部分については、ベースバンド信号をエンコードすることなくそのまま用いるとともに、編集処理とは独立して、ベースバンド信号のエンコード処理を実行するものとする。
【０２１２】
したがって、SDI入力は、上述した編集装置３１における場合と同様にして、スイッチ５７を介して、スイッチ/エフェクト５８に供給されて、ストリーム１またはストリーム２をデコードした出力と接続されるとともに、その編集処理とは独立して、エンコーダ１８３により、任意の初期位相で、任意のフレーム周期でエンコードされてPCIブリッジ４９に供給され、素材ストリームとして、ＰＣＩバス４４、および、ノースブリッジ４２を介して、メモリ４３に供給されるとともに、サウスブリッジ４５を介して、ＨＤＤ４６に供給され、記録される。
【０２１３】
上述した第１の実施の形態および第２の実施の形態においては、ＩＮ点とＯＵＴ点の間のベースバンド信号は、連続してエンコーダ６０に供給されてエンコードされ、編集後のストリームが生成されるようになされているが、編集装置１７１においては、エンコーダ１８３において編集処理とは独立してベースバンド信号のエンコード処理が実行されているので、エンコード処理が重複しないように、ＩＮ点とＯＵＴ点の間に対応する編集後のストリームのうちの一部に、エンコーダ１８３により生成されたストリームを用いることができる。
【０２１４】
このとき、編集後のストリームにおいて、ＩＮ点およびＯＵＴ点付近でエンコーダ６０によりエンコードされる部分をブリッジクリップ（BridgeClip）と称するものとする。
【０２１５】
また、エンコーダ６０でエンコードされたブリッジクリップの部分と、エンコーダ１８３によりエンコードされた部分とを、編集後の符号化ストリームとして連続して再生可能にするためには、ブリッジクリップとエンコーダ１８３によりエンコードされた部分との接続部分において、VBVoccupancyを連続させ、ＧＯＰ位相を合わせる必要がある。
【０２１６】
なお、エンコーダ６０でエンコードされたブリッジクリップの部分と、ストリーム１およびストリーム２との接続部分の処理は、上述した第１の実施の形態における場合と同様にして実行される。
【０２１７】
ユーザが、モニタ１に表示されるストリーム１と、モニタ２に出力されるベースバンド入力とを参照して、ＩＮ点を指令するようになされている場合、IN点を含むブリッジクリップ開始点は、エンコーダ６０によるエンコードの開始前に求めなくてはならない。ブリッジクリップ開始点は、基本的には、上述した再エンコード範囲の開始点と同一となり、例えば、図３３においては、図中αで示されるように、ＩＮ点を含むＧＯＰの先頭となる。
【０２１８】
すなわち、フレームバッファ１８４は、少なくとも、ＩＮ点とブリッジクリップ開始点(α)との間のフレームを保持して、エンコーダ６０への信号の供給を遅延させる必要がある。また、このとき、フレームバッファ１８４には、コマンド遅延分とパラメータ演算のために必要な時間を稼ぐための容量も更に必要である。
【０２１９】
更に、フレームバッファ１８４は、スイッチ/エフェクト５８において接続されたデータをエンコーダ６０でエンコードした部分とその前後の部分とを接続するスプライシング動作を実行するために、ブリッジクリップの範囲におけるVBV目標値、即ち、ブリッジクリップの終了予定点であるブリッジクリップ終了予定点のVBVoccupancyの値が、エンコーダ１８３によるエンコードの結果得られるまでの時間を稼ぐ必要がある。IN点を含むブリッジクリップ終了予定点は、入力端子６１から入力されたベースバンド信号がエンコーダ１８３によりエンコードされて生成されるストリームのGOP位相において、IN点に対応する部分を含むGOPの切れ目、または、その次のB１ピクチャであり、図３３においては、例えば、図中βで示される点となる。そして、ブリッジクリップ終了予定点のVBVoccupancyの値は、エンコーダ１８３における対応する部分のVBVoccupancyの値である。また、ブリッジクリップの範囲は、エンコーダ６０によるエンコードの結果、延長される場合がある。その場合、ブリッジクリップ終了予定点は、例えば、エンコーダ１８３によるエンコードにおけるGOP位相における次のGOPの切れ目、または、その次のB１ピクチャとなり、図３３においては、例えば、図中γで示される点となる。
【０２２０】
そこで、編集装置１７１においては、スイッチ／エフェクト５８から出力される接続後のデータをフレームバッファ１８４によって所定期間遅延させることにより、エンコーダ１８３によるエンコード結果をエンコーダ６０によるエンコード処理に反映させ、BridgeClip前後の接続部分においてストリームを連続して再生可能なものとする。
【０２２１】
エンコーダ１８３は、入力端子６１から入力されるベースバンド信号の符号化処理に関する情報を、コントロールバス５１を介して、ＣＰＵ１８２に供給する。ベースバンド信号の符号化処理に関する情報には、少なくとも、ＧＯＰ位相と、VBVoccupancyに関する情報が含まれているが、それ以外にも、例えば、Ｑマトリクスなどの他の符号化パラメータをＣＰＵ１８２に供給するようにしてもよい。また、エンコーダ１８３は、符号化されたストリームとともに、符号化処理に関する情報を、PCIブリッジ４９に供給して、メモリ５０に格納させるとともに、ＰＣＩバス４４、ノースブリッジ４２、および、サウスブリッジ４５を介して、ＨＤＤ４６に供給して記憶させる。ベースバンド信号の符号化処理に関する情報をＨＤＤ４６に記憶させることにより、編集点の変更などによる再編集処理で、入力端子６１から入力されるベースバンド信号に対応する符号化ストリームが利用されるとき、その符号化に関する情報を、編集処理に利用することができる。
【０２２２】
そして、ＣＰＵ１８２は、エンコーダ１８３から供給されたベースバンド信号の符号化処理に関する情報に基づいて、エンコーダ６０によるエンコードを制御する。
【０２２３】
すなわち、ユーザがモニタの表示をみながら編集点を指令するマニュアル編集であれ、予め編集点が決まっている場合であれ、IN点が定まった時点では、ブリッジクリップの開始点や、ブリッジクリップ生成のためのブリッジクリップ終了予定点における目標VBVoccupancyを定めることはできない。また、エンコーダ６０においてエンコードされたブリッジクリップとエンコーダ１８３によりエンコードされたストリームと接続したときに、接続点を含むＧＯＰが極端に長くなったり、短くなってしまうことを避けたい。このため、ＣＰＵ１８２は、エンコーダ１８３によりエンコードされたストリームのＧＯＰ位相が分かり、接続点における目標VBVoccupancyが定まった後に、ブリッジクリップのエンコード処理の開始点まで遡って、エンコーダ６０によるエンコードを開始させる必要がある。
【０２２４】
これらの条件に基づくと、フレームバッファ１８４は、エンコーダ１８３によるエンコードの最大ＧＯＰ長をＮとして、（２Ｎ＋Ｘ)フレーム程度の容量を持てば、ブリッジクリップとエンコーダ１８３によりエンコードされた部分とを、ブリッジクリップとの接続部分において、VBVoccupancyが連続し、ＧＯＰ位相が合致するようにエンコードすることができる。ここで、Ｎは、１ＧＯＰが有するフレーム数であり、Ｘの値については、後述する。
【０２２５】
エンコーダ６０は、ＣＰＵ１８２の制御に基づいて、フレームバッファ１８４により所定フレーム数遅延されたデータをエンコードし、ＰＣＩブリッジ４９に供給する。エンコードの開始点におけるVBVoccupancyの制御は、上述した第１の実施の形態および第２の実施の形態と同様に、下地ストリームにあわせて行われるものである。また、エンコーダ６０は、ＣＰＵ１８２の制御に基づいて、目標VBVoccupancyに合致するように、上述した場合と同様にして、必要に応じてブリッジクリップの範囲を延長することや、ブリッジクリップ内のエンコードを再度実行する２パスエンコードを実行することが可能である。
【０２２６】
ここで、ＩＮ点を含むブリッジクリップ終了予定点(β)は、基本的には、エンコーダ１８３によるエンコードにおいて、ＩＮ点に対応するフレームを含むＧＯＰの最後のフレーム、または、その次のＢ１ピクチャである。エンコーダ６０は、ＣＰＵ１８２から、コントロールバス５１を介して、ブリッジクリップ終了予定点(β)に対応するフレームの、エンコーダ１８３によるエンコード結果におけるVBVoccupancyの値を取得し、これを目標値として、エンコードを行うことができる。なお、エンコード範囲が延長することなどにより、ブリッジクリップ終了予定点が（γ）となった場合であっても、エンコーダ６０は、ＣＰＵ１８２から、コントロールバス５１を介して、ブリッジクリップ終了予定点(γ)に対応するフレームの、エンコーダ１８３によるエンコード結果におけるVBVoccupancyの値を取得し、これを目標値として、延長された部分のエンコードを行うことができる。
【０２２７】
また、例えば、IN点を含むブリッジクリップの範囲の延長が続き、ブリッジクリップがＯＵＴ点を含むブリッジクリップまで伸びる場合も考えられる。ＯＵＴ点を含むブリッジクリップの終了予定点におけるVBVoccupancyの目標値は、ストリーム２が予めＨＤＤ４６に保存されているストリームであることから、エンコーダ１８３によるエンコード処理を待つことなく、既知である。したがって、このような場合であっても、フレームバッファ１８４が、エンコーダ１８３によるエンコードの最大ＧＯＰ長をＮとして、（２Ｎ＋Ｘ)フレーム程度の容量を有するのであれば、エンコーダ６０は、ＯＵＴ点が定まった段階で、ＯＵＴ点後のブリッジクリップ終了予定点である図中ζで示される点のVBVoccupancyの値を、VBVoccupancyの目標値として、ＣＰＵ１８２からコントロールバス５１を介して取得することができるので、処理は破綻しない。
【０２２８】
もちろん、ＩＮ点を含むブリッジクリップ終了点がＯＵＴ点を含むブリッジクリップにかからない場合、すなわち、図中βやγで示される点などにおいてＩＮ点を含むブリッジクリップが終了する場合、ブリッジクリップのエンコードが終了した後、エンコーダ６０へのベースバンド信号の供給およびエンコード処理が終了される。そして、ＯＵＴ点を含むブリッジクリップの開始点は、エンコーダ１８３によるエンコード処理の位相にあわせて設定され、フレームバッファ１８４へのバッファリングおよびエンコーダ６０によるエンコード処理が開始されて、ＯＵＴ点において、フレームバッファ１８４への入力が、ストリーム２へ切換えられ、ストリーム２の対応する部分のエンコードが実行される。
【０２２９】
そして、PCIブリッジ４９は、ＩＮ点およびＯＵＴ点を含むブリッジクリップの部分がエンコーダ６０によりエンコードされたストリームとの供給を受け、一旦メモリ５０に格納したのち、ＰＣＩバス４４、および、ノースブリッジ４２を介して、メモリ４３に供給する。
【０２３０】
例えば、図３３において、ＩＮ点を含むブリッジクリップが図中αからγで示される部分であり、ＯＵＴ点を含むブリッジクリップが図中εからζで示される部分である場合、編集後のストリームは、ＨＤＤ４６に記録されていたストリーム１の図中αで示される点より前の部分と、図中αからγで示されるブリッジクリップがエンコーダ６０によりエンコードされたストリームと、図中γからεで示されるベースバンド信号がエンコーダ１８３によりエンコードされたストリームと、図中εからζで示されるブリッジクリップがエンコーダ６０によりエンコードされたストリームと、ＨＤＤ４６に記録されていたストリーム２の図中ζで示される点より後ろの部分とから構成される。
【０２３１】
すなわち、エンコーダ６０は、ブリッジクリップに対応する部分のみエンコード処理を実行する。
【０２３２】
このようにして、素材としてのベースバンド信号を最大符号化効率で符号化して格納しつつ、上述した第１の実施の形態と同様にして編集処理を行い、IN点とOUT点に挟まれた部分のエンコード処理が重複しないようにすることができる。このようにすることにより、編集処理を、世代落ちをできるだけ防止しつつ実行することができるとともに、後々の編集点変更にも対応可能となる。
【０２３３】
次に、図３４乃至図４５を参照して、エンコーダ１８３によるＳＤＩ入力信号のエンコードと、エンコーダ６０によるブリッジクリップのエンコードのタイミングの差として必要な最小の値、すなわち、フレームバッファ１８４に求められるバッファ容量の最小値の詳細について、編集点の設定の各種のパターンにおける場合を例として説明する。
【０２３４】
まず、図３４を参照して、IN点が、SDI入力をエンコーダ１８３においてエンコードした時のＧＯＰ位相におけるＧＯＰ切れ目と一致した場合について説明する。
【０２３５】
ＩＮ点を含むブリッジクリップのエンコード開始点は、ＩＮ点である図中βで示される点とストリーム１のＧＯＰ切れ目が一致しない場合、ＩＮ点より前に存在するストリーム１のGOP切れ目αからとなる。αからのエンコード開始にあたって、前方参照画の入力が必要であるので、エンコーダ６０への入力はαの１フレーム前から開始される。そして、ＩＮ点を含むブリッジクリップのエンコード範囲は、IN点がSDI入力のGOP切れ目の場合、その直後のB0ピクチャおよびB1ピクチャの前方参照画はSDI入力のGOP切れ目の直前の画となることから、SDI入力のGOP切れ目βの先のB1ピクチャまでとなる。すなわち、ＩＮ点を含むブリッジクリップのエンコード終了点における目標VBVoccupancy値は、GOP切れ目βの後のコーディック順で最初のPピクチャの開始位置、即ち、B1ピクチャまでエンコードが終了した後に決まる。したがって、最長ではGOP切れ目βから３フレーム分の余裕が必要となる。
【０２３６】
なお、エンコードの範囲をGOP切れ目までではなく次のB1ピクチャまでとする技術についての詳細は、例えば、特開2006-67095号公報に記載されている。
【０２３７】
図３４においては、Ｎは、エンコーダ１８３におけるエンコードの最大GOP長であり、aは、コマンド実行マージン時間（1コマンド遅延に対応する時間）とＣＰＵ１８２から供給された目標VBVoccupancy値に基づいてエンコードパラメータを計算する時間をフレーム数で表した値であり、ｂは、エンコード結果を知りたいフレームがエンコードされるのに必要なフレーム入力が終了してからエンコード結果を知りたいフレームのエンコードが終了し、目標VBVoccupancyを知るまでの時間をフレーム数で表した値である。
【０２３８】
αからβまでが最も長いとき、αからβは、Ｎ−１フレームとなる。したがって、フレームバッファ１８４には、１＋（Ｎ−１）＋３＋ａ＋ｂ＝Ｎ＋３＋ａ＋ｂフレーム分の容量が必要である。
【０２３９】
次に、図３５を参照して、IN点がストリーム１のGOP切れ目となる場合について説明する。
【０２４０】
この場合、ＩＮ点を含むブリッジクリップのエンコード開始は、SDI入力のIN点からとなる。そして、ＩＮ点を含むブリッジクリップのエンコード範囲は、そのGOPの次のGOPのB1ピクチャまでであるとしても良いし、GOP切れ目までとしても良い。ＩＮ点を含むブリッジクリップのエンコード範囲を次のGOPのB1ピクチャまでであるとした場合、ＩＮ点を含むブリッジクリップのエンコード終了点における目標VBVoccupancy値は、図３４における場合と同様にして、GOP切れ目βの後のコーディック順で最初のPピクチャの開始位置となるので、最長ではGOP切れ目βから３フレーム分の余裕が必要となる。
【０２４１】
図３５における場合、ＩＮ点からブリッジクリップの終了点βまでが最も長いとき、Ｎ−１フレームとなる。したがって、ここでも、図３４と同様にして、Ｎ，ａ，ｂを用いた場合、フレームバッファ１８４には、１＋（Ｎ−１）＋３＋ａ＋ｂ＝Ｎ＋３＋ａ＋ｂフレームの容量が必要である。
【０２４２】
次に、図３６を参照して、フレームバッファ１８４において必要な最大容量、すなわち、フレームバッファ１８４により遅延できるフレーム数の最大値について説明する。
【０２４３】
図３４を用いて説明したように、フレームバッファの容量が最も必要となるブリッジクリップ開始位置であるαの条件は、ブリッジクリップ開始点であるαの位置がIN点から(N-1)フレーム手前の場合である。また、図３５を用いて説明したように、フレームバッファの容量が最も必要となるブリッジクリップ終了予定点であるβの位置の条件は、ブリッジクリップ終了予定点βの位置がＩＮ点から(N-1)後の場合である。
【０２４４】
ブリッジクリップ終了予定点βでのVBVoccupancyが確定するのは、終了予定点β後のIピクチャがエンコーダ１８３に入力され、最初のPピクチャにおけるVBVoccupancyが決まる、即ち、最長では、B1ピクチャのエンコードが終了して符号量が判った時点である。
【０２４５】
これらより、フレームバッファ１８４において必要な最大容量は、１＋（Ｎ−１）＋（Ｎ−１）＋３＋ａ＋ｂ＝２Ｎ＋２＋ａ＋ｂフレームとなる。すなわち、フレームバッファ１８４が２Ｎ＋２＋ａ＋ｂフレーム保持することが可能であるとき、編集点と、その前後を構成するブリッジクリップ部分のGOP位相との関係がどのような場合であっても、エンコーダ１８３のエンコード結果をエンコーダ６０によるブリッジクリップのエンコードに反映させることができ、エンコード処理は破綻しない。
【０２４６】
なお、OUT点に関するスプライシングは、OUT点手前のSDI入力GOP切れ目の１フレーム手前(前方参照画)から開始されればよく、また、ＯＵＴ点を含むブリッジクリップの後ろに接続されるのは、ＨＤＤ４６に予め記憶されている下地ストリームであり、その接続点のVBVoccupancyは既知であるので、VBVoccupancy目標値は、OUT点においては、OUT点が決まってから、１＋（Ｎ−１）＋ａ＝Ｎ＋ａフレームあれば、エンコード処理は破綻しない。
【０２４７】
次に、図３７乃至図３９を参照して、IN点のスプライシングが長引いた場合のOUT点の処理について説明する。
【０２４８】
上述した様に、任意のIN点決定に対して、フレームバッファ１８４において必要な最大容量は、２Ｎ＋２＋ａ＋ｂフレームである。
【０２４９】
図３７には、フレームバッファ１８４に供給されるタイミングでモニタ２に表示されるＳＤＩ入力、および、モニタ１に表示されるストリーム１をデコードしたベースバンド信号、並びに、エンコーダ６０へ供給されるタイミングに基づいて記述されたエンコーダ６０への入力ベースバンド信号、および、エンコーダ６０により生成されるブリッジクリップが図示されている。
【０２５０】
入力端子６１から供給されるベースバンド信号（SDI入力）は、フレームバッファ１８４に供給されるタイミングと略同時に、エンコーダ１８３においてエンコードされる。エンコーダ１８３は、エンコードに関するＧＯＰ位相やVBVoccupancyを、コントロールバス５１を介して、ＣＰＵ１８２に供給する。
【０２５１】
しがたって、IN点が決定された後、ブリッジクリップ終了予定点βの先のB1ピクチャである図中θの時点で、SDI入力のエンコーダ１８３によるエンコード結果として、ブリッジクリップ終了予定点βにおけるVBVoccupancy目標量が判明する。エンコーダ６０によるエンコードの開始は、少なくともVBVoccupancy目標量が判明するθ時点以降でなければならない。
【０２５２】
例えば、エンコーダ６０において、２Ｎ＋２＋ａ＋ｂフレームだけ遅延した図中α'において、ブリッジクリップ開始点からのエンコードが開始された場合、このエンコード結果は、ブリッジクリップ終了予定点に対応するβ’の先のB1ピクチャであるθ’までのエンコードが終了したときに判る。そして、その後（１＋ａ）フレーム先のιが、OUT点のためのスプライシングを開始するための最も近いGOP切れ目位置となる。すなわち、SDI入力のIN点が決定された際に決まるSDI入力のIN点に関するスプライシングの終了点直前のGOP切れ目β’から、(４＋ａ＋ｂ)フレーム先のι’が、OUT点に関するスプライシング開始GOP切れ目の限界点となる。
【０２５３】
すなわち、OUT点がブリッジクリップ終了予定点βから開始されるGOP内で決定されるか、または、ブリッジクリップ終了予定点βから(４＋ａ＋ｂ)フレーム以内にGOP切れ目が存在し、そのGOP内でOUT点が決定された場合は、IN点に関するスプライシングは終了せずに、そのままOUT点によって定まるVBVoccupancy目標値に向かってエンコードが続けられる。また、そのとき、OUT点に関するブリッジクリップの目標VBVoccupancyは、上述したように、エンコーダ１８３の処理とは関係なく予め知ることができる。
【０２５４】
また、最初のブリッジクリップ終了予定点βまででVBVoccupancyを合わせられず、ブリッジクリップの範囲が延長される場合も同様のことが発生する。例えば、図３８に示される最初のブリッジクリップ終了予定点βまででVBVoccupancyを合わせられず、スプライシングが終了しなかった場合、次のブリッジクリップ終了予定点を、次のＧＯＰの切れ目である図中γで示される点とすることができる。その場合、次のブリッジクリップ終了予定点γでうまくスプライシングを終了できたかどうかがわかるのは、図３８に示されるように、ブリッジクリップ終了予定点γがエンコーダ６０にてエンコードされる、図中γ’で示される点よりbフレーム後のκ時点ということになる。
【０２５５】
従って、最初のブリッジクリップ終了予定点βまででVBVoccupancyを合わせられず、スプライシングが終了しなかった場合、次のブリッジクリップ終了予定点γの前にOUT点が決定されるか、最初のブリッジクリップ終了予定点βの(１＋ａ＋ｂ)フレーム先にGOP切れ目が存在し、そのGOP切れ目から開始されるGOP内でOUT点が決定された場合に、IN点に関するスプライシングは終了せずに、そのままOUT点によって定まるVBVoccupancy目標値に向かってエンコードが続けられる。また、そのとき、OUT点を含むブリッジクリップの目標VBVoccupancyは、上述したように、エンコーダ１８３の処理とは関係なく予め知ることができる。
【０２５６】
ＩＮ点を含むブリッジクリップの範囲が延長されている状態で、モニタ１乃至３を監視しているユーザから、ＯＵＴ点の位置の指令を受ける場合がある。また、ＯＵＴ点は、予め指定されている場合もある。いずれの場合においても、ＣＰＵ１８２は、その範囲がＯＵＴ点を含むブリッジクリップと連続するか否かを、OUT点を含むブリッジクリップのエンコーダ６０によるエンコードが開始される前に判断する必要がある。
【０２５７】
ＣＰＵ１８２は、フレームバッファ１８４による遅延時間分を利用して、ＯＵＴ点が検出されてから、ＩＮ点を含むブリッジクリップのスプライシング処理が正しく終了されたか否かを確認した後、ＩＮ点を含むブリッジクリップがＯＵＴ点を含むブリッジクリップを含んで連続するか否かを判断することができると好適であるが、ＯＵＴ点近傍のＧＯＰ位相によっては、ＩＮ点を含むブリッジクリップのスプライシング処理の終了を待たずに、ＩＮ点を含むブリッジクリップがＯＵＴ点を含むブリッジクリップを含んで連続するものとしてしまわなければならない場合がある。
【０２５８】
そのような場合について、図３９を用いて説明する。なお、図３９においても、aは、コマンド実行マージン時間とＣＰＵ１８２から供給された目標VBVoccupancy値に基づいてエンコードパラメータを計算する時間をフレーム数で表した値であり、ｂは、エンコード結果を知りたいフレームがエンコードされるのに必要なフレーム入力が終了してからエンコード結果を知りたいフレームのエンコードが終了し、目標VBVoccupancyを知るまでの時間をフレーム数で表した値であるものとする。
【０２５９】
ＣＰＵ１８２は、エンコーダ１８２によるＳＤＩ入力のエンコードにおいて、エンコード中のブリッジクリップの終了予定点のエンコード結果におけるVBVoccupancyの値に基づいて、ブリッジクリップの範囲を延長するか否かを決定する。ＣＰＵ１８２は、ブリッジクリップの終了予定点のエンコード結果におけるVBVoccupancyの値を、そのフレームの入力後、ｂフレーム後に知ることができる。
【０２６０】
図３９に示されるように、エンコード中のブリッジクリップの終了予定点をδとし、決定したOUT点を含むGOPの先頭をεとして、δ乃至ε間のフレーム数をｋフレームとする。OUT点を含むブリッジクリップのためのストリーム２のエンコードは、ＯＵＴ点の（Ｎ＋ａ）フレーム前から開始可能なようにしなければならない。OUT点を含むGOPの先頭εからＯＵＴ点までをＮ−１フレームとしたとき、δからＯＵＴ点まではｋ＋（Ｎ−１）フレームとなる。したがって、ＣＰＵ１８２がＩＮ点を含むブリッジクリップのスプライシング処理が正しく終了されたか否かを確認した後、ＯＵＴ点を含むブリッジクリップを含んで連続するか否かを判断することができる余裕フレーム数は、ｋ＋（Ｎ−１）−ｂ―（Ｎ＋ａ）＝ｋ−(１＋ａ＋ｂ)フレームとなる。
【０２６１】
この場合、例えば、ａ＝１、ｂ＝３ならば、ｋが６フレーム以上であれば、ＣＰＵ１８２は、ＩＮ点を含むブリッジクリップのスプライシング処理が正しく終了されたか否かを確認した後、ＯＵＴ点を含むブリッジクリップを含んで連続するか否かを判断することができる。しかしながら、エンコーダ１８３によるエンコード処理が、最小のＧＯＰ長が５フレーム以下であることを許すとき、ＩＮ点を含むブリッジクリップのスプライシング処理の終了を待たずに、ＣＰＵ１８２は、ＩＮ点を含むブリッジクリップがＯＵＴ点を含むブリッジクリップを含んで連続するものと決定する必要がある。
【０２６２】
すなわち、エンコーダ１８３によるエンコード処理において許可される最長ＧＯＰ長をｋとし、上述したように、aは、コマンド実行マージン時間とＣＰＵ１８２から供給された目標VBVoccupancy値に基づいてエンコードパラメータを計算する時間をフレーム数で表した値であり、ｂは、エンコード結果を知りたいフレームがエンコードされるのに必要なフレーム入力が終了してからエンコード結果を知りたいフレームのエンコードが終了し、目標VBVoccupancyを知るまでの時間をフレーム数で表した値であるものとしたとき、ｋ−(１＋ａ＋ｂ)が正の値である場合は、ＣＰＵ１８２は、ＩＮ点を含むブリッジクリップのスプライシング処理が正しく終了されたか否かを確認した後、ＯＵＴ点を含むブリッジクリップを含んで連続するか否かを判断することができる。
【０２６３】
これに対して、ｋ−(１＋ａ＋ｂ)が負の値であるとき、換言すれば、ｋ≦(１＋ａ＋ｂ)であるとき、モニタ１乃至３を監視しているユーザからＯＵＴ点の位置の指令を受けた時点でＩＮ点のスプライシング処理が終了していないか、または、エンコーダ６０において予め指定されたＯＵＴ点を含むＧＯＰより１ＧＯＰ前のエンコードが開始されたとき、ＩＮ点を含むブリッジクリップのスプライシング処理の終了を待たずに、ＣＰＵ１８２は、ＩＮ点を含むブリッジクリップがＯＵＴ点を含むブリッジクリップを含んで連続するものと決定する必要がある。
【０２６４】
次に、図４０乃至図４５を参照して、フレームバッファ１８４のバッファ容量が２Ｎ＋２＋ａ＋ｂであるときの、モニタ出力とエンコーダ６０への入力について説明する。
【０２６５】
図４０乃至図４５においては、モニタ出力およびエンコーダ入力とも、Ａは、ＨＤＤ４６に予め記憶されている下地ストリーム（例えば、図３３におけるストリーム１およびストリーム２に対応する）に対応するものであり、Ｂは、入力端子６１から入力されるベースバンド信号（ＳＤＩ入力）に対応するものである。
【０２６６】
フレームバッファ１８４のバッファ容量が２Ｎ＋２＋ａ＋ｂであるとき、例えば、図４０に示されるように、下地ストリームにおいてＩＮ点を含むＧＯＰの先頭からＩＮ点までがｋ１フレームであり、ベースバンド信号において、ＩＮ点からデコーダ１８３によるデコードでのＧＯＰ位相におけるＩＮ点を含むＧＯＰの終了点までがｋ２フレームであるとき、モニタ出力と並行して実行されているデコーダ１８３によるデコード処理におけるブリッジクリップ終了予定点でのエンコード結果は、モニタ出力におけるＩＮ点に対して、（ｋ２＋３＋ｂ）フレーム後に、ＣＰＵ１８２に供給される。また、このブリッジクリップの範囲のエンコーダ６０への入力は、フレームバッファ１８４によって、２Ｎ＋２＋ａ＋ｂフレームだけ遅延される。そのため、エンコーダ６０によるエンコード開始のための前方参照画の入力の前にエンコード開始コマンドが発行されることを考慮しても、ＣＰＵ１８２が、ブリッジクリップ終了予定点でのエンコード結果を取得してから、エンコーダ６０におけるブリッジクリップのエンコードの制御を開始するまでには、（２Ｎ＋２＋ａ＋ｂ）−ｋ１−ｋ２−（３＋ｂ）−（ａ＋ｂ）で、２Ｎ−２−ｋ１−ｋ２の余裕がある。
【０２６７】
従って、フレームバッファ１８４のバッファ容量が２Ｎ＋２＋ａ＋ｂであれば、例えば、図４１に示されるように、ｋ１およびｋ２が最も大きなフレーム数であるとき、すなわち、ｋ１がＮ−１フレームであり、ｋ２がＮ−１フレームであっても、ＣＰＵ１８２が、ブリッジクリップ終了予定点でのエンコード結果を取得してから、エンコーダ６０におけるブリッジクリップのエンコードの制御を開始することができる。
【０２６８】
次に、ＩＮ点前後のGOP切れ目の位置によって定まる、スプライシングのためのブリッジクリップに含まれるフレーム数が、画質維持のために考慮される最小GOP長に満たない場合について説明する。例えば、図４２に示されるように、下地ストリームにおいてＩＮ点を含むＧＯＰの先頭からＩＮ点までがｋ１フレームであり、ベースバンド信号において、ＩＮ点からデコーダ１８３によるデコードでのＧＯＰ位相におけるＩＮ点を含むＧＯＰの終了点までがｋ２フレームであって、ｋ１＋ｋ２フレームのフレーム数が極端に少ない場合、この範囲のみをブリッジクリップとしてしまっては、符号化処理における符号配分が困難であり、画質を維持することができない場合がある。そこで、さらに次のＧＯＰまでをブリッジクリップとするものとする。
【０２６９】
このとき、モニタ出力と並行して実行されているデコーダ１８３によるデコード処理におけるブリッジクリップ終了予定点でのエンコード結果は、モニタ出力におけるＩＮ点に対して、（ｋ２＋Ｎ＋３＋ｂ）フレーム後に、ＣＰＵ１８２に供給される。すなわち、ＣＰＵ１８２が、ブリッジクリップ終了予定点でのエンコード結果を取得してから、エンコーダ６０におけるブリッジクリップのエンコードの制御を開始するまでには、（２Ｎ＋２＋ａ＋ｂ）−ｋ１−ｋ２−Ｎ−（３＋ｂ）−（ａ＋ｂ）で、Ｎ−２−ｋ１−ｋ２の余裕がある。
【０２７０】
すなわち、ｋ１＋ｋ２がＮ−２フレーム以下のとき、次のＧＯＰまでブリッジクリップを延長しても、ＣＰＵ１８２が、ブリッジクリップ終了予定点でのエンコード結果を取得してから、エンコーダ６０におけるブリッジクリップのエンコードの制御を開始することができる。
【０２７１】
次に、ＯＵＴ点を含むスプライシング処理のためのブリッジクリップのエンコードにおいて、例えば、図４３に示されるように、ベースバンド信号において、デコーダ１８３によるデコードでのＧＯＰ位相におけるＯＵＴ点を含むＧＯＰの開始点からＯＵＴ点までがｋ３フレームであり、下地ストリームにおいてＯＵＴ点からＯＵＴ点を含むＧＯＰの最後までがｋ４フレームであるものとする。ここで、ＯＵＴ点が指定されて、ＯＵＴ点を含むブリッジクリップの終了予定点におけるVBVoccupancy目標量は、ＨＤＤ４６に予め記憶されたている下地ストリームの対応する位置のVBVoccupancyであるので、ＣＰＵ１８２は、デコーダ１８３によるブリッジクリップ範囲のデコードの終了を待つことなくVBVoccupancy目標量を認識することが可能である。したがって、フレームバッファ１８４のバッファ容量が２Ｎ＋２＋ａ＋ｂであることより、ＣＰＵ１８２は、問題なく、ＯＵＴ点を含むブリッジクリップのエンコードの制御を行うことができる。
【０２７２】
次に、ＯＵＴ点前後のGOP切れ目の位置によって定まる、スプライシングのためのブリッジクリップに含まれるフレーム数が、画質維持のために考慮される最小GOP長に満たない場合について説明する。例えば、図４４に示されるように、デコーダ１８３によるデコードでのＧＯＰ位相におけるＯＵＴ点を含むＧＯＰの開始点からＯＵＴ点までがｋ３フレームであり、下地ストリームにおいてＯＵＴ点からＯＵＴ点を含むＧＯＰの最後までがｋ４フレームであって、ｋ３＋ｋ４フレームのフレーム数が極端に少ない場合、この範囲のみをブリッジクリップとしてしまっては、符号化処理における符号配分が困難であり、画質を維持することができない場合がある。そこで、ＣＰＵ１８２は、ブリッジクリップの開始点を、一つ前のＧＯＰの開始点として、ブリッジクリップに含まれるフレーム数を増やして、その最小ブリッジクリップのエンコード結果で２ＧＯＰを構成するように、エンコーダ６０によるエンコード処理を制御する。このような場合であっても、フレームバッファ１８４のバッファ容量が２Ｎ＋２＋ａ＋ｂであることより、ＣＰＵ１８２は、問題なく、ＯＵＴ点を含むブリッジクリップのエンコードの制御を行うことができる。
【０２７３】
また、上述したように、ＯＵＴ点を含むブリッジクリップは、ＩＮ点を含むブリッジクリップと連続する場合がある。図４５に示されるように、ｋ３＋ｋ４フレームのフレーム数が充分である場合であっても、極端に少ないため、ＯＵＴ点を含むブリッジクリップの開始点が１ＧＯＰ前となる場合であっても、ＣＰＵ１８２は、ＯＵＴ点を含むブリッジクリップの直前までは、ＩＮ点を含むブリッジクリップであるものとしてエンコーダ６０のエンコード処理を制御する。そして、ＣＰＵ１８２は、ＯＵＴ点を含むブリッジクリップのエンコードの開始前に、ＯＵＴ点を含むブリッジクリップ終了予定点のVBVoccupancy目標量を認識することができるので、そのまま継続して、エンコーダ６０によるＯＵＴ点を含むブリッジクリップのエンコード処理を制御することができる。
【０２７４】
なお、以上説明した処理においては、下地としてＨＤＤ４６に予め記憶されている符号化ストリームを利用し、入力端子６１から入力されるベースバンド信号を上書き用の編集素材として用いるものとして説明したが、例えば、下地として入力端子６１から入力されるベースバンド信号を利用し、ＨＤＤ４６に予め記憶されている符号化ストリームを上書き用の編集素材として用いる場合であっても、上述した処理において、ＩＮ点とＯＵＴ点の処理が逆になるだけであり、フレームバッファ１８４のバッファ容量が２Ｎ＋２＋ａ＋ｂであれば、ＣＰＵ１８２は、問題なく、ブリッジクリップのエンコードの制御を行うことができる。
【０２７５】
図４６に、図３３乃至図４５を用いて説明したブリッジクリップのエンコード処理を実行する編集装置１７１のCPU１８１およびCPU１８２が有する機能を説明するための機能ブロック図を示す。
【０２７６】
なお、図１６における場合と対応する部分には、同一の符号を付してあり、その説明は適宜省略する。
【０２７７】
すなわち、ＣＰＵ１８１の機能は、再エンコード範囲決定部８４に代わって、ブリッジクリップ範囲決定部１９１が設けられ、編集処理制御部８５に代わって、編集処理制御部１９２が設けられている以外は、図１６を用いて説明したＣＰＵ４１が有する機能と基本的に同様であり、また、ＣＰＵ１８２の機能は、新たに、ベースバンド信号のエンコード制御部２０１が設けられ、エンコード制御部９３に代わって、エンコード制御部２０２が設けられている以外は、図１６を用いて説明したＣＰＵ５２が有する機能と基本的に同様である。
【０２７８】
ブリッジクリップ範囲決定部１９１は、ユーザ入力取得部８２から供給されたユーザの操作入力と、パラメータ取得部により取得された各種パラメータ、並びに、IN点/OUT点決定部８３により決定されたIN点およびOUT点を基に、上述したブリッジクリップの範囲を決定し、編集処理制御部１９２に供給する。
【０２７９】
編集処理制御部１９２は、IN点/OUT点決定部８３により決定されたIN点およびOUT点、並びに、ブリッジクリップ範囲決定部１９１により決定されたブリッジクリップの範囲を基に、ＰＣＩブリッジ４９、デコーダ５４乃至デコーダ５６、スイッチ５７、スイッチ/エフェクト５８、エンコーダ６０、スイッチ６２、および、デコーダ１８３の動作を制御するためのコマンドなどを生成し、ノースブリッジ４２、ＰＣＩバス４４、ＰＣＩブリッジ４９、および、コントロールバス５１を介して、生成したコマンドをＣＰＵ１８２に供給する。
【０２８０】
すなわち、編集処理制御部１９２は、ブリッジクリップのみがエンコーダ６０に供給されてエンコードされるように、ＰＣＩブリッジ４９やスイッチ５７を制御することにより、ＩＮ点を含むブリッジクリップとＯＵＴ点を含むブリッジクリップとの間の部分のエンコード処理が、エンコーダ６０とエンコーダ１８３とで重複してしまうことを防ぐことができる。
【０２８１】
ベースバンド信号のエンコード制御部２０１は、エンコーダ１８３を制御し、入力端子６１から入力されたベースバンド信号のエンコード処理と、そのエンコード処理の結果のＣＰＵ１８２への供給を制御する。
【０２８２】
エンコード処理部２０２は、編集処理制御部１９２から供給されたコマンド、および、エンコーダ１８３から供給される、ベースバンド信号のエンコード結果に基づいて、エンコーダ６０の動作を制御する。
【０２８３】
次に、図４７乃至図５０のフローチャートを参照して、編集装置１７１が実行する編集処理３について説明する。
【０２８４】
ステップＳ１１１において、ＣＰＵ１８１は、HDD４６に記録されている下地の符号化ストリームを読み出し、ノースブリッジ４２およびPCIバス４４を介して、PCIブリッジ４９に供給する。ＣＰＵ１８２は、供給された下地の符号化ストリームを、必要に応じて、一旦メモリ５０に蓄積した後、デコーダ５４に供給する。デコーダ５４は、デコード制御部９１の制御に基づいて、供給された下地の符号化ストリームのデコードを開始し、デコードされて生成されたベースバンド信号を、スイッチ/エフェクト５８に供給する。
【０２８５】
ステップＳ１１２において、ＣＰＵ１８１は、入力端子６１からのベースバンド信号の入力と、エンコーダ１８３によるベースバンド信号のエンコードの制御を開始する。エンコーダ１８３は、ベースバンド信号のエンコード制御部２０１の制御に基づいて、供給されたベースバンド信号をエンコードする。
【０２８６】
ステップＳ１１３において、エンコーダ１８３は、ベースバンド信号のエンコード制御部２０１の制御に基づいて、エンコードに関するGOP位相およびVBVoccupancyの値をＣＰＵ１８２に供給する。ＣＰＵ１８２は、エンコードに関するGOP位相およびVBVoccupancyの値を取得する。これにより、ＣＰＵ１８２は、フレームバッファ１８４により遅延されて実行されるエンコーダ６０によるブリッジクリップ部分のエンコード処理の制御に先立って、エンコードに関するGOP位相およびVBVoccupancyの値を知ることができる。
【０２８７】
ステップＳ１１４において、モニタ１およびモニタ２は、遅延前の編集素材の表示を開始し、モニタ３は、スイッチ/エフェクト５８の出力、すなわち、遅延前の編集結果の表示を開始する。オペレータは、モニタ１およびモニタ２に表示される映像を観測し、信号を切替えたいタイミングを図示しない操作入力部により指令する。
【０２８８】
ステップＳ１１５において、ＣＰＵ１８１のパラメータ取得部８１は、下地の符号化ストリームに関するGOP位相情報を取得し、IN点/OUT点決定部８３およびブリッジクリップ範囲決定部１９１に供給する。これにより、ＣＰＵ１８１は、下地の符号化ストリームのGOPの切れ目を検出することができる。また、ＣＰＵ１８１は、フレームバッファ１８４のバッファ容量も認識しているので、エンコーダ６０によるブリッジクリップのエンコードの開始タイミングを制御することが可能となる。
【０２８９】
ステップＳ１１６において、パラメータ取得部８１は、下地の符号化ストリームに関する、GOP切れ目でのVBV占有量を取得し、IN点/OUT点決定部８３およびブリッジクリップ範囲決定部１９１に供給する。これにより、例えば、上述した特開２００６−６７０９５号公報に記載の技術やその他の公知の技術を用いて、VBVoccupancyを、ブリッジクリップと再エンコードが実行されていない下地の符号化ストリームとで連続させることが可能となる。
【０２９０】
ステップＳ１１７において、ユーザ入力取得部８２は、フレームバッファ１８４およびエンコーダ６０への入力信号を下地の符号化ストリームに対応するベースバンド信号から入力端子６１より供給されるベースバンド信号に切替える様に操作入力を受けたか否かを判断する。
【０２９１】
ステップＳ１１７において、フレームバッファ１８４およびエンコーダ６０への入力信号を切換える操作入力を受けていないと判断された場合、操作入力を受けたと判断されるまで、ステップＳ１１７の処理が繰り返される。
【０２９２】
ステップＳ１１７において、フレームバッファ１８４およびエンコーダ６０への入力信号を切換える操作入力を受けたと判断された場合、ステップＳ１１８において、IN点/OUT点決定部８３は、編集におけるIN点を決定し、編集処理制御部１９２に供給する。編集処理制御部１９２は、ＣＰＵ１８２の＃１スイッチ制御部９２を制御するための制御信号を生成し、ＣＰＵ１８２に供給する。ＣＰＵ１８２の＃１スイッチ制御部９２は、スイッチ/エフェクト５８の動作を制御して、編集点において出力するデータを切換えて、フレームバッファ１８４およびエンコーダ６０への入力信号を下地の符号化ストリームに対応するベースバンド信号から入力端子６１より供給されるベースバンド信号に切替える、すなわち、下地の符号化ストリームに対応するベースバンド信号と入力端子６１より供給されるベースバンド信号を接続させる。フレームバッファ１８４では、供給されたベースバンド信号がバッファリングされるので、エンコーダ６０への入力は、フレームバッファ１８４のバッファ容量分だけ遅延する。
【０２９３】
ステップＳ１１９において、ブリッジクリップ範囲決定部１９１は、ユーザ入力取得部８２から供給されたユーザの操作入力と、パラメータ取得部により取得された各種パラメータ、エンコーダ１８３によるエンコードの結果得られるベースバンド信号をエンコードしたストリームのＧＯＰ位相、並びに、IN点/OUT点決定部８３により決定されたIN点を基に、上述したブリッジクリップの範囲を決定し、編集処理制御部１９２に供給する。
【０２９４】
ステップＳ１２０において、ブリッジクリップ範囲決定部１９１は、決定されたブリッジクリップの範囲に基づいて、IN点を含むGOPに関してエンコーダ６０によるエンコードを開始するためのタイミングを設定する。
【０２９５】
ステップＳ１２１において、ＣＰＵ１８２のエンコード制御部２０２は、エンコーダ１８３から供給された、エンコードに関するVBVoccupancyの値から、ブリッジクリップ終了予定点に対応するVBVoccupancyの値を抽出する。
【０２９６】
ステップＳ１２２において、エンコード制御部２０２は、抽出されたVBVoccupancyの値を、ブリッジクリップ終了予定点のVBVoccupancy目標値としてエンコーダ６０によるブリッジクリップのエンコードのパラメータを設定する。
【０２９７】
ステップＳ１２３において、編集処理制御部１９２は、フレームバッファ１８４によりバッファリングされた、下地の符号化ストリームのIN点を含むGOPの最初のフレームからの、エンコーダ６０によるエンコードを制御する制御信号を、ＣＰＵ１８２のエンコード制御部２０２に供給する。エンコード制御部２０２は、編集処理制御部１９２から供給された制御信号に基づいて、フレームバッファ１８４によりバッファリングされた、下地の符号化ストリームのIN点を含むGOPの最初のフレームからの、エンコーダ６０によるエンコードを制御する。エンコード制御部２０２は、基本的に、OUT点を含むGOPまでの間においては、エンコーダ６０に対して、ブリッジクリップの範囲を延長させてエンコードを実行させることが可能である。
【０２９８】
ステップＳ１２４において、ＣＰＵ１８１は、PCIブリッジ４９、PCIバス４４、および、ノースブリッジ４２を介して供給されるエンコード結果の取得を開始して、メモリ４３に供給して保存させる。
【０２９９】
ステップＳ１２５において、エンコード制御部２０２は、エンコード６０によるブリッジクリップのエンコードが、VBVoccupancyが連続するように、正しく終了したか否かを判断する。ステップＳ１２５において、エンコードが正しく終了されたと判断された場合、処理は、後述するステップＳ１２９に戻る。
【０３００】
ステップＳ１２５において、エンコードが正しく終了しなかったと判断された場合、ステップＳ１２６において、ブリッジクリップ範囲決定部１９１は、ブリッジクリップの範囲を延長して、再度、ブリッジクリップ終了予定点を設定し、再設定された内容を、編集処理制御部１９２に供給する。
【０３０１】
ステップＳ１２７において、ＣＰＵ１８２のエンコード制御部２０２は、エンコーダ１８３から供給された、エンコードに関するVBVoccupancyの値から、再設定されたブリッジクリップ終了予定点に対応するVBVoccupancyの値を抽出する。
【０３０２】
ステップＳ１２８において、編集処理制御部１９２は、抽出されたVBVoccupancyの値を、ブリッジクリップ終了予定点のVBVoccupancy目標値としてエンコーダ６０によるブリッジクリップのエンコードのパラメータを設定して、延長されたブリッジクリップのエンコーダ６０によるエンコードを制御する制御信号を、ＣＰＵ１８２のエンコード制御部２０２に供給する。エンコーダ６０は、エンコード処理を継続する。ステップＳ１２８の処理の終了後、処理は、ステップＳ１２５に戻り、それ以降の処理が繰り返される。
【０３０３】
ステップＳ１２５において、エンコードが正しく終了されたと判断された場合、ＣＰＵ１８２のエンコード制御部２０２は、ＣＰＵ１８１にエンコードが正しく終了したことを通知するので、ステップＳ１２９において、編集処理制御部１９２は、フレームバッファ１８４からエンコーダ６０へのデータの供給をストップさせるためのコマンドを生成し、ＣＰＵ１８２に供給する。ＣＰＵ１８２は、例えば、スイッチ／エフェクト５８を制御して、フレームバッファ１８４へのデータの供給をストップさせることなどにより、フレームバッファ１８４からエンコーダ６０へのデータの供給をストップさせる。
【０３０４】
ステップＳ１３０において、ユーザ入力取得部８２は、フレームバッファ１８４およびエンコーダ６０への入力信号を、入力端子６１より供給されるベースバンド信号から、デコーダ５４から出力される下地の符号化ストリームに対応するベースバンド信号に切替える様に操作入力を受けたか否かを判断する。
【０３０５】
ステップＳ１３０において、フレームバッファ１８４およびエンコーダ６０への入力信号を切換える操作入力を受けていないと判断された場合、入力信号を切換える操作入力を受けたと判断されるまで、ステップＳ１３０の処理が繰り返される。
【０３０６】
ステップＳ１３０において、フレームバッファ１８４およびエンコーダ６０への入力信号を切換える操作入力を受けたと判断された場合、ステップＳ１３１において、IN点/OUT点決定部８３は、編集におけるOUT点を決定し、編集処理制御部１９２に供給する。編集処理制御部１９２は、ＣＰＵ１８２の＃１スイッチ制御部９２を制御するための制御信号を生成し、ＣＰＵ１８２に供給する。ＣＰＵ１８２の＃１スイッチ制御部９２は、スイッチ/エフェクト５８の動作を制御して、編集点において出力するデータを切換えて、フレームバッファ１８４およびエンコーダ６０への入力信号を入力端子６１より供給されるベースバンド信号から下地の符号化ストリームに対応するベースバンド信号に切替える。すなわち、編集処理制御部１９２は、入力端子６１より供給されるベースバンド信号と下地の符号化ストリームに対応するベースバンド信号を接続させる。フレームバッファ１８４では、接続されたベースバンド信号と下地の符号化ストリームに対応するベースバンド信号がバッファリングされる。
【０３０７】
ステップＳ１３２において、ブリッジクリップ範囲決定部１９１は、ユーザ入力取得部８２から供給されたユーザの操作入力と、パラメータ取得部により取得された各種パラメータ、エンコーダ１８３によるエンコードの結果得られるベースバンド信号をエンコードしたストリームのＧＯＰ位相、並びに、IN点/OUT点決定部８３により決定されたOUT点を基に、ＯＵＴ点を含むブリッジクリップの範囲を決定し、編集処理制御部１９２に供給する。また、ブリッジクリップ範囲決定部１９１は、決定されたブリッジクリップの範囲に基づいて、ＯＵＴ点を含むブリッジクリップに関してエンコーダ６０によるエンコードを開始するためのタイミングを設定する。
【０３０８】
ステップＳ１３３において、編集処理制御部１９２は、フレームバッファ１８４によりバッファリングされたＯＵＴ点を含むブリッジクリップの、エンコーダ６０によるエンコードを制御する制御信号を、ＣＰＵ１８２のエンコード制御部２０２に供給する。エンコード制御部２０２は、編集処理制御部１９２から供給された制御信号に基づいて、フレームバッファ１８４によりバッファリングされたＯＵＴ点を含むブリッジクリップの、エンコーダ６０によるエンコードを制御する。エンコード制御部２０２は、基本的に、エンコーダ６０に対して、ブリッジクリップの範囲を延長させてエンコードを実行させることが可能である。
【０３０９】
ステップＳ１３４において、ＣＰＵ１８１は、PCIブリッジ４９、PCIバス４４、および、ノースブリッジ４２を介して供給されるエンコード結果の取得を開始して、メモリ４３に供給して保存させる。
【０３１０】
ステップＳ１３５において、エンコード制御部２０２は、エンコード６０によるブリッジクリップのエンコードが、VBVoccupancyが連続するように、正しく終了したか否かを判断する。ステップＳ１３５において、エンコードが正しく終了しなかったと判断された場合、処理は、ステップＳ１３２に戻り、それ以降の処理が繰り返される。
【０３１１】
ステップＳ１３５において、エンコードが正しく終了したと判断された場合、ステップＳ１３６において、ＣＰＵ１８２のエンコード制御部２０２は、ＣＰＵ１８１にエンコードが正しく終了したことを通知するので、ステップＳ１２９において、編集処理制御部１９２は、フレームバッファ１８４からエンコーダ６０へのデータの供給をストップさせるためのコマンドを生成し、ＣＰＵ１８２に供給する。ＣＰＵ１８２は、スイッチ／エフェクト５８を制御して、フレームバッファ１８４へのデータの供給をストップさせることにより、フレームバッファ１８４からエンコーダ６０へのデータの供給をストップさせる。
【０３１２】
ステップＳ１３７において、ＣＰＵ１８１は、PCIブリッジ４９、PCIバス４４、および、ノースブリッジ４２を介して供給され、メモリ４３に保存されている編集された部分のエンコード結果、および、ブリッジクリップとブリッジクリップとの間のベースバンド信号に対応するエンコーダ１８３によりエンコードされたストリーム、並びに、ＨＤＤ４６に保存されているＩＮ点を含むブリッジクリップより前の下地ストリーム、および、ＯＵＴ点を含むブリッジクリップより後ろの下地ストリームを接続して、編集後のストリームを生成し、処理が終了される。
【０３１３】
このような処理により、編集素材の映像をオペレータがモニタしながら編集点を決定し、従来よりも早く編集結果を得ることができるとともに、編集素材として供給されるベースバンド信号を並行してエンコードし、記憶することができるので、編集終了後に編集点を変更する処理を、記憶された、ベースバンド信号に対応する符号化ストリームを用いて実行することができる。また、このとき、エンコーダ６０とエンコーダ１８３とで、ＩＮ点とＯＵＴ点との間の同一のベースバンド信号のエンコード処理を重複して行うことなく、また、編集後にそれぞれの符号化ストリームを接続したときに、VBVoccupancyの連続性を保障することが可能となる。
【０３１４】
なお、図４７乃至図５０のフローチャートを用いて説明した、編集装置１７１が実行する編集処理３では、ステップＳ１２５の処理により、ＩＮ点を含むブリッジクリップのエンコード処理が正しく終了されたと判断される前にＯＵＴ点が指令された場合の処理についての説明を省略しているが、そのような場合は、図４５を用いて説明したようにして、エンコーダ６０によるエンコード処理の制御が実行される。
【０３１５】
また、ブリッジクリップ終了点におけるVBVoccupancyが、再エンコードを実行しない部分と再エンコードを実行する部分とで連続するまで、同一の範囲でエンコードを繰り返す2-path法を用いることにより、VBVoccupancyの連続性を保障するようにしてもよい。
【０３１６】
なお、編集装置１７１においては、エンコード処理が重複しないように、ＩＮ点とＯＵＴ点の間の編集後のストリームのうちの一部に、エンコーダ１８３により生成されたストリームを用いることができるようになされているため、フレームバッファ１８４のバッファ容量を、２Ｎ＋２＋ａ＋ｂフレーム以上とする必要がある。これに対して、例えば、エンコーダ１８３において編集処理とは独立してベースバンド信号のエンコード処理を実行すれば、ＩＮ点とＯＵＴ点の間の上書き部分のエンコード処理をどちらのエンコーダが行おうとも、編集終了後に編集点を変更する処理を、記憶された、ベースバンド信号に対応する符号化ストリームを用いて実行することができるという効果を奏することができる。例えば、ＩＮ点とＯＵＴ点の間の上書き部分のエンコード処理を、第１の実施の形態と同様に、エンコーダ６０も行うようにする場合、フレームバッファ１８４のバッファ容量は、第１の実施の形態と同様であっても良い。
【０３１７】
上述した一連の処理は、ハードウエアにより実行させることもできるし、ソフトウェアにより実行させることもできる。この場合、上述した処理は、図５１に示されるようなパーソナルコンピュータ５００により実行される。
【０３１８】
図５１において、CPU（Central Processing Unit）５０１は、ROM(Read Only Memory)５０２に記憶されているプログラム、または、記憶部５０８からRAM(Random Access Memory)５０３にロードされたプログラムに従って各種の処理を実行する。RAM５０３にはまた、CPU５０１が各種の処理を実行する上において必要なデータなどが適宜記憶される。
【０３１９】
CPU５０１、ROM５０２、およびRAM５０３は、内部バス５０４を介して相互に接続されている。この内部バス５０４にはまた、入出力インターフェース５０５も接続されている。
【０３２０】
入出力インターフェース５０５には、キーボード、マウスなどよりなる入力部５０６、CRT，LCDなどよりなるディスプレイ、スピーカなどよりなる出力部５０７、ハードディスクなどより構成される記憶部５０８、並びに、モデム、ターミナルアダプタなどより構成される通信部５０９が接続されている。通信部５０９は、電話回線やCATVを含む各種のネットワークを介しての通信処理を行う。
【０３２１】
入出力インターフェース５０５にはまた、必要に応じてドライブ５１０が接続され、磁気ディスク、光ディスク、光磁気ディスク、あるいは半導体メモリなどによりなるリムーバブルメディア５２１が適宜装着され、それらから読み出されたコンピュータプログラムが、必要に応じて記憶部５０８にインストールされる。
【０３２２】
また、本明細書において、記録媒体に記録されるプログラムを記述するステップは、記載された順序に沿って時系列的に行われる処理はもちろん、必ずしも時系列的に処理されなくとも、並列的あるいは個別に実行される処理をも含むものである。
【０３２３】
なお、本明細書において、システムとは、複数の装置により構成される装置全体を表すものである。
【０３２４】
なお、本発明の実施の形態は、上述した実施の形態に限定されるものではなく、本発明の要旨を逸脱しない範囲において種々の変更が可能である。
【図面の簡単な説明】
【０３２５】
【図１】アセンブル編集について説明するための図である。
【図２】インサート編集について説明するための図である。
【図３】ベースバンド入力を独立にエンコードして第２の符号化ストリームを生成し、編集する場合の処理について説明するための図である。
【図４】第１の例の編集装置の構成について説明するためのブロック図である。
【図５】フレームバッファによるバッファリングによって発生するエンコーダへの入力信号の遅延時間について説明するための図である。
【図６】フレームバッファによるバッファリングによって発生するエンコーダへの入力信号の遅延時間について説明するための図である。
【図７】フレームバッファによるバッファリングによって発生するエンコーダへの入力信号の遅延時間について説明するための図である。
【図８】フレームバッファによるバッファリングによって発生するエンコーダへの入力信号の遅延時間について説明するための図である。
【図９】フレームバッファによるバッファリングによって発生するエンコーダへの入力信号の遅延時間について説明するための図である。
【図１０】OUT点を含むGOPのフレーム数の調整について説明するための図である。
【図１１】OUT点を含むGOPのフレーム数の調整について説明するための図である。
【図１２】OUT点を含むGOPのフレーム数の調整について説明するための図である。
【図１３】OUT点を含むGOPのフレーム数の調整について説明するための図である。
【図１４】フレームバッファによるバッファリングによって発生するエンコーダへの入力信号の遅延時間について説明するための図である。
【図１５】フレームバッファによるバッファリングによって発生するエンコーダへの入力信号の遅延時間について説明するための図である。
【図１６】第１の例の編集装置のCPUが有する機能を示す機能ブロック図である。
【図１７】編集処理１について説明するためのフローチャートである。
【図１８】編集処理１について説明するためのフローチャートである。
【図１９】第２の例の編集装置の構成について説明するためのブロック図である。
【図２０】第２の例の編集装置のCPUが有する機能を示す機能ブロック図である。
【図２１】エンコード結果の選択について説明するための図である。
【図２２】VBVoccupancyの連続性について説明するための図である。
【図２３】エンコードの終了位置について説明するための図である。
【図２４】ベースバンド画像データをエンコードする場合のGOP位相について説明するための図である。
【図２５】OUT点によって決まる再エンコード範囲の終了点と、VBVoccupancyの合わせ込みについて説明するための図である。
【図２６】OUT点によって決まる再エンコード範囲の終了点と、VBVoccupancyの合わせ込みについて説明するための図である。
【図２７】OUT点によって決まる再エンコード範囲の終了点と、VBVoccupancyの合わせ込みについて説明するための図である。
【図２８】VBVoccupancyの推移を示す図である。
【図２９】管理データの例について説明するための図である。
【図３０】編集処理２について説明するためのフローチャートである。
【図３１】編集処理２について説明するためのフローチャートである。
【図３２】第３の例の編集装置の構成について説明するためのブロック図である。
【図３３】編集処理におけるブリッジクリップの範囲について説明するための図である。
【図３４】図３２のフレームバッファに求められるバッファ容量について説明するための図である。
【図３５】図３２のフレームバッファに求められるバッファ容量について説明するための図である。
【図３６】図３２のフレームバッファに求められるバッファ容量について説明するための図である。
【図３７】図３２のフレームバッファに求められるバッファ容量について説明するための図である。
【図３８】図３２のフレームバッファに求められるバッファ容量について説明するための図である。
【図３９】図３２のフレームバッファに求められるバッファ容量について説明するための図である。
【図４０】図３２のフレームバッファに求められるバッファ容量について説明するための図である。
【図４１】図３２のフレームバッファに求められるバッファ容量について説明するための図である。
【図４２】図３２のフレームバッファに求められるバッファ容量について説明するための図である。
【図４３】図３２のフレームバッファに求められるバッファ容量について説明するための図である。
【図４４】図３２のフレームバッファに求められるバッファ容量について説明するための図である。
【図４５】図３２のフレームバッファに求められるバッファ容量について説明するための図である。
【図４６】図３２のＣＰＵが有する機能について説明するための機能ブロック図である。
【図４７】編集処理３について説明するためのフローチャートである。
【図４８】編集処理３について説明するためのフローチャートである。
【図４９】編集処理３について説明するためのフローチャートである。
【図５０】編集処理３について説明するためのフローチャートである。
【図５１】パーソナルコンピュータの構成を示すブロック図である。
【符号の説明】
【０３２６】
３１ 編集装置， ４１ CPU， ４３ メモリ， ４６ HDD， ４７ ドライブ， ４８ 記録メディア， ５２ CPU， ５４乃至５６ デコーダ， ５８ スイッチ/エフェクト， ５９ フレームバッファ， ６０ エンコーダ， ８１ パラメータ取得部， ８２ ユーザ入力取得部， ８３ IN点/OUT点決定部， ８４ 再エンコード範囲決定部， ８５ 編集処理制御部， ９１ デコード制御部， ９２ ＃１スイッチ制御部， ９３ エンコード制御部， ９４ ＃２スイッチ制御部， １２１ CPU， １２２ CPU， １４１ IN点/OUT点決定部， １４２ 再エンコード範囲決定部， １４３ 編集処理制御部， １４４ 編集後ストリーム選択部，１８１，１８２ ＣＰＵ， １８３ エンコーダ， １８４ フレームバッファ， １９１ ブリッジクリップ範囲決定部， １９２ 編集処理制御部， ２０１ ベースバンド信号のエンコード制御部， ２０２ エンコード制御部
【技術分野】
【０００１】
本発明は、情報処理装置および情報処理方法、記録媒体、並びにプログラムに関し、特に、編集処理を行う場合に用いて好適な、情報処理装置および情報処理方法、記録媒体、並びにプログラムに関する。
【背景技術】
【０００２】
従来、２つの符号化ストリームを接続する編集処理を行うために、編集対象圧縮映像データ１および編集対象圧縮映像データ２のそれぞれにおいて、編集点近傍の部分的なデコードを行い、部分的な非圧縮の映像信号１および映像信号２を得て、所定の編集点で接続した後、その部分の再エンコードが行われ、再エンコードされた圧縮映像データが、デコードおよび再エンコードされていない（部分的なデコードが行われた編集点近傍以外の）圧縮映像データと結合されるようになされている技術がある(例えば、特許文献1参照)。
【０００３】
【特許文献１】特開２００６−６７０９５号公報
【０００４】
上述した特許文献１においては、２つの符号化ストリームの編集点付近を、一旦デコードして接続した後、再びエンコード処理が実行されるようになされているが、例えば、符号化ストリームではなく、ベースバンド入力信号を用いた編集処理が実行される場合が考えられる。
【０００５】
図1を参照して、例えば、所定の記録媒体に記録されている編集素材となる第1のストリームをデコードした出力と、ベースバンド入力信号であるSDI入力とを編集点にて接続するアセンブル編集を行い、エンコードして、編集済み状態の符号化ストリームを得る処理について説明する。
【０００６】
第1の符号化ストリームは、デコーダに入力されてデコードされる。そして、そのデコーダ出力は、編集点を含むGOPの先頭位置からエンコーダに供給されて、元の符号化ストリームの同一の部分とVBVoccupancy（VBVバッファの占有率）が連続になるようにエンコードが開始される。そして、編集点において、エンコーダへの入力は、SDI入力に切り替えられて、SDI信号が続けてエンコードされる。
【０００７】
すなわち、編集点よりも、エンコード開始点が時間的に前となる。
【０００８】
次に、図２を参照して、例えば、所定のストリームに記録されている編集素材となる第1のストリームにおいて、IN点およびOUT点で定められる所定の領域に、SDI入力が上書きされるインサート編集が実行されて、編集済み状態の符号化ストリームを得る処理について説明する。
【０００９】
IN点における接続は、アセンブル編集と同様に行われる。そして、OUT点に関しては、OUT点を含むGOPの先頭において、第1の符号化ストリームのデコードが開始され、エンコーダへの入力が、編集点において、SDI信号から第1の符号化ストリームのデコーダ出力に切換えられる。そして、上述した特開２００６−６７０９５号公報に記載の編集処理における再エンコード処理と同様に、編集点を含むGOPと、必要に応じてそれに続く所定フレーム後のVBVoccupancy目標点までの再エンコード処理は、元の符号化ストリームのVBVoccupancy目標点とVBVoccupancyが連続するように定められたVBVoccupancy目標値に合致するような符号化が実行されるように、発生符号量が合わせ込まれる。
【００１０】
インサート編集においても、アセンブル編集と同様にIN点においては、編集点よりも、エンコード開始点が時間的に前であり、また、OUT点においては、編集点よりも、VBVoccupancy合わせ込みエンコード処理の開始点が、時間的に前にある。そして、再エンコードされない第１の符号化ストリームとの接続点は、編集点であるOUT点よりも時間的に後ろである。
【００１１】
すなわち、インサート編集において、元の符号化ストリームにデータが上書きされる領域は、IN点およびOUT点により定められる範囲よりも広い領域である。
【００１２】
アセンブル編集であっても、インサート編集であっても、編集点を含むGOPのエンコードは、編集点前のGOP切れ目からパラメータが設定されている必要があるため、編集点が予め決まっていない場合、デコードおよびエンコードを開始することはできない。
【００１３】
そこで、ベースバンド入力を独立にエンコードして第２の符号化ストリームを生成し、上述した特開２００６−６７０９５号公報に記載の編集処理と同様の、ストリーム同士の編集に帰着させる場合について、図３を用いて説明する。
【００１４】
編集点を決めるためのモニタリングは、第１の符号化ストリームのデコード出力、及びベースバンド信号であるSDI入力を用いるが、これらのベースバンド信号は、編集点を決めるためだけに独立して用いられる。これらの映像をモニタリングしたオペレータから指令された編集点に基づいて、表示から遅れて、上述した特開２００６−６７０９５号公報に記載の編集処理と同様のストリーム同士の編集処理、すなわち、第１の符号化ストリームおよび第２の符号化ストリームのデコードおよび再エンコードが実行される。
【発明の開示】
【発明が解決しようとする課題】
【００１５】
このように、上述した特許文献１に記載の従来の編集処理と再符号化を実行する場合、編集点が予め決まっていなければ、編集素材となる符号化ストリームの再エンコード範囲をできるだけ少なくするように、編集に用いる符号化ストリームのデコードおよび再エンコードが必要な最小の範囲を決めることができなかった。
【００１６】
したがって、ベースバンド信号をそのまま編集符号化の素材として利用しようとした場合、任意の編集点に対し、圧縮は時間軸を前に遡って開始する必要があるので、図３を用いて説明した編集処理では、オペレータのモニタリングに対して編集結果がエンコードされるのに時間がかかってしまう。
【００１７】
また、上述した特許文献１に記載の従来の編集符号化を実行するためには、ベースバンド信号に対して、圧縮を２度かけることになってしまい、画質的にも、時間的にも不利である。また、ベースバンド入力信号を編集前に圧縮する必要があるので、その圧縮信号を一時保持するための大きな記録領域を有するメモリなどが必要となる。
【００１８】
本発明はこのような状況に鑑みてなされたものであり、例えば、MPEG LongGOPで符号化されて記録されているストリームデータに対して、ベースバンド入力された動画信号を接続または上書きする編集処理を行う場合に、編集素材の映像をオペレータがモニタしながら編集点を決定し、従来よりも早く編集結果を構成するストリームデータを得ることができるとともに、編集結果の画像劣化を少なくすることができるようにするものである。
【課題を解決するための手段】
【００１９】
本発明の第１の側面の情報処理装置は、編集処理を実行する情報処理装置であって、ベースバンド画像データを所定の符号化範囲ごとに符号化する符号化手段と、第１の映像信号および第２の映像信号を参照するユーザによる編集点を指令する操作入力に基づいて、前記符号化手段に供給されるベースバンド画像データを、前記第１の映像信号と前記第２の映像信号とでスイッチングするスイッチング手段と、前記第１の映像信号および前記第２の映像信号を参照するユーザによる編集点を指令する操作入力に基づいて、前記符号化手段により符号化された前記第１の映像信号のうち、前記第１の映像信号から前記第２の映像信号に切換えられる前記編集点を含まない、前記編集点よりも前の前記符号化範囲の符号化データを編集後の符号化ストリームとして選択しないように、編集後の符号化ストリームの生成を制御する編集データ制御手段とを備える。
【００２０】
前記第１の映像信号は、符号化ストリームが復号されて得られるベースバンドの映像信号であり、前記第２の映像信号は、ベースバンドの映像信号として入力された信号であるものとすることができる。
【００２１】
前記符号化手段による符号化処理を制御する符号化制御手段を更に備えさせるようにすることができ、前記符号化制御手段には、前記第１の映像信号に対応する符号化ストリームの再符号化の開始箇所と終了箇所において、再符号化された部分の仮想バッファ占有量と再符号化されていない部分の仮想バッファ占有量が連続性を有するように、前記第１の映像信号の符号化を制御させるようにすることができる。
【００２２】
前記符号化制御手段には、前記第１の映像信号のうち、前記第２の映像信号から前記第１の映像信号に切換えられる前記編集点を含む前記符号化範囲の次の前記符号化範囲以降において、再符号化された部分の仮想バッファ占有量と再符号化されていない部分の仮想バッファ占有量が連続性を有するように、前記第１の映像信号の符号化を制御させるようにすることができる。
【００２３】
前記符号化手段による符号化処理の範囲を決定する符号化範囲決定手段を更に備えさせるようにすることができ、前記符号化範囲決定手段には、前記第２の映像信号から前記第１の映像信号に切換えられる前記編集点を含む前記符号化範囲の次の前記符号化範囲以降において、再符号化された部分の仮想バッファ占有量と再符号化されていない部分の仮想バッファ占有量が連続性を有するように、前記符号化手段による前記第１の映像信号の符号化を実行可能であるように、前記符号化手段による前記第１の映像信号の再符号化の終了位置を決定させるようにすることができる。
【００２４】
前記第１の映像信号に対応する符号化ストリームには、フレームごとのゼロスタッフに関する情報が付随されているものとすることができる。
【００２５】
前記符号化制御手段には、前記第１の映像信号に対応する符号化ストリームに付随されている前記ゼロスタッフに関する情報に基づいて、前記第１の映像信号のうち、前記第２の映像信号から前記第１の映像信号に切換えられる前記編集点を含む前記符号化範囲の次の前記符号化範囲以降において、仮想バッファ占有量におけるゼロスタッフ分の調整により、再符号化された部分の仮想バッファ占有量と再符号化されていない部分の仮想バッファ占有量が連続性を有するように、前記第１の映像信号の符号化を制御させるようにすることができる。
【００２６】
本発明の第１の側面の情報処理方法は、編集処理を実行する情報処理装置の情報処理方法であって、ベースバンド画像データを所定の符号化範囲ごとに符号化し、第１の映像信号および第２の映像信号を参照するユーザによる編集点を指令する操作入力に基づいて、符号化されるベースバンド画像データを、前記第１の映像信号と前記第２の映像信号とでスイッチングし、前記第１の映像信号および前記第２の映像信号を参照するユーザによる編集点を指令する操作入力に基づいて、符号化された前記第１の映像信号のうち、前記第１の映像信号から前記第２の映像信号に切換えられる前記編集点を含まない、前記編集点よりも前の前記符号化範囲の符号化データを編集後の符号化ストリームとして選択しないように、編集後の符号化ストリームの生成を制御するステップを含む。
【００２７】
本発明の第１の側面のプログラムは、編集処理の制御をコンピュータに実行させるためのプログラムであって、ベースバンド画像データを所定の符号化範囲ごとに符号化する処理を制御し、第１の映像信号および第２の映像信号を参照するユーザによる編集点を指令する操作入力に基づいて、符号化されるベースバンド画像データを、前記第１の映像信号と前記第２の映像信号とでスイッチングする処理を制御し、前記第１の映像信号および前記第２の映像信号を参照するユーザによる編集点を指令する操作入力に基づいて、符号化された前記第１の映像信号のうち、前記第１の映像信号から前記第２の映像信号に切換えられる前記編集点を含まない、前記編集点よりも前の前記符号化範囲の符号化データを編集後の符号化ストリームとして選択しないように、編集後の符号化ストリームの生成を制御するステップを含む処理をコンピュータに実行させる。
【００２８】
本発明の第１の側面においては、ベースバンド画像データが所定の符号化範囲ごとに符号化され、第１の映像信号および第２の映像信号を参照するユーザによる編集点を指令する操作入力を受け、符号化されるベースバンド画像データが、第１の映像信号と第２の映像信号とでスイッチングされ、ユーザによる編集点を指令する操作入力に基づいて、符号化された第１の映像信号のうち、編集点を含まない、編集点よりも前の符号化範囲の符号化データを編集後の符号化ストリームとして選択しないように、編集後の符号化ストリームが生成される。
【００２９】
本発明の第２の側面の情報処理装置は、編集処理を実行する情報処理装置であって、ベースバンド画像データを所定の符号化範囲ごとに符号化する符号化手段と、第１の映像信号および第２の映像信号を参照するユーザによる編集点を指令する操作入力に基づいて、前記符号化手段に供給されるベースバンド画像データを、前記第１の映像信号にと前記第２の映像信号とでスイッチングするスイッチング手段と、前記スイッチング手段によりスイッチングされて前記符号化手段に供給されるベースバンド画像データを所定時間遅延させる遅延手段とを備える。
【００３０】
前記所定の符号化範囲に含まれるフレーム数の上限値をN（Nは、正の整数）とすることができ、前記遅延手段には、1コマンド遅延分とパラメータ演算のために必要な時間に対応するフレーム数をαとしたとき、前記符号化手段に供給されるベースバンド画像データをＮ＋αフレームの処理時間だけ遅延させるようにすることができる。
【００３１】
前記所定の符号化範囲に含まれるフレーム数の上限値をN（Nは、正の整数）とすることができ、前記遅延手段には、1コマンド遅延分とパラメータ演算のために必要な時間に対応するフレーム数をβとしたとき、前記符号化手段に供給されるベースバンド画像データを（Ｎ−１）＋βフレームの処理時間だけ遅延させるようにすることができる。
【００３２】
前記所定の符号化範囲に含まれるフレーム数の上限値をN（Nは、正の整数）とすることができ、前記所定の符号化範囲に含まれるフレーム数の下限値をN´（N´は、正の整数）とすることができ、前記遅延手段には、1コマンド遅延分とパラメータ演算のために必要な時間に対応するフレーム数をβとしたとき、前記符号化手段に供給されるベースバンド画像データを（Ｎ＋Ｎ´−１）＋βフレームの処理時間だけ遅延させるようにすることができる。
【００３３】
前記符号化手段には、前記第１の映像信号に対応する符号化ストリームの再符号化の開始箇所と終了箇所において、再符号化された部分の仮想バッファ占有量と再符号化されていない部分の仮想バッファ占有量が連続性を有するまで、前記第２の映像信号から前記第１の映像信号に切換えられる前記編集点を含む前記符号化範囲およびそれに続く所定フレーム数の前記第１の映像信号の符号化をくりかえさせるようにすることができ、前記所定の符号化範囲に含まれるフレーム数の上限値をN（Nは、正の整数）とすることができ、前記所定の符号化範囲に続いて前記符号化手段により符号化される前記所定フレームの数をM（Mは、正の整数）とすることができ、前記遅延手段には、前記符号化手段に供給されるベースバンド画像データを（Ｎ＋Ｍ＋１）フレームの処理時間だけ遅延させるようにすることができる。
【００３４】
前記第１の符号化手段に供給される前記第１の映像信号に対応するベースバンド画像データを符号化する第２の符号化手段を更に備えさせるようにすることができる。
【００３５】
前記第１の符号化手段による符号化処理を制御する制御手段を更に備えさせるようにすることができ、前記第１の符号化手段には、前記制御手段による制御に基づいて、前記編集点を含む所定の区間の符号化処理を行わせるようにすることができ、前記第２の符号化手段には、前記第１の符号化手段により符号化される前記所定の区間の符号化終了予定点に対応する終了予定点対応フレームの符号化の結果得られる仮想バッファ占有量、および、符号化のＧＯＰ位相を前記制御手段に通知させるようにすることができ、前記制御手段には、前記第２の符号化手段による通知に基づいて、前記第２の符号化手段による符号化のＧＯＰ位相に合致するように、かつ、前記所定の区間の符号化終了予定点の仮想バッファ占有量の目標値が、前記第２の符号化手段による前記終了予定点対応フレームの符号化の結果得られる仮想バッファ占有量となるように、前記第１の符号化手段による符号化処理を制御させるようにすることができる。
【００３６】
前記所定の符号化範囲に含まれるフレーム数の上限値をN（Nは、正の整数）とさせるようにすることができ、前記制御手段が、前記第２の符号化手段による通知に基づいて、前記第１の符号化手段による符号化処理のパラメータを演算するために必要な時間と1コマンド遅延分との和に対応するフレーム数をａ（aは、正の整数）とさせるようにすることができ、前記第２の符号化手段に前記終了予定点対応フレームが入力されてから、前記制御手段が前記第２の符号化手段による前記通知を取得するまでにかかる時間に対応するフレーム数をｂ（ｂは、正の整数）とさせるようにすることができ、前記遅延手段には、前記第１の符号化手段に供給されるベースバンド画像データを（２Ｎ＋２＋ａ＋ｂ）フレームの処理時間だけ遅延させるようにすることができる。
【００３７】
本発明の第２の側面の情報処理方法は、編集処理を実行する情報処理装置の情報処理方法であって、第１の映像信号および第２の映像信号を参照するユーザによる編集点を指令する操作入力に基づいて、符号化されるベースバンド画像データを、前記第１の映像信号にと前記第２の映像信号とでスイッチングし、スイッチングされた前記ベースバンド画像データを符号化の前に所定時間遅延したのち、ベースバンド画像データを所定の符号化範囲ごとに符号化するステップを含む。
【００３８】
本発明の第２の側面のプログラムは、編集処理の制御をコンピュータに実行させるためのプログラムであって、第１の映像信号および第２の映像信号を参照するユーザによる編集点を指令する操作入力に基づいて、符号化されるベースバンド画像データを、前記第１の映像信号にと前記第２の映像信号とでスイッチングするように符号化部へのデータの供給を制御し、スイッチングされた前記ベースバンド画像データを符号化の前に所定時間遅延したのち、ベースバンド画像データが所定の符号化範囲ごとに符号化されるように、符号化処理を制御するステップを含む処理をコンピュータに実行させる。
【００３９】
本発明の第２の側面においては、第１の映像信号および第２の映像信号を参照するユーザによる編集点を指令する操作入力を受け、符号化されるベースバンド画像データを、前記第１の映像信号にと前記第２の映像信号とでスイッチングさせ、スイッチングされた前記ベースバンド画像データを符号化の前に所定時間遅延させ、ベースバンド画像データを所定の符号化範囲ごとに符号化させる。
【００４０】
編集装置は、独立した装置であっても良いし、記録装置、記録再生装置、または、情報処理装置の編集処理を行うブロックであっても良い。
【発明の効果】
【００４１】
以上のように、本発明の第１の側面によれば、編集処理を行うことができ、特に、ベースバンド入力された動画信号を接続または上書きする編集処理を行う場合に、編集素材の映像をオペレータがモニタしながら編集点を決定した後、従来よりも早く編集結果を構成するストリームデータを得ることができるとともに、画像劣化を少なくすることができる。
【００４２】
また、本発明の第２の側面によれば、編集処理を行うことができ、特に、ベースバンド入力された動画信号を接続または上書きする編集処理を行う場合に、編集素材の映像をオペレータがモニタしながら編集点を決定した後、従来よりも早く編集結果を構成するストリームデータを得ることができるとともに、画像劣化を少なくすることができる。
【発明を実施するための最良の形態】
【００４３】
以下に本発明の実施の形態を説明するが、本発明の構成要件と、明細書または図面に記載の実施の形態との対応関係を例示すると、次のようになる。この記載は、本発明をサポートする実施の形態が、明細書または図面に記載されていることを確認するためのものである。従って、明細書または図面中には記載されているが、本発明の構成要件に対応する実施の形態として、ここには記載されていない実施の形態があったとしても、そのことは、その実施の形態が、その構成要件に対応するものではないことを意味するものではない。逆に、実施の形態が構成要件に対応するものとしてここに記載されていたとしても、そのことは、その実施の形態が、その構成要件以外の構成要件には対応しないものであることを意味するものでもない。
【００４４】
本発明の第１の側面の情報処理装置は、編集処理を実行する情報処理装置であって、ベースバンド画像データを所定の符号化範囲（例えば、GOP）ごとに符号化する符号化手段（例えば、図１９のエンコーダ６０）と、第１の映像信号および第２の映像信号を参照するユーザによる編集点を指令する操作入力に基づいて、前記符号化手段に供給されるベースバンド画像データを、前記第１の映像信号と前記第２の映像信号とでスイッチングするスイッチング手段（例えば、図１９のスイッチ/エフェクト５８）と、前記第１の映像信号および前記第２の映像信号を参照するユーザによる編集点を指令する操作入力に基づいて、前記符号化手段により符号化された前記第１の映像信号のうち、前記第１の映像信号から前記第２の映像信号に切換えられる前記編集点を含まない、前記編集点よりも前の前記符号化範囲の符号化データを編集後の符号化ストリームとして選択しないように、編集後の符号化ストリームの生成を制御する編集データ制御手段（例えば、図２０の編集後ストリーム選択部１４４）とを備える。
【００４５】
前記符号化手段による符号化処理を制御する符号化制御手段（例えば、図２０のエンコード制御部９３）を更に備えることができ、前記符号化制御手段は、前記第１の映像信号に対応する符号化ストリームの再符号化の開始箇所と終了箇所において、再符号化された部分の仮想バッファ占有量（例えば、ＶＢＶ占有量）と再符号化されていない部分の仮想バッファ占有量が連続性を有するように、前記第１の映像信号の符号化を制御することができる。
【００４６】
前記符号化制御手段は、前記第１の映像信号のうち、前記第２の映像信号から前記第１の映像信号に切換えられる前記編集点を含む前記符号化範囲の次の前記符号化範囲以降において、再符号化された部分の仮想バッファ占有量（例えば、ＶＢＶ占有量）と再符号化されていない部分の仮想バッファ占有量が連続性を有するように、前記第１の映像信号の符号化を制御することができる。
【００４７】
前記符号化手段による符号化処理の範囲を決定する符号化範囲決定手段（例えば、図２０の再エンコード範囲決定部１４２）を更に備えることができ、前記符号化範囲決定手段は、前記第２の映像信号から前記第１の映像信号に切換えられる前記編集点を含む前記符号化範囲の次の前記符号化範囲以降において、再符号化された部分の仮想バッファ占有量（例えば、ＶＢＶ占有量）と再符号化されていない部分の仮想バッファ占有量が連続性を有するように、前記符号化手段による前記第１の映像信号の符号化を実行可能であるように、前記符号化手段による前記第１の映像信号の再符号化の終了位置を決定することができる。
【００４８】
本発明の第１の側面の情報処理方法は、編集処理を実行する情報処理装置の情報処理方法であって、ベースバンド画像データを所定の符号化範囲（例えば、GOP）ごとに符号化し（例えば、図３０のステップＳ６５の処理）、第１の映像信号および第２の映像信号を参照するユーザによる編集点を指令する操作入力に基づいて、符号化されるベースバンド画像データを、前記第１の映像信号と前記第２の映像信号とでスイッチングし（例えば、図３１のステップＳ６９の処理）、前記第１の映像信号および前記第２の映像信号を参照するユーザによる編集点を指令する操作入力に基づいて、符号化された前記第１の映像信号のうち、前記第１の映像信号から前記第２の映像信号に切換えられる前記編集点を含まない、前記編集点よりも前の前記符号化範囲の符号化データを編集後の符号化ストリームとして選択しないように、編集後の符号化ストリームの生成を制御する（例えば、図３０のステップＳ６７の処理）ステップを含む。
【００４９】
本発明の第１の側面のプログラムは、編集処理の制御をコンピュータに実行させるためのプログラムであって、ベースバンド画像データを所定の符号化範囲（例えば、GOP）ごとに符号化する処理を制御し（例えば、図３０のステップＳ６５の処理）、第１の映像信号および第２の映像信号を参照するユーザによる編集点を指令する操作入力に基づいて、符号化されるベースバンド画像データを、前記第１の映像信号と前記第２の映像信号とでスイッチングする処理を制御し（例えば、図３１のステップＳ６９の処理）、前記第１の映像信号および前記第２の映像信号を参照するユーザによる編集点を指令する操作入力に基づいて、符号化された前記第１の映像信号のうち、前記第１の映像信号から前記第２の映像信号に切換えられる前記編集点を含まない、前記編集点よりも前の前記符号化範囲の符号化データを編集後の符号化ストリームとして選択しないように、編集後の符号化ストリームの生成を制御する（例えば、図３０のステップＳ６７の処理）ステップを含む処理をコンピュータに実行させる。
【００５０】
本発明の第２の側面の情報処理装置は、編集処理を実行する情報処理装置（例えば、図４の編集装置３１または図３２の編集装置１７１）であって、ベースバンド画像データを所定の符号化範囲（例えば、GOP）ごとに符号化する符号化手段（例えば、図４または図３２のエンコーダ６０）と、第１の映像信号および第２の映像信号を参照するユーザによる編集点を指令する操作入力に基づいて、前記符号化手段に供給されるベースバンド画像データを、前記第１の映像信号にと前記第２の映像信号とでスイッチングするスイッチング手段（例えば、図４または図３２のスイッチ/エフェクト５８）と、前記スイッチング手段によりスイッチングされて前記符号化手段に供給されるベースバンド画像データを所定時間遅延させる遅延手段（例えば、図４または図３２のフレームバッファ５９）とを備える。
【００５１】
前記第１の符号化手段に供給される前記第１の映像信号に対応するベースバンド画像データを符号化する第２の符号化手段（例えば、図３２のエンコーダ１８３）を更に備えさせるようにすることができる。
【００５２】
前記第１の符号化手段による符号化処理を制御する制御手段（例えば、図３２のＣＰＵ１８２）を更に備えさせるようにすることができ、前記第１の符号化手段には、前記制御手段による制御に基づいて、前記編集点を含む所定の区間（例えば、ブリッジクリップ）の符号化処理を行わせるようにすることができ、前記第２の符号化手段には、前記第１の符号化手段により符号化される前記所定の区間の符号化終了予定点に対応する終了予定点対応フレームの符号化の結果得られる仮想バッファ占有量、および、符号化のＧＯＰ位相を前記制御手段に通知させるようにすることができ、前記制御手段には、前記第２の符号化手段による通知に基づいて、前記第２の符号化手段による符号化のＧＯＰ位相に合致するように、かつ、前記所定の区間の符号化終了予定点の仮想バッファ占有量の目標値が、前記第２の符号化手段による前記終了予定点対応フレームの符号化の結果得られる仮想バッファ占有量となるように、前記第１の符号化手段による符号化処理を制御させるようにすることができる。
【００５３】
本発明の第２の側面の情報処理方法は、編集処理を実行する情報処理装置の情報処理方法であって、第１の映像信号および第２の映像信号を参照するユーザによる編集点を指令する操作入力に基づいて、符号化されるベースバンド画像データを、前記第１の映像信号にと前記第２の映像信号とでスイッチングし（例えば、図１７のステップＳ１６の処理）、スイッチングされた前記ベースバンド画像データを符号化の前に所定時間遅延したのち、ベースバンド画像データを所定の符号化範囲（例えば、GOP）ごとに符号化する（例えば、図１７のステップＳ１８の処理）ステップを含む。
【００５４】
本発明の第２の側面のプログラムは、編集処理の制御をコンピュータに実行させるためのプログラムであって、第１の映像信号および第２の映像信号を参照するユーザによる編集点を指令する操作入力に基づいて、符号化されるベースバンド画像データを、前記第１の映像信号にと前記第２の映像信号とでスイッチングするように符号化部へのデータの供給を制御し（例えば、図１７のステップＳ１６の処理）、スイッチングされた前記ベースバンド画像データを符号化の前に所定時間遅延したのち、ベースバンド画像データが所定の符号化範囲（例えば、GOP）ごとに符号化されるように、符号化処理を制御する（例えば、図１７のステップＳ１８の処理）ステップを含む処理をコンピュータに実行させる。
【００５５】
以下、図を参照して、本発明の実施の形態について説明する。
【００５６】
図４を参照して、本発明の第１の実施の形態である編集装置３１の構成について説明する。
【００５７】
CPU（Central Processing Unit）４１は、ノースブリッジ４２に接続され、例えば、HDD（Hard disk Drive）４６または記録メディア４８に記録されているデータの読み出しなどの処理を制御したり、CPU５２が実行する編集処理を制御するための制御信号やコマンドを生成して出力したりする。ノースブリッジ４２は、PCIバス（Peripheral Component Interconnect/Interface）４４に接続され、例えば、CPU４１の制御に基づいて、サウスブリッジ４５を介して、HDD４６または記録メディア４８に記録されているデータの供給を受けて、PCIバス４４、PCIブリッジ４９を介して、メモリ５０、デコーダ５４、またはデコーダ５５に供給する。また、ノースブリッジ４２は、メモリ４３とも接続されており、CPU４１の処理に必要なデータを授受する。
【００５８】
メモリ４３は、CPU４１が実行する処理に必要なデータを保存する。サウスブリッジ４５は、HDD４６のデータの書き込みおよび読み出しを制御する。HDD４６には、記録メディア４８に記録されている圧縮符号化されたインサート編集の対象となる圧縮映像データ（以下、適宜、下地データも称する）の所定の位置に挿入される圧縮映像データ（以下、適宜、上書きデータとも称する）が記録される。
【００５９】
また、サウスブリッジ４５には、ドライブ４７が接続されており、ドライブ４７は、記録メディア４８から下地データを読み出したり、サウスブリッジ４５から供給された下地データや上書きデータを記録メディア４８に記録したりする。記録メディア４８は、例えば、磁気ディスク、光ディスク、光磁気ディスク、或いは半導体メモリなどからなり、インサート編集の対象となる下地データを記録している。
【００６０】
PCIブリッジ４９は、デコーダ５４、デコーダ５５への圧縮映像データの供給や、エンコーダ６０から供給される編集後の圧縮映像データの取得を制御するとともに、メモリ５０のデータの書き込みおよび読み出しを制御したり、PCIバス４４およびコントロールバス５１のデータの授受を制御する。メモリ５０は、PCIブリッジ４９の制御に基づいて、HDD４６または記録メディア４８より読み出された編集素材の符号化ストリームや、エンコーダ６０から供給される編集後の圧縮映像データを記憶する。
【００６１】
CPU５２は、ノースブリッジ４２、PCIバス４４、PCIブリッジ４９、およびコントロールバス５１を介して、CPU４１から供給された制御信号やコマンドにしたがって、PCIブリッジ４９、デコーダ５４乃至デコーダ５６、スイッチ５７、スイッチ/エフェクト５８、エンコーダ６０、およびスイッチ６２が実行する処理を制御する。メモリ５３は、CPU５２の処理に必要なデータを記憶する。
【００６２】
デコーダ５４乃至デコーダ５６は、CPU５２の制御に基づいて、供給された圧縮映像データをデコードし、非圧縮の映像信号（ベースバンドの画像データ）を出力する。また、デコーダ５４乃至デコーダ５６は、編集装置３１に含まれない独立した装置として設けられていても良い。例えば、デコーダ５６が、独立した装置として設けられている場合、デコーダ５６は、後述する処理により編集されて生成された圧縮映像データの供給を受け、復号し、出力することができるようになされる。デコーダ５４の出力は、図示しない第１のモニタに出力されて表示される。
【００６３】
スイッチ５７は、CPU５２の制御に基づいて、デコーダ５５から供給されたベースバンドの画像データと、入力端子６１を介して入力されるベースバンドの画像データとのいずれかをスイッチ/エフェクトに供給する。スイッチ５７の図示しない第２のモニタに出力されて表示される。
【００６４】
スイッチ/エフェクト５８は、CPU５２の制御に基づいて、デコーダ５４、または、スイッチ５７を介して、デコーダ５５もしくは入力端子６１から非圧縮の映像信号の供給を受け、CPU５２の制御に基づいて、供給される非圧縮の映像信号の出力を切り替える。すなわち、スイッチ/エフェクト５８は、供給された非圧縮の映像信号を所定のフレームで結合するとともに、必要に応じて所定の範囲にエフェクトを施して、フレームバッファ(frame buffer)５９に供給する。
【００６５】
フレームバッファ５９は、供給されたベースバンド画像データを所定の一定期間だけ保持し、エンコーダ６０に供給する。フレームバッファ５９によるバッファリングの期間については後述する。
【００６６】
エンコーダ６０は、CPU５２の制御に基づいて、供給された非圧縮の映像信号をエンコードする。すなわちエンコーダ６０は、非圧縮の映像信号をエンコードすることにより、編集後の符号化ストリームを生成する。
【００６７】
スイッチ６２は、CPU５２の制御に基づいて、スイッチ/エフェクト５８から出力されるベースバンド画像信号、または、デコーダ５６によってデコードされたベースバンド画像信号のいずれかを、外部の図示しない第３のモニタに出力して表示させる。
【００６８】
また、入力端子６１からは、ベースバンドの画像データであるＳＤＩ信号が入力され、スイッチ５７を介してスイッチ/エフェクト５８に供給される。
【００６９】
このように、編集装置３１においては、エンコーダ６０の入力の前段にフレームバッファ５９が挿入されている。これに対して、第１のモニタに出力されるデコーダ５４の出力、および、第２のモニタに出力されるスイッチ５７の入力は、フレームバッファ５９による遅延前のデータである。すなわち、オペレータが第１のモニタおよび第２のモニタにより確認する編集素材の映像に対して、エンコーダ６０への入力は、一定時間遅延したものとなる。
【００７０】
図５乃至図１５を参照して、編集装置３１において編集が実行される場合に、フレームバッファ５９によるバッファリングによって発生するエンコーダ６０への入力信号の遅延時間、および、編集装置３１の各部の動作について説明する。
【００７１】
図５に示されるように、編集素材である符号化ストリームは、デコーダ５４に入力されてデコードされ、そのデコーダ出力は、エンコーダ６０に供給される。IN点が指令されたとき、IN点を含むGOPの先頭位置において、元の符号化ストリームの同一の部分とVBVoccupancyが連続になるようにエンコードが実行される。エンコーダ６０への入力は、SDI入力に切り替えられて、SDI信号が続けてエンコードされる。
【００７２】
そして、OUT点が指令されたとき、OUT点を含むGOPの先頭において、第1の符号化ストリームのデコードが開始され、エンコーダへの入力が、編集点において、SDI信号から第1の符号化ストリームのデコーダ出力に切換えられる。そして、上述した特開２００６−６７０９５号公報に記載の編集処理における再エンコード処理と同様に、編集点を含むGOPと、必要に応じてそれに続く所定フレーム後のVBVoccupancy目標点までのエンコード処理は、元の符号化ストリームのVBVoccupancy目標点とVBVoccupancyが連続するように定められたVBVoccupancy目標値に合致するような符号化が実行されるように、発生符号量が合わせ込まれる。
【００７３】
オペレータがモニタを確認しながら編集点を決定し、その手前のGOPの切れ目から、VBVoccupancy目標値をはじめとする、正しいパラメータでエンコードを実行するためには、フレームバッファ５９によるバッファリングによって発生するエンコーダ６０への入力信号の遅延時間が、編集点決定後、設定パラメータを決めたのち、そのGOPの最初のフレームからエンコード開始するために十分な時間であればよい。
【００７４】
図６を参照して、アセンブル編集における編集点、および、インサート編集におけるIN点において必要なフレームバッファ５９のバッファ容量について説明する。
【００７５】
最大GOP長がNの場合、IN点(または編集点、以下同様)がGOPの先頭であったとき、そのGOPの先頭フレームがエンコード開始点であることから、IN点がGOP内のいずれの位置に設定されても、IN点を含むGOPの先頭からIN点までの最大のフレーム数は、（Ｎ−１）[フレーム]となる。openGOPの場合、実際のエンコードはIN点を含むGOPの先頭からであるが、参照画入力のために、エンコーダへの信号入力開始は参照画からとなるので、エンコードに参照画入力の１フレーム分の時間が必要となる。また、1コマンド遅延分とパラメータ演算のために時間を必要とするので、この時間に対応するフレーム数をα[フレーム]とすると、フレームバッファ５９のバッファ容量を（Ｎ−１）＋１＋α＝Ｎ＋α[フレーム]以上とすれば、編集点決定後、設定パラメータを決め、GOP切れ目からエンコード開始するために十分な時間だけ遅延した接続後のベースバンド画像データが、エンコーダ６０に供給される。エンコーダ６０におけるエンコードの制約条件は、エンコード開始点におけるVBVoccupancyを、再エンコードを実行しない部分と再エンコードを実行する部分とで連続させることである。
【００７６】
次に、図７を参照して、インサート編集におけるOUT点において必要なフレームバッファ５９のバッファ容量について説明する。
【００７７】
最大GOP長がNの場合、OUT点がGOP内のいずれの位置に設定されても、OUT点を含むGOPの先頭からIN点までの最大のフレーム数は、最大で（Ｎ−１）[フレーム]となる。また、1コマンド遅延分とパラメータ演算のために時間を必要とするので、この時間に対応するフレーム数をβ[フレーム]とすると、フレームバッファ５９のバッファ容量を（Ｎ−１）＋β[フレーム] 以上とすれば、編集点決定後、設定パラメータを決め、GOP切れ目からエンコード開始するために十分な時間だけ遅延した接続後のベースバンド画像データが、エンコーダ６０に供給される。
【００７８】
そして、エンコーダ６０におけるエンコードの制約条件は、OUT点を含むGOPの最後のフレームか、または、その次のGOPのIピクチャまでを、符号化ストリームの再エンコード範囲の終了点とすることと、終了点におけるVBVoccupancyを、再エンコードを実行しない部分と再エンコードを実行する部分とで連続させることができるように、VBVoccupancy目標値を設定してエンコードを行うことである。
【００７９】
OUT点が、インサート処理における下地となっている符号化ストリームにおけるGOP切れ目と重なっていた場合、OUT点のVBVoccupancyをVBVoccupancy目標値としてエンコードが行われる。OUT点が、インサート処理における挿入部分に対応するベースバンド入力データを符号化したときのGOP切れ目と重なっていた場合、OUT点から次のGOPの切れ目までの間を１GOPとして、そのGOPの終端でVBVoccupancyが連続するように、エンコードが実行される。
【００８０】
また、アセンブル編集における編集点や、IN点では、上書きデータまたは接続されるデータであるベースバンド入力データのエンコード処理において、任意に最大GOP長(N)以下となるようにGOPを設定してエンコードしていけばよいが、OUT点を含むGOP（OUT点がGOPの切れ目のときは、その次のGOP）では、再エンコードされない場合の元の符号化ストリームにおけるGOP切れ目に合わせてGOPを設定してエンコードを行う必要がある。
【００８１】
OUT点を含むGOPを構成するフレームの数は、GOPの最大フレーム数の設定枚数を超えてはならないし、符号化効率が落ち、画質に影響を及ぼす可能性があるため、極端に短いGOPが発生することも避けたい。
【００８２】
そこで、インサートされた部分の符号化結果におけるOUT点を含むGOPと、下地となっている符号化ストリームにおけるOUT点後のGOPが、最大GOP数Nを超えている場合、図９に示されるように、その部分は、２つのGOPに分割されるように、エンコーダ６０においてエンコードされる。
【００８３】
このような処理により、OUT点を含むGOPに含まれているフレーム数が必ずN以下になるようにすれば、フレームバッファ５９のバッファ容量として、上述した値を用いることにより、オペレータがモニタに表示される編集素材を確認しながら所望の位置で編集点（IN点またはOUT点）を指令するような場合に、従来と比較して、画質を劣化させずに、迅速に編集処理を行うことが可能となる。
【００８４】
また、符号化効率を落とさないために必要な、１GOPに含まれるフレーム数の最小値をN´としたとき、OUT点を含むGOPのフレーム数が、N'に満たない場合は、その前後どちらかのGOPと結合し、結合されたGOPに含まれるフレーム数がN以上となった場合には、GOPに含まれるフレーム数がN´を下回らないように再度GOPを分割することにより、それぞれのGOPに含まれるフレーム数がN´乃至Nの範囲内になるようにする。
【００８５】
例えば、OUT点を含むGOPの範囲を、時間的に先の部分、すなわち、インサート編集における下地である符号化ストリーム側に広げる場合、フレームバッファ５９のバッファ容量を、上述したように、（Ｎ−１）＋β[フレーム]とすれば、編集点決定後、設定パラメータを決め、GOP切れ目からエンコード開始するために十分な時間だけ遅延した接続後のベースバンド画像データが、エンコーダ６０に供給される。
【００８６】
これに対して、OUT点を含むGOPの範囲を、時間的に前の部分、すなわち、インサート編集における上書きデータであるベースバンドデータ側に広げる場合、フレームバッファ５９のバッファ容量を、上述したように、（Ｎ−１）＋β[フレーム]としてしまっては、遅延の時間が足らなくなってしまう恐れがある。
【００８７】
ベースバンドデータは編集処理において初めてのエンコードが施されるだけであるのに対し、下地となる符号化ストリームは、少なくとも2回目のエンコードが施されるため、画質劣化を防ぐには、OUT点を含むGOPの範囲を、時間的に前の部分、すなわち、インサート編集における上書きデータであるベースバンドデータ側に広げる方が好適である。
【００８８】
OUT点を含むGOPの範囲を、時間的に前の部分、すなわち、インサート編集における上書きデータであるベースバンドデータ側に広げることを考えるならば、フレームバッファ５９のバッファ容量を（Ｎ＋Ｎ´−１）＋β[フレーム]以上とすれば、図１１の上部に示されるように、編集点決定後、設定パラメータを決め、GOP切れ目からエンコード開始するために十分な時間だけ遅延した接続後のベースバンド画像データが、エンコーダ６０に供給される。
【００８９】
フレームバッファ５９のバッファ容量を（Ｎ＋Ｎ´−１）＋β[フレーム]以上とすれば、図１１の下部に示されるように、OUT点とGOPの切れ目とが重なってしまった場合においても、十分な時間だけ遅延した接続後のベースバンド画像データが、エンコーダ６０に供給され、終了点におけるVBVoccupancyを、再エンコードを実行しない部分と再エンコードを実行する部分とで連続させることができるように符号化処理を行うフレーム数を充分確保することが可能となる。
【００９０】
また、例えば、図１２に示されるように、インサート編集における下地である符号化ストリームの1GOP中にIN点およびOUT点がいずれも存在した場合、フレームバッファ５９のバッファ容量が（Ｎ＋Ｎ´−１）＋β[フレーム]以上であれば、OUT点が決定された時点ではまだそのGOPのエンコードは開始されていないので、編集処理を問題なく行うことが可能となる。
【００９１】
また、例えば、図１３に示されるように、インサート編集における下地である符号化ストリームにおけるOUT点を含むGOPに含まれるフレーム数が最小値のN´であったとしても、編集処理を問題なく行うことが可能となる。
【００９２】
すなわち、処理されるストリームの最大GOP長をＮ[フレーム]、最小GOP長をＮ'[フレーム]として、(コマンド遅延分＋パラメータ演算分)にかかる時間に対応するフレーム処理時間が、IN点におけるα[フレーム]分とOUT点におけるβ[フレーム]分とで等しい値であるとしたとき、フレームバッファ５９のバッファ容量を(Ｎ＋Ｎ'−１＋β)[フレーム]とすれば、編集点決定後、設定パラメータを決め、GOP切れ目からエンコード開始するために十分な時間だけ遅延した接続後のベースバンド画像データが、エンコーダ６０に供給される。
【００９３】
なお、(コマンド遅延分＋パラメータ演算分)にかかる時間に対応するフレーム処理時間が、IN点におけるα[フレーム]分とOUT点におけるβ[フレーム]分とが等しい値ではなかった場合、フレームバッファ５９のバッファ容量は、(Ｎ＋Ｎ'−１＋β)[フレーム]と(Ｎ−１＋α)[フレーム]とのうちの、いずれか大きいほうの値とすればよい。
【００９４】
なお、再エンコード区間の終了点におけるVBVoccupancyを、再エンコードを実行しない部分と再エンコードを実行する部分とで連続させるために、例えば、編集点（OUT点）を含むGOP（または、そのGOPと次のIピクチャまで）のエンコード終了時に、目標VBV占有量よりも占有量が小さくなってしまった場合は、zero stuffによってVBV占有量を連続にすることはできないため、次GOPもエンコード対象として、任意の発生符号調整方法により再エンコードが継続されるようしてもよい。
【００９５】
また、再エンコード区間の終了点におけるVBVoccupancyを、再エンコードを実行しない部分と再エンコードを実行する部分とで連続させるために、再エンコード区間の終了点におけるVBVoccupancyが、再エンコードを実行しない部分と再エンコードを実行する部分とで連続するまで、エンコードを繰り返す2-path法を用いることにより、VBVoccupancyの連続性を保障するようにしてもよい。2-path法は、エンコードの結果、VBVoccupancyが合わなかった場合、ずれ分を符号配分量から引いて新たに符号配分を設定し、VBVoccupancyが連続するまでエンコードを繰り返し行う方法である。
【００９６】
2-path法を行う場合、OUT点以降のデータ、すなわち、インサート処理における下地となっている符号化ストリームは、その都度、ＨＤＤ４６から読み出すようにしても良いが、フレームバッファ５９に必要なフレーム分がバッファリングされていれば、データの読み出しを繰り返す必要がなくなり、好適である。
【００９７】
具体的には、図１５に示されるように、VBV占有量の合わせ込みのために行うエンコードの最小フレーム数は、1GOP分のフレーム数と、次GOPのIピクチャまでのフレーム数との合計値である。従って、GOP先頭からIピクチャまでの最大数をMとすると、1GOPの最大数はNであり、エンコード時に必要となる前方参照画の1フレームを考慮すると、フレームバッファ５９のバッファ容量を（Ｎ＋Ｍ＋１）[フレーム]とすれば、フレームバッファ５９に蓄積されているベースバンド画像信号を用いて、2-path法を実行することができる。
【００９８】
したがって、2-path法を行う場合、フレームバッファ５９のバッファ容量は、(Ｎ＋Ｎ'−１＋β)[フレーム]と（Ｎ＋Ｍ＋１）[フレーム]とのうちのいずれか大きい方とすると好適である。
【００９９】
図１６に、編集装置３１のCPU４１およびCPU５２が有する機能を説明するための機能ブロック図を示す。
【０１００】
CPU４１は、パラメータ取得部８１、ユーザ入力取得部８２、IN点/OUT点決定部８３、再エンコード範囲決定部８４、および、編集処理制御部８５の機能を有しており、CPU５２は、デコード処理部９１、＃１スイッチ制御部９２、エンコード処理部９３、および、＃２スイッチ制御部９４の機能を有している。
【０１０１】
パラメータ取得部８１は、フレームバッファ５９のバッファ容量などの編集装置３１において予め決まっているパラメータや、編集される符号化ストリームまたはベースバンド画像データに関するGOP位相やVBV占有量など、処理に必要な各種パラメータを取得する。
【０１０２】
ユーザ入力取得部８２は、図示しない操作入力部から供給される、IN点(編集点を含む)およびOUT点の指令を取得する。
【０１０３】
IN点/OUT点決定部８３は、ユーザ入力取得部８２から供給されたユーザの操作入力と、パラメータ取得部により取得された各種パラメータを基に、編集におけるIN点(編集点を含む)およびOUT点を決定し、編集処理制御部８５に供給する。ここでは、第１のモニタおよび第２のモニタにより編集素材の映像を確認するオペレータが入力したIN点およびOUT点の指令のタイミングで、略リアルタイムに、スイッチ/エフェクト５８のスイッチが切換えられて、フレームバッファ５９に出力されるデータが切換えられるものとする。
【０１０４】
再エンコード範囲決定部８４は、ユーザ入力取得部８２から供給されたユーザの操作入力と、パラメータ取得部により取得された各種パラメータ、並びに、IN点/OUT点決定部８３により決定されたIN点およびOUT点を基に、インサート処理における下地となっている符号化ストリームの再エンコード範囲を決定し、編集処理制御部８５に供給する。
【０１０５】
編集処理制御部８５は、IN点/OUT点決定部８３により決定されたIN点およびOUT点、並びに、再エンコード範囲決定部８４より決定された下地となっている符号化ストリームの再エンコード範囲を基に、デコーダ５４乃至デコーダ５６、スイッチ５７、スイッチ/エフェクト５８、エンコーダ６０、および、スイッチ６２の動作を制御するためのコマンドなどを生成し、ノースブリッジ４２、ＰＣＩバス４４、ＰＣＩブリッジ４９、および、コントロールバス５１を介して、生成したコマンドをＣＰＵ５２に供給する。
【０１０６】
デコード処理部９１は、編集処理制御部８５から供給されたコマンドに基づいて、デコーダ５４乃至デコーダ５６の動作を制御する。
【０１０７】
＃１スイッチ制御部９２は、スイッチ/エフェクト５８の動作を制御して、編集点において、ストリームバッファ５９に出力するデータを切換えて、データを接続させる。
【０１０８】
エンコード処理部９３は、編集処理制御部８５から供給されたコマンドに基づいて、エンコーダ６０の動作を制御する。
【０１０９】
＃２スイッチ制御部９４は、スイッチ５７を制御して、スイッチ／エフェクト５８に供給される、例えば、上書き用のデータの切り替えを制御する。
【０１１０】
次に、図１７および図１８のフローチャートを参照して、編集装置３１が実行する編集処理１について説明する。
【０１１１】
ステップＳ１１において、CPU４１は、HDD（Hard disk Drive）４６または記録メディア４８に記録されている下地の符号化ストリームを読み出し、ノースブリッジ４２およびPCIバス４４を介して、PCIブリッジ４９に供給する。CPU５２は、供給された下地の符号化ストリームを、必要に応じて、一旦メモリ５０に蓄積した後、デコーダ５４に供給する。デコーダ５４は、デコード制御部９１の制御に基づいて、供給された下地の符号化ストリームのデコードを開始し、デコードされて生成されたベースバンド信号を、スイッチ/エフェクト５８に供給する。
【０１１２】
ステップＳ１２において、モニタ１およびモニタ２は、遅延前の編集素材の表示を開始し、モニタ３は、スイッチ/エフェクト５８の出力、すなわち、遅延前の編集結果の表示を開始する。オペレータは、モニタ１およびモニタ２に表示される映像を観測し、信号を切替えたいタイミングを図示しない操作入力部により指令する。
【０１１３】
ステップＳ１３において、CPU４１のパラメータ取得部８１は、下地の符号化ストリームに関するGOP位相情報を取得し、IN点/OUT点決定部８３および再エンコード範囲決定部８４に供給する。これにより、CPU４１は、下地の符号化ストリームのGOPの切れ目を検出することができる。また、CPU４１は、フレームバッファ５９のバッファ容量も認識しているので、エンコーダ６０による再エンコードの開始タイミングを制御することが可能となる。
【０１１４】
ステップＳ１４において、パラメータ取得部８１は、下地の符号化ストリームに関する、GOP切れ目でのVBV占有量を取得し、IN点/OUT点決定部８３および再エンコード範囲決定部８４に供給する。これにより、例えば、上述した特開２００６−６７０９５号公報に記載の技術やその他の公知の技術を用いて、VBVoccupancyを、再エンコードを実行しない部分と再エンコードを実行する部分とで連続させることが可能となる。
【０１１５】
ステップＳ１５において、ユーザ入力取得部８２は、フレームバッファ５９およびエンコーダ６０への入力信号を下地の符号化ストリームに対応するベースバンド信号から入力端子６１より供給されるベースバンド信号に切替える様に操作入力を受けたか否かを判断する。
【０１１６】
ステップＳ１５において、フレームバッファ５９およびエンコーダ６０への入力信号を切換える操作入力を受けていないと判断された場合、操作入力を受けたと判断されるまで、ステップＳ１５の処理が繰り返される。
【０１１７】
ステップＳ１５において、フレームバッファ５９およびエンコーダ６０への入力信号を切換える操作入力を受けたと判断された場合、ステップＳ１６において、IN点/OUT点決定部８３は、編集におけるIN点を決定し、編集処理制御部８５に供給する。編集処理制御部８５は、CPU５２の＃１スイッチ制御部９２を制御するための制御信号を生成し、CPU５２に供給する。CPU５２の＃１スイッチ制御部９２は、スイッチ/エフェクト５８の動作を制御して、編集点において出力するデータを切換えて、フレームバッファ５９およびエンコーダ６０への入力信号を下地の符号化ストリームに対応するベースバンド信号から入力端子６１より供給されるベースバンド信号に切替える、すなわち、下地の符号化ストリームに対応するベースバンド信号と入力端子６１より供給されるベースバンド信号を接続させる。フレームバッファ５９では、供給されたベースバンド信号がバッファリングされるので、エンコーダ６０への入力は、フレームバッファ５９のバッファ容量分だけ遅延する。
【０１１８】
ステップＳ１７において、再エンコード範囲決定部８４は、IN点/OUT点決定部８３により決定されたIN点の設定位置を検出し、IN点を含むGOPに関してエンコーダ６０によるエンコードを開始するためのタイミングを設定する。
【０１１９】
ステップＳ１８において、編集処理制御部８５は、フレームバッファ５９によりバッファリングされた、下地の符号化ストリームのIN点を含むGOPの最初のフレームからの、エンコーダ６０によるエンコードを制御する制御信号を、CPU５２のエンコード制御部９３に供給する。エンコード制御部９３は、編集処理制御部８５から供給された制御信号に基づいて、フレームバッファ５９によりバッファリングされた、下地の符号化ストリームのIN点を含むGOPの最初のフレームからの、エンコーダ６０によるエンコードを制御する。エンコード制御部９３は、基本的に、OUT点を含むGOPまでの間においては、エンコーダ６０に対して、任意のGOP長でのエンコードを実行させることが可能である。エンコード制御部９３は、例えば、符号化効率ができるだけ高くなるように、１GOPを最大GOP長Nとしてエンコードが実行されるようにしても良い。
【０１２０】
ステップＳ１９において、CPU４１は、PCIブリッジ４９、PCIバス４４、および、ノースブリッジ４２を介して供給されるエンコード結果の取得を開始して、メモリ４３に供給して保存させる。
【０１２１】
ステップＳ２０において、ユーザ入力取得部８２は、フレームバッファ５９およびエンコーダ６０への入力信号を、入力端子６１より供給されるベースバンド信号から、デコーダ５４から出力される下地の符号化ストリームに対応するベースバンド信号に切替える様に操作入力を受けたか否かを判断する。
【０１２２】
ステップＳ２０において、フレームバッファ５９およびエンコーダ６０への入力信号を切換える操作入力を受けていないと判断された場合、入力信号を切換える操作入力を受けたと判断されるまで、ステップＳ２０の処理が繰り返される。
【０１２３】
ステップＳ２０において、フレームバッファ５９およびエンコーダ６０への入力信号を切換える操作入力を受けたと判断された場合、ステップＳ２１において、IN点/OUT点決定部８３は、編集におけるOUT点を決定し、編集処理制御部８５に供給する。編集処理制御部８５は、CPU５２の＃１スイッチ制御部９２を制御するための制御信号を生成し、CPU５２に供給する。CPU５２の＃１スイッチ制御部９２は、スイッチ/エフェクト５８の動作を制御して、編集点において出力するデータを切換えて、フレームバッファ５９およびエンコーダ６０への入力信号を入力端子６１より供給されるベースバンド信号から下地の符号化ストリームに対応するベースバンド信号に切替える。すなわち、編集処理制御部８５は、入力端子６１より供給されるベースバンド信号と下地の符号化ストリームに対応するベースバンド信号を接続させる。フレームバッファ５９では、接続されたベースバンド信号と下地の符号化ストリームに対応するベースバンド信号がバッファリングされる。
【０１２４】
ステップＳ２２において、再エンコード範囲決定部８４は、エンコード終了点のストリーム接続位置におけるVBV占有量が一致するように、エンコード処理を制御して、再エンコード終了位置を決定し、決定した再エンコード範囲を、編集処理制御部８５に供給する。編集処理制御部８５は、エンコーダ６０によるエンコードを制御する制御信号を、CPU５２のエンコード制御部９３に供給する。エンコード制御部９３は、編集処理制御部８５から供給された制御信号に基づいて、フレームバッファ５９によりバッファリングされていた、下地の符号化ストリームのＯＵＴ点を含むGOPの最初のフレームからの、エンコーダ６０によるエンコードを制御する。
【０１２５】
ステップＳ２３において、再エンコード範囲決定部８４は、エンコーダ６０によるエンコードが正しく終了したか否かを判断する。ステップＳ２３において、エンコーダ６０によるエンコードが正しく終了していない、すなわち、エンコード終了点のストリーム接続位置におけるVBV占有量が一致していないと判断された場合、処理は、ステップＳ２２に戻り、それ以降の処理が繰り返される。
【０１２６】
ステップＳ２３において、エンコーダ６０によるエンコードが正しく終了したと判断された場合、ステップＳ２４において、CPU４１は、PCIブリッジ４９、PCIバス４４、および、ノースブリッジ４２を介して供給され、メモリ４３に保存されている編集された部分のエンコード結果のストリームを、サウスブリッジ４５を介してドライブ４７に供給し、装着されている記録メディア４８の所定の記録領域に記録することにより、編集されていない部分の符号化ストリームとを接続して、処理が終了される。
【０１２７】
なお、ドライブ４７による記録メディア４８の記録速度、再生速度が、現在記録再生を実行している符号の速度に比べて十分に大きければ、下地となる符号化ストリームに対応するベースバンド画像データを再生しながら、新規に作成した編集後の符号データを記録メディア４８に記録することは可能である。
【０１２８】
このような処理により、編集素材の映像をオペレータがモニタしながら編集点を決定し、従来よりも早く編集結果を得ることができるとともに、画像劣化を少なくすることができる。
【０１２９】
なお、終了点におけるVBVoccupancyを、再エンコードを実行しない部分と再エンコードを実行する部分とで連続させるために、例えば、編集点（OUT点）を含むGOP（または、そのGOPと次のIピクチャまで）のエンコード終了時に、目標VBV占有量よりも占有量が小さくなってしまった場合は、zero stuffによってVBV占有量を連続にすることはできないため、次GOPもエンコード対象として、任意の発生符号調整方法により再エンコードが継続されるようしてもよい。
【０１３０】
また、終了点におけるVBVoccupancyが、再エンコードを実行しない部分と再エンコードを実行する部分とで連続するまで、同一の範囲でエンコードを繰り返す2-path法を用いることにより、VBVoccupancyの連続性を保障するようにしてもよい。
【０１３１】
次に、図１９を参照して、本発明の第２の実施の形態である編集装置１０１の構成について説明する。
【０１３２】
なお、図４の編集装置３１における場合と対応する部分には、同一の符号を付してあり、その説明は適宜省略する。
【０１３３】
すなわち、図１９の編集装置１０１は、CPU４１に代わってCPU１２１が備えられ、CPU５２に代わってCPU１２２が備えられ、フレームバッファ５９が省略されている以外は、基本的に、図４の編集装置３１と同様の構成を有している。
【０１３４】
編集装置１０１においては、編集点（IN点/OUT点）を指定する操作入力が取得される前に、下地となる符号化ストリームのデコードおよびエンコードを、それぞれのGOP単位で開始しておくようになされている。そして、エンコードされたGOP中に編集点（IN点/OUT点）が無ければ、エンコード結果を破棄するものとする。
【０１３５】
図２０に、編集装置１０１のCPU１２１およびCPU１２２が有する機能を説明するための機能ブロック図を示す。
【０１３６】
なお、図１６の編集装置３１における場合と対応する部分には、同一の符号を付してあり、その説明は適宜省略する。
【０１３７】
すなわち、編集装置１０１のCPU１２１は、IN点/OUT点決定部８３、再エンコード範囲決定部８４、および、編集処理制御部８５に代わって、IN点/OUT点決定部１４１、再エンコード範囲決定部１４２、編集処理制御部１４３、および、編集後ストリーム選択部１４４の機能を有している。また、編集装置１０１のCPU１２２は、編集装置３１のCPU５２と基本的に同様の機能を有している。
【０１３８】
IN点/OUT点決定部１４１は、ユーザ入力取得部８２から供給されたユーザの操作入力と、パラメータ取得部により取得された各種パラメータを基に、編集におけるIN点(編集点を含む)およびOUT点を決定し、編集処理制御部１４３、および、編集後ストリーム選択部１４４に供給する。ここでも、第１のモニタおよび第２のモニタにより編集素材の映像を確認するオペレータが入力したIN点およびOUT点の指令のタイミングで、略リアルタイムに、スイッチ/エフェクト５８のスイッチが切換えられて、エンコーダ６０に出力されるデータが切換えられるものとする。
【０１３９】
再エンコード範囲決定部１４２は、ユーザ入力取得部８２から供給されたユーザの操作入力と、パラメータ取得部８１により取得された各種パラメータ、並びに、IN点/OUT点決定部１４１により決定されたIN点およびOUT点を基に、インサート処理における下地となっている符号化ストリームのエンコード結果のうち、再エンコード結果を編集結果として選択する範囲としての再エンコード範囲を決定し、編集処理制御部１４３、および、編集後ストリーム選択部１４４に供給する。
【０１４０】
編集処理制御部１４３は、IN点/OUT点決定部１４１により決定されたIN点およびOUT点、並びに、再エンコード範囲決定部１４２より決定された、下地となっている符号化ストリームのエンコード結果のうちの再エンコード結果を編集結果として選択する範囲としての再エンコード範囲を基に、デコーダ５４乃至デコーダ５６、スイッチ５７、スイッチ/エフェクト５８、エンコーダ６０、および、スイッチ６２の動作を制御するためのコマンドなどを生成し、ノースブリッジ４２、ＰＣＩバス４４、ＰＣＩブリッジ４９、および、コントロールバス５１を介して、生成したコマンドをＣＰＵ５２に供給する。
【０１４１】
編集後ストリーム選択部１４４は、IN点/OUT点決定部１４１により決定されたIN点およびOUT点、並びに、再エンコード範囲決定部１４２より決定された下地となっている符号化ストリームのエンコード結果のうちの再エンコード結果を編集結果として選択する範囲に基づいて、PCIブリッジ４９、PCIバス４４、および、ノースブリッジ４２を介して供給されるエンコード結果の取得を開始して、メモリ４３に保存される再符号化ストリームのうち、破棄される部分と、破棄されずに残されて、ドライブ４７に装着されている記録メディア４８の所定の記録領域に記録される部分とを選択する。
【０１４２】
具体的には、編集処理制御部１４３は、アセンブル編集の編集点において、図２１に示されるように、下地の符号化ストリームのデコードを制御するとともに、IN点が決定されるまで、各GOPのエンコードを制御する。編集後ストリーム選択部１４４は、そのGOP内にIN点が無かった場合、エンコードされてメモリ４３に保存された、そのGOPの符号化データを廃棄する。
【０１４３】
下地の符号化ストリームをデコードしたベースバンド信号を再エンコードした結果は、必ずしもオリジナルと同じデータとはならない。したがって、IN点が定まるまでは、GOPの切れ目のVBVoccupancyの推移は、図２２に示されるように、GOPの切れ目において連続性を有するように制御されなければならない。
【０１４４】
例えば、エンコーダ６０によるエンコードをTM5による符号量配分で行っている場合、次GOPに与えられる符号総量は、G＝ビットレート×そのGOPのフレーム数N/ピクチャレートとし、Rを、GOP切れ目において、VBVbufferの最大値から下回った値(負数)であるとしたとき、R＋Gで表される。その詳細は、例えば、ISO/IEC JTC1/SC29/WG11/ N0400 Test Model 5 の10 RATE CONTROL AND QUANTIZATION CONTROLなどに開示されている。
【０１４５】
すなわち、TM5による符号量配分において、図２２に示されるように、GOPの切れ目においてVBVoccupancyの連続性を有することは、エンコード対象GOPの総符号量計算をする際、オリジナルストリームによるR値を使って符号配分を計算することに対応する。
【０１４６】
また、インサート編集のIN点に関しては、上述したアセンブル編集と同様の処理が実行される。
【０１４７】
そして、インサート編集のOUT点に関して、編集処理制御部８５は、図２３に示されるように、OUT点直後のGOP切れ目、すなわち、OUT点を含むGOPの次のGOPの先頭から、そのGOPの終了点に設定されるVBVoccupancy目標値に対するVBVoccupancy合わせ込みエンコードを実行する。
【０１４８】
この場合においても、編集装置３１における場合と同様に、OUT点を含むGOPのフレーム数(図２３中、kで示される範囲のフレーム数)は、最大GOP長Nを超えてはならない。
【０１４９】
そして、編集装置１０１においては、編集装置３１における場合とは異なり、インサートされるSDI入力（ベースバンド画像データ）をエンコードする場合のGOP位相を、図２４に示されるように、下地の符号化ストリームと同じものとする。
【０１５０】
編集処理制御部１４３は、パラメータ取得部８１により取得された下地の符号化ストリームのGOP位相とGOP長に基づいて、SDI入力をエンコードする場合のGOP位相を、下地の符号化ストリームと同じものとなるように、エンコード制御部９３に制御信号を供給する。これにより、任意のOUT点に対して、OUT点を含むGOPの長さは、下地の符号化ストリームにおいて規定されている最大GOP長Nを超えることは無い。
【０１５１】
そして、ユーザ入力取得部８２が、図示しない操作入力部から供給されるOUT点の指令を取得したとき、編集処理制御部８５は、パラメータ取得部８１により取得された下地の符号化ストリームのGOPの切れ目におけるVBVoccupancyに基づいて、VBVoccupancy目標点に向かってVBVoccupancyを合わせ込むように、エンコード制御部９３に制御信号を供給する。
【０１５２】
図２５を用いて、OUT点によって決まる再エンコード範囲の終了点と、VBVoccupancyの合わせ込みについて説明する。
【０１５３】
編集処理制御部１４３は、OUT点が決定され、その次のGOP切れ目αからのVBVoccupancy目標値設定が間に合うならば、次のGOP切れ目βのVBVoccupancyを目標値としたレート制御を行って、エンコードを行い、βにおいて、VBVoccupancyが連続性を有するように制御できれば（zero stuffを利用して連続性を有してもよい)そこでエンコードを終了するように、エンコード制御部９３に制御信号を供給する。
【０１５４】
それに対して、βにおいてVBVoccupancyを合わせられない場合、または、αの時点でオリジナルのVBVoccupancyとは値がかけ離れていて、βで合わせる様なレート制御を行った場合に、あまりにも画質が落ちることが明らかと判断された場合、編集処理制御部１４３は、次のγ以降のGOP切れ目におけるVBVoccupancyを目標値としたエンコードを行うように、エンコード制御部９３に制御信号を供給する。
【０１５５】
このとき、編集処理制御部１４３は、βでのVBVoccupancyの合わせ込みの結果を待たずに、次のγにおけるVBVoccupancy目標値設定、および、その設定に基づいたエンコード処理の開始を行うようにしても良い。このとき、βにおいてVBVoccupancyが連続性を有するように制御できなかった場合に、次のγにおけるVBVoccupancy目標値設定に基づいたエンコード処理の処理結果を用いるものとし、βにおいてVBVoccupancyが連続性を有するように制御できた場合、βからγのエンコードの結果を破棄するようにすればよい。
【０１５６】
また、VBVoccupancyの目標値の設定や、その目標値に合致するようにエンコードを実行するための制御については、例えば、上述した特開２００６−６７０９５号公報に開示されている技術などを用いても良いし、他の方法を用いるようにしても良い。そして、VBVoccupancyの目標値の設定や、その目標値に合致するようにエンコードを実行するための制御によっては、VBVoccupancyの目標値の設定箇所、すなわち、再エンコードされる範囲の終了点を変更してもかまわない。
【０１５７】
次に、OUT点決定後の処理について説明する。
【０１５８】
例えば、図２５に示されるように、αを切れ目とするGOP内でOUT点が決定され、OUT点がαとは異なる位置である場合、図２６に示されるようにして、エンコード中のストリームのVBVoccupancyが、オリジナルのストリームのα直後のIピクチャにおけるVBVoccupancyよりも小さい場合には、α手前のGOPの最終Bピクチャへのzero stuffによって、VBVoccupancyを合わせ込むことができるので、そこでエンコードを終了することも可能である。
【０１５９】
図２６の下部に示されるように、OUT点がGOPの切れ目αである場合は、その直前のPピクチャ(図２６ではP14)は、直後のBピクチャ(図２６ではBおよび,B1)とは無関係な画であるため、このPピクチャは、直後のBピクチャの前方参照画とはならない。従って、この先も、再エンコードを続ける必要がある。
【０１６０】
OUT点がGOPの切れ目αではなく、図中αで示されるよりも時間的に前のGOPの途中のいずれかのポイントである場合、図２７Ａに示されるように、B0,B1の前方参照画P14が再エンコードされ、B0,B1が再エンコードされないで接続されるよりも、P14,B0,B1が再エンコードされ、後方参照画I2が再エンコードされないで接続される方がSNR的に有利であるので、B0,B1までを再エンコード対象とすると好適である（例えば、特開２００６−６７０９５号公報参照）。
【０１６１】
これに対して、図２６の下部に示されるように、OUT点がGOPの切れ目αである場合は、α直後のB0,B1に1回余分にエンコードを行うことによるSNR劣化のことを考慮すると、図２７Ｂに示されるように、GOP切れ目でエンコードを終了ようにしたほうが、画質劣化の防止につながる可能性が高くなる。
【０１６２】
また、上述したように、OUT点を含むGOPの切れ目αにおいて、GOP切れ目直前のBピクチャでのVBVoccupancyが次GOPのIピクチャのVBVoccupancyよりも、1picture_rate後のVBVoccupancy増加分を加算した状態において大きければ、Bピクチャに関するzero stuffでVBVoccupancyを連続とすることが可能であるので、OUT点を含むGOPの切れ目αにおいてエンコードを終了することが可能である。そのときのVBVoccupancyの推移を図２８のＡに示す。
【０１６３】
そして、これに対して、図２８のＢに示されるように、IピクチャのVBVoccupancyの方が大きかったとしても、図２８のＣに示されるように、α以降のGOPに含まれるzero stuffを削ることによって、それ以前のVBVoccupancy推移が図中γに示される範囲においてVBV Buffer underflowを起こさないのであれば、OUT点を含むGOPの切れ目αにおいてエンコードを終了させることができる。
【０１６４】
この場合、VBV_delay値が変更されるので、新たなVBV_delay値を計算し、picture_header内容を書き直す必要がある。
【０１６５】
また、α以降のGOPに含まれるzero stuffを削ることによりVBV Buffer underflowを起こさないようにするためには、予めGOP毎のzero stuff量を知る必要がある。したがって、このような処理を実行するためには、管理データとして、GOP毎のzero stuffを別途記録しておく必要がある。
【０１６６】
LongGOPで符号化されたストリームデータの場合、フレーム毎のデータ量が一定ではないため、フレームを指定して再生を開始させたい場合などのために、必ず、フレーム番号と、そのESデータ記録位置とを対応させるテーブルが管理データとして用意されているはずなので、そうしたテーブルに、zero stuff量に関する情報を付加して管理すると好適である。
【０１６７】
例えば、記録メディア４８としてProfessional Disc(商標)が用いられる場合、管理データとして、Picture Pointerという情報が記録メディア４８上に記録管理されているので、図２９に示されるように、Picture Pointerに従来含まれている情報（図中Xで示される部分）に、そのフレームのzero stuff量を追加して（図中Yで示される部分）、管理データとして利用することが可能である。
【０１６８】
なお、zero stuff量の情報は、エンコード時にのみエンコーダから出力されるものであるので、編集装置１０１が、既に符号化されてしまっているデータが記録された記録メディア４８に対して編集処理を実行する場合、CPU１２１は、記録メディア４８に記録された符号化ストリームデータを解析し、各フレームのzero stuff量に関する情報を取得するものとする。
【０１６９】
また、上述したように、編集装置１０１においては、インサートされるベースバンド信号を符号化する場合、下地の符号化ストリームとGOP位相を合わるようになされている。これにより、VBVoccupancyを合わせ込むためのエンコードを行う範囲の符号が、下地の符号化ストリームと全く同じピクチャタイプとなることから、SNR的にも有効である。
【０１７０】
次に、図３０および図３１のフローチャートを参照して、編集装置１０１が実行する編集処理２について説明する。
【０１７１】
ステップＳ６１において、CPU１２１は、HDD（Hard disk Drive）４６または記録メディア４８に記録されている下地の符号化ストリームを読み出し、ノースブリッジ４２およびPCIバス４４を介して、PCIブリッジ４９に供給する。CPU１２２は、供給された下地の符号化ストリームを、必要に応じて、一旦メモリ５０に蓄積した後、デコーダ５４に供給する。デコーダ５４は、デコード制御部９１の制御に基づいて、供給された下地の符号化ストリームのデコードを開始し、デコードされて生成されたベースバンド信号を、スイッチ/エフェクト５８に供給する。
【０１７２】
ステップＳ６２において、モニタ１およびモニタ２は、編集素材の表示を開始し、モニタ３は、スイッチ/エフェクト５８の出力、すなわち、編集結果の表示を開始する。オペレータは、モニタ１およびモニタ２に表示される映像を観測し、信号を切替えたいタイミングを図示しない操作入力部により指令する。
【０１７３】
ステップＳ６３において、CPU１２１のパラメータ取得部８１は、下地の符号化ストリームに関するGOP位相情報を取得し、IN点/OUT点決定部１４１および再エンコード範囲決定部１４２に供給する。これにより、CPU１２１は、下地の符号化ストリームのGOPの切れ目を検出することができる。
【０１７４】
ステップＳ６４において、パラメータ取得部８１は、下地の符号化ストリームに関する、GOP切れ目でのVBV占有量を取得し、IN点/OUT点決定部１４１および再エンコード範囲決定部１４２に供給する。これにより、例えば、上述した特開２００６−６７０９５号公報に記載の技術やその他の公知の技術を用いて、VBVoccupancyを、再エンコードを実行しない部分と再エンコードを実行する部分とで連続させることが可能となる。
【０１７５】
ステップＳ６５において、編集処理制御部１４３は、GOP切れ目からの下地の符号化ストリームを制御する制御信号を、CPU１２２のエンコード制御部９３に供給する。エンコード制御部９３は、編集処理制御部８５から供給された制御信号に基づいて、下地の符号化ストリームのあるGOPの最初フレームからの、エンコーダ６０によるエンコードを制御する。CPU１２１は、PCIブリッジ４９、PCIバス４４、および、ノースブリッジ４２を介して供給されるエンコード結果の取得を開始して、メモリ４３に供給して一時保存させる。
【０１７６】
ステップＳ６６において、ユーザ入力取得部８２は、エンコーダ６０への入力信号を下地の符号化ストリームからベースバンド信号に切替える様に操作入力を受けたか否かを判断する。
【０１７７】
ステップＳ６６において、エンコーダ６０への入力信号を下地の符号化ストリームからベースバンド信号に切替える様に操作入力を受けていないと判断された場合、ステップＳ６７において、編集後ストリーム選択部１４４は、メモリ４３に一時保持されているエンコード結果を破棄し、処理は、ステップＳ６５に戻り、それ以降の処理が繰り返される。
【０１７８】
ステップＳ６６において、エンコーダ６０への入力信号を下地の符号化ストリームからベースバンド信号に切替える様に操作入力を受けたと判断された場合、ステップＳ６８において、編集後ストリーム選択部１４４は、メモリ４３に一時保持されているエンコード結果のうちの、IN点を含むGOPの先頭からの蓄積を開始する。
【０１７９】
ステップＳ６９において、IN点/OUT点決定部１４１は、編集におけるIN点を決定し、編集処理制御部１４３に供給する。編集処理制御部１４３は、CPU１２２の＃１スイッチ制御部９２を制御するための制御信号を生成し、CPU１２２に供給する。CPU１２２の＃１スイッチ制御部９２は、スイッチ/エフェクト５８の動作を制御して、編集点において出力するデータを切換えて、エンコーダ６０への入力信号を下地の符号化ストリームに対応するベースバンド信号から入力端子６１より供給されるベースバンド信号に切替える、すなわち、下地の符号化ストリームに対応するベースバンド信号と入力端子６１より供給されるベースバンド信号を接続させる。
【０１８０】
ステップＳ７０において、ユーザ入力取得部８２は、エンコーダ６０への入力信号をベースバンド信号から下地の符号化ストリームに切替える様に操作入力を受けたか否かを判断する。ステップＳ７０において、エンコーダ６０への入力信号をベースバンド信号から下地の符号化ストリームに切替える様に操作入力を受けていないと判断された場合、操作入力を受けたと判断されるまで、ステップＳ７０の処理が繰り返される。
【０１８１】
ステップＳ７０において、エンコーダ６０への入力信号をベースバンド信号から下地の符号化ストリームに切替える様に操作入力を受けたと判断された場合、ステップＳ７１において、IN点/OUT点決定部１４１は、編集におけるOUT点を検出する。
【０１８２】
ステップＳ７２において、IN点/OUT点決定部１４１は、検出されたOUT点を示す情報を、編集処理制御部１４３に供給する。編集処理制御部１４３は、CPU１２２の＃１スイッチ制御部９２を制御するための制御信号を生成し、CPU１２２に供給する。CPU１２２の＃１スイッチ制御部９２は、スイッチ/エフェクト５８の動作を制御して、編集点において出力するデータを切換えて、エンコーダ６０への入力信号を入力端子６１より供給されるベースバンド信号から下地の符号化ストリームに対応するベースバンド信号に切替える。すなわち、編集処理制御部８５は、入力端子６１より供給されるベースバンド信号と下地の符号化ストリームに対応するベースバンド信号を接続させる。
【０１８３】
ステップＳ７３において、再エンコード範囲決定部１４２は、図２４を用いて説明したように、OUT点直後のGOP切れ目、すなわち、OUT点を含むGOPの次のGOPの先頭から、そのGOPの終了点に設定されるVBVoccupancy目標値に対するVBVoccupancy合わせ込みエンコードが実行され、エンコード終了点のストリーム接続位置におけるVBV占有量が一致するように、エンコード処理を制御して、再エンコード終了位置を決定し、決定した再エンコード範囲を、編集処理制御部１４３に供給する。編集処理制御部１４３は、エンコーダ６０によるエンコードを制御する制御信号を、CPU１２２のエンコード制御部９３に供給する。エンコード制御部９３は、編集処理制御部１４３から供給された制御信号に基づいて、下地の符号化ストリームのIN点を含むGOPの最初のフレームからの、エンコーダ６０によるエンコードを制御する。
【０１８４】
ステップＳ７４において、再エンコード範囲決定部１４２は、エンコーダ６０によるエンコードが正しく終了したか否かを判断する。ステップＳ７４において、エンコーダ６０によるエンコードが正しく終了していない、すなわち、エンコード終了点のストリーム接続位置におけるVBV占有量が一致していないと判断された場合、処理は、ステップＳ７３に戻り、それ以降の処理が繰り返される。
【０１８５】
ステップＳ７４において、エンコーダ６０によるエンコードが正しく終了したと判断された場合、ステップＳ７５において、CPU４１は、PCIブリッジ４９、PCIバス４４、および、ノースブリッジ４２を介して供給され、メモリ４３に保存されている編集された部分のエンコード結果のストリームを、サウスブリッジ４５を介してドライブ４７に供給し、装着されている記録メディア４８の所定の記録領域に記録することにより、編集されていない部分の符号化ストリームとを接続して、処理が終了される。
【０１８６】
なお、ドライブ４７による記録メディア４８の記録速度、再生速度が、現在記録再生を実行している符号の速度に比べて十分に大きければ、下地となる符号化ストリームに対応するベースバンド画像データを再生しながら、新規に作成した編集後の符号データを記録メディア４８に記録することは可能である。
【０１８７】
このような処理により、例えば、第１の実施の形態の編集装置３１のようにフレームバッファを設けなくても、編集素材の映像をオペレータがモニタしながら編集点を決定し、従来よりも早く編集結果を得ることができるとともに、画像劣化を少なくすることができる。
【０１８８】
なお、ここでは、上書きされる符号化ストリームのGOP位相は、下地の符号化ストリームのGOP位相と同一の構成となるように制御される。
【０１８９】
このように、第１の実施の形態の編集装置３１、および、第２の実施の形態の編集装置１０１のいずれにおいても、ベースバンド信号を、そのまま編集処理に用いるようになされているので、ベースバンド信号を編集前に圧縮する必要がないので、画質の劣化を防止することができるとともに、処理時間も短縮され、その圧縮信号を一時保持するための大きな記録領域を有するメモリなども不必要である。
【０１９０】
また、上述した説明においては、第２の実施の形態において、上書きされる符号化ストリームのGOP位相は、下地の符号化ストリームのGOP位相と同一の構成となるように制御されるものとして説明したが、第１の実施の形態においても、上書きされる符号化ストリームのGOP位相は、下地の符号化ストリームのGOP位相と同一の構成となるように制御してもよい。
【０１９１】
ところで、第１の実施の形態および第２の実施の形態を用いて説明した処理により編集が実行された後、編集点の変更を行いたいとしても、ベースバンド信号のIN点前およびOUT点後の部分は素材ストリームとして残されていないため、編集点を容易に変更することができない。
【０１９２】
例えば、ＨＤＤ４６に予め記憶されていた符号化ストリームを下地データとして、入力端子６１から入力されたベースバンド信号を用いて、上述した第１の実施の形態および第２の実施の形態を用いて説明した処理により上書き編集を行った場合、最終的に生成された編集後の符号化ストリームがＨＤＤ４６に保存される。その後、ベースバンド信号の上書き開始位置を早くしたい、上書き終了位置を遅くしたい、または、異なるタイミングのベースバンド信号に上書きされるデータを変更したいような場合、編集素材として、IN点よりも前、OUT点よりも後のベースバンド信号は記録していないため、ベースバンド信号を再取得し、再度編集処理を行わなければならない。
【０１９３】
このように編集を繰り返すことにより、編集位置によっては、複数世代の世代落ちが発生してしまう恐れがある。
【０１９４】
そこで、編集素材としてのベースバンド信号を編集に用いるとともに、ベースバンド信号の符号化処理を実行して、再度編集処理が行われたときに利用可能なストリームデータを生成しておくものとすると好適である。
【０１９５】
そこで、本発明の第３の実施の形態として、図３２を参照して、編集素材としてのベースバンド信号を編集に用いるとともに、ベースバンド信号の符号化処理を実行する編集装置１７１について説明する。
【０１９６】
なお、図４の編集装置３１における場合と対応する部分には、同一の符号を付してあり、その説明は適宜省略する。
【０１９７】
すなわち、図３２の編集装置１７１は、CPU４１に代わってCPU１８１が備えられ、CPU５２に代わってCPU１８２が備えられ、フレームバッファ５９に代わってフレームバッファ１８４が備えられ、入力端子６１から入力されるベースバンド信号をエンコードして、ＰＣＩブリッジ４９に供給するエンコーダ１８３が新たに備えられている以外は、基本的に、図４の編集装置３１と同様の構成を有している。
【０１９８】
CPU１８１は、ＣＰＵ４１が有する機能に加えて、入力端子６１から入力されるベースバンド信号のエンコーダ１８３によるエンコード処理の制御、エンコーダ６０によるエンコードの範囲の設定、および、編集処理が行われた部分のストリームと、編集処理が行われていない編集下地のストリームと、ベースバンド信号がエンコーダ１８３によってエンコードされたストリームとの接続の制御の機能を有するものである。
【０１９９】
ＣＰＵ１８２は、ＣＰＵ５２が有する機能に加えて、入力端子６１から入力されるベースバンド信号のエンコーダ１８３によるエンコードを制御するとともに、エンコーダ１８３によるエンコードの結果得られる符号化ストリームのＧＯＰ位相およびVBVoccupancyの値を取得し、これを基に、エンコーダ６０の処理を制御するものである。
【０２００】
エンコーダ１８３は、入力端子６１から供給されたベースバンド信号をエンコードするものである。エンコーダ１８３では、最良と考えられる任意GOP位相でエンコードが実行される。エンコーダ１８３によりエンコードされた編集素材のベースバンド信号に対応する符号化ストリーム、および、各フレームのVBVoccupancy等の管理データは、ＰＣＩバス４４、ノースブリッジ４２、および、サウスブリッジ４５を介して、ＨＤＤ４６に供給され、格納される。更に、エンコーダ１８３は、エンコードの結果得られる符号化ストリームのＧＯＰ位相およびVBVoccupancyの値を少なくとも含む情報を、コントロールバス５１を介して、ＣＰＵ１８２に供給する。
【０２０１】
フレームバッファ１８４は、供給されたベースバンド画像データを所定の一定期間だけ保持し、エンコーダ６０に供給する。フレームバッファ１８４によるバッファリングの期間は、バッファリング前のデータを表示させるモニタ１乃至モニタ３を参照したユーザなどによりIN点やOUT点の指定を受けた後、編集処理を行うためにエンコーダ６０によりエンコードされるデータの範囲を決定することが可能である期間であり、かつ、エンコーダ１８３によるエンコード結果をエンコーダ６０によるエンコード処理のパラメータの決定に利用することが可能である期間である。その詳細については後述する。
【０２０２】
次に、図３２の編集装置１７１の動作について説明する。
【０２０３】
ユーザにより、編集処理の開始が指令され、ＨＤＤ４６に格納されているストリームデータの中から、編集下地として用いるストリームデータの選択を受けたとき、ＣＰＵ１８１は、各部を制御して、選択されたストリームをＨＤＤ４６から読み出して、サウスブリッジ４５、ノースブリッジ４２、PCIバス４４、および、PCIブリッジ４９を介して、デコーダ５４、またはデコーダ５５に供給する。
【０２０４】
デコーダ５４、またはデコーダ５５に供給されたデータは、デコードされて、スイッチ／エフェクト５８に供給される。ここでは、編集下地として用いられるストリームデータは、デコーダ５４に供給されてデコードされた後、モニタ１により表示されるとともに、スイッチ／エフェクト５８に供給されるものとする。
【０２０５】
そして、入力端子６１から入力されたベースバンド信号（SDI入力）は、スイッチ５７を介して、モニタ２により表示されるとともに、スイッチ/エフェクト５８に供給され、更に、エンコーダ１８３に供給されてエンコードされる。エンコーダ１８３によりエンコードされて生成されたベースバンド信号に対応するストリームは、PCIブリッジ４９に供給されて、メモリ５０に一旦格納された後、更に、ＰＣＩバス４４、および、ノースブリッジ４２を介して、メモリ４３に供給されて、編集処理に用いられるとともに、更に、サウスブリッジ４５を介して、ＨＤＤ４６に供給され、編集点の変更などの再編集に用いることができるように、格納される。
【０２０６】
スイッチ／エフェクト５８に供給されるデータ、および、スイッチ／エフェクト５８からの出力データは、モニタ１乃至モニタ３に表示される。表示されているのは、いずれも、フレームバッファ１８４によるバッファリング前のデータである。
【０２０７】
スイッチ/エフェクト５８から出力される信号は、予め決められたタイミングで切り替わるか、または、モニタ１乃至３を監視しているユーザによって任意のタイミングで切替えられる。この切り替わりタイミングが編集点である。
【０２０８】
図３３を参照して、編集処理の例について説明する。図３３においては、IN点で、メインストレージとして用いているＨＤＤ４６に記憶されているストリーム１から、SDI入力、すなわち、入力端子６１から入力されたベースバンド信号につなげ、OUT点で、ベースバンド信号からＨＤＤ４６に記憶されているストリーム２につなげる、すなわち、上述したアセンブル編集を２回繰り返す編集処理が実行されている。ここで、ストリーム１とストリーム２とが同一のストリームであるとき、図３３に示される編集処理は、上述したインサート編集となる。
【０２０９】
上述したように、編集装置１７１は、編集点においてベースバンド信号を接続してエンコード処理を行うことにより生成されたブリッジクリップと、そのブリッジクリップの前後に接続されるストリームとを接続するためのスプライシング処理を実行することが可能であり、ブリッジクリップの生成に用いるためのエンコーダ６０と、編集素材として用いたベースバンド入力であるSDI入力をエンコードしてＨＤＤ４６に保持させるために用いるエンコーダ１８３の２つのエンコーダを有している。
【０２１０】
エンコーダ１８３は、ＨＤＤ４６に記憶されているストリーム１やストリーム２とは無関係に、任意位相、このシステムで利用可能な最大のＧＯＰ長、または、所定のＧＯＰ長でベースバンド信号をエンコードする。
【０２１１】
図３３に示されるようにして編集処理を行いつつ、再編集を行うために供給されたベースバンド信号をエンコードして保持しておきたい場合、単純に考えると、ベースバンド信号を一旦エンコードしてストリーム化してから、編集のために必要な部分だけ、デコードおよびエンコードを行えばよいのであるが、その場合、例えば、IN点から図中βまたはγで示される部分や、図中εまたはδからOUT点で示される部分など、再度エンコードされる範囲のベースバンド信号は、１世代、世代落ちしてしまう。そこで、編集装置１７１においては、編集処理を行う部分については、ベースバンド信号をエンコードすることなくそのまま用いるとともに、編集処理とは独立して、ベースバンド信号のエンコード処理を実行するものとする。
【０２１２】
したがって、SDI入力は、上述した編集装置３１における場合と同様にして、スイッチ５７を介して、スイッチ/エフェクト５８に供給されて、ストリーム１またはストリーム２をデコードした出力と接続されるとともに、その編集処理とは独立して、エンコーダ１８３により、任意の初期位相で、任意のフレーム周期でエンコードされてPCIブリッジ４９に供給され、素材ストリームとして、ＰＣＩバス４４、および、ノースブリッジ４２を介して、メモリ４３に供給されるとともに、サウスブリッジ４５を介して、ＨＤＤ４６に供給され、記録される。
【０２１３】
上述した第１の実施の形態および第２の実施の形態においては、ＩＮ点とＯＵＴ点の間のベースバンド信号は、連続してエンコーダ６０に供給されてエンコードされ、編集後のストリームが生成されるようになされているが、編集装置１７１においては、エンコーダ１８３において編集処理とは独立してベースバンド信号のエンコード処理が実行されているので、エンコード処理が重複しないように、ＩＮ点とＯＵＴ点の間に対応する編集後のストリームのうちの一部に、エンコーダ１８３により生成されたストリームを用いることができる。
【０２１４】
このとき、編集後のストリームにおいて、ＩＮ点およびＯＵＴ点付近でエンコーダ６０によりエンコードされる部分をブリッジクリップ（BridgeClip）と称するものとする。
【０２１５】
また、エンコーダ６０でエンコードされたブリッジクリップの部分と、エンコーダ１８３によりエンコードされた部分とを、編集後の符号化ストリームとして連続して再生可能にするためには、ブリッジクリップとエンコーダ１８３によりエンコードされた部分との接続部分において、VBVoccupancyを連続させ、ＧＯＰ位相を合わせる必要がある。
【０２１６】
なお、エンコーダ６０でエンコードされたブリッジクリップの部分と、ストリーム１およびストリーム２との接続部分の処理は、上述した第１の実施の形態における場合と同様にして実行される。
【０２１７】
ユーザが、モニタ１に表示されるストリーム１と、モニタ２に出力されるベースバンド入力とを参照して、ＩＮ点を指令するようになされている場合、IN点を含むブリッジクリップ開始点は、エンコーダ６０によるエンコードの開始前に求めなくてはならない。ブリッジクリップ開始点は、基本的には、上述した再エンコード範囲の開始点と同一となり、例えば、図３３においては、図中αで示されるように、ＩＮ点を含むＧＯＰの先頭となる。
【０２１８】
すなわち、フレームバッファ１８４は、少なくとも、ＩＮ点とブリッジクリップ開始点(α)との間のフレームを保持して、エンコーダ６０への信号の供給を遅延させる必要がある。また、このとき、フレームバッファ１８４には、コマンド遅延分とパラメータ演算のために必要な時間を稼ぐための容量も更に必要である。
【０２１９】
更に、フレームバッファ１８４は、スイッチ/エフェクト５８において接続されたデータをエンコーダ６０でエンコードした部分とその前後の部分とを接続するスプライシング動作を実行するために、ブリッジクリップの範囲におけるVBV目標値、即ち、ブリッジクリップの終了予定点であるブリッジクリップ終了予定点のVBVoccupancyの値が、エンコーダ１８３によるエンコードの結果得られるまでの時間を稼ぐ必要がある。IN点を含むブリッジクリップ終了予定点は、入力端子６１から入力されたベースバンド信号がエンコーダ１８３によりエンコードされて生成されるストリームのGOP位相において、IN点に対応する部分を含むGOPの切れ目、または、その次のB１ピクチャであり、図３３においては、例えば、図中βで示される点となる。そして、ブリッジクリップ終了予定点のVBVoccupancyの値は、エンコーダ１８３における対応する部分のVBVoccupancyの値である。また、ブリッジクリップの範囲は、エンコーダ６０によるエンコードの結果、延長される場合がある。その場合、ブリッジクリップ終了予定点は、例えば、エンコーダ１８３によるエンコードにおけるGOP位相における次のGOPの切れ目、または、その次のB１ピクチャとなり、図３３においては、例えば、図中γで示される点となる。
【０２２０】
そこで、編集装置１７１においては、スイッチ／エフェクト５８から出力される接続後のデータをフレームバッファ１８４によって所定期間遅延させることにより、エンコーダ１８３によるエンコード結果をエンコーダ６０によるエンコード処理に反映させ、BridgeClip前後の接続部分においてストリームを連続して再生可能なものとする。
【０２２１】
エンコーダ１８３は、入力端子６１から入力されるベースバンド信号の符号化処理に関する情報を、コントロールバス５１を介して、ＣＰＵ１８２に供給する。ベースバンド信号の符号化処理に関する情報には、少なくとも、ＧＯＰ位相と、VBVoccupancyに関する情報が含まれているが、それ以外にも、例えば、Ｑマトリクスなどの他の符号化パラメータをＣＰＵ１８２に供給するようにしてもよい。また、エンコーダ１８３は、符号化されたストリームとともに、符号化処理に関する情報を、PCIブリッジ４９に供給して、メモリ５０に格納させるとともに、ＰＣＩバス４４、ノースブリッジ４２、および、サウスブリッジ４５を介して、ＨＤＤ４６に供給して記憶させる。ベースバンド信号の符号化処理に関する情報をＨＤＤ４６に記憶させることにより、編集点の変更などによる再編集処理で、入力端子６１から入力されるベースバンド信号に対応する符号化ストリームが利用されるとき、その符号化に関する情報を、編集処理に利用することができる。
【０２２２】
そして、ＣＰＵ１８２は、エンコーダ１８３から供給されたベースバンド信号の符号化処理に関する情報に基づいて、エンコーダ６０によるエンコードを制御する。
【０２２３】
すなわち、ユーザがモニタの表示をみながら編集点を指令するマニュアル編集であれ、予め編集点が決まっている場合であれ、IN点が定まった時点では、ブリッジクリップの開始点や、ブリッジクリップ生成のためのブリッジクリップ終了予定点における目標VBVoccupancyを定めることはできない。また、エンコーダ６０においてエンコードされたブリッジクリップとエンコーダ１８３によりエンコードされたストリームと接続したときに、接続点を含むＧＯＰが極端に長くなったり、短くなってしまうことを避けたい。このため、ＣＰＵ１８２は、エンコーダ１８３によりエンコードされたストリームのＧＯＰ位相が分かり、接続点における目標VBVoccupancyが定まった後に、ブリッジクリップのエンコード処理の開始点まで遡って、エンコーダ６０によるエンコードを開始させる必要がある。
【０２２４】
これらの条件に基づくと、フレームバッファ１８４は、エンコーダ１８３によるエンコードの最大ＧＯＰ長をＮとして、（２Ｎ＋Ｘ)フレーム程度の容量を持てば、ブリッジクリップとエンコーダ１８３によりエンコードされた部分とを、ブリッジクリップとの接続部分において、VBVoccupancyが連続し、ＧＯＰ位相が合致するようにエンコードすることができる。ここで、Ｎは、１ＧＯＰが有するフレーム数であり、Ｘの値については、後述する。
【０２２５】
エンコーダ６０は、ＣＰＵ１８２の制御に基づいて、フレームバッファ１８４により所定フレーム数遅延されたデータをエンコードし、ＰＣＩブリッジ４９に供給する。エンコードの開始点におけるVBVoccupancyの制御は、上述した第１の実施の形態および第２の実施の形態と同様に、下地ストリームにあわせて行われるものである。また、エンコーダ６０は、ＣＰＵ１８２の制御に基づいて、目標VBVoccupancyに合致するように、上述した場合と同様にして、必要に応じてブリッジクリップの範囲を延長することや、ブリッジクリップ内のエンコードを再度実行する２パスエンコードを実行することが可能である。
【０２２６】
ここで、ＩＮ点を含むブリッジクリップ終了予定点(β)は、基本的には、エンコーダ１８３によるエンコードにおいて、ＩＮ点に対応するフレームを含むＧＯＰの最後のフレーム、または、その次のＢ１ピクチャである。エンコーダ６０は、ＣＰＵ１８２から、コントロールバス５１を介して、ブリッジクリップ終了予定点(β)に対応するフレームの、エンコーダ１８３によるエンコード結果におけるVBVoccupancyの値を取得し、これを目標値として、エンコードを行うことができる。なお、エンコード範囲が延長することなどにより、ブリッジクリップ終了予定点が（γ）となった場合であっても、エンコーダ６０は、ＣＰＵ１８２から、コントロールバス５１を介して、ブリッジクリップ終了予定点(γ)に対応するフレームの、エンコーダ１８３によるエンコード結果におけるVBVoccupancyの値を取得し、これを目標値として、延長された部分のエンコードを行うことができる。
【０２２７】
また、例えば、IN点を含むブリッジクリップの範囲の延長が続き、ブリッジクリップがＯＵＴ点を含むブリッジクリップまで伸びる場合も考えられる。ＯＵＴ点を含むブリッジクリップの終了予定点におけるVBVoccupancyの目標値は、ストリーム２が予めＨＤＤ４６に保存されているストリームであることから、エンコーダ１８３によるエンコード処理を待つことなく、既知である。したがって、このような場合であっても、フレームバッファ１８４が、エンコーダ１８３によるエンコードの最大ＧＯＰ長をＮとして、（２Ｎ＋Ｘ)フレーム程度の容量を有するのであれば、エンコーダ６０は、ＯＵＴ点が定まった段階で、ＯＵＴ点後のブリッジクリップ終了予定点である図中ζで示される点のVBVoccupancyの値を、VBVoccupancyの目標値として、ＣＰＵ１８２からコントロールバス５１を介して取得することができるので、処理は破綻しない。
【０２２８】
もちろん、ＩＮ点を含むブリッジクリップ終了点がＯＵＴ点を含むブリッジクリップにかからない場合、すなわち、図中βやγで示される点などにおいてＩＮ点を含むブリッジクリップが終了する場合、ブリッジクリップのエンコードが終了した後、エンコーダ６０へのベースバンド信号の供給およびエンコード処理が終了される。そして、ＯＵＴ点を含むブリッジクリップの開始点は、エンコーダ１８３によるエンコード処理の位相にあわせて設定され、フレームバッファ１８４へのバッファリングおよびエンコーダ６０によるエンコード処理が開始されて、ＯＵＴ点において、フレームバッファ１８４への入力が、ストリーム２へ切換えられ、ストリーム２の対応する部分のエンコードが実行される。
【０２２９】
そして、PCIブリッジ４９は、ＩＮ点およびＯＵＴ点を含むブリッジクリップの部分がエンコーダ６０によりエンコードされたストリームとの供給を受け、一旦メモリ５０に格納したのち、ＰＣＩバス４４、および、ノースブリッジ４２を介して、メモリ４３に供給する。
【０２３０】
例えば、図３３において、ＩＮ点を含むブリッジクリップが図中αからγで示される部分であり、ＯＵＴ点を含むブリッジクリップが図中εからζで示される部分である場合、編集後のストリームは、ＨＤＤ４６に記録されていたストリーム１の図中αで示される点より前の部分と、図中αからγで示されるブリッジクリップがエンコーダ６０によりエンコードされたストリームと、図中γからεで示されるベースバンド信号がエンコーダ１８３によりエンコードされたストリームと、図中εからζで示されるブリッジクリップがエンコーダ６０によりエンコードされたストリームと、ＨＤＤ４６に記録されていたストリーム２の図中ζで示される点より後ろの部分とから構成される。
【０２３１】
すなわち、エンコーダ６０は、ブリッジクリップに対応する部分のみエンコード処理を実行する。
【０２３２】
このようにして、素材としてのベースバンド信号を最大符号化効率で符号化して格納しつつ、上述した第１の実施の形態と同様にして編集処理を行い、IN点とOUT点に挟まれた部分のエンコード処理が重複しないようにすることができる。このようにすることにより、編集処理を、世代落ちをできるだけ防止しつつ実行することができるとともに、後々の編集点変更にも対応可能となる。
【０２３３】
次に、図３４乃至図４５を参照して、エンコーダ１８３によるＳＤＩ入力信号のエンコードと、エンコーダ６０によるブリッジクリップのエンコードのタイミングの差として必要な最小の値、すなわち、フレームバッファ１８４に求められるバッファ容量の最小値の詳細について、編集点の設定の各種のパターンにおける場合を例として説明する。
【０２３４】
まず、図３４を参照して、IN点が、SDI入力をエンコーダ１８３においてエンコードした時のＧＯＰ位相におけるＧＯＰ切れ目と一致した場合について説明する。
【０２３５】
ＩＮ点を含むブリッジクリップのエンコード開始点は、ＩＮ点である図中βで示される点とストリーム１のＧＯＰ切れ目が一致しない場合、ＩＮ点より前に存在するストリーム１のGOP切れ目αからとなる。αからのエンコード開始にあたって、前方参照画の入力が必要であるので、エンコーダ６０への入力はαの１フレーム前から開始される。そして、ＩＮ点を含むブリッジクリップのエンコード範囲は、IN点がSDI入力のGOP切れ目の場合、その直後のB0ピクチャおよびB1ピクチャの前方参照画はSDI入力のGOP切れ目の直前の画となることから、SDI入力のGOP切れ目βの先のB1ピクチャまでとなる。すなわち、ＩＮ点を含むブリッジクリップのエンコード終了点における目標VBVoccupancy値は、GOP切れ目βの後のコーディック順で最初のPピクチャの開始位置、即ち、B1ピクチャまでエンコードが終了した後に決まる。したがって、最長ではGOP切れ目βから３フレーム分の余裕が必要となる。
【０２３６】
なお、エンコードの範囲をGOP切れ目までではなく次のB1ピクチャまでとする技術についての詳細は、例えば、特開2006-67095号公報に記載されている。
【０２３７】
図３４においては、Ｎは、エンコーダ１８３におけるエンコードの最大GOP長であり、aは、コマンド実行マージン時間（1コマンド遅延に対応する時間）とＣＰＵ１８２から供給された目標VBVoccupancy値に基づいてエンコードパラメータを計算する時間をフレーム数で表した値であり、ｂは、エンコード結果を知りたいフレームがエンコードされるのに必要なフレーム入力が終了してからエンコード結果を知りたいフレームのエンコードが終了し、目標VBVoccupancyを知るまでの時間をフレーム数で表した値である。
【０２３８】
αからβまでが最も長いとき、αからβは、Ｎ−１フレームとなる。したがって、フレームバッファ１８４には、１＋（Ｎ−１）＋３＋ａ＋ｂ＝Ｎ＋３＋ａ＋ｂフレーム分の容量が必要である。
【０２３９】
次に、図３５を参照して、IN点がストリーム１のGOP切れ目となる場合について説明する。
【０２４０】
この場合、ＩＮ点を含むブリッジクリップのエンコード開始は、SDI入力のIN点からとなる。そして、ＩＮ点を含むブリッジクリップのエンコード範囲は、そのGOPの次のGOPのB1ピクチャまでであるとしても良いし、GOP切れ目までとしても良い。ＩＮ点を含むブリッジクリップのエンコード範囲を次のGOPのB1ピクチャまでであるとした場合、ＩＮ点を含むブリッジクリップのエンコード終了点における目標VBVoccupancy値は、図３４における場合と同様にして、GOP切れ目βの後のコーディック順で最初のPピクチャの開始位置となるので、最長ではGOP切れ目βから３フレーム分の余裕が必要となる。
【０２４１】
図３５における場合、ＩＮ点からブリッジクリップの終了点βまでが最も長いとき、Ｎ−１フレームとなる。したがって、ここでも、図３４と同様にして、Ｎ，ａ，ｂを用いた場合、フレームバッファ１８４には、１＋（Ｎ−１）＋３＋ａ＋ｂ＝Ｎ＋３＋ａ＋ｂフレームの容量が必要である。
【０２４２】
次に、図３６を参照して、フレームバッファ１８４において必要な最大容量、すなわち、フレームバッファ１８４により遅延できるフレーム数の最大値について説明する。
【０２４３】
図３４を用いて説明したように、フレームバッファの容量が最も必要となるブリッジクリップ開始位置であるαの条件は、ブリッジクリップ開始点であるαの位置がIN点から(N-1)フレーム手前の場合である。また、図３５を用いて説明したように、フレームバッファの容量が最も必要となるブリッジクリップ終了予定点であるβの位置の条件は、ブリッジクリップ終了予定点βの位置がＩＮ点から(N-1)後の場合である。
【０２４４】
ブリッジクリップ終了予定点βでのVBVoccupancyが確定するのは、終了予定点β後のIピクチャがエンコーダ１８３に入力され、最初のPピクチャにおけるVBVoccupancyが決まる、即ち、最長では、B1ピクチャのエンコードが終了して符号量が判った時点である。
【０２４５】
これらより、フレームバッファ１８４において必要な最大容量は、１＋（Ｎ−１）＋（Ｎ−１）＋３＋ａ＋ｂ＝２Ｎ＋２＋ａ＋ｂフレームとなる。すなわち、フレームバッファ１８４が２Ｎ＋２＋ａ＋ｂフレーム保持することが可能であるとき、編集点と、その前後を構成するブリッジクリップ部分のGOP位相との関係がどのような場合であっても、エンコーダ１８３のエンコード結果をエンコーダ６０によるブリッジクリップのエンコードに反映させることができ、エンコード処理は破綻しない。
【０２４６】
なお、OUT点に関するスプライシングは、OUT点手前のSDI入力GOP切れ目の１フレーム手前(前方参照画)から開始されればよく、また、ＯＵＴ点を含むブリッジクリップの後ろに接続されるのは、ＨＤＤ４６に予め記憶されている下地ストリームであり、その接続点のVBVoccupancyは既知であるので、VBVoccupancy目標値は、OUT点においては、OUT点が決まってから、１＋（Ｎ−１）＋ａ＝Ｎ＋ａフレームあれば、エンコード処理は破綻しない。
【０２４７】
次に、図３７乃至図３９を参照して、IN点のスプライシングが長引いた場合のOUT点の処理について説明する。
【０２４８】
上述した様に、任意のIN点決定に対して、フレームバッファ１８４において必要な最大容量は、２Ｎ＋２＋ａ＋ｂフレームである。
【０２４９】
図３７には、フレームバッファ１８４に供給されるタイミングでモニタ２に表示されるＳＤＩ入力、および、モニタ１に表示されるストリーム１をデコードしたベースバンド信号、並びに、エンコーダ６０へ供給されるタイミングに基づいて記述されたエンコーダ６０への入力ベースバンド信号、および、エンコーダ６０により生成されるブリッジクリップが図示されている。
【０２５０】
入力端子６１から供給されるベースバンド信号（SDI入力）は、フレームバッファ１８４に供給されるタイミングと略同時に、エンコーダ１８３においてエンコードされる。エンコーダ１８３は、エンコードに関するＧＯＰ位相やVBVoccupancyを、コントロールバス５１を介して、ＣＰＵ１８２に供給する。
【０２５１】
しがたって、IN点が決定された後、ブリッジクリップ終了予定点βの先のB1ピクチャである図中θの時点で、SDI入力のエンコーダ１８３によるエンコード結果として、ブリッジクリップ終了予定点βにおけるVBVoccupancy目標量が判明する。エンコーダ６０によるエンコードの開始は、少なくともVBVoccupancy目標量が判明するθ時点以降でなければならない。
【０２５２】
例えば、エンコーダ６０において、２Ｎ＋２＋ａ＋ｂフレームだけ遅延した図中α'において、ブリッジクリップ開始点からのエンコードが開始された場合、このエンコード結果は、ブリッジクリップ終了予定点に対応するβ’の先のB1ピクチャであるθ’までのエンコードが終了したときに判る。そして、その後（１＋ａ）フレーム先のιが、OUT点のためのスプライシングを開始するための最も近いGOP切れ目位置となる。すなわち、SDI入力のIN点が決定された際に決まるSDI入力のIN点に関するスプライシングの終了点直前のGOP切れ目β’から、(４＋ａ＋ｂ)フレーム先のι’が、OUT点に関するスプライシング開始GOP切れ目の限界点となる。
【０２５３】
すなわち、OUT点がブリッジクリップ終了予定点βから開始されるGOP内で決定されるか、または、ブリッジクリップ終了予定点βから(４＋ａ＋ｂ)フレーム以内にGOP切れ目が存在し、そのGOP内でOUT点が決定された場合は、IN点に関するスプライシングは終了せずに、そのままOUT点によって定まるVBVoccupancy目標値に向かってエンコードが続けられる。また、そのとき、OUT点に関するブリッジクリップの目標VBVoccupancyは、上述したように、エンコーダ１８３の処理とは関係なく予め知ることができる。
【０２５４】
また、最初のブリッジクリップ終了予定点βまででVBVoccupancyを合わせられず、ブリッジクリップの範囲が延長される場合も同様のことが発生する。例えば、図３８に示される最初のブリッジクリップ終了予定点βまででVBVoccupancyを合わせられず、スプライシングが終了しなかった場合、次のブリッジクリップ終了予定点を、次のＧＯＰの切れ目である図中γで示される点とすることができる。その場合、次のブリッジクリップ終了予定点γでうまくスプライシングを終了できたかどうかがわかるのは、図３８に示されるように、ブリッジクリップ終了予定点γがエンコーダ６０にてエンコードされる、図中γ’で示される点よりbフレーム後のκ時点ということになる。
【０２５５】
従って、最初のブリッジクリップ終了予定点βまででVBVoccupancyを合わせられず、スプライシングが終了しなかった場合、次のブリッジクリップ終了予定点γの前にOUT点が決定されるか、最初のブリッジクリップ終了予定点βの(１＋ａ＋ｂ)フレーム先にGOP切れ目が存在し、そのGOP切れ目から開始されるGOP内でOUT点が決定された場合に、IN点に関するスプライシングは終了せずに、そのままOUT点によって定まるVBVoccupancy目標値に向かってエンコードが続けられる。また、そのとき、OUT点を含むブリッジクリップの目標VBVoccupancyは、上述したように、エンコーダ１８３の処理とは関係なく予め知ることができる。
【０２５６】
ＩＮ点を含むブリッジクリップの範囲が延長されている状態で、モニタ１乃至３を監視しているユーザから、ＯＵＴ点の位置の指令を受ける場合がある。また、ＯＵＴ点は、予め指定されている場合もある。いずれの場合においても、ＣＰＵ１８２は、その範囲がＯＵＴ点を含むブリッジクリップと連続するか否かを、OUT点を含むブリッジクリップのエンコーダ６０によるエンコードが開始される前に判断する必要がある。
【０２５７】
ＣＰＵ１８２は、フレームバッファ１８４による遅延時間分を利用して、ＯＵＴ点が検出されてから、ＩＮ点を含むブリッジクリップのスプライシング処理が正しく終了されたか否かを確認した後、ＩＮ点を含むブリッジクリップがＯＵＴ点を含むブリッジクリップを含んで連続するか否かを判断することができると好適であるが、ＯＵＴ点近傍のＧＯＰ位相によっては、ＩＮ点を含むブリッジクリップのスプライシング処理の終了を待たずに、ＩＮ点を含むブリッジクリップがＯＵＴ点を含むブリッジクリップを含んで連続するものとしてしまわなければならない場合がある。
【０２５８】
そのような場合について、図３９を用いて説明する。なお、図３９においても、aは、コマンド実行マージン時間とＣＰＵ１８２から供給された目標VBVoccupancy値に基づいてエンコードパラメータを計算する時間をフレーム数で表した値であり、ｂは、エンコード結果を知りたいフレームがエンコードされるのに必要なフレーム入力が終了してからエンコード結果を知りたいフレームのエンコードが終了し、目標VBVoccupancyを知るまでの時間をフレーム数で表した値であるものとする。
【０２５９】
ＣＰＵ１８２は、エンコーダ１８２によるＳＤＩ入力のエンコードにおいて、エンコード中のブリッジクリップの終了予定点のエンコード結果におけるVBVoccupancyの値に基づいて、ブリッジクリップの範囲を延長するか否かを決定する。ＣＰＵ１８２は、ブリッジクリップの終了予定点のエンコード結果におけるVBVoccupancyの値を、そのフレームの入力後、ｂフレーム後に知ることができる。
【０２６０】
図３９に示されるように、エンコード中のブリッジクリップの終了予定点をδとし、決定したOUT点を含むGOPの先頭をεとして、δ乃至ε間のフレーム数をｋフレームとする。OUT点を含むブリッジクリップのためのストリーム２のエンコードは、ＯＵＴ点の（Ｎ＋ａ）フレーム前から開始可能なようにしなければならない。OUT点を含むGOPの先頭εからＯＵＴ点までをＮ−１フレームとしたとき、δからＯＵＴ点まではｋ＋（Ｎ−１）フレームとなる。したがって、ＣＰＵ１８２がＩＮ点を含むブリッジクリップのスプライシング処理が正しく終了されたか否かを確認した後、ＯＵＴ点を含むブリッジクリップを含んで連続するか否かを判断することができる余裕フレーム数は、ｋ＋（Ｎ−１）−ｂ―（Ｎ＋ａ）＝ｋ−(１＋ａ＋ｂ)フレームとなる。
【０２６１】
この場合、例えば、ａ＝１、ｂ＝３ならば、ｋが６フレーム以上であれば、ＣＰＵ１８２は、ＩＮ点を含むブリッジクリップのスプライシング処理が正しく終了されたか否かを確認した後、ＯＵＴ点を含むブリッジクリップを含んで連続するか否かを判断することができる。しかしながら、エンコーダ１８３によるエンコード処理が、最小のＧＯＰ長が５フレーム以下であることを許すとき、ＩＮ点を含むブリッジクリップのスプライシング処理の終了を待たずに、ＣＰＵ１８２は、ＩＮ点を含むブリッジクリップがＯＵＴ点を含むブリッジクリップを含んで連続するものと決定する必要がある。
【０２６２】
すなわち、エンコーダ１８３によるエンコード処理において許可される最長ＧＯＰ長をｋとし、上述したように、aは、コマンド実行マージン時間とＣＰＵ１８２から供給された目標VBVoccupancy値に基づいてエンコードパラメータを計算する時間をフレーム数で表した値であり、ｂは、エンコード結果を知りたいフレームがエンコードされるのに必要なフレーム入力が終了してからエンコード結果を知りたいフレームのエンコードが終了し、目標VBVoccupancyを知るまでの時間をフレーム数で表した値であるものとしたとき、ｋ−(１＋ａ＋ｂ)が正の値である場合は、ＣＰＵ１８２は、ＩＮ点を含むブリッジクリップのスプライシング処理が正しく終了されたか否かを確認した後、ＯＵＴ点を含むブリッジクリップを含んで連続するか否かを判断することができる。
【０２６３】
これに対して、ｋ−(１＋ａ＋ｂ)が負の値であるとき、換言すれば、ｋ≦(１＋ａ＋ｂ)であるとき、モニタ１乃至３を監視しているユーザからＯＵＴ点の位置の指令を受けた時点でＩＮ点のスプライシング処理が終了していないか、または、エンコーダ６０において予め指定されたＯＵＴ点を含むＧＯＰより１ＧＯＰ前のエンコードが開始されたとき、ＩＮ点を含むブリッジクリップのスプライシング処理の終了を待たずに、ＣＰＵ１８２は、ＩＮ点を含むブリッジクリップがＯＵＴ点を含むブリッジクリップを含んで連続するものと決定する必要がある。
【０２６４】
次に、図４０乃至図４５を参照して、フレームバッファ１８４のバッファ容量が２Ｎ＋２＋ａ＋ｂであるときの、モニタ出力とエンコーダ６０への入力について説明する。
【０２６５】
図４０乃至図４５においては、モニタ出力およびエンコーダ入力とも、Ａは、ＨＤＤ４６に予め記憶されている下地ストリーム（例えば、図３３におけるストリーム１およびストリーム２に対応する）に対応するものであり、Ｂは、入力端子６１から入力されるベースバンド信号（ＳＤＩ入力）に対応するものである。
【０２６６】
フレームバッファ１８４のバッファ容量が２Ｎ＋２＋ａ＋ｂであるとき、例えば、図４０に示されるように、下地ストリームにおいてＩＮ点を含むＧＯＰの先頭からＩＮ点までがｋ１フレームであり、ベースバンド信号において、ＩＮ点からデコーダ１８３によるデコードでのＧＯＰ位相におけるＩＮ点を含むＧＯＰの終了点までがｋ２フレームであるとき、モニタ出力と並行して実行されているデコーダ１８３によるデコード処理におけるブリッジクリップ終了予定点でのエンコード結果は、モニタ出力におけるＩＮ点に対して、（ｋ２＋３＋ｂ）フレーム後に、ＣＰＵ１８２に供給される。また、このブリッジクリップの範囲のエンコーダ６０への入力は、フレームバッファ１８４によって、２Ｎ＋２＋ａ＋ｂフレームだけ遅延される。そのため、エンコーダ６０によるエンコード開始のための前方参照画の入力の前にエンコード開始コマンドが発行されることを考慮しても、ＣＰＵ１８２が、ブリッジクリップ終了予定点でのエンコード結果を取得してから、エンコーダ６０におけるブリッジクリップのエンコードの制御を開始するまでには、（２Ｎ＋２＋ａ＋ｂ）−ｋ１−ｋ２−（３＋ｂ）−（ａ＋ｂ）で、２Ｎ−２−ｋ１−ｋ２の余裕がある。
【０２６７】
従って、フレームバッファ１８４のバッファ容量が２Ｎ＋２＋ａ＋ｂであれば、例えば、図４１に示されるように、ｋ１およびｋ２が最も大きなフレーム数であるとき、すなわち、ｋ１がＮ−１フレームであり、ｋ２がＮ−１フレームであっても、ＣＰＵ１８２が、ブリッジクリップ終了予定点でのエンコード結果を取得してから、エンコーダ６０におけるブリッジクリップのエンコードの制御を開始することができる。
【０２６８】
次に、ＩＮ点前後のGOP切れ目の位置によって定まる、スプライシングのためのブリッジクリップに含まれるフレーム数が、画質維持のために考慮される最小GOP長に満たない場合について説明する。例えば、図４２に示されるように、下地ストリームにおいてＩＮ点を含むＧＯＰの先頭からＩＮ点までがｋ１フレームであり、ベースバンド信号において、ＩＮ点からデコーダ１８３によるデコードでのＧＯＰ位相におけるＩＮ点を含むＧＯＰの終了点までがｋ２フレームであって、ｋ１＋ｋ２フレームのフレーム数が極端に少ない場合、この範囲のみをブリッジクリップとしてしまっては、符号化処理における符号配分が困難であり、画質を維持することができない場合がある。そこで、さらに次のＧＯＰまでをブリッジクリップとするものとする。
【０２６９】
このとき、モニタ出力と並行して実行されているデコーダ１８３によるデコード処理におけるブリッジクリップ終了予定点でのエンコード結果は、モニタ出力におけるＩＮ点に対して、（ｋ２＋Ｎ＋３＋ｂ）フレーム後に、ＣＰＵ１８２に供給される。すなわち、ＣＰＵ１８２が、ブリッジクリップ終了予定点でのエンコード結果を取得してから、エンコーダ６０におけるブリッジクリップのエンコードの制御を開始するまでには、（２Ｎ＋２＋ａ＋ｂ）−ｋ１−ｋ２−Ｎ−（３＋ｂ）−（ａ＋ｂ）で、Ｎ−２−ｋ１−ｋ２の余裕がある。
【０２７０】
すなわち、ｋ１＋ｋ２がＮ−２フレーム以下のとき、次のＧＯＰまでブリッジクリップを延長しても、ＣＰＵ１８２が、ブリッジクリップ終了予定点でのエンコード結果を取得してから、エンコーダ６０におけるブリッジクリップのエンコードの制御を開始することができる。
【０２７１】
次に、ＯＵＴ点を含むスプライシング処理のためのブリッジクリップのエンコードにおいて、例えば、図４３に示されるように、ベースバンド信号において、デコーダ１８３によるデコードでのＧＯＰ位相におけるＯＵＴ点を含むＧＯＰの開始点からＯＵＴ点までがｋ３フレームであり、下地ストリームにおいてＯＵＴ点からＯＵＴ点を含むＧＯＰの最後までがｋ４フレームであるものとする。ここで、ＯＵＴ点が指定されて、ＯＵＴ点を含むブリッジクリップの終了予定点におけるVBVoccupancy目標量は、ＨＤＤ４６に予め記憶されたている下地ストリームの対応する位置のVBVoccupancyであるので、ＣＰＵ１８２は、デコーダ１８３によるブリッジクリップ範囲のデコードの終了を待つことなくVBVoccupancy目標量を認識することが可能である。したがって、フレームバッファ１８４のバッファ容量が２Ｎ＋２＋ａ＋ｂであることより、ＣＰＵ１８２は、問題なく、ＯＵＴ点を含むブリッジクリップのエンコードの制御を行うことができる。
【０２７２】
次に、ＯＵＴ点前後のGOP切れ目の位置によって定まる、スプライシングのためのブリッジクリップに含まれるフレーム数が、画質維持のために考慮される最小GOP長に満たない場合について説明する。例えば、図４４に示されるように、デコーダ１８３によるデコードでのＧＯＰ位相におけるＯＵＴ点を含むＧＯＰの開始点からＯＵＴ点までがｋ３フレームであり、下地ストリームにおいてＯＵＴ点からＯＵＴ点を含むＧＯＰの最後までがｋ４フレームであって、ｋ３＋ｋ４フレームのフレーム数が極端に少ない場合、この範囲のみをブリッジクリップとしてしまっては、符号化処理における符号配分が困難であり、画質を維持することができない場合がある。そこで、ＣＰＵ１８２は、ブリッジクリップの開始点を、一つ前のＧＯＰの開始点として、ブリッジクリップに含まれるフレーム数を増やして、その最小ブリッジクリップのエンコード結果で２ＧＯＰを構成するように、エンコーダ６０によるエンコード処理を制御する。このような場合であっても、フレームバッファ１８４のバッファ容量が２Ｎ＋２＋ａ＋ｂであることより、ＣＰＵ１８２は、問題なく、ＯＵＴ点を含むブリッジクリップのエンコードの制御を行うことができる。
【０２７３】
また、上述したように、ＯＵＴ点を含むブリッジクリップは、ＩＮ点を含むブリッジクリップと連続する場合がある。図４５に示されるように、ｋ３＋ｋ４フレームのフレーム数が充分である場合であっても、極端に少ないため、ＯＵＴ点を含むブリッジクリップの開始点が１ＧＯＰ前となる場合であっても、ＣＰＵ１８２は、ＯＵＴ点を含むブリッジクリップの直前までは、ＩＮ点を含むブリッジクリップであるものとしてエンコーダ６０のエンコード処理を制御する。そして、ＣＰＵ１８２は、ＯＵＴ点を含むブリッジクリップのエンコードの開始前に、ＯＵＴ点を含むブリッジクリップ終了予定点のVBVoccupancy目標量を認識することができるので、そのまま継続して、エンコーダ６０によるＯＵＴ点を含むブリッジクリップのエンコード処理を制御することができる。
【０２７４】
なお、以上説明した処理においては、下地としてＨＤＤ４６に予め記憶されている符号化ストリームを利用し、入力端子６１から入力されるベースバンド信号を上書き用の編集素材として用いるものとして説明したが、例えば、下地として入力端子６１から入力されるベースバンド信号を利用し、ＨＤＤ４６に予め記憶されている符号化ストリームを上書き用の編集素材として用いる場合であっても、上述した処理において、ＩＮ点とＯＵＴ点の処理が逆になるだけであり、フレームバッファ１８４のバッファ容量が２Ｎ＋２＋ａ＋ｂであれば、ＣＰＵ１８２は、問題なく、ブリッジクリップのエンコードの制御を行うことができる。
【０２７５】
図４６に、図３３乃至図４５を用いて説明したブリッジクリップのエンコード処理を実行する編集装置１７１のCPU１８１およびCPU１８２が有する機能を説明するための機能ブロック図を示す。
【０２７６】
なお、図１６における場合と対応する部分には、同一の符号を付してあり、その説明は適宜省略する。
【０２７７】
すなわち、ＣＰＵ１８１の機能は、再エンコード範囲決定部８４に代わって、ブリッジクリップ範囲決定部１９１が設けられ、編集処理制御部８５に代わって、編集処理制御部１９２が設けられている以外は、図１６を用いて説明したＣＰＵ４１が有する機能と基本的に同様であり、また、ＣＰＵ１８２の機能は、新たに、ベースバンド信号のエンコード制御部２０１が設けられ、エンコード制御部９３に代わって、エンコード制御部２０２が設けられている以外は、図１６を用いて説明したＣＰＵ５２が有する機能と基本的に同様である。
【０２７８】
ブリッジクリップ範囲決定部１９１は、ユーザ入力取得部８２から供給されたユーザの操作入力と、パラメータ取得部により取得された各種パラメータ、並びに、IN点/OUT点決定部８３により決定されたIN点およびOUT点を基に、上述したブリッジクリップの範囲を決定し、編集処理制御部１９２に供給する。
【０２７９】
編集処理制御部１９２は、IN点/OUT点決定部８３により決定されたIN点およびOUT点、並びに、ブリッジクリップ範囲決定部１９１により決定されたブリッジクリップの範囲を基に、ＰＣＩブリッジ４９、デコーダ５４乃至デコーダ５６、スイッチ５７、スイッチ/エフェクト５８、エンコーダ６０、スイッチ６２、および、デコーダ１８３の動作を制御するためのコマンドなどを生成し、ノースブリッジ４２、ＰＣＩバス４４、ＰＣＩブリッジ４９、および、コントロールバス５１を介して、生成したコマンドをＣＰＵ１８２に供給する。
【０２８０】
すなわち、編集処理制御部１９２は、ブリッジクリップのみがエンコーダ６０に供給されてエンコードされるように、ＰＣＩブリッジ４９やスイッチ５７を制御することにより、ＩＮ点を含むブリッジクリップとＯＵＴ点を含むブリッジクリップとの間の部分のエンコード処理が、エンコーダ６０とエンコーダ１８３とで重複してしまうことを防ぐことができる。
【０２８１】
ベースバンド信号のエンコード制御部２０１は、エンコーダ１８３を制御し、入力端子６１から入力されたベースバンド信号のエンコード処理と、そのエンコード処理の結果のＣＰＵ１８２への供給を制御する。
【０２８２】
エンコード処理部２０２は、編集処理制御部１９２から供給されたコマンド、および、エンコーダ１８３から供給される、ベースバンド信号のエンコード結果に基づいて、エンコーダ６０の動作を制御する。
【０２８３】
次に、図４７乃至図５０のフローチャートを参照して、編集装置１７１が実行する編集処理３について説明する。
【０２８４】
ステップＳ１１１において、ＣＰＵ１８１は、HDD４６に記録されている下地の符号化ストリームを読み出し、ノースブリッジ４２およびPCIバス４４を介して、PCIブリッジ４９に供給する。ＣＰＵ１８２は、供給された下地の符号化ストリームを、必要に応じて、一旦メモリ５０に蓄積した後、デコーダ５４に供給する。デコーダ５４は、デコード制御部９１の制御に基づいて、供給された下地の符号化ストリームのデコードを開始し、デコードされて生成されたベースバンド信号を、スイッチ/エフェクト５８に供給する。
【０２８５】
ステップＳ１１２において、ＣＰＵ１８１は、入力端子６１からのベースバンド信号の入力と、エンコーダ１８３によるベースバンド信号のエンコードの制御を開始する。エンコーダ１８３は、ベースバンド信号のエンコード制御部２０１の制御に基づいて、供給されたベースバンド信号をエンコードする。
【０２８６】
ステップＳ１１３において、エンコーダ１８３は、ベースバンド信号のエンコード制御部２０１の制御に基づいて、エンコードに関するGOP位相およびVBVoccupancyの値をＣＰＵ１８２に供給する。ＣＰＵ１８２は、エンコードに関するGOP位相およびVBVoccupancyの値を取得する。これにより、ＣＰＵ１８２は、フレームバッファ１８４により遅延されて実行されるエンコーダ６０によるブリッジクリップ部分のエンコード処理の制御に先立って、エンコードに関するGOP位相およびVBVoccupancyの値を知ることができる。
【０２８７】
ステップＳ１１４において、モニタ１およびモニタ２は、遅延前の編集素材の表示を開始し、モニタ３は、スイッチ/エフェクト５８の出力、すなわち、遅延前の編集結果の表示を開始する。オペレータは、モニタ１およびモニタ２に表示される映像を観測し、信号を切替えたいタイミングを図示しない操作入力部により指令する。
【０２８８】
ステップＳ１１５において、ＣＰＵ１８１のパラメータ取得部８１は、下地の符号化ストリームに関するGOP位相情報を取得し、IN点/OUT点決定部８３およびブリッジクリップ範囲決定部１９１に供給する。これにより、ＣＰＵ１８１は、下地の符号化ストリームのGOPの切れ目を検出することができる。また、ＣＰＵ１８１は、フレームバッファ１８４のバッファ容量も認識しているので、エンコーダ６０によるブリッジクリップのエンコードの開始タイミングを制御することが可能となる。
【０２８９】
ステップＳ１１６において、パラメータ取得部８１は、下地の符号化ストリームに関する、GOP切れ目でのVBV占有量を取得し、IN点/OUT点決定部８３およびブリッジクリップ範囲決定部１９１に供給する。これにより、例えば、上述した特開２００６−６７０９５号公報に記載の技術やその他の公知の技術を用いて、VBVoccupancyを、ブリッジクリップと再エンコードが実行されていない下地の符号化ストリームとで連続させることが可能となる。
【０２９０】
ステップＳ１１７において、ユーザ入力取得部８２は、フレームバッファ１８４およびエンコーダ６０への入力信号を下地の符号化ストリームに対応するベースバンド信号から入力端子６１より供給されるベースバンド信号に切替える様に操作入力を受けたか否かを判断する。
【０２９１】
ステップＳ１１７において、フレームバッファ１８４およびエンコーダ６０への入力信号を切換える操作入力を受けていないと判断された場合、操作入力を受けたと判断されるまで、ステップＳ１１７の処理が繰り返される。
【０２９２】
ステップＳ１１７において、フレームバッファ１８４およびエンコーダ６０への入力信号を切換える操作入力を受けたと判断された場合、ステップＳ１１８において、IN点/OUT点決定部８３は、編集におけるIN点を決定し、編集処理制御部１９２に供給する。編集処理制御部１９２は、ＣＰＵ１８２の＃１スイッチ制御部９２を制御するための制御信号を生成し、ＣＰＵ１８２に供給する。ＣＰＵ１８２の＃１スイッチ制御部９２は、スイッチ/エフェクト５８の動作を制御して、編集点において出力するデータを切換えて、フレームバッファ１８４およびエンコーダ６０への入力信号を下地の符号化ストリームに対応するベースバンド信号から入力端子６１より供給されるベースバンド信号に切替える、すなわち、下地の符号化ストリームに対応するベースバンド信号と入力端子６１より供給されるベースバンド信号を接続させる。フレームバッファ１８４では、供給されたベースバンド信号がバッファリングされるので、エンコーダ６０への入力は、フレームバッファ１８４のバッファ容量分だけ遅延する。
【０２９３】
ステップＳ１１９において、ブリッジクリップ範囲決定部１９１は、ユーザ入力取得部８２から供給されたユーザの操作入力と、パラメータ取得部により取得された各種パラメータ、エンコーダ１８３によるエンコードの結果得られるベースバンド信号をエンコードしたストリームのＧＯＰ位相、並びに、IN点/OUT点決定部８３により決定されたIN点を基に、上述したブリッジクリップの範囲を決定し、編集処理制御部１９２に供給する。
【０２９４】
ステップＳ１２０において、ブリッジクリップ範囲決定部１９１は、決定されたブリッジクリップの範囲に基づいて、IN点を含むGOPに関してエンコーダ６０によるエンコードを開始するためのタイミングを設定する。
【０２９５】
ステップＳ１２１において、ＣＰＵ１８２のエンコード制御部２０２は、エンコーダ１８３から供給された、エンコードに関するVBVoccupancyの値から、ブリッジクリップ終了予定点に対応するVBVoccupancyの値を抽出する。
【０２９６】
ステップＳ１２２において、エンコード制御部２０２は、抽出されたVBVoccupancyの値を、ブリッジクリップ終了予定点のVBVoccupancy目標値としてエンコーダ６０によるブリッジクリップのエンコードのパラメータを設定する。
【０２９７】
ステップＳ１２３において、編集処理制御部１９２は、フレームバッファ１８４によりバッファリングされた、下地の符号化ストリームのIN点を含むGOPの最初のフレームからの、エンコーダ６０によるエンコードを制御する制御信号を、ＣＰＵ１８２のエンコード制御部２０２に供給する。エンコード制御部２０２は、編集処理制御部１９２から供給された制御信号に基づいて、フレームバッファ１８４によりバッファリングされた、下地の符号化ストリームのIN点を含むGOPの最初のフレームからの、エンコーダ６０によるエンコードを制御する。エンコード制御部２０２は、基本的に、OUT点を含むGOPまでの間においては、エンコーダ６０に対して、ブリッジクリップの範囲を延長させてエンコードを実行させることが可能である。
【０２９８】
ステップＳ１２４において、ＣＰＵ１８１は、PCIブリッジ４９、PCIバス４４、および、ノースブリッジ４２を介して供給されるエンコード結果の取得を開始して、メモリ４３に供給して保存させる。
【０２９９】
ステップＳ１２５において、エンコード制御部２０２は、エンコード６０によるブリッジクリップのエンコードが、VBVoccupancyが連続するように、正しく終了したか否かを判断する。ステップＳ１２５において、エンコードが正しく終了されたと判断された場合、処理は、後述するステップＳ１２９に戻る。
【０３００】
ステップＳ１２５において、エンコードが正しく終了しなかったと判断された場合、ステップＳ１２６において、ブリッジクリップ範囲決定部１９１は、ブリッジクリップの範囲を延長して、再度、ブリッジクリップ終了予定点を設定し、再設定された内容を、編集処理制御部１９２に供給する。
【０３０１】
ステップＳ１２７において、ＣＰＵ１８２のエンコード制御部２０２は、エンコーダ１８３から供給された、エンコードに関するVBVoccupancyの値から、再設定されたブリッジクリップ終了予定点に対応するVBVoccupancyの値を抽出する。
【０３０２】
ステップＳ１２８において、編集処理制御部１９２は、抽出されたVBVoccupancyの値を、ブリッジクリップ終了予定点のVBVoccupancy目標値としてエンコーダ６０によるブリッジクリップのエンコードのパラメータを設定して、延長されたブリッジクリップのエンコーダ６０によるエンコードを制御する制御信号を、ＣＰＵ１８２のエンコード制御部２０２に供給する。エンコーダ６０は、エンコード処理を継続する。ステップＳ１２８の処理の終了後、処理は、ステップＳ１２５に戻り、それ以降の処理が繰り返される。
【０３０３】
ステップＳ１２５において、エンコードが正しく終了されたと判断された場合、ＣＰＵ１８２のエンコード制御部２０２は、ＣＰＵ１８１にエンコードが正しく終了したことを通知するので、ステップＳ１２９において、編集処理制御部１９２は、フレームバッファ１８４からエンコーダ６０へのデータの供給をストップさせるためのコマンドを生成し、ＣＰＵ１８２に供給する。ＣＰＵ１８２は、例えば、スイッチ／エフェクト５８を制御して、フレームバッファ１８４へのデータの供給をストップさせることなどにより、フレームバッファ１８４からエンコーダ６０へのデータの供給をストップさせる。
【０３０４】
ステップＳ１３０において、ユーザ入力取得部８２は、フレームバッファ１８４およびエンコーダ６０への入力信号を、入力端子６１より供給されるベースバンド信号から、デコーダ５４から出力される下地の符号化ストリームに対応するベースバンド信号に切替える様に操作入力を受けたか否かを判断する。
【０３０５】
ステップＳ１３０において、フレームバッファ１８４およびエンコーダ６０への入力信号を切換える操作入力を受けていないと判断された場合、入力信号を切換える操作入力を受けたと判断されるまで、ステップＳ１３０の処理が繰り返される。
【０３０６】
ステップＳ１３０において、フレームバッファ１８４およびエンコーダ６０への入力信号を切換える操作入力を受けたと判断された場合、ステップＳ１３１において、IN点/OUT点決定部８３は、編集におけるOUT点を決定し、編集処理制御部１９２に供給する。編集処理制御部１９２は、ＣＰＵ１８２の＃１スイッチ制御部９２を制御するための制御信号を生成し、ＣＰＵ１８２に供給する。ＣＰＵ１８２の＃１スイッチ制御部９２は、スイッチ/エフェクト５８の動作を制御して、編集点において出力するデータを切換えて、フレームバッファ１８４およびエンコーダ６０への入力信号を入力端子６１より供給されるベースバンド信号から下地の符号化ストリームに対応するベースバンド信号に切替える。すなわち、編集処理制御部１９２は、入力端子６１より供給されるベースバンド信号と下地の符号化ストリームに対応するベースバンド信号を接続させる。フレームバッファ１８４では、接続されたベースバンド信号と下地の符号化ストリームに対応するベースバンド信号がバッファリングされる。
【０３０７】
ステップＳ１３２において、ブリッジクリップ範囲決定部１９１は、ユーザ入力取得部８２から供給されたユーザの操作入力と、パラメータ取得部により取得された各種パラメータ、エンコーダ１８３によるエンコードの結果得られるベースバンド信号をエンコードしたストリームのＧＯＰ位相、並びに、IN点/OUT点決定部８３により決定されたOUT点を基に、ＯＵＴ点を含むブリッジクリップの範囲を決定し、編集処理制御部１９２に供給する。また、ブリッジクリップ範囲決定部１９１は、決定されたブリッジクリップの範囲に基づいて、ＯＵＴ点を含むブリッジクリップに関してエンコーダ６０によるエンコードを開始するためのタイミングを設定する。
【０３０８】
ステップＳ１３３において、編集処理制御部１９２は、フレームバッファ１８４によりバッファリングされたＯＵＴ点を含むブリッジクリップの、エンコーダ６０によるエンコードを制御する制御信号を、ＣＰＵ１８２のエンコード制御部２０２に供給する。エンコード制御部２０２は、編集処理制御部１９２から供給された制御信号に基づいて、フレームバッファ１８４によりバッファリングされたＯＵＴ点を含むブリッジクリップの、エンコーダ６０によるエンコードを制御する。エンコード制御部２０２は、基本的に、エンコーダ６０に対して、ブリッジクリップの範囲を延長させてエンコードを実行させることが可能である。
【０３０９】
ステップＳ１３４において、ＣＰＵ１８１は、PCIブリッジ４９、PCIバス４４、および、ノースブリッジ４２を介して供給されるエンコード結果の取得を開始して、メモリ４３に供給して保存させる。
【０３１０】
ステップＳ１３５において、エンコード制御部２０２は、エンコード６０によるブリッジクリップのエンコードが、VBVoccupancyが連続するように、正しく終了したか否かを判断する。ステップＳ１３５において、エンコードが正しく終了しなかったと判断された場合、処理は、ステップＳ１３２に戻り、それ以降の処理が繰り返される。
【０３１１】
ステップＳ１３５において、エンコードが正しく終了したと判断された場合、ステップＳ１３６において、ＣＰＵ１８２のエンコード制御部２０２は、ＣＰＵ１８１にエンコードが正しく終了したことを通知するので、ステップＳ１２９において、編集処理制御部１９２は、フレームバッファ１８４からエンコーダ６０へのデータの供給をストップさせるためのコマンドを生成し、ＣＰＵ１８２に供給する。ＣＰＵ１８２は、スイッチ／エフェクト５８を制御して、フレームバッファ１８４へのデータの供給をストップさせることにより、フレームバッファ１８４からエンコーダ６０へのデータの供給をストップさせる。
【０３１２】
ステップＳ１３７において、ＣＰＵ１８１は、PCIブリッジ４９、PCIバス４４、および、ノースブリッジ４２を介して供給され、メモリ４３に保存されている編集された部分のエンコード結果、および、ブリッジクリップとブリッジクリップとの間のベースバンド信号に対応するエンコーダ１８３によりエンコードされたストリーム、並びに、ＨＤＤ４６に保存されているＩＮ点を含むブリッジクリップより前の下地ストリーム、および、ＯＵＴ点を含むブリッジクリップより後ろの下地ストリームを接続して、編集後のストリームを生成し、処理が終了される。
【０３１３】
このような処理により、編集素材の映像をオペレータがモニタしながら編集点を決定し、従来よりも早く編集結果を得ることができるとともに、編集素材として供給されるベースバンド信号を並行してエンコードし、記憶することができるので、編集終了後に編集点を変更する処理を、記憶された、ベースバンド信号に対応する符号化ストリームを用いて実行することができる。また、このとき、エンコーダ６０とエンコーダ１８３とで、ＩＮ点とＯＵＴ点との間の同一のベースバンド信号のエンコード処理を重複して行うことなく、また、編集後にそれぞれの符号化ストリームを接続したときに、VBVoccupancyの連続性を保障することが可能となる。
【０３１４】
なお、図４７乃至図５０のフローチャートを用いて説明した、編集装置１７１が実行する編集処理３では、ステップＳ１２５の処理により、ＩＮ点を含むブリッジクリップのエンコード処理が正しく終了されたと判断される前にＯＵＴ点が指令された場合の処理についての説明を省略しているが、そのような場合は、図４５を用いて説明したようにして、エンコーダ６０によるエンコード処理の制御が実行される。
【０３１５】
また、ブリッジクリップ終了点におけるVBVoccupancyが、再エンコードを実行しない部分と再エンコードを実行する部分とで連続するまで、同一の範囲でエンコードを繰り返す2-path法を用いることにより、VBVoccupancyの連続性を保障するようにしてもよい。
【０３１６】
なお、編集装置１７１においては、エンコード処理が重複しないように、ＩＮ点とＯＵＴ点の間の編集後のストリームのうちの一部に、エンコーダ１８３により生成されたストリームを用いることができるようになされているため、フレームバッファ１８４のバッファ容量を、２Ｎ＋２＋ａ＋ｂフレーム以上とする必要がある。これに対して、例えば、エンコーダ１８３において編集処理とは独立してベースバンド信号のエンコード処理を実行すれば、ＩＮ点とＯＵＴ点の間の上書き部分のエンコード処理をどちらのエンコーダが行おうとも、編集終了後に編集点を変更する処理を、記憶された、ベースバンド信号に対応する符号化ストリームを用いて実行することができるという効果を奏することができる。例えば、ＩＮ点とＯＵＴ点の間の上書き部分のエンコード処理を、第１の実施の形態と同様に、エンコーダ６０も行うようにする場合、フレームバッファ１８４のバッファ容量は、第１の実施の形態と同様であっても良い。
【０３１７】
上述した一連の処理は、ハードウエアにより実行させることもできるし、ソフトウェアにより実行させることもできる。この場合、上述した処理は、図５１に示されるようなパーソナルコンピュータ５００により実行される。
【０３１８】
図５１において、CPU（Central Processing Unit）５０１は、ROM(Read Only Memory)５０２に記憶されているプログラム、または、記憶部５０８からRAM(Random Access Memory)５０３にロードされたプログラムに従って各種の処理を実行する。RAM５０３にはまた、CPU５０１が各種の処理を実行する上において必要なデータなどが適宜記憶される。
【０３１９】
CPU５０１、ROM５０２、およびRAM５０３は、内部バス５０４を介して相互に接続されている。この内部バス５０４にはまた、入出力インターフェース５０５も接続されている。
【０３２０】
入出力インターフェース５０５には、キーボード、マウスなどよりなる入力部５０６、CRT，LCDなどよりなるディスプレイ、スピーカなどよりなる出力部５０７、ハードディスクなどより構成される記憶部５０８、並びに、モデム、ターミナルアダプタなどより構成される通信部５０９が接続されている。通信部５０９は、電話回線やCATVを含む各種のネットワークを介しての通信処理を行う。
【０３２１】
入出力インターフェース５０５にはまた、必要に応じてドライブ５１０が接続され、磁気ディスク、光ディスク、光磁気ディスク、あるいは半導体メモリなどによりなるリムーバブルメディア５２１が適宜装着され、それらから読み出されたコンピュータプログラムが、必要に応じて記憶部５０８にインストールされる。
【０３２２】
また、本明細書において、記録媒体に記録されるプログラムを記述するステップは、記載された順序に沿って時系列的に行われる処理はもちろん、必ずしも時系列的に処理されなくとも、並列的あるいは個別に実行される処理をも含むものである。
【０３２３】
なお、本明細書において、システムとは、複数の装置により構成される装置全体を表すものである。
【０３２４】
なお、本発明の実施の形態は、上述した実施の形態に限定されるものではなく、本発明の要旨を逸脱しない範囲において種々の変更が可能である。
【図面の簡単な説明】
【０３２５】
【図１】アセンブル編集について説明するための図である。
【図２】インサート編集について説明するための図である。
【図３】ベースバンド入力を独立にエンコードして第２の符号化ストリームを生成し、編集する場合の処理について説明するための図である。
【図４】第１の例の編集装置の構成について説明するためのブロック図である。
【図５】フレームバッファによるバッファリングによって発生するエンコーダへの入力信号の遅延時間について説明するための図である。
【図６】フレームバッファによるバッファリングによって発生するエンコーダへの入力信号の遅延時間について説明するための図である。
【図７】フレームバッファによるバッファリングによって発生するエンコーダへの入力信号の遅延時間について説明するための図である。
【図８】フレームバッファによるバッファリングによって発生するエンコーダへの入力信号の遅延時間について説明するための図である。
【図９】フレームバッファによるバッファリングによって発生するエンコーダへの入力信号の遅延時間について説明するための図である。
【図１０】OUT点を含むGOPのフレーム数の調整について説明するための図である。
【図１１】OUT点を含むGOPのフレーム数の調整について説明するための図である。
【図１２】OUT点を含むGOPのフレーム数の調整について説明するための図である。
【図１３】OUT点を含むGOPのフレーム数の調整について説明するための図である。
【図１４】フレームバッファによるバッファリングによって発生するエンコーダへの入力信号の遅延時間について説明するための図である。
【図１５】フレームバッファによるバッファリングによって発生するエンコーダへの入力信号の遅延時間について説明するための図である。
【図１６】第１の例の編集装置のCPUが有する機能を示す機能ブロック図である。
【図１７】編集処理１について説明するためのフローチャートである。
【図１８】編集処理１について説明するためのフローチャートである。
【図１９】第２の例の編集装置の構成について説明するためのブロック図である。
【図２０】第２の例の編集装置のCPUが有する機能を示す機能ブロック図である。
【図２１】エンコード結果の選択について説明するための図である。
【図２２】VBVoccupancyの連続性について説明するための図である。
【図２３】エンコードの終了位置について説明するための図である。
【図２４】ベースバンド画像データをエンコードする場合のGOP位相について説明するための図である。
【図２５】OUT点によって決まる再エンコード範囲の終了点と、VBVoccupancyの合わせ込みについて説明するための図である。
【図２６】OUT点によって決まる再エンコード範囲の終了点と、VBVoccupancyの合わせ込みについて説明するための図である。
【図２７】OUT点によって決まる再エンコード範囲の終了点と、VBVoccupancyの合わせ込みについて説明するための図である。
【図２８】VBVoccupancyの推移を示す図である。
【図２９】管理データの例について説明するための図である。
【図３０】編集処理２について説明するためのフローチャートである。
【図３１】編集処理２について説明するためのフローチャートである。
【図３２】第３の例の編集装置の構成について説明するためのブロック図である。
【図３３】編集処理におけるブリッジクリップの範囲について説明するための図である。
【図３４】図３２のフレームバッファに求められるバッファ容量について説明するための図である。
【図３５】図３２のフレームバッファに求められるバッファ容量について説明するための図である。
【図３６】図３２のフレームバッファに求められるバッファ容量について説明するための図である。
【図３７】図３２のフレームバッファに求められるバッファ容量について説明するための図である。
【図３８】図３２のフレームバッファに求められるバッファ容量について説明するための図である。
【図３９】図３２のフレームバッファに求められるバッファ容量について説明するための図である。
【図４０】図３２のフレームバッファに求められるバッファ容量について説明するための図である。
【図４１】図３２のフレームバッファに求められるバッファ容量について説明するための図である。
【図４２】図３２のフレームバッファに求められるバッファ容量について説明するための図である。
【図４３】図３２のフレームバッファに求められるバッファ容量について説明するための図である。
【図４４】図３２のフレームバッファに求められるバッファ容量について説明するための図である。
【図４５】図３２のフレームバッファに求められるバッファ容量について説明するための図である。
【図４６】図３２のＣＰＵが有する機能について説明するための機能ブロック図である。
【図４７】編集処理３について説明するためのフローチャートである。
【図４８】編集処理３について説明するためのフローチャートである。
【図４９】編集処理３について説明するためのフローチャートである。
【図５０】編集処理３について説明するためのフローチャートである。
【図５１】パーソナルコンピュータの構成を示すブロック図である。
【符号の説明】
【０３２６】
３１ 編集装置， ４１ CPU， ４３ メモリ， ４６ HDD， ４７ ドライブ， ４８ 記録メディア， ５２ CPU， ５４乃至５６ デコーダ， ５８ スイッチ/エフェクト， ５９ フレームバッファ， ６０ エンコーダ， ８１ パラメータ取得部， ８２ ユーザ入力取得部， ８３ IN点/OUT点決定部， ８４ 再エンコード範囲決定部， ８５ 編集処理制御部， ９１ デコード制御部， ９２ ＃１スイッチ制御部， ９３ エンコード制御部， ９４ ＃２スイッチ制御部， １２１ CPU， １２２ CPU， １４１ IN点/OUT点決定部， １４２ 再エンコード範囲決定部， １４３ 編集処理制御部， １４４ 編集後ストリーム選択部，１８１，１８２ ＣＰＵ， １８３ エンコーダ， １８４ フレームバッファ， １９１ ブリッジクリップ範囲決定部， １９２ 編集処理制御部， ２０１ ベースバンド信号のエンコード制御部， ２０２ エンコード制御部
【特許請求の範囲】
【請求項１】
編集処理を実行する情報処理装置において、
ベースバンド画像データを所定の符号化範囲ごとに符号化する符号化手段と、
第１の映像信号および第２の映像信号を参照するユーザによる編集点を指令する操作入力に基づいて、前記符号化手段に供給されるベースバンド画像データを、前記第１の映像信号と前記第２の映像信号とでスイッチングするスイッチング手段と、
前記第１の映像信号および前記第２の映像信号を参照するユーザによる編集点を指令する操作入力に基づいて、前記符号化手段により符号化された前記第１の映像信号のうち、前記第１の映像信号から前記第２の映像信号に切換えられる前記編集点を含まない、前記編集点よりも前の前記符号化範囲の符号化データを編集後の符号化ストリームとして選択しないように、編集後の符号化ストリームの生成を制御する編集データ制御手段と
を備える情報処理装置。
【請求項２】
前記第１の映像信号は、符号化ストリームが復号されて得られるベースバンドの映像信号であり、前記第２の映像信号は、ベースバンドの映像信号として入力された信号である
請求項１に記載の情報処理装置。
【請求項３】
前記符号化手段による符号化処理を制御する符号化制御手段を更に備え、
前記符号化制御手段は、前記第１の映像信号に対応する符号化ストリームの再符号化の開始箇所と終了箇所において、再符号化された部分の仮想バッファ占有量と再符号化されていない部分の仮想バッファ占有量が連続性を有するように、前記第１の映像信号の符号化を制御する
請求項２に記載の情報処理装置。
【請求項４】
前記符号化制御手段は、前記第１の映像信号のうち、前記第２の映像信号から前記第１の映像信号に切換えられる前記編集点を含む前記符号化範囲の次の前記符号化範囲以降において、再符号化された部分の仮想バッファ占有量と再符号化されていない部分の仮想バッファ占有量が連続性を有するように、前記第１の映像信号の符号化を制御する
請求項３に記載の情報処理装置。
【請求項５】
前記符号化手段による符号化処理の範囲を決定する符号化範囲決定手段を更に備え、
前記符号化範囲決定手段は、前記第２の映像信号から前記第１の映像信号に切換えられる前記編集点を含む前記符号化範囲の次の前記符号化範囲以降において、再符号化された部分の仮想バッファ占有量と再符号化されていない部分の仮想バッファ占有量が連続性を有するように、前記符号化手段による前記第１の映像信号の符号化を実行可能であるように、前記符号化手段による前記第１の映像信号の再符号化の終了位置を決定する
請求項４に記載の情報処理装置。
【請求項６】
前記第１の映像信号に対応する符号化ストリームには、フレームごとのゼロスタッフに関する情報が付随されている
請求項２に記載の情報処理装置。
【請求項７】
前記符号化制御手段は、前記第１の映像信号に対応する符号化ストリームに付随されている前記ゼロスタッフに関する情報に基づいて、前記第１の映像信号のうち、前記第２の映像信号から前記第１の映像信号に切換えられる前記編集点を含む前記符号化範囲の次の前記符号化範囲以降において、仮想バッファ占有量におけるゼロスタッフ分の調整により、再符号化された部分の仮想バッファ占有量と再符号化されていない部分の仮想バッファ占有量が連続性を有するように、前記第１の映像信号の符号化を制御する
請求項３に記載の情報処理装置。
【請求項８】
編集処理を実行する情報処理装置の情報処理方法において、
ベースバンド画像データを所定の符号化範囲ごとに符号化し、
第１の映像信号および第２の映像信号を参照するユーザによる編集点を指令する操作入力に基づいて、符号化されるベースバンド画像データを、前記第１の映像信号と前記第２の映像信号とでスイッチングし、
前記第１の映像信号および前記第２の映像信号を参照するユーザによる編集点を指令する操作入力に基づいて、符号化された前記第１の映像信号のうち、前記第１の映像信号から前記第２の映像信号に切換えられる前記編集点を含まない、前記編集点よりも前の前記符号化範囲の符号化データを編集後の符号化ストリームとして選択しないように、編集後の符号化ストリームの生成を制御する
ステップを含む情報処理方法。
【請求項９】
編集処理の制御をコンピュータに実行させるためのプログラムであって、
ベースバンド画像データを所定の符号化範囲ごとに符号化する処理を制御し、
第１の映像信号および第２の映像信号を参照するユーザによる編集点を指令する操作入力に基づいて、符号化されるベースバンド画像データを、前記第１の映像信号と前記第２の映像信号とでスイッチングする処理を制御し、
前記第１の映像信号および前記第２の映像信号を参照するユーザによる編集点を指令する操作入力に基づいて、符号化された前記第１の映像信号のうち、前記第１の映像信号から前記第２の映像信号に切換えられる前記編集点を含まない、前記編集点よりも前の前記符号化範囲の符号化データを編集後の符号化ストリームとして選択しないように、編集後の符号化ストリームの生成を制御する
ステップを含む処理をコンピュータに実行させるプログラム。
【請求項１０】
請求項９に記載のプログラムが記録されている記録媒体。
【請求項１１】
編集処理を実行する情報処理装置において、
ベースバンド画像データを所定の符号化範囲ごとに符号化する第１の符号化手段と、
第１の映像信号および第２の映像信号を参照するユーザによる編集点を指令する操作入力に基づいて、前記第１の符号化手段に供給されるベースバンド画像データを、前記第１の映像信号にと前記第２の映像信号とでスイッチングするスイッチング手段と、
前記スイッチング手段によりスイッチングされて前記第１の符号化手段に供給されるベースバンド画像データを所定時間遅延させる遅延手段と
を備える情報処理装置。
【請求項１２】
前記所定の符号化範囲に含まれるフレーム数の上限値をN（Nは、正の整数）とし、
前記遅延手段は、1コマンド遅延分とパラメータ演算のために必要な時間に対応するフレーム数をαとしたとき、前記第１の符号化手段に供給されるベースバンド画像データをＮ＋αフレームの処理時間だけ遅延させる
請求項１１に記載の情報処理装置。
【請求項１３】
前記所定の符号化範囲に含まれるフレーム数の上限値をN（Nは、正の整数）とし、
前記遅延手段は、1コマンド遅延分とパラメータ演算のために必要な時間に対応するフレーム数をβとしたとき、前記第１の符号化手段に供給されるベースバンド画像データを（Ｎ−１）＋βフレームの処理時間だけ遅延させる
請求項１１に記載の情報処理装置。
【請求項１４】
前記所定の符号化範囲に含まれるフレーム数の上限値をN（Nは、正の整数）とし、
前記所定の符号化範囲に含まれるフレーム数の下限値をN´（N´は、正の整数）とし、
前記遅延手段は、1コマンド遅延分とパラメータ演算のために必要な時間に対応するフレーム数をβとしたとき、前記第１の符号化手段に供給されるベースバンド画像データを（Ｎ＋Ｎ´−１）＋βフレームの処理時間だけ遅延させる
請求項１１に記載の情報処理装置。
【請求項１５】
前記第１の符号化手段は、前記第１の映像信号に対応する符号化ストリームの再符号化の開始箇所と終了箇所において、再符号化された部分の仮想バッファ占有量と再符号化されていない部分の仮想バッファ占有量が連続性を有するまで、前記第２の映像信号から前記第１の映像信号に切換えられる前記編集点を含む前記符号化範囲およびそれに続く所定フレーム数の前記第１の映像信号の符号化を繰り返し、
前記所定の符号化範囲に含まれるフレーム数の上限値をN（Nは、正の整数）とし、
前記所定の符号化範囲に続いて前記第１の符号化手段により符号化される前記所定フレームの数をM（Mは、正の整数）とし、
前記遅延手段は、前記第１の符号化手段に供給されるベースバンド画像データを（Ｎ＋Ｍ＋１）フレームの処理時間だけ遅延させる
請求項１１に記載の情報処理装置。
【請求項１６】
前記第１の符号化手段に供給される前記第１の映像信号に対応するベースバンド画像データを符号化する第２の符号化手段を更に備える
請求項１１に記載の情報処理装置。
【請求項１７】
前記第１の符号化手段による符号化処理を制御する制御手段を更に備え、
前記第１の符号化手段は、前記制御手段による制御に基づいて、前記編集点を含む所定の区間の符号化処理を行い、
前記第２の符号化手段は、前記第１の符号化手段により符号化される前記所定の区間の符号化終了予定点に対応する終了予定点対応フレームの符号化の結果得られる仮想バッファ占有量、および、符号化のＧＯＰ位相を前記制御手段に通知し、
前記制御手段は、前記第２の符号化手段による通知に基づいて、前記第２の符号化手段による符号化のＧＯＰ位相に合致するように、かつ、前記所定の区間の符号化終了予定点の仮想バッファ占有量の目標値が、前記第２の符号化手段による前記終了予定点対応フレームの符号化の結果得られる仮想バッファ占有量となるように、前記第１の符号化手段による符号化処理を制御する
請求項１６に記載の情報処理装置。
【請求項１８】
前記所定の符号化範囲に含まれるフレーム数の上限値をN（Nは、正の整数）とし、
前記制御手段が、前記第２の符号化手段による通知に基づいて、前記第１の符号化手段による符号化処理のパラメータを演算するために必要な時間と1コマンド遅延分との和に対応するフレーム数をａ（aは、正の整数）とし、
前記第２の符号化手段に前記終了予定点対応フレームが入力されてから、前記制御手段が前記第２の符号化手段による前記通知を取得するまでにかかる時間に対応するフレーム数をｂ（ｂは、正の整数）とし、
前記遅延手段は、前記第１の符号化手段に供給されるベースバンド画像データを（２Ｎ＋２＋ａ＋ｂ）フレームの処理時間だけ遅延させる
請求項１７に記載の情報処理装置。
【請求項１９】
編集処理を実行する情報処理装置の情報処理方法において、
第１の映像信号および第２の映像信号を参照するユーザによる編集点を指令する操作入力に基づいて、符号化されるベースバンド画像データを、前記第１の映像信号にと前記第２の映像信号とでスイッチングし、
スイッチングされた前記ベースバンド画像データを符号化の前に所定時間遅延したのち、ベースバンド画像データを所定の符号化範囲ごとに符号化する
ステップを含む情報処理方法。
【請求項２０】
編集処理の制御をコンピュータに実行させるためのプログラムであって、
第１の映像信号および第２の映像信号を参照するユーザによる編集点を指令する操作入力に基づいて、符号化されるベースバンド画像データを、前記第１の映像信号にと前記第２の映像信号とでスイッチングするように符号化部へのデータの供給を制御し、
スイッチングされた前記ベースバンド画像データを符号化の前に所定時間遅延したのち、ベースバンド画像データが所定の符号化範囲ごとに符号化されるように、符号化処理を制御する
ステップを含む処理をコンピュータに実行させるプログラム。
【請求項２１】
請求項２０に記載のプログラムが記録されている記録媒体。
【請求項１】
編集処理を実行する情報処理装置において、
ベースバンド画像データを所定の符号化範囲ごとに符号化する符号化手段と、
第１の映像信号および第２の映像信号を参照するユーザによる編集点を指令する操作入力に基づいて、前記符号化手段に供給されるベースバンド画像データを、前記第１の映像信号と前記第２の映像信号とでスイッチングするスイッチング手段と、
前記第１の映像信号および前記第２の映像信号を参照するユーザによる編集点を指令する操作入力に基づいて、前記符号化手段により符号化された前記第１の映像信号のうち、前記第１の映像信号から前記第２の映像信号に切換えられる前記編集点を含まない、前記編集点よりも前の前記符号化範囲の符号化データを編集後の符号化ストリームとして選択しないように、編集後の符号化ストリームの生成を制御する編集データ制御手段と
を備える情報処理装置。
【請求項２】
前記第１の映像信号は、符号化ストリームが復号されて得られるベースバンドの映像信号であり、前記第２の映像信号は、ベースバンドの映像信号として入力された信号である
請求項１に記載の情報処理装置。
【請求項３】
前記符号化手段による符号化処理を制御する符号化制御手段を更に備え、
前記符号化制御手段は、前記第１の映像信号に対応する符号化ストリームの再符号化の開始箇所と終了箇所において、再符号化された部分の仮想バッファ占有量と再符号化されていない部分の仮想バッファ占有量が連続性を有するように、前記第１の映像信号の符号化を制御する
請求項２に記載の情報処理装置。
【請求項４】
前記符号化制御手段は、前記第１の映像信号のうち、前記第２の映像信号から前記第１の映像信号に切換えられる前記編集点を含む前記符号化範囲の次の前記符号化範囲以降において、再符号化された部分の仮想バッファ占有量と再符号化されていない部分の仮想バッファ占有量が連続性を有するように、前記第１の映像信号の符号化を制御する
請求項３に記載の情報処理装置。
【請求項５】
前記符号化手段による符号化処理の範囲を決定する符号化範囲決定手段を更に備え、
前記符号化範囲決定手段は、前記第２の映像信号から前記第１の映像信号に切換えられる前記編集点を含む前記符号化範囲の次の前記符号化範囲以降において、再符号化された部分の仮想バッファ占有量と再符号化されていない部分の仮想バッファ占有量が連続性を有するように、前記符号化手段による前記第１の映像信号の符号化を実行可能であるように、前記符号化手段による前記第１の映像信号の再符号化の終了位置を決定する
請求項４に記載の情報処理装置。
【請求項６】
前記第１の映像信号に対応する符号化ストリームには、フレームごとのゼロスタッフに関する情報が付随されている
請求項２に記載の情報処理装置。
【請求項７】
前記符号化制御手段は、前記第１の映像信号に対応する符号化ストリームに付随されている前記ゼロスタッフに関する情報に基づいて、前記第１の映像信号のうち、前記第２の映像信号から前記第１の映像信号に切換えられる前記編集点を含む前記符号化範囲の次の前記符号化範囲以降において、仮想バッファ占有量におけるゼロスタッフ分の調整により、再符号化された部分の仮想バッファ占有量と再符号化されていない部分の仮想バッファ占有量が連続性を有するように、前記第１の映像信号の符号化を制御する
請求項３に記載の情報処理装置。
【請求項８】
編集処理を実行する情報処理装置の情報処理方法において、
ベースバンド画像データを所定の符号化範囲ごとに符号化し、
第１の映像信号および第２の映像信号を参照するユーザによる編集点を指令する操作入力に基づいて、符号化されるベースバンド画像データを、前記第１の映像信号と前記第２の映像信号とでスイッチングし、
前記第１の映像信号および前記第２の映像信号を参照するユーザによる編集点を指令する操作入力に基づいて、符号化された前記第１の映像信号のうち、前記第１の映像信号から前記第２の映像信号に切換えられる前記編集点を含まない、前記編集点よりも前の前記符号化範囲の符号化データを編集後の符号化ストリームとして選択しないように、編集後の符号化ストリームの生成を制御する
ステップを含む情報処理方法。
【請求項９】
編集処理の制御をコンピュータに実行させるためのプログラムであって、
ベースバンド画像データを所定の符号化範囲ごとに符号化する処理を制御し、
第１の映像信号および第２の映像信号を参照するユーザによる編集点を指令する操作入力に基づいて、符号化されるベースバンド画像データを、前記第１の映像信号と前記第２の映像信号とでスイッチングする処理を制御し、
前記第１の映像信号および前記第２の映像信号を参照するユーザによる編集点を指令する操作入力に基づいて、符号化された前記第１の映像信号のうち、前記第１の映像信号から前記第２の映像信号に切換えられる前記編集点を含まない、前記編集点よりも前の前記符号化範囲の符号化データを編集後の符号化ストリームとして選択しないように、編集後の符号化ストリームの生成を制御する
ステップを含む処理をコンピュータに実行させるプログラム。
【請求項１０】
請求項９に記載のプログラムが記録されている記録媒体。
【請求項１１】
編集処理を実行する情報処理装置において、
ベースバンド画像データを所定の符号化範囲ごとに符号化する第１の符号化手段と、
第１の映像信号および第２の映像信号を参照するユーザによる編集点を指令する操作入力に基づいて、前記第１の符号化手段に供給されるベースバンド画像データを、前記第１の映像信号にと前記第２の映像信号とでスイッチングするスイッチング手段と、
前記スイッチング手段によりスイッチングされて前記第１の符号化手段に供給されるベースバンド画像データを所定時間遅延させる遅延手段と
を備える情報処理装置。
【請求項１２】
前記所定の符号化範囲に含まれるフレーム数の上限値をN（Nは、正の整数）とし、
前記遅延手段は、1コマンド遅延分とパラメータ演算のために必要な時間に対応するフレーム数をαとしたとき、前記第１の符号化手段に供給されるベースバンド画像データをＮ＋αフレームの処理時間だけ遅延させる
請求項１１に記載の情報処理装置。
【請求項１３】
前記所定の符号化範囲に含まれるフレーム数の上限値をN（Nは、正の整数）とし、
前記遅延手段は、1コマンド遅延分とパラメータ演算のために必要な時間に対応するフレーム数をβとしたとき、前記第１の符号化手段に供給されるベースバンド画像データを（Ｎ−１）＋βフレームの処理時間だけ遅延させる
請求項１１に記載の情報処理装置。
【請求項１４】
前記所定の符号化範囲に含まれるフレーム数の上限値をN（Nは、正の整数）とし、
前記所定の符号化範囲に含まれるフレーム数の下限値をN´（N´は、正の整数）とし、
前記遅延手段は、1コマンド遅延分とパラメータ演算のために必要な時間に対応するフレーム数をβとしたとき、前記第１の符号化手段に供給されるベースバンド画像データを（Ｎ＋Ｎ´−１）＋βフレームの処理時間だけ遅延させる
請求項１１に記載の情報処理装置。
【請求項１５】
前記第１の符号化手段は、前記第１の映像信号に対応する符号化ストリームの再符号化の開始箇所と終了箇所において、再符号化された部分の仮想バッファ占有量と再符号化されていない部分の仮想バッファ占有量が連続性を有するまで、前記第２の映像信号から前記第１の映像信号に切換えられる前記編集点を含む前記符号化範囲およびそれに続く所定フレーム数の前記第１の映像信号の符号化を繰り返し、
前記所定の符号化範囲に含まれるフレーム数の上限値をN（Nは、正の整数）とし、
前記所定の符号化範囲に続いて前記第１の符号化手段により符号化される前記所定フレームの数をM（Mは、正の整数）とし、
前記遅延手段は、前記第１の符号化手段に供給されるベースバンド画像データを（Ｎ＋Ｍ＋１）フレームの処理時間だけ遅延させる
請求項１１に記載の情報処理装置。
【請求項１６】
前記第１の符号化手段に供給される前記第１の映像信号に対応するベースバンド画像データを符号化する第２の符号化手段を更に備える
請求項１１に記載の情報処理装置。
【請求項１７】
前記第１の符号化手段による符号化処理を制御する制御手段を更に備え、
前記第１の符号化手段は、前記制御手段による制御に基づいて、前記編集点を含む所定の区間の符号化処理を行い、
前記第２の符号化手段は、前記第１の符号化手段により符号化される前記所定の区間の符号化終了予定点に対応する終了予定点対応フレームの符号化の結果得られる仮想バッファ占有量、および、符号化のＧＯＰ位相を前記制御手段に通知し、
前記制御手段は、前記第２の符号化手段による通知に基づいて、前記第２の符号化手段による符号化のＧＯＰ位相に合致するように、かつ、前記所定の区間の符号化終了予定点の仮想バッファ占有量の目標値が、前記第２の符号化手段による前記終了予定点対応フレームの符号化の結果得られる仮想バッファ占有量となるように、前記第１の符号化手段による符号化処理を制御する
請求項１６に記載の情報処理装置。
【請求項１８】
前記所定の符号化範囲に含まれるフレーム数の上限値をN（Nは、正の整数）とし、
前記制御手段が、前記第２の符号化手段による通知に基づいて、前記第１の符号化手段による符号化処理のパラメータを演算するために必要な時間と1コマンド遅延分との和に対応するフレーム数をａ（aは、正の整数）とし、
前記第２の符号化手段に前記終了予定点対応フレームが入力されてから、前記制御手段が前記第２の符号化手段による前記通知を取得するまでにかかる時間に対応するフレーム数をｂ（ｂは、正の整数）とし、
前記遅延手段は、前記第１の符号化手段に供給されるベースバンド画像データを（２Ｎ＋２＋ａ＋ｂ）フレームの処理時間だけ遅延させる
請求項１７に記載の情報処理装置。
【請求項１９】
編集処理を実行する情報処理装置の情報処理方法において、
第１の映像信号および第２の映像信号を参照するユーザによる編集点を指令する操作入力に基づいて、符号化されるベースバンド画像データを、前記第１の映像信号にと前記第２の映像信号とでスイッチングし、
スイッチングされた前記ベースバンド画像データを符号化の前に所定時間遅延したのち、ベースバンド画像データを所定の符号化範囲ごとに符号化する
ステップを含む情報処理方法。
【請求項２０】
編集処理の制御をコンピュータに実行させるためのプログラムであって、
第１の映像信号および第２の映像信号を参照するユーザによる編集点を指令する操作入力に基づいて、符号化されるベースバンド画像データを、前記第１の映像信号にと前記第２の映像信号とでスイッチングするように符号化部へのデータの供給を制御し、
スイッチングされた前記ベースバンド画像データを符号化の前に所定時間遅延したのち、ベースバンド画像データが所定の符号化範囲ごとに符号化されるように、符号化処理を制御する
ステップを含む処理をコンピュータに実行させるプログラム。
【請求項２１】
請求項２０に記載のプログラムが記録されている記録媒体。
【図１】
【図２】
【図３】
【図４】
【図５】
【図６】
【図７】
【図８】
【図９】
【図１０】
【図１１】
【図１２】
【図１３】
【図１４】
【図１５】
【図１６】
【図１７】
【図１８】
【図１９】
【図２０】
【図２１】
【図２２】
【図２３】
【図２４】
【図２５】
【図２６】
【図２７】
【図２８】
【図２９】
【図３０】
【図３１】
【図３２】
【図３３】
【図３４】
【図３５】
【図３６】
【図３７】
【図３８】
【図３９】
【図４０】
【図４１】
【図４２】
【図４３】
【図４４】
【図４５】
【図４６】
【図４７】
【図４８】
【図４９】
【図５０】
【図５１】
【図２】
【図３】
【図４】
【図５】
【図６】
【図７】
【図８】
【図９】
【図１０】
【図１１】
【図１２】
【図１３】
【図１４】
【図１５】
【図１６】
【図１７】
【図１８】
【図１９】
【図２０】
【図２１】
【図２２】
【図２３】
【図２４】
【図２５】
【図２６】
【図２７】
【図２８】
【図２９】
【図３０】
【図３１】
【図３２】
【図３３】
【図３４】
【図３５】
【図３６】
【図３７】
【図３８】
【図３９】
【図４０】
【図４１】
【図４２】
【図４３】
【図４４】
【図４５】
【図４６】
【図４７】
【図４８】
【図４９】
【図５０】
【図５１】
【公開番号】特開２００８−２８３６６３（Ｐ２００８−２８３６６３Ａ）
【公開日】平成２０年１１月２０日（２００８．１１．２０）
【国際特許分類】
【出願番号】特願２００７−２５０６７０（Ｐ２００７−２５０６７０）
【出願日】平成１９年９月２７日（２００７．９．２７）
【出願人】（０００００２１８５）ソニー株式会社 (34,172)
【Ｆターム（参考）】
【公開日】平成２０年１１月２０日（２００８．１１．２０）
【国際特許分類】
【出願日】平成１９年９月２７日（２００７．９．２７）
【出願人】（０００００２１８５）ソニー株式会社 (34,172)
【Ｆターム（参考）】
[ Back to top ]