画像処理装置、この画像処理装置の制御方法、及び、プログラム
【課題】繋ぎ記録の編集点前後の画質を良好に保った状態でコピーピクチャを挿入して新たな符号化された画像データを記録する処理を行う画像処理装置を提供する。
【解決手段】下地画像データが記録されている磁気テープ２上の編集点上に、復号処理において用いられるＶＢＶ（Ｖｉｄｅｏ Ｂｕｆｆｅｒｉｎｇ Ｖｅｒｉｆｉｅｒ）バッファのビット占有率に応じて編集点の直前に表示されるピクチャを繰り返して表示するコピーピクチャを制御情報として挿入して、上書き画像データを磁気テープに記録するように画像データに多重化処理を施すデータ多重化部１４と、下地画像データの走査方式に応じて編集点から１枚目に挿入するコピーピクチャのピクチャ構造を設定して、磁気テープ２上の編集点上にコピーピクチャを挿入させて上書き画像データを記録させるようにデータ多重化部１４を制御するコントローラ１１８を備える。
【解決手段】下地画像データが記録されている磁気テープ２上の編集点上に、復号処理において用いられるＶＢＶ（Ｖｉｄｅｏ Ｂｕｆｆｅｒｉｎｇ Ｖｅｒｉｆｉｅｒ）バッファのビット占有率に応じて編集点の直前に表示されるピクチャを繰り返して表示するコピーピクチャを制御情報として挿入して、上書き画像データを磁気テープに記録するように画像データに多重化処理を施すデータ多重化部１４と、下地画像データの走査方式に応じて編集点から１枚目に挿入するコピーピクチャのピクチャ構造を設定して、磁気テープ２上の編集点上にコピーピクチャを挿入させて上書き画像データを記録させるようにデータ多重化部１４を制御するコントローラ１１８を備える。
【発明の詳細な説明】
【技術分野】
【０００１】
本発明は、ＭＰＥＧ方式により符号化処理が施された画像データを処理する画像処理装置、この画像処理装置の制御方法、プログラムに関するものである。
【背景技術】
【０００２】
ビデオカメラなどで撮像された画像信号を、磁気記録テープ、光ディスク、ハードディスクドライブなどの記録媒体に記録する処理を行う装置では、ベースバンドのデジタルビデオ信号が用いられるが、冗長特性のある情報量を削減して効率的に記録するため、撮影した画像信号をＭＰＥＧ（Moving Picture Experts Group）方式に準拠して符号化処理、及び復号処理を行っている。
【０００３】
このＭＰＥＧ方式に準拠して画像信号が符号化されたビットストリームは、勧告H.262(ISO/IEC 13818-2)で定義されている画像バッファリング検証器を通して課せられる制約を満足させなければならない。
【０００４】
すなわち、ＭＰＥＧ方式のように時間軸方向に発生符号量が変動する符号化処理方法において、記録媒体へ記録したビットストリームを、再生時に正確に復号するためには、復号処理系における入力バッファ内のデータ占有量を符号化処理系において常に把握しなければならない。
【０００５】
このため、ＭＰＥＧ方式では、復号処理系における入力バッファに対応する仮想バッファとして、符号化処理系にＶＢＶ（Ｖｉｄｅｏ Ｂｕｆｆｅｒｔｉｎｇ Ｖｅｒｉｆｉｅｒ）バッファを想定して発生符号量を制御している。すなわち、符号化処理系では、このＶＢＶバッファを破綻させないように、換言すればＶＢＶバッファをアンダーフロー又はオーバーフローさせないように単位時間当たりの発生符号量を制御している。
【０００６】
したがって、ＭＰＥＧ方式では、予め記録媒体に記録されているビットストリームに、新たに記録するビットストリームを繋いで記録する場合にも、ＶＢＶバッファのサイズを考慮する必要がある。すなわち、符号化処理系では、繋ぎ記録する編集点の前後を連続して再生しても入力バッファを破綻させることなく復号処理を行うことができるように、ＶＢＶバッファのサイズに対して適用的にデータ占有量を設定する必要がある。
【０００７】
このような要求を満たして繋ぎ記録を行う技術として、特許文献１には、新たに繋ぎ記録するビットストリームの編集点に、この編集点の直前に表示されるピクチャを繰り返して表示するコピーピクチャや、スタッフィングバイトを挿入する方法が提案されている。
【０００８】
また、特許文献２には、繋ぎ記録する編集点の直後に表示される次ピクチャの発生符号量との関係で極端にＶＢＶバッファの占有率が小さいと、符号化処理時においてＶＢＶバッファのアンダーフローが生じないように、次ピクチャの発生符号量に制約がかかるために生じる画質の劣化を回避するための方法が提案されている。
【０００９】
【特許文献１】特開１１―２０５７３４号公報
【特許文献２】特開２００４―４８１０４号公報
【発明の開示】
【発明が解決しようとする課題】
【００１０】
しかしながら、上述した特許文献１、２を含め従来においては、繋ぎ記録時にコピーピクチャを挿入することにより、ＶＢＶバッファの破綻を防止することを示しているのに過ぎなかった。
【００１１】
本発明は、このような実情に鑑みて提案されたものであり、繋ぎ記録の編集点前後の画質を良好に保った状態でコピーピクチャを挿入して新たな符号化された画像データを記録する処理を行う画像処理装置、この画像処理装置の制御方法、及び、プログラムを提供することを目的とする。
【課題を解決するための手段】
【００１２】
上述した課題を解決するための手段として、本発明に係る画像処理装置は、ＭＰＥＧ方式により符号化処理が施された画像データを処理する画像処理装置であって、第１の画像データが記録されている記録媒体上の編集点上に、上記符号化処理に対応する復号処理において用いられるＶＢＶ（Ｖｉｄｅｏ Ｂｕｆｆｅｒｉｎｇ Ｖｅｒｉｆｉｅｒ）バッファのビット占有率に応じて該編集点の直前に表示されるピクチャを繰り返して表示するコピーピクチャを制御情報として挿入して、第２の画像データを該記録媒体に記録する記録手段と、上記第１の画像データの走査方式に応じて上記編集点から１枚目に挿入する上記コピーピクチャのピクチャ構造を設定して、上記記録媒体上の編集点上に上記コピーピクチャを挿入させて上記第２の画像データを記録させるように上記記録手段を制御する制御手段を備える。
【００１３】
また、本発明に係る画像処理装置の制御方法は、ＭＰＥＧ方式により符号化処理が施された画像データを処理する画像処理装置の制御方法であって、記録手段により、第１の画像データが記録されている記録媒体上の編集点上に、上記符号化処理に対応する復号処理において用いられるＶＢＶ（Ｖｉｄｅｏ Ｂｕｆｆｅｒｉｎｇ Ｖｅｒｉｆｉｅｒ）バッファのビット占有率に応じて、該編集点の直前に表示されるピクチャを繰り返して表示するコピーピクチャを制御情報として挿入して、第２の画像データを該記録媒体に記録する記録工程と、制御手段により、上記第１の画像データの走査方式に応じて上記編集点から１枚目に挿入する上記コピーピクチャのピクチャ構造を設定して上記記録媒体に記録させるように上記記録手段を制御する制御工程を備える。
【００１４】
また、本発明に係るプログラムは、ＭＰＥＧ方式により符号化処理が施された画像データを処理する画像処理をコンピュータにより実行させるためのプログラムであって、記録手段により、第１の画像データが記録されている記録媒体上の編集点上に、上記符号化処理に対応する復号処理において用いられるＶＢＶ（Ｖｉｄｅｏ Ｂｕｆｆｅｒｉｎｇ Ｖｅｒｉｆｉｅｒ）バッファのビット占有率に応じて、該編集点の直前に表示されるピクチャを繰り返して表示するコピーピクチャを制御情報として挿入して、第２の画像データを該記録媒体に記録する記録工程と、上記第１の画像データの走査方式に応じて上記編集点から１枚目に挿入する上記コピーピクチャのピクチャ構造を設定して上記記録媒体に記録させるように上記記録手段を制御する制御工程を備える画像処理をコンピュータに実行させるためのプログラムである。
【発明の効果】
【００１５】
本発明は、記録手段により、第１の画像データが記録されている記録媒体上の編集点上に、ＶＢＶバッファのビット占有率に応じて、該編集点の直前に表示されるピクチャを繰り返して表示するコピーピクチャを制御情報として挿入して、第２の画像データを該記録媒体に記録するとともに、制御手段により、第１の画像データの走査方式に応じて、１枚目に挿入するコピーピクチャのピクチャ構造を設定して記録媒体に記録させるように記録手段を制御するので、繋ぎ記録の編集点前後の画質を良好に保った状態でコピーピクチャを挿入して新たな符号化された画像データを記録する処理を行うことができる。
【発明を実施するための最良の形態】
【００１６】
以下、本発明を実施するための最良の形態について、図面を参照しながら詳細に説明する。
【００１７】
本発明が適用された画像処理装置は、ＭＰＥＧ方式により符号化処理が施された画像データを処理する装置である。このような画像処理装置の一例として、図１に示すようなＭＰＥＧ方式で符号化された画像データ、音声データ、及び付属データを記録媒体として磁気テープ２に記録するとともに、磁気テープ２に記録された画像データの再生を行うカムコーダ１を用いて以下の通り説明する。
【００１８】
カムコーダ１は、撮像素子から読み出される撮像信号を符号化して磁気テープ２に記録する符号化処理系として、入力部１１と、Ａ／Ｄ変換部１２と、符号化処理部１３と、データ多重化部１４と、変速再生用データ生成部１５と、誤り訂正符号付加部１６と、記録用アンプ１７と、記録用回転ヘッド１８を備える。また、カムコーダ１は、磁気テープ２に記録された画像データを復号して再生する復号処理系として、再生用回転ヘッド１９と、再生用アンプ１１０と、誤り訂正部１１１と、データ分離処理部１１２と、変速再生用メモリ１１３と、切換部１１４と、復号処理部１１５と、Ｄ／Ａ変換部１１６と、出力部１１７を備える。また、カムコーダ１は、これら符号化処理系及び復号処理系に係る各処理部を制御するコントローラ１１８を備える。
【００１９】
入力部１１は、ＣＣＤなどの撮像素子によって読み出されたアナログの撮像信号を入力して、入力した撮像信号をＡ／Ｄ変換部１２に供給する。
【００２０】
Ａ／Ｄ変換部１２は、入力部１１に入力されたアナログの撮像信号をデジタルの画像データに変換して、変換した画像データを符号化処理部１３に供給する。
【００２１】
符号化処理部１３は、コントローラ１１８からの制御命令により、Ａ／Ｄ変換部１２から供給される画像データに対して、具体的には次のようにしてＭＰＥＧ方式に準拠した符号化処理を施して、符号化した画像データをデータ多重化部１４及び変速再生用データ生成部１５に供給する。
【００２２】
具体的に、符号化処理部１３は、図２に示すように、例えば１５ピクチャからなるＧＯＰ（Group Of Picture）単位で、各ピクチャをＩピクチャ、Ｐピクチャ、及び、Ｂピクチャのいずれかのピクチャタイプに従って符号化する。ここで、Ｉピクチャは、カレントピクチャの画像情報のみを用いて符号化するピクチャタイプである。また、Ｐピクチャは、表示順に対して以前に位置するピクチャの画像情報を用いて予測符号化するピクチャタイプである。また、Ｂピクチャは、表示順に対して双方向に位置する複数のピクチャの画像情報を用いて予測符号化するピクチャタイプである。
【００２３】
すなわち、符号化処理部１３は、図２に示すように、表示順に並んだピクチャＮｏ．１〜Ｎｏ．１５のピクチャを復号処理順に入れ替えて各ピクチャタイプに従って符号化処理を施したデータストリームをデータ多重化部１４及び変速再生用データ生成部１５に供給する。
【００２４】
データ多重化部１４は、コントローラ１１８からの制御命令に従って、符号化処理部１３及び後述する変速再生用データ生成部１５から供給される画像データに、音声データ及びサブコードなどのシステムデータを多重化する。また、データ多重化部１４は、コントローラ１１８からの制御命令に従って、後述するコピーピクチャ及びスタッフィングバイトをシステムデータとして挿入する処理も行う。そして、データ多重化部１４は、多重化したビットストリームを誤り訂正符号付加部１６に供給する。なお、カムコーダ１の通常動作において、データ多重化部１４には、符号化処理部１３で符号化された画像データが直接供給される。
【００２５】
変速再生用データ生成部１５は、符号化処理部１３から供給される画像データから、変速再生用の画像データを生成して、生成した画像データを誤り訂正符号付加部１６に供給する。
【００２６】
誤り訂正符号付加部１６は、コントローラ１１８からの制御命令に従って、データ多重化部１４から供給されるビットストリームに誤り訂正符号を付加して記録用アンプ１７に供給する。
【００２７】
記録用アンプ１７は、誤り訂正符号付加部１６から供給されるビットストリームをシリアルデータに変換した上で増幅処理を施す。そして、記録用アンプ１７は、増幅処理を施した画像データを記録用回転ヘッド１８に供給する。
【００２８】
記録用回転ヘッド１８は、記録用アンプ１７から供給される画像データを、図示しない回転ドラムを介して回転させられている磁気テープ２に記録する。
【００２９】
再生用回転ヘッド１９は、磁気テープ２上に記録されている画像データを読み出して、読み出した画像データを再生用アンプ１１０に供給する。
【００３０】
再生用アンプ１１０は、再生用回転ヘッド１９から供給される画像データに増幅処理を施して、増幅処理を施した画像データを誤り訂正部１１１に供給する。
【００３１】
誤り訂正部１１１は、再生用アンプ１１０から供給される画像データに対して誤り訂正処理を施す。そして、再生用アンプ１１０は、誤り訂正処理を施した画像データを、データ分離処理部１１２及び変速再生用メモリ１１３にそれぞれ供給する。
【００３２】
データ分離処理部１１２は、誤り訂正部１１１から供給される画像データから、音声データ及びシステムデータを分離する。そして、データ分離処理部１１２は、音声データ及びシステムデータが分離された画像データを切換部１１４を介して復号処理部１１５に供給する。また、データ分離処理部１１２は、分離したシステムデータをコントローラ１１８に供給する。ここでシステムデータには後述する下地情報が含まれている。
【００３３】
変速再生用メモリ１１３は、誤り訂正部１１１から供給される画像データを、変速再生用に一時的にメモリ領域に記憶する。変速再生用メモリ１１３に記憶されたデータは、変速再生に対応するタイミング毎に、切換部１１４を介して復号処理部１１５によって読み出される。
【００３４】
切換部１１４は、コントローラ１１８からの制御命令に従って、データ分離処理部１１２と変速再生用メモリ１１３とのいずれか一方を復号処理部１１５の入力端と電気的に接続する。カムコーダ１の通常動作モードにおいて、切換部１１４は、データ分離処理部１１２と復号処理部１１５の入力端と電気的に接続している。
【００３５】
復号処理部１１５は、コントローラ１１８からの制御命令により、データ分離処理部１１２と変速再生用メモリ１１３とのいずれか一方から供給される画像データに対して、ＭＰＥＧ方式に準拠した復号処理を施して、復号した画像データをＤ／Ａ変換部１１６に供給する。
【００３６】
Ｄ／Ａ変換部１１６は、復号処理部１１５から供給される画像データをアナログの画像信号に変換する。そして、Ｄ／Ａ変換部１１６は、変換した画像信号を出力部１１７に供給する。
【００３７】
出力部１１７は、Ｄ／Ａ変換部１１６から供給される画像信号を例えば表示装置などに出力する。
【００３８】
コントローラ１１８は、符号化処理系及び復号処理系の各処理部の動作を制御する。
【００３９】
以上のような構成からなるカムコーダ１では、入力部１１から入力される画像信号に対して符号化処理を施した画像データを磁気テープ２に記録するとともに、磁気テープ２から画像データを読み出して復号処理を施した画像信号を出力部１１７から外部へ出力する。
【００４０】
以下では、上述したカムコーダ１が行う動作のうち、予め磁気テープ２に記録されている画像データの任意の編集点から、入力部１１に入力される画像データを繋いで記録する記録処理に係るデータ多重化部１４及びコントローラ１１８の動作に特に注目して以下の通り説明する。
【００４１】
データ多重化部１４は、下地の画像データが記録されている磁気テープ２に対して、復号処理部１１５から供給される上書き画像データを記録する場合、上書き画像データが記録される編集点においてＶＢＶバッファを破綻させないようにするため、コピーピクチャ及びスタッフィングバイトを挿入する。
【００４２】
これは、繋ぎ記録する編集点前後のピクチャに係る発生符号量の関係で、極端にＶＢＶバッファのデータ占有率ＶＢＶ＿ｏｃｃｕｐａｎｃｙが極端に小さいと、符号化処理においてＶＢＶバッファのアンダーフローが生じないように編集点の直後に位置するピクチャの発生符号量に制約がかかって画質が劣化してしまうからである。
【００４３】
例えば、あるピクチャがＶＢＶバッファに入力されてから出力されるまでの遅延時間（以下、ＶＢＶ＿ｄｅｌａｙという。）が、下地画像データの最終表示ピクチャ（下地Ｌａｓｔ）と上書き画像データの表示開始ピクチャ（上書きＴｏｐ）とで互いに異なると、図３（Ａ）に示すようにデータ占有率ＶＢＶ＿ｏｃｃｕｐａｎｃｙが所定の設定値を下回ってしまう場合がある。
【００４４】
そこで、データ多重化部１４は、具体的は、次のようなコントローラ１１８の制御命令に従い、編集点の直前に表示されるピクチャ（下地Ｌａｓｔ）を繰り返して表示するコピーピクチャを制御情報として挿入することによって、図３（Ｂ）に示すように、上書き画像データの表示開始ピクチャ（上書きＴｏｐ）のＶＢＶ＿ｄｅｌａｙを長くして、データ占有率ＶＢＶ＿ｏｃｃｕｐａｎｃｙが所定の設定値を上回るようにする。
【００４５】
コピーピクチャ及びスタッフィングバイトの挿入処理を行うデータ多重化部１４を制御するコントローラ１１８では、繋ぎ記録処理を行うとき、データ分離処理部１１２から取得したシステムデータのうち、例えばヘッダサイズｈｅａｄｅｒ ｓｉｚｅ、ＶＢＶ＿ｄｅｌａｙ、フレーム間隔、走査方式などからなる下地情報から、上書き画像データの表示開始ピクチャの書き込み開始時のデータ占有率ＶＢＶ＿ｏｃｃｕｐａｎｃｙを計算する。そして、コントローラ１１８は、この書き込み開始時のデータ占有率ＶＢＶ＿ｏｃｃｕｐａｎｃｙが所定の設定値を下回るようなとき、編集点の直後すなわち、画像データのつなぎ目の先頭の画質劣化を抑えるために挿入するコピーピクチャの挿入枚数を計算する。すなわち、コントローラ１１８は、コピーピクチャ挿入後の上書きデータのデータ占有量ＶＢＶ＿ｏｃｃｕｐａｎｃｙが設定値以上になるように挿入枚数を計算する。
【００４６】
具体的に、コントローラ１１８は、（ＶＢＶ＿ｄｅｌａｙ＋ｈｅａｄｅｒ ｓｉｚｅ）の値が、下地画像データと上書きデータとの間で異なるとき、データ多重化部１４に対してコピーピクチャ及びスタッフィングバイトを挿入するように動作させる。
【００４７】
すなわち、コントローラ１１８は、下地画像データの（ＶＢＶ＿ｄｅｌａｙ＋ｈｅａｄｅｒ ｓｉｚｅ）の値を目標値Ｖ＿ｃｕｒとして、下記の条件より、コピーピクチャの挿入枚数Ｎと、スタッフィングバイトのデータ量Ｓを算出する。ただし、下地画像データの（ＶＢＶ＿ｄｅｌａｙ＋ｈｅａｄｅｒ ｓｉｚｅ）の値が最低値を下回るときは、設定値を目標値とする。
【００４８】
Ｖ＿ｃｕｒ−ｆ（０）≦０のとき
Ｎ＝０、Ｓ＝（ｆ（０）−Ｖ＿ｃｕｒ）
Ｖ＿ｃｕｒ−ｆ（０）＞０のとき
ｆ（Ｎ−１）＜Ｖ＿ｃｕｒ≦ｆ（Ｎ）を満たすＮ、Ｓ＝（ｆ（Ｎ−Ｖ＿ｃｕｒ））
ここで、ｆ（Ｎ）は、Ｎ枚のコピーピクチャを挿入したときの上書き画像データの（ＶＢＶ＿ｄｅｌａｙ＋ｈｅａｄｅｒ ｓｉｚｅ）の値である。
【００４９】
なお、コピーピクチャは、下地画像データにより発生されるコピーピクチャがフィールド構造とフレーム構造との２種類が存在するため、１枚挿入する毎に値が異なる。
【００５０】
次に、コピーピクチャ及びスタッフィングバイトの発生量を計算する処理工程を、図４に示すフローチャートに従って説明する。
【００５１】
前提として、図４に示すフローチャートに従った処理工程では、コピーピクチャの枚数を返値とする。また、この処理工程では、引数として、下地画像データの（ＶＢＶ＿ｄｅｌａｙ＋ｈｅａｄｅｒ ｓｉｚｅ）の値ｖｂｖ＿１と上書き画像データの（ＶＢＶ＿ｄｅｌａｙ＋ｈｅａｄｅｒ ｓｉｚｅ）の値ｖｂｖ＿２を用いる。また、この処理工程では、広域変数として、発生させるスタッフィングバイトのバイト数ＳｔｕｆｆＢｙｔｅを用いる。さらに、この処理工程では、定数値として、フィールド構造のコピーピクチャの１枚当たりのバイト数ＦＩＥＬＤ＿ＳＩＺＥと、フレーム構造のコピーピクチャの１枚当たりのバイト数ＦＲＡＭＥ＿ＳＩＺＥを用いる。
【００５２】
ステップＳ１において、コントローラ１１８は、コピーピクチャの挿入枚数を初期値０に設定してステップＳ２に進む。
【００５３】
ステップＳ２において、コントローラ１１８は、ｖｂｖｄ＿１に対するｖｂｖ＿２の値をバイト換算して、算出した値をｓｕｂ＿ｖｂｖｄとして保持し、ステップＳ３に進む。
【００５４】
ステップＳ３において、コントローラ１１８は、ｓｕｂ＿ｖｂｖｄの値が０以下であるか否かを判断する。ここで、コントローラ１１８は、ｓｕｂ＿ｖｂｖｄの値が０以下のときステップＳ４に進み、ｓｕｂ＿ｖｂｖｄの値が０以下ではないときステップＳ６に進む。
【００５５】
ステップＳ４において、コントローラ１１８は、コピーピクチャの挿入枚数を０にして、ステップＳ５に進む。
【００５６】
ステップＳ５において、コントローラ１１８は、ＳｔｕｆｆＢｙｔｅの値を−（ｓｕｂ＿ｖｂｖｄ）として、ステップＳ１８に進む。
【００５７】
ステップＳ６において、コントローラ１１８は、コピーピクチャの挿入枚数をインクリメントして、すなわち、値を１に更新してステップＳ７に進む。
【００５８】
ステップＳ７において、コントローラ１１８は、ｓｕｂ＿ｖｂｖｄの値がＦＩＥＬＤ＿ＳＩＺＥの値以下であるか否かを判断する。ここで、コントローラ１１８は、ＦＩＥＬＤ＿ＳＩＺＥの値以下のときステップ８に進み、ＦＩＥＬＤ＿ＳＩＺＥの値以下ではないときステップＳ１１に進む。
【００５９】
ステップＳ８において、コントローラ１１８は、下地画像データの走査方式がプログレッシブであるか否かを判断する。ここで、コントローラ１１８は、プログレッシブであるときステップＳ９に進み、プログレッシブではない、すなわちインターレースのときステップＳ１０に進む。
【００６０】
ステップＳ９において、コントローラ１１８は、下記式よりＳｔｕｆｆＢｙｔｅを算出して、ステップＳ１８に進む。
ＳｔｕｆｆＢｙｔｅ＝ＦＲＡＭＥ＿ＳＩＺＥ−ｓｕｂ＿ｖｂｖｄ
【００６１】
ステップＳ１０において、コントローラ１１８は、下記式よりＳｔｕｆｆＢｙｔｅを算出して、ステップＳ１８に進む。
ＳｔｕｆｆＢｙｔｅ＝ＦＩＥＬＤ＿ＳＩＺＥ−ｓｕｂ＿ｖｂｖｄ
【００６２】
ステップＳ６において、コントローラ１１８は、下地画像データの走査方式がプログレッシブであるか否かを判断する。ここで、コントローラ１１８は、プログレッシブであるときステップＳ１２に進み、プログレッシブではない、すなわちインターレースのときステップＳ１３に進む。
【００６３】
ステップＳ１２において、コントローラ１１８は、ｓｕｂ＿ｖｂｖｄからＦＲＡＭＥ＿ＳＩＺＥを減じた値をｓｕｂ＿ｖｂｖｄとして更新して、ステップＳ１４に進む。
【００６４】
ステップＳ１３において、コントローラ１１８は、ｓｕｂ＿ｖｂｖｄからＦＩＥＬＤ＿ＳＩＺＥを減じた値をｓｕｂ＿ｖｂｖｄとして更新して、ステップＳ１４に進む。
【００６５】
ステップＳ１４において、コントローラ１１８は、ｓｕｂ＿ｖｂｖｄの値が０より大きいか否かを判断して、０より大きいときステップＳ１５に進む。また、コントローラ１１８は、ｓｕｂ＿ｖｂｖｄの値が０より大きいという条件が満たされなくなるまで、後述するステップＳ１５、Ｓ１６の処理を繰り返して、その後ステップＳ１７に進む。
【００６６】
ステップＳ１５において、コントローラ１１８は、コピーピクチャの挿入枚数をインクリメントしてステップＳ１６に進む。
【００６７】
ステップＳ１６において、コントローラ１１８は、ｓｕｂ＿ｖｂｖｄからＦＩＥＬＤ＿ＳＩＺＥを減じた値をｓｕｂ＿ｖｂｖｄとして更新して、ステップＳ１４に戻る。
【００６８】
ステップＳ１７において、コントローラ１１８は、ＳｔｕｆｆＢｙｔｅの値を−（ｓｕｂ＿ｖｂｖｄ）として、ステップＳ１８に進む。
【００６９】
ステップＳ１８において、コントローラ１１８は、コピーピクチャの挿入枚数を返値として算出して、本処理工程を終了する。
【００７０】
以上の処理工程によって、コピーピクチャの挿入枚数が１以上発生する場合、コントローラ１１８は、具体的には図５に示すようなフローチャートに従って、下地画像データの走査方式に応じてコピーピクチャのピクチャ構造を設定する。
【００７１】
ステップ２１において、コントローラ１１８は、ヘッダサイズｈｅａｄｅｒ ｓｉｚｅ、ＶＢＶ＿ｄｅｌａｙ、フレーム間隔、走査方式からなる下地情報を取得して、ステップＳ２２に進む。
【００７２】
ステップＳ２２において、コントローラ１１８は、上述したステップＳ１〜Ｓ１８に係る処理工程の返値として得られるコピーピクチャの挿入枚数を取得して、ステップＳ２３に進む。
【００７３】
ステップＳ２３において、コントローラ１１８は、ステップＳ２２で得られたコピーピクチャの挿入枚数分、後述するステップＳ２４〜Ｓ２９に係る処理を繰り返して、その後、本処理工程を終了する。
【００７４】
ステップ２４において、コントローラ１１８は、現在処理対象の注目コピーピクチャが、編集点に対して１枚目のコピーピクチャであるか否かを判断する。ここで、コントローラ１１８は、１枚目のコピーピクチャであるときステップＳ２５に進み、１枚目のコピーピクチャではないときステップＳ２８に進む。
【００７５】
ステップＳ２５において、コントローラ１１８は、下地画像データの走査方式がプログレッシブであるか否かを判断する。ここで、コントローラ１１８は、プログレッシブであるときステップＳ２６に進み、プログレッシブではないとき、すなわちインターレースであるときステップＳ２７に進む。
【００７６】
ステップＳ２６において、コントローラ１１８は、注目コピーピクチャのピクチャ構造をフレーム構造に設定してステップＳ２９に進む。
【００７７】
ステップＳ２７において、コントローラ１１８は、注目コピーピクチャのピクチャ構造をフィールド構造に設定してステップＳ２９に進む。
【００７８】
ステップＳ２８において、コントローラ１１８は、注目コピーピクチャのピクチャ構造をフレーム構造に設定してステップＳ２９に進む。
【００７９】
ステップＳ２９において、コントローラ１１８は、注目コピーピクチャをカウントアップして、ステップＳ２３に戻る。
【００８０】
以上の処理工程によって、コントローラ１１８は、下地画像データの走査方式がインターレースの場合、編集点から１枚目のコピーピクチャのピクチャ構造をフィールド構造、すなわち、フィールドＤＣＴコーディングのマクロブロック構成からなる構造に設定し、２枚目以降のコピーピクチャのピクチャ構造をフレーム構造、すなわちフレームＤＣＴコーディングのマクロブロック構成からなる構造に設定する。また、コントローラ１１８は、下地画像データの走査方式がプログレッシブの場合、編集点から１枚目以降のコピーピクチャのピクチャ構造をフレーム構造、すなわちフレームＤＣＴコーディングのマクロブロック構成からなる構造に設定する。
【００８１】
そして、コントローラ１１８によって設定されたコピーピクチャに関する制御情報に従って、データ多重化部１４は、その内部メモリに保持しているコピーピクチャに関する制御データを、システムデータとして、上書き画像データのＰＥＳ（Packetized Elementary Stream）ヘッダに付加して、その他音声データなどを上書き画像データに対して多重化する処理を行う。
【００８２】
なお、カムコーダ１では、繋ぎ記録処理をハードウェアで構成されるデータ多重化部１４及びコントローラ１１８で実行される以外にも、例えばハードディスク上に記憶されている画像処理プログラムをＲＡＭ上に読み出して汎用のプロセッサで実装することによって繋ぎ記録処理を行うようにしてもよい。
【００８３】
以上のような処理によって、コントローラ１１８では、具体的には図６に示すように、下地画像データの下地モードと、上書き画像データの記録モードを対応付けて、挿入するコピーピクチャのピクチャ構造を設定している。
【００８４】
すなわち、図６に示す具体例では、下地画像データ及び上書き画像データの有効走査線本数を１０８０本としている。また、図６に示す具体例では、１秒当たり６０フィールドからなるインターレースモード６０ｉ、１秒当たり３０フレームからなるプログレッシブモード３０ｐ、１秒当たり３０フレームからなるプログレッシブモード２４ｐ、１秒当たり５０フィールドからなるインターレースモード５０ｉ、１秒当たり２５フレームからなるプログレッシブモード２５ｐを、下地モード及び記録モードとしている。なお、図６では、−で示されるモード間で繋ぎ記録を行うことができない関係を示している。
【００８５】
コントローラ１１８は、下地モードがインターレースのとき、記録モードに関わることなく編集点から１枚目に挿入するコピーピクチャをフィールド構造に、２枚目以降に挿入するコピーピクチャをフレーム構造に設定する。また、コントローラ１１８は、下地モードがプログレッシブであるとき、記録モードに関わることなく編集点から１枚目以降に挿入するコピーピクチャをフレーム構造に設定する。
【００８６】
なお、コントローラ１１８は、下地画像データに格納されているＥＣＣＴＢを参照することで、図７に示すように、各下地モードに関する下地情報を取得している。
【００８７】
次に、繋ぎ記録処理の実施例について説明する。
【００８８】
まず、第１の実施例として、インターレースモード６０ｉの下地画像データに、インターレースモード６０ｉの上書き画像データを繋ぎ記録したときの磁気テープ２の記録領域におけるピクチャ配列を図８及び図９に示す。
【００８９】
図８（Ａ）及び図８（Ｂ）は、復号処理順に並んだピクチャ配列をフレーム単位で示したものである。具体的に、図８（Ａ）は、繋ぎ記録処理前における下地画像データを構成するピクチャの配列を示したものである。また、図８（Ｂ）は、下地画像データにおけるピクチャＰ８、Ｂ６、Ｂ７以降を上書きするようにして上書き画像データが繋ぎ記録処理されたピクチャの配列を示したものである。
【００９０】
また、図９（Ａ）及び図９（Ｂ）は、表示順に並んだピクチャの配列をトップフィールドｔ及びボトムフィールドｂからなるフィールド単位で示したものである。具体的に図９（Ａ）及び図９（Ｂ）は、それぞれ図８（Ａ）及び図８（Ｂ）に示したピクチャの配列をフィールド単位かつ表示順で示したものである。
【００９１】
このような図８及び図９に示したように、コントローラ１１８では、下地画像データのＩピクチャ又はＰピクチャから上書きされるように編集点を選択してコピーピクチャを２枚挿入している。このようにすることで、コントローラ１１８では、復号順と表示順との対応関係が破綻することなく繋ぎ記録することができる。
【００９２】
これは、下地画像データのＢピクチャから上書きされるように編集点が選択されると、ＩピクチャやＰピクチャなどの後に表示されるピクチャが下地として残った状態で先に表示されるピクチャが上書きされてしまうので、これを防止するためである。
【００９３】
次に、第２の実施例として、プログレッシブモード２４ｐの下地画像データに、プログレッシブモードモード２４ｐの上書き画像データを繋ぎ記録したときの磁気テープ２の記録領域におけるピクチャ配列を図１０及び図１１に示す。
【００９４】
図１０（Ａ）及び図１０（Ｂ）は、復号処理順に並んだピクチャ配列をフレーム単位で示したものである。具体的に、図１０（Ａ）は、繋ぎ記録処理前における下地画像データを構成するピクチャの復号処理順の配列を示したものである。また、図１０（Ｂ）は、下地画像データにおけるピクチャＩ２、Ｂ０、Ｂ１以降を上書きするようにして上書き画像データが繋ぎ記録処理されたピクチャの復号処理順の配列を示したものである。
【００９５】
この繋ぎ記録処理においてコントローラ１１８では、下地画像データがプログレッシブモード２４ｐであるため、フレーム構造のコピーピクチャを挿入する。ここで、フレームＤＣＴコーディングのマクロブロックで構成されたフレーム構造のコピーピクチャは、フィールドＤＣＴコーディングのマクロブロックで構成されたフィールド構造のコピーピクチャよりも発生符号量が少ない。よって、コントローラ１１８は、より少ないコピーピクチャの挿入枚数でＶＢＶバッファのデータ占有率ＶＢＶ＿ｏｃｃｕｐａｎｃｙをより小さくすることができ、この結果、上書き画像データの先頭ピクチャの符号発生量をより少ないコピーピクチャの挿入枚数で効率よく増やすことができる。すなわち、コントローラ１１８は、画質を良好に保ちつつ、編集点上で画像が止まっている状態を短くして繋ぎ記録処理を行うことができる。
【００９６】
また、この実施例のようにプログレッシブモードの下地画像データにコピーピクチャを入れる場合、フィールドＤＣＴコーディングのマクロブロックで構成されたフィールド構造のコピーピクチャを編集点の１枚目に入れてしまうと、フィールドＤＣＴコーディングのマクロブロックで構成されたコピーピクチャが、ボトムフィールドからなる下地画像データの最終表示ピクチャのみからフレーム画像を作るため、解像度が半分に落ちてしまうこととなる。
【００９７】
これに対して、プログレッシブモードの下地画像データの場合に、もともとフレームの解像度を持っており、実施例２に係るコントローラ１１８では、このような解像度の特性を考慮し、フレームＤＣＴモードのピクチャを使って１枚目以降のコピーピクチャを挿入するようにするので、再生時の編集点上のつなぎ目の画質を良好に保った状態で繋ぎ記録処理を行うことができる。
【００９８】
また、図１１は、第２の実施例に係る繋ぎ記録処理において表示順に並んだ各ピクチャの配列を単位フィールド間隔に当てはめて示したものである。
【００９９】
ここで、下地画像データ及び上書き画像データは、両方ともプログレッシブモード２４ｐであるので、単位フィールド間隔に当てはめたとき、３フィールド期間からなるフレームと、２フィールド期間からなるフレームとが交互に並んだ配列、すなわち、３−２シーケンスとなっている。
【０１００】
上述したピクチャの配列構造に対して、第２の実施例において、コントローラ１１８では、図１１に示すように、編集点を２４ピクチャを１単位とするＧＯＰ単位で設定して、表示順で下地画像データにおいてトップフィールドｔとボトムフィールドｂとの順で割り当てられたフレームの次のピクチャから、上書き画像データの繋ぎ記録を行う。ここで、コントローラ１１８は、画質を良くするため、又はＶＢＶ＿ｄｅｌａｙのつじつまを合わせるために、トップフィールドｔとボトムフィールドｂとの順で割り当てられたコピーピクチャを１枚以上挿入する。これにより、コントローラ１１８では、プログレッシブモード２４ｐにおける３−２シーケンス構造を崩してしまうことになるが、編集点において画像が止まる時間が短くなり、再生した時の見た目を良くすることができる。
【０１０１】
また、このような繋ぎ記録処理を行うコントローラ１１８では、異なるストリーム間、具体的には、プログレッシブモード２４ｐとプログレッシブモード３０ｐとの混合ストリーム、プログレッシブモード３０ｐとプログレッシブモード２４ｐとの混合ストリーム、プログレッシブモード２４ｐを３−２プルダウンしたインターレースモードとインターレースモード６０ｉとの混合ストリームなどにおいて、再生時の画質を良好に保ちつつ繋ぎ記録処理を行うことができる。
【０１０２】
以上で示した第１及び第２の実施例のように、カムコーダ１では、データ多重化部１４により、下地画像データが記録されている磁気テープ２上の編集点上に、ＶＢＶバッファのビット占有率に応じて、編集点の直前に表示されるピクチャを繰り返して表示するコピーピクチャを制御情報として挿入して、上書き画像データを磁気テープ２に記録するように画像データを多重化させるとともに、コントローラ１１８により、下地画像データの走査方式に応じて、１枚目に挿入するコピーピクチャのピクチャ構造を設定して磁気テープ２に記録させるようにデータ多重化部１４を制御するので、繋ぎ記録の編集点前後の画質を良好に保った状態でコピーピクチャを挿入して新たな符号化された画像データを記録する処理を行うことができる。
【０１０３】
なお、本発明は、上述した磁気記録テープ２を記録媒体として繋ぎ記録処理を行うカムコーダ１のみでなく、例えばコンピュータで実行される画像処理プログラムや、専用の編集機械など２つの符号化された画像データからなるビットストリームを再符号化処理を施すことなく繋ぐような場合にも用いる事が可能である。
【図面の簡単な説明】
【０１０４】
【図１】本発明が適用されたカムコーダの全体構成を示すブロック図である。
【図２】符号化処理に係るピクチャの配列処理を示す図である。
【図３】コピーピクチャ挿入によるＶＢＶバッファのデータ占有率の変化を示す図である。
【図４】コピーピクチャの挿入枚数の算出処理の説明に供するフローチャートである。
【図５】コピーピクチャのピクチャ構造を設定する設定処理の説明に供するフローチャートである。
【図６】下地モードと記録モードとに対応付けたコピーピクチャのピクチャ構造を示す図である。
【図７】下地画像データに格納されているＥＣＣＴＢの構成を示す図である。
【図８】インターレースモード６０ｉの下地画像データに、インターレースモード６０ｉの上書き画像データを繋ぎ記録したときの磁気テープ２の記録領域におけるピクチャ配列をフレーム単位で示す図である。
【図９】インターレースモード６０ｉの下地画像データに、インターレースモード６０ｉの上書き画像データを繋ぎ記録したときの磁気テープ２の記録領域におけるピクチャ配列フィールド単位で示す図である。
【図１０】プログレッシブモード２４ｐの下地画像データに、プログレッシブモードモード２４ｐの上書き画像データを繋ぎ記録したときの磁気テープ２の記録領域におけるピクチャ配列をフレーム単位で示す図である。
【図１１】プログレッシブモード２４ｐの下地画像データに、プログレッシブモードモード２４ｐの上書き画像データを繋ぎ記録したときの磁気テープ２の記録領域におけるピクチャ配列を３−２プルダウンしたフィールド単位で示す図である。
【符号の説明】
【０１０５】
１ カムコーダ、２ 磁気テープ、１１ 入力部、１２ Ａ／Ｄ変換部、１３ 符号化処理部、１４ データ多重化部、１５ 変速再生用データ生成部、１６ 訂正符号付加部、１７ 記録用アンプ、１８ 記録用回転ヘッド、１９ 再生用回転ヘッド、１１０ 再生用アンプ、１１１ 誤り訂正部、１１２ データ分離処理部、１１３ 変速再生用メモリ、１１４ 切換部、１１５ 復号処理部、１１６ Ｄ／Ａ変換部、１１７ 出力部、１１８ コントローラ
【技術分野】
【０００１】
本発明は、ＭＰＥＧ方式により符号化処理が施された画像データを処理する画像処理装置、この画像処理装置の制御方法、プログラムに関するものである。
【背景技術】
【０００２】
ビデオカメラなどで撮像された画像信号を、磁気記録テープ、光ディスク、ハードディスクドライブなどの記録媒体に記録する処理を行う装置では、ベースバンドのデジタルビデオ信号が用いられるが、冗長特性のある情報量を削減して効率的に記録するため、撮影した画像信号をＭＰＥＧ（Moving Picture Experts Group）方式に準拠して符号化処理、及び復号処理を行っている。
【０００３】
このＭＰＥＧ方式に準拠して画像信号が符号化されたビットストリームは、勧告H.262(ISO/IEC 13818-2)で定義されている画像バッファリング検証器を通して課せられる制約を満足させなければならない。
【０００４】
すなわち、ＭＰＥＧ方式のように時間軸方向に発生符号量が変動する符号化処理方法において、記録媒体へ記録したビットストリームを、再生時に正確に復号するためには、復号処理系における入力バッファ内のデータ占有量を符号化処理系において常に把握しなければならない。
【０００５】
このため、ＭＰＥＧ方式では、復号処理系における入力バッファに対応する仮想バッファとして、符号化処理系にＶＢＶ（Ｖｉｄｅｏ Ｂｕｆｆｅｒｔｉｎｇ Ｖｅｒｉｆｉｅｒ）バッファを想定して発生符号量を制御している。すなわち、符号化処理系では、このＶＢＶバッファを破綻させないように、換言すればＶＢＶバッファをアンダーフロー又はオーバーフローさせないように単位時間当たりの発生符号量を制御している。
【０００６】
したがって、ＭＰＥＧ方式では、予め記録媒体に記録されているビットストリームに、新たに記録するビットストリームを繋いで記録する場合にも、ＶＢＶバッファのサイズを考慮する必要がある。すなわち、符号化処理系では、繋ぎ記録する編集点の前後を連続して再生しても入力バッファを破綻させることなく復号処理を行うことができるように、ＶＢＶバッファのサイズに対して適用的にデータ占有量を設定する必要がある。
【０００７】
このような要求を満たして繋ぎ記録を行う技術として、特許文献１には、新たに繋ぎ記録するビットストリームの編集点に、この編集点の直前に表示されるピクチャを繰り返して表示するコピーピクチャや、スタッフィングバイトを挿入する方法が提案されている。
【０００８】
また、特許文献２には、繋ぎ記録する編集点の直後に表示される次ピクチャの発生符号量との関係で極端にＶＢＶバッファの占有率が小さいと、符号化処理時においてＶＢＶバッファのアンダーフローが生じないように、次ピクチャの発生符号量に制約がかかるために生じる画質の劣化を回避するための方法が提案されている。
【０００９】
【特許文献１】特開１１―２０５７３４号公報
【特許文献２】特開２００４―４８１０４号公報
【発明の開示】
【発明が解決しようとする課題】
【００１０】
しかしながら、上述した特許文献１、２を含め従来においては、繋ぎ記録時にコピーピクチャを挿入することにより、ＶＢＶバッファの破綻を防止することを示しているのに過ぎなかった。
【００１１】
本発明は、このような実情に鑑みて提案されたものであり、繋ぎ記録の編集点前後の画質を良好に保った状態でコピーピクチャを挿入して新たな符号化された画像データを記録する処理を行う画像処理装置、この画像処理装置の制御方法、及び、プログラムを提供することを目的とする。
【課題を解決するための手段】
【００１２】
上述した課題を解決するための手段として、本発明に係る画像処理装置は、ＭＰＥＧ方式により符号化処理が施された画像データを処理する画像処理装置であって、第１の画像データが記録されている記録媒体上の編集点上に、上記符号化処理に対応する復号処理において用いられるＶＢＶ（Ｖｉｄｅｏ Ｂｕｆｆｅｒｉｎｇ Ｖｅｒｉｆｉｅｒ）バッファのビット占有率に応じて該編集点の直前に表示されるピクチャを繰り返して表示するコピーピクチャを制御情報として挿入して、第２の画像データを該記録媒体に記録する記録手段と、上記第１の画像データの走査方式に応じて上記編集点から１枚目に挿入する上記コピーピクチャのピクチャ構造を設定して、上記記録媒体上の編集点上に上記コピーピクチャを挿入させて上記第２の画像データを記録させるように上記記録手段を制御する制御手段を備える。
【００１３】
また、本発明に係る画像処理装置の制御方法は、ＭＰＥＧ方式により符号化処理が施された画像データを処理する画像処理装置の制御方法であって、記録手段により、第１の画像データが記録されている記録媒体上の編集点上に、上記符号化処理に対応する復号処理において用いられるＶＢＶ（Ｖｉｄｅｏ Ｂｕｆｆｅｒｉｎｇ Ｖｅｒｉｆｉｅｒ）バッファのビット占有率に応じて、該編集点の直前に表示されるピクチャを繰り返して表示するコピーピクチャを制御情報として挿入して、第２の画像データを該記録媒体に記録する記録工程と、制御手段により、上記第１の画像データの走査方式に応じて上記編集点から１枚目に挿入する上記コピーピクチャのピクチャ構造を設定して上記記録媒体に記録させるように上記記録手段を制御する制御工程を備える。
【００１４】
また、本発明に係るプログラムは、ＭＰＥＧ方式により符号化処理が施された画像データを処理する画像処理をコンピュータにより実行させるためのプログラムであって、記録手段により、第１の画像データが記録されている記録媒体上の編集点上に、上記符号化処理に対応する復号処理において用いられるＶＢＶ（Ｖｉｄｅｏ Ｂｕｆｆｅｒｉｎｇ Ｖｅｒｉｆｉｅｒ）バッファのビット占有率に応じて、該編集点の直前に表示されるピクチャを繰り返して表示するコピーピクチャを制御情報として挿入して、第２の画像データを該記録媒体に記録する記録工程と、上記第１の画像データの走査方式に応じて上記編集点から１枚目に挿入する上記コピーピクチャのピクチャ構造を設定して上記記録媒体に記録させるように上記記録手段を制御する制御工程を備える画像処理をコンピュータに実行させるためのプログラムである。
【発明の効果】
【００１５】
本発明は、記録手段により、第１の画像データが記録されている記録媒体上の編集点上に、ＶＢＶバッファのビット占有率に応じて、該編集点の直前に表示されるピクチャを繰り返して表示するコピーピクチャを制御情報として挿入して、第２の画像データを該記録媒体に記録するとともに、制御手段により、第１の画像データの走査方式に応じて、１枚目に挿入するコピーピクチャのピクチャ構造を設定して記録媒体に記録させるように記録手段を制御するので、繋ぎ記録の編集点前後の画質を良好に保った状態でコピーピクチャを挿入して新たな符号化された画像データを記録する処理を行うことができる。
【発明を実施するための最良の形態】
【００１６】
以下、本発明を実施するための最良の形態について、図面を参照しながら詳細に説明する。
【００１７】
本発明が適用された画像処理装置は、ＭＰＥＧ方式により符号化処理が施された画像データを処理する装置である。このような画像処理装置の一例として、図１に示すようなＭＰＥＧ方式で符号化された画像データ、音声データ、及び付属データを記録媒体として磁気テープ２に記録するとともに、磁気テープ２に記録された画像データの再生を行うカムコーダ１を用いて以下の通り説明する。
【００１８】
カムコーダ１は、撮像素子から読み出される撮像信号を符号化して磁気テープ２に記録する符号化処理系として、入力部１１と、Ａ／Ｄ変換部１２と、符号化処理部１３と、データ多重化部１４と、変速再生用データ生成部１５と、誤り訂正符号付加部１６と、記録用アンプ１７と、記録用回転ヘッド１８を備える。また、カムコーダ１は、磁気テープ２に記録された画像データを復号して再生する復号処理系として、再生用回転ヘッド１９と、再生用アンプ１１０と、誤り訂正部１１１と、データ分離処理部１１２と、変速再生用メモリ１１３と、切換部１１４と、復号処理部１１５と、Ｄ／Ａ変換部１１６と、出力部１１７を備える。また、カムコーダ１は、これら符号化処理系及び復号処理系に係る各処理部を制御するコントローラ１１８を備える。
【００１９】
入力部１１は、ＣＣＤなどの撮像素子によって読み出されたアナログの撮像信号を入力して、入力した撮像信号をＡ／Ｄ変換部１２に供給する。
【００２０】
Ａ／Ｄ変換部１２は、入力部１１に入力されたアナログの撮像信号をデジタルの画像データに変換して、変換した画像データを符号化処理部１３に供給する。
【００２１】
符号化処理部１３は、コントローラ１１８からの制御命令により、Ａ／Ｄ変換部１２から供給される画像データに対して、具体的には次のようにしてＭＰＥＧ方式に準拠した符号化処理を施して、符号化した画像データをデータ多重化部１４及び変速再生用データ生成部１５に供給する。
【００２２】
具体的に、符号化処理部１３は、図２に示すように、例えば１５ピクチャからなるＧＯＰ（Group Of Picture）単位で、各ピクチャをＩピクチャ、Ｐピクチャ、及び、Ｂピクチャのいずれかのピクチャタイプに従って符号化する。ここで、Ｉピクチャは、カレントピクチャの画像情報のみを用いて符号化するピクチャタイプである。また、Ｐピクチャは、表示順に対して以前に位置するピクチャの画像情報を用いて予測符号化するピクチャタイプである。また、Ｂピクチャは、表示順に対して双方向に位置する複数のピクチャの画像情報を用いて予測符号化するピクチャタイプである。
【００２３】
すなわち、符号化処理部１３は、図２に示すように、表示順に並んだピクチャＮｏ．１〜Ｎｏ．１５のピクチャを復号処理順に入れ替えて各ピクチャタイプに従って符号化処理を施したデータストリームをデータ多重化部１４及び変速再生用データ生成部１５に供給する。
【００２４】
データ多重化部１４は、コントローラ１１８からの制御命令に従って、符号化処理部１３及び後述する変速再生用データ生成部１５から供給される画像データに、音声データ及びサブコードなどのシステムデータを多重化する。また、データ多重化部１４は、コントローラ１１８からの制御命令に従って、後述するコピーピクチャ及びスタッフィングバイトをシステムデータとして挿入する処理も行う。そして、データ多重化部１４は、多重化したビットストリームを誤り訂正符号付加部１６に供給する。なお、カムコーダ１の通常動作において、データ多重化部１４には、符号化処理部１３で符号化された画像データが直接供給される。
【００２５】
変速再生用データ生成部１５は、符号化処理部１３から供給される画像データから、変速再生用の画像データを生成して、生成した画像データを誤り訂正符号付加部１６に供給する。
【００２６】
誤り訂正符号付加部１６は、コントローラ１１８からの制御命令に従って、データ多重化部１４から供給されるビットストリームに誤り訂正符号を付加して記録用アンプ１７に供給する。
【００２７】
記録用アンプ１７は、誤り訂正符号付加部１６から供給されるビットストリームをシリアルデータに変換した上で増幅処理を施す。そして、記録用アンプ１７は、増幅処理を施した画像データを記録用回転ヘッド１８に供給する。
【００２８】
記録用回転ヘッド１８は、記録用アンプ１７から供給される画像データを、図示しない回転ドラムを介して回転させられている磁気テープ２に記録する。
【００２９】
再生用回転ヘッド１９は、磁気テープ２上に記録されている画像データを読み出して、読み出した画像データを再生用アンプ１１０に供給する。
【００３０】
再生用アンプ１１０は、再生用回転ヘッド１９から供給される画像データに増幅処理を施して、増幅処理を施した画像データを誤り訂正部１１１に供給する。
【００３１】
誤り訂正部１１１は、再生用アンプ１１０から供給される画像データに対して誤り訂正処理を施す。そして、再生用アンプ１１０は、誤り訂正処理を施した画像データを、データ分離処理部１１２及び変速再生用メモリ１１３にそれぞれ供給する。
【００３２】
データ分離処理部１１２は、誤り訂正部１１１から供給される画像データから、音声データ及びシステムデータを分離する。そして、データ分離処理部１１２は、音声データ及びシステムデータが分離された画像データを切換部１１４を介して復号処理部１１５に供給する。また、データ分離処理部１１２は、分離したシステムデータをコントローラ１１８に供給する。ここでシステムデータには後述する下地情報が含まれている。
【００３３】
変速再生用メモリ１１３は、誤り訂正部１１１から供給される画像データを、変速再生用に一時的にメモリ領域に記憶する。変速再生用メモリ１１３に記憶されたデータは、変速再生に対応するタイミング毎に、切換部１１４を介して復号処理部１１５によって読み出される。
【００３４】
切換部１１４は、コントローラ１１８からの制御命令に従って、データ分離処理部１１２と変速再生用メモリ１１３とのいずれか一方を復号処理部１１５の入力端と電気的に接続する。カムコーダ１の通常動作モードにおいて、切換部１１４は、データ分離処理部１１２と復号処理部１１５の入力端と電気的に接続している。
【００３５】
復号処理部１１５は、コントローラ１１８からの制御命令により、データ分離処理部１１２と変速再生用メモリ１１３とのいずれか一方から供給される画像データに対して、ＭＰＥＧ方式に準拠した復号処理を施して、復号した画像データをＤ／Ａ変換部１１６に供給する。
【００３６】
Ｄ／Ａ変換部１１６は、復号処理部１１５から供給される画像データをアナログの画像信号に変換する。そして、Ｄ／Ａ変換部１１６は、変換した画像信号を出力部１１７に供給する。
【００３７】
出力部１１７は、Ｄ／Ａ変換部１１６から供給される画像信号を例えば表示装置などに出力する。
【００３８】
コントローラ１１８は、符号化処理系及び復号処理系の各処理部の動作を制御する。
【００３９】
以上のような構成からなるカムコーダ１では、入力部１１から入力される画像信号に対して符号化処理を施した画像データを磁気テープ２に記録するとともに、磁気テープ２から画像データを読み出して復号処理を施した画像信号を出力部１１７から外部へ出力する。
【００４０】
以下では、上述したカムコーダ１が行う動作のうち、予め磁気テープ２に記録されている画像データの任意の編集点から、入力部１１に入力される画像データを繋いで記録する記録処理に係るデータ多重化部１４及びコントローラ１１８の動作に特に注目して以下の通り説明する。
【００４１】
データ多重化部１４は、下地の画像データが記録されている磁気テープ２に対して、復号処理部１１５から供給される上書き画像データを記録する場合、上書き画像データが記録される編集点においてＶＢＶバッファを破綻させないようにするため、コピーピクチャ及びスタッフィングバイトを挿入する。
【００４２】
これは、繋ぎ記録する編集点前後のピクチャに係る発生符号量の関係で、極端にＶＢＶバッファのデータ占有率ＶＢＶ＿ｏｃｃｕｐａｎｃｙが極端に小さいと、符号化処理においてＶＢＶバッファのアンダーフローが生じないように編集点の直後に位置するピクチャの発生符号量に制約がかかって画質が劣化してしまうからである。
【００４３】
例えば、あるピクチャがＶＢＶバッファに入力されてから出力されるまでの遅延時間（以下、ＶＢＶ＿ｄｅｌａｙという。）が、下地画像データの最終表示ピクチャ（下地Ｌａｓｔ）と上書き画像データの表示開始ピクチャ（上書きＴｏｐ）とで互いに異なると、図３（Ａ）に示すようにデータ占有率ＶＢＶ＿ｏｃｃｕｐａｎｃｙが所定の設定値を下回ってしまう場合がある。
【００４４】
そこで、データ多重化部１４は、具体的は、次のようなコントローラ１１８の制御命令に従い、編集点の直前に表示されるピクチャ（下地Ｌａｓｔ）を繰り返して表示するコピーピクチャを制御情報として挿入することによって、図３（Ｂ）に示すように、上書き画像データの表示開始ピクチャ（上書きＴｏｐ）のＶＢＶ＿ｄｅｌａｙを長くして、データ占有率ＶＢＶ＿ｏｃｃｕｐａｎｃｙが所定の設定値を上回るようにする。
【００４５】
コピーピクチャ及びスタッフィングバイトの挿入処理を行うデータ多重化部１４を制御するコントローラ１１８では、繋ぎ記録処理を行うとき、データ分離処理部１１２から取得したシステムデータのうち、例えばヘッダサイズｈｅａｄｅｒ ｓｉｚｅ、ＶＢＶ＿ｄｅｌａｙ、フレーム間隔、走査方式などからなる下地情報から、上書き画像データの表示開始ピクチャの書き込み開始時のデータ占有率ＶＢＶ＿ｏｃｃｕｐａｎｃｙを計算する。そして、コントローラ１１８は、この書き込み開始時のデータ占有率ＶＢＶ＿ｏｃｃｕｐａｎｃｙが所定の設定値を下回るようなとき、編集点の直後すなわち、画像データのつなぎ目の先頭の画質劣化を抑えるために挿入するコピーピクチャの挿入枚数を計算する。すなわち、コントローラ１１８は、コピーピクチャ挿入後の上書きデータのデータ占有量ＶＢＶ＿ｏｃｃｕｐａｎｃｙが設定値以上になるように挿入枚数を計算する。
【００４６】
具体的に、コントローラ１１８は、（ＶＢＶ＿ｄｅｌａｙ＋ｈｅａｄｅｒ ｓｉｚｅ）の値が、下地画像データと上書きデータとの間で異なるとき、データ多重化部１４に対してコピーピクチャ及びスタッフィングバイトを挿入するように動作させる。
【００４７】
すなわち、コントローラ１１８は、下地画像データの（ＶＢＶ＿ｄｅｌａｙ＋ｈｅａｄｅｒ ｓｉｚｅ）の値を目標値Ｖ＿ｃｕｒとして、下記の条件より、コピーピクチャの挿入枚数Ｎと、スタッフィングバイトのデータ量Ｓを算出する。ただし、下地画像データの（ＶＢＶ＿ｄｅｌａｙ＋ｈｅａｄｅｒ ｓｉｚｅ）の値が最低値を下回るときは、設定値を目標値とする。
【００４８】
Ｖ＿ｃｕｒ−ｆ（０）≦０のとき
Ｎ＝０、Ｓ＝（ｆ（０）−Ｖ＿ｃｕｒ）
Ｖ＿ｃｕｒ−ｆ（０）＞０のとき
ｆ（Ｎ−１）＜Ｖ＿ｃｕｒ≦ｆ（Ｎ）を満たすＮ、Ｓ＝（ｆ（Ｎ−Ｖ＿ｃｕｒ））
ここで、ｆ（Ｎ）は、Ｎ枚のコピーピクチャを挿入したときの上書き画像データの（ＶＢＶ＿ｄｅｌａｙ＋ｈｅａｄｅｒ ｓｉｚｅ）の値である。
【００４９】
なお、コピーピクチャは、下地画像データにより発生されるコピーピクチャがフィールド構造とフレーム構造との２種類が存在するため、１枚挿入する毎に値が異なる。
【００５０】
次に、コピーピクチャ及びスタッフィングバイトの発生量を計算する処理工程を、図４に示すフローチャートに従って説明する。
【００５１】
前提として、図４に示すフローチャートに従った処理工程では、コピーピクチャの枚数を返値とする。また、この処理工程では、引数として、下地画像データの（ＶＢＶ＿ｄｅｌａｙ＋ｈｅａｄｅｒ ｓｉｚｅ）の値ｖｂｖ＿１と上書き画像データの（ＶＢＶ＿ｄｅｌａｙ＋ｈｅａｄｅｒ ｓｉｚｅ）の値ｖｂｖ＿２を用いる。また、この処理工程では、広域変数として、発生させるスタッフィングバイトのバイト数ＳｔｕｆｆＢｙｔｅを用いる。さらに、この処理工程では、定数値として、フィールド構造のコピーピクチャの１枚当たりのバイト数ＦＩＥＬＤ＿ＳＩＺＥと、フレーム構造のコピーピクチャの１枚当たりのバイト数ＦＲＡＭＥ＿ＳＩＺＥを用いる。
【００５２】
ステップＳ１において、コントローラ１１８は、コピーピクチャの挿入枚数を初期値０に設定してステップＳ２に進む。
【００５３】
ステップＳ２において、コントローラ１１８は、ｖｂｖｄ＿１に対するｖｂｖ＿２の値をバイト換算して、算出した値をｓｕｂ＿ｖｂｖｄとして保持し、ステップＳ３に進む。
【００５４】
ステップＳ３において、コントローラ１１８は、ｓｕｂ＿ｖｂｖｄの値が０以下であるか否かを判断する。ここで、コントローラ１１８は、ｓｕｂ＿ｖｂｖｄの値が０以下のときステップＳ４に進み、ｓｕｂ＿ｖｂｖｄの値が０以下ではないときステップＳ６に進む。
【００５５】
ステップＳ４において、コントローラ１１８は、コピーピクチャの挿入枚数を０にして、ステップＳ５に進む。
【００５６】
ステップＳ５において、コントローラ１１８は、ＳｔｕｆｆＢｙｔｅの値を−（ｓｕｂ＿ｖｂｖｄ）として、ステップＳ１８に進む。
【００５７】
ステップＳ６において、コントローラ１１８は、コピーピクチャの挿入枚数をインクリメントして、すなわち、値を１に更新してステップＳ７に進む。
【００５８】
ステップＳ７において、コントローラ１１８は、ｓｕｂ＿ｖｂｖｄの値がＦＩＥＬＤ＿ＳＩＺＥの値以下であるか否かを判断する。ここで、コントローラ１１８は、ＦＩＥＬＤ＿ＳＩＺＥの値以下のときステップ８に進み、ＦＩＥＬＤ＿ＳＩＺＥの値以下ではないときステップＳ１１に進む。
【００５９】
ステップＳ８において、コントローラ１１８は、下地画像データの走査方式がプログレッシブであるか否かを判断する。ここで、コントローラ１１８は、プログレッシブであるときステップＳ９に進み、プログレッシブではない、すなわちインターレースのときステップＳ１０に進む。
【００６０】
ステップＳ９において、コントローラ１１８は、下記式よりＳｔｕｆｆＢｙｔｅを算出して、ステップＳ１８に進む。
ＳｔｕｆｆＢｙｔｅ＝ＦＲＡＭＥ＿ＳＩＺＥ−ｓｕｂ＿ｖｂｖｄ
【００６１】
ステップＳ１０において、コントローラ１１８は、下記式よりＳｔｕｆｆＢｙｔｅを算出して、ステップＳ１８に進む。
ＳｔｕｆｆＢｙｔｅ＝ＦＩＥＬＤ＿ＳＩＺＥ−ｓｕｂ＿ｖｂｖｄ
【００６２】
ステップＳ６において、コントローラ１１８は、下地画像データの走査方式がプログレッシブであるか否かを判断する。ここで、コントローラ１１８は、プログレッシブであるときステップＳ１２に進み、プログレッシブではない、すなわちインターレースのときステップＳ１３に進む。
【００６３】
ステップＳ１２において、コントローラ１１８は、ｓｕｂ＿ｖｂｖｄからＦＲＡＭＥ＿ＳＩＺＥを減じた値をｓｕｂ＿ｖｂｖｄとして更新して、ステップＳ１４に進む。
【００６４】
ステップＳ１３において、コントローラ１１８は、ｓｕｂ＿ｖｂｖｄからＦＩＥＬＤ＿ＳＩＺＥを減じた値をｓｕｂ＿ｖｂｖｄとして更新して、ステップＳ１４に進む。
【００６５】
ステップＳ１４において、コントローラ１１８は、ｓｕｂ＿ｖｂｖｄの値が０より大きいか否かを判断して、０より大きいときステップＳ１５に進む。また、コントローラ１１８は、ｓｕｂ＿ｖｂｖｄの値が０より大きいという条件が満たされなくなるまで、後述するステップＳ１５、Ｓ１６の処理を繰り返して、その後ステップＳ１７に進む。
【００６６】
ステップＳ１５において、コントローラ１１８は、コピーピクチャの挿入枚数をインクリメントしてステップＳ１６に進む。
【００６７】
ステップＳ１６において、コントローラ１１８は、ｓｕｂ＿ｖｂｖｄからＦＩＥＬＤ＿ＳＩＺＥを減じた値をｓｕｂ＿ｖｂｖｄとして更新して、ステップＳ１４に戻る。
【００６８】
ステップＳ１７において、コントローラ１１８は、ＳｔｕｆｆＢｙｔｅの値を−（ｓｕｂ＿ｖｂｖｄ）として、ステップＳ１８に進む。
【００６９】
ステップＳ１８において、コントローラ１１８は、コピーピクチャの挿入枚数を返値として算出して、本処理工程を終了する。
【００７０】
以上の処理工程によって、コピーピクチャの挿入枚数が１以上発生する場合、コントローラ１１８は、具体的には図５に示すようなフローチャートに従って、下地画像データの走査方式に応じてコピーピクチャのピクチャ構造を設定する。
【００７１】
ステップ２１において、コントローラ１１８は、ヘッダサイズｈｅａｄｅｒ ｓｉｚｅ、ＶＢＶ＿ｄｅｌａｙ、フレーム間隔、走査方式からなる下地情報を取得して、ステップＳ２２に進む。
【００７２】
ステップＳ２２において、コントローラ１１８は、上述したステップＳ１〜Ｓ１８に係る処理工程の返値として得られるコピーピクチャの挿入枚数を取得して、ステップＳ２３に進む。
【００７３】
ステップＳ２３において、コントローラ１１８は、ステップＳ２２で得られたコピーピクチャの挿入枚数分、後述するステップＳ２４〜Ｓ２９に係る処理を繰り返して、その後、本処理工程を終了する。
【００７４】
ステップ２４において、コントローラ１１８は、現在処理対象の注目コピーピクチャが、編集点に対して１枚目のコピーピクチャであるか否かを判断する。ここで、コントローラ１１８は、１枚目のコピーピクチャであるときステップＳ２５に進み、１枚目のコピーピクチャではないときステップＳ２８に進む。
【００７５】
ステップＳ２５において、コントローラ１１８は、下地画像データの走査方式がプログレッシブであるか否かを判断する。ここで、コントローラ１１８は、プログレッシブであるときステップＳ２６に進み、プログレッシブではないとき、すなわちインターレースであるときステップＳ２７に進む。
【００７６】
ステップＳ２６において、コントローラ１１８は、注目コピーピクチャのピクチャ構造をフレーム構造に設定してステップＳ２９に進む。
【００７７】
ステップＳ２７において、コントローラ１１８は、注目コピーピクチャのピクチャ構造をフィールド構造に設定してステップＳ２９に進む。
【００７８】
ステップＳ２８において、コントローラ１１８は、注目コピーピクチャのピクチャ構造をフレーム構造に設定してステップＳ２９に進む。
【００７９】
ステップＳ２９において、コントローラ１１８は、注目コピーピクチャをカウントアップして、ステップＳ２３に戻る。
【００８０】
以上の処理工程によって、コントローラ１１８は、下地画像データの走査方式がインターレースの場合、編集点から１枚目のコピーピクチャのピクチャ構造をフィールド構造、すなわち、フィールドＤＣＴコーディングのマクロブロック構成からなる構造に設定し、２枚目以降のコピーピクチャのピクチャ構造をフレーム構造、すなわちフレームＤＣＴコーディングのマクロブロック構成からなる構造に設定する。また、コントローラ１１８は、下地画像データの走査方式がプログレッシブの場合、編集点から１枚目以降のコピーピクチャのピクチャ構造をフレーム構造、すなわちフレームＤＣＴコーディングのマクロブロック構成からなる構造に設定する。
【００８１】
そして、コントローラ１１８によって設定されたコピーピクチャに関する制御情報に従って、データ多重化部１４は、その内部メモリに保持しているコピーピクチャに関する制御データを、システムデータとして、上書き画像データのＰＥＳ（Packetized Elementary Stream）ヘッダに付加して、その他音声データなどを上書き画像データに対して多重化する処理を行う。
【００８２】
なお、カムコーダ１では、繋ぎ記録処理をハードウェアで構成されるデータ多重化部１４及びコントローラ１１８で実行される以外にも、例えばハードディスク上に記憶されている画像処理プログラムをＲＡＭ上に読み出して汎用のプロセッサで実装することによって繋ぎ記録処理を行うようにしてもよい。
【００８３】
以上のような処理によって、コントローラ１１８では、具体的には図６に示すように、下地画像データの下地モードと、上書き画像データの記録モードを対応付けて、挿入するコピーピクチャのピクチャ構造を設定している。
【００８４】
すなわち、図６に示す具体例では、下地画像データ及び上書き画像データの有効走査線本数を１０８０本としている。また、図６に示す具体例では、１秒当たり６０フィールドからなるインターレースモード６０ｉ、１秒当たり３０フレームからなるプログレッシブモード３０ｐ、１秒当たり３０フレームからなるプログレッシブモード２４ｐ、１秒当たり５０フィールドからなるインターレースモード５０ｉ、１秒当たり２５フレームからなるプログレッシブモード２５ｐを、下地モード及び記録モードとしている。なお、図６では、−で示されるモード間で繋ぎ記録を行うことができない関係を示している。
【００８５】
コントローラ１１８は、下地モードがインターレースのとき、記録モードに関わることなく編集点から１枚目に挿入するコピーピクチャをフィールド構造に、２枚目以降に挿入するコピーピクチャをフレーム構造に設定する。また、コントローラ１１８は、下地モードがプログレッシブであるとき、記録モードに関わることなく編集点から１枚目以降に挿入するコピーピクチャをフレーム構造に設定する。
【００８６】
なお、コントローラ１１８は、下地画像データに格納されているＥＣＣＴＢを参照することで、図７に示すように、各下地モードに関する下地情報を取得している。
【００８７】
次に、繋ぎ記録処理の実施例について説明する。
【００８８】
まず、第１の実施例として、インターレースモード６０ｉの下地画像データに、インターレースモード６０ｉの上書き画像データを繋ぎ記録したときの磁気テープ２の記録領域におけるピクチャ配列を図８及び図９に示す。
【００８９】
図８（Ａ）及び図８（Ｂ）は、復号処理順に並んだピクチャ配列をフレーム単位で示したものである。具体的に、図８（Ａ）は、繋ぎ記録処理前における下地画像データを構成するピクチャの配列を示したものである。また、図８（Ｂ）は、下地画像データにおけるピクチャＰ８、Ｂ６、Ｂ７以降を上書きするようにして上書き画像データが繋ぎ記録処理されたピクチャの配列を示したものである。
【００９０】
また、図９（Ａ）及び図９（Ｂ）は、表示順に並んだピクチャの配列をトップフィールドｔ及びボトムフィールドｂからなるフィールド単位で示したものである。具体的に図９（Ａ）及び図９（Ｂ）は、それぞれ図８（Ａ）及び図８（Ｂ）に示したピクチャの配列をフィールド単位かつ表示順で示したものである。
【００９１】
このような図８及び図９に示したように、コントローラ１１８では、下地画像データのＩピクチャ又はＰピクチャから上書きされるように編集点を選択してコピーピクチャを２枚挿入している。このようにすることで、コントローラ１１８では、復号順と表示順との対応関係が破綻することなく繋ぎ記録することができる。
【００９２】
これは、下地画像データのＢピクチャから上書きされるように編集点が選択されると、ＩピクチャやＰピクチャなどの後に表示されるピクチャが下地として残った状態で先に表示されるピクチャが上書きされてしまうので、これを防止するためである。
【００９３】
次に、第２の実施例として、プログレッシブモード２４ｐの下地画像データに、プログレッシブモードモード２４ｐの上書き画像データを繋ぎ記録したときの磁気テープ２の記録領域におけるピクチャ配列を図１０及び図１１に示す。
【００９４】
図１０（Ａ）及び図１０（Ｂ）は、復号処理順に並んだピクチャ配列をフレーム単位で示したものである。具体的に、図１０（Ａ）は、繋ぎ記録処理前における下地画像データを構成するピクチャの復号処理順の配列を示したものである。また、図１０（Ｂ）は、下地画像データにおけるピクチャＩ２、Ｂ０、Ｂ１以降を上書きするようにして上書き画像データが繋ぎ記録処理されたピクチャの復号処理順の配列を示したものである。
【００９５】
この繋ぎ記録処理においてコントローラ１１８では、下地画像データがプログレッシブモード２４ｐであるため、フレーム構造のコピーピクチャを挿入する。ここで、フレームＤＣＴコーディングのマクロブロックで構成されたフレーム構造のコピーピクチャは、フィールドＤＣＴコーディングのマクロブロックで構成されたフィールド構造のコピーピクチャよりも発生符号量が少ない。よって、コントローラ１１８は、より少ないコピーピクチャの挿入枚数でＶＢＶバッファのデータ占有率ＶＢＶ＿ｏｃｃｕｐａｎｃｙをより小さくすることができ、この結果、上書き画像データの先頭ピクチャの符号発生量をより少ないコピーピクチャの挿入枚数で効率よく増やすことができる。すなわち、コントローラ１１８は、画質を良好に保ちつつ、編集点上で画像が止まっている状態を短くして繋ぎ記録処理を行うことができる。
【００９６】
また、この実施例のようにプログレッシブモードの下地画像データにコピーピクチャを入れる場合、フィールドＤＣＴコーディングのマクロブロックで構成されたフィールド構造のコピーピクチャを編集点の１枚目に入れてしまうと、フィールドＤＣＴコーディングのマクロブロックで構成されたコピーピクチャが、ボトムフィールドからなる下地画像データの最終表示ピクチャのみからフレーム画像を作るため、解像度が半分に落ちてしまうこととなる。
【００９７】
これに対して、プログレッシブモードの下地画像データの場合に、もともとフレームの解像度を持っており、実施例２に係るコントローラ１１８では、このような解像度の特性を考慮し、フレームＤＣＴモードのピクチャを使って１枚目以降のコピーピクチャを挿入するようにするので、再生時の編集点上のつなぎ目の画質を良好に保った状態で繋ぎ記録処理を行うことができる。
【００９８】
また、図１１は、第２の実施例に係る繋ぎ記録処理において表示順に並んだ各ピクチャの配列を単位フィールド間隔に当てはめて示したものである。
【００９９】
ここで、下地画像データ及び上書き画像データは、両方ともプログレッシブモード２４ｐであるので、単位フィールド間隔に当てはめたとき、３フィールド期間からなるフレームと、２フィールド期間からなるフレームとが交互に並んだ配列、すなわち、３−２シーケンスとなっている。
【０１００】
上述したピクチャの配列構造に対して、第２の実施例において、コントローラ１１８では、図１１に示すように、編集点を２４ピクチャを１単位とするＧＯＰ単位で設定して、表示順で下地画像データにおいてトップフィールドｔとボトムフィールドｂとの順で割り当てられたフレームの次のピクチャから、上書き画像データの繋ぎ記録を行う。ここで、コントローラ１１８は、画質を良くするため、又はＶＢＶ＿ｄｅｌａｙのつじつまを合わせるために、トップフィールドｔとボトムフィールドｂとの順で割り当てられたコピーピクチャを１枚以上挿入する。これにより、コントローラ１１８では、プログレッシブモード２４ｐにおける３−２シーケンス構造を崩してしまうことになるが、編集点において画像が止まる時間が短くなり、再生した時の見た目を良くすることができる。
【０１０１】
また、このような繋ぎ記録処理を行うコントローラ１１８では、異なるストリーム間、具体的には、プログレッシブモード２４ｐとプログレッシブモード３０ｐとの混合ストリーム、プログレッシブモード３０ｐとプログレッシブモード２４ｐとの混合ストリーム、プログレッシブモード２４ｐを３−２プルダウンしたインターレースモードとインターレースモード６０ｉとの混合ストリームなどにおいて、再生時の画質を良好に保ちつつ繋ぎ記録処理を行うことができる。
【０１０２】
以上で示した第１及び第２の実施例のように、カムコーダ１では、データ多重化部１４により、下地画像データが記録されている磁気テープ２上の編集点上に、ＶＢＶバッファのビット占有率に応じて、編集点の直前に表示されるピクチャを繰り返して表示するコピーピクチャを制御情報として挿入して、上書き画像データを磁気テープ２に記録するように画像データを多重化させるとともに、コントローラ１１８により、下地画像データの走査方式に応じて、１枚目に挿入するコピーピクチャのピクチャ構造を設定して磁気テープ２に記録させるようにデータ多重化部１４を制御するので、繋ぎ記録の編集点前後の画質を良好に保った状態でコピーピクチャを挿入して新たな符号化された画像データを記録する処理を行うことができる。
【０１０３】
なお、本発明は、上述した磁気記録テープ２を記録媒体として繋ぎ記録処理を行うカムコーダ１のみでなく、例えばコンピュータで実行される画像処理プログラムや、専用の編集機械など２つの符号化された画像データからなるビットストリームを再符号化処理を施すことなく繋ぐような場合にも用いる事が可能である。
【図面の簡単な説明】
【０１０４】
【図１】本発明が適用されたカムコーダの全体構成を示すブロック図である。
【図２】符号化処理に係るピクチャの配列処理を示す図である。
【図３】コピーピクチャ挿入によるＶＢＶバッファのデータ占有率の変化を示す図である。
【図４】コピーピクチャの挿入枚数の算出処理の説明に供するフローチャートである。
【図５】コピーピクチャのピクチャ構造を設定する設定処理の説明に供するフローチャートである。
【図６】下地モードと記録モードとに対応付けたコピーピクチャのピクチャ構造を示す図である。
【図７】下地画像データに格納されているＥＣＣＴＢの構成を示す図である。
【図８】インターレースモード６０ｉの下地画像データに、インターレースモード６０ｉの上書き画像データを繋ぎ記録したときの磁気テープ２の記録領域におけるピクチャ配列をフレーム単位で示す図である。
【図９】インターレースモード６０ｉの下地画像データに、インターレースモード６０ｉの上書き画像データを繋ぎ記録したときの磁気テープ２の記録領域におけるピクチャ配列フィールド単位で示す図である。
【図１０】プログレッシブモード２４ｐの下地画像データに、プログレッシブモードモード２４ｐの上書き画像データを繋ぎ記録したときの磁気テープ２の記録領域におけるピクチャ配列をフレーム単位で示す図である。
【図１１】プログレッシブモード２４ｐの下地画像データに、プログレッシブモードモード２４ｐの上書き画像データを繋ぎ記録したときの磁気テープ２の記録領域におけるピクチャ配列を３−２プルダウンしたフィールド単位で示す図である。
【符号の説明】
【０１０５】
１ カムコーダ、２ 磁気テープ、１１ 入力部、１２ Ａ／Ｄ変換部、１３ 符号化処理部、１４ データ多重化部、１５ 変速再生用データ生成部、１６ 訂正符号付加部、１７ 記録用アンプ、１８ 記録用回転ヘッド、１９ 再生用回転ヘッド、１１０ 再生用アンプ、１１１ 誤り訂正部、１１２ データ分離処理部、１１３ 変速再生用メモリ、１１４ 切換部、１１５ 復号処理部、１１６ Ｄ／Ａ変換部、１１７ 出力部、１１８ コントローラ
【特許請求の範囲】
【請求項１】
ＭＰＥＧ方式により符号化処理が施された画像データを処理する画像処理装置において、
第１の画像データが記録されている記録媒体上の編集点上に、上記符号化処理に対応する復号処理において用いられるＶＢＶ（Ｖｉｄｅｏ Ｂｕｆｆｅｒｉｎｇ Ｖｅｒｉｆｉｅｒ）バッファのビット占有率に応じて該編集点の直前に表示されるピクチャを繰り返して表示するコピーピクチャを制御情報として挿入して、第２の画像データを該記録媒体に記録する記録手段と、
上記第１の画像データの走査方式に応じて上記編集点から１枚目に挿入する上記コピーピクチャのピクチャ構造を設定して、上記記録媒体上の編集点上に上記コピーピクチャを挿入させて上記第２の画像データを記録させるように上記記録手段を制御する制御手段を備える画像処理装置。
【請求項２】
上記制御手段は、上記第１の画像データの走査方式がインターレース方式であるとき、上記編集点から１枚目に挿入する上記コピーピクチャをフィールド構造に設定することを特徴とする請求項１記載の画像処理装置。
【請求項３】
上記制御手段は、上記編集点から２枚目以降に挿入する上記コピーピクチャをフレーム構造に設定することを特徴とする請求項２記載の画像処理装置。
【請求項４】
上記制御手段は、上記第１の画像データの走査方式がプログレッシブ方式であるとき、上記編集点から１枚目以降に挿入する上記コピーピクチャをフレーム構造に設定することを特徴とする請求項１記載の画像処理装置。
【請求項５】
ＭＰＥＧ方式により符号化処理が施された画像データを処理する画像処理装置の制御方法において、
記録手段により、第１の画像データが記録されている記録媒体上の編集点上に、上記符号化処理に対応する復号処理において用いられるＶＢＶ（Ｖｉｄｅｏ Ｂｕｆｆｅｒｉｎｇ Ｖｅｒｉｆｉｅｒ）バッファのビット占有率に応じて、該編集点の直前に表示されるピクチャを繰り返して表示するコピーピクチャを制御情報として挿入して、第２の画像データを該記録媒体に記録する記録工程と、
上記第１の画像データの走査方式に応じて上記編集点から１枚目に挿入する上記コピーピクチャのピクチャ構造を設定して上記記録媒体に記録させるように上記記録手段を制御する制御工程を備える画像処理装置の制御方法。
【請求項６】
ＭＰＥＧ方式により符号化処理が施された画像データを処理する画像処理をコンピュータにより実行させるためのプログラムにおいて、
記録手段により、第１の画像データが記録されている記録媒体上の編集点上に、上記符号化処理に対応する復号処理において用いられるＶＢＶ（Ｖｉｄｅｏ Ｂｕｆｆｅｒｉｎｇ Ｖｅｒｉｆｉｅｒ）バッファのビット占有率に応じて、該編集点の直前に表示されるピクチャを繰り返して表示するコピーピクチャを制御情報として挿入して、第２の画像データを該記録媒体に記録する記録工程と、
上記第１の画像データの走査方式に応じて上記編集点から１枚目に挿入する上記コピーピクチャのピクチャ構造を設定して上記記録媒体に記録させるように上記記録手段を制御する制御工程を備える画像処理をコンピュータに実行させるためのプログラム。
【請求項１】
ＭＰＥＧ方式により符号化処理が施された画像データを処理する画像処理装置において、
第１の画像データが記録されている記録媒体上の編集点上に、上記符号化処理に対応する復号処理において用いられるＶＢＶ（Ｖｉｄｅｏ Ｂｕｆｆｅｒｉｎｇ Ｖｅｒｉｆｉｅｒ）バッファのビット占有率に応じて該編集点の直前に表示されるピクチャを繰り返して表示するコピーピクチャを制御情報として挿入して、第２の画像データを該記録媒体に記録する記録手段と、
上記第１の画像データの走査方式に応じて上記編集点から１枚目に挿入する上記コピーピクチャのピクチャ構造を設定して、上記記録媒体上の編集点上に上記コピーピクチャを挿入させて上記第２の画像データを記録させるように上記記録手段を制御する制御手段を備える画像処理装置。
【請求項２】
上記制御手段は、上記第１の画像データの走査方式がインターレース方式であるとき、上記編集点から１枚目に挿入する上記コピーピクチャをフィールド構造に設定することを特徴とする請求項１記載の画像処理装置。
【請求項３】
上記制御手段は、上記編集点から２枚目以降に挿入する上記コピーピクチャをフレーム構造に設定することを特徴とする請求項２記載の画像処理装置。
【請求項４】
上記制御手段は、上記第１の画像データの走査方式がプログレッシブ方式であるとき、上記編集点から１枚目以降に挿入する上記コピーピクチャをフレーム構造に設定することを特徴とする請求項１記載の画像処理装置。
【請求項５】
ＭＰＥＧ方式により符号化処理が施された画像データを処理する画像処理装置の制御方法において、
記録手段により、第１の画像データが記録されている記録媒体上の編集点上に、上記符号化処理に対応する復号処理において用いられるＶＢＶ（Ｖｉｄｅｏ Ｂｕｆｆｅｒｉｎｇ Ｖｅｒｉｆｉｅｒ）バッファのビット占有率に応じて、該編集点の直前に表示されるピクチャを繰り返して表示するコピーピクチャを制御情報として挿入して、第２の画像データを該記録媒体に記録する記録工程と、
上記第１の画像データの走査方式に応じて上記編集点から１枚目に挿入する上記コピーピクチャのピクチャ構造を設定して上記記録媒体に記録させるように上記記録手段を制御する制御工程を備える画像処理装置の制御方法。
【請求項６】
ＭＰＥＧ方式により符号化処理が施された画像データを処理する画像処理をコンピュータにより実行させるためのプログラムにおいて、
記録手段により、第１の画像データが記録されている記録媒体上の編集点上に、上記符号化処理に対応する復号処理において用いられるＶＢＶ（Ｖｉｄｅｏ Ｂｕｆｆｅｒｉｎｇ Ｖｅｒｉｆｉｅｒ）バッファのビット占有率に応じて、該編集点の直前に表示されるピクチャを繰り返して表示するコピーピクチャを制御情報として挿入して、第２の画像データを該記録媒体に記録する記録工程と、
上記第１の画像データの走査方式に応じて上記編集点から１枚目に挿入する上記コピーピクチャのピクチャ構造を設定して上記記録媒体に記録させるように上記記録手段を制御する制御工程を備える画像処理をコンピュータに実行させるためのプログラム。
【図１】
【図２】
【図３】
【図４】
【図５】
【図６】
【図７】
【図８】
【図９】
【図１０】
【図１１】
【図２】
【図３】
【図４】
【図５】
【図６】
【図７】
【図８】
【図９】
【図１０】
【図１１】
【公開番号】特開２００９−７１４２７（Ｐ２００９−７１４２７Ａ）
【公開日】平成２１年４月２日（２００９．４．２）
【国際特許分類】
【出願番号】特願２００７−２３５４８３（Ｐ２００７−２３５４８３）
【出願日】平成１９年９月１１日（２００７．９．１１）
【出願人】（０００００２１８５）ソニー株式会社 (34,172)
【Ｆターム（参考）】
【公開日】平成２１年４月２日（２００９．４．２）
【国際特許分類】
【出願日】平成１９年９月１１日（２００７．９．１１）
【出願人】（０００００２１８５）ソニー株式会社 (34,172)
【Ｆターム（参考）】
[ Back to top ]