画像情報伝送装置、画像情報伝送方法、プログラム及び記憶媒体
【課題】既存の復号器によって復号可能な形態で、特殊再生用のディジタルデータをディジタルインターフェースを通じて出力する。
【解決手段】特殊再生モードを指示する指示手段と、指示手段による指示に応じて、再生手段により再生された符号化画像ストリームにおける各フレームの表示タイミングを規定するタイミング制御データを変更する手段と、直前の画像データと同一の画像データの表示を指示するデータであるコピーピクチャデータを生成する手段と、符号化画像ストリームを復号する復号器の仮想入力バッファの蓄積量を制御ためのスタッフィングデータを生成する手段と、指示手段による指示に応じて、変更手段より出力された符号化画像ストリームに対し、コピーピクチャデータとスタッフィングデータとを挿入する出力手段と、を備える画像情報伝送装置。
【解決手段】特殊再生モードを指示する指示手段と、指示手段による指示に応じて、再生手段により再生された符号化画像ストリームにおける各フレームの表示タイミングを規定するタイミング制御データを変更する手段と、直前の画像データと同一の画像データの表示を指示するデータであるコピーピクチャデータを生成する手段と、符号化画像ストリームを復号する復号器の仮想入力バッファの蓄積量を制御ためのスタッフィングデータを生成する手段と、指示手段による指示に応じて、変更手段より出力された符号化画像ストリームに対し、コピーピクチャデータとスタッフィングデータとを挿入する出力手段と、を備える画像情報伝送装置。
【発明の詳細な説明】
【技術分野】
【０００１】
本発明は、記録媒体に記録されたＭＰＥＧ（Moving Picture Experts Group）ビデオ信号を読出したあとで、再び記録する場合に適用される画像情報伝送装置、画像情報伝送システム、画像情報伝送方法、プログラム及び記憶媒体に関する。
【背景技術】
【０００２】
近年、ＩＥＥＥ１３９４等のデジタルインターフェースを介して記録媒体に記録されたＭＰＥＧストリームを読出して出力し、外部の他の記録装置に記録、あるいは再生装置によって復号して表示することが行われている。
【０００３】
ＭＰＥＧストリームに対し、スロー、スチル、コマ送り等の特殊再生をして伝送する場合、ＩＳＯ／ＩＥＣ１３８１８−１ システムストリームのヘッダ情報を送ることで実現可能とされている。具体的には、ＰＥＳ（Packetized Elementary Stream) パケットのヘッダ情報内の DSM_trick_mode フィールド（DSM:Digital Storage Media）に特殊再生に関する情報を記述する。
【０００４】
しかし、ＰＥＳパケットのヘッダ情報の DSM_trick_mode に対応していないデコーダが多数存在する。このため、既存のデコーダでも対応可能なＭＰＥＧストリームの特殊再生をデジタルインターフェースに出力する方法が提案されている。例えば、コピーピクチャを生成して出力するとともに、復号器の仮想入力バッファの蓄積量を示すデータを無効化する方法（特許文献１、特許文献２）が提案されている。さらに、符号化データを一旦復号後、再符号化して送出を行う方法（特許文献３）も提案されている。
【特許文献１】特開２００２−７７８１５号公報
【特許文献２】特開２００３−１０１９６１号公報
【特許文献３】特開２００１−２８７４８号公報
【発明の開示】
【発明が解決しようとする課題】
【０００５】
しかしながら特許文献１及び特許文献２に開示された装置では、復号器の仮想入力バッファの蓄積量を示すデータを無効化するため、出力先の復号器を破綻させる恐れがある。また、伝送する符号化データが画像データと音声データとの多重化されたデータであった場合、コピーピクチャの挿入により受信装置側で音声データの途切れが発生する。
【０００６】
また、特許文献３に開示された再生伝送装置では、再生伝送装置にさらに別の符号器が必要となり、コスト及び消費電力が増大する。
【０００７】
さらにまた、特許文献３に開示された再生伝送装置では、Ｂピクチャ及びＰピクチャの置き換えが発生するため、再生伝送装置と受信装置でフレームの切替え頻度が著しく異なり、受信装置で良好な特殊再生画像を得ることができない。また、伝送する符号化データが画像データと音声データとが多重化されたものでる場合、特許文献１及び特許文献２に開示された装置と同様に、受信装置で音声データの不当な途切れが発生する。
【０００８】
さらにまた、特許文献３に開示された再生伝送装置では、ダミーパケット情報またはＤＩＴ情報を受け取った場合の復号動作、及び記録媒体への記録動作に明確な規定がなく、受信装置毎に動作が異なるため、特殊再生画像を受信装置が得られる保証がない。また、伝送する符号化データが画像データと音声データとが多重化されたものである場合、特許文献１の装置と同様に、受信装置で音声データの途切れが発生する。
【０００９】
したがって本発明の目的は、既存の復号器によって復号可能な形態で、特殊再生用のデータを出力することにある。
【課題を解決するための手段】
【００１０】
上記の目的を達成するため、本発明における実施形態の画像情報伝送装置は、フレーム毎に、フレーム内符号化またはフレーム間予測符号化により符号化された符号化画像ストリームを記録媒体から再生する再生手段と、
前記符号化画像ストリームを通常再生速度よりも遅い速度にて再生する特殊再生モードを指示する指示手段と、
前記指示手段による指示に応じて、前記再生手段により再生された符号化画像ストリームにおける各フレームの表示タイミングを規定するタイミング制御データを変更する変更手段と、
直前の画像データと同一の画像データの表示を指示するデータであるコピーピクチャデータを生成するコピーピクチャ生成手段と、
前記符号化画像ストリームを復号する復号器の仮想入力バッファの蓄積量を制御ためのスタッフィングデータを生成するスタッフィング生成手段と、
前記指示手段による指示に応じて、前記変更手段より出力された符号化画像ストリームに対し、前記コピーピクチャデータと前記スタッフィングデータとを挿入して出力する出力制御手段と、を備える、ことを特徴とする。
【００１１】
上記の目的を達成するため、本発明における他の実施形態の画像情報伝送方法は、
フレーム毎に、フレーム内符号化またはフレーム間予測符号化により符号化された符号化画像ストリームを記録媒体から再生する再生工程と、
前記符号化画像ストリームを通常再生速度よりも遅い速度にて再生する特殊再生モードを指示する指示工程と、
前記指示工程による指示に応じて、前記再生工程で再生された符号化画像ストリームにおける各フレームの表示タイミングを規定するタイミング制御データを変更する変更工程と、
直前の画像データと同一の画像データの表示を指示するデータであるコピーピクチャデータを生成するコピーピクチャ生成工程と、
前記符号化画像ストリームを復号する復号器の仮想入力バッファの蓄積量を制御ためのスタッフィングデータを生成するスタッフィング生成工程と、
前記指示工程における指示に応じて、前記変更工程で出力された符号化画像ストリームに対し、前記コピーピクチャデータと前記スタッフィングデータとを挿入して出力する出力制御工程と、を備える、ことを特徴とする。
【００１２】
上記の目的を達成するため、本発明におけるさらに他の実施形態の画像情報伝送方法は、フレーム内符号化ピクチャと、順方向予測符号化ピクチャ及び両方向予測符号化ピクチャの少なくともいずれか１つを含む符号化ビットストリームを蓄積する蓄積工程と、
指定された特殊再生動作に対応する出力モードで前記符号化ビットストリームを出力するように制御する出力制御工程と、
前記符号化ビットストリームの符号化ビデオビットストリームのピクチャの表示タイミングを規定する制御データを書き換える第１書き換え工程と、
直前の画像データと同一の画像データの表示を指示するデータであるコピーピクチャを生成するコピーピクチャ生成工程と、
前記符号化ビットストリームの符号化オーディオビットストリームの出音を規定する制御データを、前記コピーピクチャの出力枚数に基づいて書き換える第２書き換え工程と、を備え、
それぞれの前記制御データが書き換えられた符号化ビットストリームおよびコピーピクチャを前記出力制御工程の制御に従って出力する、ことを特徴とする。
【００１３】
上記の目的を達成するため、本発明におけるさらに他の実施形態の画像情報伝送方法は、フレーム内符号化ピクチャであるＩピクチャ、順方向予測符号化ピクチャであるＰピクチャ、及び両方向予測符号化ピクチャであるＢピクチャのすくなくともいずれか１つを含む符号化ビットストリームを蓄積する蓄積工程と、
指定された特殊再生動作に対応する出力モードで前記符号化ビットストリームを出力するように制御する出力制御工程と、
前記符号化ビットストリームに関して、ピクチャの表示タイミングを規定する制御データを書き換える書き換え工程と、
直前の画像データと同一の画像データを表示することを指示するデータであるコピーピクチャを生成するコピーピクチャ生成工程と、を備え、
前記制御データが書き換えられた前記符号化ビットストリームのピクチャと、前記コピーピクチャを前記出力制御工程の制御に従って出力するとともに、
前記符号化ビットストリームが、音声データと画像データを多重化したものであった場合、前記音声データ及び前記音声データに関する制御用の情報を破棄し、画像データのみの符号化ビットストリームとして出力する、ことを特徴とする。
【００１４】
上記の目的を達成するため、本発明におけるさらに他の実施形態のプログラムは、前記実施形態に記載された画像情報伝送方法の手順をコンピュータに実行させる。
【００１５】
上記の目的を達成するため、本発明におけるさらに他の実施形態の記憶媒体は、前記実施形態に記載された画像情報伝送方法の手順をコンピュータに実行させるためのプログラムを記憶する。
【発明の効果】
【００１６】
本発明の装置によれば、既存の復号器によって復号可能な形態で、特殊再生用のデータを出力することが可能となる。具体的には、スチル再生、スロー再生、コマ送り再生等の特殊再生用のビットストリームを出力することができる。
【発明を実施するための最良の形態】
【００１７】
＜実施形態１＞
以下、この発明の実施形態１について説明する。本発明の第１の実施形態においては、ＭＰＥＧ規格に従って符号化された画像データを記録媒体から再生する。そして再生されたＭＰＥＧストリームをＩＥＥＥ１３９４等のディジタルインターフェースで伝送可能な形態に変換して出力する。なお、ＩＥＥＥ１３９４上のＭＰＥＧストリームの形式は、トランスポートストリーム（以下ＴＳとする）とする。また、本実施形態で実装する特殊再生動作モードは、スチル再生、スロー再生の２つである。また、ＭＰＥＧストリームは、Repeat_Frist_Field (以下、ＲＦとする) /Top_Field_First (以下、ＴＦとする)が全フレーム共通な６０ｉ形式であるものとする。尚、６０ｉ形式は、フレームレート：30/1.001Hz、およびインターレスの形式を意味する。
【００１８】
図１は、第１の実施形態における画像情報伝送装置の構成を全体的に示す。伝送装置１２０と表示装置１２１はＩＥＥＥ１３９４インターフェースを介して接続されている。そして、伝送装置１２０からＴＳ形式で送信されたＭＰＥＧデータを、表示装置１２１で受信し、再生し、表示できるよう構成される。
【００１９】
伝送装置１２０は、再生対象となるＭＰＥＧデータを保存している記憶媒体１００と、記憶媒体から取得したＭＰＥＧデータを一時保存するメモリ１０１を有する。さらに、取得したＭＰＥＧデータが多重化されていた場合、エレメンタリ−ストリーム（以下ＥＳとする）に変換するデマルチプレクサ１０２を有する。さらに、ビデオＥＳを復号するビデオデコーダ１０３と、復号されたビデオ信号を表示するモニタ１０４とを有する。
【００２０】
また、オーディオＥＳを復号するオーディオデコーダ１０５と、復号されたオーディオ信号を出力するスピーカ１０６を有する。さらに、ビデオＥＳのヘッダ解析を及び書換えを行うビデオ解析・書換部１０７と、オーディオＥＳのヘッダ解析を及び書換えを行うオーディオ解析・書換部１０８を有する。また、直前の画像データと同一の画像データを表示することを指示するデータであるコピーピクチャを発生するコピーピクチャ発生部１０９と、Nullデータであるスタッフィングを発生するスタッフィング発生部１１０とを有する。さらに、無音オーディオデータを発生するミュート発生部１１１と、ビデオＥＳ及びオーディオＥＳを多重化してＴＳパケットを生成するＴＳマルチプレクサ１１２を有する。また、ＩＥＥＥ１３９４インターフェース制御部である１１３と、図示しないプログラム用のメモリ、プロセッサ、ユーザインターフェース等も有している。
【００２１】
一方表示装置１２１は、ＩＥＥＥ１３９４インターフェース制御部である１１４と、ＴＳパケットからビデオおよびオーデイオＥＳを生成するＴＳデマルチプレクサ１１５と、ビデオＥＳを復号するビデオデコーダ１１６を有する。さらに、復号されたビデオ信号を表示するモニタ１１７と、オーディオＥＳを復号するオーディオデコーダ１１８と、復号されたオーディオ信号を出力するスピーカ１１９を有する。また、図示しないプログラム用のメモリ、プロセッサ、ユーザインターフェース等も含まれる。
【００２２】
伝送装置１２０に再生動作を要求すると、記憶媒体１００から出力されるＭＰＥＧ形式で符号化されたビデオ信号及びオーディオ信号を、一旦メモリ１０１に蓄積する。メモリ１０１に蓄積されるＭＰＥＧビデオ信号はＴＳ形式やＰＳ形式、あるいは多重化されていないＥＳ形式のいずれでも良い。
【００２３】
メモリ１０１に蓄積された符号化データを取り出す際、符号化データが多重化されていた場合は、デマルチプレクサ１０２によりビデオＥＳ及びオーディオＥＳへ分離して変換される。そして、ビデオデコーダ１０３及びオーディオデコーダ１０５により復号され、モニタ１０４及びスピーカ１０６へ出力される。
【００２４】
ＩＥＥＥ１３９４上のストリーム形式はＴＳ形式なので、メモリ１０１に記録されていたＭＰＥＧストリームをＩＥＥＥ１３９４で出力する場合には、デマルチプレクサ１０２でＥＳ形式にしたビデオＥＳ及びオーディオＥＳの情報の書き換えを行う。
【００２５】
すなわち、必要に応じて、ビデオヘッダ解析・書換部１０７及びオーディオヘッダ解析・書換部１０８を用いて Decoding Time Stamp（以下、ＤＴＳとする）や、Presentation Time Stamp（以下、ＰＴＳとする）、ＴＦ、ＲＦ等の情報の書換えを行う。
【００２６】
特殊再生動作中であれば、ビデオＥＳに対し、コピーピクチャ発生部１０９及びスタッフィング発生部１１０で発生させたコピーピクチャ及びスタッフィングを、ビデオＥＳの各ピクチャ間に挿入する。次にＴＳマルチプレクサ１１２でＴＳ形式に多重化し、ＴＳマルチプレクサ１１２の結果を外部インターフェース１１３を介して出力する。
【００２７】
表示装置１２１は、伝送装置１２０からインターフェース制御部１１４を介してＴＳパケットを受け取ると、ＴＳデマルチプレクサ１１５によりビデオＥＳ及びオーディオＥＳへ分離し変換する。そして、得られたビデオＥＳ及びオーディオは、ＥＳビデオデコーダ１１６及びオーディオデコーダ１１８により復号され、モニタ１１７及びスピーカ１１９へ出力される。以上が通常の動作となる。
【００２８】
次に特殊再生ＭＰＥＧストリームに用いるコピーピクチャについて説明する。コピーピクチャの例として、以下の２つを挙げる。
【００２９】
第一の例は、図２に示す構造をもったＰピクチャである。図２の一つのブロックがマクロブロック（以下ＭＢとする）を示している。スライスの両端のマクロブロックは、ＭＰＥＧの規定により省略できない。そのため、macroblock_type を MC、NotCoded（ＭＢアドレス情報と、（０、０）の動きベクトルを伝送し、ＤＣＴ係数を伝送しないＭＢ）としたマクロブロックにし、他は全てスキップドマクロブロック（以下ＳＭＢとする）とする。コピーピクチャであるこのＰピクチャを受け取ったデコーダは、直前のピクチャと同じピクチャであるビデオ信号を出力する。コピーピクチャであるこのＰピクチャは、大部分が固定的なデータである。そのため、予めＲＯＭ等に保存しておいたデータを読み出し、利用しても良いし、ビットストリーム中にあるシーケンスヘッダを解析して画枠を調べ、その画枠にあったＰピクチャを生成して利用してもよい。
【００３０】
第二の例は、直前のピクチャがＢピクチャであった場合、直前のＢピクチャを複製したものとする。直前のＢピクチャを複数回送ることによって、外部の表示装置１２１において同じビデオ信号を何度も表示することができる。
【００３１】
実際のコピーピクチャの生成においては、ＩピクチャおよびＰピクチャに対しては第一の例を用いる必要があるが、Ｂピクチャについては第一及び第二の例のいずれを用いても構わない。本実施形態では、Ｂピクチャに対し、第二の例のコピーピクチャを用いる場合で説明する。
【００３２】
次に特殊再生動作の一つであるスチル再生について図３を用いて説明する。通常再生の場合、ステップＳ３０１において、記憶媒体１００から読み出したＭＰＥＧデータのピクチャをバッファ上に一枚読み出す。ステップＳ３０２において、スチル再生が選択されていない場合、ステップＳ３０３へ進む。ステップＳ３０３において、バッファ上のピクチャのシステム情報であるＤＴＳやＰＴＳを、最後に送出したピクチャとの整合性がとれるように変更し、ステップＳ３０４で表示装置１２１に送出する。送出後はステップＳ３０１へと戻り、これを繰り返すことで、表示装置１２１で通常再生を得ることができる。
【００３３】
ユーザからの指示でスチル再生を要求された場合、ステップＳ３０２の判定からステップＳ３０５へと進む。ステップＳ３０５において、最後に送出したピクチャがＩ、ＢまたはＰのいずれのピクチャであったかを判定する。そして、Ｂピクチャであった場合はステップＳ３０６へ進む。しかし、Ｂピクチャ以外であった場合はステップＳ３０７へ進み、図２で説明したＢピクチャ、またはＰピクチャ形式のコピーピクチャを用意する。ステップＳ３０６及びステップＳ３０７で用意したコピーピクチャに対し、ステップＳ３０８において、最後に送出したピクチャと整合性のとれるようＤＴＳやＰＴＳ等のヘッダ情報の変更を行い、ステップＳ３０９で表示装置１２１に送出する。次に、ステップＳ３１０において、送出したコピーピクチャに対するスタッフィングのサイズを計算する。スタッフィングのサイズは、スタッフィングが挿入されるまでにコピーピクチャ挿入により発生した、仮想入力バッファ（ＶＢＶバッファ）の蓄積量のずれを調整するサイズとなる。これは、次式で求められる。
（スタッフィングデータサイズ）＝
（ビデオＥＳのビットレート）×（フレームレート）×
（挿入したコピーピクチャの枚数）−
（挿入したコピーピクチャのデータサイズの総和）
図４はスタッフィングのサイズを示す図である。図４の（Ａ）は通常の再生時、（Ｂ）は、コピーピクチャとスタッフィングが１：１の場合、（Ｃ）はコピーピクチャとスタッフィングが２：１の場合、（Ｄ）はコピーピクチャとスタッフィングが４：１の場合をそれぞれ示す。
【００３４】
したがって、ステップＳ３１１において、ステップＳ３１０で計算したサイズに基づいたスタッフィングを生成し、ステップＳ３１２において表示装置１２１に送出する。さらに、ステップＳ３１３において、スチル再生の要求が解除されたかを判定する。そして、解除されていればステップＳ３０１へ戻り、通常再生動作へ移る。しかしながら、解除されていなければ、ステップＳ３０５へと戻り、スチル再生動作を続けることになる。
【００３５】
図３に示すフローチャートでは、１フレームのコピーピクチャを挿入する度にスタッフィングデータを挿入していた。しかし、ｎフレームのコピーピクチャを挿入する度にスタッフィングデータを挿入する構成でも構わない。この場合、一般に、ｎの値が増えるほど、１回に挿入するスタッフィングデータのサイズが増えることになる。また、あまりｎの値が大きくなると、コピーピクチャの蓄積による仮想バッファのデータ量と目標値との差が大きくなるため、ｎの値はスチル再生開始時における加増バッファの蓄積データ量によって適宜決めることが好ましい。
【００３６】
スチル再生から通常再生への移行する場合、再生画像が乱れないよう、復号器の仮想入力バッファの蓄積量をスタッフィングで調整する必要がある。そのため、ｎフレームを単位としてスチル再生から通常再生に移行するとする。したがって、ｎフレームより短い期間にユーザからスチル再生解除を要求されても、内部的に解除時間を遅延して、スタッフィングの入るｎフレームまでは解除しない。ｎ対１で行う場合は、ステップＳ３０５乃至ステップＳ３０９をｎ回ループした後、ステップＳ３１０へ進む。以上を繰り返すことで、表示装置１２１はスチル再生画像を得ることができる。
【００３７】
次にスロー再生の一例として、１／３倍速スロー再生（通常ピクチャ１枚送出につき、コピーピクチャを２枚送出）について図５のフローチャートを用いて説明する。通常再生の場合、ステップＳ５０１において記憶媒体１００から読み出したＭＰＥＧデータのピクチャをバッファ上に一枚読み出す。ステップＳ５０２において、バッファ上のピクチャのヘッダ情報であるＤＴＳやＰＴＳを、最後に送出したピクチャとの整合性がとれるように変更を行い、ステップＳ５０３で表示装置１２１に送出する。ステップＳ５０４においてスロー再生が選択されていない場合、送出後はステップＳ５０１へと戻り、これを繰り返すことで、表示装置１２１で通常再生を得ることができる。
【００３８】
ユーザからの指示でスロー再生を要求された場合、ステップＳ５０４の判定からステップＳ５０５へと進む。先ずステップＳ５０５において、コピーピクチャを何枚送出したかを示すカウンタｍを初期化する。ステップＳ５０６において、ＭＰＥＧの実ビデオデータ１ピクチャの送出につき、コピーピクチャを２枚送出済であるかを判定する。そして、送出済であればステップＳ５０１へと戻り、送出していなければステップＳ５０７へ進む。
【００３９】
ステップＳ５０７は、図３で説明したスチル再生のフローチャートにおけるステップＳ３０５乃至Ｓ３１２までと同じであるので、説明は省略する。コピーピクチャとスタッフィングの挿入比率ｎはｍ（＝３）未満の自然数であるので、ｍが３の場合、１または２である。ステップＳ５０８において、コピーピクチャの挿入枚数カウンタであるｍに、コピーピクチャとスタッフィングの挿入比率ｎを加えて、コピーピクチャの挿入枚数カウンタを更新し、ステップＳ５０６へ戻る。以上を繰り返すことで、表示装置１２１でスロー再生を得ることができる。
【００４０】
また、スロー再生時においても、スタッフィングデータのサイズの算出方法は前述のスチル再生時と同様である。なお、スロー再生時においては、コピーピクチャの挿入フレーム数ｍはスロー再生時における再生速度によって決まる。従って、スタッフィングデータを挿入するフレーム数ｎはｍ以下となる。
【００４１】
次に、コマ送り再生についてであるが、コマ送り再生は、内部的には通常再生で１フレーム送る毎に、スチル再生を繰り返すことで実現する。詳細はスチル再生と同じなので省略する。
【００４２】
オーディオのミュート化は実施しても、しなくても良い。オーディオのミュート化を実施する場合のミュート方法については後述（実施形態４以降）で説明する。
【００４３】
＜実施形態２＞
実施形態１では、ＭＰＥＧデータが６０ｉなどＲＦ／ＴＦが同じフレームが連続するものについて説明したが、実施形態２ではＲＦ／ＴＦがフレーム毎に異なる、２−３プルダウンされたものについて説明する。
【００４４】
図６に２−３プルダウンされたビデオストリームの一例を示す。２−３プルダウンされたビデオストリームは、ＲＦ／ＴＦが表示順で｛RF,TF} = {1,1}、{0,0}、{0,1}、{1,0}の４種類のフレームを繰り返す構成である。以下、説明のため、上記４種類のフレームを順に Frame 1、Frame 2、Frame 3、Frame 4 と記述する。
【００４５】
特殊再生動作時、この4種類のフレームのシーケンスを守る為、コピーピクチャの挿入は４枚単位で行い、特殊再生動作から通常再生動作への移行も、この4枚単位出力が終わるまで内部的に遅延する。
【００４６】
具体的なコピーピクチャの生成および挿入は、表示順で最後に出力したピクチャが
Frame 0 であった場合、Frame 1 → Frame 2 → Frame 3 → Frame 0
Frame 1 であった場合、Frame 2 → Frame 3 → Frame 0 → Frame 1
Frame 2 であった場合、Frame 3 → Frame 0 → Frame 1 → Frame 2
Frame 3 であった場合、Frame 0 → Frame 1 → Frame 2 → Frame 3
の順でコピーピクチャを４枚単位で挿入する。
【００４７】
特殊再生から通常再生への移行が（４×ｘ）毎単位の移行であるため、コピーピクチャとスタッフィングの挿入関係ｎは、４×ｘの約数であれば、いずれでもあっても構わない。(ｘ＝１[コピーピクチャ挿入単位＝４毎]の場合、スタッフィングの挿入はコピーピクチャ１、２、４毎である。）
図７は、ｘ＝１である場合の、コピーピクチャの挿入の一例を示したものである。
【００４８】
特殊再生動作時の具体的な動作は、実施形態１と同じであるため省略するが、スロー再生に対応する場合の再生速度は１／（４×ｘ＋１）倍速である。
【００４９】
＜実施形態３＞
実施形態２では、２−３プルダウンされたものについて説明したが、実施形態３では２−３−３−２プルダウンされたものについて説明する。
【００５０】
図８に２−３−３−２プルダウンされたビデオストリームの一例を示す。２−３−３−２プルダウンされたビデオストリームは、ＲＦ／ＴＦが表示順で {RF,TF} = {0,1}、{1,1}、{1,0}、{0,1}の４種類のフレームを繰り返す構成である。以下、説明のため、上記４種類のフレームを順に Frame 0、Frame 1、Frame 2、Frame 3 と記述する。
【００５１】
特殊再生動作時、この４種類のフレームのシーケンスを守る為、コピーピクチャの挿入は４枚単位で行い、特殊再生動作から通常再生動作への移行も、この４枚単位出力が終わるまで内部的に遅延する。
【００５２】
具体的なコピーピクチャの生成・挿入は、表示順で最後に出力したピクチャが
Frame 0 であった場合、Frame 1 → Frame 2 → Frame 3 → Frame 0
Frame 1 であった場合、Frame 2 → Frame 3 → Frame 0 → Frame 1
Frame 2 であった場合、Frame 3 → Frame 0 → Frame 1 → Frame 2
Frame 3 であった場合、Frame 0 → Frame 1 → Frame 2 → Frame 3
の順でコピーピクチャを４枚単位で挿入する。
【００５３】
特殊再生から通常再生への移行が（４×ｘ）毎単位の移行であるため、コピーピクチャとスタッフィングの挿入関係ｎは、４×ｘの約数であれば、いずれでもあっても構わない。(ｘ＝１[コピーピクチャ挿入単位＝４毎]の場合、スタッフィングの挿入はコピーピクチャ１、２、４毎である。）
図９は、ｘ＝１である場合の、コピーピクチャの挿入の一例を示したものである。特殊再生動作時の具体的な動作は、実施形態１および実施形態２と同じであるため省略するが、スロー再生に対応する場合の再生速度は１／（４×ｘ＋１）倍速である。
【００５４】
＜実施形態４＞
実施形態１、２および３では、ビデオストリームについて説明してきたが、実施形態４ではオーディオのミュート化について説明する。なお、ビデオストリームに対する処理は、実施形態１、２および３と同じであるため、省略する。
【００５５】
オーディオミュート化動作について図１０の処理フローチャート及び、図１１の出力ストリームイメージを用いて説明する。通常再生の場合、（図１１のＡ）ステップＳ１００１において、ＰＴＳ等のヘッダ情報の変更を行う。ＰＴＳの変更については、ビデオストリームのＰＴＳの変更により得られる、実ストリームのＰＴＳと出力ストリームのＰＴＳの差分値を、オーディオストリームのＰＴＳへ加算することで実行される。（図１１の（Ｂ））次にステップＳ１００２において特殊再生中のオーディオデータであるか否かの判定を行う。具体的な判定方法は、特殊再生中のビデオストリームのＰＴＳを取得し、
（１）特殊再生開始ビデオストリームのＰＴＳ以降のＰＴＳを持つオーディオデータ
（２）特殊再生終了ビデオストリームのＰＴＳ以前のＰＴＳを持つオーディオデータ
の２つを満たすものを特殊再生中のオーディオデータと判断する（図１１のＢ）。通常再生の場合は、該当するオーディオデータがないため、ステップＳ１００４へ進む。次にステップＳ１００４でオーディオの出力を行う。これを繰り返し行うことで、通常再生時のオーディオの出力を行う。
【００５６】
次に、スチル再生、コマ送り再生、スロー再生等の特殊再生時動作について説明する。ステップＳ１００２で特殊再生中のオーディオデータと判断された場合、ステップＳ１００３でミュートデータと置換する（図１１のＣ）。ミュートデータは、無音をサンプリング周波数でサンプリングし、所定の形式で符号化したものである。サンプリング周波数が不定であれば、その都度生成しても良いが、サンプリング周波数が特定可能であれば、ミュートデータは固定的なデータとなるため、予めＲＯＭ等に用意したものを利用しても良い。ミュートデータ置換後の動作はステップＳ１００４から通常再生時と同じなので省略する。以上を繰り返し行うことで、ミュート化を実現する。
【００５７】
＜実施形態５＞
実施形態４では、ビデオストリームについて説明してきたが、実施形態５ではオーディオのミュートデータの簡易的な挿入について説明する。ビデオストリームに対する処理は、実施形態１乃至３と同じであるため、省略する。また、オーディオのミュート化については実施形態４と同じであるため、省略する。
【００５８】
オーディオミュートデータ挿入動作について図１２の処理フローチャート及び、図１３の出力ストリームイメージを用いて説明する。まずステップＳ１２０１で、オーディオのＰＴＳを、実施形態４で説明した、コピーピクチャ挿入に基づく差分値の変更を行う。次にステップＳ１２０２においてオーディオの不足を確認する。オーディオの不足を確認する具体的な方法は次の通りである。オーディオＥＳから当該オーディオ符号化単位であるオーディオアクセスユニット（以下、ＡＡＵと記述）のＰＴＳ間隔を得る。ＡＡＵから前述のＰＴＳ間隔を隔てた範囲以内のＰＴＳを持つＡＡＵがなければ、不足と判断し、ステップＳ１２０３へ進む。そうでない場合はステップＳ１２０５へ進む。ステップＳ１２０３において、ミュートデータを挿入する（図１３のＢ）。実施形態４と同様に、ミュートデータは、無音をサンプリング周波数でサンプリングし、所定の形式で符号化したものである。サンプリング周波数が不定であれば、その都度生成しても良いが、サンプリング周波数が特定可能であれば、予めＲＯＭ等に用意しておいても良い。ミュートデータを挿入するとステップＳ１２０４へ進む。そして、前述のオーディオＡＡＵのＰＴＳから、ＡＡＵ分ＰＴＳを加算した値でＰＴＳを変更し（図１３のＣ）、ステップＳ１２０５へ進む。ステップＳ１２０５においてオーディオの出力を行う。以上を繰り返し行うことで、1ＡＡＵ未満の不連続を含むミュートオーディオの生成を行う。
【００５９】
＜実施形態６＞
実施形態５では、簡易的なミュートデータの挿入について説明したが、実施形態６ではミュートデータ挿入とシステム情報更新による連続的なミュートオーディオ生成について説明する。ビデオストリームに対する処理は及びオーディオのミュート化については実施形態５と同じであるため、省略する。
【００６０】
オーディオミュート挿入動作について図１４の処理フローチャート及び、図１５の出力ストリームイメージを用いて説明する。まずステップＳ１４０１でオーディオのＰＴＳを、実施形態４および５と同様に、コピーピクチャ挿入に基づく差分値の変更を行う（図１５のＡ）。次にステップＳ１４０２においてオーディオの連続性を確認する。オーディオの連続性を確認する具体的な方法は次の通りである。オーディオＥＳから当該オーディオ符号化単位であるＡＡＵのＰＴＳ間隔を得る。ＡＡＵから前述のＰＴＳ間隔を隔てた位置のＰＴＳを持つＡＡＵがなければ、連続性なしと判断し、ステップＳ１４０３へ進む。連続性がありと判断される場合は、Ｓ１４０８へ進み、オーディオデータの出力を行う。
【００６１】
ステップＳ１４０２で連続性なしと判断し、ステップＳ１４０３において、ミュートデータを挿入する。ミュートデータの挿入については実施形態５と同じなので省略する。次にステップＳ１４０４において、挿入したＰＴＳから1ＡＡＵ以内のＰＴＳを持つＡＡＵがあるかないかを判定し、ない場合はステップＳ１４０３に戻り、再度ミュートを挿入する。しかしある場合は、そこでミュートの挿入をやめ、ステップＳ１４０５へ進む（図１５のＢ）。次にステップＳ１４０５において、ミュートデータ挿入によるＰＴＳの変更を行うが、ステップＳ１４０６において、変更の範囲が1ＡＡＵの範囲を超えた場合、ミュートデータ挿入オーバーによるオーディオとビデオの同期ズレが発生する。したがって、ステップＳ１４０７において直前のミュートデータを削除し、再度Ｓ１４０６においてＰＴＳの変更を行う（図１５のＣ）。以上を繰り返し行うことで、連続的なミュートオーディオの生成を行う（図１５のＤ）。
【００６２】
＜実施形態７＞
実施形態４乃至６では、オーディオのミュート化に関する説明を行ってきたが、実施形態７では、特殊再生動作におけるオーディオの破棄について説明する。ビデオストリームに対する処理は、実施形態１乃至３と同じであるため、省略する。
【００６３】
オーディオ破棄について次にオーディオミュート挿入動作について図１６の処理フローチャート及び、図１７の出力ストリームイメージを用いて説明する。ステップＳ１６０１において特殊再生が選択されていない場合、ステップＳ１６０３へ進む。ステップＳ１６０３において、ＰＴＳ等のヘッダ情報の変更を行う。ＰＴＳの変更については、ビデオストリームのＰＴＳの変更で得られる、実ストリームのＰＴＳと出力ストリームのＰＴＳの差分値を、オーディオストリームのＰＴＳへ加算することで実施する。次にステップＳ１６０４でオーディオの出力を行う。これを繰り返し行うことで、通常再生時のオーディオの出力を行う。
【００６４】
次に、スチル再生、コマ送り再生、スロー再生などの特殊再生時動作について説明する。ステップＳ１６０１で特殊再生と判断された場合、ステップＳ１６０２へ進む。ステップＳ１６０２において、特殊再生動作中のオーディオを破棄する（図１７のＢ）。特殊動作中のオーディオデータを判断する具体的な方法は次の通りである。バッファ中に入っているビデオストリームに対し、特殊再生動作時に出力するフレームを確認する。次に、前記フレームのＰＴＳに相当する区間のＰＴＳを持つＡＡＵを選択し、これを破棄の対象とする（図１７のＣ）。以上を繰り返し行うことで、オーディオ破棄を実現する。
【００６５】
また、本発明の目的は、前述した実施形態の機能を実現するソフトウェアのプログラムコードを記録した記憶媒体を、システムあるいは装置に供給しても達成可能である。すなわち、そのシステムあるいは装置のコンピュータ（またはＣＰＵやＭＰＵ）が記憶媒体に格納されたプログラムコードを読出し実行することによっても、達成されることは言うまでもない。この場合、記憶媒体から読出されたプログラムコード自体が前述した実施形態の機能を実現することになり、そのプログラムコードを記憶した記憶媒体は本発明を構成することになる。
【００６６】
プログラムコードを供給するための記憶媒体としては、例えば、フレキシブルディスク、ハードディスク、光ディスク、光磁気ディスク、ＣＤ−ＲＯＭ、ＣＤ−Ｒ、磁気テープ、不揮発性の半導体メモリカード、ＲＯＭなどを用いることができる。また、コンピュータが読出したプログラムコードを実行することにより、前述した実施形態の機能が実現される場合もある。
【００６７】
しかし、さらにそのプログラムコードの指示に基づき、コンピュータ上で稼働しているＯＳ（オペレーティングシステム）などが実際の処理の一部または全部を行い、その処理によって前述した実施形態の機能が実現される場合も含まれることは言うまでもない。
【００６８】
さらに、記憶媒体から読出されたプログラムコードが、コンピュータに挿入された機能拡張ボードやコンピュータに接続された機能拡張ユニットに備わるメモリに書込まれる場合もあり得る。その後、そのプログラムコードの指示に基づき、その機能拡張ボードや機能拡張ユニットに備わるＣＰＵなどが実際の処理の一部または全部を行い、その処理によって前述した実施形態の機能が実現される場合も含まれることは言うまでもない。
【図面の簡単な説明】
【００６９】
【図１】本発明の一実施形態を示すブロック図である。
【図２】本発明の実施形態におけるコピーピクチャを説明する図である。
【図３】本発明の実施形態におけるスチル再生の動作を示すフローチャートである。
【図４】本発明の実施形態におけるスタッフィングのサイズを示す図である。
【図５】本発明の実施形態におけるスロー再生の動作を示すフローチャートである。
【図６】本発明の実施形態における２−３プルダウンのビットストリームを示す図である。
【図７】同じく、２−３プルダウンのビットストリームへのコピーピクチャ挿入を示す図である。
【図８】同じく、２−３−３−２プルダウンのビットストリームを示す図である。
【図９】同じく、２−３−３−２プルダウンのビットストリームへのコピーピクチャ挿入を示す図である。
【図１０】本発明の実施形態におけるミュートデータ置換の動作を示すフローチャートである。
【図１１】同じく、ミュートデータ置換の出力イメージを示す図である。
【図１２】同じく、ミュートデータ挿入の動作を示すフローチャートである。
【図１３】同じく、ミュートデータ置換とミュートデータ挿入の出力イメージを示す図である。
【図１４】同じく、ミュートデータ挿入の動作を示すフローチャートである。
【図１５】同じく、ミュートデータ置換とミュートデータ挿入の出力イメージを示す図である。
【図１６】本発明の実施形態におけるオーディオ破棄の動作を示すフローチャートである。
【図１７】同じく、オーディオ破棄の出力イメージを示す図である。
【技術分野】
【０００１】
本発明は、記録媒体に記録されたＭＰＥＧ（Moving Picture Experts Group）ビデオ信号を読出したあとで、再び記録する場合に適用される画像情報伝送装置、画像情報伝送システム、画像情報伝送方法、プログラム及び記憶媒体に関する。
【背景技術】
【０００２】
近年、ＩＥＥＥ１３９４等のデジタルインターフェースを介して記録媒体に記録されたＭＰＥＧストリームを読出して出力し、外部の他の記録装置に記録、あるいは再生装置によって復号して表示することが行われている。
【０００３】
ＭＰＥＧストリームに対し、スロー、スチル、コマ送り等の特殊再生をして伝送する場合、ＩＳＯ／ＩＥＣ１３８１８−１ システムストリームのヘッダ情報を送ることで実現可能とされている。具体的には、ＰＥＳ（Packetized Elementary Stream) パケットのヘッダ情報内の DSM_trick_mode フィールド（DSM:Digital Storage Media）に特殊再生に関する情報を記述する。
【０００４】
しかし、ＰＥＳパケットのヘッダ情報の DSM_trick_mode に対応していないデコーダが多数存在する。このため、既存のデコーダでも対応可能なＭＰＥＧストリームの特殊再生をデジタルインターフェースに出力する方法が提案されている。例えば、コピーピクチャを生成して出力するとともに、復号器の仮想入力バッファの蓄積量を示すデータを無効化する方法（特許文献１、特許文献２）が提案されている。さらに、符号化データを一旦復号後、再符号化して送出を行う方法（特許文献３）も提案されている。
【特許文献１】特開２００２−７７８１５号公報
【特許文献２】特開２００３−１０１９６１号公報
【特許文献３】特開２００１−２８７４８号公報
【発明の開示】
【発明が解決しようとする課題】
【０００５】
しかしながら特許文献１及び特許文献２に開示された装置では、復号器の仮想入力バッファの蓄積量を示すデータを無効化するため、出力先の復号器を破綻させる恐れがある。また、伝送する符号化データが画像データと音声データとの多重化されたデータであった場合、コピーピクチャの挿入により受信装置側で音声データの途切れが発生する。
【０００６】
また、特許文献３に開示された再生伝送装置では、再生伝送装置にさらに別の符号器が必要となり、コスト及び消費電力が増大する。
【０００７】
さらにまた、特許文献３に開示された再生伝送装置では、Ｂピクチャ及びＰピクチャの置き換えが発生するため、再生伝送装置と受信装置でフレームの切替え頻度が著しく異なり、受信装置で良好な特殊再生画像を得ることができない。また、伝送する符号化データが画像データと音声データとが多重化されたものでる場合、特許文献１及び特許文献２に開示された装置と同様に、受信装置で音声データの不当な途切れが発生する。
【０００８】
さらにまた、特許文献３に開示された再生伝送装置では、ダミーパケット情報またはＤＩＴ情報を受け取った場合の復号動作、及び記録媒体への記録動作に明確な規定がなく、受信装置毎に動作が異なるため、特殊再生画像を受信装置が得られる保証がない。また、伝送する符号化データが画像データと音声データとが多重化されたものである場合、特許文献１の装置と同様に、受信装置で音声データの途切れが発生する。
【０００９】
したがって本発明の目的は、既存の復号器によって復号可能な形態で、特殊再生用のデータを出力することにある。
【課題を解決するための手段】
【００１０】
上記の目的を達成するため、本発明における実施形態の画像情報伝送装置は、フレーム毎に、フレーム内符号化またはフレーム間予測符号化により符号化された符号化画像ストリームを記録媒体から再生する再生手段と、
前記符号化画像ストリームを通常再生速度よりも遅い速度にて再生する特殊再生モードを指示する指示手段と、
前記指示手段による指示に応じて、前記再生手段により再生された符号化画像ストリームにおける各フレームの表示タイミングを規定するタイミング制御データを変更する変更手段と、
直前の画像データと同一の画像データの表示を指示するデータであるコピーピクチャデータを生成するコピーピクチャ生成手段と、
前記符号化画像ストリームを復号する復号器の仮想入力バッファの蓄積量を制御ためのスタッフィングデータを生成するスタッフィング生成手段と、
前記指示手段による指示に応じて、前記変更手段より出力された符号化画像ストリームに対し、前記コピーピクチャデータと前記スタッフィングデータとを挿入して出力する出力制御手段と、を備える、ことを特徴とする。
【００１１】
上記の目的を達成するため、本発明における他の実施形態の画像情報伝送方法は、
フレーム毎に、フレーム内符号化またはフレーム間予測符号化により符号化された符号化画像ストリームを記録媒体から再生する再生工程と、
前記符号化画像ストリームを通常再生速度よりも遅い速度にて再生する特殊再生モードを指示する指示工程と、
前記指示工程による指示に応じて、前記再生工程で再生された符号化画像ストリームにおける各フレームの表示タイミングを規定するタイミング制御データを変更する変更工程と、
直前の画像データと同一の画像データの表示を指示するデータであるコピーピクチャデータを生成するコピーピクチャ生成工程と、
前記符号化画像ストリームを復号する復号器の仮想入力バッファの蓄積量を制御ためのスタッフィングデータを生成するスタッフィング生成工程と、
前記指示工程における指示に応じて、前記変更工程で出力された符号化画像ストリームに対し、前記コピーピクチャデータと前記スタッフィングデータとを挿入して出力する出力制御工程と、を備える、ことを特徴とする。
【００１２】
上記の目的を達成するため、本発明におけるさらに他の実施形態の画像情報伝送方法は、フレーム内符号化ピクチャと、順方向予測符号化ピクチャ及び両方向予測符号化ピクチャの少なくともいずれか１つを含む符号化ビットストリームを蓄積する蓄積工程と、
指定された特殊再生動作に対応する出力モードで前記符号化ビットストリームを出力するように制御する出力制御工程と、
前記符号化ビットストリームの符号化ビデオビットストリームのピクチャの表示タイミングを規定する制御データを書き換える第１書き換え工程と、
直前の画像データと同一の画像データの表示を指示するデータであるコピーピクチャを生成するコピーピクチャ生成工程と、
前記符号化ビットストリームの符号化オーディオビットストリームの出音を規定する制御データを、前記コピーピクチャの出力枚数に基づいて書き換える第２書き換え工程と、を備え、
それぞれの前記制御データが書き換えられた符号化ビットストリームおよびコピーピクチャを前記出力制御工程の制御に従って出力する、ことを特徴とする。
【００１３】
上記の目的を達成するため、本発明におけるさらに他の実施形態の画像情報伝送方法は、フレーム内符号化ピクチャであるＩピクチャ、順方向予測符号化ピクチャであるＰピクチャ、及び両方向予測符号化ピクチャであるＢピクチャのすくなくともいずれか１つを含む符号化ビットストリームを蓄積する蓄積工程と、
指定された特殊再生動作に対応する出力モードで前記符号化ビットストリームを出力するように制御する出力制御工程と、
前記符号化ビットストリームに関して、ピクチャの表示タイミングを規定する制御データを書き換える書き換え工程と、
直前の画像データと同一の画像データを表示することを指示するデータであるコピーピクチャを生成するコピーピクチャ生成工程と、を備え、
前記制御データが書き換えられた前記符号化ビットストリームのピクチャと、前記コピーピクチャを前記出力制御工程の制御に従って出力するとともに、
前記符号化ビットストリームが、音声データと画像データを多重化したものであった場合、前記音声データ及び前記音声データに関する制御用の情報を破棄し、画像データのみの符号化ビットストリームとして出力する、ことを特徴とする。
【００１４】
上記の目的を達成するため、本発明におけるさらに他の実施形態のプログラムは、前記実施形態に記載された画像情報伝送方法の手順をコンピュータに実行させる。
【００１５】
上記の目的を達成するため、本発明におけるさらに他の実施形態の記憶媒体は、前記実施形態に記載された画像情報伝送方法の手順をコンピュータに実行させるためのプログラムを記憶する。
【発明の効果】
【００１６】
本発明の装置によれば、既存の復号器によって復号可能な形態で、特殊再生用のデータを出力することが可能となる。具体的には、スチル再生、スロー再生、コマ送り再生等の特殊再生用のビットストリームを出力することができる。
【発明を実施するための最良の形態】
【００１７】
＜実施形態１＞
以下、この発明の実施形態１について説明する。本発明の第１の実施形態においては、ＭＰＥＧ規格に従って符号化された画像データを記録媒体から再生する。そして再生されたＭＰＥＧストリームをＩＥＥＥ１３９４等のディジタルインターフェースで伝送可能な形態に変換して出力する。なお、ＩＥＥＥ１３９４上のＭＰＥＧストリームの形式は、トランスポートストリーム（以下ＴＳとする）とする。また、本実施形態で実装する特殊再生動作モードは、スチル再生、スロー再生の２つである。また、ＭＰＥＧストリームは、Repeat_Frist_Field (以下、ＲＦとする) /Top_Field_First (以下、ＴＦとする)が全フレーム共通な６０ｉ形式であるものとする。尚、６０ｉ形式は、フレームレート：30/1.001Hz、およびインターレスの形式を意味する。
【００１８】
図１は、第１の実施形態における画像情報伝送装置の構成を全体的に示す。伝送装置１２０と表示装置１２１はＩＥＥＥ１３９４インターフェースを介して接続されている。そして、伝送装置１２０からＴＳ形式で送信されたＭＰＥＧデータを、表示装置１２１で受信し、再生し、表示できるよう構成される。
【００１９】
伝送装置１２０は、再生対象となるＭＰＥＧデータを保存している記憶媒体１００と、記憶媒体から取得したＭＰＥＧデータを一時保存するメモリ１０１を有する。さらに、取得したＭＰＥＧデータが多重化されていた場合、エレメンタリ−ストリーム（以下ＥＳとする）に変換するデマルチプレクサ１０２を有する。さらに、ビデオＥＳを復号するビデオデコーダ１０３と、復号されたビデオ信号を表示するモニタ１０４とを有する。
【００２０】
また、オーディオＥＳを復号するオーディオデコーダ１０５と、復号されたオーディオ信号を出力するスピーカ１０６を有する。さらに、ビデオＥＳのヘッダ解析を及び書換えを行うビデオ解析・書換部１０７と、オーディオＥＳのヘッダ解析を及び書換えを行うオーディオ解析・書換部１０８を有する。また、直前の画像データと同一の画像データを表示することを指示するデータであるコピーピクチャを発生するコピーピクチャ発生部１０９と、Nullデータであるスタッフィングを発生するスタッフィング発生部１１０とを有する。さらに、無音オーディオデータを発生するミュート発生部１１１と、ビデオＥＳ及びオーディオＥＳを多重化してＴＳパケットを生成するＴＳマルチプレクサ１１２を有する。また、ＩＥＥＥ１３９４インターフェース制御部である１１３と、図示しないプログラム用のメモリ、プロセッサ、ユーザインターフェース等も有している。
【００２１】
一方表示装置１２１は、ＩＥＥＥ１３９４インターフェース制御部である１１４と、ＴＳパケットからビデオおよびオーデイオＥＳを生成するＴＳデマルチプレクサ１１５と、ビデオＥＳを復号するビデオデコーダ１１６を有する。さらに、復号されたビデオ信号を表示するモニタ１１７と、オーディオＥＳを復号するオーディオデコーダ１１８と、復号されたオーディオ信号を出力するスピーカ１１９を有する。また、図示しないプログラム用のメモリ、プロセッサ、ユーザインターフェース等も含まれる。
【００２２】
伝送装置１２０に再生動作を要求すると、記憶媒体１００から出力されるＭＰＥＧ形式で符号化されたビデオ信号及びオーディオ信号を、一旦メモリ１０１に蓄積する。メモリ１０１に蓄積されるＭＰＥＧビデオ信号はＴＳ形式やＰＳ形式、あるいは多重化されていないＥＳ形式のいずれでも良い。
【００２３】
メモリ１０１に蓄積された符号化データを取り出す際、符号化データが多重化されていた場合は、デマルチプレクサ１０２によりビデオＥＳ及びオーディオＥＳへ分離して変換される。そして、ビデオデコーダ１０３及びオーディオデコーダ１０５により復号され、モニタ１０４及びスピーカ１０６へ出力される。
【００２４】
ＩＥＥＥ１３９４上のストリーム形式はＴＳ形式なので、メモリ１０１に記録されていたＭＰＥＧストリームをＩＥＥＥ１３９４で出力する場合には、デマルチプレクサ１０２でＥＳ形式にしたビデオＥＳ及びオーディオＥＳの情報の書き換えを行う。
【００２５】
すなわち、必要に応じて、ビデオヘッダ解析・書換部１０７及びオーディオヘッダ解析・書換部１０８を用いて Decoding Time Stamp（以下、ＤＴＳとする）や、Presentation Time Stamp（以下、ＰＴＳとする）、ＴＦ、ＲＦ等の情報の書換えを行う。
【００２６】
特殊再生動作中であれば、ビデオＥＳに対し、コピーピクチャ発生部１０９及びスタッフィング発生部１１０で発生させたコピーピクチャ及びスタッフィングを、ビデオＥＳの各ピクチャ間に挿入する。次にＴＳマルチプレクサ１１２でＴＳ形式に多重化し、ＴＳマルチプレクサ１１２の結果を外部インターフェース１１３を介して出力する。
【００２７】
表示装置１２１は、伝送装置１２０からインターフェース制御部１１４を介してＴＳパケットを受け取ると、ＴＳデマルチプレクサ１１５によりビデオＥＳ及びオーディオＥＳへ分離し変換する。そして、得られたビデオＥＳ及びオーディオは、ＥＳビデオデコーダ１１６及びオーディオデコーダ１１８により復号され、モニタ１１７及びスピーカ１１９へ出力される。以上が通常の動作となる。
【００２８】
次に特殊再生ＭＰＥＧストリームに用いるコピーピクチャについて説明する。コピーピクチャの例として、以下の２つを挙げる。
【００２９】
第一の例は、図２に示す構造をもったＰピクチャである。図２の一つのブロックがマクロブロック（以下ＭＢとする）を示している。スライスの両端のマクロブロックは、ＭＰＥＧの規定により省略できない。そのため、macroblock_type を MC、NotCoded（ＭＢアドレス情報と、（０、０）の動きベクトルを伝送し、ＤＣＴ係数を伝送しないＭＢ）としたマクロブロックにし、他は全てスキップドマクロブロック（以下ＳＭＢとする）とする。コピーピクチャであるこのＰピクチャを受け取ったデコーダは、直前のピクチャと同じピクチャであるビデオ信号を出力する。コピーピクチャであるこのＰピクチャは、大部分が固定的なデータである。そのため、予めＲＯＭ等に保存しておいたデータを読み出し、利用しても良いし、ビットストリーム中にあるシーケンスヘッダを解析して画枠を調べ、その画枠にあったＰピクチャを生成して利用してもよい。
【００３０】
第二の例は、直前のピクチャがＢピクチャであった場合、直前のＢピクチャを複製したものとする。直前のＢピクチャを複数回送ることによって、外部の表示装置１２１において同じビデオ信号を何度も表示することができる。
【００３１】
実際のコピーピクチャの生成においては、ＩピクチャおよびＰピクチャに対しては第一の例を用いる必要があるが、Ｂピクチャについては第一及び第二の例のいずれを用いても構わない。本実施形態では、Ｂピクチャに対し、第二の例のコピーピクチャを用いる場合で説明する。
【００３２】
次に特殊再生動作の一つであるスチル再生について図３を用いて説明する。通常再生の場合、ステップＳ３０１において、記憶媒体１００から読み出したＭＰＥＧデータのピクチャをバッファ上に一枚読み出す。ステップＳ３０２において、スチル再生が選択されていない場合、ステップＳ３０３へ進む。ステップＳ３０３において、バッファ上のピクチャのシステム情報であるＤＴＳやＰＴＳを、最後に送出したピクチャとの整合性がとれるように変更し、ステップＳ３０４で表示装置１２１に送出する。送出後はステップＳ３０１へと戻り、これを繰り返すことで、表示装置１２１で通常再生を得ることができる。
【００３３】
ユーザからの指示でスチル再生を要求された場合、ステップＳ３０２の判定からステップＳ３０５へと進む。ステップＳ３０５において、最後に送出したピクチャがＩ、ＢまたはＰのいずれのピクチャであったかを判定する。そして、Ｂピクチャであった場合はステップＳ３０６へ進む。しかし、Ｂピクチャ以外であった場合はステップＳ３０７へ進み、図２で説明したＢピクチャ、またはＰピクチャ形式のコピーピクチャを用意する。ステップＳ３０６及びステップＳ３０７で用意したコピーピクチャに対し、ステップＳ３０８において、最後に送出したピクチャと整合性のとれるようＤＴＳやＰＴＳ等のヘッダ情報の変更を行い、ステップＳ３０９で表示装置１２１に送出する。次に、ステップＳ３１０において、送出したコピーピクチャに対するスタッフィングのサイズを計算する。スタッフィングのサイズは、スタッフィングが挿入されるまでにコピーピクチャ挿入により発生した、仮想入力バッファ（ＶＢＶバッファ）の蓄積量のずれを調整するサイズとなる。これは、次式で求められる。
（スタッフィングデータサイズ）＝
（ビデオＥＳのビットレート）×（フレームレート）×
（挿入したコピーピクチャの枚数）−
（挿入したコピーピクチャのデータサイズの総和）
図４はスタッフィングのサイズを示す図である。図４の（Ａ）は通常の再生時、（Ｂ）は、コピーピクチャとスタッフィングが１：１の場合、（Ｃ）はコピーピクチャとスタッフィングが２：１の場合、（Ｄ）はコピーピクチャとスタッフィングが４：１の場合をそれぞれ示す。
【００３４】
したがって、ステップＳ３１１において、ステップＳ３１０で計算したサイズに基づいたスタッフィングを生成し、ステップＳ３１２において表示装置１２１に送出する。さらに、ステップＳ３１３において、スチル再生の要求が解除されたかを判定する。そして、解除されていればステップＳ３０１へ戻り、通常再生動作へ移る。しかしながら、解除されていなければ、ステップＳ３０５へと戻り、スチル再生動作を続けることになる。
【００３５】
図３に示すフローチャートでは、１フレームのコピーピクチャを挿入する度にスタッフィングデータを挿入していた。しかし、ｎフレームのコピーピクチャを挿入する度にスタッフィングデータを挿入する構成でも構わない。この場合、一般に、ｎの値が増えるほど、１回に挿入するスタッフィングデータのサイズが増えることになる。また、あまりｎの値が大きくなると、コピーピクチャの蓄積による仮想バッファのデータ量と目標値との差が大きくなるため、ｎの値はスチル再生開始時における加増バッファの蓄積データ量によって適宜決めることが好ましい。
【００３６】
スチル再生から通常再生への移行する場合、再生画像が乱れないよう、復号器の仮想入力バッファの蓄積量をスタッフィングで調整する必要がある。そのため、ｎフレームを単位としてスチル再生から通常再生に移行するとする。したがって、ｎフレームより短い期間にユーザからスチル再生解除を要求されても、内部的に解除時間を遅延して、スタッフィングの入るｎフレームまでは解除しない。ｎ対１で行う場合は、ステップＳ３０５乃至ステップＳ３０９をｎ回ループした後、ステップＳ３１０へ進む。以上を繰り返すことで、表示装置１２１はスチル再生画像を得ることができる。
【００３７】
次にスロー再生の一例として、１／３倍速スロー再生（通常ピクチャ１枚送出につき、コピーピクチャを２枚送出）について図５のフローチャートを用いて説明する。通常再生の場合、ステップＳ５０１において記憶媒体１００から読み出したＭＰＥＧデータのピクチャをバッファ上に一枚読み出す。ステップＳ５０２において、バッファ上のピクチャのヘッダ情報であるＤＴＳやＰＴＳを、最後に送出したピクチャとの整合性がとれるように変更を行い、ステップＳ５０３で表示装置１２１に送出する。ステップＳ５０４においてスロー再生が選択されていない場合、送出後はステップＳ５０１へと戻り、これを繰り返すことで、表示装置１２１で通常再生を得ることができる。
【００３８】
ユーザからの指示でスロー再生を要求された場合、ステップＳ５０４の判定からステップＳ５０５へと進む。先ずステップＳ５０５において、コピーピクチャを何枚送出したかを示すカウンタｍを初期化する。ステップＳ５０６において、ＭＰＥＧの実ビデオデータ１ピクチャの送出につき、コピーピクチャを２枚送出済であるかを判定する。そして、送出済であればステップＳ５０１へと戻り、送出していなければステップＳ５０７へ進む。
【００３９】
ステップＳ５０７は、図３で説明したスチル再生のフローチャートにおけるステップＳ３０５乃至Ｓ３１２までと同じであるので、説明は省略する。コピーピクチャとスタッフィングの挿入比率ｎはｍ（＝３）未満の自然数であるので、ｍが３の場合、１または２である。ステップＳ５０８において、コピーピクチャの挿入枚数カウンタであるｍに、コピーピクチャとスタッフィングの挿入比率ｎを加えて、コピーピクチャの挿入枚数カウンタを更新し、ステップＳ５０６へ戻る。以上を繰り返すことで、表示装置１２１でスロー再生を得ることができる。
【００４０】
また、スロー再生時においても、スタッフィングデータのサイズの算出方法は前述のスチル再生時と同様である。なお、スロー再生時においては、コピーピクチャの挿入フレーム数ｍはスロー再生時における再生速度によって決まる。従って、スタッフィングデータを挿入するフレーム数ｎはｍ以下となる。
【００４１】
次に、コマ送り再生についてであるが、コマ送り再生は、内部的には通常再生で１フレーム送る毎に、スチル再生を繰り返すことで実現する。詳細はスチル再生と同じなので省略する。
【００４２】
オーディオのミュート化は実施しても、しなくても良い。オーディオのミュート化を実施する場合のミュート方法については後述（実施形態４以降）で説明する。
【００４３】
＜実施形態２＞
実施形態１では、ＭＰＥＧデータが６０ｉなどＲＦ／ＴＦが同じフレームが連続するものについて説明したが、実施形態２ではＲＦ／ＴＦがフレーム毎に異なる、２−３プルダウンされたものについて説明する。
【００４４】
図６に２−３プルダウンされたビデオストリームの一例を示す。２−３プルダウンされたビデオストリームは、ＲＦ／ＴＦが表示順で｛RF,TF} = {1,1}、{0,0}、{0,1}、{1,0}の４種類のフレームを繰り返す構成である。以下、説明のため、上記４種類のフレームを順に Frame 1、Frame 2、Frame 3、Frame 4 と記述する。
【００４５】
特殊再生動作時、この4種類のフレームのシーケンスを守る為、コピーピクチャの挿入は４枚単位で行い、特殊再生動作から通常再生動作への移行も、この4枚単位出力が終わるまで内部的に遅延する。
【００４６】
具体的なコピーピクチャの生成および挿入は、表示順で最後に出力したピクチャが
Frame 0 であった場合、Frame 1 → Frame 2 → Frame 3 → Frame 0
Frame 1 であった場合、Frame 2 → Frame 3 → Frame 0 → Frame 1
Frame 2 であった場合、Frame 3 → Frame 0 → Frame 1 → Frame 2
Frame 3 であった場合、Frame 0 → Frame 1 → Frame 2 → Frame 3
の順でコピーピクチャを４枚単位で挿入する。
【００４７】
特殊再生から通常再生への移行が（４×ｘ）毎単位の移行であるため、コピーピクチャとスタッフィングの挿入関係ｎは、４×ｘの約数であれば、いずれでもあっても構わない。(ｘ＝１[コピーピクチャ挿入単位＝４毎]の場合、スタッフィングの挿入はコピーピクチャ１、２、４毎である。）
図７は、ｘ＝１である場合の、コピーピクチャの挿入の一例を示したものである。
【００４８】
特殊再生動作時の具体的な動作は、実施形態１と同じであるため省略するが、スロー再生に対応する場合の再生速度は１／（４×ｘ＋１）倍速である。
【００４９】
＜実施形態３＞
実施形態２では、２−３プルダウンされたものについて説明したが、実施形態３では２−３−３−２プルダウンされたものについて説明する。
【００５０】
図８に２−３−３−２プルダウンされたビデオストリームの一例を示す。２−３−３−２プルダウンされたビデオストリームは、ＲＦ／ＴＦが表示順で {RF,TF} = {0,1}、{1,1}、{1,0}、{0,1}の４種類のフレームを繰り返す構成である。以下、説明のため、上記４種類のフレームを順に Frame 0、Frame 1、Frame 2、Frame 3 と記述する。
【００５１】
特殊再生動作時、この４種類のフレームのシーケンスを守る為、コピーピクチャの挿入は４枚単位で行い、特殊再生動作から通常再生動作への移行も、この４枚単位出力が終わるまで内部的に遅延する。
【００５２】
具体的なコピーピクチャの生成・挿入は、表示順で最後に出力したピクチャが
Frame 0 であった場合、Frame 1 → Frame 2 → Frame 3 → Frame 0
Frame 1 であった場合、Frame 2 → Frame 3 → Frame 0 → Frame 1
Frame 2 であった場合、Frame 3 → Frame 0 → Frame 1 → Frame 2
Frame 3 であった場合、Frame 0 → Frame 1 → Frame 2 → Frame 3
の順でコピーピクチャを４枚単位で挿入する。
【００５３】
特殊再生から通常再生への移行が（４×ｘ）毎単位の移行であるため、コピーピクチャとスタッフィングの挿入関係ｎは、４×ｘの約数であれば、いずれでもあっても構わない。(ｘ＝１[コピーピクチャ挿入単位＝４毎]の場合、スタッフィングの挿入はコピーピクチャ１、２、４毎である。）
図９は、ｘ＝１である場合の、コピーピクチャの挿入の一例を示したものである。特殊再生動作時の具体的な動作は、実施形態１および実施形態２と同じであるため省略するが、スロー再生に対応する場合の再生速度は１／（４×ｘ＋１）倍速である。
【００５４】
＜実施形態４＞
実施形態１、２および３では、ビデオストリームについて説明してきたが、実施形態４ではオーディオのミュート化について説明する。なお、ビデオストリームに対する処理は、実施形態１、２および３と同じであるため、省略する。
【００５５】
オーディオミュート化動作について図１０の処理フローチャート及び、図１１の出力ストリームイメージを用いて説明する。通常再生の場合、（図１１のＡ）ステップＳ１００１において、ＰＴＳ等のヘッダ情報の変更を行う。ＰＴＳの変更については、ビデオストリームのＰＴＳの変更により得られる、実ストリームのＰＴＳと出力ストリームのＰＴＳの差分値を、オーディオストリームのＰＴＳへ加算することで実行される。（図１１の（Ｂ））次にステップＳ１００２において特殊再生中のオーディオデータであるか否かの判定を行う。具体的な判定方法は、特殊再生中のビデオストリームのＰＴＳを取得し、
（１）特殊再生開始ビデオストリームのＰＴＳ以降のＰＴＳを持つオーディオデータ
（２）特殊再生終了ビデオストリームのＰＴＳ以前のＰＴＳを持つオーディオデータ
の２つを満たすものを特殊再生中のオーディオデータと判断する（図１１のＢ）。通常再生の場合は、該当するオーディオデータがないため、ステップＳ１００４へ進む。次にステップＳ１００４でオーディオの出力を行う。これを繰り返し行うことで、通常再生時のオーディオの出力を行う。
【００５６】
次に、スチル再生、コマ送り再生、スロー再生等の特殊再生時動作について説明する。ステップＳ１００２で特殊再生中のオーディオデータと判断された場合、ステップＳ１００３でミュートデータと置換する（図１１のＣ）。ミュートデータは、無音をサンプリング周波数でサンプリングし、所定の形式で符号化したものである。サンプリング周波数が不定であれば、その都度生成しても良いが、サンプリング周波数が特定可能であれば、ミュートデータは固定的なデータとなるため、予めＲＯＭ等に用意したものを利用しても良い。ミュートデータ置換後の動作はステップＳ１００４から通常再生時と同じなので省略する。以上を繰り返し行うことで、ミュート化を実現する。
【００５７】
＜実施形態５＞
実施形態４では、ビデオストリームについて説明してきたが、実施形態５ではオーディオのミュートデータの簡易的な挿入について説明する。ビデオストリームに対する処理は、実施形態１乃至３と同じであるため、省略する。また、オーディオのミュート化については実施形態４と同じであるため、省略する。
【００５８】
オーディオミュートデータ挿入動作について図１２の処理フローチャート及び、図１３の出力ストリームイメージを用いて説明する。まずステップＳ１２０１で、オーディオのＰＴＳを、実施形態４で説明した、コピーピクチャ挿入に基づく差分値の変更を行う。次にステップＳ１２０２においてオーディオの不足を確認する。オーディオの不足を確認する具体的な方法は次の通りである。オーディオＥＳから当該オーディオ符号化単位であるオーディオアクセスユニット（以下、ＡＡＵと記述）のＰＴＳ間隔を得る。ＡＡＵから前述のＰＴＳ間隔を隔てた範囲以内のＰＴＳを持つＡＡＵがなければ、不足と判断し、ステップＳ１２０３へ進む。そうでない場合はステップＳ１２０５へ進む。ステップＳ１２０３において、ミュートデータを挿入する（図１３のＢ）。実施形態４と同様に、ミュートデータは、無音をサンプリング周波数でサンプリングし、所定の形式で符号化したものである。サンプリング周波数が不定であれば、その都度生成しても良いが、サンプリング周波数が特定可能であれば、予めＲＯＭ等に用意しておいても良い。ミュートデータを挿入するとステップＳ１２０４へ進む。そして、前述のオーディオＡＡＵのＰＴＳから、ＡＡＵ分ＰＴＳを加算した値でＰＴＳを変更し（図１３のＣ）、ステップＳ１２０５へ進む。ステップＳ１２０５においてオーディオの出力を行う。以上を繰り返し行うことで、1ＡＡＵ未満の不連続を含むミュートオーディオの生成を行う。
【００５９】
＜実施形態６＞
実施形態５では、簡易的なミュートデータの挿入について説明したが、実施形態６ではミュートデータ挿入とシステム情報更新による連続的なミュートオーディオ生成について説明する。ビデオストリームに対する処理は及びオーディオのミュート化については実施形態５と同じであるため、省略する。
【００６０】
オーディオミュート挿入動作について図１４の処理フローチャート及び、図１５の出力ストリームイメージを用いて説明する。まずステップＳ１４０１でオーディオのＰＴＳを、実施形態４および５と同様に、コピーピクチャ挿入に基づく差分値の変更を行う（図１５のＡ）。次にステップＳ１４０２においてオーディオの連続性を確認する。オーディオの連続性を確認する具体的な方法は次の通りである。オーディオＥＳから当該オーディオ符号化単位であるＡＡＵのＰＴＳ間隔を得る。ＡＡＵから前述のＰＴＳ間隔を隔てた位置のＰＴＳを持つＡＡＵがなければ、連続性なしと判断し、ステップＳ１４０３へ進む。連続性がありと判断される場合は、Ｓ１４０８へ進み、オーディオデータの出力を行う。
【００６１】
ステップＳ１４０２で連続性なしと判断し、ステップＳ１４０３において、ミュートデータを挿入する。ミュートデータの挿入については実施形態５と同じなので省略する。次にステップＳ１４０４において、挿入したＰＴＳから1ＡＡＵ以内のＰＴＳを持つＡＡＵがあるかないかを判定し、ない場合はステップＳ１４０３に戻り、再度ミュートを挿入する。しかしある場合は、そこでミュートの挿入をやめ、ステップＳ１４０５へ進む（図１５のＢ）。次にステップＳ１４０５において、ミュートデータ挿入によるＰＴＳの変更を行うが、ステップＳ１４０６において、変更の範囲が1ＡＡＵの範囲を超えた場合、ミュートデータ挿入オーバーによるオーディオとビデオの同期ズレが発生する。したがって、ステップＳ１４０７において直前のミュートデータを削除し、再度Ｓ１４０６においてＰＴＳの変更を行う（図１５のＣ）。以上を繰り返し行うことで、連続的なミュートオーディオの生成を行う（図１５のＤ）。
【００６２】
＜実施形態７＞
実施形態４乃至６では、オーディオのミュート化に関する説明を行ってきたが、実施形態７では、特殊再生動作におけるオーディオの破棄について説明する。ビデオストリームに対する処理は、実施形態１乃至３と同じであるため、省略する。
【００６３】
オーディオ破棄について次にオーディオミュート挿入動作について図１６の処理フローチャート及び、図１７の出力ストリームイメージを用いて説明する。ステップＳ１６０１において特殊再生が選択されていない場合、ステップＳ１６０３へ進む。ステップＳ１６０３において、ＰＴＳ等のヘッダ情報の変更を行う。ＰＴＳの変更については、ビデオストリームのＰＴＳの変更で得られる、実ストリームのＰＴＳと出力ストリームのＰＴＳの差分値を、オーディオストリームのＰＴＳへ加算することで実施する。次にステップＳ１６０４でオーディオの出力を行う。これを繰り返し行うことで、通常再生時のオーディオの出力を行う。
【００６４】
次に、スチル再生、コマ送り再生、スロー再生などの特殊再生時動作について説明する。ステップＳ１６０１で特殊再生と判断された場合、ステップＳ１６０２へ進む。ステップＳ１６０２において、特殊再生動作中のオーディオを破棄する（図１７のＢ）。特殊動作中のオーディオデータを判断する具体的な方法は次の通りである。バッファ中に入っているビデオストリームに対し、特殊再生動作時に出力するフレームを確認する。次に、前記フレームのＰＴＳに相当する区間のＰＴＳを持つＡＡＵを選択し、これを破棄の対象とする（図１７のＣ）。以上を繰り返し行うことで、オーディオ破棄を実現する。
【００６５】
また、本発明の目的は、前述した実施形態の機能を実現するソフトウェアのプログラムコードを記録した記憶媒体を、システムあるいは装置に供給しても達成可能である。すなわち、そのシステムあるいは装置のコンピュータ（またはＣＰＵやＭＰＵ）が記憶媒体に格納されたプログラムコードを読出し実行することによっても、達成されることは言うまでもない。この場合、記憶媒体から読出されたプログラムコード自体が前述した実施形態の機能を実現することになり、そのプログラムコードを記憶した記憶媒体は本発明を構成することになる。
【００６６】
プログラムコードを供給するための記憶媒体としては、例えば、フレキシブルディスク、ハードディスク、光ディスク、光磁気ディスク、ＣＤ−ＲＯＭ、ＣＤ−Ｒ、磁気テープ、不揮発性の半導体メモリカード、ＲＯＭなどを用いることができる。また、コンピュータが読出したプログラムコードを実行することにより、前述した実施形態の機能が実現される場合もある。
【００６７】
しかし、さらにそのプログラムコードの指示に基づき、コンピュータ上で稼働しているＯＳ（オペレーティングシステム）などが実際の処理の一部または全部を行い、その処理によって前述した実施形態の機能が実現される場合も含まれることは言うまでもない。
【００６８】
さらに、記憶媒体から読出されたプログラムコードが、コンピュータに挿入された機能拡張ボードやコンピュータに接続された機能拡張ユニットに備わるメモリに書込まれる場合もあり得る。その後、そのプログラムコードの指示に基づき、その機能拡張ボードや機能拡張ユニットに備わるＣＰＵなどが実際の処理の一部または全部を行い、その処理によって前述した実施形態の機能が実現される場合も含まれることは言うまでもない。
【図面の簡単な説明】
【００６９】
【図１】本発明の一実施形態を示すブロック図である。
【図２】本発明の実施形態におけるコピーピクチャを説明する図である。
【図３】本発明の実施形態におけるスチル再生の動作を示すフローチャートである。
【図４】本発明の実施形態におけるスタッフィングのサイズを示す図である。
【図５】本発明の実施形態におけるスロー再生の動作を示すフローチャートである。
【図６】本発明の実施形態における２−３プルダウンのビットストリームを示す図である。
【図７】同じく、２−３プルダウンのビットストリームへのコピーピクチャ挿入を示す図である。
【図８】同じく、２−３−３−２プルダウンのビットストリームを示す図である。
【図９】同じく、２−３−３−２プルダウンのビットストリームへのコピーピクチャ挿入を示す図である。
【図１０】本発明の実施形態におけるミュートデータ置換の動作を示すフローチャートである。
【図１１】同じく、ミュートデータ置換の出力イメージを示す図である。
【図１２】同じく、ミュートデータ挿入の動作を示すフローチャートである。
【図１３】同じく、ミュートデータ置換とミュートデータ挿入の出力イメージを示す図である。
【図１４】同じく、ミュートデータ挿入の動作を示すフローチャートである。
【図１５】同じく、ミュートデータ置換とミュートデータ挿入の出力イメージを示す図である。
【図１６】本発明の実施形態におけるオーディオ破棄の動作を示すフローチャートである。
【図１７】同じく、オーディオ破棄の出力イメージを示す図である。
【特許請求の範囲】
【請求項１】
フレーム毎に、フレーム内符号化またはフレーム間予測符号化により符号化された符号化画像ストリームを記録媒体から再生する再生手段と、
前記符号化画像ストリームを通常再生速度よりも遅い速度にて再生する特殊再生モードを指示する指示手段と、
前記指示手段による指示に応じて、前記再生手段により再生された符号化画像ストリームにおける各フレームの表示タイミングを規定するタイミング制御データを変更する変更手段と、
直前の画像データと同一の画像データの表示を指示するデータであるコピーピクチャデータを生成するコピーピクチャ生成手段と、
前記符号化画像ストリームを復号する復号器の仮想入力バッファの蓄積量を制御ためのスタッフィングデータを生成するスタッフィング生成手段と、
前記指示手段による指示に応じて、前記変更手段より出力された符号化画像ストリームに対し、前記コピーピクチャデータと前記スタッフィングデータとを挿入して出力する出力制御手段と、を備える、ことを特徴とする画像情報伝送装置。
【請求項２】
前記出力手段は、前記コピーピクチャデータをｎ（ｎは１以上の整数）フレーム分挿入する毎に前記スタッフィングデータを出力し、
前記スタッフィング生成手段は、前記符号化画像ストリームのデータレートと前記ｎの値、及び、前記ｎフレーム分のコピーピクチャデータのデータ量に応じて前記スタッフィングデータのサイズを決定する、ことを特徴とする請求項１に記載の画像情報伝送装置。
【請求項３】
前記特殊再生モードは、スチル再生モード及びスロー再生モードのうちの少なくとも一つを含む、ことを特徴とする請求項１または２に記載の画像情報伝送装置。
【請求項４】
前記特殊再生モードはスロー再生モードであり、前記ｎの値は前記スロー再生モードにおける再生速度に応じて決定される、ことを特徴とする請求項２に記載の画像情報伝送装置。
【請求項５】
前記符号化画像ストリームは、２−３プルダウンまたは２−３−３−２プルダウンされた３０フレーム／秒のインタレース形式であり、
前記出力制御手段は、前記コピーピクチャデータを２フレーム挿入する毎に前記スタッフィングデータを挿入する、ことを特徴とする請求項１に記載の画像情報伝送装置。
【請求項６】
前記符号化画像ストリームは、２−３プルダウンまたは２−３−３−２プルダウンされた３０フレーム／秒のインタレース形式であり、
前記出力制御手段は、前記コピーピクチャを４フレーム挿入する毎に前記スタッフィングデータを挿入する、ことを特徴とする請求項１に記載の画像情報伝送装置。
【請求項７】
前記符号化画像ストリームは、２−３プルダウンされた３０フレーム／秒のインタレース形式であり、
前記コピーピクチャ生成手段は、前記コピーピクチャの Top_Field_First 及び Repeat_ First_ Field の値が、直前に出力したフレームの Top_Field_First 及び Repeat_ First_ Field の値に対し、２−３プルダウンの関係を維持するように生成する、ことを特徴とする請求項１に記載の画像情報伝送装置。
【請求項８】
前記符号化画像ストリームは、２−３−３−２プルダウンされた３０フレーム／秒のインタレース形式であり、
前記コピーピクチャ生成手段は、前記コピーピクチャの Top_Field_First 及び Repeat_ First_ Field の値が、直前に出力したフレームの Top_Field_First 及び Repeat_ First_ Field の値に対し、２−３−３−２プルダウンの関係を維持するように生成して出力する、ことを特徴とする請求項１に記載の画像情報伝送装置。
【請求項９】
前記符号化画像ストリームは、２−３プルダウンまたは２−３−３−２プルダウンされた３０フレーム／秒のインタレース形式であり、
前記ｎが４の倍数である、ことを特徴とする請求項１に記載の画像情報伝送装置。
【請求項１０】
前記符号化画像ストリームは符号化音声データを含み、
前記書き換え手段は更に、前記指示手段による指示に応じて、前記符号化画像ストリームにおける前記符号化音声データの出音を規定する音声制御データを書き換える、ことを特徴とする請求項１記載の画像情報伝送装置。
【請求項１１】
前記の符号化ビットストリーム内の符号化音声データを符号化無音音声データと置換して出力する、ことを特徴とする請求項１０に記載の画像情報伝送装置。
【請求項１２】
前記符号化オーディオビットストリームの不連続個所に符号化無音音声データを挿入して出力する、ことを特徴とする請求項１０に記載の画像情報伝送装置。
【請求項１３】
前記符号化オーディオビットストリームの不連続個所への前記符号化無音音声データの挿入に対応させて、前記符号化オーディオビットストリームの出音を規定する前記制御データを書き換える、ことを特徴とする請求項１２に記載の画像情報伝送装置。
【請求項１４】
前記符号化画像ストリームは符号化された音声データを含み、
前記出力制御手段は、前記指示手段による指示に応じて、前記変更手段より出力された符号化画像ストリーム中の前記符号化音声データ及び前記符号化音声データに関する制御用の情報を破棄すると共に、前記符号化音声データ及び前記符号化音声データに関する制御用の情報が破棄された符号化画像ストリームに対し、前記コピーピクチャデータと前記スタッフィングデータとを挿入して出力する、ことを特徴とする請求項１記載の画像情報伝送装置。
【請求項１５】
フレーム毎に、フレーム内符号化またはフレーム間予測符号化により符号化された符号化画像ストリームを記録媒体から再生する再生工程と、
前記符号化画像ストリームを通常再生速度よりも遅い速度にて再生する特殊再生モードを指示する指示工程と、
前記指示工程による指示に応じて、前記再生工程で再生された符号化画像ストリームにおける各フレームの表示タイミングを規定するタイミング制御データを変更する変更工程と、
直前の画像データと同一の画像データの表示を指示するデータであるコピーピクチャデータを生成するコピーピクチャ生成工程と、
前記符号化画像ストリームを復号する復号器の仮想入力バッファの蓄積量を制御ためのスタッフィングデータを生成するスタッフィング生成工程と、
前記指示工程における指示に応じて、前記変更工程で出力された符号化画像ストリームに対し、前記コピーピクチャデータと前記スタッフィングデータとを挿入して出力する出力制御工程と、を備える、ことを特徴とする画像情報伝送方法。
【請求項１６】
フレーム内符号化ピクチャ、順方向予測符号化ピクチャ、及び両方向予測符号化ピクチャの少なくともいずれか１つを含む符号化ビットストリームを蓄積する蓄積工程と、
指定された特殊再生動作に対応する出力モードで前記符号化ビットストリームを出力するように制御する出力制御工程と、
前記符号化ビットストリームのピクチャの表示タイミングを規定する制御データを書き換える書き換え工程と、
直前の画像データと同一の画像データの表示を指示するデータであるコピーピクチャを生成するコピーピクチャ生成工程と、
復号器の仮想入力バッファの蓄積量を制御する Null データであるスタッフィングを生成するスタッフィング生成工程と、を備え、
前記制御データが書き換えられた前記符号化ビットストリームのピクチャ、前記コピーピクチャ、および前記スタッフィングを前記出力制御工程の制御に従って出力する、ことを特徴とする画像情報伝送方法。
【請求項１７】
前記指定された特殊再生動作に対応する出力モードにおいて、
前記コピーピクチャをｎ枚出力する毎に前記スタッフィングを出力し、
前記スタッフィングのサイズが、前記コピーピクチャをｎ（ｎ＝１、２、・・・）枚挿入することによって発生する仮想入力バッファの蓄積量の増加量を減少させるサイズである、ことを特徴とする請求項１６に記載の画像情報伝送方法。
【請求項１８】
フレーム内符号化ピクチャと、順方向予測符号化ピクチャ及び両方向予測符号化ピクチャの少なくともいずれか１つを含む符号化ビットストリームを蓄積する蓄積工程と、
指定された特殊再生動作に対応する出力モードで前記符号化ビットストリームを出力するように制御する出力制御工程と、
前記符号化ビットストリームの符号化ビデオビットストリームのピクチャの表示タイミングを規定する制御データを書き換える第１書き換え工程と、
直前の画像データと同一の画像データの表示を指示するデータであるコピーピクチャを生成するコピーピクチャ生成工程と、
前記符号化ビットストリームの符号化オーディオビットストリームの出音を規定する制御データを、前記コピーピクチャの出力枚数に基づいて書き換える第２書き換え工程と、を備え、
それぞれの前記制御データが書き換えられた符号化ビットストリームおよびコピーピクチャを前記出力制御工程の制御に従って出力する、ことを特徴とする画像情報伝送方法。
【請求項１９】
フレーム内符号化ピクチャであるＩピクチャ、順方向予測符号化ピクチャであるＰピクチャ、及び両方向予測符号化ピクチャであるＢピクチャのすくなくともいずれか１つを含む符号化ビットストリームを蓄積する蓄積工程と、
指定された特殊再生動作に対応する出力モードで前記符号化ビットストリームを出力するように制御する出力制御工程と、
前記符号化ビットストリームに関して、ピクチャの表示タイミングを規定する制御データを書き換える書き換え工程と、
直前の画像データと同一の画像データを表示することを指示するデータであるコピーピクチャを生成するコピーピクチャ生成工程と、を備え、
前記制御データが書き換えられた前記符号化ビットストリームのピクチャと、前記コピーピクチャを前記出力制御工程の制御に従って出力するとともに、
前記符号化ビットストリームが、音声データと画像データを多重化したものであった場合、前記音声データ及び前記音声データに関する制御用の情報を破棄し、画像データのみの符号化ビットストリームとして出力する、ことを特徴とする画像情報伝送方法。
【請求項２０】
請求項１５乃至１９のいずれか１項に記載された画像情報伝送方法の手順をコンピュータに実行させるためのプログラム。
【請求項２１】
請求項１５乃至１９のいずれか１項に記載された画像情報伝送方法の手順をコンピュータに実行させるためのプログラムを記憶したコンピュータ読取可能な記憶媒体。
【請求項１】
フレーム毎に、フレーム内符号化またはフレーム間予測符号化により符号化された符号化画像ストリームを記録媒体から再生する再生手段と、
前記符号化画像ストリームを通常再生速度よりも遅い速度にて再生する特殊再生モードを指示する指示手段と、
前記指示手段による指示に応じて、前記再生手段により再生された符号化画像ストリームにおける各フレームの表示タイミングを規定するタイミング制御データを変更する変更手段と、
直前の画像データと同一の画像データの表示を指示するデータであるコピーピクチャデータを生成するコピーピクチャ生成手段と、
前記符号化画像ストリームを復号する復号器の仮想入力バッファの蓄積量を制御ためのスタッフィングデータを生成するスタッフィング生成手段と、
前記指示手段による指示に応じて、前記変更手段より出力された符号化画像ストリームに対し、前記コピーピクチャデータと前記スタッフィングデータとを挿入して出力する出力制御手段と、を備える、ことを特徴とする画像情報伝送装置。
【請求項２】
前記出力手段は、前記コピーピクチャデータをｎ（ｎは１以上の整数）フレーム分挿入する毎に前記スタッフィングデータを出力し、
前記スタッフィング生成手段は、前記符号化画像ストリームのデータレートと前記ｎの値、及び、前記ｎフレーム分のコピーピクチャデータのデータ量に応じて前記スタッフィングデータのサイズを決定する、ことを特徴とする請求項１に記載の画像情報伝送装置。
【請求項３】
前記特殊再生モードは、スチル再生モード及びスロー再生モードのうちの少なくとも一つを含む、ことを特徴とする請求項１または２に記載の画像情報伝送装置。
【請求項４】
前記特殊再生モードはスロー再生モードであり、前記ｎの値は前記スロー再生モードにおける再生速度に応じて決定される、ことを特徴とする請求項２に記載の画像情報伝送装置。
【請求項５】
前記符号化画像ストリームは、２−３プルダウンまたは２−３−３−２プルダウンされた３０フレーム／秒のインタレース形式であり、
前記出力制御手段は、前記コピーピクチャデータを２フレーム挿入する毎に前記スタッフィングデータを挿入する、ことを特徴とする請求項１に記載の画像情報伝送装置。
【請求項６】
前記符号化画像ストリームは、２−３プルダウンまたは２−３−３−２プルダウンされた３０フレーム／秒のインタレース形式であり、
前記出力制御手段は、前記コピーピクチャを４フレーム挿入する毎に前記スタッフィングデータを挿入する、ことを特徴とする請求項１に記載の画像情報伝送装置。
【請求項７】
前記符号化画像ストリームは、２−３プルダウンされた３０フレーム／秒のインタレース形式であり、
前記コピーピクチャ生成手段は、前記コピーピクチャの Top_Field_First 及び Repeat_ First_ Field の値が、直前に出力したフレームの Top_Field_First 及び Repeat_ First_ Field の値に対し、２−３プルダウンの関係を維持するように生成する、ことを特徴とする請求項１に記載の画像情報伝送装置。
【請求項８】
前記符号化画像ストリームは、２−３−３−２プルダウンされた３０フレーム／秒のインタレース形式であり、
前記コピーピクチャ生成手段は、前記コピーピクチャの Top_Field_First 及び Repeat_ First_ Field の値が、直前に出力したフレームの Top_Field_First 及び Repeat_ First_ Field の値に対し、２−３−３−２プルダウンの関係を維持するように生成して出力する、ことを特徴とする請求項１に記載の画像情報伝送装置。
【請求項９】
前記符号化画像ストリームは、２−３プルダウンまたは２−３−３−２プルダウンされた３０フレーム／秒のインタレース形式であり、
前記ｎが４の倍数である、ことを特徴とする請求項１に記載の画像情報伝送装置。
【請求項１０】
前記符号化画像ストリームは符号化音声データを含み、
前記書き換え手段は更に、前記指示手段による指示に応じて、前記符号化画像ストリームにおける前記符号化音声データの出音を規定する音声制御データを書き換える、ことを特徴とする請求項１記載の画像情報伝送装置。
【請求項１１】
前記の符号化ビットストリーム内の符号化音声データを符号化無音音声データと置換して出力する、ことを特徴とする請求項１０に記載の画像情報伝送装置。
【請求項１２】
前記符号化オーディオビットストリームの不連続個所に符号化無音音声データを挿入して出力する、ことを特徴とする請求項１０に記載の画像情報伝送装置。
【請求項１３】
前記符号化オーディオビットストリームの不連続個所への前記符号化無音音声データの挿入に対応させて、前記符号化オーディオビットストリームの出音を規定する前記制御データを書き換える、ことを特徴とする請求項１２に記載の画像情報伝送装置。
【請求項１４】
前記符号化画像ストリームは符号化された音声データを含み、
前記出力制御手段は、前記指示手段による指示に応じて、前記変更手段より出力された符号化画像ストリーム中の前記符号化音声データ及び前記符号化音声データに関する制御用の情報を破棄すると共に、前記符号化音声データ及び前記符号化音声データに関する制御用の情報が破棄された符号化画像ストリームに対し、前記コピーピクチャデータと前記スタッフィングデータとを挿入して出力する、ことを特徴とする請求項１記載の画像情報伝送装置。
【請求項１５】
フレーム毎に、フレーム内符号化またはフレーム間予測符号化により符号化された符号化画像ストリームを記録媒体から再生する再生工程と、
前記符号化画像ストリームを通常再生速度よりも遅い速度にて再生する特殊再生モードを指示する指示工程と、
前記指示工程による指示に応じて、前記再生工程で再生された符号化画像ストリームにおける各フレームの表示タイミングを規定するタイミング制御データを変更する変更工程と、
直前の画像データと同一の画像データの表示を指示するデータであるコピーピクチャデータを生成するコピーピクチャ生成工程と、
前記符号化画像ストリームを復号する復号器の仮想入力バッファの蓄積量を制御ためのスタッフィングデータを生成するスタッフィング生成工程と、
前記指示工程における指示に応じて、前記変更工程で出力された符号化画像ストリームに対し、前記コピーピクチャデータと前記スタッフィングデータとを挿入して出力する出力制御工程と、を備える、ことを特徴とする画像情報伝送方法。
【請求項１６】
フレーム内符号化ピクチャ、順方向予測符号化ピクチャ、及び両方向予測符号化ピクチャの少なくともいずれか１つを含む符号化ビットストリームを蓄積する蓄積工程と、
指定された特殊再生動作に対応する出力モードで前記符号化ビットストリームを出力するように制御する出力制御工程と、
前記符号化ビットストリームのピクチャの表示タイミングを規定する制御データを書き換える書き換え工程と、
直前の画像データと同一の画像データの表示を指示するデータであるコピーピクチャを生成するコピーピクチャ生成工程と、
復号器の仮想入力バッファの蓄積量を制御する Null データであるスタッフィングを生成するスタッフィング生成工程と、を備え、
前記制御データが書き換えられた前記符号化ビットストリームのピクチャ、前記コピーピクチャ、および前記スタッフィングを前記出力制御工程の制御に従って出力する、ことを特徴とする画像情報伝送方法。
【請求項１７】
前記指定された特殊再生動作に対応する出力モードにおいて、
前記コピーピクチャをｎ枚出力する毎に前記スタッフィングを出力し、
前記スタッフィングのサイズが、前記コピーピクチャをｎ（ｎ＝１、２、・・・）枚挿入することによって発生する仮想入力バッファの蓄積量の増加量を減少させるサイズである、ことを特徴とする請求項１６に記載の画像情報伝送方法。
【請求項１８】
フレーム内符号化ピクチャと、順方向予測符号化ピクチャ及び両方向予測符号化ピクチャの少なくともいずれか１つを含む符号化ビットストリームを蓄積する蓄積工程と、
指定された特殊再生動作に対応する出力モードで前記符号化ビットストリームを出力するように制御する出力制御工程と、
前記符号化ビットストリームの符号化ビデオビットストリームのピクチャの表示タイミングを規定する制御データを書き換える第１書き換え工程と、
直前の画像データと同一の画像データの表示を指示するデータであるコピーピクチャを生成するコピーピクチャ生成工程と、
前記符号化ビットストリームの符号化オーディオビットストリームの出音を規定する制御データを、前記コピーピクチャの出力枚数に基づいて書き換える第２書き換え工程と、を備え、
それぞれの前記制御データが書き換えられた符号化ビットストリームおよびコピーピクチャを前記出力制御工程の制御に従って出力する、ことを特徴とする画像情報伝送方法。
【請求項１９】
フレーム内符号化ピクチャであるＩピクチャ、順方向予測符号化ピクチャであるＰピクチャ、及び両方向予測符号化ピクチャであるＢピクチャのすくなくともいずれか１つを含む符号化ビットストリームを蓄積する蓄積工程と、
指定された特殊再生動作に対応する出力モードで前記符号化ビットストリームを出力するように制御する出力制御工程と、
前記符号化ビットストリームに関して、ピクチャの表示タイミングを規定する制御データを書き換える書き換え工程と、
直前の画像データと同一の画像データを表示することを指示するデータであるコピーピクチャを生成するコピーピクチャ生成工程と、を備え、
前記制御データが書き換えられた前記符号化ビットストリームのピクチャと、前記コピーピクチャを前記出力制御工程の制御に従って出力するとともに、
前記符号化ビットストリームが、音声データと画像データを多重化したものであった場合、前記音声データ及び前記音声データに関する制御用の情報を破棄し、画像データのみの符号化ビットストリームとして出力する、ことを特徴とする画像情報伝送方法。
【請求項２０】
請求項１５乃至１９のいずれか１項に記載された画像情報伝送方法の手順をコンピュータに実行させるためのプログラム。
【請求項２１】
請求項１５乃至１９のいずれか１項に記載された画像情報伝送方法の手順をコンピュータに実行させるためのプログラムを記憶したコンピュータ読取可能な記憶媒体。
【図１】
【図２】
【図３】
【図４】
【図５】
【図６】
【図７】
【図８】
【図９】
【図１０】
【図１１】
【図１２】
【図１３】
【図１４】
【図１５】
【図１６】
【図１７】
【図２】
【図３】
【図４】
【図５】
【図６】
【図７】
【図８】
【図９】
【図１０】
【図１１】
【図１２】
【図１３】
【図１４】
【図１５】
【図１６】
【図１７】
【公開番号】特開２００７−１９５０６４（Ｐ２００７−１９５０６４Ａ）
【公開日】平成１９年８月２日（２００７．８．２）
【国際特許分類】
【出願番号】特願２００６−１３０８７（Ｐ２００６−１３０８７）
【出願日】平成１８年１月２０日（２００６．１．２０）
【出願人】（０００００１００７）キヤノン株式会社 (59,756)
【Ｆターム（参考）】
【公開日】平成１９年８月２日（２００７．８．２）
【国際特許分類】
【出願日】平成１８年１月２０日（２００６．１．２０）
【出願人】（０００００１００７）キヤノン株式会社 (59,756)
【Ｆターム（参考）】
[ Back to top ]