画像データ記録装置及び画像データ符号化装置
【課題】ＩＤＲピクチャあるいはＩピクチャを使った追加記録や編集を行う場合、ＣＰＢ値（ＣＰＢのバッファ占有値）が編集点の前後で不連続になるため、ＣＰＢがオーバーフローしたり、アンダーフローしたりする。
【解決手段】画像符号化器１５は、画像信号に対してＨ.２６４符号化方式に従って初期値から圧縮符号化を開始してビットストリームを生成する。画像符号化器１５では符号化を行いながら、ＩＤＲピクチャの１フレーム前の符号化終了時点での発生符号量とＣＰＢ値を、ＩＤＲピクチャを生成する都度毎回出力する。アクセス情報作成部１６では、入力された発生符号量値とＣＰＢ値から、入力されたＣＰＢ値がビットストリームのどの時点でのＣＰＢ値であるかを示すアドレス情報とＣＰＢ値とからなるアクセス情報を作成する。ビットストリームとアクセス情報は記録媒体１１の異なる領域に書き込まれる。
【解決手段】画像符号化器１５は、画像信号に対してＨ.２６４符号化方式に従って初期値から圧縮符号化を開始してビットストリームを生成する。画像符号化器１５では符号化を行いながら、ＩＤＲピクチャの１フレーム前の符号化終了時点での発生符号量とＣＰＢ値を、ＩＤＲピクチャを生成する都度毎回出力する。アクセス情報作成部１６では、入力された発生符号量値とＣＰＢ値から、入力されたＣＰＢ値がビットストリームのどの時点でのＣＰＢ値であるかを示すアドレス情報とＣＰＢ値とからなるアクセス情報を作成する。ビットストリームとアクセス情報は記録媒体１１の異なる領域に書き込まれる。
【発明の詳細な説明】
【技術分野】
【０００１】
本発明は画像データ記録装置及び画像データ符号化装置に係り、特にＨ.２６４符号化方式で画像データを圧縮符号化して記録媒体に記録する画像データ記録装置、及びその画像データを生成する画像データ符号化装置に関する。
【背景技術】
【０００２】
時間軸上に連続する動画像をディジタル信号の情報として取り扱い、その際、効率の高い情報の放送、伝送又は蓄積等を目的とし、時間方向の冗長性を利用して動き補償予測を用い、空間方向の冗長性を利用して離散コサイン変換等の直交変換を用いて符号化圧縮するＭＰＥＧ（Moving Picture Experts Group）１，２などの符号化方式が提案され、また、従来より実用化されているが、近年、国際標準化機構（ＩＳＯ）と国際電気標準会議（ＩＥＣ）のジョイント技術委員会（ＩＳＯ／ＩＥＣ）と、国際電気通信連合電気通信標準化部門（ＩＴＵ−Ｔ）の共同チームであるＪＶＴ（Joint Video Team）での規格化作業によって、ＭＰＥＧ−４ ＡＶＣ／Ｈ.２６４と呼ばれる符号化方式（ＩＳＯ／ＩＥＣでは１４４９６−１０、ＩＴＵ‐ＴではＨ.２６４の規格番号がつけられている。以下、本明細書ではこれをＨ.２６４符号化方式と呼ぶ）が国際標準として制定された。
【０００３】
このＨ.２６４符号化方式では、圧縮アルゴリズムの原理は従来のＭＰＥＧ１，２などと基本的には同様で、離散コサイン変換（ＤＣＴ）やフレーム間予測、量子化、ハフマン符号などによるエントロピー符号化を採用している。また、Ｈ.２６４符号化方式では、これらのツールに対して非常に多数の改良が施されており、算術符号化やデブロッキングフィルタなどのツールも追加されており、更に、画像特徴に応じて多彩なモードを適応的に使い分けることで、従来のＭＰＥＧ−２ビデオやＭＰＥＧ−４ビジュアル等の符号化方式に比べ、遥かに高い符号化効率を実現している。
【０００４】
また、記録用途なども考慮されており、ディスクなどに記録されたＨ.２６４符号化方式により符号化された画像データを、ビットストリームの先頭から再生するだけでなく、途中の見たい場面から再生できる機能（ランダム・アクセス）をサポートしている。その一つが、ＩＤＲ（Instantaneous Decoder Refresh）ピクチャである。このＩＤＲピクチャは、そのピクチャより前のピクチャの情報を使わなくても、それ以後ピクチャが正しく復号できることを意味するデコーダ動作瞬時リフレッシュ用の特別なピクチャである。
【０００５】
Ｈ.２６４符号化方式では復号画像を出力する際に符号化順序から復号画像の出力順序（出力先の表示装置等で表示する際に望ましい順序）に並び替えるために、参照ピクチャと、非参照ピクチャの両方をメモリに格納する必要があり、符号化された符号化列（ビットストリーム）には、画像毎にＰＯＣ（Picture Order Count;ピクチャの表示順序を示す）と呼ばれる出力順序を示す情報が符号化されており、復号画像の出力順序で番号がつけられている。
【０００６】
上記のＩＤＲピクチャではすべての参照ピクチャが開放されて参照不可能になり、ＰＯＣやフレーム番号も”０”にリセットされる。ＩＤＲピクチャでは復号に必要な情報が初期化されるため、任意のＩＤＲピクチャから再生を開始でき、ランダム・アクセスの開始位置となる。このため、定期的にＩＤＲピクチャとして符号化を行うことによって、ビットストリームの中の任意のピクチャの近くから、再生可能なビットストリームを生成することができる。
【０００７】
また、同様な理由でＩＤＲピクチャは編集点となる。ＩＤＲピクチャの位置で編集を行うと、図１３にて示すようにシームレスな再生が可能である。また、フレーム間予測を使わず、前後の画面とは関係なくその画面内（イントラ）だけで独立して符号化されるＩピクチャにおいても、予め編集点を考慮した符号化を行えば、シームレスな再生が可能である。
【０００８】
一方、Ｈ.２６４符号化方式では、符号化して得られた画像データ等からなるビットストリームを、伝送路を介してデコーダ側のバッファに一旦蓄積してからそのバッファから読み出して復号し画像再生するので、デコーダ側のバッファをオーバーフロー及びアンダーフローさせないように（デコーダを破綻させないように）、エンコーダ側でビットストリームを生成するため、仮想参照デコーダ（ＨＲＤ；Hypothetical Reference Decoder）の概念を導入し、ＨＲＤを破綻させないように、エンコーダが生成するビットストリームに制限を加えている。
【０００９】
このＨＲＤには、デコーダに入力される前のビットストリームを保存する符号化ピクチャバッファ（ＣＰＢ;Coded Picture Buffer）と、デコーダが復号したピクチャを保存する復号ピクチャバッファ（ＤＰＢ;Decoded Picture Buffer）の２つの仮想バッファが規定されている。このうち、ＣＰＢの説明が特許文献１になされており、リカバリ・ポイントＳＥＩ（特許文献１中には、ランダムアクセスＳＥＩと書かれているが、標準化前のドラフトの内容であり、標準（規格）の中にはランダムアクセスＳＥＩはない）を使ったランダムアクセス方法が特許文献１に開示されている。
【００１０】
【特許文献１】特開２００４−１８６８４０号公報
【発明の開示】
【発明が解決しようとする課題】
【００１１】
ＩＤＲピクチャあるいはＩピクチャを使った追加記録や編集を行う場合、図１３のようにシームレスに再生できるが、ＣＰＢ値（ＣＰＢのバッファ占有値）が編集点の前後で不連続になるため、ＣＰＢがオーバーフローしたり、アンダーフローしたりする。しかるに、この対策については上記の特許文献１には全く記載がない。上記の状態は本来、標準（規格）で認められていない状態であり、デコーダがユーザ（編集者）の意図通りに再生しないことが考えられる。
【００１２】
本発明は上記の点に鑑みなされたもので、追加記録・編集した場合でも、再生時にＣＰＢのオーバーフロー・アンダーフローの矛盾なく再生することが可能な符号化や記録を行い得る画像データ記録装置及び画像データ符号化装置を提供することを目的とする。
【課題を解決するための手段】
【００１３】
上記の目的を達成するため、第１の発明は、画像信号をＨ.２６４符号化方式で圧縮符号化して得たＨ．２６４画像データのビットストリームを記録媒体に記録する画像データ記録装置において、Ｈ.２６４符号化方式で規定された仮想参照デコーダに入力される前のビットストリームを保存する符号化ピクチャバッファにおいて、この符号化ピクチャバッファの容量に対して保存されるビットストリームの占有値を示すＣＰＢ値に応じて設定されたパラメータを用いて、画像信号のＨ.２６４符号化方式での圧縮符号化を開始し、それぞれＨ.２６４画像データによる複数のピクチャからなるデータグループ単位で合成されており、データグループの各々は先頭のピクチャが他のピクチャを参照しないで符号化したＩピクチャ又はデコーダ動作瞬時リフレッシュ用のＩＤＲピクチャが配置されたビットストリームを生成する符号化手段と、符号化手段からＩピクチャ又はＩＤＲピクチャを生成する都度出力される、ビットストリームにおけるＩピクチャ又はＩＤＲピクチャの１画像単位前の符号化終了時点での発生符号量とＣＰＢ値とに基づいて、ＣＰＢ値とそのＣＰＢ値がビットストリームにおけるどの時点でのＣＰＢ値であるかを示すアドレス情報とからなるアクセス情報を作成するアクセス情報作成手段と、符号化手段から出力されたビットストリームと、アクセス情報作成手段で作成されたアクセス情報とを、記録媒体の異なる領域にそれぞれ記録する記録手段とを有することを特徴とする。
【００１４】
この発明では、ビットストリームにおけるＩピクチャ又はＩＤＲピクチャの１画像単位前の符号化終了時点での発生符号量とＣＰＢ値とに基づいて、ＣＰＢ値とそのＣＰＢ値がビットストリームにおけるどの時点でのＣＰＢ値であるかを示すアドレス情報とからなるアクセス情報をビットストリームと共に記録媒体に記録するようにしたため、ＩＤＲピクチャあるいはＩピクチャを使った追加記録や編集を行う場合、再生したアクセス情報から得られるＣＰＢ値を用いて追加記録や編集する画像信号の符号化ができる。
【００１５】
また、上記の目的を達成するため、第２の発明は、画像信号をＨ.２６４符号化方式で圧縮符号化して得たＨ．２６４画像データのビットストリームを記録媒体に記録する画像データ記録装置において、Ｈ.２６４符号化方式で規定された仮想参照デコーダに入力される前のビットストリームを保存する符号化ピクチャバッファにおいて、この符号化ピクチャバッファの容量に対して保存されるビットストリームの占有値を示すＣＰＢ値に応じて設定されたパラメータを用いて、画像信号のＨ.２６４符号化方式での圧縮符号化を開始し、それぞれＨ.２６４画像データによる複数のピクチャからなるデータグループ単位で合成されており、データグループの各々は先頭のピクチャが他のピクチャを参照しないで符号化したＩピクチャ又はデコーダ動作瞬時リフレッシュ用のＩＤＲピクチャが配置されたビットストリームを生成する符号化手段と、符号化手段からＩピクチャ又はＩＤＲピクチャを生成する都度出力される、ビットストリームにおけるＩピクチャ又はＩＤＲピクチャの１画像単位前の符号化終了時点でのＣＰＢ値を、そのＣＰＢ値に対応するＩピクチャ又はＩＤＲピクチャを先頭とするデータグループの先頭に、ピクチャの復号に直接関係のない付加情報ＳＥＩとして合成する合成手段と、この合成手段から出力される付加情報ＳＥＩが合成されたビットストリーム中のＨ.２６４画像データの数をカウントしていくと共に、付加情報ＳＥＩを検出し、この検出時点のカウント値をアドレスとするアクセス情報を作成するアクセス情報作成手段と、合成手段から出力された付加情報ＳＥＩが合成されたビットストリームと、アクセス情報作成手段で作成されたアクセス情報とを、記録媒体の異なる領域にそれぞれ記録する記録手段とを有することを特徴とする。
【００１６】
この発明では、ビットストリームにおけるＩピクチャ又はＩＤＲピクチャの１画像単位前の符号化終了時点でのＣＰＢ値を、そのＣＰＢ値に対応するＩピクチャ又はＩＤＲピクチャを先頭とするデータグループの先頭に付加情報ＳＥＩとして合成したビットストリームと、付加情報ＳＥＩとして合成されたＣＰＢ値がビットストリームのどの時点におけるＣＰＢ値であるかを示すアドレス情報とを記録媒体に記録するようにしたため、ＩＤＲピクチャあるいはＩピクチャを使った追加記録や編集を行う場合、再生したＣＰＢ値を用いて追加記録や編集する画像信号の符号化ができる。また、ＣＰＢ値はビットストリーム中の付加情報ＳＥＩから得ることができる。
【００１７】
また、上記の目的を達成するため、第３の発明は、画像信号をＨ.２６４符号化方式で圧縮符号化してＨ．２６４画像データのビットストリームを生成する画像データ符号化装置において、Ｈ.２６４符号化方式で規定された仮想参照デコーダに入力される前のビットストリームを保存する符号化ピクチャバッファにおいて、この符号化ピクチャバッファの容量に対して保存されるビットストリームの占有値を示すＣＰＢ値に応じて設定されたパラメータを用いて、画像信号のＨ.２６４符号化方式での圧縮符号化を開始し、それぞれＨ.２６４画像データによる複数のピクチャからなるデータグループ単位で合成されており、データグループの各々は先頭のピクチャが他のピクチャを参照しないで符号化したＩピクチャ又はデコーダ動作瞬時リフレッシュ用のＩＤＲピクチャが配置されたビットストリームを生成する符号化手段と、符号化手段からＩピクチャ又はＩＤＲピクチャを生成する都度出力される、ビットストリームにおけるＩピクチャ又はＩＤＲピクチャの１画像単位前の符号化終了時点でのＣＰＢ値を、そのＣＰＢ値に対応するＩピクチャ又はＩＤＲピクチャを先頭とするデータグループの先頭に、ピクチャの復号に直接関係のない付加情報ＳＥＩとして合成したビットストリームを生成する合成手段とを有することを特徴とする。この発明では、第２の発明で記録媒体に記録するビットストリームを生成することができる。
【発明の効果】
【００１８】
本発明によれば、ビットストリームにおけるＩピクチャ又はＩＤＲピクチャの１画像単位前の符号化終了時点でのＣＰＢ値（ＣＰＢのバッファ占有値）と、そのＣＰＢ値がビットストリームにおけるどの時点でのＣＰＢ値であるかを示すアドレス情報とからなるアクセス情報をビットストリームと共に記録媒体に記録することにより、ＩＤＲピクチャあるいはＩピクチャを使った追加記録や編集を行う場合、記録媒体から再生したアクセス情報から得られるＣＰＢ値を用いて追加記録や編集する画像信号の符号化を行うことができ、これによりＣＰＢ値が編集点の前後で不連続になることを回避できるため、符号化ピクチャバッファ（ＣＰＢ）のオーバーフローやアンダーフローに基づく、再生画像の破綻、システムの破綻を防止することができる。
【００１９】
また、本発明によれば、ビットストリームにおけるＩピクチャ又はＩＤＲピクチャの１画像単位前の符号化終了時点でのＣＰＢ値を、そのＣＰＢ値に対応するＩピクチャ又はＩＤＲピクチャを先頭とするデータグループの先頭に付加情報ＳＥＩとして合成したビットストリームを記録媒体に記録するようにしたため、上記の記録媒体から再生したＣＰＢ値が合成されたビットストリームを別の記録装置で別の記録媒体に記録する場合に、新たにビットストリームを復号してＣＰＢ値を検出する手段を不要にできる。
【発明を実施するための最良の形態】
【００２０】
次に、本発明の実施の形態について図面と共に説明する。
【００２１】
（第１の実施の形態）
図１は本発明になる画像データ記録装置の第１の実施の形態のブロック図を示す。同図において、光ディスク等の記録媒体１１には、Ｈ.２６４符号化方式で圧縮符号化された画像データであるＨ.２６４画像データが記録される。このＨ.２６４画像データは、定期的にフレームをＩＤＲピクチャとして符号化されており、図２に模式的に示すように、一回の記録単位で符号化生成された連続再生可能なデータが複数連続して連なったビットストリームとして、記録媒体１１のデータ領域に記録される。
【００２２】
なお、図２において、ＩＤＲはＩＤＲピクチャを示し、その先頭位置がＩＤＲアドレスによって識別される。また、図２において、Ｐは符号化対象の当該フレームのブロックと当該フレームよりも時間軸上で過去に存在するフレーム（ＩＤＲピクチャ、Ｉピクチャ又はＰピクチャ）の参照ブロックとの間の動きベクトルに基づく順方向予測符号化によって符号化されたＰピクチャ、Ｂは符号化対象の当該フレームのブロックと当該フレームよりも時間軸上で過去と未来の制約にとらわれず、過去と未来のどちらか一方又は両方の最大２枚のフレームの参照ブロックとの間の動きベクトルに基づく双予測符号化によって符号化されたＢピクチャである。
【００２３】
本実施の形態は、記録媒体１１上の図２に示したビットストリームの記録領域とは別の領域に、図３（Ａ）に示すように、ビットストリーム中のＩＤＲピクチャのアクセス情報をＩＤＲピクチャの記録数だけ連なって記録する点に特徴がある。ここで、図３（Ａ）に示すＩＤＲアクセス情報の各々は、図２のＩＤＲピクチャに１対１に対応しており、そのデータ構造は図３（Ｂ）に示すように、対応するＩＤＲピクチャの記録媒体１１上での記録開始位置を示すＩＤＲアドレスと、対応するＩＤＲピクチャの１フレーム前のピクチャの符号化終了時点でのＣＰＢ値（ＣＰＢのバッファ占有値）とを少なくとも有する。
【００２４】
また、ＩＤＲアクセス情報の各々には、上記以外にもＩＤＲピクチャに係る情報として、例えば、図３（Ｂ）に示すＰＴＭ（Presentation Time）値などが記述される。このＰＴＭ値は、ＩＤＲピクチャが表示されるべき時間を示す情報であり、これらのＩＤＲアクセス情報が記録されていると、図示せぬユーザーインターフェース手段から時間情報をもとにユーザーが編集点を指定することができる。
【００２５】
次に、図１の画像データ記録装置が、Ｈ.２６４符号化方式で画像データを符号化しながらアクセス情報を作成して記録する動作を説明する。まず、記録媒体１１に符号化データが全く記録されていない状態、すなわち、初めて符号化する場合の動作について説明する。この場合には、記録媒体１１の記録データを読み取るデータ読み取り部１２は、記録データが存在しないので、記録データが存在しないという情報をアクセス情報検出器１３に供給する。アクセス情報検出器１３はデータ読み取り部１２からの情報に基づいて記録データが存在しないことを判別した時は、パラメータ設定器１４に予め設定した初期値を設定する。パラメータ設定器１４は、設定された初期値を画像符号化器１５に供給する。
【００２６】
画像符号化器１５は、外部から入力される記録すべき画像信号に対して、Ｈ.２６４符号化方式に従って初期値から圧縮符号化を開始して、図２に示したような各ピクチャ（画像データ）が時系列的に合成されたビットストリームを生成してデータ書き込み部１８へ出力する。また、画像符号化器１５では上記の符号化を行いながら、ビットストリームのＩＤＲピクチャの１フレーム前の符号化終了時点での発生符号量とＣＰＢ値を、ＩＤＲピクチャを生成する都度毎回、アクセス情報作成部１６へ供給する。
【００２７】
アクセス情報作成部１６では、入力された発生符号量値とＣＰＢ値から図３（Ａ）、（Ｂ）に示す構造のアクセス情報のデータを作成するか、もしくはそのデータ構造を作成するのに必要なデータをメモリして所定のフォーマットで記録保持する。図３（Ｂ）のＩＤＲアドレスは、入力された発生符号量値に基づいて作成された、入力されたＣＰＢ値がビットストリームのどの時点でのＣＰＢ値であるかを示すアドレス情報である。アクセス情報作成部１６で作成されたアクセス情報は、データ書き込み部１８によりビットストリームが記録媒体１１に書き込まれているときに、同時にバースト的にビットストリーム記録領域とは異なる領域に書き込まれる。
【００２８】
なお、アクセス情報作成部１６で作成されたアクセス情報は、ビットストリームが記録媒体１１に書き込み終わったときに、すなわち、ユーザーが画像圧縮記録を一時停止、もしくは終了した後に所定のフォーマットで記録保持されたいデータから、図３（Ａ）、（Ｂ）の構造に変換してデータ書き込み部１８により記録媒体１１に書き込みを行ってもよい。
【００２９】
記録の終了タイミングはＩＤＲピクチャの直前とすると、特殊再生等に都合がよい。図２で説明すると、ＩＤＲ３の符号化から後に、記録終了の指示があった場合にはＩＤＲ４直前のＢピクチャまで画像データは記録し、またアクセス情報はＩＤＲ４の分まで記録する。
【００３０】
次に、記録媒体１１に前記したアクセス情報と共に既に記録されているビットストリームに対して、ビットストリーム中の任意の位置から追加して新たな画像データを記録する場合について説明する。記録媒体１１には既にビットストリームとアクセス情報とが記録されている。従って、データ読み取り部１２ではアクセス情報を記録媒体１１から読み取り、ＩＤＲピクチャのアドレス値とＩＤＲピクチャの１フレーム前のピクチャの符号化終了時点でのＣＰＢ値を得る。
【００３１】
追加記録が既に記録されているビットストリームの一番最後から行われる場合には、記録媒体１１から再生したアクセス情報の一番最後のアドレス値とＣＰＢ値を参照する。記録媒体１１上において、新たなＨ.２６４画像データが追加記録される位置は、既に記録されているＨ.２６４画像データの記録部分に続く位置でもよいし、全く別の位置でもよい。
【００３２】
一方、既に記録されているビットストリームの途中から追加書き込みをする場合には、図示せぬ、ユーザーインターフェースから、既に記録されている画像データのどのポイント（ＩＤＲピクチャ）から追加記録するかを指定してもらい、そのＩＤＲピクチャのアクセス情報を読み取り、ＣＰＢ値、アドレスを得る。これらの値はパラメータ設定器１４に入力されてパラメータが設定され、画像符号化器１５においてその設定値から、追加記録する画像信号のＨ.２６４符号化方式による符号化が開始される。
【００３３】
一方、符号化データサーチ器１７では途中追加記録を開始する位置を、データ読み取り部１２からの再生信号に基づいて、既に記録してあるビットストリームに対してサーチする。サーチは再生したデータの相対アドレスを用いて、そのビットストリームファイルの頭からの位置にポインタを設定する。
【００３４】
画像符号化器１５では画像信号の符号化を行い、それにより得られるＨ.２６４画像データをデータ書き込み部１８へ出力しながら、ビットストリームのＩＤＲピクチャの１フレーム前のピクチャ符号化終了時点での発生符号量とＣＰＢ値を、ＩＤＲピクチャの符号化の都度毎回、アクセス情報作成部１６へ供給する。
【００３５】
アクセス情報作成部１６は、入力された発生符号量値とＣＰＢ値から図３（Ａ）、（Ｂ）に示すアクセス情報のデータを作成する。もしくはそのデータ構造を作成するのに必要なデータをメモリして所定のフォーマットで記録保持する。アクセス情報作成部１６で作成されたアクセス情報は、データ書き込み部１８によりＨ.２６４画像データが記録媒体１１の所定領域に書き込まれている時に、同時にバースト的に上記の所定領域とは異なる領域に書き込まれる。
【００３６】
このように、本実施の形態によれば、既に記録されているビットストリームの途中から追加書き込みをする場合には、追加記録開始位置として指定されたＩＤＲピクチャのアクセス情報を記録媒体１１から読み取り、ビットストリームのＩＤＲピクチャの１フレーム前のピクチャ符号化終了時点での発生符号量とＣＰＢ値を得て、パラメータ設定器１４に入力してパラメータを設定し、画像符号化器１５においてその設定値から、追加記録する画像信号のＨ.２６４符号化方式による符号化を開始するようにしたため、ＣＰＢ値が不連続になることはなく、ＣＰＢのオーバーフロー・アンダーフローの矛盾なくビットストリームを再生することが可能な符号化や記録ができる。
【００３７】
なお、アクセス情報作成部１６で作成されたアクセス情報は、Ｈ.２６４画像データが記録媒体１１に書き込み終わったときに、すなわち、ユーザが画像圧縮記録を一時停止、もしくは終了した後に所定のフォーマットで記録保持されていたデータから、図３（Ａ）、（Ｂ）の構造に変換してデータ書き込み部１８により記録媒体１１に書き込みを行ってもよい。このようにして、新たに生成されたＨ.２６４画像データは、既に記録されているビットストリームの途中の追加記録するポイントから、追加記録される。
【００３８】
なお、既に記録されているビットストリームの途中部分に追加記録される新たなＨ.２６４画像データは、記録媒体１１上に既に記録されている部分に上書きされるように記録されてもよいし、既にビットストリームが記録されている記録媒体１１上の部分とは全く別の部分に記録されてもよい。
【００３９】
また、上記説明では、Ｈ.２６４符号化方式による符号化をフレーム単位で行う方法を前提としているが、勿論フィールド単位で行ってもよく、その場合フレームをフィールドと読み替える。また、ＩＤＲピクチャを使って説明を行ったが、参照ピクチャを制限したり、デコードの順番を制限したりすることでＩピクチャを用いても同様にシームレスな再生が可能である。
【００４０】
（第２の実施の形態）
図４は本発明になる画像データ記録装置の第２の実施の形態のブロック図を示す。同図中、図１と同一構成部分には同一符号を付してある。前記の第１の実施の形態では、アクセス情報（ＣＰＢ値）をビットストリームと別ファイルとしているため、機器から機器へビットストリームだけが伝送されるアプリケーションでは、受信側でビットストリームをデコードするなりして、再度アクセス情報を作り直さなければならない。そこで、本実施の形態は、ビットストリーム中にＣＰＢ値を埋め込む構成としたものである。
【００４１】
Ｈ.２６４符号化方式のビットストリームは図５に示すような、ネットワーク抽象レイヤ（ＮＡＬ;Network Abstraction Layer）ユニット（ＮＡＬ＿ｕｎｉｔ）という単位で構成されている。ＮＡＬユニットはＮＡＬヘッダと、ｒｂｓｐ（Raw byte sequence payload）バイトとデータを含むが、その内容は参照ピクチャであるかどうかを示すフラグ（nal_ref_idc）と、ＮＡＬユニットの種類を示す識別子（nal_unit_type）の値で識別される。
【００４２】
図６はデータがｓｅｉ＿ｒｂｓｐ（supplement enhancement information ＲＢＳＰ）のときの表現規則（シンタックス：ｓｙｎｔａｘ）を示し、図７はｓｅｉ＿ｒｂｓｐの中のｓｅｉ＿ｍｅｓｓａｇｅのシンタックス（ｓｙｎｔａｘ）を示す。ｓｅｉ＿ｍｅｓｓａｇｅの中には各ピクチャのタイミング情報やランダムアクセス用の情報などピクチャの復号に直接関係のない付加情報が格納される。
【００４３】
図８はＨ.２６４勧告で定義されているＳＥＩメッセージ（ｓｅｉ＿ｍｅｓｓａｇｅ）の一部を示す。ｓｅｉ＿ｍｅｓｓａｇｅは、ｓｅｉ＿ｐａｙｌｏａｄ中のｐａｙｌｏａｄＴｙｐｅの値でその中身が判断される。図８に示すように、「ｐａｙｌｏａｄＴｙｐｅ＝５」は「ｕｓｅｒ＿ｄａｔｅ＿ｕｎｒｅｇｉｓｔｅｒｅｄ」と定義されている。「ｕｓｅｒ＿ｄａｔａ＿ｕｎｒｅｇｉｓｔｅｒｅｄ」は、ユーザが独自に定義する情報を格納することができる。前述したＣＰＢ値は「ｕｓｅｒ＿ｄａｔａ＿ｕｎｒｅｇｉｓｔｅｒｄ」と呼ばれる。そこで、本実施の形態では、ＳＥＩメッセージの形式を使用して画像データと共に記録する。
【００４４】
図９は上記のＣＰＢ ＳＥＩメッセージの形式を示す。図９において、「ｕｕｉｄ＿ｉｓｏ＿ｉｅｃ＿１１５７８」は１２８ビットの固定値であり、使用するユーザが定義する。また、インジケータ（ｉｎｄｅｉｃａｔｏｒ）は３２ビットの固定値であり、ユーザが複数定義したユーザーデータのうちＣＰＢ ＳＥＩメッセージであることを識別するのに使われる。マーカビット（marker_bit）は単純に“１”が１ビット挿入される。また、図９の「ＣＰＢ＿ｏｃｃｕｐａｎｃｙ」は、前述したＩＤＲピクチャの１フレーム前のピクチャの符号化終了時点でのＣＰＢ値（ＣＰＢのバッファ占有値）である。以上の情報がＣＰＢ ＳＥＩメッセージとしてビットストリーム中に挿入される。
【００４５】
ＣＰＢ値の挿入位置について、図１０を使って更に説明をする。ビットストリームはＩピクチャ（ＩＤＲピクチャでもよい）から始まるデータグループ単位で時系列的に合成されている。また、Ｉピクチャは、ＡＵデリミタ（Access Unit Delimiter）３１を先頭にＳＰＳ(Sequence Parameter Set)３２，ＰＰＳ(Picture Parameter Set)３３，ＳＥＩ(Supplemental Enhancement Information)３４，Ｉピクチャ３５の順で構成されている。アクセスユニットの先頭を示す開始符号であるＡＵデリミタ３１と、シーケンス全体の符号化に関する情報を含むヘッダであるＳＰＳ３２と、ピクチャ全体の符号化モードを示すヘッダであるＰＰＳ３３と、各ピクチャのタイミング情報やランダムアクセス情報などの付加情報を含むヘッダであるＳＥＩ３４とはそれぞれＨ.２６４勧告で定義されているＮＡＬユニットを構成している。また、Ｉピクチャ、Ｐピクチャ、ＢピクチャはスライスＮＡＬユニットで構成されており、符号化の基本単位である一つのスライスに１枚のピクチャが含まれている。本実施の形態ではＮＡＬユニットのＳＥＩ３４中のＳＥＩメッセージに図９に示したＣＰＢ ＳＥＩメッセージの形式で前述のＣＰＢ値が挿入される。
【００４６】
また、本実施の形態では、アクセス情報は図１１（Ａ）、（Ｂ）に示す構造体とされて記録される。図１１（Ａ）に示すアクセス情報の各々は、図１０のデータグループ毎に存在し、そのデータ構造は図１１（Ｂ）に示すように、対応するデータグループの先頭のＩピクチャ（またはＩＤＲピクチャ）の表示時刻を示すＰＴＭ(Presentation TiMe)と、対応するデータグループの先頭のＩピクチャ（またはＩＤＲピクチャ）のアドレスとからなる。
【００４７】
次に、図４に示した本実施の形態の画像データ記録装置が、Ｈ.２６４符号化方式で画像データを符号化しながらアクセス情報を作成して記録する動作を説明する。まず、記録媒体１１に符号化データが全く記録されていない状態、すなわち、初めて符号化する場合の動作について説明する。この場合には、記録媒体１１の記録データを読み取るデータ読み取り部１２は、記録データが存在しないので、記録データが存在しないという情報をアクセス情報検出器２０に供給する。アクセス情報検出器２０はデータ読み取り部１２からの情報に基づいて記録データが存在しないことを判別した時は、パラメータ設定器１４に予め設定した初期値を設定する。パラメータ設定器１４は、設定された初期値を画像符号化器２１に供給する。
【００４８】
画像符号化器２１は、外部から入力される記録すべき画像信号に対して、Ｈ.２６４符号化方式に従って初期値から圧縮符号化を開始して、各ピクチャ（画像データ）が時系列的に合成されたビットストリームを生成して合成器２２へ出力する。また、画像符号化器２１では上記の符号化を行いながら、ビットストリームのＩピクチャの１フレーム前の符号化終了時点でのＣＰＢ値をＩピクチャの符号化を行う都度合成器２２へ出力する。
【００４９】
合成器２２は、画像符号化器２１と共に画像データ符号化装置を構成しており、上記のＣＰＢ値を、図９に示したＣＰＢ ＳＥＩメッセージの形式で上記のビットストリーム中の各Ｉピクチャの直前に挿入したビットストリームを生成し、そのビットストリームをアクセス情報作成部２３とデータ書き込み部２５へ供給する。
【００５０】
アクセス情報作成部２３では、入力されたビットストリームのＨ.２６４画像データをカウントしていくと共に、上記のＣＰＢ ＳＥＩメッセージを検出し、検出したＣＰＢ ＳＥＩメッセージの先頭のカウント値をアドレスとして、図１１（Ａ）、（Ｂ）に示した構造のアクセス情報を作成するか、もしくはそのデータ構造を作成するのに必要なデータをメモリして所定のフォーマットで記録保持する。アクセス情報作成部２３で作成されたアクセス情報は、データ書き込み部２５によりＨ.２６４画像データが記録媒体１１の所定領域に書き込まれている時に、同時にバースト的に上記の所定領域とは異なる領域に書き込まれる。
【００５１】
なお、アクセス情報作成部２３で作成されたアクセス情報は、ビットストリームが記録媒体１１に書き込み終わったときに、すなわち、ユーザが画像圧縮記録を一時停止、もしくは終了した後に所定のフォーマットで記録保持されたいデータから、図１１（Ａ）、（Ｂ）の構造に変換してデータ書き込み部２５により記録媒体１１に書き込みを行ってもよい。
【００５２】
記録の終了タイミングはＩピクチャの直前とすると、特殊再生等に都合がよい。図１０で説明すると、ＩピクチャＩ３の符号化から後に、記録終了の指示があった場合にはＩピクチャＩ４直前のＢピクチャまで画像データは記録し、またアクセス情報はＩ４の分まで記録する。
【００５３】
次に、記録媒体１１に前記したアクセス情報と共に既に記録されているビットストリームに対して、ビットストリーム中の任意の位置から追加して新たな画像データを記録する場合について説明する。記録媒体１１には既にビットストリームとアクセス情報とが記録されている。従って、データ読み取り部１２ではアクセス情報を記録媒体１１から読み取り、Ｉピクチャのアドレス値を得る。追加記録が既に記録されているビットストリームの一番最後から行われる場合には、記録媒体１１から再生したアクセス情報の一番最後のアドレス値を参照する。記録媒体１１上において、新たなＨ.２６４画像データが追加記録される位置は、既に記録されているＨ.２６４画像データの記録部分に続く位置でもよいし、全く別の位置でもよい。
【００５４】
一方、既に記録されているビットストリームの途中から追加書き込みをする場合には、図示せぬ、ユーザーインターフェースから、既に記録されている画像データのどのポイント（Ｉピクチャ）から追加記録するかを指定してもらい、そのＩピクチャのアクセス情報を読み取り、アドレスを得る。アドレス値は符号化データサーチ器２６に供給される。符号化データサーチ器２６は、途中追加記録を開始する位置を、データ読み取り部１２からの再生信号に基づいて、既に記録してあるビットストリームに対してサーチする。サーチは再生したデータの相対アドレスとアクセス情報検出器２０からのアドレス値とを用いて、追加記録するポイント（Ｉピクチャ）の頭からの位置にポインタを設定する。
【００５５】
再びデータ読み取り部１２は、記録媒体１１に記録されているビットストリームのうち、符号化データサーチ器２６からの指示されたアドレスよりデータを読み出し、ＣＰＢ ＳＥＩメッセージをアクセス情報検出器２０に供給する。アクセス情報検出器２０はＣＰＢ ＳＥＩメッセージからＣＰＢ値を抜き出し、パラメータ設定器１４に供給し、画像符号化器２１においてその設定値から、追加記録する画像信号のＨ.２６４符号化方式による符号化を開始させる。
【００５６】
画像符号化器２１では符号化を行って生成したビットストリームを合成器２２へ供給しながら、そのＩピクチャの１フレーム前の符号化終了時点でのＣＰＢ値を合成器２２に供給する。合成器２２は画像符号化器２１からのビットストリーム中に、画像符号化器２１からのＣＰＢ値を図９に示したＣＰＢ ＳＥＩメッセージの形式で毎回、Ｉピクチャの直前に挿入し、得られた合成ビットストリームをアクセス情報作成器２３とデータ書き込み部２５へ供給する。
【００５７】
以下、上記の記録媒体１１に、最初にＨ.２６４画像データを記録する場合と同様にして、ＣＰＢ値がＣＰＢ ＳＥＩメッセージの形式で挿入されたビットストリームが生成される。このビットストリームは、既に記録されているＨ.２６４画像データの途中追加記録するポイントからデータ書き込み部２５により記録媒体１１に書き込まれると共に、それと同時にバースト的にアクセス情報が記録媒体１１の別の領域に書き込まれる。このようにして、新たに生成されたＨ.２６４画像データは、既に記録されているビットストリームの途中の追加記録するポイントから追加記録される。
【００５８】
このように、本実施の形態によれば、既に記録されているビットストリームの途中から追加書き込みをする場合には、追加記録開始位置として指定されたＩピクチャのアドレスを記録媒体１１から読み取ってポインタを設定した後、その指定されたＩピクチャを再生してその１フレーム前のピクチャ符号化終了時点でのＣＰＢ値を得て、パラメータ設定器１４に入力してパラメータを設定し、画像符号化器１５においてその設定値から画像信号のＨ.２６４符号化方式による符号化を開始して生成したＨ.２６４画像データを追加記録するようにしたため、既に記録されているビットストリームの途中追加記録するポイントから書き込まれるＨ.２６４画像データのＣＰＢ値が不連続になることはなく、ＣＰＢのオーバーフロー・アンダーフローの矛盾なくビットストリームを再生することが可能な符号化や記録ができる。
【００５９】
なお、アクセス情報作成部２３で作成されたアクセス情報は、Ｈ.２６４画像データが記録媒体１１に書き込み終わったときに、すなわち、ユーザが画像圧縮記録を一時停止、もしくは終了した後に所定のフォーマットで記録保持されていたデータから、図１１（Ａ）、（Ｂ）の構造に変換してデータ書き込み部２５により記録媒体１１に書き込みを行ってもよい。
【００６０】
また、既に記録されているビットストリームの途中部分に追加記録される新たなＨ.２６４画像データは、記録媒体１１上に既に記録されている部分に上書きされるように記録されてもよいし、既にビットストリームが記録されている記録媒体１１上の部分とは全く別の部分に記録されてもよい。更に、上記説明では、Ｈ.２６４符号化をフレーム単位で行う方法を前提としているが、勿論フィールド単位で行ってもよく、その場合フレームをフィールドと読み替える。
【００６１】
次に、上記のように作成したＨ.２６４画像データを、伝送路を使って別の装置に記録する場合について、図４及び図１２のブロック図と共に説明する。図１２において、記録媒体４１に記録されているＨ.２６４画像データを含むビットストリームは、再生装置４２によって再生された後、伝送路を介して記録装置４３に供給される。この記録装置４３に供給されるビットストリームには、ＣＰＢ ＳＥＩメッセージに前述したＣＰＢ値が埋め込まれている。
【００６２】
記録装置４３は図４のブロック図に示した構成であり、伝送路を介して入力されたビットストリームは、ビットストリーム受信部２４により受信された後、アクセス情報作成部２３及びデータ書き込み部２５に送られる。アクセス情報作成部２３では、入力されたビットストリームのＨ.２６４画像データをカウントしていくと共に、ＣＰＢ ＳＥＩメッセージを検出し、検出したＣＰＢ ＳＥＩメッセージの先頭のカウント値をアドレスとして、図１１（Ａ）、（Ｂ）に示す構造のアクセス情報を作成するか、又はそのデータ構造を作成するのに必要なデータをメモリして所定のフォーマットで記録保持する。アクセス情報作成部２３で作成されたアクセス情報は、データ書き込み部２５に供給される。
【００６３】
図４のアクセス情報作成部２３で作成されたアクセス情報は、ビットストリーム受信部２４により受信された、ＣＰＢ値が埋め込まれているビットストリームが、データ書き込み部２５により図１２の記録媒体４４の所定領域に書き込まれている時に、同時にバースト的に上記の所定領域とは異なる領域に書き込まれる。このように、本実施の形態では、ビットストリームだけが伝送されるアプリケーションであっても、受信したビットストリームにＣＰＢ値を埋め込んでおくことにより、ビットストリームをデコードしてＣＰＢ値を生成しなくても、ＣＰＢ値を含むビットストリームを記録媒体４４に記録できると共に、Ｉピクチャの先頭アドレスを示すアクセス情報も新たに生成して同時に記録できる。
【００６４】
なお、アクセス情報作成部２３で作成されたアクセス情報は、ビットストリームが記録媒体４４に書き込み終わったときに、すなわち、ユーザが画像圧縮記録を一時停止、もしくは終了した後に所定のフォーマットで記録保持されたいデータから、図１１（Ａ）、（Ｂ）の構造に変換してデータ書き込み部２５により記録媒体４４に書き込みを行ってもよい。
【００６５】
記録の終了タイミングはＩピクチャの直前とすると、特殊再生等に都合がよい。図１０で説明すると、ＩピクチャＩ３の符号化から後に、記録終了の指示があった場合にはＩピクチャＩ４直前のＢピクチャまで画像データは記録し、またアクセス情報はＩ４の分まで記録する。また、本実施の形態では、ＣＰＢ値がＩピクチャ内のＣＰＢ ＳＥＩメッセージに埋め込まれているものとして説明したが、ＩＤＲピクチャでも同様にＣＰＢ値を埋め込むことが可能である。
【００６６】
なお、以上の実施の形態の説明はＨ.２６４画像データを記録する場合についてであるが、実際にはオーディオデータなどと混在したデータを記録することになるかもしれない。たとえば、勧告Ｈ.２２２は多重化についての手段が規定されている。この場合基本的にはＨ.２６４画像データはパケット化されてオーディオデータと多重化されて記録される。この場合でもアクセス情報構造体に格納するアドレスをデータグループの先頭のデータを含むパケットのアドレスとすることで、以上の説明と同様に記録、編集、追記が可能となる。
【図面の簡単な説明】
【００６７】
【図１】本発明の画像データ記録装置の第１の実施の形態のブロック図である。
【図２】図１の画像データ記録装置で記録されるビットストリームの一例の構造を示す図である。
【図３】図１の画像データ記録装置で記録されるアクセス情報の構造を示す図である。
【図４】本発明の画像データ記録装置の第２の実施の形態のブロック図である。
【図５】ＮＡＬユニットの構成を示す図である。
【図６】データがｓｅｉ＿ｒｂｓｐのときのシンタックスを示す図である。
【図７】ｓｅｉ＿ｒｂｓｐの中のｓｅｉ＿ｍｅｓｓａｇｅのシンタックスを示す図である。
【図８】Ｈ.２６４勧告で定義されているＳＥＩメッセージの一部を示す図である。
【図９】ＣＰＢ ＳＥＩメッセージを示す図である。
【図１０】Ｈ.２６４符号化方式のビットストリームの構成とＮＡＬユニットを示す図である。
【図１１】図４の画像データ記録装置が生成して記録するアクセス情報の一例の構造を示す図である。
【図１２】本発明の画像データ記録装置の第２の実施の形態を含む記録再生システムの一例を示すブロック図である。
【図１３】ＩＤＲピクチャの位置で編集を行うことにより、シームレスな再生が可能になることを説明する図である。
【符号の説明】
【００６８】
１１ 記録媒体
１２ データ読み取り部
１３、２０ アクセス情報検出器
１４ パラメータ設定器
１５、２１ 画像符号化器
１６、２３ アクセス情報作成部
１７、２６ 符号化データサーチ器
１８、２５ データ書き込み部
２２ 合成器
２４ ビットストリーム受信部
【技術分野】
【０００１】
本発明は画像データ記録装置及び画像データ符号化装置に係り、特にＨ.２６４符号化方式で画像データを圧縮符号化して記録媒体に記録する画像データ記録装置、及びその画像データを生成する画像データ符号化装置に関する。
【背景技術】
【０００２】
時間軸上に連続する動画像をディジタル信号の情報として取り扱い、その際、効率の高い情報の放送、伝送又は蓄積等を目的とし、時間方向の冗長性を利用して動き補償予測を用い、空間方向の冗長性を利用して離散コサイン変換等の直交変換を用いて符号化圧縮するＭＰＥＧ（Moving Picture Experts Group）１，２などの符号化方式が提案され、また、従来より実用化されているが、近年、国際標準化機構（ＩＳＯ）と国際電気標準会議（ＩＥＣ）のジョイント技術委員会（ＩＳＯ／ＩＥＣ）と、国際電気通信連合電気通信標準化部門（ＩＴＵ−Ｔ）の共同チームであるＪＶＴ（Joint Video Team）での規格化作業によって、ＭＰＥＧ−４ ＡＶＣ／Ｈ.２６４と呼ばれる符号化方式（ＩＳＯ／ＩＥＣでは１４４９６−１０、ＩＴＵ‐ＴではＨ.２６４の規格番号がつけられている。以下、本明細書ではこれをＨ.２６４符号化方式と呼ぶ）が国際標準として制定された。
【０００３】
このＨ.２６４符号化方式では、圧縮アルゴリズムの原理は従来のＭＰＥＧ１，２などと基本的には同様で、離散コサイン変換（ＤＣＴ）やフレーム間予測、量子化、ハフマン符号などによるエントロピー符号化を採用している。また、Ｈ.２６４符号化方式では、これらのツールに対して非常に多数の改良が施されており、算術符号化やデブロッキングフィルタなどのツールも追加されており、更に、画像特徴に応じて多彩なモードを適応的に使い分けることで、従来のＭＰＥＧ−２ビデオやＭＰＥＧ−４ビジュアル等の符号化方式に比べ、遥かに高い符号化効率を実現している。
【０００４】
また、記録用途なども考慮されており、ディスクなどに記録されたＨ.２６４符号化方式により符号化された画像データを、ビットストリームの先頭から再生するだけでなく、途中の見たい場面から再生できる機能（ランダム・アクセス）をサポートしている。その一つが、ＩＤＲ（Instantaneous Decoder Refresh）ピクチャである。このＩＤＲピクチャは、そのピクチャより前のピクチャの情報を使わなくても、それ以後ピクチャが正しく復号できることを意味するデコーダ動作瞬時リフレッシュ用の特別なピクチャである。
【０００５】
Ｈ.２６４符号化方式では復号画像を出力する際に符号化順序から復号画像の出力順序（出力先の表示装置等で表示する際に望ましい順序）に並び替えるために、参照ピクチャと、非参照ピクチャの両方をメモリに格納する必要があり、符号化された符号化列（ビットストリーム）には、画像毎にＰＯＣ（Picture Order Count;ピクチャの表示順序を示す）と呼ばれる出力順序を示す情報が符号化されており、復号画像の出力順序で番号がつけられている。
【０００６】
上記のＩＤＲピクチャではすべての参照ピクチャが開放されて参照不可能になり、ＰＯＣやフレーム番号も”０”にリセットされる。ＩＤＲピクチャでは復号に必要な情報が初期化されるため、任意のＩＤＲピクチャから再生を開始でき、ランダム・アクセスの開始位置となる。このため、定期的にＩＤＲピクチャとして符号化を行うことによって、ビットストリームの中の任意のピクチャの近くから、再生可能なビットストリームを生成することができる。
【０００７】
また、同様な理由でＩＤＲピクチャは編集点となる。ＩＤＲピクチャの位置で編集を行うと、図１３にて示すようにシームレスな再生が可能である。また、フレーム間予測を使わず、前後の画面とは関係なくその画面内（イントラ）だけで独立して符号化されるＩピクチャにおいても、予め編集点を考慮した符号化を行えば、シームレスな再生が可能である。
【０００８】
一方、Ｈ.２６４符号化方式では、符号化して得られた画像データ等からなるビットストリームを、伝送路を介してデコーダ側のバッファに一旦蓄積してからそのバッファから読み出して復号し画像再生するので、デコーダ側のバッファをオーバーフロー及びアンダーフローさせないように（デコーダを破綻させないように）、エンコーダ側でビットストリームを生成するため、仮想参照デコーダ（ＨＲＤ；Hypothetical Reference Decoder）の概念を導入し、ＨＲＤを破綻させないように、エンコーダが生成するビットストリームに制限を加えている。
【０００９】
このＨＲＤには、デコーダに入力される前のビットストリームを保存する符号化ピクチャバッファ（ＣＰＢ;Coded Picture Buffer）と、デコーダが復号したピクチャを保存する復号ピクチャバッファ（ＤＰＢ;Decoded Picture Buffer）の２つの仮想バッファが規定されている。このうち、ＣＰＢの説明が特許文献１になされており、リカバリ・ポイントＳＥＩ（特許文献１中には、ランダムアクセスＳＥＩと書かれているが、標準化前のドラフトの内容であり、標準（規格）の中にはランダムアクセスＳＥＩはない）を使ったランダムアクセス方法が特許文献１に開示されている。
【００１０】
【特許文献１】特開２００４−１８６８４０号公報
【発明の開示】
【発明が解決しようとする課題】
【００１１】
ＩＤＲピクチャあるいはＩピクチャを使った追加記録や編集を行う場合、図１３のようにシームレスに再生できるが、ＣＰＢ値（ＣＰＢのバッファ占有値）が編集点の前後で不連続になるため、ＣＰＢがオーバーフローしたり、アンダーフローしたりする。しかるに、この対策については上記の特許文献１には全く記載がない。上記の状態は本来、標準（規格）で認められていない状態であり、デコーダがユーザ（編集者）の意図通りに再生しないことが考えられる。
【００１２】
本発明は上記の点に鑑みなされたもので、追加記録・編集した場合でも、再生時にＣＰＢのオーバーフロー・アンダーフローの矛盾なく再生することが可能な符号化や記録を行い得る画像データ記録装置及び画像データ符号化装置を提供することを目的とする。
【課題を解決するための手段】
【００１３】
上記の目的を達成するため、第１の発明は、画像信号をＨ.２６４符号化方式で圧縮符号化して得たＨ．２６４画像データのビットストリームを記録媒体に記録する画像データ記録装置において、Ｈ.２６４符号化方式で規定された仮想参照デコーダに入力される前のビットストリームを保存する符号化ピクチャバッファにおいて、この符号化ピクチャバッファの容量に対して保存されるビットストリームの占有値を示すＣＰＢ値に応じて設定されたパラメータを用いて、画像信号のＨ.２６４符号化方式での圧縮符号化を開始し、それぞれＨ.２６４画像データによる複数のピクチャからなるデータグループ単位で合成されており、データグループの各々は先頭のピクチャが他のピクチャを参照しないで符号化したＩピクチャ又はデコーダ動作瞬時リフレッシュ用のＩＤＲピクチャが配置されたビットストリームを生成する符号化手段と、符号化手段からＩピクチャ又はＩＤＲピクチャを生成する都度出力される、ビットストリームにおけるＩピクチャ又はＩＤＲピクチャの１画像単位前の符号化終了時点での発生符号量とＣＰＢ値とに基づいて、ＣＰＢ値とそのＣＰＢ値がビットストリームにおけるどの時点でのＣＰＢ値であるかを示すアドレス情報とからなるアクセス情報を作成するアクセス情報作成手段と、符号化手段から出力されたビットストリームと、アクセス情報作成手段で作成されたアクセス情報とを、記録媒体の異なる領域にそれぞれ記録する記録手段とを有することを特徴とする。
【００１４】
この発明では、ビットストリームにおけるＩピクチャ又はＩＤＲピクチャの１画像単位前の符号化終了時点での発生符号量とＣＰＢ値とに基づいて、ＣＰＢ値とそのＣＰＢ値がビットストリームにおけるどの時点でのＣＰＢ値であるかを示すアドレス情報とからなるアクセス情報をビットストリームと共に記録媒体に記録するようにしたため、ＩＤＲピクチャあるいはＩピクチャを使った追加記録や編集を行う場合、再生したアクセス情報から得られるＣＰＢ値を用いて追加記録や編集する画像信号の符号化ができる。
【００１５】
また、上記の目的を達成するため、第２の発明は、画像信号をＨ.２６４符号化方式で圧縮符号化して得たＨ．２６４画像データのビットストリームを記録媒体に記録する画像データ記録装置において、Ｈ.２６４符号化方式で規定された仮想参照デコーダに入力される前のビットストリームを保存する符号化ピクチャバッファにおいて、この符号化ピクチャバッファの容量に対して保存されるビットストリームの占有値を示すＣＰＢ値に応じて設定されたパラメータを用いて、画像信号のＨ.２６４符号化方式での圧縮符号化を開始し、それぞれＨ.２６４画像データによる複数のピクチャからなるデータグループ単位で合成されており、データグループの各々は先頭のピクチャが他のピクチャを参照しないで符号化したＩピクチャ又はデコーダ動作瞬時リフレッシュ用のＩＤＲピクチャが配置されたビットストリームを生成する符号化手段と、符号化手段からＩピクチャ又はＩＤＲピクチャを生成する都度出力される、ビットストリームにおけるＩピクチャ又はＩＤＲピクチャの１画像単位前の符号化終了時点でのＣＰＢ値を、そのＣＰＢ値に対応するＩピクチャ又はＩＤＲピクチャを先頭とするデータグループの先頭に、ピクチャの復号に直接関係のない付加情報ＳＥＩとして合成する合成手段と、この合成手段から出力される付加情報ＳＥＩが合成されたビットストリーム中のＨ.２６４画像データの数をカウントしていくと共に、付加情報ＳＥＩを検出し、この検出時点のカウント値をアドレスとするアクセス情報を作成するアクセス情報作成手段と、合成手段から出力された付加情報ＳＥＩが合成されたビットストリームと、アクセス情報作成手段で作成されたアクセス情報とを、記録媒体の異なる領域にそれぞれ記録する記録手段とを有することを特徴とする。
【００１６】
この発明では、ビットストリームにおけるＩピクチャ又はＩＤＲピクチャの１画像単位前の符号化終了時点でのＣＰＢ値を、そのＣＰＢ値に対応するＩピクチャ又はＩＤＲピクチャを先頭とするデータグループの先頭に付加情報ＳＥＩとして合成したビットストリームと、付加情報ＳＥＩとして合成されたＣＰＢ値がビットストリームのどの時点におけるＣＰＢ値であるかを示すアドレス情報とを記録媒体に記録するようにしたため、ＩＤＲピクチャあるいはＩピクチャを使った追加記録や編集を行う場合、再生したＣＰＢ値を用いて追加記録や編集する画像信号の符号化ができる。また、ＣＰＢ値はビットストリーム中の付加情報ＳＥＩから得ることができる。
【００１７】
また、上記の目的を達成するため、第３の発明は、画像信号をＨ.２６４符号化方式で圧縮符号化してＨ．２６４画像データのビットストリームを生成する画像データ符号化装置において、Ｈ.２６４符号化方式で規定された仮想参照デコーダに入力される前のビットストリームを保存する符号化ピクチャバッファにおいて、この符号化ピクチャバッファの容量に対して保存されるビットストリームの占有値を示すＣＰＢ値に応じて設定されたパラメータを用いて、画像信号のＨ.２６４符号化方式での圧縮符号化を開始し、それぞれＨ.２６４画像データによる複数のピクチャからなるデータグループ単位で合成されており、データグループの各々は先頭のピクチャが他のピクチャを参照しないで符号化したＩピクチャ又はデコーダ動作瞬時リフレッシュ用のＩＤＲピクチャが配置されたビットストリームを生成する符号化手段と、符号化手段からＩピクチャ又はＩＤＲピクチャを生成する都度出力される、ビットストリームにおけるＩピクチャ又はＩＤＲピクチャの１画像単位前の符号化終了時点でのＣＰＢ値を、そのＣＰＢ値に対応するＩピクチャ又はＩＤＲピクチャを先頭とするデータグループの先頭に、ピクチャの復号に直接関係のない付加情報ＳＥＩとして合成したビットストリームを生成する合成手段とを有することを特徴とする。この発明では、第２の発明で記録媒体に記録するビットストリームを生成することができる。
【発明の効果】
【００１８】
本発明によれば、ビットストリームにおけるＩピクチャ又はＩＤＲピクチャの１画像単位前の符号化終了時点でのＣＰＢ値（ＣＰＢのバッファ占有値）と、そのＣＰＢ値がビットストリームにおけるどの時点でのＣＰＢ値であるかを示すアドレス情報とからなるアクセス情報をビットストリームと共に記録媒体に記録することにより、ＩＤＲピクチャあるいはＩピクチャを使った追加記録や編集を行う場合、記録媒体から再生したアクセス情報から得られるＣＰＢ値を用いて追加記録や編集する画像信号の符号化を行うことができ、これによりＣＰＢ値が編集点の前後で不連続になることを回避できるため、符号化ピクチャバッファ（ＣＰＢ）のオーバーフローやアンダーフローに基づく、再生画像の破綻、システムの破綻を防止することができる。
【００１９】
また、本発明によれば、ビットストリームにおけるＩピクチャ又はＩＤＲピクチャの１画像単位前の符号化終了時点でのＣＰＢ値を、そのＣＰＢ値に対応するＩピクチャ又はＩＤＲピクチャを先頭とするデータグループの先頭に付加情報ＳＥＩとして合成したビットストリームを記録媒体に記録するようにしたため、上記の記録媒体から再生したＣＰＢ値が合成されたビットストリームを別の記録装置で別の記録媒体に記録する場合に、新たにビットストリームを復号してＣＰＢ値を検出する手段を不要にできる。
【発明を実施するための最良の形態】
【００２０】
次に、本発明の実施の形態について図面と共に説明する。
【００２１】
（第１の実施の形態）
図１は本発明になる画像データ記録装置の第１の実施の形態のブロック図を示す。同図において、光ディスク等の記録媒体１１には、Ｈ.２６４符号化方式で圧縮符号化された画像データであるＨ.２６４画像データが記録される。このＨ.２６４画像データは、定期的にフレームをＩＤＲピクチャとして符号化されており、図２に模式的に示すように、一回の記録単位で符号化生成された連続再生可能なデータが複数連続して連なったビットストリームとして、記録媒体１１のデータ領域に記録される。
【００２２】
なお、図２において、ＩＤＲはＩＤＲピクチャを示し、その先頭位置がＩＤＲアドレスによって識別される。また、図２において、Ｐは符号化対象の当該フレームのブロックと当該フレームよりも時間軸上で過去に存在するフレーム（ＩＤＲピクチャ、Ｉピクチャ又はＰピクチャ）の参照ブロックとの間の動きベクトルに基づく順方向予測符号化によって符号化されたＰピクチャ、Ｂは符号化対象の当該フレームのブロックと当該フレームよりも時間軸上で過去と未来の制約にとらわれず、過去と未来のどちらか一方又は両方の最大２枚のフレームの参照ブロックとの間の動きベクトルに基づく双予測符号化によって符号化されたＢピクチャである。
【００２３】
本実施の形態は、記録媒体１１上の図２に示したビットストリームの記録領域とは別の領域に、図３（Ａ）に示すように、ビットストリーム中のＩＤＲピクチャのアクセス情報をＩＤＲピクチャの記録数だけ連なって記録する点に特徴がある。ここで、図３（Ａ）に示すＩＤＲアクセス情報の各々は、図２のＩＤＲピクチャに１対１に対応しており、そのデータ構造は図３（Ｂ）に示すように、対応するＩＤＲピクチャの記録媒体１１上での記録開始位置を示すＩＤＲアドレスと、対応するＩＤＲピクチャの１フレーム前のピクチャの符号化終了時点でのＣＰＢ値（ＣＰＢのバッファ占有値）とを少なくとも有する。
【００２４】
また、ＩＤＲアクセス情報の各々には、上記以外にもＩＤＲピクチャに係る情報として、例えば、図３（Ｂ）に示すＰＴＭ（Presentation Time）値などが記述される。このＰＴＭ値は、ＩＤＲピクチャが表示されるべき時間を示す情報であり、これらのＩＤＲアクセス情報が記録されていると、図示せぬユーザーインターフェース手段から時間情報をもとにユーザーが編集点を指定することができる。
【００２５】
次に、図１の画像データ記録装置が、Ｈ.２６４符号化方式で画像データを符号化しながらアクセス情報を作成して記録する動作を説明する。まず、記録媒体１１に符号化データが全く記録されていない状態、すなわち、初めて符号化する場合の動作について説明する。この場合には、記録媒体１１の記録データを読み取るデータ読み取り部１２は、記録データが存在しないので、記録データが存在しないという情報をアクセス情報検出器１３に供給する。アクセス情報検出器１３はデータ読み取り部１２からの情報に基づいて記録データが存在しないことを判別した時は、パラメータ設定器１４に予め設定した初期値を設定する。パラメータ設定器１４は、設定された初期値を画像符号化器１５に供給する。
【００２６】
画像符号化器１５は、外部から入力される記録すべき画像信号に対して、Ｈ.２６４符号化方式に従って初期値から圧縮符号化を開始して、図２に示したような各ピクチャ（画像データ）が時系列的に合成されたビットストリームを生成してデータ書き込み部１８へ出力する。また、画像符号化器１５では上記の符号化を行いながら、ビットストリームのＩＤＲピクチャの１フレーム前の符号化終了時点での発生符号量とＣＰＢ値を、ＩＤＲピクチャを生成する都度毎回、アクセス情報作成部１６へ供給する。
【００２７】
アクセス情報作成部１６では、入力された発生符号量値とＣＰＢ値から図３（Ａ）、（Ｂ）に示す構造のアクセス情報のデータを作成するか、もしくはそのデータ構造を作成するのに必要なデータをメモリして所定のフォーマットで記録保持する。図３（Ｂ）のＩＤＲアドレスは、入力された発生符号量値に基づいて作成された、入力されたＣＰＢ値がビットストリームのどの時点でのＣＰＢ値であるかを示すアドレス情報である。アクセス情報作成部１６で作成されたアクセス情報は、データ書き込み部１８によりビットストリームが記録媒体１１に書き込まれているときに、同時にバースト的にビットストリーム記録領域とは異なる領域に書き込まれる。
【００２８】
なお、アクセス情報作成部１６で作成されたアクセス情報は、ビットストリームが記録媒体１１に書き込み終わったときに、すなわち、ユーザーが画像圧縮記録を一時停止、もしくは終了した後に所定のフォーマットで記録保持されたいデータから、図３（Ａ）、（Ｂ）の構造に変換してデータ書き込み部１８により記録媒体１１に書き込みを行ってもよい。
【００２９】
記録の終了タイミングはＩＤＲピクチャの直前とすると、特殊再生等に都合がよい。図２で説明すると、ＩＤＲ３の符号化から後に、記録終了の指示があった場合にはＩＤＲ４直前のＢピクチャまで画像データは記録し、またアクセス情報はＩＤＲ４の分まで記録する。
【００３０】
次に、記録媒体１１に前記したアクセス情報と共に既に記録されているビットストリームに対して、ビットストリーム中の任意の位置から追加して新たな画像データを記録する場合について説明する。記録媒体１１には既にビットストリームとアクセス情報とが記録されている。従って、データ読み取り部１２ではアクセス情報を記録媒体１１から読み取り、ＩＤＲピクチャのアドレス値とＩＤＲピクチャの１フレーム前のピクチャの符号化終了時点でのＣＰＢ値を得る。
【００３１】
追加記録が既に記録されているビットストリームの一番最後から行われる場合には、記録媒体１１から再生したアクセス情報の一番最後のアドレス値とＣＰＢ値を参照する。記録媒体１１上において、新たなＨ.２６４画像データが追加記録される位置は、既に記録されているＨ.２６４画像データの記録部分に続く位置でもよいし、全く別の位置でもよい。
【００３２】
一方、既に記録されているビットストリームの途中から追加書き込みをする場合には、図示せぬ、ユーザーインターフェースから、既に記録されている画像データのどのポイント（ＩＤＲピクチャ）から追加記録するかを指定してもらい、そのＩＤＲピクチャのアクセス情報を読み取り、ＣＰＢ値、アドレスを得る。これらの値はパラメータ設定器１４に入力されてパラメータが設定され、画像符号化器１５においてその設定値から、追加記録する画像信号のＨ.２６４符号化方式による符号化が開始される。
【００３３】
一方、符号化データサーチ器１７では途中追加記録を開始する位置を、データ読み取り部１２からの再生信号に基づいて、既に記録してあるビットストリームに対してサーチする。サーチは再生したデータの相対アドレスを用いて、そのビットストリームファイルの頭からの位置にポインタを設定する。
【００３４】
画像符号化器１５では画像信号の符号化を行い、それにより得られるＨ.２６４画像データをデータ書き込み部１８へ出力しながら、ビットストリームのＩＤＲピクチャの１フレーム前のピクチャ符号化終了時点での発生符号量とＣＰＢ値を、ＩＤＲピクチャの符号化の都度毎回、アクセス情報作成部１６へ供給する。
【００３５】
アクセス情報作成部１６は、入力された発生符号量値とＣＰＢ値から図３（Ａ）、（Ｂ）に示すアクセス情報のデータを作成する。もしくはそのデータ構造を作成するのに必要なデータをメモリして所定のフォーマットで記録保持する。アクセス情報作成部１６で作成されたアクセス情報は、データ書き込み部１８によりＨ.２６４画像データが記録媒体１１の所定領域に書き込まれている時に、同時にバースト的に上記の所定領域とは異なる領域に書き込まれる。
【００３６】
このように、本実施の形態によれば、既に記録されているビットストリームの途中から追加書き込みをする場合には、追加記録開始位置として指定されたＩＤＲピクチャのアクセス情報を記録媒体１１から読み取り、ビットストリームのＩＤＲピクチャの１フレーム前のピクチャ符号化終了時点での発生符号量とＣＰＢ値を得て、パラメータ設定器１４に入力してパラメータを設定し、画像符号化器１５においてその設定値から、追加記録する画像信号のＨ.２６４符号化方式による符号化を開始するようにしたため、ＣＰＢ値が不連続になることはなく、ＣＰＢのオーバーフロー・アンダーフローの矛盾なくビットストリームを再生することが可能な符号化や記録ができる。
【００３７】
なお、アクセス情報作成部１６で作成されたアクセス情報は、Ｈ.２６４画像データが記録媒体１１に書き込み終わったときに、すなわち、ユーザが画像圧縮記録を一時停止、もしくは終了した後に所定のフォーマットで記録保持されていたデータから、図３（Ａ）、（Ｂ）の構造に変換してデータ書き込み部１８により記録媒体１１に書き込みを行ってもよい。このようにして、新たに生成されたＨ.２６４画像データは、既に記録されているビットストリームの途中の追加記録するポイントから、追加記録される。
【００３８】
なお、既に記録されているビットストリームの途中部分に追加記録される新たなＨ.２６４画像データは、記録媒体１１上に既に記録されている部分に上書きされるように記録されてもよいし、既にビットストリームが記録されている記録媒体１１上の部分とは全く別の部分に記録されてもよい。
【００３９】
また、上記説明では、Ｈ.２６４符号化方式による符号化をフレーム単位で行う方法を前提としているが、勿論フィールド単位で行ってもよく、その場合フレームをフィールドと読み替える。また、ＩＤＲピクチャを使って説明を行ったが、参照ピクチャを制限したり、デコードの順番を制限したりすることでＩピクチャを用いても同様にシームレスな再生が可能である。
【００４０】
（第２の実施の形態）
図４は本発明になる画像データ記録装置の第２の実施の形態のブロック図を示す。同図中、図１と同一構成部分には同一符号を付してある。前記の第１の実施の形態では、アクセス情報（ＣＰＢ値）をビットストリームと別ファイルとしているため、機器から機器へビットストリームだけが伝送されるアプリケーションでは、受信側でビットストリームをデコードするなりして、再度アクセス情報を作り直さなければならない。そこで、本実施の形態は、ビットストリーム中にＣＰＢ値を埋め込む構成としたものである。
【００４１】
Ｈ.２６４符号化方式のビットストリームは図５に示すような、ネットワーク抽象レイヤ（ＮＡＬ;Network Abstraction Layer）ユニット（ＮＡＬ＿ｕｎｉｔ）という単位で構成されている。ＮＡＬユニットはＮＡＬヘッダと、ｒｂｓｐ（Raw byte sequence payload）バイトとデータを含むが、その内容は参照ピクチャであるかどうかを示すフラグ（nal_ref_idc）と、ＮＡＬユニットの種類を示す識別子（nal_unit_type）の値で識別される。
【００４２】
図６はデータがｓｅｉ＿ｒｂｓｐ（supplement enhancement information ＲＢＳＰ）のときの表現規則（シンタックス：ｓｙｎｔａｘ）を示し、図７はｓｅｉ＿ｒｂｓｐの中のｓｅｉ＿ｍｅｓｓａｇｅのシンタックス（ｓｙｎｔａｘ）を示す。ｓｅｉ＿ｍｅｓｓａｇｅの中には各ピクチャのタイミング情報やランダムアクセス用の情報などピクチャの復号に直接関係のない付加情報が格納される。
【００４３】
図８はＨ.２６４勧告で定義されているＳＥＩメッセージ（ｓｅｉ＿ｍｅｓｓａｇｅ）の一部を示す。ｓｅｉ＿ｍｅｓｓａｇｅは、ｓｅｉ＿ｐａｙｌｏａｄ中のｐａｙｌｏａｄＴｙｐｅの値でその中身が判断される。図８に示すように、「ｐａｙｌｏａｄＴｙｐｅ＝５」は「ｕｓｅｒ＿ｄａｔｅ＿ｕｎｒｅｇｉｓｔｅｒｅｄ」と定義されている。「ｕｓｅｒ＿ｄａｔａ＿ｕｎｒｅｇｉｓｔｅｒｅｄ」は、ユーザが独自に定義する情報を格納することができる。前述したＣＰＢ値は「ｕｓｅｒ＿ｄａｔａ＿ｕｎｒｅｇｉｓｔｅｒｄ」と呼ばれる。そこで、本実施の形態では、ＳＥＩメッセージの形式を使用して画像データと共に記録する。
【００４４】
図９は上記のＣＰＢ ＳＥＩメッセージの形式を示す。図９において、「ｕｕｉｄ＿ｉｓｏ＿ｉｅｃ＿１１５７８」は１２８ビットの固定値であり、使用するユーザが定義する。また、インジケータ（ｉｎｄｅｉｃａｔｏｒ）は３２ビットの固定値であり、ユーザが複数定義したユーザーデータのうちＣＰＢ ＳＥＩメッセージであることを識別するのに使われる。マーカビット（marker_bit）は単純に“１”が１ビット挿入される。また、図９の「ＣＰＢ＿ｏｃｃｕｐａｎｃｙ」は、前述したＩＤＲピクチャの１フレーム前のピクチャの符号化終了時点でのＣＰＢ値（ＣＰＢのバッファ占有値）である。以上の情報がＣＰＢ ＳＥＩメッセージとしてビットストリーム中に挿入される。
【００４５】
ＣＰＢ値の挿入位置について、図１０を使って更に説明をする。ビットストリームはＩピクチャ（ＩＤＲピクチャでもよい）から始まるデータグループ単位で時系列的に合成されている。また、Ｉピクチャは、ＡＵデリミタ（Access Unit Delimiter）３１を先頭にＳＰＳ(Sequence Parameter Set)３２，ＰＰＳ(Picture Parameter Set)３３，ＳＥＩ(Supplemental Enhancement Information)３４，Ｉピクチャ３５の順で構成されている。アクセスユニットの先頭を示す開始符号であるＡＵデリミタ３１と、シーケンス全体の符号化に関する情報を含むヘッダであるＳＰＳ３２と、ピクチャ全体の符号化モードを示すヘッダであるＰＰＳ３３と、各ピクチャのタイミング情報やランダムアクセス情報などの付加情報を含むヘッダであるＳＥＩ３４とはそれぞれＨ.２６４勧告で定義されているＮＡＬユニットを構成している。また、Ｉピクチャ、Ｐピクチャ、ＢピクチャはスライスＮＡＬユニットで構成されており、符号化の基本単位である一つのスライスに１枚のピクチャが含まれている。本実施の形態ではＮＡＬユニットのＳＥＩ３４中のＳＥＩメッセージに図９に示したＣＰＢ ＳＥＩメッセージの形式で前述のＣＰＢ値が挿入される。
【００４６】
また、本実施の形態では、アクセス情報は図１１（Ａ）、（Ｂ）に示す構造体とされて記録される。図１１（Ａ）に示すアクセス情報の各々は、図１０のデータグループ毎に存在し、そのデータ構造は図１１（Ｂ）に示すように、対応するデータグループの先頭のＩピクチャ（またはＩＤＲピクチャ）の表示時刻を示すＰＴＭ(Presentation TiMe)と、対応するデータグループの先頭のＩピクチャ（またはＩＤＲピクチャ）のアドレスとからなる。
【００４７】
次に、図４に示した本実施の形態の画像データ記録装置が、Ｈ.２６４符号化方式で画像データを符号化しながらアクセス情報を作成して記録する動作を説明する。まず、記録媒体１１に符号化データが全く記録されていない状態、すなわち、初めて符号化する場合の動作について説明する。この場合には、記録媒体１１の記録データを読み取るデータ読み取り部１２は、記録データが存在しないので、記録データが存在しないという情報をアクセス情報検出器２０に供給する。アクセス情報検出器２０はデータ読み取り部１２からの情報に基づいて記録データが存在しないことを判別した時は、パラメータ設定器１４に予め設定した初期値を設定する。パラメータ設定器１４は、設定された初期値を画像符号化器２１に供給する。
【００４８】
画像符号化器２１は、外部から入力される記録すべき画像信号に対して、Ｈ.２６４符号化方式に従って初期値から圧縮符号化を開始して、各ピクチャ（画像データ）が時系列的に合成されたビットストリームを生成して合成器２２へ出力する。また、画像符号化器２１では上記の符号化を行いながら、ビットストリームのＩピクチャの１フレーム前の符号化終了時点でのＣＰＢ値をＩピクチャの符号化を行う都度合成器２２へ出力する。
【００４９】
合成器２２は、画像符号化器２１と共に画像データ符号化装置を構成しており、上記のＣＰＢ値を、図９に示したＣＰＢ ＳＥＩメッセージの形式で上記のビットストリーム中の各Ｉピクチャの直前に挿入したビットストリームを生成し、そのビットストリームをアクセス情報作成部２３とデータ書き込み部２５へ供給する。
【００５０】
アクセス情報作成部２３では、入力されたビットストリームのＨ.２６４画像データをカウントしていくと共に、上記のＣＰＢ ＳＥＩメッセージを検出し、検出したＣＰＢ ＳＥＩメッセージの先頭のカウント値をアドレスとして、図１１（Ａ）、（Ｂ）に示した構造のアクセス情報を作成するか、もしくはそのデータ構造を作成するのに必要なデータをメモリして所定のフォーマットで記録保持する。アクセス情報作成部２３で作成されたアクセス情報は、データ書き込み部２５によりＨ.２６４画像データが記録媒体１１の所定領域に書き込まれている時に、同時にバースト的に上記の所定領域とは異なる領域に書き込まれる。
【００５１】
なお、アクセス情報作成部２３で作成されたアクセス情報は、ビットストリームが記録媒体１１に書き込み終わったときに、すなわち、ユーザが画像圧縮記録を一時停止、もしくは終了した後に所定のフォーマットで記録保持されたいデータから、図１１（Ａ）、（Ｂ）の構造に変換してデータ書き込み部２５により記録媒体１１に書き込みを行ってもよい。
【００５２】
記録の終了タイミングはＩピクチャの直前とすると、特殊再生等に都合がよい。図１０で説明すると、ＩピクチャＩ３の符号化から後に、記録終了の指示があった場合にはＩピクチャＩ４直前のＢピクチャまで画像データは記録し、またアクセス情報はＩ４の分まで記録する。
【００５３】
次に、記録媒体１１に前記したアクセス情報と共に既に記録されているビットストリームに対して、ビットストリーム中の任意の位置から追加して新たな画像データを記録する場合について説明する。記録媒体１１には既にビットストリームとアクセス情報とが記録されている。従って、データ読み取り部１２ではアクセス情報を記録媒体１１から読み取り、Ｉピクチャのアドレス値を得る。追加記録が既に記録されているビットストリームの一番最後から行われる場合には、記録媒体１１から再生したアクセス情報の一番最後のアドレス値を参照する。記録媒体１１上において、新たなＨ.２６４画像データが追加記録される位置は、既に記録されているＨ.２６４画像データの記録部分に続く位置でもよいし、全く別の位置でもよい。
【００５４】
一方、既に記録されているビットストリームの途中から追加書き込みをする場合には、図示せぬ、ユーザーインターフェースから、既に記録されている画像データのどのポイント（Ｉピクチャ）から追加記録するかを指定してもらい、そのＩピクチャのアクセス情報を読み取り、アドレスを得る。アドレス値は符号化データサーチ器２６に供給される。符号化データサーチ器２６は、途中追加記録を開始する位置を、データ読み取り部１２からの再生信号に基づいて、既に記録してあるビットストリームに対してサーチする。サーチは再生したデータの相対アドレスとアクセス情報検出器２０からのアドレス値とを用いて、追加記録するポイント（Ｉピクチャ）の頭からの位置にポインタを設定する。
【００５５】
再びデータ読み取り部１２は、記録媒体１１に記録されているビットストリームのうち、符号化データサーチ器２６からの指示されたアドレスよりデータを読み出し、ＣＰＢ ＳＥＩメッセージをアクセス情報検出器２０に供給する。アクセス情報検出器２０はＣＰＢ ＳＥＩメッセージからＣＰＢ値を抜き出し、パラメータ設定器１４に供給し、画像符号化器２１においてその設定値から、追加記録する画像信号のＨ.２６４符号化方式による符号化を開始させる。
【００５６】
画像符号化器２１では符号化を行って生成したビットストリームを合成器２２へ供給しながら、そのＩピクチャの１フレーム前の符号化終了時点でのＣＰＢ値を合成器２２に供給する。合成器２２は画像符号化器２１からのビットストリーム中に、画像符号化器２１からのＣＰＢ値を図９に示したＣＰＢ ＳＥＩメッセージの形式で毎回、Ｉピクチャの直前に挿入し、得られた合成ビットストリームをアクセス情報作成器２３とデータ書き込み部２５へ供給する。
【００５７】
以下、上記の記録媒体１１に、最初にＨ.２６４画像データを記録する場合と同様にして、ＣＰＢ値がＣＰＢ ＳＥＩメッセージの形式で挿入されたビットストリームが生成される。このビットストリームは、既に記録されているＨ.２６４画像データの途中追加記録するポイントからデータ書き込み部２５により記録媒体１１に書き込まれると共に、それと同時にバースト的にアクセス情報が記録媒体１１の別の領域に書き込まれる。このようにして、新たに生成されたＨ.２６４画像データは、既に記録されているビットストリームの途中の追加記録するポイントから追加記録される。
【００５８】
このように、本実施の形態によれば、既に記録されているビットストリームの途中から追加書き込みをする場合には、追加記録開始位置として指定されたＩピクチャのアドレスを記録媒体１１から読み取ってポインタを設定した後、その指定されたＩピクチャを再生してその１フレーム前のピクチャ符号化終了時点でのＣＰＢ値を得て、パラメータ設定器１４に入力してパラメータを設定し、画像符号化器１５においてその設定値から画像信号のＨ.２６４符号化方式による符号化を開始して生成したＨ.２６４画像データを追加記録するようにしたため、既に記録されているビットストリームの途中追加記録するポイントから書き込まれるＨ.２６４画像データのＣＰＢ値が不連続になることはなく、ＣＰＢのオーバーフロー・アンダーフローの矛盾なくビットストリームを再生することが可能な符号化や記録ができる。
【００５９】
なお、アクセス情報作成部２３で作成されたアクセス情報は、Ｈ.２６４画像データが記録媒体１１に書き込み終わったときに、すなわち、ユーザが画像圧縮記録を一時停止、もしくは終了した後に所定のフォーマットで記録保持されていたデータから、図１１（Ａ）、（Ｂ）の構造に変換してデータ書き込み部２５により記録媒体１１に書き込みを行ってもよい。
【００６０】
また、既に記録されているビットストリームの途中部分に追加記録される新たなＨ.２６４画像データは、記録媒体１１上に既に記録されている部分に上書きされるように記録されてもよいし、既にビットストリームが記録されている記録媒体１１上の部分とは全く別の部分に記録されてもよい。更に、上記説明では、Ｈ.２６４符号化をフレーム単位で行う方法を前提としているが、勿論フィールド単位で行ってもよく、その場合フレームをフィールドと読み替える。
【００６１】
次に、上記のように作成したＨ.２６４画像データを、伝送路を使って別の装置に記録する場合について、図４及び図１２のブロック図と共に説明する。図１２において、記録媒体４１に記録されているＨ.２６４画像データを含むビットストリームは、再生装置４２によって再生された後、伝送路を介して記録装置４３に供給される。この記録装置４３に供給されるビットストリームには、ＣＰＢ ＳＥＩメッセージに前述したＣＰＢ値が埋め込まれている。
【００６２】
記録装置４３は図４のブロック図に示した構成であり、伝送路を介して入力されたビットストリームは、ビットストリーム受信部２４により受信された後、アクセス情報作成部２３及びデータ書き込み部２５に送られる。アクセス情報作成部２３では、入力されたビットストリームのＨ.２６４画像データをカウントしていくと共に、ＣＰＢ ＳＥＩメッセージを検出し、検出したＣＰＢ ＳＥＩメッセージの先頭のカウント値をアドレスとして、図１１（Ａ）、（Ｂ）に示す構造のアクセス情報を作成するか、又はそのデータ構造を作成するのに必要なデータをメモリして所定のフォーマットで記録保持する。アクセス情報作成部２３で作成されたアクセス情報は、データ書き込み部２５に供給される。
【００６３】
図４のアクセス情報作成部２３で作成されたアクセス情報は、ビットストリーム受信部２４により受信された、ＣＰＢ値が埋め込まれているビットストリームが、データ書き込み部２５により図１２の記録媒体４４の所定領域に書き込まれている時に、同時にバースト的に上記の所定領域とは異なる領域に書き込まれる。このように、本実施の形態では、ビットストリームだけが伝送されるアプリケーションであっても、受信したビットストリームにＣＰＢ値を埋め込んでおくことにより、ビットストリームをデコードしてＣＰＢ値を生成しなくても、ＣＰＢ値を含むビットストリームを記録媒体４４に記録できると共に、Ｉピクチャの先頭アドレスを示すアクセス情報も新たに生成して同時に記録できる。
【００６４】
なお、アクセス情報作成部２３で作成されたアクセス情報は、ビットストリームが記録媒体４４に書き込み終わったときに、すなわち、ユーザが画像圧縮記録を一時停止、もしくは終了した後に所定のフォーマットで記録保持されたいデータから、図１１（Ａ）、（Ｂ）の構造に変換してデータ書き込み部２５により記録媒体４４に書き込みを行ってもよい。
【００６５】
記録の終了タイミングはＩピクチャの直前とすると、特殊再生等に都合がよい。図１０で説明すると、ＩピクチャＩ３の符号化から後に、記録終了の指示があった場合にはＩピクチャＩ４直前のＢピクチャまで画像データは記録し、またアクセス情報はＩ４の分まで記録する。また、本実施の形態では、ＣＰＢ値がＩピクチャ内のＣＰＢ ＳＥＩメッセージに埋め込まれているものとして説明したが、ＩＤＲピクチャでも同様にＣＰＢ値を埋め込むことが可能である。
【００６６】
なお、以上の実施の形態の説明はＨ.２６４画像データを記録する場合についてであるが、実際にはオーディオデータなどと混在したデータを記録することになるかもしれない。たとえば、勧告Ｈ.２２２は多重化についての手段が規定されている。この場合基本的にはＨ.２６４画像データはパケット化されてオーディオデータと多重化されて記録される。この場合でもアクセス情報構造体に格納するアドレスをデータグループの先頭のデータを含むパケットのアドレスとすることで、以上の説明と同様に記録、編集、追記が可能となる。
【図面の簡単な説明】
【００６７】
【図１】本発明の画像データ記録装置の第１の実施の形態のブロック図である。
【図２】図１の画像データ記録装置で記録されるビットストリームの一例の構造を示す図である。
【図３】図１の画像データ記録装置で記録されるアクセス情報の構造を示す図である。
【図４】本発明の画像データ記録装置の第２の実施の形態のブロック図である。
【図５】ＮＡＬユニットの構成を示す図である。
【図６】データがｓｅｉ＿ｒｂｓｐのときのシンタックスを示す図である。
【図７】ｓｅｉ＿ｒｂｓｐの中のｓｅｉ＿ｍｅｓｓａｇｅのシンタックスを示す図である。
【図８】Ｈ.２６４勧告で定義されているＳＥＩメッセージの一部を示す図である。
【図９】ＣＰＢ ＳＥＩメッセージを示す図である。
【図１０】Ｈ.２６４符号化方式のビットストリームの構成とＮＡＬユニットを示す図である。
【図１１】図４の画像データ記録装置が生成して記録するアクセス情報の一例の構造を示す図である。
【図１２】本発明の画像データ記録装置の第２の実施の形態を含む記録再生システムの一例を示すブロック図である。
【図１３】ＩＤＲピクチャの位置で編集を行うことにより、シームレスな再生が可能になることを説明する図である。
【符号の説明】
【００６８】
１１ 記録媒体
１２ データ読み取り部
１３、２０ アクセス情報検出器
１４ パラメータ設定器
１５、２１ 画像符号化器
１６、２３ アクセス情報作成部
１７、２６ 符号化データサーチ器
１８、２５ データ書き込み部
２２ 合成器
２４ ビットストリーム受信部
【特許請求の範囲】
【請求項１】
画像信号をＨ.２６４符号化方式で圧縮符号化して得たＨ.２６４画像データのビットストリームを記録媒体に記録する画像データ記録装置において、
前記Ｈ.２６４符号化方式で規定された仮想参照デコーダに入力される前の前記ビットストリームを保存する符号化ピクチャバッファにおいて、この符号化ピクチャバッファの容量に対して保存される前記ビットストリームの占有値を示すＣＰＢ値に応じて設定されたパラメータを用いて、前記画像信号の前記Ｈ.２６４符号化方式での圧縮符号化を開始し、それぞれ前記Ｈ.２６４画像データによる複数のピクチャからなるデータグループ単位で合成されており、前記データグループの各々は先頭のピクチャが他のピクチャを参照しないで符号化したＩピクチャ又はデコーダ動作瞬時リフレッシュ用のＩＤＲピクチャが配置された前記ビットストリームを生成する符号化手段と、
前記符号化手段から前記Ｉピクチャ又は前記ＩＤＲピクチャを生成する都度出力される、前記ビットストリームにおける前記Ｉピクチャ又は前記ＩＤＲピクチャの１画像単位前の符号化終了時点での発生符号量と前記ＣＰＢ値とに基づいて、前記ＣＰＢ値とそのＣＰＢ値が前記ビットストリームにおけるどの時点でのＣＰＢ値であるかを示すアドレス情報とからなるアクセス情報を作成するアクセス情報作成手段と、
前記符号化手段から出力された前記ビットストリームと、前記アクセス情報作成手段で作成された前記アクセス情報とを、前記記録媒体の異なる領域にそれぞれ記録する記録手段と
を有することを特徴とする画像データ記録装置。
【請求項２】
画像信号をＨ.２６４符号化方式で圧縮符号化して得たＨ.２６４画像データのビットストリームを記録媒体に記録する画像データ記録装置において、
前記Ｈ.２６４符号化方式で規定された仮想参照デコーダに入力される前の前記ビットストリームを保存する符号化ピクチャバッファにおいて、この符号化ピクチャバッファの容量に対して保存される前記ビットストリームの占有値を示すＣＰＢ値に応じて設定されたパラメータを用いて、前記画像信号の前記Ｈ.２６４符号化方式での圧縮符号化を開始し、それぞれ前記Ｈ.２６４画像データによる複数のピクチャからなるデータグループ単位で合成されており、前記データグループの各々は先頭のピクチャが他のピクチャを参照しないで符号化したＩピクチャ又はデコーダ動作瞬時リフレッシュ用のＩＤＲピクチャが配置された前記ビットストリームを生成する符号化手段と、
前記符号化手段から前記Ｉピクチャ又は前記ＩＤＲピクチャを生成する都度出力される、前記ビットストリームにおける前記Ｉピクチャ又は前記ＩＤＲピクチャの１画像単位前の符号化終了時点での前記ＣＰＢ値を、そのＣＰＢ値に対応する前記Ｉピクチャ又は前記ＩＤＲピクチャを先頭とする前記データグループの先頭に、ピクチャの復号に直接関係のない付加情報ＳＥＩとして合成する合成手段と、
前記合成手段から出力される前記付加情報ＳＥＩが合成された前記ビットストリーム中の前記Ｈ.２６４画像データの数をカウントしていくと共に、前記付加情報ＳＥＩを検出し、この検出時点のカウント値をアドレスとするアクセス情報を作成するアクセス情報作成手段と、
前記合成手段から出力された前記付加情報ＳＥＩが合成された前記ビットストリームと、前記アクセス情報作成手段で作成された前記アクセス情報とを、前記記録媒体の異なる領域にそれぞれ記録する記録手段と
を有することを特徴とする画像データ記録装置。
【請求項３】
画像信号をＨ.２６４符号化方式で圧縮符号化してＨ.２６４画像データのビットストリームを生成する画像データ符号化装置において、
前記Ｈ.２６４符号化方式で規定された仮想参照デコーダに入力される前の前記ビットストリームを保存する符号化ピクチャバッファにおいて、この符号化ピクチャバッファの容量に対して保存される前記ビットストリームの占有値を示すＣＰＢ値に応じて設定されたパラメータを用いて、前記画像信号の前記Ｈ.２６４符号化方式での圧縮符号化を開始し、それぞれ前記Ｈ.２６４画像データによる複数のピクチャからなるデータグループ単位で合成されており、前記データグループの各々は先頭のピクチャが他のピクチャを参照しないで符号化したＩピクチャ又はデコーダ動作瞬時リフレッシュ用のＩＤＲピクチャが配置された前記ビットストリームを生成する符号化手段と、
前記符号化手段から前記Ｉピクチャ又は前記ＩＤＲピクチャを生成する都度出力される、前記ビットストリームにおける前記Ｉピクチャ又は前記ＩＤＲピクチャの１画像単位前の符号化終了時点での前記ＣＰＢ値を、そのＣＰＢ値に対応する前記Ｉピクチャ又は前記ＩＤＲピクチャを先頭とする前記データグループの先頭に、ピクチャの復号に直接関係のない付加情報ＳＥＩとして合成したビットストリームを生成する合成手段と
を有することを特徴とする画像データ符号化装置。
【請求項１】
画像信号をＨ.２６４符号化方式で圧縮符号化して得たＨ.２６４画像データのビットストリームを記録媒体に記録する画像データ記録装置において、
前記Ｈ.２６４符号化方式で規定された仮想参照デコーダに入力される前の前記ビットストリームを保存する符号化ピクチャバッファにおいて、この符号化ピクチャバッファの容量に対して保存される前記ビットストリームの占有値を示すＣＰＢ値に応じて設定されたパラメータを用いて、前記画像信号の前記Ｈ.２６４符号化方式での圧縮符号化を開始し、それぞれ前記Ｈ.２６４画像データによる複数のピクチャからなるデータグループ単位で合成されており、前記データグループの各々は先頭のピクチャが他のピクチャを参照しないで符号化したＩピクチャ又はデコーダ動作瞬時リフレッシュ用のＩＤＲピクチャが配置された前記ビットストリームを生成する符号化手段と、
前記符号化手段から前記Ｉピクチャ又は前記ＩＤＲピクチャを生成する都度出力される、前記ビットストリームにおける前記Ｉピクチャ又は前記ＩＤＲピクチャの１画像単位前の符号化終了時点での発生符号量と前記ＣＰＢ値とに基づいて、前記ＣＰＢ値とそのＣＰＢ値が前記ビットストリームにおけるどの時点でのＣＰＢ値であるかを示すアドレス情報とからなるアクセス情報を作成するアクセス情報作成手段と、
前記符号化手段から出力された前記ビットストリームと、前記アクセス情報作成手段で作成された前記アクセス情報とを、前記記録媒体の異なる領域にそれぞれ記録する記録手段と
を有することを特徴とする画像データ記録装置。
【請求項２】
画像信号をＨ.２６４符号化方式で圧縮符号化して得たＨ.２６４画像データのビットストリームを記録媒体に記録する画像データ記録装置において、
前記Ｈ.２６４符号化方式で規定された仮想参照デコーダに入力される前の前記ビットストリームを保存する符号化ピクチャバッファにおいて、この符号化ピクチャバッファの容量に対して保存される前記ビットストリームの占有値を示すＣＰＢ値に応じて設定されたパラメータを用いて、前記画像信号の前記Ｈ.２６４符号化方式での圧縮符号化を開始し、それぞれ前記Ｈ.２６４画像データによる複数のピクチャからなるデータグループ単位で合成されており、前記データグループの各々は先頭のピクチャが他のピクチャを参照しないで符号化したＩピクチャ又はデコーダ動作瞬時リフレッシュ用のＩＤＲピクチャが配置された前記ビットストリームを生成する符号化手段と、
前記符号化手段から前記Ｉピクチャ又は前記ＩＤＲピクチャを生成する都度出力される、前記ビットストリームにおける前記Ｉピクチャ又は前記ＩＤＲピクチャの１画像単位前の符号化終了時点での前記ＣＰＢ値を、そのＣＰＢ値に対応する前記Ｉピクチャ又は前記ＩＤＲピクチャを先頭とする前記データグループの先頭に、ピクチャの復号に直接関係のない付加情報ＳＥＩとして合成する合成手段と、
前記合成手段から出力される前記付加情報ＳＥＩが合成された前記ビットストリーム中の前記Ｈ.２６４画像データの数をカウントしていくと共に、前記付加情報ＳＥＩを検出し、この検出時点のカウント値をアドレスとするアクセス情報を作成するアクセス情報作成手段と、
前記合成手段から出力された前記付加情報ＳＥＩが合成された前記ビットストリームと、前記アクセス情報作成手段で作成された前記アクセス情報とを、前記記録媒体の異なる領域にそれぞれ記録する記録手段と
を有することを特徴とする画像データ記録装置。
【請求項３】
画像信号をＨ.２６４符号化方式で圧縮符号化してＨ.２６４画像データのビットストリームを生成する画像データ符号化装置において、
前記Ｈ.２６４符号化方式で規定された仮想参照デコーダに入力される前の前記ビットストリームを保存する符号化ピクチャバッファにおいて、この符号化ピクチャバッファの容量に対して保存される前記ビットストリームの占有値を示すＣＰＢ値に応じて設定されたパラメータを用いて、前記画像信号の前記Ｈ.２６４符号化方式での圧縮符号化を開始し、それぞれ前記Ｈ.２６４画像データによる複数のピクチャからなるデータグループ単位で合成されており、前記データグループの各々は先頭のピクチャが他のピクチャを参照しないで符号化したＩピクチャ又はデコーダ動作瞬時リフレッシュ用のＩＤＲピクチャが配置された前記ビットストリームを生成する符号化手段と、
前記符号化手段から前記Ｉピクチャ又は前記ＩＤＲピクチャを生成する都度出力される、前記ビットストリームにおける前記Ｉピクチャ又は前記ＩＤＲピクチャの１画像単位前の符号化終了時点での前記ＣＰＢ値を、そのＣＰＢ値に対応する前記Ｉピクチャ又は前記ＩＤＲピクチャを先頭とする前記データグループの先頭に、ピクチャの復号に直接関係のない付加情報ＳＥＩとして合成したビットストリームを生成する合成手段と
を有することを特徴とする画像データ符号化装置。
【図１】
【図２】
【図３】
【図４】
【図５】
【図６】
【図７】
【図８】
【図９】
【図１０】
【図１１】
【図１２】
【図１３】
【図２】
【図３】
【図４】
【図５】
【図６】
【図７】
【図８】
【図９】
【図１０】
【図１１】
【図１２】
【図１３】
【公開番号】特開２００８−３５２９４（Ｐ２００８−３５２９４Ａ）
【公開日】平成２０年２月１４日（２００８．２．１４）
【国際特許分類】
【出願番号】特願２００６−２０７２６３（Ｐ２００６−２０７２６３）
【出願日】平成１８年７月２９日（２００６．７．２９）
【出願人】（０００００４３２９）日本ビクター株式会社 (3,896)
【Ｆターム（参考）】
【公開日】平成２０年２月１４日（２００８．２．１４）
【国際特許分類】
【出願日】平成１８年７月２９日（２００６．７．２９）
【出願人】（０００００４３２９）日本ビクター株式会社 (3,896)
【Ｆターム（参考）】
[ Back to top ]