【課題】コンテンツのデータ転送において、容易に、不要な遅延時間の増大を抑制するとともに、コンテンツとしての品質の不要な低下も抑制することができるようにする。
【解決手段】バッファに蓄積されているプレシンクトの数が所定の閾値を越えた場合、出力禁止部２８５は、プレシンクト数判定部２８４からの通知に基づいて、バンクオーバ制御を行い、現在出力中のプレシンクトの次のプレシンクトであるプレシンクトの符号化データの出力を禁止させる。本発明は、例えば、デジタルトライアックスシステムに適用することができる。

【発明の詳細な説明】
【技術分野】
【０００１】
本発明は、情報処理装置および方法、並びに情報処理システムに関し、特に、コンテンツのデータ転送において、容易に、不要な遅延時間の増大を抑制するとともに、コンテンツとしての品質の不要な低下も抑制することができるようにした情報処理装置および方法、並びに情報処理システムに関する。
【背景技術】
【０００２】
従来、ビデオ映像の送受信装置として、放送局やスタジアムでのスポーツ中継等に使用されているトライアックスシステムというものがある。これまでのトライアックスシステムは、アナログ映像を対象とするものが主流であったが、近年の画像処理のデジタル化に伴い、今後はデジタル映像を対象とするデジタルトライアックスシステムが普及するものと考えられている。
【０００３】
一般的なデジタルトライアックスシステムでは、カメラヘッドにおいてビデオ映像がキャプチャされて伝送路に送出され（本線ビデオ映像）、カメラコントロールユニットにより、その本線ビデオ映像が受信されて、映像が画面に出力される。カメラコントロールユニットのユーザは、その映像を確認しながら、カメラヘッドのユーザに撮影に関する指示を出す。カメラヘッドのユーザは、その指示に基づいて撮影を行う。
【０００４】
カメラコントロールユニットは、また、この本線ビデオ映像とは別系統で、リターンビデオ映像をカメラヘッド側に送信する。このリターンビデオ映像は、カメラヘッドより供給された本線ビデオ映像を変換したものであってもよいし、カメラコントロールユニットにおいて外部から入力されたビデオ映像であってもよい。カメラヘッドはこのリターンビデオ映像を例えば画面に出力させる。カメラヘッドのユーザは、このリターンビデオ映像を参照することにより、例えば、自分自身が撮影した撮影画像がカメラコントロールユニットにおいてどの様に受信されているかを確認することができる。
【０００５】
一般的には、カメラヘッドとカメラコントロールユニットとの間の伝送路は帯域が限られており、その伝送路を伝送させるためにビデオ映像は圧縮することが必要になる。例えば、カメラヘッドからカメラコントロールユニットに向かって伝送される本線ビデオ映像がHDTV（High Definition Television）信号（現信号は1.5Gbps程度）である場合、これを約10分の1の150Mbps程度に圧縮することが現実的である。
【０００６】
このような映像の圧縮方法は、様々なものがあり、例えば、MPEG（Moving Picture Experts Group）等がある（例えば特許文献１参照）。
【０００７】
以上がデジタルトライアックスシステムの基本構成と動作である。このようなデジタルトライアックスシステムにおいて、圧縮ストリームの伝送路である本線やリターン回線は、一般的に、同軸ケーブル等により構成され、圧縮ストリームは、デジタル信号として伝送される。従って、圧縮ストリームは、略一定のビットレートで伝送されるようにするのが望ましい。
【０００８】
一般的な符号化方法においては、符号化により得られる符号化データのビットレート、すなわち符号化レートは、符号化される画像データの画像の内容によって（符号化の難しさによって）変化する。したがって、符号化データを略一定のビットレートで伝送するためには、符号化により得られた符号化データを一度バッファに蓄積し、そのバッファに蓄積された符号化データを一定のビットレートで読み出すようにすることにより、ビットレートを平滑化する必要がある。
【０００９】
このとき、符号化データの伝送時のビットレートをより安定化させる（平滑化する）ためには、より多くの符号化データをバッファに蓄積させることが望ましい。また、より多くの符号化データをバッファに蓄積させることにより圧縮効率も向上する。
【００１０】
【特許文献１】特開平９−２６１６３３号公報
【発明の開示】
【発明が解決しようとする課題】
【００１１】
しかしながら、バッファに蓄積させるデータ量が増大する程、遅延時間が増大してしまう恐れがあった。上述したようなデジタルトライアックスシステムの場合、画像データ（符号化データ）のデータ転送の即時性が重要になる。例えば、カメラヘッドからカメラコントロールユニットへの符号化データの転送の遅延時間が増大すると、本線ビデオ映像を確認してから行われる、カメラコントロールユニットのユーザからのカメラヘッドのユーザに対する指示が遅すぎてしまう恐れがある。また、カメラコントロールユニットのユーザと、カメラヘッドのユーザが同時刻において見ている映像のタイムラグが大きくなり（つまり、互いに異なる映像を見ている恐れがあり）、カメラコントロールユニットのユーザによる指示を、カメラヘッドのユーザが理解することが困難になる恐れがある。さらに、リターンビデオ映像の伝送においても大きな遅延が生じると、同様の理由から、そのリターンビデオ映像を確認するカメラヘッドのユーザは、さらに、カメラコントロールユニットのユーザによる指示を理解することが困難になる恐れがある。
【００１２】
以上のような理由から、特にスポーツ中継のように動的な被写体を撮影する場合、カメラコントロールユニットのユーザからのカメラヘッドのユーザに対する指示のタイミングは重要になる。つまり、上述したようなデジタルトライアックスシステムの場合、データ伝送に遅延時間が不要に増大するのは望ましくない。
【００１３】
しかしながら、バッファでの符号化データの蓄積量を単純に低減させると、上述したように伝送時のビットレートが不安定になる恐れがあり、画質劣化が増大する恐れがあった。
【００１４】
本発明は、このような従来の実情に鑑みて提案されたものであり、コンテンツのデータ転送において、容易に、不要な遅延時間の増大を抑制するとともに、コンテンツとしての品質の不要な低下も抑制することができるようにするものである。
【課題を解決するための手段】
【００１５】
本発明の第１の側面は、蓄積部に蓄積されているデータを、所定のデータ単位毎に、所定の順序で、所定のビットレートで読み出す読み出し手段と、前記蓄積部における前記データの蓄積状況に関するパラメータが、所定の条件を満たすか否かを判定する判定手段と、前記判定手段により前記パラメータが前記所定の条件を満たすと判定された場合、前記所定の順序において、現在前記読み出し手段により読み出されている前記データ単位のデータの次に読み出される予定の前記データ単位のデータの読み出しを禁止する禁止手段とを備え、前記読み出し手段は、前記禁止手段により読み出しが禁止された前記データ単位のデータの読み出しを省略し、前記所定の順序において、さらに次に読み出しが予定されている、前記禁止手段により読み出しが禁止されていない前記データ単位のデータの読み出しを行う情報処理装置である。
【００１６】
前記パラメータは、前記蓄積部に蓄積されているデータの、前記データ単位の数であるようにし、前記判定手段は、前記データ単位の数が所定の閾値以上であるか否かを判定するようにすることができる。
【００１７】
前記パラメータは、前記読み出し手段が前記蓄積部に蓄積されているデータを全て読み出すのに必要な時間であるようにし、前記判定手段は、前記時間を算出し、前記読み出し手段が、所定の時間内に、前記蓄積部に蓄積されているデータを全て読み出すことができるか否かを判定するようにすることができる。
【００１８】
前記禁止手段は、前記判定手段により前記パラメータが前記所定の条件を満たすと判定された場合、前記データ単位のデータの読み出しを、前記所定の順序において、現在前記読み出し手段により読み出されている前記データ単位のデータの、次に読み出される予定の前記データ単位のデータから連続して、前記判定手段により前記パラメータが前記所定の条件を満たさないと判定されるのに必要な数以上禁止することができる。
【００１９】
前記禁止手段は、前記判定手段により前記パラメータが前記所定の条件を満たすと判定された場合、前記所定の順序において、現在前記読み出し手段により読み出されている前記データ単位のデータの、次に読み出される予定の前記データ単位のデータを削除することにより、前記データの読み出しを禁止することができる。
【００２０】
前記データは画像データを所定の方法で符号化して得られる符号化データであり、前記データ単位は、前記画像データの符号化における処理単位であるようにすることができる。
【００２１】
画像データを符号化する符号化手段と、前記符号化手段により前記画像データが符号化されて得られた符号化データを、前記データ単位毎に前記蓄積部に書き込んで蓄積させる書き込み手段とをさらに備えることができる。
【００２２】
前記読み出し手段により読み出された前記データをパケット化するパケット化手段をさらに備えることができる。
【００２３】
前記パケット化手段によりパケット化された前記データを他の情報処理装置に送信する送信手段をさらに備えることができる。
【００２４】
本発明の第１の側面はまた、蓄積部に蓄積されているデータの入出力を制御する情報処理装置の情報処理方法であって、前記蓄積部における前記データの蓄積状況に関するパラメータが、所定の条件を満たすか否かを判定し、前記パラメータが前記所定の条件を満たすと判定された場合、現在読み出されている所定のデータ単位のデータの次に読み出される予定の前記データ単位のデータの読み出しを禁止し、読み出しが禁止された前記データ単位のデータの読み出しを省略し、読み出しが禁止されていない前記データ単位のデータのみを、前記データ単位毎に、所定の順序で、所定のビットレートで前記蓄積部より読み出すステップを含む情報処理方法である。
【００２５】
本発明の第２の側面は、蓄積部に蓄積されているデータの欠損を所定のデータ単位毎に確認する確認手段と、前記確認手段により、前記蓄積部に蓄積されているデータの欠損が確認されていない場合、前記蓄積部に蓄積されているデータを、前記データ単位毎に、所定の順序で読み出す読み出し手段と、前記確認手段により、前記蓄積部に蓄積されているデータの欠損が確認された場合、欠損したデータを読み出す代わりに、代替用のデータを出力して補完する補完手段とを備える情報処理装置である。
【００２６】
予め定められた所定のデータを、前記代替用のデータとして保持する保持手段をさらに備えるようにし、前記補完手段は、前記確認手段により前記蓄積部に蓄積されているデータの欠損が確認された場合、欠損したデータを読み出す代わりに、前記保持手段より前記データを読み出して出力するようにすることができる。
【００２７】
前記蓄積部に蓄積されるデータと同一のデータを保持する保持手段をさらに備えるようにし、前記補完手段は、前記確認手段により前記蓄積部に蓄積されているデータの欠損が確認された場合、過去に前記読み出し手段によって前記蓄積部より読み出されたデータと同一のデータを前記保持手段より読み出して出力するようにすることができる。
【００２８】
他の装置より伝送された、前記データを含むパケットを解読し、前記データを抽出するパケット解読手段と、前記パケット解読手段により抽出された前記データを前記蓄積部に書き込んで蓄積させる書き込み手段とをさらに備えることができる。
【００２９】
前記データは符号化データであるようにし、前記読み出し手段により前記蓄積部より読み出された符号化データ、および、前記補完手段により補完された符号化データを復号する復号手段をさらに備えることができる。
【００３０】
本発明の第２の側面はまた、蓄積部に蓄積されているデータの入出力を制御する情報処理装置の情報処理方法であって、前記蓄積部に蓄積されているデータの欠損を所定のデータ単位毎に確認し、前記蓄積部に蓄積されているデータの欠損が確認されていない場合、前記蓄積部に蓄積されているデータを、前記データ単位毎に、所定の順序で読み出し、前記蓄積部に蓄積されているデータの欠損が確認された場合、欠損したデータを読み出す代わりに、代替用のデータを出力して補完するステップを含む情報処理方法である。
【００３１】
本発明の第３の側面は、送信装置より受信装置にデータを伝送する情報処理システムであって、前記送信装置は、送信用蓄積部における前記データの蓄積状況に関するパラメータが、所定の条件を満たすか否かを判定する判定手段と、前記判定手段により、前記パラメータが前記所定の条件を満たすと判定された場合、現在読み出されている所定のデータ単位のデータの次に読み出される予定の前記データ単位のデータの読み出しを禁止する禁止手段と、前記禁止手段により読み出しが禁止された前記データ単位のデータの読み出しを省略し、読み出しが禁止されていない前記データ単位のデータのみを、前記データ単位毎に、所定の順序で、所定のビットレートで前記送信用蓄積部より読み出す第１の読み出し手段と、前記第１の読み出し手段により読み出された前記データを前記受信装置に送信する送信手段とを備え、前記受信装置は、前記送信装置より供給される前記データを受信する受信手段と、前記受信手段により受信された前記データを受信用蓄積部に書き込み蓄積させる書き込み手段と、前記書き込み手段により書き込まれ、前記受信用蓄積部に蓄積されているデータの欠損を所定のデータ単位毎に確認する確認手段と、前記確認手段により、前記受信用蓄積部に蓄積されているデータの欠損が確認されていない場合、前記受信用蓄積部に蓄積されているデータを、前記データ単位毎に、所定の順序で読み出す第２の読み出し手段と、前記確認手段により、前記受信用蓄積部に蓄積されているデータの欠損が確認された場合、欠損したデータを読み出す代わりに、代替用のデータを出力して補完する補完手段とを備える情報処理システムである。
【００３２】
本発明の第１の側面においては、蓄積部におけるデータの蓄積状況に関するパラメータが、所定の条件を満たすか否かが判定され、パラメータが所定の条件を満たすと判定された場合、現在読み出されている所定のデータ単位のデータの次に読み出される予定のデータ単位のデータの読み出しが禁止され、読み出しが禁止されたデータ単位のデータの読み出しが省略されて、読み出しが禁止されていないデータ単位のデータのみが、データ単位毎に、所定の順序で、所定のビットレートで蓄積部より読み出される。
【００３３】
本発明の第２の側面においては、蓄積部に蓄積されているデータの欠損が所定のデータ単位毎に確認され、蓄積部に蓄積されているデータの欠損が確認されていない場合、蓄積部に蓄積されているデータが、データ単位毎に、所定の順序で読み出され、蓄積部に蓄積されているデータの欠損が確認された場合、欠損したデータを読み出す代わりに、代替用のデータが出力されて補完される。
【００３４】
本発明の第３の側面においては、送信装置において、送信用蓄積部におけるデータの蓄積状況に関するパラメータが所定の条件を満たすか否かが判定され、パラメータが所定の条件を満たすと判定された場合、現在読み出されている所定のデータ単位のデータの次に読み出される予定のデータ単位のデータの読み出しが禁止され、読み出しが禁止されたデータ単位のデータの読み出しが省略されて、読み出しが禁止されていないデータ単位のデータのみが、データ単位毎に、所定の順序で、所定のビットレートで送信用蓄積部より読み出され、その読み出されたデータが受信装置に送信され、受信装置において、送信装置より供給されるデータが受信され、その受信されたデータが受信用蓄積部に書き込まれて蓄積され、その受信用蓄積部に蓄積されているデータの欠損が所定のデータ単位毎に確認され、受信用蓄積部に蓄積されているデータの欠損が確認されていない場合、受信用蓄積部に蓄積されているデータが、データ単位毎に、所定の順序で読み出され、受信用蓄積部に蓄積されているデータの欠損が確認された場合、欠損したデータの読み出しの代わりに、代替用のデータが出力されて補完される。
【発明の効果】
【００３５】
本発明によれば、データを伝送することができる。特に、コンテンツのデータ転送において、容易に、不要な遅延時間の増大を抑制するとともに、コンテンツとしての品質の不要な低下も抑制することができる。
【発明を実施するための最良の形態】
【００３６】
以下に本発明の実施の形態を説明するが、本発明の構成要件と、明細書または図面に記載の実施の形態との対応関係を例示すると、次のようになる。この記載は、本発明をサポートする実施の形態が、明細書または図面に記載されていることを確認するためのものである。従って、明細書または図面中には記載されているが、本発明の構成要件に対応する実施の形態として、ここには記載されていない実施の形態があったとしても、そのことは、その実施の形態が、その構成要件に対応するものではないことを意味するものではない。逆に、実施の形態が構成要件に対応するものとしてここに記載されていたとしても、そのことは、その実施の形態が、その構成要件以外の構成要件には対応しないものであることを意味するものでもない。
【００３７】
本発明の第１の側面は、蓄積部（例えば、図１０のＹバッファ２５３およびＣバッファ２５４）に蓄積されているデータを、所定のデータ単位（例えばプレシンクト）毎に、所定の順序で、所定のビットレートで読み出す読み出し手段（例えば、図１１の読み出し指示部２９４）と、前記蓄積部における前記データの蓄積状況に関するパラメータが、所定の条件を満たすか否かを判定する判定手段（例えば、図１１の送出時間確認部２８３またはプレシンクト数判定部２８４）と、前記判定手段により前記パラメータが前記所定の条件を満たすと判定された場合、前記所定の順序において、現在前記読み出し手段により読み出されている前記データ単位のデータの次に読み出される予定の前記データ単位のデータの読み出しを禁止する禁止手段（例えば、図１１の出力禁止部２８５）とを備え、前記読み出し手段は、前記禁止手段により読み出しが禁止された前記データ単位のデータの読み出しを省略し、前記所定の順序において、さらに次に読み出しが予定されている、前記禁止手段により読み出しが禁止されていない前記データ単位のデータの読み出しを行う情報処理装置である。
【００３８】
前記パラメータは、前記蓄積部に蓄積されているデータの、前記データ単位の数であるようにし、前記判定手段（例えば、図１１のプレシンクト数判定部２８４）は、前記データ単位の数が所定の閾値以上であるか否かを判定するようにすることができる。
【００３９】
前記パラメータは、前記読み出し手段が前記蓄積部に蓄積されているデータを全て読み出すのに必要な時間であるようにし、前記判定手段（例えば、図１１の送出時間確認部２８３）は、前記時間を算出し、前記読み出し手段が、所定の時間内に、前記蓄積部に蓄積されているデータを全て読み出すことができるか否かを判定するようにすることができる。
【００４０】
前記禁止手段は、前記判定手段により前記パラメータが前記所定の条件を満たすと判定された場合、前記データ単位のデータの読み出しを、前記所定の順序において、現在前記読み出し手段により読み出されている前記データ単位のデータの、次に読み出される予定の前記データ単位のデータから連続して、前記判定手段により前記パラメータが前記所定の条件を満たさないと判定されるのに必要な数以上禁止する（例えば、図１３）ことができる。
【００４１】
画像データを符号化する符号化手段（例えば、図２の符号化部２０１）と、前記符号化手段により前記画像データが符号化されて得られた符号化データを、前記データ単位毎に前記蓄積部に書き込んで蓄積させる書き込み手段（例えば、図１０のＹデータ書き込み制御部２５１およびＣデータ書き込み制御部２５２）とをさらに備えることができる。
【００４２】
前記読み出し手段により読み出された前記データをパケット化するパケット化手段（例えば、図２のパケット生成部２０３）をさらに備えることができる。
【００４３】
前記パケット化手段によりパケット化された前記データを他の情報処理装置（例えば、図１のカメラ制御部１１２）に送信する送信手段（例えば、図１のビデオ分離／合成部１２６）をさらに備えることができる。
【００４４】
本発明の第１の側面はまた、蓄積部（例えば、図１０のＹバッファ２５３およびＣバッファ２５４）に蓄積されているデータの入出力を制御する情報処理装置（例えば、図１の送信ユニット１１０）の情報処理方法であって、前記蓄積部における前記データの蓄積状況に関するパラメータが、所定の条件を満たすか否かを判定し（例えば、図２４のステップＳ３３またはステップＳ３５）、前記パラメータが前記所定の条件を満たすと判定された場合、現在読み出されている所定のデータ単位のデータの次に読み出される予定の前記データ単位のデータの読み出しを禁止し（例えば、図２４のステップＳ３４またはステップＳ３６）、読み出しが禁止された前記データ単位のデータの読み出しを省略し、読み出しが禁止されていない前記データ単位のデータのみを、前記データ単位毎に、所定の順序で、所定のビットレートで前記蓄積部より読み出す（例えば、図２５のステップＳ５４またはステップＳ５６）ステップを含む情報処理方法である。
【００４５】
本発明の第２の側面は、蓄積部（例えば、図１７のＹバッファ４２２およびＣバッファ４２３）に蓄積されているデータの欠損を所定のデータ単位毎に確認する確認手段（例えば、図１８のプレシンクト番号確認部４６４）と、前記確認手段により、前記蓄積部に蓄積されているデータの欠損が確認されていない場合、前記蓄積部に蓄積されているデータを、前記データ単位毎に、所定の順序で読み出す読み出し手段（例えば、図１８の読み出し指示部４６６）と、前記確認手段により、前記蓄積部に蓄積されているデータの欠損が確認された場合、欠損したデータを読み出す代わりに、代替用のデータを出力して補完する補完手段（例えば、図１８の補完処理部４６８）とを備える情報処理装置である。
【００４６】
予め定められた所定のデータを、前記代替用のデータとして保持する保持手段（例えば、図１８のダミーデータ保持部４６７）をさらに備えるようにし、前記補完手段は、前記確認手段により前記蓄積部に蓄積されているデータの欠損が確認された場合、欠損したデータを読み出す代わりに、前記保持手段より前記データを読み出して出力するようにすることができる。
【００４７】
前記蓄積部に蓄積されるデータと同一のデータを保持する保持手段（例えば、図３０の1ピクチャ符号化データ保持部５６７）をさらに備えるようにし、前記補完手段は、前記確認手段により前記蓄積部に蓄積されているデータの欠損が確認された場合、過去に前記読み出し手段によって前記蓄積部より読み出されたデータと同一のデータを前記保持手段より読み出して出力するようにすることができる。
【００４８】
他の装置より伝送された、前記データを含むパケットを解読し、前記データを抽出するパケット解読手段（例えば、図１６のパケット解読部４０１）と、前記パケット解読手段により抽出された前記データを前記蓄積部に書き込んで蓄積させる書き込み手段（例えば、図１８の書き込み指示部４５２）とをさらに備えることができる。
【００４９】
前記データは符号化データであるようにし、前記読み出し手段により前記蓄積部より読み出された符号化データ、および、前記補完手段により補完された符号化データを復号する復号手段（例えば、図１６の復号部４０３）をさらに備えることができる。
【００５０】
本発明の第２の側面はまた、蓄積部（例えば、図１７のＹバッファ４２２およびＣバッファ４２３）に蓄積されているデータの入出力を制御する情報処理装置（例えば、図１のカメラ制御部１１２）の情報処理方法であって、前記蓄積部に蓄積されているデータの欠損を所定のデータ単位毎に確認し（例えば、図２７のステップＳ９３）、前記蓄積部に蓄積されているデータの欠損が確認されていない場合、前記蓄積部に蓄積されているデータを、前記データ単位毎に、所定の順序で読み出し（例えば、図２７のステップＳ９５およびステップＳ９６）、前記蓄積部に蓄積されているデータの欠損が確認された場合、欠損したデータを読み出す代わりに、代替用のデータを出力して補完する（例えば、図２７のステップＳ９７）ステップを含む情報処理方法である。
【００５１】
本発明の第３の側面は、送信装置（例えば、図１の送信ユニット１１０）より受信装置（例えば、図１のカメラ制御部１１２）にデータを伝送する情報処理システム（例えば、図１のデジタルトライアックスシステム１００）であって、前記送信装置は、送信用蓄積部（例えば、図１０のＹバッファ２５３およびＣバッファ２５４）における前記データの蓄積状況に関するパラメータが、所定の条件を満たすか否かを判定する判定手段（例えば、図１１の送出時間確認部２８３またはプレシンクト数判定部２８４）と、前記判定手段により、前記パラメータが前記所定の条件を満たすと判定された場合、現在読み出されている所定のデータ単位（例えばプレシンクト）のデータの次に読み出される予定の前記データ単位のデータの読み出しを禁止する禁止手段（例えば、図１１の出力禁止部２８５）と、前記禁止手段により読み出しが禁止された前記データ単位のデータの読み出しを省略し、読み出しが禁止されていない前記データ単位のデータのみを、前記データ単位毎に、所定の順序で、所定のビットレートで前記送信用蓄積部より読み出す第１の読み出し手段（例えば、図１１の読み出し指示部２９４）と、前記第１の読み出し手段により読み出された前記データを前記受信装置に送信する送信手段（例えば、図１のビデオ分離／合成部１２６）とを備え、前記受信装置は、前記送信装置より供給される前記データを受信する受信手段（例えば、図１のビデオ分離／合成部１３０）と、前記受信手段により受信された前記データを受信用蓄積部（例えば、図１７のＹバッファ４２２およびＣバッファ４２３）に書き込み蓄積させる書き込み手段（例えば、図１８の書き込み指示部４５２）と、前記書き込み手段により書き込まれ、前記受信用蓄積部に蓄積されているデータの欠損を所定のデータ単位毎に確認する確認手段（例えば、図１８のプレシンクト番号確認部４６４）と、前記確認手段により、前記受信用蓄積部に蓄積されているデータの欠損が確認されていない場合、前記受信用蓄積部に蓄積されているデータを、前記データ単位毎に、所定の順序で読み出す第２の読み出し手段（例えば、図１８の読み出し指示部４６６）と、前記確認手段により、前記受信用蓄積部に蓄積されているデータの欠損が確認された場合、欠損したデータを読み出す代わりに、代替用のデータを出力して補完する補完手段（例えば、図１８の補完処理部４６８）とを備える情報処理システムである。
【００５２】
以下、本発明の実施の形態について説明する。
【００５３】
図１は、本発明を適用したデジタルトライアックスシステムの構成例を示すブロック図である。図１において、デジタルトライアックスシステム１００は、テレビジョン放送局や制作スタジオなどにおいて使用されるシステムであり、送信ユニット１１０、トライアックスケーブル１１１、およびカメラ制御部１１２等よりなる。
【００５４】
スタジオ収録やスポーツ中継などのようなテレビジョン番組等のコンテンツの制作においては、撮影を行うビデオカメラと、そのビデオカメラによる撮影により得られた画像データを記録したり、入出力する画像データの切り替えをしたり、または画像データを編集したりする中央制御システムとにより構成されるシステムが用いられることがある。
【００５５】
通常の場合、撮影には複数のビデオカメラが用いられる。それらの複数のビデオカメラは、デジタルトライアックスシステム１００を介して中央制御システムに接続される。各ビデオカメラは、撮影者によって操作され、撮像素子などを利用して画像を取り込み、その画像データを生成する。中央制御システムは、コンテンツの制作を制御（管理）するシステムであり、１つまたは複数の装置により構成され、コンテンツの記録や、入出力の切り替えや、コンテンツの編集等の機能を有する。この中央制御システムは、例えば、ディレクタ等のような撮影の指示を出す指示者、若しくはその指示者の指示を受ける者等により操作される。
【００５６】
コンテンツの制作において、指示者は、各ビデオカメラを操作する撮影者に対して撮影に関する指示を行う。指示者の指示に従って撮影された画像データは、各ビデオカメラから中央制御システムに供給されて処理される。
【００５７】
図１のデジタルトライアックスシステム１００は、このような、ビデオカメラ側と中央制御システム側との間で行われる、撮影指示やコンテンツ（映像や音声）等の授受を行うシステムである。換言すれば、上述したビデオカメラや中央制御システムは、図１のデジタルトライアックスシステム１００を介してコンテンツや指示の授受を行う。
【００５８】
デジタルトライアックスシステム１００は、例えば、ビデオカメラにおいて撮影されて得られた画像データや音声データを、実際に放映されたり素材として用いられたりする本線データ（画像データを本線映像データと称し、音声データを本線音声データと称する。また、本線映像データの画像を本線ビデオ映像と称する。）として、中央制御システムに伝送する。また、デジタルトライアックスシステム１００は、例えば、中央制御システムより供給される、指示者の指示等を含む音声データや制御コマンド等をビデオカメラに伝送する。さらに、デジタルトライアックスシステム１００は、例えば、ビデオカメラより中央制御システムに伝送した本線映像データを、確認用の画像データであるリターン映像データ（リターン映像データの画像をリターンビデオ映像と称する）として、中央制御システムからビデオカメラに伝送する。
【００５９】
次に、デジタルトライアックスシステム１００の構成について説明する。
【００６０】
このデジタルトライアックスシステム１００においては、送信ユニット１１０とカメラ制御部１１２とが同軸ケーブルであるトライアックスケーブル１１１を介して接続される。
【００６１】
送信ユニット１１０は、ビデオカメラ側の伝送に関する処理を行う処理部である。図１においては、撮影に関する機能を有するビデオカメラ部１１３に接続される。送信ユニット１１０は、ビデオカメラに内蔵されるようにしてもよいし、ビデオカメラに対する外部装置として、ビデオカメラと所定の方法で接続されるようにしてもよい。つまり、図１のビデオカメラ部１１３と送信ユニット１１０が互いに異なる装置として構成されるようにしてもよいし、ビデオカメラ部１１３と送信ユニット１１０が１つの装置として構成されるようにしてもよい。
【００６２】
カメラ制御部１１２は、例えば一般的にCCU(Camera Control Unit)と呼ばれる処理部であり、中央制御システム側の伝送に関する処理を行う。カメラ制御部１１２は、中央制御システムの所定の装置に内蔵されるようにしてもよいし、中央制御システムに対する外部装置として、中央制御システムの所定の装置と所定の方法で接続されるようにしてもよい。
【００６３】
なお、図１においては、デジタルトライアックスシステム１００が、送信ユニット１１０、トライアックスケーブル１１１、およびカメラ制御部１１２だけでなく、ビデオカメラ部１１３や、その周辺装置（後述する）も含むものとして説明する。
【００６４】
また、実際には、ビデオカメラ部１１３は、撮影時に集音も行う。つまり、ビデオカメラ部１１３は、画像データだけでなく音声データも生成する。この音声データは、画像データとともに、デジタルトライアックスシステム１００を介して、デジタルオーディオ信号としてカメラ制御部１１２に伝送される。しかしながら、この音声データついては、この発明の主旨と関わりが少ないので、以下においては、煩雑さを避けるために、音声データについての説明を適宜省略する。
【００６５】
ビデオカメラ部１１３は、レンズ、フォーカス機構、ズーム機構、アイリス調整機構などを有する光学系１５０を介して入射された被写体からの光を、CCD(Charge Coupled Device)などからなる図示せぬ撮像素子で受光する。撮像素子は、受光された光を光電変換で電気信号に変換し、さらに所定の信号処理を施してベースバンドのデジタルビデオ信号（画像データ）を出力する。このデジタルビデオ信号は、例えばHD-SDI(High Definition-Serial Data Interface)のフォーマットにマッピングして出力される。
【００６６】
また、ビデオカメラ部１１３には、モニタとして用いられる表示部１５１と、外部と音声によるやりとりを行うためのインカム１５２が接続される。
【００６７】
送信ユニット１１０は、ビデオ信号符号化部１２０およびビデオ信号復号部１２１、デジタル変調部１２２およびデジタル復調部１２３、アンプ１２４およびアンプ１２５、並びに、ビデオ分離／合成部１２６を有し、ビデオカメラ部１１３に接続される。
【００６８】
送信ユニット１１０において、ビデオカメラ部１１３から、例えばHD-SDIのフォーマットにマッピングされたベースバンドのデジタルビデオ信号（画像データ）が供給される。このデジタルビデオ信号は、放映されたり素材として用いられたりする本線映像データの信号（本線デジタルビデオ信号）であり、ビデオ信号符号化部１２０において圧縮符号化され、符号化データ（符号化ストリーム）とされ、パケット化されてデジタル変調部１２２に供給される。デジタル変調部１２２は、供給された符号化ストリームのパケットを、トライアックスケーブル１１１を介した伝送に適した形式の信号に変調して出力する。デジタル変調部１２２から出力された信号は、アンプ１２４を介してビデオ分離／合成部１２６に供給される。ビデオ分離／合成部１２６は、供給された信号をトライアックスケーブル１１１に送出する。この信号は、トライアックスケーブル１１１を介してカメラ制御部１１２に供給される。
【００６９】
また、そのカメラ制御部１１２から出力された信号が、トライアックスケーブル１１１を介して送信ユニット１１０に供給されて受信される。その受信された信号は、ビデオ分離／合成部１２６に供給され、デジタルビデオ信号の部分とその他の信号の部分とが分離される。受信信号のうちデジタルビデオ信号の部分は、アンプ１２５を介してデジタル復調部１２３に供給され、カメラ制御部１１２側でトライアックスケーブル１１１を介した伝送に適した形式の信号に変調された信号を復調し、符号化ストリームのパケットを復元する。
【００７０】
この符号化ストリームのパケットはビデオ信号復号部１２１に供給される。ビデオ信号復号部１２１は、符号化ストリームのパケットを解読して符号化ストリームを抽出し（デパケタイズし）、抽出した符号化ストリームの圧縮符号を復号し、ベースバンドのデジタルビデオ信号を復元する。この復号されたデジタルビデオ信号は、HD-SDIのフォーマットにマッピングされて出力され、リターン映像データの信号（リターンデジタルビデオ信号と称する）としてビデオカメラ部１１３に供給される。このリターンデジタルビデオ信号は、ビデオカメラ部１１３に接続される表示部１５１に供給され、撮影者のためのリターンビデオ映像のモニタなどに利用される。
【００７１】
なお、表示部１５１には、ビデオカメラ部１１３において撮影された、中央制御システムへ転送する前の本線ビデオ映像も表示させるようにしてもよい。ただし、この本線ビデオ映像のデータは上述したように圧縮されて転送されるので、画質劣化等により転送前の映像と転送後の映像とで互いに同じタイミングのフレーム画像であっても視覚的に大きく異なる場合がある。従って、撮影者が、本線映像データが中央制御システムにおいてどの様な状態で受け取られているかを容易に把握することができるようにするために、カメラ制御部１１２側より供給されるリターンビデオ映像は、表示部１５１に表示されるようにすることが望ましい。
【００７２】
本線映像データは、中央制御システムに転送された後、その中央制御システムにおいて記録されたり、編集されたり、モニタにその画像を表示されたり、若しくは外部の装置に出力されたりする。つまり、本線映像データは、中央制御システムにおいて利用されるので、撮影者は、その利用時の画像の状態を把握しながら撮影を行うことが望ましい。例えば、転送前の本線ビデオ映像においては視認可能であった被写体が、転送後の本線ビデオ映像においては画質劣化により視認することができなくなっていることも考えられる。表示部１５１にリターンビデオ映像を表示させることにより、撮影者は、画質劣化によって被写体が視認できなくなっていることを容易に把握することができるので、例えば、転送後でもその被写体が視認可能であるように撮影方法を変更することができる。
【００７３】
また、中央制御システムを操作する指示者は、本線ビデオ映像を確認しながら撮影者に対して撮影に関する指示を行うが、このとき、撮影者が確認する画像と指示者が確認する画像とが互いに異なると、撮影者が指示者からの指示の意味を理解することができない恐れもある。そこで、表示部１５１に、カメラ制御部１１２側より供給される、リターンビデオ映像を表示させるようにすることにより、撮影者は、指示者がどの様な画像に基づいて指示を出したかを容易に把握することができ、指示者からの指示の意味をより正しく理解することができるようになる。
【００７４】
カメラ制御部１１２は、ビデオ分離／合成部１３０、アンプ１３１およびアンプ１３２、フロントエンド部１３３、デジタル復調部１３４およびデジタル変調部１３５、並びに、ビデオ信号復号部１３６およびビデオ信号符号化部１３７を有する。
【００７５】
送信ユニット１１０から出力された信号は、トライアックスケーブル１１１を介してカメラ制御部１１２に供給されて受信される。その受信された信号は、ビデオ分離／合成部１３０に供給される。ビデオ分離／合成部１３０は、供給された信号を、アンプ１３１およびフロントエンド部１３３を介してデジタル復調部１３４に供給する。なお、フロントエンド部１３３は、入力信号のゲインを調整するゲイン制御部や、入力信号に対して所定のフィルタ処理を施すフィルタ部などを有する。
【００７６】
デジタル復調部１３４は、送信ユニット１１０側でトライアックスケーブル１１１を介した伝送に適した形式の信号に変調された信号を復調し、符号化ストリームのパケットを復元する。この符号化ストリームのパケットはビデオ信号復号部１３６に供給される。ビデオ信号復号部１３６は、ビデオ信号復号部１２１と同様に、符号化ストリームのパケットを解読して符号化ストリームを抽出し（デパケタイズし）、抽出した符号化ストリームの圧縮符号を復号し、ベースバンドのデジタルビデオ信号を復元する。この復号されたデジタルビデオ信号は、HD-SDIのフォーマットにマッピングされて出力され、本線デジタルビデオ信号として外部の中央制御システムに出力され、例えば、モニタに映像が表示されたり、編集されたりする。
【００７７】
外部からカメラ制御部１１２に対して、デジタルオーディオ信号が供給される。デジタルオーディオ信号は、例えば、撮影者のインカム１５２に供給され、指示者から撮影者に対する音声による指示を伝達するのに用いられる。また、ビデオ信号復号部１３６は、復号されたデジタルビデオ信号を、リターン用としてビデオ信号符号化部１３７にも供給する。ビデオ信号符号化部１３７は、ビデオ信号復号部１３６より供給されたベースバンドのデジタルビデオ信号を、ビデオ信号符号化部１２０と同様に圧縮符号化し、得られた符号化データ（符号化ストリーム）をパケット化して、そのパケットをデジタル変調部１３５に供給する。
【００７８】
デジタル変調部１３５は、供給された符号化ストリームを、トライアックスケーブル１１１を介した伝送に適した形式の信号に変調して出力する。デジタル変調部１３５から出力された信号は、フロントエンド部１３３およびアンプ１３２を介してビデオ分離／合成部１３０に供給される、ビデオ分離／合成部１３０は、この信号を他の信号と多重化し、トライアックスケーブル１１１に送出する。この信号は、リターンデジタルビデオ信号としてトライアックスケーブル１１１を介して送信ユニット１１０に供給される。
【００７９】
このようなデジタルトライアックスシステム１００には、データ伝送時の即時性（リアルタイム性）が求められる。例えば、指示者は、ビデオカメラ部１１３より転送されてきた本線ビデオ映像を参照しながら撮影者に対して指示を行うので、本線映像データが、ビデオカメラ部１１３において生成されてから、デジタルトライアックスシステム１００により伝送され、中央制御システムにおいて画像が表示されるまでの遅延時間が増大すると、指示者からの撮影者への指示が遅すぎてしまう恐れがある。さらに、送信ユニット１１０よりカメラ制御部１１２に転送された本線映像データが、再度送信ユニット１１０に転送され、その画像（本線ビデオ映像）が表示部１５１に表示されるまでの遅延時間も増大すると、本線ビデオ映像に基づいて行われた指示が、リターンビデオ映像とのタイミングが合わず、撮影者がその指示の意味を理解することが困難になる恐れもある。
【００８０】
以上のような理由から、特にスポーツ中継のように動的な被写体を撮影する場合、カメラコントロールユニットのユーザからのカメラヘッドのユーザに対する指示のタイミングが重要になってくる。つまり、デジタルトライアックスシステム１００においては、データ伝送の遅延時間を可能な限り低減させることが望ましい。
【００８１】
そこで、ビデオ信号符号化部１２０やビデオ信号符号化部１３７は、後述するように、より低遅延で画像データを符号化するようになされている。また、ビデオ信号復号部１２１およびビデオ信号復号部１３６も、後述するように、より低遅延で符号化データを復号するようになされている。しかしながら、符号化処理や復号処理以外にも、さらなる遅延時間の短縮が求められている。
【００８２】
ところで、デジタルトライアックスシステム１００においては、伝送経路の帯域は有限であるので、符号化データは略一定のビットレートで伝送されるようにすることが望ましい。例えば、デジタルトライアックスシステム１００において、本線映像データの符号化データが伝送される回線である本線、および、リターン映像データの符号化データが伝送されるリターン回線の帯域幅がそれぞれ１５０Mbpsであるとすると、ビデオ信号符号化部１２０やビデオ信号符号化部１３７は、本線映像データやリターン映像データを、１５０Mbpsのビットレートに圧縮する必要がある。
【００８３】
しかしながら、一般的には、画像データを構成するピクチャ（インタレース方式の画像ではフィールド、プログレッシブ方式の画像ではフレーム）によって、圧縮の難易度が異なるため、発生符号量は、ピクチャ毎に変動する可能性が高い。
【００８４】
そこで、ビデオ信号符号化部１２０やビデオ信号符号化部１３７は、後述するように、符号化データの伝送時のビットレート（伝送レート）を安定させるために、符号化により生成された符号化データをバッファに蓄積し、そのバッファより符号化データを所定のビットレートで読み出して伝送することにより、伝送レートを平滑化する。このバッファの容量、すなわち、バッファに蓄積するデータ量が多いほど、ビデオ信号符号化部１２０やビデオ信号符号化部１３７は、より安定的に符号化データを伝送させることができる。つまり、ビデオ信号符号化部１２０やビデオ信号符号化部１３７は、バッファに蓄積するデータ量が多いほど、発生符号量がより大きな幅で変動しても、符号化データを略一定の伝送レートで伝送させることができるようになる。
【００８５】
しかしながら、バッファに蓄積するデータ量が多いほど、伝送に要する遅延時間は増大する。そこで、ビデオ信号符号化部１２０、ビデオ信号復号部１２１、ビデオ信号復号部１３６、およびビデオ信号符号化部１３７は、後述するように、不要な遅延時間の増大を抑制するとともに、コンテンツとしての品質の不要な低下も抑制するように平滑化処理や受信処理を行うようになされている。
【００８６】
なお、図１において、トライアックスケーブル１１１は、同軸ケーブルであるように説明したが、符号化データを伝送可能な伝送媒体であれば何でもよく、有線であってもよいし、無線であってもよいし、有線と無線の両方を含むものであってもよい。また、１つまたは複数のネットワークを含むようにしてもよい。
【００８７】
また、図１においては、送信ユニット１１０とカメラ制御部１１２が１対１に接続されるように示されているが、１つのカメラ制御部１１２に対して複数の送信ユニット１１０が接続されるようにしてももちろんよい。
【００８８】
次に、各部の詳細について説明する。
【００８９】
図２は、図１のビデオ信号符号化部１２０の詳細な構成例を示すブロック図である。なお、図１のビデオ信号符号化部１３７は、ビデオ信号符号化部１２０と同様の構成を有し、同様の処理を行うので、ビデオ信号符号化部１２０に対する説明を適用することができる。従って、説明の簡略化のため、必要な場合を除き、ビデオ信号符号化部１３７の説明は省略する。
【００９０】
図２において、ビデオ信号符号化部１２０は、符号化部２０１、送信用バッファ制御部２０２、およびパケット生成部２０３を有する。
【００９１】
符号化部２０１は、ビデオカメラ部１１３より供給される本線映像データを所定の符号化方法で符号化し、得られた符号化データを送信用バッファ制御部２０２に供給する。送信用バッファ制御部２０２は、供給された符号化データを内蔵するバッファに蓄積し、その符号化データを所定のビットレートで読み出してパケット生成部２０３に供給することにより符号化データの伝送レートを平滑化する。パケット生成部２０３は、送信用バッファ制御部２０２より供給される符号化データを所定のデータ単位毎にヘッダ情報を付加してパケット化する。パケット生成部２０３は、このように生成した符号化データのパケットを本線映像データとしてデジタル変調部１２２に供給する。
【００９２】
詳細については後述するが、このとき、送信用バッファ制御部２０２は、容易に、不要な遅延時間の増大を抑制するとともに、コンテンツとしての品質の不要な低下も抑制することができるような方法で、符号化データの伝送レートを平滑化する。
【００９３】
なお、ビデオ信号符号化部１３７の場合、符号化部２０１は、ビデオ信号復号部１３６より供給されるリターン映像データを符号化し、パケット生成部２０３は、送信用バッファ制御部２０２より供給された符号化データをパケット化し、そのパケットをリターン映像データとしてデジタル変調部１３５に供給する。
【００９４】
図３は、図２の符号化部２０１の詳細な構成例を示すブロック図である。
【００９５】
図３において、符号化部２０１は、ウェーブレット変換部２２１、途中計算用バッファ部２２２、係数並び替え用バッファ部２２３、係数並び替え部２２４、量子化部２２５、レート制御部２２６、およびエントロピ符号化部２２７を有する。
【００９６】
符号化部２０１に入力された画像データは、ウェーブレット変換部２２１を介して途中計算用バッファ部２２２に一時的に溜め込まれる。ウェーブレット変換部２２１は、途中計算用バッファ部２２２に溜め込まれた画像データに対してウェーブレット変換を施す。すなわち、ウェーブレット変換部２２１は、途中計算用バッファ部２２２から画像データを読み出して分析フィルタによりフィルタ処理を施して低域成分および高域成分の係数のデータを生成し、生成された係数データを途中計算用バッファ部２２２に格納する。ウェーブレット変換部２２１は、水平分析フィルタと垂直分析フィルタとを有し、画像データ群に対して、画面水平方向と画面垂直方向の両方について分析フィルタ処理を行う。ウェーブレット変換部２２１は、途中計算用バッファ部２２２に格納された低域成分の係数データを再度読み出し、読み出した係数データに対して分析フィルタによるフィルタ処理を施して、高域成分および低域成分の係数のデータをさらに生成する。生成された係数データは、途中計算用バッファ部２２２に格納される。
【００９７】
ウェーブレット変換部２２１は、この処理を繰り返して分解レベルが所定レベルに達したら、途中計算用バッファ部２２２から係数データを読み出し、読み出された係数データを係数並び替え用バッファ部２２３に書き込む。
【００９８】
係数並び替え部２２４は、係数並び替え用バッファ部２２３に書き込まれた係数データを所定の順序で読み出し、量子化部２２５に供給する。
【００９９】
レート制御部２２６は、エントロピ符号化部２２７において発生する符号量（生成される符号化データのデータ量）が、例えば外部より指定される、若しくは予め設定された目標符号量に適合（一致または近似）するように、量子化部２２５において行われる量子化処理で用いられる量子化ステップサイズを算出し、その量子化ステップサイズを指定する指示情報を、量子化部２２５に供給する。
【０１００】
量子化部２２５は、係数並び替え部２２４より供給される係数データを、その供給順に、レート制御部２２６より供給される指示情報により指定される量子化ステップサイズで量子化し、それをエントロピ符号化部２２７に供給する。エントロピ符号化部２２７は、供給された係数データを、例えばハフマン符号化や算術符号化といった所定のエントロピ符号化方式で符号化し、符号化データを生成する。エントロピ符号化部２２７は、生成した符号化データを図２の送信用バッファ制御部２０２に供給する。
【０１０１】
次に、図３のウェーブレット変換部２２１で行われる処理について、より詳細に説明する。先ず、ウェーブレット変換について、概略的に説明する。画像データに対するウェーブレット変換では、図４に概略的に示されるように、画像データを空間周波数の高い帯域と低い帯域とに分割する処理を、分割の結果得られる空間周波数の低い帯域のデータに対して再帰的に繰り返す。こうして、空間周波数の低い帯域のデータをより小さな領域に追い込んでいくことで、効率的な圧縮符号化を可能とする。
【０１０２】
なお、図４は、画像データの最低域成分領域に対する低域成分の領域Ｌおよび高域成分の領域Ｈへの分割処理を３回、繰り返し、分割レベル＝３とした場合の例である。図４において、"Ｌ"および"Ｈ"は、それぞれ低域成分および高域成分を表し、"Ｌ"および"Ｈ"の順序は、前側が横方向に分割した結果の帯域を示し、後側が縦方向に分割した結果の帯域を示す。また、"Ｌ"および"Ｈ"の前の数字は、その領域の分割レベルを示す。
【０１０３】
また、図４の例から分かるように、画面の右下の領域から左上の領域にかけて段階的に処理がなされ、低域成分が追い込まれていく。すなわち、図４の例では、画面の右下の領域が最も低域成分の少ない（高域成分が最も多く含まれる）領域３ＨＨとされる、画面が４分割された左上の領域は、さらに４分割され、この４分割された領域のうち左上の領域がさらに４分割される。最も左上隅の領域は、最も低域成分を多く含む領域０ＬＬとされる。
【０１０４】
低域成分に対して繰り返し変換および分割を行うのは、画像のエネルギが低域成分に集中しているためである。このことは、図５Ａに一例が示される分割レベル＝１の状態から、図５Ｂに一例が示される分割レベル＝３の状態のように分割レベルを進めていくに従って、図５Ｂに示されるようにしてサブバンドが形成されていくことからも、理解される。例えば、図４におけるウェーブレット変換の分割レベルは３であり、この結果、１０個のサブバンドが形成されている。
【０１０５】
ウェーブレット変換部２２１は、通常、低域フィルタと高域フィルタとから構成されるフィルタバンクを用いて、上述のような処理を行う。なお、デジタルフィルタは、通常、複数タップ長のインパルス応答すなわちフィルタ係数を持っているため、フィルタ処理を行えるだけの入力画像データまたは係数データを予めバッファリングしておく必要がある。また、ウェーブレット変換を多段にわたって行う場合も同様に、前段で生成したウェーブレット変換係数を、フィルタ処理が行える数だけバッファリングしておく必要がある。
【０１０６】
このウェーブレット変換の具体的な例として、５×３フィルタを用いた方法について説明する。この５×３フィルタを用いた方法は、従来技術で既に説明したJPEG（Joint Photographic Experts Group）2000規格でも採用されており、少ないフィルタタップ数でウェーブレット変換を行うことができる点で、優れた方法である。
【０１０７】
５×３フィルタのインパルス応答（Ｚ変換表現）は、次の式（１）および式（２）に示すように、低域フィルタＨ₀（ｚ）と、高域フィルタＨ₁（ｚ）とから構成される。式（１）および式（２）から、低域フィルタＨ₀（ｚ）は、５タップで、高域フィルタＨ₁（ｚ）は、３タップであることが分かる。
【０１０８】
Ｈ₀（ｚ）＝（−１＋２ｚ^-1＋６Ｚ^-2＋２Ｚ^-3−ｚ^-4）／８ ・・・（１）
Ｈ₁（ｚ）＝（−１＋２Ｚ^-1−Ｚ^-2）／２ ・・・（２）
【０１０９】
これら式（１）および式（２）によれば、低域成分および高域成分の係数を、直接的に算出することができる。ここで、リフティング(Lifting)技術を用いることで、フィルタ処理の計算を減らすことができる。
【０１１０】
次に、このウェーブレット変換方法について、より具体的に説明する。図６は、５×３フィルタのリフティングによるフィルタ処理を、分解レベル＝２まで実行した例を示している。なお、図６において、図の左側に分析フィルタとして示される部分は、符号化部２０１におけるウェーブレット変換部２２１のフィルタである。また、図の右側に合成フィルタとして示される部分は、後述する復号部４０３におけるウェーブレット逆変換部４８４（図２２）のフィルタである。
【０１１１】
なお、以下の説明では、例えば表示デバイスなどにおいて画面の左上隅の画素を先頭として、画素が画面の左端から右端に向けて走査されて１ラインが構成され、ライン毎の走査が画面の上端から下端に向けて行われて１画面が構成されるものとする。
【０１１２】
図６において、左端列は、原画像データのライン上の対応する位置にある画素データが縦方向に並べられて示されている。すなわち、ウェーブレット変換部２２１におけるフィルタ処理は、垂直フィルタを用いて画面上を画素が縦に走査されて行われる。左端から１列目乃至３列目が分割レベル＝１のフィルタ処理を示し、４列目乃至６列目が分割レベル＝２のフィルタ処理を示す。左端から２列目は、左端の原画像データの画素に基づく高域成分出力、左端から３列目は、原画像データおよび高域成分出力に基づく低域成分出力を示す。分割レベル＝２のフィルタ処理は、左端から４列目乃至６列目に示されるように、分割レベル＝１のフィルタ処理の出力に対して処理がなされる。
【０１１３】
分解レベル＝１のフィルタ処理において、第１段階のフィルタ処理として、原画像データの画素に基づき高域成分の係数データが算出され、第２段階のフィルタ処理として、第１段階のフィルタ処理で算出された高域成分の係数データと、原画像データの画素とに基づき低域成分の係数データが算出される。分解レベル＝１の一例のフィルタ処理を、図６における左側（分析フィルタ側）の第１列目乃至第３列目に示す。算出された高域成分の係数データは、図３で説明した係数並び替え用バッファ部２２３に格納される。また、算出された低域成分の係数データは、途中計算用バッファ部２２２に格納される。
【０１１４】
図６においては、一点鎖線で囲まれているデータが係数並び替え用バッファ部２２３に一時的に保存され、点線で囲まれているデータが途中計算用バッファ部２２２に一時的に保存される。
【０１１５】
途中計算用バッファ部２２２に保持された分解レベル＝１のフィルタ処理の結果に基づき、分解レベル＝２のフィルタ処理が行われる。分解レベル＝２のフィルタ処理では、分解レベル＝１のフィルタ処理において低域成分の係数として算出された係数データを、低域成分および高域成分を含んだ係数データと見做して、分解レベル＝１と同様のフィルタ処理を行う。分解レベル＝２のフィルタ処理により算出された、高域成分の係数データおよび低域成分の係数データは、図３で説明した係数並び替え用バッファ部２２３に格納される。
【０１１６】
ウェーブレット変換部２２１では、上述したようなフィルタ処理を、画面の水平方向および垂直方向にそれぞれ行う。例えば、先ず、分解レベル＝１のフィルタ処理を水平方向に行い、生成された高域成分および低域成分の係数データを途中計算用バッファ部２２２に格納する。次に、途中計算用バッファ部２２２に格納された係数データに対して、垂直方向に分解レベル＝１のフィルタ処理を行う。この分解レベル＝１の水平および垂直方向の処理により、高域成分をさらに高域成分および低域成分に分解した係数データのそれぞれによる領域ＨＨおよび領域ＨＬと、低域成分をさらに高域成分および低域成分に分解した係数データのそれぞれによる領域ＬＨおよび領域ＬＬとの４領域が形成される。
【０１１７】
そして、分解レベル＝２では、水平方向および垂直方向のそれぞれについて、分解レベル＝１で生成された低域成分の係数データに対してフィルタ処理が行われる。すなわち、分解レベル＝２では、分解レベル＝１で分割されて形成された領域ＬＬがさらに４分割され、領域ＬＬ内にさらに領域ＨＨ、領域ＨＬ、領域ＬＨおよび領域ＬＬが形成される。
【０１１８】
ウェーブレット変換部２２１は、ウェーブレット変換によるフィルタ処理を、画面の縦方向について、数ライン毎の処理に分割して、複数回に分けて段階的に行うようにしている。図６の例では、画面上の第１ラインからの処理になる１回目の処理は、７ラインについてフィルタ処理を行い、８ライン目からの処理になる２回目以降の処理は、４ライン毎にフィルタ処理を行っている。このライン数は、高域成分と低域成分とに２分解した後に、１ライン分の最低域成分が生成されるために必要なライン数に基づく。
【０１１９】
なお、以下において、この最低域成分の１ライン分（最低域成分のサブバンドの１ライン分の係数データ）を生成するために必要な、他のサブバンドも含めたラインの集まりを、プレシンクト（Precinct）（またはラインブロック）と称する。ここでラインとは、ウェーブレット変換前の画像データに対応するピクチャ若しくはフィールド内、または各サブバンド内において形成される１行分の画素データ若しくは係数データのことを示す。すなわち、プレシンクト（ラインブロック）とは、ウェーブレット変換前の元の画像データにおける、ウェーブレット変換後の最低域成分のサブバンド１ライン分の係数データを生成するために必要なライン数分の画素データ群、または、その画素データ群をウェーブレット変換して得られる各サブバンドの係数データ群のことを示す。
【０１２０】
図６によれば、分解レベル＝２のフィルタ処理結果で得られる係数Ｃ５は、係数Ｃ４および途中計算用バッファ部２２２に格納された係数Ｃ_aに基づき算出され、係数Ｃ４は、途中計算用バッファ部２２２に格納された係数Ｃ_a、係数Ｃ_b及び係数Ｃ_cに基づき算出される。さらに、係数Ｃ_cは、係数並び替え用バッファ部２２３に格納される係数Ｃ２および係数Ｃ３、並びに、第５ラインの画素データに基づき算出される。また、係数Ｃ３は、第５ライン乃至第７ラインの画素データに基づき算出される。このように、分割レベル＝２における低域成分の係数Ｃ５を得るためには、第１ライン乃至第７ラインの画素データが必要とされる。
【０１２１】
これに対して、２回目以降のフィルタ処理においては、前回までのフィルタ処理で既に算出され係数並び替え用バッファ部２２３に格納されている係数データを用いることができるので、必要なライン数が少なくて済む。
【０１２２】
すなわち、図６によれば、分解レベル＝２のフィルタ処理結果で得られる低域成分の係数のうち、係数Ｃ５の次の係数である係数Ｃ９は、係数Ｃ４および係数Ｃ８、並びに、途中計算用バッファ部２２２に格納された係数Ｃ_cに基づき算出される。係数Ｃ４は、上述した１回目のフィルタ処理により既に算出され、係数並び替え用バッファ部２２３に格納されている。同様に、係数Ｃ_cは、上述の１回目のフィルタ処理により既に算出され、途中計算用バッファ部２２２に格納されている。したがって、この２回目のフィルタ処理においては、係数Ｃ８を算出するためのフィルタ処理のみが、新たになされることになる。この新たなフィルタ処理は、第８ライン乃至第１１ラインがさらに用いられてなされる。
【０１２３】
このように、２回目以降のフィルタ処理は、前回までのフィルタ処理により算出され途中計算用バッファ部２２２および係数並び替え用バッファ部２２３に格納されたデータを用いることができるので、それぞれ４ライン毎の処理で済むことになる。
【０１２４】
なお、画面上のライン数が符号化のライン数と合致しない場合は、原画像データのラインを所定の方法で複製してライン数を符号化のライン数と合わせて、フィルタ処理を行う。
【０１２５】
このように、最低域成分１ライン分の係数データが得られるだけのフィルタ処理を段階的に、画面全体のラインに対して複数回に分けて（プレシンクト単位で）行うことで、符号化データを伝送した際に低遅延で復号画像を得ることを可能としている。
【０１２６】
ウェーブレット変換を行うためには、ウェーブレット変換そのものを実行するために用いられる第１のバッファと、所定の分割レベルまで処理を実行する間に生成される係数を格納するための第２のバッファとが必要とされる。第１のバッファは、途中計算用バッファ部２２２に対応し、図６においては点線で囲まれているデータが一時的に保存される。また、第２のバッファは、係数並び替え用バッファ部２２３に対応し、図６においては一点鎖線に囲まれているデータが一時的に保存される。第２のバッファに格納された係数は、復号の際に用いられるため、後段のエントロピ符号化処理の対象とされる。
【０１２７】
係数並び替え部２２４の処理について説明する。上述したように、ウェーブレット変換部２２１で算出された係数データは、係数並び替え用バッファ部２２３に格納され、係数並び替え部２２４により順序を並び替えられて読み出され、量子化部２２５に送出される。
【０１２８】
既に説明したように、ウェーブレット変換においては、高域成分側から低域成分側へと係数が生成されていく。図６の例では、１回目において、原画像の画素データにより、分解レベル＝１のフィルタ処理で、高域成分の係数Ｃ１、係数Ｃ２および係数Ｃ３が順次生成される。そして、分解レベル＝１のフィルタ処理で得られた低域成分の係数データに対して分解レベル＝２のフィルタ処理を行い、低域成分の係数Ｃ４および係数Ｃ５が順次生成される。すなわち、第１回目では、係数Ｃ１、係数Ｃ２、係数Ｃ３、係数Ｃ４、係数Ｃ５の順に、係数データが生成される。この係数データの生成順は、ウェーブレット変換の原理上、必ずこの順序（高域から低域の順）になる。
【０１２９】
これに対して、復号側では、低遅延で即座に復号を行うためには低域成分から画像の生成および出力を行う必要がある。そのため、符号化側で生成された係数データを最低域成分側から高域成分側に向けて並び替えて復号側に供給することが望ましい。
【０１３０】
図６の例を用いて、より具体的に説明する。図６の右側は、ウェーブレット逆変換を行う合成フィルタ側を示す。復号側の、出力画像データの第１ライン目を含む１回目の合成処理（ウェーブレット逆変換処理）は、符号化側の１回目のフィルタ処理で生成された最低域成分の係数Ｃ４および係数Ｃ５と、係数Ｃ１とを用いて行われる。
【０１３１】
すなわち、１回目の合成処理においては、係数Ｃ５、係数Ｃ４、係数Ｃ１の順に符号化側から復号側に係数データを供給し、復号側では、分解レベル＝２に対応する合成処理である合成レベル＝２の処理で、係数Ｃ５および係数Ｃ４に対して合成処理を行って係数Ｃ_fを生成し、バッファに格納する。そして、分解レベル＝１に対応する合成処理である合成レベル＝１の処理で、この係数Ｃ_fと係数Ｃ１に対して合成処理を行って、第１ラインを出力する。
【０１３２】
このように、第１回目の合成処理においては、符号化側で係数Ｃ１、係数Ｃ２、係数Ｃ３、係数Ｃ４、係数Ｃ５の順に生成され係数並び替え用バッファ部２２３に格納された係数データが、係数Ｃ５、係数Ｃ４、係数Ｃ１、・・・の順に並び替えられて復号側に供給される。
【０１３３】
なお、図６の右側に示す合成フィルタ側では、符号化側から供給される係数について、括弧内に符号化側での係数の番号を記し、括弧外に合成フィルタのライン順を記す。例えば係数Ｃ１（５）は、図６の左側の分析フィルタ側では係数Ｃ５であって、合成フィルタ側では第１ライン目であることを示す。
【０１３４】
符号化側の２回目以降のフィルタ処理で生成された係数データによる復号側の合成処理は、前回の合成処理の際に合成あるいは符号化側から供給された係数データを用いて行うことができる。図６の例では、符号化側の２回目のフィルタ処理で生成された低域成分の係数Ｃ８および係数Ｃ９を用いて行う、復号側の２回目の合成処理は、符号化側の１回目のフィルタ処理で生成された係数Ｃ２および係数Ｃ３がさらに必要とされ、第２ライン乃至第５ラインが復号される。
【０１３５】
すなわち、２回目の合成処理においては、係数Ｃ９、係数Ｃ８、係数Ｃ２、係数Ｃ３の順に符号化側から復号側に係数データを供給する。復号側では、合成レベル＝２の処理において、係数Ｃ８および係数Ｃ９と、１回目の合成処理の際に符号化側から供給された係数Ｃ４とを用いて係数Ｃ_gを生成し、バッファに格納する。この係数Ｃ_gと、上述の係数Ｃ４と、１回目の合成処理により生成されバッファに格納された係数Ｃ_fとを用いて係数Ｃ_hを生成し、バッファに格納する。
【０１３６】
そして、合成レベル＝１の処理において、合成レベル＝２の処理で生成されバッファに格納された係数Ｃ_gおよび係数Ｃ_hと、符号化側から供給された係数Ｃ２（合成フィルタでは係数Ｃ６（２）と示されている）および係数Ｃ３（合成フィルタでは係数Ｃ７（３）と示されている）とを用いて合成処理が行われ、第２ライン乃至第５ラインが復号される。
【０１３７】
このように、第２回目の合成処理においては、符号化側で係数Ｃ２、係数Ｃ３、（係数Ｃ４、係数Ｃ５）、係数Ｃ６、係数Ｃ７、係数Ｃ８、係数Ｃ９の順に生成された係数データが、係数Ｃ９、係数Ｃ８、係数Ｃ２、係数Ｃ３、・・・の順に並び替えられて復号側に供給される。
【０１３８】
３回目以降の合成処理においても、同様にして、係数並び替え用バッファ部２２３に格納された係数データが所定の順序に並び替えられて復号部に供給され、４ラインずつ、ラインが復号される。
【０１３９】
なお、符号化側において画面の下端のラインを含むフィルタ処理（以下、最後の回と呼ぶ）に対応する復号側の合成処理では、それまでの処理で生成されバッファに格納された係数データを全て出力することになるため、出力ライン数が多くなる。図６の例では、最後の回に８ラインが出力される。
【０１４０】
なお、係数並び替え部２２４による係数データの並び替え処理は、例えば、係数並び替え用バッファ部２２３に格納された係数データを読み出す際の読み出しアドレスを、所定の順序に設定することでなされる。
【０１４１】
図７を用いて、上述までの処理をより具体的に説明する。図７は、５×３フィルタを用いて、分解レベル＝２までウェーブレット変換によるフィルタ処理を施した例である。ウェーブレット変換部２２１において、図７Ａに一例が示されるように、入力画像データの第１ラインから第７ラインに対して１回目のフィルタ処理が水平および垂直方向にそれぞれ行われる（図７ＡのＩｎ−１）。
【０１４２】
１回目のフィルタ処理の分解レベル＝１の処理において、係数Ｃ１、係数Ｃ２、および係数Ｃ３の３ライン分の係数データが生成され、図７Ｂに一例が示されるように、分解レベル＝１で形成される領域ＨＨ、領域ＨＬおよび領域ＬＨのそれぞれに配置される（図７ＢのＷＴ−１）。
【０１４３】
また、分解レベル＝１で形成される領域ＬＬは、分解レベル＝２による水平および垂直方向のフィルタ処理でさらに４分割される（領域ＬＬＬ，ＬＬＨ，ＬＨＬ，ＬＨＨ）。分解レベル＝２で生成される係数Ｃ５および係数Ｃ４は、分解レベル＝１による領域ＬＬ内において、領域ＬＬＬに係数Ｃ５による１ラインが配置され、領域ＬＨＨ、領域ＬＨＬおよび領域ＬＬＨのそれぞれに、係数Ｃ４による１ラインが配置される。
【０１４４】
ウェーブレット変換部２２１による２回目以降のフィルタ処理では、４ライン毎にフィルタ処理が行われ（図７ＡのＩｎ−２・・・）、分解レベル＝１で２ラインずつの係数データが生成され（図７ＢのＷＴ−２）、分解レベル＝２で１ラインずつの係数データが生成される。
【０１４５】
図６の２回目の例では、分解レベル＝１のフィルタ処理で係数Ｃ６および係数Ｃ７の２ライン分の係数データが生成され、図７Ｂに一例が示されるように、分解レベル１で形成される領域ＨＨ、領域ＨＬおよび領域ＬＨの、１回目のフィルタ処理で生成された係数データの次から配置される。同様に、分解レベル＝１による領域ＬＬ内において、分解レベル＝２のフィルタ処理で生成された１ライン分の係数Ｃ９が領域ＬＬＬに配置され、１ライン分の係数Ｃ８が領域ＬＨＨ、領域ＬＨＬおよび領域ＬＬＨにそれぞれ配置される。
【０１４６】
図７Ｂのようにウェーブレット変換されたデータを復号した際には、図７Ｃに一例が示されるように、符号化側の第１ライン乃至第７ラインによる１回目のフィルタ処理に対して、復号側の１回目の合成処理による第１ラインが出力される（図７ＣのＯｕｔ−１）。以降、符号化側の２回目から最後の回の前までのフィルタ処理に対して、復号側で４ラインずつが出力される（図７ＣのＯｕｔ−２・・・）。そして、符号化側の最後の回のフィルタ処理に対して、復号側で８ラインが出力される。
【０１４７】
ウェーブレット変換部２２１で高域成分側から低域成分側へと生成された係数データは、係数並び替え用バッファ部２２３に順次格納される。係数並び替え部２２４は、上述した係数データの並び替えが可能となるまで係数並び替え用バッファ部２２３に係数データが蓄積されると、係数並び替え用バッファ部２２３から合成処理に必要な順に並び替えて係数データを読み出す。読み出された係数データは、量子化部２２５に順次、供給される。
【０１４８】
量子化部２２５は、係数並び替え部２２４から供給された係数データに対して、量子化を行う。この量子化の方法としてはどのようなものを用いても良く、例えば、一般的な手段、つまり、以下の式（３）に示されるような、係数データＷを量子化ステップサイズΔで除算する手法を用いれば良い。
【０１４９】
量子化係数＝W/Δ ・・・（３）
【０１５０】
なお、この量子化ステップサイズΔは、上述したように、レート制御部２２６により指定される。
【０１５１】
エントロピ符号化部２２７は、以上のように量子化されて供給された係数データに対してエントロピ符号化を施す。エントロピ符号化された符号化データは、復号側に供給される。符号化方式としては、既知の技術であるハフマン符号化や算術符号化などが考えられる。勿論、これらに限らず、可逆的な符号化処理が可能であれば、他の符号化方式を用いてもよい。
【０１５２】
図６および図７を用いて説明したように、ウェーブレット変換部２２１は、画像データの複数ライン毎（プレシンクト毎）にウェーブレット変換処理を行う。エントロピ符号化部２２７では符号化された符号化データは、このプレシンクト毎に出力される。すなわち、上述の、５×３フィルタを用い、分解レベル＝２まで処理を行った場合には、１画面のデータの出力において、最初が１ライン、２回目以降最後の回の前までが４ラインずつ、最後の回が８ラインの出力が得られる。
【０１５３】
なお、係数並び替え部２２４で並び替えられた後の係数データをエントロピ符号化する場合、例えば図６で示した１回目のフィルタ処理では、最初の係数Ｃ５のラインをエントロピ符号化する際には、未だ過去のラインすなわち既に係数データが生成されたラインが存在していない。したがって、この場合には、この１ラインだけをエントロピ符号化する。これに対して、係数Ｃ１のラインを符号化する際には、係数Ｃ５および係数Ｃ４のラインが過去のラインとなっている。これら近接する複数ラインは、似たデータで構成されていることが考えられるので、これら複数ラインを纏めてエントロピ符号化することは、有効である。
【０１５４】
また、上述では、ウェーブレット変換部２２１において、５×３フィルタを用いてウェーブレット変換によるフィルタ処理を行う例について説明したが、これはこの例に限られない。例えば、ウェーブレット変換部２２１では、例えば９×７フィルタといった、さらにタップ数の長いフィルタを用いることができる。この場合、フィルタのタップ数が長ければ、フィルタに蓄積されるライン数も多くなるので、画像データの入力から符号化データの出力までの遅延時間が長くなることになる。
【０１５５】
また、上述では、説明のためウェーブレット変換の分解レベルを分解レベル＝２としたが、これはこの例に限られず、さらに分解レベルを上げることができる。分解レベルを上げるほど、より高圧縮率を実現することができる。例えば、一般的には、ウェーブレット変換においては、分解レベル＝４までフィルタ処理が繰り返される。なお、分解レベルが上がれば、遅延時間も増大することになる。
【０１５６】
したがって、実際のシステムにこの発明を適用する際には、当該システムに要求される遅延時間や復号画像の画質などに応じて、フィルタのタップ数や、分解レベルを決めることが好ましい。このフィルタのタップ数や、分解レベルは、固定値とせずに、適応的に選択するようにすることもできる。
【０１５７】
以上のようにウェーブレット変換されて、並び替えられた係数データは、量子化部２２５において量子化され、エントロピ符号化部２２７により符号化される。そして、得られた符号化データは、送信用バッファ制御部２０２に供給される。
【０１５８】
エントロピ符号化部２２７において生成された符号化データは、その生成された順、すなわちプレシンクト毎に符号化部２０１より出力され、送信用バッファ制御部２０２に供給される。
【０１５９】
つまり、例えば、図８Ａに示されるように、符号化部２０１のウェーブレット変換部２２１において、分割レベル＝２のウェーブレット変換が行われ、１プレシンクトの画像データから、ＬＬＬ，ＬＨＬ，ＬＬＨ，ＬＨＨ，ＨＬ，ＬＨ，ＨＨの７つの領域の係数データが生成される。図８Ａにおいて、１ＬＬＬ，１ＬＨＬ，１ＬＬＨ，１ＬＨＨ，１ＨＬ，１ＬＨ、および１ＨＨは、ピクチャの上から１番目のプレシンクトの画像データから生成された各領域の係数データを示しており、２ＬＬＬ，２ＬＨＬ，２ＬＬＨ，２ＬＨＨ，２ＨＬ，２ＬＨ、および２ＨＨは、ピクチャの上から２番目のプレシンクトの画像データから生成された各領域の係数データを示している。
【０１６０】
これらの係数データは、プレシンクト毎に、その低域成分から高域成分に向かう順に符号化され、送信用バッファ制御部２０２に供給される。
【０１６１】
つまり、図８Ｂに示されるように、係数データは、ピクチャの上から１番目のプレシンクトの、１ＬＬＬ，１ＬＨＬ，１ＬＬＨ，１ＬＨＨ，１ＨＬ，１ＬＨ、１ＨＨが、この順に符号化されて、送信用バッファ制御部２０２に供給され、次に、ピクチャの上から２番目のプレシンクトの、２ＬＬＬ，２ＬＨＬ，２ＬＬＨ，２ＬＨＨ，２ＨＬ，２ＬＨ、および２ＨＨの順に符号化されて、送信用バッファ制御部２０２に供給され、次に、３番目のプレシンクトの係数データ、４番目のプレシンクトの係数データ、・・・・のようにプレシンクト毎に係数データが符号化され、送信用バッファ制御部２０２に供給される。
【０１６２】
つまり、係数データは、各プレシンクト内においては、矢印２４１に示されるように、低域成分から高域成分に向かう順に符号化され、送信用バッファ制御部２０２に供給され、プレシンクト単位では、矢印２４２に示されるように、ピクチャの上から１番目のプレシンクトから１つずつ下に向かう順に符号化され、送信用バッファ制御部２０２に供給される。
【０１６３】
符号化部２０１における発生符号量は、通常の場合ピクチャ毎に異なり、図９Ａのグラフに示されるようになる。図９Ａは、ピクチャ毎の発生符号量の例を示すグラフである。図９Ａのグラフにおいて、縦軸は発生符号量を示し、横軸は時間を示している。つまり、各棒グラフは各ピクチャの発生符号量を示している。図９Ａに示されるように、通常の場合、各ピクチャの発生符号量は互いに一致せず、偏りが生じる。
【０１６４】
もちろん、発生符号量はピクチャ単位だけでなく、プレシンクト単位でも変化する。つまり、図９Ａにおいて、各棒グラフがプレシンクト単位の発生符号量を示しているとすることもできる。
【０１６５】
送信用バッファ制御部２０２は、符号化データを一時的に蓄積し、一定のビットレートで読み出すことにより、このようなピクチャ毎（またはプレシンクト毎）の符号量を、図９Ｂに示されるグラフように略一定となるように平滑化する。図９Ｂのグラフは、図９Ａと同様にピクチャ毎（またはプレシンクト毎）の符号量の例を示している。
【０１６６】
図１０は、図２の送信用バッファ制御部２０２の詳細な構成例を示すブロック図である。
【０１６７】
図１０において、送信用バッファ制御部２０２は、Ｙデータ書き込み制御部２５１、Ｃデータ書き込み制御部２５２、Ｙバッファ２５３、Ｃバッファ２５４、ストリーム出力制御部２５５、およびプレシンクト情報制御部２６１を有する。
【０１６８】
Ｙデータ書き込み制御部２５１は、プレシンクト情報制御部２６１に制御され、符号化部２０１より供給される輝度成分Ｙの符号化データであるＹデータを取得し、Ｙバッファ２５３に書き込む。
【０１６９】
Ｃデータ書き込み制御部２５２は、プレシンクト情報制御部２６１に制御され、符号化部２０１より供給される色差成分Ｃの符号化データであるＣデータを取得し、Ｃバッファ２５４に書き込む。
【０１７０】
ビデオカメラ部１１３において得られる画像データは、輝度成分Ｙと色差成分Ｃとにより構成される。符号化部２０１は、上述した処理を、輝度成分Ｙと色差成分Ｃのそれぞれについて行う。つまり、符号化部２０１は、ＹデータとＣデータを送信用バッファ制御部２０２に供給する。
【０１７１】
なお、実際には、色差成分にはCbとCrとがあるが、ここでは説明の簡略化のため、CbとCrをまとめてＣとする。また、以下においては輝度成分Ｙと色差成分ＣよりなるYC（YCbCr）コンポーネントについて説明するが、Ｒ成分、Ｇ成分、およびＢ成分よりなるRGBコンポーネントの場合も同様である。
【０１７２】
Ｙバッファ２５３は、記憶媒体を内蔵し、Ｙデータ書き込み制御部２５１より供給されるＹデータを蓄積する。また、Ｙバッファ２５３は、プレシンクト情報制御部２６１に制御されて、蓄積されているＹデータを、書き込み順に読み出し、ストリーム出力制御部２５５に供給する。
【０１７３】
Ｃバッファ２５４は、記憶媒体を内蔵し、Ｃデータ書き込み制御部２５２より供給されるＣデータを蓄積する。また、Ｃバッファ２５４は、プレシンクト情報制御部２６１に制御されて、蓄積されているＣデータを、書き込み順に読み出し、ストリーム出力制御部２５５に供給する。
【０１７４】
ストリーム出力制御部２５５は、プレシンクト情報制御部２６１に制御されて、プレシンクト情報制御部２６１より供給されるプレシンクトヘッダやピクチャヘッダと、Ｙバッファ２５３より供給されるＹデータおよびＣバッファ２５４より供給されるＣデータとを多重化して出力し、パケット生成部２０３（図２）に供給する。
【０１７５】
プレシンクトヘッダは、例えば、プレシンクト等の識別情報、フラグ情報、および量子化係数等の、符号化データ（元の画像データ）のプレシンクトに関連する各種情報により構成される。このプレシンクトヘッダは、符号化データにプレシンクト毎に付加される。
【０１７６】
ピクチャヘッダは、例えば、各種フラグ情報、データ構成、フレームレート、アスペクト比、垂直方向有効画素開始位置や水平方向有効画素開始位置等を示す情報等の、符号化データ（元の画像データ）のピクチャに関連する各種情報により構成される。このピクチャヘッダは、符号化データにピクチャ毎に付加される。
【０１７７】
プレシンクト情報制御部２６１は、上述したような構成の、Ｙデータ書き込み制御部２５１乃至ストリーム出力制御部２５５の各部の動作を制御したり、プレシンクトヘッダやピクチャヘッダ等を生成してストリーム出力制御部２５５に供給したりする。
【０１７８】
つまり、符号化部２０１より供給された輝度成分Ｙの符号化データであるＹデータは、Ｙデータ書き込み制御部２５１により所定のタイミングでＹバッファ２５３に書き込まれ、略一定のビットレートでＹバッファ２５３より読み出されてストリーム出力制御部２５５に供給される。同様に、符号化部２０１より供給された色差成分Ｃの符号化データであるＣデータは、Ｃデータ書き込み制御部２５２により所定のタイミングでＣバッファ２５４に書き込まれ、略一定のビットレートでＣバッファ２５４より読み出されてストリーム出力制御部２５５に供給される。ストリーム出力制御部２５５に供給されたＹデータおよびＣデータは、プレシンクト情報制御部２６１により生成されたプレシンクトヘッダやピクチャヘッダ等と多重化され、パケット生成部２０３に出力される。
【０１７９】
プレシンクト情報制御部２６１は、このようなＹデータおよびＣデータのビットレートの平滑化に関する各種処理を制御する。
【０１８０】
符号化データが蓄積されるＹバッファ２５３およびＣバッファ２５４の記憶容量を大きくすると、すなわち、Ｙバッファ２５３およびＣバッファ２５４により多くの符号化データを蓄積させるようにすると、送信用バッファ制御部２０２の、符号化データのプレシンクト毎の符号量のばらつきに対する耐性が強くなる。つまり、ビットレートを平滑化可能なばらつきの範囲がより大きくなる。このように、送信用バッファ制御部２０２は、符号化データが蓄積されるＹバッファ２５３およびＣバッファ２５４の記憶容量を大きくするほど、より安定的に（ビットレートを平滑化させて）符号化データを送出することができるが、同時に、符号化データが送信用バッファ制御部２０２に入力されてから出力されるまでの遅延時間が増大してしまう。また、コストや回路規模の増大を抑制するためにも、Ｙバッファ２５３およびＣバッファ２５４の記憶容量の不要な増大は望ましくない。
【０１８１】
プレシンクト情報制御部２６１は、ＹデータおよびＣデータのビットレートの平滑化の際に、Ｙバッファ２５３およびＣバッファ２５４の入出力を制御することにより、不要な遅延時間の増大を抑制するとともに、コンテンツとしての品質の不要な低下も抑制するように転送が行うことができるようにする。詳細については後述する。
【０１８２】
図１１は、図１０のプレシンクト情報制御部２６１の詳細な構成例を示すブロック図である。
【０１８３】
図１１に示されるように、プレシンクト情報制御部２６１は、送信用バッファ書き込み制御処理部２７１および送信用バッファ読み出し制御処理部２７２を有する。
【０１８４】
送信用バッファ書き込み制御処理部２７１は、送信用バッファであるＹバッファ２５３およびＣバッファ２５４（ともに図１０）への符号化データの書き込みに関する処理を制御する処理部である。送信用バッファ読み出し制御処理部２７２は、送信用バッファであるＹバッファ２５３およびＣバッファ２５４からの符号化データの読み出しに関する処理を制御する処理部である。
【０１８５】
送信用バッファ書き込み制御処理部２７１は、書き込み制御部２８１、書き込み指示部２８２、送出時間確認部２８３、プレシンクト数判定部２８４、および出力禁止部２８５を有する。
【０１８６】
書き込み制御部２８１は、書き込み指示部２８２乃至出力禁止部２８５の各部が実行する処理を制御する。書き込み指示部２８２は、書き込み制御部２８１に制御され、所定のタイミングで、Ｙデータ書き込み制御部２５１に対して、ＹデータをＹバッファ２５３に書き込む（蓄積させる）ように書き込み指示を供給する。Ｙデータ書き込み制御部２５１は、この書き込み指示部２８２より供給される書き込み指示に基づいて、符号化部２０１より供給されるＹデータをＹバッファ２５３に供給して蓄積させる。
【０１８７】
同様に、書き込み指示部２８２は、書き込み制御部２８１に制御され、所定のタイミングで、Ｃデータ書き込み制御部２５２に対して、ＣデータをＣバッファ２５４に書き込む（蓄積させる）ように書き込み指示を供給する。Ｃデータ書き込み制御部２５２は、この書き込み指示部２８２より供給される書き込み指示に基づいて、符号化部２０１より供給されるＣデータをＣバッファ２５４に供給して蓄積させる。
【０１８８】
ＹデータおよびＣデータを蓄積させると、書き込み指示部２８２は、書き込みが終了した旨を送出時間確認部２８３及びプレシンクト数判定部２８４に供給する。
【０１８９】
送出時間確認部２８３は、書き込み指示部２８２より書き込みの終了が通知されると、書き込み制御部２８１に制御され、Ｙバッファ２５３に蓄積されたＹデータを全て読み出すまでに要する時間（送出時間）を、Ｙバッファ２５３に蓄積されたＹデータのデータ量と、ＹデータのＹバッファ２５３からの読み出し速度（ビットレート）に基づいて算出し、その送出時間を、予め定められている送出時間の最大値（最大送出時間）と比較して、送出時間が最大送出時間より短いことを確認する。仮に、送出時間が最大送出時間以上である場合、送出時間確認部２８３は、出力禁止部２８５にその旨を通知する。
【０１９０】
同様に、送出時間確認部２８３は、書き込み指示部２８２より書き込みの終了が通知されると、書き込み制御部２８１に制御され、Ｃバッファ２５４に蓄積されたＣデータを全て読み出すまでに要する時間（送出時間）を、Ｃバッファ２５４に蓄積されたＣデータのデータ量と、ＣデータのＣバッファ２５４からの読み出し速度（ビットレート）に基づいて算出し、その送出時間を、予め定められている最大送出時間と比較して、送出時間が最大送出時間より短いことを確認する。仮に、送出時間が最大送出時間以上である場合、送出時間確認部２８３は、出力禁止部２８５にその旨を通知する。
【０１９１】
プレシンクト数判定部２８４は、書き込み指示部２８２より書き込みの終了が通知されると、書き込み制御部２８１に制御され、Ｙバッファ２５３に蓄積されたＹデータのプレシンクト数をカウントし、Ｙバッファ２５３に蓄積されているＹデータのプレシンクト数が所定の閾値を越えたか否かを判定する。仮に、Ｙバッファ２５３に蓄積されているＹデータのプレシンクト数が所定の閾値より多いと判定された場合、プレシンクト数判定部２８４は、出力禁止部２８５にその旨を通知する。
【０１９２】
同様に、プレシンクト数判定部２８４は、書き込み指示部２８２より書き込みの終了が通知されると、書き込み制御部２８１に制御され、Ｃバッファ２５４に蓄積されたＣデータのプレシンクト数をカウントし、Ｃバッファ２５４に蓄積されているＣデータのプレシンクト数が所定の閾値を越えたか否かを判定する。仮に、Ｃバッファ２５４に蓄積されているＣデータのプレシンクト数が所定の閾値より多いと判定された場合、プレシンクト数判定部２８４は、出力禁止部２８５にその旨を通知する。
【０１９３】
出力禁止部２８５は、送出時間確認部２８３によりＹバッファ２５３またはＣバッファ２５４の符号化データの送出時間が基準時間以上であると通知された場合、または、プレシンクト数判定部２８４によりＹバッファ２５３またはＣバッファ２５４に蓄積された符号化データのプレシンクト数が所定数より多いと通知された場合、書き込み制御部２８１に制御され、後述する送信用バッファ読み出し制御処理部２７２に対して、現在読み出し中のプレシンクトの次のプレシンクト以降の符号化データの読み出しを、プレシンクト単位で必要な分だけ禁止するように指示を供給する（バンクオーバ制御を行う）。
【０１９４】
送信用バッファ読み出し制御処理部２７２は、読み出し制御部２９１、プレシンクトヘッダ生成部２９２、ピクチャヘッダ生成部２９３、および読み出し指示部２９４を有する。
【０１９５】
読み出し制御部２９１は、プレシンクトヘッダ生成部２９２乃至読み出し指示部２９４の各部が実行する処理を制御する。
【０１９６】
プレシンクトヘッダ生成部２９２は、符号化部２０１より供給される情報等に基づいて、プレシンクト毎に符号化データに付加するプレシンクトヘッダを作成し、ストリーム出力制御部２５５に供給する。ピクチャヘッダ生成部２９３は、符号化部２０１より供給される情報等に基づいて、ピクチャ毎に符号化データに付加するピクチャヘッダを作成し、ストリーム出力制御部２５５に供給する。
【０１９７】
読み出し指示部２９４は、Ｙバッファ２５３およびＣバッファ２５４に蓄積されている符号化データ（ＹデータまたはＣデータ）を、プレシンクト単位毎に、蓄積順に、所定のビットレートで読み出して、ストリーム出力制御部２５５に供給するように、Ｙバッファ２５３およびＣバッファ２５４に対して読み出し指示を供給する。Ｙバッファ２５３およびＣバッファ２５４は、この読み出し指示部２９４より供給される読み出し指示に基づいて、自分自身に蓄積されている符号化データを、プレシンクト単位毎に、蓄積順に、所定のビットレートで読み出してストリーム出力制御部２５５に供給する。
【０１９８】
なお、読み出し制御部２９１は、出力禁止部２８５より読み出しの禁止を指示された場合、読み出し指示部２９４を制御し、その指示において指定されたプレシンクトの符号化データの読み出しを禁止させる。読み出し指示部２９４は、上述したように、プレシンクト単位で、蓄積順に、略一定のビットレートで符号化データをバッファより読み出すが、読み出しが禁止された場合、そのプレシンクトの符号化データの読み出しは省略し、Ｙバッファ２５３またはＣバッファ２５４への蓄積順において次となる、読み出しが禁止されていないプレシンクトの符号化データの読み出しを行うように、Ｙバッファ２５３およびＣバッファ２５４に対して読み出し指示を供給する。つまり、読み出し指示部２９４は、読み出しが禁止されていないプレシンクトの符号化データのみを、プレシンクト単位で、蓄積順に、略一定のビットレートで読み出すように、Ｙバッファ２５３およびＣバッファ２５４に対して読み出し指示を供給する。
【０１９９】
つまり、Ｙバッファ２５３およびＣバッファ２５４は、このような読み出し指示部２９４より供給される読み出し指示に基づいて、出力禁止部２８５より読み出しの禁止を指示された場合、そのプレシンクトの符号化データの読み出しを省略し、Ｙバッファ２５３またはＣバッファ２５４への蓄積順において次となる、読み出しが禁止されていないプレシンクトの符号化データの読み出しを行う。
【０２００】
図１２および図１３を参照して、送信用バッファ制御部２０２において行われる読み出しの制御の様子について説明する。
【０２０１】
図１２および図１３は、バッファ（Ｙバッファ２５３またはＣバッファ２５４）に読み出し可能に蓄積される符号化データ（ＹデータまたはＣデータ）のデータ量の時間的変化を模式的に示したものである。なお、以下に行う図１２及び図１３を用いた説明は、Ｙデータに対しても、Ｃデータに対しても適用可能であるので、ここでは、Ｙバッファ２５３とＣバッファ２５４、並びに、ＹデータとＣデータをそれぞれ特定せずに、バッファおよび符号化データとして説明する。
【０２０２】
図１２および図１３において、横軸は時刻を示し、縦軸はバッファに読み出し可能に蓄積された符号化データのデータ量（バッファ量）を示している。各棒グラフは、各時刻においてバッファに読み出し可能に蓄積されている符号化データを示している。また、棒グラフの各四角はプレシンクト毎の符号化データを示しており、各四角のアルファベットによってプレシンクトが識別されている。つまり時刻間で同じアルファベットの四角は、互いに同じプレシンクトの符号化データを示している。
【０２０３】
なお、図１２および図１３において、符号化データの蓄積順は下から上に示されている。例えば、図１２の時刻Ｔ９の場合、プレシンクトＡ乃至プレシンクトＩの内、プレシンクトＡの符号化データが最も早くバッファに蓄積された最も古いデータであり、プレシンクトＩの符号化データが最も遅く（最近に）バッファに蓄積された最も新しいデータである。つまり、バッファには、プレシンクトＺ、プレシンクトＡ、プレシンクトＢ、プレシンクトＣ、・・・・、プレシンクトＩの順に各プレシンクトの符号化データが蓄積される。
【０２０４】
また、棒グラフの縦軸方向の長さはその符号化データのデータ量を示している。換言すれば、各四角の縦軸方向の長さは、プレシンクト毎の符号化データのデータ量を示している。また、上述したように、バッファに読み出し可能に蓄積された符号化データは略一定のビットレートで読み出される。つまり、棒グラフの縦軸方向の長さは、バッファに、読み出し可能に蓄積されている全符号化データの読み出しに要する時間（送出時間）も示している。換言すれば、各四角の縦軸方向の長さは、プレシンクト毎の符号化データの送出時間を示している。
【０２０５】
なお、送出時間確認部２８３が許容する送出時間の最大値である最大送出時間は、「最大量」として点線で示される。また、プレシンクト数判定部２８４が、バッファに蓄積可能なプレシンクト数の最大値として予め定める閾値を「８」とする。
【０２０６】
なお、バッファの使用可能な記憶容量、すなわちハードウェアによる制限は、最大送出時間およびプレシンクト数の最大値の制限に対して十分大きいものとする。詳細については後述するが、送出時間確認部２８３による送出時間の制限、または、プレシンクト数判定部２８４によるプレシンクト数の制限により、バッファ溢れが生じないようになされている。
【０２０７】
図１２は、プレシンクト数判定部２８４および出力禁止部２８５の制御による、バッファに読み出し可能に蓄積される符号化データのデータ量の時間的変化を模式的に示したものである。
【０２０８】
図１２の例の場合、時刻Ｔ１において、バッファには、プレシンクトＺの符号化データとその次のプレシンクトＡの符号化データが読み出し可能に蓄積されており、先に蓄積されたプレシンクトＺが略一定のビットレートで読み出されている。このとき、バッファに蓄積されているプレシンクト数は２であるので、出力禁止部２８５は符号化データの出力を禁止させない。
【０２０９】
時刻Ｔ１より所定の時間が経過した時刻Ｔ２においては、プレシンクトＺの符号化データの読み出しは完了し、バッファには、プレシンクトＡの符号化データと、その次のプレシンクトＢの符号化データが読み出し可能に蓄積されており、先に蓄積されたプレシンクトＡが略一定のビットレートで読み出されている。このとき、バッファに蓄積されているプレシンクト数は２であるので、出力禁止部２８５は符号化データの出力を禁止させない。
【０２１０】
時刻Ｔ２より所定の時間が経過した時刻Ｔ３においては、プレシンクトＡの符号化データの読み出しが継続され、バッファには、プレシンクトＡの残りの符号化データと、その次のプレシンクトＢの符号化データと、さらに次のプレシンクトＣの符号化データが読み出し可能に蓄積されている。このとき、バッファに蓄積されているプレシンクト数は３であるので、出力禁止部２８５は符号化データの出力を禁止させない。
【０２１１】
時刻Ｔ３より所定の時間が経過した時刻Ｔ４においては、プレシンクトＡの符号化データの読み出しがさらに継続され、バッファには、プレシンクトＡの残りの符号化データと、連続するプレシンクトＢ乃至プレシンクトＤの符号化データが読み出し可能に蓄積されている。このとき、バッファに蓄積されているプレシンクト数は４であるので、出力禁止部２８５は符号化データの出力を禁止させない。
【０２１２】
時刻Ｔ４より所定の時間が経過した時刻Ｔ５においては、プレシンクトＡの符号化データの読み出しがさらに継続され、バッファには、プレシンクトＡの残りの符号化データと、連続するプレシンクトＢ乃至プレシンクトＥの符号化データが読み出し可能に蓄積されている。このとき、バッファに蓄積されているプレシンクト数は５であるので、出力禁止部２８５は符号化データの出力を禁止させない。
【０２１３】
時刻Ｔ５より所定の時間が経過した時刻Ｔ６においては、プレシンクトＡの符号化データの読み出しがさらに継続され、バッファには、プレシンクトＡの残りの符号化データと、連続するプレシンクトＢ乃至プレシンクトＦの符号化データが読み出し可能に蓄積されている。このとき、バッファに蓄積されているプレシンクト数は６であるので、出力禁止部２８５は符号化データの出力を禁止させない。
【０２１４】
時刻Ｔ６より所定の時間が経過した時刻Ｔ７においては、プレシンクトＡの符号化データの読み出しがさらに継続され、バッファには、プレシンクトＡの残りの符号化データと、連続するプレシンクトＢ乃至プレシンクトＧの符号化データが読み出し可能に蓄積されている。このとき、バッファに蓄積されているプレシンクト数は７であるので、出力禁止部２８５は符号化データの出力を禁止させない。
【０２１５】
時刻Ｔ７より所定の時間が経過した時刻Ｔ８においては、プレシンクトＡの符号化データの読み出しがさらに継続され、バッファには、プレシンクトＡの残りの符号化データと、連続するプレシンクトＢ乃至プレシンクトＨの符号化データが読み出し可能に蓄積されている。このとき、バッファに蓄積されているプレシンクト数は８であるので、出力禁止部２８５は符号化データの出力を禁止させない。
【０２１６】
時刻Ｔ８より所定の時間が経過した時刻Ｔ９においては、プレシンクトＡの符号化データの読み出しがさらに継続され、バッファには、プレシンクトＡの残りの符号化データと、連続するプレシンクトＢ乃至プレシンクトＩの符号化データが読み出し可能に蓄積されている。
【０２１７】
このときのバッファに蓄積されているプレシンクトの数は９であり、閾値８を越えている。従って、出力禁止部２８５は、プレシンクト数判定部２８４からの通知に基づいて、バンクオーバ制御を行い、現在出力中のプレシンクトＡの次のプレシンクトであるプレシンクトＢの符号化データの出力を禁止させ、時刻Ｔ９’のようにする。つまり、この場合、時間がさらに経過してプレシンクトＡの読み出しが終了すると、プレシンクトＢの符号化データの読み出しは省略され、プレシンクトＣの符号化データが読み出される。
【０２１８】
これは、プレシンクトＡの符号化データのデータ量が多すぎるために発生する受信側におけるアンダーフローを短期に解消させるための処理である。詳細については後述するが、プレシンクトＡのデータ量が多すぎることにより、プレシンクトＡの転送時間が増大すると、受信側においてそのプレシンクトＡの符号化データを全て受け取るまでの時間も増大する。これにより、プレシンクトＡより前のプレシンクトの復号処理が終了してしまい、バッファが空になる、所謂アンダーフローが発生する場合がある。このようなアンダーフローが一度発生すると、次のプレシンクト以降もこのアンダーフローが解消せずに連鎖することが考えられ、画質劣化が不要に拡大する恐れがある。
【０２１９】
そこで、出力禁止部２８５等が上述したように制御して、読み出す符号化データのプレシンクトを１つ省略する（とばす）ことにより、受信側において、その次のプレシンクトの符号化データを蓄積する時間を確保させるようにし、このアンダーフローの連鎖が止められるようにする。詳細については後述する。
【０２２０】
バッファには、定期的にプレシンクト毎に符号化データが蓄積されるので、プレシンクトがバッファからの読み出しに長時間を要すると、その分、バッファに蓄積されるプレシンクト数が増大する。プレシンクト数判定部２８４は、このことを利用して、バッファに同時に蓄積される符号化データのプレシンクト数をカウントすることにより、バッファからの読み出しに、所定の基準以上の長時間を要するプレシンクトを検出し、受信側におけるアンダーフローの発生を予測する。
【０２２１】
このように、プレシンクト数判定部２８４は、各プレシンクトの送出時間を算出することなく、バッファに蓄積されている符号化データのプレシンクト数をカウントするのみで容易に受信側におけるアンダーフローの発生を予測することができる。
【０２２２】
また、このようなプレシンクト数に基づいて行うバンクオーバ制御処理によりプレシンクト数判定部２８４は、図１２に示されるように１つのプレシンクト（プレシンクトＡ）のみ送出時間が長い場合であっても、そのプレシンクトを検出することができる。つまり、プレシンクト数判定部２８４は、符号化データのデータ量（送出時間）の変動の高周波成分も検出することができる。
【０２２３】
また、プレシンクト数判定部２８４が、送出時間の長いプレシンクトを１プレシンクトから検出することができるので、出力禁止部２８５は、１プレシンクトずつ出力を禁止することで、アンダーフローの連鎖を抑制することができる。つまり、プレシンクトの出力禁止を必要最小限に抑制することができる。これにより、出力禁止部２８５は、プレシンクトの出力禁止による画質劣化の不要な増大を抑制することができる。
【０２２４】
さらに、例えば、図１２において、時刻Ｔ９’のようにバンクオーバ制御処理が行われると、プレシンクトＢの出力が禁止され、プレシンクトＣの符号化データが読み出されるが、この場合、プレシンクトＡの受信に時間を要したことにより、受信側のバッファの蓄積量が低下しており、再度アンダーフローが発生しやすくなっている。各プレシンクトの送出時間を算出してバンクオーバ制御処理を行う場合、単純には受信側のこのような状況を把握することができないが、プレシンクト数判定部２８４が、バッファに蓄積された符号化データのプレシンクト数に基づいて受信側におけるアンダーフローの発生を予測するので、バッファに蓄積された符号化データのプレシンクト数に基づいて受信側のバッファの符号化データの蓄積量を推定することができる。
【０２２５】
つまり、受信側のバッファにおけるアンダーフローの発生しやすさが、送信側のバッファに蓄積された符号化データのプレシンクト数に表わされており、送信側のバッファに蓄積された符号化データのプレシンクト数が多いほど（閾値に近いほど）、受信側のバッファに蓄積された符号化データのプレシンクト数が少なく、アンダーフローが発生しやすい状態であるが、出力禁止部２８５も符号化データの出力を禁止しやすい状態にあると言える。
【０２２６】
具体的に説明すると、時刻Ｔ１の場合、バッファに蓄積された符号化データのプレシンクト数は２であるので、プレシンクトＡの符号化データの送出時間がＴ２乃至Ｔ９（８区間）以上でないと、出力禁止部２８５は出力を禁止しないが、時刻Ｔ９’の場合、例えばプレシンクトＣの符号化データの送出時間が２区間以上あると、時刻Ｔ１の場合、バッファに蓄積された符号化データのプレシンクト数が９になるので、出力禁止部２８５は次のプレシンクトＤの出力を禁止する。
【０２２７】
このように、プレシンクト数判定部２８４および出力禁止部２８５は、容易に、プレシンクト数に基づいてバンクオーバ制御処理を行うことにより受信側のアンダーフローの発生しやすさに応じて、バンクオーバ制御処理の実行条件を実質的に変動させることができる。
【０２２８】
なお、以上においては、プレシンクト数判定部２８４は、プレシンクト数「８」を閾値とし、プレシンクト数が９以上になる場合において出力禁止部２８５にバンクオーバ制御処理を実行させるように説明したが、この閾値の値は任意である。閾値が小さいほど、バッファに蓄積される符号化データのデータ量は少なくなるので、遅延時間の増大が抑制される。逆に、閾値が大きいほど、バンクオーバ制御処理の頻度を低減させることができるので、画質の劣化が低減する。ただし、符号化データの蓄積によりバッファ溢れが生じないように閾値を設定するのが望ましい。
【０２２９】
図１３は、送出時間確認部２８３および出力禁止部２８５の制御による、バッファに読み出し可能に蓄積される符号化データのデータ量の時間的変化を模式的に示したものである。
【０２３０】
この図１３の場合、時刻Ｔ１乃至時刻Ｔ６は図１２の例と同様であるが、時刻Ｔ７において、バッファに蓄積された符号化データのデータ量の総和が、両矢印に示される分だけ、最大量を超えている。従って、出力禁止部２８５は、送出時間確認部２８３からの通知に基づいてバンクオーバ制御を行い、図１３において両矢印で示される、データ量の許容範囲からの超過分を減らすように、現在出力中のプレシンクトＡの次のプレシンクトから、プレシンクト単位で必要な分だけ符号化データの出力を禁止させる。図１３の例においては、両矢印に示されるように、プレシンクトＢの符号化データの出力を禁止するだけでは超過分を解消できないので、出力禁止部２８５は、プレシンクトＢに続いてプレシンクトＣの符号化データの出力も禁止させ、時刻Ｔ７’のようにさせる。
【０２３１】
この場合、プレシンクトＡのデータが出力された後、時間がさらに経過し、プレシンクトＡの読み出しが終了すると、次に、プレシンクトＢやプレシンクトＣの符号化データの読み出しは省略され、プレシンクトＤの符号化データが読み出される。
【０２３２】
つまり、送出時間確認部２８３および出力禁止部２８５は、バッファに蓄積された符号化データの送出時間（つまりデータ量）に基づいてバンクオーバ制御を行う。このようにバンクオーバ制御を行うことにより、送出時間確認部２８３および出力禁止部２８５は、バッファに蓄積される符号化データの総データ量（総送出時間）の制限によってバッファ溢れの発生を抑制することができる。これにより、バッファの使用可能な記憶容量をより有効に利用することができる。
【０２３３】
例えば、図１２の例のように、プレシンクト数に基づくバンクオーバ制御の場合、プレシンクト数の制限は可能なものの、データ量（送出時間）の制限を行うことができない。従って、プレシンクト数が少なくてもデータ量（送出時間）が極端に多いとバッファ溢れが生じる可能性もある。そこで、閾値は、予め想定可能な現実的な発生符号量（送出時間）とバッファのハードウェア制限に基づいて、バッファ溢れが生じないように設定される必要がある。そのため、各プレシンクトの符号化データのデータ量（送出時間）の変動が大きいほど、バッファのハードウェア制限に対して閾値を小さく設定してより大きな余裕を持たせる必要があり、その場合、バッファの使用効率が低減してしまう。
【０２３４】
これに対して、図１３の例のように、データ量（送出時間）に基づくバンクオーバ制御の場合、最大量を定義することができるので、各プレシンクトの符号化データのデータ量（送出時間）の変動率に関わらず、バッファの使用効率の低減を抑制することができる。
【０２３５】
なお、最大量は、現実的な発生符号量（送出時間）に基づいて、符号化データの最大量からの超過分が、バッファのハードウェア制限を越えないように設定するのが望ましい。
【０２３６】
データ量（送出時間）に基づくバンクオーバ制御処理の場合、プレシンクト毎の符号化データのデータ量（送出時間）の変動を検出することはできない。従って、送出時間確認部２８３は、プレシンクト数に基づいて行うバンクオーバ制御処理の場合よりも、符号化データのデータ量（送出時間）の変動の低周波の成分しか検出することができない。
【０２３７】
また、データ量（送出時間）に基づくバンクオーバ制御処理の場合、図１３に示されるように、複数のプレシンクトの出力がまとめて禁止される場合があり、プレシンクト数に基づいて行うバンクオーバ制御処理の場合よりも、受信側の出力画像において、画質が劣化する部分（プレシンクト）の位置が集中し、画質劣化が視覚的に目立つ場合もある。
【０２３８】
なお、送出時間確認部２８３および出力禁止部２８５は、データ量（送出時間）に基づいてバンクオーバ制御処理を行うことにより、プレシンクト数に基づいて行うバンクオーバ制御処理の場合と同様に、受信側のアンダーフローの発生しやすさに応じて、バンクオーバ制御処理の実行条件を実質的に変動させることができる。
【０２３９】
以上に説明した、プレシンクト数に基づくバンクオーバ制御処理と、データ量（送出時間）に基づくバンクオーバ制御処理とを併用することにより、送信用バッファ書き込み制御処理部２７１は、符号化データのデータ量（送出時間）の変動の高周波成分を容易に検出することができるとともに、バッファの使用効率の低減を抑制することができる。つまり、両者のデメリットを抑制し、両者のメリットを享受することができる。
【０２４０】
図１１の送信用バッファ読み出し制御処理部２７２の制御により、図１０のストリーム出力制御部２５５より出力された符号化データは、図２のパケット生成部２０３に供給される。パケット生成部２０３は、ピクチャヘッダやプレシンクトヘッダ等の情報に基づいてヘッダ情報を生成し、所定のデータ単位の符号化データ毎に、そのヘッダ情報を付加することにより、符号化データのパケットを生成する。
【０２４１】
図１４は、パケット生成部２０３が符号化データに付加するヘッダ情報の構成例を示す模式図である。
【０２４２】
図１４に示されるように、ヘッダ情報には、そのパケットに含まれるプレシンクトのプレシンクト番号、そのプレシンクトの各サブバンドの符号量情報（バイト表示）、並びに使用された量子化ステップサイズ（Q_step）の情報が含まれる。そのパケットのペイロードに、複数のプレシンクトの符号化データが含まれる場合には、各プレシンクトについての上述した情報が連続して並べられて多重化される。
【０２４３】
以上のようにパケット化されると、符号化データは、図１のデジタル変調部１２２、アンプ１２４、ビデオ分離／合成部１２６を介して、トライアックスケーブル１１１に出力される。このように送信ユニット１１０より送出されたパケット（符号化データ）は、トライアックスケーブル１１１を介してカメラ制御部１１２に伝送される。
【０２４４】
図１５は、その符号化データの授受の様子の例を説明する模式図である。上述したように画像データ３５１は、プレシンクト毎に、所定のライン数分だけ入力されながらウェーブレット変換される。そして、所定のウェーブレット変換分解レベルまで達した際に、最低域サブバンドから最高域サブバンドまでの係数ラインが、生成された順序とは逆に、つまり低域から高域の順番に並び替えられる。
【０２４５】
図１５の画像データ３５１はサブバンド毎に分割して示されており、各サブバンドの、斜め線、縦線、および波線の模様分けされた部分は、それぞれ異なるプレシンクトである（矢印で示されるように、画像データ３５１の白ヌキ部分も同様にプレシンクト毎に分割して処理される）。並び替えられた後のプレシンクトの係数が上述した様にエントロピ符号化され、符号化データが生成される。
【０２４６】
例えば、送信ユニット１１０は、図１５に示されるように、１番目のプレシンクト（プレシンクト−１）の符号化データ（エンコードデータ）を生成すると、それをパケット化し、送信パケット３６１としてカメラ制御部１１２に送出する。カメラ制御部１１２は、そのパケットを受信すると（受信パケット３７１）、そのパケットをデパケタイズして符号化データを取り出し、その符号化データを復号（デコード）する。
【０２４７】
同様に、送信ユニット１１０は、２番目のプレシンクト（プレシンクト−２）の符号化データを生成すると、それをパケット化し、送信パケット３６２としてカメラ制御部１１２に送出する。カメラ制御部１１２は、そのパケットを受信すると（受信パケット３７２）、その符号化データを復号（デコード）する。さらに同様に、送信ユニット１１０は、３番目のプレシンクト（プレシンクト−３）の符号化データを生成すると、それをパケット化し、送信パケット３６３としてカメラ制御部１１２に送出する。カメラ制御部１１２は、そのパケットを受信すると（受信パケット３７３）、その符号化データを復号（デコード）する。
【０２４８】
送信ユニット１１０およびカメラ制御部１１２は、以上のような処理を、Ｘ番目の最終プレシンクト（プレシンクト−Ｘ）まで繰り返す（送信パケット３６４、受信パケット３７４）。以上のようにしてカメラ制御部１１２において復号画像３８１が生成される。
【０２４９】
テレビジョン放送では、例えば、インタレース画像が採用されており、１秒間に６０枚のフィールドが存在している。従って、１フィールドの時間＝１／６０sec(＝１６msec)である。これに対して、送信ユニット１１０は、上述したように、プレシンクト毎に符号化して伝送する。これにより、送信ユニット１１０が１番目のプレシンクトであるプレシンクト−１を符号化して送出し、カメラ制御部１１２が受信して復号し、中央制御システムにおいて画像が出力されるまでの時間Ｔ（遅延時間）を、１フィールドの時間よりも短くすることが出来る。
【０２５０】
次に、受信側であるビデオ信号復号部について説明する。
【０２５１】
図１６は、図１のビデオ信号復号部１３６の詳細な構成例を示すブロック図である。なお、図１のビデオ信号復号部１２１は、ビデオ信号復号部１３６と同様の構成を有し、同様の処理を行うので、ビデオ信号復号部１３６に対する説明を適用することができる。従って、説明の簡略化のため、必要な場合を除き、ビデオ信号復号部１２１の説明は省略する。
【０２５２】
図２において、ビデオ信号復号部１３６は、パケット解読部４０１、受信用バッファ制御部４０２、および復号部４０３を有する。
【０２５３】
パケット解読部４０１は、デジタル復調部１３４（図１）において復調された送信ユニット１１０より伝送されたパケットの解読を行い、ヘッダ情報や、ペイロードに含まれる符号化データを抽出する。パケット解読部４０１は、抽出したヘッダ情報および符号化データを受信用バッファ制御部４０２に供給する。パケット解読部４０１は、パケットが供給される度に、そのパケットよりヘッダ情報および符号化データを抽出し、受信用バッファ制御部４０２に供給する。
【０２５４】
受信用バッファ制御部４０２は、パケット解読部４０１より供給される符号化データを内蔵するバッファに蓄積し、所定のタイミングでその符号化データをプレシンクト毎に読み出して復号部４０３に供給する。
【０２５５】
復号部４０３は、受信用バッファ制御部４０２より供給される符号化データを、図２の符号化部２０１の符号化方法に対応する所定の復号方法で復号し、得られた係数データを逆量子化してウェーブレット逆変換を行い、ベースバンドの画像データを中央制御システムや、ビデオ信号符号化部１３７に出力する。
【０２５６】
図１７は、図１６の受信用バッファ制御部４０２の詳細な構成例を示す図である。
【０２５７】
図１７において、受信用バッファ制御部４０２は、パケットヘッダ解読部４１１、入力制御部４２１、Ｙバッファ４２２、Ｃバッファ４２３、出力制御部４２４、およびプレシンクト情報制御部４３１を有する。
【０２５８】
パケットヘッダ解読部４１１は、プレシンクト情報制御部４３１に制御されて、パケット解読部４０１より供給されるヘッダ情報を取得して保持し、所定のタイミングで、そのヘッダ情報を解読して、処理対象プレシンクトのパラメータ情報を抽出する。パケットヘッダ解読部４１１は、抽出したパラメータ情報を復号部４０３に供給し、復号処理に利用させる。
【０２５９】
入力制御部４２１は、プレシンクト情報制御部４３１に制御されて、パケット解読部４０１より供給される符号化データを取得し、Ｙデータ（輝度成分Ｙの符号化データ）をＹバッファ４２２に書き込み、Ｃデータ（色差成分Ｃの符号化データ）をＣバッファ４２３に書き込む。
【０２６０】
Ｙバッファ４２２は、記憶媒体を内蔵し、入力制御部４２１より供給されるＹデータを蓄積する。また、Ｙバッファ４２２は、プレシンクト情報制御部４３１に制御されて、蓄積されているＹデータを、書き込み順に読み出し、出力制御部４２４に供給する。
【０２６１】
Ｃバッファ４２３は、記憶媒体を内蔵し、入力制御部４２１より供給されるＣデータを蓄積する。また、Ｃバッファ４２３は、プレシンクト情報制御部４３１に制御されて、蓄積されているＣデータを、書き込み順に読み出し、出力制御部４２４に供給する。
【０２６２】
出力制御部４２４は、プレシンクト情報制御部４３１に制御されて、Ｙバッファ４２２より供給されるＹデータおよびＣバッファ４２３より供給されるＣデータとを多重化して出力し、復号部４０３（図１６）に供給する。
【０２６３】
プレシンクト情報制御部４３１は、上述したような構成の、パケットヘッダ解読部４１１、入力制御部４２１、Ｙバッファ４２２、Ｃバッファ４２３、および出力制御部４２４の各部の動作を制御したり、損失した符号化データの代替用のデータであるダミーデータを生成して復号部４０３に供給したりする。
【０２６４】
つまり、ＹデータおよびＣデータは、パケット解読部４０１より略一定のビットレートで供給され、入力制御部４２１によってＹバッファ４２２またはＣバッファ４２３に書き込まれ、一時的に保持された後、プレシンクト単位で読み出され、出力制御部４２４により多重化されて復号部４０３に出力される。
【０２６５】
プレシンクト情報制御部４３１は、このようなＹデータおよびＣデータの、タイミング調整のためのバッファリングに関する各種処理を制御する。
【０２６６】
符号化データが蓄積されるＹバッファ４２２およびＣバッファ４２３の記憶容量を大きくすると、すなわち、Ｙバッファ４２２およびＣバッファ４２３により多くの符号化データを蓄積させるようにすると、出力画像の画質を向上させることができるものの、遅延時間が増大する。また、コストや回路規模の増大を抑制するためにも、Ｙバッファ４２２およびＣバッファ４２３の記憶容量の不要な増大は望ましくない。
【０２６７】
プレシンクト情報制御部４３１は、ＹデータおよびＣデータの復号処理の前のタイミング調整の際に、Ｙバッファ４２２およびＣバッファ４２３の入出力を制御することにより、不要な遅延時間の増大を抑制させるとともに、コンテンツとしての品質の不要な低下も抑制させる。詳細については後述する。
【０２６８】
図１８は、図１７のプレシンクト情報制御部４３１の詳細な構成例を示す図である。
【０２６９】
図１８に示されるように、プレシンクト情報制御部４３１は、受信用バッファ書き込み制御処理部４４１および受信用バッファ読み出し制御処理部４４２を有する。
【０２７０】
受信用バッファ書き込み制御処理部４４１は、受信用バッファであるＹバッファ４２２およびＣバッファ４２３（ともに図１７）への符号化データの書き込みに関する処理を制御する処理部である。受信用バッファ読み出し制御処理部４４２は、受信用バッファであるＹバッファ４２２およびＣバッファ４２３からの符号化データの読み出しに関する処理を制御する処理部である。
【０２７１】
受信用バッファ書き込み制御処理部４４１は、書き込み制御部４５１および書き込み指示部４５２を有する。
【０２７２】
書き込み制御部４５１は、書き込み指示部４５２の処理を制御する。書き込み指示部４５２は、書き込み制御部４５１に制御され、所定のタイミングで、入力制御部４２１に対して、ＹデータをＹバッファ４２２に書き込み（蓄積させ）、ＣデータをＣバッファ４２３に書き込む（蓄積させる）ように書き込み指示を供給する。入力制御部４２１は、この書き込み指示部４５２より供給される書き込み指示に基づいて、パケット解読部４０１より供給されるＹデータをＹバッファ４２２に供給して蓄積させ、ＣデータをＣバッファ４２３に供給して蓄積させる。
【０２７３】
受信用バッファ読み出し制御処理部４４２は、読み出し制御部４６１、プレシンクト番号確認部４６４、パラメータ抽出指示部４６５、読み出し指示部４６６、ダミーデータ保持部４６７、および補完処理部４６８を有する。
【０２７４】
読み出し制御部４６１は、プレシンクト番号確認部４６４乃至補完処理部４６８の各部が実行する処理を制御する。
【０２７５】
プレシンクト番号確認部４６４は、読み出し制御部４６１に制御されて、Ｙバッファ４２２およびＣバッファ４２３に蓄積されている符号化データのプレシンクトの中から、最も古いプレシンクトを処理対象プレシンクトとして選択し、そのプレシンクトのプレシンクト番号が、前回処理されたプレシンクトのプレシンクト番号と連続するか否かを確認することにより、プレシンクトの損失の有無を確認する。
【０２７６】
バッファ（Ｙバッファ４２２およびＣバッファ４２３）に蓄積された符号化データは、基本的に古いものから順にプレシンクト毎に読み出される。符号化データは、図８を参照して説明したように、プレシンクト毎に順番（プレシンクト順に）にビデオ信号符号化部１２０より供給されるので、符号化データ（プレシンクト）の損失が無ければ、処理対象プレシンクトのプレシンクト番号は、１ずつインクリメントされるはずである。仮に、今回、処理対象プレシンクトとして選択されたプレシンクトのプレシンクト番号が、前回バッファより読み出された（または、後述するように補完処理された）プレシンクトのプレシンクト番号と連続していない場合、これらのプレシンクトの間に存在するはずの１または複数のプレシンクトが欠損していることになる。
【０２７７】
例えば、図１２や図１３を参照して説明したように、ビデオ信号符号化部１２０においてバンクオーバ制御処理が行われた場合、ビデオ信号復号部１３６に供給される符号化データにおいてプレシンクトの損失が発生する。
【０２７８】
プレシンクト番号確認部４６４は、処理対象プレシンクトのプレシンクト番号を監視し、プレシンクト番号が１から順に１ずつインクリメントしていくか否かを確認することにより、このようなプレシンクトの欠損が発生したか否かを確認する。
【０２７９】
なお、プレシンクト番号確認部４６４は、任意の方法で処理対象プレシンクトのプレシンクト番号を確認するようにしてよい。例えば、プレシンクト番号確認部４６４が、符号化データがバッファに蓄積される際に、その符号化データのプレシンクト番号を取得することにより、バッファに蓄積されている全符号化データのプレシンクト番号を管理するようにしてもよい。また、例えば、バッファ（Ｙバッファ４２２およびＣバッファ４２３）に符号化データとヘッダ情報の両方がプレシンクト毎に蓄積されるようにし、プレシンクト番号確認部４６４は、バッファに蓄積された処理対象のプレシンクトに対応するヘッダ情報に基づいてそのプレシンクト番号を特定するようにしてもよい。また、例えば、ヘッダ情報はパケットヘッダ解析部４１１に蓄積され、符号化データのみがバッファに蓄積さえるようにし、それらのヘッダ情報と符号化データとがプレシンクト毎に任意の方法で互いに関連付けられているようにし、プレシンクト番号確認部４６４は、そのヘッダ情報と符号化データの関係を示す情報を参照することにより、処理対象プレシンクトの符号化データに対応するヘッダ情報をパケットヘッダ解読部４１１より取得し、そのヘッダ情報を参照して処理対象のプレシンクトのプレシンクト番号を特定するようにしてもよい。もちろん、これら以外の方法であってもよい。
【０２８０】
パラメータ抽出指示部４６５は、読み出し制御部４６１に制御され、プレシンクト番号確認部４６４の確認結果に基づいて、プレシンクトの欠損が発生していない場合、処理対象プレシンクトのパラメータをヘッダ情報より抽出させるパラメータ抽出指示を、パケットヘッダ解読部４１１に対して供給する。
【０２８１】
読み出し指示部４６６は、読み出し制御部４６１に制御され、プレシンクト番号確認部４６４の確認結果に基づいて、プレシンクトの欠損が発生していない場合、処理対象プレシンクトの符号化データ（ＹデータまたはＣデータ）を読み出して出力制御部４２４に供給すように、Ｙバッファ４２２およびＣバッファ４２３に対して読み出し指示を供給する。
【０２８２】
ダミーデータ保持部４６７は、読み出し制御部４６１に制御され、欠損した符号化データの代替用のデータであるダミーデータを保持する。ダミーデータはプレシンクト単位の符号化データであれば何でもよい。例えば、白色、黒色、または灰色等の予め定められた所定の色の、１プレシンクト分のベースバンドの画像データを、符号化部２０１と同様の方法でウェーブレット変換して並び替えて量子化してエントロピ符号化して得られる符号化データでもよい。つまり、この場合のダミーデータは、復号部４０３の復号処理により、灰色等の所定の色の、１プレシンクト分のベースバンドの画像データが得られる符号化データである。ダミーデータは予め用意されたデータであれば何でもよい。つまり、ダミーデータとして使用する画像データの画像は、何色であってもよいし、複数の色により構成されるようにしてもよいし、図形、模様、文字、または絵柄等が含まれるようにしてもよい。
【０２８３】
補完処理部４６８は、読み出し制御部４６１に制御され、プレシンクト番号確認部４６４の確認結果に基づいて、プレシンクトの欠損が発生した場合、ダミーデータ保持部４６７よりダミーデータを取得し、そのダミーデータを、欠損した符号化データの代わりとして、その欠損した符号化データの読み出しタイミングで復号部４０３に出力する。
【０２８４】
図１９を参照して、受信用バッファ制御部４０２において行われる、プレシンクト単位で行われる読み出しの制御の様子について説明する。
【０２８５】
図１９は、バッファ（Ｙバッファ４２２またはＣバッファ４２３）に読み出し可能に蓄積される符号化データ（ＹデータまたはＣデータ）のデータ量の時間的変化を模式的に示したものである。図１９の例は、図１２の例に対応する例であり、図１２の例のように制御されて、ビデオ信号符号化部１２０より出力された符号化データを蓄積したときの、データ量の時間的変化を模式的に示したものである。つまり、プレシンクトＡの符号化データのデータ量は、他のプレシンクトの符号化データのデータ量と比較して極端に多い。また、プレシンクトＢの符号化データは出力が禁止されたので、プレシンクトＡに続いてプレシンクトＣの符号化データが供給される。
【０２８６】
なお、以下に行う図１９を用いた説明は、Ｙデータに対しても、Ｃデータに対しても適用可能であるので、ここでは、Ｙバッファ４２２とＣバッファ４２３、並びに、ＹデータとＣデータをそれぞれ特定せずに、バッファおよび符号化データとして説明する。
【０２８７】
図１９においても、図１２と同様に、横軸は時刻を示し、縦軸はバッファに読み出し可能に蓄積された符号化データのデータ量（バッファ量）を示している。各棒グラフは、各時刻においてバッファに読み出し可能に蓄積されている符号化データを示している。また、棒グラフの各四角はプレシンクト毎の符号化データを示しており、各四角のアルファベットによってプレシンクトが識別されている。また、符号化データの蓄積順は下から上に示されている。さらに、棒グラフの縦軸方向の長さはその符号化データのデータ量を示している。バッファの使用可能な記憶容量、すなわちハードウェアによる制限は十分大きいものとする。
【０２８８】
図１９の例の場合、時刻Ｔ１において、バッファには、プレシンクトＳ乃至プレシンクトＺの符号化データが読み出し可能に蓄積されている。このＴ１において、バッファに蓄積されている符号化データのプレシンクトの中で最初に蓄積されたプレシンクトＳが処理対象プレシンクトに設定され、そのプレシンクト番号が前回処理されたプレシンクトのプレシンクト番号と連続するかが確認される。この確認によりプレシンクト（符号化データ）の欠損が生じていないと判定すると、パラメータ抽出指示部４６５は、処理対象プレシンクトであるプレシンクトＳのパラメータを抽出して復号部４０３に供給する。また、読み出し指示部４６６は、プレシンクトＳの符号化データを読み出して出力制御部４２４に供給するように読み出し指示をバッファに供給する。Ｙバッファ４２２より読み出されたＹデータおよびＣバッファ４２３より読み出されたＣデータは、出力制御部４２４において多重化されて復号部４０３に供給される。
【０２８９】
従って、時刻Ｔ１より所定の時間が経過した時刻Ｔ２においては、プレシンクトＳの符号化データがバッファより全て読み出されて無くなり、代わりに、プレシンクトＡが所定の略一定のビットレートで入力制御部４２１より供給されて蓄積される。この時刻Ｔ２においては、処理対象プレシンクトがプレシンクトＳの次のプレシンクトＴに設定され、上述したプレシンクトＳの場合と同様に、その符号化データが読み出される。
【０２９０】
時刻Ｔ２より所定の時間が経過した時刻Ｔ３においては、プレシンクトＴの符号化データがバッファより全て読み出されて無くなる。また、プレシンクトＡの所定のビットレートでの蓄積が引き続き行われる。この時刻Ｔ３においては、処理対象プレシンクトがプレシンクトＴの次のプレシンクトＵに設定され、上述したプレシンクトＴの場合と同様に、その符号化データが読み出される。
【０２９１】
時刻Ｔ３より所定の時間が経過した時刻Ｔ４においては、プレシンクトＵの符号化データがバッファより全て読み出されて無くなる。また、プレシンクトＡの所定のビットレートでの蓄積が引き続き行われる。この時刻Ｔ４においては、処理対象プレシンクトがプレシンクトＵの次のプレシンクトＶに設定され、上述したプレシンクトＵの場合と同様に、その符号化データが読み出される。
【０２９２】
時刻Ｔ４より所定の時間が経過した時刻Ｔ５においては、プレシンクトＶの符号化データがバッファより全て読み出されて無くなる。また、プレシンクトＡの所定のビットレートでの蓄積が引き続き行われる。この時刻Ｔ５においては、処理対象プレシンクトがプレシンクトＶの次のプレシンクトＷに設定され、上述したプレシンクトＶの場合と同様に、その符号化データが読み出される。
【０２９３】
時刻Ｔ５より所定の時間が経過した時刻Ｔ６においては、プレシンクトＷの符号化データがバッファより全て読み出されて無くなる。また、プレシンクトＡの所定のビットレートでの蓄積が引き続き行われる。この時刻Ｔ６においては、処理対象プレシンクトがプレシンクトＷの次のプレシンクトＸに設定され、上述したプレシンクトＷの場合と同様に、その符号化データが読み出される。
【０２９４】
時刻Ｔ６より所定の時間が経過した時刻Ｔ７においては、プレシンクトＸの符号化データがバッファより全て読み出されて無くなる。また、プレシンクトＡの所定のビットレートでの蓄積が引き続き行われる。この時刻Ｔ７においては、処理対象プレシンクトがプレシンクトＸの次のプレシンクトＹに設定され、上述したプレシンクトＸの場合と同様に、その符号化データが読み出される。
【０２９５】
時刻Ｔ７より所定の時間が経過した時刻Ｔ８においては、プレシンクトＹの符号化データがバッファより全て読み出されて無くなる。また、プレシンクトＡの所定のビットレートでの蓄積が引き続き行われる。この時刻Ｔ８においては、処理対象プレシンクトがプレシンクトＹの次のプレシンクトＺに設定され、上述したプレシンクトＹの場合と同様に、その符号化データが読み出される。
【０２９６】
時刻Ｔ８より所定の時間が経過した時刻Ｔ９においては、プレシンクトＺの符号化データがバッファより全て読み出されて無くなる。この時刻Ｔ９において、ようやくプレシンクトＡの蓄積が終了する。つまり、この場合のプレシンクトＡの符号化データのデータ量は、他のプレシンクトの符号化データのデータ量に比べて極端に多い。このようなとき、時刻Ｔ９においては、処理対象プレシンクトがプレシンクトＺの次のプレシンクトである、蓄積が終了したばかりのプレシンクトＡに設定され、上述したプレシンクトＺの場合と同様に、その符号化データが読み出される。
【０２９７】
時刻Ｔ８より所定の時間が経過した時刻Ｔ９においては、プレシンクトＺの符号化データがバッファより全て読み出されて無くなる。この時刻Ｔ９において、ようやくプレシンクトＡの蓄積が終了する。つまり、この場合のプレシンクトＡの符号化データのデータ量は、他のプレシンクトの符号化データのデータ量に比べて極端に多い。このようなとき、時刻Ｔ９においては、処理対象プレシンクトがプレシンクトＺの次のプレシンクトである、蓄積が終了したばかりのプレシンクトＡに設定され、上述したプレシンクトＺの場合と同様に、その符号化データが読み出される。
【０２９８】
上述したように、プレシンクトＢの符号化データは、送信用バッファ制御部２０２において出力が禁止されたので、プレシンクトＡに続いてプレシンクトＣの符号化データが供給される。
【０２９９】
従って、時刻Ｔ９より所定の時間が経過した時刻Ｔ１０においては、プレシンクトＡの符号化データがバッファより全て読み出されて無くなるとともに、プレシンクトＣの符号化データが所定のビットレートでバッファに蓄積される。この時刻Ｔ１０においては、処理対象プレシンクトがプレシンクトＡの次に供給されたプレシンクトＣに設定されるが、本来プレシンクトＢが処理対象プレシンクトに設定されるはずであり、プレシンクト番号が連続しない。従って、この欠損したプレシンクトＢの代わりに、ダミーデータが読み出され、復号部４０３に供給される。その間、プレシンクトＣの符号化データの所定のビットレートでの蓄積は継続され、終了する。
【０３００】
プレシンクトＣの符号化データの蓄積が終了すると、続いて供給されるプレシンクトＤの符号化データの蓄積が開始される。
【０３０１】
従って、時刻Ｔ１０より所定の時間が経過した時刻Ｔ１１においては、プレシンクトＢの符号化データがバッファより全て読み出されて無くなるとともに、プレシンクトＣの符号化データの蓄積は終了し、プレシンクトＤの符号化データが所定のビットレートでバッファに蓄積される。
【０３０２】
この時刻Ｔ１１においては、処理対象プレシンクトがプレシンクトＣのままであり、前回補完処理されたプレシンクトＢからプレシンクト番号が連続するので、バッファよりプレシンクトＣの符号化データが読み出され、復号部４０３に供給される。
【０３０３】
つまり、受信用バッファ制御部４０２からは、図２０に示されるように、プレシンクトＳ、プレシンクトＴ、プレシンクトＵ、・・・、プレシンクトＡの順に符号化データがプレシンクト毎に出力され、プレシンクトＡの次に、損失したプレシンクトＢの符号化データの代わりに予め用意された１プレシンクト分のダミーデータ（ダミーＢ）が出力される。つまり、損失した符号化データがダミーデータにより補完される。
【０３０４】
例えば、符号化データの損失が１フィールドの１プレシンクトのみであれば、出力画像においては、１６msec程度の間、数ラインの画像が損失するのみであるので、画質劣化はあまり目立たない。また、灰色等の視覚的に目立たない色の画像の符号化データをダミーデータとすることにより、受信用バッファ制御部４０２は、符号化データの損失による画質劣化をさらに目立たなくすることができる。
【０３０５】
なお、図１９に示されるように、ビデオ信号符号化部１２０においてバンクオーバ制御処理が行われてプレシンクトＢの出力が禁止されているので、プレシンクトＡに続いてプレシンクトＣの符号化データが供給されるが、これにより、プレシンクトＣの符号化データが、本来プレシンクトＢの出力タイミングとなる時刻Ｔ１０の時点で蓄積が行われている。従って、プレシンクトＣの出力タイミングとなる時刻Ｔ１１までに、プレシンクトＣの符号化データの蓄積のための時間を十分に確保することができ、プレシンクトＣの出力タイミングである時刻Ｔ１１において、プレシンクトＣの符号化データの蓄積が終了されているようにすることができる。つまり、時刻Ｔ１１において、受信用バッファ制御部４０２は、プレシンクトＣの符号化データを全て復号部４０３に供給することができる。
【０３０６】
仮に、ビデオ信号符号化部１２０が上述したようなバンクオーバ制御処理を行わないとすると、図２１に示されるように、時刻Ｔ１０においてプレシンクトＢの符号化データが供給され、続いて、プレシンクトＣ、プレシンクトＤ、・・・、プレシンクトＨ、プレシンクトＪ、プレシンクトＫの順に供給される。
【０３０７】
上述したように時刻Ｔ１０は、プレシンクトＢの出力タイミングとなるが、プレシンクトＢの符号化データは時刻Ｔ９から蓄積が開始されるので、時刻Ｔ１０において必ずしもプレシンクトＢの符号化データが全て蓄積されているとは限らない。つまり、図２１の時刻Ｔ１０のプレシンクトＢにおいて斜線で示されるように、未蓄積の符号化データが存在する可能性がある。この段階（時刻Ｔ１０）でプレシンクトＢの符号化データを復号部４０３に供給すると、未蓄積の部分の符号化データが欠損するので出力画像の画質が劣化する恐れがある。
【０３０８】
そして、プレシンクトＢの次のプレシンクトＣのの符号化データは時刻Ｔ１０から蓄積が開始されるので、プレシンクトＢの場合と同様に、出力タイミングである時刻Ｔ１１において必ずしもプレシンクトＣの符号化データが全てバッファに蓄積されているとは限らず、斜線で示されるように未蓄積の符号化データが存在する恐れがある。この段階（時刻Ｔ１１）でプレシンクトＣの符号化データを復号部４０３に供給すると、未蓄積の部分の符号化データが欠損するので出力画像の画質が劣化する恐れがある。
【０３０９】
つまり、プレシンクトＡのように伝送に時間を要するプレシンクトが存在する場合、受信側のバッファ（Ｙバッファ４２２およびＣバッファ４２３）において、蓄積される符号化データが不足する、所謂アンダーフローが発生してしまう。このとき、ビデオ信号符号化部１２０が上述したようなバンクオーバ制御処理を行わない場合、図２１のプレシンクトＢ乃至プレシンクトＪのように、各プレシンクトにおいてアンダーフローが発生する恐れがある。つまり、各プレシンクトにおいて蓄積時間が短すぎることが原因で、読み出しタイミングにおいて斜線で示されるように見蓄積の部分が生じ、アンダーフローが長期間解消されない恐れがある。
【０３１０】
このようにアンダーフローの発生が拡大すると、出力画像において画質劣化するライン（範囲）が増大し、画質劣化が目立つようになる恐れがある。
【０３１１】
ビデオ信号符号化部１２０は、上述したようなバンクオーバ制御処理を行うことにより、アンダーフローの発生が１プレシンクトに制限され、不要なアンダーフローの発生の拡大を抑制することができるので、出力画像における画質劣化のライン（範囲）を抑制することができる。
【０３１２】
次に、図１６の復号部４０３の詳細について説明する。図２２は、復号部４０３の詳細な構成例を示すブロック図である。復号部４０３は、符号化部２０１（図２）に対応する復号部であり、図２２に示されるように、エントロピ復号部４８１、逆量子化部４８２、係数バッファ部４８３、およびウェーブレット逆変換部４８４を有している。
【０３１３】
エントロピ復号部４８１は、受信用バッファ制御部４０２より符号化データを取得すると、ライン毎にその符号化データをエントロピ復号し、得られた係数データを逆量子化部４８２に供給する。逆量子化部４８２は、供給された係数データに対して、受信用バッファ制御部４０２のパケットヘッダ解読部４１１より取得したパラメータに含まれる、量子化に関する情報に基づいて逆量子化を行い、得られた係数データを係数バッファ部４８３に供給し、格納させる。ウェーブレット逆変換部４８４は、係数バッファ部４８３に格納された係数データを用いて、合成フィルタによる合成フィルタ処理を行い、合成フィルタ処理の結果を再び係数バッファ部４８３に格納する。ウェーブレット逆変換部４８４は、この処理を分解レベルに応じて繰り返して、復号された画像データ（出力画像データ）を得る。ウェーブレット逆変換部４８４は、この出力画像データを復号部４０３の外部に出力する。
【０３１４】
一般的なウェーブレット逆変換の方法の場合、処理対象の分解レベルの全係数に対して、まず、画面水平方向に水平合成フィルタリング処理を行い、次に画面垂直方向に垂直合成フィルタリング処理を行っていた。つまり、各合成フィルタリング処理の度に、その合成フィルタリング処理の結果をバッファに保持させる必要があるが、その際、バッファは、その時点の分解レベルの合成フィルタリング結果と、次の分解レベルの全係数を保持する必要があり、多大なメモリ容量を必要とすることになる（保持するデータ量が多い）。
【０３１５】
また、この場合、ピクチャ（インタレース方式の場合フィールド）内において全てのウェーブレット逆変換が終了するまで画像データ出力が行われないので、入力から出力までの遅延時間が増大する。
【０３１６】
これに対して、ウェーブレット逆変換部４８４の場合、プレシンクト単位で垂直合成フィルタリング処理および水平合成フィルタリング処理をレベル１まで連続して行うので、従来の方法と比較して、一度に（同時期に）バッファリングする必要のあるデータの量が少なく、用意すべきバッファのメモリ量を大幅に低減させることができる。また、レベル１まで合成フィルタリング処理（ウェーブレット逆変換処理）が行われることにより、ピクチャ内の全画像データが得られる前に（プレシンクト単位で）画像データを順次出力させることができ、従来の方法と比較して遅延時間を大幅に低減させることができる。
【０３１７】
次に、以上に説明したデジタルトライアックスシステム１００の各部により実行される処理について説明する。まず、図２３のフローチャートを参照して、送信ユニット１１０のビデオ信号符号化部１２０の符号化部２０１（図３）により実行される符号化処理の流れの例を説明する。
【０３１８】
符号化処理が開始されると、ウェーブレット変換部２２１は、ステップＳ１において、処理対象プレシンクトの番号Ａを初期設定にする。通常の場合、番号Ａは「１」に設定される。設定が終了すると、ウェーブレット変換部２２１は、ステップＳ２において、最低域サブバンドにおいて上からＡ番目の１ラインを生成するのに必要なライン数（すなわち、１プレシンクト）の画像データを取得し、その画像データに対して、ステップＳ３において画面垂直方向に並ぶ画像データに対して分析フィルタリングを行う垂直分析フィルタリング処理を行い、ステップＳ４において画面水平方向に並ぶ画像データに対して分析フィルタリング処理を行う水平分析フィルタリング処理を行う。
【０３１９】
ステップＳ５においてウェーブレット変換部２２１は、分析フィルタリング処理を最終レベルまで行ったか否かを判定する。分解レベルが最終レベルに達していないと判定された場合、処理はステップＳ３に戻り、現在の分解レベルに対して、ステップＳ３およびステップＳ４の分析フィルタリング処理が繰り返される。
【０３２０】
ステップＳ５において、分析フィルタリング処理が最終レベルまで行われたと判定された場合、処理はステップＳ６に進む。
【０３２１】
ステップＳ６において、係数並び替え部２２４は、プレシンクトＡ（ピクチャ（インタレース方式の場合フィールド）の上からＡ番目のプレシンクト）の係数を低域から高域の順番に並び替える。量子化部２２５は、ステップＳ７において、その並び替えられた係数に対して所定の量子化係数を用いて量子化を行う。エントロピ符号化部２２７は、ステップＳ８において、その係数に対してライン毎にエントロピ符号化する。エントロピ符号化が終了すると、エントロピ符号化部２２７は、ステップＳ９において、プレシンクトＡの符号化データを外部に送出する。
【０３２２】
ウェーブレット変換部２２１は、ステップＳ１０において番号Ａの値を「１」インクリメントして次のプレシンクトを処理対象とし、ステップＳ１１において、処理対象のピクチャ（インタレース方式の場合フィールド）について、未処理の画像入力ラインが存在するか否かを判定する。未処理の画像入力ラインが存在すると判定された場合、処理はステップＳ２に戻り、新たな処理対象のプレシンクトに対してそれ以降の処理が繰り返される。
【０３２３】
以上のようにステップＳ２乃至ステップＳ１１の処理が繰り返し実行され、各プレシンクトが符号化される。そして、ステップＳ１１において、未処理の画像入力ラインが存在しないと判定された場合、そのピクチャに対する符号化処理が終了される。次のピクチャに対しては新たに符号化処理が開始される。
【０３２４】
このように、ウェーブレット変換部２２１は、プレシンクト単位で垂直分析フィルタリング処理および水平分析フィルタリング処理を最終レベルまで連続して行うので、従来の方法と比較して、一度に（同時期に）保持する（バッファリングする）必要のあるデータの量が少なく、用意すべきバッファのメモリ量を大幅に低減させることができる。また、最終レベルまで分析フィルタリング処理が行われることにより、後段の係数並び替えやエントロピ符号化等の処理も行うことができる（つまり、係数並び替えやエントロピ符号化をプレシンクト単位で行うことができる）。従って、画面全体に対してウェーブレット変換を行う方法と比較して遅延時間を大幅に低減させることができる。
【０３２５】
次に、図２４のフローチャートを参照して、送信用バッファ書き込み制御処理部２７１（図１１）により実行される送信用バッファ書き込み制御処理の流れの例を説明する。
【０３２６】
送信用バッファ書き込み制御処理が開始されると、書き込み制御部２８１は、ステップＳ３１において、所定のタイミングであるか否かを判定し、所定のタイミングであると判定されるまで待機する。所定のタイミングであると判定されると処理はステップＳ３２に進む。ステップＳ３２において、書き込み指示部２８２は、Ｙデータ書き込み制御部２５１およびＣデータ書き込み制御部２５２に書き込み指示を供給し、１プレシンクト分の符号化データをバッファに書き込ませる。
【０３２７】
ステップＳ３３において、プレシンクト数判定部２８４は、バッファに蓄積した符号化データのプレシンクト数を算出し、バッファ内のプレシンクト数が予め定められた所定の閾値を越えたか否かを判定する。越えたと判定された場合、処理はステップＳ３４に進む。ステップＳ３４において、出力禁止部２８５は、現在読み出し中のプレシンクトの次のプレシンクトの符号化データを出力禁止にする。ステップＳ３４の処理が終了すると、処理はステップＳ３７に進む。
【０３２８】
また、ステップＳ３３において、バッファ内のプレシンクト数が所定の閾値以下であると判定した場合、処理は、ステップＳ３５に進む。ステップＳ３５において、送出時間確認部２８３は、バッファに蓄積された符号化データの総送出時間を算出し、バッファ内符号化データを全て所定の時間内に送出可能であるか否かを判定する。送出可能でないと判定された場合、処理はステップＳ３６に進む。ステップＳ３６において、出力禁止部２８５は、現在読み出し中のプレシンクトの次のプレシンクトから出力順に必要な数のプレシンクトの符号化データを出力禁止にする。ステップＳ３６の処理が終了すると、処理はステップＳ３７に進む。
【０３２９】
また、ステップＳ３５において、バッファ内の符号化データを全て所定の時間内に送出可能であると判定された場合、処理はステップＳ３７に進む。
【０３３０】
ステップＳ３７において、書き込み制御部２８１は、ピクチャ内に未処理のプレシンクトが存在するか否かを判定する。ピクチャ内に未処理のプレシンクトが存在すると判定された場合、処理はステップＳ３１に戻り、それ以降の処理が繰り返される。また、ステップＳ３７において、ピクチャ内に未処理のプレシンクトが存在しないと判定された場合、送信用バッファ書き込み制御処理が終了される。
【０３３１】
次に、図２５のフローチャートを参照して、送信用バッファ読み出し制御処理部２７２（図１１）により実行される送信用バッファ読み出し制御処理の流れの例を説明する。
【０３３２】
送信用バッファ読み出し制御処理が開始されると、ステップＳ５１において、プレシンクトヘッダ生成部２９２は、Ｙデータのプレシンクトヘッダを生成する。ステップＳ５２において、読み出し制御部２９１は、現在のプレシンクトがピクチャの先頭のプレシンクトであるか否かを判定する。先頭のプレシンクトであると判定された場合、処理はステップＳ５３に進む。ステップＳ５３において、ピクチャヘッダ生成部２９３は、ピクチャヘッダを生成する。ピクチャヘッダが生成されると処理はステップＳ５４に進む。また、ステップＳ５２において先頭プレシンクトで無いと判定された場合、ステップＳ５３の処理は省略され、ステップＳ５４に処理が進む。
【０３３３】
ステップＳ５４において、読み出し指示部２９４は、処理対象プレシンクトのＹデータを読み出すようにＹバッファ２５３に対して読み出し指示を行う。ステップＳ５５において、プレシンクトヘッダ生成部２９２は、Ｃデータのプレシンクトヘッダを生成する。ステップＳ５６において、読み出し指示部２９４は、処理対象プレシンクトのＣデータを読み出すようにＣバッファ２５４に対して読み出し指示を行う。ステップＳ５６の処理が終了すると処理はステップＳ５７に進む。
【０３３４】
ステップＳ５７において、読み出し制御部２９１は、ピクチャ内に未処理のプレシンクトが存在するか否かを判定する。ピクチャ内に未処理のプレシンクトが存在すると判定された場合、処理はステップＳ５１に戻り、それ以降の処理が繰り返される。また、ステップＳ５７において、ピクチャ内に未処理のプレシンクトが存在しないと判定された場合、送信用バッファ読み出し制御処理を終了する。
【０３３５】
次のピクチャに対しては、新たな送信用バッファ読み出し制御処理が実行される。
【０３３６】
次に、図２６のフローチャートを参照して、プレシンクト情報制御部４３１（図１８）により実行される受信用バッファ書き込み制御処理の流れの例を説明する。
【０３３７】
受信用バッファ書き込み制御処理が開始されると、受信用バッファ書き込み制御処理部４４１の書き込み制御部４５１は、ステップＳ７１において、符号化データが入力制御部４２１に供給されたか否かを判定する。供給されたと判定されるまで処理は待機される。符号化データが供給されたと判定された場合、処理はステップＳ７２に進む。
【０３３８】
ステップＳ７２において、書き込み指示部４５２は、ＹデータをＹバッファ４２２にプレシンクト別に蓄積するように、入力制御部４２１に対して書き込み指示を行う。入力制御部４２１は、その指示に基づいて、ＹデータをＹバッファ４２２に供給してプレシンクト別に蓄積させる。
【０３３９】
ステップＳ７３において、書き込み指示部４５２は、ＣデータをＣバッファ４２３にプレシンクト別に蓄積するように、入力制御部４２１に対して書き込み指示を行う。入力制御部４２１は、その指示に基づいて、ＣデータをＣバッファ４２３に供給してプレシンクト別に蓄積させる。
【０３４０】
ステップＳ７４において書き込み制御部４５１は、処理中のピクチャ内に未処理のプレシンクトが存在するか否かを判定する。未処理のプレシンクトが存在すると判定された場合、処理はステップＳ７１に戻り、それ以降の処理が繰り返される。ステップＳ７４において、未処理のプレシンクトが存在しないと判定された場合、受信用バッファ書き込み制御処理が終了される。
【０３４１】
次のピクチャに対しては、新たな受信用バッファ書き込み制御処理が実行される。
【０３４２】
次に、図２７のフローチャートを参照して、プレシンクト情報制御部４３１（図１８）により実行される受信用バッファ読み出し制御処理の流れの例を説明する。
【０３４３】
受信用バッファ読み出し制御処理が開始されると、ステップＳ９１において、プレシンクト番号確認部４６４は、バッファ（Ｙバッファ４２２およびＣバッファ４２３）に蓄積された符号化データのうち、最も古いプレシンクトを処理対象プレシンクトに設定する。ステップＳ９２において、読み出し制御部４６１は、所定のタイミングであるか否かを判定する。所定のタイミングになるまで処理は待機される。所定のタイミングになると、処理はステップＳ９３に進む。
【０３４４】
ステップＳ９３において、プレシンクト番号確認部４６４は、処理対象プレシンクトのプレシンクト番号が、前回バッファより読み出されたまたは補完処理されたプレシンクトのプレシンクト番号と連続するか否かを判定する。なお、処理対象プレシンクトが、ピクチャ内で最初に処理されるプレシンクトである場合、プレシンクト番号確認部４６４は、その処理対象プレシンクトがピクチャ内の１番上のプレシンクトであるか否か、つまり、処理対象プレシンクトのプレシンクト番号が１であるか否かを判定する。
【０３４５】
プレシンクト番号が連続すると判定された場合、処理はステップＳ９４に進む。この場合、送信用バッファ制御部２０２においてバンクオーバ制御処理が行われていないと判定されたので、パラメータ抽出指示部４６５は、ステップＳ９４において、ヘッダ情報より処理対象プレシンクトのパラメータ情報を抽出するように、パケットヘッダ解読部４１１に対してパラメータ抽出指示を出す。パケットヘッダ解読部４１１は、この指示に基づいて、ヘッダ情報より処理対象プレシンクトのパラメータ情報を抽出し、復号部４０３に供給する。
【０３４６】
ステップＳ９５において、読み出し指示部４６６は、処理対象プレシンクトのＹデータを読み出すように、Ｙバッファ４２２に対して読み出し指示を出す。Ｙバッファ４２２は、その指示に基づいて処理対象プレシンクトのＹデータを読み出して出力制御部４２４に供給する。ステップＳ９６において、読み出し指示部４６６は、処理対象プレシンクトのＣデータを読み出すように、Ｃバッファ４２３に対して読み出し指示を出す。Ｃバッファ４２３は、その指示に基づいて処理対象プレシンクトのＣデータを読み出して出力制御部４２４に供給する。
【０３４７】
出力制御部４２４は、供給されたＹデータおよびＣデータを多重化して復号部４０３に供給する。ステップＳ９６の処理が終了されると処理はステップＳ９８に進む。
【０３４８】
また、ステップＳ９３において、プレシンクト番号が連続しないと判定された場合、処理はステップＳ９７に進む。この場合、符号化データの欠損があると判定されている。ステップＳ９７において、補完処理部４６８は、ダミーデータ保持部４６７よりダミーデータを取得し、そのダミーデータを復号部４０３に出力することにより、損失した符号化データを補完する。ステップＳ９７の処理が終了されると処理はステップＳ９８に進む。
【０３４９】
ステップＳ９８において、読み出し制御部４６１は、未処理のプレシンクトが存在するか否かを判定する。未処理のプレシンクトが存在すると判定された場合、処理はステップＳ９１に戻り、それ以降の処理が繰り返される。つまり、次のプレシンクトに対する処理が行われる。なお、ステップＳ９３においてプレシンクト番号が連続しないと判定された場合、まだ、その処理対象プレシンクトの符号化データはバッファより読み出されていないので、未処理のプレシンクトが存在すると判定される。つまり、この場合、処理はステップＳ９１に戻る。
【０３５０】
このように、各プレシンクトに対して、ステップＳ９１乃至ステップＳ９８の各処理よりなるループが実行される。なお、ステップＳ９１においては、最も古いプレシンクトが処理対象プレシンクトに設定されるため、前回のループでステップＳ９７においてダミーデータで補完された場合、前回のループで処理対象プレシンクトに設定されたプレシンクトの符号化データはまだバッファより読み出されていないので、同じプレシンクトが処理対象プレシンクトとされる。
【０３５１】
ステップＳ９８において、処理中のピクチャ内に未処理のプレシンクトが存在しないと判定された場合、受信用バッファ読み出し制御処理が終了される。
【０３５２】
次のピクチャに対しては、新たな受信用バッファ読み出し制御処理が実行される。
【０３５３】
次に、図２８のフローチャートを参照して、復号部４０３（図２２）により実行される復号処理の流れの例を説明する。この復号処理は、図２３のフローチャートに示される符号化処理に対応する。
【０３５４】
復号処理が開始されると、ステップＳ１３１において、エントロピ復号部４８１は符号化データを取得する。ステップＳ１３２において、エントロピ復号部４８１は、ライン毎に符号化データをエントロピ復号する。ステップＳ１３３において、逆量子化部４８２は、エントロピ復号されて得られた係数データに対して逆量子化を行う。ステップＳ１３４において、係数バッファ部４８３は、その逆量子化された係数データを保持する。ステップＳ１３５においてウェーブレット逆変換部４８４は、係数バッファ部４８３に１プレシンクト分の係数が蓄積されたか否かを判定する。蓄積されていないと判定された場合、処理はステップＳ１３１に戻り、それ以降の処理が実行され、係数バッファ部４８３に１プレシンクト分の係数が蓄積されるまで待機する。
【０３５５】
ステップＳ１３５において係数バッファ部４８３に１プレシンクト分の係数が蓄積されたと判定された場合、処理はステップＳ１３６に進む。ステップＳ１３６において、ウェーブレット逆変換部４８４は、係数バッファ部４８３に保持されている係数を１プレシンクト分読み出す。
【０３５６】
そしてその読み出した係数に対して、ウェーブレット逆変換部４８４は、ステップＳ１３７において、画面垂直方向に並ぶ係数に対して合成フィルタリング処理を行う垂直合成フィルタリング処理を行い、ステップＳ１３８において、画面水平方向に並ぶ係数に対して合成フィルタリング処理を行う水平合成フィルタリング処理を行い、ステップＳ１３９において、合成フィルタリング処理がレベル１（分解レベルの値が「１」のレベル）まで終了したか否か、すなわち、ウェーブレット変換前の状態まで逆変換したか否かを判定する。合成フィルタリング処理がレベル１まで達していないと判定された場合、処理はステップＳ１３７に戻る。つまり、レベル１に達するまでステップＳ１３７およびステップＳ１３８のフィルタリング処理が繰り返される。
【０３５７】
ステップＳ１３９において、レベル１まで逆変換処理が終了したと判定された場合、処理はステップＳ１４０に進む。ステップＳ１４０において、ウェーブレット逆変換部４８４は、逆変換処理により得られた画像データを復号部４０３の外部に出力する。
【０３５８】
ステップＳ１４１において、エントロピ復号部４８１は、復号処理を終了するか否かを判定する。符号化データの入力が継続しており、復号処理を終了しないと判定された場合、処理はステップＳ１３１に戻り、それ以降の処理が繰り返される。また、ステップＳ１４１において、符号化データの入力が終了するなどして復号処理を終了すると判定された場合、復号処理が終了される。
【０３５９】
以上のように、ウェーブレット逆変換部４８４の場合、プレシンクト単位で垂直合成フィルタリング処理および水平合成フィルタリング処理をレベル１まで連続して行うので、画面全体に対してウェーブレット逆変換を行う方法と比較して、一度に（同時期に）バッファリングする必要のあるデータの量が少なく、用意すべきバッファのメモリ量を大幅に低減させることができる。また、レベル１まで合成フィルタリング処理（ウェーブレット逆変換処理）が行われることにより、ピクチャ内の全画像データが得られる前に（プレシンクト単位で）画像データを順次出力させることができ、画面全体に対してウェーブレット逆変換を行う方法と比較して遅延時間を大幅に低減させることができる。
【０３６０】
以上のように、送信側においてバンクオーバ制御処理を行い、受信側においてそのバンクオーバ制御に応じて補完処理を行うことにより、コンテンツのデータ伝送において、容易に、不要な遅延時間の増大を抑制するとともに、コンテンツとしての品質の不要な低下も抑制することができる。
【０３６１】
このようなデータ伝送における処理は、データ伝送に即時性（リアルタイム性）、つまり遅延時間の低減が求められるシステムにおいて特に有効である。また、上述したバンクオーバ制御処理や補完処理は、プレシンクト単位で行うことができるので、プレシンクト単位で処理を行う符号化処理や復号処理を用いるシステムに特に好適である。
【０３６２】
以上のような各部により実行される各種処理は、例えば、図２９に示されるように、適宜、並列的に実行される。
【０３６３】
図２９は、図２に示されるビデオ信号符号化部１２０および図１６に示されるビデオ信号復号部１３６により実行される処理の各要素の並列動作の例を概略的に示す図である。この図２９は、上述した図７と対応するものである。画像データの入力Ｉｎ−１（図２９Ａ）に対して、ウェーブレット変換部２２１（図３）で１回目のウェーブレット変換ＷＴ−１が施される（図２９Ｂ）。図６を参照し説明したように、この１回目のウェーブレット変換ＷＴ−１は、最初の３ラインが入力された時点で開始され、係数Ｃ１が生成される。すなわち、画像データＩｎ−１の入力からウェーブレット変換ＷＴ−１が開始されるまで、３ライン分の遅延が生じる。
【０３６４】
生成された係数データは、係数並び替え用バッファ部２２３（図３）に格納される。以降、入力された画像データに対してウェーブレット変換が施され、１回目の処理が終了すると、そのまま２回目のウェーブレット変換ＷＴ−２に処理が移行する。
【０３６５】
２回目のウェーブレット変換ＷＴ−２のための画像データＩｎ−２の入力と、当該２回目のウェーブレット変換ＷＴ−２の処理と並列的に、係数並び替え部２２４（図３）により３個の、係数Ｃ１、係数Ｃ４、および係数Ｃ５の並び替えＯｒｄ−１が実行される（図２９Ｃ）。
【０３６６】
なお、ウェーブレット変換ＷＴ−１の終了から並び替えＯｒｄ−１が開始されるまでの遅延は、例えば、並び替え処理を係数並び替え部２２４に指示する制御信号の伝達に伴う遅延や、制御信号に対する係数並び替え部２２４の処理開始に要する遅延、プログラム処理に要する遅延といった、装置やシステム構成に基づく遅延であって、符号化処理における本質的な遅延ではない。
【０３６７】
係数データは、並び替えが終了した順に係数並び替え用バッファ部２２３から読み出され、量子化部２２５において量子化された後、エントロピ符号化部２２７（図３）に供給され、エントロピ符号化ＥＣ−１が行われる（図２９Ｄ）。このエントロピ符号化ＥＣ−1は、３個の、係数Ｃ１、係数Ｃ４、および係数Ｃ５の、全ての並び替えの終了を待たずに開始することができる。例えば、最初に出力される係数Ｃ５による１ラインの並び替えが終了した時点で、当該係数Ｃ５に対するエントロピ符号化を開始することができる。この場合、並び替えＯｒｄ−１の処理開始からエントロピ符号化ＥＣ−１の処理開始までの遅延は、１ライン分となる。
【０３６８】
エントロピ符号化部２２７によるエントロピ符号化ＥＣ−１が終了した符号化データは、所定の信号処理が施された後、トライアックスケーブル１１１を介してカメラ制御部１１２に伝送される（図２９Ｅ）。このとき、符号化データは、パケット化されて伝送される。
【０３６９】
送信ユニット１１０のビデオ信号符号化部１２０に対して、１回目の処理による７ライン分の画像データ入力に続けて、画面上の下端のラインまで画像データが順次、入力される。ビデオ信号符号化部１２０では、画像データの入力Ｉｎ−ｎ（ｎは２以上）に伴い、上述したようにして、４ライン毎にウェーブレット変換ＷＴ−ｎ、並び替えＯｒｄ−ｎおよびエントロピ符号化ＥＣ−ｎを行う。ビデオ信号符号化部１２０における最後の回の処理に対する並び替えＯｒｄおよびエントロピ符号化ＥＣは、６ラインに対して行われる。これらの処理は、ビデオ信号符号化部１２０において、図２９Ａ乃至図２９Ｄに例示されるように、並列的に行われる。
【０３７０】
ビデオ信号符号化部１２０によるエントロピ符号化ＥＣ−１により符号化された符号化データのパケットは、カメラ制御部１１２に伝送され、所定の信号処理が施された後、ビデオ信号復号部１３６に供給される。ビデオ信号復号部１３６（図１６）のパケット解読部４０１は、パケットのヘッダ情報と符号化データを分離し、受信用バッファ制御部４０２は、プレシンクト毎に符号化データを復号部４０３に供給する。復号部４０３（図２２）のエントロピ復号部４８１は、供給された、エントロピ符号化ＥＣ−１により符号化された符号化データに対して、順次、エントロピ符号の復号ｉＥＣ−１を行い、係数データを復元する（図２９Ｆ）。復元された係数データは、逆量子化部４８２において逆量子化された後、順次、係数バッファ部４８３に格納される。ウェーブレット逆変換部４８４は、係数バッファ部４８３にウェーブレット逆変換が行えるだけ係数データが格納されたら、係数バッファ部４８３から係数データを読み出して、読み出された係数データを用いてウェーブレット逆変換ｉＷＴ−１を行う（図２９Ｇ）。
【０３７１】
図６を参照して説明したように、ウェーブレット逆変換部４８４によるウェーブレット逆変換ｉＷＴ−１は、係数Ｃ４および係数Ｃ５が係数バッファ部４８３に格納された時点で開始することができる。したがって、エントロピ復号部４８１による復号ｉＥＣ−１が開始されてからウェーブレット逆変換部４８４によるウェーブレット逆変換ｉＷＴ−１が開始されるまでの遅延は、２ライン分となる。
【０３７２】
ウェーブレット逆変換部４８４において、１回目のウェーブレット変換による３ライン分のウェーブレット逆変換ｉＷＴ−１が終了すると、ウェーブレット逆変換ｉＷＴ−１で生成された画像データの出力Ｏｕｔ−１が行われる（図２９Ｈ）。出力Ｏｕｔ−１では、図６および図７を用いて説明したように、第１ライン目の画像データが出力される。
【０３７３】
ビデオ信号復号部１３６に対して、ビデオ信号符号化部１２０における１回目の処理による３ライン分の符号化された係数データの入力に続けて、エントロピ符号化ＥＣ−ｎ（ｎは２以上）により符号化された係数データが順次、入力される。ビデオ信号復号部１３６では、入力された係数データに対して、上述したようにして、４ライン毎にエントロピ復号ｉＥＣ−ｎおよびウェーブレット逆変換ｉＷＴ−ｎを行い、ウェーブレット逆変換ｉＷＴ−ｎにより復元された画像データの出力Ｏｕｔ−ｎを順次、行う。ビデオ信号符号化部１２０の最後の回に対応するエントロピ復号ｉＥＣおよびウェーブレット逆変換ｉＷＴは、６ラインに対して行われ、出力Ｏｕｔは、８ラインが出力される。これらの処理は、ビデオ信号復号部１３６において、図２９Ｆ乃至図２９Ｈに例示されるように、並列的に行われる。
【０３７４】
上述のようにして、画面上部から下部の方向に順番に、ビデオ信号符号化部１２０およびビデオ信号復号部１３６における各処理を並列的に行うことで、画像圧縮処理および画像復号処理をより低遅延で行うことが可能となる。
【０３７５】
図２９を参照して、５×３フィルタを用いて分解レベル＝２までウェーブレット変換を行った場合の、画像入力から画像出力までの遅延時間を計算してみる。第１ライン目の画像データがビデオ信号符号化部１２０に入力されてから、この第１ライン目の画像データがビデオ信号復号部１３６から出力されるまでの遅延時間は、下記の各要素の総和となる。なお、ここでは、伝送路における遅延や、装置各部の実際の処理タイミングに伴う遅延などの、システムの構成により異なる遅延は、除外している。
【０３７６】
（１）最初のライン入力から７ライン分のウェーブレット変換ＷＴ−１が終了するまでの遅延Ｄ＿ＷＴ
（２）３ライン分の計数並び替えＯｒｄ−１に伴う時間Ｄ＿Ｏｒｄ
（３）３ライン分のエントロピ符号化ＥＣ−１に伴う時間Ｄ＿ＥＣ
（４）３ライン分のエントロピ復号ｉＥＣ−１に伴う時間Ｄ＿ｉＥＣ
（５）３ライン分のウェーブレット逆変換ｉＷＴ−１に伴う時間Ｄ＿ｉＷＴ
【０３７７】
図２９を参照して、上述の各要素による遅延の計算を試みる。（１）の遅延Ｄ＿ＷＴは、１０ライン分の時間である。（２）の時間Ｄ＿Ｏｒｄ、（３）の時間Ｄ＿ＥＣ、（４）の時間Ｄ＿ｉＥＣ、および（５）の時間Ｄ＿ｉＷＴは、それぞれ３ライン分の時間である。また、ビデオ信号符号化部１２０において、並び替えＯｒｄ−１が開始されてから１ライン後には、エントロピ符号化ＥＣ−１を開始することができる。同様に、ビデオ信号復号部１３６において、エントロピ復号ｉＥＣ−１が開始されてから２ライン後には、ウェーブレット逆変換ｉＷＴ−１を開始することができる。また、エントロピ復号ｉＥＣ−１は、エントロピ符号化ＥＣ−１で１ライン分の符号化が終了した時点で処理を開始することができる。
【０３７８】
したがって、この図２９の例では、ビデオ信号符号化部１２０に第１ライン目の画像データが入力されてから、ビデオ信号復号部１３６から当該第１ライン目の画像データが出力されるまでの遅延時間は、１０＋１＋１＋２＋３＝１７ライン分となる。
【０３７９】
遅延時間について、より具体的な例を挙げて考察する。入力される画像データがHDTV(High Definition Television)のインタレースビデオ信号の場合、例えば１９２０画素×１０８０ラインの解像度で１フレームが構成され、１フィールドは、１９２０画素×５４０ラインとなる。したがって、フレーム周波数を３０Hzとした場合、１フィールドの５４０ラインが１６．６７msec（＝１sec／６０フィールド）の時間に、ビデオ信号符号化部１２０に入力されることになる。
【０３８０】
したがって、７ライン分の画像データの入力に伴う遅延時間は、０．２１６msec（＝１６．６７msec×７／５４０ライン）であり、例えば１フィールドの更新時間に対して非常に短い時間となる。また、上述した（１）の遅延Ｄ＿ＷＴ、（２）の時間Ｄ＿Ｏｒｄ、（３）の時間Ｄ＿ＥＣ、（４）の時間Ｄ＿ｉＥＣ、および（５）の時間Ｄ＿ｉＷＴの総和についても、処理対象のライン数が少ないため、遅延時間が非常に短縮される。
【０３８１】
以上においては、受信用バッファ制御部４０２は、バンクオーバ制御処理等によりプレシンクトの損失が発生した場合、予め用意されたダミーデータを用いて補完するように説明したが、これに限らず、例えば、補完処理に、１ピクチャ前の同じ位置のプレシンクトの符号化データを用いるようにしてもよい。
【０３８２】
図３０は、図１６の受信用バッファ制御部の詳細な、他の構成例を示すブロック図である。図３０に示される受信用バッファ制御部５０２は、基本的に図１７を参照して説明した受信用バッファ制御部４０２と同様の構成を有し、同様に動作するが、プレシンクト情報制御部が、入力制御部に供給された符号化データ（ＹデータおよびＣデータ）を取得し、次のピクチャにおいて行われる補完処理に利用するために、取得した符号化データを１ピクチャ分保持する点と、バンクオーバ制御処理等によりプレシンクトの損失が発生した場合に、プレシンクト情報制御部が、その保持している１ピクチャ前の同じ位置のプレシンクトの符号化データを用いて補完処理を行う点が異なる。
【０３８３】
つまり、受信用バッファ制御部５０２は、受信用バッファ制御部４０２のパケットヘッダ解読部４１１に対応し、パケットヘッダ解読部４１１と同様の処理を行うパケットヘッダ解読部５１１、受信用バッファ制御部４０２のＹバッファ４２２に対応し、Ｙバッファ４２２と同様の処理を行うＹバッファ５２２、受信用バッファ制御部４０２のＣバッファ４２３に対応し、Ｃバッファ４２３と同様の処理を行うＣバッファ５２３、および、受信用バッファ制御部４０２の出力制御部４２４に対応し、出力制御部４２４と同様の処理を行う出力制御部５２４の他に、入力制御部５２１およびプレシンクト情報制御部５３１を有する。
【０３８４】
入力制御部５２１は、受信用バッファ制御部４０２の入力制御部４２１に対応し、基本的に入力制御部４２１と同様の処理を行うが、取得した符号化データ（ＹデータおよびＣデータ）をＹバッファ４２２およびＣバッファ４２３に供給して蓄積させるとともに、その符号化データをプレシンクト情報制御部５３１にも供給する点が入力制御部４２１と異なる。
【０３８５】
プレシンクト情報制御部５３１は、受信用バッファ制御部４０２のプレシンクト情報制御部４３１に対応し、基本的にプレシンクト情報制御部４３１と同様の処理を行うが、記憶媒体を内蔵し、その記憶媒体に入力制御部５２１より供給された符号化データを１ピクチャ分蓄積し、プレシンクトの損失が発生した際に、ダミーデータではなく、保持している１ピクチャ前の同じ位置のプレシンクトの符号化データを復号部４０３に供給する点がプレシンクト情報制御部４３１と異なる。
【０３８６】
図３１は、図３０のプレシンクト情報制御部５３１の詳細な構成例を示すブロック図である。
【０３８７】
図３１に示されるように、プレシンクト情報制御部５３１は、受信用バッファ書き込み制御処理部５４１および受信用バッファ読み出し制御処理部５４２を有する。
【０３８８】
受信用バッファ書き込み制御処理部５４１は、書き込み制御部５５１、書き込み指示部５５２、および符号化データ更新部５５３を有する。
【０３８９】
書き込み制御部５５１は、受信用バッファ書き込み制御処理部４４１の書き込み制御部４５１（図１８）に対応し、基本的に書き込み制御部４５１と同様の処理を行うが、書き込み指示部５５２だけでなく、符号化データ更新部５５３が実行する処理も制御する点が書き込み制御部４５１と異なる。書き込み指示部５５２は、受信用バッファ書き込み制御処理部４４１の書き込み指示部４５２（図１８）に対応し、書き込み制御部５５１に制御されて書き込み指示部４５２と同様の処理を行う。
【０３９０】
符号化データ更新部５５３は、書き込み制御部５５１に制御されて、後述する受信用バッファ読み出し制御処理部５４２の１ピクチャ符号化データ保持部５６７に保持されている符号化データの更新を行う。つまり、符号化データ更新部５５３は、入力制御部５２１より供給される１プレシンクト分の符号化データを取得すると、それを１ピクチャ符号化データ保持部５６７に供給し、１ピクチャ符号化データ保持部５６７が保持している符号化データを更新させる。つまり、符号化データ更新部５５３は、入力制御部５２１より供給される新たな１プレシンクト分の符号化データを１ピクチャ符号化データ保持部５６７に供給することにより、１ピクチャ符号化データ保持部５６７が保持している１ピクチャ分の符号化データのうち、同じ位置のプレシンクトの符号化データに、その新たな符号化データを上書きさせる。
【０３９１】
受信用バッファ読み出し制御処理部５４２は、読み出し制御部５６１、プレシンクト番号確認部５６４、パラメータ抽出指示部５６５、読み出し指示部５６６、１ピクチャ符号化データ保持部５６７、および補完処理部５６８を有する。
【０３９２】
読み出し制御部５６１は、受信用バッファ読み出し制御処理部４４２の読み出し制御部４６１（図１８）に対応し、基本的に読み出し制御部４６１と同様の処理を行うが、ダミーデータ保持部４６７の代わりに１ピクチャ符号化データ保持部５６７を制御する点が読み出し制御部４６１と異なる。
【０３９３】
プレシンクト番号確認部５６４は、受信用バッファ読み出し制御処理部４４２のプレシンクト番号確認部４６４（図１８）に対応し、読み出し制御部５６１に制御されてプレシンクト番号確認部４６４と同様の処理を行う。パラメータ抽出指示部５６５は、受信用バッファ読み出し制御処理部４４２のパラメータ抽出指示部４６５（図１８）に対応し、読み出し制御部５６１に制御されてパラメータ抽出指示部４６５と同様の処理を行う。読み出し指示部５６６は、受信用バッファ読み出し制御処理部４４２の読み出し指示部４６６（図１８）に対応し、読み出し制御部５６１に制御されて読み出し指示部４６６と同様の処理を行う。
【０３９４】
１ピクチャ符号化データ保持部５６７は、入力制御部５２１より供給される符号化データを１ピクチャ分保持している。補完処理部５６８は、読み出し制御部５６１に制御され、プレシンクト番号確認部５６４の確認結果に基づいて、プレシンクトの損失が発生した場合には、１ピクチャ符号化データ保持部５６７に保持されている１ピクチャ分の符号化データの中から、同じ位置のプレシンクトの符号化データ、すなわち、損失したプレシンクトの１ピクチャ前の同じ位置のプレシンクトの符号化データを取得し、その符号化データを用いて補完処理を行う。
【０３９５】
図１９の例の場合、図１８の補完処理部４６８は、図２０に示されるように、損失したプレシンクトＢの符号化データの代わりに、予め用意されたダミーデータ（ダミーＢ）を復号部４０３に供給したが、図３１の補完処理部５６８は、図３２に示されるように、損失したプレシンクトＢの符号化データの代わりに、１ピクチャ前のプレシンクトＢの符号化データ（１ピクチャ前のＢ）を復号部４０３に供給する。
【０３９６】
通常の動画像の場合、隣り合うピクチャ間での画像の相関性は高い。つまり、同じ位置のラインの画像は、隣り合うピクチャ間での相関性が高い。従って、補完処理部５６８は、１つ前のピクチャの同じ位置のプレシンクトの符号化データを用いて補完することにより、出力画像において、欠損した画像によく似た画像を補完することができる。つまり、補完処理部５６８は、予め用意された所定の画像のダミーデータを補完処理に用いる場合よりも、補完処理による画質劣化を低減させることができる（画質劣化を視覚的に目立たなくさせることができる）。
【０３９７】
ただし、この場合、１ピクチャ分の符号化データを補完処理のために蓄積しなければならないので、１ピクチャ符号化データ保持部５６７に必要な記憶容量は、少なくとも１プレシンクト分の符号化データを保持すればよいダミーデータ保持部４６７と比較して、増大する。ただし、ベースバンドの画像データではなく符号化データを蓄積すればよいので、その増大するデータ量は実施不可能なほどではない（十分に実現可能である）。
【０３９８】
図３３のフローチャートを参照して、この場合の受信用バッファ書き込み制御処理の流れの例を説明する。なお、この受信用バッファ書き込み制御処理は、図２６のフローチャートを参照して説明した受信用バッファ書き込み制御処理に対応する。
【０３９９】
つまり、受信用バッファ書き込み制御処理部５４１の書き込み制御部５５１および書き込み指示部５５２は、図２６のステップＳ７１乃至ステップＳ７３の場合と同様に、ステップＳ１７１乃至ステップＳ１７３の処理を実行し、供給されたＹデータをＹバッファ５２２に蓄積し、ＣデータをＣバッファ５２３に蓄積する。符号化データがバッファに蓄積されると、処理は、ステップＳ１７４に進む。
【０４００】
符号化データ更新部５５３は、ステップＳ１７４において、１ピクチャ符号化データ保持部５６７に保持されている１ピクチャ前の、バッファに新たに蓄積した符号化データのプレシンクトと同じ位置のプレシンクトの符号化データを削除し、ステップＳ１７５において、ステップＳ１７２およびステップＳ１７３の処理によりバッファに蓄積した符号化データ（ＹデータおよびＣデータ）を、１ピクチャ符号化データ保持部５６７に供給し、プレシンクト別に蓄積させる。
【０４０１】
書き込み制御部５５１は、ステップＳ１７６において、図２６のステップＳ７４の場合と同様に未処理のプレシンクトが存在するか否かを判定する。未処理のプレシンクトが存在すると判定された場合、処理はステップＳ１７１に戻り、それ以降の処理が繰り返され、未処理のプレシンクトが存在しないと判定された場合、受信用バッファ書き込み制御処理が終了される。
【０４０２】
次に、図３４のフローチャートを参照して、この場合の受信用バッファ読み出し制御処理の流れの例を説明する。なお、この受信用バッファ読み出し制御処理は、図２７のフローチャートを参照して説明した受信用バッファ読み出し制御処理に対応する。
【０４０３】
つまり、受信用バッファ読み出し制御処理部５４２の読み出し制御部５６１、プレシンクト番号確認部５６４、パラメータ抽出指示部５６５、および読み出し指示部５６６の各部は、図２７のステップＳ９１乃至ステップＳ９６の場合と同様に、ステップＳ１９１乃至ステップＳ１９６の処理を実行し、処理対象プレシンクトのプレシンクト番号が連続している場合は、Ｙバッファ５２２およびＣバッファ５２３に蓄積されている符号化データをプレシンクト毎に読み出して復号部４０３に供給する。ステップＳ１９６の処理が終了すると処理はステップＳ１９８に進む。
【０４０４】
また、ステップＳ１９３において、プレシンクト番号が連続しない、つまり、プレシンクトの欠損が発生したと判定された場合、処理はステップＳ１９７に進む。ステップＳ１９７において、補完処理部５６８は、１ピクチャ前の符号化データを復号部４０３に供給することにより、欠損した符号化データを補完する。ステップＳ１９７の処理が終了すると、処理はステップＳ１９８に進む。
【０４０５】
ステップＳ１９８において、読み出し制御部５６１は、図２６のステップＳ９８の場合と同様に、未処理のプレシンクトが存在するか否かを判定する。未処理のプレシンクトが存在すると判定された場合、処理はステップＳ１９１に戻り、それ以降の処理が繰り返される。また、未処理のプレシンクトが存在しないと判定された場合、受信用バッファ読み出し制御処理が終了される。
【０４０６】
なお、以上においては、図１に示されるようなデジタルトライアックスシステムにおいて、バンクオーバ制御処理や補完処理を行うように説明したが、これらの処理は、他のシステムにも適用可能であり、画像データを伝送するシステムであればどのようなシステムに適用してもよい。また、そのシステムの用途は任意である。
【０４０７】
ただし、このバンクオーバ制御処理や補完処理は、コンテンツのデータ伝送において、容易に、不要な遅延時間の増大を抑制するとともに、コンテンツとしての品質の不要な低下も抑制するためのものであるので、データ伝送において、即時性（リアルタイム性）が求められるシステム、すなわち、送信側から受信側へのデータ伝送をより低遅延で行うことが求められるシステムに適用する場合の方が、より効果的である。
【０４０８】
また、送信側において符号化処理を行い、符号化データを伝送し、受信側において復号処理を行うシステムのように、元々、符号化処理や復号処理によって画質劣化が生じており、さらなる画質劣化に対する許容度が狭いシステムに適用する場合の方が、より効果的である。
【０４０９】
さらに、その符号化処理や復号処理の方法は任意であるが、バンクオーバ制御処理や補完処理はプレシンクト単位での処理が可能であるので、上述したようなプレシンクト単位で符号化処理や復号処理を行うシステムに適用する場合の方が、処理単位の変更などによる無駄が少なく効率的である。
【０４１０】
なお、システムの構成は任意であり、例えば、上述したデジタルトライアックスシステムのように、双方向に符号化データが伝送されるシステムであってもよいし、一方の装置から他方の装置に対してのみ符号化データが伝送されるシステムであってもよいし、１つの送信装置から複数の受信装置に対して符号化データが伝送されるシステムであってもよいし、複数の装置間で任意の相手と双方向に符号化データが伝送可能なシステムであってもよい。
【０４１１】
なお、図１のデジタルトライアックスシステム１００において、ビデオ信号復号部１３６として従来のビデオ信号復号部を適用するようにしてもよい。すなわち、補完処理を行わないようにしてもよい。その場合、ビデオ信号符号化部１２０において、バンクオーバ制御処理が行われるので、ビデオ信号復号部１３６において発生するアンダーフローの長期化を抑制し、不要な画質劣化を抑制することができる。ただし、欠損したプレシンクトが補完されないので、出力画像において、そのプレシンクトに対応するラインに黒い水平線が生じる恐れがあり、画質劣化が目立つ恐れもある。
【０４１２】
また、逆に、ビデオ信号符号化部１２０として従来のビデオ信号符号化部を適用し、バンクオーバ制御処理を行わずに補完処理のみを行うようにしてもよい。この場合、ビデオ信号復号部１３６は、例えば、伝送時のパケットロス等、任意の理由で欠損した符号化データを補完することができるものの、ビデオ信号復号部１３６においてアンダーフローが発生する可能性がある場合、そのアンダーフローが長期化し、画質劣化が増大する恐れがある。
【０４１３】
以上においては、送信用バッファ書き込み制御処理部２７１の出力禁止部２８５が、バンクオーバ制御処理として、プレシンクト毎に符号化データの出力の禁止を設定するように説明したが、出力禁止部２８５は、出力禁止を設定する代わりに、バッファより符号化データをプレシンクト毎に破棄するようにしてもよい。なお、以上において出力禁止部２８５は、バンクオーバ制御処理として符号化データを出力禁止に設定するように説明したが、この出力禁止の設定は、符号化データのパケット生成部２０３への出力、すなわち符号化データの伝送を禁止するものであり、出力禁止に設定された符号化データの消去は可能である。また、他の新たな符号化データを上書きすることも可能である。
【０４１４】
また、図１８において、ダミーデータ保持部４６７がダミーデータを保持し、補完処理の際にそのダミーデータを補完処理部４６８に提供するように説明したが、ダミーデータ保持部４６７が互いに画像が異なるダミーデータを複数保持するようにし、補完処理部４６８が、補完処理の際に、それらのダミーデータの中から１つを選択して使用するようにしてもよい。このダミーデータの選択方法は任意であるが、例えば、補完処理部４６８が、１つ前に処理したプレシンクトの符号化データの画像を確認し、その画像に最も近い画像のダミーデータを選択するようにしてもよい。
【０４１５】
さらに、図３１においては、１つ前の同じ位置のプレシンクトの符号化データを用いて補完処理が行われるように説明したが、これ以外にも、例えば、同じピクチャの１つ上、または近隣に位置するプレシンクトの符号化データを用いるようにしてもよいし、同じピクチャの１つ上、または近隣に位置するプレシンクトの符号化データに基づいて作成された新たな符号化データを用いるようにしてもよい。例えば、補完処理部５６８が、処理対象のプレシンクトの１つ上のプレシンクトと２つ上のプレシンクトの符号化データを用いて、２つ上のプレシンクトの符号化データとの平均が１つ上のプレシンクトの符号化データとなるような符号化データを算出し、その符号化データを用いて補完処理を行うようにしてもよい。このように同じピクチャの符号化データを利用することにより、保持する符号化データのデータ量を低減することができ、バッファメモリの記憶容量を低減させることができる。
【０４１６】
また、補完処理部が実際にダミーデータや符号化データを出力する代わりに、その場合と等価の、復号部４０３を制御する制御情報を出力するようにしてもよい。例えば、補完処理部が、補完処理の際に、符号化データを生成するように指示する制御情報を復号部４０３に対して供給し、その復号部４０３等において、欠損した符号化データの代わりとなる符号化データを生成するようにしてもよい。もちろん、これ以外の制御情報であってもよい。
【０４１７】
なお、以上においては、バンクオーバ制御処理を実行するための条件として、プレシンクト数やデータ量（送出時間）を用いる場合について説明したが、このバンクオーバ制御処理を実行するための条件は、これら以外のものであってもよい。例えば、プレシンクト数やデータ量（送出時間）と同様の、バッファにおけるデータの蓄積状況に関するパラメータであってもよいし、それ以外のものを用いてもよい。つまり、受信側のバッファにおけるアンダーフローの発生を抑制したり、発生したアンダーフローを短期に解消させたりするようにバンクオーバ制御処理を実行することができるような条件であれば何でもよい。ただし、上述したように、プレシンクト数に基づくバンクオーバ制御処理の場合とデータ量（送出時間）に基づくバンクオーバ制御処理の場合とで得られる効果の特徴が異なるように、それら以外の条件の場合も、その内容によってバンクオーバ制御処理により得られる効果の特徴が異なる。
【０４１８】
上述した一連の処理は、ハードウェアにより実行させることもできるし、ソフトウエアにより実行させることもできる。この場合、例えば、図３５に示されるようなパーソナルコンピュータとして構成されるようにしてもよい。
【０４１９】
図３５において、パーソナルコンピュータ７００のCPU（Central Processing Unit）７０１は、ROM（Read Only Memory）７０２に記憶されているプログラム、または記憶部７１３からRAM（Random Access Memory）７０３にロードされたプログラムに従って各種の処理を実行する。RAM７０３にはまた、CPU７０１が各種の処理を実行する上において必要なデータなども適宜記憶される。
【０４２０】
CPU７０１、ROM７０２、およびRAM７０３は、バス７０４を介して相互に接続されている。このバス７０４にはまた、入出力インタフェース７１０も接続されている。
【０４２１】
入出力インタフェース７１０には、キーボード、マウスなどよりなる入力部７１１、CRT（Cathode Ray Tube）、LCD（Liquid Crystal Display）などよりなるディスプレイ、並びにスピーカなどよりなる出力部７１２、ハードディスクなどより構成される記憶部７１３、モデムなどより構成される通信部７１４が接続されている。通信部７１４は、例えばインターネットに代表されるネットワークを介しての通信処理を行う。
【０４２２】
入出力インタフェース７１０にはまた、必要に応じてドライブ７１５が接続され、磁気ディスク、光ディスク、光磁気ディスク、或いは半導体メモリなどのリムーバブルメディア７２１が適宜装着され、それらから読み出されたコンピュータプログラムが、必要に応じて記憶部７１３にインストールされる。
【０４２３】
上述した一連の処理をソフトウエアにより実行させる場合には、そのソフトウエアを構成するプログラムが、ネットワークや記録媒体からインストールされる。
【０４２４】
この記録媒体は、例えば、図３５に示されるように、装置本体とは別に、ユーザにプログラムを配信するために配布される、プログラムが記録されている磁気ディスク（フレキシブルディスクを含む）、光ディスク（CD-ROM(Compact Disk-Read Only Memory),DVD(Digital Versatile Disk)を含む）、光磁気ディスク（ＭＤ（Mini-Disk）（登録商標）を含む）、もしくは半導体メモリなどよりなるリムーバブルメディア７２１により構成されるだけでなく、装置本体に予め組み込まれた状態でユーザに配信される、プログラムが記録されているROM７０２や、記憶部７１３に含まれるハードディスクなどで構成される。
【０４２５】
なお、本明細書において、記録媒体に記録されるプログラムを記述するステップは、記載された順序に沿って時系列的に行われる処理はもちろん、必ずしも時系列的に処理されなくとも、並列的あるいは個別に実行される処理をも含むものである。
【０４２６】
また、本明細書において、システムとは、複数のデバイス（装置）により構成される装置全体を表すものである。
【０４２７】
なお、以上において、１つの装置として説明した構成を分割し、複数の装置として構成するようにしてもよい。逆に、以上において複数の装置として説明した構成をまとめて１つの装置として構成されるようにしてもよい。また、各装置の構成に上述した以外の構成を付加するようにしてももちろんよい。さらに、システム全体としての構成や動作が実質的に同じであれば、ある装置の構成の一部を他の装置の構成に含めるようにしてもよい。
【産業上の利用可能性】
【０４２８】
以上説明した本発明は、複数の端末間で画像を圧縮して伝送、受信して伸長して画像を出力する装置、特に低遅延で実現する必要性が高いプロダクツ・アプリケーションに好適である。具体的には、放送局で多用するデジタルトライアックスシステム、ライブ映像配信システム、TV会議システム、監視カメラ・レコーダシステム、医用遠隔医療診断、生徒と教師間のインタラクティブ通信、ビデオゲーム等に応用が可能である。
【図面の簡単な説明】
【０４２９】
【図１】本発明を適用したデジタルトライアックスシステムの構成例を示すブロック図である。
【図２】図１のビデオ信号符号化部の詳細な構成例を示すブロック図である。
【図３】図２の符号化部の詳細な構成例を示すブロック図である。
【図４】ウェーブレット変換について概略的に説明するための略線図である。
【図５】ウェーブレット変換について概略的に説明するための略線図である。
【図６】５×３フィルタのリフティングによるフィルタリングを分解レベル＝２まで実行した例を示す略線図である。
【図７】この発明によるウェーブレット変換およびウェーブレット逆変換の流れを概略的に示す略線図である。
【図８】図２の符号化部の符号化データの出力順を説明する図である。
【図９】プレシンクト毎の発生符号量の変化を説明する図である。
【図１０】図２の送信用バッファ制御部の詳細な構成例を示すブロック図である。
【図１１】図１０のプレシンクト情報制御部の詳細な構成例を示すブロック図である。
【図１２】バッファに読み出し可能に蓄積される符号化データのデータ量の時間的変化の例を示す模式図である。
【図１３】バッファに読み出し可能に蓄積される符号化データのデータ量の時間的変化の、他の例を示す模式図である。
【図１４】ヘッダ情報の構成例を示す模式図である。
【図１５】符号化データの授受の様子の例を説明する模式図である。
【図１６】図１のビデオ信号復号部の詳細な構成例を示すブロック図である。
【図１７】図１６の受信用バッファ制御部の詳細な構成例を示す図である。
【図１８】図１７のプレシンクト情報制御部の詳細な構成例を示す図である。
【図１９】バッファに読み出し可能に蓄積される符号化データのデータ量の時間的変化の例を示す模式図である。
【図２０】図１６の受信用バッファ制御部の符号化データの出力順の例を説明する図である。
【図２１】バッファに読み出し可能に蓄積される符号化データのデータ量の時間的変化の、他の例を示す模式図である。
【図２２】図１６の復号部の詳細な構成例を示すブロック図である。
【図２３】符号化処理の流れの例を説明するフローチャートである。
【図２４】送信用バッファ書き込み制御処理の流れの例を説明するフローチャートである。
【図２５】送信用バッファ読み出し制御処理の流れの例を説明するフローチャートである。
【図２６】受信用バッファ書き込み制御処理の流れの例を説明するフローチャートである。
【図２７】受信用バッファ読み出し制御処理の流れの例を説明するフローチャートである。
【図２８】復号処理の流れの例を説明するフローチャートである。
【図２９】並列動作の例を概略的に示す略線図である。
【図３０】図１６の受信用バッファ制御部の、他の詳細な構成例を示す図である。
【図３１】図３０のプレシンクト情報制御部の詳細な構成例を示す図である。
【図３２】図３０の受信用バッファ制御部の符号化データの出力順の例を説明する図である。
【図３３】受信用バッファ書き込み制御処理の流れの例を説明するフローチャートである。
【図３４】受信用バッファ読み出し制御処理の流れの例を説明するフローチャートである。
【図３５】本発明を適用したパーソナルコンピュータの構成例を示す図である。
【符号の説明】
【０４３０】
１００ デジタルトライアックスシステム， １１０ 送信ユニット， １１１ トライアックスケーブル， １１２ カメラ制御部， １２０ ビデオ信号符号化部， １２１ ビデオ信号復号部， １３６ ビデオ信号復号部， １３７ ビデオ信号符号化部， ２０１ 符号化部， ２０２ 送信用バッファ制御部， ２５３ Ｙバッファ， ２５４ Ｃバッファ， ２６１ プレシンクト情報制御部， ２８３ 送出時間確認部， ２８４ プレシンクト数判定部， ２８５ 出力禁止部， ４０２ 受信用バッファ制御部， ４０３ 復号部， ４３１ プレシンクト情報制御部， ４６４ プレシンクト番号確認部， ４６７ ダミーデータ保持部， ４６８ 補完処理部， ５０２ 受信用バッファ制御部， ５３１ プレシンクト情報制御部， ５５３ 符号化データ更新部， ５６４ プレシンクト番号確認部， ５６７ １ピクチャ符号化データ保持部， ５６８ 補完処理部

【特許請求の範囲】
【請求項１】
蓄積部に蓄積されているデータを、所定のデータ単位毎に、所定の順序で、所定のビットレートで読み出す読み出し手段と、
前記蓄積部における前記データの蓄積状況に関するパラメータが、所定の条件を満たすか否かを判定する判定手段と、
前記判定手段により前記パラメータが前記所定の条件を満たすと判定された場合、前記所定の順序において、現在前記読み出し手段により読み出されている前記データ単位のデータの次に読み出される予定の前記データ単位のデータの読み出しを禁止する禁止手段と
を備え、
前記読み出し手段は、前記禁止手段により読み出しが禁止された前記データ単位のデータの読み出しを省略し、前記所定の順序において、さらに次に読み出しが予定されている、前記禁止手段により読み出しが禁止されていない前記データ単位のデータの読み出しを行う
情報処理装置。
【請求項２】
前記パラメータは、前記蓄積部に蓄積されているデータの、前記データ単位の数であり、
前記判定手段は、前記データ単位の数が所定の閾値以上であるか否かを判定する
請求項１に記載の情報処理装置。
【請求項３】
前記パラメータは、前記読み出し手段が前記蓄積部に蓄積されているデータを全て読み出すのに必要な時間であり、
前記判定手段は、前記時間を算出し、前記読み出し手段が、所定の時間内に、前記蓄積部に蓄積されているデータを全て読み出すことができるか否かを判定する
請求項１に記載の情報処理装置。
【請求項４】
前記禁止手段は、前記判定手段により前記パラメータが前記所定の条件を満たすと判定された場合、前記データ単位のデータの読み出しを、前記所定の順序において、現在前記読み出し手段により読み出されている前記データ単位のデータの、次に読み出される予定の前記データ単位のデータから連続して、前記判定手段により前記パラメータが前記所定の条件を満たさないと判定されるのに必要な数以上禁止する
請求項１に記載の情報処理装置。
【請求項５】
前記禁止手段は、前記判定手段により前記パラメータが前記所定の条件を満たすと判定された場合、前記所定の順序において、現在前記読み出し手段により読み出されている前記データ単位のデータの、次に読み出される予定の前記データ単位のデータを削除することにより、前記データの読み出しを禁止する
請求項１に記載の情報処理装置。
【請求項６】
前記データは画像データを所定の方法で符号化して得られる符号化データであり、前記データ単位は、前記画像データの符号化における処理単位である
請求項１に記載の情報処理装置。
【請求項７】
画像データを符号化する符号化手段と、
前記符号化手段により前記画像データが符号化されて得られた符号化データを、前記データ単位毎に前記蓄積部に書き込んで蓄積させる書き込み手段と
をさらに備える請求項１に記載の情報処理装置。
【請求項８】
前記読み出し手段により読み出された前記データをパケット化するパケット化手段をさらに備える
請求項１に記載の情報処理装置。
【請求項９】
前記パケット化手段によりパケット化された前記データを他の情報処理装置に送信する送信手段をさらに備える
請求項１に記載の情報処理装置。
【請求項１０】
蓄積部に蓄積されているデータの入出力を制御する情報処理装置の情報処理方法であって、
前記蓄積部における前記データの蓄積状況に関するパラメータが、所定の条件を満たすか否かを判定し、
前記パラメータが前記所定の条件を満たすと判定された場合、現在読み出されている所定のデータ単位のデータの次に読み出される予定の前記データ単位のデータの読み出しを禁止し、
読み出しが禁止された前記データ単位のデータの読み出しを省略し、読み出しが禁止されていない前記データ単位のデータのみを、前記データ単位毎に、所定の順序で、所定のビットレートで前記蓄積部より読み出す
ステップを含む情報処理方法。
【請求項１１】
蓄積部に蓄積されているデータの欠損を所定のデータ単位毎に確認する確認手段と、
前記確認手段により、前記蓄積部に蓄積されているデータの欠損が確認されていない場合、前記蓄積部に蓄積されているデータを、前記データ単位毎に、所定の順序で読み出す読み出し手段と、
前記確認手段により、前記蓄積部に蓄積されているデータの欠損が確認された場合、欠損したデータを読み出す代わりに、代替用のデータを出力して補完する補完手段と
を備える情報処理装置。
【請求項１２】
予め定められた所定のデータを、前記代替用のデータとして保持する保持手段をさらに備え、
前記補完手段は、前記確認手段により前記蓄積部に蓄積されているデータの欠損が確認された場合、欠損したデータを読み出す代わりに、前記保持手段より前記データを読み出して出力する
請求項１１に記載の情報処理装置。
【請求項１３】
前記蓄積部に蓄積されるデータと同一のデータを保持する保持手段をさらに備え、
前記補完手段は、前記確認手段により前記蓄積部に蓄積されているデータの欠損が確認された場合、過去に前記読み出し手段によって前記蓄積部より読み出されたデータと同一のデータを前記保持手段より読み出して出力する
請求項１１に記載の情報処理装置。
【請求項１４】
他の装置より伝送された、前記データを含むパケットを解読し、前記データを抽出するパケット解読手段と、
前記パケット解読手段により抽出された前記データを前記蓄積部に書き込んで蓄積させる書き込み手段と
をさらに備える請求項１１に記載の情報処理装置。
【請求項１５】
前記データは符号化データであり、
前記読み出し手段により前記蓄積部より読み出された符号化データ、および、前記補完手段により補完された符号化データを復号する復号手段をさらに備える
請求項１１に記載の情報処理装置。
【請求項１６】
蓄積部に蓄積されているデータの入出力を制御する情報処理装置の情報処理方法であって、
前記蓄積部に蓄積されているデータの欠損を所定のデータ単位毎に確認し、
前記蓄積部に蓄積されているデータの欠損が確認されていない場合、前記蓄積部に蓄積されているデータを、前記データ単位毎に、所定の順序で読み出し、
前記蓄積部に蓄積されているデータの欠損が確認された場合、欠損したデータを読み出す代わりに、代替用のデータを出力して補完する
ステップを含む情報処理方法。
【請求項１７】
送信装置より受信装置にデータを伝送する情報処理システムであって、
前記送信装置は、
送信用蓄積部における前記データの蓄積状況に関するパラメータが、所定の条件を満たすか否かを判定する判定手段と、
前記判定手段により、前記パラメータが前記所定の条件を満たすと判定された場合、現在読み出されている所定のデータ単位のデータの次に読み出される予定の前記データ単位のデータの読み出しを禁止する禁止手段と、
前記禁止手段により読み出しが禁止された前記データ単位のデータの読み出しを省略し、読み出しが禁止されていない前記データ単位のデータのみを、前記データ単位毎に、所定の順序で、所定のビットレートで前記送信用蓄積部より読み出す第１の読み出し手段と、
前記第１の読み出し手段により読み出された前記データを前記受信装置に送信する送信手段と
を備え、
前記受信装置は、
前記送信装置より供給される前記データを受信する受信手段と、
前記受信手段により受信された前記データを受信用蓄積部に書き込み蓄積させる書き込み手段と、
前記書き込み手段により書き込まれ、前記受信用蓄積部に蓄積されているデータの欠損を所定のデータ単位毎に確認する確認手段と、
前記確認手段により、前記受信用蓄積部に蓄積されているデータの欠損が確認されていない場合、前記受信用蓄積部に蓄積されているデータを、前記データ単位毎に、所定の順序で読み出す第２の読み出し手段と、
前記確認手段により、前記受信用蓄積部に蓄積されているデータの欠損が確認された場合、欠損したデータを読み出す代わりに、代替用のデータを出力して補完する補完手段と
を備える情報処理システム。

【図１】

【図２】

【図３】

【図４】

【図５】

【図６】

【図７】

【図８】

【図９】

【図１０】

【図１１】

【図１２】

【図１３】

【図１４】

【図１５】

【図１６】

【図１７】

【図１８】

【図１９】

【図２０】

【図２１】

【図２２】

【図２３】

【図２４】

【図２５】

【図２６】

【図２７】

【図２８】

【図２９】

【図３０】

【図３１】

【図３２】

【図３３】

【図３４】

【図３５】

【公開番号】特開２００８−２８８８３３（Ｐ２００８−２８８８３３Ａ）
【公開日】平成２０年１１月２７日（２００８．１１．２７）
【国際特許分類】
【出願番号】特願２００７−１３１２８４（Ｐ２００７−１３１２８４）
【出願日】平成１９年５月１７日（２００７．５．１７）
【出願人】（０００００２１８５）ソニー株式会社 (34,172)
【Ｆターム（参考）】