データ受信処理装置およびデータ受信処理方法
【課題】受信側における欠落したパケットの復元処理に起因するジッタの影響を受けないデータ受信処理装置を提供する。
【解決手段】アダプティブクロック方式で管理されるＴＴＳ（タイムスタンプ付きトランスポート・ストリーム）バッファ１０５の他に、ＲＴＰバッファ１０２を設ける。ＩＰ処理部１０１からＲＴＰバッファ１０２に入力されたパケットは即座にＴＴＳバッファ１０５に記憶する。ＲＴＰバッファ１０２には欠落したパケットの復元に使用するパケットを保存する。復元部１０３とＮｕｌｌパケット処理１０４は、欠落したパケットを検出したとき、一時的にＴＴＳバッファ１０５内の欠落したパケット部分に代替データを記憶する。復元部１０３とパケット置換部１０６は、欠落したパケットが復元可能なときには復元したパケットを、代替データに置換する。
【解決手段】アダプティブクロック方式で管理されるＴＴＳ（タイムスタンプ付きトランスポート・ストリーム）バッファ１０５の他に、ＲＴＰバッファ１０２を設ける。ＩＰ処理部１０１からＲＴＰバッファ１０２に入力されたパケットは即座にＴＴＳバッファ１０５に記憶する。ＲＴＰバッファ１０２には欠落したパケットの復元に使用するパケットを保存する。復元部１０３とＮｕｌｌパケット処理１０４は、欠落したパケットを検出したとき、一時的にＴＴＳバッファ１０５内の欠落したパケット部分に代替データを記憶する。復元部１０３とパケット置換部１０６は、欠落したパケットが復元可能なときには復元したパケットを、代替データに置換する。
【発明の詳細な説明】
【技術分野】
【０００１】
本発明は、通信網を介して受信したデータについて受信処理を行うデータ受信処理装置と方法に関する。
本発明は特に、通信網を介して受信したパケットに欠落があった場合に欠落したパケットを復元する時に起こる「バッファリング・ジッタ」を改善するデータ受信方法とデータ受信装置に関する。
【背景技術】
【０００２】
通信網（ネットワーク）を用いてプッシュ型の通信を行うとき、受信側のバッファに受信データが収容しきれないというオーバーフロー、または、バッファにおける受信データの蓄積量が極端に低下するというアンダーフローが起こることがある。
本明細書において、これらをバッファの破綻と言う。
【０００３】
バッファの破綻を防止する対策の１つとして、通常、バッファへのデータを書き込むための書き込みクロックと、バッファからデータを読みだすための読み出しクロックとを同期させる。
書き込みクロックは、通信網の送信側のデータ送信クロックに対応しており、読み出しクロックは受信側における再生クロックに対応している。したがって、送信側のデータ送信クロックと受信側の再生クロックとの同期をとればよい。
【０００４】
しかしながら、通信網、または、通信経路におけるデータの遅延の揺らぎ（ジッタ）が存在し、送信側のクロックと、受信側のクロックとが同期しているという、網同期が確立しているという保証は、通常、得られない。
そのようなジッタとしては、ネットワークの負荷スパイクに起因する高周波ジッタと、連続的に変動する揺らぎが知られている。
【０００５】
そのため、非同期方式の通信網、たとえば、ＡＴＭ（Asynchronous Transfer Mode、非同期転送モード) 網などにおいては、受信側においてバッファの滞留量（データ蓄積量）を常時監視しておき、バッファの滞留量が一定になるように、再生クロックの制御を行っている。これを「アダプティブ（適応型）クロック再生法」と呼ぶ。
【０００６】
「アダプティブクロック再生法」の概念は、非特許文献１（ＩＴＵ（国際電気通信連合）−Ｔ勧告１．３６３．１）に定義されている。
また、通信網、または、通信経路におけるデータの遅延の揺らぎ（ジッタ）を考慮した、アダプティブクロック方式を適用した装置も提案されている（たとえば、特許文献１、２）。
【０００７】
ここで、「アダプティブクロック再生法」のＩＰ（Internet Protocol)網におけるリアルタイム・ストリーミング（実時間データ伝送）などに適用することを想定した例を示す。
図１はその場合の受信機２００の構成を示す。受信機２００は、通信網２３０からＩＰデータを受信して信号処理を行う受信処理部２１０と、映像データ、音声データなどに再生を行う再生処理部２２０とを有する。
【０００８】
アダプティブクロック方式に基づいて、受信処理部２１０におけるＴＴＳ処理部２１５において、タイムスタンプ（TimeStamp）処理の対象となる、タイムスタンプ付きトランスポート・ストリーム（ＴＴＳ）バッファのデータの滞留量（データの蓄積量）を監視する。
【発明の開示】
【発明が解決しようとする課題】
【０００９】
パケットが通信網２３０を通過した際、パケットの欠落が生じることがあり、ＴＴＳ処理部２１５の前段における、ＲＴＰパケット処理およびＦＥＣ処理部２１３において、欠落したパケットの復元処理を行う。ＲＴＰはReal Time Transport Protocolの略であり、ＦＥＣはForward Error Correctionの略である。
ＲＴＰパケット処理およびＦＥＣ処理部２１３において、通信網２３０において欠落したパケットの欠落処理または復元処理を行う場合に、復元処理に伴うバッファ処理（バッファリング）によって監視対象のバッファリングの滞留量に影響が生ずる。
【００１０】
その理由を説明する。
たとえば、図２に例示したパケット配置において、”０１“のパケットが欠落したと仮定すると、その復元のためには、欠落した”０１“のパケットと連続する、少なくとも、”９１“のパケットと、”Ｃ１“のパケットの到来を待って、”９１“のパケットと、”Ｃ１“のパケットとを用いて復元する。
このように、”９１“のパケットと、”Ｃ１“のパケットの到来を待って、欠落したパケットの復元処理（訂正処理）を行うので、ＴＴＳ処理部２１５のバッファ処理に遅延が起こる。
【００１１】
その結果、通信経路におけるデータの遅延の揺らぎ（ジッタ）を考慮した「アダプティブクロック方式」を適用したとしても、受信処理部における欠落したパケットの復元処理などにおいて受信したパケットをバッファリングしてしまうことにより、「アダプティブクロック方式」の精度に影響を与える。
【００１２】
また、ＴＴＳバッファにおける受信データのオーバーフローまたはアンダーフローを回避するため、しばしば、ＴＴＳバッファへのデータの蓄積量を上限と下限をしきい値として設定することが行われている。
しかしながら、ＴＴＳバッファ処理部２１５の前段のＲＴＰパケット処理およびＦＥＣ処理部２１３のバッファリングの影響が、監視対象のバッファへのデータの入力において、ジッタのような振る舞いとなる。
【００１３】
そのようなジッタを吸収するため、ＴＴＳバッファのしきい値（余裕）を大きくする必要がある。そうすると、バッファの規模が大きくなるという不利益に遭遇する。
ＴＴＳバッファは、通常、ＦＩＦＯバッファとして構成されている。
【００１４】
上述した問題は、監視するＴＴＳバッファを限定したために生ずる問題である。
ある程度、ブロックをまとめたシステムを想定し、そのシステムの内部に滞留されているデータを観察することにより、そのシステムの内部のジッタを包含し、その影響を無視するという考えも成り立つ。
【００１５】
その具体的な方法としては、図１におけるＲＴＰ処理と、ＴＴＳ処理のデータの滞留量を合計して考えることにより、そのシステムの内部のデータ移動や、ジッタなどを無視することができる。
ただし、この場合、システム内に欠落したパケットの復元処理部を含めているため、欠落したパケットの復元により、システムへのデータの入力と、システムからのデータの出力の量が一致しないことなどを考慮する必要がある。
【００１６】
また、上記システムとして、データの入出力がオーバーフローまたはアンダーフローしないというバッファの破綻状態が起きないことは勿論、システム内部の各バッファでも破綻状態が起きないように制御する必要がある。
その結果、上記ブロックをまとめたシステムとして対策を講ずる手法は、バッファの制御が非常に複雑になるという問題に遭遇する。
【００１７】
以上から、上述した課題を克服する、データ受信処理装置とデータ受信処理方法を提供することが望まれている。
【００１８】
【非特許文献１】ＩＴＵ−Ｔ勧告１．３６３．１
【特許文献１】特開2006-42273号公報
【特許文献２】特開2006-49941号公報
【課題を解決するための手段】
【００１９】
本発明によれば、パケット化されたコンテンツ情報に各パケットの出力順序を示す連続性を示す情報が付加されたストリームを入力する入力手段と、該入力手段で入力した前記連続性を示す情報が付加されたストリームを保存する第１のバッファ手段と、該第１のバッファ手段から出力されたストリームを蓄積する第２のバッファ手段と、少なくとも、前記第１のバッファ手段に入力されるストリーム内の連続性の有無に基づいてパケットに欠落が生じたことを検出し、前記第２のバッファ手段に記憶されている検出した欠落したパケットデータ部分に代替パケットを挿入し、欠落したパケットが復元処理可能な場合、復元したパケットを前記第２のバッファ手段に保存された代替パケットを置き換える、復元処理手段と、前記第２のバッファ手段に蓄積されたパケットデータを出力する出力制御手段とを備えたデータ受信処理装置が提供される。
【００２０】
好ましくは、前記第１のバッファ手段は、前記入力手段から入力されたストリームおよび前記復元処理に必要なパケットのみを保存する。
また好ましくは、前記復元処理手段は、前記第１のバッファ手段に保存されるストリーム内のパケットの番号の順序が乱れていることを検出した場合に、前記第２のバッファ手段に保存されたパケットの順序を正しく修正する。
【００２１】
また本発明によれば、第１のバッファ手段と、第２のバッファ手段とを有する受信装置におけるデータ受信処理を行うため、入力されるパケット化されたコンテンツ情報に各パケットの出力順序を示す連続性を示す情報が付加されたストリームを入力する工程と、該入力手段で入力した前記連続性を示す情報が付加されたストリームを前記第１のバッファ手段に保存する第１のバッファ処理工程と、該第１のバッファ手段から前記ストリームを読みだして前記第２のバッファ手段に蓄積する第２のバッファ処理工程と、少なくとも、前記第１のバッファ手段に入力されるストリーム内の連続性の有無に基づいてパケットに欠落が生じたことを検出する工程と、前記パケットの欠落を検出したとき、前記第２のバッファ手段に記憶されている検出した欠落したパケットデータ部分に代替パケットを挿入する代替パケット挿入工程と、前記欠落したパケットが復元処理可能な場合、復元したパケットを前記第２のバッファ手段に保存された代替パケットを置き換える、置換工程と前記第２のバッファ手段に蓄積されたパケットデータを出力する出力制御工程とを有するデータ受信処理方法が提供される。
【００２２】
本発明においては、２つのバッファ手段を設け、第１のバッファ手段において受信したパケットのうち、欠落したパケットの復元に必要なパケットを保存しておく。また第１のバッファ手段に入力されたストリームは即座に第２のバッファ手段に転送して、第２のバッファ手段に蓄積させる。
好ましくは、第２のバッファ手段へのパケットの書き込み、第２のバッファ手段からのパケットの出力は、アダプティブクロック方式を適用する。
復元処理手段が、第１のバッファ手段に入力されるストリームの中にパケットの欠落があるか否かを検出する。パケットの欠落を検出したとき、復元処理手段は、暫定的に、第２のバッファ手段に蓄積されたパケットのうち欠落した部分に対応する部分に、代替パケットを記憶する。
欠落したパケットの後に到来するパケットにを用いて欠落したパケットが復元可能な場合、復元処理手段が欠落したパケットに対応するパケットを復元して、第２のバッファ手段に記憶した代替パケットを置換する。
【発明の効果】
【００２３】
本発明によれば、欠落したパケットの復元処理を、ジッタの影響を及ぼさずに、実現できた。
その結果、第２のバッファ手段におけるバッファ量の変動が小さくなり、第２のバッファ手段の容量が増大することを防止できる。
また、第２のバッファ手段の蓄積量（滞留量）を監視してクロック同期を行うアダプティブクロック方式の精度が向上する。
【００２４】
また本発明によれば、順序が乱れたパケットの順序を、ジッタの影響を及ぼさずに、実現できた。
【発明を実施するための最良の形態】
【００２５】
通信システム構成
図３は、本発明の実施の形態の受信機が適用される通信システムの構成を示す図である。
図３に図解した通信システム１は、通信網１０を介して、送信機１１から受信機１２に、トランスポート・ストリーム（ＴＳ）の形態でパケット・データを送信するように構成されている。
【００２６】
受信機の構成
図３は、受信機１２の構成を示す。
受信機１２は、通信網１０に接続され、送信機１１から送信されたトランスポート・ストリーム・データを受信して信号処理を行う受信処理部１００と、受信処理部１００で処理したデータを入力して、そのデータ固有の信号処理を行うコンテンツ処理部１１０とを有する。
送信機１１から送信されるトランスポート・ストリームは、たとえば、圧縮され多重化された、たとえば、テレビジョン映像データと音声データとを含み、静止画データ、文字情報などを含んでもよい。テレビジョン映像データと音声データとを含み、静止画データ、文字情報などを含むことができる。これのデータを総称して、コンテンツ・データとき言う。
受信機１２は、たとえば、ＩＰテレビジョン受信機であり、送信機１１から送出されたコンテンツを受信して、再生する。
たとえば、コンテンツ処理部１１０は、図１に再生処理部２２０として図解したように、多重化された映像データと音声データとを分離するＴＳデマルチプレクサ、分離された映像データと音声データをそれぞれ復号する映像デコーダ、音声デコーダを含むことができる。
【００２７】
受信機１２内の受信処理部１００は、送信機１１から送出されたコンテンツを受信して、コンテンツ処理部１１０におけるコンテンツの復号処理など再生処理可能なように、下記に例示する受信処理を行う。
【００２８】
図４に受信処理部１００の構成図を示す。
受信処理部１００は、ＩＰ（Internet Protocol)処理部１０１と、ＲＴＰ（Real Time
Transport Protocol) バッファ１０２とを有する。
受信処理部１００はまた、復元部１０３と、Ｎｕｌｌ（ヌル）パケット処理１０４と、ＴＴＳ（タイムスタンプ（TimeStamp)付き(Transport Stream ）バッファ１０５とを有する。
受信処理部１００はさらに、パケット置換部１０６を有する。
受信処理部１００はさらに、パケット出力部１０７と、クロック同期部１０８とを有する。
以下、各部の処理内容を述べる。
【００２９】
ＩＰ処理部１０１
ＩＰ処理部１０１は、通信網１０を経由して送信機１１から送信されたＩＰパケットを受信する。
ＩＰ処理部１０１は、受信したＩＰパケットＳ１０からＩＰヘッダ、ＵＤＰ（User Datagram Protocol) ヘッダなどその後の処理、たとえば、コンテンツ処理部１１０における処理に用いないデータを取り除いてＲＴＰ（Real Time Transport Protocol) パケットを抽出する処理を行う。
ＩＰ処理部１０１は、復元部１０３の制御のもと、ＩＰ処理部１０１で抽出したＲＴＰパケットデータＳ１０１のうちペイロード（Payload)部分のデータをＲＴＰバッファ１０２に送出する。
【００３０】
ＲＴＰバッファ１０２
ＲＴＰバッファ１０２は、ＩＰ処理部１０１から送出されたＲＴＰパケットデータＳ１０１を保管（格納）する。
ＲＴＰバッファ１０２に保管されたＲＴＰパケットデータは、復元部１０３の制御のもとで、タイムスタンプ（TimeStamp)付きＴＳパケットＳ１０２としてＴＴＳバッファ１０５に送出される。
【００３１】
ＴＴＳバッファ１０５
ＴＴＳ（TimeStamp 付きTransport Stream）バッファ１０５は、復元部１０３の制御のもとでＲＴＰバッファ１０２から出力されるペイロードデータ、すなわち、タイムスタンプ付きＴＳパケットを蓄積する（格納する）。
ＴＴＳバッファ１０５は、アダプティブクロック方式に基づき、蓄積量（滞留量）が監視されて、書き込みパケットと読み出しパケットとのクロック同期が行われる。
ＴＴＳバッファ１０５は、たとえば、ＦＩＦＯバッファとして構成されている。
【００３２】
なお、ＲＴＰバッファ１０２は、アダプティブクロック方式が適用されるＴＴＳバッファ１０５とは異なり、ＩＰ処理部１０１から送出されたＲＴＰパケットデータＳ１０１を保管（格納）し、即座に、復元部１０３の制御のもとで、タイムスタンプ（TimeStamp)付きＴＳパケットＳ１０２としてＴＴＳバッファ１０５に送出し、後述する欠落したパケットの復元に使用するパケットのみを保存するバッファである。
したがって、ＲＴＰバッファ１０２の容量はＴＴＳバッファ１０５のように大きくする必要はない。
【００３３】
復元処理手段
復元部１０３は、上述したように、ＩＰ処理部１０１からＲＴＰバッファ１０２へのパケットの送出、および、ＲＴＰバッファ１０２からＴＴＳバッファ１０５へのパケットの送出の制御に加えて、下記に記す欠落したパケットの復元処理、および、順序が乱れて受信したパケットを正規の順序に修復する処理を行う。
【００３４】
すなわち、ＲＴＰバッファ１０２に保管されたＲＴＰパケットと、ＴＴＳバッファ１０５に蓄積されたタイムスタンプ付きＴＳパケットについて、たとえば、通信網１０におけるパケットの欠落などがあった場合、復元部１０３、パケット置換部１０６、Ｎｕｌｌパケット処理１０４と協働して、図４を参照して述べる受信・復元処理を行う。
【００３５】
復元部１０３、Ｎｕｌｌパケット処理１０４、パケット置換部１０６は、受信復元処理手段を構成する。
他方、ＲＴＰバッファ１０２は、本発明の第１のバッファ手段に対応しており、復元処理のための補助バッファであり、復元処理手段に含めることができる。
また、ＴＴＳバッファ１０５は、本発明の第１のバッファ手段に対応しており、アダプティブクロック方式に基づいて、通信網１０から受信したパケットを蓄積するバッファとして機能する一方、復元処理手段の一部としても機能する。
【００３６】
復元部１０３
復元部１０３は、復元判定部１０３Ａと、復元処理部１０３Ｂとを有する。
復元部１０３は、パケットの欠落がなく下記の復元処理が不要と判断した場合は、ＲＴＰパケットのペイロードデータをＲＴＰバッファ１０２からＴＴＳバッファ１０５に送出するように、ＲＴＰバッファ１０２に指示する（ＲＴＰバッファ１０２を制御する）。
【００３７】
復元部１０３は、ＲＴＰバッファ１０２に保存されたＲＴＰパケットに欠落があることを検出した場合、後から到来するパケットを参照して、その欠落が復元可能な場合には欠落したパケットを復元する処理を行う。
また、復元部１０３は、ＲＴＰバッファ１０２に保管した受信したパケットの順序が乱れている場合、たとえば、受信順序が逆になっている場合、その順序を基に戻す処理を行う。
その詳細を後述する。
【００３８】
復元判定部１０３Ａは、ＩＰ処理部１０１からＲＴＰバッファ１０２に入力されるＲＴＰパケットデータＳ１０１に付与されているパケット番号を連続的に監視する。
【００３９】
ＲＴＰパケットの欠落の復元
復元判定部１０３ＡによるＲＴＰバッファ１０２に入力されるＲＴＰパケットデータＳ１０１に付与されているパケット番号を連続的に監視することにより、復元判定部１０３ＡはＲＴＰパケットの欠落があるか否かを判定することができる。
【００４０】
ＲＴＰパケットの欠落を検出した復元判定部１０３Ａは、たとえば、欠落したパケットの後に受信するパケットを用いて欠落したＲＴＰパケットを復元可能か否かを判定する。
たとえば、ＲＴＰパケットが映像データ、音声データなどの場合は、１〜数個のパケットが欠落したとしても、映像データまたは音声データの連続性を考慮すると、欠落したデータに相当するデータを、たとえば、上述した方法によって、通常、復元することができる。
【００４１】
復元処理部１０３Ｂは、たとえば、ＲＴＰバッファ１０２に格納されている欠落したパケットの番号の前後の番号のパケットを参照して、欠落したパケットを補間処理して、欠落したＲＴＰパケットに相当するＲＴＰパケットデータを復元する。あるいは、復元処理部１０３Ｂは、欠落したＲＴＰパケットの番号の前の番号のＲＴＰパケットデータから欠落したＲＴＰパケットを類推して、欠落したパケットデータに相当するＲＴＰパケットデータを復元する。
復元処理部１０３Ｂは、欠落したＲＴＰパケットの復元が完了したら、復元が完了したことを示す、復元完了通知信号Ｓ１０３をパケット置換部１０６に通報する。
【００４２】
ＲＴＰパケットの番号の順序の復元
また、復元判定部１０３ＡがＲＴＰバッファ１０２に入力されるＲＴＰパケットデータＳ１０１に付与されているパケット番号を連続的に監視することにより、受信処理部１００で連続的に受信しＲＴＰパケットの番号の順序が正当であるか否かを判定することができる。
ＲＴＰパケットの番号の順序が乱れる理由としては、通信網１０に障害が発生したり、通信網１０内に存在する遅延経路によって、送信機１１から送信された受信ＩＰパケットＳ１０のストリームの内部の順序で逆になる場合がある。
復元判定部１０３Ａは、このようなパケットの番号の順番が乱れていることを検出した場合、復元処理部１０３Ｂに通報する。
【００４３】
復元処理部１０３Ｂは、ＴＴＳバッファ１０５に記憶されている順序が逆のパケットの順序を正しいパケットの番号に並べなおす。これにより、ＴＴＳバッファ１０５内のＲＴＰパケットの保存順序（記憶位置）をＲＴＰパケットの番号順に修正される。
【００４４】
Ｎｕｌｌパケット処理１０４
代替パケット処理手段として機能するＮｕｌｌパケット処理部１０４は、Ｎｕｌｌデータ挿入判定部１０４Ａと、タイムスタンプ算出部１０４Ｂと、Ｎｕｌｌデータ挿入部１０４Ｃとを有する。
Ｎｕｌｌパケット処理部１０４は、代替パケットとして、ダミーデータをパケットが欠落した部分に挿入して欠落したパケットを補う。すなわち、パケットに欠落があった場合、その復元に後で受信するパケットを用いて行うためなど、パケットの欠落を検出したその時点においては欠落したパケットを復元できない場合がある。Ｎｕｌｌパケット処理部１０４が、一時的に、代替パケットをＴＴＳバッファ１０５における欠落したパケット部分に挿入する。
【００４５】
本実施の形態においては、代替パケットとして用いるデータダミーデータとして、Ｎｕｌｌ（ヌル）、すなわち、値が「０」であるデータを挿入する。
なお、代替パケットは、欠落したパケットを復元できない場合は、そのまま、欠落したパケットとして残る。
以下、詳細に述べる。
【００４６】
Ｎｕｌｌデータ挿入判定部１０４Ａは、復元判定部１０３Ａと同様に、ＲＴＰバッファ１０２に入力されるＲＴＰパケットデータＳ１０１に付与されているパケット番号を監視して、パケットの欠落があるか否かを判定する。
Ｎｕｌｌデータ挿入判定部１０４Ａが、ＩＰ処理部１０１において受信したパケットに欠落があると判定した場合、その判定結果をタイムスタンプ算出部１０４Ｂに通知して、タイムスタンプ算出部１０４Ｂの処理を行わせる。
【００４７】
タイムスタンプ算出部１０４Ｂは、パケットの欠落数を算出する。すなわち、タイムスタンプ算出部１０４Ｂは、パケットが欠落した番号の前後の番号のＲＴＰパケットの中のタイムスタンプおよび欠落したパケットの数からタイムスタンプを算出する。
Ｎｕｌｌデータ挿入部１０４Ｃは、欠落したパケットの数に相当するＮｕｌｌ（ヌル）パケット、すなわち、データの値が「０」であるパケットデータを準備して、挿入用ダミーデータＳ１０４Ａとして、ＴＴＳバッファ１０５に送出する。
Ｎｕｌｌデータ挿入部１０４Ｃが補うＮｕｌｌデータの数は、欠落したパケットの数に応じた数となる。
【００４８】
Ｎｕｌｌデータ挿入部１０４Ｃは、ＴＴＳバッファ１０５におけるパケットの欠落に応じてダミーパケットを挿入した位置と、対応するパケット番号を、挿入用ダミーデータ位置・番号信号Ｓ１０４Ｂとして、パケット置換部１０６に通知する。
【００４９】
パケット置換部１０６
パケット置換部１０６は、パケット置換処理部１０６Ａと、パケット置換テーブル１０６Ｂとを有する。
パケット置換処理部１０６Ａは、復元部１０３から復元完了通知信号Ｓ１０３が入力された場合は、パケットの置換は不要であるから、何もしない。
他方、パケット置換処理部１０６Ａは、Ｎｕｌｌパケット処理部１０４のＮｕｌｌデータ挿入部１０４Ｃから挿入用ダミーデータ位置・番号信号Ｓ１０４Ｂが入力された場合は下記に記す処理を行う。
【００５０】
パケット置換処理部１０６Ａは、Ｎｕｌｌパケット処理部１０４から挿入用ダミーデータ位置・番号信号Ｓ１０４Ｂとして出力された、ＴＴＳバッファ１０５によって、ダミーデータの（Ｎｕｌｌパケット）の挿入位置と、パケットの番号とが通知される。
パケット置換処理部１０６Ａは、パケット置換テーブル１０６Ｂに通知された内容をマップエントリとして追加する。もし、パケット置換テーブル１０６Ｂにマップエントリを追加できない場合は、パケット置換処理部１０６Ａは、パケット番号のしきい値を設定し、しきい値を設定した以前のマップエントリをパケット置換テーブル１０６Ｂから削除する。
【００５１】
また、パケット置換処理部１０６Ａは、Ｎｕｌｌパケット処理部１０４からの要求を受けて置換対象のパケットの番号に対応するポインタをパケット置換テーブル１０６Ｂに記憶されている置換データから検索する。検索によって対応するマップエントリが見つかれば、パケット置換処理部１０６Ａは、検索によって検出されたマップエントリを示すパケット置換データＳ１０６ＡをＴＴＳバッファ１０５に出力する。これにより、ＴＴＳバッファ１０５は、ＴＴＳバッファ１０５内の該当する位置にあるダミーパケット（代替パケット）を復元したパケットに置き換える。
【００５２】
また、パケット置換処理部１０６Ａのこの置換処理中に、ダミーパケットが受信処理部１００からコンテンツ処理部１１０に出力されることがないようにする。すなわち、パケット置換処理部１０６Ａは、出力停止信号Ｓ１０６Ｂをパケット出力部１０７に出力してパケット出力部１０７の処理を停止させる。
置換が終了したら、パケット置換処理部１０６Ａは、パケット出力部１０７に出力していた出力停止信号Ｓ１０６Ｂを解除し、パケット置換テーブル１０６Ｂのマップエントリを削除する。
【００５３】
パケット出力部１０７
パケット出力部１０７は、出力制御部１０７Ａと、カウンタ１０７Ｂとを有する。
パケット出力部１０７は、ＴＴＳバッファ１０５に蓄積されているＴＳパケットを、コンテンツ処理部１１０に出力するか否かを判定する。出力可能である場合は、パケット出力部１０７は、ＴＴＳバッファ１０５に格納されているタイムスタンプ付きのＴＳパケットから、タイムスタンプを外してコンテンツ処理部１１０に出力する。
コンテンツ処理部１１０には、たとえば、図１に図解した、デマルチプレクサ、デコーダが設けられており、これらにタイムスタンプが外されたＴＳパケットが入力される。
【００５４】
出力制御部１０７Ａは、アダプティブクロック方式に基づいたクロック同期処理を行う。
ストリーム出力制御部１０７Ａは、ＴＴＳバッファ１０５におけるタイムスタンプ付きのＴＳパケットのタイムスタンプと、カウンタ１０７Ｂの値を比較する。
カウンタ１０７Ｂのウカント値とＴＳパケットのタイムスタンプとが一致しているとき、出力制御部１０７Ａは、ＴＴＳバッファ１０５に格納されているデータをコンテンツ処理部１１０へ出力するためのタイミング制御を行う。
また、ＴＴＳバッファ１０５にしきい値を設けることができ、カウンタ１０７Ｂのカウント値より、ＴＴＳバッファ１０５のＴＳパケットのタイムスタンプがしきい値以内で遅延していた場合、出力制御部１０７Ａは即時に、ＴＴＳバッファ１０５からコンテンツ処理部１１０へのＴＳパケットの出力を制御する。
【００５５】
出力制御部１０７Ａはまた、ＴＳパケットの出力を無効にすることを可能にする。その場合、カウンタ１０７Ｂはカウント処理は継続してインクリメントする（増加する）。
【００５６】
さらに、ダミーパケットが挿入されたＮｕｌｌパケットが置換されていないまま出力タイミングを迎えた場合、たとえば、コンテンツ処理部１１０においてＮｕｌＬパケットを処理することが可能な場合は、出力制御部１０７Ａは、置換されていないパケットをそのまま出力する。
他方、ダミーデータを、コンテンツ処理部１１０などの後段の装置に出力したくない場合、出力制御部１０７Ａは、ダミーパケットとして特殊なデータパターンを挿入しておく。そのような特殊なデータパターンとしては、たとえば、コンテンツ処理部１１０において、たとえば、フィルタ処理などで削除可能なものを用いることができる。
【００５７】
クロック同期部１０８
クロック同期部１０８は、ＴＴＳバッファ１０５におけるＴＳデータの蓄積量、すなわち、パケットの滞留量を監視して、アダプティブクロック方式により、パケット出力部１０７のカウンタ１０７Ｂで用いるクロックの同期処理を行う。
【００５８】
図５はＩＰ処理部１０１、ＲＴＰバッファ１０２、復元部１０３、Ｎｕｌｌパケット処理１０４の受信処理および復元処理を時間を追って説明するフローチャートである。
ＩＰ処理部１０１、ＲＴＰバッファ１０２、復元部１０３、Ｎｕｌｌパケット処理１０４の詳細な処理内容は上述したので、下記の記述は概要に止める。
【００５９】
ステップＳ１、パケットの入力、ＲＴＰパケットの抽出、ＲＴＰパケットの保存
ＩＰ処理部１０１が通信網１０からパケットを入力して、入力したパケットからＲＴＰパケットを抽出する。
ＲＴＰバッファ１０２は、ＩＰ処理部１０１から出力されるＲＴＰパケットデータＳ１０１を保存する。ＲＴＰバッファ１０２に保存されたＲＴＰパケットデータは、欠落したパケットの検出と、欠落したパケットの復元に使用される。
【００６０】
ステップＳ２、パケットの欠落の判定
復元部１０３の復元判定部１０３Ａは、ＲＴＰバッファ１０２に入力されるＲＴＰパケットを連続的に監視して、受信処理部１００で受信したパケットに欠落があるか否かを判定する。
復元判定部１０３Ａが、パケットの欠落を検出したら、ステップ３の処理に移行し、ステップＳ３〜５において、代替パケットの挿入、パケット置換テーブルへの登録処理を行う。
パケットの欠落がなければ、ステップ６の処理に移行する。
【００６１】
ステップＳ３、挿入するタイムスタンプの算出
、Ｎｕｌｌパケット処理１０４のタイムスタンプ算出部１０４Ｂは、ＴＴＳバッファ１０５の最新のタイムスタンプ付きＴＳパケットのタイムスタンプと、ＲＴＰバッファ１０２への入力パケットの先頭のタイムスタンプと、欠落したパケット数から、挿入するタイムスタンプ数を算出する。
【００６２】
ステップＳ４、代替パケット（ダミーパケット）の挿入
Ｎｕｌｌパケット処理１０４のＮｕｌｌデータ挿入部１０４Ｃは、欠落したパケットの数に相当する数の代替パケットとして、挿入用ダミーデータＳ１０４ＡをＴＴＳバッファ１０５に出力する。ＴＴＳバッファ１０５は、入力された挿入用ダミーデータＳ１０４Ａに基づいて、欠落したパケットに対応する部分のデータを書き換える。
【００６３】
ステップＳ５、パケット置換テーブルに登録
タイムスタンプ算出部１０４Ｂは、欠落したパケットの位置と欠落したパケット番号を示す挿入用ダミーデータ位置・番号信号Ｓ１０４Ｂをパケット置換部１０６に出力する。パケット置換処理部１０６Ａは、挿入用ダミーデータ位置・番号信号Ｓ１０４Ｂに基づいて、パケット置換テーブル１０６Ｂに欠落したパケットの位置と番号の組を登録する。
【００６４】
ステップＳ６、パケットの受信順序の判定
復元部１０３のＮｕｌｌパケット処理１０４は、ＲＴＰバッファ１０２に入力されるＲＴＰパケットに付与されているパケットの番号を連続的に監視して、受信したパケットの順番が乱れていないか否かを判定する。
受信したパケットの順番が正常ならば、ステップＳ１０の処理に移行する。受信したパケットの順序が逆などの乱れがある場合は、ステップＳ７の処理に移行する。
【００６５】
ステップＳ７、置換テーブルの検索
パケット置換処理部１０６Ａは、パケット置換テーブル１０６Ｂに記録されている置換データから置換対象のパケットの番号に対応するポインタを検索する。
対応するポインタが検索できた場合は、ステップＳ８の処理に移行し、検索できない場合は、ステップＳ１１の処理に移行する。
【００６６】
ステップＳ８、ＴＴＳバッファ１０５からＴＳパケットの出力禁止
パケット置換処理部１０６Ａは、パケット出力部１０７に対して、出力停止信号Ｓ１０６Ｂを出力して、ＴＴＳバッファ１０５からタイムスタンプ無しＴＳパケットＳ１０５を出力することを禁止させる。
【００６７】
ステップＳ９、パケットの置換処理
パケット置換処理部１０６Ａは、ＴＴＳバッファ１０５と協働して、ＴＴＳバッファ１０５に蓄積されている乱れたパケットの受信順序を正常に戻す処理を行う。
【００６８】
ステップＳ１０、ＴＳパケットの出力再開
パケット置換処理部１０６Ａは、パケット出力部１０７に対してパケット置換データＳ１０６Ａを解除する指示を行う。これにより、パケット出力部１０７は、ＴＴＳバッファ１０５からのＴＳパケットの出力を再開する。
【００６９】
ステップＳ１１、復元可能の判定
復元判定部１０３Ａは、欠落したパケットを復元可能か否かを判定する。
復元可能な場合はステップＳ１２の処理に移行し、復元できない場合は、処理を終了する。なお、復元できない場合は、ステップＳ４において欠落したパケットには代替パケットとして、Ｎｕｌｌデータが挿入されている。
【００７０】
ステップＳ１２
パケット置換部１０６のパケット置換処理部１０６Ａは、パケット置換テーブル１０６Ｂを検索して対応するマップエントリを探す。
対応するマップエントリを検索できたら、ステップＳ１３の処理に移行する。
対応するマップエントリを検索できなかったら、処理を終了する。この場合、欠落したパケットに対応する部分には代替パケットとして、ダミーパケットが残る。
【００７１】
ステップＳ１３、復元処理
復元処理部１０３Ｂは、欠落したパケット部分の復元処理を行う。
【００７２】
ステップＳ１４、パケット置換処理
パケット置換テーブル１０６Ｂは、復元処理部１０３Ｂで復元処理した結果に基づいて、ＴＴＳバッファ１０５に蓄積されている欠落したパケットを置換する。
【００７３】
以上の処理により、まず、欠落したパケットに対して、代替パケットとして、Ｎｕｌｌデータが挿入され、復元可能な場合は代替パケットが挿入された部分が復元されたパケットに置換される。
【００７４】
図６は、アダプティブクロック方式に基づく、ＴＴＳバッファ１０５からコンテンツ処理部１１０へＴＳパケットの出力処理、すなわち、ＴＴＳバッファ１０５のバッファ処理を示す、フローチャートである。
【００７５】
ステップＳ２１、ＴＴＳバッファ１０５の空きを判定
パケット出力部１０７の出力制御部１０７Ａは、ＴＴＳバッファ１０５が空きか否か判定する。
ＴＴＳバッファ１０５が空いている場合、ステップ３１の処理に移行し、ＴＴＳバッファ１０５にパケットが存在していれば、ステップ２２の処理に移行する。
【００７６】
ステップＳ２２、タイムスタンプの比較の有効性
出力制御部１０７Ａは、ＴＴＳバッファ１０５に蓄積されているタイムスタンプ付きのＴＳパケットのタイムスタンプと、カウンタ１０７Ｂのカウント値を比較して、比較の有効性を判定する。
比較が有効でない場合は、ステップ３１の処理に移行する。
【００７７】
ステップＳ２３、タイムスタンプの比較
出力制御部１０７Ａは、ＴＴＳバッファ１０５に蓄積されているタイムスタンプ付きのＴＳパケットの先頭のパケットのタイムスタンプと、カウンタ１０７Ｂのカウント値を比較する。
【００７８】
ステップＳ２４、２５
ステップＳ２４における出力制御部１０７Ａの比較により、ＴＴＳバッファ１０５に蓄積されているＴＳパケットの先頭のパケットのタイムスタンプが、カウンタ１０７Ｂのカウント値より大きい場合は、ステップＳ２５の処理に移行する。
ステップＳ２５において、出力制御部１０７Ａは、タイムスタンプの差分がしきい値以内か否かを判定する。
【００７９】
ステップＳ２６、パケットの即時出力
ステップＳ２５において、出力制御部１０７Ａが、タイムスタンプの差分がしきい値以内と判定した場合、出力制御部１０７Ａは、ＴＴＳバッファ１０５と協働して、ＴＴＳバッファ１０５からＴＳパケットをコンテンツ処理部１１０に即時出力する。
【００８０】
ステップＳ２７、パケットの破棄
ステップＳ２５において、出力制御部１０７Ａが、タイムスタンプの差分がしきい値以内と判定しなかった場合、出力制御部１０７Ａは、ＴＴＳバッファ１０５と協働して、からＴＳパケットを破棄する処理を行う。
【００８１】
ステップＳ２８、タイムスタンプの一致判定
出力制御部１０７Ａは、ＴＴＳバッファ１０５に蓄積されているＴＳパケットのタイムスタンプと、カウンタ１０７Ｂのカウント値を比較して、両者の値が一致しているか否かを判定する。
【００８２】
ステップＳ２９、ＴＳパケットの出力
出力制御部１０７Ａは、ＴＴＳバッファ１０５に蓄積されているＴＳパケットののタイムスタンプと、カウンタ１０７Ｂのカウント値とが一致している場合、ＴＴＳバッファ１０５と協働して、ＴＴＳバッファ１０５に蓄積されているＴＳパケットをコンテンツ処理部１１０に出力する。
【００８３】
ステップＳ３０、カウンタ一致を待つ
出力制御部１０７Ａは、ＴＴＳバッファ１０５に蓄積されているＴＳパケットののタイムスタンプと、カウンタ１０７Ｂのカウント値とが一致していない場合、一致するまで待機する。
【００８４】
ステップＳ３１、カウンタ１０７Ｂのインクリメント
出力制御部１０７Ａは、上記バッファ処理に伴い、カウンタ１０７Ｂのカウントを増加させる。
【００８５】
図５および図６を参照して述べた受信処理部１００における処理により、パケットの復元処理手段における欠落したパケットの復元処理のために、ＴＴＳバッファ１０５のバッファ処理の影響がなくなる。その結果、ＴＴＳバッファ１０５のバッファ量の変動が小さくなる。したがって、ＴＴＳバッファ１０５の蓄積量（滞留量）を監視してクロック同期を行うアダプティブクロック方式の精度が向上する。換言すれば、アダプティブクロック方式を効果的に活用することができる。
【００８６】
以下、本実施の形態と従来方法との結果の対比を行う。
図７（Ａ）は従来のアダプティブクロック方式の結果を示す図であり、図７（Ｂ）は本発明の上記実施の形態による結果を示す図である。
バッファ（本発明の実施の形態のＴＴＳバッファ１０５）の蓄積量があるしきい値に達したときにクロックの同期制御を行う。
このしきい値は、バッファのオーバーフローまたはアンダーフローを回避するため、ＴＳデータが通信網を通過するときに受けるジッタを考慮して設定されることがある。
【００８７】
本発明の実施の形態のコンテンツ処理部１１０によれば、欠落したパケットの復元処理によって、復元処理手段のＴＴＳバッファ１０５のバッファ処理の影響がなくなるため、図７（Ｂ）に示したように、ＴＴＳバッファ１０５のしきい値を小さく設定するこができる。その結果、ＴＴＳバッファ１０５の容量を削減することができる。
【００８８】
本発明の実施の形態に際しては、上述した実施の形態に限定されず、種々の変形態様をとることができる。
たとえば、受信処理部１００の構成を、図４に図解した例示においては、ＩＰ処理部１０１、ＲＴＰバッファ１０２、復元部１０３、Ｎｕｌｌパケット処理１０４、ＴＴＳバッファ１０５、パケット置換部１０６、パケット出力部１０７、クロック同期部１０８と機能分離した構成としたが、必ずしも、この例示的な構成には限定されない。
第１のバッファ手段としてのＲＴＰバッファ１０２と、第２のバッファ手段としてのＴＴＳバッファ１０５とは分離する必要がある。しかしながら、たとえば、復元部１０３、Ｎｕｌｌパケット処理１０４、パケット置換部１０６は、図４を参照して述べた処理内容からも自明なように、これらの処理は連携して行う必要があることから、一体に構成した信号処理装置、たとえば、コンピュータを用いた信号処理装置で実現することもできる。
【００８９】
同様に、たとえば、復元部１０３の構成を、復元判定部１０３Ａと、復元処理部１０３Ｂに分離したことも例示であり、これらの処理を一体的な装置が実現することもできる。
【００９０】
他方、Ｎｕｌｌパケット処理１０４、パケット置換部１０６、パケット出力部１０７などの構成も例示であり、たとえば、これらの装置をそれぞれ一体的な装置によって構成することができる。
【００９１】
したがって、本発明のデータ受信処理方法としては、たとえば、図４および図５を参照した述べた例示した処理内容を実現する内容であればよい。
【００９２】
本発明の実施の形態として、たとえば、ＩＰテレビジョン装置への適用を例示したが、本発明のデータ受信処理方法およびデータ受信処理装置は、ＩＰテレビジョン装置への適用に限定される訳ではなく、上述した処理内容だ適用可能な種々の装置に適用できる。
【図面の簡単な説明】
【００９３】
【図１】図１はアダプティブクロック方式を適用した従来のデータ受信処理装置を想定した構成図である。
【図２】図２は従来の欠落したパケットを復元する方法を説明する図である。
【図３】図３は本発明の受信機の実施の形態の構成図である。
【図４】図４は図３に図解した本発明の実施の形態の受信処理部の構成図である。
【図５】図５は図４に図解した受信処理部におけるパケットの受信信号処理を示すフローチャートである。
【図６】図６は図４に図解した受信処理部におけるパケットの出力処理を示すフローチャートである。
【図７】図７（Ａ）は従来のアダプティブクロック方式の結果を示す図であり、図７（Ｂ）は本発明の上記実施の形態による結果を示す図である。
【符号の説明】
【００９４】
１…通信システム、１０…通信網、１１…送信機、１２…受信機、１００…受信処理部、１１０…コンテンツ処理部、１０１…ＩＰ処理部、１０２…ＲＴＰバッファ、１０３…復元部、１０３Ａ…復元判定部、１０３Ｂ…復元処理部、１０４…Ｎｕｌｌパケット処理部、１０４Ａ…Ｎｕｌｌデータ挿入判定部、１０４Ｂ…タイムスタンプ算出部、１０４Ｃ…Ｎｕｌｌパケット挿入部、１０５…ＴＴＳバッファ、１０６…パケット置換部、１０６Ａ…パケット置換処理部、１０６Ｂ…パケット置換テーブル、１０７…パケット出力部、１０７Ａ…出力制御部、１０７Ｂ…カウンタ、クロック同期部
Ｓ１０…受信ＩＰパケット、Ｓ１０１…ＲＴＰパケットデータ、Ｓ１０２…タイムスタンプ（TimeStamp)付きＴＳパケット、Ｓ１０３…復元完了通知信号、Ｓ１０４Ａ…挿入用ダミーデータ（代替データ）、Ｓ１０４Ｂ…挿入用ダミーデータ位置・番号信号、Ｓ１０５…タイムスタンプ無しＴＳパケット
【技術分野】
【０００１】
本発明は、通信網を介して受信したデータについて受信処理を行うデータ受信処理装置と方法に関する。
本発明は特に、通信網を介して受信したパケットに欠落があった場合に欠落したパケットを復元する時に起こる「バッファリング・ジッタ」を改善するデータ受信方法とデータ受信装置に関する。
【背景技術】
【０００２】
通信網（ネットワーク）を用いてプッシュ型の通信を行うとき、受信側のバッファに受信データが収容しきれないというオーバーフロー、または、バッファにおける受信データの蓄積量が極端に低下するというアンダーフローが起こることがある。
本明細書において、これらをバッファの破綻と言う。
【０００３】
バッファの破綻を防止する対策の１つとして、通常、バッファへのデータを書き込むための書き込みクロックと、バッファからデータを読みだすための読み出しクロックとを同期させる。
書き込みクロックは、通信網の送信側のデータ送信クロックに対応しており、読み出しクロックは受信側における再生クロックに対応している。したがって、送信側のデータ送信クロックと受信側の再生クロックとの同期をとればよい。
【０００４】
しかしながら、通信網、または、通信経路におけるデータの遅延の揺らぎ（ジッタ）が存在し、送信側のクロックと、受信側のクロックとが同期しているという、網同期が確立しているという保証は、通常、得られない。
そのようなジッタとしては、ネットワークの負荷スパイクに起因する高周波ジッタと、連続的に変動する揺らぎが知られている。
【０００５】
そのため、非同期方式の通信網、たとえば、ＡＴＭ（Asynchronous Transfer Mode、非同期転送モード) 網などにおいては、受信側においてバッファの滞留量（データ蓄積量）を常時監視しておき、バッファの滞留量が一定になるように、再生クロックの制御を行っている。これを「アダプティブ（適応型）クロック再生法」と呼ぶ。
【０００６】
「アダプティブクロック再生法」の概念は、非特許文献１（ＩＴＵ（国際電気通信連合）−Ｔ勧告１．３６３．１）に定義されている。
また、通信網、または、通信経路におけるデータの遅延の揺らぎ（ジッタ）を考慮した、アダプティブクロック方式を適用した装置も提案されている（たとえば、特許文献１、２）。
【０００７】
ここで、「アダプティブクロック再生法」のＩＰ（Internet Protocol)網におけるリアルタイム・ストリーミング（実時間データ伝送）などに適用することを想定した例を示す。
図１はその場合の受信機２００の構成を示す。受信機２００は、通信網２３０からＩＰデータを受信して信号処理を行う受信処理部２１０と、映像データ、音声データなどに再生を行う再生処理部２２０とを有する。
【０００８】
アダプティブクロック方式に基づいて、受信処理部２１０におけるＴＴＳ処理部２１５において、タイムスタンプ（TimeStamp）処理の対象となる、タイムスタンプ付きトランスポート・ストリーム（ＴＴＳ）バッファのデータの滞留量（データの蓄積量）を監視する。
【発明の開示】
【発明が解決しようとする課題】
【０００９】
パケットが通信網２３０を通過した際、パケットの欠落が生じることがあり、ＴＴＳ処理部２１５の前段における、ＲＴＰパケット処理およびＦＥＣ処理部２１３において、欠落したパケットの復元処理を行う。ＲＴＰはReal Time Transport Protocolの略であり、ＦＥＣはForward Error Correctionの略である。
ＲＴＰパケット処理およびＦＥＣ処理部２１３において、通信網２３０において欠落したパケットの欠落処理または復元処理を行う場合に、復元処理に伴うバッファ処理（バッファリング）によって監視対象のバッファリングの滞留量に影響が生ずる。
【００１０】
その理由を説明する。
たとえば、図２に例示したパケット配置において、”０１“のパケットが欠落したと仮定すると、その復元のためには、欠落した”０１“のパケットと連続する、少なくとも、”９１“のパケットと、”Ｃ１“のパケットの到来を待って、”９１“のパケットと、”Ｃ１“のパケットとを用いて復元する。
このように、”９１“のパケットと、”Ｃ１“のパケットの到来を待って、欠落したパケットの復元処理（訂正処理）を行うので、ＴＴＳ処理部２１５のバッファ処理に遅延が起こる。
【００１１】
その結果、通信経路におけるデータの遅延の揺らぎ（ジッタ）を考慮した「アダプティブクロック方式」を適用したとしても、受信処理部における欠落したパケットの復元処理などにおいて受信したパケットをバッファリングしてしまうことにより、「アダプティブクロック方式」の精度に影響を与える。
【００１２】
また、ＴＴＳバッファにおける受信データのオーバーフローまたはアンダーフローを回避するため、しばしば、ＴＴＳバッファへのデータの蓄積量を上限と下限をしきい値として設定することが行われている。
しかしながら、ＴＴＳバッファ処理部２１５の前段のＲＴＰパケット処理およびＦＥＣ処理部２１３のバッファリングの影響が、監視対象のバッファへのデータの入力において、ジッタのような振る舞いとなる。
【００１３】
そのようなジッタを吸収するため、ＴＴＳバッファのしきい値（余裕）を大きくする必要がある。そうすると、バッファの規模が大きくなるという不利益に遭遇する。
ＴＴＳバッファは、通常、ＦＩＦＯバッファとして構成されている。
【００１４】
上述した問題は、監視するＴＴＳバッファを限定したために生ずる問題である。
ある程度、ブロックをまとめたシステムを想定し、そのシステムの内部に滞留されているデータを観察することにより、そのシステムの内部のジッタを包含し、その影響を無視するという考えも成り立つ。
【００１５】
その具体的な方法としては、図１におけるＲＴＰ処理と、ＴＴＳ処理のデータの滞留量を合計して考えることにより、そのシステムの内部のデータ移動や、ジッタなどを無視することができる。
ただし、この場合、システム内に欠落したパケットの復元処理部を含めているため、欠落したパケットの復元により、システムへのデータの入力と、システムからのデータの出力の量が一致しないことなどを考慮する必要がある。
【００１６】
また、上記システムとして、データの入出力がオーバーフローまたはアンダーフローしないというバッファの破綻状態が起きないことは勿論、システム内部の各バッファでも破綻状態が起きないように制御する必要がある。
その結果、上記ブロックをまとめたシステムとして対策を講ずる手法は、バッファの制御が非常に複雑になるという問題に遭遇する。
【００１７】
以上から、上述した課題を克服する、データ受信処理装置とデータ受信処理方法を提供することが望まれている。
【００１８】
【非特許文献１】ＩＴＵ−Ｔ勧告１．３６３．１
【特許文献１】特開2006-42273号公報
【特許文献２】特開2006-49941号公報
【課題を解決するための手段】
【００１９】
本発明によれば、パケット化されたコンテンツ情報に各パケットの出力順序を示す連続性を示す情報が付加されたストリームを入力する入力手段と、該入力手段で入力した前記連続性を示す情報が付加されたストリームを保存する第１のバッファ手段と、該第１のバッファ手段から出力されたストリームを蓄積する第２のバッファ手段と、少なくとも、前記第１のバッファ手段に入力されるストリーム内の連続性の有無に基づいてパケットに欠落が生じたことを検出し、前記第２のバッファ手段に記憶されている検出した欠落したパケットデータ部分に代替パケットを挿入し、欠落したパケットが復元処理可能な場合、復元したパケットを前記第２のバッファ手段に保存された代替パケットを置き換える、復元処理手段と、前記第２のバッファ手段に蓄積されたパケットデータを出力する出力制御手段とを備えたデータ受信処理装置が提供される。
【００２０】
好ましくは、前記第１のバッファ手段は、前記入力手段から入力されたストリームおよび前記復元処理に必要なパケットのみを保存する。
また好ましくは、前記復元処理手段は、前記第１のバッファ手段に保存されるストリーム内のパケットの番号の順序が乱れていることを検出した場合に、前記第２のバッファ手段に保存されたパケットの順序を正しく修正する。
【００２１】
また本発明によれば、第１のバッファ手段と、第２のバッファ手段とを有する受信装置におけるデータ受信処理を行うため、入力されるパケット化されたコンテンツ情報に各パケットの出力順序を示す連続性を示す情報が付加されたストリームを入力する工程と、該入力手段で入力した前記連続性を示す情報が付加されたストリームを前記第１のバッファ手段に保存する第１のバッファ処理工程と、該第１のバッファ手段から前記ストリームを読みだして前記第２のバッファ手段に蓄積する第２のバッファ処理工程と、少なくとも、前記第１のバッファ手段に入力されるストリーム内の連続性の有無に基づいてパケットに欠落が生じたことを検出する工程と、前記パケットの欠落を検出したとき、前記第２のバッファ手段に記憶されている検出した欠落したパケットデータ部分に代替パケットを挿入する代替パケット挿入工程と、前記欠落したパケットが復元処理可能な場合、復元したパケットを前記第２のバッファ手段に保存された代替パケットを置き換える、置換工程と前記第２のバッファ手段に蓄積されたパケットデータを出力する出力制御工程とを有するデータ受信処理方法が提供される。
【００２２】
本発明においては、２つのバッファ手段を設け、第１のバッファ手段において受信したパケットのうち、欠落したパケットの復元に必要なパケットを保存しておく。また第１のバッファ手段に入力されたストリームは即座に第２のバッファ手段に転送して、第２のバッファ手段に蓄積させる。
好ましくは、第２のバッファ手段へのパケットの書き込み、第２のバッファ手段からのパケットの出力は、アダプティブクロック方式を適用する。
復元処理手段が、第１のバッファ手段に入力されるストリームの中にパケットの欠落があるか否かを検出する。パケットの欠落を検出したとき、復元処理手段は、暫定的に、第２のバッファ手段に蓄積されたパケットのうち欠落した部分に対応する部分に、代替パケットを記憶する。
欠落したパケットの後に到来するパケットにを用いて欠落したパケットが復元可能な場合、復元処理手段が欠落したパケットに対応するパケットを復元して、第２のバッファ手段に記憶した代替パケットを置換する。
【発明の効果】
【００２３】
本発明によれば、欠落したパケットの復元処理を、ジッタの影響を及ぼさずに、実現できた。
その結果、第２のバッファ手段におけるバッファ量の変動が小さくなり、第２のバッファ手段の容量が増大することを防止できる。
また、第２のバッファ手段の蓄積量（滞留量）を監視してクロック同期を行うアダプティブクロック方式の精度が向上する。
【００２４】
また本発明によれば、順序が乱れたパケットの順序を、ジッタの影響を及ぼさずに、実現できた。
【発明を実施するための最良の形態】
【００２５】
通信システム構成
図３は、本発明の実施の形態の受信機が適用される通信システムの構成を示す図である。
図３に図解した通信システム１は、通信網１０を介して、送信機１１から受信機１２に、トランスポート・ストリーム（ＴＳ）の形態でパケット・データを送信するように構成されている。
【００２６】
受信機の構成
図３は、受信機１２の構成を示す。
受信機１２は、通信網１０に接続され、送信機１１から送信されたトランスポート・ストリーム・データを受信して信号処理を行う受信処理部１００と、受信処理部１００で処理したデータを入力して、そのデータ固有の信号処理を行うコンテンツ処理部１１０とを有する。
送信機１１から送信されるトランスポート・ストリームは、たとえば、圧縮され多重化された、たとえば、テレビジョン映像データと音声データとを含み、静止画データ、文字情報などを含んでもよい。テレビジョン映像データと音声データとを含み、静止画データ、文字情報などを含むことができる。これのデータを総称して、コンテンツ・データとき言う。
受信機１２は、たとえば、ＩＰテレビジョン受信機であり、送信機１１から送出されたコンテンツを受信して、再生する。
たとえば、コンテンツ処理部１１０は、図１に再生処理部２２０として図解したように、多重化された映像データと音声データとを分離するＴＳデマルチプレクサ、分離された映像データと音声データをそれぞれ復号する映像デコーダ、音声デコーダを含むことができる。
【００２７】
受信機１２内の受信処理部１００は、送信機１１から送出されたコンテンツを受信して、コンテンツ処理部１１０におけるコンテンツの復号処理など再生処理可能なように、下記に例示する受信処理を行う。
【００２８】
図４に受信処理部１００の構成図を示す。
受信処理部１００は、ＩＰ（Internet Protocol)処理部１０１と、ＲＴＰ（Real Time
Transport Protocol) バッファ１０２とを有する。
受信処理部１００はまた、復元部１０３と、Ｎｕｌｌ（ヌル）パケット処理１０４と、ＴＴＳ（タイムスタンプ（TimeStamp)付き(Transport Stream ）バッファ１０５とを有する。
受信処理部１００はさらに、パケット置換部１０６を有する。
受信処理部１００はさらに、パケット出力部１０７と、クロック同期部１０８とを有する。
以下、各部の処理内容を述べる。
【００２９】
ＩＰ処理部１０１
ＩＰ処理部１０１は、通信網１０を経由して送信機１１から送信されたＩＰパケットを受信する。
ＩＰ処理部１０１は、受信したＩＰパケットＳ１０からＩＰヘッダ、ＵＤＰ（User Datagram Protocol) ヘッダなどその後の処理、たとえば、コンテンツ処理部１１０における処理に用いないデータを取り除いてＲＴＰ（Real Time Transport Protocol) パケットを抽出する処理を行う。
ＩＰ処理部１０１は、復元部１０３の制御のもと、ＩＰ処理部１０１で抽出したＲＴＰパケットデータＳ１０１のうちペイロード（Payload)部分のデータをＲＴＰバッファ１０２に送出する。
【００３０】
ＲＴＰバッファ１０２
ＲＴＰバッファ１０２は、ＩＰ処理部１０１から送出されたＲＴＰパケットデータＳ１０１を保管（格納）する。
ＲＴＰバッファ１０２に保管されたＲＴＰパケットデータは、復元部１０３の制御のもとで、タイムスタンプ（TimeStamp)付きＴＳパケットＳ１０２としてＴＴＳバッファ１０５に送出される。
【００３１】
ＴＴＳバッファ１０５
ＴＴＳ（TimeStamp 付きTransport Stream）バッファ１０５は、復元部１０３の制御のもとでＲＴＰバッファ１０２から出力されるペイロードデータ、すなわち、タイムスタンプ付きＴＳパケットを蓄積する（格納する）。
ＴＴＳバッファ１０５は、アダプティブクロック方式に基づき、蓄積量（滞留量）が監視されて、書き込みパケットと読み出しパケットとのクロック同期が行われる。
ＴＴＳバッファ１０５は、たとえば、ＦＩＦＯバッファとして構成されている。
【００３２】
なお、ＲＴＰバッファ１０２は、アダプティブクロック方式が適用されるＴＴＳバッファ１０５とは異なり、ＩＰ処理部１０１から送出されたＲＴＰパケットデータＳ１０１を保管（格納）し、即座に、復元部１０３の制御のもとで、タイムスタンプ（TimeStamp)付きＴＳパケットＳ１０２としてＴＴＳバッファ１０５に送出し、後述する欠落したパケットの復元に使用するパケットのみを保存するバッファである。
したがって、ＲＴＰバッファ１０２の容量はＴＴＳバッファ１０５のように大きくする必要はない。
【００３３】
復元処理手段
復元部１０３は、上述したように、ＩＰ処理部１０１からＲＴＰバッファ１０２へのパケットの送出、および、ＲＴＰバッファ１０２からＴＴＳバッファ１０５へのパケットの送出の制御に加えて、下記に記す欠落したパケットの復元処理、および、順序が乱れて受信したパケットを正規の順序に修復する処理を行う。
【００３４】
すなわち、ＲＴＰバッファ１０２に保管されたＲＴＰパケットと、ＴＴＳバッファ１０５に蓄積されたタイムスタンプ付きＴＳパケットについて、たとえば、通信網１０におけるパケットの欠落などがあった場合、復元部１０３、パケット置換部１０６、Ｎｕｌｌパケット処理１０４と協働して、図４を参照して述べる受信・復元処理を行う。
【００３５】
復元部１０３、Ｎｕｌｌパケット処理１０４、パケット置換部１０６は、受信復元処理手段を構成する。
他方、ＲＴＰバッファ１０２は、本発明の第１のバッファ手段に対応しており、復元処理のための補助バッファであり、復元処理手段に含めることができる。
また、ＴＴＳバッファ１０５は、本発明の第１のバッファ手段に対応しており、アダプティブクロック方式に基づいて、通信網１０から受信したパケットを蓄積するバッファとして機能する一方、復元処理手段の一部としても機能する。
【００３６】
復元部１０３
復元部１０３は、復元判定部１０３Ａと、復元処理部１０３Ｂとを有する。
復元部１０３は、パケットの欠落がなく下記の復元処理が不要と判断した場合は、ＲＴＰパケットのペイロードデータをＲＴＰバッファ１０２からＴＴＳバッファ１０５に送出するように、ＲＴＰバッファ１０２に指示する（ＲＴＰバッファ１０２を制御する）。
【００３７】
復元部１０３は、ＲＴＰバッファ１０２に保存されたＲＴＰパケットに欠落があることを検出した場合、後から到来するパケットを参照して、その欠落が復元可能な場合には欠落したパケットを復元する処理を行う。
また、復元部１０３は、ＲＴＰバッファ１０２に保管した受信したパケットの順序が乱れている場合、たとえば、受信順序が逆になっている場合、その順序を基に戻す処理を行う。
その詳細を後述する。
【００３８】
復元判定部１０３Ａは、ＩＰ処理部１０１からＲＴＰバッファ１０２に入力されるＲＴＰパケットデータＳ１０１に付与されているパケット番号を連続的に監視する。
【００３９】
ＲＴＰパケットの欠落の復元
復元判定部１０３ＡによるＲＴＰバッファ１０２に入力されるＲＴＰパケットデータＳ１０１に付与されているパケット番号を連続的に監視することにより、復元判定部１０３ＡはＲＴＰパケットの欠落があるか否かを判定することができる。
【００４０】
ＲＴＰパケットの欠落を検出した復元判定部１０３Ａは、たとえば、欠落したパケットの後に受信するパケットを用いて欠落したＲＴＰパケットを復元可能か否かを判定する。
たとえば、ＲＴＰパケットが映像データ、音声データなどの場合は、１〜数個のパケットが欠落したとしても、映像データまたは音声データの連続性を考慮すると、欠落したデータに相当するデータを、たとえば、上述した方法によって、通常、復元することができる。
【００４１】
復元処理部１０３Ｂは、たとえば、ＲＴＰバッファ１０２に格納されている欠落したパケットの番号の前後の番号のパケットを参照して、欠落したパケットを補間処理して、欠落したＲＴＰパケットに相当するＲＴＰパケットデータを復元する。あるいは、復元処理部１０３Ｂは、欠落したＲＴＰパケットの番号の前の番号のＲＴＰパケットデータから欠落したＲＴＰパケットを類推して、欠落したパケットデータに相当するＲＴＰパケットデータを復元する。
復元処理部１０３Ｂは、欠落したＲＴＰパケットの復元が完了したら、復元が完了したことを示す、復元完了通知信号Ｓ１０３をパケット置換部１０６に通報する。
【００４２】
ＲＴＰパケットの番号の順序の復元
また、復元判定部１０３ＡがＲＴＰバッファ１０２に入力されるＲＴＰパケットデータＳ１０１に付与されているパケット番号を連続的に監視することにより、受信処理部１００で連続的に受信しＲＴＰパケットの番号の順序が正当であるか否かを判定することができる。
ＲＴＰパケットの番号の順序が乱れる理由としては、通信網１０に障害が発生したり、通信網１０内に存在する遅延経路によって、送信機１１から送信された受信ＩＰパケットＳ１０のストリームの内部の順序で逆になる場合がある。
復元判定部１０３Ａは、このようなパケットの番号の順番が乱れていることを検出した場合、復元処理部１０３Ｂに通報する。
【００４３】
復元処理部１０３Ｂは、ＴＴＳバッファ１０５に記憶されている順序が逆のパケットの順序を正しいパケットの番号に並べなおす。これにより、ＴＴＳバッファ１０５内のＲＴＰパケットの保存順序（記憶位置）をＲＴＰパケットの番号順に修正される。
【００４４】
Ｎｕｌｌパケット処理１０４
代替パケット処理手段として機能するＮｕｌｌパケット処理部１０４は、Ｎｕｌｌデータ挿入判定部１０４Ａと、タイムスタンプ算出部１０４Ｂと、Ｎｕｌｌデータ挿入部１０４Ｃとを有する。
Ｎｕｌｌパケット処理部１０４は、代替パケットとして、ダミーデータをパケットが欠落した部分に挿入して欠落したパケットを補う。すなわち、パケットに欠落があった場合、その復元に後で受信するパケットを用いて行うためなど、パケットの欠落を検出したその時点においては欠落したパケットを復元できない場合がある。Ｎｕｌｌパケット処理部１０４が、一時的に、代替パケットをＴＴＳバッファ１０５における欠落したパケット部分に挿入する。
【００４５】
本実施の形態においては、代替パケットとして用いるデータダミーデータとして、Ｎｕｌｌ（ヌル）、すなわち、値が「０」であるデータを挿入する。
なお、代替パケットは、欠落したパケットを復元できない場合は、そのまま、欠落したパケットとして残る。
以下、詳細に述べる。
【００４６】
Ｎｕｌｌデータ挿入判定部１０４Ａは、復元判定部１０３Ａと同様に、ＲＴＰバッファ１０２に入力されるＲＴＰパケットデータＳ１０１に付与されているパケット番号を監視して、パケットの欠落があるか否かを判定する。
Ｎｕｌｌデータ挿入判定部１０４Ａが、ＩＰ処理部１０１において受信したパケットに欠落があると判定した場合、その判定結果をタイムスタンプ算出部１０４Ｂに通知して、タイムスタンプ算出部１０４Ｂの処理を行わせる。
【００４７】
タイムスタンプ算出部１０４Ｂは、パケットの欠落数を算出する。すなわち、タイムスタンプ算出部１０４Ｂは、パケットが欠落した番号の前後の番号のＲＴＰパケットの中のタイムスタンプおよび欠落したパケットの数からタイムスタンプを算出する。
Ｎｕｌｌデータ挿入部１０４Ｃは、欠落したパケットの数に相当するＮｕｌｌ（ヌル）パケット、すなわち、データの値が「０」であるパケットデータを準備して、挿入用ダミーデータＳ１０４Ａとして、ＴＴＳバッファ１０５に送出する。
Ｎｕｌｌデータ挿入部１０４Ｃが補うＮｕｌｌデータの数は、欠落したパケットの数に応じた数となる。
【００４８】
Ｎｕｌｌデータ挿入部１０４Ｃは、ＴＴＳバッファ１０５におけるパケットの欠落に応じてダミーパケットを挿入した位置と、対応するパケット番号を、挿入用ダミーデータ位置・番号信号Ｓ１０４Ｂとして、パケット置換部１０６に通知する。
【００４９】
パケット置換部１０６
パケット置換部１０６は、パケット置換処理部１０６Ａと、パケット置換テーブル１０６Ｂとを有する。
パケット置換処理部１０６Ａは、復元部１０３から復元完了通知信号Ｓ１０３が入力された場合は、パケットの置換は不要であるから、何もしない。
他方、パケット置換処理部１０６Ａは、Ｎｕｌｌパケット処理部１０４のＮｕｌｌデータ挿入部１０４Ｃから挿入用ダミーデータ位置・番号信号Ｓ１０４Ｂが入力された場合は下記に記す処理を行う。
【００５０】
パケット置換処理部１０６Ａは、Ｎｕｌｌパケット処理部１０４から挿入用ダミーデータ位置・番号信号Ｓ１０４Ｂとして出力された、ＴＴＳバッファ１０５によって、ダミーデータの（Ｎｕｌｌパケット）の挿入位置と、パケットの番号とが通知される。
パケット置換処理部１０６Ａは、パケット置換テーブル１０６Ｂに通知された内容をマップエントリとして追加する。もし、パケット置換テーブル１０６Ｂにマップエントリを追加できない場合は、パケット置換処理部１０６Ａは、パケット番号のしきい値を設定し、しきい値を設定した以前のマップエントリをパケット置換テーブル１０６Ｂから削除する。
【００５１】
また、パケット置換処理部１０６Ａは、Ｎｕｌｌパケット処理部１０４からの要求を受けて置換対象のパケットの番号に対応するポインタをパケット置換テーブル１０６Ｂに記憶されている置換データから検索する。検索によって対応するマップエントリが見つかれば、パケット置換処理部１０６Ａは、検索によって検出されたマップエントリを示すパケット置換データＳ１０６ＡをＴＴＳバッファ１０５に出力する。これにより、ＴＴＳバッファ１０５は、ＴＴＳバッファ１０５内の該当する位置にあるダミーパケット（代替パケット）を復元したパケットに置き換える。
【００５２】
また、パケット置換処理部１０６Ａのこの置換処理中に、ダミーパケットが受信処理部１００からコンテンツ処理部１１０に出力されることがないようにする。すなわち、パケット置換処理部１０６Ａは、出力停止信号Ｓ１０６Ｂをパケット出力部１０７に出力してパケット出力部１０７の処理を停止させる。
置換が終了したら、パケット置換処理部１０６Ａは、パケット出力部１０７に出力していた出力停止信号Ｓ１０６Ｂを解除し、パケット置換テーブル１０６Ｂのマップエントリを削除する。
【００５３】
パケット出力部１０７
パケット出力部１０７は、出力制御部１０７Ａと、カウンタ１０７Ｂとを有する。
パケット出力部１０７は、ＴＴＳバッファ１０５に蓄積されているＴＳパケットを、コンテンツ処理部１１０に出力するか否かを判定する。出力可能である場合は、パケット出力部１０７は、ＴＴＳバッファ１０５に格納されているタイムスタンプ付きのＴＳパケットから、タイムスタンプを外してコンテンツ処理部１１０に出力する。
コンテンツ処理部１１０には、たとえば、図１に図解した、デマルチプレクサ、デコーダが設けられており、これらにタイムスタンプが外されたＴＳパケットが入力される。
【００５４】
出力制御部１０７Ａは、アダプティブクロック方式に基づいたクロック同期処理を行う。
ストリーム出力制御部１０７Ａは、ＴＴＳバッファ１０５におけるタイムスタンプ付きのＴＳパケットのタイムスタンプと、カウンタ１０７Ｂの値を比較する。
カウンタ１０７Ｂのウカント値とＴＳパケットのタイムスタンプとが一致しているとき、出力制御部１０７Ａは、ＴＴＳバッファ１０５に格納されているデータをコンテンツ処理部１１０へ出力するためのタイミング制御を行う。
また、ＴＴＳバッファ１０５にしきい値を設けることができ、カウンタ１０７Ｂのカウント値より、ＴＴＳバッファ１０５のＴＳパケットのタイムスタンプがしきい値以内で遅延していた場合、出力制御部１０７Ａは即時に、ＴＴＳバッファ１０５からコンテンツ処理部１１０へのＴＳパケットの出力を制御する。
【００５５】
出力制御部１０７Ａはまた、ＴＳパケットの出力を無効にすることを可能にする。その場合、カウンタ１０７Ｂはカウント処理は継続してインクリメントする（増加する）。
【００５６】
さらに、ダミーパケットが挿入されたＮｕｌｌパケットが置換されていないまま出力タイミングを迎えた場合、たとえば、コンテンツ処理部１１０においてＮｕｌＬパケットを処理することが可能な場合は、出力制御部１０７Ａは、置換されていないパケットをそのまま出力する。
他方、ダミーデータを、コンテンツ処理部１１０などの後段の装置に出力したくない場合、出力制御部１０７Ａは、ダミーパケットとして特殊なデータパターンを挿入しておく。そのような特殊なデータパターンとしては、たとえば、コンテンツ処理部１１０において、たとえば、フィルタ処理などで削除可能なものを用いることができる。
【００５７】
クロック同期部１０８
クロック同期部１０８は、ＴＴＳバッファ１０５におけるＴＳデータの蓄積量、すなわち、パケットの滞留量を監視して、アダプティブクロック方式により、パケット出力部１０７のカウンタ１０７Ｂで用いるクロックの同期処理を行う。
【００５８】
図５はＩＰ処理部１０１、ＲＴＰバッファ１０２、復元部１０３、Ｎｕｌｌパケット処理１０４の受信処理および復元処理を時間を追って説明するフローチャートである。
ＩＰ処理部１０１、ＲＴＰバッファ１０２、復元部１０３、Ｎｕｌｌパケット処理１０４の詳細な処理内容は上述したので、下記の記述は概要に止める。
【００５９】
ステップＳ１、パケットの入力、ＲＴＰパケットの抽出、ＲＴＰパケットの保存
ＩＰ処理部１０１が通信網１０からパケットを入力して、入力したパケットからＲＴＰパケットを抽出する。
ＲＴＰバッファ１０２は、ＩＰ処理部１０１から出力されるＲＴＰパケットデータＳ１０１を保存する。ＲＴＰバッファ１０２に保存されたＲＴＰパケットデータは、欠落したパケットの検出と、欠落したパケットの復元に使用される。
【００６０】
ステップＳ２、パケットの欠落の判定
復元部１０３の復元判定部１０３Ａは、ＲＴＰバッファ１０２に入力されるＲＴＰパケットを連続的に監視して、受信処理部１００で受信したパケットに欠落があるか否かを判定する。
復元判定部１０３Ａが、パケットの欠落を検出したら、ステップ３の処理に移行し、ステップＳ３〜５において、代替パケットの挿入、パケット置換テーブルへの登録処理を行う。
パケットの欠落がなければ、ステップ６の処理に移行する。
【００６１】
ステップＳ３、挿入するタイムスタンプの算出
、Ｎｕｌｌパケット処理１０４のタイムスタンプ算出部１０４Ｂは、ＴＴＳバッファ１０５の最新のタイムスタンプ付きＴＳパケットのタイムスタンプと、ＲＴＰバッファ１０２への入力パケットの先頭のタイムスタンプと、欠落したパケット数から、挿入するタイムスタンプ数を算出する。
【００６２】
ステップＳ４、代替パケット（ダミーパケット）の挿入
Ｎｕｌｌパケット処理１０４のＮｕｌｌデータ挿入部１０４Ｃは、欠落したパケットの数に相当する数の代替パケットとして、挿入用ダミーデータＳ１０４ＡをＴＴＳバッファ１０５に出力する。ＴＴＳバッファ１０５は、入力された挿入用ダミーデータＳ１０４Ａに基づいて、欠落したパケットに対応する部分のデータを書き換える。
【００６３】
ステップＳ５、パケット置換テーブルに登録
タイムスタンプ算出部１０４Ｂは、欠落したパケットの位置と欠落したパケット番号を示す挿入用ダミーデータ位置・番号信号Ｓ１０４Ｂをパケット置換部１０６に出力する。パケット置換処理部１０６Ａは、挿入用ダミーデータ位置・番号信号Ｓ１０４Ｂに基づいて、パケット置換テーブル１０６Ｂに欠落したパケットの位置と番号の組を登録する。
【００６４】
ステップＳ６、パケットの受信順序の判定
復元部１０３のＮｕｌｌパケット処理１０４は、ＲＴＰバッファ１０２に入力されるＲＴＰパケットに付与されているパケットの番号を連続的に監視して、受信したパケットの順番が乱れていないか否かを判定する。
受信したパケットの順番が正常ならば、ステップＳ１０の処理に移行する。受信したパケットの順序が逆などの乱れがある場合は、ステップＳ７の処理に移行する。
【００６５】
ステップＳ７、置換テーブルの検索
パケット置換処理部１０６Ａは、パケット置換テーブル１０６Ｂに記録されている置換データから置換対象のパケットの番号に対応するポインタを検索する。
対応するポインタが検索できた場合は、ステップＳ８の処理に移行し、検索できない場合は、ステップＳ１１の処理に移行する。
【００６６】
ステップＳ８、ＴＴＳバッファ１０５からＴＳパケットの出力禁止
パケット置換処理部１０６Ａは、パケット出力部１０７に対して、出力停止信号Ｓ１０６Ｂを出力して、ＴＴＳバッファ１０５からタイムスタンプ無しＴＳパケットＳ１０５を出力することを禁止させる。
【００６７】
ステップＳ９、パケットの置換処理
パケット置換処理部１０６Ａは、ＴＴＳバッファ１０５と協働して、ＴＴＳバッファ１０５に蓄積されている乱れたパケットの受信順序を正常に戻す処理を行う。
【００６８】
ステップＳ１０、ＴＳパケットの出力再開
パケット置換処理部１０６Ａは、パケット出力部１０７に対してパケット置換データＳ１０６Ａを解除する指示を行う。これにより、パケット出力部１０７は、ＴＴＳバッファ１０５からのＴＳパケットの出力を再開する。
【００６９】
ステップＳ１１、復元可能の判定
復元判定部１０３Ａは、欠落したパケットを復元可能か否かを判定する。
復元可能な場合はステップＳ１２の処理に移行し、復元できない場合は、処理を終了する。なお、復元できない場合は、ステップＳ４において欠落したパケットには代替パケットとして、Ｎｕｌｌデータが挿入されている。
【００７０】
ステップＳ１２
パケット置換部１０６のパケット置換処理部１０６Ａは、パケット置換テーブル１０６Ｂを検索して対応するマップエントリを探す。
対応するマップエントリを検索できたら、ステップＳ１３の処理に移行する。
対応するマップエントリを検索できなかったら、処理を終了する。この場合、欠落したパケットに対応する部分には代替パケットとして、ダミーパケットが残る。
【００７１】
ステップＳ１３、復元処理
復元処理部１０３Ｂは、欠落したパケット部分の復元処理を行う。
【００７２】
ステップＳ１４、パケット置換処理
パケット置換テーブル１０６Ｂは、復元処理部１０３Ｂで復元処理した結果に基づいて、ＴＴＳバッファ１０５に蓄積されている欠落したパケットを置換する。
【００７３】
以上の処理により、まず、欠落したパケットに対して、代替パケットとして、Ｎｕｌｌデータが挿入され、復元可能な場合は代替パケットが挿入された部分が復元されたパケットに置換される。
【００７４】
図６は、アダプティブクロック方式に基づく、ＴＴＳバッファ１０５からコンテンツ処理部１１０へＴＳパケットの出力処理、すなわち、ＴＴＳバッファ１０５のバッファ処理を示す、フローチャートである。
【００７５】
ステップＳ２１、ＴＴＳバッファ１０５の空きを判定
パケット出力部１０７の出力制御部１０７Ａは、ＴＴＳバッファ１０５が空きか否か判定する。
ＴＴＳバッファ１０５が空いている場合、ステップ３１の処理に移行し、ＴＴＳバッファ１０５にパケットが存在していれば、ステップ２２の処理に移行する。
【００７６】
ステップＳ２２、タイムスタンプの比較の有効性
出力制御部１０７Ａは、ＴＴＳバッファ１０５に蓄積されているタイムスタンプ付きのＴＳパケットのタイムスタンプと、カウンタ１０７Ｂのカウント値を比較して、比較の有効性を判定する。
比較が有効でない場合は、ステップ３１の処理に移行する。
【００７７】
ステップＳ２３、タイムスタンプの比較
出力制御部１０７Ａは、ＴＴＳバッファ１０５に蓄積されているタイムスタンプ付きのＴＳパケットの先頭のパケットのタイムスタンプと、カウンタ１０７Ｂのカウント値を比較する。
【００７８】
ステップＳ２４、２５
ステップＳ２４における出力制御部１０７Ａの比較により、ＴＴＳバッファ１０５に蓄積されているＴＳパケットの先頭のパケットのタイムスタンプが、カウンタ１０７Ｂのカウント値より大きい場合は、ステップＳ２５の処理に移行する。
ステップＳ２５において、出力制御部１０７Ａは、タイムスタンプの差分がしきい値以内か否かを判定する。
【００７９】
ステップＳ２６、パケットの即時出力
ステップＳ２５において、出力制御部１０７Ａが、タイムスタンプの差分がしきい値以内と判定した場合、出力制御部１０７Ａは、ＴＴＳバッファ１０５と協働して、ＴＴＳバッファ１０５からＴＳパケットをコンテンツ処理部１１０に即時出力する。
【００８０】
ステップＳ２７、パケットの破棄
ステップＳ２５において、出力制御部１０７Ａが、タイムスタンプの差分がしきい値以内と判定しなかった場合、出力制御部１０７Ａは、ＴＴＳバッファ１０５と協働して、からＴＳパケットを破棄する処理を行う。
【００８１】
ステップＳ２８、タイムスタンプの一致判定
出力制御部１０７Ａは、ＴＴＳバッファ１０５に蓄積されているＴＳパケットのタイムスタンプと、カウンタ１０７Ｂのカウント値を比較して、両者の値が一致しているか否かを判定する。
【００８２】
ステップＳ２９、ＴＳパケットの出力
出力制御部１０７Ａは、ＴＴＳバッファ１０５に蓄積されているＴＳパケットののタイムスタンプと、カウンタ１０７Ｂのカウント値とが一致している場合、ＴＴＳバッファ１０５と協働して、ＴＴＳバッファ１０５に蓄積されているＴＳパケットをコンテンツ処理部１１０に出力する。
【００８３】
ステップＳ３０、カウンタ一致を待つ
出力制御部１０７Ａは、ＴＴＳバッファ１０５に蓄積されているＴＳパケットののタイムスタンプと、カウンタ１０７Ｂのカウント値とが一致していない場合、一致するまで待機する。
【００８４】
ステップＳ３１、カウンタ１０７Ｂのインクリメント
出力制御部１０７Ａは、上記バッファ処理に伴い、カウンタ１０７Ｂのカウントを増加させる。
【００８５】
図５および図６を参照して述べた受信処理部１００における処理により、パケットの復元処理手段における欠落したパケットの復元処理のために、ＴＴＳバッファ１０５のバッファ処理の影響がなくなる。その結果、ＴＴＳバッファ１０５のバッファ量の変動が小さくなる。したがって、ＴＴＳバッファ１０５の蓄積量（滞留量）を監視してクロック同期を行うアダプティブクロック方式の精度が向上する。換言すれば、アダプティブクロック方式を効果的に活用することができる。
【００８６】
以下、本実施の形態と従来方法との結果の対比を行う。
図７（Ａ）は従来のアダプティブクロック方式の結果を示す図であり、図７（Ｂ）は本発明の上記実施の形態による結果を示す図である。
バッファ（本発明の実施の形態のＴＴＳバッファ１０５）の蓄積量があるしきい値に達したときにクロックの同期制御を行う。
このしきい値は、バッファのオーバーフローまたはアンダーフローを回避するため、ＴＳデータが通信網を通過するときに受けるジッタを考慮して設定されることがある。
【００８７】
本発明の実施の形態のコンテンツ処理部１１０によれば、欠落したパケットの復元処理によって、復元処理手段のＴＴＳバッファ１０５のバッファ処理の影響がなくなるため、図７（Ｂ）に示したように、ＴＴＳバッファ１０５のしきい値を小さく設定するこができる。その結果、ＴＴＳバッファ１０５の容量を削減することができる。
【００８８】
本発明の実施の形態に際しては、上述した実施の形態に限定されず、種々の変形態様をとることができる。
たとえば、受信処理部１００の構成を、図４に図解した例示においては、ＩＰ処理部１０１、ＲＴＰバッファ１０２、復元部１０３、Ｎｕｌｌパケット処理１０４、ＴＴＳバッファ１０５、パケット置換部１０６、パケット出力部１０７、クロック同期部１０８と機能分離した構成としたが、必ずしも、この例示的な構成には限定されない。
第１のバッファ手段としてのＲＴＰバッファ１０２と、第２のバッファ手段としてのＴＴＳバッファ１０５とは分離する必要がある。しかしながら、たとえば、復元部１０３、Ｎｕｌｌパケット処理１０４、パケット置換部１０６は、図４を参照して述べた処理内容からも自明なように、これらの処理は連携して行う必要があることから、一体に構成した信号処理装置、たとえば、コンピュータを用いた信号処理装置で実現することもできる。
【００８９】
同様に、たとえば、復元部１０３の構成を、復元判定部１０３Ａと、復元処理部１０３Ｂに分離したことも例示であり、これらの処理を一体的な装置が実現することもできる。
【００９０】
他方、Ｎｕｌｌパケット処理１０４、パケット置換部１０６、パケット出力部１０７などの構成も例示であり、たとえば、これらの装置をそれぞれ一体的な装置によって構成することができる。
【００９１】
したがって、本発明のデータ受信処理方法としては、たとえば、図４および図５を参照した述べた例示した処理内容を実現する内容であればよい。
【００９２】
本発明の実施の形態として、たとえば、ＩＰテレビジョン装置への適用を例示したが、本発明のデータ受信処理方法およびデータ受信処理装置は、ＩＰテレビジョン装置への適用に限定される訳ではなく、上述した処理内容だ適用可能な種々の装置に適用できる。
【図面の簡単な説明】
【００９３】
【図１】図１はアダプティブクロック方式を適用した従来のデータ受信処理装置を想定した構成図である。
【図２】図２は従来の欠落したパケットを復元する方法を説明する図である。
【図３】図３は本発明の受信機の実施の形態の構成図である。
【図４】図４は図３に図解した本発明の実施の形態の受信処理部の構成図である。
【図５】図５は図４に図解した受信処理部におけるパケットの受信信号処理を示すフローチャートである。
【図６】図６は図４に図解した受信処理部におけるパケットの出力処理を示すフローチャートである。
【図７】図７（Ａ）は従来のアダプティブクロック方式の結果を示す図であり、図７（Ｂ）は本発明の上記実施の形態による結果を示す図である。
【符号の説明】
【００９４】
１…通信システム、１０…通信網、１１…送信機、１２…受信機、１００…受信処理部、１１０…コンテンツ処理部、１０１…ＩＰ処理部、１０２…ＲＴＰバッファ、１０３…復元部、１０３Ａ…復元判定部、１０３Ｂ…復元処理部、１０４…Ｎｕｌｌパケット処理部、１０４Ａ…Ｎｕｌｌデータ挿入判定部、１０４Ｂ…タイムスタンプ算出部、１０４Ｃ…Ｎｕｌｌパケット挿入部、１０５…ＴＴＳバッファ、１０６…パケット置換部、１０６Ａ…パケット置換処理部、１０６Ｂ…パケット置換テーブル、１０７…パケット出力部、１０７Ａ…出力制御部、１０７Ｂ…カウンタ、クロック同期部
Ｓ１０…受信ＩＰパケット、Ｓ１０１…ＲＴＰパケットデータ、Ｓ１０２…タイムスタンプ（TimeStamp)付きＴＳパケット、Ｓ１０３…復元完了通知信号、Ｓ１０４Ａ…挿入用ダミーデータ（代替データ）、Ｓ１０４Ｂ…挿入用ダミーデータ位置・番号信号、Ｓ１０５…タイムスタンプ無しＴＳパケット
【特許請求の範囲】
【請求項１】
パケット化されたコンテンツ情報に各パケットの出力順序を示す連続性を示す情報が付加されたストリームを入力する入力手段と、
該入力手段で入力した前記連続性を示す情報が付加されたストリームを保存する第１のバッファ手段と、
該第１のバッファ手段から出力されたストリームを蓄積する第２のバッファ手段と、
少なくとも、前記第１のバッファ手段に入力されるストリーム内の連続性の有無に基づいてパケットに欠落が生じたことを検出し、前記第２のバッファ手段に記憶されている検出した欠落したパケットデータ部分に代替パケットを挿入し、欠落したパケットが復元処理可能な場合、復元したパケットを前記第２のバッファ手段に保存された代替パケットを置き換える、復元処理手段と、
前記第２のバッファ手段に蓄積されたパケットデータを出力する出力制御手段と
を備えたデータ受信処理装置。
【請求項２】
前記第１のバッファ手段は、前記入力手段から入力されたストリームおよび前記復元処理に必要なパケットのみを保存する、
請求項１に記載のデータ受信処理装置。
【請求項３】
前記復元処理手段は、前記第１のバッファ手段に保存されるストリーム内のパケットの番号の順序が乱れていることを検出した場合に、前記第２のバッファ手段に保存されたパケットの順序を正しく修正する、
請求項１に記載のデータ受信処理装置。
【請求項４】
前記復元処理手段は、
復元部と、
代替パケット処理部と、
パケット置換部と
を有し、
前記復元部は、前記パケットの欠落を検出し、前記パケットの順番の不規則を検出する復元判定部と、前記欠落したパケットを復元する復元処理部とを有し、
前記代替パケット処理部は、代替パケットデータ挿入判定部と、欠落したパケットの数と位置を算出するタイムスタンプ算出部と、前記第２のバッファ手段に代替パケットを挿入する処理を行う代替パケット挿入部とを有し、
前記パケット置換部は、欠落したパケットの置換処理を行うパケット置換処理部と、パケット置換テーブルとを有する、
請求項１〜３のいずれかに記載のデータ受信処理装置。
【請求項５】
前記第２のバッファ手段への前記第１のバッファ手段から出力されたストリームの蓄積および、前記出力制御手段による前記第２のバッファ手段からのパケットデータの出力は、アダプティブクロック方式に基づくクロック同期による、
請求項１〜４のいずれかに記載のデータ受信処理装置。
【請求項６】
前記パケット化されたコンテンツ情報は、映像データおよび音声データを圧縮して多重化したパケットデータを含み、
前記各パケットの出力順序を示す連続性を示す情報は、タイムスタンプを含む、
請求項１〜５のいずれかに記載のデータ受信処理装置。
【請求項７】
第１のバッファ手段と、第２のバッファ手段とを有する受信装置におけるデータ受信処理を行うため、
入力されるパケット化されたコンテンツ情報に各パケットの出力順序を示す連続性を示す情報が付加されたストリームを入力する工程と、
該入力手段で入力した前記連続性を示す情報が付加されたストリームを前記第１のバッファ手段に保存する第１のバッファ処理工程と、
該第１のバッファ手段から前記ストリームを読みだして前記第２のバッファ手段に蓄積する第２のバッファ処理工程と、
少なくとも、前記第１のバッファ手段に入力されるストリーム内の連続性の有無に基づいてパケットに欠落が生じたことを検出する工程と、
前記パケットの欠落を検出したとき、前記第２のバッファ手段に記憶されている検出した欠落したパケットデータ部分に代替パケットを挿入する代替パケット挿入工程と、
前記欠落したパケットが復元処理可能な場合、復元したパケットを前記第２のバッファ手段に保存された代替パケットを置き換える、置換工程と
前記第２のバッファ手段に蓄積されたパケットデータを出力する出力制御工程と
を有するデータ受信処理方法。
【請求項１】
パケット化されたコンテンツ情報に各パケットの出力順序を示す連続性を示す情報が付加されたストリームを入力する入力手段と、
該入力手段で入力した前記連続性を示す情報が付加されたストリームを保存する第１のバッファ手段と、
該第１のバッファ手段から出力されたストリームを蓄積する第２のバッファ手段と、
少なくとも、前記第１のバッファ手段に入力されるストリーム内の連続性の有無に基づいてパケットに欠落が生じたことを検出し、前記第２のバッファ手段に記憶されている検出した欠落したパケットデータ部分に代替パケットを挿入し、欠落したパケットが復元処理可能な場合、復元したパケットを前記第２のバッファ手段に保存された代替パケットを置き換える、復元処理手段と、
前記第２のバッファ手段に蓄積されたパケットデータを出力する出力制御手段と
を備えたデータ受信処理装置。
【請求項２】
前記第１のバッファ手段は、前記入力手段から入力されたストリームおよび前記復元処理に必要なパケットのみを保存する、
請求項１に記載のデータ受信処理装置。
【請求項３】
前記復元処理手段は、前記第１のバッファ手段に保存されるストリーム内のパケットの番号の順序が乱れていることを検出した場合に、前記第２のバッファ手段に保存されたパケットの順序を正しく修正する、
請求項１に記載のデータ受信処理装置。
【請求項４】
前記復元処理手段は、
復元部と、
代替パケット処理部と、
パケット置換部と
を有し、
前記復元部は、前記パケットの欠落を検出し、前記パケットの順番の不規則を検出する復元判定部と、前記欠落したパケットを復元する復元処理部とを有し、
前記代替パケット処理部は、代替パケットデータ挿入判定部と、欠落したパケットの数と位置を算出するタイムスタンプ算出部と、前記第２のバッファ手段に代替パケットを挿入する処理を行う代替パケット挿入部とを有し、
前記パケット置換部は、欠落したパケットの置換処理を行うパケット置換処理部と、パケット置換テーブルとを有する、
請求項１〜３のいずれかに記載のデータ受信処理装置。
【請求項５】
前記第２のバッファ手段への前記第１のバッファ手段から出力されたストリームの蓄積および、前記出力制御手段による前記第２のバッファ手段からのパケットデータの出力は、アダプティブクロック方式に基づくクロック同期による、
請求項１〜４のいずれかに記載のデータ受信処理装置。
【請求項６】
前記パケット化されたコンテンツ情報は、映像データおよび音声データを圧縮して多重化したパケットデータを含み、
前記各パケットの出力順序を示す連続性を示す情報は、タイムスタンプを含む、
請求項１〜５のいずれかに記載のデータ受信処理装置。
【請求項７】
第１のバッファ手段と、第２のバッファ手段とを有する受信装置におけるデータ受信処理を行うため、
入力されるパケット化されたコンテンツ情報に各パケットの出力順序を示す連続性を示す情報が付加されたストリームを入力する工程と、
該入力手段で入力した前記連続性を示す情報が付加されたストリームを前記第１のバッファ手段に保存する第１のバッファ処理工程と、
該第１のバッファ手段から前記ストリームを読みだして前記第２のバッファ手段に蓄積する第２のバッファ処理工程と、
少なくとも、前記第１のバッファ手段に入力されるストリーム内の連続性の有無に基づいてパケットに欠落が生じたことを検出する工程と、
前記パケットの欠落を検出したとき、前記第２のバッファ手段に記憶されている検出した欠落したパケットデータ部分に代替パケットを挿入する代替パケット挿入工程と、
前記欠落したパケットが復元処理可能な場合、復元したパケットを前記第２のバッファ手段に保存された代替パケットを置き換える、置換工程と
前記第２のバッファ手段に蓄積されたパケットデータを出力する出力制御工程と
を有するデータ受信処理方法。
【図１】
【図２】
【図３】
【図４】
【図５】
【図６】
【図７】
【図２】
【図３】
【図４】
【図５】
【図６】
【図７】
【公開番号】特開２０１０−４１４９６（Ｐ２０１０−４１４９６Ａ）
【公開日】平成２２年２月１８日（２０１０．２．１８）
【国際特許分類】
【出願番号】特願２００８−２０３２４２（Ｐ２００８−２０３２４２）
【出願日】平成２０年８月６日（２００８．８．６）
【出願人】（０００００２１８５）ソニー株式会社 (34,172)
【Ｆターム（参考）】
【公開日】平成２２年２月１８日（２０１０．２．１８）
【国際特許分類】
【出願日】平成２０年８月６日（２００８．８．６）
【出願人】（０００００２１８５）ソニー株式会社 (34,172)
【Ｆターム（参考）】
[ Back to top ]