送信フレームを生成するための装置および方法
第１の情報フレームと第２の情報フレームとを含む情報信号から送信フレームを生成するための装置であって、該第１の情報フレームを置換フレームにより置換する場合の再構築歪みを示す第１の再構築歪み値を提供し、また該第２の情報フレームを置換フレームで置換する場合の再構築歪みを示す第２の再構築歪み値を提供するためのプロバイダー（１０５）と、該第１の再構築歪み値に応じて、または該第２の再構築値に応じて、該第１の情報フレームまたは該第２の情報フレームのいずれかを該送信フレームに導入するための手段（１０７）とを備える。本発明によると、レート歪みが最適化されたレート削減が達成可能である。
【発明の詳細な説明】
【技術分野】
【０００１】
本発明は、電気通信分野、特に通信ネットワーク、例えばインターネット上の信号送信分野に関する。
【背景技術】
【０００２】
インターネット、つまりリソースが多数のユーザによって共有されている任意のネットワークでのビデオストリーミングは、経路に沿った１つ以上のポイントにおいてネットワークノードの受信レートが発信レートよりも高くなり得るという問題に常に直面している。これはそのノードのバッファ占有量の増加、ひいてはパケット損失をもたらす。ビデオ信号については、発信リンクがサポートできるより多くのトラフィックが入ってくると、ビデオデータはより低いレートでトランスコード化されなければならないか、あるいは、ビデオパケットがドロップされなければならない。
【０００３】
トランスコード化は計算量の点で負担が大きく、ランダムなフレームドロップが、ビデオ品質に悪影響を与える恐れがある。スケーラブルビデオは、ビデオビットストリームのそれ程重要でない部分を最初にドロップする機会を提供するが、こうするとトラフィックが大きくなるにつれてかなりのドロップが生じてしまう。
【０００４】
ネットワークノードにおける優先順位機構と共にビデオパケットのサービス品質（ＱＯＳ）ラベリングは、重要性がコントロールされたデータドロップを担っている。パケットのラベリング（つまり重要性）は送信前に送信者によって決定されて、実際の送信状況を反映していない。これは、パケットの重要性が送信経路にわたって変化する場合には不都合である。
【０００５】
以下例証として、ピクチャ構成グループ：ＩＢＢＰＢＢＰ．．．を有する、時間スケーラビリティを備えたビデオストリームについて検討する。ネットワークノードがＢフレームをドロップすると、他のフレームには影響しない。しかしながら、Ｉフレーム後のＰフレームがドロップされると、次のＩフレームまでの後続の全フレーム（ＢおよびＰフレーム）が、ドロップしたフレームに左右されるため、影響されることになる。従って、最初のＰフレームがドロップされることがわかっている場合、後続の全フレームの重要性が変化する。通常少数の異なる重要性ラベルのみがあるが、同一ラベルの異なるフレームは、受信機における再構築品質に対して異なる影響を依然として有することになる。
【０００６】
Ｃ．Ｓｈａｎｎｏｎによるレート歪み理論から既知であるように、レートが低下するにつれて情報歪みは増大する。この点において、用語「歪み」は、例えば特定のレートを有する信号のサンプルとレート低下後の信号のサンプルとの差についての何がしかの測度のことである。
【０００７】
例えばピクチャグループ内の特定のフレームがドロップされる場合、フレームドロップによって生じたレート低下に関連した歪みの増大が観察される。受信機において、欠落フレームと関連した情報損失は、隠蔽ストラテジーに際し、例えば、欠落フレームが備える何らかの情報を備える事前受信フレームを導入することによる欠落フレームの再構築時に、受信機において少なくとも部分的に補償可能である。従って、受信機において隠蔽ストラテジーを適用した後で得られる再構築歪みは、隠蔽ストラテジーを適用しない場合の歪みとは異なることがある。以下、用語「再構築歪み」は、隠蔽ストラテジーを適用した後、例えば欠落フレームを他のフレームで置換した後に受信機によって観察される結果として残る金融派生情報歪みのことである。
【０００８】
Ralph Keller、Sumi Choi、Dan Decasper、Marcel Dasen、George FankhauserおよびBernhard Plattnerは「An Active Router Architecture for Multicast Video Distribution,」Proc. Infocom 2000, Tel Aviv, Israel March 2000において、アクティブルーターで実現可能なスケーラブルビデオに対するドロップストラテジーについて説明している。しかしながら、ここに開示されているドロップストラテジーを適用した後に、歪みがかなり大きくなることがあるため、ドロップの決定はレート歪みが最適な方法ではなされない。G. Ravindra、N. Balakrishnan、K.R. Ramakrishannは「Active Router Approach for Selective Packet Discard of Streamed MPEG Video under Low Bandwidth Conditions,」Proc. ICME 2000, New York, July 2000において、既にドロップしたフレームに依存している全フレームを破棄するビデオフレームのドロップストラテジーについて開示している。しかしながら、ドロップの決定は、レート歪みが最適となる方法によって多数の同時ビデオストリームについて考慮することはないため、他のビデオストリームよりもかなり大きな歪みに遭うビデオストリームもある。
【発明の開示】
【発明が解決しようとする課題】
【０００９】
本発明の目的は、レート低下に対してレート歪みが最適化された概念を提供することである。
【００１０】
この目的は、請求項１に記載の送信フレーム生成装置や、請求項１４に記載の通信ネットワークノードや、請求項１５に記載の送信信号生成装置や、請求項１６に記載の欠落フレーム再構築装置や、請求項１７に記載の送信フレーム生成方法や、請求項１８に記載の転送方法や、請求項１９に記載の送信信号生成方法や、請求項２０に記載の欠落フレーム再構築方法や、請求項２１に記載のコンピュータプログラムによって達成される。
【００１１】
本発明は、送信されない情報フレームが受信機において、置換フレーム、例えば事前送信された情報フレームと置換される場合に、情報フレームを送信するか否かの決定が、受信機で生じる追加の再構築歪みを考慮する際になされると、レート歪みが最適なレート低減が達成可能であるという見解に基づいている。すなわち、本発明は、フレーム損失を補償するために隠蔽ストラテジーを適用した後に受信機において生じる再構築歪みに関する情報を積極的に利用しており、例えば複数の情報フレームのうちの最小の再構築歪みに関連する特定の情報フレームのみが所望のレート低下を達成するために送信されない。
【００１２】
例えば複数の情報フレームを備える情報信号が、情報信号と関連したデータレートをサポートしない通信リンクを介して送信される場合、レート低下が実行されることがある。本発明によると、情報信号が備える１サブセットの情報フレームのみを備える送信フレームが提供され、隠蔽ストラテジー、例えば他のフレームによる欠落フレームの置換が実行される場合に、送信フレームに導入されない情報フレームが、送信フレームに導入されない情報フレームごとに、受信機で観察され、結果として生じる追加の再構築歪みを積極的に利用する際に判断される。本発明により、特定のフレーム組み合わせのみが送信信号に導入されないように選択されることになり、これは、例えば隠蔽ストラテジーを実行する際に受信機において追加の再構築歪みが最小となることに関連している。このように、例えば最小の達成可能な追加の再構築歪みと関連したレート低下が達成可能である。
【００１３】
本発明はさらに、例えば共通通信リンクを介して送信される複数の情報信号に対する、ジョイントレート歪みが最適化されたレート低下の概念を提供する。本発明によると、いずれの情報信号のいずれの情報フレームが例えばドロップされるか否かに関する決定は、特定の情報信号の特定の情報フレームを送信せずに、選択された隠蔽ストラテジーに従って欠落情報フレームを別の置換フレームで置換することに関連した再構築歪み情報を積極的に利用する際に、全情報信号について一緒になされることがある。情報信号ごとのドロップパターンである、送信されない情報フレームを示すドロップパターンは、最小の追加の再構築歪みと関連したデータレートの必要なドロップが全部達成可能であるように決定される。すなわち、レート低減について、受信機における知覚品質に対する悪影響が最も小さい情報フレームのみが送信されないことになる。
【００１４】
本発明のレート歪みが最適化されたフレームドロップストラテジーは、例えば重いトラフィック負荷の場合のアクティブネットワークに適用可能である。本発明のアプローチは、ビットストリーム（例えばビデオビットストリーム）に伴って送信されるサイド情報に依存している。サイド情報は、特定のフレーム損失パターンが付与されたピクチャグループについて観察される、好ましくは平均二乗誤差の意味で再構築歪みについて記述する歪み行列に配列された各ピクチャの（バイト単位の）フレームサイズならびに歪み値を含有するレートベクトルからなってもよい。サービス品質に基づくアプローチとは反対に、本発明のスキームはより大きな柔軟性を提供し、動的フレーム重要性コントロールをサポートする。本発明のレート歪みが最適化されたドロップ概念と、優先順位に基づいたドロップストラテジーとを比較する場合、かなり良好な再構築品質が観察され得て、これは例えば最大７ｄＢの改良によって反映される。
【００１５】
加えて、レート低下に対する本発明のレート歪みが最適化された概念によって、様々な送信特性に対してレートを動的に適応させることが可能になる。このために、さらに、例えば追加歪みと関連した予想フレームの損失レートを示すチャネルの状態に関する情報を、データレートの低下に関して考慮することが可能である。従来のレートの適応の機構と比較する場合、異なる情報信号、例えば異なるユーザの品質改良が達成可能である。さらに、提案されたレートが最適化されたレート低減スキームは、例えば再構築歪み値に関する情報がソース側で既に使用可能であるため、実現が容易である。さらに、クライアントソフトウェアの修正は必要ない。
【００１６】
本発明のさらなる利点は、かなりの複雑さおよび遅延増加と関連のあるトランスコード化が必要ないという点である。加えて、通信ネットワークのルーティングノードにおいて、異なる伝送の遅延や、転送される情報フレームを記憶するための有限のバッファサイズを考慮する目的に対して、簡単なドロップストラテジーが適用可能であるため、通信ネットワーク上において簡略化された送信スキームが達成可能である。さらに、本発明の機構を実現しないノードの再構築歪み値に関する追加情報のトランスペアレントな送信も達成可能である。
【００１７】
本発明のさらなる利点は、ユーザが知覚する品質全体が、サービス履歴を積極的に考慮する際に、レート低減パターンに関する以前の良好でない決定についての知識に基づいて決定が行なわれる恐れがあるということを利用することによって達成可能である。
【００１８】
本発明のさらなる利点は、本発明のレートが最適化されたレート低下の概念が、実現の複雑さが少なく、よって低コストであることのみと関連している。
【００１９】
本発明のさらなる実施形態について以下の図面を参照して詳細に説明する。
【発明を実施するための最良の形態】
【００２０】
図１は、情報信号から送信フレームを生成するための本発明の装置のブロック図を示している。図１に示されるように、情報信号は第１の情報フレーム１０１と第２の情報フレーム１０３とを備え、これらは例証として時間に関して配列されている。
【００２１】
この装置は、再構築歪み値を提供するためのプロバイダー１０５を備え、プロバイダー１０５は、第１の情報フレームまたは第２の情報フレームのいずれかを送信フレームに導入するための手段１０７に結合されている。導入手段１０７は、情報信号を受信するための入力と、送信フレームを提供するための出力とを備える。
【００２２】
一般的に、導入手段１０７は、Ｍ個の情報フレームのうちのＮ個の情報フレームを送信フレームに導入するように構成されてもよい。ここでＭはＮ以上の数字であり、Ｍは情報信号が備える情報フレーム数を示している。
【００２３】
図１に示された装置は、レート歪みが最適化された方法で情報信号から送信フレームを生成するように構成される。このために、プロバイダー１０５は、第１の情報フレームを置換フレームで置換する場合の再構築歪みを示す第１の再構築歪み値を提供し、第２の情報フレームを置換フレームで置換する場合の再構築歪みを示す第２の再構築歪み値を提供するように構成される。例えば、第１の再構築歪み値は、例えば受信機によって受信される先行情報フレームで第１の情報フレームを置換する場合の再構築歪みを示す。従って、第２の再構築歪み値は、例えば受信機によって受信されたさらなる先行情報フレームで第２の情報フレームが置換される場合の再構築歪みを示してもよい。
【００２４】
レート低下を達成するために、手段１０７は、第１の再構築歪み値に応じて、または第２の再構築歪み値に応じて第１の情報フレームまたは第２の情報フレームのいずれかを送信フレームに導入するように構成される。
【００２５】
一般的に、プロバイダー１０５は、情報信号が備える情報フレームを任意の置換フレームで置換する場合の複数の再構築歪みを示す複数の再構築歪み値を提供するように構成されることができるため、提供された再構築歪み値に基づいて、導入手段１０７は、情報信号が備える１セットの情報フレームのうちの特定の１つのサブセットの情報フレームのみを送信フレームに導入してもよく、この場合、１サブセットの導入されない情報フレームは、例えば、欠落している（つまり送信されない）フレームが情報を再構築するために先行フレームで置換される場合に受信機で観察される最小の追加の再構築歪みに関連している。
【００２６】
例えば、導入手段１０７は、最適化目的に応じて第１の情報フレームまたは第２の情報フレームのいずれかを送信フレームに導入するように構成されており、この場合、最適化目的は、ジョイントレートおよび追加の再構築歪みの低減であってもよい。例えば、最適化目的は、隠蔽ストラテジーを実行する際、例えば送信フレームを他のフレームで置換する際に受信機で観察されるレート低減と追加の再構築歪みとのトレードオフであってもよい。
【００２７】
例えば、送信フレームに導入されない情報フレームはドロップ可能である。しかしながら、現在の送信フレームに含まれない情報フレームは事前記憶することができるため、情報損失を少なくするために、その含まれないフレームを例えば以下の時間定数で以下の送信フレームに導入することも可能である。
【００２８】
本発明のさらなる態様によると、導入手段１０７は、レートおよび追加の再構築歪みを低減するために情報信号のうちのいずれの情報フレームが送信フレームに導入されないのかを判断するように構成されてもよい。例えば、導入手段１０７は、情報信号に含まれ、かつ送信フレームに導入されないフレームの組合せを示すドロップパターンを決定するように構成されてもよい。従って、挿入手段１０７は、情報信号のうちのいずれの情報フレームが送信のために送信フレームに導入されるかを決定するように構成されてもよい。このために、導入手段１０７は、いずれの情報フレームが送信フレームに導入されないのかを決定する手段を備えてもよいため、例えば最小の追加の再構築歪みと関連したレート低減が達成可能である。
【００２９】
一般的に、情報信号は複数の情報フレームを備えてもよく、この場合プロバイダー１０５は、情報フレームを置換フレームによって置換する場合の異なる再構築歪みを示す異なる再構築歪み値を提供するように構成してもよい。この場合、導入手段１０７は、レートおよび追加再構築歪みの低下に対して、送信フレームに導入されない情報フレームの組み合わせを示す低下パターンを判断するように構成してもよい。
【００３０】
例えば、情報信号はさらに第３の情報フレームを備えてもよく、この場合プロバイダー１０５は、第３の情報フレームを置換フレームによって置換する場合の再構築歪みを示す第３の再構築歪み値を提供するように構成されてもよい。第３の再構築歪み値を考慮する際に、導入手段１０７は、情報信号のうちのいずれの情報フレームが送信フレームに導入されないかを決定するように構成されてもよいため、レートおよび追加再構築歪みの低減はレート歪みが最適化された方法で達成可能である。
【００３１】
情報信号のうちのいずれの情報フレームが送信フレームに導入されないかを決定するために、導入手段１０７はコスト関数を最小化するように構成されてもよく、レート低減は、選択された情報フレームを送信しない場合、および例えば受信機において送信された選択情報フレームを他の情報フレームで置換する場合に生じる追加の再構築歪みに関連した最小コストによって達成可能である。
【００３２】
本発明のさらなる態様では、図１に示された本発明の装置はさらに、情報信号のフレーム、いずれのフレームが送信信号に導入されるか否かを選択する選択器を備えてもよい。例えば、後に選択された情報フレームは送信フレームに直接導入可能であるため、送信フレームにおいては、情報信号において選択されたフレームの出現順位を維持することが可能である。しかしながら、導入手段１０７は、送信フレームにおける選択情報フレームの出現順位を再配列し、フレームレートに応じて、例えば降順または昇順フレームレート順位で選択フレームを配列するように構成されてもよい。このために、例えばネットワーク構成や、現在使用可能な帯域を考慮することが可能である。
【００３３】
本発明のさらなる態様によると、導入手段１０７は、情報信号のうちのいずれの情報フレームが送信フレームに導入されないのかを決定するために、あるいはいずれの情報フレームが送信フレームに導入されるのかを決定するために、最適化問題を解決するように構成してもよい。最適化問題はコスト関数として構築されることがあり、これは、情報信号のうちのいずれの情報フレームが送信フレームに導入されないのかを決定するために最小化される。コスト関数は例えば、データレート削減と関連した追加コストとして追加の再構築歪みを反映することがある。しかしながら、コスト関数はさらに、全低下（または破棄）フレームを考慮する場合にレート低減と、全再構築歪みの追加増加との組み合わせを反映することがある。
【００３４】
導入手段１０７は、情報信号のうちのいずれの情報フレームが送信フレームに導入されないのかを判断するために、コスト関数を最小化するように構成されてもよい。
【００３５】
本発明のさらなる態様によると、導入手段１０７は、特定の再構築歪みと関連した特定のデータレートの低減に対していずれのフレーム結合が送信信号に導入されないのかを判断するために、例えば所定のフレーム結合を参照するように構成されてもよい。所定の設定は例えば、上記コスト関数のいずれかを最小にすることによってアプリオリに算出されてもよい。低下されるフレーム結合を示す事前に算出された設定は、例えば必要なデータレート低下に応じて扱われることがある。従って、特定のフレーム結合や特定のフレームは、例えば受信機において隠蔽ストラテジーを適用する場合の最小の追加の再構築歪みを得ながら最大のレート低減を達成するために、特定のフレームの組合せまたは特定のフレームをドロップさせるように迅速に判断可能である。
【００３６】
本発明のさらなる態様によると、導入手段１０７は、算出手段によってコスト関数を最小にするように構成されてもよい。例えば、導入手段１０７はドロップされる全ての可能なフレームの組合せを判断して、レート低下およびこれと関連する追加の再構築歪みを判断して、コスト関数が最小となるようにドロップされる特定のフレームの組合せを選択してもよい。
【００３７】
例えば、コスト関数は、情報信号のうちの特定の情報フレームを送信フレームに導入しないことに関連した再構築歪み値と、特定のフレームを導入しない場合に保存されるビット数との差を備えることがある。すなわち、コスト関数は、受信機において隠蔽ストラテジーを実行した後に特定の情報フレームを送信しない場合の再構築歪み値とデータレートの低下との差を備えることがある。導入手段１０７はこの場合、コスト関数が最小となるような特定の情報フレームを決定するように構成されてもよい。
【００３８】
上記実施形態では、レート歪みが最適化されたレート低下に関する本発明の概念を、単一のユーザシナリオ、つまり複数の情報フレームを有する単一の情報信号に関して取り扱った。しかしながら、本発明の概念はまた、例えば複数のユーザと関連した複数の情報信号に適用することができ、この場合、複数の情報信号が、各々が複数の情報フレームを備え、共有媒体を介して、例えば遠隔受信機への共通通信リンクを介して送信される。
【００３９】
本発明のさらなる態様によると、本発明の装置は、さらなる情報信号からさらなる送信フレームをさらに生成するように構成されることができ、この場合、このさらなる情報信号は、さらなる第１の情報フレームとさらなる第２の情報フレームとを備える。すなわち、さらなる情報信号は、情報信号について上述したように、複数のフレームを備えてもよい。好ましくは、提供手段１０５は、さらなる第１の情報フレームを置換フレームにより置換する場合の再構築歪みを示すさらなる第１の再構築歪み値を提供するように、かつさらなる第２の情報フレームを置換フレームにより置換する場合の再構築歪みを示すさらなる第２の再構築歪み値を提供するように構成される。
【００４０】
従って、導入手段１０７は、さらなる第１の再構築歪み値に応じて、またはさらなる第２の再構築歪み値に応じてさらなる第１の情報フレームまたはさらなる第２の情報フレームのいずれかをさらなる送信フレームに導入するように構成されてもよい。
【００４１】
レートおよび追加再構築歪みの低減について、さらなる情報信号のうちのいずれの情報フレームがさらなる送信信号に導入されないのかを決定するために、導入手段１０７は例えば、例えばさらなる情報信号が有するフレームの破棄と関連した再構築歪み値を参照するように構成されてもよい。
【００４２】
従って、さらなる情報信号はさらなる第３の情報フレームを備えてもよく、この場合、プロバイダー１０５は、さらなる第３の情報フレームを置換フレームで置換する場合のさらなる第３の再構築歪み値を提供するように構成されてもよい。一般的に、さらなる情報信号は複数のさらなる情報フレームを備えてもよく、この場合、プロバイダー１０５は複数のさらなる再構築歪み値を提供するように構成されており、さらなる再構築歪み値のそれぞれは、例えばフレーム置換に応じた隠蔽ストラテジーを適用する場合に受信機においてさらなる情報信号の関連情報フレームを別の置換フレームで置換する際の追加の再構築歪みと関連している。例えば、置換フレームは同じ種類の事前送信済みフレーム、例えばピクチャグループのＢフレームやＰフレームであってもよい。同様の事柄が情報信号に当てはまる。
【００４３】
一般的に、導入手段１０７は、レートおよび追加再構築歪み低下についてさらなる送信信号に導入されない情報フレーム（例えば低下パターン）の組み合わせを判断するように構成されてもよい。
【００４４】
上記説明によると、導入手段１０７はさらに、さらなる情報信号のうちのいずれの情報フレームがさらなる送信フレームに導入されないのかを判断するためにコスト関数を最小にするように構成されてもよい。
【００４５】
さらにまた、導入手段１０７は、ジョイントレートおよび追加再構築歪み低下について、情報信号のうちのいずれの情報フレームが送信フレームに導入されないのか、かつさらなる情報信号のうちのいずれの情報フレームがさらなる送信フレームに導入されないのかを共に決定するように構成されてもよい。すなわち、全追加命令歪み低下と関連した全レート低下が考慮される。これは例えば、送信フレームおよびさらなる送信フレームが共通通信リンクを介して、例えば共有媒体を介して送信される場合に好都合である。この場合、共通通信リンクの帯域は全使用可能なデータレートを決定する。
【００４６】
一般的に、複数の情報信号は、割り当てられたネットワークリソース、例えば帯域や送信電力に関して情報信号、例えばユーザ間の公正を同時に考慮する際に、情報信号ごとに適切なドロップパターンを判断するために、共に考慮されてもよい。
【００４７】
送信フレームおよびさらなる送信フレームが共通通信リンクを介して送信される場合、本発明の装置は、情報信号の情報フレームと、さらなる情報信号の情報フレームとを待ち行列にする（ｅｎｑｕｅｕｉｎｇ）ためのバッファを備えてもよく、この場合判断手段１０７は、バッファ長に応じて、またはバッファ容量に応じて情報信号のうちのいずれの情報フレームが送信フレームに導入されないのか、かつさらなる情報信号のうちのいずれの情報フレームがさらなる送信フレームに導入されないのかを決定するように構成されてもよい。
【００４８】
本発明のさらなる態様によると、導入手段１０７は、情報信号のうちのいずれの情報フレームが送信フレームに導入されるか、かつコスト関数を最小にすることによってさらなる情報信号のうちのいずれの情報フレームがさらなる情報フレームに導入されるかを決定するように構成されてもよい。
【００４９】
コスト関数は例えば、情報信号の特定のフレームを送信フレームに導入しないことと関連した再構築歪み値と、さらなる情報信号の特定のフレームをさらなるフレームに導入しないことと関連した再構築歪み値との第１の合計と、情報信号の特定のフレームを送信フレームに導入しない場合に保存されるビット数と、さらなる情報信号の特定のフレームをさらなる送信フレームに導入しない場合に保存されるビット数との第２の合計との差を備えることがある。すなわち、第１の合計は、送信されない情報フレームを置換フレームで置換することと関連した再構築歪み値の合計を備え、第２の合計は、情報フレームを送信しない場合に保存される全ビットまたはバイト数を備える。そして導入手段１０７は、コスト関数が最小となるように、情報信号の特定のフレームとさらなる情報信号の特定のフレームとを決定するように構成される。この問題について詳細に後述する。
【００５０】
本発明のさらなる態様によると、導入手段１０７はさらに、コスト関数をセットアップするように構成されてもよい。例えば、導入手段１０７は、上記の合計および／または合計の差を決定するように構成されてもよい。
【００５１】
ラグランジュコスト関数であってもよいコスト関数を最小にするために、本装置はさらに、いずれの情報フレームが送信フレームに導入されないのか、あるいはいずれのさらなる情報フレームがさらなる送信フレームに導入されないのかを判断するための最適化器を備えてもよい。
【００５２】
本発明のさらなる態様によると、導入手段１０７はさらに、フレーム情報、例えばサイド情報を送信フレームに導入するように構成されてもよく、フレーム情報は、送信フレームに導入されない情報フレームの種類を示している。例えば、フレーム情報は、ビデオ信号の場合については、Ｉフレーム、またはＢフレーム、あるいはＰフレームが送信フレームに導入されなかったか否かを示す。
【００５３】
再構築歪み値を導入手段１０７に提供するために、プロバイダー１０５はこれを受信するように、例えば、遠隔送信機が、通信ネットワーク上で再構築歪み値または再構築歪み値を示す情報を送信するように構成される場合に遠隔送信機から第１の再構築歪み値または第２の再構築歪み値を受信するように構成されてもよい。
【００５４】
しかしながら、プロバイダー１０５は、情報信号の第１の情報フレームまたは第２の情報フレームが備える情報の種類から第１の再構築歪み値または第２の再構築歪み値を推定するように構成されてもよい。この点において、用語「情報フレームの種類」は、情報フレームが備える情報の種類のことをいう。例えば、ビデオ信号の場合やピクチャの場合、情報の種類を示す情報とは例えばビデオフレームのタイプのことをいう。同様の事項がさらなる情報信号の場合、一般的に複数の情報信号に当てはまり、各情報信号は複数の情報フレームを備える。
【００５５】
加えて、プロバイダー１０５は、第１の情報フレームを異なる置換フレームで置換する場合に、各々が再構築歪みを示す複数の再構築歪み値を提供し、また第２の情報フレームを異なる置換フレームで置換する場合に、各々が再構築歪みを示す複数の再構築歪み値を提供するように構成されてもよい。すなわち、プロバイダー１０５は、例えば特定の情報フレームを全ての可能な置換フレームで置換する場合の再構築歪み値を決定するように構成されてもよい。
【００５６】
本発明のさらなる態様では、プロバイダー１０５は再構築歪み値を決定するように構成されてもよい。例えば、プロバイダー１０５は、受信機において適用された隠蔽ストラテジー、例えばフレーム置換をエミュレートするように構成されてもよい。プロバイダー１０５は、低下されるフレームを特定の置換フレームであって、例えば同種の事前送信されたフレームで置換するように、かつ再構築歪みを決定するために置換フレームを備える派生情報信号を復号化するように構成されてもよい。例えば、再構築歪みを判断するために適用される復号スキームは、受信機において適用されるソース復号スキームであってもよい。加えて、プロバイダー１０５は、再構築歪み値を決定するために隠蔽ストラテジーを適用した後、オリジナルの情報信号を復号化し、復号化されたオリジナル情報信号を結果として得られる復号情報信号と比較してもよい。
【００５７】
本発明はさらに、情報信号から送信信号を生成するための装置を提供し、ここで情報信号は上述のように情報フレームを備える。
【００５８】
本発明の装置は、情報フレームを置換フレームによって置換する場合の再構築歪みを示す再構築歪み値を提供するためのプロバイダーを備えてもよい。例えば、送信信号生成装置は上記プロバイダーを備えてもよい。
【００５９】
加えて、本発明の装置は、送信信号を取得するために情報信号と再構築歪み値とを組合せる結合器を備えてもよい。
【００６０】
プロバイダーはさらに、再構築歪み値を決定するための手段を備えてもよく、ここで判断手段は、情報フレームをさらなる置換フレームで置換する場合のさらなる再構築歪み値を決定するように構成されてもよい。
【００６１】
加えて、判断手段は、再構築歪み値を決定するためにＭＳＥ歪み値を決定するように構成されてもよい。
【００６２】
例えば、決定手段は、情報フレームを先行情報フレームで置換する場合に生じる再構築歪み値を決定断するように構成されてもよい。
【００６３】
本発明のさらなる態様によると、判断手段は、再構築歪み値を決定するために、情報フレームを置換フレームで置換することによって情報信号から得られたテスト信号を復号化するように構成されてもよい。例えば情報信号がオリジナル信号をソースコード化することにより生じる場合、決定手段は、再構築歪み値を決定するために、テスト信号をソース復号化して、ソース復号化されたテスト信号をオリジナル信号と比較するように構成されてもよい。
【００６４】
送信信号生成装置が備える決定手段の機能性はまた、上記導入手段が備える決定手段も備えてもよい点に注目すべきである。
【００６５】
加えて、送信信号生成装置は、情報信号を取得するためにオリジナル信号をソースコード化するソースコーダーを備えてもよく、この場合ソースコーダーは、隠蔽ストラテジー、例えばフレーム置換と関連した再構築歪み値を決定するように構成される。
【００６６】
加えて、結合器は、送信信号を取得するために、再構築歪み値を情報フレームに付加するように構成されてもよい。
【００６７】
装置はさらに、さらなる情報信号からさらなる送信信号を生成するように構成されてもよく、情報信号はさらなる情報フレームを備え、この場合プロバイダーは、さらなる情報フレームを置換フレームで置換する場合に生じる再構築歪み値を提供するように構成されてもよい。さらに、結合器は、さらなる送信信号を取得するためにさらなる情報信号と再構築歪み値とを結合するように構成されてもよい。
【００６８】
通信について、装置はさらに、送信信号を送信したり、さらなる送信信号を送信したりするための送信機を備えてもよい。
【００６９】
本発明はさらに、情報信号を受信するための受信機と、上述のような情報信号から送信フレームを生成するための装置と、送信フレームに基づいて送信信号を生成するための手段とを備える通信ネットワークを提供する。
【００７０】
送信信号生成手段は、送信信号を取得するために、フレーム情報（例えばサイド情報）を送信フレームに付加するように構成されてもよい。フレーム情報は上述のように、送信信号に導入されない情報フレームの種類を示すことがある。例えば、フレーム情報は、欠落フレームを同種の置換フレームによって、例えば同じタイプの情報を備える情報フレームによって置換することによって、欠落している情報フレームを再構築するためにリモートの受信機によって使用されてもよい。
【００７１】
加えて、送信信号生成手段は、送信信号を取得するために、再構築歪み値を送信フレームに付加するように構成されてもよい。再構成歪み値は、上記のように、情報フレームを置換フレームで置換する場合の再構築歪みを示すことがある。
【００７２】
再構築歪み値は、例えば通信ネットワーク上のリモートの送信機から送信可能であってもよい。この場合、受信機は、再構築歪み値を受信するように、または遠隔送信機から受信された信号の再構築歪み値を検出するように構成されてもよい。
【００７３】
加えて、受信機は、例えばマルチユーザ送信シナリオにおいてさらなる情報信号を受信するように構成されてもよい。この場合、送信フレーム生成装置は、上述のように、さらなる情報信号からさらなる送信フレームを生成するように構成されてもよい。この場合、生成手段は、さらなる送信フレームに基づいてさらなる送信信号を生成するように構成されてもよい。
【００７４】
加えて、生成手段は、送信信号を取得するために、フレーム情報を送信フレームに添付するように構成されてもよく、フレーム情報は送信フレームに導入されない情報フレームの種類を示している。従って、生成手段は、さらなる送信信号を取得するために、再構築歪み値をさらなる送信フレームに付加するように構成されてもよく、再構築歪み値は、情報フレームを置換フレームで置換する際の再構築歪みを示している。
【００７５】
本発明のさらなる態様によると、生成手段は、送信信号と、送信信号に時間的に後続するさらなる送信信号とを備える複合送信信号を生成するように構成されてもよい。例えば、生成手段は、送信される信号フレーム内の送信信号の後にさらなる送信信号を配列するように構成される。
【００７６】
さらに、装置は、送信信号や送信フレームや信号フレームを送信するための送信機を備えてもよい。
【００７７】
送信機は無線または有線送信機であってもよい。例えば、無線送信の場合、送信機は、任意のＷＬＡＮシステムの送信機機能性、例えばチャネルコード化、変調などを内蔵してもよい。従って、本発明の受信機は、例えば任意のチャネル復号化スキームを適用することによって送信信号を受信し、これを変調および復号化するように構成される。
【００７８】
加えて、本発明は、受信フレームにおける欠落フレームを再構築するための装置を提供しており、受信フレームは、フレーム情報、例えば上記のように少なくとも２種類のフレームの欠落フレームの種類を示すサイド情報を備える。例えば、フレーム情報は、ＢフレームまたはＰフレームに関する情報を備え、これはピクチャグループを備えるビデオ信号の受信可能なバージョンに含まれていない。
【００７９】
欠落フレーム再構築装置は、受信フレームのフレーム情報を検出するための手段と、欠落フレームを再構築するためにフレーム情報に応答して欠落フレームの置換フレームを生成するための手段とを備えてもよく、ここでは置換フレームの種類は好ましくは欠落フレームの種類に一致している。例えば、フレーム情報は、Ｂフレームが欠落していることを示している。この場合、生成手段は、欠落しているＢフレームを事前受信されたＢフレームによって、または事前受信されたＩフレームによって置換するように構成されてもよく、これはこの場合は隠蔽ストラテジーである。
【００８０】
以下、本発明のさらなる実施形態について図３〜８を参照して説明する。
【００８１】
Ｋ個のビデオストリームがアクティブネットワークノードに入ってきて、同じ発信リンク上のノードを出て行くシナリオを検討する。アクティブネットワークノードは、受信データストリームを１つ以上の発信リンク（無線または有線）に転送しなければならず、またパケットの転送に必要とされるよりも多くの計算リソースを有するエンティティである。例として、プログラマブルまたはアクティブなルーターや、セルラーネットワークの基地局や、ケーブルネットワークのケーブルヘッドエンドがある。
【００８２】
本発明のフレームドロップストラテジーは、ビデオビットストリームに伴って送られるサイド情報に依存している。以下、ビデオがピクチャグループ（Group of Pictures; ＧｏＰ）において発せられ、かつアクティブネットワークノードがＧｏＰのフレーム構造を知っていると仮定する。この情報はビットストリームに伴ってシグナリングされるか、前のＧｏＰから推論可能であるかのいずれかである。ビデオｋのＧｏＰ構造は、２つのＩまたはＰフレーム間のＧｏＰ長ＬkおよびＢフレーム数Ｂkによって判断される。一例として、ＧｏＰ構造ＩＢ1Ｂ2、Ｐ1Ｂ3Ｂ4Ｐ2Ｂ5Ｂ6となるＬk＝９およびＢk＝２について考えてみる。レートベクトルは、ＧｏＰにおける各フレームのフレームサイズからなる。ビデオｋにおけるフレームｎのフレームサイズは
【数１】
と表わされ、送信者における符号化プロセス時に抽出可能である。従って平均符号化レートは、長さＮkのビデオシーケンスにわたる
【数２】
の平均として、
【数３】
と与えられる。ここでｆkはビデオｋのフレームレートである。歪み行列は、欠落フレームを先行フレームで置換する場合に観察される再構築歪み値からなる。ビデオｋのフレームｎの再構築歪みはＤk（ｎ）として与えられる。従ってデコーダーにおける平均歪みは、
【数４】
と与えられる。
【００８３】
各ビデオフレームが正しく受信されれば、フレーム歪みＤk（ｎ）は、エンコーダーにおける量子化ステップに起因する符号化歪み
【数５】
に相当する。復号化するのにフレームが欠落している場合、フレーム歪みは復号化歪みよりも大きくなる。フレーム損失の場合、デコーダーは、欠落フレームではなく最近復号化されたフレームが表示される隠蔽ストラテジーを適用する。欠落フレームに依存する全フレームも欠落しているとみなされる。歪み行列は、上記隠蔽ストラテジーが付与されたフレーム低下の場合にデコーダーにおいて予想歪みを推論する必要がある全歪み値を有する。
【００８４】
以下の例は、Ｌk＝９かつＢk＝２のＧｏＰの歪み行列を示している。
【数６】
【００８５】
歪み行列
【数７】
のエントリは、隠蔽ストラテジーの一部としてフレームＦlossをＦrepで置換する場合に観察されるＭＳＥ値である。歪み行列の左の列は、行列の各行の置換フレームＦrepを示している。例えば、
【数８】
は、ＧｏＰの最初のＢフレームが欠落し、ゆえにそのＧｏＰのＩフレームで置換される場合の追加の再構築歪みを表している。Ｒは、現在のＧｏＰのＩフレームが欠落している場合の現在のＧｏＰの全フレームの置換として使用される、前のＧｏＰからのフレームである。この行列から、可能な損失パターンの派生歪みが判断可能である。ＧｏＰの全歪みは個々のフレーム損失歪みの合計として計算される。この行列はビデオの符号化時に判断可能である。ＢフレームＢ2、Ｂ4およびＢ6はＧｏＰの他のフレームの置換フレームとして使用されることはないため、歪み行列には現れない。歪み行列の列数はＧｏＰ長Ｌkに相当する。歪み行列への関連エントリの数は、
【数９】
のように判断可能である。これは以下のように簡略化可能である。
【数１０】
【００８６】
上述のように、Ｋ個のビデオストリームがアクティブネットワークノードに入ってきて、同じ発信リンク上のノードを出て行くシナリオを検討する。この発信リンクは送信レートＲoutを有する。発信リンクはサイズＢmaxのリンクバッファを有し、現在のバッファ占有量はＢ（ｔ）と記される。ドロップストラテジーは現在のバッファ占有量に基づいている。バッファが空の場合、フレームがドロップするはずはない。バッファが一杯である場合、受信機における知覚品質に対する悪影響が最も少ないフレームがドロップされるはずである。いずれのフレームをドロップさせるかという判断は、全ビデオストリームに対して共になされなければならない。上記のレートベクトルと歪み行列を考えると、アクティブネットワークノードはレート歪みが最適化されたフレームドロップを実行可能である。このために、ノードは、バッファ占有量が現在どのくらいかを決定して、最適なドロップパターンを決定するラグランジュコスト関数、
【数１１】
を最小にする。ここで、
【数１２】
は低下パターンｐに対してビデオｋに導入された追加歪みであり、
【数１３】
は低下パターンｐについて保存されるバイト数である。簡潔にするために、ビデオシーケンスのフレーム指数ｎによって連続時間ｔが置換されるが、これは、例のみとして示すなら、ドロップの決定がフレーム期間の倍数でのみなされることを意味している。
【００８７】
アクティブノードに入ってくる現在のフレームがＩフレームであれば、このフレームをドロップするか、あるいは、これを発信リンクに送信するかが可能である。これをドロップするならば、このことは、後続の全てのＰおよびＢフレームが復号化不可能であり、またドロップしなければならないことを意味している。このドロップストラテジーはこのＧｏＰの歪みをかなり増大させるが、同時に、このＧｏＰの送信レートを０に低減させることが可能になる。時間ｎでＩフレームをドロップしなければ、依然として後続の全てのＰフレームをドロップすると判断可能である。このことは歪みの低減をもたらすことになり、またレートセービングがより小さくなる。後続のＰフレームをドロップさせないと判断すれば、全てのＢフレームをドロップさせると判断することができる。また、追加歪みは削減されるが、レートセービングも小さい。ゆえに現在の受信フレームがＩフレームであれば、全４個の低下選択｛Ｉ、Ｐ、Ｂ、Ｎ｝があり、ここでＮは何もドロップしないことを示している。現在のフレームがＰフレームであれば、選択は｛Ｐ、Ｂ、Ｎ｝に削減される。現在のフレームがＢフレームであれば、選択はまた｛Ｐ、Ｂ、Ｎ｝である。この場合Ｐは、現在のＢフレーム後に送信される次のＰフレームを示していることに注目する必要がある。Ｂフレームについて他のドロップパターンを想定してもよい。しかしながら、単一のＢフレームをドロップさせる場合は、通常、レートセービングが非常に小さいため、以下Ｂフレームのドロップは常に、このＢフレームと、同一ＧｏＰにおけるＢフレームに続く全てとをドロップさせることを意味している。同様に、Ｐフレームのドロップは常に、次のＩフレームまでの全てのＰおよびＢフレームのドロップを意味している。ＩフレームのドロップはＧｏＰ全体のドロップとなる。ビデオｋについて時間ｎでの１セットの可能なドロップパターンをＡk（ｎ）と記す場合、ｋ個のビデオについて、
【数１４】
個の異なるドロップパターンを取得する。ドロップパターンのうちの１つは（６）を最小化することになる。このパターンは、時間ｎでの最適なドロップストラテジーを表している。この最小化を実行するために、（６）においてラグランジュの未定乗数λ（ｎ）の適切な値を決定しなければならない。
【００８８】
本発明によると、λ（ｎ）をバッファ占有量Ｂ（ｎ）の関数として決定する。バッファが空であれば、ビデオフレームのドロップを望まない。これはλ（ｎ）の適切な選択によって反映されなければならない。バッファが一杯の場合、λ（ｎ）は、アウトリンクバッファのこれらのフレームの待ち行列化が失敗することになるため、可能な全てのフレームがドロップされるように選択されなければならない。バッファレベルにおいてλ（ｎ）の適切な値を決定するために、これ未満ではドロップが生じないという最小バッファ占有量Ｂminを定義する。ＢminとＢmax間のλ（ｎ）の値は、λmin（ｎ）とλmax（ｎ）を線形補間することによって得られる。図３ａは、λmin（ｎ）とλmax（ｎ）との線形補間を現在のバッファ占有量Ｂ（ｎ）の関数として示しており、以下を得る。
【数１５】
【００８９】
線形補間はλ（ｎ）を補間する最も簡単な方法である。バッファ占有量がＢmaxに近づくにつれてよりアグレッシブな低下となる補間関数は、現在のバッファレベルＢ（ｎ）に対するλmin（ｎ）とλmax（ｎ）間のλ（ｎ）の二次補間を示す図３ｂに示されるように、λ（ｎ）の二次補間によって実現可能である。
【００９０】
３つのコントロールポイントＡ、ＢおよびＣによって、以下によるλ（ｎ）の二次ベジエ曲線を定義可能である。
Ａ＝（Ａx、Ａy）＝（Ｂmax、λmin（ｎ））
Ｂ＝（Ｂx、Ｂy）＝（Ｂmax、λmin（ｎ））
Ｃ＝（Ｃx、Ｃy）＝（Ｂmax、λmin（ｎ））
【数１６】
【００９１】
補間ポイントＰ＝（Ｐx、Ｐy）は、０から１にパラメータｔを変化させることによってこの曲線上をＡからＣに移動する。所与のＢ（ｎ）について、（７ａ）および（７ｂ）からｔを、次いでλ（ｎ）＝Ｐyを決定する。
【００９２】
λmin（ｎ）を判断するために、ドロップパターンごとに（６）を評価して、（６）の最小値がドロップパターンについて得られるようにλmin（ｎ）を選択し、ここでは全ｋ個のビデオストリームについてはドロップがない。このことは以下を意味している。
【数１７】
ここでＰnは、全ビデオストリームにおいてフレームのドロップが生じないパターンを表している。
【数１８】
がゼロに等しくなると、これは以下をもたらす。
【数１９】
また（９）の全ての不等式を満たしつつ可能な限り大きなλmin（ｎ）を選択する。λmin（ｎ）の値は極めて近い方法によって導かれる。このために、（６）の最小化は、以下をもたらす可能な限り多数のフレームをドロップさせるという決定（ドロップパターンＰa）につながることとなる。
【数２０】
【００９３】
これは以下をもたらす。
【数２１】
そして、（１１）における全ての不等式を満たしつつ可能な限り小さなλmax（ｎ）を選択する。
【００９４】
優先順位ベースの低下と比較した場合、提案されたＲＤ最適化ドロップストラテジーを使用することによって、平均的な再構築品質に関してどの程度の改良が達成可能かを詳細に調べる。シミュレーションにおいては、新たなＨ．２６４コーデックによって符号化された４個のビデオストリームがアクティブネットワークノードに入ってきて、同一の発信リンク上で送出されなければならないと仮定する。図６は、４個のビデオの主要特徴を要約したものである。
【００９５】
４個のビデオの組合せでの平均レートは２９０ｋｂｐｓである。特定の時点での実際のレートは、異なるフレームタイプと、シーケンスにおける種々の動きとによって大きく変化する。４個のビデオのＧｏＰ長はそれぞれ、Ｌ1＝１８、Ｌ2＝２２、Ｌ3＝２６およびＬ4＝２４である。全ビデオのＧｏＰ構造は、Ｂk＝１に相当するＩＢＰＢＰである。アウトリンクバッファのサイズは３２ＫＢｙｔｅに設定される。シミュレーションは３０００フレームのビデオセッション長について実行される。このために、ビデオシーケンスは連続的に反復される。シミュレーション時間は、フレーム期間の倍数でインクリメントされる。このことは、フレーム期間ごとに、各々が１個のビデオからの４個の新たなフレームがネットワークノードに入ってきて転送されて、ドロップの決定がなされることを意味している。
【００９６】
アウトリンクバッファは、全く同様にいずれの場合（ＲＤ最適化ドロップおよび優先順位ベースドロップ）にも作用する。ビデオフレームが発信リンク上を送信されると、まず出力バッファに配置される。バッファがかなり一杯でフレームを収容できない場合、ドロップされる。２つ以上のフレームが同時にアウトリンクバッファに送られると、パケットはこのコンテンツ（Ｉ、ＢまたはＰフレーム）に従ってラベリングされるとする。バッファが全フレームを収容できない場合、常にＢフレームを最初にドロップさせる。バッファが依然として残りのフレームに対して十分な空きがない場合、Ｐフレームが次に同様に低下されて、最終的にＩフレームがドロップされる。このドロップ機構は、比較に使用される優先順位ベースのドロップストラテジーに相当する。
【００９７】
ＲＤ最適化ドロップストラテジーについて、同一のアウトリンクバッファが使用されるが、アクティブネットワークノードは、いずれのフレームをバッファに送るかを事前に決定する。（６）の最小化によってドロップされると判断されたフレームはバッファには渡されない。最適化にかかわらず、データの追加損失をもたらす、収容可能であるより多くのデータがバッファに渡されるということが依然として生じる場合がある。従って、最適化低下パターンが判断された後にランダムなドロップが生じる場合もある。
【００９８】
実験において、ドロップ決定時の（３）における置換フレームＲとして前のＧＯＰのＩフレームを使用する。しかしながら、受信機において再構築歪みを測定する場合に、例のみとして示すなら、最近うまく復号化されたフレームを低下フレームを置換するものとして使用する。
【００９９】
図４ａは、本書で提案されたＲＤが最適化されたビデオフレーム低下概念によって得られる改良を示している。ＰＳＮＲ値が４個のビデオシーケンスについて平均化される。発信ビットレートＲoutが受信レート（２９０ｋｂｐｓ）よりも大きい場合、ＲＤが最適化されたドロップと優先順位に基づいたドロップとが同様に動作する。これは、バッファがめったにオーバーフローしないこのケースのような場合に想定され、いずれの場合でも少数のフレームのみしか失われない。しかしながら、発信レートが４個のビデオの全平均レートよりも小さい場合、ＲＤが最適化されたドロップが再構築されたビデオの品質に関してかなりの改良をもたらすということがわかる。発信リンクレートをＲout＝１５０ｋｂｐｓに選択すると、約７．５ｄＢの改良が見られる。
【０１００】
バッファレベルがＢminより大きい場合のみ、ＲＤが最適化されたドロップストラテジーがビデオフレームの低下を開始することになる。
【０１０１】
ラグランジュの未定乗数に対すして線形かつ二次補間を用いた、本願発明者らのＲＤが最適化されたドロップアプローチ（ＲＤＯＤ）が既に紹介されている。シミュレーションにおいて、さらにＲＤＯＤを優先順位ベースのランダムドロップ（ＰＲＤ）と比較する。ＰＲＤの動作原理が導入されている。従来のＰＲＤと比較して、バッファが１００％占有する前に優先順位ベースのドロップが開始されると、性能改良が期待できる。バッファ負荷が現在のしきい値Ｂ1を越える前にＢフレームをドロップすることと、しきい値Ｂ2を超える場合にＰフレームをドロップすることとによって、Ｉ対ＢおよびＰフレームの優先順位付けがより強力になる。このアプローチを、優先順位に基づいた早期ランダム低下（ＰＲＥＤ）と称する。シミュレーションにおいて、しきい値Ｂ1およびしきい値Ｂ2はＢmaxの７０％および９０％に設定される。
【０１０２】
図４ｂはビデオ再構築品質対アウトリンクレートを示しており、ここではＲＤが最適化されたビデオフレームのドロップのコンセプトによって得られる本発明の改良が示される。ＰＳＮＲ値が４個のビデオシーケンスについて平均化される。発信ビットレートＲoutが平均受信レート（２９０ｋｂｐｓ）よりも大きい場合、ＲＤが最適化されたドロップおよび優先順位ベースのドロップが同様の効果をもたらす。これはバッファがほとんどオーバーフローしないこのケースのような場合に想定され、いずれの場合にも少数のフレームのみしか失われない。しかしながら、発信レートが４個のビデオの全平均レートよりも小さい場合、ＲＤが最適化されたドロップが再構築されたビデオの品質に関してかなりの改良をもたらすことが分かる。λ（ｎ）の二次補間（ＲＤＯＤ＿ＱＩ）は線形補間（ＲＤＯＤ＿Ｌ１）よりも良好な性能をもたらす、発信リンクレートをＲout＝１５０ｋｂｐｓに選択すると、ＲＤＯＤ＿ＱＩとＰＥＲＤ間には約８ｄＢの改良がみられる。
【０１０３】
λ（ｎ）の計算はλmin（ｎ）およびλmax（ｎ）に、すなわちＢminの選択に依存している。図４ａは、再構築ビデオ品質をＢminの関数として示している。Ｂminは、十分小さく選択する限り再構築品質に関してほとんど影響を与えないことが観察可能である。図４ａのシミュレーションの発信レートは２００ｋｂｐｓおよび２５０ｋｂｐｓである。
【０１０４】
好ましくは、バッファレベルがＢminよりも大きい場合のみ、ＲＤが最適化されたドロップストラテジーがビデオフレームの低下を開始する。ここで、Ｂmaxは常に１００％占有量に相当すると仮定する。上記のように、λ（ｎ）の計算はλmin（ｎ）およびλmax（ｎ）に、すなわちＢminの選択に依存している。図４ｂは、再構築ビデオ品質を、ＲＤＰＤ＿ＱＩに対するＢminの関数として示している。Ｂminは、十分小さく選択される限り再構築品質に対する影響はほとんどないことがわかる。図５ａのシミュレーションの発信レートは２００ｋｂｐｓおよび２５０ｋｂｐｓである。
【０１０５】
上記のように、新たな受信データが使用可能になるたびにλ（ｎ）が再計算されてもよい。ＲＤＯＰ＿ＱＩを使用する場合、バッファ占有量Ｂ（ｎ）がＢmaxより小さい限りλ（ｎ）はほとんど変化しないことがわかる。計算の複雑さを削減するために、まずλ（ｎ）の算出を考慮して、λ（ｎ）の値をリフレッシュする前に後続のｍ個のフレームに対してこのλ（ｎ）を使用する。
【０１０６】
例えば、各ｎ番目のフレームと関連したｎ番目の時点に対してλ（ｎ）が決定されて、例えば後続のｎ−１個のフレームについて使用されてもよい。従って、λ（ｎ）が全フレームについてではなくｎ番目のフレームに対して決定されてもよいため、複雑さを削減することは達成することができる。さらに、例えば、さらに複雑さを削減するために、（送信可能かつ受信可能な）再構築歪み値が大きく変化する場合のみλ（ｎ）が決定されてもよい。加えて、λ（ｎ）の算出レートは適応的に低減可能である。例えば、送信の開始において、λ（ｎ）がフレームごとに判断されてもよい。続いて、例えばｎ番目、第２または第３のフレームごとにλ（ｎ）を算出する場合に、例えば派生エラーが決定されることがある。派生エラーが受入れ可能である場合、ｎ番目のフレームごとにλ（ｎ）を計算することは十分であり、ここでｎは適応的に（段階的に）決定可能である。従って、正確さと複雑さのトレードオフの関係を得ることができる。加えて、多数の情報信号、例えばビデオストリームが変化する場合のみλ（ｎ）が決定されてもよく、これによって、複雑さが一層削減される。
【０１０７】
図５ｂは、平均的なビデオ再構築品質をλのリフレッシュ間隔の関数として示している。図５ｂに示されるように、約５０個のビデオフレームについてλ（ｎ）を反復する場合に観察される品質低下はわずか０．３ｄＢである。
【０１０８】
本発明のＲＤが最適化されたビデオフレームドロップストラテジーはアクティブネットワークノードにも適用することができる。ＲＤ最適化はレートベクトルと歪み行列を使用して、ネットワーク負荷が重い場合にいずれのフレームがドロップされるかを判断する。レートベクトルおよび歪み行列は、ビデオの各ＧｏＰに伴ってサイド情報として送られる。ネットワーク自体から抽出される情報は、バッファ占有量レベルのみである。本発明のスキームを優先順位ベースのドロップと比較と、かなりの品質改良が達成可能なことがわかる。
【０１０９】
本発明は、トラフィック負荷が大きい場合にアクティブネットワークノードに適用可能なレート歪みが最適化されたビデオフレームドロップストラテジーを実現するシステムおよび方法を含んでいる。本発明のアプローチは、ビデオビットストリームに伴って送られるサイド情報に依存している。
【０１１０】
サイド情報は、各ピクチャの（バイト単位の）フレームサイズ、ならびに特定のフレーム損失パターンを付与されたピクチャグループについて観察される（ＭＳＥの）再構築歪みを記述する歪み行列を含有するレートベクトルからなる。このサイド情報は、レート歪み（ＲＤ）が最適化された方法で、ノードのオーバーロードの場合にいずれのビデオストリームのいずれのフレームが低下されるかを動的に判断するためにアクティブネットワークノードによって使用可能である。
【０１１１】
最適なドロップパターンを見つけるために、本願発明者らは、現在のバッファ占有量レベルと共にレートベクトルおよび歪み行列を使用するラグランジュコスト関数を提案する。
【０１１２】
より簡単なセットアップのために、歪み行列の一部のみが送信可能である。例えば、行列の第１の列が、前のピクチャグループの参照ピクチャ（Ｒ）を参照する歪み値を含有し、これは最適化についてすでに十分な情報である場合がある。
【０１１３】
ＧｏＰにおける参照ピクチャＲの位置は、送信経路の予想品質を反映するためにエンコーダーによって選択可能である。これは、Ｉフレームを見つけるドロップの決定に関して重要であり、これは、前のＧｏＰの最後のオリジナルピクチャと比較した条件、つまりＲが前のＧｏＰのＩフレームを参照する（高い低下パーセンテージとする）悪い条件において、またＲが中間Ｐフレームを表す通常の条件に左右される。極めて良好な条件が期待できる場合、Ｒは前のＧｏＰの最後のフレームとなるはずである。
【０１１４】
先行しているネットワーク要素において実行されたフレームドロップの決定は受信パケットから観察可能である。これらは現在のネットワークノードに対するフレームドロップの自由度を制限し、決定処理の複雑さを削減する。
【０１１５】
加えて、１つのノード内に、１つのＧｏＰ内で実行される決定が記憶されるべきである。このことは同じＧｏＰにおける次のフレームを見つける判断を簡略化する、つまり自由度の数が前のドロップの決定によって削減されて、計算が簡略化される。
【０１１６】
加えて、１つのノード内に先行しているＧｏＰに適用されたドロップの決定が記憶されるべきである。従って、Ｒの選択に応じて、Ｉフレームのどろっぷを行うという決定において、実際の歪みを考慮するために、修正歪み値を使用しなければならない。
【０１１７】
これに加えて、ユーザが知覚したサービス品質全体を考慮する判断をするためにストリーム全体の品質低下全体を得るためには、サービス履歴を含まなければならず、例えばストリームがドロップの影響を過度に被る場合、このストリームはより高い優先順位を得るはずである。このようなサービス履歴は、コスト関数における歪み行列の値への追加係数によって表されることが可能である。
【０１１８】
ＱｏＳベースのアプローチとは反対に、本発明のスキームはより大きな柔軟性を提供し、動的データ重要性コントロールをサポートする。本発明のレート歪みが最適化されたドロップ概念と優先順位ベースのドロップストラテジーとを比較する場合、かなり良好な再構築品質が観察される。最大７ｄＢの改良がシミュレーションセットアップについて得られる。
【０１１９】
上記歪み行列のシグナリングが、例えばＲＴＰプロトコル（ＲＴＰペイロードヘッダー）への拡張子として実現可能である。
【０１２０】
上記のように、本発明は、ネットワークノードにおける多数の受信ビデオストリームを様々な送信条件に、例えばビデオストリームの知覚品質をユーザに対して最適化する際の発信データレートに動的に適応させる方法に関する問題に対処する。
【０１２１】
本発明は、例示のためだけに示せば、アクティブネットワークノードおよびモバイルベースステーションに対するレート歪みが最適化されたビデオフレームドロップを提供する。特に、本発明のシステムおよび方法は、ネットワークノードにおけるビデオパケットトラフィックのシェーピングを含む。ユーザが知覚する品質に対するビデオ特徴が考慮されるため、本発明のアプローチは既知の従来のアプローチと比較して最適化されている。さらに、本発明の概念は、ビデオビットストリームに伴って送信されることがあるサイド情報に依存しており、この場合サイド情報は、例えばバイト単位のフレームサイズを含有するレートベクトルと、ピクチャグループの（ＭＳＥの）再構築歪みを記述する歪み行列とを備えてもよい。
【０１２２】
サービスベースアプローチの品質とは反対に、本発明のスキームはより大きな柔軟性を提供し、動的フレーム重要性コントロールをサポートする。より具体的には、ＱＯＳ（ＱＯＳ＝サービス品質）の提供は、共有、例えば無線ネットワークリソースでの、例えばビデオストリーミングのバッファ問題と関連している。従って、ビデオデータについて、しばしばビデオ品質に強い悪影響を及ぼすランダムなフレームドロップである計算負荷の多いトランスコード化やバケット低下が適用されることがある。スケーラブルビデオの場合、既知の従来のアプローチがそれほど重要でない部分を最初にドロップし、これによってかなりの品質低下が生じることがある。加えて、ＱＯＳラベリングはパケットのこのような重要性コントロール低下およびラベリング（つまり重要性）をサポートする。これは送信前に送信者によって判断可能であるが、この場合は実際の送信状況は考慮されない。しかしながら、パケットの重要性は送信経路に沿って変化し、パケットの重要性は他のパケットのドロップに左右され、さらには少数のＱＯＳラベルのみが使用可能である。
【０１２３】
本発明は、例えばパケットを低下させることによってネットワークノードにおけるビデオパケットトラフィックのシェーピングを含む。本発明の低下パターンは、ビデオ特徴、例えばユーザ知覚品質が考慮されるために最適化される。ビデオビットストリームに伴って送信可能なサイド情報は、いずれのビデオストリームのいずれのフレームが低下されるかを動的に判断するために、アクティブネットワークノードによって使用されてもよい。例えば、アクティブネットワークノードは上記の本発明の装置の１つを内蔵している。加えて、決定には、グローバルな正しさを考慮するために、セッション履歴を含んでもよい。
【０１２４】
図７は、アプリケーションがネットワークに追加の情報（クロスレイヤーの認識）をもたらす本発明の通信ネットワークシナリオを示している。
【０１２５】
図７に示されるように、ネットワークノード／ゲートウェイは、レート歪み行列やレートベクトルに関するサイド情報に伴った複数のビデオストリームを受信し、この場合決定アルゴリズムが、レート歪み行列が備えるレート歪み値に応じてフレームのドロップストラテジーを決定するために適用される。
【０１２６】
全ての上記実施形態が、本発明のアプローチを内蔵する装置の機能性を高めるために相互に組合せ可能である点に注目すべきである。加えて、本発明は、送信フレームを生成し、送信信号を生成し、欠落フレームを再構築または転送して、本発明の概念が実行されるような方法も提供する。
【０１２７】
さらに、本発明の方法の特定の実施要件に応じて、本発明の方法はハードウェアまたはソフトウェアで実行可能である、実施は、ディジタル記憶媒体、特に電子読み取り可能な信号を記憶しているディスクやＣＤを使用して実行可能であり、これは本発明の方法が実行されるようにプログラマブルコンピュータシステムと協働することができる。一般的に、本発明は従って、機械が読み取り可能な媒体に記憶されたプログラムコードを有するコンピュータプログラム製品であり、プログラムコードは、コンピュータプログラム製品がコンピュータ上で実行する場合に本発明の方法のうちの少なくとも１つを実行するように構成されている。すなわち、本発明の方法は従って、コンピュータプログラムがコンピュータ上で実行する場合に本発明の方法を実行するためのプログラムコードを有するコンピュータプログラムである。
【図面の簡単な説明】
【０１２８】
【図１】本発明の送信フレーム生成装置のブロック図を示す。
【図２】本発明のアクティブネットワークノードを示す。
【図３ａ】ラグランジュ未定乗数法による本発明の補間を示す。
【図３ｂ】ラグランジュ未定乗数法による本発明の補間を示す。
【図４ａ】本発明のアプローチの性能を示す。
【図４ｂ】本発明のアプローチの性能を示す。
【図５ａ】本発明のアプローチの性能を示す。
【図５ｂ】本発明のアプローチの性能を示す。
【図６】本発明のアプローチの性能を決定するのに使用される信号特徴をまとめている。
【図７】本発明の通信ネットワークシナリオを示す。
【技術分野】
【０００１】
本発明は、電気通信分野、特に通信ネットワーク、例えばインターネット上の信号送信分野に関する。
【背景技術】
【０００２】
インターネット、つまりリソースが多数のユーザによって共有されている任意のネットワークでのビデオストリーミングは、経路に沿った１つ以上のポイントにおいてネットワークノードの受信レートが発信レートよりも高くなり得るという問題に常に直面している。これはそのノードのバッファ占有量の増加、ひいてはパケット損失をもたらす。ビデオ信号については、発信リンクがサポートできるより多くのトラフィックが入ってくると、ビデオデータはより低いレートでトランスコード化されなければならないか、あるいは、ビデオパケットがドロップされなければならない。
【０００３】
トランスコード化は計算量の点で負担が大きく、ランダムなフレームドロップが、ビデオ品質に悪影響を与える恐れがある。スケーラブルビデオは、ビデオビットストリームのそれ程重要でない部分を最初にドロップする機会を提供するが、こうするとトラフィックが大きくなるにつれてかなりのドロップが生じてしまう。
【０００４】
ネットワークノードにおける優先順位機構と共にビデオパケットのサービス品質（ＱＯＳ）ラベリングは、重要性がコントロールされたデータドロップを担っている。パケットのラベリング（つまり重要性）は送信前に送信者によって決定されて、実際の送信状況を反映していない。これは、パケットの重要性が送信経路にわたって変化する場合には不都合である。
【０００５】
以下例証として、ピクチャ構成グループ：ＩＢＢＰＢＢＰ．．．を有する、時間スケーラビリティを備えたビデオストリームについて検討する。ネットワークノードがＢフレームをドロップすると、他のフレームには影響しない。しかしながら、Ｉフレーム後のＰフレームがドロップされると、次のＩフレームまでの後続の全フレーム（ＢおよびＰフレーム）が、ドロップしたフレームに左右されるため、影響されることになる。従って、最初のＰフレームがドロップされることがわかっている場合、後続の全フレームの重要性が変化する。通常少数の異なる重要性ラベルのみがあるが、同一ラベルの異なるフレームは、受信機における再構築品質に対して異なる影響を依然として有することになる。
【０００６】
Ｃ．Ｓｈａｎｎｏｎによるレート歪み理論から既知であるように、レートが低下するにつれて情報歪みは増大する。この点において、用語「歪み」は、例えば特定のレートを有する信号のサンプルとレート低下後の信号のサンプルとの差についての何がしかの測度のことである。
【０００７】
例えばピクチャグループ内の特定のフレームがドロップされる場合、フレームドロップによって生じたレート低下に関連した歪みの増大が観察される。受信機において、欠落フレームと関連した情報損失は、隠蔽ストラテジーに際し、例えば、欠落フレームが備える何らかの情報を備える事前受信フレームを導入することによる欠落フレームの再構築時に、受信機において少なくとも部分的に補償可能である。従って、受信機において隠蔽ストラテジーを適用した後で得られる再構築歪みは、隠蔽ストラテジーを適用しない場合の歪みとは異なることがある。以下、用語「再構築歪み」は、隠蔽ストラテジーを適用した後、例えば欠落フレームを他のフレームで置換した後に受信機によって観察される結果として残る金融派生情報歪みのことである。
【０００８】
Ralph Keller、Sumi Choi、Dan Decasper、Marcel Dasen、George FankhauserおよびBernhard Plattnerは「An Active Router Architecture for Multicast Video Distribution,」Proc. Infocom 2000, Tel Aviv, Israel March 2000において、アクティブルーターで実現可能なスケーラブルビデオに対するドロップストラテジーについて説明している。しかしながら、ここに開示されているドロップストラテジーを適用した後に、歪みがかなり大きくなることがあるため、ドロップの決定はレート歪みが最適な方法ではなされない。G. Ravindra、N. Balakrishnan、K.R. Ramakrishannは「Active Router Approach for Selective Packet Discard of Streamed MPEG Video under Low Bandwidth Conditions,」Proc. ICME 2000, New York, July 2000において、既にドロップしたフレームに依存している全フレームを破棄するビデオフレームのドロップストラテジーについて開示している。しかしながら、ドロップの決定は、レート歪みが最適となる方法によって多数の同時ビデオストリームについて考慮することはないため、他のビデオストリームよりもかなり大きな歪みに遭うビデオストリームもある。
【発明の開示】
【発明が解決しようとする課題】
【０００９】
本発明の目的は、レート低下に対してレート歪みが最適化された概念を提供することである。
【００１０】
この目的は、請求項１に記載の送信フレーム生成装置や、請求項１４に記載の通信ネットワークノードや、請求項１５に記載の送信信号生成装置や、請求項１６に記載の欠落フレーム再構築装置や、請求項１７に記載の送信フレーム生成方法や、請求項１８に記載の転送方法や、請求項１９に記載の送信信号生成方法や、請求項２０に記載の欠落フレーム再構築方法や、請求項２１に記載のコンピュータプログラムによって達成される。
【００１１】
本発明は、送信されない情報フレームが受信機において、置換フレーム、例えば事前送信された情報フレームと置換される場合に、情報フレームを送信するか否かの決定が、受信機で生じる追加の再構築歪みを考慮する際になされると、レート歪みが最適なレート低減が達成可能であるという見解に基づいている。すなわち、本発明は、フレーム損失を補償するために隠蔽ストラテジーを適用した後に受信機において生じる再構築歪みに関する情報を積極的に利用しており、例えば複数の情報フレームのうちの最小の再構築歪みに関連する特定の情報フレームのみが所望のレート低下を達成するために送信されない。
【００１２】
例えば複数の情報フレームを備える情報信号が、情報信号と関連したデータレートをサポートしない通信リンクを介して送信される場合、レート低下が実行されることがある。本発明によると、情報信号が備える１サブセットの情報フレームのみを備える送信フレームが提供され、隠蔽ストラテジー、例えば他のフレームによる欠落フレームの置換が実行される場合に、送信フレームに導入されない情報フレームが、送信フレームに導入されない情報フレームごとに、受信機で観察され、結果として生じる追加の再構築歪みを積極的に利用する際に判断される。本発明により、特定のフレーム組み合わせのみが送信信号に導入されないように選択されることになり、これは、例えば隠蔽ストラテジーを実行する際に受信機において追加の再構築歪みが最小となることに関連している。このように、例えば最小の達成可能な追加の再構築歪みと関連したレート低下が達成可能である。
【００１３】
本発明はさらに、例えば共通通信リンクを介して送信される複数の情報信号に対する、ジョイントレート歪みが最適化されたレート低下の概念を提供する。本発明によると、いずれの情報信号のいずれの情報フレームが例えばドロップされるか否かに関する決定は、特定の情報信号の特定の情報フレームを送信せずに、選択された隠蔽ストラテジーに従って欠落情報フレームを別の置換フレームで置換することに関連した再構築歪み情報を積極的に利用する際に、全情報信号について一緒になされることがある。情報信号ごとのドロップパターンである、送信されない情報フレームを示すドロップパターンは、最小の追加の再構築歪みと関連したデータレートの必要なドロップが全部達成可能であるように決定される。すなわち、レート低減について、受信機における知覚品質に対する悪影響が最も小さい情報フレームのみが送信されないことになる。
【００１４】
本発明のレート歪みが最適化されたフレームドロップストラテジーは、例えば重いトラフィック負荷の場合のアクティブネットワークに適用可能である。本発明のアプローチは、ビットストリーム（例えばビデオビットストリーム）に伴って送信されるサイド情報に依存している。サイド情報は、特定のフレーム損失パターンが付与されたピクチャグループについて観察される、好ましくは平均二乗誤差の意味で再構築歪みについて記述する歪み行列に配列された各ピクチャの（バイト単位の）フレームサイズならびに歪み値を含有するレートベクトルからなってもよい。サービス品質に基づくアプローチとは反対に、本発明のスキームはより大きな柔軟性を提供し、動的フレーム重要性コントロールをサポートする。本発明のレート歪みが最適化されたドロップ概念と、優先順位に基づいたドロップストラテジーとを比較する場合、かなり良好な再構築品質が観察され得て、これは例えば最大７ｄＢの改良によって反映される。
【００１５】
加えて、レート低下に対する本発明のレート歪みが最適化された概念によって、様々な送信特性に対してレートを動的に適応させることが可能になる。このために、さらに、例えば追加歪みと関連した予想フレームの損失レートを示すチャネルの状態に関する情報を、データレートの低下に関して考慮することが可能である。従来のレートの適応の機構と比較する場合、異なる情報信号、例えば異なるユーザの品質改良が達成可能である。さらに、提案されたレートが最適化されたレート低減スキームは、例えば再構築歪み値に関する情報がソース側で既に使用可能であるため、実現が容易である。さらに、クライアントソフトウェアの修正は必要ない。
【００１６】
本発明のさらなる利点は、かなりの複雑さおよび遅延増加と関連のあるトランスコード化が必要ないという点である。加えて、通信ネットワークのルーティングノードにおいて、異なる伝送の遅延や、転送される情報フレームを記憶するための有限のバッファサイズを考慮する目的に対して、簡単なドロップストラテジーが適用可能であるため、通信ネットワーク上において簡略化された送信スキームが達成可能である。さらに、本発明の機構を実現しないノードの再構築歪み値に関する追加情報のトランスペアレントな送信も達成可能である。
【００１７】
本発明のさらなる利点は、ユーザが知覚する品質全体が、サービス履歴を積極的に考慮する際に、レート低減パターンに関する以前の良好でない決定についての知識に基づいて決定が行なわれる恐れがあるということを利用することによって達成可能である。
【００１８】
本発明のさらなる利点は、本発明のレートが最適化されたレート低下の概念が、実現の複雑さが少なく、よって低コストであることのみと関連している。
【００１９】
本発明のさらなる実施形態について以下の図面を参照して詳細に説明する。
【発明を実施するための最良の形態】
【００２０】
図１は、情報信号から送信フレームを生成するための本発明の装置のブロック図を示している。図１に示されるように、情報信号は第１の情報フレーム１０１と第２の情報フレーム１０３とを備え、これらは例証として時間に関して配列されている。
【００２１】
この装置は、再構築歪み値を提供するためのプロバイダー１０５を備え、プロバイダー１０５は、第１の情報フレームまたは第２の情報フレームのいずれかを送信フレームに導入するための手段１０７に結合されている。導入手段１０７は、情報信号を受信するための入力と、送信フレームを提供するための出力とを備える。
【００２２】
一般的に、導入手段１０７は、Ｍ個の情報フレームのうちのＮ個の情報フレームを送信フレームに導入するように構成されてもよい。ここでＭはＮ以上の数字であり、Ｍは情報信号が備える情報フレーム数を示している。
【００２３】
図１に示された装置は、レート歪みが最適化された方法で情報信号から送信フレームを生成するように構成される。このために、プロバイダー１０５は、第１の情報フレームを置換フレームで置換する場合の再構築歪みを示す第１の再構築歪み値を提供し、第２の情報フレームを置換フレームで置換する場合の再構築歪みを示す第２の再構築歪み値を提供するように構成される。例えば、第１の再構築歪み値は、例えば受信機によって受信される先行情報フレームで第１の情報フレームを置換する場合の再構築歪みを示す。従って、第２の再構築歪み値は、例えば受信機によって受信されたさらなる先行情報フレームで第２の情報フレームが置換される場合の再構築歪みを示してもよい。
【００２４】
レート低下を達成するために、手段１０７は、第１の再構築歪み値に応じて、または第２の再構築歪み値に応じて第１の情報フレームまたは第２の情報フレームのいずれかを送信フレームに導入するように構成される。
【００２５】
一般的に、プロバイダー１０５は、情報信号が備える情報フレームを任意の置換フレームで置換する場合の複数の再構築歪みを示す複数の再構築歪み値を提供するように構成されることができるため、提供された再構築歪み値に基づいて、導入手段１０７は、情報信号が備える１セットの情報フレームのうちの特定の１つのサブセットの情報フレームのみを送信フレームに導入してもよく、この場合、１サブセットの導入されない情報フレームは、例えば、欠落している（つまり送信されない）フレームが情報を再構築するために先行フレームで置換される場合に受信機で観察される最小の追加の再構築歪みに関連している。
【００２６】
例えば、導入手段１０７は、最適化目的に応じて第１の情報フレームまたは第２の情報フレームのいずれかを送信フレームに導入するように構成されており、この場合、最適化目的は、ジョイントレートおよび追加の再構築歪みの低減であってもよい。例えば、最適化目的は、隠蔽ストラテジーを実行する際、例えば送信フレームを他のフレームで置換する際に受信機で観察されるレート低減と追加の再構築歪みとのトレードオフであってもよい。
【００２７】
例えば、送信フレームに導入されない情報フレームはドロップ可能である。しかしながら、現在の送信フレームに含まれない情報フレームは事前記憶することができるため、情報損失を少なくするために、その含まれないフレームを例えば以下の時間定数で以下の送信フレームに導入することも可能である。
【００２８】
本発明のさらなる態様によると、導入手段１０７は、レートおよび追加の再構築歪みを低減するために情報信号のうちのいずれの情報フレームが送信フレームに導入されないのかを判断するように構成されてもよい。例えば、導入手段１０７は、情報信号に含まれ、かつ送信フレームに導入されないフレームの組合せを示すドロップパターンを決定するように構成されてもよい。従って、挿入手段１０７は、情報信号のうちのいずれの情報フレームが送信のために送信フレームに導入されるかを決定するように構成されてもよい。このために、導入手段１０７は、いずれの情報フレームが送信フレームに導入されないのかを決定する手段を備えてもよいため、例えば最小の追加の再構築歪みと関連したレート低減が達成可能である。
【００２９】
一般的に、情報信号は複数の情報フレームを備えてもよく、この場合プロバイダー１０５は、情報フレームを置換フレームによって置換する場合の異なる再構築歪みを示す異なる再構築歪み値を提供するように構成してもよい。この場合、導入手段１０７は、レートおよび追加再構築歪みの低下に対して、送信フレームに導入されない情報フレームの組み合わせを示す低下パターンを判断するように構成してもよい。
【００３０】
例えば、情報信号はさらに第３の情報フレームを備えてもよく、この場合プロバイダー１０５は、第３の情報フレームを置換フレームによって置換する場合の再構築歪みを示す第３の再構築歪み値を提供するように構成されてもよい。第３の再構築歪み値を考慮する際に、導入手段１０７は、情報信号のうちのいずれの情報フレームが送信フレームに導入されないかを決定するように構成されてもよいため、レートおよび追加再構築歪みの低減はレート歪みが最適化された方法で達成可能である。
【００３１】
情報信号のうちのいずれの情報フレームが送信フレームに導入されないかを決定するために、導入手段１０７はコスト関数を最小化するように構成されてもよく、レート低減は、選択された情報フレームを送信しない場合、および例えば受信機において送信された選択情報フレームを他の情報フレームで置換する場合に生じる追加の再構築歪みに関連した最小コストによって達成可能である。
【００３２】
本発明のさらなる態様では、図１に示された本発明の装置はさらに、情報信号のフレーム、いずれのフレームが送信信号に導入されるか否かを選択する選択器を備えてもよい。例えば、後に選択された情報フレームは送信フレームに直接導入可能であるため、送信フレームにおいては、情報信号において選択されたフレームの出現順位を維持することが可能である。しかしながら、導入手段１０７は、送信フレームにおける選択情報フレームの出現順位を再配列し、フレームレートに応じて、例えば降順または昇順フレームレート順位で選択フレームを配列するように構成されてもよい。このために、例えばネットワーク構成や、現在使用可能な帯域を考慮することが可能である。
【００３３】
本発明のさらなる態様によると、導入手段１０７は、情報信号のうちのいずれの情報フレームが送信フレームに導入されないのかを決定するために、あるいはいずれの情報フレームが送信フレームに導入されるのかを決定するために、最適化問題を解決するように構成してもよい。最適化問題はコスト関数として構築されることがあり、これは、情報信号のうちのいずれの情報フレームが送信フレームに導入されないのかを決定するために最小化される。コスト関数は例えば、データレート削減と関連した追加コストとして追加の再構築歪みを反映することがある。しかしながら、コスト関数はさらに、全低下（または破棄）フレームを考慮する場合にレート低減と、全再構築歪みの追加増加との組み合わせを反映することがある。
【００３４】
導入手段１０７は、情報信号のうちのいずれの情報フレームが送信フレームに導入されないのかを判断するために、コスト関数を最小化するように構成されてもよい。
【００３５】
本発明のさらなる態様によると、導入手段１０７は、特定の再構築歪みと関連した特定のデータレートの低減に対していずれのフレーム結合が送信信号に導入されないのかを判断するために、例えば所定のフレーム結合を参照するように構成されてもよい。所定の設定は例えば、上記コスト関数のいずれかを最小にすることによってアプリオリに算出されてもよい。低下されるフレーム結合を示す事前に算出された設定は、例えば必要なデータレート低下に応じて扱われることがある。従って、特定のフレーム結合や特定のフレームは、例えば受信機において隠蔽ストラテジーを適用する場合の最小の追加の再構築歪みを得ながら最大のレート低減を達成するために、特定のフレームの組合せまたは特定のフレームをドロップさせるように迅速に判断可能である。
【００３６】
本発明のさらなる態様によると、導入手段１０７は、算出手段によってコスト関数を最小にするように構成されてもよい。例えば、導入手段１０７はドロップされる全ての可能なフレームの組合せを判断して、レート低下およびこれと関連する追加の再構築歪みを判断して、コスト関数が最小となるようにドロップされる特定のフレームの組合せを選択してもよい。
【００３７】
例えば、コスト関数は、情報信号のうちの特定の情報フレームを送信フレームに導入しないことに関連した再構築歪み値と、特定のフレームを導入しない場合に保存されるビット数との差を備えることがある。すなわち、コスト関数は、受信機において隠蔽ストラテジーを実行した後に特定の情報フレームを送信しない場合の再構築歪み値とデータレートの低下との差を備えることがある。導入手段１０７はこの場合、コスト関数が最小となるような特定の情報フレームを決定するように構成されてもよい。
【００３８】
上記実施形態では、レート歪みが最適化されたレート低下に関する本発明の概念を、単一のユーザシナリオ、つまり複数の情報フレームを有する単一の情報信号に関して取り扱った。しかしながら、本発明の概念はまた、例えば複数のユーザと関連した複数の情報信号に適用することができ、この場合、複数の情報信号が、各々が複数の情報フレームを備え、共有媒体を介して、例えば遠隔受信機への共通通信リンクを介して送信される。
【００３９】
本発明のさらなる態様によると、本発明の装置は、さらなる情報信号からさらなる送信フレームをさらに生成するように構成されることができ、この場合、このさらなる情報信号は、さらなる第１の情報フレームとさらなる第２の情報フレームとを備える。すなわち、さらなる情報信号は、情報信号について上述したように、複数のフレームを備えてもよい。好ましくは、提供手段１０５は、さらなる第１の情報フレームを置換フレームにより置換する場合の再構築歪みを示すさらなる第１の再構築歪み値を提供するように、かつさらなる第２の情報フレームを置換フレームにより置換する場合の再構築歪みを示すさらなる第２の再構築歪み値を提供するように構成される。
【００４０】
従って、導入手段１０７は、さらなる第１の再構築歪み値に応じて、またはさらなる第２の再構築歪み値に応じてさらなる第１の情報フレームまたはさらなる第２の情報フレームのいずれかをさらなる送信フレームに導入するように構成されてもよい。
【００４１】
レートおよび追加再構築歪みの低減について、さらなる情報信号のうちのいずれの情報フレームがさらなる送信信号に導入されないのかを決定するために、導入手段１０７は例えば、例えばさらなる情報信号が有するフレームの破棄と関連した再構築歪み値を参照するように構成されてもよい。
【００４２】
従って、さらなる情報信号はさらなる第３の情報フレームを備えてもよく、この場合、プロバイダー１０５は、さらなる第３の情報フレームを置換フレームで置換する場合のさらなる第３の再構築歪み値を提供するように構成されてもよい。一般的に、さらなる情報信号は複数のさらなる情報フレームを備えてもよく、この場合、プロバイダー１０５は複数のさらなる再構築歪み値を提供するように構成されており、さらなる再構築歪み値のそれぞれは、例えばフレーム置換に応じた隠蔽ストラテジーを適用する場合に受信機においてさらなる情報信号の関連情報フレームを別の置換フレームで置換する際の追加の再構築歪みと関連している。例えば、置換フレームは同じ種類の事前送信済みフレーム、例えばピクチャグループのＢフレームやＰフレームであってもよい。同様の事柄が情報信号に当てはまる。
【００４３】
一般的に、導入手段１０７は、レートおよび追加再構築歪み低下についてさらなる送信信号に導入されない情報フレーム（例えば低下パターン）の組み合わせを判断するように構成されてもよい。
【００４４】
上記説明によると、導入手段１０７はさらに、さらなる情報信号のうちのいずれの情報フレームがさらなる送信フレームに導入されないのかを判断するためにコスト関数を最小にするように構成されてもよい。
【００４５】
さらにまた、導入手段１０７は、ジョイントレートおよび追加再構築歪み低下について、情報信号のうちのいずれの情報フレームが送信フレームに導入されないのか、かつさらなる情報信号のうちのいずれの情報フレームがさらなる送信フレームに導入されないのかを共に決定するように構成されてもよい。すなわち、全追加命令歪み低下と関連した全レート低下が考慮される。これは例えば、送信フレームおよびさらなる送信フレームが共通通信リンクを介して、例えば共有媒体を介して送信される場合に好都合である。この場合、共通通信リンクの帯域は全使用可能なデータレートを決定する。
【００４６】
一般的に、複数の情報信号は、割り当てられたネットワークリソース、例えば帯域や送信電力に関して情報信号、例えばユーザ間の公正を同時に考慮する際に、情報信号ごとに適切なドロップパターンを判断するために、共に考慮されてもよい。
【００４７】
送信フレームおよびさらなる送信フレームが共通通信リンクを介して送信される場合、本発明の装置は、情報信号の情報フレームと、さらなる情報信号の情報フレームとを待ち行列にする（ｅｎｑｕｅｕｉｎｇ）ためのバッファを備えてもよく、この場合判断手段１０７は、バッファ長に応じて、またはバッファ容量に応じて情報信号のうちのいずれの情報フレームが送信フレームに導入されないのか、かつさらなる情報信号のうちのいずれの情報フレームがさらなる送信フレームに導入されないのかを決定するように構成されてもよい。
【００４８】
本発明のさらなる態様によると、導入手段１０７は、情報信号のうちのいずれの情報フレームが送信フレームに導入されるか、かつコスト関数を最小にすることによってさらなる情報信号のうちのいずれの情報フレームがさらなる情報フレームに導入されるかを決定するように構成されてもよい。
【００４９】
コスト関数は例えば、情報信号の特定のフレームを送信フレームに導入しないことと関連した再構築歪み値と、さらなる情報信号の特定のフレームをさらなるフレームに導入しないことと関連した再構築歪み値との第１の合計と、情報信号の特定のフレームを送信フレームに導入しない場合に保存されるビット数と、さらなる情報信号の特定のフレームをさらなる送信フレームに導入しない場合に保存されるビット数との第２の合計との差を備えることがある。すなわち、第１の合計は、送信されない情報フレームを置換フレームで置換することと関連した再構築歪み値の合計を備え、第２の合計は、情報フレームを送信しない場合に保存される全ビットまたはバイト数を備える。そして導入手段１０７は、コスト関数が最小となるように、情報信号の特定のフレームとさらなる情報信号の特定のフレームとを決定するように構成される。この問題について詳細に後述する。
【００５０】
本発明のさらなる態様によると、導入手段１０７はさらに、コスト関数をセットアップするように構成されてもよい。例えば、導入手段１０７は、上記の合計および／または合計の差を決定するように構成されてもよい。
【００５１】
ラグランジュコスト関数であってもよいコスト関数を最小にするために、本装置はさらに、いずれの情報フレームが送信フレームに導入されないのか、あるいはいずれのさらなる情報フレームがさらなる送信フレームに導入されないのかを判断するための最適化器を備えてもよい。
【００５２】
本発明のさらなる態様によると、導入手段１０７はさらに、フレーム情報、例えばサイド情報を送信フレームに導入するように構成されてもよく、フレーム情報は、送信フレームに導入されない情報フレームの種類を示している。例えば、フレーム情報は、ビデオ信号の場合については、Ｉフレーム、またはＢフレーム、あるいはＰフレームが送信フレームに導入されなかったか否かを示す。
【００５３】
再構築歪み値を導入手段１０７に提供するために、プロバイダー１０５はこれを受信するように、例えば、遠隔送信機が、通信ネットワーク上で再構築歪み値または再構築歪み値を示す情報を送信するように構成される場合に遠隔送信機から第１の再構築歪み値または第２の再構築歪み値を受信するように構成されてもよい。
【００５４】
しかしながら、プロバイダー１０５は、情報信号の第１の情報フレームまたは第２の情報フレームが備える情報の種類から第１の再構築歪み値または第２の再構築歪み値を推定するように構成されてもよい。この点において、用語「情報フレームの種類」は、情報フレームが備える情報の種類のことをいう。例えば、ビデオ信号の場合やピクチャの場合、情報の種類を示す情報とは例えばビデオフレームのタイプのことをいう。同様の事項がさらなる情報信号の場合、一般的に複数の情報信号に当てはまり、各情報信号は複数の情報フレームを備える。
【００５５】
加えて、プロバイダー１０５は、第１の情報フレームを異なる置換フレームで置換する場合に、各々が再構築歪みを示す複数の再構築歪み値を提供し、また第２の情報フレームを異なる置換フレームで置換する場合に、各々が再構築歪みを示す複数の再構築歪み値を提供するように構成されてもよい。すなわち、プロバイダー１０５は、例えば特定の情報フレームを全ての可能な置換フレームで置換する場合の再構築歪み値を決定するように構成されてもよい。
【００５６】
本発明のさらなる態様では、プロバイダー１０５は再構築歪み値を決定するように構成されてもよい。例えば、プロバイダー１０５は、受信機において適用された隠蔽ストラテジー、例えばフレーム置換をエミュレートするように構成されてもよい。プロバイダー１０５は、低下されるフレームを特定の置換フレームであって、例えば同種の事前送信されたフレームで置換するように、かつ再構築歪みを決定するために置換フレームを備える派生情報信号を復号化するように構成されてもよい。例えば、再構築歪みを判断するために適用される復号スキームは、受信機において適用されるソース復号スキームであってもよい。加えて、プロバイダー１０５は、再構築歪み値を決定するために隠蔽ストラテジーを適用した後、オリジナルの情報信号を復号化し、復号化されたオリジナル情報信号を結果として得られる復号情報信号と比較してもよい。
【００５７】
本発明はさらに、情報信号から送信信号を生成するための装置を提供し、ここで情報信号は上述のように情報フレームを備える。
【００５８】
本発明の装置は、情報フレームを置換フレームによって置換する場合の再構築歪みを示す再構築歪み値を提供するためのプロバイダーを備えてもよい。例えば、送信信号生成装置は上記プロバイダーを備えてもよい。
【００５９】
加えて、本発明の装置は、送信信号を取得するために情報信号と再構築歪み値とを組合せる結合器を備えてもよい。
【００６０】
プロバイダーはさらに、再構築歪み値を決定するための手段を備えてもよく、ここで判断手段は、情報フレームをさらなる置換フレームで置換する場合のさらなる再構築歪み値を決定するように構成されてもよい。
【００６１】
加えて、判断手段は、再構築歪み値を決定するためにＭＳＥ歪み値を決定するように構成されてもよい。
【００６２】
例えば、決定手段は、情報フレームを先行情報フレームで置換する場合に生じる再構築歪み値を決定断するように構成されてもよい。
【００６３】
本発明のさらなる態様によると、判断手段は、再構築歪み値を決定するために、情報フレームを置換フレームで置換することによって情報信号から得られたテスト信号を復号化するように構成されてもよい。例えば情報信号がオリジナル信号をソースコード化することにより生じる場合、決定手段は、再構築歪み値を決定するために、テスト信号をソース復号化して、ソース復号化されたテスト信号をオリジナル信号と比較するように構成されてもよい。
【００６４】
送信信号生成装置が備える決定手段の機能性はまた、上記導入手段が備える決定手段も備えてもよい点に注目すべきである。
【００６５】
加えて、送信信号生成装置は、情報信号を取得するためにオリジナル信号をソースコード化するソースコーダーを備えてもよく、この場合ソースコーダーは、隠蔽ストラテジー、例えばフレーム置換と関連した再構築歪み値を決定するように構成される。
【００６６】
加えて、結合器は、送信信号を取得するために、再構築歪み値を情報フレームに付加するように構成されてもよい。
【００６７】
装置はさらに、さらなる情報信号からさらなる送信信号を生成するように構成されてもよく、情報信号はさらなる情報フレームを備え、この場合プロバイダーは、さらなる情報フレームを置換フレームで置換する場合に生じる再構築歪み値を提供するように構成されてもよい。さらに、結合器は、さらなる送信信号を取得するためにさらなる情報信号と再構築歪み値とを結合するように構成されてもよい。
【００６８】
通信について、装置はさらに、送信信号を送信したり、さらなる送信信号を送信したりするための送信機を備えてもよい。
【００６９】
本発明はさらに、情報信号を受信するための受信機と、上述のような情報信号から送信フレームを生成するための装置と、送信フレームに基づいて送信信号を生成するための手段とを備える通信ネットワークを提供する。
【００７０】
送信信号生成手段は、送信信号を取得するために、フレーム情報（例えばサイド情報）を送信フレームに付加するように構成されてもよい。フレーム情報は上述のように、送信信号に導入されない情報フレームの種類を示すことがある。例えば、フレーム情報は、欠落フレームを同種の置換フレームによって、例えば同じタイプの情報を備える情報フレームによって置換することによって、欠落している情報フレームを再構築するためにリモートの受信機によって使用されてもよい。
【００７１】
加えて、送信信号生成手段は、送信信号を取得するために、再構築歪み値を送信フレームに付加するように構成されてもよい。再構成歪み値は、上記のように、情報フレームを置換フレームで置換する場合の再構築歪みを示すことがある。
【００７２】
再構築歪み値は、例えば通信ネットワーク上のリモートの送信機から送信可能であってもよい。この場合、受信機は、再構築歪み値を受信するように、または遠隔送信機から受信された信号の再構築歪み値を検出するように構成されてもよい。
【００７３】
加えて、受信機は、例えばマルチユーザ送信シナリオにおいてさらなる情報信号を受信するように構成されてもよい。この場合、送信フレーム生成装置は、上述のように、さらなる情報信号からさらなる送信フレームを生成するように構成されてもよい。この場合、生成手段は、さらなる送信フレームに基づいてさらなる送信信号を生成するように構成されてもよい。
【００７４】
加えて、生成手段は、送信信号を取得するために、フレーム情報を送信フレームに添付するように構成されてもよく、フレーム情報は送信フレームに導入されない情報フレームの種類を示している。従って、生成手段は、さらなる送信信号を取得するために、再構築歪み値をさらなる送信フレームに付加するように構成されてもよく、再構築歪み値は、情報フレームを置換フレームで置換する際の再構築歪みを示している。
【００７５】
本発明のさらなる態様によると、生成手段は、送信信号と、送信信号に時間的に後続するさらなる送信信号とを備える複合送信信号を生成するように構成されてもよい。例えば、生成手段は、送信される信号フレーム内の送信信号の後にさらなる送信信号を配列するように構成される。
【００７６】
さらに、装置は、送信信号や送信フレームや信号フレームを送信するための送信機を備えてもよい。
【００７７】
送信機は無線または有線送信機であってもよい。例えば、無線送信の場合、送信機は、任意のＷＬＡＮシステムの送信機機能性、例えばチャネルコード化、変調などを内蔵してもよい。従って、本発明の受信機は、例えば任意のチャネル復号化スキームを適用することによって送信信号を受信し、これを変調および復号化するように構成される。
【００７８】
加えて、本発明は、受信フレームにおける欠落フレームを再構築するための装置を提供しており、受信フレームは、フレーム情報、例えば上記のように少なくとも２種類のフレームの欠落フレームの種類を示すサイド情報を備える。例えば、フレーム情報は、ＢフレームまたはＰフレームに関する情報を備え、これはピクチャグループを備えるビデオ信号の受信可能なバージョンに含まれていない。
【００７９】
欠落フレーム再構築装置は、受信フレームのフレーム情報を検出するための手段と、欠落フレームを再構築するためにフレーム情報に応答して欠落フレームの置換フレームを生成するための手段とを備えてもよく、ここでは置換フレームの種類は好ましくは欠落フレームの種類に一致している。例えば、フレーム情報は、Ｂフレームが欠落していることを示している。この場合、生成手段は、欠落しているＢフレームを事前受信されたＢフレームによって、または事前受信されたＩフレームによって置換するように構成されてもよく、これはこの場合は隠蔽ストラテジーである。
【００８０】
以下、本発明のさらなる実施形態について図３〜８を参照して説明する。
【００８１】
Ｋ個のビデオストリームがアクティブネットワークノードに入ってきて、同じ発信リンク上のノードを出て行くシナリオを検討する。アクティブネットワークノードは、受信データストリームを１つ以上の発信リンク（無線または有線）に転送しなければならず、またパケットの転送に必要とされるよりも多くの計算リソースを有するエンティティである。例として、プログラマブルまたはアクティブなルーターや、セルラーネットワークの基地局や、ケーブルネットワークのケーブルヘッドエンドがある。
【００８２】
本発明のフレームドロップストラテジーは、ビデオビットストリームに伴って送られるサイド情報に依存している。以下、ビデオがピクチャグループ（Group of Pictures; ＧｏＰ）において発せられ、かつアクティブネットワークノードがＧｏＰのフレーム構造を知っていると仮定する。この情報はビットストリームに伴ってシグナリングされるか、前のＧｏＰから推論可能であるかのいずれかである。ビデオｋのＧｏＰ構造は、２つのＩまたはＰフレーム間のＧｏＰ長ＬkおよびＢフレーム数Ｂkによって判断される。一例として、ＧｏＰ構造ＩＢ1Ｂ2、Ｐ1Ｂ3Ｂ4Ｐ2Ｂ5Ｂ6となるＬk＝９およびＢk＝２について考えてみる。レートベクトルは、ＧｏＰにおける各フレームのフレームサイズからなる。ビデオｋにおけるフレームｎのフレームサイズは
【数１】
と表わされ、送信者における符号化プロセス時に抽出可能である。従って平均符号化レートは、長さＮkのビデオシーケンスにわたる
【数２】
の平均として、
【数３】
と与えられる。ここでｆkはビデオｋのフレームレートである。歪み行列は、欠落フレームを先行フレームで置換する場合に観察される再構築歪み値からなる。ビデオｋのフレームｎの再構築歪みはＤk（ｎ）として与えられる。従ってデコーダーにおける平均歪みは、
【数４】
と与えられる。
【００８３】
各ビデオフレームが正しく受信されれば、フレーム歪みＤk（ｎ）は、エンコーダーにおける量子化ステップに起因する符号化歪み
【数５】
に相当する。復号化するのにフレームが欠落している場合、フレーム歪みは復号化歪みよりも大きくなる。フレーム損失の場合、デコーダーは、欠落フレームではなく最近復号化されたフレームが表示される隠蔽ストラテジーを適用する。欠落フレームに依存する全フレームも欠落しているとみなされる。歪み行列は、上記隠蔽ストラテジーが付与されたフレーム低下の場合にデコーダーにおいて予想歪みを推論する必要がある全歪み値を有する。
【００８４】
以下の例は、Ｌk＝９かつＢk＝２のＧｏＰの歪み行列を示している。
【数６】
【００８５】
歪み行列
【数７】
のエントリは、隠蔽ストラテジーの一部としてフレームＦlossをＦrepで置換する場合に観察されるＭＳＥ値である。歪み行列の左の列は、行列の各行の置換フレームＦrepを示している。例えば、
【数８】
は、ＧｏＰの最初のＢフレームが欠落し、ゆえにそのＧｏＰのＩフレームで置換される場合の追加の再構築歪みを表している。Ｒは、現在のＧｏＰのＩフレームが欠落している場合の現在のＧｏＰの全フレームの置換として使用される、前のＧｏＰからのフレームである。この行列から、可能な損失パターンの派生歪みが判断可能である。ＧｏＰの全歪みは個々のフレーム損失歪みの合計として計算される。この行列はビデオの符号化時に判断可能である。ＢフレームＢ2、Ｂ4およびＢ6はＧｏＰの他のフレームの置換フレームとして使用されることはないため、歪み行列には現れない。歪み行列の列数はＧｏＰ長Ｌkに相当する。歪み行列への関連エントリの数は、
【数９】
のように判断可能である。これは以下のように簡略化可能である。
【数１０】
【００８６】
上述のように、Ｋ個のビデオストリームがアクティブネットワークノードに入ってきて、同じ発信リンク上のノードを出て行くシナリオを検討する。この発信リンクは送信レートＲoutを有する。発信リンクはサイズＢmaxのリンクバッファを有し、現在のバッファ占有量はＢ（ｔ）と記される。ドロップストラテジーは現在のバッファ占有量に基づいている。バッファが空の場合、フレームがドロップするはずはない。バッファが一杯である場合、受信機における知覚品質に対する悪影響が最も少ないフレームがドロップされるはずである。いずれのフレームをドロップさせるかという判断は、全ビデオストリームに対して共になされなければならない。上記のレートベクトルと歪み行列を考えると、アクティブネットワークノードはレート歪みが最適化されたフレームドロップを実行可能である。このために、ノードは、バッファ占有量が現在どのくらいかを決定して、最適なドロップパターンを決定するラグランジュコスト関数、
【数１１】
を最小にする。ここで、
【数１２】
は低下パターンｐに対してビデオｋに導入された追加歪みであり、
【数１３】
は低下パターンｐについて保存されるバイト数である。簡潔にするために、ビデオシーケンスのフレーム指数ｎによって連続時間ｔが置換されるが、これは、例のみとして示すなら、ドロップの決定がフレーム期間の倍数でのみなされることを意味している。
【００８７】
アクティブノードに入ってくる現在のフレームがＩフレームであれば、このフレームをドロップするか、あるいは、これを発信リンクに送信するかが可能である。これをドロップするならば、このことは、後続の全てのＰおよびＢフレームが復号化不可能であり、またドロップしなければならないことを意味している。このドロップストラテジーはこのＧｏＰの歪みをかなり増大させるが、同時に、このＧｏＰの送信レートを０に低減させることが可能になる。時間ｎでＩフレームをドロップしなければ、依然として後続の全てのＰフレームをドロップすると判断可能である。このことは歪みの低減をもたらすことになり、またレートセービングがより小さくなる。後続のＰフレームをドロップさせないと判断すれば、全てのＢフレームをドロップさせると判断することができる。また、追加歪みは削減されるが、レートセービングも小さい。ゆえに現在の受信フレームがＩフレームであれば、全４個の低下選択｛Ｉ、Ｐ、Ｂ、Ｎ｝があり、ここでＮは何もドロップしないことを示している。現在のフレームがＰフレームであれば、選択は｛Ｐ、Ｂ、Ｎ｝に削減される。現在のフレームがＢフレームであれば、選択はまた｛Ｐ、Ｂ、Ｎ｝である。この場合Ｐは、現在のＢフレーム後に送信される次のＰフレームを示していることに注目する必要がある。Ｂフレームについて他のドロップパターンを想定してもよい。しかしながら、単一のＢフレームをドロップさせる場合は、通常、レートセービングが非常に小さいため、以下Ｂフレームのドロップは常に、このＢフレームと、同一ＧｏＰにおけるＢフレームに続く全てとをドロップさせることを意味している。同様に、Ｐフレームのドロップは常に、次のＩフレームまでの全てのＰおよびＢフレームのドロップを意味している。ＩフレームのドロップはＧｏＰ全体のドロップとなる。ビデオｋについて時間ｎでの１セットの可能なドロップパターンをＡk（ｎ）と記す場合、ｋ個のビデオについて、
【数１４】
個の異なるドロップパターンを取得する。ドロップパターンのうちの１つは（６）を最小化することになる。このパターンは、時間ｎでの最適なドロップストラテジーを表している。この最小化を実行するために、（６）においてラグランジュの未定乗数λ（ｎ）の適切な値を決定しなければならない。
【００８８】
本発明によると、λ（ｎ）をバッファ占有量Ｂ（ｎ）の関数として決定する。バッファが空であれば、ビデオフレームのドロップを望まない。これはλ（ｎ）の適切な選択によって反映されなければならない。バッファが一杯の場合、λ（ｎ）は、アウトリンクバッファのこれらのフレームの待ち行列化が失敗することになるため、可能な全てのフレームがドロップされるように選択されなければならない。バッファレベルにおいてλ（ｎ）の適切な値を決定するために、これ未満ではドロップが生じないという最小バッファ占有量Ｂminを定義する。ＢminとＢmax間のλ（ｎ）の値は、λmin（ｎ）とλmax（ｎ）を線形補間することによって得られる。図３ａは、λmin（ｎ）とλmax（ｎ）との線形補間を現在のバッファ占有量Ｂ（ｎ）の関数として示しており、以下を得る。
【数１５】
【００８９】
線形補間はλ（ｎ）を補間する最も簡単な方法である。バッファ占有量がＢmaxに近づくにつれてよりアグレッシブな低下となる補間関数は、現在のバッファレベルＢ（ｎ）に対するλmin（ｎ）とλmax（ｎ）間のλ（ｎ）の二次補間を示す図３ｂに示されるように、λ（ｎ）の二次補間によって実現可能である。
【００９０】
３つのコントロールポイントＡ、ＢおよびＣによって、以下によるλ（ｎ）の二次ベジエ曲線を定義可能である。
Ａ＝（Ａx、Ａy）＝（Ｂmax、λmin（ｎ））
Ｂ＝（Ｂx、Ｂy）＝（Ｂmax、λmin（ｎ））
Ｃ＝（Ｃx、Ｃy）＝（Ｂmax、λmin（ｎ））
【数１６】
【００９１】
補間ポイントＰ＝（Ｐx、Ｐy）は、０から１にパラメータｔを変化させることによってこの曲線上をＡからＣに移動する。所与のＢ（ｎ）について、（７ａ）および（７ｂ）からｔを、次いでλ（ｎ）＝Ｐyを決定する。
【００９２】
λmin（ｎ）を判断するために、ドロップパターンごとに（６）を評価して、（６）の最小値がドロップパターンについて得られるようにλmin（ｎ）を選択し、ここでは全ｋ個のビデオストリームについてはドロップがない。このことは以下を意味している。
【数１７】
ここでＰnは、全ビデオストリームにおいてフレームのドロップが生じないパターンを表している。
【数１８】
がゼロに等しくなると、これは以下をもたらす。
【数１９】
また（９）の全ての不等式を満たしつつ可能な限り大きなλmin（ｎ）を選択する。λmin（ｎ）の値は極めて近い方法によって導かれる。このために、（６）の最小化は、以下をもたらす可能な限り多数のフレームをドロップさせるという決定（ドロップパターンＰa）につながることとなる。
【数２０】
【００９３】
これは以下をもたらす。
【数２１】
そして、（１１）における全ての不等式を満たしつつ可能な限り小さなλmax（ｎ）を選択する。
【００９４】
優先順位ベースの低下と比較した場合、提案されたＲＤ最適化ドロップストラテジーを使用することによって、平均的な再構築品質に関してどの程度の改良が達成可能かを詳細に調べる。シミュレーションにおいては、新たなＨ．２６４コーデックによって符号化された４個のビデオストリームがアクティブネットワークノードに入ってきて、同一の発信リンク上で送出されなければならないと仮定する。図６は、４個のビデオの主要特徴を要約したものである。
【００９５】
４個のビデオの組合せでの平均レートは２９０ｋｂｐｓである。特定の時点での実際のレートは、異なるフレームタイプと、シーケンスにおける種々の動きとによって大きく変化する。４個のビデオのＧｏＰ長はそれぞれ、Ｌ1＝１８、Ｌ2＝２２、Ｌ3＝２６およびＬ4＝２４である。全ビデオのＧｏＰ構造は、Ｂk＝１に相当するＩＢＰＢＰである。アウトリンクバッファのサイズは３２ＫＢｙｔｅに設定される。シミュレーションは３０００フレームのビデオセッション長について実行される。このために、ビデオシーケンスは連続的に反復される。シミュレーション時間は、フレーム期間の倍数でインクリメントされる。このことは、フレーム期間ごとに、各々が１個のビデオからの４個の新たなフレームがネットワークノードに入ってきて転送されて、ドロップの決定がなされることを意味している。
【００９６】
アウトリンクバッファは、全く同様にいずれの場合（ＲＤ最適化ドロップおよび優先順位ベースドロップ）にも作用する。ビデオフレームが発信リンク上を送信されると、まず出力バッファに配置される。バッファがかなり一杯でフレームを収容できない場合、ドロップされる。２つ以上のフレームが同時にアウトリンクバッファに送られると、パケットはこのコンテンツ（Ｉ、ＢまたはＰフレーム）に従ってラベリングされるとする。バッファが全フレームを収容できない場合、常にＢフレームを最初にドロップさせる。バッファが依然として残りのフレームに対して十分な空きがない場合、Ｐフレームが次に同様に低下されて、最終的にＩフレームがドロップされる。このドロップ機構は、比較に使用される優先順位ベースのドロップストラテジーに相当する。
【００９７】
ＲＤ最適化ドロップストラテジーについて、同一のアウトリンクバッファが使用されるが、アクティブネットワークノードは、いずれのフレームをバッファに送るかを事前に決定する。（６）の最小化によってドロップされると判断されたフレームはバッファには渡されない。最適化にかかわらず、データの追加損失をもたらす、収容可能であるより多くのデータがバッファに渡されるということが依然として生じる場合がある。従って、最適化低下パターンが判断された後にランダムなドロップが生じる場合もある。
【００９８】
実験において、ドロップ決定時の（３）における置換フレームＲとして前のＧＯＰのＩフレームを使用する。しかしながら、受信機において再構築歪みを測定する場合に、例のみとして示すなら、最近うまく復号化されたフレームを低下フレームを置換するものとして使用する。
【００９９】
図４ａは、本書で提案されたＲＤが最適化されたビデオフレーム低下概念によって得られる改良を示している。ＰＳＮＲ値が４個のビデオシーケンスについて平均化される。発信ビットレートＲoutが受信レート（２９０ｋｂｐｓ）よりも大きい場合、ＲＤが最適化されたドロップと優先順位に基づいたドロップとが同様に動作する。これは、バッファがめったにオーバーフローしないこのケースのような場合に想定され、いずれの場合でも少数のフレームのみしか失われない。しかしながら、発信レートが４個のビデオの全平均レートよりも小さい場合、ＲＤが最適化されたドロップが再構築されたビデオの品質に関してかなりの改良をもたらすということがわかる。発信リンクレートをＲout＝１５０ｋｂｐｓに選択すると、約７．５ｄＢの改良が見られる。
【０１００】
バッファレベルがＢminより大きい場合のみ、ＲＤが最適化されたドロップストラテジーがビデオフレームの低下を開始することになる。
【０１０１】
ラグランジュの未定乗数に対すして線形かつ二次補間を用いた、本願発明者らのＲＤが最適化されたドロップアプローチ（ＲＤＯＤ）が既に紹介されている。シミュレーションにおいて、さらにＲＤＯＤを優先順位ベースのランダムドロップ（ＰＲＤ）と比較する。ＰＲＤの動作原理が導入されている。従来のＰＲＤと比較して、バッファが１００％占有する前に優先順位ベースのドロップが開始されると、性能改良が期待できる。バッファ負荷が現在のしきい値Ｂ1を越える前にＢフレームをドロップすることと、しきい値Ｂ2を超える場合にＰフレームをドロップすることとによって、Ｉ対ＢおよびＰフレームの優先順位付けがより強力になる。このアプローチを、優先順位に基づいた早期ランダム低下（ＰＲＥＤ）と称する。シミュレーションにおいて、しきい値Ｂ1およびしきい値Ｂ2はＢmaxの７０％および９０％に設定される。
【０１０２】
図４ｂはビデオ再構築品質対アウトリンクレートを示しており、ここではＲＤが最適化されたビデオフレームのドロップのコンセプトによって得られる本発明の改良が示される。ＰＳＮＲ値が４個のビデオシーケンスについて平均化される。発信ビットレートＲoutが平均受信レート（２９０ｋｂｐｓ）よりも大きい場合、ＲＤが最適化されたドロップおよび優先順位ベースのドロップが同様の効果をもたらす。これはバッファがほとんどオーバーフローしないこのケースのような場合に想定され、いずれの場合にも少数のフレームのみしか失われない。しかしながら、発信レートが４個のビデオの全平均レートよりも小さい場合、ＲＤが最適化されたドロップが再構築されたビデオの品質に関してかなりの改良をもたらすことが分かる。λ（ｎ）の二次補間（ＲＤＯＤ＿ＱＩ）は線形補間（ＲＤＯＤ＿Ｌ１）よりも良好な性能をもたらす、発信リンクレートをＲout＝１５０ｋｂｐｓに選択すると、ＲＤＯＤ＿ＱＩとＰＥＲＤ間には約８ｄＢの改良がみられる。
【０１０３】
λ（ｎ）の計算はλmin（ｎ）およびλmax（ｎ）に、すなわちＢminの選択に依存している。図４ａは、再構築ビデオ品質をＢminの関数として示している。Ｂminは、十分小さく選択する限り再構築品質に関してほとんど影響を与えないことが観察可能である。図４ａのシミュレーションの発信レートは２００ｋｂｐｓおよび２５０ｋｂｐｓである。
【０１０４】
好ましくは、バッファレベルがＢminよりも大きい場合のみ、ＲＤが最適化されたドロップストラテジーがビデオフレームの低下を開始する。ここで、Ｂmaxは常に１００％占有量に相当すると仮定する。上記のように、λ（ｎ）の計算はλmin（ｎ）およびλmax（ｎ）に、すなわちＢminの選択に依存している。図４ｂは、再構築ビデオ品質を、ＲＤＰＤ＿ＱＩに対するＢminの関数として示している。Ｂminは、十分小さく選択される限り再構築品質に対する影響はほとんどないことがわかる。図５ａのシミュレーションの発信レートは２００ｋｂｐｓおよび２５０ｋｂｐｓである。
【０１０５】
上記のように、新たな受信データが使用可能になるたびにλ（ｎ）が再計算されてもよい。ＲＤＯＰ＿ＱＩを使用する場合、バッファ占有量Ｂ（ｎ）がＢmaxより小さい限りλ（ｎ）はほとんど変化しないことがわかる。計算の複雑さを削減するために、まずλ（ｎ）の算出を考慮して、λ（ｎ）の値をリフレッシュする前に後続のｍ個のフレームに対してこのλ（ｎ）を使用する。
【０１０６】
例えば、各ｎ番目のフレームと関連したｎ番目の時点に対してλ（ｎ）が決定されて、例えば後続のｎ−１個のフレームについて使用されてもよい。従って、λ（ｎ）が全フレームについてではなくｎ番目のフレームに対して決定されてもよいため、複雑さを削減することは達成することができる。さらに、例えば、さらに複雑さを削減するために、（送信可能かつ受信可能な）再構築歪み値が大きく変化する場合のみλ（ｎ）が決定されてもよい。加えて、λ（ｎ）の算出レートは適応的に低減可能である。例えば、送信の開始において、λ（ｎ）がフレームごとに判断されてもよい。続いて、例えばｎ番目、第２または第３のフレームごとにλ（ｎ）を算出する場合に、例えば派生エラーが決定されることがある。派生エラーが受入れ可能である場合、ｎ番目のフレームごとにλ（ｎ）を計算することは十分であり、ここでｎは適応的に（段階的に）決定可能である。従って、正確さと複雑さのトレードオフの関係を得ることができる。加えて、多数の情報信号、例えばビデオストリームが変化する場合のみλ（ｎ）が決定されてもよく、これによって、複雑さが一層削減される。
【０１０７】
図５ｂは、平均的なビデオ再構築品質をλのリフレッシュ間隔の関数として示している。図５ｂに示されるように、約５０個のビデオフレームについてλ（ｎ）を反復する場合に観察される品質低下はわずか０．３ｄＢである。
【０１０８】
本発明のＲＤが最適化されたビデオフレームドロップストラテジーはアクティブネットワークノードにも適用することができる。ＲＤ最適化はレートベクトルと歪み行列を使用して、ネットワーク負荷が重い場合にいずれのフレームがドロップされるかを判断する。レートベクトルおよび歪み行列は、ビデオの各ＧｏＰに伴ってサイド情報として送られる。ネットワーク自体から抽出される情報は、バッファ占有量レベルのみである。本発明のスキームを優先順位ベースのドロップと比較と、かなりの品質改良が達成可能なことがわかる。
【０１０９】
本発明は、トラフィック負荷が大きい場合にアクティブネットワークノードに適用可能なレート歪みが最適化されたビデオフレームドロップストラテジーを実現するシステムおよび方法を含んでいる。本発明のアプローチは、ビデオビットストリームに伴って送られるサイド情報に依存している。
【０１１０】
サイド情報は、各ピクチャの（バイト単位の）フレームサイズ、ならびに特定のフレーム損失パターンを付与されたピクチャグループについて観察される（ＭＳＥの）再構築歪みを記述する歪み行列を含有するレートベクトルからなる。このサイド情報は、レート歪み（ＲＤ）が最適化された方法で、ノードのオーバーロードの場合にいずれのビデオストリームのいずれのフレームが低下されるかを動的に判断するためにアクティブネットワークノードによって使用可能である。
【０１１１】
最適なドロップパターンを見つけるために、本願発明者らは、現在のバッファ占有量レベルと共にレートベクトルおよび歪み行列を使用するラグランジュコスト関数を提案する。
【０１１２】
より簡単なセットアップのために、歪み行列の一部のみが送信可能である。例えば、行列の第１の列が、前のピクチャグループの参照ピクチャ（Ｒ）を参照する歪み値を含有し、これは最適化についてすでに十分な情報である場合がある。
【０１１３】
ＧｏＰにおける参照ピクチャＲの位置は、送信経路の予想品質を反映するためにエンコーダーによって選択可能である。これは、Ｉフレームを見つけるドロップの決定に関して重要であり、これは、前のＧｏＰの最後のオリジナルピクチャと比較した条件、つまりＲが前のＧｏＰのＩフレームを参照する（高い低下パーセンテージとする）悪い条件において、またＲが中間Ｐフレームを表す通常の条件に左右される。極めて良好な条件が期待できる場合、Ｒは前のＧｏＰの最後のフレームとなるはずである。
【０１１４】
先行しているネットワーク要素において実行されたフレームドロップの決定は受信パケットから観察可能である。これらは現在のネットワークノードに対するフレームドロップの自由度を制限し、決定処理の複雑さを削減する。
【０１１５】
加えて、１つのノード内に、１つのＧｏＰ内で実行される決定が記憶されるべきである。このことは同じＧｏＰにおける次のフレームを見つける判断を簡略化する、つまり自由度の数が前のドロップの決定によって削減されて、計算が簡略化される。
【０１１６】
加えて、１つのノード内に先行しているＧｏＰに適用されたドロップの決定が記憶されるべきである。従って、Ｒの選択に応じて、Ｉフレームのどろっぷを行うという決定において、実際の歪みを考慮するために、修正歪み値を使用しなければならない。
【０１１７】
これに加えて、ユーザが知覚したサービス品質全体を考慮する判断をするためにストリーム全体の品質低下全体を得るためには、サービス履歴を含まなければならず、例えばストリームがドロップの影響を過度に被る場合、このストリームはより高い優先順位を得るはずである。このようなサービス履歴は、コスト関数における歪み行列の値への追加係数によって表されることが可能である。
【０１１８】
ＱｏＳベースのアプローチとは反対に、本発明のスキームはより大きな柔軟性を提供し、動的データ重要性コントロールをサポートする。本発明のレート歪みが最適化されたドロップ概念と優先順位ベースのドロップストラテジーとを比較する場合、かなり良好な再構築品質が観察される。最大７ｄＢの改良がシミュレーションセットアップについて得られる。
【０１１９】
上記歪み行列のシグナリングが、例えばＲＴＰプロトコル（ＲＴＰペイロードヘッダー）への拡張子として実現可能である。
【０１２０】
上記のように、本発明は、ネットワークノードにおける多数の受信ビデオストリームを様々な送信条件に、例えばビデオストリームの知覚品質をユーザに対して最適化する際の発信データレートに動的に適応させる方法に関する問題に対処する。
【０１２１】
本発明は、例示のためだけに示せば、アクティブネットワークノードおよびモバイルベースステーションに対するレート歪みが最適化されたビデオフレームドロップを提供する。特に、本発明のシステムおよび方法は、ネットワークノードにおけるビデオパケットトラフィックのシェーピングを含む。ユーザが知覚する品質に対するビデオ特徴が考慮されるため、本発明のアプローチは既知の従来のアプローチと比較して最適化されている。さらに、本発明の概念は、ビデオビットストリームに伴って送信されることがあるサイド情報に依存しており、この場合サイド情報は、例えばバイト単位のフレームサイズを含有するレートベクトルと、ピクチャグループの（ＭＳＥの）再構築歪みを記述する歪み行列とを備えてもよい。
【０１２２】
サービスベースアプローチの品質とは反対に、本発明のスキームはより大きな柔軟性を提供し、動的フレーム重要性コントロールをサポートする。より具体的には、ＱＯＳ（ＱＯＳ＝サービス品質）の提供は、共有、例えば無線ネットワークリソースでの、例えばビデオストリーミングのバッファ問題と関連している。従って、ビデオデータについて、しばしばビデオ品質に強い悪影響を及ぼすランダムなフレームドロップである計算負荷の多いトランスコード化やバケット低下が適用されることがある。スケーラブルビデオの場合、既知の従来のアプローチがそれほど重要でない部分を最初にドロップし、これによってかなりの品質低下が生じることがある。加えて、ＱＯＳラベリングはパケットのこのような重要性コントロール低下およびラベリング（つまり重要性）をサポートする。これは送信前に送信者によって判断可能であるが、この場合は実際の送信状況は考慮されない。しかしながら、パケットの重要性は送信経路に沿って変化し、パケットの重要性は他のパケットのドロップに左右され、さらには少数のＱＯＳラベルのみが使用可能である。
【０１２３】
本発明は、例えばパケットを低下させることによってネットワークノードにおけるビデオパケットトラフィックのシェーピングを含む。本発明の低下パターンは、ビデオ特徴、例えばユーザ知覚品質が考慮されるために最適化される。ビデオビットストリームに伴って送信可能なサイド情報は、いずれのビデオストリームのいずれのフレームが低下されるかを動的に判断するために、アクティブネットワークノードによって使用されてもよい。例えば、アクティブネットワークノードは上記の本発明の装置の１つを内蔵している。加えて、決定には、グローバルな正しさを考慮するために、セッション履歴を含んでもよい。
【０１２４】
図７は、アプリケーションがネットワークに追加の情報（クロスレイヤーの認識）をもたらす本発明の通信ネットワークシナリオを示している。
【０１２５】
図７に示されるように、ネットワークノード／ゲートウェイは、レート歪み行列やレートベクトルに関するサイド情報に伴った複数のビデオストリームを受信し、この場合決定アルゴリズムが、レート歪み行列が備えるレート歪み値に応じてフレームのドロップストラテジーを決定するために適用される。
【０１２６】
全ての上記実施形態が、本発明のアプローチを内蔵する装置の機能性を高めるために相互に組合せ可能である点に注目すべきである。加えて、本発明は、送信フレームを生成し、送信信号を生成し、欠落フレームを再構築または転送して、本発明の概念が実行されるような方法も提供する。
【０１２７】
さらに、本発明の方法の特定の実施要件に応じて、本発明の方法はハードウェアまたはソフトウェアで実行可能である、実施は、ディジタル記憶媒体、特に電子読み取り可能な信号を記憶しているディスクやＣＤを使用して実行可能であり、これは本発明の方法が実行されるようにプログラマブルコンピュータシステムと協働することができる。一般的に、本発明は従って、機械が読み取り可能な媒体に記憶されたプログラムコードを有するコンピュータプログラム製品であり、プログラムコードは、コンピュータプログラム製品がコンピュータ上で実行する場合に本発明の方法のうちの少なくとも１つを実行するように構成されている。すなわち、本発明の方法は従って、コンピュータプログラムがコンピュータ上で実行する場合に本発明の方法を実行するためのプログラムコードを有するコンピュータプログラムである。
【図面の簡単な説明】
【０１２８】
【図１】本発明の送信フレーム生成装置のブロック図を示す。
【図２】本発明のアクティブネットワークノードを示す。
【図３ａ】ラグランジュ未定乗数法による本発明の補間を示す。
【図３ｂ】ラグランジュ未定乗数法による本発明の補間を示す。
【図４ａ】本発明のアプローチの性能を示す。
【図４ｂ】本発明のアプローチの性能を示す。
【図５ａ】本発明のアプローチの性能を示す。
【図５ｂ】本発明のアプローチの性能を示す。
【図６】本発明のアプローチの性能を決定するのに使用される信号特徴をまとめている。
【図７】本発明の通信ネットワークシナリオを示す。
【特許請求の範囲】
【請求項１】
第１の情報フレームと第２の情報フレームとを含む情報信号から送信フレームを生成する装置であって、
前記第１の情報フレームを置換フレームによって置換する場合の再構築歪みを示す第１の再構築歪み値を提供し、前記第２の情報フレームを置換フレームによって置換する場合の再構築歪みを示す第２の再構築歪み値を提供するプロバイダー（１０５）と、
前記第１の再構築歪み値に応じてまたは前記第２の再構築値に応じて前記第１の情報フレームまたは前記第２の情報フレームのいずれかを前記送信フレームに導入する導入手段（１０７）と
を備える装置。
【請求項２】
前記導入手段（１０７）が、前記第１の情報フレームまたは前記第２の情報フレームのいずれかを最適化目的に応じて導入するように構成されている、請求項１に記載の装置。
【請求項３】
前記最適化目的がレートと追加再構築歪みの低下である、請求項２に記載の装置。
【請求項４】
前記導入手段（１０７）が、レートと追加の再構築歪みの低下とに関して、前記送信フレームに導入されない情報フレームの組み合わせと、前記送信フレームに導入されるフレームの組み合わせとを判断するようになされている、請求項１〜３に記載の装置。
【請求項５】
前記導入手段（１０７）が、前記情報信号のうちのいずれの情報フレームが前記送信フレームに導入されないのかを判断するために、コスト関数を最小化するようになされている、請求項１〜４に記載の装置。
【請求項６】
前記コスト関数が、前記情報信号の特定の情報フレームを前記送信フレームに導入しないことに関連した再構築歪み値と、前記特定のフレームを導入しない場合に保存されるビット数との差を含み、前記導入手段（１０７）が、前記コスト関数が最小になるように特定の情報フレームを決定するようになされている、請求項５に記載の装置。
【請求項７】
さらなる情報信号からさらなる送信フレームを生成するようになされている装置であって、前記さらなる情報信号はさらなる第１の情報フレームとさらなる第２の情報フレームとを有しており、
前記提供手段（１０５）が、前記さらなる第１の情報フレームを置換フレームで置換する場合の再構築歪みを示すさらなる第１の再構築歪み値を提供し、前記さらなる第２の情報フレームを置換フレームにより置換する場合の再構築歪みを示すさらなる第２の再構築歪み値を提供するようにされており、
前記導入手段（１０７）が、前記さらなる第１の再構築歪み値に応じてまたは前記さらなる第２の再構築歪み値に応じて、前記さらなる第１の情報フレームまたは前記さらなる第２の情報フレームのいずれかを前記さらなる送信フレームに導入するようにされている、請求項1〜６に記載の装置。
【請求項８】
前記導入手段（１０７）が、ジョイントレートおよび追加再構築歪み低下に対して、前記情報信号のうちのいずれの情報フレームを前記送信フレームに導入しないか、また前記さらなる情報信号のうちのいずれの情報フレームを前記さらなる送信フレームに導入しないかを共に決定するようになされている、請求項７に記載の装置。
【請求項９】
前記送信フレームおよび前記さらなる送信フレームが共通通信リンクを介して送信され、前記装置が、前記情報信号の情報フレームと前記さらなる情報信号の情報フレームとを待ち行列化とするバッファを備え、前記判断手段が、前記情報信号のいずれの情報フレームを前記送信信号に導入しないのか、あるいは、前記さらなる情報信号のうちのいずれの情報フレームを前記さらなる送信フレームに導入しないのかをバッファの占有量に応じて判断するように構成されている、請求項７または８に記載の装置。
【請求項１０】
前記コスト関数が、前記情報信号の特定のフレームを前記送信フレームに導入しないことに関連した再構築歪み値と、前記さらなる情報信号の特定のフレームを前記さらなる送信フレームに導入しないことに関連した再構築歪み値との第１の合計と、前記情報信号の前記特定のフレームを前記送信フレームに導入しない場合に減量されるビット数と、前記さらなる情報信号の前記特定のフレームを前記さらなる送信フレームに導入しない場合に保存されるビット数との第２の合計との差を備え、前記導入手段が、前記コスト関数が最小化されるように、前記情報信号の前記特定のフレームと、前記さらなる情報信号の前記特定のフレームとを決定するようになされている、請求項７〜９に記載の装置。
【請求項１１】
前記導入手段（１０７）が、フレーム情報を前記送信フレームに導入するようにさらになされており、前記フレーム情報は、前記送信フレームに導入されない情報フレームの種類を示すものである、請求項１〜１０に記載の装置。
【請求項１２】
前記プロバイダー（１０５）が、前記第１の再構築歪み値または前記第２の再構築歪み値を遠隔送信機から受信するようにされている、請求項１〜１１に記載の装置。
【請求項１３】
前記プロバイダー（１０５）が、前記第１の情報フレームまたは前記第２の情報フレームに含まれる情報の種類から、前記第１の再構築歪み値または前記第２の再構築歪み値を推定するようにされている、請求項１〜１２に記載の装置。
【請求項１４】
情報信号を受信するための受信機と、
前記情報信号から送信フレームを生成するための請求項１〜１３に記載の前記装置と、
前記送信フレームに基づいて送信信号を生成する手段と
を備えてなる通信ネットワークノード。
【請求項１５】
情報フレームを含む情報信号から送信信号を生成する装置であって、
前記情報フレームを置換フレームにより置換する場合の再構築歪みを示す再構築歪み値を提供するためのプロバイダーと、
前記送信信号を取得するために、前記情報信号と前記再構築歪み値とを組合せるための結合器と
を備える装置。
【請求項１６】
受信フレームにおける欠落フレームを再構築するための装置であって、前記受信フレームが、少なくとも２種類のフレームのうちの欠落フレームの種類を示すフレーム情報を備えており、
前記受信フレームにおいて前記フレーム情報を検出する手段と、
前記欠落フレームを構築するために、前記フレーム情報に応答して前記欠落フレームにおける置換フレームを生成する手段であって、前記置換フレームの種類が前記欠落フレームの種類に一致している手段と
を備えてなる装置。
【請求項１７】
第１の情報フレームと第２の情報フレームと含む情報信号から送信フレームを生成するための方法であって、
前記第１の情報フレームを置換フレームにより置換する場合の再構築歪みを示す第１の再構築歪み値を提供し、前記第２の情報フレームを置換フレームにより置換する場合の再構築歪みを示す第２の再構築歪み値を提供するステップと、
前記第１の再構築歪み値に応じてまたは第２の再構築歪み値に応じて、前記第１の情報フレームまたは前記第２の情報フレームのいずれかを前記送信フレームに導入するステップと
を含む方法。
【請求項１８】
情報信号を受信するステップと、
請求項１７に記載の情報信号から送信フレームを生成するステップと、
前記送信フレームに基づいて送信信号を生成するステップと
を含む信号転送方法。
【請求項１９】
情報フレームを含む情報信号から送信信号を生成するための方法であって、
前記情報フレームを置換フレームにより置換する場合の再構築歪みを示す再構築歪み値を提供するステップと、
前記送信信号を取得するために、前記情報信号と前記再構築歪み値とを組合せるステップと
を含む方法。
【請求項２０】
受信フレームにおいて欠落フレームを再構築するための方法であって、前記受信フレームが少なくとも２種類のフレームのうちの前記欠落フレームの種類を示すフレーム情報を含む方法において、
前記受信フレームにおける前記フレーム情報を検出するステップと、
前記欠落フレームを再構築するために、前記フレーム情報に応答して前記欠落フレームの置換フレームを生成するステップであって、前記置換フレームの種類が前記欠落フレームの種類に一致しているステップと
を含む方法。
【請求項２１】
コンピュータプログラムがコンピュータ上で実行する場合に請求項１７、１８、１９および２０に記載の方法のうちの少なくとも１つを実行するためのコンピュータプログラム。
【請求項１】
第１の情報フレームと第２の情報フレームとを含む情報信号から送信フレームを生成する装置であって、
前記第１の情報フレームを置換フレームによって置換する場合の再構築歪みを示す第１の再構築歪み値を提供し、前記第２の情報フレームを置換フレームによって置換する場合の再構築歪みを示す第２の再構築歪み値を提供するプロバイダー（１０５）と、
前記第１の再構築歪み値に応じてまたは前記第２の再構築値に応じて前記第１の情報フレームまたは前記第２の情報フレームのいずれかを前記送信フレームに導入する導入手段（１０７）と
を備える装置。
【請求項２】
前記導入手段（１０７）が、前記第１の情報フレームまたは前記第２の情報フレームのいずれかを最適化目的に応じて導入するように構成されている、請求項１に記載の装置。
【請求項３】
前記最適化目的がレートと追加再構築歪みの低下である、請求項２に記載の装置。
【請求項４】
前記導入手段（１０７）が、レートと追加の再構築歪みの低下とに関して、前記送信フレームに導入されない情報フレームの組み合わせと、前記送信フレームに導入されるフレームの組み合わせとを判断するようになされている、請求項１〜３に記載の装置。
【請求項５】
前記導入手段（１０７）が、前記情報信号のうちのいずれの情報フレームが前記送信フレームに導入されないのかを判断するために、コスト関数を最小化するようになされている、請求項１〜４に記載の装置。
【請求項６】
前記コスト関数が、前記情報信号の特定の情報フレームを前記送信フレームに導入しないことに関連した再構築歪み値と、前記特定のフレームを導入しない場合に保存されるビット数との差を含み、前記導入手段（１０７）が、前記コスト関数が最小になるように特定の情報フレームを決定するようになされている、請求項５に記載の装置。
【請求項７】
さらなる情報信号からさらなる送信フレームを生成するようになされている装置であって、前記さらなる情報信号はさらなる第１の情報フレームとさらなる第２の情報フレームとを有しており、
前記提供手段（１０５）が、前記さらなる第１の情報フレームを置換フレームで置換する場合の再構築歪みを示すさらなる第１の再構築歪み値を提供し、前記さらなる第２の情報フレームを置換フレームにより置換する場合の再構築歪みを示すさらなる第２の再構築歪み値を提供するようにされており、
前記導入手段（１０７）が、前記さらなる第１の再構築歪み値に応じてまたは前記さらなる第２の再構築歪み値に応じて、前記さらなる第１の情報フレームまたは前記さらなる第２の情報フレームのいずれかを前記さらなる送信フレームに導入するようにされている、請求項1〜６に記載の装置。
【請求項８】
前記導入手段（１０７）が、ジョイントレートおよび追加再構築歪み低下に対して、前記情報信号のうちのいずれの情報フレームを前記送信フレームに導入しないか、また前記さらなる情報信号のうちのいずれの情報フレームを前記さらなる送信フレームに導入しないかを共に決定するようになされている、請求項７に記載の装置。
【請求項９】
前記送信フレームおよび前記さらなる送信フレームが共通通信リンクを介して送信され、前記装置が、前記情報信号の情報フレームと前記さらなる情報信号の情報フレームとを待ち行列化とするバッファを備え、前記判断手段が、前記情報信号のいずれの情報フレームを前記送信信号に導入しないのか、あるいは、前記さらなる情報信号のうちのいずれの情報フレームを前記さらなる送信フレームに導入しないのかをバッファの占有量に応じて判断するように構成されている、請求項７または８に記載の装置。
【請求項１０】
前記コスト関数が、前記情報信号の特定のフレームを前記送信フレームに導入しないことに関連した再構築歪み値と、前記さらなる情報信号の特定のフレームを前記さらなる送信フレームに導入しないことに関連した再構築歪み値との第１の合計と、前記情報信号の前記特定のフレームを前記送信フレームに導入しない場合に減量されるビット数と、前記さらなる情報信号の前記特定のフレームを前記さらなる送信フレームに導入しない場合に保存されるビット数との第２の合計との差を備え、前記導入手段が、前記コスト関数が最小化されるように、前記情報信号の前記特定のフレームと、前記さらなる情報信号の前記特定のフレームとを決定するようになされている、請求項７〜９に記載の装置。
【請求項１１】
前記導入手段（１０７）が、フレーム情報を前記送信フレームに導入するようにさらになされており、前記フレーム情報は、前記送信フレームに導入されない情報フレームの種類を示すものである、請求項１〜１０に記載の装置。
【請求項１２】
前記プロバイダー（１０５）が、前記第１の再構築歪み値または前記第２の再構築歪み値を遠隔送信機から受信するようにされている、請求項１〜１１に記載の装置。
【請求項１３】
前記プロバイダー（１０５）が、前記第１の情報フレームまたは前記第２の情報フレームに含まれる情報の種類から、前記第１の再構築歪み値または前記第２の再構築歪み値を推定するようにされている、請求項１〜１２に記載の装置。
【請求項１４】
情報信号を受信するための受信機と、
前記情報信号から送信フレームを生成するための請求項１〜１３に記載の前記装置と、
前記送信フレームに基づいて送信信号を生成する手段と
を備えてなる通信ネットワークノード。
【請求項１５】
情報フレームを含む情報信号から送信信号を生成する装置であって、
前記情報フレームを置換フレームにより置換する場合の再構築歪みを示す再構築歪み値を提供するためのプロバイダーと、
前記送信信号を取得するために、前記情報信号と前記再構築歪み値とを組合せるための結合器と
を備える装置。
【請求項１６】
受信フレームにおける欠落フレームを再構築するための装置であって、前記受信フレームが、少なくとも２種類のフレームのうちの欠落フレームの種類を示すフレーム情報を備えており、
前記受信フレームにおいて前記フレーム情報を検出する手段と、
前記欠落フレームを構築するために、前記フレーム情報に応答して前記欠落フレームにおける置換フレームを生成する手段であって、前記置換フレームの種類が前記欠落フレームの種類に一致している手段と
を備えてなる装置。
【請求項１７】
第１の情報フレームと第２の情報フレームと含む情報信号から送信フレームを生成するための方法であって、
前記第１の情報フレームを置換フレームにより置換する場合の再構築歪みを示す第１の再構築歪み値を提供し、前記第２の情報フレームを置換フレームにより置換する場合の再構築歪みを示す第２の再構築歪み値を提供するステップと、
前記第１の再構築歪み値に応じてまたは第２の再構築歪み値に応じて、前記第１の情報フレームまたは前記第２の情報フレームのいずれかを前記送信フレームに導入するステップと
を含む方法。
【請求項１８】
情報信号を受信するステップと、
請求項１７に記載の情報信号から送信フレームを生成するステップと、
前記送信フレームに基づいて送信信号を生成するステップと
を含む信号転送方法。
【請求項１９】
情報フレームを含む情報信号から送信信号を生成するための方法であって、
前記情報フレームを置換フレームにより置換する場合の再構築歪みを示す再構築歪み値を提供するステップと、
前記送信信号を取得するために、前記情報信号と前記再構築歪み値とを組合せるステップと
を含む方法。
【請求項２０】
受信フレームにおいて欠落フレームを再構築するための方法であって、前記受信フレームが少なくとも２種類のフレームのうちの前記欠落フレームの種類を示すフレーム情報を含む方法において、
前記受信フレームにおける前記フレーム情報を検出するステップと、
前記欠落フレームを再構築するために、前記フレーム情報に応答して前記欠落フレームの置換フレームを生成するステップであって、前記置換フレームの種類が前記欠落フレームの種類に一致しているステップと
を含む方法。
【請求項２１】
コンピュータプログラムがコンピュータ上で実行する場合に請求項１７、１８、１９および２０に記載の方法のうちの少なくとも１つを実行するためのコンピュータプログラム。
【図１】
【図２】
【図３ａ】
【図３ｂ】
【図４ａ】
【図４ｂ】
【図５ａ】
【図５ｂ】
【図６】
【図７】
【図２】
【図３ａ】
【図３ｂ】
【図４ａ】
【図４ｂ】
【図５ａ】
【図５ｂ】
【図６】
【図７】
【公表番号】特表２００８−５０３１１９（Ｐ２００８−５０３１１９Ａ）
【公表日】平成２０年１月３１日（２００８．１．３１）
【国際特許分類】
【出願番号】特願２００７−５１５７８５（Ｐ２００７−５１５７８５）
【出願日】平成１６年６月１５日（２００４．６．１５）
【国際出願番号】ＰＣＴ／ＥＰ２００４／００６４３８
【国際公開番号】ＷＯ２００５／１２５２１３
【国際公開日】平成１７年１２月２９日（２００５．１２．２９）
【出願人】（３９２０２６６９３）株式会社エヌ・ティ・ティ・ドコモ (5,876)
【Ｆターム（参考）】
【公表日】平成２０年１月３１日（２００８．１．３１）
【国際特許分類】
【出願日】平成１６年６月１５日（２００４．６．１５）
【国際出願番号】ＰＣＴ／ＥＰ２００４／００６４３８
【国際公開番号】ＷＯ２００５／１２５２１３
【国際公開日】平成１７年１２月２９日（２００５．１２．２９）
【出願人】（３９２０２６６９３）株式会社エヌ・ティ・ティ・ドコモ (5,876)
【Ｆターム（参考）】
[ Back to top ]