複数の経路を含むネットワークを通じてビデオを転送する方法およびシステム
複数の経路を含むネットワークを通じてビデオを転送する方法を提供する。まず、細粒度スケーラビリティを用いて、基本階層、１つまたは複数の低ビットレート拡張階層、および１つまたは複数の高ビットレート拡張階層に、ビデオが符号化される。基本階層および低ビットレート階層は、それぞれ、複数の基本階層および複数の低ビットレート拡張階層に複製される。高ビットレート階層は、複数の部分低ビットレート階層に分割され、次にそれぞれの階層が、ネットワークの異なる経路を通じて受信者に送信される。
【発明の詳細な説明】
【技術分野】
【０００１】
本発明は、包括的には圧縮ビデオのストリーミングに関し、詳細には、複数のネットワーク経路を通じてのビデオの細粒度スケーラビリティ（fine-granularity scalability：ＦＧＳ）によるストリーミングの送信に関する。
【背景技術】
【０００２】
インターネット等のネットワークを通じて圧縮ビデオをストリーミングする用途について、重要な問題の１つは、異なる資源、アクセス経路、およびプロセッサを使用する受信者に、ビデオストリームを配信するということである。したがって、ビデオのコンテンツは、そのようなネットワークにおいて見出される異機種環境に動的に適応する。
【０００３】
ＭＰＥＧ−４規格用に、そのような動的に変化するネットワーク環境にビデオを適応させる細粒度スケーラビリティ（ＦＧＳ）が開発されている、ISO/IEC 14496-2: 1999/FDAM4, "Information technology - coding of audio/visual objects, Part 2: Visual"を参照されたい。ＭＰＥＧ−４規格へのこの改正の概要は、Li, "Overview of Fine Granularity Scslability in MPEG-4 Video Standard," IEEE Trans. on Circuits and Systems for Video Technology, Vol. 11, No.3, pp. 301-317, March 2001を参照願いたい。
【０００４】
ＭＰＥＧ−４ ＦＧＳエンコーダは、基本階層ストリームと拡張階層ストリームという、２つのビットストリームを生成する。この２つのビットストリームは、目的および重要性が異なっている。基本階層ストリームは、基本復号ビデオを提供する。基本階層ストリームは、拡張階層ストリームを用いることができるようになる前に、正確に復号しなければならない。したがって、基本階層は、強力に保護しなければならない。拡張階層ストリームは、基本ビデオの品質を改善するのに用いることができる。
【０００５】
ＦＧＳ符号化は、従来のスケーラブル符号化から根本的に脱却するものである。従来のスケーラブル符号化では、コンテンツは、基本階層のビットストリームに、およびもしかするといくつかの拡張階層に符号化され、その場合粒度は、形成されている拡張階層の数と同程度に精細なだけである。結果として生じるレート歪曲線は、階段状の関数に類似している。
【０００６】
これに対して、ＦＧＳ符号化は、連続的にスケーラブルな拡張階層のビットストリームを提供する。基本階層のビットストリームの再構築したフレームが入力ビデオから引き算されることによって、拡張階層のビットストリームが発生される。これにより、空間ドメインにおいてＦＧＳ残差信号が生じる。この残差信号に、離散コサイン変換（ＤＣＴ）符号化が適用される。そうすると、ＤＣＴ係数が、ビットプレーン符号化方式によって符号化される。ビットプレーン符号化によって、拡張階層のビットストリームの複数の副階層を生成することができる。以下、副階層も拡張階層と言う。ビットプレーン符号化によって、拡張階層のビットストリームをいかなるポイントにおいても切り捨てることができる。したがって、再構築されるビデオの品質は、拡張階層のビットストリームから復号されるビットの数に比例する。
【０００７】
ＦＧＳは、ストリーミングビデオの連続的なレート制御を行う。拡張階層のビットストリームをいかなるポイントにおいても切り捨てて、目標ビットレートを達成することができるからである。従来のスケーラブル符号化方式と比較して、ＦＧＳの他の利点は、その誤り耐性である。復号される拡張階層内の１つまたは複数のフレームにおける損失または破損は、後続のフレームに伝播するものではない。後続のフレームは、常に、拡張階層が適用される前に、まず基本階層から復号される。
【０００８】
ＦＧＳの取組みは、以下の各領域に焦点を当ててきた。すなわち、符号化効率を改善する（Kalluri, "Single-Loop Motion-Compensated based Fine-Granular Scalability (MC-FGS)," MPEG2001/M6831, July 2001およびWu et al., "A framework for Efficient Fine Granularity Scalable Video Coding," IEEE Trans. on Circuits and System for Video Technology, Vol. 11, No. 3, pp. 332-344, March 2001を参照されたい）、拡張階層を切り捨てて隣接するフレーム間での品質のばらつきを最少にする（Zhang et al., "Constant Quality Constrained Rate Allocation for FGS Video Coded Bitstreams," Visual Communications and Image Processing 2002, Proceedings of SPIE, Vol. 4671, pp. 817-827, 2000、Cheong et al., "FGS coding scheme with arbitrary water ring scan order," ISO/IEC JTC1/SC29/WG11, MPEG 2001/M7442, July 2001、およびLim et al., "Macroblock reordering for FGS," ISO/IEC JTC1/SC29/WG11, MPEG 2000/M5759, March 2000を参照されたい）、ならびに、時間スケーラビリティを付加するようＦＧＳ符号化構造を変更する（Van der Schaar et al., "A Hybrid Temporal-SNR Fine Granular Scalability for Internet Video," IEEE Trans. on Circuits and System for Video Technology, Vol. 11, No. 3, pp. 318-331, March 2001、およびYan et al., "Macroblock-based Progressive Fine Granularity Spatial Scalability (mb-PFGSS)," ISO/IEC JTC1/SC29/WG11, MPEG2001/M7112, March 2001を参照されたい）ことに焦点を当ててきた。
【０００９】
ＦＧＳストリームを保護する問題もまた、取り組まれてきた。基本階層を符号化し送信するのに、さまざまな技法が利用できる（Wang et al., "Error Control and Concealment for Video Communication: A Review," Proceedings of the IEEE, vol. 86, No. 5, pp. 974-997, May 1998、およびWang et al., "Error Resilient Video Coding Techniques,"IEEE Signal Processing Magazine, pp. 61-82, July 2000を参照されたい）。
【００１０】
ＦＧＳ拡張階層を保護するのに、適応的な前方誤り訂正コード（ＦＥＣ）を用いることができる（Wang et al., "Channel-Adaptiveive Error Control for Scalable Video over Wireless Channel," The 7th International Workshop on Mobile Multimedia Communications（MoMuC）2000, October 2000を参照されたい）。不均一誤り保護（Unequal error protection）もまた、ＦＧＳビットストリームを転送するのに用いてもよい（Van der Schaar et al. "Unequal packet Loss Resilience for Fine Granularity Scalability Video," IEEE Trans. on Multimedia, Vol. 3, No. 4, pp. 381-394, December 2001を参照されたい）。
【００１１】
ネットワークにおける瞬間的な輻輳は、ストリーミングビデオの送信にとっての大きな課題である。理論的には、ＦＧＳは、ネットワークの特性を終端間で測定し、そのコンポーネントを予測することによって、利用できる帯域幅に動的に適応することができる。しかし、多くの場合、輻輳の継続時間は、そのＦＧＳビデオストリームを効果的に適応させるために測定し予測するのにかかる時間よりも短い。
【００１２】
ＦＥＣおよび再送信によって、瞬間的な輻輳のために損失したパケットを回復できることもある。しかし、このような解決策は、両方とも、さらなるトラフィックを持ち込むことによって、輻輳を悪化させる可能性もある。
【００１３】
有線ネットワークと無線ネットワークの両方について、非常に多くのマルチパス技術が知られている（Cidon et al., "Analysis of Multi-path Routing," IEEE/ACM transaction on Networking, Vol. 7, No. 6, pp. 885-896, December 1999、Su et al., "Dynamic multi-path routing: asymptotic approximation and simulations," ACM SIGMETRICS Performance Evaluation Review, Volume: 29, Issue: 1, pp. 25-36, June 2001、およびPham et al., "Multi-path routing protocol with load balancing policy in mobile ad hoc network," 4th International Workshop on Mobile and Wireless Communications Network, 2002を参照されたい）。
【００１４】
そのような場合、それぞれの経路が有する帯域幅は、シングルパスよりも低いかもしれないが、利用できる帯域幅全体はシングルパスよりも高い。
【００１５】
複数の別個の経路を通じて標準の（非ＦＧＳの）圧縮ビデオストリームを転送する、多重記述符号化（ＭＤＣ）が開発されている。ＭＤＣにおいては、ビデオのコンテンツの、互いに異なる記述が、それぞれの経路を通じて送信される。このような互いに異なる経路においては、誤りは別個に生じるので、すべての経路が同じ誤りを招く確率は低い（Wang et al., "Error Resilient Video Coding Techniques," IEEE Signal Processing Magazine, pp. 61-82, July 2000を参照されたい）。複数の無線チャネルを通じてビデオストリームを転送するＭＤＣ技法もまた知られている（Reibman et al., "Transmission of Multiple Description and Layered Video over an EGPRS Wireless Network," ICIP 2000, pp. 136-139, 2000、Zheng et al., "Wireless Video Performance Through BLAST Testbed," VTC 2001, pp. 141-146, 2001、およびKamaci et al., "Multiple description coding with multiple transmit and receive antennas for wireless channels: the case of digital modulation," Global Telecommunications Conference, 2001, GLOBECOM '01. IEEE, Volume: 6 pp. 3272-3276, 2001を参照されたい）。
【００１６】
しかし、既知の従来技術の技法は、いずれも、ネットワークの複数の経路を通じてＭＰＥＧ−４のＦＧＳの圧縮ビデオストリームを送信する方法を説明してはいない。
【発明の開示】
【発明が解決しようとする課題】
【００１７】
したがって、複数の経路を通じてＦＧＳのビデオストリームを送信して誤りおよび瞬間的な輻輳が低減するようにするシステムおよび方法を提供することが望まれている。
【課題を解決するための手段】
【００１８】
方法は、複数の経路を含むネットワークを通じてビデオを転送する。まず、細粒度スケーラビリティを用いて、基本階層、１つまたは複数の低ビットレート拡張階層、および１つまたは複数の高ビットレート拡張階層に、ビデオが符号化される。
【００１９】
基本階層および低ビットレート階層は、複数の基本階層および複数の低ビットレート拡張階層に複製される。
【００２０】
１つまたは複数の高ビットレート階層は、複数の部分低ビットレート階層に分割され、次にそれぞれの階層が、ネットワークの異なる経路を通じて受信者に送信される。
【発明を実施するための最良の形態】
【００２１】
システム構造
図１は、本発明を用いることができるインターネット等の通信システム１００を示す。システム１００は、送信者１０１と、受信者１０２と、すべて複数の経路１０５によって接続された複数のノード１０３（例えばルータやブリッジを含む）を備えたネットワーク１１０とを含む。本発明は、ネットワーク１１０の複数の経路１０５を通じてＭＰＥＧ−４の細粒度スケーラビリティ（ＦＧＳ）ビデオストリームを送信する方法を提供する。
【００２２】
システム動作
図２は、本発明による方法２００を示す。入力ビデオ２０１は、細粒度スケーラビリティを用いて、基本階層２１１と、例えば約３０から４０Ｋｂｐｓよりも低い、１つまたは複数の低ビットレート拡張階層２１２とに符号化される（２１０）。ビットストリーム２１１〜２１２は、それぞれ、複数のストリーム２２１〜２２２に複製されて（２２０）、ネットワーク１１０の複数の経路１０５を通じて受信者１０２に送信される（２４０）。
【００２３】
１つまたは複数の高ビットレート拡張階層２１３は、複数の記述２０５を用いて符号化され（２１０）、次に、部分高ビットレート階層２３１に分割されて（２３０）、ネットワーク１１０の複数の経路１０５を通じて送信され（２４０）、受信者１０２に配信される。
【００２４】
ビットレートおよび誤りの統計分析
本発明の背後にある考え方は、符号化ＦＧＳビットストリームの特性の綿密な統計分析によってもたらされている。我々は、「Ｃｏａｓｔ Ｇｕａｒｄ」や「Ａｋｉｙｏ」等の標準のビデオシーケンスの符号化によって開始する。Ｃｏａｓｔ Ｇｕａｒｄは、きめの細かい水を進むボートを示し、Ａｋｉｙｏは、簡素な背景をバックにしたかなり動きがないニュースアナウンサーを示す。ＩフレームとＰフレームの両方について基本階層の量子化パラメータＱを３１に設定することによって、シーケンスは、ＣＩＦ（common-intermediate-format）で符号化される。このような２つの標準のビデオシーケンスにおいて、Ｂフレームはない。
【００２５】
基本階層（ＢＬ）、および大きな残差の情報を保持するＥＬ１やＥＬ２等の低ビットレート拡張階層については、ビットレートは比較的低く、例えば、それぞれ約３１．３Ｋｂｐｓおよび６．８Ｋｂｐｓである。しかし、ＥＬ３以上の拡張階層については、ビットレートは、数百Ｋｂｐｓになる可能性がある。したがって、シーケンス全体のピーク平均信号対雑音比（ＰＳＮＲ）は、著しく増大する。例えば、ＥＬ３のビットレートは、基本階層のビットレートの約６倍であり、ＥＬ７のビットレートは、基本階層のビットレートの１８倍を超える。言い換えれば、低ビットレートストリームのレートと高ビットレートストリームのレートとの間には、著しい差がある。
【００２６】
小さな帯域幅が要求されるので、前方誤り訂正（ＦＥＣ）またはその他の既知の誤り防止方式を用いて基本階層２１１および低ビットレート拡張階層２１２を保護することが妥当である。高ビットレート拡張階層２１３を保護するには、より多くのオーバーヘッドビットが必要である。しかし、上述のように、ネットワークは、瞬間的な輻輳に遭遇することが多い。帯域幅が限られている場合には、これによって高ビットレート拡張階層が切り捨てられ、復号ビデオの品質がかなり低下する。そのような場合には、従来技術の方式は、高ビットレート拡張階層２１３を保護するのに効果的ではない。
【００２７】
複数の経路
輻輳したネットワークにおいては、帯域幅が大きい単一の経路を見つけることよりも、帯域幅がより低い経路をいくつか見つけることのほうが容易であろう。したがって、我々は、ストリームを複製し、複数の経路１０５を通じて、この複数のストリーム２２１〜２２２、２３１を送信する（２４０）。本発明による複数の経路という解決策を用いることによっても、パケットが損失する可能性が低減する。
【００２８】
それぞれの経路について、元のビデオのコンテンツを簡単に複製することができる。これによって、ビデオ送信のロバスト性が改善される。１つの経路において損失したパケットを、その他の経路から回復することができるからである。しかし、それぞれの経路の帯域幅が不十分な場合には、低品質のビデオしか再構築できない。別の簡単な解決策では、ビデオストリームを重なりのないストリームに分割して、それぞれのストリームについて互いに異なる経路を用いてもよい。これにより、送信ビットレートが改善される。しかし、いずれかの経路においてパケットが損失すると、それに対応する損失した情報を再構築することはできない。
【００２９】
したがって我々は、ネットワークの複数の経路１０５を通じてＭＰＥＧ−４のＦＧＳビデオストリームを送信する方法２００を提供する。
【００３０】
基本階層および低ビットレート拡張階層の複製
入力ビデオ２０１の基本階層２１１および低ビットレート拡張階層２１２は、ＦＧＳおよび従来の前方誤り訂正（ＦＥＣ）方式を用いて符号化される（２１０）。ビデオのこのようなビットストリームは、利用できるあらゆる経路について、複数のストリーム２２１〜２２２に複製される（２２０）。このようにして、基本階層および低ビットレート拡張階層が保護される。
【００３１】
高ビットレート拡張階層の分割
高ビットレート拡張階層２１３は、複数の部分低ビットレートビットストリーム２３１に分割される（２３０）。複数の部分低ビットレートビットストリームは、それぞれ、複数の記述２０５のうちの互いに異なる１つを用いて変換されて、このような複数の経路を利用する。それぞれの経路は、元の高ビットレート拡張階層２１３の複数のビットストリームの記述のうちの１つを保持している。このようにして、分割された低ビットレート拡張階層２３１は、それぞれ、入力高ビットレート拡張階層２１３と比較すると、有するビットレートが低い。したがって、分割されたビットストリーム２３１のそれぞれを、より低ビットレートの経路を通じて送信する（２４０）ことが可能である。
【００３２】
高ビットレートＦＧＳ拡張階層２１３を分割すると、誤りが低減する。１つのパケット内の情報が損失した場合には、別の経路から同様の情報を回復して、復号ビデオの品質を改善することができる。
【００３３】
ビット配分
高ビットレート拡張階層２１３を分割するには、利用できる帯域幅内の互いに異なる記述を用いて、高ビットレート階層の「１」のビットを配分する。簡単な方法では、複数の部分拡張階層２３１の間でこの「１」のビットを均等に配分する。
【００３４】
例えば、２つの経路が利用でき、入力ブロックが
００００１１０００１０１・・・１１０
という６４個のビットを含む場合には、以下のように「１」のビットが２つの記述に均等に配分される。
記述１：００００１００００１００・・・１００
記述２：０００００１０００００１・・・０１０
【００３５】
または、「１」のビットは、入力ブロックにおける「１」のビットの位置と、それに対応する、ビデオの知覚される視覚品質にとっての「１」のビットの重要性とに従って、配分される。例えば、ブロック内の左上の隅からの係数は、輝度変化を著しく反映する。したがって、これに対応する「１」のビットは、部分階層のすべてにおいて複製され、残りの「１」のビットは、部分階層の間で均等に割り当てられる。
【００３６】
一般的に、２つの経路が利用できる場合には、入力拡張階層における「１」のビットは、第１の部分階層に割り当ててもよく、第２の部分階層に割り当ててもよく、両方の部分階層に割り当ててもよく、どちらの部分階層にも割り当てなくてもよい、すなわち、可能性のある選択肢は４つある。これにより、それぞれの記述について、異なるレートおよび歪がもたらされる。したがって、レート歪最適化によって、「１」のビットがどのように配分されるべきかを決定することができる。このような４つの選択肢でビットが配分される方法については、より詳細に以下に説明する。
【００３７】
異なる経路は、異なる利用できる帯域幅および異なるパケット損失特性を有する可能性があるので、２つの可能性のある経路について、拡張階層の分割を以下のように行うことができる。
【００３８】
トレリス探索
まず、利用できる帯域幅に従って、それぞれの画像ブロック３０１に適切な数のビットを配分する。次に、それぞれのブロック３０１について、４つの段階３１１〜３１４を有するトレリス探索方法３００を適用して、２つの経路について「１」のビットの配分を決定する。
【００３９】
ブロック３０１において「１」のビットに遭遇すると、新しい段階、すなわち、「１０」３１１、「０１」３１２、「１１」３１３、および「００」３１４を用いて、「１」のビットを第１の部分階層に割り当てるか、第２の部分階層に割り当てるか、両方の階層に割り当てるか、いずれにも割り当てないかを決定する。それぞれの段階について、可能性のある前の段階からの入力ルートは４つある。
【００４０】
コスト関数
それぞれのルートは、次式の対応するコスト関数を有する。
Ｊ（λ）＝Ｄ（Ｒ１，Ｒ２，Ｐｌｏｓｓ）＋λ（Ｒ１＋Ｒ２）
ここで、Ｒ１およびＲ２は、それぞれの部分階層において現在の段階までに生成されたビット数、Ｐｌｏｓｓは、ネットワーク１００の状態に関係するパラメータ、Ｄ（．）は、ビットレートおよびネットワーク状態に関連する２つの記述の全体的な歪、λは、基本階層ブロックの量子化パラメータに従って特定される経験的パラメータである。状態は、平均パケット損失率および損失バースト率を含んでもよい。
【００４１】
次に、この「１」のビットが、コストＪ（λ）を最低にするコスト関数に従って割り当てられる。それぞれの記述について、ビットバジェットを満たすまで、この過程を繰り返す。
【００４２】
本発明によるＦＧＳビデオのマルチパス転送で、ＰＳＮＲ利得は、入力ビデオの複雑度次第で、２．０から２．６ｄＢの範囲になり得る。
【００４３】
本発明を好ましい実施の形態の例として説明したが、本発明の精神および範囲内でさまざまな他の改造および変更を行ってもよいということが理解されなければならない。したがって、特許請求の範囲の目的は、本発明の真の精神および範囲内にある変形および変更をすべて包含することである。
【図面の簡単な説明】
【００４４】
【図１】本発明を用いる通信システムのブロック図である。
【図２】本発明に従ってネットワークの複数の経路を通じてＦＧＳのビデオストリームを送信する方法のフロー図である。
【図３】本発明が用いるトレリスの図である。
【技術分野】
【０００１】
本発明は、包括的には圧縮ビデオのストリーミングに関し、詳細には、複数のネットワーク経路を通じてのビデオの細粒度スケーラビリティ（fine-granularity scalability：ＦＧＳ）によるストリーミングの送信に関する。
【背景技術】
【０００２】
インターネット等のネットワークを通じて圧縮ビデオをストリーミングする用途について、重要な問題の１つは、異なる資源、アクセス経路、およびプロセッサを使用する受信者に、ビデオストリームを配信するということである。したがって、ビデオのコンテンツは、そのようなネットワークにおいて見出される異機種環境に動的に適応する。
【０００３】
ＭＰＥＧ−４規格用に、そのような動的に変化するネットワーク環境にビデオを適応させる細粒度スケーラビリティ（ＦＧＳ）が開発されている、ISO/IEC 14496-2: 1999/FDAM4, "Information technology - coding of audio/visual objects, Part 2: Visual"を参照されたい。ＭＰＥＧ−４規格へのこの改正の概要は、Li, "Overview of Fine Granularity Scslability in MPEG-4 Video Standard," IEEE Trans. on Circuits and Systems for Video Technology, Vol. 11, No.3, pp. 301-317, March 2001を参照願いたい。
【０００４】
ＭＰＥＧ−４ ＦＧＳエンコーダは、基本階層ストリームと拡張階層ストリームという、２つのビットストリームを生成する。この２つのビットストリームは、目的および重要性が異なっている。基本階層ストリームは、基本復号ビデオを提供する。基本階層ストリームは、拡張階層ストリームを用いることができるようになる前に、正確に復号しなければならない。したがって、基本階層は、強力に保護しなければならない。拡張階層ストリームは、基本ビデオの品質を改善するのに用いることができる。
【０００５】
ＦＧＳ符号化は、従来のスケーラブル符号化から根本的に脱却するものである。従来のスケーラブル符号化では、コンテンツは、基本階層のビットストリームに、およびもしかするといくつかの拡張階層に符号化され、その場合粒度は、形成されている拡張階層の数と同程度に精細なだけである。結果として生じるレート歪曲線は、階段状の関数に類似している。
【０００６】
これに対して、ＦＧＳ符号化は、連続的にスケーラブルな拡張階層のビットストリームを提供する。基本階層のビットストリームの再構築したフレームが入力ビデオから引き算されることによって、拡張階層のビットストリームが発生される。これにより、空間ドメインにおいてＦＧＳ残差信号が生じる。この残差信号に、離散コサイン変換（ＤＣＴ）符号化が適用される。そうすると、ＤＣＴ係数が、ビットプレーン符号化方式によって符号化される。ビットプレーン符号化によって、拡張階層のビットストリームの複数の副階層を生成することができる。以下、副階層も拡張階層と言う。ビットプレーン符号化によって、拡張階層のビットストリームをいかなるポイントにおいても切り捨てることができる。したがって、再構築されるビデオの品質は、拡張階層のビットストリームから復号されるビットの数に比例する。
【０００７】
ＦＧＳは、ストリーミングビデオの連続的なレート制御を行う。拡張階層のビットストリームをいかなるポイントにおいても切り捨てて、目標ビットレートを達成することができるからである。従来のスケーラブル符号化方式と比較して、ＦＧＳの他の利点は、その誤り耐性である。復号される拡張階層内の１つまたは複数のフレームにおける損失または破損は、後続のフレームに伝播するものではない。後続のフレームは、常に、拡張階層が適用される前に、まず基本階層から復号される。
【０００８】
ＦＧＳの取組みは、以下の各領域に焦点を当ててきた。すなわち、符号化効率を改善する（Kalluri, "Single-Loop Motion-Compensated based Fine-Granular Scalability (MC-FGS)," MPEG2001/M6831, July 2001およびWu et al., "A framework for Efficient Fine Granularity Scalable Video Coding," IEEE Trans. on Circuits and System for Video Technology, Vol. 11, No. 3, pp. 332-344, March 2001を参照されたい）、拡張階層を切り捨てて隣接するフレーム間での品質のばらつきを最少にする（Zhang et al., "Constant Quality Constrained Rate Allocation for FGS Video Coded Bitstreams," Visual Communications and Image Processing 2002, Proceedings of SPIE, Vol. 4671, pp. 817-827, 2000、Cheong et al., "FGS coding scheme with arbitrary water ring scan order," ISO/IEC JTC1/SC29/WG11, MPEG 2001/M7442, July 2001、およびLim et al., "Macroblock reordering for FGS," ISO/IEC JTC1/SC29/WG11, MPEG 2000/M5759, March 2000を参照されたい）、ならびに、時間スケーラビリティを付加するようＦＧＳ符号化構造を変更する（Van der Schaar et al., "A Hybrid Temporal-SNR Fine Granular Scalability for Internet Video," IEEE Trans. on Circuits and System for Video Technology, Vol. 11, No. 3, pp. 318-331, March 2001、およびYan et al., "Macroblock-based Progressive Fine Granularity Spatial Scalability (mb-PFGSS)," ISO/IEC JTC1/SC29/WG11, MPEG2001/M7112, March 2001を参照されたい）ことに焦点を当ててきた。
【０００９】
ＦＧＳストリームを保護する問題もまた、取り組まれてきた。基本階層を符号化し送信するのに、さまざまな技法が利用できる（Wang et al., "Error Control and Concealment for Video Communication: A Review," Proceedings of the IEEE, vol. 86, No. 5, pp. 974-997, May 1998、およびWang et al., "Error Resilient Video Coding Techniques,"IEEE Signal Processing Magazine, pp. 61-82, July 2000を参照されたい）。
【００１０】
ＦＧＳ拡張階層を保護するのに、適応的な前方誤り訂正コード（ＦＥＣ）を用いることができる（Wang et al., "Channel-Adaptiveive Error Control for Scalable Video over Wireless Channel," The 7th International Workshop on Mobile Multimedia Communications（MoMuC）2000, October 2000を参照されたい）。不均一誤り保護（Unequal error protection）もまた、ＦＧＳビットストリームを転送するのに用いてもよい（Van der Schaar et al. "Unequal packet Loss Resilience for Fine Granularity Scalability Video," IEEE Trans. on Multimedia, Vol. 3, No. 4, pp. 381-394, December 2001を参照されたい）。
【００１１】
ネットワークにおける瞬間的な輻輳は、ストリーミングビデオの送信にとっての大きな課題である。理論的には、ＦＧＳは、ネットワークの特性を終端間で測定し、そのコンポーネントを予測することによって、利用できる帯域幅に動的に適応することができる。しかし、多くの場合、輻輳の継続時間は、そのＦＧＳビデオストリームを効果的に適応させるために測定し予測するのにかかる時間よりも短い。
【００１２】
ＦＥＣおよび再送信によって、瞬間的な輻輳のために損失したパケットを回復できることもある。しかし、このような解決策は、両方とも、さらなるトラフィックを持ち込むことによって、輻輳を悪化させる可能性もある。
【００１３】
有線ネットワークと無線ネットワークの両方について、非常に多くのマルチパス技術が知られている（Cidon et al., "Analysis of Multi-path Routing," IEEE/ACM transaction on Networking, Vol. 7, No. 6, pp. 885-896, December 1999、Su et al., "Dynamic multi-path routing: asymptotic approximation and simulations," ACM SIGMETRICS Performance Evaluation Review, Volume: 29, Issue: 1, pp. 25-36, June 2001、およびPham et al., "Multi-path routing protocol with load balancing policy in mobile ad hoc network," 4th International Workshop on Mobile and Wireless Communications Network, 2002を参照されたい）。
【００１４】
そのような場合、それぞれの経路が有する帯域幅は、シングルパスよりも低いかもしれないが、利用できる帯域幅全体はシングルパスよりも高い。
【００１５】
複数の別個の経路を通じて標準の（非ＦＧＳの）圧縮ビデオストリームを転送する、多重記述符号化（ＭＤＣ）が開発されている。ＭＤＣにおいては、ビデオのコンテンツの、互いに異なる記述が、それぞれの経路を通じて送信される。このような互いに異なる経路においては、誤りは別個に生じるので、すべての経路が同じ誤りを招く確率は低い（Wang et al., "Error Resilient Video Coding Techniques," IEEE Signal Processing Magazine, pp. 61-82, July 2000を参照されたい）。複数の無線チャネルを通じてビデオストリームを転送するＭＤＣ技法もまた知られている（Reibman et al., "Transmission of Multiple Description and Layered Video over an EGPRS Wireless Network," ICIP 2000, pp. 136-139, 2000、Zheng et al., "Wireless Video Performance Through BLAST Testbed," VTC 2001, pp. 141-146, 2001、およびKamaci et al., "Multiple description coding with multiple transmit and receive antennas for wireless channels: the case of digital modulation," Global Telecommunications Conference, 2001, GLOBECOM '01. IEEE, Volume: 6 pp. 3272-3276, 2001を参照されたい）。
【００１６】
しかし、既知の従来技術の技法は、いずれも、ネットワークの複数の経路を通じてＭＰＥＧ−４のＦＧＳの圧縮ビデオストリームを送信する方法を説明してはいない。
【発明の開示】
【発明が解決しようとする課題】
【００１７】
したがって、複数の経路を通じてＦＧＳのビデオストリームを送信して誤りおよび瞬間的な輻輳が低減するようにするシステムおよび方法を提供することが望まれている。
【課題を解決するための手段】
【００１８】
方法は、複数の経路を含むネットワークを通じてビデオを転送する。まず、細粒度スケーラビリティを用いて、基本階層、１つまたは複数の低ビットレート拡張階層、および１つまたは複数の高ビットレート拡張階層に、ビデオが符号化される。
【００１９】
基本階層および低ビットレート階層は、複数の基本階層および複数の低ビットレート拡張階層に複製される。
【００２０】
１つまたは複数の高ビットレート階層は、複数の部分低ビットレート階層に分割され、次にそれぞれの階層が、ネットワークの異なる経路を通じて受信者に送信される。
【発明を実施するための最良の形態】
【００２１】
システム構造
図１は、本発明を用いることができるインターネット等の通信システム１００を示す。システム１００は、送信者１０１と、受信者１０２と、すべて複数の経路１０５によって接続された複数のノード１０３（例えばルータやブリッジを含む）を備えたネットワーク１１０とを含む。本発明は、ネットワーク１１０の複数の経路１０５を通じてＭＰＥＧ−４の細粒度スケーラビリティ（ＦＧＳ）ビデオストリームを送信する方法を提供する。
【００２２】
システム動作
図２は、本発明による方法２００を示す。入力ビデオ２０１は、細粒度スケーラビリティを用いて、基本階層２１１と、例えば約３０から４０Ｋｂｐｓよりも低い、１つまたは複数の低ビットレート拡張階層２１２とに符号化される（２１０）。ビットストリーム２１１〜２１２は、それぞれ、複数のストリーム２２１〜２２２に複製されて（２２０）、ネットワーク１１０の複数の経路１０５を通じて受信者１０２に送信される（２４０）。
【００２３】
１つまたは複数の高ビットレート拡張階層２１３は、複数の記述２０５を用いて符号化され（２１０）、次に、部分高ビットレート階層２３１に分割されて（２３０）、ネットワーク１１０の複数の経路１０５を通じて送信され（２４０）、受信者１０２に配信される。
【００２４】
ビットレートおよび誤りの統計分析
本発明の背後にある考え方は、符号化ＦＧＳビットストリームの特性の綿密な統計分析によってもたらされている。我々は、「Ｃｏａｓｔ Ｇｕａｒｄ」や「Ａｋｉｙｏ」等の標準のビデオシーケンスの符号化によって開始する。Ｃｏａｓｔ Ｇｕａｒｄは、きめの細かい水を進むボートを示し、Ａｋｉｙｏは、簡素な背景をバックにしたかなり動きがないニュースアナウンサーを示す。ＩフレームとＰフレームの両方について基本階層の量子化パラメータＱを３１に設定することによって、シーケンスは、ＣＩＦ（common-intermediate-format）で符号化される。このような２つの標準のビデオシーケンスにおいて、Ｂフレームはない。
【００２５】
基本階層（ＢＬ）、および大きな残差の情報を保持するＥＬ１やＥＬ２等の低ビットレート拡張階層については、ビットレートは比較的低く、例えば、それぞれ約３１．３Ｋｂｐｓおよび６．８Ｋｂｐｓである。しかし、ＥＬ３以上の拡張階層については、ビットレートは、数百Ｋｂｐｓになる可能性がある。したがって、シーケンス全体のピーク平均信号対雑音比（ＰＳＮＲ）は、著しく増大する。例えば、ＥＬ３のビットレートは、基本階層のビットレートの約６倍であり、ＥＬ７のビットレートは、基本階層のビットレートの１８倍を超える。言い換えれば、低ビットレートストリームのレートと高ビットレートストリームのレートとの間には、著しい差がある。
【００２６】
小さな帯域幅が要求されるので、前方誤り訂正（ＦＥＣ）またはその他の既知の誤り防止方式を用いて基本階層２１１および低ビットレート拡張階層２１２を保護することが妥当である。高ビットレート拡張階層２１３を保護するには、より多くのオーバーヘッドビットが必要である。しかし、上述のように、ネットワークは、瞬間的な輻輳に遭遇することが多い。帯域幅が限られている場合には、これによって高ビットレート拡張階層が切り捨てられ、復号ビデオの品質がかなり低下する。そのような場合には、従来技術の方式は、高ビットレート拡張階層２１３を保護するのに効果的ではない。
【００２７】
複数の経路
輻輳したネットワークにおいては、帯域幅が大きい単一の経路を見つけることよりも、帯域幅がより低い経路をいくつか見つけることのほうが容易であろう。したがって、我々は、ストリームを複製し、複数の経路１０５を通じて、この複数のストリーム２２１〜２２２、２３１を送信する（２４０）。本発明による複数の経路という解決策を用いることによっても、パケットが損失する可能性が低減する。
【００２８】
それぞれの経路について、元のビデオのコンテンツを簡単に複製することができる。これによって、ビデオ送信のロバスト性が改善される。１つの経路において損失したパケットを、その他の経路から回復することができるからである。しかし、それぞれの経路の帯域幅が不十分な場合には、低品質のビデオしか再構築できない。別の簡単な解決策では、ビデオストリームを重なりのないストリームに分割して、それぞれのストリームについて互いに異なる経路を用いてもよい。これにより、送信ビットレートが改善される。しかし、いずれかの経路においてパケットが損失すると、それに対応する損失した情報を再構築することはできない。
【００２９】
したがって我々は、ネットワークの複数の経路１０５を通じてＭＰＥＧ−４のＦＧＳビデオストリームを送信する方法２００を提供する。
【００３０】
基本階層および低ビットレート拡張階層の複製
入力ビデオ２０１の基本階層２１１および低ビットレート拡張階層２１２は、ＦＧＳおよび従来の前方誤り訂正（ＦＥＣ）方式を用いて符号化される（２１０）。ビデオのこのようなビットストリームは、利用できるあらゆる経路について、複数のストリーム２２１〜２２２に複製される（２２０）。このようにして、基本階層および低ビットレート拡張階層が保護される。
【００３１】
高ビットレート拡張階層の分割
高ビットレート拡張階層２１３は、複数の部分低ビットレートビットストリーム２３１に分割される（２３０）。複数の部分低ビットレートビットストリームは、それぞれ、複数の記述２０５のうちの互いに異なる１つを用いて変換されて、このような複数の経路を利用する。それぞれの経路は、元の高ビットレート拡張階層２１３の複数のビットストリームの記述のうちの１つを保持している。このようにして、分割された低ビットレート拡張階層２３１は、それぞれ、入力高ビットレート拡張階層２１３と比較すると、有するビットレートが低い。したがって、分割されたビットストリーム２３１のそれぞれを、より低ビットレートの経路を通じて送信する（２４０）ことが可能である。
【００３２】
高ビットレートＦＧＳ拡張階層２１３を分割すると、誤りが低減する。１つのパケット内の情報が損失した場合には、別の経路から同様の情報を回復して、復号ビデオの品質を改善することができる。
【００３３】
ビット配分
高ビットレート拡張階層２１３を分割するには、利用できる帯域幅内の互いに異なる記述を用いて、高ビットレート階層の「１」のビットを配分する。簡単な方法では、複数の部分拡張階層２３１の間でこの「１」のビットを均等に配分する。
【００３４】
例えば、２つの経路が利用でき、入力ブロックが
００００１１０００１０１・・・１１０
という６４個のビットを含む場合には、以下のように「１」のビットが２つの記述に均等に配分される。
記述１：００００１００００１００・・・１００
記述２：０００００１０００００１・・・０１０
【００３５】
または、「１」のビットは、入力ブロックにおける「１」のビットの位置と、それに対応する、ビデオの知覚される視覚品質にとっての「１」のビットの重要性とに従って、配分される。例えば、ブロック内の左上の隅からの係数は、輝度変化を著しく反映する。したがって、これに対応する「１」のビットは、部分階層のすべてにおいて複製され、残りの「１」のビットは、部分階層の間で均等に割り当てられる。
【００３６】
一般的に、２つの経路が利用できる場合には、入力拡張階層における「１」のビットは、第１の部分階層に割り当ててもよく、第２の部分階層に割り当ててもよく、両方の部分階層に割り当ててもよく、どちらの部分階層にも割り当てなくてもよい、すなわち、可能性のある選択肢は４つある。これにより、それぞれの記述について、異なるレートおよび歪がもたらされる。したがって、レート歪最適化によって、「１」のビットがどのように配分されるべきかを決定することができる。このような４つの選択肢でビットが配分される方法については、より詳細に以下に説明する。
【００３７】
異なる経路は、異なる利用できる帯域幅および異なるパケット損失特性を有する可能性があるので、２つの可能性のある経路について、拡張階層の分割を以下のように行うことができる。
【００３８】
トレリス探索
まず、利用できる帯域幅に従って、それぞれの画像ブロック３０１に適切な数のビットを配分する。次に、それぞれのブロック３０１について、４つの段階３１１〜３１４を有するトレリス探索方法３００を適用して、２つの経路について「１」のビットの配分を決定する。
【００３９】
ブロック３０１において「１」のビットに遭遇すると、新しい段階、すなわち、「１０」３１１、「０１」３１２、「１１」３１３、および「００」３１４を用いて、「１」のビットを第１の部分階層に割り当てるか、第２の部分階層に割り当てるか、両方の階層に割り当てるか、いずれにも割り当てないかを決定する。それぞれの段階について、可能性のある前の段階からの入力ルートは４つある。
【００４０】
コスト関数
それぞれのルートは、次式の対応するコスト関数を有する。
Ｊ（λ）＝Ｄ（Ｒ１，Ｒ２，Ｐｌｏｓｓ）＋λ（Ｒ１＋Ｒ２）
ここで、Ｒ１およびＲ２は、それぞれの部分階層において現在の段階までに生成されたビット数、Ｐｌｏｓｓは、ネットワーク１００の状態に関係するパラメータ、Ｄ（．）は、ビットレートおよびネットワーク状態に関連する２つの記述の全体的な歪、λは、基本階層ブロックの量子化パラメータに従って特定される経験的パラメータである。状態は、平均パケット損失率および損失バースト率を含んでもよい。
【００４１】
次に、この「１」のビットが、コストＪ（λ）を最低にするコスト関数に従って割り当てられる。それぞれの記述について、ビットバジェットを満たすまで、この過程を繰り返す。
【００４２】
本発明によるＦＧＳビデオのマルチパス転送で、ＰＳＮＲ利得は、入力ビデオの複雑度次第で、２．０から２．６ｄＢの範囲になり得る。
【００４３】
本発明を好ましい実施の形態の例として説明したが、本発明の精神および範囲内でさまざまな他の改造および変更を行ってもよいということが理解されなければならない。したがって、特許請求の範囲の目的は、本発明の真の精神および範囲内にある変形および変更をすべて包含することである。
【図面の簡単な説明】
【００４４】
【図１】本発明を用いる通信システムのブロック図である。
【図２】本発明に従ってネットワークの複数の経路を通じてＦＧＳのビデオストリームを送信する方法のフロー図である。
【図３】本発明が用いるトレリスの図である。
【特許請求の範囲】
【請求項１】
複数の経路を含むネットワークを通じてビデオを転送する方法であって、
細粒度スケーラビリティを用いて、基本階層、１つまたは複数の低ビットレート拡張階層、および１つまたは複数の高ビットレート拡張階層にビデオを符号化することと、
前記基本階層と前記低ビットレート階層とをそれぞれ複数の基本階層と複数の低ビットレート拡張階層とに複製することと、
前記高ビットレート階層を複数の部分低ビットレート階層に分割することと、
前記複数の基本階層、前記複数の低ビットレート拡張階層、および前記複数の部分低ビットレート階層のそれぞれを、前記ネットワークの異なる経路を通じて送信することと
を備える複数の経路を含むネットワークを通じてビデオを転送する方法。
【請求項２】
前記低ビットレートと前記高ビットレートとの差は、少なくとも２倍である請求項１に記載の方法。
【請求項３】
前記高ビットレート拡張階層は、それぞれ異なる記述を用いて符号化される請求項１に記載の方法。
【請求項４】
前記分割することは、前記高ビットレート拡張階層の「１」のビットを前記複数の部分低ビットレート拡張階層の間で均等に配分することをさらに含む請求項１に記載の方法。
【請求項５】
前記分割することは、前記高ビットレート拡張階層の「１」のビットを、前記高ビットレート拡張階層のブロックにおける前記「１」のビットの位置に従って前記複数の部分低ビットレート拡張階層の間で配分することをさらに含む請求項１に記載の方法。
【請求項６】
前記分割することは、前記高ビットレート拡張階層の「１」のビットを、前記ビデオの知覚される視覚品質に従って前記複数の部分低ビットレート拡張階層の間で配分すること
をさらに含む請求項１に記載の方法。
【請求項７】
前記分割することは、前記複数の部分低ビットレート拡張階層の間での前記「１」のビットの分割を決定するためにコスト関数を評価することをさらに含む請求項１に記載の方法。
【請求項８】
２つの部分低ビットレート拡張階層があり、特定の「１」のビットを、前記コスト関数の最小値によって、第１の部分低ビットレート拡張階層に割り当てること、第２の部分低ビットレート拡張階層に割り当てること、前記第１および第２の部分低ビットレート拡張階層の両方に割り当てること、またはどちらの部分低ビットレート拡張階層にも割り当てないことをさらに含む請求項７に記載の方法。
【請求項９】
前記コスト関数は
Ｊ（λ）＝Ｄ（Ｒ１，Ｒ２，Ｐｌｏｓｓ）＋λ（Ｒ１＋Ｒ２）
であり、ここでＲ１およびＲ２は、前記２つの部分低ビットレート拡張階層のそれぞれにおいて生成されたビット数、Ｐｌｏｓｓは、前記ネットワークの状態に関係するパラメータ、Ｄ（．）は所与のビットレートおよび前記ネットワークの前記状態に関連する前記２つの部分低ビットレート拡張階層の全体的な歪、λは、前記基本階層のブロックの量子化パラメータに従って特定される経験的パラメータである請求項８に記載の方法。
【請求項１０】
前記状態は、平均パケット損失率および損失バースト率を含む請求項９に記載の方法。
【請求項１１】
複数の経路を含むネットワークを通じてビデオを転送するシステムであって、
細粒度スケーラビリティを用いて、基本階層、１つまたは複数の低ビットレート拡張階層、および１つまたは複数の高ビットレート拡張階層にビデオを符号化するよう構成されたエンコーダと、
前記基本階層と前記低ビットレート階層とをそれぞれ複数の基本階層と複数の低ビットレート拡張階層とに複製する手段と、
前記高ビットレート階層を複数の部分低ビットレート階層に分割する手段と、
前記複数の基本階層、前記複数の低ビットレート拡張階層、および前記複数の部分低ビットレート階層のそれぞれを、前記ネットワークの異なる経路を通じて送信するよう構成された送信機と
を備える複数の経路を含むネットワークを通じてビデオを転送するシステム。
【請求項１】
複数の経路を含むネットワークを通じてビデオを転送する方法であって、
細粒度スケーラビリティを用いて、基本階層、１つまたは複数の低ビットレート拡張階層、および１つまたは複数の高ビットレート拡張階層にビデオを符号化することと、
前記基本階層と前記低ビットレート階層とをそれぞれ複数の基本階層と複数の低ビットレート拡張階層とに複製することと、
前記高ビットレート階層を複数の部分低ビットレート階層に分割することと、
前記複数の基本階層、前記複数の低ビットレート拡張階層、および前記複数の部分低ビットレート階層のそれぞれを、前記ネットワークの異なる経路を通じて送信することと
を備える複数の経路を含むネットワークを通じてビデオを転送する方法。
【請求項２】
前記低ビットレートと前記高ビットレートとの差は、少なくとも２倍である請求項１に記載の方法。
【請求項３】
前記高ビットレート拡張階層は、それぞれ異なる記述を用いて符号化される請求項１に記載の方法。
【請求項４】
前記分割することは、前記高ビットレート拡張階層の「１」のビットを前記複数の部分低ビットレート拡張階層の間で均等に配分することをさらに含む請求項１に記載の方法。
【請求項５】
前記分割することは、前記高ビットレート拡張階層の「１」のビットを、前記高ビットレート拡張階層のブロックにおける前記「１」のビットの位置に従って前記複数の部分低ビットレート拡張階層の間で配分することをさらに含む請求項１に記載の方法。
【請求項６】
前記分割することは、前記高ビットレート拡張階層の「１」のビットを、前記ビデオの知覚される視覚品質に従って前記複数の部分低ビットレート拡張階層の間で配分すること
をさらに含む請求項１に記載の方法。
【請求項７】
前記分割することは、前記複数の部分低ビットレート拡張階層の間での前記「１」のビットの分割を決定するためにコスト関数を評価することをさらに含む請求項１に記載の方法。
【請求項８】
２つの部分低ビットレート拡張階層があり、特定の「１」のビットを、前記コスト関数の最小値によって、第１の部分低ビットレート拡張階層に割り当てること、第２の部分低ビットレート拡張階層に割り当てること、前記第１および第２の部分低ビットレート拡張階層の両方に割り当てること、またはどちらの部分低ビットレート拡張階層にも割り当てないことをさらに含む請求項７に記載の方法。
【請求項９】
前記コスト関数は
Ｊ（λ）＝Ｄ（Ｒ１，Ｒ２，Ｐｌｏｓｓ）＋λ（Ｒ１＋Ｒ２）
であり、ここでＲ１およびＲ２は、前記２つの部分低ビットレート拡張階層のそれぞれにおいて生成されたビット数、Ｐｌｏｓｓは、前記ネットワークの状態に関係するパラメータ、Ｄ（．）は所与のビットレートおよび前記ネットワークの前記状態に関連する前記２つの部分低ビットレート拡張階層の全体的な歪、λは、前記基本階層のブロックの量子化パラメータに従って特定される経験的パラメータである請求項８に記載の方法。
【請求項１０】
前記状態は、平均パケット損失率および損失バースト率を含む請求項９に記載の方法。
【請求項１１】
複数の経路を含むネットワークを通じてビデオを転送するシステムであって、
細粒度スケーラビリティを用いて、基本階層、１つまたは複数の低ビットレート拡張階層、および１つまたは複数の高ビットレート拡張階層にビデオを符号化するよう構成されたエンコーダと、
前記基本階層と前記低ビットレート階層とをそれぞれ複数の基本階層と複数の低ビットレート拡張階層とに複製する手段と、
前記高ビットレート階層を複数の部分低ビットレート階層に分割する手段と、
前記複数の基本階層、前記複数の低ビットレート拡張階層、および前記複数の部分低ビットレート階層のそれぞれを、前記ネットワークの異なる経路を通じて送信するよう構成された送信機と
を備える複数の経路を含むネットワークを通じてビデオを転送するシステム。
【図１】
【図２】
【図３】
【図２】
【図３】
【公表番号】特表２００６−５２０５５４（Ｐ２００６−５２０５５４Ａ）
【公表日】平成１８年９月７日（２００６．９．７）
【国際特許分類】
【出願番号】特願２００６−５０２６７５（Ｐ２００６−５０２６７５）
【出願日】平成１６年２月１９日（２００４．２．１９）
【国際出願番号】ＰＣＴ／ＪＰ２００４／００１９３０
【国際公開番号】ＷＯ２００４／０７５５６１
【国際公開日】平成１６年９月２日（２００４．９．２）
【出願人】（０００００６０１３）三菱電機株式会社 (33,312)
【Ｆターム（参考）】
【公表日】平成１８年９月７日（２００６．９．７）
【国際特許分類】
【出願日】平成１６年２月１９日（２００４．２．１９）
【国際出願番号】ＰＣＴ／ＪＰ２００４／００１９３０
【国際公開番号】ＷＯ２００４／０７５５６１
【国際公開日】平成１６年９月２日（２００４．９．２）
【出願人】（０００００６０１３）三菱電機株式会社 (33,312)
【Ｆターム（参考）】
[ Back to top ]