データ配信方法及びデータ配信システム
【課題】表示装置上の映像遅延、映像乱れ等の映像品質の劣化を効果的に抑制することを可能にするための映像データの配信システム及び配信方法を提供する。
【解決手段】ＱｏＳ機能を有するデータ送信ユニットから受信側端末へパケット配信されるパケットデータとして、時間軸方向に圧縮されることなく該時間軸に沿って配置される画像フレームの符号化データを利用する。送信側では、符号化パケットデータのバッファリングと使用可能な帯域に従ったパケット送信を行うキューイング工程が、次画像フレームに相当する符号化パケットデータがバッファリングされるまで行われる一方、受信側では、次画像フレームに相当する符号化パケットデータが受信された時点で受信完了している符号化パケットデータのみを利用して復号化工程が行われる。
【解決手段】ＱｏＳ機能を有するデータ送信ユニットから受信側端末へパケット配信されるパケットデータとして、時間軸方向に圧縮されることなく該時間軸に沿って配置される画像フレームの符号化データを利用する。送信側では、符号化パケットデータのバッファリングと使用可能な帯域に従ったパケット送信を行うキューイング工程が、次画像フレームに相当する符号化パケットデータがバッファリングされるまで行われる一方、受信側では、次画像フレームに相当する符号化パケットデータが受信された時点で受信完了している符号化パケットデータのみを利用して復号化工程が行われる。
【発明の詳細な説明】
【技術分野】
【０００１】
本発明は、所定の伝送手段に接続された情報処理機器間において、映像データとして、複数種類の階層的スケーラビリティを有するディジタルデータをパケット配信するためのデータ配信方法及びデータ配信システムに関するものである。
【背景技術】
【０００２】
近年、データトラヒックと映像トラヒックを同時に運用するネットワークにおいて、データソースとなる映像データなどの配信サービスの需要増に伴い、通信帯域を有効利用するため、帯域制御、優先制御といった、いわゆるＱｏＳ（Quality of Service）機能が必要になってきた。
【０００３】
すなわち、ネットワーク上の通信制御装置（ＮＣＵ：NetworkControl Unit）や、該ネットワークに接続される構内ＬＡＮ上のルーターになどの情報処理装置を帯域管理装置として利用することで、当該ネットワーク上においてＱｏＳ機能が提供されている。係る帯域管理装置は、ネットワーク上に流れるデータパケットを識別し、アプリケーションごとに利用できる帯域を制御することで基幹系など重要な業務用の帯域を確保している。これにより、トラヒック量の多いアプリケーションにより使用可能な通信帯域が占有されるのを未然に防ぎ、データ配信システムなどネットワークを含む通信システム全体のサービスレベルの低下を抑制している。
【０００４】
例えば、特許文献１には、送信前にトラヒックの種類を解析し、データトラヒックと映像トラヒックの送信する帯域量を予め制御することで、所望の表示装置上に表示される映像の品質を確保する技術が開示されている。また、特許文献２には、データソース（映像データ）又は音声データを含むパケットの配信帯域をリアルタイムで変動制御する技術が開示されている。
【先行技術文献】
【特許文献】
【０００５】
【特許文献１】特開２００５−３４８２８４号公報
【特許文献２】国際公開ＷＯ２００６／１０３７２４号パンフレット
【発明の概要】
【発明が解決しようとする課題】
【０００６】
発明者らは、従来のＱｏＳ機能を実現する技術について検討した結果、以下のような課題を発見した。すなわち、従来のＱｏＳ機能では、複数の画像フレームにより構成されたデータソースとなる映像データを配信するときに、十分な帯域が確保できないと受信側端末側（表示装置上）において映像遅延や映像乱れが発生してしまう。すなわち、従来のＱｏＳ機能では、データ優先度に従ってキューから送出するタイミングを制御しているため、該データ優先度の低いデータは、キューから送出完了するのに時間がかかったり、送出されずにデータが廃棄されてしまうことがあった。
【０００７】
本発明は上述のような課題を解決するためになされたものであり、種々の通信環境によって変化する使用可能な帯域幅に対応して、送信側及び受信側それぞれで自立的に、所望の表示装置上に表示されるべき映像の品質を制御することで、表示装置上の映像遅延、映像乱れ等の映像品質の劣化を効果的に抑制することを可能にするための映像データの配信システム及び配信方法を提供することを目的としている。
【課題を解決するための手段】
【０００８】
本発明の一実施形態は、所定の伝送手段に接続された複数の情報処理装置から送受信用端末として選択された情報処理装置間で映像データを構成する画像フレームのパケット配信を行うためのデータ配信方法、及び該データ配信方法を実現するデータ配信システムを提供する。ここで、所定の伝送手段は、インターネットなど、有線、無線を問わず、公衆回線、携帯電話回線等の一般的な通信ネットワークの他、構内ＬＡＮ、家庭内ＬＡＮも含む概念であり、パケットデータの送受信を行う情報処理装置間に位置する通信経路全般を意味する。
【０００９】
一実施形態に係るデータ配信方法は、複数の情報処理装置から選択された一又はそれ以上の情報処理装置により、少なくとも、記録手段、制御手段及び通信手段を含むデータ送信ユニットが構成された、データ配信システムにおいて実行される。したがって、当該データ配信システムは、所定の伝送手段と、該伝送手段に接続された複数の情報処理装置を、備える。ここで、情報処理装置には、送受信用端末装置（パーソナルコンピュータ、以下、「ＰＣ」という）の他、構内ＬＡＮや家庭内ＬＡＮ上に設置されたルーター、インターネットなどのネットワーク資源（例えば、ＮＣＵなど）も含まれる。
【００１０】
具体的にデータ送信ユニットにおける制御手段は、第１データ生成工程と、符号化工程と、キューイング工程と、データ送出工程と、を実行する。第１データ生成工程では、カメラなどの入力機器から取り込まれた映像データや予め別の記録手段に格納されていた映像データを構成する画像フレームが、時間軸方向に圧縮されることなく該時間軸に沿って配置される。符号化工程では、第１データ生成工程において順次用意された画像フレームのスケーラブル圧縮が行われる。これにより、スケーラビリティを有する各画像フレームの符号化が実行される。なお、スケーラブル圧縮とは、複数の解像度やビットレートなどを１つの圧縮データから取り出せるように、階層的スケーラビリティを持たせて符号化する圧縮方法を意味する。キューイング工程では、スケーラブル圧縮された符号化データから分割された複数のパケットデータが、予め設定されたデータ優先度（例えばＪＰＥＧ２０００規格におけるプログレッション順序など）に従って、記録手段にバッファリングされる。また、このバッファリングと並行して、送信側端末と受信側端末との間におけるパケット配信に割り当てられた帯域に従って、バッファリングされたパケットデータのうちから送出すべきパケットデータが、記録手段から取り出される。なお、送信すべきパケットデータの取り出しは、キューイング工程でのバッファが一杯の状態で、次画像フレームに相当する符号化パケットデータがバッファリングされるタイミングまで実行される。データ送出工程では、記録手段から取り出されたパケットデータが、通信手段を介して所定の伝送手段へ順次送出される。
【００１１】
上述のように当該データ配信方法では、バッファリングされたパケットデータの取り出し（配信動作の一部）は、キューイング工程でのバッファが一杯の状態で、次画像フレームに相当する符号化パケットデータがバッファリングされるタイミングまで実行される。ここで、受信側で表示される映像のスムーズさ（画像フレーム速度）もしくは映像の画質の優先度に応じて、このタイミング以降（次画像フレームに相当する符号化パケットデータがバッファリングされるタイミング以降）、次画像フレームに相当する符号化パケットデータのバッファリング及び取り出しを可能にするための移行処理が行われる。この移行処理の一例として、制御手段は、現画像フレームに相当する符号化パケットデータの取り出し（配信動作の一部）を中止した後に次画像フレームに相当する符号化パケットデータに対するキューイング工程及びデータ送出工程を実行するか、次画像フレームに相当する符号化パケットデータのキューイング工程では該次画像フレームに相当する符号化パケットデータのバッファリングを実行せずにそのデータを廃棄し、優先データを送信し終わるまで現画像フレームに相当する符号化パケットデータの取り出しを継続する。なお、優先データの区切りは、よりデータ列後方の方が画質がよくなるため、要求される受信側での画質の高さによって決定される。また、キューイング工程において、バッファリングされる画像フレーム数は、受信側で許容される映像表示の遅延時間によって決定される。
【００１２】
配信されるパケットデータは、階層的スケーラビリティを有する画像フレームの符号化データであるため、受信側端末では、所定タイミング（例えば、時間軸上において次画像フレームに相当する符号化パケットデータを受信したとき）までに受信されたパケットデータのみを利用して時間軸に沿って配置された復号化用データを伸長（復号化）することで、画像フレームの再生表示が可能になる。このように当該データ配信方法によれば、所定のデータ優先度に従ってバッファリングされた符号化パケットデータを、リアルタイムで変化する使用可能な通信帯域に従って可能なだけ送出する（キューイング工程及びデータ送出工程）。これは、送信側及び受信側それぞれで自立的に、所望の表示装置上に表示されるべき映像の品質を制御可能であることを意味する。その結果、表示装置上の映像遅延、映像乱れ等の映像品質の劣化を効果的に抑制することを可能になり、表示上の映像品質を一定レベル以上確保した状態で、従来の帯域制御や優先制御と同等の効果が得られる。
【００１３】
なお、データ送信ユニットは、複数の情報処理装置から送信側端末として選択された情報処理装置により構成されてもよい。この場合、データ送信ユニットを構成する情報処理装置は、少なくとも、記録手段として機能する記録装置と、制御手段として機能する制御装置と、通信手段として機能する通信インターフェースと、を備えるのが好ましい。なお、制御手段は、第１データ生成工程、符号化工程、キューイング工程及びデータ送出工程を実行する。
【００１４】
また、データ送信ユニットは、所定の伝送手段に接続された複数の情報処理装置により構成されてもよい。具体的に当該データ送信ユニットは、複数の情報処理装置から送信側端末として選択された第１情報処理装置と、複数の情報処理装置から帯域制御用端末として選択され、かつ、所定の伝送手段の一部を介して第１情報処理装置に接続された第２情報処理装置により構成されてもよい。この場合、第１情報処理装置は、少なくとも、記録手段の一部として機能する第１記録装置と、制御手段の一部として第１データ生成工程、符号化工程、スケーラブル圧縮されたデータから分割された複数のパケットデータを第２情報処理装置へ転送するデータ転送工程を実行する第１制御装置と、該分割されたパケットデータを当該第１情報処理装置の外部へ送出する第１通信インターフェースと、備えるのが好ましい。また、第２情報処理装置は、少なくとも、記録手段の一部として第１情報処理装置から転送されたパケットデータが順次格納される第２記録装置と、制御手段の一部としてキューイング工程及びデータ送出工程を実行する第２制御装置と、通信手段として機能する第２通信インターフェースと、を備えるのが好ましい。
【００１５】
一方、複数の情報処理装置から受信側端末として選択された情報処理端末は、少なくとも第３通信インターフェースと、第３記録装置と、第３制御装置と、を備える。この場合、第３制御装置は、キューイング工程を経て所定の伝送手段に送出されたパケットデータのうち、受信に成功したパケットデータのみを利用して一画像フレームとして復号化すべき復号化対象データを時間軸に沿って配置していく第２データ生成工程と、第２データ生成工程により用意される復号化対象データを順次伸長していく工程であって、時間軸上において次画像フレームに相当する符号化パケットデータを受信したとき、現画像フレームに相当する符号化パケットデータの受信完了の有無に関わらず、受信に成功した符号化パケットデータのみを利用して第２データ生成工程により生成された復号化対象データを伸長する復号化工程と、を実行する。
【００１６】
当該データ配信方法及びデータ配信システムにおいて、符号化対象となる前記映像データは、ＪＰＥＧ２０００規格に従った画像フレームにより構成されているのが好ましい。
【００１７】
なお、この発明に係る各実施例は、以下の詳細な説明及び添付図面によりさらに十分に理解可能となる。これら実施例は単に例示のために示されるものであって、この発明を限定するものと考えるべきではない。
【００１８】
また、この発明のさらなる応用範囲は、以下の詳細な説明から明らかになる。しかしながら、詳細な説明及び特定の事例はこの発明の好適な実施例を示すものではあるが、例示のためにのみ示されているものであって、この発明の範囲における様々な変形および改良はこの詳細な説明から当業者には自明であることは明らかである。
【発明の効果】
【００１９】
本発明によれば、ビジュアルコミュニケーションなど、リアルタイム性が要求される映像配信（映像データを含むマルチメディア配信サービス）において、表示装置上における映像遅延、映像乱れを発生させることなく、帯域の制御が可能になる。また、ＱｏＳ機能は、送信機能とは独立に構築（実装）でき、かつ、送信機能とは独立してリアルタイムに帯域変動に追随することが可能であるため、当該データ配信システムの構築が容易になる。
【図面の簡単な説明】
【００２０】
【図１】本実施形態に係るデータ配信システムの一例を示す図である。
【図２】情報処理装置の一般的な構成を示すブロック図である。
【図３】複数種類の階層的スケーラビリティを有するディジタルデータ(画像フレーム）のデータ構造を説明するための概念図である。
【図４】プログレッシブ順序（データ優先度）を説明するための概念図である。
【図５】本実施形態に係るデータ配信方法の第１構成例を、各機能に基づいて説明するための図である。
【図６】本実施形態に係るデータ配信方法の第２構成例を、各機能に基づいて説明するための図である。
【発明を実施するための形態】
【００２１】
以下、本発明に係るデータ配信方法及びデータ配信システムの種々の実施形態について、図１〜図６を参照しながら詳細に説明する。なお、図面の説明において同一の要素には同一符号を付して重複する説明を省略する。
【００２２】
図１は、本実施形態に係るデータ配信方法を実行可能なシステム構成として、データ配信システムの一例を示す図である。図１に示されたように、本実施形態に係るデータ配信システムは、ネットワーク１０と、該ネットワーク１０に直接又は間接に接続された種々の情報処理装置と、を備える。ネットワーク１０に直接接続される情報処理装置等としては、例えばネットワーク資源であるＮＣＵ３０が含まれ、また、このネットワーク１０上にはデータベース（Ｄ／Ｂ）２０等が設けられていてもよい。
【００２３】
さらに、ネットワーク１０にはデータ送信側のルーター４０が接続されており、このルーター４０には、ＬＡＮ４１を介して、送信側端末として複数のＰＣ４２Ａ〜４２Ｄが接続されている。一方、ネットワーク１０には、データ受信側のルーター５０も接続されており、このルーター５０には、ＬＡＮ５１を介して、受信側端末として複数のＰＣ５２Ａ〜５２Ｄが接続されている。
【００２４】
図２は、情報処理装置１００の一般的な構成を示すブロック図である。この図２に示された情報処理装置１００は、少なくとも、制御手段である制御装置１１０と、伝送手段２００との間でデータ授受を行う通信手段である通信インターフェース１２０（通信用Ｉ／Ｏを含む）と、記録手段であるＮ個（≧１）の記録装置１３０Ａ〜１３０Ｎと、周辺機器１５０との間でデータ授受を行うデバイスインターフェース１４０（描画装置やデータ送受信用Ｉ／Ｏを含む）を備える。なお、この情報処理装置１００には、図１に示された送受信用端末装置としてのＰＣ４２Ａ〜４２Ｄ、５２Ａ〜５２Ｄの他、ＬＡＮ４１、５２上に設置されたルーター４０、５０、ネットワーク１０上のネットワーク資源であるＮＣＵ３０なども含まれる。
【００２５】
また、伝送手段２００は、インターネットなど、有線、無線を問わず、公衆回線、携帯電話回線等の一般的な通信ネットワーク（図１中のネットワーク１０に相当）の他、構内ＬＡＮや家庭内ＬＡＮ（図１中のＬＡＮ４１、５１に相当）も含む概念であり、パケットデータの送受信を行う情報処理装置間に位置する通信経路全般を意味する。
【００２６】
周辺機器１５０には、例えば外部記録装置、キーボードやポインティングデバイスなどの入力装置、表示装置も含まれる。
【００２７】
次に、本発明に係るデータ配信方法及びデータ配信システムでは、複数種類の階層的スケーラビリティを有するディジタルデータ（画像フレーム）を符号化及び復号化の対象（配信対象の一部）としている。以下、簡単のため、階層的スケーラビリティを有するディジタルデータの具体例として、画像圧縮の国際標準であるＪＰＥＧ２０００の各パケットの符号化について説明する。なお、ＪＰＥＧ２０００はスケーラビリティの種類に対して優先順位を与えることが可能である。符号化列においてこの順位は、データ単位であるパケットの構成順序(プログレッション順序)として表現される。このプログレッション順序を決定する要素としては、レイヤ（Ｌ）、解像度レベル（Ｒ）、コンポーネント（Ｃ）及びポジション（Ｐ）の４種類のスケーラビリティがある。
【００２８】
図３は、複数種類の階層的スケーラビリティを有するディジタルデータのデータ構造を説明するための概念図であって、ＪＰＥＧ２０００のスケーラビリティのうちアクセス制御対象となるスケーラビリティを、レイヤ（Ｌ）及び解像度レベル（Ｒ）のみに制限したときの（濃淡画像の場合）、ＪＰＥＧ２０００におけるパケット符号化列の復号パターンを示す。具体的に、図３において、レイヤ（スケーラビリティＬ）の階層数ＮＬは３、解像度レベル（スケーラビリティＲ）の階層数ＮＲは３である。なお、レイヤは、画質レイヤとも言われ、画像再生時におけるＳＮＲ（Signal/Noise Ratio）に対応した、ディジタル画像の算術符号化データを意味する。画質への影響が高い情報ほど高位のレイヤに含まれるため、上位レイヤのデータに対して下位レイヤのデータを追加していくことで段階的に再生画像の品質を向上させることができる。
【００２９】
この図３において、Ｐｉ，ｊ（ｉ＝０，…，ＮＬ−１；ｊ＝０，…，ＮＲ−１；ｉはスケーラビリティＬの階層番号；ｊはスケーラビリティの階層番号）は、画像情報をもつＪＰＥＧ２０００パケットを表す。ある品質のＪＰＥＧ２０００符号化画像をＱＬ，Ｒで表すと、ＱＬ，Ｒを得るためには図３の枠Ａで囲まれたパケットＰｉ，ｊ（ｉ＝０，…，Ｌ；ｊ＝０，…，Ｒ）すべてが復号化される必要がある。ただし、受信側においてパケットＰｉ，ｊ少なくともいずれかが復号化されれば、画像の正常再生には問題はない。したがって、ＱｏＳ機能などのアクセス制御において階層性を保持するため、パケットＰｉ，ｊは個別に符号化される（スケーラブル圧縮）。
【００３０】
上述のようなＪＰＥＧ２０００において、プログレッション順序（データ優先度）には、ＬＲＣＰ、ＲＬＣＰ、ＲＰＣＬ、ＰＣＲＬ、及びＣＰＲＬの５種類あり、それぞれ先頭の要素から順に優先される。図４は、図３に示されたＪＰＥＧ２０００パケット符号化列を復号する際の優先順位を示すプログレッシブ順序を説明するための概念図である。特に、図４（ａ）は、スケーラビリティＬ（レイヤ）が最優先されたＬＲＣＰプログレッション順序における復号順序であり、図４（ｂ）は、スケーラビリティＲ（解像度レベル）を最優先させたＲＬＣＰのプログレッション順序における復号順序である。
【００３１】
図５は、本実施形態に係るデータ配信方法の第１構成例を、各機能に基づいて説明するための図である。図５の第１構成例は、送信機能及びＱｏＳ機能を実行するデータ送信ユニットが、２台の情報処理端末で構成された例である。例えば、図１の構成では、送信機能を担う一方の情報処理装置が送信側ＰＣ４２Ａ〜４２Ｄのいずれか（以下、ＰＣ４２Ａを送信側ＰＣとして説明する）に相当し、ＱｏＳ機能を担う情報処理装置が送信側ルーター４０に相当する。また、図２の構成について説明すると、送信機能を担う送信側ＰＣ４２Ａは、少なくとも、記録手段の一部として機能する記録装置１３０Ａ〜１３０Ｎと、制御手段の一部として第１データ生成工程（データ生成）、符号化工程（エンコード）、スケーラブル圧縮されたデータから分割された複数のパケットデータを第２情報処理装置へ転送するデータ転送工程（パケット送信）を実行する制御装置１１０と、該分割されたパケットデータを当該送信側ＰＣ４２Ａの外部へ送出する通信インターフェース１２０と、備える（言及されていない他の構成については図２参照）。同様に、ＱｏＳ機能を担う送信側ルーター４０は、少なくとも、記録手段の一部として送信側ＰＣ４２Ａから転送されたパケットデータが順次格納される記録装置１３０Ａ〜１３０Ｎと、制御手段の一部としてキューイング工程（バッファリング）及びデータ送出工程を実行する制御装置１１０と、通信手段として機能する通信インターフェース１２０と、を備える（言及されていない他の構成については図２参照）。
【００３２】
一方、受信機能を担う情報処理装置は、図１の構成では、例えば受信側ＰＣ５２Ａが相当する。また、図２の構成について説明すると、受信機能を担う受信側ＰＣ５２Ａは、少なくとも通信インターフェース１２０と、記録装置１３０Ａ〜１３０Ｎと、制御装置１１０と、を備える（言及されていない他の構成については図２参照）。この場合、受信側ＰＣ５２Ａにおける制御装置１１０は、キューイング工程を経て所定の伝送手段に送出されたパケットデータのうち、受信に成功したパケットデータのみを利用して一画像フレームとして復号化すべき復号化対象データを時間軸に沿って配置していくデータ生成工程（パケット受信：当該受信側ＰＣ５２Ａの記録装置１３０Ａ〜１３０Ｎはこのデータ生成工程で利用される）と、用意された復号化対象データを順次伸長していく工程であって、時間軸上において次画像フレームに相当する符号化パケットデータを受信したとき、現画像フレームに相当する符号化パケットデータの受信完了の有無に関わらず、用意された復号化対象データを伸長する復号化工程（出コード）と、を実行する。これらの工程を経て得られた復号化データ（画像フレーム）が、配信された映像データとして順次周辺機器１５０である表示装置に表示される（表示工程）。
【００３３】
より具体的には、送信機能は、送信されるべき画像フレーム（所定の表示装置に表示される映像データの一部）を生成又は準備（予め所定の記録手段に格納されていた映像データを利用する場合）するデータ生成（データ生成工程）と、生成されたデータを圧縮するエンコード（符号化工程）と、符号化されたデータをパケットに分割して外部に送出するパケット送信（データ転送工程）から構成される。
【００３４】
ＱｏＳ機能は、送信機能から送出された符号化パケットデータの受信するパケット受信と、受信されたパケットデータを相手先、データ種別、ＪＰＥＧ２０００規格のプログレッシブ順序などのデータ優先度に従って格納しながら、送受信端末間のパケット配信に割り当てられた優先度（帯域）に従って、符号化パケットデータを取り出すバッファリング（キューイング工程）と、取り出された符号化パケットデータをネットワーク１０へ送出するパケット送信（データ送出工程）から構成される。
【００３５】
受信機能は、ネットワーク１０から符号化パケットデータを受け取るパケット受信（復号化対象データを生成するデータ生成工程の一部）と、受信された符号化パケットデータのみを利用して生成された復号化対象データを伸長するデコード（復号化工程）と、復号化されたデータを表示する表示工程から構成される。
【００３６】
ここで、送信機能では、エンコード（符号化工程）において、相手先が受信可能な最大の画質で符号化が行われる。その際、ＪＰＥＧ２０００などにより、スケーラブルに複数の画質、解像度で圧縮される（スケーラブル圧縮）。また、送パケット送信に符号化データを送る際、もしくはパケット送信時に、より優先したい品質レイヤー（画質、解像度など）を優先的にデータ構成した後に、符号化パケットデータが送信される。
【００３７】
ＱｏＳ機能では、割り当てられた優先度（帯域）に応じた速度で、バッファリング（キューイング工程）から符号化パケットデータが送出される。その際、送信すべきパケットデータの取り出しは、キューイング工程でのバッファが一杯の状態で、次画像フレームに相当する符号化パケットデータがバッファリングされるタイミングまで実行され、そのタイミング以降、現画像フレームに相当する符号化パケットデータのバッファリング動作から次画像フレームに相当する符号化パケットデータのバッファリング動作への移行処理が行われる。その一例として、事前の設定に従って、以下の２つの処理が選択される。
【００３８】
すなわち、移行処理では、受信側で表示される映像のスムーズさ（画像フレーム速度）もしくは映像の画質の優先度に応じて、このタイミング以降（次画像フレームに相当する符号化パケットデータがバッファリングされるタイミング以降）、次画像フレームに相当する符号化パケットデータのバッファリング及び取り出しを可能にするための移行処理が行われる。この移行処理の一例として、現画像フレームに相当する符号化パケットデータの取り出し（配信動作の一部）が中止された後に次画像フレームに相当する符号化パケットデータに対するキューイング工程及びデータ送出工程が実行されるか、次画像フレームに相当する符号化パケットデータのキューイング工程では該次画像フレームに相当する符号化パケットデータのバッファリングを実行せずにそのデータを廃棄し、優先データを送信し終わるまで現画像フレームに相当する符号化パケットデータの取り出しを継続する。なお、優先データの区切りは、よりデータ列後方の方が画質がよくなるため、要求される受信側での画質の高さによって決定される。また、キューイング工程において、バッファリングされる画像フレーム数は、受信側で許容される映像表示の遅延時間によって決定される。
【００３９】
例えば、画質を優先する場合、次画像フレームに相当する符号化パケットデータを破棄し、現画像フレームデータのうち画質レイヤを送出し終わった時点で、次画像フレームに相当する符号化パケットデータを受信する。又は、画像フレーム速度を優先する場合には、現画像フレームデータの送出を、次画像フレームに相当する符号化パケットデータを受信した時点で中止するか、優先データを送信し終わった時点で中止し、次画像フレームに相当する符号化パケットデータをバッファリングしながら、パケット送信を開始する。なお、優先データの区切りは、よりデータ列後方の方が画質がよくなるが、これは受信側からの送信要求に依存して変わる。
【００４０】
受信機能では、デコード（復号化工程）において、ＱｏＳ機能でシェーピングされた画像フレームデータ（受信された符号化パケットデータのみからなる復号化対象データ）に対して、コンシールメントを施した後に伸長し、復号化されたデータを表示部に表示させる（表示工程）。
【００４１】
図６は、本実施形態に係るデータ配信方法の第２構成例を、各機能に基づいて説明するための図である。図６の第２構成例は、ＱｏＳ機能が追加された送信機能を実行するデータ送信ユニットが、１台の情報処理端末で構成された例である。例えば、図１の構成では、ＱｏＳ機能が追加された送信機能を担う情報処理装置が送信側ＰＣ４２Ａ〜４２Ｄのいずれか（以下、ＰＣ４２Ａを送信側ＰＣとして説明する）に相当する。また、図２の構成について説明すると、ＱｏＳ機能を含む送信機能を担う送信側ＰＣ４２Ａは、少なくとも、記録手段の一部として機能する記録装置１３０Ａ〜１３０Ｎと、制御手段として機能する制御装置１１０と、通信手段として機能する通信インターフェース１２０と、を備える（言及されていない他の構成については図２参照）。この場合、制御手段１１０は、第１データ生成工程（データ生成）、符号化工程（エンコード）、キューイング工程（バッファリング）及びデータ送出工程（パケット送信）を実行する。
【００４２】
受信機能を担う情報処理装置は、図１の構成では、例えば受信側ＰＣ５２Ａが相当する。また、図２の構成について説明すると、受信機能を担う受信側ＰＣ５２Ａは、少なくとも通信インターフェース１２０と、記録装置１３０Ａ〜１３０Ｎと、制御装置１１０と、を備える（言及されていない他の構成については図２参照）。この場合、受信側ＰＣ５２Ａの制御装置１１０は、キューイング工程を経て所定の伝送手段に送出されたパケットデータのうち、受信に成功したパケットデータのみから復号化対象データを順次生成していくデータ生成工程（パケット受信：当該受信側ＰＣ５２Ａの記録装置１３０Ａ〜１３０Ｎはこのデータ生成工程で利用される）と、生成された復号化対象データを順次伸長していく工程であって、時間軸上において次画像フレームに相当する符号化パケットデータを受信したとき、現画像フレームに相当する符号化パケットデータの受信完了の有無に関わらず、受信完了した符号化パケットデータのみを利用して生成された復号化対象データを伸長する復号化工程（デコード）と、を実行する。そして、これらの工程を経て生成された復号化データ（それぞれ復号化された画像フレーム）が、順次周辺機器１５０である表示装置に映像として表示される（表示工程）。
【００４３】
以上の本発明の説明から、本発明を様々に変形しうることは明らかである。そのような変形は、本発明の思想および範囲から逸脱するものとは認めることはできず、すべての当業者にとって自明である改良は、以下の請求の範囲に含まれるものである。
【符号の説明】
【００４４】
１０…ネットワーク、２０…データベース（Ｄ／Ｂ）、３０…ＮＣＵ、４０、５０…ルーター、４１、５１…ＬＡＮ、４２Ａ〜４２Ｄ…送信側端末（ＰＣ）、５２Ａ〜５２Ｄ…受信側端末（ＰＣ）、１００…情報処理装置、１１０…制御装置、１２０…通信インターフェース、１３０Ａ〜１３０Ｎ…記録装置、１４０…デバイスインターフェース、１５０…周辺機器、２００…伝送手段。
【技術分野】
【０００１】
本発明は、所定の伝送手段に接続された情報処理機器間において、映像データとして、複数種類の階層的スケーラビリティを有するディジタルデータをパケット配信するためのデータ配信方法及びデータ配信システムに関するものである。
【背景技術】
【０００２】
近年、データトラヒックと映像トラヒックを同時に運用するネットワークにおいて、データソースとなる映像データなどの配信サービスの需要増に伴い、通信帯域を有効利用するため、帯域制御、優先制御といった、いわゆるＱｏＳ（Quality of Service）機能が必要になってきた。
【０００３】
すなわち、ネットワーク上の通信制御装置（ＮＣＵ：NetworkControl Unit）や、該ネットワークに接続される構内ＬＡＮ上のルーターになどの情報処理装置を帯域管理装置として利用することで、当該ネットワーク上においてＱｏＳ機能が提供されている。係る帯域管理装置は、ネットワーク上に流れるデータパケットを識別し、アプリケーションごとに利用できる帯域を制御することで基幹系など重要な業務用の帯域を確保している。これにより、トラヒック量の多いアプリケーションにより使用可能な通信帯域が占有されるのを未然に防ぎ、データ配信システムなどネットワークを含む通信システム全体のサービスレベルの低下を抑制している。
【０００４】
例えば、特許文献１には、送信前にトラヒックの種類を解析し、データトラヒックと映像トラヒックの送信する帯域量を予め制御することで、所望の表示装置上に表示される映像の品質を確保する技術が開示されている。また、特許文献２には、データソース（映像データ）又は音声データを含むパケットの配信帯域をリアルタイムで変動制御する技術が開示されている。
【先行技術文献】
【特許文献】
【０００５】
【特許文献１】特開２００５−３４８２８４号公報
【特許文献２】国際公開ＷＯ２００６／１０３７２４号パンフレット
【発明の概要】
【発明が解決しようとする課題】
【０００６】
発明者らは、従来のＱｏＳ機能を実現する技術について検討した結果、以下のような課題を発見した。すなわち、従来のＱｏＳ機能では、複数の画像フレームにより構成されたデータソースとなる映像データを配信するときに、十分な帯域が確保できないと受信側端末側（表示装置上）において映像遅延や映像乱れが発生してしまう。すなわち、従来のＱｏＳ機能では、データ優先度に従ってキューから送出するタイミングを制御しているため、該データ優先度の低いデータは、キューから送出完了するのに時間がかかったり、送出されずにデータが廃棄されてしまうことがあった。
【０００７】
本発明は上述のような課題を解決するためになされたものであり、種々の通信環境によって変化する使用可能な帯域幅に対応して、送信側及び受信側それぞれで自立的に、所望の表示装置上に表示されるべき映像の品質を制御することで、表示装置上の映像遅延、映像乱れ等の映像品質の劣化を効果的に抑制することを可能にするための映像データの配信システム及び配信方法を提供することを目的としている。
【課題を解決するための手段】
【０００８】
本発明の一実施形態は、所定の伝送手段に接続された複数の情報処理装置から送受信用端末として選択された情報処理装置間で映像データを構成する画像フレームのパケット配信を行うためのデータ配信方法、及び該データ配信方法を実現するデータ配信システムを提供する。ここで、所定の伝送手段は、インターネットなど、有線、無線を問わず、公衆回線、携帯電話回線等の一般的な通信ネットワークの他、構内ＬＡＮ、家庭内ＬＡＮも含む概念であり、パケットデータの送受信を行う情報処理装置間に位置する通信経路全般を意味する。
【０００９】
一実施形態に係るデータ配信方法は、複数の情報処理装置から選択された一又はそれ以上の情報処理装置により、少なくとも、記録手段、制御手段及び通信手段を含むデータ送信ユニットが構成された、データ配信システムにおいて実行される。したがって、当該データ配信システムは、所定の伝送手段と、該伝送手段に接続された複数の情報処理装置を、備える。ここで、情報処理装置には、送受信用端末装置（パーソナルコンピュータ、以下、「ＰＣ」という）の他、構内ＬＡＮや家庭内ＬＡＮ上に設置されたルーター、インターネットなどのネットワーク資源（例えば、ＮＣＵなど）も含まれる。
【００１０】
具体的にデータ送信ユニットにおける制御手段は、第１データ生成工程と、符号化工程と、キューイング工程と、データ送出工程と、を実行する。第１データ生成工程では、カメラなどの入力機器から取り込まれた映像データや予め別の記録手段に格納されていた映像データを構成する画像フレームが、時間軸方向に圧縮されることなく該時間軸に沿って配置される。符号化工程では、第１データ生成工程において順次用意された画像フレームのスケーラブル圧縮が行われる。これにより、スケーラビリティを有する各画像フレームの符号化が実行される。なお、スケーラブル圧縮とは、複数の解像度やビットレートなどを１つの圧縮データから取り出せるように、階層的スケーラビリティを持たせて符号化する圧縮方法を意味する。キューイング工程では、スケーラブル圧縮された符号化データから分割された複数のパケットデータが、予め設定されたデータ優先度（例えばＪＰＥＧ２０００規格におけるプログレッション順序など）に従って、記録手段にバッファリングされる。また、このバッファリングと並行して、送信側端末と受信側端末との間におけるパケット配信に割り当てられた帯域に従って、バッファリングされたパケットデータのうちから送出すべきパケットデータが、記録手段から取り出される。なお、送信すべきパケットデータの取り出しは、キューイング工程でのバッファが一杯の状態で、次画像フレームに相当する符号化パケットデータがバッファリングされるタイミングまで実行される。データ送出工程では、記録手段から取り出されたパケットデータが、通信手段を介して所定の伝送手段へ順次送出される。
【００１１】
上述のように当該データ配信方法では、バッファリングされたパケットデータの取り出し（配信動作の一部）は、キューイング工程でのバッファが一杯の状態で、次画像フレームに相当する符号化パケットデータがバッファリングされるタイミングまで実行される。ここで、受信側で表示される映像のスムーズさ（画像フレーム速度）もしくは映像の画質の優先度に応じて、このタイミング以降（次画像フレームに相当する符号化パケットデータがバッファリングされるタイミング以降）、次画像フレームに相当する符号化パケットデータのバッファリング及び取り出しを可能にするための移行処理が行われる。この移行処理の一例として、制御手段は、現画像フレームに相当する符号化パケットデータの取り出し（配信動作の一部）を中止した後に次画像フレームに相当する符号化パケットデータに対するキューイング工程及びデータ送出工程を実行するか、次画像フレームに相当する符号化パケットデータのキューイング工程では該次画像フレームに相当する符号化パケットデータのバッファリングを実行せずにそのデータを廃棄し、優先データを送信し終わるまで現画像フレームに相当する符号化パケットデータの取り出しを継続する。なお、優先データの区切りは、よりデータ列後方の方が画質がよくなるため、要求される受信側での画質の高さによって決定される。また、キューイング工程において、バッファリングされる画像フレーム数は、受信側で許容される映像表示の遅延時間によって決定される。
【００１２】
配信されるパケットデータは、階層的スケーラビリティを有する画像フレームの符号化データであるため、受信側端末では、所定タイミング（例えば、時間軸上において次画像フレームに相当する符号化パケットデータを受信したとき）までに受信されたパケットデータのみを利用して時間軸に沿って配置された復号化用データを伸長（復号化）することで、画像フレームの再生表示が可能になる。このように当該データ配信方法によれば、所定のデータ優先度に従ってバッファリングされた符号化パケットデータを、リアルタイムで変化する使用可能な通信帯域に従って可能なだけ送出する（キューイング工程及びデータ送出工程）。これは、送信側及び受信側それぞれで自立的に、所望の表示装置上に表示されるべき映像の品質を制御可能であることを意味する。その結果、表示装置上の映像遅延、映像乱れ等の映像品質の劣化を効果的に抑制することを可能になり、表示上の映像品質を一定レベル以上確保した状態で、従来の帯域制御や優先制御と同等の効果が得られる。
【００１３】
なお、データ送信ユニットは、複数の情報処理装置から送信側端末として選択された情報処理装置により構成されてもよい。この場合、データ送信ユニットを構成する情報処理装置は、少なくとも、記録手段として機能する記録装置と、制御手段として機能する制御装置と、通信手段として機能する通信インターフェースと、を備えるのが好ましい。なお、制御手段は、第１データ生成工程、符号化工程、キューイング工程及びデータ送出工程を実行する。
【００１４】
また、データ送信ユニットは、所定の伝送手段に接続された複数の情報処理装置により構成されてもよい。具体的に当該データ送信ユニットは、複数の情報処理装置から送信側端末として選択された第１情報処理装置と、複数の情報処理装置から帯域制御用端末として選択され、かつ、所定の伝送手段の一部を介して第１情報処理装置に接続された第２情報処理装置により構成されてもよい。この場合、第１情報処理装置は、少なくとも、記録手段の一部として機能する第１記録装置と、制御手段の一部として第１データ生成工程、符号化工程、スケーラブル圧縮されたデータから分割された複数のパケットデータを第２情報処理装置へ転送するデータ転送工程を実行する第１制御装置と、該分割されたパケットデータを当該第１情報処理装置の外部へ送出する第１通信インターフェースと、備えるのが好ましい。また、第２情報処理装置は、少なくとも、記録手段の一部として第１情報処理装置から転送されたパケットデータが順次格納される第２記録装置と、制御手段の一部としてキューイング工程及びデータ送出工程を実行する第２制御装置と、通信手段として機能する第２通信インターフェースと、を備えるのが好ましい。
【００１５】
一方、複数の情報処理装置から受信側端末として選択された情報処理端末は、少なくとも第３通信インターフェースと、第３記録装置と、第３制御装置と、を備える。この場合、第３制御装置は、キューイング工程を経て所定の伝送手段に送出されたパケットデータのうち、受信に成功したパケットデータのみを利用して一画像フレームとして復号化すべき復号化対象データを時間軸に沿って配置していく第２データ生成工程と、第２データ生成工程により用意される復号化対象データを順次伸長していく工程であって、時間軸上において次画像フレームに相当する符号化パケットデータを受信したとき、現画像フレームに相当する符号化パケットデータの受信完了の有無に関わらず、受信に成功した符号化パケットデータのみを利用して第２データ生成工程により生成された復号化対象データを伸長する復号化工程と、を実行する。
【００１６】
当該データ配信方法及びデータ配信システムにおいて、符号化対象となる前記映像データは、ＪＰＥＧ２０００規格に従った画像フレームにより構成されているのが好ましい。
【００１７】
なお、この発明に係る各実施例は、以下の詳細な説明及び添付図面によりさらに十分に理解可能となる。これら実施例は単に例示のために示されるものであって、この発明を限定するものと考えるべきではない。
【００１８】
また、この発明のさらなる応用範囲は、以下の詳細な説明から明らかになる。しかしながら、詳細な説明及び特定の事例はこの発明の好適な実施例を示すものではあるが、例示のためにのみ示されているものであって、この発明の範囲における様々な変形および改良はこの詳細な説明から当業者には自明であることは明らかである。
【発明の効果】
【００１９】
本発明によれば、ビジュアルコミュニケーションなど、リアルタイム性が要求される映像配信（映像データを含むマルチメディア配信サービス）において、表示装置上における映像遅延、映像乱れを発生させることなく、帯域の制御が可能になる。また、ＱｏＳ機能は、送信機能とは独立に構築（実装）でき、かつ、送信機能とは独立してリアルタイムに帯域変動に追随することが可能であるため、当該データ配信システムの構築が容易になる。
【図面の簡単な説明】
【００２０】
【図１】本実施形態に係るデータ配信システムの一例を示す図である。
【図２】情報処理装置の一般的な構成を示すブロック図である。
【図３】複数種類の階層的スケーラビリティを有するディジタルデータ(画像フレーム）のデータ構造を説明するための概念図である。
【図４】プログレッシブ順序（データ優先度）を説明するための概念図である。
【図５】本実施形態に係るデータ配信方法の第１構成例を、各機能に基づいて説明するための図である。
【図６】本実施形態に係るデータ配信方法の第２構成例を、各機能に基づいて説明するための図である。
【発明を実施するための形態】
【００２１】
以下、本発明に係るデータ配信方法及びデータ配信システムの種々の実施形態について、図１〜図６を参照しながら詳細に説明する。なお、図面の説明において同一の要素には同一符号を付して重複する説明を省略する。
【００２２】
図１は、本実施形態に係るデータ配信方法を実行可能なシステム構成として、データ配信システムの一例を示す図である。図１に示されたように、本実施形態に係るデータ配信システムは、ネットワーク１０と、該ネットワーク１０に直接又は間接に接続された種々の情報処理装置と、を備える。ネットワーク１０に直接接続される情報処理装置等としては、例えばネットワーク資源であるＮＣＵ３０が含まれ、また、このネットワーク１０上にはデータベース（Ｄ／Ｂ）２０等が設けられていてもよい。
【００２３】
さらに、ネットワーク１０にはデータ送信側のルーター４０が接続されており、このルーター４０には、ＬＡＮ４１を介して、送信側端末として複数のＰＣ４２Ａ〜４２Ｄが接続されている。一方、ネットワーク１０には、データ受信側のルーター５０も接続されており、このルーター５０には、ＬＡＮ５１を介して、受信側端末として複数のＰＣ５２Ａ〜５２Ｄが接続されている。
【００２４】
図２は、情報処理装置１００の一般的な構成を示すブロック図である。この図２に示された情報処理装置１００は、少なくとも、制御手段である制御装置１１０と、伝送手段２００との間でデータ授受を行う通信手段である通信インターフェース１２０（通信用Ｉ／Ｏを含む）と、記録手段であるＮ個（≧１）の記録装置１３０Ａ〜１３０Ｎと、周辺機器１５０との間でデータ授受を行うデバイスインターフェース１４０（描画装置やデータ送受信用Ｉ／Ｏを含む）を備える。なお、この情報処理装置１００には、図１に示された送受信用端末装置としてのＰＣ４２Ａ〜４２Ｄ、５２Ａ〜５２Ｄの他、ＬＡＮ４１、５２上に設置されたルーター４０、５０、ネットワーク１０上のネットワーク資源であるＮＣＵ３０なども含まれる。
【００２５】
また、伝送手段２００は、インターネットなど、有線、無線を問わず、公衆回線、携帯電話回線等の一般的な通信ネットワーク（図１中のネットワーク１０に相当）の他、構内ＬＡＮや家庭内ＬＡＮ（図１中のＬＡＮ４１、５１に相当）も含む概念であり、パケットデータの送受信を行う情報処理装置間に位置する通信経路全般を意味する。
【００２６】
周辺機器１５０には、例えば外部記録装置、キーボードやポインティングデバイスなどの入力装置、表示装置も含まれる。
【００２７】
次に、本発明に係るデータ配信方法及びデータ配信システムでは、複数種類の階層的スケーラビリティを有するディジタルデータ（画像フレーム）を符号化及び復号化の対象（配信対象の一部）としている。以下、簡単のため、階層的スケーラビリティを有するディジタルデータの具体例として、画像圧縮の国際標準であるＪＰＥＧ２０００の各パケットの符号化について説明する。なお、ＪＰＥＧ２０００はスケーラビリティの種類に対して優先順位を与えることが可能である。符号化列においてこの順位は、データ単位であるパケットの構成順序(プログレッション順序)として表現される。このプログレッション順序を決定する要素としては、レイヤ（Ｌ）、解像度レベル（Ｒ）、コンポーネント（Ｃ）及びポジション（Ｐ）の４種類のスケーラビリティがある。
【００２８】
図３は、複数種類の階層的スケーラビリティを有するディジタルデータのデータ構造を説明するための概念図であって、ＪＰＥＧ２０００のスケーラビリティのうちアクセス制御対象となるスケーラビリティを、レイヤ（Ｌ）及び解像度レベル（Ｒ）のみに制限したときの（濃淡画像の場合）、ＪＰＥＧ２０００におけるパケット符号化列の復号パターンを示す。具体的に、図３において、レイヤ（スケーラビリティＬ）の階層数ＮＬは３、解像度レベル（スケーラビリティＲ）の階層数ＮＲは３である。なお、レイヤは、画質レイヤとも言われ、画像再生時におけるＳＮＲ（Signal/Noise Ratio）に対応した、ディジタル画像の算術符号化データを意味する。画質への影響が高い情報ほど高位のレイヤに含まれるため、上位レイヤのデータに対して下位レイヤのデータを追加していくことで段階的に再生画像の品質を向上させることができる。
【００２９】
この図３において、Ｐｉ，ｊ（ｉ＝０，…，ＮＬ−１；ｊ＝０，…，ＮＲ−１；ｉはスケーラビリティＬの階層番号；ｊはスケーラビリティの階層番号）は、画像情報をもつＪＰＥＧ２０００パケットを表す。ある品質のＪＰＥＧ２０００符号化画像をＱＬ，Ｒで表すと、ＱＬ，Ｒを得るためには図３の枠Ａで囲まれたパケットＰｉ，ｊ（ｉ＝０，…，Ｌ；ｊ＝０，…，Ｒ）すべてが復号化される必要がある。ただし、受信側においてパケットＰｉ，ｊ少なくともいずれかが復号化されれば、画像の正常再生には問題はない。したがって、ＱｏＳ機能などのアクセス制御において階層性を保持するため、パケットＰｉ，ｊは個別に符号化される（スケーラブル圧縮）。
【００３０】
上述のようなＪＰＥＧ２０００において、プログレッション順序（データ優先度）には、ＬＲＣＰ、ＲＬＣＰ、ＲＰＣＬ、ＰＣＲＬ、及びＣＰＲＬの５種類あり、それぞれ先頭の要素から順に優先される。図４は、図３に示されたＪＰＥＧ２０００パケット符号化列を復号する際の優先順位を示すプログレッシブ順序を説明するための概念図である。特に、図４（ａ）は、スケーラビリティＬ（レイヤ）が最優先されたＬＲＣＰプログレッション順序における復号順序であり、図４（ｂ）は、スケーラビリティＲ（解像度レベル）を最優先させたＲＬＣＰのプログレッション順序における復号順序である。
【００３１】
図５は、本実施形態に係るデータ配信方法の第１構成例を、各機能に基づいて説明するための図である。図５の第１構成例は、送信機能及びＱｏＳ機能を実行するデータ送信ユニットが、２台の情報処理端末で構成された例である。例えば、図１の構成では、送信機能を担う一方の情報処理装置が送信側ＰＣ４２Ａ〜４２Ｄのいずれか（以下、ＰＣ４２Ａを送信側ＰＣとして説明する）に相当し、ＱｏＳ機能を担う情報処理装置が送信側ルーター４０に相当する。また、図２の構成について説明すると、送信機能を担う送信側ＰＣ４２Ａは、少なくとも、記録手段の一部として機能する記録装置１３０Ａ〜１３０Ｎと、制御手段の一部として第１データ生成工程（データ生成）、符号化工程（エンコード）、スケーラブル圧縮されたデータから分割された複数のパケットデータを第２情報処理装置へ転送するデータ転送工程（パケット送信）を実行する制御装置１１０と、該分割されたパケットデータを当該送信側ＰＣ４２Ａの外部へ送出する通信インターフェース１２０と、備える（言及されていない他の構成については図２参照）。同様に、ＱｏＳ機能を担う送信側ルーター４０は、少なくとも、記録手段の一部として送信側ＰＣ４２Ａから転送されたパケットデータが順次格納される記録装置１３０Ａ〜１３０Ｎと、制御手段の一部としてキューイング工程（バッファリング）及びデータ送出工程を実行する制御装置１１０と、通信手段として機能する通信インターフェース１２０と、を備える（言及されていない他の構成については図２参照）。
【００３２】
一方、受信機能を担う情報処理装置は、図１の構成では、例えば受信側ＰＣ５２Ａが相当する。また、図２の構成について説明すると、受信機能を担う受信側ＰＣ５２Ａは、少なくとも通信インターフェース１２０と、記録装置１３０Ａ〜１３０Ｎと、制御装置１１０と、を備える（言及されていない他の構成については図２参照）。この場合、受信側ＰＣ５２Ａにおける制御装置１１０は、キューイング工程を経て所定の伝送手段に送出されたパケットデータのうち、受信に成功したパケットデータのみを利用して一画像フレームとして復号化すべき復号化対象データを時間軸に沿って配置していくデータ生成工程（パケット受信：当該受信側ＰＣ５２Ａの記録装置１３０Ａ〜１３０Ｎはこのデータ生成工程で利用される）と、用意された復号化対象データを順次伸長していく工程であって、時間軸上において次画像フレームに相当する符号化パケットデータを受信したとき、現画像フレームに相当する符号化パケットデータの受信完了の有無に関わらず、用意された復号化対象データを伸長する復号化工程（出コード）と、を実行する。これらの工程を経て得られた復号化データ（画像フレーム）が、配信された映像データとして順次周辺機器１５０である表示装置に表示される（表示工程）。
【００３３】
より具体的には、送信機能は、送信されるべき画像フレーム（所定の表示装置に表示される映像データの一部）を生成又は準備（予め所定の記録手段に格納されていた映像データを利用する場合）するデータ生成（データ生成工程）と、生成されたデータを圧縮するエンコード（符号化工程）と、符号化されたデータをパケットに分割して外部に送出するパケット送信（データ転送工程）から構成される。
【００３４】
ＱｏＳ機能は、送信機能から送出された符号化パケットデータの受信するパケット受信と、受信されたパケットデータを相手先、データ種別、ＪＰＥＧ２０００規格のプログレッシブ順序などのデータ優先度に従って格納しながら、送受信端末間のパケット配信に割り当てられた優先度（帯域）に従って、符号化パケットデータを取り出すバッファリング（キューイング工程）と、取り出された符号化パケットデータをネットワーク１０へ送出するパケット送信（データ送出工程）から構成される。
【００３５】
受信機能は、ネットワーク１０から符号化パケットデータを受け取るパケット受信（復号化対象データを生成するデータ生成工程の一部）と、受信された符号化パケットデータのみを利用して生成された復号化対象データを伸長するデコード（復号化工程）と、復号化されたデータを表示する表示工程から構成される。
【００３６】
ここで、送信機能では、エンコード（符号化工程）において、相手先が受信可能な最大の画質で符号化が行われる。その際、ＪＰＥＧ２０００などにより、スケーラブルに複数の画質、解像度で圧縮される（スケーラブル圧縮）。また、送パケット送信に符号化データを送る際、もしくはパケット送信時に、より優先したい品質レイヤー（画質、解像度など）を優先的にデータ構成した後に、符号化パケットデータが送信される。
【００３７】
ＱｏＳ機能では、割り当てられた優先度（帯域）に応じた速度で、バッファリング（キューイング工程）から符号化パケットデータが送出される。その際、送信すべきパケットデータの取り出しは、キューイング工程でのバッファが一杯の状態で、次画像フレームに相当する符号化パケットデータがバッファリングされるタイミングまで実行され、そのタイミング以降、現画像フレームに相当する符号化パケットデータのバッファリング動作から次画像フレームに相当する符号化パケットデータのバッファリング動作への移行処理が行われる。その一例として、事前の設定に従って、以下の２つの処理が選択される。
【００３８】
すなわち、移行処理では、受信側で表示される映像のスムーズさ（画像フレーム速度）もしくは映像の画質の優先度に応じて、このタイミング以降（次画像フレームに相当する符号化パケットデータがバッファリングされるタイミング以降）、次画像フレームに相当する符号化パケットデータのバッファリング及び取り出しを可能にするための移行処理が行われる。この移行処理の一例として、現画像フレームに相当する符号化パケットデータの取り出し（配信動作の一部）が中止された後に次画像フレームに相当する符号化パケットデータに対するキューイング工程及びデータ送出工程が実行されるか、次画像フレームに相当する符号化パケットデータのキューイング工程では該次画像フレームに相当する符号化パケットデータのバッファリングを実行せずにそのデータを廃棄し、優先データを送信し終わるまで現画像フレームに相当する符号化パケットデータの取り出しを継続する。なお、優先データの区切りは、よりデータ列後方の方が画質がよくなるため、要求される受信側での画質の高さによって決定される。また、キューイング工程において、バッファリングされる画像フレーム数は、受信側で許容される映像表示の遅延時間によって決定される。
【００３９】
例えば、画質を優先する場合、次画像フレームに相当する符号化パケットデータを破棄し、現画像フレームデータのうち画質レイヤを送出し終わった時点で、次画像フレームに相当する符号化パケットデータを受信する。又は、画像フレーム速度を優先する場合には、現画像フレームデータの送出を、次画像フレームに相当する符号化パケットデータを受信した時点で中止するか、優先データを送信し終わった時点で中止し、次画像フレームに相当する符号化パケットデータをバッファリングしながら、パケット送信を開始する。なお、優先データの区切りは、よりデータ列後方の方が画質がよくなるが、これは受信側からの送信要求に依存して変わる。
【００４０】
受信機能では、デコード（復号化工程）において、ＱｏＳ機能でシェーピングされた画像フレームデータ（受信された符号化パケットデータのみからなる復号化対象データ）に対して、コンシールメントを施した後に伸長し、復号化されたデータを表示部に表示させる（表示工程）。
【００４１】
図６は、本実施形態に係るデータ配信方法の第２構成例を、各機能に基づいて説明するための図である。図６の第２構成例は、ＱｏＳ機能が追加された送信機能を実行するデータ送信ユニットが、１台の情報処理端末で構成された例である。例えば、図１の構成では、ＱｏＳ機能が追加された送信機能を担う情報処理装置が送信側ＰＣ４２Ａ〜４２Ｄのいずれか（以下、ＰＣ４２Ａを送信側ＰＣとして説明する）に相当する。また、図２の構成について説明すると、ＱｏＳ機能を含む送信機能を担う送信側ＰＣ４２Ａは、少なくとも、記録手段の一部として機能する記録装置１３０Ａ〜１３０Ｎと、制御手段として機能する制御装置１１０と、通信手段として機能する通信インターフェース１２０と、を備える（言及されていない他の構成については図２参照）。この場合、制御手段１１０は、第１データ生成工程（データ生成）、符号化工程（エンコード）、キューイング工程（バッファリング）及びデータ送出工程（パケット送信）を実行する。
【００４２】
受信機能を担う情報処理装置は、図１の構成では、例えば受信側ＰＣ５２Ａが相当する。また、図２の構成について説明すると、受信機能を担う受信側ＰＣ５２Ａは、少なくとも通信インターフェース１２０と、記録装置１３０Ａ〜１３０Ｎと、制御装置１１０と、を備える（言及されていない他の構成については図２参照）。この場合、受信側ＰＣ５２Ａの制御装置１１０は、キューイング工程を経て所定の伝送手段に送出されたパケットデータのうち、受信に成功したパケットデータのみから復号化対象データを順次生成していくデータ生成工程（パケット受信：当該受信側ＰＣ５２Ａの記録装置１３０Ａ〜１３０Ｎはこのデータ生成工程で利用される）と、生成された復号化対象データを順次伸長していく工程であって、時間軸上において次画像フレームに相当する符号化パケットデータを受信したとき、現画像フレームに相当する符号化パケットデータの受信完了の有無に関わらず、受信完了した符号化パケットデータのみを利用して生成された復号化対象データを伸長する復号化工程（デコード）と、を実行する。そして、これらの工程を経て生成された復号化データ（それぞれ復号化された画像フレーム）が、順次周辺機器１５０である表示装置に映像として表示される（表示工程）。
【００４３】
以上の本発明の説明から、本発明を様々に変形しうることは明らかである。そのような変形は、本発明の思想および範囲から逸脱するものとは認めることはできず、すべての当業者にとって自明である改良は、以下の請求の範囲に含まれるものである。
【符号の説明】
【００４４】
１０…ネットワーク、２０…データベース（Ｄ／Ｂ）、３０…ＮＣＵ、４０、５０…ルーター、４１、５１…ＬＡＮ、４２Ａ〜４２Ｄ…送信側端末（ＰＣ）、５２Ａ〜５２Ｄ…受信側端末（ＰＣ）、１００…情報処理装置、１１０…制御装置、１２０…通信インターフェース、１３０Ａ〜１３０Ｎ…記録装置、１４０…デバイスインターフェース、１５０…周辺機器、２００…伝送手段。
【特許請求の範囲】
【請求項１】
所定の伝送手段に接続された複数の情報処理装置から送受信用端末として選択された情報処理装置間で、映像データを構成する画像フレームごとにパケット配信を行うためのデータ配信方法であって、
前記複数の情報処理装置から選択された一又はそれ以上の情報処理装置により、少なくとも、記録手段、制御手段及び通信手段を含むデータ送信ユニットが構成されており、
前記データ送信ユニットにおける前記制御手段が、
前記映像データを構成する画像フレームを、時間軸方向に圧縮されることなく該時間軸に沿って配置していく第１データ生成工程と、
前記第１データ生成工程において順次用意された画像フレームそれぞれをスケーラブル圧縮していく符号化工程と、
前記スケーラブル圧縮された符号化データから分割された複数のパケットデータを、予め設定されたデータ優先度に従って、前記記録手段にバッファリングしながら、前記送信側端末と前記受信側端末との間におけるパケット配信に割り当てられた帯域に従って、前記バッファリングされたパケットデータのうちから送出すべきパケットデータを前記記録手段から取り出すキューイング工程と、
前記記録手段から取り出されたパケットデータを、前記通信手段を介して前記所定の伝送手段へ順次送出するデータ送出工程と、実行することを特徴とするデータ配信方法。
【請求項２】
前記キューイング工程において、前記パケットデータの取り出し動作として、前記記録手段により構成されるバッファが一杯の状態で、次画像フレームに相当する符号化パケットデータがバッファリングされるタイミング以降、現画像フレームのパケットデータ送信から次画像フレームのパケットデータ送信へ移行するための移行処理が行われることを特徴とする請求項１記載のデータ配信方法。
【請求項３】
前記データ送信ユニットは、前記複数の情報処理装置から送信側端末として選択された情報処理装置により構成され、
前記情報処理装置は、少なくとも、前記記録手段として機能する記録装置と、前記制御手段として前記第１データ生成工程、前記符号化工程、前記キューイング工程及び前記データ送出工程を実行する制御装置と、前記通信手段として機能する通信インターフェースと、を備えることを特徴とする請求項１又は２記載のデータ配信方法。
【請求項４】
前記データ送信ユニットは、前記複数の情報処理装置から送信側端末として選択された第１情報処理装置と、前記複数の情報処理装置から帯域制御用端末として選択され、かつ、前記所定の伝送手段の一部を介して前記第１情報処理装置に接続された第２情報処理装置により構成され、
前記第１情報処理装置は、少なくとも、前記記録手段の一部として機能する第１記録装置と、前記制御手段の一部として前記第１データ生成工程、前記符号化工程、前記スケーラブル圧縮されたデータから分割された複数のパケットデータを前記第２情報処理装置へ転送するデータ転送工程を実行する第１制御装置と、該分割されたパケットデータを当該第１情報処理装置の外部へ送出する第１通信インターフェースと、を備え、
前記第２情報処理装置は、少なくとも、前記記録手段の一部として前記第１情報処理装置から転送されたパケットデータが順次格納される第２記録装置と、前記制御手段の一部として前記キューイング工程及びデータ送出工程を実行する第２制御装置と、前記通信手段として機能する第２通信インターフェースと、を備えることを特徴とする請求項１又は２記載のデータ配信方法。
【請求項５】
前記複数の情報処理装置から受信側端末として選択され、かつ、少なくとも第３通信インターフェースと、第３記録装置と、第３制御装置と、を備えた第３情報処理装置であって、前記第３制御装置が、
前記キューイング工程を経て前記所定の伝送手段に送出されたパケットデータのうち、受信に成功したパケットデータのみを利用して一画像フレームとして復号化されるべき復号化対象データを時間軸に沿って配置していく第２データ生成工程と、
前記第２データ生成工程により用意された復号化対象データを順次伸長していく復号化工程であって、時間軸上において次画像フレームに相当する符号化パケットデータを受信したとき、現画像フレームに相当する符号化パケットデータの受信完了の有無に関わらず、受信に成功した符号化パケットデータのみを利用して前記第２データ生成工程により生成された復号化対象データを伸長する復号化工程と、を実行することを特徴とする請求項１〜４のいずれか一項記載のデータ配信方法。
【請求項６】
符号化対象となる前記映像データは、ＪＰＥＧ２０００規格に従った画像フレームにより構成されていることを特徴とする請求項１〜４のいずれか一項記載のデータ配信方法。
【請求項７】
請求項１〜６のいずれか一項記載のデータ配信方法を実現するためのデータ配信システム。
【請求項１】
所定の伝送手段に接続された複数の情報処理装置から送受信用端末として選択された情報処理装置間で、映像データを構成する画像フレームごとにパケット配信を行うためのデータ配信方法であって、
前記複数の情報処理装置から選択された一又はそれ以上の情報処理装置により、少なくとも、記録手段、制御手段及び通信手段を含むデータ送信ユニットが構成されており、
前記データ送信ユニットにおける前記制御手段が、
前記映像データを構成する画像フレームを、時間軸方向に圧縮されることなく該時間軸に沿って配置していく第１データ生成工程と、
前記第１データ生成工程において順次用意された画像フレームそれぞれをスケーラブル圧縮していく符号化工程と、
前記スケーラブル圧縮された符号化データから分割された複数のパケットデータを、予め設定されたデータ優先度に従って、前記記録手段にバッファリングしながら、前記送信側端末と前記受信側端末との間におけるパケット配信に割り当てられた帯域に従って、前記バッファリングされたパケットデータのうちから送出すべきパケットデータを前記記録手段から取り出すキューイング工程と、
前記記録手段から取り出されたパケットデータを、前記通信手段を介して前記所定の伝送手段へ順次送出するデータ送出工程と、実行することを特徴とするデータ配信方法。
【請求項２】
前記キューイング工程において、前記パケットデータの取り出し動作として、前記記録手段により構成されるバッファが一杯の状態で、次画像フレームに相当する符号化パケットデータがバッファリングされるタイミング以降、現画像フレームのパケットデータ送信から次画像フレームのパケットデータ送信へ移行するための移行処理が行われることを特徴とする請求項１記載のデータ配信方法。
【請求項３】
前記データ送信ユニットは、前記複数の情報処理装置から送信側端末として選択された情報処理装置により構成され、
前記情報処理装置は、少なくとも、前記記録手段として機能する記録装置と、前記制御手段として前記第１データ生成工程、前記符号化工程、前記キューイング工程及び前記データ送出工程を実行する制御装置と、前記通信手段として機能する通信インターフェースと、を備えることを特徴とする請求項１又は２記載のデータ配信方法。
【請求項４】
前記データ送信ユニットは、前記複数の情報処理装置から送信側端末として選択された第１情報処理装置と、前記複数の情報処理装置から帯域制御用端末として選択され、かつ、前記所定の伝送手段の一部を介して前記第１情報処理装置に接続された第２情報処理装置により構成され、
前記第１情報処理装置は、少なくとも、前記記録手段の一部として機能する第１記録装置と、前記制御手段の一部として前記第１データ生成工程、前記符号化工程、前記スケーラブル圧縮されたデータから分割された複数のパケットデータを前記第２情報処理装置へ転送するデータ転送工程を実行する第１制御装置と、該分割されたパケットデータを当該第１情報処理装置の外部へ送出する第１通信インターフェースと、を備え、
前記第２情報処理装置は、少なくとも、前記記録手段の一部として前記第１情報処理装置から転送されたパケットデータが順次格納される第２記録装置と、前記制御手段の一部として前記キューイング工程及びデータ送出工程を実行する第２制御装置と、前記通信手段として機能する第２通信インターフェースと、を備えることを特徴とする請求項１又は２記載のデータ配信方法。
【請求項５】
前記複数の情報処理装置から受信側端末として選択され、かつ、少なくとも第３通信インターフェースと、第３記録装置と、第３制御装置と、を備えた第３情報処理装置であって、前記第３制御装置が、
前記キューイング工程を経て前記所定の伝送手段に送出されたパケットデータのうち、受信に成功したパケットデータのみを利用して一画像フレームとして復号化されるべき復号化対象データを時間軸に沿って配置していく第２データ生成工程と、
前記第２データ生成工程により用意された復号化対象データを順次伸長していく復号化工程であって、時間軸上において次画像フレームに相当する符号化パケットデータを受信したとき、現画像フレームに相当する符号化パケットデータの受信完了の有無に関わらず、受信に成功した符号化パケットデータのみを利用して前記第２データ生成工程により生成された復号化対象データを伸長する復号化工程と、を実行することを特徴とする請求項１〜４のいずれか一項記載のデータ配信方法。
【請求項６】
符号化対象となる前記映像データは、ＪＰＥＧ２０００規格に従った画像フレームにより構成されていることを特徴とする請求項１〜４のいずれか一項記載のデータ配信方法。
【請求項７】
請求項１〜６のいずれか一項記載のデータ配信方法を実現するためのデータ配信システム。
【図１】
【図２】
【図３】
【図４】
【図５】
【図６】
【図２】
【図３】
【図４】
【図５】
【図６】
【公開番号】特開２０１３−８１０２０（Ｐ２０１３−８１０２０Ａ）
【公開日】平成２５年５月２日（２０１３．５．２）
【国際特許分類】
【出願番号】特願２０１１−２１９１５４（Ｐ２０１１−２１９１５４）
【出願日】平成２３年１０月３日（２０１１．１０．３）
【出願人】（０００００２１３０）住友電気工業株式会社 (12,747)
【Ｆターム（参考）】
【公開日】平成２５年５月２日（２０１３．５．２）
【国際特許分類】
【出願日】平成２３年１０月３日（２０１１．１０．３）
【出願人】（０００００２１３０）住友電気工業株式会社 (12,747)
【Ｆターム（参考）】
[ Back to top ]