マルチメディアデータを記録した情報保存媒体、その再生方法及び再生装置
マルチメディアコンテンツをストリーミングサービスするためのマルチメディアデータの構成と、そのデータの再生方法及び装置が開示される。本発明による情報保存媒体は、マルチメディアデータを記録した情報保存媒体において、マルチメディアデータは、少なくとも一つのメディアストリームと、付加情報とを含み、メディアストリームは、ネットワークを通じてストリーミングされるデータとネットワークを通じてダウンロードされるデータとを分離して記録しており、付加情報は、ストリーミングデータとダウンロードデータとの結合方法を表現する情報であることを特徴とする。
【発明の詳細な説明】
【技術分野】
【０００１】
本発明は、マルチメディアコンテンツの符号化に係り、より詳細には、マルチメディアコンテンツをストリーミングサービスするためのマルチメディアデータの構成と、そのデータの再生方法及び装置に関する。
【背景技術】
【０００２】
ビデオデータ、オーディオデータ、コンピュータアニメーションデータまたはこれらを全て含むマルチメディアデータは、それぞれのデータ自体内でまたはそれぞれのデータの間で再生時間が互いに同期している。すなわち、オーディオデータとビデオデータとが互いに同期して再生できるようにする時間情報が各データに記録されており、データ自体内にもそのデータがいつ出力されるかに関する情報が記録されている。このようなマルチメディアデータをインターネットを含んだ有無線ネットワークを通じてストリーミングすることにより、教育、娯楽、映画などのサービスを提供できる。
【０００３】
ストリーミングサービスは、ネットワークのジッター、帯域幅、遅延、パケット損失率、ビットエラー率などの制限条件と端末機のデータ処理性能、メモリ容量などの特性によって制限される。したがって、従来のダウンロード方式とストリーミング方式とを結合したストリーミングサービス技術(大韓民国特許公開第２００２−９５００１号公報)では、マルチメディアストリームファイルをダウンロードファイルとストリーミングファイルとに分離して、ユーザーが所望のストリームを要請すれば、これに該当するダウンロードファイルが端末に存在しているか否かをメッセージ送受信を通じて確認して、存在していない場合には、ストリーミングファイルとダウンロードファイルとを共に伝送し、ダウンロードファイルが存在する場合には、ストリーミングファイルのみをストリーミングしている。このようなストリーミングファイルと該当するダウンロードファイルとを単純に連結する方法は、ストリーミングファイルとダウンロードファイルとの特定結合構成を端末及びサーバーが予め知っている場合にのみ動作し、多様なストリーミングファイルとダウンロードファイルとの結合構造を提供できない。また、この方法では、ダウンロードファイルがない場合、ダウンロードを強制的に実施することで、端末の保存容量が不足した場合には動作しないという問題点がある。
【発明の開示】
【発明が解決しようとする課題】
【０００４】
本発明が達成しようとする技術的課題は、多様なストリーミング方式とダウンロード方式とが結合されたマルチメディアコンテンツサービスをコンテンツ付加情報を活用して提供できるマルチメディアデータを記録した情報保存媒体、その再生方法及び装置を提供することである。
【課題を解決するための手段】
【０００５】
前記技術的課題は、本発明によって、マルチメディアデータを記録した情報保存媒体において、前記マルチメディアデータは、少なくとも一つのメディアストリームと、付加情報とを含み、前記メディアストリームは、ネットワークを通じてストリーミングされるデータとネットワークを通じてダウンロードされるデータとを分離して記録しており、前記付加情報は、前記ストリーミングデータとダウンロードデータとの結合方法を表現する情報であることを特徴とする情報保存媒体により達成される。
【０００６】
前記メディアストリームは、前記ストリーミングデータを集めて作られた第１サブストリームと、前記ダウンロードデータを集めて作られた第２サブストリームとを組み合わせて、前記メディアストリームを作るのに使われる情報であるコンテンツ付加情報をさらに含むことが望ましい。
【０００７】
また、前記技術的課題は、(ａ)マルチメディアデータを構成する少なくとも一つのメディアストリームに関する構成情報であるコンテンツ付加情報を受信する段階と、(ｂ)前記コンテンツ付加情報によってダウンロードデータ伝送要求命令を伝送し、ダウンロードデータを受信して保存する段階と、(ｃ)前記コンテンツ付加情報によってストリーミングデータ伝送要求命令を伝送し、ストリーミングデータを受信する段階と、(ｄ)前記保存されたダウンロードデータとストリーミングデータとを前記コンテンツ付加情報によって元のメディアストリームに作って再生する段階とを含むことを特徴とするマルチメディアデータ再生方法によっても達成される。
【０００８】
前記コンテンツ付加情報は、前記マルチメディアデータを構成するメディアストリームの数情報と、前記メディアストリームの属性に関する情報であるストリーム付加情報とを含むことが望ましい。
【０００９】
一方、本発明の他の分野によれば、前記技術的課題は、ダウンロードサブストリームを受信するダウンロードサブストリームバッファと、ストリーミングサブストリームを受信するストリーミングサブストリームバッファと、前記ダウンロードサブストリーム及びストリーミングサブストリームを組み合わせてメディアストリームを作って復号化するメディア復号器と、前記復号化したデータが複数個である場合に、そのそれぞれの時間同期を合わせて再生するレンダラとを備えることを特徴とするマルチメディアデータ再生装置によっても達成される。
【発明の効果】
【００１０】
本発明によれば、多様な方法でダウンロード方式及びストリーミング方式を結合したマルチメディアサービスを提供でき、端末の保存容量が不足した場合に不要なダウンロードをしないので、効率的である。
【発明を実施するための最良の形態】
【００１１】
以下、添付された図面を参照して、本発明の望ましい実施例について詳細に説明する。
【００１２】
図１は、本発明のマルチメディアデータの構成を示す図である。
【００１３】
マルチメディアコンテンツは、ビデオ、オーディオ及びテキストなど色々なデータから構成されうる。これらそれぞれのデータをメディアストリームという。図１を参照するに、３個のメディアストリームから構成されたマルチメディアコンテンツの一例を挙げている。すなわち、メディアストリームＡ１１０、メディアストリームＢ１２０、メディアストリームＣ１３０は、一つのマルチメディアコンテンツを構成するメディアストリームであって、それぞれのメディアストリームは、メディアストリーム自体の内部時間同期情報とメディアストリーム間の時間同期を合わせるためのメディア間時間同期情報が挿入されている。これらの情報は、メディアストリームを作る際に使われる参照システムクロックを利用して作られる。
【００１４】
時間同期に関する情報をさらに詳細に説明すれば、ＭＰＥＧ−４システムの場合、それぞれのメディアストリームの再生開始時間は、ＢＩＦＳ(Ｂｉｎａｒｙ Ｆｏｒｍａｔ ｏｒ Ｓｃｅｎｅ Ｄｅｓｃｒｉｐｔｉｏｎ)のノード情報のｓｔａｒｔＴｉｍｅに記録される。その他にもＢＩＦＳには、メディアストリームの位置情報などが記録される。そして、一つのストリームを復号の基本単位であるアクセスユニットに分け、ＳＬ Ｐａｃｋｅｔ(Ｓｙｎｃｈｒｏｎｉｚｔｉｏｎ Ｌａｙｅｒ Ｐａｃｋｅｔ)に含めて伝送するが、この際、ＳＬ Ｐａｃｋｅｔのヘッダーに記録されたＣＴＳ(Ｃｏｍｐｏｓｉｔｉｏｎ Ｔｉｍｅ Ｓｔａｍｐ)、ＤＴＳ(ＤｅｃＯＤｅｒ Ｔｉｍｅ Ｓｔａｍｐ)情報、ＯＣＲ(Ｏｂｊｅｃｔ Ｃｌｏｃｋ Ｒｅｆｅｒｅｎｃｅ)情報を使用して、ストリーム内の時間同期及びストリームとストリーム間の時間同期を達成する。
【００１５】
図２は、ダウンロードセグメント及びストリーミングセグメントから構成されたメディアストリームを示す図である。図２を参照するに、それぞれのメディアストリームは、陰影で表示されたダウンロードセグメントと、白色で表示されたストリーミングセグメントとから構成されるということが分かる。ダウンロードセグメントは、ストリーミング開始以前に端末にダウンロードされ、ストリーミングセグメントは、ストリーミング時にリアルタイムで端末に伝送される。ストリーミングセグメント及びダウンロードセグメントをどのように分割するかは、通信網の伝送速度及び端末機の入力バッファの容量を考慮して決定されうるが、一例として、端末機入力バッファのオーバーフロー及びアンダーフローが発生しないように、一部をまずストリーミングセグメントに割り当て、残りはダウンロードセグメントに割り当てることができる。ＭＰＥＧ−４システムで使われる場合には、これらのダウンロードセグメント及びストリーミングセグメントは、アクセスユニットから構成される。
【００１６】
図３は、図２に示すメディアストリームをダウンロードサブストリームとストリーミングサブストリームに作ることを示す図である。
【００１７】
ストリームＡは、ダウンロードセグメントＡ２、Ａ４、Ａ６とストリーミングセグメントＡ１、Ａ３、Ａ５、Ａ７とから構成されている。したがって、ダウンロードサブストリームＡ−１３１０は、ダウンロードセグメントであるＡ２、Ａ４、Ａ６セグメントを集めて作り、ストリーミングサブストリームＡ−２３２０は、ストリーミングセグメントであるＡ１、Ａ３、Ａ４、Ａ７セグメントを集めて作る。同様に、ストリームＢでも、Ｂ２、Ｂ４、Ｂ６セグメントを集めてダウンロードサブストリームＢ−１３３０を作り、Ｂ１、Ｂ３、Ｂ５セグメントを集めてストリーミングサブストリームＢ−３４０を作る。ストリームＣでも、Ｃ２、Ｃ４セグメントを集めてダウンロードサブストリームＣ−１３５０を作り、Ｃ１、Ｃ３、Ｃ５を集めてストリーミングサブストリームＣ−２３６０を作る。付加情報３７０は、ダウンロードサブストリーム及びストリーミングサブストリームをもって元のストリームを再び作る時に必要な情報である。
【００１８】
図４は、図３の付加情報の内容を示す図である。従来のコンテンツ符号化技術で使われている著作権情報、メタデータ情報、キーワード情報などの表現に使われる技術は、図４の付加情報に含まれうる。したがって、図４では、本発明のストリーミングサービスを提供するための付加情報について主に説明する。図４を参照するに、ストリーミング＿コンテンツ＿付加情報４４０は、ストリーミングサービスに提供されるマルチメディアコンテンツに関する情報であって、コンテンツを構成するストリームの数(ストリーム＿数)４４２とそれぞれのストリームに対する付加情報(ストリーム＿付加情報)４４４とから構成される。
【００１９】
そして、それぞれのストリームに対する付加情報であるストリーム＿付加情報４４４は、このストリームについての識別子(ストリーム＿識別子)４３２とダウンロードサブストリーム及びストリーミングサブストリームに関する情報４３４ないし４３８とを含む。一つのストリームは、全体がダウンロードサブストリームまたはストリーミングサブストリームになることができ、Ｂｏｏｌｅａｎデータであるダウンロード情報４３４とストリーミング情報４３６との値によって、ダウンロードサブストリームに対する付加情報またはストリーミングサブストリームについての付加情報を含む。
【００２０】
ダウンロードサブストリームまたはストリーミングサブストリームについての付加情報は、サブストリーム＿付加情報４２０に記録されている。サブストリーム＿付加情報４２０は、サブストリームを構成するセグメントの数(セグメント＿数)４２２、サブストリームのサイズ(サブストリーム＿サイズ)４２４、及びセグメントリスト４２６から構成されている。セグメントリスト４２６は、サブストリームを構成するセグメントのバイト単位の開始位置(セグメント＿開始)４１２とセグメントのサイズ(セグメント＿サイズ)４１４とから構成される。
【００２１】
図５は、再生装置がサーバーからストリーミングサービスを提供されることを説明するための図である。ストリーミングサービスのための認証、セッション管理などに使われるプロトコルは、従来の方法がそのまま使用されても良く、したがって、本発明によって追加されるプロトコルを中心に説明する。まず、ストリーミングコンテンツを端末がサーバーに要求すれば、Ｓ５１０、サーバーは、図４に示すような付加情報を端末に伝送するＳ５２０。端末は、この付加情報を読んでダウンロードしたデータの保存に使われるデータ保存部の容量が十分であるか否かを分析し、十分である場合には、サーバーにダウンロードサブストリームのダウンロードを要求するＳ５３０。サーバーは端末にダウンロードサブストリームを伝送し、端末は、受信したダウンロードサブストリームをデータ保存部に保存するＳ５４０。端末は、ダウンロードが完了すれば、サーバーにストリーミングサービスを要請しＳ５５０、端末は、データ保存部に保存されたダウンロードサブストリームとサーバーから伝送されるストリーミングサブストリームとを合わせて、図４に示す付加情報によって元のストリームを作って再生するＳ５６０ａ、Ｓ５６０ｂ。
【００２２】
図６は、本発明の再生装置の構成図である。ダウンロードサブストリーム保存部６１０に保存されたダウンロードされたサブストリームは、予めサーバーから読まれて保存されたものである。ネットワーク６０４を通じてサーバー６０２からストリーミングされるストリーミングサブストリームは、デマルチプレクサ６０６を経ていろいろなストリームに分けられ、それぞれのストリームの復号時間符号(ＭＰＥＧ−４の場合、ＤＴＳ）及びストリーム識別子情報を参照して、該当するストリーミングサブストリームバッファ１ないし３６３０ａないし６３０ｃに復号時間前に入力される。そして、ダウンロードサブストリームバッファ１ないし３６２０ａないし６２０ｃには、ダウンロードサブストリーム保存部６１０に保存されたダウンロードサブストリームが保存される。復号前バッファ６４０ａないし６４０ｃは、ストリームの種類によって別に設けられている。一つのストリームに対する復号前バッファ６４０ａには、ダウンロードサブストリームバッファ６２０ａ及びストリーミングサブストリームバッファ６３０ａから、復号時間符号を読んでその値によって、順次にアクセスユニット別に入力される。
【００２３】
したがって、メディアストリーム復号器６５０ａ、６５０ｂ及びレンダラ６７０は、従来のものをそのまま利用できる。図６を参照するに、一つのメディアストリームは、二つの復号前バッファ６４０ａ、６４０ｂを持っているが、これは、伸縮符号圧縮方式による基本層ストリーム及び向上層ストリームのための例を示すものである。
【００２４】
図７は、本発明で記述した付加情報をＭＰＥＧ−４標準に適用した実施例を示す図である。ＭＰＥＧ−４は、コンテンツの構成情報をＢＩＦＳとオブジェクト記述子とを使用して表現する。ＩＯＤ(Ｉｎｉｔｉａｌ Ｏｂｊｅｃｔ Ｄｅｓｃｒｉｐｔｏｒ）は、ＢＩＦＳとＯＤとを示す。図７の実施例は、図４を参照して説明した付加情報を従来のＭＰＥＧ−４と互換して適用するために、ＭＰＥＧ−４のストリームについての付加情報を記述する基本ストリーム記述子が含む拡張記述子を使用した例である。ｄｏｗｎｌｏａｄＳｕｂｓｔｒｅａｍ及びｓｔｒｅａｍｉｎｇＳｕｂｓｔｒｅａｍは、このストリームがダウンロードサブストリームやストリーミングサブストリームを有しているかについての情報である。それぞれは、ダウンロードサブストリーム及びストリーミングサブストリームに対して分割されたセグメントの数、バイト単位のサブストリームのサイズ、サブストリームを構成するセグメントのバイト単位の開始位置、及びセグメントのサイズから構成される。ＵＲＬ＿ｆｌａｇ、ＵＲＬｌｅｎｇｔｈ、及びＵＲＬｓｔｒｉｎｇは、このサブストリームの保存場所をＵＲＬで表示する時に使用し、端末は、この位置でダウンロードサブストリームをダウンロードし、ストリーミングサブストリームをストリーミングする。
【００２５】
既存のＭＰＥＧ−４ストリームとの互換性を考慮しないとすれば、ＭＰＥＧ−４システムに存在する基本ストリーム記述子以外に、図７に示す情報を表す新しい記述子を含むことができる。
【００２６】
端末が備えなければならないダウンロードストリーム保存部の容量は、各ダウンロードストリームのサイズを全て加算して予め計算して定めることができるが、必要な保存部の容量情報をコンテンツ付加情報に記録することも可能である。ＭＰＥＧ−４システムの場合、容量情報はＩＯＤに記録される。端末は、このダウンロードストリーム保存部の容量情報を活用して、保存部の現在使用可能保存容量と比較して、サーバーにダウンロードストリームを要請するか否かを決定できる。
【００２７】
一方、前記マルチメディアデータ再生方法は、コンピュータプログラムで作成可能である。前記プログラムを構成するコード及びコードセグメントは、当分野のコンピュータプログラマーによって容易に推論できる。また、前記プログラムは、コンピュータが読み取り可能な情報保存媒体に保存され、コンピュータによって読み取られ、実行されることによって、マルチメディアデータ再生方法を具現する。前記情報保存媒体は、磁気記録媒体、光記録媒体、及びキャリアウェーブ媒体を含む。
【００２８】
以上、本発明について、その望ましい実施形態を中心に述べた。当業者は、本発明が、本発明の本質的な特性から逸脱しない範囲で、変形された形態に具現可能であるということを理解できるであろう。したがって、開示された実施形態は、限定的な観点ではなく、説明的な観点で考慮されねばならない。本発明の範囲は、前述した説明ではなく、特許請求の範囲に表れており、それと同等な範囲内にあるあらゆる相違点は、本発明に含まれていると解釈されねばならない。
【図面の簡単な説明】
【００２９】
【図１】本発明のマルチメディアデータの構成を示す図である。
【図２】ダウンロードセグメント及びストリーミングセグメントから構成されたメディアストリームを示す図である。
【図３】２に示すメディアストリームをダウンロードサブストリーム及びストリーミングサブストリームに作ることを示す図である。
【図４】図３の付加情報の内容を示す図である。
【図５】再生装置がサーバーからストリーミングサービスを提供されることを説明するための図である。
【図６】本発明の再生装置の構成図である。
【図７】本発明で説明した付加情報をＭＰＥＧ−４標準に適用した実施例を示す図である。
【技術分野】
【０００１】
本発明は、マルチメディアコンテンツの符号化に係り、より詳細には、マルチメディアコンテンツをストリーミングサービスするためのマルチメディアデータの構成と、そのデータの再生方法及び装置に関する。
【背景技術】
【０００２】
ビデオデータ、オーディオデータ、コンピュータアニメーションデータまたはこれらを全て含むマルチメディアデータは、それぞれのデータ自体内でまたはそれぞれのデータの間で再生時間が互いに同期している。すなわち、オーディオデータとビデオデータとが互いに同期して再生できるようにする時間情報が各データに記録されており、データ自体内にもそのデータがいつ出力されるかに関する情報が記録されている。このようなマルチメディアデータをインターネットを含んだ有無線ネットワークを通じてストリーミングすることにより、教育、娯楽、映画などのサービスを提供できる。
【０００３】
ストリーミングサービスは、ネットワークのジッター、帯域幅、遅延、パケット損失率、ビットエラー率などの制限条件と端末機のデータ処理性能、メモリ容量などの特性によって制限される。したがって、従来のダウンロード方式とストリーミング方式とを結合したストリーミングサービス技術(大韓民国特許公開第２００２−９５００１号公報)では、マルチメディアストリームファイルをダウンロードファイルとストリーミングファイルとに分離して、ユーザーが所望のストリームを要請すれば、これに該当するダウンロードファイルが端末に存在しているか否かをメッセージ送受信を通じて確認して、存在していない場合には、ストリーミングファイルとダウンロードファイルとを共に伝送し、ダウンロードファイルが存在する場合には、ストリーミングファイルのみをストリーミングしている。このようなストリーミングファイルと該当するダウンロードファイルとを単純に連結する方法は、ストリーミングファイルとダウンロードファイルとの特定結合構成を端末及びサーバーが予め知っている場合にのみ動作し、多様なストリーミングファイルとダウンロードファイルとの結合構造を提供できない。また、この方法では、ダウンロードファイルがない場合、ダウンロードを強制的に実施することで、端末の保存容量が不足した場合には動作しないという問題点がある。
【発明の開示】
【発明が解決しようとする課題】
【０００４】
本発明が達成しようとする技術的課題は、多様なストリーミング方式とダウンロード方式とが結合されたマルチメディアコンテンツサービスをコンテンツ付加情報を活用して提供できるマルチメディアデータを記録した情報保存媒体、その再生方法及び装置を提供することである。
【課題を解決するための手段】
【０００５】
前記技術的課題は、本発明によって、マルチメディアデータを記録した情報保存媒体において、前記マルチメディアデータは、少なくとも一つのメディアストリームと、付加情報とを含み、前記メディアストリームは、ネットワークを通じてストリーミングされるデータとネットワークを通じてダウンロードされるデータとを分離して記録しており、前記付加情報は、前記ストリーミングデータとダウンロードデータとの結合方法を表現する情報であることを特徴とする情報保存媒体により達成される。
【０００６】
前記メディアストリームは、前記ストリーミングデータを集めて作られた第１サブストリームと、前記ダウンロードデータを集めて作られた第２サブストリームとを組み合わせて、前記メディアストリームを作るのに使われる情報であるコンテンツ付加情報をさらに含むことが望ましい。
【０００７】
また、前記技術的課題は、(ａ)マルチメディアデータを構成する少なくとも一つのメディアストリームに関する構成情報であるコンテンツ付加情報を受信する段階と、(ｂ)前記コンテンツ付加情報によってダウンロードデータ伝送要求命令を伝送し、ダウンロードデータを受信して保存する段階と、(ｃ)前記コンテンツ付加情報によってストリーミングデータ伝送要求命令を伝送し、ストリーミングデータを受信する段階と、(ｄ)前記保存されたダウンロードデータとストリーミングデータとを前記コンテンツ付加情報によって元のメディアストリームに作って再生する段階とを含むことを特徴とするマルチメディアデータ再生方法によっても達成される。
【０００８】
前記コンテンツ付加情報は、前記マルチメディアデータを構成するメディアストリームの数情報と、前記メディアストリームの属性に関する情報であるストリーム付加情報とを含むことが望ましい。
【０００９】
一方、本発明の他の分野によれば、前記技術的課題は、ダウンロードサブストリームを受信するダウンロードサブストリームバッファと、ストリーミングサブストリームを受信するストリーミングサブストリームバッファと、前記ダウンロードサブストリーム及びストリーミングサブストリームを組み合わせてメディアストリームを作って復号化するメディア復号器と、前記復号化したデータが複数個である場合に、そのそれぞれの時間同期を合わせて再生するレンダラとを備えることを特徴とするマルチメディアデータ再生装置によっても達成される。
【発明の効果】
【００１０】
本発明によれば、多様な方法でダウンロード方式及びストリーミング方式を結合したマルチメディアサービスを提供でき、端末の保存容量が不足した場合に不要なダウンロードをしないので、効率的である。
【発明を実施するための最良の形態】
【００１１】
以下、添付された図面を参照して、本発明の望ましい実施例について詳細に説明する。
【００１２】
図１は、本発明のマルチメディアデータの構成を示す図である。
【００１３】
マルチメディアコンテンツは、ビデオ、オーディオ及びテキストなど色々なデータから構成されうる。これらそれぞれのデータをメディアストリームという。図１を参照するに、３個のメディアストリームから構成されたマルチメディアコンテンツの一例を挙げている。すなわち、メディアストリームＡ１１０、メディアストリームＢ１２０、メディアストリームＣ１３０は、一つのマルチメディアコンテンツを構成するメディアストリームであって、それぞれのメディアストリームは、メディアストリーム自体の内部時間同期情報とメディアストリーム間の時間同期を合わせるためのメディア間時間同期情報が挿入されている。これらの情報は、メディアストリームを作る際に使われる参照システムクロックを利用して作られる。
【００１４】
時間同期に関する情報をさらに詳細に説明すれば、ＭＰＥＧ−４システムの場合、それぞれのメディアストリームの再生開始時間は、ＢＩＦＳ(Ｂｉｎａｒｙ Ｆｏｒｍａｔ ｏｒ Ｓｃｅｎｅ Ｄｅｓｃｒｉｐｔｉｏｎ)のノード情報のｓｔａｒｔＴｉｍｅに記録される。その他にもＢＩＦＳには、メディアストリームの位置情報などが記録される。そして、一つのストリームを復号の基本単位であるアクセスユニットに分け、ＳＬ Ｐａｃｋｅｔ(Ｓｙｎｃｈｒｏｎｉｚｔｉｏｎ Ｌａｙｅｒ Ｐａｃｋｅｔ)に含めて伝送するが、この際、ＳＬ Ｐａｃｋｅｔのヘッダーに記録されたＣＴＳ(Ｃｏｍｐｏｓｉｔｉｏｎ Ｔｉｍｅ Ｓｔａｍｐ)、ＤＴＳ(ＤｅｃＯＤｅｒ Ｔｉｍｅ Ｓｔａｍｐ)情報、ＯＣＲ(Ｏｂｊｅｃｔ Ｃｌｏｃｋ Ｒｅｆｅｒｅｎｃｅ)情報を使用して、ストリーム内の時間同期及びストリームとストリーム間の時間同期を達成する。
【００１５】
図２は、ダウンロードセグメント及びストリーミングセグメントから構成されたメディアストリームを示す図である。図２を参照するに、それぞれのメディアストリームは、陰影で表示されたダウンロードセグメントと、白色で表示されたストリーミングセグメントとから構成されるということが分かる。ダウンロードセグメントは、ストリーミング開始以前に端末にダウンロードされ、ストリーミングセグメントは、ストリーミング時にリアルタイムで端末に伝送される。ストリーミングセグメント及びダウンロードセグメントをどのように分割するかは、通信網の伝送速度及び端末機の入力バッファの容量を考慮して決定されうるが、一例として、端末機入力バッファのオーバーフロー及びアンダーフローが発生しないように、一部をまずストリーミングセグメントに割り当て、残りはダウンロードセグメントに割り当てることができる。ＭＰＥＧ−４システムで使われる場合には、これらのダウンロードセグメント及びストリーミングセグメントは、アクセスユニットから構成される。
【００１６】
図３は、図２に示すメディアストリームをダウンロードサブストリームとストリーミングサブストリームに作ることを示す図である。
【００１７】
ストリームＡは、ダウンロードセグメントＡ２、Ａ４、Ａ６とストリーミングセグメントＡ１、Ａ３、Ａ５、Ａ７とから構成されている。したがって、ダウンロードサブストリームＡ−１３１０は、ダウンロードセグメントであるＡ２、Ａ４、Ａ６セグメントを集めて作り、ストリーミングサブストリームＡ−２３２０は、ストリーミングセグメントであるＡ１、Ａ３、Ａ４、Ａ７セグメントを集めて作る。同様に、ストリームＢでも、Ｂ２、Ｂ４、Ｂ６セグメントを集めてダウンロードサブストリームＢ−１３３０を作り、Ｂ１、Ｂ３、Ｂ５セグメントを集めてストリーミングサブストリームＢ−３４０を作る。ストリームＣでも、Ｃ２、Ｃ４セグメントを集めてダウンロードサブストリームＣ−１３５０を作り、Ｃ１、Ｃ３、Ｃ５を集めてストリーミングサブストリームＣ−２３６０を作る。付加情報３７０は、ダウンロードサブストリーム及びストリーミングサブストリームをもって元のストリームを再び作る時に必要な情報である。
【００１８】
図４は、図３の付加情報の内容を示す図である。従来のコンテンツ符号化技術で使われている著作権情報、メタデータ情報、キーワード情報などの表現に使われる技術は、図４の付加情報に含まれうる。したがって、図４では、本発明のストリーミングサービスを提供するための付加情報について主に説明する。図４を参照するに、ストリーミング＿コンテンツ＿付加情報４４０は、ストリーミングサービスに提供されるマルチメディアコンテンツに関する情報であって、コンテンツを構成するストリームの数(ストリーム＿数)４４２とそれぞれのストリームに対する付加情報(ストリーム＿付加情報)４４４とから構成される。
【００１９】
そして、それぞれのストリームに対する付加情報であるストリーム＿付加情報４４４は、このストリームについての識別子(ストリーム＿識別子)４３２とダウンロードサブストリーム及びストリーミングサブストリームに関する情報４３４ないし４３８とを含む。一つのストリームは、全体がダウンロードサブストリームまたはストリーミングサブストリームになることができ、Ｂｏｏｌｅａｎデータであるダウンロード情報４３４とストリーミング情報４３６との値によって、ダウンロードサブストリームに対する付加情報またはストリーミングサブストリームについての付加情報を含む。
【００２０】
ダウンロードサブストリームまたはストリーミングサブストリームについての付加情報は、サブストリーム＿付加情報４２０に記録されている。サブストリーム＿付加情報４２０は、サブストリームを構成するセグメントの数(セグメント＿数)４２２、サブストリームのサイズ(サブストリーム＿サイズ)４２４、及びセグメントリスト４２６から構成されている。セグメントリスト４２６は、サブストリームを構成するセグメントのバイト単位の開始位置(セグメント＿開始)４１２とセグメントのサイズ(セグメント＿サイズ)４１４とから構成される。
【００２１】
図５は、再生装置がサーバーからストリーミングサービスを提供されることを説明するための図である。ストリーミングサービスのための認証、セッション管理などに使われるプロトコルは、従来の方法がそのまま使用されても良く、したがって、本発明によって追加されるプロトコルを中心に説明する。まず、ストリーミングコンテンツを端末がサーバーに要求すれば、Ｓ５１０、サーバーは、図４に示すような付加情報を端末に伝送するＳ５２０。端末は、この付加情報を読んでダウンロードしたデータの保存に使われるデータ保存部の容量が十分であるか否かを分析し、十分である場合には、サーバーにダウンロードサブストリームのダウンロードを要求するＳ５３０。サーバーは端末にダウンロードサブストリームを伝送し、端末は、受信したダウンロードサブストリームをデータ保存部に保存するＳ５４０。端末は、ダウンロードが完了すれば、サーバーにストリーミングサービスを要請しＳ５５０、端末は、データ保存部に保存されたダウンロードサブストリームとサーバーから伝送されるストリーミングサブストリームとを合わせて、図４に示す付加情報によって元のストリームを作って再生するＳ５６０ａ、Ｓ５６０ｂ。
【００２２】
図６は、本発明の再生装置の構成図である。ダウンロードサブストリーム保存部６１０に保存されたダウンロードされたサブストリームは、予めサーバーから読まれて保存されたものである。ネットワーク６０４を通じてサーバー６０２からストリーミングされるストリーミングサブストリームは、デマルチプレクサ６０６を経ていろいろなストリームに分けられ、それぞれのストリームの復号時間符号(ＭＰＥＧ−４の場合、ＤＴＳ）及びストリーム識別子情報を参照して、該当するストリーミングサブストリームバッファ１ないし３６３０ａないし６３０ｃに復号時間前に入力される。そして、ダウンロードサブストリームバッファ１ないし３６２０ａないし６２０ｃには、ダウンロードサブストリーム保存部６１０に保存されたダウンロードサブストリームが保存される。復号前バッファ６４０ａないし６４０ｃは、ストリームの種類によって別に設けられている。一つのストリームに対する復号前バッファ６４０ａには、ダウンロードサブストリームバッファ６２０ａ及びストリーミングサブストリームバッファ６３０ａから、復号時間符号を読んでその値によって、順次にアクセスユニット別に入力される。
【００２３】
したがって、メディアストリーム復号器６５０ａ、６５０ｂ及びレンダラ６７０は、従来のものをそのまま利用できる。図６を参照するに、一つのメディアストリームは、二つの復号前バッファ６４０ａ、６４０ｂを持っているが、これは、伸縮符号圧縮方式による基本層ストリーム及び向上層ストリームのための例を示すものである。
【００２４】
図７は、本発明で記述した付加情報をＭＰＥＧ−４標準に適用した実施例を示す図である。ＭＰＥＧ−４は、コンテンツの構成情報をＢＩＦＳとオブジェクト記述子とを使用して表現する。ＩＯＤ(Ｉｎｉｔｉａｌ Ｏｂｊｅｃｔ Ｄｅｓｃｒｉｐｔｏｒ）は、ＢＩＦＳとＯＤとを示す。図７の実施例は、図４を参照して説明した付加情報を従来のＭＰＥＧ−４と互換して適用するために、ＭＰＥＧ−４のストリームについての付加情報を記述する基本ストリーム記述子が含む拡張記述子を使用した例である。ｄｏｗｎｌｏａｄＳｕｂｓｔｒｅａｍ及びｓｔｒｅａｍｉｎｇＳｕｂｓｔｒｅａｍは、このストリームがダウンロードサブストリームやストリーミングサブストリームを有しているかについての情報である。それぞれは、ダウンロードサブストリーム及びストリーミングサブストリームに対して分割されたセグメントの数、バイト単位のサブストリームのサイズ、サブストリームを構成するセグメントのバイト単位の開始位置、及びセグメントのサイズから構成される。ＵＲＬ＿ｆｌａｇ、ＵＲＬｌｅｎｇｔｈ、及びＵＲＬｓｔｒｉｎｇは、このサブストリームの保存場所をＵＲＬで表示する時に使用し、端末は、この位置でダウンロードサブストリームをダウンロードし、ストリーミングサブストリームをストリーミングする。
【００２５】
既存のＭＰＥＧ−４ストリームとの互換性を考慮しないとすれば、ＭＰＥＧ−４システムに存在する基本ストリーム記述子以外に、図７に示す情報を表す新しい記述子を含むことができる。
【００２６】
端末が備えなければならないダウンロードストリーム保存部の容量は、各ダウンロードストリームのサイズを全て加算して予め計算して定めることができるが、必要な保存部の容量情報をコンテンツ付加情報に記録することも可能である。ＭＰＥＧ−４システムの場合、容量情報はＩＯＤに記録される。端末は、このダウンロードストリーム保存部の容量情報を活用して、保存部の現在使用可能保存容量と比較して、サーバーにダウンロードストリームを要請するか否かを決定できる。
【００２７】
一方、前記マルチメディアデータ再生方法は、コンピュータプログラムで作成可能である。前記プログラムを構成するコード及びコードセグメントは、当分野のコンピュータプログラマーによって容易に推論できる。また、前記プログラムは、コンピュータが読み取り可能な情報保存媒体に保存され、コンピュータによって読み取られ、実行されることによって、マルチメディアデータ再生方法を具現する。前記情報保存媒体は、磁気記録媒体、光記録媒体、及びキャリアウェーブ媒体を含む。
【００２８】
以上、本発明について、その望ましい実施形態を中心に述べた。当業者は、本発明が、本発明の本質的な特性から逸脱しない範囲で、変形された形態に具現可能であるということを理解できるであろう。したがって、開示された実施形態は、限定的な観点ではなく、説明的な観点で考慮されねばならない。本発明の範囲は、前述した説明ではなく、特許請求の範囲に表れており、それと同等な範囲内にあるあらゆる相違点は、本発明に含まれていると解釈されねばならない。
【図面の簡単な説明】
【００２９】
【図１】本発明のマルチメディアデータの構成を示す図である。
【図２】ダウンロードセグメント及びストリーミングセグメントから構成されたメディアストリームを示す図である。
【図３】２に示すメディアストリームをダウンロードサブストリーム及びストリーミングサブストリームに作ることを示す図である。
【図４】図３の付加情報の内容を示す図である。
【図５】再生装置がサーバーからストリーミングサービスを提供されることを説明するための図である。
【図６】本発明の再生装置の構成図である。
【図７】本発明で説明した付加情報をＭＰＥＧ−４標準に適用した実施例を示す図である。
【特許請求の範囲】
【請求項１】
マルチメディアデータを含む情報保存媒体において、
前記マルチメディアデータは、少なくとも一つのメディアストリームと、
付加情報とを含み、
前記メディアストリームは、ネットワークを通じてストリーミングされるデータとネットワークを通じてダウンロードされるデータとを分離して記録しており、前記付加情報は、前記ストリーミングデータとダウンロードデータとの結合方法を表現する情報であることを特徴とする情報保存媒体。
【請求項２】
前記ネットワークを通じて伝送されるデータに関する付加情報は、そのマルチメディアデータが位置しているネットワーク上のファイル名情報、位置情報、ダウンロードデータのサイズ情報及びメタ情報であることを特徴とする請求項１に記載の情報保存媒体。
【請求項３】
前記メディアストリームは、
前記ストリーミングデータを集めて作られた第１サブストリームと前記ダウンロードデータを集めて作られた第２サブストリームとを組み合わせて、前記メディアストリームを作るのに使われる情報であるコンテンツ付加情報をさらに含むことを特徴とする請求項１に記載の情報保存媒体。
【請求項４】
前記コンテンツ付加情報は、
前記マルチメディアデータを構成するメディアストリームの数情報と、
前記メディアストリームの属性に関する情報であるストリーム付加情報と、を含むことを特徴とする請求項３に記載の情報保存媒体。
【請求項５】
前記ストリーム付加情報は、
前記メディアストリームを構成する第１サブストリーム及び第２サブストリームについての識別子情報と、
受信した第１サブストリームまたは第２サブストリームがダウンロードデータであるか、またはストリーミングデータであるかを表す情報と、
前記ダウンロードデータ及びストリーミングデータの構成情報と、を含むことを特徴とする請求項４に記載の情報保存媒体。
【請求項６】
(ａ)マルチメディアデータを構成する少なくとも一つのメディアストリームに関する構成情報であるコンテンツ付加情報を受信する段階と、
(ｂ)前記コンテンツ付加情報によってダウンロードデータ伝送要求命令を伝送し、ダウンロードデータを受信して保存する段階と、
(ｃ)前記コンテンツ付加情報によってストリーミングデータ伝送要求命令を伝送し、ストリーミングデータを受信する段階と、を含むことを特徴とするマルチメディアデータ再生方法。
【請求項７】
前記コンテンツ付加情報は、
前記マルチメディアデータを構成するメディアストリームの数情報と、
前記メディアストリームの属性に関する情報であるストリーム付加情報とを含むことを特徴とする請求項６に記載のマルチメディアデータ再生方法。
【請求項８】
前記ストリーム付加情報は、
前記メディアストリームを構成する第１サブストリーム及び第２サブストリームについての識別子情報と、
受信した第１サブストリームまたは第２サブストリームがダウンロードデータであるか、またはストリーミングデータであるかを表す情報と、
前記ダウンロードデータ及びストリーミングデータの構成情報とを含むことを特徴とする請求項７に記載のマルチメディアデータ再生方法。
【請求項９】
前記付加情報のコンテンツによって元のメディアストリームを復元及び再生するために、前記保存されたダウンロードデータ及びストリーミングデータを使用する段階をさらに含むことを特徴とする請求項６に記載のマルチメディアデータ再生方法。
【請求項１０】
ダウンロードサブストリームを受信するダウンロードサブストリームバッファと、
ストリーミングサブストリームを受信するストリーミングサブストリームバッファと、
前記ダウンロードサブストリーム及びストリーミングサブストリームを組み合わせて、メディアストリームを作って復号化するメディア復号器とを備えることを特徴とするマルチメディアデータ再生装置。
【請求項１１】
ストリーミングサーバーからダウンロードデータを集めて作られた複数個のダウンロードサブストリームを保存するダウンロードサブストリーム保存部をさらに備えることを特徴とする請求項１０に記載のマルチメディアデータ再生装置。
【請求項１２】
ストリーミングサーバーからストリーミングデータを受信して、複数個のストリーミングサブストリームを作るデマルチプレクサをさらに備えることを特徴とする請求項１０に記載のマルチメディア再生装置。
【請求項１３】
前記復号化されたメディアストリーム間の時間同期によって、復号化されたメディアストリームを再生するレンダラをさらに備えることを特徴とする請求項１０に記載のマルチメディア再生装置。
【請求項１４】
前記ダウンロードストリームは、ネットワークによって伝送されることを特徴とする請求項１０に記載のマルチメディア再生装置。
【請求項１５】
マルチメディアデータを構成する少なくとも一つのメディアストリームの構成情報であるコンテンツ付加情報を受信する段階と、
前記マルチメディアデータを保存するための保存容量が十分であるか否かを分析する段階と、
前記保存容量が、ダウンロードデータを保存するのに十分である場合、前記ダウンロードデータを要請し、前記ダウンロードデータを受信及び保存する段階とを含むことを特徴とするマルチメディアデータ受信方法。
【請求項１６】
ストリーミングデータを受信及び保存する段階をさらに含むことを特徴とする請求項１５に記載のマルチメディアデータ受信方法。
【請求項１７】
前記ストリームデータを要請する段階をさらに含むことを特徴とする請求項１６に記載のマルチメディアデータ受信方法。
【請求項１８】
前記保存されたダウンロードデータ及び前記ストリーミングデータから元のマルチメディアデータを再生する段階をさらに含むことを特徴とする請求項１６に記載のマルチメディアデータ受信方法。
【請求項１９】
請求項６に記載のマルチメディア再生方法を行うためのコンピュータで読み取り可能なコードが記録されたコンピュータで読み取り可能な記録媒体。
【請求項２０】
請求項１２に記載されたマルチメディアデータ受信方法を行うためのコンピュータで読み取り可能なコードが記録されたコンピュータで読み取り可能な記録媒体。
【請求項１】
マルチメディアデータを含む情報保存媒体において、
前記マルチメディアデータは、少なくとも一つのメディアストリームと、
付加情報とを含み、
前記メディアストリームは、ネットワークを通じてストリーミングされるデータとネットワークを通じてダウンロードされるデータとを分離して記録しており、前記付加情報は、前記ストリーミングデータとダウンロードデータとの結合方法を表現する情報であることを特徴とする情報保存媒体。
【請求項２】
前記ネットワークを通じて伝送されるデータに関する付加情報は、そのマルチメディアデータが位置しているネットワーク上のファイル名情報、位置情報、ダウンロードデータのサイズ情報及びメタ情報であることを特徴とする請求項１に記載の情報保存媒体。
【請求項３】
前記メディアストリームは、
前記ストリーミングデータを集めて作られた第１サブストリームと前記ダウンロードデータを集めて作られた第２サブストリームとを組み合わせて、前記メディアストリームを作るのに使われる情報であるコンテンツ付加情報をさらに含むことを特徴とする請求項１に記載の情報保存媒体。
【請求項４】
前記コンテンツ付加情報は、
前記マルチメディアデータを構成するメディアストリームの数情報と、
前記メディアストリームの属性に関する情報であるストリーム付加情報と、を含むことを特徴とする請求項３に記載の情報保存媒体。
【請求項５】
前記ストリーム付加情報は、
前記メディアストリームを構成する第１サブストリーム及び第２サブストリームについての識別子情報と、
受信した第１サブストリームまたは第２サブストリームがダウンロードデータであるか、またはストリーミングデータであるかを表す情報と、
前記ダウンロードデータ及びストリーミングデータの構成情報と、を含むことを特徴とする請求項４に記載の情報保存媒体。
【請求項６】
(ａ)マルチメディアデータを構成する少なくとも一つのメディアストリームに関する構成情報であるコンテンツ付加情報を受信する段階と、
(ｂ)前記コンテンツ付加情報によってダウンロードデータ伝送要求命令を伝送し、ダウンロードデータを受信して保存する段階と、
(ｃ)前記コンテンツ付加情報によってストリーミングデータ伝送要求命令を伝送し、ストリーミングデータを受信する段階と、を含むことを特徴とするマルチメディアデータ再生方法。
【請求項７】
前記コンテンツ付加情報は、
前記マルチメディアデータを構成するメディアストリームの数情報と、
前記メディアストリームの属性に関する情報であるストリーム付加情報とを含むことを特徴とする請求項６に記載のマルチメディアデータ再生方法。
【請求項８】
前記ストリーム付加情報は、
前記メディアストリームを構成する第１サブストリーム及び第２サブストリームについての識別子情報と、
受信した第１サブストリームまたは第２サブストリームがダウンロードデータであるか、またはストリーミングデータであるかを表す情報と、
前記ダウンロードデータ及びストリーミングデータの構成情報とを含むことを特徴とする請求項７に記載のマルチメディアデータ再生方法。
【請求項９】
前記付加情報のコンテンツによって元のメディアストリームを復元及び再生するために、前記保存されたダウンロードデータ及びストリーミングデータを使用する段階をさらに含むことを特徴とする請求項６に記載のマルチメディアデータ再生方法。
【請求項１０】
ダウンロードサブストリームを受信するダウンロードサブストリームバッファと、
ストリーミングサブストリームを受信するストリーミングサブストリームバッファと、
前記ダウンロードサブストリーム及びストリーミングサブストリームを組み合わせて、メディアストリームを作って復号化するメディア復号器とを備えることを特徴とするマルチメディアデータ再生装置。
【請求項１１】
ストリーミングサーバーからダウンロードデータを集めて作られた複数個のダウンロードサブストリームを保存するダウンロードサブストリーム保存部をさらに備えることを特徴とする請求項１０に記載のマルチメディアデータ再生装置。
【請求項１２】
ストリーミングサーバーからストリーミングデータを受信して、複数個のストリーミングサブストリームを作るデマルチプレクサをさらに備えることを特徴とする請求項１０に記載のマルチメディア再生装置。
【請求項１３】
前記復号化されたメディアストリーム間の時間同期によって、復号化されたメディアストリームを再生するレンダラをさらに備えることを特徴とする請求項１０に記載のマルチメディア再生装置。
【請求項１４】
前記ダウンロードストリームは、ネットワークによって伝送されることを特徴とする請求項１０に記載のマルチメディア再生装置。
【請求項１５】
マルチメディアデータを構成する少なくとも一つのメディアストリームの構成情報であるコンテンツ付加情報を受信する段階と、
前記マルチメディアデータを保存するための保存容量が十分であるか否かを分析する段階と、
前記保存容量が、ダウンロードデータを保存するのに十分である場合、前記ダウンロードデータを要請し、前記ダウンロードデータを受信及び保存する段階とを含むことを特徴とするマルチメディアデータ受信方法。
【請求項１６】
ストリーミングデータを受信及び保存する段階をさらに含むことを特徴とする請求項１５に記載のマルチメディアデータ受信方法。
【請求項１７】
前記ストリームデータを要請する段階をさらに含むことを特徴とする請求項１６に記載のマルチメディアデータ受信方法。
【請求項１８】
前記保存されたダウンロードデータ及び前記ストリーミングデータから元のマルチメディアデータを再生する段階をさらに含むことを特徴とする請求項１６に記載のマルチメディアデータ受信方法。
【請求項１９】
請求項６に記載のマルチメディア再生方法を行うためのコンピュータで読み取り可能なコードが記録されたコンピュータで読み取り可能な記録媒体。
【請求項２０】
請求項１２に記載されたマルチメディアデータ受信方法を行うためのコンピュータで読み取り可能なコードが記録されたコンピュータで読み取り可能な記録媒体。
【図１】
【図２】
【図３】
【図４】
【図５】
【図６】
【図７】
【図２】
【図３】
【図４】
【図５】
【図６】
【図７】
【公表番号】特表２００７−５２３５２４（Ｐ２００７−５２３５２４Ａ）
【公表日】平成１９年８月１６日（２００７．８．１６）
【国際特許分類】
【出願番号】特願２００６−５４９１４２（Ｐ２００６−５４９１４２）
【出願日】平成１７年１月１７日（２００５．１．１７）
【国際出願番号】ＰＣＴ／ＫＲ２００５／０００１５５
【国際公開番号】ＷＯ２００５／０６９２９６
【国際公開日】平成１７年７月２８日（２００５．７．２８）
【出願人】（５０６２４３８０６）デーヤン ファウンデーション (3)
【出願人】（５０３４４７０３６）サムスン エレクトロニクス カンパニー リミテッド (2,221)
【Ｆターム（参考）】
【公表日】平成１９年８月１６日（２００７．８．１６）
【国際特許分類】
【出願日】平成１７年１月１７日（２００５．１．１７）
【国際出願番号】ＰＣＴ／ＫＲ２００５／０００１５５
【国際公開番号】ＷＯ２００５／０６９２９６
【国際公開日】平成１７年７月２８日（２００５．７．２８）
【出願人】（５０６２４３８０６）デーヤン ファウンデーション (3)
【出願人】（５０３４４７０３６）サムスン エレクトロニクス カンパニー リミテッド (2,221)
【Ｆターム（参考）】
[ Back to top ]