複数のストリームを含むコンテンツファイル送受信装置及び方法
本発明は、複数のコンテンツを含む複合コンテンツを送信及び再生するための方法及び装置を提供する。その方法は、サーバから複合コンテンツ及び複合コンテンツに対応する分類情報を受信するステップと、分類情報に従って複数のコンテンツを分類するステップと、分類された複数のコンテンツに基づいて複合コンテンツを再生するステップとを有する。
【発明の詳細な説明】
【技術分野】
【0001】
本発明はコンテンツファイルを送受信する装置及び方法に関するもので、特に複数のストリームグループを含むコンテンツのセマンティック(semantic)構造及び役割(role)情報を提供するコンテンツファイルの送受信方法及び装置に関する。
【背景技術】
【0002】
最近、デジタルコンテンツ産業市場の拡大と利用可能なプラットフォームが多様化するに従って、単一タイプのコンテンツでなく複合コンテンツに対する要求が増加している。例えば、メインサービスストリームと広告ストリームのような付加情報ストリームがそれぞれのストリームでない一つのサービスオブジェクトとして生成されて複合コンテンツを構成してもよい。
【0003】
近年製作され、配布されるコンテンツは、リアルタイムでの製作及び配布、再構成及び再配布、及びユーザーの嗜好による制御が可能な特徴を有する。これらの特徴を反映する最近のコンテンツは、例えば、特別な制限なしにユーザーが自由に利用、コピー、変更、及び再配布できるフリーコンテンツや、ユーザーがテキスト、ビデオ、及び音楽のような創作物を共有できるようにするオープンコンテンツを含む。
【0004】
フリーコンテンツ及びオープンコンテンツを使用する場合、コンテンツの多様なタイプが、その目的及び意図に応じて異なる製作者により生成されることがある。例えば、サービスコンテンツA,B,Cを使用すると、サービスプロバイダーは、ソースコンテンツAがメインコンテンツであるコンテンツを生成してもよく、あるいは、ソースコンテンツB又はCがメインコンテンツであるコンテンツを生成してもよい。したがって、コンテンツの利用は、コンテンツを構成する多様なソースストリームのセマンティック構造及び役割に基づく。
【0005】
上述したように、従来のコンテンツ伝送及び提供に係る技術は、伝送されたコンテンツを所定時間で所定のサイズ及び形態で提供することに焦点を置いたので、コンテンツのセマンティック構造及び役割を考慮したコンテンツの提供に限界があった。
【発明の概要】
【発明が解決しようとする課題】
【0006】
したがって、本発明は上記した従来技術の問題点に鑑みてなされたものであって、その目的は、複数のストリームグループを含むコンテンツを記録及び再生する方法及び装置を提供することにある。
【0007】
本発明の他の目的は、提供されるコンテンツのセマンティック構造及び役割情報を提供することによって、コンテンツの自由な調整及び制御を可能とするコンテンツ提供方法及び装置を提供することにある。
【課題を解決するための手段】
【0008】
上述のような目的を達成するために、本発明の一態様によれば、複数のコンテンツを受信する方法が提供される。その方法は、サーバから分類情報を獲得するステップと、この分類情報に従ってサーバから提供される複数のコンテンツを分類するステップを有する。
【0009】
本発明の他の態様によれば、複数のコンテンツを伝送する方法が提供される。その方法は、受信装置に分類情報を提供するステップと、分類情報に基づいて分類可能な複数のコンテンツ情報を受信装置に提供するステップとを有する。
【0010】
また、本発明の他の態様によれば、複数のコンテンツを受信する装置が提供される。その装置は、サーバから分類情報及び複数のコンテンツを受信する受信部と、この分類情報によって複数のコンテンツを分類するプロセッサとを含む。
【0011】
さらに、本発明の他の態様によれば、複数のコンテンツを伝送する装置が提供される。その装置は、分類情報を生成するデータプロセッサと、分類情報に基づいて分類可能な複数のコンテンツを受信装置に送信する送信部とを含む。
【発明の効果】
【0012】
本発明は、複数のソースコンテンツ又はストリームを含む複合コンテンツを提供する場合、この複合コンテンツを構成する多様なソースストリームのセマンティック構造及び役割に関する情報を提供し、それによって、多様なコンテンツタイプ及びユーザー意図に従ってコンテンツを活用できるようになる。このようなコンテンツは、ユーザー適応型コンテンツとして提供することができる。
【0013】
本発明による実施形態の上述した態様及び他の態様、特徴、及び利点は、添付の図面と共に述べる以下の詳細な説明から、一層明らかになるはずである。
【図面の簡単な説明】
【0014】
【図1】複数のコンテンツが同一の期間で提供される場合、複数のコンテンツタイプを含む複合コンテンツのコンテンツ提供方法を示す図である。
【図2】ユーザー環境による複数のソースストリームの中から適当なソースストリームを選択してユーザーに提供するサービス構成を示す図である。
【図3】本発明の一実施形態による複数のコンテンツタイプを送信する方法を示すフローチャートである。
【図4】本発明の一実施形態による複数のコンテンツタイプを受信する方法を示すフローチャートである。
【図5】本発明の一実施形態によるサーバ装置のブロック構成図である。
【図6】本発明の一実施形態による複数のコンテンツタイプを受信するクライアント装置を示すブロック構成図である。
【図7】本発明の一実施形態による複合コンテンツ構成を示す図である。
【図8】本発明の一実施形態による複合コンテンツ構成を示す図である。
【図9】本発明の一実施形態による複合コンテンツ構成を示す図である。
【図10】本発明の一実施形態による複合コンテンツ構成を示す図である。
【図11】本発明の一実施形態による複合コンテンツ構成を示す図である。
【図12】本発明の一実施形態による構成ファイルを示す図である。
【図13】本発明の一実施形態によるストリームのセマンティック構成及び役割情報を提供するための構成ファイル構造体を示す図である。
【図14】ISO(International Organization for Standardization)ベースのメディアファイルフォーマットに基づいた一般的なコンテンツ格納フォーマットを示す図である。
【図15】本発明の一実施形態によるコンテンツを構成するストリームのセマンティック構成及び役割情報を提供するための情報を含む格納フォーマットを示す図である。
【図16】本発明の一実施形態による複合コンテンツ格納フォーマットを受信する方法を示すフローチャートである。
【図17】本発明の一実施形態によるコンテンツを構成するストリームのセマンティック構成及び役割情報を提供するための情報を含む格納フォーマットを示す図である。
【図18】本発明の一実施形態による複合コンテンツ格納フォーマットを受信する方法を示すフローチャートである。
【図19】本発明の一実施形態による新たなmoovレベルボックスを含むボックス構成を示す図である。
【図20】本発明の一実施形態によるmoovレベルの新たなメタボックスを含むボックス構成を示す図である。
【図21】本発明の一実施形態により別々に構成されるメタ情報と複合コンテンツ格納フォーマットを示す図である。
【図22】本発明の一実施形態により別々に構成されるメタ情報と複合コンテンツ格納フォーマットを示す図である。
【図23】本発明の一実施形態により別々に構成されるメタ情報と複合コンテンツ格納フォーマットを示す図である。
【図24】本発明の一実施形態により別々に構成されるメタ情報と複合コンテンツ格納フォーマットを示す図である。
【図25】本発明の一実施形態による複合コンテンツ格納フォーマットを含むメタ情報を示す図である。
【図26】本発明の一実施形態による複合コンテンツ格納フォーマットを含むメタ情報を示す図である。
【図27】本発明の一実施形態により、別々に構成される、分類情報を含むメタ情報と複合コンテンツ格納フォーマットとを示す図である。
【図28】本発明の一実施形態による複合コンテンツ格納フォーマット内に含まれるメタ情報を受信する端末の動作方法を示すフローチャートである。
【図29】本発明の一実施形態によるメタ情報を示す図である。
【図30】本発明の一実施形態により、セマンティック構成及び役割情報が論理構成単位である“item”の単位で提供されるメタ情報を示す図である。
【図31】本発明の一実施形態によるメタ情報を示す図である。
【図32】本発明の一実施形態によるメタ情報を示す図である。
【図33】本発明の一実施形態による複合コンテンツファイル送信装置を示すブロック構成図である。
【図34】本発明の一実施形態による複合コンテンツファイル受信装置を示すブロック構成図である。
【発明を実施するための形態】
【0015】
以下、本発明の望ましい実施形態を添付の図面を参照して詳細に説明する。
【0016】
以下の説明において、詳細な構成及び構成要素のような具体的な詳細は、ただ本発明の実施形態の全般的な理解を助けるために提供されるだけである。したがって、本発明の範囲及び趣旨を逸脱することなく、以下に説明される本発明の様々な変形及び変更が可能であることは、当該技術分野における通常の知識を持つ者には明らかである。なお、公知の機能または構成に関する具体的な説明は、明瞭性と簡潔性のために省略する。
【0017】
図1は、複数のコンテンツが同一の期間で提供される場合、複数のコンテンツタイプを含む複合コンテンツのコンテンツ提供方法を示す。特に、図1は、複数のコンテンツタイプ100、すなわち同一の期間102で提供されるコンテンツ1及びコンテンツ2から構成される複合コンテンツのコンテンツ提供方法を示す。
【0018】
図1を参照すると、コンテンツ1及びコンテンツ2が同一の時間102又は同一のサービス時間内に提供されるため、従来(又はレガシー)の再生装置は、これらを表示する方法を決定できない。特に、速報又は緊急メッセージのように、リアルタイムで生成及び提供される予期しないコンテンツの場合、従来の再生装置は、予め提供されているコンテンツを考慮して制御できる方法がない。
【0019】
図2は、ユーザー環境による複数のソースストリームの中から適当なソースストリームを選択してユーザーに提供するサービス構成を示す。
【0020】
図2を参照すると、コンテンツA200の関連セグメントを含むストリーム1,2,3,4、及びコンテンツB202の関連セグメントを含むストリーム5,6が複合コンテンツを構成すると仮定する。期間206に位置するセグメントを受信するユーザー端末は、500Kbitデータを受信できる。この場合、端末がコンテンツA及びB間の関係に関する情報を持っていないため、端末は、再生のためにコンテンツAとコンテンツB両方ともを選択するか、あるいはそれらのうちいずれか一つを選択するかを判定しなくてよい。したがって、端末は、ただ受信可能な500Kbitのサイズに対応するデータストリームを選択するようになる。しかしながら、この場合にも、図2に示すように、複数のセグメント206a、206bが500Kbpsのビットストリームで伝送されるため、端末は、どのデータストリーム又はセグメントを選択して受信することによって該当期間206でユーザーにサービスを提供しなければならないかを判定できない。
【0021】
これら及び他の短所に対処するために、本発明の一実施形態による方法及び装置を提供するコンテンツは、複数のストリームで構成されるストリームグループを含むコンテンツのセマンティック構成及び役割情報を提供することによって、多様なコンテンツタイプ及びユーザー意図によってコンテンツの自由な調整及び制御を容易にする。これら複数のストリームは、メインコンテンツのサービス中に生成及び提供される付加ストリームを含むことができる。ここて、用語“ストリーム”及び“コンテンツ”は、同一の意味で使用される。また、ストリーム又はコンテンツは、セグメントで伝送されてもよい。
【0022】
以下に説明されるコンテンツ制御のための情報は、情報を格納及び/又は伝達する記録媒体及び伝送媒体として構成することができる。ここで具体的に説明されなくても、制御情報又はメディアは、データの記録、伝送、伝達、及び格納可能なすべてのデータフォーマットに包含されてもよい。
【0023】
さらに、以下に説明されるように、複数のソースコンテンツタイプで構成される複合コンテンツは、ストリームの論理的オブジェクトまたは集合体として構成され、複合ソースコンテンツの集合体は、新たな一つのコンテンツ又はオブジェクトで構成されてもよい。ここて、複数のコンテンツタイプの集合を“複合コンテンツ”と呼ぶ。
【0024】
図3は、本発明の一実施形態により、複数のコンテンツタイプ、すなわち複合コンテンツを送信する方法を示すフローチャートである。
【0025】
図3を参照すると、サーバ装置は、ステップ300において複数のコンテンツを生成し、ステップ302において複数のコンテンツタイプ間の構成情報を識別する。ステップ304において、サーバ装置又は送信装置は、識別された情報に基づいて分類情報を生成し、ステップ306において、複数のコンテンツ、すなわち複合コンテンツ及び分類情報を受信装置又はクライアント装置に提供する。
【0026】
図4は、本発明の一実施形態による複合コンテンツを受信する方法を示すフローチャートである。
【0027】
図4を参照すると、再生装置又はクライアント装置は、ステップ400において、サーバ装置から複数のコンテンツタイプを含む複合コンテンツ及び複合コンテンツのための分類情報を獲得する。クライアント装置は、サーバ装置にリクエストを送信してサーバ装置から複合コンテンツ及び分類情報を獲得でき、あるいはリクエストなしにサーバ装置からこれらを受信できる。
【0028】
複合コンテンツ及び分類情報を受信した後、クライアント装置は、ステップ402において分類情報によって複数のコンテンツタイプを分類し、ステップ404において識別された複数のコンテンツタイプ間の関係に従って複合コンテンツを処理する。ステップ404において、クライアント装置は、複数のコンテンツタイプ間の関係に基づき、どのコンテンツがメインコンテンツであるか、どのコンテンツが付加コンテンツであるかを判断し、複数のコンテンツタイプの中で付加コンテンツの個数も判断できる。このように識別された複数のコンテンツタイプ間の関係に基づき、クライアント装置は、メインコンテンツと付加コンテンツを各々処理することができる。
【0029】
例えば、付加コンテンツが緊急放送に関するものである場合、クライアント装置は、メインコンテンツを再生する中に緊急放送に関する付加コンテンツを提供できる。しかしながら、付加コンテンツが広告である場合、クライアント装置は、付加コンテンツをメインコンテンツの中間に、又はメインコンテンツが完了した後に提供し得る。ステップ406において、クライアント装置は、複合コンテンツを再生する。
【0030】
図5は、本発明の一実施形態によるサーバ装置500を示すブロック構成図である。
【0031】
図5を参照すると、データプロセッサ502は、分類情報、すなわち複数のコンテンツタイプを分類又は識別するための情報を生成する。送信部504は、分類情報と関連した複合コンテンツをクライアント装置に伝送する。
【0032】
図6は、本発明の一実施形態による複合コンテンツを受信するクライアント装置を示すブロック構成図である。
【0033】
図6を参照すると、受信装置600は、サーバ装置から分類情報とその関連複合コンテンツを受信する受信部602を含む。プロセッサ604は、分類情報を用いて複合コンテンツに含まれる複数のコンテンツタイプを分類し、ディスプレイ部606でコンテンツをユーザーに提供する。プロセッサ604は、分類情報を用いて複数のコンテンツの中で各コンテンツ間の関係を識別し、識別した関係によってメインコンテンツと付加コンテンツを区分し、各コンテンツを表示部606に適切に出力することができる。
【0034】
図7乃至図11は、本発明の一実施形態による複合コンテンツ構成を示す。
【0035】
図7及び図8を参照すると、複合コンテンツ構造体(structure)704は、複数のストリーム又は複数のコンテンツタイプを含む複合コンテンツ702と構成ファイル700を含む。したがって、受信端末(又はクライアント端末)は、各々構成ファイル700,800を予め受信及び確認することによって、複合コンテンツ702,802に関する情報を識別することができる。
【0036】
図9乃至図11は、本発明の一実施形態による複合コンテンツ構成を示す。
【0037】
図9乃至図11を参照すると、複合コンテンツ902,1006,1008,1104,1106は、ストリーム又はコンテンツが伝送/受信される単位/サイズという面で、それらのストリーム及びコンテンツに従って異なることができる。
【0038】
ここで説明する複合コンテンツは、図10に示すように、複数の複合コンテンツ1006,1008の集合体として構成され、図11に示すように、複合コンテンツ1104とソースコンテンツ又はソースストリーム1106の集合体として構成され得る。
【0039】
より具体的に説明すると、構成ファイル900は、複数のストリームを含む複合コンテンツ902に関する情報を含み、受信装置は、構成ファイル900を確認して各ストリームのセマンティック構成及び役割情報を識別する。本発明の実施形態によると、構成ファイル900は、複数のストリーム、すなわち複合コンテンツ902に含まれる複合コンテンツを分類するための分類情報を含む。
【0040】
図10を参照すると、複合コンテンツ構造体1010は、階層的構造を含む。例えば、上位レベル(又は上位階層)の構成ファイル1000は、2個の下位レベルの構成ファイル1002,1004を有し、これらは、各々関連した複合コンテンツ1006,1008の分類情報を含む。複合コンテンツ構造体1010を受信すると、受信装置は、上位レベルの構成ファイル1000をまず分析し、その結果として構成ファイル1000の下位レベルに存在する構成ファイル1002,1004を識別した後に、識別した各構成ファイル1002,1004の分類情報に従って複合コンテンツ1006,1008を分類する。図10のように上位レベルの構成ファイル1000が下位レベルに構成ファイル1002,1004を有する場合、上位レベルの構成ファイル1000は、下位レベルの構成ファイル1002,1004に対する参照情報も有する。
【0041】
図11を参照すると、複合コンテンツ構造体1110は、下位階層の構成ファイル1102に関する情報とソースストリーム1106に関する情報を有する上位レベルの構成ファイル1100を含む。複合コンテンツ構造体1110を受信すると、受信装置は、構成ファイル1100を分析し、構成ファイル1100に含まれた分類情報又は参照情報に従って下位レベルの構成ファイル1102を確認して複合コンテンツ1106を処理し、あるいはソースストリーム1106の構成を直接確認してそのソースストリーム1106を処理する。
【0042】
上記したように、サービスのための情報提供及び設定/初期化のような情報を提供する構成ファイル700,800,900,1000は、メディアプレゼンテーション記述(Media Presentation Description:MPD)、マニフェスト(manifest)、構成となり得る。その他に、同一の意味又は同一の役割を有するすべての情報は、構成情報と同一の情報として判断できる。
【0043】
基本フィールド又は属性情報が本明細書で提供されるが、本発明の各実施形態で説明する構成ファイル情報は、使用環境及び/又はサービスに従って、フィールド及び属性のような付加的情報をさらに含むことができるが、本発明の範囲を制限するものではない。
【0044】
加えて、本発明では構成ファイルに含まれる情報の論理的意味を図示及び説明しているが、これは、システム及びサービス製造又は提供環境によって、XML(eXtensible Markup Language)、バイナリデータ、フォーマット化した情報構造体のような多様な情報表示構造又はフォーマットで表現できる。
【0045】
図12は、本発明の一実施形態による構成ファイルをを示す。
【0046】
図12を参照すると、構成ファイル1200は、下位レベルで、複合コンテンツ、すなわち複数のストリームに関する情報を示す要素1204を有する最上位レベルの要素1202を含む。各ストリームに関する具体的な情報は、属性(attribute)フィールド1206により識別できる。ストリーム伝送又は提供単位によって、各提供単位に関する具体的な情報は、システムまたはサービス製造及び提供環境に従って、属性フィールド1206により提供することができる。
【0047】
図12において、新たな要素又はストリームタイプ(streamType)1208は、構成ファイル1200の情報にストリームのセマンティック構成及び役割情報を提供するためにストリーム要素1204の属性フィールド1206に追加される。このストリームタイプ(streamType)1208は、該当コンテンツでの役割又は重要度、又は該当ストリーム自体の役割を表す。下記の<表1>の例のように、ストリームタイプ(streamType)1208は、該当ストリームがコンテンツ提供にメインサービスであることを示す情報を提供できる。図12に示す他の属性、すなわちタイプ、ビットレート、及びStartTimeは、本発明に直接に関係しないので、その説明を省略する。
【0048】
<表1>は、本発明の一実施形態により、該当ストリームがコンテンツのメインサービス/コンテンツストリームであるか、あるいは付加コンテンツストリームであるかを表すストリームタイプ(streamType)1208の一例を示す。
【0049】
【表1】
ストリームタイプ(streamType)1208は、<表2>の例に示すように、コンテンツストリームの役割を具体的に説明できる。<表2>は、該当ストリームが緊急メッセージサービスのためのコンテンツストリームであるか、広告のためのストリームであるか、あるいはユーザー定義によるストリームであるかを表すストリームタイプ(streamType)1208の一例を示す。
【0050】
【表2】
図13は、本発明の一実施形態によるストリームのセマンティック構成及び役割情報を提供するための構成ファイル構造体1300を示す。しかしながら、図12と異なり、図13では、ストリーム要素1204の属性フィールド1306は、“is_mainStream”属性要素1308を含む。
【0051】
図13を参照すると、“is_mainStream”要素1308により提供される情報は、図12で説明した“streamType”と同一の意味を有する。図13の“is_mainStream”要素1308の値が“真(true)”に設定されると、ストリームは提供されるサービスのメインサービス/コンテンツストリームであることを示す。他の例として、“emergency”フィールド(図示せず)が“真”に設定することで、コンテンツストリームが緊急メッセージの役割をすることを表すために使用され得る。
【0052】
複合コンテンツのセマンティック構成及び役割情報を提供するための本発明の他の実施形態によって、一つのファイル又はフォーマット化したコンテンツ格納フォーマットで複数のストリーム又は複数のコンテンツタイプを含む複合コンテンツ構造体を構成する一例について、以下に説明する。次の説明において、複数のコンテンツタイプ/ストリームを含む複合コンテンツ構造体の一例は、ISO(International Organization for Standardization)ベースのファイルフォーマットによって説明される。
【0053】
ISOベースのメディアファイルフォーマットは、ISO/IEC国際標準14496-12:2005の“Information technology-coding of audio-visual objects-part12:ISO base media file format”に定義されている。このフォーマットのファイルは、ストリームのメディアデータ及び各ストリームの再生に必要な情報を含むメタデータを含む。ISOベースのメディアファイルフォーマットの基本構成ブロックは、“ボックス(box)”と呼ばれ、このボックスは、ISOベースのメディアファイルフォーマット内のオブジェクト指向基本ビルディングブロックである。各ボックスは、ヘッダー及びペイロードを含む。ヘッダーは、ボックスのタイプとボックスのサイズをバイト単位で表す。明示された複数のボックスは、ヘッダー内にバージョンナンバー及びフラグを含む“フルボックス(full box)”構造から派生される。ボックスは、他のボックスを含むことができ、ISOファイルフォーマットは、特定タイプのボックス内で許可可能なボックスのタイプを指定する。
【0054】
ストリームのメディアデータは、オーディオ/ビデオ(A/V)ファイルとしてメディアデータ(mdat)ボックスに格納され、メタデータは、MOOVボックスに格納され、ファイルタイプはファイルタイプ(ftyp)ボックスに格納される。したがって、ISOベースのメディアファイルフォーマットは、A/Vデータ及びA/Vデータに関する詳細情報を含む複数のボックスを含む。本発明では、“ボックス”は、“データブロック”又は“コンテナ”としても呼ばれる。
【0055】
ISOベースのメディアファイルフォーマットに対するより詳細な説明は、本発明の要旨を不明にするので省略する。図14は、ISOベースのメディアファイルフォーマットに基づいた一般的なコンテンツ格納フォーマットを示す。図14に示されないが、ファイルタイプ(ftyp)ボックスは、ファイルタイプと互換性のあるファイルタイプに関する情報を含む。この互換性のあるファイルタイプは、デコーダで正常な再生が可能である。
【0056】
図14を参照すると、MOOVボックス1402のデータは、オブジェクトベースの構造体で構成され、フレームレート、ビットレート、及びイメージサイズのようなコンテンツ情報と、FF(Fast forward)/REW(rewind)のような再生機能をサポートするための同期化(sync)情報、及びmdatボックス1404に含まれたメディアファイルを再生するための詳細情報とを含む。MOOVボックス1402がA/Vデータフレームの全体数、及び各フレームのサイズに関する情報を含むため、クライアント装置は、再生時にMOOVボックス1402を分析して、mda tボックス1404に含まれたビデオデータ及びオーディオデータを提供できる。MOOVボックス1402は、mdatボックス1404にトラック単位で記録されるストリームを参照するためのトラックボックス1402a及び1402bを含む。
【0057】
mdatボックス1404は、各トラックに対応する実際ストリームデータを含み、A/Vデータは、フレーム及びサンプルのように、各データの基本単位でmdatボックス1404に格納されることができる。
【0058】
図14に示すISO/IEC14496-12標準ベースのメディアファイルフォーマットを例に挙げて説明しているが、本発明で説明する複合コンテンツ構造体は、ISO/IEC(International Electrotechnical Commission)14496-12標準ベースファイルフォーマットに使用され得る。また、この複合コンテンツ構造体は、ISO/IEC14496-12標準に基づくことでなくても、構造化されたフォーマットで構成される活用可能なすべての格納フォーマット及び記録媒体に適用可能である。
【0059】
図15及び図17は、本発明の実施形態によるコンテンツを構成するストリームのセマンティック構成及び役割情報を提供するための情報を含む格納フォーマットを示す。
【0060】
図15及び図17に示す格納フォーマット1500,1700は、各々サービスのメインコンテンツストリームと広告、緊急メッセージのような付加コンテンツストリームを一つの格納フォーマットで含む。ここで、格納フォーマットは、複合コンテンツ構造体としても呼ばれる。
【0061】
図15及び図17において、ストリームのセマンティック構成及び役割情報を提供するために、付加メディアトラック(addm)は、<表3>のように各トラックの参照情報を示す参照タイプ(reference_type)の“handler_type”として新たに定義される。
【0062】
【表3】
参照タイプ(reference_type)は、トラック参照(tref)ボックス1514b、1714に含まれる情報であり、trefボックス1514b,1714は、参照タイプ(reference_type)とトラックID(track_ID)を用いて、現在のトラックが参照する、又は参照される他のトラックとの接続に使用され得る。したがって、本発明の一実施形態による複合コンテンツ構成格納フォーマットのtrefボックスの参照タイプ(reference_type)を確認して、クライアント装置は、現在トラックが参照する、又は参照されるトラックが付加メディアトラック(addm)、すなわち、メインサービス、例えば緊急メッセージサービス及び広告以外のコンテンツを含むトラックであると判断できる。
【0063】
より具体的には、図15を参照すると、複合コンテンツ構造体格納フォーマット1500は、2個のトラック(trak)ボックス1512,1514を有するMOOVボックス1510を含み、このトラックボックス1512,1514は、それぞれmdatボックス1520に含まれるメインサービスコンテンツ1520a及び付加サービスコンテンツ1520bを指定する。トラック(trak)ボックス1512,1514は、トラックヘッダー(tkhd)ボックス1512a,1514aを各々含み、tkhdボックス1512a,1514aは、各々mdatボックス1520に含まれる関連したトラック1520a,1520bを識別するためのトラック識別子(Id)を含む。
【0064】
図15において、付加サービスコンテンツ1520bを参照する情報を含むトラック参照ボックス1514bは、付加サービスコンテンツ1520bに対応するトラック(trak)ボックス1514に含まれる。トラック参照ボックス1514bは、参照タイプ(reference_type)とトラックIDを含む。クライアント装置は、トラック参照ボックス1514bに含まれる参照タイプ(reference_type)を確認し、参照タイプ(reference_type)が“addm”として設定されると、クライアント装置は、トラックボックス1514に該当し、付加サービスコンテンツを含むトラック1520bが付加コンテンツであると判断する。
【0065】
図16は、本発明の一実施形態により、図15に示すように、複合コンテンツ格納フォーマットを受信する端末の動作方法を示すフローチャートである。
【0066】
図16を参照すると、端末は、ステップ1610において、複合コンテンツ格納フォーマット1500を受信し、ステップ1620においてMOOVボックス1510を確認する。図16に示されていないが、ファイルタイプ(ftyp)ボックス1502のような格納フォーマットで分析されるボックスを分析及び確認するプロセスは、ステップ1620以前に遂行される。端末は、ステップ1630において下位レベルのトラック(trak)ボックス1512,1514を確認し、ステップ1640においてトラック参照(tref)ボックス1514bの存在有無を確認する。トラック参照(tref)ボックス1514bを有するトラックの場合、端末は、ステップ1640においてトラック参照(tref)ボックス1514bを確認する。
【0067】
端末は、ステップ1650においてトラック参照(tref)ボックス1514bの参照タイプ(reference_type)を確認し、ステップ1660において参照タイプ(reference_type)の値が“addm”であるか否かを判定する。参照タイプ(reference_type)の値が“addm”である場合、これは、トラックが緊急メッセージサービス及び広告のようなメインサービス以外のコンテンツを含むトラックであることを示す。したがって、端末は、ステップ1670において、トラック参照(tref)ボックス1514bのtrack_IDフィールドの値を確認してメインサービスコンテンツを包含するトラックがどのトラックであるかを判定することができる。トラック(trak)ボックスを確認する以後のすべてのステップは、映像ファイルの最初のトラックから最後のトラックまで反復される。
【0068】
ボックスを確認するプロセスがすべての端末の動作説明に含まれるが、このボックスを確認する順序は必ずしも図面の順序に従うべきではない。ここで具体的に説明していないファイルフォーマットの分析プロセスとそれに関連した端末動作は、ISO/IEC14496-12標準の詳細に従う。
【0069】
図17を参照すると、複合コンテンツ構成格納フォーマット1700は、トラック(trak)ボックス1712,1716を有するMOOVボックス1710を含み、これらトラックボックス1712,1716は、各々mdatボックス1720に含まれたメインサービスコンテンツ1720a及び付加サービスコンテンツ1720bを指定する。トラック(trak)ボックス1712,1716は、各々関連したトラックヘッダー(tkhd)ボックスを含む。
【0070】
メインサービスコンテンツ1720aに対応するトラックボックス1712に含まれたトラック参照(tref)ボックス1714は、参照タイプ(reference_type)とトラック識別子(track_ID)を含む。クライアント装置は、トラック参照(tref)ボックス1714に含まれた参照タイプ(reference_type)を確認し、参照タイプ(reference_type)が“addm”として設定される場合、クライアント装置は、トラックボックス1712に対応するトラックがメインサービスコンテンツ1720aを含むトラックであると判定する。
【0071】
図18は、本発明の一実施形態により、図17に示すように、複合コンテンツ格納フォーマットを受信する端末の動作方法を示すフローチャートである。
【0072】
図18を参照すると、端末は、ステップ1810において、複合コンテンツ格納フォーマット1700を受信し、ステップ1820においてMOOVボックス1710を確認する。図18には図示していないが、ファイルタイプ(ftyp)ボックスのような格納フォーマット1700で分析されるボックスの分析及び確認プロセスは、ステップ1820以前に遂行できる。端末は、ステップ1830において下位レベルのトラック(trak)ボックス1712,1716を確認し、ステップ1840においてトラック参照(tref)ボックス1714の存在有無を確認する。トラック参照(tref)ボックス1714を有するトラックの場合、端末は、ステップ1840においてトラック参照(tref)ボックス1714を確認する。
【0073】
端末は、ステップ1850においてトラック参照(tref)ボックス1714の参照タイプ(reference_type)を確認し、ステップ1860においてその値が“addm”として設定される場合、トラックがメインサービスコンテンツ1720aを含むトラックであると判定し、端末は、ステップ1870において、トラック参照(tref)ボックス1714のtrack_IDフィールドの値を確認してメインサービスコンテンツを包含するトラックがどのトラックであるかを判定することができる。トラック(trak)ボックスを確認する以後のすべてのステップ1830は、映像ファイルの最初のトラックから最後のトラックまで反復され得る。
【0074】
ボックスを確認するプロセスがすべての端末の動作説明に含まれるが、このボックスを確認する順序は必ずしも図面の順序に従うべきではない。ここで具体的に説明していないファイルフォーマットの分析プロセスとそれに関連した端末動作は、ISO/IEC14496-12標準の詳細に従う。図19及び図20は、本発明の実施形態により、各々新たなmoovレベルのボックス及び新たなmoovレベルのメタボックスを含むボックス構成を示す。
【0075】
特に、図19及び図20は、ストリームのセマンティック構成及び役割情報を提供する複合コンテンツ格納フォーマットの新たなボックス構造体1900,2000の例を示す。新たに定義されるボックス1920,2070は、識別者を“uuid”として設定し、“uuid”のIDフィールドの値を本発明で説明する情報を含むためのボックスであることを示す特定値として設定して区分することができる。または、新たに定義されたボックス1920,2070は、固有な名前を設定して定義することができる。
【0076】
図19及び図20を参照すると、新たなボックスは、緊急メッセージサービスと広告のようなメインサービス以外のコンテンツを含むトラックの個数及び該当トラックタイプを示す情報を含むことができる。新たなボックス1920,2070は、トラックがメインストリーム、広告などを構成することを示すコンテンツ構成の具体的な意味及び役割情報を示す情報を含むように構成することができる。
【0077】
本発明で提案される方法は、ISOベースのメディアファイルフォーマットに規定されたファイルレベルのボックス、moovレベルボックス、トラックレベルボックス、moovレベルメタボックス、トラックレベルのメタボックスのような多様な形態で格納フォーマットの新たなボックスを構成できる。図15及び図17に示したようにボックスで構成されなくても、必要な情報は、フィールドで追加され得る。
【0078】
図19は、本発明の第2の実施形態により、新たなmoovレベルボックスの形態でここで説明する新たな情報を含むボックスを構成する一例を示し、図20は、本発明の第2の実施形態により、新たなmoovレベルのメタボックスの形態でここで説明する新たな情報を含むボックスを構成する一例を示す。
【0079】
図19では、MOOVボックス1910に新たに定義したuuidボックス1920が定義され、uuidボックス1920の識別子は“addm”と呼ばれる。MOOVボックス1910は、トラック(trak)ボックス1930,1940を含み、トラック(trak)ボックス1930は、mdatボックス1950でtrack_ID=1を有するメインサービスコンテンツ1950aを指定し、トラック(trak)ボックスはmdatボックス1950でtrack_ID=2を有する付加サービスコンテンツ1950bを指定する。
【0080】
uuidボックス1920は、mdatボックス1950にいくつの付加コンテンツタイプが含まれるかを示す情報として付加メディアコンテンツタイプの個数を含む。付加メディアコンテンツタイプの個数は、“付加メディアカウント”フィールドに定義される。uuidボックス1920は、付加コンテンツタイプのトラックIDを含む。
【0081】
図19において、uuidボックス1920に含まれた付加メディアカウントフィールドが1に設定される場合、一つの付加コンテンツは、mdatボックス1950に存在し、track_IDが2に設定される場合、付加コンテンツはtrack_ID=2を有する付加コンテンツである。
【0082】
図20は、uuidボックス2070をMOOVボックス2010でなくmoovレベルのメタボックス2060に含んで構成される格納フォーマット2000を示す。
図21乃至図27は、本発明の一実施形態による複合コンテンツの格納フォーマット及びメタ情報を示す。特に、図21乃至図27には、分類情報を含むメタ情報と複合コンテンツと、複合コンテンツの再生のための情報を含む複合コンテンツ格納フォーマットは別途に構成されることができ、あるいはメタ情報は複合コンテンツ格納フォーマットに含まれることができる。
【0083】
図21乃至図24は、本発明の一実施形態により、別途に構成されるメタ情報と複合コンテンツ格納フォーマットを示す。
【0084】
図21乃至図24を参照すると、メタ情報又はメタ情報ファイルは、実際コンテンツを含む複合コンテンツ格納フォーマットを指定又は参照することができる。例えば、図21で、メタ情報2102は複合コンテンツ格納フォーマット2100を指定し、図22で、メタ情報2202は複合コンテンツ格納フォーマット2200を指定し、図23で、メタ情報2302は複合コンテンツ格納フォーマット2300a,2300bを指定し、図24で、メタ情報2402は、複合コンテンツ格納フォーマット2404,2406を指定する。例えば、メタ情報又はメタ情報ファイルは、図22又は図24に示すように、具体的なストリーム又はトラック(trak)ボックスを指定又は参照するように設定することができる。
【0085】
また、メタ情報又はメタ情報ファイルは、図23及び図24に示すように、複数のコンテンツ格納フォーマットで構成された複合コンテンツの関連情報を含むことができる。
【0086】
図21乃至図24に示すようにサービスが構成される場合、端末は、メタファイルを分析してコンテンツストリームのセマンティック構成及び役割情報を確認した後、実際コンテンツ格納フォーマット、ストリーム、及び/又は各トラックを分析する。
【0087】
図25及び図26は、本発明の一実施形態による複合コンテンツ格納フォーマットに含まれるメタ情報を示す。
【0088】
特に、図25は、メタ情報ファイル2508がメタボックス2504内のXML又はバイナリXML(bXML)ボックス2506に含まれて構成される複合コンテンツ格納フォーマット2500を示す。メタボックス2504は、MOOVボックス2502と同一のレベルにある。
【0089】
図26は、メタボックス2608内にメタ情報を含む新たな“admt”ボックス2610を生成することによって、複合コンテンツ格納フォーマット2600内のメタ情報2612を示す。メタボックス2608は、MOOVボックス2602と同一のレベルにある。
【0090】
上記した複合コンテンツ格納フォーマットの新たなボックスは、ISO/IEC14496-12標準に規格化したファイルレベルボックス、moovレベルボックス、トラックレベルボックス、moovレベルメタボックス、トラックレベルメタボックスのような多様な形態で構成することができる。新たに定義されるボックスは、各々識別子を“uuid”として定義し、“uuid”のIDフィールドの値をボックスが本発明の実施形態で説明する情報を含むことを示す特定値として設定して区分することができる。または、新たに定義されたボックスは、図26に示すように、“admt”のような固有な名前を設定して定義することができる。
【0091】
図27は、本発明の一実施形態により、分類情報を含むメタ情報と別に構成される複合コンテンツ格納フォーマットを示す。特に、図27は、分類情報を含むメタ情報2706と別に構成される複合コンテンツ格納フォーマット2700を示す。しかしながら、図21乃至図24と異なり、端末は、複合コンテンツ格納フォーマット2700をまず分析する。
【0092】
この場合、外部のデータ、コンテンツ、又はデータソースに対する参照情報関連ボックスを用いて、端末は、メタ情報又はメタ情報ファイルに対する参照情報を確認することができる。図27でメタボックス2702のアイテムロケーションボックス(iloc)及び/又はアイテム情報ボックス(iinf)ボックス2704は、参照情報関連ボックスとして使用されるが、その他にもデータ情報ボックス(dinf)及び/又はデータ参照ボックス(dref)のような複合コンテンツ格納フォーマット2700に参照情報関連ボックスとして他のボックスを使用して、該当メタ情報2706又はメタ情報ファイルに対する参照情報を提供することができる。
【0093】
図25及び図26に示すように、メタ情報がコンテンツ格納フォーマット内に含まれる場合、端末は、ISO/IEC14496-12標準の内容に従って格納フォーマットを分析するプロセスを通じて、ボックスレベル及びボックス構成の順序によって順次にメタボックス、メタボックスの下位レベルのXMLまたはbXML及びメタ情報又はメタ情報ファイルを分析できる。
【0094】
次の説明において、メタ情報2508,2612が、図25及び図26に示すように、複合コンテンツ格納フォーマット2500,2600内に含まれる場合、情報は、図28の端末動作によって解析され得る。
【0095】
図28は、図25及び図26に示したように、本発明の実施形態により複合コンテンツ格納フォーマットに含まれるメタ情報を受信する端末の動作方法を示すフローチャートである。
【0096】
図28を参照すると、ステップ2810において、コンテンツ格納フォーマットを受信すると、端末は、ステップ2820においてメタボックスを確認する。ステップ2820のメタボックスを確認する以前に、端末は、ファイルタイプ(fytp)ボックスを予め確認できる。ファイルタイプ(ftyp)ボックスのブランド情報の互換性関連情報を通じて該当複合コンテンツ格納フォーマットが本発明で説明するメタ情報又はメタ情報ボックスを含むコンテンツ格納フォーマットであるか否かを確認することができる。
【0097】
端末は、ステップ2830において、メタ情報又はメタ情報ボックスを確認してメタ情報を確認し、ステップ2840において、メインメディアトラック及び付加メディアトラック又は各トラックのセマンティック構成及び役割を確認する。その後、端末は、ステップ2850とステップ2860において、moovボックス及びトラックボックスを確認することができる。
【0098】
このとき、本発明で説明するメタ情報又はメタ情報ボックスがファイルレベルボックス又は無比レベルボックス又はトラックレベルボックス又はmoovレベルメタボックス又はトラックレベルメタボックスで構成される場合、端末は、ステップ2820を遂行する代わりに、該当ボックスの上位レベルボックスを分析するステップをステップ2820の代わりに遂行することができる。例えば、本発明で説明するメタ情報又はメタ情報ボックスがmoovレベルボックスで構成される場合、端末は、格納フォーマットを受信し、該当コンテンツ格納フォーマットが本発明で説明するメタ情報又はメタ情報ボックスを含んでいるコンテンツ格納フォーマットであるかを確認した後、MOOVボックスをまず確認し、ステップ2830においてその下位レベルで構成されたメタ情報(admt)を確認することができる。
【0099】
図29は、本発明の一実施形態によるメタ情報の例を示す。
【0100】
図29を参照すると、メタ情報2900は、最上位要素としてメタ情報2900がどのコンテンツに関する情報であるかを表すためのコンテンツ要素2902を有し、各コンテンツ2902の要素の下位にはコンテンツに存在する複数のトラックに関する情報であるトラック要素2904が位置する。各トラック要素2904の場合、属性フィールド2906は、トラックID(trackID)2908とコンテンツタイプを説明する情報であるコンテンツタイプ(contentType)2910が存在する。コンテンツタイプ(contentType)2910は、<表1>の例のように、コンテンツがコンテンツ提供においてメインサービスであることを示す情報を提供できる。また。コンテンツタイプ(contentType)2910は、<表2>の例のように、該当ストリームが緊急メッセージサービスのためのコンテンツストリームであるか、広告のためのストリームであるかを示す情報を提供することができる。
【0101】
図29のトラック要素2904は、ストリーム又はコンテンツに関する情報を示す情報に代替できる。例えば、トラックがコンテンツに代替される場合、提供されるサービスは、コンテンツA、コンテンツB、及びコンテンツCを含み、コンテンツタイプ(contentType)2910の属性は、複合コンテンツを提供するコンテンツA、コンテンツB、コンテンツCの各々に対するコンテンツの意味又は 役割に対して説明する情報を提供できる。
【0102】
図30は、本発明の一実施形態により、セマンティック構成及び役割情報が論理的構成単位である“item”単位で提供されるメタ情報を示す。
【0103】
図30を参照すると、メタ情報3000は、メタ情報3000に含まれるコンテンツに関する情報を表すコンテンツ要素3002と、各コンテンツに存在するアイテムに関する情報を含むアイテム要素3004を含む。各アイテム要素3004に対して、属性フィールド3006は、参照トラック識別子(ref_trackID)3008、アイテム識別子(item_ID)3010、及びアイテム3004のタイプを説明する情報であるアイテムタイプ(item_Type)3012を有する。
【0104】
item_Type3012は、図29のcontentType2910と同一の情報を提供する属性情報である。アイテム3004は、論理的構造体である。物理的には、アイテム3004は、複数のトラック/ストリーム/コンテンツを含み、数個のアイテムは、一つのトラック/ストリーム/コンテンツを構成することができる。
【0105】
図31及び図32は、本発明の一実施形態によるメタ情報を示す。特に、図31及び図32では、メタ情報3100,3200を用いてコンテンツを提供する具体的な方法を提供することによって、コンテンツのセマンティック構成及び役割情報を提供できる。
【0106】
図31を参照すると、端末は、メタ情報3100の最上位レベル‘構成(configuration)’要素3102の下位レベルの要素であるストリーム要素3104の属性フィールド3106でis_madatory要素3108の値を確認することによって、端末は、トラック/ストリーム/コンテンツが必ず提供するように設定されたか否かを判定する。is_mandatory要素3108は、該当トラック/ストリーム/コンテンツが提供すべきであるか、あるいは付加サービスのために提供されるかを示す必須提供属性情報である。この場合、この属性情報に基づき端末は、該当トラック/ストリーム/コンテンツがメインサービスのためのものであるか、広告のような付加サービスのためのものであるかを判定できる。is_mandatory要素値、又は必須提供属性情報が“真”として設定されると、トラック/ストリーム/コンテンツがメインサービス向けであることを示す。しかしながら、is_mandatory要素の値が“偽(false)”として設定されると、トラック/ストリーム/コンテンツが付加サービス向けであることを示す。
【0107】
図32を参照すると、端末は、メタ情報3200の最上位レベルの構成要素3203の下位レベルのストリーム要素3204の属性フィールド3206の“スキップ”属性情報又は“can_skip”要素3208の値を確認して、トラック/ストリーム/コンテンツがスキップされるか否かを判定する。can_skip要素3208の値又はスキップ属性情報が“真”として設定される場合、端末は、トラック/ストリーム/コンテンツがスキップ可能な付加サービスに対応すると判定する。しかしながら、can_skip要素3208の値が“偽”として設定される場合、端末は、トラック/ストリーム/コンテンツがスキップできないメインサービスに対応すると判定する。この属性情報に基づき、端末は、該当トラック/ストリーム/コンテンツがメインサービス向けであるか、あるいは広告のような付加サービス向けであるかを判定する。
【0108】
図31及び図32のコンテンツ提供方法に関する情報は、上記した本発明の実施形態のように、構成情報及びメタ情報と一緒に付加情報としてさらに提供され得る。例えば、端末がトラック/ストリーム/コンテンツがメインサービス向けであると判定した後、該当トラック/ストリーム/コンテンツの属性フィールドcan_skipの値が“真”として設定される場合、端末は、メインサービスを中断して他のサービスを提供するなど、メインサービスのより低い優先順位を提供することができる。
【0109】
図31及び図32のコンテンツの提供方法に関する情報は、サービスコンテンツを提供するためにコンテンツ供給者又はサービス供給者の意見を反映するために使用され、あるいはサービスコンテンツを提供するのにあって端末設定又はユーザーの嗜好を反映するために使用することができる。また、この情報は、サービスコンテンツの提供にコンテンツ供給者またはサービス供給者の意見を反映する情報をさらに含むことができ、サービスコンテンツの提供のためにユーザー端末設定又はユーザーの嗜好を反映する情報をさらに含むことができる。
【0110】
また、本発明で説明するメタ情報は、コンテンツのセマンティック構成及び役割情報によってコンテンツ提供方法、コンテンツディスプレイ方法、又はコンテンツ格納方法を変更することができ、コンテンツのセマンティック構成及び役割情報によってコンテンツ提供方法、コンテンツディスプレイ方法、又はコンテンツ格納方法に関する情報をさらに提供することができる。
【0111】
コンテンツディスプレイ方法の一例で、ストリーム1及び2のデータを同時に提供するか、あるいはストリーム1の中間にストリーム2を提供するかを判定するための情報をさらに追加することもでき、本発明で説明したメタ情報に基づいてコンテンツ提供方法を決定することができる。
【0112】
コンテンツディスプレイ方法の他の例で、ビデオコンテンツの場合、<表4>に示すような詳細な情報は、レイアウト情報のための新たな属性情報を提供して提供でき、第3の実施形態で説明したメタ情報を確認してコンテンツ提供方式を決定することができる。
【0113】
【表4】
コンテンツディスプレイ方法の他の例で、オーディオコンテンツの場合、ビデオとは異なり、2個の異なるオーディオストリームが同時に再生されると、正常なオーディオサービスが提供できない。コンテンツのセマンティック構成及び役割によって広告のようなサービスが提供される間に、メインメディアのボリュームを減少したり、メインメディアをミュート(mute)したり、あるいはメインサービスのデータをスキップするような具体的なサービス提供関連の属性情報は、メタ情報として提供することができる。また、コンテンツ提供方法は、上記したコンテンツのセマンティック構成及び役割情報を含む構成情報及びメタ情報を確認して決定できる。
【0114】
さらに、受信する端末に格納されるコンテンツは、上記コンテンツのセマンティック構成及び役割情報を含む構成情報及びメタ情報によって制御できる。受信端末は、コンテンツのセマンティック構成及び役割を含む構成情報及びメタ情報を確認してサービスコンテンツを再生する提供するコンテンツ提供プロセスを遂行した後に、コンテンツのセマンティック構成及び役割を含む構成情報及びメタ情報によって、格納したコンテンツ/ストリーム/トラックを選択して格納することができる。
【0115】
例えば、複合コンテンツがメインサービスコンテンツとしてストリーム1、ストリーム2、及びストリーム3を含み、広告サービスコンテンツとしてスとリーム4、ストリーム5を含む場合、ストリーム1、ストリーム2、及びストリーム3は、メインサービスコンテンツとして受信端末の格納部に格納された後、別途のメディアファイルで構成及び管理できる。
【0116】
上記では一つのメディアファイルが伝送されるが、コンテンツのセマンティック構成及び役割を含む構成情報及びメタ情報に従って、メインサービスコンテンツを構成するストリーム1、ストリーム2、ストリーム3を含む一つのファイルと、広告サービスコンテンツを構成するストリーム4及びストリーム5を含む他のファイルは、各々別途のコンテンツファイルとして格納及び管理することができる。
【0117】
図33は、本発明の実施形態による複合コンテンツファイル送信装置を示すブロック構成図である。
【0118】
図33を参照すると、図5に示したサーバ装置500のような複合コンテンツファイル送信装置3300は、データ生成部3310、入力部3320、映像信号プロセッサ3330、エンコーダ3340、ファイル/ストリーム生成部3350、コンテンツのセマンティック構成及び役割情報生成部3360、及び送信部3370を含む。
【0119】
データ生成部3310は、映像生成装置(例えば、カメラ、カムコーダ)、音響装置、及びテキスト生成器を含むコンテンツを構成できるテキスト、ビデオ、オーディオ、グラフィック、メタデータのような加工されていないデータ(raw data)を生成する。データ生成部3310から出力されるデータは、入力部3320に入力される。入力部3320は、データ生成部3310から受信されるデータを映像信号プロセッサ3330に提供する。この映像信号プロセッサ3330は、入力部3320から出力されるデータを前処理する。前処理とは、入力された映像をアナログからデジタルに変更したり、映像データを提供するために必要な外部入力値を用いて入力データを変換するすべての動作を含むことができる。
【0120】
映像信号プロセッサ3330により前処理されるデータは、エンコーダ3340に出力される。図33に示す構成要素間にはバッファリングのための格納構成を別途に示していないが、格納構成は、生成装置、システム、及びデータ生成方法によって提供され得る。エンコーダ3340は、映像信号プロセッサ3330から提供されるデータを符号化する。エンコーダ3340の符号化動作はオプションである。さらに、必要に応じては、2個以上のエンコーダ3340が提供可能であり、それによって異なるタイプ又はサービスの等級が提供可能である。
【0121】
ファイル/ストリーム生成部3350は、エンコーダ3340により符号化されたデータから伝送フォーマット又は単位に従ってコンテンツファイル又はデータストリームを生成してコンテンツのセマンティック構成及び役割情報生成部3360に出力する。コンテンツのセマンティック構成及び役割情報生成部3360は、本発明の実施形態によるコンテンツファイルのセマンティック構成及び役割情報を生成する。複合コンテンツファイルがコンテンツファイルのセマンティック構成及び役割情報を含む場合、ファイル又はストリーム生成部3350は、コンテンツファイルのセマンティック構成及び役割情報を生成することができる。コンテンツファイルのセマンティック構成及び役割情報は、別途のデータ生成部により生成され、ファイル/ストリーム生成部3350により生成されたファイルの伝送時に、受信端末に伝送することができる。
【0122】
コンテンツのセマンティック構成及び役割情報生成部3360は、本発明の実施形態による複合コンテンツに含まれた各コンテンツの関係及び役割に関する情報を生成する。コンテンツの関係及び役割に関する情報は、各コンテンツを分類するための分類情報に含まれる。データ生成部3310、入力部3320、映像信号プロセッサ3330、エンコーダ3340、ファイル/ストリーム生成部3350、及びコンテンツのセマンティック構成及び役割情報生成部3360は、図5に示すようにデータプロセッサ502に含まれる。
【0123】
図34は、本発明の実施形態による複合コンテンツファイル受信装置を示すブロック構成図である。
【0124】
図34を参照すると、クライアント装置600のような複合コンテンツファイル受信装置3400は、図6に示したように、サーバから複合コンテンツファイルを受信する受信部3410、コンテンツのセマンティック構成及び役割情報分析部3420、ファイル/ストリーム分析部3430、デコーダ3440、再生部3450、及びディスプレイ分3460を含む。コンテンツのセマンティック構成及び役割情報分析部3420は、図33のコンテンツファイルのセマンティック構成及び役割情報生成部3360により生成された情報を受信して分析する。ファイル/ストリーム分析部3430は、図33のファイル/ストリーム生成部3350から受信され、それによって生成されたファイルを分析する。
【0125】
複合コンテンツファイルがコンテンツファイルのセマンティック構成及び役割情報を含むように構成される場合、ファイル/ストリーム分析部3430は、コンテンツのセマンティック構成及び役割情報のプロセスを含むことができる。デコーダ3440は、ファイル/ストリーム分析部3430により分析され抽出されたコンテンツのデータを復号化する。復号化プロセスは、コンテンツファイル生成装置3300がエンコーダ3340を用いてファイル/ストリームを符号化した場合に遂行される。一つ以上のエンコーダにより符号化されたデータは、それぞれのデコーダを通じて復号化され、システム又は端末に従って選択的データの復号化が可能である。それによって、多様なタイプ/等級のサービス提供が可能である。
【0126】
図34に別途の格納部を示していないが、データをバッファリング又は格納する格納部は、図34示す構成要素間に提供され得る。
【0127】
再生部3450は、デコーダ3440から提供されるデータをコンテンツのセマンティック構成及び役割情報分析部3420及びファイル/ストリーム分析部3430により分析した情報に基づいて再生する。ディスプレイ部3460は、再生部3450により再生されるコンテンツをディスプレイする。このディスプレイ分3460は、物理的出力装置を通じて実際データが出力されてユーザーに提供される最終出力装置を意味する。コンテンツのセマンティック構成及び役割情報分析部3420、ファイル/ストリーム分析部3430、デコーダ3440、及び再生部3450は、図6に示すようにプロセッサ604に含まれ得る。
【0128】
複合コンテンツに含まれた各コンテンツを分類するための情報は、‘分類情報’と呼ばれる。例えば、分類情報は、stream_type、is_mainStream、トラック参照(tref)ボックスに含まれるreference_type及びtrack_ID、メタボックス又はメタデータに含まれる付加メディアカウントとtrack_ID、content_type、item_Type、is_mandatory、及びcan_skipを含むことができる。
【0129】
上記した本発明の実施形態の詳細は、システム又はサービス環境によって変形できる。例えば、リアルタイムサービスが可能なサービス格納フォーマット構成情報を確認すると、端末は、現在端末で受信されず、未来に提供される広告が付加メディアトラックのデータで受信されると判断できる。リアルタイムでサービスが提供される場合又は予定されない緊急メッセージが提供される場合、本発明で説明するコンテンツのセマンティック構成及び役割情報を提供するために、設定情報をアップデートして伝送し、あるいは設定情報を再伝送及び再受信するプロセスを遂行することができる。
【0130】
以上、本発明の詳細な説明においては具体的な実施形態に関して説明したが、特許請求の範囲の記載及びこれと均等なものに基づいて定められる本発明の範囲及び趣旨を逸脱することなく、形式や細部の様々な変更が可能であることは、当該技術分野における通常の知識を持つ者には明らかである。
【技術分野】
【0001】
本発明はコンテンツファイルを送受信する装置及び方法に関するもので、特に複数のストリームグループを含むコンテンツのセマンティック(semantic)構造及び役割(role)情報を提供するコンテンツファイルの送受信方法及び装置に関する。
【背景技術】
【0002】
最近、デジタルコンテンツ産業市場の拡大と利用可能なプラットフォームが多様化するに従って、単一タイプのコンテンツでなく複合コンテンツに対する要求が増加している。例えば、メインサービスストリームと広告ストリームのような付加情報ストリームがそれぞれのストリームでない一つのサービスオブジェクトとして生成されて複合コンテンツを構成してもよい。
【0003】
近年製作され、配布されるコンテンツは、リアルタイムでの製作及び配布、再構成及び再配布、及びユーザーの嗜好による制御が可能な特徴を有する。これらの特徴を反映する最近のコンテンツは、例えば、特別な制限なしにユーザーが自由に利用、コピー、変更、及び再配布できるフリーコンテンツや、ユーザーがテキスト、ビデオ、及び音楽のような創作物を共有できるようにするオープンコンテンツを含む。
【0004】
フリーコンテンツ及びオープンコンテンツを使用する場合、コンテンツの多様なタイプが、その目的及び意図に応じて異なる製作者により生成されることがある。例えば、サービスコンテンツA,B,Cを使用すると、サービスプロバイダーは、ソースコンテンツAがメインコンテンツであるコンテンツを生成してもよく、あるいは、ソースコンテンツB又はCがメインコンテンツであるコンテンツを生成してもよい。したがって、コンテンツの利用は、コンテンツを構成する多様なソースストリームのセマンティック構造及び役割に基づく。
【0005】
上述したように、従来のコンテンツ伝送及び提供に係る技術は、伝送されたコンテンツを所定時間で所定のサイズ及び形態で提供することに焦点を置いたので、コンテンツのセマンティック構造及び役割を考慮したコンテンツの提供に限界があった。
【発明の概要】
【発明が解決しようとする課題】
【0006】
したがって、本発明は上記した従来技術の問題点に鑑みてなされたものであって、その目的は、複数のストリームグループを含むコンテンツを記録及び再生する方法及び装置を提供することにある。
【0007】
本発明の他の目的は、提供されるコンテンツのセマンティック構造及び役割情報を提供することによって、コンテンツの自由な調整及び制御を可能とするコンテンツ提供方法及び装置を提供することにある。
【課題を解決するための手段】
【0008】
上述のような目的を達成するために、本発明の一態様によれば、複数のコンテンツを受信する方法が提供される。その方法は、サーバから分類情報を獲得するステップと、この分類情報に従ってサーバから提供される複数のコンテンツを分類するステップを有する。
【0009】
本発明の他の態様によれば、複数のコンテンツを伝送する方法が提供される。その方法は、受信装置に分類情報を提供するステップと、分類情報に基づいて分類可能な複数のコンテンツ情報を受信装置に提供するステップとを有する。
【0010】
また、本発明の他の態様によれば、複数のコンテンツを受信する装置が提供される。その装置は、サーバから分類情報及び複数のコンテンツを受信する受信部と、この分類情報によって複数のコンテンツを分類するプロセッサとを含む。
【0011】
さらに、本発明の他の態様によれば、複数のコンテンツを伝送する装置が提供される。その装置は、分類情報を生成するデータプロセッサと、分類情報に基づいて分類可能な複数のコンテンツを受信装置に送信する送信部とを含む。
【発明の効果】
【0012】
本発明は、複数のソースコンテンツ又はストリームを含む複合コンテンツを提供する場合、この複合コンテンツを構成する多様なソースストリームのセマンティック構造及び役割に関する情報を提供し、それによって、多様なコンテンツタイプ及びユーザー意図に従ってコンテンツを活用できるようになる。このようなコンテンツは、ユーザー適応型コンテンツとして提供することができる。
【0013】
本発明による実施形態の上述した態様及び他の態様、特徴、及び利点は、添付の図面と共に述べる以下の詳細な説明から、一層明らかになるはずである。
【図面の簡単な説明】
【0014】
【図1】複数のコンテンツが同一の期間で提供される場合、複数のコンテンツタイプを含む複合コンテンツのコンテンツ提供方法を示す図である。
【図2】ユーザー環境による複数のソースストリームの中から適当なソースストリームを選択してユーザーに提供するサービス構成を示す図である。
【図3】本発明の一実施形態による複数のコンテンツタイプを送信する方法を示すフローチャートである。
【図4】本発明の一実施形態による複数のコンテンツタイプを受信する方法を示すフローチャートである。
【図5】本発明の一実施形態によるサーバ装置のブロック構成図である。
【図6】本発明の一実施形態による複数のコンテンツタイプを受信するクライアント装置を示すブロック構成図である。
【図7】本発明の一実施形態による複合コンテンツ構成を示す図である。
【図8】本発明の一実施形態による複合コンテンツ構成を示す図である。
【図9】本発明の一実施形態による複合コンテンツ構成を示す図である。
【図10】本発明の一実施形態による複合コンテンツ構成を示す図である。
【図11】本発明の一実施形態による複合コンテンツ構成を示す図である。
【図12】本発明の一実施形態による構成ファイルを示す図である。
【図13】本発明の一実施形態によるストリームのセマンティック構成及び役割情報を提供するための構成ファイル構造体を示す図である。
【図14】ISO(International Organization for Standardization)ベースのメディアファイルフォーマットに基づいた一般的なコンテンツ格納フォーマットを示す図である。
【図15】本発明の一実施形態によるコンテンツを構成するストリームのセマンティック構成及び役割情報を提供するための情報を含む格納フォーマットを示す図である。
【図16】本発明の一実施形態による複合コンテンツ格納フォーマットを受信する方法を示すフローチャートである。
【図17】本発明の一実施形態によるコンテンツを構成するストリームのセマンティック構成及び役割情報を提供するための情報を含む格納フォーマットを示す図である。
【図18】本発明の一実施形態による複合コンテンツ格納フォーマットを受信する方法を示すフローチャートである。
【図19】本発明の一実施形態による新たなmoovレベルボックスを含むボックス構成を示す図である。
【図20】本発明の一実施形態によるmoovレベルの新たなメタボックスを含むボックス構成を示す図である。
【図21】本発明の一実施形態により別々に構成されるメタ情報と複合コンテンツ格納フォーマットを示す図である。
【図22】本発明の一実施形態により別々に構成されるメタ情報と複合コンテンツ格納フォーマットを示す図である。
【図23】本発明の一実施形態により別々に構成されるメタ情報と複合コンテンツ格納フォーマットを示す図である。
【図24】本発明の一実施形態により別々に構成されるメタ情報と複合コンテンツ格納フォーマットを示す図である。
【図25】本発明の一実施形態による複合コンテンツ格納フォーマットを含むメタ情報を示す図である。
【図26】本発明の一実施形態による複合コンテンツ格納フォーマットを含むメタ情報を示す図である。
【図27】本発明の一実施形態により、別々に構成される、分類情報を含むメタ情報と複合コンテンツ格納フォーマットとを示す図である。
【図28】本発明の一実施形態による複合コンテンツ格納フォーマット内に含まれるメタ情報を受信する端末の動作方法を示すフローチャートである。
【図29】本発明の一実施形態によるメタ情報を示す図である。
【図30】本発明の一実施形態により、セマンティック構成及び役割情報が論理構成単位である“item”の単位で提供されるメタ情報を示す図である。
【図31】本発明の一実施形態によるメタ情報を示す図である。
【図32】本発明の一実施形態によるメタ情報を示す図である。
【図33】本発明の一実施形態による複合コンテンツファイル送信装置を示すブロック構成図である。
【図34】本発明の一実施形態による複合コンテンツファイル受信装置を示すブロック構成図である。
【発明を実施するための形態】
【0015】
以下、本発明の望ましい実施形態を添付の図面を参照して詳細に説明する。
【0016】
以下の説明において、詳細な構成及び構成要素のような具体的な詳細は、ただ本発明の実施形態の全般的な理解を助けるために提供されるだけである。したがって、本発明の範囲及び趣旨を逸脱することなく、以下に説明される本発明の様々な変形及び変更が可能であることは、当該技術分野における通常の知識を持つ者には明らかである。なお、公知の機能または構成に関する具体的な説明は、明瞭性と簡潔性のために省略する。
【0017】
図1は、複数のコンテンツが同一の期間で提供される場合、複数のコンテンツタイプを含む複合コンテンツのコンテンツ提供方法を示す。特に、図1は、複数のコンテンツタイプ100、すなわち同一の期間102で提供されるコンテンツ1及びコンテンツ2から構成される複合コンテンツのコンテンツ提供方法を示す。
【0018】
図1を参照すると、コンテンツ1及びコンテンツ2が同一の時間102又は同一のサービス時間内に提供されるため、従来(又はレガシー)の再生装置は、これらを表示する方法を決定できない。特に、速報又は緊急メッセージのように、リアルタイムで生成及び提供される予期しないコンテンツの場合、従来の再生装置は、予め提供されているコンテンツを考慮して制御できる方法がない。
【0019】
図2は、ユーザー環境による複数のソースストリームの中から適当なソースストリームを選択してユーザーに提供するサービス構成を示す。
【0020】
図2を参照すると、コンテンツA200の関連セグメントを含むストリーム1,2,3,4、及びコンテンツB202の関連セグメントを含むストリーム5,6が複合コンテンツを構成すると仮定する。期間206に位置するセグメントを受信するユーザー端末は、500Kbitデータを受信できる。この場合、端末がコンテンツA及びB間の関係に関する情報を持っていないため、端末は、再生のためにコンテンツAとコンテンツB両方ともを選択するか、あるいはそれらのうちいずれか一つを選択するかを判定しなくてよい。したがって、端末は、ただ受信可能な500Kbitのサイズに対応するデータストリームを選択するようになる。しかしながら、この場合にも、図2に示すように、複数のセグメント206a、206bが500Kbpsのビットストリームで伝送されるため、端末は、どのデータストリーム又はセグメントを選択して受信することによって該当期間206でユーザーにサービスを提供しなければならないかを判定できない。
【0021】
これら及び他の短所に対処するために、本発明の一実施形態による方法及び装置を提供するコンテンツは、複数のストリームで構成されるストリームグループを含むコンテンツのセマンティック構成及び役割情報を提供することによって、多様なコンテンツタイプ及びユーザー意図によってコンテンツの自由な調整及び制御を容易にする。これら複数のストリームは、メインコンテンツのサービス中に生成及び提供される付加ストリームを含むことができる。ここて、用語“ストリーム”及び“コンテンツ”は、同一の意味で使用される。また、ストリーム又はコンテンツは、セグメントで伝送されてもよい。
【0022】
以下に説明されるコンテンツ制御のための情報は、情報を格納及び/又は伝達する記録媒体及び伝送媒体として構成することができる。ここで具体的に説明されなくても、制御情報又はメディアは、データの記録、伝送、伝達、及び格納可能なすべてのデータフォーマットに包含されてもよい。
【0023】
さらに、以下に説明されるように、複数のソースコンテンツタイプで構成される複合コンテンツは、ストリームの論理的オブジェクトまたは集合体として構成され、複合ソースコンテンツの集合体は、新たな一つのコンテンツ又はオブジェクトで構成されてもよい。ここて、複数のコンテンツタイプの集合を“複合コンテンツ”と呼ぶ。
【0024】
図3は、本発明の一実施形態により、複数のコンテンツタイプ、すなわち複合コンテンツを送信する方法を示すフローチャートである。
【0025】
図3を参照すると、サーバ装置は、ステップ300において複数のコンテンツを生成し、ステップ302において複数のコンテンツタイプ間の構成情報を識別する。ステップ304において、サーバ装置又は送信装置は、識別された情報に基づいて分類情報を生成し、ステップ306において、複数のコンテンツ、すなわち複合コンテンツ及び分類情報を受信装置又はクライアント装置に提供する。
【0026】
図4は、本発明の一実施形態による複合コンテンツを受信する方法を示すフローチャートである。
【0027】
図4を参照すると、再生装置又はクライアント装置は、ステップ400において、サーバ装置から複数のコンテンツタイプを含む複合コンテンツ及び複合コンテンツのための分類情報を獲得する。クライアント装置は、サーバ装置にリクエストを送信してサーバ装置から複合コンテンツ及び分類情報を獲得でき、あるいはリクエストなしにサーバ装置からこれらを受信できる。
【0028】
複合コンテンツ及び分類情報を受信した後、クライアント装置は、ステップ402において分類情報によって複数のコンテンツタイプを分類し、ステップ404において識別された複数のコンテンツタイプ間の関係に従って複合コンテンツを処理する。ステップ404において、クライアント装置は、複数のコンテンツタイプ間の関係に基づき、どのコンテンツがメインコンテンツであるか、どのコンテンツが付加コンテンツであるかを判断し、複数のコンテンツタイプの中で付加コンテンツの個数も判断できる。このように識別された複数のコンテンツタイプ間の関係に基づき、クライアント装置は、メインコンテンツと付加コンテンツを各々処理することができる。
【0029】
例えば、付加コンテンツが緊急放送に関するものである場合、クライアント装置は、メインコンテンツを再生する中に緊急放送に関する付加コンテンツを提供できる。しかしながら、付加コンテンツが広告である場合、クライアント装置は、付加コンテンツをメインコンテンツの中間に、又はメインコンテンツが完了した後に提供し得る。ステップ406において、クライアント装置は、複合コンテンツを再生する。
【0030】
図5は、本発明の一実施形態によるサーバ装置500を示すブロック構成図である。
【0031】
図5を参照すると、データプロセッサ502は、分類情報、すなわち複数のコンテンツタイプを分類又は識別するための情報を生成する。送信部504は、分類情報と関連した複合コンテンツをクライアント装置に伝送する。
【0032】
図6は、本発明の一実施形態による複合コンテンツを受信するクライアント装置を示すブロック構成図である。
【0033】
図6を参照すると、受信装置600は、サーバ装置から分類情報とその関連複合コンテンツを受信する受信部602を含む。プロセッサ604は、分類情報を用いて複合コンテンツに含まれる複数のコンテンツタイプを分類し、ディスプレイ部606でコンテンツをユーザーに提供する。プロセッサ604は、分類情報を用いて複数のコンテンツの中で各コンテンツ間の関係を識別し、識別した関係によってメインコンテンツと付加コンテンツを区分し、各コンテンツを表示部606に適切に出力することができる。
【0034】
図7乃至図11は、本発明の一実施形態による複合コンテンツ構成を示す。
【0035】
図7及び図8を参照すると、複合コンテンツ構造体(structure)704は、複数のストリーム又は複数のコンテンツタイプを含む複合コンテンツ702と構成ファイル700を含む。したがって、受信端末(又はクライアント端末)は、各々構成ファイル700,800を予め受信及び確認することによって、複合コンテンツ702,802に関する情報を識別することができる。
【0036】
図9乃至図11は、本発明の一実施形態による複合コンテンツ構成を示す。
【0037】
図9乃至図11を参照すると、複合コンテンツ902,1006,1008,1104,1106は、ストリーム又はコンテンツが伝送/受信される単位/サイズという面で、それらのストリーム及びコンテンツに従って異なることができる。
【0038】
ここで説明する複合コンテンツは、図10に示すように、複数の複合コンテンツ1006,1008の集合体として構成され、図11に示すように、複合コンテンツ1104とソースコンテンツ又はソースストリーム1106の集合体として構成され得る。
【0039】
より具体的に説明すると、構成ファイル900は、複数のストリームを含む複合コンテンツ902に関する情報を含み、受信装置は、構成ファイル900を確認して各ストリームのセマンティック構成及び役割情報を識別する。本発明の実施形態によると、構成ファイル900は、複数のストリーム、すなわち複合コンテンツ902に含まれる複合コンテンツを分類するための分類情報を含む。
【0040】
図10を参照すると、複合コンテンツ構造体1010は、階層的構造を含む。例えば、上位レベル(又は上位階層)の構成ファイル1000は、2個の下位レベルの構成ファイル1002,1004を有し、これらは、各々関連した複合コンテンツ1006,1008の分類情報を含む。複合コンテンツ構造体1010を受信すると、受信装置は、上位レベルの構成ファイル1000をまず分析し、その結果として構成ファイル1000の下位レベルに存在する構成ファイル1002,1004を識別した後に、識別した各構成ファイル1002,1004の分類情報に従って複合コンテンツ1006,1008を分類する。図10のように上位レベルの構成ファイル1000が下位レベルに構成ファイル1002,1004を有する場合、上位レベルの構成ファイル1000は、下位レベルの構成ファイル1002,1004に対する参照情報も有する。
【0041】
図11を参照すると、複合コンテンツ構造体1110は、下位階層の構成ファイル1102に関する情報とソースストリーム1106に関する情報を有する上位レベルの構成ファイル1100を含む。複合コンテンツ構造体1110を受信すると、受信装置は、構成ファイル1100を分析し、構成ファイル1100に含まれた分類情報又は参照情報に従って下位レベルの構成ファイル1102を確認して複合コンテンツ1106を処理し、あるいはソースストリーム1106の構成を直接確認してそのソースストリーム1106を処理する。
【0042】
上記したように、サービスのための情報提供及び設定/初期化のような情報を提供する構成ファイル700,800,900,1000は、メディアプレゼンテーション記述(Media Presentation Description:MPD)、マニフェスト(manifest)、構成となり得る。その他に、同一の意味又は同一の役割を有するすべての情報は、構成情報と同一の情報として判断できる。
【0043】
基本フィールド又は属性情報が本明細書で提供されるが、本発明の各実施形態で説明する構成ファイル情報は、使用環境及び/又はサービスに従って、フィールド及び属性のような付加的情報をさらに含むことができるが、本発明の範囲を制限するものではない。
【0044】
加えて、本発明では構成ファイルに含まれる情報の論理的意味を図示及び説明しているが、これは、システム及びサービス製造又は提供環境によって、XML(eXtensible Markup Language)、バイナリデータ、フォーマット化した情報構造体のような多様な情報表示構造又はフォーマットで表現できる。
【0045】
図12は、本発明の一実施形態による構成ファイルをを示す。
【0046】
図12を参照すると、構成ファイル1200は、下位レベルで、複合コンテンツ、すなわち複数のストリームに関する情報を示す要素1204を有する最上位レベルの要素1202を含む。各ストリームに関する具体的な情報は、属性(attribute)フィールド1206により識別できる。ストリーム伝送又は提供単位によって、各提供単位に関する具体的な情報は、システムまたはサービス製造及び提供環境に従って、属性フィールド1206により提供することができる。
【0047】
図12において、新たな要素又はストリームタイプ(streamType)1208は、構成ファイル1200の情報にストリームのセマンティック構成及び役割情報を提供するためにストリーム要素1204の属性フィールド1206に追加される。このストリームタイプ(streamType)1208は、該当コンテンツでの役割又は重要度、又は該当ストリーム自体の役割を表す。下記の<表1>の例のように、ストリームタイプ(streamType)1208は、該当ストリームがコンテンツ提供にメインサービスであることを示す情報を提供できる。図12に示す他の属性、すなわちタイプ、ビットレート、及びStartTimeは、本発明に直接に関係しないので、その説明を省略する。
【0048】
<表1>は、本発明の一実施形態により、該当ストリームがコンテンツのメインサービス/コンテンツストリームであるか、あるいは付加コンテンツストリームであるかを表すストリームタイプ(streamType)1208の一例を示す。
【0049】
【表1】
ストリームタイプ(streamType)1208は、<表2>の例に示すように、コンテンツストリームの役割を具体的に説明できる。<表2>は、該当ストリームが緊急メッセージサービスのためのコンテンツストリームであるか、広告のためのストリームであるか、あるいはユーザー定義によるストリームであるかを表すストリームタイプ(streamType)1208の一例を示す。
【0050】
【表2】
図13は、本発明の一実施形態によるストリームのセマンティック構成及び役割情報を提供するための構成ファイル構造体1300を示す。しかしながら、図12と異なり、図13では、ストリーム要素1204の属性フィールド1306は、“is_mainStream”属性要素1308を含む。
【0051】
図13を参照すると、“is_mainStream”要素1308により提供される情報は、図12で説明した“streamType”と同一の意味を有する。図13の“is_mainStream”要素1308の値が“真(true)”に設定されると、ストリームは提供されるサービスのメインサービス/コンテンツストリームであることを示す。他の例として、“emergency”フィールド(図示せず)が“真”に設定することで、コンテンツストリームが緊急メッセージの役割をすることを表すために使用され得る。
【0052】
複合コンテンツのセマンティック構成及び役割情報を提供するための本発明の他の実施形態によって、一つのファイル又はフォーマット化したコンテンツ格納フォーマットで複数のストリーム又は複数のコンテンツタイプを含む複合コンテンツ構造体を構成する一例について、以下に説明する。次の説明において、複数のコンテンツタイプ/ストリームを含む複合コンテンツ構造体の一例は、ISO(International Organization for Standardization)ベースのファイルフォーマットによって説明される。
【0053】
ISOベースのメディアファイルフォーマットは、ISO/IEC国際標準14496-12:2005の“Information technology-coding of audio-visual objects-part12:ISO base media file format”に定義されている。このフォーマットのファイルは、ストリームのメディアデータ及び各ストリームの再生に必要な情報を含むメタデータを含む。ISOベースのメディアファイルフォーマットの基本構成ブロックは、“ボックス(box)”と呼ばれ、このボックスは、ISOベースのメディアファイルフォーマット内のオブジェクト指向基本ビルディングブロックである。各ボックスは、ヘッダー及びペイロードを含む。ヘッダーは、ボックスのタイプとボックスのサイズをバイト単位で表す。明示された複数のボックスは、ヘッダー内にバージョンナンバー及びフラグを含む“フルボックス(full box)”構造から派生される。ボックスは、他のボックスを含むことができ、ISOファイルフォーマットは、特定タイプのボックス内で許可可能なボックスのタイプを指定する。
【0054】
ストリームのメディアデータは、オーディオ/ビデオ(A/V)ファイルとしてメディアデータ(mdat)ボックスに格納され、メタデータは、MOOVボックスに格納され、ファイルタイプはファイルタイプ(ftyp)ボックスに格納される。したがって、ISOベースのメディアファイルフォーマットは、A/Vデータ及びA/Vデータに関する詳細情報を含む複数のボックスを含む。本発明では、“ボックス”は、“データブロック”又は“コンテナ”としても呼ばれる。
【0055】
ISOベースのメディアファイルフォーマットに対するより詳細な説明は、本発明の要旨を不明にするので省略する。図14は、ISOベースのメディアファイルフォーマットに基づいた一般的なコンテンツ格納フォーマットを示す。図14に示されないが、ファイルタイプ(ftyp)ボックスは、ファイルタイプと互換性のあるファイルタイプに関する情報を含む。この互換性のあるファイルタイプは、デコーダで正常な再生が可能である。
【0056】
図14を参照すると、MOOVボックス1402のデータは、オブジェクトベースの構造体で構成され、フレームレート、ビットレート、及びイメージサイズのようなコンテンツ情報と、FF(Fast forward)/REW(rewind)のような再生機能をサポートするための同期化(sync)情報、及びmdatボックス1404に含まれたメディアファイルを再生するための詳細情報とを含む。MOOVボックス1402がA/Vデータフレームの全体数、及び各フレームのサイズに関する情報を含むため、クライアント装置は、再生時にMOOVボックス1402を分析して、mda tボックス1404に含まれたビデオデータ及びオーディオデータを提供できる。MOOVボックス1402は、mdatボックス1404にトラック単位で記録されるストリームを参照するためのトラックボックス1402a及び1402bを含む。
【0057】
mdatボックス1404は、各トラックに対応する実際ストリームデータを含み、A/Vデータは、フレーム及びサンプルのように、各データの基本単位でmdatボックス1404に格納されることができる。
【0058】
図14に示すISO/IEC14496-12標準ベースのメディアファイルフォーマットを例に挙げて説明しているが、本発明で説明する複合コンテンツ構造体は、ISO/IEC(International Electrotechnical Commission)14496-12標準ベースファイルフォーマットに使用され得る。また、この複合コンテンツ構造体は、ISO/IEC14496-12標準に基づくことでなくても、構造化されたフォーマットで構成される活用可能なすべての格納フォーマット及び記録媒体に適用可能である。
【0059】
図15及び図17は、本発明の実施形態によるコンテンツを構成するストリームのセマンティック構成及び役割情報を提供するための情報を含む格納フォーマットを示す。
【0060】
図15及び図17に示す格納フォーマット1500,1700は、各々サービスのメインコンテンツストリームと広告、緊急メッセージのような付加コンテンツストリームを一つの格納フォーマットで含む。ここで、格納フォーマットは、複合コンテンツ構造体としても呼ばれる。
【0061】
図15及び図17において、ストリームのセマンティック構成及び役割情報を提供するために、付加メディアトラック(addm)は、<表3>のように各トラックの参照情報を示す参照タイプ(reference_type)の“handler_type”として新たに定義される。
【0062】
【表3】
参照タイプ(reference_type)は、トラック参照(tref)ボックス1514b、1714に含まれる情報であり、trefボックス1514b,1714は、参照タイプ(reference_type)とトラックID(track_ID)を用いて、現在のトラックが参照する、又は参照される他のトラックとの接続に使用され得る。したがって、本発明の一実施形態による複合コンテンツ構成格納フォーマットのtrefボックスの参照タイプ(reference_type)を確認して、クライアント装置は、現在トラックが参照する、又は参照されるトラックが付加メディアトラック(addm)、すなわち、メインサービス、例えば緊急メッセージサービス及び広告以外のコンテンツを含むトラックであると判断できる。
【0063】
より具体的には、図15を参照すると、複合コンテンツ構造体格納フォーマット1500は、2個のトラック(trak)ボックス1512,1514を有するMOOVボックス1510を含み、このトラックボックス1512,1514は、それぞれmdatボックス1520に含まれるメインサービスコンテンツ1520a及び付加サービスコンテンツ1520bを指定する。トラック(trak)ボックス1512,1514は、トラックヘッダー(tkhd)ボックス1512a,1514aを各々含み、tkhdボックス1512a,1514aは、各々mdatボックス1520に含まれる関連したトラック1520a,1520bを識別するためのトラック識別子(Id)を含む。
【0064】
図15において、付加サービスコンテンツ1520bを参照する情報を含むトラック参照ボックス1514bは、付加サービスコンテンツ1520bに対応するトラック(trak)ボックス1514に含まれる。トラック参照ボックス1514bは、参照タイプ(reference_type)とトラックIDを含む。クライアント装置は、トラック参照ボックス1514bに含まれる参照タイプ(reference_type)を確認し、参照タイプ(reference_type)が“addm”として設定されると、クライアント装置は、トラックボックス1514に該当し、付加サービスコンテンツを含むトラック1520bが付加コンテンツであると判断する。
【0065】
図16は、本発明の一実施形態により、図15に示すように、複合コンテンツ格納フォーマットを受信する端末の動作方法を示すフローチャートである。
【0066】
図16を参照すると、端末は、ステップ1610において、複合コンテンツ格納フォーマット1500を受信し、ステップ1620においてMOOVボックス1510を確認する。図16に示されていないが、ファイルタイプ(ftyp)ボックス1502のような格納フォーマットで分析されるボックスを分析及び確認するプロセスは、ステップ1620以前に遂行される。端末は、ステップ1630において下位レベルのトラック(trak)ボックス1512,1514を確認し、ステップ1640においてトラック参照(tref)ボックス1514bの存在有無を確認する。トラック参照(tref)ボックス1514bを有するトラックの場合、端末は、ステップ1640においてトラック参照(tref)ボックス1514bを確認する。
【0067】
端末は、ステップ1650においてトラック参照(tref)ボックス1514bの参照タイプ(reference_type)を確認し、ステップ1660において参照タイプ(reference_type)の値が“addm”であるか否かを判定する。参照タイプ(reference_type)の値が“addm”である場合、これは、トラックが緊急メッセージサービス及び広告のようなメインサービス以外のコンテンツを含むトラックであることを示す。したがって、端末は、ステップ1670において、トラック参照(tref)ボックス1514bのtrack_IDフィールドの値を確認してメインサービスコンテンツを包含するトラックがどのトラックであるかを判定することができる。トラック(trak)ボックスを確認する以後のすべてのステップは、映像ファイルの最初のトラックから最後のトラックまで反復される。
【0068】
ボックスを確認するプロセスがすべての端末の動作説明に含まれるが、このボックスを確認する順序は必ずしも図面の順序に従うべきではない。ここで具体的に説明していないファイルフォーマットの分析プロセスとそれに関連した端末動作は、ISO/IEC14496-12標準の詳細に従う。
【0069】
図17を参照すると、複合コンテンツ構成格納フォーマット1700は、トラック(trak)ボックス1712,1716を有するMOOVボックス1710を含み、これらトラックボックス1712,1716は、各々mdatボックス1720に含まれたメインサービスコンテンツ1720a及び付加サービスコンテンツ1720bを指定する。トラック(trak)ボックス1712,1716は、各々関連したトラックヘッダー(tkhd)ボックスを含む。
【0070】
メインサービスコンテンツ1720aに対応するトラックボックス1712に含まれたトラック参照(tref)ボックス1714は、参照タイプ(reference_type)とトラック識別子(track_ID)を含む。クライアント装置は、トラック参照(tref)ボックス1714に含まれた参照タイプ(reference_type)を確認し、参照タイプ(reference_type)が“addm”として設定される場合、クライアント装置は、トラックボックス1712に対応するトラックがメインサービスコンテンツ1720aを含むトラックであると判定する。
【0071】
図18は、本発明の一実施形態により、図17に示すように、複合コンテンツ格納フォーマットを受信する端末の動作方法を示すフローチャートである。
【0072】
図18を参照すると、端末は、ステップ1810において、複合コンテンツ格納フォーマット1700を受信し、ステップ1820においてMOOVボックス1710を確認する。図18には図示していないが、ファイルタイプ(ftyp)ボックスのような格納フォーマット1700で分析されるボックスの分析及び確認プロセスは、ステップ1820以前に遂行できる。端末は、ステップ1830において下位レベルのトラック(trak)ボックス1712,1716を確認し、ステップ1840においてトラック参照(tref)ボックス1714の存在有無を確認する。トラック参照(tref)ボックス1714を有するトラックの場合、端末は、ステップ1840においてトラック参照(tref)ボックス1714を確認する。
【0073】
端末は、ステップ1850においてトラック参照(tref)ボックス1714の参照タイプ(reference_type)を確認し、ステップ1860においてその値が“addm”として設定される場合、トラックがメインサービスコンテンツ1720aを含むトラックであると判定し、端末は、ステップ1870において、トラック参照(tref)ボックス1714のtrack_IDフィールドの値を確認してメインサービスコンテンツを包含するトラックがどのトラックであるかを判定することができる。トラック(trak)ボックスを確認する以後のすべてのステップ1830は、映像ファイルの最初のトラックから最後のトラックまで反復され得る。
【0074】
ボックスを確認するプロセスがすべての端末の動作説明に含まれるが、このボックスを確認する順序は必ずしも図面の順序に従うべきではない。ここで具体的に説明していないファイルフォーマットの分析プロセスとそれに関連した端末動作は、ISO/IEC14496-12標準の詳細に従う。図19及び図20は、本発明の実施形態により、各々新たなmoovレベルのボックス及び新たなmoovレベルのメタボックスを含むボックス構成を示す。
【0075】
特に、図19及び図20は、ストリームのセマンティック構成及び役割情報を提供する複合コンテンツ格納フォーマットの新たなボックス構造体1900,2000の例を示す。新たに定義されるボックス1920,2070は、識別者を“uuid”として設定し、“uuid”のIDフィールドの値を本発明で説明する情報を含むためのボックスであることを示す特定値として設定して区分することができる。または、新たに定義されたボックス1920,2070は、固有な名前を設定して定義することができる。
【0076】
図19及び図20を参照すると、新たなボックスは、緊急メッセージサービスと広告のようなメインサービス以外のコンテンツを含むトラックの個数及び該当トラックタイプを示す情報を含むことができる。新たなボックス1920,2070は、トラックがメインストリーム、広告などを構成することを示すコンテンツ構成の具体的な意味及び役割情報を示す情報を含むように構成することができる。
【0077】
本発明で提案される方法は、ISOベースのメディアファイルフォーマットに規定されたファイルレベルのボックス、moovレベルボックス、トラックレベルボックス、moovレベルメタボックス、トラックレベルのメタボックスのような多様な形態で格納フォーマットの新たなボックスを構成できる。図15及び図17に示したようにボックスで構成されなくても、必要な情報は、フィールドで追加され得る。
【0078】
図19は、本発明の第2の実施形態により、新たなmoovレベルボックスの形態でここで説明する新たな情報を含むボックスを構成する一例を示し、図20は、本発明の第2の実施形態により、新たなmoovレベルのメタボックスの形態でここで説明する新たな情報を含むボックスを構成する一例を示す。
【0079】
図19では、MOOVボックス1910に新たに定義したuuidボックス1920が定義され、uuidボックス1920の識別子は“addm”と呼ばれる。MOOVボックス1910は、トラック(trak)ボックス1930,1940を含み、トラック(trak)ボックス1930は、mdatボックス1950でtrack_ID=1を有するメインサービスコンテンツ1950aを指定し、トラック(trak)ボックスはmdatボックス1950でtrack_ID=2を有する付加サービスコンテンツ1950bを指定する。
【0080】
uuidボックス1920は、mdatボックス1950にいくつの付加コンテンツタイプが含まれるかを示す情報として付加メディアコンテンツタイプの個数を含む。付加メディアコンテンツタイプの個数は、“付加メディアカウント”フィールドに定義される。uuidボックス1920は、付加コンテンツタイプのトラックIDを含む。
【0081】
図19において、uuidボックス1920に含まれた付加メディアカウントフィールドが1に設定される場合、一つの付加コンテンツは、mdatボックス1950に存在し、track_IDが2に設定される場合、付加コンテンツはtrack_ID=2を有する付加コンテンツである。
【0082】
図20は、uuidボックス2070をMOOVボックス2010でなくmoovレベルのメタボックス2060に含んで構成される格納フォーマット2000を示す。
図21乃至図27は、本発明の一実施形態による複合コンテンツの格納フォーマット及びメタ情報を示す。特に、図21乃至図27には、分類情報を含むメタ情報と複合コンテンツと、複合コンテンツの再生のための情報を含む複合コンテンツ格納フォーマットは別途に構成されることができ、あるいはメタ情報は複合コンテンツ格納フォーマットに含まれることができる。
【0083】
図21乃至図24は、本発明の一実施形態により、別途に構成されるメタ情報と複合コンテンツ格納フォーマットを示す。
【0084】
図21乃至図24を参照すると、メタ情報又はメタ情報ファイルは、実際コンテンツを含む複合コンテンツ格納フォーマットを指定又は参照することができる。例えば、図21で、メタ情報2102は複合コンテンツ格納フォーマット2100を指定し、図22で、メタ情報2202は複合コンテンツ格納フォーマット2200を指定し、図23で、メタ情報2302は複合コンテンツ格納フォーマット2300a,2300bを指定し、図24で、メタ情報2402は、複合コンテンツ格納フォーマット2404,2406を指定する。例えば、メタ情報又はメタ情報ファイルは、図22又は図24に示すように、具体的なストリーム又はトラック(trak)ボックスを指定又は参照するように設定することができる。
【0085】
また、メタ情報又はメタ情報ファイルは、図23及び図24に示すように、複数のコンテンツ格納フォーマットで構成された複合コンテンツの関連情報を含むことができる。
【0086】
図21乃至図24に示すようにサービスが構成される場合、端末は、メタファイルを分析してコンテンツストリームのセマンティック構成及び役割情報を確認した後、実際コンテンツ格納フォーマット、ストリーム、及び/又は各トラックを分析する。
【0087】
図25及び図26は、本発明の一実施形態による複合コンテンツ格納フォーマットに含まれるメタ情報を示す。
【0088】
特に、図25は、メタ情報ファイル2508がメタボックス2504内のXML又はバイナリXML(bXML)ボックス2506に含まれて構成される複合コンテンツ格納フォーマット2500を示す。メタボックス2504は、MOOVボックス2502と同一のレベルにある。
【0089】
図26は、メタボックス2608内にメタ情報を含む新たな“admt”ボックス2610を生成することによって、複合コンテンツ格納フォーマット2600内のメタ情報2612を示す。メタボックス2608は、MOOVボックス2602と同一のレベルにある。
【0090】
上記した複合コンテンツ格納フォーマットの新たなボックスは、ISO/IEC14496-12標準に規格化したファイルレベルボックス、moovレベルボックス、トラックレベルボックス、moovレベルメタボックス、トラックレベルメタボックスのような多様な形態で構成することができる。新たに定義されるボックスは、各々識別子を“uuid”として定義し、“uuid”のIDフィールドの値をボックスが本発明の実施形態で説明する情報を含むことを示す特定値として設定して区分することができる。または、新たに定義されたボックスは、図26に示すように、“admt”のような固有な名前を設定して定義することができる。
【0091】
図27は、本発明の一実施形態により、分類情報を含むメタ情報と別に構成される複合コンテンツ格納フォーマットを示す。特に、図27は、分類情報を含むメタ情報2706と別に構成される複合コンテンツ格納フォーマット2700を示す。しかしながら、図21乃至図24と異なり、端末は、複合コンテンツ格納フォーマット2700をまず分析する。
【0092】
この場合、外部のデータ、コンテンツ、又はデータソースに対する参照情報関連ボックスを用いて、端末は、メタ情報又はメタ情報ファイルに対する参照情報を確認することができる。図27でメタボックス2702のアイテムロケーションボックス(iloc)及び/又はアイテム情報ボックス(iinf)ボックス2704は、参照情報関連ボックスとして使用されるが、その他にもデータ情報ボックス(dinf)及び/又はデータ参照ボックス(dref)のような複合コンテンツ格納フォーマット2700に参照情報関連ボックスとして他のボックスを使用して、該当メタ情報2706又はメタ情報ファイルに対する参照情報を提供することができる。
【0093】
図25及び図26に示すように、メタ情報がコンテンツ格納フォーマット内に含まれる場合、端末は、ISO/IEC14496-12標準の内容に従って格納フォーマットを分析するプロセスを通じて、ボックスレベル及びボックス構成の順序によって順次にメタボックス、メタボックスの下位レベルのXMLまたはbXML及びメタ情報又はメタ情報ファイルを分析できる。
【0094】
次の説明において、メタ情報2508,2612が、図25及び図26に示すように、複合コンテンツ格納フォーマット2500,2600内に含まれる場合、情報は、図28の端末動作によって解析され得る。
【0095】
図28は、図25及び図26に示したように、本発明の実施形態により複合コンテンツ格納フォーマットに含まれるメタ情報を受信する端末の動作方法を示すフローチャートである。
【0096】
図28を参照すると、ステップ2810において、コンテンツ格納フォーマットを受信すると、端末は、ステップ2820においてメタボックスを確認する。ステップ2820のメタボックスを確認する以前に、端末は、ファイルタイプ(fytp)ボックスを予め確認できる。ファイルタイプ(ftyp)ボックスのブランド情報の互換性関連情報を通じて該当複合コンテンツ格納フォーマットが本発明で説明するメタ情報又はメタ情報ボックスを含むコンテンツ格納フォーマットであるか否かを確認することができる。
【0097】
端末は、ステップ2830において、メタ情報又はメタ情報ボックスを確認してメタ情報を確認し、ステップ2840において、メインメディアトラック及び付加メディアトラック又は各トラックのセマンティック構成及び役割を確認する。その後、端末は、ステップ2850とステップ2860において、moovボックス及びトラックボックスを確認することができる。
【0098】
このとき、本発明で説明するメタ情報又はメタ情報ボックスがファイルレベルボックス又は無比レベルボックス又はトラックレベルボックス又はmoovレベルメタボックス又はトラックレベルメタボックスで構成される場合、端末は、ステップ2820を遂行する代わりに、該当ボックスの上位レベルボックスを分析するステップをステップ2820の代わりに遂行することができる。例えば、本発明で説明するメタ情報又はメタ情報ボックスがmoovレベルボックスで構成される場合、端末は、格納フォーマットを受信し、該当コンテンツ格納フォーマットが本発明で説明するメタ情報又はメタ情報ボックスを含んでいるコンテンツ格納フォーマットであるかを確認した後、MOOVボックスをまず確認し、ステップ2830においてその下位レベルで構成されたメタ情報(admt)を確認することができる。
【0099】
図29は、本発明の一実施形態によるメタ情報の例を示す。
【0100】
図29を参照すると、メタ情報2900は、最上位要素としてメタ情報2900がどのコンテンツに関する情報であるかを表すためのコンテンツ要素2902を有し、各コンテンツ2902の要素の下位にはコンテンツに存在する複数のトラックに関する情報であるトラック要素2904が位置する。各トラック要素2904の場合、属性フィールド2906は、トラックID(trackID)2908とコンテンツタイプを説明する情報であるコンテンツタイプ(contentType)2910が存在する。コンテンツタイプ(contentType)2910は、<表1>の例のように、コンテンツがコンテンツ提供においてメインサービスであることを示す情報を提供できる。また。コンテンツタイプ(contentType)2910は、<表2>の例のように、該当ストリームが緊急メッセージサービスのためのコンテンツストリームであるか、広告のためのストリームであるかを示す情報を提供することができる。
【0101】
図29のトラック要素2904は、ストリーム又はコンテンツに関する情報を示す情報に代替できる。例えば、トラックがコンテンツに代替される場合、提供されるサービスは、コンテンツA、コンテンツB、及びコンテンツCを含み、コンテンツタイプ(contentType)2910の属性は、複合コンテンツを提供するコンテンツA、コンテンツB、コンテンツCの各々に対するコンテンツの意味又は 役割に対して説明する情報を提供できる。
【0102】
図30は、本発明の一実施形態により、セマンティック構成及び役割情報が論理的構成単位である“item”単位で提供されるメタ情報を示す。
【0103】
図30を参照すると、メタ情報3000は、メタ情報3000に含まれるコンテンツに関する情報を表すコンテンツ要素3002と、各コンテンツに存在するアイテムに関する情報を含むアイテム要素3004を含む。各アイテム要素3004に対して、属性フィールド3006は、参照トラック識別子(ref_trackID)3008、アイテム識別子(item_ID)3010、及びアイテム3004のタイプを説明する情報であるアイテムタイプ(item_Type)3012を有する。
【0104】
item_Type3012は、図29のcontentType2910と同一の情報を提供する属性情報である。アイテム3004は、論理的構造体である。物理的には、アイテム3004は、複数のトラック/ストリーム/コンテンツを含み、数個のアイテムは、一つのトラック/ストリーム/コンテンツを構成することができる。
【0105】
図31及び図32は、本発明の一実施形態によるメタ情報を示す。特に、図31及び図32では、メタ情報3100,3200を用いてコンテンツを提供する具体的な方法を提供することによって、コンテンツのセマンティック構成及び役割情報を提供できる。
【0106】
図31を参照すると、端末は、メタ情報3100の最上位レベル‘構成(configuration)’要素3102の下位レベルの要素であるストリーム要素3104の属性フィールド3106でis_madatory要素3108の値を確認することによって、端末は、トラック/ストリーム/コンテンツが必ず提供するように設定されたか否かを判定する。is_mandatory要素3108は、該当トラック/ストリーム/コンテンツが提供すべきであるか、あるいは付加サービスのために提供されるかを示す必須提供属性情報である。この場合、この属性情報に基づき端末は、該当トラック/ストリーム/コンテンツがメインサービスのためのものであるか、広告のような付加サービスのためのものであるかを判定できる。is_mandatory要素値、又は必須提供属性情報が“真”として設定されると、トラック/ストリーム/コンテンツがメインサービス向けであることを示す。しかしながら、is_mandatory要素の値が“偽(false)”として設定されると、トラック/ストリーム/コンテンツが付加サービス向けであることを示す。
【0107】
図32を参照すると、端末は、メタ情報3200の最上位レベルの構成要素3203の下位レベルのストリーム要素3204の属性フィールド3206の“スキップ”属性情報又は“can_skip”要素3208の値を確認して、トラック/ストリーム/コンテンツがスキップされるか否かを判定する。can_skip要素3208の値又はスキップ属性情報が“真”として設定される場合、端末は、トラック/ストリーム/コンテンツがスキップ可能な付加サービスに対応すると判定する。しかしながら、can_skip要素3208の値が“偽”として設定される場合、端末は、トラック/ストリーム/コンテンツがスキップできないメインサービスに対応すると判定する。この属性情報に基づき、端末は、該当トラック/ストリーム/コンテンツがメインサービス向けであるか、あるいは広告のような付加サービス向けであるかを判定する。
【0108】
図31及び図32のコンテンツ提供方法に関する情報は、上記した本発明の実施形態のように、構成情報及びメタ情報と一緒に付加情報としてさらに提供され得る。例えば、端末がトラック/ストリーム/コンテンツがメインサービス向けであると判定した後、該当トラック/ストリーム/コンテンツの属性フィールドcan_skipの値が“真”として設定される場合、端末は、メインサービスを中断して他のサービスを提供するなど、メインサービスのより低い優先順位を提供することができる。
【0109】
図31及び図32のコンテンツの提供方法に関する情報は、サービスコンテンツを提供するためにコンテンツ供給者又はサービス供給者の意見を反映するために使用され、あるいはサービスコンテンツを提供するのにあって端末設定又はユーザーの嗜好を反映するために使用することができる。また、この情報は、サービスコンテンツの提供にコンテンツ供給者またはサービス供給者の意見を反映する情報をさらに含むことができ、サービスコンテンツの提供のためにユーザー端末設定又はユーザーの嗜好を反映する情報をさらに含むことができる。
【0110】
また、本発明で説明するメタ情報は、コンテンツのセマンティック構成及び役割情報によってコンテンツ提供方法、コンテンツディスプレイ方法、又はコンテンツ格納方法を変更することができ、コンテンツのセマンティック構成及び役割情報によってコンテンツ提供方法、コンテンツディスプレイ方法、又はコンテンツ格納方法に関する情報をさらに提供することができる。
【0111】
コンテンツディスプレイ方法の一例で、ストリーム1及び2のデータを同時に提供するか、あるいはストリーム1の中間にストリーム2を提供するかを判定するための情報をさらに追加することもでき、本発明で説明したメタ情報に基づいてコンテンツ提供方法を決定することができる。
【0112】
コンテンツディスプレイ方法の他の例で、ビデオコンテンツの場合、<表4>に示すような詳細な情報は、レイアウト情報のための新たな属性情報を提供して提供でき、第3の実施形態で説明したメタ情報を確認してコンテンツ提供方式を決定することができる。
【0113】
【表4】
コンテンツディスプレイ方法の他の例で、オーディオコンテンツの場合、ビデオとは異なり、2個の異なるオーディオストリームが同時に再生されると、正常なオーディオサービスが提供できない。コンテンツのセマンティック構成及び役割によって広告のようなサービスが提供される間に、メインメディアのボリュームを減少したり、メインメディアをミュート(mute)したり、あるいはメインサービスのデータをスキップするような具体的なサービス提供関連の属性情報は、メタ情報として提供することができる。また、コンテンツ提供方法は、上記したコンテンツのセマンティック構成及び役割情報を含む構成情報及びメタ情報を確認して決定できる。
【0114】
さらに、受信する端末に格納されるコンテンツは、上記コンテンツのセマンティック構成及び役割情報を含む構成情報及びメタ情報によって制御できる。受信端末は、コンテンツのセマンティック構成及び役割を含む構成情報及びメタ情報を確認してサービスコンテンツを再生する提供するコンテンツ提供プロセスを遂行した後に、コンテンツのセマンティック構成及び役割を含む構成情報及びメタ情報によって、格納したコンテンツ/ストリーム/トラックを選択して格納することができる。
【0115】
例えば、複合コンテンツがメインサービスコンテンツとしてストリーム1、ストリーム2、及びストリーム3を含み、広告サービスコンテンツとしてスとリーム4、ストリーム5を含む場合、ストリーム1、ストリーム2、及びストリーム3は、メインサービスコンテンツとして受信端末の格納部に格納された後、別途のメディアファイルで構成及び管理できる。
【0116】
上記では一つのメディアファイルが伝送されるが、コンテンツのセマンティック構成及び役割を含む構成情報及びメタ情報に従って、メインサービスコンテンツを構成するストリーム1、ストリーム2、ストリーム3を含む一つのファイルと、広告サービスコンテンツを構成するストリーム4及びストリーム5を含む他のファイルは、各々別途のコンテンツファイルとして格納及び管理することができる。
【0117】
図33は、本発明の実施形態による複合コンテンツファイル送信装置を示すブロック構成図である。
【0118】
図33を参照すると、図5に示したサーバ装置500のような複合コンテンツファイル送信装置3300は、データ生成部3310、入力部3320、映像信号プロセッサ3330、エンコーダ3340、ファイル/ストリーム生成部3350、コンテンツのセマンティック構成及び役割情報生成部3360、及び送信部3370を含む。
【0119】
データ生成部3310は、映像生成装置(例えば、カメラ、カムコーダ)、音響装置、及びテキスト生成器を含むコンテンツを構成できるテキスト、ビデオ、オーディオ、グラフィック、メタデータのような加工されていないデータ(raw data)を生成する。データ生成部3310から出力されるデータは、入力部3320に入力される。入力部3320は、データ生成部3310から受信されるデータを映像信号プロセッサ3330に提供する。この映像信号プロセッサ3330は、入力部3320から出力されるデータを前処理する。前処理とは、入力された映像をアナログからデジタルに変更したり、映像データを提供するために必要な外部入力値を用いて入力データを変換するすべての動作を含むことができる。
【0120】
映像信号プロセッサ3330により前処理されるデータは、エンコーダ3340に出力される。図33に示す構成要素間にはバッファリングのための格納構成を別途に示していないが、格納構成は、生成装置、システム、及びデータ生成方法によって提供され得る。エンコーダ3340は、映像信号プロセッサ3330から提供されるデータを符号化する。エンコーダ3340の符号化動作はオプションである。さらに、必要に応じては、2個以上のエンコーダ3340が提供可能であり、それによって異なるタイプ又はサービスの等級が提供可能である。
【0121】
ファイル/ストリーム生成部3350は、エンコーダ3340により符号化されたデータから伝送フォーマット又は単位に従ってコンテンツファイル又はデータストリームを生成してコンテンツのセマンティック構成及び役割情報生成部3360に出力する。コンテンツのセマンティック構成及び役割情報生成部3360は、本発明の実施形態によるコンテンツファイルのセマンティック構成及び役割情報を生成する。複合コンテンツファイルがコンテンツファイルのセマンティック構成及び役割情報を含む場合、ファイル又はストリーム生成部3350は、コンテンツファイルのセマンティック構成及び役割情報を生成することができる。コンテンツファイルのセマンティック構成及び役割情報は、別途のデータ生成部により生成され、ファイル/ストリーム生成部3350により生成されたファイルの伝送時に、受信端末に伝送することができる。
【0122】
コンテンツのセマンティック構成及び役割情報生成部3360は、本発明の実施形態による複合コンテンツに含まれた各コンテンツの関係及び役割に関する情報を生成する。コンテンツの関係及び役割に関する情報は、各コンテンツを分類するための分類情報に含まれる。データ生成部3310、入力部3320、映像信号プロセッサ3330、エンコーダ3340、ファイル/ストリーム生成部3350、及びコンテンツのセマンティック構成及び役割情報生成部3360は、図5に示すようにデータプロセッサ502に含まれる。
【0123】
図34は、本発明の実施形態による複合コンテンツファイル受信装置を示すブロック構成図である。
【0124】
図34を参照すると、クライアント装置600のような複合コンテンツファイル受信装置3400は、図6に示したように、サーバから複合コンテンツファイルを受信する受信部3410、コンテンツのセマンティック構成及び役割情報分析部3420、ファイル/ストリーム分析部3430、デコーダ3440、再生部3450、及びディスプレイ分3460を含む。コンテンツのセマンティック構成及び役割情報分析部3420は、図33のコンテンツファイルのセマンティック構成及び役割情報生成部3360により生成された情報を受信して分析する。ファイル/ストリーム分析部3430は、図33のファイル/ストリーム生成部3350から受信され、それによって生成されたファイルを分析する。
【0125】
複合コンテンツファイルがコンテンツファイルのセマンティック構成及び役割情報を含むように構成される場合、ファイル/ストリーム分析部3430は、コンテンツのセマンティック構成及び役割情報のプロセスを含むことができる。デコーダ3440は、ファイル/ストリーム分析部3430により分析され抽出されたコンテンツのデータを復号化する。復号化プロセスは、コンテンツファイル生成装置3300がエンコーダ3340を用いてファイル/ストリームを符号化した場合に遂行される。一つ以上のエンコーダにより符号化されたデータは、それぞれのデコーダを通じて復号化され、システム又は端末に従って選択的データの復号化が可能である。それによって、多様なタイプ/等級のサービス提供が可能である。
【0126】
図34に別途の格納部を示していないが、データをバッファリング又は格納する格納部は、図34示す構成要素間に提供され得る。
【0127】
再生部3450は、デコーダ3440から提供されるデータをコンテンツのセマンティック構成及び役割情報分析部3420及びファイル/ストリーム分析部3430により分析した情報に基づいて再生する。ディスプレイ部3460は、再生部3450により再生されるコンテンツをディスプレイする。このディスプレイ分3460は、物理的出力装置を通じて実際データが出力されてユーザーに提供される最終出力装置を意味する。コンテンツのセマンティック構成及び役割情報分析部3420、ファイル/ストリーム分析部3430、デコーダ3440、及び再生部3450は、図6に示すようにプロセッサ604に含まれ得る。
【0128】
複合コンテンツに含まれた各コンテンツを分類するための情報は、‘分類情報’と呼ばれる。例えば、分類情報は、stream_type、is_mainStream、トラック参照(tref)ボックスに含まれるreference_type及びtrack_ID、メタボックス又はメタデータに含まれる付加メディアカウントとtrack_ID、content_type、item_Type、is_mandatory、及びcan_skipを含むことができる。
【0129】
上記した本発明の実施形態の詳細は、システム又はサービス環境によって変形できる。例えば、リアルタイムサービスが可能なサービス格納フォーマット構成情報を確認すると、端末は、現在端末で受信されず、未来に提供される広告が付加メディアトラックのデータで受信されると判断できる。リアルタイムでサービスが提供される場合又は予定されない緊急メッセージが提供される場合、本発明で説明するコンテンツのセマンティック構成及び役割情報を提供するために、設定情報をアップデートして伝送し、あるいは設定情報を再伝送及び再受信するプロセスを遂行することができる。
【0130】
以上、本発明の詳細な説明においては具体的な実施形態に関して説明したが、特許請求の範囲の記載及びこれと均等なものに基づいて定められる本発明の範囲及び趣旨を逸脱することなく、形式や細部の様々な変更が可能であることは、当該技術分野における通常の知識を持つ者には明らかである。
【特許請求の範囲】
【請求項1】
コンテンツ再生装置における複数のコンテンツを含む複合コンテンツを再生する方法であって、
サーバから前記複合コンテンツ及び前記複合コンテンツに対応する分類情報を受信するステップと、
前記分類情報に従って前記複数のコンテンツを分類するステップと、
前記分類された複数のコンテンツに基づいて前記複合コンテンツを再生するステップと、
を有することを特徴とする方法。
【請求項2】
前記分類情報を受信するステップは、
構成ファイル、MOOVボックス、メタボックス、及びメタ情報のうち少なくとも一つから前記分類情報を獲得するステップであることを特徴とする請求項1に記載の方法。
【請求項3】
複数のコンテンツを含む複合コンテンツを送信する方法であって、
前記複数のコンテンツを含む複合コンテンツを生成するステップと、
前記複数のコンテンツに対する構成情報を識別するステップと
前記複数のコンテンツに対する前記構成情報に基づき、前記複合コンテンツに対応する分類情報を生成するステップと、
前記複合コンテンツ及び前記複合コンテンツに対応する分類情報を受信装置に送信するステップと、
を有することを特徴とする方法。
【請求項4】
前記分類情報を送信するステップは、
構成ファイル、MOOVボックス、メタボックス、及びメタ情報のうち少なくとも一つを用いて前記分類情報を提供するステップであることを特徴とする請求項3に記載の方法。
【請求項5】
複数のコンテンツを含む複合コンテンツを再生する装置であって、
サーバから前記複合コンテンツ及び前記複合コンテンツに対応する分類情報を受信する受信器と、
前記分類情報に従って前記複数のコンテンツを分類するプロセッサと、
前記分類された複数のコンテンツに基づいて前記複合コンテンツを再生する再生部と、
を含むことを特徴とする装置。
【請求項6】
前記分類情報は、
構成ファイル、MOOVボックス、メタボックス、及びメタ情報のうち少なくとも一つを含むことを特徴とする請求項5に記載の装置。
【請求項7】
前記構成ファイルは、下位レベルの属性に含まれたストリームタイプ情報を含むことを特徴とする請求項2に記載の方法、請求項6に記載の装置。
【請求項8】
前記MOOVボックスは、複数のトラック(trak)ボックスのうちいずれか一つに含まれるトラック参照(tref)ボックスに含まれた参照タイプとトラック識別子を含むことを特徴とする請求項2に記載の方法、請求項6に記載の装置。
【請求項9】
前記MOOVボックスは、前記複数のコンテンツに含まれた付加サービスコンテンツタイプの個数と前記複数のコンテンツ各々を識別するためのトラック識別子を含むことを特徴とする請求項2に記載の方法、請求項6に記載の装置。
【請求項10】
前記メタボックスは、
前記複数のコンテンツに含まれた付加サービスコンテンツタイプの個数と前記複数のコンテンツ各々を識別するためのトラック識別子を含むことを特徴とする請求項2に記載の方法、請求項6に記載の装置。
【請求項11】
複数のコンテンツを含む複合コンテンツを送信する装置であって、
前記複数のコンテンツを含む複合コンテンツを生成し、前記複数のコンテンツに対する構成情報を識別し、前記複数のコンテンツに対する前記構成情報に基づき、前記複合コンテンツに対応する分類情報を生成するデータプロセッサと、
前記複合コンテンツ及び前記複合コンテンツに対応する分類情報を受信装置に送信する送信部と、
を含むことを特徴とする装置。
【請求項12】
前記分類情報は、
構成ファイル、MOOVボックス、メタボックス、及びメタ情報のうち少なくとも一つを含むことを特徴とする請求項11に記載の装置。
【請求項13】
前記構成ファイルは、下位レベルの属性フィールドに含まれるストリームタイプ情報を含むことを特徴とする請求項4に記載の方法、請求項12に記載の装置。
【請求項14】
前記MOOVボックスは、
複数のトラック(trak)ボックスのうちいずれか一つに含まれるトラック参照(tref)ボックスに含まれた参照タイプとトラック識別子を含むことを特徴とする請求項4に記載の方法、請求項12に記載の装置。
【請求項15】
前記MOOVボックスは、
前記複数のコンテンツに含まれた付加サービスコンテンツタイプの個数と前記複数のコンテンツ各々を識別するためのトラック識別子を含むことを特徴とする請求項4に記載の方法、請求項12に記載の装置。
【請求項16】
前記メタボックスは、
前記複数のコンテンツに含まれた付加サービスコンテンツタイプの個数と前記複数のコンテンツのそれぞれを識別するためのトラック識別子を含むことを特徴とする請求項4に記載の方法、請求項12に記載の装置。
【請求項17】
前記分類情報は、
前記複数のコンテンツの中からの提供を必要とするコンテンツを識別するための必須提供属性情報を含むことを特徴とする請求項2に記載の方法、請求項4に記載の方法、請求項6に記載の装置、請求項12に記載の装置。
【請求項18】
前記分類情報は、
前記複数のコンテンツの中からユーザーによりスキップされるコンテンツを識別するためのスキップ属性情報を含むことを特徴とする請求項2に記載の方法、請求項4に記載の方法、請求項6に記載の装置、請求項12に記載の装置。
【請求項1】
コンテンツ再生装置における複数のコンテンツを含む複合コンテンツを再生する方法であって、
サーバから前記複合コンテンツ及び前記複合コンテンツに対応する分類情報を受信するステップと、
前記分類情報に従って前記複数のコンテンツを分類するステップと、
前記分類された複数のコンテンツに基づいて前記複合コンテンツを再生するステップと、
を有することを特徴とする方法。
【請求項2】
前記分類情報を受信するステップは、
構成ファイル、MOOVボックス、メタボックス、及びメタ情報のうち少なくとも一つから前記分類情報を獲得するステップであることを特徴とする請求項1に記載の方法。
【請求項3】
複数のコンテンツを含む複合コンテンツを送信する方法であって、
前記複数のコンテンツを含む複合コンテンツを生成するステップと、
前記複数のコンテンツに対する構成情報を識別するステップと
前記複数のコンテンツに対する前記構成情報に基づき、前記複合コンテンツに対応する分類情報を生成するステップと、
前記複合コンテンツ及び前記複合コンテンツに対応する分類情報を受信装置に送信するステップと、
を有することを特徴とする方法。
【請求項4】
前記分類情報を送信するステップは、
構成ファイル、MOOVボックス、メタボックス、及びメタ情報のうち少なくとも一つを用いて前記分類情報を提供するステップであることを特徴とする請求項3に記載の方法。
【請求項5】
複数のコンテンツを含む複合コンテンツを再生する装置であって、
サーバから前記複合コンテンツ及び前記複合コンテンツに対応する分類情報を受信する受信器と、
前記分類情報に従って前記複数のコンテンツを分類するプロセッサと、
前記分類された複数のコンテンツに基づいて前記複合コンテンツを再生する再生部と、
を含むことを特徴とする装置。
【請求項6】
前記分類情報は、
構成ファイル、MOOVボックス、メタボックス、及びメタ情報のうち少なくとも一つを含むことを特徴とする請求項5に記載の装置。
【請求項7】
前記構成ファイルは、下位レベルの属性に含まれたストリームタイプ情報を含むことを特徴とする請求項2に記載の方法、請求項6に記載の装置。
【請求項8】
前記MOOVボックスは、複数のトラック(trak)ボックスのうちいずれか一つに含まれるトラック参照(tref)ボックスに含まれた参照タイプとトラック識別子を含むことを特徴とする請求項2に記載の方法、請求項6に記載の装置。
【請求項9】
前記MOOVボックスは、前記複数のコンテンツに含まれた付加サービスコンテンツタイプの個数と前記複数のコンテンツ各々を識別するためのトラック識別子を含むことを特徴とする請求項2に記載の方法、請求項6に記載の装置。
【請求項10】
前記メタボックスは、
前記複数のコンテンツに含まれた付加サービスコンテンツタイプの個数と前記複数のコンテンツ各々を識別するためのトラック識別子を含むことを特徴とする請求項2に記載の方法、請求項6に記載の装置。
【請求項11】
複数のコンテンツを含む複合コンテンツを送信する装置であって、
前記複数のコンテンツを含む複合コンテンツを生成し、前記複数のコンテンツに対する構成情報を識別し、前記複数のコンテンツに対する前記構成情報に基づき、前記複合コンテンツに対応する分類情報を生成するデータプロセッサと、
前記複合コンテンツ及び前記複合コンテンツに対応する分類情報を受信装置に送信する送信部と、
を含むことを特徴とする装置。
【請求項12】
前記分類情報は、
構成ファイル、MOOVボックス、メタボックス、及びメタ情報のうち少なくとも一つを含むことを特徴とする請求項11に記載の装置。
【請求項13】
前記構成ファイルは、下位レベルの属性フィールドに含まれるストリームタイプ情報を含むことを特徴とする請求項4に記載の方法、請求項12に記載の装置。
【請求項14】
前記MOOVボックスは、
複数のトラック(trak)ボックスのうちいずれか一つに含まれるトラック参照(tref)ボックスに含まれた参照タイプとトラック識別子を含むことを特徴とする請求項4に記載の方法、請求項12に記載の装置。
【請求項15】
前記MOOVボックスは、
前記複数のコンテンツに含まれた付加サービスコンテンツタイプの個数と前記複数のコンテンツ各々を識別するためのトラック識別子を含むことを特徴とする請求項4に記載の方法、請求項12に記載の装置。
【請求項16】
前記メタボックスは、
前記複数のコンテンツに含まれた付加サービスコンテンツタイプの個数と前記複数のコンテンツのそれぞれを識別するためのトラック識別子を含むことを特徴とする請求項4に記載の方法、請求項12に記載の装置。
【請求項17】
前記分類情報は、
前記複数のコンテンツの中からの提供を必要とするコンテンツを識別するための必須提供属性情報を含むことを特徴とする請求項2に記載の方法、請求項4に記載の方法、請求項6に記載の装置、請求項12に記載の装置。
【請求項18】
前記分類情報は、
前記複数のコンテンツの中からユーザーによりスキップされるコンテンツを識別するためのスキップ属性情報を含むことを特徴とする請求項2に記載の方法、請求項4に記載の方法、請求項6に記載の装置、請求項12に記載の装置。
【図1】
【図2】
【図3】
【図4】
【図5】
【図6】
【図7】
【図8】
【図9】
【図10】
【図11】
【図12】
【図13】
【図14】
【図15】
【図16】
【図17】
【図18】
【図19】
【図20】
【図21】
【図22】
【図23】
【図24】
【図25】
【図26】
【図27】
【図28】
【図29】
【図30】
【図31】
【図32】
【図33】
【図34】
【図2】
【図3】
【図4】
【図5】
【図6】
【図7】
【図8】
【図9】
【図10】
【図11】
【図12】
【図13】
【図14】
【図15】
【図16】
【図17】
【図18】
【図19】
【図20】
【図21】
【図22】
【図23】
【図24】
【図25】
【図26】
【図27】
【図28】
【図29】
【図30】
【図31】
【図32】
【図33】
【図34】
【公表番号】特表2013−521739(P2013−521739A)
【公表日】平成25年6月10日(2013.6.10)
【国際特許分類】
【出願番号】特願2012−556966(P2012−556966)
【出願日】平成23年3月7日(2011.3.7)
【国際出願番号】PCT/KR2011/001560
【国際公開番号】WO2011/108908
【国際公開日】平成23年9月9日(2011.9.9)
【出願人】(503447036)サムスン エレクトロニクス カンパニー リミテッド (2,221)
【Fターム(参考)】
【公表日】平成25年6月10日(2013.6.10)
【国際特許分類】
【出願日】平成23年3月7日(2011.3.7)
【国際出願番号】PCT/KR2011/001560
【国際公開番号】WO2011/108908
【国際公開日】平成23年9月9日(2011.9.9)
【出願人】(503447036)サムスン エレクトロニクス カンパニー リミテッド (2,221)
【Fターム(参考)】
[ Back to top ]