メディア資源に応じてサービス品質をサポートするためのマルチメディア・コンテンツの様式変換方法および装置
本発明は、メディア資源に応じてマルチメディア・コンテンツのサービス品質（ＱｏＳ）をサポートするための様式変換に関するものであって、マルチメディア・コンテンツの様式変換特性が記述された様式変換記述子を受け取る段階と、前記マルチメディア・コンテンツを受け取る段階と、マルチメディア・コンテンツをメディア資源および様式変換記述子により定められた様式に変換する段階と、を具備する。本発明によれば、様式間の変換境界が定量的に計算されるように重畳コンテンツ値モデルを設計するための体系的なアプローチを提供することによって、各様式間の前記変換境界を定量的に計算することができる。その結果、一つのモデルで多様な様式の相関関係を確立でき、最適のＱｏＳをサポートする様式変換をすることが可能になる。
【発明の詳細な説明】
【技術分野】
【０００１】
本発明は、メディア資源に応じてサービス品質をサポートするためのマルチメディア・コンテンツの様式(modality)変換方法および装置に関し、特にユビキタスコンピューティング環境で使用されるマルチメディア・コンテンツのサービス品質をサポートするためのマルチメディア・コンテンツの様式変換に関する。
【背景技術】
【０００２】
ある端末機が同じ種類映像のコンテンツ資源をサポートするのではなく、汎用マルチメディアに接続してこれを使用することが、マルチメディア通信において新たな傾向となっている。汎用マルチメディア接続（ＵＭＡ:Universal Multimedia Access）のシステムにおいて、コンテンツの適合性変換は、利用者に対しサービス品質(ＱｏＳ)をサポートするための最も重要な手続きである。前記コンテンツ適合性変換には、二つの側面が考えられる。一つは、様式を変換しないで、コンテンツのビット率(または質)を変化させるコンテンツ・トランスコーディング(transcoding)であり、もう一つは、ある様式(例、映像)から別の様式(例、静止画像)へコンテンツを変換する様式変換である。
【０００３】
コンテンツ値(またはコンテンツ品質)と資源間の相対的な相関関係を表すコンテンツ値モデル(またはコンテンツ値曲線)は、最近いくつかの研究を通じて議論されてきた。１９９９年１０月に、S.Chandra, C.S.Ellisにより、2nd Symp.Internet Technologies and Systemsに発表された“JPEG compression metric as a quality aware image transcoding”という論文、また、S. Chandra, C. S. Ellisによる“JPEG compression metric as a quality aware image transcoding, 2nd Symp. Internet Technologies and Systems, Boulder, CO:USENIX, Oct. 1999”という論文で、ＪＰＥＧ画像に特定した品質測定に関する広範囲な研究が、資源の量と密接に関連する圧縮率に基づき行われている。1999年3月に、Rakesh Mohan, John R. Smith, Chung-Sheng LiによりIEEE Trans. Multimedia, Vol. 1、No. 1, pp. 104-114に発表された論文“Adapting Multimedia Internet Content for Universal Access, IEEE Trans. Multimedia, Vol. 1, No. 1, pp. 104-114, Mar. 1999”で、コンテンツ表現の設計が互いに異なる様式を持つコンテンツ・バージョンを含むとき、コンテンツ値と資源との相関関係が単調凹関数(single concave function)により表現されることが議論されている。しかし、前記凹関数では互いに異なる様式においてコンテンツ値の相関関係が適切に表現されない。
【０００４】
現在、ＱｏＳのための大部分のコンテンツ値は、特定の様式に対して各々計算しなければならない。これは各々の様式自体がその特性を持っており、互いに異なる様式の質が互いに異なる次元で測定されるかも知れないからである。しかし、様式変換とコンテンツ・スケーリング(contents scaling)を容易にするための体系的な方法で互いに異なる様式のコンテンツ値を組み合わせる必要がある。
【０００５】
直観的には、コンテンツのいくつかの資源に関する特性、すなわち制約条件が与えられれば、サービス提供者は利用者にできるだけ最良のサービス品質を提供するまで資源特性に合うようにコンテンツを(ダウン)スケーリングする。しかし、場合によってはスケールされたコンテンツの品質が利用者に適さないことがある。この場合、上記の問題を解決する策は、別の様式にコンテンツを変換することである。例えば、帯域幅が非常に狭い場合、一連の異なる画像を伝送する方が低画質のビデオをストリーミングして伝送するよりも適することがある。このような方法が、映像から画像への様式の変換の典型的な例である。
【０００６】
ＱｏＳの観点からみたとき、様式変換で最も重要な懸案は「どの資源特性が、現在の様式が別の様式へと変換されることを要求しているのか？」である。様式変換をサポートする現在のシステムの大部分は、単に端末機が特定の様式をサポートしない場合にだけ機能する。しかし、端末機が様式をサポートするが資源が制限されているときには、従来のいかなる発明も、最良のＱｏＳを保障する様式変換に対する体系的な解決策を提供してこなかった。本発明は、様式のＱｏＳに基づいた上記解決策のための、様式変換の境界を探す方法を提供する。
【発明の開示】
【０００７】
したがって、本発明の目的は、多様なコンテンツ環境およびデバイス環境において同じ様式のみならず異なる様式でも、ＱｏＳの観点から最良のＱｏＳを保障する様式変換の時点及び方法を提供することにある。
【０００８】
このような目的と関連して、本発明は(1)互いに異なるコンテンツ様式のスケール因子を使用して、ＱｏＳのための重畳コンテンツ値モデル(overlap content value model)を設計する方法と、(2)様式変換の自動化のための拡張されたマークアップ言語（ＸＭＬ)への様式変換のＱｏＳの記述と、を提案する。
【０００９】
本発明は、メディア資源に応じてマルチメディア・コンテンツのサービス品質をサポートするための様式変換方法であって、前記マルチメディア・コンテンツの様式変換特性が記述された様式変換記述子を受け取る段階と、該マルチメディア・コンテンツを受け取る段階と、メディア資源および前記様式変換記述子により定められた様式へ、前記マルチメディア・コンテンツの様式を変換する段階と、を具備する。
【００１０】
前記様式変換記述子は、マルチメディア・コンテンツの各様式に対するコンテンツ値曲線及びスケール因子を記述する。各コンテンツ値曲線は、２以上の相異なる品質タイプ(quality type)で測定されたコンテンツ値曲線との組み合わせにより得られる。
【００１１】
好ましくは、前記様式変換の段階は、各々の様式に対する前記コンテンツ値曲線及びスケール因子を用いて変換境界(conversion boundaries)を得る段階と、前記変換境界を利用して、前記メディア資源に対する最適の様式を判定する段階と、判定された最適の様式にマルチメディア・コンテンツを変換する段階と、を含む。
【００１２】
また、本発明は、メディア資源に応じてマルチメディア・コンテンツのＱｏＳをサポートするための、前記マルチメディア・コンテンツの様式変換装置であって、マルチメディア・コンテンツの様式変換特性が記述された様式変換記述子を受け取る手段と、前記マルチメディア・コンテンツの様式を、メディア資源および前記様式変換記述子により定められた様式に変換する手段と、を具備する。
【００１３】
本発明で提案されるアプローチは、ＱｏＳをサポートするためのコンテンツ値と資源と間の相関関係を表す重畳コンテンツ値モデルと、前記重畳コンテンツ値モデルの設計とによって構成される。本発明においてマルチメディア・コンテンツは、異質なネットワーク環境から送られ、多様な端末機で使用される。先にＱｏＳを保障するためのマルチメディア・コンテンツの様式変換特性が記述されたデータ記述構造が受け取られる。次に、前記マルチメディア・コンテンツの様式が、入力されたデータ記述構造に従って、ＱｏＳを提供するための様式に変換される。
【００１４】
好ましくは、前記マルチメディア・コンテンツの様式が前記入力されたデータ記述構造に従ってＱｏＳを提供するために変換されるとき、該マルチメディア・コンテンツの様式は異なるコンテンツ様式間の変換境界を利用して変換される。異なるコンテンツ様式間の変換境界を利用してコンテンツの様式を変換する段階は、(Ａ)コンテンツ値と資源との間の相関関係を表す各様式のコンテンツ値曲線(様式曲線)を探す段階と、(Ｂ)各様式の重要性を表す各様式のスケール因子(scale factor)を探す段階と、(Ｃ)前記スケール因子に従って、前記各様式曲線を一つの重畳コンテンツ値モデルに写像する段階と、(Ｄ)前記重畳コンテンツ値モデルにおける前記様式曲線の交点である変換境界を得る段階と、(Ｅ)前記得られた様式変換境界を利用して現在の様式を別の様式に変換して、制約条件下でＱｏＳをサポートする段階と、を含んでいる。
【００１５】
コンテンツ値と資源との間の相関関係を表す各様式のコンテンツ値曲線(様式曲線)を探す段階において、コンテンツ値は別の品質（ＰＳＮＲ、ＭＯＳ等）で測定され得る。コンテンツ値が多数の資源形態と関連があるとき、前記様式曲線は様式曲面に変更される。
【００１６】
各様式の重要性を表す各様式のスケール因子を探す段階において、該スケール因子はコンテンツ生成者又は提供者によって自動又は手動で提供される。スケール因子に従って各様式曲線を一つの重畳コンテンツ値モデルに写像する段階において、前記コンテンツ値は別の品質形態で測定された値との組み合わせから得られる。
【発明を実施するための最良の形態】
【００１７】
以下、添付した図面を参照しながら、本発明の実施例を詳細に説明する。図面において、同一の参照符号は同一または類似の構成要素または信号を示すものとして用いられる。
図1は本発明の一実施例によるマルチメディア・コンテンツの様式変換装置のブロック図である。マルチメディア・コンテンツおよび様式変換記述子受信部１０２は、ネットワークを介してマルチメディア・コンテンツとこのマルチメディア・コンテンツの様式変換記述子とを受信して、その受信したマルチメディア・コンテンツ及び記述子を、様式変換記述子抽出部１０４及びマルチメディア・コンテンツ様式変換部１０８に提供する。前記様式変換記述子抽出部１０４は入力されるマルチメディア・コンテンツの様式変換記述子を抽出して、該様式変換記述子を前記マルチメディア・コンテンツ様式変換部１０８に提供する。メディア資源情報提供部１０６は、マルチメディア・コンテンツの提供と関連し且つネットワークまたは端末機により付与される制限条件を、前記マルチメディア・コンテンツ様式変換部１０８に提供する。該マルチメディア・コンテンツ様式変換部１０８は、様式変換記述子及びメディア資源情報によって提供されたメディア資源に対する最適の様式を判定し、前記マルチメディア・コンテンツの様式を前記最適の様式に変換する。新たな様式に変換されたマルチメディア・コンテンツは、出力部１１０を介してネットワークまたは端末機に提供される。
【００１８】
本発明により提案される重畳コンテンツ値モデルは、コンテンツ値、資源、及び様式間の相関関係を表すことができる。各コンテンツは、異なるコンテンツ様式に従ってコンテンツ値を表す前記重畳コンテンツ値モデルと共に表現されることができる。
【００１９】
図２は、映像様式を有するコンテンツについてのコンテンツ値モデルの例を示している。図２において、各様式のコンテンツ値曲線は、コンテンツ提供者や著作者によって、又は端末機での計算を通じて割り当てることができる。
【００２０】
図３は、本発明によるコンテンツ項目(content items)の最終的なコンテンツ値関数の概念図である。様式曲線の交点は、図３の点線によって示されるように様式間の変換境界を表す。この変換境界に基づいて、様式変換を、許される最大限のＱｏＳを維持するように定量的に決定することができる。本発明は多様なコンテンツ様式を図３に示す重畳モデルで表現して、ＱｏＳに基づく様式変換点を決定する方法を含んでいる。
【００２１】
単一の様式曲線はコンテンツ・スケーラー(content scaler)により導入されたコンテンツ・スケーリング演算(content scaling operation)により形成される。例えば、映像コンテンツは、空間解像度、時間解像度、及び一ピクセル毎の符号化ビット(coded bits per pixel)を考慮して、特定の資源特性に合わせるためにスケーリングされる。このような単一のコンテンツ・モデルから重畳コンテンツ・モデルを形成するために、各々の様式を含む一つの曲線を一つの重畳コンテンツ・モデル上で作らなければならない。
【００２２】
コンテンツiの様式jについてのコンテンツ値曲線をVMijとする。ここでj=1…Jiであり、Jiは前記コンテンツiが取れる様式の数を意味する。また、すべてのj=1…Jiに対してVMij≧０を満さなければならず、j=1はコンテンツのオリジナルの様式を表す指標(index)である。このとき、コンテンツiに対するコンテンツ値関数は次の数1のように表される。
【００２３】
【数１】
数1でwijはコンテンツiの様式jのためのスケール因子を表す。数1で提示したように一つのモデルで異なる様式を組み合わせるためには、コンテンツ著作者や提供者が各様式に適切なスケール因子wijを自動または手動で割り当てることによって、異なる形式のコンテンツ値がそれらの相対的な重要度を反映して、共通したコンテンツ値に対する共通の尺度を有さなければならない。
【００２４】
更に、一つの様式のための前記コンテンツ値曲線は多様な品質に応じて測定されることもある。例えば、映像様式はＰＳＮＲ又はＭＯＳの計算により、コンテンツ値曲線を各々得ることができる。したがって、特定の品質で測定されたコンテンツ値曲線を表すために「品質曲線(quality curve)」という用語が使用される。その結果、一つの様式曲線(modality curve)は多様な品質曲線で構成されることができる。
【００２５】
【数２】
数２でVMkijはコンテンツの品質タイプkに応じて測定された品質曲線を意味する。また、zkはＱｏＳを保障するための、品質タイプkのスケール因子である。図４は様式曲線を求める例を示すグラフであって、異なる測定コンテンツ値（ＰＳＮＲ及びＭＯＳ）を各々有する二つの品質曲線から一つの様式曲線を形成する過程を表している。前記スケール因子zkは異なって測定されたコンテンツ値を一つの様式曲線に組み合わせるためのパラメーターであって、ＱｏＳスケジュールに従ってコンテンツ提供者によってあらかじめ提供されること、または自動的に計算されることが可能である。
【００２６】
一方、コンテンツが多様な資源と関連しているとき、様式曲線は多次元空間で「様式面」になる。更に、本発明で提示した上記方法は多くの資源に対する考慮に関係なく適用可能で、且つ有用である。まとめると、ＱｏＳのための様式変換において、重畳コンテンツ値モデルの分析的な特性は次のように要約される。
（１）モデルは多様な様式曲線を含んでいる。
（２）最終的なコンテンツ値関数は、重畳モデルの上位部分で構成される。
（３）各様式曲線は一つまたはそれ以上のコンテンツ・スケーリング操作で構成される。
（４）各様式曲線は減少しない特性を有し、資源の数が増大するとき増加しない。
【００２７】
全体の様式変換過程を要約すれば、図５のフロー図に示す通りである。ステップ１０及び１１において、多様な測定方法を用い、品質曲線がn個の様式について計算される。ステップ２０及び２１において、各様式について計算された品質曲線は、数２を利用して、品質タイプに依存するスケール因子に基づいて、一つの様式曲線に組み合わされる。この場合、結果としてn個の様式曲線がステップ３０及び３１で得られる。各様式についてのスケール因子を概算した後に、ステップ４０において、一つの重畳コンテンツ値モデルを形成するために、各様式曲線は求めたスケール因子に基づき一つのモデルに写像される。コンテンツに対する一つの重畳コンテンツ値モデル（ステップ５０）において、様式曲線の交点をステップ６０で探すことができる。最終的に得られた様式変換境界を用いることによって、現在の様式がどの様な制約条件下でＱｏＳをサポートした状態で別の様式に変換されるべきであるかについての答えを求めることができる（ステップ７０）。
【００２８】
このシステムにおいて前記重畳コンテンツ・モデルを作るにあたって、使用されるパラメーターを表現するメタデータ情報は、拡張されたマークアップ言語（ＸＭＬ）のような構造化された形態で表現される必要がある。表1は本発明で提案した様式変換のＱｏＳ技術をＸＭＬ形式で表現したものである。
【００２９】
【表１】
表１で「Modality Curve Type」のセマンティックス(semantics)は次の表２のように定義される。
【００３０】
【表２】
前述した実施例は、本発明を当業者が容易に理解できるようにするためのもので、本発明の権利範囲を限定するものではない。当業者は前述した実施例に対して多様な変形や変更が可能であることに注目しなければならない。本発明の権利範囲は原則的に後述する請求の範囲によって定められる。
【産業上の利用可能性】
【００３１】
本発明の構成によれば、様式間の変換境界が定量的に計算されるように、重畳コンテンツ値モデルを設計するための体系的なアプローチが提供される。その結果、一つのモデルで多様な様式間の相関関係を確立することができ、最適のＱｏＳをサポートする様式変換を可能とする。さらに、本発明は、様式変換及びコンテンツ・スケーリングに対する正確な決定のための基礎として用いられることによって、ＵＭＡを効果的に達成できるようにする。
【図面の簡単な説明】
【００３２】
【図１】本発明の一実施例に従ったマルチメディア・コンテンツの様式変換装置のブロック図。
【図２】本発明に従ったコンテンツ項目の重畳コンテンツ値モデルの概念図。
【図３】本発明に従ったコンテンツ項目の最終コンテンツ値関数の概念図。
【図４】映像コンテンツ様式についての二つの品質曲線から一つの最終様式曲線への構成(写像)を示す概念図であり、（ａ）は、極大Ｓ／Ｎ比(ＰＳＮＲ: Peak Signal to Noise Ratio)で測定された品質曲線を示すグラフであり、（ｂ）は、平均見解得点(ＭＯＳ: Mean Opinion Score)で測定された品質曲線を示すグラフであり、（ｃ）は、各スケール因子が1である場合の重ね合わされた１つの最終モダリティ曲線を示すグラフ。
【図５】ＱｏＳをサポートするコンテンツ様式の変換処理を説明するフロー図。
【技術分野】
【０００１】
本発明は、メディア資源に応じてサービス品質をサポートするためのマルチメディア・コンテンツの様式(modality)変換方法および装置に関し、特にユビキタスコンピューティング環境で使用されるマルチメディア・コンテンツのサービス品質をサポートするためのマルチメディア・コンテンツの様式変換に関する。
【背景技術】
【０００２】
ある端末機が同じ種類映像のコンテンツ資源をサポートするのではなく、汎用マルチメディアに接続してこれを使用することが、マルチメディア通信において新たな傾向となっている。汎用マルチメディア接続（ＵＭＡ:Universal Multimedia Access）のシステムにおいて、コンテンツの適合性変換は、利用者に対しサービス品質(ＱｏＳ)をサポートするための最も重要な手続きである。前記コンテンツ適合性変換には、二つの側面が考えられる。一つは、様式を変換しないで、コンテンツのビット率(または質)を変化させるコンテンツ・トランスコーディング(transcoding)であり、もう一つは、ある様式(例、映像)から別の様式(例、静止画像)へコンテンツを変換する様式変換である。
【０００３】
コンテンツ値(またはコンテンツ品質)と資源間の相対的な相関関係を表すコンテンツ値モデル(またはコンテンツ値曲線)は、最近いくつかの研究を通じて議論されてきた。１９９９年１０月に、S.Chandra, C.S.Ellisにより、2nd Symp.Internet Technologies and Systemsに発表された“JPEG compression metric as a quality aware image transcoding”という論文、また、S. Chandra, C. S. Ellisによる“JPEG compression metric as a quality aware image transcoding, 2nd Symp. Internet Technologies and Systems, Boulder, CO:USENIX, Oct. 1999”という論文で、ＪＰＥＧ画像に特定した品質測定に関する広範囲な研究が、資源の量と密接に関連する圧縮率に基づき行われている。1999年3月に、Rakesh Mohan, John R. Smith, Chung-Sheng LiによりIEEE Trans. Multimedia, Vol. 1、No. 1, pp. 104-114に発表された論文“Adapting Multimedia Internet Content for Universal Access, IEEE Trans. Multimedia, Vol. 1, No. 1, pp. 104-114, Mar. 1999”で、コンテンツ表現の設計が互いに異なる様式を持つコンテンツ・バージョンを含むとき、コンテンツ値と資源との相関関係が単調凹関数(single concave function)により表現されることが議論されている。しかし、前記凹関数では互いに異なる様式においてコンテンツ値の相関関係が適切に表現されない。
【０００４】
現在、ＱｏＳのための大部分のコンテンツ値は、特定の様式に対して各々計算しなければならない。これは各々の様式自体がその特性を持っており、互いに異なる様式の質が互いに異なる次元で測定されるかも知れないからである。しかし、様式変換とコンテンツ・スケーリング(contents scaling)を容易にするための体系的な方法で互いに異なる様式のコンテンツ値を組み合わせる必要がある。
【０００５】
直観的には、コンテンツのいくつかの資源に関する特性、すなわち制約条件が与えられれば、サービス提供者は利用者にできるだけ最良のサービス品質を提供するまで資源特性に合うようにコンテンツを(ダウン)スケーリングする。しかし、場合によってはスケールされたコンテンツの品質が利用者に適さないことがある。この場合、上記の問題を解決する策は、別の様式にコンテンツを変換することである。例えば、帯域幅が非常に狭い場合、一連の異なる画像を伝送する方が低画質のビデオをストリーミングして伝送するよりも適することがある。このような方法が、映像から画像への様式の変換の典型的な例である。
【０００６】
ＱｏＳの観点からみたとき、様式変換で最も重要な懸案は「どの資源特性が、現在の様式が別の様式へと変換されることを要求しているのか？」である。様式変換をサポートする現在のシステムの大部分は、単に端末機が特定の様式をサポートしない場合にだけ機能する。しかし、端末機が様式をサポートするが資源が制限されているときには、従来のいかなる発明も、最良のＱｏＳを保障する様式変換に対する体系的な解決策を提供してこなかった。本発明は、様式のＱｏＳに基づいた上記解決策のための、様式変換の境界を探す方法を提供する。
【発明の開示】
【０００７】
したがって、本発明の目的は、多様なコンテンツ環境およびデバイス環境において同じ様式のみならず異なる様式でも、ＱｏＳの観点から最良のＱｏＳを保障する様式変換の時点及び方法を提供することにある。
【０００８】
このような目的と関連して、本発明は(1)互いに異なるコンテンツ様式のスケール因子を使用して、ＱｏＳのための重畳コンテンツ値モデル(overlap content value model)を設計する方法と、(2)様式変換の自動化のための拡張されたマークアップ言語（ＸＭＬ)への様式変換のＱｏＳの記述と、を提案する。
【０００９】
本発明は、メディア資源に応じてマルチメディア・コンテンツのサービス品質をサポートするための様式変換方法であって、前記マルチメディア・コンテンツの様式変換特性が記述された様式変換記述子を受け取る段階と、該マルチメディア・コンテンツを受け取る段階と、メディア資源および前記様式変換記述子により定められた様式へ、前記マルチメディア・コンテンツの様式を変換する段階と、を具備する。
【００１０】
前記様式変換記述子は、マルチメディア・コンテンツの各様式に対するコンテンツ値曲線及びスケール因子を記述する。各コンテンツ値曲線は、２以上の相異なる品質タイプ(quality type)で測定されたコンテンツ値曲線との組み合わせにより得られる。
【００１１】
好ましくは、前記様式変換の段階は、各々の様式に対する前記コンテンツ値曲線及びスケール因子を用いて変換境界(conversion boundaries)を得る段階と、前記変換境界を利用して、前記メディア資源に対する最適の様式を判定する段階と、判定された最適の様式にマルチメディア・コンテンツを変換する段階と、を含む。
【００１２】
また、本発明は、メディア資源に応じてマルチメディア・コンテンツのＱｏＳをサポートするための、前記マルチメディア・コンテンツの様式変換装置であって、マルチメディア・コンテンツの様式変換特性が記述された様式変換記述子を受け取る手段と、前記マルチメディア・コンテンツの様式を、メディア資源および前記様式変換記述子により定められた様式に変換する手段と、を具備する。
【００１３】
本発明で提案されるアプローチは、ＱｏＳをサポートするためのコンテンツ値と資源と間の相関関係を表す重畳コンテンツ値モデルと、前記重畳コンテンツ値モデルの設計とによって構成される。本発明においてマルチメディア・コンテンツは、異質なネットワーク環境から送られ、多様な端末機で使用される。先にＱｏＳを保障するためのマルチメディア・コンテンツの様式変換特性が記述されたデータ記述構造が受け取られる。次に、前記マルチメディア・コンテンツの様式が、入力されたデータ記述構造に従って、ＱｏＳを提供するための様式に変換される。
【００１４】
好ましくは、前記マルチメディア・コンテンツの様式が前記入力されたデータ記述構造に従ってＱｏＳを提供するために変換されるとき、該マルチメディア・コンテンツの様式は異なるコンテンツ様式間の変換境界を利用して変換される。異なるコンテンツ様式間の変換境界を利用してコンテンツの様式を変換する段階は、(Ａ)コンテンツ値と資源との間の相関関係を表す各様式のコンテンツ値曲線(様式曲線)を探す段階と、(Ｂ)各様式の重要性を表す各様式のスケール因子(scale factor)を探す段階と、(Ｃ)前記スケール因子に従って、前記各様式曲線を一つの重畳コンテンツ値モデルに写像する段階と、(Ｄ)前記重畳コンテンツ値モデルにおける前記様式曲線の交点である変換境界を得る段階と、(Ｅ)前記得られた様式変換境界を利用して現在の様式を別の様式に変換して、制約条件下でＱｏＳをサポートする段階と、を含んでいる。
【００１５】
コンテンツ値と資源との間の相関関係を表す各様式のコンテンツ値曲線(様式曲線)を探す段階において、コンテンツ値は別の品質（ＰＳＮＲ、ＭＯＳ等）で測定され得る。コンテンツ値が多数の資源形態と関連があるとき、前記様式曲線は様式曲面に変更される。
【００１６】
各様式の重要性を表す各様式のスケール因子を探す段階において、該スケール因子はコンテンツ生成者又は提供者によって自動又は手動で提供される。スケール因子に従って各様式曲線を一つの重畳コンテンツ値モデルに写像する段階において、前記コンテンツ値は別の品質形態で測定された値との組み合わせから得られる。
【発明を実施するための最良の形態】
【００１７】
以下、添付した図面を参照しながら、本発明の実施例を詳細に説明する。図面において、同一の参照符号は同一または類似の構成要素または信号を示すものとして用いられる。
図1は本発明の一実施例によるマルチメディア・コンテンツの様式変換装置のブロック図である。マルチメディア・コンテンツおよび様式変換記述子受信部１０２は、ネットワークを介してマルチメディア・コンテンツとこのマルチメディア・コンテンツの様式変換記述子とを受信して、その受信したマルチメディア・コンテンツ及び記述子を、様式変換記述子抽出部１０４及びマルチメディア・コンテンツ様式変換部１０８に提供する。前記様式変換記述子抽出部１０４は入力されるマルチメディア・コンテンツの様式変換記述子を抽出して、該様式変換記述子を前記マルチメディア・コンテンツ様式変換部１０８に提供する。メディア資源情報提供部１０６は、マルチメディア・コンテンツの提供と関連し且つネットワークまたは端末機により付与される制限条件を、前記マルチメディア・コンテンツ様式変換部１０８に提供する。該マルチメディア・コンテンツ様式変換部１０８は、様式変換記述子及びメディア資源情報によって提供されたメディア資源に対する最適の様式を判定し、前記マルチメディア・コンテンツの様式を前記最適の様式に変換する。新たな様式に変換されたマルチメディア・コンテンツは、出力部１１０を介してネットワークまたは端末機に提供される。
【００１８】
本発明により提案される重畳コンテンツ値モデルは、コンテンツ値、資源、及び様式間の相関関係を表すことができる。各コンテンツは、異なるコンテンツ様式に従ってコンテンツ値を表す前記重畳コンテンツ値モデルと共に表現されることができる。
【００１９】
図２は、映像様式を有するコンテンツについてのコンテンツ値モデルの例を示している。図２において、各様式のコンテンツ値曲線は、コンテンツ提供者や著作者によって、又は端末機での計算を通じて割り当てることができる。
【００２０】
図３は、本発明によるコンテンツ項目(content items)の最終的なコンテンツ値関数の概念図である。様式曲線の交点は、図３の点線によって示されるように様式間の変換境界を表す。この変換境界に基づいて、様式変換を、許される最大限のＱｏＳを維持するように定量的に決定することができる。本発明は多様なコンテンツ様式を図３に示す重畳モデルで表現して、ＱｏＳに基づく様式変換点を決定する方法を含んでいる。
【００２１】
単一の様式曲線はコンテンツ・スケーラー(content scaler)により導入されたコンテンツ・スケーリング演算(content scaling operation)により形成される。例えば、映像コンテンツは、空間解像度、時間解像度、及び一ピクセル毎の符号化ビット(coded bits per pixel)を考慮して、特定の資源特性に合わせるためにスケーリングされる。このような単一のコンテンツ・モデルから重畳コンテンツ・モデルを形成するために、各々の様式を含む一つの曲線を一つの重畳コンテンツ・モデル上で作らなければならない。
【００２２】
コンテンツiの様式jについてのコンテンツ値曲線をVMijとする。ここでj=1…Jiであり、Jiは前記コンテンツiが取れる様式の数を意味する。また、すべてのj=1…Jiに対してVMij≧０を満さなければならず、j=1はコンテンツのオリジナルの様式を表す指標(index)である。このとき、コンテンツiに対するコンテンツ値関数は次の数1のように表される。
【００２３】
【数１】
数1でwijはコンテンツiの様式jのためのスケール因子を表す。数1で提示したように一つのモデルで異なる様式を組み合わせるためには、コンテンツ著作者や提供者が各様式に適切なスケール因子wijを自動または手動で割り当てることによって、異なる形式のコンテンツ値がそれらの相対的な重要度を反映して、共通したコンテンツ値に対する共通の尺度を有さなければならない。
【００２４】
更に、一つの様式のための前記コンテンツ値曲線は多様な品質に応じて測定されることもある。例えば、映像様式はＰＳＮＲ又はＭＯＳの計算により、コンテンツ値曲線を各々得ることができる。したがって、特定の品質で測定されたコンテンツ値曲線を表すために「品質曲線(quality curve)」という用語が使用される。その結果、一つの様式曲線(modality curve)は多様な品質曲線で構成されることができる。
【００２５】
【数２】
数２でVMkijはコンテンツの品質タイプkに応じて測定された品質曲線を意味する。また、zkはＱｏＳを保障するための、品質タイプkのスケール因子である。図４は様式曲線を求める例を示すグラフであって、異なる測定コンテンツ値（ＰＳＮＲ及びＭＯＳ）を各々有する二つの品質曲線から一つの様式曲線を形成する過程を表している。前記スケール因子zkは異なって測定されたコンテンツ値を一つの様式曲線に組み合わせるためのパラメーターであって、ＱｏＳスケジュールに従ってコンテンツ提供者によってあらかじめ提供されること、または自動的に計算されることが可能である。
【００２６】
一方、コンテンツが多様な資源と関連しているとき、様式曲線は多次元空間で「様式面」になる。更に、本発明で提示した上記方法は多くの資源に対する考慮に関係なく適用可能で、且つ有用である。まとめると、ＱｏＳのための様式変換において、重畳コンテンツ値モデルの分析的な特性は次のように要約される。
（１）モデルは多様な様式曲線を含んでいる。
（２）最終的なコンテンツ値関数は、重畳モデルの上位部分で構成される。
（３）各様式曲線は一つまたはそれ以上のコンテンツ・スケーリング操作で構成される。
（４）各様式曲線は減少しない特性を有し、資源の数が増大するとき増加しない。
【００２７】
全体の様式変換過程を要約すれば、図５のフロー図に示す通りである。ステップ１０及び１１において、多様な測定方法を用い、品質曲線がn個の様式について計算される。ステップ２０及び２１において、各様式について計算された品質曲線は、数２を利用して、品質タイプに依存するスケール因子に基づいて、一つの様式曲線に組み合わされる。この場合、結果としてn個の様式曲線がステップ３０及び３１で得られる。各様式についてのスケール因子を概算した後に、ステップ４０において、一つの重畳コンテンツ値モデルを形成するために、各様式曲線は求めたスケール因子に基づき一つのモデルに写像される。コンテンツに対する一つの重畳コンテンツ値モデル（ステップ５０）において、様式曲線の交点をステップ６０で探すことができる。最終的に得られた様式変換境界を用いることによって、現在の様式がどの様な制約条件下でＱｏＳをサポートした状態で別の様式に変換されるべきであるかについての答えを求めることができる（ステップ７０）。
【００２８】
このシステムにおいて前記重畳コンテンツ・モデルを作るにあたって、使用されるパラメーターを表現するメタデータ情報は、拡張されたマークアップ言語（ＸＭＬ）のような構造化された形態で表現される必要がある。表1は本発明で提案した様式変換のＱｏＳ技術をＸＭＬ形式で表現したものである。
【００２９】
【表１】
表１で「Modality Curve Type」のセマンティックス(semantics)は次の表２のように定義される。
【００３０】
【表２】
前述した実施例は、本発明を当業者が容易に理解できるようにするためのもので、本発明の権利範囲を限定するものではない。当業者は前述した実施例に対して多様な変形や変更が可能であることに注目しなければならない。本発明の権利範囲は原則的に後述する請求の範囲によって定められる。
【産業上の利用可能性】
【００３１】
本発明の構成によれば、様式間の変換境界が定量的に計算されるように、重畳コンテンツ値モデルを設計するための体系的なアプローチが提供される。その結果、一つのモデルで多様な様式間の相関関係を確立することができ、最適のＱｏＳをサポートする様式変換を可能とする。さらに、本発明は、様式変換及びコンテンツ・スケーリングに対する正確な決定のための基礎として用いられることによって、ＵＭＡを効果的に達成できるようにする。
【図面の簡単な説明】
【００３２】
【図１】本発明の一実施例に従ったマルチメディア・コンテンツの様式変換装置のブロック図。
【図２】本発明に従ったコンテンツ項目の重畳コンテンツ値モデルの概念図。
【図３】本発明に従ったコンテンツ項目の最終コンテンツ値関数の概念図。
【図４】映像コンテンツ様式についての二つの品質曲線から一つの最終様式曲線への構成(写像)を示す概念図であり、（ａ）は、極大Ｓ／Ｎ比(ＰＳＮＲ: Peak Signal to Noise Ratio)で測定された品質曲線を示すグラフであり、（ｂ）は、平均見解得点(ＭＯＳ: Mean Opinion Score)で測定された品質曲線を示すグラフであり、（ｃ）は、各スケール因子が1である場合の重ね合わされた１つの最終モダリティ曲線を示すグラフ。
【図５】ＱｏＳをサポートするコンテンツ様式の変換処理を説明するフロー図。
【特許請求の範囲】
【請求項１】
メディア資源に応じてマルチメディア・コンテンツのサービス品質（ＱｏＳ）をサポートするための前記マルチメディア・コンテンツの様式変換方法であって、
前記マルチメディア・コンテンツの様式変換特性が記述された様式変換記述子を受け取る段階と、
前記マルチメディア・コンテンツを受け取る段階と、
前記マルチメディア・コンテンツを、メディア資源および前記様式変換記述子により定められた様式に変換する段階と、
を具備することを特徴とするマルチメディア・コンテンツの様式変換方法。
【請求項２】
前記メディア資源は、前記マルチメディア・コンテンツが提供されるネットワークまたは端末機であることを特徴とする請求項１に記載の方法。
【請求項３】
前記様式変換記述子は、前記マルチメディア・コンテンツの各様式に対するコンテンツ値曲線とスケール因子とを記述することを特徴とする請求項１に記載の方法。
【請求項４】
前記様式変換の段階は、
各々の様式に対する前記コンテンツ値曲線及びスケール因子を用いて変換境界を得る段階と、
前記変換境界を利用して前記メディア資源に対する最適の様式を判定する段階と、
判定された最適の様式に前記マルチメディア・コンテンツを変換する段階と、
を含むことを特徴とする請求項３に記載の方法。
【請求項５】
前記変換境界は、各々の様式に対する前記コンテンツ値曲線が前記スケール因子に従って互いに重畳するときに、コンテンツ値曲線が互いに交差する交点に対応するメディア資源の値であることを特徴とする請求項４に記載の方法。
【請求項６】
前記コンテンツ値曲線の各々は、２以上の相異なる品質に応じて測定されたコンテンツ値曲線の組み合わせにより得られることを特徴とする請求項３に記載の方法。
【請求項７】
メディア資源に応じてマルチメディア・コンテンツのＱｏＳをサポートするための、前記マルチメディア・コンテンツの様式変換装置であって、
前記マルチメディア・コンテンツの様式変換特性が記述された様式変換記述子を受け取る手段と、
前記マルチメディア・コンテンツの様式を、メディア資源および前記様式変換記述子により定められた様式に変換する手段と、
を具備することを特徴とするマルチメディア・コンテンツの様式変換装置。
【請求項８】
前記様式変換記述子は、前記マルチメディア・コンテンツの様式各々に対するコンテンツ値曲線とスケール因子とを記述することを特徴とする請求項７に記載の装置。
【請求項９】
前記様式変換手段は、
各々の様式に対する前記コンテンツ値曲線と前記スケール因子とを利用して変換境界を得る手段と、
前記マルチメディア・コンテンツの様式を、判定された最適の様式に変換する手段と、
を含むことを特徴とする請求項8に記載の装置。
【請求項１０】
前記変換境界は、各々の様式に対する前記コンテンツ値曲線が前記スケール因子に従って互いに重畳するときに、コンテンツ値曲線が互いに交差する交点に対応するメディア資源の値であることを特徴とする請求項9に記載の装置。
【請求項１１】
前記コンテンツ値曲線の各々は、２以上の相異なる品質に応じて測定されたコンテンツ値曲線を組み合わせることにより得られることを特徴とする請求項8に記載の装置。
【請求項１】
メディア資源に応じてマルチメディア・コンテンツのサービス品質（ＱｏＳ）をサポートするための前記マルチメディア・コンテンツの様式変換方法であって、
前記マルチメディア・コンテンツの様式変換特性が記述された様式変換記述子を受け取る段階と、
前記マルチメディア・コンテンツを受け取る段階と、
前記マルチメディア・コンテンツを、メディア資源および前記様式変換記述子により定められた様式に変換する段階と、
を具備することを特徴とするマルチメディア・コンテンツの様式変換方法。
【請求項２】
前記メディア資源は、前記マルチメディア・コンテンツが提供されるネットワークまたは端末機であることを特徴とする請求項１に記載の方法。
【請求項３】
前記様式変換記述子は、前記マルチメディア・コンテンツの各様式に対するコンテンツ値曲線とスケール因子とを記述することを特徴とする請求項１に記載の方法。
【請求項４】
前記様式変換の段階は、
各々の様式に対する前記コンテンツ値曲線及びスケール因子を用いて変換境界を得る段階と、
前記変換境界を利用して前記メディア資源に対する最適の様式を判定する段階と、
判定された最適の様式に前記マルチメディア・コンテンツを変換する段階と、
を含むことを特徴とする請求項３に記載の方法。
【請求項５】
前記変換境界は、各々の様式に対する前記コンテンツ値曲線が前記スケール因子に従って互いに重畳するときに、コンテンツ値曲線が互いに交差する交点に対応するメディア資源の値であることを特徴とする請求項４に記載の方法。
【請求項６】
前記コンテンツ値曲線の各々は、２以上の相異なる品質に応じて測定されたコンテンツ値曲線の組み合わせにより得られることを特徴とする請求項３に記載の方法。
【請求項７】
メディア資源に応じてマルチメディア・コンテンツのＱｏＳをサポートするための、前記マルチメディア・コンテンツの様式変換装置であって、
前記マルチメディア・コンテンツの様式変換特性が記述された様式変換記述子を受け取る手段と、
前記マルチメディア・コンテンツの様式を、メディア資源および前記様式変換記述子により定められた様式に変換する手段と、
を具備することを特徴とするマルチメディア・コンテンツの様式変換装置。
【請求項８】
前記様式変換記述子は、前記マルチメディア・コンテンツの様式各々に対するコンテンツ値曲線とスケール因子とを記述することを特徴とする請求項７に記載の装置。
【請求項９】
前記様式変換手段は、
各々の様式に対する前記コンテンツ値曲線と前記スケール因子とを利用して変換境界を得る手段と、
前記マルチメディア・コンテンツの様式を、判定された最適の様式に変換する手段と、
を含むことを特徴とする請求項8に記載の装置。
【請求項１０】
前記変換境界は、各々の様式に対する前記コンテンツ値曲線が前記スケール因子に従って互いに重畳するときに、コンテンツ値曲線が互いに交差する交点に対応するメディア資源の値であることを特徴とする請求項9に記載の装置。
【請求項１１】
前記コンテンツ値曲線の各々は、２以上の相異なる品質に応じて測定されたコンテンツ値曲線を組み合わせることにより得られることを特徴とする請求項8に記載の装置。
【図１】
【図２】
【図３】
【図４】
【図５】
【図２】
【図３】
【図４】
【図５】
【公表番号】特表２００７−５１７２７０（Ｐ２００７−５１７２７０Ａ）
【公表日】平成１９年６月２８日（２００７．６．２８）
【国際特許分類】
【出願番号】特願２００６−５３２０９７（Ｐ２００６−５３２０９７）
【出願日】平成１６年１０月８日（２００４．１０．８）
【国際出願番号】ＰＣＴ／ＫＲ２００４／００２５６９
【国際公開番号】ＷＯ２００５／０３６８９３
【国際公開日】平成１７年４月２１日（２００５．４．２１）
【出願人】（５９６０９９８８２）エレクトロニクス アンド テレコミュニケーションズ リサーチ インスチチュート (179)
【氏名又は名称原語表記】ＥＬＥＣＴＲＯＮＩＣＳ ＡＮＤ ＴＥＬＥＣＯＭＭＵＮＩＣＡＴＩＯＮＳ ＲＥＳＥＡＲＣＨ ＩＮＳＴＩＴＵＴＥ
【出願人】（５０６１１９７６３）クーロン インコーポレイテッド (2)
【氏名又は名称原語表記】ＣＵＲＯＮ ＩＮＣ．
【出願人】（５０５１４４４６３）リサーチ アンド インダストリアル コーポレーション グループ (10)
【氏名又は名称原語表記】ＲＥＳＥＡＲＣＨ ＡＮＤ ＩＮＤＵＳＴＲＩＡＬ ＣＯＯＰＥＲＡＴＩＯＮ ＧＲＯＵＰ
【Ｆターム（参考）】
【公表日】平成１９年６月２８日（２００７．６．２８）
【国際特許分類】
【出願日】平成１６年１０月８日（２００４．１０．８）
【国際出願番号】ＰＣＴ／ＫＲ２００４／００２５６９
【国際公開番号】ＷＯ２００５／０３６８９３
【国際公開日】平成１７年４月２１日（２００５．４．２１）
【出願人】（５９６０９９８８２）エレクトロニクス アンド テレコミュニケーションズ リサーチ インスチチュート (179)
【氏名又は名称原語表記】ＥＬＥＣＴＲＯＮＩＣＳ ＡＮＤ ＴＥＬＥＣＯＭＭＵＮＩＣＡＴＩＯＮＳ ＲＥＳＥＡＲＣＨ ＩＮＳＴＩＴＵＴＥ
【出願人】（５０６１１９７６３）クーロン インコーポレイテッド (2)
【氏名又は名称原語表記】ＣＵＲＯＮ ＩＮＣ．
【出願人】（５０５１４４４６３）リサーチ アンド インダストリアル コーポレーション グループ (10)
【氏名又は名称原語表記】ＲＥＳＥＡＲＣＨ ＡＮＤ ＩＮＤＵＳＴＲＩＡＬ ＣＯＯＰＥＲＡＴＩＯＮ ＧＲＯＵＰ
【Ｆターム（参考）】
[ Back to top ]