説明

埋め込みデータ信号処理

【課題】埋め込みデータの効果的な信号処理を提供する。
【解決手段】本発明は、埋め込みデータEDを有するメインデータMDを提供し、該データはそれに含まれるコンテンツを信号処理するためのメインデータ記述子MDDと共に与えられ、埋め込みデータ記述子EDDが埋め込みデータに含まれるコンテンツを信号処理するために形成され、この埋め込みデータ記述子は、メインデータ、メインデータ記述子及び埋め込みデータから分離して設けられる。

【発明の詳細な説明】
【技術分野】
【0001】
本発明は、埋め込みデータの信号処理に関し、また埋め込みデータを有するデータストリームのフォーマット化及び処理に関する。
【背景技術】
【0002】
複数の符号化スキーム/規格(例えば、mp3やMPEG−AACなど。例えば、それぞれISO/IEC13818−3及び13818−7を参照せよ。)のシンタックスの定義は、補助的/埋め込みデータを符号化音声ストリームに付加する可能性を提供する。準拠したデコーダは、埋め込みデータを解釈するのでなく、それを構文解析のみ行うことが求められる。実際的には、この埋め込みデータは、エンハンスメントコーダ/ツールに関する符号化データストリーム(例えば、mp3PROやMPEG−4AAC+SBR(Spectral Band Replication)など)を格納するのにしばしば利用される。このようなエンハンスコーダ/ツールは、コアとなる音声ストリームのクオリティを向上させるため、コアのコーダの上で利用することが可能である。非エンハンスコーダは埋め込みデータを構文解析することが求められるため、データの埋め込みは、後方互換的に実行される。
【0003】
MPEG−4(MPEG−4システムのためのISO/IEC14496−1とMPEG−4音声のためのISO/IEC14496−3を参照せよ)では、ストリームコンテンツの信号処理は記述子により実行される。各エレメンタリストリーム(すなわち、パケット化可能な音声または映像などのモノメディア(mono−media)データの連続するフロー)は対応する記述子を有する。現在の記述子の定義は、埋め込みデータの信号処理を提供するものではない。もちろん、埋め込みデータの信号処理は、記述子の訂正により実現可能である。しかしながら、このような訂正は、当該規格が現在の定義と後方互換性を維持するように実現することはできない。あるいは、埋め込みデータ自体において記述子を利用することが可能である。これは、埋め込みデータがエレメンタリストリームレベルで信号処理されず、このため、埋め込みデータが含むものを確認するためアクセスする必要があるという問題点を有する。
【発明の概要】
【発明が解決しようとする課題】
【0004】
本発明の課題は、埋め込みデータの効果的な信号処理を提供することである。このため本発明は、独立クレームにより規定されるような方法、エンコーダ、信号、記憶媒体、復号化方法、デコーダ、送信機またはレコーダ及び受信機を提供する。効果的な実施例が従属クレームにより規定される。
【課題を解決するための手段】
【0005】
本発明の第1の特徴によると、埋め込みデータを含むメインデータを表す信号が与えられ、メインデータはそれに含まれるコンテンツを信号処理するためのメインデータ記述子と共に与えられる。埋め込みデータ記述子が、埋め込みデータに含まれるコンテンツを信号処理するため形成され、埋め込みデータ記述子が、メインデータとメインデータ記述子の外部に(またはそれらとは別に)提供される。メインデータ記述子の外部に埋め込みデータ記述子を設けることにより、埋め込みデータに含まれる未定義コンテンツを考慮するための現在定義されているメインデータ記述子群の訂正は不要となる。新規の埋め込みデータ記述子を有する信号は、メインデータとメインデータ記述子に関して後方互換性を維持する。埋め込みデータ記述子をメインデータと共に埋め込みデータの外部に設けることにより、メインデータは互換性を維持し、その記述を取得するため埋め込みデータ自体にアクセスする必要はなくなる。
【0006】
この結果、埋め込みデータを有するエレメンタリストリームは、メインデータと埋め込みデータにそれぞれ1つずつの記述子を有することになる。
【0007】
メインデータ、埋め込みデータ、メインデータ記述子及び埋め込みデータ記述子のすべてが、同一の伝送信号に与えられてもよい。
【0008】
効果的には、当該信号はエレメンタリ音声データストリームであり、埋め込みデータはこのエレメンタリデータストリームの残りにおいて利用可能な音声を向上させるためのエンハンスメントデータである。エンハンスメントデータは、好ましくは、スペクトルバンド複製を実行するのに適した情報である。あるいは、エンハンスメントデータは、例えば、FallerとBaumgarteによる論文「Binaural cue coding applied stereo and multichannel audio compression」(AES112th paper 5574,May10−13,2002,Germany)や2002年4月22日に出願された欧州特許出願02076588.9に参照されるように、1〜2チャネルまたは2〜5チャネルなどへのチャネル数の拡張に適している。
【0009】
本発明の実施例は、デコーダに情報を無視するよう指示する認識不可能なコードを利用しているため、埋め込みデータ記述子を無視することにより、従来のコーダが誤ってコンテンツを利用しないように別の埋め込みデータ記述子を実現することが可能な規格において特に有用である。これが容易に可能となる規格の例として、MPEG−4システムやRFC3016があげられる。
【0010】
本発明の上記及び他の特徴は、添付された図面を参照することにより明らかとなるであろう。
【0011】
図面は、本発明の実施例を理解するのに必要な要素のみを示している。
【図面の簡単な説明】
【0012】
【図1】図1は、従来のエレメンタリストリームの一例を示す。
【図2】図2は、本発明の一実施例による埋め込みデータ記述子に設けられるエレメンタリストリームの一例を示す。
【図3】図3は、本発明の一実施例によるシステムを示す。
【発明を実施するための形態】
【0013】
図1は、従来のエレメンタリストリームESの一例を示す。エレメンタリストリームESは、パケット化されたエレメンタリストリームであってもよい。エレメンタリストリームESは、メインデータMDとメインデータ記述子MDDとから構成される。符号化音声ストリームに対する一例となる記述子MDDは、以下のようになる。
【表1】

例えば、ACCに関するAOTに特有の設定情報は、フレーム長、すなわち、1つのAAC音声フレームに関するチャネルあたりのPCMサンプル数を有する。
さらに、メインデータMDは、埋め込みEDを有する。メインデータMDは、好ましくは、AACやmp3符号化データなどの符号化音声データを有する。また、メインデータMDは映像データから構成することが可能である。埋め込みデータEDは、好ましくは、例えば、音声の場合にはスペクトルバンド複製により、または映像に対しては空間、SNRまたは他のエンハンスメントにより、メインデータMDを向上させるエンハンスメントデータを有する。あるいは、エンハンスメントデータは、上述のように、1〜2チャネルまたは2〜5チャネルへのチャネル数の拡張に適している。
【0014】
MPEG−4などのいくつかのシステムでは、データ記述子MDDは、エレメンタリストリームにおいてメインデータMDと連接されず、個別に提供される。どの記述子がどのエレメンタリストリームと関連しているか決定するため、記述子とエレメンタリストリームESの両方において識別子が利用される。
【0015】
埋め込みデータEDは、デコーダにおいて構文解析され、EDに与えられているエンハンスメントデータを利用することが可能なエンハンスデコーダにより認識される。専用システムでは、埋め込みデータEDが常に所定のフォーマットに従うエンハンスメントデータから構成されるということをエンコーダとデコーダとの間において同意することが可能であるが、通常、埋め込みデータEDは、エンハンスメントデータEDの特定を可能にするためのある種の識別子/記述を有する。
【0016】
図2は、本発明の一実施例による埋め込みデータ記述子EDDを有するさらなる一例となるエレメンタリストリームEESを示す。埋め込みデータ記述子EDDは、埋め込みデータEDのタイプの特定を可能にする識別情報を有する。記述子EDDはまた、他の有用な情報を有するようにしてもよい。符号化音声ストリームに埋め込まれるデータに対する一例となる記述子EDDは、以下のようなものであるかもしれない。
【表2】

EDDの定義は、音声(エンハンスメント)オブジェクトのタイプに強く依存する。SBRの場合には、それは、シングルまたはマルチレートであることが可能なサンプリング周波数モードを有する。チャネル拡張の場合には、埋め込みデータ記述子は、拡張されたチャネル設定に関する情報を有するようにしてもよい。
【0017】
埋め込みデータ記述子EDDは、メインデータMDとメインデータ記述子MDDの外部に設けられ、これにより容易にアクセス可能となる。利用される符号化スキームに依存して、データ記述子MDDとEDDが、メインデータMDと連接して供給されるようにしてもよい。また例えば、すべての記述子がグループ化されるなど、信号の他の部分に記述子を個別に設けることも可能である。このときリンク情報が、該当するエレメンタリストリームと記述子を関連付けるため必要とされる。
【0018】
MPEG−4による実現形態
本発明の上述の実施例は、MPEG−4またはMPEG−4類似の符号化スキームに効果的に適用される。MPEG−4では、メインデータ記述子MDDと埋め込みデータ記述子EDDが、エレメンタリストリームEESに関して個別に設けられる。MPEG−4システムは、記述子と該当するエレメンタリストリームとを関連付けるツールを提供する。
【0019】
RFC3016による実現形態
RFC3016(菊地らによるIETF RFC3016:「RTP Payload Format for MPEG−4 Audio/Visual Streams」2000年11月)では、記述子情報は、SDP(Session Description Protocol)パラメータとして備えられる。例えば音声の場合、音声復号化情報は、MPEG−4により規定されるような音声記述子を表す16進数文字列としてパラメータ「config」により記載される。以下に一例が与えられる。
【表3】

埋め込みデータconfigなどの新たなパラメータを定義することにより、他の記述子を追加することができる。受信機は、新規または未知のパラメータを無視することが求められる。
【0020】
本発明の一実施例によるシステム
図3は、本発明の一実施例によるシステムを示す。本システムは、符号化信号[S]の送信または記録を行う装置1を有する。装置1は、音声及び/または映像信号などの入力信号Sを取得する入力ユニット10を有する。入力ユニット10は、アンテナ、マイク、ネットワーク接続などであってもよい。装置1はさらに、埋め込みデータEDを有するメインデータMDと、記述子MDD及びEDDから構成される符号化信号を取得するため、本発明の上記実施例(特に、図2を参照せよ)による信号Sを符号化するエンコーダ11を有する。符号化信号は、埋め込みデータEDを有するメインデータMDと記述子MDD及びEDDを送信または記憶媒体(例えば、RFC3016に規定されるような)を介し送信または格納するのに適したフォーマットを有する符号化信号にフォーマット化する出力ユニット12に供給される。本システムはさらに、入力ユニット30において符号化信号[S]を受信する受信機または再生装置3を有する。入力ユニット30は、メインデータMDと、埋め込みデータEDとデータ記述子MDD及びEDDをデコーダ31に供給する。デコーダ31は、エンコーダ11における符号化の実質的に逆の処理である復号化プロセスを実行することにより符号化信号を復号する。ここでは、符号化プロセス中に失われた部分を除くもとの信号Sに対応する復号化信号S'が取得される。デコーダ31は、この復号化信号S'をそれを再生するスピーカーなどの再生ユニット32に供給する。再生ユニット32はまた、ホームネットワークなどを介し復号化信号S'をさらに送信する送信機であってもよい。
【0021】
既存の受信機は、RFC3016の場合に関して上述されたように、EDDを無視することができる。将来的な受信機の実現形態は、EDDを解釈することが可能となるかもしれない。この場合、ユニット31にEDDをわたすことは、ユニット31の機能に依存するかもしれない。例えば、デコーダ31が埋め込みデータが関連付けされている特徴をサポートしない実現形態では、入力ユニット30は、帯域幅を節約するため、EDDをユニット31に与えないことを決定するようにしてもよい。
【0022】
本発明の実施例は、音声及び/または映像配信、インターネットラジオ、3GPP、インターネット配信、ソリッドステートオーディオ、3Gターミナル、GPRS及び市販されている上記の後継機において適用されてもよい。
【0023】
上記実施例は本発明を限定するのでなく、例示するためのものであり、当業者は添付された請求項の範囲を逸脱することなく、他の多数の実施例を設計することができるであろう。請求項において、括弧内の任意の参照符号は、当該請求項を限定するものと解釈されるべきでない。「有する」という用語は、請求項に列挙されている以外の要素またはステップの存在を排除するものではない。本発明は、いくつかの相異なる要素を有するハードウェアにより、そして適切にプログラムされたコンピュータにより実現することが可能である。複数の手段を列挙する装置クレームでは、これらの手段のいくつかが1つのハードウェアアイテムにより実現することも可能である。ある手段が互いに異なる従属項において記載されているという事実は、これら手段の組み合わせが効果的に利用可能でないということを示すものではない。

【特許請求の範囲】
【請求項1】
埋め込みデータを有するメインデータを表す信号を提供する方法であって、前記メインデータは該メインデータに含まれるコンテンツを信号処理するためのメインデータ記述子と共に与えられ、該方法は、
前記埋め込みデータに含まれるコンテンツを信号処理するための埋め込みデータ記述子を形成するステップと、
前記埋め込みデータ記述子を前記メインデータ及び前記メインデータ記述子の外部に設けるステップと、
を有することを特徴とする方法。
【請求項2】
請求項1記載の方法であって、
前記メインデータは、音声及び/または映像データを有し、
前記埋め込みデータは、前記音声及び/または映像データを向上させるためのエンハンスメントデータを有する、
ことを特徴とする方法。
【請求項3】
埋め込みデータを有するメインデータを表す信号を提供するエンコーダであって、前記メインデータは該メインデータに含まれるコンテンツを信号処理するためのメインデータ記述子と共に与えられ、該エンコーダは、
前記埋め込みデータに含まれるコンテンツを信号処理するための埋め込みデータ記述子を形成する手段と、
前記埋め込みデータ記述子を前記メインデータ及び前記メインデータ記述子の外部に設ける手段と、
を有することを特徴とするエンコーダ。
【請求項4】
埋め込みデータを有するメインデータを表す信号であって、前記メインデータは該メインデータに含まれるコンテンツを信号処理するためのメインデータ記述子と共に与えられ、前記埋め込みデータは該埋め込みデータに含まれるコンテンツを信号処理するための埋め込みデータ記述子と共に与えられ、前記埋め込みデータ記述子は、前記メインデータと前記メインデータ記述子の外部に設けられることを特徴とする信号。
【請求項5】
請求項4記載の信号を格納する記憶媒体。
【請求項6】
埋め込みデータを有するメインデータを表す信号を復号化する方法であって、前記メインデータは該メインデータに含まれるコンテンツを信号処理するためのメインデータ記述子と共に与えられ、前記埋め込みデータは該埋め込みデータに含まれるコンテンツを信号処理するための埋め込みデータ記述子と共に与えられ、前記埋め込みデータ記述子は、前記メインデータと前記メインデータ記述子の外部に設けられ、該方法は、
前記埋め込みデータ記述子を読み出すステップと、
前記埋め込みデータ記述子の読み出しに応じて前記埋め込みデータを利用するステップと、
を有することを特徴とする方法。
【請求項7】
埋め込みデータを有するメインデータを表す信号を復号化するデコーダであって、前記メインデータは該メインデータに含まれるコンテンツを信号処理するためのメインデータ記述子と共に与えられ、前記埋め込みデータは該埋め込みデータに含まれるコンテンツを信号処理するための埋め込みデータ記述子と共に与えられ、前記埋め込みデータ記述子は、前記メインデータと前記メインデータ記述子の外部に設けられ、該デコーダは、
前記埋め込みデータ記述子を読み出す手段と、
前記埋め込みデータ記述子の読み出しに応じて前記埋め込みデータを利用する手段と、
を有することを特徴とするデコーダ。
【請求項8】
入力信号を取得するための入力ユニットと、
埋め込みデータを有するメインデータを取得するため前記入力信号を符号化する請求項3記載のエンコーダと、
前記埋め込みデータを有するメインデータと、メインデータ記述子と埋め込みデータ記述子とを符号化信号にフォーマット化し、前記符号化信号の送信または記録を行う出力ユニットと、
を有する送信機またはレコーダであって、
前記メインデータは該メインデータに含まれるコンテンツを信号処理するための前記メインデータ記述子と共に与えられ、前記埋め込みデータは該埋め込みデータに含まれるコンテンツを信号処理するための前記埋め込みデータ記述子と共に与えられ、前記埋め込みデータ記述子は、前記メインデータと前記メインデータ記述子の外部に設けられることを特徴とする送信機またはレコーダ。
【請求項9】
埋め込みデータを有するメインデータを表す信号を取得するための入力ユニットと、
復号化信号を取得するため、前記信号を復号化する請求項7記載のデコーダと、
前記復号化信号を再生する出力ユニットと、
を有する受信機であって、
前記メインデータは該メインデータに含まれるコンテンツを信号処理するための前記メインデータ記述子と共に与えられ、前記埋め込みデータは該埋め込みデータに含まれるコンテンツを信号処理するための前記埋め込みデータ記述子と共に与えられ、前記埋め込みデータ記述子は、前記メインデータと前記メインデータ記述子の外部に設けられることを特徴とする受信機。

【図1】
image rotate

【図2】
image rotate

【図3】
image rotate


【公開番号】特開2012−135008(P2012−135008A)
【公開日】平成24年7月12日(2012.7.12)
【国際特許分類】
【外国語出願】
【出願番号】特願2012−25145(P2012−25145)
【出願日】平成24年2月8日(2012.2.8)
【分割の表示】特願2004−546276(P2004−546276)の分割
【原出願日】平成15年10月20日(2003.10.20)
【出願人】(590000248)コーニンクレッカ フィリップス エレクトロニクス エヌ ヴィ (12,071)
【Fターム(参考)】