メディア符号化装置及びメディア符号化方法
【課題】メディア多重化の規格に準拠したプレーヤーで同期ずれ無しの再生が可能な形式で複数のメディアデータを多重化するメディア符号化装置及びメディア符号化方法を提供する。
【解決手段】入力される複数のメディアのそれぞれを符号化する複数の符号化手段と、該符号化されたメディアをこれらメディア相互の再生タイミングを合わせながら多重化する多重化手段とを備え、前記多重化手段は、前記符号化手段により符号化された複数のメディアのうち先頭タイミングが遅延している方のメディアに対し、前記遅延分の時間長のダミーデータを挿入して多重化することを特徴とするメディア符号化装置。
【解決手段】入力される複数のメディアのそれぞれを符号化する複数の符号化手段と、該符号化されたメディアをこれらメディア相互の再生タイミングを合わせながら多重化する多重化手段とを備え、前記多重化手段は、前記符号化手段により符号化された複数のメディアのうち先頭タイミングが遅延している方のメディアに対し、前記遅延分の時間長のダミーデータを挿入して多重化することを特徴とするメディア符号化装置。
【発明の詳細な説明】
【技術分野】
【０００１】
本発明は、ＭＰ４動画像復号装置等にかかり、複数種類のメディアデータが多重化された複合コンテンツファイルを作成する方法および装置に関する。
【背景技術】
【０００２】
近年において、ビデオデータ、オーディオデータ、またはテキストデータなどの複数のメディアデータが多重化された複合コンテンツファイルが、携帯端末向けのコンテンツ配信サービスまたはストリーミング放送などに用いられている。そのような複合コンテンツファイルのファイルフォーマットの１つに、ＩＳＯ／ＩＥＣ １４４９６規格のＰａｒｔ１４の項で規定されているＭＰ４（ISO/IEC Part 12 ISO Base Media File Format）ファイルフォーマット（以下「ＭＰ４ファイルフォーマット」と記載する）がある。
【０００３】
しかしこのＭＰ４には、以下述べるようにタイムスタンプに起因する同期ずれの問題が基本的にある。即ちまずＭＰ４は、ビデオやオーディオなど複数メディアを複数のトラックとして多重化する。この各トラックは、ビデオやオーディオのフレームに相当するサンプルという単位のデータをもつ。このサンプルは、タイムスタンプやデータ長などの情報があり、これらは所定の方式で符号化される。このうち、タイムスタンプはサンプルごとの値が符号化されるのではなく、連続したサンプルのタイムスタンプの差分の値を符号化する。そして先頭のサンプルのタイムスタンプを０として取り扱う。このため、先頭サンプルのタイムスタンプが異なるトラックをそのままＭＰ４に多重化してしまうと、再生時に同期ずれが発生する。
【０００４】
この同期ずれの問題に関連しては、ＭＰ４を用いストリーム編集で分割や抽出を行った場合に、編集後のストリームにおける各トラックの先頭サンプルのタイムスタンプを、独自データフォーマットで保持する工夫がある（特許文献１参照）。しかしながら特許文献１では独自データフォーマットを適用しているため、独自データフォーマットを解釈可能なプレーヤーでなければ、所望の再生はできない（即ち同期ずれが生じる）という問題があった。これに対し、ＭＰ４規格準拠の多重化方法により、規格準拠のプレーヤーであれば所望の再生が可能となるといった対策が待たれていた。
【先行技術文献】
【特許文献】
【０００５】
【特許文献１】特開２００８−１５３８８６号公報
【発明の概要】
【発明が解決しようとする課題】
【０００６】
本発明は、メディア多重化の規格に準拠したプレーヤーで同期ずれ無しの再生が可能な形式で複数のメディアデータを多重化するメディア符号化装置及びメディア符号化方法を提供することを目的とする。
【課題を解決するための手段】
【０００７】
上記課題を解決するために、本発明のメディア符号化装置は、入力される複数のメディアのそれぞれを符号化する複数の符号化手段と、該符号化されたメディアをこれらメディア相互の再生タイミングを合わせながら多重化する多重化手段とを備え、前記多重化手段は、前記符号化手段により符号化された複数のメディアのうち先頭タイミングが遅延している方のメディアに対し、前記遅延分の時間長のダミーデータを挿入して多重化することを特徴とする。
【発明の効果】
【０００８】
本発明によれば、メディア多重化の規格に準拠したプレーヤーで多重化されている複数メディアの同期ずれ無しの再生が可能な形式で複数のメディアデータを多重化するメディア符号化装置及びメディア符号化方法が得られる。
【図面の簡単な説明】
【０００９】
【図１】この発明を適用した場合のマルチメディアファイル処理システムの概略構成を示す図。
【図２】実施形態の装置を示す概略ブロック構成図。
【図３】同実施形態の再生開始時刻の異なるビデオとオーディオストリームを説明するために示す概念図。
【図４】同実施形態のマルチメディアの多重化方法を説明するために示す図。
【図５】同実施形態に用いられるＭＰ４ファイルフォーマットの例を示す図。
【発明を実施するための形態】
【００１０】
本発明による実施形態を図１乃至図５を参照して説明する。
図１は、本発明を適用した場合のマルチメディアファイル処理システムの概略構成を示す図である。
図１に示すように、このシステムでは、ＭＰ４ファイルフォーマットによる動画像データを送信する送信装置１００と、有線或いは無線回線、交換局等から成る通信網２００と、上記送信装置１００から送信されてきた動画像データを受信し、表示部等に動画像を再生表示する受信装置３００とを具えて構成される。
【００１１】
ここで、送信装置１００は、少なくともエンコーダ１１１を制御部１１０に具え、可視トラック（ビデオトラック、テキストトラック等で視覚表示可能なトラック）をプレゼンテーション中に複数持つような動画像をエンコード処理してＭＰ４ファイルフォーマットに変換し、所定の通信パケット［例えば、ＵＤＰ（User Datagram Protocol）プロトコルを用いたパケット］に挿入して通信網２００に送出する。ＵＤＰ等の上位プロトコルとしてＲＴＰ（Real-time Transport Protocol）を機能させてもよい。
【００１２】
尚、この送信装置１００は、例えば、サーバであり、エンコーダ１１１は例えばハード及びソフト等から構成されるものとする。送信装置１００としては、内部または外部にチューナ（図示せず）を有し選局された放送信号から、エンコード処理の対象となる信号を分離する構成であってもよい。またこの分離までに更に信号の記録および再生を含む工程を持つものであってもよい。
【００１３】
また、受信装置３００は、少なくともデコーダ３２１を制御部３２０に具え、上記送信装置１００及び通信網２００を介して受信したパケットからＭＰ４ファイルフォーマットのデータを抽出し、該抽出したＭＰ４ファイルフォーマットのデータに基づき表示部３１０に動画像等のプレゼンテーションを表示する。
【００１４】
尚、この受信装置３００は、例えば、パーソナルコンピュータ（ＰＣ）や携帯端末であり、デコーダ３２１は例えばハード及びソフト等から構成される。
図２は、実施形態の装置を示す概略ブロック構成図である。図２は、上記エンコーダ１１１に相当する機能ブロック図であり、ビデオ符号化部１、オーディオ符号化部２、ストリーム多重部３を備えている。
【００１５】
ビデオ符号化部１は、入力ビデオ信号を所定のビデオ符号化方式のビデオストリームに符号化し、ストリーム多重部３へ出力する。
オーディオ符号化部２は、入力オーディオ信号を所定のオーディオ符号化方式のオーディオストリームに符号化し、ストリーム多重部３へ出力する。
ストリーム多重部３は、入力されたオーディオストリームとビデオストリームをＭＰ４ファイルフォーマットの多重ストリームに変換し、出力する。ストリーム多重部３は、後述のようにダミーサンプルを挿入して多重化処理を行なうよう構成されている。
【００１６】
ところでＭＰ４のシステムレイヤでは、複数種類のメディア（メディアデータ）が混在し、メディアの再生条件などの情報が格納されているヘッダ部と、メディアのストリームのみが格納されているメディアデータ部とが設けられる。この点において、ＭＰ４は、ＭＰＥＧ−２ ＰＳ、またはＴＳのようなシステムレイヤと異なっている。
【００１７】
図５は従来からのＭＰ４ファイルフォーマットＦＴ１の例を示す図である。一般にＭＰ４ベースメディアファイルフォーマットのボックス構造は木構造をとる。主なボックスについては次のようになっている。
【００１８】
ftyp boxは、ファイルタイプの記述であり、ファイルの先頭にただ一つだけ含まれる。
ムーブボックスmoov boxは、全てのメタデータを含むコンテナであり、ファイル中にただ一つだけ含まれる。メタデータとして含まれる情報としては、各トラック（動画、音声など）のヘッダ情報やコンテンツの内容のメタ記述、時刻情報などが含まれる。
【００１９】
メディアデータボックスmdat boxは、トラックのメディアデータ本体のコンテナであり、ファイル中のmdat boxの数は任意である。すなわち、動画と音声、動画だけ、音声だけ、あるいは複数の種類のトラックを同時に含む、などのように、任意のトラック構成を持てるようになっている。
【００２０】
図５で、ＭＰ４ファイルフォーマットＦＴ１のファイルタイプボックスＢＸＡには、そのファイルの互換性を示す情報が保存されている。ヘッダ部であるムーブボックスＢＸＢには、メディアデータボックスＢＸＣに保存される各メディアデータの再生条件に関する情報として、メディアフレームの位置情報、上記のように時間情報、およびサイズ情報などが保存される。メディアデータボックスＢＸＣには、ビデオデータ、オーディオデータ、またはテキストデータなどのメディアデータが保存される。
【００２１】
推奨される方法として一般には、ビデオとオーディオの圧縮データはmdat boxの中に交互に格納される（インターリーブ）。例えばビデオとオーディオとが各１データの場合に、まずビデオデータを連続して並べ次にオーディオデータを連続してならべたりはしないが、本発明との関連は薄いので詳細は省略する。図５では、ヘッダ情報のmoov boxが、mdat boxより前に存在する。ただし規格では、ftyp boxはすでにファイルの先頭と述べたが、これら２種のboxはどの順番で格納してもよいことになっている。moov boxの内容は、mdat boxの内容が固まった後でしか作れないので、moov boxが後に存在することがあるのは不自然ではない。
【００２２】
各BOX情報は、独立しているものの他に、絡み合っているものもある。例えば、mdat box中でどこがビデオとオーディオの切れ目になるかは、mdat boxのデータだけでは分からない。以下moov boxの内部構造の詳細は図示しないが、ビデオとオーディオの切れ目を知るためには、「stsc」、「stco」の内容を参照しなければならない。デコーダは、さらに「stsz」の内容を参照し、この3つのBOX情報からフレームごとのデータの位置とサイズを知る。
【００２３】
再生時にビデオとオーディオの同期を取るには「stts」を参照してビデオの各フレーム、オーディオフレーム(格納単位)ごとの再生時間、さらに再生すべき時刻を取得する。「stts」を適切に利用すると、フレームごとに再生時間が異なるデータ、つまり可変フレームレートのデータ作成が可能になる。
【００２４】
図５の一番上にあるftyp boxには、ファイルタイプの記述の中にこのファイルの互換性を示す情報が格納されている。MP4ファイルフォーマットは、かなり自由度が高く、また、格納されるビデオ・オーディオデータも様々である。複数の形式のデータが混在した際に、それぞれに最適なプレーヤー(デコーダ)や再生方法を割り当てるために、このファイルの互換性を示す情報を用いる。
【００２５】
なお、MP4ファイルフォーマット自体は、ファイルへ格納するためのフォーマットなのでストリーミング配信には適さないとされている。MP4ファイルをストリーミングする場合は、一般にRTP(Real-time Transport Protocol)などのフォーマットに変換する。ストリーミング配信時にストリーミング用のフォーマットへの変換を容易にするためのオプション情報として、ヒントトラックがRTP等の規格の一部として規定されている。このRTP配信用のヒントトラックには、RTPヘッダなどの情報を格納する。
【００２６】
ＭＰ４ファイルフォーマットでは、時間情報として、各メディアフレームについての再生時間ではなく再生時間長が保存されている。つまり、時間情報として、ビデオデータの１フレーム目を○○ミリ秒間再生する、２フレーム目を△△ミリ秒間再生する、といった情報が保存されている。したがって、ビデオはビデオデータの再生時間長によって再生され、オーディオはオーディオデータの再生時間長によって再生されるが、再生タイミングを別途とる必要がある。
【００２７】
例えば携帯端末のユーザは、このようなＭＰ４ファイルフォーマットの複合コンテンツファイルを、自分の携帯端末で配信を受けて再生することができる。
ＭＰ４多重処理は，ビデオやオーディオなど複数メディアをトラックとして多重する。このときＭＰ４には、タイムスタンプに起因する同期ずれの問題が基本的にある。先頭データ即ち先頭サンプルのタイムスタンプが異なる複数のトラックを本実施形態のような工夫なしに単純にＭＰ４に多重化してしまうと、再生時に同期ずれが発生する。
【００２８】
図３は、実施形態の再生開始時刻の異なるビデオとオーディオストリームを説明するために示す図である。また図４は、実施形態のマルチメディアの多重化方法を説明するために示す図である。
【００２９】
各トラックは、ビデオやオーディオのフレームに相当するサンプルという単位のデータをもつ。サンプルは、タイムスタンプやデータ長などの情報があり、これらは所定の方式で符号化される。このうち、タイムスタンプはサンプルごとの値が符号化されるのではなく、連続したサンプルのタイムスタンプの差分の値を符号化する。そして先頭のサンプルのタイムスタンプを０として取り扱う。このため、図３に示すような先頭サンプルのタイムスタンプが異なりギャップ（ＡＳ−ＶＳ）のあるトラックをそのままＭＰ４に多重してしまうと、図４（ａ）に示す通り再生時に同期ずれが発生する。この図４（ａ）の例では時間順にビデオでＶ１，Ｖ２，Ｖ３の区間があり、オーディオでＡ２，Ａ３の区間がある。ビデオでＶ２，Ｖ３の区間と、オーディオでＡ２，Ａ３の区間とはそれぞれ再生時間が対応しているが、先頭サンプルのタイムスタンプは異なる。
【００３０】
そこで、先頭サンプルのタイムスタンプが異なるトラックを多重する場合には、図４（ｂ）に示す実施形態のように先頭サンプルのタイムスタンプが遅いトラックにダミーサンプルを挿入し、ビデオとオーディオとの先頭サンプルのタイムスタンプをそろえてから多重を行う。
【００３１】
入力されたオーディオストリームとビデオストリームの先頭サンプル（フレーム）のタイムスタンプが異なる場合には、先頭サンプルのタイムスタンプが遅いトラックにダミーサンプルを挿入し、このダミーサンプルのタイムスタンプを、先頭サンプルのタイムスタンプが早いトラックの先頭サンプルのタイムスタンプと同じにし、先頭サンプルのタイムスタンプをそろえてから多重を行う。この例ではオーディオストリームが遅いトラックであり、ダミーサンプルＡＤを挿入している。ＡＤの時間長は図３に示したギャップに等しくなるようにする。一般には、遅いトラックが複数あれば各々適切な時間長でダミーサンプルを作成・挿入すればよい。
【００３２】
ここで挿入するダミーサンプルは、オーディオ符号化部２やビデオ符号化部１がなくても生成可能なサンプルであることが望ましい。
ビデオの場合は、単一色フレームや先頭フレームへのフェードイン画像が考えられ、ビデオ符号化方式がＨ．２６４／ＡＶＣの場合、イントラDC予測のみで符号化されたフレームとすればグレーフレーム（黒一色フレームでも可）を生成・活用でき、先頭フレームを参照フレームとし重みづけ予測を使用することでフェードイン画像が生成できる。オーディオの場合は、無音フレームが好適である。
【００３３】
これらの符号化データをあらかじめストリーム多重部３で持ち合わせておき、上記の場合に挿入すればよい。なお本実施例では、オーディオとビデオの多重のみ示したが、その他の字幕文、文字データなどのテキストデータや静止画の多重においても同様である。
【００３４】
上記実施形態の効果として、複数トラックを含むＭＰ４ストリームを再生する際に、ストリーム以外の情報なしに、複数トラックで同期のとれた再生が可能となる。以上をまとめると次のようになる。
【００３５】
<背景・課題>
マルチメディアの記録フォーマットとしてＭＰ４がある。
ＭＰ４は、ビデオやオーディオなど複数メディアをトラックとして多重する。各トラックは、ビデオやオーディオのフレームに相当するサンプルという単位のデータをもつ。
【００３６】
サンプルは、タイムスタンプやデータ長などの情報があり、これらを所定の方式で符号化される。
このうち、タイムスタンプはサンプルごとの値が符号化されるのではなく、連続したサンプルのタイムスタンプの差分の値を符号化する。そして先頭のサンプルのタイムスタンプを０として取り扱う。
【００３７】
このため、先頭サンプルのタイムスタンプが異なるトラックをそのままMP4に多重してしまうと、再生時に同期ずれが発生する。
<解決手段>
トラックの先頭にダミーサンプルを挿入する。
ダミーサンプルは再生障害の起因とならないもの、ビデオであれば黒フレーム、オーディオであれば無音、またはトラック先頭サンプルへのフェードインなどが好適である。
【００３８】
<効果>
MP4ストリームのみで、同期のとれた複数トラックのコンテンツを再生できる。MP4規格準拠のプレーヤーで再生可能である。
実施形態の効果として、複数トラックを含むＭＰ４ストリームを再生する際に、ストリーム以外の情報なしに、複数トラックで同期のとれた再生が可能となる。
なお、この発明は上記実施形態に限定されるものではなく、この外その要旨を逸脱しない範囲で種々変形して実施することができる。
また、上記した実施の形態に開示されている複数の構成要素を適宜に組み合わせることにより、種々の発明を形成することができる。例えば、実施の形態に示される全構成要素から幾つかの構成要素を削除しても良いものである。さらに、異なる実施の形態に係わる構成要素を適宜組み合わせても良いものである。
【符号の説明】
【００３９】
１ ビデオ符号化部
２ オーディオ符号化部
３ ストリーム多重部
１００ 送信装置
１１０ 制御部
１１１ エンコーダ
２００ 通信網
３００ 受信装置
３１０ 表示部
３２０ 制御部
３２１ デコーダ
３３０ 操作部
【技術分野】
【０００１】
本発明は、ＭＰ４動画像復号装置等にかかり、複数種類のメディアデータが多重化された複合コンテンツファイルを作成する方法および装置に関する。
【背景技術】
【０００２】
近年において、ビデオデータ、オーディオデータ、またはテキストデータなどの複数のメディアデータが多重化された複合コンテンツファイルが、携帯端末向けのコンテンツ配信サービスまたはストリーミング放送などに用いられている。そのような複合コンテンツファイルのファイルフォーマットの１つに、ＩＳＯ／ＩＥＣ １４４９６規格のＰａｒｔ１４の項で規定されているＭＰ４（ISO/IEC Part 12 ISO Base Media File Format）ファイルフォーマット（以下「ＭＰ４ファイルフォーマット」と記載する）がある。
【０００３】
しかしこのＭＰ４には、以下述べるようにタイムスタンプに起因する同期ずれの問題が基本的にある。即ちまずＭＰ４は、ビデオやオーディオなど複数メディアを複数のトラックとして多重化する。この各トラックは、ビデオやオーディオのフレームに相当するサンプルという単位のデータをもつ。このサンプルは、タイムスタンプやデータ長などの情報があり、これらは所定の方式で符号化される。このうち、タイムスタンプはサンプルごとの値が符号化されるのではなく、連続したサンプルのタイムスタンプの差分の値を符号化する。そして先頭のサンプルのタイムスタンプを０として取り扱う。このため、先頭サンプルのタイムスタンプが異なるトラックをそのままＭＰ４に多重化してしまうと、再生時に同期ずれが発生する。
【０００４】
この同期ずれの問題に関連しては、ＭＰ４を用いストリーム編集で分割や抽出を行った場合に、編集後のストリームにおける各トラックの先頭サンプルのタイムスタンプを、独自データフォーマットで保持する工夫がある（特許文献１参照）。しかしながら特許文献１では独自データフォーマットを適用しているため、独自データフォーマットを解釈可能なプレーヤーでなければ、所望の再生はできない（即ち同期ずれが生じる）という問題があった。これに対し、ＭＰ４規格準拠の多重化方法により、規格準拠のプレーヤーであれば所望の再生が可能となるといった対策が待たれていた。
【先行技術文献】
【特許文献】
【０００５】
【特許文献１】特開２００８−１５３８８６号公報
【発明の概要】
【発明が解決しようとする課題】
【０００６】
本発明は、メディア多重化の規格に準拠したプレーヤーで同期ずれ無しの再生が可能な形式で複数のメディアデータを多重化するメディア符号化装置及びメディア符号化方法を提供することを目的とする。
【課題を解決するための手段】
【０００７】
上記課題を解決するために、本発明のメディア符号化装置は、入力される複数のメディアのそれぞれを符号化する複数の符号化手段と、該符号化されたメディアをこれらメディア相互の再生タイミングを合わせながら多重化する多重化手段とを備え、前記多重化手段は、前記符号化手段により符号化された複数のメディアのうち先頭タイミングが遅延している方のメディアに対し、前記遅延分の時間長のダミーデータを挿入して多重化することを特徴とする。
【発明の効果】
【０００８】
本発明によれば、メディア多重化の規格に準拠したプレーヤーで多重化されている複数メディアの同期ずれ無しの再生が可能な形式で複数のメディアデータを多重化するメディア符号化装置及びメディア符号化方法が得られる。
【図面の簡単な説明】
【０００９】
【図１】この発明を適用した場合のマルチメディアファイル処理システムの概略構成を示す図。
【図２】実施形態の装置を示す概略ブロック構成図。
【図３】同実施形態の再生開始時刻の異なるビデオとオーディオストリームを説明するために示す概念図。
【図４】同実施形態のマルチメディアの多重化方法を説明するために示す図。
【図５】同実施形態に用いられるＭＰ４ファイルフォーマットの例を示す図。
【発明を実施するための形態】
【００１０】
本発明による実施形態を図１乃至図５を参照して説明する。
図１は、本発明を適用した場合のマルチメディアファイル処理システムの概略構成を示す図である。
図１に示すように、このシステムでは、ＭＰ４ファイルフォーマットによる動画像データを送信する送信装置１００と、有線或いは無線回線、交換局等から成る通信網２００と、上記送信装置１００から送信されてきた動画像データを受信し、表示部等に動画像を再生表示する受信装置３００とを具えて構成される。
【００１１】
ここで、送信装置１００は、少なくともエンコーダ１１１を制御部１１０に具え、可視トラック（ビデオトラック、テキストトラック等で視覚表示可能なトラック）をプレゼンテーション中に複数持つような動画像をエンコード処理してＭＰ４ファイルフォーマットに変換し、所定の通信パケット［例えば、ＵＤＰ（User Datagram Protocol）プロトコルを用いたパケット］に挿入して通信網２００に送出する。ＵＤＰ等の上位プロトコルとしてＲＴＰ（Real-time Transport Protocol）を機能させてもよい。
【００１２】
尚、この送信装置１００は、例えば、サーバであり、エンコーダ１１１は例えばハード及びソフト等から構成されるものとする。送信装置１００としては、内部または外部にチューナ（図示せず）を有し選局された放送信号から、エンコード処理の対象となる信号を分離する構成であってもよい。またこの分離までに更に信号の記録および再生を含む工程を持つものであってもよい。
【００１３】
また、受信装置３００は、少なくともデコーダ３２１を制御部３２０に具え、上記送信装置１００及び通信網２００を介して受信したパケットからＭＰ４ファイルフォーマットのデータを抽出し、該抽出したＭＰ４ファイルフォーマットのデータに基づき表示部３１０に動画像等のプレゼンテーションを表示する。
【００１４】
尚、この受信装置３００は、例えば、パーソナルコンピュータ（ＰＣ）や携帯端末であり、デコーダ３２１は例えばハード及びソフト等から構成される。
図２は、実施形態の装置を示す概略ブロック構成図である。図２は、上記エンコーダ１１１に相当する機能ブロック図であり、ビデオ符号化部１、オーディオ符号化部２、ストリーム多重部３を備えている。
【００１５】
ビデオ符号化部１は、入力ビデオ信号を所定のビデオ符号化方式のビデオストリームに符号化し、ストリーム多重部３へ出力する。
オーディオ符号化部２は、入力オーディオ信号を所定のオーディオ符号化方式のオーディオストリームに符号化し、ストリーム多重部３へ出力する。
ストリーム多重部３は、入力されたオーディオストリームとビデオストリームをＭＰ４ファイルフォーマットの多重ストリームに変換し、出力する。ストリーム多重部３は、後述のようにダミーサンプルを挿入して多重化処理を行なうよう構成されている。
【００１６】
ところでＭＰ４のシステムレイヤでは、複数種類のメディア（メディアデータ）が混在し、メディアの再生条件などの情報が格納されているヘッダ部と、メディアのストリームのみが格納されているメディアデータ部とが設けられる。この点において、ＭＰ４は、ＭＰＥＧ−２ ＰＳ、またはＴＳのようなシステムレイヤと異なっている。
【００１７】
図５は従来からのＭＰ４ファイルフォーマットＦＴ１の例を示す図である。一般にＭＰ４ベースメディアファイルフォーマットのボックス構造は木構造をとる。主なボックスについては次のようになっている。
【００１８】
ftyp boxは、ファイルタイプの記述であり、ファイルの先頭にただ一つだけ含まれる。
ムーブボックスmoov boxは、全てのメタデータを含むコンテナであり、ファイル中にただ一つだけ含まれる。メタデータとして含まれる情報としては、各トラック（動画、音声など）のヘッダ情報やコンテンツの内容のメタ記述、時刻情報などが含まれる。
【００１９】
メディアデータボックスmdat boxは、トラックのメディアデータ本体のコンテナであり、ファイル中のmdat boxの数は任意である。すなわち、動画と音声、動画だけ、音声だけ、あるいは複数の種類のトラックを同時に含む、などのように、任意のトラック構成を持てるようになっている。
【００２０】
図５で、ＭＰ４ファイルフォーマットＦＴ１のファイルタイプボックスＢＸＡには、そのファイルの互換性を示す情報が保存されている。ヘッダ部であるムーブボックスＢＸＢには、メディアデータボックスＢＸＣに保存される各メディアデータの再生条件に関する情報として、メディアフレームの位置情報、上記のように時間情報、およびサイズ情報などが保存される。メディアデータボックスＢＸＣには、ビデオデータ、オーディオデータ、またはテキストデータなどのメディアデータが保存される。
【００２１】
推奨される方法として一般には、ビデオとオーディオの圧縮データはmdat boxの中に交互に格納される（インターリーブ）。例えばビデオとオーディオとが各１データの場合に、まずビデオデータを連続して並べ次にオーディオデータを連続してならべたりはしないが、本発明との関連は薄いので詳細は省略する。図５では、ヘッダ情報のmoov boxが、mdat boxより前に存在する。ただし規格では、ftyp boxはすでにファイルの先頭と述べたが、これら２種のboxはどの順番で格納してもよいことになっている。moov boxの内容は、mdat boxの内容が固まった後でしか作れないので、moov boxが後に存在することがあるのは不自然ではない。
【００２２】
各BOX情報は、独立しているものの他に、絡み合っているものもある。例えば、mdat box中でどこがビデオとオーディオの切れ目になるかは、mdat boxのデータだけでは分からない。以下moov boxの内部構造の詳細は図示しないが、ビデオとオーディオの切れ目を知るためには、「stsc」、「stco」の内容を参照しなければならない。デコーダは、さらに「stsz」の内容を参照し、この3つのBOX情報からフレームごとのデータの位置とサイズを知る。
【００２３】
再生時にビデオとオーディオの同期を取るには「stts」を参照してビデオの各フレーム、オーディオフレーム(格納単位)ごとの再生時間、さらに再生すべき時刻を取得する。「stts」を適切に利用すると、フレームごとに再生時間が異なるデータ、つまり可変フレームレートのデータ作成が可能になる。
【００２４】
図５の一番上にあるftyp boxには、ファイルタイプの記述の中にこのファイルの互換性を示す情報が格納されている。MP4ファイルフォーマットは、かなり自由度が高く、また、格納されるビデオ・オーディオデータも様々である。複数の形式のデータが混在した際に、それぞれに最適なプレーヤー(デコーダ)や再生方法を割り当てるために、このファイルの互換性を示す情報を用いる。
【００２５】
なお、MP4ファイルフォーマット自体は、ファイルへ格納するためのフォーマットなのでストリーミング配信には適さないとされている。MP4ファイルをストリーミングする場合は、一般にRTP(Real-time Transport Protocol)などのフォーマットに変換する。ストリーミング配信時にストリーミング用のフォーマットへの変換を容易にするためのオプション情報として、ヒントトラックがRTP等の規格の一部として規定されている。このRTP配信用のヒントトラックには、RTPヘッダなどの情報を格納する。
【００２６】
ＭＰ４ファイルフォーマットでは、時間情報として、各メディアフレームについての再生時間ではなく再生時間長が保存されている。つまり、時間情報として、ビデオデータの１フレーム目を○○ミリ秒間再生する、２フレーム目を△△ミリ秒間再生する、といった情報が保存されている。したがって、ビデオはビデオデータの再生時間長によって再生され、オーディオはオーディオデータの再生時間長によって再生されるが、再生タイミングを別途とる必要がある。
【００２７】
例えば携帯端末のユーザは、このようなＭＰ４ファイルフォーマットの複合コンテンツファイルを、自分の携帯端末で配信を受けて再生することができる。
ＭＰ４多重処理は，ビデオやオーディオなど複数メディアをトラックとして多重する。このときＭＰ４には、タイムスタンプに起因する同期ずれの問題が基本的にある。先頭データ即ち先頭サンプルのタイムスタンプが異なる複数のトラックを本実施形態のような工夫なしに単純にＭＰ４に多重化してしまうと、再生時に同期ずれが発生する。
【００２８】
図３は、実施形態の再生開始時刻の異なるビデオとオーディオストリームを説明するために示す図である。また図４は、実施形態のマルチメディアの多重化方法を説明するために示す図である。
【００２９】
各トラックは、ビデオやオーディオのフレームに相当するサンプルという単位のデータをもつ。サンプルは、タイムスタンプやデータ長などの情報があり、これらは所定の方式で符号化される。このうち、タイムスタンプはサンプルごとの値が符号化されるのではなく、連続したサンプルのタイムスタンプの差分の値を符号化する。そして先頭のサンプルのタイムスタンプを０として取り扱う。このため、図３に示すような先頭サンプルのタイムスタンプが異なりギャップ（ＡＳ−ＶＳ）のあるトラックをそのままＭＰ４に多重してしまうと、図４（ａ）に示す通り再生時に同期ずれが発生する。この図４（ａ）の例では時間順にビデオでＶ１，Ｖ２，Ｖ３の区間があり、オーディオでＡ２，Ａ３の区間がある。ビデオでＶ２，Ｖ３の区間と、オーディオでＡ２，Ａ３の区間とはそれぞれ再生時間が対応しているが、先頭サンプルのタイムスタンプは異なる。
【００３０】
そこで、先頭サンプルのタイムスタンプが異なるトラックを多重する場合には、図４（ｂ）に示す実施形態のように先頭サンプルのタイムスタンプが遅いトラックにダミーサンプルを挿入し、ビデオとオーディオとの先頭サンプルのタイムスタンプをそろえてから多重を行う。
【００３１】
入力されたオーディオストリームとビデオストリームの先頭サンプル（フレーム）のタイムスタンプが異なる場合には、先頭サンプルのタイムスタンプが遅いトラックにダミーサンプルを挿入し、このダミーサンプルのタイムスタンプを、先頭サンプルのタイムスタンプが早いトラックの先頭サンプルのタイムスタンプと同じにし、先頭サンプルのタイムスタンプをそろえてから多重を行う。この例ではオーディオストリームが遅いトラックであり、ダミーサンプルＡＤを挿入している。ＡＤの時間長は図３に示したギャップに等しくなるようにする。一般には、遅いトラックが複数あれば各々適切な時間長でダミーサンプルを作成・挿入すればよい。
【００３２】
ここで挿入するダミーサンプルは、オーディオ符号化部２やビデオ符号化部１がなくても生成可能なサンプルであることが望ましい。
ビデオの場合は、単一色フレームや先頭フレームへのフェードイン画像が考えられ、ビデオ符号化方式がＨ．２６４／ＡＶＣの場合、イントラDC予測のみで符号化されたフレームとすればグレーフレーム（黒一色フレームでも可）を生成・活用でき、先頭フレームを参照フレームとし重みづけ予測を使用することでフェードイン画像が生成できる。オーディオの場合は、無音フレームが好適である。
【００３３】
これらの符号化データをあらかじめストリーム多重部３で持ち合わせておき、上記の場合に挿入すればよい。なお本実施例では、オーディオとビデオの多重のみ示したが、その他の字幕文、文字データなどのテキストデータや静止画の多重においても同様である。
【００３４】
上記実施形態の効果として、複数トラックを含むＭＰ４ストリームを再生する際に、ストリーム以外の情報なしに、複数トラックで同期のとれた再生が可能となる。以上をまとめると次のようになる。
【００３５】
<背景・課題>
マルチメディアの記録フォーマットとしてＭＰ４がある。
ＭＰ４は、ビデオやオーディオなど複数メディアをトラックとして多重する。各トラックは、ビデオやオーディオのフレームに相当するサンプルという単位のデータをもつ。
【００３６】
サンプルは、タイムスタンプやデータ長などの情報があり、これらを所定の方式で符号化される。
このうち、タイムスタンプはサンプルごとの値が符号化されるのではなく、連続したサンプルのタイムスタンプの差分の値を符号化する。そして先頭のサンプルのタイムスタンプを０として取り扱う。
【００３７】
このため、先頭サンプルのタイムスタンプが異なるトラックをそのままMP4に多重してしまうと、再生時に同期ずれが発生する。
<解決手段>
トラックの先頭にダミーサンプルを挿入する。
ダミーサンプルは再生障害の起因とならないもの、ビデオであれば黒フレーム、オーディオであれば無音、またはトラック先頭サンプルへのフェードインなどが好適である。
【００３８】
<効果>
MP4ストリームのみで、同期のとれた複数トラックのコンテンツを再生できる。MP4規格準拠のプレーヤーで再生可能である。
実施形態の効果として、複数トラックを含むＭＰ４ストリームを再生する際に、ストリーム以外の情報なしに、複数トラックで同期のとれた再生が可能となる。
なお、この発明は上記実施形態に限定されるものではなく、この外その要旨を逸脱しない範囲で種々変形して実施することができる。
また、上記した実施の形態に開示されている複数の構成要素を適宜に組み合わせることにより、種々の発明を形成することができる。例えば、実施の形態に示される全構成要素から幾つかの構成要素を削除しても良いものである。さらに、異なる実施の形態に係わる構成要素を適宜組み合わせても良いものである。
【符号の説明】
【００３９】
１ ビデオ符号化部
２ オーディオ符号化部
３ ストリーム多重部
１００ 送信装置
１１０ 制御部
１１１ エンコーダ
２００ 通信網
３００ 受信装置
３１０ 表示部
３２０ 制御部
３２１ デコーダ
３３０ 操作部
【特許請求の範囲】
【請求項１】
入力される複数のメディアのそれぞれを符号化する符号化手段と、
該符号化されたメディアをこれらメディア相互の再生タイミングを合わせながら多重化する多重化手段とを備え、
前記多重化手段は、前記符号化手段により符号化された複数のメディアのうち先頭タイミングが遅延している方のメディアに対し、前記遅延分の時間長のダミーデータを挿入して多重化することを特徴とするメディア符号化装置。
【請求項２】
前記多重化手段による多重化は、ＭＰ４（ISO/IEC Part 12 ISO Base Media File Format）ファイル形式によることを特徴とする請求項１記載のメディア符号化装置。
【請求項３】
前記符号化がビデオ符号化である場合このビデオ符号化で用いられる符号化処理は、Ｈ．２６４／ＡＶＣ方式によることを特徴とする請求項１記載のメディア符号化装置。
【請求項４】
更に放送信号を受信し選局をおこなうチューナを備え、このチューナの出力を前記入力される複数のメディアとして用いることを特徴とする請求項１記載のメディア符号化装置。
【請求項５】
入力される複数のメディアのそれぞれを符号化し、
該符号化されたメディアをこれらメディア相互の再生タイミングを合わせながら多重化し、
前記符号化された複数のメディアのうち先頭タイミングが遅延している方のメディアに対し、前記遅延分の時間長のダミーデータを挿入して多重化することを特徴とするメディア符号化方法。
【請求項１】
入力される複数のメディアのそれぞれを符号化する符号化手段と、
該符号化されたメディアをこれらメディア相互の再生タイミングを合わせながら多重化する多重化手段とを備え、
前記多重化手段は、前記符号化手段により符号化された複数のメディアのうち先頭タイミングが遅延している方のメディアに対し、前記遅延分の時間長のダミーデータを挿入して多重化することを特徴とするメディア符号化装置。
【請求項２】
前記多重化手段による多重化は、ＭＰ４（ISO/IEC Part 12 ISO Base Media File Format）ファイル形式によることを特徴とする請求項１記載のメディア符号化装置。
【請求項３】
前記符号化がビデオ符号化である場合このビデオ符号化で用いられる符号化処理は、Ｈ．２６４／ＡＶＣ方式によることを特徴とする請求項１記載のメディア符号化装置。
【請求項４】
更に放送信号を受信し選局をおこなうチューナを備え、このチューナの出力を前記入力される複数のメディアとして用いることを特徴とする請求項１記載のメディア符号化装置。
【請求項５】
入力される複数のメディアのそれぞれを符号化し、
該符号化されたメディアをこれらメディア相互の再生タイミングを合わせながら多重化し、
前記符号化された複数のメディアのうち先頭タイミングが遅延している方のメディアに対し、前記遅延分の時間長のダミーデータを挿入して多重化することを特徴とするメディア符号化方法。
【図１】
【図２】
【図３】
【図４】
【図５】
【図２】
【図３】
【図４】
【図５】
【公開番号】特開２０１１−１５５５３８（Ｐ２０１１−１５５５３８Ａ）
【公開日】平成２３年８月１１日（２０１１．８．１１）
【国際特許分類】
【出願番号】特願２０１０−１６２２８（Ｐ２０１０−１６２２８）
【出願日】平成２２年１月２８日（２０１０．１．２８）
【出願人】（０００００３０７８）株式会社東芝 (54,554)
【Ｆターム（参考）】
【公開日】平成２３年８月１１日（２０１１．８．１１）
【国際特許分類】
【出願日】平成２２年１月２８日（２０１０．１．２８）
【出願人】（０００００３０７８）株式会社東芝 (54,554)
【Ｆターム（参考）】
[ Back to top ]