マルチメディアファイル生成・記録装置とその生成・記録方法
【課題】 長時間撮影後の記録終了時間を記録時間にかかわらずに一定で短く抑えること。
【解決手段】 多重化部２０２は、入力されるデータのヘッダ情報等のメタデータを生成するマルチメディアデータ生成制御部１０１と、複数の可変データファイル♯１〜♯Ｎを生成し、符号化したメディアデータとマルチメディアデータ生成制御部１０１で生成したメタデータとをそれぞれ生成した複数のファイルに格納する可変データファイル生成部１０２と、可変データファイル生成部１０２で生成された複数のファイル♯１〜♯Ｎを結合するファイル結合処理部１０３とから構成され、メディアデータとメタデータ内の可変長部分とをそれぞれ別ファイルとして並列に出力し、記録終了時にファイル管理システムの管理情報操作で結合する。
【解決手段】 多重化部２０２は、入力されるデータのヘッダ情報等のメタデータを生成するマルチメディアデータ生成制御部１０１と、複数の可変データファイル♯１〜♯Ｎを生成し、符号化したメディアデータとマルチメディアデータ生成制御部１０１で生成したメタデータとをそれぞれ生成した複数のファイルに格納する可変データファイル生成部１０２と、可変データファイル生成部１０２で生成された複数のファイル♯１〜♯Ｎを結合するファイル結合処理部１０３とから構成され、メディアデータとメタデータ内の可変長部分とをそれぞれ別ファイルとして並列に出力し、記録終了時にファイル管理システムの管理情報操作で結合する。
【発明の詳細な説明】
【技術分野】
【０００１】
本発明は、マルチメディアファイル生成・記録装置とその生成・記録方法に関し、特に、マルチメディア処理、動画像処理などに使用される情報処理装置のマルチメディアファイル生成・記録装置とその生成・記録方法に関する。
【０００２】
更に詳しくは、特に、ＭＰＥＧ−４ファイルフォーマット(以下、ＭＰ４という)に代表されるメディアデータ(実データ部)とメタデータ(再生情報部、ヘッダ部)とが完全に分離しているマルチメディアファイルを生成・記録する装置に関する。
【背景技術】
【０００３】
デジタルビデオカメラに代表される録画装置によりＡＶ(Ａｕｄｉｏ／Ｖｉｄｅｏ)データを保存・記録することが一般的になってきた。ＡＶデータを保存する形式としては、ＤＶカセットに格納するＤＶ形式、ＰＣ上で入力動画像をキャプチャした際に選択できるＡＶＩ形式などがある。また近年、ＴＶ電話に代表されるＩＴＵ−Ｔ Ｈ．３２４によるＡＶデータ伝送も行われている。
【０００４】
これらのマルチメディアデータ格納形式の一つとして、ＭＰ４(ISO/IEC14496-1:2001/Amd6,"Informationtechnology-Codingofaudio-visualobjects-Part1:Systems-Amendment6:MP4,theMPEG-4fileformat")がある。このＭＰ４形式の特徴として、ファイル上でメディアデータ(実データ部)とメタデータ(再生情報部、ヘッダ部)とが完全に分離しているという特徴がある。
【０００５】
このような性質をもつため、記録終了時でないとメタデータのサイズが確定できず、記録終了処理に時間がかかってしまうという欠点があった。
【０００６】
上記のような欠点を解消するものとして、以下の特許文献１に示すようなファイル変換システムが提案されている。
【０００７】
特許文献１に示されたファイル変換の方法は、図９に示したように、メタデータ格納領域９０１とメディアデータ格納領域９０２の間に、予めメタデータのサイズを予測して、フリーデータ格納領域９０３を設け、このフリーデータ格納領域９０３を事前にフリーデータで埋めておく。
【０００８】
そして、ファイル変換した際、メタデータ部のデータが増えた場合、メタデータ格納領域９０１とフリーデータ格納領域９０３内に、変換後のファイルヘッダ情報であるメタデータ９０５を記録することで、メディアデータ格納領域９０２内のメディアデータの再コピーの発生を抑え、記録処理時間とメモリ消費量を軽減している。
【特許文献１】特開２００３−１７３６２５号公報（請求項１、図１７）
【発明の開示】
【発明が解決しようとする課題】
【０００９】
しかしながら、特許文献１に示した方法は、メタデータのサイズが予測できる場合には有効ではあるが、最大記録時間を定めない長時間動画撮影時においては、メタデータサイズの上限はきめられないため、上記特許文献１に示した方法は使用できない。
【００１０】
また、特許文献１にも記載されているが、メタデータとメディアデータを最後に確定してＭＰ４ファイルを生成する場合、ファイルのコピー・削除処理が必要となり、記録時間とともにファイルサイズの増加するメタデータもしくはメディアデータを最後に書き込むことになり、記録終了処理時間がかかってしまうという問題がある。
【００１１】
本発明は、かかる点に鑑みてなされたものであり、長時間撮影後の記録終了時間（次のファイルが撮影できるまでの時間）を記録時間にかかわらずに一定で短く抑えることができ、よりストレスを感じさせないユーザフレンドリーなマルチメディアファイル生成・記録装置とその生成・記録方法を提供することを目的とする。
【課題を解決するための手段】
【００１２】
本発明のマルチメディアファイル生成・記録装置は、ビデオデータ及びオーディオデータを含むメディアデータと前記メディアデータと完全に分離しメディアデータを再生させるために必要な情報を含むメタデータとを含んだマルチメディアファイルを生成するマルチメディアファイル生成・記録装置において、前記メディアデータを記録するための１つ以上の第１のファイルとメタデータを記録するための１つ以上の第２のファイルとをそれぞれ生成するファイル生成手段と、前記第１のファイル及び第２のファイルにデータを並列して記録するデータ記録手段と、前記記録したファイルの記録終了時に、前記第１のファイル及び第２のファイルを結合して一つのマルチメディアファイルを生成するファイル結合手段と、を具備する構成を採る。
【００１３】
又、本発明のマルチメディアファイル生成・記録方法は、ビデオ及びオーディオを含むメディアデータと前記メディアデータと完全に分離しメディアデータを再生させるために必要な情報を含むメタデータとを含んだマルチメディアファイルを生成するマルチメディアファイル生成・記録方法であって、前記メディアデータを記録するための第１のファイルとメタデータを記録するための複数の可変長の第２のファイルとをそれぞれ生成する第１の工程と、前記第１のファイル及び第２のファイルにデータを並列して記録する第２の工程と、前記記録したファイルの記録終了時に、前記第１のファイル及び複数の第２のファイルを結合して一つのマルチメディアファイルを生成する第３の工程と、を具備する方法を採る。
【発明の効果】
【００１４】
本発明によれば、動画撮影機能を有する機器において、本発明のマルチメディアファイル生成・記録装置及び方法を用いれば、動画記録フォーマットとして、メディアデータとメタデータとが分離している、例えば、ＭＰ４等の形式を採用しても、長時間撮影後の記録終了時間（次のファイルが撮影できるまでの時間）を記録時間にかかわらずに一定で短く抑えることができ、よりストレスを感じさせないユーザフレンドリーなマルチメディアファイル生成・記録装置とその生成・記録方法を提供することができる。
【発明を実施するための最良の形態】
【００１５】
以下に、本発明の実施の形態について、図面を参照して詳細に説明する。
【００１６】
図１は、本発明の一実施の形態に係わるマルチメディアファイル生成・記録装置の多重化部の構成を示すブロック図、図２は、本発明のマルチメディアファイル生成・記録装置の全体の構成を示す図である。
【００１７】
以下においては、映像及び音声データを含むメディアデータと前記メディアデータと完全に分離しメディアデータを再生させるために必要な情報を含むメタデータとを含んだマルチメディアファイルデータとして、ビデオをＭＰＥＧ４Ｖｉｄｅｏ（ISO/IEC 14496 part-2: Visual）、オーディオをＭＰＥＧ４ＡＡＣ(Moving Picture Experts Group phase 4 Advanced Audio Coding)としたものを例に説明する。
【００１８】
図２において、符号化部２００は、リアルタイムに入力されるビデオデータを圧縮し、ＭＰＥＧ４Ｖｉｄｅｏ形式などに符号化する。符号化部２０１は、リアルタイムに入力されるオーディオデータを圧縮し、ＭＰＥＧ４ＡＡＣなどに符号化する。多重化部２０２は、符号化部２００、符号化部２０１から出力されるデータをＭＰ４形式に多重化して、多重化データを生成する。出力部２０３は、多重化部２０２からの多重化データをファイルとしてメモリに出力する、又は、ネットワークに送出する。
【００１９】
多重化部２０２は、図１に、その詳細な構成が示されている。図１に示したように、多重化部２０２は、入力されるデータのヘッダ情報等のメタデータを生成するマルチメディアデータ生成制御部１０１と、複数の可変データファイル♯１〜♯Ｎを生成し、符号化したメディアデータとマルチメディアデータ生成制御部１０１で生成したメタデータとをそれぞれ生成した複数のファイルに格納する可変データファイル生成部１０２と、可変データファイル生成部１０２で生成された複数のファイル♯１〜♯Ｎを結合するファイル結合処理部１０３とから構成される。
【００２０】
次に、本発明で用いるファイル結合処理部１０３について説明する。
【００２１】
一般的に、コンピュータ上でファイル管理するファイル管理システムでは、以下の機能を具備している。
【００２２】
（１）複数ファイルの同時オープンと順不同の書き込み処理
（２）ファイル管理システムの管理情報制御による２ファイルのクラスタ単位での結合処理
上記（１）の機能により、メディアデータとメタデータとを可変情報単位に、複数のファイルを同時にオープンし、並列にデータを書き込み、ファイルを作成することができる。又、（２）の機能により、（１）で並列にそれぞれ作成したファイルをファイルコピーすることなしに、クラスタ単位で一つのファイルに結合・変換できる。クラスタとはファイルを扱う最小限のサイズのことである。
【００２３】
従って、本発明では、本発明のマルチメディアファイルを管理しているファイル管理システムの管理情報操作に従って結合するように構成したものである。
【００２４】
次に、上記構成を有するマルチメディアファイル生成・記録装置の動作について、図４〜図７に用いて説明する。なお、図４〜図７において、ＭＰ４ＭＵＸが、多重化部２０２に対応している。
【００２５】
ここで、ごく簡単に、ＭＰ４のデータ構造について、図３を参照して説明しておく。
【００２６】
ＭＰ４ファイルは、「Ｂｏｘ」と称される基本単位で構成される。ＭＰ４のメタデータ全体を格納するＢｏｘは、Movie Boxであり、図３においては、３０１がMovie Box に該当し、本発明では、moovと表記している。
【００２７】
又、メディアデータ全体を格納するＢｏｘは、Media Data Boxであり、図３においては、３０２がMedia Data Boxに該当し、本発明では、mdatと表記している。又、ＭＰ４ファイルフォーマットには、上記した必須Ｂｏｘの他、ユーザが自由に定義できるＢｏｘもある。
【００２８】
又、Movie Box内には、mdat内の所望のデータをアクセスするための、例えば、stts, stsc, stsz, stco, stss等のパラメータを用いるようになっているが、本発明と直接関連しないので、詳細な説明を省略する。
【００２９】
まず、記録開始の準備処理について説明する（図４）。
【００３０】
（ａ）ＭＰ４記録の準備処理として、マルチメディアデータ生成制御部１０１が、記録するメディアなどの特性より可変データにすべき項目を判定する（この例の場合、９個の項目が必要である）。
【００３１】
（ｂ）この可変データ項目数に応じて、可変データファイル生成部１０２に必要な機能を割り当て、ファイル（Ｆｉｌｅ＃１〜９）を作成する。ここで、Ｆｉｌｅ＃１には、メディアデータが格納され、Ｆｉｌｅ＃２〜９には、メタデータが格納される。
【００３２】
（ｃ）記録開始前にわかる固定値情報（記録メディア情報など）をそれぞれに書き込み記録開始の準備処理を終了する。
【００３３】
次に、記録中について説明する（図５）。
【００３４】
記録中は、符号化部２００、２０１からリアルタイムに入力されるビデオやオーディオのデータに対して、可変データファイル生成部１０２を介して以下のような処理を行う。
【００３５】
（ａ）エンコードされたビデオ・オーディオのデータ（ＶＯＰ、フレーム）をmdat（Ｆｉｌｅ＃１）に書き込む。
【００３６】
（ｂ）各ビデオ・オーディオのデータのタイムスタンプ、サイズ、ファイル位置、キーフラグよりstts, stsc, stsz, stco, stssの情報（Ｆｉｌｅ＃２〜９）を追記する。
【００３７】
（ｃ）この時、各ファイルへの書き込み単位は、書き込み効率をあげるため一定量単位（例えば、１６ＫＢ単位など）で書き込む。
【００３８】
次に、記録終了について説明する（図６）。
【００３９】
記録終了時には、入力されるビデオやオーディオのデータを確定して、可変データファイル生成部１０２を介して以下の処理をおこなう。
【００４０】
（ａ）未処理の可変長ファイル（Ｆｉｌｅ＃１〜９）の情報を確定する。
【００４１】
（ｂ）最後にならなければわからない情報（各Ｂｏｘサイズ情報、再生時間）を更新する。
【００４２】
（ｃ）Ｆｉｌｅ＃１〜８のファイル（最後に結合するファイルを除いて）に対して、各１６ＫＢの倍数になるようにuuidBoxを書き込む（ＭＰ４規格でユーザ独自に決定できるＢｏｘとしてuuidが定義されている）。
【００４３】
なお、この実施の形態では、ファイルシステムとして１６ＫＢ単位のクラスタで扱っているとする。
【００４４】
（ｄ）Ｆｉｌｅ＃９に対しては、udta情報(タイトルなど)があれば、書き込む。なお、Ｆｉｌｅ＃９はファイル終端であるため、１６ＫＢのクラスタアラインは必要ない。
【００４５】
最後に、記録ファイル確定について説明する（図７）。
【００４６】
記録ファイル確定時には、ファイル結合処理部１０３を介して処理をおこなう。
【００４７】
（ａ）Ｆｉｌｅ＃１〜９の各ファイルをファイル管理システムの管理情報を変更することにより順番に結合し、ＭＰ４ファイル７０１として確定する。
【００４８】
なお、本発明では、ファイルを結合する際、ファイルをファイルシステムの管理情報操作だけで結合し、フリーデータのサイズや結合順序によって、可変長ファイル内の既存情報を更新するように構成している。
【００４９】
図８は、本実施の形態に係るマルチメディアファイル生成・記録装置の動作を示すフローチャートである。図８に示すように、本実施の形態に係るマルチメディアファイル生成・記録装置の動作は、メディアデータを記録するための第１のファイル＃１とメタデータを記録するための複数の可変長の第２のファイル＃２〜９とをそれぞれ生成する第１の工程（ＳＴ８０１）と、前記第１のファイル＃１及び第２のファイル＃２〜９にデータを並列して記録する第２の工程（ＳＴ８０２）と、前記記録したファイルの記録終了時に、前記第１のファイル＃１及び複数の第２のファイル＃２〜９を結合して一つのマルチメディアファイル（ＭＰ４ファイル７０１）を生成する第３の工程（ＳＴ８０３）と、を含むものである。
【００５０】
次に、上記の処理おこなった際、記録終了からファイル確定にかかる処理時間を見積もると以下のようになる。
【００５１】
なお、見積条件として、ファイル管理システムの性能は、Ｗｒｉｔｅ動作には、１６ＫＢ以内の１書き込みに２０msを要し、結合動作には、ファイルサイズによらず１５０msを要するものとし計算した。
【００５２】
【表１】
(*1)再生時間情報は、mvhd, tkhd(V), mdhd(V), tkhd(A), mdhd(A)の５つである。
(*2)uudiBox内情報は、無視されるためSize+Typeの８バイトのみ書き込む。
【００５３】
以上のように、記録時間によらず、２秒弱で記録終了処理が終わることになるが、同じファイル管理システムを用い、長時間記録をおこなったときに、例えば、最後にメタデータをメディアデータの後に書き込むような処理をおこない、メタデータが１０Ｍバイト発生したとすると、書き込み時間(msec)は、１０２４０／１６×２０＝１２９００となり１３秒強かかってしまい、かつ１０ＭＢ分のメタデータを一度ファイル上に展開していたとすると、ファイルシステムへのＲｅａｄ動作とＷｒｉｔｅ動作とが交互に発生し、更に、処理時間が長くなることになる。
【００５４】
以上のように、本発明の実施の形態によれば、最大記録時間を定めない、長時間マルチメディアファイル記録時においても、記録終了処理時にデータコピー(Ｗｒｉｔｅ)処理が軽減され、ファイル結合処理とあわせても記録終了処理時間が短時間で一定となり、かつＭＰ４規格に沿った記録ができることになる。
【００５５】
又、ファイル管理システムを用いて記録をおこなっていても、ファイルコピーが発生せず、可変長ファイルのサイズに依存せず、結合処理時間は一定になるため、記録時間に依存せず、記録終了処理時間を短時間で一定時間以内にできる。
【００５６】
又、ファイル管理システムのクラスタ単位で各可変長ファイルを扱ってもマルチメディアファイルフォーマット規格に準拠し、既存のマルチメディアファイル再生装置での再生が可能になる。
【００５７】
なお、上記実施の形態では、ＭＰＥＧ４Ｖｉｄｅｏ＋ＭＰＥＧ４ＡＡＣのＭＰ４記録を前提にして説明したが、これ以外の異なるコーデックを使用した場合や、ＭＰ４と同じメタデータとメディアデータとが分離したような形式をとるファイルフォーマットに対しても、上記と同様に適用可能である。
【００５８】
又、本発明のマルチメディアファイル生成・記録装置を、動画撮影機能を有する通信端末装置や、移動体通信端末装置に搭載すると、撮影した動画をより多くの装置に伝送可能で、且つ、多くの装置で鑑賞することが可能になり、使い勝手が向上する。
【産業上の利用可能性】
【００５９】
本発明は、特に、マルチメディアファイルのデータ変換・配信に用いるのに好適である。
【図面の簡単な説明】
【００６０】
【図１】本発明の一実施の形態に係るマルチメディアファイル生成・記録装置の多重化部の構成を示すブロック図
【図２】本発明の上記実施の形態に係るマルチメディアファイル生成・記録装置の構成を示すブロック図
【図３】本発明の上記実施の形態に係るＭＰ４のデータ構造を示す図
【図４】本発明の上記実施の形態に係るＭＰ４記録開始時のイメージを示す図
【図５】本発明の上記実施の形態に係るＭＰ４記録中のイメージを示す図
【図６】本発明の上記実施の形態に係るＭＰ４記録終了時のイメージを示す図
【図７】本発明の上記実施の形態に係るＭＰ４記録終了後のＭＰ４ファイルイメージを示す図
【図８】本発明の上記実施の形態に係るマルチメディアファイル生成・記録装置の動作を示すフローチャート
【図９】従来技術を説明する図
【符号の説明】
【００６１】
１０１ マルチメディアデータ生成制御部
１０２ 可変データファイル生成部
１０３ ファイル結合処理部
２００、２０１ 符号化部
２０２ 多重化部
２０３ 出力部
【技術分野】
【０００１】
本発明は、マルチメディアファイル生成・記録装置とその生成・記録方法に関し、特に、マルチメディア処理、動画像処理などに使用される情報処理装置のマルチメディアファイル生成・記録装置とその生成・記録方法に関する。
【０００２】
更に詳しくは、特に、ＭＰＥＧ−４ファイルフォーマット(以下、ＭＰ４という)に代表されるメディアデータ(実データ部)とメタデータ(再生情報部、ヘッダ部)とが完全に分離しているマルチメディアファイルを生成・記録する装置に関する。
【背景技術】
【０００３】
デジタルビデオカメラに代表される録画装置によりＡＶ(Ａｕｄｉｏ／Ｖｉｄｅｏ)データを保存・記録することが一般的になってきた。ＡＶデータを保存する形式としては、ＤＶカセットに格納するＤＶ形式、ＰＣ上で入力動画像をキャプチャした際に選択できるＡＶＩ形式などがある。また近年、ＴＶ電話に代表されるＩＴＵ−Ｔ Ｈ．３２４によるＡＶデータ伝送も行われている。
【０００４】
これらのマルチメディアデータ格納形式の一つとして、ＭＰ４(ISO/IEC14496-1:2001/Amd6,"Informationtechnology-Codingofaudio-visualobjects-Part1:Systems-Amendment6:MP4,theMPEG-4fileformat")がある。このＭＰ４形式の特徴として、ファイル上でメディアデータ(実データ部)とメタデータ(再生情報部、ヘッダ部)とが完全に分離しているという特徴がある。
【０００５】
このような性質をもつため、記録終了時でないとメタデータのサイズが確定できず、記録終了処理に時間がかかってしまうという欠点があった。
【０００６】
上記のような欠点を解消するものとして、以下の特許文献１に示すようなファイル変換システムが提案されている。
【０００７】
特許文献１に示されたファイル変換の方法は、図９に示したように、メタデータ格納領域９０１とメディアデータ格納領域９０２の間に、予めメタデータのサイズを予測して、フリーデータ格納領域９０３を設け、このフリーデータ格納領域９０３を事前にフリーデータで埋めておく。
【０００８】
そして、ファイル変換した際、メタデータ部のデータが増えた場合、メタデータ格納領域９０１とフリーデータ格納領域９０３内に、変換後のファイルヘッダ情報であるメタデータ９０５を記録することで、メディアデータ格納領域９０２内のメディアデータの再コピーの発生を抑え、記録処理時間とメモリ消費量を軽減している。
【特許文献１】特開２００３−１７３６２５号公報（請求項１、図１７）
【発明の開示】
【発明が解決しようとする課題】
【０００９】
しかしながら、特許文献１に示した方法は、メタデータのサイズが予測できる場合には有効ではあるが、最大記録時間を定めない長時間動画撮影時においては、メタデータサイズの上限はきめられないため、上記特許文献１に示した方法は使用できない。
【００１０】
また、特許文献１にも記載されているが、メタデータとメディアデータを最後に確定してＭＰ４ファイルを生成する場合、ファイルのコピー・削除処理が必要となり、記録時間とともにファイルサイズの増加するメタデータもしくはメディアデータを最後に書き込むことになり、記録終了処理時間がかかってしまうという問題がある。
【００１１】
本発明は、かかる点に鑑みてなされたものであり、長時間撮影後の記録終了時間（次のファイルが撮影できるまでの時間）を記録時間にかかわらずに一定で短く抑えることができ、よりストレスを感じさせないユーザフレンドリーなマルチメディアファイル生成・記録装置とその生成・記録方法を提供することを目的とする。
【課題を解決するための手段】
【００１２】
本発明のマルチメディアファイル生成・記録装置は、ビデオデータ及びオーディオデータを含むメディアデータと前記メディアデータと完全に分離しメディアデータを再生させるために必要な情報を含むメタデータとを含んだマルチメディアファイルを生成するマルチメディアファイル生成・記録装置において、前記メディアデータを記録するための１つ以上の第１のファイルとメタデータを記録するための１つ以上の第２のファイルとをそれぞれ生成するファイル生成手段と、前記第１のファイル及び第２のファイルにデータを並列して記録するデータ記録手段と、前記記録したファイルの記録終了時に、前記第１のファイル及び第２のファイルを結合して一つのマルチメディアファイルを生成するファイル結合手段と、を具備する構成を採る。
【００１３】
又、本発明のマルチメディアファイル生成・記録方法は、ビデオ及びオーディオを含むメディアデータと前記メディアデータと完全に分離しメディアデータを再生させるために必要な情報を含むメタデータとを含んだマルチメディアファイルを生成するマルチメディアファイル生成・記録方法であって、前記メディアデータを記録するための第１のファイルとメタデータを記録するための複数の可変長の第２のファイルとをそれぞれ生成する第１の工程と、前記第１のファイル及び第２のファイルにデータを並列して記録する第２の工程と、前記記録したファイルの記録終了時に、前記第１のファイル及び複数の第２のファイルを結合して一つのマルチメディアファイルを生成する第３の工程と、を具備する方法を採る。
【発明の効果】
【００１４】
本発明によれば、動画撮影機能を有する機器において、本発明のマルチメディアファイル生成・記録装置及び方法を用いれば、動画記録フォーマットとして、メディアデータとメタデータとが分離している、例えば、ＭＰ４等の形式を採用しても、長時間撮影後の記録終了時間（次のファイルが撮影できるまでの時間）を記録時間にかかわらずに一定で短く抑えることができ、よりストレスを感じさせないユーザフレンドリーなマルチメディアファイル生成・記録装置とその生成・記録方法を提供することができる。
【発明を実施するための最良の形態】
【００１５】
以下に、本発明の実施の形態について、図面を参照して詳細に説明する。
【００１６】
図１は、本発明の一実施の形態に係わるマルチメディアファイル生成・記録装置の多重化部の構成を示すブロック図、図２は、本発明のマルチメディアファイル生成・記録装置の全体の構成を示す図である。
【００１７】
以下においては、映像及び音声データを含むメディアデータと前記メディアデータと完全に分離しメディアデータを再生させるために必要な情報を含むメタデータとを含んだマルチメディアファイルデータとして、ビデオをＭＰＥＧ４Ｖｉｄｅｏ（ISO/IEC 14496 part-2: Visual）、オーディオをＭＰＥＧ４ＡＡＣ(Moving Picture Experts Group phase 4 Advanced Audio Coding)としたものを例に説明する。
【００１８】
図２において、符号化部２００は、リアルタイムに入力されるビデオデータを圧縮し、ＭＰＥＧ４Ｖｉｄｅｏ形式などに符号化する。符号化部２０１は、リアルタイムに入力されるオーディオデータを圧縮し、ＭＰＥＧ４ＡＡＣなどに符号化する。多重化部２０２は、符号化部２００、符号化部２０１から出力されるデータをＭＰ４形式に多重化して、多重化データを生成する。出力部２０３は、多重化部２０２からの多重化データをファイルとしてメモリに出力する、又は、ネットワークに送出する。
【００１９】
多重化部２０２は、図１に、その詳細な構成が示されている。図１に示したように、多重化部２０２は、入力されるデータのヘッダ情報等のメタデータを生成するマルチメディアデータ生成制御部１０１と、複数の可変データファイル♯１〜♯Ｎを生成し、符号化したメディアデータとマルチメディアデータ生成制御部１０１で生成したメタデータとをそれぞれ生成した複数のファイルに格納する可変データファイル生成部１０２と、可変データファイル生成部１０２で生成された複数のファイル♯１〜♯Ｎを結合するファイル結合処理部１０３とから構成される。
【００２０】
次に、本発明で用いるファイル結合処理部１０３について説明する。
【００２１】
一般的に、コンピュータ上でファイル管理するファイル管理システムでは、以下の機能を具備している。
【００２２】
（１）複数ファイルの同時オープンと順不同の書き込み処理
（２）ファイル管理システムの管理情報制御による２ファイルのクラスタ単位での結合処理
上記（１）の機能により、メディアデータとメタデータとを可変情報単位に、複数のファイルを同時にオープンし、並列にデータを書き込み、ファイルを作成することができる。又、（２）の機能により、（１）で並列にそれぞれ作成したファイルをファイルコピーすることなしに、クラスタ単位で一つのファイルに結合・変換できる。クラスタとはファイルを扱う最小限のサイズのことである。
【００２３】
従って、本発明では、本発明のマルチメディアファイルを管理しているファイル管理システムの管理情報操作に従って結合するように構成したものである。
【００２４】
次に、上記構成を有するマルチメディアファイル生成・記録装置の動作について、図４〜図７に用いて説明する。なお、図４〜図７において、ＭＰ４ＭＵＸが、多重化部２０２に対応している。
【００２５】
ここで、ごく簡単に、ＭＰ４のデータ構造について、図３を参照して説明しておく。
【００２６】
ＭＰ４ファイルは、「Ｂｏｘ」と称される基本単位で構成される。ＭＰ４のメタデータ全体を格納するＢｏｘは、Movie Boxであり、図３においては、３０１がMovie Box に該当し、本発明では、moovと表記している。
【００２７】
又、メディアデータ全体を格納するＢｏｘは、Media Data Boxであり、図３においては、３０２がMedia Data Boxに該当し、本発明では、mdatと表記している。又、ＭＰ４ファイルフォーマットには、上記した必須Ｂｏｘの他、ユーザが自由に定義できるＢｏｘもある。
【００２８】
又、Movie Box内には、mdat内の所望のデータをアクセスするための、例えば、stts, stsc, stsz, stco, stss等のパラメータを用いるようになっているが、本発明と直接関連しないので、詳細な説明を省略する。
【００２９】
まず、記録開始の準備処理について説明する（図４）。
【００３０】
（ａ）ＭＰ４記録の準備処理として、マルチメディアデータ生成制御部１０１が、記録するメディアなどの特性より可変データにすべき項目を判定する（この例の場合、９個の項目が必要である）。
【００３１】
（ｂ）この可変データ項目数に応じて、可変データファイル生成部１０２に必要な機能を割り当て、ファイル（Ｆｉｌｅ＃１〜９）を作成する。ここで、Ｆｉｌｅ＃１には、メディアデータが格納され、Ｆｉｌｅ＃２〜９には、メタデータが格納される。
【００３２】
（ｃ）記録開始前にわかる固定値情報（記録メディア情報など）をそれぞれに書き込み記録開始の準備処理を終了する。
【００３３】
次に、記録中について説明する（図５）。
【００３４】
記録中は、符号化部２００、２０１からリアルタイムに入力されるビデオやオーディオのデータに対して、可変データファイル生成部１０２を介して以下のような処理を行う。
【００３５】
（ａ）エンコードされたビデオ・オーディオのデータ（ＶＯＰ、フレーム）をmdat（Ｆｉｌｅ＃１）に書き込む。
【００３６】
（ｂ）各ビデオ・オーディオのデータのタイムスタンプ、サイズ、ファイル位置、キーフラグよりstts, stsc, stsz, stco, stssの情報（Ｆｉｌｅ＃２〜９）を追記する。
【００３７】
（ｃ）この時、各ファイルへの書き込み単位は、書き込み効率をあげるため一定量単位（例えば、１６ＫＢ単位など）で書き込む。
【００３８】
次に、記録終了について説明する（図６）。
【００３９】
記録終了時には、入力されるビデオやオーディオのデータを確定して、可変データファイル生成部１０２を介して以下の処理をおこなう。
【００４０】
（ａ）未処理の可変長ファイル（Ｆｉｌｅ＃１〜９）の情報を確定する。
【００４１】
（ｂ）最後にならなければわからない情報（各Ｂｏｘサイズ情報、再生時間）を更新する。
【００４２】
（ｃ）Ｆｉｌｅ＃１〜８のファイル（最後に結合するファイルを除いて）に対して、各１６ＫＢの倍数になるようにuuidBoxを書き込む（ＭＰ４規格でユーザ独自に決定できるＢｏｘとしてuuidが定義されている）。
【００４３】
なお、この実施の形態では、ファイルシステムとして１６ＫＢ単位のクラスタで扱っているとする。
【００４４】
（ｄ）Ｆｉｌｅ＃９に対しては、udta情報(タイトルなど)があれば、書き込む。なお、Ｆｉｌｅ＃９はファイル終端であるため、１６ＫＢのクラスタアラインは必要ない。
【００４５】
最後に、記録ファイル確定について説明する（図７）。
【００４６】
記録ファイル確定時には、ファイル結合処理部１０３を介して処理をおこなう。
【００４７】
（ａ）Ｆｉｌｅ＃１〜９の各ファイルをファイル管理システムの管理情報を変更することにより順番に結合し、ＭＰ４ファイル７０１として確定する。
【００４８】
なお、本発明では、ファイルを結合する際、ファイルをファイルシステムの管理情報操作だけで結合し、フリーデータのサイズや結合順序によって、可変長ファイル内の既存情報を更新するように構成している。
【００４９】
図８は、本実施の形態に係るマルチメディアファイル生成・記録装置の動作を示すフローチャートである。図８に示すように、本実施の形態に係るマルチメディアファイル生成・記録装置の動作は、メディアデータを記録するための第１のファイル＃１とメタデータを記録するための複数の可変長の第２のファイル＃２〜９とをそれぞれ生成する第１の工程（ＳＴ８０１）と、前記第１のファイル＃１及び第２のファイル＃２〜９にデータを並列して記録する第２の工程（ＳＴ８０２）と、前記記録したファイルの記録終了時に、前記第１のファイル＃１及び複数の第２のファイル＃２〜９を結合して一つのマルチメディアファイル（ＭＰ４ファイル７０１）を生成する第３の工程（ＳＴ８０３）と、を含むものである。
【００５０】
次に、上記の処理おこなった際、記録終了からファイル確定にかかる処理時間を見積もると以下のようになる。
【００５１】
なお、見積条件として、ファイル管理システムの性能は、Ｗｒｉｔｅ動作には、１６ＫＢ以内の１書き込みに２０msを要し、結合動作には、ファイルサイズによらず１５０msを要するものとし計算した。
【００５２】
【表１】
(*1)再生時間情報は、mvhd, tkhd(V), mdhd(V), tkhd(A), mdhd(A)の５つである。
(*2)uudiBox内情報は、無視されるためSize+Typeの８バイトのみ書き込む。
【００５３】
以上のように、記録時間によらず、２秒弱で記録終了処理が終わることになるが、同じファイル管理システムを用い、長時間記録をおこなったときに、例えば、最後にメタデータをメディアデータの後に書き込むような処理をおこない、メタデータが１０Ｍバイト発生したとすると、書き込み時間(msec)は、１０２４０／１６×２０＝１２９００となり１３秒強かかってしまい、かつ１０ＭＢ分のメタデータを一度ファイル上に展開していたとすると、ファイルシステムへのＲｅａｄ動作とＷｒｉｔｅ動作とが交互に発生し、更に、処理時間が長くなることになる。
【００５４】
以上のように、本発明の実施の形態によれば、最大記録時間を定めない、長時間マルチメディアファイル記録時においても、記録終了処理時にデータコピー(Ｗｒｉｔｅ)処理が軽減され、ファイル結合処理とあわせても記録終了処理時間が短時間で一定となり、かつＭＰ４規格に沿った記録ができることになる。
【００５５】
又、ファイル管理システムを用いて記録をおこなっていても、ファイルコピーが発生せず、可変長ファイルのサイズに依存せず、結合処理時間は一定になるため、記録時間に依存せず、記録終了処理時間を短時間で一定時間以内にできる。
【００５６】
又、ファイル管理システムのクラスタ単位で各可変長ファイルを扱ってもマルチメディアファイルフォーマット規格に準拠し、既存のマルチメディアファイル再生装置での再生が可能になる。
【００５７】
なお、上記実施の形態では、ＭＰＥＧ４Ｖｉｄｅｏ＋ＭＰＥＧ４ＡＡＣのＭＰ４記録を前提にして説明したが、これ以外の異なるコーデックを使用した場合や、ＭＰ４と同じメタデータとメディアデータとが分離したような形式をとるファイルフォーマットに対しても、上記と同様に適用可能である。
【００５８】
又、本発明のマルチメディアファイル生成・記録装置を、動画撮影機能を有する通信端末装置や、移動体通信端末装置に搭載すると、撮影した動画をより多くの装置に伝送可能で、且つ、多くの装置で鑑賞することが可能になり、使い勝手が向上する。
【産業上の利用可能性】
【００５９】
本発明は、特に、マルチメディアファイルのデータ変換・配信に用いるのに好適である。
【図面の簡単な説明】
【００６０】
【図１】本発明の一実施の形態に係るマルチメディアファイル生成・記録装置の多重化部の構成を示すブロック図
【図２】本発明の上記実施の形態に係るマルチメディアファイル生成・記録装置の構成を示すブロック図
【図３】本発明の上記実施の形態に係るＭＰ４のデータ構造を示す図
【図４】本発明の上記実施の形態に係るＭＰ４記録開始時のイメージを示す図
【図５】本発明の上記実施の形態に係るＭＰ４記録中のイメージを示す図
【図６】本発明の上記実施の形態に係るＭＰ４記録終了時のイメージを示す図
【図７】本発明の上記実施の形態に係るＭＰ４記録終了後のＭＰ４ファイルイメージを示す図
【図８】本発明の上記実施の形態に係るマルチメディアファイル生成・記録装置の動作を示すフローチャート
【図９】従来技術を説明する図
【符号の説明】
【００６１】
１０１ マルチメディアデータ生成制御部
１０２ 可変データファイル生成部
１０３ ファイル結合処理部
２００、２０１ 符号化部
２０２ 多重化部
２０３ 出力部
【特許請求の範囲】
【請求項１】
ビデオ及びオーディオデータを含むメディアデータと前記メディアデータと完全に分離しメディアデータを再生させるために必要な情報を含むメタデータとを含んだマルチメディアファイルを生成するマルチメディアファイル生成・記録装置において、
前記メディアデータを記録するための１つ以上の第１のファイルと、メタデータを記録するための１つ以上の第２のファイルとをそれぞれ生成するファイル生成手段と、
前記第１のファイル及び第２のファイルにデータを並列して記録するデータ記録手段と、
前記記録したファイルの記録終了時に、前記第１のファイル及び第２のファイルを結合して一つのマルチメディアファイルを生成するファイル結合手段と、
を具備することを特徴とするマルチメディアファイル生成・記録装置。
【請求項２】
前記ファイル結合手段は、記録終了時に、並列に出力している前記第１及び第２のファイルをファイル管理システムのクラスタ又はクラスタの倍数単位のファイルにし、前記クラスタ又はクラスタの倍数単位のファイルを、前記マルチメディアファイルを管理しているファイル管理システムの管理情報操作に従って結合することを特徴とする請求項１記載のマルチメディアファイル生成・記録装置。
【請求項３】
前記ファイルを結合する際、前記マルチメディアファイルのフォーマットにおいて定義されているデータ、もしくは、独自に定義したフリーデータを挿入した後、ファイルを結合することを特徴とする請求項２記載のマルチメディアファイル生成・記録装置。
【請求項４】
前記ファイルを結合する際、前記ファイルを前記ファイルシステムの管理情報操作だけで結合し、前記フリーデータのサイズや結合順序によって、第１及び第２のファイル内の既存情報を更新することを特徴とする請求項２記載のマルチメディアファイル生成・記録装置。
【請求項５】
ビデオデータ及びオーディオデータを含むメディアデータと前記メディアデータと完全に分離しメディアデータを再生させるために必要な情報を含むメタデータとを含んだマルチメディアファイルを生成するマルチメディアファイル生成・記録方法であって、
前記メディアデータを記録するための第１のファイルとメタデータを記録するための複数の可変長の第２のファイルとをそれぞれ生成する第１の工程と、
前記第１のファイル及び第２のファイルにデータを並列して記録する第２の工程と、
前記記録したファイルの記録終了時に、前記第１のファイル及び複数の第２のファイルを結合して一つのマルチメディアファイルを生成する第３の工程と、
を具備することを特徴とするマルチメディアファイル生成・記録方法。
【請求項６】
前記第３の工程では、記録終了時に、前記可変長ファイルである前記第２のファイルをファイル管理システムのクラスタ又はクラスタの倍数単位のファイルにし、前記クラスタ又はクラスタの倍数単位のファイルを、前記マルチメディアファイルを管理しているファイル管理システムの管理情報操作に従って結合することを特徴とする請求項５記載のマルチメディアファイル生成・記録方法。
【請求項７】
前記ファイルを結合する際、前記マルチメディアファイルのフォーマットにおいて定義されているデータ、もしくは、独自に定義したフリーデータを挿入した後、ファイルを結合することを特徴とする請求項６記載のマルチメディアファイル生成・記録方法。
【請求項８】
前記ファイルを結合する際、前記ファイルを前記ファイルシステムの管理情報操作だけで結合し、前記フリーデータのサイズや結合順序によって、第１及び第２のファイル内の既存情報を更新することを特徴とする請求項６記載のマルチメディアファイル生成・記録方法。
【請求項９】
請求項１から請求項４のいずれかに記載のマルチメディアファイル生成・記録装置を備えることを特徴とする動画撮影機能を有する情報処理装置。
【請求項１】
ビデオ及びオーディオデータを含むメディアデータと前記メディアデータと完全に分離しメディアデータを再生させるために必要な情報を含むメタデータとを含んだマルチメディアファイルを生成するマルチメディアファイル生成・記録装置において、
前記メディアデータを記録するための１つ以上の第１のファイルと、メタデータを記録するための１つ以上の第２のファイルとをそれぞれ生成するファイル生成手段と、
前記第１のファイル及び第２のファイルにデータを並列して記録するデータ記録手段と、
前記記録したファイルの記録終了時に、前記第１のファイル及び第２のファイルを結合して一つのマルチメディアファイルを生成するファイル結合手段と、
を具備することを特徴とするマルチメディアファイル生成・記録装置。
【請求項２】
前記ファイル結合手段は、記録終了時に、並列に出力している前記第１及び第２のファイルをファイル管理システムのクラスタ又はクラスタの倍数単位のファイルにし、前記クラスタ又はクラスタの倍数単位のファイルを、前記マルチメディアファイルを管理しているファイル管理システムの管理情報操作に従って結合することを特徴とする請求項１記載のマルチメディアファイル生成・記録装置。
【請求項３】
前記ファイルを結合する際、前記マルチメディアファイルのフォーマットにおいて定義されているデータ、もしくは、独自に定義したフリーデータを挿入した後、ファイルを結合することを特徴とする請求項２記載のマルチメディアファイル生成・記録装置。
【請求項４】
前記ファイルを結合する際、前記ファイルを前記ファイルシステムの管理情報操作だけで結合し、前記フリーデータのサイズや結合順序によって、第１及び第２のファイル内の既存情報を更新することを特徴とする請求項２記載のマルチメディアファイル生成・記録装置。
【請求項５】
ビデオデータ及びオーディオデータを含むメディアデータと前記メディアデータと完全に分離しメディアデータを再生させるために必要な情報を含むメタデータとを含んだマルチメディアファイルを生成するマルチメディアファイル生成・記録方法であって、
前記メディアデータを記録するための第１のファイルとメタデータを記録するための複数の可変長の第２のファイルとをそれぞれ生成する第１の工程と、
前記第１のファイル及び第２のファイルにデータを並列して記録する第２の工程と、
前記記録したファイルの記録終了時に、前記第１のファイル及び複数の第２のファイルを結合して一つのマルチメディアファイルを生成する第３の工程と、
を具備することを特徴とするマルチメディアファイル生成・記録方法。
【請求項６】
前記第３の工程では、記録終了時に、前記可変長ファイルである前記第２のファイルをファイル管理システムのクラスタ又はクラスタの倍数単位のファイルにし、前記クラスタ又はクラスタの倍数単位のファイルを、前記マルチメディアファイルを管理しているファイル管理システムの管理情報操作に従って結合することを特徴とする請求項５記載のマルチメディアファイル生成・記録方法。
【請求項７】
前記ファイルを結合する際、前記マルチメディアファイルのフォーマットにおいて定義されているデータ、もしくは、独自に定義したフリーデータを挿入した後、ファイルを結合することを特徴とする請求項６記載のマルチメディアファイル生成・記録方法。
【請求項８】
前記ファイルを結合する際、前記ファイルを前記ファイルシステムの管理情報操作だけで結合し、前記フリーデータのサイズや結合順序によって、第１及び第２のファイル内の既存情報を更新することを特徴とする請求項６記載のマルチメディアファイル生成・記録方法。
【請求項９】
請求項１から請求項４のいずれかに記載のマルチメディアファイル生成・記録装置を備えることを特徴とする動画撮影機能を有する情報処理装置。
【図１】
【図２】
【図３】
【図４】
【図５】
【図６】
【図７】
【図８】
【図９】
【図２】
【図３】
【図４】
【図５】
【図６】
【図７】
【図８】
【図９】
【公開番号】特開２００６−７２８３５（Ｐ２００６−７２８３５Ａ）
【公開日】平成１８年３月１６日（２００６．３．１６）
【国際特許分類】
【出願番号】特願２００４−２５７４７６（Ｐ２００４−２５７４７６）
【出願日】平成１６年９月３日（２００４．９．３）
【出願人】（０００００５８２１）松下電器産業株式会社 (73,050)
【Ｆターム（参考）】
【公開日】平成１８年３月１６日（２００６．３．１６）
【国際特許分類】
【出願日】平成１６年９月３日（２００４．９．３）
【出願人】（０００００５８２１）松下電器産業株式会社 (73,050)
【Ｆターム（参考）】
[ Back to top ]