動画像の多重化方法とファイル読み込み方法及び装置，並びにそのプログラムとコンピュータ読み取り可能な記録媒体
【課題】異なる色空間等を持つ複数の動画像の間で予測符号化して作成された符号化データを多重化して格納しているファイルから所望の色空間等の動画像の符号化データを取り出すときの負荷を低減する。
【解決手段】多重化装置１０は，フレーム先頭位置情報設定部１１４が設定した動画像のフレーム先頭のファイル中の位置情報と，動画像番号設定部１１２が設定した動画像を区別する動画像番号と，色空間情報設定部１１３が設定したフレームの色空間を示す色空間情報を，管理情報多重化部１１６によって多重化し，符号化データの特定の位置に設定する。
【解決手段】多重化装置１０は，フレーム先頭位置情報設定部１１４が設定した動画像のフレーム先頭のファイル中の位置情報と，動画像番号設定部１１２が設定した動画像を区別する動画像番号と，色空間情報設定部１１３が設定したフレームの色空間を示す色空間情報を，管理情報多重化部１１６によって多重化し，符号化データの特定の位置に設定する。
【発明の詳細な説明】
【技術分野】
【０００１】
本発明は，フレーム間予測符号化方式を使った画像符号化データの多重化に関する技術である。
【背景技術】
【０００２】
映像符号化には，スケーラブル符号化や多視点映像符号化といった，レイヤ符号化を適用する符号化方式がある。スケーラブル符号化では，ＳＮＲスケーラビリティや空間スケーラビリティ等の機能を実現できる。ＳＮＲスケーラビリティとは，ベースレイヤの符号化データに対して符号化データを追加することで画像の画品質を向上する機能であり，空間スケーラビリティとは，ベースレイヤの符号化データに対して符号化データを追加することで画像の空間解像度を向上する機能である。
【０００３】
スケーラブル符号化の概念図を図１３に示す。図１３に示すように，復号画像あるいは符号化情報をレイヤ間で再利用することにより，符号量の削減が図られている。
【０００４】
近年では，映像符号化方式Ｈ．２６４の拡張方式としてＳＶＣと呼ぶ方式がＡｎｎｅｘＧとして標準化されている（非特許文献１参照）。
【０００５】
また，多視点映像符号化においてもレイヤ符号化が適用される。近年では，やはり映像符号化方式Ｈ．２６４の拡張方式としてＭＶＣと呼ぶ方式が標準化されようとしている。ＭＶＣでは，複数の視点映像をまとめて符号化する仕組みが採用されている。動画像の符号化では動き補償符号化が利用されるが，多視点映像の場合には，動き補償に加えて，視点映像間でフレーム間予測符号化を適用する視差補償符号化を利用する。ＭＶＣでは視差補償を利用することで，個別に視点映像を符号化するよりも圧縮効率を向上できる。また，ＭＶＣでは，アプリケーションとして自由視点映像といった，視聴者が自由に視点位置を選択できる映像表現を想定している（非特許文献２，非特許文献３参照）。
【０００６】
このため，映像シーンを非常に多くのカメラで撮影しておき，視聴者が見たい視点位置の映像を選択するような利用方法が想定されている。すなわち，撮影した多くの視点映像データのうち，いくつかを選択して復号して再生することが想定されている。このように非常に多くの視点映像からいくつかの視点映像を選択して復号する機能を視点映像スケーラビリティと呼ぶ。ＭＶＣは多視点映像を想定した符号化方式ではあるが，まとめて符号化する対象はカメラ映像に限定されない。すなわち，一般的に複数の動画像をまとめて圧縮する符号化方式と考えることができる。
【０００７】
このＭＶＣでは，前述のとおり，非常に多くの動画像からいくつかの動画像を選択して復号することを実現するため，スケーラブル符号化のように１つのベースレイヤに対してレイヤ構造を持つのではなく，複数のベースレイヤに対してレイヤ構造を持つような構成となる。
【０００８】
図１４はＭＶＣの参照関係の例，図１５はＭＶＣの符号化データの構成例を示す図である。例えば，図１４に示すような参照関係がある場合には，ＭＶＣの符号化データは同じ時刻のフレームについて図１５に示すような構成になる。この同じ時刻のフレームの固まりをアクセスユニットと呼ぶ。ＭＶＣではベースレイヤに相当するレイヤが複数存在する。ＭＶＣでは動画像間の参照関係をサブセットＳＰＳ（subset＿seq ＿parameter ＿set ）の中のＭＶＣ拡張部分で記述する。サブセットＳＰＳは符号化データ中に含まれ，複数設定できる。各フレームでは，利用するサブセットＳＰＳを指定することができる。
【０００９】
さらに，ＭＶＣでは非常に多くの視点映像を扱うため，高い圧縮効率が望まれる。撮影した映像を圧縮するのではなく，ある一部の視点映像の空間解像度やビット深度を小さくすることで情報量を減らして圧縮できれば，圧縮効率を向上できる。また，色空間についても，全ての視点映像で同一にする必要はない。撮影に利用するカメラによっては，得られる映像信号の色空間は異なる場合がある。ここで想定する「色空間が異なる」ことの意味は，３色であればＲＧＢやＹＵＶ等で色空間が正に異なることや，また，グレースケールと３色のように色数が異なることや，色が同じであっても特定の色だけサンプリング周波数が異なることを指す。このように，ＭＶＣでは，空間解像度，ビット深度，色空間の異なる複数の視点映像をまとめて符号化する場合がある。視点映像ごとに空間解像度やビット深度や色空間を指定できるが，このような映像信号の表現情報はパラメータセットとして符号化データの中に含まれる（非特許文献４参照）。
【００１０】
一方，このような映像符号化データをファイル化して保存するために，ファイルフォーマット技術が利用される。ファイルフォーマットとは，符号化データを多重化するための技術でもあり，符号化データストリームを構造化しておくことで，特定の情報に関する符号化データを低遅延で取り出す機能を有する。一般的にファイルフォーマットでは，各種のデータストリームをトラックに格納して，トラックの情報を特定の時刻を単位に分割して多重化する。各トラックには，映像または音声の符号化データの他に，ＣＧデータや著作権情報などのメタデータが格納される。
【００１１】
もっとも簡単なファイルフォーマットとしては，ＡＶＩフォーマットが挙げられる。ＡＶＩフォーマットは，映像データと音声データを１フレーム単位に多重化する。そのほかにも国際標準化されているフォーマットとして，ＩＳＯメディアファイルフォーマットが挙げられる。ＩＳＯフォーマットでは，フレームに相当するものとしてサンプルを定義し，サンプルを単位にトラックを分割して多重化する。
【００１２】
ＩＳＯメディアファイルフォーマットでは，符号化データの他に，フレーム番号等の時刻情報とフレーム先頭のファイル中の位置情報を管理情報として，別のトラックとして構成することができる。ファイルを再生する場合には，この管理情報を記録したトラックを調べることで，フレームの先頭位置情報を知ることができ，所望のフレームの先頭に低遅延でアクセスすることが可能となる。
【００１３】
ファイル中におけるトラックや管理情報の関係の例を図１６に示す。符号化データトラックには，各動画像の符号化データが格納され，管理情報トラックには，各時刻におけるフレームの位置情報等が格納される。前述したＳＶＣ用にもファイルフォーマットが提案されている。ＳＶＣもトラックを単位にファイルを構成する（非特許文献５参照）。
【非特許文献１】Heiko Schwarz, Detlev Marpe, and Thomas Wiegand,“Overview of the Scalable Video Coding Extension of the H.264/AVC Standard ”, IEEE TRANSACTIONS ON CIRCUITS AND SYSTEMS FOR VIDEO TECHNOLOGY, VOL.17, NO.9, SEPTEMBER 2007, pp.1103-1120.
【非特許文献２】木全英明，“ＭＰＥＧ ３ＤＡＶ 国際標準化の動向”, 映像情報メディア学会誌 60, 2, pp.143-149, (2006)．
【非特許文献３】木全英明，“多視点映像符号化ＭＶＣの国際標準化動向”，映像情報メディア学会誌 61, 4, pp.426-430, (April 2007)．
【非特許文献４】木全英明, 志水信哉, 上倉一人, 八島由幸, “縮小参照画像を用いた多視点映像符号化の一検討”, 信学技報 MVE2007-25, pp.13-18, 2007 ．
【非特許文献５】Peter Amon, Thomas Rathgen, and David Singer, “File Format for Scalable Video Coding ”, IEEE TRANSACTIONS ON CIRCUITS AND SYSTEMS FOR VIDEO TECHNOLOGY, VOL.17, NO.9, SEPTEMBER 2007, pp.1174-1185.
【発明の開示】
【発明が解決しようとする課題】
【００１４】
ＭＶＣで空間解像度やビット深度や色空間が異なる視点映像がある場合に，特定の空間解像度やビット深度や色空間の視点映像のみを取り出すことができることは好適である。例えば，特定の空間解像度やビット深度や色空間の符号化データのみを復号できるような復号器を持っている場合に，一部の視点映像だけでも復号して画像を表示できるからである。
【００１５】
各視点映像の空間解像度やビット深度や色空間の情報はパラメータセットに記述されて符号化データの中に多重化されている。したがって，所望の空間解像度やビット深度や色空間の視点映像の符号化データを取り出す場合には，該当するパラメータセットの情報を符号化データ中から探し出す必要がある。このため，特にファイルに蓄積されている場合には，ファイルの先頭からパラメータセットを順次探して復号する必要があり，大きな負荷がかかっていた。
【００１６】
すなわち，本発明の課題は以下のとおりである。複数の動画像をまとめて符号化する場合に，色空間や空間解像度やビット深度の異なる動画像をまとめて符号化することを想定する。例えば撮影されるカメラの性能によって，これらの値は異なることがあり得る。このような動画像の符号化において，符号化データ中に個々の色空間や空間解像度やビット深度の情報を含めることができる。しかしながら，従来の符号化データの構成では，復号側では，これらの情報は符号化データを復号しなければ分からないため，所望の色空間や空間解像度やビット深度の動画像の符号化データを取り出すためには，大きな負荷がかかるという問題があった。
【００１７】
本発明は，このような所望の色空間や空間解像度やビット深度の動画像の符号化データを取り出すときの負荷を低減する新しい技術手段を提供することを目的とする。
【課題を解決するための手段】
【００１８】
本発明は，以上の課題を次のように解決する。符号化データを多重化するファイルフォーマット技術がある。このファイルフォーマット技術では，符号化データと管理情報に分けて，管理情報に各フレームの先頭位置情報を格納することが行われている。本発明では，このような管理情報に，フレーム先頭位置情報のほかに，色空間情報や空間解像度情報やビット深度情報も含める。これにより，管理情報を読み取るだけで，所望の色空間や空間解像度やビット深度のフレームの先頭位置を知ることができるため，そのようなフレームの符号化データを低負荷で取り出すことができる。
【００１９】
具体的には，本発明は，異なる色空間を持つ複数の動画像の間で予測符号化して作成された符号化データを多重化してファイルを構成する多重化方法であって，動画像のフレーム先頭のファイル中の位置情報と，動画像を区別する動画像番号と，該フレームの色空間を示す色空間情報とを多重化し，符号化データの特定の位置に設定することを特徴とする。
【００２０】
この多重化方法によれば，符号化データ中の特定の位置にある情報を復号することで，すべての符号化データを復号することなく，ファイルから所望の色空間の動画像のフレームの先頭位置を求めて，そのフレームの符号化データを取り出すことができる。同時に，符号化データを復号することなく，その動画像の動画像番号も求めることができる。これにより，所望の色空間の動画像の動画像番号が予め分かっている場合に，符号化データ中に含まれる色空間情報を探索して復号することなく，低遅延で，所望の動画像の符号化データを復号して再生することができる。
【００２１】
また，本発明は，異なる色空間を持つ複数の動画像の間で予測符号化して作成された符号化データを多重化してファイルを構成する多重化方法であって，動画像のフレーム先頭のファイル中の位置情報と，動画像を区別する動画像番号と，該フレームの色空間を示す色空間情報を第一のトラックとし，符号化データを第二のトラックとして，第一のトラックと第二のトラックをそれぞれ独立に多重化することを特徴とする。
【００２２】
この多重化方法によれば，第一トラックに含まれる色空間情報を復号することで，第二トラックの符号化データを復号することなく，ファイルから所望の色空間の動画像のフレームの先頭位置を求めて，そのフレームの符号化データを取り出すことができる。同時に，符号化データを復号することなく，その動画像の動画像番号も求めることができる。これにより，所望の色空間の動画像の動画像番号が予め分かっている場合に，符号化データ中に含まれる色空間情報を復号することなく，低遅延で，所望の動画像の符号化データを復号して再生することができる。
【００２３】
また，本発明は，異なる空間解像度を持つ複数の動画像の間で予測符号化して作成された符号化データを多重化してファイルを構成する多重化方法であって，動画像のフレーム先頭のファイル中の位置情報と，動画像を区別する動画像番号と，該フレームの空間解像度情報を多重化し，符号化データの特定の位置に設定することを特徴とする。
【００２４】
この多重化方法によれば，符号化データ中の特定の位置にある情報を復号することで，すべての符号化データを復号することなく，ファイルから所望の空間解像度の動画像のフレームの先頭位置を求めて，そのフレームの符号化データを取り出すことができる。同時に，符号化データを復号することなく，その動画像の動画像番号も求めることができる。これにより，所望の空間解像度の動画像の動画像番号が予め分かっている場合に，符号化データ中に含まれる空間解像度情報を探索して復号することなく，低遅延で，所望の動画像の符号化データを復号して再生することができる。
【００２５】
また，本発明は，異なる空間解像度を持つ複数の動画像の間で予測符号化して作成された符号化データを多重化してファイルを構成する多重化方法であって，動画像のフレーム先頭のファイル中の位置情報と，動画像を区別する動画像番号と，該フレームの空間解像度情報を第一のトラックとし，符号化データを第二のトラックとして，第一のトラックと第二のトラックをそれぞれ独立に多重化することを特徴とする。
【００２６】
この多重化方法によれば，第一トラックに含まれる空間解像度情報を復号することで，第二トラックの符号化データを復号することなく，ファイルから所望の空間解像度の動画像のフレームの先頭位置を求めて，そのフレームの符号化データを取り出すことができる。同時に，符号化データを復号することなく，その動画像の動画像番号も求めることができる。これにより，所望の空間解像度の動画像の動画像番号が予め分かっている場合に，符号化データ中に含まれる空間解像度情報を復号することなく，低遅延で，所望の動画像の符号化データを復号して再生することができる。
【００２７】
また，本発明は，異なるビット深度を持つ複数の動画像の間で予測符号化して作成された符号化データを 多重化してファイルを構成する多重化方法であって，動画像のフレーム先頭のファイル中の位置情報と，動画像を区別する動画像番号と，該フレームのビット深度情報を多重化し，符号化データの特定の位置に設定することを特徴とする。
【００２８】
この多重化方法によれば，符号化データ中の特定の位置にある情報を復号することで，すべての符号化データを復号することなく，ファイルから所望のビット深度の動画像のフレームの先頭位置を求めて，そのフレームの符号化データを取り出すことができる。同時に，符号化データを復号することなく，その動画像の動画像番号も求めることができる。これにより，所望のビット深度の動画像の動画像番号が予め分かっている場合に，符号化データ中に含まれるビット深度情報を探索して復号することなく，低遅延で，所望の動画像の符号化データを復号して再生することができる。
【００２９】
また，本発明は，異なるビット深度を持つ複数の動画像の間で予測符号化して作成された符号化データを多重化してファイルを構成する多重化方法であって，動画像のフレーム先頭のファイル中の位置情報と，動画像を区別する動画像番号と，該フレームのビット深度情報を第一のトラックとし，符号化データを第二のトラックとして，第一のトラックと第二のトラックをそれぞれ独立に多重化することを特徴とする。
【００３０】
この多重化方法によれば，第一トラックに含まれるビット深度情報を復号することで，第二トラックの符号化データを復号することなく，ファイルから所望のビット深度の動画像のフレームの先頭位置を求めて，そのフレームの符号化データを取り出すことができる。同時に，符号化データを復号することなく，その動画像の動画像番号も求めることができる。これにより，所望のビット深度の動画像の動画像番号が予め分かっている場合に，符号化データ中に含まれるビット深度情報を復号することなく，低遅延で，所望の動画像の符号化データを復号して再生することができる。
【００３１】
なお，以上では，フレーム単位に管理情報を設定する例について説明したが，本発明において，フレームを分割したスライス単位に管理情報を設定してもよい。この場合には，管理情報はフレーム先頭位置の代わりに，スライス先頭位置情報を含む。また，多重化や読み取りもフレーム単位ではなく，スライス単位で行う。
【発明の効果】
【００３２】
本発明によれば，色空間や空間解像度やビット深度の異なる複数の動画像をまとめて符号化した符号化データを多重化したファイルの中から，符号化データを復号することなく低演算負荷で，特定の色空間や空間解像度やビット深度の動画像の符号化データを取り出すことができる。
【発明を実施するための最良の形態】
【００３３】
以下，図面を用いて本発明の多重化方法と，多重化されたファイルを読み込んで再生する方法の実施例を説明する。
【００３４】
第１の実施例では，フレーム先頭の位置情報と動画像番号と色空間情報を管理情報として多重化し，全ての符号化データを多重化した最後に設定する場合の例を示す。動画像はＡ，Ｂ，Ｃ，Ｄの４つあり，予め符号化されていて，各動画像におけるフレーム先頭の位置情報は分かっているものとする。
【００３５】
図１に多重化装置の構成を示す。図１に示す多重化装置１０は，動画像Ａ，Ｂ，Ｃ，Ｄの符号化データをそれぞれ入力する動画像Ａ符号化データ入力部１０１，動画像Ｂ符号化データ入力部１０２，動画像Ｃ符号化データ入力部１０３，動画像Ｄ符号化データ入力部１０４と，各動画像のフレーム先頭の動画像中の位置情報をそれぞれ入力する動画像Ａフレーム位置情報入力部１０６，動画像Ｂフレーム位置情報入力部１０７，動画像Ｃフレーム位置情報入力部１０８，動画像Ｄフレーム位置情報入力部１０９と，動画像間の参照関係を示す情報を入力する参照関係データ入力部１０５と，動画像の色空間情報を入力する色空間データ入力部１１７と，動画像の符号化データやフレーム位置情報の入力を切り替えるデータ切り替え部１１０と，符号化データを多重化する符号化データ多重化部１１１と，動画像番号を設定する動画像番号設定部１１２と，色空間情報を設定する色空間情報設定部１１３と，フレーム位置の先頭情報を設定するフレーム先頭位置情報設定部１１４と，管理情報を多重化する管理情報多重化部１１６と，符号化データと管理情報を多重化するファイル多重化部１１５とから構成される。
【００３６】
以上のうち，動画像番号設定部１１２では，動画像Ａ，Ｂ，Ｃ，Ｄに対してそれぞれ動画像番号０，１，２，３を設定するものとする。動画像ＡからＤまでのフレーム位置情報入力部１０６〜１０９は，次のフレームの位置情報を入力するものとする。フレーム先頭位置情報設定部１１４は，各動画像のフレーム位置情報をカウントし，符号化データ多重化部１１１で符号化データを多重化した後における各フレームの位置情報を設定するものとする。色空間情報設定部１１３は，色空間がＹＵＶの３色の場合には色空間情報として１を設定し，グレースケールの場合には色空間情報として０を設定するものとする。ファイル多重化部１１５は，符号化データ多重化部１１１で作成された符号化データの後に，管理情報多重化部１１６で作成された管理情報を設定するものとする。符号化データ多重化部１１１は，参照関係データがある場合には各動画像の符号化データの前に多重化するものとする。
【００３７】
データ切り替え部１１０は，参照関係データに従い，次のように符号化データとファイル先頭位置情報を切り替えるものとする。動画像ＡからＤまで順に，まず独立して復号できる動画像かどうかを判定する。独立して復号できる場合には，そのまま選択する。独立して復号できない場合には，参照する動画像の符号化データを既に選択したかどうかを判定する。既に選択した場合には，そのまま選択し，まだ選択していない場合には，参照する動画像が全て選択されるまで，その動画像を選択しない。
【００３８】
動画像間の参照関係は全て動画像ＡとＣは独立して復号でき，動画像Ｂは動画像Ａを参照し，動画像Ｄは動画像Ｃを参照するものとする。
【００３９】
動画像の色空間は動画像ＡとＢはＹＵＶ３色であり，動画像ＣとＤはグレースケールであるとする。
【００４０】
以上の前提で動画像Ａ，Ｂ，Ｃ，Ｄの各フレームを多重化する場合には，動画像の各フレームは，次のように多重化される。
【００４１】
まず，先頭フレームについては，次のように多重化される。参照関係データ入力部１０５は，動画像間の参照関係データを入力する。データ切り替え部１１０は，参照関係データに従って符号化データを多重化する順序を決定する。ここでは，次の順序に決定する。動画像Ａは独立して復号できるため，まず動画像Ａを選択する。動画像Ｂは動画像Ａのみを参照するため，次に動画像Ｂを選択する。動画像Ｃは独立して復号できるため，次に動画像Ｃを選択する。そして動画像Ｄを選択する。符号化データ多重化部１１１は，参照関係データを多重化する。フレーム先頭位置情報設定部１１４は，参照関係データのデータサイズ分だけファイルサイズを加算する。
【００４２】
多重化する順序に従い，データ切り替え部１１０は，符号化データとフレーム先頭位置情報を切り替える。まず動画像Ａを選択する。動画像Ａ符号化データ入力部１０１は，符号化データを１フレーム分入力し，動画像Ａフレーム位置情報入力部１０６は，次のフレームのフレーム位置情報を入力する。符号化データ多重化部１１１は，符号化データを多重化する。フレーム先頭位置情報設定部１１４は，入力されたフレーム位置情報をファイルサイズに加算し，ファイルのフレーム位置情報として設定する。動画像番号設定部１１２は，動画像番号０を設定する。色空間情報設定部１１３は，色空間データ入力部１１７からの入力に基づき，色空間情報として１を設定する。管理情報多重化部１１６は，フレーム位置情報と動画像番号と色空間情報を多重化する。
【００４３】
続いてデータ切り替え部１１０は，動画像Ｂを選択する。動画像Ｂ符号化データ入力部１０２は，符号化データを１フレーム分入力し，動画像Ｂフレーム位置情報入力部１０７は，次のフレームのフレーム位置情報を入力する。符号化データ多重化部１１１は，符号化データを多重化する。フレーム先頭位置情報設定部１１４は，入力されたフレーム位置情報をファイルサイズに加算し，ファイルのフレーム位置情報として設定する。動画像番号設定部１１２は，動画像番号１を設定する。色空間情報設定部１１３は，色空間情報として１を設定する。管理情報多重化部１１６は，フレーム位置情報と動画像番号と色空間情報を多重化する。
【００４４】
続いてデータ切り替え部１１０は，動画像Ｃを選択する。動画像Ｃ符号化データ入力部１０３は，符号化データを１フレーム分入力し，動画像Ｃフレーム位置情報入力部１０８は，次のフレームのフレーム位置情報を入力する。符号化データ多重化部１１１は，符号化データを多重化する。フレーム先頭位置情報設定部１１４は，入力されたフレーム位置情報をファイルサイズに加算し，ファイルのフレーム位置情報として設定する。動画像番号設定部１１２は，動画像番号２を設定する。色空間情報設定部１１３は，色空間情報として０を設定する。管理情報多重化部１１６は，フレーム位置情報と動画像番号と色空間情報を多重化する。
【００４５】
続いてデータ切り替え部１１０は，動画像Ｄを選択する。動画像Ｄ符号化データ入力部１０４は，符号化データを１フレーム分入力し，動画像Ｄフレーム位置情報入力部１０９は，次のフレームのフレーム位置情報を入力する。符号化データ多重化部１１１は，符号化データを多重化する。フレーム先頭位置情報設定部１１４は，入力されたフレーム位置情報をファイルサイズに加算し，ファイルのフレーム位置情報として設定する。動画像番号設定部１１２は，動画像番号３を設定する。色空間情報設定部１１３は，色空間情報として０を設定する。管理情報多重化部１１６は，フレーム位置情報と動画像番号と色空間情報を多重化する。
【００４６】
以上の動画像Ａ，Ｂ，Ｃ，Ｄの処理を多重化するフレーム全てについて続ける。最後に，ファイル多重化部１１５は，符号化データ多重化部１１１で得られる符号化データと，管理情報多重化部１１６で得られる管理情報を多重化してファイルを作成する。以上の処理でファイルに多重化することができる。
【００４７】
本実施例では，予め符号化して得られた符号化データとファイル先頭位置情報から多重化してファイルを作成する例を示したが，符号化データを作成しつつファイルを構成してもよい。
【００４８】
次に，多重化されたファイルから特定の動画像で所望の色空間の符号化データを取り出すファイル読み込み方法について動作を説明する。図２にファイル読み込み装置の構成を示す。図２に示すように，ファイル読み込み装置２０は，ファイルを読み込むファイル入力部２０１と，管理情報を読み取る管理情報読み取り部２０２と，管理情報から所望の色空間情報を探索する色空間情報探索部２０４と，管理情報から動画像番号を判定する動画像番号判定部２０３と，管理情報からフレーム先頭位置情報を読み取るフレーム先頭位置情報設定部２０５と，フレーム先頭位置情報に従ってファイルから符号化データを読み取る符号化データ読み取り部２０６とで構成される。
【００４９】
図１の多重化装置１０で作成されたファイルからグレースケールの動画像Ｃの符号化データを読み取る場合の動作を示す。
【００５０】
ファイル入力部２０１は，ファイルを入力する。管理情報読み取り部２０２は，ファイルの後半にある管理情報を読み取る。色空間情報探索部２０４は，第１フレームで色空間情報がグレースケールの動画像の管理情報を探索する。動画像番号判定部２０３は，探索して得られた管理情報の動画像番号が２であるかどうかを判定する。最初に探索される動画像番号は２であるので，フレーム先頭位置情報設定部２０５は，このフレームのフレーム先頭位置情報を設定する。符号化データ読み取り部２０６は，設定されたファイル位置から符号化データを読み取る。このとき，フレーム先頭位置情報設定部２０５で得られる次のフレームの先頭位置までを読み取る。次に第１フレームで色空間情報探索部２０４で探索されて動画像番号判定部２０３で判定される管理情報の動画像番号は３であるので，そのフレームは復号しない。
【００５１】
以後のフレームについても，同様に動画像Ｃの符号化データを読み取る。
【００５２】
ここで動画像Ｃの符号化データのみを読み取るようにしたが，特定の色空間の動画像の符号化データを全て読み取るようにしてもよい。この場合のファイル読み込み装置の構成は図３のファイル読み込み装置２１のようになり，図２の構成から動画像番号判定部２０３を省いた構成となる。この場合に，グレースケールの動画像の符号化データを読み取るときには，次のように処理される。
【００５３】
ファイル入力部２０１は，ファイルを入力する。管理情報読み取り部２０２は，ファイルの後半にある管理情報を読み取る。色空間情報探索部２０４は，第１フレームで色空間情報がグレースケールの動画像の管理情報を探索する。最初に探索される動画像番号２のフレームについて，フレーム先頭位置情報設定部２０５は，このフレームのフレーム先頭位置情報を設定する。符号化データ読み取り部２０６は，設定されたファイル位置から符号化データを読み取る。このとき，フレーム先頭位置情報設定部２０５で得られる次のフレームの先頭位置までを読み取る。次に第１フレームで探索される動画像番号３のフレームについて，フレーム先頭位置情報設定部２０５は，このフレームのフレーム先頭位置情報を設定する。符号化データ読み取り部２０６は，設定されたファイル位置から符号化データを読み取る。このとき，フレーム先頭位置情報設定部２０５で得られる次のフレームの先頭位置までを読み取る。
【００５４】
以後のフレームについても，同様にグレースケールの動画像の符号化データを読み取る。
【００５５】
このように本実施例によれば，符号化データ中に含まれる色空間情報を復号することなく，特定の色空間情報の符号化データを取り出すことができる。
【００５６】
なお本実施例では，グレースケールの動画像の符号化データを読み込む場合の処理を示したが，ＹＵＶ３色の動画像の符号化データを読み込むようにしてもよい。
【００５７】
なお，本実施例の多重化装置１０では，符号化データの後に管理情報を設定したが，ファイルにトラックの構造が設定されている場合には，管理情報を第一トラックに設定し，符号化データを第二トラックに設定してもよい。
【００５８】
図４に，ファイル中におけるトラックや管理情報の構成例を示す。作成されたファイルには，符号化データトラック３０と管理情報トラック４０とがあり，符号化データトラック３０には，動画像Ａ符号化データ３１，動画像Ｂ符号化データ３２，…が格納される。また，管理情報トラック４０には，各時刻Ｔｎごとの管理情報４１，４２，４３，…が格納され，これらには各々，フレーム先頭位置情報，動画像番号，色空間情報などの情報が格納される。
【００５９】
第２の実施例では，異なる空間解像度の動画像データを多重化し，特定の空間解像度の符号化データを読み込む場合の例を示す。第２の実施例では，フレーム先頭の位置情報と動画像番号と空間解像度情報を管理情報として多重化し，全ての符号化データを多重化した最後に設定する場合の例を示す。第１の実施例と同様に，動画像はＡ，Ｂ，Ｃ，Ｄの４つあり，予め符号化されていて，各動画像におけるフレーム先頭の位置情報は分かっているものとする。
【００６０】
図５に多重化装置の構成を示す。図５に示す多重化装置１１は，動画像Ａ，Ｂ，Ｃ，Ｄの符号化データをそれぞれ入力する動画像Ａ符号化データ入力部１０１，動画像Ｂ符号化データ入力部１０２，動画像Ｃ符号化データ入力部１０３，動画像Ｄ符号化データ入力部１０４と，各動画像のフレーム先頭の動画像中の位置情報をそれぞれ入力する動画像Ａフレーム位置情報入力部１０６，動画像Ｂフレーム位置情報入力部１０７，動画像Ｃフレーム位置情報入力部１０８，動画像Ｄフレーム位置情報入力部１０９と，動画像間の参照関係を示す情報を入力する参照関係データ入力部１０５と，動画像の空間解像度情報を入力する空間解像度データ入力部１１９と，動画像の符号化データやフレーム位置情報の入力を切り替えるデータ切り替え部１１０と，符号化データを多重化する符号化データ多重化部１１１と，動画像番号を設定する動画像番号設定部１１２と，空間解像度情報を設定する空間解像度情報設定部１１８と，フレーム位置の先頭情報を設定するフレーム先頭位置情報設定部１１４と，管理情報を多重化する管理情報多重化部１１６と，符号化データと管理情報を多重化するファイル多重化部１１５とから構成される。
【００６１】
以上のうち，動画像番号設定部１１２では，動画像Ａ，Ｂ，Ｃ，Ｄに対してそれぞれ動画像番号０，１，２，３を設定するものとする。動画像ＡからＤまでのフレーム位置情報入力部１０６〜１０９は，次のフレームの位置情報を入力するものとする。フレーム先頭位置情報設定部１１４は，各動画像のフレーム位置情報をカウントし，符号化データ多重化部１１１で符号化データを多重化した後における各フレームの位置情報を設定するものとする。空間解像度情報設定部１１８は，空間解像度がＶＧＡ（横６４０縦４８０画素）の場合には空間解像度情報として１を設定し，ＱＶＧＡ（横３２０縦２４０画素）の場合には空間解像度情報として０を設定するものとする。ファイル多重化部１１５は，符号化データ多重化部１１１で作成された符号化データの後に，管理情報多重化部１１６で作成された管理情報を設定するものとする。符号化データ多重化部１１１は，参照関係データがある場合には各動画像の符号化データの前に多重化するものとする。
【００６２】
データ切り替え部１１０は，参照関係データに従い，次のように符号化データとファイル先頭位置情報を切り替えるものとする。動画像ＡからＤまで順に，まず独立して復号できる動画像かどうかを判定する。独立して復号できる場合には，そのまま選択する。独立して復号できない場合には，参照する動画像の符号化データを既に選択したかどうかを判定する。既に選択した場合には，そのまま選択し，まだ選択していない場合には，参照する動画像が全て選択されるまで，その動画像を選択しない。
【００６３】
動画像間の参照関係は，全て動画像ＡとＣは独立して復号でき，動画像Ｂは動画像Ａを参照し，動画像Ｄは動画像Ｃを参照するものとする。
【００６４】
動画像の空間解像度は動画像ＡとＢはＶＧＡであり，動画像ＣとＤはＱＶＧＡであるとする。
【００６５】
以上の前提で動画像Ａ，Ｂ，Ｃ，Ｄの各フレームを多重化する場合には，動画像の各フレームは，次のように多重化される。
【００６６】
まず，先頭フレームについては，次のように多重化される。参照関係データ入力部１０５は，動画像間の参照関係データを入力する。データ切り替え部１１０は，参照関係データに従って符号化データを多重化する順序を決定する。ここでは，次の順序に決定する。動画像Ａは独立して復号できるため，まず動画像Ａを選択する。動画像Ｂは動画像Ａのみを参照するため，次に動画像Ｂを選択する。動画像Ｃは独立して復号できるため，次に動画像Ｃを選択する。そして動画像Ｄを選択する。符号化データ多重化部１１１は，参照関係データを多重化する。フレーム先頭位置情報設定部１１４は，参照関係データのデータサイズ分だけファイルサイズを加算する。
【００６７】
多重化する順序に従い，データ切り替え部１１０は，符号化データとフレーム先頭位置情報を切り替える。まず動画像Ａを選択する。動画像Ａ符号化データ入力部１０１は，符号化データを１フレーム分入力し，動画像Ａフレーム位置情報入力部１０６は，次のフレームのフレーム位置情報を入力する。符号化データ多重化部１１１は，符号化データを多重化する。フレーム先頭位置情報設定部１１４は，入力されたフレーム位置情報をファイルサイズに加算し，ファイルのフレーム位置情報として設定する。動画像番号設定部１１２は，動画像番号０を設定する。空間解像度情報設定部１１８は，空間解像度データ入力部１１９からの入力に基づき，空間解像度情報として１を設定する。管理情報多重化部１１６は，フレーム位置情報と動画像番号と空間解像度情報を多重化する。
【００６８】
続いてデータ切り替え部１１０は，動画像Ｂを選択する。動画像Ｂ符号化データ入力部１０２は，符号化データを１フレーム分入力し，動画像Ｂフレーム位置情報入力部１０７は，次のフレームのフレーム位置情報を入力する。符号化データ多重化部１１１は，符号化データを多重化する。フレーム先頭位置情報設定部１１４は，入力されたフレーム位置情報をファイルサイズに加算し，ファイルのフレーム位置情報として設定する。動画像番号設定部１１２は，動画像番号１を設定する。空間解像度情報設定部１１８は，空間解像度情報として１を設定する。管理情報多重化部１１６は，フレーム位置情報と動画像番号と空間解像度情報を多重化する。
【００６９】
続いてデータ切り替え部１１０は，動画像Ｃを選択する。動画像Ｃ符号化データ入力部１０３は，符号化データを１フレーム分入力し，動画像Ｃフレーム位置情報入力部１０８は，次のフレームのフレーム位置情報を入力する。符号化データ多重化部１１１は，符号化データを多重化する。フレーム先頭位置情報設定部１１４は，入力されたフレーム位置情報をファイルサイズに加算し，ファイルのフレーム位置情報として設定する。動画像番号設定部１１２は，動画像番号２を設定する。空間解像度情報設定部１１８は，空間解像度情報として０を設定する。管理情報多重化部１１６は，フレーム位置情報と動画像番号と空間解像度情報を多重化する。
【００７０】
続いてデータ切り替え部１１０は，動画像Ｄを選択する。動画像Ｄ符号化データ入力部１０４は，符号化データを１フレーム分入力し，動画像Ｄフレーム位置情報入力部１０９は，次のフレームのフレーム位置情報を入力する。符号化データ多重化部１１１は，符号化データを多重化する。フレーム先頭位置情報設定部１１４は，入力されたフレーム位置情報をファイルサイズに加算し，ファイルのフレーム位置情報として設定する。動画像番号設定部１１２は，動画像番号３を設定する。空間解像度情報設定部１１８は，空間解像度情報として０を設定する。管理情報多重化部１１６は，フレーム位置情報と動画像番号と空間解像度情報を多重化する。
【００７１】
以上の動画像Ａ，Ｂ，Ｃ，Ｄの処理を多重化するフレーム全てについて続ける。最後に，ファイル多重化部１１５は，符号化データ多重化部１１１で得られる符号化データと，管理情報多重化部１１６で得られる管理情報を多重化してファイルを作成する。以上の処理でファイルに多重化することができる。
【００７２】
本実施例では，予め符号化して得られた符号化データとファイル先頭位置情報から多重化してファイルを作成する例を示したが，符号化データを作成しつつファイルを構成してもよい。
【００７３】
次に，多重化されたファイルから特定の動画像で所望の空間解像度の符号化データを取り出すファイル読み込み方法について動作を説明する。図６にファイル読み込み装置の構成を示す。図６に示すファイル読み込み装置２２は，ファイルを読み込むファイル入力部２０１と，管理情報を読み取る管理情報読み取り部２０２と，管理情報から所望の空間解像度情報を探索する空間解像度情報探索部２０７と，管理情報から動画像番号を判定する動画像番号判定部２０３と，管理情報からフレーム先頭位置情報を読み取るフレーム先頭位置情報設定部２０５と，フレーム先頭位置情報に従ってファイルから符号化データを読み取る符号化データ読み取り部２０６とで構成される。
【００７４】
図５の多重化装置１１で作成されたファイルからＱＶＧＡの動画像Ｃの符号化データを読み取る場合の動作を示す。
【００７５】
ファイル入力部２０１は，ファイルを入力する。管理情報読み取り部２０２は，ファイルの後半にある管理情報を読み取る。空間解像度情報探索部２０７は，第１フレームで空間解像度情報がＱＶＧＡの動画像の管理情報を探索する。動画像番号判定部２０３は，探索して得られた管理情報の動画像番号が２であるかどうかを判定する。最初に探索される動画像番号は２であるので，フレーム先頭位置情報設定部２０５は，このフレームのフレーム先頭位置情報を設定する。符号化データ読み取り部２０６は，設定されたファイル位置から符号化データを読み取る。このとき，フレーム先頭位置情報設定部２０５で得られる次のフレームの先頭位置までを読み取る。次に第１フレームで空間解像度情報探索部２０７で探索されて動画像番号判定部２０３で判定される管理情報の動画像番号は３であるので，そのフレームは復号しない。
【００７６】
以後のフレームについても，同様に動画像Ｃの符号化データを読み取る。
【００７７】
ここで動画像Ｃの符号化データのみを読み取るようにしたが，特定の空間解像度の動画像の符号化データを全て読み取るようにしてもよい。この場合のファイル読み込み装置の構成は図７のファイル読み込み装置２３のようになり，図６の構成から動画像番号判定部２０３を省いた構成となる。この場合に，ＱＶＧＡの動画像の符号化データを読み取るときには，次のように処理される。
【００７８】
ファイル入力部２０１は，ファイルを入力する。管理情報読み取り部２０２は，ファイルの後半にある管理情報を読み取る。空間解像度情報探索部２０７は，第１フレームで空間解像度情報がＱＶＧＡの動画像の管理情報を探索する。最初に探索される動画像番号２のフレームについて，フレーム先頭位置情報設定部２０５は，このフレームのフレーム先頭位置情報を設定する。符号化データ読み取り部２０６は，設定されたファイル位置から符号化データを読み取る。このとき，フレーム先頭位置情報設定部２０５で得られる次のフレームの先頭位置までを読み取る。次に第１フレームで探索される動画像番号３のフレームについて，フレーム先頭位置情報設定部２０５は，このフレームのフレーム先頭位置情報を設定する。符号化データ読み取り部２０６は，設定されたファイル位置から符号化データを読み取る。このとき，フレーム先頭位置情報設定部２０５で得られる次のフレームの先頭位置までを読み取る。
【００７９】
以後のフレームについても，同様にＱＶＧＡの動画像の符号化データを読み取る。
【００８０】
このように本実施例によれば，符号化データ中に含まれる空間解像度情報を復号することなく，特定の空間解像度情報の符号化データを取り出すことができる。
【００８１】
なお本実施例では，ＱＶＧＡの動画像の符号化データを読み込む場合の処理を示したが，ＶＧＡの動画像の符号化データを読み込むようにしてもよい。
【００８２】
なお，本実施例の多重化装置１１では，符号化データの後に管理情報を設定したが，ファイルにトラックの構造が設定されている場合には，管理情報を第一トラックに設定し，符号化データを第二トラックに設定してもよい。
【００８３】
図８に，ファイル中におけるトラックや管理情報の構成例を示す。作成されたファイルには，符号化データトラック３０と管理情報トラック４０とがあり，符号化データトラック３０には，動画像Ａ符号化データ３１，動画像Ｂ符号化データ３２，…が格納される。また，管理情報トラック４０には，各時刻Ｔｎごとの管理情報４１，４２，４３，…が格納され，これらには各々，フレーム先頭位置情報，動画像番号，空間解像度情報などの情報が格納される。
【００８４】
第３の実施例では，異なるビット深度の動画像データを多重化し，特定のビット深度の符号化データを読み込む場合の例を示す。第３の実施例では，フレーム先頭の位置情報と動画像番号とビット深度情報を管理情報として多重化し，全ての符号化データを多重化した最後に設定する場合の例を示す。第１の実施例と同様に，動画像はＡ，Ｂ，Ｃ，Ｄの４つあり，予め符号化されていて，各動画像におけるフレーム先頭の位置情報は分かっているものとする。
【００８５】
図９に多重化装置の構成を示す。図９に示す多重化装置１２は，動画像Ａ，Ｂ，Ｃ，Ｄの符号化データをそれぞれ入力する動画像Ａ符号化データ入力部１０１，動画像Ｂ符号化データ入力部１０２，動画像Ｃ符号化データ入力部１０３，動画像Ｄ符号化データ入力部１０４と，各動画像のフレーム先頭の動画像中の位置情報をそれぞれ入力する動画像Ａフレーム位置情報入力部１０６，動画像Ｂフレーム位置情報入力部１０７，動画像Ｃフレーム位置情報入力部１０８，動画像Ｄフレーム位置情報入力部１０９と，動画像間の参照関係を示す情報を入力する参照関係データ入力部１０５と，動画像のビット深度情報を入力するビット深度データ入力部１２１と，動画像の符号化データやフレーム位置情報の入力を切り替えるデータ切り替え部１１０と，符号化データを多重化する符号化データ多重化部１１１と，動画像番号を設定する動画像番号設定部１１２と，ビット深度情報を設定するビット深度情報設定部１２０と，フレーム位置の先頭情報を設定するフレーム先頭位置情報設定部１１４と，管理情報を多重化する管理情報多重化部１１６と，符号化データと管理情報を多重化するファイル多重化部１１５とから構成される。
【００８６】
以上のうち，動画像番号設定部１１２では，動画像Ａ，Ｂ，Ｃ，Ｄに対してそれぞれ動画像番号０，１，２，３を設定するものとする。動画像ＡからＤまでのフレーム位置情報入力部１０６〜１０９は，次のフレームの位置情報を入力するものとする。フレーム先頭位置情報設定部１１４は，各動画像のフレーム位置情報をカウントし，符号化データ多重化部１１１で符号化データを多重化した後における各フレームの位置情報を設定するものとする。ビット深度情報設定部１２０は，ビット深度が１０ビットの場合にはビット深度情報として１を設定し，８ビットの場合にはビット深度情報として０を設定するものとする。ファイル多重化部１１５は，符号化データ多重化部１１１で作成された符号化データの後に，管理情報多重化部１１６で作成された管理情報を設定するものとする。符号化データ多重化部１１１は，参照関係データがある場合には各動画像の符号化データの前に多重化するものとする。
【００８７】
データ切り替え部１１０は，参照関係データに従い，次のように符号化データとファイル先頭位置情報を切り替えるものとする。動画像ＡからＤまで順に，まず独立して復号できる動画像かどうかを判定する。独立して復号できる場合には，そのまま選択する。独立して復号できない場合には，参照する動画像の符号化データを既に選択したかどうかを判定する。既に選択した場合には，そのまま選択し，まだ選択していない場合には，参照する動画像が全て選択されるまで，その動画像を選択しない。
【００８８】
動画像間の参照関係は，全て動画像ＡとＣは独立して復号でき，動画像Ｂは動画像Ａを参照し，動画像Ｄは動画像Ｃを参照するものとする。
【００８９】
動画像のビット深度は動画像ＡとＢは１０ビットであり，動画像ＣとＤは８ビットであるとする。
【００９０】
以上の前提で動画像Ａ，Ｂ，Ｃ，Ｄの各フレームを多重化する場合には，次のように多重化される。
【００９１】
まず，先頭フレームについては次のように多重化される。参照関係データ入力部１０５は，動画像間の参照関係データを入力する。データ切り替え部１１０は，参照関係データに従って符号化データを多重化する順序を決定する。ここでは，次の順序に決定する。動画像Ａは独立して復号できるため，まず動画像Ａを選択する。動画像Ｂは動画像Ａのみを参照するため，次に動画像Ｂを選択する。動画像Ｃは独立して復号できるため，次に動画像Ｃを選択する。そして動画像Ｄを選択する。符号化データ多重化部１１１は，参照関係データを多重化する。フレーム先頭位置情報設定部１１４は，参照関係データのデータサイズ分だけファイルサイズを加算する。
【００９２】
多重化する順序に従い，データ切り替え部１１０は，符号化データとフレーム先頭位置情報を切り替える。まず動画像Ａを選択する。動画像Ａ符号化データ入力部１０１は，符号化データを１フレーム分入力し，動画像Ａフレーム位置情報入力部１０６は，次のフレームのフレーム位置情報を入力する。符号化データ多重化部１１１は，符号化データを多重化する。フレーム先頭位置情報設定部１１４は，入力されたフレーム位置情報をファイルサイズに加算し，ファイルのフレーム位置情報として設定する。動画像番号設定部１１２は，動画像番号０を設定する。ビット深度情報設定部１２０は，ビット深度データ入力部１２１からの入力に基づき，ビット深度情報として１を設定する。管理情報多重化部１１６は，フレーム位置情報と動画像番号とビット深度情報を多重化する。
【００９３】
続いてデータ切り替え部１１０は，動画像Ｂを選択する。動画像Ｂ符号化データ入力部１０２は，符号化データを１フレーム分入力し，動画像Ｂフレーム位置情報入力部１０７は，次のフレームのフレーム位置情報を入力する。符号化データ多重化部１１１は，符号化データを多重化する。フレーム先頭位置情報設定部１１４は，入力されたフレーム位置情報をファイルサイズに加算し，ファイルのフレーム位置情報として設定する。動画像番号設定部１１２は，動画像番号１を設定する。ビット深度情報設定部１２０は，ビット深度情報として１を設定する。管理情報多重化部１１６は，フレーム位置情報と動画像番号とビット深度情報を多重化する。
【００９４】
続いてデータ切り替え部１１０は，動画像Ｃを選択する。動画像Ｃ符号化データ入力部１０３は，符号化データを１フレーム分入力し，動画像Ｃフレーム位置情報入力部１０８は，次のフレームのフレーム位置情報を入力する。符号化データ多重化部１１１は，符号化データを多重化する。フレーム先頭位置情報設定部１１４は，入力されたフレーム位置情報をファイルサイズに加算し，ファイルのフレーム位置情報として設定する。動画像番号設定部１１２は，動画像番号２を設定する。ビット深度情報設定部１２０は，ビット深度情報として０を設定する。管理情報多重化部１１６は，フレーム位置情報と動画像番号とビット深度情報を多重化する。
【００９５】
続いてデータ切り替え部１１０は，動画像Ｄを選択する。動画像Ｄ符号化データ入力部１０４は，符号化データを１フレーム分入力し，動画像Ｄフレーム位置情報入力部１０９は，次のフレームのフレーム位置情報を入力する。符号化データ多重化部１１１は，符号化データを多重化する。フレーム先頭位置情報設定部１１４は，入力されたフレーム位置情報をファイルサイズに加算し，ファイルのフレーム位置情報として設定する。動画像番号設定部１１２は，動画像番号３を設定する。ビット深度情報設定部１２０は，ビット深度情報として０を設定する。管理情報多重化部１１６は，フレーム位置情報と動画像番号とビット深度情報を多重化する。
【００９６】
以上の動画像Ａ，Ｂ，Ｃ，Ｄの処理を多重化するフレーム全てについて続ける。最後に，ファイル多重化部１１５は，符号化データ多重化部１１１で得られる符号化データと，管理情報多重化部１１６で得られる管理情報を多重化してファイルを作成する。以上の処理でファイルに多重化することができる。
【００９７】
本実施例では，予め符号化して得られた符号化データとファイル先頭位置情報から多重化してファイルを作成する例を示したが，符号化データを作成しつつファイルを構成してもよい。
【００９８】
次に，多重化されたファイルから特定の動画像で所望のビット深度の符号化データを取り出すファイル読み込み方法について動作を説明する。図１０にファイル読み込み装置の構成を示す。図１０に示すファイル読み込み装置２４は，ファイルを読み込むファイル入力部２０１と，管理情報を読み取る管理情報読み取り部２０２と，管理情報から所望のビット深度情報を探索するビット深度情報探索部２０８と，管理情報から動画像番号を判定する動画像番号判定部２０３と，管理情報からフレーム先頭位置情報を読み取るフレーム先頭位置情報設定部２０５と，フレーム先頭位置情報に従ってファイルから符号化データを読み取る符号化データ読み取り部２０６とで構成される。
【００９９】
図９の多重化装置１２で作成されたファイルから８ビットの動画像Ｃの符号化データを読み取る場合の動作を示す。
【０１００】
ファイル入力部２０１は，ファイルを入力する。管理情報読み取り部２０２は，ファイルの後半にある管理情報を読み取る。ビット深度情報探索部２０８は，第１フレームでビット深度情報が８ビットの動画像の管理情報を探索する。動画像番号判定部２０３は，探索して得られた管理情報の動画像番号が２であるかどうかを判定する。最初に探索される動画像番号は２であるので，フレーム先頭位置情報設定部２０５は，このフレームのフレーム先頭位置情報を設定する。符号化データ読み取り部２０６は，設定されたファイル位置から符号化データを読み取る。このとき，フレーム先頭位置情報設定部２０５で得られる次のフレームの先頭位置までを読み取る。次に第１フレームでビット深度情報探索部２０８で探索されて動画像番号判定部２０３で判定される管理情報の動画像番号は３であるので，そのフレームは復号しない。
【０１０１】
以後のフレームについても，同様に動画像Ｃの符号化データを読み取る。
【０１０２】
ここで動画像Ｃの符号化データのみを読み取るようにしたが，特定のビット深度の動画像の符号化データを全て読み取るようにしてもよい。この場合のファイル読み込み装置の構成は図１１のファイル読み込み装置２５のようになり，図１０の構成から動画像番号判定部２０３を省いた構成となる。この場合に，８ビットの動画像の符号化データを読み取るときには，次のように処理される。
【０１０３】
ファイル入力部２０１は，ファイルを入力する。管理情報読み取り部２０２は，ファイルの後半にある管理情報を読み取る。ビット深度情報探索部２０８は，第１フレームでビット深度情報が８ビットの動画像の管理情報を探索する。最初に探索される動画像番号２のフレームについて，フレーム先頭位置情報設定部２０５は，このフレームのフレーム先頭位置情報を設定する。符号化データ読み取り部２０６は，設定されたファイル位置から符号化データを読み取る。このとき，フレーム先頭位置情報設定部２０５で得られる次のフレームの先頭位置までを読み取る。次に第１フレームで探索される動画像番号３のフレームについて，フレーム先頭位置情報設定部２０５は，このフレームのフレーム先頭位置情報を設定する。符号化データ読み取り部２０６は，設定されたファイル位置から符号化データを読み取る。このとき，フレーム先頭位置情報設定部２０５で得られる次のフレームの先頭位置までを読み取る。
【０１０４】
以後のフレームについても，同様に８ビットの動画像の符号化データを読み取る。
【０１０５】
このように本実施例によれば，符号化データ中に含まれるビット深度情報を復号することなく，特定のビット深度情報の符号化データを取り出すことができる。
【０１０６】
なお本実施例では，８ビットの動画像の符号化データを読み込む場合の処理を示したが，１０ビットの動画像の符号化データを読み込むようにしてもよい。
【０１０７】
なお，本実施例の多重化装置１２では，符号化データの後に管理情報を設定したが，ファイルにトラックの構造が設定されている場合には，管理情報を第一トラックに設定し，符号化データを第二トラックに設定してもよい。
【０１０８】
図１２に，ファイル中におけるトラックや管理情報の構成例を示す。作成されたファイルには，符号化データトラック３０と管理情報トラック４０とがあり，符号化データトラック３０には，動画像Ａ符号化データ３１，動画像Ｂ符号化データ３２，…が格納される。また，管理情報トラック４０には，各時刻Ｔｎごとの管理情報４１，４２，４３，…が格納され，これらには各々，フレーム先頭位置情報，動画像番号，ビット深度情報などの情報が格納される。
【０１０９】
以上の実施例で異なる色空間や空間解像度やビット深度の動画像の符号化データを多重化する装置と，特定の動画像を読み取る装置の動作の例を示した。本発明は，色空間や空間解像度やビット深度のうち，いずれかが異なるのではなく，組み合わせて異なる場合にも適用できる。例えば，色空間と空間解像度が同時に異なる場合の動画像の符号化データを多重化してもよい。この場合の多重化では，管理情報として，色空間情報と空間解像度情報が同時に多重化される。
【０１１０】
また，以上の実施例の説明では，フレーム単位に管理情報を設定する例について説明したが，フレームを分割したスライス単位に管理情報を設定してもよい。この場合には，管理情報はフレーム先頭位置の代わりに，スライス先頭位置情報を含む。また，多重化や読み取りもフレーム単位ではなく，スライス単位で行う。すなわち，上記実施例の説明において，フレームをスライスに読み替えて本発明を実施することも可能である。
【０１１１】
以上の多重化装置およびファイル読み込み装置による処理は，コンピュータとソフトウェアプログラムとによって実現することもでき，そのプログラムをコンピュータ読み取り可能な記録媒体に記録して提供することも，ネットワークを通して提供することも可能である。
【図面の簡単な説明】
【０１１２】
【図１】第１の実施例における多重化装置の構成を示す図である。
【図２】第１の実施例におけるファイル読み込み装置の構成１を示す図である。
【図３】第１の実施例におけるファイル読み込み装置の構成２を示す図である。
【図４】第１の実施例のファイル中におけるトラックと管理情報の構成例を示す図である。
【図５】第２の実施例における多重化装置の構成を示す図である。
【図６】第２の実施例におけるファイル読み込み装置の構成１を示す図である。
【図７】第２の実施例におけるファイル読み込み装置の構成２を示す図である。
【図８】第２の実施例のファイル中におけるトラックと管理情報の構成例を示す図である。
【図９】第３の実施例における多重化装置の構成を示す図である。
【図１０】第３の実施例におけるファイル読み込み装置の構成１を示す図である。
【図１１】第３の実施例におけるファイル読み込み装置の構成２を示す図である。
【図１２】第３の実施例のファイル中におけるトラックと管理情報の構成例を示す図である。
【図１３】スケーラブル符号化の概念を示す図である。
【図１４】ＭＶＣの参照関係の例を示す図である。
【図１５】ＭＶＣの符号化データの構成例を示す図である。
【図１６】ファイル中におけるトラックや管理情報の構成例を示す図である。
【符号の説明】
【０１１３】
１０，１１，１２ 多重化装置
１０１ 動画像Ａ符号化データ入力部
１０２ 動画像Ｂ符号化データ入力部
１０３ 動画像Ｃ符号化データ入力部
１０４ 動画像Ｄ符号化データ入力部
１０５ 参照関係データ入力部
１０６ 動画像Ａフレーム位置情報入力部
１０７ 動画像Ｂフレーム位置情報入力部
１０８ 動画像Ｃフレーム位置情報入力部
１０９ 動画像Ｄフレーム位置情報入力部
１１０ データ切り替え部
１１１ 符号化データ多重化部
１１２ 動画像番号設定部
１１３ 色空間情報設定部
１１４ フレーム先頭位置情報設定部
１１５ ファイル多重化部
１１６ 管理情報多重化部
１１７ 色空間データ入力部
１１８ 空間解像度情報設定部
１１９ 空間解像度データ入力部
１２０ ビット深度情報設定部
１２１ ビット深度データ入力部
２０，２１，２２，２３，２４，２５ ファイル読み込み装置
２０１ ファイル入力部
２０２ 管理情報読み取り部
２０３ 動画像番号判定部
２０４ 色空間情報探索部
２０５ フレーム先頭位置情報設定部
２０６ 符号化データ読み取り部
２０７ 空間解像度情報探索部
２０８ ビット深度情報探索部
【技術分野】
【０００１】
本発明は，フレーム間予測符号化方式を使った画像符号化データの多重化に関する技術である。
【背景技術】
【０００２】
映像符号化には，スケーラブル符号化や多視点映像符号化といった，レイヤ符号化を適用する符号化方式がある。スケーラブル符号化では，ＳＮＲスケーラビリティや空間スケーラビリティ等の機能を実現できる。ＳＮＲスケーラビリティとは，ベースレイヤの符号化データに対して符号化データを追加することで画像の画品質を向上する機能であり，空間スケーラビリティとは，ベースレイヤの符号化データに対して符号化データを追加することで画像の空間解像度を向上する機能である。
【０００３】
スケーラブル符号化の概念図を図１３に示す。図１３に示すように，復号画像あるいは符号化情報をレイヤ間で再利用することにより，符号量の削減が図られている。
【０００４】
近年では，映像符号化方式Ｈ．２６４の拡張方式としてＳＶＣと呼ぶ方式がＡｎｎｅｘＧとして標準化されている（非特許文献１参照）。
【０００５】
また，多視点映像符号化においてもレイヤ符号化が適用される。近年では，やはり映像符号化方式Ｈ．２６４の拡張方式としてＭＶＣと呼ぶ方式が標準化されようとしている。ＭＶＣでは，複数の視点映像をまとめて符号化する仕組みが採用されている。動画像の符号化では動き補償符号化が利用されるが，多視点映像の場合には，動き補償に加えて，視点映像間でフレーム間予測符号化を適用する視差補償符号化を利用する。ＭＶＣでは視差補償を利用することで，個別に視点映像を符号化するよりも圧縮効率を向上できる。また，ＭＶＣでは，アプリケーションとして自由視点映像といった，視聴者が自由に視点位置を選択できる映像表現を想定している（非特許文献２，非特許文献３参照）。
【０００６】
このため，映像シーンを非常に多くのカメラで撮影しておき，視聴者が見たい視点位置の映像を選択するような利用方法が想定されている。すなわち，撮影した多くの視点映像データのうち，いくつかを選択して復号して再生することが想定されている。このように非常に多くの視点映像からいくつかの視点映像を選択して復号する機能を視点映像スケーラビリティと呼ぶ。ＭＶＣは多視点映像を想定した符号化方式ではあるが，まとめて符号化する対象はカメラ映像に限定されない。すなわち，一般的に複数の動画像をまとめて圧縮する符号化方式と考えることができる。
【０００７】
このＭＶＣでは，前述のとおり，非常に多くの動画像からいくつかの動画像を選択して復号することを実現するため，スケーラブル符号化のように１つのベースレイヤに対してレイヤ構造を持つのではなく，複数のベースレイヤに対してレイヤ構造を持つような構成となる。
【０００８】
図１４はＭＶＣの参照関係の例，図１５はＭＶＣの符号化データの構成例を示す図である。例えば，図１４に示すような参照関係がある場合には，ＭＶＣの符号化データは同じ時刻のフレームについて図１５に示すような構成になる。この同じ時刻のフレームの固まりをアクセスユニットと呼ぶ。ＭＶＣではベースレイヤに相当するレイヤが複数存在する。ＭＶＣでは動画像間の参照関係をサブセットＳＰＳ（subset＿seq ＿parameter ＿set ）の中のＭＶＣ拡張部分で記述する。サブセットＳＰＳは符号化データ中に含まれ，複数設定できる。各フレームでは，利用するサブセットＳＰＳを指定することができる。
【０００９】
さらに，ＭＶＣでは非常に多くの視点映像を扱うため，高い圧縮効率が望まれる。撮影した映像を圧縮するのではなく，ある一部の視点映像の空間解像度やビット深度を小さくすることで情報量を減らして圧縮できれば，圧縮効率を向上できる。また，色空間についても，全ての視点映像で同一にする必要はない。撮影に利用するカメラによっては，得られる映像信号の色空間は異なる場合がある。ここで想定する「色空間が異なる」ことの意味は，３色であればＲＧＢやＹＵＶ等で色空間が正に異なることや，また，グレースケールと３色のように色数が異なることや，色が同じであっても特定の色だけサンプリング周波数が異なることを指す。このように，ＭＶＣでは，空間解像度，ビット深度，色空間の異なる複数の視点映像をまとめて符号化する場合がある。視点映像ごとに空間解像度やビット深度や色空間を指定できるが，このような映像信号の表現情報はパラメータセットとして符号化データの中に含まれる（非特許文献４参照）。
【００１０】
一方，このような映像符号化データをファイル化して保存するために，ファイルフォーマット技術が利用される。ファイルフォーマットとは，符号化データを多重化するための技術でもあり，符号化データストリームを構造化しておくことで，特定の情報に関する符号化データを低遅延で取り出す機能を有する。一般的にファイルフォーマットでは，各種のデータストリームをトラックに格納して，トラックの情報を特定の時刻を単位に分割して多重化する。各トラックには，映像または音声の符号化データの他に，ＣＧデータや著作権情報などのメタデータが格納される。
【００１１】
もっとも簡単なファイルフォーマットとしては，ＡＶＩフォーマットが挙げられる。ＡＶＩフォーマットは，映像データと音声データを１フレーム単位に多重化する。そのほかにも国際標準化されているフォーマットとして，ＩＳＯメディアファイルフォーマットが挙げられる。ＩＳＯフォーマットでは，フレームに相当するものとしてサンプルを定義し，サンプルを単位にトラックを分割して多重化する。
【００１２】
ＩＳＯメディアファイルフォーマットでは，符号化データの他に，フレーム番号等の時刻情報とフレーム先頭のファイル中の位置情報を管理情報として，別のトラックとして構成することができる。ファイルを再生する場合には，この管理情報を記録したトラックを調べることで，フレームの先頭位置情報を知ることができ，所望のフレームの先頭に低遅延でアクセスすることが可能となる。
【００１３】
ファイル中におけるトラックや管理情報の関係の例を図１６に示す。符号化データトラックには，各動画像の符号化データが格納され，管理情報トラックには，各時刻におけるフレームの位置情報等が格納される。前述したＳＶＣ用にもファイルフォーマットが提案されている。ＳＶＣもトラックを単位にファイルを構成する（非特許文献５参照）。
【非特許文献１】Heiko Schwarz, Detlev Marpe, and Thomas Wiegand,“Overview of the Scalable Video Coding Extension of the H.264/AVC Standard ”, IEEE TRANSACTIONS ON CIRCUITS AND SYSTEMS FOR VIDEO TECHNOLOGY, VOL.17, NO.9, SEPTEMBER 2007, pp.1103-1120.
【非特許文献２】木全英明，“ＭＰＥＧ ３ＤＡＶ 国際標準化の動向”, 映像情報メディア学会誌 60, 2, pp.143-149, (2006)．
【非特許文献３】木全英明，“多視点映像符号化ＭＶＣの国際標準化動向”，映像情報メディア学会誌 61, 4, pp.426-430, (April 2007)．
【非特許文献４】木全英明, 志水信哉, 上倉一人, 八島由幸, “縮小参照画像を用いた多視点映像符号化の一検討”, 信学技報 MVE2007-25, pp.13-18, 2007 ．
【非特許文献５】Peter Amon, Thomas Rathgen, and David Singer, “File Format for Scalable Video Coding ”, IEEE TRANSACTIONS ON CIRCUITS AND SYSTEMS FOR VIDEO TECHNOLOGY, VOL.17, NO.9, SEPTEMBER 2007, pp.1174-1185.
【発明の開示】
【発明が解決しようとする課題】
【００１４】
ＭＶＣで空間解像度やビット深度や色空間が異なる視点映像がある場合に，特定の空間解像度やビット深度や色空間の視点映像のみを取り出すことができることは好適である。例えば，特定の空間解像度やビット深度や色空間の符号化データのみを復号できるような復号器を持っている場合に，一部の視点映像だけでも復号して画像を表示できるからである。
【００１５】
各視点映像の空間解像度やビット深度や色空間の情報はパラメータセットに記述されて符号化データの中に多重化されている。したがって，所望の空間解像度やビット深度や色空間の視点映像の符号化データを取り出す場合には，該当するパラメータセットの情報を符号化データ中から探し出す必要がある。このため，特にファイルに蓄積されている場合には，ファイルの先頭からパラメータセットを順次探して復号する必要があり，大きな負荷がかかっていた。
【００１６】
すなわち，本発明の課題は以下のとおりである。複数の動画像をまとめて符号化する場合に，色空間や空間解像度やビット深度の異なる動画像をまとめて符号化することを想定する。例えば撮影されるカメラの性能によって，これらの値は異なることがあり得る。このような動画像の符号化において，符号化データ中に個々の色空間や空間解像度やビット深度の情報を含めることができる。しかしながら，従来の符号化データの構成では，復号側では，これらの情報は符号化データを復号しなければ分からないため，所望の色空間や空間解像度やビット深度の動画像の符号化データを取り出すためには，大きな負荷がかかるという問題があった。
【００１７】
本発明は，このような所望の色空間や空間解像度やビット深度の動画像の符号化データを取り出すときの負荷を低減する新しい技術手段を提供することを目的とする。
【課題を解決するための手段】
【００１８】
本発明は，以上の課題を次のように解決する。符号化データを多重化するファイルフォーマット技術がある。このファイルフォーマット技術では，符号化データと管理情報に分けて，管理情報に各フレームの先頭位置情報を格納することが行われている。本発明では，このような管理情報に，フレーム先頭位置情報のほかに，色空間情報や空間解像度情報やビット深度情報も含める。これにより，管理情報を読み取るだけで，所望の色空間や空間解像度やビット深度のフレームの先頭位置を知ることができるため，そのようなフレームの符号化データを低負荷で取り出すことができる。
【００１９】
具体的には，本発明は，異なる色空間を持つ複数の動画像の間で予測符号化して作成された符号化データを多重化してファイルを構成する多重化方法であって，動画像のフレーム先頭のファイル中の位置情報と，動画像を区別する動画像番号と，該フレームの色空間を示す色空間情報とを多重化し，符号化データの特定の位置に設定することを特徴とする。
【００２０】
この多重化方法によれば，符号化データ中の特定の位置にある情報を復号することで，すべての符号化データを復号することなく，ファイルから所望の色空間の動画像のフレームの先頭位置を求めて，そのフレームの符号化データを取り出すことができる。同時に，符号化データを復号することなく，その動画像の動画像番号も求めることができる。これにより，所望の色空間の動画像の動画像番号が予め分かっている場合に，符号化データ中に含まれる色空間情報を探索して復号することなく，低遅延で，所望の動画像の符号化データを復号して再生することができる。
【００２１】
また，本発明は，異なる色空間を持つ複数の動画像の間で予測符号化して作成された符号化データを多重化してファイルを構成する多重化方法であって，動画像のフレーム先頭のファイル中の位置情報と，動画像を区別する動画像番号と，該フレームの色空間を示す色空間情報を第一のトラックとし，符号化データを第二のトラックとして，第一のトラックと第二のトラックをそれぞれ独立に多重化することを特徴とする。
【００２２】
この多重化方法によれば，第一トラックに含まれる色空間情報を復号することで，第二トラックの符号化データを復号することなく，ファイルから所望の色空間の動画像のフレームの先頭位置を求めて，そのフレームの符号化データを取り出すことができる。同時に，符号化データを復号することなく，その動画像の動画像番号も求めることができる。これにより，所望の色空間の動画像の動画像番号が予め分かっている場合に，符号化データ中に含まれる色空間情報を復号することなく，低遅延で，所望の動画像の符号化データを復号して再生することができる。
【００２３】
また，本発明は，異なる空間解像度を持つ複数の動画像の間で予測符号化して作成された符号化データを多重化してファイルを構成する多重化方法であって，動画像のフレーム先頭のファイル中の位置情報と，動画像を区別する動画像番号と，該フレームの空間解像度情報を多重化し，符号化データの特定の位置に設定することを特徴とする。
【００２４】
この多重化方法によれば，符号化データ中の特定の位置にある情報を復号することで，すべての符号化データを復号することなく，ファイルから所望の空間解像度の動画像のフレームの先頭位置を求めて，そのフレームの符号化データを取り出すことができる。同時に，符号化データを復号することなく，その動画像の動画像番号も求めることができる。これにより，所望の空間解像度の動画像の動画像番号が予め分かっている場合に，符号化データ中に含まれる空間解像度情報を探索して復号することなく，低遅延で，所望の動画像の符号化データを復号して再生することができる。
【００２５】
また，本発明は，異なる空間解像度を持つ複数の動画像の間で予測符号化して作成された符号化データを多重化してファイルを構成する多重化方法であって，動画像のフレーム先頭のファイル中の位置情報と，動画像を区別する動画像番号と，該フレームの空間解像度情報を第一のトラックとし，符号化データを第二のトラックとして，第一のトラックと第二のトラックをそれぞれ独立に多重化することを特徴とする。
【００２６】
この多重化方法によれば，第一トラックに含まれる空間解像度情報を復号することで，第二トラックの符号化データを復号することなく，ファイルから所望の空間解像度の動画像のフレームの先頭位置を求めて，そのフレームの符号化データを取り出すことができる。同時に，符号化データを復号することなく，その動画像の動画像番号も求めることができる。これにより，所望の空間解像度の動画像の動画像番号が予め分かっている場合に，符号化データ中に含まれる空間解像度情報を復号することなく，低遅延で，所望の動画像の符号化データを復号して再生することができる。
【００２７】
また，本発明は，異なるビット深度を持つ複数の動画像の間で予測符号化して作成された符号化データを 多重化してファイルを構成する多重化方法であって，動画像のフレーム先頭のファイル中の位置情報と，動画像を区別する動画像番号と，該フレームのビット深度情報を多重化し，符号化データの特定の位置に設定することを特徴とする。
【００２８】
この多重化方法によれば，符号化データ中の特定の位置にある情報を復号することで，すべての符号化データを復号することなく，ファイルから所望のビット深度の動画像のフレームの先頭位置を求めて，そのフレームの符号化データを取り出すことができる。同時に，符号化データを復号することなく，その動画像の動画像番号も求めることができる。これにより，所望のビット深度の動画像の動画像番号が予め分かっている場合に，符号化データ中に含まれるビット深度情報を探索して復号することなく，低遅延で，所望の動画像の符号化データを復号して再生することができる。
【００２９】
また，本発明は，異なるビット深度を持つ複数の動画像の間で予測符号化して作成された符号化データを多重化してファイルを構成する多重化方法であって，動画像のフレーム先頭のファイル中の位置情報と，動画像を区別する動画像番号と，該フレームのビット深度情報を第一のトラックとし，符号化データを第二のトラックとして，第一のトラックと第二のトラックをそれぞれ独立に多重化することを特徴とする。
【００３０】
この多重化方法によれば，第一トラックに含まれるビット深度情報を復号することで，第二トラックの符号化データを復号することなく，ファイルから所望のビット深度の動画像のフレームの先頭位置を求めて，そのフレームの符号化データを取り出すことができる。同時に，符号化データを復号することなく，その動画像の動画像番号も求めることができる。これにより，所望のビット深度の動画像の動画像番号が予め分かっている場合に，符号化データ中に含まれるビット深度情報を復号することなく，低遅延で，所望の動画像の符号化データを復号して再生することができる。
【００３１】
なお，以上では，フレーム単位に管理情報を設定する例について説明したが，本発明において，フレームを分割したスライス単位に管理情報を設定してもよい。この場合には，管理情報はフレーム先頭位置の代わりに，スライス先頭位置情報を含む。また，多重化や読み取りもフレーム単位ではなく，スライス単位で行う。
【発明の効果】
【００３２】
本発明によれば，色空間や空間解像度やビット深度の異なる複数の動画像をまとめて符号化した符号化データを多重化したファイルの中から，符号化データを復号することなく低演算負荷で，特定の色空間や空間解像度やビット深度の動画像の符号化データを取り出すことができる。
【発明を実施するための最良の形態】
【００３３】
以下，図面を用いて本発明の多重化方法と，多重化されたファイルを読み込んで再生する方法の実施例を説明する。
【００３４】
第１の実施例では，フレーム先頭の位置情報と動画像番号と色空間情報を管理情報として多重化し，全ての符号化データを多重化した最後に設定する場合の例を示す。動画像はＡ，Ｂ，Ｃ，Ｄの４つあり，予め符号化されていて，各動画像におけるフレーム先頭の位置情報は分かっているものとする。
【００３５】
図１に多重化装置の構成を示す。図１に示す多重化装置１０は，動画像Ａ，Ｂ，Ｃ，Ｄの符号化データをそれぞれ入力する動画像Ａ符号化データ入力部１０１，動画像Ｂ符号化データ入力部１０２，動画像Ｃ符号化データ入力部１０３，動画像Ｄ符号化データ入力部１０４と，各動画像のフレーム先頭の動画像中の位置情報をそれぞれ入力する動画像Ａフレーム位置情報入力部１０６，動画像Ｂフレーム位置情報入力部１０７，動画像Ｃフレーム位置情報入力部１０８，動画像Ｄフレーム位置情報入力部１０９と，動画像間の参照関係を示す情報を入力する参照関係データ入力部１０５と，動画像の色空間情報を入力する色空間データ入力部１１７と，動画像の符号化データやフレーム位置情報の入力を切り替えるデータ切り替え部１１０と，符号化データを多重化する符号化データ多重化部１１１と，動画像番号を設定する動画像番号設定部１１２と，色空間情報を設定する色空間情報設定部１１３と，フレーム位置の先頭情報を設定するフレーム先頭位置情報設定部１１４と，管理情報を多重化する管理情報多重化部１１６と，符号化データと管理情報を多重化するファイル多重化部１１５とから構成される。
【００３６】
以上のうち，動画像番号設定部１１２では，動画像Ａ，Ｂ，Ｃ，Ｄに対してそれぞれ動画像番号０，１，２，３を設定するものとする。動画像ＡからＤまでのフレーム位置情報入力部１０６〜１０９は，次のフレームの位置情報を入力するものとする。フレーム先頭位置情報設定部１１４は，各動画像のフレーム位置情報をカウントし，符号化データ多重化部１１１で符号化データを多重化した後における各フレームの位置情報を設定するものとする。色空間情報設定部１１３は，色空間がＹＵＶの３色の場合には色空間情報として１を設定し，グレースケールの場合には色空間情報として０を設定するものとする。ファイル多重化部１１５は，符号化データ多重化部１１１で作成された符号化データの後に，管理情報多重化部１１６で作成された管理情報を設定するものとする。符号化データ多重化部１１１は，参照関係データがある場合には各動画像の符号化データの前に多重化するものとする。
【００３７】
データ切り替え部１１０は，参照関係データに従い，次のように符号化データとファイル先頭位置情報を切り替えるものとする。動画像ＡからＤまで順に，まず独立して復号できる動画像かどうかを判定する。独立して復号できる場合には，そのまま選択する。独立して復号できない場合には，参照する動画像の符号化データを既に選択したかどうかを判定する。既に選択した場合には，そのまま選択し，まだ選択していない場合には，参照する動画像が全て選択されるまで，その動画像を選択しない。
【００３８】
動画像間の参照関係は全て動画像ＡとＣは独立して復号でき，動画像Ｂは動画像Ａを参照し，動画像Ｄは動画像Ｃを参照するものとする。
【００３９】
動画像の色空間は動画像ＡとＢはＹＵＶ３色であり，動画像ＣとＤはグレースケールであるとする。
【００４０】
以上の前提で動画像Ａ，Ｂ，Ｃ，Ｄの各フレームを多重化する場合には，動画像の各フレームは，次のように多重化される。
【００４１】
まず，先頭フレームについては，次のように多重化される。参照関係データ入力部１０５は，動画像間の参照関係データを入力する。データ切り替え部１１０は，参照関係データに従って符号化データを多重化する順序を決定する。ここでは，次の順序に決定する。動画像Ａは独立して復号できるため，まず動画像Ａを選択する。動画像Ｂは動画像Ａのみを参照するため，次に動画像Ｂを選択する。動画像Ｃは独立して復号できるため，次に動画像Ｃを選択する。そして動画像Ｄを選択する。符号化データ多重化部１１１は，参照関係データを多重化する。フレーム先頭位置情報設定部１１４は，参照関係データのデータサイズ分だけファイルサイズを加算する。
【００４２】
多重化する順序に従い，データ切り替え部１１０は，符号化データとフレーム先頭位置情報を切り替える。まず動画像Ａを選択する。動画像Ａ符号化データ入力部１０１は，符号化データを１フレーム分入力し，動画像Ａフレーム位置情報入力部１０６は，次のフレームのフレーム位置情報を入力する。符号化データ多重化部１１１は，符号化データを多重化する。フレーム先頭位置情報設定部１１４は，入力されたフレーム位置情報をファイルサイズに加算し，ファイルのフレーム位置情報として設定する。動画像番号設定部１１２は，動画像番号０を設定する。色空間情報設定部１１３は，色空間データ入力部１１７からの入力に基づき，色空間情報として１を設定する。管理情報多重化部１１６は，フレーム位置情報と動画像番号と色空間情報を多重化する。
【００４３】
続いてデータ切り替え部１１０は，動画像Ｂを選択する。動画像Ｂ符号化データ入力部１０２は，符号化データを１フレーム分入力し，動画像Ｂフレーム位置情報入力部１０７は，次のフレームのフレーム位置情報を入力する。符号化データ多重化部１１１は，符号化データを多重化する。フレーム先頭位置情報設定部１１４は，入力されたフレーム位置情報をファイルサイズに加算し，ファイルのフレーム位置情報として設定する。動画像番号設定部１１２は，動画像番号１を設定する。色空間情報設定部１１３は，色空間情報として１を設定する。管理情報多重化部１１６は，フレーム位置情報と動画像番号と色空間情報を多重化する。
【００４４】
続いてデータ切り替え部１１０は，動画像Ｃを選択する。動画像Ｃ符号化データ入力部１０３は，符号化データを１フレーム分入力し，動画像Ｃフレーム位置情報入力部１０８は，次のフレームのフレーム位置情報を入力する。符号化データ多重化部１１１は，符号化データを多重化する。フレーム先頭位置情報設定部１１４は，入力されたフレーム位置情報をファイルサイズに加算し，ファイルのフレーム位置情報として設定する。動画像番号設定部１１２は，動画像番号２を設定する。色空間情報設定部１１３は，色空間情報として０を設定する。管理情報多重化部１１６は，フレーム位置情報と動画像番号と色空間情報を多重化する。
【００４５】
続いてデータ切り替え部１１０は，動画像Ｄを選択する。動画像Ｄ符号化データ入力部１０４は，符号化データを１フレーム分入力し，動画像Ｄフレーム位置情報入力部１０９は，次のフレームのフレーム位置情報を入力する。符号化データ多重化部１１１は，符号化データを多重化する。フレーム先頭位置情報設定部１１４は，入力されたフレーム位置情報をファイルサイズに加算し，ファイルのフレーム位置情報として設定する。動画像番号設定部１１２は，動画像番号３を設定する。色空間情報設定部１１３は，色空間情報として０を設定する。管理情報多重化部１１６は，フレーム位置情報と動画像番号と色空間情報を多重化する。
【００４６】
以上の動画像Ａ，Ｂ，Ｃ，Ｄの処理を多重化するフレーム全てについて続ける。最後に，ファイル多重化部１１５は，符号化データ多重化部１１１で得られる符号化データと，管理情報多重化部１１６で得られる管理情報を多重化してファイルを作成する。以上の処理でファイルに多重化することができる。
【００４７】
本実施例では，予め符号化して得られた符号化データとファイル先頭位置情報から多重化してファイルを作成する例を示したが，符号化データを作成しつつファイルを構成してもよい。
【００４８】
次に，多重化されたファイルから特定の動画像で所望の色空間の符号化データを取り出すファイル読み込み方法について動作を説明する。図２にファイル読み込み装置の構成を示す。図２に示すように，ファイル読み込み装置２０は，ファイルを読み込むファイル入力部２０１と，管理情報を読み取る管理情報読み取り部２０２と，管理情報から所望の色空間情報を探索する色空間情報探索部２０４と，管理情報から動画像番号を判定する動画像番号判定部２０３と，管理情報からフレーム先頭位置情報を読み取るフレーム先頭位置情報設定部２０５と，フレーム先頭位置情報に従ってファイルから符号化データを読み取る符号化データ読み取り部２０６とで構成される。
【００４９】
図１の多重化装置１０で作成されたファイルからグレースケールの動画像Ｃの符号化データを読み取る場合の動作を示す。
【００５０】
ファイル入力部２０１は，ファイルを入力する。管理情報読み取り部２０２は，ファイルの後半にある管理情報を読み取る。色空間情報探索部２０４は，第１フレームで色空間情報がグレースケールの動画像の管理情報を探索する。動画像番号判定部２０３は，探索して得られた管理情報の動画像番号が２であるかどうかを判定する。最初に探索される動画像番号は２であるので，フレーム先頭位置情報設定部２０５は，このフレームのフレーム先頭位置情報を設定する。符号化データ読み取り部２０６は，設定されたファイル位置から符号化データを読み取る。このとき，フレーム先頭位置情報設定部２０５で得られる次のフレームの先頭位置までを読み取る。次に第１フレームで色空間情報探索部２０４で探索されて動画像番号判定部２０３で判定される管理情報の動画像番号は３であるので，そのフレームは復号しない。
【００５１】
以後のフレームについても，同様に動画像Ｃの符号化データを読み取る。
【００５２】
ここで動画像Ｃの符号化データのみを読み取るようにしたが，特定の色空間の動画像の符号化データを全て読み取るようにしてもよい。この場合のファイル読み込み装置の構成は図３のファイル読み込み装置２１のようになり，図２の構成から動画像番号判定部２０３を省いた構成となる。この場合に，グレースケールの動画像の符号化データを読み取るときには，次のように処理される。
【００５３】
ファイル入力部２０１は，ファイルを入力する。管理情報読み取り部２０２は，ファイルの後半にある管理情報を読み取る。色空間情報探索部２０４は，第１フレームで色空間情報がグレースケールの動画像の管理情報を探索する。最初に探索される動画像番号２のフレームについて，フレーム先頭位置情報設定部２０５は，このフレームのフレーム先頭位置情報を設定する。符号化データ読み取り部２０６は，設定されたファイル位置から符号化データを読み取る。このとき，フレーム先頭位置情報設定部２０５で得られる次のフレームの先頭位置までを読み取る。次に第１フレームで探索される動画像番号３のフレームについて，フレーム先頭位置情報設定部２０５は，このフレームのフレーム先頭位置情報を設定する。符号化データ読み取り部２０６は，設定されたファイル位置から符号化データを読み取る。このとき，フレーム先頭位置情報設定部２０５で得られる次のフレームの先頭位置までを読み取る。
【００５４】
以後のフレームについても，同様にグレースケールの動画像の符号化データを読み取る。
【００５５】
このように本実施例によれば，符号化データ中に含まれる色空間情報を復号することなく，特定の色空間情報の符号化データを取り出すことができる。
【００５６】
なお本実施例では，グレースケールの動画像の符号化データを読み込む場合の処理を示したが，ＹＵＶ３色の動画像の符号化データを読み込むようにしてもよい。
【００５７】
なお，本実施例の多重化装置１０では，符号化データの後に管理情報を設定したが，ファイルにトラックの構造が設定されている場合には，管理情報を第一トラックに設定し，符号化データを第二トラックに設定してもよい。
【００５８】
図４に，ファイル中におけるトラックや管理情報の構成例を示す。作成されたファイルには，符号化データトラック３０と管理情報トラック４０とがあり，符号化データトラック３０には，動画像Ａ符号化データ３１，動画像Ｂ符号化データ３２，…が格納される。また，管理情報トラック４０には，各時刻Ｔｎごとの管理情報４１，４２，４３，…が格納され，これらには各々，フレーム先頭位置情報，動画像番号，色空間情報などの情報が格納される。
【００５９】
第２の実施例では，異なる空間解像度の動画像データを多重化し，特定の空間解像度の符号化データを読み込む場合の例を示す。第２の実施例では，フレーム先頭の位置情報と動画像番号と空間解像度情報を管理情報として多重化し，全ての符号化データを多重化した最後に設定する場合の例を示す。第１の実施例と同様に，動画像はＡ，Ｂ，Ｃ，Ｄの４つあり，予め符号化されていて，各動画像におけるフレーム先頭の位置情報は分かっているものとする。
【００６０】
図５に多重化装置の構成を示す。図５に示す多重化装置１１は，動画像Ａ，Ｂ，Ｃ，Ｄの符号化データをそれぞれ入力する動画像Ａ符号化データ入力部１０１，動画像Ｂ符号化データ入力部１０２，動画像Ｃ符号化データ入力部１０３，動画像Ｄ符号化データ入力部１０４と，各動画像のフレーム先頭の動画像中の位置情報をそれぞれ入力する動画像Ａフレーム位置情報入力部１０６，動画像Ｂフレーム位置情報入力部１０７，動画像Ｃフレーム位置情報入力部１０８，動画像Ｄフレーム位置情報入力部１０９と，動画像間の参照関係を示す情報を入力する参照関係データ入力部１０５と，動画像の空間解像度情報を入力する空間解像度データ入力部１１９と，動画像の符号化データやフレーム位置情報の入力を切り替えるデータ切り替え部１１０と，符号化データを多重化する符号化データ多重化部１１１と，動画像番号を設定する動画像番号設定部１１２と，空間解像度情報を設定する空間解像度情報設定部１１８と，フレーム位置の先頭情報を設定するフレーム先頭位置情報設定部１１４と，管理情報を多重化する管理情報多重化部１１６と，符号化データと管理情報を多重化するファイル多重化部１１５とから構成される。
【００６１】
以上のうち，動画像番号設定部１１２では，動画像Ａ，Ｂ，Ｃ，Ｄに対してそれぞれ動画像番号０，１，２，３を設定するものとする。動画像ＡからＤまでのフレーム位置情報入力部１０６〜１０９は，次のフレームの位置情報を入力するものとする。フレーム先頭位置情報設定部１１４は，各動画像のフレーム位置情報をカウントし，符号化データ多重化部１１１で符号化データを多重化した後における各フレームの位置情報を設定するものとする。空間解像度情報設定部１１８は，空間解像度がＶＧＡ（横６４０縦４８０画素）の場合には空間解像度情報として１を設定し，ＱＶＧＡ（横３２０縦２４０画素）の場合には空間解像度情報として０を設定するものとする。ファイル多重化部１１５は，符号化データ多重化部１１１で作成された符号化データの後に，管理情報多重化部１１６で作成された管理情報を設定するものとする。符号化データ多重化部１１１は，参照関係データがある場合には各動画像の符号化データの前に多重化するものとする。
【００６２】
データ切り替え部１１０は，参照関係データに従い，次のように符号化データとファイル先頭位置情報を切り替えるものとする。動画像ＡからＤまで順に，まず独立して復号できる動画像かどうかを判定する。独立して復号できる場合には，そのまま選択する。独立して復号できない場合には，参照する動画像の符号化データを既に選択したかどうかを判定する。既に選択した場合には，そのまま選択し，まだ選択していない場合には，参照する動画像が全て選択されるまで，その動画像を選択しない。
【００６３】
動画像間の参照関係は，全て動画像ＡとＣは独立して復号でき，動画像Ｂは動画像Ａを参照し，動画像Ｄは動画像Ｃを参照するものとする。
【００６４】
動画像の空間解像度は動画像ＡとＢはＶＧＡであり，動画像ＣとＤはＱＶＧＡであるとする。
【００６５】
以上の前提で動画像Ａ，Ｂ，Ｃ，Ｄの各フレームを多重化する場合には，動画像の各フレームは，次のように多重化される。
【００６６】
まず，先頭フレームについては，次のように多重化される。参照関係データ入力部１０５は，動画像間の参照関係データを入力する。データ切り替え部１１０は，参照関係データに従って符号化データを多重化する順序を決定する。ここでは，次の順序に決定する。動画像Ａは独立して復号できるため，まず動画像Ａを選択する。動画像Ｂは動画像Ａのみを参照するため，次に動画像Ｂを選択する。動画像Ｃは独立して復号できるため，次に動画像Ｃを選択する。そして動画像Ｄを選択する。符号化データ多重化部１１１は，参照関係データを多重化する。フレーム先頭位置情報設定部１１４は，参照関係データのデータサイズ分だけファイルサイズを加算する。
【００６７】
多重化する順序に従い，データ切り替え部１１０は，符号化データとフレーム先頭位置情報を切り替える。まず動画像Ａを選択する。動画像Ａ符号化データ入力部１０１は，符号化データを１フレーム分入力し，動画像Ａフレーム位置情報入力部１０６は，次のフレームのフレーム位置情報を入力する。符号化データ多重化部１１１は，符号化データを多重化する。フレーム先頭位置情報設定部１１４は，入力されたフレーム位置情報をファイルサイズに加算し，ファイルのフレーム位置情報として設定する。動画像番号設定部１１２は，動画像番号０を設定する。空間解像度情報設定部１１８は，空間解像度データ入力部１１９からの入力に基づき，空間解像度情報として１を設定する。管理情報多重化部１１６は，フレーム位置情報と動画像番号と空間解像度情報を多重化する。
【００６８】
続いてデータ切り替え部１１０は，動画像Ｂを選択する。動画像Ｂ符号化データ入力部１０２は，符号化データを１フレーム分入力し，動画像Ｂフレーム位置情報入力部１０７は，次のフレームのフレーム位置情報を入力する。符号化データ多重化部１１１は，符号化データを多重化する。フレーム先頭位置情報設定部１１４は，入力されたフレーム位置情報をファイルサイズに加算し，ファイルのフレーム位置情報として設定する。動画像番号設定部１１２は，動画像番号１を設定する。空間解像度情報設定部１１８は，空間解像度情報として１を設定する。管理情報多重化部１１６は，フレーム位置情報と動画像番号と空間解像度情報を多重化する。
【００６９】
続いてデータ切り替え部１１０は，動画像Ｃを選択する。動画像Ｃ符号化データ入力部１０３は，符号化データを１フレーム分入力し，動画像Ｃフレーム位置情報入力部１０８は，次のフレームのフレーム位置情報を入力する。符号化データ多重化部１１１は，符号化データを多重化する。フレーム先頭位置情報設定部１１４は，入力されたフレーム位置情報をファイルサイズに加算し，ファイルのフレーム位置情報として設定する。動画像番号設定部１１２は，動画像番号２を設定する。空間解像度情報設定部１１８は，空間解像度情報として０を設定する。管理情報多重化部１１６は，フレーム位置情報と動画像番号と空間解像度情報を多重化する。
【００７０】
続いてデータ切り替え部１１０は，動画像Ｄを選択する。動画像Ｄ符号化データ入力部１０４は，符号化データを１フレーム分入力し，動画像Ｄフレーム位置情報入力部１０９は，次のフレームのフレーム位置情報を入力する。符号化データ多重化部１１１は，符号化データを多重化する。フレーム先頭位置情報設定部１１４は，入力されたフレーム位置情報をファイルサイズに加算し，ファイルのフレーム位置情報として設定する。動画像番号設定部１１２は，動画像番号３を設定する。空間解像度情報設定部１１８は，空間解像度情報として０を設定する。管理情報多重化部１１６は，フレーム位置情報と動画像番号と空間解像度情報を多重化する。
【００７１】
以上の動画像Ａ，Ｂ，Ｃ，Ｄの処理を多重化するフレーム全てについて続ける。最後に，ファイル多重化部１１５は，符号化データ多重化部１１１で得られる符号化データと，管理情報多重化部１１６で得られる管理情報を多重化してファイルを作成する。以上の処理でファイルに多重化することができる。
【００７２】
本実施例では，予め符号化して得られた符号化データとファイル先頭位置情報から多重化してファイルを作成する例を示したが，符号化データを作成しつつファイルを構成してもよい。
【００７３】
次に，多重化されたファイルから特定の動画像で所望の空間解像度の符号化データを取り出すファイル読み込み方法について動作を説明する。図６にファイル読み込み装置の構成を示す。図６に示すファイル読み込み装置２２は，ファイルを読み込むファイル入力部２０１と，管理情報を読み取る管理情報読み取り部２０２と，管理情報から所望の空間解像度情報を探索する空間解像度情報探索部２０７と，管理情報から動画像番号を判定する動画像番号判定部２０３と，管理情報からフレーム先頭位置情報を読み取るフレーム先頭位置情報設定部２０５と，フレーム先頭位置情報に従ってファイルから符号化データを読み取る符号化データ読み取り部２０６とで構成される。
【００７４】
図５の多重化装置１１で作成されたファイルからＱＶＧＡの動画像Ｃの符号化データを読み取る場合の動作を示す。
【００７５】
ファイル入力部２０１は，ファイルを入力する。管理情報読み取り部２０２は，ファイルの後半にある管理情報を読み取る。空間解像度情報探索部２０７は，第１フレームで空間解像度情報がＱＶＧＡの動画像の管理情報を探索する。動画像番号判定部２０３は，探索して得られた管理情報の動画像番号が２であるかどうかを判定する。最初に探索される動画像番号は２であるので，フレーム先頭位置情報設定部２０５は，このフレームのフレーム先頭位置情報を設定する。符号化データ読み取り部２０６は，設定されたファイル位置から符号化データを読み取る。このとき，フレーム先頭位置情報設定部２０５で得られる次のフレームの先頭位置までを読み取る。次に第１フレームで空間解像度情報探索部２０７で探索されて動画像番号判定部２０３で判定される管理情報の動画像番号は３であるので，そのフレームは復号しない。
【００７６】
以後のフレームについても，同様に動画像Ｃの符号化データを読み取る。
【００７７】
ここで動画像Ｃの符号化データのみを読み取るようにしたが，特定の空間解像度の動画像の符号化データを全て読み取るようにしてもよい。この場合のファイル読み込み装置の構成は図７のファイル読み込み装置２３のようになり，図６の構成から動画像番号判定部２０３を省いた構成となる。この場合に，ＱＶＧＡの動画像の符号化データを読み取るときには，次のように処理される。
【００７８】
ファイル入力部２０１は，ファイルを入力する。管理情報読み取り部２０２は，ファイルの後半にある管理情報を読み取る。空間解像度情報探索部２０７は，第１フレームで空間解像度情報がＱＶＧＡの動画像の管理情報を探索する。最初に探索される動画像番号２のフレームについて，フレーム先頭位置情報設定部２０５は，このフレームのフレーム先頭位置情報を設定する。符号化データ読み取り部２０６は，設定されたファイル位置から符号化データを読み取る。このとき，フレーム先頭位置情報設定部２０５で得られる次のフレームの先頭位置までを読み取る。次に第１フレームで探索される動画像番号３のフレームについて，フレーム先頭位置情報設定部２０５は，このフレームのフレーム先頭位置情報を設定する。符号化データ読み取り部２０６は，設定されたファイル位置から符号化データを読み取る。このとき，フレーム先頭位置情報設定部２０５で得られる次のフレームの先頭位置までを読み取る。
【００７９】
以後のフレームについても，同様にＱＶＧＡの動画像の符号化データを読み取る。
【００８０】
このように本実施例によれば，符号化データ中に含まれる空間解像度情報を復号することなく，特定の空間解像度情報の符号化データを取り出すことができる。
【００８１】
なお本実施例では，ＱＶＧＡの動画像の符号化データを読み込む場合の処理を示したが，ＶＧＡの動画像の符号化データを読み込むようにしてもよい。
【００８２】
なお，本実施例の多重化装置１１では，符号化データの後に管理情報を設定したが，ファイルにトラックの構造が設定されている場合には，管理情報を第一トラックに設定し，符号化データを第二トラックに設定してもよい。
【００８３】
図８に，ファイル中におけるトラックや管理情報の構成例を示す。作成されたファイルには，符号化データトラック３０と管理情報トラック４０とがあり，符号化データトラック３０には，動画像Ａ符号化データ３１，動画像Ｂ符号化データ３２，…が格納される。また，管理情報トラック４０には，各時刻Ｔｎごとの管理情報４１，４２，４３，…が格納され，これらには各々，フレーム先頭位置情報，動画像番号，空間解像度情報などの情報が格納される。
【００８４】
第３の実施例では，異なるビット深度の動画像データを多重化し，特定のビット深度の符号化データを読み込む場合の例を示す。第３の実施例では，フレーム先頭の位置情報と動画像番号とビット深度情報を管理情報として多重化し，全ての符号化データを多重化した最後に設定する場合の例を示す。第１の実施例と同様に，動画像はＡ，Ｂ，Ｃ，Ｄの４つあり，予め符号化されていて，各動画像におけるフレーム先頭の位置情報は分かっているものとする。
【００８５】
図９に多重化装置の構成を示す。図９に示す多重化装置１２は，動画像Ａ，Ｂ，Ｃ，Ｄの符号化データをそれぞれ入力する動画像Ａ符号化データ入力部１０１，動画像Ｂ符号化データ入力部１０２，動画像Ｃ符号化データ入力部１０３，動画像Ｄ符号化データ入力部１０４と，各動画像のフレーム先頭の動画像中の位置情報をそれぞれ入力する動画像Ａフレーム位置情報入力部１０６，動画像Ｂフレーム位置情報入力部１０７，動画像Ｃフレーム位置情報入力部１０８，動画像Ｄフレーム位置情報入力部１０９と，動画像間の参照関係を示す情報を入力する参照関係データ入力部１０５と，動画像のビット深度情報を入力するビット深度データ入力部１２１と，動画像の符号化データやフレーム位置情報の入力を切り替えるデータ切り替え部１１０と，符号化データを多重化する符号化データ多重化部１１１と，動画像番号を設定する動画像番号設定部１１２と，ビット深度情報を設定するビット深度情報設定部１２０と，フレーム位置の先頭情報を設定するフレーム先頭位置情報設定部１１４と，管理情報を多重化する管理情報多重化部１１６と，符号化データと管理情報を多重化するファイル多重化部１１５とから構成される。
【００８６】
以上のうち，動画像番号設定部１１２では，動画像Ａ，Ｂ，Ｃ，Ｄに対してそれぞれ動画像番号０，１，２，３を設定するものとする。動画像ＡからＤまでのフレーム位置情報入力部１０６〜１０９は，次のフレームの位置情報を入力するものとする。フレーム先頭位置情報設定部１１４は，各動画像のフレーム位置情報をカウントし，符号化データ多重化部１１１で符号化データを多重化した後における各フレームの位置情報を設定するものとする。ビット深度情報設定部１２０は，ビット深度が１０ビットの場合にはビット深度情報として１を設定し，８ビットの場合にはビット深度情報として０を設定するものとする。ファイル多重化部１１５は，符号化データ多重化部１１１で作成された符号化データの後に，管理情報多重化部１１６で作成された管理情報を設定するものとする。符号化データ多重化部１１１は，参照関係データがある場合には各動画像の符号化データの前に多重化するものとする。
【００８７】
データ切り替え部１１０は，参照関係データに従い，次のように符号化データとファイル先頭位置情報を切り替えるものとする。動画像ＡからＤまで順に，まず独立して復号できる動画像かどうかを判定する。独立して復号できる場合には，そのまま選択する。独立して復号できない場合には，参照する動画像の符号化データを既に選択したかどうかを判定する。既に選択した場合には，そのまま選択し，まだ選択していない場合には，参照する動画像が全て選択されるまで，その動画像を選択しない。
【００８８】
動画像間の参照関係は，全て動画像ＡとＣは独立して復号でき，動画像Ｂは動画像Ａを参照し，動画像Ｄは動画像Ｃを参照するものとする。
【００８９】
動画像のビット深度は動画像ＡとＢは１０ビットであり，動画像ＣとＤは８ビットであるとする。
【００９０】
以上の前提で動画像Ａ，Ｂ，Ｃ，Ｄの各フレームを多重化する場合には，次のように多重化される。
【００９１】
まず，先頭フレームについては次のように多重化される。参照関係データ入力部１０５は，動画像間の参照関係データを入力する。データ切り替え部１１０は，参照関係データに従って符号化データを多重化する順序を決定する。ここでは，次の順序に決定する。動画像Ａは独立して復号できるため，まず動画像Ａを選択する。動画像Ｂは動画像Ａのみを参照するため，次に動画像Ｂを選択する。動画像Ｃは独立して復号できるため，次に動画像Ｃを選択する。そして動画像Ｄを選択する。符号化データ多重化部１１１は，参照関係データを多重化する。フレーム先頭位置情報設定部１１４は，参照関係データのデータサイズ分だけファイルサイズを加算する。
【００９２】
多重化する順序に従い，データ切り替え部１１０は，符号化データとフレーム先頭位置情報を切り替える。まず動画像Ａを選択する。動画像Ａ符号化データ入力部１０１は，符号化データを１フレーム分入力し，動画像Ａフレーム位置情報入力部１０６は，次のフレームのフレーム位置情報を入力する。符号化データ多重化部１１１は，符号化データを多重化する。フレーム先頭位置情報設定部１１４は，入力されたフレーム位置情報をファイルサイズに加算し，ファイルのフレーム位置情報として設定する。動画像番号設定部１１２は，動画像番号０を設定する。ビット深度情報設定部１２０は，ビット深度データ入力部１２１からの入力に基づき，ビット深度情報として１を設定する。管理情報多重化部１１６は，フレーム位置情報と動画像番号とビット深度情報を多重化する。
【００９３】
続いてデータ切り替え部１１０は，動画像Ｂを選択する。動画像Ｂ符号化データ入力部１０２は，符号化データを１フレーム分入力し，動画像Ｂフレーム位置情報入力部１０７は，次のフレームのフレーム位置情報を入力する。符号化データ多重化部１１１は，符号化データを多重化する。フレーム先頭位置情報設定部１１４は，入力されたフレーム位置情報をファイルサイズに加算し，ファイルのフレーム位置情報として設定する。動画像番号設定部１１２は，動画像番号１を設定する。ビット深度情報設定部１２０は，ビット深度情報として１を設定する。管理情報多重化部１１６は，フレーム位置情報と動画像番号とビット深度情報を多重化する。
【００９４】
続いてデータ切り替え部１１０は，動画像Ｃを選択する。動画像Ｃ符号化データ入力部１０３は，符号化データを１フレーム分入力し，動画像Ｃフレーム位置情報入力部１０８は，次のフレームのフレーム位置情報を入力する。符号化データ多重化部１１１は，符号化データを多重化する。フレーム先頭位置情報設定部１１４は，入力されたフレーム位置情報をファイルサイズに加算し，ファイルのフレーム位置情報として設定する。動画像番号設定部１１２は，動画像番号２を設定する。ビット深度情報設定部１２０は，ビット深度情報として０を設定する。管理情報多重化部１１６は，フレーム位置情報と動画像番号とビット深度情報を多重化する。
【００９５】
続いてデータ切り替え部１１０は，動画像Ｄを選択する。動画像Ｄ符号化データ入力部１０４は，符号化データを１フレーム分入力し，動画像Ｄフレーム位置情報入力部１０９は，次のフレームのフレーム位置情報を入力する。符号化データ多重化部１１１は，符号化データを多重化する。フレーム先頭位置情報設定部１１４は，入力されたフレーム位置情報をファイルサイズに加算し，ファイルのフレーム位置情報として設定する。動画像番号設定部１１２は，動画像番号３を設定する。ビット深度情報設定部１２０は，ビット深度情報として０を設定する。管理情報多重化部１１６は，フレーム位置情報と動画像番号とビット深度情報を多重化する。
【００９６】
以上の動画像Ａ，Ｂ，Ｃ，Ｄの処理を多重化するフレーム全てについて続ける。最後に，ファイル多重化部１１５は，符号化データ多重化部１１１で得られる符号化データと，管理情報多重化部１１６で得られる管理情報を多重化してファイルを作成する。以上の処理でファイルに多重化することができる。
【００９７】
本実施例では，予め符号化して得られた符号化データとファイル先頭位置情報から多重化してファイルを作成する例を示したが，符号化データを作成しつつファイルを構成してもよい。
【００９８】
次に，多重化されたファイルから特定の動画像で所望のビット深度の符号化データを取り出すファイル読み込み方法について動作を説明する。図１０にファイル読み込み装置の構成を示す。図１０に示すファイル読み込み装置２４は，ファイルを読み込むファイル入力部２０１と，管理情報を読み取る管理情報読み取り部２０２と，管理情報から所望のビット深度情報を探索するビット深度情報探索部２０８と，管理情報から動画像番号を判定する動画像番号判定部２０３と，管理情報からフレーム先頭位置情報を読み取るフレーム先頭位置情報設定部２０５と，フレーム先頭位置情報に従ってファイルから符号化データを読み取る符号化データ読み取り部２０６とで構成される。
【００９９】
図９の多重化装置１２で作成されたファイルから８ビットの動画像Ｃの符号化データを読み取る場合の動作を示す。
【０１００】
ファイル入力部２０１は，ファイルを入力する。管理情報読み取り部２０２は，ファイルの後半にある管理情報を読み取る。ビット深度情報探索部２０８は，第１フレームでビット深度情報が８ビットの動画像の管理情報を探索する。動画像番号判定部２０３は，探索して得られた管理情報の動画像番号が２であるかどうかを判定する。最初に探索される動画像番号は２であるので，フレーム先頭位置情報設定部２０５は，このフレームのフレーム先頭位置情報を設定する。符号化データ読み取り部２０６は，設定されたファイル位置から符号化データを読み取る。このとき，フレーム先頭位置情報設定部２０５で得られる次のフレームの先頭位置までを読み取る。次に第１フレームでビット深度情報探索部２０８で探索されて動画像番号判定部２０３で判定される管理情報の動画像番号は３であるので，そのフレームは復号しない。
【０１０１】
以後のフレームについても，同様に動画像Ｃの符号化データを読み取る。
【０１０２】
ここで動画像Ｃの符号化データのみを読み取るようにしたが，特定のビット深度の動画像の符号化データを全て読み取るようにしてもよい。この場合のファイル読み込み装置の構成は図１１のファイル読み込み装置２５のようになり，図１０の構成から動画像番号判定部２０３を省いた構成となる。この場合に，８ビットの動画像の符号化データを読み取るときには，次のように処理される。
【０１０３】
ファイル入力部２０１は，ファイルを入力する。管理情報読み取り部２０２は，ファイルの後半にある管理情報を読み取る。ビット深度情報探索部２０８は，第１フレームでビット深度情報が８ビットの動画像の管理情報を探索する。最初に探索される動画像番号２のフレームについて，フレーム先頭位置情報設定部２０５は，このフレームのフレーム先頭位置情報を設定する。符号化データ読み取り部２０６は，設定されたファイル位置から符号化データを読み取る。このとき，フレーム先頭位置情報設定部２０５で得られる次のフレームの先頭位置までを読み取る。次に第１フレームで探索される動画像番号３のフレームについて，フレーム先頭位置情報設定部２０５は，このフレームのフレーム先頭位置情報を設定する。符号化データ読み取り部２０６は，設定されたファイル位置から符号化データを読み取る。このとき，フレーム先頭位置情報設定部２０５で得られる次のフレームの先頭位置までを読み取る。
【０１０４】
以後のフレームについても，同様に８ビットの動画像の符号化データを読み取る。
【０１０５】
このように本実施例によれば，符号化データ中に含まれるビット深度情報を復号することなく，特定のビット深度情報の符号化データを取り出すことができる。
【０１０６】
なお本実施例では，８ビットの動画像の符号化データを読み込む場合の処理を示したが，１０ビットの動画像の符号化データを読み込むようにしてもよい。
【０１０７】
なお，本実施例の多重化装置１２では，符号化データの後に管理情報を設定したが，ファイルにトラックの構造が設定されている場合には，管理情報を第一トラックに設定し，符号化データを第二トラックに設定してもよい。
【０１０８】
図１２に，ファイル中におけるトラックや管理情報の構成例を示す。作成されたファイルには，符号化データトラック３０と管理情報トラック４０とがあり，符号化データトラック３０には，動画像Ａ符号化データ３１，動画像Ｂ符号化データ３２，…が格納される。また，管理情報トラック４０には，各時刻Ｔｎごとの管理情報４１，４２，４３，…が格納され，これらには各々，フレーム先頭位置情報，動画像番号，ビット深度情報などの情報が格納される。
【０１０９】
以上の実施例で異なる色空間や空間解像度やビット深度の動画像の符号化データを多重化する装置と，特定の動画像を読み取る装置の動作の例を示した。本発明は，色空間や空間解像度やビット深度のうち，いずれかが異なるのではなく，組み合わせて異なる場合にも適用できる。例えば，色空間と空間解像度が同時に異なる場合の動画像の符号化データを多重化してもよい。この場合の多重化では，管理情報として，色空間情報と空間解像度情報が同時に多重化される。
【０１１０】
また，以上の実施例の説明では，フレーム単位に管理情報を設定する例について説明したが，フレームを分割したスライス単位に管理情報を設定してもよい。この場合には，管理情報はフレーム先頭位置の代わりに，スライス先頭位置情報を含む。また，多重化や読み取りもフレーム単位ではなく，スライス単位で行う。すなわち，上記実施例の説明において，フレームをスライスに読み替えて本発明を実施することも可能である。
【０１１１】
以上の多重化装置およびファイル読み込み装置による処理は，コンピュータとソフトウェアプログラムとによって実現することもでき，そのプログラムをコンピュータ読み取り可能な記録媒体に記録して提供することも，ネットワークを通して提供することも可能である。
【図面の簡単な説明】
【０１１２】
【図１】第１の実施例における多重化装置の構成を示す図である。
【図２】第１の実施例におけるファイル読み込み装置の構成１を示す図である。
【図３】第１の実施例におけるファイル読み込み装置の構成２を示す図である。
【図４】第１の実施例のファイル中におけるトラックと管理情報の構成例を示す図である。
【図５】第２の実施例における多重化装置の構成を示す図である。
【図６】第２の実施例におけるファイル読み込み装置の構成１を示す図である。
【図７】第２の実施例におけるファイル読み込み装置の構成２を示す図である。
【図８】第２の実施例のファイル中におけるトラックと管理情報の構成例を示す図である。
【図９】第３の実施例における多重化装置の構成を示す図である。
【図１０】第３の実施例におけるファイル読み込み装置の構成１を示す図である。
【図１１】第３の実施例におけるファイル読み込み装置の構成２を示す図である。
【図１２】第３の実施例のファイル中におけるトラックと管理情報の構成例を示す図である。
【図１３】スケーラブル符号化の概念を示す図である。
【図１４】ＭＶＣの参照関係の例を示す図である。
【図１５】ＭＶＣの符号化データの構成例を示す図である。
【図１６】ファイル中におけるトラックや管理情報の構成例を示す図である。
【符号の説明】
【０１１３】
１０，１１，１２ 多重化装置
１０１ 動画像Ａ符号化データ入力部
１０２ 動画像Ｂ符号化データ入力部
１０３ 動画像Ｃ符号化データ入力部
１０４ 動画像Ｄ符号化データ入力部
１０５ 参照関係データ入力部
１０６ 動画像Ａフレーム位置情報入力部
１０７ 動画像Ｂフレーム位置情報入力部
１０８ 動画像Ｃフレーム位置情報入力部
１０９ 動画像Ｄフレーム位置情報入力部
１１０ データ切り替え部
１１１ 符号化データ多重化部
１１２ 動画像番号設定部
１１３ 色空間情報設定部
１１４ フレーム先頭位置情報設定部
１１５ ファイル多重化部
１１６ 管理情報多重化部
１１７ 色空間データ入力部
１１８ 空間解像度情報設定部
１１９ 空間解像度データ入力部
１２０ ビット深度情報設定部
１２１ ビット深度データ入力部
２０，２１，２２，２３，２４，２５ ファイル読み込み装置
２０１ ファイル入力部
２０２ 管理情報読み取り部
２０３ 動画像番号判定部
２０４ 色空間情報探索部
２０５ フレーム先頭位置情報設定部
２０６ 符号化データ読み取り部
２０７ 空間解像度情報探索部
２０８ ビット深度情報探索部
【特許請求の範囲】
【請求項１】
異なる色空間を持つ複数の動画像の間で予測符号化して作成された符号化データを多重化してファイルを構成する多重化方法であって，
動画像のフレームまたはスライス先頭のファイル中の位置情報と，動画像を区別する動画像番号と，該フレームまたはスライスの色空間を示す色空間情報を多重化する過程と，
前記多重化した情報を，各動画像のフレームまたはスライスの復号対象となる符号化データとは別の特定の位置に設定してファイルを構成する過程と，
を有することを特徴とする動画像の多重化方法。
【請求項２】
異なる色空間を持つ複数の動画像の間で予測符号化して作成された符号化データを多重化してファイルを構成する多重化方法であって，
動画像のフレームまたはスライス先頭のファイル中の位置情報と，動画像を区別する動画像番号と，該フレームまたはスライスの色空間を示す色空間情報を第一のトラックとし，
各フレームまたはスライスの符号化データを第二のトラックとして，
前記第一のトラックと前記第二のトラックとをそれぞれ独立に多重化してファイルを構成する
ことを特徴とする動画像の多重化方法。
【請求項３】
異なる空間解像度を持つ複数の動画像の間で予測符号化して作成された符号化データを多重化してファイルを構成する多重化方法であって，
動画像のフレームまたはスライス先頭のファイル中の位置情報と，動画像を区別する動画像番号と，該フレームまたはスライスの空間解像度情報を多重化する過程と，
前記多重化した情報を，各動画像のフレームまたはスライスの復号対象となる符号化データとは別の特定の位置に設定してファイルを構成する過程と，
を有することを特徴とする動画像の多重化方法。
【請求項４】
異なる空間解像度を持つ複数の動画像の間で予測符号化して作成された符号化データを多重化してファイルを構成する多重化方法であって，
動画像のフレームまたはスライス先頭のファイル中の位置情報と，動画像を区別する動画像番号と，該フレームまたはスライスの空間解像度情報を第一のトラックとし，
各フレームまたはスライスの符号化データを第二のトラックとして，
前記第一のトラックと前記第二のトラックとをそれぞれ独立に多重化してファイルを構成する
ことを特徴とする動画像の多重化方法。
【請求項５】
異なるビット深度を持つ複数の動画像の間で予測符号化して作成された符号化データを多重化してファイルを構成する多重化方法であって，
動画像のフレームまたはスライス先頭のファイル中の位置情報と，動画像を区別する動画像番号と，該フレームまたはスライスのビット深度情報を多重化する過程と，
前記多重化した情報を，各動画像のフレームまたはスライスの復号対象となる符号化データとは別の特定の位置に設定してファイルを構成する過程と，
を有することを特徴とする動画像の多重化方法。
【請求項６】
異なるビット深度を持つ複数の動画像の間で予測符号化して作成された符号化データを多重化してファイルを構成する多重化方法であって，
動画像のフレームまたはスライス先頭のファイル中の位置情報と，動画像を区別する動画像番号と，該フレームまたはスライスのビット深度情報を第一のトラックとし，
各フレームまたはスライスの符号化データを第二のトラックとして，
前記第一のトラックと前記第二のトラックとをそれぞれ独立に多重化してファイルを構成する
ことを特徴とする動画像の多重化方法。
【請求項７】
異なる色空間を持つ複数の動画像の間で予測符号化して作成された符号化データを多重化してファイルを構成する多重化装置であって，
動画像のフレームまたはスライス先頭のファイル中の位置情報と，動画像を区別する動画像番号と，該フレームまたはスライスの色空間を示す色空間情報を多重化した管理情報を作成する管理情報多重化部と，
各動画像のフレームまたはスライスの復号対象となる符号化データとは別の特定の位置に前記管理情報多重化部で作成された管理情報を設定するファイル多重化部と，
を備えることを特徴とする動画像の多重化装置。
【請求項８】
異なる色空間を持つ複数の動画像の間で予測符号化して作成された符号化データを多重化してファイルを構成する多重化装置であって，
動画像のフレームまたはスライス先頭のファイル中の位置情報と，動画像を区別する動画像番号と，該フレームまたはスライスの色空間を示す色空間情報を第一のトラックとして多重化する管理情報多重化部と，
各フレームまたはスライスの符号化データを第二のトラックとして多重化する符号化データ多重化部と，
前記第一のトラックと前記第二のトラックとを多重化してファイルを構成するファイル多重化部と，
を備えることを特徴とする動画像の多重化装置。
【請求項９】
異なる空間解像度を持つ複数の動画像の間で予測符号化して作成された符号化データを多重化してファイルを構成する多重化装置であって，
動画像のフレームまたはスライス先頭のファイル中の位置情報と，動画像を区別する動画像番号と，該フレームまたはスライスの空間解像度情報を多重化した管理情報を作成する管理情報多重化部と，
各動画像のフレームまたはスライスの復号対象となる符号化データとは別の特定の位置に前記管理情報多重化部で作成された管理情報を設定するファイル多重化部と，
を備えることを特徴とする動画像の多重化装置。
【請求項１０】
異なる空間解像度を持つ複数の動画像の間で予測符号化して作成された符号化データを多重化してファイルを構成する多重化装置であって，
動画像のフレームまたはスライス先頭のファイル中の位置情報と，動画像を区別する動画像番号と，該フレームまたはスライスの空間解像度情報を第一のトラックとして多重化する管理情報多重化部と，
各フレームまたはスライスの符号化データを第二のトラックとして多重化する符号化データ多重化部と，
前記第一のトラックと前記第二のトラックとを多重化してファイルを構成するファイル多重化部と，
を備えることを特徴とする動画像の多重化装置。
【請求項１１】
異なるビット深度を持つ複数の動画像の間で予測符号化して作成された符号化データを多重化してファイルを構成する多重化装置であって，
動画像のフレームまたはスライス先頭のファイル中の位置情報と，動画像を区別する動画像番号と，該フレームまたはスライスのビット深度情報を多重化した管理情報を作成する管理情報多重化部と，
各動画像のフレームまたはスライスの復号対象となる符号化データとは別の特定の位置に前記管理情報多重化部で作成された管理情報を設定するファイル多重化部と，
を備えることを特徴とする動画像の多重化装置。
【請求項１２】
異なるビット深度を持つ複数の動画像の間で予測符号化して作成された符号化データを多重化してファイルを構成する多重化装置であって，
動画像のフレームまたはスライス先頭のファイル中の位置情報と，動画像を区別する動画像番号と，該フレームまたはスライスのビット深度情報を第一のトラックとして多重化する管理情報多重化部と，
各フレームまたはスライスの符号化データを第二のトラックとして多重化する符号化データ多重化部と，
前記第一のトラックと前記第二のトラックとを多重化してファイルを構成するファイル多重化部と，
を備えることを特徴とする動画像の多重化装置。
【請求項１３】
異なる色空間を持つ複数の動画像の間で予測符号化して作成された符号化データとその管理情報データとが多重化されて格納されているファイルから復号対象となる符号化データを読み込む方法であって，
前記ファイルから，動画像のフレームまたはスライス先頭のファイル中の位置情報と，動画像を区別する動画像番号と，該フレームまたはスライスの色空間を示す色空間情報とが含まれる管理情報データを読み込む過程と，
予め設定した色空間情報を持つ管理情報を前記管理情報データから探索する過程と，
探索した管理情報中の予め設定した色空間情報となるフレームまたはスライスの先頭位置情報を読み取る過程と，
読み取ったフレームまたはスライス先頭位置の符号化データを読み取る過程と，
を有することを特徴とする動画像のファイル読み込み方法。
【請求項１４】
異なる空間解像度を持つ複数の動画像の間で予測符号化して作成された符号化データとその管理情報データとが多重化されて格納されているファイルから復号対象となる符号化データを読み込む方法であって，
前記ファイルから，動画像のフレームまたはスライス先頭のファイル中の位置情報と，動画像を区別する動画像番号と，該フレームまたはスライスの空間解像度を示す空間解像度情報とが含まれる管理情報データを読み込む過程と，
予め設定した空間解像度情報を持つ管理情報を前記管理情報データから探索する過程と，
探索した管理情報中の予め設定した空間解像度情報となるフレームまたはスライスの先頭位置情報を読み取る過程と，
読み取ったフレームまたはスライス先頭位置の符号化データを読み取る過程と，
を有することを特徴とする動画像のファイル読み込み方法。
【請求項１５】
異なるビット深度を持つ複数の動画像の間で予測符号化して作成された符号化データとその管理情報データとが多重化されて格納されているファイルから復号対象となる符号化データを読み込む方法であって，
前記ファイルから，動画像のフレームまたはスライス先頭のファイル中の位置情報と，動画像を区別する動画像番号と，該フレームまたはスライスのビット深度を示すビット深度情報とが含まれる管理情報データを読み込む過程と，
予め設定したビット深度情報を持つ管理情報を前記管理情報データから探索する過程と，
探索した管理情報中の予め設定したビット深度情報となるフレームまたはスライスの先頭位置情報を読み取る過程と，
読み取ったフレームまたはスライス先頭位置の符号化データを読み取る過程と，
を有することを特徴とする動画像のファイル読み込み方法。
【請求項１６】
異なる色空間を持つ複数の動画像の間で予測符号化して作成された符号化データとその管理情報データとが多重化されて格納されているファイルから復号対象となる符号化データを読み込む装置であって，
前記ファイルから，動画像のフレームまたはスライス先頭のファイル中の位置情報と，動画像を区別する動画像番号と，該フレームまたはスライスの色空間を示す色空間情報とが含まれる管理情報データを読み込む管理情報読み取り部と，
予め設定した色空間情報を持つ管理情報を前記管理情報データから探索する色空間情報探索部と，
探索した管理情報中の予め設定した色空間情報となるフレームまたはスライスの先頭位置情報を読み取るフレームまたはスライス先頭位置情報設定部と，
読み取ったフレームまたはスライス先頭位置の符号化データを読み取る符号化データ読み取り部と，
を備えることを特徴とする動画像のファイル読み込み装置。
【請求項１７】
異なる空間解像度を持つ複数の動画像の間で予測符号化して作成された符号化データとその管理情報データとが多重化されて格納されているファイルから復号対象となる符号化データを読み込む装置であって，
前記ファイルから，動画像のフレームまたはスライス先頭のファイル中の位置情報と，動画像を区別する動画像番号と，該フレームまたはスライスの空間解像度を示す空間解像度情報とが含まれる管理情報データを読み込む管理情報読み取り部と，
予め設定した空間解像度情報を持つ管理情報を前記管理情報データから探索する空間解像度情報探索部と，
探索した管理情報中の予め設定した空間解像度情報となるフレームまたはスライスの先頭位置情報を読み取るフレームまたはスライス先頭位置情報設定部と，
読み取ったフレームまたはスライス先頭位置の符号化データを読み取る符号化データ読み取り部と，
を備えることを特徴とする動画像のファイル読み込み装置。
【請求項１８】
異なるビット深度を持つ複数の動画像の間で予測符号化して作成された符号化データとその管理情報データとが多重化されて格納されているファイルから復号対象となる符号化データを読み込む装置であって，
前記ファイルから，動画像のフレームまたはスライス先頭のファイル中の位置情報と，動画像を区別する動画像番号と，該フレームまたはスライスのビット深度を示すビット深度情報とが含まれる管理情報データを読み込む管理情報読み取り部と，
予め設定したビット深度情報を持つ管理情報を前記管理情報データから探索するビット深度情報探索部と，
探索した管理情報中の予め設定したビット深度情報となるフレームまたはスライスの先頭位置情報を読み取るフレームまたはスライス先頭位置情報設定部と，
読み取ったフレームまたはスライス先頭位置の符号化データを読み取る符号化データ読み取り部と，
を備えることを特徴とする動画像のファイル読み込み装置。
【請求項１９】
請求項１から請求項６までのいずれか１項に記載の動画像の多重化方法を，コンピュータに実行させるための動画像の多重化プログラム。
【請求項２０】
請求項１９に記載の動画像の多重化プログラムを記録したコンピュータ読み取り可能な記録媒体。
【請求項２１】
請求項１３から請求項１５までのいずれか１項に記載の動画像のファイル読み込み方法を，コンピュータに実行させるための動画像のファイル読み込みプログラム。
【請求項２２】
請求項２１に記載の動画像のファイル読み込みプログラムを記録したコンピュータ読み取り可能な記録媒体。
【請求項１】
異なる色空間を持つ複数の動画像の間で予測符号化して作成された符号化データを多重化してファイルを構成する多重化方法であって，
動画像のフレームまたはスライス先頭のファイル中の位置情報と，動画像を区別する動画像番号と，該フレームまたはスライスの色空間を示す色空間情報を多重化する過程と，
前記多重化した情報を，各動画像のフレームまたはスライスの復号対象となる符号化データとは別の特定の位置に設定してファイルを構成する過程と，
を有することを特徴とする動画像の多重化方法。
【請求項２】
異なる色空間を持つ複数の動画像の間で予測符号化して作成された符号化データを多重化してファイルを構成する多重化方法であって，
動画像のフレームまたはスライス先頭のファイル中の位置情報と，動画像を区別する動画像番号と，該フレームまたはスライスの色空間を示す色空間情報を第一のトラックとし，
各フレームまたはスライスの符号化データを第二のトラックとして，
前記第一のトラックと前記第二のトラックとをそれぞれ独立に多重化してファイルを構成する
ことを特徴とする動画像の多重化方法。
【請求項３】
異なる空間解像度を持つ複数の動画像の間で予測符号化して作成された符号化データを多重化してファイルを構成する多重化方法であって，
動画像のフレームまたはスライス先頭のファイル中の位置情報と，動画像を区別する動画像番号と，該フレームまたはスライスの空間解像度情報を多重化する過程と，
前記多重化した情報を，各動画像のフレームまたはスライスの復号対象となる符号化データとは別の特定の位置に設定してファイルを構成する過程と，
を有することを特徴とする動画像の多重化方法。
【請求項４】
異なる空間解像度を持つ複数の動画像の間で予測符号化して作成された符号化データを多重化してファイルを構成する多重化方法であって，
動画像のフレームまたはスライス先頭のファイル中の位置情報と，動画像を区別する動画像番号と，該フレームまたはスライスの空間解像度情報を第一のトラックとし，
各フレームまたはスライスの符号化データを第二のトラックとして，
前記第一のトラックと前記第二のトラックとをそれぞれ独立に多重化してファイルを構成する
ことを特徴とする動画像の多重化方法。
【請求項５】
異なるビット深度を持つ複数の動画像の間で予測符号化して作成された符号化データを多重化してファイルを構成する多重化方法であって，
動画像のフレームまたはスライス先頭のファイル中の位置情報と，動画像を区別する動画像番号と，該フレームまたはスライスのビット深度情報を多重化する過程と，
前記多重化した情報を，各動画像のフレームまたはスライスの復号対象となる符号化データとは別の特定の位置に設定してファイルを構成する過程と，
を有することを特徴とする動画像の多重化方法。
【請求項６】
異なるビット深度を持つ複数の動画像の間で予測符号化して作成された符号化データを多重化してファイルを構成する多重化方法であって，
動画像のフレームまたはスライス先頭のファイル中の位置情報と，動画像を区別する動画像番号と，該フレームまたはスライスのビット深度情報を第一のトラックとし，
各フレームまたはスライスの符号化データを第二のトラックとして，
前記第一のトラックと前記第二のトラックとをそれぞれ独立に多重化してファイルを構成する
ことを特徴とする動画像の多重化方法。
【請求項７】
異なる色空間を持つ複数の動画像の間で予測符号化して作成された符号化データを多重化してファイルを構成する多重化装置であって，
動画像のフレームまたはスライス先頭のファイル中の位置情報と，動画像を区別する動画像番号と，該フレームまたはスライスの色空間を示す色空間情報を多重化した管理情報を作成する管理情報多重化部と，
各動画像のフレームまたはスライスの復号対象となる符号化データとは別の特定の位置に前記管理情報多重化部で作成された管理情報を設定するファイル多重化部と，
を備えることを特徴とする動画像の多重化装置。
【請求項８】
異なる色空間を持つ複数の動画像の間で予測符号化して作成された符号化データを多重化してファイルを構成する多重化装置であって，
動画像のフレームまたはスライス先頭のファイル中の位置情報と，動画像を区別する動画像番号と，該フレームまたはスライスの色空間を示す色空間情報を第一のトラックとして多重化する管理情報多重化部と，
各フレームまたはスライスの符号化データを第二のトラックとして多重化する符号化データ多重化部と，
前記第一のトラックと前記第二のトラックとを多重化してファイルを構成するファイル多重化部と，
を備えることを特徴とする動画像の多重化装置。
【請求項９】
異なる空間解像度を持つ複数の動画像の間で予測符号化して作成された符号化データを多重化してファイルを構成する多重化装置であって，
動画像のフレームまたはスライス先頭のファイル中の位置情報と，動画像を区別する動画像番号と，該フレームまたはスライスの空間解像度情報を多重化した管理情報を作成する管理情報多重化部と，
各動画像のフレームまたはスライスの復号対象となる符号化データとは別の特定の位置に前記管理情報多重化部で作成された管理情報を設定するファイル多重化部と，
を備えることを特徴とする動画像の多重化装置。
【請求項１０】
異なる空間解像度を持つ複数の動画像の間で予測符号化して作成された符号化データを多重化してファイルを構成する多重化装置であって，
動画像のフレームまたはスライス先頭のファイル中の位置情報と，動画像を区別する動画像番号と，該フレームまたはスライスの空間解像度情報を第一のトラックとして多重化する管理情報多重化部と，
各フレームまたはスライスの符号化データを第二のトラックとして多重化する符号化データ多重化部と，
前記第一のトラックと前記第二のトラックとを多重化してファイルを構成するファイル多重化部と，
を備えることを特徴とする動画像の多重化装置。
【請求項１１】
異なるビット深度を持つ複数の動画像の間で予測符号化して作成された符号化データを多重化してファイルを構成する多重化装置であって，
動画像のフレームまたはスライス先頭のファイル中の位置情報と，動画像を区別する動画像番号と，該フレームまたはスライスのビット深度情報を多重化した管理情報を作成する管理情報多重化部と，
各動画像のフレームまたはスライスの復号対象となる符号化データとは別の特定の位置に前記管理情報多重化部で作成された管理情報を設定するファイル多重化部と，
を備えることを特徴とする動画像の多重化装置。
【請求項１２】
異なるビット深度を持つ複数の動画像の間で予測符号化して作成された符号化データを多重化してファイルを構成する多重化装置であって，
動画像のフレームまたはスライス先頭のファイル中の位置情報と，動画像を区別する動画像番号と，該フレームまたはスライスのビット深度情報を第一のトラックとして多重化する管理情報多重化部と，
各フレームまたはスライスの符号化データを第二のトラックとして多重化する符号化データ多重化部と，
前記第一のトラックと前記第二のトラックとを多重化してファイルを構成するファイル多重化部と，
を備えることを特徴とする動画像の多重化装置。
【請求項１３】
異なる色空間を持つ複数の動画像の間で予測符号化して作成された符号化データとその管理情報データとが多重化されて格納されているファイルから復号対象となる符号化データを読み込む方法であって，
前記ファイルから，動画像のフレームまたはスライス先頭のファイル中の位置情報と，動画像を区別する動画像番号と，該フレームまたはスライスの色空間を示す色空間情報とが含まれる管理情報データを読み込む過程と，
予め設定した色空間情報を持つ管理情報を前記管理情報データから探索する過程と，
探索した管理情報中の予め設定した色空間情報となるフレームまたはスライスの先頭位置情報を読み取る過程と，
読み取ったフレームまたはスライス先頭位置の符号化データを読み取る過程と，
を有することを特徴とする動画像のファイル読み込み方法。
【請求項１４】
異なる空間解像度を持つ複数の動画像の間で予測符号化して作成された符号化データとその管理情報データとが多重化されて格納されているファイルから復号対象となる符号化データを読み込む方法であって，
前記ファイルから，動画像のフレームまたはスライス先頭のファイル中の位置情報と，動画像を区別する動画像番号と，該フレームまたはスライスの空間解像度を示す空間解像度情報とが含まれる管理情報データを読み込む過程と，
予め設定した空間解像度情報を持つ管理情報を前記管理情報データから探索する過程と，
探索した管理情報中の予め設定した空間解像度情報となるフレームまたはスライスの先頭位置情報を読み取る過程と，
読み取ったフレームまたはスライス先頭位置の符号化データを読み取る過程と，
を有することを特徴とする動画像のファイル読み込み方法。
【請求項１５】
異なるビット深度を持つ複数の動画像の間で予測符号化して作成された符号化データとその管理情報データとが多重化されて格納されているファイルから復号対象となる符号化データを読み込む方法であって，
前記ファイルから，動画像のフレームまたはスライス先頭のファイル中の位置情報と，動画像を区別する動画像番号と，該フレームまたはスライスのビット深度を示すビット深度情報とが含まれる管理情報データを読み込む過程と，
予め設定したビット深度情報を持つ管理情報を前記管理情報データから探索する過程と，
探索した管理情報中の予め設定したビット深度情報となるフレームまたはスライスの先頭位置情報を読み取る過程と，
読み取ったフレームまたはスライス先頭位置の符号化データを読み取る過程と，
を有することを特徴とする動画像のファイル読み込み方法。
【請求項１６】
異なる色空間を持つ複数の動画像の間で予測符号化して作成された符号化データとその管理情報データとが多重化されて格納されているファイルから復号対象となる符号化データを読み込む装置であって，
前記ファイルから，動画像のフレームまたはスライス先頭のファイル中の位置情報と，動画像を区別する動画像番号と，該フレームまたはスライスの色空間を示す色空間情報とが含まれる管理情報データを読み込む管理情報読み取り部と，
予め設定した色空間情報を持つ管理情報を前記管理情報データから探索する色空間情報探索部と，
探索した管理情報中の予め設定した色空間情報となるフレームまたはスライスの先頭位置情報を読み取るフレームまたはスライス先頭位置情報設定部と，
読み取ったフレームまたはスライス先頭位置の符号化データを読み取る符号化データ読み取り部と，
を備えることを特徴とする動画像のファイル読み込み装置。
【請求項１７】
異なる空間解像度を持つ複数の動画像の間で予測符号化して作成された符号化データとその管理情報データとが多重化されて格納されているファイルから復号対象となる符号化データを読み込む装置であって，
前記ファイルから，動画像のフレームまたはスライス先頭のファイル中の位置情報と，動画像を区別する動画像番号と，該フレームまたはスライスの空間解像度を示す空間解像度情報とが含まれる管理情報データを読み込む管理情報読み取り部と，
予め設定した空間解像度情報を持つ管理情報を前記管理情報データから探索する空間解像度情報探索部と，
探索した管理情報中の予め設定した空間解像度情報となるフレームまたはスライスの先頭位置情報を読み取るフレームまたはスライス先頭位置情報設定部と，
読み取ったフレームまたはスライス先頭位置の符号化データを読み取る符号化データ読み取り部と，
を備えることを特徴とする動画像のファイル読み込み装置。
【請求項１８】
異なるビット深度を持つ複数の動画像の間で予測符号化して作成された符号化データとその管理情報データとが多重化されて格納されているファイルから復号対象となる符号化データを読み込む装置であって，
前記ファイルから，動画像のフレームまたはスライス先頭のファイル中の位置情報と，動画像を区別する動画像番号と，該フレームまたはスライスのビット深度を示すビット深度情報とが含まれる管理情報データを読み込む管理情報読み取り部と，
予め設定したビット深度情報を持つ管理情報を前記管理情報データから探索するビット深度情報探索部と，
探索した管理情報中の予め設定したビット深度情報となるフレームまたはスライスの先頭位置情報を読み取るフレームまたはスライス先頭位置情報設定部と，
読み取ったフレームまたはスライス先頭位置の符号化データを読み取る符号化データ読み取り部と，
を備えることを特徴とする動画像のファイル読み込み装置。
【請求項１９】
請求項１から請求項６までのいずれか１項に記載の動画像の多重化方法を，コンピュータに実行させるための動画像の多重化プログラム。
【請求項２０】
請求項１９に記載の動画像の多重化プログラムを記録したコンピュータ読み取り可能な記録媒体。
【請求項２１】
請求項１３から請求項１５までのいずれか１項に記載の動画像のファイル読み込み方法を，コンピュータに実行させるための動画像のファイル読み込みプログラム。
【請求項２２】
請求項２１に記載の動画像のファイル読み込みプログラムを記録したコンピュータ読み取り可能な記録媒体。
【図１】
【図２】
【図３】
【図４】
【図５】
【図６】
【図７】
【図８】
【図９】
【図１０】
【図１１】
【図１２】
【図１３】
【図１４】
【図１５】
【図１６】
【図２】
【図３】
【図４】
【図５】
【図６】
【図７】
【図８】
【図９】
【図１０】
【図１１】
【図１２】
【図１３】
【図１４】
【図１５】
【図１６】
【公開番号】特開２００９−１６４９３７（Ｐ２００９−１６４９３７Ａ）
【公開日】平成２１年７月２３日（２００９．７．２３）
【国際特許分類】
【出願番号】特願２００８−１０１０（Ｐ２００８−１０１０）
【出願日】平成２０年１月８日（２００８．１．８）
【出願人】（０００００４２２６）日本電信電話株式会社 (13,992)
【Ｆターム（参考）】
【公開日】平成２１年７月２３日（２００９．７．２３）
【国際特許分類】
【出願日】平成２０年１月８日（２００８．１．８）
【出願人】（０００００４２２６）日本電信電話株式会社 (13,992)
【Ｆターム（参考）】
[ Back to top ]