動画像再生システム
【課題】汎用プロセッサで多重分離処理と時間管理処理を行なっている動画像再生システムにおいて、高画質な高ビットレート動画データの再生を行なった場合、汎用プロセッサの処理負荷が増え動画像再生のためのりアルタイムな時間管理ができない。
【解決手段】蓄積メディア１００から多重分離処理１０８または復号化処理１０９、１１０へ、多重化ストリームデータを、汎用プロセッサ１０１でのファイル管理処理１０７を経由せずに、直接転送できる転送装置１０３を備える。これにより、汎用プロセッサ１０１以外での多重分離処理１０８を可能とし、同期制御処理１１１も汎用プロセッサ１０１以外で制御する。
【解決手段】蓄積メディア１００から多重分離処理１０８または復号化処理１０９、１１０へ、多重化ストリームデータを、汎用プロセッサ１０１でのファイル管理処理１０７を経由せずに、直接転送できる転送装置１０３を備える。これにより、汎用プロセッサ１０１以外での多重分離処理１０８を可能とし、同期制御処理１１１も汎用プロセッサ１０１以外で制御する。
【発明の詳細な説明】
【技術分野】
【０００１】
本発明は、複数のストリームが多重化された多重化ストリームを再生するストリーム再生システムにおいて、特に、ビデオ符号化データやオーディオ符号化データが多重化された多重化ストリームを、蓄積メディアからリアルタイムに再生する動画像再生システムに関する。
【背景技術】
【０００２】
蓄積メディアから、ビデオ符号化データやオーディオ符号化データが多重化された多重化ストリームを、リアルタイムに再生する動画像再生システムとして、特許文献１などがある。この従来例では、様々な方式の多重化ストリームに対応するため、汎用プロセッサ（文献ではCPUと表記）が、ソフトウェアによって多重化ストリームの多重分離処理を行なうことを特徴としている。
【０００３】
一方、蓄積メディアに格納される多重化ストリームの多重化方式として、たとえばASF（Advanced System Format）がある。図１２にASFの概略構造図を示す。図１２（A）はASFの最上位レイヤのデータ構造を示している。このレイヤは、ASFファイルのプロパティやオーディオ、ビデオの符号化方式などの情報を格納するHeaderObject（以下「ヘッダオブジェクト」という）と、符号化されたオーディオデータ及びビデオデータをDataObject（以下「データオブジェクト」という）と、基準画面情報を格納するIndexObject（以下「インデックスオブジェクト」という）とから構成される。図１２（B）（C）(D)にデータオブジェクトにおける下位層の内部構造を示す。図１２（B）が示すように、データオブジェクトは固定長のPacket（以下パケット）単位で管理され、さらにそのパケットは図１２（C）が示すように、PacketHeader(以下「パケットヘッダ」という)と一個以上のPayload（以下「ペイロード」という）と呼ばれるデータブロックで構成されている。ペイロードは図１２（D）に示すように、ペイロードヘッダとペイロードデータから構成され、ペイロードヘッダにはペイロードデータのサイズと再生時刻情報PTSが格納されている。
【０００４】
次に、図１３にASFファイルの分離処理の一般的な処理フロー概略を示す。再生開始時、ステップ１３００において、ヘッダオブジェクト取得を行う。ステップ１３０１では、取得したヘッダオブジェクトの解析を行い、ファイルサイズ、パケットサイズなどの情報を取得する。これら情報をもとに、多重化ストリーム内でのパケット位置を算出可能となる。上記が管理情報解析処理で行われる内容である。
【０００５】
次に、ステップ１３０２では、オーディオ、ビデオデータ取得を行うために、ヘッダオブジェクトから取得した情報をもとに、パケットの取得を行う。ステップ１３０３では、パケットの解析を行い、ビデオまたはオーディオのペイロードを取得する。ステップ１３０４では、取得したペイロードの解析を行い、ビデオデータやオーディオデータの抽出とそれぞれの再生時刻情報を取得する。上記が多重分離処理により行われる内容である。
従って、多重化ストリームの多重分離処理により、各メディアデータと各メディアの再生時刻情報が取得されることから、多重分離処理と再生時刻との同期処理は、同一のプロセッサで行うことが好ましい。なお、ASFは、非特許文献１に詳述される。
【０００６】
また、近年の蓄積メディアは、ビデオやオーディオだけでなく、文字データやアプリケーションなどの様々なデータを格納するために、PCなどで使用されている、たとえばFATシステムなどの、ファイルシステムを通じたアクセスが一般的である。このファイルシステムはオペレーティングシステム（以下OS）に大きく依存するため、OSが動作する汎用プロセッサで行うことが一般的である。
【０００７】
以上より、周知のリアルタイム動画像再生システムの従来例として図１１に示す構成が一般的である。この従来例の構成は、多重化ストリームを格納する蓄積メディア１１００と、汎用プロセッサ１１０１と、ビデオやオーディオ復号化処理を行う信号処理プロセッサ１１０２と、図示しない外部デバイスに出力するオーディオ出力部１１０３とビデオ出力部１１０４とからなる。汎用プロセッサ１１０１では、多重化ストリームファイル内のデータ管理情報を解析する管理情報解析処理１１０５と、多重化ストリームファイル内の位置情報を、ファイルシステムに基づき蓄積メディア内部の位置情報に変換し、蓄積メディアにアクセスするファイル管理処理１１０６と、多重化ストリームを分離する多重分離処理１１０７と、再生時刻情報によりオーディオまたはビデオ復号化処理の開始、あるいは復号化されたオーディオまたはビデオデータの出力時刻を制御する同期制御１１０８とを行う。信号処理プロセッサ１１０２では、多重分離処理１１０７から分離されたオーディオ符号化データを復号化するオーディオ復号化処理１１０９と、多重分離処理１１０７から分離されたビデオ符号化データを復号化するビデオ復号化処理１１１０を行う。
【０００８】
上記従来例の汎用プロセッサで処理されるタスク遷移について、図１４にタイミングチャートを示す。オーディオとビデオの再生時刻に合わせた同期制御を行う必要性から、数msの時間制約を持った実時間処理を行う必要性がある。それに対し、蓄積メディアへのアクセス処理と多重分離処理は、数百msの時間制約である。
【特許文献１】特開１９９６−２９６０７８号公報
【非特許文献１】Microsoft Advanced Systems Format (“ASF”) Specification v. 1.2
【非特許文献２】ISO/IEC14496-1Information technology - Coding of audio-visual objects - Part 1 : Systems
【発明の開示】
【発明が解決しようとする課題】
【０００９】
しかしながら、今後予想される高画質対応の高ビットレートな動画像データを蓄積メディアから再生する場合、蓄積メディアへのアクセスや、多重化ストリームの分離処理の処理が増加することが予想される。
【００１０】
これを従来例のシステム構成で実現すると、汎用プロセッサでの処理負荷の増加により、オーディオおよびビデオのデータを再生時刻に合わせて同期制御を行うことが困難になり、リアルタイム動画再生が不可能になる。
【００１１】
また、近年、汎用プロセッサのオペレーティングシステムとして、Linuxなどの実時間性を保障できない、非リアルタイムオペレーティングシステムを使用する例が見られる。
【００１２】
このような、非リアルタイムなオペレーティングシステムの環境下では、処理負荷よりも数十ｍｓの同期制御を行うこと自体が困難である。
【００１３】
これら課題を解決する手段の一つとして、ビデオやオーディオ復号化処理を行う信号処理プロセッサで蓄積メディアへのアクセスと多重化ストリームの分離処理を行うことも考えられる。しかしながら、ファイルシステム構造を有した蓄積メディアへのアクセスをビデオやオーディオ復号化処理を行う信号処理プロセッサで行うことは、非効率である。また、多重分離処理をハードウェア構成で行うには、多様な多重化方式への対応が困難である。
本発明は、このような従来の課題を解決するためになされたものであり、高ビットレートな動画像データを蓄積メディアから再生する場合や、さらには、非リアルタイムなオペレーティングシステムの環境下でも、滑らかな動画再生を実現しうる動画再生システムを提供することを目的とする。
【課題を解決するための手段】
【００１４】
本発明は上記課題を解決するために、本発明に関する動画像再生システムは、ビデオ符号化データおよびオーディオ符号化データと、ビデオ符号化データおよびオーディオ符号化データを管理するためのデータ管理情報と、ビデオ符号化データおよびオーディオ符号化データの再生時刻を管理するための再生時刻情報とが多重化された、多重化ストリームを再生する動画像再生システムであって、
多重化ストリームを格納する蓄積メディアと、蓄積メディアから多重化ストリームを転送する転送装置と、転送された多重化ストリームを一時記憶するバッファと、バッファに一時記憶された多重化ストリームをビデオ符号化データとオーディオ符号化データとデータ管理情報と再生時刻情報とに分離する多重分離手段と、ビデオ符号化データを復号化するビデオ復号化手段と、オーディオ符号化データを復号化するオーディオ復号化手段と、再生時刻情報を入力としビデオ復号化手段によって復号化されたビデオデータまたはオーディオ復号化手段によって復号化されたオーディオデータの出力を制御する同期制御手段とを備えた信号処理プロセッサと、
データ管理情報を解析する管理情報解析手段と、管理情報解析手段によって解析された結果を入力とし、蓄積メディア内の任意の場所へアクセスするための設定を転送装置に行うファイル管理手段とを備えた汎用プロセッサとから構成され、
転送装置が、ファイル管理手段が設定した蓄積メディアへのアクセス情報をもとに、多重分離手段からの転送開始指示によって蓄積メディアから多重化ストリームをバッファへ直接転送可能なことを特徴とするものである。
【００１５】
上記構成において、汎用プロセッサは、多重分離手段、オーディオ復号化手段またはビデオ復号化手段から送信される次データの要求に応じて、次データの多重化ストリームファイル内での位置の算出と、位置に対しファイルシステムに基づき蓄積メディア内部の位置への変換と、転送装置への設定処理とを行う。
【００１６】
上記構成において、転送装置は、ファイル管理手段からの転送要求を複数キューイング可能な要求蓄積キューと、要求蓄積キューが空またはある閾値以下になることを検出するキュー検出手段とを有し、多重分離手段は、キュー検出手段の検出信号をもとに、管理情報解析手段への要求タイミングを制御する。
【００１７】
本発明の別の動画像再生システムは、ビデオ符号化データおよびオーディオ符号化データと、ビデオ符号化データおよびオーディオ符号化データを管理するためのデータ管理情報と、ビデオ符号化データおよびオーディオ符号化の再生時刻を管理するための再生時刻情報とが多重化された、多重化ストリームを再生する動画像再生システムであって、
多重化ストリームを格納する蓄積メディアと、多重化ストリーム内のオーディオ符号化データを転送する第１の転送手段を有し多重化ストリーム内のビデオ符号化データを転送する第２の転送手段を有する転送装置と、第１の転送手段により転送されたオーディオ符号化データを一時記憶するオーディオバッファと、第２の転送手段により転送されたビデオ符号化データを一時記憶するビデオバッファと、オーディオバッファに格納された符号化データを復号化するオーディオ復号化手段と、ビデオバッファに格納された符号化データを復号化するビデオ復号化手段と、オーディオバッファまたはビデオバッファに格納された符号化データのそれぞれに対応する再生時刻情報を一時的に格納する時刻情報バッファと、この時刻情報バッファから再生時刻情報を取得し、ビデオ復号化手段によって復号化されたビデオデータまたはオーディオ復号化手段によって復号化されたオーディオデータの出力を制御する同期制御手段とを備えた信号処理プロセッサと、
データ管理情報を解析する管理情報解析手段と、蓄積メディアへのアクセスまたは管理情報解析手段によって解析されたデータ管理情報から蓄積メディア内の任意の場所へアクセスするための設定を転送装置に行うファイル管理手段とを備えた汎用プロセッサとから構成され、
転送装置は、ファイル管理処理手段が設定した蓄積メディアへのアクセス情報をもとに、オーディオ復号化手段およびビデオ復号化手段からの転送開始指示によって、蓄積メディアからオーディオバッファおよびビデオバッファへ直接転送可能であることを特徴とするものである。
【００１８】
上記構成において、転送装置は、管理情報解析手段から得られる再生時刻情報と、オーディオ符号化データおよびビデオ符号化データとを結合する再生時刻結合手段を有し、蓄積メディアからオーディオバッファまたはビデオバッファへ、オーディオ符号化データまたはビデオ符号化データを転送する際に、管理情報解析手段から得られた再生時刻情報をオーディオ符号化データまたはビデオ符号化データに付記し転送する。
【００１９】
ただし、本発明において、信号処理プロセッサは、多重分離手段と、オーディオ復号化手段と、同期制御手段とを備えた信号処理プロセッサと、ビデオ復号化手段を備えるプロセッサとの二つのプロセッサ構成や、ビデオ復号化手段と、同期制御手段とを備えた信号処理プロセッサと、オーディオ復号化手段を備えるプロセッサとの二つのプロセッサ構成など、信号処理プロセッサの詳細な構成は特定しない。
【発明の効果】
【００２０】
本発明の動画像再生システムによれば、蓄積メディアから多重分離処理へ、または復号化処理手段へ多重化ストリームデータを、直接転送できる転送装置を新たに加えることによって、汎用プロセッサでのファイル管理処理を経由せずに多重化ストリームの転送を可能としている。さらには、多重化ストリームの管理情報解析処理と蓄積メディアのファイル管理処理を汎用プロセッサで行わせることで、ビデオやオーディオ復号化処理を行う信号処理プロセッサでは非効率なファイルシステム構造に基づいた蓄積メディアへのアクセス処理を行わない構成としている。さらには、同期制御を汎用プロセッサでは行なわない構成にしている。
【００２１】
従って、汎用プロセッサは、多重分離処理あるいは復号化処理から送信される次データの要求に応じて、次データの多重化ストリームファイル内での位置の算出と、ファイルシステム構造に基づき、蓄積メディア内部の位置への変換と、転送装置への設定処理とを行うだけになる。
【００２２】
結果、汎用プロセッサで動画像再生時に必要な処理の発生頻度は、図１４で示した同期制御タスクの数msの時間制約を持った実時間処理から解放され、時間制約は数百msの間隔に削減できる。さらに、汎用プロセッサで非リアルタイムなOSを使用した環境下でも、高ビットレートな動画像データを滑らかな動画再生処理を提供することが可能となる。
【発明を実施するための最良の形態】
【００２３】
本発明の各実施の形態を、図面を参照しながら詳細に説明する。
【００２４】
図１は、本発明の請求項１に記載の動画像再生システムの第１の実施の形態のブロック図である。
【００２５】
図１における動画像再生システムでは、多重化ストリームを格納する蓄積メディア１００と、汎用プロセッサ１０１とビデオやオーディオ復号化処理を行う信号処理プロセッサ１０２と、多重化ストリームを蓄積メディアから転送する転送装置１０３と、多重化ストリームを一時的に格納するバッファ１１２と、図示しない外部デバイスに出力するオーディオ出力部１０４とビデオ出力部１０５とから構成される。汎用プロセッサ１０１では、多重化ストリームファイル内のデータ管理情報を解析する管理情報解析処理１０６と、多重化ストリームファイル内の位置情報をファイルシステム構造に基づき、蓄積メディア内部の位置情報に変換するファイル管理処理１０７を行う。信号処理プロセッサ１０２では、多重化ストリームを分離する多重分離処理１０８と、多重分離処理１０８から分離されたオーディオ符号化データを復号化するオーディオ復号化処理１０９と、多重分離処理１０８から分離されたビデオ符号化データを復号化するビデオ復号化処理１１０と、再生時刻情報により、オーディオまたはビデオの復号化処理の開始時刻あるいは復号化されたオーディオまたはビデオデータの出力時刻を制御する同期制御処理１１１とを行う。図中細線矢印はデータフローを、点線矢印は制御を示している。
【００２６】
次にこのように構成された本実施の形態の動作例を、多重化ストリームの方式として前述のASFを適用し、図２、図３の処理フロー概要に従って、図１を参照しながら、以下に説明する。ただし、図２は汎用プロセッサでの処理ステップ、図３は信号処理プロセッサでの多重分離処理部分の処理ステップである。
【００２７】
はじめに、汎用プロセッサでの処理ステップを説明する。
【００２８】
再生開始時、ステップ２００において、管理情報解析処理１０６は、ファイル管理処理１０７を経由し、蓄積メディア１００からヘッダオブジェクト部分を取得する。ステップ２０１では、管理情報解析処理１０６は、ヘッダオブジェクトの解析を行いファイルサイズやパケットサイズ、全パケットの総数などの情報を取得する。これにより、多重分離処理１０８からのパケット要求により、取得すべきパケットの多重化ストリームファイル内の位置が算出可能となる。ステップ２０２では、初回のパケットをバッファ１１２に転送する処理を行う。ステップ２０３では、信号処理プロセッサ１０２へ多重分離処理１０８の起動を指示する。ステップ２０４では、現在のパケット番号が、パケット総数を超えているか否かを判断する。超えていない場合は、信号処理プロセッサからの次パケットの要求待ち２０５の状態になる。
【００２９】
信号処理プロセッサ１０２で多重分離処理１０８と復号化処理１０９、１１０が開始され、汎用プロセッサ１０１が、多重分離処理１０８から次パケットの要求を受けると、待ち状態から解除される。次ステップ２０６では、管理情報解析処理１０６は多重分離処理１０８から受けた要求情報に含まれるパケット番号に基づき、多重化ストリーム内の要求パケットの位置の算出を行う。ステップ２０７では、ファイル管理処理１０７は、管理情報解析処理１０６によって算出された要求パケットの位置を、蓄積メディア内部の位置に変換する。ステップ２０８では、変換された蓄積メディア内部の位置を転送装置１０３に設定する。そして、再び、信号処理プロセッサからの次パケットの要求待ち２０５の状態になる。汎用プロセッサ１０１は、これら一連の動作を行い、要求されたパケット番号がパケット総数を超えた時点で再生終了を行う。
【００３０】
次に、信号処理プロセッサ１０２での多重分離処理での処理ステップを説明する。
【００３１】
汎用プロセッサ１０１から、多重分離処理１０８へ起動が指示されてから、ステップ３００では、次のパケットの要求を行い、ビデオ、または、オーディオの復号化処理１０９、１１０からのデータ要求待ち３０１の状態になる。復号化処理からデータ要求が来ると、ステップ３０２では、要求がビデオであるか、オーディオであるかを判断する。ビデオからの要求である場合、ステップ３０３では、バッファ１１２内のパケット解析を行い、ビデオ符号化データを抽出する。ステップ３０４では、抽出したビデオ符号化データに対応する再生時刻情報を抽出する。そして、符号化データはビデオ復号化処理１１０へ、再生時刻情報は同期制御処理１１１へ、それぞれ送信する。ステップ３０５では、パケットからすべてのデータを抽出したかを判断し、抽出が完了していない場合は、再び、ビデオ、または、オーディオの復号化処理からのデータ要求待ち３０１の状態になる。抽出が完了した場合は，ステップ３０８において、次のパケットデータの転送開始を転送装置１０３に指示する。そして、転送完了待ち３０９の状態になる。転送完了後、再び、ステップ３００において、次パケットの要求を汎用プロセッサへ送信する。信号処理プロセッサは、これら一連の動作を再生終了となるまで続ける。
【００３２】
以上、本実施の形態が示す動画像再生システムでは、転送装置１０３を新たに加えることによって、汎用プロセッサ１０１を経由せずに、蓄積メディア１００から多重分離処理１０８への転送を可能としている。さらには、多重化ストリームの管理情報解析処理１０６と、蓄積メディア１００へアクセスするためのファイル管理処理１０７を、汎用プロセッサ１０１で処理させることで、信号処理プロセッサ１０２では非効率なファイルシステム構造に基づいた蓄積メディア１００へのアクセス処理を、行わない構成としている。
【００３３】
従って、動画像再生中、汎用プロセッサ１０１は、多重分離処理１０８から送信される次のパケット要求に応じて、多重化ストリームファイル内における次パケットの位置を算出する処理と、ファイルシステム構造に基づいた蓄積メディア１００内部の位置への変換と、転送装置１０３への設定処理とを行うだけとなる。従って、図１４に示す従来例のタイミングチャートにおいて、同期制御タスク処理と多重分離タスクがなくなり、ファイル管理処理タスク（ただし、管理情報解析処理を含む。）のみとなる。今、例として、１パケットサイズ８KB、再生する動画像のビットレートが３８４kbpsであると仮定すると、ファイル管理タスクの起動は、約１６０msの間隔となり、従来数msの起動間隔であった時間制約から大幅に緩和される。結果、汎用プロセッサで非リアルタイムなOSを使用した環境下でも、高ビットレートな動画像データを滑らかな動画再生処理を提供することが可能となる。
【００３４】
次に本発明の請求項３に記載の第２の実施の形態について図面を参照しながら具体的に説明する。
【００３５】
図４は本発明の請求項３に記載の第２の実施の形態の動画像再生システムのブロック図である。
【００３６】
図４における動画像再生システムでは、図１記載の請求項１に記載の動画像再生システムの構成に加え、転送装置４００には、複数の転送要求を格納する要求蓄積キュー４０１と蓄積キュー４０１がある閾値以下になることを検出するキュー検出手段４０２を備える。
【００３７】
次にこのように構成された本実施の形態の動作を以下に説明する。
基本動作は請求項１に記載の動画像再生システムにおける第１の実施の形態と同様であるが、多重分離処理４０３は、要求蓄積キュー４０１の段数がある閾値以下になるとキュー検出手段４０２から出力される信号に基づいて、パケットの要求を複数まとめて要求する。今、キューの段数を５段と仮定し、閾値を１段とすると、転送要求を4段まとめて行うことが可能となる。従って、先の実施の形態の場合、ファイル管理タスクの起動間隔は約６４０ｍｓとなり、さらなる汎用プロセッサでの時間制約を緩和でき、さらなる高ビットレート動画像ファイルへの対応が可能となる。
【００３８】
次に本発明の請求項４の第３の実施の形態について図面を参照しながら具体的に説明する。
【００３９】
図５は本発明の請求項４に記載の動画像再生システムの第３の実施の形態のブロック図である。
【００４０】
図５における動画像再生システムでは、多重化ストリームを格納する蓄積メディア５００と、汎用プロセッサ５０１とビデオやオーディオの復号化処理を行う信号処理プロセッサ５０２と、多重化ストリームを蓄積メディアから転送する複数チャンネルを構成する第１の転送手段５１４および第２の転送手段５１５をもった転送装置５０３と、多重化ストリームデータのオーディオ符号化データを一時的に格納するオーディオバッファ５０４と、多重化ストリームデータのビデオ符号化データを一時的に格納するビデオバッファ５０５と、図示しない外部デバイスに出力するオーディオ出力部５０６およびビデオ出力部５０７とから構成される。
【００４１】
汎用プロセッサ５０１では、多重化ストリームファイル内の管理情報を解析する管理情報解析処理５０８と、多重化ストリームファイル内の位置情報をファイルシステム構造に基づき、蓄積メディア内部の位置情報に変換するファイル管理処理５０９とを行う。信号処理プロセッサ５０２では、オーディオバッファ５０４から符号化データを取得し復号化するオーディオ復号化処理５１０と、ビデオバッファ５０５から符号化データを取得し復号化するビデオ復号化処理５１１と、管理情報解析処理５０８からのビデオ、オーディオそれぞれの再生時刻情報を時刻情報バッファ５１２に入力する処理と、時刻情報バッファ５１２に蓄えられた再生時刻情報を取得し、オーディオまたはビデオ復号化処理の開始時刻、あるいは復号化されたオーディオまたはビデオデータの出力時刻を制御する同期制御処理５１３を行う。
【００４２】
本実施の形態は蓄積メディア５００において蓄積される多重化ストリームの別の方式として、非特許文献2に詳述されるファイルフォーマット(以下MP4)に、適した構成であり、このMP4について以下に概説する。
【００４３】
図６にMP4の概略構造図を示す。図６（A）MP4の最上位レイヤのデータ構造を示している。このレイヤは、ファイル識別子を格納するftyp部と、オーディオおよびビデオなどのコーデック情報や、再生時刻情報、データサイズなどを格納するmoov部と、オーディオおよびビデオなどのデータをサンプル単位で格納したmdat部からなる。また、図６（B）（C）にmoov部とmdat部における下位層の内部構造を示す。図６（B）が示すように、moov部はオーディオ及びビデオのtrakからなり、mdat部はオーディオデータおよびビデオデータのsample（以下サンプル）の集合から構成される。さらに、図６（C）が示すように、オーディオとビデオそれぞれのtrakにはコーデック情報や、再生時刻情報、データサイズが格納されているstbl部があり、mdat部のサンプルには幾つかの複数フレームが格納されている。
【００４４】
このMP4方式の多重化ストリームでは、moov部のtrak内部にオーディオデータまたはビデオデータに関する情報がすべて入っているため、moov部を解析することにより、再生すべきデータがファイル内のどこに位置するかを算出可能となる。
【００４５】
次に、上記のように構成された本実施の形態の動作例を、多重化ストリームの方式としてMP4を適用し、図７、図８の処理フロー概要に従って、図５を参照しながら、以下に説明する。ただし、図７は汎用プロセッサでの処理ステップ、図８は信号処理プロセッサでのオーディオ復号化処理部分の処理ステップである。
はじめに、汎用プロセッサでの処理ステップを説明する。
【００４６】
再生開始時、ステップ７００において、管理情報解析処理５０８は、ファイル管理処理５０９を経由し、蓄積メディア５００からmoov部を取得する。ステップ７０１では、管理情報解析処理５０８は、moov部の解析を行い、コーデック情報や、再生時刻情報、サンプル内のフレーム数などの情報を取得する。これにより、多重化ストリームのmdat部に格納されたオーディオ、ビデオの符号化データの位置を算出可能となる。ステップ７０２では、オーディオまたはビデオの初期データの転送処理を行う。ここで転送量はオーディオバッファ５０４、ビデオバッファ５０５のサイズに依存する。ステップ７０３では、信号処理プロセッサ５０２へ、各復号化処理５１０，５１１の起動を指示する。そして、信号処理プロセッサ５０２からのデータ要求待ち７０４の状態になる。
【００４７】
信号処理プロセッサ５０２で復号化処理が開始され、信号処理プロセッサ５０２からデータ要求を受けると、待ち状態から解除される。ステップ７０５では、データ要求がビデオ復号化処理からか、オーディオ復号化処理からかを判断する。オーディオ復号化処理５１０からの場合、次ステップ７１１では、再生すべきオーディオのデータがあるかどうかを判断する。データがある場合、ステップ７１２では、管理情報解析処理５０８は、次に転送すべきオーディオ符号化データの位置の算出を行う。ステップ７１３では、ファイル管理処理５０９は、管理情報解析処理５０８によって算出されたオーディオ符号化データの位置を、蓄積メディア内部の位置に変換する。ステップ７１４では、変換された蓄積メディア内部の位置を転送装置５０３に設定する。ステップ７１５では、次に転送すべきオーディオ符号化データに対応する再生時刻情報を、時刻情報バッファ５１２へ転送する。そして、再び、信号処理プロセッサからのデータ要求待ち７０４の状態になる。なお、ビデオ復号化処理５１１からのデータ要求の場合も同様の動作を行う（ステップ７０７〜７１０）。汎用プロセッサ５０１は、これら一連の動作を行い、データがなくなった時点で再生終了を行う。
【００４８】
次に、信号処理プロセッサ５０２での符号化処理、ここではオーディオ復号化処理５１０での処理ステップを説明する。ビデオ符号化処理５１１でも同様な処理フローのため省略する。
【００４９】
汎用プロセッサ５０１から、オーディオ復号化処理５１０へ起動が指示されてから、ステップ８００では、次データの要求を行なう。ステップ８０１では、オーディオバッファ５０４から１フレーム分の符号化データを取得する。ステップ８０２では、取得した符号化データの復号化処理を行う。復号化処理完了後、同期制御処理５１３から出力指示が来るまで、データ出力タイミング待ち状態８０３になる。同期制御処理５１３から出力指示を受け、オーディオ出力部５０６へデータの出力完了後、次ステップ８０４において、オーディオバッファ５０４にデータを転送すべきかどうかを判断する。また、オーディオバッファ５０４に十分なデータが存在する場合は、再びオーディオバッファ５０４から１フレーム分の符号化データの取得を行う。オーディオバッファ５０４に十分なデータがない場合は、ステップ８０５において、次のデータの転送開始を転送装置５０３に指示する。そして、転送完了待ち８０６の状態になる。転送完了後、再び、ステップ８００において、次データの要求を汎用プロセッサ５０１へ送信する。信号処理プロセッサ５０２は、これら一連の動作を再生終了となるまで続ける。
【００５０】
以上、本実施の形態が示す動画像再生システムでは、複数の転送手段５１４、５１５を備えた転送装置５０３を新たに加えることによって、汎用プロセッサ５０１を経由せずに、蓄積メディア５００から、オーディオ符号化データ、ビデオ符号化データを独立して、それぞれの復号化処理へ転送可能としている。
【００５１】
これにより、動画像再生中、汎用プロセッサ５０１は、復号化処理５１０、５１１から送信されるデータの要求に応じて、次パケットの多重化ストリームファイル内での位置の算出処理と、ファイルシステム構造に基づいた蓄積メディア５００内部の位置情報への変換と、転送装置５０３への設定処理とを行うだけとなる。従って、図１４に示す従来例のタイミングチャートにおいて、同期制御タスク処理と多重分離タスクがなくなり、ファイル管理処理タスク（ただし、管理情報解析処理と同期制御処理への再生時刻情報送信を含む。）のみとなる。結果、MP4のような多重化フォーマットに対応可能であり、かつ、汎用プロセッサで非リアルタイムなOSを使用した環境下でも、高ビットレートな動画像データを滑らかな動画再生処理を提供することが可能となる。
【００５２】
次に本発明の請求項５の第４の実施の形態について図面を参照しながら具体的に説明する。
【００５３】
図９は本発明の請求項５に記載の動画像再生システムの第５の実施の形態のブロック図である。
【００５４】
図９は、図５の動画像再生システムにおいて、転送装置９００に再生時刻結合処理９０３を設け、再生時刻情報をオーディオデータおよびビデオデータに付記してオーディオバッファ９０１およびビデオバッファ９０２へ転送する構成である。
【００５５】
次にこのように構成された本実施の形態の動作を以下に説明する。
基本動作は請求項４に記載の動画像再生システムにおける実施例と同様であるが、図９の動画像再生システムにおいて、ビデオ復号化処理９０４またはオーディオ復号化処理９０５により、転送装置９００が起動され、蓄積メディア（９０６）から転送する際に、管理情報解析処理（９０７）から取得した再生時刻情報ＰＴＳと、その再生時刻情報ＰＴＳに対応するフレームデータとを、再生時刻結合処理９０３にて、図１０に示すフォーマットで結合しオーディオバッファ９０１またはビデオバッファ９０２への転送を行う。
【００５６】
これにより、オーディオ符号化データおよびビデオ符号化データのフレームデータとそれぞれの再生時刻情報ＰＴＳとが、一対一で管理することが可能となりデータ管理が容易になる。
【産業上の利用可能性】
【００５７】
本発明にかかる動画像再生システムは、高ビットレートな動画像データを蓄積メディアから再生する場合や、非リアルタイムなオペレーティングシステムの環境下でも、滑らかな動画再生を実現しうるという効果を有し、動画再生システムに有用である。
【図面の簡単な説明】
【００５８】
【図１】本発明の請求項１の第１の実施の形態における動画像再生システムのブロック図である。
【図２】本発明の請求項１の第１の実施の形態における動画像再生システムの汎用プロセッサ部の処理フロー図である。
【図３】本発明の請求項１の第１の実施の形態における動画像再生システムの信号処理プロセッサ部の処理フロー図である。
【図４】本発明の請求項３の第２の実施の形態における動画像再生システムブロック図である。
【図５】本発明の請求項４の第３の実施の形態における動画像再生システムブロック図である。
【図６】多重化フォーマット方式（MPEG-4MP4）の概要図である。
【図７】本発明の請求項４の第３の実施の形態における動画像再生システムの汎用プロセッサ部の処理フロー図である。
【図８】本発明の請求項４の第３の実施の形態における動画像再生システムの信号処理プロセッサ部の処理フロー図である。
【図９】本発明の請求項５の第４の実施の形態における動画像再生システムブロック図である。
【図１０】本発明の第４の実施の形態に係るデータフォーマット図である。
【図１１】従来例における動画像再生システムブロック図である。
【図１２】多重化フォーマット方式（ASF）の概要図である。
【図１３】多重化フォーマット方式（ASF）の多重分離フローである。
【図１４】従来例における汎用プロセッサでの処理タスクのタイミングチャート図である。
【符号の説明】
【００５９】
１００ 蓄積メディア
１０１ 汎用プロセッサ
１０２ 信号処理プロセッサ
１０３ 転送装置
１０８ 多重分離処理
１０９ オーディオ復号化処理
１１０ ビデオ復号化処理
１１１ 同期制御処理
４０１蓄積キュー
４０２キュー検出手段
４０３多重分離処理
５００ 蓄積メディア
５０１ 汎用プロセッサ
５０２ 信号処理プロセッサ
５０３ 転送装置
５１０ オーディオ復号化処理
５１１ ビデオ復号化処理
５１２ 時刻情報バッファ
９０３ 再生時刻結合処理
【技術分野】
【０００１】
本発明は、複数のストリームが多重化された多重化ストリームを再生するストリーム再生システムにおいて、特に、ビデオ符号化データやオーディオ符号化データが多重化された多重化ストリームを、蓄積メディアからリアルタイムに再生する動画像再生システムに関する。
【背景技術】
【０００２】
蓄積メディアから、ビデオ符号化データやオーディオ符号化データが多重化された多重化ストリームを、リアルタイムに再生する動画像再生システムとして、特許文献１などがある。この従来例では、様々な方式の多重化ストリームに対応するため、汎用プロセッサ（文献ではCPUと表記）が、ソフトウェアによって多重化ストリームの多重分離処理を行なうことを特徴としている。
【０００３】
一方、蓄積メディアに格納される多重化ストリームの多重化方式として、たとえばASF（Advanced System Format）がある。図１２にASFの概略構造図を示す。図１２（A）はASFの最上位レイヤのデータ構造を示している。このレイヤは、ASFファイルのプロパティやオーディオ、ビデオの符号化方式などの情報を格納するHeaderObject（以下「ヘッダオブジェクト」という）と、符号化されたオーディオデータ及びビデオデータをDataObject（以下「データオブジェクト」という）と、基準画面情報を格納するIndexObject（以下「インデックスオブジェクト」という）とから構成される。図１２（B）（C）(D)にデータオブジェクトにおける下位層の内部構造を示す。図１２（B）が示すように、データオブジェクトは固定長のPacket（以下パケット）単位で管理され、さらにそのパケットは図１２（C）が示すように、PacketHeader(以下「パケットヘッダ」という)と一個以上のPayload（以下「ペイロード」という）と呼ばれるデータブロックで構成されている。ペイロードは図１２（D）に示すように、ペイロードヘッダとペイロードデータから構成され、ペイロードヘッダにはペイロードデータのサイズと再生時刻情報PTSが格納されている。
【０００４】
次に、図１３にASFファイルの分離処理の一般的な処理フロー概略を示す。再生開始時、ステップ１３００において、ヘッダオブジェクト取得を行う。ステップ１３０１では、取得したヘッダオブジェクトの解析を行い、ファイルサイズ、パケットサイズなどの情報を取得する。これら情報をもとに、多重化ストリーム内でのパケット位置を算出可能となる。上記が管理情報解析処理で行われる内容である。
【０００５】
次に、ステップ１３０２では、オーディオ、ビデオデータ取得を行うために、ヘッダオブジェクトから取得した情報をもとに、パケットの取得を行う。ステップ１３０３では、パケットの解析を行い、ビデオまたはオーディオのペイロードを取得する。ステップ１３０４では、取得したペイロードの解析を行い、ビデオデータやオーディオデータの抽出とそれぞれの再生時刻情報を取得する。上記が多重分離処理により行われる内容である。
従って、多重化ストリームの多重分離処理により、各メディアデータと各メディアの再生時刻情報が取得されることから、多重分離処理と再生時刻との同期処理は、同一のプロセッサで行うことが好ましい。なお、ASFは、非特許文献１に詳述される。
【０００６】
また、近年の蓄積メディアは、ビデオやオーディオだけでなく、文字データやアプリケーションなどの様々なデータを格納するために、PCなどで使用されている、たとえばFATシステムなどの、ファイルシステムを通じたアクセスが一般的である。このファイルシステムはオペレーティングシステム（以下OS）に大きく依存するため、OSが動作する汎用プロセッサで行うことが一般的である。
【０００７】
以上より、周知のリアルタイム動画像再生システムの従来例として図１１に示す構成が一般的である。この従来例の構成は、多重化ストリームを格納する蓄積メディア１１００と、汎用プロセッサ１１０１と、ビデオやオーディオ復号化処理を行う信号処理プロセッサ１１０２と、図示しない外部デバイスに出力するオーディオ出力部１１０３とビデオ出力部１１０４とからなる。汎用プロセッサ１１０１では、多重化ストリームファイル内のデータ管理情報を解析する管理情報解析処理１１０５と、多重化ストリームファイル内の位置情報を、ファイルシステムに基づき蓄積メディア内部の位置情報に変換し、蓄積メディアにアクセスするファイル管理処理１１０６と、多重化ストリームを分離する多重分離処理１１０７と、再生時刻情報によりオーディオまたはビデオ復号化処理の開始、あるいは復号化されたオーディオまたはビデオデータの出力時刻を制御する同期制御１１０８とを行う。信号処理プロセッサ１１０２では、多重分離処理１１０７から分離されたオーディオ符号化データを復号化するオーディオ復号化処理１１０９と、多重分離処理１１０７から分離されたビデオ符号化データを復号化するビデオ復号化処理１１１０を行う。
【０００８】
上記従来例の汎用プロセッサで処理されるタスク遷移について、図１４にタイミングチャートを示す。オーディオとビデオの再生時刻に合わせた同期制御を行う必要性から、数msの時間制約を持った実時間処理を行う必要性がある。それに対し、蓄積メディアへのアクセス処理と多重分離処理は、数百msの時間制約である。
【特許文献１】特開１９９６−２９６０７８号公報
【非特許文献１】Microsoft Advanced Systems Format (“ASF”) Specification v. 1.2
【非特許文献２】ISO/IEC14496-1Information technology - Coding of audio-visual objects - Part 1 : Systems
【発明の開示】
【発明が解決しようとする課題】
【０００９】
しかしながら、今後予想される高画質対応の高ビットレートな動画像データを蓄積メディアから再生する場合、蓄積メディアへのアクセスや、多重化ストリームの分離処理の処理が増加することが予想される。
【００１０】
これを従来例のシステム構成で実現すると、汎用プロセッサでの処理負荷の増加により、オーディオおよびビデオのデータを再生時刻に合わせて同期制御を行うことが困難になり、リアルタイム動画再生が不可能になる。
【００１１】
また、近年、汎用プロセッサのオペレーティングシステムとして、Linuxなどの実時間性を保障できない、非リアルタイムオペレーティングシステムを使用する例が見られる。
【００１２】
このような、非リアルタイムなオペレーティングシステムの環境下では、処理負荷よりも数十ｍｓの同期制御を行うこと自体が困難である。
【００１３】
これら課題を解決する手段の一つとして、ビデオやオーディオ復号化処理を行う信号処理プロセッサで蓄積メディアへのアクセスと多重化ストリームの分離処理を行うことも考えられる。しかしながら、ファイルシステム構造を有した蓄積メディアへのアクセスをビデオやオーディオ復号化処理を行う信号処理プロセッサで行うことは、非効率である。また、多重分離処理をハードウェア構成で行うには、多様な多重化方式への対応が困難である。
本発明は、このような従来の課題を解決するためになされたものであり、高ビットレートな動画像データを蓄積メディアから再生する場合や、さらには、非リアルタイムなオペレーティングシステムの環境下でも、滑らかな動画再生を実現しうる動画再生システムを提供することを目的とする。
【課題を解決するための手段】
【００１４】
本発明は上記課題を解決するために、本発明に関する動画像再生システムは、ビデオ符号化データおよびオーディオ符号化データと、ビデオ符号化データおよびオーディオ符号化データを管理するためのデータ管理情報と、ビデオ符号化データおよびオーディオ符号化データの再生時刻を管理するための再生時刻情報とが多重化された、多重化ストリームを再生する動画像再生システムであって、
多重化ストリームを格納する蓄積メディアと、蓄積メディアから多重化ストリームを転送する転送装置と、転送された多重化ストリームを一時記憶するバッファと、バッファに一時記憶された多重化ストリームをビデオ符号化データとオーディオ符号化データとデータ管理情報と再生時刻情報とに分離する多重分離手段と、ビデオ符号化データを復号化するビデオ復号化手段と、オーディオ符号化データを復号化するオーディオ復号化手段と、再生時刻情報を入力としビデオ復号化手段によって復号化されたビデオデータまたはオーディオ復号化手段によって復号化されたオーディオデータの出力を制御する同期制御手段とを備えた信号処理プロセッサと、
データ管理情報を解析する管理情報解析手段と、管理情報解析手段によって解析された結果を入力とし、蓄積メディア内の任意の場所へアクセスするための設定を転送装置に行うファイル管理手段とを備えた汎用プロセッサとから構成され、
転送装置が、ファイル管理手段が設定した蓄積メディアへのアクセス情報をもとに、多重分離手段からの転送開始指示によって蓄積メディアから多重化ストリームをバッファへ直接転送可能なことを特徴とするものである。
【００１５】
上記構成において、汎用プロセッサは、多重分離手段、オーディオ復号化手段またはビデオ復号化手段から送信される次データの要求に応じて、次データの多重化ストリームファイル内での位置の算出と、位置に対しファイルシステムに基づき蓄積メディア内部の位置への変換と、転送装置への設定処理とを行う。
【００１６】
上記構成において、転送装置は、ファイル管理手段からの転送要求を複数キューイング可能な要求蓄積キューと、要求蓄積キューが空またはある閾値以下になることを検出するキュー検出手段とを有し、多重分離手段は、キュー検出手段の検出信号をもとに、管理情報解析手段への要求タイミングを制御する。
【００１７】
本発明の別の動画像再生システムは、ビデオ符号化データおよびオーディオ符号化データと、ビデオ符号化データおよびオーディオ符号化データを管理するためのデータ管理情報と、ビデオ符号化データおよびオーディオ符号化の再生時刻を管理するための再生時刻情報とが多重化された、多重化ストリームを再生する動画像再生システムであって、
多重化ストリームを格納する蓄積メディアと、多重化ストリーム内のオーディオ符号化データを転送する第１の転送手段を有し多重化ストリーム内のビデオ符号化データを転送する第２の転送手段を有する転送装置と、第１の転送手段により転送されたオーディオ符号化データを一時記憶するオーディオバッファと、第２の転送手段により転送されたビデオ符号化データを一時記憶するビデオバッファと、オーディオバッファに格納された符号化データを復号化するオーディオ復号化手段と、ビデオバッファに格納された符号化データを復号化するビデオ復号化手段と、オーディオバッファまたはビデオバッファに格納された符号化データのそれぞれに対応する再生時刻情報を一時的に格納する時刻情報バッファと、この時刻情報バッファから再生時刻情報を取得し、ビデオ復号化手段によって復号化されたビデオデータまたはオーディオ復号化手段によって復号化されたオーディオデータの出力を制御する同期制御手段とを備えた信号処理プロセッサと、
データ管理情報を解析する管理情報解析手段と、蓄積メディアへのアクセスまたは管理情報解析手段によって解析されたデータ管理情報から蓄積メディア内の任意の場所へアクセスするための設定を転送装置に行うファイル管理手段とを備えた汎用プロセッサとから構成され、
転送装置は、ファイル管理処理手段が設定した蓄積メディアへのアクセス情報をもとに、オーディオ復号化手段およびビデオ復号化手段からの転送開始指示によって、蓄積メディアからオーディオバッファおよびビデオバッファへ直接転送可能であることを特徴とするものである。
【００１８】
上記構成において、転送装置は、管理情報解析手段から得られる再生時刻情報と、オーディオ符号化データおよびビデオ符号化データとを結合する再生時刻結合手段を有し、蓄積メディアからオーディオバッファまたはビデオバッファへ、オーディオ符号化データまたはビデオ符号化データを転送する際に、管理情報解析手段から得られた再生時刻情報をオーディオ符号化データまたはビデオ符号化データに付記し転送する。
【００１９】
ただし、本発明において、信号処理プロセッサは、多重分離手段と、オーディオ復号化手段と、同期制御手段とを備えた信号処理プロセッサと、ビデオ復号化手段を備えるプロセッサとの二つのプロセッサ構成や、ビデオ復号化手段と、同期制御手段とを備えた信号処理プロセッサと、オーディオ復号化手段を備えるプロセッサとの二つのプロセッサ構成など、信号処理プロセッサの詳細な構成は特定しない。
【発明の効果】
【００２０】
本発明の動画像再生システムによれば、蓄積メディアから多重分離処理へ、または復号化処理手段へ多重化ストリームデータを、直接転送できる転送装置を新たに加えることによって、汎用プロセッサでのファイル管理処理を経由せずに多重化ストリームの転送を可能としている。さらには、多重化ストリームの管理情報解析処理と蓄積メディアのファイル管理処理を汎用プロセッサで行わせることで、ビデオやオーディオ復号化処理を行う信号処理プロセッサでは非効率なファイルシステム構造に基づいた蓄積メディアへのアクセス処理を行わない構成としている。さらには、同期制御を汎用プロセッサでは行なわない構成にしている。
【００２１】
従って、汎用プロセッサは、多重分離処理あるいは復号化処理から送信される次データの要求に応じて、次データの多重化ストリームファイル内での位置の算出と、ファイルシステム構造に基づき、蓄積メディア内部の位置への変換と、転送装置への設定処理とを行うだけになる。
【００２２】
結果、汎用プロセッサで動画像再生時に必要な処理の発生頻度は、図１４で示した同期制御タスクの数msの時間制約を持った実時間処理から解放され、時間制約は数百msの間隔に削減できる。さらに、汎用プロセッサで非リアルタイムなOSを使用した環境下でも、高ビットレートな動画像データを滑らかな動画再生処理を提供することが可能となる。
【発明を実施するための最良の形態】
【００２３】
本発明の各実施の形態を、図面を参照しながら詳細に説明する。
【００２４】
図１は、本発明の請求項１に記載の動画像再生システムの第１の実施の形態のブロック図である。
【００２５】
図１における動画像再生システムでは、多重化ストリームを格納する蓄積メディア１００と、汎用プロセッサ１０１とビデオやオーディオ復号化処理を行う信号処理プロセッサ１０２と、多重化ストリームを蓄積メディアから転送する転送装置１０３と、多重化ストリームを一時的に格納するバッファ１１２と、図示しない外部デバイスに出力するオーディオ出力部１０４とビデオ出力部１０５とから構成される。汎用プロセッサ１０１では、多重化ストリームファイル内のデータ管理情報を解析する管理情報解析処理１０６と、多重化ストリームファイル内の位置情報をファイルシステム構造に基づき、蓄積メディア内部の位置情報に変換するファイル管理処理１０７を行う。信号処理プロセッサ１０２では、多重化ストリームを分離する多重分離処理１０８と、多重分離処理１０８から分離されたオーディオ符号化データを復号化するオーディオ復号化処理１０９と、多重分離処理１０８から分離されたビデオ符号化データを復号化するビデオ復号化処理１１０と、再生時刻情報により、オーディオまたはビデオの復号化処理の開始時刻あるいは復号化されたオーディオまたはビデオデータの出力時刻を制御する同期制御処理１１１とを行う。図中細線矢印はデータフローを、点線矢印は制御を示している。
【００２６】
次にこのように構成された本実施の形態の動作例を、多重化ストリームの方式として前述のASFを適用し、図２、図３の処理フロー概要に従って、図１を参照しながら、以下に説明する。ただし、図２は汎用プロセッサでの処理ステップ、図３は信号処理プロセッサでの多重分離処理部分の処理ステップである。
【００２７】
はじめに、汎用プロセッサでの処理ステップを説明する。
【００２８】
再生開始時、ステップ２００において、管理情報解析処理１０６は、ファイル管理処理１０７を経由し、蓄積メディア１００からヘッダオブジェクト部分を取得する。ステップ２０１では、管理情報解析処理１０６は、ヘッダオブジェクトの解析を行いファイルサイズやパケットサイズ、全パケットの総数などの情報を取得する。これにより、多重分離処理１０８からのパケット要求により、取得すべきパケットの多重化ストリームファイル内の位置が算出可能となる。ステップ２０２では、初回のパケットをバッファ１１２に転送する処理を行う。ステップ２０３では、信号処理プロセッサ１０２へ多重分離処理１０８の起動を指示する。ステップ２０４では、現在のパケット番号が、パケット総数を超えているか否かを判断する。超えていない場合は、信号処理プロセッサからの次パケットの要求待ち２０５の状態になる。
【００２９】
信号処理プロセッサ１０２で多重分離処理１０８と復号化処理１０９、１１０が開始され、汎用プロセッサ１０１が、多重分離処理１０８から次パケットの要求を受けると、待ち状態から解除される。次ステップ２０６では、管理情報解析処理１０６は多重分離処理１０８から受けた要求情報に含まれるパケット番号に基づき、多重化ストリーム内の要求パケットの位置の算出を行う。ステップ２０７では、ファイル管理処理１０７は、管理情報解析処理１０６によって算出された要求パケットの位置を、蓄積メディア内部の位置に変換する。ステップ２０８では、変換された蓄積メディア内部の位置を転送装置１０３に設定する。そして、再び、信号処理プロセッサからの次パケットの要求待ち２０５の状態になる。汎用プロセッサ１０１は、これら一連の動作を行い、要求されたパケット番号がパケット総数を超えた時点で再生終了を行う。
【００３０】
次に、信号処理プロセッサ１０２での多重分離処理での処理ステップを説明する。
【００３１】
汎用プロセッサ１０１から、多重分離処理１０８へ起動が指示されてから、ステップ３００では、次のパケットの要求を行い、ビデオ、または、オーディオの復号化処理１０９、１１０からのデータ要求待ち３０１の状態になる。復号化処理からデータ要求が来ると、ステップ３０２では、要求がビデオであるか、オーディオであるかを判断する。ビデオからの要求である場合、ステップ３０３では、バッファ１１２内のパケット解析を行い、ビデオ符号化データを抽出する。ステップ３０４では、抽出したビデオ符号化データに対応する再生時刻情報を抽出する。そして、符号化データはビデオ復号化処理１１０へ、再生時刻情報は同期制御処理１１１へ、それぞれ送信する。ステップ３０５では、パケットからすべてのデータを抽出したかを判断し、抽出が完了していない場合は、再び、ビデオ、または、オーディオの復号化処理からのデータ要求待ち３０１の状態になる。抽出が完了した場合は，ステップ３０８において、次のパケットデータの転送開始を転送装置１０３に指示する。そして、転送完了待ち３０９の状態になる。転送完了後、再び、ステップ３００において、次パケットの要求を汎用プロセッサへ送信する。信号処理プロセッサは、これら一連の動作を再生終了となるまで続ける。
【００３２】
以上、本実施の形態が示す動画像再生システムでは、転送装置１０３を新たに加えることによって、汎用プロセッサ１０１を経由せずに、蓄積メディア１００から多重分離処理１０８への転送を可能としている。さらには、多重化ストリームの管理情報解析処理１０６と、蓄積メディア１００へアクセスするためのファイル管理処理１０７を、汎用プロセッサ１０１で処理させることで、信号処理プロセッサ１０２では非効率なファイルシステム構造に基づいた蓄積メディア１００へのアクセス処理を、行わない構成としている。
【００３３】
従って、動画像再生中、汎用プロセッサ１０１は、多重分離処理１０８から送信される次のパケット要求に応じて、多重化ストリームファイル内における次パケットの位置を算出する処理と、ファイルシステム構造に基づいた蓄積メディア１００内部の位置への変換と、転送装置１０３への設定処理とを行うだけとなる。従って、図１４に示す従来例のタイミングチャートにおいて、同期制御タスク処理と多重分離タスクがなくなり、ファイル管理処理タスク（ただし、管理情報解析処理を含む。）のみとなる。今、例として、１パケットサイズ８KB、再生する動画像のビットレートが３８４kbpsであると仮定すると、ファイル管理タスクの起動は、約１６０msの間隔となり、従来数msの起動間隔であった時間制約から大幅に緩和される。結果、汎用プロセッサで非リアルタイムなOSを使用した環境下でも、高ビットレートな動画像データを滑らかな動画再生処理を提供することが可能となる。
【００３４】
次に本発明の請求項３に記載の第２の実施の形態について図面を参照しながら具体的に説明する。
【００３５】
図４は本発明の請求項３に記載の第２の実施の形態の動画像再生システムのブロック図である。
【００３６】
図４における動画像再生システムでは、図１記載の請求項１に記載の動画像再生システムの構成に加え、転送装置４００には、複数の転送要求を格納する要求蓄積キュー４０１と蓄積キュー４０１がある閾値以下になることを検出するキュー検出手段４０２を備える。
【００３７】
次にこのように構成された本実施の形態の動作を以下に説明する。
基本動作は請求項１に記載の動画像再生システムにおける第１の実施の形態と同様であるが、多重分離処理４０３は、要求蓄積キュー４０１の段数がある閾値以下になるとキュー検出手段４０２から出力される信号に基づいて、パケットの要求を複数まとめて要求する。今、キューの段数を５段と仮定し、閾値を１段とすると、転送要求を4段まとめて行うことが可能となる。従って、先の実施の形態の場合、ファイル管理タスクの起動間隔は約６４０ｍｓとなり、さらなる汎用プロセッサでの時間制約を緩和でき、さらなる高ビットレート動画像ファイルへの対応が可能となる。
【００３８】
次に本発明の請求項４の第３の実施の形態について図面を参照しながら具体的に説明する。
【００３９】
図５は本発明の請求項４に記載の動画像再生システムの第３の実施の形態のブロック図である。
【００４０】
図５における動画像再生システムでは、多重化ストリームを格納する蓄積メディア５００と、汎用プロセッサ５０１とビデオやオーディオの復号化処理を行う信号処理プロセッサ５０２と、多重化ストリームを蓄積メディアから転送する複数チャンネルを構成する第１の転送手段５１４および第２の転送手段５１５をもった転送装置５０３と、多重化ストリームデータのオーディオ符号化データを一時的に格納するオーディオバッファ５０４と、多重化ストリームデータのビデオ符号化データを一時的に格納するビデオバッファ５０５と、図示しない外部デバイスに出力するオーディオ出力部５０６およびビデオ出力部５０７とから構成される。
【００４１】
汎用プロセッサ５０１では、多重化ストリームファイル内の管理情報を解析する管理情報解析処理５０８と、多重化ストリームファイル内の位置情報をファイルシステム構造に基づき、蓄積メディア内部の位置情報に変換するファイル管理処理５０９とを行う。信号処理プロセッサ５０２では、オーディオバッファ５０４から符号化データを取得し復号化するオーディオ復号化処理５１０と、ビデオバッファ５０５から符号化データを取得し復号化するビデオ復号化処理５１１と、管理情報解析処理５０８からのビデオ、オーディオそれぞれの再生時刻情報を時刻情報バッファ５１２に入力する処理と、時刻情報バッファ５１２に蓄えられた再生時刻情報を取得し、オーディオまたはビデオ復号化処理の開始時刻、あるいは復号化されたオーディオまたはビデオデータの出力時刻を制御する同期制御処理５１３を行う。
【００４２】
本実施の形態は蓄積メディア５００において蓄積される多重化ストリームの別の方式として、非特許文献2に詳述されるファイルフォーマット(以下MP4)に、適した構成であり、このMP4について以下に概説する。
【００４３】
図６にMP4の概略構造図を示す。図６（A）MP4の最上位レイヤのデータ構造を示している。このレイヤは、ファイル識別子を格納するftyp部と、オーディオおよびビデオなどのコーデック情報や、再生時刻情報、データサイズなどを格納するmoov部と、オーディオおよびビデオなどのデータをサンプル単位で格納したmdat部からなる。また、図６（B）（C）にmoov部とmdat部における下位層の内部構造を示す。図６（B）が示すように、moov部はオーディオ及びビデオのtrakからなり、mdat部はオーディオデータおよびビデオデータのsample（以下サンプル）の集合から構成される。さらに、図６（C）が示すように、オーディオとビデオそれぞれのtrakにはコーデック情報や、再生時刻情報、データサイズが格納されているstbl部があり、mdat部のサンプルには幾つかの複数フレームが格納されている。
【００４４】
このMP4方式の多重化ストリームでは、moov部のtrak内部にオーディオデータまたはビデオデータに関する情報がすべて入っているため、moov部を解析することにより、再生すべきデータがファイル内のどこに位置するかを算出可能となる。
【００４５】
次に、上記のように構成された本実施の形態の動作例を、多重化ストリームの方式としてMP4を適用し、図７、図８の処理フロー概要に従って、図５を参照しながら、以下に説明する。ただし、図７は汎用プロセッサでの処理ステップ、図８は信号処理プロセッサでのオーディオ復号化処理部分の処理ステップである。
はじめに、汎用プロセッサでの処理ステップを説明する。
【００４６】
再生開始時、ステップ７００において、管理情報解析処理５０８は、ファイル管理処理５０９を経由し、蓄積メディア５００からmoov部を取得する。ステップ７０１では、管理情報解析処理５０８は、moov部の解析を行い、コーデック情報や、再生時刻情報、サンプル内のフレーム数などの情報を取得する。これにより、多重化ストリームのmdat部に格納されたオーディオ、ビデオの符号化データの位置を算出可能となる。ステップ７０２では、オーディオまたはビデオの初期データの転送処理を行う。ここで転送量はオーディオバッファ５０４、ビデオバッファ５０５のサイズに依存する。ステップ７０３では、信号処理プロセッサ５０２へ、各復号化処理５１０，５１１の起動を指示する。そして、信号処理プロセッサ５０２からのデータ要求待ち７０４の状態になる。
【００４７】
信号処理プロセッサ５０２で復号化処理が開始され、信号処理プロセッサ５０２からデータ要求を受けると、待ち状態から解除される。ステップ７０５では、データ要求がビデオ復号化処理からか、オーディオ復号化処理からかを判断する。オーディオ復号化処理５１０からの場合、次ステップ７１１では、再生すべきオーディオのデータがあるかどうかを判断する。データがある場合、ステップ７１２では、管理情報解析処理５０８は、次に転送すべきオーディオ符号化データの位置の算出を行う。ステップ７１３では、ファイル管理処理５０９は、管理情報解析処理５０８によって算出されたオーディオ符号化データの位置を、蓄積メディア内部の位置に変換する。ステップ７１４では、変換された蓄積メディア内部の位置を転送装置５０３に設定する。ステップ７１５では、次に転送すべきオーディオ符号化データに対応する再生時刻情報を、時刻情報バッファ５１２へ転送する。そして、再び、信号処理プロセッサからのデータ要求待ち７０４の状態になる。なお、ビデオ復号化処理５１１からのデータ要求の場合も同様の動作を行う（ステップ７０７〜７１０）。汎用プロセッサ５０１は、これら一連の動作を行い、データがなくなった時点で再生終了を行う。
【００４８】
次に、信号処理プロセッサ５０２での符号化処理、ここではオーディオ復号化処理５１０での処理ステップを説明する。ビデオ符号化処理５１１でも同様な処理フローのため省略する。
【００４９】
汎用プロセッサ５０１から、オーディオ復号化処理５１０へ起動が指示されてから、ステップ８００では、次データの要求を行なう。ステップ８０１では、オーディオバッファ５０４から１フレーム分の符号化データを取得する。ステップ８０２では、取得した符号化データの復号化処理を行う。復号化処理完了後、同期制御処理５１３から出力指示が来るまで、データ出力タイミング待ち状態８０３になる。同期制御処理５１３から出力指示を受け、オーディオ出力部５０６へデータの出力完了後、次ステップ８０４において、オーディオバッファ５０４にデータを転送すべきかどうかを判断する。また、オーディオバッファ５０４に十分なデータが存在する場合は、再びオーディオバッファ５０４から１フレーム分の符号化データの取得を行う。オーディオバッファ５０４に十分なデータがない場合は、ステップ８０５において、次のデータの転送開始を転送装置５０３に指示する。そして、転送完了待ち８０６の状態になる。転送完了後、再び、ステップ８００において、次データの要求を汎用プロセッサ５０１へ送信する。信号処理プロセッサ５０２は、これら一連の動作を再生終了となるまで続ける。
【００５０】
以上、本実施の形態が示す動画像再生システムでは、複数の転送手段５１４、５１５を備えた転送装置５０３を新たに加えることによって、汎用プロセッサ５０１を経由せずに、蓄積メディア５００から、オーディオ符号化データ、ビデオ符号化データを独立して、それぞれの復号化処理へ転送可能としている。
【００５１】
これにより、動画像再生中、汎用プロセッサ５０１は、復号化処理５１０、５１１から送信されるデータの要求に応じて、次パケットの多重化ストリームファイル内での位置の算出処理と、ファイルシステム構造に基づいた蓄積メディア５００内部の位置情報への変換と、転送装置５０３への設定処理とを行うだけとなる。従って、図１４に示す従来例のタイミングチャートにおいて、同期制御タスク処理と多重分離タスクがなくなり、ファイル管理処理タスク（ただし、管理情報解析処理と同期制御処理への再生時刻情報送信を含む。）のみとなる。結果、MP4のような多重化フォーマットに対応可能であり、かつ、汎用プロセッサで非リアルタイムなOSを使用した環境下でも、高ビットレートな動画像データを滑らかな動画再生処理を提供することが可能となる。
【００５２】
次に本発明の請求項５の第４の実施の形態について図面を参照しながら具体的に説明する。
【００５３】
図９は本発明の請求項５に記載の動画像再生システムの第５の実施の形態のブロック図である。
【００５４】
図９は、図５の動画像再生システムにおいて、転送装置９００に再生時刻結合処理９０３を設け、再生時刻情報をオーディオデータおよびビデオデータに付記してオーディオバッファ９０１およびビデオバッファ９０２へ転送する構成である。
【００５５】
次にこのように構成された本実施の形態の動作を以下に説明する。
基本動作は請求項４に記載の動画像再生システムにおける実施例と同様であるが、図９の動画像再生システムにおいて、ビデオ復号化処理９０４またはオーディオ復号化処理９０５により、転送装置９００が起動され、蓄積メディア（９０６）から転送する際に、管理情報解析処理（９０７）から取得した再生時刻情報ＰＴＳと、その再生時刻情報ＰＴＳに対応するフレームデータとを、再生時刻結合処理９０３にて、図１０に示すフォーマットで結合しオーディオバッファ９０１またはビデオバッファ９０２への転送を行う。
【００５６】
これにより、オーディオ符号化データおよびビデオ符号化データのフレームデータとそれぞれの再生時刻情報ＰＴＳとが、一対一で管理することが可能となりデータ管理が容易になる。
【産業上の利用可能性】
【００５７】
本発明にかかる動画像再生システムは、高ビットレートな動画像データを蓄積メディアから再生する場合や、非リアルタイムなオペレーティングシステムの環境下でも、滑らかな動画再生を実現しうるという効果を有し、動画再生システムに有用である。
【図面の簡単な説明】
【００５８】
【図１】本発明の請求項１の第１の実施の形態における動画像再生システムのブロック図である。
【図２】本発明の請求項１の第１の実施の形態における動画像再生システムの汎用プロセッサ部の処理フロー図である。
【図３】本発明の請求項１の第１の実施の形態における動画像再生システムの信号処理プロセッサ部の処理フロー図である。
【図４】本発明の請求項３の第２の実施の形態における動画像再生システムブロック図である。
【図５】本発明の請求項４の第３の実施の形態における動画像再生システムブロック図である。
【図６】多重化フォーマット方式（MPEG-4MP4）の概要図である。
【図７】本発明の請求項４の第３の実施の形態における動画像再生システムの汎用プロセッサ部の処理フロー図である。
【図８】本発明の請求項４の第３の実施の形態における動画像再生システムの信号処理プロセッサ部の処理フロー図である。
【図９】本発明の請求項５の第４の実施の形態における動画像再生システムブロック図である。
【図１０】本発明の第４の実施の形態に係るデータフォーマット図である。
【図１１】従来例における動画像再生システムブロック図である。
【図１２】多重化フォーマット方式（ASF）の概要図である。
【図１３】多重化フォーマット方式（ASF）の多重分離フローである。
【図１４】従来例における汎用プロセッサでの処理タスクのタイミングチャート図である。
【符号の説明】
【００５９】
１００ 蓄積メディア
１０１ 汎用プロセッサ
１０２ 信号処理プロセッサ
１０３ 転送装置
１０８ 多重分離処理
１０９ オーディオ復号化処理
１１０ ビデオ復号化処理
１１１ 同期制御処理
４０１蓄積キュー
４０２キュー検出手段
４０３多重分離処理
５００ 蓄積メディア
５０１ 汎用プロセッサ
５０２ 信号処理プロセッサ
５０３ 転送装置
５１０ オーディオ復号化処理
５１１ ビデオ復号化処理
５１２ 時刻情報バッファ
９０３ 再生時刻結合処理
【特許請求の範囲】
【請求項１】
ビデオ符号化データおよびオーディオ符号化データと、前記ビデオ符号化データおよび前記オーディオ符号化データを管理するためのデータ管理情報と、前記ビデオ符号化データおよび前記オーディオ符号化データの再生時刻を管理するための再生時刻情報とが多重化された、多重化ストリームを再生する動画像再生システムであって、
前記多重化ストリームを格納する蓄積メディアと、前記蓄積メディアから前記多重化ストリームを転送する転送装置と、転送された前記多重化ストリームを一時記憶するバッファと、前記バッファに一時記憶された前記多重化ストリームを前記ビデオ符号化データと前記オーディオ符号化データと前記データ管理情報と前記再生時刻情報とに分離する多重分離手段と、前記ビデオ符号化データを復号化するビデオ復号化手段と、前記オーディオ符号化データを復号化するオーディオ復号化手段と、前記再生時刻情報を入力とし前記ビデオ復号化手段によって復号化されたビデオデータまたは前記オーディオ復号化手段によって復号化されたオーディオデータの出力を制御する同期制御手段とを備えた信号処理プロセッサと、
前記データ管理情報を解析する管理情報解析手段と、前記管理情報解析手段によって解析された結果を入力とし、前記蓄積メディア内の任意の場所へアクセスするための設定を前記転送装置に行うファイル管理手段とを備えた汎用プロセッサとから構成され、
前記転送装置が、前記ファイル管理手段が設定した前記蓄積メディアへのアクセス情報をもとに、前記多重分離手段からの転送開始指示によって前記蓄積メディアから前記多重化ストリームを前記バッファへ直接転送可能なことを特徴とする動画像再生システム。
【請求項２】
汎用プロセッサは、多重分離手段、オーディオ復号化手段またはビデオ復号化手段から送信される次データの要求に応じて、次データの多重化ストリームファイル内での位置の算出と、前記位置に対しファイルシステムに基づき蓄積メディア内部の位置への変換と、転送装置への設定処理とを行う請求項１記載の動画像再生システム。
【請求項３】
転送装置は、ファイル管理手段からの転送要求を複数キューイング可能な要求蓄積キューと、前記要求蓄積キューが空またはある閾値以下になることを検出するキュー検出手段とを有し、多重分離手段は、前記キュー検出手段の検出信号をもとに、前記管理情報解析手段への要求タイミングを制御する請求項１記載の動画像再生システム。
【請求項４】
ビデオ符号化データおよびオーディオ符号化データと、前記ビデオ符号化データおよび前記オーディオ符号化データを管理するためのデータ管理情報と、前記ビデオ符号化データおよび前記オーディオ符号化の再生時刻を管理するための再生時刻情報とが多重化された、多重化ストリームを再生する動画像再生システムであって、
前記多重化ストリームを格納する蓄積メディアと、前記多重化ストリーム内の前記オーディオ符号化データを転送する第１の転送手段を有し前記多重化ストリーム内の前記ビデオ符号化データを転送する第２の転送手段を有する転送装置と、前記第１の転送手段により転送された前記オーディオ符号化データを一時記憶するオーディオバッファと、前記第２の転送手段により転送された前記ビデオ符号化データを一時記憶するビデオバッファと、前記オーディオバッファに格納された符号化データを復号化するオーディオ復号化手段と、前記ビデオバッファに格納された符号化データを復号化するビデオ復号化手段と、前記オーディオバッファまたは前記ビデオバッファに格納された符号化データのそれぞれに対応する再生時刻情報を一時的に格納する時刻情報バッファと、この時刻情報バッファから再生時刻情報を取得し、前記ビデオ復号化手段によって復号化されたビデオデータまたは前記オーディオ復号化手段によって復号化されたオーディオデータの出力を制御する同期制御手段とを備えた信号処理プロセッサと、
前記データ管理情報を解析する管理情報解析手段と、前記蓄積メディアへのアクセスまたは前記管理情報解析手段によって解析された前記データ管理情報から前記蓄積メディア内の任意の場所へアクセスするための設定を前記転送装置に行うファイル管理手段とを備えた汎用プロセッサとから構成され、
前記転送装置は、前記ファイル管理処理手段が設定した前記蓄積メディアへのアクセス情報をもとに、前記オーディオ復号化手段および前記ビデオ復号化手段からの転送開始指示によって、前記蓄積メディアから前記オーディオバッファおよび前記ビデオバッファへ直接転送可能であることを特徴とする動画像再生システム。
【請求項５】
転送装置は、管理情報解析手段から得られる再生時刻情報と、オーディオ符号化データおよびビデオ符号化データとを結合する再生時刻結合手段を有し、前記蓄積メディアから前記オーディオバッファまたは前記ビデオバッファへ、前記オーディオ符号化データまたは前記ビデオ符号化データを転送する際に、前記管理情報解析手段から得られた前記再生時刻情報を前記オーディオ符号化データまたは前記ビデオ符号化データに付記し転送する請求項４記載の動画像再生システム。
【請求項１】
ビデオ符号化データおよびオーディオ符号化データと、前記ビデオ符号化データおよび前記オーディオ符号化データを管理するためのデータ管理情報と、前記ビデオ符号化データおよび前記オーディオ符号化データの再生時刻を管理するための再生時刻情報とが多重化された、多重化ストリームを再生する動画像再生システムであって、
前記多重化ストリームを格納する蓄積メディアと、前記蓄積メディアから前記多重化ストリームを転送する転送装置と、転送された前記多重化ストリームを一時記憶するバッファと、前記バッファに一時記憶された前記多重化ストリームを前記ビデオ符号化データと前記オーディオ符号化データと前記データ管理情報と前記再生時刻情報とに分離する多重分離手段と、前記ビデオ符号化データを復号化するビデオ復号化手段と、前記オーディオ符号化データを復号化するオーディオ復号化手段と、前記再生時刻情報を入力とし前記ビデオ復号化手段によって復号化されたビデオデータまたは前記オーディオ復号化手段によって復号化されたオーディオデータの出力を制御する同期制御手段とを備えた信号処理プロセッサと、
前記データ管理情報を解析する管理情報解析手段と、前記管理情報解析手段によって解析された結果を入力とし、前記蓄積メディア内の任意の場所へアクセスするための設定を前記転送装置に行うファイル管理手段とを備えた汎用プロセッサとから構成され、
前記転送装置が、前記ファイル管理手段が設定した前記蓄積メディアへのアクセス情報をもとに、前記多重分離手段からの転送開始指示によって前記蓄積メディアから前記多重化ストリームを前記バッファへ直接転送可能なことを特徴とする動画像再生システム。
【請求項２】
汎用プロセッサは、多重分離手段、オーディオ復号化手段またはビデオ復号化手段から送信される次データの要求に応じて、次データの多重化ストリームファイル内での位置の算出と、前記位置に対しファイルシステムに基づき蓄積メディア内部の位置への変換と、転送装置への設定処理とを行う請求項１記載の動画像再生システム。
【請求項３】
転送装置は、ファイル管理手段からの転送要求を複数キューイング可能な要求蓄積キューと、前記要求蓄積キューが空またはある閾値以下になることを検出するキュー検出手段とを有し、多重分離手段は、前記キュー検出手段の検出信号をもとに、前記管理情報解析手段への要求タイミングを制御する請求項１記載の動画像再生システム。
【請求項４】
ビデオ符号化データおよびオーディオ符号化データと、前記ビデオ符号化データおよび前記オーディオ符号化データを管理するためのデータ管理情報と、前記ビデオ符号化データおよび前記オーディオ符号化の再生時刻を管理するための再生時刻情報とが多重化された、多重化ストリームを再生する動画像再生システムであって、
前記多重化ストリームを格納する蓄積メディアと、前記多重化ストリーム内の前記オーディオ符号化データを転送する第１の転送手段を有し前記多重化ストリーム内の前記ビデオ符号化データを転送する第２の転送手段を有する転送装置と、前記第１の転送手段により転送された前記オーディオ符号化データを一時記憶するオーディオバッファと、前記第２の転送手段により転送された前記ビデオ符号化データを一時記憶するビデオバッファと、前記オーディオバッファに格納された符号化データを復号化するオーディオ復号化手段と、前記ビデオバッファに格納された符号化データを復号化するビデオ復号化手段と、前記オーディオバッファまたは前記ビデオバッファに格納された符号化データのそれぞれに対応する再生時刻情報を一時的に格納する時刻情報バッファと、この時刻情報バッファから再生時刻情報を取得し、前記ビデオ復号化手段によって復号化されたビデオデータまたは前記オーディオ復号化手段によって復号化されたオーディオデータの出力を制御する同期制御手段とを備えた信号処理プロセッサと、
前記データ管理情報を解析する管理情報解析手段と、前記蓄積メディアへのアクセスまたは前記管理情報解析手段によって解析された前記データ管理情報から前記蓄積メディア内の任意の場所へアクセスするための設定を前記転送装置に行うファイル管理手段とを備えた汎用プロセッサとから構成され、
前記転送装置は、前記ファイル管理処理手段が設定した前記蓄積メディアへのアクセス情報をもとに、前記オーディオ復号化手段および前記ビデオ復号化手段からの転送開始指示によって、前記蓄積メディアから前記オーディオバッファおよび前記ビデオバッファへ直接転送可能であることを特徴とする動画像再生システム。
【請求項５】
転送装置は、管理情報解析手段から得られる再生時刻情報と、オーディオ符号化データおよびビデオ符号化データとを結合する再生時刻結合手段を有し、前記蓄積メディアから前記オーディオバッファまたは前記ビデオバッファへ、前記オーディオ符号化データまたは前記ビデオ符号化データを転送する際に、前記管理情報解析手段から得られた前記再生時刻情報を前記オーディオ符号化データまたは前記ビデオ符号化データに付記し転送する請求項４記載の動画像再生システム。
【図１】
【図２】
【図３】
【図４】
【図５】
【図６】
【図７】
【図８】
【図９】
【図１０】
【図１１】
【図１２】
【図１３】
【図１４】
【図２】
【図３】
【図４】
【図５】
【図６】
【図７】
【図８】
【図９】
【図１０】
【図１１】
【図１２】
【図１３】
【図１４】
【公開番号】特開２００６−１６６１５４（Ｐ２００６−１６６１５４Ａ）
【公開日】平成１８年６月２２日（２００６．６．２２）
【国際特許分類】
【出願番号】特願２００４−３５６１１３（Ｐ２００４−３５６１１３）
【出願日】平成１６年１２月９日（２００４．１２．９）
【公序良俗違反の表示】
（特許庁注：以下のものは登録商標）
１．Ｌｉｎｕｘ
【出願人】（０００００５８２１）松下電器産業株式会社 (73,050)
【Ｆターム（参考）】
【公開日】平成１８年６月２２日（２００６．６．２２）
【国際特許分類】
【出願日】平成１６年１２月９日（２００４．１２．９）
【公序良俗違反の表示】
（特許庁注：以下のものは登録商標）
１．Ｌｉｎｕｘ
【出願人】（０００００５８２１）松下電器産業株式会社 (73,050)
【Ｆターム（参考）】
[ Back to top ]