メディア再生装置
【課題】 バッファ容量を大規模にすることなく、メディアを所定の再生時刻に出力することが可能なメディア再生装置を提供する。
【解決手段】 所定の再生時刻にメディアを再生するための符号化されたメディアデータを蓄積する入力バッファ１０１と、この入力バッファ１０１から出力されるデータを再生する再生手段１０２とを有し、前記データに基づいてメディアを再生するメディア再生装置１００であって、再生手段１０２で前記データの再生に要する時間を示す処理遅延時間を算出する処理遅延算出手段１０３と、この処理遅延算出手段１０３で算出された処理遅延時間に基づいて、メディアを再生するための処理を開始する時刻を指定する制御手段１０４とを備え、再生手段１０２は、制御手段１０４により指定された時刻に、メディアを再生するための処理を開始する開始時刻制御部１１２を有する。
【解決手段】 所定の再生時刻にメディアを再生するための符号化されたメディアデータを蓄積する入力バッファ１０１と、この入力バッファ１０１から出力されるデータを再生する再生手段１０２とを有し、前記データに基づいてメディアを再生するメディア再生装置１００であって、再生手段１０２で前記データの再生に要する時間を示す処理遅延時間を算出する処理遅延算出手段１０３と、この処理遅延算出手段１０３で算出された処理遅延時間に基づいて、メディアを再生するための処理を開始する時刻を指定する制御手段１０４とを備え、再生手段１０２は、制御手段１０４により指定された時刻に、メディアを再生するための処理を開始する開始時刻制御部１１２を有する。
【発明の詳細な説明】
【技術分野】
【０００１】
本発明は、映像や音声などのメディアを再生するメディア再生装置に関し、特に、受信したメディアを提示されるべき時刻に再生するメディア再生装置に関する。
【背景技術】
【０００２】
近年、インターネット（ネットワーク）上で、映像（動画像、静止画像、ＣＧ画像および文字を含む）や音声（合成音声を含む）などのマルチメディア（以下、メディアと称す）が流通するようになってきた。このようなメディアのうち、動画像や音声などは時間軸を持つ情報要素から構成されているので、出力する際にはそれぞれの要素を同期させて再生する必要がある。そこで、動画像や音声などのメディアが複数種類ある場合に、メディア間で同期をとりながら、それらが提示されるべき時刻に再生するマルチメディア再生装置が知られている（例えば、特許文献１参照）。
【０００３】
この特許文献１に開示されたマルチメディア再生装置は、各メディアを受信する前に、予め再生する各メディアの情報量と、この再生装置の負荷状態の情報とをネットワークを介して送信側に伝達し、送信側は、これらの情報に基づいて、各メディアの再生時刻を決定して、このマルチメディア再生装置に伝達するものである。
【０００４】
なお、メディアの再生するべき時刻を、メディアに関連付ける規格が知られており、各メディアには、それらを再生するためのタイムスタンプが付加される（非特許文献１）。このタイムスタンプにより、データを送信する際に、送信速度や到着間隔がばらつく、いわゆる揺らぎが発生しても、例えば音声が途切れるなどの品質不良を軽減して音声を再生することができる。
【０００５】
従来、このようなマルチメディア再生装置は、図１０に示すように、受信した複数のメディアを分離する多重分離部１０１０と、分離された各メディアを再生する複数（図では２つ）のメディア再生装置１０３０とを備えている。図１０に示したメディア再生装置１０３０は、メディアの再生するベき時刻情報と、圧縮されたストリームなどのデータを入力し、それらを復号あるいは合成して映像や音声として再生するものである。このメディア再生装置１０３０は、例えば、図１０に示すように、受信したデータ（圧縮ストリーム）を蓄積することにより、伝送路上で発生するデータの到着間隔の揺らぎを吸収する入力バッファ１０３１と、この入力バッファ１０３１から出力される圧縮ストリームの再生（復号または合成）を行う再生手段１０３２とを備えている。
【０００６】
あるいは、図１１に示すように、前記した入力バッファ１０３１と再生手段１０３２に加えて、再生手段１０３２で再生された映像や音声を出力するべき時刻まで蓄積する出力バッファ１１３３を備えたメディア再生装置１１３０を有するマルチメディア再生装置１１００も知られている。
【０００７】
図１０および図１１に示した再生手段１０３２は、メディアの指定された再生時刻（出力時刻）に映像や音声が出力されるようにするために、再生時刻よりも、再生に要する時間（処理遅延時間）だけ早く再生処理を開始する。すなわち、この再生手段１０３２は、図１２の（ａ）に示した時間軸（ｔ）の上方に示すように、処理遅延時間を固定値（想定遅延時間ｔ1）として、所定の再生時刻ＴSより想定遅延時間ｔ1だけ以前の開始時刻ＴPに再生処理を開始する。
【０００８】
また、図１１に示した出力バッファ１１３３は、蓄積された映像や音声を瞬時に再生可能な状態で所定時間（再生余裕時間：最大値ｔ3）待機することができる。そのため、図１１に示した再生手段１０３２は、図１２の（ｂ）に示すように、所定の再生時刻ＴSよりも、想定遅延時間ｔ1と再生余裕時間ｔ3との和の時間だけ以前の開始時刻ＴP′に再生処理を開始する。
【特許文献１】特許第３１７９９２２号公報（段落００１４〜００６２、図１）
【非特許文献１】H. Schulzrinne、外３名、「RTP: A Transport Protocol for Real-Time Applications」、RFC3550(Network Working Group Request for Comments:3550)、2003年7月
【発明の開示】
【発明が解決しようとする課題】
【０００９】
しかしながら、リアルタイム処理系を除く汎用のＯＳ上では、一般に、再生処理に要する最大の時間（処理遅延時間）は保証されていない。そのため、図１０に示した再生手段１０３２が、図１２の（ａ）に示した時間軸の下方に示すように、再生処理に想定遅延時間ｔ1よりも長い実処理遅延時間ｔ2だけ要した場合、映像や音声の出力は、所定の再生時刻ＴSよりも遅れた出力時刻ＴDに開始されてしまうことがある。
【００１０】
これに対して、図１１に示した出力バッファ１１３３を有するマルチメディア再生装置１１００は、図１２の（ｂ）に示すように、再生余裕時間ｔ3を設けることで、実処理遅延時間ｔ2が想定遅延時間ｔ1と異なっても、所定の再生時刻ＴS（出力時刻ＴS）に映像や音声を再生することができるが、出力バッファ１１３３は、非圧縮の映像や音声を蓄積できるような大容量を有する記憶装置としなければならない。
【００１１】
また、特許文献１に開示されたマルチメディア再生装置は、予めメディアの情報量を算出しメディア送信側に送信しなければならないという問題がある。
【００１２】
また、汎用ＯＳ上で実行する限り、圧縮ストリームの復号や、スクリプトの解釈や合成に要する時間（処理遅延時間）は変化するため、非特許文献１に基づき、複数のメディアにそれらを再生するためのタイムスタンプを付加した場合でも、付加されたタイムスタンプの時刻にそのメディアを再生できないという問題がある。
【００１３】
本発明は、以上のような問題点に鑑みてなされたものであり、バッファ容量を大規模にすることなく、マルチメディアを所定の再生時刻に出力することが可能なマルチメディア再生装置を提供することを目的とする。
【課題を解決するための手段】
【００１４】
本発明は、前記目的を達成するために創案されたものであり、まず、請求項１に記載のメディア再生装置は、所定の再生時刻にメディアを再生するための符号化されたメディアデータを蓄積する入力バッファと、この入力バッファから出力されるデータを再生する再生手段とを有し、前記データに基づいてメディアを再生するメディア再生装置であって、処理遅延算出手段と、制御手段と、開始時刻制御手段とを備える構成とした。
【００１５】
かかる構成によれば、メディア再生装置は、メディアデータとして、例えばネットワークを介して伝送されるストリームまたはスクリプトを入力バッファに蓄積し、再生手段によって、この入力バッファから出力されるデータの再生処理（復号処理または合成処理）を行う。この再生手段は、例えば、ＭＰＥＧ−２のストリームを復号して映像を再生したり、ＭＰＥＧ−１ Ａｕｄｉｏ Ｌａｙｅｒのストリームを復号して音声を再生したりする。また、ＴＶＭＬ（TV program Making language）スクリプトを解釈し、映像や音声を合成したり、テキストスクリプトを解釈し、映像や音声を合成したりする。
【００１６】
そして、メディア再生装置は、処理遅延算出手段によって、再生手段でデータの再生に要する時間を示す処理遅延時間を算出する。ここで、処理遅延時間の算出は、例えば、再生手段への入力を検知したときに、クロックのカウントを開始し、再生手段からの出力を検知したときのカウント値により求めることができる。そして、メディア再生装置は、制御手段によって、処理遅延算出手段で算出された処理遅延時間に基づいて、メディアを再生するための処理を開始する時刻を指定する。これによって、再生手段は、開始時刻制御手段によって、制御手段により指定された時刻に、メディアを再生するための処理を開始する。
【００１７】
また、請求項２に記載のメディア再生装置は、請求項１に記載のメディア再生装置において、入力バッファに容量制御手段を有することを特徴とする。
【００１８】
かかる構成によれば、メディア再生装置は、制御手段によって、処理遅延算出手段で算出された処理遅延時間に基づいて、入力バッファに蓄積されるデータの容量を指定する。そして、メディア再生装置は、入力バッファの容量制御手段によって、蓄積されるデータの容量を、制御手段により指定された容量に制御する。
【００１９】
また、請求項３に記載のメディア再生装置は、請求項１または請求項２に記載のメディア再生装置において、再生手段から出力されるデータを蓄積し、蓄積されたデータを所定時間保持する出力バッファをさらに備え、この出力バッファに容量制御手段を有することを特徴とする。
【００２０】
かかる構成によれば、メディア再生装置は、制御手段によって、処理遅延算出手段で算出された処理遅延時間に基づいて、出力バッファに蓄積されるデータの容量を指定する。そして、メディア再生装置は、出力バッファの容量制御手段によって、蓄積されるデータの容量を、制御手段により指定された容量に制御する。
【００２１】
また、請求項４に記載のメディア再生装置は、請求項１または請求項２に記載のメディア再生装置において、制御手段が、メディアを再生するための処理を開始する時刻を、所定の再生時刻よりも、処理遅延算出手段で算出された処理遅延時間だけ早めた時刻として指定することを特徴とする。
【００２２】
かかる構成によれば、メディア再生装置は、再生手段の開始時刻制御手段によって、制御手段で指定された時刻にメディアを再生するための処理を開始し、処理遅延時間経過後にメディアを再生するので、所定の再生時刻にメディアを再生出力することができる。
【００２３】
また、請求項５に記載のメディア再生装置は、請求項３に記載のメディア再生装置において、制御手段は、メディアを再生するための処理を開始する時刻を、所定の再生時刻よりも、処理遅延算出手段で算出された処理遅延時間と出力バッファでデータが保持される所定時間との和だけ早めた時刻として指定することを特徴とする。
【００２４】
かかる構成によれば、メディア再生装置は、再生手段の開始時刻制御手段によって、制御手段で指定された時刻にメディアを再生するための処理を開始し、処理遅延時間の経過後、出力バッファにて、所定時間保持されるので、所定の再生時刻にメディアを再生出力することができる。この所定時間は、出力バッファに蓄積されたデータを瞬時に再生可能な状態で保持することのできる時間である。
【００２５】
また、請求項６に記載のメディア再生装置は、請求項２乃至請求項５のいずれか一項に記載のメディア再生装置において、制御手段は、入力バッファに蓄積されるデータの容量を、処理遅延算出手段で算出された処理遅延時間が所定値よりも大きい場合に減少させるように指定し、かつ、処理遅延算出手段で算出された処理遅延時間が所定値よりも小さい場合に増加させるように指定することを特徴とする。
【００２６】
かかる構成によれば、メディア再生装置は、処理遅延時間が所定値よりも大きくなった場合に、再生処理を早めに開始する。つまり、入力バッファに蓄積されたデータは早めに出力してしまう。その結果、入力バッファに蓄積されるデータの容量は少なくて済む。したがって、メディア再生装置は、入力バッファに蓄積されるデータの容量を減少させる制御を行う。一方、メディア再生装置は、処理遅延時間が所定値よりも小さくなった場合に、再生処理を遅めに開始する。つまり、入力バッファに蓄積されたデータは遅めに出力してしまう。その結果、入力バッファに蓄積されるデータの容量は多くなければならない。したがって、メディア再生装置は、入力バッファに蓄積されるデータの容量を増加させる制御を行う。その結果、入力バッファの容量を大規模にすることなく、所定の再生時刻にメディアを再生することができる。
【００２７】
また、請求項７に記載のメディア再生装置は、請求項３または請求項５に記載のメディア再生装置において、制御手段は、出力バッファに蓄積されるデータの容量を、処理遅延算出手段で算出された処理遅延時間が所定値よりも大きい場合に増加させるように指定し、かつ、処理遅延算出手段で算出された処理遅延時間が所定値よりも小さい場合に減少させるように指定することを特徴とする。
【００２８】
かかる構成によれば、メディア再生装置は、処理遅延時間が所定値よりも大きくなった場合に、再生処理を早めに開始する。つまり、入力バッファに蓄積されたデータは早めに出力してしまうので、入力バッファに蓄積されるデータの容量を減少させる。この場合、再生処理の時間にそれほど要しないと、所定の再生時刻まで待機しなければならなくなる。そこで、出力バッファに蓄積されるデータの容量を増加させる制御を行う。一方、メディア再生装置は、処理遅延時間が所定値よりも小さくなった場合に、再生処理を遅めに開始する。つまり、入力バッファに蓄積されたデータは遅めに出力してしまうので、入力バッファに蓄積されるデータの容量を増加させる。この場合、再生処理が早く終わっても、再生処理を開始する時刻が遅いために所定の再生時刻までの時間は減少している。そこで、出力バッファに蓄積されるデータの容量を減少させる制御を行う。その結果、出力バッファの容量を大規模にすることなく、所定の再生時刻にメディアを再生することができる。
【００２９】
また、請求項８に記載のメディア再生装置は、所定の再生時刻にメディアを再生するための符号化されたメディアデータを蓄積する入力バッファと、この入力バッファから出力される前記データを再生する再生手段とを有し、前記データに基づいてメディアを再生するメディア再生装置であって、負荷計測手段と、制御手段とを備える構成とした。
【００３０】
かかる構成によれば、メディア再生装置は、負荷計測手段によって、メディアを再生するための処理の負荷である処理負荷を計測する。ここで、処理負荷は、例えば、このメディア再生装置のＣＰＵにおいて、負荷が存在しないときに０．０、最大負荷時に１．０の実数値で示されるようなＣＰＵ負荷率である。そして、メディア再生装置は、制御手段によって、負荷計測手段で計測された処理負荷と、再生手段で前記データの再生に要する時間を示す処理遅延時間とに基づいて、メディアを再生するための処理を開始する時刻を指定する。これによって、再生手段は、開始時刻制御手段によって、制御手段により指定された時刻に、メディアを再生するための処理を開始する。
【００３１】
また、請求項９に記載のメディア再生装置は、請求項８に記載のメディア再生装置において、入力バッファに容量制御手段を有することを特徴とする。
【００３２】
かかる構成によれば、メディア再生装置は、制御手段によって、負荷計測手段で計測された処理負荷に基づいて、入力バッファに蓄積されるデータの容量を指定する。そして、メディア再生装置は、入力バッファの容量制御手段によって、蓄積されるデータの容量を、制御手段により指定された容量に制御する。
【００３３】
また、請求項１０に記載のメディア再生装置は、請求項８または請求項９に記載のメディア再生装置において、再生手段から出力されるデータを蓄積し、蓄積されたデータを瞬時に再生可能な状態で所定時間保持する出力バッファをさらに備え、この出力バッファに容量制御手段を有することを特徴とする。
【００３４】
かかる構成によれば、メディア再生装置は、制御手段によって、負荷計測手段で計測された処理負荷に基づいて、出力バッファに蓄積されるデータの容量を指定する。そして、メディア再生装置は、出力バッファの容量制御手段によって、蓄積されるデータの容量を、制御手段により指定された容量に制御する。
【００３５】
また、請求項１１に記載のメディア再生装置は、請求項９または請求項１０に記載のメディア再生装置において、制御手段は、入力バッファに蓄積されるデータの容量を、負荷計測手段で計測された処理負荷が所定値よりも大きい場合に減少させるように指定し、かつ、負荷計測手段で計測された処理負荷が所定値よりも小さい場合に増加させるように指定することを特徴とする。
【００３６】
かかる構成によれば、メディア再生装置は、処理負荷が所定値よりも大きくなった場合に、再生処理を早めに開始する。つまり、入力バッファに蓄積されたデータは早めに出力してしまう。その結果、入力バッファに蓄積されるデータの容量は少なくて済む。したがって、メディア再生装置は、入力バッファに蓄積されるデータの容量を減少させる制御を行う。一方、メディア再生装置は、処理負荷が所定値よりも小さくなった場合に、再生処理を遅めに開始する。つまり、入力バッファに蓄積されたデータは遅めに出力してしまう。その結果、入力バッファに蓄積されるデータの容量は多くなければならない。したがって、メディア再生装置は、入力バッファに蓄積されるデータの容量を増加させる制御を行う。その結果、入力バッファの容量を大規模にすることなく、所定の再生時刻にメディアを再生することができる。
【００３７】
また、請求項１２に記載のメディア再生装置は、請求項１０に記載のメディア再生装置において、制御手段は、出力バッファに蓄積されるデータの容量を、負荷計測手段で計測された処理負荷が所定値よりも大きい場合に増加させるように指定し、かつ、負荷計測手段で計測された処理負荷が所定値よりも小さい場合に減少させるように指定することを特徴とする。
【００３８】
かかる構成によれば、メディア再生装置は、処理負荷が所定値よりも大きくなった場合に、再生処理を早めに開始する。つまり、入力バッファに蓄積されたデータは早めに出力してしまうので、入力バッファに蓄積されるデータの容量を減少させる。この場合、再生処理の時間にそれほど要しないと、所定の再生時刻まで待機しなければならなくなる。そこで、出力バッファに蓄積されるデータの容量を増加させる制御を行う。一方、メディア再生装置は、処理負荷が所定値よりも小さくなった場合に、再生処理を遅めに開始する。つまり、入力バッファに蓄積されたデータは遅めに出力してしまうので、入力バッファに蓄積されるデータの容量を増加させる。この場合、再生処理が早く終わっても、再生処理を開始する時刻が遅いために所定の再生時刻までの時間は減少している。そこで、出力バッファに蓄積されるデータの容量を減少させる制御を行う。その結果、出力バッファの容量を大規模にすることなく、所定の再生時刻にメディアを再生することができる。
【００３９】
また、請求項１３に記載のマルチメディア再生装置は、請求項１に記載のメディア再生装置を複数備えると共に、多重化されたメディアデータを分離して複数のメディア再生装置にそれぞれ出力する多重分離手段を備えることを特徴とする。
【００４０】
かかる構成によれば、マルチメディア再生装置は、異なる符号化方式で符号化されて多重化されたマルチメディアデータが入力されたときに、多重分離手段によって、複数のメディアデータに分離し、各メディア再生装置によって、それぞれのメディアを再生出力することができる。また、このとき分離したクロック信号により、各メディアを同期させて出力することができる。
【発明の効果】
【００４１】
請求項１又は請求項８に記載の発明によれば、メディア再生装置において、制御手段がメディアを再生するための処理を開始する時刻を柔軟に変動させるので、処理負荷が変動して再生するための処理に要する時間が変動しても、所定の再生時刻に映像や音声を再生出力することができる。また、制御手段に必要な処理遅延時間または処理負荷は、当該メディア再生装置の中で生成されるので、特許文献１のようにメディア送信側から予め情報を受信するような複雑な制御を必要としない。したがって、ＲＦＣ３５５０で規定されるタイムスタンプを複数メディアに記載することで、バッファ容量を大規模にすることなく、それらのメディアを所定の時刻に同期を取りながら再生出力することが可能になる。
【００４２】
請求項２又は請求項９に記載の発明によれば、メディア再生装置において、制御手段が入力バッファに蓄積されるデータの量を制御する場合、入力バッファの容量を大規模なものにする必要がない。その結果、製造コストを低減できる。
【００４３】
請求項３又は請求項１０に記載の発明によれば、メディア再生装置において、制御手段が出力バッファに蓄積されるデータの量を制御する場合、出力バッファの容量を大規模なものにする必要がない。その結果、製造コストを低減できる。
【００４４】
請求項４又は請求項５に記載の発明によれば、メディア再生装置において、制御手段がメディアを再生するための処理を開始する時刻を早めることができるので、所定の再生時刻に映像や音声を再生出力することが可能になる。
【００４５】
請求項６、請求項７、請求項１１又は請求項１２に記載の発明によれば、メディア再生装置において、入力バッファまたは出力バッファの容量を大規模なものにする必要がない。その結果、製造コストを低減できる。
【００４６】
請求項１３に記載の発明によれば、マルチメディア再生装置において、異なる符号化方式で符号化されて多重化されたマルチメディアを同期させて所定の再生時刻に再生出力することができる。
【発明を実施するための最良の形態】
【００４７】
以下、本発明の実施の形態について図面を参照して説明する。
（第１の実施形態）
［マルチメディア再生装置の構成］
図１は、第１の実施形態のマルチメディア再生装置のブロック図である。
マルチメディア再生装置１は、ＩＰ(Internet Protocl)ネットワークなどの通信回線を介してストリーミング伝送される映像（動画像、静止画像、ＣＧ画像および文字を含む）や音声（合成音声を含む）などのマルチメディア（以下、メディアと称す）を、入力されたタイムスタンプに示される時刻に再生するものである。
【００４８】
マルチメディア再生装置１は、図１に示すように、多重分離部５０と、複数（図では２つ）のメディア再生装置１００とを備えている。
多重分離部（多重分離手段）５０は、メディアの再生するベき時刻情報と、映像や音声が圧縮されたストリームなどのマルチメディアデータ（以下、単にデータ）を分離するものである。これにより、複数のメディアおよびクロック信号ｃｋが分離される。
メディア再生装置１００は、クロック信号ｃｋで同期をとりながら、多重分離部５０で分離されたメディアを、それらが提示されるべき時刻に再生するものである。このメディア再生装置１００は、入力バッファ１０１と、再生手段１０２と、処理遅延算出手段１０３と、制御手段１０４とを備えている。
【００４９】
入力バッファ１０１は、圧縮ストリームなどのデータを蓄積し、再生手段１０２に出力するものである。この入力バッファ１０１が圧縮ストリームなどのデータを蓄積することにより、伝送路上で発生するデータの到着間隔の揺らぎを吸収することができる。この入力バッファ１０１は、圧縮ストリームを伝送してきたＩＰパケットの順序制御や誤り訂正をおこない、タイムスタンプを取り出し、ペイロード部を結合したストリーム（またはスクリプト）を出力する。また、入力バッファ１０１は、容量制御部１１１を備えている。この容量制御部（容量制御手段）１１１は、入力バッファ１０１に蓄積されるデータの容量を制御手段１０４により指定された容量に制御するものである。
【００５０】
再生手段１０２は、入力バッファ１０１から出力される圧縮ストリームの復号処理、またはスクリプトの解釈、合成処理（以上、総称して再生処理）を行い、モニタやスピーカなどから構成されている出力装置１５０へ出力するものである。この再生手段１０２は、開始時刻制御部１１２を備えている。この開始時刻制御部１１２は、ある時刻に再生するべき映像または音声をその時刻より、制御手段１０４に指定された所定時間だけ以前の時刻（以下、復号開始時刻と呼ぶ）に再生処理を開始するように制御するものである。なお、出力装置１５０は、マルチメディア再生装置１と別体としたが、一体としてもよいことはもちろんである。
【００５１】
処理遅延算出手段１０３は、再生手段１０２で再生処理に要する時間（以下、処理遅延時間と称す）を算出し、制御手段１０４に通知するものである。この処理遅延算出手段１０３は、再生手段１０２へのストリームの入力を検出すると、例えば、Ｗｉｎｄｏｗｓ（登録商標）ＡＰＩ（Application Program Interface）であるＱｕｅｒｙＰｅｒｆｏｒｍａｎｃｅＣｏｕｎｔｅｒ関数によりクロックをカウントし始め、映像や音声が出力されるまでの処理時間を測定し、測定結果を処理遅延時間とする。
制御手段１０４は、後記するように、処理遅延算出手段１０３から通知される処理遅延時間に基づいて、入力バッファ１０１に蓄積されるデータの容量と、再生手段１０２の復号開始時刻とを指定するものである。
【００５２】
［マルチメディア再生装置の動作］
次に、図２を参照（適宜図１参照）して、第１の実施形態に係るマルチメディア再生装置の動作について説明する。図２は、本発明の第１の実施形態に係るマルチメディア再生装置の制御手段のフローチャートである。
【００５３】
まず、制御手段１０４は、処理遅延時間の初期値をＤに設定し、この値を保持する（ステップＳ１）。例えば、ＭＰＥＧ−２の１ＧＯＰ（Group of Picture）の処理遅延時間が平均的に１０ｍｓであったとすると、この値（１０ｍｓ）をＤとして保持する。そして、制御手段１０４は、処理遅延算出手段１０３から処理遅延時間の入力（Ｄ＿ＩＮ）があったかどうかを判別する（ステップＳ２）。通常、この処理遅延時間Ｄ＿ＩＮは、マルチメディア再生装置１の処理負荷の変動に応じて変化し、例えば、１０ｍｓの前後の値となる。続いて、制御手段１０４は、入力した処理遅延時間Ｄ＿ＩＮと、保持している処理遅延時間Ｄとを比較して大小を判定する（ステップＳ３）。
【００５４】
入力した処理遅延時間Ｄ＿ＩＮが保持している処理遅延時間Ｄよりも大きい場合（Ｄ＿ＩＮ＞Ｄ）、すなわちメディアを再生するための処理の負荷である処理負荷が前回（初回は初期値）よりも大きくなった場合、制御手段１０４は、復号開始時刻ＴQを再生時刻ＴSよりも（Ｄ＿ＩＮ）だけ早めた時刻を指定する（ステップＳ４）と共に、入力バッファ１０１に蓄積されるデータの容量を（Ｄ＿ＩＮ−Ｄ）×Ｒａｔｅだけ減少させた容量を指定する（ステップＳ５）。ここでＲａｔｅは受信しているストリームの符号化レートである。これにより、再生手段１０２の開始時刻制御部１１２は、復号開始時刻ＴQを早め、また、入力バッファ１０１の容量制御部１１１は、入力バッファ１０１に蓄積されるデータの容量を減少させる。
ステップＳ５に続いて、制御手段１０４は、入力した処理遅延時間（Ｄ＿ＩＮ）の値を、改めてＤに設定して保持し（ステップＳ６）、ステップＳ２に戻る。なお、ステップＳ４およびステップＳ５は、逆の順序で処理してもよいし、並行に処理してもよい。
【００５５】
また、ステップＳ３において、入力した処理遅延時間（Ｄ＿ＩＮ）が保持している処理遅延時間Ｄよりも小さい場合（Ｄ＿ＩＮ＜Ｄ）、すなわち処理負荷が前回（初回は初期値）よりも小さくなった場合、制御手段１０４は、ステップＳ４と同様に、復号開始時刻ＴQを再生時刻ＴSよりも（Ｄ＿ＩＮ）だけ早めた時刻を指定する（ステップＳ７）と共に、入力バッファ１０１に蓄積されるデータの容量を（Ｄ−Ｄ＿ＩＮ）×Ｒａｔｅだけ増加させた容量を指定し（ステップＳ８）、ステップＳ６に進む。これにより、再生手段１０２の開始時刻制御部１１２は、復号開始時刻ＴQを早め、また、入力バッファ１０１の容量制御部１１１は、入力バッファ１０１に蓄積されるデータの容量を増加させる。なお、ステップＳ７およびステップＳ８は、逆の順序で処理してもよいし、並行に処理してもよい。
【００５６】
また、ステップＳ３において、入力した処理遅延時間（Ｄ＿ＩＮ）が保持している処理遅延時間Ｄと等しい場合（Ｄ＿ＩＮ＝Ｄ）、すなわち、処理負荷が前回（初回は初期値）と同じ場合、制御手段１０４は、ステップＳ２に戻り、次の入力（Ｄ＿ＩＮ）まで待機する。
【００５７】
第１の実施形態のマルチメディア再生装置によれば、再生手段１０２による処理遅延時間を常に監視し、この処理遅延時間の分だけ復号開始時刻を早めることができる。また、処理負荷を反映している処理遅延時間に基づいて、入力バッファ１０１に蓄積される容量を制御することができる。これにより、処理負荷が変動しても、入力バッファ１０１に必要十分な容量を保ちながら、所定の再生時刻に復号または合成した映像や音声を再生出力することが可能になる。
【００５８】
（第２の実施形態）
［マルチメディア再生装置の構成］
図３は、第２の実施形態のマルチメディア再生装置のブロック図である。
このマルチメディア再生装置２は、図３に示すように、多重分離部５０と、複数（図では２つ）のメディア再生装置２００と、負荷計測手段２１０とを備えている。なお、図１と同じ構成には同じ符号を付して説明を省略する。
【００５９】
負荷計測手段２１０は、処理負荷（負荷情報）を計測し、所定のタイミングでメディア再生装置２００に出力するものである。ここで負荷情報とはＣＰＵ負荷率であり、例えばＣＰＵの負荷が存在しないときに０．０、ＣＰＵの最大負荷時に１．０の実数値で示される。また、負荷計測手段２１０は、負荷情報を例えば２０ｍｓ毎にメディア再生装置２００に出力する。
【００６０】
メディア再生装置２００は、入力バッファ１０１と、再生手段１０２と、制御手段２０４とを備えている。制御手段２０４は、後記するように、負荷計測手段２１０から出力される負荷情報と、再生手段１０２で再生処理に要する時間である処理遅延時間とに基づいて、入力バッファ１０１に蓄積されるデータの容量と、再生手段１０２による復号開始時刻とを指定するものである。
【００６１】
［マルチメディア再生装置の動作］
次に、図４を参照（適宜図３参照）して、第２の実施形態に係るマルチメディア再生装置の動作について説明する。図４は、本発明の第２の実施形態に係るマルチメディア再生装置の制御手段のフローチャートである。
【００６２】
まず、制御手段２０４は、処理遅延時間の初期値をＤに設定し、この値を保持すると共に、負荷情報の初期値をＬに設定し、保持する（ステップＳ１１）。ここで、例えば、負荷情報の初期値を０．０としてＬに設定し、保持する。そして、制御手段２０４は、負荷計測手段２１０から現在の負荷情報の入力（Ｌ＿ＩＮ）があったかどうかを判別する（ステップＳ１２）。続いて、制御手段２０４は、入力した負荷情報Ｌ＿ＩＮと、保持している負荷情報Ｌとを比較して大小を判定する（ステップＳ１３）。
【００６３】
入力した負荷情報Ｌ＿ＩＮが保持している負荷情報Ｌよりも大きい場合（Ｌ＿ＩＮ＞Ｌ）、すなわち処理負荷が前回（初回は初期値）よりも大きくなった場合、制御手段２０４は、保持している処理遅延時間Ｄと負荷情報Ｌ＿ＩＮ，Ｌとに基づいて、調整時間Ｄ′を次式（１）により算出する（ステップＳ１４）。ここで、αはＣＰＵの処理能力やストリームの符号化レートに応じて異なり、予めシミュレーション等により決定された定数である。
【００６４】
Ｄ′＝Ｄ＋α×（Ｌ＿ＩＮ−Ｌ）…（１）
【００６５】
そして、制御手段２０４は、復号開始時刻ＴQを再生時刻ＴSよりも、式（１）で示される調整時間Ｄ′だけ早めた時刻を指定する（ステップＳ１５）と共に、入力バッファ１０１に蓄積されるデータの容量をβ×（Ｌ＿ＩＮ−Ｌ）だけ減少させた容量を指定する（ステップＳ１６）。ここでβはＣＰＵの処理能力やストリームの符号化レートに応じて異なり、予めシミュレーション等により決定された定数である。これにより、再生手段１０２の開始時刻制御部１１２は、復号開始時刻ＴQを早め、また、入力バッファ１０１の容量制御部１１１は、入力バッファ１０１に蓄積されるデータの容量を減少させる。
【００６６】
ステップＳ１６に続いて、制御手段２０４は、入力した負荷情報（Ｌ＿ＩＮ）の値を、改めてＬに設定して保持すると共に、調整時間Ｄ′の値を改めてＤに設定して保持し（ステップＳ１７）、ステップＳ１２に戻る。なお、ステップＳ１５およびステップＳ１６は、逆の順序で処理してもよいし、並行に処理してもよい。
【００６７】
また、ステップＳ１３において、入力した負荷情報（Ｌ＿ＩＮ）が保持している負荷情報Ｌよりも小さい場合（Ｌ＿ＩＮ＜Ｌ）、すなわち処理負荷が前回（初回は初期値）よりも小さくなった場合、制御手段２０４は、保持している処理遅延時間Ｄと負荷情報Ｌ＿ＩＮ，Ｌとに基づいて、調整時間Ｄ′を次式（２）により算出する（ステップＳ１８）。ここで、αは前記した式（１）のものと同一である。
【００６８】
Ｄ′＝Ｄ−α×（Ｌ−Ｌ＿ＩＮ）…（２）
【００６９】
そして、制御手段２０４は、復号開始時刻ＴQを再生時刻ＴSよりも、式（２）で示される調整時間Ｄ′だけ早めた時刻を指定する（ステップＳ１９）と共に、入力バッファ１０１に蓄積されるデータの容量をβ×（Ｌ−Ｌ＿ＩＮ）だけ増加させた容量を指定し（ステップＳ２０）、ステップＳ１７に進む。これにより、再生手段１０２の開始時刻制御部１１２は、復号開始時刻ＴQを早め、また、入力バッファ１０１の容量制御部１１１は、入力バッファ１０１に蓄積されるデータの容量を増加させる。なお、ステップＳ１９およびステップＳ２０は、逆の順序で処理してもよいし、並行に処理してもよい。
【００７０】
また、ステップＳ１３において、入力した負荷情報（Ｌ＿ＩＮ）が保持している負荷情報Ｌと等しい場合（Ｌ＿ＩＮ＝Ｌ）、すなわち、マルチメディア再生装置１の処理負荷が前回（初回は初期値）と同じ場合、制御手段２０４は、ステップＳ１７に進む。
【００７１】
第２の実施形態のマルチメディア再生装置によれば、処理負荷の変動に基づいた調整時間Ｄ′の分だけ復号開始時刻を早めることができる。また、処理負荷の変動に基づいて、入力バッファ１０１に蓄積される容量を制御することができる。これにより、処理負荷が変動しても、入力バッファ１０１に必要十分な容量を保ちながら、所定の再生時刻に復号または合成した映像や音声を再生出力することが可能になる。
【００７２】
（第３の実施形態）
［マルチメディア再生装置の構成］
図５は、第３の実施形態のマルチメディア再生装置のブロック図である。
このマルチメディア再生装置３は、図５に示すように、多重分離部５０と、複数（図では２つ）のメディア再生装置３００とを備えている。なお、図１と同じ構成には同じ符号を付して説明を省略する。
メディア再生装置３００は、出力バッファ３１０を備えている点と、制御手段３０４の機能が異なる点とを除いて、図１に示した第１の実施形態のメディア再生装置１００と同一の構成である。
【００７３】
出力バッファ３１０は、再生手段１０２で再生処理された映像や音声を再生するべき時刻まで蓄積するものである。この出力バッファ３１０は、蓄積された映像や音声を瞬時に再生可能な状態で所定時間（再生余裕時間）待機する。そして、出力バッファ３１０に蓄積された映像や音声は、タイムスタンプで示された再生時刻に直ちに出力される。また、出力バッファ３１０は、容量制御部３１１を備えている。この容量制御部（容量制御手段）３１１は、出力バッファ３１０に蓄積されるデータの容量を制御手段３０４により指定された容量に制御するものである。
制御手段３０４は、後記するように、処理遅延算出手段１０３から通知される処理遅延時間に基づいて、入力バッファ１０１に蓄積されるデータの容量と、出力バッファ３１０に蓄積されるデータの容量と、再生手段１０２による復号開始時刻とを指定するものである。
【００７４】
［マルチメディア再生装置の動作］
次に、図６を参照（適宜図５参照）して、第３の実施形態に係るマルチメディア再生装置の動作について説明する。図６は、本発明の第３の実施形態に係るマルチメディア再生装置の制御手段のフローチャートである。
【００７５】
まず、制御手段３０４は、処理遅延時間の初期値をＤに設定し、この値を保持する（ステップＳ２１）。また、制御手段３０４は、変数Ｓの初期値に、出力バッファ３１０の再生余裕時間を設定して、保持する。そして、制御手段３０４は、処理遅延算出手段１０３から処理遅延時間の入力（Ｄ＿ＩＮ）があったかどうかを判別する（ステップＳ２２）。続いて、制御手段３０４は、入力した処理遅延時間Ｄ＿ＩＮと、保持している処理遅延時間Ｄとを比較して大小を判定する（ステップＳ２３）。
【００７６】
入力した処理遅延時間Ｄ＿ＩＮが保持している処理遅延時間Ｄよりも大きい場合（Ｄ＿ＩＮ＞Ｄ）、すなわち処理負荷が前回（初回は初期値）よりも大きくなった場合、制御手段３０４は、復号開始時刻ＴQを再生時刻ＴSよりも（Ｓ＋Ｄ＿ＩＮ）だけ早めた時刻を指定する（ステップＳ２４）。また、この場合、入力バッファ１０１に蓄積されるデータの容量を（Ｄ＿ＩＮ−Ｄ）×Ｒａｔｅだけ減少させた容量を指定する（ステップＳ２５）。また、この場合、出力バッファ３１０に蓄積されるデータの容量を（Ｄ＿ＩＮ−Ｄ）×Ｏｒｇだけ増加させた容量を指定する（ステップＳ２６）。ここで、Ｒａｔｅは受信しているストリームの符号化レートであり、Ｏｒｇは非圧縮の映像や音声の単位時間あたりの情報量である。これにより、再生手段１０２の開始時刻制御部１１２は、復号開始時刻ＴQを早め、また、入力バッファ１０１の容量制御部１１１は、入力バッファ１０１に蓄積されるデータの容量を減少させ、出力バッファ３１０の容量制御部３１１は、出力バッファ３１０に蓄積されるデータの容量を増加させる。なお、ステップＳ２４乃至ステップＳ２６は、任意の順序で処理してもよいし、並行に処理してもよい。
ステップＳ２６に続いて、制御手段３０４は、入力した処理遅延時間（Ｄ＿ＩＮ）の値を、改めてＤに設定して保持すると共に、Ｓ＋（Ｄ＿ＩＮ−Ｄ）の値を改めてＳに設定して保持し（ステップＳ２７）、ステップＳ２２に戻る。
【００７７】
また、ステップＳ２３において、入力した処理遅延時間（Ｄ＿ＩＮ）が保持している処理遅延時間Ｄよりも小さい場合（Ｄ＿ＩＮ＜Ｄ）、すなわち処理負荷が前回（初回は初期値）よりも小さくなった場合、制御手段３０４は、ステップＳ２４と同様に、復号開始時刻ＴQを再生時刻ＴSよりも（Ｄ＿ＩＮ）だけ早めた時刻を指定する（ステップＳ２８）。また、この場合、入力バッファ１０１に蓄積されるデータの容量を（Ｄ−Ｄ＿ＩＮ）×Ｒａｔｅだけ増加させた容量を指定する（ステップＳ２９）。また、この場合、出力バッファ３１０に蓄積されるデータの容量を（Ｄ−Ｄ＿ＩＮ）×Ｏｒｇだけ減少させた容量を指定する（ステップＳ３０）。これにより、再生手段１０２の開始時刻制御部１１２は、復号開始時刻ＴQを早め、また、入力バッファ１０１の容量制御部１１１は、入力バッファ１０１に蓄積されるデータの容量を増加させ、出力バッファ３１０の容量制御部３１１は、出力バッファ３１０に蓄積されるデータの容量を減少させる。なお、ステップＳ２８乃至ステップＳ３０は、任意の順序で処理してもよいし、並行に処理してもよい。
【００７８】
さらに、ステップＳ３０に続いて、制御手段３０４は、ステップＳ２７に進む。
また、ステップＳ２３において、入力した処理遅延時間（Ｄ＿ＩＮ）が保持している処理遅延時間Ｄと等しい場合（Ｄ＿ＩＮ＝Ｄ）、すなわち、マルチメディア再生装置１の処理負荷が前回（初回は初期値）と同じ場合、制御手段３０４は、ステップＳ２７に進む。
【００７９】
第３の実施形態のマルチメディア再生装置によれば、再生手段１０２による処理遅延時間を常に監視し、この処理遅延時間と再生余裕時間の分だけ復号開始時刻を早めることができる。また、処理負荷を反映している処理遅延時間に基づいて、入力バッファ１０１および出力バッファ３１０に蓄積される容量を制御することができる。これにより、処理負荷が変動しても、入力バッファ１０１および出力バッファ３１０に必要十分な容量を保ちながら、所定の再生時刻に復号または合成した映像や音声を再生出力することが可能になる。
【００８０】
（第４の実施形態）
［マルチメディア再生装置の構成］
図７は、第４の実施形態のマルチメディア再生装置のブロック図である。
このマルチメディア再生装置４は、図７に示すように、多重分離部５０と、複数（図では２つ）のメディア再生装置４００と、負荷計測手段２１０とを備えている。なお、図３と同じ構成には同じ符号を付して説明を省略する。
【００８１】
メディア再生装置４００は、出力バッファ３１０を備えている点と、制御手段４０４の機能が異なる点とを除いて、図３に示した第２の実施形態のメディア再生装置２００と同一の構成である。
制御手段４０４は、後記するように、負荷計測手段２１０から出力される処理負荷と、再生手段１０２で再生に要する時間を示す処理遅延時間とに基づいて、入力バッファ１０１に蓄積されるデータの容量と、出力バッファ３１０に蓄積されるデータの容量と、再生手段１０２による復号開始時刻とを指定するものである。
【００８２】
［マルチメディア再生装置の動作］
次に、図８を参照（適宜図７参照）して、第４の実施形態に係るマルチメディア再生装置の動作について説明する。図４は、本発明の第４の実施形態に係るマルチメディア再生装置の制御手段のフローチャートである。
【００８３】
まず、制御手段４０４は、処理遅延時間の初期値をＤに設定し、この値を保持すると共に、負荷情報の初期値をＬに設定し、保持する（ステップＳ３１）。また、制御手段４０４は、変数Ｓの初期値に、出力バッファ３１０の再生余裕時間を設定して、保持する。そして、制御手段４０４は、負荷計測手段２１０から現在の負荷情報の入力（Ｌ＿ＩＮ）があったかどうかを判別する（ステップＳ３２）。続いて、制御手段４０４は、入力した負荷情報Ｌ＿ＩＮと、保持している負荷情報Ｌとを比較して大小を判定する（ステップＳ３３）。
【００８４】
入力した負荷情報Ｌ＿ＩＮが保持している負荷情報Ｌよりも大きい場合（Ｌ＿ＩＮ＞Ｌ）、すなわち処理負荷が前回（初回は初期値）よりも大きくなった場合、制御手段４０４は、保持している処理遅延時間Ｄと負荷情報Ｌ＿ＩＮ，Ｌとに基づいて、調整時間Ｄ′を次式（３）により算出する（ステップＳ３４）。ここで、α′はＣＰＵの処理能力やストリームの符号化レートに応じて異なり、予めシミュレーション等により決定された定数である。
【００８５】
Ｄ′＝Ｄ＋α′×（Ｌ＿ＩＮ−Ｌ）…（３）
【００８６】
そして、制御手段４０４は、復号開始時刻ＴQを再生時刻ＴSよりも（Ｓ＋Ｄ′）だけ早めた時刻を指定する（ステップＳ３５）。また、この場合、入力バッファ１０１に蓄積されるデータの容量をβ′×（Ｌ＿ＩＮ−Ｌ）だけ減少させた容量を指定する（ステップＳ３６）。また、この場合、出力バッファ３１０に蓄積されるデータの容量をγ′×（Ｌ＿ＩＮ−Ｌ）だけ増加させた容量を指定する（ステップＳ３７）。ここでβ′、γ′はＣＰＵの処理能力やストリームの符号化レートに応じて異なり、予めシミュレーション等により決定された定数である。これにより、再生手段１０２の開始時刻制御部１１２は、復号開始時刻ＴQを早め、また、入力バッファ１０１の容量制御部１１１は、入力バッファ１０１に蓄積されるデータの容量を減少させ、出力バッファ３１０の容量制御部３１１は、出力バッファ３１０に蓄積されるデータの容量を増加させる。なお、ステップＳ３５乃至ステップＳ３７は、任意の順序で処理してもよいし、並行に処理してもよい。
【００８７】
ステップＳ３７に続いて、制御手段４０４は、入力した負荷情報（Ｌ＿ＩＮ）の値を改めてＬに設定して保持し、また、調整時間Ｄ′の値を改めてＤに設定して保持し、さらに、｛Ｓ＋γ′×（Ｌ＿ＩＮ−Ｌ）／Ｏｒｇ｝の値を求めてこれを改めて変数Ｓに設定して保持し（ステップＳ３８）、ステップＳ３２に戻る。なお、Ｏｒｇは非圧縮の映像や音声の単位時間あたりの情報量である。
【００８８】
また、ステップＳ３３において、入力した負荷情報（Ｌ＿ＩＮ）が保持している負荷情報Ｌよりも小さい場合（Ｌ＿ＩＮ＜Ｌ）、すなわち処理負荷が前回（初回は初期値）よりも小さくなった場合、制御手段４０４は、保持している処理遅延時間Ｄと負荷情報Ｌ＿ＩＮ，Ｌとに基づいて、調整時間Ｄ′を次式（４）により算出する（ステップＳ３９）。ここで、α′は前記した式（３）のものと同一である。
【００８９】
Ｄ′＝Ｄ−α′×（Ｌ−Ｌ＿ＩＮ）…（４）
【００９０】
そして、制御手段４０４は、ステップＳ３５と同様に、復号開始時刻ＴQを再生時刻ＴSよりも（Ｓ＋Ｄ′）だけ早めた時刻を指定する（ステップＳ４０）。また、この場合、入力バッファ１０１に蓄積されるデータの容量をβ′×（Ｌ−Ｌ＿ＩＮ）だけ増加させた容量を指定する（ステップＳ４１）。また、この場合、出力バッファ３１０に蓄積されるデータの容量をγ′×（Ｌ−Ｌ＿ＩＮ）だけ減少させた容量を指定する（ステップＳ４２）。ここでβ′、γ′はＣＰＵの処理能力やストリームの符号化レートに応じて異なり、予めシミュレーション等により決定された定数である。これにより、再生手段１０２の開始時刻制御部１１２は、復号開始時刻ＴQを早め、また、入力バッファ１０１の容量制御部１１１は、入力バッファ１０１に蓄積されるデータの容量を増加させ、出力バッファ３１０の容量制御部３１１は、出力バッファ３１０に蓄積されるデータの容量を減少させる。なお、ステップＳ４０乃至ステップＳ４２は、任意の順序で処理してもよいし、並行に処理してもよい。ステップＳ４２に続いて、制御手段４０４は、ステップＳ３８に進む。
【００９１】
また、ステップＳ３３において、入力した負荷情報（Ｌ＿ＩＮ）が保持している負荷情報Ｌと等しい場合（Ｌ＿ＩＮ＝Ｌ）、すなわち、処理負荷が前回（初回は初期値）と同じ場合、制御手段４０４は、ステップＳ３８に進む。
【００９２】
第４の実施形態のマルチメディア再生装置によれば、処理負荷の変動に基づいた調整時間Ｄ′と再生余裕時間に相当する時間の分だけ復号開始時刻を早めることができる。また、処理負荷の変動に基づいて、入力バッファ１０１および出力バッファ３１０に蓄積される容量を制御することができる。これにより、処理負荷が変動しても、入力バッファ１０１および出力バッファ３１０に必要十分な容量を保ちながら、所定の再生時刻に復号または合成した映像や音声を再生出力することが可能になる。
【００９３】
以上、本発明の実施形態について説明したが、本発明は第１乃至第４の実施形態には限定されない。例えば、第１乃至第４の実施形態では、マルチメディア再生装置が同一のメディア再生装置を複数備えて、複数のメディアを再生できるものとしたが、単一のメディアに対応した単一のメディア再生装置だけを備えるものとしてもよい。
また、本発明は、例えば第１乃至第４の実施形態における各メディア再生装置が混在するようにしてもよい。この場合のマルチメディア再生装置を第５の実施形態として説明する。
【００９４】
（第５の実施形態）
［マルチメディア再生装置の構成］
図９は、第５の実施形態のマルチメディア再生装置のブロック図である。
このマルチメディア再生装置５は、図９に示すように、多重分離部５０と、メディア再生装置１００〜４００（図１、図３、図５および図７参照）と、負荷計測手段２１０とを備えている。なお、マルチメディア再生装置１〜４と同一の構成には同一の符号を付し、説明を省略する。
【００９５】
ここでは、ＩＰネットワークにより伝送されるメディア（ストリームやスクリプト）として、ＭＰＥＧ−２映像、ＭＰＥＧ−１ Ａｕｄｉｏ Ｌａｙｅｒ、ＴＶＭＬスクリプトおよびテキストスクリプトを想定している。
そして、メディア再生装置１００は、ＭＰＥＧ−２のストリームを復号し映像を再生する。このメディア再生装置１００において、ＭＰＥＧ−２の１ＧＯＰの処理遅延時間は例えば１０ｍｓであり、この値（１０ｍｓ）を処理遅延時間の初期値に設定する。
また、メディア再生装置２００は、ＭＰＥＧ−１ Ａｕｄｉｏ Ｌａｙｅｒで符号化したストリームを復号して音声を再生する。このメディア再生装置２００において、ＭＰＥＧ−１ Ａｕｄｉｏ Ｌａｙｅｒの１音声フレームの処理遅延時間は例えば３ｍｓであり、この値（３ｍｓ）を処理遅延時間の初期値に設定する。
【００９６】
また、メディア再生装置３００は、ＴＶＭＬスクリプトを解釈し、映像や音声を合成する。このメディア再生装置３００において、一定量のＴＶＭＬスクリプトの解釈や合成に要する処理遅延時間は、例えば９００ｍｓであり、この値（９００ｍｓ）を処理遅延時間の初期値に設定する。
さらに、メディア再生装置４００は、テキストスクリプトを解釈し、映像や音声を合成する。このメディア再生装置４００において、一定量のテキストスクリプトの解釈や合成に要する処理遅延時間は、例えば６００ｍｓであり、この値（６００ｍｓ）を処理遅延時間の初期値に設定する。
【００９７】
第５の実施形態のマルチメディア再生装置によれば、映像や音声などそれぞれのメディアが、それぞれに付与されたタイムスタンプの時刻に映像や音声を再生することで、複数のメディア間で同期を取りながら再生出力をおこなうことが可能になる。なお、いずれのメディアをどの符号化方式とするかは任意であり、どのストリーム（またはスクリプト）をいずれのメディア再生装置１００〜４００で再生（復号または合成）するかは任意である。また、前記した処理遅延時間の数値は、あるシステムにおける一例であることはもちろんである。
【図面の簡単な説明】
【００９８】
【図１】本発明の第１の実施形態に係るマルチメディア再生装置の構成を示すブロック図である。
【図２】本発明の第１の実施形態に係るマルチメディア再生装置の制御手段のフローチャートである。
【図３】本発明の第２の実施形態に係るマルチメディア再生装置の構成を示すブロック図である。
【図４】本発明の第２の実施形態に係るマルチメディア再生装置の制御手段のフローチャートである。
【図５】本発明の第３の実施形態に係るマルチメディア再生装置の構成を示すブロック図である。
【図６】本発明の第３の実施形態に係るマルチメディア再生装置の制御手段のフローチャートである。
【図７】本発明の第４の実施形態に係るマルチメディア再生装置の構成を示すブロック図である。
【図８】本発明の第４の実施形態に係るマルチメディア再生装置の制御手段のフローチャートである。
【図９】本発明の第５の実施形態に係るマルチメディア再生装置の構成を示すブロック図である。
【図１０】従来のマルチメディア再生装置の構成を示すブロック図である（出力バッファがない場合）。
【図１１】従来のマルチメディア再生装置の構成を示すブロック図である（出力バッファがある場合）。
【図１２】処理遅延時間の説明図であり、（ａ）は出力バッファがない場合を示し、（ｂ）は出力バッファがある場合を示している。
【符号の説明】
【００９９】
１〜５ マルチメディア再生装置
５０ 多重分離部（多重分離部手段）
１００ メディア再生装置
１０１ 入力バッファ
１０２ 再生手段
１０３ 処理遅延算出手段
１０４ 制御手段
１１１ 容量制御部（容量制御手段）
１１２ 開始時刻制御部（開始時刻制御手段）
１５０ 出力装置
２００ メディア再生装置
２０４ 制御手段
２１０ 負荷計測手段
３００ メディア再生装置
３０４ 制御手段
３１０ 出力バッファ
３１１ 容量制御部（容量制御手段）
４００ メディア再生装置
４０４ 制御手段
【技術分野】
【０００１】
本発明は、映像や音声などのメディアを再生するメディア再生装置に関し、特に、受信したメディアを提示されるべき時刻に再生するメディア再生装置に関する。
【背景技術】
【０００２】
近年、インターネット（ネットワーク）上で、映像（動画像、静止画像、ＣＧ画像および文字を含む）や音声（合成音声を含む）などのマルチメディア（以下、メディアと称す）が流通するようになってきた。このようなメディアのうち、動画像や音声などは時間軸を持つ情報要素から構成されているので、出力する際にはそれぞれの要素を同期させて再生する必要がある。そこで、動画像や音声などのメディアが複数種類ある場合に、メディア間で同期をとりながら、それらが提示されるべき時刻に再生するマルチメディア再生装置が知られている（例えば、特許文献１参照）。
【０００３】
この特許文献１に開示されたマルチメディア再生装置は、各メディアを受信する前に、予め再生する各メディアの情報量と、この再生装置の負荷状態の情報とをネットワークを介して送信側に伝達し、送信側は、これらの情報に基づいて、各メディアの再生時刻を決定して、このマルチメディア再生装置に伝達するものである。
【０００４】
なお、メディアの再生するべき時刻を、メディアに関連付ける規格が知られており、各メディアには、それらを再生するためのタイムスタンプが付加される（非特許文献１）。このタイムスタンプにより、データを送信する際に、送信速度や到着間隔がばらつく、いわゆる揺らぎが発生しても、例えば音声が途切れるなどの品質不良を軽減して音声を再生することができる。
【０００５】
従来、このようなマルチメディア再生装置は、図１０に示すように、受信した複数のメディアを分離する多重分離部１０１０と、分離された各メディアを再生する複数（図では２つ）のメディア再生装置１０３０とを備えている。図１０に示したメディア再生装置１０３０は、メディアの再生するベき時刻情報と、圧縮されたストリームなどのデータを入力し、それらを復号あるいは合成して映像や音声として再生するものである。このメディア再生装置１０３０は、例えば、図１０に示すように、受信したデータ（圧縮ストリーム）を蓄積することにより、伝送路上で発生するデータの到着間隔の揺らぎを吸収する入力バッファ１０３１と、この入力バッファ１０３１から出力される圧縮ストリームの再生（復号または合成）を行う再生手段１０３２とを備えている。
【０００６】
あるいは、図１１に示すように、前記した入力バッファ１０３１と再生手段１０３２に加えて、再生手段１０３２で再生された映像や音声を出力するべき時刻まで蓄積する出力バッファ１１３３を備えたメディア再生装置１１３０を有するマルチメディア再生装置１１００も知られている。
【０００７】
図１０および図１１に示した再生手段１０３２は、メディアの指定された再生時刻（出力時刻）に映像や音声が出力されるようにするために、再生時刻よりも、再生に要する時間（処理遅延時間）だけ早く再生処理を開始する。すなわち、この再生手段１０３２は、図１２の（ａ）に示した時間軸（ｔ）の上方に示すように、処理遅延時間を固定値（想定遅延時間ｔ1）として、所定の再生時刻ＴSより想定遅延時間ｔ1だけ以前の開始時刻ＴPに再生処理を開始する。
【０００８】
また、図１１に示した出力バッファ１１３３は、蓄積された映像や音声を瞬時に再生可能な状態で所定時間（再生余裕時間：最大値ｔ3）待機することができる。そのため、図１１に示した再生手段１０３２は、図１２の（ｂ）に示すように、所定の再生時刻ＴSよりも、想定遅延時間ｔ1と再生余裕時間ｔ3との和の時間だけ以前の開始時刻ＴP′に再生処理を開始する。
【特許文献１】特許第３１７９９２２号公報（段落００１４〜００６２、図１）
【非特許文献１】H. Schulzrinne、外３名、「RTP: A Transport Protocol for Real-Time Applications」、RFC3550(Network Working Group Request for Comments:3550)、2003年7月
【発明の開示】
【発明が解決しようとする課題】
【０００９】
しかしながら、リアルタイム処理系を除く汎用のＯＳ上では、一般に、再生処理に要する最大の時間（処理遅延時間）は保証されていない。そのため、図１０に示した再生手段１０３２が、図１２の（ａ）に示した時間軸の下方に示すように、再生処理に想定遅延時間ｔ1よりも長い実処理遅延時間ｔ2だけ要した場合、映像や音声の出力は、所定の再生時刻ＴSよりも遅れた出力時刻ＴDに開始されてしまうことがある。
【００１０】
これに対して、図１１に示した出力バッファ１１３３を有するマルチメディア再生装置１１００は、図１２の（ｂ）に示すように、再生余裕時間ｔ3を設けることで、実処理遅延時間ｔ2が想定遅延時間ｔ1と異なっても、所定の再生時刻ＴS（出力時刻ＴS）に映像や音声を再生することができるが、出力バッファ１１３３は、非圧縮の映像や音声を蓄積できるような大容量を有する記憶装置としなければならない。
【００１１】
また、特許文献１に開示されたマルチメディア再生装置は、予めメディアの情報量を算出しメディア送信側に送信しなければならないという問題がある。
【００１２】
また、汎用ＯＳ上で実行する限り、圧縮ストリームの復号や、スクリプトの解釈や合成に要する時間（処理遅延時間）は変化するため、非特許文献１に基づき、複数のメディアにそれらを再生するためのタイムスタンプを付加した場合でも、付加されたタイムスタンプの時刻にそのメディアを再生できないという問題がある。
【００１３】
本発明は、以上のような問題点に鑑みてなされたものであり、バッファ容量を大規模にすることなく、マルチメディアを所定の再生時刻に出力することが可能なマルチメディア再生装置を提供することを目的とする。
【課題を解決するための手段】
【００１４】
本発明は、前記目的を達成するために創案されたものであり、まず、請求項１に記載のメディア再生装置は、所定の再生時刻にメディアを再生するための符号化されたメディアデータを蓄積する入力バッファと、この入力バッファから出力されるデータを再生する再生手段とを有し、前記データに基づいてメディアを再生するメディア再生装置であって、処理遅延算出手段と、制御手段と、開始時刻制御手段とを備える構成とした。
【００１５】
かかる構成によれば、メディア再生装置は、メディアデータとして、例えばネットワークを介して伝送されるストリームまたはスクリプトを入力バッファに蓄積し、再生手段によって、この入力バッファから出力されるデータの再生処理（復号処理または合成処理）を行う。この再生手段は、例えば、ＭＰＥＧ−２のストリームを復号して映像を再生したり、ＭＰＥＧ−１ Ａｕｄｉｏ Ｌａｙｅｒのストリームを復号して音声を再生したりする。また、ＴＶＭＬ（TV program Making language）スクリプトを解釈し、映像や音声を合成したり、テキストスクリプトを解釈し、映像や音声を合成したりする。
【００１６】
そして、メディア再生装置は、処理遅延算出手段によって、再生手段でデータの再生に要する時間を示す処理遅延時間を算出する。ここで、処理遅延時間の算出は、例えば、再生手段への入力を検知したときに、クロックのカウントを開始し、再生手段からの出力を検知したときのカウント値により求めることができる。そして、メディア再生装置は、制御手段によって、処理遅延算出手段で算出された処理遅延時間に基づいて、メディアを再生するための処理を開始する時刻を指定する。これによって、再生手段は、開始時刻制御手段によって、制御手段により指定された時刻に、メディアを再生するための処理を開始する。
【００１７】
また、請求項２に記載のメディア再生装置は、請求項１に記載のメディア再生装置において、入力バッファに容量制御手段を有することを特徴とする。
【００１８】
かかる構成によれば、メディア再生装置は、制御手段によって、処理遅延算出手段で算出された処理遅延時間に基づいて、入力バッファに蓄積されるデータの容量を指定する。そして、メディア再生装置は、入力バッファの容量制御手段によって、蓄積されるデータの容量を、制御手段により指定された容量に制御する。
【００１９】
また、請求項３に記載のメディア再生装置は、請求項１または請求項２に記載のメディア再生装置において、再生手段から出力されるデータを蓄積し、蓄積されたデータを所定時間保持する出力バッファをさらに備え、この出力バッファに容量制御手段を有することを特徴とする。
【００２０】
かかる構成によれば、メディア再生装置は、制御手段によって、処理遅延算出手段で算出された処理遅延時間に基づいて、出力バッファに蓄積されるデータの容量を指定する。そして、メディア再生装置は、出力バッファの容量制御手段によって、蓄積されるデータの容量を、制御手段により指定された容量に制御する。
【００２１】
また、請求項４に記載のメディア再生装置は、請求項１または請求項２に記載のメディア再生装置において、制御手段が、メディアを再生するための処理を開始する時刻を、所定の再生時刻よりも、処理遅延算出手段で算出された処理遅延時間だけ早めた時刻として指定することを特徴とする。
【００２２】
かかる構成によれば、メディア再生装置は、再生手段の開始時刻制御手段によって、制御手段で指定された時刻にメディアを再生するための処理を開始し、処理遅延時間経過後にメディアを再生するので、所定の再生時刻にメディアを再生出力することができる。
【００２３】
また、請求項５に記載のメディア再生装置は、請求項３に記載のメディア再生装置において、制御手段は、メディアを再生するための処理を開始する時刻を、所定の再生時刻よりも、処理遅延算出手段で算出された処理遅延時間と出力バッファでデータが保持される所定時間との和だけ早めた時刻として指定することを特徴とする。
【００２４】
かかる構成によれば、メディア再生装置は、再生手段の開始時刻制御手段によって、制御手段で指定された時刻にメディアを再生するための処理を開始し、処理遅延時間の経過後、出力バッファにて、所定時間保持されるので、所定の再生時刻にメディアを再生出力することができる。この所定時間は、出力バッファに蓄積されたデータを瞬時に再生可能な状態で保持することのできる時間である。
【００２５】
また、請求項６に記載のメディア再生装置は、請求項２乃至請求項５のいずれか一項に記載のメディア再生装置において、制御手段は、入力バッファに蓄積されるデータの容量を、処理遅延算出手段で算出された処理遅延時間が所定値よりも大きい場合に減少させるように指定し、かつ、処理遅延算出手段で算出された処理遅延時間が所定値よりも小さい場合に増加させるように指定することを特徴とする。
【００２６】
かかる構成によれば、メディア再生装置は、処理遅延時間が所定値よりも大きくなった場合に、再生処理を早めに開始する。つまり、入力バッファに蓄積されたデータは早めに出力してしまう。その結果、入力バッファに蓄積されるデータの容量は少なくて済む。したがって、メディア再生装置は、入力バッファに蓄積されるデータの容量を減少させる制御を行う。一方、メディア再生装置は、処理遅延時間が所定値よりも小さくなった場合に、再生処理を遅めに開始する。つまり、入力バッファに蓄積されたデータは遅めに出力してしまう。その結果、入力バッファに蓄積されるデータの容量は多くなければならない。したがって、メディア再生装置は、入力バッファに蓄積されるデータの容量を増加させる制御を行う。その結果、入力バッファの容量を大規模にすることなく、所定の再生時刻にメディアを再生することができる。
【００２７】
また、請求項７に記載のメディア再生装置は、請求項３または請求項５に記載のメディア再生装置において、制御手段は、出力バッファに蓄積されるデータの容量を、処理遅延算出手段で算出された処理遅延時間が所定値よりも大きい場合に増加させるように指定し、かつ、処理遅延算出手段で算出された処理遅延時間が所定値よりも小さい場合に減少させるように指定することを特徴とする。
【００２８】
かかる構成によれば、メディア再生装置は、処理遅延時間が所定値よりも大きくなった場合に、再生処理を早めに開始する。つまり、入力バッファに蓄積されたデータは早めに出力してしまうので、入力バッファに蓄積されるデータの容量を減少させる。この場合、再生処理の時間にそれほど要しないと、所定の再生時刻まで待機しなければならなくなる。そこで、出力バッファに蓄積されるデータの容量を増加させる制御を行う。一方、メディア再生装置は、処理遅延時間が所定値よりも小さくなった場合に、再生処理を遅めに開始する。つまり、入力バッファに蓄積されたデータは遅めに出力してしまうので、入力バッファに蓄積されるデータの容量を増加させる。この場合、再生処理が早く終わっても、再生処理を開始する時刻が遅いために所定の再生時刻までの時間は減少している。そこで、出力バッファに蓄積されるデータの容量を減少させる制御を行う。その結果、出力バッファの容量を大規模にすることなく、所定の再生時刻にメディアを再生することができる。
【００２９】
また、請求項８に記載のメディア再生装置は、所定の再生時刻にメディアを再生するための符号化されたメディアデータを蓄積する入力バッファと、この入力バッファから出力される前記データを再生する再生手段とを有し、前記データに基づいてメディアを再生するメディア再生装置であって、負荷計測手段と、制御手段とを備える構成とした。
【００３０】
かかる構成によれば、メディア再生装置は、負荷計測手段によって、メディアを再生するための処理の負荷である処理負荷を計測する。ここで、処理負荷は、例えば、このメディア再生装置のＣＰＵにおいて、負荷が存在しないときに０．０、最大負荷時に１．０の実数値で示されるようなＣＰＵ負荷率である。そして、メディア再生装置は、制御手段によって、負荷計測手段で計測された処理負荷と、再生手段で前記データの再生に要する時間を示す処理遅延時間とに基づいて、メディアを再生するための処理を開始する時刻を指定する。これによって、再生手段は、開始時刻制御手段によって、制御手段により指定された時刻に、メディアを再生するための処理を開始する。
【００３１】
また、請求項９に記載のメディア再生装置は、請求項８に記載のメディア再生装置において、入力バッファに容量制御手段を有することを特徴とする。
【００３２】
かかる構成によれば、メディア再生装置は、制御手段によって、負荷計測手段で計測された処理負荷に基づいて、入力バッファに蓄積されるデータの容量を指定する。そして、メディア再生装置は、入力バッファの容量制御手段によって、蓄積されるデータの容量を、制御手段により指定された容量に制御する。
【００３３】
また、請求項１０に記載のメディア再生装置は、請求項８または請求項９に記載のメディア再生装置において、再生手段から出力されるデータを蓄積し、蓄積されたデータを瞬時に再生可能な状態で所定時間保持する出力バッファをさらに備え、この出力バッファに容量制御手段を有することを特徴とする。
【００３４】
かかる構成によれば、メディア再生装置は、制御手段によって、負荷計測手段で計測された処理負荷に基づいて、出力バッファに蓄積されるデータの容量を指定する。そして、メディア再生装置は、出力バッファの容量制御手段によって、蓄積されるデータの容量を、制御手段により指定された容量に制御する。
【００３５】
また、請求項１１に記載のメディア再生装置は、請求項９または請求項１０に記載のメディア再生装置において、制御手段は、入力バッファに蓄積されるデータの容量を、負荷計測手段で計測された処理負荷が所定値よりも大きい場合に減少させるように指定し、かつ、負荷計測手段で計測された処理負荷が所定値よりも小さい場合に増加させるように指定することを特徴とする。
【００３６】
かかる構成によれば、メディア再生装置は、処理負荷が所定値よりも大きくなった場合に、再生処理を早めに開始する。つまり、入力バッファに蓄積されたデータは早めに出力してしまう。その結果、入力バッファに蓄積されるデータの容量は少なくて済む。したがって、メディア再生装置は、入力バッファに蓄積されるデータの容量を減少させる制御を行う。一方、メディア再生装置は、処理負荷が所定値よりも小さくなった場合に、再生処理を遅めに開始する。つまり、入力バッファに蓄積されたデータは遅めに出力してしまう。その結果、入力バッファに蓄積されるデータの容量は多くなければならない。したがって、メディア再生装置は、入力バッファに蓄積されるデータの容量を増加させる制御を行う。その結果、入力バッファの容量を大規模にすることなく、所定の再生時刻にメディアを再生することができる。
【００３７】
また、請求項１２に記載のメディア再生装置は、請求項１０に記載のメディア再生装置において、制御手段は、出力バッファに蓄積されるデータの容量を、負荷計測手段で計測された処理負荷が所定値よりも大きい場合に増加させるように指定し、かつ、負荷計測手段で計測された処理負荷が所定値よりも小さい場合に減少させるように指定することを特徴とする。
【００３８】
かかる構成によれば、メディア再生装置は、処理負荷が所定値よりも大きくなった場合に、再生処理を早めに開始する。つまり、入力バッファに蓄積されたデータは早めに出力してしまうので、入力バッファに蓄積されるデータの容量を減少させる。この場合、再生処理の時間にそれほど要しないと、所定の再生時刻まで待機しなければならなくなる。そこで、出力バッファに蓄積されるデータの容量を増加させる制御を行う。一方、メディア再生装置は、処理負荷が所定値よりも小さくなった場合に、再生処理を遅めに開始する。つまり、入力バッファに蓄積されたデータは遅めに出力してしまうので、入力バッファに蓄積されるデータの容量を増加させる。この場合、再生処理が早く終わっても、再生処理を開始する時刻が遅いために所定の再生時刻までの時間は減少している。そこで、出力バッファに蓄積されるデータの容量を減少させる制御を行う。その結果、出力バッファの容量を大規模にすることなく、所定の再生時刻にメディアを再生することができる。
【００３９】
また、請求項１３に記載のマルチメディア再生装置は、請求項１に記載のメディア再生装置を複数備えると共に、多重化されたメディアデータを分離して複数のメディア再生装置にそれぞれ出力する多重分離手段を備えることを特徴とする。
【００４０】
かかる構成によれば、マルチメディア再生装置は、異なる符号化方式で符号化されて多重化されたマルチメディアデータが入力されたときに、多重分離手段によって、複数のメディアデータに分離し、各メディア再生装置によって、それぞれのメディアを再生出力することができる。また、このとき分離したクロック信号により、各メディアを同期させて出力することができる。
【発明の効果】
【００４１】
請求項１又は請求項８に記載の発明によれば、メディア再生装置において、制御手段がメディアを再生するための処理を開始する時刻を柔軟に変動させるので、処理負荷が変動して再生するための処理に要する時間が変動しても、所定の再生時刻に映像や音声を再生出力することができる。また、制御手段に必要な処理遅延時間または処理負荷は、当該メディア再生装置の中で生成されるので、特許文献１のようにメディア送信側から予め情報を受信するような複雑な制御を必要としない。したがって、ＲＦＣ３５５０で規定されるタイムスタンプを複数メディアに記載することで、バッファ容量を大規模にすることなく、それらのメディアを所定の時刻に同期を取りながら再生出力することが可能になる。
【００４２】
請求項２又は請求項９に記載の発明によれば、メディア再生装置において、制御手段が入力バッファに蓄積されるデータの量を制御する場合、入力バッファの容量を大規模なものにする必要がない。その結果、製造コストを低減できる。
【００４３】
請求項３又は請求項１０に記載の発明によれば、メディア再生装置において、制御手段が出力バッファに蓄積されるデータの量を制御する場合、出力バッファの容量を大規模なものにする必要がない。その結果、製造コストを低減できる。
【００４４】
請求項４又は請求項５に記載の発明によれば、メディア再生装置において、制御手段がメディアを再生するための処理を開始する時刻を早めることができるので、所定の再生時刻に映像や音声を再生出力することが可能になる。
【００４５】
請求項６、請求項７、請求項１１又は請求項１２に記載の発明によれば、メディア再生装置において、入力バッファまたは出力バッファの容量を大規模なものにする必要がない。その結果、製造コストを低減できる。
【００４６】
請求項１３に記載の発明によれば、マルチメディア再生装置において、異なる符号化方式で符号化されて多重化されたマルチメディアを同期させて所定の再生時刻に再生出力することができる。
【発明を実施するための最良の形態】
【００４７】
以下、本発明の実施の形態について図面を参照して説明する。
（第１の実施形態）
［マルチメディア再生装置の構成］
図１は、第１の実施形態のマルチメディア再生装置のブロック図である。
マルチメディア再生装置１は、ＩＰ(Internet Protocl)ネットワークなどの通信回線を介してストリーミング伝送される映像（動画像、静止画像、ＣＧ画像および文字を含む）や音声（合成音声を含む）などのマルチメディア（以下、メディアと称す）を、入力されたタイムスタンプに示される時刻に再生するものである。
【００４８】
マルチメディア再生装置１は、図１に示すように、多重分離部５０と、複数（図では２つ）のメディア再生装置１００とを備えている。
多重分離部（多重分離手段）５０は、メディアの再生するベき時刻情報と、映像や音声が圧縮されたストリームなどのマルチメディアデータ（以下、単にデータ）を分離するものである。これにより、複数のメディアおよびクロック信号ｃｋが分離される。
メディア再生装置１００は、クロック信号ｃｋで同期をとりながら、多重分離部５０で分離されたメディアを、それらが提示されるべき時刻に再生するものである。このメディア再生装置１００は、入力バッファ１０１と、再生手段１０２と、処理遅延算出手段１０３と、制御手段１０４とを備えている。
【００４９】
入力バッファ１０１は、圧縮ストリームなどのデータを蓄積し、再生手段１０２に出力するものである。この入力バッファ１０１が圧縮ストリームなどのデータを蓄積することにより、伝送路上で発生するデータの到着間隔の揺らぎを吸収することができる。この入力バッファ１０１は、圧縮ストリームを伝送してきたＩＰパケットの順序制御や誤り訂正をおこない、タイムスタンプを取り出し、ペイロード部を結合したストリーム（またはスクリプト）を出力する。また、入力バッファ１０１は、容量制御部１１１を備えている。この容量制御部（容量制御手段）１１１は、入力バッファ１０１に蓄積されるデータの容量を制御手段１０４により指定された容量に制御するものである。
【００５０】
再生手段１０２は、入力バッファ１０１から出力される圧縮ストリームの復号処理、またはスクリプトの解釈、合成処理（以上、総称して再生処理）を行い、モニタやスピーカなどから構成されている出力装置１５０へ出力するものである。この再生手段１０２は、開始時刻制御部１１２を備えている。この開始時刻制御部１１２は、ある時刻に再生するべき映像または音声をその時刻より、制御手段１０４に指定された所定時間だけ以前の時刻（以下、復号開始時刻と呼ぶ）に再生処理を開始するように制御するものである。なお、出力装置１５０は、マルチメディア再生装置１と別体としたが、一体としてもよいことはもちろんである。
【００５１】
処理遅延算出手段１０３は、再生手段１０２で再生処理に要する時間（以下、処理遅延時間と称す）を算出し、制御手段１０４に通知するものである。この処理遅延算出手段１０３は、再生手段１０２へのストリームの入力を検出すると、例えば、Ｗｉｎｄｏｗｓ（登録商標）ＡＰＩ（Application Program Interface）であるＱｕｅｒｙＰｅｒｆｏｒｍａｎｃｅＣｏｕｎｔｅｒ関数によりクロックをカウントし始め、映像や音声が出力されるまでの処理時間を測定し、測定結果を処理遅延時間とする。
制御手段１０４は、後記するように、処理遅延算出手段１０３から通知される処理遅延時間に基づいて、入力バッファ１０１に蓄積されるデータの容量と、再生手段１０２の復号開始時刻とを指定するものである。
【００５２】
［マルチメディア再生装置の動作］
次に、図２を参照（適宜図１参照）して、第１の実施形態に係るマルチメディア再生装置の動作について説明する。図２は、本発明の第１の実施形態に係るマルチメディア再生装置の制御手段のフローチャートである。
【００５３】
まず、制御手段１０４は、処理遅延時間の初期値をＤに設定し、この値を保持する（ステップＳ１）。例えば、ＭＰＥＧ−２の１ＧＯＰ（Group of Picture）の処理遅延時間が平均的に１０ｍｓであったとすると、この値（１０ｍｓ）をＤとして保持する。そして、制御手段１０４は、処理遅延算出手段１０３から処理遅延時間の入力（Ｄ＿ＩＮ）があったかどうかを判別する（ステップＳ２）。通常、この処理遅延時間Ｄ＿ＩＮは、マルチメディア再生装置１の処理負荷の変動に応じて変化し、例えば、１０ｍｓの前後の値となる。続いて、制御手段１０４は、入力した処理遅延時間Ｄ＿ＩＮと、保持している処理遅延時間Ｄとを比較して大小を判定する（ステップＳ３）。
【００５４】
入力した処理遅延時間Ｄ＿ＩＮが保持している処理遅延時間Ｄよりも大きい場合（Ｄ＿ＩＮ＞Ｄ）、すなわちメディアを再生するための処理の負荷である処理負荷が前回（初回は初期値）よりも大きくなった場合、制御手段１０４は、復号開始時刻ＴQを再生時刻ＴSよりも（Ｄ＿ＩＮ）だけ早めた時刻を指定する（ステップＳ４）と共に、入力バッファ１０１に蓄積されるデータの容量を（Ｄ＿ＩＮ−Ｄ）×Ｒａｔｅだけ減少させた容量を指定する（ステップＳ５）。ここでＲａｔｅは受信しているストリームの符号化レートである。これにより、再生手段１０２の開始時刻制御部１１２は、復号開始時刻ＴQを早め、また、入力バッファ１０１の容量制御部１１１は、入力バッファ１０１に蓄積されるデータの容量を減少させる。
ステップＳ５に続いて、制御手段１０４は、入力した処理遅延時間（Ｄ＿ＩＮ）の値を、改めてＤに設定して保持し（ステップＳ６）、ステップＳ２に戻る。なお、ステップＳ４およびステップＳ５は、逆の順序で処理してもよいし、並行に処理してもよい。
【００５５】
また、ステップＳ３において、入力した処理遅延時間（Ｄ＿ＩＮ）が保持している処理遅延時間Ｄよりも小さい場合（Ｄ＿ＩＮ＜Ｄ）、すなわち処理負荷が前回（初回は初期値）よりも小さくなった場合、制御手段１０４は、ステップＳ４と同様に、復号開始時刻ＴQを再生時刻ＴSよりも（Ｄ＿ＩＮ）だけ早めた時刻を指定する（ステップＳ７）と共に、入力バッファ１０１に蓄積されるデータの容量を（Ｄ−Ｄ＿ＩＮ）×Ｒａｔｅだけ増加させた容量を指定し（ステップＳ８）、ステップＳ６に進む。これにより、再生手段１０２の開始時刻制御部１１２は、復号開始時刻ＴQを早め、また、入力バッファ１０１の容量制御部１１１は、入力バッファ１０１に蓄積されるデータの容量を増加させる。なお、ステップＳ７およびステップＳ８は、逆の順序で処理してもよいし、並行に処理してもよい。
【００５６】
また、ステップＳ３において、入力した処理遅延時間（Ｄ＿ＩＮ）が保持している処理遅延時間Ｄと等しい場合（Ｄ＿ＩＮ＝Ｄ）、すなわち、処理負荷が前回（初回は初期値）と同じ場合、制御手段１０４は、ステップＳ２に戻り、次の入力（Ｄ＿ＩＮ）まで待機する。
【００５７】
第１の実施形態のマルチメディア再生装置によれば、再生手段１０２による処理遅延時間を常に監視し、この処理遅延時間の分だけ復号開始時刻を早めることができる。また、処理負荷を反映している処理遅延時間に基づいて、入力バッファ１０１に蓄積される容量を制御することができる。これにより、処理負荷が変動しても、入力バッファ１０１に必要十分な容量を保ちながら、所定の再生時刻に復号または合成した映像や音声を再生出力することが可能になる。
【００５８】
（第２の実施形態）
［マルチメディア再生装置の構成］
図３は、第２の実施形態のマルチメディア再生装置のブロック図である。
このマルチメディア再生装置２は、図３に示すように、多重分離部５０と、複数（図では２つ）のメディア再生装置２００と、負荷計測手段２１０とを備えている。なお、図１と同じ構成には同じ符号を付して説明を省略する。
【００５９】
負荷計測手段２１０は、処理負荷（負荷情報）を計測し、所定のタイミングでメディア再生装置２００に出力するものである。ここで負荷情報とはＣＰＵ負荷率であり、例えばＣＰＵの負荷が存在しないときに０．０、ＣＰＵの最大負荷時に１．０の実数値で示される。また、負荷計測手段２１０は、負荷情報を例えば２０ｍｓ毎にメディア再生装置２００に出力する。
【００６０】
メディア再生装置２００は、入力バッファ１０１と、再生手段１０２と、制御手段２０４とを備えている。制御手段２０４は、後記するように、負荷計測手段２１０から出力される負荷情報と、再生手段１０２で再生処理に要する時間である処理遅延時間とに基づいて、入力バッファ１０１に蓄積されるデータの容量と、再生手段１０２による復号開始時刻とを指定するものである。
【００６１】
［マルチメディア再生装置の動作］
次に、図４を参照（適宜図３参照）して、第２の実施形態に係るマルチメディア再生装置の動作について説明する。図４は、本発明の第２の実施形態に係るマルチメディア再生装置の制御手段のフローチャートである。
【００６２】
まず、制御手段２０４は、処理遅延時間の初期値をＤに設定し、この値を保持すると共に、負荷情報の初期値をＬに設定し、保持する（ステップＳ１１）。ここで、例えば、負荷情報の初期値を０．０としてＬに設定し、保持する。そして、制御手段２０４は、負荷計測手段２１０から現在の負荷情報の入力（Ｌ＿ＩＮ）があったかどうかを判別する（ステップＳ１２）。続いて、制御手段２０４は、入力した負荷情報Ｌ＿ＩＮと、保持している負荷情報Ｌとを比較して大小を判定する（ステップＳ１３）。
【００６３】
入力した負荷情報Ｌ＿ＩＮが保持している負荷情報Ｌよりも大きい場合（Ｌ＿ＩＮ＞Ｌ）、すなわち処理負荷が前回（初回は初期値）よりも大きくなった場合、制御手段２０４は、保持している処理遅延時間Ｄと負荷情報Ｌ＿ＩＮ，Ｌとに基づいて、調整時間Ｄ′を次式（１）により算出する（ステップＳ１４）。ここで、αはＣＰＵの処理能力やストリームの符号化レートに応じて異なり、予めシミュレーション等により決定された定数である。
【００６４】
Ｄ′＝Ｄ＋α×（Ｌ＿ＩＮ−Ｌ）…（１）
【００６５】
そして、制御手段２０４は、復号開始時刻ＴQを再生時刻ＴSよりも、式（１）で示される調整時間Ｄ′だけ早めた時刻を指定する（ステップＳ１５）と共に、入力バッファ１０１に蓄積されるデータの容量をβ×（Ｌ＿ＩＮ−Ｌ）だけ減少させた容量を指定する（ステップＳ１６）。ここでβはＣＰＵの処理能力やストリームの符号化レートに応じて異なり、予めシミュレーション等により決定された定数である。これにより、再生手段１０２の開始時刻制御部１１２は、復号開始時刻ＴQを早め、また、入力バッファ１０１の容量制御部１１１は、入力バッファ１０１に蓄積されるデータの容量を減少させる。
【００６６】
ステップＳ１６に続いて、制御手段２０４は、入力した負荷情報（Ｌ＿ＩＮ）の値を、改めてＬに設定して保持すると共に、調整時間Ｄ′の値を改めてＤに設定して保持し（ステップＳ１７）、ステップＳ１２に戻る。なお、ステップＳ１５およびステップＳ１６は、逆の順序で処理してもよいし、並行に処理してもよい。
【００６７】
また、ステップＳ１３において、入力した負荷情報（Ｌ＿ＩＮ）が保持している負荷情報Ｌよりも小さい場合（Ｌ＿ＩＮ＜Ｌ）、すなわち処理負荷が前回（初回は初期値）よりも小さくなった場合、制御手段２０４は、保持している処理遅延時間Ｄと負荷情報Ｌ＿ＩＮ，Ｌとに基づいて、調整時間Ｄ′を次式（２）により算出する（ステップＳ１８）。ここで、αは前記した式（１）のものと同一である。
【００６８】
Ｄ′＝Ｄ−α×（Ｌ−Ｌ＿ＩＮ）…（２）
【００６９】
そして、制御手段２０４は、復号開始時刻ＴQを再生時刻ＴSよりも、式（２）で示される調整時間Ｄ′だけ早めた時刻を指定する（ステップＳ１９）と共に、入力バッファ１０１に蓄積されるデータの容量をβ×（Ｌ−Ｌ＿ＩＮ）だけ増加させた容量を指定し（ステップＳ２０）、ステップＳ１７に進む。これにより、再生手段１０２の開始時刻制御部１１２は、復号開始時刻ＴQを早め、また、入力バッファ１０１の容量制御部１１１は、入力バッファ１０１に蓄積されるデータの容量を増加させる。なお、ステップＳ１９およびステップＳ２０は、逆の順序で処理してもよいし、並行に処理してもよい。
【００７０】
また、ステップＳ１３において、入力した負荷情報（Ｌ＿ＩＮ）が保持している負荷情報Ｌと等しい場合（Ｌ＿ＩＮ＝Ｌ）、すなわち、マルチメディア再生装置１の処理負荷が前回（初回は初期値）と同じ場合、制御手段２０４は、ステップＳ１７に進む。
【００７１】
第２の実施形態のマルチメディア再生装置によれば、処理負荷の変動に基づいた調整時間Ｄ′の分だけ復号開始時刻を早めることができる。また、処理負荷の変動に基づいて、入力バッファ１０１に蓄積される容量を制御することができる。これにより、処理負荷が変動しても、入力バッファ１０１に必要十分な容量を保ちながら、所定の再生時刻に復号または合成した映像や音声を再生出力することが可能になる。
【００７２】
（第３の実施形態）
［マルチメディア再生装置の構成］
図５は、第３の実施形態のマルチメディア再生装置のブロック図である。
このマルチメディア再生装置３は、図５に示すように、多重分離部５０と、複数（図では２つ）のメディア再生装置３００とを備えている。なお、図１と同じ構成には同じ符号を付して説明を省略する。
メディア再生装置３００は、出力バッファ３１０を備えている点と、制御手段３０４の機能が異なる点とを除いて、図１に示した第１の実施形態のメディア再生装置１００と同一の構成である。
【００７３】
出力バッファ３１０は、再生手段１０２で再生処理された映像や音声を再生するべき時刻まで蓄積するものである。この出力バッファ３１０は、蓄積された映像や音声を瞬時に再生可能な状態で所定時間（再生余裕時間）待機する。そして、出力バッファ３１０に蓄積された映像や音声は、タイムスタンプで示された再生時刻に直ちに出力される。また、出力バッファ３１０は、容量制御部３１１を備えている。この容量制御部（容量制御手段）３１１は、出力バッファ３１０に蓄積されるデータの容量を制御手段３０４により指定された容量に制御するものである。
制御手段３０４は、後記するように、処理遅延算出手段１０３から通知される処理遅延時間に基づいて、入力バッファ１０１に蓄積されるデータの容量と、出力バッファ３１０に蓄積されるデータの容量と、再生手段１０２による復号開始時刻とを指定するものである。
【００７４】
［マルチメディア再生装置の動作］
次に、図６を参照（適宜図５参照）して、第３の実施形態に係るマルチメディア再生装置の動作について説明する。図６は、本発明の第３の実施形態に係るマルチメディア再生装置の制御手段のフローチャートである。
【００７５】
まず、制御手段３０４は、処理遅延時間の初期値をＤに設定し、この値を保持する（ステップＳ２１）。また、制御手段３０４は、変数Ｓの初期値に、出力バッファ３１０の再生余裕時間を設定して、保持する。そして、制御手段３０４は、処理遅延算出手段１０３から処理遅延時間の入力（Ｄ＿ＩＮ）があったかどうかを判別する（ステップＳ２２）。続いて、制御手段３０４は、入力した処理遅延時間Ｄ＿ＩＮと、保持している処理遅延時間Ｄとを比較して大小を判定する（ステップＳ２３）。
【００７６】
入力した処理遅延時間Ｄ＿ＩＮが保持している処理遅延時間Ｄよりも大きい場合（Ｄ＿ＩＮ＞Ｄ）、すなわち処理負荷が前回（初回は初期値）よりも大きくなった場合、制御手段３０４は、復号開始時刻ＴQを再生時刻ＴSよりも（Ｓ＋Ｄ＿ＩＮ）だけ早めた時刻を指定する（ステップＳ２４）。また、この場合、入力バッファ１０１に蓄積されるデータの容量を（Ｄ＿ＩＮ−Ｄ）×Ｒａｔｅだけ減少させた容量を指定する（ステップＳ２５）。また、この場合、出力バッファ３１０に蓄積されるデータの容量を（Ｄ＿ＩＮ−Ｄ）×Ｏｒｇだけ増加させた容量を指定する（ステップＳ２６）。ここで、Ｒａｔｅは受信しているストリームの符号化レートであり、Ｏｒｇは非圧縮の映像や音声の単位時間あたりの情報量である。これにより、再生手段１０２の開始時刻制御部１１２は、復号開始時刻ＴQを早め、また、入力バッファ１０１の容量制御部１１１は、入力バッファ１０１に蓄積されるデータの容量を減少させ、出力バッファ３１０の容量制御部３１１は、出力バッファ３１０に蓄積されるデータの容量を増加させる。なお、ステップＳ２４乃至ステップＳ２６は、任意の順序で処理してもよいし、並行に処理してもよい。
ステップＳ２６に続いて、制御手段３０４は、入力した処理遅延時間（Ｄ＿ＩＮ）の値を、改めてＤに設定して保持すると共に、Ｓ＋（Ｄ＿ＩＮ−Ｄ）の値を改めてＳに設定して保持し（ステップＳ２７）、ステップＳ２２に戻る。
【００７７】
また、ステップＳ２３において、入力した処理遅延時間（Ｄ＿ＩＮ）が保持している処理遅延時間Ｄよりも小さい場合（Ｄ＿ＩＮ＜Ｄ）、すなわち処理負荷が前回（初回は初期値）よりも小さくなった場合、制御手段３０４は、ステップＳ２４と同様に、復号開始時刻ＴQを再生時刻ＴSよりも（Ｄ＿ＩＮ）だけ早めた時刻を指定する（ステップＳ２８）。また、この場合、入力バッファ１０１に蓄積されるデータの容量を（Ｄ−Ｄ＿ＩＮ）×Ｒａｔｅだけ増加させた容量を指定する（ステップＳ２９）。また、この場合、出力バッファ３１０に蓄積されるデータの容量を（Ｄ−Ｄ＿ＩＮ）×Ｏｒｇだけ減少させた容量を指定する（ステップＳ３０）。これにより、再生手段１０２の開始時刻制御部１１２は、復号開始時刻ＴQを早め、また、入力バッファ１０１の容量制御部１１１は、入力バッファ１０１に蓄積されるデータの容量を増加させ、出力バッファ３１０の容量制御部３１１は、出力バッファ３１０に蓄積されるデータの容量を減少させる。なお、ステップＳ２８乃至ステップＳ３０は、任意の順序で処理してもよいし、並行に処理してもよい。
【００７８】
さらに、ステップＳ３０に続いて、制御手段３０４は、ステップＳ２７に進む。
また、ステップＳ２３において、入力した処理遅延時間（Ｄ＿ＩＮ）が保持している処理遅延時間Ｄと等しい場合（Ｄ＿ＩＮ＝Ｄ）、すなわち、マルチメディア再生装置１の処理負荷が前回（初回は初期値）と同じ場合、制御手段３０４は、ステップＳ２７に進む。
【００７９】
第３の実施形態のマルチメディア再生装置によれば、再生手段１０２による処理遅延時間を常に監視し、この処理遅延時間と再生余裕時間の分だけ復号開始時刻を早めることができる。また、処理負荷を反映している処理遅延時間に基づいて、入力バッファ１０１および出力バッファ３１０に蓄積される容量を制御することができる。これにより、処理負荷が変動しても、入力バッファ１０１および出力バッファ３１０に必要十分な容量を保ちながら、所定の再生時刻に復号または合成した映像や音声を再生出力することが可能になる。
【００８０】
（第４の実施形態）
［マルチメディア再生装置の構成］
図７は、第４の実施形態のマルチメディア再生装置のブロック図である。
このマルチメディア再生装置４は、図７に示すように、多重分離部５０と、複数（図では２つ）のメディア再生装置４００と、負荷計測手段２１０とを備えている。なお、図３と同じ構成には同じ符号を付して説明を省略する。
【００８１】
メディア再生装置４００は、出力バッファ３１０を備えている点と、制御手段４０４の機能が異なる点とを除いて、図３に示した第２の実施形態のメディア再生装置２００と同一の構成である。
制御手段４０４は、後記するように、負荷計測手段２１０から出力される処理負荷と、再生手段１０２で再生に要する時間を示す処理遅延時間とに基づいて、入力バッファ１０１に蓄積されるデータの容量と、出力バッファ３１０に蓄積されるデータの容量と、再生手段１０２による復号開始時刻とを指定するものである。
【００８２】
［マルチメディア再生装置の動作］
次に、図８を参照（適宜図７参照）して、第４の実施形態に係るマルチメディア再生装置の動作について説明する。図４は、本発明の第４の実施形態に係るマルチメディア再生装置の制御手段のフローチャートである。
【００８３】
まず、制御手段４０４は、処理遅延時間の初期値をＤに設定し、この値を保持すると共に、負荷情報の初期値をＬに設定し、保持する（ステップＳ３１）。また、制御手段４０４は、変数Ｓの初期値に、出力バッファ３１０の再生余裕時間を設定して、保持する。そして、制御手段４０４は、負荷計測手段２１０から現在の負荷情報の入力（Ｌ＿ＩＮ）があったかどうかを判別する（ステップＳ３２）。続いて、制御手段４０４は、入力した負荷情報Ｌ＿ＩＮと、保持している負荷情報Ｌとを比較して大小を判定する（ステップＳ３３）。
【００８４】
入力した負荷情報Ｌ＿ＩＮが保持している負荷情報Ｌよりも大きい場合（Ｌ＿ＩＮ＞Ｌ）、すなわち処理負荷が前回（初回は初期値）よりも大きくなった場合、制御手段４０４は、保持している処理遅延時間Ｄと負荷情報Ｌ＿ＩＮ，Ｌとに基づいて、調整時間Ｄ′を次式（３）により算出する（ステップＳ３４）。ここで、α′はＣＰＵの処理能力やストリームの符号化レートに応じて異なり、予めシミュレーション等により決定された定数である。
【００８５】
Ｄ′＝Ｄ＋α′×（Ｌ＿ＩＮ−Ｌ）…（３）
【００８６】
そして、制御手段４０４は、復号開始時刻ＴQを再生時刻ＴSよりも（Ｓ＋Ｄ′）だけ早めた時刻を指定する（ステップＳ３５）。また、この場合、入力バッファ１０１に蓄積されるデータの容量をβ′×（Ｌ＿ＩＮ−Ｌ）だけ減少させた容量を指定する（ステップＳ３６）。また、この場合、出力バッファ３１０に蓄積されるデータの容量をγ′×（Ｌ＿ＩＮ−Ｌ）だけ増加させた容量を指定する（ステップＳ３７）。ここでβ′、γ′はＣＰＵの処理能力やストリームの符号化レートに応じて異なり、予めシミュレーション等により決定された定数である。これにより、再生手段１０２の開始時刻制御部１１２は、復号開始時刻ＴQを早め、また、入力バッファ１０１の容量制御部１１１は、入力バッファ１０１に蓄積されるデータの容量を減少させ、出力バッファ３１０の容量制御部３１１は、出力バッファ３１０に蓄積されるデータの容量を増加させる。なお、ステップＳ３５乃至ステップＳ３７は、任意の順序で処理してもよいし、並行に処理してもよい。
【００８７】
ステップＳ３７に続いて、制御手段４０４は、入力した負荷情報（Ｌ＿ＩＮ）の値を改めてＬに設定して保持し、また、調整時間Ｄ′の値を改めてＤに設定して保持し、さらに、｛Ｓ＋γ′×（Ｌ＿ＩＮ−Ｌ）／Ｏｒｇ｝の値を求めてこれを改めて変数Ｓに設定して保持し（ステップＳ３８）、ステップＳ３２に戻る。なお、Ｏｒｇは非圧縮の映像や音声の単位時間あたりの情報量である。
【００８８】
また、ステップＳ３３において、入力した負荷情報（Ｌ＿ＩＮ）が保持している負荷情報Ｌよりも小さい場合（Ｌ＿ＩＮ＜Ｌ）、すなわち処理負荷が前回（初回は初期値）よりも小さくなった場合、制御手段４０４は、保持している処理遅延時間Ｄと負荷情報Ｌ＿ＩＮ，Ｌとに基づいて、調整時間Ｄ′を次式（４）により算出する（ステップＳ３９）。ここで、α′は前記した式（３）のものと同一である。
【００８９】
Ｄ′＝Ｄ−α′×（Ｌ−Ｌ＿ＩＮ）…（４）
【００９０】
そして、制御手段４０４は、ステップＳ３５と同様に、復号開始時刻ＴQを再生時刻ＴSよりも（Ｓ＋Ｄ′）だけ早めた時刻を指定する（ステップＳ４０）。また、この場合、入力バッファ１０１に蓄積されるデータの容量をβ′×（Ｌ−Ｌ＿ＩＮ）だけ増加させた容量を指定する（ステップＳ４１）。また、この場合、出力バッファ３１０に蓄積されるデータの容量をγ′×（Ｌ−Ｌ＿ＩＮ）だけ減少させた容量を指定する（ステップＳ４２）。ここでβ′、γ′はＣＰＵの処理能力やストリームの符号化レートに応じて異なり、予めシミュレーション等により決定された定数である。これにより、再生手段１０２の開始時刻制御部１１２は、復号開始時刻ＴQを早め、また、入力バッファ１０１の容量制御部１１１は、入力バッファ１０１に蓄積されるデータの容量を増加させ、出力バッファ３１０の容量制御部３１１は、出力バッファ３１０に蓄積されるデータの容量を減少させる。なお、ステップＳ４０乃至ステップＳ４２は、任意の順序で処理してもよいし、並行に処理してもよい。ステップＳ４２に続いて、制御手段４０４は、ステップＳ３８に進む。
【００９１】
また、ステップＳ３３において、入力した負荷情報（Ｌ＿ＩＮ）が保持している負荷情報Ｌと等しい場合（Ｌ＿ＩＮ＝Ｌ）、すなわち、処理負荷が前回（初回は初期値）と同じ場合、制御手段４０４は、ステップＳ３８に進む。
【００９２】
第４の実施形態のマルチメディア再生装置によれば、処理負荷の変動に基づいた調整時間Ｄ′と再生余裕時間に相当する時間の分だけ復号開始時刻を早めることができる。また、処理負荷の変動に基づいて、入力バッファ１０１および出力バッファ３１０に蓄積される容量を制御することができる。これにより、処理負荷が変動しても、入力バッファ１０１および出力バッファ３１０に必要十分な容量を保ちながら、所定の再生時刻に復号または合成した映像や音声を再生出力することが可能になる。
【００９３】
以上、本発明の実施形態について説明したが、本発明は第１乃至第４の実施形態には限定されない。例えば、第１乃至第４の実施形態では、マルチメディア再生装置が同一のメディア再生装置を複数備えて、複数のメディアを再生できるものとしたが、単一のメディアに対応した単一のメディア再生装置だけを備えるものとしてもよい。
また、本発明は、例えば第１乃至第４の実施形態における各メディア再生装置が混在するようにしてもよい。この場合のマルチメディア再生装置を第５の実施形態として説明する。
【００９４】
（第５の実施形態）
［マルチメディア再生装置の構成］
図９は、第５の実施形態のマルチメディア再生装置のブロック図である。
このマルチメディア再生装置５は、図９に示すように、多重分離部５０と、メディア再生装置１００〜４００（図１、図３、図５および図７参照）と、負荷計測手段２１０とを備えている。なお、マルチメディア再生装置１〜４と同一の構成には同一の符号を付し、説明を省略する。
【００９５】
ここでは、ＩＰネットワークにより伝送されるメディア（ストリームやスクリプト）として、ＭＰＥＧ−２映像、ＭＰＥＧ−１ Ａｕｄｉｏ Ｌａｙｅｒ、ＴＶＭＬスクリプトおよびテキストスクリプトを想定している。
そして、メディア再生装置１００は、ＭＰＥＧ−２のストリームを復号し映像を再生する。このメディア再生装置１００において、ＭＰＥＧ−２の１ＧＯＰの処理遅延時間は例えば１０ｍｓであり、この値（１０ｍｓ）を処理遅延時間の初期値に設定する。
また、メディア再生装置２００は、ＭＰＥＧ−１ Ａｕｄｉｏ Ｌａｙｅｒで符号化したストリームを復号して音声を再生する。このメディア再生装置２００において、ＭＰＥＧ−１ Ａｕｄｉｏ Ｌａｙｅｒの１音声フレームの処理遅延時間は例えば３ｍｓであり、この値（３ｍｓ）を処理遅延時間の初期値に設定する。
【００９６】
また、メディア再生装置３００は、ＴＶＭＬスクリプトを解釈し、映像や音声を合成する。このメディア再生装置３００において、一定量のＴＶＭＬスクリプトの解釈や合成に要する処理遅延時間は、例えば９００ｍｓであり、この値（９００ｍｓ）を処理遅延時間の初期値に設定する。
さらに、メディア再生装置４００は、テキストスクリプトを解釈し、映像や音声を合成する。このメディア再生装置４００において、一定量のテキストスクリプトの解釈や合成に要する処理遅延時間は、例えば６００ｍｓであり、この値（６００ｍｓ）を処理遅延時間の初期値に設定する。
【００９７】
第５の実施形態のマルチメディア再生装置によれば、映像や音声などそれぞれのメディアが、それぞれに付与されたタイムスタンプの時刻に映像や音声を再生することで、複数のメディア間で同期を取りながら再生出力をおこなうことが可能になる。なお、いずれのメディアをどの符号化方式とするかは任意であり、どのストリーム（またはスクリプト）をいずれのメディア再生装置１００〜４００で再生（復号または合成）するかは任意である。また、前記した処理遅延時間の数値は、あるシステムにおける一例であることはもちろんである。
【図面の簡単な説明】
【００９８】
【図１】本発明の第１の実施形態に係るマルチメディア再生装置の構成を示すブロック図である。
【図２】本発明の第１の実施形態に係るマルチメディア再生装置の制御手段のフローチャートである。
【図３】本発明の第２の実施形態に係るマルチメディア再生装置の構成を示すブロック図である。
【図４】本発明の第２の実施形態に係るマルチメディア再生装置の制御手段のフローチャートである。
【図５】本発明の第３の実施形態に係るマルチメディア再生装置の構成を示すブロック図である。
【図６】本発明の第３の実施形態に係るマルチメディア再生装置の制御手段のフローチャートである。
【図７】本発明の第４の実施形態に係るマルチメディア再生装置の構成を示すブロック図である。
【図８】本発明の第４の実施形態に係るマルチメディア再生装置の制御手段のフローチャートである。
【図９】本発明の第５の実施形態に係るマルチメディア再生装置の構成を示すブロック図である。
【図１０】従来のマルチメディア再生装置の構成を示すブロック図である（出力バッファがない場合）。
【図１１】従来のマルチメディア再生装置の構成を示すブロック図である（出力バッファがある場合）。
【図１２】処理遅延時間の説明図であり、（ａ）は出力バッファがない場合を示し、（ｂ）は出力バッファがある場合を示している。
【符号の説明】
【００９９】
１〜５ マルチメディア再生装置
５０ 多重分離部（多重分離部手段）
１００ メディア再生装置
１０１ 入力バッファ
１０２ 再生手段
１０３ 処理遅延算出手段
１０４ 制御手段
１１１ 容量制御部（容量制御手段）
１１２ 開始時刻制御部（開始時刻制御手段）
１５０ 出力装置
２００ メディア再生装置
２０４ 制御手段
２１０ 負荷計測手段
３００ メディア再生装置
３０４ 制御手段
３１０ 出力バッファ
３１１ 容量制御部（容量制御手段）
４００ メディア再生装置
４０４ 制御手段
【特許請求の範囲】
【請求項１】
所定の再生時刻にメディアを再生するための符号化されたメディアデータを蓄積する入力バッファと、この入力バッファから出力されるデータを再生する再生手段とを有し、前記データに基づいてメディアを再生するメディア再生装置であって、
前記再生手段で前記データの再生に要する時間を示す処理遅延時間を算出する処理遅延算出手段と、
この処理遅延算出手段で算出された処理遅延時間に基づいて、前記メディアを再生するための処理を開始する時刻を指定する制御手段とを備え、
前記再生手段は、前記制御手段により指定された時刻に、前記メディアを再生するための処理を開始する開始時刻制御手段を有することを特徴とするメディア再生装置。
【請求項２】
前記制御手段は、前記処理遅延算出手段で算出された処理遅延時間に基づいて、前記入力バッファに蓄積されるデータの容量を指定し、
前記入力バッファは、蓄積されるデータの容量を、前記制御手段により指定された容量に制御する容量制御手段を有することを特徴とする請求項１に記載のメディア再生装置。
【請求項３】
前記再生手段から出力されるデータを蓄積し、蓄積されたデータを所定時間保持する出力バッファをさらに備え、
前記制御手段は、前記処理遅延算出手段で算出された処理遅延時間に基づいて、前記出力バッファに蓄積されるデータの容量を指定し、
前記出力バッファは、蓄積されるデータの容量を、前記制御手段により指定された容量に制御する容量制御手段を有することを特徴とする請求項１または請求項２に記載のメディア再生装置。
【請求項４】
前記制御手段は、前記メディアを再生するための処理を開始する時刻を、前記所定の再生時刻よりも、前記処理遅延算出手段で算出された処理遅延時間だけ早めた時刻として指定することを特徴とする請求項１または請求項２に記載のメディア再生装置。
【請求項５】
前記制御手段は、前記メディアを再生するための処理を開始する時刻を、前記所定の再生時刻よりも、前記処理遅延算出手段で算出された処理遅延時間と前記出力バッファでデータが保持される所定時間との和だけ早めた時刻として指定することを特徴とする請求項３に記載のメディア再生装置。
【請求項６】
前記制御手段は、前記入力バッファに蓄積されるデータの容量を、前記処理遅延算出手段で算出された処理遅延時間が所定値よりも大きい場合に減少させるように指定し、かつ、前記処理遅延算出手段で算出された処理遅延時間が所定値よりも小さい場合に増加させるように指定することを特徴とする請求項２乃至請求項５のいずれか一項に記載のメディア再生装置。
【請求項７】
前記制御手段は、前記出力バッファに蓄積されるデータの容量を、前記処理遅延算出手段で算出された処理遅延時間が所定値よりも大きい場合に増加させるように指定し、かつ、前記処理遅延算出手段で算出された処理遅延時間が所定値よりも小さい場合に減少させるように指定することを特徴とする請求項３または請求項５に記載のメディア再生装置。
【請求項８】
所定の再生時刻にメディアを再生するための符号化されたメディアデータを蓄積する入力バッファと、この入力バッファから出力される前記データを再生する再生手段とを有し、前記データに基づいてメディアを再生するメディア再生装置であって、
前記メディアを再生するための処理の負荷である処理負荷を計測する負荷計測手段と、
この負荷計測手段で計測された処理負荷と、前記再生手段で前記データの再生に要する時間を示す処理遅延時間とに基づいて、前記メディアを再生するための処理を開始する時刻を指定する制御手段とを備え、
前記再生手段は、前記制御手段により指定された時刻に、前記メディアを再生するための処理を開始する開始時刻制御手段を有することを特徴とするメディア再生装置。
【請求項９】
前記制御手段は、前記負荷計測手段で計測された処理負荷に基づいて、前記入力バッファに蓄積されるデータの容量を指定し、
前記入力バッファは、蓄積されるデータの容量を、前記制御手段により指定された容量に制御する容量制御手段を有することを特徴とする請求項８に記載のメディア再生装置。
【請求項１０】
前記再生手段から出力されるデータを蓄積し、蓄積されたデータを所定時間保持する出力バッファをさらに備え、
前記制御手段は、前記負荷計測手段で計測された処理負荷に基づいて、前記出力バッファに蓄積されるデータの容量を指定し、
前記出力バッファは、蓄積されるデータの容量を、前記制御手段により指定された容量に制御する容量制御手段を有することを特徴とする請求項８または請求項９に記載のメディア再生装置。
【請求項１１】
前記制御手段は、前記入力バッファに蓄積されるデータの容量を、前記負荷計測手段で計測された処理負荷が所定値よりも大きい場合に減少させるように指定し、かつ、前記負荷計測手段で計測された処理負荷が所定値よりも小さい場合に増加させるように指定することを特徴とする請求項９または請求項１０に記載のメディア再生装置。
【請求項１２】
前記制御手段は、前記出力バッファに蓄積されるデータの容量を、前記負荷計測手段で計測された処理負荷が所定値よりも大きい場合に増加させるように指定し、かつ、前記負荷計測手段で計測された処理負荷が所定値よりも小さい場合に減少させるように指定することを特徴とする請求項１０に記載のメディア再生装置。
【請求項１３】
請求項１に記載のメディア再生装置を複数備えると共に、多重化されたメディアデータを分離して前記複数のメディア再生装置にそれぞれ出力する多重分離手段を備えることを特徴とするマルチメディア再生装置。
【請求項１】
所定の再生時刻にメディアを再生するための符号化されたメディアデータを蓄積する入力バッファと、この入力バッファから出力されるデータを再生する再生手段とを有し、前記データに基づいてメディアを再生するメディア再生装置であって、
前記再生手段で前記データの再生に要する時間を示す処理遅延時間を算出する処理遅延算出手段と、
この処理遅延算出手段で算出された処理遅延時間に基づいて、前記メディアを再生するための処理を開始する時刻を指定する制御手段とを備え、
前記再生手段は、前記制御手段により指定された時刻に、前記メディアを再生するための処理を開始する開始時刻制御手段を有することを特徴とするメディア再生装置。
【請求項２】
前記制御手段は、前記処理遅延算出手段で算出された処理遅延時間に基づいて、前記入力バッファに蓄積されるデータの容量を指定し、
前記入力バッファは、蓄積されるデータの容量を、前記制御手段により指定された容量に制御する容量制御手段を有することを特徴とする請求項１に記載のメディア再生装置。
【請求項３】
前記再生手段から出力されるデータを蓄積し、蓄積されたデータを所定時間保持する出力バッファをさらに備え、
前記制御手段は、前記処理遅延算出手段で算出された処理遅延時間に基づいて、前記出力バッファに蓄積されるデータの容量を指定し、
前記出力バッファは、蓄積されるデータの容量を、前記制御手段により指定された容量に制御する容量制御手段を有することを特徴とする請求項１または請求項２に記載のメディア再生装置。
【請求項４】
前記制御手段は、前記メディアを再生するための処理を開始する時刻を、前記所定の再生時刻よりも、前記処理遅延算出手段で算出された処理遅延時間だけ早めた時刻として指定することを特徴とする請求項１または請求項２に記載のメディア再生装置。
【請求項５】
前記制御手段は、前記メディアを再生するための処理を開始する時刻を、前記所定の再生時刻よりも、前記処理遅延算出手段で算出された処理遅延時間と前記出力バッファでデータが保持される所定時間との和だけ早めた時刻として指定することを特徴とする請求項３に記載のメディア再生装置。
【請求項６】
前記制御手段は、前記入力バッファに蓄積されるデータの容量を、前記処理遅延算出手段で算出された処理遅延時間が所定値よりも大きい場合に減少させるように指定し、かつ、前記処理遅延算出手段で算出された処理遅延時間が所定値よりも小さい場合に増加させるように指定することを特徴とする請求項２乃至請求項５のいずれか一項に記載のメディア再生装置。
【請求項７】
前記制御手段は、前記出力バッファに蓄積されるデータの容量を、前記処理遅延算出手段で算出された処理遅延時間が所定値よりも大きい場合に増加させるように指定し、かつ、前記処理遅延算出手段で算出された処理遅延時間が所定値よりも小さい場合に減少させるように指定することを特徴とする請求項３または請求項５に記載のメディア再生装置。
【請求項８】
所定の再生時刻にメディアを再生するための符号化されたメディアデータを蓄積する入力バッファと、この入力バッファから出力される前記データを再生する再生手段とを有し、前記データに基づいてメディアを再生するメディア再生装置であって、
前記メディアを再生するための処理の負荷である処理負荷を計測する負荷計測手段と、
この負荷計測手段で計測された処理負荷と、前記再生手段で前記データの再生に要する時間を示す処理遅延時間とに基づいて、前記メディアを再生するための処理を開始する時刻を指定する制御手段とを備え、
前記再生手段は、前記制御手段により指定された時刻に、前記メディアを再生するための処理を開始する開始時刻制御手段を有することを特徴とするメディア再生装置。
【請求項９】
前記制御手段は、前記負荷計測手段で計測された処理負荷に基づいて、前記入力バッファに蓄積されるデータの容量を指定し、
前記入力バッファは、蓄積されるデータの容量を、前記制御手段により指定された容量に制御する容量制御手段を有することを特徴とする請求項８に記載のメディア再生装置。
【請求項１０】
前記再生手段から出力されるデータを蓄積し、蓄積されたデータを所定時間保持する出力バッファをさらに備え、
前記制御手段は、前記負荷計測手段で計測された処理負荷に基づいて、前記出力バッファに蓄積されるデータの容量を指定し、
前記出力バッファは、蓄積されるデータの容量を、前記制御手段により指定された容量に制御する容量制御手段を有することを特徴とする請求項８または請求項９に記載のメディア再生装置。
【請求項１１】
前記制御手段は、前記入力バッファに蓄積されるデータの容量を、前記負荷計測手段で計測された処理負荷が所定値よりも大きい場合に減少させるように指定し、かつ、前記負荷計測手段で計測された処理負荷が所定値よりも小さい場合に増加させるように指定することを特徴とする請求項９または請求項１０に記載のメディア再生装置。
【請求項１２】
前記制御手段は、前記出力バッファに蓄積されるデータの容量を、前記負荷計測手段で計測された処理負荷が所定値よりも大きい場合に増加させるように指定し、かつ、前記負荷計測手段で計測された処理負荷が所定値よりも小さい場合に減少させるように指定することを特徴とする請求項１０に記載のメディア再生装置。
【請求項１３】
請求項１に記載のメディア再生装置を複数備えると共に、多重化されたメディアデータを分離して前記複数のメディア再生装置にそれぞれ出力する多重分離手段を備えることを特徴とするマルチメディア再生装置。
【図１】
【図２】
【図３】
【図４】
【図５】
【図６】
【図７】
【図８】
【図９】
【図１０】
【図１１】
【図１２】
【図２】
【図３】
【図４】
【図５】
【図６】
【図７】
【図８】
【図９】
【図１０】
【図１１】
【図１２】
【公開番号】特開２００６−１９０２１３（Ｐ２００６−１９０２１３Ａ）
【公開日】平成１８年７月２０日（２００６．７．２０）
【国際特許分類】
【出願番号】特願２００５−３１２１（Ｐ２００５−３１２１）
【出願日】平成１７年１月７日（２００５．１．７）
【国等の委託研究の成果に係る記載事項】（出願人による申告）平成１６年度、総務省、情報通信研究機構委託研究「通信ネットワーク利用放送技術に関する研究開発（平成１５年度拡充課題）」、産業活力再生特別措置法第３０条の適用を受ける特許出願
【出願人】（０００００４３５２）日本放送協会 (2,206)
【出願人】（５９１０５３９２６）財団法人エヌエイチケイエンジニアリングサービス (169)
【Ｆターム（参考）】
【公開日】平成１８年７月２０日（２００６．７．２０）
【国際特許分類】
【出願日】平成１７年１月７日（２００５．１．７）
【国等の委託研究の成果に係る記載事項】（出願人による申告）平成１６年度、総務省、情報通信研究機構委託研究「通信ネットワーク利用放送技術に関する研究開発（平成１５年度拡充課題）」、産業活力再生特別措置法第３０条の適用を受ける特許出願
【出願人】（０００００４３５２）日本放送協会 (2,206)
【出願人】（５９１０５３９２６）財団法人エヌエイチケイエンジニアリングサービス (169)
【Ｆターム（参考）】
[ Back to top ]