多段高速再生のための映像コンテンツ生成方法
【課題】圧縮したビデオデータを用いて高速再生するとき、オーディオの配信帯域が高速再生倍率に単純に比例して増大してしまうという問題を解決する。
【解決手段】エンコード装置は、オーディオ信号を符号化するオーディオ符号部と、ビデオ信号を符号化するビデオ符号部と、オーディオ符号部及びビデオ符号部より出力されたオーディオデータ及びビデオデータを多重化する多重化部と、を備える。多重化部は、高速再生を行う場合に、所定の再生速度までは配信されるが、当該所定の再生速度を超える場合には配信されないピクチャ内に、所定範囲内のオーディオデータを配置して多重化する。
【解決手段】エンコード装置は、オーディオ信号を符号化するオーディオ符号部と、ビデオ信号を符号化するビデオ符号部と、オーディオ符号部及びビデオ符号部より出力されたオーディオデータ及びビデオデータを多重化する多重化部と、を備える。多重化部は、高速再生を行う場合に、所定の再生速度までは配信されるが、当該所定の再生速度を超える場合には配信されないピクチャ内に、所定範囲内のオーディオデータを配置して多重化する。
【発明の詳細な説明】
【技術分野】
【０００１】
本発明は、ストリーミング配信システムに関する。
【背景技術】
【０００２】
ストリーミングにおいて１ソースの映像コンテンツから可変高速再生を比較的容易に行う方法として、ピクチャ単位での映像コンテンツを抜き出して再生装置に配信する方法がある。しかし、この方法では、オーディオデータに不連続、すなわち、データの欠落が発生してしまい、再生装置側ではビデオの出力タイミングが均一でなくなったり、オーディオの再生品質の低下や、バッファデータが枯渇ないし飽和するという問題が指摘されている。
【０００３】
ストリーミング配信において再生装置側で可変高速再生を行う場合、従来方法では、（１）再生装置が要求した再生速度で再生できるよう、配信装置は映像コンテンツの配信速度を要求された再生速度に増加させる方法、（２）複数の再生速度に対応する映像コンテンツをあらかじめ生成して配信装置側で保持しておき、配信装置は再生装置が要求した再生速度に該当する映像コンテンツを選択して配信する方法、（３）再生装置が要求した再生速度で再生ができる映像コンテンツを、配信装置側でリアルタイムに生成して配信する方法、および、（４）配信する映像コンテンツのデータ構造の特徴を利用し、映像コンテンツをピクチャ単位で間引いて配信する方法、といった方法が提案されている。
【０００４】
しかしながら、（１）の場合は、配信時に使用するネットワーク帯域が再生速度に比例して増加してしまうという問題があり、再生速度が速い場合は多くのネットワーク帯域を犠牲にしてしまうため現実的な方法ではない。（２）の場合は、１つの映像コンテンツに対して複数の映像コンテンツが必要となるため、別途その保存領域が必要であったりコンテンツ管理が複雑になったりするという問題がある。また、（３）の場合は、配信装置側ではリアルタイムに映像コンテンツをデコードしエンコードする必要がある。この処理負荷は一般的には高く、同時配信数等の性能への影響を考慮すると現実的な方法ではない。
【０００５】
上記（４）の方法は、上記（１）、（２）及び（３）のそれぞれの問題を解決し比較的容易に実現が可能である有効な方法である。例えば、ＭＰＥＧ−２やＨ．２６４／ＭＰＥＧ−４ ＡＶＣなどでは、Ｔｅｍｐｏｒａｌ Ｓｃａｌａｂｉｌｉｔｙにより、配信装置は映像コンテンツから可変高速のためのデータを容易に抜き出すことが可能である。
【０００６】
一般に、ストリーミング配信するための映像コンテンツは、符号化されたビデオデータとオーディオデータをトランスポートストリームパケット（以下、ＴＳパケット）で多重化（Ｍｕｘ）されたものが利用される。
【０００７】
ここで、ビデオデータとオーディオデータは、映像コンテンツ内に均一に多重化されているため、上記（４）の方法を用いた場合であっても、映像コンテンツのピクチャを間引いた場合、ピクチャの区間に含まれるオーディオデータも間引かれてしまい、結果として再生装置に送付されるオーディオデータに欠落が発生する。
【０００８】
オーディオデータに欠落が発生した場合、再生装置側では下記（ａ）〜（ｃ）の問題が発生する。
【０００９】
（ａ）オーディオを出力しながら再生する場合は、一般にはオーディオデータの再生位置を基準とし、ビデオの表示は再生中のオーディオの時刻に出力タイミングを合わせる。そのため、タイミングを合わせるべきオーディオデータが欠落する箇所が増えた場合はビデオの出力タイミングが不均一になってしまう。
【００１０】
（ｂ）ピクチャ単位でビデオデータを間引いた場合は、再生装置側に配信されたオーディオデータは、映像コンテンツの多重化によっては正確に再生速度の逆数（１／再生速度）のサイズではないこともありうる。この誤差は長時間高速再生を行った場合に蓄積され、配信されるオーディオデータが元のオーディオデータの再生速度の逆数（１／再生速度）よりも少ない場合は、再生装置側ではバッファの枯渇が発生し映像がスムーズに再生されない等、再生品質に影響を及ぼす問題が発生する。逆に、配信されるオーディオデータが元のオーディオデータの再生速度の逆数（１／再生速度）よりも多い場合は、再生装置側ではバッファの飽和が発生し、オーディオ，ビデオともデータの不連続等が発生して再生品質に影響を及ぼす問題が発生する。
【００１１】
（ｃ）配信されたオーディオデータには不連続部分が発生するため、そのまま再生した場合は高周波が発生して音質が低下してしまうというという問題がある。またこの高周波が発生しないようにオーディオ波形に窓関数などを掛けた場合でも音質が低下してしまうという問題がある。
【先行技術文献】
【特許文献】
【００１２】
【特許文献１】特開平１１−３５５７１９号公報
【発明の概要】
【発明が解決しようとする課題】
【００１３】
オーディオデータが欠落するために発生する上記（ａ）〜（ｃ）の問題に対して、特許文献１には、ＩピクチャのＰＴＳ（Presentation Time Stamp）から次のピクチャのＰＴＳ間の時刻に相当するＰＴＳを有する音声データのパケットを、Ｉピクチャを構成するパケットの間に入るように多重化し、高速の再生のとき、ディスクドライブから読み出された、ＩピクチャのＰＴＳから次のピクチャのＰＴＳまでの間のＰＴＳを有する音声データを分離し、出力することによって、圧縮したビデオデータを用いて高速再生しても、画像と同期した良好な音声を出力する技術が開示されている。
【００１４】
しかしながら、高速再生時には、高速に再生された音声をそもそも聞き取れるかどうかという問題がある。そのため、所望の速度までの高速再生であればオーディオを再生するが、それよりも早い高速再生では、オーディオを再生しない（聞き取れないため、再生する必要がない）ことがある。ところが、特許文献１に開示されている方法では、所望の速度以上の高速再生のためオーディオの再生が不要な場合でも、全てのオーディオデータを配信することになるので、配信帯域の無駄が生じるという問題がある。特許文献１の方法は、オーディオの配信帯域が高速再生倍率に比例して増大してしまうため、再生倍率が高速になるほど、配信帯域の無駄も増大する。
【００１５】
本発明は、かかる実情に鑑み、圧縮したビデオデータを用いて高速再生して、画像と同期した良好な音声を出力する際に、オーディオの配信帯域が高速再生倍率に単純に比例して増大してしまうという問題を解決する映像コンテンツ生成方法を提供しようとするものである。
【課題を解決するための手段】
【００１６】
本発明の一実施形態に係るエンコード装置は、オーディオ信号を符号化するオーディオ符号部と、ビデオ信号を符号化するビデオ符号部と、オーディオ符号部及びビデオ符号部より出力されたオーディオデータ及びビデオデータを多重化する多重化部と、を備え、多重化部は、高速再生を行う場合に、所定の再生速度までは配信されるが、当該所定の再生速度を超える場合には配信されないピクチャ内に、所定範囲内のオーディオデータを配置して多重化する。
【００１７】
例えば、４倍速までの高速再生ではピクチャ５及びピクチャ１３が配信されるが、８倍速以上の高速再生を行った場合はピクチャ５及びピクチャ１３が配信されなくなる場合に、ピクチャ１から８までのオーディオデータをピクチャ５内に配置して多重化し、ピクチャ９から１６までのオーディオデータをピクチャ１３内に配置して多重化する。これにより、４倍速までの高速再生の場合には、全てのオーディオデータを再生装置に配信してオーディオを再生可能であるが、一方、８倍速以上の高速再生の場合には、オーディオデータが再生装置に配信されない。
【００１８】
また、本発明の一実施形態に係る多段高速再生のための映像コンテンツ生成方法は、エンコード装置において実行される方法であり、オーディオ信号を符号化することと、ビデオ信号を符号化することと、符号化により出力されたオーディオデータ及びビデオデータを多重化することと、を含み、多重化は、高速再生を行う場合に、所定の再生速度までは配信されるが、当該所定の再生速度を超える場合には配信されないピクチャ内に、所定範囲内のオーディオデータを配置して多重化する。
【発明の効果】
【００１９】
本発明によれば、再生装置ではビデオの出力タイミングが均一でなめらかな再生が可能となるという第１の効果を奏し得る。その理由は、再生装置には全てのオーディオデータが配信されるため、再生装置側ではビデオの出力タイミングを再生するオーディオに正確合わせることができるためである。
【００２０】
本発明によれば、高速再生を長時間行った場合でもデータの飽和や枯渇による再生装置での再生品質低下を発生させないという第２の効果を奏し得る。その理由は、再生装置には全てのオーディオデータが配信されるため、再生装置側では正確な再生速度で高速再生を行うことができるためである。
【００２１】
本発明によれば、高速再生中であっても聞き取りやすいオーディオ再生を実現しやすくなるという第３の効果を奏し得る。その理由は、再生装置には全てのオーディオデータが配信されるため、再生装置側ではタイムストレッチ（音程を変更せずに時間軸を縮める）処理等を施すことが可能であるためである。
【００２２】
本発明によれば、ストリーミング再生中に、ネットワーク利用帯域の調整のため、一時的に配信に使用する帯域を下げることを目的として配信するピクチャを間引いた場合においても、再生装置側ではフレームレートが低下するのみでオーディオの再生品質には影響が発生しないという第４の効果を奏し得る。その理由は、高速再生時と同様にピクチャを間引いた場合は再生装置には全てのオーディオデータが配信されるためである。
【図面の簡単な説明】
【００２３】
【図１】本発明の一実施形態において生成される映像コンテンツのピクチャ構造を示す概略図である。
【図２】本発明の一実施形態に係るストリーミング配信システムにおける概略構成を示すブロック図である。
【図３】本実施形態におけるエンコード装置３０の構成を示すブロック図である。
【図４】本実施形態における配信装置４０の構成を示すブロック図である。
【図５】本実施形態における再生装置５０の構成を示すブロック図である。
【図６】従来例におけるオーディオデータの多重化処理の流れを示すフローチャートである。
【図７】本実施形態におけるオーディオデータの多重化処理の流れを示すフローチャートである。
【発明を実施するための形態】
【００２４】
以下、本発明の実施の形態について図面を参照しつつ詳細に説明する。なお、同一の要素には同一の符号を付し、重複する説明を省略する。
【００２５】
図１は、本発明の一実施形態において生成される映像コンテンツのピクチャ構造を示す概略図である。図１はＮ＝１６の場合のピクチャ構造であり、ピクチャ１はＭＰＥＧでいうＩピクチャ（画面内符号化されるピクチャ）を表す。ここで、ＮはＩピクチャと次のＩピクチャの間隔を表す。また、図１の各ピクチャ内の番号は、最終的に再生装置で出力される順番を表す。
【００２６】
図１では、再生速度毎に配信するピクチャを階層化して表しており、配信装置は、例えば２倍速の高速再生を行う場合は、ピクチャ１，３，５，７，９，１１，１３，１５を、４倍速の高速再生を行う場合はピクチャ１，５，９，１３を再生装置に配信することを表す。
【００２７】
通常、ビデオとオーディオは、映像コンテンツ内に均一に多重化されているため、このように高速再生の際は間引いたピクチャに含まれるオーディオデータも同時に間引かれて再生装置に配信される。
【００２８】
本発明の特定の実施形態においては、映像コンテンツの多重化の際に、オーディオデータの高速再生を行った場合であっても再生装置に送付される特定のピクチャに集約してオーディオデータを多重化することで、再生装置側には全てのオーディオデータが送付されるよう映像コンテンツを生成する。ここで、従来例においては、例えば、ピクチャ１からピクチャ１６までのオーディオデータをピクチャ１に集約することで、２，４，８，１６倍速のどの速度の高速再生を行った場合でも再生装置側に全てのオーディオデータが送付される。一方、本発明の所定の実施形態においては、例えば、ピクチャ１からピクチャ８までのオーディオデータをピクチャ５に集約し、ピクチャ９からピクチャ１６までをピクチャ１３に集約することで、２，４倍速の高速再生を行った場合には、再生装置側に全てのオーディオデータが送付される。しかし、８，１６倍速の高速再生を行った場合には、再生装置側にオーディオデータを送付しない。こうして、オーディオの再生が不要な場合には、オーディオデータを再生装置に送付しないということが可能となる。
【００２９】
図２は、本発明の一実施形態に係るストリーミング配信システムにおける概略構成を示すブロック図である。本実施形態において、ストリーミング配信システム１０は、エンコード装置３０と配信装置４０と再生装置５０とを備え、エンコード装置３０と配信装置４０間、及び、配信装置４０と再生装置５０の間が、それぞれネットワーク２１、２２で接続されている。
【００３０】
図３は、本実施形態におけるエンコード装置３０の構成を示すブロック図である。同図において、キャプチャ部３１は、キャプチャボードやＵＳＢカメラ、ＩＰカメラからのデータを受信する装置など、外部装置からオーディオ信号及びビデオ信号を取り込む装置である。オーディオ符号部３２は、入力されたオーディオ信号の符号化を行う装置、またはプログラムである。ビデオ符号部３３は、入力されたビデオ信号の符号化を行う装置、またはプログラムである。多重化部３４は、オーディオ符号部３２およびビデオ符号部３３より出力されたオーディオおよびビデオのデータを、ＴＳパケットで多重化（Ｍｕｘ）する装置、またはプログラムである。送信部３５は、ネットワークカードなどネットワークに映像コンテンツを送信する装置である。
【００３１】
図４は、本実施形態における配信装置４０の構成を示すブロック図である。同図において、受信部４１は、ネットワークカードなどネットワークより映像コンテンツを受信する装置である。記録部４２は、ＨＤＤやＳＳＤなどの映像コンテンツを格納するための装置である。出力制御部４３は、記録部４２に記録された映像コンテンツから配信する映像コンテンツを取り出し、高速再生時はデータを間引く処理を行って出力部４４にデータを出力する装置、またはプログラムである。出力部４４は、ネットワークカードなどネットワークに映像コンテンツを送信する装置である。
【００３２】
図５は、本実施形態における再生装置５０の構成を示すブロック図である。同図において、受信部５１は、ネットワークカードなどネットワークより映像コンテンツを受信する装置である。分離部５２は、映像コンテンツをオーディオデータとビデオデータに分離（Ｄｅｍｕｘ）する装置、またはプログラムである。オーディオ復号部５３は、エンコード装置３０にて符号化されたオーディオデータを復号する装置、またはプログラムである。ビデオ復号部５４は、エンコード装置３０にて符号化されたビデオデータを復号する装置、またはプログラムである。波形処理部５５は、オーディオ復号部５３より復号されたオーディオの波形を再生速度の逆数（１／再生速度）にタイムストレッチ処理を施す装置、またはプログラムである。なお、タイムストレッチ処理とは、音程を変更せずに時間軸を縮める処理を含む。出力制御部５６は、波形処理部５５およびビデオ復号部５４より出力された信号の出力タイミング等の再生制御を行う装置、またはプログラムである。オーディオ信号出力装置５７は、スピーカなど、オーディオ信号を出力する装置である。ビデオ信号出力装置５８は、液晶ディスプレイなど、ビデオ信号を出力する装置である。
【００３３】
次に、本実施形態におけるストリーミング配信システム１０の動作について説明する。
【００３４】
エンコード装置３０では、オーディオ符号部３２及びビデオ符号部３３において、キャプチャ部３１に入力されたオーディオ信号及びビデオ信号のそれぞれの符号化を行う。符号化されたオーディオデータ及びビデオデータは多重化部３４においてＴＳパケットで多重化され、送信部３５で配信装置４０に送信される。
【００３５】
ここでは、一例として、映像コンテンツとしてＮ＝１６のＨ．２６４／ＭＰＥＧ−４ ＡＶＣを用いた場合について説明する。ＴＳパケットでの多重化手順は、例えば、図７のシーケンスに示すように、Ｉピクチャ間（ピクチャ１〜１６)のオーディオ及びビデオのそれぞれのデータの符号化が完了していた場合に、ピクチャ５内にピクチャ１〜８に対応するオーディオデータを配置し、ピクチャ１３内にピクチャ９〜１６に対応するオーディオデータが配置されるように多重化される。
【００３６】
配信装置４０は、エンコード装置３０から受信したデータを記録部４２に蓄積する。出力制御部４３は、記録部４２に記録された映像コンテンツから配信する映像コンテンツを取り出し、高速再生時はビデオデータをピクチャ単位で間引く処理を行って出力部４４にデータを出力する。なお、図１に示すように、２倍速の高速再生を行う場合は、ピクチャ１，３，５，７，９，１１，１３，１５を、４倍速の高速再生を行う場合はピクチャ１，５，９，１３を、８倍速の高速再生を行う場合はピクチャ１，９を、１６倍速の高速再生を行う場合はピクチャ１を配信するよう間引き処理を実施する。間引き処理自体はＴｅｍｐｏｒａｌ Ｓｃａｌａｂｉｌｉｔｙ等、公知の手法を用いることが可能である。
【００３７】
再生装置５０では、配信装置４０から配信された映像コンテンツを分離部５２にてオーディオデータとビデオデータに分離し、それぞれオーディオ復号部５３及びビデオ復号部５４で復号化する。また、波形処理部５５にてオーディオ復号部５３より復号されたオーディオの波形を再生速度の逆数（１／再生速度）にタイムストレッチ処理を行う。復号されたオーディオ、ビデオは出力制御部にて出力タイミングが制御され、それぞれオーディオ信号出力装置、ビデオ信号出力装置へ出力される。なお波形処理部での処理方法についてはこの限りではなく、再生時間が再生速度の逆数（１／再生速度）となればよい。そのため再生時の音程が高くなってもよい場合は単純にサンプル数を再生速度の逆数（１／再生速度）にするなどの処理を行うことも可能である。
【００３８】
図６は、本実施形態における処理と比較するため、従来例におけるオーディオデータの多重化処理のフローチャートを示す。同図に示すとおり、従来例においては、エンコード装置３０のオーディオ符号部３２及びビデオ符号部３３において、キャプチャ部３１に入力されたオーディオ信号及びビデオ信号の符号化を行い（Ｓ６２）、Ｉピクチャ間のオーディオ信号及びビデオ信号の符号化が完了したら（Ｓ６３）、多重化部３４において、ピクチャ１〜１６内のオーディオデータがピクチャ１内に格納されるように多重化する（Ｓ６４）。この処理をエンコード処理が終了するまで行う（Ｓ６１）。
【００３９】
従来例においては、ピクチャ１〜１６に対応するオーディオデータをピクチャ１に配置し、２，４，８，１６倍のどの再生速度の高速再生を行ったとしても、再生装置５０に配信されるデータにはピクチャ１が含まれるように構成されている。これにより、高速再生時に全ての音声データが配信されることになる。そのため、正確な再生速度の逆数（１／再生速度）の時間での再生が可能であり、またタイムストレッチ処理等を行うことが可能で高速再生中であっても聞き取りやすいオーディオ再生を実現可能である。
【００４０】
しかしながら、上記従来例では、例えばオーディオのビットレートが９６Ｋｂｐｓで１６倍速の高速再生を行うと、オーディオデータだけで１．５Ｍｂｐｓになってしまう、という問題がある。また、再生装置５０側では、高速に再生された音声を聞き取れるかどうかということを考慮して、所望の速度（ここではＰとする）までの高速再生時にはオーディオを再生するが、それより速い高速再生ではオーディオの再生は不要となる場合もある。しかし、従来例においては、オーディオの再生をしない場合でも、大量のオーディオデータを送信している。
【００４１】
これに対し、本実施形態では、オーディオデータを配置するピクチャを適切に選択することによりこれらを解決する。
【００４２】
図７は、本実施形態におけるオーディオデータの多重化処理の流れを示すフローチャートである。本実施形態では、従来例において、ピクチャ１〜１６内のオーディオデータがピクチャ１内に格納されるように多重化されていたことに換えて、ピクチャ１〜８内のオーディオデータがピクチャ５内に、ピクチャ９〜１６内のオーディオデータがピクチャ１３内に格納されるように多重化される（Ｓ７４）。
【００４３】
例えば、Ｐ＝４の場合を考えると、図７のシーケンスに示すように、図１のピクチャ５にピクチャ１〜ピクチャ８のオーディオデータを配置し、ピクチャ１３にピクチャ９〜ピクチャ１６のオーディオデータを配置するよう多重化する。このように多重化された映像コンテンツでは、４倍速までの高速再生ではピクチャ５及びピクチャ１３が配信されるため、全てのオーディオデータが再生装置５０に配信される。しかしながら、８倍速以上の高速再生を行った場合は、ピクチャ５及びピクチャ１３は配信されなくなる。こうして、所望の速度までの高速再生時には、全てのオーディオデータを再生装置５０に配信してオーディオを再生するのに対し、オーディオの再生が不要となるほどの高速再生時（ここでは８倍速以上）には、オーディオデータを再生装置５０に配信しないで済ませることが可能となる。
【００４４】
一般にビデオの復号化処理は演算量の違いによりオーディオの復号化処理と比べて復号に要する時間が長くなる。そのため、再生装置側でビデオデータの復号後に、そのピクチャに該当するオーディオデータが既に図５のオーディオ信号出力装置５７で出力が完了してしまっているという問題が発生しないよう、多重化の際にビデオデータはオーディオデータよりも前にずらして多重化する場合もあるが、配置するピクチャの番号が異ならなければ問題は発生しない。例えば、図１のピクチャ１〜８、９〜１６に対するオーディオは、それぞれ次に来るピクチャ５及びピクチャ１３に配置してもよい。
【００４５】
なお、本発明は、上記した実施の形態に限定されるものではなく、本発明の要旨を逸脱しない範囲内において、他の様々な形で実施することができる。このため、上記実施形態はあらゆる点で単なる例示にすぎず、限定的に解釈されるものではない。例えば、上述の各処理ステップは処理内容に矛盾を生じない範囲で任意に順番を変更して又は並列に実行することができる。
【００４６】
上記の実施形態の一部又は全部は、以下の付記のようにも記載され得るが、以下には限
られない。
【００４７】
（付記１）エンコード装置において、オーディオ信号を符号化するオーディオ符号部と、ビデオ信号を符号化するビデオ符号部と、前記オーディオ符号部及び前記ビデオ符号部より出力されたオーディオデータ及びビデオデータを多重化する多重化部と、を備え、前記多重化部は、高速再生を行う場合に、所定の再生速度までは配信されるが、当該所定の再生速度を超える場合には配信されないピクチャ内に、所定範囲内のオーディオデータを配置して多重化する、エンコード装置。
【００４８】
（付記２）前記高速再生は、ピクチャの間引き処理によって行われ、前記多重化部は、前記所定の再生速度を超える場合に間引かれるピクチャ内に、前記オーディオデータを配置して多重化する、付記１記載のエンコード装置。
【００４９】
（付記３）前記オーディオ信号と前記ビデオ信号を受信するキャプチャ部と、前記多重化部により出力された映像信号を送信する送信部と、をさらに備える、付記１又は２に記載のエンコード装置。
【００５０】
（付記４）付記１乃至３のいずれかに記載のエンコード装置と、前記エンコード装置から映像信号を配信する配信装置と、前記配信装置によって配信された映像信号を再生する再生装置と、を備えるストリーミング配信システム。
【００５１】
（付記５）エンコード装置における映像コンテンツ生成方法であって、オーディオ信号を符号化することと、ビデオ信号を符号化することと、前記符号化により出力されたオーディオデータ及びビデオデータを多重化することと、を含み、前記多重化は、高速再生を行う場合に、所定の再生速度までは配信されるが、当該所定の再生速度を超える場合には配信されないピクチャ内に、所定範囲内のオーディオデータを配置して多重化する、方法。
【符号の説明】
【００５２】
１０ ストリーミング配信システム、２１，２２ ネットワーク、３０ エンコード装置、３１ キャプチャ部、３２ オーディオ符号部、３３ ビデオ符号部、３４ 多重化部、３５ 送信部、４０ 配信装置、４１ 受信部、４２ 記録部、４３ 出力制御部、４４ 出力部、５０ 再生装置、５１ 受信部、５２ 分離部、５３ オーディオ復号部、５４ ビデオ復号部、５５ 波形処理部、５６ 出力制御部、５７ オーディオ信号出力装置、５８ ビデオ信号出力装置
【技術分野】
【０００１】
本発明は、ストリーミング配信システムに関する。
【背景技術】
【０００２】
ストリーミングにおいて１ソースの映像コンテンツから可変高速再生を比較的容易に行う方法として、ピクチャ単位での映像コンテンツを抜き出して再生装置に配信する方法がある。しかし、この方法では、オーディオデータに不連続、すなわち、データの欠落が発生してしまい、再生装置側ではビデオの出力タイミングが均一でなくなったり、オーディオの再生品質の低下や、バッファデータが枯渇ないし飽和するという問題が指摘されている。
【０００３】
ストリーミング配信において再生装置側で可変高速再生を行う場合、従来方法では、（１）再生装置が要求した再生速度で再生できるよう、配信装置は映像コンテンツの配信速度を要求された再生速度に増加させる方法、（２）複数の再生速度に対応する映像コンテンツをあらかじめ生成して配信装置側で保持しておき、配信装置は再生装置が要求した再生速度に該当する映像コンテンツを選択して配信する方法、（３）再生装置が要求した再生速度で再生ができる映像コンテンツを、配信装置側でリアルタイムに生成して配信する方法、および、（４）配信する映像コンテンツのデータ構造の特徴を利用し、映像コンテンツをピクチャ単位で間引いて配信する方法、といった方法が提案されている。
【０００４】
しかしながら、（１）の場合は、配信時に使用するネットワーク帯域が再生速度に比例して増加してしまうという問題があり、再生速度が速い場合は多くのネットワーク帯域を犠牲にしてしまうため現実的な方法ではない。（２）の場合は、１つの映像コンテンツに対して複数の映像コンテンツが必要となるため、別途その保存領域が必要であったりコンテンツ管理が複雑になったりするという問題がある。また、（３）の場合は、配信装置側ではリアルタイムに映像コンテンツをデコードしエンコードする必要がある。この処理負荷は一般的には高く、同時配信数等の性能への影響を考慮すると現実的な方法ではない。
【０００５】
上記（４）の方法は、上記（１）、（２）及び（３）のそれぞれの問題を解決し比較的容易に実現が可能である有効な方法である。例えば、ＭＰＥＧ−２やＨ．２６４／ＭＰＥＧ−４ ＡＶＣなどでは、Ｔｅｍｐｏｒａｌ Ｓｃａｌａｂｉｌｉｔｙにより、配信装置は映像コンテンツから可変高速のためのデータを容易に抜き出すことが可能である。
【０００６】
一般に、ストリーミング配信するための映像コンテンツは、符号化されたビデオデータとオーディオデータをトランスポートストリームパケット（以下、ＴＳパケット）で多重化（Ｍｕｘ）されたものが利用される。
【０００７】
ここで、ビデオデータとオーディオデータは、映像コンテンツ内に均一に多重化されているため、上記（４）の方法を用いた場合であっても、映像コンテンツのピクチャを間引いた場合、ピクチャの区間に含まれるオーディオデータも間引かれてしまい、結果として再生装置に送付されるオーディオデータに欠落が発生する。
【０００８】
オーディオデータに欠落が発生した場合、再生装置側では下記（ａ）〜（ｃ）の問題が発生する。
【０００９】
（ａ）オーディオを出力しながら再生する場合は、一般にはオーディオデータの再生位置を基準とし、ビデオの表示は再生中のオーディオの時刻に出力タイミングを合わせる。そのため、タイミングを合わせるべきオーディオデータが欠落する箇所が増えた場合はビデオの出力タイミングが不均一になってしまう。
【００１０】
（ｂ）ピクチャ単位でビデオデータを間引いた場合は、再生装置側に配信されたオーディオデータは、映像コンテンツの多重化によっては正確に再生速度の逆数（１／再生速度）のサイズではないこともありうる。この誤差は長時間高速再生を行った場合に蓄積され、配信されるオーディオデータが元のオーディオデータの再生速度の逆数（１／再生速度）よりも少ない場合は、再生装置側ではバッファの枯渇が発生し映像がスムーズに再生されない等、再生品質に影響を及ぼす問題が発生する。逆に、配信されるオーディオデータが元のオーディオデータの再生速度の逆数（１／再生速度）よりも多い場合は、再生装置側ではバッファの飽和が発生し、オーディオ，ビデオともデータの不連続等が発生して再生品質に影響を及ぼす問題が発生する。
【００１１】
（ｃ）配信されたオーディオデータには不連続部分が発生するため、そのまま再生した場合は高周波が発生して音質が低下してしまうというという問題がある。またこの高周波が発生しないようにオーディオ波形に窓関数などを掛けた場合でも音質が低下してしまうという問題がある。
【先行技術文献】
【特許文献】
【００１２】
【特許文献１】特開平１１−３５５７１９号公報
【発明の概要】
【発明が解決しようとする課題】
【００１３】
オーディオデータが欠落するために発生する上記（ａ）〜（ｃ）の問題に対して、特許文献１には、ＩピクチャのＰＴＳ（Presentation Time Stamp）から次のピクチャのＰＴＳ間の時刻に相当するＰＴＳを有する音声データのパケットを、Ｉピクチャを構成するパケットの間に入るように多重化し、高速の再生のとき、ディスクドライブから読み出された、ＩピクチャのＰＴＳから次のピクチャのＰＴＳまでの間のＰＴＳを有する音声データを分離し、出力することによって、圧縮したビデオデータを用いて高速再生しても、画像と同期した良好な音声を出力する技術が開示されている。
【００１４】
しかしながら、高速再生時には、高速に再生された音声をそもそも聞き取れるかどうかという問題がある。そのため、所望の速度までの高速再生であればオーディオを再生するが、それよりも早い高速再生では、オーディオを再生しない（聞き取れないため、再生する必要がない）ことがある。ところが、特許文献１に開示されている方法では、所望の速度以上の高速再生のためオーディオの再生が不要な場合でも、全てのオーディオデータを配信することになるので、配信帯域の無駄が生じるという問題がある。特許文献１の方法は、オーディオの配信帯域が高速再生倍率に比例して増大してしまうため、再生倍率が高速になるほど、配信帯域の無駄も増大する。
【００１５】
本発明は、かかる実情に鑑み、圧縮したビデオデータを用いて高速再生して、画像と同期した良好な音声を出力する際に、オーディオの配信帯域が高速再生倍率に単純に比例して増大してしまうという問題を解決する映像コンテンツ生成方法を提供しようとするものである。
【課題を解決するための手段】
【００１６】
本発明の一実施形態に係るエンコード装置は、オーディオ信号を符号化するオーディオ符号部と、ビデオ信号を符号化するビデオ符号部と、オーディオ符号部及びビデオ符号部より出力されたオーディオデータ及びビデオデータを多重化する多重化部と、を備え、多重化部は、高速再生を行う場合に、所定の再生速度までは配信されるが、当該所定の再生速度を超える場合には配信されないピクチャ内に、所定範囲内のオーディオデータを配置して多重化する。
【００１７】
例えば、４倍速までの高速再生ではピクチャ５及びピクチャ１３が配信されるが、８倍速以上の高速再生を行った場合はピクチャ５及びピクチャ１３が配信されなくなる場合に、ピクチャ１から８までのオーディオデータをピクチャ５内に配置して多重化し、ピクチャ９から１６までのオーディオデータをピクチャ１３内に配置して多重化する。これにより、４倍速までの高速再生の場合には、全てのオーディオデータを再生装置に配信してオーディオを再生可能であるが、一方、８倍速以上の高速再生の場合には、オーディオデータが再生装置に配信されない。
【００１８】
また、本発明の一実施形態に係る多段高速再生のための映像コンテンツ生成方法は、エンコード装置において実行される方法であり、オーディオ信号を符号化することと、ビデオ信号を符号化することと、符号化により出力されたオーディオデータ及びビデオデータを多重化することと、を含み、多重化は、高速再生を行う場合に、所定の再生速度までは配信されるが、当該所定の再生速度を超える場合には配信されないピクチャ内に、所定範囲内のオーディオデータを配置して多重化する。
【発明の効果】
【００１９】
本発明によれば、再生装置ではビデオの出力タイミングが均一でなめらかな再生が可能となるという第１の効果を奏し得る。その理由は、再生装置には全てのオーディオデータが配信されるため、再生装置側ではビデオの出力タイミングを再生するオーディオに正確合わせることができるためである。
【００２０】
本発明によれば、高速再生を長時間行った場合でもデータの飽和や枯渇による再生装置での再生品質低下を発生させないという第２の効果を奏し得る。その理由は、再生装置には全てのオーディオデータが配信されるため、再生装置側では正確な再生速度で高速再生を行うことができるためである。
【００２１】
本発明によれば、高速再生中であっても聞き取りやすいオーディオ再生を実現しやすくなるという第３の効果を奏し得る。その理由は、再生装置には全てのオーディオデータが配信されるため、再生装置側ではタイムストレッチ（音程を変更せずに時間軸を縮める）処理等を施すことが可能であるためである。
【００２２】
本発明によれば、ストリーミング再生中に、ネットワーク利用帯域の調整のため、一時的に配信に使用する帯域を下げることを目的として配信するピクチャを間引いた場合においても、再生装置側ではフレームレートが低下するのみでオーディオの再生品質には影響が発生しないという第４の効果を奏し得る。その理由は、高速再生時と同様にピクチャを間引いた場合は再生装置には全てのオーディオデータが配信されるためである。
【図面の簡単な説明】
【００２３】
【図１】本発明の一実施形態において生成される映像コンテンツのピクチャ構造を示す概略図である。
【図２】本発明の一実施形態に係るストリーミング配信システムにおける概略構成を示すブロック図である。
【図３】本実施形態におけるエンコード装置３０の構成を示すブロック図である。
【図４】本実施形態における配信装置４０の構成を示すブロック図である。
【図５】本実施形態における再生装置５０の構成を示すブロック図である。
【図６】従来例におけるオーディオデータの多重化処理の流れを示すフローチャートである。
【図７】本実施形態におけるオーディオデータの多重化処理の流れを示すフローチャートである。
【発明を実施するための形態】
【００２４】
以下、本発明の実施の形態について図面を参照しつつ詳細に説明する。なお、同一の要素には同一の符号を付し、重複する説明を省略する。
【００２５】
図１は、本発明の一実施形態において生成される映像コンテンツのピクチャ構造を示す概略図である。図１はＮ＝１６の場合のピクチャ構造であり、ピクチャ１はＭＰＥＧでいうＩピクチャ（画面内符号化されるピクチャ）を表す。ここで、ＮはＩピクチャと次のＩピクチャの間隔を表す。また、図１の各ピクチャ内の番号は、最終的に再生装置で出力される順番を表す。
【００２６】
図１では、再生速度毎に配信するピクチャを階層化して表しており、配信装置は、例えば２倍速の高速再生を行う場合は、ピクチャ１，３，５，７，９，１１，１３，１５を、４倍速の高速再生を行う場合はピクチャ１，５，９，１３を再生装置に配信することを表す。
【００２７】
通常、ビデオとオーディオは、映像コンテンツ内に均一に多重化されているため、このように高速再生の際は間引いたピクチャに含まれるオーディオデータも同時に間引かれて再生装置に配信される。
【００２８】
本発明の特定の実施形態においては、映像コンテンツの多重化の際に、オーディオデータの高速再生を行った場合であっても再生装置に送付される特定のピクチャに集約してオーディオデータを多重化することで、再生装置側には全てのオーディオデータが送付されるよう映像コンテンツを生成する。ここで、従来例においては、例えば、ピクチャ１からピクチャ１６までのオーディオデータをピクチャ１に集約することで、２，４，８，１６倍速のどの速度の高速再生を行った場合でも再生装置側に全てのオーディオデータが送付される。一方、本発明の所定の実施形態においては、例えば、ピクチャ１からピクチャ８までのオーディオデータをピクチャ５に集約し、ピクチャ９からピクチャ１６までをピクチャ１３に集約することで、２，４倍速の高速再生を行った場合には、再生装置側に全てのオーディオデータが送付される。しかし、８，１６倍速の高速再生を行った場合には、再生装置側にオーディオデータを送付しない。こうして、オーディオの再生が不要な場合には、オーディオデータを再生装置に送付しないということが可能となる。
【００２９】
図２は、本発明の一実施形態に係るストリーミング配信システムにおける概略構成を示すブロック図である。本実施形態において、ストリーミング配信システム１０は、エンコード装置３０と配信装置４０と再生装置５０とを備え、エンコード装置３０と配信装置４０間、及び、配信装置４０と再生装置５０の間が、それぞれネットワーク２１、２２で接続されている。
【００３０】
図３は、本実施形態におけるエンコード装置３０の構成を示すブロック図である。同図において、キャプチャ部３１は、キャプチャボードやＵＳＢカメラ、ＩＰカメラからのデータを受信する装置など、外部装置からオーディオ信号及びビデオ信号を取り込む装置である。オーディオ符号部３２は、入力されたオーディオ信号の符号化を行う装置、またはプログラムである。ビデオ符号部３３は、入力されたビデオ信号の符号化を行う装置、またはプログラムである。多重化部３４は、オーディオ符号部３２およびビデオ符号部３３より出力されたオーディオおよびビデオのデータを、ＴＳパケットで多重化（Ｍｕｘ）する装置、またはプログラムである。送信部３５は、ネットワークカードなどネットワークに映像コンテンツを送信する装置である。
【００３１】
図４は、本実施形態における配信装置４０の構成を示すブロック図である。同図において、受信部４１は、ネットワークカードなどネットワークより映像コンテンツを受信する装置である。記録部４２は、ＨＤＤやＳＳＤなどの映像コンテンツを格納するための装置である。出力制御部４３は、記録部４２に記録された映像コンテンツから配信する映像コンテンツを取り出し、高速再生時はデータを間引く処理を行って出力部４４にデータを出力する装置、またはプログラムである。出力部４４は、ネットワークカードなどネットワークに映像コンテンツを送信する装置である。
【００３２】
図５は、本実施形態における再生装置５０の構成を示すブロック図である。同図において、受信部５１は、ネットワークカードなどネットワークより映像コンテンツを受信する装置である。分離部５２は、映像コンテンツをオーディオデータとビデオデータに分離（Ｄｅｍｕｘ）する装置、またはプログラムである。オーディオ復号部５３は、エンコード装置３０にて符号化されたオーディオデータを復号する装置、またはプログラムである。ビデオ復号部５４は、エンコード装置３０にて符号化されたビデオデータを復号する装置、またはプログラムである。波形処理部５５は、オーディオ復号部５３より復号されたオーディオの波形を再生速度の逆数（１／再生速度）にタイムストレッチ処理を施す装置、またはプログラムである。なお、タイムストレッチ処理とは、音程を変更せずに時間軸を縮める処理を含む。出力制御部５６は、波形処理部５５およびビデオ復号部５４より出力された信号の出力タイミング等の再生制御を行う装置、またはプログラムである。オーディオ信号出力装置５７は、スピーカなど、オーディオ信号を出力する装置である。ビデオ信号出力装置５８は、液晶ディスプレイなど、ビデオ信号を出力する装置である。
【００３３】
次に、本実施形態におけるストリーミング配信システム１０の動作について説明する。
【００３４】
エンコード装置３０では、オーディオ符号部３２及びビデオ符号部３３において、キャプチャ部３１に入力されたオーディオ信号及びビデオ信号のそれぞれの符号化を行う。符号化されたオーディオデータ及びビデオデータは多重化部３４においてＴＳパケットで多重化され、送信部３５で配信装置４０に送信される。
【００３５】
ここでは、一例として、映像コンテンツとしてＮ＝１６のＨ．２６４／ＭＰＥＧ−４ ＡＶＣを用いた場合について説明する。ＴＳパケットでの多重化手順は、例えば、図７のシーケンスに示すように、Ｉピクチャ間（ピクチャ１〜１６)のオーディオ及びビデオのそれぞれのデータの符号化が完了していた場合に、ピクチャ５内にピクチャ１〜８に対応するオーディオデータを配置し、ピクチャ１３内にピクチャ９〜１６に対応するオーディオデータが配置されるように多重化される。
【００３６】
配信装置４０は、エンコード装置３０から受信したデータを記録部４２に蓄積する。出力制御部４３は、記録部４２に記録された映像コンテンツから配信する映像コンテンツを取り出し、高速再生時はビデオデータをピクチャ単位で間引く処理を行って出力部４４にデータを出力する。なお、図１に示すように、２倍速の高速再生を行う場合は、ピクチャ１，３，５，７，９，１１，１３，１５を、４倍速の高速再生を行う場合はピクチャ１，５，９，１３を、８倍速の高速再生を行う場合はピクチャ１，９を、１６倍速の高速再生を行う場合はピクチャ１を配信するよう間引き処理を実施する。間引き処理自体はＴｅｍｐｏｒａｌ Ｓｃａｌａｂｉｌｉｔｙ等、公知の手法を用いることが可能である。
【００３７】
再生装置５０では、配信装置４０から配信された映像コンテンツを分離部５２にてオーディオデータとビデオデータに分離し、それぞれオーディオ復号部５３及びビデオ復号部５４で復号化する。また、波形処理部５５にてオーディオ復号部５３より復号されたオーディオの波形を再生速度の逆数（１／再生速度）にタイムストレッチ処理を行う。復号されたオーディオ、ビデオは出力制御部にて出力タイミングが制御され、それぞれオーディオ信号出力装置、ビデオ信号出力装置へ出力される。なお波形処理部での処理方法についてはこの限りではなく、再生時間が再生速度の逆数（１／再生速度）となればよい。そのため再生時の音程が高くなってもよい場合は単純にサンプル数を再生速度の逆数（１／再生速度）にするなどの処理を行うことも可能である。
【００３８】
図６は、本実施形態における処理と比較するため、従来例におけるオーディオデータの多重化処理のフローチャートを示す。同図に示すとおり、従来例においては、エンコード装置３０のオーディオ符号部３２及びビデオ符号部３３において、キャプチャ部３１に入力されたオーディオ信号及びビデオ信号の符号化を行い（Ｓ６２）、Ｉピクチャ間のオーディオ信号及びビデオ信号の符号化が完了したら（Ｓ６３）、多重化部３４において、ピクチャ１〜１６内のオーディオデータがピクチャ１内に格納されるように多重化する（Ｓ６４）。この処理をエンコード処理が終了するまで行う（Ｓ６１）。
【００３９】
従来例においては、ピクチャ１〜１６に対応するオーディオデータをピクチャ１に配置し、２，４，８，１６倍のどの再生速度の高速再生を行ったとしても、再生装置５０に配信されるデータにはピクチャ１が含まれるように構成されている。これにより、高速再生時に全ての音声データが配信されることになる。そのため、正確な再生速度の逆数（１／再生速度）の時間での再生が可能であり、またタイムストレッチ処理等を行うことが可能で高速再生中であっても聞き取りやすいオーディオ再生を実現可能である。
【００４０】
しかしながら、上記従来例では、例えばオーディオのビットレートが９６Ｋｂｐｓで１６倍速の高速再生を行うと、オーディオデータだけで１．５Ｍｂｐｓになってしまう、という問題がある。また、再生装置５０側では、高速に再生された音声を聞き取れるかどうかということを考慮して、所望の速度（ここではＰとする）までの高速再生時にはオーディオを再生するが、それより速い高速再生ではオーディオの再生は不要となる場合もある。しかし、従来例においては、オーディオの再生をしない場合でも、大量のオーディオデータを送信している。
【００４１】
これに対し、本実施形態では、オーディオデータを配置するピクチャを適切に選択することによりこれらを解決する。
【００４２】
図７は、本実施形態におけるオーディオデータの多重化処理の流れを示すフローチャートである。本実施形態では、従来例において、ピクチャ１〜１６内のオーディオデータがピクチャ１内に格納されるように多重化されていたことに換えて、ピクチャ１〜８内のオーディオデータがピクチャ５内に、ピクチャ９〜１６内のオーディオデータがピクチャ１３内に格納されるように多重化される（Ｓ７４）。
【００４３】
例えば、Ｐ＝４の場合を考えると、図７のシーケンスに示すように、図１のピクチャ５にピクチャ１〜ピクチャ８のオーディオデータを配置し、ピクチャ１３にピクチャ９〜ピクチャ１６のオーディオデータを配置するよう多重化する。このように多重化された映像コンテンツでは、４倍速までの高速再生ではピクチャ５及びピクチャ１３が配信されるため、全てのオーディオデータが再生装置５０に配信される。しかしながら、８倍速以上の高速再生を行った場合は、ピクチャ５及びピクチャ１３は配信されなくなる。こうして、所望の速度までの高速再生時には、全てのオーディオデータを再生装置５０に配信してオーディオを再生するのに対し、オーディオの再生が不要となるほどの高速再生時（ここでは８倍速以上）には、オーディオデータを再生装置５０に配信しないで済ませることが可能となる。
【００４４】
一般にビデオの復号化処理は演算量の違いによりオーディオの復号化処理と比べて復号に要する時間が長くなる。そのため、再生装置側でビデオデータの復号後に、そのピクチャに該当するオーディオデータが既に図５のオーディオ信号出力装置５７で出力が完了してしまっているという問題が発生しないよう、多重化の際にビデオデータはオーディオデータよりも前にずらして多重化する場合もあるが、配置するピクチャの番号が異ならなければ問題は発生しない。例えば、図１のピクチャ１〜８、９〜１６に対するオーディオは、それぞれ次に来るピクチャ５及びピクチャ１３に配置してもよい。
【００４５】
なお、本発明は、上記した実施の形態に限定されるものではなく、本発明の要旨を逸脱しない範囲内において、他の様々な形で実施することができる。このため、上記実施形態はあらゆる点で単なる例示にすぎず、限定的に解釈されるものではない。例えば、上述の各処理ステップは処理内容に矛盾を生じない範囲で任意に順番を変更して又は並列に実行することができる。
【００４６】
上記の実施形態の一部又は全部は、以下の付記のようにも記載され得るが、以下には限
られない。
【００４７】
（付記１）エンコード装置において、オーディオ信号を符号化するオーディオ符号部と、ビデオ信号を符号化するビデオ符号部と、前記オーディオ符号部及び前記ビデオ符号部より出力されたオーディオデータ及びビデオデータを多重化する多重化部と、を備え、前記多重化部は、高速再生を行う場合に、所定の再生速度までは配信されるが、当該所定の再生速度を超える場合には配信されないピクチャ内に、所定範囲内のオーディオデータを配置して多重化する、エンコード装置。
【００４８】
（付記２）前記高速再生は、ピクチャの間引き処理によって行われ、前記多重化部は、前記所定の再生速度を超える場合に間引かれるピクチャ内に、前記オーディオデータを配置して多重化する、付記１記載のエンコード装置。
【００４９】
（付記３）前記オーディオ信号と前記ビデオ信号を受信するキャプチャ部と、前記多重化部により出力された映像信号を送信する送信部と、をさらに備える、付記１又は２に記載のエンコード装置。
【００５０】
（付記４）付記１乃至３のいずれかに記載のエンコード装置と、前記エンコード装置から映像信号を配信する配信装置と、前記配信装置によって配信された映像信号を再生する再生装置と、を備えるストリーミング配信システム。
【００５１】
（付記５）エンコード装置における映像コンテンツ生成方法であって、オーディオ信号を符号化することと、ビデオ信号を符号化することと、前記符号化により出力されたオーディオデータ及びビデオデータを多重化することと、を含み、前記多重化は、高速再生を行う場合に、所定の再生速度までは配信されるが、当該所定の再生速度を超える場合には配信されないピクチャ内に、所定範囲内のオーディオデータを配置して多重化する、方法。
【符号の説明】
【００５２】
１０ ストリーミング配信システム、２１，２２ ネットワーク、３０ エンコード装置、３１ キャプチャ部、３２ オーディオ符号部、３３ ビデオ符号部、３４ 多重化部、３５ 送信部、４０ 配信装置、４１ 受信部、４２ 記録部、４３ 出力制御部、４４ 出力部、５０ 再生装置、５１ 受信部、５２ 分離部、５３ オーディオ復号部、５４ ビデオ復号部、５５ 波形処理部、５６ 出力制御部、５７ オーディオ信号出力装置、５８ ビデオ信号出力装置
【特許請求の範囲】
【請求項１】
エンコード装置において、
オーディオ信号を符号化するオーディオ符号部と、
ビデオ信号を符号化するビデオ符号部と、
前記オーディオ符号部及び前記ビデオ符号部より出力されたオーディオデータ及びビデオデータを多重化する多重化部と、
を備え、
前記多重化部は、高速再生を行う場合に、所定の再生速度までは配信されるが、当該所定の再生速度を超える場合には配信されないピクチャ内に、所定範囲内のオーディオデータを配置して多重化する、エンコード装置。
【請求項２】
前記高速再生は、ピクチャの間引き処理によって行われ、
前記多重化部は、前記所定の再生速度を超える場合に間引かれるピクチャ内に、前記オーディオデータを配置して多重化する、請求項１記載のエンコード装置。
【請求項３】
前記オーディオ信号と前記ビデオ信号を受信するキャプチャ部と、
前記多重化部により出力された映像信号を送信する送信部と、
をさらに備える、請求項１又は２に記載のエンコード装置。
【請求項４】
請求項１乃至３のいずれか１項に記載のエンコード装置と、
前記エンコード装置から映像信号を配信する配信装置と、
前記配信装置によって配信された映像信号を再生する再生装置と、
を備えるストリーミング配信システム。
【請求項５】
エンコード装置における映像コンテンツ生成方法であって、
オーディオ信号を符号化することと、
ビデオ信号を符号化することと、
前記符号化により出力されたオーディオデータ及びビデオデータを多重化することと、
を含み、
前記多重化は、高速再生を行う場合に、所定の再生速度までは配信されるが、当該所定の再生速度を超える場合には配信されないピクチャ内に、所定範囲内のオーディオデータを配置して多重化する、方法。
【請求項１】
エンコード装置において、
オーディオ信号を符号化するオーディオ符号部と、
ビデオ信号を符号化するビデオ符号部と、
前記オーディオ符号部及び前記ビデオ符号部より出力されたオーディオデータ及びビデオデータを多重化する多重化部と、
を備え、
前記多重化部は、高速再生を行う場合に、所定の再生速度までは配信されるが、当該所定の再生速度を超える場合には配信されないピクチャ内に、所定範囲内のオーディオデータを配置して多重化する、エンコード装置。
【請求項２】
前記高速再生は、ピクチャの間引き処理によって行われ、
前記多重化部は、前記所定の再生速度を超える場合に間引かれるピクチャ内に、前記オーディオデータを配置して多重化する、請求項１記載のエンコード装置。
【請求項３】
前記オーディオ信号と前記ビデオ信号を受信するキャプチャ部と、
前記多重化部により出力された映像信号を送信する送信部と、
をさらに備える、請求項１又は２に記載のエンコード装置。
【請求項４】
請求項１乃至３のいずれか１項に記載のエンコード装置と、
前記エンコード装置から映像信号を配信する配信装置と、
前記配信装置によって配信された映像信号を再生する再生装置と、
を備えるストリーミング配信システム。
【請求項５】
エンコード装置における映像コンテンツ生成方法であって、
オーディオ信号を符号化することと、
ビデオ信号を符号化することと、
前記符号化により出力されたオーディオデータ及びビデオデータを多重化することと、
を含み、
前記多重化は、高速再生を行う場合に、所定の再生速度までは配信されるが、当該所定の再生速度を超える場合には配信されないピクチャ内に、所定範囲内のオーディオデータを配置して多重化する、方法。
【図２】
【図３】
【図４】
【図５】
【図６】
【図７】
【図１】
【図３】
【図４】
【図５】
【図６】
【図７】
【図１】
【公開番号】特開２０１３−１１５５７３（Ｐ２０１３−１１５５７３Ａ）
【公開日】平成２５年６月１０日（２０１３．６．１０）
【国際特許分類】
【出願番号】特願２０１１−２５９３３５（Ｐ２０１１−２５９３３５）
【出願日】平成２３年１１月２８日（２０１１．１１．２８）
【出願人】（０００００４２３７）日本電気株式会社 (19,353)
【Ｆターム（参考）】
【公開日】平成２５年６月１０日（２０１３．６．１０）
【国際特許分類】
【出願日】平成２３年１１月２８日（２０１１．１１．２８）
【出願人】（０００００４２３７）日本電気株式会社 (19,353)
【Ｆターム（参考）】
[ Back to top ]