映像配信サーバおよび映像再生端末
【課題】ビットレートや伝送遅延に悪影響を与えることなく、かつ再生端末側に高い処理能力を要求することなく、映像ストリーミングを再生端末側からの要求に応じて拡大再生できる映像配信サーバおよび映像再生端末を提供する。
【解決手段】ズーム用符号化ファイルはスライス単位で符号化され、端末ユーザによりズーム率中の拡大再生が要求されると、ズーム率中用の符号化ファイルFbからズーム位置に応じて、スライス境界で仕切られた２行２列の映像範囲（配信解像度）が切り出されてズーム映像として配信される。例えば、左上領域がズーム位置として指定されると４つのスライス[1-1]，[1-2]，[2-1]，[2-2]が切り出されてズーム映像として配信される。
【解決手段】ズーム用符号化ファイルはスライス単位で符号化され、端末ユーザによりズーム率中の拡大再生が要求されると、ズーム率中用の符号化ファイルFbからズーム位置に応じて、スライス境界で仕切られた２行２列の映像範囲（配信解像度）が切り出されてズーム映像として配信される。例えば、左上領域がズーム位置として指定されると４つのスライス[1-1]，[1-2]，[2-1]，[2-2]が切り出されてズーム映像として配信される。
【発明の詳細な説明】
【技術分野】
【０００１】
本発明は、映像配信サーバおよび映像再生端末に係り、特に、映像配信サーバが映像再生端末からの要求に応じてストリーミング映像を部分的に拡大してズーム映像として配信する映像配信サーバおよび映像再生端末に関する。
【背景技術】
【０００２】
ケールブルテレビ等の大画面向けコンテンツを、TVだけでなくPC、携帯電話、スタイラス型可搬端末等のデバイスでも視聴可能にする、いわゆるマルチスクリーンサービスが一般的になりつつある。非特許文献１には、ケーブルテレビ向けコンテンツをPC向けに配信する技術が開示されている。こうしたマルチスクリーンサービスにおいては、ディスプレイが大きなテレビ向けに作成された高解像度のコンテンツを、ディスプレイの小さな携帯電話等向けに低解像度に変換する必要がある。
【０００３】
一般的なマルチスクリーンサービスでは、大画面向けコンテンツの全体がそのまま変換（トランスコード）されて携帯電話等にストリーミング配信される。しかしながら、携帯電話等ではディスプレイが小さいのでコンテンツの魅力を十分に発揮されないという問題があった。そのため、ユーザが視聴したい任意の領域を拡大して見ることができるような仕組みが求められていた。
【０００４】
映像コンテンツを拡大する技術として、映像中の任意の部分をトリミング（切り出し）して提示するデジタルズームが特許文献１に開示されている。しかしながら、このようなデジタルズーム機能は、映像撮影時の処理として行われるものであり、映像伝送におけるビットレートの制約やリアルタイムでのストリーミングに必要な低遅延性が考慮されておらず、また高負荷な処理が要求されるので、映像ストリーミングへの適用は困難である。
【０００５】
このような技術課題の解決方法として、ユーザが希望する拡大映像を、サーバ側でリアルタイムにエンコードして送信する、リアルタイムエンコードを用いる方法が容易に想像できる。しかしながら、ユーザが希望する拡大映像を常にエンコードして送信しようとすればサーバの負荷が大きくなり、さらには、その負荷がサービスを受けるユーザ数に比例して大きくなるため、多数のユーザに対して同時にサービスを提供する用途では現実的では無い。
【０００６】
さらに、上記の技術課題の別の解決方法として、非特許文献２には、映像コンテンツをタイル状に分割して符号化し、サーバ側からは全体のタイルの一部分を送信する一方、クライアント側では受信した各タイル毎に映像をデコードし、そのデコード結果を同時に表示することで拡大映像を得る方法が開示されている。しかしながら、この方法では、クライアント側でタイル状に分割された映像を個々にデコードし、同期をとって表示する必要があるので、携帯端末のような処理能力の低い端末への搭載は現実的では無い。
【先行技術文献】
【特許文献】
【０００７】
【特許文献１】特開2008-316739号公報
【非特許文献】
【０００８】
【非特許文献１】Fancast（http://www.fancast.com/）
【非特許文献２】インタラクティブ・パノラマ映像配信システムにおけるマルチ解像度配信方式の一検討（情報処理学会研究報告 Vol.2010-AVM-70 No.8）
【発明の概要】
【発明が解決しようとする課題】
【０００９】
このように、映像配信サーバから配信される映像ストリーミングを再生端末側からの要求に応じて拡大再生させようとすると、映像再生端末側に極めて高い処理能力が要求されたり、あるいはサーバで各ユーザ毎にリアルタイムエンコード処理を行うような、大規模ユーザには適用できない仕組みとなったりするので、映像ストリーミングを再生端末側からの要求に応じて拡大再生させることができなかった。
【００１０】
本発明の目的は、上記した従来技術の課題を解決し、再生端末側に高い処理能力が要求されず、かつ大規模ユーザにサービス提供可能な形で、映像ストリーミングを再生端末側からの要求に応じて拡大再生できる映像配信サーバおよび映像再生端末を提供することにある。
【課題を解決するための手段】
【００１１】
上記の目的を達成するために、本発明は、ストリーミング形式で配信する映像をズーム要求に応答してズーム映像に切り換える映像配信サーバにおいて、以下のような手段を講じた点に特徴がある。
【００１２】
(1)映像コンテンツごとに、配信解像度のズーム無し符号化ファイルおよび配信解像度よりも高解像度の少なくとも一つのズーム用符号化ファイルを記憶する手段と、ズーム倍率およびズーム位置の記述されたズーム要求を検知する手段と、配信中の符号化ファイルに対するズーム要求が検知されると、配信する符号化ファイルを前記ズーム倍率に応じた他の解像度のズーム用符号化ファイルに切り換える手段と、前記切り換えられたズーム用符号化ファイルの前記ズーム位置から前記配信解像度でズーム映像を切り出す手段と、
前記切り出されたズーム映像をストリーミング形式で配信する手段とを具備した。
【００１３】
(b)ズーム用符号化ファイルは、論理的な境界線で仕切った複数の分割映像領域から構成されて当該分割映像領域ごとに符号化され、各分割映像領域はズーム位置に応じた複数の集合で前記配信解像度のズーム映像を構成できるように、その位置、形状およびサイズが規定され、ズーム映像を切り出す手段は、切り換えられたズーム用符号化ファイルから、前記ズーム位置に応じた複数の分割映像領域の集合をズーム映像として切り出すようにした。
【００１４】
(c)ズーム映像として切り出された複数の分割映像領域のマクロブロックのヘッダ情報を、ズーム映像における各マクロブロックの表示位置に応じて書き換える手段を具備した。
【発明の効果】
【００１５】
本発明によれば、以下のような効果が達成される。
【００１６】
(1)映像配信サーバには、提供可能なズーム倍率の段階に応じて、解像度の異なる複数のズーム用符号化ファイルが予め用意されており、ズーム要求が検知されると、要求されたズーム倍率に応じたズーム用符号化ファイルからズーム位置の映像を切り出してズーム映像とするので、ズーム要求に対して低負荷でズーム映像を配信できるようになる。
【００１７】
(2)ズーム用符号化ファイルは、論理的な境界線で仕切った複数の分割映像領域から構成されて当該分割映像領域ごとに符号化され、ズーム映像は複数の分割映像領域の集合として構成できるので、分割映像領域を単位としてズーム位置を設定することにより、ズーム映像の出しが容易になる。
【００１８】
(3)ズーム用符号化ファイルから切り出された複数の分割映像領域の映像ヘッダ情報が、処理能力の低い受信端末でも低負荷で再生できるように映像配信サーバ側で予め書き換えられてから配信されるので、受信端末側ではズーム映像の表示に際して高負荷な処理が不要となる。
【図面の簡単な説明】
【００１９】
【図１】本発明の第１実施形態に係る映像配信システムのブロック図である。
【図２】第１実施形態の動作概要を示した図である。
【図３】映像配信サーバに用意される符号化ファイルの一例を示した図である。
【図４】ズーム用符号化ファイルから複数のスライスを切り出してズーム映像を配信する方法を模式的に表現した図である。
【図５】ズーム位置に応じて複数の異なるスライスを切り出す方法を示した図である。
【図６】ズーム映像の再生例を示した図である。
【図７】映像ヘッダ情報の書き換え方法を示した図である。
【図８】映像ヘッダ情報の書き換え前後を比較した図である。
【図９】エフェクト部の動作を示したシーケンスフローである。
【図１０】映像切り換え時に挿入されるエフェクトの一例を示した図である。
【図１１】第２実施形態の動作概要を示した図である。
【図１２】ズーム映像の移動例を示した図である。
【図１３】ズーム位置の移動時に挿入されるエフェクトの一例を示した図である。
【図１４】第３実施形態の動作概要を示した図である。
【図１５】第３実施形態に係る映像配信システムのブロック図である。
【図１６】第４実施形態に係る映像配信システムのブロック図である。
【図１７】符号化パラメータの書き換え方法を示した図である。
【図１８】IDRフレーム情報の一例を示した図である。
【図１９】IDRフレーム情報の他の一例を示した図である。
【図２０】ズーム要求メッセージの一例を示した図である。
【発明を実施するための形態】
【００２０】
[第１実施形態]
図１は、本発明の第１実施形態に係る映像配信システムの構成を示したブロック図であり、映像コンテンツをストリーミング形式で配信する映像配信サーバ１と、前記映像コンテンツを受信して再生する映像再生端末２とが、インターネット等の広域ネットワーク３を介して接続されている。
【００２１】
図２は、第１実施形態の動作概要を示した図であり、前記映像配信サーバ１は、大型TV用に撮影、編集された高解像度(例えば、1440×1080画素)の映像コンテンツ[同図(a)]を、配信解像度すなわち映像再生端末２の表示解像度(例えば、640×480画素)に変換して配信[同図(b)]すると共に、端末ユーザからのズーム要求に応答してズーム映像を配信解像度で配信[同図(c)]する。
【００２２】
本発明では、このようなズーム映像の配信を、ビットレートや伝送遅延に悪影響を与えることなく、かつ映像再生端末２側に高い処理能力を要求することなく実現すべく、図３に示したように、配信解像度のズーム無し符号化ファイルFaと共に、画像領域の一部から配信解像度のズーム映像を切り出せる複数のズーム用符号化ファイルFb、Fcが、映像コンテンツごとに作成されて予め映像配信サーバ１に蓄積される。
【００２３】
本実施形態では、ズーム倍率として３種類（ズーム無し、ズーム率中、ズーム率大）を設定できるものとし、ズーム率中用の符号化ファイルFb[同図(b)]の解像度はズーム無し用符号化ファイルFa[同図(a)]の配信解像度よりも高く設定され、ズーム率大用の符号化ファイルFc[同図(c)]の解像度はズーム率中用の符号化ファイルFa[同図(a)]の解像度よりも更に高く設定されている。
【００２４】
前記各ズーム用符号化ファイルFb，Fcに示されている格子線は、後述するスライス境界を表し、例えば、端末ユーザによりズーム率中の拡大再生が要求されると、図４に一例を示したように、ズーム率中用の符号化ファイルFbからズーム位置に応じて、スライス境界で仕切られた２行２列の映像範囲（配信解像度）のみが切り出されてズーム映像として配信される。各スライスは、ズーム位置に応じた複数の集合で配信解像度のズーム映像を構成できるように、その位置、形状およびサイズが規定される。
【００２５】
本実施形態では、図５に一例を示したように、ズーム用符号化ファイルごとにズーム基準点O1，O2，O3，O4…が予め設定されており、ズーム用符号化ファイルFbであれば、ズーム基準点O1にはスライス1-1，1-2，2-1、2-2が切り出し対象として対応付けられ、ズーム基準点O2にはスライス1-2，1-3，2-2、2-3が切り出し対象として対応付けられている。そして、要求されたズーム位置から最近傍のズーム基準点がO1であれば、当該ズーム基準点O1に対応した４つのスライス1-1，1-2，2-1、2-2が切り出されてズーム映像とされる。
【００２６】
すなわち、図４(a)のズーム無し映像の再生中に、ズーム基準点O1の近傍を指定してズーム率中の拡大再生が要求されると、同図(b)に示したように、４つのスライス[1-1]，[1-2]，[2-1]，[2-2]で構成される左上領域の映像領域がズーム映像として配信される。また、ズーム基準点O2の近傍を指定してズーム率中の拡大再生が要求されると、同図(c)に示したように、４つのスライス[1-2]，[1-3]，[2-2]，[2-3]で構成される右上領域の映像領域がズーム映像として配信される。以下同様に、ズーム基準点O3の近傍が指定されると、同図(d)に示したように、４つのスライス[2-1]，[2-2]，[3-1]，[3-2]で構成される左下領域の映像領域がズーム映像として配信され、ズーム基準点O4の近傍が指定されると、同図(e)に示したように、４つのスライス[2-2]，[2-3]，[3-2]，[3-3]で構成される右下領域の映像領域がズーム映像として配信される。
【００２７】
図６は、前記ズーム映像の再生例を示した図であり、映像配信サーバ１から受信したズーム無し用の符号化ファイルFaを復号して再生中[同図(a)]の映像再生端末２においてズーム率中への拡大が要求[同図(b)]されると、映像配信サーバ１では、配信ファイルが前記ズーム無し用の符号化ファイルFaからズーム率中用の符号化ファイルFbに切り換えられ、当該符号化ファイルFbからズーム位置に応じて切り出されたズーム映像が配信される。その結果、映像再生端末２ではズーム率中の映像[同図(c)]が再生される。
【００２８】
このズーム映像の再生中に、更にズーム率大への拡大が要求[同図(c)]されると、映像配信サーバ１では配信ファイルが前記ズーム率中の符号化ファイルFbからズーム率大用の符号化ファイルFcに切り換えられ、当該符号化ファイルFcからズーム位置に応じて切り出されたズーム映像が配信される。その結果、映像再生端末２ではズーム率大の映像が再生[同図(d)]される。
【００２９】
なお、ズーム無し用の符号化ファイルFaを再生中[同図(a)]にズーム率大への切り換えが要求[同図(e)]された場合も同様に、映像配信サーバ１では配信ファイルが前記ズーム無し用の符号化ファイルFaからズーム率大用の符号化ファイルFcに切り換えられ、当該符号化ファイルFcからズーム位置に応じて切り出されたズーム映像が配信される。その結果、映像再生端末２ではズーム率大の映像コンテンツが再生[同図(d)]される。
【００３０】
次いで、前記図１を参照して本発明の構成を詳細に説明する。映像配信サーバ１において、映像分割符号化部１０１は、配信対象の映像コンテンツ４を符号化圧縮する。本実施形態ではH.264符号化方式が採用され、そのイントラフレームであるIDRフレームの情報がIDRフレーム情報DB１０２に蓄積され、AudioデータがAudioデータ保存DB１０３に蓄積され、VideoデータがVideoデータ保存DB１０４に蓄積される。前記IDRフレーム情報は、IDRフレームが一定間隔で挿入される場合は図１８の形式で蓄積され、一定間隔で挿入されない場合には、図１９に示したように、全てのIDRフレームのフレーム番号を列挙する様式で蓄積される。
【００３１】
前記Videoデータ保存DB１０４には、設定可能なズーム倍率の種類に応じて解像度の異なる複数の符号化ファイルが映像コンテンツごとに生成されて蓄積される。本実施形態では、前記図３に示したように、ズーム無し用の符号化ファイルFaと共に、ズーム率中用の符号化ファイルFbおよびズーム率大用の符号化ファイルFcの計３つの符号化ファイルが作成、蓄積される。ズーム用の２つの符号化ファイルFb，Fcに関しては、映像コンテンツが論理的な境界線で仕切られた所定の分割映像領域（本実施形態では、H.264符号化方式を採用するのでスライス）ごとに符号化され、フレーム内予測符号化（イントラ符号化）およびフレーム間予測符号化（インター符号化）のいずれのプロセスにおいても、スライス境界を跨ぐ予測が禁止される。これにより、前記図４を参照して説明したように、ズーム位置に応じて複数の異なるスライスを切り出してズーム映像を構築する場合でも、各スライスを復号する際に他のスライス内のマクロブロックが参照されることがないので、復号に破綻が生じることはない。
【００３２】
ただし、このようにスライス境界を跨ぐ予測を一律に禁止してしまうと符号化効率が低下してしまう懸念がある。一方、前記図４を参照すれば明らかなように、例えばスライスが３行３列に設定されたズーム用符号化ファイルFbから、ズーム位置に応じて２行２列を切り出してズーム映像を生成する場合、スライス1-1が切り出される場合はスライス1-2、2-1、2-2も必ず切り出される。また、スライス1-2が切り出される場合、スライス2-2も必ず切り出される。したがって、常に同時に切り出されるスライスを予め定義できるならば、当該スライス間ではフレーム内予測符号化およびフレーム間予測符号化のいずれのプロセスにおいても、スライス境界を跨ぐ予測を許容することで符号化効率を向上させることが可能になる。
【００３３】
これを一般化すると、ズーム用符号化ファイルのスライス構成がXnum行Ynum列であり、そこから切り出されるズーム映像のスライス構成がw行h列であるとき、注目スライスのIDをx-yとすると、
【００３４】
(1)ID x-yのスライスが右方向に予測参照可能なスライスの数Bright = w-x, (但し、負の場合はBright =0, また、Bright≦Xnum - x)
【００３５】
(2)ID x-yのスライスが左方向に予測参照可能なスライスの領域Bleft = w-(Xnum -x)-1, (但し、負の場合はBleft =0, また、Bleft≦x-1)
【００３６】
(3)ID x-yのスライスが上方向に予測参照可能なスライスの数Bup = h-(Ynum -y)-1, (但し、負の場合はBup =0, また、Bup≦y-1)
【００３７】
(4)ID x-yのスライスが下方向に予測参照可能なスライスの数Bdown = h-y, (但し、負の場合はBdown =0, また、Bdown≦Ynum - y)
の各条件が成立する。したがって、上記の条件(1)〜(4)を満足できるスライス同士はスライス境界を跨ぐ予測を符号化に用いることを許容するようにしてもよい。
【００３８】
ユーザ操作受信部１０５は、映像再生端末２から送信されたユーザ操作を受信し、当該ユーザ操作がズーム倍率Zfおよびズーム位置Zpの記述された「ズーム要求」であれば、これを映像切換制御部１０６へ通知する。
【００３９】
映像切換制御部１０６は、前記Videoデータ保存DB１０４から読み出して配信する映像を、前記ユーザ操作受信部１０５で受信されたズーム要求のズーム倍率Zfに対応したズーム用符号化ファイルに切り換える。切り換えられたズーム用符号化ファイルは、前記Audioデータ保存DB１０３から読み出されるAudioデータと共に出力される。すなわち、ズーム率中のズーム要求であればズーム率中用の符号化ファイルFbに切り換えられ、ズーム率大のズーム要求であればズーム率大用の符号化ファイルFcに切り換えられる。このような映像切換は、全てイントラフレーム（本実施形態では、IDRフレーム）のタイミングで行われる。
【００４０】
ズーム映像切出部１０７は、前記図４を参照して詳述したように、ズーム要求に記述されたズーム位置Zpに応じた複数のスライスを前記切り換えられたズーム用符号化ファイルから切り出し、ズーム映像に変換してスライスデータバッファ１０８に蓄積する。なお、このようなズーム映像の切り出しは、前記ズーム用符号化ファイルの映像ヘッダ情報を書き換えて単一スライス構造のズーム映像を生成することにより実施される。
【００４１】
図７は、前記映像ヘッダ情報の書き換え方法を模式的に表現した図であり、ここでは、ズーム率中の符号化ファイルFbから、その左上領域の４つのスライス1-1，1-2，2-1，2-2を切り出して単一スライス構造のズーム映像を生成する場合を例にして説明する。
【００４２】
ズーム用の符号化ファイルFbでは、同図(a)に示したように、スライス1-1，1-2，2-1，2-2ごとに全てのマクロブロックがラスター順の連番で管理されている。しかしながら、処理能力の低い映像再生端末２では、任意形状のスライスを組み合わせて構成される映像をそのまま復号することができない。そこで、本実施形態では各スライスの全てのマクロブロックに、単一スライス構造におけるラスター順で連番を付け直すことで、映像再生端末２では、符号化ファイルFbを単一スライス構造として復号できるようにしている。
【００４３】
図８は、書き換え前の符号化ファイルFbの映像ヘッダと書き換え後のズーム映像の映像ヘッダとを比較した図であり、同図(a)の符号化ファイルFbでは、一つのフレームが複数のスライスから構成され、スライスごとに全てのマクロブロックに対して１番から始まる序数が付されている。これに対して、同図(b)のズーム映像では、一つのフレームが前記４つのスライスを連結した一つのスライスで構成され、全てのマクロブロックに一貫した連番（１から１１８０）が付されている。
【００４４】
なお、SPS(Sequence Parameter Set)は、映像シーケンス全体の符号化にかかわる情報が記述されるヘッダであり、映像を符号化する際に使われたツールの種類（プロファイル：profile_idc）、対象とするデコーダの処理能力を表すレベル（level_idc）、画面サイズ（マクロブロックの数で表現された画面サイズ：pic_width_in_mbs_minus1、pic_height_in_map_units_minus1）に関する情報等が含まれる。本実施形態では、このSPSに関しても、プロファイル等の画像サイズに依存しない情報については符号化ファイルFbのSPSがそのままズーム映像にも付与されるが、符号化レベル、画サイズ等の値は、生成されるズーム映像のサイズに応じた値に書き換えられる。
【００４５】
さらに、PPS(Picture Parameter Set)は、フレームの符号化に関する情報が記述されるヘッダであり、フレームの符号化に使われている符号化手法の種類（entropy_coding_mode_flag）、フレームを構成するスライスの枚数（num_slice_groups_minus1）、スライスの配置（slice_group_map_type）などの情報が含まれる。本実施形態では、このPPSに関しても、符号化ファイルFbでは、１フレームを複数のスライスで構成するための配置およびスライス数が記述されているが、ズーム映像では、単一スライスが一つのフレームで構成されるように書き換えられる。
【００４６】
さらに、マクロブロックの輝度成分を量子化するための量子化パラメータ（QP）の値がマクロブロック毎に制御される場合、スライス境界の右に隣接するマクロブロックについては、そのQPを導出するための差分情報を書き換えることも望ましい。例えば、H.264符号化においては、スライス中のマクロブロックのQPYは次式(1)で与えられる。
【００４７】
【数１】
【００４８】
ここで、QPY,PREVは図7の順番で数えた場合に直前に位置するマクロブロックのQPYの値、mb_qp_deltaはマクロブロック中に記載されたQPの差分情報、QpBdOffsetYはオフセット値であり、スライスの先頭に位置するマクロブロックでは、QPY,PREVは初期値を取る。そこで、図１７に示すように、デフォルトのQP値が２４、図中のマクロブロックの格子に記載された値が各マクロブロックのQPだとすると、複数のスライスで構成された映像から単一スライスの映像に変換するときに、マクロブロックの順番が変わることに伴って直前に位置するマクロブロックが変更となる。そこで、mb_qp_deltaの値を以下の通りに変換することで、各マクロブロックのQPYの値を保ち、マクロブロックについて再符号化を不要にできる。
【００４９】
即ち、あるマクロブロックがmb_qp_delta_oldを持ち、そのマクロブロックが参照するQPY,PREVの値がQPY,PREV_AからQPY,PREV_Bに変更される場合、そのmb_qp_delta_newを次式(2)で算出する。
【００５０】
【数２】
【００５１】
このような計算を、スライス境界の右端に位置するマクロブロックに対して行うことで、既に計算済みの最適な量子化パラメータをQPYを、最低限の処理で再利用することが可能となる。なお、当然ながら、フレームを構成するマクロブロックが全て同一の値を取るような場合は、この処理は不要なので実行する必要はない。
【００５２】
また、画面内の他のマクロブロックの情報を参照して符号化を行う、イントラ予測の符号化が用いられている場合、スライス境界の右端あるいは上端に隣接するマクロブロックについては、符号化された輝度信号や色差信号についても、マクロブロックの位置に応じて必要な変更を行うことが望ましい。
【００５３】
すなわち、イントラ符号化の平均値予測を行う場合、通常は当該マクロブロックの上および左に隣接する32個（16×16マクロブロックの場合）の画素の平均値を用いて当該マクロブロックの信号を符号化するが、スライスの上端に位置するマクロブロックについては、その左に隣接する16個の画素の平均値のみを用いて符号化を行う。したがって、図7に示したように、複数スライスの映像を単一スライスの映像に変換する際に、スライス境界の右端あるいは上端に隣接するマクロブロックでイントラ符号化の平均値予測が用いられている場合は、その予測に用いる平均値を変更し、マクロブロック中の輝度値を再計算することが望ましい。色差信号についても同様である。
【００５４】
このような処理を、スライス境界の右端あるいは上端に隣接するマクロブロックについてのみ行い、それ以外のマクロブロックについては、符号化された輝度信号、色差信号をそのまま活用することで、単一スライス化に伴う計算量を最小限に抑えることが可能となる。
【００５５】
エフェクト部１０９は、ストリーミング形式で配信する映像のズーム率を切り換える際に、その切り換え前後の映像間にエフェクト効果を挿入する。エフェクト効果を挿入する際には、その元となる復号済み画像フレームが必要となる。そこで、至近の復号済み画像フレームとして、直後のIDRフレームを取得する。
【００５６】
図９は、前記エフェクト部１０９の動作を示したシーケンスフローであり、ズーム要求が検知されると、その直後(n番目)のIDRフレームの配信タイミングである時刻t1において、配信映像を現在のズーム無し映像からエフェクト映像に切り換え、更に次(n+1番目)のIDRフレームの配信タイミングである時刻t2において、配信映像を前記エフェクト映像からズーム映像に切り換える。
【００５７】
図１０は、映像再生端末２に表示されるエフェクト効果の一例を示した図であり、同図(a)のズーム無し映像上でズーム再生が要求されると、次のIDRフレームの配信タイミングである時刻t1において、同図(b)に示したように、ズーム領域以外がモザイク処理され、さらに同図(c)に示したように、次のIDRフレームの配信タイミングである時刻t2まで、前記ズーム領域が段階的に拡大され、当該時刻t2において、配信映像がズーム映像に切り換えられる。この際、エフェクト効果の変化に合わせて効果音を発生させるようにしても良い。
【００５８】
前記エフェクト画像は、n番目のIDRフレームから(n+1)番目のIDRフレームまで徐々に変化するフレーム画像として生成され、映像データとしてエンコードしてスライスデータバッファ１０８に書き込まれる。図１０のエフェクト画像は、拡大が指示された領域を、例えば線形補間法によって徐々に拡大する一方、その他の領域は、一定領域のセルに分割、等間隔にセルの母点を配置し、モザイクタイル化するような処理を段階的に行うことで実現できる。上記のズーム無し映像、エフェクト映像およびズーム映像は、エフェクトの効果音を重畳する多重化部１１０および配信部１１１を経由して映像再生端末２へストリーミング形式で配信される。
【００５９】
図１へ戻り、映像再生端末２において、映像受信部２０１は、ストリーミング形式で配信される映像ストリームを受信する。この映像ストリームには付帯情報として、送信中の映像のズーム率、および送信中の映像の領域の座標がH.264のSEI(Supplemental Enhancement Information)として送信される。
【００６０】
表示バッファ２０２は、受信された映像を一時記憶し、所定のビットレートで読み出して表示部２０３へ出力する。ユーザ操作受付部２０４は、映像コンテンツの配信要求、再生中の映像に対するズーム要求、およびズーム再生中の映像に関する移動要求等に関するユーザ操作を受け付ける。前記ズーム要求は、表示部２０３がタッチパネル機能を備えていれば、拡大したい領域のピンチアウト等によって受け付けることができる。
【００６１】
操作判定部２０５は、受け付けられたズーム要求を映像配信サーバ１が応答できるか否かを判定し、例えば、現在配信中の映像がズーム率中用の符号化ファイルFbに係るストリーミング映像であれば、さらなるズームが可能なので、前記ズーム要求をユーザ操作送信部２０６から映像配信サーバ１へ送信する。このようなズーム要求は、図２０に一例を示したように、RTSPのSET_PARAMETERメッセージに、要求されたズーム倍率Zfおよびズーム位置（座標）Zpを記述して送信される。
【００６２】
なお、上記の実施形態では、主にズーム無し映像からズーム有り映像へのズームイン時の切り換えを例にして説明したが、本発明はこれのみに限定されるものではなく、解像度の異なるズーム有り映像間での切り換え、およびズーム有り映像からズーム無し映像へのズームアウト時にも同様に適用できる。
【００６３】
本実施形態によれば、映像配信サーバ１には、提供可能なズーム倍率の段階に応じて、解像度の異なる複数のズーム用符号化ファイルが予め用意されており、ズーム要求が検知されると、要求されたズーム倍率Zfに応じたズーム用符号化ファイルからズーム位置Zpの映像を切り出してズーム映像とするので、ズーム要求に対して低負荷でズーム映像を配信できるようになる。
[第２実施形態]
【００６４】
次いで、本発明の第２実施形態について説明する。上記の実施形態では、再生中の映像をズームする際の映像切り換えについて説明したが、本発明はこれのみに限定されるものではなく、ズーム映像の再生中にズーム倍率を変更することなくズーム位置のみを移動させる場合にも同様に適用できる。
【００６５】
図１１は、第２実施形態の動作概要を示した図であり、前記映像配信サーバ１は、大型TV用に撮影、編集された高解像度の映像コンテンツ[同図(a)]を、配信解像度すなわち映像再生端末２の表示解像度に変換して配信[同図(b)]すると共に、端末ユーザからのズーム要求に応答して配信解像度のズーム映像を配信[同図(c)]し、さらには端末ユーザからの移動要求に応答して移動先のズーム映像（同じく、配信解像度）を配信[同図(d)]する。
【００６６】
図１２は、第２実施形態におけるズーム映像の移動方法を示した図であり、ここでは、ズーム率大の符号化ファイルFcから切り出されたズーム映像の位置を移動する場合を例にして説明する。
【００６７】
前記映像配信サーバ１は、符号化ファイルFcから同図(a)に黒枠で示した領域の６つのスライスを切り出して生成した同図(c)のズーム映像をストリーミング形式で配信している。映像配信サーバ１では、この配信中に、同図(d)に示したように右側への移動を指定する移動要求が受信されると、当該移動要求に応答して、前記符号化ファイルFcから同図(b)に黒枠で示した範囲の６つのスライスが切り出される。そして、この６つのスライスから同図(e)に示した新たなズーム映像が作成され、配信映像が前記移動前のズーム映像から移動後のズーム映像に切り換えられる。
【００６８】
なお、本実施形態でも図１３に一例を示したように、移動前のズーム映像[同図(a)]から移動後のズーム映像[同図(c)]に切り換える際にはエフェクト映像[同図(b)]を挿入することが望ましい。このようなエフェクト映像は、元データの画素値を左方向にずらすと同時に画面の右端については元画像の右端境界部のピクセル値をコピーすることで生成できる。
【００６９】
本実施形態によれば、映像配信サーバ１が映像再生端末２から、移動先のズーム位置が記述された移動要求の受信に応答して、移動先のズーム位置に応じたスライスを切り出してズーム映像を生成するので、ズーム位置の移動を簡単に実現できるようになる。
[第３実施形態]
【００７０】
次いで、本発明の第３実施形態について説明する。上記の各実施形態では、設定可能なズーム率の上限が、前記映像配信サーバ１に蓄積されているズーム用の符号化ファイルの解像度に依存し、それ以上のズーム率での再生を要求することができなかった。
【００７１】
これに対して、本実施形態では映像配信サーバ１に蓄積されているズーム用符号化ファイルによるズーム率を超えるズーム率が指定されると、映像再生端末２がこれを検知し、周知のデジタルズーム機能により前記表示バッファ２０２上で映像をトレミングして見かけ上の高倍率ズームを実現する。
【００７２】
図１４は、本実施形態のズーム方法を説明するための図であり、ズーム再生が要求されていなければ、映像配信サーバ１からは同図(a)のズーム無し符号化ファイルFaが配信され、映像再生端末２では同図(b)のズーム無し映像が再生される。
【００７３】
ズーム率中のズームが要求されると、映像配信サーバ１からは同図(c)のズーム率中の符号化ファイルFbから切り出されたズーム映像が配信され、映像再生端末２では同図(d)のズーム率中の映像が再生される。また、ズーム率大のズームが要求されると、映像配信サーバ１からは同図(e)のズーム率大の符号化ファイルFcから切り出されたズーム映像が配信され、映像再生端末２では同図(f)のズーム率大の映像が再生される。
【００７４】
さらに高倍率のズームが要求されると、同図(g)に示したように、映像再生端末２では表示バッファ２０２上の映像がズーム位置Zpを中心に要求倍率に応じたサイズにトレミングされて切り出される。切り出されたトレミング画像は、その解像度を補間処理等により配信解像度まで嵩上げすることでリサイズされ、同図(h)のように見かけ上高倍率にズームされているように表示される。
【００７５】
図１５は、本実施形態の機能ブロック図であり、前記と同一の符号は同一または同等部分を表しているので、その説明は省略する。
【００７６】
ローカルズーム部２０７は、ユーザ操作として受け付けられたズーム要求の倍率が、映像配信サーバ１に用意されているズーム用符号化ファイルからのズーム映像の切り出しにより対応できる範囲を超えていると判定すると、表示バッファ２０２に展開されているズーム映像を、指定されたズーム位置Zpを中心に、要求されたズーム率Zfに応じたサイズでトレミングし、トレミング画像の画素数が配信解像度の画素数と一致するように、前記トレミング画像に補間処理等を実施することでリサイズする。
【００７７】
本実施形態によれば、映像配信サーバ１に予め用意されているズーム用符号化ファイルからのズーム映像の切り出しにより対応できるズーム倍率を超えた高倍率でのズーム再生が可能になる。
[第４実施形態]
【００７８】
次いで、本発明の第４実施形態について説明する。上記の実施形態では、エフェクト画像が映像配信サーバ側で挿入されるものとして説明したが、本発明はこれのみに限定されるものではなく、図１６に示したように、表示バッファ２０２に蓄積されている映像に対して加工を行うローカルエフェクト部２０８を設け、ユーザ操作受付部２０４に対するズーム要求が検知されると、その直後からの一定時間、ローカルエフェクト部２０８が表示バッファ２０２に格納された映像に対して、モザイク化等のエフェクトを挿入することで、ローカルな処理によりユーザに対して操作が受け付けられたことをわかりやすく伝えるようにしても良い。
【００７９】
なお、上記の各実施形態では、映像配信サーバ１に蓄積されているコンテンツをユーザ端末からの要求に応じて配信するVDO(Video On Demand)を例にして説明したが、本発明はこれのみに限定されるものではなく、リアルタイムの放送にも同様に適用できる。
【符号の説明】
【００８０】
１…映像配信サーバ，２…映像配信端末，１０１…映像分割符号化部，１０２…IDRフレーム情報DB，１０３…Audioデータ保存DB，１０４…Videoデータ保存DB，１０５…ユーザ操作受信部，１０６…映像切換制御部，１０７…ズーム映像切出部，１０８…スライスデータバッファ，１０９…エフェクト部，１１０…多重化部，１１１…配信部，２０１…映像受信部，２０２…表示バッファ，２０３…表示部，２０４…ユーザ操作受付部，２０５…操作判定部，２０６…ユーザ操作送信部，２０７…ローカルズーム部，２０８…ローカルエフェクト部
【技術分野】
【０００１】
本発明は、映像配信サーバおよび映像再生端末に係り、特に、映像配信サーバが映像再生端末からの要求に応じてストリーミング映像を部分的に拡大してズーム映像として配信する映像配信サーバおよび映像再生端末に関する。
【背景技術】
【０００２】
ケールブルテレビ等の大画面向けコンテンツを、TVだけでなくPC、携帯電話、スタイラス型可搬端末等のデバイスでも視聴可能にする、いわゆるマルチスクリーンサービスが一般的になりつつある。非特許文献１には、ケーブルテレビ向けコンテンツをPC向けに配信する技術が開示されている。こうしたマルチスクリーンサービスにおいては、ディスプレイが大きなテレビ向けに作成された高解像度のコンテンツを、ディスプレイの小さな携帯電話等向けに低解像度に変換する必要がある。
【０００３】
一般的なマルチスクリーンサービスでは、大画面向けコンテンツの全体がそのまま変換（トランスコード）されて携帯電話等にストリーミング配信される。しかしながら、携帯電話等ではディスプレイが小さいのでコンテンツの魅力を十分に発揮されないという問題があった。そのため、ユーザが視聴したい任意の領域を拡大して見ることができるような仕組みが求められていた。
【０００４】
映像コンテンツを拡大する技術として、映像中の任意の部分をトリミング（切り出し）して提示するデジタルズームが特許文献１に開示されている。しかしながら、このようなデジタルズーム機能は、映像撮影時の処理として行われるものであり、映像伝送におけるビットレートの制約やリアルタイムでのストリーミングに必要な低遅延性が考慮されておらず、また高負荷な処理が要求されるので、映像ストリーミングへの適用は困難である。
【０００５】
このような技術課題の解決方法として、ユーザが希望する拡大映像を、サーバ側でリアルタイムにエンコードして送信する、リアルタイムエンコードを用いる方法が容易に想像できる。しかしながら、ユーザが希望する拡大映像を常にエンコードして送信しようとすればサーバの負荷が大きくなり、さらには、その負荷がサービスを受けるユーザ数に比例して大きくなるため、多数のユーザに対して同時にサービスを提供する用途では現実的では無い。
【０００６】
さらに、上記の技術課題の別の解決方法として、非特許文献２には、映像コンテンツをタイル状に分割して符号化し、サーバ側からは全体のタイルの一部分を送信する一方、クライアント側では受信した各タイル毎に映像をデコードし、そのデコード結果を同時に表示することで拡大映像を得る方法が開示されている。しかしながら、この方法では、クライアント側でタイル状に分割された映像を個々にデコードし、同期をとって表示する必要があるので、携帯端末のような処理能力の低い端末への搭載は現実的では無い。
【先行技術文献】
【特許文献】
【０００７】
【特許文献１】特開2008-316739号公報
【非特許文献】
【０００８】
【非特許文献１】Fancast（http://www.fancast.com/）
【非特許文献２】インタラクティブ・パノラマ映像配信システムにおけるマルチ解像度配信方式の一検討（情報処理学会研究報告 Vol.2010-AVM-70 No.8）
【発明の概要】
【発明が解決しようとする課題】
【０００９】
このように、映像配信サーバから配信される映像ストリーミングを再生端末側からの要求に応じて拡大再生させようとすると、映像再生端末側に極めて高い処理能力が要求されたり、あるいはサーバで各ユーザ毎にリアルタイムエンコード処理を行うような、大規模ユーザには適用できない仕組みとなったりするので、映像ストリーミングを再生端末側からの要求に応じて拡大再生させることができなかった。
【００１０】
本発明の目的は、上記した従来技術の課題を解決し、再生端末側に高い処理能力が要求されず、かつ大規模ユーザにサービス提供可能な形で、映像ストリーミングを再生端末側からの要求に応じて拡大再生できる映像配信サーバおよび映像再生端末を提供することにある。
【課題を解決するための手段】
【００１１】
上記の目的を達成するために、本発明は、ストリーミング形式で配信する映像をズーム要求に応答してズーム映像に切り換える映像配信サーバにおいて、以下のような手段を講じた点に特徴がある。
【００１２】
(1)映像コンテンツごとに、配信解像度のズーム無し符号化ファイルおよび配信解像度よりも高解像度の少なくとも一つのズーム用符号化ファイルを記憶する手段と、ズーム倍率およびズーム位置の記述されたズーム要求を検知する手段と、配信中の符号化ファイルに対するズーム要求が検知されると、配信する符号化ファイルを前記ズーム倍率に応じた他の解像度のズーム用符号化ファイルに切り換える手段と、前記切り換えられたズーム用符号化ファイルの前記ズーム位置から前記配信解像度でズーム映像を切り出す手段と、
前記切り出されたズーム映像をストリーミング形式で配信する手段とを具備した。
【００１３】
(b)ズーム用符号化ファイルは、論理的な境界線で仕切った複数の分割映像領域から構成されて当該分割映像領域ごとに符号化され、各分割映像領域はズーム位置に応じた複数の集合で前記配信解像度のズーム映像を構成できるように、その位置、形状およびサイズが規定され、ズーム映像を切り出す手段は、切り換えられたズーム用符号化ファイルから、前記ズーム位置に応じた複数の分割映像領域の集合をズーム映像として切り出すようにした。
【００１４】
(c)ズーム映像として切り出された複数の分割映像領域のマクロブロックのヘッダ情報を、ズーム映像における各マクロブロックの表示位置に応じて書き換える手段を具備した。
【発明の効果】
【００１５】
本発明によれば、以下のような効果が達成される。
【００１６】
(1)映像配信サーバには、提供可能なズーム倍率の段階に応じて、解像度の異なる複数のズーム用符号化ファイルが予め用意されており、ズーム要求が検知されると、要求されたズーム倍率に応じたズーム用符号化ファイルからズーム位置の映像を切り出してズーム映像とするので、ズーム要求に対して低負荷でズーム映像を配信できるようになる。
【００１７】
(2)ズーム用符号化ファイルは、論理的な境界線で仕切った複数の分割映像領域から構成されて当該分割映像領域ごとに符号化され、ズーム映像は複数の分割映像領域の集合として構成できるので、分割映像領域を単位としてズーム位置を設定することにより、ズーム映像の出しが容易になる。
【００１８】
(3)ズーム用符号化ファイルから切り出された複数の分割映像領域の映像ヘッダ情報が、処理能力の低い受信端末でも低負荷で再生できるように映像配信サーバ側で予め書き換えられてから配信されるので、受信端末側ではズーム映像の表示に際して高負荷な処理が不要となる。
【図面の簡単な説明】
【００１９】
【図１】本発明の第１実施形態に係る映像配信システムのブロック図である。
【図２】第１実施形態の動作概要を示した図である。
【図３】映像配信サーバに用意される符号化ファイルの一例を示した図である。
【図４】ズーム用符号化ファイルから複数のスライスを切り出してズーム映像を配信する方法を模式的に表現した図である。
【図５】ズーム位置に応じて複数の異なるスライスを切り出す方法を示した図である。
【図６】ズーム映像の再生例を示した図である。
【図７】映像ヘッダ情報の書き換え方法を示した図である。
【図８】映像ヘッダ情報の書き換え前後を比較した図である。
【図９】エフェクト部の動作を示したシーケンスフローである。
【図１０】映像切り換え時に挿入されるエフェクトの一例を示した図である。
【図１１】第２実施形態の動作概要を示した図である。
【図１２】ズーム映像の移動例を示した図である。
【図１３】ズーム位置の移動時に挿入されるエフェクトの一例を示した図である。
【図１４】第３実施形態の動作概要を示した図である。
【図１５】第３実施形態に係る映像配信システムのブロック図である。
【図１６】第４実施形態に係る映像配信システムのブロック図である。
【図１７】符号化パラメータの書き換え方法を示した図である。
【図１８】IDRフレーム情報の一例を示した図である。
【図１９】IDRフレーム情報の他の一例を示した図である。
【図２０】ズーム要求メッセージの一例を示した図である。
【発明を実施するための形態】
【００２０】
[第１実施形態]
図１は、本発明の第１実施形態に係る映像配信システムの構成を示したブロック図であり、映像コンテンツをストリーミング形式で配信する映像配信サーバ１と、前記映像コンテンツを受信して再生する映像再生端末２とが、インターネット等の広域ネットワーク３を介して接続されている。
【００２１】
図２は、第１実施形態の動作概要を示した図であり、前記映像配信サーバ１は、大型TV用に撮影、編集された高解像度(例えば、1440×1080画素)の映像コンテンツ[同図(a)]を、配信解像度すなわち映像再生端末２の表示解像度(例えば、640×480画素)に変換して配信[同図(b)]すると共に、端末ユーザからのズーム要求に応答してズーム映像を配信解像度で配信[同図(c)]する。
【００２２】
本発明では、このようなズーム映像の配信を、ビットレートや伝送遅延に悪影響を与えることなく、かつ映像再生端末２側に高い処理能力を要求することなく実現すべく、図３に示したように、配信解像度のズーム無し符号化ファイルFaと共に、画像領域の一部から配信解像度のズーム映像を切り出せる複数のズーム用符号化ファイルFb、Fcが、映像コンテンツごとに作成されて予め映像配信サーバ１に蓄積される。
【００２３】
本実施形態では、ズーム倍率として３種類（ズーム無し、ズーム率中、ズーム率大）を設定できるものとし、ズーム率中用の符号化ファイルFb[同図(b)]の解像度はズーム無し用符号化ファイルFa[同図(a)]の配信解像度よりも高く設定され、ズーム率大用の符号化ファイルFc[同図(c)]の解像度はズーム率中用の符号化ファイルFa[同図(a)]の解像度よりも更に高く設定されている。
【００２４】
前記各ズーム用符号化ファイルFb，Fcに示されている格子線は、後述するスライス境界を表し、例えば、端末ユーザによりズーム率中の拡大再生が要求されると、図４に一例を示したように、ズーム率中用の符号化ファイルFbからズーム位置に応じて、スライス境界で仕切られた２行２列の映像範囲（配信解像度）のみが切り出されてズーム映像として配信される。各スライスは、ズーム位置に応じた複数の集合で配信解像度のズーム映像を構成できるように、その位置、形状およびサイズが規定される。
【００２５】
本実施形態では、図５に一例を示したように、ズーム用符号化ファイルごとにズーム基準点O1，O2，O3，O4…が予め設定されており、ズーム用符号化ファイルFbであれば、ズーム基準点O1にはスライス1-1，1-2，2-1、2-2が切り出し対象として対応付けられ、ズーム基準点O2にはスライス1-2，1-3，2-2、2-3が切り出し対象として対応付けられている。そして、要求されたズーム位置から最近傍のズーム基準点がO1であれば、当該ズーム基準点O1に対応した４つのスライス1-1，1-2，2-1、2-2が切り出されてズーム映像とされる。
【００２６】
すなわち、図４(a)のズーム無し映像の再生中に、ズーム基準点O1の近傍を指定してズーム率中の拡大再生が要求されると、同図(b)に示したように、４つのスライス[1-1]，[1-2]，[2-1]，[2-2]で構成される左上領域の映像領域がズーム映像として配信される。また、ズーム基準点O2の近傍を指定してズーム率中の拡大再生が要求されると、同図(c)に示したように、４つのスライス[1-2]，[1-3]，[2-2]，[2-3]で構成される右上領域の映像領域がズーム映像として配信される。以下同様に、ズーム基準点O3の近傍が指定されると、同図(d)に示したように、４つのスライス[2-1]，[2-2]，[3-1]，[3-2]で構成される左下領域の映像領域がズーム映像として配信され、ズーム基準点O4の近傍が指定されると、同図(e)に示したように、４つのスライス[2-2]，[2-3]，[3-2]，[3-3]で構成される右下領域の映像領域がズーム映像として配信される。
【００２７】
図６は、前記ズーム映像の再生例を示した図であり、映像配信サーバ１から受信したズーム無し用の符号化ファイルFaを復号して再生中[同図(a)]の映像再生端末２においてズーム率中への拡大が要求[同図(b)]されると、映像配信サーバ１では、配信ファイルが前記ズーム無し用の符号化ファイルFaからズーム率中用の符号化ファイルFbに切り換えられ、当該符号化ファイルFbからズーム位置に応じて切り出されたズーム映像が配信される。その結果、映像再生端末２ではズーム率中の映像[同図(c)]が再生される。
【００２８】
このズーム映像の再生中に、更にズーム率大への拡大が要求[同図(c)]されると、映像配信サーバ１では配信ファイルが前記ズーム率中の符号化ファイルFbからズーム率大用の符号化ファイルFcに切り換えられ、当該符号化ファイルFcからズーム位置に応じて切り出されたズーム映像が配信される。その結果、映像再生端末２ではズーム率大の映像が再生[同図(d)]される。
【００２９】
なお、ズーム無し用の符号化ファイルFaを再生中[同図(a)]にズーム率大への切り換えが要求[同図(e)]された場合も同様に、映像配信サーバ１では配信ファイルが前記ズーム無し用の符号化ファイルFaからズーム率大用の符号化ファイルFcに切り換えられ、当該符号化ファイルFcからズーム位置に応じて切り出されたズーム映像が配信される。その結果、映像再生端末２ではズーム率大の映像コンテンツが再生[同図(d)]される。
【００３０】
次いで、前記図１を参照して本発明の構成を詳細に説明する。映像配信サーバ１において、映像分割符号化部１０１は、配信対象の映像コンテンツ４を符号化圧縮する。本実施形態ではH.264符号化方式が採用され、そのイントラフレームであるIDRフレームの情報がIDRフレーム情報DB１０２に蓄積され、AudioデータがAudioデータ保存DB１０３に蓄積され、VideoデータがVideoデータ保存DB１０４に蓄積される。前記IDRフレーム情報は、IDRフレームが一定間隔で挿入される場合は図１８の形式で蓄積され、一定間隔で挿入されない場合には、図１９に示したように、全てのIDRフレームのフレーム番号を列挙する様式で蓄積される。
【００３１】
前記Videoデータ保存DB１０４には、設定可能なズーム倍率の種類に応じて解像度の異なる複数の符号化ファイルが映像コンテンツごとに生成されて蓄積される。本実施形態では、前記図３に示したように、ズーム無し用の符号化ファイルFaと共に、ズーム率中用の符号化ファイルFbおよびズーム率大用の符号化ファイルFcの計３つの符号化ファイルが作成、蓄積される。ズーム用の２つの符号化ファイルFb，Fcに関しては、映像コンテンツが論理的な境界線で仕切られた所定の分割映像領域（本実施形態では、H.264符号化方式を採用するのでスライス）ごとに符号化され、フレーム内予測符号化（イントラ符号化）およびフレーム間予測符号化（インター符号化）のいずれのプロセスにおいても、スライス境界を跨ぐ予測が禁止される。これにより、前記図４を参照して説明したように、ズーム位置に応じて複数の異なるスライスを切り出してズーム映像を構築する場合でも、各スライスを復号する際に他のスライス内のマクロブロックが参照されることがないので、復号に破綻が生じることはない。
【００３２】
ただし、このようにスライス境界を跨ぐ予測を一律に禁止してしまうと符号化効率が低下してしまう懸念がある。一方、前記図４を参照すれば明らかなように、例えばスライスが３行３列に設定されたズーム用符号化ファイルFbから、ズーム位置に応じて２行２列を切り出してズーム映像を生成する場合、スライス1-1が切り出される場合はスライス1-2、2-1、2-2も必ず切り出される。また、スライス1-2が切り出される場合、スライス2-2も必ず切り出される。したがって、常に同時に切り出されるスライスを予め定義できるならば、当該スライス間ではフレーム内予測符号化およびフレーム間予測符号化のいずれのプロセスにおいても、スライス境界を跨ぐ予測を許容することで符号化効率を向上させることが可能になる。
【００３３】
これを一般化すると、ズーム用符号化ファイルのスライス構成がXnum行Ynum列であり、そこから切り出されるズーム映像のスライス構成がw行h列であるとき、注目スライスのIDをx-yとすると、
【００３４】
(1)ID x-yのスライスが右方向に予測参照可能なスライスの数Bright = w-x, (但し、負の場合はBright =0, また、Bright≦Xnum - x)
【００３５】
(2)ID x-yのスライスが左方向に予測参照可能なスライスの領域Bleft = w-(Xnum -x)-1, (但し、負の場合はBleft =0, また、Bleft≦x-1)
【００３６】
(3)ID x-yのスライスが上方向に予測参照可能なスライスの数Bup = h-(Ynum -y)-1, (但し、負の場合はBup =0, また、Bup≦y-1)
【００３７】
(4)ID x-yのスライスが下方向に予測参照可能なスライスの数Bdown = h-y, (但し、負の場合はBdown =0, また、Bdown≦Ynum - y)
の各条件が成立する。したがって、上記の条件(1)〜(4)を満足できるスライス同士はスライス境界を跨ぐ予測を符号化に用いることを許容するようにしてもよい。
【００３８】
ユーザ操作受信部１０５は、映像再生端末２から送信されたユーザ操作を受信し、当該ユーザ操作がズーム倍率Zfおよびズーム位置Zpの記述された「ズーム要求」であれば、これを映像切換制御部１０６へ通知する。
【００３９】
映像切換制御部１０６は、前記Videoデータ保存DB１０４から読み出して配信する映像を、前記ユーザ操作受信部１０５で受信されたズーム要求のズーム倍率Zfに対応したズーム用符号化ファイルに切り換える。切り換えられたズーム用符号化ファイルは、前記Audioデータ保存DB１０３から読み出されるAudioデータと共に出力される。すなわち、ズーム率中のズーム要求であればズーム率中用の符号化ファイルFbに切り換えられ、ズーム率大のズーム要求であればズーム率大用の符号化ファイルFcに切り換えられる。このような映像切換は、全てイントラフレーム（本実施形態では、IDRフレーム）のタイミングで行われる。
【００４０】
ズーム映像切出部１０７は、前記図４を参照して詳述したように、ズーム要求に記述されたズーム位置Zpに応じた複数のスライスを前記切り換えられたズーム用符号化ファイルから切り出し、ズーム映像に変換してスライスデータバッファ１０８に蓄積する。なお、このようなズーム映像の切り出しは、前記ズーム用符号化ファイルの映像ヘッダ情報を書き換えて単一スライス構造のズーム映像を生成することにより実施される。
【００４１】
図７は、前記映像ヘッダ情報の書き換え方法を模式的に表現した図であり、ここでは、ズーム率中の符号化ファイルFbから、その左上領域の４つのスライス1-1，1-2，2-1，2-2を切り出して単一スライス構造のズーム映像を生成する場合を例にして説明する。
【００４２】
ズーム用の符号化ファイルFbでは、同図(a)に示したように、スライス1-1，1-2，2-1，2-2ごとに全てのマクロブロックがラスター順の連番で管理されている。しかしながら、処理能力の低い映像再生端末２では、任意形状のスライスを組み合わせて構成される映像をそのまま復号することができない。そこで、本実施形態では各スライスの全てのマクロブロックに、単一スライス構造におけるラスター順で連番を付け直すことで、映像再生端末２では、符号化ファイルFbを単一スライス構造として復号できるようにしている。
【００４３】
図８は、書き換え前の符号化ファイルFbの映像ヘッダと書き換え後のズーム映像の映像ヘッダとを比較した図であり、同図(a)の符号化ファイルFbでは、一つのフレームが複数のスライスから構成され、スライスごとに全てのマクロブロックに対して１番から始まる序数が付されている。これに対して、同図(b)のズーム映像では、一つのフレームが前記４つのスライスを連結した一つのスライスで構成され、全てのマクロブロックに一貫した連番（１から１１８０）が付されている。
【００４４】
なお、SPS(Sequence Parameter Set)は、映像シーケンス全体の符号化にかかわる情報が記述されるヘッダであり、映像を符号化する際に使われたツールの種類（プロファイル：profile_idc）、対象とするデコーダの処理能力を表すレベル（level_idc）、画面サイズ（マクロブロックの数で表現された画面サイズ：pic_width_in_mbs_minus1、pic_height_in_map_units_minus1）に関する情報等が含まれる。本実施形態では、このSPSに関しても、プロファイル等の画像サイズに依存しない情報については符号化ファイルFbのSPSがそのままズーム映像にも付与されるが、符号化レベル、画サイズ等の値は、生成されるズーム映像のサイズに応じた値に書き換えられる。
【００４５】
さらに、PPS(Picture Parameter Set)は、フレームの符号化に関する情報が記述されるヘッダであり、フレームの符号化に使われている符号化手法の種類（entropy_coding_mode_flag）、フレームを構成するスライスの枚数（num_slice_groups_minus1）、スライスの配置（slice_group_map_type）などの情報が含まれる。本実施形態では、このPPSに関しても、符号化ファイルFbでは、１フレームを複数のスライスで構成するための配置およびスライス数が記述されているが、ズーム映像では、単一スライスが一つのフレームで構成されるように書き換えられる。
【００４６】
さらに、マクロブロックの輝度成分を量子化するための量子化パラメータ（QP）の値がマクロブロック毎に制御される場合、スライス境界の右に隣接するマクロブロックについては、そのQPを導出するための差分情報を書き換えることも望ましい。例えば、H.264符号化においては、スライス中のマクロブロックのQPYは次式(1)で与えられる。
【００４７】
【数１】
【００４８】
ここで、QPY,PREVは図7の順番で数えた場合に直前に位置するマクロブロックのQPYの値、mb_qp_deltaはマクロブロック中に記載されたQPの差分情報、QpBdOffsetYはオフセット値であり、スライスの先頭に位置するマクロブロックでは、QPY,PREVは初期値を取る。そこで、図１７に示すように、デフォルトのQP値が２４、図中のマクロブロックの格子に記載された値が各マクロブロックのQPだとすると、複数のスライスで構成された映像から単一スライスの映像に変換するときに、マクロブロックの順番が変わることに伴って直前に位置するマクロブロックが変更となる。そこで、mb_qp_deltaの値を以下の通りに変換することで、各マクロブロックのQPYの値を保ち、マクロブロックについて再符号化を不要にできる。
【００４９】
即ち、あるマクロブロックがmb_qp_delta_oldを持ち、そのマクロブロックが参照するQPY,PREVの値がQPY,PREV_AからQPY,PREV_Bに変更される場合、そのmb_qp_delta_newを次式(2)で算出する。
【００５０】
【数２】
【００５１】
このような計算を、スライス境界の右端に位置するマクロブロックに対して行うことで、既に計算済みの最適な量子化パラメータをQPYを、最低限の処理で再利用することが可能となる。なお、当然ながら、フレームを構成するマクロブロックが全て同一の値を取るような場合は、この処理は不要なので実行する必要はない。
【００５２】
また、画面内の他のマクロブロックの情報を参照して符号化を行う、イントラ予測の符号化が用いられている場合、スライス境界の右端あるいは上端に隣接するマクロブロックについては、符号化された輝度信号や色差信号についても、マクロブロックの位置に応じて必要な変更を行うことが望ましい。
【００５３】
すなわち、イントラ符号化の平均値予測を行う場合、通常は当該マクロブロックの上および左に隣接する32個（16×16マクロブロックの場合）の画素の平均値を用いて当該マクロブロックの信号を符号化するが、スライスの上端に位置するマクロブロックについては、その左に隣接する16個の画素の平均値のみを用いて符号化を行う。したがって、図7に示したように、複数スライスの映像を単一スライスの映像に変換する際に、スライス境界の右端あるいは上端に隣接するマクロブロックでイントラ符号化の平均値予測が用いられている場合は、その予測に用いる平均値を変更し、マクロブロック中の輝度値を再計算することが望ましい。色差信号についても同様である。
【００５４】
このような処理を、スライス境界の右端あるいは上端に隣接するマクロブロックについてのみ行い、それ以外のマクロブロックについては、符号化された輝度信号、色差信号をそのまま活用することで、単一スライス化に伴う計算量を最小限に抑えることが可能となる。
【００５５】
エフェクト部１０９は、ストリーミング形式で配信する映像のズーム率を切り換える際に、その切り換え前後の映像間にエフェクト効果を挿入する。エフェクト効果を挿入する際には、その元となる復号済み画像フレームが必要となる。そこで、至近の復号済み画像フレームとして、直後のIDRフレームを取得する。
【００５６】
図９は、前記エフェクト部１０９の動作を示したシーケンスフローであり、ズーム要求が検知されると、その直後(n番目)のIDRフレームの配信タイミングである時刻t1において、配信映像を現在のズーム無し映像からエフェクト映像に切り換え、更に次(n+1番目)のIDRフレームの配信タイミングである時刻t2において、配信映像を前記エフェクト映像からズーム映像に切り換える。
【００５７】
図１０は、映像再生端末２に表示されるエフェクト効果の一例を示した図であり、同図(a)のズーム無し映像上でズーム再生が要求されると、次のIDRフレームの配信タイミングである時刻t1において、同図(b)に示したように、ズーム領域以外がモザイク処理され、さらに同図(c)に示したように、次のIDRフレームの配信タイミングである時刻t2まで、前記ズーム領域が段階的に拡大され、当該時刻t2において、配信映像がズーム映像に切り換えられる。この際、エフェクト効果の変化に合わせて効果音を発生させるようにしても良い。
【００５８】
前記エフェクト画像は、n番目のIDRフレームから(n+1)番目のIDRフレームまで徐々に変化するフレーム画像として生成され、映像データとしてエンコードしてスライスデータバッファ１０８に書き込まれる。図１０のエフェクト画像は、拡大が指示された領域を、例えば線形補間法によって徐々に拡大する一方、その他の領域は、一定領域のセルに分割、等間隔にセルの母点を配置し、モザイクタイル化するような処理を段階的に行うことで実現できる。上記のズーム無し映像、エフェクト映像およびズーム映像は、エフェクトの効果音を重畳する多重化部１１０および配信部１１１を経由して映像再生端末２へストリーミング形式で配信される。
【００５９】
図１へ戻り、映像再生端末２において、映像受信部２０１は、ストリーミング形式で配信される映像ストリームを受信する。この映像ストリームには付帯情報として、送信中の映像のズーム率、および送信中の映像の領域の座標がH.264のSEI(Supplemental Enhancement Information)として送信される。
【００６０】
表示バッファ２０２は、受信された映像を一時記憶し、所定のビットレートで読み出して表示部２０３へ出力する。ユーザ操作受付部２０４は、映像コンテンツの配信要求、再生中の映像に対するズーム要求、およびズーム再生中の映像に関する移動要求等に関するユーザ操作を受け付ける。前記ズーム要求は、表示部２０３がタッチパネル機能を備えていれば、拡大したい領域のピンチアウト等によって受け付けることができる。
【００６１】
操作判定部２０５は、受け付けられたズーム要求を映像配信サーバ１が応答できるか否かを判定し、例えば、現在配信中の映像がズーム率中用の符号化ファイルFbに係るストリーミング映像であれば、さらなるズームが可能なので、前記ズーム要求をユーザ操作送信部２０６から映像配信サーバ１へ送信する。このようなズーム要求は、図２０に一例を示したように、RTSPのSET_PARAMETERメッセージに、要求されたズーム倍率Zfおよびズーム位置（座標）Zpを記述して送信される。
【００６２】
なお、上記の実施形態では、主にズーム無し映像からズーム有り映像へのズームイン時の切り換えを例にして説明したが、本発明はこれのみに限定されるものではなく、解像度の異なるズーム有り映像間での切り換え、およびズーム有り映像からズーム無し映像へのズームアウト時にも同様に適用できる。
【００６３】
本実施形態によれば、映像配信サーバ１には、提供可能なズーム倍率の段階に応じて、解像度の異なる複数のズーム用符号化ファイルが予め用意されており、ズーム要求が検知されると、要求されたズーム倍率Zfに応じたズーム用符号化ファイルからズーム位置Zpの映像を切り出してズーム映像とするので、ズーム要求に対して低負荷でズーム映像を配信できるようになる。
[第２実施形態]
【００６４】
次いで、本発明の第２実施形態について説明する。上記の実施形態では、再生中の映像をズームする際の映像切り換えについて説明したが、本発明はこれのみに限定されるものではなく、ズーム映像の再生中にズーム倍率を変更することなくズーム位置のみを移動させる場合にも同様に適用できる。
【００６５】
図１１は、第２実施形態の動作概要を示した図であり、前記映像配信サーバ１は、大型TV用に撮影、編集された高解像度の映像コンテンツ[同図(a)]を、配信解像度すなわち映像再生端末２の表示解像度に変換して配信[同図(b)]すると共に、端末ユーザからのズーム要求に応答して配信解像度のズーム映像を配信[同図(c)]し、さらには端末ユーザからの移動要求に応答して移動先のズーム映像（同じく、配信解像度）を配信[同図(d)]する。
【００６６】
図１２は、第２実施形態におけるズーム映像の移動方法を示した図であり、ここでは、ズーム率大の符号化ファイルFcから切り出されたズーム映像の位置を移動する場合を例にして説明する。
【００６７】
前記映像配信サーバ１は、符号化ファイルFcから同図(a)に黒枠で示した領域の６つのスライスを切り出して生成した同図(c)のズーム映像をストリーミング形式で配信している。映像配信サーバ１では、この配信中に、同図(d)に示したように右側への移動を指定する移動要求が受信されると、当該移動要求に応答して、前記符号化ファイルFcから同図(b)に黒枠で示した範囲の６つのスライスが切り出される。そして、この６つのスライスから同図(e)に示した新たなズーム映像が作成され、配信映像が前記移動前のズーム映像から移動後のズーム映像に切り換えられる。
【００６８】
なお、本実施形態でも図１３に一例を示したように、移動前のズーム映像[同図(a)]から移動後のズーム映像[同図(c)]に切り換える際にはエフェクト映像[同図(b)]を挿入することが望ましい。このようなエフェクト映像は、元データの画素値を左方向にずらすと同時に画面の右端については元画像の右端境界部のピクセル値をコピーすることで生成できる。
【００６９】
本実施形態によれば、映像配信サーバ１が映像再生端末２から、移動先のズーム位置が記述された移動要求の受信に応答して、移動先のズーム位置に応じたスライスを切り出してズーム映像を生成するので、ズーム位置の移動を簡単に実現できるようになる。
[第３実施形態]
【００７０】
次いで、本発明の第３実施形態について説明する。上記の各実施形態では、設定可能なズーム率の上限が、前記映像配信サーバ１に蓄積されているズーム用の符号化ファイルの解像度に依存し、それ以上のズーム率での再生を要求することができなかった。
【００７１】
これに対して、本実施形態では映像配信サーバ１に蓄積されているズーム用符号化ファイルによるズーム率を超えるズーム率が指定されると、映像再生端末２がこれを検知し、周知のデジタルズーム機能により前記表示バッファ２０２上で映像をトレミングして見かけ上の高倍率ズームを実現する。
【００７２】
図１４は、本実施形態のズーム方法を説明するための図であり、ズーム再生が要求されていなければ、映像配信サーバ１からは同図(a)のズーム無し符号化ファイルFaが配信され、映像再生端末２では同図(b)のズーム無し映像が再生される。
【００７３】
ズーム率中のズームが要求されると、映像配信サーバ１からは同図(c)のズーム率中の符号化ファイルFbから切り出されたズーム映像が配信され、映像再生端末２では同図(d)のズーム率中の映像が再生される。また、ズーム率大のズームが要求されると、映像配信サーバ１からは同図(e)のズーム率大の符号化ファイルFcから切り出されたズーム映像が配信され、映像再生端末２では同図(f)のズーム率大の映像が再生される。
【００７４】
さらに高倍率のズームが要求されると、同図(g)に示したように、映像再生端末２では表示バッファ２０２上の映像がズーム位置Zpを中心に要求倍率に応じたサイズにトレミングされて切り出される。切り出されたトレミング画像は、その解像度を補間処理等により配信解像度まで嵩上げすることでリサイズされ、同図(h)のように見かけ上高倍率にズームされているように表示される。
【００７５】
図１５は、本実施形態の機能ブロック図であり、前記と同一の符号は同一または同等部分を表しているので、その説明は省略する。
【００７６】
ローカルズーム部２０７は、ユーザ操作として受け付けられたズーム要求の倍率が、映像配信サーバ１に用意されているズーム用符号化ファイルからのズーム映像の切り出しにより対応できる範囲を超えていると判定すると、表示バッファ２０２に展開されているズーム映像を、指定されたズーム位置Zpを中心に、要求されたズーム率Zfに応じたサイズでトレミングし、トレミング画像の画素数が配信解像度の画素数と一致するように、前記トレミング画像に補間処理等を実施することでリサイズする。
【００７７】
本実施形態によれば、映像配信サーバ１に予め用意されているズーム用符号化ファイルからのズーム映像の切り出しにより対応できるズーム倍率を超えた高倍率でのズーム再生が可能になる。
[第４実施形態]
【００７８】
次いで、本発明の第４実施形態について説明する。上記の実施形態では、エフェクト画像が映像配信サーバ側で挿入されるものとして説明したが、本発明はこれのみに限定されるものではなく、図１６に示したように、表示バッファ２０２に蓄積されている映像に対して加工を行うローカルエフェクト部２０８を設け、ユーザ操作受付部２０４に対するズーム要求が検知されると、その直後からの一定時間、ローカルエフェクト部２０８が表示バッファ２０２に格納された映像に対して、モザイク化等のエフェクトを挿入することで、ローカルな処理によりユーザに対して操作が受け付けられたことをわかりやすく伝えるようにしても良い。
【００７９】
なお、上記の各実施形態では、映像配信サーバ１に蓄積されているコンテンツをユーザ端末からの要求に応じて配信するVDO(Video On Demand)を例にして説明したが、本発明はこれのみに限定されるものではなく、リアルタイムの放送にも同様に適用できる。
【符号の説明】
【００８０】
１…映像配信サーバ，２…映像配信端末，１０１…映像分割符号化部，１０２…IDRフレーム情報DB，１０３…Audioデータ保存DB，１０４…Videoデータ保存DB，１０５…ユーザ操作受信部，１０６…映像切換制御部，１０７…ズーム映像切出部，１０８…スライスデータバッファ，１０９…エフェクト部，１１０…多重化部，１１１…配信部，２０１…映像受信部，２０２…表示バッファ，２０３…表示部，２０４…ユーザ操作受付部，２０５…操作判定部，２０６…ユーザ操作送信部，２０７…ローカルズーム部，２０８…ローカルエフェクト部
【特許請求の範囲】
【請求項１】
ストリーミング形式で配信する映像をズーム要求に応答してズーム映像に切り換える映像配信サーバにおいて、
映像コンテンツごとに、配信解像度のズーム無し符号化ファイルおよび配信解像度よりも高解像度の少なくとも一つのズーム用符号化ファイルを記憶する手段と、
ズーム倍率およびズーム位置の記述されたズーム要求を検知する手段と、
配信中の符号化ファイルに対するズーム要求が検知されると、配信する符号化ファイルを前記ズーム倍率に応じた他の解像度のズーム用符号化ファイルに切り換える手段と、
前記切り換えられたズーム用符号化ファイルの前記ズーム位置から前記配信解像度でズーム映像を切り出す手段と、
前記切り出されたズーム映像をストリーミング形式で配信する手段とを具備したことを特徴とする映像配信サーバ。
【請求項２】
前記ズーム用符号化ファイルは、論理的な境界線で仕切った複数の分割映像領域から構成されて当該分割映像領域ごとに符号化され、
前記各分割映像領域は、前記ズーム位置に応じた複数の集合で前記配信解像度のズーム映像を構成できるように、その位置、形状およびサイズが規定され、
前記ズーム映像を切り出す手段は、前記切り換えられたズーム用符号化ファイルから、前記ズーム位置に応じた複数の分割映像領域の集合をズーム映像として切り出すことを特徴とする請求項１に記載の映像配信サーバ。
【請求項３】
前記ズーム映像として切り出された複数の分割映像領域のマクロブロックのヘッダ情報を、ズーム映像における各マクロブロックの表示位置に応じて書き換える手段を具備したことを特徴とする請求項２に記載の映像配信サーバ。
【請求項４】
前記マクロブロックのヘッダ情報を書き換える手段は、ズーム映像として切り出された複数の分割映像領域が単一の映像領域となるように、各マクロブロックに付される序数を書き換えることを特徴とする請求項３に記載の映像配信サーバ。
【請求項５】
前記マクロブロックのヘッダ情報を書き換える手段は、各マクロブロックが持つ量子化パラメータ情報が、マクロブロックの復号順で直前のマクロブロックが持つ量子化パラメータ情報との差分として格納されている場合に、前記論理的な境界線の右隣りに位置するマクロブロックに対して、その差分情報を、変換された新たなマクロブロック復号順序に応じて書き換えることを特徴とする請求項３に記載の映像配信サーバ。
【請求項６】
映像コンテンツごとに、配信解像度のズーム無し符号化ファイルおよび配信解像度よりも高解像度の少なくとも一つのズーム用符号化ファイルを生成する符号化手段を具備し、
前記符号化手段は、ズーム用符号化ファイルを、論理的な境界線で仕切られた複数の分割映像領域ごとに符号化することを特徴とする請求項１ないし５のいずれかに記載の映像配信サーバ。
【請求項７】
前記符号化手段は、一の分割映像領域の各マクロブロックを符号化する際に他の一の分割領域のマクロブロックを参照しないことを特徴とする請求項６に記載の映像配信サーバ。
【請求項８】
前記符号化手段は、一の分割映像領域の各マクロブロックを符号化する際に、当該一の
分割映像領域と常に同時に切り出されてズーム映像を構成する他の分割映像領域のマクロブロックの参照は許容されることを特徴とする請求項７に記載の映像配信サーバ。
【請求項９】
前記符号化が、イントラ符号化およびインター符号化であることを特徴とする請求項６ないし８のいずれかに記載の映像配信サーバ。
【請求項１０】
前記切り換え前後のズーム映像間にエフェクト映像を挿入するエフェクト手段をさらに具備したことを特徴とする請求項１ないし９のいずれかに記載の映像配信サーバ。
【請求項１１】
前記映像切換がイントラフレームのタイミングで実行されることを特徴とする請求項１ないし１０のいずれかに記載の映像配信サーバ。
【請求項１２】
映像配信サーバからストリーミング形式で配信される映像コンテンツを再生する映像再生端末において、
再生中の映像に対するズーム操作を受け付ける手段と、
前記ズーム操作に応答して、ズーム倍率およびズーム位置の記述されたズーム要求を前記映像配信サーバへ送信する手段と、
前記ズーム要求に応答して切り換えられたズーム用符号化ファイルを受信して再生する表示する手段とを具備したことを特徴とする映像再生端末。
【請求項１３】
前記ズーム倍率が前記映像配信サーバで配信可能な最高倍率を超えていると、前記ズーム映像の表示バッファ上でズーム位置をトレミングして拡大するデジタルズームにより前記ズーム倍率を実現するローカルズーム手段を具備したことを特徴とする請求項１２に記載の映像再生端末。
【請求項１４】
前記切り換え前後のズーム映像間にエフェクト映像を挿入するローカルエフェクト手段をさらに具備したことを特徴とする請求項１２または１３に記載の映像再生端末。
【請求項１】
ストリーミング形式で配信する映像をズーム要求に応答してズーム映像に切り換える映像配信サーバにおいて、
映像コンテンツごとに、配信解像度のズーム無し符号化ファイルおよび配信解像度よりも高解像度の少なくとも一つのズーム用符号化ファイルを記憶する手段と、
ズーム倍率およびズーム位置の記述されたズーム要求を検知する手段と、
配信中の符号化ファイルに対するズーム要求が検知されると、配信する符号化ファイルを前記ズーム倍率に応じた他の解像度のズーム用符号化ファイルに切り換える手段と、
前記切り換えられたズーム用符号化ファイルの前記ズーム位置から前記配信解像度でズーム映像を切り出す手段と、
前記切り出されたズーム映像をストリーミング形式で配信する手段とを具備したことを特徴とする映像配信サーバ。
【請求項２】
前記ズーム用符号化ファイルは、論理的な境界線で仕切った複数の分割映像領域から構成されて当該分割映像領域ごとに符号化され、
前記各分割映像領域は、前記ズーム位置に応じた複数の集合で前記配信解像度のズーム映像を構成できるように、その位置、形状およびサイズが規定され、
前記ズーム映像を切り出す手段は、前記切り換えられたズーム用符号化ファイルから、前記ズーム位置に応じた複数の分割映像領域の集合をズーム映像として切り出すことを特徴とする請求項１に記載の映像配信サーバ。
【請求項３】
前記ズーム映像として切り出された複数の分割映像領域のマクロブロックのヘッダ情報を、ズーム映像における各マクロブロックの表示位置に応じて書き換える手段を具備したことを特徴とする請求項２に記載の映像配信サーバ。
【請求項４】
前記マクロブロックのヘッダ情報を書き換える手段は、ズーム映像として切り出された複数の分割映像領域が単一の映像領域となるように、各マクロブロックに付される序数を書き換えることを特徴とする請求項３に記載の映像配信サーバ。
【請求項５】
前記マクロブロックのヘッダ情報を書き換える手段は、各マクロブロックが持つ量子化パラメータ情報が、マクロブロックの復号順で直前のマクロブロックが持つ量子化パラメータ情報との差分として格納されている場合に、前記論理的な境界線の右隣りに位置するマクロブロックに対して、その差分情報を、変換された新たなマクロブロック復号順序に応じて書き換えることを特徴とする請求項３に記載の映像配信サーバ。
【請求項６】
映像コンテンツごとに、配信解像度のズーム無し符号化ファイルおよび配信解像度よりも高解像度の少なくとも一つのズーム用符号化ファイルを生成する符号化手段を具備し、
前記符号化手段は、ズーム用符号化ファイルを、論理的な境界線で仕切られた複数の分割映像領域ごとに符号化することを特徴とする請求項１ないし５のいずれかに記載の映像配信サーバ。
【請求項７】
前記符号化手段は、一の分割映像領域の各マクロブロックを符号化する際に他の一の分割領域のマクロブロックを参照しないことを特徴とする請求項６に記載の映像配信サーバ。
【請求項８】
前記符号化手段は、一の分割映像領域の各マクロブロックを符号化する際に、当該一の
分割映像領域と常に同時に切り出されてズーム映像を構成する他の分割映像領域のマクロブロックの参照は許容されることを特徴とする請求項７に記載の映像配信サーバ。
【請求項９】
前記符号化が、イントラ符号化およびインター符号化であることを特徴とする請求項６ないし８のいずれかに記載の映像配信サーバ。
【請求項１０】
前記切り換え前後のズーム映像間にエフェクト映像を挿入するエフェクト手段をさらに具備したことを特徴とする請求項１ないし９のいずれかに記載の映像配信サーバ。
【請求項１１】
前記映像切換がイントラフレームのタイミングで実行されることを特徴とする請求項１ないし１０のいずれかに記載の映像配信サーバ。
【請求項１２】
映像配信サーバからストリーミング形式で配信される映像コンテンツを再生する映像再生端末において、
再生中の映像に対するズーム操作を受け付ける手段と、
前記ズーム操作に応答して、ズーム倍率およびズーム位置の記述されたズーム要求を前記映像配信サーバへ送信する手段と、
前記ズーム要求に応答して切り換えられたズーム用符号化ファイルを受信して再生する表示する手段とを具備したことを特徴とする映像再生端末。
【請求項１３】
前記ズーム倍率が前記映像配信サーバで配信可能な最高倍率を超えていると、前記ズーム映像の表示バッファ上でズーム位置をトレミングして拡大するデジタルズームにより前記ズーム倍率を実現するローカルズーム手段を具備したことを特徴とする請求項１２に記載の映像再生端末。
【請求項１４】
前記切り換え前後のズーム映像間にエフェクト映像を挿入するローカルエフェクト手段をさらに具備したことを特徴とする請求項１２または１３に記載の映像再生端末。
【図１】
【図５】
【図７】
【図９】
【図１５】
【図１６】
【図１７】
【図１８】
【図１９】
【図２０】
【図２】
【図３】
【図４】
【図６】
【図８】
【図１０】
【図１１】
【図１２】
【図１３】
【図１４】
【図５】
【図７】
【図９】
【図１５】
【図１６】
【図１７】
【図１８】
【図１９】
【図２０】
【図２】
【図３】
【図４】
【図６】
【図８】
【図１０】
【図１１】
【図１２】
【図１３】
【図１４】
【公開番号】特開２０１２−７５０３０（Ｐ２０１２−７５０３０Ａ）
【公開日】平成２４年４月１２日（２０１２．４．１２）
【国際特許分類】
【出願番号】特願２０１０−２１９７２８（Ｐ２０１０−２１９７２８）
【出願日】平成２２年９月２９日（２０１０．９．２９）
【出願人】（０００２０８８９１）ＫＤＤＩ株式会社 (2,700)
【Ｆターム（参考）】
【公開日】平成２４年４月１２日（２０１２．４．１２）
【国際特許分類】
【出願日】平成２２年９月２９日（２０１０．９．２９）
【出願人】（０００２０８８９１）ＫＤＤＩ株式会社 (2,700)
【Ｆターム（参考）】
[ Back to top ]