映像処理装置、映像処理システム、映像処理方法及び映像処理プログラム
【課題】多視点映像符号化データのリアルタイムストリーミング配信において安定した映像再生の実現と、再生開始時間の遅延を少なくすることができる映像処理装置を提供する。
【解決手段】全体映像データのうち指定された一部領域である映像再生領域の符号化データを復号化する映像処理装置であって、入力する符号化データを一時的に保存し、保存している前記符号化データのデータ容量が設定されたプレロール時のバッファ量に到達した場合、保存している前記符号化データを出力するバッファ部と、前記バッファ部から入力する前記符号化データを復号化して出力部に出力する復号化部と、前記全体映像データの映像を構成する複数の視点映像のうち前記映像再生領域を含む前記視点映像のデータ容量に応じて、前記プレロール時のバッファ量を設定するプレロール制御部と、を備える。
【解決手段】全体映像データのうち指定された一部領域である映像再生領域の符号化データを復号化する映像処理装置であって、入力する符号化データを一時的に保存し、保存している前記符号化データのデータ容量が設定されたプレロール時のバッファ量に到達した場合、保存している前記符号化データを出力するバッファ部と、前記バッファ部から入力する前記符号化データを復号化して出力部に出力する復号化部と、前記全体映像データの映像を構成する複数の視点映像のうち前記映像再生領域を含む前記視点映像のデータ容量に応じて、前記プレロール時のバッファ量を設定するプレロール制御部と、を備える。
【発明の詳細な説明】
【技術分野】
【０００１】
本発明は、映像処理装置、映像処理システム、映像処理方法及び映像処理プログラム
に関する。
【背景技術】
【０００２】
従来、映像／音声符号化データのストリーミング配信の際には、安定した再生品質を保持するため、クライアント側である程度データをバッファリングしてから再生を開始している（例えば特許文献１参照）。
【０００３】
図９は、本発明の背景技術を説明するために本願発明者が作成した映像／音声配信システムの一例を示すブロック図である。図９に示した映像／音声配信システム８は、送信側装置６と受信側装置７とから構成されている。送信側装置６は、映像／音声データ（すなわち映像又は映像及び音声データ）を所定形式の符号化データに符号化して出力する映像／音声符号化部６１と、符号化データを一時蓄積して送信する送信バッファ部６２とを備えている。受信側装置７は、符号化データを受信し、一時蓄積して出力する受信バッファ部７１と、符号化データを復号する映像／音声復号化部７２とを備えている。
【０００４】
図９に示すような構成の映像／音声配信システム８では、映像／音声符号化データのリアルタイムストリーミング配信を行う場合、映像／音声符号化データのビットレートがほぼ一定のときには、ビットレートに合わせてある固定値で指定されるデータ量が受信バッファ部７１に保存された状態になってから再生が開始される。こうすること（以下、データ量がある程度バッファに保存された状態になってから再生を開始することを「プレロール」と呼ぶ）で、リアルタイムストリーミング配信時でもネットワークの劣化（遅延ゆらぎなど）に対しても安定した再生品質を保持することができる。
【０００５】
ここで、上記のようなプレロールを多視点映像符号化データに適用することを考える。多視点映像とは、複数の視点から見た各視点の映像を含んで構成される複合的な映像を意味する。多視点映像には、立体映像、自由視点映像、パノラマ映像などがある。立体映像は、左右の目の視差を利用して幅、高さに加え、奥行きを表現する映像であり、左右の視線に対応した複数の映像を含んで構成される。自由視点映像は、視聴者が視点位置や視点方向を自由に変えられるようにした映像であり、複数の視点や方向に対応した複数の映像を含んで構成される。パノラマ映像は、通常よりも広角な映像であり、広角な映像の一部の領域に対応する複数の映像を含んで構成される。本願では、この「多視点映像」に含まれる各視点の映像を「視点映像」と呼ぶこととする。
【０００６】
また、多視点映像符号化データは、複数の視点の映像を含む多視点映像を符号化した映像データであり、符号化方式は例えばＩＴＵ−Ｔ（国際電気通信連合−電気通信標準化部門）とＩＳＯ／ＩＥＣ（国際標準化機構／国際電気標準会議）による国際標準Ｈ．２６４／ＡＶＣ Ａｎｎｅｘ Ｈで規定されている。
【先行技術文献】
【特許文献】
【０００７】
【特許文献１】特開２００７−２８２４１号公報
【発明の概要】
【発明が解決しようとする課題】
【０００８】
多視点映像符号化データの配信システムでは、再生開始時点の複数の視点にわたる再生領域をあらかじめサーバ側で設定したり、変更したりできるようにしたものがある。また、多視点映像符号化データの配信においては、再生される視点の数に応じてリアルタイムストリーミング配信されるビットレートが変化する。したがって、プレロールを多視点映像符号化データに適用する場合、再生開始時初期の再生領域をカバーする視点の数に応じてリアルタイムストリーミング配信されるビットレートが異なることになる。そのため多視点映像符号化データの配信システムでは、以下の問題が生じることがある。
【０００９】
例えば、再生開始時の初期の視点でトータルのビットレートが、固定したプレロールの閾値よりも高い場合、十分にバッファリングが行われる前に再生が開始されてしまうため、以後の再生品質の安定性が低下するという問題点がある。これとは逆に、再生開始時の初期の視点でトータルのビットレートが、固定したプレロールの閾値よりも低い場合、プレロールの閾値にバッファリングが達するまでに時間が多くかかり、再生開始が遅れるという問題点がある。
【００１０】
本発明は、上記の事情を考慮してなされたものであり、多視点映像符号化データのリアルタイムストリーミング配信に際して、安定した映像再生の実現と再生開始時間の遅延を少なくすることとを両立させることができる映像処理装置、映像処理システム、映像処理方法及び映像処理プログラムを提供することを目的とする。
【課題を解決するための手段】
【００１１】
この発明は上述した課題を解決するためになされたもので、本発明の一態様による映像処理装置は、全体映像データのうち指定された一部領域である映像再生領域の符号化データを復号化する映像処理装置であって、入力する符号化データを一時的に保存し、保存している前記符号化データのデータ容量が設定されたプレロール時のバッファ量に到達した場合、保存している前記符号化データを出力するバッファ部と、前記バッファ部から入力する前記符号化データを復号化して出力部に出力する復号化部と、前記全体映像データの映像を構成する複数の視点映像のうち前記映像再生領域を含む前記視点映像のデータ容量に応じて、前記プレロール時のバッファ量を設定するプレロール制御部と、を備える。
【００１２】
本発明の一態様は、上述の映像処理装置であって、前記プレロール制御部は、前記全体映像データの映像内における前記映像再生領域の位置関係を示す情報を入力し、当該情報に基づき前記映像再生領域に対応する前記視点映像のデータ容量を算出し、算出した前記視点映像のデータ容量に応じて前記プレロール時のバッファ量を設定する。
【００１３】
本発明の一態様は、上述の映像処理装置であって、前記プレロール制御部は、前記入力する符号化データのデータ容量の目標値にあわせて、データ容量が異なる前記視点映像を組み合わせた前記映像再生領域に対応する前記視点映像のデータ容量を算出し、算出した前記視点映像のデータ容量に応じて前記プレロール時のバッファ量を設定する。
【００１４】
本発明の一態様による映像処理システムは、全体映像データのうち指定された一部領域である映像再生領域の符号化データを送信する送信側映像処理装置と、前記符号化データを受信し、復号化する受信側映像処理装置とを備え、前記受信側処理装置は、前記送信側映像処理装置から受信する前記符号化データを一時的に保存し、保存している前記符号化データのデータ容量が設定されたプレロール時のバッファ量に到達した場合、保存している前記符号化データを出力するバッファ部と、前記バッファ部から入力する前記符号化データを復号化して出力部に出力する復号化部と、前記全体映像データの映像を構成する複数の視点映像のうち前記映像再生領域を含む前記視点映像のデータ容量に応じて、前記プレロール時のバッファ量を設定するプレロール制御部と、を備える。
【００１５】
本発明の一態様による映像処理方法は、全体映像データのうち指定された一部領域である映像再生領域の符号化データを復号化する映像処理方法であって、前記全体映像データの映像を構成する複数の視点映像のうち前記映像再生領域を含む前記視点映像のデータ容量に応じてプレロール時のバッファ量を設定するステップと、入力する符号化データを一時的に記憶領域に保存するステップと、保存している前記符号化データのデータ容量が設定された前記プレロール時のバッファ量に到達した場合、保存している前記符号化データを前記記憶領域から出力するステップと、前記出力する前記符号化データを入力し、復号化するステップと、を備える。
【００１６】
本発明の一態様による映像処理プログラムは、全体映像データのうち指定された一部領域である映像再生領域の符号化データを復号化するコンピュータを、入力する符号化データを一時的に保存し、保存している前記符号化データのデータ容量が設定されたプレロール時のバッファ量に到達した場合、保存している前記符号化データを出力するバッファ手段、前記バッファ部から入力する前記符号化データを復号化して出力部に出力する復号化手段、前記全体映像データの映像を構成する複数の視点映像のうち前記映像再生領域を含む前記視点映像のデータ容量に応じて、前記プレロール時のバッファ量を設定するプレロール制御手段、として機能させるためのプログラムである。
【発明の効果】
【００１７】
本発明によれば、プレロール制御部によって、全体映像データを構成する複数の視点映像のうち、映像再生領域を含む視点映像のビットレートに応じて、プレロール時のバッファ量が設定される。すなわち、バッファリングされるデータ量を、映像再生領域の再生に要する実際のビットレートに応じて制御することが可能となる。よって、プレロールのためにバッファリングされるデータ量に過不足を生じさせず、適切に設定し、安定した映像再生の実現と、再生開始時間の遅延を少なくすることとの両立が可能となる。
【図面の簡単な説明】
【００１８】
【図１】本発明の一実施形態としての多視点映像配信システムの構成例を示すブロック図である。
【図２】図１の多視点映像配信システム１００で配信される多視点映像４の一例を説明するための模式図である。
【図３】図１の送信バッファ部１２に蓄積される符号化データの格納例を説明するための模式図である。
【図４】図１の多視点映像配信システム１００で用いられる再生設定ファイルの一例を説明するための模式図である。
【図５】図２に示した多視点映像４と図３に示した再生設定ファイル５内のパラメータとの対応を説明するための模式図である。
【図６】図１の多視点映像配信システム１００の動作例を説明するためのフローチャートである。
【図７】図１の多視点映像配信システム１００で用いられる再生設定ファイルの他の例を説明するための模式図である。
【図８】図１の多視点映像配信システム１００の他の動作例を説明するためのフローチャートである。
【図９】本発明の背景技術としての多視点映像配信システムの構成例を示すブロック図である。
【発明を実施するための形態】
【００１９】
以下、図面を参照して本発明の一実施の形態について説明する。図１は、本発明の一実施の形態を説明するための多視点映像配信システムを示すブロック図である。図１に示した多視点映像配信システム１００は、送信側装置１と、受信側装置２と、通信網３とから構成されている。この場合、送信側装置１は、コンピュータと、その周辺装置とを有して構成されていて、多視点映像符号化データを配信するサーバとして動作する。受信側装置２は、コンピュータと、その周辺装置とを有して構成されていて、多視点映像符号化データを受信するクライアントとして動作する。通信網３は、有線や無線の通信回線、中継装置などから構成されていて、送信側装置１と受信側装置２との間を接続する。
【００２０】
本実施形態の多視点映像配信システム１００では、図２に示すような多視点映像４を表す符号化データが、送信側装置１から受信側装置２へと配信される。図２は、本実施形態において配信対象とする多視点映像４の一例を模式的に示した図である。本実施形態において、多視点映像４は、例えばパノラマ映像であって、この多視点映像４を複数の領域に分割した各映像を、以下、視点映像４１−ｉと呼称する。
図２に示した多視点映像４は、複数の視点映像４１−１〜４１−４０から形成されている。本実施形態では、多視点映像４をマトリクス状に分割することにより、多視点映像４を複数の視点映像４１−１〜４１−４０に分割する。この多視点映像４が矩形の形状を有し、また、視点映像４１−１〜４０−４０がすべて同一の矩形の形状を有している。この場合、多視点映像４は、横に８個で、縦に５個で合計４０個の視点映像４１−１〜４１−４０から形成されている。また、視点映像４１−１〜４０−４０には、識別情報としてのＩＤ（識別符号）＝１〜４０が左上からラスタキャンで順に割り当てられている。なお、以下では、視点映像４１−１〜４１−４０について位置を特定せずに１又は複数の視点映像を参照する場合には視点映像４１と表記することとする。
【００２１】
本実施形態において多視点映像４は、例えば１つのパノラマ映像であり、視点映像４１−１〜４１−４０がそのパノラマ映像を４０分割した各領域の映像である。ただし、多視点映像４は、パノラマ映像に限らず、立体映像や自由視点映像であってもよい。
【００２２】
また、本実施形態では、受信側装置２において、多視点映像４の再生開始時点に、破線で示した一部の領域４２（以下、再生開始時映像再生領域４２と呼ぶ）に対応する映像が再生される。再生開始時映像再生領域４２は、例えば送信側装置１において多視点映像４に対応させてあらかじめ設定されている。すなわち、再生開始時映像再生領域４２の設定情報が送信側装置１において多視点映像４に対応させて図示していない所定の記憶装置に記憶されている。
【００２３】
また、本実施形態では、送信側装置１から受信側装置２へ向けて多視点映像４の符号化データが配信される際に、配信に先立って受信側装置２から送信側装置１に対してどの視点映像４１を送信するのかが要求される。すなわち、送信側装置１は、受信側装置２から要求された１又は複数の視点映像４１に対応する符号化データを送信する。また、上述したように本実施形態では再生開始時に再生開始時映像再生領域４２に対応する映像が受信側装置２において再生される。したがって、受信側装置２から送信側装置１に対しては再生開始時映像再生領域４２を含む１又は複数の視点映像４１（図２の例では視点映像４１−１〜４１−３、４１−９〜４１−１１及び４１−１７〜４１−１９の９個）の送信要求が通知される。
【００２４】
なお、本実施形態において送信側装置１から受信側装置２へ配信される多視点映像４の符号化データは、例えばＩＴＵ−Ｔ Ｈ．２６４／ＡＶＣ Ａｎｎｅｘ Ｈに準じて符号化することができる。このＩＴＵ−Ｔ Ｈ．２６４／ＡＶＣ Ａｎｎｅｘ Ｈでは、各視点映像４１を独立して符号化する場合と、隣り合う複数の視点映像４１間の差異に応じて予測処理を行って符号化する場合とが規定されている。本実施形態では、説明を簡単にするため、各視点映像４１は独立して符号化されていることとする。
【００２５】
図１に戻って、送信側装置１は、映像／音声符号化部１１、送信バッファ部１２、多視点映像制御部１３及び再生設定ファイル送信部１４を備えている。これらの映像／音声符号化部１１、送信バッファ部１２、多視点映像制御部１３及び再生設定ファイル送信部１４の各ブロックは、送信側装置１内部のコンピュータや周辺装置と、それらを制御するプログラムとを用いて実現される機能ブロックを表している。
【００２６】
受信側装置２は、受信バッファ部２１、映像／音声復号化部２２、多視点映像要求部２３、再生設定ファイル受信部２４、プレロール制御部２５及び映像／音声出力部２６を備えている。これらの受信バッファ部２１、映像／音声復号化部２２、多視点映像要求部２３、再生設定ファイル受信部２４、プレロール制御部２５及び映像／音声出力部２６の各ブロックは、受信側装置２内部のコンピュータや周辺装置と、それらを制御するプログラムとを用いて実現される機能ブロックを表している。
【００２７】
映像／音声符号化部１１は、多視点映像４を表すデータと多視点映像４に対応した音声を表すデータとを所定の記憶装置や記憶媒体又は所定の外部の装置から入力し、ＩＴＵ−Ｔ Ｈ．２６４／ＡＶＣ Ａｎｎｅｘ Ｈに準拠して符号化処理を行う。この映像／音声符号化部１１から出力された符号化データは、送信バッファ部１２に入力される。
【００２８】
送信バッファ部１２は、映像／音声符号化部１１から出力された符号化データを視点映像４１毎や符号化ビットレート毎に選択可能に所定時間分（あるいは所定データ量分）記憶し、多視点映像制御部１３からの所定の通知に応じて１又は複数の視点映像４１に対応する符号化データを選択して受信側装置２へ向けて送信する。図３は、図２を参照して説明した多視点映像４を送信バッファ部１２に記憶する場合の符号化データの格納形態の一例を説明するための模式図である。図３（Ａ）は、すべての視点映像４１を同一の符号化ビットレートで符号化した場合の符号化データの格納単位の一例を示している。図３（Ｂ）は、各視点映像４１をそれぞれ３種類の符号化ビットレートで符号化した場合の符号化データの格納単位の一例を示している。
【００２９】
図３（Ａ）の格納単位５０は、付加情報５１と、符号化データ５２−１〜５２−４０とを含んでいる。符号化データ５２−１〜５２−４０は、視点映像４１−１〜４１−４０の同一時刻における各ピクチャに対応する符号化データである。また、付加情報５１は、当該ピクチャのタイミング情報や各符号化データ５２−１〜５２−４０にランダムアクセスする場合に用いられる位置情報などを含んでいる。また、この場合、符号化データ５２−１〜５２−４０には、視点映像４１−１〜４１−４０に割り当てられているものと同一のＩＤが割り当てられている。
【００３０】
図３（Ｂ）の格納単位５３は、付加情報５４と、符号化データ５５−１〜５５−４０とを含んでいる。符号化データ５５−１−１〜５５−４０−１は、視点映像４１−１〜４１−４０の同一時刻における各ピクチャに対応する、ある符号化ビットレートで符号化された符号化データである。符号化データ５５−１−２〜５５−４０−２は、視点映像４１−１〜４１−４０の同一時刻における各ピクチャに対応する、他の符号化ビットレートによる符号化データである。符号化データ５５−１−３〜５５−４０−３は、視点映像４１−１〜４１−４０の同一時刻における各ピクチャに対応する、さらに他の符号化ビットレートによる符号化データである。また、付加情報５４は、当該ピクチャのタイミング情報や各符号化データにランダムアクセスする場合の位置情報などを含んでいる。また、この場合、符号化データ５５−１−１〜５５−４０−３には、視点映像４１−１〜４１−４０に割り当てられているものと同一のＩＤに、符号化ビットレートの階層を表す符号「−１」、「−２」及び「−３」を添えたＩＤが割り当てられている。
【００３１】
送信バッファ部１２は、映像／音声符号化部１１から出力された符号化データを、図３に示すような格納単位５０や格納単位５３を単位として複数ピクチャ分記憶する。
【００３２】
多視点映像制御部１３は、受信側装置２内の多視点映像要求部２３から多視点映像４の配信要求を受け取り、送信バッファ部１２に対して出力すべき１又は複数の視点映像４１（及びその符号化ビットレート）を示す情報を通知する。本実施形態では、符号化ビットレートが１種類の場合は、多視点映像要求部２３から通知される配信要求が、図２に示した各視点映像４１に割り当てられているＩＤ＝１〜４０のうちの１又は複数を含むものとなる。また、例えば、符号化ビットレートが３種類の場合は、多視点映像要求部２３から通知される配信要求が、図２に示した各視点映像４１に割り当てられているＩＤ＝１〜４０のうちの１又は複数を含むとともに、図３に示した符号化データ５５−１−１〜５５−４０−３のＩＤ＝１−１〜４０−３のうちの１又は複数を示すものとなる。
【００３３】
再生設定ファイル送信部１４は、多視点映像４に対応してあらかじめ所定の記憶装置に記憶されている情報を参照し、受信側装置２に対して配信される多視点映像４の仕様と再生開始時映像再生領域４２の設定値などを表す複数のパラメータ（つまり複数の所定の値）を含んだ再生設定ファイルを作成して、受信側装置２の再生設定ファイル受信部２４へ向けて送信する。
【００３４】
図４は、再生設定ファイル送信部１４で作成される再生設定ファイルの一例を示している。図４に示した再生設定ファイル５には、多視点映像４の仕様を表すパラメータである「ＨｅｉｇｈｔＳｉｚｅ」、「ＷｉｄｔｈＳｉｚｅ」、「ＨｅｉｇｈｔＶｉｅｗ」、「ＷｉｄｔｈＶｉｅｗ」及び「ＶｉｅｗＺ（ただし、図４の例ではＺが１から４０までの整数）」と、再生開始時映像再生領域４２の設定値を表すパラメータである「ＲＯＩＸ」、「ＲＯＩＹ」、「ＲＯＩＸｓｉｚｅ」及び「ＲＯＩＹｓｉｚｅ」とが含まれている。
【００３５】
ここで、「ＨｅｉｇｈｔＳｉｚｅ」及び「ＷｉｄｔｈＳｉｚｅ」は多視点映像４の大きさを表すパラメータである。「ＨｅｉｇｈｔＶｉｅｗ」及び「ＷｉｄｔｈＶｉｅｗ」は多視点映像４における視点映像４１の縦及び横の数を表すパラメータである。また、「ＲＯＩＸ」、「ＲＯＩＹ」、「ＲＯＩＸｓｉｚｅ」及び「ＲＯＩＹｓｉｚｅ」は再生開始時映像再生領域４２の位置及び大きさを表すパラメータである。そして、「ＶｉｅｗＺ」がＩＤ＝Ｚの各視点映像４１−Ｚの符号化ビットレートを表すパラメータである。
【００３６】
さらに、図５を参照して、図４に示した再生設定ファイル５に含まれる各パラメータの詳細について説明する。図５は、上記で多視点映像４を説明する際に用いた図２の模式図に、再生設定ファイル５に含まれる各パラメータを説明するための記述を追加した模式図である。
【００３７】
「ＨｅｉｇｈｔＳｉｚｅ」は、多視点映像４の縦幅を画素数を単位として表すパラメータである。「ＷｉｄｔｈＳｉｚｅ」は、多視点映像４の横幅を画素数を単位として表すパラメータである。「ＨｅｉｇｈｔＶｉｅｗ」（不図示）は、多視点映像４の縦の視点映像４１の数を表すパラメータである。「ＷｉｄｔｈＶｉｅｗ」（不図示）は、多視点映像４の横の視点映像４１の数を表すパラメータである。
【００３８】
「ＶｉｅｗＺ（Ｚ＝１〜４０）」は、多視点映像４を構成する各視点映像４１の符号化ビットレートを表すパラメータである。図４及び図５に示す例では、Ｖｉｅｗ１、Ｖｉｅｗ２、…、Ｖｉｅｗ４０が、ＩＤ＝１の視点映像４１の符号化ビットレート、ＩＤ＝２の視点映像４１の符号化ビットレート、…、ＩＤ＝４０の視点映像４１の符号化ビットレートをそれぞれ表している。
【００３９】
また、「ＲＯＩＸ」は、再生開始時映像再生領域４２の左上の画素４３のｘ座標を表すパラメータである。「ＲＯＩＹ」は、再生開始時映像再生領域４２の左上の画素４３のｙ座標を表すパラメータである。ここで、画素４３のｘ座標とｙ座標は、多視点映像４の左上の画素４４の座標を（１，１）とした場合の座標である。
【００４０】
「ＲＯＩＸｓｉｚｅ」は、再生開始時映像再生領域４２の横方向（ｘ方向）のサイズを画素数を単位として表すパラメータである。「ＲＯＩＹｓｉｚｅ」は、再生開始時映像再生領域４２の縦方向（ｙ方向）のサイズを画素数を単位として表すパラメータである。
【００４１】
なお、図４に示した再生設定ファイル５に含まれている各パラメータの数値の意味は以下の通りである。
【００４２】
「ＨｅｉｇｈｔＳｉｚｅ＝２５００」は、多視点映像４の縦幅が２５００（ｐｉｘｅｌ）であることを示している。「ＷｉｄｔｈＳｉｚｅ＝４０００」は、多視点映像４の横幅が４０００（ｐｉｘｅｌ）であることを示している。「ＨｅｉｇｈｔＶｉｅｗ＝５」は、多視点映像４の縦の視点映像４１の数が５個であることを示している。「ＷｉｄｔｈＶｉｅｗ＝８」は、多視点映像４の横の視点映像４１の数が８個であることを示している。「ＲＯＩＸ＝３００」は、再生開始時映像再生領域４２の左上の画素４３のｘ座標が３００であることを示している。「ＲＯＩＹ＝３００」は、再生開始時映像再生領域４２の左上の画素４３のｙ座標が３００であることを示している。
【００４３】
「ＲＯＩＸｓｉｚｅ＝１０００」は、再生開始時映像再生領域４２の横方向（ｘ方向）のサイズが１０００（ｐｉｘｅｌ）であることを示している。「ＲＯＩＹｓｉｚｅ＝１０００」は、再生開始時映像再生領域４２の縦方向（ｙ方向）のサイズが１０００（ｐｉｘｅｌ）であることを示している。「ＶｉｅｗＺ（ただしＺ＝１〜４０）＝１０００ｋｂｐｓ」は、多視点映像４を構成するＩＤ＝１〜４０の各視点映像４１−１〜４１−４０の符号化ビットレートが１０００ｋｂｐｓであることを示している。
つまり、再生設定ファイルに含まれる情報は、多視点映像４内における再生開始時映像再生領域４２の位置関係を示す。
【００４４】
一方、図１に示した受信側装置２における受信バッファ部２１は、例えばマイクロコンピュータなどからなる信号処理装置と記憶装置とを有して構成されていて、送信バッファ部１２から送信された符号化データを受信し、受信した符号化データを一時的に記憶してバッファリングするとともに、順次読み出して映像／音声復号化部２２へ出力する。すなわち、受信バッファ部２１は、受信した符号化データを一時的に保存し、保存している符号化データのデータ容量が設定されたプレロール時のバッファ量に到達した場合、保存している符号化データを出力する。この受信バッファ部２１におけるバッファリングの記憶量であるバッファ量（つまりプレロール時のバッファ量）は、プレロール制御部２５から通知されるプレロール時のバッファ量の指示値に応じて、可変して設定される。すなわち、受信バッファ部２１は、受信した多視点映像符号化データを所定のバッファ量分一時記憶して出力するものであって、バッファ量が変更可能なものである。
【００４５】
本実施形態においてプレロール時のバッファ量は、再生開始時にあらかじめ設定されているプレロール時間分確保される。ここで、本実施形態では、受信側装置２において、多視点映像４の再生開始時点に再生開始時映像再生領域４２に対応する映像が再生される。したがって、プレロール時のバッファ量は、再生開始時映像再生領域４２を含む１又は複数の視点映像４１−ｉに対応する各符号化データをプレロール時間分記憶するのに必要な量だけ確保される。より具体的には、再生開始時映像再生領域４２を含む１又は複数の視点映像４１−ｉに対応する各符号化データの符号化ビットレート（すなわち単位時間あたりのデータ伝送量）にプレロール時間を乗じた分のバッファ量（プレロール時のバッファ量）が確保される。また、受信バッファ部２１は、プレロール時のバッファ量の設定が完了した場合（つまりプレロールのためにバッファされる最大の容量を指示されたプレロール時のバッファ量に設定する処理が完了した場合）にその旨を多視点映像要求部２３に対して通知する。
【００４６】
例えば、プレロール制御部２５が受信バッファ部２１に対してプレロール時間＝０．５秒と設定した場合の一例について具体的に説明する。再生開始時映像再生領域４２を含む視点映像４１−ｉに対応する各符号化データの符号化ビットレートが３Ｍｂｐｓである場合、受信バッファ部２１は、自身の記憶領域に格納する符号化データのバッファ量が１．５Ｍｂｉｔｓに到達したら、格納する符号化データを出力する。また、再生開始時映像再生領域４２を含む視点映像４１−ｉに対応する各符号化データの符号化ビットレートが１０Ｍｂｐｓである場合、受信バッファ部２１は、自身の記憶領域に格納する符号化データのバッファ量が５Ｍｂｉｔｓに到達したら、格納する符号化データを出力する。つまり、受信バッファ部２１は、受信側装置２が受信する符号化データの符号化ビットレートに応じて、プレロール時間に対応するプレロール時のバッファ量が設定される。
本実施形態では、プレロール時のバッファ量は、受信側装置２が受信する符号化データの符号化ビットレートにプレロール時間を乗算した値をプレロール制御部２５が算出して受信バッファ部２１に設定される。
【００４７】
一方、映像／音声復号化部２２は、受信バッファ部２１から入力した符号化データを復号し、映像／音声出力部２６に出力する。
【００４８】
映像／音声出力部２６は、内蔵あるいは外部の図示していない所定の映像表示装置や音声出力装置に対して映像信号と音声信号を出力する。
【００４９】
多視点映像要求部２３は、再生設定ファイル受信部２４から通知された多視点映像４の所定の仕様、再生開始時映像再生領域４２の設定値などを表す所定のパラメータに基づいて、再生開始時映像再生領域４２を含んでいる１又は複数の視点映像４１を決定し、決定した１又は複数の視点映像４１を表す情報を初期要求ビューとしてプレロール制御部２５へ通知する。具体的には、本実施形態では、多視点映像要求部２３が決定した、再生開始時映像再生領域４２を含む１又は複数の視点映像４１の各ＩＤの集合が、初期要求ビューとなる。例えば、図４に示す例では、初期要求ビューは、｛１，２，３，９，１０，１１，１７，１８，１９｝となる。さらに、多視点映像要求部２３は、受信バッファ部２１からプレロール時のバッファ量の設定が完了した旨の通知を受けた後、多視点映像４の配信を要求する信号を多視点映像制御部１３に対して送信する。
【００５０】
再生設定ファイル受信部２４は、再生設定ファイル送信部１４から再生設定ファイル５を受信し、再生設定ファイル５に含まれる多視点映像４の所定の仕様と再生開始時映像再生領域４２の設定値などを表す所定のパラメータを多視点映像要求部２３とプレロール制御部２５とに対して通知する。
【００５１】
プレロール制御部２５は、再生設定ファイル受信部２４から通知された再生設定ファイル５に含まれる多視点映像４の仕様を表す所定のパラメータと、多視点映像要求部２３から通知された初期要求ビューを表す情報とに基づいて、受信バッファ部２１において設定すべきプレロール時のバッファ量を算出する。また、プレロール制御部２５は、算出したプレロール時のバッファ量を表す情報を、受信バッファ部２１に対して通知する。より具体的には、本実施形態において、プレロール制御部２５は、再生開始時映像再生領域４２を含む視点の映像である各視点映像４１の符号化ビットレートの合計値に応じて、プレロール時間に対応するプレロール時のバッファ量を受信バッファ部２１に設定する。
【００５２】
なお、プレロール制御部２５は、各視点映像４１の符号化ビットレートが視点映像４１毎に複数選択可能な場合（すなわち図３（Ｂ）を参照して説明したようにマルチビットレートとなっている場合）には、所定の目標ビットレートとの比較において、各視点映像４１の異なる符号化ビットレートを順次選択しながら再生開始時映像再生領域４２を含む各視点映像４１の符号化ビットレートの合計値を算出した結果に応じて、受信バッファ部２１のプレロール時のバッファ量を設定する機能も有している。なお、目標ビットレートとは、送信側装置１から受信側装置２に伝送するデータのビットレートの上限値であって、受信側装置２から送信側装置１に要求するデータの総ビットレートの目標値である。
【００５３】
次に、図６を参照して、図１に示した多視点映像配信システム１００の動作について説明する。図６は、多視点映像配信システム１００における処理の流れの一例を示したフローチャートである。また、配信対象となる多視点映像４、再生開始時映像再生領域４２及び再生設定ファイル５の仕様や設定、内容は、図２〜図５を参照して説明した例を用いることとする。
【００５４】
図６は、映像再生開始にあたっての処理フローの一例を示している。まず、送信側の再生設定ファイル送信部１４から受信側の再生設定ファイル受信部２４に対して再生設定ファイル５が送信される（ステップＳ１０１）。この場合、再生設定ファイル５には、図４を参照して説明したように、多視点映像４の大きさを表すパラメータ「ＨｅｉｇｈｔＳｉｚｅ」及び「ＷｉｄｔｈＳｉｚｅ」、多視点映像４における視点映像４１の縦及び横の数を表すパラメータ「ＨｅｉｇｈｔＶｉｅｗ」及び「ＷｉｄｔｈＶｉｅｗ」、再生開始時映像再生領域４２の位置及び大きさを表すパラメータ「ＲＯＩＸ」、「ＲＯＩＹ」、「ＲＯＩＸｓｉｚｅ」及び「ＲＯＩＹｓｉｚｅ」と、ＩＤ＝Ｚの各視点映像４１−Ｚの符号化ビットレートを表すパラメータである「ＶｉｅｗＺ」とが含まれている。
【００５５】
ステップＳ１０１で再生設定ファイル送信部１４から送信された再生設定ファイル５は、再生設定ファイル受信部２４で受信され、再生設定ファイル受信部２４が、再生設定ファイル５の内の次の値を多視点映像要求部２３に通知する（ステップＳ１０２）。
【００５６】
すなわちステップＳ１０２で再生設定ファイル受信部２４によって多視点映像要求部２３に通知される値は、多視点映像４の縦幅ＨｅｉｇｈｔＳｉｚｅ、同横幅ＷｉｄｔｈＳｉｚｅ、多視点映像４の縦の視点映像４１の数ＨｅｉｇｈｔＶｉｅｗ、同横の視点映像４１の数ＷｉｄｔｈＶｉｅｗ、再生開始時映像再生領域４２の左上の画素４３のｘ座標ＲＯＩＸ、同ｙ座標ＲＯＩＹ、同ｘ方向のサイズＲＯＩＸｓｉｚｅ及び同ｙ方向のサイズＲＯＩＹｓｉｚｅである。
【００５７】
多視点映像要求部２３は、通知された値に基づいて、初期要求ビューを算出する（ステップＳ１０３）。初期要求ビューは、上述したように、再生開始時映像再生領域４２を含む１又は複数の視点映像４１−ｉの各ＩＤの集合である。多視点映像要求部２３による初期要求ビューの算出は、例えば次のようにして行うことができる。
【００５８】
まず、多視点映像要求部２３は、図５に示した１つの視点映像４１の横サイズＶｉｅｗＷｉｄｔｈＳｉｚｅと、縦サイズＶｉｅｗＨｅｉｇｈｔＳｉｚｅとを下式にてそれぞれ算出する。
【００５９】
ＶｉｅｗＷｉｄｔｈＳｉｚｅ＝ＷｉｄｔｈＳｉｚｅ／ＷｉｄｔｈＶｉｅｗ
【００６０】
図４に示した値を用いると、ＶｉｅｗＷｉｄｔｈＳｉｚｅ＝ＷｉｄｔｈＳｉｚｅ／ＷｉｄｔｈＶｉｅｗ＝４０００／８＝５００となる。
【００６１】
ＶｉｅｗＨｅｉｇｈｔＳｉｚｅ＝ＨｅｉｇｈｔＳｉｚｅ／ＨｅｉｇｈｔＶｉｅｗ
【００６２】
図４に示した値を用いると、ＶｉｅｗＨｅｉｇｈｔＳｉｚｅ＝ＨｅｉｇｈｔＳｉｚｅ／ＨｅｉｇｈｔＶｉｅｗ＝２５００／５＝５００となる。
【００６３】
次に、多視点映像要求部２３は、再生開始時映像再生領域４２の左上の画素４３がどの視点映像４１に含まれるかを次のようにして算出する。まず、画素４３を含む視点映像４１の横方向（ｘ方向）の位置Ｍ１を下式にて確定する。なお、下式において関数ＩＮＴは、括弧内の変数の小数点以下を切り捨てて整数化する関数である。ここで、位置Ｍ１は、左端を０、その右隣を１として１ずつ増加する値をとり、例えば図５に示した例では、ＩＤ＝１の視点映像４１の位置Ｍ１が０、ＩＤ＝２の視点映像４１の位置Ｍ１が１、…、ＩＤ＝８の視点映像４１の位置Ｍ１が７、ＩＤ＝９の視点映像４１の位置Ｍ１が０、…、ＩＤ＝４０の視点映像４１の位置Ｍ１が７となる。
【００６４】
Ｍ１＝ＩＮＴ（ＲＯＩＸ／ＶｉｅｗＷｉｄｔｈＳｉｚｅ）
【００６５】
図４に示した値を用いると、Ｍ１＝ＩＮＴ（ＲＯＩＸ／ＶｉｅｗＷｉｄｔｈＳｉｚｅ）＝ＩＮＴ（３００／５００）＝０となる。
【００６６】
さらに、多視点映像要求部２３は、縦方向の位置Ｎ１を下式にて確定する。位置Ｎ１は、一番上を０、その下を１として１ずつ増加する値をとり、例えば図５に示した例では、ＩＤ＝１〜８の各視点映像４１の位置Ｎ１が０、ＩＤ＝９〜１６の各視点映像４１の位置Ｎ１が１、…、ＩＤ＝３３〜４０の各視点映像４１の位置Ｎ１が４となる。
【００６７】
Ｎ１＝ＩＮＴ（ＲＯＩＹ／ＶｉｅｗＨｅｉｇｈｔＳｉｚｅ）
【００６８】
図４に示した値を用いると、Ｎ１＝ＩＮＴ（ＲＯＩＹ／ＶｉｅｗＨｅｉｇｈｔＳｉｚｅ）＝ＩＮＴ（３００／５００）＝０となる。
【００６９】
次に、多視点映像要求部２３は、以下の式にて、再生開始時映像再生領域４２の左上端の視点映像４１のＩＤとなるＺ１を確定する。
【００７０】
Ｚ１＝Ｍ１＋Ｎ１＊ＷｉｄｔｈＶｉｅｗ＋１
【００７１】
図４に示した値を用いると、Ｚ１＝Ｍ１＋Ｎ１＊ＷｉｄｔｈＶｉｅｗ＋１＝０＋０＊８＋１＝１となる。
【００７２】
続いて、多視点映像要求部２３は、再生開始時映像再生領域４２の右上端の視点映像４１のＩＤとなるＺ２を以下の手順で確定する。
【００７３】
まず、多視点映像要求部２３は、右上端の視点映像４１の横方向の位置Ｍ２を下式にて確定する。この場合、位置Ｍ２は、位置Ｍ１と同様に、左端を０、その右隣を１として１ずつ増加する値をとり、例えば、ＩＤ＝１の視点映像４１の位置Ｍ２が０、ＩＤ＝２の視点映像４１の位置Ｍ２が１、…、ＩＤ＝８の視点映像４１の位置Ｍ２が７、ＩＤ＝９の視点映像４１の位置Ｍ２が０、…、ＩＤ＝４０の視点映像４１の位置Ｍ２が７となる。
【００７４】
Ｍ２＝ＩＮＴ（（ＲＯＩＸ＋ＲＯＩＸｓｉｚｅ）／ＶｉｅｗＷｉｄｔｈＳｉｚｅ）
【００７５】
図４に示した値を用いると、Ｍ２＝ＩＮＴ（（ＲＯＩＸ＋ＲＯＩＸｓｉｚｅ）／ＶｉｅｗＷｉｄｔｈＳｉｚｅ）＝ＩＮＴ（（３００＋１０００／５００）＝２となる。
【００７６】
さらに、多視点映像要求部２３は、右上端の視点映像４１の縦方向の位置Ｎ２を確定する。位置Ｎ２は、位置Ｎ１と同様に、一番上を０、その下を１として１ずつ増加する値をとり、例えば、ＩＤ＝１〜８の各視点映像４１の位置Ｎ２が０、ＩＤ＝９〜１６の各視点映像４１の位置Ｎ２が１、…、ＩＤ＝３３〜４０の各視点映像４１の位置Ｎ２が４となる。
【００７７】
Ｎ２＝ＩＮＴ（ＲＯＩＹ／ＶｉｅｗＨｅｉｇｈｔＳｉｚｅ）
【００７８】
図４に示した値を用いると、Ｎ２＝ＩＮＴ（ＲＯＩＹ／ＶｉｅｗＨｅｉｇｈｔＳｉｚｅ）＝ＩＮＴ（３００／５００）＝０となる。
【００７９】
そして、多視点映像要求部２３は、以下の式にて、再生開始時映像再生領域４２の右上端の視点映像４１のＩＤとなるＺ２を確定する。
【００８０】
Ｚ２＝Ｍ２＋Ｎ２＊ＷｉｄｔｈＶｉｅｗ＋１
【００８１】
図４に示した値を用いると、Ｚ２＝Ｍ２＋Ｎ２＊ＷｉｄｔｈＶｉｅｗ＋１＝２＋０＊８＋１＝３となる。
【００８２】
ここで多視点映像要求部２３は、再生開始時映像再生領域４２を含む複数の視点映像４１−ｉの横の個数Ａを以下の式で算出する。
【００８３】
Ａ＝Ｚ２−Ｚ１＋１
【００８４】
図４に示した値を用いると、Ｚ１＝１及びＺ２＝３から、Ａ＝Ｚ２−Ｚ１＋１＝３−１＋１＝３となる。
【００８５】
さらに、多視点映像要求部２３は、再生開始時映像再生領域４２を含む複数の視点映像４１−ｉの縦の個数Ｂを求める。
【００８６】
Ｂ＝ＩＮＴ（ＲＯＩＹｓｉｚｅ／ＶｉｅｗＨｅｉｇｈｔＳｉｚｅ）＋１
【００８７】
図４に示した値を用いると、Ｂ＝ＩＮＴ（ＲＯＩＹｓｉｚｅ／ＶｉｅｗＨｅｉｇｈｔＳｉｚｅ）＋１＝ＩＮＴ（１０００／５００）＋１＝３となる。
【００８８】
次に、多視点映像要求部２３は、再生開始時映像再生領域４２を含む複数の視点映像４１−ｉを表す情報として下式の条件を満たすＩＤの集合Ｐを算出する。下式において変数ｃが視点映像４１−ｉのＩＤ（ｉ）を表す変数であり、集合Ｐが初期要求ビューとなる。
【００８９】
Ｐ＝｛ｃ｜ｃは以下を満たす整数。Ｚ１＋ＷｉｄｔｈＶｉｅｗ＊ｋ≦ｃ≦Ｚ２＋ＷｉｄｔｈＶｉｅｗ＊ｋ（ただしｋは０から（Ｂ−１）までの整数）｝
【００９０】
図４に示した値を用いると、Ｚ１＝１、Ｚ２＝３及びＢ＝３から、変数ｋの範囲が０から（Ｂ−１）＝３−１＝２までとなる。
したがって、この例での集合Ｐは、
Ｐ＝｛ｃ｜ｃは以下を満たす整数。
Ｚ１＋ＷｉｄｔｈＶｉｅｗ＊０≦ｃ≦Ｚ２＋ＷｉｄｔｈＶｉｅｗ＊０、
Ｚ１＋ＷｉｄｔｈＶｉｅｗ＊１≦ｃ≦Ｚ２＋ＷｉｄｔｈＶｉｅｗ＊１、
Ｚ１＋ＷｉｄｔｈＶｉｅｗ＊２≦ｃ≦Ｚ２＋ＷｉｄｔｈＶｉｅｗ＊２｝
＝｛ｃ｜ｃは以下を満たす整数。
１＋８＊０≦ｃ≦３＋８＊０、
１＋８＊１≦ｃ≦３＋８＊１、
１＋８＊２≦ｃ≦３＋８＊２｝
＝｛ｃ｜ｃは以下を満たす整数。
１≦ｃ≦３、９≦ｃ≦１１、１７≦ｃ≦１９｝
＝｛１，２，３，９，１０，１１，１７，１８，１９｝となる。
【００９１】
多視点映像要求部２３は、以上の手順で初期要求ビュー（すなわち上記の集合Ｐ）を算出すると（ステップＳ１０３）、算出した初期要求ビューをプレロール制御部２５に通知する（ステップＳ１０４）。
【００９２】
上記初期要求ビューである集合Ｐを受け取ったプレロール制御部２５は、集合Ｐに含まれる各視点映像４１の符号化ビットレートの合計値Ｘ（ｋｂｐｓ）を、再生設定ファイル５に含まれている各視点映像４１の符号化ビットレートＶｉｅｗＺ（図４の例では、Ｚ＝１〜４０までが記載されている）に基づいて算出する（ステップＳ１０５）。
【００９３】
上述したように、図４及び図５に示した例を用いると、Ｐ＝｛１，２，３，９，１０，１１，１７，１８，１９｝となるので、プレロール制御部２５は、図４の再生設定ファイル５のＶｉｅｗ１、Ｖｉｅｗ２、Ｖｉｅｗ３、Ｖｉｅｗ９、Ｖｉｅｗ１０、Ｖｉｅｗ１１、Ｖｉｅｗ１７、Ｖｉｅｗ１８及びＶｉｅｗ１９の値を合計し、Ｘ＝９０００ｋｂｐｓを算出する。
【００９４】
その後、プレロール制御部２５は、プレロール時のバッファ量Ｙを下式にて算出する（ステップＳ１０６）。
【００９５】
Ｙ＝Ｘ＊プレロール時間（秒）／１０００（Ｍｂｉｔｓ）
【００９６】
次に、プレロール制御部２５は、算出したプレロール時のバッファ量Ｙを受信バッファ部２１に通知する（ステップＳ１０７）。ここで、受信バッファ部２１は、通知された値に応じたプレロール時のバッファ量を設定する。なお、プレロール時間（秒）は任意に設定可能である。
【００９７】
さらに、受信バッファ部２１は、プレロール時のバッファ量Ｙの設定が完了したら、多視点映像要求部２３に準備完了を通知する（ステップＳ１０８）。
【００９８】
上記の通知を受け取った多視点映像要求部２３は、初期要求ビュー（集合Ｐ）を表す情報を多視点映像制御部１３に対して通知することで、必要な視点映像４１−ｉに対応する映像及び音声の符号化データの送信を多視点映像制御部１３に要求する（ステップＳ１０９）。
【００９９】
送信側装置１では、多視点映像制御部１３が通知された初期要求ビュー（集合Ｐ）に基づいて送信バッファ部１２に対して送信すべき１又は複数の視点映像４１の各ＩＤを通知することによって、送信バッファ部１２が当該各ＩＤで指定される１又は複数の視点映像４１に対応する映像及び音声の符号化データの受信側装置２に向けた送出を開始する（ステップＳ１１０）。このステップＳ１１０で送信された映像及び音声の符号化データは受信バッファ部２１で受信される。そして、映像及び音声の符号化データを受け取った受信バッファ部２１は、映像／音声の再生開始に先立ち、プレロール時のバッファ量Ｙだけデータをバッファリングした後、先にバッファリングしたデータから映像／音声復号化部２２へ向けて順次送出する。
【０１００】
以降、必要に応じて多視点映像要求部２３から多視点映像制御部１３への多視点映像４の送信要求（ステップＳ１０９）と、その送信要求に基づく送信バッファ部１２から受信バッファ部２１への符号化データの送信処理（ステップＳ１１０）が行われる。
【０１０１】
次に、図７及び図８を参照して、図１に示した多視点映像配信システム１００の他の動作例について説明する。図８は、多視点映像配信システム１００における処理の流れの他の例を示したフローチャートである。また、配信対象となる多視点映像４の仕様については、図２及び図５を参照して説明した例の一部を変更して用いることとする。
【０１０２】
この動作例では、図２及び図５に示した各視点映像４１が、図３（Ｂ）を参照して説明したようにマルチビットレートで符号化されている。すなわちこの動作例では、多視点映像４を構成する各視点映像４１の符号化ビットレートが、１種類に固定されているのではなく、複数の異なる階層で複数種類設定されている。図７を参照して、マルチビットレートの場合の再生設定ファイルの例について説明する。図７に示した例では各視点映像４１が３つの階層のビットレートで符号化されている。ただし、図７の例では、階層毎のビットレートは同一であるとしている。
【０１０３】
図４に示した再生設定ファイル５と比較して、図７に示した再生設定ファイル５Ａにおいて追加あるいは変更されたパラメータは、「ＴａｒｇｅｔＢｐｓ」と「ＶｉｅｗＺ−ｎ」である。「ＴａｒｇｅｔＢｐｓ」は、新たに追加されたパラメータである。「ＶｉｅｗＺ−ｎ」は、図４の再生設定ファイル５内で各視点映像４１の符号化ビットレートを表すパラメータ「ＶｉｅｗＺ」を変更したものである。図７の再生設定ファイル５Ａ内の他のパラメータについては図４の再生設定ファイル５内のものと同一である。
【０１０４】
「ＴａｒｇｅｔＢｐｓ」は受信側装置２から送信側装置１に要求する総ビットレートの目標値を表すパラメータである。本実施形態において、ＴａｒｇｅｔＢｐｓは、目標ビットレートである。
【０１０５】
「ＶｉｅｗＺ−ｎ（ただし、図７の例ではＺが１〜４０の整数、ｎが１〜３の整数）」は、Ｚで示されるＩＤ（位置）を有する視点映像４１のｎ階層の符号化ビットレートを表すパラメータである。この場合、階層を表すｎが小さいと、ビットレートも低いものとする。
プレロール制御部２５は、この目標ビットレートにあわせて、データ容量が異なる視点映像４１を組み合わせた再生開始時映像再生領域４２に対応する視点映像４１のデータ容量を算出し、算出した視点映像４１のデータ容量に応じてプレロール時のバッファ量を設定する。
つまり、プレロール制御部２５は、再生開始時映像再生領域４２に対応する視点映像４１−１、４１−２、４１−３、４１−９、４１−１０、４１−１１、４１−１７、４１−１８、４１−１９を、指定された階層ｎの符号化ビットレートの映像データで構成した場合、目標ビットレート以下であるか否かを判定する。
【０１０６】
再生開始時映像再生領域４２に対応する視点映像４１−１、・・・の数と指定された階層ｎの符号化ビットレートとの積、つまり、再生開始時映像再生領域４２に対応する視点映像４１−１、・・・のデータ容量が目標ビットレート以下である場合、プレロール制御部２５は、指定された階層ｎの符号化ビットレートの視点映像４１−１・・・のデータ容量に応じてプレロール時のバッファ量を設定する。
一方、再生開始時映像再生領域４２に対応する視点映像４１−１、・・・のデータ容量が目標ビットレートより大きい場合、プレロール制御部２５は、指定された階層ｎの符号化ビットレートの視点映像４１−１・・・と、指定された階層ｎの符号化ビットレートよりも小さい階層ｎ−１の符号化ビットレートの視点映像４１−ｎ・・・とを組み合わせて、視点映像４１−１、・・・のデータ容量が目標ビットレート以下となるように、再生開始時映像再生領域４２に対応する視点映像４１−１、・・・のそれぞれの符号化ビットレートを決定する。このようにして、プレロール制御部２５は、符号化ビットレートが異なる視点映像４１を組み合わせた再生開始時映像再生領域４２に対応する視点映像４１のデータ容量（符号化ビットレート）を算出し、算出した視点映像４１のデータ容量に応じてプレロール時間に対応するプレロール時のバッファ量を設定する。
【０１０７】
次に、図８を参照して、マルチビットレートに対応する場合の動作例について説明する。なお、図８において、図６に示したものに対応する処理には同一の符号を付けている。
【０１０８】
ここでは、上述と同じ方法で多視点映像要求部２３にて初期要求ビューを算出し、以下の初期要求ビューの集合Ｐを得たとする（ステップＳ１０１〜Ｓ１０３）。
【０１０９】
Ｐ＝｛１，２，３，９，１０，１１，１７，１８，１９｝
【０１１０】
算出された初期要求ビューは、多視点映像要求部２３からプレロール制御部２５へ通知され、プレロール制御部２５は次のようにして受信ビットレートの合計値Ｘ（ｂｐｓ）を算出する（ステップＳ１０５Ａ）。
【０１１１】
プレロール制御部２５は、まず、再生設定ファイル５Ａ内の符号化ビットレートを表すパラメータ「ＶｉｅｗＺ−ｎ」を参照し、集合Ｐの要素の左側から最低のビットレートの和を算出する。図７に示した再生設定ファイル５Ａの場合は、Ｖｉｅｗ１−１、Ｖｉｅｗ２−１、Ｖｉｅｗ３−１、Ｖｉｅｗ９−１、Ｖｉｅｗ１０−１、Ｖｉｅｗ１１−１、Ｖｉｅｗ１７−１、Ｖｉｅｗ１８−１、及びＶｉｅｗ１９−１の値の合計値から７２００ｋｂｐｓとなる。
【０１１２】
プレロール制御部２５は、さらに、ＴａｒｇｅｔＢｐｓである１５０００ｋｂｐｓに近づくように、集合Ｐの要素の左側から、順次、マルチビットレートの階層を１つあげていく。この場合、Ｖｉｅｗ１−１〜Ｖｉｅｗ１９−１のビットレートが８００ｋｂｐｓであるのに対して、Ｖｉｅｗ１−２〜Ｖｉｅｗ１９−２のビットレートは１８００ｂｐｓであり、それぞれ１０００ｂｐｓの増加となる。したがって、Ｖｉｅｗ１−１、Ｖｉｅｗ２−１、Ｖｉｅｗ３−１、Ｖｉｅｗ９−１、Ｖｉｅｗ１０−１、Ｖｉｅｗ１１−１、及びＶｉｅｗ１７−１のビットレートの階層を１つあげてＶｉｅｗ１−２、Ｖｉｅｗ２−２、Ｖｉｅｗ３−２、Ｖｉｅｗ９−２、Ｖｉｅｗ１０−２、Ｖｉｅｗ１１−２、及びＶｉｅｗ１７−２のビットレートを合計すると、すべてを１つ前の階層で合計したビットレートに対して、＋７０００ｋｂｐｓとなることから、合計１４２００ｋｂｐｓとなる。この時点でＴａｒｇｅｔＢｐｓ（目標ビットレート）を越えない最大値となる。この値をＸとして用いることとする。
【０１１３】
すなわち、プレロール制御部２５は、Ｘ＝１４２０００ｋｂｓｐとして、その後、以下の値（プレロール時のバッファ量Ｙ）を算出し（ステップＳ１０６）、次いで受信バッファ部２１に通知する（ステップＳ１０７）。
【０１１４】
Ｙ＝Ｘ＊プレロール時間（秒）／１０００（Ｍｂｉｔｓ）
【０１１５】
受信バッファ部２１では、プレロール時のバッファ量Ｙの設定が完了したら、多視点映像要求部２３に準備完了を通知する（ステップＳ１０８）。
【０１１６】
上記の通知を受け取った多視点映像要求部２３は、必要な視点映像４１の各ＩＤとビットレートの各階層を多視点映像制御部１３に通知する（ステップＳ１０９）。
【０１１７】
さらに、多視点映像制御部１３は送信バッファ部１２に必要な視点映像４１の各ＩＤとビットレートの各階層を通知して、送信バッファ部１２から必要な視点映像４１の指定されたＩＤとビットレートの階層の映像及び音声データの送出を開始する（ステップＳ１１０）。受信側装置２では、必要な視点映像４１の指定されたＩＤとビットレートの階層の映像及び音声データを受け取った受信バッファ部２１が、映像／音声の再生開始に先立ち、プレロール時のバッファ量Ｙだけデータをバッファリングした後、データを映像／音声復号化部２２に対して順次送出する。
【０１１８】
以降、必要に応じて多視点映像要求部２３から多視点映像制御部１３への多視点映像４の送信要求（ステップＳ１０９）と、その送信要求に基づく送信バッファ部１２から受信バッファ部２１への符号化データの送信処理（ステップＳ１１０）が行われる。
【０１１９】
以上のように、図７及び図８を参照して説明した他の動作例では、視点映像４１毎に複数種類の符号化ビットレートを設定した場合でも、プレロール時のバッファ量Ｙを適切に設定することが可能となる。
【０１２０】
本実施形態の多視点映像配信システム１００では、再生設定ファイル５（あるいは５Ａ）を用いて、最初に見る領域情報から初期要求ビューが自動的に算出される。さらに、初期要求ビューの合計ビットレートを算出し、これを受信バッファ部２１に通知し、初期要求ビューが必要とするプレロール時のバッファ量Ｙが算出される。加えて、初期要求ビューがマルチビットレートで符号化されていた場合でも、目的ビットレート以下に抑えた適切に初期要求ビューと必要なビットレートの組み合わせのプレロール時のバッファ量Ｙを算出できる。
【０１２１】
すなわち、本実施形態によれば、映像／音声符号化データのリアルタイムストリーミング配信に際して、受信側装置１の受信バッファ部２１において、再生開始時点の映像再生領域の再生に必要なビットレートに合わせてプレロール時のバッファ量Ｙを設定することができる。
【０１２２】
また、送信側装置１から再生設定ファイル５（あるいは５Ａ）を送信することで、多視点映像４の縦幅（ｐｉｘｅｌ）、多視点映像４の横幅（ｐｉｘｅｌ）、多視点映像４の縦の画像（視点映像４１の）数、多視点映像４の横の画像（視点映像４１の）数、再生開始時映像再生領域４２の左上のｘ座標、再生開始時映像再生領域４２の左上のｙ座標、再生開始時映像再生領域４２の横（ｘ方向）方向のサイズ、再生開始時映像再生領域４２の縦（ｙ方向）方向のサイズ、多視点映像４を構成する視点映像４１の各符号化ビットレートといったプレロール時のバッファ量の算出に必要な情報がサーバ側からクライアント側に通知される。そして、受信側装置２では、送信側装置１から通知された再生設定ファイル５（あるいは５Ａ）から、初期の注視領域に合わせて初期要求ビューが自動的に算出される。また、初期要求ビューについて、各視点映像４１を複数のビットレート（マルチビットレート）で符号化している場合でも、再生設定ファイル５の多視点映像４を構成する視点映像４１の各符号化ビットレートを用いて受信バッファ部２１にプレロール時のバッファ量Ｙを設定することができる。
【０１２３】
上記の構成及び処理により、多視点映像／音声符号化データのリアルタイムストリーミング配信に際して適切なプレロール時のバッファ量Ｙを受信バッファ部２１で設定し、簡易に運用することが可能となる。
【０１２４】
すなわち、本実施形態によれば、多視点映像／音声符号化データのリアルタイムストリーミング配信に際して、受信側でのプレロール値（プレロール時のバッファ量Ｙ）を適切に設定することで、安定した映像再生が実現できる。また、多視点映像／音声符号化データのリアルタイムストリーミング配信に際して、受信側でのプレロール時のバッファ量を適切に設定することで、再生開始時間の遅延を防止できる。
【０１２５】
なお、本発明の実施の形態は上記のものに限定されず、例えば図１に示した各ブロックをさらに分割して構成したり、あるいは複数のブロックを統合して構成したりといった変更を適宜行うことができる。また、送信側装置１や受信側装置２を構成するコンピュータによって実行されるプログラムの一部又は全部は、コンピュータ読み取り可能な記録媒体や通信回線を介して頒布することが可能である。
【０１２６】
また、本実施形態の受信バッファ部２１では、あらかじめ決められている再生開始時映像領域４２の設定値に応じて再生開始時におけるプレロール時のバッファ量を変化させることとしているが、例えば視聴者が受信側で再生する映像領域を可変できるようにしてそれに応じて、あるいは、視聴者による受信側での視点切り替え時の領域情報に応じて、受信バッファ部２１のプレロール時のバッファ量を変更できるようにしてもよい。この場合、再生開始時点の場合と同様に、プレロール時のバッファ量が不適切な値となって再生品質の低下や遅延が発生する可能性を低く抑えることが可能となる。すなわち、例えば、バッファリングされるデータ量が増えるため、再生開始後の視点切り替えにかかる時間が増加する（応答遅延が増加する）といった問題点を回避することができる。
【０１２７】
なお、上記実施の形態における構成と、特許請求の範囲に記載した構成との関係は次の通りである。「全体映像データ」は「多視点映像４」に対応している。「映像再生領域」は「再生開始時映像領域４２」に対応している。「映像処理装置」は「受信側装置２」に対応している。「バッファ部」は「受信バッファ部２１」に対応している。「復号化部」は「映像／音声復号化部２２」に対応している。「視点映像」は「視点映像４１」に対応している。「ブレロール制御部」は「ブレロール制御部２５」に対応している。
【０１２８】
また、本実施形態にかかる映像処理装置は、多視点映像符号化データが表す多視点映像の大きさと、前記多視点映像に所定形式で配列される前記視点映像の配列数と、前記映像再生領域の位置及び大きさと、前記各視点映像の符号化ビットレートとを表す情報を含む再生設定ファイルが、前記多視点映像符号化データを配信する際の送信側から受信側へと通知され、前記プレロール制御部が、前記受信側において、前記再生設定ファイルの内容に基づき、前記映像再生領域を含む前記各視点映像の符号化ビットレートの合計値に応じて前記受信バッファ部のバッファ量を設定することを特徴とする。
また、本実施形態にかかる映像処理装置において、前記プレロール制御部が、前記各視点映像の符号化ビットレートが視点毎に複数選択可能な場合に、所定の目標ビットレートとの比較において、前記各視点映像の符号化ビットレートを順次選択しながら前記映像再生領域を含む前記各視点映像の符号化ビットレートの合計値を算出した結果に応じて、前記受信バッファ部のバッファ量を設定することを特徴とする。
【０１２９】
また、本実施の形態において説明した処理手順は、これら一連の手順を有する方法として捉えることができる。また、これら一連の手順をコンピュータに実行させるためのプログラムまたはそのプログラムを記憶する記録媒体として捉えることができる。この記録媒体としては、例えば、ブルーレイディスク（Ｂｌｕ−ｒａｙ Ｄｉｓｃ（登録商標））、ＤＶＤ（Ｄｉｇｉｔａｌ Ｖｅｒｓａｔｉｌｅ Ｄｉｓｋ）、ＨＤＤ（ハードディスク）、メモリカード等を挙げることができる。
【０１３０】
なお、上述の装置は、内部にコンピュータシステムを有している。そして、動作の過程は、プログラムの形式でコンピュータ読み取り可能な記録媒体に記憶されており、このプログラムをコンピュータシステムが読み出して実行することによって、上記処理が行われる。ここでいう「コンピュータシステム」とは、ＣＰＵ及び各種メモリやＯＳ、周辺機器等のハードウェアを含むものである。
また、「コンピュータシステム」は、ＷＷＷシステムを利用している場合であれば、ホームページ提供環境（あるいは表示環境）も含むものとする。
【０１３１】
また、各ステップを実現するためのプログラムをコンピュータ読み取り可能な記録媒体に記録して、また、この機能を実現するためのプログラムをコンピュータ読み取り可能な記録媒体に記録して、この記録媒体に記録されたプログラムをコンピュータシステムに読み込ませ、実行することにより、検出対象物の形状情報の推定値を算出する処理を行ってもよい。
また、「コンピュータ読み取り可能な記録媒体」とは、フレキシブルディスク、光磁気ディスク、ＲＯＭ、フラッシュメモリ等の書き込み可能な不揮発性メモリ、ＣＤ−ＲＯＭ等の可搬媒体、コンピュータシステムに内蔵されるハードディスク等の記憶装置のことをいう。
【０１３２】
さらに「コンピュータ読み取り可能な記録媒体」とは、インターネット等のネットワークや電話回線等の通信回線を介してプログラムが送信された場合のサーバやクライアントとなるコンピュータシステム内部の揮発性メモリ（例えばＤＲＡＭ（Dynamic Random Access Memory））のように、一定時間プログラムを保持しているものも含むものとする。
また、上記プログラムは、このプログラムを記憶装置等に格納したコンピュータシステムから、伝送媒体を介して、あるいは、伝送媒体中の伝送波により他のコンピュータシステムに伝送されてもよい。ここで、プログラムを伝送する「伝送媒体」は、インターネット等のネットワーク（通信網）や電話回線等の通信回線（通信線）のように情報を伝送する機能を有する媒体のことをいう。
また、上記プログラムは、前述した機能の一部を実現するためのものであっても良い。さらに、前述した機能をコンピュータシステムに既に記録されているプログラムとの組合せで実現できるもの、いわゆる差分ファイル（差分プログラム）であっても良い。
【符号の説明】
【０１３３】
１ 送信側装置
２ 受信側装置
３ 通信網
４ 多視点映像
５、５Ａ 再生設定ファイル
１１ 映像／音声符号化部
１２ 送信バッファ部
１３ 多視点映像制御部
１４ 再生設定ファイル送信部
２１ 受信バッファ部
２２ 映像／音声復号化部
２３ 多視点映像要求部
２４ 再生設定ファイル受信部
２５ プレロール制御部
２６ 映像音声出力部
４１ 視点映像
４２ 再生開始時映像領域
【技術分野】
【０００１】
本発明は、映像処理装置、映像処理システム、映像処理方法及び映像処理プログラム
に関する。
【背景技術】
【０００２】
従来、映像／音声符号化データのストリーミング配信の際には、安定した再生品質を保持するため、クライアント側である程度データをバッファリングしてから再生を開始している（例えば特許文献１参照）。
【０００３】
図９は、本発明の背景技術を説明するために本願発明者が作成した映像／音声配信システムの一例を示すブロック図である。図９に示した映像／音声配信システム８は、送信側装置６と受信側装置７とから構成されている。送信側装置６は、映像／音声データ（すなわち映像又は映像及び音声データ）を所定形式の符号化データに符号化して出力する映像／音声符号化部６１と、符号化データを一時蓄積して送信する送信バッファ部６２とを備えている。受信側装置７は、符号化データを受信し、一時蓄積して出力する受信バッファ部７１と、符号化データを復号する映像／音声復号化部７２とを備えている。
【０００４】
図９に示すような構成の映像／音声配信システム８では、映像／音声符号化データのリアルタイムストリーミング配信を行う場合、映像／音声符号化データのビットレートがほぼ一定のときには、ビットレートに合わせてある固定値で指定されるデータ量が受信バッファ部７１に保存された状態になってから再生が開始される。こうすること（以下、データ量がある程度バッファに保存された状態になってから再生を開始することを「プレロール」と呼ぶ）で、リアルタイムストリーミング配信時でもネットワークの劣化（遅延ゆらぎなど）に対しても安定した再生品質を保持することができる。
【０００５】
ここで、上記のようなプレロールを多視点映像符号化データに適用することを考える。多視点映像とは、複数の視点から見た各視点の映像を含んで構成される複合的な映像を意味する。多視点映像には、立体映像、自由視点映像、パノラマ映像などがある。立体映像は、左右の目の視差を利用して幅、高さに加え、奥行きを表現する映像であり、左右の視線に対応した複数の映像を含んで構成される。自由視点映像は、視聴者が視点位置や視点方向を自由に変えられるようにした映像であり、複数の視点や方向に対応した複数の映像を含んで構成される。パノラマ映像は、通常よりも広角な映像であり、広角な映像の一部の領域に対応する複数の映像を含んで構成される。本願では、この「多視点映像」に含まれる各視点の映像を「視点映像」と呼ぶこととする。
【０００６】
また、多視点映像符号化データは、複数の視点の映像を含む多視点映像を符号化した映像データであり、符号化方式は例えばＩＴＵ−Ｔ（国際電気通信連合−電気通信標準化部門）とＩＳＯ／ＩＥＣ（国際標準化機構／国際電気標準会議）による国際標準Ｈ．２６４／ＡＶＣ Ａｎｎｅｘ Ｈで規定されている。
【先行技術文献】
【特許文献】
【０００７】
【特許文献１】特開２００７−２８２４１号公報
【発明の概要】
【発明が解決しようとする課題】
【０００８】
多視点映像符号化データの配信システムでは、再生開始時点の複数の視点にわたる再生領域をあらかじめサーバ側で設定したり、変更したりできるようにしたものがある。また、多視点映像符号化データの配信においては、再生される視点の数に応じてリアルタイムストリーミング配信されるビットレートが変化する。したがって、プレロールを多視点映像符号化データに適用する場合、再生開始時初期の再生領域をカバーする視点の数に応じてリアルタイムストリーミング配信されるビットレートが異なることになる。そのため多視点映像符号化データの配信システムでは、以下の問題が生じることがある。
【０００９】
例えば、再生開始時の初期の視点でトータルのビットレートが、固定したプレロールの閾値よりも高い場合、十分にバッファリングが行われる前に再生が開始されてしまうため、以後の再生品質の安定性が低下するという問題点がある。これとは逆に、再生開始時の初期の視点でトータルのビットレートが、固定したプレロールの閾値よりも低い場合、プレロールの閾値にバッファリングが達するまでに時間が多くかかり、再生開始が遅れるという問題点がある。
【００１０】
本発明は、上記の事情を考慮してなされたものであり、多視点映像符号化データのリアルタイムストリーミング配信に際して、安定した映像再生の実現と再生開始時間の遅延を少なくすることとを両立させることができる映像処理装置、映像処理システム、映像処理方法及び映像処理プログラムを提供することを目的とする。
【課題を解決するための手段】
【００１１】
この発明は上述した課題を解決するためになされたもので、本発明の一態様による映像処理装置は、全体映像データのうち指定された一部領域である映像再生領域の符号化データを復号化する映像処理装置であって、入力する符号化データを一時的に保存し、保存している前記符号化データのデータ容量が設定されたプレロール時のバッファ量に到達した場合、保存している前記符号化データを出力するバッファ部と、前記バッファ部から入力する前記符号化データを復号化して出力部に出力する復号化部と、前記全体映像データの映像を構成する複数の視点映像のうち前記映像再生領域を含む前記視点映像のデータ容量に応じて、前記プレロール時のバッファ量を設定するプレロール制御部と、を備える。
【００１２】
本発明の一態様は、上述の映像処理装置であって、前記プレロール制御部は、前記全体映像データの映像内における前記映像再生領域の位置関係を示す情報を入力し、当該情報に基づき前記映像再生領域に対応する前記視点映像のデータ容量を算出し、算出した前記視点映像のデータ容量に応じて前記プレロール時のバッファ量を設定する。
【００１３】
本発明の一態様は、上述の映像処理装置であって、前記プレロール制御部は、前記入力する符号化データのデータ容量の目標値にあわせて、データ容量が異なる前記視点映像を組み合わせた前記映像再生領域に対応する前記視点映像のデータ容量を算出し、算出した前記視点映像のデータ容量に応じて前記プレロール時のバッファ量を設定する。
【００１４】
本発明の一態様による映像処理システムは、全体映像データのうち指定された一部領域である映像再生領域の符号化データを送信する送信側映像処理装置と、前記符号化データを受信し、復号化する受信側映像処理装置とを備え、前記受信側処理装置は、前記送信側映像処理装置から受信する前記符号化データを一時的に保存し、保存している前記符号化データのデータ容量が設定されたプレロール時のバッファ量に到達した場合、保存している前記符号化データを出力するバッファ部と、前記バッファ部から入力する前記符号化データを復号化して出力部に出力する復号化部と、前記全体映像データの映像を構成する複数の視点映像のうち前記映像再生領域を含む前記視点映像のデータ容量に応じて、前記プレロール時のバッファ量を設定するプレロール制御部と、を備える。
【００１５】
本発明の一態様による映像処理方法は、全体映像データのうち指定された一部領域である映像再生領域の符号化データを復号化する映像処理方法であって、前記全体映像データの映像を構成する複数の視点映像のうち前記映像再生領域を含む前記視点映像のデータ容量に応じてプレロール時のバッファ量を設定するステップと、入力する符号化データを一時的に記憶領域に保存するステップと、保存している前記符号化データのデータ容量が設定された前記プレロール時のバッファ量に到達した場合、保存している前記符号化データを前記記憶領域から出力するステップと、前記出力する前記符号化データを入力し、復号化するステップと、を備える。
【００１６】
本発明の一態様による映像処理プログラムは、全体映像データのうち指定された一部領域である映像再生領域の符号化データを復号化するコンピュータを、入力する符号化データを一時的に保存し、保存している前記符号化データのデータ容量が設定されたプレロール時のバッファ量に到達した場合、保存している前記符号化データを出力するバッファ手段、前記バッファ部から入力する前記符号化データを復号化して出力部に出力する復号化手段、前記全体映像データの映像を構成する複数の視点映像のうち前記映像再生領域を含む前記視点映像のデータ容量に応じて、前記プレロール時のバッファ量を設定するプレロール制御手段、として機能させるためのプログラムである。
【発明の効果】
【００１７】
本発明によれば、プレロール制御部によって、全体映像データを構成する複数の視点映像のうち、映像再生領域を含む視点映像のビットレートに応じて、プレロール時のバッファ量が設定される。すなわち、バッファリングされるデータ量を、映像再生領域の再生に要する実際のビットレートに応じて制御することが可能となる。よって、プレロールのためにバッファリングされるデータ量に過不足を生じさせず、適切に設定し、安定した映像再生の実現と、再生開始時間の遅延を少なくすることとの両立が可能となる。
【図面の簡単な説明】
【００１８】
【図１】本発明の一実施形態としての多視点映像配信システムの構成例を示すブロック図である。
【図２】図１の多視点映像配信システム１００で配信される多視点映像４の一例を説明するための模式図である。
【図３】図１の送信バッファ部１２に蓄積される符号化データの格納例を説明するための模式図である。
【図４】図１の多視点映像配信システム１００で用いられる再生設定ファイルの一例を説明するための模式図である。
【図５】図２に示した多視点映像４と図３に示した再生設定ファイル５内のパラメータとの対応を説明するための模式図である。
【図６】図１の多視点映像配信システム１００の動作例を説明するためのフローチャートである。
【図７】図１の多視点映像配信システム１００で用いられる再生設定ファイルの他の例を説明するための模式図である。
【図８】図１の多視点映像配信システム１００の他の動作例を説明するためのフローチャートである。
【図９】本発明の背景技術としての多視点映像配信システムの構成例を示すブロック図である。
【発明を実施するための形態】
【００１９】
以下、図面を参照して本発明の一実施の形態について説明する。図１は、本発明の一実施の形態を説明するための多視点映像配信システムを示すブロック図である。図１に示した多視点映像配信システム１００は、送信側装置１と、受信側装置２と、通信網３とから構成されている。この場合、送信側装置１は、コンピュータと、その周辺装置とを有して構成されていて、多視点映像符号化データを配信するサーバとして動作する。受信側装置２は、コンピュータと、その周辺装置とを有して構成されていて、多視点映像符号化データを受信するクライアントとして動作する。通信網３は、有線や無線の通信回線、中継装置などから構成されていて、送信側装置１と受信側装置２との間を接続する。
【００２０】
本実施形態の多視点映像配信システム１００では、図２に示すような多視点映像４を表す符号化データが、送信側装置１から受信側装置２へと配信される。図２は、本実施形態において配信対象とする多視点映像４の一例を模式的に示した図である。本実施形態において、多視点映像４は、例えばパノラマ映像であって、この多視点映像４を複数の領域に分割した各映像を、以下、視点映像４１−ｉと呼称する。
図２に示した多視点映像４は、複数の視点映像４１−１〜４１−４０から形成されている。本実施形態では、多視点映像４をマトリクス状に分割することにより、多視点映像４を複数の視点映像４１−１〜４１−４０に分割する。この多視点映像４が矩形の形状を有し、また、視点映像４１−１〜４０−４０がすべて同一の矩形の形状を有している。この場合、多視点映像４は、横に８個で、縦に５個で合計４０個の視点映像４１−１〜４１−４０から形成されている。また、視点映像４１−１〜４０−４０には、識別情報としてのＩＤ（識別符号）＝１〜４０が左上からラスタキャンで順に割り当てられている。なお、以下では、視点映像４１−１〜４１−４０について位置を特定せずに１又は複数の視点映像を参照する場合には視点映像４１と表記することとする。
【００２１】
本実施形態において多視点映像４は、例えば１つのパノラマ映像であり、視点映像４１−１〜４１−４０がそのパノラマ映像を４０分割した各領域の映像である。ただし、多視点映像４は、パノラマ映像に限らず、立体映像や自由視点映像であってもよい。
【００２２】
また、本実施形態では、受信側装置２において、多視点映像４の再生開始時点に、破線で示した一部の領域４２（以下、再生開始時映像再生領域４２と呼ぶ）に対応する映像が再生される。再生開始時映像再生領域４２は、例えば送信側装置１において多視点映像４に対応させてあらかじめ設定されている。すなわち、再生開始時映像再生領域４２の設定情報が送信側装置１において多視点映像４に対応させて図示していない所定の記憶装置に記憶されている。
【００２３】
また、本実施形態では、送信側装置１から受信側装置２へ向けて多視点映像４の符号化データが配信される際に、配信に先立って受信側装置２から送信側装置１に対してどの視点映像４１を送信するのかが要求される。すなわち、送信側装置１は、受信側装置２から要求された１又は複数の視点映像４１に対応する符号化データを送信する。また、上述したように本実施形態では再生開始時に再生開始時映像再生領域４２に対応する映像が受信側装置２において再生される。したがって、受信側装置２から送信側装置１に対しては再生開始時映像再生領域４２を含む１又は複数の視点映像４１（図２の例では視点映像４１−１〜４１−３、４１−９〜４１−１１及び４１−１７〜４１−１９の９個）の送信要求が通知される。
【００２４】
なお、本実施形態において送信側装置１から受信側装置２へ配信される多視点映像４の符号化データは、例えばＩＴＵ−Ｔ Ｈ．２６４／ＡＶＣ Ａｎｎｅｘ Ｈに準じて符号化することができる。このＩＴＵ−Ｔ Ｈ．２６４／ＡＶＣ Ａｎｎｅｘ Ｈでは、各視点映像４１を独立して符号化する場合と、隣り合う複数の視点映像４１間の差異に応じて予測処理を行って符号化する場合とが規定されている。本実施形態では、説明を簡単にするため、各視点映像４１は独立して符号化されていることとする。
【００２５】
図１に戻って、送信側装置１は、映像／音声符号化部１１、送信バッファ部１２、多視点映像制御部１３及び再生設定ファイル送信部１４を備えている。これらの映像／音声符号化部１１、送信バッファ部１２、多視点映像制御部１３及び再生設定ファイル送信部１４の各ブロックは、送信側装置１内部のコンピュータや周辺装置と、それらを制御するプログラムとを用いて実現される機能ブロックを表している。
【００２６】
受信側装置２は、受信バッファ部２１、映像／音声復号化部２２、多視点映像要求部２３、再生設定ファイル受信部２４、プレロール制御部２５及び映像／音声出力部２６を備えている。これらの受信バッファ部２１、映像／音声復号化部２２、多視点映像要求部２３、再生設定ファイル受信部２４、プレロール制御部２５及び映像／音声出力部２６の各ブロックは、受信側装置２内部のコンピュータや周辺装置と、それらを制御するプログラムとを用いて実現される機能ブロックを表している。
【００２７】
映像／音声符号化部１１は、多視点映像４を表すデータと多視点映像４に対応した音声を表すデータとを所定の記憶装置や記憶媒体又は所定の外部の装置から入力し、ＩＴＵ−Ｔ Ｈ．２６４／ＡＶＣ Ａｎｎｅｘ Ｈに準拠して符号化処理を行う。この映像／音声符号化部１１から出力された符号化データは、送信バッファ部１２に入力される。
【００２８】
送信バッファ部１２は、映像／音声符号化部１１から出力された符号化データを視点映像４１毎や符号化ビットレート毎に選択可能に所定時間分（あるいは所定データ量分）記憶し、多視点映像制御部１３からの所定の通知に応じて１又は複数の視点映像４１に対応する符号化データを選択して受信側装置２へ向けて送信する。図３は、図２を参照して説明した多視点映像４を送信バッファ部１２に記憶する場合の符号化データの格納形態の一例を説明するための模式図である。図３（Ａ）は、すべての視点映像４１を同一の符号化ビットレートで符号化した場合の符号化データの格納単位の一例を示している。図３（Ｂ）は、各視点映像４１をそれぞれ３種類の符号化ビットレートで符号化した場合の符号化データの格納単位の一例を示している。
【００２９】
図３（Ａ）の格納単位５０は、付加情報５１と、符号化データ５２−１〜５２−４０とを含んでいる。符号化データ５２−１〜５２−４０は、視点映像４１−１〜４１−４０の同一時刻における各ピクチャに対応する符号化データである。また、付加情報５１は、当該ピクチャのタイミング情報や各符号化データ５２−１〜５２−４０にランダムアクセスする場合に用いられる位置情報などを含んでいる。また、この場合、符号化データ５２−１〜５２−４０には、視点映像４１−１〜４１−４０に割り当てられているものと同一のＩＤが割り当てられている。
【００３０】
図３（Ｂ）の格納単位５３は、付加情報５４と、符号化データ５５−１〜５５−４０とを含んでいる。符号化データ５５−１−１〜５５−４０−１は、視点映像４１−１〜４１−４０の同一時刻における各ピクチャに対応する、ある符号化ビットレートで符号化された符号化データである。符号化データ５５−１−２〜５５−４０−２は、視点映像４１−１〜４１−４０の同一時刻における各ピクチャに対応する、他の符号化ビットレートによる符号化データである。符号化データ５５−１−３〜５５−４０−３は、視点映像４１−１〜４１−４０の同一時刻における各ピクチャに対応する、さらに他の符号化ビットレートによる符号化データである。また、付加情報５４は、当該ピクチャのタイミング情報や各符号化データにランダムアクセスする場合の位置情報などを含んでいる。また、この場合、符号化データ５５−１−１〜５５−４０−３には、視点映像４１−１〜４１−４０に割り当てられているものと同一のＩＤに、符号化ビットレートの階層を表す符号「−１」、「−２」及び「−３」を添えたＩＤが割り当てられている。
【００３１】
送信バッファ部１２は、映像／音声符号化部１１から出力された符号化データを、図３に示すような格納単位５０や格納単位５３を単位として複数ピクチャ分記憶する。
【００３２】
多視点映像制御部１３は、受信側装置２内の多視点映像要求部２３から多視点映像４の配信要求を受け取り、送信バッファ部１２に対して出力すべき１又は複数の視点映像４１（及びその符号化ビットレート）を示す情報を通知する。本実施形態では、符号化ビットレートが１種類の場合は、多視点映像要求部２３から通知される配信要求が、図２に示した各視点映像４１に割り当てられているＩＤ＝１〜４０のうちの１又は複数を含むものとなる。また、例えば、符号化ビットレートが３種類の場合は、多視点映像要求部２３から通知される配信要求が、図２に示した各視点映像４１に割り当てられているＩＤ＝１〜４０のうちの１又は複数を含むとともに、図３に示した符号化データ５５−１−１〜５５−４０−３のＩＤ＝１−１〜４０−３のうちの１又は複数を示すものとなる。
【００３３】
再生設定ファイル送信部１４は、多視点映像４に対応してあらかじめ所定の記憶装置に記憶されている情報を参照し、受信側装置２に対して配信される多視点映像４の仕様と再生開始時映像再生領域４２の設定値などを表す複数のパラメータ（つまり複数の所定の値）を含んだ再生設定ファイルを作成して、受信側装置２の再生設定ファイル受信部２４へ向けて送信する。
【００３４】
図４は、再生設定ファイル送信部１４で作成される再生設定ファイルの一例を示している。図４に示した再生設定ファイル５には、多視点映像４の仕様を表すパラメータである「ＨｅｉｇｈｔＳｉｚｅ」、「ＷｉｄｔｈＳｉｚｅ」、「ＨｅｉｇｈｔＶｉｅｗ」、「ＷｉｄｔｈＶｉｅｗ」及び「ＶｉｅｗＺ（ただし、図４の例ではＺが１から４０までの整数）」と、再生開始時映像再生領域４２の設定値を表すパラメータである「ＲＯＩＸ」、「ＲＯＩＹ」、「ＲＯＩＸｓｉｚｅ」及び「ＲＯＩＹｓｉｚｅ」とが含まれている。
【００３５】
ここで、「ＨｅｉｇｈｔＳｉｚｅ」及び「ＷｉｄｔｈＳｉｚｅ」は多視点映像４の大きさを表すパラメータである。「ＨｅｉｇｈｔＶｉｅｗ」及び「ＷｉｄｔｈＶｉｅｗ」は多視点映像４における視点映像４１の縦及び横の数を表すパラメータである。また、「ＲＯＩＸ」、「ＲＯＩＹ」、「ＲＯＩＸｓｉｚｅ」及び「ＲＯＩＹｓｉｚｅ」は再生開始時映像再生領域４２の位置及び大きさを表すパラメータである。そして、「ＶｉｅｗＺ」がＩＤ＝Ｚの各視点映像４１−Ｚの符号化ビットレートを表すパラメータである。
【００３６】
さらに、図５を参照して、図４に示した再生設定ファイル５に含まれる各パラメータの詳細について説明する。図５は、上記で多視点映像４を説明する際に用いた図２の模式図に、再生設定ファイル５に含まれる各パラメータを説明するための記述を追加した模式図である。
【００３７】
「ＨｅｉｇｈｔＳｉｚｅ」は、多視点映像４の縦幅を画素数を単位として表すパラメータである。「ＷｉｄｔｈＳｉｚｅ」は、多視点映像４の横幅を画素数を単位として表すパラメータである。「ＨｅｉｇｈｔＶｉｅｗ」（不図示）は、多視点映像４の縦の視点映像４１の数を表すパラメータである。「ＷｉｄｔｈＶｉｅｗ」（不図示）は、多視点映像４の横の視点映像４１の数を表すパラメータである。
【００３８】
「ＶｉｅｗＺ（Ｚ＝１〜４０）」は、多視点映像４を構成する各視点映像４１の符号化ビットレートを表すパラメータである。図４及び図５に示す例では、Ｖｉｅｗ１、Ｖｉｅｗ２、…、Ｖｉｅｗ４０が、ＩＤ＝１の視点映像４１の符号化ビットレート、ＩＤ＝２の視点映像４１の符号化ビットレート、…、ＩＤ＝４０の視点映像４１の符号化ビットレートをそれぞれ表している。
【００３９】
また、「ＲＯＩＸ」は、再生開始時映像再生領域４２の左上の画素４３のｘ座標を表すパラメータである。「ＲＯＩＹ」は、再生開始時映像再生領域４２の左上の画素４３のｙ座標を表すパラメータである。ここで、画素４３のｘ座標とｙ座標は、多視点映像４の左上の画素４４の座標を（１，１）とした場合の座標である。
【００４０】
「ＲＯＩＸｓｉｚｅ」は、再生開始時映像再生領域４２の横方向（ｘ方向）のサイズを画素数を単位として表すパラメータである。「ＲＯＩＹｓｉｚｅ」は、再生開始時映像再生領域４２の縦方向（ｙ方向）のサイズを画素数を単位として表すパラメータである。
【００４１】
なお、図４に示した再生設定ファイル５に含まれている各パラメータの数値の意味は以下の通りである。
【００４２】
「ＨｅｉｇｈｔＳｉｚｅ＝２５００」は、多視点映像４の縦幅が２５００（ｐｉｘｅｌ）であることを示している。「ＷｉｄｔｈＳｉｚｅ＝４０００」は、多視点映像４の横幅が４０００（ｐｉｘｅｌ）であることを示している。「ＨｅｉｇｈｔＶｉｅｗ＝５」は、多視点映像４の縦の視点映像４１の数が５個であることを示している。「ＷｉｄｔｈＶｉｅｗ＝８」は、多視点映像４の横の視点映像４１の数が８個であることを示している。「ＲＯＩＸ＝３００」は、再生開始時映像再生領域４２の左上の画素４３のｘ座標が３００であることを示している。「ＲＯＩＹ＝３００」は、再生開始時映像再生領域４２の左上の画素４３のｙ座標が３００であることを示している。
【００４３】
「ＲＯＩＸｓｉｚｅ＝１０００」は、再生開始時映像再生領域４２の横方向（ｘ方向）のサイズが１０００（ｐｉｘｅｌ）であることを示している。「ＲＯＩＹｓｉｚｅ＝１０００」は、再生開始時映像再生領域４２の縦方向（ｙ方向）のサイズが１０００（ｐｉｘｅｌ）であることを示している。「ＶｉｅｗＺ（ただしＺ＝１〜４０）＝１０００ｋｂｐｓ」は、多視点映像４を構成するＩＤ＝１〜４０の各視点映像４１−１〜４１−４０の符号化ビットレートが１０００ｋｂｐｓであることを示している。
つまり、再生設定ファイルに含まれる情報は、多視点映像４内における再生開始時映像再生領域４２の位置関係を示す。
【００４４】
一方、図１に示した受信側装置２における受信バッファ部２１は、例えばマイクロコンピュータなどからなる信号処理装置と記憶装置とを有して構成されていて、送信バッファ部１２から送信された符号化データを受信し、受信した符号化データを一時的に記憶してバッファリングするとともに、順次読み出して映像／音声復号化部２２へ出力する。すなわち、受信バッファ部２１は、受信した符号化データを一時的に保存し、保存している符号化データのデータ容量が設定されたプレロール時のバッファ量に到達した場合、保存している符号化データを出力する。この受信バッファ部２１におけるバッファリングの記憶量であるバッファ量（つまりプレロール時のバッファ量）は、プレロール制御部２５から通知されるプレロール時のバッファ量の指示値に応じて、可変して設定される。すなわち、受信バッファ部２１は、受信した多視点映像符号化データを所定のバッファ量分一時記憶して出力するものであって、バッファ量が変更可能なものである。
【００４５】
本実施形態においてプレロール時のバッファ量は、再生開始時にあらかじめ設定されているプレロール時間分確保される。ここで、本実施形態では、受信側装置２において、多視点映像４の再生開始時点に再生開始時映像再生領域４２に対応する映像が再生される。したがって、プレロール時のバッファ量は、再生開始時映像再生領域４２を含む１又は複数の視点映像４１−ｉに対応する各符号化データをプレロール時間分記憶するのに必要な量だけ確保される。より具体的には、再生開始時映像再生領域４２を含む１又は複数の視点映像４１−ｉに対応する各符号化データの符号化ビットレート（すなわち単位時間あたりのデータ伝送量）にプレロール時間を乗じた分のバッファ量（プレロール時のバッファ量）が確保される。また、受信バッファ部２１は、プレロール時のバッファ量の設定が完了した場合（つまりプレロールのためにバッファされる最大の容量を指示されたプレロール時のバッファ量に設定する処理が完了した場合）にその旨を多視点映像要求部２３に対して通知する。
【００４６】
例えば、プレロール制御部２５が受信バッファ部２１に対してプレロール時間＝０．５秒と設定した場合の一例について具体的に説明する。再生開始時映像再生領域４２を含む視点映像４１−ｉに対応する各符号化データの符号化ビットレートが３Ｍｂｐｓである場合、受信バッファ部２１は、自身の記憶領域に格納する符号化データのバッファ量が１．５Ｍｂｉｔｓに到達したら、格納する符号化データを出力する。また、再生開始時映像再生領域４２を含む視点映像４１−ｉに対応する各符号化データの符号化ビットレートが１０Ｍｂｐｓである場合、受信バッファ部２１は、自身の記憶領域に格納する符号化データのバッファ量が５Ｍｂｉｔｓに到達したら、格納する符号化データを出力する。つまり、受信バッファ部２１は、受信側装置２が受信する符号化データの符号化ビットレートに応じて、プレロール時間に対応するプレロール時のバッファ量が設定される。
本実施形態では、プレロール時のバッファ量は、受信側装置２が受信する符号化データの符号化ビットレートにプレロール時間を乗算した値をプレロール制御部２５が算出して受信バッファ部２１に設定される。
【００４７】
一方、映像／音声復号化部２２は、受信バッファ部２１から入力した符号化データを復号し、映像／音声出力部２６に出力する。
【００４８】
映像／音声出力部２６は、内蔵あるいは外部の図示していない所定の映像表示装置や音声出力装置に対して映像信号と音声信号を出力する。
【００４９】
多視点映像要求部２３は、再生設定ファイル受信部２４から通知された多視点映像４の所定の仕様、再生開始時映像再生領域４２の設定値などを表す所定のパラメータに基づいて、再生開始時映像再生領域４２を含んでいる１又は複数の視点映像４１を決定し、決定した１又は複数の視点映像４１を表す情報を初期要求ビューとしてプレロール制御部２５へ通知する。具体的には、本実施形態では、多視点映像要求部２３が決定した、再生開始時映像再生領域４２を含む１又は複数の視点映像４１の各ＩＤの集合が、初期要求ビューとなる。例えば、図４に示す例では、初期要求ビューは、｛１，２，３，９，１０，１１，１７，１８，１９｝となる。さらに、多視点映像要求部２３は、受信バッファ部２１からプレロール時のバッファ量の設定が完了した旨の通知を受けた後、多視点映像４の配信を要求する信号を多視点映像制御部１３に対して送信する。
【００５０】
再生設定ファイル受信部２４は、再生設定ファイル送信部１４から再生設定ファイル５を受信し、再生設定ファイル５に含まれる多視点映像４の所定の仕様と再生開始時映像再生領域４２の設定値などを表す所定のパラメータを多視点映像要求部２３とプレロール制御部２５とに対して通知する。
【００５１】
プレロール制御部２５は、再生設定ファイル受信部２４から通知された再生設定ファイル５に含まれる多視点映像４の仕様を表す所定のパラメータと、多視点映像要求部２３から通知された初期要求ビューを表す情報とに基づいて、受信バッファ部２１において設定すべきプレロール時のバッファ量を算出する。また、プレロール制御部２５は、算出したプレロール時のバッファ量を表す情報を、受信バッファ部２１に対して通知する。より具体的には、本実施形態において、プレロール制御部２５は、再生開始時映像再生領域４２を含む視点の映像である各視点映像４１の符号化ビットレートの合計値に応じて、プレロール時間に対応するプレロール時のバッファ量を受信バッファ部２１に設定する。
【００５２】
なお、プレロール制御部２５は、各視点映像４１の符号化ビットレートが視点映像４１毎に複数選択可能な場合（すなわち図３（Ｂ）を参照して説明したようにマルチビットレートとなっている場合）には、所定の目標ビットレートとの比較において、各視点映像４１の異なる符号化ビットレートを順次選択しながら再生開始時映像再生領域４２を含む各視点映像４１の符号化ビットレートの合計値を算出した結果に応じて、受信バッファ部２１のプレロール時のバッファ量を設定する機能も有している。なお、目標ビットレートとは、送信側装置１から受信側装置２に伝送するデータのビットレートの上限値であって、受信側装置２から送信側装置１に要求するデータの総ビットレートの目標値である。
【００５３】
次に、図６を参照して、図１に示した多視点映像配信システム１００の動作について説明する。図６は、多視点映像配信システム１００における処理の流れの一例を示したフローチャートである。また、配信対象となる多視点映像４、再生開始時映像再生領域４２及び再生設定ファイル５の仕様や設定、内容は、図２〜図５を参照して説明した例を用いることとする。
【００５４】
図６は、映像再生開始にあたっての処理フローの一例を示している。まず、送信側の再生設定ファイル送信部１４から受信側の再生設定ファイル受信部２４に対して再生設定ファイル５が送信される（ステップＳ１０１）。この場合、再生設定ファイル５には、図４を参照して説明したように、多視点映像４の大きさを表すパラメータ「ＨｅｉｇｈｔＳｉｚｅ」及び「ＷｉｄｔｈＳｉｚｅ」、多視点映像４における視点映像４１の縦及び横の数を表すパラメータ「ＨｅｉｇｈｔＶｉｅｗ」及び「ＷｉｄｔｈＶｉｅｗ」、再生開始時映像再生領域４２の位置及び大きさを表すパラメータ「ＲＯＩＸ」、「ＲＯＩＹ」、「ＲＯＩＸｓｉｚｅ」及び「ＲＯＩＹｓｉｚｅ」と、ＩＤ＝Ｚの各視点映像４１−Ｚの符号化ビットレートを表すパラメータである「ＶｉｅｗＺ」とが含まれている。
【００５５】
ステップＳ１０１で再生設定ファイル送信部１４から送信された再生設定ファイル５は、再生設定ファイル受信部２４で受信され、再生設定ファイル受信部２４が、再生設定ファイル５の内の次の値を多視点映像要求部２３に通知する（ステップＳ１０２）。
【００５６】
すなわちステップＳ１０２で再生設定ファイル受信部２４によって多視点映像要求部２３に通知される値は、多視点映像４の縦幅ＨｅｉｇｈｔＳｉｚｅ、同横幅ＷｉｄｔｈＳｉｚｅ、多視点映像４の縦の視点映像４１の数ＨｅｉｇｈｔＶｉｅｗ、同横の視点映像４１の数ＷｉｄｔｈＶｉｅｗ、再生開始時映像再生領域４２の左上の画素４３のｘ座標ＲＯＩＸ、同ｙ座標ＲＯＩＹ、同ｘ方向のサイズＲＯＩＸｓｉｚｅ及び同ｙ方向のサイズＲＯＩＹｓｉｚｅである。
【００５７】
多視点映像要求部２３は、通知された値に基づいて、初期要求ビューを算出する（ステップＳ１０３）。初期要求ビューは、上述したように、再生開始時映像再生領域４２を含む１又は複数の視点映像４１−ｉの各ＩＤの集合である。多視点映像要求部２３による初期要求ビューの算出は、例えば次のようにして行うことができる。
【００５８】
まず、多視点映像要求部２３は、図５に示した１つの視点映像４１の横サイズＶｉｅｗＷｉｄｔｈＳｉｚｅと、縦サイズＶｉｅｗＨｅｉｇｈｔＳｉｚｅとを下式にてそれぞれ算出する。
【００５９】
ＶｉｅｗＷｉｄｔｈＳｉｚｅ＝ＷｉｄｔｈＳｉｚｅ／ＷｉｄｔｈＶｉｅｗ
【００６０】
図４に示した値を用いると、ＶｉｅｗＷｉｄｔｈＳｉｚｅ＝ＷｉｄｔｈＳｉｚｅ／ＷｉｄｔｈＶｉｅｗ＝４０００／８＝５００となる。
【００６１】
ＶｉｅｗＨｅｉｇｈｔＳｉｚｅ＝ＨｅｉｇｈｔＳｉｚｅ／ＨｅｉｇｈｔＶｉｅｗ
【００６２】
図４に示した値を用いると、ＶｉｅｗＨｅｉｇｈｔＳｉｚｅ＝ＨｅｉｇｈｔＳｉｚｅ／ＨｅｉｇｈｔＶｉｅｗ＝２５００／５＝５００となる。
【００６３】
次に、多視点映像要求部２３は、再生開始時映像再生領域４２の左上の画素４３がどの視点映像４１に含まれるかを次のようにして算出する。まず、画素４３を含む視点映像４１の横方向（ｘ方向）の位置Ｍ１を下式にて確定する。なお、下式において関数ＩＮＴは、括弧内の変数の小数点以下を切り捨てて整数化する関数である。ここで、位置Ｍ１は、左端を０、その右隣を１として１ずつ増加する値をとり、例えば図５に示した例では、ＩＤ＝１の視点映像４１の位置Ｍ１が０、ＩＤ＝２の視点映像４１の位置Ｍ１が１、…、ＩＤ＝８の視点映像４１の位置Ｍ１が７、ＩＤ＝９の視点映像４１の位置Ｍ１が０、…、ＩＤ＝４０の視点映像４１の位置Ｍ１が７となる。
【００６４】
Ｍ１＝ＩＮＴ（ＲＯＩＸ／ＶｉｅｗＷｉｄｔｈＳｉｚｅ）
【００６５】
図４に示した値を用いると、Ｍ１＝ＩＮＴ（ＲＯＩＸ／ＶｉｅｗＷｉｄｔｈＳｉｚｅ）＝ＩＮＴ（３００／５００）＝０となる。
【００６６】
さらに、多視点映像要求部２３は、縦方向の位置Ｎ１を下式にて確定する。位置Ｎ１は、一番上を０、その下を１として１ずつ増加する値をとり、例えば図５に示した例では、ＩＤ＝１〜８の各視点映像４１の位置Ｎ１が０、ＩＤ＝９〜１６の各視点映像４１の位置Ｎ１が１、…、ＩＤ＝３３〜４０の各視点映像４１の位置Ｎ１が４となる。
【００６７】
Ｎ１＝ＩＮＴ（ＲＯＩＹ／ＶｉｅｗＨｅｉｇｈｔＳｉｚｅ）
【００６８】
図４に示した値を用いると、Ｎ１＝ＩＮＴ（ＲＯＩＹ／ＶｉｅｗＨｅｉｇｈｔＳｉｚｅ）＝ＩＮＴ（３００／５００）＝０となる。
【００６９】
次に、多視点映像要求部２３は、以下の式にて、再生開始時映像再生領域４２の左上端の視点映像４１のＩＤとなるＺ１を確定する。
【００７０】
Ｚ１＝Ｍ１＋Ｎ１＊ＷｉｄｔｈＶｉｅｗ＋１
【００７１】
図４に示した値を用いると、Ｚ１＝Ｍ１＋Ｎ１＊ＷｉｄｔｈＶｉｅｗ＋１＝０＋０＊８＋１＝１となる。
【００７２】
続いて、多視点映像要求部２３は、再生開始時映像再生領域４２の右上端の視点映像４１のＩＤとなるＺ２を以下の手順で確定する。
【００７３】
まず、多視点映像要求部２３は、右上端の視点映像４１の横方向の位置Ｍ２を下式にて確定する。この場合、位置Ｍ２は、位置Ｍ１と同様に、左端を０、その右隣を１として１ずつ増加する値をとり、例えば、ＩＤ＝１の視点映像４１の位置Ｍ２が０、ＩＤ＝２の視点映像４１の位置Ｍ２が１、…、ＩＤ＝８の視点映像４１の位置Ｍ２が７、ＩＤ＝９の視点映像４１の位置Ｍ２が０、…、ＩＤ＝４０の視点映像４１の位置Ｍ２が７となる。
【００７４】
Ｍ２＝ＩＮＴ（（ＲＯＩＸ＋ＲＯＩＸｓｉｚｅ）／ＶｉｅｗＷｉｄｔｈＳｉｚｅ）
【００７５】
図４に示した値を用いると、Ｍ２＝ＩＮＴ（（ＲＯＩＸ＋ＲＯＩＸｓｉｚｅ）／ＶｉｅｗＷｉｄｔｈＳｉｚｅ）＝ＩＮＴ（（３００＋１０００／５００）＝２となる。
【００７６】
さらに、多視点映像要求部２３は、右上端の視点映像４１の縦方向の位置Ｎ２を確定する。位置Ｎ２は、位置Ｎ１と同様に、一番上を０、その下を１として１ずつ増加する値をとり、例えば、ＩＤ＝１〜８の各視点映像４１の位置Ｎ２が０、ＩＤ＝９〜１６の各視点映像４１の位置Ｎ２が１、…、ＩＤ＝３３〜４０の各視点映像４１の位置Ｎ２が４となる。
【００７７】
Ｎ２＝ＩＮＴ（ＲＯＩＹ／ＶｉｅｗＨｅｉｇｈｔＳｉｚｅ）
【００７８】
図４に示した値を用いると、Ｎ２＝ＩＮＴ（ＲＯＩＹ／ＶｉｅｗＨｅｉｇｈｔＳｉｚｅ）＝ＩＮＴ（３００／５００）＝０となる。
【００７９】
そして、多視点映像要求部２３は、以下の式にて、再生開始時映像再生領域４２の右上端の視点映像４１のＩＤとなるＺ２を確定する。
【００８０】
Ｚ２＝Ｍ２＋Ｎ２＊ＷｉｄｔｈＶｉｅｗ＋１
【００８１】
図４に示した値を用いると、Ｚ２＝Ｍ２＋Ｎ２＊ＷｉｄｔｈＶｉｅｗ＋１＝２＋０＊８＋１＝３となる。
【００８２】
ここで多視点映像要求部２３は、再生開始時映像再生領域４２を含む複数の視点映像４１−ｉの横の個数Ａを以下の式で算出する。
【００８３】
Ａ＝Ｚ２−Ｚ１＋１
【００８４】
図４に示した値を用いると、Ｚ１＝１及びＺ２＝３から、Ａ＝Ｚ２−Ｚ１＋１＝３−１＋１＝３となる。
【００８５】
さらに、多視点映像要求部２３は、再生開始時映像再生領域４２を含む複数の視点映像４１−ｉの縦の個数Ｂを求める。
【００８６】
Ｂ＝ＩＮＴ（ＲＯＩＹｓｉｚｅ／ＶｉｅｗＨｅｉｇｈｔＳｉｚｅ）＋１
【００８７】
図４に示した値を用いると、Ｂ＝ＩＮＴ（ＲＯＩＹｓｉｚｅ／ＶｉｅｗＨｅｉｇｈｔＳｉｚｅ）＋１＝ＩＮＴ（１０００／５００）＋１＝３となる。
【００８８】
次に、多視点映像要求部２３は、再生開始時映像再生領域４２を含む複数の視点映像４１−ｉを表す情報として下式の条件を満たすＩＤの集合Ｐを算出する。下式において変数ｃが視点映像４１−ｉのＩＤ（ｉ）を表す変数であり、集合Ｐが初期要求ビューとなる。
【００８９】
Ｐ＝｛ｃ｜ｃは以下を満たす整数。Ｚ１＋ＷｉｄｔｈＶｉｅｗ＊ｋ≦ｃ≦Ｚ２＋ＷｉｄｔｈＶｉｅｗ＊ｋ（ただしｋは０から（Ｂ−１）までの整数）｝
【００９０】
図４に示した値を用いると、Ｚ１＝１、Ｚ２＝３及びＢ＝３から、変数ｋの範囲が０から（Ｂ−１）＝３−１＝２までとなる。
したがって、この例での集合Ｐは、
Ｐ＝｛ｃ｜ｃは以下を満たす整数。
Ｚ１＋ＷｉｄｔｈＶｉｅｗ＊０≦ｃ≦Ｚ２＋ＷｉｄｔｈＶｉｅｗ＊０、
Ｚ１＋ＷｉｄｔｈＶｉｅｗ＊１≦ｃ≦Ｚ２＋ＷｉｄｔｈＶｉｅｗ＊１、
Ｚ１＋ＷｉｄｔｈＶｉｅｗ＊２≦ｃ≦Ｚ２＋ＷｉｄｔｈＶｉｅｗ＊２｝
＝｛ｃ｜ｃは以下を満たす整数。
１＋８＊０≦ｃ≦３＋８＊０、
１＋８＊１≦ｃ≦３＋８＊１、
１＋８＊２≦ｃ≦３＋８＊２｝
＝｛ｃ｜ｃは以下を満たす整数。
１≦ｃ≦３、９≦ｃ≦１１、１７≦ｃ≦１９｝
＝｛１，２，３，９，１０，１１，１７，１８，１９｝となる。
【００９１】
多視点映像要求部２３は、以上の手順で初期要求ビュー（すなわち上記の集合Ｐ）を算出すると（ステップＳ１０３）、算出した初期要求ビューをプレロール制御部２５に通知する（ステップＳ１０４）。
【００９２】
上記初期要求ビューである集合Ｐを受け取ったプレロール制御部２５は、集合Ｐに含まれる各視点映像４１の符号化ビットレートの合計値Ｘ（ｋｂｐｓ）を、再生設定ファイル５に含まれている各視点映像４１の符号化ビットレートＶｉｅｗＺ（図４の例では、Ｚ＝１〜４０までが記載されている）に基づいて算出する（ステップＳ１０５）。
【００９３】
上述したように、図４及び図５に示した例を用いると、Ｐ＝｛１，２，３，９，１０，１１，１７，１８，１９｝となるので、プレロール制御部２５は、図４の再生設定ファイル５のＶｉｅｗ１、Ｖｉｅｗ２、Ｖｉｅｗ３、Ｖｉｅｗ９、Ｖｉｅｗ１０、Ｖｉｅｗ１１、Ｖｉｅｗ１７、Ｖｉｅｗ１８及びＶｉｅｗ１９の値を合計し、Ｘ＝９０００ｋｂｐｓを算出する。
【００９４】
その後、プレロール制御部２５は、プレロール時のバッファ量Ｙを下式にて算出する（ステップＳ１０６）。
【００９５】
Ｙ＝Ｘ＊プレロール時間（秒）／１０００（Ｍｂｉｔｓ）
【００９６】
次に、プレロール制御部２５は、算出したプレロール時のバッファ量Ｙを受信バッファ部２１に通知する（ステップＳ１０７）。ここで、受信バッファ部２１は、通知された値に応じたプレロール時のバッファ量を設定する。なお、プレロール時間（秒）は任意に設定可能である。
【００９７】
さらに、受信バッファ部２１は、プレロール時のバッファ量Ｙの設定が完了したら、多視点映像要求部２３に準備完了を通知する（ステップＳ１０８）。
【００９８】
上記の通知を受け取った多視点映像要求部２３は、初期要求ビュー（集合Ｐ）を表す情報を多視点映像制御部１３に対して通知することで、必要な視点映像４１−ｉに対応する映像及び音声の符号化データの送信を多視点映像制御部１３に要求する（ステップＳ１０９）。
【００９９】
送信側装置１では、多視点映像制御部１３が通知された初期要求ビュー（集合Ｐ）に基づいて送信バッファ部１２に対して送信すべき１又は複数の視点映像４１の各ＩＤを通知することによって、送信バッファ部１２が当該各ＩＤで指定される１又は複数の視点映像４１に対応する映像及び音声の符号化データの受信側装置２に向けた送出を開始する（ステップＳ１１０）。このステップＳ１１０で送信された映像及び音声の符号化データは受信バッファ部２１で受信される。そして、映像及び音声の符号化データを受け取った受信バッファ部２１は、映像／音声の再生開始に先立ち、プレロール時のバッファ量Ｙだけデータをバッファリングした後、先にバッファリングしたデータから映像／音声復号化部２２へ向けて順次送出する。
【０１００】
以降、必要に応じて多視点映像要求部２３から多視点映像制御部１３への多視点映像４の送信要求（ステップＳ１０９）と、その送信要求に基づく送信バッファ部１２から受信バッファ部２１への符号化データの送信処理（ステップＳ１１０）が行われる。
【０１０１】
次に、図７及び図８を参照して、図１に示した多視点映像配信システム１００の他の動作例について説明する。図８は、多視点映像配信システム１００における処理の流れの他の例を示したフローチャートである。また、配信対象となる多視点映像４の仕様については、図２及び図５を参照して説明した例の一部を変更して用いることとする。
【０１０２】
この動作例では、図２及び図５に示した各視点映像４１が、図３（Ｂ）を参照して説明したようにマルチビットレートで符号化されている。すなわちこの動作例では、多視点映像４を構成する各視点映像４１の符号化ビットレートが、１種類に固定されているのではなく、複数の異なる階層で複数種類設定されている。図７を参照して、マルチビットレートの場合の再生設定ファイルの例について説明する。図７に示した例では各視点映像４１が３つの階層のビットレートで符号化されている。ただし、図７の例では、階層毎のビットレートは同一であるとしている。
【０１０３】
図４に示した再生設定ファイル５と比較して、図７に示した再生設定ファイル５Ａにおいて追加あるいは変更されたパラメータは、「ＴａｒｇｅｔＢｐｓ」と「ＶｉｅｗＺ−ｎ」である。「ＴａｒｇｅｔＢｐｓ」は、新たに追加されたパラメータである。「ＶｉｅｗＺ−ｎ」は、図４の再生設定ファイル５内で各視点映像４１の符号化ビットレートを表すパラメータ「ＶｉｅｗＺ」を変更したものである。図７の再生設定ファイル５Ａ内の他のパラメータについては図４の再生設定ファイル５内のものと同一である。
【０１０４】
「ＴａｒｇｅｔＢｐｓ」は受信側装置２から送信側装置１に要求する総ビットレートの目標値を表すパラメータである。本実施形態において、ＴａｒｇｅｔＢｐｓは、目標ビットレートである。
【０１０５】
「ＶｉｅｗＺ−ｎ（ただし、図７の例ではＺが１〜４０の整数、ｎが１〜３の整数）」は、Ｚで示されるＩＤ（位置）を有する視点映像４１のｎ階層の符号化ビットレートを表すパラメータである。この場合、階層を表すｎが小さいと、ビットレートも低いものとする。
プレロール制御部２５は、この目標ビットレートにあわせて、データ容量が異なる視点映像４１を組み合わせた再生開始時映像再生領域４２に対応する視点映像４１のデータ容量を算出し、算出した視点映像４１のデータ容量に応じてプレロール時のバッファ量を設定する。
つまり、プレロール制御部２５は、再生開始時映像再生領域４２に対応する視点映像４１−１、４１−２、４１−３、４１−９、４１−１０、４１−１１、４１−１７、４１−１８、４１−１９を、指定された階層ｎの符号化ビットレートの映像データで構成した場合、目標ビットレート以下であるか否かを判定する。
【０１０６】
再生開始時映像再生領域４２に対応する視点映像４１−１、・・・の数と指定された階層ｎの符号化ビットレートとの積、つまり、再生開始時映像再生領域４２に対応する視点映像４１−１、・・・のデータ容量が目標ビットレート以下である場合、プレロール制御部２５は、指定された階層ｎの符号化ビットレートの視点映像４１−１・・・のデータ容量に応じてプレロール時のバッファ量を設定する。
一方、再生開始時映像再生領域４２に対応する視点映像４１−１、・・・のデータ容量が目標ビットレートより大きい場合、プレロール制御部２５は、指定された階層ｎの符号化ビットレートの視点映像４１−１・・・と、指定された階層ｎの符号化ビットレートよりも小さい階層ｎ−１の符号化ビットレートの視点映像４１−ｎ・・・とを組み合わせて、視点映像４１−１、・・・のデータ容量が目標ビットレート以下となるように、再生開始時映像再生領域４２に対応する視点映像４１−１、・・・のそれぞれの符号化ビットレートを決定する。このようにして、プレロール制御部２５は、符号化ビットレートが異なる視点映像４１を組み合わせた再生開始時映像再生領域４２に対応する視点映像４１のデータ容量（符号化ビットレート）を算出し、算出した視点映像４１のデータ容量に応じてプレロール時間に対応するプレロール時のバッファ量を設定する。
【０１０７】
次に、図８を参照して、マルチビットレートに対応する場合の動作例について説明する。なお、図８において、図６に示したものに対応する処理には同一の符号を付けている。
【０１０８】
ここでは、上述と同じ方法で多視点映像要求部２３にて初期要求ビューを算出し、以下の初期要求ビューの集合Ｐを得たとする（ステップＳ１０１〜Ｓ１０３）。
【０１０９】
Ｐ＝｛１，２，３，９，１０，１１，１７，１８，１９｝
【０１１０】
算出された初期要求ビューは、多視点映像要求部２３からプレロール制御部２５へ通知され、プレロール制御部２５は次のようにして受信ビットレートの合計値Ｘ（ｂｐｓ）を算出する（ステップＳ１０５Ａ）。
【０１１１】
プレロール制御部２５は、まず、再生設定ファイル５Ａ内の符号化ビットレートを表すパラメータ「ＶｉｅｗＺ−ｎ」を参照し、集合Ｐの要素の左側から最低のビットレートの和を算出する。図７に示した再生設定ファイル５Ａの場合は、Ｖｉｅｗ１−１、Ｖｉｅｗ２−１、Ｖｉｅｗ３−１、Ｖｉｅｗ９−１、Ｖｉｅｗ１０−１、Ｖｉｅｗ１１−１、Ｖｉｅｗ１７−１、Ｖｉｅｗ１８−１、及びＶｉｅｗ１９−１の値の合計値から７２００ｋｂｐｓとなる。
【０１１２】
プレロール制御部２５は、さらに、ＴａｒｇｅｔＢｐｓである１５０００ｋｂｐｓに近づくように、集合Ｐの要素の左側から、順次、マルチビットレートの階層を１つあげていく。この場合、Ｖｉｅｗ１−１〜Ｖｉｅｗ１９−１のビットレートが８００ｋｂｐｓであるのに対して、Ｖｉｅｗ１−２〜Ｖｉｅｗ１９−２のビットレートは１８００ｂｐｓであり、それぞれ１０００ｂｐｓの増加となる。したがって、Ｖｉｅｗ１−１、Ｖｉｅｗ２−１、Ｖｉｅｗ３−１、Ｖｉｅｗ９−１、Ｖｉｅｗ１０−１、Ｖｉｅｗ１１−１、及びＶｉｅｗ１７−１のビットレートの階層を１つあげてＶｉｅｗ１−２、Ｖｉｅｗ２−２、Ｖｉｅｗ３−２、Ｖｉｅｗ９−２、Ｖｉｅｗ１０−２、Ｖｉｅｗ１１−２、及びＶｉｅｗ１７−２のビットレートを合計すると、すべてを１つ前の階層で合計したビットレートに対して、＋７０００ｋｂｐｓとなることから、合計１４２００ｋｂｐｓとなる。この時点でＴａｒｇｅｔＢｐｓ（目標ビットレート）を越えない最大値となる。この値をＸとして用いることとする。
【０１１３】
すなわち、プレロール制御部２５は、Ｘ＝１４２０００ｋｂｓｐとして、その後、以下の値（プレロール時のバッファ量Ｙ）を算出し（ステップＳ１０６）、次いで受信バッファ部２１に通知する（ステップＳ１０７）。
【０１１４】
Ｙ＝Ｘ＊プレロール時間（秒）／１０００（Ｍｂｉｔｓ）
【０１１５】
受信バッファ部２１では、プレロール時のバッファ量Ｙの設定が完了したら、多視点映像要求部２３に準備完了を通知する（ステップＳ１０８）。
【０１１６】
上記の通知を受け取った多視点映像要求部２３は、必要な視点映像４１の各ＩＤとビットレートの各階層を多視点映像制御部１３に通知する（ステップＳ１０９）。
【０１１７】
さらに、多視点映像制御部１３は送信バッファ部１２に必要な視点映像４１の各ＩＤとビットレートの各階層を通知して、送信バッファ部１２から必要な視点映像４１の指定されたＩＤとビットレートの階層の映像及び音声データの送出を開始する（ステップＳ１１０）。受信側装置２では、必要な視点映像４１の指定されたＩＤとビットレートの階層の映像及び音声データを受け取った受信バッファ部２１が、映像／音声の再生開始に先立ち、プレロール時のバッファ量Ｙだけデータをバッファリングした後、データを映像／音声復号化部２２に対して順次送出する。
【０１１８】
以降、必要に応じて多視点映像要求部２３から多視点映像制御部１３への多視点映像４の送信要求（ステップＳ１０９）と、その送信要求に基づく送信バッファ部１２から受信バッファ部２１への符号化データの送信処理（ステップＳ１１０）が行われる。
【０１１９】
以上のように、図７及び図８を参照して説明した他の動作例では、視点映像４１毎に複数種類の符号化ビットレートを設定した場合でも、プレロール時のバッファ量Ｙを適切に設定することが可能となる。
【０１２０】
本実施形態の多視点映像配信システム１００では、再生設定ファイル５（あるいは５Ａ）を用いて、最初に見る領域情報から初期要求ビューが自動的に算出される。さらに、初期要求ビューの合計ビットレートを算出し、これを受信バッファ部２１に通知し、初期要求ビューが必要とするプレロール時のバッファ量Ｙが算出される。加えて、初期要求ビューがマルチビットレートで符号化されていた場合でも、目的ビットレート以下に抑えた適切に初期要求ビューと必要なビットレートの組み合わせのプレロール時のバッファ量Ｙを算出できる。
【０１２１】
すなわち、本実施形態によれば、映像／音声符号化データのリアルタイムストリーミング配信に際して、受信側装置１の受信バッファ部２１において、再生開始時点の映像再生領域の再生に必要なビットレートに合わせてプレロール時のバッファ量Ｙを設定することができる。
【０１２２】
また、送信側装置１から再生設定ファイル５（あるいは５Ａ）を送信することで、多視点映像４の縦幅（ｐｉｘｅｌ）、多視点映像４の横幅（ｐｉｘｅｌ）、多視点映像４の縦の画像（視点映像４１の）数、多視点映像４の横の画像（視点映像４１の）数、再生開始時映像再生領域４２の左上のｘ座標、再生開始時映像再生領域４２の左上のｙ座標、再生開始時映像再生領域４２の横（ｘ方向）方向のサイズ、再生開始時映像再生領域４２の縦（ｙ方向）方向のサイズ、多視点映像４を構成する視点映像４１の各符号化ビットレートといったプレロール時のバッファ量の算出に必要な情報がサーバ側からクライアント側に通知される。そして、受信側装置２では、送信側装置１から通知された再生設定ファイル５（あるいは５Ａ）から、初期の注視領域に合わせて初期要求ビューが自動的に算出される。また、初期要求ビューについて、各視点映像４１を複数のビットレート（マルチビットレート）で符号化している場合でも、再生設定ファイル５の多視点映像４を構成する視点映像４１の各符号化ビットレートを用いて受信バッファ部２１にプレロール時のバッファ量Ｙを設定することができる。
【０１２３】
上記の構成及び処理により、多視点映像／音声符号化データのリアルタイムストリーミング配信に際して適切なプレロール時のバッファ量Ｙを受信バッファ部２１で設定し、簡易に運用することが可能となる。
【０１２４】
すなわち、本実施形態によれば、多視点映像／音声符号化データのリアルタイムストリーミング配信に際して、受信側でのプレロール値（プレロール時のバッファ量Ｙ）を適切に設定することで、安定した映像再生が実現できる。また、多視点映像／音声符号化データのリアルタイムストリーミング配信に際して、受信側でのプレロール時のバッファ量を適切に設定することで、再生開始時間の遅延を防止できる。
【０１２５】
なお、本発明の実施の形態は上記のものに限定されず、例えば図１に示した各ブロックをさらに分割して構成したり、あるいは複数のブロックを統合して構成したりといった変更を適宜行うことができる。また、送信側装置１や受信側装置２を構成するコンピュータによって実行されるプログラムの一部又は全部は、コンピュータ読み取り可能な記録媒体や通信回線を介して頒布することが可能である。
【０１２６】
また、本実施形態の受信バッファ部２１では、あらかじめ決められている再生開始時映像領域４２の設定値に応じて再生開始時におけるプレロール時のバッファ量を変化させることとしているが、例えば視聴者が受信側で再生する映像領域を可変できるようにしてそれに応じて、あるいは、視聴者による受信側での視点切り替え時の領域情報に応じて、受信バッファ部２１のプレロール時のバッファ量を変更できるようにしてもよい。この場合、再生開始時点の場合と同様に、プレロール時のバッファ量が不適切な値となって再生品質の低下や遅延が発生する可能性を低く抑えることが可能となる。すなわち、例えば、バッファリングされるデータ量が増えるため、再生開始後の視点切り替えにかかる時間が増加する（応答遅延が増加する）といった問題点を回避することができる。
【０１２７】
なお、上記実施の形態における構成と、特許請求の範囲に記載した構成との関係は次の通りである。「全体映像データ」は「多視点映像４」に対応している。「映像再生領域」は「再生開始時映像領域４２」に対応している。「映像処理装置」は「受信側装置２」に対応している。「バッファ部」は「受信バッファ部２１」に対応している。「復号化部」は「映像／音声復号化部２２」に対応している。「視点映像」は「視点映像４１」に対応している。「ブレロール制御部」は「ブレロール制御部２５」に対応している。
【０１２８】
また、本実施形態にかかる映像処理装置は、多視点映像符号化データが表す多視点映像の大きさと、前記多視点映像に所定形式で配列される前記視点映像の配列数と、前記映像再生領域の位置及び大きさと、前記各視点映像の符号化ビットレートとを表す情報を含む再生設定ファイルが、前記多視点映像符号化データを配信する際の送信側から受信側へと通知され、前記プレロール制御部が、前記受信側において、前記再生設定ファイルの内容に基づき、前記映像再生領域を含む前記各視点映像の符号化ビットレートの合計値に応じて前記受信バッファ部のバッファ量を設定することを特徴とする。
また、本実施形態にかかる映像処理装置において、前記プレロール制御部が、前記各視点映像の符号化ビットレートが視点毎に複数選択可能な場合に、所定の目標ビットレートとの比較において、前記各視点映像の符号化ビットレートを順次選択しながら前記映像再生領域を含む前記各視点映像の符号化ビットレートの合計値を算出した結果に応じて、前記受信バッファ部のバッファ量を設定することを特徴とする。
【０１２９】
また、本実施の形態において説明した処理手順は、これら一連の手順を有する方法として捉えることができる。また、これら一連の手順をコンピュータに実行させるためのプログラムまたはそのプログラムを記憶する記録媒体として捉えることができる。この記録媒体としては、例えば、ブルーレイディスク（Ｂｌｕ−ｒａｙ Ｄｉｓｃ（登録商標））、ＤＶＤ（Ｄｉｇｉｔａｌ Ｖｅｒｓａｔｉｌｅ Ｄｉｓｋ）、ＨＤＤ（ハードディスク）、メモリカード等を挙げることができる。
【０１３０】
なお、上述の装置は、内部にコンピュータシステムを有している。そして、動作の過程は、プログラムの形式でコンピュータ読み取り可能な記録媒体に記憶されており、このプログラムをコンピュータシステムが読み出して実行することによって、上記処理が行われる。ここでいう「コンピュータシステム」とは、ＣＰＵ及び各種メモリやＯＳ、周辺機器等のハードウェアを含むものである。
また、「コンピュータシステム」は、ＷＷＷシステムを利用している場合であれば、ホームページ提供環境（あるいは表示環境）も含むものとする。
【０１３１】
また、各ステップを実現するためのプログラムをコンピュータ読み取り可能な記録媒体に記録して、また、この機能を実現するためのプログラムをコンピュータ読み取り可能な記録媒体に記録して、この記録媒体に記録されたプログラムをコンピュータシステムに読み込ませ、実行することにより、検出対象物の形状情報の推定値を算出する処理を行ってもよい。
また、「コンピュータ読み取り可能な記録媒体」とは、フレキシブルディスク、光磁気ディスク、ＲＯＭ、フラッシュメモリ等の書き込み可能な不揮発性メモリ、ＣＤ−ＲＯＭ等の可搬媒体、コンピュータシステムに内蔵されるハードディスク等の記憶装置のことをいう。
【０１３２】
さらに「コンピュータ読み取り可能な記録媒体」とは、インターネット等のネットワークや電話回線等の通信回線を介してプログラムが送信された場合のサーバやクライアントとなるコンピュータシステム内部の揮発性メモリ（例えばＤＲＡＭ（Dynamic Random Access Memory））のように、一定時間プログラムを保持しているものも含むものとする。
また、上記プログラムは、このプログラムを記憶装置等に格納したコンピュータシステムから、伝送媒体を介して、あるいは、伝送媒体中の伝送波により他のコンピュータシステムに伝送されてもよい。ここで、プログラムを伝送する「伝送媒体」は、インターネット等のネットワーク（通信網）や電話回線等の通信回線（通信線）のように情報を伝送する機能を有する媒体のことをいう。
また、上記プログラムは、前述した機能の一部を実現するためのものであっても良い。さらに、前述した機能をコンピュータシステムに既に記録されているプログラムとの組合せで実現できるもの、いわゆる差分ファイル（差分プログラム）であっても良い。
【符号の説明】
【０１３３】
１ 送信側装置
２ 受信側装置
３ 通信網
４ 多視点映像
５、５Ａ 再生設定ファイル
１１ 映像／音声符号化部
１２ 送信バッファ部
１３ 多視点映像制御部
１４ 再生設定ファイル送信部
２１ 受信バッファ部
２２ 映像／音声復号化部
２３ 多視点映像要求部
２４ 再生設定ファイル受信部
２５ プレロール制御部
２６ 映像音声出力部
４１ 視点映像
４２ 再生開始時映像領域
【特許請求の範囲】
【請求項１】
全体映像データのうち指定された一部領域である映像再生領域の符号化データを復号化する映像処理装置であって、
入力する符号化データを一時的に保存し、保存している前記符号化データのデータ容量が設定されたプレロール時のバッファ量に到達した場合、保存している前記符号化データを出力するバッファ部と、
前記バッファ部から入力する前記符号化データを復号化して出力部に出力する復号化部と、
前記全体映像データの映像を構成する複数の視点映像のうち前記映像再生領域を含む前記視点映像のデータ容量に応じて、前記プレロール時のバッファ量を設定するプレロール制御部と、
を備えることを特徴とする映像処理装置。
【請求項２】
前記プレロール制御部は、
前記全体映像データの映像内における前記映像再生領域の位置関係を示す情報を入力し、当該情報に基づき前記映像再生領域に対応する前記視点映像のデータ容量を算出し、算出した前記視点映像のデータ容量に応じて前記プレロール時のバッファ量を設定することを特徴とする請求項１に記載の映像処理装置。
【請求項３】
前記プレロール制御部は、
前記入力する符号化データのデータ容量の目標値にあわせて、データ容量が異なる前記視点映像を組み合わせた前記映像再生領域に対応する前記視点映像のデータ容量を算出し、算出した前記視点映像のデータ容量に応じて前記プレロール時のバッファ量を設定することを特徴とする請求項１または２に記載の映像処理装置。
【請求項４】
全体映像データのうち指定された一部領域である映像再生領域の符号化データを送信する送信側映像処理装置と、
前記符号化データを受信し、復号化する受信側映像処理装置とを備え、
前記受信側処理装置は、
前記送信側映像処理装置から受信する前記符号化データを一時的に保存し、保存している前記符号化データのデータ容量が設定されたプレロール時のバッファ量に到達した場合、保存している前記符号化データを出力するバッファ部と、
前記バッファ部から入力する前記符号化データを復号化して出力部に出力する復号化部と、
前記全体映像データの映像を構成する複数の視点映像のうち前記映像再生領域を含む前記視点映像のデータ容量に応じて、前記プレロール時のバッファ量を設定するプレロール制御部と、
を備えることを特徴とする映像処理システム。
【請求項５】
全体映像データのうち指定された一部領域である映像再生領域の符号化データを復号化する映像処理方法であって、
前記全体映像データの映像を構成する複数の視点映像のうち前記映像再生領域を含む前記視点映像のデータ容量に応じてプレロール時のバッファ量を設定するステップと、
入力する符号化データを一時的に記憶領域に保存するステップと、
保存している前記符号化データのデータ容量が設定された前記プレロール時のバッファ量に到達した場合、保存している前記符号化データを前記記憶領域から出力するステップと、
前記出力する前記符号化データを入力し、復号化するステップと、
を備えることを特徴とする映像処理方法。
【請求項６】
全体映像データのうち指定された一部領域である映像再生領域の符号化データを復号化するコンピュータを、
入力する符号化データを一時的に保存し、保存している前記符号化データのデータ容量が設定されたプレロール時のバッファ量に到達した場合、保存している前記符号化データを出力するバッファ手段、
前記バッファ部から入力する前記符号化データを復号化して出力部に出力する復号化手段、
前記全体映像データの映像を構成する複数の視点映像のうち前記映像再生領域を含む前記視点映像のデータ容量に応じて、前記プレロール時のバッファ量を設定するプレロール制御手段、
として機能させるための映像処理プログラム。
【請求項１】
全体映像データのうち指定された一部領域である映像再生領域の符号化データを復号化する映像処理装置であって、
入力する符号化データを一時的に保存し、保存している前記符号化データのデータ容量が設定されたプレロール時のバッファ量に到達した場合、保存している前記符号化データを出力するバッファ部と、
前記バッファ部から入力する前記符号化データを復号化して出力部に出力する復号化部と、
前記全体映像データの映像を構成する複数の視点映像のうち前記映像再生領域を含む前記視点映像のデータ容量に応じて、前記プレロール時のバッファ量を設定するプレロール制御部と、
を備えることを特徴とする映像処理装置。
【請求項２】
前記プレロール制御部は、
前記全体映像データの映像内における前記映像再生領域の位置関係を示す情報を入力し、当該情報に基づき前記映像再生領域に対応する前記視点映像のデータ容量を算出し、算出した前記視点映像のデータ容量に応じて前記プレロール時のバッファ量を設定することを特徴とする請求項１に記載の映像処理装置。
【請求項３】
前記プレロール制御部は、
前記入力する符号化データのデータ容量の目標値にあわせて、データ容量が異なる前記視点映像を組み合わせた前記映像再生領域に対応する前記視点映像のデータ容量を算出し、算出した前記視点映像のデータ容量に応じて前記プレロール時のバッファ量を設定することを特徴とする請求項１または２に記載の映像処理装置。
【請求項４】
全体映像データのうち指定された一部領域である映像再生領域の符号化データを送信する送信側映像処理装置と、
前記符号化データを受信し、復号化する受信側映像処理装置とを備え、
前記受信側処理装置は、
前記送信側映像処理装置から受信する前記符号化データを一時的に保存し、保存している前記符号化データのデータ容量が設定されたプレロール時のバッファ量に到達した場合、保存している前記符号化データを出力するバッファ部と、
前記バッファ部から入力する前記符号化データを復号化して出力部に出力する復号化部と、
前記全体映像データの映像を構成する複数の視点映像のうち前記映像再生領域を含む前記視点映像のデータ容量に応じて、前記プレロール時のバッファ量を設定するプレロール制御部と、
を備えることを特徴とする映像処理システム。
【請求項５】
全体映像データのうち指定された一部領域である映像再生領域の符号化データを復号化する映像処理方法であって、
前記全体映像データの映像を構成する複数の視点映像のうち前記映像再生領域を含む前記視点映像のデータ容量に応じてプレロール時のバッファ量を設定するステップと、
入力する符号化データを一時的に記憶領域に保存するステップと、
保存している前記符号化データのデータ容量が設定された前記プレロール時のバッファ量に到達した場合、保存している前記符号化データを前記記憶領域から出力するステップと、
前記出力する前記符号化データを入力し、復号化するステップと、
を備えることを特徴とする映像処理方法。
【請求項６】
全体映像データのうち指定された一部領域である映像再生領域の符号化データを復号化するコンピュータを、
入力する符号化データを一時的に保存し、保存している前記符号化データのデータ容量が設定されたプレロール時のバッファ量に到達した場合、保存している前記符号化データを出力するバッファ手段、
前記バッファ部から入力する前記符号化データを復号化して出力部に出力する復号化手段、
前記全体映像データの映像を構成する複数の視点映像のうち前記映像再生領域を含む前記視点映像のデータ容量に応じて、前記プレロール時のバッファ量を設定するプレロール制御手段、
として機能させるための映像処理プログラム。
【図１】
【図２】
【図３】
【図４】
【図５】
【図６】
【図７】
【図８】
【図９】
【図２】
【図３】
【図４】
【図５】
【図６】
【図７】
【図８】
【図９】
【公開番号】特開２０１３−３８５４１（Ｐ２０１３−３８５４１Ａ）
【公開日】平成２５年２月２１日（２０１３．２．２１）
【国際特許分類】
【出願番号】特願２０１１−１７１８０６（Ｐ２０１１−１７１８０６）
【出願日】平成２３年８月５日（２０１１．８．５）
【出願人】（０００００４２２６）日本電信電話株式会社 (13,992)
【Ｆターム（参考）】
【公開日】平成２５年２月２１日（２０１３．２．２１）
【国際特許分類】
【出願日】平成２３年８月５日（２０１１．８．５）
【出願人】（０００００４２２６）日本電信電話株式会社 (13,992)
【Ｆターム（参考）】
[ Back to top ]