映像再生システム、映像再生方法、映像再生装置及びプログラム
【課題】１つの大きなパノラマ映像の中での多画面において、注視領域の自由な動きや拡大縮小を実現できるともに、１つの大きなパノラマ映像の中の多画面の注視領域の時間同期を実現する。
【解決手段】操作手段によって、視点を変える操作が行われた場合に、表示するべきパノラマ自由視点映像データが共通受信バッファに保持されているか否かを判定し、保持されている場合には、共通受信バッファから表示するべきパノラマ自由視点映像データを読み出して、他の領域のパノラマ自由視点映像データと同期させて、復号手段に出力し、保持されていない場合には、パノラマ自由視点映像サーバから表示するべきパノラマ自由視点映像データを取得して、他の領域のパノラマ自由視点映像データと同期させて、復号手段に出力する制御手段とを備える。
【解決手段】操作手段によって、視点を変える操作が行われた場合に、表示するべきパノラマ自由視点映像データが共通受信バッファに保持されているか否かを判定し、保持されている場合には、共通受信バッファから表示するべきパノラマ自由視点映像データを読み出して、他の領域のパノラマ自由視点映像データと同期させて、復号手段に出力し、保持されていない場合には、パノラマ自由視点映像サーバから表示するべきパノラマ自由視点映像データを取得して、他の領域のパノラマ自由視点映像データと同期させて、復号手段に出力する制御手段とを備える。
【発明の詳細な説明】
【技術分野】
【０００１】
本発明は、ネットワークに接続して、パノラマ映像情報をサーバから再生する装置において、自由視点映像を複数表示し、多画面の注視領域の時間同期を行う映像再生システム、映像再生方法、映像再生装置及びプログラムに関するものである。
【背景技術】
【０００２】
従来から、１個のハイビジョン映像に対応した１画面の規格Ｈ．２６４映像情報をネットワークを介して伝送する技術が知られている（例えば、非特許文献１参照）。
【先行技術文献】
【非特許文献】
【０００３】
【非特許文献１】「ハイビジョン伝送システムＩＰ−９５００のグローバル展開」、富士通、２００９．１月、Ｖｏｌ．６０、ページ６９−７５
【発明の概要】
【発明が解決しようとする課題】
【０００４】
しかしながら、非特許文献１に記載の技術においては、複数の表示装置を並べてパノラマ化した場合、各々の装置に対応する各々の映像が送られてくるだけのパノラマ固定映像であり、注視領域の自由な動きや拡大縮小などのいわゆる自由視点映像を再生することができないという問題がある。また、複数の表示装置を並べてパノラマ化したい場合、特に公衆ネットワークなどの遅延やゆらぎが発生している状況では、映像の時刻同期が問題となり、映像の時刻同期装置や制御装置を持せなければならないという問題がある。
【０００５】
本発明は、このような事情に鑑みてなされたもので、１つの大きなパノラマ映像の中での多画面において、注視領域の自由な動きや拡大縮小を実現できるともに、１つの大きなパノラマ映像の中の多画面の注視領域の時間同期を実現することができる映像再生システム、映像再生方法、映像再生装置及びプログラムを提供することを目的とする。
【課題を解決するための手段】
【０００６】
本発明は、１つのパノラマ映像が複数に領域分けされたパノラマ自由視点映像データを保持するパノラマ自由視点映像サーバと、映像を表示する複数の表示装置と、前記領域分けされた複数の前記パノラマ自由視点映像データを再生し、前記複数の表示装置に表示することにより、前記１つのパノラマ映像を再生する再生装置と、前記パノラマ自由視点映像サーバと前記再生装置とを接続するネットワークとを備える映像再生システムであって、前記再生装置は、前記パノラマ自由視点映像サーバから配信された前記パノラマ自由視点映像データを前記ネットワークを介して受信する映像データ受信手段と、前記受信手段により受信した前記パノラマ自由視点映像データを保持する共通受信バッファと、前記複数に領域分けされた前記パノラマ自由視点映像データのそれぞれを復号して前記表示装置へ出力する複数の復号手段と、前記パノラマ映像の視点を変える操作を行う操作手段と、前記操作手段によって、視点を変える操作が行われた場合に、表示するべき前記パノラマ自由視点映像データが前記共通受信バッファに保持されているか否かを判定し、保持されている場合には、前記共通受信バッファから表示するべき前記パノラマ自由視点映像データを読み出して、他の領域の前記パノラマ自由視点映像データと同期させて、前記復号手段に出力し、保持されていない場合には、前記パノラマ自由視点映像サーバから前記表示するべき前記パノラマ自由視点映像データを取得して、他の領域の前記パノラマ自由視点映像データと同期させて、前記復号手段に出力する制御手段とを備えることを特徴とする。
【０００７】
本発明は、１つのパノラマ映像が複数に領域分けされたパノラマ自由視点映像データを保持するパノラマ自由視点映像サーバと、映像を表示する複数の表示装置と、前記領域分けされた複数の前記パノラマ自由視点映像データを再生し、前記複数の表示装置に表示することにより、前記１つのパノラマ映像を再生する映像再生装置と、前記パノラマ自由視点映像サーバと前記再生装置とを接続するネットワークとを備える映像再生システムにおける映像再生方法であって、前記映像再生装置は、前記パノラマ自由視点映像サーバから配信された前記パノラマ自由視点映像データを前記ネットワークを介して受信する映像データ受信手段と、前記受信手段により受信した前記パノラマ自由視点映像データを保持する共通受信バッファと、前記複数に領域分けされた前記パノラマ自由視点映像データのそれぞれを復号して前記表示装置へ出力する複数の復号手段と、前記パノラマ映像の視点を変える操作を行う操作手段と、制御手段とを備え、前記制御手段が、前記操作手段によって、視点を変える操作が行われた場合に、表示するべき前記パノラマ自由視点映像データが前記共通受信バッファに保持されているか否かを判定し、保持されている場合には、前記共通受信バッファから表示するべき前記パノラマ自由視点映像データを読み出して、他の領域の前記パノラマ自由視点映像データと同期させて、前記復号手段に出力し、保持されていない場合には、前記パノラマ自由視点映像サーバから前記表示するべき前記パノラマ自由視点映像データを取得して、他の領域の前記パノラマ自由視点映像データと同期させて、前記復号手段に出力することを特徴とする。
【０００８】
本発明は、１つのパノラマ映像が複数に領域分けされたパノラマ自由視点映像データを保持するパノラマ自由視点映像サーバと、映像を表示する複数の表示装置と、前記領域分けされた複数の前記パノラマ自由視点映像データを再生し、前記複数の表示装置に表示することにより、前記１つのパノラマ映像を再生する映像再生装置と、前記パノラマ自由視点映像サーバと前記再生装置とを接続するネットワークとを備える映像再生システムにおける映像再生装置であって、前記パノラマ自由視点映像サーバから配信された前記パノラマ自由視点映像データを前記ネットワークを介して受信する映像データ受信手段と、前記受信手段により受信した前記パノラマ自由視点映像データを保持する共通受信バッファと、前記複数に領域分けされた前記パノラマ自由視点映像データのそれぞれを復号して前記表示装置へ出力する複数の復号手段と、前記パノラマ映像の視点を変える操作を行う操作手段と、前記操作手段によって、視点を変える操作が行われた場合に、表示するべき前記パノラマ自由視点映像データが前記共通受信バッファに保持されているか否かを判定し、保持されている場合には、前記共通受信バッファから表示するべき前記パノラマ自由視点映像データを読み出して、他の領域の前記パノラマ自由視点映像データと同期させて、前記復号手段に出力し、保持されていない場合には、前記パノラマ自由視点映像サーバから前記表示するべき前記パノラマ自由視点映像データを取得して、他の領域の前記パノラマ自由視点映像データと同期させて、前記復号手段に出力する制御手段とを備えることを特徴とする。
【０００９】
本発明は、１つのパノラマ映像が複数に領域分けされたパノラマ自由視点映像データを保持するパノラマ自由視点映像サーバと、映像を表示する複数の表示装置と、前記領域分けされた複数の前記パノラマ自由視点映像データを再生し、前記複数の表示装置に表示することにより、前記１つのパノラマ映像を再生する映像再生装置と、前記パノラマ自由視点映像サーバと前記再生装置とを接続するネットワークとを備える映像再生システムにおける映像再生装置上のコンピュータに映像再生処理を行わせる映像再生プログラムであって、前記映像再生装置は、前記パノラマ自由視点映像サーバから配信された前記パノラマ自由視点映像データを前記ネットワークを介して受信する映像データ受信手段と、前記受信手段により受信した前記パノラマ自由視点映像データを保持する共通受信バッファと、前記複数に領域分けされた前記パノラマ自由視点映像データのそれぞれを復号して前記表示装置へ出力する複数の復号手段と、前記パノラマ映像の視点を変える操作を行う操作手段とを備え、前記操作手段によって、視点を変える操作が行われた場合に、表示するべき前記パノラマ自由視点映像データが前記共通受信バッファに保持されているか否かを判定し、保持されている場合には、前記共通受信バッファから表示するべき前記パノラマ自由視点映像データを読み出して、他の領域の前記パノラマ自由視点映像データと同期させて、前記復号手段に出力し、保持されていない場合には、前記パノラマ自由視点映像サーバから前記表示するべき前記パノラマ自由視点映像データを取得して、他の領域の前記パノラマ自由視点映像データと同期させて、前記復号手段に出力する制御ステップを前記コンピュータに行わせることを特徴とする。
【発明の効果】
【００１０】
本発明によれば、各々の装置を並べてパノラマ化した場合、パノラマ固定映像になってしまう問題を解決し、１つの大きなパノラマ映像の中での多画面で注視領域の自由視点映像とすることができるという効果が得られる。また、各々の装置の映像の時間同期でなく、１つの大きなパノラマ映像の中の多画面の注視領域の時間同期させることができるというという効果も得られる。
【図面の簡単な説明】
【００１１】
【図１】本発明の一実施形態の構成を示すブロック図である。
【図２】パノラマ自由視点映像の画面構成（全領域ストリームとタイル構成）を示す説明図である。
【図３】パノラマ自由視点映像の画面構成（全領域ストリームとタイル構成と多画面注視領域）を示す説明図である。
【図４】図１に示す共通受信バッファ１３５の構成を示す説明図である。
【図５】図１に示す再生装置１３の処理動作を示すシーケンス図である。
【図６】図１に示す再生装置１３の処理動作を示すシーケンス図である。
【図７】図１に示す再生装置１３の処理動作を示すシーケンス図である。
【図８】図１に示す再生装置１３の処理動作を示すシーケンス図である。
【発明を実施するための形態】
【００１２】
以下、図面を参照して、本発明の一実施形態による映像再生システムを説明する。図１は同実施形態の構成を示すブロック図である。この図において、符号１１は、パノラマ自由視点映像サーバである。符号１２は、ネットワークである。符号１３は、映像の再生を行う再生装置である。符号１４、１５は、再生装置１３において再生された映像を表示する表示装置である。ここでは、２台の表示装置Ａ、Ｂを接続した例を示しているが、必要に応じて、３台以上の表示装置が接続される。
【００１３】
符号１３１は、再生装置１３内部の通信バスである。符号１３２は、再生装置１３を統括して動作を制御する制御部である。符号１３３は、手動の操作を行う操作部である。符号１３４は、ネットワーク１２を介して、パノラマ自由視点映像サーバ１１との間で情報の送受信を行う送受信部である。符号１３５は、映像データを蓄積する共通受信バッファである。符号１３６、１３７は、ＧＯＰ（Group Of Picture）単位の映像データの復号処理を行う復号部である。符号１３８、１３９は、２台の表示装置Ａ１４、Ｂ１５を接続するためにインタフェースである。復号部とインタフェースは、少なくとも表示装置の数と同じ数だけ備えられる。
【００１４】
次に、図２を参照して、パノラマ自由視点映像の画面構成（全領域ストリームとタイル構成）を説明する。図２は、パノラマ自由視点映像サーバ１１が保持しているパノラマ自由視点映像データの画面構成（全領域ストリームとタイル構成）を示す図である。全領域映像２１は、タイル２２の映像データで構成される。タイル２２は、規格Ｈ．２６４などの映像データであり、各々タイムコードを持っている。一般的なパノラマ自由視点映像の注視領域２３は、１つの表示装置を対応させて表示する。
【００１５】
次に、図３を参照して、パノラマ自由視点映像の画面構成（全領域ストリームとタイル構成と多画面注視領域）を説明する。図３は、パノラマ自由視点映像の画面構成（全領域ストリームとタイル構成と多画面注視領域）を示す図である。全領域映像２１は、パノラマ自由視点映像サーバ１１が保持している映像データである。タイル２２は、規格Ｈ．２６４などの映像データであり、各々タイムコードを持っている。表示Ａの注視領域３１は、再生装置１３の表示装置Ａ１４で表示される映像である。表示Ｂの注視領域３２は、再生装置１３の表示装置Ｂ１５で表示される映像である。表示Ａの注視領域３１や表示Ｂの注視領域３２は、操作部１３３により自由な動きや拡大縮小いわゆる自由視点映像とすることができる。注視領域は、復号部Ａ１３６や復号部Ｂ１３７において、タイル番号、再生領域値により復号されて生成される。
【００１６】
再生領域情報はタイル番号、再生領域値は注視領域の縦横領域値であり、操作部１３３において指示した再生領域情報や再生領域値がない場合は、制御部１３２において保持している初期値が優先される。例えば、表示Ａのみ注視領域３１の自由な動きや拡大縮小などができる。また、表示Ｂのみ注視領域３２の自由な動きや拡大縮小などができる。ネットワーク帯域が、映像配信に対し、十分大きい場合は、全部のタイルを配信する全配信が行える。ネットワーク帯域が、映像配信に対し、十分大きくない場合は、タイルの一部配信のみの配信となる。
【００１７】
次に、図４を参照して、図１に示す共通受信バッファ１３５の構成を説明する。図４は、パノラマ自由視点映像の共通受信バッファ１３５の構成を示す図である。共通受信バッファ１３５は、図２に示す全領域映像２１と、タイル２２の規格Ｈ．２６４などの映像をタイムコードをもとに、ＧＯＰ単位で同期されたタイルの映像データを保持している。ＧＯＰ内のＩＢＰピクチャは役割があり、Ｉピクチャは、１枚の画面のみを圧縮したものである。Ｂピクチャは、２つの別画面（例えば過去・未来）の画像サンプルを用いた予想により符号化したものである。Ｐピクチャは、１つの別画面（例えば過去）の画像サンプルを用いた予想により符号化したものである。従って、映像データがない状態においては、ＧＯＰの途中から再生はできない。操作後、直ちに自由な動きや拡大縮小などを表示するには、共通受信バッファ１３５に注視領域の周りのタイルの映像データも蓄積しておいて、復号部Ａ１３１、復号部Ｂ１３７へ送り、周りのタイルの映像データも復号しておく。そして、再生領域値の注視領域の映像を切り出し、表示装置で表示する。
【００１８】
こうすることで、従来の固定映像の時間同期ではなく、１つの大きなパノラマ映像の中の多画面の注視領域の時間同期を行うことができる。また、共通受信バッファ１３５を設けることで、１つの大きなパノラマ映像の中での多画面で注視領域の自由視点映像とすることができる。また、操作部１３３により、注視領域を操作時、映像データがある場合、直ちに次のＧＯＰの画面Ａの映像データを直ちに取得でき、画面Ｂ再生時、注視領域の映像データがある場合、次のＧＯＰの画面Ｂの映像データを直ちに取得できるようになる。
【００１９】
次に、図５を参照して、図１に示す再生装置１３の動作を説明する。図５は、復号部Ｂ１３７の再生開始時に、共通受信バッファ１３５内に表示するべき映像データがある場合の動作を示すシーケンス図である。まず、パノラマ自由視点映像サーバ１１からストリーム配信された（ステップＳ１）映像データを、送受信部１３４を介して受信し、共通受信バッファ１３５に蓄積する。共通受信バッファ１３５において、映像データのタイムコードをもとにＧＯＰ単位で同期調整されて、共通受信バッファ１３５からストリーム配信される（ステップＳ２）。ストリーム配信された映像データは、復号部Ａ１３１に送られて、インタフェース１３８を介して、表示装置Ａ１４において再生表示される。ステップＳ１において、ストリーム配信された映像データは、ネットワーク１２によるゆらぎ遅延などの影響を受けているが、ステップＳ２において共通受信バッファ１３５からストリーム配信される映像データは、同期調整がされている。
【００２０】
次に、操作部１３３から注視領域Ｂの再生開始要求の操作が行われると、操作部１３３は制御部１３２に対して、再生開始要求を送る（ステップＳ３）。制御部１３２は、復号部Ｂ１３７に対して、タイル番号の再生領域情報と、注視領域の縦横ポイントの再生領域値を含んだ再生準備通知を送る（ステップＳ４）。これを受けて復号部Ｂ１３７は、デコーダを起動し、再生準備完了通知を制御部１３２に送る（ステップＳ５）。続いて、制御部１３２は、共通受信バッファ１３５に対して、復号部Ａ１３１のＧＯＰのフレーム番号要求と再生領域情報と再生領域値を含んだ映像データ要求を送る（ステップＳ６）。共通受信バッファ１３５は、要求された映像データがある場合、制御部１３２に対して、映像データありを示す情報を送る（ステップＳ７）。そして、共通受信バッファ１３５において、復号部Ａ１３１のフレーム番号に合わせてＧＯＰ再生を行って、復号部Ａ１３１と復号部Ｂ１３７の同期したストリーム配信を行う（ステップＳ８）。これにより、表示装置Ｂ１５にストリーム配信された映像データが再生表示されることになる。
【００２１】
次に、図６を参照して、図１に示す再生装置１３の動作を説明する。図６は、復号部Ｂ１３７の再生開始時、共通受信バッファ１３５内に表示するべき映像データがない場合の動作を示すシーケンス図である。まず、パノラマ自由視点映像サーバ１１からストリーム配信された（ステップＳ１１）映像データを、送受信部１３４を介して受信し、共通受信バッファ１３５に蓄積する。共通受信バッファ１３５において、映像データのタイムコードをもとにＧＯＰ単位で同期調整されて、共通受信バッファ１３５からストリーム配信される（ステップＳ１２）。ストリーム配信された映像データは、復号部Ａ１３１に送られて、インタフェース１３８を介して、表示装置Ａ１４において再生表示される。ステップＳ１において、ストリーム配信された映像データは、ネットワーク１２によるゆらぎ遅延などの影響を受けているが、共通受信バッファ１３５からストリーム配信される映像データは、同期調整がされている。
【００２２】
次に、操作部１３３から注視領域Ｂの再生開始要求の操作が行われると、操作部１３３は制御部１３２に対して、再生開始要求を送る（ステップＳ１３）。制御部１３２は、復号部Ｂ１３７に対して、タイル番号の再生領域情報と、注視領域の縦横ポイントの再生領域値を含んだ再生準備通知を送る（ステップＳ１４）。これを受けて復号部Ｂ１３７は、デコーダを起動し、再生準備完了通知を制御部１３２に送る（ステップＳ１５）。続いて、制御部１３２は、共通受信バッファ１３５に対して、復号部Ａ１３１のＧＯＰのフレーム番号要求と再生領域情報と再生領域値を含んだ映像データ要求を送る（ステップＳ１６）。
【００２３】
次に、共通受信バッファ１３５は、要求された映像データがない場合、制御部１３２に対して、映像データなしを示す情報を送る（ステップＳ１７）。これを受けて、制御部１３２は、送受信部１３４を介して、パノラマ自由視点映像サーバ１１に対し、復号部Ａ１３１のＧＯＰのフレーム番号要求と、タイル番号の再生領域情報と、注視領域の縦横ポイントの再生領域値を含んだ再生開始要求を送る（ステップＳ１８）。パノラマ自由視点映像サーバ１１は、制御部１３２に対し、再生準備完了通知を送り（ステップＳ１９）、送受信部１３４を介して、共通受信バッファ１３５に対し、復号部Ａ１３１のフレーム番号に合わせてＧＯＰのストリーム配信を行う（ステップＳ２０）。共通受信バッファ１３５は、復号部Ａ１３１のフレーム番号に合わせてＧＯＰのストリーム配信を行い（ステップＳ２１）、復号部Ａ１３１と復号部Ｂ１３７において同期されたストリーム配信が行われて、表示装置Ｂ１３７に再生表示されることになる。
【００２４】
次に、図７を参照して、図１に示す再生装置１３の動作を説明する。図７は、復号部Ａ１３６、復号部Ｂ１３７の再生中に画面操作が行われた時、共通受信バッファ１３５内に映像がある場合の動作を示すシーケンス図である。まず、パノラマ自由視点映像サーバ１１からストリーム配信された（ステップＳ３１）映像データを、送受信部１３４を介して受信し、共通受信バッファ１３５に蓄積する。共通受信バッファ１３５において、映像データのタイムコードをもとにＧＯＰ単位で同期調整されて、共通受信バッファ１３５から復号部Ａ１３１と復号部Ｂ１３７に対してストリーム配信される（ステップＳ３２、Ｓ３３）。ストリーム配信された映像データは、それぞれインタフェース１３８、１３９を介して、表示装置Ａ１４と表示装置Ｂ１５において再生表示される。
【００２５】
次に、操作部１３３から移動、拡大縮小の操作が行われると、操作部１３３は制御部１３２に対して、操作情報を送る（ステップＳ３４）。制御部１３２は、復号部Ｂ１３７に対して、タイル番号の再生領域情報と、注視領域の縦横ポイントの再生領域値を含んだ操作情報を送る（ステップＳ３５）。続いて、制御部１３２は、共通受信バッファ１３５に対して、復号部Ａ１３１のＧＯＰのフレーム番号要求と再生領域情報と再生領域値を含んだ映像データ要求を送る（ステップＳ３６）。共通受信バッファ１３５は、要求された映像データがある場合、制御部１３２に対して、映像データありを示す情報を送る（ステップＳ３７）。そして、共通受信バッファ１３５において、復号部Ａ１３１のフレーム番号に合わせてＧＯＰ再生を行って、復号部Ａ１３１と復号部Ｂ１３７の同期したストリーム配信を行う（ステップＳ３８）。これにより、表示装置Ｂ１５にストリーム配信された映像データが再生表示されることになる。
【００２６】
次に、図８を参照して、図１に示す再生装置１３の動作を説明する。図８は、復号部Ａ１３６、復号部Ｂ１３７の再生中に画面操作が行われた時、共通受信バッファ１３５内に映像がない場合の動作を示すシーケンス図である。まず、パノラマ自由視点映像サーバ１１からストリーム配信された（ステップＳ４１）映像データを、送受信部１３４を介して受信し、共通受信バッファ１３５に蓄積する。共通受信バッファ１３５において、映像データのタイムコードをもとにＧＯＰ単位で同期調整されて、共通受信バッファ１３５から復号部Ａ１３１と復号部Ｂ１３７に対してストリーム配信される（ステップＳ４２、Ｓ４３）。ストリーム配信された映像データは、それぞれインタフェース１３８、１３９を介して、表示装置Ａ１４と表示装置Ｂ１５において再生表示される。
【００２７】
次に、操作部１３３から移動、拡大縮小の操作が行われると、操作部１３３は制御部１３２に対して、操作情報を送る（ステップＳ４４）。制御部１３２は、復号部Ｂ１３７に対して、タイル番号の再生領域情報と、注視領域の縦横ポイントの再生領域値を含んだ操作情報を送る（ステップＳ４５）。続いて、制御部１３２は、共通受信バッファ１３５に対して、復号部Ａ１３１のＧＯＰのフレーム番号要求と再生領域情報と再生領域値を含んだ映像データ要求を送る（ステップＳ４６）。共通受信バッファ１３５は、要求された映像データがない場合、制御部１３２に対して、映像データなしを示す情報を送る（ステップＳ４７）。これを受けて、制御部１３２は、送受信部１３４を介して、パノラマ自由視点映像サーバ１１に対し、復号部Ａ１３１のＧＯＰのフレーム番号要求と、タイル番号の再生領域情報と、注視領域の縦横ポイントの再生領域値を含んだ再生開始要求を送る（ステップＳ４８）。パノラマ自由視点映像サーバ１１は、制御部１３２に対し、再生準備完了通知を送り（ステップＳ４９）、送受信部１３４を介して、共通受信バッファ１３５に対し、復号部Ａ１３１のフレーム番号に合わせてＧＯＰのストリーム配信を行う（ステップＳ５０）。共通受信バッファ１３５は、復号部Ａ１３１のフレーム番号に合わせてＧＯＰのストリーム配信を行い（ステップＳ５１）、復号部Ａ１３１と復号部Ｂ１３７において同期されたストリーム配信が行われて、表示装置Ｂ１３７に再生表示されることになる。
【００２８】
前述した説明において、図７、図８に示す処理動作は、復号部Ａ１３６、復号部Ｂ１３７再生中に画面操作した時、表示Ｂを操作した場合の処理動作を示したものであるが、表示Ａを操作した場合も、同様な処理動作となる。また、前述した説明においては、２台の表示装置に表示した場合の例について説明したが、３台以上の表示装置がある場合においても同様である。また、図２において、タイルが縦４×横１０の例を示したが、タイルの数を変えても同様である。また、図３において、注視領域の縦横領域値の例を示したが、横縦の領域を自由に変えられるようにしてもよい。また、図３において、注視領域の縦横領域値の例を示したが、縦横に自由に移動できるようにしてもよい。
【００２９】
以上説明したように、表示装置を並べてパノラマ化した場合、パノラマ固定映像になってしまう問題を解決するために、１つの大きなパノラマ映像の中での多画面で注視領域の自由視点映像とすることが可能となる。表示装置の映像の時間同期でなく、１つの大きなパノラマ映像の中の多画面の注視領域の時間同期を行うことが可能となる。
【００３０】
なお、図１における再生装置１３の機能を実現するためのプログラムをコンピュータ読み取り可能な記録媒体に記録して、この記録媒体に記録されたプログラムをコンピュータシステムに読み込ませ、実行することにより映像再生処理を行ってもよい。なお、ここでいう「コンピュータシステム」とは、ＯＳや周辺機器等のハードウェアを含むものとする。また、「コンピュータシステム」は、ホームページ提供環境（あるいは表示環境）を備えたＷＷＷシステムも含むものとする。また、「コンピュータ読み取り可能な記録媒体」とは、フレキシブルディスク、光磁気ディスク、ＲＯＭ、ＣＤ−ＲＯＭ等の可搬媒体、コンピュータシステムに内蔵されるハードディスク等の記憶装置のことをいう。さらに「コンピュータ読み取り可能な記録媒体」とは、インターネット等のネットワークや電話回線等の通信回線を介してプログラムが送信された場合のサーバやクライアントとなるコンピュータシステム内部の揮発性メモリ（ＲＡＭ）のように、一定時間プログラムを保持しているものも含むものとする。上記コンピュータには、インターネット接続機能を有するゲーム機やネットＴＶ（当該機能を有するアダプタを外付けする場合も含む）が含まれる。
【００３１】
また、上記プログラムは、このプログラムを記憶装置等に格納したコンピュータシステムから、伝送媒体を介して、あるいは、伝送媒体中の伝送波により他のコンピュータシステムに伝送されてもよい。ここで、プログラムを伝送する「伝送媒体」は、インターネット等のネットワーク（通信網）や電話回線等の通信回線（通信線）のように情報を伝送する機能を有する媒体のことをいう。また、上記プログラムは、前述した機能の一部を実現するためのものであってもよい。さらに、前述した機能をコンピュータシステムにすでに記録されているプログラムとの組み合わせで実現できるもの、いわゆる差分ファイル（差分プログラム）であってもよい。
【産業上の利用可能性】
【００３２】
ネットワークに接続して、パノラマ映像情報をサーバから再生する装置において、自由視点映像を複数表示し、多画面の注視領域の時間同期を行うことが不可欠な用途に適用できる。
【符号の説明】
【００３３】
１１・・・パノラマ自由視点映像サーバ、１２・・・ネットワーク、１３・・・再生装置、３１・・・内部通信バス、１３２・・・制御部、１３３・・・操作部、１３４・・・送受信部、１３５・・・共通受信バッファ、１３６・・・復号部Ａ、１３７・・・復号部Ｂ、１３８ ・・・インタフェースＡ、１３９・・・インタフェースＢ、１４・・・表示装置Ａ、１５・・・表示装置Ｂ
【技術分野】
【０００１】
本発明は、ネットワークに接続して、パノラマ映像情報をサーバから再生する装置において、自由視点映像を複数表示し、多画面の注視領域の時間同期を行う映像再生システム、映像再生方法、映像再生装置及びプログラムに関するものである。
【背景技術】
【０００２】
従来から、１個のハイビジョン映像に対応した１画面の規格Ｈ．２６４映像情報をネットワークを介して伝送する技術が知られている（例えば、非特許文献１参照）。
【先行技術文献】
【非特許文献】
【０００３】
【非特許文献１】「ハイビジョン伝送システムＩＰ−９５００のグローバル展開」、富士通、２００９．１月、Ｖｏｌ．６０、ページ６９−７５
【発明の概要】
【発明が解決しようとする課題】
【０００４】
しかしながら、非特許文献１に記載の技術においては、複数の表示装置を並べてパノラマ化した場合、各々の装置に対応する各々の映像が送られてくるだけのパノラマ固定映像であり、注視領域の自由な動きや拡大縮小などのいわゆる自由視点映像を再生することができないという問題がある。また、複数の表示装置を並べてパノラマ化したい場合、特に公衆ネットワークなどの遅延やゆらぎが発生している状況では、映像の時刻同期が問題となり、映像の時刻同期装置や制御装置を持せなければならないという問題がある。
【０００５】
本発明は、このような事情に鑑みてなされたもので、１つの大きなパノラマ映像の中での多画面において、注視領域の自由な動きや拡大縮小を実現できるともに、１つの大きなパノラマ映像の中の多画面の注視領域の時間同期を実現することができる映像再生システム、映像再生方法、映像再生装置及びプログラムを提供することを目的とする。
【課題を解決するための手段】
【０００６】
本発明は、１つのパノラマ映像が複数に領域分けされたパノラマ自由視点映像データを保持するパノラマ自由視点映像サーバと、映像を表示する複数の表示装置と、前記領域分けされた複数の前記パノラマ自由視点映像データを再生し、前記複数の表示装置に表示することにより、前記１つのパノラマ映像を再生する再生装置と、前記パノラマ自由視点映像サーバと前記再生装置とを接続するネットワークとを備える映像再生システムであって、前記再生装置は、前記パノラマ自由視点映像サーバから配信された前記パノラマ自由視点映像データを前記ネットワークを介して受信する映像データ受信手段と、前記受信手段により受信した前記パノラマ自由視点映像データを保持する共通受信バッファと、前記複数に領域分けされた前記パノラマ自由視点映像データのそれぞれを復号して前記表示装置へ出力する複数の復号手段と、前記パノラマ映像の視点を変える操作を行う操作手段と、前記操作手段によって、視点を変える操作が行われた場合に、表示するべき前記パノラマ自由視点映像データが前記共通受信バッファに保持されているか否かを判定し、保持されている場合には、前記共通受信バッファから表示するべき前記パノラマ自由視点映像データを読み出して、他の領域の前記パノラマ自由視点映像データと同期させて、前記復号手段に出力し、保持されていない場合には、前記パノラマ自由視点映像サーバから前記表示するべき前記パノラマ自由視点映像データを取得して、他の領域の前記パノラマ自由視点映像データと同期させて、前記復号手段に出力する制御手段とを備えることを特徴とする。
【０００７】
本発明は、１つのパノラマ映像が複数に領域分けされたパノラマ自由視点映像データを保持するパノラマ自由視点映像サーバと、映像を表示する複数の表示装置と、前記領域分けされた複数の前記パノラマ自由視点映像データを再生し、前記複数の表示装置に表示することにより、前記１つのパノラマ映像を再生する映像再生装置と、前記パノラマ自由視点映像サーバと前記再生装置とを接続するネットワークとを備える映像再生システムにおける映像再生方法であって、前記映像再生装置は、前記パノラマ自由視点映像サーバから配信された前記パノラマ自由視点映像データを前記ネットワークを介して受信する映像データ受信手段と、前記受信手段により受信した前記パノラマ自由視点映像データを保持する共通受信バッファと、前記複数に領域分けされた前記パノラマ自由視点映像データのそれぞれを復号して前記表示装置へ出力する複数の復号手段と、前記パノラマ映像の視点を変える操作を行う操作手段と、制御手段とを備え、前記制御手段が、前記操作手段によって、視点を変える操作が行われた場合に、表示するべき前記パノラマ自由視点映像データが前記共通受信バッファに保持されているか否かを判定し、保持されている場合には、前記共通受信バッファから表示するべき前記パノラマ自由視点映像データを読み出して、他の領域の前記パノラマ自由視点映像データと同期させて、前記復号手段に出力し、保持されていない場合には、前記パノラマ自由視点映像サーバから前記表示するべき前記パノラマ自由視点映像データを取得して、他の領域の前記パノラマ自由視点映像データと同期させて、前記復号手段に出力することを特徴とする。
【０００８】
本発明は、１つのパノラマ映像が複数に領域分けされたパノラマ自由視点映像データを保持するパノラマ自由視点映像サーバと、映像を表示する複数の表示装置と、前記領域分けされた複数の前記パノラマ自由視点映像データを再生し、前記複数の表示装置に表示することにより、前記１つのパノラマ映像を再生する映像再生装置と、前記パノラマ自由視点映像サーバと前記再生装置とを接続するネットワークとを備える映像再生システムにおける映像再生装置であって、前記パノラマ自由視点映像サーバから配信された前記パノラマ自由視点映像データを前記ネットワークを介して受信する映像データ受信手段と、前記受信手段により受信した前記パノラマ自由視点映像データを保持する共通受信バッファと、前記複数に領域分けされた前記パノラマ自由視点映像データのそれぞれを復号して前記表示装置へ出力する複数の復号手段と、前記パノラマ映像の視点を変える操作を行う操作手段と、前記操作手段によって、視点を変える操作が行われた場合に、表示するべき前記パノラマ自由視点映像データが前記共通受信バッファに保持されているか否かを判定し、保持されている場合には、前記共通受信バッファから表示するべき前記パノラマ自由視点映像データを読み出して、他の領域の前記パノラマ自由視点映像データと同期させて、前記復号手段に出力し、保持されていない場合には、前記パノラマ自由視点映像サーバから前記表示するべき前記パノラマ自由視点映像データを取得して、他の領域の前記パノラマ自由視点映像データと同期させて、前記復号手段に出力する制御手段とを備えることを特徴とする。
【０００９】
本発明は、１つのパノラマ映像が複数に領域分けされたパノラマ自由視点映像データを保持するパノラマ自由視点映像サーバと、映像を表示する複数の表示装置と、前記領域分けされた複数の前記パノラマ自由視点映像データを再生し、前記複数の表示装置に表示することにより、前記１つのパノラマ映像を再生する映像再生装置と、前記パノラマ自由視点映像サーバと前記再生装置とを接続するネットワークとを備える映像再生システムにおける映像再生装置上のコンピュータに映像再生処理を行わせる映像再生プログラムであって、前記映像再生装置は、前記パノラマ自由視点映像サーバから配信された前記パノラマ自由視点映像データを前記ネットワークを介して受信する映像データ受信手段と、前記受信手段により受信した前記パノラマ自由視点映像データを保持する共通受信バッファと、前記複数に領域分けされた前記パノラマ自由視点映像データのそれぞれを復号して前記表示装置へ出力する複数の復号手段と、前記パノラマ映像の視点を変える操作を行う操作手段とを備え、前記操作手段によって、視点を変える操作が行われた場合に、表示するべき前記パノラマ自由視点映像データが前記共通受信バッファに保持されているか否かを判定し、保持されている場合には、前記共通受信バッファから表示するべき前記パノラマ自由視点映像データを読み出して、他の領域の前記パノラマ自由視点映像データと同期させて、前記復号手段に出力し、保持されていない場合には、前記パノラマ自由視点映像サーバから前記表示するべき前記パノラマ自由視点映像データを取得して、他の領域の前記パノラマ自由視点映像データと同期させて、前記復号手段に出力する制御ステップを前記コンピュータに行わせることを特徴とする。
【発明の効果】
【００１０】
本発明によれば、各々の装置を並べてパノラマ化した場合、パノラマ固定映像になってしまう問題を解決し、１つの大きなパノラマ映像の中での多画面で注視領域の自由視点映像とすることができるという効果が得られる。また、各々の装置の映像の時間同期でなく、１つの大きなパノラマ映像の中の多画面の注視領域の時間同期させることができるというという効果も得られる。
【図面の簡単な説明】
【００１１】
【図１】本発明の一実施形態の構成を示すブロック図である。
【図２】パノラマ自由視点映像の画面構成（全領域ストリームとタイル構成）を示す説明図である。
【図３】パノラマ自由視点映像の画面構成（全領域ストリームとタイル構成と多画面注視領域）を示す説明図である。
【図４】図１に示す共通受信バッファ１３５の構成を示す説明図である。
【図５】図１に示す再生装置１３の処理動作を示すシーケンス図である。
【図６】図１に示す再生装置１３の処理動作を示すシーケンス図である。
【図７】図１に示す再生装置１３の処理動作を示すシーケンス図である。
【図８】図１に示す再生装置１３の処理動作を示すシーケンス図である。
【発明を実施するための形態】
【００１２】
以下、図面を参照して、本発明の一実施形態による映像再生システムを説明する。図１は同実施形態の構成を示すブロック図である。この図において、符号１１は、パノラマ自由視点映像サーバである。符号１２は、ネットワークである。符号１３は、映像の再生を行う再生装置である。符号１４、１５は、再生装置１３において再生された映像を表示する表示装置である。ここでは、２台の表示装置Ａ、Ｂを接続した例を示しているが、必要に応じて、３台以上の表示装置が接続される。
【００１３】
符号１３１は、再生装置１３内部の通信バスである。符号１３２は、再生装置１３を統括して動作を制御する制御部である。符号１３３は、手動の操作を行う操作部である。符号１３４は、ネットワーク１２を介して、パノラマ自由視点映像サーバ１１との間で情報の送受信を行う送受信部である。符号１３５は、映像データを蓄積する共通受信バッファである。符号１３６、１３７は、ＧＯＰ（Group Of Picture）単位の映像データの復号処理を行う復号部である。符号１３８、１３９は、２台の表示装置Ａ１４、Ｂ１５を接続するためにインタフェースである。復号部とインタフェースは、少なくとも表示装置の数と同じ数だけ備えられる。
【００１４】
次に、図２を参照して、パノラマ自由視点映像の画面構成（全領域ストリームとタイル構成）を説明する。図２は、パノラマ自由視点映像サーバ１１が保持しているパノラマ自由視点映像データの画面構成（全領域ストリームとタイル構成）を示す図である。全領域映像２１は、タイル２２の映像データで構成される。タイル２２は、規格Ｈ．２６４などの映像データであり、各々タイムコードを持っている。一般的なパノラマ自由視点映像の注視領域２３は、１つの表示装置を対応させて表示する。
【００１５】
次に、図３を参照して、パノラマ自由視点映像の画面構成（全領域ストリームとタイル構成と多画面注視領域）を説明する。図３は、パノラマ自由視点映像の画面構成（全領域ストリームとタイル構成と多画面注視領域）を示す図である。全領域映像２１は、パノラマ自由視点映像サーバ１１が保持している映像データである。タイル２２は、規格Ｈ．２６４などの映像データであり、各々タイムコードを持っている。表示Ａの注視領域３１は、再生装置１３の表示装置Ａ１４で表示される映像である。表示Ｂの注視領域３２は、再生装置１３の表示装置Ｂ１５で表示される映像である。表示Ａの注視領域３１や表示Ｂの注視領域３２は、操作部１３３により自由な動きや拡大縮小いわゆる自由視点映像とすることができる。注視領域は、復号部Ａ１３６や復号部Ｂ１３７において、タイル番号、再生領域値により復号されて生成される。
【００１６】
再生領域情報はタイル番号、再生領域値は注視領域の縦横領域値であり、操作部１３３において指示した再生領域情報や再生領域値がない場合は、制御部１３２において保持している初期値が優先される。例えば、表示Ａのみ注視領域３１の自由な動きや拡大縮小などができる。また、表示Ｂのみ注視領域３２の自由な動きや拡大縮小などができる。ネットワーク帯域が、映像配信に対し、十分大きい場合は、全部のタイルを配信する全配信が行える。ネットワーク帯域が、映像配信に対し、十分大きくない場合は、タイルの一部配信のみの配信となる。
【００１７】
次に、図４を参照して、図１に示す共通受信バッファ１３５の構成を説明する。図４は、パノラマ自由視点映像の共通受信バッファ１３５の構成を示す図である。共通受信バッファ１３５は、図２に示す全領域映像２１と、タイル２２の規格Ｈ．２６４などの映像をタイムコードをもとに、ＧＯＰ単位で同期されたタイルの映像データを保持している。ＧＯＰ内のＩＢＰピクチャは役割があり、Ｉピクチャは、１枚の画面のみを圧縮したものである。Ｂピクチャは、２つの別画面（例えば過去・未来）の画像サンプルを用いた予想により符号化したものである。Ｐピクチャは、１つの別画面（例えば過去）の画像サンプルを用いた予想により符号化したものである。従って、映像データがない状態においては、ＧＯＰの途中から再生はできない。操作後、直ちに自由な動きや拡大縮小などを表示するには、共通受信バッファ１３５に注視領域の周りのタイルの映像データも蓄積しておいて、復号部Ａ１３１、復号部Ｂ１３７へ送り、周りのタイルの映像データも復号しておく。そして、再生領域値の注視領域の映像を切り出し、表示装置で表示する。
【００１８】
こうすることで、従来の固定映像の時間同期ではなく、１つの大きなパノラマ映像の中の多画面の注視領域の時間同期を行うことができる。また、共通受信バッファ１３５を設けることで、１つの大きなパノラマ映像の中での多画面で注視領域の自由視点映像とすることができる。また、操作部１３３により、注視領域を操作時、映像データがある場合、直ちに次のＧＯＰの画面Ａの映像データを直ちに取得でき、画面Ｂ再生時、注視領域の映像データがある場合、次のＧＯＰの画面Ｂの映像データを直ちに取得できるようになる。
【００１９】
次に、図５を参照して、図１に示す再生装置１３の動作を説明する。図５は、復号部Ｂ１３７の再生開始時に、共通受信バッファ１３５内に表示するべき映像データがある場合の動作を示すシーケンス図である。まず、パノラマ自由視点映像サーバ１１からストリーム配信された（ステップＳ１）映像データを、送受信部１３４を介して受信し、共通受信バッファ１３５に蓄積する。共通受信バッファ１３５において、映像データのタイムコードをもとにＧＯＰ単位で同期調整されて、共通受信バッファ１３５からストリーム配信される（ステップＳ２）。ストリーム配信された映像データは、復号部Ａ１３１に送られて、インタフェース１３８を介して、表示装置Ａ１４において再生表示される。ステップＳ１において、ストリーム配信された映像データは、ネットワーク１２によるゆらぎ遅延などの影響を受けているが、ステップＳ２において共通受信バッファ１３５からストリーム配信される映像データは、同期調整がされている。
【００２０】
次に、操作部１３３から注視領域Ｂの再生開始要求の操作が行われると、操作部１３３は制御部１３２に対して、再生開始要求を送る（ステップＳ３）。制御部１３２は、復号部Ｂ１３７に対して、タイル番号の再生領域情報と、注視領域の縦横ポイントの再生領域値を含んだ再生準備通知を送る（ステップＳ４）。これを受けて復号部Ｂ１３７は、デコーダを起動し、再生準備完了通知を制御部１３２に送る（ステップＳ５）。続いて、制御部１３２は、共通受信バッファ１３５に対して、復号部Ａ１３１のＧＯＰのフレーム番号要求と再生領域情報と再生領域値を含んだ映像データ要求を送る（ステップＳ６）。共通受信バッファ１３５は、要求された映像データがある場合、制御部１３２に対して、映像データありを示す情報を送る（ステップＳ７）。そして、共通受信バッファ１３５において、復号部Ａ１３１のフレーム番号に合わせてＧＯＰ再生を行って、復号部Ａ１３１と復号部Ｂ１３７の同期したストリーム配信を行う（ステップＳ８）。これにより、表示装置Ｂ１５にストリーム配信された映像データが再生表示されることになる。
【００２１】
次に、図６を参照して、図１に示す再生装置１３の動作を説明する。図６は、復号部Ｂ１３７の再生開始時、共通受信バッファ１３５内に表示するべき映像データがない場合の動作を示すシーケンス図である。まず、パノラマ自由視点映像サーバ１１からストリーム配信された（ステップＳ１１）映像データを、送受信部１３４を介して受信し、共通受信バッファ１３５に蓄積する。共通受信バッファ１３５において、映像データのタイムコードをもとにＧＯＰ単位で同期調整されて、共通受信バッファ１３５からストリーム配信される（ステップＳ１２）。ストリーム配信された映像データは、復号部Ａ１３１に送られて、インタフェース１３８を介して、表示装置Ａ１４において再生表示される。ステップＳ１において、ストリーム配信された映像データは、ネットワーク１２によるゆらぎ遅延などの影響を受けているが、共通受信バッファ１３５からストリーム配信される映像データは、同期調整がされている。
【００２２】
次に、操作部１３３から注視領域Ｂの再生開始要求の操作が行われると、操作部１３３は制御部１３２に対して、再生開始要求を送る（ステップＳ１３）。制御部１３２は、復号部Ｂ１３７に対して、タイル番号の再生領域情報と、注視領域の縦横ポイントの再生領域値を含んだ再生準備通知を送る（ステップＳ１４）。これを受けて復号部Ｂ１３７は、デコーダを起動し、再生準備完了通知を制御部１３２に送る（ステップＳ１５）。続いて、制御部１３２は、共通受信バッファ１３５に対して、復号部Ａ１３１のＧＯＰのフレーム番号要求と再生領域情報と再生領域値を含んだ映像データ要求を送る（ステップＳ１６）。
【００２３】
次に、共通受信バッファ１３５は、要求された映像データがない場合、制御部１３２に対して、映像データなしを示す情報を送る（ステップＳ１７）。これを受けて、制御部１３２は、送受信部１３４を介して、パノラマ自由視点映像サーバ１１に対し、復号部Ａ１３１のＧＯＰのフレーム番号要求と、タイル番号の再生領域情報と、注視領域の縦横ポイントの再生領域値を含んだ再生開始要求を送る（ステップＳ１８）。パノラマ自由視点映像サーバ１１は、制御部１３２に対し、再生準備完了通知を送り（ステップＳ１９）、送受信部１３４を介して、共通受信バッファ１３５に対し、復号部Ａ１３１のフレーム番号に合わせてＧＯＰのストリーム配信を行う（ステップＳ２０）。共通受信バッファ１３５は、復号部Ａ１３１のフレーム番号に合わせてＧＯＰのストリーム配信を行い（ステップＳ２１）、復号部Ａ１３１と復号部Ｂ１３７において同期されたストリーム配信が行われて、表示装置Ｂ１３７に再生表示されることになる。
【００２４】
次に、図７を参照して、図１に示す再生装置１３の動作を説明する。図７は、復号部Ａ１３６、復号部Ｂ１３７の再生中に画面操作が行われた時、共通受信バッファ１３５内に映像がある場合の動作を示すシーケンス図である。まず、パノラマ自由視点映像サーバ１１からストリーム配信された（ステップＳ３１）映像データを、送受信部１３４を介して受信し、共通受信バッファ１３５に蓄積する。共通受信バッファ１３５において、映像データのタイムコードをもとにＧＯＰ単位で同期調整されて、共通受信バッファ１３５から復号部Ａ１３１と復号部Ｂ１３７に対してストリーム配信される（ステップＳ３２、Ｓ３３）。ストリーム配信された映像データは、それぞれインタフェース１３８、１３９を介して、表示装置Ａ１４と表示装置Ｂ１５において再生表示される。
【００２５】
次に、操作部１３３から移動、拡大縮小の操作が行われると、操作部１３３は制御部１３２に対して、操作情報を送る（ステップＳ３４）。制御部１３２は、復号部Ｂ１３７に対して、タイル番号の再生領域情報と、注視領域の縦横ポイントの再生領域値を含んだ操作情報を送る（ステップＳ３５）。続いて、制御部１３２は、共通受信バッファ１３５に対して、復号部Ａ１３１のＧＯＰのフレーム番号要求と再生領域情報と再生領域値を含んだ映像データ要求を送る（ステップＳ３６）。共通受信バッファ１３５は、要求された映像データがある場合、制御部１３２に対して、映像データありを示す情報を送る（ステップＳ３７）。そして、共通受信バッファ１３５において、復号部Ａ１３１のフレーム番号に合わせてＧＯＰ再生を行って、復号部Ａ１３１と復号部Ｂ１３７の同期したストリーム配信を行う（ステップＳ３８）。これにより、表示装置Ｂ１５にストリーム配信された映像データが再生表示されることになる。
【００２６】
次に、図８を参照して、図１に示す再生装置１３の動作を説明する。図８は、復号部Ａ１３６、復号部Ｂ１３７の再生中に画面操作が行われた時、共通受信バッファ１３５内に映像がない場合の動作を示すシーケンス図である。まず、パノラマ自由視点映像サーバ１１からストリーム配信された（ステップＳ４１）映像データを、送受信部１３４を介して受信し、共通受信バッファ１３５に蓄積する。共通受信バッファ１３５において、映像データのタイムコードをもとにＧＯＰ単位で同期調整されて、共通受信バッファ１３５から復号部Ａ１３１と復号部Ｂ１３７に対してストリーム配信される（ステップＳ４２、Ｓ４３）。ストリーム配信された映像データは、それぞれインタフェース１３８、１３９を介して、表示装置Ａ１４と表示装置Ｂ１５において再生表示される。
【００２７】
次に、操作部１３３から移動、拡大縮小の操作が行われると、操作部１３３は制御部１３２に対して、操作情報を送る（ステップＳ４４）。制御部１３２は、復号部Ｂ１３７に対して、タイル番号の再生領域情報と、注視領域の縦横ポイントの再生領域値を含んだ操作情報を送る（ステップＳ４５）。続いて、制御部１３２は、共通受信バッファ１３５に対して、復号部Ａ１３１のＧＯＰのフレーム番号要求と再生領域情報と再生領域値を含んだ映像データ要求を送る（ステップＳ４６）。共通受信バッファ１３５は、要求された映像データがない場合、制御部１３２に対して、映像データなしを示す情報を送る（ステップＳ４７）。これを受けて、制御部１３２は、送受信部１３４を介して、パノラマ自由視点映像サーバ１１に対し、復号部Ａ１３１のＧＯＰのフレーム番号要求と、タイル番号の再生領域情報と、注視領域の縦横ポイントの再生領域値を含んだ再生開始要求を送る（ステップＳ４８）。パノラマ自由視点映像サーバ１１は、制御部１３２に対し、再生準備完了通知を送り（ステップＳ４９）、送受信部１３４を介して、共通受信バッファ１３５に対し、復号部Ａ１３１のフレーム番号に合わせてＧＯＰのストリーム配信を行う（ステップＳ５０）。共通受信バッファ１３５は、復号部Ａ１３１のフレーム番号に合わせてＧＯＰのストリーム配信を行い（ステップＳ５１）、復号部Ａ１３１と復号部Ｂ１３７において同期されたストリーム配信が行われて、表示装置Ｂ１３７に再生表示されることになる。
【００２８】
前述した説明において、図７、図８に示す処理動作は、復号部Ａ１３６、復号部Ｂ１３７再生中に画面操作した時、表示Ｂを操作した場合の処理動作を示したものであるが、表示Ａを操作した場合も、同様な処理動作となる。また、前述した説明においては、２台の表示装置に表示した場合の例について説明したが、３台以上の表示装置がある場合においても同様である。また、図２において、タイルが縦４×横１０の例を示したが、タイルの数を変えても同様である。また、図３において、注視領域の縦横領域値の例を示したが、横縦の領域を自由に変えられるようにしてもよい。また、図３において、注視領域の縦横領域値の例を示したが、縦横に自由に移動できるようにしてもよい。
【００２９】
以上説明したように、表示装置を並べてパノラマ化した場合、パノラマ固定映像になってしまう問題を解決するために、１つの大きなパノラマ映像の中での多画面で注視領域の自由視点映像とすることが可能となる。表示装置の映像の時間同期でなく、１つの大きなパノラマ映像の中の多画面の注視領域の時間同期を行うことが可能となる。
【００３０】
なお、図１における再生装置１３の機能を実現するためのプログラムをコンピュータ読み取り可能な記録媒体に記録して、この記録媒体に記録されたプログラムをコンピュータシステムに読み込ませ、実行することにより映像再生処理を行ってもよい。なお、ここでいう「コンピュータシステム」とは、ＯＳや周辺機器等のハードウェアを含むものとする。また、「コンピュータシステム」は、ホームページ提供環境（あるいは表示環境）を備えたＷＷＷシステムも含むものとする。また、「コンピュータ読み取り可能な記録媒体」とは、フレキシブルディスク、光磁気ディスク、ＲＯＭ、ＣＤ−ＲＯＭ等の可搬媒体、コンピュータシステムに内蔵されるハードディスク等の記憶装置のことをいう。さらに「コンピュータ読み取り可能な記録媒体」とは、インターネット等のネットワークや電話回線等の通信回線を介してプログラムが送信された場合のサーバやクライアントとなるコンピュータシステム内部の揮発性メモリ（ＲＡＭ）のように、一定時間プログラムを保持しているものも含むものとする。上記コンピュータには、インターネット接続機能を有するゲーム機やネットＴＶ（当該機能を有するアダプタを外付けする場合も含む）が含まれる。
【００３１】
また、上記プログラムは、このプログラムを記憶装置等に格納したコンピュータシステムから、伝送媒体を介して、あるいは、伝送媒体中の伝送波により他のコンピュータシステムに伝送されてもよい。ここで、プログラムを伝送する「伝送媒体」は、インターネット等のネットワーク（通信網）や電話回線等の通信回線（通信線）のように情報を伝送する機能を有する媒体のことをいう。また、上記プログラムは、前述した機能の一部を実現するためのものであってもよい。さらに、前述した機能をコンピュータシステムにすでに記録されているプログラムとの組み合わせで実現できるもの、いわゆる差分ファイル（差分プログラム）であってもよい。
【産業上の利用可能性】
【００３２】
ネットワークに接続して、パノラマ映像情報をサーバから再生する装置において、自由視点映像を複数表示し、多画面の注視領域の時間同期を行うことが不可欠な用途に適用できる。
【符号の説明】
【００３３】
１１・・・パノラマ自由視点映像サーバ、１２・・・ネットワーク、１３・・・再生装置、３１・・・内部通信バス、１３２・・・制御部、１３３・・・操作部、１３４・・・送受信部、１３５・・・共通受信バッファ、１３６・・・復号部Ａ、１３７・・・復号部Ｂ、１３８ ・・・インタフェースＡ、１３９・・・インタフェースＢ、１４・・・表示装置Ａ、１５・・・表示装置Ｂ
【特許請求の範囲】
【請求項１】
１つのパノラマ映像が複数に領域分けされたパノラマ自由視点映像データを保持するパノラマ自由視点映像サーバと、
映像を表示する複数の表示装置と、
前記領域分けされた複数の前記パノラマ自由視点映像データを再生し、前記複数の表示装置に表示することにより、前記１つのパノラマ映像を再生する再生装置と、
前記パノラマ自由視点映像サーバと前記再生装置とを接続するネットワークとを備える映像再生システムであって、
前記再生装置は、
前記パノラマ自由視点映像サーバから配信された前記パノラマ自由視点映像データを前記ネットワークを介して受信する映像データ受信手段と、
前記受信手段により受信した前記パノラマ自由視点映像データを保持する共通受信バッファと、
前記複数に領域分けされた前記パノラマ自由視点映像データのそれぞれを復号して前記表示装置へ出力する複数の復号手段と、
前記パノラマ映像の視点を変える操作を行う操作手段と、
前記操作手段によって、視点を変える操作が行われた場合に、表示するべき前記パノラマ自由視点映像データが前記共通受信バッファに保持されているか否かを判定し、保持されている場合には、前記共通受信バッファから表示するべき前記パノラマ自由視点映像データを読み出して、他の領域の前記パノラマ自由視点映像データと同期させて、前記復号手段に出力し、保持されていない場合には、前記パノラマ自由視点映像サーバから前記表示するべき前記パノラマ自由視点映像データを取得して、他の領域の前記パノラマ自由視点映像データと同期させて、前記復号手段に出力する制御手段とを備える
ことを特徴とする映像再生システム。
【請求項２】
１つのパノラマ映像が複数に領域分けされたパノラマ自由視点映像データを保持するパノラマ自由視点映像サーバと、映像を表示する複数の表示装置と、前記領域分けされた複数の前記パノラマ自由視点映像データを再生し、前記複数の表示装置に表示することにより、前記１つのパノラマ映像を再生する映像再生装置と、前記パノラマ自由視点映像サーバと前記再生装置とを接続するネットワークとを備える映像再生システムにおける映像再生方法であって、
前記映像再生装置は、前記パノラマ自由視点映像サーバから配信された前記パノラマ自由視点映像データを前記ネットワークを介して受信する映像データ受信手段と、前記受信手段により受信した前記パノラマ自由視点映像データを保持する共通受信バッファと、前記複数に領域分けされた前記パノラマ自由視点映像データのそれぞれを復号して前記表示装置へ出力する複数の復号手段と、前記パノラマ映像の視点を変える操作を行う操作手段と、制御手段とを備え、
前記制御手段が、前記操作手段によって、視点を変える操作が行われた場合に、表示するべき前記パノラマ自由視点映像データが前記共通受信バッファに保持されているか否かを判定し、保持されている場合には、前記共通受信バッファから表示するべき前記パノラマ自由視点映像データを読み出して、他の領域の前記パノラマ自由視点映像データと同期させて、前記復号手段に出力し、保持されていない場合には、前記パノラマ自由視点映像サーバから前記表示するべき前記パノラマ自由視点映像データを取得して、他の領域の前記パノラマ自由視点映像データと同期させて、前記復号手段に出力する
ことを特徴とする映像再生方法。
【請求項３】
１つのパノラマ映像が複数に領域分けされたパノラマ自由視点映像データを保持するパノラマ自由視点映像サーバと、映像を表示する複数の表示装置と、前記領域分けされた複数の前記パノラマ自由視点映像データを再生し、前記複数の表示装置に表示することにより、前記１つのパノラマ映像を再生する映像再生装置と、前記パノラマ自由視点映像サーバと前記再生装置とを接続するネットワークとを備える映像再生システムにおける映像再生装置であって、
前記パノラマ自由視点映像サーバから配信された前記パノラマ自由視点映像データを前記ネットワークを介して受信する映像データ受信手段と、
前記受信手段により受信した前記パノラマ自由視点映像データを保持する共通受信バッファと、
前記複数に領域分けされた前記パノラマ自由視点映像データのそれぞれを復号して前記表示装置へ出力する複数の復号手段と、
前記パノラマ映像の視点を変える操作を行う操作手段と、
前記操作手段によって、視点を変える操作が行われた場合に、表示するべき前記パノラマ自由視点映像データが前記共通受信バッファに保持されているか否かを判定し、保持されている場合には、前記共通受信バッファから表示するべき前記パノラマ自由視点映像データを読み出して、他の領域の前記パノラマ自由視点映像データと同期させて、前記復号手段に出力し、保持されていない場合には、前記パノラマ自由視点映像サーバから前記表示するべき前記パノラマ自由視点映像データを取得して、他の領域の前記パノラマ自由視点映像データと同期させて、前記復号手段に出力する制御手段とを備える
ことを特徴とする映像再生装置。
【請求項４】
１つのパノラマ映像が複数に領域分けされたパノラマ自由視点映像データを保持するパノラマ自由視点映像サーバと、映像を表示する複数の表示装置と、前記領域分けされた複数の前記パノラマ自由視点映像データを再生し、前記複数の表示装置に表示することにより、前記１つのパノラマ映像を再生する映像再生装置と、前記パノラマ自由視点映像サーバと前記再生装置とを接続するネットワークとを備える映像再生システムにおける映像再生装置上のコンピュータに映像再生処理を行わせる映像再生プログラムであって、
前記映像再生装置は、
前記パノラマ自由視点映像サーバから配信された前記パノラマ自由視点映像データを前記ネットワークを介して受信する映像データ受信手段と、
前記受信手段により受信した前記パノラマ自由視点映像データを保持する共通受信バッファと、
前記複数に領域分けされた前記パノラマ自由視点映像データのそれぞれを復号して前記表示装置へ出力する複数の復号手段と、
前記パノラマ映像の視点を変える操作を行う操作手段とを備え、
前記操作手段によって、視点を変える操作が行われた場合に、表示するべき前記パノラマ自由視点映像データが前記共通受信バッファに保持されているか否かを判定し、保持されている場合には、前記共通受信バッファから表示するべき前記パノラマ自由視点映像データを読み出して、他の領域の前記パノラマ自由視点映像データと同期させて、前記復号手段に出力し、保持されていない場合には、前記パノラマ自由視点映像サーバから前記表示するべき前記パノラマ自由視点映像データを取得して、他の領域の前記パノラマ自由視点映像データと同期させて、前記復号手段に出力する制御ステップを前記コンピュータに行わせる
ことを特徴とする映像再生プログラム。
【請求項１】
１つのパノラマ映像が複数に領域分けされたパノラマ自由視点映像データを保持するパノラマ自由視点映像サーバと、
映像を表示する複数の表示装置と、
前記領域分けされた複数の前記パノラマ自由視点映像データを再生し、前記複数の表示装置に表示することにより、前記１つのパノラマ映像を再生する再生装置と、
前記パノラマ自由視点映像サーバと前記再生装置とを接続するネットワークとを備える映像再生システムであって、
前記再生装置は、
前記パノラマ自由視点映像サーバから配信された前記パノラマ自由視点映像データを前記ネットワークを介して受信する映像データ受信手段と、
前記受信手段により受信した前記パノラマ自由視点映像データを保持する共通受信バッファと、
前記複数に領域分けされた前記パノラマ自由視点映像データのそれぞれを復号して前記表示装置へ出力する複数の復号手段と、
前記パノラマ映像の視点を変える操作を行う操作手段と、
前記操作手段によって、視点を変える操作が行われた場合に、表示するべき前記パノラマ自由視点映像データが前記共通受信バッファに保持されているか否かを判定し、保持されている場合には、前記共通受信バッファから表示するべき前記パノラマ自由視点映像データを読み出して、他の領域の前記パノラマ自由視点映像データと同期させて、前記復号手段に出力し、保持されていない場合には、前記パノラマ自由視点映像サーバから前記表示するべき前記パノラマ自由視点映像データを取得して、他の領域の前記パノラマ自由視点映像データと同期させて、前記復号手段に出力する制御手段とを備える
ことを特徴とする映像再生システム。
【請求項２】
１つのパノラマ映像が複数に領域分けされたパノラマ自由視点映像データを保持するパノラマ自由視点映像サーバと、映像を表示する複数の表示装置と、前記領域分けされた複数の前記パノラマ自由視点映像データを再生し、前記複数の表示装置に表示することにより、前記１つのパノラマ映像を再生する映像再生装置と、前記パノラマ自由視点映像サーバと前記再生装置とを接続するネットワークとを備える映像再生システムにおける映像再生方法であって、
前記映像再生装置は、前記パノラマ自由視点映像サーバから配信された前記パノラマ自由視点映像データを前記ネットワークを介して受信する映像データ受信手段と、前記受信手段により受信した前記パノラマ自由視点映像データを保持する共通受信バッファと、前記複数に領域分けされた前記パノラマ自由視点映像データのそれぞれを復号して前記表示装置へ出力する複数の復号手段と、前記パノラマ映像の視点を変える操作を行う操作手段と、制御手段とを備え、
前記制御手段が、前記操作手段によって、視点を変える操作が行われた場合に、表示するべき前記パノラマ自由視点映像データが前記共通受信バッファに保持されているか否かを判定し、保持されている場合には、前記共通受信バッファから表示するべき前記パノラマ自由視点映像データを読み出して、他の領域の前記パノラマ自由視点映像データと同期させて、前記復号手段に出力し、保持されていない場合には、前記パノラマ自由視点映像サーバから前記表示するべき前記パノラマ自由視点映像データを取得して、他の領域の前記パノラマ自由視点映像データと同期させて、前記復号手段に出力する
ことを特徴とする映像再生方法。
【請求項３】
１つのパノラマ映像が複数に領域分けされたパノラマ自由視点映像データを保持するパノラマ自由視点映像サーバと、映像を表示する複数の表示装置と、前記領域分けされた複数の前記パノラマ自由視点映像データを再生し、前記複数の表示装置に表示することにより、前記１つのパノラマ映像を再生する映像再生装置と、前記パノラマ自由視点映像サーバと前記再生装置とを接続するネットワークとを備える映像再生システムにおける映像再生装置であって、
前記パノラマ自由視点映像サーバから配信された前記パノラマ自由視点映像データを前記ネットワークを介して受信する映像データ受信手段と、
前記受信手段により受信した前記パノラマ自由視点映像データを保持する共通受信バッファと、
前記複数に領域分けされた前記パノラマ自由視点映像データのそれぞれを復号して前記表示装置へ出力する複数の復号手段と、
前記パノラマ映像の視点を変える操作を行う操作手段と、
前記操作手段によって、視点を変える操作が行われた場合に、表示するべき前記パノラマ自由視点映像データが前記共通受信バッファに保持されているか否かを判定し、保持されている場合には、前記共通受信バッファから表示するべき前記パノラマ自由視点映像データを読み出して、他の領域の前記パノラマ自由視点映像データと同期させて、前記復号手段に出力し、保持されていない場合には、前記パノラマ自由視点映像サーバから前記表示するべき前記パノラマ自由視点映像データを取得して、他の領域の前記パノラマ自由視点映像データと同期させて、前記復号手段に出力する制御手段とを備える
ことを特徴とする映像再生装置。
【請求項４】
１つのパノラマ映像が複数に領域分けされたパノラマ自由視点映像データを保持するパノラマ自由視点映像サーバと、映像を表示する複数の表示装置と、前記領域分けされた複数の前記パノラマ自由視点映像データを再生し、前記複数の表示装置に表示することにより、前記１つのパノラマ映像を再生する映像再生装置と、前記パノラマ自由視点映像サーバと前記再生装置とを接続するネットワークとを備える映像再生システムにおける映像再生装置上のコンピュータに映像再生処理を行わせる映像再生プログラムであって、
前記映像再生装置は、
前記パノラマ自由視点映像サーバから配信された前記パノラマ自由視点映像データを前記ネットワークを介して受信する映像データ受信手段と、
前記受信手段により受信した前記パノラマ自由視点映像データを保持する共通受信バッファと、
前記複数に領域分けされた前記パノラマ自由視点映像データのそれぞれを復号して前記表示装置へ出力する複数の復号手段と、
前記パノラマ映像の視点を変える操作を行う操作手段とを備え、
前記操作手段によって、視点を変える操作が行われた場合に、表示するべき前記パノラマ自由視点映像データが前記共通受信バッファに保持されているか否かを判定し、保持されている場合には、前記共通受信バッファから表示するべき前記パノラマ自由視点映像データを読み出して、他の領域の前記パノラマ自由視点映像データと同期させて、前記復号手段に出力し、保持されていない場合には、前記パノラマ自由視点映像サーバから前記表示するべき前記パノラマ自由視点映像データを取得して、他の領域の前記パノラマ自由視点映像データと同期させて、前記復号手段に出力する制御ステップを前記コンピュータに行わせる
ことを特徴とする映像再生プログラム。
【図１】
【図２】
【図３】
【図４】
【図５】
【図６】
【図７】
【図８】
【図２】
【図３】
【図４】
【図５】
【図６】
【図７】
【図８】
【公開番号】特開２０１２−２２２３９９（Ｐ２０１２−２２２３９９Ａ）
【公開日】平成２４年１１月１２日（２０１２．１１．１２）
【国際特許分類】
【出願番号】特願２０１１−８２７８１（Ｐ２０１１−８２７８１）
【出願日】平成２３年４月４日（２０１１．４．４）
【出願人】（０００００４２２６）日本電信電話株式会社 (13,992)
【Ｆターム（参考）】
【公開日】平成２４年１１月１２日（２０１２．１１．１２）
【国際特許分類】
【出願日】平成２３年４月４日（２０１１．４．４）
【出願人】（０００００４２２６）日本電信電話株式会社 (13,992)
【Ｆターム（参考）】
[ Back to top ]