映像復号装置、映像送受信装置、映像復号方法、及び映像送受信方法
【課題】ユーザが指定した出力画像の位置に対して表示する画素数が最も多くなるように、映像ストリームを復号することができる映像復号装置を提供する。
【解決手段】読み出し決定部１０２は、２次元面上の出力画像座標位置と領域映像位置情報とに従って、各領域映像について出力画像の画素数が最も多くなる領域映像を、読み出すべき領域映像として判定する。読み出し部１０１は、決定された、例えば領域映像ストリームＢを読み出し、復号部１０３は、領域映像ストリームＢを復号して復号画像を取得する。切り出し位置決定部１０５は、出力画像座標位置と領域映像位置情報とに従って、復号画像の中から出力画像を切り出す位置を決定する。画像切り出し部１０４は、決定された切り出し位置に従って、復号画像から出力画像を切り出して出力する。
【解決手段】読み出し決定部１０２は、２次元面上の出力画像座標位置と領域映像位置情報とに従って、各領域映像について出力画像の画素数が最も多くなる領域映像を、読み出すべき領域映像として判定する。読み出し部１０１は、決定された、例えば領域映像ストリームＢを読み出し、復号部１０３は、領域映像ストリームＢを復号して復号画像を取得する。切り出し位置決定部１０５は、出力画像座標位置と領域映像位置情報とに従って、復号画像の中から出力画像を切り出す位置を決定する。画像切り出し部１０４は、決定された切り出し位置に従って、復号画像から出力画像を切り出して出力する。
【発明の詳細な説明】
【技術分野】
【０００１】
本発明は、映像復号装置、映像送受信装置、映像復号方法、及び映像送受信方法に関する。
【背景技術】
【０００２】
ハイビジョンを超える非常に高い解像度の映像に対して、ハイビジョン解像度のディスプレイで、その一部の領域のみを表示する映像システムが研究されている。このようなシステムによれば、ユーザが視聴したい領域を指定し、その指定された領域の映像を十分な解像度で視聴することができる。
【０００３】
システムを実現するには、映像の圧縮伝送方式が重要であり、圧縮伝送方式としては、一般的には、高い解像度の映像を複数のタイル状に分割して、個々のタイル映像を圧縮符号化しておき、映像再生時には、一部のタイル映像のストリームを復号して表示する方式が研究されている。
【０００４】
例えば、非特許文献１によれば、パノラマ映像を同じ大きさのタイルに分割し、１つのタイルを１つのカメラ映像とみなして圧縮し、それらのストリームを多重化しておき、再生する際には、いくつか複数のタイルを選択して復号し、復号したタイルから構成される映像の一部を切り出して表示する手法が提案されている。
【０００５】
例えば、非特許文献１では、図１８に示すように、９個のタイルを復号して、それらから１つの映像を構成し、その一部を切り出して出力・表示する例が示されている。この場合に、映像再生装置では、９個のタイル映像を得るために多重化された９個の映像ストリームを復号する必要がある。
【０００６】
このタイル数は、表示する領域の大きさに依存して変わる特徴がある。最大でデコードするタイル数を予め決めておけば、１個からその最大数までの範囲でダイナミックに変わり得る。このようなダイナミックにデコードするタイル数が変わることにも対応するため、同文献では、国際標準方式Ｈ．２６４ Ａｎｎｅｘ Ｈ（ＭＶＣ）を用いて多重化された映像ストリームを、部分的に復号する仕組みを利用している。一般的にも、複数のタイルを復号する必要があるため、複数のストリームを復号するためのデコード方式が必須であった。
【０００７】
このようなストリームを復号して表示する際には、同文献に記載の通り、複数タイルの一部を切り出して表示をするため、視聴する領域が上下左右に移動しても、復号したタイルの中であれば、表示する映像の端が切れてしまうことはない。また、タイルを超える位置になると、別のタイルの復号を開始するため、やはり表示する映像は無くなることはない。
【０００８】
以上のような処理により、高い解像度の映像の一部領域を、ユーザが自由に指定して表示する映像システムを構成することができる。
【０００９】
また、画像の透明度情報や、奥行き情報は、画像の各画素位置で定義できるため、グレースケールの情報として扱うフォーマットが提案されている。すなわち、このフォーマットでは、画像情報として、色信号だけではなく、透明度情報や、奥行き情報も一緒に扱うことになる。
【００１０】
これにより、例えば、透明度情報を色信号の加工に利用したり、あるいは色信号と奥行き情報とから立体映像を生成することができる（例えば非特許文献２参照）。奥行き情報と色信号とから立体映像を生成する方法としては、３Ｄ ｗａｒｐｉｎｇという手法がある。
【００１１】
図１９に示すように、奥行き情報を使うことで別の視点からの色信号を生成する。このような、透明度情報や、奥行き情報を色信号とともに持つフォーマットで画像情報を定義したものを、仮に、非特許文献１に示すようなパノラマ映像の画像情報として利用することもできる。透明度情報も持つ場合には、パノラマ映像の一部を切り出して前景とし、別に用意した背景画像と合成することができる。また、奥行き情報を持つ場合には、パノラマ映像の一部について立体映像として表示をすることができる。あるいは、そこから３次元的に少し視点を変えた映像を表示することができる。
【先行技術文献】
【非特許文献】
【００１２】
【非特許文献１】Hideaki Kimata, Shinya Shimizu, Yutaka Kunita, Megumi Isogai, and Yoshimitsu Ohtani :「Panorama video coding for user-driven interactive video application」,IEEE International Symposium on Consumer Electronics (ISCE) 2009, 2009
【非特許文献２】木全英明：「３次元映像に関する標準化の動向−立体映像と多視点映像のＭＰＥＧ 標準化−」，高臨場感ディスプレイフォーラム２００７， ２００７
【発明の概要】
【発明が解決しようとする課題】
【００１３】
上述した複数のタイルに分割して多重化された映像ストリームに対して、復号するタイル数がダイナミックに変化して復号する方式は、非特許文献１にも記載されている通り、汎用計算機上でソフトウェアを使って実装することができる。
【００１４】
しかしながら、演算処理能力が低い計算機では、必要なタイル数のストリームを復号できない問題や、専用ハードウェアでは、タイル数がダイナミックに変化するような場合には、対象となる全てのタイルを復号することができないという問題が生じる。
【００１５】
例えば、９個のタイルで１つの映像を構成するストリームに対して、１つの映像ストリームを復号する専用ハードウェアを備えた装置の場合には、９個のうちの１個の映像ストリームのみを復号するため、その他のタイルに属する視聴領域の映像を得ることができないという問題が生じる。
【００１６】
本発明は、このような事情を考慮してなされたものであり、その目的は、映像の一部の領域のみを視聴する際に、演算処理能力が低く映像ストリームを１つしか復号できない計算機で視聴する場合であっても、ユーザが指定した出力画像の位置に対して表示する画素数が最も多くなるように、映像ストリームを復号することができる映像復号装置、映像送受信装置、映像復号方法、及び映像送受信方法を提供することにある。
【課題を解決するための手段】
【００１７】
上述した課題を解決するために、本発明は、２次元で表現される面上の基準位置に対してＮ個のそれぞれ異なる座標位置を示す領域映像位置情報と、各領域映像位置情報に対応したＮ個の映像ストリームで構成される符号化データとから、該符号化データの一部を復号して出力画像を得る映像復号装置であって、前記基準位置に対する出力画像の座標位置と前記領域映像位置情報とに基づいて、出力画像の画素数が最も多く得られるようにｉ番目（１≦ｉ≦Ｎ）の映像ストリームを読み出すことを決定する読み出し決定部と、前記ｉ番目の映像ストリームを読み出す読み出し部と、前記読み出し部で読み出した前記ｉ番目の映像ストリームを復号する復号部と、前記復号部で得られる復号画像の一部を切り出して出力する画像切り出し部と、前記ｉ番目の映像ストリームの領域映像位置情報を用いて、前記基準位置に対する出力画像の座標位置が同一になるように、前記画像切り出し部での切り出し位置を決定する切り出し位置決定部とを備えることを特徴とする映像復号装置である。
【００１８】
上述した課題を解決するために、本発明は、２次元で表現される面上の基準位置に対してＮ個のそれぞれ異なる座標位置を示す領域映像位置情報と、各領域映像位置情報に対応したＮ個の映像ストリームと各映像ストリームを区別するストリームＩＤとを多重化した１つのストリームで構成される符号化データとから、符号化データの一部を復号して出力画像を得る映像復号装置であって、前記基準位置に対する出力画像の座標位置と前記領域映像位置情報とに基づいて、出力画像の画素数が最も多く得られるようにｉ番目（１≦ｉ≦Ｎ）の映像ストリームを読み出すことを決定する読み出し決定部と、前記符号化データ中のストリームＩＤに基づいて、前記読み出し決定部により決定された前記ｉ番目の映像ストリームを探索し、該ｉ番目の映像ストリームを読み出す探索読み出し部と、前記探索読み出し部で得られる前記ｉ番目の映像ストリームを復号する復号部と、前記復号部で得られる復号画像の一部を切り出して出力する画像切り出し部と、前記ｉ番目の映像ストリームの領域映像位置情報を用いて、前記基準位置に対する出力画像の座標位置が同一になるように、前記画像切り出し部での切り出し位置を決定する切り出し位置決定部とを備えることを特徴とする映像復号装置である。
【００１９】
上述した課題を解決するために、本発明は、２次元で表現される面上で定義される元映像の基準位置に対するＮ個の部分的な領域映像の座標位置である領域映像位置情報を送信する領域映像位置情報送信部と、Ｎ個の領域映像の映像ストリームのうちのｉ番目（１≦ｉ≦Ｎ）の映像ストリームを送信するストリーム送信部とを備える映像送信装置と、前記Ｎ個の部分的な領域映像の座標位置である領域映像位置情報を受信する領域映像位置情報受信部と、前記ｉ番目の映像ストリームを受信するストリーム受信部と、前記ストリーム受信部で受信された前記ｉ番目の映像ストリームを読み出す読み出し部と、前記読み出し部で読み出した前記ｉ番目の映像ストリームを復号する復号部と、前記復号部で得られる復号画像の一部を切り出して出力する画像切り出し部と、前記ｉ番目の映像ストリームの領域映像位置情報を用いて、前記基準位置に対する出力画像の座標位置が同一になるように、前記画像切り出し部での切り出し位置を決定する切り出し位置決定部と、前記基準位置に対する次の出力画像の座標位置を指定する出力画像座標指定部と、前記出力画像座標指定部で指定された次の出力画像の座標位置と前記領域映像位置情報とに基づいて、次の出力画像の画素数が最も多く得られるように、ｊ番目（１≦ｊ≦Ｎ）の映像ストリームの送信を要求することを決定する送信要求決定部と、前記ｊ番目の映像ストリームの送信を、前記映像送信装置に要求する送信要求部とを備える映像受信装置とを具備することを特徴とする映像送受信装置である。
【００２０】
上述した課題を解決するために、本発明は、２次元で表現される面上で定義される元映像の基準位置に対するＮ個の部分的な領域映像の座標位置である領域映像位置情報を送信する領域映像位置情報送信部と、前記Ｎ個の部分的な領域映像の映像ストリームと各映像ストリームを区別するストリームＩＤとを多重化した１つのストリームから、Ｍ個（Ｍ≦Ｎ）のａ１からａｍ番目の映像ストリームと対応するストリームＩＤとを多重化した１つのストリームを抽出して送信するストリーム送信部とを備える映像送信装置と、前記Ｎ個の部分的な領域映像の領域映像位置情報を受信する領域映像位置情報受信部と、前記Ｍ個のａ１からａｍ番目の映像ストリームを受信するストリーム受信部と、前記基準位置に対する出力画像の座標位置と前記領域映像位置情報とに基づいて、出力画像の画素数が最も多く得られるようにｉ番目（ｉはａ１からａｍのいずれか）の映像ストリームを読み出すことを決定する読み出し決定部と、前記ストリーム受信部で受信された前記Ｍ個のａ１からａｍ番目の映像ストリーム中のストリームＩＤに基づいて、前記読み出し決定部により決定された前記ｉ番目の映像ストリームを探索して読み出す探索読み出し部と、前記探索読み出し部で読み出した前記ｉ番目の映像ストリームを復号する復号部と、前記復号部で得られる復号画像の一部を切り出して出力する画像切り出し部と、前記ｉ番目の映像ストリームの領域映像位置情報を用いて、前記基準位置に対する出力画像の座標位置が同一になるように、前記画像切り出し部での切り出し位置を決定する切り出し位置決定部と、次の出力画像の座標位置を指定する出力画像座標指定部と、前記基準位置に対する次の出力画像の座標位置と前記領域映像位置情報とに基づいて、次の出力画像の画素数が多く得られるように、Ｍ個（Ｍ≦Ｎ）のｂ１からｂｍ番目の映像ストリームの送信を要求することを決定する送信要求決定部と、前記ｂ１からｂｍ番目の映像ストリームの送信を、前記映像送信装置に要求する送信要求部とを備える映像受信装置とを具備することを特徴とする映像送受信装置である。
【００２１】
上述した課題を解決するために、本発明は、２次元で表現される面上で定義される元映像の基準位置に対するＮ個の部分的な領域映像の座標位置である領域映像位置情報を送信する領域映像位置情報送信部と、元映像の一部の画像情報からｉ番目（１≦ｉ≦Ｎ）の領域映像を符号化して映像ストリームを送信するストリーム送信部と、を備える映像送信装置と、Ｎ個の領域映像位置情報を受信する領域映像位置情報受信部と、前記ｉ番目の映像ストリームを受信するストリーム受信部と、前記ストリーム受信部により受信された前記ｉ番目の映像ストリームを読み出す読み出し部と、前記読み出し部で読み出された前記ｉ番目の映像ストリームを復号する復号部と、前記復号部で得られる復号画像の一部を切り出して出力する画像切り出し部と、前記ｉ番目の映像ストリームの領域映像位置情報を用いて、前記基準位置に対する出力画像の座標位置が同一になるように、前記画像切り出し部での切り出し位置を決定する切り出し位置決定部と、次の出力画像の座標位置を指定する出力画像座標指定部と、前記基準位置に対する次の出力画像の座標位置と前記領域映像位置情報とに基づいて、次の出力画像が最も多く得られるようにｊ番目（１≦ｊ≦Ｎ）の映像ストリームの送信を要求することを決定する送信要求決定部と、前記送信要求決定部で決定された前記ｊ番目の映像ストリームの送信を、前記映像送信装置に要求する送信要求部とを備える映像受信装置とを具備することを特徴とする映像送受信装置である。
【００２２】
上述した課題を解決するために、本発明は、２次元で表現される面上で定義される元映像の基準位置に対するＮ個の部分的な領域映像の座標位置である領域映像位置情報を送信する領域映像位置情報送信部と、前記元映像の一部の画像情報から、Ｍ個（Ｍ≦Ｎ）のａ１からａｍ番目の領域映像を符号化して得られる映像ストリームと対応するストリームＩＤとを多重化して送信するストリーム送信部と、を備える映像送信装置と、前記Ｎ個の領域映像位置情報を受信する領域映像位置情報受信部と、前記Ｍ個（Ｍ≦Ｎ）のａ１からａｍ番目のストリームを受信するストリーム受信部と、前記基準位置に対する出力画像の座標位置と前記領域映像位置情報とに基づいて、出力画像の画素数が最も多く得られるようにｉ番目（ｉはａ１からａｍのいずれか）の映像ストリームを読み出すことを決定する読み出し決定部と、符号化データ中のストリームＩＤに基づいて、前記読み出し決定部により決定された前記ｉ番目の映像ストリームを探索して読み出す探索読み出し部と、前記探索読み出し部で読み出された前記ｉ番目の映像ストリームを復号する復号部と、前記復号部で得られる復号画像の一部を切り出して出力する画像切り出し部と、前記ｉ番目の映像ストリームの領域映像位置情報を用いて、前記基準位置に対する出力画像の座標位置が同一になるように、前記画像切り出し部での切り出し位置を決定する切り出し位置決定部と、次の出力画像の座標位置を指定する出力画像座標指定部と、前記基準位置に対する次の出力画像の座標位置と前記領域映像位置情報とに基づいて、次の出力画像の画素数が多く得られるように、Ｍ個（Ｍ＜＝Ｎ）のｂ１からｂｍ番目の映像ストリームの送信を要求することを決定する送信要求決定部と、前記送信要求決定部により決定された前記ｂ１からｂｍ番目の映像ストリームの送信を、前記映像送信装置に要求する送信要求部とを備える映像受信装置とを具備することを特徴とする映像送受信装置である。
【００２３】
上述した課題を解決するために、本発明は、２次元で表現されるＬ（Ｌ≧２）個の面について、それぞれの面上の基準位置に対してＮｋ（１≦ｋ≦Ｌ）個のそれぞれ異なる座標位置を示す領域映像位置情報と、各領域映像位置情報に対応した複数個の映像ストリームとで構成される符号化データとに基づいて、該符号化データの一部を復号して出力画像を得る映像復号装置であって、出力画像を切り出す面ｃ（１≦ｃ≦Ｌ）における、前記基準位置に対する出力画像の座標位置と前記領域映像位置情報とに基づいて、出力画像の画素数が最も多く得られるようにｉ番目（１≦ｉ≦Ｎｃ）の映像ストリームを読み出すことを決定する読み出し決定部と、前記読み出し決定部により決定された前記ｉ番目の映像ストリームを読み出す読み出し部と、前記読み出し部で得られる前記ｉ番目の映像ストリームを復号する復号部と、前記復号部で得られる復号画像の一部を切り出して出力する画像切り出し部と、前記ｉ番目の映像ストリームの領域映像位置情報を用いて、前記基準位置に対する出力画像の座標位置が同一になるように、前記画像切り出し部での切り出し位置を決定する切り出し位置決定部とを備えることを特徴とする映像復号装置である。
【００２４】
上述した課題を解決するために、本発明は、２次元で表現されるＬ（Ｌ≧２）個の面について、それぞれの面上の基準位置に対してＮｋ（１≦ｋ≦Ｌ）個のそれぞれ異なる座標位置を示す領域映像位置情報と、各領域映像位置情報に対応した複数個の映像ストリームと各映像ストリームを区別するストリームＩＤとを多重化した１つのストリームで構成される符号化データとに基づいて、該符号化データの一部を復号して出力画像を得る映像復号装置であって、出力画像を切り出す面ｃ（１≦ｃ≦Ｌ）における、前記基準位置に対する出力画像の座標位置と前記領域映像位置情報とに基づいて、出力画像の画素数が最も多く得られるようにｉ番目（１≦ｉ≦Ｎｃ）の映像ストリームを読み出すことを決定する読み出し決定部と、前記符号化データ中のストリームＩＤに基づいて、前記読み出し決定部により決定された前記ｉ番目の映像ストリームを探索して読み出す探索読み出し部と、前記探索読み出し部で読み出した前記ｉ番目の映像ストリームを復号する復号部と、前記復号部で得られる復号画像の一部を切り出して出力する画像切り出し部と、前記ｉ番目の映像ストリームの領域映像位置情報を用いて、前記基準位置に対する出力画像の座標位置が同一になるように、前記画像切り出し部での切り出し位置を決定する切り出し位置決定部と、を備えることを特徴とする映像復号装置である。
【００２５】
上述した課題を解決するために、本発明は、２次元で表現されるＬ（Ｌ≧２）個の面について、それぞれの面上で定義される基準位置に対するＮｋ（１≦ｋ≦Ｌ）個の部分的な領域映像の座標位置である全ての領域映像位置情報を送信する領域映像位置情報送信部と、面ｃ（１≦ｃ≦Ｌ）におけるＮｃ個の領域映像の映像ストリームのうちのｉ番目（１≦ｉ≦Ｎｃ）のストリームを送信するストリーム送信部と、を備える映像送信装置と、全ての領域映像位置情報を受信する領域映像位置情報受信部と、前記ｉ番目の映像ストリームを受信するストリーム受信部と、前記ストリーム受信部で受信された前記ｉ番目の映像ストリームを読み出す読み出し部と、前記読み出し部で読み出した前記ｉ番目の映像ストリームを復号する復号部と、前記復号部で得られる復号画像の一部を切り出して出力する画像切り出し部と、前記ｉ番目の領域映像位置情報を用いて、前記基準位置に対する出力画像の座標位置が同一になるように、前記画像切り出し部での切り出し位置を決定する切り出し位置決定部と、次の出力画像を切り出す面ｄ（１≦ｄ≦Ｌ）を指定する出力画像面指定部と、前記次の出力画像の座標位置を指定する出力画像座標指定部と、前記出力画像面指定部で指定した面ｄにおける、前記基準位置に対する次の出力画像の座標位置と前記領域映像位置情報とに基づいて、前記次の出力画像の画素数が最も多く得られるようにｊ番目（１≦ｊ≦Ｎｄ）の映像ストリームの送信を要求することを決定する送信要求決定部と、前記送信要求決定部によって決定された、面ｄ（１≦ｄ≦Ｌ）におけるｊ番目（１≦ｊ≦Ｎｄ）の映像ストリームの送信を、前記映像送信装置に要求する送信要求部とを備える映像受信装置とを具備することを特徴とする映像送受信装置である。
【００２６】
上述した課題を解決するために、本発明は、２次元で表現されるＬ（Ｌ≧２）個の面について、それぞれの面上で定義される基準位置に対するＮｋ（１≦ｋ≦Ｌ）個の部分的な領域映像の座標位置である全ての領域映像位置情報を送信する領域映像位置情報送信部と、全ての領域映像の映像ストリームと各映像ストリームを区別するストリームＩＤとを多重化した１つのストリームから、Ｍ個のａ１からａｍ番目の映像ストリームと対応するストリームＩＤとを多重化した１つのストリームを抽出して送信するストリーム送信部と、を備える映像送信装置と、全ての領域映像位置情報を受信する領域映像位置情報受信部と、前記Ｍ個のａ１からａｍ番目のストリームを受信するストリーム受信部と、出力画像を切り出す面ｃ（１≦ｃ≦Ｌ）における、前記基準位置に対する出力画像の座標位置と前記領域映像位置情報とに基づいて、前記出力画像の画素数が最も多く得られるようにｉ番目（ｉはａ１からａｍのいずれか）の映像ストリームを読み出すことを決定する読み出し決定部と、符号化データ中のストリームＩＤに基づいて、前記読み出し決定部で決定された前記ｉ番目の映像ストリームを探索して読み出す探索読み出し部と、前記探索読み出し部で読み出された前記ｉ番目の映像ストリームを復号する復号部と、前記復号部で得られる復号画像の一部を切り出して出力する画像切り出し部と、前記ｉ番目の映像ストリームの領域映像位置情報を用いて、前記基準位置に対する出力画像の座標位置が同一になるように、前記画像切り出し部での切り出し位置を決定する切り出し位置決定部と、次の出力画像を切り出す１つ以上の面ｄ（１≦ｄ≦Ｌ）を指定する出力画像面指定部と、次の出力画像の座標位置を指定する出力画像座標指定部と、前記出力画像面指定部で指定した面ｄにおける、前記基準位置に対する次の出力画像の座標位置と前記領域映像位置情報とに基づいて、次の出力画像の画素数が多く得られるように、Ｍ個のｂ１からｂｍ番目の映像ストリームの送信を要求することを決定する送信要求決定部と、前記送信要求決定部により決定された前記ｂ１からｂｍ番目の映像ストリームの送信を、前記映像送信装置に要求する送信要求部とを備える映像受信装置とを具備することを特徴とする映像送受信装置である。
【００２７】
上述した課題を解決するために、本発明は、２次元で表現されるＬ（Ｌ≧２）個の面について、それぞれの面上で定義される基準位置に対するＮｋ（１≦ｋ≦Ｌ）個の部分的な領域映像の座標位置である全ての領域映像位置情報を送信する領域映像位置情報送信部と、１つ以上の面ｃ（１≦ｃ≦Ｌ）における元映像の一部の画像情報からｉ番目（１≦ｉ≦Ｎｃ）の領域映像を符号化して映像ストリームを送信するストリーム送信部とを備える映像送信装置と、全ての領域映像位置情報を受信する領域映像位置情報受信部と、前記ｉ番目の映像ストリームを受信するストリーム受信部と、前記ストリーム受信部で受信された前記ｉ番目の映像ストリームを読み出す読み出し部と、前記読み出し部で読み出した前記ｉ番目の映像ストリームを復号する復号部と、前記復号部で得られる復号画像の一部を切り出して出力する画像切り出し部と、前記ｉ番目の映像ストリームの領域映像位置情報を用いて、前記基準位置に対する出力画像の座標位置が同一になるように、前記画像切り出し部での切り出し位置を決定する切り出し位置決定部と、次の出力画像を切り出す面ｄ（１≦ｄ≦Ｌ）を指定する出力画像面指定部と、次の出力画像の座標位置を指定する出力画像座標指定部と、前記出力画像面指定部で指定した面ｄにおける、前記基準位置に対する次の出力画像の座標位置と前記領域映像位置情報とに基づいて、次の出力画像の画素数が最も多く得られるようにｊ番目（１≦ｊ≦Ｎｄ）の映像ストリームの送信を要求することを決定する送信要求決定部と、前記送信要求決定部によって決定された前記ｊ番目の映像ストリームの送信を、前記映像送信装置に要求する送信要求部とを備える映像受信装置とを具備することを特徴とする映像送受信装置である。
【００２８】
上述した課題を解決するために、本発明は、２次元で表現されるＬ（Ｌ≧２）個の面について、それぞれの面上で定義される基準位置に対するＮｋ（１≦ｋ≦Ｌ）個の部分的な領域映像の座標位置である全ての領域映像位置情報を送信する領域映像位置情報送信部と、１つ以上の面ｃ（１≦ｃ≦Ｌ）における元映像の一部の画像情報からＭ個のａ１からａｍ番目の領域映像を符号化して得られる映像ストリームと対応するストリームＩＤとを多重化して送信するストリーム送信部と、を備える映像送信装置と、全ての領域映像位置情報を受信する領域映像位置情報受信部と、前記Ｍ個のａ１からａｍ番目のストリームを受信するストリーム受信部と、出力画像を切り出す面ｃ（１≦ｃ≦Ｌ）における、前記基準位置に対する出力画像の座標位置と前記領域映像位置情報とに基づいて、出力画像の画素数が最も多く得られるようにｉ番目（ｉはａ１からａｍのいずれか）の映像ストリームを読み出すことを決定する読み出し決定部と、符号化データ中のストリームＩＤに基づいて、前記読み出し決定部により決定された前記ｉ番目の映像ストリームを探索して読み出す探索読み出し部と、前記探索読み出し部で読み出された前記ｉ番目の映像ストリームを復号する復号部と、前記復号部で得られる復号画像の一部を切り出して出力する画像切り出し部と、前記ｉ番目の映像ストリームの領域映像位置情報を用いて、前記基準位置に対する出力画像の座標位置が同一になるように、前記画像切り出し部での切り出し位置を決定する切り出し位置決定部と、次の出力画像を切り出す１つ以上の面ｄ（１≦ｄ≦Ｌ）を指定する出力画像面指定部と、次の出力画像の座標位置を指定する出力画像座標指定部と、前記出力画像面指定部で指定した面ｄにおける、前記基準位置に対する次の出力画像の座標位置と前記領域映像位置情報とに基づいて、次の出力画像の画素数が多く得られるように、Ｍ個のｂ１からｂｍ番目の映像ストリームの送信を要求することを決定する送信要求決定部と、前記送信要求決定部により決定された前記ｂ１からｂｍ番目の映像ストリームの送信を、前記映像送信装置に要求する送信要求部と、を備える映像受信装置とを具備することを特徴とする映像送受信装置である。
【００２９】
上述した課題を解決するために、本発明は、２次元で表現される面上の基準位置に対してＮ個のそれぞれ異なる座標位置を示す領域映像位置情報と、各領域映像位置情報に対応したＮ個の映像ストリームで構成される符号化データとから、該符号化データの一部を復号して出力画像を得る映像復号方法であって、前記基準位置に対する出力画像の座標位置と前記領域映像位置情報とに基づいて、出力画像の画素数が最も多く得られるようにｉ番目（１≦ｉ≦Ｎ）の映像ストリームを読み出すことを決定する読み出し決定ステップと、前記ｉ番目の映像ストリームを読み出す読み出しステップと、前記読み出しステップで読み出した前記ｉ番目の映像ストリームを復号する復号ステップと、前記復号ステップで得られる復号画像の一部を切り出して出力する画像切り出しステップと、前記ｉ番目の映像ストリームの領域映像位置情報を用いて、前記基準位置に対する出力画像の座標位置が同一になるように、前記画像切り出しステップでの切り出し位置を決定する切り出し位置決定ステップとを含むことを特徴とする映像復号方法である。
【００３０】
上述した課題を解決するために、本発明は、２次元で表現される面上の基準位置に対してＮ個のそれぞれ異なる座標位置を示す領域映像位置情報と、各領域映像位置情報に対応したＮ個の映像ストリームと各映像ストリームを区別するストリームＩＤとを多重化した１つのストリームで構成される符号化データとから、符号化データの一部を復号して出力画像を得る映像復号方法であって、前記基準位置に対する出力画像の座標位置と前記領域映像位置情報とに基づいて、出力画像の画素数が最も多く得られるようにｉ番目（１≦ｉ≦Ｎ）の映像ストリームを読み出すことを決定する読み出し決定ステップと、前記符号化データ中のストリームＩＤに基づいて、前記読み出し決定ステップで決定された前記ｉ番目の映像ストリームを探索し、該ｉ番目の映像ストリームを読み出す探索読み出しステップと、前記探索読み出しステップで得られる前記ｉ番目の映像ストリームを復号する復号ステップと、前記復号ステップで得られる復号画像の一部を切り出して出力する画像切り出しステップと、前記ｉ番目の映像ストリームの領域映像位置情報を用いて、前記基準位置に対する出力画像の座標位置が同一になるように、前記画像切り出しステップでの切り出し位置を決定する切り出し位置決定ステップとを含むことを特徴とする映像復号方法である。
【００３１】
上述した課題を解決するために、本発明は、映像送信装置が、２次元で表現される面上で定義される元映像の基準位置に対するＮ個の部分的な領域映像の座標位置である領域映像位置情報を送信する領域映像位置情報送信ステップと、前記映像送信装置が、Ｎ個の領域映像の映像ストリームのうちのｉ番目（１≦ｉ≦Ｎ）の映像ストリームを送信するストリーム送信ステップと、映像受信装置が、前記Ｎ個の部分的な領域映像の座標位置である領域映像位置情報を受信する領域映像位置情報受信ステップと、前記映像受信装置が、前記ｉ番目の映像ストリームを受信するストリーム受信ステップと、前記映像受信装置が、前記ストリーム受信ステップで受信された前記ｉ番目の映像ストリームを読み出す読み出しステップと、前記映像受信装置が、前記読み出しステップで読み出した前記ｉ番目の映像ストリームを復号する復号ステップと、前記映像受信装置が、前記復号ステップで得られる復号画像の一部を切り出して出力する画像切り出しステップと、前記映像受信装置が、前記ｉ番目の映像ストリームの領域映像位置情報を用いて、前記基準位置に対する出力画像の座標位置が同一になるように、前記画像切り出しステップでの切り出し位置を決定する切り出し位置決定ステップと、前記映像受信装置が、前記基準位置に対する次の出力画像の座標位置を指定する出力画像座標指定ステップと、前記映像受信装置が、前記出力画像座標指定ステップで指定された次の出力画像の座標位置と前記領域映像位置情報とに基づいて、次の出力画像の画素数が最も多く得られるように、ｊ番目（１≦ｊ≦Ｎ）の映像ストリームの送信を要求することを決定する送信要求決定ステップと、前記映像受信装置が、前記ｊ番目の映像ストリームの送信を、前記映像送信装置に要求する送信要求ステップとを含むことを特徴とする映像送受信方法である。
【００３２】
上述した課題を解決するために、本発明は、映像送信装置が、２次元で表現される面上で定義される元映像の基準位置に対するＮ個の部分的な領域映像の座標位置である領域映像位置情報を送信する領域映像位置情報送信ステップと、前記映像送信装置が、前記Ｎ個の部分的な領域映像の映像ストリームと各映像ストリームを区別するストリームＩＤとを多重化した１つのストリームから、Ｍ個（Ｍ≦Ｎ）のａ１からａｍ番目の映像ストリームと対応するストリームＩＤとを多重化した１つのストリームを抽出して送信するストリーム送信ステップと、前記映像受信装置が、前記Ｎ個の部分的な領域映像の領域映像位置情報を受信する領域映像位置情報受信ステップと、前記映像受信装置が、前記Ｍ個のａ１からａｍ番目の映像ストリームを受信するストリーム受信ステップと、前記基準位置に対する出力画像の座標位置と前記領域映像位置情報とに基づいて、出力画像の画素数が最も多く得られるようにｉ番目（ｉはａ１からａｍのいずれか）の映像ストリームを読み出すことを決定する読み出し決定ステップと、前記映像受信装置が、前記ストリーム受信ステップで受信された前記Ｍ個のａ１からａｍ番目の映像ストリーム中のストリームＩＤに基づいて、前記読み出し決定ステップで決定された前記ｉ番目の映像ストリームを探索して読み出す探索読み出しステップと、前記映像受信装置が、前記探索読み出しステップで読み出した前記ｉ番目の映像ストリームを復号する復号ステップと、前記映像受信装置が、前記復号ステップで得られる復号画像の一部を切り出して出力する画像切り出しステップと、前記映像受信装置が、前記ｉ番目の映像ストリームの領域映像位置情報を用いて、前記基準位置に対する出力画像の座標位置が同一になるように、前記画像切り出しステップでの切り出し位置を決定する切り出し位置決定ステップと、前記映像受信装置が、次の出力画像の座標位置を指定する出力画像座標指定ステップと、前記映像受信装置が、前記基準位置に対する次の出力画像の座標位置と前記領域映像位置情報とに基づいて、次の出力画像の画素数が多く得られるように、Ｍ個（Ｍ≦Ｎ）のｂ１からｂｍ番目の映像ストリームの送信を要求することを決定する送信要求決定ステップと、前記映像受信装置が、前記ｂ１からｂｍ番目の映像ストリームの送信を、前記映像送信装置に要求する送信要求ステップとを含むことを特徴とする映像送受信方法である。
【００３３】
上述した課題を解決するために、本発明は、映像送信装置が、２次元で表現される面上で定義される元映像の基準位置に対するＮ個の部分的な領域映像の座標位置である領域映像位置情報を送信する領域映像位置情報送信ステップと、前記映像送信装置が、元映像の一部の画像情報からｉ番目（１≦ｉ≦Ｎ）の領域映像を符号化して映像ストリームを送信するストリーム送信ステップと、映像受信装置が、Ｎ個の領域映像位置情報を受信する領域映像位置情報受信ステップと、前記映像受信装置が、前記ｉ番目の映像ストリームを受信するストリーム受信ステップと、前記映像受信装置が、前記ストリーム受信ステップで受信された前記ｉ番目の映像ストリームを読み出す読み出しステップと、前記映像受信装置が、前記読み出しステップで読み出された前記ｉ番目の映像ストリームを復号する復号ステップと、前記映像受信装置が、前記復号ステップで得られる復号画像の一部を切り出して出力する画像切り出しステップと、前記映像受信装置が、前記ｉ番目の映像ストリームの領域映像位置情報を用いて、前記基準位置に対する出力画像の座標位置が同一になるように、前記画像切り出しステップでの切り出し位置を決定する切り出し位置決定ステップと、前記映像受信装置が、次の出力画像の座標位置を指定する出力画像座標指定ステップと、前記映像受信装置が、前記基準位置に対する次の出力画像の座標位置と前記領域映像位置情報とに基づいて、次の出力画像が最も多く得られるようにｊ番目（１≦ｊ≦Ｎ）の映像ストリームの送信を要求することを決定する送信要求決定ステップと、前記映像受信装置が、前記送信要求決定ステップで決定された前記ｊ番目の映像ストリームの送信を、前記映像送信装置に要求する送信要求ステップとを含むことを特徴とする映像送受信方法である。
【００３４】
上述した課題を解決するために、本発明は、映像送信装置が、２次元で表現される面上で定義される元映像の基準位置に対するＮ個の部分的な領域映像の座標位置である領域映像位置情報を送信する領域映像位置情報送信ステップと、前記映像送信装置が、前記元映像の一部の画像情報から、Ｍ個（Ｍ≦Ｎ）のａ１からａｍ番目の領域映像を符号化して得られる映像ストリームと対応するストリームＩＤとを多重化して送信するストリーム送信ステップと、前記映像受信装置が、前記Ｎ個の領域映像位置情報を受信する領域映像位置情報受信ステップと、前記映像受信装置が、前記Ｍ個（Ｍ≦Ｎ）のａ１からａｍ番目のストリームを受信するストリーム受信ステップと、前記映像受信装置が、前記基準位置に対する出力画像の座標位置と前記領域映像位置情報とに基づいて、出力画像の画素数が最も多く得られるようにｉ番目（ｉはａ１からａｍのいずれか）の映像ストリームを読み出すことを決定する読み出し決定ステップと、前記映像受信装置が、符号化データ中のストリームＩＤに基づいて、前記読み出し決定ステップで決定された前記ｉ番目の映像ストリームを探索して読み出す探索読み出しステップと、前記映像受信装置が、前記探索読み出しステップで読み出された前記ｉ番目の映像ストリームを復号する復号ステップと、前記映像受信装置が、前記復号ステップで得られる復号画像の一部を切り出して出力する画像切り出しステップと、前記映像受信装置が、前記ｉ番目の映像ストリームの領域映像位置情報を用いて、前記基準位置に対する出力画像の座標位置が同一になるように、前記画像切り出しステップでの切り出し位置を決定する切り出し位置決定ステップと、前記映像受信装置が、次の出力画像の座標位置を指定する出力画像座標指定ステップと、前記映像受信装置が、前記基準位置に対する次の出力画像の座標位置と前記領域映像位置情報とに基づいて、次の出力画像の画素数が多く得られるように、Ｍ個（Ｍ＜＝Ｎ）のｂ１からｂｍ番目の映像ストリームの送信を要求することを決定する送信要求決定ステップと、前記映像受信装置が、前記送信要求決定ステップで決定された前記ｂ１からｂｍ番目の映像ストリームの送信を、前記映像送信装置に要求する送信要求ステップとを含むことを特徴とする映像送受信方法である。
【００３５】
上述した課題を解決するために、本発明は、２次元で表現されるＬ（Ｌ≧２）個の面について、それぞれの面上の基準位置に対してＮｋ（１≦ｋ≦Ｌ）個のそれぞれ異なる座標位置を示す領域映像位置情報と、各領域映像位置情報に対応した複数個の映像ストリームとで構成される符号化データとに基づいて、該符号化データの一部を復号して出力画像を得る映像復号方法であって、出力画像を切り出す面ｃ（１≦ｃ≦Ｌ）における、前記基準位置に対する出力画像の座標位置と前記領域映像位置情報とに基づいて、出力画像の画素数が最も多く得られるようにｉ番目（１≦ｉ≦Ｎｃ）の映像ストリームを読み出すことを決定する読み出し決定ステップと、前記読み出し決定ステップで決定された前記ｉ番目の映像ストリームを読み出す読み出しステップと、前記読み出しステップで得られる前記ｉ番目の映像ストリームを復号する復号ステップと、前記復号ステップで得られる復号画像の一部を切り出して出力する画像切り出しステップと、前記ｉ番目の映像ストリームの領域映像位置情報を用いて、前記基準位置に対する出力画像の座標位置が同一になるように、前記画像切り出しステップでの切り出し位置を決定する切り出し位置決定ステップとを含むことを特徴とする映像復号方法である。
【００３６】
上述した課題を解決するために、本発明は、２次元で表現されるＬ（Ｌ≧２）個の面について、それぞれの面上の基準位置に対してＮｋ（１≦ｋ≦Ｌ）個のそれぞれ異なる座標位置を示す領域映像位置情報と、各領域映像位置情報に対応した複数個の映像ストリームと各映像ストリームを区別するストリームＩＤとを多重化した１つのストリームで構成される符号化データとに基づいて、該符号化データの一部を復号して出力画像を得る映像復号方法あって、出力画像を切り出す面ｃ（１≦ｃ≦Ｌ）における、前記基準位置に対する出力画像の座標位置と前記領域映像位置情報とに基づいて、出力画像の画素数が最も多く得られるようにｉ番目（１≦ｉ≦Ｎｃ）の映像ストリームを読み出すことを決定する読み出し決定ステップと、前記符号化データ中のストリームＩＤに基づいて、前記読み出し決定ステップで決定された前記ｉ番目の映像ストリームを探索して読み出す探索読み出しステップと、前記探索読み出しステップで読み出した前記ｉ番目の映像ストリームを復号する復号ステップと、前記復号ステップで得られる復号画像の一部を切り出して出力する画像切り出しステップと、前記ｉ番目の映像ストリームの領域映像位置情報を用いて、前記基準位置に対する出力画像の座標位置が同一になるように、前記画像切り出しステップでの切り出し位置を決定する切り出し位置決定ステップとを含むことを特徴とする映像復号方法である。
【００３７】
上述した課題を解決するために、本発明は、映像送信装置が、２次元で表現されるＬ（Ｌ≧２）個の面について、それぞれの面上で定義される基準位置に対するＮｋ（１≦ｋ≦Ｌ）個の部分的な領域映像の座標位置である全ての領域映像位置情報を送信する領域映像位置情報送信ステップと、前記映像送信装置が、面ｃ（１≦ｃ≦Ｌ）におけるＮｃ個の領域映像の映像ストリームのうちのｉ番目（１≦ｉ≦Ｎｃ）のストリームを送信するストリーム送信ステップと、映像受信装置が、全ての領域映像位置情報を受信する領域映像位置情報受信ステップと、前記映像受信装置が、前記ｉ番目の映像ストリームを受信するストリーム受信ステップと、前記映像受信装置が、前記ストリーム受信ステップで受信された前記ｉ番目の映像ストリームを読み出す読み出しステップと、前記映像受信装置が、前記読み出しステップで読み出した前記ｉ番目の映像ストリームを復号する復号ステップと、前記映像受信装置が、前記復号ステップで得られる復号画像の一部を切り出して出力する画像切り出しステップと、前記映像受信装置が、前記ｉ番目の領域映像位置情報を用いて、前記基準位置に対する出力画像の座標位置が同一になるように、前記画像切り出しステップでの切り出し位置を決定する切り出し位置決定ステップと、前記映像受信装置が、次の出力画像を切り出す面ｄ（１≦ｄ≦Ｌ）を指定する出力画像面指定ステップと、前記映像受信装置が、前記次の出力画像の座標位置を指定する出力画像座標指定ステップと、前記映像受信装置が、前記出力画像面指定ステップで指定した面ｄにおける、前記基準位置に対する次の出力画像の座標位置と前記領域映像位置情報とに基づいて、前記次の出力画像の画素数が最も多く得られるようにｊ番目（１≦ｊ≦Ｎｄ）の映像ストリームの送信を要求することを決定する送信要求決定ステップと、前記映像受信装置が、前記送信要求決定ステップで決定された、面ｄ（１≦ｄ≦Ｌ）におけるｊ番目（１≦ｊ≦Ｎｄ）の映像ストリームの送信を、前記映像送信装置に要求する送信要求ステップとを含むことを特徴とする映像送受信方法である。
【００３８】
上述した課題を解決するために、本発明は、映像送信装置が、２次元で表現されるＬ（Ｌ≧２）個の面について、それぞれの面上で定義される基準位置に対するＮｋ（１≦ｋ≦Ｌ）個の部分的な領域映像の座標位置である全ての領域映像位置情報を送信する領域映像位置情報送信ステップと、前記映像送信装置が、全ての領域映像の映像ストリームと各映像ストリームを区別するストリームＩＤとを多重化した１つのストリームから、Ｍ個のａ１からａｍ番目の映像ストリームと対応するストリームＩＤとを多重化した１つのストリームを抽出して送信するストリーム送信ステップと、映像受信装置が、全ての領域映像位置情報を受信する領域映像位置情報受信ステップと、前記映像受信装置が、前記Ｍ個のａ１からａｍ番目のストリームを受信するストリーム受信ステップと、前記映像受信装置が、出力画像を切り出す面ｃ（１≦ｃ≦Ｌ）における、前記基準位置に対する出力画像の座標位置と前記領域映像位置情報とに基づいて、前記出力画像の画素数が最も多く得られるようにｉ番目（ｉはａ１からａｍのいずれか）の映像ストリームを読み出すことを決定する読み出し決定ステップと、前記映像受信装置が、符号化データ中のストリームＩＤに基づいて、前記読み出し決定ステップで決定された前記ｉ番目の映像ストリームを探索して読み出す探索読み出しステップと、前記映像受信装置が、前記探索読み出しステップで読み出された前記ｉ番目の映像ストリームを復号する復号ステップと、前記映像受信装置が、前記復号ステップで得られる復号画像の一部を切り出して出力する画像切り出しステップと、前記映像受信装置が、前記ｉ番目の映像ストリームの領域映像位置情報を用いて、前記基準位置に対する出力画像の座標位置が同一になるように、前記画像切り出しステップでの切り出し位置を決定する切り出し位置決定ステップと、前記映像受信装置が、次の出力画像を切り出す１つ以上の面ｄ（１≦ｄ≦Ｌ）を指定する出力画像面指定ステップと、前記映像受信装置が、次の出力画像の座標位置を指定する出力画像座標指定ステップと、前記映像受信装置が、前記出力画像面指定ステップで指定した面ｄにおける、前記基準位置に対する次の出力画像の座標位置と前記領域映像位置情報とに基づいて、次の出力画像の画素数が多く得られるように、Ｍ個のｂ１からｂｍ番目の映像ストリームの送信を要求することを決定する送信要求決定ステップと、前記映像受信装置が、前記送信要求決定ステップで決定された前記ｂ１からｂｍ番目の映像ストリームの送信を、前記映像送信装置に要求する送信要求部とを含むことを特徴とする映像送受信方法である。
【００３９】
上述した課題を解決するために、本発明は、映像送信装置が、２次元で表現されるＬ（Ｌ≧２）個の面について、それぞれの面上で定義される基準位置に対するＮｋ（１≦ｋ≦Ｌ）個の部分的な領域映像の座標位置である全ての領域映像位置情報を送信する領域映像位置情報送信ステップと、前記映像送信装置が、１つ以上の面ｃ（１≦ｃ≦Ｌ）における元映像の一部の画像情報からｉ番目（１≦ｉ≦Ｎｃ）の領域映像を符号化して映像ストリームを送信するストリーム送信ステップと、映像受信装置が、全ての領域映像位置情報を受信する領域映像位置情報受信ステップと、前記映像受信装置が、前記ｉ番目の映像ストリームを受信するストリーム受信ステップと、前記映像受信装置が、前記ストリーム受信ステップで受信された前記ｉ番目の映像ストリームを読み出す読み出しステップと、前記映像受信装置が、前記読み出しステップで読み出した前記ｉ番目の映像ストリームを復号する復号ステップと、前記映像受信装置が、前記復号ステップで得られる復号画像の一部を切り出して出力する画像切り出しステップと、前記映像受信装置が、前記ｉ番目の映像ストリームの領域映像位置情報を用いて、前記基準位置に対する出力画像の座標位置が同一になるように、前記画像切り出しステップでの切り出し位置を決定する切り出し位置決定ステップと、前記映像受信装置が、次の出力画像を切り出す面ｄ（１≦ｄ≦Ｌ）を指定する出力画像面指定ステップと、前記映像受信装置が、次の出力画像の座標位置を指定する出力画像座標指定ステップと、前記映像受信装置が、前記出力画像面指定ステップで指定した面ｄにおける、前記基準位置に対する次の出力画像の座標位置と前記領域映像位置情報とに基づいて、次の出力画像の画素数が最も多く得られるようにｊ番目（１≦ｊ≦Ｎｄ）の映像ストリームの送信を要求することを決定する送信要求決定ステップと、前記映像受信装置が、前記送信要求決定ステップで決定された前記ｊ番目の映像ストリームの送信を、前記映像送信装置に要求する送信要求ステップとを含むことを特徴とする映像送受信方法である。
【００４０】
上述した課題を解決するために、本発明は、映像送信装置が、２次元で表現されるＬ（Ｌ≧２）個の面について、それぞれの面上で定義される基準位置に対するＮｋ（１≦ｋ≦Ｌ）個の部分的な領域映像の座標位置である全ての領域映像位置情報を送信する領域映像位置情報送信ステップと、前記映像送信装置が、１つ以上の面ｃ（１≦ｃ≦Ｌ）における元映像の一部の画像情報からＭ個のａ１からａｍ番目の領域映像を符号化して得られる映像ストリームと対応するストリームＩＤとを多重化して送信するストリーム送信ステップと、映像受信装置が、全ての領域映像位置情報を受信する領域映像位置情報受信ステップと、前記映像受信装置が、前記Ｍ個のａ１からａｍ番目のストリームを受信するストリーム受信ステップと、前記映像受信装置が、出力画像を切り出す面ｃ（１≦ｃ≦Ｌ）における、前記基準位置に対する出力画像の座標位置と前記領域映像位置情報とに基づいて、出力画像の画素数が最も多く得られるようにｉ番目（ｉはａ１からａｍのいずれか）の映像ストリームを読み出すことを決定する読み出し決定ステップと、前記映像受信装置が、符号化データ中のストリームＩＤに基づいて、前記読み出し決定ステップで決定された前記ｉ番目の映像ストリームを探索して読み出す探索読み出しステップと、前記映像受信装置が、前記探索読み出しステップで読み出された前記ｉ番目の映像ストリームを復号する復号ステップと、前記映像受信装置が、前記復号ステップで得られる復号画像の一部を切り出して出力する画像切り出しステップと、前記映像受信装置が、前記ｉ番目の映像ストリームの領域映像位置情報を用いて、前記基準位置に対する出力画像の座標位置が同一になるように、前記画像切り出しステップでの切り出し位置を決定する切り出し位置決定ステップと、前記映像受信装置が、次の出力画像を切り出す１つ以上の面ｄ（１≦ｄ≦Ｌ）を指定する出力画像面指定ステップと、前記映像受信装置が、次の出力画像の座標位置を指定する出力画像座標指定ステップと、前記映像受信装置が、前記出力画像面指定ステップで指定した面ｄにおける、前記基準位置に対する次の出力画像の座標位置と前記領域映像位置情報とに基づいて、次の出力画像の画素数が多く得られるように、Ｍ個のｂ１からｂｍ番目の映像ストリームの送信を要求することを決定する送信要求決定ステップと、前記映像受信装置が、前記送信要求決定ステップで決定された前記ｂ１からｂｍ番目の映像ストリームの送信を、前記映像送信装置に要求する送信要求ステップとを含むことを特徴とする映像送受信方法である。
【発明の効果】
【００４１】
この発明によれば、映像の一部の領域のみを視聴する際に、演算処理能力が低く映像ストリームを１つしか復号できない計算機で視聴する場合であっても、ユーザが指定した出力画像の位置に対して表示する画素数が最も多くなるように、映像ストリームを復号することができる。
【図面の簡単な説明】
【００４２】
【図１】本第１実施形態による映像復号装置の構成を示すブロック図である。
【図２】本第１実施形態で用いる、領域映像と出力画像との位置関係の一例を示す概念図である。
【図３】本第２実施形態で用いる、多重化された符号化データの形式を示す概念図である。
【図４】本第２実施形態による映像復号装置の構成を示すブロック図である。
【図５】本第３実施形態による映像送信装置の構成を示すブロック図である。
【図６】本第３実施形態による映像受信装置の構成を示すブロック図である。
【図７】本第３実施形態の変形例による映像送信装置の構成示すブロック図である。
【図８】本第４実施形態による映像送信装置の構成を示すブロック図である。
【図９】本第４実施形態による映像受信装置の構成を示すブロック図である。
【図１０】本第５実施形態による映像復号装置の構成を示すブロック図である。
【図１１】本第５実施形態における、領域映像と出力画像との位置関係の一例を示す概念図である。
【図１２】本第６実施形態で用いる、多重化された符号化データの形式を示す概念図である。
【図１３】本第６実施形態による映像復号装置の構成を示すブロック図である。
【図１４】本第７実施形態による映像送信装置の構成を示すブロック図である。
【図１５】本第７実施形態による映像受信装置の構成を示すブロック図である。
【図１６】本第８実施形態による映像受信装置の構成を示すブロック図である。
【図１７】本第８実施形態で用いる、領域映像と出力画像との位置関係の一例を示す概念図である。
【図１８】従来のタイル構成と出力画像との位置関係の例を示す概念図である。
【図１９】色信号と奥行き情報とから別の視点の映像を生成する手法の例を示す概念図である。
【発明を実施するための形態】
【００４３】
以下、本発明の一実施形態を、図面を参照して説明する。
本発明は、複数の領域映像から出力画像の映像ストリームを取りだして復号する技術に関する。本発明の特徴は、入力となる複数の領域映像を従来のタイル分割形式としないことにより、映像ストリームを１つしか復号できないような処理能力の低い計算機でも、ユーザの指定する出力画像位置に対して表示する画素数が最も多くなる形で視聴することを可能にするものである。
【００４４】
Ａ．第１実施形態
第１実施形態では、２次元面に対して３個（Ａ，Ｂ，Ｃ）の領域映像のストリームで構成される映像情報の符号化データのうち、１個のストリームを復号して画像情報を得る映像復号装置の例について説明する。
【００４５】
図１は、本第１実施形態による映像復号装置の構成を示すブロック図である。図３において、映像復号装置１０は、領域映像ストリーム切換部１００と、読み出し部１０１と、読み出し決定部１０２と、復号部１０３と、画像切り出し部１０４と、切り出し位置決定部１０５とからなる。領域映像ストリーム切換部１００は、３つの領域映像ストリームＡ、Ｂ、Ｃのうち、１つの領域映像ストリームを選択する。読み出し部１０１は、読み出し決定部１０２により決定された１つの領域映像ストリームを、領域映像ストリーム切換部１００を介して読み出す。
【００４６】
読み出し決定部１０２は、出力画像座標位置、及び領域映像位置情報に基づいて、３つの領域映像ストリームＡ、Ｂ、Ｃのうち、読み出すべき、１つの領域映像ストリームを決定する。復号部１０３は、読み出し部１０１によって読み出された領域映像ストリームを復号する。画像切り出し部１０４は、切り出し位置決定部１０５で決定された切り出し位置に従って、復号された領域映像の一部を切り出して出力する。切り出し位置決定部１０５は、出力画像座標位置、及び領域映像位置情報に基づいて、符合された領域映像の切り出し位置を決定する。
【００４７】
図２は、本第１実施形態で用いる、領域映像と出力画像との位置関係の一例を示す概念図である。ここで、映像に対する領域映像の位置は、図２に示すように、領域映像Ａ、Ｂ、Ｃ間で重なりがあるように設定してもよい。このように重なりがあるようにしておくと、指定された出力画像の位置に対して、より多くの画素が含まれるような領域映像のストリームを選ぶことができる。また、３つの映像ストリーム、及び領域映像位置情報は、予め映像復号装置に与えられているものとする。
【００４８】
次に、本第１実施形態において、領域映像を復号して出力画像を取得する動作について説明する。まず、ユーザが出力画像の位置を設定したとする。読み出し決定部１０２は、２次元面上の出力画像座標位置と領域映像位置情報とに従って、各領域映像について出力画像の画素数が最も多くなる領域映像を、読み出すべき領域映像として判定する。図２に示す例の場合には、領域映像Ｂが最も多くなることから、読み出し決定部１０２は、領域映像Ｂを、読み出すべき領域映像ストリームとして決定する。
【００４９】
そして、読み出し部１０１は、読み出し決定部１０２で決定された、領域映像ストリームＢを読み出し、復号部１０３は、領域映像ストリームＢを復号して復号画像を取得する。切り出し位置決定部１０５は、出力画像座標位置と領域映像位置情報とに従って、復号画像の中から出力画像を切り出す位置を決定する。画像切り出し部１０４は、決定された切り出し位置に従って、復号画像から出力画像を切り出して出力する。
【００５０】
上述した第１実施形態によれば、映像に対してＮ個の領域映像を設定し、それらの映像ストリームを用意しておき、復号する際には、表示画素数が最も多くなるように映像ストリームを選んでから復号することができる。そして、領域映像の位置に合わせて画像を切り出して出力することができる。
【００５１】
Ｂ．第２実施形態
次に、本発明の第２実施形態について説明する。
本第２実施形態では、２次元面に対して、３つ（Ａ，Ｂ，Ｃ）の領域映像のストリームがストリームＩＤと多重化された符号化データから、特定の領域映像ストリームを読み出して画像情報を得ることを特徴とする。
【００５２】
図３は、本第２実施形態において用いられる、多重化された符号化データの形式を示す概念図である。各領域映像ストリームは、適当なところで複数に分割されており、その各分割されたストリームに対して、先頭にステータスコード（スタートコード情報）、及びストリームＩＤを付与して多重化されているものとする。ステータスコードは、固有の符号化列を持つ符号語であり、ストリームに対して符号語を探索することで、各分割されたストリームの位置を判定することができる。
【００５３】
図４は、本第２実施形態による映像復号装置の構成を示すブロック図である。なお、図１に対応する部分には同一の符号を付けて説明を省略する。探索読み出し部１０６は、読み出し決定部１０２によって決定された、読み出すべき領域映像に従って、多重化された符号化データから特定の領域映像のストリームを探索して読み出す。なお、面上における３つの領域映像の位置、及び出力画像の位置は、図２と同様な位置であるとする。また、符号化データ、及び領域映像位置情報は、予め映像復号装置に与えられているものとする。
【００５４】
次に、本第２実施形態において、領域映像を復号して出力画像を取得する動作について説明する。まず、ユーザが出力画像の位置を設定したとする。読み出し決定部１０２は、２次元面上の出力画像座標位置と領域映像位置情報とに従って、各領域映像について出力画像の画素数が最も多くなる領域映像を判定する。図２に示す例の場合には、領域映像Ｂが最も多くなることから、読み出し決定部１０２は、領域映像Ｂを、読み出すべき領域映像ストリームとして決定する。
【００５５】
そして、探索読み出し部１０６は、符号化データの中からステータスコードを探索し、続くストリームＩＤを読み込むことで、読み出し決定部１０２で決定された、領域映像ストリームＢの位置を判定し、領域映像ストリームＢを読み出す。復号部１０３は、領域映像ストリームＢを復号して復号画像を取得する。切り出し位置決定部１０５は、出力画像座標位置と領域映像位置情報とに従って、復号画像の中から出力画像を切り出す位置を決定する。画像切り出し部１０４は、決定された切り出し位置に従って、復号画像から出力画像を切り出して出力する。
【００５６】
上述した第２実施形態によれば、さらに、領域映像のストリームが多重化された形になっている場合に、領域映像のストリームを区別するＩＤを用いて、多重化された符号化データから所望の領域映像ストリームを指定して取り出すことができる。これにより、多重化されたストリームに対しても、出力画像の画素数が最も多くなるように領域映像を選んで復号することができる。
【００５７】
Ｃ．第３実施形態
次に、本発明の第３実施形態について説明する。
本第３実施形態では、映像送信装置で、２次元面に対して３つ（Ａ，Ｂ，Ｃ）の領域映像のストリームで構成される映像情報の符号化データのうち、映像受信装置から要求された１つのストリームを送信し、映像受信装置でストリームを復号して画像情報を得ることを特徴とする。
【００５８】
図５は、本第３実施形態による映像送信装置の構成を示すブロック図である。図５において、映像送信装置２０は、領域映像ストリーム切換部２００と、ストリーム送信部２０１と、領域映像位置情報送信部２０２とからなる。領域映像ストリーム切換部２００は、３つの領域映像ストリームＡ、Ｂ、Ｃのうち、１つの領域映像ストリームを選択する。ストリーム送信部２０１は、選択された１つの領域映像ストリームを送信する。領域映像位置情報送信部２０２は、領域映像位置情報を送信する。
【００５９】
図６は、本第３実施形態による映像受信装置の構成を示すブロック図である。図６において、映像受信装置３０は、領域映像位置情報受信部３０１、切り出し位置決定部３０２、ストリーム受信部３０３、読み出し部３０４、復号部３０５、画像切り出し部３０６、出力画像座標指定部３０７、送信要求決定部３０８、及び送信要求部３０９からなる。
【００６０】
領域映像位置情報受信部３０１は、領域映像位置情報を受信する。切り出し位置決定部３０２は、映像送信装置２０から送信されてくる出力画像座標位置に従って、切り出し位置を決定する。ストリーム受信部３０３は、映像送信装置２０から送信されてくるストリームを受信する。読み出し部３０４は、受信したストリームを読み出す。復号部３０５は、読み出したストリームを復号する。画像切り出し部３０６は、切り出し位置決定部３０２で決定された切り出し位置に従って、復号画像から一部を切り出して出力する。
【００６１】
出力画像座標指定部３０７は、映像送信装置２０から送信されてくる出力画像座標位置に従って、次の出力画像の座標位置を指定する。送信要求決定部３０８は、領域映像位置情報と次の出力画像の座標位置とに従って、要求する領域映像を決定する。送信要求部３０９は、決定された領域映像を要求する。
【００６２】
なお、面上における３つの領域映像の位置、及び出力画像の位置は、図２と同様な位置であるとする。また、映像送信装置２０において、３つの映像ストリーム、及び領域映像位置情報は、予め与えられているものとする。
【００６３】
また、領域映像を区別する情報として、領域映像ＩＤ（Ａ，Ｂ，Ｃのいずれか）があり、映像受信装置３０の送信要求部３０９では、領域映像ＩＤを送信し、映像送信装置２０のストリーム送信部２０１は、領域映像ＩＤを受信するものとする。また、映像送信装置２０のストリーム送信部２０１は、映像受信装置３０からの要求がきていない場合には、領域映像ストリームＡを送信するものとする。
【００６４】
次に、本第３実施形態において、領域映像のストリームを送受信して領域映像を復号して出力画像を取得する動作について説明する。まず、映像送信装置２０において、領域映像位置情報送信部２０２は、領域映像位置情報を送信する。映像受信装置３０において、領域映像位置情報受信部３０１は、映像送信装置２０から送信される領域映像位置情報を受信する。
【００６５】
次に、映像送信装置２０において、ストリーム送信部２０１は、映像受信装置３０からの要求がきていないので、領域映像ストリームＡを送信する。映像受信装置３０において、ストリーム受信部３０３は、映像送信装置２０からの領域映像ストリームＡを受信し、読み出し部３０４が受信した領域映像ストリームＡを読み出し、復号部３０５は、領域映像ストリームＡを復号して復号画像を取得する。
【００６６】
切り出し位置決定部３０２は、領域映像ストリームＡの座標位置、及び出力画像の座標位置に従って、復号画像の中から出力画像を切り出すための切り出し位置を決定する。画像切り出し部３０６は、決定された切り出し位置に従って、復号画像から出力画像を切り出して出力する。
【００６７】
出力画像座標位置指定部３０７は、次の出力画像の座標位置を指定する。送信要求決定部３０８は、次の出力画像の座標位置から領域映像ストリームＣ（図２の例の場合）を決定する。送信要求部３０９は、領域映像ストリームＣの領域映像ＩＤを送信する。
【００６８】
続いて、映像送信装置２０において、ストリーム送信部２０１は、領域映像ＩＤとして領域映像ストリームＣの領域映像ＩＤを受信するので、領域映像ストリームＣを送信する。映像受信装置３０において、ストリーム受信部３０３は、映像送信装置２０からのストリーム（この場合、領域映像ストリームＣ）を受信し、読み出し部３０４が受信したストリームを読み出し、復号部３０５は、ストリームを復号して復号画像を取得する。
【００６９】
切り出し位置決定部３０２は、領域映像ストリームＣの座標位置、及び出力画像の座標位置に従って、復号画像の中から出力画像を切り出す位置を決定する。画像切り出し部３０６は、決定された切り出し位置に従って、復号画像から出力画像を切り出して出力する。
【００７０】
以上の処理を出力画像の位置が指定される度に繰り返し実行する。
なお、映像送信装置２０は、予め映像ストリームを用意するのではなく、送信する際に領域映像を切り出して符号化し、得られたストリームを送信する方法でも良い。この場合の映像送信装置の構成を図７に示す。図７において、ストリーム増進部２０１ａは、送信する際に元映像２０３を読み出し、領域映像を切りだして符号化し、得られたストリームを送信する。この場合、映像送信装置側で領域映像ストリームを符号化した後に送信することができる。これにより、予め映像送信装置側で領域映像ストリームの符号化データを用意する必要はなく、映像受信側で必要な領域映像に対してのみ符号化して送信することができる。
【００７１】
上述した第３実施形態によれば、さらに、映像ストリームを送信する映像送信装置と、受信する映像受信装置とがあり、映像受信装置側で次に出力したい画像の画素数が最も多くなるように、映像送信装置にストリームの要求をすることができる。これにより、全ての領域映像を受信することなく、必要な領域映像のストリームのみを映像送信装置に要求することで、映像送信装置と映像受信装置との間の伝送量を減らすことができる。
【００７２】
Ｄ．第４実施形態
次に、本発明の第４実施形態について説明する。
本第４実施形態では、映像送信装置で、２次元面に対して３つ（Ａ，Ｂ，Ｃ）の領域映像のストリームがストリームＩＤと多重化された符号化データから、映像受信装置から要求された複数の領域映像のストリームを送信し、映像受信装置でストリームを復号して画像情報を得ることを特徴とする。
【００７３】
図８は、本第４実施形態による映像送信装置の構成を示すブロック図である。図８において、多重化された符号化データの形式は、図３に示す構成と同様である。映像送信装置２０ｂは、多重化された符号化データから特定の領域映像のストリームを探索して送信するストリーム送信部２０１ｂと、領域映像位置情報を送信する領域映像位置情報送信部２０２とを備えている。
【００７４】
図９は、本第４実施形態による映像受信装置の構成を示すブロック図である。なお、図６に対応する部分には同一の符号を付けて説明を省略する。図９において、読み出し決定部３１０は、出力画像座標位置と領域映像位置情報とに従って、読み出すストリームを決定する。探索読み出し部３１１は、受信したストリームから読み出し決定部３１０で決定したストリームを探索して読み出す。
【００７５】
なお、面上における３つの領域映像の位置、出力画像の位置、及び次の出力画像の位置は、図２と同様な位置であるとする。また、映像送信装置２０において、符号化データ、及び領域映像位置情報は、予め与えられているものとする。また、映像送信装置２０ｂのストリーム送信部２０１ｂは、映像受信装置３０ａからの要求がきていない場合には、領域映像ストリームＡとＢを送信するものとする。また、映像受信装置３０ａにおいて、送信要求決定部３０８は、出力画像の画素数が多い２つの領域映像を要求するように決定するものとする。
【００７６】
次に、本第４実施形態において、領域映像のストリームを送受信して領域映像を復号して出力画像を取得する動作について説明する。まず、映像送信装置２０ｂにおいて、領域映像位置情報送信部２０２は、領域映像位置情報を送信する。映像受信装置３０ａにおいて、領域映像位置情報受信部３０１は、映像送信装置２０ｂから送信される領域映像位置情報を受信する。
【００７７】
次に、映像送信装置２０ｂにおいて、ストリーム送信部２０１ｂは、映像受信装置３０ａからの要求がきていないので、領域映像ストリームＡ、Ｂを送信する。映像受信装置３０ａにおいて、ストリーム受信部３０３は、映像送信装置２０ｂからの領域映像ストリームＡ、Ｂを受信する。読み出し決定部３１０は、２次元面上の出力画像の座標位置と、領域映像位置情報とに従って、各領域映像について出力画像の画素数が最も多くなる領域映像を、読み出すべき領域映像ストリームとして決定する。図２に示す場合には、領域映像Ｂが最も多くなることから、領域映像Ｂを、読み出すべき領域映像ストリームとして決定する。
【００７８】
そして、探索読み出し部３１１は、符号化データの中からステータスコードを探索し、続くストリームＩＤ情報を読み込むことで、領域映像ストリームＢの位置を判定し、領域映像ストリームＢを読み出す。復号部３０５は、ストリーム（この場合、領域映像ストリームＢ）を復号して復号画像を取得する。切り出し位置決定部３０２は、領域映像ストリームＢの領域映像位置情報、及び出力画像の座標位置に従って、復号画像の中から出力画像を切り出すための切り出し位置を決定する。画像切り出し部３０６は、決定された切り出し位置に従って、復号画像から出力画像を切り出して出力する。
【００７９】
出力画像座標位置指定部３０７は、次の出力画像の座標位置を指定する。送信要求決定部３０８は、次の出力画像の座標位置から領域映像ストリームＢ、Ｃを決定する。送信要求部３０９は、領域映像ストリームＢ、Ｃの領域映像ＩＤを送信する。
【００８０】
続いて、映像送信装置２０ｂにおいて、ストリーム送信部２０１ｂは、ストリームＩＤとして領域映像ストリームＢ、Ｃの領域映像ＩＤを受信するので、領域映像ストリームＢ、Ｃを送信する。映像受信装置３０ａにおいて、ストリーム受信部３０３は、映像送信装置２０ｂからのストリーム（この場合、領域映像ストリームＢ、Ｃ）を受信し、読み出し決定部３１０は、出力画像の画素数が領域映像Ｃで最も多くなることから、領域映像Ｃを、読み出すべき領域映像ストリームとして決定する。
【００８１】
そして、探索読み出し部３１１は、符号化データの中からステータスコードを探索し、続くストリームＩＤを読み込むことで、領域映像ストリームＣの位置を判定し、領域映像ストリームＣを読み出す。復号部３０５は、ストリーム（この場合、領域映像ストリームＣ）を復号して復号画像を取得する。切り出し位置決定部３０２は，領域映像ストリームＣの領域映像位置情報、及び出力画像の座標位置に従って、復号画像の中から出力画像を切り出すための切り出し位置を決定する。画像切り出し部３０６は、決定された切り出し位置に従って、復号画像から出力画像を切り出して出力する。
【００８２】
以上の処理を出力画像の位置が指定される度に繰り返し実行する。
なお、映像受信装置３０ａが領域映像ストリームＢ、ＣのストリームＩＤを送信して、映像送信装置２０ｂから対応するストリームを受信するまでの間に、次の出力画像の位置が以前の出力画像と変わらない位置になる場合（従って、出力画像の位置が変化しない場合）には、映像受信装置３０ａは、ストリーム受信部３０３が受信したストリームについて、読み出し決定部３１０は、出力画像の画素数が領域映像Ｂで最も多くなることから、領域映像Ｂを、読み出すべきストリームと決定し、探索読み出し部３１１は、領域映像Ｂストリームを読み出し、復号部３０５は、該ストリームを復号して復号画像を取得する。切り出し位置決定部３０２は、領域映像ストリームＢの座標位置、及び出力画像の座標位置に従って、復号画像の中から出力画像を切り出すための切り出し位置を決定する。画像切り出し部３０６は、決定された切り出し位置に従って、復号画像から出力画像を切り出して出力する。
【００８３】
なお、映像送信装置２０ｂは、予め映像ストリームを用意するのではなく、送信する際に領域映像を切り出して符号化し、得られたストリームを送信する方法でも良い。この場合、映像送信装置側で領域映像ストリームを符号化した後に送信することができる。これにより、予め映像送信装置側で領域映像ストリームの符号化データを用意する必要はなく、映像受信側で必要な領域映像に対してのみ符号化して送信することができる。
【００８４】
上述した第４実施形態によれば、映像送信装置から複数の領域映像ストリームを受信しておき、映像受信装置で出力画像の画素数が最も多くなるように領域映像を選んで復号できる。さらに、映像受信装置側で、次に出力したい画像の画素数が最も多くなるように、映像送信装置に複数のストリームを要求することができる。これにより、映像受信装置で、次の出力画像の位置を設定したときと、それに対する領域映像のストリームを受信したときの間に、通信遅延などの影響で時間の差があり、その間に出力画像の位置が変化した場合に、指定された出力画像の画素数が最も多くなるように複数の領域映像から選んで復号することができる。
【００８５】
Ｅ．第５実施形態
次に、本発明の第５実施形態について説明する。
本第５実施形態では、解像度Ｐの２次元面に対して３つ（Ａ，Ｂ，Ｃ）の領域映像のストリームと、解像度Ｑの２次元面に対して２つ（Ｄ，Ｅ）の領域映像のストリームとで構成される映像情報の符号化データのうち、１つのストリームを復号して画像情報を取得することを特徴とする。
【００８６】
図１０は、本第５実施形態による映像復号装置の構成を示すブロック図である。なお、図１に対応する部分には同一の符号を付けて説明を省略する。図１０において、領域映像ストリーム切換部１００ａは、３つの領域映像ストリームＡ、Ｂ、Ｃ（面Ｐ）と、２つの領域映像ストリームＤ、Ｅ（面Ｑ）との合計５つの領域映像ストリームＡ〜Ｅから、１つの領域映像ストリームを選択する。読み出し決定部１０２ａは、出力画像座標位置、及び領域映像位置情報、並びに、指定された出力画像解像度に従って、５つの領域映像ストリームＡ〜Ｅの中から、読み出すべき１つの領域映像ストリームを決定する。
【００８７】
なお、解像度Ｐ、Ｑの面上における各領域映像の位置、及び出力画像の位置は、図１１に示すような位置とする。また、出力画像の位置は、解像度Ｐの面上で設定されるものとする。また、全ての映像ストリーム、及び領域映像位置情報は、予め映像復号装置１０ｂに与えられているものとする。
【００８８】
次に、本第５実施形態において、領域映像を復号して出力画像を取得する動作について説明する。まず、ユーザが出力画像の解像度Ｐ、及び位置を設定したとする。読み出し決定部１０２ａは、解像度Ｐの面上の出力画像座標位置と、領域映像位置情報とに従って、各領域映像について出力画像の画素数が最も多くなる領域映像を、読み出すべき領域映像として判定する。図１１に示す場合には、解像度Ｐの面上では、領域映像Ｂが最も多くなることから、領域映像Ｂを、読み出すべき領域映像ストリームとして決定する。
【００８９】
そして、読み出し部１０１は、読み出し決定部１０２ａで決定された、領域映像ストリームＢを読み出し、復号部１０３は、ストリームを復号して復号画像を取得する。切り出し位置決定部１０５は、領域映像ストリームＢの出力画像座標位置、及び領域映像位置情報に従って、復号画像の中から出力画像を切り出す位置を決定する。画像切り出し部１０４は、決定された切り出し位置に従って、復号画像から出力画像を切り出して出力する。
【００９０】
なお、本第５実施形態は、解像度の異なる２つの面で領域映像を定義したが、空間的な位置が離れた２つの面で領域映像を定義しても良い。この場合の動作も本第５実施形態と同様な手順でよい。
【００９１】
上述した第５実施形態によれば、例えば、大きく離れた空間位置について、複数の元映像を設定し、それに領域映像を設定することで、出力画像の空間的な位置に対応した元映像を選んだ上で領域映像を選んで復号することができる。あるいは、元映像として複数の解像度の映像を用意しておき、それらに対して領域映像を設定することで、出力画像の解像度に対応した領域映像を選んで復号することができる。これにより、出力画像の解像度も選択することが可能となる。
【００９２】
Ｆ．第６実施形態
次に、本発明の第６実施形態について説明する。
本第６実施形態では、解像度Ｐの２次元面に対して３つ（Ａ，Ｂ，Ｃ）の領域映像のストリームと、解像度Ｑの２次元面に対して２つ（Ｄ，Ｅ）の領域映像のストリームとが、ストリームＩＤと多重化された符号化データから、特定の領域映像のストリームを読み出して画像情報を得ることを特徴とする。
【００９３】
図１２は、本第６実施形態において用いられる、多重化された符号化データの形式を示す概念図である。各領域映像のストリームは、適当なところで複数に分割されており、その各分割されたストリームに対して、先頭にスタートコード、及びストリームＩＤを付与して多重化されているものとする。スタートコードは、固有の符号化列を持つ符号語であり、ストリームに対して符号語を探索することで、各分割されたストリームの位置を判定することができる。
【００９４】
図１３は、本第６実施形態による映像復号装置の構成を示すブロック図である。なお、図１、図４、図１０に対応する部分には同一の符号を付けている。読み出し決定部１０２ａは、出力画像座標位置、及び領域映像位置情報、並びに、出力画像解像度に従って、読み出す領域映像を決定する。探索読み出し部１０６は、決定された領域映像に従って、多重化された符号化データから特定の領域映像のストリームを探索して読み出す。
【００９５】
なお、解像度Ｐ、Ｑの面上における各領域映像の位置、及び出力画像の位置は、図１１と同様な位置とする。また、出力画像の位置は、解像度Ｐの面上で設定されるものとする。また、全ての映像ストリーム、及び領域映像位置情報は、予め映像復号装置１０ｃに与えられているものとする。
【００９６】
次に、本第６実施形態において、領域映像を復号して出力画像を取得する動作について説明する。まず、ユーザが出力画像の解像度Ｐ、及び位置を設定したとする。読み出し決定部１０２ａは、解像度Ｐの面上の出力画像座標位置と、領域映像位置情報とに従って、各領域映像について出力画像の画素数が最も多くなる領域映像を、読み出すべき領域映像として判定する。図１１に示す場合には、解像度Ｐの面上では、領域映像Ｂが最も多くなることから、領域映像Ｂを、読み出すべき領域映像ストリームとして決定する。
【００９７】
そして、探索読み出し部１０６は、符号化データの中からステータスコードを探索し、続くストリームＩＤを読み込むことで、読み出し決定部１０２ａで決定された、領域映像ストリームＢの位置を判定し、領域映像ストリームＢを読み出す。復号部１０３は、領域映像ストリームＢを復号して復号画像を取得する。
【００９８】
切り出し位置決定部１０５は、領域映像ストリームＢの出力画像座標位置と領域映像位置情報とに従って、復号画像の中から出力画像を切り出す位置を決定する。画像切り出し部１０４は、決定された切り出し位置に従って、復号画像から出力画像を切り出して出力する。
【００９９】
なお、本第６実施形態は、解像度の異なる２つの面で領域映像を定義したが、空間的な位置が離れた２つの面で領域映像を定義しても良い。この場合の動作も本第６実施形態と同様な手順でよい。
【０１００】
上述した第６実施形態によれば、例えば、大きく離れた空間位置について、複数の元映像を設定し、それに領域映像を設定することで、出力画像の空間的な位置に対応した元映像を選んだ上で領域映像を選んで復号することができる。あるいは、元映像として複数の解像度の映像を用意しておき、それらに対して領域映像を設定することで、出力画像の解像度に対応した領域映像を選んで復号することができる。これにより、出力画像の解像度も選択することが可能となる。
【０１０１】
Ｇ．第７実施形態
次に、本発明の第７実施形態について説明する。
本第７実施形態では、映像送信装置で、解像度Ｐの２次元面に対して３つ（Ａ，Ｂ，Ｃ）の領域映像のストリームと、解像度Ｑの２次元面に対して２つ（Ｄ，Ｅ）の領域映像のストリームとで構成される映像情報の符号化データのうち、映像受信装置から要求された１つのストリームを送信し、映像受信装置でストリームを復号して画像情報を取得することを特徴とする。
【０１０２】
図１４は、本第７実施形態による映像送信装置の構成を示すブロック図である。なお、図５、図７、図８に対応する部分には同一の符号を付けて説明を省略する。領域映像ストリーム切換部２００ａは、３つの領域映像ストリームＡ、Ｂ、Ｃ（面Ｐ）と、２つの領域映像ストリームＤ、Ｅ（面Ｑ）との合計５つの領域映像ストリームＡ〜Ｅから、１つの領域映像ストリームを選択する。
【０１０３】
図１５は、本第７実施形態による映像受信装置の構成を示すブロック図である。なお、図６、図９に対応する部分には同一の符号を付けて説明を省略する。出力画像面指定部３１２は、次の出力画像の解像度を指定する。出力画像座標指定部３０７ａは、出力画像座標位置と、指定される次の出力画像の解像度とに従って、次の出力画像の座標位置を指定する。送信要求決定部３０８ａは、領域映像位置情報と次の出力画像の解像度と座標位置とから要求する領域映像を決定する。
【０１０４】
なお、解像度Ｐ、Ｑの面上における各領域映像の位置、及び出力画像の位置は、図１１と同様な位置とする。また、出力画像の位置は、解像度Ｐの面上で、次の出力画像の位置は、解像度Ｑの面上で設定されるものとする。また、全ての映像ストリーム、及び領域映像位置情報は、予め映像送信装置２０ｃに与えられているものとする。
【０１０５】
また、領域映像位置情報は、解像度毎に異なる基準位置に対しての位置情報であり、解像度の情報と位置情報とからなる。また、領域映像を区別する情報として、領域映像ＩＤ（Ａ，Ｂ，Ｃ，Ｄ，Ｅのいずれか）がある。映像受信装置３０ｂの送信要求部３０９では、領域映像ＩＤを送信し、映像送信装置２０ｃのストリーム送信部２０１は、送信される領域映像ＩＤを受信する。また、映像送信装置２０ｃのストリーム送信部２０１は、映像受信装置３０ｂからの要求がきていない場合には、解像度Ｐの領域映像ストリームＡを送信するものとする。
【０１０６】
次に、本第７実施形態において、領域映像のストリームを送受信して領域映像を復号して出力画像を取得する動作について説明する。まず、映像送信装置２０ｃにおいて、領域映像位置情報送信部２０２は、領域映像位置情報を送信する。映像受信装置３０ｂにおいて、領域映像位置情報受信部３０１は、映像送信装置２０ｃから送信される領域映像位置情報を受信する。
【０１０７】
次に、映像送信装置２０ｃにおいて、ストリーム送信部２０１は、映像受信装置３０ｂからの要求がきていないので、解像度Ｐの領域映像ストリームＡを送信する。映像受信装置３０ｂにおいて、ストリーム受信部３０３は、映像送信装置２０ｃからの領域映像ストリームＡを受信し、読み出し部３０４が受信した領域映像ストリームＡを読み出し、復号部３０５は、領域映像ストリームＡを復号して復号画像を取得する。
【０１０８】
切り出し位置決定部３０２は、解像度Ｐの領域映像ストリームＡの座標位置、及び出力画像の座標位置に従って、復号画像の中から出力画像を切り出すための切り出し位置を決定する。画像切り出し部３０６は、決定された切り出し位置に従って、復号画像から出力画像を切り出して出力する。
【０１０９】
出力画像面指定部３１２は、次の出力画像の解像度Ｑを指定する。出力画像座標位置指定部３０７ａは、次の出力画像の座標位置を指定する。送信要求決定部３０８は、次の出力画像の座標位置から領域映像Ｅを決定する（図１１の面Ｑを参照）。送信要求部３０９は、領域映像Ｅの領域映像ＩＤを送信する。
【０１１０】
続いて、映像送信装置２０ｃにおいて、ストリーム送信部２０１は、領域映像ＩＤとして領域映像Ｅの領域映像ＩＤを受信するので、解像度Ｑの領域映像ストリームＥを送信する。映像受信装置３０ｂにおいて、ストリーム受信部３０３は、映像送信装置２０ｃからのストリームを受信し、読み出し部３０４が受信したストリームを読み出し、復号部３０５は、ストリームを復号して復号画像を得る。
【０１１１】
切り出し位置決定部３０２は、解像度Ｑの領域映像ストリームＥの座標位置、及び出力画像の座標位置に従って、復号画像の中から出力画像を切り出すための切り出し位置を決定する。画像切り出し部３０６は、決定された切り出し位置に従って、復号画像から出力画像を切り出して出力する。
【０１１２】
以上の処理を出力画像の位置が指定される度に繰り返し実行する。
なお、映像送信装置２０ｃは、予め映像ストリームを用意するのではなく、送信する際に領域映像を切り出して符号化し、得られたストリームを送信する方法でも良い。また、本第７実施形態は、解像度の異なる２つの面で領域映像を定義したが、空間的な位置が離れた二つの面で領域映像を定義しても良い。この場合の動作も本第７実施形態と同様な手順でよい。
【０１１３】
上述した第７実施形態によれば、映像送信装置側で、例えば、大きく離れた空間位置について、複数の元映像を設定し、それに領域映像を設定することで、映像受信装置において、出力画像の空間的な位置に対応した元映像を選んだ上で領域映像を選んで復号することができる。あるいは、映像送信装置側で、元映像として複数の解像度の映像を用意しておき、それらに対して領域映像を設定することで、映像受信装置において、出力画像の解像度に対応した領域映像を選んで復号することができる。これにより、出力画像の解像度も選択することが可能となる。
【０１１４】
Ｈ．第８実施形態
次に、本発明の第８実施形態について説明する。
本第８実施形態では、映像送信装置で、解像度Ｐの２次元面に対して３つ（Ａ，Ｂ，Ｃ）の領域映像のストリームと、解像度Ｑの２次元面に対して２つ（Ｄ，Ｅ）の領域映像のストリームとが、ストリームＩＤと多重化された符号化データから、映像受信装置から要求された複数の領域映像のストリームを送信し、映像受信装置でストリームを復号して画像情報を得ることを特徴とする。
【０１１５】
本第８実施形態において、映像送信装置の構成は、図８と同様な構成である。すなわち、映像送信装置２０ｂは、多重化された符号化データから特定の領域映像のストリームを探索して送信するストリーム送信部２０１ｂと、領域映像位置情報を送信する領域映像位置情報送信部２０２とを備えている。なお、本第８実施形態で用いられる、多重化された符号化データの形式は、図１２と同様である．
【０１１６】
図１６は、本第８実施形態による映像受信装置の構成を示すブロック図である。なお、図９、図１５に対応する部分には同一の符号を付けている。図１６において、映像受信装置３０ｃは、領域映像位置情報を受信する領域映像位置情報受信部３０１と、切り出し位置を決定する切り出し位置決定部３０２と、ストリームを受信するストリーム受信部３０３と、読み出すストリームを決定する読み出し決定部３１０と、受信したストリームから読み出し決定部３１０で決定したストリームを探索して読み出す探索読み出し部３１１と、ストリームを復号する復号部３０５と、復号画像から一部を切り出して出力する画像切り出し部３０６と、次の出力画像の解像度を指定する出力画像面指定部３１２と、次の出力画像の座標位置を指定する出力画像座標指定部３０７ａと、領域映像位置情報と次の出力画像の解像度と座標位置とから要求する領域映像を決定する送信要求決定部３０８と、領域映像を要求する送信要求部３０９とからなる。
【０１１７】
なお、解像度Ｐ、Ｑの面上における各領域映像の位置、及び出力画像の位置は、図１１に示すような位置とする。また、出力画像の位置は、解像度Ｐの面上で、次の出力画像の位置は解像度Ｑの面上で設定されるものとする。また、映像送信装置２０ｂには、符号化データ、及び領域映像位置情報が予め与えられているものとする。
【０１１８】
また、領域映像位置情報は、解像度毎に異なる基準位置に対しての位置情報であり、解像度の情報と位置情報とからなる。また、映像送信装置２０ｂのストリーム送信部２０１ｂは、映像受信装置３０ｃからの要求がきていない場合には、解像度Ｐの領域映像ストリームＡ、Ｂを送信するものとする。また、映像受信装置３０ｃにおいて、送信要求決定部３０８は、出力画像の画素数が多い２つの領域映像を次の領域映像として要求するように決定するものとする。
【０１１９】
次に、本第８実施形態において、領域映像のストリームを送受信して領域映像を復号して出力画像を取得する動作について説明する。まず、映像送信装置２０ｂにおいて、領域映像位置情報送信部２０２は、領域映像位置情報を送信する。映像受信装置３０ｃにおいて、領域映像位置情報受信部３０１は、映像送信装置２０ｂから送信される領域映像位置情報を受信する。
【０１２０】
次に、映像送信装置２０ｂにおいて、ストリーム送信部２０１ｂは、映像受信装置３０ｃからの要求がきていないので、解像度Ｐの領域映像ストリームＡ、Ｂを送信する。映像受信装置３０ｃにおいて、ストリーム受信部３０３は、映像送信装置２０ｂからの領域映像ストリームＡ、Ｂを受信する。読み出し決定部３１０は、解像度Ｐの出力画像の座標位置と、領域映像位置情報とに従って、各領域映像について出力画像の画素数が最も多くなる領域映像を、読み出すべき領域映像ストリームとして決定する。図１１に示す場合には、領域映像Ｂが最も多くなることから、領域映像Ｂを、読み出すべき領域映像ストリームとして決定する。
【０１２１】
そして、探索読み出し部３１１は、符号化データの中からステータスコードを探索し、続くストリームＩＤ情報を読み込むことで、領域映像ストリームＢの位置を判定し、領域映像ストリームＢを読み出す。復号部３０５は、ストリーム（この場合、領域映像ストリームＢ）を復号して復号画像を取得する。切り出し位置決定部３０２は、領域映像ストリームＢの領域映像位置情報、及び出力画像の座標位置に従って、復号画像の中から出力画像を切り出すための切り出し位置を決定する。画像切り出し部３０６は、決定された切り出し位置に従って、復号画像から出力画像を切り出して出力する。
【０１２２】
出力画像面指定部３１２は、次の出力画像の解像度Ｑを指定する。出力画像座標位置指定部３０７ａは、次の出力画像の座標位置を指定する。送信要求決定部３０８は、次の出力画像の座標位置から領域映像Ｄ、Ｅを決定する。送信要求部３０９は、領域映像Ｄ、ＥのストリームＩＤを送信する。
【０１２３】
続いて、映像送信装置２０ｂにおいて、ストリーム送信部２０１ｂは、ストリームＩＤとして領域映像Ｄ、ＥのストリームＩＤを受信するので、領域映像ストリームＤ、Ｅを送信する。映像受信装置３０ｃにおいて、ストリーム受信部３０３は、映像送信装置２０ｂからのストリーム（この場合、領域映像ストリームＤ、Ｅ）を受信し、読み出し決定部３１０は、解像度Ｑにおいて出力画像の画素数が領域映像Ｅで最も多くなることから、領域映像Ｅを、読み出すべき領域映像ストリームとして決定する。
【０１２４】
そして、探索読み出し部３１１は、符号化データの中からステータスコードを探索し、続くストリームＩＤを読み込むことで、領域映像ストリームＥの位置を判定し、領域映像ストリームＥを読み出す。復号部３０５は、ストリーム（この場合、領域映像ストリームＥ）を復号して復号画像を取得する。切り出し位置決定部３０２は，領域映像ストリームＥの領域映像位置情報、及び出力画像の座標位置に従って、復号画像の中から出力画像を切り出すための切り出し位置を決定する。画像切り出し部３０６は、決定された切り出し位置に従って、復号画像から出力画像を切り出して出力する。以上の処理を出力画像の位置が指定される度に繰り返し実行する。
【０１２５】
上述した第８実施形態によれば、映像送信装置から複数の領域映像ストリームを受信しておき、映像受信装置で出力画像の画素数が最も多くなるように領域映像を選んで復号することができる。このとき、異なる面の映像の領域映像のストリームを受信することもできる。この場合には、出力画像を切り出す位置に近い面の領域映像を選んで復号することができる。例えば、このとき、異なる解像度の映像の領域映像のストリームを受信することもできる。この場合には、出力画像の解像度を選びつつ、領域映像を選んで復号することができる。
【０１２６】
なお、本第８実施形態では、解像度の異なる２つの面で領域映像を定義したが、空間的な位置が離れた２つの面で領域映像を定義しても良い。この場合の動作も本第８実施形態と同様な手順でよい。
【０１２７】
また、映像受信装置３０ｃにおいて、送信要求決定部３０８は、複数の解像度の領域映像を要求するように決定しても良い。例えば、２つの解像度について、それぞれ出力画像の画素数が最も多い領域映像を要求するように決定してもよい。この方法によれば、領域映像を要求してからストリームを受信するまでの間に、次の出力画像の解像度が変わらなかった場合であっても、出力画像を得ることができる。
【０１２８】
図１７は、本第８実施形態で用いる、領域映像と出力画像との位置関係の一例を示す概念図である。次の出力画像については、解像度ＰとＱのそれぞれに設定する。この場合の、次の出力画像の解像度を指定する処理以後の手順について説明する。映像受信装置３０ｃにおいて、出力画像面指定部３１２は、次の出力画像の解像度ＰとＱを指定する。出力画像座標位置指定部３０７ａは、それぞれの解像度について次の出力画像の座標位置を指定する。送信要求決定部３０８は、次の出力画像の座標位置から領域映像Ｃ、Ｅを決定する。送信要求部３０９は、領域映像ＣとＥのストリームＩＤを送信する。
【０１２９】
続いて映像送信装置２０ｂにおいて、ストリーム送信部２０１ｂは、領域映像ＣとＥのストリームＩＤを受信するので、領域映像ストリームＣとＥのを送信する。映像受信装置３０ｃにおいて、ストリーム受信部３０３は、映像送信装置２０ｂからのストリーム（この場合、領域映像ストリームＣとＥ）を受信する。
【０１３０】
このとき、出力画像の解像度がＰの場合には、読み出し決定部３１０は、出力画像の画素数が領域映像Ｃで最も多くなることから、領域映像Ｃを、読み出すべきストリームとして決定する。そして、探索読み出し部３１１は、符号化データの中からステータスコードを探索し、続くストリームＩＤを読み込むことで、領域映像ストリームＣの位置を判定し、領域映像ストリームＣを読み出す。
【０１３１】
復号部３０５は、ストリームを復号して復号画像を取得する。切り出し位置決定部３０２は、領域映像Ｃの座標位置、及び出力画像の座標位置に従って、復号画像の中から出力画像を切り出すための切り出し位置を決定する。画像切り出し部３０６は、決定された切り出し位置に従って、復号画像から出力画像を切り出して出力する。
【０１３２】
また、出力画像の解像度がＱの場合には、読み出し決定部３１０は、出力画像の画素数が領域映像Ｅで最も多くなることから、領域映像Ｅを、読み出すべきストリームとして決定する。そして、同様にして領域映像ストリームＥを復号して画像を切り出して出力する。以上の処理を出力画像の位置が指定される度に繰り返し実行する。
【０１３３】
なお、映像送信装置２０ｂは、予め映像ストリームを用意するのではなく、送信する際に領域映像を切り出して符号化し、得られたストリームを送信する方法でも良い。この場合、映像送信装置側で領域映像ストリームを符号化した後に送信することができる。これにより、予め映像送信装置側で領域映像ストリームの符号化データを用意する必要はなく、映像受信装置側で必要な領域映像に対してのみ符号化して送信することができる。
【０１３４】
なお、本発明によれば、画像情報として、色信号だけではなく、透明度情報や、奥行き情報などのグレースケール画像として扱える情報も一緒に扱ってもよい。この場合には、映像ストリームには、色信号だけではなく、透明度情報や、奥行き情報も含まれており、復号部３０５は色信号だけではなく、透明度情報や、奥行き情報も復号して得る。そして、画像切り出し部３０６から切り出して得られる画像情報にも透明度情報や、奥行き情報が含まれる。本発明の映像復号装置あるいは映像受信装置で得られる画像情報の色信号と、透明度情報や、奥行き情報から色信号を加工してから表示をしても良い。例えば、奥行き情報を持つ場合には、立体映像として表示する、あるいは別の視点からの映像として表示するようにしても良い。
【符号の説明】
【０１３５】
１０、１０ａ、１０ｂ、１０ｃ 映像復号装置
１００、１００ａ 領域映像ストリーム切換部
１０１ 読み出し部
１０２、１０２ａ 読み出し決定部
１０３ 復号部
１０４ 画像切り出し部
１０５ 切り出し位置決定部
１０６ 探索読み出し部
２０、２０ａ、２０ｂ、２０ｃ 映像送信装置
２００、２００ａ 領域映像ストリーム切換部
２０１、２０１ａ、２０１ｂ ストリーム送信部
２０２ 領域映像位置情報送信部
２０３ 元映像
３０、３０ａ、３０ｂ、３０ｃ 映像受信装置
３０１ 領域映像位置情報受信部
３０２ 切り出し位置決定部
３０３ ストリーム受信部
３０４ 読み出し部
３０５ 復号部
３０６ 画像切り出し部
３０７、３０７ａ 出力画像座標指定部
３０８ 送信要求決定部
３０９ 送信要求部
３１０ 読み出し決定部
３１１ 探索読み出し部
３１２ 出力画像面指定部
【技術分野】
【０００１】
本発明は、映像復号装置、映像送受信装置、映像復号方法、及び映像送受信方法に関する。
【背景技術】
【０００２】
ハイビジョンを超える非常に高い解像度の映像に対して、ハイビジョン解像度のディスプレイで、その一部の領域のみを表示する映像システムが研究されている。このようなシステムによれば、ユーザが視聴したい領域を指定し、その指定された領域の映像を十分な解像度で視聴することができる。
【０００３】
システムを実現するには、映像の圧縮伝送方式が重要であり、圧縮伝送方式としては、一般的には、高い解像度の映像を複数のタイル状に分割して、個々のタイル映像を圧縮符号化しておき、映像再生時には、一部のタイル映像のストリームを復号して表示する方式が研究されている。
【０００４】
例えば、非特許文献１によれば、パノラマ映像を同じ大きさのタイルに分割し、１つのタイルを１つのカメラ映像とみなして圧縮し、それらのストリームを多重化しておき、再生する際には、いくつか複数のタイルを選択して復号し、復号したタイルから構成される映像の一部を切り出して表示する手法が提案されている。
【０００５】
例えば、非特許文献１では、図１８に示すように、９個のタイルを復号して、それらから１つの映像を構成し、その一部を切り出して出力・表示する例が示されている。この場合に、映像再生装置では、９個のタイル映像を得るために多重化された９個の映像ストリームを復号する必要がある。
【０００６】
このタイル数は、表示する領域の大きさに依存して変わる特徴がある。最大でデコードするタイル数を予め決めておけば、１個からその最大数までの範囲でダイナミックに変わり得る。このようなダイナミックにデコードするタイル数が変わることにも対応するため、同文献では、国際標準方式Ｈ．２６４ Ａｎｎｅｘ Ｈ（ＭＶＣ）を用いて多重化された映像ストリームを、部分的に復号する仕組みを利用している。一般的にも、複数のタイルを復号する必要があるため、複数のストリームを復号するためのデコード方式が必須であった。
【０００７】
このようなストリームを復号して表示する際には、同文献に記載の通り、複数タイルの一部を切り出して表示をするため、視聴する領域が上下左右に移動しても、復号したタイルの中であれば、表示する映像の端が切れてしまうことはない。また、タイルを超える位置になると、別のタイルの復号を開始するため、やはり表示する映像は無くなることはない。
【０００８】
以上のような処理により、高い解像度の映像の一部領域を、ユーザが自由に指定して表示する映像システムを構成することができる。
【０００９】
また、画像の透明度情報や、奥行き情報は、画像の各画素位置で定義できるため、グレースケールの情報として扱うフォーマットが提案されている。すなわち、このフォーマットでは、画像情報として、色信号だけではなく、透明度情報や、奥行き情報も一緒に扱うことになる。
【００１０】
これにより、例えば、透明度情報を色信号の加工に利用したり、あるいは色信号と奥行き情報とから立体映像を生成することができる（例えば非特許文献２参照）。奥行き情報と色信号とから立体映像を生成する方法としては、３Ｄ ｗａｒｐｉｎｇという手法がある。
【００１１】
図１９に示すように、奥行き情報を使うことで別の視点からの色信号を生成する。このような、透明度情報や、奥行き情報を色信号とともに持つフォーマットで画像情報を定義したものを、仮に、非特許文献１に示すようなパノラマ映像の画像情報として利用することもできる。透明度情報も持つ場合には、パノラマ映像の一部を切り出して前景とし、別に用意した背景画像と合成することができる。また、奥行き情報を持つ場合には、パノラマ映像の一部について立体映像として表示をすることができる。あるいは、そこから３次元的に少し視点を変えた映像を表示することができる。
【先行技術文献】
【非特許文献】
【００１２】
【非特許文献１】Hideaki Kimata, Shinya Shimizu, Yutaka Kunita, Megumi Isogai, and Yoshimitsu Ohtani :「Panorama video coding for user-driven interactive video application」,IEEE International Symposium on Consumer Electronics (ISCE) 2009, 2009
【非特許文献２】木全英明：「３次元映像に関する標準化の動向−立体映像と多視点映像のＭＰＥＧ 標準化−」，高臨場感ディスプレイフォーラム２００７， ２００７
【発明の概要】
【発明が解決しようとする課題】
【００１３】
上述した複数のタイルに分割して多重化された映像ストリームに対して、復号するタイル数がダイナミックに変化して復号する方式は、非特許文献１にも記載されている通り、汎用計算機上でソフトウェアを使って実装することができる。
【００１４】
しかしながら、演算処理能力が低い計算機では、必要なタイル数のストリームを復号できない問題や、専用ハードウェアでは、タイル数がダイナミックに変化するような場合には、対象となる全てのタイルを復号することができないという問題が生じる。
【００１５】
例えば、９個のタイルで１つの映像を構成するストリームに対して、１つの映像ストリームを復号する専用ハードウェアを備えた装置の場合には、９個のうちの１個の映像ストリームのみを復号するため、その他のタイルに属する視聴領域の映像を得ることができないという問題が生じる。
【００１６】
本発明は、このような事情を考慮してなされたものであり、その目的は、映像の一部の領域のみを視聴する際に、演算処理能力が低く映像ストリームを１つしか復号できない計算機で視聴する場合であっても、ユーザが指定した出力画像の位置に対して表示する画素数が最も多くなるように、映像ストリームを復号することができる映像復号装置、映像送受信装置、映像復号方法、及び映像送受信方法を提供することにある。
【課題を解決するための手段】
【００１７】
上述した課題を解決するために、本発明は、２次元で表現される面上の基準位置に対してＮ個のそれぞれ異なる座標位置を示す領域映像位置情報と、各領域映像位置情報に対応したＮ個の映像ストリームで構成される符号化データとから、該符号化データの一部を復号して出力画像を得る映像復号装置であって、前記基準位置に対する出力画像の座標位置と前記領域映像位置情報とに基づいて、出力画像の画素数が最も多く得られるようにｉ番目（１≦ｉ≦Ｎ）の映像ストリームを読み出すことを決定する読み出し決定部と、前記ｉ番目の映像ストリームを読み出す読み出し部と、前記読み出し部で読み出した前記ｉ番目の映像ストリームを復号する復号部と、前記復号部で得られる復号画像の一部を切り出して出力する画像切り出し部と、前記ｉ番目の映像ストリームの領域映像位置情報を用いて、前記基準位置に対する出力画像の座標位置が同一になるように、前記画像切り出し部での切り出し位置を決定する切り出し位置決定部とを備えることを特徴とする映像復号装置である。
【００１８】
上述した課題を解決するために、本発明は、２次元で表現される面上の基準位置に対してＮ個のそれぞれ異なる座標位置を示す領域映像位置情報と、各領域映像位置情報に対応したＮ個の映像ストリームと各映像ストリームを区別するストリームＩＤとを多重化した１つのストリームで構成される符号化データとから、符号化データの一部を復号して出力画像を得る映像復号装置であって、前記基準位置に対する出力画像の座標位置と前記領域映像位置情報とに基づいて、出力画像の画素数が最も多く得られるようにｉ番目（１≦ｉ≦Ｎ）の映像ストリームを読み出すことを決定する読み出し決定部と、前記符号化データ中のストリームＩＤに基づいて、前記読み出し決定部により決定された前記ｉ番目の映像ストリームを探索し、該ｉ番目の映像ストリームを読み出す探索読み出し部と、前記探索読み出し部で得られる前記ｉ番目の映像ストリームを復号する復号部と、前記復号部で得られる復号画像の一部を切り出して出力する画像切り出し部と、前記ｉ番目の映像ストリームの領域映像位置情報を用いて、前記基準位置に対する出力画像の座標位置が同一になるように、前記画像切り出し部での切り出し位置を決定する切り出し位置決定部とを備えることを特徴とする映像復号装置である。
【００１９】
上述した課題を解決するために、本発明は、２次元で表現される面上で定義される元映像の基準位置に対するＮ個の部分的な領域映像の座標位置である領域映像位置情報を送信する領域映像位置情報送信部と、Ｎ個の領域映像の映像ストリームのうちのｉ番目（１≦ｉ≦Ｎ）の映像ストリームを送信するストリーム送信部とを備える映像送信装置と、前記Ｎ個の部分的な領域映像の座標位置である領域映像位置情報を受信する領域映像位置情報受信部と、前記ｉ番目の映像ストリームを受信するストリーム受信部と、前記ストリーム受信部で受信された前記ｉ番目の映像ストリームを読み出す読み出し部と、前記読み出し部で読み出した前記ｉ番目の映像ストリームを復号する復号部と、前記復号部で得られる復号画像の一部を切り出して出力する画像切り出し部と、前記ｉ番目の映像ストリームの領域映像位置情報を用いて、前記基準位置に対する出力画像の座標位置が同一になるように、前記画像切り出し部での切り出し位置を決定する切り出し位置決定部と、前記基準位置に対する次の出力画像の座標位置を指定する出力画像座標指定部と、前記出力画像座標指定部で指定された次の出力画像の座標位置と前記領域映像位置情報とに基づいて、次の出力画像の画素数が最も多く得られるように、ｊ番目（１≦ｊ≦Ｎ）の映像ストリームの送信を要求することを決定する送信要求決定部と、前記ｊ番目の映像ストリームの送信を、前記映像送信装置に要求する送信要求部とを備える映像受信装置とを具備することを特徴とする映像送受信装置である。
【００２０】
上述した課題を解決するために、本発明は、２次元で表現される面上で定義される元映像の基準位置に対するＮ個の部分的な領域映像の座標位置である領域映像位置情報を送信する領域映像位置情報送信部と、前記Ｎ個の部分的な領域映像の映像ストリームと各映像ストリームを区別するストリームＩＤとを多重化した１つのストリームから、Ｍ個（Ｍ≦Ｎ）のａ１からａｍ番目の映像ストリームと対応するストリームＩＤとを多重化した１つのストリームを抽出して送信するストリーム送信部とを備える映像送信装置と、前記Ｎ個の部分的な領域映像の領域映像位置情報を受信する領域映像位置情報受信部と、前記Ｍ個のａ１からａｍ番目の映像ストリームを受信するストリーム受信部と、前記基準位置に対する出力画像の座標位置と前記領域映像位置情報とに基づいて、出力画像の画素数が最も多く得られるようにｉ番目（ｉはａ１からａｍのいずれか）の映像ストリームを読み出すことを決定する読み出し決定部と、前記ストリーム受信部で受信された前記Ｍ個のａ１からａｍ番目の映像ストリーム中のストリームＩＤに基づいて、前記読み出し決定部により決定された前記ｉ番目の映像ストリームを探索して読み出す探索読み出し部と、前記探索読み出し部で読み出した前記ｉ番目の映像ストリームを復号する復号部と、前記復号部で得られる復号画像の一部を切り出して出力する画像切り出し部と、前記ｉ番目の映像ストリームの領域映像位置情報を用いて、前記基準位置に対する出力画像の座標位置が同一になるように、前記画像切り出し部での切り出し位置を決定する切り出し位置決定部と、次の出力画像の座標位置を指定する出力画像座標指定部と、前記基準位置に対する次の出力画像の座標位置と前記領域映像位置情報とに基づいて、次の出力画像の画素数が多く得られるように、Ｍ個（Ｍ≦Ｎ）のｂ１からｂｍ番目の映像ストリームの送信を要求することを決定する送信要求決定部と、前記ｂ１からｂｍ番目の映像ストリームの送信を、前記映像送信装置に要求する送信要求部とを備える映像受信装置とを具備することを特徴とする映像送受信装置である。
【００２１】
上述した課題を解決するために、本発明は、２次元で表現される面上で定義される元映像の基準位置に対するＮ個の部分的な領域映像の座標位置である領域映像位置情報を送信する領域映像位置情報送信部と、元映像の一部の画像情報からｉ番目（１≦ｉ≦Ｎ）の領域映像を符号化して映像ストリームを送信するストリーム送信部と、を備える映像送信装置と、Ｎ個の領域映像位置情報を受信する領域映像位置情報受信部と、前記ｉ番目の映像ストリームを受信するストリーム受信部と、前記ストリーム受信部により受信された前記ｉ番目の映像ストリームを読み出す読み出し部と、前記読み出し部で読み出された前記ｉ番目の映像ストリームを復号する復号部と、前記復号部で得られる復号画像の一部を切り出して出力する画像切り出し部と、前記ｉ番目の映像ストリームの領域映像位置情報を用いて、前記基準位置に対する出力画像の座標位置が同一になるように、前記画像切り出し部での切り出し位置を決定する切り出し位置決定部と、次の出力画像の座標位置を指定する出力画像座標指定部と、前記基準位置に対する次の出力画像の座標位置と前記領域映像位置情報とに基づいて、次の出力画像が最も多く得られるようにｊ番目（１≦ｊ≦Ｎ）の映像ストリームの送信を要求することを決定する送信要求決定部と、前記送信要求決定部で決定された前記ｊ番目の映像ストリームの送信を、前記映像送信装置に要求する送信要求部とを備える映像受信装置とを具備することを特徴とする映像送受信装置である。
【００２２】
上述した課題を解決するために、本発明は、２次元で表現される面上で定義される元映像の基準位置に対するＮ個の部分的な領域映像の座標位置である領域映像位置情報を送信する領域映像位置情報送信部と、前記元映像の一部の画像情報から、Ｍ個（Ｍ≦Ｎ）のａ１からａｍ番目の領域映像を符号化して得られる映像ストリームと対応するストリームＩＤとを多重化して送信するストリーム送信部と、を備える映像送信装置と、前記Ｎ個の領域映像位置情報を受信する領域映像位置情報受信部と、前記Ｍ個（Ｍ≦Ｎ）のａ１からａｍ番目のストリームを受信するストリーム受信部と、前記基準位置に対する出力画像の座標位置と前記領域映像位置情報とに基づいて、出力画像の画素数が最も多く得られるようにｉ番目（ｉはａ１からａｍのいずれか）の映像ストリームを読み出すことを決定する読み出し決定部と、符号化データ中のストリームＩＤに基づいて、前記読み出し決定部により決定された前記ｉ番目の映像ストリームを探索して読み出す探索読み出し部と、前記探索読み出し部で読み出された前記ｉ番目の映像ストリームを復号する復号部と、前記復号部で得られる復号画像の一部を切り出して出力する画像切り出し部と、前記ｉ番目の映像ストリームの領域映像位置情報を用いて、前記基準位置に対する出力画像の座標位置が同一になるように、前記画像切り出し部での切り出し位置を決定する切り出し位置決定部と、次の出力画像の座標位置を指定する出力画像座標指定部と、前記基準位置に対する次の出力画像の座標位置と前記領域映像位置情報とに基づいて、次の出力画像の画素数が多く得られるように、Ｍ個（Ｍ＜＝Ｎ）のｂ１からｂｍ番目の映像ストリームの送信を要求することを決定する送信要求決定部と、前記送信要求決定部により決定された前記ｂ１からｂｍ番目の映像ストリームの送信を、前記映像送信装置に要求する送信要求部とを備える映像受信装置とを具備することを特徴とする映像送受信装置である。
【００２３】
上述した課題を解決するために、本発明は、２次元で表現されるＬ（Ｌ≧２）個の面について、それぞれの面上の基準位置に対してＮｋ（１≦ｋ≦Ｌ）個のそれぞれ異なる座標位置を示す領域映像位置情報と、各領域映像位置情報に対応した複数個の映像ストリームとで構成される符号化データとに基づいて、該符号化データの一部を復号して出力画像を得る映像復号装置であって、出力画像を切り出す面ｃ（１≦ｃ≦Ｌ）における、前記基準位置に対する出力画像の座標位置と前記領域映像位置情報とに基づいて、出力画像の画素数が最も多く得られるようにｉ番目（１≦ｉ≦Ｎｃ）の映像ストリームを読み出すことを決定する読み出し決定部と、前記読み出し決定部により決定された前記ｉ番目の映像ストリームを読み出す読み出し部と、前記読み出し部で得られる前記ｉ番目の映像ストリームを復号する復号部と、前記復号部で得られる復号画像の一部を切り出して出力する画像切り出し部と、前記ｉ番目の映像ストリームの領域映像位置情報を用いて、前記基準位置に対する出力画像の座標位置が同一になるように、前記画像切り出し部での切り出し位置を決定する切り出し位置決定部とを備えることを特徴とする映像復号装置である。
【００２４】
上述した課題を解決するために、本発明は、２次元で表現されるＬ（Ｌ≧２）個の面について、それぞれの面上の基準位置に対してＮｋ（１≦ｋ≦Ｌ）個のそれぞれ異なる座標位置を示す領域映像位置情報と、各領域映像位置情報に対応した複数個の映像ストリームと各映像ストリームを区別するストリームＩＤとを多重化した１つのストリームで構成される符号化データとに基づいて、該符号化データの一部を復号して出力画像を得る映像復号装置であって、出力画像を切り出す面ｃ（１≦ｃ≦Ｌ）における、前記基準位置に対する出力画像の座標位置と前記領域映像位置情報とに基づいて、出力画像の画素数が最も多く得られるようにｉ番目（１≦ｉ≦Ｎｃ）の映像ストリームを読み出すことを決定する読み出し決定部と、前記符号化データ中のストリームＩＤに基づいて、前記読み出し決定部により決定された前記ｉ番目の映像ストリームを探索して読み出す探索読み出し部と、前記探索読み出し部で読み出した前記ｉ番目の映像ストリームを復号する復号部と、前記復号部で得られる復号画像の一部を切り出して出力する画像切り出し部と、前記ｉ番目の映像ストリームの領域映像位置情報を用いて、前記基準位置に対する出力画像の座標位置が同一になるように、前記画像切り出し部での切り出し位置を決定する切り出し位置決定部と、を備えることを特徴とする映像復号装置である。
【００２５】
上述した課題を解決するために、本発明は、２次元で表現されるＬ（Ｌ≧２）個の面について、それぞれの面上で定義される基準位置に対するＮｋ（１≦ｋ≦Ｌ）個の部分的な領域映像の座標位置である全ての領域映像位置情報を送信する領域映像位置情報送信部と、面ｃ（１≦ｃ≦Ｌ）におけるＮｃ個の領域映像の映像ストリームのうちのｉ番目（１≦ｉ≦Ｎｃ）のストリームを送信するストリーム送信部と、を備える映像送信装置と、全ての領域映像位置情報を受信する領域映像位置情報受信部と、前記ｉ番目の映像ストリームを受信するストリーム受信部と、前記ストリーム受信部で受信された前記ｉ番目の映像ストリームを読み出す読み出し部と、前記読み出し部で読み出した前記ｉ番目の映像ストリームを復号する復号部と、前記復号部で得られる復号画像の一部を切り出して出力する画像切り出し部と、前記ｉ番目の領域映像位置情報を用いて、前記基準位置に対する出力画像の座標位置が同一になるように、前記画像切り出し部での切り出し位置を決定する切り出し位置決定部と、次の出力画像を切り出す面ｄ（１≦ｄ≦Ｌ）を指定する出力画像面指定部と、前記次の出力画像の座標位置を指定する出力画像座標指定部と、前記出力画像面指定部で指定した面ｄにおける、前記基準位置に対する次の出力画像の座標位置と前記領域映像位置情報とに基づいて、前記次の出力画像の画素数が最も多く得られるようにｊ番目（１≦ｊ≦Ｎｄ）の映像ストリームの送信を要求することを決定する送信要求決定部と、前記送信要求決定部によって決定された、面ｄ（１≦ｄ≦Ｌ）におけるｊ番目（１≦ｊ≦Ｎｄ）の映像ストリームの送信を、前記映像送信装置に要求する送信要求部とを備える映像受信装置とを具備することを特徴とする映像送受信装置である。
【００２６】
上述した課題を解決するために、本発明は、２次元で表現されるＬ（Ｌ≧２）個の面について、それぞれの面上で定義される基準位置に対するＮｋ（１≦ｋ≦Ｌ）個の部分的な領域映像の座標位置である全ての領域映像位置情報を送信する領域映像位置情報送信部と、全ての領域映像の映像ストリームと各映像ストリームを区別するストリームＩＤとを多重化した１つのストリームから、Ｍ個のａ１からａｍ番目の映像ストリームと対応するストリームＩＤとを多重化した１つのストリームを抽出して送信するストリーム送信部と、を備える映像送信装置と、全ての領域映像位置情報を受信する領域映像位置情報受信部と、前記Ｍ個のａ１からａｍ番目のストリームを受信するストリーム受信部と、出力画像を切り出す面ｃ（１≦ｃ≦Ｌ）における、前記基準位置に対する出力画像の座標位置と前記領域映像位置情報とに基づいて、前記出力画像の画素数が最も多く得られるようにｉ番目（ｉはａ１からａｍのいずれか）の映像ストリームを読み出すことを決定する読み出し決定部と、符号化データ中のストリームＩＤに基づいて、前記読み出し決定部で決定された前記ｉ番目の映像ストリームを探索して読み出す探索読み出し部と、前記探索読み出し部で読み出された前記ｉ番目の映像ストリームを復号する復号部と、前記復号部で得られる復号画像の一部を切り出して出力する画像切り出し部と、前記ｉ番目の映像ストリームの領域映像位置情報を用いて、前記基準位置に対する出力画像の座標位置が同一になるように、前記画像切り出し部での切り出し位置を決定する切り出し位置決定部と、次の出力画像を切り出す１つ以上の面ｄ（１≦ｄ≦Ｌ）を指定する出力画像面指定部と、次の出力画像の座標位置を指定する出力画像座標指定部と、前記出力画像面指定部で指定した面ｄにおける、前記基準位置に対する次の出力画像の座標位置と前記領域映像位置情報とに基づいて、次の出力画像の画素数が多く得られるように、Ｍ個のｂ１からｂｍ番目の映像ストリームの送信を要求することを決定する送信要求決定部と、前記送信要求決定部により決定された前記ｂ１からｂｍ番目の映像ストリームの送信を、前記映像送信装置に要求する送信要求部とを備える映像受信装置とを具備することを特徴とする映像送受信装置である。
【００２７】
上述した課題を解決するために、本発明は、２次元で表現されるＬ（Ｌ≧２）個の面について、それぞれの面上で定義される基準位置に対するＮｋ（１≦ｋ≦Ｌ）個の部分的な領域映像の座標位置である全ての領域映像位置情報を送信する領域映像位置情報送信部と、１つ以上の面ｃ（１≦ｃ≦Ｌ）における元映像の一部の画像情報からｉ番目（１≦ｉ≦Ｎｃ）の領域映像を符号化して映像ストリームを送信するストリーム送信部とを備える映像送信装置と、全ての領域映像位置情報を受信する領域映像位置情報受信部と、前記ｉ番目の映像ストリームを受信するストリーム受信部と、前記ストリーム受信部で受信された前記ｉ番目の映像ストリームを読み出す読み出し部と、前記読み出し部で読み出した前記ｉ番目の映像ストリームを復号する復号部と、前記復号部で得られる復号画像の一部を切り出して出力する画像切り出し部と、前記ｉ番目の映像ストリームの領域映像位置情報を用いて、前記基準位置に対する出力画像の座標位置が同一になるように、前記画像切り出し部での切り出し位置を決定する切り出し位置決定部と、次の出力画像を切り出す面ｄ（１≦ｄ≦Ｌ）を指定する出力画像面指定部と、次の出力画像の座標位置を指定する出力画像座標指定部と、前記出力画像面指定部で指定した面ｄにおける、前記基準位置に対する次の出力画像の座標位置と前記領域映像位置情報とに基づいて、次の出力画像の画素数が最も多く得られるようにｊ番目（１≦ｊ≦Ｎｄ）の映像ストリームの送信を要求することを決定する送信要求決定部と、前記送信要求決定部によって決定された前記ｊ番目の映像ストリームの送信を、前記映像送信装置に要求する送信要求部とを備える映像受信装置とを具備することを特徴とする映像送受信装置である。
【００２８】
上述した課題を解決するために、本発明は、２次元で表現されるＬ（Ｌ≧２）個の面について、それぞれの面上で定義される基準位置に対するＮｋ（１≦ｋ≦Ｌ）個の部分的な領域映像の座標位置である全ての領域映像位置情報を送信する領域映像位置情報送信部と、１つ以上の面ｃ（１≦ｃ≦Ｌ）における元映像の一部の画像情報からＭ個のａ１からａｍ番目の領域映像を符号化して得られる映像ストリームと対応するストリームＩＤとを多重化して送信するストリーム送信部と、を備える映像送信装置と、全ての領域映像位置情報を受信する領域映像位置情報受信部と、前記Ｍ個のａ１からａｍ番目のストリームを受信するストリーム受信部と、出力画像を切り出す面ｃ（１≦ｃ≦Ｌ）における、前記基準位置に対する出力画像の座標位置と前記領域映像位置情報とに基づいて、出力画像の画素数が最も多く得られるようにｉ番目（ｉはａ１からａｍのいずれか）の映像ストリームを読み出すことを決定する読み出し決定部と、符号化データ中のストリームＩＤに基づいて、前記読み出し決定部により決定された前記ｉ番目の映像ストリームを探索して読み出す探索読み出し部と、前記探索読み出し部で読み出された前記ｉ番目の映像ストリームを復号する復号部と、前記復号部で得られる復号画像の一部を切り出して出力する画像切り出し部と、前記ｉ番目の映像ストリームの領域映像位置情報を用いて、前記基準位置に対する出力画像の座標位置が同一になるように、前記画像切り出し部での切り出し位置を決定する切り出し位置決定部と、次の出力画像を切り出す１つ以上の面ｄ（１≦ｄ≦Ｌ）を指定する出力画像面指定部と、次の出力画像の座標位置を指定する出力画像座標指定部と、前記出力画像面指定部で指定した面ｄにおける、前記基準位置に対する次の出力画像の座標位置と前記領域映像位置情報とに基づいて、次の出力画像の画素数が多く得られるように、Ｍ個のｂ１からｂｍ番目の映像ストリームの送信を要求することを決定する送信要求決定部と、前記送信要求決定部により決定された前記ｂ１からｂｍ番目の映像ストリームの送信を、前記映像送信装置に要求する送信要求部と、を備える映像受信装置とを具備することを特徴とする映像送受信装置である。
【００２９】
上述した課題を解決するために、本発明は、２次元で表現される面上の基準位置に対してＮ個のそれぞれ異なる座標位置を示す領域映像位置情報と、各領域映像位置情報に対応したＮ個の映像ストリームで構成される符号化データとから、該符号化データの一部を復号して出力画像を得る映像復号方法であって、前記基準位置に対する出力画像の座標位置と前記領域映像位置情報とに基づいて、出力画像の画素数が最も多く得られるようにｉ番目（１≦ｉ≦Ｎ）の映像ストリームを読み出すことを決定する読み出し決定ステップと、前記ｉ番目の映像ストリームを読み出す読み出しステップと、前記読み出しステップで読み出した前記ｉ番目の映像ストリームを復号する復号ステップと、前記復号ステップで得られる復号画像の一部を切り出して出力する画像切り出しステップと、前記ｉ番目の映像ストリームの領域映像位置情報を用いて、前記基準位置に対する出力画像の座標位置が同一になるように、前記画像切り出しステップでの切り出し位置を決定する切り出し位置決定ステップとを含むことを特徴とする映像復号方法である。
【００３０】
上述した課題を解決するために、本発明は、２次元で表現される面上の基準位置に対してＮ個のそれぞれ異なる座標位置を示す領域映像位置情報と、各領域映像位置情報に対応したＮ個の映像ストリームと各映像ストリームを区別するストリームＩＤとを多重化した１つのストリームで構成される符号化データとから、符号化データの一部を復号して出力画像を得る映像復号方法であって、前記基準位置に対する出力画像の座標位置と前記領域映像位置情報とに基づいて、出力画像の画素数が最も多く得られるようにｉ番目（１≦ｉ≦Ｎ）の映像ストリームを読み出すことを決定する読み出し決定ステップと、前記符号化データ中のストリームＩＤに基づいて、前記読み出し決定ステップで決定された前記ｉ番目の映像ストリームを探索し、該ｉ番目の映像ストリームを読み出す探索読み出しステップと、前記探索読み出しステップで得られる前記ｉ番目の映像ストリームを復号する復号ステップと、前記復号ステップで得られる復号画像の一部を切り出して出力する画像切り出しステップと、前記ｉ番目の映像ストリームの領域映像位置情報を用いて、前記基準位置に対する出力画像の座標位置が同一になるように、前記画像切り出しステップでの切り出し位置を決定する切り出し位置決定ステップとを含むことを特徴とする映像復号方法である。
【００３１】
上述した課題を解決するために、本発明は、映像送信装置が、２次元で表現される面上で定義される元映像の基準位置に対するＮ個の部分的な領域映像の座標位置である領域映像位置情報を送信する領域映像位置情報送信ステップと、前記映像送信装置が、Ｎ個の領域映像の映像ストリームのうちのｉ番目（１≦ｉ≦Ｎ）の映像ストリームを送信するストリーム送信ステップと、映像受信装置が、前記Ｎ個の部分的な領域映像の座標位置である領域映像位置情報を受信する領域映像位置情報受信ステップと、前記映像受信装置が、前記ｉ番目の映像ストリームを受信するストリーム受信ステップと、前記映像受信装置が、前記ストリーム受信ステップで受信された前記ｉ番目の映像ストリームを読み出す読み出しステップと、前記映像受信装置が、前記読み出しステップで読み出した前記ｉ番目の映像ストリームを復号する復号ステップと、前記映像受信装置が、前記復号ステップで得られる復号画像の一部を切り出して出力する画像切り出しステップと、前記映像受信装置が、前記ｉ番目の映像ストリームの領域映像位置情報を用いて、前記基準位置に対する出力画像の座標位置が同一になるように、前記画像切り出しステップでの切り出し位置を決定する切り出し位置決定ステップと、前記映像受信装置が、前記基準位置に対する次の出力画像の座標位置を指定する出力画像座標指定ステップと、前記映像受信装置が、前記出力画像座標指定ステップで指定された次の出力画像の座標位置と前記領域映像位置情報とに基づいて、次の出力画像の画素数が最も多く得られるように、ｊ番目（１≦ｊ≦Ｎ）の映像ストリームの送信を要求することを決定する送信要求決定ステップと、前記映像受信装置が、前記ｊ番目の映像ストリームの送信を、前記映像送信装置に要求する送信要求ステップとを含むことを特徴とする映像送受信方法である。
【００３２】
上述した課題を解決するために、本発明は、映像送信装置が、２次元で表現される面上で定義される元映像の基準位置に対するＮ個の部分的な領域映像の座標位置である領域映像位置情報を送信する領域映像位置情報送信ステップと、前記映像送信装置が、前記Ｎ個の部分的な領域映像の映像ストリームと各映像ストリームを区別するストリームＩＤとを多重化した１つのストリームから、Ｍ個（Ｍ≦Ｎ）のａ１からａｍ番目の映像ストリームと対応するストリームＩＤとを多重化した１つのストリームを抽出して送信するストリーム送信ステップと、前記映像受信装置が、前記Ｎ個の部分的な領域映像の領域映像位置情報を受信する領域映像位置情報受信ステップと、前記映像受信装置が、前記Ｍ個のａ１からａｍ番目の映像ストリームを受信するストリーム受信ステップと、前記基準位置に対する出力画像の座標位置と前記領域映像位置情報とに基づいて、出力画像の画素数が最も多く得られるようにｉ番目（ｉはａ１からａｍのいずれか）の映像ストリームを読み出すことを決定する読み出し決定ステップと、前記映像受信装置が、前記ストリーム受信ステップで受信された前記Ｍ個のａ１からａｍ番目の映像ストリーム中のストリームＩＤに基づいて、前記読み出し決定ステップで決定された前記ｉ番目の映像ストリームを探索して読み出す探索読み出しステップと、前記映像受信装置が、前記探索読み出しステップで読み出した前記ｉ番目の映像ストリームを復号する復号ステップと、前記映像受信装置が、前記復号ステップで得られる復号画像の一部を切り出して出力する画像切り出しステップと、前記映像受信装置が、前記ｉ番目の映像ストリームの領域映像位置情報を用いて、前記基準位置に対する出力画像の座標位置が同一になるように、前記画像切り出しステップでの切り出し位置を決定する切り出し位置決定ステップと、前記映像受信装置が、次の出力画像の座標位置を指定する出力画像座標指定ステップと、前記映像受信装置が、前記基準位置に対する次の出力画像の座標位置と前記領域映像位置情報とに基づいて、次の出力画像の画素数が多く得られるように、Ｍ個（Ｍ≦Ｎ）のｂ１からｂｍ番目の映像ストリームの送信を要求することを決定する送信要求決定ステップと、前記映像受信装置が、前記ｂ１からｂｍ番目の映像ストリームの送信を、前記映像送信装置に要求する送信要求ステップとを含むことを特徴とする映像送受信方法である。
【００３３】
上述した課題を解決するために、本発明は、映像送信装置が、２次元で表現される面上で定義される元映像の基準位置に対するＮ個の部分的な領域映像の座標位置である領域映像位置情報を送信する領域映像位置情報送信ステップと、前記映像送信装置が、元映像の一部の画像情報からｉ番目（１≦ｉ≦Ｎ）の領域映像を符号化して映像ストリームを送信するストリーム送信ステップと、映像受信装置が、Ｎ個の領域映像位置情報を受信する領域映像位置情報受信ステップと、前記映像受信装置が、前記ｉ番目の映像ストリームを受信するストリーム受信ステップと、前記映像受信装置が、前記ストリーム受信ステップで受信された前記ｉ番目の映像ストリームを読み出す読み出しステップと、前記映像受信装置が、前記読み出しステップで読み出された前記ｉ番目の映像ストリームを復号する復号ステップと、前記映像受信装置が、前記復号ステップで得られる復号画像の一部を切り出して出力する画像切り出しステップと、前記映像受信装置が、前記ｉ番目の映像ストリームの領域映像位置情報を用いて、前記基準位置に対する出力画像の座標位置が同一になるように、前記画像切り出しステップでの切り出し位置を決定する切り出し位置決定ステップと、前記映像受信装置が、次の出力画像の座標位置を指定する出力画像座標指定ステップと、前記映像受信装置が、前記基準位置に対する次の出力画像の座標位置と前記領域映像位置情報とに基づいて、次の出力画像が最も多く得られるようにｊ番目（１≦ｊ≦Ｎ）の映像ストリームの送信を要求することを決定する送信要求決定ステップと、前記映像受信装置が、前記送信要求決定ステップで決定された前記ｊ番目の映像ストリームの送信を、前記映像送信装置に要求する送信要求ステップとを含むことを特徴とする映像送受信方法である。
【００３４】
上述した課題を解決するために、本発明は、映像送信装置が、２次元で表現される面上で定義される元映像の基準位置に対するＮ個の部分的な領域映像の座標位置である領域映像位置情報を送信する領域映像位置情報送信ステップと、前記映像送信装置が、前記元映像の一部の画像情報から、Ｍ個（Ｍ≦Ｎ）のａ１からａｍ番目の領域映像を符号化して得られる映像ストリームと対応するストリームＩＤとを多重化して送信するストリーム送信ステップと、前記映像受信装置が、前記Ｎ個の領域映像位置情報を受信する領域映像位置情報受信ステップと、前記映像受信装置が、前記Ｍ個（Ｍ≦Ｎ）のａ１からａｍ番目のストリームを受信するストリーム受信ステップと、前記映像受信装置が、前記基準位置に対する出力画像の座標位置と前記領域映像位置情報とに基づいて、出力画像の画素数が最も多く得られるようにｉ番目（ｉはａ１からａｍのいずれか）の映像ストリームを読み出すことを決定する読み出し決定ステップと、前記映像受信装置が、符号化データ中のストリームＩＤに基づいて、前記読み出し決定ステップで決定された前記ｉ番目の映像ストリームを探索して読み出す探索読み出しステップと、前記映像受信装置が、前記探索読み出しステップで読み出された前記ｉ番目の映像ストリームを復号する復号ステップと、前記映像受信装置が、前記復号ステップで得られる復号画像の一部を切り出して出力する画像切り出しステップと、前記映像受信装置が、前記ｉ番目の映像ストリームの領域映像位置情報を用いて、前記基準位置に対する出力画像の座標位置が同一になるように、前記画像切り出しステップでの切り出し位置を決定する切り出し位置決定ステップと、前記映像受信装置が、次の出力画像の座標位置を指定する出力画像座標指定ステップと、前記映像受信装置が、前記基準位置に対する次の出力画像の座標位置と前記領域映像位置情報とに基づいて、次の出力画像の画素数が多く得られるように、Ｍ個（Ｍ＜＝Ｎ）のｂ１からｂｍ番目の映像ストリームの送信を要求することを決定する送信要求決定ステップと、前記映像受信装置が、前記送信要求決定ステップで決定された前記ｂ１からｂｍ番目の映像ストリームの送信を、前記映像送信装置に要求する送信要求ステップとを含むことを特徴とする映像送受信方法である。
【００３５】
上述した課題を解決するために、本発明は、２次元で表現されるＬ（Ｌ≧２）個の面について、それぞれの面上の基準位置に対してＮｋ（１≦ｋ≦Ｌ）個のそれぞれ異なる座標位置を示す領域映像位置情報と、各領域映像位置情報に対応した複数個の映像ストリームとで構成される符号化データとに基づいて、該符号化データの一部を復号して出力画像を得る映像復号方法であって、出力画像を切り出す面ｃ（１≦ｃ≦Ｌ）における、前記基準位置に対する出力画像の座標位置と前記領域映像位置情報とに基づいて、出力画像の画素数が最も多く得られるようにｉ番目（１≦ｉ≦Ｎｃ）の映像ストリームを読み出すことを決定する読み出し決定ステップと、前記読み出し決定ステップで決定された前記ｉ番目の映像ストリームを読み出す読み出しステップと、前記読み出しステップで得られる前記ｉ番目の映像ストリームを復号する復号ステップと、前記復号ステップで得られる復号画像の一部を切り出して出力する画像切り出しステップと、前記ｉ番目の映像ストリームの領域映像位置情報を用いて、前記基準位置に対する出力画像の座標位置が同一になるように、前記画像切り出しステップでの切り出し位置を決定する切り出し位置決定ステップとを含むことを特徴とする映像復号方法である。
【００３６】
上述した課題を解決するために、本発明は、２次元で表現されるＬ（Ｌ≧２）個の面について、それぞれの面上の基準位置に対してＮｋ（１≦ｋ≦Ｌ）個のそれぞれ異なる座標位置を示す領域映像位置情報と、各領域映像位置情報に対応した複数個の映像ストリームと各映像ストリームを区別するストリームＩＤとを多重化した１つのストリームで構成される符号化データとに基づいて、該符号化データの一部を復号して出力画像を得る映像復号方法あって、出力画像を切り出す面ｃ（１≦ｃ≦Ｌ）における、前記基準位置に対する出力画像の座標位置と前記領域映像位置情報とに基づいて、出力画像の画素数が最も多く得られるようにｉ番目（１≦ｉ≦Ｎｃ）の映像ストリームを読み出すことを決定する読み出し決定ステップと、前記符号化データ中のストリームＩＤに基づいて、前記読み出し決定ステップで決定された前記ｉ番目の映像ストリームを探索して読み出す探索読み出しステップと、前記探索読み出しステップで読み出した前記ｉ番目の映像ストリームを復号する復号ステップと、前記復号ステップで得られる復号画像の一部を切り出して出力する画像切り出しステップと、前記ｉ番目の映像ストリームの領域映像位置情報を用いて、前記基準位置に対する出力画像の座標位置が同一になるように、前記画像切り出しステップでの切り出し位置を決定する切り出し位置決定ステップとを含むことを特徴とする映像復号方法である。
【００３７】
上述した課題を解決するために、本発明は、映像送信装置が、２次元で表現されるＬ（Ｌ≧２）個の面について、それぞれの面上で定義される基準位置に対するＮｋ（１≦ｋ≦Ｌ）個の部分的な領域映像の座標位置である全ての領域映像位置情報を送信する領域映像位置情報送信ステップと、前記映像送信装置が、面ｃ（１≦ｃ≦Ｌ）におけるＮｃ個の領域映像の映像ストリームのうちのｉ番目（１≦ｉ≦Ｎｃ）のストリームを送信するストリーム送信ステップと、映像受信装置が、全ての領域映像位置情報を受信する領域映像位置情報受信ステップと、前記映像受信装置が、前記ｉ番目の映像ストリームを受信するストリーム受信ステップと、前記映像受信装置が、前記ストリーム受信ステップで受信された前記ｉ番目の映像ストリームを読み出す読み出しステップと、前記映像受信装置が、前記読み出しステップで読み出した前記ｉ番目の映像ストリームを復号する復号ステップと、前記映像受信装置が、前記復号ステップで得られる復号画像の一部を切り出して出力する画像切り出しステップと、前記映像受信装置が、前記ｉ番目の領域映像位置情報を用いて、前記基準位置に対する出力画像の座標位置が同一になるように、前記画像切り出しステップでの切り出し位置を決定する切り出し位置決定ステップと、前記映像受信装置が、次の出力画像を切り出す面ｄ（１≦ｄ≦Ｌ）を指定する出力画像面指定ステップと、前記映像受信装置が、前記次の出力画像の座標位置を指定する出力画像座標指定ステップと、前記映像受信装置が、前記出力画像面指定ステップで指定した面ｄにおける、前記基準位置に対する次の出力画像の座標位置と前記領域映像位置情報とに基づいて、前記次の出力画像の画素数が最も多く得られるようにｊ番目（１≦ｊ≦Ｎｄ）の映像ストリームの送信を要求することを決定する送信要求決定ステップと、前記映像受信装置が、前記送信要求決定ステップで決定された、面ｄ（１≦ｄ≦Ｌ）におけるｊ番目（１≦ｊ≦Ｎｄ）の映像ストリームの送信を、前記映像送信装置に要求する送信要求ステップとを含むことを特徴とする映像送受信方法である。
【００３８】
上述した課題を解決するために、本発明は、映像送信装置が、２次元で表現されるＬ（Ｌ≧２）個の面について、それぞれの面上で定義される基準位置に対するＮｋ（１≦ｋ≦Ｌ）個の部分的な領域映像の座標位置である全ての領域映像位置情報を送信する領域映像位置情報送信ステップと、前記映像送信装置が、全ての領域映像の映像ストリームと各映像ストリームを区別するストリームＩＤとを多重化した１つのストリームから、Ｍ個のａ１からａｍ番目の映像ストリームと対応するストリームＩＤとを多重化した１つのストリームを抽出して送信するストリーム送信ステップと、映像受信装置が、全ての領域映像位置情報を受信する領域映像位置情報受信ステップと、前記映像受信装置が、前記Ｍ個のａ１からａｍ番目のストリームを受信するストリーム受信ステップと、前記映像受信装置が、出力画像を切り出す面ｃ（１≦ｃ≦Ｌ）における、前記基準位置に対する出力画像の座標位置と前記領域映像位置情報とに基づいて、前記出力画像の画素数が最も多く得られるようにｉ番目（ｉはａ１からａｍのいずれか）の映像ストリームを読み出すことを決定する読み出し決定ステップと、前記映像受信装置が、符号化データ中のストリームＩＤに基づいて、前記読み出し決定ステップで決定された前記ｉ番目の映像ストリームを探索して読み出す探索読み出しステップと、前記映像受信装置が、前記探索読み出しステップで読み出された前記ｉ番目の映像ストリームを復号する復号ステップと、前記映像受信装置が、前記復号ステップで得られる復号画像の一部を切り出して出力する画像切り出しステップと、前記映像受信装置が、前記ｉ番目の映像ストリームの領域映像位置情報を用いて、前記基準位置に対する出力画像の座標位置が同一になるように、前記画像切り出しステップでの切り出し位置を決定する切り出し位置決定ステップと、前記映像受信装置が、次の出力画像を切り出す１つ以上の面ｄ（１≦ｄ≦Ｌ）を指定する出力画像面指定ステップと、前記映像受信装置が、次の出力画像の座標位置を指定する出力画像座標指定ステップと、前記映像受信装置が、前記出力画像面指定ステップで指定した面ｄにおける、前記基準位置に対する次の出力画像の座標位置と前記領域映像位置情報とに基づいて、次の出力画像の画素数が多く得られるように、Ｍ個のｂ１からｂｍ番目の映像ストリームの送信を要求することを決定する送信要求決定ステップと、前記映像受信装置が、前記送信要求決定ステップで決定された前記ｂ１からｂｍ番目の映像ストリームの送信を、前記映像送信装置に要求する送信要求部とを含むことを特徴とする映像送受信方法である。
【００３９】
上述した課題を解決するために、本発明は、映像送信装置が、２次元で表現されるＬ（Ｌ≧２）個の面について、それぞれの面上で定義される基準位置に対するＮｋ（１≦ｋ≦Ｌ）個の部分的な領域映像の座標位置である全ての領域映像位置情報を送信する領域映像位置情報送信ステップと、前記映像送信装置が、１つ以上の面ｃ（１≦ｃ≦Ｌ）における元映像の一部の画像情報からｉ番目（１≦ｉ≦Ｎｃ）の領域映像を符号化して映像ストリームを送信するストリーム送信ステップと、映像受信装置が、全ての領域映像位置情報を受信する領域映像位置情報受信ステップと、前記映像受信装置が、前記ｉ番目の映像ストリームを受信するストリーム受信ステップと、前記映像受信装置が、前記ストリーム受信ステップで受信された前記ｉ番目の映像ストリームを読み出す読み出しステップと、前記映像受信装置が、前記読み出しステップで読み出した前記ｉ番目の映像ストリームを復号する復号ステップと、前記映像受信装置が、前記復号ステップで得られる復号画像の一部を切り出して出力する画像切り出しステップと、前記映像受信装置が、前記ｉ番目の映像ストリームの領域映像位置情報を用いて、前記基準位置に対する出力画像の座標位置が同一になるように、前記画像切り出しステップでの切り出し位置を決定する切り出し位置決定ステップと、前記映像受信装置が、次の出力画像を切り出す面ｄ（１≦ｄ≦Ｌ）を指定する出力画像面指定ステップと、前記映像受信装置が、次の出力画像の座標位置を指定する出力画像座標指定ステップと、前記映像受信装置が、前記出力画像面指定ステップで指定した面ｄにおける、前記基準位置に対する次の出力画像の座標位置と前記領域映像位置情報とに基づいて、次の出力画像の画素数が最も多く得られるようにｊ番目（１≦ｊ≦Ｎｄ）の映像ストリームの送信を要求することを決定する送信要求決定ステップと、前記映像受信装置が、前記送信要求決定ステップで決定された前記ｊ番目の映像ストリームの送信を、前記映像送信装置に要求する送信要求ステップとを含むことを特徴とする映像送受信方法である。
【００４０】
上述した課題を解決するために、本発明は、映像送信装置が、２次元で表現されるＬ（Ｌ≧２）個の面について、それぞれの面上で定義される基準位置に対するＮｋ（１≦ｋ≦Ｌ）個の部分的な領域映像の座標位置である全ての領域映像位置情報を送信する領域映像位置情報送信ステップと、前記映像送信装置が、１つ以上の面ｃ（１≦ｃ≦Ｌ）における元映像の一部の画像情報からＭ個のａ１からａｍ番目の領域映像を符号化して得られる映像ストリームと対応するストリームＩＤとを多重化して送信するストリーム送信ステップと、映像受信装置が、全ての領域映像位置情報を受信する領域映像位置情報受信ステップと、前記映像受信装置が、前記Ｍ個のａ１からａｍ番目のストリームを受信するストリーム受信ステップと、前記映像受信装置が、出力画像を切り出す面ｃ（１≦ｃ≦Ｌ）における、前記基準位置に対する出力画像の座標位置と前記領域映像位置情報とに基づいて、出力画像の画素数が最も多く得られるようにｉ番目（ｉはａ１からａｍのいずれか）の映像ストリームを読み出すことを決定する読み出し決定ステップと、前記映像受信装置が、符号化データ中のストリームＩＤに基づいて、前記読み出し決定ステップで決定された前記ｉ番目の映像ストリームを探索して読み出す探索読み出しステップと、前記映像受信装置が、前記探索読み出しステップで読み出された前記ｉ番目の映像ストリームを復号する復号ステップと、前記映像受信装置が、前記復号ステップで得られる復号画像の一部を切り出して出力する画像切り出しステップと、前記映像受信装置が、前記ｉ番目の映像ストリームの領域映像位置情報を用いて、前記基準位置に対する出力画像の座標位置が同一になるように、前記画像切り出しステップでの切り出し位置を決定する切り出し位置決定ステップと、前記映像受信装置が、次の出力画像を切り出す１つ以上の面ｄ（１≦ｄ≦Ｌ）を指定する出力画像面指定ステップと、前記映像受信装置が、次の出力画像の座標位置を指定する出力画像座標指定ステップと、前記映像受信装置が、前記出力画像面指定ステップで指定した面ｄにおける、前記基準位置に対する次の出力画像の座標位置と前記領域映像位置情報とに基づいて、次の出力画像の画素数が多く得られるように、Ｍ個のｂ１からｂｍ番目の映像ストリームの送信を要求することを決定する送信要求決定ステップと、前記映像受信装置が、前記送信要求決定ステップで決定された前記ｂ１からｂｍ番目の映像ストリームの送信を、前記映像送信装置に要求する送信要求ステップとを含むことを特徴とする映像送受信方法である。
【発明の効果】
【００４１】
この発明によれば、映像の一部の領域のみを視聴する際に、演算処理能力が低く映像ストリームを１つしか復号できない計算機で視聴する場合であっても、ユーザが指定した出力画像の位置に対して表示する画素数が最も多くなるように、映像ストリームを復号することができる。
【図面の簡単な説明】
【００４２】
【図１】本第１実施形態による映像復号装置の構成を示すブロック図である。
【図２】本第１実施形態で用いる、領域映像と出力画像との位置関係の一例を示す概念図である。
【図３】本第２実施形態で用いる、多重化された符号化データの形式を示す概念図である。
【図４】本第２実施形態による映像復号装置の構成を示すブロック図である。
【図５】本第３実施形態による映像送信装置の構成を示すブロック図である。
【図６】本第３実施形態による映像受信装置の構成を示すブロック図である。
【図７】本第３実施形態の変形例による映像送信装置の構成示すブロック図である。
【図８】本第４実施形態による映像送信装置の構成を示すブロック図である。
【図９】本第４実施形態による映像受信装置の構成を示すブロック図である。
【図１０】本第５実施形態による映像復号装置の構成を示すブロック図である。
【図１１】本第５実施形態における、領域映像と出力画像との位置関係の一例を示す概念図である。
【図１２】本第６実施形態で用いる、多重化された符号化データの形式を示す概念図である。
【図１３】本第６実施形態による映像復号装置の構成を示すブロック図である。
【図１４】本第７実施形態による映像送信装置の構成を示すブロック図である。
【図１５】本第７実施形態による映像受信装置の構成を示すブロック図である。
【図１６】本第８実施形態による映像受信装置の構成を示すブロック図である。
【図１７】本第８実施形態で用いる、領域映像と出力画像との位置関係の一例を示す概念図である。
【図１８】従来のタイル構成と出力画像との位置関係の例を示す概念図である。
【図１９】色信号と奥行き情報とから別の視点の映像を生成する手法の例を示す概念図である。
【発明を実施するための形態】
【００４３】
以下、本発明の一実施形態を、図面を参照して説明する。
本発明は、複数の領域映像から出力画像の映像ストリームを取りだして復号する技術に関する。本発明の特徴は、入力となる複数の領域映像を従来のタイル分割形式としないことにより、映像ストリームを１つしか復号できないような処理能力の低い計算機でも、ユーザの指定する出力画像位置に対して表示する画素数が最も多くなる形で視聴することを可能にするものである。
【００４４】
Ａ．第１実施形態
第１実施形態では、２次元面に対して３個（Ａ，Ｂ，Ｃ）の領域映像のストリームで構成される映像情報の符号化データのうち、１個のストリームを復号して画像情報を得る映像復号装置の例について説明する。
【００４５】
図１は、本第１実施形態による映像復号装置の構成を示すブロック図である。図３において、映像復号装置１０は、領域映像ストリーム切換部１００と、読み出し部１０１と、読み出し決定部１０２と、復号部１０３と、画像切り出し部１０４と、切り出し位置決定部１０５とからなる。領域映像ストリーム切換部１００は、３つの領域映像ストリームＡ、Ｂ、Ｃのうち、１つの領域映像ストリームを選択する。読み出し部１０１は、読み出し決定部１０２により決定された１つの領域映像ストリームを、領域映像ストリーム切換部１００を介して読み出す。
【００４６】
読み出し決定部１０２は、出力画像座標位置、及び領域映像位置情報に基づいて、３つの領域映像ストリームＡ、Ｂ、Ｃのうち、読み出すべき、１つの領域映像ストリームを決定する。復号部１０３は、読み出し部１０１によって読み出された領域映像ストリームを復号する。画像切り出し部１０４は、切り出し位置決定部１０５で決定された切り出し位置に従って、復号された領域映像の一部を切り出して出力する。切り出し位置決定部１０５は、出力画像座標位置、及び領域映像位置情報に基づいて、符合された領域映像の切り出し位置を決定する。
【００４７】
図２は、本第１実施形態で用いる、領域映像と出力画像との位置関係の一例を示す概念図である。ここで、映像に対する領域映像の位置は、図２に示すように、領域映像Ａ、Ｂ、Ｃ間で重なりがあるように設定してもよい。このように重なりがあるようにしておくと、指定された出力画像の位置に対して、より多くの画素が含まれるような領域映像のストリームを選ぶことができる。また、３つの映像ストリーム、及び領域映像位置情報は、予め映像復号装置に与えられているものとする。
【００４８】
次に、本第１実施形態において、領域映像を復号して出力画像を取得する動作について説明する。まず、ユーザが出力画像の位置を設定したとする。読み出し決定部１０２は、２次元面上の出力画像座標位置と領域映像位置情報とに従って、各領域映像について出力画像の画素数が最も多くなる領域映像を、読み出すべき領域映像として判定する。図２に示す例の場合には、領域映像Ｂが最も多くなることから、読み出し決定部１０２は、領域映像Ｂを、読み出すべき領域映像ストリームとして決定する。
【００４９】
そして、読み出し部１０１は、読み出し決定部１０２で決定された、領域映像ストリームＢを読み出し、復号部１０３は、領域映像ストリームＢを復号して復号画像を取得する。切り出し位置決定部１０５は、出力画像座標位置と領域映像位置情報とに従って、復号画像の中から出力画像を切り出す位置を決定する。画像切り出し部１０４は、決定された切り出し位置に従って、復号画像から出力画像を切り出して出力する。
【００５０】
上述した第１実施形態によれば、映像に対してＮ個の領域映像を設定し、それらの映像ストリームを用意しておき、復号する際には、表示画素数が最も多くなるように映像ストリームを選んでから復号することができる。そして、領域映像の位置に合わせて画像を切り出して出力することができる。
【００５１】
Ｂ．第２実施形態
次に、本発明の第２実施形態について説明する。
本第２実施形態では、２次元面に対して、３つ（Ａ，Ｂ，Ｃ）の領域映像のストリームがストリームＩＤと多重化された符号化データから、特定の領域映像ストリームを読み出して画像情報を得ることを特徴とする。
【００５２】
図３は、本第２実施形態において用いられる、多重化された符号化データの形式を示す概念図である。各領域映像ストリームは、適当なところで複数に分割されており、その各分割されたストリームに対して、先頭にステータスコード（スタートコード情報）、及びストリームＩＤを付与して多重化されているものとする。ステータスコードは、固有の符号化列を持つ符号語であり、ストリームに対して符号語を探索することで、各分割されたストリームの位置を判定することができる。
【００５３】
図４は、本第２実施形態による映像復号装置の構成を示すブロック図である。なお、図１に対応する部分には同一の符号を付けて説明を省略する。探索読み出し部１０６は、読み出し決定部１０２によって決定された、読み出すべき領域映像に従って、多重化された符号化データから特定の領域映像のストリームを探索して読み出す。なお、面上における３つの領域映像の位置、及び出力画像の位置は、図２と同様な位置であるとする。また、符号化データ、及び領域映像位置情報は、予め映像復号装置に与えられているものとする。
【００５４】
次に、本第２実施形態において、領域映像を復号して出力画像を取得する動作について説明する。まず、ユーザが出力画像の位置を設定したとする。読み出し決定部１０２は、２次元面上の出力画像座標位置と領域映像位置情報とに従って、各領域映像について出力画像の画素数が最も多くなる領域映像を判定する。図２に示す例の場合には、領域映像Ｂが最も多くなることから、読み出し決定部１０２は、領域映像Ｂを、読み出すべき領域映像ストリームとして決定する。
【００５５】
そして、探索読み出し部１０６は、符号化データの中からステータスコードを探索し、続くストリームＩＤを読み込むことで、読み出し決定部１０２で決定された、領域映像ストリームＢの位置を判定し、領域映像ストリームＢを読み出す。復号部１０３は、領域映像ストリームＢを復号して復号画像を取得する。切り出し位置決定部１０５は、出力画像座標位置と領域映像位置情報とに従って、復号画像の中から出力画像を切り出す位置を決定する。画像切り出し部１０４は、決定された切り出し位置に従って、復号画像から出力画像を切り出して出力する。
【００５６】
上述した第２実施形態によれば、さらに、領域映像のストリームが多重化された形になっている場合に、領域映像のストリームを区別するＩＤを用いて、多重化された符号化データから所望の領域映像ストリームを指定して取り出すことができる。これにより、多重化されたストリームに対しても、出力画像の画素数が最も多くなるように領域映像を選んで復号することができる。
【００５７】
Ｃ．第３実施形態
次に、本発明の第３実施形態について説明する。
本第３実施形態では、映像送信装置で、２次元面に対して３つ（Ａ，Ｂ，Ｃ）の領域映像のストリームで構成される映像情報の符号化データのうち、映像受信装置から要求された１つのストリームを送信し、映像受信装置でストリームを復号して画像情報を得ることを特徴とする。
【００５８】
図５は、本第３実施形態による映像送信装置の構成を示すブロック図である。図５において、映像送信装置２０は、領域映像ストリーム切換部２００と、ストリーム送信部２０１と、領域映像位置情報送信部２０２とからなる。領域映像ストリーム切換部２００は、３つの領域映像ストリームＡ、Ｂ、Ｃのうち、１つの領域映像ストリームを選択する。ストリーム送信部２０１は、選択された１つの領域映像ストリームを送信する。領域映像位置情報送信部２０２は、領域映像位置情報を送信する。
【００５９】
図６は、本第３実施形態による映像受信装置の構成を示すブロック図である。図６において、映像受信装置３０は、領域映像位置情報受信部３０１、切り出し位置決定部３０２、ストリーム受信部３０３、読み出し部３０４、復号部３０５、画像切り出し部３０６、出力画像座標指定部３０７、送信要求決定部３０８、及び送信要求部３０９からなる。
【００６０】
領域映像位置情報受信部３０１は、領域映像位置情報を受信する。切り出し位置決定部３０２は、映像送信装置２０から送信されてくる出力画像座標位置に従って、切り出し位置を決定する。ストリーム受信部３０３は、映像送信装置２０から送信されてくるストリームを受信する。読み出し部３０４は、受信したストリームを読み出す。復号部３０５は、読み出したストリームを復号する。画像切り出し部３０６は、切り出し位置決定部３０２で決定された切り出し位置に従って、復号画像から一部を切り出して出力する。
【００６１】
出力画像座標指定部３０７は、映像送信装置２０から送信されてくる出力画像座標位置に従って、次の出力画像の座標位置を指定する。送信要求決定部３０８は、領域映像位置情報と次の出力画像の座標位置とに従って、要求する領域映像を決定する。送信要求部３０９は、決定された領域映像を要求する。
【００６２】
なお、面上における３つの領域映像の位置、及び出力画像の位置は、図２と同様な位置であるとする。また、映像送信装置２０において、３つの映像ストリーム、及び領域映像位置情報は、予め与えられているものとする。
【００６３】
また、領域映像を区別する情報として、領域映像ＩＤ（Ａ，Ｂ，Ｃのいずれか）があり、映像受信装置３０の送信要求部３０９では、領域映像ＩＤを送信し、映像送信装置２０のストリーム送信部２０１は、領域映像ＩＤを受信するものとする。また、映像送信装置２０のストリーム送信部２０１は、映像受信装置３０からの要求がきていない場合には、領域映像ストリームＡを送信するものとする。
【００６４】
次に、本第３実施形態において、領域映像のストリームを送受信して領域映像を復号して出力画像を取得する動作について説明する。まず、映像送信装置２０において、領域映像位置情報送信部２０２は、領域映像位置情報を送信する。映像受信装置３０において、領域映像位置情報受信部３０１は、映像送信装置２０から送信される領域映像位置情報を受信する。
【００６５】
次に、映像送信装置２０において、ストリーム送信部２０１は、映像受信装置３０からの要求がきていないので、領域映像ストリームＡを送信する。映像受信装置３０において、ストリーム受信部３０３は、映像送信装置２０からの領域映像ストリームＡを受信し、読み出し部３０４が受信した領域映像ストリームＡを読み出し、復号部３０５は、領域映像ストリームＡを復号して復号画像を取得する。
【００６６】
切り出し位置決定部３０２は、領域映像ストリームＡの座標位置、及び出力画像の座標位置に従って、復号画像の中から出力画像を切り出すための切り出し位置を決定する。画像切り出し部３０６は、決定された切り出し位置に従って、復号画像から出力画像を切り出して出力する。
【００６７】
出力画像座標位置指定部３０７は、次の出力画像の座標位置を指定する。送信要求決定部３０８は、次の出力画像の座標位置から領域映像ストリームＣ（図２の例の場合）を決定する。送信要求部３０９は、領域映像ストリームＣの領域映像ＩＤを送信する。
【００６８】
続いて、映像送信装置２０において、ストリーム送信部２０１は、領域映像ＩＤとして領域映像ストリームＣの領域映像ＩＤを受信するので、領域映像ストリームＣを送信する。映像受信装置３０において、ストリーム受信部３０３は、映像送信装置２０からのストリーム（この場合、領域映像ストリームＣ）を受信し、読み出し部３０４が受信したストリームを読み出し、復号部３０５は、ストリームを復号して復号画像を取得する。
【００６９】
切り出し位置決定部３０２は、領域映像ストリームＣの座標位置、及び出力画像の座標位置に従って、復号画像の中から出力画像を切り出す位置を決定する。画像切り出し部３０６は、決定された切り出し位置に従って、復号画像から出力画像を切り出して出力する。
【００７０】
以上の処理を出力画像の位置が指定される度に繰り返し実行する。
なお、映像送信装置２０は、予め映像ストリームを用意するのではなく、送信する際に領域映像を切り出して符号化し、得られたストリームを送信する方法でも良い。この場合の映像送信装置の構成を図７に示す。図７において、ストリーム増進部２０１ａは、送信する際に元映像２０３を読み出し、領域映像を切りだして符号化し、得られたストリームを送信する。この場合、映像送信装置側で領域映像ストリームを符号化した後に送信することができる。これにより、予め映像送信装置側で領域映像ストリームの符号化データを用意する必要はなく、映像受信側で必要な領域映像に対してのみ符号化して送信することができる。
【００７１】
上述した第３実施形態によれば、さらに、映像ストリームを送信する映像送信装置と、受信する映像受信装置とがあり、映像受信装置側で次に出力したい画像の画素数が最も多くなるように、映像送信装置にストリームの要求をすることができる。これにより、全ての領域映像を受信することなく、必要な領域映像のストリームのみを映像送信装置に要求することで、映像送信装置と映像受信装置との間の伝送量を減らすことができる。
【００７２】
Ｄ．第４実施形態
次に、本発明の第４実施形態について説明する。
本第４実施形態では、映像送信装置で、２次元面に対して３つ（Ａ，Ｂ，Ｃ）の領域映像のストリームがストリームＩＤと多重化された符号化データから、映像受信装置から要求された複数の領域映像のストリームを送信し、映像受信装置でストリームを復号して画像情報を得ることを特徴とする。
【００７３】
図８は、本第４実施形態による映像送信装置の構成を示すブロック図である。図８において、多重化された符号化データの形式は、図３に示す構成と同様である。映像送信装置２０ｂは、多重化された符号化データから特定の領域映像のストリームを探索して送信するストリーム送信部２０１ｂと、領域映像位置情報を送信する領域映像位置情報送信部２０２とを備えている。
【００７４】
図９は、本第４実施形態による映像受信装置の構成を示すブロック図である。なお、図６に対応する部分には同一の符号を付けて説明を省略する。図９において、読み出し決定部３１０は、出力画像座標位置と領域映像位置情報とに従って、読み出すストリームを決定する。探索読み出し部３１１は、受信したストリームから読み出し決定部３１０で決定したストリームを探索して読み出す。
【００７５】
なお、面上における３つの領域映像の位置、出力画像の位置、及び次の出力画像の位置は、図２と同様な位置であるとする。また、映像送信装置２０において、符号化データ、及び領域映像位置情報は、予め与えられているものとする。また、映像送信装置２０ｂのストリーム送信部２０１ｂは、映像受信装置３０ａからの要求がきていない場合には、領域映像ストリームＡとＢを送信するものとする。また、映像受信装置３０ａにおいて、送信要求決定部３０８は、出力画像の画素数が多い２つの領域映像を要求するように決定するものとする。
【００７６】
次に、本第４実施形態において、領域映像のストリームを送受信して領域映像を復号して出力画像を取得する動作について説明する。まず、映像送信装置２０ｂにおいて、領域映像位置情報送信部２０２は、領域映像位置情報を送信する。映像受信装置３０ａにおいて、領域映像位置情報受信部３０１は、映像送信装置２０ｂから送信される領域映像位置情報を受信する。
【００７７】
次に、映像送信装置２０ｂにおいて、ストリーム送信部２０１ｂは、映像受信装置３０ａからの要求がきていないので、領域映像ストリームＡ、Ｂを送信する。映像受信装置３０ａにおいて、ストリーム受信部３０３は、映像送信装置２０ｂからの領域映像ストリームＡ、Ｂを受信する。読み出し決定部３１０は、２次元面上の出力画像の座標位置と、領域映像位置情報とに従って、各領域映像について出力画像の画素数が最も多くなる領域映像を、読み出すべき領域映像ストリームとして決定する。図２に示す場合には、領域映像Ｂが最も多くなることから、領域映像Ｂを、読み出すべき領域映像ストリームとして決定する。
【００７８】
そして、探索読み出し部３１１は、符号化データの中からステータスコードを探索し、続くストリームＩＤ情報を読み込むことで、領域映像ストリームＢの位置を判定し、領域映像ストリームＢを読み出す。復号部３０５は、ストリーム（この場合、領域映像ストリームＢ）を復号して復号画像を取得する。切り出し位置決定部３０２は、領域映像ストリームＢの領域映像位置情報、及び出力画像の座標位置に従って、復号画像の中から出力画像を切り出すための切り出し位置を決定する。画像切り出し部３０６は、決定された切り出し位置に従って、復号画像から出力画像を切り出して出力する。
【００７９】
出力画像座標位置指定部３０７は、次の出力画像の座標位置を指定する。送信要求決定部３０８は、次の出力画像の座標位置から領域映像ストリームＢ、Ｃを決定する。送信要求部３０９は、領域映像ストリームＢ、Ｃの領域映像ＩＤを送信する。
【００８０】
続いて、映像送信装置２０ｂにおいて、ストリーム送信部２０１ｂは、ストリームＩＤとして領域映像ストリームＢ、Ｃの領域映像ＩＤを受信するので、領域映像ストリームＢ、Ｃを送信する。映像受信装置３０ａにおいて、ストリーム受信部３０３は、映像送信装置２０ｂからのストリーム（この場合、領域映像ストリームＢ、Ｃ）を受信し、読み出し決定部３１０は、出力画像の画素数が領域映像Ｃで最も多くなることから、領域映像Ｃを、読み出すべき領域映像ストリームとして決定する。
【００８１】
そして、探索読み出し部３１１は、符号化データの中からステータスコードを探索し、続くストリームＩＤを読み込むことで、領域映像ストリームＣの位置を判定し、領域映像ストリームＣを読み出す。復号部３０５は、ストリーム（この場合、領域映像ストリームＣ）を復号して復号画像を取得する。切り出し位置決定部３０２は，領域映像ストリームＣの領域映像位置情報、及び出力画像の座標位置に従って、復号画像の中から出力画像を切り出すための切り出し位置を決定する。画像切り出し部３０６は、決定された切り出し位置に従って、復号画像から出力画像を切り出して出力する。
【００８２】
以上の処理を出力画像の位置が指定される度に繰り返し実行する。
なお、映像受信装置３０ａが領域映像ストリームＢ、ＣのストリームＩＤを送信して、映像送信装置２０ｂから対応するストリームを受信するまでの間に、次の出力画像の位置が以前の出力画像と変わらない位置になる場合（従って、出力画像の位置が変化しない場合）には、映像受信装置３０ａは、ストリーム受信部３０３が受信したストリームについて、読み出し決定部３１０は、出力画像の画素数が領域映像Ｂで最も多くなることから、領域映像Ｂを、読み出すべきストリームと決定し、探索読み出し部３１１は、領域映像Ｂストリームを読み出し、復号部３０５は、該ストリームを復号して復号画像を取得する。切り出し位置決定部３０２は、領域映像ストリームＢの座標位置、及び出力画像の座標位置に従って、復号画像の中から出力画像を切り出すための切り出し位置を決定する。画像切り出し部３０６は、決定された切り出し位置に従って、復号画像から出力画像を切り出して出力する。
【００８３】
なお、映像送信装置２０ｂは、予め映像ストリームを用意するのではなく、送信する際に領域映像を切り出して符号化し、得られたストリームを送信する方法でも良い。この場合、映像送信装置側で領域映像ストリームを符号化した後に送信することができる。これにより、予め映像送信装置側で領域映像ストリームの符号化データを用意する必要はなく、映像受信側で必要な領域映像に対してのみ符号化して送信することができる。
【００８４】
上述した第４実施形態によれば、映像送信装置から複数の領域映像ストリームを受信しておき、映像受信装置で出力画像の画素数が最も多くなるように領域映像を選んで復号できる。さらに、映像受信装置側で、次に出力したい画像の画素数が最も多くなるように、映像送信装置に複数のストリームを要求することができる。これにより、映像受信装置で、次の出力画像の位置を設定したときと、それに対する領域映像のストリームを受信したときの間に、通信遅延などの影響で時間の差があり、その間に出力画像の位置が変化した場合に、指定された出力画像の画素数が最も多くなるように複数の領域映像から選んで復号することができる。
【００８５】
Ｅ．第５実施形態
次に、本発明の第５実施形態について説明する。
本第５実施形態では、解像度Ｐの２次元面に対して３つ（Ａ，Ｂ，Ｃ）の領域映像のストリームと、解像度Ｑの２次元面に対して２つ（Ｄ，Ｅ）の領域映像のストリームとで構成される映像情報の符号化データのうち、１つのストリームを復号して画像情報を取得することを特徴とする。
【００８６】
図１０は、本第５実施形態による映像復号装置の構成を示すブロック図である。なお、図１に対応する部分には同一の符号を付けて説明を省略する。図１０において、領域映像ストリーム切換部１００ａは、３つの領域映像ストリームＡ、Ｂ、Ｃ（面Ｐ）と、２つの領域映像ストリームＤ、Ｅ（面Ｑ）との合計５つの領域映像ストリームＡ〜Ｅから、１つの領域映像ストリームを選択する。読み出し決定部１０２ａは、出力画像座標位置、及び領域映像位置情報、並びに、指定された出力画像解像度に従って、５つの領域映像ストリームＡ〜Ｅの中から、読み出すべき１つの領域映像ストリームを決定する。
【００８７】
なお、解像度Ｐ、Ｑの面上における各領域映像の位置、及び出力画像の位置は、図１１に示すような位置とする。また、出力画像の位置は、解像度Ｐの面上で設定されるものとする。また、全ての映像ストリーム、及び領域映像位置情報は、予め映像復号装置１０ｂに与えられているものとする。
【００８８】
次に、本第５実施形態において、領域映像を復号して出力画像を取得する動作について説明する。まず、ユーザが出力画像の解像度Ｐ、及び位置を設定したとする。読み出し決定部１０２ａは、解像度Ｐの面上の出力画像座標位置と、領域映像位置情報とに従って、各領域映像について出力画像の画素数が最も多くなる領域映像を、読み出すべき領域映像として判定する。図１１に示す場合には、解像度Ｐの面上では、領域映像Ｂが最も多くなることから、領域映像Ｂを、読み出すべき領域映像ストリームとして決定する。
【００８９】
そして、読み出し部１０１は、読み出し決定部１０２ａで決定された、領域映像ストリームＢを読み出し、復号部１０３は、ストリームを復号して復号画像を取得する。切り出し位置決定部１０５は、領域映像ストリームＢの出力画像座標位置、及び領域映像位置情報に従って、復号画像の中から出力画像を切り出す位置を決定する。画像切り出し部１０４は、決定された切り出し位置に従って、復号画像から出力画像を切り出して出力する。
【００９０】
なお、本第５実施形態は、解像度の異なる２つの面で領域映像を定義したが、空間的な位置が離れた２つの面で領域映像を定義しても良い。この場合の動作も本第５実施形態と同様な手順でよい。
【００９１】
上述した第５実施形態によれば、例えば、大きく離れた空間位置について、複数の元映像を設定し、それに領域映像を設定することで、出力画像の空間的な位置に対応した元映像を選んだ上で領域映像を選んで復号することができる。あるいは、元映像として複数の解像度の映像を用意しておき、それらに対して領域映像を設定することで、出力画像の解像度に対応した領域映像を選んで復号することができる。これにより、出力画像の解像度も選択することが可能となる。
【００９２】
Ｆ．第６実施形態
次に、本発明の第６実施形態について説明する。
本第６実施形態では、解像度Ｐの２次元面に対して３つ（Ａ，Ｂ，Ｃ）の領域映像のストリームと、解像度Ｑの２次元面に対して２つ（Ｄ，Ｅ）の領域映像のストリームとが、ストリームＩＤと多重化された符号化データから、特定の領域映像のストリームを読み出して画像情報を得ることを特徴とする。
【００９３】
図１２は、本第６実施形態において用いられる、多重化された符号化データの形式を示す概念図である。各領域映像のストリームは、適当なところで複数に分割されており、その各分割されたストリームに対して、先頭にスタートコード、及びストリームＩＤを付与して多重化されているものとする。スタートコードは、固有の符号化列を持つ符号語であり、ストリームに対して符号語を探索することで、各分割されたストリームの位置を判定することができる。
【００９４】
図１３は、本第６実施形態による映像復号装置の構成を示すブロック図である。なお、図１、図４、図１０に対応する部分には同一の符号を付けている。読み出し決定部１０２ａは、出力画像座標位置、及び領域映像位置情報、並びに、出力画像解像度に従って、読み出す領域映像を決定する。探索読み出し部１０６は、決定された領域映像に従って、多重化された符号化データから特定の領域映像のストリームを探索して読み出す。
【００９５】
なお、解像度Ｐ、Ｑの面上における各領域映像の位置、及び出力画像の位置は、図１１と同様な位置とする。また、出力画像の位置は、解像度Ｐの面上で設定されるものとする。また、全ての映像ストリーム、及び領域映像位置情報は、予め映像復号装置１０ｃに与えられているものとする。
【００９６】
次に、本第６実施形態において、領域映像を復号して出力画像を取得する動作について説明する。まず、ユーザが出力画像の解像度Ｐ、及び位置を設定したとする。読み出し決定部１０２ａは、解像度Ｐの面上の出力画像座標位置と、領域映像位置情報とに従って、各領域映像について出力画像の画素数が最も多くなる領域映像を、読み出すべき領域映像として判定する。図１１に示す場合には、解像度Ｐの面上では、領域映像Ｂが最も多くなることから、領域映像Ｂを、読み出すべき領域映像ストリームとして決定する。
【００９７】
そして、探索読み出し部１０６は、符号化データの中からステータスコードを探索し、続くストリームＩＤを読み込むことで、読み出し決定部１０２ａで決定された、領域映像ストリームＢの位置を判定し、領域映像ストリームＢを読み出す。復号部１０３は、領域映像ストリームＢを復号して復号画像を取得する。
【００９８】
切り出し位置決定部１０５は、領域映像ストリームＢの出力画像座標位置と領域映像位置情報とに従って、復号画像の中から出力画像を切り出す位置を決定する。画像切り出し部１０４は、決定された切り出し位置に従って、復号画像から出力画像を切り出して出力する。
【００９９】
なお、本第６実施形態は、解像度の異なる２つの面で領域映像を定義したが、空間的な位置が離れた２つの面で領域映像を定義しても良い。この場合の動作も本第６実施形態と同様な手順でよい。
【０１００】
上述した第６実施形態によれば、例えば、大きく離れた空間位置について、複数の元映像を設定し、それに領域映像を設定することで、出力画像の空間的な位置に対応した元映像を選んだ上で領域映像を選んで復号することができる。あるいは、元映像として複数の解像度の映像を用意しておき、それらに対して領域映像を設定することで、出力画像の解像度に対応した領域映像を選んで復号することができる。これにより、出力画像の解像度も選択することが可能となる。
【０１０１】
Ｇ．第７実施形態
次に、本発明の第７実施形態について説明する。
本第７実施形態では、映像送信装置で、解像度Ｐの２次元面に対して３つ（Ａ，Ｂ，Ｃ）の領域映像のストリームと、解像度Ｑの２次元面に対して２つ（Ｄ，Ｅ）の領域映像のストリームとで構成される映像情報の符号化データのうち、映像受信装置から要求された１つのストリームを送信し、映像受信装置でストリームを復号して画像情報を取得することを特徴とする。
【０１０２】
図１４は、本第７実施形態による映像送信装置の構成を示すブロック図である。なお、図５、図７、図８に対応する部分には同一の符号を付けて説明を省略する。領域映像ストリーム切換部２００ａは、３つの領域映像ストリームＡ、Ｂ、Ｃ（面Ｐ）と、２つの領域映像ストリームＤ、Ｅ（面Ｑ）との合計５つの領域映像ストリームＡ〜Ｅから、１つの領域映像ストリームを選択する。
【０１０３】
図１５は、本第７実施形態による映像受信装置の構成を示すブロック図である。なお、図６、図９に対応する部分には同一の符号を付けて説明を省略する。出力画像面指定部３１２は、次の出力画像の解像度を指定する。出力画像座標指定部３０７ａは、出力画像座標位置と、指定される次の出力画像の解像度とに従って、次の出力画像の座標位置を指定する。送信要求決定部３０８ａは、領域映像位置情報と次の出力画像の解像度と座標位置とから要求する領域映像を決定する。
【０１０４】
なお、解像度Ｐ、Ｑの面上における各領域映像の位置、及び出力画像の位置は、図１１と同様な位置とする。また、出力画像の位置は、解像度Ｐの面上で、次の出力画像の位置は、解像度Ｑの面上で設定されるものとする。また、全ての映像ストリーム、及び領域映像位置情報は、予め映像送信装置２０ｃに与えられているものとする。
【０１０５】
また、領域映像位置情報は、解像度毎に異なる基準位置に対しての位置情報であり、解像度の情報と位置情報とからなる。また、領域映像を区別する情報として、領域映像ＩＤ（Ａ，Ｂ，Ｃ，Ｄ，Ｅのいずれか）がある。映像受信装置３０ｂの送信要求部３０９では、領域映像ＩＤを送信し、映像送信装置２０ｃのストリーム送信部２０１は、送信される領域映像ＩＤを受信する。また、映像送信装置２０ｃのストリーム送信部２０１は、映像受信装置３０ｂからの要求がきていない場合には、解像度Ｐの領域映像ストリームＡを送信するものとする。
【０１０６】
次に、本第７実施形態において、領域映像のストリームを送受信して領域映像を復号して出力画像を取得する動作について説明する。まず、映像送信装置２０ｃにおいて、領域映像位置情報送信部２０２は、領域映像位置情報を送信する。映像受信装置３０ｂにおいて、領域映像位置情報受信部３０１は、映像送信装置２０ｃから送信される領域映像位置情報を受信する。
【０１０７】
次に、映像送信装置２０ｃにおいて、ストリーム送信部２０１は、映像受信装置３０ｂからの要求がきていないので、解像度Ｐの領域映像ストリームＡを送信する。映像受信装置３０ｂにおいて、ストリーム受信部３０３は、映像送信装置２０ｃからの領域映像ストリームＡを受信し、読み出し部３０４が受信した領域映像ストリームＡを読み出し、復号部３０５は、領域映像ストリームＡを復号して復号画像を取得する。
【０１０８】
切り出し位置決定部３０２は、解像度Ｐの領域映像ストリームＡの座標位置、及び出力画像の座標位置に従って、復号画像の中から出力画像を切り出すための切り出し位置を決定する。画像切り出し部３０６は、決定された切り出し位置に従って、復号画像から出力画像を切り出して出力する。
【０１０９】
出力画像面指定部３１２は、次の出力画像の解像度Ｑを指定する。出力画像座標位置指定部３０７ａは、次の出力画像の座標位置を指定する。送信要求決定部３０８は、次の出力画像の座標位置から領域映像Ｅを決定する（図１１の面Ｑを参照）。送信要求部３０９は、領域映像Ｅの領域映像ＩＤを送信する。
【０１１０】
続いて、映像送信装置２０ｃにおいて、ストリーム送信部２０１は、領域映像ＩＤとして領域映像Ｅの領域映像ＩＤを受信するので、解像度Ｑの領域映像ストリームＥを送信する。映像受信装置３０ｂにおいて、ストリーム受信部３０３は、映像送信装置２０ｃからのストリームを受信し、読み出し部３０４が受信したストリームを読み出し、復号部３０５は、ストリームを復号して復号画像を得る。
【０１１１】
切り出し位置決定部３０２は、解像度Ｑの領域映像ストリームＥの座標位置、及び出力画像の座標位置に従って、復号画像の中から出力画像を切り出すための切り出し位置を決定する。画像切り出し部３０６は、決定された切り出し位置に従って、復号画像から出力画像を切り出して出力する。
【０１１２】
以上の処理を出力画像の位置が指定される度に繰り返し実行する。
なお、映像送信装置２０ｃは、予め映像ストリームを用意するのではなく、送信する際に領域映像を切り出して符号化し、得られたストリームを送信する方法でも良い。また、本第７実施形態は、解像度の異なる２つの面で領域映像を定義したが、空間的な位置が離れた二つの面で領域映像を定義しても良い。この場合の動作も本第７実施形態と同様な手順でよい。
【０１１３】
上述した第７実施形態によれば、映像送信装置側で、例えば、大きく離れた空間位置について、複数の元映像を設定し、それに領域映像を設定することで、映像受信装置において、出力画像の空間的な位置に対応した元映像を選んだ上で領域映像を選んで復号することができる。あるいは、映像送信装置側で、元映像として複数の解像度の映像を用意しておき、それらに対して領域映像を設定することで、映像受信装置において、出力画像の解像度に対応した領域映像を選んで復号することができる。これにより、出力画像の解像度も選択することが可能となる。
【０１１４】
Ｈ．第８実施形態
次に、本発明の第８実施形態について説明する。
本第８実施形態では、映像送信装置で、解像度Ｐの２次元面に対して３つ（Ａ，Ｂ，Ｃ）の領域映像のストリームと、解像度Ｑの２次元面に対して２つ（Ｄ，Ｅ）の領域映像のストリームとが、ストリームＩＤと多重化された符号化データから、映像受信装置から要求された複数の領域映像のストリームを送信し、映像受信装置でストリームを復号して画像情報を得ることを特徴とする。
【０１１５】
本第８実施形態において、映像送信装置の構成は、図８と同様な構成である。すなわち、映像送信装置２０ｂは、多重化された符号化データから特定の領域映像のストリームを探索して送信するストリーム送信部２０１ｂと、領域映像位置情報を送信する領域映像位置情報送信部２０２とを備えている。なお、本第８実施形態で用いられる、多重化された符号化データの形式は、図１２と同様である．
【０１１６】
図１６は、本第８実施形態による映像受信装置の構成を示すブロック図である。なお、図９、図１５に対応する部分には同一の符号を付けている。図１６において、映像受信装置３０ｃは、領域映像位置情報を受信する領域映像位置情報受信部３０１と、切り出し位置を決定する切り出し位置決定部３０２と、ストリームを受信するストリーム受信部３０３と、読み出すストリームを決定する読み出し決定部３１０と、受信したストリームから読み出し決定部３１０で決定したストリームを探索して読み出す探索読み出し部３１１と、ストリームを復号する復号部３０５と、復号画像から一部を切り出して出力する画像切り出し部３０６と、次の出力画像の解像度を指定する出力画像面指定部３１２と、次の出力画像の座標位置を指定する出力画像座標指定部３０７ａと、領域映像位置情報と次の出力画像の解像度と座標位置とから要求する領域映像を決定する送信要求決定部３０８と、領域映像を要求する送信要求部３０９とからなる。
【０１１７】
なお、解像度Ｐ、Ｑの面上における各領域映像の位置、及び出力画像の位置は、図１１に示すような位置とする。また、出力画像の位置は、解像度Ｐの面上で、次の出力画像の位置は解像度Ｑの面上で設定されるものとする。また、映像送信装置２０ｂには、符号化データ、及び領域映像位置情報が予め与えられているものとする。
【０１１８】
また、領域映像位置情報は、解像度毎に異なる基準位置に対しての位置情報であり、解像度の情報と位置情報とからなる。また、映像送信装置２０ｂのストリーム送信部２０１ｂは、映像受信装置３０ｃからの要求がきていない場合には、解像度Ｐの領域映像ストリームＡ、Ｂを送信するものとする。また、映像受信装置３０ｃにおいて、送信要求決定部３０８は、出力画像の画素数が多い２つの領域映像を次の領域映像として要求するように決定するものとする。
【０１１９】
次に、本第８実施形態において、領域映像のストリームを送受信して領域映像を復号して出力画像を取得する動作について説明する。まず、映像送信装置２０ｂにおいて、領域映像位置情報送信部２０２は、領域映像位置情報を送信する。映像受信装置３０ｃにおいて、領域映像位置情報受信部３０１は、映像送信装置２０ｂから送信される領域映像位置情報を受信する。
【０１２０】
次に、映像送信装置２０ｂにおいて、ストリーム送信部２０１ｂは、映像受信装置３０ｃからの要求がきていないので、解像度Ｐの領域映像ストリームＡ、Ｂを送信する。映像受信装置３０ｃにおいて、ストリーム受信部３０３は、映像送信装置２０ｂからの領域映像ストリームＡ、Ｂを受信する。読み出し決定部３１０は、解像度Ｐの出力画像の座標位置と、領域映像位置情報とに従って、各領域映像について出力画像の画素数が最も多くなる領域映像を、読み出すべき領域映像ストリームとして決定する。図１１に示す場合には、領域映像Ｂが最も多くなることから、領域映像Ｂを、読み出すべき領域映像ストリームとして決定する。
【０１２１】
そして、探索読み出し部３１１は、符号化データの中からステータスコードを探索し、続くストリームＩＤ情報を読み込むことで、領域映像ストリームＢの位置を判定し、領域映像ストリームＢを読み出す。復号部３０５は、ストリーム（この場合、領域映像ストリームＢ）を復号して復号画像を取得する。切り出し位置決定部３０２は、領域映像ストリームＢの領域映像位置情報、及び出力画像の座標位置に従って、復号画像の中から出力画像を切り出すための切り出し位置を決定する。画像切り出し部３０６は、決定された切り出し位置に従って、復号画像から出力画像を切り出して出力する。
【０１２２】
出力画像面指定部３１２は、次の出力画像の解像度Ｑを指定する。出力画像座標位置指定部３０７ａは、次の出力画像の座標位置を指定する。送信要求決定部３０８は、次の出力画像の座標位置から領域映像Ｄ、Ｅを決定する。送信要求部３０９は、領域映像Ｄ、ＥのストリームＩＤを送信する。
【０１２３】
続いて、映像送信装置２０ｂにおいて、ストリーム送信部２０１ｂは、ストリームＩＤとして領域映像Ｄ、ＥのストリームＩＤを受信するので、領域映像ストリームＤ、Ｅを送信する。映像受信装置３０ｃにおいて、ストリーム受信部３０３は、映像送信装置２０ｂからのストリーム（この場合、領域映像ストリームＤ、Ｅ）を受信し、読み出し決定部３１０は、解像度Ｑにおいて出力画像の画素数が領域映像Ｅで最も多くなることから、領域映像Ｅを、読み出すべき領域映像ストリームとして決定する。
【０１２４】
そして、探索読み出し部３１１は、符号化データの中からステータスコードを探索し、続くストリームＩＤを読み込むことで、領域映像ストリームＥの位置を判定し、領域映像ストリームＥを読み出す。復号部３０５は、ストリーム（この場合、領域映像ストリームＥ）を復号して復号画像を取得する。切り出し位置決定部３０２は，領域映像ストリームＥの領域映像位置情報、及び出力画像の座標位置に従って、復号画像の中から出力画像を切り出すための切り出し位置を決定する。画像切り出し部３０６は、決定された切り出し位置に従って、復号画像から出力画像を切り出して出力する。以上の処理を出力画像の位置が指定される度に繰り返し実行する。
【０１２５】
上述した第８実施形態によれば、映像送信装置から複数の領域映像ストリームを受信しておき、映像受信装置で出力画像の画素数が最も多くなるように領域映像を選んで復号することができる。このとき、異なる面の映像の領域映像のストリームを受信することもできる。この場合には、出力画像を切り出す位置に近い面の領域映像を選んで復号することができる。例えば、このとき、異なる解像度の映像の領域映像のストリームを受信することもできる。この場合には、出力画像の解像度を選びつつ、領域映像を選んで復号することができる。
【０１２６】
なお、本第８実施形態では、解像度の異なる２つの面で領域映像を定義したが、空間的な位置が離れた２つの面で領域映像を定義しても良い。この場合の動作も本第８実施形態と同様な手順でよい。
【０１２７】
また、映像受信装置３０ｃにおいて、送信要求決定部３０８は、複数の解像度の領域映像を要求するように決定しても良い。例えば、２つの解像度について、それぞれ出力画像の画素数が最も多い領域映像を要求するように決定してもよい。この方法によれば、領域映像を要求してからストリームを受信するまでの間に、次の出力画像の解像度が変わらなかった場合であっても、出力画像を得ることができる。
【０１２８】
図１７は、本第８実施形態で用いる、領域映像と出力画像との位置関係の一例を示す概念図である。次の出力画像については、解像度ＰとＱのそれぞれに設定する。この場合の、次の出力画像の解像度を指定する処理以後の手順について説明する。映像受信装置３０ｃにおいて、出力画像面指定部３１２は、次の出力画像の解像度ＰとＱを指定する。出力画像座標位置指定部３０７ａは、それぞれの解像度について次の出力画像の座標位置を指定する。送信要求決定部３０８は、次の出力画像の座標位置から領域映像Ｃ、Ｅを決定する。送信要求部３０９は、領域映像ＣとＥのストリームＩＤを送信する。
【０１２９】
続いて映像送信装置２０ｂにおいて、ストリーム送信部２０１ｂは、領域映像ＣとＥのストリームＩＤを受信するので、領域映像ストリームＣとＥのを送信する。映像受信装置３０ｃにおいて、ストリーム受信部３０３は、映像送信装置２０ｂからのストリーム（この場合、領域映像ストリームＣとＥ）を受信する。
【０１３０】
このとき、出力画像の解像度がＰの場合には、読み出し決定部３１０は、出力画像の画素数が領域映像Ｃで最も多くなることから、領域映像Ｃを、読み出すべきストリームとして決定する。そして、探索読み出し部３１１は、符号化データの中からステータスコードを探索し、続くストリームＩＤを読み込むことで、領域映像ストリームＣの位置を判定し、領域映像ストリームＣを読み出す。
【０１３１】
復号部３０５は、ストリームを復号して復号画像を取得する。切り出し位置決定部３０２は、領域映像Ｃの座標位置、及び出力画像の座標位置に従って、復号画像の中から出力画像を切り出すための切り出し位置を決定する。画像切り出し部３０６は、決定された切り出し位置に従って、復号画像から出力画像を切り出して出力する。
【０１３２】
また、出力画像の解像度がＱの場合には、読み出し決定部３１０は、出力画像の画素数が領域映像Ｅで最も多くなることから、領域映像Ｅを、読み出すべきストリームとして決定する。そして、同様にして領域映像ストリームＥを復号して画像を切り出して出力する。以上の処理を出力画像の位置が指定される度に繰り返し実行する。
【０１３３】
なお、映像送信装置２０ｂは、予め映像ストリームを用意するのではなく、送信する際に領域映像を切り出して符号化し、得られたストリームを送信する方法でも良い。この場合、映像送信装置側で領域映像ストリームを符号化した後に送信することができる。これにより、予め映像送信装置側で領域映像ストリームの符号化データを用意する必要はなく、映像受信装置側で必要な領域映像に対してのみ符号化して送信することができる。
【０１３４】
なお、本発明によれば、画像情報として、色信号だけではなく、透明度情報や、奥行き情報などのグレースケール画像として扱える情報も一緒に扱ってもよい。この場合には、映像ストリームには、色信号だけではなく、透明度情報や、奥行き情報も含まれており、復号部３０５は色信号だけではなく、透明度情報や、奥行き情報も復号して得る。そして、画像切り出し部３０６から切り出して得られる画像情報にも透明度情報や、奥行き情報が含まれる。本発明の映像復号装置あるいは映像受信装置で得られる画像情報の色信号と、透明度情報や、奥行き情報から色信号を加工してから表示をしても良い。例えば、奥行き情報を持つ場合には、立体映像として表示する、あるいは別の視点からの映像として表示するようにしても良い。
【符号の説明】
【０１３５】
１０、１０ａ、１０ｂ、１０ｃ 映像復号装置
１００、１００ａ 領域映像ストリーム切換部
１０１ 読み出し部
１０２、１０２ａ 読み出し決定部
１０３ 復号部
１０４ 画像切り出し部
１０５ 切り出し位置決定部
１０６ 探索読み出し部
２０、２０ａ、２０ｂ、２０ｃ 映像送信装置
２００、２００ａ 領域映像ストリーム切換部
２０１、２０１ａ、２０１ｂ ストリーム送信部
２０２ 領域映像位置情報送信部
２０３ 元映像
３０、３０ａ、３０ｂ、３０ｃ 映像受信装置
３０１ 領域映像位置情報受信部
３０２ 切り出し位置決定部
３０３ ストリーム受信部
３０４ 読み出し部
３０５ 復号部
３０６ 画像切り出し部
３０７、３０７ａ 出力画像座標指定部
３０８ 送信要求決定部
３０９ 送信要求部
３１０ 読み出し決定部
３１１ 探索読み出し部
３１２ 出力画像面指定部
【特許請求の範囲】
【請求項１】
２次元で表現される面上の基準位置に対してＮ個のそれぞれ異なる座標位置を示す領域映像位置情報と、各領域映像位置情報に対応したＮ個の映像ストリームで構成される符号化データとから、該符号化データの一部を復号して出力画像を得る映像復号装置であって、
前記基準位置に対する出力画像の座標位置と前記領域映像位置情報とに基づいて、出力画像の画素数が最も多く得られるようにｉ番目（１≦ｉ≦Ｎ）の映像ストリームを読み出すことを決定する読み出し決定部と、
前記ｉ番目の映像ストリームを読み出す読み出し部と、
前記読み出し部で読み出した前記ｉ番目の映像ストリームを復号する復号部と、
前記復号部で得られる復号画像の一部を切り出して出力する画像切り出し部と、
前記ｉ番目の映像ストリームの領域映像位置情報を用いて、前記基準位置に対する出力画像の座標位置が同一になるように、前記画像切り出し部での切り出し位置を決定する切り出し位置決定部と
を備えることを特徴とする映像復号装置。
【請求項２】
２次元で表現される面上の基準位置に対してＮ個のそれぞれ異なる座標位置を示す領域映像位置情報と、各領域映像位置情報に対応したＮ個の映像ストリームと各映像ストリームを区別するストリームＩＤとを多重化した１つのストリームで構成される符号化データとから、符号化データの一部を復号して出力画像を得る映像復号装置であって、
前記基準位置に対する出力画像の座標位置と前記領域映像位置情報とに基づいて、出力画像の画素数が最も多く得られるようにｉ番目（１≦ｉ≦Ｎ）の映像ストリームを読み出すことを決定する読み出し決定部と、
前記符号化データ中のストリームＩＤに基づいて、前記読み出し決定部により決定された前記ｉ番目の映像ストリームを探索し、該ｉ番目の映像ストリームを読み出す探索読み出し部と、
前記探索読み出し部で得られる前記ｉ番目の映像ストリームを復号する復号部と、
前記復号部で得られる復号画像の一部を切り出して出力する画像切り出し部と、
前記ｉ番目の映像ストリームの領域映像位置情報を用いて、前記基準位置に対する出力画像の座標位置が同一になるように、前記画像切り出し部での切り出し位置を決定する切り出し位置決定部と
を備えることを特徴とする映像復号装置。
【請求項３】
２次元で表現される面上で定義される元映像の基準位置に対するＮ個の部分的な領域映像の座標位置である領域映像位置情報を送信する領域映像位置情報送信部と、
Ｎ個の領域映像の映像ストリームのうちのｉ番目（１≦ｉ≦Ｎ）の映像ストリームを送信するストリーム送信部と
を備える映像送信装置と、
前記Ｎ個の部分的な領域映像の座標位置である領域映像位置情報を受信する領域映像位置情報受信部と、
前記ｉ番目の映像ストリームを受信するストリーム受信部と、
前記ストリーム受信部で受信された前記ｉ番目の映像ストリームを読み出す読み出し部と、
前記読み出し部で読み出した前記ｉ番目の映像ストリームを復号する復号部と、
前記復号部で得られる復号画像の一部を切り出して出力する画像切り出し部と、
前記ｉ番目の映像ストリームの領域映像位置情報を用いて、前記基準位置に対する出力画像の座標位置が同一になるように、前記画像切り出し部での切り出し位置を決定する切り出し位置決定部と、
前記基準位置に対する次の出力画像の座標位置を指定する出力画像座標指定部と、
前記出力画像座標指定部で指定された次の出力画像の座標位置と前記領域映像位置情報とに基づいて、次の出力画像の画素数が最も多く得られるように、ｊ番目（１≦ｊ≦Ｎ）の映像ストリームの送信を要求することを決定する送信要求決定部と、
前記ｊ番目の映像ストリームの送信を、前記映像送信装置に要求する送信要求部と
を備える映像受信装置と
を具備することを特徴とする映像送受信装置。
【請求項４】
２次元で表現される面上で定義される元映像の基準位置に対するＮ個の部分的な領域映像の座標位置である領域映像位置情報を送信する領域映像位置情報送信部と、
前記Ｎ個の部分的な領域映像の映像ストリームと各映像ストリームを区別するストリームＩＤとを多重化した１つのストリームから、Ｍ個（Ｍ≦Ｎ）のａ１からａｍ番目の映像ストリームと対応するストリームＩＤとを多重化した１つのストリームを抽出して送信するストリーム送信部と
を備える映像送信装置と、
前記Ｎ個の部分的な領域映像の領域映像位置情報を受信する領域映像位置情報受信部と、
前記Ｍ個のａ１からａｍ番目の映像ストリームを受信するストリーム受信部と、
前記基準位置に対する出力画像の座標位置と前記領域映像位置情報とに基づいて、出力画像の画素数が最も多く得られるようにｉ番目（ｉはａ１からａｍのいずれか）の映像ストリームを読み出すことを決定する読み出し決定部と、
前記ストリーム受信部で受信された前記Ｍ個のａ１からａｍ番目の映像ストリーム中のストリームＩＤに基づいて、前記読み出し決定部により決定された前記ｉ番目の映像ストリームを探索して読み出す探索読み出し部と、
前記探索読み出し部で読み出した前記ｉ番目の映像ストリームを復号する復号部と、
前記復号部で得られる復号画像の一部を切り出して出力する画像切り出し部と、
前記ｉ番目の映像ストリームの領域映像位置情報を用いて、前記基準位置に対する出力画像の座標位置が同一になるように、前記画像切り出し部での切り出し位置を決定する切り出し位置決定部と、
次の出力画像の座標位置を指定する出力画像座標指定部と、
前記基準位置に対する次の出力画像の座標位置と前記領域映像位置情報とに基づいて、次の出力画像の画素数が多く得られるように、Ｍ個（Ｍ≦Ｎ）のｂ１からｂｍ番目の映像ストリームの送信を要求することを決定する送信要求決定部と、
前記ｂ１からｂｍ番目の映像ストリームの送信を、前記映像送信装置に要求する送信要求部と
を備える映像受信装置と
を具備することを特徴とする映像送受信装置。
【請求項５】
２次元で表現される面上で定義される元映像の基準位置に対するＮ個の部分的な領域映像の座標位置である領域映像位置情報を送信する領域映像位置情報送信部と、
元映像の一部の画像情報からｉ番目（１≦ｉ≦Ｎ）の領域映像を符号化して映像ストリームを送信するストリーム送信部と、
を備える映像送信装置と、
Ｎ個の領域映像位置情報を受信する領域映像位置情報受信部と、
前記ｉ番目の映像ストリームを受信するストリーム受信部と、
前記ストリーム受信部により受信された前記ｉ番目の映像ストリームを読み出す読み出し部と、
前記読み出し部で読み出された前記ｉ番目の映像ストリームを復号する復号部と、
前記復号部で得られる復号画像の一部を切り出して出力する画像切り出し部と、
前記ｉ番目の映像ストリームの領域映像位置情報を用いて、前記基準位置に対する出力画像の座標位置が同一になるように、前記画像切り出し部での切り出し位置を決定する切り出し位置決定部と、
次の出力画像の座標位置を指定する出力画像座標指定部と、
前記基準位置に対する次の出力画像の座標位置と前記領域映像位置情報とに基づいて、次の出力画像が最も多く得られるようにｊ番目（１≦ｊ≦Ｎ）の映像ストリームの送信を要求することを決定する送信要求決定部と、
前記送信要求決定部で決定された前記ｊ番目の映像ストリームの送信を、前記映像送信装置に要求する送信要求部と
を備える映像受信装置と
を具備することを特徴とする映像送受信装置。
【請求項６】
２次元で表現される面上で定義される元映像の基準位置に対するＮ個の部分的な領域映像の座標位置である領域映像位置情報を送信する領域映像位置情報送信部と、
前記元映像の一部の画像情報から、Ｍ個（Ｍ≦Ｎ）のａ１からａｍ番目の領域映像を符号化して得られる映像ストリームと対応するストリームＩＤとを多重化して送信するストリーム送信部と、
を備える映像送信装置と、
前記Ｎ個の領域映像位置情報を受信する領域映像位置情報受信部と、
前記Ｍ個（Ｍ≦Ｎ）のａ１からａｍ番目のストリームを受信するストリーム受信部と、
前記基準位置に対する出力画像の座標位置と前記領域映像位置情報とに基づいて、出力画像の画素数が最も多く得られるようにｉ番目（ｉはａ１からａｍのいずれか）の映像ストリームを読み出すことを決定する読み出し決定部と、
符号化データ中のストリームＩＤに基づいて、前記読み出し決定部により決定された前記ｉ番目の映像ストリームを探索して読み出す探索読み出し部と、
前記探索読み出し部で読み出された前記ｉ番目の映像ストリームを復号する復号部と、
前記復号部で得られる復号画像の一部を切り出して出力する画像切り出し部と、
前記ｉ番目の映像ストリームの領域映像位置情報を用いて、前記基準位置に対する出力画像の座標位置が同一になるように、前記画像切り出し部での切り出し位置を決定する切り出し位置決定部と、
次の出力画像の座標位置を指定する出力画像座標指定部と、
前記基準位置に対する次の出力画像の座標位置と前記領域映像位置情報とに基づいて、次の出力画像の画素数が多く得られるように、Ｍ個（Ｍ＜＝Ｎ）のｂ１からｂｍ番目の映像ストリームの送信を要求することを決定する送信要求決定部と、
前記送信要求決定部により決定された前記ｂ１からｂｍ番目の映像ストリームの送信を、前記映像送信装置に要求する送信要求部と
を備える映像受信装置と
を具備することを特徴とする映像送受信装置。
【請求項７】
２次元で表現されるＬ（Ｌ≧２）個の面について、それぞれの面上の基準位置に対してＮｋ（１≦ｋ≦Ｌ）個のそれぞれ異なる座標位置を示す領域映像位置情報と、各領域映像位置情報に対応した複数個の映像ストリームとで構成される符号化データとに基づいて、該符号化データの一部を復号して出力画像を得る映像復号装置であって、
出力画像を切り出す面ｃ（１≦ｃ≦Ｌ）における、前記基準位置に対する出力画像の座標位置と前記領域映像位置情報とに基づいて、出力画像の画素数が最も多く得られるようにｉ番目（１≦ｉ≦Ｎｃ）の映像ストリームを読み出すことを決定する読み出し決定部と、
前記読み出し決定部により決定された前記ｉ番目の映像ストリームを読み出す読み出し部と、
前記読み出し部で得られる前記ｉ番目の映像ストリームを復号する復号部と、
前記復号部で得られる復号画像の一部を切り出して出力する画像切り出し部と、
前記ｉ番目の映像ストリームの領域映像位置情報を用いて、前記基準位置に対する出力画像の座標位置が同一になるように、前記画像切り出し部での切り出し位置を決定する切り出し位置決定部と
を備えることを特徴とする映像復号装置。
【請求項８】
２次元で表現されるＬ（Ｌ≧２）個の面について、それぞれの面上の基準位置に対してＮｋ（１≦ｋ≦Ｌ）個のそれぞれ異なる座標位置を示す領域映像位置情報と、各領域映像位置情報に対応した複数個の映像ストリームと各映像ストリームを区別するストリームＩＤとを多重化した１つのストリームで構成される符号化データとに基づいて、該符号化データの一部を復号して出力画像を得る映像復号装置であって、
出力画像を切り出す面ｃ（１≦ｃ≦Ｌ）における、前記基準位置に対する出力画像の座標位置と前記領域映像位置情報とに基づいて、出力画像の画素数が最も多く得られるようにｉ番目（１≦ｉ≦Ｎｃ）の映像ストリームを読み出すことを決定する読み出し決定部と、
前記符号化データ中のストリームＩＤに基づいて、前記読み出し決定部により決定された前記ｉ番目の映像ストリームを探索して読み出す探索読み出し部と、
前記探索読み出し部で読み出した前記ｉ番目の映像ストリームを復号する復号部と、
前記復号部で得られる復号画像の一部を切り出して出力する画像切り出し部と、
前記ｉ番目の映像ストリームの領域映像位置情報を用いて、前記基準位置に対する出力画像の座標位置が同一になるように、前記画像切り出し部での切り出し位置を決定する切り出し位置決定部と、
を備えることを特徴とする映像復号装置。
【請求項９】
２次元で表現されるＬ（Ｌ≧２）個の面について、それぞれの面上で定義される基準位置に対するＮｋ（１≦ｋ≦Ｌ）個の部分的な領域映像の座標位置である全ての領域映像位置情報を送信する領域映像位置情報送信部と、
面ｃ（１≦ｃ≦Ｌ）におけるＮｃ個の領域映像の映像ストリームのうちのｉ番目（１≦ｉ≦Ｎｃ）のストリームを送信するストリーム送信部と、
を備える映像送信装置と、
全ての領域映像位置情報を受信する領域映像位置情報受信部と、
前記ｉ番目の映像ストリームを受信するストリーム受信部と、
前記ストリーム受信部で受信された前記ｉ番目の映像ストリームを読み出す読み出し部と、
前記読み出し部で読み出した前記ｉ番目の映像ストリームを復号する復号部と、
前記復号部で得られる復号画像の一部を切り出して出力する画像切り出し部と、
前記ｉ番目の領域映像位置情報を用いて、前記基準位置に対する出力画像の座標位置が同一になるように、前記画像切り出し部での切り出し位置を決定する切り出し位置決定部と、
次の出力画像を切り出す面ｄ（１≦ｄ≦Ｌ）を指定する出力画像面指定部と、
前記次の出力画像の座標位置を指定する出力画像座標指定部と、
前記出力画像面指定部で指定した面ｄにおける、前記基準位置に対する次の出力画像の座標位置と前記領域映像位置情報とに基づいて、前記次の出力画像の画素数が最も多く得られるようにｊ番目（１≦ｊ≦Ｎｄ）の映像ストリームの送信を要求することを決定する送信要求決定部と、
前記送信要求決定部によって決定された、面ｄ（１≦ｄ≦Ｌ）におけるｊ番目（１≦ｊ≦Ｎｄ）の映像ストリームの送信を、前記映像送信装置に要求する送信要求部と
を備える映像受信装置と
を具備することを特徴とする映像送受信装置。
【請求項１０】
２次元で表現されるＬ（Ｌ≧２）個の面について、それぞれの面上で定義される基準位置に対するＮｋ（１≦ｋ≦Ｌ）個の部分的な領域映像の座標位置である全ての領域映像位置情報を送信する領域映像位置情報送信部と、
全ての領域映像の映像ストリームと各映像ストリームを区別するストリームＩＤとを多重化した１つのストリームから、Ｍ個のａ１からａｍ番目の映像ストリームと対応するストリームＩＤとを多重化した１つのストリームを抽出して送信するストリーム送信部と、
を備える映像送信装置と、
全ての領域映像位置情報を受信する領域映像位置情報受信部と、
前記Ｍ個のａ１からａｍ番目のストリームを受信するストリーム受信部と、
出力画像を切り出す面ｃ（１≦ｃ≦Ｌ）における、前記基準位置に対する出力画像の座標位置と前記領域映像位置情報とに基づいて、前記出力画像の画素数が最も多く得られるようにｉ番目（ｉはａ１からａｍのいずれか）の映像ストリームを読み出すことを決定する読み出し決定部と、
符号化データ中のストリームＩＤに基づいて、前記読み出し決定部で決定された前記ｉ番目の映像ストリームを探索して読み出す探索読み出し部と、
前記探索読み出し部で読み出された前記ｉ番目の映像ストリームを復号する復号部と、
前記復号部で得られる復号画像の一部を切り出して出力する画像切り出し部と、
前記ｉ番目の映像ストリームの領域映像位置情報を用いて、前記基準位置に対する出力画像の座標位置が同一になるように、前記画像切り出し部での切り出し位置を決定する切り出し位置決定部と、
次の出力画像を切り出す１つ以上の面ｄ（１≦ｄ≦Ｌ）を指定する出力画像面指定部と、
次の出力画像の座標位置を指定する出力画像座標指定部と、
前記出力画像面指定部で指定した面ｄにおける、前記基準位置に対する次の出力画像の座標位置と前記領域映像位置情報とに基づいて、次の出力画像の画素数が多く得られるように、Ｍ個のｂ１からｂｍ番目の映像ストリームの送信を要求することを決定する送信要求決定部と、
前記送信要求決定部により決定された前記ｂ１からｂｍ番目の映像ストリームの送信を、前記映像送信装置に要求する送信要求部と
を備える映像受信装置と
を具備することを特徴とする映像送受信装置。
【請求項１１】
２次元で表現されるＬ（Ｌ≧２）個の面について、それぞれの面上で定義される基準位置に対するＮｋ（１≦ｋ≦Ｌ）個の部分的な領域映像の座標位置である全ての領域映像位置情報を送信する領域映像位置情報送信部と、
１つ以上の面ｃ（１≦ｃ≦Ｌ）における元映像の一部の画像情報からｉ番目（１≦ｉ≦Ｎｃ）の領域映像を符号化して映像ストリームを送信するストリーム送信部と
を備える映像送信装置と、
全ての領域映像位置情報を受信する領域映像位置情報受信部と、
前記ｉ番目の映像ストリームを受信するストリーム受信部と、
前記ストリーム受信部で受信された前記ｉ番目の映像ストリームを読み出す読み出し部と、
前記読み出し部で読み出した前記ｉ番目の映像ストリームを復号する復号部と、
前記復号部で得られる復号画像の一部を切り出して出力する画像切り出し部と、
前記ｉ番目の映像ストリームの領域映像位置情報を用いて、前記基準位置に対する出力画像の座標位置が同一になるように、前記画像切り出し部での切り出し位置を決定する切り出し位置決定部と、
次の出力画像を切り出す面ｄ（１≦ｄ≦Ｌ）を指定する出力画像面指定部と、
次の出力画像の座標位置を指定する出力画像座標指定部と、
前記出力画像面指定部で指定した面ｄにおける、前記基準位置に対する次の出力画像の座標位置と前記領域映像位置情報とに基づいて、次の出力画像の画素数が最も多く得られるようにｊ番目（１≦ｊ≦Ｎｄ）の映像ストリームの送信を要求することを決定する送信要求決定部と、
前記送信要求決定部によって決定された前記ｊ番目の映像ストリームの送信を、前記映像送信装置に要求する送信要求部と
を備える映像受信装置と
を具備することを特徴とする映像送受信装置。
【請求項１２】
２次元で表現されるＬ（Ｌ≧２）個の面について、それぞれの面上で定義される基準位置に対するＮｋ（１≦ｋ≦Ｌ）個の部分的な領域映像の座標位置である全ての領域映像位置情報を送信する領域映像位置情報送信部と、
１つ以上の面ｃ（１≦ｃ≦Ｌ）における元映像の一部の画像情報からＭ個のａ１からａｍ番目の領域映像を符号化して得られる映像ストリームと対応するストリームＩＤとを多重化して送信するストリーム送信部と、
を備える映像送信装置と、
全ての領域映像位置情報を受信する領域映像位置情報受信部と、
前記Ｍ個のａ１からａｍ番目のストリームを受信するストリーム受信部と、
出力画像を切り出す面ｃ（１≦ｃ≦Ｌ）における、前記基準位置に対する出力画像の座標位置と前記領域映像位置情報とに基づいて、出力画像の画素数が最も多く得られるようにｉ番目（ｉはａ１からａｍのいずれか）の映像ストリームを読み出すことを決定する読み出し決定部と、
符号化データ中のストリームＩＤに基づいて、前記読み出し決定部により決定された前記ｉ番目の映像ストリームを探索して読み出す探索読み出し部と、
前記探索読み出し部で読み出された前記ｉ番目の映像ストリームを復号する復号部と、
前記復号部で得られる復号画像の一部を切り出して出力する画像切り出し部と、
前記ｉ番目の映像ストリームの領域映像位置情報を用いて、前記基準位置に対する出力画像の座標位置が同一になるように、前記画像切り出し部での切り出し位置を決定する切り出し位置決定部と、
次の出力画像を切り出す１つ以上の面ｄ（１≦ｄ≦Ｌ）を指定する出力画像面指定部と、
次の出力画像の座標位置を指定する出力画像座標指定部と、
前記出力画像面指定部で指定した面ｄにおける、前記基準位置に対する次の出力画像の座標位置と前記領域映像位置情報とに基づいて、次の出力画像の画素数が多く得られるように、Ｍ個のｂ１からｂｍ番目の映像ストリームの送信を要求することを決定する送信要求決定部と、
前記送信要求決定部により決定された前記ｂ１からｂｍ番目の映像ストリームの送信を、前記映像送信装置に要求する送信要求部と、
を備える映像受信装置と
を具備することを特徴とする映像送受信装置。
【請求項１３】
２次元で表現される面上の基準位置に対してＮ個のそれぞれ異なる座標位置を示す領域映像位置情報と、各領域映像位置情報に対応したＮ個の映像ストリームで構成される符号化データとから、該符号化データの一部を復号して出力画像を得る映像復号方法であって、
前記基準位置に対する出力画像の座標位置と前記領域映像位置情報とに基づいて、出力画像の画素数が最も多く得られるようにｉ番目（１≦ｉ≦Ｎ）の映像ストリームを読み出すことを決定する読み出し決定ステップと、
前記ｉ番目の映像ストリームを読み出す読み出しステップと、
前記読み出しステップで読み出した前記ｉ番目の映像ストリームを復号する復号ステップと、
前記復号ステップで得られる復号画像の一部を切り出して出力する画像切り出しステップと、
前記ｉ番目の映像ストリームの領域映像位置情報を用いて、前記基準位置に対する出力画像の座標位置が同一になるように、前記画像切り出しステップでの切り出し位置を決定する切り出し位置決定ステップと
を含むことを特徴とする映像復号方法。
【請求項１４】
２次元で表現される面上の基準位置に対してＮ個のそれぞれ異なる座標位置を示す領域映像位置情報と、各領域映像位置情報に対応したＮ個の映像ストリームと各映像ストリームを区別するストリームＩＤとを多重化した１つのストリームで構成される符号化データとから、符号化データの一部を復号して出力画像を得る映像復号方法であって、
前記基準位置に対する出力画像の座標位置と前記領域映像位置情報とに基づいて、出力画像の画素数が最も多く得られるようにｉ番目（１≦ｉ≦Ｎ）の映像ストリームを読み出すことを決定する読み出し決定ステップと、
前記符号化データ中のストリームＩＤに基づいて、前記読み出し決定ステップで決定された前記ｉ番目の映像ストリームを探索し、該ｉ番目の映像ストリームを読み出す探索読み出しステップと、
前記探索読み出しステップで得られる前記ｉ番目の映像ストリームを復号する復号ステップと、
前記復号ステップで得られる復号画像の一部を切り出して出力する画像切り出しステップと、
前記ｉ番目の映像ストリームの領域映像位置情報を用いて、前記基準位置に対する出力画像の座標位置が同一になるように、前記画像切り出しステップでの切り出し位置を決定する切り出し位置決定ステップと
を含むことを特徴とする映像復号方法。
【請求項１５】
映像送信装置が、２次元で表現される面上で定義される元映像の基準位置に対するＮ個の部分的な領域映像の座標位置である領域映像位置情報を送信する領域映像位置情報送信ステップと、
前記映像送信装置が、Ｎ個の領域映像の映像ストリームのうちのｉ番目（１≦ｉ≦Ｎ）の映像ストリームを送信するストリーム送信ステップと、
映像受信装置が、前記Ｎ個の部分的な領域映像の座標位置である領域映像位置情報を受信する領域映像位置情報受信ステップと、
前記映像受信装置が、前記ｉ番目の映像ストリームを受信するストリーム受信ステップと、
前記映像受信装置が、前記ストリーム受信ステップで受信された前記ｉ番目の映像ストリームを読み出す読み出しステップと、
前記映像受信装置が、前記読み出しステップで読み出した前記ｉ番目の映像ストリームを復号する復号ステップと、
前記映像受信装置が、前記復号ステップで得られる復号画像の一部を切り出して出力する画像切り出しステップと、
前記映像受信装置が、前記ｉ番目の映像ストリームの領域映像位置情報を用いて、前記基準位置に対する出力画像の座標位置が同一になるように、前記画像切り出しステップでの切り出し位置を決定する切り出し位置決定ステップと、
前記映像受信装置が、前記基準位置に対する次の出力画像の座標位置を指定する出力画像座標指定ステップと、
前記映像受信装置が、前記出力画像座標指定ステップで指定された次の出力画像の座標位置と前記領域映像位置情報とに基づいて、次の出力画像の画素数が最も多く得られるように、ｊ番目（１≦ｊ≦Ｎ）の映像ストリームの送信を要求することを決定する送信要求決定ステップと、
前記映像受信装置が、前記ｊ番目の映像ストリームの送信を、前記映像送信装置に要求する送信要求ステップと
を含むことを特徴とする映像送受信方法。
【請求項１６】
映像送信装置が、２次元で表現される面上で定義される元映像の基準位置に対するＮ個の部分的な領域映像の座標位置である領域映像位置情報を送信する領域映像位置情報送信ステップと、
前記映像送信装置が、前記Ｎ個の部分的な領域映像の映像ストリームと各映像ストリームを区別するストリームＩＤとを多重化した１つのストリームから、Ｍ個（Ｍ≦Ｎ）のａ１からａｍ番目の映像ストリームと対応するストリームＩＤとを多重化した１つのストリームを抽出して送信するストリーム送信ステップと、
前記映像受信装置が、前記Ｎ個の部分的な領域映像の領域映像位置情報を受信する領域映像位置情報受信ステップと、
前記映像受信装置が、前記Ｍ個のａ１からａｍ番目の映像ストリームを受信するストリーム受信ステップと、
前記基準位置に対する出力画像の座標位置と前記領域映像位置情報とに基づいて、出力画像の画素数が最も多く得られるようにｉ番目（ｉはａ１からａｍのいずれか）の映像ストリームを読み出すことを決定する読み出し決定ステップと、
前記映像受信装置が、前記ストリーム受信ステップで受信された前記Ｍ個のａ１からａｍ番目の映像ストリーム中のストリームＩＤに基づいて、前記読み出し決定ステップで決定された前記ｉ番目の映像ストリームを探索して読み出す探索読み出しステップと、
前記映像受信装置が、前記探索読み出しステップで読み出した前記ｉ番目の映像ストリームを復号する復号ステップと、
前記映像受信装置が、前記復号ステップで得られる復号画像の一部を切り出して出力する画像切り出しステップと、
前記映像受信装置が、前記ｉ番目の映像ストリームの領域映像位置情報を用いて、前記基準位置に対する出力画像の座標位置が同一になるように、前記画像切り出しステップでの切り出し位置を決定する切り出し位置決定ステップと、
前記映像受信装置が、次の出力画像の座標位置を指定する出力画像座標指定ステップと、
前記映像受信装置が、前記基準位置に対する次の出力画像の座標位置と前記領域映像位置情報とに基づいて、次の出力画像の画素数が多く得られるように、Ｍ個（Ｍ≦Ｎ）のｂ１からｂｍ番目の映像ストリームの送信を要求することを決定する送信要求決定ステップと、
前記映像受信装置が、前記ｂ１からｂｍ番目の映像ストリームの送信を、前記映像送信装置に要求する送信要求ステップと
を含むことを特徴とする映像送受信方法。
【請求項１７】
映像送信装置が、２次元で表現される面上で定義される元映像の基準位置に対するＮ個の部分的な領域映像の座標位置である領域映像位置情報を送信する領域映像位置情報送信ステップと、
前記映像送信装置が、元映像の一部の画像情報からｉ番目（１≦ｉ≦Ｎ）の領域映像を符号化して映像ストリームを送信するストリーム送信ステップと、
映像受信装置が、Ｎ個の領域映像位置情報を受信する領域映像位置情報受信ステップと、
前記映像受信装置が、前記ｉ番目の映像ストリームを受信するストリーム受信ステップと、
前記映像受信装置が、前記ストリーム受信ステップで受信された前記ｉ番目の映像ストリームを読み出す読み出しステップと、
前記映像受信装置が、前記読み出しステップで読み出された前記ｉ番目の映像ストリームを復号する復号ステップと、
前記映像受信装置が、前記復号ステップで得られる復号画像の一部を切り出して出力する画像切り出しステップと、
前記映像受信装置が、前記ｉ番目の映像ストリームの領域映像位置情報を用いて、前記基準位置に対する出力画像の座標位置が同一になるように、前記画像切り出しステップでの切り出し位置を決定する切り出し位置決定ステップと、
前記映像受信装置が、次の出力画像の座標位置を指定する出力画像座標指定ステップと、
前記映像受信装置が、前記基準位置に対する次の出力画像の座標位置と前記領域映像位置情報とに基づいて、次の出力画像が最も多く得られるようにｊ番目（１≦ｊ≦Ｎ）の映像ストリームの送信を要求することを決定する送信要求決定ステップと、
前記映像受信装置が、前記送信要求決定ステップで決定された前記ｊ番目の映像ストリームの送信を、前記映像送信装置に要求する送信要求ステップと
を含むことを特徴とする映像送受信方法。
【請求項１８】
映像送信装置が、２次元で表現される面上で定義される元映像の基準位置に対するＮ個の部分的な領域映像の座標位置である領域映像位置情報を送信する領域映像位置情報送信ステップと、
前記映像送信装置が、前記元映像の一部の画像情報から、Ｍ個（Ｍ≦Ｎ）のａ１からａｍ番目の領域映像を符号化して得られる映像ストリームと対応するストリームＩＤとを多重化して送信するストリーム送信ステップと、
前記映像受信装置が、前記Ｎ個の領域映像位置情報を受信する領域映像位置情報受信ステップと、
前記映像受信装置が、前記Ｍ個（Ｍ≦Ｎ）のａ１からａｍ番目のストリームを受信するストリーム受信ステップと、
前記映像受信装置が、前記基準位置に対する出力画像の座標位置と前記領域映像位置情報とに基づいて、出力画像の画素数が最も多く得られるようにｉ番目（ｉはａ１からａｍのいずれか）の映像ストリームを読み出すことを決定する読み出し決定ステップと、
前記映像受信装置が、符号化データ中のストリームＩＤに基づいて、前記読み出し決定ステップで決定された前記ｉ番目の映像ストリームを探索して読み出す探索読み出しステップと、
前記映像受信装置が、前記探索読み出しステップで読み出された前記ｉ番目の映像ストリームを復号する復号ステップと、
前記映像受信装置が、前記復号ステップで得られる復号画像の一部を切り出して出力する画像切り出しステップと、
前記映像受信装置が、前記ｉ番目の映像ストリームの領域映像位置情報を用いて、前記基準位置に対する出力画像の座標位置が同一になるように、前記画像切り出しステップでの切り出し位置を決定する切り出し位置決定ステップと、
前記映像受信装置が、次の出力画像の座標位置を指定する出力画像座標指定ステップと、
前記映像受信装置が、前記基準位置に対する次の出力画像の座標位置と前記領域映像位置情報とに基づいて、次の出力画像の画素数が多く得られるように、Ｍ個（Ｍ＜＝Ｎ）のｂ１からｂｍ番目の映像ストリームの送信を要求することを決定する送信要求決定ステップと、
前記映像受信装置が、前記送信要求決定ステップで決定された前記ｂ１からｂｍ番目の映像ストリームの送信を、前記映像送信装置に要求する送信要求ステップと
を含むことを特徴とする映像送受信方法。
【請求項１９】
２次元で表現されるＬ（Ｌ≧２）個の面について、それぞれの面上の基準位置に対してＮｋ（１≦ｋ≦Ｌ）個のそれぞれ異なる座標位置を示す領域映像位置情報と、各領域映像位置情報に対応した複数個の映像ストリームとで構成される符号化データとに基づいて、該符号化データの一部を復号して出力画像を得る映像復号方法であって、
出力画像を切り出す面ｃ（１≦ｃ≦Ｌ）における、前記基準位置に対する出力画像の座標位置と前記領域映像位置情報とに基づいて、出力画像の画素数が最も多く得られるようにｉ番目（１≦ｉ≦Ｎｃ）の映像ストリームを読み出すことを決定する読み出し決定ステップと、
前記読み出し決定ステップで決定された前記ｉ番目の映像ストリームを読み出す読み出しステップと、
前記読み出しステップで得られる前記ｉ番目の映像ストリームを復号する復号ステップと、
前記復号ステップで得られる復号画像の一部を切り出して出力する画像切り出しステップと、
前記ｉ番目の映像ストリームの領域映像位置情報を用いて、前記基準位置に対する出力画像の座標位置が同一になるように、前記画像切り出しステップでの切り出し位置を決定する切り出し位置決定ステップと
を含むことを特徴とする映像復号方法。
【請求項２０】
２次元で表現されるＬ（Ｌ≧２）個の面について、それぞれの面上の基準位置に対してＮｋ（１≦ｋ≦Ｌ）個のそれぞれ異なる座標位置を示す領域映像位置情報と、各領域映像位置情報に対応した複数個の映像ストリームと各映像ストリームを区別するストリームＩＤとを多重化した１つのストリームで構成される符号化データとに基づいて、該符号化データの一部を復号して出力画像を得る映像復号方法あって、
出力画像を切り出す面ｃ（１≦ｃ≦Ｌ）における、前記基準位置に対する出力画像の座標位置と前記領域映像位置情報とに基づいて、出力画像の画素数が最も多く得られるようにｉ番目（１≦ｉ≦Ｎｃ）の映像ストリームを読み出すことを決定する読み出し決定ステップと、
前記符号化データ中のストリームＩＤに基づいて、前記読み出し決定ステップで決定された前記ｉ番目の映像ストリームを探索して読み出す探索読み出しステップと、
前記探索読み出しステップで読み出した前記ｉ番目の映像ストリームを復号する復号ステップと、
前記復号ステップで得られる復号画像の一部を切り出して出力する画像切り出しステップと、
前記ｉ番目の映像ストリームの領域映像位置情報を用いて、前記基準位置に対する出力画像の座標位置が同一になるように、前記画像切り出しステップでの切り出し位置を決定する切り出し位置決定ステップと
を含むことを特徴とする映像復号方法。
【請求項２１】
映像送信装置が、２次元で表現されるＬ（Ｌ≧２）個の面について、それぞれの面上で定義される基準位置に対するＮｋ（１≦ｋ≦Ｌ）個の部分的な領域映像の座標位置である全ての領域映像位置情報を送信する領域映像位置情報送信ステップと、
前記映像送信装置が、面ｃ（１≦ｃ≦Ｌ）におけるＮｃ個の領域映像の映像ストリームのうちのｉ番目（１≦ｉ≦Ｎｃ）のストリームを送信するストリーム送信ステップと、
映像受信装置が、全ての領域映像位置情報を受信する領域映像位置情報受信ステップと、
前記映像受信装置が、前記ｉ番目の映像ストリームを受信するストリーム受信ステップと、
前記映像受信装置が、前記ストリーム受信ステップで受信された前記ｉ番目の映像ストリームを読み出す読み出しステップと、
前記映像受信装置が、前記読み出しステップで読み出した前記ｉ番目の映像ストリームを復号する復号ステップと、
前記映像受信装置が、前記復号ステップで得られる復号画像の一部を切り出して出力する画像切り出しステップと、
前記映像受信装置が、前記ｉ番目の領域映像位置情報を用いて、前記基準位置に対する出力画像の座標位置が同一になるように、前記画像切り出しステップでの切り出し位置を決定する切り出し位置決定ステップと、
前記映像受信装置が、次の出力画像を切り出す面ｄ（１≦ｄ≦Ｌ）を指定する出力画像面指定ステップと、
前記映像受信装置が、前記次の出力画像の座標位置を指定する出力画像座標指定ステップと、
前記映像受信装置が、前記出力画像面指定ステップで指定した面ｄにおける、前記基準位置に対する次の出力画像の座標位置と前記領域映像位置情報とに基づいて、前記次の出力画像の画素数が最も多く得られるようにｊ番目（１≦ｊ≦Ｎｄ）の映像ストリームの送信を要求することを決定する送信要求決定ステップと、
前記映像受信装置が、前記送信要求決定ステップで決定された、面ｄ（１≦ｄ≦Ｌ）におけるｊ番目（１≦ｊ≦Ｎｄ）の映像ストリームの送信を、前記映像送信装置に要求する送信要求ステップと
を含むことを特徴とする映像送受信方法。
【請求項２２】
映像送信装置が、２次元で表現されるＬ（Ｌ≧２）個の面について、それぞれの面上で定義される基準位置に対するＮｋ（１≦ｋ≦Ｌ）個の部分的な領域映像の座標位置である全ての領域映像位置情報を送信する領域映像位置情報送信ステップと、
前記映像送信装置が、全ての領域映像の映像ストリームと各映像ストリームを区別するストリームＩＤとを多重化した１つのストリームから、Ｍ個のａ１からａｍ番目の映像ストリームと対応するストリームＩＤとを多重化した１つのストリームを抽出して送信するストリーム送信ステップと、
映像受信装置が、全ての領域映像位置情報を受信する領域映像位置情報受信ステップと、
前記映像受信装置が、前記Ｍ個のａ１からａｍ番目のストリームを受信するストリーム受信ステップと、
前記映像受信装置が、出力画像を切り出す面ｃ（１≦ｃ≦Ｌ）における、前記基準位置に対する出力画像の座標位置と前記領域映像位置情報とに基づいて、前記出力画像の画素数が最も多く得られるようにｉ番目（ｉはａ１からａｍのいずれか）の映像ストリームを読み出すことを決定する読み出し決定ステップと、
前記映像受信装置が、符号化データ中のストリームＩＤに基づいて、前記読み出し決定ステップで決定された前記ｉ番目の映像ストリームを探索して読み出す探索読み出しステップと、
前記映像受信装置が、前記探索読み出しステップで読み出された前記ｉ番目の映像ストリームを復号する復号ステップと、
前記映像受信装置が、前記復号ステップで得られる復号画像の一部を切り出して出力する画像切り出しステップと、
前記映像受信装置が、前記ｉ番目の映像ストリームの領域映像位置情報を用いて、前記基準位置に対する出力画像の座標位置が同一になるように、前記画像切り出しステップでの切り出し位置を決定する切り出し位置決定ステップと、
前記映像受信装置が、次の出力画像を切り出す１つ以上の面ｄ（１≦ｄ≦Ｌ）を指定する出力画像面指定ステップと、
前記映像受信装置が、次の出力画像の座標位置を指定する出力画像座標指定ステップと、
前記映像受信装置が、前記出力画像面指定ステップで指定した面ｄにおける、前記基準位置に対する次の出力画像の座標位置と前記領域映像位置情報とに基づいて、次の出力画像の画素数が多く得られるように、Ｍ個のｂ１からｂｍ番目の映像ストリームの送信を要求することを決定する送信要求決定ステップと、
前記映像受信装置が、前記送信要求決定ステップで決定された前記ｂ１からｂｍ番目の映像ストリームの送信を、前記映像送信装置に要求する送信要求部と
を含むことを特徴とする映像送受信方法。
【請求項２３】
映像送信装置が、２次元で表現されるＬ（Ｌ≧２）個の面について、それぞれの面上で定義される基準位置に対するＮｋ（１≦ｋ≦Ｌ）個の部分的な領域映像の座標位置である全ての領域映像位置情報を送信する領域映像位置情報送信ステップと、
前記映像送信装置が、１つ以上の面ｃ（１≦ｃ≦Ｌ）における元映像の一部の画像情報からｉ番目（１≦ｉ≦Ｎｃ）の領域映像を符号化して映像ストリームを送信するストリーム送信ステップと、
映像受信装置が、全ての領域映像位置情報を受信する領域映像位置情報受信ステップと、
前記映像受信装置が、前記ｉ番目の映像ストリームを受信するストリーム受信ステップと、
前記映像受信装置が、前記ストリーム受信ステップで受信された前記ｉ番目の映像ストリームを読み出す読み出しステップと、
前記映像受信装置が、前記読み出しステップで読み出した前記ｉ番目の映像ストリームを復号する復号ステップと、
前記映像受信装置が、前記復号ステップで得られる復号画像の一部を切り出して出力する画像切り出しステップと、
前記映像受信装置が、前記ｉ番目の映像ストリームの領域映像位置情報を用いて、前記基準位置に対する出力画像の座標位置が同一になるように、前記画像切り出しステップでの切り出し位置を決定する切り出し位置決定ステップと、
前記映像受信装置が、次の出力画像を切り出す面ｄ（１≦ｄ≦Ｌ）を指定する出力画像面指定ステップと、
前記映像受信装置が、次の出力画像の座標位置を指定する出力画像座標指定ステップと、
前記映像受信装置が、前記出力画像面指定ステップで指定した面ｄにおける、前記基準位置に対する次の出力画像の座標位置と前記領域映像位置情報とに基づいて、次の出力画像の画素数が最も多く得られるようにｊ番目（１≦ｊ≦Ｎｄ）の映像ストリームの送信を要求することを決定する送信要求決定ステップと、
前記映像受信装置が、前記送信要求決定ステップで決定された前記ｊ番目の映像ストリームの送信を、前記映像送信装置に要求する送信要求ステップと
を含むことを特徴とする映像送受信方法。
【請求項２４】
映像送信装置が、２次元で表現されるＬ（Ｌ≧２）個の面について、それぞれの面上で定義される基準位置に対するＮｋ（１≦ｋ≦Ｌ）個の部分的な領域映像の座標位置である全ての領域映像位置情報を送信する領域映像位置情報送信ステップと、
前記映像送信装置が、１つ以上の面ｃ（１≦ｃ≦Ｌ）における元映像の一部の画像情報からＭ個のａ１からａｍ番目の領域映像を符号化して得られる映像ストリームと対応するストリームＩＤとを多重化して送信するストリーム送信ステップと、
映像受信装置が、全ての領域映像位置情報を受信する領域映像位置情報受信ステップと、
前記映像受信装置が、前記Ｍ個のａ１からａｍ番目のストリームを受信するストリーム受信ステップと、
前記映像受信装置が、出力画像を切り出す面ｃ（１≦ｃ≦Ｌ）における、前記基準位置に対する出力画像の座標位置と前記領域映像位置情報とに基づいて、出力画像の画素数が最も多く得られるようにｉ番目（ｉはａ１からａｍのいずれか）の映像ストリームを読み出すことを決定する読み出し決定ステップと、
前記映像受信装置が、符号化データ中のストリームＩＤに基づいて、前記読み出し決定ステップで決定された前記ｉ番目の映像ストリームを探索して読み出す探索読み出しステップと、
前記映像受信装置が、前記探索読み出しステップで読み出された前記ｉ番目の映像ストリームを復号する復号ステップと、
前記映像受信装置が、前記復号ステップで得られる復号画像の一部を切り出して出力する画像切り出しステップと、
前記映像受信装置が、前記ｉ番目の映像ストリームの領域映像位置情報を用いて、前記基準位置に対する出力画像の座標位置が同一になるように、前記画像切り出しステップでの切り出し位置を決定する切り出し位置決定ステップと、
前記映像受信装置が、次の出力画像を切り出す１つ以上の面ｄ（１≦ｄ≦Ｌ）を指定する出力画像面指定ステップと、
前記映像受信装置が、次の出力画像の座標位置を指定する出力画像座標指定ステップと、
前記映像受信装置が、前記出力画像面指定ステップで指定した面ｄにおける、前記基準位置に対する次の出力画像の座標位置と前記領域映像位置情報とに基づいて、次の出力画像の画素数が多く得られるように、Ｍ個のｂ１からｂｍ番目の映像ストリームの送信を要求することを決定する送信要求決定ステップと、
前記映像受信装置が、前記送信要求決定ステップで決定された前記ｂ１からｂｍ番目の映像ストリームの送信を、前記映像送信装置に要求する送信要求ステップと
を含むことを特徴とする映像送受信方法。
【請求項１】
２次元で表現される面上の基準位置に対してＮ個のそれぞれ異なる座標位置を示す領域映像位置情報と、各領域映像位置情報に対応したＮ個の映像ストリームで構成される符号化データとから、該符号化データの一部を復号して出力画像を得る映像復号装置であって、
前記基準位置に対する出力画像の座標位置と前記領域映像位置情報とに基づいて、出力画像の画素数が最も多く得られるようにｉ番目（１≦ｉ≦Ｎ）の映像ストリームを読み出すことを決定する読み出し決定部と、
前記ｉ番目の映像ストリームを読み出す読み出し部と、
前記読み出し部で読み出した前記ｉ番目の映像ストリームを復号する復号部と、
前記復号部で得られる復号画像の一部を切り出して出力する画像切り出し部と、
前記ｉ番目の映像ストリームの領域映像位置情報を用いて、前記基準位置に対する出力画像の座標位置が同一になるように、前記画像切り出し部での切り出し位置を決定する切り出し位置決定部と
を備えることを特徴とする映像復号装置。
【請求項２】
２次元で表現される面上の基準位置に対してＮ個のそれぞれ異なる座標位置を示す領域映像位置情報と、各領域映像位置情報に対応したＮ個の映像ストリームと各映像ストリームを区別するストリームＩＤとを多重化した１つのストリームで構成される符号化データとから、符号化データの一部を復号して出力画像を得る映像復号装置であって、
前記基準位置に対する出力画像の座標位置と前記領域映像位置情報とに基づいて、出力画像の画素数が最も多く得られるようにｉ番目（１≦ｉ≦Ｎ）の映像ストリームを読み出すことを決定する読み出し決定部と、
前記符号化データ中のストリームＩＤに基づいて、前記読み出し決定部により決定された前記ｉ番目の映像ストリームを探索し、該ｉ番目の映像ストリームを読み出す探索読み出し部と、
前記探索読み出し部で得られる前記ｉ番目の映像ストリームを復号する復号部と、
前記復号部で得られる復号画像の一部を切り出して出力する画像切り出し部と、
前記ｉ番目の映像ストリームの領域映像位置情報を用いて、前記基準位置に対する出力画像の座標位置が同一になるように、前記画像切り出し部での切り出し位置を決定する切り出し位置決定部と
を備えることを特徴とする映像復号装置。
【請求項３】
２次元で表現される面上で定義される元映像の基準位置に対するＮ個の部分的な領域映像の座標位置である領域映像位置情報を送信する領域映像位置情報送信部と、
Ｎ個の領域映像の映像ストリームのうちのｉ番目（１≦ｉ≦Ｎ）の映像ストリームを送信するストリーム送信部と
を備える映像送信装置と、
前記Ｎ個の部分的な領域映像の座標位置である領域映像位置情報を受信する領域映像位置情報受信部と、
前記ｉ番目の映像ストリームを受信するストリーム受信部と、
前記ストリーム受信部で受信された前記ｉ番目の映像ストリームを読み出す読み出し部と、
前記読み出し部で読み出した前記ｉ番目の映像ストリームを復号する復号部と、
前記復号部で得られる復号画像の一部を切り出して出力する画像切り出し部と、
前記ｉ番目の映像ストリームの領域映像位置情報を用いて、前記基準位置に対する出力画像の座標位置が同一になるように、前記画像切り出し部での切り出し位置を決定する切り出し位置決定部と、
前記基準位置に対する次の出力画像の座標位置を指定する出力画像座標指定部と、
前記出力画像座標指定部で指定された次の出力画像の座標位置と前記領域映像位置情報とに基づいて、次の出力画像の画素数が最も多く得られるように、ｊ番目（１≦ｊ≦Ｎ）の映像ストリームの送信を要求することを決定する送信要求決定部と、
前記ｊ番目の映像ストリームの送信を、前記映像送信装置に要求する送信要求部と
を備える映像受信装置と
を具備することを特徴とする映像送受信装置。
【請求項４】
２次元で表現される面上で定義される元映像の基準位置に対するＮ個の部分的な領域映像の座標位置である領域映像位置情報を送信する領域映像位置情報送信部と、
前記Ｎ個の部分的な領域映像の映像ストリームと各映像ストリームを区別するストリームＩＤとを多重化した１つのストリームから、Ｍ個（Ｍ≦Ｎ）のａ１からａｍ番目の映像ストリームと対応するストリームＩＤとを多重化した１つのストリームを抽出して送信するストリーム送信部と
を備える映像送信装置と、
前記Ｎ個の部分的な領域映像の領域映像位置情報を受信する領域映像位置情報受信部と、
前記Ｍ個のａ１からａｍ番目の映像ストリームを受信するストリーム受信部と、
前記基準位置に対する出力画像の座標位置と前記領域映像位置情報とに基づいて、出力画像の画素数が最も多く得られるようにｉ番目（ｉはａ１からａｍのいずれか）の映像ストリームを読み出すことを決定する読み出し決定部と、
前記ストリーム受信部で受信された前記Ｍ個のａ１からａｍ番目の映像ストリーム中のストリームＩＤに基づいて、前記読み出し決定部により決定された前記ｉ番目の映像ストリームを探索して読み出す探索読み出し部と、
前記探索読み出し部で読み出した前記ｉ番目の映像ストリームを復号する復号部と、
前記復号部で得られる復号画像の一部を切り出して出力する画像切り出し部と、
前記ｉ番目の映像ストリームの領域映像位置情報を用いて、前記基準位置に対する出力画像の座標位置が同一になるように、前記画像切り出し部での切り出し位置を決定する切り出し位置決定部と、
次の出力画像の座標位置を指定する出力画像座標指定部と、
前記基準位置に対する次の出力画像の座標位置と前記領域映像位置情報とに基づいて、次の出力画像の画素数が多く得られるように、Ｍ個（Ｍ≦Ｎ）のｂ１からｂｍ番目の映像ストリームの送信を要求することを決定する送信要求決定部と、
前記ｂ１からｂｍ番目の映像ストリームの送信を、前記映像送信装置に要求する送信要求部と
を備える映像受信装置と
を具備することを特徴とする映像送受信装置。
【請求項５】
２次元で表現される面上で定義される元映像の基準位置に対するＮ個の部分的な領域映像の座標位置である領域映像位置情報を送信する領域映像位置情報送信部と、
元映像の一部の画像情報からｉ番目（１≦ｉ≦Ｎ）の領域映像を符号化して映像ストリームを送信するストリーム送信部と、
を備える映像送信装置と、
Ｎ個の領域映像位置情報を受信する領域映像位置情報受信部と、
前記ｉ番目の映像ストリームを受信するストリーム受信部と、
前記ストリーム受信部により受信された前記ｉ番目の映像ストリームを読み出す読み出し部と、
前記読み出し部で読み出された前記ｉ番目の映像ストリームを復号する復号部と、
前記復号部で得られる復号画像の一部を切り出して出力する画像切り出し部と、
前記ｉ番目の映像ストリームの領域映像位置情報を用いて、前記基準位置に対する出力画像の座標位置が同一になるように、前記画像切り出し部での切り出し位置を決定する切り出し位置決定部と、
次の出力画像の座標位置を指定する出力画像座標指定部と、
前記基準位置に対する次の出力画像の座標位置と前記領域映像位置情報とに基づいて、次の出力画像が最も多く得られるようにｊ番目（１≦ｊ≦Ｎ）の映像ストリームの送信を要求することを決定する送信要求決定部と、
前記送信要求決定部で決定された前記ｊ番目の映像ストリームの送信を、前記映像送信装置に要求する送信要求部と
を備える映像受信装置と
を具備することを特徴とする映像送受信装置。
【請求項６】
２次元で表現される面上で定義される元映像の基準位置に対するＮ個の部分的な領域映像の座標位置である領域映像位置情報を送信する領域映像位置情報送信部と、
前記元映像の一部の画像情報から、Ｍ個（Ｍ≦Ｎ）のａ１からａｍ番目の領域映像を符号化して得られる映像ストリームと対応するストリームＩＤとを多重化して送信するストリーム送信部と、
を備える映像送信装置と、
前記Ｎ個の領域映像位置情報を受信する領域映像位置情報受信部と、
前記Ｍ個（Ｍ≦Ｎ）のａ１からａｍ番目のストリームを受信するストリーム受信部と、
前記基準位置に対する出力画像の座標位置と前記領域映像位置情報とに基づいて、出力画像の画素数が最も多く得られるようにｉ番目（ｉはａ１からａｍのいずれか）の映像ストリームを読み出すことを決定する読み出し決定部と、
符号化データ中のストリームＩＤに基づいて、前記読み出し決定部により決定された前記ｉ番目の映像ストリームを探索して読み出す探索読み出し部と、
前記探索読み出し部で読み出された前記ｉ番目の映像ストリームを復号する復号部と、
前記復号部で得られる復号画像の一部を切り出して出力する画像切り出し部と、
前記ｉ番目の映像ストリームの領域映像位置情報を用いて、前記基準位置に対する出力画像の座標位置が同一になるように、前記画像切り出し部での切り出し位置を決定する切り出し位置決定部と、
次の出力画像の座標位置を指定する出力画像座標指定部と、
前記基準位置に対する次の出力画像の座標位置と前記領域映像位置情報とに基づいて、次の出力画像の画素数が多く得られるように、Ｍ個（Ｍ＜＝Ｎ）のｂ１からｂｍ番目の映像ストリームの送信を要求することを決定する送信要求決定部と、
前記送信要求決定部により決定された前記ｂ１からｂｍ番目の映像ストリームの送信を、前記映像送信装置に要求する送信要求部と
を備える映像受信装置と
を具備することを特徴とする映像送受信装置。
【請求項７】
２次元で表現されるＬ（Ｌ≧２）個の面について、それぞれの面上の基準位置に対してＮｋ（１≦ｋ≦Ｌ）個のそれぞれ異なる座標位置を示す領域映像位置情報と、各領域映像位置情報に対応した複数個の映像ストリームとで構成される符号化データとに基づいて、該符号化データの一部を復号して出力画像を得る映像復号装置であって、
出力画像を切り出す面ｃ（１≦ｃ≦Ｌ）における、前記基準位置に対する出力画像の座標位置と前記領域映像位置情報とに基づいて、出力画像の画素数が最も多く得られるようにｉ番目（１≦ｉ≦Ｎｃ）の映像ストリームを読み出すことを決定する読み出し決定部と、
前記読み出し決定部により決定された前記ｉ番目の映像ストリームを読み出す読み出し部と、
前記読み出し部で得られる前記ｉ番目の映像ストリームを復号する復号部と、
前記復号部で得られる復号画像の一部を切り出して出力する画像切り出し部と、
前記ｉ番目の映像ストリームの領域映像位置情報を用いて、前記基準位置に対する出力画像の座標位置が同一になるように、前記画像切り出し部での切り出し位置を決定する切り出し位置決定部と
を備えることを特徴とする映像復号装置。
【請求項８】
２次元で表現されるＬ（Ｌ≧２）個の面について、それぞれの面上の基準位置に対してＮｋ（１≦ｋ≦Ｌ）個のそれぞれ異なる座標位置を示す領域映像位置情報と、各領域映像位置情報に対応した複数個の映像ストリームと各映像ストリームを区別するストリームＩＤとを多重化した１つのストリームで構成される符号化データとに基づいて、該符号化データの一部を復号して出力画像を得る映像復号装置であって、
出力画像を切り出す面ｃ（１≦ｃ≦Ｌ）における、前記基準位置に対する出力画像の座標位置と前記領域映像位置情報とに基づいて、出力画像の画素数が最も多く得られるようにｉ番目（１≦ｉ≦Ｎｃ）の映像ストリームを読み出すことを決定する読み出し決定部と、
前記符号化データ中のストリームＩＤに基づいて、前記読み出し決定部により決定された前記ｉ番目の映像ストリームを探索して読み出す探索読み出し部と、
前記探索読み出し部で読み出した前記ｉ番目の映像ストリームを復号する復号部と、
前記復号部で得られる復号画像の一部を切り出して出力する画像切り出し部と、
前記ｉ番目の映像ストリームの領域映像位置情報を用いて、前記基準位置に対する出力画像の座標位置が同一になるように、前記画像切り出し部での切り出し位置を決定する切り出し位置決定部と、
を備えることを特徴とする映像復号装置。
【請求項９】
２次元で表現されるＬ（Ｌ≧２）個の面について、それぞれの面上で定義される基準位置に対するＮｋ（１≦ｋ≦Ｌ）個の部分的な領域映像の座標位置である全ての領域映像位置情報を送信する領域映像位置情報送信部と、
面ｃ（１≦ｃ≦Ｌ）におけるＮｃ個の領域映像の映像ストリームのうちのｉ番目（１≦ｉ≦Ｎｃ）のストリームを送信するストリーム送信部と、
を備える映像送信装置と、
全ての領域映像位置情報を受信する領域映像位置情報受信部と、
前記ｉ番目の映像ストリームを受信するストリーム受信部と、
前記ストリーム受信部で受信された前記ｉ番目の映像ストリームを読み出す読み出し部と、
前記読み出し部で読み出した前記ｉ番目の映像ストリームを復号する復号部と、
前記復号部で得られる復号画像の一部を切り出して出力する画像切り出し部と、
前記ｉ番目の領域映像位置情報を用いて、前記基準位置に対する出力画像の座標位置が同一になるように、前記画像切り出し部での切り出し位置を決定する切り出し位置決定部と、
次の出力画像を切り出す面ｄ（１≦ｄ≦Ｌ）を指定する出力画像面指定部と、
前記次の出力画像の座標位置を指定する出力画像座標指定部と、
前記出力画像面指定部で指定した面ｄにおける、前記基準位置に対する次の出力画像の座標位置と前記領域映像位置情報とに基づいて、前記次の出力画像の画素数が最も多く得られるようにｊ番目（１≦ｊ≦Ｎｄ）の映像ストリームの送信を要求することを決定する送信要求決定部と、
前記送信要求決定部によって決定された、面ｄ（１≦ｄ≦Ｌ）におけるｊ番目（１≦ｊ≦Ｎｄ）の映像ストリームの送信を、前記映像送信装置に要求する送信要求部と
を備える映像受信装置と
を具備することを特徴とする映像送受信装置。
【請求項１０】
２次元で表現されるＬ（Ｌ≧２）個の面について、それぞれの面上で定義される基準位置に対するＮｋ（１≦ｋ≦Ｌ）個の部分的な領域映像の座標位置である全ての領域映像位置情報を送信する領域映像位置情報送信部と、
全ての領域映像の映像ストリームと各映像ストリームを区別するストリームＩＤとを多重化した１つのストリームから、Ｍ個のａ１からａｍ番目の映像ストリームと対応するストリームＩＤとを多重化した１つのストリームを抽出して送信するストリーム送信部と、
を備える映像送信装置と、
全ての領域映像位置情報を受信する領域映像位置情報受信部と、
前記Ｍ個のａ１からａｍ番目のストリームを受信するストリーム受信部と、
出力画像を切り出す面ｃ（１≦ｃ≦Ｌ）における、前記基準位置に対する出力画像の座標位置と前記領域映像位置情報とに基づいて、前記出力画像の画素数が最も多く得られるようにｉ番目（ｉはａ１からａｍのいずれか）の映像ストリームを読み出すことを決定する読み出し決定部と、
符号化データ中のストリームＩＤに基づいて、前記読み出し決定部で決定された前記ｉ番目の映像ストリームを探索して読み出す探索読み出し部と、
前記探索読み出し部で読み出された前記ｉ番目の映像ストリームを復号する復号部と、
前記復号部で得られる復号画像の一部を切り出して出力する画像切り出し部と、
前記ｉ番目の映像ストリームの領域映像位置情報を用いて、前記基準位置に対する出力画像の座標位置が同一になるように、前記画像切り出し部での切り出し位置を決定する切り出し位置決定部と、
次の出力画像を切り出す１つ以上の面ｄ（１≦ｄ≦Ｌ）を指定する出力画像面指定部と、
次の出力画像の座標位置を指定する出力画像座標指定部と、
前記出力画像面指定部で指定した面ｄにおける、前記基準位置に対する次の出力画像の座標位置と前記領域映像位置情報とに基づいて、次の出力画像の画素数が多く得られるように、Ｍ個のｂ１からｂｍ番目の映像ストリームの送信を要求することを決定する送信要求決定部と、
前記送信要求決定部により決定された前記ｂ１からｂｍ番目の映像ストリームの送信を、前記映像送信装置に要求する送信要求部と
を備える映像受信装置と
を具備することを特徴とする映像送受信装置。
【請求項１１】
２次元で表現されるＬ（Ｌ≧２）個の面について、それぞれの面上で定義される基準位置に対するＮｋ（１≦ｋ≦Ｌ）個の部分的な領域映像の座標位置である全ての領域映像位置情報を送信する領域映像位置情報送信部と、
１つ以上の面ｃ（１≦ｃ≦Ｌ）における元映像の一部の画像情報からｉ番目（１≦ｉ≦Ｎｃ）の領域映像を符号化して映像ストリームを送信するストリーム送信部と
を備える映像送信装置と、
全ての領域映像位置情報を受信する領域映像位置情報受信部と、
前記ｉ番目の映像ストリームを受信するストリーム受信部と、
前記ストリーム受信部で受信された前記ｉ番目の映像ストリームを読み出す読み出し部と、
前記読み出し部で読み出した前記ｉ番目の映像ストリームを復号する復号部と、
前記復号部で得られる復号画像の一部を切り出して出力する画像切り出し部と、
前記ｉ番目の映像ストリームの領域映像位置情報を用いて、前記基準位置に対する出力画像の座標位置が同一になるように、前記画像切り出し部での切り出し位置を決定する切り出し位置決定部と、
次の出力画像を切り出す面ｄ（１≦ｄ≦Ｌ）を指定する出力画像面指定部と、
次の出力画像の座標位置を指定する出力画像座標指定部と、
前記出力画像面指定部で指定した面ｄにおける、前記基準位置に対する次の出力画像の座標位置と前記領域映像位置情報とに基づいて、次の出力画像の画素数が最も多く得られるようにｊ番目（１≦ｊ≦Ｎｄ）の映像ストリームの送信を要求することを決定する送信要求決定部と、
前記送信要求決定部によって決定された前記ｊ番目の映像ストリームの送信を、前記映像送信装置に要求する送信要求部と
を備える映像受信装置と
を具備することを特徴とする映像送受信装置。
【請求項１２】
２次元で表現されるＬ（Ｌ≧２）個の面について、それぞれの面上で定義される基準位置に対するＮｋ（１≦ｋ≦Ｌ）個の部分的な領域映像の座標位置である全ての領域映像位置情報を送信する領域映像位置情報送信部と、
１つ以上の面ｃ（１≦ｃ≦Ｌ）における元映像の一部の画像情報からＭ個のａ１からａｍ番目の領域映像を符号化して得られる映像ストリームと対応するストリームＩＤとを多重化して送信するストリーム送信部と、
を備える映像送信装置と、
全ての領域映像位置情報を受信する領域映像位置情報受信部と、
前記Ｍ個のａ１からａｍ番目のストリームを受信するストリーム受信部と、
出力画像を切り出す面ｃ（１≦ｃ≦Ｌ）における、前記基準位置に対する出力画像の座標位置と前記領域映像位置情報とに基づいて、出力画像の画素数が最も多く得られるようにｉ番目（ｉはａ１からａｍのいずれか）の映像ストリームを読み出すことを決定する読み出し決定部と、
符号化データ中のストリームＩＤに基づいて、前記読み出し決定部により決定された前記ｉ番目の映像ストリームを探索して読み出す探索読み出し部と、
前記探索読み出し部で読み出された前記ｉ番目の映像ストリームを復号する復号部と、
前記復号部で得られる復号画像の一部を切り出して出力する画像切り出し部と、
前記ｉ番目の映像ストリームの領域映像位置情報を用いて、前記基準位置に対する出力画像の座標位置が同一になるように、前記画像切り出し部での切り出し位置を決定する切り出し位置決定部と、
次の出力画像を切り出す１つ以上の面ｄ（１≦ｄ≦Ｌ）を指定する出力画像面指定部と、
次の出力画像の座標位置を指定する出力画像座標指定部と、
前記出力画像面指定部で指定した面ｄにおける、前記基準位置に対する次の出力画像の座標位置と前記領域映像位置情報とに基づいて、次の出力画像の画素数が多く得られるように、Ｍ個のｂ１からｂｍ番目の映像ストリームの送信を要求することを決定する送信要求決定部と、
前記送信要求決定部により決定された前記ｂ１からｂｍ番目の映像ストリームの送信を、前記映像送信装置に要求する送信要求部と、
を備える映像受信装置と
を具備することを特徴とする映像送受信装置。
【請求項１３】
２次元で表現される面上の基準位置に対してＮ個のそれぞれ異なる座標位置を示す領域映像位置情報と、各領域映像位置情報に対応したＮ個の映像ストリームで構成される符号化データとから、該符号化データの一部を復号して出力画像を得る映像復号方法であって、
前記基準位置に対する出力画像の座標位置と前記領域映像位置情報とに基づいて、出力画像の画素数が最も多く得られるようにｉ番目（１≦ｉ≦Ｎ）の映像ストリームを読み出すことを決定する読み出し決定ステップと、
前記ｉ番目の映像ストリームを読み出す読み出しステップと、
前記読み出しステップで読み出した前記ｉ番目の映像ストリームを復号する復号ステップと、
前記復号ステップで得られる復号画像の一部を切り出して出力する画像切り出しステップと、
前記ｉ番目の映像ストリームの領域映像位置情報を用いて、前記基準位置に対する出力画像の座標位置が同一になるように、前記画像切り出しステップでの切り出し位置を決定する切り出し位置決定ステップと
を含むことを特徴とする映像復号方法。
【請求項１４】
２次元で表現される面上の基準位置に対してＮ個のそれぞれ異なる座標位置を示す領域映像位置情報と、各領域映像位置情報に対応したＮ個の映像ストリームと各映像ストリームを区別するストリームＩＤとを多重化した１つのストリームで構成される符号化データとから、符号化データの一部を復号して出力画像を得る映像復号方法であって、
前記基準位置に対する出力画像の座標位置と前記領域映像位置情報とに基づいて、出力画像の画素数が最も多く得られるようにｉ番目（１≦ｉ≦Ｎ）の映像ストリームを読み出すことを決定する読み出し決定ステップと、
前記符号化データ中のストリームＩＤに基づいて、前記読み出し決定ステップで決定された前記ｉ番目の映像ストリームを探索し、該ｉ番目の映像ストリームを読み出す探索読み出しステップと、
前記探索読み出しステップで得られる前記ｉ番目の映像ストリームを復号する復号ステップと、
前記復号ステップで得られる復号画像の一部を切り出して出力する画像切り出しステップと、
前記ｉ番目の映像ストリームの領域映像位置情報を用いて、前記基準位置に対する出力画像の座標位置が同一になるように、前記画像切り出しステップでの切り出し位置を決定する切り出し位置決定ステップと
を含むことを特徴とする映像復号方法。
【請求項１５】
映像送信装置が、２次元で表現される面上で定義される元映像の基準位置に対するＮ個の部分的な領域映像の座標位置である領域映像位置情報を送信する領域映像位置情報送信ステップと、
前記映像送信装置が、Ｎ個の領域映像の映像ストリームのうちのｉ番目（１≦ｉ≦Ｎ）の映像ストリームを送信するストリーム送信ステップと、
映像受信装置が、前記Ｎ個の部分的な領域映像の座標位置である領域映像位置情報を受信する領域映像位置情報受信ステップと、
前記映像受信装置が、前記ｉ番目の映像ストリームを受信するストリーム受信ステップと、
前記映像受信装置が、前記ストリーム受信ステップで受信された前記ｉ番目の映像ストリームを読み出す読み出しステップと、
前記映像受信装置が、前記読み出しステップで読み出した前記ｉ番目の映像ストリームを復号する復号ステップと、
前記映像受信装置が、前記復号ステップで得られる復号画像の一部を切り出して出力する画像切り出しステップと、
前記映像受信装置が、前記ｉ番目の映像ストリームの領域映像位置情報を用いて、前記基準位置に対する出力画像の座標位置が同一になるように、前記画像切り出しステップでの切り出し位置を決定する切り出し位置決定ステップと、
前記映像受信装置が、前記基準位置に対する次の出力画像の座標位置を指定する出力画像座標指定ステップと、
前記映像受信装置が、前記出力画像座標指定ステップで指定された次の出力画像の座標位置と前記領域映像位置情報とに基づいて、次の出力画像の画素数が最も多く得られるように、ｊ番目（１≦ｊ≦Ｎ）の映像ストリームの送信を要求することを決定する送信要求決定ステップと、
前記映像受信装置が、前記ｊ番目の映像ストリームの送信を、前記映像送信装置に要求する送信要求ステップと
を含むことを特徴とする映像送受信方法。
【請求項１６】
映像送信装置が、２次元で表現される面上で定義される元映像の基準位置に対するＮ個の部分的な領域映像の座標位置である領域映像位置情報を送信する領域映像位置情報送信ステップと、
前記映像送信装置が、前記Ｎ個の部分的な領域映像の映像ストリームと各映像ストリームを区別するストリームＩＤとを多重化した１つのストリームから、Ｍ個（Ｍ≦Ｎ）のａ１からａｍ番目の映像ストリームと対応するストリームＩＤとを多重化した１つのストリームを抽出して送信するストリーム送信ステップと、
前記映像受信装置が、前記Ｎ個の部分的な領域映像の領域映像位置情報を受信する領域映像位置情報受信ステップと、
前記映像受信装置が、前記Ｍ個のａ１からａｍ番目の映像ストリームを受信するストリーム受信ステップと、
前記基準位置に対する出力画像の座標位置と前記領域映像位置情報とに基づいて、出力画像の画素数が最も多く得られるようにｉ番目（ｉはａ１からａｍのいずれか）の映像ストリームを読み出すことを決定する読み出し決定ステップと、
前記映像受信装置が、前記ストリーム受信ステップで受信された前記Ｍ個のａ１からａｍ番目の映像ストリーム中のストリームＩＤに基づいて、前記読み出し決定ステップで決定された前記ｉ番目の映像ストリームを探索して読み出す探索読み出しステップと、
前記映像受信装置が、前記探索読み出しステップで読み出した前記ｉ番目の映像ストリームを復号する復号ステップと、
前記映像受信装置が、前記復号ステップで得られる復号画像の一部を切り出して出力する画像切り出しステップと、
前記映像受信装置が、前記ｉ番目の映像ストリームの領域映像位置情報を用いて、前記基準位置に対する出力画像の座標位置が同一になるように、前記画像切り出しステップでの切り出し位置を決定する切り出し位置決定ステップと、
前記映像受信装置が、次の出力画像の座標位置を指定する出力画像座標指定ステップと、
前記映像受信装置が、前記基準位置に対する次の出力画像の座標位置と前記領域映像位置情報とに基づいて、次の出力画像の画素数が多く得られるように、Ｍ個（Ｍ≦Ｎ）のｂ１からｂｍ番目の映像ストリームの送信を要求することを決定する送信要求決定ステップと、
前記映像受信装置が、前記ｂ１からｂｍ番目の映像ストリームの送信を、前記映像送信装置に要求する送信要求ステップと
を含むことを特徴とする映像送受信方法。
【請求項１７】
映像送信装置が、２次元で表現される面上で定義される元映像の基準位置に対するＮ個の部分的な領域映像の座標位置である領域映像位置情報を送信する領域映像位置情報送信ステップと、
前記映像送信装置が、元映像の一部の画像情報からｉ番目（１≦ｉ≦Ｎ）の領域映像を符号化して映像ストリームを送信するストリーム送信ステップと、
映像受信装置が、Ｎ個の領域映像位置情報を受信する領域映像位置情報受信ステップと、
前記映像受信装置が、前記ｉ番目の映像ストリームを受信するストリーム受信ステップと、
前記映像受信装置が、前記ストリーム受信ステップで受信された前記ｉ番目の映像ストリームを読み出す読み出しステップと、
前記映像受信装置が、前記読み出しステップで読み出された前記ｉ番目の映像ストリームを復号する復号ステップと、
前記映像受信装置が、前記復号ステップで得られる復号画像の一部を切り出して出力する画像切り出しステップと、
前記映像受信装置が、前記ｉ番目の映像ストリームの領域映像位置情報を用いて、前記基準位置に対する出力画像の座標位置が同一になるように、前記画像切り出しステップでの切り出し位置を決定する切り出し位置決定ステップと、
前記映像受信装置が、次の出力画像の座標位置を指定する出力画像座標指定ステップと、
前記映像受信装置が、前記基準位置に対する次の出力画像の座標位置と前記領域映像位置情報とに基づいて、次の出力画像が最も多く得られるようにｊ番目（１≦ｊ≦Ｎ）の映像ストリームの送信を要求することを決定する送信要求決定ステップと、
前記映像受信装置が、前記送信要求決定ステップで決定された前記ｊ番目の映像ストリームの送信を、前記映像送信装置に要求する送信要求ステップと
を含むことを特徴とする映像送受信方法。
【請求項１８】
映像送信装置が、２次元で表現される面上で定義される元映像の基準位置に対するＮ個の部分的な領域映像の座標位置である領域映像位置情報を送信する領域映像位置情報送信ステップと、
前記映像送信装置が、前記元映像の一部の画像情報から、Ｍ個（Ｍ≦Ｎ）のａ１からａｍ番目の領域映像を符号化して得られる映像ストリームと対応するストリームＩＤとを多重化して送信するストリーム送信ステップと、
前記映像受信装置が、前記Ｎ個の領域映像位置情報を受信する領域映像位置情報受信ステップと、
前記映像受信装置が、前記Ｍ個（Ｍ≦Ｎ）のａ１からａｍ番目のストリームを受信するストリーム受信ステップと、
前記映像受信装置が、前記基準位置に対する出力画像の座標位置と前記領域映像位置情報とに基づいて、出力画像の画素数が最も多く得られるようにｉ番目（ｉはａ１からａｍのいずれか）の映像ストリームを読み出すことを決定する読み出し決定ステップと、
前記映像受信装置が、符号化データ中のストリームＩＤに基づいて、前記読み出し決定ステップで決定された前記ｉ番目の映像ストリームを探索して読み出す探索読み出しステップと、
前記映像受信装置が、前記探索読み出しステップで読み出された前記ｉ番目の映像ストリームを復号する復号ステップと、
前記映像受信装置が、前記復号ステップで得られる復号画像の一部を切り出して出力する画像切り出しステップと、
前記映像受信装置が、前記ｉ番目の映像ストリームの領域映像位置情報を用いて、前記基準位置に対する出力画像の座標位置が同一になるように、前記画像切り出しステップでの切り出し位置を決定する切り出し位置決定ステップと、
前記映像受信装置が、次の出力画像の座標位置を指定する出力画像座標指定ステップと、
前記映像受信装置が、前記基準位置に対する次の出力画像の座標位置と前記領域映像位置情報とに基づいて、次の出力画像の画素数が多く得られるように、Ｍ個（Ｍ＜＝Ｎ）のｂ１からｂｍ番目の映像ストリームの送信を要求することを決定する送信要求決定ステップと、
前記映像受信装置が、前記送信要求決定ステップで決定された前記ｂ１からｂｍ番目の映像ストリームの送信を、前記映像送信装置に要求する送信要求ステップと
を含むことを特徴とする映像送受信方法。
【請求項１９】
２次元で表現されるＬ（Ｌ≧２）個の面について、それぞれの面上の基準位置に対してＮｋ（１≦ｋ≦Ｌ）個のそれぞれ異なる座標位置を示す領域映像位置情報と、各領域映像位置情報に対応した複数個の映像ストリームとで構成される符号化データとに基づいて、該符号化データの一部を復号して出力画像を得る映像復号方法であって、
出力画像を切り出す面ｃ（１≦ｃ≦Ｌ）における、前記基準位置に対する出力画像の座標位置と前記領域映像位置情報とに基づいて、出力画像の画素数が最も多く得られるようにｉ番目（１≦ｉ≦Ｎｃ）の映像ストリームを読み出すことを決定する読み出し決定ステップと、
前記読み出し決定ステップで決定された前記ｉ番目の映像ストリームを読み出す読み出しステップと、
前記読み出しステップで得られる前記ｉ番目の映像ストリームを復号する復号ステップと、
前記復号ステップで得られる復号画像の一部を切り出して出力する画像切り出しステップと、
前記ｉ番目の映像ストリームの領域映像位置情報を用いて、前記基準位置に対する出力画像の座標位置が同一になるように、前記画像切り出しステップでの切り出し位置を決定する切り出し位置決定ステップと
を含むことを特徴とする映像復号方法。
【請求項２０】
２次元で表現されるＬ（Ｌ≧２）個の面について、それぞれの面上の基準位置に対してＮｋ（１≦ｋ≦Ｌ）個のそれぞれ異なる座標位置を示す領域映像位置情報と、各領域映像位置情報に対応した複数個の映像ストリームと各映像ストリームを区別するストリームＩＤとを多重化した１つのストリームで構成される符号化データとに基づいて、該符号化データの一部を復号して出力画像を得る映像復号方法あって、
出力画像を切り出す面ｃ（１≦ｃ≦Ｌ）における、前記基準位置に対する出力画像の座標位置と前記領域映像位置情報とに基づいて、出力画像の画素数が最も多く得られるようにｉ番目（１≦ｉ≦Ｎｃ）の映像ストリームを読み出すことを決定する読み出し決定ステップと、
前記符号化データ中のストリームＩＤに基づいて、前記読み出し決定ステップで決定された前記ｉ番目の映像ストリームを探索して読み出す探索読み出しステップと、
前記探索読み出しステップで読み出した前記ｉ番目の映像ストリームを復号する復号ステップと、
前記復号ステップで得られる復号画像の一部を切り出して出力する画像切り出しステップと、
前記ｉ番目の映像ストリームの領域映像位置情報を用いて、前記基準位置に対する出力画像の座標位置が同一になるように、前記画像切り出しステップでの切り出し位置を決定する切り出し位置決定ステップと
を含むことを特徴とする映像復号方法。
【請求項２１】
映像送信装置が、２次元で表現されるＬ（Ｌ≧２）個の面について、それぞれの面上で定義される基準位置に対するＮｋ（１≦ｋ≦Ｌ）個の部分的な領域映像の座標位置である全ての領域映像位置情報を送信する領域映像位置情報送信ステップと、
前記映像送信装置が、面ｃ（１≦ｃ≦Ｌ）におけるＮｃ個の領域映像の映像ストリームのうちのｉ番目（１≦ｉ≦Ｎｃ）のストリームを送信するストリーム送信ステップと、
映像受信装置が、全ての領域映像位置情報を受信する領域映像位置情報受信ステップと、
前記映像受信装置が、前記ｉ番目の映像ストリームを受信するストリーム受信ステップと、
前記映像受信装置が、前記ストリーム受信ステップで受信された前記ｉ番目の映像ストリームを読み出す読み出しステップと、
前記映像受信装置が、前記読み出しステップで読み出した前記ｉ番目の映像ストリームを復号する復号ステップと、
前記映像受信装置が、前記復号ステップで得られる復号画像の一部を切り出して出力する画像切り出しステップと、
前記映像受信装置が、前記ｉ番目の領域映像位置情報を用いて、前記基準位置に対する出力画像の座標位置が同一になるように、前記画像切り出しステップでの切り出し位置を決定する切り出し位置決定ステップと、
前記映像受信装置が、次の出力画像を切り出す面ｄ（１≦ｄ≦Ｌ）を指定する出力画像面指定ステップと、
前記映像受信装置が、前記次の出力画像の座標位置を指定する出力画像座標指定ステップと、
前記映像受信装置が、前記出力画像面指定ステップで指定した面ｄにおける、前記基準位置に対する次の出力画像の座標位置と前記領域映像位置情報とに基づいて、前記次の出力画像の画素数が最も多く得られるようにｊ番目（１≦ｊ≦Ｎｄ）の映像ストリームの送信を要求することを決定する送信要求決定ステップと、
前記映像受信装置が、前記送信要求決定ステップで決定された、面ｄ（１≦ｄ≦Ｌ）におけるｊ番目（１≦ｊ≦Ｎｄ）の映像ストリームの送信を、前記映像送信装置に要求する送信要求ステップと
を含むことを特徴とする映像送受信方法。
【請求項２２】
映像送信装置が、２次元で表現されるＬ（Ｌ≧２）個の面について、それぞれの面上で定義される基準位置に対するＮｋ（１≦ｋ≦Ｌ）個の部分的な領域映像の座標位置である全ての領域映像位置情報を送信する領域映像位置情報送信ステップと、
前記映像送信装置が、全ての領域映像の映像ストリームと各映像ストリームを区別するストリームＩＤとを多重化した１つのストリームから、Ｍ個のａ１からａｍ番目の映像ストリームと対応するストリームＩＤとを多重化した１つのストリームを抽出して送信するストリーム送信ステップと、
映像受信装置が、全ての領域映像位置情報を受信する領域映像位置情報受信ステップと、
前記映像受信装置が、前記Ｍ個のａ１からａｍ番目のストリームを受信するストリーム受信ステップと、
前記映像受信装置が、出力画像を切り出す面ｃ（１≦ｃ≦Ｌ）における、前記基準位置に対する出力画像の座標位置と前記領域映像位置情報とに基づいて、前記出力画像の画素数が最も多く得られるようにｉ番目（ｉはａ１からａｍのいずれか）の映像ストリームを読み出すことを決定する読み出し決定ステップと、
前記映像受信装置が、符号化データ中のストリームＩＤに基づいて、前記読み出し決定ステップで決定された前記ｉ番目の映像ストリームを探索して読み出す探索読み出しステップと、
前記映像受信装置が、前記探索読み出しステップで読み出された前記ｉ番目の映像ストリームを復号する復号ステップと、
前記映像受信装置が、前記復号ステップで得られる復号画像の一部を切り出して出力する画像切り出しステップと、
前記映像受信装置が、前記ｉ番目の映像ストリームの領域映像位置情報を用いて、前記基準位置に対する出力画像の座標位置が同一になるように、前記画像切り出しステップでの切り出し位置を決定する切り出し位置決定ステップと、
前記映像受信装置が、次の出力画像を切り出す１つ以上の面ｄ（１≦ｄ≦Ｌ）を指定する出力画像面指定ステップと、
前記映像受信装置が、次の出力画像の座標位置を指定する出力画像座標指定ステップと、
前記映像受信装置が、前記出力画像面指定ステップで指定した面ｄにおける、前記基準位置に対する次の出力画像の座標位置と前記領域映像位置情報とに基づいて、次の出力画像の画素数が多く得られるように、Ｍ個のｂ１からｂｍ番目の映像ストリームの送信を要求することを決定する送信要求決定ステップと、
前記映像受信装置が、前記送信要求決定ステップで決定された前記ｂ１からｂｍ番目の映像ストリームの送信を、前記映像送信装置に要求する送信要求部と
を含むことを特徴とする映像送受信方法。
【請求項２３】
映像送信装置が、２次元で表現されるＬ（Ｌ≧２）個の面について、それぞれの面上で定義される基準位置に対するＮｋ（１≦ｋ≦Ｌ）個の部分的な領域映像の座標位置である全ての領域映像位置情報を送信する領域映像位置情報送信ステップと、
前記映像送信装置が、１つ以上の面ｃ（１≦ｃ≦Ｌ）における元映像の一部の画像情報からｉ番目（１≦ｉ≦Ｎｃ）の領域映像を符号化して映像ストリームを送信するストリーム送信ステップと、
映像受信装置が、全ての領域映像位置情報を受信する領域映像位置情報受信ステップと、
前記映像受信装置が、前記ｉ番目の映像ストリームを受信するストリーム受信ステップと、
前記映像受信装置が、前記ストリーム受信ステップで受信された前記ｉ番目の映像ストリームを読み出す読み出しステップと、
前記映像受信装置が、前記読み出しステップで読み出した前記ｉ番目の映像ストリームを復号する復号ステップと、
前記映像受信装置が、前記復号ステップで得られる復号画像の一部を切り出して出力する画像切り出しステップと、
前記映像受信装置が、前記ｉ番目の映像ストリームの領域映像位置情報を用いて、前記基準位置に対する出力画像の座標位置が同一になるように、前記画像切り出しステップでの切り出し位置を決定する切り出し位置決定ステップと、
前記映像受信装置が、次の出力画像を切り出す面ｄ（１≦ｄ≦Ｌ）を指定する出力画像面指定ステップと、
前記映像受信装置が、次の出力画像の座標位置を指定する出力画像座標指定ステップと、
前記映像受信装置が、前記出力画像面指定ステップで指定した面ｄにおける、前記基準位置に対する次の出力画像の座標位置と前記領域映像位置情報とに基づいて、次の出力画像の画素数が最も多く得られるようにｊ番目（１≦ｊ≦Ｎｄ）の映像ストリームの送信を要求することを決定する送信要求決定ステップと、
前記映像受信装置が、前記送信要求決定ステップで決定された前記ｊ番目の映像ストリームの送信を、前記映像送信装置に要求する送信要求ステップと
を含むことを特徴とする映像送受信方法。
【請求項２４】
映像送信装置が、２次元で表現されるＬ（Ｌ≧２）個の面について、それぞれの面上で定義される基準位置に対するＮｋ（１≦ｋ≦Ｌ）個の部分的な領域映像の座標位置である全ての領域映像位置情報を送信する領域映像位置情報送信ステップと、
前記映像送信装置が、１つ以上の面ｃ（１≦ｃ≦Ｌ）における元映像の一部の画像情報からＭ個のａ１からａｍ番目の領域映像を符号化して得られる映像ストリームと対応するストリームＩＤとを多重化して送信するストリーム送信ステップと、
映像受信装置が、全ての領域映像位置情報を受信する領域映像位置情報受信ステップと、
前記映像受信装置が、前記Ｍ個のａ１からａｍ番目のストリームを受信するストリーム受信ステップと、
前記映像受信装置が、出力画像を切り出す面ｃ（１≦ｃ≦Ｌ）における、前記基準位置に対する出力画像の座標位置と前記領域映像位置情報とに基づいて、出力画像の画素数が最も多く得られるようにｉ番目（ｉはａ１からａｍのいずれか）の映像ストリームを読み出すことを決定する読み出し決定ステップと、
前記映像受信装置が、符号化データ中のストリームＩＤに基づいて、前記読み出し決定ステップで決定された前記ｉ番目の映像ストリームを探索して読み出す探索読み出しステップと、
前記映像受信装置が、前記探索読み出しステップで読み出された前記ｉ番目の映像ストリームを復号する復号ステップと、
前記映像受信装置が、前記復号ステップで得られる復号画像の一部を切り出して出力する画像切り出しステップと、
前記映像受信装置が、前記ｉ番目の映像ストリームの領域映像位置情報を用いて、前記基準位置に対する出力画像の座標位置が同一になるように、前記画像切り出しステップでの切り出し位置を決定する切り出し位置決定ステップと、
前記映像受信装置が、次の出力画像を切り出す１つ以上の面ｄ（１≦ｄ≦Ｌ）を指定する出力画像面指定ステップと、
前記映像受信装置が、次の出力画像の座標位置を指定する出力画像座標指定ステップと、
前記映像受信装置が、前記出力画像面指定ステップで指定した面ｄにおける、前記基準位置に対する次の出力画像の座標位置と前記領域映像位置情報とに基づいて、次の出力画像の画素数が多く得られるように、Ｍ個のｂ１からｂｍ番目の映像ストリームの送信を要求することを決定する送信要求決定ステップと、
前記映像受信装置が、前記送信要求決定ステップで決定された前記ｂ１からｂｍ番目の映像ストリームの送信を、前記映像送信装置に要求する送信要求ステップと
を含むことを特徴とする映像送受信方法。
【図１】
【図２】
【図３】
【図４】
【図５】
【図６】
【図７】
【図８】
【図９】
【図１０】
【図１１】
【図１２】
【図１３】
【図１４】
【図１５】
【図１６】
【図１７】
【図１８】
【図１９】
【図２】
【図３】
【図４】
【図５】
【図６】
【図７】
【図８】
【図９】
【図１０】
【図１１】
【図１２】
【図１３】
【図１４】
【図１５】
【図１６】
【図１７】
【図１８】
【図１９】
【公開番号】特開２０１２−２０９６３４（Ｐ２０１２−２０９６３４Ａ）
【公開日】平成２４年１０月２５日（２０１２．１０．２５）
【国際特許分類】
【出願番号】特願２０１１−７１７２３（Ｐ２０１１−７１７２３）
【出願日】平成２３年３月２９日（２０１１．３．２９）
【出願人】（０００００４２２６）日本電信電話株式会社 (13,992)
【Ｆターム（参考）】
【公開日】平成２４年１０月２５日（２０１２．１０．２５）
【国際特許分類】
【出願日】平成２３年３月２９日（２０１１．３．２９）
【出願人】（０００００４２２６）日本電信電話株式会社 (13,992)
【Ｆターム（参考）】
[ Back to top ]