情報処理装置及び方法、画像提供システム及び画像提供方法、並びにプログラム
【課題】画質の劣化を抑えることができるようにする。
【解決手段】2D圧縮データ受信部は、複数の画像から生成される3D圧縮データを変換して得られる2D圧縮データを順次受信し、中間データ生成部は、受信された複数の2D圧縮データに基づいて、複数の2D変換係数データを生成し、3D変換部は、生成された複数の2D変換係数データを変換して得られる3D変換係数データを符号化することで、画質の劣化を抑えることができる。本技術は、例えば、画像処理装置に適用することができる。
【解決手段】2D圧縮データ受信部は、複数の画像から生成される3D圧縮データを変換して得られる2D圧縮データを順次受信し、中間データ生成部は、受信された複数の2D圧縮データに基づいて、複数の2D変換係数データを生成し、3D変換部は、生成された複数の2D変換係数データを変換して得られる3D変換係数データを符号化することで、画質の劣化を抑えることができる。本技術は、例えば、画像処理装置に適用することができる。
【発明の詳細な説明】
【技術分野】
【０００１】
本技術は、情報処理装置及び方法、画像提供システム及び画像提供方法、並びにプログラムに関し、特に、画質の劣化を抑えることができるようにした情報処理装置及び方法、画像提供システム及び画像提供方法、並びにプログラムに関する。
【背景技術】
【０００２】
従来より、サーバに蓄積されている画像データを、クライアント端末装置に提供するための画像提供システムが各種提案されている。
【０００３】
例えば、サーバ側において、クライアント端末装置から指定された画質やフォーマットなどの条件に適合するような所定の画像処理を施してから、それにより得られる画像データを提供するものが提案されている（例えば、特許文献１参照）。
【先行技術文献】
【特許文献】
【０００４】
【特許文献１】特開２０１０−１７２００１号公報
【発明の概要】
【発明が解決しようとする課題】
【０００５】
しかしながら、従来の技術であると、所定の画像処理が施された画像データが、クライアント端末装置に提供されることになるため、提供された画像データが劣化しているという問題がある。
【０００６】
そのため、クライアント端末装置に提供された画像データの画質が、サーバ側のものと同等の画質であることが望まれている。
【０００７】
本技術はこのような状況に鑑みてなされたものであり、サーバから、クライアント端末装置に提供される画像データの画質の劣化を抑えることができるようにするものである。
【課題を解決するための手段】
【０００８】
本技術の一側面の情報処理装置は、複数の画像から生成される３次元直交変換符号化データを変換して得られる２次元直交変換符号化データを、順次取得する２次元直交変換符号化データ取得部と、取得された複数の前記２次元直交変換符号化データに基づいて、複数の２次元直交変換係数データを生成する２次元直交変換係数データ生成部と、生成された複数の前記２次元直交変換係数データを変換して得られる３次元直交変換係数データを符号化する３次元変換部とを備える。
【０００９】
生成された複数の前記２次元直交変換係数データを、所定の順序に並び替える２次元直交変換係数データ再配置部をさらに備え、前記３次元変換部は、並び替えられた複数の前記２次元直交変換係数データを、前記３次元直交変換係数データに変換する。
【００１０】
２次元直交変換係数データ再配置部は、複数の前記２次元直交変換係数データを、前記複数の画像の並び順と同一の順序に並び替える。
【００１１】
前記３次元変換部は、量子化パラメータに基づいて、前記３次元直交変換係数データを符号化する。
【００１２】
前記量子化パラメータは、前記複数の画像から３次元直交変換符号化データを生成する際に用いられた量子化値、又は前記３次元直交変換係数データを符号化して得られた３次元直交変換符号化データを蓄積するために必要となる容量に応じた量子化値である。
【００１３】
所望の画像を要求する画像要求部をさらに備え、前記２次元直交変換符号化データ取得部は、前記要求に応じた画像を含む前記２次元直交変換符号化データ及びその画像の周辺の他の２次元直交変換符号化データを順次取得する。
【００１４】
前記２次元直交変換係数データ生成部は、取得された複数の前記２次元直交変換符号化データを、それぞれ復号する２次元直交変換符号化データ復号部と、復号された２次元直交変換符号化データを逆量子化する逆量子化部とを備え、前記２次元直交変換係数データ再配置部は、逆量子化により得られる複数の前記２次元直交変換係数データを並び替える。
【００１５】
前記３次元変換部は、並び替えられた前記２次元直交変換係数データを、前記複数の画像が並ぶ方向に１次元に直交変換して、３次元直交変換係数データに変換する３次元直交変換係数データ変換部と、変換された前記３次元直交変換係数データを、量子化する量子化部と、量子化により得られる３次元直交変換係数データを符号化する３次元直交変換係数データ符号化部とをさらに備える。
【００１６】
前記３次元直交変換係数データを符号化して得られる３次元直交変換符号化データを蓄積する３次元直交変換符号化データ蓄積部と、蓄積された前記３次元直交変換符号化データを復号する３次元復号部とをさらに備える。
【００１７】
復号された２次元直交変換符号化データを逆量子化して得られる前記２次元直交変換係数データを逆直交変換する２次元逆直交変換部をさらに備える。
【００１８】
本技術の一側面の情報処理方法又はプログラムは、前述した本技術の一側面の情報処理装置に対応する方法又はプログラムである。
【００１９】
本技術の一側面の情報処理装置及び方法、並びにプログラムにおいては、複数の画像から生成される３次元直交変換符号化データを変換して得られる２次元直交変換符号化データが、順次取得され、取得された複数の２次元直交変換符号化データに基づいて、複数の２次元直交変換係数データが生成され、生成された複数の２次元直交変換係数データを変換して得られる３次元直交変換係数データが符号化される。
【００２０】
本技術の一側面の画像提供システムは、情報処理装置と、前記情報処理装置に画像データを提供する画像提供装置からなる画像提供システムにおいて、前記画像提供装置は、複数の画像から生成される３次元直交変換符号化データを蓄積する３次元直交変換符号化データ蓄積部と、前記３次元直交変換符号化データ蓄積部に蓄積された前記３次元直交変換符号化データから、前記情報処理装置からの要求に応じた画像及びその周辺の画像を含む３次元直交変換符号化データを読み出す読み出し部と、読み出された前記３次元直交変換符号化データを、前記２次元直交変換符号化データに変換する２次元直交変換符号化データ変換部と、変換された２次元直交変換符号化データ及びその画像の周辺の他の２次元直交変換符号化データを順次、前記情報処理装置に送信する２次元直交変換符号化データ送信部とを備え、前記情報処理装置は、前記画像提供装置から送信されてくる前記２次元直交変換符号化データを順次、受信する２次元直交変換符号化データ受信部と、取得された複数の前記２次元直交変換符号化データに基づいて、複数の２次元直交変換係数データを生成する２次元直交変換係数データ生成部と、生成された複数の前記２次元直交変換係数データを変換して得られる３次元直交変換係数データを符号化する３次元変換部とを備える。
【００２１】
情報処理装置又は画像提供装置は、独立した装置であってもよいし、１つの装置を構成している内部ブロックであってもよい。また、情報処理装置と画像提供装置の間で行われる通信は、無線通信及び有線通信はもちろん、無線通信と有線通信とが混在した通信、すなわち、ある区間では無線通信が行われ、他の区間では有線通信が行われるようなものであってもよい。
【００２２】
本技術の一側面の画像提供方法は、前述した本技術の一側面の画像提供システムに対応する方法である。
【００２３】
本技術の一側面の画像提供システム及び画像提供方法においては、画像提供装置によって、複数の画像から生成される３次元直交変換符号化データが蓄積され、蓄積された３次元直交変換符号化データから、情報処理装置からの要求に応じた画像及びその周辺の画像を含む３次元直交変換符号化データが読み出され、読み出された３次元直交変換符号化データが、２次元直交変換符号化データに変換され、変換された２次元直交変換符号化データ及びその画像の周辺の他の２次元直交変換符号化データが順次、情報処理装置に送信され、情報処理装置によって、画像提供装置から送信されてくる２次元直交変換符号化データが順次、受信され、取得された複数の２次元直交変換符号化データに基づいて、複数の２次元直交変換係数データが生成され、生成された複数の２次元直交変換係数データを変換して得られる３次元直交変換係数データが符号化される。
【発明の効果】
【００２４】
本技術の一側面によれば、画質の劣化を抑えることができる。
【図面の簡単な説明】
【００２５】
【図１】画像提供システムの構成を示す図である。
【図２】再圧縮処理部の詳細な構成を示す図である。
【図３】画像提供処理を説明するフローチャートである。
【図４】3D圧縮データの構成例を示す図である。
【図５】再圧縮処理を説明するフローチャートである。
【図６】再配置処理を説明するフローチャートである。
【図７】再配置の順序を説明する図である。
【図８】送信データのフォーマットの例を示す図である。
【図９】Q値選択処理を説明するフローチャートである。
【図１０】コンピュータの構成例を示す図である。
【発明を実施するための形態】
【００２６】
以下、図面を参照しながら本技術の実施の形態について説明する。
【００２７】
［画像提供システムの構成］
図１は、画像提供システムの構成を示す図である。
【００２８】
図１に示すように、画像提供システム１は、クライアント端末装置１１及びサーバ１２から構成される。クライアント端末装置１１とサーバ１２は、伝送路１３を介して相互に通信可能とされる。
【００２９】
クライアント端末装置１１は、ユーザの指示に応じた所望の画像を、伝送路１３を介してサーバ１２に要求する。クライアント端末装置１１は、その要求に応じて、伝送路１３を介してサーバ１２から提供される画像を受信して、表示する。
【００３０】
クライアント端末装置１１は、制御部３１、操作部３２、データ表示部３３、要求送信部３４、2D圧縮データ受信部３５、再圧縮処理部３６、2D復号部３７、3D圧縮データ蓄積部３８、及び3D復号部３９から構成される。
【００３１】
制御部３１は、クライアント端末装置１１の各部の動作を制御する。また、制御部３１は、操作部３２から供給されるユーザの指示に応じた信号に基づいて、各部の動作を制御する。
【００３２】
データ表示部３３は、LCD(Liquid Crystal Display)等のモニタを有し、2D画像や3D画像等の画像の他、各種の情報を表示する。また、モニタにはタッチパネルが重畳されていたり、リモートコントローラのような外部操作装置からの指示が受信できるようになっており、ユーザの指示に応じた信号を、要求送信部３４に供給する。データ表示部３３は、ユーザにより操作部３１又はタッチパネルを介して画像表示に関する指示がされた場合、その指示に応じた画像データの要求を、要求送信部３４に供給する。
【００３３】
要求送信部３４は、データ表示部３３から供給される画像データの要求を、伝送路１３を介してサーバ１２に送信する。
【００３４】
2D圧縮データ受信部３５は、伝送路１３を介してサーバ１２から送信されてくる2D圧縮データを受信し、再圧縮処理部３６に供給する。
【００３５】
再圧縮処理部３６は、2D圧縮データ受信部３５から供給される2D圧縮データに対して、再圧縮処理を施す。再圧縮処理部３６は、再圧縮処理により得られる3D圧縮データを、3D圧縮データ蓄積部３８に供給し、蓄積する。また、再圧縮処理部３６は、再圧縮処理の途中で得られる2D変換係数データを、2D復号部３７に供給する。
【００３６】
なお、以下の説明では、２次元の直交変換（例えば２次元離散コサイン変換（2D-DCT））を伴う符号化により得られる２次元直交変換符号化データを、2D圧縮データと称し、３次元の直交変換（例えば３次元離散コサイン変換（3D-DCT））を伴う符号化により得られる３次元直交変換符号化データを、3D圧縮データと称する。
【００３７】
また、所定の画像を、２次元の直交変換（例えば２次元離散コサイン変換（2D-DCT））をすることで得られる２次元直交変換係数データを、2D変換係数データと称し、複数の画像を、２次元の直交変換（例えば３次元離散コサイン変換（3D-DCT））をすることで得られる３次元直交変換係数データを、3D変換係数データと称する。
【００３８】
再圧縮処理部３６は、中間データ生成部５１、2Dデータ再配置部５２、及び3D変換部５３から構成される。
【００３９】
中間データ生成部５１は、2D圧縮データ受信部３５から供給される2D圧縮データに対して、復号及び逆量子化を行い、それにより得られる2D変換係数データを、2D復号部３７及び2Dデータ再配置部５２に供給する。
【００４０】
2Dデータ再配置部５２は、中間データ生成部５１から供給される複数の2D変換係数データを所定の順序に並び替え、並び替え後の2D変換係数データを、3D変換部５３に供給する。
【００４１】
3D変換部５３は、2Dデータ再配置部５２から供給される、並び替え後の2D変換係数データに対して、3D変換係数データへの変換（3D変換）、量子化、及び符号化を行い、それにより得られる3D圧縮データを、3D圧縮データ蓄積部３８に供給する。
【００４２】
2D復号部３７は、中間データ生成部５１から供給される2D変換係数データに対して、逆直交変換等を行い、それにより得られる2D画像を、データ表示部３３に表示させる。
【００４３】
3D復号部３９は、3D圧縮データ蓄積部３８に蓄積された3D圧縮データを読み出して復号し、それにより得られる3D画像を、データ表示部３３に表示させる。
【００４４】
一方、サーバ１２は、クライアント端末装置１１から送信される、所望の画像の要求に応じた画像を特定し、その画像を、伝送路１３を介してクライアント端末装置１１に提供する。
【００４５】
サーバ１２は、要求受信部６１、データ特定部６２、3D圧縮データ蓄積部６３、2D変換部６４、及び2D圧縮データ送信部６５から構成される。
【００４６】
要求受信部６１は、伝送路１３を介して、クライアント端末装置１１から送信される要求を受信し、データ特定部６２に供給する。
【００４７】
データ特定部６２は、要求受信部６１から供給される要求に基づいて、クライアント端末装置１１に送信する画像データを特定する。データ特定部６２は、送信する画像データとして特定された3D圧縮データを、3D圧縮データ蓄積部６３から読み出し、2D変換部６４に供給する。
【００４８】
2D変換部６４は、データ特定部６２から供給される3D圧縮データに対して、復号及び逆量子化を行う。そして、2D変換部６４は、復号及び逆量子化により得られる3D変換係数データに対し、2D変換係数データへの変換（2D変換）、量子化、符号化を行う。2D変換部６４は、それにより得られる2D圧縮データを、2D圧縮データ送信部６５に供給する。
【００４９】
2D圧縮データ送信部６５は、2D変換部６４から供給される2D圧縮データを、伝送路１３を介してクライアント端末装置１１に送信する。
【００５０】
以上のようにして、画像提供システム１は構成される。
【００５１】
［再圧縮処理部の構成］
図２は、クライアント端末装置１１の再圧縮処理部３６の詳細な構成を示す図である。
【００５２】
前述したとおり、再圧縮処理部３６は、中間データ生成部５１、2Dデータ再配置部５２、及び3D変換部５３から構成される。
【００５３】
2D圧縮データ受信部３５により受信された2D圧縮データは、中間データ生成部５１に供給される。中間データ生成部５１は、復号部７１及び逆量子化部７２から構成される。
【００５４】
復号部７１は、2D圧縮データ受信部３５から供給された2D圧縮データを、サーバ１２で行われた符号化の符号化法に対応する復号法で復号し、それにより得られる量子化された2D変換係数データを、逆量子化部７２に供給する。
【００５５】
逆量子化部７２は、復号部７１から供給される、量子化された2D変換係数データを逆量子化し、それにより得られる2D変換係数データを、2D復号部３７及び2Dデータ再配置部５２に供給する。
【００５６】
2Dデータ再配置部５２は、メモリ７３及び並び替え部７４から構成される。
【００５７】
メモリ７３は、逆量子化部７２から供給される、2D変換係数データを順次記憶する。
【００５８】
並び替え部７４は、2D変換係数データの並び替え順を示す情報（以下、並び替え情報という）を取得する。並び替え部７４は、取得した並び替え情報に基づいて、メモリ７３に記憶された複数の2D変換係数データを所定の順序に並び替えて、2D変換係数データを再配置する。
【００５９】
3D変換部５３は、3D変換部７５、量子化部７６、及び符号化部７７から構成される。
【００６０】
3D変換部７５は、メモリ７３上で再配置された2D変換係数データに対して、2D変換係数データから3D変換係数データへの変換（3D変換）処理を施し、それにより得られた3D変換係数データを、量子化部７６に供給する。
【００６１】
量子化部７６は、圧縮率を決定するためのパラメータとしての量子化値（以下、Q値という）を取得する。量子化部７６は、取得したQ値に基づいて、3D変換部７５から供給される3D変換係数データを量子化し、符号化部７７に供給する。
【００６２】
符号化部７７は、量子化部７６から供給される、量子化された3D変換係数データを、サーバ１２で行われた復号の復号法に対応する符号化法で符号化し、それにより得られる3D圧縮データを、3D圧縮データ蓄積部３８に供給する。
【００６３】
以上のようにして、再圧縮処理部３６は構成される。
【００６４】
［画像提供処理の流れ］
次に、図３のフローチャートを参照して、画像提供システム１において行われる画像提供処理について説明する。
【００６５】
クライアント端末装置１１において、操作部３２は、データ表示部３３に表示された画像に対する、ユーザからの画像表示に関する指示を受け付ける（ステップＳ１１）。ここでは、例えば、表示させる画像の位置や解像度等が指示される。指示が行われた場合、ステップＳ１２において、要求送信部３４は、その指示に応じた画像データを、伝送路１３を介してサーバ１２に要求する。
【００６６】
クライアント端末装置１１から伝送路１３を介して要求が送信されると、サーバ１２では、その要求が、要求受信部６１により受信される（ステップＳ３１）。
【００６７】
ステップＳ３２において、データ特定部６２は、要求受信部６１により取得された要求に基づいて、クライアント端末装置１１に送信する画像データを特定する。ステップＳ３３において、データ特定部６２は、送信する画像データとして特定された3D圧縮データを、3D圧縮データ蓄積部６３から読み出す。
【００６８】
図４は、3D圧縮データの構成例を示す図である。
【００６９】
図４に示すように、3D圧縮データ蓄積部６３には、3D圧縮データとして、複数の2D画像に対応するフレームが１つのまとまりとして蓄積されている。図４の例の場合、５枚のフレームが、１つのまとまりとなっており、3D圧縮データ蓄積部６３には、このようなフレーム群からなる画像の集合が多数蓄積されている。例えば、対象物を、複数の焦点位置で、その焦点位置のＺ座標を変えながら撮影することにより、１つの対象物に対して複数の撮影画像が生成される。そして、この複数の撮影画像は、互いに焦点位置が異なるものである。このような撮影画像から生成される3D圧縮データが、3D圧縮データ蓄積部６３に蓄積されることとなる。
【００７０】
図３のフローチャートに戻り、ステップＳ３４において、2D変換部６４は、3D圧縮データ蓄積部６３から読み出された3D圧縮データを、2D圧縮データに変換する。
【００７１】
この変換処理の詳細であるが、2D変換部６４によって、3D圧縮データが復号され、それにより得られる量子化された3D変換係数データが逆量子化され、3D変換係数データが得られる。そして、2D変換部６４によって、3D変換係数データに対し、3D変換係数データから2D変換係数データへの変換（2D変換）処理が施され、それにより得られた2D変換係数データが量子化され、所定の符号化法により符号化されることで、2D圧縮データが得られることになる。
【００７２】
なお、2D変換処理としては、例えば、3D変換係数データが3D-DCT係数データである場合、3D-DCT係数データを、Ｚ方向に１次元に逆離散コサイン変換（IDCT）することで、2D-DCT係数データが得られる。また、符号化法として、例えば、ランレングス・ハフマン符号化法を用いることで、2D圧縮データとして、JPEG規格に準拠するJPEG符号化データが生成される。
【００７３】
ステップＳ３５において、2D圧縮データ送信部６５は、2D変換部６４により生成された2D圧縮データを、伝送路１３を介してクライアント端末装置１１に送信する。
【００７４】
ステップＳ３６において、データ特定部６２は、他の2D圧縮データを送信するか否かを判定する。例えば、伝送路１３の帯域や、クライアント端末装置１１の処理能力に余裕がある場合、サーバ１２は、要求された画像の2D圧縮データとともに、他の2D圧縮データをクライアント端末装置１１に提供することができる。他の2D圧縮データとしては、例えば、Ｚ方向に隣接する周辺の2D圧縮データとされる。
【００７５】
例えば、クライアント端末装置１１のユーザが、データ表示部３３に表示される対象物の画像を見ながら観察を行うとする。データ表示部３３には、対象物の画像の全体を表示させることも可能であるが、例えばユーザがより詳細に画像を観察したいと所望する場合、対象物の画像を拡大し、その一部を表示させることもできる。ユーザは、例えば、対象物の画像の、データ表示部３３に表示させる部分の位置を移動させたり、焦点位置を変えたり、縮尺を変えたりして、データ表示部３３に様々な画像を表示させ、対象物を観察する。
【００７６】
例えば、複数の撮影画像（以下、フォーカス面画像という）の異なる部分を観察する場合、ユーザは、フォーカス面画像の、データ表示部３３に表示させる部分をＸ方向やＹ方向に移動させる。また、例えば、焦点位置を変更する場合、ユーザは、データ表示部３３に表示させる画像をＺ方向に変更する。さらに、例えば、拡大や縮小等、表示画像の縮尺を変更する場合、ユーザは、データ表示部３３に表示させる画像の解像度を変更する。
【００７７】
ユーザは、このような指示をどのような方法で行ってもよいが、例えば、スクロール等のようなGUI操作により行うのが一般的である。したがって、ユーザが上述したようにデータ表示部３３に表示させる画像を制御する場合、現在表示されている画像に近い位置の画像が次に表示される可能性が高い。
【００７８】
例えば、現在表示されている画像と同一のフォーカス面画像の（同一のＸＹ平面上の）、現在表示されている画像に隣接する領域の画像、現在表示されている画像のフォーカス面画像にＺ方向に隣接するフォーカス面画像の、現在表示されている画像と同じ位置の領域の画像、及び現在表示されている画像に対応する、現在表示されている画像と異なる解像度の画像等が、次に表示される可能性が高い。
【００７９】
そこで、サーバ１２のデータ特定部６２が、要求された画像だけでなく、このような、その要求された画像の周辺の画像の2D圧縮データが、クライアント端末装置１１に送信されるようにする。
【００８０】
これにより、クライアント端末装置１１は、次に要求する画像を、その要求の前に取得することになり、要求に対する応答を待たずに、画像表示を行うことができる。すなわち、要求に対する画像表示の応答速度を向上させることができる。
【００８１】
ステップＳ３６において、他の2D圧縮データを送信すると判定された場合、処理は、ステップＳ３２に戻る。そして、前述したステップＳ３２乃至Ｓ３６の処理が繰り返され、要求された画像を含む2D変換係数データだけでなく、その周辺の他の2D変換係数データが特定され、順次、2D圧縮データとしてクライアント端末装置１１に送信される。そして、ステップＳ３６において、他の2D圧縮データを送信しないと判定された場合、サーバ１２の処理は終了する。
【００８２】
サーバ１２から伝送路１３を介して2D圧縮データが順次送信されると、クライアント端末装置１１では、その2D圧縮データが、2D圧縮データ受信部３５により順次受信される（ステップＳ１３）。
【００８３】
ステップＳ１４において、再圧縮処理部３６は、2D圧縮データ受信部３５により取得された複数の2D圧縮データに対して、再圧縮処理を施す。この再圧縮処理の詳細は、図５のフローチャートを参照して、後述する。
【００８４】
ステップＳ１５において、3D圧縮データ蓄積部３８は、再圧縮処理部３６による再圧縮処理で得られた3D圧縮データを蓄積する。
【００８５】
そして、3D画像を表示させる場合（ステップＳ１６の「Yes」）、処理は、ステップＳ１７に進む。ステップＳ１７において、3D復号部３９は、3D圧縮データ蓄積部３８に蓄積された3D圧縮データを読み出して、復号する。3D復号部３９は、ステップＳ１８において、復号により得られる3D画像を、データ表示部３３に表示させる。
【００８６】
一方、2D画像を表示させる場合（ステップＳ１６の「No」）、処理は、ステップＳ１９に進む。ステップＳ１９において、2D復号部３７は、再圧縮処理部３６による再圧縮処理の途中で得られる2D変換係数データに対して、逆直交変換（例えば２次元に逆離散コサイン変換（IDCT））等を行う。2D復号部３７は、ステップＳ２０において、逆直交変換により得られる2D画像を、データ表示部３３に表示させる。
【００８７】
以上のように、画像提供システム１においては、サーバ１２によって、クライアント端末装置１１からの要求に応じた所望の画像が提供され、その画像が、クライアント端末装置１１で表示される。その際、クライアント端末装置１１においては、再圧縮処理が行われ、サーバ１２から提供される2D圧縮データが完全に復号されずに、復号途中の中間状態における中間データとしての2D変換係数データが生成され、その2D変換係数データに基づいた2D画像又は3D画像が表示される。
【００８８】
［再圧縮処理の流れ］
次に、図５のフローチャートを参照して、図３のステップＳ１４の処理に対応する再圧縮処理の詳細について説明する。
【００８９】
ステップＳ５１において、復号部７１は、2D圧縮データ受信部３５により取得された2D圧縮データを復号する。
【００９０】
ステップＳ５２において、逆量子化部７２は、復号部７１により復号された、量子化された2D変換係数データを逆量子化する。ステップＳ５３において、逆量子化部７２は、逆量子化により得られた2D変換係数データを、2D復号部３７に出力する。これにより、前述したステップＳ１９，Ｓ２０（図３）の処理によって、所望の画像に対応する2D画像がデータ表示部３３に表示される。
【００９１】
ステップＳ５４において、2Dデータ再配置部５２は、再配置処理を行う。ここで、図６のフローチャートを参照して、再配置処理の詳細について説明する。
【００９２】
ステップＳ７１において、2Dデータ再配置部５２は、2D変換係数データを、シーケンス順に再配置するか否かを判定する。
【００９３】
ここで、図７を参照して、再配置処理における再配置の順序について説明する。
【００９４】
図７に示すように、サーバ１２の3D圧縮データ蓄積部６３には、フレーム群からなる画像の集合が多数蓄積されており、クライアント端末装置１１は、ある集合に属するフレーム群を順次取得することになる。そして、クライアント端末装置１１は、順次取得したフレームを再配置することになるが、その再配置の順序としては、シーケンス順とリクエスト順の２種類ある。
【００９５】
シーケンス順とは、3D圧縮データ蓄積部６３に蓄積されている3D圧縮データを構成している複数のフレームのＺ方向の順序である。このシーケンス順に再配置する場合、同一集合のフレーム群が全て揃ってから再配置する必要があるが、フレームの順序が、3D圧縮データ蓄積部６３に蓄積されていたときと同一であるため、3D圧縮データ蓄積部６３に蓄積されていたときと同等の圧縮率を得ることができる。
【００９６】
このシーケンスの順序を示す情報は、図８に示すように、各フレームを構成するヘッダ部とデータ部のうちの、ヘッダ部に記述される。そして、2Dデータ再配置部５２は、そのヘッダ部に記述されたシーケンスの順序を示す情報を、並び替え情報として取得することとなる。なお、シーケンスの順序を示す情報は、ヘッダ部に限らず、例えば、所定の方式に対応したシステムフォーマットにより規定するなどしてもよい。
【００９７】
図７に戻り、リクエスト順とは、クライアント端末装置１１から画像を要求した順序である。リクエストの順序を示す情報としては、例えば、ユーザによる画像表示に関する指示が相当する。このリクエスト順の場合、3D圧縮データ蓄積部６３での順序と入れ替わっているため、制御部３１は、ユーザによる画像表示に関する指示を記憶しておき、その情報が並び替え情報として取得されるようにする。
【００９８】
このリクエスト順に再配置する場合、サーバ１２に要求した順序で再配置することになるため、3D圧縮データ蓄積部６３に蓄積されていたときよりも圧縮率が悪くなる可能性がある。しかしながら、クライアント端末装置１１側で、並び替え情報を管理できることから、確実に再配置を行うことができる。
【００９９】
図６のフローチャートに戻り、ステップＳ７１において、シーケンス順に再配置すると判定された場合、処理は、ステップＳ７２に進む。ステップＳ７２において、並び替え部７４は、並び替え情報に基づいて、メモリ７３に記憶された2D変換係数データを、シーケンス順に並び替える。
【０１００】
一方、ステップＳ７１において、シーケンス順に再配置しないと判定された場合、リクエスト順に再配置するため、処理は、ステップＳ７３に進む。ステップＳ７３において、並び替え部７４は、並び替え情報に基づいて、メモリ７３に記憶された2D変換係数データを、リクエスト順に並び替える。
【０１０１】
ステップＳ７２又はＳ７３の処理が終了すると、処理は、図５のフローチャートに戻り、ステップＳ５４以降の処理が行われる。
【０１０２】
ステップＳ５５において、3D変換部７５は、メモリ７３上で再配置された2D変換係数データに対して、3D変換処理を施す。例えば、2D変換係数データが2D-DCT係数データである場合、3D変換部７５は、メモリ７３上で再配置された2D-DCT係数データを読み出し、その2D-DCT係数データに対してＺ方向に１次元に離散コサイン変換（DCT）を行い、3D-DCT係数データを生成する。
【０１０３】
ステップＳ５６において、量子化部７６は、Q値選択処理を行う。ここで、図９のフローチャートを参照して、Q値選択処理の詳細について説明する。
【０１０４】
ステップＳ９１において、量子化部７６は、サーバ１２で用いられたQ値を使用するか否かを判定する。
【０１０５】
ステップＳ９１において、サーバ１２のQ値を使用すると判定された場合、処理は、ステップＳ９２に進む。ステップＳ９２において、量子化部７６は、サーバ１２において符号化時に用いられたQ値を取得する。
【０１０６】
前述したように、Q値は、圧縮率を決定するためのパラメータであるため、Q値が大きいほど高圧縮（低画質）となる一方、Q値が小さいほど低圧縮（高画質）となる。サーバ１２で用いられたQ値を使用することで、3D圧縮データ蓄積部６３に蓄積されていた3D圧縮データと同等の画質で、かつ、同等のデータ容量となる3D圧縮データが得られる。このサーバ１２のQ値は、例えば、図８のフレームを構成するヘッダ部に記述されるか、あるいは、所定の方式に対応したシステムフォーマットにより規定される。また、Q値は、一定のQ値に限らず、Q値テーブルごと送ってもよい。
【０１０７】
一方、ステップＳ９１において、サーバ１２のQ値を使用しないと判定された場合、処理は、ステップＳ９３に進む。ステップＳ９３において、量子化部７６は、クライアント端末装置１１で設定されたQ値を取得する。例えば、制御部３１は、3D圧縮データ蓄積部３８の残りの容量に応じたQ値を求めて、量子化部７６に供給する。すなわち、3D圧縮データ蓄積部３８の容量制限により、サーバ１２のQ値を用いると、3D圧縮データのサイズが大きすぎて、保存できなくなってしまう場合には、Q値を大きく設定して画質を落として（容量を小さくして）、保存するようにする。
【０１０８】
ステップＳ９２又はＳ９３の処理が終了すると、処理は、図５のフローチャートに戻り、ステップＳ５６以降の処理が行われる。
【０１０９】
ステップＳ５７において、量子化部７６は、取得したQ値に基づいて、3D変換部７５により変換された3D変換係数データを量子化する。
【０１１０】
ステップＳ５８において、符号化部７７は、量子化部７６により量子化された3D変換係数データを符号化する。ステップＳ５９において、符号化部７７は、符号化により得られた3D圧縮データを、3D圧縮データ蓄積部３８に出力する。これにより、3D圧縮データ蓄積部３８には、3D圧縮データが蓄積される。
【０１１１】
以上のように、再圧縮処理部３６においては、中間データ生成部５１により、サーバ１２から提供される2D圧縮データが完全に復号されずに、中間データとしての2D変換係数データが生成され、その2D変換係数データに基づいた3D圧縮データが生成される。これにより、中間データまでの復号処理で、3D圧縮データに再圧縮することができるため、完全に復号してしまう場合と比べて、画質の劣化を抑えることができる。すなわち、完全に復号する場合には、さらなる変換処理を行う必要があるため、中間データまでの復号処理で再圧縮する場合と比べて画質が劣化することとなる。
【０１１２】
また、再圧縮処理部３６においては、2D圧縮データを完全に復号せずに、3D圧縮データを生成することができるので、2D圧縮データを完全に復号する場合と比べて、変換処理の負荷が低減され、より高速に処理を行うことができる。
【０１１３】
さらにまた、2Dデータ再配置部５２によって、シーケンス順又はリクエスト順に再配置されてから、3D変換処理が行われるため、シーケンス順に並び替えた場合には、サーバ１２側に蓄積された3D圧縮データと同等の画質で、かつ、同等の圧縮率で再圧縮することが可能となる。
【０１１４】
さらに、サーバ１２で用いられたQ値を使用して、量子化をすることができるので、サーバ１２に蓄積されていた3D圧縮データと同等の画質で、かつ、同等のデータ容量となる3D圧縮データが得られる。一方、クライアント端末装置１１側でデータの蓄積容量に余裕がない場合には、その残容量に応じて圧縮率を変更することができるので、確実に、3D圧縮データを蓄積することができる。
【０１１５】
また、サーバ１２からクライアント端末装置１１に伝送路１３を介して提供されるデータは、例えばJPEG符号化データなどの、3D圧縮データなどと比べてデータ容量の小さい2D圧縮データであるため、高速に伝送することが可能となる。
【０１１６】
なお、前述した説明では、直交変換処理の一例として、離散コサイン変換処理についても説明したが、これに限らず、例えば、ウェーブレット変換等、他の直交変換処理が行われるようにしてもよい。また、サーバ１２からクライアント端末装置１１に提供される2D圧縮データとして、JPEG符号化データについても説明したが、クライアント端末装置１１に提供する画像データの符号化法は任意であり、例えば、画像データをJPEG2000符号化データに変換し、クライアント端末装置１１に提供するようにしてもよい。
【０１１７】
また、本明細書において、「2D」は２次元、「3D」は３次元を意味する。
【０１１８】
［本技術を適用したコンピュータの説明］
前述した一連の処理は、ハードウェアにより行うこともできるし、ソフトウェアにより行うこともできる。一連の処理をソフトウェアによって行う場合には、そのソフトウェアを構成するプログラムが、汎用のコンピュータ等にインストールされる。
【０１１９】
そこで、図１０は、前述した一連の処理を実行するプログラムがインストールされるコンピュータの一実施の形態の構成例を示している。
【０１２０】
プログラムは、コンピュータ１００に内蔵されているハードディスク等の記録部１０８やROM(Read Only Memory)１０２に予め記録しておくことができる。
【０１２１】
あるいはまた、プログラムは、フレキシブルディスク、CD-ROM(Compact Disc Read Only Memory)，MO(Magneto Optical)ディスク，DVD(Digital Versatile Disc)、磁気ディスク、半導体メモリなどのリムーバブルメディア１１１に、一時的あるいは永続的に格納（記録）しておくことができる。このようなリムーバブルメディア１１１は、いわゆるパッケージソフトウエアとして提供することができる。
【０１２２】
なお、プログラムは、前述したようなリムーバブルメディア１１１からコンピュータ１００にインストールする他、ダウンロードサイトから、デジタル衛星放送用の人工衛星を介して、コンピュータ１００に無線で転送したり、LAN(Local Area Network)、インターネットといったネットワークを介して、コンピュータ１００に有線で転送し、コンピュータ１００では、そのようにして転送されてくるプログラムを、通信部１０９で受信し、記録部１０８にインストールすることができる。
【０１２３】
コンピュータ１００は、CPU(Central Processing Unit)１０１を内蔵している。CPU１０１には、バス１０４を介して、入出力インタフェース１０５が接続されており、CPU１０１は、入出力インタフェース１０５を介して、ユーザによって、キーボードや、マウス、マイク等で構成される入力部１０６が操作等されることにより指令が入力されると、それに従って、ROM１０２に格納されているプログラムを実行する。あるいは、また、CPU１０１は、記録部１０８に格納されているプログラム、衛星若しくはネットワークから転送され、通信部１０９で受信されて記録部１０８にインストールされたプログラム、又はドライブ１１０に装着されたリムーバブルメディア１１１から読み出されて記録部１０８にインストールされたプログラムを、RAM(Random Access Memory)１０３にロードして実行する。これにより、CPU１０１は、前述したフローチャートにしたがった処理、あるいは前述したブロック図の構成により行われる処理を行う。そして、CPU１０１は、その処理結果を、必要に応じて、例えば、入出力インタフェース１０５を介して、LCDやスピーカ等で構成される出力部１０７から出力、あるいは、通信部１０９から送信、さらには、記録部１０８に記録等させる。
【０１２４】
ここで、本明細書において、コンピュータ１００に各種の処理を行わせるためのプログラムを記述する処理ステップは、必ずしもフローチャートとして記載された順序に沿って時系列に処理する必要はなく、並列的あるいは個別に実行される処理（例えば、並列処理あるいはオブジェクトによる処理）も含むものである。
【０１２５】
また、プログラムは、１のコンピュータにより処理されるものであっても良いし、複数のコンピュータによって分散処理されるものであっても良い。さらに、プログラムは、遠方のコンピュータに転送されて実行されるものであっても良い。
【０１２６】
なお、本明細書において、システムとは、複数の装置により構成される装置全体を表すものである。
【０１２７】
さらに、本技術の実施の形態は、前述した実施の形態に限定されるものではなく、本技術の要旨を逸脱しない範囲において種々の変更が可能である。
【符号の説明】
【０１２８】
１ 画像提供システム， １１ クライアント端末装置， １２ サーバ， １３ 伝送路， ３１ 制御部， ３２ 操作部， ３３ データ表示部， ３４ 要求送信部， ３５ 2D圧縮データ受信部， ３６ 再圧縮処理部， ３７ 2D復号部， ３８ 3D圧縮データ蓄積部， ３９ 3D復号部， ５１ 中間データ生成部， ５２ 2Dデータ再配置部， ５３ 3D変換部， ７１ 復号部， ７２ 逆量子化部， ７３ メモリ， ７４ 並び替え部， ７５ 3D変換部， ７６ 量子化部， ７７ 符号化部， １００ コンピュータ， １０１ CPU
【技術分野】
【０００１】
本技術は、情報処理装置及び方法、画像提供システム及び画像提供方法、並びにプログラムに関し、特に、画質の劣化を抑えることができるようにした情報処理装置及び方法、画像提供システム及び画像提供方法、並びにプログラムに関する。
【背景技術】
【０００２】
従来より、サーバに蓄積されている画像データを、クライアント端末装置に提供するための画像提供システムが各種提案されている。
【０００３】
例えば、サーバ側において、クライアント端末装置から指定された画質やフォーマットなどの条件に適合するような所定の画像処理を施してから、それにより得られる画像データを提供するものが提案されている（例えば、特許文献１参照）。
【先行技術文献】
【特許文献】
【０００４】
【特許文献１】特開２０１０−１７２００１号公報
【発明の概要】
【発明が解決しようとする課題】
【０００５】
しかしながら、従来の技術であると、所定の画像処理が施された画像データが、クライアント端末装置に提供されることになるため、提供された画像データが劣化しているという問題がある。
【０００６】
そのため、クライアント端末装置に提供された画像データの画質が、サーバ側のものと同等の画質であることが望まれている。
【０００７】
本技術はこのような状況に鑑みてなされたものであり、サーバから、クライアント端末装置に提供される画像データの画質の劣化を抑えることができるようにするものである。
【課題を解決するための手段】
【０００８】
本技術の一側面の情報処理装置は、複数の画像から生成される３次元直交変換符号化データを変換して得られる２次元直交変換符号化データを、順次取得する２次元直交変換符号化データ取得部と、取得された複数の前記２次元直交変換符号化データに基づいて、複数の２次元直交変換係数データを生成する２次元直交変換係数データ生成部と、生成された複数の前記２次元直交変換係数データを変換して得られる３次元直交変換係数データを符号化する３次元変換部とを備える。
【０００９】
生成された複数の前記２次元直交変換係数データを、所定の順序に並び替える２次元直交変換係数データ再配置部をさらに備え、前記３次元変換部は、並び替えられた複数の前記２次元直交変換係数データを、前記３次元直交変換係数データに変換する。
【００１０】
２次元直交変換係数データ再配置部は、複数の前記２次元直交変換係数データを、前記複数の画像の並び順と同一の順序に並び替える。
【００１１】
前記３次元変換部は、量子化パラメータに基づいて、前記３次元直交変換係数データを符号化する。
【００１２】
前記量子化パラメータは、前記複数の画像から３次元直交変換符号化データを生成する際に用いられた量子化値、又は前記３次元直交変換係数データを符号化して得られた３次元直交変換符号化データを蓄積するために必要となる容量に応じた量子化値である。
【００１３】
所望の画像を要求する画像要求部をさらに備え、前記２次元直交変換符号化データ取得部は、前記要求に応じた画像を含む前記２次元直交変換符号化データ及びその画像の周辺の他の２次元直交変換符号化データを順次取得する。
【００１４】
前記２次元直交変換係数データ生成部は、取得された複数の前記２次元直交変換符号化データを、それぞれ復号する２次元直交変換符号化データ復号部と、復号された２次元直交変換符号化データを逆量子化する逆量子化部とを備え、前記２次元直交変換係数データ再配置部は、逆量子化により得られる複数の前記２次元直交変換係数データを並び替える。
【００１５】
前記３次元変換部は、並び替えられた前記２次元直交変換係数データを、前記複数の画像が並ぶ方向に１次元に直交変換して、３次元直交変換係数データに変換する３次元直交変換係数データ変換部と、変換された前記３次元直交変換係数データを、量子化する量子化部と、量子化により得られる３次元直交変換係数データを符号化する３次元直交変換係数データ符号化部とをさらに備える。
【００１６】
前記３次元直交変換係数データを符号化して得られる３次元直交変換符号化データを蓄積する３次元直交変換符号化データ蓄積部と、蓄積された前記３次元直交変換符号化データを復号する３次元復号部とをさらに備える。
【００１７】
復号された２次元直交変換符号化データを逆量子化して得られる前記２次元直交変換係数データを逆直交変換する２次元逆直交変換部をさらに備える。
【００１８】
本技術の一側面の情報処理方法又はプログラムは、前述した本技術の一側面の情報処理装置に対応する方法又はプログラムである。
【００１９】
本技術の一側面の情報処理装置及び方法、並びにプログラムにおいては、複数の画像から生成される３次元直交変換符号化データを変換して得られる２次元直交変換符号化データが、順次取得され、取得された複数の２次元直交変換符号化データに基づいて、複数の２次元直交変換係数データが生成され、生成された複数の２次元直交変換係数データを変換して得られる３次元直交変換係数データが符号化される。
【００２０】
本技術の一側面の画像提供システムは、情報処理装置と、前記情報処理装置に画像データを提供する画像提供装置からなる画像提供システムにおいて、前記画像提供装置は、複数の画像から生成される３次元直交変換符号化データを蓄積する３次元直交変換符号化データ蓄積部と、前記３次元直交変換符号化データ蓄積部に蓄積された前記３次元直交変換符号化データから、前記情報処理装置からの要求に応じた画像及びその周辺の画像を含む３次元直交変換符号化データを読み出す読み出し部と、読み出された前記３次元直交変換符号化データを、前記２次元直交変換符号化データに変換する２次元直交変換符号化データ変換部と、変換された２次元直交変換符号化データ及びその画像の周辺の他の２次元直交変換符号化データを順次、前記情報処理装置に送信する２次元直交変換符号化データ送信部とを備え、前記情報処理装置は、前記画像提供装置から送信されてくる前記２次元直交変換符号化データを順次、受信する２次元直交変換符号化データ受信部と、取得された複数の前記２次元直交変換符号化データに基づいて、複数の２次元直交変換係数データを生成する２次元直交変換係数データ生成部と、生成された複数の前記２次元直交変換係数データを変換して得られる３次元直交変換係数データを符号化する３次元変換部とを備える。
【００２１】
情報処理装置又は画像提供装置は、独立した装置であってもよいし、１つの装置を構成している内部ブロックであってもよい。また、情報処理装置と画像提供装置の間で行われる通信は、無線通信及び有線通信はもちろん、無線通信と有線通信とが混在した通信、すなわち、ある区間では無線通信が行われ、他の区間では有線通信が行われるようなものであってもよい。
【００２２】
本技術の一側面の画像提供方法は、前述した本技術の一側面の画像提供システムに対応する方法である。
【００２３】
本技術の一側面の画像提供システム及び画像提供方法においては、画像提供装置によって、複数の画像から生成される３次元直交変換符号化データが蓄積され、蓄積された３次元直交変換符号化データから、情報処理装置からの要求に応じた画像及びその周辺の画像を含む３次元直交変換符号化データが読み出され、読み出された３次元直交変換符号化データが、２次元直交変換符号化データに変換され、変換された２次元直交変換符号化データ及びその画像の周辺の他の２次元直交変換符号化データが順次、情報処理装置に送信され、情報処理装置によって、画像提供装置から送信されてくる２次元直交変換符号化データが順次、受信され、取得された複数の２次元直交変換符号化データに基づいて、複数の２次元直交変換係数データが生成され、生成された複数の２次元直交変換係数データを変換して得られる３次元直交変換係数データが符号化される。
【発明の効果】
【００２４】
本技術の一側面によれば、画質の劣化を抑えることができる。
【図面の簡単な説明】
【００２５】
【図１】画像提供システムの構成を示す図である。
【図２】再圧縮処理部の詳細な構成を示す図である。
【図３】画像提供処理を説明するフローチャートである。
【図４】3D圧縮データの構成例を示す図である。
【図５】再圧縮処理を説明するフローチャートである。
【図６】再配置処理を説明するフローチャートである。
【図７】再配置の順序を説明する図である。
【図８】送信データのフォーマットの例を示す図である。
【図９】Q値選択処理を説明するフローチャートである。
【図１０】コンピュータの構成例を示す図である。
【発明を実施するための形態】
【００２６】
以下、図面を参照しながら本技術の実施の形態について説明する。
【００２７】
［画像提供システムの構成］
図１は、画像提供システムの構成を示す図である。
【００２８】
図１に示すように、画像提供システム１は、クライアント端末装置１１及びサーバ１２から構成される。クライアント端末装置１１とサーバ１２は、伝送路１３を介して相互に通信可能とされる。
【００２９】
クライアント端末装置１１は、ユーザの指示に応じた所望の画像を、伝送路１３を介してサーバ１２に要求する。クライアント端末装置１１は、その要求に応じて、伝送路１３を介してサーバ１２から提供される画像を受信して、表示する。
【００３０】
クライアント端末装置１１は、制御部３１、操作部３２、データ表示部３３、要求送信部３４、2D圧縮データ受信部３５、再圧縮処理部３６、2D復号部３７、3D圧縮データ蓄積部３８、及び3D復号部３９から構成される。
【００３１】
制御部３１は、クライアント端末装置１１の各部の動作を制御する。また、制御部３１は、操作部３２から供給されるユーザの指示に応じた信号に基づいて、各部の動作を制御する。
【００３２】
データ表示部３３は、LCD(Liquid Crystal Display)等のモニタを有し、2D画像や3D画像等の画像の他、各種の情報を表示する。また、モニタにはタッチパネルが重畳されていたり、リモートコントローラのような外部操作装置からの指示が受信できるようになっており、ユーザの指示に応じた信号を、要求送信部３４に供給する。データ表示部３３は、ユーザにより操作部３１又はタッチパネルを介して画像表示に関する指示がされた場合、その指示に応じた画像データの要求を、要求送信部３４に供給する。
【００３３】
要求送信部３４は、データ表示部３３から供給される画像データの要求を、伝送路１３を介してサーバ１２に送信する。
【００３４】
2D圧縮データ受信部３５は、伝送路１３を介してサーバ１２から送信されてくる2D圧縮データを受信し、再圧縮処理部３６に供給する。
【００３５】
再圧縮処理部３６は、2D圧縮データ受信部３５から供給される2D圧縮データに対して、再圧縮処理を施す。再圧縮処理部３６は、再圧縮処理により得られる3D圧縮データを、3D圧縮データ蓄積部３８に供給し、蓄積する。また、再圧縮処理部３６は、再圧縮処理の途中で得られる2D変換係数データを、2D復号部３７に供給する。
【００３６】
なお、以下の説明では、２次元の直交変換（例えば２次元離散コサイン変換（2D-DCT））を伴う符号化により得られる２次元直交変換符号化データを、2D圧縮データと称し、３次元の直交変換（例えば３次元離散コサイン変換（3D-DCT））を伴う符号化により得られる３次元直交変換符号化データを、3D圧縮データと称する。
【００３７】
また、所定の画像を、２次元の直交変換（例えば２次元離散コサイン変換（2D-DCT））をすることで得られる２次元直交変換係数データを、2D変換係数データと称し、複数の画像を、２次元の直交変換（例えば３次元離散コサイン変換（3D-DCT））をすることで得られる３次元直交変換係数データを、3D変換係数データと称する。
【００３８】
再圧縮処理部３６は、中間データ生成部５１、2Dデータ再配置部５２、及び3D変換部５３から構成される。
【００３９】
中間データ生成部５１は、2D圧縮データ受信部３５から供給される2D圧縮データに対して、復号及び逆量子化を行い、それにより得られる2D変換係数データを、2D復号部３７及び2Dデータ再配置部５２に供給する。
【００４０】
2Dデータ再配置部５２は、中間データ生成部５１から供給される複数の2D変換係数データを所定の順序に並び替え、並び替え後の2D変換係数データを、3D変換部５３に供給する。
【００４１】
3D変換部５３は、2Dデータ再配置部５２から供給される、並び替え後の2D変換係数データに対して、3D変換係数データへの変換（3D変換）、量子化、及び符号化を行い、それにより得られる3D圧縮データを、3D圧縮データ蓄積部３８に供給する。
【００４２】
2D復号部３７は、中間データ生成部５１から供給される2D変換係数データに対して、逆直交変換等を行い、それにより得られる2D画像を、データ表示部３３に表示させる。
【００４３】
3D復号部３９は、3D圧縮データ蓄積部３８に蓄積された3D圧縮データを読み出して復号し、それにより得られる3D画像を、データ表示部３３に表示させる。
【００４４】
一方、サーバ１２は、クライアント端末装置１１から送信される、所望の画像の要求に応じた画像を特定し、その画像を、伝送路１３を介してクライアント端末装置１１に提供する。
【００４５】
サーバ１２は、要求受信部６１、データ特定部６２、3D圧縮データ蓄積部６３、2D変換部６４、及び2D圧縮データ送信部６５から構成される。
【００４６】
要求受信部６１は、伝送路１３を介して、クライアント端末装置１１から送信される要求を受信し、データ特定部６２に供給する。
【００４７】
データ特定部６２は、要求受信部６１から供給される要求に基づいて、クライアント端末装置１１に送信する画像データを特定する。データ特定部６２は、送信する画像データとして特定された3D圧縮データを、3D圧縮データ蓄積部６３から読み出し、2D変換部６４に供給する。
【００４８】
2D変換部６４は、データ特定部６２から供給される3D圧縮データに対して、復号及び逆量子化を行う。そして、2D変換部６４は、復号及び逆量子化により得られる3D変換係数データに対し、2D変換係数データへの変換（2D変換）、量子化、符号化を行う。2D変換部６４は、それにより得られる2D圧縮データを、2D圧縮データ送信部６５に供給する。
【００４９】
2D圧縮データ送信部６５は、2D変換部６４から供給される2D圧縮データを、伝送路１３を介してクライアント端末装置１１に送信する。
【００５０】
以上のようにして、画像提供システム１は構成される。
【００５１】
［再圧縮処理部の構成］
図２は、クライアント端末装置１１の再圧縮処理部３６の詳細な構成を示す図である。
【００５２】
前述したとおり、再圧縮処理部３６は、中間データ生成部５１、2Dデータ再配置部５２、及び3D変換部５３から構成される。
【００５３】
2D圧縮データ受信部３５により受信された2D圧縮データは、中間データ生成部５１に供給される。中間データ生成部５１は、復号部７１及び逆量子化部７２から構成される。
【００５４】
復号部７１は、2D圧縮データ受信部３５から供給された2D圧縮データを、サーバ１２で行われた符号化の符号化法に対応する復号法で復号し、それにより得られる量子化された2D変換係数データを、逆量子化部７２に供給する。
【００５５】
逆量子化部７２は、復号部７１から供給される、量子化された2D変換係数データを逆量子化し、それにより得られる2D変換係数データを、2D復号部３７及び2Dデータ再配置部５２に供給する。
【００５６】
2Dデータ再配置部５２は、メモリ７３及び並び替え部７４から構成される。
【００５７】
メモリ７３は、逆量子化部７２から供給される、2D変換係数データを順次記憶する。
【００５８】
並び替え部７４は、2D変換係数データの並び替え順を示す情報（以下、並び替え情報という）を取得する。並び替え部７４は、取得した並び替え情報に基づいて、メモリ７３に記憶された複数の2D変換係数データを所定の順序に並び替えて、2D変換係数データを再配置する。
【００５９】
3D変換部５３は、3D変換部７５、量子化部７６、及び符号化部７７から構成される。
【００６０】
3D変換部７５は、メモリ７３上で再配置された2D変換係数データに対して、2D変換係数データから3D変換係数データへの変換（3D変換）処理を施し、それにより得られた3D変換係数データを、量子化部７６に供給する。
【００６１】
量子化部７６は、圧縮率を決定するためのパラメータとしての量子化値（以下、Q値という）を取得する。量子化部７６は、取得したQ値に基づいて、3D変換部７５から供給される3D変換係数データを量子化し、符号化部７７に供給する。
【００６２】
符号化部７７は、量子化部７６から供給される、量子化された3D変換係数データを、サーバ１２で行われた復号の復号法に対応する符号化法で符号化し、それにより得られる3D圧縮データを、3D圧縮データ蓄積部３８に供給する。
【００６３】
以上のようにして、再圧縮処理部３６は構成される。
【００６４】
［画像提供処理の流れ］
次に、図３のフローチャートを参照して、画像提供システム１において行われる画像提供処理について説明する。
【００６５】
クライアント端末装置１１において、操作部３２は、データ表示部３３に表示された画像に対する、ユーザからの画像表示に関する指示を受け付ける（ステップＳ１１）。ここでは、例えば、表示させる画像の位置や解像度等が指示される。指示が行われた場合、ステップＳ１２において、要求送信部３４は、その指示に応じた画像データを、伝送路１３を介してサーバ１２に要求する。
【００６６】
クライアント端末装置１１から伝送路１３を介して要求が送信されると、サーバ１２では、その要求が、要求受信部６１により受信される（ステップＳ３１）。
【００６７】
ステップＳ３２において、データ特定部６２は、要求受信部６１により取得された要求に基づいて、クライアント端末装置１１に送信する画像データを特定する。ステップＳ３３において、データ特定部６２は、送信する画像データとして特定された3D圧縮データを、3D圧縮データ蓄積部６３から読み出す。
【００６８】
図４は、3D圧縮データの構成例を示す図である。
【００６９】
図４に示すように、3D圧縮データ蓄積部６３には、3D圧縮データとして、複数の2D画像に対応するフレームが１つのまとまりとして蓄積されている。図４の例の場合、５枚のフレームが、１つのまとまりとなっており、3D圧縮データ蓄積部６３には、このようなフレーム群からなる画像の集合が多数蓄積されている。例えば、対象物を、複数の焦点位置で、その焦点位置のＺ座標を変えながら撮影することにより、１つの対象物に対して複数の撮影画像が生成される。そして、この複数の撮影画像は、互いに焦点位置が異なるものである。このような撮影画像から生成される3D圧縮データが、3D圧縮データ蓄積部６３に蓄積されることとなる。
【００７０】
図３のフローチャートに戻り、ステップＳ３４において、2D変換部６４は、3D圧縮データ蓄積部６３から読み出された3D圧縮データを、2D圧縮データに変換する。
【００７１】
この変換処理の詳細であるが、2D変換部６４によって、3D圧縮データが復号され、それにより得られる量子化された3D変換係数データが逆量子化され、3D変換係数データが得られる。そして、2D変換部６４によって、3D変換係数データに対し、3D変換係数データから2D変換係数データへの変換（2D変換）処理が施され、それにより得られた2D変換係数データが量子化され、所定の符号化法により符号化されることで、2D圧縮データが得られることになる。
【００７２】
なお、2D変換処理としては、例えば、3D変換係数データが3D-DCT係数データである場合、3D-DCT係数データを、Ｚ方向に１次元に逆離散コサイン変換（IDCT）することで、2D-DCT係数データが得られる。また、符号化法として、例えば、ランレングス・ハフマン符号化法を用いることで、2D圧縮データとして、JPEG規格に準拠するJPEG符号化データが生成される。
【００７３】
ステップＳ３５において、2D圧縮データ送信部６５は、2D変換部６４により生成された2D圧縮データを、伝送路１３を介してクライアント端末装置１１に送信する。
【００７４】
ステップＳ３６において、データ特定部６２は、他の2D圧縮データを送信するか否かを判定する。例えば、伝送路１３の帯域や、クライアント端末装置１１の処理能力に余裕がある場合、サーバ１２は、要求された画像の2D圧縮データとともに、他の2D圧縮データをクライアント端末装置１１に提供することができる。他の2D圧縮データとしては、例えば、Ｚ方向に隣接する周辺の2D圧縮データとされる。
【００７５】
例えば、クライアント端末装置１１のユーザが、データ表示部３３に表示される対象物の画像を見ながら観察を行うとする。データ表示部３３には、対象物の画像の全体を表示させることも可能であるが、例えばユーザがより詳細に画像を観察したいと所望する場合、対象物の画像を拡大し、その一部を表示させることもできる。ユーザは、例えば、対象物の画像の、データ表示部３３に表示させる部分の位置を移動させたり、焦点位置を変えたり、縮尺を変えたりして、データ表示部３３に様々な画像を表示させ、対象物を観察する。
【００７６】
例えば、複数の撮影画像（以下、フォーカス面画像という）の異なる部分を観察する場合、ユーザは、フォーカス面画像の、データ表示部３３に表示させる部分をＸ方向やＹ方向に移動させる。また、例えば、焦点位置を変更する場合、ユーザは、データ表示部３３に表示させる画像をＺ方向に変更する。さらに、例えば、拡大や縮小等、表示画像の縮尺を変更する場合、ユーザは、データ表示部３３に表示させる画像の解像度を変更する。
【００７７】
ユーザは、このような指示をどのような方法で行ってもよいが、例えば、スクロール等のようなGUI操作により行うのが一般的である。したがって、ユーザが上述したようにデータ表示部３３に表示させる画像を制御する場合、現在表示されている画像に近い位置の画像が次に表示される可能性が高い。
【００７８】
例えば、現在表示されている画像と同一のフォーカス面画像の（同一のＸＹ平面上の）、現在表示されている画像に隣接する領域の画像、現在表示されている画像のフォーカス面画像にＺ方向に隣接するフォーカス面画像の、現在表示されている画像と同じ位置の領域の画像、及び現在表示されている画像に対応する、現在表示されている画像と異なる解像度の画像等が、次に表示される可能性が高い。
【００７９】
そこで、サーバ１２のデータ特定部６２が、要求された画像だけでなく、このような、その要求された画像の周辺の画像の2D圧縮データが、クライアント端末装置１１に送信されるようにする。
【００８０】
これにより、クライアント端末装置１１は、次に要求する画像を、その要求の前に取得することになり、要求に対する応答を待たずに、画像表示を行うことができる。すなわち、要求に対する画像表示の応答速度を向上させることができる。
【００８１】
ステップＳ３６において、他の2D圧縮データを送信すると判定された場合、処理は、ステップＳ３２に戻る。そして、前述したステップＳ３２乃至Ｓ３６の処理が繰り返され、要求された画像を含む2D変換係数データだけでなく、その周辺の他の2D変換係数データが特定され、順次、2D圧縮データとしてクライアント端末装置１１に送信される。そして、ステップＳ３６において、他の2D圧縮データを送信しないと判定された場合、サーバ１２の処理は終了する。
【００８２】
サーバ１２から伝送路１３を介して2D圧縮データが順次送信されると、クライアント端末装置１１では、その2D圧縮データが、2D圧縮データ受信部３５により順次受信される（ステップＳ１３）。
【００８３】
ステップＳ１４において、再圧縮処理部３６は、2D圧縮データ受信部３５により取得された複数の2D圧縮データに対して、再圧縮処理を施す。この再圧縮処理の詳細は、図５のフローチャートを参照して、後述する。
【００８４】
ステップＳ１５において、3D圧縮データ蓄積部３８は、再圧縮処理部３６による再圧縮処理で得られた3D圧縮データを蓄積する。
【００８５】
そして、3D画像を表示させる場合（ステップＳ１６の「Yes」）、処理は、ステップＳ１７に進む。ステップＳ１７において、3D復号部３９は、3D圧縮データ蓄積部３８に蓄積された3D圧縮データを読み出して、復号する。3D復号部３９は、ステップＳ１８において、復号により得られる3D画像を、データ表示部３３に表示させる。
【００８６】
一方、2D画像を表示させる場合（ステップＳ１６の「No」）、処理は、ステップＳ１９に進む。ステップＳ１９において、2D復号部３７は、再圧縮処理部３６による再圧縮処理の途中で得られる2D変換係数データに対して、逆直交変換（例えば２次元に逆離散コサイン変換（IDCT））等を行う。2D復号部３７は、ステップＳ２０において、逆直交変換により得られる2D画像を、データ表示部３３に表示させる。
【００８７】
以上のように、画像提供システム１においては、サーバ１２によって、クライアント端末装置１１からの要求に応じた所望の画像が提供され、その画像が、クライアント端末装置１１で表示される。その際、クライアント端末装置１１においては、再圧縮処理が行われ、サーバ１２から提供される2D圧縮データが完全に復号されずに、復号途中の中間状態における中間データとしての2D変換係数データが生成され、その2D変換係数データに基づいた2D画像又は3D画像が表示される。
【００８８】
［再圧縮処理の流れ］
次に、図５のフローチャートを参照して、図３のステップＳ１４の処理に対応する再圧縮処理の詳細について説明する。
【００８９】
ステップＳ５１において、復号部７１は、2D圧縮データ受信部３５により取得された2D圧縮データを復号する。
【００９０】
ステップＳ５２において、逆量子化部７２は、復号部７１により復号された、量子化された2D変換係数データを逆量子化する。ステップＳ５３において、逆量子化部７２は、逆量子化により得られた2D変換係数データを、2D復号部３７に出力する。これにより、前述したステップＳ１９，Ｓ２０（図３）の処理によって、所望の画像に対応する2D画像がデータ表示部３３に表示される。
【００９１】
ステップＳ５４において、2Dデータ再配置部５２は、再配置処理を行う。ここで、図６のフローチャートを参照して、再配置処理の詳細について説明する。
【００９２】
ステップＳ７１において、2Dデータ再配置部５２は、2D変換係数データを、シーケンス順に再配置するか否かを判定する。
【００９３】
ここで、図７を参照して、再配置処理における再配置の順序について説明する。
【００９４】
図７に示すように、サーバ１２の3D圧縮データ蓄積部６３には、フレーム群からなる画像の集合が多数蓄積されており、クライアント端末装置１１は、ある集合に属するフレーム群を順次取得することになる。そして、クライアント端末装置１１は、順次取得したフレームを再配置することになるが、その再配置の順序としては、シーケンス順とリクエスト順の２種類ある。
【００９５】
シーケンス順とは、3D圧縮データ蓄積部６３に蓄積されている3D圧縮データを構成している複数のフレームのＺ方向の順序である。このシーケンス順に再配置する場合、同一集合のフレーム群が全て揃ってから再配置する必要があるが、フレームの順序が、3D圧縮データ蓄積部６３に蓄積されていたときと同一であるため、3D圧縮データ蓄積部６３に蓄積されていたときと同等の圧縮率を得ることができる。
【００９６】
このシーケンスの順序を示す情報は、図８に示すように、各フレームを構成するヘッダ部とデータ部のうちの、ヘッダ部に記述される。そして、2Dデータ再配置部５２は、そのヘッダ部に記述されたシーケンスの順序を示す情報を、並び替え情報として取得することとなる。なお、シーケンスの順序を示す情報は、ヘッダ部に限らず、例えば、所定の方式に対応したシステムフォーマットにより規定するなどしてもよい。
【００９７】
図７に戻り、リクエスト順とは、クライアント端末装置１１から画像を要求した順序である。リクエストの順序を示す情報としては、例えば、ユーザによる画像表示に関する指示が相当する。このリクエスト順の場合、3D圧縮データ蓄積部６３での順序と入れ替わっているため、制御部３１は、ユーザによる画像表示に関する指示を記憶しておき、その情報が並び替え情報として取得されるようにする。
【００９８】
このリクエスト順に再配置する場合、サーバ１２に要求した順序で再配置することになるため、3D圧縮データ蓄積部６３に蓄積されていたときよりも圧縮率が悪くなる可能性がある。しかしながら、クライアント端末装置１１側で、並び替え情報を管理できることから、確実に再配置を行うことができる。
【００９９】
図６のフローチャートに戻り、ステップＳ７１において、シーケンス順に再配置すると判定された場合、処理は、ステップＳ７２に進む。ステップＳ７２において、並び替え部７４は、並び替え情報に基づいて、メモリ７３に記憶された2D変換係数データを、シーケンス順に並び替える。
【０１００】
一方、ステップＳ７１において、シーケンス順に再配置しないと判定された場合、リクエスト順に再配置するため、処理は、ステップＳ７３に進む。ステップＳ７３において、並び替え部７４は、並び替え情報に基づいて、メモリ７３に記憶された2D変換係数データを、リクエスト順に並び替える。
【０１０１】
ステップＳ７２又はＳ７３の処理が終了すると、処理は、図５のフローチャートに戻り、ステップＳ５４以降の処理が行われる。
【０１０２】
ステップＳ５５において、3D変換部７５は、メモリ７３上で再配置された2D変換係数データに対して、3D変換処理を施す。例えば、2D変換係数データが2D-DCT係数データである場合、3D変換部７５は、メモリ７３上で再配置された2D-DCT係数データを読み出し、その2D-DCT係数データに対してＺ方向に１次元に離散コサイン変換（DCT）を行い、3D-DCT係数データを生成する。
【０１０３】
ステップＳ５６において、量子化部７６は、Q値選択処理を行う。ここで、図９のフローチャートを参照して、Q値選択処理の詳細について説明する。
【０１０４】
ステップＳ９１において、量子化部７６は、サーバ１２で用いられたQ値を使用するか否かを判定する。
【０１０５】
ステップＳ９１において、サーバ１２のQ値を使用すると判定された場合、処理は、ステップＳ９２に進む。ステップＳ９２において、量子化部７６は、サーバ１２において符号化時に用いられたQ値を取得する。
【０１０６】
前述したように、Q値は、圧縮率を決定するためのパラメータであるため、Q値が大きいほど高圧縮（低画質）となる一方、Q値が小さいほど低圧縮（高画質）となる。サーバ１２で用いられたQ値を使用することで、3D圧縮データ蓄積部６３に蓄積されていた3D圧縮データと同等の画質で、かつ、同等のデータ容量となる3D圧縮データが得られる。このサーバ１２のQ値は、例えば、図８のフレームを構成するヘッダ部に記述されるか、あるいは、所定の方式に対応したシステムフォーマットにより規定される。また、Q値は、一定のQ値に限らず、Q値テーブルごと送ってもよい。
【０１０７】
一方、ステップＳ９１において、サーバ１２のQ値を使用しないと判定された場合、処理は、ステップＳ９３に進む。ステップＳ９３において、量子化部７６は、クライアント端末装置１１で設定されたQ値を取得する。例えば、制御部３１は、3D圧縮データ蓄積部３８の残りの容量に応じたQ値を求めて、量子化部７６に供給する。すなわち、3D圧縮データ蓄積部３８の容量制限により、サーバ１２のQ値を用いると、3D圧縮データのサイズが大きすぎて、保存できなくなってしまう場合には、Q値を大きく設定して画質を落として（容量を小さくして）、保存するようにする。
【０１０８】
ステップＳ９２又はＳ９３の処理が終了すると、処理は、図５のフローチャートに戻り、ステップＳ５６以降の処理が行われる。
【０１０９】
ステップＳ５７において、量子化部７６は、取得したQ値に基づいて、3D変換部７５により変換された3D変換係数データを量子化する。
【０１１０】
ステップＳ５８において、符号化部７７は、量子化部７６により量子化された3D変換係数データを符号化する。ステップＳ５９において、符号化部７７は、符号化により得られた3D圧縮データを、3D圧縮データ蓄積部３８に出力する。これにより、3D圧縮データ蓄積部３８には、3D圧縮データが蓄積される。
【０１１１】
以上のように、再圧縮処理部３６においては、中間データ生成部５１により、サーバ１２から提供される2D圧縮データが完全に復号されずに、中間データとしての2D変換係数データが生成され、その2D変換係数データに基づいた3D圧縮データが生成される。これにより、中間データまでの復号処理で、3D圧縮データに再圧縮することができるため、完全に復号してしまう場合と比べて、画質の劣化を抑えることができる。すなわち、完全に復号する場合には、さらなる変換処理を行う必要があるため、中間データまでの復号処理で再圧縮する場合と比べて画質が劣化することとなる。
【０１１２】
また、再圧縮処理部３６においては、2D圧縮データを完全に復号せずに、3D圧縮データを生成することができるので、2D圧縮データを完全に復号する場合と比べて、変換処理の負荷が低減され、より高速に処理を行うことができる。
【０１１３】
さらにまた、2Dデータ再配置部５２によって、シーケンス順又はリクエスト順に再配置されてから、3D変換処理が行われるため、シーケンス順に並び替えた場合には、サーバ１２側に蓄積された3D圧縮データと同等の画質で、かつ、同等の圧縮率で再圧縮することが可能となる。
【０１１４】
さらに、サーバ１２で用いられたQ値を使用して、量子化をすることができるので、サーバ１２に蓄積されていた3D圧縮データと同等の画質で、かつ、同等のデータ容量となる3D圧縮データが得られる。一方、クライアント端末装置１１側でデータの蓄積容量に余裕がない場合には、その残容量に応じて圧縮率を変更することができるので、確実に、3D圧縮データを蓄積することができる。
【０１１５】
また、サーバ１２からクライアント端末装置１１に伝送路１３を介して提供されるデータは、例えばJPEG符号化データなどの、3D圧縮データなどと比べてデータ容量の小さい2D圧縮データであるため、高速に伝送することが可能となる。
【０１１６】
なお、前述した説明では、直交変換処理の一例として、離散コサイン変換処理についても説明したが、これに限らず、例えば、ウェーブレット変換等、他の直交変換処理が行われるようにしてもよい。また、サーバ１２からクライアント端末装置１１に提供される2D圧縮データとして、JPEG符号化データについても説明したが、クライアント端末装置１１に提供する画像データの符号化法は任意であり、例えば、画像データをJPEG2000符号化データに変換し、クライアント端末装置１１に提供するようにしてもよい。
【０１１７】
また、本明細書において、「2D」は２次元、「3D」は３次元を意味する。
【０１１８】
［本技術を適用したコンピュータの説明］
前述した一連の処理は、ハードウェアにより行うこともできるし、ソフトウェアにより行うこともできる。一連の処理をソフトウェアによって行う場合には、そのソフトウェアを構成するプログラムが、汎用のコンピュータ等にインストールされる。
【０１１９】
そこで、図１０は、前述した一連の処理を実行するプログラムがインストールされるコンピュータの一実施の形態の構成例を示している。
【０１２０】
プログラムは、コンピュータ１００に内蔵されているハードディスク等の記録部１０８やROM(Read Only Memory)１０２に予め記録しておくことができる。
【０１２１】
あるいはまた、プログラムは、フレキシブルディスク、CD-ROM(Compact Disc Read Only Memory)，MO(Magneto Optical)ディスク，DVD(Digital Versatile Disc)、磁気ディスク、半導体メモリなどのリムーバブルメディア１１１に、一時的あるいは永続的に格納（記録）しておくことができる。このようなリムーバブルメディア１１１は、いわゆるパッケージソフトウエアとして提供することができる。
【０１２２】
なお、プログラムは、前述したようなリムーバブルメディア１１１からコンピュータ１００にインストールする他、ダウンロードサイトから、デジタル衛星放送用の人工衛星を介して、コンピュータ１００に無線で転送したり、LAN(Local Area Network)、インターネットといったネットワークを介して、コンピュータ１００に有線で転送し、コンピュータ１００では、そのようにして転送されてくるプログラムを、通信部１０９で受信し、記録部１０８にインストールすることができる。
【０１２３】
コンピュータ１００は、CPU(Central Processing Unit)１０１を内蔵している。CPU１０１には、バス１０４を介して、入出力インタフェース１０５が接続されており、CPU１０１は、入出力インタフェース１０５を介して、ユーザによって、キーボードや、マウス、マイク等で構成される入力部１０６が操作等されることにより指令が入力されると、それに従って、ROM１０２に格納されているプログラムを実行する。あるいは、また、CPU１０１は、記録部１０８に格納されているプログラム、衛星若しくはネットワークから転送され、通信部１０９で受信されて記録部１０８にインストールされたプログラム、又はドライブ１１０に装着されたリムーバブルメディア１１１から読み出されて記録部１０８にインストールされたプログラムを、RAM(Random Access Memory)１０３にロードして実行する。これにより、CPU１０１は、前述したフローチャートにしたがった処理、あるいは前述したブロック図の構成により行われる処理を行う。そして、CPU１０１は、その処理結果を、必要に応じて、例えば、入出力インタフェース１０５を介して、LCDやスピーカ等で構成される出力部１０７から出力、あるいは、通信部１０９から送信、さらには、記録部１０８に記録等させる。
【０１２４】
ここで、本明細書において、コンピュータ１００に各種の処理を行わせるためのプログラムを記述する処理ステップは、必ずしもフローチャートとして記載された順序に沿って時系列に処理する必要はなく、並列的あるいは個別に実行される処理（例えば、並列処理あるいはオブジェクトによる処理）も含むものである。
【０１２５】
また、プログラムは、１のコンピュータにより処理されるものであっても良いし、複数のコンピュータによって分散処理されるものであっても良い。さらに、プログラムは、遠方のコンピュータに転送されて実行されるものであっても良い。
【０１２６】
なお、本明細書において、システムとは、複数の装置により構成される装置全体を表すものである。
【０１２７】
さらに、本技術の実施の形態は、前述した実施の形態に限定されるものではなく、本技術の要旨を逸脱しない範囲において種々の変更が可能である。
【符号の説明】
【０１２８】
１ 画像提供システム， １１ クライアント端末装置， １２ サーバ， １３ 伝送路， ３１ 制御部， ３２ 操作部， ３３ データ表示部， ３４ 要求送信部， ３５ 2D圧縮データ受信部， ３６ 再圧縮処理部， ３７ 2D復号部， ３８ 3D圧縮データ蓄積部， ３９ 3D復号部， ５１ 中間データ生成部， ５２ 2Dデータ再配置部， ５３ 3D変換部， ７１ 復号部， ７２ 逆量子化部， ７３ メモリ， ７４ 並び替え部， ７５ 3D変換部， ７６ 量子化部， ７７ 符号化部， １００ コンピュータ， １０１ CPU
【特許請求の範囲】
【請求項１】
複数の画像から生成される３次元直交変換符号化データを変換して得られる２次元直交変換符号化データを、順次取得する２次元直交変換符号化データ取得部と、
取得された複数の前記２次元直交変換符号化データに基づいて、複数の２次元直交変換係数データを生成する２次元直交変換係数データ生成部と、
生成された複数の前記２次元直交変換係数データを変換して得られる３次元直交変換係数データを符号化する３次元変換部と
を備える情報処理装置。
【請求項２】
生成された複数の前記２次元直交変換係数データを、所定の順序に並び替える２次元直交変換係数データ再配置部をさらに備え、
前記３次元変換部は、並び替えられた複数の前記２次元直交変換係数データを、前記３次元直交変換係数データに変換する
請求項１に記載の情報処理装置。
【請求項３】
２次元直交変換係数データ再配置部は、複数の前記２次元直交変換係数データを、前記複数の画像の並び順と同一の順序に並び替える
請求項２に記載の情報処理装置。
【請求項４】
前記３次元変換部は、量子化パラメータに基づいて、前記３次元直交変換係数データを符号化する
請求項１に記載の情報処理装置。
【請求項５】
前記量子化パラメータは、前記複数の画像から３次元直交変換符号化データを生成する際に用いられた量子化値、又は前記３次元直交変換係数データを符号化して得られた３次元直交変換符号化データを蓄積するために必要となる容量に応じた量子化値である
請求項４に記載の情報処理装置。
【請求項６】
所望の画像を要求する画像要求部をさらに備え、
前記２次元直交変換符号化データ取得部は、前記要求に応じた画像を含む前記２次元直交変換符号化データ及びその画像の周辺の他の２次元直交変換符号化データを順次取得する
請求項１に記載の情報処理装置。
【請求項７】
前記２次元直交変換係数データ生成部は、
取得された複数の前記２次元直交変換符号化データを、それぞれ復号する２次元直交変換符号化データ復号部と、
復号された２次元直交変換符号化データを逆量子化する逆量子化部と
を備え、
前記２次元直交変換係数データ再配置部は、逆量子化により得られる複数の前記２次元直交変換係数データを並び替える
請求項２に記載の情報処理装置。
【請求項８】
前記３次元変換部は、
並び替えられた前記２次元直交変換係数データを、前記複数の画像が並ぶ方向に１次元に直交変換して、３次元直交変換係数データに変換する３次元直交変換係数データ変換部と、
変換された前記３次元直交変換係数データを、量子化する量子化部と、
量子化により得られる３次元直交変換係数データを符号化する３次元直交変換係数データ符号化部と
をさらに備える請求項７に記載の情報処理装置。
【請求項９】
前記３次元直交変換係数データを符号化して得られる３次元直交変換符号化データを蓄積する３次元直交変換符号化データ蓄積部と、
蓄積された前記３次元直交変換符号化データを復号する３次元復号部と
をさらに備える請求項８に記載の情報処理装置。
【請求項１０】
復号された２次元直交変換符号化データを逆量子化して得られる前記２次元直交変換係数データを逆直交変換する２次元逆直交変換部をさらに備える
請求項８に記載の情報処理装置。
【請求項１１】
情報処理装置が、
複数の画像から生成される３次元直交変換符号化データを変換して得られる２次元直交変換符号化データを、順次取得し、
取得された複数の前記２次元直交変換符号化データに基づいて、複数の２次元直交変換係数データを生成し、
生成された複数の前記２次元直交変換係数データを変換して得られる３次元直交変換係数データを符号化する
ステップを含む情報処理方法。
【請求項１２】
複数の画像から生成される３次元直交変換符号化データを変換して得られる２次元直交変換符号化データを、順次取得する２次元直交変換符号化データ取得部と、
取得された複数の前記２次元直交変換符号化データに基づいて、複数の２次元直交変換係数データを生成する２次元直交変換係数データ生成部と、
生成された複数の前記２次元直交変換係数データを変換して得られる３次元直交変換係数データを符号化する３次元変換部と
して、コンピュータを機能させるためのプログラム。
【請求項１３】
情報処理装置と、前記情報処理装置に画像データを提供する画像提供装置からなる画像提供システムにおいて、
前記画像提供装置は、
複数の画像から生成される３次元直交変換符号化データを蓄積する３次元直交変換符号化データ蓄積部と、
前記３次元直交変換符号化データ蓄積部に蓄積された前記３次元直交変換符号化データから、前記情報処理装置からの要求に応じた画像及びその周辺の画像を含む３次元直交変換符号化データを読み出す読み出し部と、
読み出された前記３次元直交変換符号化データを、前記２次元直交変換符号化データに変換する２次元直交変換符号化データ変換部と、
変換された２次元直交変換符号化データ及びその画像の周辺の他の２次元直交変換符号化データを順次、前記情報処理装置に送信する２次元直交変換符号化データ送信部と
を備え、
前記情報処理装置は、
前記画像提供装置から送信されてくる前記２次元直交変換符号化データを順次、受信する２次元直交変換符号化データ受信部と、
取得された複数の前記２次元直交変換符号化データに基づいて、複数の２次元直交変換係数データを生成する２次元直交変換係数データ生成部と、
生成された複数の前記２次元直交変換係数データを変換して得られる３次元直交変換係数データを符号化する３次元変換部と
を備える画像提供システム。
【請求項１４】
情報処理装置と、前記情報処理装置に画像データを提供する画像提供装置からなる画像提供システムの画像提供方法であって、
前記画像提供装置は、
複数の画像から生成される３次元直交変換符号化データを蓄積する３次元直交変換符号化データ蓄積部から、前記情報処理装置からの要求に応じた画像及びその周辺の画像を含む３次元直交変換符号化データを読み出し、
読み出された前記３次元直交変換符号化データを、前記２次元直交変換符号化データに変換し、
変換された２次元直交変換符号化データ及びその画像の周辺の他の２次元直交変換符号化データを順次、前記情報処理装置に送信する
ステップを含み、
前記情報処理装置は、
前記画像提供装置から送信されてくる前記２次元直交変換符号化データを順次、受信し、
取得された複数の前記２次元直交変換符号化データに基づいて、複数の２次元直交変換係数データを生成し、
生成された複数の前記２次元直交変換係数データを変換して得られる３次元直交変換係数データを符号化する
ステップを含む画像提供方法。
【請求項１】
複数の画像から生成される３次元直交変換符号化データを変換して得られる２次元直交変換符号化データを、順次取得する２次元直交変換符号化データ取得部と、
取得された複数の前記２次元直交変換符号化データに基づいて、複数の２次元直交変換係数データを生成する２次元直交変換係数データ生成部と、
生成された複数の前記２次元直交変換係数データを変換して得られる３次元直交変換係数データを符号化する３次元変換部と
を備える情報処理装置。
【請求項２】
生成された複数の前記２次元直交変換係数データを、所定の順序に並び替える２次元直交変換係数データ再配置部をさらに備え、
前記３次元変換部は、並び替えられた複数の前記２次元直交変換係数データを、前記３次元直交変換係数データに変換する
請求項１に記載の情報処理装置。
【請求項３】
２次元直交変換係数データ再配置部は、複数の前記２次元直交変換係数データを、前記複数の画像の並び順と同一の順序に並び替える
請求項２に記載の情報処理装置。
【請求項４】
前記３次元変換部は、量子化パラメータに基づいて、前記３次元直交変換係数データを符号化する
請求項１に記載の情報処理装置。
【請求項５】
前記量子化パラメータは、前記複数の画像から３次元直交変換符号化データを生成する際に用いられた量子化値、又は前記３次元直交変換係数データを符号化して得られた３次元直交変換符号化データを蓄積するために必要となる容量に応じた量子化値である
請求項４に記載の情報処理装置。
【請求項６】
所望の画像を要求する画像要求部をさらに備え、
前記２次元直交変換符号化データ取得部は、前記要求に応じた画像を含む前記２次元直交変換符号化データ及びその画像の周辺の他の２次元直交変換符号化データを順次取得する
請求項１に記載の情報処理装置。
【請求項７】
前記２次元直交変換係数データ生成部は、
取得された複数の前記２次元直交変換符号化データを、それぞれ復号する２次元直交変換符号化データ復号部と、
復号された２次元直交変換符号化データを逆量子化する逆量子化部と
を備え、
前記２次元直交変換係数データ再配置部は、逆量子化により得られる複数の前記２次元直交変換係数データを並び替える
請求項２に記載の情報処理装置。
【請求項８】
前記３次元変換部は、
並び替えられた前記２次元直交変換係数データを、前記複数の画像が並ぶ方向に１次元に直交変換して、３次元直交変換係数データに変換する３次元直交変換係数データ変換部と、
変換された前記３次元直交変換係数データを、量子化する量子化部と、
量子化により得られる３次元直交変換係数データを符号化する３次元直交変換係数データ符号化部と
をさらに備える請求項７に記載の情報処理装置。
【請求項９】
前記３次元直交変換係数データを符号化して得られる３次元直交変換符号化データを蓄積する３次元直交変換符号化データ蓄積部と、
蓄積された前記３次元直交変換符号化データを復号する３次元復号部と
をさらに備える請求項８に記載の情報処理装置。
【請求項１０】
復号された２次元直交変換符号化データを逆量子化して得られる前記２次元直交変換係数データを逆直交変換する２次元逆直交変換部をさらに備える
請求項８に記載の情報処理装置。
【請求項１１】
情報処理装置が、
複数の画像から生成される３次元直交変換符号化データを変換して得られる２次元直交変換符号化データを、順次取得し、
取得された複数の前記２次元直交変換符号化データに基づいて、複数の２次元直交変換係数データを生成し、
生成された複数の前記２次元直交変換係数データを変換して得られる３次元直交変換係数データを符号化する
ステップを含む情報処理方法。
【請求項１２】
複数の画像から生成される３次元直交変換符号化データを変換して得られる２次元直交変換符号化データを、順次取得する２次元直交変換符号化データ取得部と、
取得された複数の前記２次元直交変換符号化データに基づいて、複数の２次元直交変換係数データを生成する２次元直交変換係数データ生成部と、
生成された複数の前記２次元直交変換係数データを変換して得られる３次元直交変換係数データを符号化する３次元変換部と
して、コンピュータを機能させるためのプログラム。
【請求項１３】
情報処理装置と、前記情報処理装置に画像データを提供する画像提供装置からなる画像提供システムにおいて、
前記画像提供装置は、
複数の画像から生成される３次元直交変換符号化データを蓄積する３次元直交変換符号化データ蓄積部と、
前記３次元直交変換符号化データ蓄積部に蓄積された前記３次元直交変換符号化データから、前記情報処理装置からの要求に応じた画像及びその周辺の画像を含む３次元直交変換符号化データを読み出す読み出し部と、
読み出された前記３次元直交変換符号化データを、前記２次元直交変換符号化データに変換する２次元直交変換符号化データ変換部と、
変換された２次元直交変換符号化データ及びその画像の周辺の他の２次元直交変換符号化データを順次、前記情報処理装置に送信する２次元直交変換符号化データ送信部と
を備え、
前記情報処理装置は、
前記画像提供装置から送信されてくる前記２次元直交変換符号化データを順次、受信する２次元直交変換符号化データ受信部と、
取得された複数の前記２次元直交変換符号化データに基づいて、複数の２次元直交変換係数データを生成する２次元直交変換係数データ生成部と、
生成された複数の前記２次元直交変換係数データを変換して得られる３次元直交変換係数データを符号化する３次元変換部と
を備える画像提供システム。
【請求項１４】
情報処理装置と、前記情報処理装置に画像データを提供する画像提供装置からなる画像提供システムの画像提供方法であって、
前記画像提供装置は、
複数の画像から生成される３次元直交変換符号化データを蓄積する３次元直交変換符号化データ蓄積部から、前記情報処理装置からの要求に応じた画像及びその周辺の画像を含む３次元直交変換符号化データを読み出し、
読み出された前記３次元直交変換符号化データを、前記２次元直交変換符号化データに変換し、
変換された２次元直交変換符号化データ及びその画像の周辺の他の２次元直交変換符号化データを順次、前記情報処理装置に送信する
ステップを含み、
前記情報処理装置は、
前記画像提供装置から送信されてくる前記２次元直交変換符号化データを順次、受信し、
取得された複数の前記２次元直交変換符号化データに基づいて、複数の２次元直交変換係数データを生成し、
生成された複数の前記２次元直交変換係数データを変換して得られる３次元直交変換係数データを符号化する
ステップを含む画像提供方法。
【図１】
【図２】
【図３】
【図４】
【図５】
【図６】
【図７】
【図８】
【図９】
【図１０】
【図２】
【図３】
【図４】
【図５】
【図６】
【図７】
【図８】
【図９】
【図１０】
【公開番号】特開２０１２−２０９６７３（Ｐ２０１２−２０９６７３Ａ）
【公開日】平成２４年１０月２５日（２０１２．１０．２５）
【国際特許分類】
【出願番号】特願２０１１−７２３７９（Ｐ２０１１−７２３７９）
【出願日】平成２３年３月２９日（２０１１．３．２９）
【出願人】（０００００２１８５）ソニー株式会社 (34,172)
【Ｆターム（参考）】
【公開日】平成２４年１０月２５日（２０１２．１０．２５）
【国際特許分類】
【出願日】平成２３年３月２９日（２０１１．３．２９）
【出願人】（０００００２１８５）ソニー株式会社 (34,172)
【Ｆターム（参考）】
[ Back to top ]