情報処理装置、情報処理方法、再生装置、再生方法、およびプログラム
【課題】複数視点のビデオデータを符号化する符号化方式を用いて、複数種類の機能を実現することができるようにする。
【解決手段】情報処理装置１においては、入力されたビデオストリームがMPEG4 AVC H.264規格を拡張したMVC規格に従って符号化される。符号化によって得られたBase view videoストリームとDependent view videoストリームは、MVCアプリケーションタイプと対応付けて出力される。MVCアプリケーションタイプは、MVCストリームを復号して得られたデータを用いて実現する機能を表す。再生装置２においては、MVCストリームを復号して得られたデータを用いて、MVCアプリケーションタイプにより指定される機能が実現される。本発明は、MVC規格のストリームを処理する装置に適用することができる。
【解決手段】情報処理装置１においては、入力されたビデオストリームがMPEG4 AVC H.264規格を拡張したMVC規格に従って符号化される。符号化によって得られたBase view videoストリームとDependent view videoストリームは、MVCアプリケーションタイプと対応付けて出力される。MVCアプリケーションタイプは、MVCストリームを復号して得られたデータを用いて実現する機能を表す。再生装置２においては、MVCストリームを復号して得られたデータを用いて、MVCアプリケーションタイプにより指定される機能が実現される。本発明は、MVC規格のストリームを処理する装置に適用することができる。
【発明の詳細な説明】
【技術分野】
【０００１】
本発明は、情報処理装置、情報処理方法、再生装置、再生方法、およびプログラムに関し、特に、複数視点のビデオデータを符号化する符号化方式を用いて、複数種類の機能を実現することができるようにした情報処理装置、情報処理方法、再生装置、再生方法、およびプログラムに関する。
【背景技術】
【０００２】
近年、画像を3D（三次元）で収録した3Dコンテンツが注目されている。3Dコンテンツの画像を見ることによって、視聴者は被写体を立体的に認識することが可能になる。
【０００３】
画像を3Dで表示する方式も複数提案されている。例えば、視差のある左目用の画像（L画像）と右目用の画像（R画像）を交互に表示し、アクティブシャッタメガネをかけた視聴者の左目と右目にそれぞれ届けることによって被写体を立体的に認識させる方式がある。
【０００４】
L画像とR画像の符号化方式の１つとしてMPEG4 AVC H.264規格（H.264/AVC規格）を拡張したMVC(Multi-view Video Coding)規格がある。MVC規格では、Base view videoストリームと呼ばれるビデオストリームと、Dependent view videoストリームと呼ばれるビデオストリームが定義されている。
【０００５】
図１は、Base view videoストリームとDependent view videoストリームの例を示す図である。
【０００６】
図１の矢印で示すように、Base view videoには他のviewのストリームを参照画像とする予測符号化が許されていないが、Dependent view videoには、Base view videoを参照画像とする予測符号化が許されている。
【０００７】
例えば、L画像をBase viewとするとともにR画像をDependent viewとして符号化を行った場合、その結果得られるBase view videoストリームとDependent view videoストリームのデータ量は、それぞれをH.264/AVC規格で符号化した場合のデータ量と較べて少なくなる。
【０００８】
なお、H.264/AVC規格での符号化であるから、Base view videoストリームの符号化において、時間方向の予測は行われている。また、Dependent view videoストリームについても、view間の予測とともに、時間方向の予測が行われている。Dependent view videoをデコードするには、エンコード時に参照先とした、対応するBase view videoのデコードが先に終了している必要があることになる。
【先行技術文献】
【特許文献】
【０００９】
【特許文献１】特開２００９−１０００７０号公報
【発明の概要】
【発明が解決しようとする課題】
【００１０】
一般的に、MVC規格は複数視点のビデオデータの符号化に用いられるものであるが、他の機能を実現するために用いることも考えられる。
【００１１】
本発明はこのような状況に鑑みてなされたものであり、複数視点のビデオデータを符号化する符号化方式を用いて、複数種類の機能を実現することができるようにするものである。
【課題を解決するための手段】
【００１２】
本発明の一側面の情報処理装置は、複数のビデオストリームを、所定のビデオストリームを基本のストリームとして符号化するとともに他のビデオストリームを前記所定のビデオストリームを参照して予測符号化することが可能な符号化方式で符号化し、前記所定のビデオストリームを符号化して得られた基本ストリームと、前記他のビデオストリームを符号化して得られた拡張ストリームを生成する符号化手段と、前記基本ストリームと前記拡張ストリームを復号して得られたデータを用いて実現する機能の種類を表す属性情報を生成する生成手段と、前記基本ストリームと前記拡張ストリームを、前記属性情報と対応付けて出力する出力手段とを備える。
【００１３】
前記符号化手段には、左目用画像のストリームと右目用画像のストリームを前記符号化方式で符号化させ、前記生成手段には、前記基本ストリームと前記拡張ストリームを復号して得られたデータを用いて、左目用画像と右目用画像を交互に表示する機能を表す前記属性情報を生成させることができる。
【００１４】
前記符号化手段には、前記他のビデオストリームについては前記所定のビデオストリームを参照しないで、視点の異なる複数のビデオストリームを前記符号化方式で符号化させ、前記生成手段には、前記基本ストリームと前記拡張ストリームのうちのいずれかのストリームを復号して得られたデータを用いて、１つの視点の画像を表示する機能を表す前記属性情報を生成させることができる。
【００１５】
入力されたビデオストリームを、奇数フレームからなるストリームと偶数フレームからなるストリームに分割する処理手段をさらに設けることができる。この場合、前記符号化手段には、前記奇数フレームからなるストリームと前記偶数フレームからなるストリームを前記符号化方式で符号化させ、前記生成手段には、前記基本ストリームと前記拡張ストリームを復号して得られたデータを用いて、前記奇数フレームと前記偶数フレームを交互に、前記基本ストリームと前記拡張ストリームのフレームレートの２倍のフレームレートで表示する機能を表す前記属性情報を生成させることができる。
【００１６】
入力されたビデオストリームを複製する処理手段をさらに設けることができる。この場合、前記符号化手段には、複製元のビデオストリームと複製して得られたビデオストリームを前記符号化方式で符号化させ、前記生成手段には、前記基本ストリームと前記拡張ストリームを復号して得られたデータを用いて、前記基本ストリームを復号して得られた画像と前記拡張ストリームを復号して得られた画像を交互に表示する機能を表す前記属性情報を生成させることができる。
【００１７】
前記符号化方式は、MVC規格の符号化方式であるようにすることができる。
【００１８】
本発明の一側面の情報処理方法は、複数のビデオストリームを、所定のビデオストリームを基本のストリームとして符号化するとともに他のビデオストリームを前記所定のビデオストリームを参照して予測符号化することが可能な符号化方式で符号化し、前記所定のビデオストリームを符号化して得られた基本ストリームと、前記他のビデオストリームを符号化して得られた拡張ストリームを生成し、前記基本ストリームと前記拡張ストリームを復号して得られたデータを用いて実現する機能の種類を表す属性情報を生成し、前記基本ストリームと前記拡張ストリームを、前記属性情報と対応付けて出力するステップを含む。
【００１９】
本発明の一側面のプログラムは、複数のビデオストリームを、所定のビデオストリームを基本のストリームとして符号化するとともに他のビデオストリームを前記所定のビデオストリームを参照して予測符号化することが可能な符号化方式で符号化し、前記所定のビデオストリームを符号化して得られた基本ストリームと、前記他のビデオストリームを符号化して得られた拡張ストリームを生成し、前記基本ストリームと前記拡張ストリームを復号して得られたデータを用いて実現する機能の種類を表す属性情報を生成し、前記基本ストリームと前記拡張ストリームを、前記属性情報と対応付けて出力するステップを含む処理をコンピュータに実行させる。
【００２０】
本発明の他の側面の再生装置は、複数のビデオストリームのうちの所定のビデオストリームを基本のストリームとして符号化するとともに他のビデオストリームを前記所定のビデオストリームを参照して予測符号化することが可能な符号化方式で、前記所定のビデオストリームを符号化して得られた基本ストリームと、前記他のビデオストリームを符号化して得られた拡張ストリームとを取得するとともに、前記基本ストリームと前記拡張ストリームを復号して得られたデータを用いて実現する機能の種類を表す属性情報を取得する取得手段と、前記基本ストリームと前記拡張ストリームを復号する復号手段と、前記基本ストリームと前記拡張ストリームを復号して得られた画像の表示方式を、前記属性情報により表される種類に応じて切り替える表示制御手段とを備える。
【００２１】
前記基本ストリームと前記拡張ストリームは、左目用画像のストリームと右目用画像のストリームを前記符号化方式で符号化して得られたストリームであり、前記表示制御手段には、前記基本ストリームと前記拡張ストリームを復号して得られたデータを用いて、左目用画像と右目用画像を交互に表示させることができる。
【００２２】
前記基本ストリームと前記拡張ストリームは、視点の異なる複数のビデオストリームを、前記他のビデオストリームについては基本のビデオストリームを参照しないで前記符号化方式で符号化して得られたストリームであり、前記表示制御手段には、前記基本ストリームと前記拡張ストリームのうちのいずれかのストリームを復号して得られたデータを用いて、１つの視点の画像を表示させることができる。
【００２３】
前記基本ストリームと前記拡張ストリームは、入力されたビデオストリームの奇数フレームからなるストリームと偶数フレームからなるストリームを前記符号化方式で符号化して得られたストリームであり、前記表示制御手段には、前記基本ストリームと前記拡張ストリームを復号して得られたデータを用いて、前記奇数フレームと前記偶数フレームを交互に、前記基本ストリームと前記拡張ストリームのフレームレートの２倍のフレームレートで表示させることができる。
【００２４】
前記基本ストリームと前記拡張ストリームは、入力されたビデオストリームと、そのビデオストリームを複製して得られたビデオストリームを前記符号化方式で符号化して得られたストリームであり、前記表示制御手段には、前記基本ストリームと前記拡張ストリームを復号して得られたデータを用いて、前記基本ストリームを復号して得られた画像と前記拡張ストリームを復号して得られた画像を交互に表示させることができる。
【００２５】
前記符号化方式は、MVC規格の符号化方式であるようにすることができる。
【００２６】
本発明の他の側面の再生方法は、複数のビデオストリームのうちの所定のビデオストリームを基本のストリームとして符号化するとともに他のビデオストリームを前記所定のビデオストリームを参照して予測符号化することが可能な符号化方式で、前記所定のビデオストリームを符号化して得られた基本ストリームと、前記他のビデオストリームを符号化して得られた拡張ストリームとを取得するとともに、前記基本ストリームと前記拡張ストリームを復号して得られたデータを用いて実現する機能の種類を表す属性情報を取得し、前記基本ストリームと前記拡張ストリームを復号し、前記基本ストリームと前記拡張ストリームを復号して得られた画像の表示方式を、前記属性情報により表される種類に応じて切り替えるステップを含む。
【００２７】
本発明の他の側面のプログラムは、複数のビデオストリームのうちの所定のビデオストリームを基本のストリームとして符号化するとともに他のビデオストリームを前記所定のビデオストリームを参照して予測符号化することが可能な符号化方式で、前記所定のビデオストリームを符号化して得られた基本ストリームと、前記他のビデオストリームを符号化して得られた拡張ストリームとを取得するとともに、前記基本ストリームと前記拡張ストリームを復号して得られたデータを用いて実現する機能の種類を表す属性情報を取得し、前記基本ストリームと前記拡張ストリームを復号し、前記基本ストリームと前記拡張ストリームを復号して得られた画像の表示方式を、前記属性情報により表される種類に応じて切り替えるステップを含む処理をコンピュータに実行させる。
【００２８】
本発明の一側面においては、複数のビデオストリームが、所定のビデオストリームを基本のストリームとして符号化するとともに他のビデオストリームを前記所定のビデオストリームを参照して予測符号化することが可能な符号化方式で符号化され、前記所定のビデオストリームを符号化して得られた基本ストリームと、前記他のビデオストリームを符号化して得られた拡張ストリームが生成され、前記基本ストリームと前記拡張ストリームを復号して得られたデータを用いて実現する機能の種類を表す属性情報が生成され、前記基本ストリームと前記拡張ストリームが、前記属性情報と対応付けて出力される。
【００２９】
本発明の他の側面においては、複数のビデオストリームのうちの所定のビデオストリームを基本のストリームとして符号化するとともに他のビデオストリームを前記所定のビデオストリームを参照して予測符号化することが可能な符号化方式で、前記所定のビデオストリームを符号化して得られた基本ストリームと、前記他のビデオストリームを符号化して得られた拡張ストリームとが取得されるとともに、前記基本ストリームと前記拡張ストリームを復号して得られたデータを用いて実現する機能の種類を表す属性情報が取得される。また、前記基本ストリームと前記拡張ストリームが復号され、前記基本ストリームと前記拡張ストリームを復号して得られた画像の表示方式が、前記属性情報により表される種類に応じて切り替えられる。
【発明の効果】
【００３０】
本発明によれば、複数視点のビデオデータを符号化する符号化方式を用いて、複数種類の機能を実現することができる。
【図面の簡単な説明】
【００３１】
【図１】Base view videoストリームとDependent view videoストリームの例を示す図である。
【図２】本発明の一実施形態に係る情報処理システムを示す図である。
【図３】MVCストリームの構成例を示す図である。
【図４】MVCアプリケーションタイプにより表される機能の例を示す図である。
【図５】3Dビデオアプリケーションについて説明する図である。
【図６】２視点アプリケーションについて説明する図である。
【図７】Highフレームレートアプリケーションについて説明する図である。
【図８】2Dビデオアプリケーションについて説明する図である。
【図９】情報処理装置の構成例を示すブロック図である。
【図１０】再生装置の構成例を示すブロック図である。
【図１１】情報処理装置の処理について説明するフローチャートである。
【図１２】再生装置の処理について説明するフローチャートである。
【図１３】コンピュータのハードウェアの構成例を示すブロック図である。
【発明を実施するための形態】
【００３２】
［情報処理システムの構成］
図２は、本発明の一実施形態に係る情報処理システムを示す図である。
【００３３】
図２に示す情報処理システムは、情報処理装置１と再生装置２から構成される。再生装置２には、再生装置２から出力された画像を表示するLCD(Liquid Crystal Display)などのディスプレイが接続される。
【００３４】
情報処理装置１は、入力されたビデオストリームをMVC規格に従って符号化し、MVCストリームを生成する。MVCストリームには、図３に示すように、Base view videoストリームのデータとDependent view videoストリームのデータが含まれる。
【００３５】
図３の例においては、Base view videoストリーム全体とDependent view videoストリーム全体がそれぞれ所定の区間毎に分割され、各区間が混在するように１本のストリームが構成されている。図３において「Ｂ」の文字を付して示す区間はBase view videoストリームの区間を表し、「Ｄ」の文字を付して示す区間はDependent view videoストリームの区間を表す。
【００３６】
また、情報処理装置１は、MVCストリームを復号して得られたデータを用いて実現する機能を表す属性情報であるMVCアプリケーションタイプ（MVC application type）を生成する。情報処理装置１は、生成したMVCアプリケーションタイプをMVCストリームと対応付けて出力する。MVCアプリケーションタイプは、MVCストリームのファイルと別ファイルのデータによって定義されるようにしてもよいし、TS(Transport Stream)の伝送制御情報であるPMT(Program Map Table)のdescriptorによって定義されるようにしてもよい。
【００３７】
情報処理装置１により生成されたMVCストリームとMVCアプリケーションタイプは、Blu-ray（商標）ディスクなどの記録媒体に記録されて、あるいは、放送波やネットワークを介して、再生装置２に提供される。
【００３８】
再生装置２は、情報処理装置１から出力されたMVCストリームとMVCアプリケーションタイプを取得する。再生装置２は、MVCストリームを復号し、復号して得られたデータを用いて、MVCアプリケーションタイプにより表される機能を実現するための処理を行う。具体的には、再生装置２は、MVCストリームに含まれるBase view videoストリームを復号して得られた画像と、Dependent view videoストリームを復号して得られた画像の表示方式をMVCアプリケーションタイプの値に応じて切り替える。
【００３９】
図４は、MVCアプリケーションタイプにより表される機能（アプリケーション）の例を示す図である。
【００４０】
図４に示すように、MVCアプリケーションタイプの値が１であることは3Dビデオアプリケーションを表し、MVCアプリケーションタイプの値が２であることは２視点アプリケーションを表す。MVCアプリケーションタイプの値が３であることはHighフレームレートアプリケーションを表し、MVCアプリケーションタイプの値が４であることは2Dビデオアプリケーションを表す。各アプリケーションについて説明する。
【００４１】
［3Dビデオアプリケーション］
図５は、3Dビデオアプリケーションについて説明する図である。
【００４２】
3Dビデオアプリケーション（Stereo 3D video application）は3D画像を表示する機能である。
【００４３】
図５に示すように、符号化対象のビデオストリームとして、L画像のストリームとR画像のストリームが情報処理装置１に入力される。情報処理装置１においては、矢印＃１の先に示すように、例えばL画像をBase view、R画像をDependent viewとして、L画像のストリームとR画像のストリームがMVC規格に従って符号化される。R画像の符号化には、適宜、L画像が参照される。
【００４４】
L画像のストリームを符号化して得られたBase view videoストリームと、R画像のストリームを符号化して得られたDependent view videoストリームを含むMVCストリームは再生装置２に提供される。
【００４５】
再生装置２においては、MVCストリームが復号され、矢印＃２の先に示すように、Base view videoストリームを復号して得られたL画像と、Dependent view videoストリームを復号して得られたR画像が交互に、いわゆるフレームシーケンシャル方式で表示される。再生装置２により再生された画像をアクティブシャッタメガネをかけて見ている視聴者には、その画像が3Dで見えることになる。
【００４６】
［２視点アプリケーション］
図６は、２視点アプリケーションについて説明する図である。
【００４７】
２視点アプリケーション（Two views application）は視点の異なる２つの画像のうちのいずれか一方を表示する機能である。
【００４８】
図６に示すように、符号化対象のビデオストリームとして、視点１（view-1）の画像のストリームと、視点１と異なる視点である視点２（view-2）の画像のストリームが情報処理装置１に入力される。情報処理装置１においては、矢印＃１の先に示すように、例えば視点１の画像をBase view、視点２の画像をDependent viewとして、視点１の画像のストリームと視点２の画像のストリームがMVC規格に従って符号化される。視点２の画像の符号化には、視点１の画像が参照されない。
【００４９】
視点１の画像のストリームを符号化して得られたBase view videoストリームと、視点２の画像のストリームを符号化して得られたDependent view videoストリームを含むMVCストリームは再生装置２に提供される。視点１の画像を参照しないで符号化されているから、Dependent view videoストリームは単独での復号が可能なストリームになっている。
【００５０】
再生装置２においては、MVCストリームが復号され、矢印＃２の先に示すように、Base view videoストリームを復号して得られた視点１の画像と、Dependent view videoストリームを復号して得られた視点２の画像のうちのいずれかが表示される。再生装置２により再生された画像（2Dの画像）を見ている視聴者は、視点１の画像か、視点２の画像を見ることになる。
【００５１】
視点の切り替えは、例えば視聴者による指示に応じて、または、MVCストリームのコンテンツの制作者であるオーサによる指示に応じて行われる。視点の切り替えがMVCストリームのオーサによる指示に応じて行われる場合、その指示を表す情報は、MVCストリームを再生するときに再生装置１により参照される再生制御情報に含まれる。
【００５２】
［Highフレームレートアプリケーション］
図７は、Highフレームレートアプリケーションについて説明する図である。
【００５３】
Highフレームレートアプリケーション（High frame-rate application）は、Base view videoストリームとDependent view videoストリームのフレームレートの２倍のフレームレートの画像を表示する機能である。
【００５４】
図７に示すように、符号化対象のビデオストリームとして、例えば60Hz（60フレーム／秒）のフレームレートのストリームであるHighフレームレートストリームが情報処理装置１に入力される。Highフレームレートストリームに含まれる各画像は同じ視点の画像である。
【００５５】
情報処理装置１においては、矢印＃１の先に示すように、Highフレームレートストリームに含まれる各画像（フレーム）が、先頭のフレームから表示順に、奇数番目のフレームと偶数番目のフレームに分割される。
【００５６】
また、矢印＃２の先に示すように、例えば奇数番目のフレームをBase view、偶数番目のフレームをDependent viewとして、奇数番目のフレームからなるストリームと偶数番目のフレームからなるストリームがMVC規格に従って符号化される。偶数番目のフレームの符号化には、適宜、奇数番目のフレームが参照される。
【００５７】
奇数番目のフレームからなるストリームを符号化して得られたBase view videoストリームと、偶数番目のフレームからなるストリームを符号化して得られたDependent view videoストリームを含むMVCストリームは再生装置２に提供される。Base view videoストリームとDependent view videoストリームのフレームレートは、Highフレームレートストリームのフレームレートの１／２の30Hzになっている。
【００５８】
再生装置２においては、MVCストリームが復号され、矢印＃３の先に示すように、Base view videoストリームを復号して得られたフレームを奇数番目、Dependent view videoストリームを復号して得られたフレームを偶数番目のフレームとして交互に表示される。奇数番目のフレームと偶数番目のフレームは、Base view videoストリームとDependent view videoストリームのフレームレートの２倍のフレームレートで表示される。
【００５９】
再生装置２により再生された画像を見ている視聴者は、符号化対象として情報処理装置１に入力されたHighフレームレートストリームの画像を見ることになる。
【００６０】
［2Dビデオアプリケーション］
図８は、2Dビデオアプリケーションについて説明する図である。
【００６１】
2Dビデオアプリケーション（2D video application）は、Base view videoストリームとDependent view videoストリームの両方の復号結果を用いて2D画像を表示する機能である。
【００６２】
図８に示すように、符号化対象のビデオストリームとして、2D画像ストリームが情報処理装置１に入力される。2D画像ストリームに含まれる各画像は同じ視点の画像である。
【００６３】
情報処理装置１においては、入力された2D画像ストリームのコピーが生成される。
【００６４】
また、矢印＃１の先に示すようにオリジナルの2D画像ストリームの画像をBase view、矢印＃２の先に示すようにコピーの画像をDependent viewとして、オリジナルの2D画像ストリームとそのコピーがMVC規格に従って符号化される。コピーの符号化にオリジナルの2D画像ストリームを参照することによって、Dependent viewの各画像の、Base viewの各画像からのビュー間予測（inter view prediction）の差分値はゼロとして符号化される。
【００６５】
オリジナルの2D画像ストリームを符号化して得られたBase view videoストリームと、コピーの2D画像ストリームを符号化して得られたDependent view videoストリームを含むMVCストリームは、再生装置２に提供される。
【００６６】
再生装置２においては、MVCストリームが復号され、矢印＃３の先に示すように、Base view videoストリームを復号して得られた2D画像と、Dependent view videoストリームを復号して得られた2D画像のコピーが交互に表示される。同じ画像が２フレームずつ表示されることにより、それを見ている視聴者は、アクティブシャッタメガネをかけていてもかけていなくても、画像を2Dで見ることになる。
【００６７】
例えば以上のような４つの機能のうちのいずれかの機能がMVCアプリケーションタイプによって指定され、再生装置２において実現される。
【００６８】
［各装置の構成例］
図９は、情報処理装置１の構成例を示すブロック図である。
【００６９】
図９に示すように、情報処理装置１は、MVCアプリケーションタイプ生成部１１、前処理部１２、MVC符号化部１３、多重化部１４、および出力部１５から構成される。
【００７０】
情報処理装置１のユーザ（コンテンツの制作者）により選択されたアプリケーションを表す情報はMVCアプリケーションタイプ生成部１１、前処理部１２、およびMVC符号化部１３に入力される。
【００７１】
また、符号化対象のビデオストリームは前処理部１２とMVC符号化部１３に入力される。上述したように、例えば3Dビデオアプリケーションが選択されている場合、符号化対象のビデオストリームとしてL画像のストリームとR画像のストリームが入力される。また、２視点アプリケーションが選択されている場合、符号化対象のビデオストリームとして視点１の画像のストリームと、視点２の画像のストリームが入力される。
【００７２】
同様に、Highフレームレートアプリケーションが選択されている場合、符号化対象のビデオストリームとしてHighフレームレートストリームが入力される。2Dビデオアプリケーションが選択されている場合、符号化対象のビデオストリームとして2Dビデオストリームが入力される。情報処理装置１のユーザは、所定のアプリケーションを選択するとともに、選択したアプリケーションに応じたビデオストリームを符号化対象として情報処理装置１に入力することになる。
【００７３】
MVCアプリケーションタイプ生成部１１は、情報処理装置１のユーザによる入力に応じて、MVCアプリケーションタイプに図４を参照して説明した値を設定し、多重化部１４に出力する。
【００７４】
前処理部１２は、選択されているアプリケーションに応じて、適宜、前処理を行う。
【００７５】
例えば、前処理部１２は、Highフレームレートアプリケーションが選択されている場合、入力されたHighフレームレートストリームに含まれる各フレームを、先頭のフレームから表示順に、奇数番目のフレームと偶数番目のフレームに分割する。前処理部１２は、奇数番目のフレームからなるストリームと偶数番目のフレームからなるストリームをMVC符号化部１３に出力する。
【００７６】
また、前処理部１２は、2Dビデオアプリケーションが選択されている場合、入力された2D画像ストリームをコピーする。前処理部１２は、オリジナルの2D画像ストリームとコピーをMVC符号化部１３に出力する。
【００７７】
MVC符号化部１３は、情報処理装置１の外部から直接供給された符号化対象のビデオストリーム、または前処理部１２から供給されたビデオストリームをMVC規格に従って符号化する。
【００７８】
例えば、MVC符号化部１３は、3Dビデオアプリケーションが選択されている場合、L画像をBase view、R画像をDependent viewとして、L画像のストリームとR画像のストリームを符号化する。また、MVC符号化部１３は、２視点アプリケーションが選択されている場合、視点１の画像をBase view、視点２の画像をDependent viewとして、視点１の画像のストリームと視点２の画像のストリームを符号化する。
【００７９】
MVC符号化部１３は、Highフレームレートアプリケーションが選択されている場合、奇数番目のフレームをBase view、偶数番目の画像をDependent viewとして、前処理部１２から供給された奇数番目のフレームからなるストリームと偶数番目のフレームからなるストリームを符号化する。MVC符号化部１３は、2Dビデオアプリケーションが選択されている場合、オリジナルの2D画像ストリームの画像をBase view、コピーの画像をDependent viewとして、前処理部１２から供給されたオリジナルの2D画像ストリームとそのコピーを符号化する。
【００８０】
MVC符号化部１３は、符号化することによって得られたBase view videoストリームとDependent view videoストリームを含むMVCストリームを多重化部１４に出力する。
【００８１】
多重化部１４は、MVCアプリケーションタイプ生成部１１から供給されたMVCアプリケーションタイプと、MVC符号化部１３から供給されたMVCストリームを多重化し、多重化することによって得られたTSを出力部１５に出力する。この例においては、MVCアプリケーションタイプがMVCストリームとともにTSに多重化されるものとされている。
【００８２】
出力部１５は、多重化部１４から供給されたTSを出力する。例えば、MVCストリームとMVCアプリケーションタイプが記録媒体に記録された状態で提供される場合、出力部１５は、MVCストリームとMVCアプリケーションタイプが多重化されたTSを記録媒体に記録する。また、MVCストリームとMVCアプリケーションタイプが放送波またはネットワークを介して提供される場合、出力部１５は、MVCストリームとMVCアプリケーションタイプが多重化されたTSを再生装置２に送信する。
【００８３】
図１０は、再生装置２の構成例を示すブロック図である。
【００８４】
図１０に示すように、再生装置２は、取得部２１、分離部２２、MVC復号部２３、および表示制御部２４から構成される。
【００８５】
取得部２１は、情報処理装置１から提供されたTSを取得する。例えば、取得部２１は、再生装置２に装着された記録媒体から読み出すことによってTSを取得する。また、出力部１５は、情報処理装置１から送信されたデータを受信することによってTSを取得する。取得部２１は、取得したTSを分離部２２に出力する。
【００８６】
分離部２２は、取得部２１から供給されたTSから、MVCストリームとMVCアプリケーションタイプを抽出する。分離部２２は、抽出したMVCストリームをMVC復号部２３に出力し、MVCアプリケーションタイプを表示制御部２４に出力する。
【００８７】
MVC復号部２３は、分離部２２から供給されたMVCストリームに含まれるBase view videoストリームとDependent view videoストリームを復号する。MVC復号部２３は、Base view videoストリームを復号して得られた画像と、Dependent view videoストリームを復号して得られた画像を表示制御部２４に出力する。
【００８８】
表示制御部２４は、分離部２２から供給されたMVCアプリケーションタイプに応じて表示方式を切り替えて、MVC復号部２３から供給された画像をディスプレイに表示する。
【００８９】
例えば、表示制御部２４は、3Dビデオアプリケーションが選択されている場合、Base view videoストリームを復号して得られたL画像と、Dependent view videoストリームを復号して得られたR画像を交互に表示する。また、表示制御部２４は、２視点アプリケーションが選択されている場合、Base view videoストリームを復号して得られた視点１の画像と、Dependent view videoストリームを復号して得られた視点２の画像のうち、ユーザにより選択された画像を表示する。
【００９０】
同様に、表示制御部２４は、Highフレームレートアプリケーションが選択されている場合、Base view videoストリームを復号して得られた奇数番目のフレームと、Dependent view videoストリームを復号して得られた偶数番目のフレームを交互に２倍のフレームレートで表示する。表示制御部２４は、2Dビデオアプリケーションが選択されている場合、Base view videoストリームを復号して得られた2D画像と、Dependent view videoストリームを復号して得られた2D画像のコピーを交互に表示する。
【００９１】
［各装置の動作］
ここで、図１１のフローチャートを参照して、情報処理装置１の処理について説明する。
【００９２】
ステップＳ１において、情報処理装置１のMVCアプリケーションタイプ生成部１１は、情報処理装置１のユーザによる入力に応じた値をMVCアプリケーションタイプに設定する。
【００９３】
ステップＳ２において、前処理部１２は、符号化対象のビデオストリームに対して、選択されているアプリケーションに応じた前処理を適宜行う。
【００９４】
ステップＳ３において、MVC符号化部１３は、情報処理装置１の外部から直接供給された符号化対象のビデオストリーム、または前処理部１２から供給されたビデオストリームを、上述したようにしてMVC規格に従って符号化する。
【００９５】
ステップＳ４において、多重化部１４は、MVCアプリケーションタイプ生成部１１から供給されたMVCアプリケーションタイプと、MVC符号化部１３から供給されたMVCストリームを多重化する。
【００９６】
ステップＳ５において、出力部１５は、多重化部１４から供給されたTSを出力する。その後、処理は終了される。
【００９７】
次に、図１２のフローチャートを参照して、再生装置２の処理について説明する。
【００９８】
ステップＳ１１において、再生装置２の取得部２１は、情報処理装置１から提供されたTSを取得する。
【００９９】
ステップＳ１２において、分離部２２は、取得部２１により取得されたTSから、MVCストリームとMVCアプリケーションタイプを抽出する。
【０１００】
ステップＳ１３において、MVC復号部２３は、MVCストリームに含まれるBase view videoストリームとDependent view videoストリームを復号する。
【０１０１】
ステップＳ１４において、表示制御部２４は、MVCアプリケーションタイプに応じて表示方式を切り替え、MVC復号部２３から供給された画像をディスプレイに表示する。その後、処理は終了される。
【０１０２】
以上の一連の処理により、MVC規格のBase view videoストリームとDependent view videoストリームを用いて複数の機能を実現することができる。
【０１０３】
MVC規格で複数の機能を実現しようとした場合、情報処理装置１は、自身が生成したBase view videoストリームとDependent view videoストリームが、どの機能を実現するためのものであるのかを再生装置２に伝達する必要がある。MVCアプリケーションタイプを定義することによってそれを実現することが可能になる。
【０１０４】
また、複数の機能を実現するためのデコーダ（MVC復号部）を再生装置２にそれぞれ設ける必要がないことから、再生装置２の構成を簡略化することが可能になる。
【０１０５】
［コンピュータの構成例］
上述した一連の処理は、ハードウェアにより実行することもできるし、ソフトウェアにより実行することもできる。一連の処理をソフトウェアにより実行する場合には、そのソフトウェアを構成するプログラムが、専用のハードウェアに組み込まれているコンピュータ、または汎用のパーソナルコンピュータなどに、プログラム記録媒体からインストールされる。
【０１０６】
図１３は、上述した一連の処理をプログラムにより実行するコンピュータのハードウェアの構成例を示すブロック図である。
【０１０７】
CPU(Central Processing Unit)５１、ROM(Read Only Memory)５２、RAM(Random Access Memory)５３は、バス５４により相互に接続されている。
【０１０８】
バス５４には、さらに、入出力インタフェース５５が接続されている。入出力インタフェース５５には、キーボード、マウスなどよりなる入力部５６、ディスプレイ、スピーカなどよりなる出力部５７が接続される。また、入出力インタフェース５５には、ハードディスクや不揮発性のメモリなどよりなる記憶部５８、ネットワークインタフェースなどよりなる通信部５９、リムーバブルメディア６１を駆動するドライブ６０が接続される。
【０１０９】
以上のように構成されるコンピュータでは、CPU５１が、例えば、記憶部５８に記憶されているプログラムを入出力インタフェース５５及びバス５４を介してRAM５３にロードして実行することにより、上述した一連の処理が行われる。
【０１１０】
CPU５１が実行するプログラムは、例えばリムーバブルメディア６１に記録して、あるいは、ローカルエリアネットワーク、インターネット、デジタル放送といった、有線または無線の伝送媒体を介して提供され、記憶部５８にインストールされる。
【０１１１】
なお、コンピュータが実行するプログラムは、本明細書で説明する順序に沿って時系列に処理が行われるプログラムであっても良いし、並列に、あるいは呼び出しが行われたとき等の必要なタイミングで処理が行われるプログラムであっても良い。
【０１１２】
本発明の実施の形態は、上述した実施の形態に限定されるものではなく、本発明の要旨を逸脱しない範囲において種々の変更が可能である。
【符号の説明】
【０１１３】
１ 情報処理装置， ２ 再生装置， １１ MVCアプリケーションタイプ生成部， １２ 前処理部， １３ MVC符号化部， １４ 多重化部， １５ 出力部， ２１ 取得部， ２２ 分離部， ２３ MVC復号部， ２４ 表示制御部
【技術分野】
【０００１】
本発明は、情報処理装置、情報処理方法、再生装置、再生方法、およびプログラムに関し、特に、複数視点のビデオデータを符号化する符号化方式を用いて、複数種類の機能を実現することができるようにした情報処理装置、情報処理方法、再生装置、再生方法、およびプログラムに関する。
【背景技術】
【０００２】
近年、画像を3D（三次元）で収録した3Dコンテンツが注目されている。3Dコンテンツの画像を見ることによって、視聴者は被写体を立体的に認識することが可能になる。
【０００３】
画像を3Dで表示する方式も複数提案されている。例えば、視差のある左目用の画像（L画像）と右目用の画像（R画像）を交互に表示し、アクティブシャッタメガネをかけた視聴者の左目と右目にそれぞれ届けることによって被写体を立体的に認識させる方式がある。
【０００４】
L画像とR画像の符号化方式の１つとしてMPEG4 AVC H.264規格（H.264/AVC規格）を拡張したMVC(Multi-view Video Coding)規格がある。MVC規格では、Base view videoストリームと呼ばれるビデオストリームと、Dependent view videoストリームと呼ばれるビデオストリームが定義されている。
【０００５】
図１は、Base view videoストリームとDependent view videoストリームの例を示す図である。
【０００６】
図１の矢印で示すように、Base view videoには他のviewのストリームを参照画像とする予測符号化が許されていないが、Dependent view videoには、Base view videoを参照画像とする予測符号化が許されている。
【０００７】
例えば、L画像をBase viewとするとともにR画像をDependent viewとして符号化を行った場合、その結果得られるBase view videoストリームとDependent view videoストリームのデータ量は、それぞれをH.264/AVC規格で符号化した場合のデータ量と較べて少なくなる。
【０００８】
なお、H.264/AVC規格での符号化であるから、Base view videoストリームの符号化において、時間方向の予測は行われている。また、Dependent view videoストリームについても、view間の予測とともに、時間方向の予測が行われている。Dependent view videoをデコードするには、エンコード時に参照先とした、対応するBase view videoのデコードが先に終了している必要があることになる。
【先行技術文献】
【特許文献】
【０００９】
【特許文献１】特開２００９−１０００７０号公報
【発明の概要】
【発明が解決しようとする課題】
【００１０】
一般的に、MVC規格は複数視点のビデオデータの符号化に用いられるものであるが、他の機能を実現するために用いることも考えられる。
【００１１】
本発明はこのような状況に鑑みてなされたものであり、複数視点のビデオデータを符号化する符号化方式を用いて、複数種類の機能を実現することができるようにするものである。
【課題を解決するための手段】
【００１２】
本発明の一側面の情報処理装置は、複数のビデオストリームを、所定のビデオストリームを基本のストリームとして符号化するとともに他のビデオストリームを前記所定のビデオストリームを参照して予測符号化することが可能な符号化方式で符号化し、前記所定のビデオストリームを符号化して得られた基本ストリームと、前記他のビデオストリームを符号化して得られた拡張ストリームを生成する符号化手段と、前記基本ストリームと前記拡張ストリームを復号して得られたデータを用いて実現する機能の種類を表す属性情報を生成する生成手段と、前記基本ストリームと前記拡張ストリームを、前記属性情報と対応付けて出力する出力手段とを備える。
【００１３】
前記符号化手段には、左目用画像のストリームと右目用画像のストリームを前記符号化方式で符号化させ、前記生成手段には、前記基本ストリームと前記拡張ストリームを復号して得られたデータを用いて、左目用画像と右目用画像を交互に表示する機能を表す前記属性情報を生成させることができる。
【００１４】
前記符号化手段には、前記他のビデオストリームについては前記所定のビデオストリームを参照しないで、視点の異なる複数のビデオストリームを前記符号化方式で符号化させ、前記生成手段には、前記基本ストリームと前記拡張ストリームのうちのいずれかのストリームを復号して得られたデータを用いて、１つの視点の画像を表示する機能を表す前記属性情報を生成させることができる。
【００１５】
入力されたビデオストリームを、奇数フレームからなるストリームと偶数フレームからなるストリームに分割する処理手段をさらに設けることができる。この場合、前記符号化手段には、前記奇数フレームからなるストリームと前記偶数フレームからなるストリームを前記符号化方式で符号化させ、前記生成手段には、前記基本ストリームと前記拡張ストリームを復号して得られたデータを用いて、前記奇数フレームと前記偶数フレームを交互に、前記基本ストリームと前記拡張ストリームのフレームレートの２倍のフレームレートで表示する機能を表す前記属性情報を生成させることができる。
【００１６】
入力されたビデオストリームを複製する処理手段をさらに設けることができる。この場合、前記符号化手段には、複製元のビデオストリームと複製して得られたビデオストリームを前記符号化方式で符号化させ、前記生成手段には、前記基本ストリームと前記拡張ストリームを復号して得られたデータを用いて、前記基本ストリームを復号して得られた画像と前記拡張ストリームを復号して得られた画像を交互に表示する機能を表す前記属性情報を生成させることができる。
【００１７】
前記符号化方式は、MVC規格の符号化方式であるようにすることができる。
【００１８】
本発明の一側面の情報処理方法は、複数のビデオストリームを、所定のビデオストリームを基本のストリームとして符号化するとともに他のビデオストリームを前記所定のビデオストリームを参照して予測符号化することが可能な符号化方式で符号化し、前記所定のビデオストリームを符号化して得られた基本ストリームと、前記他のビデオストリームを符号化して得られた拡張ストリームを生成し、前記基本ストリームと前記拡張ストリームを復号して得られたデータを用いて実現する機能の種類を表す属性情報を生成し、前記基本ストリームと前記拡張ストリームを、前記属性情報と対応付けて出力するステップを含む。
【００１９】
本発明の一側面のプログラムは、複数のビデオストリームを、所定のビデオストリームを基本のストリームとして符号化するとともに他のビデオストリームを前記所定のビデオストリームを参照して予測符号化することが可能な符号化方式で符号化し、前記所定のビデオストリームを符号化して得られた基本ストリームと、前記他のビデオストリームを符号化して得られた拡張ストリームを生成し、前記基本ストリームと前記拡張ストリームを復号して得られたデータを用いて実現する機能の種類を表す属性情報を生成し、前記基本ストリームと前記拡張ストリームを、前記属性情報と対応付けて出力するステップを含む処理をコンピュータに実行させる。
【００２０】
本発明の他の側面の再生装置は、複数のビデオストリームのうちの所定のビデオストリームを基本のストリームとして符号化するとともに他のビデオストリームを前記所定のビデオストリームを参照して予測符号化することが可能な符号化方式で、前記所定のビデオストリームを符号化して得られた基本ストリームと、前記他のビデオストリームを符号化して得られた拡張ストリームとを取得するとともに、前記基本ストリームと前記拡張ストリームを復号して得られたデータを用いて実現する機能の種類を表す属性情報を取得する取得手段と、前記基本ストリームと前記拡張ストリームを復号する復号手段と、前記基本ストリームと前記拡張ストリームを復号して得られた画像の表示方式を、前記属性情報により表される種類に応じて切り替える表示制御手段とを備える。
【００２１】
前記基本ストリームと前記拡張ストリームは、左目用画像のストリームと右目用画像のストリームを前記符号化方式で符号化して得られたストリームであり、前記表示制御手段には、前記基本ストリームと前記拡張ストリームを復号して得られたデータを用いて、左目用画像と右目用画像を交互に表示させることができる。
【００２２】
前記基本ストリームと前記拡張ストリームは、視点の異なる複数のビデオストリームを、前記他のビデオストリームについては基本のビデオストリームを参照しないで前記符号化方式で符号化して得られたストリームであり、前記表示制御手段には、前記基本ストリームと前記拡張ストリームのうちのいずれかのストリームを復号して得られたデータを用いて、１つの視点の画像を表示させることができる。
【００２３】
前記基本ストリームと前記拡張ストリームは、入力されたビデオストリームの奇数フレームからなるストリームと偶数フレームからなるストリームを前記符号化方式で符号化して得られたストリームであり、前記表示制御手段には、前記基本ストリームと前記拡張ストリームを復号して得られたデータを用いて、前記奇数フレームと前記偶数フレームを交互に、前記基本ストリームと前記拡張ストリームのフレームレートの２倍のフレームレートで表示させることができる。
【００２４】
前記基本ストリームと前記拡張ストリームは、入力されたビデオストリームと、そのビデオストリームを複製して得られたビデオストリームを前記符号化方式で符号化して得られたストリームであり、前記表示制御手段には、前記基本ストリームと前記拡張ストリームを復号して得られたデータを用いて、前記基本ストリームを復号して得られた画像と前記拡張ストリームを復号して得られた画像を交互に表示させることができる。
【００２５】
前記符号化方式は、MVC規格の符号化方式であるようにすることができる。
【００２６】
本発明の他の側面の再生方法は、複数のビデオストリームのうちの所定のビデオストリームを基本のストリームとして符号化するとともに他のビデオストリームを前記所定のビデオストリームを参照して予測符号化することが可能な符号化方式で、前記所定のビデオストリームを符号化して得られた基本ストリームと、前記他のビデオストリームを符号化して得られた拡張ストリームとを取得するとともに、前記基本ストリームと前記拡張ストリームを復号して得られたデータを用いて実現する機能の種類を表す属性情報を取得し、前記基本ストリームと前記拡張ストリームを復号し、前記基本ストリームと前記拡張ストリームを復号して得られた画像の表示方式を、前記属性情報により表される種類に応じて切り替えるステップを含む。
【００２７】
本発明の他の側面のプログラムは、複数のビデオストリームのうちの所定のビデオストリームを基本のストリームとして符号化するとともに他のビデオストリームを前記所定のビデオストリームを参照して予測符号化することが可能な符号化方式で、前記所定のビデオストリームを符号化して得られた基本ストリームと、前記他のビデオストリームを符号化して得られた拡張ストリームとを取得するとともに、前記基本ストリームと前記拡張ストリームを復号して得られたデータを用いて実現する機能の種類を表す属性情報を取得し、前記基本ストリームと前記拡張ストリームを復号し、前記基本ストリームと前記拡張ストリームを復号して得られた画像の表示方式を、前記属性情報により表される種類に応じて切り替えるステップを含む処理をコンピュータに実行させる。
【００２８】
本発明の一側面においては、複数のビデオストリームが、所定のビデオストリームを基本のストリームとして符号化するとともに他のビデオストリームを前記所定のビデオストリームを参照して予測符号化することが可能な符号化方式で符号化され、前記所定のビデオストリームを符号化して得られた基本ストリームと、前記他のビデオストリームを符号化して得られた拡張ストリームが生成され、前記基本ストリームと前記拡張ストリームを復号して得られたデータを用いて実現する機能の種類を表す属性情報が生成され、前記基本ストリームと前記拡張ストリームが、前記属性情報と対応付けて出力される。
【００２９】
本発明の他の側面においては、複数のビデオストリームのうちの所定のビデオストリームを基本のストリームとして符号化するとともに他のビデオストリームを前記所定のビデオストリームを参照して予測符号化することが可能な符号化方式で、前記所定のビデオストリームを符号化して得られた基本ストリームと、前記他のビデオストリームを符号化して得られた拡張ストリームとが取得されるとともに、前記基本ストリームと前記拡張ストリームを復号して得られたデータを用いて実現する機能の種類を表す属性情報が取得される。また、前記基本ストリームと前記拡張ストリームが復号され、前記基本ストリームと前記拡張ストリームを復号して得られた画像の表示方式が、前記属性情報により表される種類に応じて切り替えられる。
【発明の効果】
【００３０】
本発明によれば、複数視点のビデオデータを符号化する符号化方式を用いて、複数種類の機能を実現することができる。
【図面の簡単な説明】
【００３１】
【図１】Base view videoストリームとDependent view videoストリームの例を示す図である。
【図２】本発明の一実施形態に係る情報処理システムを示す図である。
【図３】MVCストリームの構成例を示す図である。
【図４】MVCアプリケーションタイプにより表される機能の例を示す図である。
【図５】3Dビデオアプリケーションについて説明する図である。
【図６】２視点アプリケーションについて説明する図である。
【図７】Highフレームレートアプリケーションについて説明する図である。
【図８】2Dビデオアプリケーションについて説明する図である。
【図９】情報処理装置の構成例を示すブロック図である。
【図１０】再生装置の構成例を示すブロック図である。
【図１１】情報処理装置の処理について説明するフローチャートである。
【図１２】再生装置の処理について説明するフローチャートである。
【図１３】コンピュータのハードウェアの構成例を示すブロック図である。
【発明を実施するための形態】
【００３２】
［情報処理システムの構成］
図２は、本発明の一実施形態に係る情報処理システムを示す図である。
【００３３】
図２に示す情報処理システムは、情報処理装置１と再生装置２から構成される。再生装置２には、再生装置２から出力された画像を表示するLCD(Liquid Crystal Display)などのディスプレイが接続される。
【００３４】
情報処理装置１は、入力されたビデオストリームをMVC規格に従って符号化し、MVCストリームを生成する。MVCストリームには、図３に示すように、Base view videoストリームのデータとDependent view videoストリームのデータが含まれる。
【００３５】
図３の例においては、Base view videoストリーム全体とDependent view videoストリーム全体がそれぞれ所定の区間毎に分割され、各区間が混在するように１本のストリームが構成されている。図３において「Ｂ」の文字を付して示す区間はBase view videoストリームの区間を表し、「Ｄ」の文字を付して示す区間はDependent view videoストリームの区間を表す。
【００３６】
また、情報処理装置１は、MVCストリームを復号して得られたデータを用いて実現する機能を表す属性情報であるMVCアプリケーションタイプ（MVC application type）を生成する。情報処理装置１は、生成したMVCアプリケーションタイプをMVCストリームと対応付けて出力する。MVCアプリケーションタイプは、MVCストリームのファイルと別ファイルのデータによって定義されるようにしてもよいし、TS(Transport Stream)の伝送制御情報であるPMT(Program Map Table)のdescriptorによって定義されるようにしてもよい。
【００３７】
情報処理装置１により生成されたMVCストリームとMVCアプリケーションタイプは、Blu-ray（商標）ディスクなどの記録媒体に記録されて、あるいは、放送波やネットワークを介して、再生装置２に提供される。
【００３８】
再生装置２は、情報処理装置１から出力されたMVCストリームとMVCアプリケーションタイプを取得する。再生装置２は、MVCストリームを復号し、復号して得られたデータを用いて、MVCアプリケーションタイプにより表される機能を実現するための処理を行う。具体的には、再生装置２は、MVCストリームに含まれるBase view videoストリームを復号して得られた画像と、Dependent view videoストリームを復号して得られた画像の表示方式をMVCアプリケーションタイプの値に応じて切り替える。
【００３９】
図４は、MVCアプリケーションタイプにより表される機能（アプリケーション）の例を示す図である。
【００４０】
図４に示すように、MVCアプリケーションタイプの値が１であることは3Dビデオアプリケーションを表し、MVCアプリケーションタイプの値が２であることは２視点アプリケーションを表す。MVCアプリケーションタイプの値が３であることはHighフレームレートアプリケーションを表し、MVCアプリケーションタイプの値が４であることは2Dビデオアプリケーションを表す。各アプリケーションについて説明する。
【００４１】
［3Dビデオアプリケーション］
図５は、3Dビデオアプリケーションについて説明する図である。
【００４２】
3Dビデオアプリケーション（Stereo 3D video application）は3D画像を表示する機能である。
【００４３】
図５に示すように、符号化対象のビデオストリームとして、L画像のストリームとR画像のストリームが情報処理装置１に入力される。情報処理装置１においては、矢印＃１の先に示すように、例えばL画像をBase view、R画像をDependent viewとして、L画像のストリームとR画像のストリームがMVC規格に従って符号化される。R画像の符号化には、適宜、L画像が参照される。
【００４４】
L画像のストリームを符号化して得られたBase view videoストリームと、R画像のストリームを符号化して得られたDependent view videoストリームを含むMVCストリームは再生装置２に提供される。
【００４５】
再生装置２においては、MVCストリームが復号され、矢印＃２の先に示すように、Base view videoストリームを復号して得られたL画像と、Dependent view videoストリームを復号して得られたR画像が交互に、いわゆるフレームシーケンシャル方式で表示される。再生装置２により再生された画像をアクティブシャッタメガネをかけて見ている視聴者には、その画像が3Dで見えることになる。
【００４６】
［２視点アプリケーション］
図６は、２視点アプリケーションについて説明する図である。
【００４７】
２視点アプリケーション（Two views application）は視点の異なる２つの画像のうちのいずれか一方を表示する機能である。
【００４８】
図６に示すように、符号化対象のビデオストリームとして、視点１（view-1）の画像のストリームと、視点１と異なる視点である視点２（view-2）の画像のストリームが情報処理装置１に入力される。情報処理装置１においては、矢印＃１の先に示すように、例えば視点１の画像をBase view、視点２の画像をDependent viewとして、視点１の画像のストリームと視点２の画像のストリームがMVC規格に従って符号化される。視点２の画像の符号化には、視点１の画像が参照されない。
【００４９】
視点１の画像のストリームを符号化して得られたBase view videoストリームと、視点２の画像のストリームを符号化して得られたDependent view videoストリームを含むMVCストリームは再生装置２に提供される。視点１の画像を参照しないで符号化されているから、Dependent view videoストリームは単独での復号が可能なストリームになっている。
【００５０】
再生装置２においては、MVCストリームが復号され、矢印＃２の先に示すように、Base view videoストリームを復号して得られた視点１の画像と、Dependent view videoストリームを復号して得られた視点２の画像のうちのいずれかが表示される。再生装置２により再生された画像（2Dの画像）を見ている視聴者は、視点１の画像か、視点２の画像を見ることになる。
【００５１】
視点の切り替えは、例えば視聴者による指示に応じて、または、MVCストリームのコンテンツの制作者であるオーサによる指示に応じて行われる。視点の切り替えがMVCストリームのオーサによる指示に応じて行われる場合、その指示を表す情報は、MVCストリームを再生するときに再生装置１により参照される再生制御情報に含まれる。
【００５２】
［Highフレームレートアプリケーション］
図７は、Highフレームレートアプリケーションについて説明する図である。
【００５３】
Highフレームレートアプリケーション（High frame-rate application）は、Base view videoストリームとDependent view videoストリームのフレームレートの２倍のフレームレートの画像を表示する機能である。
【００５４】
図７に示すように、符号化対象のビデオストリームとして、例えば60Hz（60フレーム／秒）のフレームレートのストリームであるHighフレームレートストリームが情報処理装置１に入力される。Highフレームレートストリームに含まれる各画像は同じ視点の画像である。
【００５５】
情報処理装置１においては、矢印＃１の先に示すように、Highフレームレートストリームに含まれる各画像（フレーム）が、先頭のフレームから表示順に、奇数番目のフレームと偶数番目のフレームに分割される。
【００５６】
また、矢印＃２の先に示すように、例えば奇数番目のフレームをBase view、偶数番目のフレームをDependent viewとして、奇数番目のフレームからなるストリームと偶数番目のフレームからなるストリームがMVC規格に従って符号化される。偶数番目のフレームの符号化には、適宜、奇数番目のフレームが参照される。
【００５７】
奇数番目のフレームからなるストリームを符号化して得られたBase view videoストリームと、偶数番目のフレームからなるストリームを符号化して得られたDependent view videoストリームを含むMVCストリームは再生装置２に提供される。Base view videoストリームとDependent view videoストリームのフレームレートは、Highフレームレートストリームのフレームレートの１／２の30Hzになっている。
【００５８】
再生装置２においては、MVCストリームが復号され、矢印＃３の先に示すように、Base view videoストリームを復号して得られたフレームを奇数番目、Dependent view videoストリームを復号して得られたフレームを偶数番目のフレームとして交互に表示される。奇数番目のフレームと偶数番目のフレームは、Base view videoストリームとDependent view videoストリームのフレームレートの２倍のフレームレートで表示される。
【００５９】
再生装置２により再生された画像を見ている視聴者は、符号化対象として情報処理装置１に入力されたHighフレームレートストリームの画像を見ることになる。
【００６０】
［2Dビデオアプリケーション］
図８は、2Dビデオアプリケーションについて説明する図である。
【００６１】
2Dビデオアプリケーション（2D video application）は、Base view videoストリームとDependent view videoストリームの両方の復号結果を用いて2D画像を表示する機能である。
【００６２】
図８に示すように、符号化対象のビデオストリームとして、2D画像ストリームが情報処理装置１に入力される。2D画像ストリームに含まれる各画像は同じ視点の画像である。
【００６３】
情報処理装置１においては、入力された2D画像ストリームのコピーが生成される。
【００６４】
また、矢印＃１の先に示すようにオリジナルの2D画像ストリームの画像をBase view、矢印＃２の先に示すようにコピーの画像をDependent viewとして、オリジナルの2D画像ストリームとそのコピーがMVC規格に従って符号化される。コピーの符号化にオリジナルの2D画像ストリームを参照することによって、Dependent viewの各画像の、Base viewの各画像からのビュー間予測（inter view prediction）の差分値はゼロとして符号化される。
【００６５】
オリジナルの2D画像ストリームを符号化して得られたBase view videoストリームと、コピーの2D画像ストリームを符号化して得られたDependent view videoストリームを含むMVCストリームは、再生装置２に提供される。
【００６６】
再生装置２においては、MVCストリームが復号され、矢印＃３の先に示すように、Base view videoストリームを復号して得られた2D画像と、Dependent view videoストリームを復号して得られた2D画像のコピーが交互に表示される。同じ画像が２フレームずつ表示されることにより、それを見ている視聴者は、アクティブシャッタメガネをかけていてもかけていなくても、画像を2Dで見ることになる。
【００６７】
例えば以上のような４つの機能のうちのいずれかの機能がMVCアプリケーションタイプによって指定され、再生装置２において実現される。
【００６８】
［各装置の構成例］
図９は、情報処理装置１の構成例を示すブロック図である。
【００６９】
図９に示すように、情報処理装置１は、MVCアプリケーションタイプ生成部１１、前処理部１２、MVC符号化部１３、多重化部１４、および出力部１５から構成される。
【００７０】
情報処理装置１のユーザ（コンテンツの制作者）により選択されたアプリケーションを表す情報はMVCアプリケーションタイプ生成部１１、前処理部１２、およびMVC符号化部１３に入力される。
【００７１】
また、符号化対象のビデオストリームは前処理部１２とMVC符号化部１３に入力される。上述したように、例えば3Dビデオアプリケーションが選択されている場合、符号化対象のビデオストリームとしてL画像のストリームとR画像のストリームが入力される。また、２視点アプリケーションが選択されている場合、符号化対象のビデオストリームとして視点１の画像のストリームと、視点２の画像のストリームが入力される。
【００７２】
同様に、Highフレームレートアプリケーションが選択されている場合、符号化対象のビデオストリームとしてHighフレームレートストリームが入力される。2Dビデオアプリケーションが選択されている場合、符号化対象のビデオストリームとして2Dビデオストリームが入力される。情報処理装置１のユーザは、所定のアプリケーションを選択するとともに、選択したアプリケーションに応じたビデオストリームを符号化対象として情報処理装置１に入力することになる。
【００７３】
MVCアプリケーションタイプ生成部１１は、情報処理装置１のユーザによる入力に応じて、MVCアプリケーションタイプに図４を参照して説明した値を設定し、多重化部１４に出力する。
【００７４】
前処理部１２は、選択されているアプリケーションに応じて、適宜、前処理を行う。
【００７５】
例えば、前処理部１２は、Highフレームレートアプリケーションが選択されている場合、入力されたHighフレームレートストリームに含まれる各フレームを、先頭のフレームから表示順に、奇数番目のフレームと偶数番目のフレームに分割する。前処理部１２は、奇数番目のフレームからなるストリームと偶数番目のフレームからなるストリームをMVC符号化部１３に出力する。
【００７６】
また、前処理部１２は、2Dビデオアプリケーションが選択されている場合、入力された2D画像ストリームをコピーする。前処理部１２は、オリジナルの2D画像ストリームとコピーをMVC符号化部１３に出力する。
【００７７】
MVC符号化部１３は、情報処理装置１の外部から直接供給された符号化対象のビデオストリーム、または前処理部１２から供給されたビデオストリームをMVC規格に従って符号化する。
【００７８】
例えば、MVC符号化部１３は、3Dビデオアプリケーションが選択されている場合、L画像をBase view、R画像をDependent viewとして、L画像のストリームとR画像のストリームを符号化する。また、MVC符号化部１３は、２視点アプリケーションが選択されている場合、視点１の画像をBase view、視点２の画像をDependent viewとして、視点１の画像のストリームと視点２の画像のストリームを符号化する。
【００７９】
MVC符号化部１３は、Highフレームレートアプリケーションが選択されている場合、奇数番目のフレームをBase view、偶数番目の画像をDependent viewとして、前処理部１２から供給された奇数番目のフレームからなるストリームと偶数番目のフレームからなるストリームを符号化する。MVC符号化部１３は、2Dビデオアプリケーションが選択されている場合、オリジナルの2D画像ストリームの画像をBase view、コピーの画像をDependent viewとして、前処理部１２から供給されたオリジナルの2D画像ストリームとそのコピーを符号化する。
【００８０】
MVC符号化部１３は、符号化することによって得られたBase view videoストリームとDependent view videoストリームを含むMVCストリームを多重化部１４に出力する。
【００８１】
多重化部１４は、MVCアプリケーションタイプ生成部１１から供給されたMVCアプリケーションタイプと、MVC符号化部１３から供給されたMVCストリームを多重化し、多重化することによって得られたTSを出力部１５に出力する。この例においては、MVCアプリケーションタイプがMVCストリームとともにTSに多重化されるものとされている。
【００８２】
出力部１５は、多重化部１４から供給されたTSを出力する。例えば、MVCストリームとMVCアプリケーションタイプが記録媒体に記録された状態で提供される場合、出力部１５は、MVCストリームとMVCアプリケーションタイプが多重化されたTSを記録媒体に記録する。また、MVCストリームとMVCアプリケーションタイプが放送波またはネットワークを介して提供される場合、出力部１５は、MVCストリームとMVCアプリケーションタイプが多重化されたTSを再生装置２に送信する。
【００８３】
図１０は、再生装置２の構成例を示すブロック図である。
【００８４】
図１０に示すように、再生装置２は、取得部２１、分離部２２、MVC復号部２３、および表示制御部２４から構成される。
【００８５】
取得部２１は、情報処理装置１から提供されたTSを取得する。例えば、取得部２１は、再生装置２に装着された記録媒体から読み出すことによってTSを取得する。また、出力部１５は、情報処理装置１から送信されたデータを受信することによってTSを取得する。取得部２１は、取得したTSを分離部２２に出力する。
【００８６】
分離部２２は、取得部２１から供給されたTSから、MVCストリームとMVCアプリケーションタイプを抽出する。分離部２２は、抽出したMVCストリームをMVC復号部２３に出力し、MVCアプリケーションタイプを表示制御部２４に出力する。
【００８７】
MVC復号部２３は、分離部２２から供給されたMVCストリームに含まれるBase view videoストリームとDependent view videoストリームを復号する。MVC復号部２３は、Base view videoストリームを復号して得られた画像と、Dependent view videoストリームを復号して得られた画像を表示制御部２４に出力する。
【００８８】
表示制御部２４は、分離部２２から供給されたMVCアプリケーションタイプに応じて表示方式を切り替えて、MVC復号部２３から供給された画像をディスプレイに表示する。
【００８９】
例えば、表示制御部２４は、3Dビデオアプリケーションが選択されている場合、Base view videoストリームを復号して得られたL画像と、Dependent view videoストリームを復号して得られたR画像を交互に表示する。また、表示制御部２４は、２視点アプリケーションが選択されている場合、Base view videoストリームを復号して得られた視点１の画像と、Dependent view videoストリームを復号して得られた視点２の画像のうち、ユーザにより選択された画像を表示する。
【００９０】
同様に、表示制御部２４は、Highフレームレートアプリケーションが選択されている場合、Base view videoストリームを復号して得られた奇数番目のフレームと、Dependent view videoストリームを復号して得られた偶数番目のフレームを交互に２倍のフレームレートで表示する。表示制御部２４は、2Dビデオアプリケーションが選択されている場合、Base view videoストリームを復号して得られた2D画像と、Dependent view videoストリームを復号して得られた2D画像のコピーを交互に表示する。
【００９１】
［各装置の動作］
ここで、図１１のフローチャートを参照して、情報処理装置１の処理について説明する。
【００９２】
ステップＳ１において、情報処理装置１のMVCアプリケーションタイプ生成部１１は、情報処理装置１のユーザによる入力に応じた値をMVCアプリケーションタイプに設定する。
【００９３】
ステップＳ２において、前処理部１２は、符号化対象のビデオストリームに対して、選択されているアプリケーションに応じた前処理を適宜行う。
【００９４】
ステップＳ３において、MVC符号化部１３は、情報処理装置１の外部から直接供給された符号化対象のビデオストリーム、または前処理部１２から供給されたビデオストリームを、上述したようにしてMVC規格に従って符号化する。
【００９５】
ステップＳ４において、多重化部１４は、MVCアプリケーションタイプ生成部１１から供給されたMVCアプリケーションタイプと、MVC符号化部１３から供給されたMVCストリームを多重化する。
【００９６】
ステップＳ５において、出力部１５は、多重化部１４から供給されたTSを出力する。その後、処理は終了される。
【００９７】
次に、図１２のフローチャートを参照して、再生装置２の処理について説明する。
【００９８】
ステップＳ１１において、再生装置２の取得部２１は、情報処理装置１から提供されたTSを取得する。
【００９９】
ステップＳ１２において、分離部２２は、取得部２１により取得されたTSから、MVCストリームとMVCアプリケーションタイプを抽出する。
【０１００】
ステップＳ１３において、MVC復号部２３は、MVCストリームに含まれるBase view videoストリームとDependent view videoストリームを復号する。
【０１０１】
ステップＳ１４において、表示制御部２４は、MVCアプリケーションタイプに応じて表示方式を切り替え、MVC復号部２３から供給された画像をディスプレイに表示する。その後、処理は終了される。
【０１０２】
以上の一連の処理により、MVC規格のBase view videoストリームとDependent view videoストリームを用いて複数の機能を実現することができる。
【０１０３】
MVC規格で複数の機能を実現しようとした場合、情報処理装置１は、自身が生成したBase view videoストリームとDependent view videoストリームが、どの機能を実現するためのものであるのかを再生装置２に伝達する必要がある。MVCアプリケーションタイプを定義することによってそれを実現することが可能になる。
【０１０４】
また、複数の機能を実現するためのデコーダ（MVC復号部）を再生装置２にそれぞれ設ける必要がないことから、再生装置２の構成を簡略化することが可能になる。
【０１０５】
［コンピュータの構成例］
上述した一連の処理は、ハードウェアにより実行することもできるし、ソフトウェアにより実行することもできる。一連の処理をソフトウェアにより実行する場合には、そのソフトウェアを構成するプログラムが、専用のハードウェアに組み込まれているコンピュータ、または汎用のパーソナルコンピュータなどに、プログラム記録媒体からインストールされる。
【０１０６】
図１３は、上述した一連の処理をプログラムにより実行するコンピュータのハードウェアの構成例を示すブロック図である。
【０１０７】
CPU(Central Processing Unit)５１、ROM(Read Only Memory)５２、RAM(Random Access Memory)５３は、バス５４により相互に接続されている。
【０１０８】
バス５４には、さらに、入出力インタフェース５５が接続されている。入出力インタフェース５５には、キーボード、マウスなどよりなる入力部５６、ディスプレイ、スピーカなどよりなる出力部５７が接続される。また、入出力インタフェース５５には、ハードディスクや不揮発性のメモリなどよりなる記憶部５８、ネットワークインタフェースなどよりなる通信部５９、リムーバブルメディア６１を駆動するドライブ６０が接続される。
【０１０９】
以上のように構成されるコンピュータでは、CPU５１が、例えば、記憶部５８に記憶されているプログラムを入出力インタフェース５５及びバス５４を介してRAM５３にロードして実行することにより、上述した一連の処理が行われる。
【０１１０】
CPU５１が実行するプログラムは、例えばリムーバブルメディア６１に記録して、あるいは、ローカルエリアネットワーク、インターネット、デジタル放送といった、有線または無線の伝送媒体を介して提供され、記憶部５８にインストールされる。
【０１１１】
なお、コンピュータが実行するプログラムは、本明細書で説明する順序に沿って時系列に処理が行われるプログラムであっても良いし、並列に、あるいは呼び出しが行われたとき等の必要なタイミングで処理が行われるプログラムであっても良い。
【０１１２】
本発明の実施の形態は、上述した実施の形態に限定されるものではなく、本発明の要旨を逸脱しない範囲において種々の変更が可能である。
【符号の説明】
【０１１３】
１ 情報処理装置， ２ 再生装置， １１ MVCアプリケーションタイプ生成部， １２ 前処理部， １３ MVC符号化部， １４ 多重化部， １５ 出力部， ２１ 取得部， ２２ 分離部， ２３ MVC復号部， ２４ 表示制御部
【特許請求の範囲】
【請求項１】
複数のビデオストリームを、所定のビデオストリームを基本のストリームとして符号化するとともに他のビデオストリームを前記所定のビデオストリームを参照して予測符号化することが可能な符号化方式で符号化し、前記所定のビデオストリームを符号化して得られた基本ストリームと、前記他のビデオストリームを符号化して得られた拡張ストリームを生成する符号化手段と、
前記基本ストリームと前記拡張ストリームを復号して得られたデータを用いて実現する機能の種類を表す属性情報を生成する生成手段と、
前記基本ストリームと前記拡張ストリームを、前記属性情報と対応付けて出力する出力手段と
を備える情報処理装置。
【請求項２】
前記符号化手段は、左目用画像のストリームと右目用画像のストリームを前記符号化方式で符号化し、
前記生成手段は、前記基本ストリームと前記拡張ストリームを復号して得られたデータを用いて、左目用画像と右目用画像を交互に表示する機能を表す前記属性情報を生成する
請求項１に記載の情報処理装置。
【請求項３】
前記符号化手段は、前記他のビデオストリームについては前記所定のビデオストリームを参照しないで、視点の異なる複数のビデオストリームを前記符号化方式で符号化し、
前記生成手段は、前記基本ストリームと前記拡張ストリームのうちのいずれかのストリームを復号して得られたデータを用いて、１つの視点の画像を表示する機能を表す前記属性情報を生成する
請求項１に記載の情報処理装置。
【請求項４】
入力されたビデオストリームを、奇数フレームからなるストリームと偶数フレームからなるストリームに分割する処理手段をさらに備え、
前記符号化手段は、前記奇数フレームからなるストリームと前記偶数フレームからなるストリームを前記符号化方式で符号化し、
前記生成手段は、前記基本ストリームと前記拡張ストリームを復号して得られたデータを用いて、前記奇数フレームと前記偶数フレームを交互に、前記基本ストリームと前記拡張ストリームのフレームレートの２倍のフレームレートで表示する機能を表す前記属性情報を生成する
請求項１に記載の情報処理装置。
【請求項５】
入力されたビデオストリームを複製する処理手段をさらに備え、
前記符号化手段は、複製元のビデオストリームと複製して得られたビデオストリームを前記符号化方式で符号化し、
前記生成手段は、前記基本ストリームと前記拡張ストリームを復号して得られたデータを用いて、前記基本ストリームを復号して得られた画像と前記拡張ストリームを復号して得られた画像を交互に表示する機能を表す前記属性情報を生成する
請求項１に記載の情報処理装置。
【請求項６】
前記符号化方式は、MVC規格の符号化方式である
請求項１に記載の情報処理装置。
【請求項７】
複数のビデオストリームを、所定のビデオストリームを基本のストリームとして符号化するとともに他のビデオストリームを前記所定のビデオストリームを参照して予測符号化することが可能な符号化方式で符号化し、前記所定のビデオストリームを符号化して得られた基本ストリームと、前記他のビデオストリームを符号化して得られた拡張ストリームを生成し、
前記基本ストリームと前記拡張ストリームを復号して得られたデータを用いて実現する機能の種類を表す属性情報を生成し、
前記基本ストリームと前記拡張ストリームを、前記属性情報と対応付けて出力する
ステップを含む情報処理方法。
【請求項８】
複数のビデオストリームを、所定のビデオストリームを基本のストリームとして符号化するとともに他のビデオストリームを前記所定のビデオストリームを参照して予測符号化することが可能な符号化方式で符号化し、前記所定のビデオストリームを符号化して得られた基本ストリームと、前記他のビデオストリームを符号化して得られた拡張ストリームを生成し、
前記基本ストリームと前記拡張ストリームを復号して得られたデータを用いて実現する機能の種類を表す属性情報を生成し、
前記基本ストリームと前記拡張ストリームを、前記属性情報と対応付けて出力する
ステップを含む処理をコンピュータに実行させるプログラム。
【請求項９】
複数のビデオストリームのうちの所定のビデオストリームを基本のストリームとして符号化するとともに他のビデオストリームを前記所定のビデオストリームを参照して予測符号化することが可能な符号化方式で、前記所定のビデオストリームを符号化して得られた基本ストリームと、前記他のビデオストリームを符号化して得られた拡張ストリームとを取得するとともに、前記基本ストリームと前記拡張ストリームを復号して得られたデータを用いて実現する機能の種類を表す属性情報を取得する取得手段と、
前記基本ストリームと前記拡張ストリームを復号する復号手段と、
前記基本ストリームと前記拡張ストリームを復号して得られた画像の表示方式を、前記属性情報により表される種類に応じて切り替える表示制御手段と
を備える再生装置。
【請求項１０】
前記基本ストリームと前記拡張ストリームは、左目用画像のストリームと右目用画像のストリームを前記符号化方式で符号化して得られたストリームであり、
前記表示制御手段は、前記基本ストリームと前記拡張ストリームを復号して得られたデータを用いて、左目用画像と右目用画像を交互に表示する
請求項９に記載の再生装置。
【請求項１１】
前記基本ストリームと前記拡張ストリームは、視点の異なる複数のビデオストリームを、前記他のビデオストリームについては基本のビデオストリームを参照しないで前記符号化方式で符号化して得られたストリームであり、
前記表示制御手段は、前記基本ストリームと前記拡張ストリームのうちのいずれかのストリームを復号して得られたデータを用いて、１つの視点の画像を表示する
請求項９に記載の再生装置。
【請求項１２】
前記基本ストリームと前記拡張ストリームは、入力されたビデオストリームの奇数フレームからなるストリームと偶数フレームからなるストリームを前記符号化方式で符号化して得られたストリームであり、
前記表示制御手段は、前記基本ストリームと前記拡張ストリームを復号して得られたデータを用いて、前記奇数フレームと前記偶数フレームを交互に、前記基本ストリームと前記拡張ストリームのフレームレートの２倍のフレームレートで表示する
請求項９に記載の再生装置。
【請求項１３】
前記基本ストリームと前記拡張ストリームは、入力されたビデオストリームと、そのビデオストリームを複製して得られたビデオストリームを前記符号化方式で符号化して得られたストリームであり、
前記表示制御手段は、前記基本ストリームと前記拡張ストリームを復号して得られたデータを用いて、前記基本ストリームを復号して得られた画像と前記拡張ストリームを復号して得られた画像を交互に表示する
請求項９に記載の再生装置。
【請求項１４】
前記符号化方式は、MVC規格の符号化方式である
請求項９に記載の再生装置。
【請求項１５】
複数のビデオストリームのうちの所定のビデオストリームを基本のストリームとして符号化するとともに他のビデオストリームを前記所定のビデオストリームを参照して予測符号化することが可能な符号化方式で、前記所定のビデオストリームを符号化して得られた基本ストリームと、前記他のビデオストリームを符号化して得られた拡張ストリームとを取得するとともに、前記基本ストリームと前記拡張ストリームを復号して得られたデータを用いて実現する機能の種類を表す属性情報を取得し、
前記基本ストリームと前記拡張ストリームを復号し、
前記基本ストリームと前記拡張ストリームを復号して得られた画像の表示方式を、前記属性情報により表される種類に応じて切り替える
ステップを含む再生方法。
【請求項１６】
複数のビデオストリームのうちの所定のビデオストリームを基本のストリームとして符号化するとともに他のビデオストリームを前記所定のビデオストリームを参照して予測符号化することが可能な符号化方式で、前記所定のビデオストリームを符号化して得られた基本ストリームと、前記他のビデオストリームを符号化して得られた拡張ストリームとを取得するとともに、前記基本ストリームと前記拡張ストリームを復号して得られたデータを用いて実現する機能の種類を表す属性情報を取得し、
前記基本ストリームと前記拡張ストリームを復号し、
前記基本ストリームと前記拡張ストリームを復号して得られた画像の表示方式を、前記属性情報により表される種類に応じて切り替える
ステップを含む処理をコンピュータに実行させるプログラム。
【請求項１】
複数のビデオストリームを、所定のビデオストリームを基本のストリームとして符号化するとともに他のビデオストリームを前記所定のビデオストリームを参照して予測符号化することが可能な符号化方式で符号化し、前記所定のビデオストリームを符号化して得られた基本ストリームと、前記他のビデオストリームを符号化して得られた拡張ストリームを生成する符号化手段と、
前記基本ストリームと前記拡張ストリームを復号して得られたデータを用いて実現する機能の種類を表す属性情報を生成する生成手段と、
前記基本ストリームと前記拡張ストリームを、前記属性情報と対応付けて出力する出力手段と
を備える情報処理装置。
【請求項２】
前記符号化手段は、左目用画像のストリームと右目用画像のストリームを前記符号化方式で符号化し、
前記生成手段は、前記基本ストリームと前記拡張ストリームを復号して得られたデータを用いて、左目用画像と右目用画像を交互に表示する機能を表す前記属性情報を生成する
請求項１に記載の情報処理装置。
【請求項３】
前記符号化手段は、前記他のビデオストリームについては前記所定のビデオストリームを参照しないで、視点の異なる複数のビデオストリームを前記符号化方式で符号化し、
前記生成手段は、前記基本ストリームと前記拡張ストリームのうちのいずれかのストリームを復号して得られたデータを用いて、１つの視点の画像を表示する機能を表す前記属性情報を生成する
請求項１に記載の情報処理装置。
【請求項４】
入力されたビデオストリームを、奇数フレームからなるストリームと偶数フレームからなるストリームに分割する処理手段をさらに備え、
前記符号化手段は、前記奇数フレームからなるストリームと前記偶数フレームからなるストリームを前記符号化方式で符号化し、
前記生成手段は、前記基本ストリームと前記拡張ストリームを復号して得られたデータを用いて、前記奇数フレームと前記偶数フレームを交互に、前記基本ストリームと前記拡張ストリームのフレームレートの２倍のフレームレートで表示する機能を表す前記属性情報を生成する
請求項１に記載の情報処理装置。
【請求項５】
入力されたビデオストリームを複製する処理手段をさらに備え、
前記符号化手段は、複製元のビデオストリームと複製して得られたビデオストリームを前記符号化方式で符号化し、
前記生成手段は、前記基本ストリームと前記拡張ストリームを復号して得られたデータを用いて、前記基本ストリームを復号して得られた画像と前記拡張ストリームを復号して得られた画像を交互に表示する機能を表す前記属性情報を生成する
請求項１に記載の情報処理装置。
【請求項６】
前記符号化方式は、MVC規格の符号化方式である
請求項１に記載の情報処理装置。
【請求項７】
複数のビデオストリームを、所定のビデオストリームを基本のストリームとして符号化するとともに他のビデオストリームを前記所定のビデオストリームを参照して予測符号化することが可能な符号化方式で符号化し、前記所定のビデオストリームを符号化して得られた基本ストリームと、前記他のビデオストリームを符号化して得られた拡張ストリームを生成し、
前記基本ストリームと前記拡張ストリームを復号して得られたデータを用いて実現する機能の種類を表す属性情報を生成し、
前記基本ストリームと前記拡張ストリームを、前記属性情報と対応付けて出力する
ステップを含む情報処理方法。
【請求項８】
複数のビデオストリームを、所定のビデオストリームを基本のストリームとして符号化するとともに他のビデオストリームを前記所定のビデオストリームを参照して予測符号化することが可能な符号化方式で符号化し、前記所定のビデオストリームを符号化して得られた基本ストリームと、前記他のビデオストリームを符号化して得られた拡張ストリームを生成し、
前記基本ストリームと前記拡張ストリームを復号して得られたデータを用いて実現する機能の種類を表す属性情報を生成し、
前記基本ストリームと前記拡張ストリームを、前記属性情報と対応付けて出力する
ステップを含む処理をコンピュータに実行させるプログラム。
【請求項９】
複数のビデオストリームのうちの所定のビデオストリームを基本のストリームとして符号化するとともに他のビデオストリームを前記所定のビデオストリームを参照して予測符号化することが可能な符号化方式で、前記所定のビデオストリームを符号化して得られた基本ストリームと、前記他のビデオストリームを符号化して得られた拡張ストリームとを取得するとともに、前記基本ストリームと前記拡張ストリームを復号して得られたデータを用いて実現する機能の種類を表す属性情報を取得する取得手段と、
前記基本ストリームと前記拡張ストリームを復号する復号手段と、
前記基本ストリームと前記拡張ストリームを復号して得られた画像の表示方式を、前記属性情報により表される種類に応じて切り替える表示制御手段と
を備える再生装置。
【請求項１０】
前記基本ストリームと前記拡張ストリームは、左目用画像のストリームと右目用画像のストリームを前記符号化方式で符号化して得られたストリームであり、
前記表示制御手段は、前記基本ストリームと前記拡張ストリームを復号して得られたデータを用いて、左目用画像と右目用画像を交互に表示する
請求項９に記載の再生装置。
【請求項１１】
前記基本ストリームと前記拡張ストリームは、視点の異なる複数のビデオストリームを、前記他のビデオストリームについては基本のビデオストリームを参照しないで前記符号化方式で符号化して得られたストリームであり、
前記表示制御手段は、前記基本ストリームと前記拡張ストリームのうちのいずれかのストリームを復号して得られたデータを用いて、１つの視点の画像を表示する
請求項９に記載の再生装置。
【請求項１２】
前記基本ストリームと前記拡張ストリームは、入力されたビデオストリームの奇数フレームからなるストリームと偶数フレームからなるストリームを前記符号化方式で符号化して得られたストリームであり、
前記表示制御手段は、前記基本ストリームと前記拡張ストリームを復号して得られたデータを用いて、前記奇数フレームと前記偶数フレームを交互に、前記基本ストリームと前記拡張ストリームのフレームレートの２倍のフレームレートで表示する
請求項９に記載の再生装置。
【請求項１３】
前記基本ストリームと前記拡張ストリームは、入力されたビデオストリームと、そのビデオストリームを複製して得られたビデオストリームを前記符号化方式で符号化して得られたストリームであり、
前記表示制御手段は、前記基本ストリームと前記拡張ストリームを復号して得られたデータを用いて、前記基本ストリームを復号して得られた画像と前記拡張ストリームを復号して得られた画像を交互に表示する
請求項９に記載の再生装置。
【請求項１４】
前記符号化方式は、MVC規格の符号化方式である
請求項９に記載の再生装置。
【請求項１５】
複数のビデオストリームのうちの所定のビデオストリームを基本のストリームとして符号化するとともに他のビデオストリームを前記所定のビデオストリームを参照して予測符号化することが可能な符号化方式で、前記所定のビデオストリームを符号化して得られた基本ストリームと、前記他のビデオストリームを符号化して得られた拡張ストリームとを取得するとともに、前記基本ストリームと前記拡張ストリームを復号して得られたデータを用いて実現する機能の種類を表す属性情報を取得し、
前記基本ストリームと前記拡張ストリームを復号し、
前記基本ストリームと前記拡張ストリームを復号して得られた画像の表示方式を、前記属性情報により表される種類に応じて切り替える
ステップを含む再生方法。
【請求項１６】
複数のビデオストリームのうちの所定のビデオストリームを基本のストリームとして符号化するとともに他のビデオストリームを前記所定のビデオストリームを参照して予測符号化することが可能な符号化方式で、前記所定のビデオストリームを符号化して得られた基本ストリームと、前記他のビデオストリームを符号化して得られた拡張ストリームとを取得するとともに、前記基本ストリームと前記拡張ストリームを復号して得られたデータを用いて実現する機能の種類を表す属性情報を取得し、
前記基本ストリームと前記拡張ストリームを復号し、
前記基本ストリームと前記拡張ストリームを復号して得られた画像の表示方式を、前記属性情報により表される種類に応じて切り替える
ステップを含む処理をコンピュータに実行させるプログラム。
【図１】
【図２】
【図３】
【図４】
【図５】
【図６】
【図７】
【図８】
【図９】
【図１０】
【図１１】
【図１２】
【図１３】
【図２】
【図３】
【図４】
【図５】
【図６】
【図７】
【図８】
【図９】
【図１０】
【図１１】
【図１２】
【図１３】
【公開番号】特開２０１１−２１６９６５（Ｐ２０１１−２１６９６５Ａ）
【公開日】平成２３年１０月２７日（２０１１．１０．２７）
【国際特許分類】
【出願番号】特願２０１０−８０５２０（Ｐ２０１０−８０５２０）
【出願日】平成２２年３月３１日（２０１０．３．３１）
【出願人】（０００００２１８５）ソニー株式会社 (34,172)
【Ｆターム（参考）】
【公開日】平成２３年１０月２７日（２０１１．１０．２７）
【国際特許分類】
【出願日】平成２２年３月３１日（２０１０．３．３１）
【出願人】（０００００２１８５）ソニー株式会社 (34,172)
【Ｆターム（参考）】
[ Back to top ]