画像再生装置、画像再生方法及び画像再生用プログラム
【課題】既存のモノラル画像用の符号化装置を用いてステレオ画像を符号化する技術を提供する。
【解決手段】分離部１００は、視点が異なる第１の動画像と第２の動画像とを含むステレオ映像符号化ストリームを、第１の動画像と第２の動画像のそれぞれの復号の単位を含むアクセスユニットに分離する。モノラル映像符号変換部２００は、前記分離部１００が分離した第１の動画像と第２の動画像のそれぞれの復号の単位をモノラル映像の復号単位であるアクセスユニットに変換し、それらを直列に配置することによりモノラル映像符号化ストリームを生成する。映像分離部４００は、前記モノラル映像符号変換部２００で生成されたモノラル映像符号化ストリームをモノラル映像復号部３００が復号することにより、生成された第１の動画フレームと第２の動画フレームとが混在するモノラル映像を、第１の動画フレームと第２の動画フレームとのふたつの動画フレームに分離する。
【解決手段】分離部１００は、視点が異なる第１の動画像と第２の動画像とを含むステレオ映像符号化ストリームを、第１の動画像と第２の動画像のそれぞれの復号の単位を含むアクセスユニットに分離する。モノラル映像符号変換部２００は、前記分離部１００が分離した第１の動画像と第２の動画像のそれぞれの復号の単位をモノラル映像の復号単位であるアクセスユニットに変換し、それらを直列に配置することによりモノラル映像符号化ストリームを生成する。映像分離部４００は、前記モノラル映像符号変換部２００で生成されたモノラル映像符号化ストリームをモノラル映像復号部３００が復号することにより、生成された第１の動画フレームと第２の動画フレームとが混在するモノラル映像を、第１の動画フレームと第２の動画フレームとのふたつの動画フレームに分離する。
【発明の詳細な説明】
【技術分野】
【０００１】
本発明は、画像再生装置および画像再生方法に関し、とくに、モノラル映像の動き補償予測構造や符号化制御方法を用いてステレオ映像を効率よく符号化して復号し、再生する技術に関する。
【背景技術】
【０００２】
視聴者に立体画像を認識させることができるディスプレイやプロジェクタの開発が進められている。視聴者に立体画像を認識させるには、視差画像を表示または投写する必要がある。人間の両目は数ｃｍほど離れているため、右目と左目で得られる像には位置ずれがある。人間の脳はこの位置ずれを一つの手がかりとして奥行きを認識している。逆にいえば、この両目に写すべき像の位置ずれ量を調整することにより、脳に擬似的に奥行きを認識させることができる。視差画像は、左右方向に位置ずれを持つ右目用画像と左目用画像とで構成される。以下、本明細書では視差画像による動画像をステレオ映像と表記する。ステレオ映像は、たとえば、Ｈ．２６４／ＭＶＣ（Multiview Video Coding）に準拠して符号化することが可能である。
【０００３】
モノラル映像用の復号装置では左目用または右目用のいずれかの映像しか視聴できない。そこで、ステレオ映像専用の復号装置を導入したり（特許文献１参照）、ステレオ映像ストリームを２つのモノラル映像ストリームに分割したりして２つのモノラル映像用の復号装置で復号することで、ステレオ映像を視聴することも行われている。
【先行技術文献】
【特許文献】
【０００４】
【特許文献１】特開２００４−７２７８８号公報
【発明の概要】
【発明が解決しようとする課題】
【０００５】
一般的に復号装置は高価であるため、ステレオ映像専用の復号装置を導入したりモノラル映像用復号装置をふたつ導入したりすることは装置が高価となる原因となりうる。
【０００６】
本発明はこうした状況に鑑みなされたものであり、その目的は、既存のモノラル画像用の符号化装置を用いて、画質および符号化効率を維持しながらステレオ画像を符号化する技術を提供することにある。
【課題を解決するための手段】
【０００７】
上記目的を達成するため、本発明のある態様の画像再生装置は、視点が異なる第１の動画像と第２の動画像とを含むステレオ映像がステレオ映像符号化規格に準じて符号化され生成されたステレオ映像符号化ストリームを、第１の動画像と第２の動画像のそれぞれの復号の単位を含むアクセスユニットに分離する分離部と、モノラル映像符号化規格に準じて生成されたモノラル映像符号化ストリームを、モノラル映像の復号の単位であるアクセスユニット毎に参照ピクチャを用いて復号し、動画フレームを生成するモノラル映像復号部と、前記分離部が分離したアクセスユニットを、第１の動画像の復号の単位である第１アクセスユニットと、第２の動画像の復号の単位である第２のアクセスユニットとに分離し、第１及び第２のアクセスユニットに含まれるヘッダをモノラル映像符号化規格に準じたヘッダに変換することによって、第１及び第２のアクセスユニットをモノラル映像の復号単位であるアクセスユニットに変換し、変換された第１の動画像のアクセスユニットと第２の動画像のアクセスユニットとを直列に配置することによりモノラル映像符号化ストリームを生成するモノラル映像符号変換部と、前記モノラル映像符号変換部で生成されたモノラル映像符号化ストリームを前記モノラル映像復号部が復号することにより、第１の動画像のアクセスユニットから復号され生成された第１の動画フレームと第２の動画像のアクセスユニットから復号され生成された第２の動画フレームとが混在するモノラル映像を、第１の動画フレームと第２の動画フレームとのふたつの動画フレームに分離する映像分離部とを含む。
【０００８】
本発明の別の態様は画像再生方法である。この方法は、視点が異なる第１の動画像と第２の動画像とを含むステレオ映像がステレオ映像符号化規格に準じて符号化され生成されたステレオ映像符号化ストリームを、第１の動画像と第２の動画像のそれぞれの復号の単位を含むアクセスユニットに分離するステップと、分離されたアクセスユニットを、第１の動画像の復号の単位である第１アクセスユニットと、第２の動画像の復号の単位である第２のアクセスユニットとに分離し、第１及び第２のアクセスユニットに含まれるヘッダをモノラル映像符号化規格に準じたヘッダに変換することによって、第１及び第２のアクセスユニットをモノラル映像の復号単位であるアクセスユニットに変換し、変換された第１の動画像のアクセスユニットと第２の動画像のアクセスユニットとを直列に配置することによりモノラル映像符号化ストリームを生成するステップと、生成されたモノラル映像符号化ストリームをモノラル映像の復号の単位であるアクセスユニット毎に参照ピクチャを用いて復号することにより、第１の動画像のアクセスユニットから復号され生成された第１の動画フレームと第２の動画像のアクセスユニットから復号され生成された第２の動画フレームとが混在するモノラル映像を、第１の動画フレームと第２の動画フレームとのふたつの動画フレームに分離するステップとをプロセッサに実行させる。
【０００９】
なお、以上の構成要素の任意の組み合わせ、本発明の表現を方法、装置、システム、記録媒体、コンピュータプログラムなどの間で変換したものもまた、本発明の態様として有効である。
【発明の効果】
【００１０】
本発明によれば、既存のモノラル画像用の符号化装置を用いて、画質および符号化効率を維持しながらステレオ画像を符号化する技術を提供することができる。
【図面の簡単な説明】
【００１１】
【図１】インタービュー予測符号化を説明するための図である。
【図２】ＭＶＣ符号化方式で新規に追加されるＮＡＬの一覧を示した図である。
【図３】ＭＶＣ符号化方式の符号化および復号の一例を示した図である。
【図４】ＡＶＣ符号化方式の符号化および復号の別の例を示した図である。
【図５】ＡＶＣ符号化方式の符号化および復号のさらに別の例を示した図である。
【図６】実施の形態１に係る画像生成装置の内部構造を模式的に示した図である。
【図７】実施の形態１に係る画像再生装置の処理の流れを説明するフローチャートである。
【図８】実施の形態１に係るモノラル映像符号変換部の内部構造を模式的に示した図である。
【図９】ＡＶＣのアクセスユニットおよびＭＶＣのアクセスユニットを構造の一例を示した図である。
【図１０】ＮＡＬユニットの構造の一例を示した図である。
【図１１】デコード参照ピクチャマーキング情報を例示した図である。
【図１２】実施の形態１に係るモノラル映像符号変換部の処理の流れを説明するフローチャートである。
【図１３】モノラル映像符号変換部に入力されるＭＶＣアクセスユニットの一例を示した図である。
【図１４】実施の形態１に係る参照フレームメモリ情報管理部における図１３に示すＭＶＣアクセスユニットの管理を示した図である。
【図１５】実施の形態１に係る参照ピクチャリスト生成部の処理の流れを説明するフローチャートである。
【図１６】実施の形態１に係る参照ピクチャリスト生成部が図１４に示す情報をもとに生成した参照ピクチャリストを図示したものである。
【図１７】実施の形態２に係るモノラル映像符号変換部の内部構造を模式的に示した図である。
【図１８】ＭＰＥＧ−４ＭＶＣの拡張シンタックスを示した図である。
【図１９】実施の形態２に係るモノラル映像符号変換部の処理の流れを説明するフローチャートである。
【図２０】実施の形態２に係る参照フレームメモリ情報管理部における図１３に示すＭＶＣアクセスユニットの管理を示した図である。
【図２１】実施の形態２に係る参照ピクチャリスト生成部の処理の流れを説明するフローチャートである。
【図２２】実施の形態２に係る参照ピクチャリスト生成部が図２０に示す情報をもとに生成した参照ピクチャリストを図示したものである。
【発明を実施するための形態】
【００１２】
（前提技術）
実施の形態の前提となる技術について説明する。
【００１３】
現在、ＭＰＥＧ（Moving Picture Experts Group）などの符号化方式に準拠した装置およびシステムが普及している。そのような符号化方式では、時間軸上に連続する複数の画像をデジタル信号の情報として取り扱う。その際、効率の高い情報の放送、伝送または蓄積などを目的とし、時間方向の冗長性を利用した動き補償予測、および空間方向の冗長性を利用した離散コサイン変換などの直交変換を用いて圧縮符号化する。
【００１４】
１９９５年にはＭＰＥＧ−２ビデオ（ＩＳＯ／ＩＥＣ １３８１８−２）符号化方式が、汎用の動画像圧縮符号化方式として制定され、ＤＶＤ（Digital Versatile Disk）およびＤ−ＶＨＳ（登録商標）規格のデジタルＶＴＲによる磁気テープなどの蓄積メディア、ならびにデジタル放送などのアプリケーションとして広く用いられている。
【００１５】
さらに、２００３年に、国際標準化機構（ＩＳＯ）と国際電気標準会議（ＩＥＣ）のジョイント技術委員会（ＩＳＯ／ＩＥＣ）と、国際電気通信連合電気通信標準化部門（ＩＴＵ−Ｔ）の共同作業によってＭＰＥＧ−４ ＡＶＣ／Ｈ.２６４と呼ばれる符号化方式（ＩＳＯ／ＩＥＣでは１４４９６−１０、ＩＴＵ‐ＴではＨ.２６４の規格番号がつけられている。以下、これをＡＶＣ／Ｈ.２６４符号化方式と呼ぶ）が国際標準として制定された。
【００１６】
これらの符号化方式では、フレーム間予測符号化が用いられる。フレーム間予測符号化では、まず、１画面相当のデジタル画像データをいくつかの画素を含むブロック（たとえば、マクロブロック）に分割し、ブロック毎に画像間の動きを示す動きベクトルを検出する。つぎに、その動きベクトルを用いて動き補償と呼ばれる予測画像の生成を行い、得られた予測画像と符号化対象画像との差分値を符号化する。
【００１７】
この予測画像の生成方法によって、ピクチャはいくつかのタイプに分けられる。参照画像を持たず、画面内の予測のみを用いるものをＩピクチャと呼び、１枚の参照画像を用いて画面間予測符号化を行うものをＰピクチャと呼び、２枚の参照画像を用いて画面間予測符号化を行うものをＢピクチャと呼ぶ。
【００１８】
ＭＰＥＧ−２のＰピクチャでは、表示順序で直前のＩピクチャまたはＰピクチャのみから動き補償予測を行う。これに対して、ＡＶＣ／Ｈ.２６４では、複数のピクチャを参照ピクチャとして用いることができ、この中からブロック毎に最適なものを選択して動き補償を行うことができる。また、表示順序で先行するピクチャに加えて、既に符号化済みの表示順序で後続のピクチャも参照することができる。
【００１９】
また、ＭＰＥＧ−２のＢピクチャでは、表示順序で前方１枚の参照ピクチャ、後方１枚の参照ピクチャ、またはその２枚の参照ピクチャを平均化したピクチャを、予測ピクチャとし、対象ピクチャと予測ピクチャとの差分データを符号化することができる。これに対して、ＡＶＣ／Ｈ.２６４では、表示順序で前方１枚、後方１枚という制約にとらわれず、前方や後方に関係なく任意の参照ピクチャを予測のために参照することができる。さらに、Ｂピクチャを参照ピクチャとして参照することもできる。
【００２０】
このように、ＡＶＣ／Ｈ．２６４では任意に離れたピクチャを参照することが可能なため、復号した画像を参照フレームメモリに格納して管理する。
【００２１】
ＡＶＣ／Ｈ．２６４では、参照フレームメモリに格納されているピクチャを後述する方法で並べて参照ピクチャリストを作成し、その符号化ストリームにそのインデックスを記述することにより、参照ピクチャを指定している。ここで、「参照ピクチャリスト」とは、動き補償予測で利用する参照フレーム内の参照ピクチャを並び替えることのできるリストである。参照ピクチャリストを用いて参照ピクチャを利用頻度に応じて並び替えることで符号化効率を向上させることができる。
【００２２】
また、参照ピクチャリストはスライス毎に付加されるスライスヘッダ内で参照ピクチャリスト変更情報を送ることにより、上述したリストを並び替えることも可能である。
【００２３】
ところで、２眼式立体テレビジョンにおいては、２台のカメラにより異なる２方向から撮影された左目用画像および右目用画像を生成し、これを同一画面上に表示して立体画像を見せるようにしている。この場合、左目用画像および右目用画像はそれぞれ独立した画像として別個に伝送あるいは記録されることも多い。
【００２４】
その場合、単一の２次元画像の約２倍の情報量が必要となってしまう。そこで、左右いずれか一方の画像を主画像とし、他方の画像を副画像として、一般的な圧縮符号化方法によって圧縮して情報量を抑える手法が提案されている。たとえば、下記に説明するＭＶＣ符号化方式を用いて圧縮符号化する手法が提案されている。
【００２５】
１９９６年に単視点画像の符号化国際標準であるＭＰＥＧ−２ビデオ（ＩＳＯ／ＩＥＣ１４４９６−２）符号化方式に、マルチビュープロファイルと呼ばれるステレオ画像の符号化方式が追加された（ＩＳＯ／ＩＥＣ １４４９６−２／ＡＭＤ３）。さらに、２００８年には、ＭＰＥＧ−４ ＡＶＣ／Ｈ.２６４符号化方式（ＩＳＯ／ＩＥＣ １４４９６−１０・ＩＴＵ‐Ｔ Ｈ.２６４）のＡｎｎｅｘ Ｈ（付録Ｈ）として、多視点画像符号化（＝ＭＶＣ符号化方式）の最終勧告案が決定された。
【００２６】
ＭＶＣ符号化方式では、対象の画像を「ビュー」と呼び、複数の画像を扱うことが可能である。また、Ｈ．２６４／ＡＶＣ符号化方式とマクロブロック以下の処理が共通であり、さらにベースビューと呼ばれるＨ．２６４／ＡＶＣ符号化方式に準拠したビューが必ず含まれる。ＭＰＥＧ−４ＭＶＣのステレオ映像符号化においては同時刻の視点間予測だけが許されている。ＭＰＥＧ−４ＭＶＣにおける符号化の基本ツールは参照ピクチャリストを利用していることなど、ほとんどＭＰＥＧ−４ＡＶＣと共通であり、上位互換性があることを特徴としている。
【００２７】
ＭＶＣ符号化方式では、画像の予測効率を上げるために、Ｈ．２６４／ＡＶＣ符号化方式に加え、ビュー間のフレーム間予測符号化（以下、インタービュー予測符号化と表記する）を行うことができる。ビュー間には視差があるものの相関性があるため、視点間動き補償予測を効果的に利用することで予測効率を上げることができるからである。一般に、映像が緩やかに変化するような場合には視点内動き補償予測の方が視点間動き補償予測よりも予測効率が高く、映像が急激に変化するような場合には視点間動き補償予測の方が視点内動き補償予測よりも予測効率が高い。また、視点間動き補償予測の予測効率はベースレイヤのピクチャタイプにも依存している。一般的に、Ｉピクチャの場合が最も予測効率が高く、次にＰピクチャが高く、Ｂピクチャの順となる。
【００２８】
図１は、インタービュー予測符号化を説明するための図である。横軸が時間方向を示しており、一つの行が一つのビューに対応する。実線の矢印で示したものが時間方向のフレーム間予測符号化であり、点線の矢印で示したものがインタービュー予測符号化である。また、インタービュー予測符号化では、フレーム間予測符号化においては参照ピクチャに用いることができない非参照ピクチャも、参照ピクチャとして用いることができる。この参照ピクチャをインタービュー限定参照ピクチャと呼ぶ。
【００２９】
ＭＶＣ符号化方式では、インタービュー予測符号化を行うため、Ｈ．２６４／ＡＶＣ符号化方式で用いていた参照ピクチャリストに、インタービュー予測符号化用のピクチャを追加する。
【００３０】
ここで、インタービュー予測符号化に用いる参照ピクチャの並び順は、後述する新規に追加されたＮＡＬ（Network Abstraction Layer）のＳｕｂｓｅｔ ｓｅｑｕｅｎｃｅ ｐａｒａｍｅｔｅｒ ｓｅｔ（ＳｕｂｓｅｔＳＰＳ）内に記述される、ＭＶＣ用のシーケンスパラメータセット（ＳＰＳ）拡張データの中に記述される。ＭＶＣ符号化方式で用いる各種情報を記述するため、Ｈ．２６４／ＡＶＣ符号化方式で規定されているＮＡＬ（Network Abstraction Layer）に加え、新規にＮＡＬが追加される。図２は、ＭＶＣ符号化方式で新規に追加されるＮＡＬの一覧を示した図である。
【００３１】
図３は、ＭＶＣ符号化方式の符号化および復号の一例を示した図である。符号化側では第１符号部にて左目用映像をベースレイヤとして視点内動き補償予測だけを利用して符号化データ列に符号化し、第２符号部にて右目用映像をエンハンスメントレイヤとして視点内動き補償予測及び視点間動き補償予測を利用して符号化データ列に符号化し、多重部にて左目用符号化データ列と右目用符号化データ列を多重化している。復号側では分離部にて左目用符号化データ列と右目用符号化データ列に分離し、第１復号部にて左目用符号化データ列を復号して左目用映像を出力し、第１復号部にて右目用符号化データ列を復号して右目用映像を出力している。
【００３２】
図４は、ＡＶＣ符号化方式の符号化および復号の別の例を示した図である。ステレオ映像をそれぞれ左右に並べてモノラル映像とすることで、広く普及しているモノラル映像用の符号装置や復号装置を利用できる。ところが、図４に示す方式ではステレオ映像をそれぞれ水平方向に１画素間引くため、水平方向の解像度が低下する。また、視点間動き補償予測の中で一般的に最も効率の高い同時刻の視点間動き補償予測を利用することができない。
【００３３】
図５は、ＡＶＣ符号化方式の符号化および復号のさらに別の例を示した図である。ステレオ映像をそれぞれトップフィールドとボトムフィールドに割り当ててインタレースのモノラル映像とし、フィールド単位で動き補償予測を行うことで、広く普及しているインタレースのモノラル映像用の符号装置や復号装置を利用できる。ところが、図５に示す例ではプログレッシブのステレオ映像に対しては、左目用映像と右目用映像をそのまま各フィールドに割り当てればよいが、インタレースのステレオ映像に対しては一度ノンインタレース変換をした後に各フィールドに割り当てる必要がある。そのため、インタレースのステレオ映像の動解像度が低下する。
【００３４】
以上の前提技術を踏まえて、以下、本発明の実施の形態を詳細に説明する。以下、実施の形態では、左目用画像をベースレイヤとして時間方向の動き補償予測だけを利用して符号化し、右目用画像をエンハンスメントレイヤとして、時間方向の動き補償予測および視点間動き補償予測の両方を利用して符号化され、ステレオ映像が生成されている例を説明する。もちろん、右目用画像をベースレイヤ、左目用画像をエンハンスメントレイヤとしてステレオ映像が生成されていてもよい。
【００３５】
まず、実施の形態の概要を述べる。実施の形態は、Ｈ．２６４／ＭＶＣ符号化方式で符号化されているステレオ符号化ストリームを左目用のストリームのアクセスユニットと右目用のストリームのアクセスユニットとに分離し、それらのヘッダをＨ．２６４／ＡＶＣ符号化方式で規定されている形式に変換した後、それらを交互に配置してＨ．２６４／ＡＶＣ符号化方式のストリームに変換する。このストリームをＨ．２６４／ＡＶＣ符号化方式のストリーム用復号器で復号した後、左目用の動画フレームと右目用の動画フレームとに分離する。実施の形態１では、視点間予測にベースレイヤのＰピクチャのみを用いる。実施の形態２は、視点間予測にベースレイヤのＰピクチャのみならず、Ｂピクチャも用いる。
【００３６】
（実施の形態１）
図６は、実施の形態１に係る画像再生装置５００の内部構造を模式的に示した図である。画像再生装置５００は分離部１００、モノラル映像符号変換部２００、モノラル映像復号部３００、および映像分離部４００を含む。
【００３７】
分離部１００は、Ｂｌｕ-ｒａｙ Ｄｉｓｋ（登録商標）（以下、「ＢＤディスク」という。）５０からＭＰＥＧ−２ＴＳを読み出し、ＭＰＥＧ−４ＭＶＣを取り出し、左目用映像と右目用映像とのそれぞれの復号の単位を含むアクセスユニットに分離する。なお、分離部１００は、ＢＤディスク５０のみならず、図示しないＨＤＤ（Hard Disk Drive）やメモリ、ネットワークを介して取得することもできる。
【００３８】
モノラル映像符号変換部２００は、分離部１００からＭＰＥＧ−４ＭＶＣを取得し、それを左目用映像と右目用映像とが混在するＭＰＥＧ−４ＡＶＣストリームに変換する。変換方法の詳細については後述する。
【００３９】
モノラル映像復号部３００は、モノラル映像符号変換部２００から取得したＭＰＥＧ−４ＡＶＣストリームを復号する。モノラル映像復号部３００は、標準的なＭＰＥＧ−４ＡＶＣの復号器を用いて実現できる。
【００４０】
映像分離部４００は、モノラル映像復号部３００から取得した再生映像を左目用映像と右目用映像とに分離し、分離した左目用映像と右目用映像とを同期して出力する。
【００４１】
図７は、実施の形態１に係る画像再生装置５００の処理の流れを説明するフローチャートである。本フローチャートにおける処理は、画像再生装置５００が起動したときに開始する。
【００４２】
分離部１００は、ＢＤディスク５０からＭＰＥＧ−２ＴＳを読み出し、ＭＰＥＧ−４ＭＶＣストリームを分離して取り出す（Ｓ２０００）。モノラル映像符号変換部２００は、分離部１００から取得したＭＰＥＧ−４ＭＶＣストリームをＭＰＥＧ−４ＡＶＣストリームに変換する（Ｓ２１００）。モノラル映像復号部３００は、モノラル映像符号変換部２００から送られたＭＰＥＧ−４ＡＶＣストリームを復号する（Ｓ２２００）。映像分離部４００は、モノラル映像復号部３００から取得した再生映像を左目用映像と右目用映像に分離し（Ｓ２３００）、分離した左目用映像と右目用映像を同期させて出力する（Ｓ２４００）。
【００４３】
画像再生装置５００は、ＭＰＥＧ−４ＭＶＣの再生中は上記のステップを繰り返す。ＭＰＥＧ−４ＭＶＣの再生が終了すると、本フローチャートにおける処理は終了する。
【００４４】
図８は、実施の形態１に係るモノラル映像符号変換部２００の内部構造を模式的に示した図である。モノラル映像符号変換部２００は、アクセスユニット分離部２１０、ベースレイヤ変換部２２０、エンハンスメントレイヤ変換部２３０、参照フレームメモリ管理部２４０、参照ピクチャリスト生成部２５０、およびアクセスユニット多重部２６０を含む。
【００４５】
アクセスユニット分離部２１０は、ベースレイヤである左目用映像の復号の単位である第１アクセスユニットと、エンハンスレイヤである右目用映像の復号の単位である第２アクセスユニットとに分離する。具体的には、ＭＰＥＧ−４ＭＶＣストリームからＭＶＣアクセスユニットを取り出し、ＭＶＣアクセスユニットをベースレイヤアクセスユニットとエンハンスメントレイヤアクセスユニットとに分離する。
【００４６】
ここで、アクセスユニットについて説明する。図９は、ＡＶＣのアクセスユニットおよびＭＶＣのアクセスユニットを構造の一例を示した図である。また、図１０は、ＮＡＬユニットの構造の一例を示した図である。
【００４７】
ＡＶＣアクセスユニットはモノラル映像符号化であるため１つのアクセスユニットで構成され、ステレオ映像符号化ではベースレイヤとエンハンスメントレイヤの２つのアクセスユニットで構成される。図９に示すヘッダ部の並びは一例であってＭＰＥＧ−４ＡＶＣやＭＰＥＧ−４ＭＶＣ規格に準じていればどのような並びになっていてもよい。なお、ＡＵＤ（Access Unit Delimiter）、ＳＰＳ（Sequence Parameter Set）、ＰＰＳ（Picture Parameter Set）、ＳＥＩ（Supplemental Enhancement Information）、ＳＨ（Slice Header）、ＳＤ（Slice Data）はそれぞれ図１０に示すＮＡＬユニット内のデータ部（rbsp_byte）に格納されており、ＮＡＬユニットのＮＡＬタイプ（nal_unit_type）を見ることで、ベースレイヤアクセスユニットとエンハンスメントレイヤアクセスユニットとを分離することができる。
【００４８】
図８の説明に戻る。ベースレイヤ変換部２２０は、アクセスユニット分離部２１０から取得したベースレイヤアクセスユニットのヘッダ部を解析し、ヘッダ部に含まれるＮＡＬヘッダからＮＡＬ参照情報（nal_ref_idc）とＳＨからデコード参照ピクチャマーキング情報（dec_ref_pic_marking( )）を抽出して参照フレームメモリ管理部２４０に出力する。図１１は、デコード参照ピクチャマーキング情報を例示した図である。
【００４９】
ベースレイヤ変換部２２０はまた、後述する参照ピクチャリスト生成部２５０から取得した参照ピクチャリストをもとにＳＨを変更し、ＰＦ（Prefix NAL）がある場合には削除することで、ベースレイヤアクセスユニットをＡＶＣアクセスユニットに変換する。
【００５０】
参照フレームメモリ管理部２４０は、ベースレイヤ変換部２２０から取得したＮＡＬ参照情報と参照ピクチャマーキング情報とをもとに、参照フレームメモリ内の参照ピクチャ順序を管理し、ＮＡＬ参照情報、参照ピクチャ順序情報とレイヤ情報を参照ピクチャリスト生成部２５０に出力する。
【００５１】
なお、参照フレームメモリ管理部２４０は参照フレームメモリ内の参照ピクチャ順序を保持するだけであり、実際の参照フレームは保持しない。またレイヤ情報は、ＮＡＬ参照情報と参照ピクチャマーキング情報がベースレイヤ変換部２２０から送られた場合にはベースレイヤとなる。参照フレームメモリの管理方法についてはＭＰＥＧ−４ＭＶＣの規格ではなく、ＭＰＥＧ−４ＡＶＣの規格に従う。参照フレームメモリの管理方法については本実施の形態の主眼ではないため、ここでは詳細な説明はしない。
【００５２】
参照ピクチャリスト生成部２５０は、参照フレームメモリ管理部２４０から取得したＮＡＬ参照情報、参照ピクチャ順序情報とレイヤ情報とをもとに参照ピクチャリストを生成する。参照ピクチャリスト生成部２５０の詳細な動作については後述する。
【００５３】
エンハンスメントレイヤ変換部２３０は、アクセスユニット分離部２１０から取得したエンハンスメントレイヤアクセスユニットのヘッダ部を解析し、ＮＡＬヘッダからＮＡＬ参照情報（nal_ref_idc）とＳＨからデコード参照ピクチャマーキング情報（dec_ref_pic_marking( )）を抽出して参照フレームメモリ管理部２４０に出力する。
【００５４】
エンハンスメントレイヤ変換部２３０はまた、参照ピクチャリスト生成部２５０より送られた参照ピクチャリストに基づいてＳＨを変更し、ｅＳＰＳを削除し、ＳＤのＮＡＬヘッダのＮＡＬタイプを２０から１に変更することで、エンハンスメントレイヤアクセスユニットをＡＶＣアクセスユニットに変換し、ＡＶＣアクセスユニットをアクセスユニット多重部２６０に出力する。
【００５５】
参照フレームメモリ管理部２４０は、エンハンスメントレイヤ変換部２３０から取得したＮＡＬ参照情報と参照ピクチャマーキング情報をもとに、参照フレームメモリ内の参照ピクチャ順序を管理し、ＮＡＬ参照情報、参照ピクチャ順序情報とレイヤ情報を参照ピクチャリスト生成部２５０に出力する。ここでレイヤ情報は、ＮＡＬ参照情報と参照ピクチャマーキング情報がエンハンスメントレイヤ変換部２３０から取得した場合にはエンハンスメントレイヤとなる。
【００５６】
アクセスユニット多重部２６０は、ベースレイヤ変換部２２０から取得したＡＶＣアクセスユニットとエンハンスメントレイヤ変換部２３０から取得したＡＶＣアクセスユニットとを交互に並べて、ＭＰＥＧ−４ＡＶＣストリームを構成してモノラル映像復号部３００に出力する。
【００５７】
図１２は、実施の形態１に係るモノラル映像符号変換部２００の処理の流れを説明するフローチャートであり、図７におけるステップＳ２１００を詳細に説明する図である。
【００５８】
アクセスユニット分離部２１０は、ベースレイヤである左目用映像の復号の単位である第１アクセスユニットと、エンハンスレイヤである右目用映像の復号の単位である第２アクセスユニットとに分離する（Ｓ３０００）。
【００５９】
ベースレイヤ変換部２２０は、アクセスユニット分離部２１０から取得したベースレイヤアクセスユニットのヘッダ部を解析しベースレイヤの参照情報を取得する（Ｓ３０２０）。
【００６０】
参照フレームメモリ管理部２４０は、ベースレイヤ変換部２２０から取得したＮＡＬ参照情報と参照ピクチャマーキング情報をもとに、参照フレームメモリ内の参照ピクチャ順序を管理する（Ｓ３０３０）。
【００６１】
参照ピクチャリスト生成部２５０は、参照フレームメモリ管理部２４０から取得したＮＡＬ参照情報、参照ピクチャ順序情報とレイヤ情報をもとにベースレイヤの参照ピクチャリストを生成する（Ｓ３０４０）。
【００６２】
ベースレイヤ変換部２２０は、参照ピクチャリスト生成部２５０から取得した参照ピクチャリストをもとにＳＨを変更し、ＰＦがある場合には削除することで、ベースレイヤアクセスユニットをＡＶＣアクセスユニットに変換する（Ｓ３０５０）。その後、ベースレイヤ変換部２２０はＡＶＣアクセスユニットをアクセスユニット多重部２６０に出力する（Ｓ３０６０）。
【００６３】
エンハンスメントレイヤ変換部２３０は、アクセスユニット分離部２１０から取得したエンハンスメントレイヤアクセスユニットのヘッダ部を解析してＮＡＬヘッダからＮＡＬ参照情報とＳＨからデコード参照ピクチャマーキング情報とを抽出して取得する（Ｓ３０７０）。
【００６４】
参照フレームメモリ管理部２４０は、エンハンスメントレイヤ変換部２３０から取得したＮＡＬ参照情報と参照ピクチャマーキング情報とをもとに、参照フレームメモリ内の参照ピクチャ順序を管理する（Ｓ３０８０）。
【００６５】
参照ピクチャリスト生成部２５０は、参照フレームメモリ管理部２４０から取得したＮＡＬ参照情報、参照ピクチャ順序情報とレイヤ情報をもとにエンハンスメントレイヤの参照ピクチャリストを生成する（Ｓ３０９０）。
【００６６】
エンハンスメントレイヤ変換部２３０は、参照ピクチャリスト生成部２５０から取得した参照ピクチャリストに基づいてＳＨを変更し、ｅＳＰＳを削除し、ＳＤのＮＡＬヘッダのＮＡＬタイプを２０から１に変更することで、エンハンスメントレイヤアクセスユニットをＡＶＣアクセスユニットに変換する（Ｓ３１００）。その後、エンハンスメントレイヤ変換部２３０はＡＶＣアクセスユニットをアクセスユニット多重部２６０に出力する（Ｓ３１１０）。
【００６７】
アクセスユニット多重部２６０は、ＭＰＥＧ−４ＡＶＣストリームを構成するために、ベースレイヤ変換部２２０から取得したＡＶＣアクセスユニットとエンハンスメントレイヤ変換部２３０から取得したＡＶＣアクセスユニットを交互に並べて多重化する（Ｓ３１２０）。
【００６８】
以下、参照ピクチャリスト生成部２５０の詳細な動作について図を用いて説明する。
【００６９】
図１３は、モノラル映像符号変換部２００に入力されるＭＶＣアクセスユニットの一例を示した図である。図１３は、ＭＶＣアクセスユニットがＡＵ０、ＡＵ１、ＡＵ２、・・・の順に入力される場合を図示している。
【００７０】
アクセスユニット分離部２１０は、１番目のＭＶＣアクセスユニットＡＵ０を、ベースレイヤベースレイヤアクセスユニットＢＰ０とエンハンスメントレイヤアクセスユニットＥＰ０とに分離する。続いてアクセスユニット分離部２１０は、ＢＰ０をベースレイヤ変換部２２０に出力し、ＥＰ０をエンハンスメントレイヤ変換部２３０に出力する。２番目以降のアクセスユニットＡＵ１、ＡＵ２、・・・についても同様であり、アクセスユニット分離部２１０はベースレイヤベースレイヤアクセスユニットとエンハンスメントレイヤアクセスユニットＥＰ０とに分離し、それぞれベースレイヤ変換部２２０とエンハンスメントレイヤ変換部２３０とに出力する。なお、図１３において、例えば１番目のベースレイヤアクセスユニットＢＰ０がＢＰ０（１，Ｉ）のように括弧付きで表記されているが、これは括弧内の１番目の数値がＮＡＬ参照情報を、２番目の文字がピクチャタイプを示している。
【００７１】
実施の形態１では、視点間予測にベースレイヤのＰピクチャのみを用いる。図１４は、参照フレームメモリ管理部２４０における図１３に示すＭＶＣアクセスユニットの管理を示した図である。より具体的には、ベースレイヤ変換部２２０とエンハンスメントレイヤ変換部２３０とから取得したＡＶＣアクセスユニットの管理情報を示した図である。
【００７２】
図１４は、参照フレームメモリ管理部２４０にＢＰ０が入力されたときには参照フレームメモリ内にＡＶＣアクセスユニットが存在せず、ＥＰ０が入力されたときには参照フレームメモリの０番目にＢＰ０が存在し、ＢＰ１が入力されたときには参照フレームメモリの０番目にＥＰ０が存在し、１番目にＢＰ０が存在していることを示している。ここで、例えばＢＰ１やＥＰ１はＢピクチャであるから、他のピクチャから参照されることはない。そのため、参照フレームメモリ内には格納されない。
【００７３】
図１５は、参照ピクチャリスト生成部２５０の処理の流れを説明するフローチャートである。参照ピクチャリスト生成部２５０は、参照フレームメモリ管理部２４０から取得したレイヤ情報がベースレイヤの場合（Ｓ４０００Ｙ）、参照フレームメモリの奇数番目を、フレームメモリ番号の小さい順に参照ピクチャリストに追加する（Ｓ４１００）。
【００７４】
参照フレームメモリ管理部２４０から取得したレイヤ情報がベースレイヤでない場合（Ｓ４０００Ｎ）、参照ピクチャリスト生成部２５０は参照フレームメモリ管理部２４０から取得したＮＡＬ参照情報を調べる。ＮＡＬ参照情報が１以上の場合（Ｓ４２００Ｙ）、参照ピクチャリスト生成部２５０は参照フレームメモリの奇数番目をフレームメモリ番号の小さい順に参照ピクチャリストに追加する（Ｓ４３００）。その後、参照ピクチャリスト生成部２５０は参照フレームメモリの０番目を参照ピクチャリストの最後尾に追加する（Ｓ４４００）。
【００７５】
ＮＡＬ参照情報が１未満の場合（Ｓ４２００Ｎ）、参照ピクチャリスト生成部２５０は参照フレームメモリの偶数番目をフレームメモリ番号の小さい順に参照ピクチャリストに追加する（Ｓ４５００）。
【００７６】
図１６は、参照ピクチャリスト生成部２５０が図１５に示すフローチャートに基づいて、図１４に示す情報をもとに生成した参照ピクチャリストを図示したものである。
【００７７】
以上の構成による動作は以下のとおりである。ユーザは実施の形態に係る画像再生装置５００を用いてステレオ映像であるＭＰＥＧ−４ＭＶＣストリームの視聴を開始すると、分離部１００がＭＰＥＧ−４ＭＶＣアクセスユニットをベースレイヤアクセスユニットとエンハンスメントレイヤアクセスユニットに分離し、モノラル映像符号変換部２００が、ＮＡＬ参照情報と参照ピクチャマーキング情報を用いて参照ピクチャリストを生成し、ＭＰＥＧ−４ＭＶＣストリームを参照ピクチャリストを含む１つのＭＰＥＧ−４ＡＶＣストリームに変換する。変換されたＭＰＥＧ−４ＡＶＣストリームを従来のＭＰＥＧ−４ＡＶＣ用の復号器であるモノラル映像復号部３００が復号し、映像分離部４００が左目用映像と右目用映像を分離することで、ステレオ映像を視聴することができる。
【００７８】
以上説明したとおり、実施の形態１によれば、既存のモノラル画像用の符号化装置を用いて、画質および符号化効率を維持しながらステレオ画像を符号化する技術を提供することができる。
【００７９】
（実施の形態２）
実施の形態２について説明する。実施の形態１と実施の形態２との相違は、実施の形態１では、視点間予測にベースレイヤのＰピクチャのみを用いるのに対し、実施の形態２は、視点間予測にベースレイヤのＰピクチャのみならず、Ｂピクチャも用いる点である。以下、実施の形態１と重複する説明については適宜省略する。
【００８０】
図１７は、実施の形態２に係るモノラル映像符号変換部２００の内部構造を模式的に示した図である。モノラル映像符号変換部２００は、アクセスユニット分離部２１０、ベースレイヤ変換部２２１、エンハンスメントレイヤ変換部２３１、参照フレームメモリ情報管理部２４１、参照ピクチャリスト生成部２５１、およびアクセスユニット多重部２６０を含む。ここで、アクセスユニット分離部２１０とアクセスユニット多重部２６０とは実施形態１と同様である。そこで、以下、ベースレイヤ変換部２２１、エンハンスメントレイヤ変換部２３１、参照フレームメモリ情報管理部２４１、参照ピクチャリスト生成部２５１を中心に説明する。
【００８１】
エンハンスメントレイヤ変換部２３１は、アクセスユニット分離部２１０から取得したエンハンスメントレイヤアクセスユニットのヘッダ部を解析してｓＳＰＳからＳＰＳＭＶＣ拡張に含まれるnum_non_anchor_refs_l0[1 ]とnum_non_anchor_refs_l1[1 ]を抽出し、num_non_anchor_refs_l0[1 ]とnum_non_anchor_refs_l1[1 ]がともに０の場合はＢピクチャ視点間予測利用情報を０に、それ以外の場合はＢピクチャ視点間予測利用情報を１とし、Ｂピクチャ視点間予測利用情報をベースレイヤ変換部２２１に出力する。なお、図１８は、ＭＰＥＧ−４ＭＶＣの拡張シンタックスを示した図である。
【００８２】
ベースレイヤ変換部２２１は、アクセスユニット分離部２１０から取得したベースレイヤアクセスユニットのヘッダ部を解析してＮＡＬヘッダからＮＡＬ参照情報、ＳＨからデコード参照ピクチャマーキング情報を抽出し、参照フレームメモリ情報管理部２４１に出力する。
【００８３】
ベースレイヤ変換部２２１はまた、ヘッダ部を解析してＡＵＤからピクチャタイプ（primary_pic_type）を抽出し、エンハンスメントレイヤ変換部２３０から取得したＢピクチャ視点間予測利用情報が１であり、かつピクチャタイプがＢピクチャである場合には、ＮＡＬ参照情報を強制的に１とし、強制変更フラグを１にする。ピクチャタイプがＢピクチャ以外の場合には、ＮＡＬ参照情報は変更せず、強制変更フラグを０にする。ベースレイヤ変換部２２１は、強制変更フラグを参照フレームメモリ情報管理部２４１に出力する。なお、Ｂピクチャ視点間予測利用情報が０である場合は実施の形態１となるため、説明を省略する。
【００８４】
ベースレイヤ変換部２２１はさらに、後述する参照ピクチャリスト生成部２５１から取得した参照ピクチャリストをもとにＳＨを変更し、ＰＦがある場合には削除することで、ベースレイヤアクセスユニットをＡＶＣアクセスユニットに変換し、ＡＶＣアクセスユニットをアクセスユニット多重部２６０に出力する。
【００８５】
参照フレームメモリ情報管理部２４１は、ベースレイヤ変換部２２１から取得したＮＡＬ参照情報と参照ピクチャマーキング情報とをもとに、参照フレームメモリ内の参照ピクチャ順序を管理し、ＮＡＬ参照情報、参照ピクチャ順序情報、レイヤ情報、強制変更フラグを参照ピクチャリスト生成部２５１に出力する。なお、参照フレームメモリ情報管理部２４１は強制変更フラグを参照フレームメモリ内の参照ピクチャ順序と関連付けて管理する。
【００８６】
参照ピクチャリスト生成部２５１は、参照フレームメモリ情報管理部２４１から取得したＮＡＬ参照情報、参照ピクチャ順序情報、レイヤ情報、強制変更フラグをもちに参照ピクチャリストを生成してベースレイヤ変換部２２１に出力する。なお、参照ピクチャリスト生成部２５１の詳細な動作については後述する。
【００８７】
エンハンスメントレイヤ変換部２３１は、アクセスユニット分離部２１０から取得したエンハンスメントレイヤアクセスユニットのヘッダ部を解析してＮＡＬヘッダからＮＡＬ参照情報とＳＨからデコード参照ピクチャマーキング情報を抽出し、参照フレームメモリ情報管理部２４１に出力する。
【００８８】
エンハンスメントレイヤ変換部２３１はまた、参照ピクチャリスト生成部２５１から取得した参照ピクチャリストをもとにＳＨを変更し、ｅＳＰＳを削除し、ＳＤのＮＡＬヘッダのＮＡＬタイプを２０から１に変更することで、エンハンスメントレイヤアクセスユニットをＡＶＣアクセスユニットに変換し、ＡＶＣアクセスユニットをアクセスユニット多重部２６０に出力する。
【００８９】
参照フレームメモリ情報管理部２４１は、エンハンスメントレイヤ変換部２３１から送られたＮＡＬ参照情報と参照ピクチャマーキング情報とをもとに、参照フレームメモリ内の参照ピクチャ順序を管理し、ＮＡＬ参照情報、参照ピクチャ順序情報、レイヤ情報、強制変更フラグを参照ピクチャリスト生成部２５１に出力する。
【００９０】
参照ピクチャリスト生成部２５１は、参照フレームメモリ情報管理部２４１から取得した強制変更フラグ、ＮＡＬ参照情報、参照ピクチャ順序情報、レイヤ情報、強制変更フラグに基づいて参照ピクチャリストを生成し、エンハンスメントレイヤ変換部２３１に出力する。
【００９１】
図１９は、実施の形態２に係るモノラル映像符号変換部２００の処理の流れを説明するフローチャートである。
【００９２】
アクセスユニット分離部２１０は、ＭＰＥＧ−４ＭＶＣストリームからＭＶＣアクセスユニットを取り出し、ＭＶＣアクセスユニットをベースレイヤアクセスユニットとエンハンスメントレイヤアクセスユニットとに分離する（Ｓ５０００）。
【００９３】
エンハンスメントレイヤ変換部２３１は、アクセスユニット分離部２１０から取得したエンハンスメントレイヤアクセスユニットのヘッダ部を解析してｓＳＰＳからＳＰＳＭＶＣ拡張に含まれる視点間予測利用情報を取得する（Ｓ５０１０）。
【００９４】
ベースレイヤ変換部２２１は、アクセスユニット分離部２１０から取得したベースレイヤアクセスユニットのヘッダ部を解析してＮＡＬヘッダからＮＡＬ参照情報、ＳＨからデコード参照ピクチャマーキング情報を取得する（Ｓ５０２０）。
【００９５】
ベースレイヤ変換部２２１は、ヘッダ部を解析してＡＵＤからピクチャタイプを抽出し、エンハンスメントレイヤ変換部２３０から取得したＢピクチャ視点間予測利用情報をもとに強制変更フラグを設定する（Ｓ５０３０）。
【００９６】
参照フレームメモリ情報管理部２４１は、ベースレイヤ変換部２２１から取得したＮＡＬ参照情報と参照ピクチャマーキング情報とをもとに、参照フレームメモリ内の参照ピクチャ順序を管理する（ステップＳ５０４０）。
【００９７】
参照ピクチャリスト生成部２５１は、参照フレームメモリ情報管理部２４１から取得したＮＡＬ参照情報、参照ピクチャ順序情報、レイヤ情報、強制変更フラグをもとにベースレイヤの参照ピクチャリストを生成する（ステップＳ５０５０）。
【００９８】
ベースレイヤ変換部２２１は、参照ピクチャリスト生成部２５１から取得した参照ピクチャリストをもとにＳＨを変更し、ＰＦがある場合には削除することで、ベースレイヤアクセスユニットをＡＶＣアクセスユニットに変換する（Ｓ５０６０）。また、ベースレイヤ変換部２２１はアクセスユニット多重部２６０にＡＶＣアクセスユニットを出力する（Ｓ５０７０）。
【００９９】
エンハンスメントレイヤ変換部２３１は、アクセスユニット分離部２１０から取得したエンハンスメントレイヤアクセスユニットのヘッダ部を解析してＮＡＬヘッダからＮＡＬ参照情報とＳＨからデコード参照ピクチャマーキング情報を取得する（Ｓ５０８０）。
【０１００】
参照フレームメモリ情報管理部２４１は、エンハンスメントレイヤ変換部２３１から取得したＮＡＬ参照情報と参照ピクチャマーキング情報とをもとに、参照フレームメモリ内の参照ピクチャ順序を管理する（Ｓ５０９０）。
【０１０１】
参照ピクチャリスト生成部２５１は、参照フレームメモリ情報管理部２４１から取得した強制変更フラグ、ＮＡＬ参照情報、参照ピクチャ順序情報、レイヤ情報、強制変更フラグをもとにエンハンスメントレイヤの参照ピクチャリストを生成する（Ｓ５１００）。
【０１０２】
エンハンスメントレイヤ変換部２３１は、参照ピクチャリスト生成部２５１から取得した参照ピクチャリストをもとにＳＨを変更し、ｅＳＰＳを削除し、ＳＤのＮＡＬヘッダのＮＡＬタイプを２０から１に変更することで、エンハンスメントレイヤアクセスユニットをＡＶＣアクセスユニットに変換する（Ｓ５１１０）。また、エンハンスメントレイヤ変換部２３１はアクセスユニット多重部２６０にＡＶＣアクセスユニットを出力する（Ｓ５１２０）。
【０１０３】
アクセスユニット多重部２６０は、ＭＰＥＧ−４ＡＶＣストリームを構成するために、ベースレイヤ変換部２２１から送られたＡＶＣアクセスユニットとエンハンスメントレイヤ変換部２３１から送られたＡＶＣアクセスユニットを交互に並べて多重化する（Ｓ５１３０）。
【０１０４】
以下、参照ピクチャリスト生成部２５１の詳細な動作について図を用いて説明する。実施の形態１と同様に、図１３に示すＭＶＣアクセスユニットがモノラル映像符号変換部２００に入力される場合について説明する。
【０１０５】
実施の形態２では、視点間予測にベースレイヤのＰピクチャとＢピクチャとの両方を用いる。図２０は、参照フレームメモリ情報管理部２４１における図１３に示すＭＶＣアクセスユニットの管理を示した図である。より具体的には、ベースレイヤ変換部２２１とエンハンスメントレイヤ変換部２３１とから取得したＡＶＣアクセスユニットの管理情報を示した図である。
【０１０６】
実施の形態１の場合と異なり、実施の形態２では、視点間予測にベースレイヤのＢピクチャも用いる。このため、例えばＢＰ１のように実施の形態１では参照フレームメモリに格納されなかったアクセスユニットも、実施の形態２では参照フレームメモリに格納される。図２０において、末尾に「Ｒ」が付されたアクセスユニットは、強制変更フラグが「１」に変更されたアクセスユニットであることを示す。
【０１０７】
図２１は、参照ピクチャリスト生成部２５１の処理の流れを説明するフローチャートである
【０１０８】
参照ピクチャリスト生成部２５１は、参照フレームメモリから強制変更フラグが１である参照ピクチャを一時的に消去する（Ｓ６０００）。参照ピクチャリスト生成部２５１は、参照フレームメモリ管理部２４０から取得したレイヤ情報がベースレイヤの場合（Ｓ６０１０Ｙ）、参照フレームメモリの奇数番目を、フレームメモリ番号の小さい順に参照ピクチャリストに追加する（Ｓ６０２０）。続いて、参照ピクチャリスト生成部２５１は参照フレームメモリから一時的に消去した参照ピクチャを参照フレームメモリに戻す（Ｓ６０３０）。
【０１０９】
参照ピクチャリスト生成部２５１は、参照フレームメモリ管理部２４０から取得したレイヤ情報がベースレイヤでない場合（Ｓ６０１０Ｎ）、参照ピクチャリスト生成部２５１は参照フレームメモリ情報管理部２４１から取得した強制変更フラグを調べる。強制変更フラグの情報が０の場合（Ｓ６０４０Ｙ）、参照ピクチャリスト生成部２５１は参照フレームメモリの奇数番目を番号の小さい順に参照ピクチャリストに追加する（Ｓ６０５０）。強制変更フラグの情報が０でない場合（Ｓ６０４０Ｎ）、参照ピクチャリスト生成部２５１は参照フレームメモリの偶数番目を番号の小さい順に参照ピクチャリストに追加する（Ｓ６０６０）。
【０１１０】
参照ピクチャリスト生成部２５１は、参照フレームメモリから一時的に消去した参照ピクチャを参照フレームメモリに戻す（Ｓ６０７０）。その後、参照ピクチャリスト生成部２５１は参照フレームメモリの０番目を参照ピクチャリストの最後尾に追加する（Ｓ６０８０）。
【０１１１】
図２２は、参照ピクチャリスト生成部２５１が図２１に示すフローチャートに基づいて、図２０に示す情報をもとに生成した参照ピクチャリストを図示したものである。実施の形態２では、フレーム間予測符号化においては参照ピクチャに用いることができない非参照ピクチャであるベースレイヤのＢピクチャも、インタービュー限定参照ピクチャとして用いる。このため、図２２に示すように、ベースレイヤのＢピクチャも参照ピクチャリストに格納される。
【０１１２】
以上の構成による動作は以下のとおりである。ユーザは実施の形態に係る画像再生装置５００を用いてステレオ映像であるＭＰＥＧ−４ＭＶＣストリームの視聴を開始すると、分離部１００がＭＰＥＧ−４ＭＶＣアクセスユニットをベースレイヤアクセスユニットとエンハンスメントレイヤアクセスユニットに分離し、モノラル映像符号変換部２００が、ＮＡＬ参照情報と参照ピクチャマーキング情報を用いて参照ピクチャリストを生成し、ＭＰＥＧ−４ＭＶＣストリームを参照ピクチャリストを含む１つのＭＰＥＧ−４ＡＶＣストリームに変換する。変換されたＭＰＥＧ−４ＡＶＣストリームを従来のＭＰＥＧ−４ＡＶＣ用の復号器であるモノラル映像復号部３００が復号し、映像分離部４００が左目用映像と右目用映像を分離することで、ステレオ映像を視聴することができる。
【０１１３】
以上説明したとおり、実施の形態２によれば、既存のモノラル画像用の符号化装置を用いて、画質および符号化効率を維持しながらステレオ画像を符号化する技術を提供することができる。特に、Ｂピクチャで視点間予測を利用した高画質なステレオ映像を視聴可能な技術を提供することができる点で有利である。
【０１１４】
以上の画像再生に関する処理は、ハードウェアを用いた蓄積、受信装置として実現することができるのは勿論のこと、ＲＯＭ（リード・オンリ・メモリ）やフラッシュメモリ等に記憶されているファームウェアや、コンピュータ等のソフトウェアによっても実現することができる。そのファームウェアプログラム、ソフトウェアプログラムをコンピュータ等で読み取り可能な記録媒体に記録して提供することも、有線あるいは無線のネットワークを通してサーバから提供することも、地上波あるいは衛星ディジタル放送のデータ放送として提供することも可能である。
【０１１５】
以上、本発明を実施の形態をもとに説明した。この実施の形態は例示であり、それらの各構成要素や各処理プロセスの組み合わせにいろいろな変形例が可能なこと、またそうした変形例も本発明の範囲にあることは当業者に理解されるところである。
【符号の説明】
【０１１６】
１００ 分離部、 ２００ モノラル映像符号変換部、 ２１０ アクセスユニット分離部、 ２２０，２２１ ベースレイヤ変換部、 ２３０，２３１ エンハンスメントレイヤ変換部、 ２４０ 参照フレームメモリ管理部、 ２４１ 参照フレームメモリ情報管理部、 ２５０，２５１ 参照ピクチャリスト生成部、 ２６０ アクセスユニット多重部、 ３００ モノラル映像復号部、 ４００ 映像分離部、 ５００ 画像再生装置。
【技術分野】
【０００１】
本発明は、画像再生装置および画像再生方法に関し、とくに、モノラル映像の動き補償予測構造や符号化制御方法を用いてステレオ映像を効率よく符号化して復号し、再生する技術に関する。
【背景技術】
【０００２】
視聴者に立体画像を認識させることができるディスプレイやプロジェクタの開発が進められている。視聴者に立体画像を認識させるには、視差画像を表示または投写する必要がある。人間の両目は数ｃｍほど離れているため、右目と左目で得られる像には位置ずれがある。人間の脳はこの位置ずれを一つの手がかりとして奥行きを認識している。逆にいえば、この両目に写すべき像の位置ずれ量を調整することにより、脳に擬似的に奥行きを認識させることができる。視差画像は、左右方向に位置ずれを持つ右目用画像と左目用画像とで構成される。以下、本明細書では視差画像による動画像をステレオ映像と表記する。ステレオ映像は、たとえば、Ｈ．２６４／ＭＶＣ（Multiview Video Coding）に準拠して符号化することが可能である。
【０００３】
モノラル映像用の復号装置では左目用または右目用のいずれかの映像しか視聴できない。そこで、ステレオ映像専用の復号装置を導入したり（特許文献１参照）、ステレオ映像ストリームを２つのモノラル映像ストリームに分割したりして２つのモノラル映像用の復号装置で復号することで、ステレオ映像を視聴することも行われている。
【先行技術文献】
【特許文献】
【０００４】
【特許文献１】特開２００４−７２７８８号公報
【発明の概要】
【発明が解決しようとする課題】
【０００５】
一般的に復号装置は高価であるため、ステレオ映像専用の復号装置を導入したりモノラル映像用復号装置をふたつ導入したりすることは装置が高価となる原因となりうる。
【０００６】
本発明はこうした状況に鑑みなされたものであり、その目的は、既存のモノラル画像用の符号化装置を用いて、画質および符号化効率を維持しながらステレオ画像を符号化する技術を提供することにある。
【課題を解決するための手段】
【０００７】
上記目的を達成するため、本発明のある態様の画像再生装置は、視点が異なる第１の動画像と第２の動画像とを含むステレオ映像がステレオ映像符号化規格に準じて符号化され生成されたステレオ映像符号化ストリームを、第１の動画像と第２の動画像のそれぞれの復号の単位を含むアクセスユニットに分離する分離部と、モノラル映像符号化規格に準じて生成されたモノラル映像符号化ストリームを、モノラル映像の復号の単位であるアクセスユニット毎に参照ピクチャを用いて復号し、動画フレームを生成するモノラル映像復号部と、前記分離部が分離したアクセスユニットを、第１の動画像の復号の単位である第１アクセスユニットと、第２の動画像の復号の単位である第２のアクセスユニットとに分離し、第１及び第２のアクセスユニットに含まれるヘッダをモノラル映像符号化規格に準じたヘッダに変換することによって、第１及び第２のアクセスユニットをモノラル映像の復号単位であるアクセスユニットに変換し、変換された第１の動画像のアクセスユニットと第２の動画像のアクセスユニットとを直列に配置することによりモノラル映像符号化ストリームを生成するモノラル映像符号変換部と、前記モノラル映像符号変換部で生成されたモノラル映像符号化ストリームを前記モノラル映像復号部が復号することにより、第１の動画像のアクセスユニットから復号され生成された第１の動画フレームと第２の動画像のアクセスユニットから復号され生成された第２の動画フレームとが混在するモノラル映像を、第１の動画フレームと第２の動画フレームとのふたつの動画フレームに分離する映像分離部とを含む。
【０００８】
本発明の別の態様は画像再生方法である。この方法は、視点が異なる第１の動画像と第２の動画像とを含むステレオ映像がステレオ映像符号化規格に準じて符号化され生成されたステレオ映像符号化ストリームを、第１の動画像と第２の動画像のそれぞれの復号の単位を含むアクセスユニットに分離するステップと、分離されたアクセスユニットを、第１の動画像の復号の単位である第１アクセスユニットと、第２の動画像の復号の単位である第２のアクセスユニットとに分離し、第１及び第２のアクセスユニットに含まれるヘッダをモノラル映像符号化規格に準じたヘッダに変換することによって、第１及び第２のアクセスユニットをモノラル映像の復号単位であるアクセスユニットに変換し、変換された第１の動画像のアクセスユニットと第２の動画像のアクセスユニットとを直列に配置することによりモノラル映像符号化ストリームを生成するステップと、生成されたモノラル映像符号化ストリームをモノラル映像の復号の単位であるアクセスユニット毎に参照ピクチャを用いて復号することにより、第１の動画像のアクセスユニットから復号され生成された第１の動画フレームと第２の動画像のアクセスユニットから復号され生成された第２の動画フレームとが混在するモノラル映像を、第１の動画フレームと第２の動画フレームとのふたつの動画フレームに分離するステップとをプロセッサに実行させる。
【０００９】
なお、以上の構成要素の任意の組み合わせ、本発明の表現を方法、装置、システム、記録媒体、コンピュータプログラムなどの間で変換したものもまた、本発明の態様として有効である。
【発明の効果】
【００１０】
本発明によれば、既存のモノラル画像用の符号化装置を用いて、画質および符号化効率を維持しながらステレオ画像を符号化する技術を提供することができる。
【図面の簡単な説明】
【００１１】
【図１】インタービュー予測符号化を説明するための図である。
【図２】ＭＶＣ符号化方式で新規に追加されるＮＡＬの一覧を示した図である。
【図３】ＭＶＣ符号化方式の符号化および復号の一例を示した図である。
【図４】ＡＶＣ符号化方式の符号化および復号の別の例を示した図である。
【図５】ＡＶＣ符号化方式の符号化および復号のさらに別の例を示した図である。
【図６】実施の形態１に係る画像生成装置の内部構造を模式的に示した図である。
【図７】実施の形態１に係る画像再生装置の処理の流れを説明するフローチャートである。
【図８】実施の形態１に係るモノラル映像符号変換部の内部構造を模式的に示した図である。
【図９】ＡＶＣのアクセスユニットおよびＭＶＣのアクセスユニットを構造の一例を示した図である。
【図１０】ＮＡＬユニットの構造の一例を示した図である。
【図１１】デコード参照ピクチャマーキング情報を例示した図である。
【図１２】実施の形態１に係るモノラル映像符号変換部の処理の流れを説明するフローチャートである。
【図１３】モノラル映像符号変換部に入力されるＭＶＣアクセスユニットの一例を示した図である。
【図１４】実施の形態１に係る参照フレームメモリ情報管理部における図１３に示すＭＶＣアクセスユニットの管理を示した図である。
【図１５】実施の形態１に係る参照ピクチャリスト生成部の処理の流れを説明するフローチャートである。
【図１６】実施の形態１に係る参照ピクチャリスト生成部が図１４に示す情報をもとに生成した参照ピクチャリストを図示したものである。
【図１７】実施の形態２に係るモノラル映像符号変換部の内部構造を模式的に示した図である。
【図１８】ＭＰＥＧ−４ＭＶＣの拡張シンタックスを示した図である。
【図１９】実施の形態２に係るモノラル映像符号変換部の処理の流れを説明するフローチャートである。
【図２０】実施の形態２に係る参照フレームメモリ情報管理部における図１３に示すＭＶＣアクセスユニットの管理を示した図である。
【図２１】実施の形態２に係る参照ピクチャリスト生成部の処理の流れを説明するフローチャートである。
【図２２】実施の形態２に係る参照ピクチャリスト生成部が図２０に示す情報をもとに生成した参照ピクチャリストを図示したものである。
【発明を実施するための形態】
【００１２】
（前提技術）
実施の形態の前提となる技術について説明する。
【００１３】
現在、ＭＰＥＧ（Moving Picture Experts Group）などの符号化方式に準拠した装置およびシステムが普及している。そのような符号化方式では、時間軸上に連続する複数の画像をデジタル信号の情報として取り扱う。その際、効率の高い情報の放送、伝送または蓄積などを目的とし、時間方向の冗長性を利用した動き補償予測、および空間方向の冗長性を利用した離散コサイン変換などの直交変換を用いて圧縮符号化する。
【００１４】
１９９５年にはＭＰＥＧ−２ビデオ（ＩＳＯ／ＩＥＣ １３８１８−２）符号化方式が、汎用の動画像圧縮符号化方式として制定され、ＤＶＤ（Digital Versatile Disk）およびＤ−ＶＨＳ（登録商標）規格のデジタルＶＴＲによる磁気テープなどの蓄積メディア、ならびにデジタル放送などのアプリケーションとして広く用いられている。
【００１５】
さらに、２００３年に、国際標準化機構（ＩＳＯ）と国際電気標準会議（ＩＥＣ）のジョイント技術委員会（ＩＳＯ／ＩＥＣ）と、国際電気通信連合電気通信標準化部門（ＩＴＵ−Ｔ）の共同作業によってＭＰＥＧ−４ ＡＶＣ／Ｈ.２６４と呼ばれる符号化方式（ＩＳＯ／ＩＥＣでは１４４９６−１０、ＩＴＵ‐ＴではＨ.２６４の規格番号がつけられている。以下、これをＡＶＣ／Ｈ.２６４符号化方式と呼ぶ）が国際標準として制定された。
【００１６】
これらの符号化方式では、フレーム間予測符号化が用いられる。フレーム間予測符号化では、まず、１画面相当のデジタル画像データをいくつかの画素を含むブロック（たとえば、マクロブロック）に分割し、ブロック毎に画像間の動きを示す動きベクトルを検出する。つぎに、その動きベクトルを用いて動き補償と呼ばれる予測画像の生成を行い、得られた予測画像と符号化対象画像との差分値を符号化する。
【００１７】
この予測画像の生成方法によって、ピクチャはいくつかのタイプに分けられる。参照画像を持たず、画面内の予測のみを用いるものをＩピクチャと呼び、１枚の参照画像を用いて画面間予測符号化を行うものをＰピクチャと呼び、２枚の参照画像を用いて画面間予測符号化を行うものをＢピクチャと呼ぶ。
【００１８】
ＭＰＥＧ−２のＰピクチャでは、表示順序で直前のＩピクチャまたはＰピクチャのみから動き補償予測を行う。これに対して、ＡＶＣ／Ｈ.２６４では、複数のピクチャを参照ピクチャとして用いることができ、この中からブロック毎に最適なものを選択して動き補償を行うことができる。また、表示順序で先行するピクチャに加えて、既に符号化済みの表示順序で後続のピクチャも参照することができる。
【００１９】
また、ＭＰＥＧ−２のＢピクチャでは、表示順序で前方１枚の参照ピクチャ、後方１枚の参照ピクチャ、またはその２枚の参照ピクチャを平均化したピクチャを、予測ピクチャとし、対象ピクチャと予測ピクチャとの差分データを符号化することができる。これに対して、ＡＶＣ／Ｈ.２６４では、表示順序で前方１枚、後方１枚という制約にとらわれず、前方や後方に関係なく任意の参照ピクチャを予測のために参照することができる。さらに、Ｂピクチャを参照ピクチャとして参照することもできる。
【００２０】
このように、ＡＶＣ／Ｈ．２６４では任意に離れたピクチャを参照することが可能なため、復号した画像を参照フレームメモリに格納して管理する。
【００２１】
ＡＶＣ／Ｈ．２６４では、参照フレームメモリに格納されているピクチャを後述する方法で並べて参照ピクチャリストを作成し、その符号化ストリームにそのインデックスを記述することにより、参照ピクチャを指定している。ここで、「参照ピクチャリスト」とは、動き補償予測で利用する参照フレーム内の参照ピクチャを並び替えることのできるリストである。参照ピクチャリストを用いて参照ピクチャを利用頻度に応じて並び替えることで符号化効率を向上させることができる。
【００２２】
また、参照ピクチャリストはスライス毎に付加されるスライスヘッダ内で参照ピクチャリスト変更情報を送ることにより、上述したリストを並び替えることも可能である。
【００２３】
ところで、２眼式立体テレビジョンにおいては、２台のカメラにより異なる２方向から撮影された左目用画像および右目用画像を生成し、これを同一画面上に表示して立体画像を見せるようにしている。この場合、左目用画像および右目用画像はそれぞれ独立した画像として別個に伝送あるいは記録されることも多い。
【００２４】
その場合、単一の２次元画像の約２倍の情報量が必要となってしまう。そこで、左右いずれか一方の画像を主画像とし、他方の画像を副画像として、一般的な圧縮符号化方法によって圧縮して情報量を抑える手法が提案されている。たとえば、下記に説明するＭＶＣ符号化方式を用いて圧縮符号化する手法が提案されている。
【００２５】
１９９６年に単視点画像の符号化国際標準であるＭＰＥＧ−２ビデオ（ＩＳＯ／ＩＥＣ１４４９６−２）符号化方式に、マルチビュープロファイルと呼ばれるステレオ画像の符号化方式が追加された（ＩＳＯ／ＩＥＣ １４４９６−２／ＡＭＤ３）。さらに、２００８年には、ＭＰＥＧ−４ ＡＶＣ／Ｈ.２６４符号化方式（ＩＳＯ／ＩＥＣ １４４９６−１０・ＩＴＵ‐Ｔ Ｈ.２６４）のＡｎｎｅｘ Ｈ（付録Ｈ）として、多視点画像符号化（＝ＭＶＣ符号化方式）の最終勧告案が決定された。
【００２６】
ＭＶＣ符号化方式では、対象の画像を「ビュー」と呼び、複数の画像を扱うことが可能である。また、Ｈ．２６４／ＡＶＣ符号化方式とマクロブロック以下の処理が共通であり、さらにベースビューと呼ばれるＨ．２６４／ＡＶＣ符号化方式に準拠したビューが必ず含まれる。ＭＰＥＧ−４ＭＶＣのステレオ映像符号化においては同時刻の視点間予測だけが許されている。ＭＰＥＧ−４ＭＶＣにおける符号化の基本ツールは参照ピクチャリストを利用していることなど、ほとんどＭＰＥＧ−４ＡＶＣと共通であり、上位互換性があることを特徴としている。
【００２７】
ＭＶＣ符号化方式では、画像の予測効率を上げるために、Ｈ．２６４／ＡＶＣ符号化方式に加え、ビュー間のフレーム間予測符号化（以下、インタービュー予測符号化と表記する）を行うことができる。ビュー間には視差があるものの相関性があるため、視点間動き補償予測を効果的に利用することで予測効率を上げることができるからである。一般に、映像が緩やかに変化するような場合には視点内動き補償予測の方が視点間動き補償予測よりも予測効率が高く、映像が急激に変化するような場合には視点間動き補償予測の方が視点内動き補償予測よりも予測効率が高い。また、視点間動き補償予測の予測効率はベースレイヤのピクチャタイプにも依存している。一般的に、Ｉピクチャの場合が最も予測効率が高く、次にＰピクチャが高く、Ｂピクチャの順となる。
【００２８】
図１は、インタービュー予測符号化を説明するための図である。横軸が時間方向を示しており、一つの行が一つのビューに対応する。実線の矢印で示したものが時間方向のフレーム間予測符号化であり、点線の矢印で示したものがインタービュー予測符号化である。また、インタービュー予測符号化では、フレーム間予測符号化においては参照ピクチャに用いることができない非参照ピクチャも、参照ピクチャとして用いることができる。この参照ピクチャをインタービュー限定参照ピクチャと呼ぶ。
【００２９】
ＭＶＣ符号化方式では、インタービュー予測符号化を行うため、Ｈ．２６４／ＡＶＣ符号化方式で用いていた参照ピクチャリストに、インタービュー予測符号化用のピクチャを追加する。
【００３０】
ここで、インタービュー予測符号化に用いる参照ピクチャの並び順は、後述する新規に追加されたＮＡＬ（Network Abstraction Layer）のＳｕｂｓｅｔ ｓｅｑｕｅｎｃｅ ｐａｒａｍｅｔｅｒ ｓｅｔ（ＳｕｂｓｅｔＳＰＳ）内に記述される、ＭＶＣ用のシーケンスパラメータセット（ＳＰＳ）拡張データの中に記述される。ＭＶＣ符号化方式で用いる各種情報を記述するため、Ｈ．２６４／ＡＶＣ符号化方式で規定されているＮＡＬ（Network Abstraction Layer）に加え、新規にＮＡＬが追加される。図２は、ＭＶＣ符号化方式で新規に追加されるＮＡＬの一覧を示した図である。
【００３１】
図３は、ＭＶＣ符号化方式の符号化および復号の一例を示した図である。符号化側では第１符号部にて左目用映像をベースレイヤとして視点内動き補償予測だけを利用して符号化データ列に符号化し、第２符号部にて右目用映像をエンハンスメントレイヤとして視点内動き補償予測及び視点間動き補償予測を利用して符号化データ列に符号化し、多重部にて左目用符号化データ列と右目用符号化データ列を多重化している。復号側では分離部にて左目用符号化データ列と右目用符号化データ列に分離し、第１復号部にて左目用符号化データ列を復号して左目用映像を出力し、第１復号部にて右目用符号化データ列を復号して右目用映像を出力している。
【００３２】
図４は、ＡＶＣ符号化方式の符号化および復号の別の例を示した図である。ステレオ映像をそれぞれ左右に並べてモノラル映像とすることで、広く普及しているモノラル映像用の符号装置や復号装置を利用できる。ところが、図４に示す方式ではステレオ映像をそれぞれ水平方向に１画素間引くため、水平方向の解像度が低下する。また、視点間動き補償予測の中で一般的に最も効率の高い同時刻の視点間動き補償予測を利用することができない。
【００３３】
図５は、ＡＶＣ符号化方式の符号化および復号のさらに別の例を示した図である。ステレオ映像をそれぞれトップフィールドとボトムフィールドに割り当ててインタレースのモノラル映像とし、フィールド単位で動き補償予測を行うことで、広く普及しているインタレースのモノラル映像用の符号装置や復号装置を利用できる。ところが、図５に示す例ではプログレッシブのステレオ映像に対しては、左目用映像と右目用映像をそのまま各フィールドに割り当てればよいが、インタレースのステレオ映像に対しては一度ノンインタレース変換をした後に各フィールドに割り当てる必要がある。そのため、インタレースのステレオ映像の動解像度が低下する。
【００３４】
以上の前提技術を踏まえて、以下、本発明の実施の形態を詳細に説明する。以下、実施の形態では、左目用画像をベースレイヤとして時間方向の動き補償予測だけを利用して符号化し、右目用画像をエンハンスメントレイヤとして、時間方向の動き補償予測および視点間動き補償予測の両方を利用して符号化され、ステレオ映像が生成されている例を説明する。もちろん、右目用画像をベースレイヤ、左目用画像をエンハンスメントレイヤとしてステレオ映像が生成されていてもよい。
【００３５】
まず、実施の形態の概要を述べる。実施の形態は、Ｈ．２６４／ＭＶＣ符号化方式で符号化されているステレオ符号化ストリームを左目用のストリームのアクセスユニットと右目用のストリームのアクセスユニットとに分離し、それらのヘッダをＨ．２６４／ＡＶＣ符号化方式で規定されている形式に変換した後、それらを交互に配置してＨ．２６４／ＡＶＣ符号化方式のストリームに変換する。このストリームをＨ．２６４／ＡＶＣ符号化方式のストリーム用復号器で復号した後、左目用の動画フレームと右目用の動画フレームとに分離する。実施の形態１では、視点間予測にベースレイヤのＰピクチャのみを用いる。実施の形態２は、視点間予測にベースレイヤのＰピクチャのみならず、Ｂピクチャも用いる。
【００３６】
（実施の形態１）
図６は、実施の形態１に係る画像再生装置５００の内部構造を模式的に示した図である。画像再生装置５００は分離部１００、モノラル映像符号変換部２００、モノラル映像復号部３００、および映像分離部４００を含む。
【００３７】
分離部１００は、Ｂｌｕ-ｒａｙ Ｄｉｓｋ（登録商標）（以下、「ＢＤディスク」という。）５０からＭＰＥＧ−２ＴＳを読み出し、ＭＰＥＧ−４ＭＶＣを取り出し、左目用映像と右目用映像とのそれぞれの復号の単位を含むアクセスユニットに分離する。なお、分離部１００は、ＢＤディスク５０のみならず、図示しないＨＤＤ（Hard Disk Drive）やメモリ、ネットワークを介して取得することもできる。
【００３８】
モノラル映像符号変換部２００は、分離部１００からＭＰＥＧ−４ＭＶＣを取得し、それを左目用映像と右目用映像とが混在するＭＰＥＧ−４ＡＶＣストリームに変換する。変換方法の詳細については後述する。
【００３９】
モノラル映像復号部３００は、モノラル映像符号変換部２００から取得したＭＰＥＧ−４ＡＶＣストリームを復号する。モノラル映像復号部３００は、標準的なＭＰＥＧ−４ＡＶＣの復号器を用いて実現できる。
【００４０】
映像分離部４００は、モノラル映像復号部３００から取得した再生映像を左目用映像と右目用映像とに分離し、分離した左目用映像と右目用映像とを同期して出力する。
【００４１】
図７は、実施の形態１に係る画像再生装置５００の処理の流れを説明するフローチャートである。本フローチャートにおける処理は、画像再生装置５００が起動したときに開始する。
【００４２】
分離部１００は、ＢＤディスク５０からＭＰＥＧ−２ＴＳを読み出し、ＭＰＥＧ−４ＭＶＣストリームを分離して取り出す（Ｓ２０００）。モノラル映像符号変換部２００は、分離部１００から取得したＭＰＥＧ−４ＭＶＣストリームをＭＰＥＧ−４ＡＶＣストリームに変換する（Ｓ２１００）。モノラル映像復号部３００は、モノラル映像符号変換部２００から送られたＭＰＥＧ−４ＡＶＣストリームを復号する（Ｓ２２００）。映像分離部４００は、モノラル映像復号部３００から取得した再生映像を左目用映像と右目用映像に分離し（Ｓ２３００）、分離した左目用映像と右目用映像を同期させて出力する（Ｓ２４００）。
【００４３】
画像再生装置５００は、ＭＰＥＧ−４ＭＶＣの再生中は上記のステップを繰り返す。ＭＰＥＧ−４ＭＶＣの再生が終了すると、本フローチャートにおける処理は終了する。
【００４４】
図８は、実施の形態１に係るモノラル映像符号変換部２００の内部構造を模式的に示した図である。モノラル映像符号変換部２００は、アクセスユニット分離部２１０、ベースレイヤ変換部２２０、エンハンスメントレイヤ変換部２３０、参照フレームメモリ管理部２４０、参照ピクチャリスト生成部２５０、およびアクセスユニット多重部２６０を含む。
【００４５】
アクセスユニット分離部２１０は、ベースレイヤである左目用映像の復号の単位である第１アクセスユニットと、エンハンスレイヤである右目用映像の復号の単位である第２アクセスユニットとに分離する。具体的には、ＭＰＥＧ−４ＭＶＣストリームからＭＶＣアクセスユニットを取り出し、ＭＶＣアクセスユニットをベースレイヤアクセスユニットとエンハンスメントレイヤアクセスユニットとに分離する。
【００４６】
ここで、アクセスユニットについて説明する。図９は、ＡＶＣのアクセスユニットおよびＭＶＣのアクセスユニットを構造の一例を示した図である。また、図１０は、ＮＡＬユニットの構造の一例を示した図である。
【００４７】
ＡＶＣアクセスユニットはモノラル映像符号化であるため１つのアクセスユニットで構成され、ステレオ映像符号化ではベースレイヤとエンハンスメントレイヤの２つのアクセスユニットで構成される。図９に示すヘッダ部の並びは一例であってＭＰＥＧ−４ＡＶＣやＭＰＥＧ−４ＭＶＣ規格に準じていればどのような並びになっていてもよい。なお、ＡＵＤ（Access Unit Delimiter）、ＳＰＳ（Sequence Parameter Set）、ＰＰＳ（Picture Parameter Set）、ＳＥＩ（Supplemental Enhancement Information）、ＳＨ（Slice Header）、ＳＤ（Slice Data）はそれぞれ図１０に示すＮＡＬユニット内のデータ部（rbsp_byte）に格納されており、ＮＡＬユニットのＮＡＬタイプ（nal_unit_type）を見ることで、ベースレイヤアクセスユニットとエンハンスメントレイヤアクセスユニットとを分離することができる。
【００４８】
図８の説明に戻る。ベースレイヤ変換部２２０は、アクセスユニット分離部２１０から取得したベースレイヤアクセスユニットのヘッダ部を解析し、ヘッダ部に含まれるＮＡＬヘッダからＮＡＬ参照情報（nal_ref_idc）とＳＨからデコード参照ピクチャマーキング情報（dec_ref_pic_marking( )）を抽出して参照フレームメモリ管理部２４０に出力する。図１１は、デコード参照ピクチャマーキング情報を例示した図である。
【００４９】
ベースレイヤ変換部２２０はまた、後述する参照ピクチャリスト生成部２５０から取得した参照ピクチャリストをもとにＳＨを変更し、ＰＦ（Prefix NAL）がある場合には削除することで、ベースレイヤアクセスユニットをＡＶＣアクセスユニットに変換する。
【００５０】
参照フレームメモリ管理部２４０は、ベースレイヤ変換部２２０から取得したＮＡＬ参照情報と参照ピクチャマーキング情報とをもとに、参照フレームメモリ内の参照ピクチャ順序を管理し、ＮＡＬ参照情報、参照ピクチャ順序情報とレイヤ情報を参照ピクチャリスト生成部２５０に出力する。
【００５１】
なお、参照フレームメモリ管理部２４０は参照フレームメモリ内の参照ピクチャ順序を保持するだけであり、実際の参照フレームは保持しない。またレイヤ情報は、ＮＡＬ参照情報と参照ピクチャマーキング情報がベースレイヤ変換部２２０から送られた場合にはベースレイヤとなる。参照フレームメモリの管理方法についてはＭＰＥＧ−４ＭＶＣの規格ではなく、ＭＰＥＧ−４ＡＶＣの規格に従う。参照フレームメモリの管理方法については本実施の形態の主眼ではないため、ここでは詳細な説明はしない。
【００５２】
参照ピクチャリスト生成部２５０は、参照フレームメモリ管理部２４０から取得したＮＡＬ参照情報、参照ピクチャ順序情報とレイヤ情報とをもとに参照ピクチャリストを生成する。参照ピクチャリスト生成部２５０の詳細な動作については後述する。
【００５３】
エンハンスメントレイヤ変換部２３０は、アクセスユニット分離部２１０から取得したエンハンスメントレイヤアクセスユニットのヘッダ部を解析し、ＮＡＬヘッダからＮＡＬ参照情報（nal_ref_idc）とＳＨからデコード参照ピクチャマーキング情報（dec_ref_pic_marking( )）を抽出して参照フレームメモリ管理部２４０に出力する。
【００５４】
エンハンスメントレイヤ変換部２３０はまた、参照ピクチャリスト生成部２５０より送られた参照ピクチャリストに基づいてＳＨを変更し、ｅＳＰＳを削除し、ＳＤのＮＡＬヘッダのＮＡＬタイプを２０から１に変更することで、エンハンスメントレイヤアクセスユニットをＡＶＣアクセスユニットに変換し、ＡＶＣアクセスユニットをアクセスユニット多重部２６０に出力する。
【００５５】
参照フレームメモリ管理部２４０は、エンハンスメントレイヤ変換部２３０から取得したＮＡＬ参照情報と参照ピクチャマーキング情報をもとに、参照フレームメモリ内の参照ピクチャ順序を管理し、ＮＡＬ参照情報、参照ピクチャ順序情報とレイヤ情報を参照ピクチャリスト生成部２５０に出力する。ここでレイヤ情報は、ＮＡＬ参照情報と参照ピクチャマーキング情報がエンハンスメントレイヤ変換部２３０から取得した場合にはエンハンスメントレイヤとなる。
【００５６】
アクセスユニット多重部２６０は、ベースレイヤ変換部２２０から取得したＡＶＣアクセスユニットとエンハンスメントレイヤ変換部２３０から取得したＡＶＣアクセスユニットとを交互に並べて、ＭＰＥＧ−４ＡＶＣストリームを構成してモノラル映像復号部３００に出力する。
【００５７】
図１２は、実施の形態１に係るモノラル映像符号変換部２００の処理の流れを説明するフローチャートであり、図７におけるステップＳ２１００を詳細に説明する図である。
【００５８】
アクセスユニット分離部２１０は、ベースレイヤである左目用映像の復号の単位である第１アクセスユニットと、エンハンスレイヤである右目用映像の復号の単位である第２アクセスユニットとに分離する（Ｓ３０００）。
【００５９】
ベースレイヤ変換部２２０は、アクセスユニット分離部２１０から取得したベースレイヤアクセスユニットのヘッダ部を解析しベースレイヤの参照情報を取得する（Ｓ３０２０）。
【００６０】
参照フレームメモリ管理部２４０は、ベースレイヤ変換部２２０から取得したＮＡＬ参照情報と参照ピクチャマーキング情報をもとに、参照フレームメモリ内の参照ピクチャ順序を管理する（Ｓ３０３０）。
【００６１】
参照ピクチャリスト生成部２５０は、参照フレームメモリ管理部２４０から取得したＮＡＬ参照情報、参照ピクチャ順序情報とレイヤ情報をもとにベースレイヤの参照ピクチャリストを生成する（Ｓ３０４０）。
【００６２】
ベースレイヤ変換部２２０は、参照ピクチャリスト生成部２５０から取得した参照ピクチャリストをもとにＳＨを変更し、ＰＦがある場合には削除することで、ベースレイヤアクセスユニットをＡＶＣアクセスユニットに変換する（Ｓ３０５０）。その後、ベースレイヤ変換部２２０はＡＶＣアクセスユニットをアクセスユニット多重部２６０に出力する（Ｓ３０６０）。
【００６３】
エンハンスメントレイヤ変換部２３０は、アクセスユニット分離部２１０から取得したエンハンスメントレイヤアクセスユニットのヘッダ部を解析してＮＡＬヘッダからＮＡＬ参照情報とＳＨからデコード参照ピクチャマーキング情報とを抽出して取得する（Ｓ３０７０）。
【００６４】
参照フレームメモリ管理部２４０は、エンハンスメントレイヤ変換部２３０から取得したＮＡＬ参照情報と参照ピクチャマーキング情報とをもとに、参照フレームメモリ内の参照ピクチャ順序を管理する（Ｓ３０８０）。
【００６５】
参照ピクチャリスト生成部２５０は、参照フレームメモリ管理部２４０から取得したＮＡＬ参照情報、参照ピクチャ順序情報とレイヤ情報をもとにエンハンスメントレイヤの参照ピクチャリストを生成する（Ｓ３０９０）。
【００６６】
エンハンスメントレイヤ変換部２３０は、参照ピクチャリスト生成部２５０から取得した参照ピクチャリストに基づいてＳＨを変更し、ｅＳＰＳを削除し、ＳＤのＮＡＬヘッダのＮＡＬタイプを２０から１に変更することで、エンハンスメントレイヤアクセスユニットをＡＶＣアクセスユニットに変換する（Ｓ３１００）。その後、エンハンスメントレイヤ変換部２３０はＡＶＣアクセスユニットをアクセスユニット多重部２６０に出力する（Ｓ３１１０）。
【００６７】
アクセスユニット多重部２６０は、ＭＰＥＧ−４ＡＶＣストリームを構成するために、ベースレイヤ変換部２２０から取得したＡＶＣアクセスユニットとエンハンスメントレイヤ変換部２３０から取得したＡＶＣアクセスユニットを交互に並べて多重化する（Ｓ３１２０）。
【００６８】
以下、参照ピクチャリスト生成部２５０の詳細な動作について図を用いて説明する。
【００６９】
図１３は、モノラル映像符号変換部２００に入力されるＭＶＣアクセスユニットの一例を示した図である。図１３は、ＭＶＣアクセスユニットがＡＵ０、ＡＵ１、ＡＵ２、・・・の順に入力される場合を図示している。
【００７０】
アクセスユニット分離部２１０は、１番目のＭＶＣアクセスユニットＡＵ０を、ベースレイヤベースレイヤアクセスユニットＢＰ０とエンハンスメントレイヤアクセスユニットＥＰ０とに分離する。続いてアクセスユニット分離部２１０は、ＢＰ０をベースレイヤ変換部２２０に出力し、ＥＰ０をエンハンスメントレイヤ変換部２３０に出力する。２番目以降のアクセスユニットＡＵ１、ＡＵ２、・・・についても同様であり、アクセスユニット分離部２１０はベースレイヤベースレイヤアクセスユニットとエンハンスメントレイヤアクセスユニットＥＰ０とに分離し、それぞれベースレイヤ変換部２２０とエンハンスメントレイヤ変換部２３０とに出力する。なお、図１３において、例えば１番目のベースレイヤアクセスユニットＢＰ０がＢＰ０（１，Ｉ）のように括弧付きで表記されているが、これは括弧内の１番目の数値がＮＡＬ参照情報を、２番目の文字がピクチャタイプを示している。
【００７１】
実施の形態１では、視点間予測にベースレイヤのＰピクチャのみを用いる。図１４は、参照フレームメモリ管理部２４０における図１３に示すＭＶＣアクセスユニットの管理を示した図である。より具体的には、ベースレイヤ変換部２２０とエンハンスメントレイヤ変換部２３０とから取得したＡＶＣアクセスユニットの管理情報を示した図である。
【００７２】
図１４は、参照フレームメモリ管理部２４０にＢＰ０が入力されたときには参照フレームメモリ内にＡＶＣアクセスユニットが存在せず、ＥＰ０が入力されたときには参照フレームメモリの０番目にＢＰ０が存在し、ＢＰ１が入力されたときには参照フレームメモリの０番目にＥＰ０が存在し、１番目にＢＰ０が存在していることを示している。ここで、例えばＢＰ１やＥＰ１はＢピクチャであるから、他のピクチャから参照されることはない。そのため、参照フレームメモリ内には格納されない。
【００７３】
図１５は、参照ピクチャリスト生成部２５０の処理の流れを説明するフローチャートである。参照ピクチャリスト生成部２５０は、参照フレームメモリ管理部２４０から取得したレイヤ情報がベースレイヤの場合（Ｓ４０００Ｙ）、参照フレームメモリの奇数番目を、フレームメモリ番号の小さい順に参照ピクチャリストに追加する（Ｓ４１００）。
【００７４】
参照フレームメモリ管理部２４０から取得したレイヤ情報がベースレイヤでない場合（Ｓ４０００Ｎ）、参照ピクチャリスト生成部２５０は参照フレームメモリ管理部２４０から取得したＮＡＬ参照情報を調べる。ＮＡＬ参照情報が１以上の場合（Ｓ４２００Ｙ）、参照ピクチャリスト生成部２５０は参照フレームメモリの奇数番目をフレームメモリ番号の小さい順に参照ピクチャリストに追加する（Ｓ４３００）。その後、参照ピクチャリスト生成部２５０は参照フレームメモリの０番目を参照ピクチャリストの最後尾に追加する（Ｓ４４００）。
【００７５】
ＮＡＬ参照情報が１未満の場合（Ｓ４２００Ｎ）、参照ピクチャリスト生成部２５０は参照フレームメモリの偶数番目をフレームメモリ番号の小さい順に参照ピクチャリストに追加する（Ｓ４５００）。
【００７６】
図１６は、参照ピクチャリスト生成部２５０が図１５に示すフローチャートに基づいて、図１４に示す情報をもとに生成した参照ピクチャリストを図示したものである。
【００７７】
以上の構成による動作は以下のとおりである。ユーザは実施の形態に係る画像再生装置５００を用いてステレオ映像であるＭＰＥＧ−４ＭＶＣストリームの視聴を開始すると、分離部１００がＭＰＥＧ−４ＭＶＣアクセスユニットをベースレイヤアクセスユニットとエンハンスメントレイヤアクセスユニットに分離し、モノラル映像符号変換部２００が、ＮＡＬ参照情報と参照ピクチャマーキング情報を用いて参照ピクチャリストを生成し、ＭＰＥＧ−４ＭＶＣストリームを参照ピクチャリストを含む１つのＭＰＥＧ−４ＡＶＣストリームに変換する。変換されたＭＰＥＧ−４ＡＶＣストリームを従来のＭＰＥＧ−４ＡＶＣ用の復号器であるモノラル映像復号部３００が復号し、映像分離部４００が左目用映像と右目用映像を分離することで、ステレオ映像を視聴することができる。
【００７８】
以上説明したとおり、実施の形態１によれば、既存のモノラル画像用の符号化装置を用いて、画質および符号化効率を維持しながらステレオ画像を符号化する技術を提供することができる。
【００７９】
（実施の形態２）
実施の形態２について説明する。実施の形態１と実施の形態２との相違は、実施の形態１では、視点間予測にベースレイヤのＰピクチャのみを用いるのに対し、実施の形態２は、視点間予測にベースレイヤのＰピクチャのみならず、Ｂピクチャも用いる点である。以下、実施の形態１と重複する説明については適宜省略する。
【００８０】
図１７は、実施の形態２に係るモノラル映像符号変換部２００の内部構造を模式的に示した図である。モノラル映像符号変換部２００は、アクセスユニット分離部２１０、ベースレイヤ変換部２２１、エンハンスメントレイヤ変換部２３１、参照フレームメモリ情報管理部２４１、参照ピクチャリスト生成部２５１、およびアクセスユニット多重部２６０を含む。ここで、アクセスユニット分離部２１０とアクセスユニット多重部２６０とは実施形態１と同様である。そこで、以下、ベースレイヤ変換部２２１、エンハンスメントレイヤ変換部２３１、参照フレームメモリ情報管理部２４１、参照ピクチャリスト生成部２５１を中心に説明する。
【００８１】
エンハンスメントレイヤ変換部２３１は、アクセスユニット分離部２１０から取得したエンハンスメントレイヤアクセスユニットのヘッダ部を解析してｓＳＰＳからＳＰＳＭＶＣ拡張に含まれるnum_non_anchor_refs_l0[1 ]とnum_non_anchor_refs_l1[1 ]を抽出し、num_non_anchor_refs_l0[1 ]とnum_non_anchor_refs_l1[1 ]がともに０の場合はＢピクチャ視点間予測利用情報を０に、それ以外の場合はＢピクチャ視点間予測利用情報を１とし、Ｂピクチャ視点間予測利用情報をベースレイヤ変換部２２１に出力する。なお、図１８は、ＭＰＥＧ−４ＭＶＣの拡張シンタックスを示した図である。
【００８２】
ベースレイヤ変換部２２１は、アクセスユニット分離部２１０から取得したベースレイヤアクセスユニットのヘッダ部を解析してＮＡＬヘッダからＮＡＬ参照情報、ＳＨからデコード参照ピクチャマーキング情報を抽出し、参照フレームメモリ情報管理部２４１に出力する。
【００８３】
ベースレイヤ変換部２２１はまた、ヘッダ部を解析してＡＵＤからピクチャタイプ（primary_pic_type）を抽出し、エンハンスメントレイヤ変換部２３０から取得したＢピクチャ視点間予測利用情報が１であり、かつピクチャタイプがＢピクチャである場合には、ＮＡＬ参照情報を強制的に１とし、強制変更フラグを１にする。ピクチャタイプがＢピクチャ以外の場合には、ＮＡＬ参照情報は変更せず、強制変更フラグを０にする。ベースレイヤ変換部２２１は、強制変更フラグを参照フレームメモリ情報管理部２４１に出力する。なお、Ｂピクチャ視点間予測利用情報が０である場合は実施の形態１となるため、説明を省略する。
【００８４】
ベースレイヤ変換部２２１はさらに、後述する参照ピクチャリスト生成部２５１から取得した参照ピクチャリストをもとにＳＨを変更し、ＰＦがある場合には削除することで、ベースレイヤアクセスユニットをＡＶＣアクセスユニットに変換し、ＡＶＣアクセスユニットをアクセスユニット多重部２６０に出力する。
【００８５】
参照フレームメモリ情報管理部２４１は、ベースレイヤ変換部２２１から取得したＮＡＬ参照情報と参照ピクチャマーキング情報とをもとに、参照フレームメモリ内の参照ピクチャ順序を管理し、ＮＡＬ参照情報、参照ピクチャ順序情報、レイヤ情報、強制変更フラグを参照ピクチャリスト生成部２５１に出力する。なお、参照フレームメモリ情報管理部２４１は強制変更フラグを参照フレームメモリ内の参照ピクチャ順序と関連付けて管理する。
【００８６】
参照ピクチャリスト生成部２５１は、参照フレームメモリ情報管理部２４１から取得したＮＡＬ参照情報、参照ピクチャ順序情報、レイヤ情報、強制変更フラグをもちに参照ピクチャリストを生成してベースレイヤ変換部２２１に出力する。なお、参照ピクチャリスト生成部２５１の詳細な動作については後述する。
【００８７】
エンハンスメントレイヤ変換部２３１は、アクセスユニット分離部２１０から取得したエンハンスメントレイヤアクセスユニットのヘッダ部を解析してＮＡＬヘッダからＮＡＬ参照情報とＳＨからデコード参照ピクチャマーキング情報を抽出し、参照フレームメモリ情報管理部２４１に出力する。
【００８８】
エンハンスメントレイヤ変換部２３１はまた、参照ピクチャリスト生成部２５１から取得した参照ピクチャリストをもとにＳＨを変更し、ｅＳＰＳを削除し、ＳＤのＮＡＬヘッダのＮＡＬタイプを２０から１に変更することで、エンハンスメントレイヤアクセスユニットをＡＶＣアクセスユニットに変換し、ＡＶＣアクセスユニットをアクセスユニット多重部２６０に出力する。
【００８９】
参照フレームメモリ情報管理部２４１は、エンハンスメントレイヤ変換部２３１から送られたＮＡＬ参照情報と参照ピクチャマーキング情報とをもとに、参照フレームメモリ内の参照ピクチャ順序を管理し、ＮＡＬ参照情報、参照ピクチャ順序情報、レイヤ情報、強制変更フラグを参照ピクチャリスト生成部２５１に出力する。
【００９０】
参照ピクチャリスト生成部２５１は、参照フレームメモリ情報管理部２４１から取得した強制変更フラグ、ＮＡＬ参照情報、参照ピクチャ順序情報、レイヤ情報、強制変更フラグに基づいて参照ピクチャリストを生成し、エンハンスメントレイヤ変換部２３１に出力する。
【００９１】
図１９は、実施の形態２に係るモノラル映像符号変換部２００の処理の流れを説明するフローチャートである。
【００９２】
アクセスユニット分離部２１０は、ＭＰＥＧ−４ＭＶＣストリームからＭＶＣアクセスユニットを取り出し、ＭＶＣアクセスユニットをベースレイヤアクセスユニットとエンハンスメントレイヤアクセスユニットとに分離する（Ｓ５０００）。
【００９３】
エンハンスメントレイヤ変換部２３１は、アクセスユニット分離部２１０から取得したエンハンスメントレイヤアクセスユニットのヘッダ部を解析してｓＳＰＳからＳＰＳＭＶＣ拡張に含まれる視点間予測利用情報を取得する（Ｓ５０１０）。
【００９４】
ベースレイヤ変換部２２１は、アクセスユニット分離部２１０から取得したベースレイヤアクセスユニットのヘッダ部を解析してＮＡＬヘッダからＮＡＬ参照情報、ＳＨからデコード参照ピクチャマーキング情報を取得する（Ｓ５０２０）。
【００９５】
ベースレイヤ変換部２２１は、ヘッダ部を解析してＡＵＤからピクチャタイプを抽出し、エンハンスメントレイヤ変換部２３０から取得したＢピクチャ視点間予測利用情報をもとに強制変更フラグを設定する（Ｓ５０３０）。
【００９６】
参照フレームメモリ情報管理部２４１は、ベースレイヤ変換部２２１から取得したＮＡＬ参照情報と参照ピクチャマーキング情報とをもとに、参照フレームメモリ内の参照ピクチャ順序を管理する（ステップＳ５０４０）。
【００９７】
参照ピクチャリスト生成部２５１は、参照フレームメモリ情報管理部２４１から取得したＮＡＬ参照情報、参照ピクチャ順序情報、レイヤ情報、強制変更フラグをもとにベースレイヤの参照ピクチャリストを生成する（ステップＳ５０５０）。
【００９８】
ベースレイヤ変換部２２１は、参照ピクチャリスト生成部２５１から取得した参照ピクチャリストをもとにＳＨを変更し、ＰＦがある場合には削除することで、ベースレイヤアクセスユニットをＡＶＣアクセスユニットに変換する（Ｓ５０６０）。また、ベースレイヤ変換部２２１はアクセスユニット多重部２６０にＡＶＣアクセスユニットを出力する（Ｓ５０７０）。
【００９９】
エンハンスメントレイヤ変換部２３１は、アクセスユニット分離部２１０から取得したエンハンスメントレイヤアクセスユニットのヘッダ部を解析してＮＡＬヘッダからＮＡＬ参照情報とＳＨからデコード参照ピクチャマーキング情報を取得する（Ｓ５０８０）。
【０１００】
参照フレームメモリ情報管理部２４１は、エンハンスメントレイヤ変換部２３１から取得したＮＡＬ参照情報と参照ピクチャマーキング情報とをもとに、参照フレームメモリ内の参照ピクチャ順序を管理する（Ｓ５０９０）。
【０１０１】
参照ピクチャリスト生成部２５１は、参照フレームメモリ情報管理部２４１から取得した強制変更フラグ、ＮＡＬ参照情報、参照ピクチャ順序情報、レイヤ情報、強制変更フラグをもとにエンハンスメントレイヤの参照ピクチャリストを生成する（Ｓ５１００）。
【０１０２】
エンハンスメントレイヤ変換部２３１は、参照ピクチャリスト生成部２５１から取得した参照ピクチャリストをもとにＳＨを変更し、ｅＳＰＳを削除し、ＳＤのＮＡＬヘッダのＮＡＬタイプを２０から１に変更することで、エンハンスメントレイヤアクセスユニットをＡＶＣアクセスユニットに変換する（Ｓ５１１０）。また、エンハンスメントレイヤ変換部２３１はアクセスユニット多重部２６０にＡＶＣアクセスユニットを出力する（Ｓ５１２０）。
【０１０３】
アクセスユニット多重部２６０は、ＭＰＥＧ−４ＡＶＣストリームを構成するために、ベースレイヤ変換部２２１から送られたＡＶＣアクセスユニットとエンハンスメントレイヤ変換部２３１から送られたＡＶＣアクセスユニットを交互に並べて多重化する（Ｓ５１３０）。
【０１０４】
以下、参照ピクチャリスト生成部２５１の詳細な動作について図を用いて説明する。実施の形態１と同様に、図１３に示すＭＶＣアクセスユニットがモノラル映像符号変換部２００に入力される場合について説明する。
【０１０５】
実施の形態２では、視点間予測にベースレイヤのＰピクチャとＢピクチャとの両方を用いる。図２０は、参照フレームメモリ情報管理部２４１における図１３に示すＭＶＣアクセスユニットの管理を示した図である。より具体的には、ベースレイヤ変換部２２１とエンハンスメントレイヤ変換部２３１とから取得したＡＶＣアクセスユニットの管理情報を示した図である。
【０１０６】
実施の形態１の場合と異なり、実施の形態２では、視点間予測にベースレイヤのＢピクチャも用いる。このため、例えばＢＰ１のように実施の形態１では参照フレームメモリに格納されなかったアクセスユニットも、実施の形態２では参照フレームメモリに格納される。図２０において、末尾に「Ｒ」が付されたアクセスユニットは、強制変更フラグが「１」に変更されたアクセスユニットであることを示す。
【０１０７】
図２１は、参照ピクチャリスト生成部２５１の処理の流れを説明するフローチャートである
【０１０８】
参照ピクチャリスト生成部２５１は、参照フレームメモリから強制変更フラグが１である参照ピクチャを一時的に消去する（Ｓ６０００）。参照ピクチャリスト生成部２５１は、参照フレームメモリ管理部２４０から取得したレイヤ情報がベースレイヤの場合（Ｓ６０１０Ｙ）、参照フレームメモリの奇数番目を、フレームメモリ番号の小さい順に参照ピクチャリストに追加する（Ｓ６０２０）。続いて、参照ピクチャリスト生成部２５１は参照フレームメモリから一時的に消去した参照ピクチャを参照フレームメモリに戻す（Ｓ６０３０）。
【０１０９】
参照ピクチャリスト生成部２５１は、参照フレームメモリ管理部２４０から取得したレイヤ情報がベースレイヤでない場合（Ｓ６０１０Ｎ）、参照ピクチャリスト生成部２５１は参照フレームメモリ情報管理部２４１から取得した強制変更フラグを調べる。強制変更フラグの情報が０の場合（Ｓ６０４０Ｙ）、参照ピクチャリスト生成部２５１は参照フレームメモリの奇数番目を番号の小さい順に参照ピクチャリストに追加する（Ｓ６０５０）。強制変更フラグの情報が０でない場合（Ｓ６０４０Ｎ）、参照ピクチャリスト生成部２５１は参照フレームメモリの偶数番目を番号の小さい順に参照ピクチャリストに追加する（Ｓ６０６０）。
【０１１０】
参照ピクチャリスト生成部２５１は、参照フレームメモリから一時的に消去した参照ピクチャを参照フレームメモリに戻す（Ｓ６０７０）。その後、参照ピクチャリスト生成部２５１は参照フレームメモリの０番目を参照ピクチャリストの最後尾に追加する（Ｓ６０８０）。
【０１１１】
図２２は、参照ピクチャリスト生成部２５１が図２１に示すフローチャートに基づいて、図２０に示す情報をもとに生成した参照ピクチャリストを図示したものである。実施の形態２では、フレーム間予測符号化においては参照ピクチャに用いることができない非参照ピクチャであるベースレイヤのＢピクチャも、インタービュー限定参照ピクチャとして用いる。このため、図２２に示すように、ベースレイヤのＢピクチャも参照ピクチャリストに格納される。
【０１１２】
以上の構成による動作は以下のとおりである。ユーザは実施の形態に係る画像再生装置５００を用いてステレオ映像であるＭＰＥＧ−４ＭＶＣストリームの視聴を開始すると、分離部１００がＭＰＥＧ−４ＭＶＣアクセスユニットをベースレイヤアクセスユニットとエンハンスメントレイヤアクセスユニットに分離し、モノラル映像符号変換部２００が、ＮＡＬ参照情報と参照ピクチャマーキング情報を用いて参照ピクチャリストを生成し、ＭＰＥＧ−４ＭＶＣストリームを参照ピクチャリストを含む１つのＭＰＥＧ−４ＡＶＣストリームに変換する。変換されたＭＰＥＧ−４ＡＶＣストリームを従来のＭＰＥＧ−４ＡＶＣ用の復号器であるモノラル映像復号部３００が復号し、映像分離部４００が左目用映像と右目用映像を分離することで、ステレオ映像を視聴することができる。
【０１１３】
以上説明したとおり、実施の形態２によれば、既存のモノラル画像用の符号化装置を用いて、画質および符号化効率を維持しながらステレオ画像を符号化する技術を提供することができる。特に、Ｂピクチャで視点間予測を利用した高画質なステレオ映像を視聴可能な技術を提供することができる点で有利である。
【０１１４】
以上の画像再生に関する処理は、ハードウェアを用いた蓄積、受信装置として実現することができるのは勿論のこと、ＲＯＭ（リード・オンリ・メモリ）やフラッシュメモリ等に記憶されているファームウェアや、コンピュータ等のソフトウェアによっても実現することができる。そのファームウェアプログラム、ソフトウェアプログラムをコンピュータ等で読み取り可能な記録媒体に記録して提供することも、有線あるいは無線のネットワークを通してサーバから提供することも、地上波あるいは衛星ディジタル放送のデータ放送として提供することも可能である。
【０１１５】
以上、本発明を実施の形態をもとに説明した。この実施の形態は例示であり、それらの各構成要素や各処理プロセスの組み合わせにいろいろな変形例が可能なこと、またそうした変形例も本発明の範囲にあることは当業者に理解されるところである。
【符号の説明】
【０１１６】
１００ 分離部、 ２００ モノラル映像符号変換部、 ２１０ アクセスユニット分離部、 ２２０，２２１ ベースレイヤ変換部、 ２３０，２３１ エンハンスメントレイヤ変換部、 ２４０ 参照フレームメモリ管理部、 ２４１ 参照フレームメモリ情報管理部、 ２５０，２５１ 参照ピクチャリスト生成部、 ２６０ アクセスユニット多重部、 ３００ モノラル映像復号部、 ４００ 映像分離部、 ５００ 画像再生装置。
【特許請求の範囲】
【請求項１】
視点が異なる第１の動画像と第２の動画像とを含むステレオ映像がステレオ映像符号化規格に準じて符号化され生成されたステレオ映像符号化ストリームを、第１の動画像と第２の動画像のそれぞれの復号の単位を含むアクセスユニットに分離する分離部と、
モノラル映像符号化規格に準じて生成されたモノラル映像符号化ストリームを、モノラル映像の復号の単位であるアクセスユニット毎に参照ピクチャを用いて復号し、動画フレームを生成するモノラル映像復号部と、
前記分離部が分離したアクセスユニットを、第１の動画像の復号の単位である第１アクセスユニットと、第２の動画像の復号の単位である第２アクセスユニットとに分離し、第１及び第２アクセスユニットに含まれるヘッダをモノラル映像符号化規格に準じたヘッダに変換することによって、第１及び第２アクセスユニットをモノラル映像の復号単位であるアクセスユニットに変換し、変換された第１の動画像のアクセスユニットと第２の動画像のアクセスユニットとを直列に配置することによりモノラル映像符号化ストリームを生成するモノラル映像符号変換部と、
前記モノラル映像符号変換部で生成されたモノラル映像符号化ストリームを前記モノラル映像復号部が復号することにより、第１の動画像のアクセスユニットから復号され生成された第１の動画フレームと第２の動画像のアクセスユニットから復号され生成された第２の動画フレームとが混在するモノラル映像を、第１の動画フレームと第２の動画フレームとのふたつの動画フレームに分離する映像分離部とを含むことを特徴とする画像再生装置。
【請求項２】
前記モノラル映像符号変換部は、
前記分離部が分離したアクセスユニットを、第１の動画像の復号の単位である第１アクセスユニットと、第２の動画像の復号の単位である第２アクセスユニットとに分離するアクセスユニット分離部と、
第１アクセスユニットまたは第２アクセスユニットのヘッダに含まれる参照ピクチャ情報をもとに、参照ピクチャが格納されるメモリ内の参照ピクチャの格納順序を管理する参照ピクチャメモリ管理部と、
前記参照ピクチャメモリ管理部から取得した参照ピクチャの格納順序をもとに、前記モノラル映像復号部が用いる参照ピクチャの一覧を作成する参照ピクチャリスト生成部と、
前記参照ピクチャリスト生成部が作成した参照ピクチャの一覧をもとに第１アクセスユニットのヘッダをモノラル映像符号化規格に準じたヘッダに変換することで、第１アクセスユニットをモノラル映像の復号単位であるアクセスユニットに変換する第１アクセスユニット変換部と、
前記参照ピクチャリスト生成部が生成した参照ピクチャの一覧をもとに第２アクセスユニットのヘッダをモノラル映像符号化規格に準じたヘッダに変換することで、第２アクセスユニットをモノラル映像の復号単位であるアクセスユニットに変換する第２アクセスユニット変換部と、
第１アクセスユニット変換部が変換した第１の動画像のアクセスユニットと、第２アクセスユニット変換部が変換した第２の動画像のアクセスユニットとを交互に配置することにより、モノラル映像符号化ストリームを生成するアクセスユニット多重化部とを含むことを特徴とする請求項１に記載の画像再生装置。
【請求項３】
前記第１アクセスユニット変換部は、ある第１アクセスユニットが他の第１アクセスユニットからは参照されないが、第２アクセスユニットからは参照される場合、当該第１アクセスユニットに他のアクセスユニットから参照されることを示す強制変更フラグを付し、
前記参照ピクチャメモリ管理部は、第１アクセスユニットに強制変更フラグが付されている場合、当該第１アクセスユニットを参照画像として管理し、
前記ピクチャリスト生成部は、強制変更フラグが付された第１アクセスユニットを参照ピクチャの一覧に加えることを特徴とする請求項２に記載の画像再生装置。
【請求項４】
視点が異なる第１の動画像と第２の動画像とを含むステレオ映像がステレオ映像符号化規格に準じて符号化され生成されたステレオ映像符号化ストリームを、第１の動画像と第２の動画像のそれぞれの復号の単位を含むアクセスユニットに分離するステップと、
分離されたアクセスユニットを、第１の動画像の復号の単位である第１アクセスユニットと、第２の動画像の復号の単位である第２アクセスユニットとに分離し、第１及び第２アクセスユニットに含まれるヘッダをモノラル映像符号化規格に準じたヘッダに変換することによって、第１及び第２アクセスユニットをモノラル映像の復号単位であるアクセスユニットに変換し、変換された第１の動画像のアクセスユニットと第２の動画像のアクセスユニットとを直列に配置することによりモノラル映像符号化ストリームを生成するステップと、
生成されたモノラル映像符号化ストリームをモノラル映像の復号の単位であるアクセスユニット毎に参照ピクチャを用いて復号することにより、第１の動画像のアクセスユニットから復号され生成された第１の動画フレームと第２の動画像のアクセスユニットから復号され生成された第２の動画フレームとが混在するモノラル映像を、第１の動画フレームと第２の動画フレームとのふたつの動画フレームに分離するステップとをプロセッサに実行させること特徴とする画像再生方法。
【請求項５】
視点が異なる第１の動画像と第２の動画像とを含むステレオ映像がステレオ映像符号化規格に準じて符号化され生成されたステレオ映像符号化ストリームを、第１の動画像と第２の動画像のそれぞれの復号の単位を含むアクセスユニットに分離する機能と、
分離されたアクセスユニットを、第１の動画像の復号の単位である第１アクセスユニットと、第２の動画像の復号の単位である第２アクセスユニットとに分離し、第１及び第２アクセスユニットに含まれるヘッダをモノラル映像符号化規格に準じたヘッダに変換することによって、第１及び第２アクセスユニットをモノラル映像の復号単位であるアクセスユニットに変換し、変換された第１の動画像のアクセスユニットと第２の動画像のアクセスユニットとを直列に配置することによりモノラル映像符号化ストリームを生成する機能と、
生成されたモノラル映像符号化ストリームをモノラル映像の復号の単位であるアクセスユニット毎に参照ピクチャを用いて復号することにより、第１の動画像のアクセスユニットから復号され生成された第１の動画フレームと第２の動画像のアクセスユニットから復号され生成された第２の動画フレームとが混在するモノラル映像を、第１の動画フレームと第２の動画フレームとのふたつの動画フレームに分離する機能とをコンピュータに実現させることを特徴とする画像再生用プログラム。
【請求項１】
視点が異なる第１の動画像と第２の動画像とを含むステレオ映像がステレオ映像符号化規格に準じて符号化され生成されたステレオ映像符号化ストリームを、第１の動画像と第２の動画像のそれぞれの復号の単位を含むアクセスユニットに分離する分離部と、
モノラル映像符号化規格に準じて生成されたモノラル映像符号化ストリームを、モノラル映像の復号の単位であるアクセスユニット毎に参照ピクチャを用いて復号し、動画フレームを生成するモノラル映像復号部と、
前記分離部が分離したアクセスユニットを、第１の動画像の復号の単位である第１アクセスユニットと、第２の動画像の復号の単位である第２アクセスユニットとに分離し、第１及び第２アクセスユニットに含まれるヘッダをモノラル映像符号化規格に準じたヘッダに変換することによって、第１及び第２アクセスユニットをモノラル映像の復号単位であるアクセスユニットに変換し、変換された第１の動画像のアクセスユニットと第２の動画像のアクセスユニットとを直列に配置することによりモノラル映像符号化ストリームを生成するモノラル映像符号変換部と、
前記モノラル映像符号変換部で生成されたモノラル映像符号化ストリームを前記モノラル映像復号部が復号することにより、第１の動画像のアクセスユニットから復号され生成された第１の動画フレームと第２の動画像のアクセスユニットから復号され生成された第２の動画フレームとが混在するモノラル映像を、第１の動画フレームと第２の動画フレームとのふたつの動画フレームに分離する映像分離部とを含むことを特徴とする画像再生装置。
【請求項２】
前記モノラル映像符号変換部は、
前記分離部が分離したアクセスユニットを、第１の動画像の復号の単位である第１アクセスユニットと、第２の動画像の復号の単位である第２アクセスユニットとに分離するアクセスユニット分離部と、
第１アクセスユニットまたは第２アクセスユニットのヘッダに含まれる参照ピクチャ情報をもとに、参照ピクチャが格納されるメモリ内の参照ピクチャの格納順序を管理する参照ピクチャメモリ管理部と、
前記参照ピクチャメモリ管理部から取得した参照ピクチャの格納順序をもとに、前記モノラル映像復号部が用いる参照ピクチャの一覧を作成する参照ピクチャリスト生成部と、
前記参照ピクチャリスト生成部が作成した参照ピクチャの一覧をもとに第１アクセスユニットのヘッダをモノラル映像符号化規格に準じたヘッダに変換することで、第１アクセスユニットをモノラル映像の復号単位であるアクセスユニットに変換する第１アクセスユニット変換部と、
前記参照ピクチャリスト生成部が生成した参照ピクチャの一覧をもとに第２アクセスユニットのヘッダをモノラル映像符号化規格に準じたヘッダに変換することで、第２アクセスユニットをモノラル映像の復号単位であるアクセスユニットに変換する第２アクセスユニット変換部と、
第１アクセスユニット変換部が変換した第１の動画像のアクセスユニットと、第２アクセスユニット変換部が変換した第２の動画像のアクセスユニットとを交互に配置することにより、モノラル映像符号化ストリームを生成するアクセスユニット多重化部とを含むことを特徴とする請求項１に記載の画像再生装置。
【請求項３】
前記第１アクセスユニット変換部は、ある第１アクセスユニットが他の第１アクセスユニットからは参照されないが、第２アクセスユニットからは参照される場合、当該第１アクセスユニットに他のアクセスユニットから参照されることを示す強制変更フラグを付し、
前記参照ピクチャメモリ管理部は、第１アクセスユニットに強制変更フラグが付されている場合、当該第１アクセスユニットを参照画像として管理し、
前記ピクチャリスト生成部は、強制変更フラグが付された第１アクセスユニットを参照ピクチャの一覧に加えることを特徴とする請求項２に記載の画像再生装置。
【請求項４】
視点が異なる第１の動画像と第２の動画像とを含むステレオ映像がステレオ映像符号化規格に準じて符号化され生成されたステレオ映像符号化ストリームを、第１の動画像と第２の動画像のそれぞれの復号の単位を含むアクセスユニットに分離するステップと、
分離されたアクセスユニットを、第１の動画像の復号の単位である第１アクセスユニットと、第２の動画像の復号の単位である第２アクセスユニットとに分離し、第１及び第２アクセスユニットに含まれるヘッダをモノラル映像符号化規格に準じたヘッダに変換することによって、第１及び第２アクセスユニットをモノラル映像の復号単位であるアクセスユニットに変換し、変換された第１の動画像のアクセスユニットと第２の動画像のアクセスユニットとを直列に配置することによりモノラル映像符号化ストリームを生成するステップと、
生成されたモノラル映像符号化ストリームをモノラル映像の復号の単位であるアクセスユニット毎に参照ピクチャを用いて復号することにより、第１の動画像のアクセスユニットから復号され生成された第１の動画フレームと第２の動画像のアクセスユニットから復号され生成された第２の動画フレームとが混在するモノラル映像を、第１の動画フレームと第２の動画フレームとのふたつの動画フレームに分離するステップとをプロセッサに実行させること特徴とする画像再生方法。
【請求項５】
視点が異なる第１の動画像と第２の動画像とを含むステレオ映像がステレオ映像符号化規格に準じて符号化され生成されたステレオ映像符号化ストリームを、第１の動画像と第２の動画像のそれぞれの復号の単位を含むアクセスユニットに分離する機能と、
分離されたアクセスユニットを、第１の動画像の復号の単位である第１アクセスユニットと、第２の動画像の復号の単位である第２アクセスユニットとに分離し、第１及び第２アクセスユニットに含まれるヘッダをモノラル映像符号化規格に準じたヘッダに変換することによって、第１及び第２アクセスユニットをモノラル映像の復号単位であるアクセスユニットに変換し、変換された第１の動画像のアクセスユニットと第２の動画像のアクセスユニットとを直列に配置することによりモノラル映像符号化ストリームを生成する機能と、
生成されたモノラル映像符号化ストリームをモノラル映像の復号の単位であるアクセスユニット毎に参照ピクチャを用いて復号することにより、第１の動画像のアクセスユニットから復号され生成された第１の動画フレームと第２の動画像のアクセスユニットから復号され生成された第２の動画フレームとが混在するモノラル映像を、第１の動画フレームと第２の動画フレームとのふたつの動画フレームに分離する機能とをコンピュータに実現させることを特徴とする画像再生用プログラム。
【図１】
【図２】
【図３】
【図４】
【図５】
【図６】
【図７】
【図８】
【図９】
【図１０】
【図１１】
【図１２】
【図１３】
【図１４】
【図１５】
【図１６】
【図１７】
【図１８】
【図１９】
【図２０】
【図２１】
【図２２】
【図２】
【図３】
【図４】
【図５】
【図６】
【図７】
【図８】
【図９】
【図１０】
【図１１】
【図１２】
【図１３】
【図１４】
【図１５】
【図１６】
【図１７】
【図１８】
【図１９】
【図２０】
【図２１】
【図２２】
【公開番号】特開２０１１−２１１６０５（Ｐ２０１１−２１１６０５Ａ）
【公開日】平成２３年１０月２０日（２０１１．１０．２０）
【国際特許分類】
【出願番号】特願２０１０−７８８７５（Ｐ２０１０−７８８７５）
【出願日】平成２２年３月３０日（２０１０．３．３０）
【出願人】（０００００４３２９）日本ビクター株式会社 (3,896)
【Ｆターム（参考）】
【公開日】平成２３年１０月２０日（２０１１．１０．２０）
【国際特許分類】
【出願日】平成２２年３月３０日（２０１０．３．３０）
【出願人】（０００００４３２９）日本ビクター株式会社 (3,896)
【Ｆターム（参考）】
[ Back to top ]