多視点画像符号化装置、多視点画像復号装置、多視点画像符号化方法及び多視点画像復号方法
【課題】符号化時に奥行き画像を用いず、処理コストが増加しない。
【解決手段】第１の視点の画像である第１視点画像と第２の視点の画像である第２視点画像との間で、画像領域単位毎に視差情報を生成する視差情報生成部と、前記第２視点画像を、異なるフレームの第２視点画像との間で視点内予測符号化して第１のデータを生成する視点内予測符号化部と、前記視差情報に基づいて前記第１視点画像との間で視点間予測符号化して第２のデータを生成する視点間予測符号化部と、を備える。
【解決手段】第１の視点の画像である第１視点画像と第２の視点の画像である第２視点画像との間で、画像領域単位毎に視差情報を生成する視差情報生成部と、前記第２視点画像を、異なるフレームの第２視点画像との間で視点内予測符号化して第１のデータを生成する視点内予測符号化部と、前記視差情報に基づいて前記第１視点画像との間で視点間予測符号化して第２のデータを生成する視点間予測符号化部と、を備える。
【発明の詳細な説明】
【技術分野】
【０００１】
本発明は、多視点画像符号化装置、多視点画像復号装置、多視点画像符号化方法及び多視点画像復号方法に関する。
【背景技術】
【０００２】
近年、立体画像ディスプレイ及び立体画像コンテンツの普及が進みつつある。立体画像ディスプレイでは、２眼式の立体画像ディスプレイが広く用いられている。２眼式の立体画像ディスプレイの方式の一つにアクティブシャッター方式がある。アクティブシャッター方式の立体画像ディスプレイは、左眼用画像と右眼用画像を時分割で交互にスクリーンに表示させる。一方、観賞者が装着する液晶シャッターメガネは、左眼と右眼に対応したシャッターを、それぞれ左眼用画像、右眼用画像を表示するタイミングに同期させて開閉する。これにより、左眼は左眼用画像のみ、右眼は右眼用画像のみを見ることが可能となる。その結果、鑑賞者は、ディスプレイに表示された画像について立体感を知覚することができる。
【０００３】
立体画像を表示・鑑賞するためには、上記の通り左眼用と右眼用の２視点分の画像データが必要になる。従って、立体画像の画像データは、従来の平面画像の画像データと比べると情報量が約２倍に増加する。これを効率よく圧縮・記録するための符号化方式として、国際標準であるＩＴＵ−Ｔ Ｈ．２６４、及びＡｄｖａｎｃｅｄ Ｖｉｄｅｏ Ｃｏｄｉｎｇ（ＩＳＯ／ＩＥＣ １４４９６−１０）のＡｎｎｅｘ Ｈとして、Ｍｕｌｔｉ−ｖｉｅｗ Ｖｉｄｅｏ Ｃｏｄｉｎｇ（以下、ＭＶＣと記す）が規定されている。ＭＶＣは、多視点の動画像を効率よく圧縮するための符号化方式である。ＭＶＣは、例えば３Ｄ（３次元；ｔｈｒｅｅ ｄｉｍｅｎｓｉｏｎ）映画などの立体映像をＢｌｕ−ｒａｙ Ｄｉｓｃに格納する際の符号化方式として採用されている。
【０００４】
上記のような、左眼用画像と右眼用画像の２視点の画像を表示する２眼式の立体画像ディスプレイの普及が進む一方で、多眼式の立体画像ディスプレイの普及も期待されている。多眼式の立体画像ディスプレイは、スクリーン面から発する光の方向を制御するための光学的な機構を備える。多眼式の立体画像ディスプレイは、この機構により、左眼用画像を左眼にのみ、右眼用画像を右眼にのみ見せる。そのため、多眼式の立体画像ディスプレイでは、アクティブシャッター方式で使用するようなメガネは不要となる。さらに、多眼式の立体画像ディスプレイでは、２視点を超える視点数での画像表示、すなわち観賞位置の移動に伴う観賞画像の変化を再現させることも可能となる。このような光学的な機構の例としてはパララクスバリアやレンティキュラレンズなどがある。これらの機構では、その構造と加工の精細度により、観賞可能な視点数が決定される。現状では、５視点や８視点などの多眼式立体画像ディスプレイが実用化されている。
【０００５】
多眼式の立体画像ディスプレイを使用すると、視点が２視点に限定されないため、立体画像の観賞における自由度や自然さが向上するという利点がある。しかし一方で、視点数が増えることによって、必要となる画像のデータ量が増加するため、記録や伝送にかかるコストが増大するという問題がある。
【０００６】
この問題に対して、特許文献１では、複数の視点画像を符号化すると共に、複数の視点画像から生成した奥行き情報も符号化し、両者を含む符号化ストリームを生成する画像符号化装置が開示されている。奥行き画像を利用することで、入力された視点画像から、入力にない仮想視点の画像を生成することができるため、多視点画像を効率よく伝送または蓄積することができる。
ここで、特許文献１記載の技術では、視差補償予測符号化方式が利用されている。視差補償予測符号化方式は、撮影視点が異なることにより生じる視差を画像から抽出し、視差を補償して予測符号化を行うものである。視差補償予測符号化方式は、前述のＭＶＣでも導入されている技術である。
【０００７】
視差補償予測符号化方式における視差の抽出は、ブロックマッチングにより行われる。ブロックマッチングとは、対象画像を所定サイズで分割したブロックごとに、参照画像との比較で最も一致度の高いブロックを探索する処理である。特許文献２には、ブロックマッチングを複数画像間に適用して視差ベクトルを検出する符号化方式が開示されている。
【先行技術文献】
【特許文献】
【０００８】
【特許文献１】特開２０１０−１５７８２３号公報
【特許文献２】特開平６−９８３１２号公報
【発明の概要】
【発明が解決しようとする課題】
【０００９】
しかしながら、奥行き情報は符号化装置において常に利用可能であるとは限らない。符号化装置において奥行き情報が利用できない場合、特に処理能力の低い符号化装置では、奥行き画像を生成するための演算処理の負荷が大きくなる。その結果、画像符号化のリアルタイム処理が困難となる。奥行き画像が予め用意される場合であっても、奥行き画像を格納するためのメモリ空き容量を確保する必要があるため、特に小型の端末にとってはコスト増加の一因となる。また、複数の視点画像に加えて奥行き画像も符号化・伝送するため、伝送回線の帯域が充分確保できない場合に、データ伝送の遅延やそれに伴う待ち時間の増加などを生じ、サービスの使い勝手の低下を招くことになる。
つまり、符号化時に奥行き画像を用いると、処理コストが増加するという問題があった。
【００１０】
本発明は、上記の問題点に鑑みてなされたものであり、符号化時に奥行き画像を用いず、処理コストが増加しない多視点画像符号化装置、多視点画像復号装置、多視点画像符号化方法及び多視点画像復号方法を提供する。
【課題を解決するための手段】
【００１１】
（１）本発明は上記の課題を解決するためになされたものであり、本発明の一態様は、第１の視点の画像である第１視点画像と第２の視点の画像である第２視点画像との間で、画像領域単位毎に視差情報を生成する視差情報生成部と、前記第２視点画像を、異なるフレームの第２視点画像との間で視点内予測符号化して第１のデータを生成する視点内予測符号化部と、前記視差情報に基づいて前記第１視点画像との間で視点間予測符号化して第２のデータを生成する視点間予測符号化部と、を備えることを特徴とする多視点画像符号化装置である。
【００１２】
（２）また、本発明の一態様は、上記の多視点画像符号化装置において、第１のデータと第２のデータのデータ量に関する情報に基づいて、前記画像領域毎に前記第１の符号化データ又は前記第２の符号化データのいずれかを、当該画像領域の符号化データとして選択する符号化データ生成部を備えることを特徴とする。
【００１３】
（３）また、本発明の一態様は、上記の多視点画像符号化装置において、前記画像領域の符号化データには、当該領域の視差情報が含まれることを特徴とする。
【００１４】
（４）また、本発明の一態様は、上記の多視点画像符号化装置において、前記符号化データ生成部は、前記視差情報を符号化して符号化視差情報を生成し、前記符号化データと前記符号化視差情報を出力することを特徴とする。
【００１５】
（５）また、本発明の一態様は、上記の多視点画像符号化装置において、前記第１のデータ及び前記第２のデータは、前記画像領域毎に生成され、前記第１のデータ及び前記第２のデータに前記視差情報が含まれないことを特徴とする。
【００１６】
（６）また、本発明の一態様は、符号化された第１視点画像を復号する第１視点画像復号部と、符号化された第２視点画像を復号すると共に、第１視点画像と第２視点画像間の視差情報を抽出する第２視点画像復号部と、前記第２視点画像復号部によって抽出された視差情報に基づいて奥行き画像を生成する奥行き画像生成部と、を備えることを特徴とする多視点画像復号装置である。
【００１７】
（７）また、本発明の一態様は、上記の多視点画像復号装置において、前記奥行き画像生成部は、
前記視差情報と、前記第１の視点に配置された第１撮像部と前記第２の視点に配置された第２撮像部との間の撮像部間距離、及び前記第１撮像部及び第２撮像部と被写体との間の撮影距離とに基づいて、画像領域単位の代表奥行き値を算出する代表奥行き値算出部と、複数の前記代表奥行き値に基づいて補間を行うことにより、奥行き画像を生成する奥行きマッピング部と、を備えることを特徴とする。
【００１８】
（８）また、本発明の一態様は、多視点画像符号化装置における方法であって、視差情報生成部が、第１の視点の画像である第１視点画像と第２の視点の画像である第２視点画像との間で、画像領域単位毎に視差情報を生成する視差情報生成過程と、視点内予測符号化部が、前記第２視点画像を、異なるフレームの第２視点画像との間で視点内予測符号化して第１の符号化データを生成する視点内予測符号化過程と、前記視差情報に基づいて前記第１視点画像との間で視点間予測符号化して第２の符号化データを生成する視点間予測符号化過程と、を備えることを特徴とする多視点画像符号化方法である。
【００１９】
（９）また、本発明の一態様は、多視点画像復号装置における方法であって、第１視点画像復号部が、符号化された第１視点画像を復号する第１視点画像復号過程と、第２視点画像復号部が、符号化された第２視点画像を復号すると共に、第１視点画像と第２視点画像間の視差情報を抽出する第２視点画像復号過程と、奥行き画像生成部が、前記第２視点画像復号部によって抽出された視差情報に基づいて奥行き画像を生成する奥行き画像生成過程と、を備えることを特徴とする多視点画像復号方法である。
【発明の効果】
【００２０】
本発明によれば、符号化時に奥行き画像を用いず、処理コストが増加しない。
【図面の簡単な説明】
【００２１】
【図１】本発明の第１の実施形態に係る多視点画像符号化システムを示す概念図である。
【図２】本実施形態に係る多視点画像符号化装置の構成を示す概略ブロック図である。
【図３】本実施形態に係る視差情報生成部の構成を示す概略ブロック図である。
【図４】本実施形態に係る多視点画像符号化装置の構成を示す概略ブロック図である。
【図５】本実施形態に係る非基準視点画像符号化部の構成を示す概略ブロック図である。
【図６】本実施形態に係る符号化データ生成部が生成する符号化データの構造の一例を示す図である。
【図７】本実施形態に係るスライスのデータ構成の例を説明する説明図である。
【図８】多視点画像符号化装置の内部処理手順を示すフローチャートである。
【図９】本実施形態に係る多視点画像復号装置の構成を示す概略ブロック図である。
【図１０】本実施形態に係る非基準視点画像復号部の構成を示す概略ブロック図である。
【図１１】本実施形態に係る奥行き画像生成部の構成を示す概略ブロック図である。
【図１２】本実施形態に係る代表奥行き値算出部における代表奥行き値算出処理を説明する説明図である。
【図１３】本実施形態に係る撮影距離を示す説明図である。
【図１４】本実施形態に係る多視点画像復号装置の内部処理手順を示すフローチャートである。
【発明を実施するための形態】
【００２２】
（第１の実施形態）
以下、図面を参照しながら本発明の第１の実施形態について詳しく説明する。図１は、本実施形態に係る多視点画像処理システムを示す概念図である。
図示する例では、多視点画像処理システムＡは、撮像機器１及び表示機器２を具備する。
【００２３】
撮像機器１は、複数の撮像部１１−１（第１の視点）、１１−２（第２の視点）を有する。撮像機器１は、撮像部１１−１、１１−２を用いて撮像し、それぞれ基準視点画像（第１視点画像）及び非基準視点画像（第２視点画像）を撮像する。撮像機器１は、撮像した基準視点画像及び非基準視点画像に基づいて、符号化ストリームを生成する。ここで、符号化ストリームとは、基準視点画像及び非基準視点画像を圧縮符号化した一連のデータ列を表す。
表示機器２は、撮像機器１で生成された符号化ストリームを復号し（解凍処理を含む）立体画像情報を生成する。表示機器２は、生成した立体画像情報が示す立体画像を表示部２４に表示する。なお、図１では、撮像機器１は、小型のディジタルカメラに実装されており、２視点のものを示したが、本発明の実施形態は、これに限定されない。
【００２４】
図２は、撮像機器１の構成を示す概略ブロック図である。撮像機器１は、撮像部１１−１、１１−２、撮影制御部１２、多視点画像符号化装置１３、通信部１４を含んで構成される。
撮像部１１−１、１１−２は、画像を撮像する。撮像部１１−１、１１−２は、異なる視点から同一視野角内の画像を撮像する。撮像部１１−１、１１−２は、それぞれが異なる視点に対応する。基準視点は、多視点画像データを生成する際の基準となる視点であり、撮像部１１−１が設けられた点である。非基準視点は、基準視点とは別の視点であり、撮像部１１−２が設けられた点である。撮像部１１−１、１１−２は、撮影制御部１２から焦点距離を設定され、設定された焦点距離となるようにレンズを調整する。撮像部１１−１、１１−２は、撮像した画像データを撮影制御部１２に出力する。
【００２５】
撮影制御部１２は、撮像部１１−１、１１−２の各々から入力された画像データに基づいて、基準視点画像（第１視点画像）、非基準視点画像（第２視点画像）を生成する。ここで、基準視点画像とは、撮像部１１−１が基準視点から撮像した画像である。非基準視点画像とは、撮像部１１−２が非基準視点から撮像した画像である。
【００２６】
撮影制御部１２は、撮像部間距離Ｂや、焦点距離（撮影距離）Ｌ等を含む撮影条件情報を生成する。ここで、撮像部間距離Ｂとは、予め定められた撮像部１１−１、１１−２の間の距離である。また、焦点距離Ｌとは、撮影制御部１２が設定した撮像部１１−１、１１−２と被写体との距離である。撮影制御部１２は、基準視点画像、非基準視点画像、及び撮影条件情報を多視点画像符号化装置１３に出力する。
【００２７】
多視点画像符号化装置１３は、撮影制御部１２から入力された基準視点画像、非基準視点画像に基づいて、視差情報を生成する。多視点画像符号化装置１３は、非基準視点画像を予め定めた大きさの画像領域単位毎に視点内予測符号化すると共に、視差情報に基づいて非基準視点画像と基準視点画像との間で視点間予測符号化する。多視点画像符号化装置１３は、非基準視点画像を視点内予測符号化又は視点間予測符号化することにより符号化非基準視点画像を生成する。多視点画像符号化装置１３は、基準視点画像及び撮影条件情報を符号化することにより、符号化基準視点画像、及び符号化撮影条件情報を生成する。符号化多視点画像符号化装置１３は、符号化基準視点画像、符号化非基準視点画像、及び符号化撮影条件情報を通信部１４に出力する。なお、多視点画像符号化装置１３の詳細については後述する。
【００２８】
通信部１４は、多視点画像符号化装置１３から入力された符号化基準視点画像、符号化非基準視点画像、及び符号化撮影条件情報を含む符号化ストリームを生成する。通信部１４は、生成した符号化ストリームを表示機器２に送信する。
【００２９】
図３は、表示機器２の構成を示す概略ブロック図である。表示機器２は、通信部２１、多視点画像復号装置２２、画像処理部２３、及び表示部２４を含んで構成される。
通信部２１は、撮像機器１から送信された符号化ストリームを受信する。通信部２１は、符号化ストリームから符号化基準視点画像、符号化非基準視点画像、及び符号化撮影条件情報を抽出する。通信部２１は、抽出した符号化基準視点画像、符号化非基準視点画像、及び符号化撮影条件情報を多視点画像復号装置２２に出力する。符号化ストリームの送信は、インターフェースを介する有線又は無線伝送手段により行う。無線による伝送には赤外線を用いるものを含む。
【００３０】
多視点画像復号装置２２は、通信部２１から入力された符号化基準視点画像、符号化非基準視点画像、及び符号化撮影条件情報を復号し、基準視点画像、非基準視点画像、及び撮影条件情報を生成する。また、多視点画像復号装置２２は、非基準視点画像及び撮影条件情報に基づいて非基準視点画像に対応する奥行き画像を生成する。多視点画像復号装置２２は、生成した基準視点画像、非基準視点画像、奥行き画像、及び撮影条件情報を画像処理部２３に出力する。なお、多視点画像復号装置２２の詳細については後述する。
【００３１】
画像処理部２３は、多視点画像復号装置２２から入力された基準視点画像、非基準視点画像、奥行き画像、及び撮影条件情報に基づいて、表示部２４に表示させる立体画像情報を生成する。立体画像情報を生成する際、画像処理部２３は、図示しない操作手段や制御手段からの指示に応じて、基準視点画像や非基準視点画像とは異なる視点に対応する仮想視点画像を生成する。仮想視点画像を生成する際は、奥行き画像を利用して、基準視点画像および非基準視点画像の各画素値に基づいて仮想視点画像を生成する。画像処理部２３は、基準視点画像、非基準視点画像、生成した仮想視点画像から、２視点以上の画像を含んで構成される立体画像情報を生成し、生成した立体画像情報を表示部２４に出力する。
表示部２４は、画像処理部２３から入力された立体画像情報に基づいて、立体画像を表示面に表示する。
【００３２】
図４は、本実施形態に係る多視点画像符号化装置１３の構成を示す概略ブロック図である。
多視点画像符号化装置１３は、視点画像符号化部１３Ａ及び撮影条件情報符号化部１３４を含んで構成される。
視点画像符号化部１３Ａは、撮影制御部１２から入力された基準視点画像及び非基準視点画像を含む多視点画像を符号化する。この際、視点画像符号化部１３Ａは、基準視点画像及び非基準視点画像を符号化単位領域毎に符号化する。ここで、符号化単位領域とは、基準視点画像及び非基準視点画像を分割した領域である。また、符号化単位領域とは、例えば８Ｘ８画素から構成される単位に分割した矩形の領域のことである。基準視点画像及び非基準視点画像は、複数の符号化単位領域の組み合わせで構成される。視点画像符号化部１３Ａは、符号化基準視点画像、及び符号化非基準視点画像を通信部１４に出力する。
撮影条件情報符号化部１３４は、撮影制御部１２から入力された撮影条件情報を符号化し、符号化撮影条件情報を生成する。撮影条件情報符号化部１３４は、生成した符号化撮影条件情報を通信部１４に出力する。
【００３３】
視点画像符号化部１３Ａは、基準視点画像符号化部１３１、視差情報生成部１３２、及び非基準視点画像符号化部１３３を含んで構成される。
基準視点画像符号化部１３１は、撮影制御部１２から入力された基準視点画像を符号化単位領域毎に圧縮符号化する。基準視点画像符号化部１３１は、基準視点画像を視点内予測符号化方式により圧縮符号化し、符号化基準視点画像を生成する。ここで、視点内予測符号化方式とは、単一視点の画像データのみに基づいて画像データを圧縮符号化する符号化方式である。視点内予測符号化方式では、画面内予測及び動き補償・予測を行って画像データを圧縮符号化する。基準視点画像符号化部１３１は、圧縮符号化した符号化基準視点画像（第１の符号化データ）を復号して基準視点画像を生成する。基準視点画像符号化部１３１は、生成した基準視点画像を非基準視点画像符号化部１３３に出力する。基準視点画像符号化部１３１は、生成した符号化基準視点画像を通信部１４に出力する。
【００３４】
視差情報生成部１３２は、撮影制御部１２から入力された基準視点画像と非基準視点画像とに基づいて、基準視点画像と非基準視点画像との間の視差を示す視差情報を生成する。
具体的には、視差情報生成部１３２は、非基準視点画像内の対象ブロック（例えば８画素×８画素の画像ブロック）と最も類似度の高い基準視点画像内の画像ブロックを探索する（類似ブロック探索処理と呼ぶ）。類似ブロック探索処理は、例えば、ブロックマッチングにより行うことができる。視差情報生成部１３２は、類似ブロック探索処理を行った結果得られた、画像ブロックと対象ブロックとの間の画像上の距離（ベクトル）を算出する。
視差情報生成部１３２は、算出したベクトルの水平方向の成分を、前記２つの画像間の視差を表す視差情報として抽出する。視差情報生成部１３２は、抽出した視差情報を非基準視点画像符号化部１３３へ出力する。
【００３５】
非基準視点画像符号化部１３３は、撮影制御部１２から入力された非基準視点画像を符号化単位領域毎に圧縮符号化する。非基準視点画像符号化部１３３は、非基準視点画像を、基準視点画像符号化部１３１から入力された基準視点画像を参照して視点間予測符号化方式により圧縮符号化する。ここで、視点間予測符号化方式とは、ある視点（ここでは、非基準視点）から撮像した画像データを、別の視点（ここでは、基準視点）から撮像した画像データを参照して圧縮符号化する符号化方式である。視点間予測符号化方式では、視差補償・予測を行って画像データを圧縮符号化する。非基準視点画像符号化部１３３は、視差補償・予測を行う際に、後述するように、視差情報生成部１３２から入力される視差情報を用いて視差補償・予測を行う。非基準視点画像符号化部１３３は、生成した符号化非基準視点画像（第２の符号化データ）を通信部１４に出力する。
【００３６】
図５は、非基準視点画像符号化部１３３の構成を示す概略ブロック図である。
非基準視点画像符号化部１３３は、視点内予測符号化部１３３１、視点間予測符号化部１３３２、及び符号化データ生成部１３３３を含んで構成される。
視点内予測符号化部１３３１は、撮影制御部１２から入力された非基準視点画像に基づいて、同一視点内で動き補償・予測を行う。具体的には、視点内予測符号化部１３３１は、処理対象のブロックにおける非基準視点画像の画素値を抽出する。視点内予測符号化部１３３１は、その内部に記録した過去の非基準視点画像の対応する処理対象のブロックの画素値を抽出する。
【００３７】
視点内予測符号化部１３３１は、抽出するブロックを１画素ずつ移動させながら、現在の非基準視点画像の画素値から、抽出した過去の非基準視点画像の画素値を減算した値を計算する。視点内予測符号化部１３３１は、計算した値が最も小さくなるブロックの移動量である（視点内予測情報）を決定する。視点内予測符号化部１３３１は、探索した結果に基づいて、現在の非基準視点画像の画素値から、抽出した過去の非基準視点画像の画素値を減算した値（視点内残差画像ブロックと呼ぶ）を生成する。なお、視点内残差画像ブロックを生成する際には、過去だけでなく、未来の画像（時間的に後に入力される非基準視点画像）を参照して計算してもよい。また、視点内予測符号化部１３３１は、同一視点内での動き補償・予測の他に、同一画像内での画面内予測によって視点内残差画像ブロックを生成してもよい。視点内予測符号化部１３３１は、生成した視点内残差画像ブロックを離散コサイン変換（Ｄｉｓｃｒｅｔｅ Ｃｏｓｉｎｅ Ｔｒａｎｓｆｏｒｍ；ＤＣＴ）、及び量子化することで、視点内予測誤差を生成する。視点内予測符号化部１３３１は、視点内予測誤差及びそれに対応する視点内予測情報を符号化データ生成部１３３３に出力する。
【００３８】
視点間予測符号化部１３３２は、基準視点画像符号化部１３１から入力された基準視点画像、撮影制御部１２から入力された非基準視点画像、及び視差情報生成部１３２から入力された視差情報に基づいて、視点間で視差補償・予測を行う。具体的には、視点間予測符号化部１３３２は、処理対象のブロックにおける非基準視点画像の画素値を抽出する。視点間予測符号化部１３３２は、処理対象のブロックにおける視差情報であって、視差情報生成部１３２から入力された視差情報が示すブロックにおいて、基準視点画像の画素値を抽出する。視点間予測符号化部１３３２は、抽出した非基準視点画像の画素値から、抽出した基準視点画像の画素値を減算する。視点間予測符号化部１３３２は、以上の処理の結果、処理対象ブロックに対応する減算後の画素値で構成される画像ブロックである視点間残差画像ブロックを生成する。
【００３９】
なお、視点間予測符号化部１３３２は、残差画像ブロックの生成を行う際の基準視点画像として、基準視点画像符号化部１３１によって一度符号化し、その後復号された基準視点画像を使用する。これは、復号装置側での視差補償の結果を符号化装置における結果と一致させ、符号化誤差の伝播による符号化画像の品質劣化を回避するためである。
視点間予測符号化部１３３２は、生成した視点間残差画像ブロックを離散コサイン変換（Ｄｉｓｃｒｅｔｅ Ｃｏｓｉｎｅ Ｔｒａｎｓｆｏｒｍ；ＤＣＴ）、及び量子化することで、視点間予測誤差を生成する。視点間予測符号化部１３３２は、生成した視点間予測誤差を符号化データ生成部１３３３に出力する。
【００４０】
符号化データ生成部１３３３は、視点内予測符号化部１３３１から入力された視点内予測誤差及び視点間予測符号化部１３３２から入力された視点間予測誤差に基づいて、符号化データを生成する。具体的には、符号化データ生成部１３３３は、視点内予測誤差と視点間予測誤差のうち、符号量が少ないと判定した予測誤差を選択する。符号化データ生成部１３３３は、選択した予測誤差、視差情報（視点間符号化の場合）、視点内動きベクトル（視点内符号化の場合）、及び符号化タイプ情報を含む符号化非基準視点画像を生成する。ここで、符号化タイプ情報とは、符号量が少ないと判定して選択した予測誤差を生成する際に用いた符号化方法を示す情報であり、視点内予測符号化又は視点間予測符号化のいずれかを示す。また、符号化データ生成部１３３３は、視差情報生成部１３２から入力された視差情報を符号化して符号化視差情報を生成する。符号化データ生成部１３３３は、生成した符号化非基準視点画像（符号化視差情報を含む）を通信部１４へ出力する。
【００４１】
図６は、符号化データ生成部１３３３が生成する符号化非基準視点画像の構造の一例を示す図である。図示する例では、画像（ピクチャ）P１は、撮像部１１−１、又は１１−２が撮像した画像である。ピクチャP１は、１６画素×１６画素で構成される画像領域（マクロブロックと呼ぶ）の集合として表されている。マクロブロックを一次元方向（例えばＸ方向）に複数連結したものをスライスと呼ぶ。図示する例では、スライスｓ１が、符号ｓ１を付したピクチャP1内の画像領域に対応する。
【００４２】
符号ｓ１を付したスライスは、マクロブロックＢ１、Ｂ２、Ｂ３、・・・を含んでいる。符号Ｓ１を付した符号化データは、スライスｓ１に対応する符号化データであり、ヘッダＨ１に続いてマクロブロックＢ１の符号化データ（Ｂ１１、Ｂ１２、Ｂ１３）、マクロブロックＢ２の符号化データ（Ｂ２１、Ｂ２２、Ｂ２３）、・・・が連続して構成されている。各マクロブロックの符号化データは、３つのサブデータから構成される。第１のサブデータは符号化タイプ（視点内予測／視点間予測）を示す情報である。視点内予測は、より詳細には画面内予測と動き予測に分けられるが、ここでは説明を簡便にするため、両者を包含する符号化タイプとして視点内予測と記す。第２のサブデータは予測情報（動きベクトル／視差情報）である。第３のサブデータは予測誤差（視点内／視点間）を示すデータである。マクロブロックの符号化データは、上記の３種のサブデータから構成される。
【００４３】
マクロブロックの符号化データは、第１のサブデータ、第２のサブデータ、第３のサブデータの順に並んで構成されている。例えば、マクロブロックＢ１に対応する符号化データは、符号Ｂ１１を付した符号化タイプ情報（視点内予測）、符号Ｂ１２を付した予測情報（視点内）、符号Ｂ１３を付した予測誤差（視点内）の順に並んで構成される。マクロブロックＢ２に対応する符号化データは、符号Ｂ２１を付した符号化タイプ情報（視点間予測）、符号Ｂ２２を付した予測情報（視差情報）、符号Ｂ２３を付した予測誤差（視点間）の順に並んで構成される。なお、上記Ｂ１を符号化した際の視点内予測が画面内予測（動き予測を用いない）の場合など、予測情報（動きベクトル）に該当する情報が生成されない場合は、予測情報Ｂ１２は省略される。すなわち、上記第２のサブデータは符号化データに含まれない場合もある。
【００４４】
符号化データ生成部１３３３は、上記の符号化データの他に、符号Ｐ２を付した符号化視差情報（第２符号化データ）を生成する。ここで、符号化視差情報とは、視差情報を１ピクチャ分連結させた視差マップの符号化データであり、符号化ブロック毎の視差情報（ｖ１、ｖ２、ｖ３・・・と呼ぶ）からなる符号化データである。
【００４５】
図７は、スライスのデータ構成の例を説明する説明図である。スライスに対応する符号化データは、例えば、図７（ａ）〜（ｃ）に示す構造をとり得る。なお、図７（ａ）〜（ｃ）では、図６で示したヘッダは省略してある。図７（ａ）〜（ｃ）全てに共通して、先頭のマクロブロックは視点内予測符号化された符号化データ、２番目に続くマクロブロックは視点間予測符号化された符号化データでそれぞれ構成された符号化データの例を示している。
図７（ａ）は、本実施形態における符号化データａを示す。符号化データａには、非基準視点画像のマクロブロック符号化データＢ１ａの中に符号Ｂ１１ａを付した符号化タイプ（視点内予測）、符号Ｂ１２ａを付した符号化単位領域毎の視差情報、符号Ｂ１３ａを付した視点内予測情報（視点内動きベクトル）、及び符号Ｂ１４ａを付した視点内予測誤差が含まれる。符号化データａには、それに続いて、符号Ｂ２１ａを付した符号化タイプ（視点間予測）、Ｂ２２ａを付した符号化単位領域毎の視差情報、及び符号Ｂ２３ａを付した視点間予測誤差が含まれる。符号化データａを受信した表示機器２は、符号化データａがマクロブロック毎に視差情報を含んでいるため、受信した符号化データをマクロブロック毎に復号しながら、マクロブロック毎の視差情報を逐次抽出・復号することができる。
【００４６】
図７（ｂ）は、非基準視点画像のスライスの符号化データｂとスライスが含まれるピクチャの視差情報Ｐ２を別のデータとしたデータ構造の例である。非基準視点画像のマクロブロック符号化データＢ１ｂには、符号Ｂ１１ｂを付した符号化タイプ（視点内予測）、符号Ｂ１２ｂを付した視点内予測情報（視点内動きベクトル）、符号Ｂ１３ｂを付した視点内予測誤差が含まれる。それに続いて、符号Ｂ２１ｂを付した符号化タイプ（視点間予測）、符号Ｂ２２ｂを付した視差情報（視点間視差ベクトル）、符号Ｂ２３ｂを付した視点間予測誤差が含まれる。視差情報はさらに、符号Ｐ２を付した符号化視差情報として独立したデータを構成する。
このように構成した非基準視点画像符号化データｂは、例えばＭＶＣのような従来の符号化方式で規定される符号化データ構造との互換性があり、既存の復号装置で復号することが可能である。
【００４７】
図７（ｃ）は、非基準視点画像のスライスの符号化データｃとスライスが含まれるピクチャの視差情報Ｐ２を別のデータ単位とした図７（ｂ）とは別のデータ構造の例である。非基準視点画像のマクロブロック符号化データＢ１ｃには、符号Ｂ１１ｃを付した符号化タイプ（視点内予測）、符号Ｂ１２ｃを付した視点内予測情報（視点内動きベクトル）、符号Ｂ１３ｃを付した視点内予測誤差が含まれる。それに続いて、符号Ｂ２１ｃを付した符号化タイプ（視点間予測）、符号Ｂ２１ｃを付した視点間予測誤差が含まれる。一方視差情報は、符号Ｐ２を付した符号化視差情報として独立したデータを構成する。
【００４８】
このように構成された非基準視点画像の符号化データｃは、視点内予測符号化で符号化されたマクロブロックに関しては、画像を復元するために必要な情報が、非基準視点画像の符号化データｃの中に全て含まれる。一方、視点間予測符号化で符号化されたマクロブロックに関しては、画像を復元するために必要な視差情報が、非基準視点画像の符号化データｃの中には含まれない。従って、視点間予測符号化されたマクロブロックを復号する際には、一旦、視差情報Ｐ２（視差マップ）から該当位置の視差情報ｖ１、ｖ２…を抽出した後で、視差補償を含めた復号処理を行う必要がある。一方、符号化データｂの構造と比べると、非基準視点画像の符号化データｃに視差情報が含まれない分、伝送する符号量を削減できる。
【００４９】
図８は、本実施形態に係る多視点画像符号化装置１３の内部処理手順を示すフローチャートである。
まず、基準視点画像、非基準視点画像、撮影条件情報が入力される（ステップＳ０１）。各入力データは、各処理部において次の通り処理される。
基準視点画像符号化部１３１は、入力された基準視点画像を、視点内予測符号化により圧縮符号化する（ステップＳ０２）。このとき、圧縮符号化された符号化基準視点画像は、非基準視点画像の符号化用に一旦復号し、基準視点画像として復元しておく。そして、符号化された基準視点画像データを、装置外部へ出力する（ステップＳ０３）。
視差情報生成部１３２は、入力された基準視点画像および非基準視点画像に基づいて、基準視点画像と非基準視点画像間の視差情報を生成する（ステップＳ０４）。
非基準視点画像符号化部１３３は、入力された非基準視点画像を、同一視点内の画像との間で視点内予測符号化して視点内予測符号化データを生成する（ステップＳ０５）。また、非基準視点画像符号化部１３３は、基準視点画像符号化部から得られる復元された基準視点画像と、視差情報生成部１３２から得られる視差情報とに基づいて、入力された非基準視点画像を、基準視点画像との間で視点間予測符号化することにより圧縮符号化して視点間予測符号化データを生成する（ステップＳ０６）。
さらに、非基準視点画像符号化部１３３は、生成した視点内予測符号化データと視点間予測符号化データのサイズを比較し、サイズの小さいデータを、符号化非基準視点画像データとして装置外部へ出力する（ステップＳ０７、ステップＳ０８）。
一方、撮影条件情報符号化部１３４は、入力された撮影条件情報を符号化し（ステップＳ０９）、装置外部へ出力する（ステップＳ１０）。
【００５０】
図９は、多視点画像復号装置２２の構成を示す概略ブロック図である。図示する例では、多視点画像復号装置２２は、視点画像復号部２２Ａ、撮影条件情報復号部２２３、奥行き画像生成部２２４を含んで構成される。視点画像復号部２２Ａは、基準視点画像復号部２２１及び非基準視点画像復号部２２２を含んで構成される。
基準視点画像復号部２２１は、通信部２１から入力された符号化基準視点画像を復号することで、基準視点画像を生成する。基準視点画像復号部２２１は、生成した基準視点画像を画像処理部２３及び非基準視点画像復号部２２２に出力する。
【００５１】
非基準視点画像復号部２２２は、基準視点画像復号部２２１から入力された基準視点画像及び通信部２１から入力された符号化非基準視点画像に基づいて、非基準視点画像を生成する。非基準視点画像復号部２２２は、生成した非基準視点画像を画像処理部２３に出力する。また、非基準視点画像復号部２２２は、符号化非基準視点画像に含まれる符号化視差情報を抽出する。非基準視点画像復号部２２２は、抽出した符号化視差情報を復号して視差情報を生成する。非基準視点画像復号部２２２は、生成した視差情報を奥行き画像生成部２２４に出力する。なお、非基準視点画像復号部の詳細については後述する。
撮影条件情報復号部２２３は、通信部２１から入力された符号化撮影条件情報を復号し、撮影条件情報を生成する。撮影条件情報復号部２２３は、生成した撮影条件情報を奥行き画像生成部２２４及び画像処理部２３に出力する。
【００５２】
奥行き画像生成部２２４は、非基準視点画像復号部２２２から入力された視差情報及び撮影条件情報復号部２２３から入力された撮影条件情報に基づいて、非基準視点画像に対応する奥行き画像を生成する。奥行き画像の生成処理の詳細については後述する。
【００５３】
（非基準視点画像復号部の構成）
図１０は、非基準視点画像復号部２２２の構成を示す概略ブロック図である。非基準視点画像復号部２２２は、符号化データ判別部２２２１、視点内予測復号部２２２２、視点間予測復号部２２２３、及び切替部２２２１ａ、２２２１ｂを含んで構成される。
【００５４】
符号化データ判別部２２２１は、通信部２１から入力された符号化非基準視点画像から、第１のサブデータ、第２のサブデータ、第３のサブデータを抽出する。符号化データ判別部２２２１は、抽出した第１のサブデータが示す符号化タイプ情報に基づいて符号化データ判別部２２２１と、視点内予測復号部２２２２又は視点間予測復号部２２２３と、の間を接続する。つまり、符号化データ判別部２２２１は、符号化タイプが視点内予測であった場合は、符号化データ判別部２２２１と、視点内予測復号部２２２２とを、切替部２２２１ａを介して接続させる。符号化データ判別部２２２１は、符号化タイプが視点内予測であった場合は、符号化データ判別部２２２１と、視点間予測復号部２２２３とを、切替部２２２１ａを介して接続させる。
【００５５】
符号化データ判別部２２２１は、第１のサブデータが視点内予測・動き予測の符号化タイプであった場合、すなわち第２のサブデータが視点内動きベクトルであった場合は、視点内動きベクトルを視点内予測復号部２２２２に出力する。符号化データ判別部２２２１は、第１のサブデータが視点間予測の符号化タイプであった場合、すなわち第２のサブデータが視差情報であった場合は、視差情報を視点間予測復号部２２２３に出力する。
【００５６】
符号化データ判別部２２２１は、第１のサブデータが視点内予測（画面内予測または動き予測）の符号化タイプであった場合、すなわち第３のサブデータが視点内予測誤差であった場合は、視点内予測誤差を視点内予測復号部２２２２に出力する。符号化データ判別部２２２１は、第１のサブデータが視点間予測の符号化タイプであった場合、すなわち第３のサブデータが視点間予測誤差であった場合は、視点間予測誤差を視点間予測復号部２２２３に出力する。
符号化データ判別部２２２１は、符号化視差情報を符号化データから抽出する。符号化データ判別部２２２１は、抽出した符号化視差情報を復号する。符号化データ判別部２２２１は、復号された視差情報を視点間予測復号部２２２３及び画像処理部２３に出力する。
【００５７】
視点内予測復号部２２２２は、符号化データ判別部２２２１から入力された視点内予測誤差を、画面内予測の結果または視点内動きベクトルに基づいて復号し、非基準視点画像を生成する。具体的には、視点内予測復号部２２２２は、画面内予測または動き予測による視点内予測誤差に対して逆量子化、逆ＤＣＴを行い、視点内残差画像ブロックを生成する。視点内予測復号部２２２２は、視点内残差画像ブロックの各画素値に、画面内予測の際に利用した周辺の画素値、または視点内動きベクトルが示すブロックに対応する過去の非基準視点画像の各画素値を加えることにより、ブロック化した非基準視点画像を生成する。なお、過去の非基準視点画像は、視点内予測復号部２２２２内または図示しない画像格納用フレームメモリに保存されている。視点内予測復号部２２２２は、生成した、ブロック化した非基準視点画像を切替部２２２１ｂを介して画像処理部２３に出力する。
【００５８】
視点間予測復号部２２２３は、符号化データ判別部２２２１から入力された、視点間予測誤差及び視差情報に基づいて復号し、非基準視点画像を生成する。具体的には、視点間予測復号部２２２３は、視点間予測誤差に対して逆量子化、逆ＤＣＴを行い、視点間残差画像ブロックを生成する。視点間予測復号部２２２３は、視点間残差画像ブロックの各画素値に、基準視点画像復号部２２１から入力された、視差情報が示す基準視点画像の対応する各画素値を加算することにより、ブロック化した非基準視点画像を生成する。視点間予測復号部２２２３は、生成した、ブロック化した非基準視点画像を切替部２２２１ｂを介して画像処理部２３へ出力する。
【００５９】
（奥行き画像生成部の構成）
図１１は、奥行き画像生成部２２４の構成を示す概略ブロック図である。奥行き画像生成部２２４は、距離情報抽出部２２４１、代表奥行き値算出部２２４２、及び奥行き値マッピング部２２４３を含んで構成される。
距離情報抽出部２２４１は、撮影条件情報復号部２２３で復元された撮影条件情報の中から、撮像部間距離Ｂ及び撮影距離Ｌを抽出する。距離情報抽出部２２４１は、抽出した撮像部間距離Ｂ及び撮影距離Ｌを代表奥行き値算出部２２４２へ出力する。
【００６０】
代表奥行き値算出部２２４２は、非基準視点画像復号部２２２、又は符号化データ判別部２２２１から入力された視差情報と、距離情報抽出部２２４１から入力された撮像部間距離Ｂ及び撮影距離Ｌとに基づいて、マクロブロック毎に一つの代表奥行き値を算出する。代表奥行き値の算出方法については後述する。
奥行き値マッピング部２２４３は、代表奥行き値算出部２２４２によって得られた代表奥行き値に基づいて、ブロックを構成する各画素の奥行き値を算出し、奥行き画像に変換する。奥行き値マッピングの処理については後述する。
【００６１】
（代表奥行き値算出処理）
奥行き画像生成部２２４は、式１を用いて代表奥行き値Ｚを算出する。
Ｚ＝ＬｘＢ／（ｖ＋Ｂ） …〔式１〕
ここで、ｖは視差値を、Ｌは撮影距離を、Ｂは撮像部間隔を、Ｚは代表奥行き値を表す。
【００６２】
図１２は、奥行き値と視差情報が示す視差との関係を説明する説明図である。ここでは、２つの視点、すなわち撮像部４１Ａ、４１Ｂ（それぞれ、撮像部１１−１、１１−２に対応する）と、２つの被写体、すなわち４２Ａ、４２Ｂとが、図示する位置関係にある場合について説明する。被写体４２Ａ上の点４３Ａは、撮像部４１Ａ、４１Ｂから撮影距離Ｌだけ離れた平面４０上の位置ＰＬ１及びＰＲ１に投影される。同様に、被写体４２Ｂ上の点４３Ｂは、位置ＰＬ２、ＰＲ２に投影される。
平面４０が観賞時のスクリーン面に相当するとみなすと、位置ＰＬ１は、点４３Ａの左視点画像上の対応する画素を意味する。同様に、位置ＰＲ１は、点４３Ａの右視点画像上の対応する画素を意味する。また、位置ＰＬ２は、被写体４２Ｂ上の点４３Ｂに関する左視点画像上の対応する画素を意味する。位置ＰＲ２は、被写体４２Ｂ上の点４３Ｂに関する右視点画像上の対応する画素を意味する。
【００６３】
２つの撮像部４１Ａ、４１Ｂの間の距離をＢ、撮像部４１Ａ、４１Ｂの撮影距離をＬ、撮像部４１Ａ、４１Ｂから点４３Ａ、４３Ｂまでの距離（代表奥行き値）をそれぞれＺ１、Ｚ２とする。被写体４２Ａに対応する撮像部４１Ａの視点から見た画像と撮像部４１Ｂの視点から見た画像との間の視差をｄ１とする。被写体４２Ｂに対応する撮像部４１Ａの視点から見た画像と撮像部４１Ｂの視点から見た画像との間の視差をｄ２とする。視差ｄ１、撮像部間距離Ｂ、撮影距離Ｌ、及び代表奥行き値Ｚ１との間には、〔式２〕の関係が成り立つ。同様に、視差ｄ２、撮像部間距離Ｂ、撮影距離Ｌ、及び代表奥行き値Ｚ２との間には、〔式３〕の関係が成り立つ。
Ｂ：Ｚ１＝ｄ１：（Ｌ−Ｚ１） …〔式２〕
Ｂ：Ｚ２＝ｄ２：（Ｚ２−Ｌ） …〔式３〕
【００６４】
〔式２〕、〔式３〕は、〔式１〕をそれぞれ被写体４２Ａ上の点４３Ａ、及び被写体４２Ｂ上の点４３Ｂに適用したものである。つまり〔式２〕ではｖ＝ｄ１、〔式３〕ではｖ＝ｄ２となる。ここで、視差ｖを、平面４０上の右視点画像の対応する点と左視点画像の対応する点の距離として定義する。視差ｖは、ｄ１が正の値、視差ｄ２が負の値をとるものと定義する。つまり、被写体が平面４０より撮像部に近いときに視差ｖは正の値をとり、被写体が平面４０より撮像部に遠いときに視差ｖは負の値をとる。視差ｖは、所定のブロック単位で算出されている。視差ｖを算出するブロック単位に関しては、多視点画像符号化装置１３において、このブロック単位を視点間予測符号化方式の処理単位と同じサイズに設定しておくことにより、非基準視点画像復号部２２２で生成した視差を、そのまま非基準視点画像に関する視差として扱うことができる。
【００６５】
図１３は、撮影距離を説明する説明図である。図１３（ａ）は本実施形態で採用する平行法撮影における撮影距離を示している。平行法とは、２つの撮像部４１Ａ、４１Ｂの光軸を平行にして撮影する方法である。平行法では、撮影距離は焦点距離と等しくなる。
なお、立体画像の撮影は、平行法撮影に限られない。図１３（ｂ）は交差法撮影における撮影距離を示す図である。交差法とは、２つの撮像部４１Ａ、４１Ｂの光軸が前方で交差するようにして撮影する方法である。交差法撮影の場合、撮像部４１Ａ、４１Ｂから光軸の交差点（クロスポイント）までの距離を撮影距離Ｌに相当するとみなす。
【００６６】
（奥行き値マッピング処理）
奥行き値マッピング部２２４３は、代表奥行き値算出部２２４２によって算出された代表奥行き値に基づいて、ブロックを構成する画素単位の奥行き値を決定する。具体的には、奥行き値マッピング部２２４３は、代表奥行き値を、ブロックの中心に位置する画素の奥行き値と定める。奥行き値マッピング部２２４３は、当該ブロックの中心以外の画素に関しては、隣接する上下左右のブロックの代表奥行き値と、当該ブロックの代表奥行き値とを用いて線形補間を行い、各画素位置に対応した奥行き値を求める。このようにして、ブロック内の各画素の奥行き値を計算し、奥行き画像を生成する（方法（ａ）と呼ぶ）。
【００６７】
なお、奥行き値マッピング部２２４３による画素単位の奥行き値決定の方法としては、前述のような方法に限定されず、以下の方法に従って決定してもよい。例えば、奥行き値マッピング部２２４３は、（ｂ）隣接する左右のブロックの代表奥行き値との間で線形補間を行い、各画素位置に対応した奥行き値を求める。；（ｃ）隣接する上下のブロックの代表奥行き値との間で線形補間を行い、各画素位置に対応した奥行き値を求める。；（ｄ）代表奥行き値でブロック内一様の奥行き値とする。
【００６８】
上記の方法（ｂ）〜（ｄ）の選択については、例えば、以下のようにする。対応する視点画像内の領域において公知の方法によりエッジ検出を行い、垂直方向のエッジ（被写体と背景の境界）が表れている場合は、左右方向の奥行き変化が大きいと推測されるため方法（ｂ）を選択する。同様に視点画像内の対応する領域において水平方向のエッジが表れている場合は、上下方向の奥行き変化が大きいと推測されるため方法（ｃ）を選択する。対応する視点画像の領域内にエッジがなく、かつブロックサイズが小さい（例えば２×２画素、４×４画素）場合には、方法（ｄ）を選択する。
なお、〔式１〕で得られる奥行き値Ｚは、ＬやＢが実距離を意味するのと同様に、撮像部から被写体までの物理的な距離を表わしている。画素単位の奥行き値を生成する際には、このＺを、画素値を表わす数値範囲（例えば０〜２５５）に変換する。その方法としては、撮影時の距離レンジを表す情報（例えば、画像に含まれる全ての被写体に関するカメラからの距離の最小値と最大値）を撮影条件情報に含めておき、その距離レンジに対応するＺの数値範囲を、所定の数値範囲（０〜２５５）で表わすように変換して、画素単位の奥行き値を得る。
【００６９】
図１４は、本実施形態に係る多視点画像復号装置２２の内部処理手順を示すフローチャートである。
まず、多視点画像符号化装置１３により符号化されたデータである、符号化基準視点画像、符号化非基準視点画像、符号化撮影条件情報が入力される（ステップＳ２１）。各入力データは、各処理部において次の通り処理される。
基準視点画像復号部２２１は、入力された符号化基準視点画像を復号して基準視点画像を生成し（ステップＳ２２）、生成した基準視点画像を装置外部へ出力する（ステップＳ２３）。
非基準視点画像復号部２２２は、入力された符号化非基準視点画像を復号して、基準視点と非基準視点間の視差情報を抽出する（ステップＳ２４）。また、抽出した視差情報を利用しながら符号化非基準視点画像に含まれるその他の符号化データを復号して非基準視点画像を生成し（ステップＳ２５）、生成した非基準視点画像を装置外部へ出力する（ステップＳ２６）。
撮影条件情報復号部２２３は、符号化撮影条件情報を復号して撮影条件情報を生成し（ステップＳ２７）、生成した撮影条件情報を装置外部へ出力する（ステップＳ２８）。
奥行き画像生成部２２４は、非基準視点画像復号部２２２から得られる視差情報と、撮影条件情報復号部２２３から得られる撮影条件情報とに基づいて、非基準視点画像に対応する奥行き画像を生成し（ステップＳ２９）、生成された奥行き画像を装置外部へ出力する（ステップＳ３０）。
【００７０】
上記のように本実施形態では、視差情報生成部１３２は、撮像部１１−１が撮像した基準視点画像と、撮像部１１−２が撮影した非基準視点画像との間で、画像領域単位ごとに視差情報を生成する。視点内予測符号化部１３３１は、非基準視点画像を、同一画像内または過去のフレームを用いて視点内予測符号化する。視点間予測符号化部１３３２は、視差情報に基づいて基準視点画像と非基準視点画像の間で視点間予測符号化する。これにより、本実施形態では奥行き画像の符号化・伝送を行わずに複数の視点画像を符号化できる。
【００７１】
また、符号化データ生成部１３３３は視点内予測符号化したデータのデータ量と、視点間予測符号化したデータのデータ量と、に基づいて符号化データを生成する。これにより、視点内予測符号化したデータと視点間予測符号化したデータのうちよりデータ量の小さな符号化方式を用いて符号化データを生成できる。
【００７２】
また、本実施形態では、視点内予測符号化したデータ及び視点間予測符号化したデータは、画像データ毎に生成され、視点内予測符号化したデータ及び視点間予測符号化したデータ毎に視差情報が含まれる。これにより、復号時に、符号化単位毎に逐次奥行き情報を生成することができる。
【００７３】
また、本実施形態では、符号化データ生成部１３３３は、視差情報を、符号化データとは別の符号化視差情報として生成するものを含む。これにより、生成される符号化非視点画像は、例えばＭＶＣのような従来の符号化方式で規定される符号化データ構造との互換性があり、既存の復号装置で復号することが可能となる。
【００７４】
また、本実施形態では、視点内予測符号化したデータ及び視点間予測符号化したデータは、画像データ毎に生成され、視点内予測符号化したデータ及び視点間予測符号化したデータ毎に視差情報が含まれない。これにより、符号化データ量を削減することができる。
【００７５】
また、本実施形態では、符号化された基準視点画像を復号する基準視点画像復号部２２１と、符号化された非基準視点画像を復号すると共に、基準視点画像と非基準視点画像の符号化単位の視差情報を抽出する非基準視点画像復号部２２２と、非基準視点画像復号部２２２によって抽出された視差情報と、撮影条件情報復号部２２３によって復号された撮影条件情報とに基づいて、非基準視点画像に対応する奥行き画像を生成する奥行き画像生成部２２４と、を備える。これにより、奥行き画像を用いて立体画像を生成・表示することが可能となる。
【００７６】
また、本実施形態では、奥行き画像生成部２２４は、視差情報と、撮像部１１−１と撮像部１１−２との間の撮像部間距離、及び撮像部１１−１又は撮像部１１−２と被写体との間の撮影距離とから、予め定めた大きさの画像領域単位の代表奥行き値を算出する代表奥行き値算出部２２４２と、代表奥行き値に基づいて画像領域単位の奥行き画像を生成する奥行き値マッピング部２２４３と、を備える。これにより、奥行き画像を用いて立体画像を生成・表示することが可能となる。
【００７７】
また、本実施形態では、上記のような符号化装置および復号装置の構成をとることにより、奥行き画像自体を符号化・伝送せずに視差情報から奥行き画像を生成する。したがって、奥行き画像を利用した仮想視点画像の生成を可能にするとともに、奥行き画像の符号化に必要な演算コストおよび符号量を削減することができ、装置の小型化・低コスト化および伝送路や記録メディアの利用効率を高めることを可能にする。
【００７８】
なお、多視点画像復号装置２２は、基準視点画像、非基準視点画像、奥行き画像、及び撮影条件情報を画像処理部２３へ出力する。基準視点画像および非基準視点画像に関してはそのまま立体画像の表示のための画像データとして使用される。一方、奥行き画像および撮影条件情報は、図示しない視点画像生成部によって、もともと符号化装置に入力されていない中間視点位置に対応する視点画像である仮想視点画像の生成に利用される。なお、この視点画像生成部は、多視点画像復号装置２２の中に含まれるよう構成してもよい。
【００７９】
なお、上記の実施形態に係る基準視点画像の符号化処理では、視点内予測符号化によって符号化データを生成するため、生成された符号化データは従来の単一視点用の符号化方式で生成したデータと同等である。従って、本発明による基準視点画像の符号化データは従来の単一視点用の画像復号装置（例えば、符号化方式の国際規格であるＨ．２６４に従う画像復号装置）で復号することが可能である。
【００８０】
なお、非基準視点画像の符号化処理に関しては、作成された視差情報（視差値）は、従来技術のように視点画像間のブロックマッチング等で生成した視差値と同等の情報であり、視差値に基づく視差補償予測符号化処理は同一の方法が適用できる。従って、本発明による非基準視点画像の符号化データは、従来の多視点画像用の画像復号装置（例えば、多視点画像符号化方式の国際規格であるＭＶＣに従う画像復号装置）で復号することが可能である。
【００８１】
このように、多視点画像符号化装置１３（視点画像符号化部１３Ａ）によって生成される符号化基準視点画像及び符号化非基準視点画像は、既存の画像復号装置で復号して画像として再生できる。すなわち、多視点画像符号化装置１３によって生成される符号化基準視点画像及び符号化非基準視点画像は、データの互換性を維持している。
【００８２】
なお、各符号化データは、それぞれが直接、多視点画像復号装置２２に入力されて与えられてもよい。
【００８３】
なお、基準視点画像および非基準視点画像を符号化する際の符号化処理単位のブロックサイズは、前述の８画素×８画素サイズに限らず、１６画素×１６画素、４画素×４画素、２画素×２画素などのサイズでもよい。また、縦横の画素数が同数でなくともよく、例えば１６画素×８画素、８画素×１６画素、８画素×４画素、４画素×８画素などのサイズでもよい。これらのサイズは、各視点画像に含まれる被写体の大きさや、画像の複雑さなどに応じて最適なサイズを選択してもよい。
【００８４】
なお、図２に示したように、本実施の形態では視点画像が基準視点画像と非基準視点画像との２つであるケースを例に挙げているが、視点画像が３つ以上の場合でも、多視点画像符号化装置、多視点画像復号装置を構成することができる。例えば視点画像が３つの場合は、１つの視点画像を基準視点として扱って視点内予測符号化方式により圧縮符号化し、残りの２つの視点画像は非基準視点の視点画像として視点間予測符号化方式により圧縮符号化する。あるいは、基準視点の視点画像が２つで、残りの１つの視点画像のみ非基準視点の視点画像としてもよい。視点画像が３つを超える場合も、同様の考え方を適用することができる。
【００８５】
なお、多視点画像符号化装置１３、および多視点画像復号装置２２の各機能要素、特に基準視点画像符号化部１３１、視差情報生成部１３２、非基準視点画像符号化部１３３、撮影条件情報符号化部１３４、基準視点画像復号部２２１、非基準視点画像復号部２２２、奥行き画像生成部２２４、および撮影条件情報復号部２２３は、集積回路（ＩＣチップ）上に形成された論理回路によってハードウェア的に実現してもよいし、ＣＰＵ（ｃｅｎｔｒａｌ ｐｒｏｃｅｓｓｉｎｇ ｕｎｉｔ）を用いてソフトウェア的に実現してもよい。
【００８６】
なお、多視点画像符号化装置１３及び多視点画像復号装置２２は、各機能を実現する制御プログラムの命令を実行するＣＰＵ、上記プログラムを格納したＲＯＭ（ｒｅａｄ ｏｎｌｙ ｍｅｍｏｒｙ）、上記プログラムを展開するＲＡＭ（ｒａｎｄｏｍ ａｃｃｅｓｓ ｍｅｍｏｒｙ）、上記プログラムおよび各種データを格納するメモリ等の記憶装置（記録媒体）などを備えている。なお、上述した機能を実現するソフトウェアである多視点画像符号化装置１３および画像復号装置２の制御プログラムのプログラムコード（実行形式プログラム、中間コードプログラム、ソースプログラム）をコンピュータで読み取り可能に記録した記録媒体を、上記各装置に供給し、そのコンピュータ（またはＣＰＵやＭＰＵ（ｍｉｃｒｏｐｒｏｃｅｓｓｏｒ ｕｎｉｔ））が記録媒体に記録されているプログラムコードを読み出し実行するようにしてもよい。
【００８７】
上記記録媒体としては、例えば、磁気テープやカセットテープ等のテープ類、フロッピー（登録商標）ディスク／ハードディスク等の磁気ディスクやＣＤ−ＲＯＭ（ｃｏｍｐａｃｔ ｄｉｓｃ ｒｅａｄ−ｏｎｌｙ ｍｅｍｏｒｙ）／ＭＯ（ｍａｇｎｅｔｏ−ｏｐｔｉｃａｌ）／ＭＤ（Ｍｉｎｉ Ｄｉｓｃ）／ＤＶＤ（ｄｉｇｉｔａｌ ｖｅｒｓａｔｉｌｅ ｄｉｓｋ）／ＣＤ−Ｒ（ＣＤ Ｒｅｃｏｒｄａｂｌｅ）等の光ディスクを含むディスク類、ＩＣカード（メモリカードを含む）／光カード等のカード類、マスクＲＯＭ／ＥＰＲＯＭ（Ｅｒａｓａｂｌｅ Ｐｒｏｇｒａｍｍａｂｌｅ Ｒｅａｄ−Ｏｎｌｙ Ｍｅｍｏｒｙ）／ＥＥＰＲＯＭ（Ｅｌｅｃｔｒｉｃａｌｌｙ Ｅｒａｓａｂｌｅ ａｎｄ Ｐｒｏｇｒａｍｍａｂｌｅ Ｒｅａｄ−Ｏｎｌｙ Ｍｅｍｏｒｙ）／フラッシュＲＯＭ等の半導体メモリ類、あるいはＰＬＤ（Ｐｒｏｇｒａｍｍａｂｌｅ ｌｏｇｉｃ ｄｅｖｉｃｅ）やＦＰＧＡ（Ｆｉｅｌｄ Ｐｒｏｇｒａｍｍａｂｌｅ Ｇａｔｅ Ａｒｒａｙ）等の論理回路類などを用いることができる。
【００８８】
また、多視点画像符号化装置１３および多視点画像復号装置２２を通信ネットワークと接続可能に構成し、上記プログラムコードを通信ネットワークを介して供給してもよい。この通信ネットワークは、プログラムコードを伝送可能であればよく、特に限定されない。例えば、インターネット、イントラネット、エキストラネット、ＬＡＮ（ｌｏｃａｌ ａｒｅａ ｎｅｔｗｏｒｋ）、ＩＳＤＮ（Ｉｎｔｅｇｒａｔｅｄ Ｓｅｒｖｉｃｅｓ Ｄｉｇｉｔａｌ Ｎｅｔｗｏｒｋ）、ＶＡＮ（ｖａｌｕｅ−ａｄｄｅｄ ｎｅｔｗｏｒｋ）、ＣＡＴＶ（ｃｏｍｍｕｎｉｔｙ ａｎｔｅｎｎａ ｔｅｌｅｖｉｓｉｏｎ）通信網、仮想専用網（ｖｉｒｔｕａｌ ｐｒｉｖａｔｅ ｎｅｔｗｏｒｋ）、電話回線網、移動体通信網、衛星通信網等が利用可能である。また、この通信ネットワークを構成する伝送媒体も、プログラムコードを伝送可能な媒体であればよく、特定の構成または種類のものに限定されない。例えば、ＩＥＥＥ（Ｉｎｓｔｉｔｕｔｅ ｏｆ Ｅｌｅｃｔｒｉｃ ａｎｄ Ｅｌｅｃｔｒｏｎｉｃ Ｅｎｇｉｎｅｅｒｓ）１３９４、ＵＳＢ、電力線搬送、ケーブルＴＶ回線、電話線、ＡＤＳＬ（Ａｓｙｎｃｈｒｏｎｏｕｓ Ｄｉｇｉｔａｌ Ｓｕｂｓｃｒｉｂｅｒ Ｌｏｏｐ）回線等の有線でも、ＩｒＤＡ（ｉｎｆｒａｒｅｄ ｄａｔａ ａｓｓｏｃｉａｔｉｏｎ）やリモコンのような赤外線、Ｂｌｕｅｔｏｏｔｈ（登録商標）、ＩＥＥＥ８０２．１１無線、ＨＤＲ（ｈｉｇｈ ｄａｔａ ｒａｔｅ）、ＮＦＣ（Ｎｅａｒ Ｆｉｅｌｄ Ｃｏｍｍｕｎｉｃａｔｉｏｎ）、ＤＬＮＡ（Ｄｉｇｉｔａｌ Ｌｉｖｉｎｇ Ｎｅｔｗｏｒｋ Ａｌｌｉａｎｃｅ）、携帯電話網、衛星回線、地上波デジタル網等の無線でも利用可能である。
【００８９】
本発明は上述した各実施形態に限定されるものではなく、請求項に示した範囲で種々の変更が可能であり、異なる実施形態にそれぞれ開示された技術的手段を適宜組み合わせて得られる実施形態についても本発明の技術的範囲に含まれる。
【００９０】
以上、図面を参照してこの発明の一実施形態について詳しく説明してきたが、具体的な構成は上述のものに限られることはなく、この発明の要旨を逸脱しない範囲内において様々な設計変更等をすることが可能である。
【符号の説明】
【００９１】
Ａ・・・多視点画像処理システム、１・・・撮像機器、２・・・表示機器、１１−１、１１−２・・・撮像部、１２・・・撮影制御部、１３・・・多視点画像符号化装置、１３Ａ・・・視点画像符号化部、１４・・・通信部、２１・・・通信部、２２・・・多視点画像復号装置、２２Ａ・・・視点画像復号部、２３・・・画像処理部、２４・・・表示部、１３１・・・基準視点画像符号化部、１３２・・・視差情報生成部、１３３・・・非基準視点画像符号化部、１３４・・・撮影条件情報符号化部、２２３・・・撮影条件情報復号部、１３３１・・・視点内予測符号化部、１３３２・・・視点間予測符号化部、１３３３・・・符号化データ生成部、２２１・・・基準視点画像復号部、２２２・・・非基準視点画像復号部、２２３・・・撮影条件情報復号部、２２４・・・奥行き画像生成部、２２２１・・・符号化データ判別部、２２２１ａ、２２２１ｂ・・・切替部、２２２２・・・視点内予測復号部、２２２３・・・視点間予測復号部、２２４１・・・距離情報抽出部、２２４２・・・代表奥行き値算出部、２２４３・・・奥行き値マッピング部
【技術分野】
【０００１】
本発明は、多視点画像符号化装置、多視点画像復号装置、多視点画像符号化方法及び多視点画像復号方法に関する。
【背景技術】
【０００２】
近年、立体画像ディスプレイ及び立体画像コンテンツの普及が進みつつある。立体画像ディスプレイでは、２眼式の立体画像ディスプレイが広く用いられている。２眼式の立体画像ディスプレイの方式の一つにアクティブシャッター方式がある。アクティブシャッター方式の立体画像ディスプレイは、左眼用画像と右眼用画像を時分割で交互にスクリーンに表示させる。一方、観賞者が装着する液晶シャッターメガネは、左眼と右眼に対応したシャッターを、それぞれ左眼用画像、右眼用画像を表示するタイミングに同期させて開閉する。これにより、左眼は左眼用画像のみ、右眼は右眼用画像のみを見ることが可能となる。その結果、鑑賞者は、ディスプレイに表示された画像について立体感を知覚することができる。
【０００３】
立体画像を表示・鑑賞するためには、上記の通り左眼用と右眼用の２視点分の画像データが必要になる。従って、立体画像の画像データは、従来の平面画像の画像データと比べると情報量が約２倍に増加する。これを効率よく圧縮・記録するための符号化方式として、国際標準であるＩＴＵ−Ｔ Ｈ．２６４、及びＡｄｖａｎｃｅｄ Ｖｉｄｅｏ Ｃｏｄｉｎｇ（ＩＳＯ／ＩＥＣ １４４９６−１０）のＡｎｎｅｘ Ｈとして、Ｍｕｌｔｉ−ｖｉｅｗ Ｖｉｄｅｏ Ｃｏｄｉｎｇ（以下、ＭＶＣと記す）が規定されている。ＭＶＣは、多視点の動画像を効率よく圧縮するための符号化方式である。ＭＶＣは、例えば３Ｄ（３次元；ｔｈｒｅｅ ｄｉｍｅｎｓｉｏｎ）映画などの立体映像をＢｌｕ−ｒａｙ Ｄｉｓｃに格納する際の符号化方式として採用されている。
【０００４】
上記のような、左眼用画像と右眼用画像の２視点の画像を表示する２眼式の立体画像ディスプレイの普及が進む一方で、多眼式の立体画像ディスプレイの普及も期待されている。多眼式の立体画像ディスプレイは、スクリーン面から発する光の方向を制御するための光学的な機構を備える。多眼式の立体画像ディスプレイは、この機構により、左眼用画像を左眼にのみ、右眼用画像を右眼にのみ見せる。そのため、多眼式の立体画像ディスプレイでは、アクティブシャッター方式で使用するようなメガネは不要となる。さらに、多眼式の立体画像ディスプレイでは、２視点を超える視点数での画像表示、すなわち観賞位置の移動に伴う観賞画像の変化を再現させることも可能となる。このような光学的な機構の例としてはパララクスバリアやレンティキュラレンズなどがある。これらの機構では、その構造と加工の精細度により、観賞可能な視点数が決定される。現状では、５視点や８視点などの多眼式立体画像ディスプレイが実用化されている。
【０００５】
多眼式の立体画像ディスプレイを使用すると、視点が２視点に限定されないため、立体画像の観賞における自由度や自然さが向上するという利点がある。しかし一方で、視点数が増えることによって、必要となる画像のデータ量が増加するため、記録や伝送にかかるコストが増大するという問題がある。
【０００６】
この問題に対して、特許文献１では、複数の視点画像を符号化すると共に、複数の視点画像から生成した奥行き情報も符号化し、両者を含む符号化ストリームを生成する画像符号化装置が開示されている。奥行き画像を利用することで、入力された視点画像から、入力にない仮想視点の画像を生成することができるため、多視点画像を効率よく伝送または蓄積することができる。
ここで、特許文献１記載の技術では、視差補償予測符号化方式が利用されている。視差補償予測符号化方式は、撮影視点が異なることにより生じる視差を画像から抽出し、視差を補償して予測符号化を行うものである。視差補償予測符号化方式は、前述のＭＶＣでも導入されている技術である。
【０００７】
視差補償予測符号化方式における視差の抽出は、ブロックマッチングにより行われる。ブロックマッチングとは、対象画像を所定サイズで分割したブロックごとに、参照画像との比較で最も一致度の高いブロックを探索する処理である。特許文献２には、ブロックマッチングを複数画像間に適用して視差ベクトルを検出する符号化方式が開示されている。
【先行技術文献】
【特許文献】
【０００８】
【特許文献１】特開２０１０−１５７８２３号公報
【特許文献２】特開平６−９８３１２号公報
【発明の概要】
【発明が解決しようとする課題】
【０００９】
しかしながら、奥行き情報は符号化装置において常に利用可能であるとは限らない。符号化装置において奥行き情報が利用できない場合、特に処理能力の低い符号化装置では、奥行き画像を生成するための演算処理の負荷が大きくなる。その結果、画像符号化のリアルタイム処理が困難となる。奥行き画像が予め用意される場合であっても、奥行き画像を格納するためのメモリ空き容量を確保する必要があるため、特に小型の端末にとってはコスト増加の一因となる。また、複数の視点画像に加えて奥行き画像も符号化・伝送するため、伝送回線の帯域が充分確保できない場合に、データ伝送の遅延やそれに伴う待ち時間の増加などを生じ、サービスの使い勝手の低下を招くことになる。
つまり、符号化時に奥行き画像を用いると、処理コストが増加するという問題があった。
【００１０】
本発明は、上記の問題点に鑑みてなされたものであり、符号化時に奥行き画像を用いず、処理コストが増加しない多視点画像符号化装置、多視点画像復号装置、多視点画像符号化方法及び多視点画像復号方法を提供する。
【課題を解決するための手段】
【００１１】
（１）本発明は上記の課題を解決するためになされたものであり、本発明の一態様は、第１の視点の画像である第１視点画像と第２の視点の画像である第２視点画像との間で、画像領域単位毎に視差情報を生成する視差情報生成部と、前記第２視点画像を、異なるフレームの第２視点画像との間で視点内予測符号化して第１のデータを生成する視点内予測符号化部と、前記視差情報に基づいて前記第１視点画像との間で視点間予測符号化して第２のデータを生成する視点間予測符号化部と、を備えることを特徴とする多視点画像符号化装置である。
【００１２】
（２）また、本発明の一態様は、上記の多視点画像符号化装置において、第１のデータと第２のデータのデータ量に関する情報に基づいて、前記画像領域毎に前記第１の符号化データ又は前記第２の符号化データのいずれかを、当該画像領域の符号化データとして選択する符号化データ生成部を備えることを特徴とする。
【００１３】
（３）また、本発明の一態様は、上記の多視点画像符号化装置において、前記画像領域の符号化データには、当該領域の視差情報が含まれることを特徴とする。
【００１４】
（４）また、本発明の一態様は、上記の多視点画像符号化装置において、前記符号化データ生成部は、前記視差情報を符号化して符号化視差情報を生成し、前記符号化データと前記符号化視差情報を出力することを特徴とする。
【００１５】
（５）また、本発明の一態様は、上記の多視点画像符号化装置において、前記第１のデータ及び前記第２のデータは、前記画像領域毎に生成され、前記第１のデータ及び前記第２のデータに前記視差情報が含まれないことを特徴とする。
【００１６】
（６）また、本発明の一態様は、符号化された第１視点画像を復号する第１視点画像復号部と、符号化された第２視点画像を復号すると共に、第１視点画像と第２視点画像間の視差情報を抽出する第２視点画像復号部と、前記第２視点画像復号部によって抽出された視差情報に基づいて奥行き画像を生成する奥行き画像生成部と、を備えることを特徴とする多視点画像復号装置である。
【００１７】
（７）また、本発明の一態様は、上記の多視点画像復号装置において、前記奥行き画像生成部は、
前記視差情報と、前記第１の視点に配置された第１撮像部と前記第２の視点に配置された第２撮像部との間の撮像部間距離、及び前記第１撮像部及び第２撮像部と被写体との間の撮影距離とに基づいて、画像領域単位の代表奥行き値を算出する代表奥行き値算出部と、複数の前記代表奥行き値に基づいて補間を行うことにより、奥行き画像を生成する奥行きマッピング部と、を備えることを特徴とする。
【００１８】
（８）また、本発明の一態様は、多視点画像符号化装置における方法であって、視差情報生成部が、第１の視点の画像である第１視点画像と第２の視点の画像である第２視点画像との間で、画像領域単位毎に視差情報を生成する視差情報生成過程と、視点内予測符号化部が、前記第２視点画像を、異なるフレームの第２視点画像との間で視点内予測符号化して第１の符号化データを生成する視点内予測符号化過程と、前記視差情報に基づいて前記第１視点画像との間で視点間予測符号化して第２の符号化データを生成する視点間予測符号化過程と、を備えることを特徴とする多視点画像符号化方法である。
【００１９】
（９）また、本発明の一態様は、多視点画像復号装置における方法であって、第１視点画像復号部が、符号化された第１視点画像を復号する第１視点画像復号過程と、第２視点画像復号部が、符号化された第２視点画像を復号すると共に、第１視点画像と第２視点画像間の視差情報を抽出する第２視点画像復号過程と、奥行き画像生成部が、前記第２視点画像復号部によって抽出された視差情報に基づいて奥行き画像を生成する奥行き画像生成過程と、を備えることを特徴とする多視点画像復号方法である。
【発明の効果】
【００２０】
本発明によれば、符号化時に奥行き画像を用いず、処理コストが増加しない。
【図面の簡単な説明】
【００２１】
【図１】本発明の第１の実施形態に係る多視点画像符号化システムを示す概念図である。
【図２】本実施形態に係る多視点画像符号化装置の構成を示す概略ブロック図である。
【図３】本実施形態に係る視差情報生成部の構成を示す概略ブロック図である。
【図４】本実施形態に係る多視点画像符号化装置の構成を示す概略ブロック図である。
【図５】本実施形態に係る非基準視点画像符号化部の構成を示す概略ブロック図である。
【図６】本実施形態に係る符号化データ生成部が生成する符号化データの構造の一例を示す図である。
【図７】本実施形態に係るスライスのデータ構成の例を説明する説明図である。
【図８】多視点画像符号化装置の内部処理手順を示すフローチャートである。
【図９】本実施形態に係る多視点画像復号装置の構成を示す概略ブロック図である。
【図１０】本実施形態に係る非基準視点画像復号部の構成を示す概略ブロック図である。
【図１１】本実施形態に係る奥行き画像生成部の構成を示す概略ブロック図である。
【図１２】本実施形態に係る代表奥行き値算出部における代表奥行き値算出処理を説明する説明図である。
【図１３】本実施形態に係る撮影距離を示す説明図である。
【図１４】本実施形態に係る多視点画像復号装置の内部処理手順を示すフローチャートである。
【発明を実施するための形態】
【００２２】
（第１の実施形態）
以下、図面を参照しながら本発明の第１の実施形態について詳しく説明する。図１は、本実施形態に係る多視点画像処理システムを示す概念図である。
図示する例では、多視点画像処理システムＡは、撮像機器１及び表示機器２を具備する。
【００２３】
撮像機器１は、複数の撮像部１１−１（第１の視点）、１１−２（第２の視点）を有する。撮像機器１は、撮像部１１−１、１１−２を用いて撮像し、それぞれ基準視点画像（第１視点画像）及び非基準視点画像（第２視点画像）を撮像する。撮像機器１は、撮像した基準視点画像及び非基準視点画像に基づいて、符号化ストリームを生成する。ここで、符号化ストリームとは、基準視点画像及び非基準視点画像を圧縮符号化した一連のデータ列を表す。
表示機器２は、撮像機器１で生成された符号化ストリームを復号し（解凍処理を含む）立体画像情報を生成する。表示機器２は、生成した立体画像情報が示す立体画像を表示部２４に表示する。なお、図１では、撮像機器１は、小型のディジタルカメラに実装されており、２視点のものを示したが、本発明の実施形態は、これに限定されない。
【００２４】
図２は、撮像機器１の構成を示す概略ブロック図である。撮像機器１は、撮像部１１−１、１１−２、撮影制御部１２、多視点画像符号化装置１３、通信部１４を含んで構成される。
撮像部１１−１、１１−２は、画像を撮像する。撮像部１１−１、１１−２は、異なる視点から同一視野角内の画像を撮像する。撮像部１１−１、１１−２は、それぞれが異なる視点に対応する。基準視点は、多視点画像データを生成する際の基準となる視点であり、撮像部１１−１が設けられた点である。非基準視点は、基準視点とは別の視点であり、撮像部１１−２が設けられた点である。撮像部１１−１、１１−２は、撮影制御部１２から焦点距離を設定され、設定された焦点距離となるようにレンズを調整する。撮像部１１−１、１１−２は、撮像した画像データを撮影制御部１２に出力する。
【００２５】
撮影制御部１２は、撮像部１１−１、１１−２の各々から入力された画像データに基づいて、基準視点画像（第１視点画像）、非基準視点画像（第２視点画像）を生成する。ここで、基準視点画像とは、撮像部１１−１が基準視点から撮像した画像である。非基準視点画像とは、撮像部１１−２が非基準視点から撮像した画像である。
【００２６】
撮影制御部１２は、撮像部間距離Ｂや、焦点距離（撮影距離）Ｌ等を含む撮影条件情報を生成する。ここで、撮像部間距離Ｂとは、予め定められた撮像部１１−１、１１−２の間の距離である。また、焦点距離Ｌとは、撮影制御部１２が設定した撮像部１１−１、１１−２と被写体との距離である。撮影制御部１２は、基準視点画像、非基準視点画像、及び撮影条件情報を多視点画像符号化装置１３に出力する。
【００２７】
多視点画像符号化装置１３は、撮影制御部１２から入力された基準視点画像、非基準視点画像に基づいて、視差情報を生成する。多視点画像符号化装置１３は、非基準視点画像を予め定めた大きさの画像領域単位毎に視点内予測符号化すると共に、視差情報に基づいて非基準視点画像と基準視点画像との間で視点間予測符号化する。多視点画像符号化装置１３は、非基準視点画像を視点内予測符号化又は視点間予測符号化することにより符号化非基準視点画像を生成する。多視点画像符号化装置１３は、基準視点画像及び撮影条件情報を符号化することにより、符号化基準視点画像、及び符号化撮影条件情報を生成する。符号化多視点画像符号化装置１３は、符号化基準視点画像、符号化非基準視点画像、及び符号化撮影条件情報を通信部１４に出力する。なお、多視点画像符号化装置１３の詳細については後述する。
【００２８】
通信部１４は、多視点画像符号化装置１３から入力された符号化基準視点画像、符号化非基準視点画像、及び符号化撮影条件情報を含む符号化ストリームを生成する。通信部１４は、生成した符号化ストリームを表示機器２に送信する。
【００２９】
図３は、表示機器２の構成を示す概略ブロック図である。表示機器２は、通信部２１、多視点画像復号装置２２、画像処理部２３、及び表示部２４を含んで構成される。
通信部２１は、撮像機器１から送信された符号化ストリームを受信する。通信部２１は、符号化ストリームから符号化基準視点画像、符号化非基準視点画像、及び符号化撮影条件情報を抽出する。通信部２１は、抽出した符号化基準視点画像、符号化非基準視点画像、及び符号化撮影条件情報を多視点画像復号装置２２に出力する。符号化ストリームの送信は、インターフェースを介する有線又は無線伝送手段により行う。無線による伝送には赤外線を用いるものを含む。
【００３０】
多視点画像復号装置２２は、通信部２１から入力された符号化基準視点画像、符号化非基準視点画像、及び符号化撮影条件情報を復号し、基準視点画像、非基準視点画像、及び撮影条件情報を生成する。また、多視点画像復号装置２２は、非基準視点画像及び撮影条件情報に基づいて非基準視点画像に対応する奥行き画像を生成する。多視点画像復号装置２２は、生成した基準視点画像、非基準視点画像、奥行き画像、及び撮影条件情報を画像処理部２３に出力する。なお、多視点画像復号装置２２の詳細については後述する。
【００３１】
画像処理部２３は、多視点画像復号装置２２から入力された基準視点画像、非基準視点画像、奥行き画像、及び撮影条件情報に基づいて、表示部２４に表示させる立体画像情報を生成する。立体画像情報を生成する際、画像処理部２３は、図示しない操作手段や制御手段からの指示に応じて、基準視点画像や非基準視点画像とは異なる視点に対応する仮想視点画像を生成する。仮想視点画像を生成する際は、奥行き画像を利用して、基準視点画像および非基準視点画像の各画素値に基づいて仮想視点画像を生成する。画像処理部２３は、基準視点画像、非基準視点画像、生成した仮想視点画像から、２視点以上の画像を含んで構成される立体画像情報を生成し、生成した立体画像情報を表示部２４に出力する。
表示部２４は、画像処理部２３から入力された立体画像情報に基づいて、立体画像を表示面に表示する。
【００３２】
図４は、本実施形態に係る多視点画像符号化装置１３の構成を示す概略ブロック図である。
多視点画像符号化装置１３は、視点画像符号化部１３Ａ及び撮影条件情報符号化部１３４を含んで構成される。
視点画像符号化部１３Ａは、撮影制御部１２から入力された基準視点画像及び非基準視点画像を含む多視点画像を符号化する。この際、視点画像符号化部１３Ａは、基準視点画像及び非基準視点画像を符号化単位領域毎に符号化する。ここで、符号化単位領域とは、基準視点画像及び非基準視点画像を分割した領域である。また、符号化単位領域とは、例えば８Ｘ８画素から構成される単位に分割した矩形の領域のことである。基準視点画像及び非基準視点画像は、複数の符号化単位領域の組み合わせで構成される。視点画像符号化部１３Ａは、符号化基準視点画像、及び符号化非基準視点画像を通信部１４に出力する。
撮影条件情報符号化部１３４は、撮影制御部１２から入力された撮影条件情報を符号化し、符号化撮影条件情報を生成する。撮影条件情報符号化部１３４は、生成した符号化撮影条件情報を通信部１４に出力する。
【００３３】
視点画像符号化部１３Ａは、基準視点画像符号化部１３１、視差情報生成部１３２、及び非基準視点画像符号化部１３３を含んで構成される。
基準視点画像符号化部１３１は、撮影制御部１２から入力された基準視点画像を符号化単位領域毎に圧縮符号化する。基準視点画像符号化部１３１は、基準視点画像を視点内予測符号化方式により圧縮符号化し、符号化基準視点画像を生成する。ここで、視点内予測符号化方式とは、単一視点の画像データのみに基づいて画像データを圧縮符号化する符号化方式である。視点内予測符号化方式では、画面内予測及び動き補償・予測を行って画像データを圧縮符号化する。基準視点画像符号化部１３１は、圧縮符号化した符号化基準視点画像（第１の符号化データ）を復号して基準視点画像を生成する。基準視点画像符号化部１３１は、生成した基準視点画像を非基準視点画像符号化部１３３に出力する。基準視点画像符号化部１３１は、生成した符号化基準視点画像を通信部１４に出力する。
【００３４】
視差情報生成部１３２は、撮影制御部１２から入力された基準視点画像と非基準視点画像とに基づいて、基準視点画像と非基準視点画像との間の視差を示す視差情報を生成する。
具体的には、視差情報生成部１３２は、非基準視点画像内の対象ブロック（例えば８画素×８画素の画像ブロック）と最も類似度の高い基準視点画像内の画像ブロックを探索する（類似ブロック探索処理と呼ぶ）。類似ブロック探索処理は、例えば、ブロックマッチングにより行うことができる。視差情報生成部１３２は、類似ブロック探索処理を行った結果得られた、画像ブロックと対象ブロックとの間の画像上の距離（ベクトル）を算出する。
視差情報生成部１３２は、算出したベクトルの水平方向の成分を、前記２つの画像間の視差を表す視差情報として抽出する。視差情報生成部１３２は、抽出した視差情報を非基準視点画像符号化部１３３へ出力する。
【００３５】
非基準視点画像符号化部１３３は、撮影制御部１２から入力された非基準視点画像を符号化単位領域毎に圧縮符号化する。非基準視点画像符号化部１３３は、非基準視点画像を、基準視点画像符号化部１３１から入力された基準視点画像を参照して視点間予測符号化方式により圧縮符号化する。ここで、視点間予測符号化方式とは、ある視点（ここでは、非基準視点）から撮像した画像データを、別の視点（ここでは、基準視点）から撮像した画像データを参照して圧縮符号化する符号化方式である。視点間予測符号化方式では、視差補償・予測を行って画像データを圧縮符号化する。非基準視点画像符号化部１３３は、視差補償・予測を行う際に、後述するように、視差情報生成部１３２から入力される視差情報を用いて視差補償・予測を行う。非基準視点画像符号化部１３３は、生成した符号化非基準視点画像（第２の符号化データ）を通信部１４に出力する。
【００３６】
図５は、非基準視点画像符号化部１３３の構成を示す概略ブロック図である。
非基準視点画像符号化部１３３は、視点内予測符号化部１３３１、視点間予測符号化部１３３２、及び符号化データ生成部１３３３を含んで構成される。
視点内予測符号化部１３３１は、撮影制御部１２から入力された非基準視点画像に基づいて、同一視点内で動き補償・予測を行う。具体的には、視点内予測符号化部１３３１は、処理対象のブロックにおける非基準視点画像の画素値を抽出する。視点内予測符号化部１３３１は、その内部に記録した過去の非基準視点画像の対応する処理対象のブロックの画素値を抽出する。
【００３７】
視点内予測符号化部１３３１は、抽出するブロックを１画素ずつ移動させながら、現在の非基準視点画像の画素値から、抽出した過去の非基準視点画像の画素値を減算した値を計算する。視点内予測符号化部１３３１は、計算した値が最も小さくなるブロックの移動量である（視点内予測情報）を決定する。視点内予測符号化部１３３１は、探索した結果に基づいて、現在の非基準視点画像の画素値から、抽出した過去の非基準視点画像の画素値を減算した値（視点内残差画像ブロックと呼ぶ）を生成する。なお、視点内残差画像ブロックを生成する際には、過去だけでなく、未来の画像（時間的に後に入力される非基準視点画像）を参照して計算してもよい。また、視点内予測符号化部１３３１は、同一視点内での動き補償・予測の他に、同一画像内での画面内予測によって視点内残差画像ブロックを生成してもよい。視点内予測符号化部１３３１は、生成した視点内残差画像ブロックを離散コサイン変換（Ｄｉｓｃｒｅｔｅ Ｃｏｓｉｎｅ Ｔｒａｎｓｆｏｒｍ；ＤＣＴ）、及び量子化することで、視点内予測誤差を生成する。視点内予測符号化部１３３１は、視点内予測誤差及びそれに対応する視点内予測情報を符号化データ生成部１３３３に出力する。
【００３８】
視点間予測符号化部１３３２は、基準視点画像符号化部１３１から入力された基準視点画像、撮影制御部１２から入力された非基準視点画像、及び視差情報生成部１３２から入力された視差情報に基づいて、視点間で視差補償・予測を行う。具体的には、視点間予測符号化部１３３２は、処理対象のブロックにおける非基準視点画像の画素値を抽出する。視点間予測符号化部１３３２は、処理対象のブロックにおける視差情報であって、視差情報生成部１３２から入力された視差情報が示すブロックにおいて、基準視点画像の画素値を抽出する。視点間予測符号化部１３３２は、抽出した非基準視点画像の画素値から、抽出した基準視点画像の画素値を減算する。視点間予測符号化部１３３２は、以上の処理の結果、処理対象ブロックに対応する減算後の画素値で構成される画像ブロックである視点間残差画像ブロックを生成する。
【００３９】
なお、視点間予測符号化部１３３２は、残差画像ブロックの生成を行う際の基準視点画像として、基準視点画像符号化部１３１によって一度符号化し、その後復号された基準視点画像を使用する。これは、復号装置側での視差補償の結果を符号化装置における結果と一致させ、符号化誤差の伝播による符号化画像の品質劣化を回避するためである。
視点間予測符号化部１３３２は、生成した視点間残差画像ブロックを離散コサイン変換（Ｄｉｓｃｒｅｔｅ Ｃｏｓｉｎｅ Ｔｒａｎｓｆｏｒｍ；ＤＣＴ）、及び量子化することで、視点間予測誤差を生成する。視点間予測符号化部１３３２は、生成した視点間予測誤差を符号化データ生成部１３３３に出力する。
【００４０】
符号化データ生成部１３３３は、視点内予測符号化部１３３１から入力された視点内予測誤差及び視点間予測符号化部１３３２から入力された視点間予測誤差に基づいて、符号化データを生成する。具体的には、符号化データ生成部１３３３は、視点内予測誤差と視点間予測誤差のうち、符号量が少ないと判定した予測誤差を選択する。符号化データ生成部１３３３は、選択した予測誤差、視差情報（視点間符号化の場合）、視点内動きベクトル（視点内符号化の場合）、及び符号化タイプ情報を含む符号化非基準視点画像を生成する。ここで、符号化タイプ情報とは、符号量が少ないと判定して選択した予測誤差を生成する際に用いた符号化方法を示す情報であり、視点内予測符号化又は視点間予測符号化のいずれかを示す。また、符号化データ生成部１３３３は、視差情報生成部１３２から入力された視差情報を符号化して符号化視差情報を生成する。符号化データ生成部１３３３は、生成した符号化非基準視点画像（符号化視差情報を含む）を通信部１４へ出力する。
【００４１】
図６は、符号化データ生成部１３３３が生成する符号化非基準視点画像の構造の一例を示す図である。図示する例では、画像（ピクチャ）P１は、撮像部１１−１、又は１１−２が撮像した画像である。ピクチャP１は、１６画素×１６画素で構成される画像領域（マクロブロックと呼ぶ）の集合として表されている。マクロブロックを一次元方向（例えばＸ方向）に複数連結したものをスライスと呼ぶ。図示する例では、スライスｓ１が、符号ｓ１を付したピクチャP1内の画像領域に対応する。
【００４２】
符号ｓ１を付したスライスは、マクロブロックＢ１、Ｂ２、Ｂ３、・・・を含んでいる。符号Ｓ１を付した符号化データは、スライスｓ１に対応する符号化データであり、ヘッダＨ１に続いてマクロブロックＢ１の符号化データ（Ｂ１１、Ｂ１２、Ｂ１３）、マクロブロックＢ２の符号化データ（Ｂ２１、Ｂ２２、Ｂ２３）、・・・が連続して構成されている。各マクロブロックの符号化データは、３つのサブデータから構成される。第１のサブデータは符号化タイプ（視点内予測／視点間予測）を示す情報である。視点内予測は、より詳細には画面内予測と動き予測に分けられるが、ここでは説明を簡便にするため、両者を包含する符号化タイプとして視点内予測と記す。第２のサブデータは予測情報（動きベクトル／視差情報）である。第３のサブデータは予測誤差（視点内／視点間）を示すデータである。マクロブロックの符号化データは、上記の３種のサブデータから構成される。
【００４３】
マクロブロックの符号化データは、第１のサブデータ、第２のサブデータ、第３のサブデータの順に並んで構成されている。例えば、マクロブロックＢ１に対応する符号化データは、符号Ｂ１１を付した符号化タイプ情報（視点内予測）、符号Ｂ１２を付した予測情報（視点内）、符号Ｂ１３を付した予測誤差（視点内）の順に並んで構成される。マクロブロックＢ２に対応する符号化データは、符号Ｂ２１を付した符号化タイプ情報（視点間予測）、符号Ｂ２２を付した予測情報（視差情報）、符号Ｂ２３を付した予測誤差（視点間）の順に並んで構成される。なお、上記Ｂ１を符号化した際の視点内予測が画面内予測（動き予測を用いない）の場合など、予測情報（動きベクトル）に該当する情報が生成されない場合は、予測情報Ｂ１２は省略される。すなわち、上記第２のサブデータは符号化データに含まれない場合もある。
【００４４】
符号化データ生成部１３３３は、上記の符号化データの他に、符号Ｐ２を付した符号化視差情報（第２符号化データ）を生成する。ここで、符号化視差情報とは、視差情報を１ピクチャ分連結させた視差マップの符号化データであり、符号化ブロック毎の視差情報（ｖ１、ｖ２、ｖ３・・・と呼ぶ）からなる符号化データである。
【００４５】
図７は、スライスのデータ構成の例を説明する説明図である。スライスに対応する符号化データは、例えば、図７（ａ）〜（ｃ）に示す構造をとり得る。なお、図７（ａ）〜（ｃ）では、図６で示したヘッダは省略してある。図７（ａ）〜（ｃ）全てに共通して、先頭のマクロブロックは視点内予測符号化された符号化データ、２番目に続くマクロブロックは視点間予測符号化された符号化データでそれぞれ構成された符号化データの例を示している。
図７（ａ）は、本実施形態における符号化データａを示す。符号化データａには、非基準視点画像のマクロブロック符号化データＢ１ａの中に符号Ｂ１１ａを付した符号化タイプ（視点内予測）、符号Ｂ１２ａを付した符号化単位領域毎の視差情報、符号Ｂ１３ａを付した視点内予測情報（視点内動きベクトル）、及び符号Ｂ１４ａを付した視点内予測誤差が含まれる。符号化データａには、それに続いて、符号Ｂ２１ａを付した符号化タイプ（視点間予測）、Ｂ２２ａを付した符号化単位領域毎の視差情報、及び符号Ｂ２３ａを付した視点間予測誤差が含まれる。符号化データａを受信した表示機器２は、符号化データａがマクロブロック毎に視差情報を含んでいるため、受信した符号化データをマクロブロック毎に復号しながら、マクロブロック毎の視差情報を逐次抽出・復号することができる。
【００４６】
図７（ｂ）は、非基準視点画像のスライスの符号化データｂとスライスが含まれるピクチャの視差情報Ｐ２を別のデータとしたデータ構造の例である。非基準視点画像のマクロブロック符号化データＢ１ｂには、符号Ｂ１１ｂを付した符号化タイプ（視点内予測）、符号Ｂ１２ｂを付した視点内予測情報（視点内動きベクトル）、符号Ｂ１３ｂを付した視点内予測誤差が含まれる。それに続いて、符号Ｂ２１ｂを付した符号化タイプ（視点間予測）、符号Ｂ２２ｂを付した視差情報（視点間視差ベクトル）、符号Ｂ２３ｂを付した視点間予測誤差が含まれる。視差情報はさらに、符号Ｐ２を付した符号化視差情報として独立したデータを構成する。
このように構成した非基準視点画像符号化データｂは、例えばＭＶＣのような従来の符号化方式で規定される符号化データ構造との互換性があり、既存の復号装置で復号することが可能である。
【００４７】
図７（ｃ）は、非基準視点画像のスライスの符号化データｃとスライスが含まれるピクチャの視差情報Ｐ２を別のデータ単位とした図７（ｂ）とは別のデータ構造の例である。非基準視点画像のマクロブロック符号化データＢ１ｃには、符号Ｂ１１ｃを付した符号化タイプ（視点内予測）、符号Ｂ１２ｃを付した視点内予測情報（視点内動きベクトル）、符号Ｂ１３ｃを付した視点内予測誤差が含まれる。それに続いて、符号Ｂ２１ｃを付した符号化タイプ（視点間予測）、符号Ｂ２１ｃを付した視点間予測誤差が含まれる。一方視差情報は、符号Ｐ２を付した符号化視差情報として独立したデータを構成する。
【００４８】
このように構成された非基準視点画像の符号化データｃは、視点内予測符号化で符号化されたマクロブロックに関しては、画像を復元するために必要な情報が、非基準視点画像の符号化データｃの中に全て含まれる。一方、視点間予測符号化で符号化されたマクロブロックに関しては、画像を復元するために必要な視差情報が、非基準視点画像の符号化データｃの中には含まれない。従って、視点間予測符号化されたマクロブロックを復号する際には、一旦、視差情報Ｐ２（視差マップ）から該当位置の視差情報ｖ１、ｖ２…を抽出した後で、視差補償を含めた復号処理を行う必要がある。一方、符号化データｂの構造と比べると、非基準視点画像の符号化データｃに視差情報が含まれない分、伝送する符号量を削減できる。
【００４９】
図８は、本実施形態に係る多視点画像符号化装置１３の内部処理手順を示すフローチャートである。
まず、基準視点画像、非基準視点画像、撮影条件情報が入力される（ステップＳ０１）。各入力データは、各処理部において次の通り処理される。
基準視点画像符号化部１３１は、入力された基準視点画像を、視点内予測符号化により圧縮符号化する（ステップＳ０２）。このとき、圧縮符号化された符号化基準視点画像は、非基準視点画像の符号化用に一旦復号し、基準視点画像として復元しておく。そして、符号化された基準視点画像データを、装置外部へ出力する（ステップＳ０３）。
視差情報生成部１３２は、入力された基準視点画像および非基準視点画像に基づいて、基準視点画像と非基準視点画像間の視差情報を生成する（ステップＳ０４）。
非基準視点画像符号化部１３３は、入力された非基準視点画像を、同一視点内の画像との間で視点内予測符号化して視点内予測符号化データを生成する（ステップＳ０５）。また、非基準視点画像符号化部１３３は、基準視点画像符号化部から得られる復元された基準視点画像と、視差情報生成部１３２から得られる視差情報とに基づいて、入力された非基準視点画像を、基準視点画像との間で視点間予測符号化することにより圧縮符号化して視点間予測符号化データを生成する（ステップＳ０６）。
さらに、非基準視点画像符号化部１３３は、生成した視点内予測符号化データと視点間予測符号化データのサイズを比較し、サイズの小さいデータを、符号化非基準視点画像データとして装置外部へ出力する（ステップＳ０７、ステップＳ０８）。
一方、撮影条件情報符号化部１３４は、入力された撮影条件情報を符号化し（ステップＳ０９）、装置外部へ出力する（ステップＳ１０）。
【００５０】
図９は、多視点画像復号装置２２の構成を示す概略ブロック図である。図示する例では、多視点画像復号装置２２は、視点画像復号部２２Ａ、撮影条件情報復号部２２３、奥行き画像生成部２２４を含んで構成される。視点画像復号部２２Ａは、基準視点画像復号部２２１及び非基準視点画像復号部２２２を含んで構成される。
基準視点画像復号部２２１は、通信部２１から入力された符号化基準視点画像を復号することで、基準視点画像を生成する。基準視点画像復号部２２１は、生成した基準視点画像を画像処理部２３及び非基準視点画像復号部２２２に出力する。
【００５１】
非基準視点画像復号部２２２は、基準視点画像復号部２２１から入力された基準視点画像及び通信部２１から入力された符号化非基準視点画像に基づいて、非基準視点画像を生成する。非基準視点画像復号部２２２は、生成した非基準視点画像を画像処理部２３に出力する。また、非基準視点画像復号部２２２は、符号化非基準視点画像に含まれる符号化視差情報を抽出する。非基準視点画像復号部２２２は、抽出した符号化視差情報を復号して視差情報を生成する。非基準視点画像復号部２２２は、生成した視差情報を奥行き画像生成部２２４に出力する。なお、非基準視点画像復号部の詳細については後述する。
撮影条件情報復号部２２３は、通信部２１から入力された符号化撮影条件情報を復号し、撮影条件情報を生成する。撮影条件情報復号部２２３は、生成した撮影条件情報を奥行き画像生成部２２４及び画像処理部２３に出力する。
【００５２】
奥行き画像生成部２２４は、非基準視点画像復号部２２２から入力された視差情報及び撮影条件情報復号部２２３から入力された撮影条件情報に基づいて、非基準視点画像に対応する奥行き画像を生成する。奥行き画像の生成処理の詳細については後述する。
【００５３】
（非基準視点画像復号部の構成）
図１０は、非基準視点画像復号部２２２の構成を示す概略ブロック図である。非基準視点画像復号部２２２は、符号化データ判別部２２２１、視点内予測復号部２２２２、視点間予測復号部２２２３、及び切替部２２２１ａ、２２２１ｂを含んで構成される。
【００５４】
符号化データ判別部２２２１は、通信部２１から入力された符号化非基準視点画像から、第１のサブデータ、第２のサブデータ、第３のサブデータを抽出する。符号化データ判別部２２２１は、抽出した第１のサブデータが示す符号化タイプ情報に基づいて符号化データ判別部２２２１と、視点内予測復号部２２２２又は視点間予測復号部２２２３と、の間を接続する。つまり、符号化データ判別部２２２１は、符号化タイプが視点内予測であった場合は、符号化データ判別部２２２１と、視点内予測復号部２２２２とを、切替部２２２１ａを介して接続させる。符号化データ判別部２２２１は、符号化タイプが視点内予測であった場合は、符号化データ判別部２２２１と、視点間予測復号部２２２３とを、切替部２２２１ａを介して接続させる。
【００５５】
符号化データ判別部２２２１は、第１のサブデータが視点内予測・動き予測の符号化タイプであった場合、すなわち第２のサブデータが視点内動きベクトルであった場合は、視点内動きベクトルを視点内予測復号部２２２２に出力する。符号化データ判別部２２２１は、第１のサブデータが視点間予測の符号化タイプであった場合、すなわち第２のサブデータが視差情報であった場合は、視差情報を視点間予測復号部２２２３に出力する。
【００５６】
符号化データ判別部２２２１は、第１のサブデータが視点内予測（画面内予測または動き予測）の符号化タイプであった場合、すなわち第３のサブデータが視点内予測誤差であった場合は、視点内予測誤差を視点内予測復号部２２２２に出力する。符号化データ判別部２２２１は、第１のサブデータが視点間予測の符号化タイプであった場合、すなわち第３のサブデータが視点間予測誤差であった場合は、視点間予測誤差を視点間予測復号部２２２３に出力する。
符号化データ判別部２２２１は、符号化視差情報を符号化データから抽出する。符号化データ判別部２２２１は、抽出した符号化視差情報を復号する。符号化データ判別部２２２１は、復号された視差情報を視点間予測復号部２２２３及び画像処理部２３に出力する。
【００５７】
視点内予測復号部２２２２は、符号化データ判別部２２２１から入力された視点内予測誤差を、画面内予測の結果または視点内動きベクトルに基づいて復号し、非基準視点画像を生成する。具体的には、視点内予測復号部２２２２は、画面内予測または動き予測による視点内予測誤差に対して逆量子化、逆ＤＣＴを行い、視点内残差画像ブロックを生成する。視点内予測復号部２２２２は、視点内残差画像ブロックの各画素値に、画面内予測の際に利用した周辺の画素値、または視点内動きベクトルが示すブロックに対応する過去の非基準視点画像の各画素値を加えることにより、ブロック化した非基準視点画像を生成する。なお、過去の非基準視点画像は、視点内予測復号部２２２２内または図示しない画像格納用フレームメモリに保存されている。視点内予測復号部２２２２は、生成した、ブロック化した非基準視点画像を切替部２２２１ｂを介して画像処理部２３に出力する。
【００５８】
視点間予測復号部２２２３は、符号化データ判別部２２２１から入力された、視点間予測誤差及び視差情報に基づいて復号し、非基準視点画像を生成する。具体的には、視点間予測復号部２２２３は、視点間予測誤差に対して逆量子化、逆ＤＣＴを行い、視点間残差画像ブロックを生成する。視点間予測復号部２２２３は、視点間残差画像ブロックの各画素値に、基準視点画像復号部２２１から入力された、視差情報が示す基準視点画像の対応する各画素値を加算することにより、ブロック化した非基準視点画像を生成する。視点間予測復号部２２２３は、生成した、ブロック化した非基準視点画像を切替部２２２１ｂを介して画像処理部２３へ出力する。
【００５９】
（奥行き画像生成部の構成）
図１１は、奥行き画像生成部２２４の構成を示す概略ブロック図である。奥行き画像生成部２２４は、距離情報抽出部２２４１、代表奥行き値算出部２２４２、及び奥行き値マッピング部２２４３を含んで構成される。
距離情報抽出部２２４１は、撮影条件情報復号部２２３で復元された撮影条件情報の中から、撮像部間距離Ｂ及び撮影距離Ｌを抽出する。距離情報抽出部２２４１は、抽出した撮像部間距離Ｂ及び撮影距離Ｌを代表奥行き値算出部２２４２へ出力する。
【００６０】
代表奥行き値算出部２２４２は、非基準視点画像復号部２２２、又は符号化データ判別部２２２１から入力された視差情報と、距離情報抽出部２２４１から入力された撮像部間距離Ｂ及び撮影距離Ｌとに基づいて、マクロブロック毎に一つの代表奥行き値を算出する。代表奥行き値の算出方法については後述する。
奥行き値マッピング部２２４３は、代表奥行き値算出部２２４２によって得られた代表奥行き値に基づいて、ブロックを構成する各画素の奥行き値を算出し、奥行き画像に変換する。奥行き値マッピングの処理については後述する。
【００６１】
（代表奥行き値算出処理）
奥行き画像生成部２２４は、式１を用いて代表奥行き値Ｚを算出する。
Ｚ＝ＬｘＢ／（ｖ＋Ｂ） …〔式１〕
ここで、ｖは視差値を、Ｌは撮影距離を、Ｂは撮像部間隔を、Ｚは代表奥行き値を表す。
【００６２】
図１２は、奥行き値と視差情報が示す視差との関係を説明する説明図である。ここでは、２つの視点、すなわち撮像部４１Ａ、４１Ｂ（それぞれ、撮像部１１−１、１１−２に対応する）と、２つの被写体、すなわち４２Ａ、４２Ｂとが、図示する位置関係にある場合について説明する。被写体４２Ａ上の点４３Ａは、撮像部４１Ａ、４１Ｂから撮影距離Ｌだけ離れた平面４０上の位置ＰＬ１及びＰＲ１に投影される。同様に、被写体４２Ｂ上の点４３Ｂは、位置ＰＬ２、ＰＲ２に投影される。
平面４０が観賞時のスクリーン面に相当するとみなすと、位置ＰＬ１は、点４３Ａの左視点画像上の対応する画素を意味する。同様に、位置ＰＲ１は、点４３Ａの右視点画像上の対応する画素を意味する。また、位置ＰＬ２は、被写体４２Ｂ上の点４３Ｂに関する左視点画像上の対応する画素を意味する。位置ＰＲ２は、被写体４２Ｂ上の点４３Ｂに関する右視点画像上の対応する画素を意味する。
【００６３】
２つの撮像部４１Ａ、４１Ｂの間の距離をＢ、撮像部４１Ａ、４１Ｂの撮影距離をＬ、撮像部４１Ａ、４１Ｂから点４３Ａ、４３Ｂまでの距離（代表奥行き値）をそれぞれＺ１、Ｚ２とする。被写体４２Ａに対応する撮像部４１Ａの視点から見た画像と撮像部４１Ｂの視点から見た画像との間の視差をｄ１とする。被写体４２Ｂに対応する撮像部４１Ａの視点から見た画像と撮像部４１Ｂの視点から見た画像との間の視差をｄ２とする。視差ｄ１、撮像部間距離Ｂ、撮影距離Ｌ、及び代表奥行き値Ｚ１との間には、〔式２〕の関係が成り立つ。同様に、視差ｄ２、撮像部間距離Ｂ、撮影距離Ｌ、及び代表奥行き値Ｚ２との間には、〔式３〕の関係が成り立つ。
Ｂ：Ｚ１＝ｄ１：（Ｌ−Ｚ１） …〔式２〕
Ｂ：Ｚ２＝ｄ２：（Ｚ２−Ｌ） …〔式３〕
【００６４】
〔式２〕、〔式３〕は、〔式１〕をそれぞれ被写体４２Ａ上の点４３Ａ、及び被写体４２Ｂ上の点４３Ｂに適用したものである。つまり〔式２〕ではｖ＝ｄ１、〔式３〕ではｖ＝ｄ２となる。ここで、視差ｖを、平面４０上の右視点画像の対応する点と左視点画像の対応する点の距離として定義する。視差ｖは、ｄ１が正の値、視差ｄ２が負の値をとるものと定義する。つまり、被写体が平面４０より撮像部に近いときに視差ｖは正の値をとり、被写体が平面４０より撮像部に遠いときに視差ｖは負の値をとる。視差ｖは、所定のブロック単位で算出されている。視差ｖを算出するブロック単位に関しては、多視点画像符号化装置１３において、このブロック単位を視点間予測符号化方式の処理単位と同じサイズに設定しておくことにより、非基準視点画像復号部２２２で生成した視差を、そのまま非基準視点画像に関する視差として扱うことができる。
【００６５】
図１３は、撮影距離を説明する説明図である。図１３（ａ）は本実施形態で採用する平行法撮影における撮影距離を示している。平行法とは、２つの撮像部４１Ａ、４１Ｂの光軸を平行にして撮影する方法である。平行法では、撮影距離は焦点距離と等しくなる。
なお、立体画像の撮影は、平行法撮影に限られない。図１３（ｂ）は交差法撮影における撮影距離を示す図である。交差法とは、２つの撮像部４１Ａ、４１Ｂの光軸が前方で交差するようにして撮影する方法である。交差法撮影の場合、撮像部４１Ａ、４１Ｂから光軸の交差点（クロスポイント）までの距離を撮影距離Ｌに相当するとみなす。
【００６６】
（奥行き値マッピング処理）
奥行き値マッピング部２２４３は、代表奥行き値算出部２２４２によって算出された代表奥行き値に基づいて、ブロックを構成する画素単位の奥行き値を決定する。具体的には、奥行き値マッピング部２２４３は、代表奥行き値を、ブロックの中心に位置する画素の奥行き値と定める。奥行き値マッピング部２２４３は、当該ブロックの中心以外の画素に関しては、隣接する上下左右のブロックの代表奥行き値と、当該ブロックの代表奥行き値とを用いて線形補間を行い、各画素位置に対応した奥行き値を求める。このようにして、ブロック内の各画素の奥行き値を計算し、奥行き画像を生成する（方法（ａ）と呼ぶ）。
【００６７】
なお、奥行き値マッピング部２２４３による画素単位の奥行き値決定の方法としては、前述のような方法に限定されず、以下の方法に従って決定してもよい。例えば、奥行き値マッピング部２２４３は、（ｂ）隣接する左右のブロックの代表奥行き値との間で線形補間を行い、各画素位置に対応した奥行き値を求める。；（ｃ）隣接する上下のブロックの代表奥行き値との間で線形補間を行い、各画素位置に対応した奥行き値を求める。；（ｄ）代表奥行き値でブロック内一様の奥行き値とする。
【００６８】
上記の方法（ｂ）〜（ｄ）の選択については、例えば、以下のようにする。対応する視点画像内の領域において公知の方法によりエッジ検出を行い、垂直方向のエッジ（被写体と背景の境界）が表れている場合は、左右方向の奥行き変化が大きいと推測されるため方法（ｂ）を選択する。同様に視点画像内の対応する領域において水平方向のエッジが表れている場合は、上下方向の奥行き変化が大きいと推測されるため方法（ｃ）を選択する。対応する視点画像の領域内にエッジがなく、かつブロックサイズが小さい（例えば２×２画素、４×４画素）場合には、方法（ｄ）を選択する。
なお、〔式１〕で得られる奥行き値Ｚは、ＬやＢが実距離を意味するのと同様に、撮像部から被写体までの物理的な距離を表わしている。画素単位の奥行き値を生成する際には、このＺを、画素値を表わす数値範囲（例えば０〜２５５）に変換する。その方法としては、撮影時の距離レンジを表す情報（例えば、画像に含まれる全ての被写体に関するカメラからの距離の最小値と最大値）を撮影条件情報に含めておき、その距離レンジに対応するＺの数値範囲を、所定の数値範囲（０〜２５５）で表わすように変換して、画素単位の奥行き値を得る。
【００６９】
図１４は、本実施形態に係る多視点画像復号装置２２の内部処理手順を示すフローチャートである。
まず、多視点画像符号化装置１３により符号化されたデータである、符号化基準視点画像、符号化非基準視点画像、符号化撮影条件情報が入力される（ステップＳ２１）。各入力データは、各処理部において次の通り処理される。
基準視点画像復号部２２１は、入力された符号化基準視点画像を復号して基準視点画像を生成し（ステップＳ２２）、生成した基準視点画像を装置外部へ出力する（ステップＳ２３）。
非基準視点画像復号部２２２は、入力された符号化非基準視点画像を復号して、基準視点と非基準視点間の視差情報を抽出する（ステップＳ２４）。また、抽出した視差情報を利用しながら符号化非基準視点画像に含まれるその他の符号化データを復号して非基準視点画像を生成し（ステップＳ２５）、生成した非基準視点画像を装置外部へ出力する（ステップＳ２６）。
撮影条件情報復号部２２３は、符号化撮影条件情報を復号して撮影条件情報を生成し（ステップＳ２７）、生成した撮影条件情報を装置外部へ出力する（ステップＳ２８）。
奥行き画像生成部２２４は、非基準視点画像復号部２２２から得られる視差情報と、撮影条件情報復号部２２３から得られる撮影条件情報とに基づいて、非基準視点画像に対応する奥行き画像を生成し（ステップＳ２９）、生成された奥行き画像を装置外部へ出力する（ステップＳ３０）。
【００７０】
上記のように本実施形態では、視差情報生成部１３２は、撮像部１１−１が撮像した基準視点画像と、撮像部１１−２が撮影した非基準視点画像との間で、画像領域単位ごとに視差情報を生成する。視点内予測符号化部１３３１は、非基準視点画像を、同一画像内または過去のフレームを用いて視点内予測符号化する。視点間予測符号化部１３３２は、視差情報に基づいて基準視点画像と非基準視点画像の間で視点間予測符号化する。これにより、本実施形態では奥行き画像の符号化・伝送を行わずに複数の視点画像を符号化できる。
【００７１】
また、符号化データ生成部１３３３は視点内予測符号化したデータのデータ量と、視点間予測符号化したデータのデータ量と、に基づいて符号化データを生成する。これにより、視点内予測符号化したデータと視点間予測符号化したデータのうちよりデータ量の小さな符号化方式を用いて符号化データを生成できる。
【００７２】
また、本実施形態では、視点内予測符号化したデータ及び視点間予測符号化したデータは、画像データ毎に生成され、視点内予測符号化したデータ及び視点間予測符号化したデータ毎に視差情報が含まれる。これにより、復号時に、符号化単位毎に逐次奥行き情報を生成することができる。
【００７３】
また、本実施形態では、符号化データ生成部１３３３は、視差情報を、符号化データとは別の符号化視差情報として生成するものを含む。これにより、生成される符号化非視点画像は、例えばＭＶＣのような従来の符号化方式で規定される符号化データ構造との互換性があり、既存の復号装置で復号することが可能となる。
【００７４】
また、本実施形態では、視点内予測符号化したデータ及び視点間予測符号化したデータは、画像データ毎に生成され、視点内予測符号化したデータ及び視点間予測符号化したデータ毎に視差情報が含まれない。これにより、符号化データ量を削減することができる。
【００７５】
また、本実施形態では、符号化された基準視点画像を復号する基準視点画像復号部２２１と、符号化された非基準視点画像を復号すると共に、基準視点画像と非基準視点画像の符号化単位の視差情報を抽出する非基準視点画像復号部２２２と、非基準視点画像復号部２２２によって抽出された視差情報と、撮影条件情報復号部２２３によって復号された撮影条件情報とに基づいて、非基準視点画像に対応する奥行き画像を生成する奥行き画像生成部２２４と、を備える。これにより、奥行き画像を用いて立体画像を生成・表示することが可能となる。
【００７６】
また、本実施形態では、奥行き画像生成部２２４は、視差情報と、撮像部１１−１と撮像部１１−２との間の撮像部間距離、及び撮像部１１−１又は撮像部１１−２と被写体との間の撮影距離とから、予め定めた大きさの画像領域単位の代表奥行き値を算出する代表奥行き値算出部２２４２と、代表奥行き値に基づいて画像領域単位の奥行き画像を生成する奥行き値マッピング部２２４３と、を備える。これにより、奥行き画像を用いて立体画像を生成・表示することが可能となる。
【００７７】
また、本実施形態では、上記のような符号化装置および復号装置の構成をとることにより、奥行き画像自体を符号化・伝送せずに視差情報から奥行き画像を生成する。したがって、奥行き画像を利用した仮想視点画像の生成を可能にするとともに、奥行き画像の符号化に必要な演算コストおよび符号量を削減することができ、装置の小型化・低コスト化および伝送路や記録メディアの利用効率を高めることを可能にする。
【００７８】
なお、多視点画像復号装置２２は、基準視点画像、非基準視点画像、奥行き画像、及び撮影条件情報を画像処理部２３へ出力する。基準視点画像および非基準視点画像に関してはそのまま立体画像の表示のための画像データとして使用される。一方、奥行き画像および撮影条件情報は、図示しない視点画像生成部によって、もともと符号化装置に入力されていない中間視点位置に対応する視点画像である仮想視点画像の生成に利用される。なお、この視点画像生成部は、多視点画像復号装置２２の中に含まれるよう構成してもよい。
【００７９】
なお、上記の実施形態に係る基準視点画像の符号化処理では、視点内予測符号化によって符号化データを生成するため、生成された符号化データは従来の単一視点用の符号化方式で生成したデータと同等である。従って、本発明による基準視点画像の符号化データは従来の単一視点用の画像復号装置（例えば、符号化方式の国際規格であるＨ．２６４に従う画像復号装置）で復号することが可能である。
【００８０】
なお、非基準視点画像の符号化処理に関しては、作成された視差情報（視差値）は、従来技術のように視点画像間のブロックマッチング等で生成した視差値と同等の情報であり、視差値に基づく視差補償予測符号化処理は同一の方法が適用できる。従って、本発明による非基準視点画像の符号化データは、従来の多視点画像用の画像復号装置（例えば、多視点画像符号化方式の国際規格であるＭＶＣに従う画像復号装置）で復号することが可能である。
【００８１】
このように、多視点画像符号化装置１３（視点画像符号化部１３Ａ）によって生成される符号化基準視点画像及び符号化非基準視点画像は、既存の画像復号装置で復号して画像として再生できる。すなわち、多視点画像符号化装置１３によって生成される符号化基準視点画像及び符号化非基準視点画像は、データの互換性を維持している。
【００８２】
なお、各符号化データは、それぞれが直接、多視点画像復号装置２２に入力されて与えられてもよい。
【００８３】
なお、基準視点画像および非基準視点画像を符号化する際の符号化処理単位のブロックサイズは、前述の８画素×８画素サイズに限らず、１６画素×１６画素、４画素×４画素、２画素×２画素などのサイズでもよい。また、縦横の画素数が同数でなくともよく、例えば１６画素×８画素、８画素×１６画素、８画素×４画素、４画素×８画素などのサイズでもよい。これらのサイズは、各視点画像に含まれる被写体の大きさや、画像の複雑さなどに応じて最適なサイズを選択してもよい。
【００８４】
なお、図２に示したように、本実施の形態では視点画像が基準視点画像と非基準視点画像との２つであるケースを例に挙げているが、視点画像が３つ以上の場合でも、多視点画像符号化装置、多視点画像復号装置を構成することができる。例えば視点画像が３つの場合は、１つの視点画像を基準視点として扱って視点内予測符号化方式により圧縮符号化し、残りの２つの視点画像は非基準視点の視点画像として視点間予測符号化方式により圧縮符号化する。あるいは、基準視点の視点画像が２つで、残りの１つの視点画像のみ非基準視点の視点画像としてもよい。視点画像が３つを超える場合も、同様の考え方を適用することができる。
【００８５】
なお、多視点画像符号化装置１３、および多視点画像復号装置２２の各機能要素、特に基準視点画像符号化部１３１、視差情報生成部１３２、非基準視点画像符号化部１３３、撮影条件情報符号化部１３４、基準視点画像復号部２２１、非基準視点画像復号部２２２、奥行き画像生成部２２４、および撮影条件情報復号部２２３は、集積回路（ＩＣチップ）上に形成された論理回路によってハードウェア的に実現してもよいし、ＣＰＵ（ｃｅｎｔｒａｌ ｐｒｏｃｅｓｓｉｎｇ ｕｎｉｔ）を用いてソフトウェア的に実現してもよい。
【００８６】
なお、多視点画像符号化装置１３及び多視点画像復号装置２２は、各機能を実現する制御プログラムの命令を実行するＣＰＵ、上記プログラムを格納したＲＯＭ（ｒｅａｄ ｏｎｌｙ ｍｅｍｏｒｙ）、上記プログラムを展開するＲＡＭ（ｒａｎｄｏｍ ａｃｃｅｓｓ ｍｅｍｏｒｙ）、上記プログラムおよび各種データを格納するメモリ等の記憶装置（記録媒体）などを備えている。なお、上述した機能を実現するソフトウェアである多視点画像符号化装置１３および画像復号装置２の制御プログラムのプログラムコード（実行形式プログラム、中間コードプログラム、ソースプログラム）をコンピュータで読み取り可能に記録した記録媒体を、上記各装置に供給し、そのコンピュータ（またはＣＰＵやＭＰＵ（ｍｉｃｒｏｐｒｏｃｅｓｓｏｒ ｕｎｉｔ））が記録媒体に記録されているプログラムコードを読み出し実行するようにしてもよい。
【００８７】
上記記録媒体としては、例えば、磁気テープやカセットテープ等のテープ類、フロッピー（登録商標）ディスク／ハードディスク等の磁気ディスクやＣＤ−ＲＯＭ（ｃｏｍｐａｃｔ ｄｉｓｃ ｒｅａｄ−ｏｎｌｙ ｍｅｍｏｒｙ）／ＭＯ（ｍａｇｎｅｔｏ−ｏｐｔｉｃａｌ）／ＭＤ（Ｍｉｎｉ Ｄｉｓｃ）／ＤＶＤ（ｄｉｇｉｔａｌ ｖｅｒｓａｔｉｌｅ ｄｉｓｋ）／ＣＤ−Ｒ（ＣＤ Ｒｅｃｏｒｄａｂｌｅ）等の光ディスクを含むディスク類、ＩＣカード（メモリカードを含む）／光カード等のカード類、マスクＲＯＭ／ＥＰＲＯＭ（Ｅｒａｓａｂｌｅ Ｐｒｏｇｒａｍｍａｂｌｅ Ｒｅａｄ−Ｏｎｌｙ Ｍｅｍｏｒｙ）／ＥＥＰＲＯＭ（Ｅｌｅｃｔｒｉｃａｌｌｙ Ｅｒａｓａｂｌｅ ａｎｄ Ｐｒｏｇｒａｍｍａｂｌｅ Ｒｅａｄ−Ｏｎｌｙ Ｍｅｍｏｒｙ）／フラッシュＲＯＭ等の半導体メモリ類、あるいはＰＬＤ（Ｐｒｏｇｒａｍｍａｂｌｅ ｌｏｇｉｃ ｄｅｖｉｃｅ）やＦＰＧＡ（Ｆｉｅｌｄ Ｐｒｏｇｒａｍｍａｂｌｅ Ｇａｔｅ Ａｒｒａｙ）等の論理回路類などを用いることができる。
【００８８】
また、多視点画像符号化装置１３および多視点画像復号装置２２を通信ネットワークと接続可能に構成し、上記プログラムコードを通信ネットワークを介して供給してもよい。この通信ネットワークは、プログラムコードを伝送可能であればよく、特に限定されない。例えば、インターネット、イントラネット、エキストラネット、ＬＡＮ（ｌｏｃａｌ ａｒｅａ ｎｅｔｗｏｒｋ）、ＩＳＤＮ（Ｉｎｔｅｇｒａｔｅｄ Ｓｅｒｖｉｃｅｓ Ｄｉｇｉｔａｌ Ｎｅｔｗｏｒｋ）、ＶＡＮ（ｖａｌｕｅ−ａｄｄｅｄ ｎｅｔｗｏｒｋ）、ＣＡＴＶ（ｃｏｍｍｕｎｉｔｙ ａｎｔｅｎｎａ ｔｅｌｅｖｉｓｉｏｎ）通信網、仮想専用網（ｖｉｒｔｕａｌ ｐｒｉｖａｔｅ ｎｅｔｗｏｒｋ）、電話回線網、移動体通信網、衛星通信網等が利用可能である。また、この通信ネットワークを構成する伝送媒体も、プログラムコードを伝送可能な媒体であればよく、特定の構成または種類のものに限定されない。例えば、ＩＥＥＥ（Ｉｎｓｔｉｔｕｔｅ ｏｆ Ｅｌｅｃｔｒｉｃ ａｎｄ Ｅｌｅｃｔｒｏｎｉｃ Ｅｎｇｉｎｅｅｒｓ）１３９４、ＵＳＢ、電力線搬送、ケーブルＴＶ回線、電話線、ＡＤＳＬ（Ａｓｙｎｃｈｒｏｎｏｕｓ Ｄｉｇｉｔａｌ Ｓｕｂｓｃｒｉｂｅｒ Ｌｏｏｐ）回線等の有線でも、ＩｒＤＡ（ｉｎｆｒａｒｅｄ ｄａｔａ ａｓｓｏｃｉａｔｉｏｎ）やリモコンのような赤外線、Ｂｌｕｅｔｏｏｔｈ（登録商標）、ＩＥＥＥ８０２．１１無線、ＨＤＲ（ｈｉｇｈ ｄａｔａ ｒａｔｅ）、ＮＦＣ（Ｎｅａｒ Ｆｉｅｌｄ Ｃｏｍｍｕｎｉｃａｔｉｏｎ）、ＤＬＮＡ（Ｄｉｇｉｔａｌ Ｌｉｖｉｎｇ Ｎｅｔｗｏｒｋ Ａｌｌｉａｎｃｅ）、携帯電話網、衛星回線、地上波デジタル網等の無線でも利用可能である。
【００８９】
本発明は上述した各実施形態に限定されるものではなく、請求項に示した範囲で種々の変更が可能であり、異なる実施形態にそれぞれ開示された技術的手段を適宜組み合わせて得られる実施形態についても本発明の技術的範囲に含まれる。
【００９０】
以上、図面を参照してこの発明の一実施形態について詳しく説明してきたが、具体的な構成は上述のものに限られることはなく、この発明の要旨を逸脱しない範囲内において様々な設計変更等をすることが可能である。
【符号の説明】
【００９１】
Ａ・・・多視点画像処理システム、１・・・撮像機器、２・・・表示機器、１１−１、１１−２・・・撮像部、１２・・・撮影制御部、１３・・・多視点画像符号化装置、１３Ａ・・・視点画像符号化部、１４・・・通信部、２１・・・通信部、２２・・・多視点画像復号装置、２２Ａ・・・視点画像復号部、２３・・・画像処理部、２４・・・表示部、１３１・・・基準視点画像符号化部、１３２・・・視差情報生成部、１３３・・・非基準視点画像符号化部、１３４・・・撮影条件情報符号化部、２２３・・・撮影条件情報復号部、１３３１・・・視点内予測符号化部、１３３２・・・視点間予測符号化部、１３３３・・・符号化データ生成部、２２１・・・基準視点画像復号部、２２２・・・非基準視点画像復号部、２２３・・・撮影条件情報復号部、２２４・・・奥行き画像生成部、２２２１・・・符号化データ判別部、２２２１ａ、２２２１ｂ・・・切替部、２２２２・・・視点内予測復号部、２２２３・・・視点間予測復号部、２２４１・・・距離情報抽出部、２２４２・・・代表奥行き値算出部、２２４３・・・奥行き値マッピング部
【特許請求の範囲】
【請求項１】
第１の視点の画像である第１視点画像と第２の視点の画像である第２視点画像との間で、画像領域単位毎に視差情報を生成する視差情報生成部と、
前記第２視点画像を、異なるフレームの第２視点画像との間で視点内予測符号化して第１の符号化データを生成する視点内予測符号化部と、
前記視差情報に基づいて前記第１視点画像との間で視点間予測符号化して第２の符号化データを生成する視点間予測符号化部と、
を備えることを特徴とする多視点画像符号化装置。
【請求項２】
第１のデータと第２のデータのデータ量に関する情報に基づいて、前記画像領域毎に前記第１の符号化データ又は前記第２の符号化データのいずれかを、当該画像領域の符号化データとして選択する符号化データ生成部
を備えることを特徴とする請求項１に記載の多視点画像符号化装置。
【請求項３】
前記画像領域の符号化データには、当該領域の視差情報が含まれることを特徴とする請求項１又は２に記載の多視点画像符号化装置。
【請求項４】
前記符号化データ生成部は、前記視差情報を符号化して符号化視差情報を生成し、前記符号化データと前記符号化視差情報を出力することを特徴とする、請求項１又は２に記載の多視点画像符号化装置。
【請求項５】
前記第１のデータ及び前記第２のデータは、前記画像領域毎に生成され、前記第１のデータ及び前記第２のデータに前記視差情報が含まれない
ことを特徴とする請求項１又は２に記載の多視点画像符号化装置。
【請求項６】
符号化された第１視点画像を復号する第１視点画像復号部と、
符号化された第２視点画像を復号すると共に、第１視点画像と第２視点画像間の視差情報を抽出する第２視点画像復号部と、
前記第２視点画像復号部によって抽出された視差情報に基づいて奥行き画像を生成する奥行き画像生成部と、
を備えることを特徴とする多視点画像復号装置。
【請求項７】
前記奥行き画像生成部は、
前記視差情報と、前記第１の視点に配置された第１撮像部と前記第２の視点に配置された第２撮像部との間の撮像部間距離、及び前記第１撮像部及び第２撮像部と被写体との間の撮影距離とに基づいて、画像領域単位の代表奥行き値を算出する代表奥行き値算出部と、
複数の前記代表奥行き値に基づいて補間を行うことにより、奥行き画像を生成する奥行きマッピング部と、
を備えることを特徴とする請求項６に記載の多視点画像復号装置。
【請求項８】
多視点画像符号化装置における方法であって、
視差情報生成部が、第１の視点の画像である第１視点画像と第２の視点の画像である第２視点画像との間で、画像領域単位毎に視差情報を生成する視差情報生成過程と、
視点内予測符号化部が、前記第２視点画像を、異なるフレームの第２視点画像との間で視点内予測符号化して第１の符号化データを生成する視点内予測符号化過程と、
視点間予測符号化部が、前記視差情報に基づいて前記第１視点画像との間で視点間予測符号化して第２の符号化データを生成する視点間予測符号化過程と、
を備えることを特徴とする多視点画像符号化方法。
【請求項９】
多視点画像復号装置における方法であって、
第１視点画像復号部が、符号化された第１視点画像を復号する第１視点画像復号過程と、
第２視点画像復号部が、符号化された第２視点画像を復号すると共に、第１視点画像と第２視点画像間の視差情報を抽出する第２視点画像復号過程と、
奥行き画像生成部が、前記第２視点画像復号部によって抽出された視差情報に基づいて奥行き画像を生成する奥行き画像生成過程と、
を備えることを特徴とする多視点画像復号方法。
【請求項１】
第１の視点の画像である第１視点画像と第２の視点の画像である第２視点画像との間で、画像領域単位毎に視差情報を生成する視差情報生成部と、
前記第２視点画像を、異なるフレームの第２視点画像との間で視点内予測符号化して第１の符号化データを生成する視点内予測符号化部と、
前記視差情報に基づいて前記第１視点画像との間で視点間予測符号化して第２の符号化データを生成する視点間予測符号化部と、
を備えることを特徴とする多視点画像符号化装置。
【請求項２】
第１のデータと第２のデータのデータ量に関する情報に基づいて、前記画像領域毎に前記第１の符号化データ又は前記第２の符号化データのいずれかを、当該画像領域の符号化データとして選択する符号化データ生成部
を備えることを特徴とする請求項１に記載の多視点画像符号化装置。
【請求項３】
前記画像領域の符号化データには、当該領域の視差情報が含まれることを特徴とする請求項１又は２に記載の多視点画像符号化装置。
【請求項４】
前記符号化データ生成部は、前記視差情報を符号化して符号化視差情報を生成し、前記符号化データと前記符号化視差情報を出力することを特徴とする、請求項１又は２に記載の多視点画像符号化装置。
【請求項５】
前記第１のデータ及び前記第２のデータは、前記画像領域毎に生成され、前記第１のデータ及び前記第２のデータに前記視差情報が含まれない
ことを特徴とする請求項１又は２に記載の多視点画像符号化装置。
【請求項６】
符号化された第１視点画像を復号する第１視点画像復号部と、
符号化された第２視点画像を復号すると共に、第１視点画像と第２視点画像間の視差情報を抽出する第２視点画像復号部と、
前記第２視点画像復号部によって抽出された視差情報に基づいて奥行き画像を生成する奥行き画像生成部と、
を備えることを特徴とする多視点画像復号装置。
【請求項７】
前記奥行き画像生成部は、
前記視差情報と、前記第１の視点に配置された第１撮像部と前記第２の視点に配置された第２撮像部との間の撮像部間距離、及び前記第１撮像部及び第２撮像部と被写体との間の撮影距離とに基づいて、画像領域単位の代表奥行き値を算出する代表奥行き値算出部と、
複数の前記代表奥行き値に基づいて補間を行うことにより、奥行き画像を生成する奥行きマッピング部と、
を備えることを特徴とする請求項６に記載の多視点画像復号装置。
【請求項８】
多視点画像符号化装置における方法であって、
視差情報生成部が、第１の視点の画像である第１視点画像と第２の視点の画像である第２視点画像との間で、画像領域単位毎に視差情報を生成する視差情報生成過程と、
視点内予測符号化部が、前記第２視点画像を、異なるフレームの第２視点画像との間で視点内予測符号化して第１の符号化データを生成する視点内予測符号化過程と、
視点間予測符号化部が、前記視差情報に基づいて前記第１視点画像との間で視点間予測符号化して第２の符号化データを生成する視点間予測符号化過程と、
を備えることを特徴とする多視点画像符号化方法。
【請求項９】
多視点画像復号装置における方法であって、
第１視点画像復号部が、符号化された第１視点画像を復号する第１視点画像復号過程と、
第２視点画像復号部が、符号化された第２視点画像を復号すると共に、第１視点画像と第２視点画像間の視差情報を抽出する第２視点画像復号過程と、
奥行き画像生成部が、前記第２視点画像復号部によって抽出された視差情報に基づいて奥行き画像を生成する奥行き画像生成過程と、
を備えることを特徴とする多視点画像復号方法。
【図１】
【図２】
【図３】
【図４】
【図５】
【図６】
【図７】
【図８】
【図９】
【図１０】
【図１１】
【図１２】
【図１３】
【図１４】
【図２】
【図３】
【図４】
【図５】
【図６】
【図７】
【図８】
【図９】
【図１０】
【図１１】
【図１２】
【図１３】
【図１４】
【公開番号】特開２０１３−８５０６４（Ｐ２０１３−８５０６４Ａ）
【公開日】平成２５年５月９日（２０１３．５．９）
【国際特許分類】
【出願番号】特願２０１１−２２２７２４（Ｐ２０１１−２２２７２４）
【出願日】平成２３年１０月７日（２０１１．１０．７）
【出願人】（０００００５０４９）シャープ株式会社 (33,933)
【Ｆターム（参考）】
【公開日】平成２５年５月９日（２０１３．５．９）
【国際特許分類】
【出願日】平成２３年１０月７日（２０１１．１０．７）
【出願人】（０００００５０４９）シャープ株式会社 (33,933)
【Ｆターム（参考）】
[ Back to top ]