画像符号化方法、画像符号化装置、画像復号方法、画像復号装置およびそれらのプログラム
【課題】優れた符号化効率を得ることが可能な画像符号化方法を提供すること。
【解決手段】画像を分割したマクロブロック毎に符号化する画像符号化方法であって、符号化対象のマクロブロックに隣接するマクロブロックをイントラ予測した際の予測モードと、隣接するマクロブロックの画素値とに基づいて、符号化対象のマクロブロックの予測画像を生成する生成ステップを有することを特徴とする。
【解決手段】画像を分割したマクロブロック毎に符号化する画像符号化方法であって、符号化対象のマクロブロックに隣接するマクロブロックをイントラ予測した際の予測モードと、隣接するマクロブロックの画素値とに基づいて、符号化対象のマクロブロックの予測画像を生成する生成ステップを有することを特徴とする。
【発明の詳細な説明】
【技術分野】
【０００１】
本発明は、画像符号化方法、画像符号化装置、画像復号方法、画像復号装置およびそれらのプログラムに関する。
【背景技術】
【０００２】
動画像の符号化においては、フレーム内予測や動き補償フレーム間予測など様々な方式が提案され、国際標準化規格であるＭＰＥＧ（Moving Picture Experts Group）−２、ＭＰＥＧ−４、ＭＰＥＧ−４ ＡＶＣ（Advanced Video Coding）／Ｈ．２６４で採用されている。
非特許文献１に記載されたように、ＭＰＥＧ−４ ＡＶＣ／Ｈ．２６４で採用された方式の一つに、スキップト・マクロブロックモード（skipped macroblock mode）がある。この方式は符号化対象のマクロブロックの情報をまったく符号化せず、復号する際には、符号化されたマクロブロックと隣接するマクロブロックの動きベクトルに基づき予測ベクトルを生成し、その予測ベクトルで動き補償を行うことで、符号化マクロブロックを復号するものである。
【０００３】
特許文献１には、多視点映像を符号化する場合に、このような予測ベクトルの代わりに、符号化対象画像と符号化対象画像とは異なる視点の画像との全域的な差を示す全域差ベクトルに基づいて、現在ブロックの動きベクトルを予測して、それを予測ベクトルとする技術が開示されている。また、特許文献１には、この予測ベクトルを利用したスキップト・マクロブロックモードで符号化、復号を行うことも開示されている。
【先行技術文献】
【特許文献】
【０００４】
【特許文献１】特表２０１０−５１６１５８号公報
【非特許文献】
【０００５】
【非特許文献１】ＩＴＵ−Ｔ Ｒｅｃ． Ｈ．２６４（０３／２００９）― Ａｄｖａｎｃｅｄ ｖｉｄｅｏ ｃｏｄｉｎｇ ｆｏｒ ｇｅｎｅｒｉｃ ａｕｄｉｏｖｉｓｕａｌ ｓｅｒｖｉｃｅｓ
【発明の概要】
【発明が解決しようとする課題】
【０００６】
しかしながら、上述の非特許文献１および特許文献１の技術においては、符号化対象画像が奥行き情報を表すデプスマップなど空間方向の相関性が高い画像にスキップト・マクロブロックモードを適用したときに、スキップト・マクロブロックモードが主に時間方向の相関に基づく方法であるために高い符号化効率が得られないことがあるという問題がある。
【０００７】
本発明は、上述のような実状に鑑みてなされたものであり、その目的は、空間方向の相関性が高い画像においても優れた符号化効率を得ることが可能な画像符号化方法、画像符号化装置、画像復号方法、画像復号装置およびそれらのプログラムを提供することにある。
【課題を解決するための手段】
【０００８】
（１）この発明は上述した課題を解決するためになされたもので、本発明の一態様は、画像を分割したマクロブロック毎に符号化する画像符号化方法であって、符号化対象のマクロブロックに隣接するマクロブロックをイントラ予測した際の予測モードと、前記隣接するマクロブロックの画素値とに基づいて、前記符号化対象のマクロブロックの予測画像を生成する生成ステップを有することを特徴とする。
【０００９】
（２）また、本発明の他の態様は、上述の画像符号化方法であって、前記隣接するマクロブロックに基づいて、前記符号化対象のマクロブロック毎に、前記予測画像を前記生成ステップにより生成するか否かを選択するステップを有することを特徴とする。
【００１０】
（３）また、本発明の他の態様は、上述の画像符号化方法であって、前記生成ステップは、前記予測モードと、前記画素値に基づいたイントラ予測によって前記予測画像を生成することを特徴とする。
【００１１】
（４）また、本発明の他の態様は、上述の画像符号化方法であって、前記生成ステップは、前記隣接するマクロブロックの前記符号化対象のマクロブロックに対する隣接方向と、該隣接方向の前記隣接するマクロブロックの予測モードとの組み合わせによって、前記イントラ予測の予測モードを決定するステップを有することを特徴とする。
【００１２】
（５）また、本発明の他の態様は、画像を分割したマクロブロック毎に符号化する画像符号化装置であって、符号化対象のマクロブロックに隣接するマクロブロックをイントラ予測した際の予測モードと、前記隣接するマクロブロックの画素値とに基づいて、前記符号化対象のマクロブロックの予測画像を生成する予測画像生成部を具備することを特徴とする。
【００１３】
（６）また、本発明の他の態様は、画像を分割したマクロブロック毎に符号化された画像を復号する画像復号方法であって、復号対象のマクロブロックに隣接するマクロブロックをイントラ予測した際の予測モードと、前記隣接するマクロブロックの画素値とに基づいて、前記復号対象のマクロブロックの予測画像を生成する生成ステップを有することを特徴とする。
【００１４】
（７）また、本発明の他の態様は、画像を分割したマクロブロック毎に符号化された画像を復号する画像復号装置であって、復号対象のマクロブロックに隣接するマクロブロックをイントラ予測した際の予測モードと、前記隣接するマクロブロックの画素値とに基づいて、前記復号対象のマクロブロックの予測画像を生成する予測画像生成部を具備することを特徴とする。
【００１５】
（８）また、本発明の他の態様は、画像を分割したマクロブロック毎に符号化する画像符号化装置のコンピュータを、符号化対象のマクロブロックに隣接するマクロブロックをイントラ予測した際の予測モードと、前記隣接するマクロブロックの画素値とに基づいて、前記符号化対象のマクロブロックの予測画像を生成する予測画像生成部として動作させるためのプログラムである。
【００１６】
（９）また、本発明の他の態様は、画像を分割したマクロブロック毎に符号化された画像を復号する画像復号装置のコンピュータを、復号対象のマクロブロックに隣接するマクロブロックをイントラ予測した際の予測モードと、前記隣接するマクロブロックの画素値とに基づいて、前記復号対象のマクロブロックの予測画像を生成する予測画像生成部として動作させるためのプログラムである。
【発明の効果】
【００１７】
この発明によれば、空間方向の相関性が高い画像においても優れた符号化効率を得ることが可能になる。
【図面の簡単な説明】
【００１８】
【図１】本発明の第１の実施形態に係る画像符号化装置を備えた３次元画像撮影システムの一構成例を示す概略図である。
【図２】本発明の第１の実施形態に係る画像符号化装置の構成例を示す概略図である。
【図３】イントラ予測の予測モードを示す概略図である。
【図４】本発明の第１の実施形態に係るスキップト・マクロブロック部の構成例を示す概略図である。
【図５】本発明の第１の実施形態に係るスキップト・マクロブロックモードによる符号化の一例を示す概念図である。
【図６】本発明の第１の実施形態に係る画像符号化装置が行う画像符号化処理の一例を説明するためのフローチャートである。
【図７】図６に続くフローチャートである。
【図８】本発明の第１の実施形態に係るスキップト・マクロブロック部におけるスキップト・マクロブロック予測画像マクロブロック生成処理の一例を説明するためのフローチャートである。
【図９】図８に続くフローチャートである。
【図１０】本発明の第１の実施形態に係る画像復号装置の構成例を示す概略図である。
【図１１】本発明の第１の実施形態に係る画像復号装置が行う画像復号処理の一例を説明するためのフローチャートである。
【発明を実施するための形態】
【００１９】
以下の各実施形態では、画素毎のデプス値からなるデプスマップを構成する一部の領域であるマクロブロック毎に、スキップト・マクロブロックモードによってデプスマップの符号化又は復号を行う。無論、以下の説明から明らかなように、全てのマクロブロックに対してスキップト・マクロブロックモードで符号化／復号を行うことに限定されるものではない。そして、各実施形態では予測画像の生成に主たる特徴を有する。より具体的には、各実施形態におけるスキップト・マクロブロックモードでは、マクロブロックを予測符号化する際に、隣接ブロックの符号化モードに応じて、予測画像の生成方法を変更するようにしている。
【００２０】
以下、図面を参照しながら本発明の実施形態について詳しく説明する。
（第１の実施形態）
図１は、本発明の第１の実施形態に係る画像符号化装置を備えた３次元画像撮影システムの一構成例を示す概略図である。
図１で例示する３次元画像撮影システム１０は、撮影装置３ａ、撮影装置３ｂ、画像前置処理部２、画像符号化装置１、及びテクスチャ画像符号化装置４を含んで構成される。
撮影装置３ａ及び撮影装置３ｂは、互いに異なる位置（視点）に設置され、同一の視野（被写空間）に含まれる被写体の画像を、予め定めた時間間隔で（例えば１／３０秒毎に１回）撮影する。撮影装置３ａ及び撮影装置３ｂは、撮影した画像を示す画像信号をテクスチャ画像（ｔｅｘｔｕｒｅ ｍａｐ；「二次元画像」ということがある。）と定め、それぞれのテクスチャ画像を画像前置処理部２に出力する。
【００２１】
この画像信号は、被写空間に含まれる被写体や背景の色彩や濃淡を表す信号値（画素値、輝度値）であって、二次元平面に配置された画素毎の信号値からなる画像信号である。この画像信号は、画素毎に色空間を表す信号値を有する画像信号、例えばＲＧＢ信号である。ＲＧＢ信号は、赤色成分の輝度値を表すＲ信号、緑色成分の輝度値を示すＧ信号、青色成分の輝度値を示すＢ信号を含む。
【００２２】
画像前置処理部２に入力される画像のうち、撮影装置３ａ及び撮影装置３ｂのいずれか一方、例えば撮影装置３ａから入力されたテクスチャ画像を基準画像と定め、他の撮影装置（この例では撮影装置３ｂ）から入力されたテクスチャ画像と区別して説明する。従って、基準画像も被写空間に含まれる被写体や背景の色彩や濃淡を表す信号値（輝度値）であって、二次元平面に配置された画素毎の信号値からなる一般的な二次元の画像信号である。
【００２３】
画像前置処理部２は、撮影装置３ａから入力されたテクスチャ画像を基準画像として、この基準画像と、他の撮影装置３ｂから入力されたテクスチャ画像との視差を画素毎に算出し、撮影装置３ａから入力されたテクスチャ画像に対応するデプスマップを生成する。デプスマップ（ｄｅｐｔｈ ｍａｐ、「深度画像」、「距離画像」とも言う）とは、被写空間に含まれる被写体や背景の、視点（撮影装置等）からの距離に対応する信号値（「デプス値」、「深度値」、「デプス」等と呼ぶ）であって、二次元平面に配置された画素毎の信号値（画素値）からなる画像信号である。デプスマップを構成する画素は、基準画像を構成する画素と対応する。従って、デプスマップは、被写空間を二次元平面に射影した基準となる画像信号である基準画像を用いて、三次元の被写空間を表すための手がかりとなる。
【００２４】
次に、画像前置処理部２は、他の撮影装置３ｂから入力されたテクスチャ画像を基準画像として、撮影装置３ａから入力されたテクスチャ画像との視差から、撮影装置３ａのデプスマップの生成方法と同様にして、撮影装置３ｂのテクスチャ画像に対応するデプスマップを生成する。画像前置処理部２は、撮影装置３ａ及び撮影装置３ｂのテクスチャ画像をフレーム毎に交互にテクスチャ画像符号化装置４に出力する。また、画像前置処理部２は、テクスチャ画像に対応するデプスマップを画像符号化装置１に出力する。すなわち、画像前置処理部２は、テクスチャ画像符号化装置４にテクスチャ画像を出力したタイミングに、該テクスチャ画像に対応するデプスマップを画像符号化装置１に出力する。
【００２５】
テクスチャ画像符号化装置４は、入力されたテクスチャ画像を、例えば、非特許文献１である、ＩＴＵ−Ｔ Ｈ．２６４規格で規定されている復号方式に対応する符号化方式を用いて符号化し、テクスチャ画像符号を生成する。
なお、本実施形態では、画像撮影システムが備える撮影装置の数を２台として説明しているが、これに限らず、３台以上であってもよい。また、画像符号化装置１及びテクスチャ画像符号化装置にそれぞれ入力されるデプスマップ及びテクスチャ画像は、撮影装置３ａ及び撮影装置３ｂが撮影した画像に基づくものでなくともよく、例えば、コンピュータグラフィックスなどの予め合成された画像であってもよい。
【００２６】
次に、本実施形態に係る画像符号化装置１の構成例とその機能について、図２を参照しながら説明する。図２は、本実施形態に係る画像符号化装置１の構成例を示す概略図である。
図２で例示する画像符号化装置１は、デプスマップ入力部１０１、参照画像メモリ１０２、イントラ予測部１０３、インター予測部１０４、スキップト・マクロブロック部１０５、符号化モード判定部１０６、動きベクトルメモリ１０７、符号化モードメモリ１０８、スイッチ１０９、減算部１１０、ＤＣＴ変換・量子化部１１１、逆量子化・逆ＤＣＴ変換部１１２、加算部１１３、及び情報源符号化部１１４を含んで構成される。
【００２７】
デプスマップ入力部１０１は、画像前置処理部２からデプスマップがフレーム毎に入力され、入力されたデプスマップからマクロブロック（以下、デプスマクロブロック）を抽出する。デプスマップ入力部１０１は、抽出したデプスマクロブロックを、符号化モード判定部１０６、イントラ予測部１０３、インター予測部１０４、及び減算部１１０に出力する。デプスマクロブロックは、予め定めた数の画素、例えば水平方向１６画素×垂直方向１６画素からなる。
【００２８】
デプスマップ入力部１０１は、ラスタースキャンの順序でデプスマクロブロックを抽出するマクロブロックの位置を、各ブロックが重ならないようにシフトさせる。即ち、デプスマップ入力部１０１は、デプスマクロブロックを抽出するブロックをフレームの左上端から順次ブロックの水平方向の画素数だけ右に移動させる。デプスマップ入力部１０１は、デプスマクロブロックを抽出するマクロブロックの右端がフレームの右端に達した後、そのマクロブロックをマクロブロックの垂直方向の画素数だけ下で、且つフレームの左端に移動させる。デプスマップ入力部１０１は、このようにしてデプスマクロブロックを抽出するマクロブロックがフレームの右下に達するまで移動させる。なお、以下では、抽出されたデプスマクロブロックを符号化対象マクロブロック又は対象マクロブロックと呼ぶことがある。
【００２９】
参照画像メモリ１０２は、加算部１１３から入力された参照画像のマクロブロック（以下、参照画像マクロブロック）を、対応するフレームにおける符号化対象マクロブロックの位置に配置して参照画像として記憶する。この参照画像マクロブロックは、過去に入力されたデプスマクロブロックを符号化し、復号されたマクロブロックである。このように参照画像マクロブロックを配置して構成したフレームの画像信号を参照画像と呼んでいる。参照画像メモリ１０２は、現在から予め設定されたフレーム数、例えば１５フレーム分の過去のフレームの参照画像を順次に記憶し、記憶されたフレーム数が予め設定されたフレーム数を超えたとき、例えば１６フレーム目の参照画像が入力された時、それ以前の過去のフレームの参照画像を全て削除する。
【００３０】
イントラ予測部１０３は、デプスマップ入力部１０１から対象マクロブロックを受け取り、参照画像メモリ１０２から対象マクロブロックと同一フレーム内の対象マクロブロックに隣接するマクロブロックであって、符号化に係る処理を行った参照画像マクロブロックを読みだす。次に、イントラ予測部１０３は、読みだした参照画像マクロブロックに基づいてフレーム内予測を行い、イントラ予測画像マクロブロックを生成する。具体的なフレーム内予測の方法としては、例えば非特許文献１である、ＩＴＵ−Ｔ Ｈ．２６４規格書に記載されているフレーム内予測方法がある。
【００３１】
図３は非特許文献１で規定されている、イントラ予測における輝度信号に対する予測モード（予測方向）を示したものである。対象マクロブロックをサイズが４×４又は８×８のブロックに分割してフレーム内予測をする場合には、図３の（ａ）にあるように、０から８までの９通りの予測モードが決められており、対象マクロブロックを分割せず、サイズが１６×１６の場合には、図３の（ｂ）にあるように、０から３までの４通りの予測モードが決められている。なお、図３（ａ）、図３（ｂ）にあるＩｎｔｒａ＿ＤＣとは、対象マクロブロック又はサブブロックの上と左に隣接する画素の平均値で対象マクロブロック又はサブブロックを予測する方法である。また、図３（ｂ）にあるＩｎｔｒａ＿Ｐｌａｎｅとは対象マクロブロック又はサブブロックの上に隣接する画素と左に隣接する画素を斜め方向に画素値を内挿し予測値とする方法である。
【００３２】
イントラ予測部１０３は、読みだした参照画像マクロブロックのデプス値を輝度値とみなして、上述のフレーム内予測を行う。また、イントラ予測部１０３は、対象マクロブロックを４×４のブロック１６個に分割するパターンと、８×８のブロックに分割するパターンと、分割しない(ブロックのサイズは１６×１６)パターンごとに対象マクロブロックと最も似ているイントラ予測画像マクロブロックが生成される予測モードを選択する。対象マクロブロックとイントラ予測画像マクロブロックが似ているかどうかの指標としては、例えばＳＡＤ（Sum of Absolute Difference、差分絶対値和）がある。イントラ予測部１０３は、各パターンのイントラ予測画像マクロブロックのＳＡＤを比較し、最もＳＡＤが小さいパターンのイントラ予測画像マクロブロックを符号化モード判定部１０６に出力する。なお、本発明は、具体的な対象マクロブロックとイントラ予測画像マクロブロックの類似度算出方法によって限定されるものではない。
【００３３】
インター予測部１０４は、デプスマップ入力部１０１から入力された対象マクロブロックを１つ若しくは複数のパーティションに分割し、各々のパーティションに対して、順次、動きベクトルを検出する。なお、１つのパーティションに分割するとは実質的に分割を実行しないことを指す。
具体的には、インター予測部１０４は、まず参照画像メモリ１０２から参照画像を構成する参照画像ブロックを読み出す。インター予測部１０４が読み出す参照画像ブロックの大きさ（画素数）は上記１又は複数のパーティションのうち、処理の対象となるパーティション（以下、対象パーティションと呼ぶ）の大きさと同一である。ここで、インター予測部１０４は、デプスマップ入力部１０１から入力されたデプスマクロブロック内の対象パーティションと参照画像ブロックとの間でブロックマッチングを行う。即ち、参照画像メモリ１０２に記憶されている過去の参照画像のフレームから参照画像ブロックを読み出す位置を、対象パーティションの位置から予め設定した範囲内において水平方向又は垂直方向に１画素ずつ移動させる。インター予測部１０４は、対象パーティションの座標と対象パーティションと最も類似する参照画像ブロックの座標との差分を、ベクトルとして検出する。
【００３４】
ここで、インター予測部１０４は、対象パーティションに含まれる画素毎の信号値と参照画像ブロックに含まれる画素毎の信号値との類似性を示す指標値、例えば、ＳＡＤ（Sum of Absolute Difference、差分絶対値和）を算出する。インター予測部１０４は、指標値を最小とする参照画像ブロックを、対象パーティションと最も類似する参照画像ブロックと定める。インター予測部１０４は、対象パーティションの座標と、最も類似する参照画像ブロックの座標とに基づき動きベクトルを算出する。
【００３５】
また、インター予測部１０４は、対象マクロブロックを構成する上記パーティションのサイズのうち、符号化コストが最小となるパーティションのサイズを選択する。例えば、インター予測部１０４は、以下の処理を全てのパーティションのサイズに対して行う。まず、インター予測部１０４は、算出した動きベクトルの水平成分の絶対値、その垂直成分の絶対値及び対象パーティションと対象パーティションと最も類似する参照ブロックとの間の指標値の和をコスト値として算出する。以上の処理を、対象マクロブロックを構成する全てのパーティションに対して行うことでコスト値を算出し、そのコスト値の和をパーティションのサイズ毎に求めていく。そして、パーティションのサイズのうちコスト値の和が最も小さくなったパーティションのサイズを選択する。
【００３６】
他のパーティションサイズの選択方法としては、例えば、ＲＤコストを用いるものもある。ＲＤコストとは、次式から符号化コストＪを算出する。
Ｊ ＝ Ｄ＋λ×Ｒ
ここで、Ｄは対象マクロブロックと対象マクロブロックを符号化し復号した画像との差分であり、Ｒは予想される発生符号量である。また、係数λは、定数であってもよいし、ＤＣＴ変換・量子化部１１１における量子化の粗さを制御する量子化パラメータの関数であってもよい。なお、本発明は、具体的な符号化コストの算出方法によって限定されるものではない。
【００３７】
次に、インター予測部１０４は、コスト値が最小となったパーティションのサイズとそのサイズの各パーティションで算出した動きベクトルとに基づいて動き補償を行い、インター予測画像マクロブロックを生成する。具体的には、まず、インター予測部１０４は、参照画像メモリ１０２からパーティション毎に、動きベクトルが差す座標の参照画像ブロックを読み取る。インター予測部１０４は、パーティション毎に、読みだした参照画像ブロックの座標をパーティションの座標に合わせる処理をすることによってインター予測画像マクロブロックを生成する。
インター予測部１０４は、生成したインター予測画像マクロブロックを符号化モード判定部１０６に出力し、生成した動きベクトルを情報源符号化部１１４とスイッチ１０９に出力する。
【００３８】
スキップト・マクロブロック部１０５は、符号化モードメモリ１０８から対象マクロブロックに隣接するブロックの符号化モード信号を読み出す。同様に、動きベクトルメモリ１０７から対象マクロブロックに隣接するブロックの動きベクトルを読出し、参照画像メモリ１０２から対象マクロブロックに隣接する参照画像ブロックの画素値を読みだす。
【００３９】
スキップト・マクロブロック部１０５は、対象マクロブロックに隣接するブロックの符号化モード信号、動きベクトル、及び画素値に基づいてスキップ予測画像マクロブロックを生成する。スキップト・マクロブロック部１０５は、スキップ予測画像マクロブロックを符号化モード判定部１０６に出力する。また、スキップト・マクロブロック部１０５は、隣接するブロックの動きベクトルから、予測ベクトルを生成する場合がある。スキップト・マクロブロック部１０５は、予測ベクトルを生成した場合には、生成した予測ベクトルをスイッチ１０９に出力する。処理の詳細については後述する。
【００４０】
符号化モード判定部１０６は、デプスマップ入力部１０１から対象マクロブロックを、イントラ予測部１０３からイントラ予測画像マクロブロックを、インター予測部１０４からインター予測画像マクロブロックを、スキップト・マクロブロック部１０５からスキップ予測画像マクロブロックを、それぞれ入力として受け取る。
【００４１】
そして、符号化モード判定部１０６は、入力された３つの予測画像マクロブロックに基づいて最も符号化効率の高い符号化モードを決定する。具体的には、例えば、符号化モード判定部１０６は、予測画像マクロブロックの各々と対象マクロブロックとについて、画素毎に信号値の２乗誤差を算出する。そして、符号化モード判定部１０６は、各予測画像マクロブロック内の２乗誤差の総和を、その予測画像マクロブロックの符号化コストとする。符号化モード判定部１０６は、全ての予測画像マクロブロックに対して符号化コストを算出し、符号化コストが最も小さい予測画像マクロブロックに対応する符号化モードを最も符号化効率の高い符号化モードとして選択する。他の決定方法としては、例えば、ＲＤコストを用いるものもある。なお、本発明は、具体的な符号化コストの算出方法によって限定されるものではない。
【００４２】
符号化モード判定部１０６は、最も符号化効率の高い符号化モードを示す符号化モード信号を情報源符号化部１１４と符号化モードメモリ１０８とスイッチ１０９に出力する。符号化モード判定部１０６は、最も符号化効率の高い符号化モードに対応する予測画像マクロブロックを、減算部１１０と加算部１１３に出力する。なお、本実施形態では、符号化モード信号が示すことができる符号化モードとして、予測画像マクロブロックをスキップト・マクロブロック部１０５が生成したことを示すスキップト・マクロブロックモードを含む。
【００４３】
動きベクトルメモリ１０７は、スイッチ１０９から入力された動きベクトル又は予測ベクトルを動きベクトルとみなして、符号化されたマクロブロックの順に記憶する。
符号化モードメモリ１０８は、符号化モード判定部１０６から入力された、符号化モード判定部１０６で選択された符号化モードを示す符号化モード信号を、符号化されたマクロブロックの順に記憶する。なお、符号化モード信号は、符号化モード判定部１０６で選択された符号化モードを示すと共に、対象マクロブロックをどのようなパーティションに分割したかを示す情報も含む。なお、本実施形態において上記パーティションのサイズは、水平方向１６画素×垂直方向１６画素、１６画素×８画素、８画素×１６画素、８画素×８画素、８画素×４画素、４画素×８画素、又は、４画素×４画素であるが、本発明は、具体的なパーティションのサイズで限定されるものではない。また、符号化モード判定部１０６で選択された符号化モードがイントラ予測の場合には、符号化モード信号は、符号化モードとしてイントラ予測を示すと共に、イントラ予測の予測モードを示す情報も含む。
【００４４】
スイッチ１０９は、符号化モード判定部１０６から選択された符号化モードに対応する符号化モード信号を受け取り、インター予測部１０４から動きベクトルを受け取り、スキップト・マクロブロック部から予測ベクトルを受け取る。スイッチ１０９は、受け取った符号化モード信号がインター予測を示している場合には、受け取った動きベクトルを動きベクトルメモリ１０７に出力する。スイッチ１０９は、受け取った符号化モード信号がスキップト・マクロブロックモードを示している場合には、受け取った予測ベクトルを動きベクトルメモリ１０７に出力する。
【００４５】
減算部１１０は、デプスマップ入力部１０１から入力されたデプスマクロブロックに含まれる各画素の信号値から、符号化モード判定部１０６から入力されたイントラ予測画像マクロブロック、インター予測画像マクロブロック、又はスキップ予測画像マクロブロックに含まれる各画素の信号値を減算して、残差信号マクロブロックを算出する。減算部１１０は、算出した残差信号マクロブロックをＤＣＴ変換・量子化部１１１に出力する。
【００４６】
ＤＣＴ変換・量子化部１１１は、減算部１１０から入力された残差信号マクロブロックに対して二次元ＤＣＴ（Discrete Cosine Transform、離散コサイン変換）を行い周波数領域信号としてＤＣＴ係数を算出した後、ＤＣＴ係数の量子化（ｑｕａｎｔｉｚａｔｉｏｎ）を行い、量子化ＤＣＴ係数を生成する。ここで、量子化とは、入力されたＤＣＴ係数を離散的な代表値の１つに変換する処理である。ＤＣＴ変換・量子化部１１１は、生成した量子化ＤＣＴ係数を、逆量子化・逆ＤＣＴ変換部１１２及び情報源符号化部１１４に出力する。
【００４７】
逆量子化・逆ＤＣＴ変換部１１２は、ＤＣＴ変換・量子化部１１１から入力された量子化ＤＣＴ係数に逆量子化（ｄｅ−ｑｕａｎｔｉｚａｔｉｏｎ）を行い、逆量子化ＤＣＴ係数を生成した後、逆量子化ＤＣＴ係数に対して２次元逆ＤＣＴ（inverse Discrete Cosine Transform、逆離散コサイン変換）を行い、空間領域信号として復号された残差信号マクロブロックを生成する。以下、この復号された残差信号マクロブロックを、復号残差信号マクロブロックと呼ぶ。逆量子化・逆ＤＣＴ変換部１１２は、生成した復号残差信号マクロブロックを加算部１１３に出力する。
【００４８】
加算部１１３は、符号化モード判定部１０６から入力されたイントラ予測画像マクロブロック、インター予測画像マクロブロック、又はスキップ予測画像マクロブロックに含まれる各画素の信号値と、逆量子化・逆ＤＣＴ変換部１１２から入力された復号残差信号マクロブロックに含まれる各画素の信号値とを加算して、参照画像マクロブロックを生成する。加算部１１３は、生成した参照画像マクロブロックを参照画像メモリ１０２に記憶させる。
【００４９】
情報源符号化部１１４は、符号化モード判定部から入力された符号化モード信号と、ＤＣＴ変換・量子化部１１１から入力された量子化ＤＣＴ係数と、インター予測部１０４から入力された動きベクトルとに対して符号化を施し、符号化ストリームを生成する。情報源符号化部１１４は、入力された情報よりも情報量（ビット数）が少ない符号化ストリームを生成する符号化として、例えば可変長符号化を行う。可変長符号化とは、入力された情報において出現頻度がより高い情報ほどより短い符号を、出現頻度が低い情報ほどより長い符号に変換することによって、情報量を圧縮する符号化方式である。情報源符号化部１１４は、生成した符号化ストリームを画像符号化装置１の外部へ出力する。
【００５０】
次に、本実施形態に係るスキップト・マクロブロック部１０５の構成例及びその機能について、図４を参照しながら説明する。図４は、本実施形態に係るスキップト・マクロブロック部１０５の構成例を示す概略図である。
図４で例示するスキップト・マクロブロック部１０５は、予測画像生成方法選択部１０５１と、予測ベクトル生成部１０５２と、予測画像マクロブロック生成部１０５３と、予測モード決定部１０５４と、イントラ予測画像マクロブロック生成部１０５５とを含んで構成される。
【００５１】
予測画像生成方法選択部１０５１は、動きベクトルメモリ１０７から対象マクロブロックの左、上及び右上に隣接しているマクロブロックの動きベクトルを読み出す。予測画像生成方法選択部１０５１は、３つの隣接マクロブロックのうち動きベクトルを読み出すことが出来たブロックが予め設定された閾値（ここでは２）以上の場合には、予測ベクトル生成部１０５２に動きベクトルを出力する。動きベクトルを読み出すことが出来ないブロックがあった場合には、代わりに水平成分、垂直成分がそれぞれ０のベクトル情報を該ブロックの動きベクトルとして出力する。予測画像生成方法選択部１０５１は、３つの隣接マクロブロックのうち動きベクトルを読み出すことが出来たブロックが１つ以下の場合には、予測モード決定部１０５４に処理を開始する旨を示す信号を送出する。
【００５２】
このように、予測画像生成方法選択部１０５１は、対象マクロブロックの予測画像を、隣接するブロックの画素値に基づき生成（イントラ予測により生成）するか、隣接するマクロブロックの動きベクトルに基づき生成（インター予測により生成）するかを決定する。各マクロブロックの動きベクトルは、そのマクロブロックの符号化モードがインター予測であるか、スキップト・マクロブロックモードのインター予測であるときに、存在する。したがって、上述のように、動きベクトルを読み出すことができた隣接マクロブロックの数に基づき決定するということは、イントラ予測により予測画像が生成された隣接マクロブロックの数に基づき決定していることになる。すなわち、予測画像生成方法選択部１０５１は、イントラ予測により予測画像が生成された隣接マクロブロックの数が、閾値（ここでは２）以上のときは、対象マクロブロックの予測画像をイントラ予測で生成すると決定している。
【００５３】
予測ベクトル生成部１０５２は、予測画像生成方法選択部１０５１から対象マクロブロックの左、上及び右上に隣接しているブロックの動きベクトルを受け取る。予測ベクトル生成部１０５２は、受け取った動きベクトルの水平成分と垂直成分それぞれの中央値を算出することで予測ベクトルを生成する。予測ベクトル生成部１０５２は、生成した予測ベクトルを予測画像マクロブロック生成部１０５３およびスイッチ１０９に出力する。
【００５４】
予測画像マクロブロック生成部１０５３は、予測ベクトル生成部１０５２から予測ベクトルを受け取る。予測画像マクロブロック生成部１０５３は、予測ベクトルに従って動き補償をすることによって、スキップ予測画像マクロブロックを生成する。予測画像マクロブロック生成部１０５３は、生成したスキップ予測画像マクロブロックを符号化モード判定部１０６に出力する。
【００５５】
予測モード決定部１０５４は、予測画像生成方法選択部１０５１から処理を開始する旨を示す信号を受け取ってから処理を開始する。予測モード決定部１０５４は、符号化モードメモリ１０８から対象マクロブロックの左、左上、上及び右上に隣接しているブロックの符号化モードを読み出す。そして、予測モード決定部１０５４は、隣接しているブロックの符号化モードに応じて、イントラ予測の予測モードを決定する。具体的な決定方法は、図５を用いて説明する。
【００５６】
図５に示すように、対象マクロブロックの左に隣接するマクロブロックをブロックＡ、上に隣接するマクロブロックをブロックＢ、右上に隣接するブロックをブロックＣ、左上に隣接するブロックをブロックＤと呼称することとする。
まず、予測モード決定部１０５４は、ブロックＢの符号化モードがイントラ予測の予測モードの０を示しているかを確認する（図５の（ａ））。予測モード決定部１０５４は、ブロックＢの符号化モードがイントラ予測の予測モードの０を示している場合には、イントラ予測モード信号として０を設定する。
次に、予測モード決定部１０５４は、ブロックＢの符号化モードがイントラ予測の予測モードの０を示していない場合には、ブロックＡの符号化モードがイントラ予測の予測モードの１を示しているかを確認する（図５の（ｂ））。予測モード決定部１０５４は、ブロックＡの符号化モードがイントラ予測の予測モードの１を示している場合には、イントラ予測モード信号として１を設定する。
【００５７】
次に、予測モード決定部１０５４は、ブロックＡの符号化モードがイントラ予測の予測モードの１を示していない場合には、ブロックＣの符号化モードがブロックＣのブロックのサイズが１６×１６ではなく、且つイントラ予測の予測モードの３又は７を示しているかを確認する（図５の（ｃ））。予測モード決定部１０５４は、ブロックＣの符号化モードがブロックＣのブロックのサイズが１６×１６ではなく、且つイントラ予測の予測モードの３又は７を示している場合には、イントラ予測モード信号としてブロックＣの予測モードと同じ値を設定する。
【００５８】
次に、予測モード決定部１０５４は、ブロックＣの符号化モードがブロックＣのパーティションのサイズが１６×１６ではなく、且つイントラ予測の予測モードの３又は７を示していない場合には、ブロックＤの符号化モードがイントラ予測の予測モードの４，５又は６を示しているかを確認する（図５の（ｄ））。予測モード決定部１０５４は、ブロックＤの符号化モードがイントラ予測の予測モードの４，５又は６を示している場合には、イントラ予測モード信号としてブロックＤの予測モードと同じ値を設定する。
次に、予測モード決定部１０５４は、ブロックＤの符号化モードがイントラ予測の予測モードの４，５又は６を示していない場合には、イントラ予測モード信号として２を設定する。
予測モード決定部１０５４は、設定したイントラ予測モード信号をイントラ予測画像マクロブロック生成部１０５５に出力する。
【００５９】
なお、本実施形態では、予測モード決定部１０５４は、図５（ａ）〜（ｄ）の順、すなわち予測モード０、１、（３または７）、（４、５または６）、２の順に該当するかを判定した。これは、一般的に予測モードが発生する頻度が高い方からの順としているが、この他の順であってもよい。
また、ブロックＢの予測モードが０であるとは、マクロブロックであるブロックＢがイントラ予測される際のブロックが１６画素×１６画素であり、予測モードが０であるときとしてもよい。あるいは、ブロックＢがイントラ予測される際のブロックであって、対象マクロブロックに隣接するブロック全ての予測モードが０であるときとしてもよい。あるいは、ブロックＢがイントラ予測される際のブロックであって、対象マクロブロックに隣接するブロックのうち、所定の数以上、または、所定の割合以上の予測モードが０であるときとしてもよい。ブロックＡの予測モードが１であるときについても同様である。
【００６０】
イントラ予測画像マクロブロック生成部１０５５は、予測モード決定部１０５４からイントラ予測モード信号を受け取り、参照画像メモリ１０２から対象マクロブロックに隣接するマクロブロックの画素値を読み出す。イントラ予測画像マクロブロック生成部１０５５は、イントラ予測モード信号で示されるイントラ予測モードの予測方向に基づいたイントラ予測を用いて、対象マクロブロックに隣接するブロックの画素値からスキップ予測画像マクロブロックを生成する。なお、イントラ予測画像マクロブロックは、１６画素×１６画素であるが、図３（ａ）に示す予測モードと予測方向との関係に従った予測方向を用いる。イントラ予測画像マクロブロック生成部１０５５は、生成したスキップ予測画像マクロブロックとスキップ予測画像マクロブロックをイントラ予測で生成したことを示す信号とを符号化モード判定部１０６に出力する。
【００６１】
次に、本実施形態に係る画像符号化装置１が行う画像符号化処理について、図６及び図７を参照しながら説明する。図６及び図７は、本実施形態に係る画像符号化装置１が行う画像符号化処理の一例を説明するためのフローチャートである。
まず、ステップＳ１０１において、デプスマップ入力部１０１は、画像前置処理部２からデプスマップをフレーム毎に入力する。その後、ステップＳ１０２へ進む。
画像符号化装置１は、ステップＳ１０２において、ステップＳ１０３〜Ｓ１２０の処理を、入力されたフレームに含まれるマクロブロック毎に行う。なお、ステップＳ１０３〜Ｓ１０５の順序は問わない。
【００６２】
ステップＳ１０３において、イントラ予測部１０３は、参照画像メモリ１０２から対象マクロブロックと同一フレーム内の対象マクロブロックに隣接する符号化に係る処理を行った参照画像ブロックを読みだす。イントラ予測部１０３は、読みだした参照マクロブロックに基づいてフレーム内予測を行い、イントラ予測画像マクロブロックを生成する。イントラ予測部１０３は、生成したイントラ予測画像マクロブロックを符号化モード判定部１０６に出力する。その後、ステップＳ１０４へ進む。
【００６３】
ステップＳ１０４において、インター予測部１０４は、デプスマップ入力部１０１から対象マクロブロックを入力し、参照画像メモリ１０２から参照画像を構成する参照画像ブロックを読み出す。インター予測部１０４は、対象マクロブロックを１つ若しくは複数のパーティションに分割し、各々のパーティションに対して、順次、動きベクトルを検出する。インター予測部１０４は、対象マクロブロックを構成する上記パーティションのサイズのうち、符号化コストが最小となるパーティションのサイズを選択する。インター予測部１０４は、符号化コストが最小となったパーティションのサイズと各パーティションの動きベクトルに基づいて動き補償又は視差補償を行い、インター予測画像マクロブロックを生成する。インター予測部１０４は、算出したベクトルを情報源符号化部１１４とスイッチ１０９に出力する。インター予測部１０４は、生成したインター予測画像マクロブロックを符号化モード判定部１０６に出力する。その後、ステップＳ１０５に進む。
【００６４】
ステップＳ１０５において、スキップト・マクロブロック部１０５は、符号化モードメモリ１０８から対象マクロブロックに隣接するマクロブロックの符号化モード信号と、動きベクトルメモリ１０７から対象マクロブロックに隣接するマクロブロックの動きベクトルと、参照画像メモリ１０２から対象マクロブロックに隣接する参照画像マクロブロックの画素値を読みだす。スキップト・マクロブロック部１０５は、読みだした符号化モード信号と、動きベクトルと、隣接する参照画像ブロックの画素値からスキップ予測画像マクロブロックを生成する。スキップト・マクロブロック部１０５は、スキップ予測画像マクロブロックを符号化モード判定部１０６に出力する。スキップト・マクロブロック部１０５が、予測ベクトルを生成している場合には、生成した予測ベクトルをスイッチ１０９に出力する。その後、ステップＳ１０６に進む。
【００６５】
ステップＳ１０６において、符号化モード判定部１０６は、デプスマップ入力部１０１から対象マクロブロックを、イントラ予測部１０３からイントラ予測画像マクロブロックを、インター予測部１０４からインター予測画像マクロブロックを、スキップト・マクロブロック部１０５からスキップ予測画像マクロブロックを、それぞれ入力として受け取る。符号化モード判定部１０６は、入力された３つの予測画像マクロブロックに基づいて最も符号化効率の高い符号化モードを選択する。符号化モード判定部１０６は、選択された符号化モードに対応する予測画像マクロブロックを減算部１１０と加算部１１３に出力するとともに、選択された符号化モードに対応する符号化モード信号を生成し情報源符号化部１１４と符号化モードメモリ１０８とスイッチ１０９に出力する。その後、ステップＳ１０７に進む。
【００６６】
ステップＳ１０７において、スイッチ１０９は、符号化モード判定部１０６から選択された符号化モードに対応する符号化モード信号と、インター予測部１０４から動きベクトルと、スキップト・マクロブロック部１０５から予測ベクトルを受け取る。スイッチ１０９は、選択された符号化モードに対応する符号化モード信号がインター予測を示している場合には、動きベクトルを動きベクトルメモリ１０７に出力する。スイッチ１０９は、選択された符号化モードに対応する符号化モード信号がスキップト・マクロブロックモードを示している場合には、予測ベクトルを動きベクトルメモリ１０７に出力する。動きベクトルメモリ１０７は、スイッチ１０９から出力された動きベクトル又は予測ベクトルを動きベクトルとみなして格納する。その後、ステップＳ１０８に進む。
【００６７】
ステップＳ１０８において、符号化モードメモリ１０８は、符号化モード判定部１０６から出力された選択された符号化モードに対応する符号化モード信号を、符号化されたマクロブロックの順に記憶する。その後、ステップＳ１０９に進む。
【００６８】
ステップ１０９において、減算部１１０は、デプスマップ入力部１０１から入力された対象マクロブロックに含まれる各画素の信号値から符号化モード判定部１０６から入力されたイントラ予測画像マクロブロック、インター予測画像マクロブロック、又はスキップ予測画像マクロブロックに含まれる各画素の信号値を減算して、残差信号マクロブロックを算出する。減算部１１０は、算出した残差信号マクロブロックをＤＣＴ変換・量子化部１１１に出力する。その後、ステップＳ１１０に進む。
【００６９】
ステップＳ１１０において、ＤＣＴ変換・量子化部１１１は、減算部１１０から入力された残差信号マクロブロックに対して二次元ＤＣＴを行い、ＤＣＴ係数を算出した後、ＤＣＴ係数の量子化を行い、量子化ＤＣＴ係数を生成する。ＤＣＴ変換・量子化部１１１は、生成した量子化ＤＣＴ係数を逆量子化・逆ＤＣＴ変換部１１２及び情報源符号化部１１４に出力する。その後、ステップＳ１１１に進む。
【００７０】
ステップＳ１１１において、逆量子化・逆ＤＣＴ変換部１１２は、ＤＣＴ変換・量子化部１１１から入力された量子化ＤＣＴ係数に逆量子化を行い、逆量子化ＤＣＴ係数を生成した後、逆量子化ＤＣＴ係数に対して２次元逆ＤＣＴを行い、復号残差信号マクロブロックを生成する。逆量子化・逆ＤＣＴ変換部１１２は、生成した復号残差信号マクロブロックを加算部１１３に出力する。その後、ステップＳ１１２に進む。
【００７１】
ステップＳ１１２において、加算部１１３は、符号化モード判定部１０６から入力されたイントラ予測画像マクロブロック、インター予測画像マクロブロック、又はスキップ予測画像マクロブロックに含まれる各画素の信号値と、逆量子化・逆ＤＣＴ変換部１１２から入力された復号残差信号マクロブロックに含まれる各画素の信号値とを加算して、参照画像マクロブロックを生成する。その後、ステップＳ１１３に進む。
ステップＳ１１３において、加算部１１３は、生成した参照画像マクロブロックを参照画像メモリ１０４に記憶する。その後、図７のステップＳ１１４に進む。
【００７２】
図７のステップＳ１１４において、符号化モード判定部１０６による符号化モードの判定結果に従い、符号化モードがスキップト・マクロブロックモードの場合には（ステップＳ１１４でＹＥＳ）、ステップＳ１１５に進み、そうでない場合には（ステップＳ１１４でＮＯ）ステップＳ１１６に進む。
【００７３】
ステップＳ１１５において、情報源符号化部１１４は、符号化モード判定部１０６から入力された符号化モード信号を符号化し、符号化ストリームを生成する。その後、ステップＳ１１９に進む。
ステップＳ１１６において、符号化モードがインター予測の場合には（ステップＳ１１６でＹＥＳ）、ステップＳ１１７に進み、符号化モードがイントラ予測の場合には（ステップＳ１１６でＮＯ）、ステップＳ１１８に進む。
【００７４】
ステップＳ１１７において、情報源符号化部１１４は、符号化モード判定部１０６から入力された符号化モード信号、ＤＣＴ変換・量子化部１１１から入力された量子化ＤＣＴ係数、及びインター予測部１０４から入力された動きベクトルを符号化し、符号化ストリームを生成する。その後、ステップＳ１１９に進む。
ステップＳ１１８において、情報源符号化部１１４は、符号化モード判定部１０６から入力された符号化モード信号とＤＣＴ変換・量子化部１１１から入力された量子化ＤＣＴ係数とを符号化し、符号化ストリームを生成する。その後、ステップＳ１１９に進む。
【００７５】
ステップＳ１１９において、情報源符号化部１１４は、生成した符号化ストリームを画像符号化装置１の外部へ出力する。その後、ステップＳ１２０に進む。
ステップＳ１２０において、画像符号化装置１は、符号化対象のマクロブロックをラスタースキャンの順序で順次に変更し、図６のステップＳ１０３に戻る。但し、画像符号化装置１は、入力されたデプスマップのフレームに符号化に係る処理がまだ行われていないブロックがないと判定した場合には、そのフレームに対する処理を終了する。
【００７６】
次に、本実施形態に係るスキップト・マクロブロック部１０５におけるスキップ予測画像マクロブロック生成処理について、図８及び図９を参照しながら説明する。図８及び図９は、本実施形態に係るスキップト・マクロブロック部１０５におけるスキップ予測画像マクロブロック生成処理の一例を説明するためのフローチャートである。この処理は、上述のステップＳ１０５に相当する処理である。
【００７７】
ステップＳ２０１において、予測画像生成方法選択部１０５１は、動きベクトルメモリ１０７から対象マクロブロックの左、上及び右上に隣接しているマクロブロックの動きベクトルを読み出す。その後、ステップＳ２０２に進む。
ステップＳ２０２において、予測画像生成方法選択部１０５１は、３つの隣接マクロブロックのうち動きベクトルを読み出すことが出来たブロックが２つ以上あったか否かを判定する。２つ以上あった場合には（ステップＳ２０２のＹｅｓ）、予測ベクトル生成部１０５２に動きベクトルを出力し、ステップＳ２０３に進む。２つ以上なかった場合には（ステップＳ２０２のＮｏ）、図９のステップＳ２０６に進む。
【００７８】
ステップ２０３において、予測ベクトル生成部１０５２は、予測画像生成方法選択部１０５１から対象マクロブロックの左、上及び右上に隣接しているマクロブロックの動きベクトルを受け取る。予測ベクトル生成部１０５２は、受け取った動きベクトルの水平成分と垂直成分それぞれの中央値を算出することで予測ベクトルを生成する。予測ベクトル生成部１０５２は、生成した予測ベクトルを予測画像マクロブロック生成部１０５３に出力する。その後、ステップＳ２０４に進む。
ステップＳ２０４において、予測画像マクロブロック生成部１０５３は、予測ベクトル生成部１０５２から予測ベクトルを受け取る。その後、ステップＳ２０５に進む。
ステップＳ２０５において、予測画像マクロブロック生成部１０５３は、予測ベクトルに従って動き補償をすることによって、スキップ予測画像マクロブロックを生成する。予測画像マクロブロック生成部１０５３は、生成したスキップ予測画像マクロブロックを符号化モード判定部１０６に出力し、処理を終了する。
【００７９】
図９のステップＳ２０６において、予測モード決定部１０５４は、符号化モードメモリ１０８から対象マクロブロックに隣接するブロックＡ、ブロックＢ、ブロックＣ及びブロックＤの符号化モードを読み出す。その後、ステップＳ２０７に進む。
ステップＳ２０７において、予測モード決定部１０５４は、ブロックＢの符号化モードがイントラ予測の予測モードの０を示しているかを確認し、示している場合には（ステップＳ２０７のＹｅｓ）、ステップＳ２０８に進み、示していない場合には（ステップＳ２０７のＮｏ）、ステップＳ２０９に進む。
ステップＳ２０８において、予測モード決定部１０５４は、対象マクロブロックのイントラ予測モード信号として０を設定する。予測モード決定部１０５４は、設定したイントラ予測モード信号をイントラ予測画像マクロブロック生成部１０５５に出力する。その後、ステップＳ２１６に進む。
【００８０】
ステップＳ２０９において、予測モード決定部１０５４は、ブロックＡの符号化モードがイントラ予測の予測モードの１を示しているかを確認し、示している場合には（ステップＳ２０９のＹｅｓ）、ステップＳ２１０に進み、示していない場合には（ステップＳ２０９のＮｏ）、ステップＳ２１１に進む。
ステップＳ２１０において、予測モード決定部１０５４は、対象マクロブロックのイントラ予測モード信号として１を設定する。予測モード決定部１０５４は、設定したイントラ予測モード信号をイントラ予測画像マクロブロック生成部１０５５に出力する。その後、ステップＳ２１６に進む。
【００８１】
ステップＳ２１１において、予測モード決定部１０５４は、ブロックＣの符号化モードがブロックＣのブロックのサイズが１６×１６ではなく、且つイントラ予測の予測モードの３又は７を示しているかを確認し、示している場合には（ステップＳ２１１のＹｅｓ）、ステップＳ２１２に進み、示していない場合には（ステップＳ２１１のＮｏ）、ステップＳ２１３に進む。
ステップＳ２１２において、予測モード決定部１０５４は、対象マクロブロックのイントラ予測モード信号としてブロックＣの予測モードと同じ値を設定する。予測モード決定部１０５４は、設定したイントラ予測モード信号をイントラ予測画像マクロブロック生成部１０５５に出力する。その後、ステップＳ２１６に進む。
【００８２】
ステップＳ２１３において、予測モード決定部１０５４は、ブロックＤの符号化モードがイントラ予測の予測モードの４、５又は６を示しているかを確認し、示している場合には（ステップＳ２１３のＹｅｓ）、ステップＳ２１４に進み、示していない場合には（ステップＳ２１３のＮｏ）、ステップＳ２１５に進む。
ステップＳ２１４において、予測モード決定部１０５４は、対象マクロブロックのイントラ予測モード信号としてブロックＤの予測モードと同じ値を設定する。予測モード決定部１０５４は、設定したイントラ予測モード信号をイントラ予測画像マクロブロック生成部１０５５に出力する。その後、ステップＳ２１６に進む。
【００８３】
ステップＳ２１５において、予測モード決定部１０５４は、対象マクロブロックのイントラ予測モード信号として２を設定する。予測モード決定部１０５４は、設定したイントラ予測モード信号をイントラ予測画像マクロブロック生成部１０５５に出力する。その後、ステップＳ２１６に進む。
ステップＳ２１６において、イントラ予測画像マクロブロック生成部１０５５は、予測モード決定部１０５４からイントラ予測モード信号を受け取り、参照画像メモリ１０２から対象マクロブロックに隣接するブロックの画素値を読み出す。イントラ予測画像マクロブロック生成部１０５５は、イントラ予測モード信号で示されるイントラ予測モードの予測方向に基づいたイントラ予測を用いて、対象マクロブロックに隣接するブロックの画素値からスキップ予測画像マクロブロックを生成する。イントラ予測画像マクロブロック生成部１０５５は、生成したスキップ予測画像マクロブロックを符号化モード判定部１０６に出力し、処理を終了する。
【００８４】
以上のように本実施形態に係る画像符号化装置１では、対象マクロブロックに隣接しているブロックの符号化モードに応じて、スキップト・マクロブロックモードで符号化する際の符号化方法を変更している。そして、スキップト・マクロブロックモードで符号化する際の符号化方法がイントラ予測の場合の予測モードを、対象マクロブロックに隣接しているブロックをイントラ予測で符号化した際の予測モードに応じて決定している。
【００８５】
次に、本実施形態に係る画像復号装置について説明する。本実施形態に係る画像復号装置は、上述した画像符号化装置１での画像符号化方法に従いスキップト・マクロブロックモードで符号化された、画素毎のデプス値からなるデプスマップを構成する一部の領域であるマクロブロックを復号する画像復号部を備えている。以下、このような画像復号装置の構成例について図１０を参照しながら説明する。図１０は、本実施形態に係る画像復号装置の構成例を示す概略図である。
【００８６】
図１０で例示する画像復号装置５は、情報源復号部５０１、符号化モードメモリ５０２、動きベクトルメモリ５０３、逆量子化・逆ＤＣＴ変換部５０４、加算部５０５、参照画像メモリ５０６、イントラ予測画像生成部５０７、インター予測画像生成部５０８、スキップト・マクロブロック部５０９、符号化モード判定部５１０、スイッチ５１１、及び画像出力部５１２を含んで構成される。
【００８７】
情報源復号部５０１は、画像復号装置５の外部から入力された、デプスマップについてのブロック毎の符号化ストリームを復号し、量子化ＤＣＴ係数、動きベクトル、及び符号化モード信号を生成する。情報源復号部５０１が行う復号方法は、図２の情報源符号化部１１４が行った符号化方法とは逆の処理である。即ち、情報源符号化部１１４が可変長符号化を行った場合は、情報源復号部５０１は可変長復号を行う。情報源復号部５０１は、生成した動きベクトルをインター予測画像生成部５０８とスイッチ５１１に出力する。情報源復号部５０１は、量子化ＤＣＴ係数を生成した場合、生成した量子化ＤＣＴ係数を逆量子化・逆ＤＣＴ変換部５０４に出力する。情報源復号部５０１は、生成した符号化モード信号を符号化モードメモリ５０２に記憶させ、符号化モード判定部５１０とイントラ予測画像生成部５０７とインター予測画像生成部５０８とスイッチ５１１に出力する。
【００８８】
符号化モードメモリ５０２は、情報源復号部５０１から符号化モード信号を受け取り、マクロブロックの復号順に格納する。符号化モードメモリ５０２は、格納した符号化モード信号をスキップト・マクロブロック部５０９に出力する。
動きベクトルメモリ５０３は、スイッチ５１１から動きベクトル又は予測ベクトルを受け取り、マクロブロックの復号順に格納する。動きベクトルメモリ５０３は、格納した動きベクトルをインター予測画像生成部５０８とスキップト・マクロブロック部５０９に出力する。
【００８９】
逆量子化・逆ＤＣＴ変換部５０４は、情報源復号部５０１から入力された量子化ＤＣＴ係数に逆量子化を行い、逆量子化ＤＣＴ係数を生成した後、逆量子化ＤＣＴ係数に対して２次元逆ＤＣＴを行い、空間領域信号として復号残差信号ブロックを生成する。逆量子化・逆ＤＣＴ変換部５０４は、復号残差信号ブロックを加算部５０５に出力する。
【００９０】
加算部５０５は、符号化モード判定部５１０から入力されたイントラ予測画像マクロブロック、インター予測画像マクロブロック、又はスキップ予測画像マクロブロックのいずれかに含まれる各画素の信号値と、逆量子化・逆ＤＣＴ変換部５０４から入力された復号残差信号ブロックに含まれる各画素の信号値とを加算して、参照画像マクロブロックを生成する。加算部５０５は、生成した参照画像マクロブロックを参照画像メモリ５０６に記憶させ、画像出力部５１１に出力する。
【００９１】
参照画像メモリ５０６は、加算部５０５から入力された参照画像マクロブロックを、対応するフレームにおける復号対象マクロブロックの位置に配置して参照画像として記憶する。参照画像メモリ５０６は、現在から予め設定されたフレーム数（例えば１５フレーム）過去のフレームの参照画像を記憶し、記憶されたフレーム数が予め設定されたフレーム数を超えたとき、例えば１６フレーム目の参照画像が入力された時、それ以前の過去のフレームの参照画像を全て削除する。
【００９２】
イントラ予測画像生成部５０７は、情報源復号部５０１から符号化モード信号を入力される。イントラ予測画像生成部５０７は、参照画像メモリ５０６から対象マクロブロックと同一フレーム内の対象マクロブロックに隣接する符号化に係る処理を行った参照画像マクロブロックを読みだす。イントラ予測画像生成部５０７は、読みだした参照画像マクロブロックと符号化モード信号が示す予測モードに基づいてフレーム内予測を行い、イントラ予測画像マクロブロックを生成する。イントラ予測画像生成部５０７は、生成したイントラ予測画像マクロブロックを符号化モード判定部５１０に出力する。
【００９３】
インター予測画像生成部５０８は、情報源復号部５０１から動きベクトルと符号化モード信号を入力される。インター予測画像生成部５０８は、対象マクロブロックを構成するパーティション毎に参照画像メモリ５０６から参照画像を構成する参照画像ブロックを読み出す。このパーティションのサイズは、符号化モード信号に基づいて決定される。インター予測画像生成部５０８が読み出す参照画像ブロックの座標は、復号対象パーティションの座標に情報源復号部５０１から入力された動きベクトルを加算することによって補償した座標である。また、読み出す参照画像ブロックの大きさは対応するパーティションの大きさと同一である。インター予測画像生成部５０８は、読みだした参照画像ブロックの座標を、対応するパーティションの座標に合わせる処理をすることによってインター予測画像マクロブロックを生成する。インター予測画像生成部５０８は、生成したインター予測画像マクロブロックを符号化モード判定部５１０に出力する。
【００９４】
スキップト・マクロブロック部５０９は、符号化モードメモリ５０２から対象マクロブロックに隣接するブロックの符号化モード信号を読み出す。また、スキップト・マクロブロック部５０９は、動きベクトルメモリ５０３から対象マクロブロックに隣接するブロックの動きベクトルを読出し、参照画像メモリ５０６から対象マクロブロックに隣接する参照画像ブロックの画素値を読みだす。
【００９５】
スキップト・マクロブロック部５０９は、対象マクロブロックに隣接するブロックの符号化モード、動きベクトル、及び画素値に基づいてスキップ予測画像マクロブロックを生成する。スキップト・マクロブロック部５０９は、スキップ予測画像マクロブロックを符号化モード判定部５１０に出力する。また、スキップト・マクロブロック部５０９は、隣接するブロックの動きベクトルから、予測ベクトルを生成する場合がある。スキップト・マクロブロック部５０９は、予測ベクトルを生成した場合には、生成した予測ベクトルをスイッチ５１１に出力する。スキップト・マクロブロック部５０９における処理および構成の詳細は、画像符号化装置１のスキップト・マクロブロック部１０５と同様である。
【００９６】
符号化モード判定部５１０は、情報源復号部５０１からの符号化モード信号と、イントラ予測画像生成部５０７からのイントラ予測画像マクロブロックと、インター予測画像生成部５０８からのインター予測画像マクロブロックと、スキップト・マクロブロック部５０９からのスキップ予測画像マクロブロックとを入力する。符号化モード判定部５１０は、符号化モード信号が示す符号化モードに基づいて、イントラ予測画像マクロブロック、インター予測画像マクロブロック、又はスキップ予測画像マクロブロックのいずれかを、加算部５０５に出力する。
【００９７】
スイッチ５１１は、情報源復号部５０１から符号化モード信号と動きベクトルとを受け取り、スキップト・マクロブロック部５０９から予測ベクトルを受け取る。スイッチ５１１は、符号化モード信号がインター予測を示している場合には、動きベクトルを動きベクトルメモリ５０３に出力する。スイッチ５１１は、符号化モード信号がスキップト・マクロブロックモードを示している場合には、予測ベクトルを動きベクトルメモリ５０３に出力する。
【００９８】
画像出力部５１２は、加算部５０５から入力された参照画像マクロブロックを、対応するフレームにおける復号対象マクロブロックの位置に配置して参照画像をフレーム毎に生成する。画像出力部５１２は、生成した参照画像を復号デプスマップとしてフレーム毎に画像復号装置５の外部に出力する。
【００９９】
次に、本実施形態に係る画像復号装置５が行う画像復号処理について、図１１を参照しながら説明する。図１１は、本実施形態に係る画像復号装置５が行う画像復号処理の一例を説明するためのフローチャートである。
画像復号装置５は、ステップＳ３０１において、ステップＳ３０２〜Ｓ３１３の処理をマクロブロック毎に行う。
まず、ステップＳ３０２において、情報源復号部５０１は、画像復号装置５の外部から符号化ストリームを入力する。その後、ステップＳ３０３に進む。
【０１００】
ステップＳ３０３において、情報源復号部５０１は、ステップＳ３０２において入力された符号化ストリームの復号（この例では可変長復号）を行い、符号化モード信号と量子化ＤＣＴ係数と動きベクトルを生成する。情報源復号部５０１は、生成した符号化モード信号を符号化モード判定部５１０と符号化モードメモリ５０２とイントラ予測画像生成部５０７とインター予測画像生成部５０８に出力し、生成した量子化ＤＣＴ係数を逆量子化・逆ＤＣＴ変換部５０４に出力し、生成した動きベクトルをインター予測画像生成部５０８と動きベクトルメモリに出力する。その後、ステップＳ３０４に進む。
【０１０１】
ステップＳ３０４において、逆量子化・逆ＤＣＴ変換部５０４は、情報源復号部５０１から入力された量子化ＤＣＴ係数に対して逆量子化を行い、逆量子化ＤＣＴ係数を生成した後、逆量子化ＤＣＴ係数に対して２次元逆ＤＣＴを行い、復号残差信号ブロックを生成する。逆量子化・逆ＤＣＴ変換部５０４は、復号残差信号ブロックを加算部５０５に出力する。その後、ステップＳ３０５に進む。
【０１０２】
ステップＳ３０５において、インター予測画像生成部５０８は、情報源復号部５０１から符号化モード信号と対象マクロブロック内の全てのパーティションに対応する動きベクトルを受け取る。インター予測画像生成部５０８は、情報源復号部５０１から受け取った符号化モード信号に基づいてマクロブロックをパーティションに分割し、パーティション毎に動きベクトルに基づいて動き補償又は視差補償を行うことで、インター予測画像マクロブロックを生成する。インター予測画像生成部５０８は、生成したインター予測画像マクロブロックを符号化モード判定部５１０に出力する。その後、ステップＳ３０６に進む。
【０１０３】
ステップＳ３０６において、イントラ予測画像生成部５０７は、情報源復号部５０１から符号化モード信号を受け取ると共に、参照画像メモリ５０６から対象マクロブロックと同一フレーム内の対象マクロブロックに隣接する復号に係る処理を行った参照画像ブロックを読みだす。イントラ予測画像生成部５０７は、受け取った符号化モード信号に基づいてマクロブロックをブロックに分割し、ブロック毎に読みだした参照画像マクロブロックに基づいてフレーム内予測を行い、イントラ予測画像マクロブロックを生成する。イントラ予測画像生成部５０７は、生成したイントラ予測画像マクロブロックを符号化モード判定部５１０に出力する。その後、ステップＳ３０７へ進む。
【０１０４】
ステップＳ３０７において、スキップト・マクロブロック部５０９は、符号化モードメモリ５０２から対象マクロブロックに隣接するマクロブロックの符号化モード信号と、動きベクトルメモリ５０３から対象マクロブロックに隣接するマクロブロックの動きベクトルと、参照画像メモリ５０６から対象マクロブロックに隣接する参照画像ブロックの画素値を読みだす。スキップト・マクロブロック部５０９は、読みだした符号化モード信号と、動きベクトルと、隣接する参照画像ブロックの画素値からスキップ予測画像マクロブロックを生成する。スキップト・マクロブロック部５０９は、スキップ予測画像マクロブロックを符号化モード判定部５１０に出力する。その後、ステップＳ３０８に進む。
【０１０５】
ステップＳ３０８において、符号化モード判定部５１０は、情報源復号部５０１からの符号化モード信号と、イントラ予測画像生成部５０７からのイントラ予測画像マクロブロックと、インター予測画像生成部５０８からのインター予測画像マクロブロックと、スキップト・マクロブロック部５０９からのスキップ予測画像マクロブロックとを入力する。符号化モード判定部５１０は、符号化モード信号が示す符号化モードに基づいて、イントラ予測画像マクロブロック、インター予測画像マクロブロック、又はスキップ予測画像マクロブロックのいずれを出力するかを判定し、判定結果に従ったマクロブロックを加算部５０５に出力する。その後、ステップＳ３０９に進む。
【０１０６】
ステップＳ３０９において、動きベクトルメモリ５０３は、情報源復号部５０１から動きベクトルを受け取り、マクロブロックの復号順に格納する。動きベクトルメモリ５０３は、格納した動きベクトルをインター予測画像生成部５０８とスキップト・マクロブロック部５０９に出力する。その後、ステップＳ３１０に進む。
【０１０７】
ステップＳ３１０において、符号化モードメモリ５０２は、情報源復号部５０１から符号化モード信号を受け取り、マクロブロックの復号順に格納する。符号化モードメモリ５０２は、格納した符号化モード信号をスキップト・マクロブロック部５０９に出力する。その後、ステップＳ３１１に進む。
【０１０８】
ステップＳ３１１において、加算部５０５は、符号化モード判定部５１０から入力されたイントラ予測画像マクロブロック、インター予測画像マクロブロック、又はスキップ予測画像マクロブロックに含まれる各画素の信号値と、逆量子化・逆ＤＣＴ変換部５０４から入力された復号残差信号マクロブロックに含まれる各画素の信号値とを加算して、参照画像マクロブロックを生成する。その後、ステップＳ３１２に進む。
【０１０９】
ステップＳ３１２において、加算部５０５は、生成した参照画像マクロブロックを参照画像メモリ５０６に記憶させ、画像出力部５１２に出力する。その後、ステップＳ３１３に進む。
ステップＳ３１３において、画像復号装置５は、復号対象マクロブロックをラスタースキャンの順序で変更し、ステップＳ３０２に戻る。但し、画像復号装置５は、入力された符号化ストリームのフレームにおいて復号が行われていないマクロブロックがないと判定した場合には、そのフレームに対する処理を終了する。
【０１１０】
以上のように、本実施形態では、画素毎のデプス値からなるデプスマップを構成する一部の領域であるマクロブロック毎に符号化する際、上記１つのマクロブロックに隣接するブロックの符号化モードと、動きベクトルと、画素値に基づいてデプス予測画像マクロブロックを生成する。
これにより、本実施形態では、空間方向の相関性が高いデプスマップにおいて、そのデプスマップ内でイントラ予測が頻発している、つまり空間方向の相関性が高い領域に対して、スキップト・マクロブロックモードで符号化する際にイントラ予測を用いることで、対象マクロブロックとより類似した予測画像マクロブロックを生成することができ、符号化効率を向上させることができる。
なお、本実施形態では、画像符号化装置１の符号化の対象および画像復号装置５の復号の対象をデプスマップとしたが、上述の２次元テクスチャ画像としてもよい。
【０１１１】
（第２の実施形態）
上述の第1の実施形態における画像符号化装置１および画像復号装置５は、コンピュータ読み取り可能な記録媒体に、画像符号化プログラム及び／又は画像復号プログラムを記録しておき、該プログラムをコンピュータに実行させることで実現することもできる。
【０１１２】
この画像符号化プログラムは、上記第１の実施形態で示したように、デプスマップを符号化する際に、対象マクロブロックに隣接するマクロブロックの符号化モード信号、動きベクトル、及び画素値に応じてスキップ予測画像マクロブロックを生成し、そのスキップ予測画像マクロブロックを用いてデプスマップを予測符号化する画像符号化処理を、コンピュータに実行させるためのプログラムである。
【０１１３】
この画像符号化処理は、１つのマクロブロックについて、隣接するマクロブロックの動きベクトルに基づいて予測画像生成方法を選択するステップと、隣接するマクロブロックの動きベクトルに基づいて予測ベクトルを生成するステップと、隣接するマクロブロックの符号化モード信号からイントラ予測の予測モードを決定するステップと、決定した予測モードと隣接するマクロブロックの画素値に基づいてスキップ予測画像マクロブロックを生成するステップとを有する。その他の応用例については、第１の実施形態で説明した通りであり、その説明を省略する。
【０１１４】
また、上述の画像復号プログラムは、上述した画像符号化方法に従い（若しくは、上述した画像符号化装置或いは画像符号化プログラムにて）スキップ予測画像マクロブロックを用いて予測符号化された、画素毎の視点からの距離を示すデプス値からなるデプスマップを構成する一部の領域であるマクロブロックを復号する画像復号ステップを、コンピュータに実行させるためのプログラムである。その他の応用例については、第１の実施形態で説明した通りであり、その説明を省略する。
【０１１５】
この画像符号化プログラムや画像復号プログラムは、換言すれば、第１の実施形態における画像符号化装置１の全部及び／又は画像復号装置５の全部をコンピュータで実現するように構成する場合に、実行可能に組み込むプログラムである。無論、第１の実施形態における画像符号化装置１の一部及び／又は画像復号装置５の一部のみを、コンピュータで実現するようにしてもよい。
【０１１６】
上記の記録媒体としては、コンピュータで処理が行われるために図示しないメモリ、例えばＲＯＭのようなプログラムメディアであってもよく、図示しない外部記憶装置としてのプログラム読取装置が設けられ、そこに記録媒体を挿入することで読み取り可能なプログラムメディアであってもよい。いずれの場合においても、格納されているプログラムはコンピュータの主演算・制御部であるマイクロプロセッサがアクセスして実行させる構成であってもよいし、プログラムを読み出し、読み出されたプログラムは、コンピュータが備えるプログラム記憶エリアにダウンロードされて、そのプログラムが実行される方式であってもよい。この場合、ダウンロード用のプログラムは予め本体装置に格納されているものとする。
【０１１７】
ここで、上記プログラムメディアは、コンピュータ本体と分離可能に構成される記録媒体であり、磁気テープやカセットテープ等のテープ系、フロッピーディスク（登録商標）やハードディスク等の磁気ディスク並びにＣＤ−ＲＯＭ／ＭＯ／ＭＤ／ＤＶＤ等の光ディスクのディスク系、ＩＣカード（メモリカードを含む）／光カード等のカード系、或いはマスクＲＯＭ、ＥＰＲＯＭ（Erasable Programmable Read Only Memory）、ＥＥＰＲＯＭ（Electrically Erasable Programmable Read Only Memory）、フラッシュＲＯＭ等による半導体メモリを含めた固定的にプログラムを担持する媒体であってもよい。また、この場合、インターネットを含む通信ネットワークを接続可能なシステム構成であることから、通信ネットワークからプログラムをダウンロードするように流動的にプログラムを担持する媒体であってもよい。なお、このように通信ネットワークからプログラムをダウンロードする場合には、そのダウンロード用のプログラムは予めコンピュータ本体に格納しておくか、或いは別の記録媒体からインストールされるものであってもよい。
【０１１８】
上記の記録媒体は、デジタルカラー画像形成装置やコンピュータシステムに備えられるプログラム読み取り装置により読み取られることで、上述した画像符号化方法や画像復号方法が実行される。なお、上記コンピュータシステムは、ＷＥＢカメラなどの汎用画像入力装置、所定のプログラムがロードされることにより上記画像処理方法など様々な処理が行われるコンピュータ、コンピュータの処理結果を表示するディスプレイ・液晶ディスプレイなどの画像表示装置より構成される。さらには、ネットワークを介してサーバなどに接続するための通信手段としてのネットワークカードやモデムなどが備えられる。
【０１１９】
（その他）
なお、全ての実施形態において、２つのカメラで撮影した２視点の画像信号に対応するデプスマップの符号化及び復号について説明したが、２視点より多い複数のカメラで撮影した多視点画像信号に対して適用してもよい。例えば３視点画像信号に対応するデプスマップを入力し、そのうち１つの視点のデプスマップを、該デプスマップに対応するテクスチャ画像を利用してデプス値を推定することで符号化し、符号化する対象を切り替えていくことで、３つの視点のデプスマップの符号化を行うことができる。
【０１２０】
また、上述した実施形態における画像符号化装置１及び画像復号装置５の一部又は全部を、ＬＳＩ（Large Scale Integration）等の集積回路又はＩＣ（Integrated Circuit）チップセットとして実現してもよい。画像符号化装置１及び画像復号装置５の各機能ブロックは個別にプロセッサ化してもよいし、一部又は全部を集積してプロセッサ化してもよい。また、集積回路化の手法はＬＳＩに限らず専用回路、又は汎用プロセッサで実現してもよい。また、半導体技術の進歩によりＬＳＩに代替する集積回路化の技術が出現した場合、当該技術による集積回路を用いてもよい。
また、本発明は、画像符号化装置、画像復号装置における処理の流れを例示したように、さらには画像符号化プログラム、画像復号プログラムの処理として説明したように、画像符号化方法、画像復号方法としての形態も採り得る。
【０１２１】
この画像符号化方法は、画素毎の視点からの距離を示すデプス値からなるデプスマップを構成する一部の領域であるマクロブロック毎に、画像符号化装置がデプス予測画像マクロブロックを用いて上記デプスマップの予測符号化を行う方法である。そして、この方法は、画像符号化装置が、１つのマクロブロックについて、隣接するマクロブロックの動きベクトルに基づいて予測画像生成方法を選択するステップと、隣接するマクロブロックの動きベクトルに基づいて予測ベクトルを生成するステップと、隣接するマクロブロックの符号化モード信号からイントラ予測の予測モードを決定するステップと、決定した予測モードと隣接するマクロブロックの画素値に基づいてスキップ予測画像マクロブロックを生成する生成ステップとを有する。その他の応用例については、第１の実施形態において画像符号化装置について説明した通りである。
【０１２２】
上記の画像復号方法は、上述の画像符号化方法に従いスキップ予測画像マクロブロックを用いて予測符号化された、画素毎の視点からの距離を示すデプス値からなるデプスマップを構成する一部の領域であるマクロブロックを、画像復号装置が復号する画像復号ステップを有する。その他の応用例については、第１の実施形態において画像復号装置について説明した通りである。
【符号の説明】
【０１２３】
１…画像符号化装置
２…画像前置処理部
３ａ、３ｂ…撮影装置
４…テクスチャ画像符号化装置
５…画像復号装置
１０…３次元画像撮影システム
１０１…デプスマップ入力部
１０２…参照画像メモリ
１０３…イントラ予測部
１０４…インター予測部
１０５…スキップト・マクロブロック部
１０６…符号化モード判定部
１０７…動きベクトルメモリ
１０８…符号化モードメモリ
１０９…スイッチ
１１０…減算部
１１１…ＤＣＴ変換・量子化部
１１２…逆量子化・逆ＤＣＴ変換部
１１３…加算部
１１４…情報源符号化部
５０１…情報源復号部
５０２…符号化モードメモリ
５０３…動きベクトルメモリ
５０４…逆量子化・逆ＤＣＴ変換部
５０５…加算部
５０６…参照画像メモリ
５０７…イントラ予測画像生成部
５０８…インター予測画像生成部
５０９…スキップト・マクロブロック部
５１０…符号化モード判定部
５１２…画像出力部
１０５１…予測画像生成方法選択部
１０５２…予測ベクトル生成部
１０５３…予測画像マクロブロック生成部
１０５４…予測モード決定部
１０５５…イントラ予測画像マクロブロック生成部
【技術分野】
【０００１】
本発明は、画像符号化方法、画像符号化装置、画像復号方法、画像復号装置およびそれらのプログラムに関する。
【背景技術】
【０００２】
動画像の符号化においては、フレーム内予測や動き補償フレーム間予測など様々な方式が提案され、国際標準化規格であるＭＰＥＧ（Moving Picture Experts Group）−２、ＭＰＥＧ−４、ＭＰＥＧ−４ ＡＶＣ（Advanced Video Coding）／Ｈ．２６４で採用されている。
非特許文献１に記載されたように、ＭＰＥＧ−４ ＡＶＣ／Ｈ．２６４で採用された方式の一つに、スキップト・マクロブロックモード（skipped macroblock mode）がある。この方式は符号化対象のマクロブロックの情報をまったく符号化せず、復号する際には、符号化されたマクロブロックと隣接するマクロブロックの動きベクトルに基づき予測ベクトルを生成し、その予測ベクトルで動き補償を行うことで、符号化マクロブロックを復号するものである。
【０００３】
特許文献１には、多視点映像を符号化する場合に、このような予測ベクトルの代わりに、符号化対象画像と符号化対象画像とは異なる視点の画像との全域的な差を示す全域差ベクトルに基づいて、現在ブロックの動きベクトルを予測して、それを予測ベクトルとする技術が開示されている。また、特許文献１には、この予測ベクトルを利用したスキップト・マクロブロックモードで符号化、復号を行うことも開示されている。
【先行技術文献】
【特許文献】
【０００４】
【特許文献１】特表２０１０−５１６１５８号公報
【非特許文献】
【０００５】
【非特許文献１】ＩＴＵ−Ｔ Ｒｅｃ． Ｈ．２６４（０３／２００９）― Ａｄｖａｎｃｅｄ ｖｉｄｅｏ ｃｏｄｉｎｇ ｆｏｒ ｇｅｎｅｒｉｃ ａｕｄｉｏｖｉｓｕａｌ ｓｅｒｖｉｃｅｓ
【発明の概要】
【発明が解決しようとする課題】
【０００６】
しかしながら、上述の非特許文献１および特許文献１の技術においては、符号化対象画像が奥行き情報を表すデプスマップなど空間方向の相関性が高い画像にスキップト・マクロブロックモードを適用したときに、スキップト・マクロブロックモードが主に時間方向の相関に基づく方法であるために高い符号化効率が得られないことがあるという問題がある。
【０００７】
本発明は、上述のような実状に鑑みてなされたものであり、その目的は、空間方向の相関性が高い画像においても優れた符号化効率を得ることが可能な画像符号化方法、画像符号化装置、画像復号方法、画像復号装置およびそれらのプログラムを提供することにある。
【課題を解決するための手段】
【０００８】
（１）この発明は上述した課題を解決するためになされたもので、本発明の一態様は、画像を分割したマクロブロック毎に符号化する画像符号化方法であって、符号化対象のマクロブロックに隣接するマクロブロックをイントラ予測した際の予測モードと、前記隣接するマクロブロックの画素値とに基づいて、前記符号化対象のマクロブロックの予測画像を生成する生成ステップを有することを特徴とする。
【０００９】
（２）また、本発明の他の態様は、上述の画像符号化方法であって、前記隣接するマクロブロックに基づいて、前記符号化対象のマクロブロック毎に、前記予測画像を前記生成ステップにより生成するか否かを選択するステップを有することを特徴とする。
【００１０】
（３）また、本発明の他の態様は、上述の画像符号化方法であって、前記生成ステップは、前記予測モードと、前記画素値に基づいたイントラ予測によって前記予測画像を生成することを特徴とする。
【００１１】
（４）また、本発明の他の態様は、上述の画像符号化方法であって、前記生成ステップは、前記隣接するマクロブロックの前記符号化対象のマクロブロックに対する隣接方向と、該隣接方向の前記隣接するマクロブロックの予測モードとの組み合わせによって、前記イントラ予測の予測モードを決定するステップを有することを特徴とする。
【００１２】
（５）また、本発明の他の態様は、画像を分割したマクロブロック毎に符号化する画像符号化装置であって、符号化対象のマクロブロックに隣接するマクロブロックをイントラ予測した際の予測モードと、前記隣接するマクロブロックの画素値とに基づいて、前記符号化対象のマクロブロックの予測画像を生成する予測画像生成部を具備することを特徴とする。
【００１３】
（６）また、本発明の他の態様は、画像を分割したマクロブロック毎に符号化された画像を復号する画像復号方法であって、復号対象のマクロブロックに隣接するマクロブロックをイントラ予測した際の予測モードと、前記隣接するマクロブロックの画素値とに基づいて、前記復号対象のマクロブロックの予測画像を生成する生成ステップを有することを特徴とする。
【００１４】
（７）また、本発明の他の態様は、画像を分割したマクロブロック毎に符号化された画像を復号する画像復号装置であって、復号対象のマクロブロックに隣接するマクロブロックをイントラ予測した際の予測モードと、前記隣接するマクロブロックの画素値とに基づいて、前記復号対象のマクロブロックの予測画像を生成する予測画像生成部を具備することを特徴とする。
【００１５】
（８）また、本発明の他の態様は、画像を分割したマクロブロック毎に符号化する画像符号化装置のコンピュータを、符号化対象のマクロブロックに隣接するマクロブロックをイントラ予測した際の予測モードと、前記隣接するマクロブロックの画素値とに基づいて、前記符号化対象のマクロブロックの予測画像を生成する予測画像生成部として動作させるためのプログラムである。
【００１６】
（９）また、本発明の他の態様は、画像を分割したマクロブロック毎に符号化された画像を復号する画像復号装置のコンピュータを、復号対象のマクロブロックに隣接するマクロブロックをイントラ予測した際の予測モードと、前記隣接するマクロブロックの画素値とに基づいて、前記復号対象のマクロブロックの予測画像を生成する予測画像生成部として動作させるためのプログラムである。
【発明の効果】
【００１７】
この発明によれば、空間方向の相関性が高い画像においても優れた符号化効率を得ることが可能になる。
【図面の簡単な説明】
【００１８】
【図１】本発明の第１の実施形態に係る画像符号化装置を備えた３次元画像撮影システムの一構成例を示す概略図である。
【図２】本発明の第１の実施形態に係る画像符号化装置の構成例を示す概略図である。
【図３】イントラ予測の予測モードを示す概略図である。
【図４】本発明の第１の実施形態に係るスキップト・マクロブロック部の構成例を示す概略図である。
【図５】本発明の第１の実施形態に係るスキップト・マクロブロックモードによる符号化の一例を示す概念図である。
【図６】本発明の第１の実施形態に係る画像符号化装置が行う画像符号化処理の一例を説明するためのフローチャートである。
【図７】図６に続くフローチャートである。
【図８】本発明の第１の実施形態に係るスキップト・マクロブロック部におけるスキップト・マクロブロック予測画像マクロブロック生成処理の一例を説明するためのフローチャートである。
【図９】図８に続くフローチャートである。
【図１０】本発明の第１の実施形態に係る画像復号装置の構成例を示す概略図である。
【図１１】本発明の第１の実施形態に係る画像復号装置が行う画像復号処理の一例を説明するためのフローチャートである。
【発明を実施するための形態】
【００１９】
以下の各実施形態では、画素毎のデプス値からなるデプスマップを構成する一部の領域であるマクロブロック毎に、スキップト・マクロブロックモードによってデプスマップの符号化又は復号を行う。無論、以下の説明から明らかなように、全てのマクロブロックに対してスキップト・マクロブロックモードで符号化／復号を行うことに限定されるものではない。そして、各実施形態では予測画像の生成に主たる特徴を有する。より具体的には、各実施形態におけるスキップト・マクロブロックモードでは、マクロブロックを予測符号化する際に、隣接ブロックの符号化モードに応じて、予測画像の生成方法を変更するようにしている。
【００２０】
以下、図面を参照しながら本発明の実施形態について詳しく説明する。
（第１の実施形態）
図１は、本発明の第１の実施形態に係る画像符号化装置を備えた３次元画像撮影システムの一構成例を示す概略図である。
図１で例示する３次元画像撮影システム１０は、撮影装置３ａ、撮影装置３ｂ、画像前置処理部２、画像符号化装置１、及びテクスチャ画像符号化装置４を含んで構成される。
撮影装置３ａ及び撮影装置３ｂは、互いに異なる位置（視点）に設置され、同一の視野（被写空間）に含まれる被写体の画像を、予め定めた時間間隔で（例えば１／３０秒毎に１回）撮影する。撮影装置３ａ及び撮影装置３ｂは、撮影した画像を示す画像信号をテクスチャ画像（ｔｅｘｔｕｒｅ ｍａｐ；「二次元画像」ということがある。）と定め、それぞれのテクスチャ画像を画像前置処理部２に出力する。
【００２１】
この画像信号は、被写空間に含まれる被写体や背景の色彩や濃淡を表す信号値（画素値、輝度値）であって、二次元平面に配置された画素毎の信号値からなる画像信号である。この画像信号は、画素毎に色空間を表す信号値を有する画像信号、例えばＲＧＢ信号である。ＲＧＢ信号は、赤色成分の輝度値を表すＲ信号、緑色成分の輝度値を示すＧ信号、青色成分の輝度値を示すＢ信号を含む。
【００２２】
画像前置処理部２に入力される画像のうち、撮影装置３ａ及び撮影装置３ｂのいずれか一方、例えば撮影装置３ａから入力されたテクスチャ画像を基準画像と定め、他の撮影装置（この例では撮影装置３ｂ）から入力されたテクスチャ画像と区別して説明する。従って、基準画像も被写空間に含まれる被写体や背景の色彩や濃淡を表す信号値（輝度値）であって、二次元平面に配置された画素毎の信号値からなる一般的な二次元の画像信号である。
【００２３】
画像前置処理部２は、撮影装置３ａから入力されたテクスチャ画像を基準画像として、この基準画像と、他の撮影装置３ｂから入力されたテクスチャ画像との視差を画素毎に算出し、撮影装置３ａから入力されたテクスチャ画像に対応するデプスマップを生成する。デプスマップ（ｄｅｐｔｈ ｍａｐ、「深度画像」、「距離画像」とも言う）とは、被写空間に含まれる被写体や背景の、視点（撮影装置等）からの距離に対応する信号値（「デプス値」、「深度値」、「デプス」等と呼ぶ）であって、二次元平面に配置された画素毎の信号値（画素値）からなる画像信号である。デプスマップを構成する画素は、基準画像を構成する画素と対応する。従って、デプスマップは、被写空間を二次元平面に射影した基準となる画像信号である基準画像を用いて、三次元の被写空間を表すための手がかりとなる。
【００２４】
次に、画像前置処理部２は、他の撮影装置３ｂから入力されたテクスチャ画像を基準画像として、撮影装置３ａから入力されたテクスチャ画像との視差から、撮影装置３ａのデプスマップの生成方法と同様にして、撮影装置３ｂのテクスチャ画像に対応するデプスマップを生成する。画像前置処理部２は、撮影装置３ａ及び撮影装置３ｂのテクスチャ画像をフレーム毎に交互にテクスチャ画像符号化装置４に出力する。また、画像前置処理部２は、テクスチャ画像に対応するデプスマップを画像符号化装置１に出力する。すなわち、画像前置処理部２は、テクスチャ画像符号化装置４にテクスチャ画像を出力したタイミングに、該テクスチャ画像に対応するデプスマップを画像符号化装置１に出力する。
【００２５】
テクスチャ画像符号化装置４は、入力されたテクスチャ画像を、例えば、非特許文献１である、ＩＴＵ−Ｔ Ｈ．２６４規格で規定されている復号方式に対応する符号化方式を用いて符号化し、テクスチャ画像符号を生成する。
なお、本実施形態では、画像撮影システムが備える撮影装置の数を２台として説明しているが、これに限らず、３台以上であってもよい。また、画像符号化装置１及びテクスチャ画像符号化装置にそれぞれ入力されるデプスマップ及びテクスチャ画像は、撮影装置３ａ及び撮影装置３ｂが撮影した画像に基づくものでなくともよく、例えば、コンピュータグラフィックスなどの予め合成された画像であってもよい。
【００２６】
次に、本実施形態に係る画像符号化装置１の構成例とその機能について、図２を参照しながら説明する。図２は、本実施形態に係る画像符号化装置１の構成例を示す概略図である。
図２で例示する画像符号化装置１は、デプスマップ入力部１０１、参照画像メモリ１０２、イントラ予測部１０３、インター予測部１０４、スキップト・マクロブロック部１０５、符号化モード判定部１０６、動きベクトルメモリ１０７、符号化モードメモリ１０８、スイッチ１０９、減算部１１０、ＤＣＴ変換・量子化部１１１、逆量子化・逆ＤＣＴ変換部１１２、加算部１１３、及び情報源符号化部１１４を含んで構成される。
【００２７】
デプスマップ入力部１０１は、画像前置処理部２からデプスマップがフレーム毎に入力され、入力されたデプスマップからマクロブロック（以下、デプスマクロブロック）を抽出する。デプスマップ入力部１０１は、抽出したデプスマクロブロックを、符号化モード判定部１０６、イントラ予測部１０３、インター予測部１０４、及び減算部１１０に出力する。デプスマクロブロックは、予め定めた数の画素、例えば水平方向１６画素×垂直方向１６画素からなる。
【００２８】
デプスマップ入力部１０１は、ラスタースキャンの順序でデプスマクロブロックを抽出するマクロブロックの位置を、各ブロックが重ならないようにシフトさせる。即ち、デプスマップ入力部１０１は、デプスマクロブロックを抽出するブロックをフレームの左上端から順次ブロックの水平方向の画素数だけ右に移動させる。デプスマップ入力部１０１は、デプスマクロブロックを抽出するマクロブロックの右端がフレームの右端に達した後、そのマクロブロックをマクロブロックの垂直方向の画素数だけ下で、且つフレームの左端に移動させる。デプスマップ入力部１０１は、このようにしてデプスマクロブロックを抽出するマクロブロックがフレームの右下に達するまで移動させる。なお、以下では、抽出されたデプスマクロブロックを符号化対象マクロブロック又は対象マクロブロックと呼ぶことがある。
【００２９】
参照画像メモリ１０２は、加算部１１３から入力された参照画像のマクロブロック（以下、参照画像マクロブロック）を、対応するフレームにおける符号化対象マクロブロックの位置に配置して参照画像として記憶する。この参照画像マクロブロックは、過去に入力されたデプスマクロブロックを符号化し、復号されたマクロブロックである。このように参照画像マクロブロックを配置して構成したフレームの画像信号を参照画像と呼んでいる。参照画像メモリ１０２は、現在から予め設定されたフレーム数、例えば１５フレーム分の過去のフレームの参照画像を順次に記憶し、記憶されたフレーム数が予め設定されたフレーム数を超えたとき、例えば１６フレーム目の参照画像が入力された時、それ以前の過去のフレームの参照画像を全て削除する。
【００３０】
イントラ予測部１０３は、デプスマップ入力部１０１から対象マクロブロックを受け取り、参照画像メモリ１０２から対象マクロブロックと同一フレーム内の対象マクロブロックに隣接するマクロブロックであって、符号化に係る処理を行った参照画像マクロブロックを読みだす。次に、イントラ予測部１０３は、読みだした参照画像マクロブロックに基づいてフレーム内予測を行い、イントラ予測画像マクロブロックを生成する。具体的なフレーム内予測の方法としては、例えば非特許文献１である、ＩＴＵ−Ｔ Ｈ．２６４規格書に記載されているフレーム内予測方法がある。
【００３１】
図３は非特許文献１で規定されている、イントラ予測における輝度信号に対する予測モード（予測方向）を示したものである。対象マクロブロックをサイズが４×４又は８×８のブロックに分割してフレーム内予測をする場合には、図３の（ａ）にあるように、０から８までの９通りの予測モードが決められており、対象マクロブロックを分割せず、サイズが１６×１６の場合には、図３の（ｂ）にあるように、０から３までの４通りの予測モードが決められている。なお、図３（ａ）、図３（ｂ）にあるＩｎｔｒａ＿ＤＣとは、対象マクロブロック又はサブブロックの上と左に隣接する画素の平均値で対象マクロブロック又はサブブロックを予測する方法である。また、図３（ｂ）にあるＩｎｔｒａ＿Ｐｌａｎｅとは対象マクロブロック又はサブブロックの上に隣接する画素と左に隣接する画素を斜め方向に画素値を内挿し予測値とする方法である。
【００３２】
イントラ予測部１０３は、読みだした参照画像マクロブロックのデプス値を輝度値とみなして、上述のフレーム内予測を行う。また、イントラ予測部１０３は、対象マクロブロックを４×４のブロック１６個に分割するパターンと、８×８のブロックに分割するパターンと、分割しない(ブロックのサイズは１６×１６)パターンごとに対象マクロブロックと最も似ているイントラ予測画像マクロブロックが生成される予測モードを選択する。対象マクロブロックとイントラ予測画像マクロブロックが似ているかどうかの指標としては、例えばＳＡＤ（Sum of Absolute Difference、差分絶対値和）がある。イントラ予測部１０３は、各パターンのイントラ予測画像マクロブロックのＳＡＤを比較し、最もＳＡＤが小さいパターンのイントラ予測画像マクロブロックを符号化モード判定部１０６に出力する。なお、本発明は、具体的な対象マクロブロックとイントラ予測画像マクロブロックの類似度算出方法によって限定されるものではない。
【００３３】
インター予測部１０４は、デプスマップ入力部１０１から入力された対象マクロブロックを１つ若しくは複数のパーティションに分割し、各々のパーティションに対して、順次、動きベクトルを検出する。なお、１つのパーティションに分割するとは実質的に分割を実行しないことを指す。
具体的には、インター予測部１０４は、まず参照画像メモリ１０２から参照画像を構成する参照画像ブロックを読み出す。インター予測部１０４が読み出す参照画像ブロックの大きさ（画素数）は上記１又は複数のパーティションのうち、処理の対象となるパーティション（以下、対象パーティションと呼ぶ）の大きさと同一である。ここで、インター予測部１０４は、デプスマップ入力部１０１から入力されたデプスマクロブロック内の対象パーティションと参照画像ブロックとの間でブロックマッチングを行う。即ち、参照画像メモリ１０２に記憶されている過去の参照画像のフレームから参照画像ブロックを読み出す位置を、対象パーティションの位置から予め設定した範囲内において水平方向又は垂直方向に１画素ずつ移動させる。インター予測部１０４は、対象パーティションの座標と対象パーティションと最も類似する参照画像ブロックの座標との差分を、ベクトルとして検出する。
【００３４】
ここで、インター予測部１０４は、対象パーティションに含まれる画素毎の信号値と参照画像ブロックに含まれる画素毎の信号値との類似性を示す指標値、例えば、ＳＡＤ（Sum of Absolute Difference、差分絶対値和）を算出する。インター予測部１０４は、指標値を最小とする参照画像ブロックを、対象パーティションと最も類似する参照画像ブロックと定める。インター予測部１０４は、対象パーティションの座標と、最も類似する参照画像ブロックの座標とに基づき動きベクトルを算出する。
【００３５】
また、インター予測部１０４は、対象マクロブロックを構成する上記パーティションのサイズのうち、符号化コストが最小となるパーティションのサイズを選択する。例えば、インター予測部１０４は、以下の処理を全てのパーティションのサイズに対して行う。まず、インター予測部１０４は、算出した動きベクトルの水平成分の絶対値、その垂直成分の絶対値及び対象パーティションと対象パーティションと最も類似する参照ブロックとの間の指標値の和をコスト値として算出する。以上の処理を、対象マクロブロックを構成する全てのパーティションに対して行うことでコスト値を算出し、そのコスト値の和をパーティションのサイズ毎に求めていく。そして、パーティションのサイズのうちコスト値の和が最も小さくなったパーティションのサイズを選択する。
【００３６】
他のパーティションサイズの選択方法としては、例えば、ＲＤコストを用いるものもある。ＲＤコストとは、次式から符号化コストＪを算出する。
Ｊ ＝ Ｄ＋λ×Ｒ
ここで、Ｄは対象マクロブロックと対象マクロブロックを符号化し復号した画像との差分であり、Ｒは予想される発生符号量である。また、係数λは、定数であってもよいし、ＤＣＴ変換・量子化部１１１における量子化の粗さを制御する量子化パラメータの関数であってもよい。なお、本発明は、具体的な符号化コストの算出方法によって限定されるものではない。
【００３７】
次に、インター予測部１０４は、コスト値が最小となったパーティションのサイズとそのサイズの各パーティションで算出した動きベクトルとに基づいて動き補償を行い、インター予測画像マクロブロックを生成する。具体的には、まず、インター予測部１０４は、参照画像メモリ１０２からパーティション毎に、動きベクトルが差す座標の参照画像ブロックを読み取る。インター予測部１０４は、パーティション毎に、読みだした参照画像ブロックの座標をパーティションの座標に合わせる処理をすることによってインター予測画像マクロブロックを生成する。
インター予測部１０４は、生成したインター予測画像マクロブロックを符号化モード判定部１０６に出力し、生成した動きベクトルを情報源符号化部１１４とスイッチ１０９に出力する。
【００３８】
スキップト・マクロブロック部１０５は、符号化モードメモリ１０８から対象マクロブロックに隣接するブロックの符号化モード信号を読み出す。同様に、動きベクトルメモリ１０７から対象マクロブロックに隣接するブロックの動きベクトルを読出し、参照画像メモリ１０２から対象マクロブロックに隣接する参照画像ブロックの画素値を読みだす。
【００３９】
スキップト・マクロブロック部１０５は、対象マクロブロックに隣接するブロックの符号化モード信号、動きベクトル、及び画素値に基づいてスキップ予測画像マクロブロックを生成する。スキップト・マクロブロック部１０５は、スキップ予測画像マクロブロックを符号化モード判定部１０６に出力する。また、スキップト・マクロブロック部１０５は、隣接するブロックの動きベクトルから、予測ベクトルを生成する場合がある。スキップト・マクロブロック部１０５は、予測ベクトルを生成した場合には、生成した予測ベクトルをスイッチ１０９に出力する。処理の詳細については後述する。
【００４０】
符号化モード判定部１０６は、デプスマップ入力部１０１から対象マクロブロックを、イントラ予測部１０３からイントラ予測画像マクロブロックを、インター予測部１０４からインター予測画像マクロブロックを、スキップト・マクロブロック部１０５からスキップ予測画像マクロブロックを、それぞれ入力として受け取る。
【００４１】
そして、符号化モード判定部１０６は、入力された３つの予測画像マクロブロックに基づいて最も符号化効率の高い符号化モードを決定する。具体的には、例えば、符号化モード判定部１０６は、予測画像マクロブロックの各々と対象マクロブロックとについて、画素毎に信号値の２乗誤差を算出する。そして、符号化モード判定部１０６は、各予測画像マクロブロック内の２乗誤差の総和を、その予測画像マクロブロックの符号化コストとする。符号化モード判定部１０６は、全ての予測画像マクロブロックに対して符号化コストを算出し、符号化コストが最も小さい予測画像マクロブロックに対応する符号化モードを最も符号化効率の高い符号化モードとして選択する。他の決定方法としては、例えば、ＲＤコストを用いるものもある。なお、本発明は、具体的な符号化コストの算出方法によって限定されるものではない。
【００４２】
符号化モード判定部１０６は、最も符号化効率の高い符号化モードを示す符号化モード信号を情報源符号化部１１４と符号化モードメモリ１０８とスイッチ１０９に出力する。符号化モード判定部１０６は、最も符号化効率の高い符号化モードに対応する予測画像マクロブロックを、減算部１１０と加算部１１３に出力する。なお、本実施形態では、符号化モード信号が示すことができる符号化モードとして、予測画像マクロブロックをスキップト・マクロブロック部１０５が生成したことを示すスキップト・マクロブロックモードを含む。
【００４３】
動きベクトルメモリ１０７は、スイッチ１０９から入力された動きベクトル又は予測ベクトルを動きベクトルとみなして、符号化されたマクロブロックの順に記憶する。
符号化モードメモリ１０８は、符号化モード判定部１０６から入力された、符号化モード判定部１０６で選択された符号化モードを示す符号化モード信号を、符号化されたマクロブロックの順に記憶する。なお、符号化モード信号は、符号化モード判定部１０６で選択された符号化モードを示すと共に、対象マクロブロックをどのようなパーティションに分割したかを示す情報も含む。なお、本実施形態において上記パーティションのサイズは、水平方向１６画素×垂直方向１６画素、１６画素×８画素、８画素×１６画素、８画素×８画素、８画素×４画素、４画素×８画素、又は、４画素×４画素であるが、本発明は、具体的なパーティションのサイズで限定されるものではない。また、符号化モード判定部１０６で選択された符号化モードがイントラ予測の場合には、符号化モード信号は、符号化モードとしてイントラ予測を示すと共に、イントラ予測の予測モードを示す情報も含む。
【００４４】
スイッチ１０９は、符号化モード判定部１０６から選択された符号化モードに対応する符号化モード信号を受け取り、インター予測部１０４から動きベクトルを受け取り、スキップト・マクロブロック部から予測ベクトルを受け取る。スイッチ１０９は、受け取った符号化モード信号がインター予測を示している場合には、受け取った動きベクトルを動きベクトルメモリ１０７に出力する。スイッチ１０９は、受け取った符号化モード信号がスキップト・マクロブロックモードを示している場合には、受け取った予測ベクトルを動きベクトルメモリ１０７に出力する。
【００４５】
減算部１１０は、デプスマップ入力部１０１から入力されたデプスマクロブロックに含まれる各画素の信号値から、符号化モード判定部１０６から入力されたイントラ予測画像マクロブロック、インター予測画像マクロブロック、又はスキップ予測画像マクロブロックに含まれる各画素の信号値を減算して、残差信号マクロブロックを算出する。減算部１１０は、算出した残差信号マクロブロックをＤＣＴ変換・量子化部１１１に出力する。
【００４６】
ＤＣＴ変換・量子化部１１１は、減算部１１０から入力された残差信号マクロブロックに対して二次元ＤＣＴ（Discrete Cosine Transform、離散コサイン変換）を行い周波数領域信号としてＤＣＴ係数を算出した後、ＤＣＴ係数の量子化（ｑｕａｎｔｉｚａｔｉｏｎ）を行い、量子化ＤＣＴ係数を生成する。ここで、量子化とは、入力されたＤＣＴ係数を離散的な代表値の１つに変換する処理である。ＤＣＴ変換・量子化部１１１は、生成した量子化ＤＣＴ係数を、逆量子化・逆ＤＣＴ変換部１１２及び情報源符号化部１１４に出力する。
【００４７】
逆量子化・逆ＤＣＴ変換部１１２は、ＤＣＴ変換・量子化部１１１から入力された量子化ＤＣＴ係数に逆量子化（ｄｅ−ｑｕａｎｔｉｚａｔｉｏｎ）を行い、逆量子化ＤＣＴ係数を生成した後、逆量子化ＤＣＴ係数に対して２次元逆ＤＣＴ（inverse Discrete Cosine Transform、逆離散コサイン変換）を行い、空間領域信号として復号された残差信号マクロブロックを生成する。以下、この復号された残差信号マクロブロックを、復号残差信号マクロブロックと呼ぶ。逆量子化・逆ＤＣＴ変換部１１２は、生成した復号残差信号マクロブロックを加算部１１３に出力する。
【００４８】
加算部１１３は、符号化モード判定部１０６から入力されたイントラ予測画像マクロブロック、インター予測画像マクロブロック、又はスキップ予測画像マクロブロックに含まれる各画素の信号値と、逆量子化・逆ＤＣＴ変換部１１２から入力された復号残差信号マクロブロックに含まれる各画素の信号値とを加算して、参照画像マクロブロックを生成する。加算部１１３は、生成した参照画像マクロブロックを参照画像メモリ１０２に記憶させる。
【００４９】
情報源符号化部１１４は、符号化モード判定部から入力された符号化モード信号と、ＤＣＴ変換・量子化部１１１から入力された量子化ＤＣＴ係数と、インター予測部１０４から入力された動きベクトルとに対して符号化を施し、符号化ストリームを生成する。情報源符号化部１１４は、入力された情報よりも情報量（ビット数）が少ない符号化ストリームを生成する符号化として、例えば可変長符号化を行う。可変長符号化とは、入力された情報において出現頻度がより高い情報ほどより短い符号を、出現頻度が低い情報ほどより長い符号に変換することによって、情報量を圧縮する符号化方式である。情報源符号化部１１４は、生成した符号化ストリームを画像符号化装置１の外部へ出力する。
【００５０】
次に、本実施形態に係るスキップト・マクロブロック部１０５の構成例及びその機能について、図４を参照しながら説明する。図４は、本実施形態に係るスキップト・マクロブロック部１０５の構成例を示す概略図である。
図４で例示するスキップト・マクロブロック部１０５は、予測画像生成方法選択部１０５１と、予測ベクトル生成部１０５２と、予測画像マクロブロック生成部１０５３と、予測モード決定部１０５４と、イントラ予測画像マクロブロック生成部１０５５とを含んで構成される。
【００５１】
予測画像生成方法選択部１０５１は、動きベクトルメモリ１０７から対象マクロブロックの左、上及び右上に隣接しているマクロブロックの動きベクトルを読み出す。予測画像生成方法選択部１０５１は、３つの隣接マクロブロックのうち動きベクトルを読み出すことが出来たブロックが予め設定された閾値（ここでは２）以上の場合には、予測ベクトル生成部１０５２に動きベクトルを出力する。動きベクトルを読み出すことが出来ないブロックがあった場合には、代わりに水平成分、垂直成分がそれぞれ０のベクトル情報を該ブロックの動きベクトルとして出力する。予測画像生成方法選択部１０５１は、３つの隣接マクロブロックのうち動きベクトルを読み出すことが出来たブロックが１つ以下の場合には、予測モード決定部１０５４に処理を開始する旨を示す信号を送出する。
【００５２】
このように、予測画像生成方法選択部１０５１は、対象マクロブロックの予測画像を、隣接するブロックの画素値に基づき生成（イントラ予測により生成）するか、隣接するマクロブロックの動きベクトルに基づき生成（インター予測により生成）するかを決定する。各マクロブロックの動きベクトルは、そのマクロブロックの符号化モードがインター予測であるか、スキップト・マクロブロックモードのインター予測であるときに、存在する。したがって、上述のように、動きベクトルを読み出すことができた隣接マクロブロックの数に基づき決定するということは、イントラ予測により予測画像が生成された隣接マクロブロックの数に基づき決定していることになる。すなわち、予測画像生成方法選択部１０５１は、イントラ予測により予測画像が生成された隣接マクロブロックの数が、閾値（ここでは２）以上のときは、対象マクロブロックの予測画像をイントラ予測で生成すると決定している。
【００５３】
予測ベクトル生成部１０５２は、予測画像生成方法選択部１０５１から対象マクロブロックの左、上及び右上に隣接しているブロックの動きベクトルを受け取る。予測ベクトル生成部１０５２は、受け取った動きベクトルの水平成分と垂直成分それぞれの中央値を算出することで予測ベクトルを生成する。予測ベクトル生成部１０５２は、生成した予測ベクトルを予測画像マクロブロック生成部１０５３およびスイッチ１０９に出力する。
【００５４】
予測画像マクロブロック生成部１０５３は、予測ベクトル生成部１０５２から予測ベクトルを受け取る。予測画像マクロブロック生成部１０５３は、予測ベクトルに従って動き補償をすることによって、スキップ予測画像マクロブロックを生成する。予測画像マクロブロック生成部１０５３は、生成したスキップ予測画像マクロブロックを符号化モード判定部１０６に出力する。
【００５５】
予測モード決定部１０５４は、予測画像生成方法選択部１０５１から処理を開始する旨を示す信号を受け取ってから処理を開始する。予測モード決定部１０５４は、符号化モードメモリ１０８から対象マクロブロックの左、左上、上及び右上に隣接しているブロックの符号化モードを読み出す。そして、予測モード決定部１０５４は、隣接しているブロックの符号化モードに応じて、イントラ予測の予測モードを決定する。具体的な決定方法は、図５を用いて説明する。
【００５６】
図５に示すように、対象マクロブロックの左に隣接するマクロブロックをブロックＡ、上に隣接するマクロブロックをブロックＢ、右上に隣接するブロックをブロックＣ、左上に隣接するブロックをブロックＤと呼称することとする。
まず、予測モード決定部１０５４は、ブロックＢの符号化モードがイントラ予測の予測モードの０を示しているかを確認する（図５の（ａ））。予測モード決定部１０５４は、ブロックＢの符号化モードがイントラ予測の予測モードの０を示している場合には、イントラ予測モード信号として０を設定する。
次に、予測モード決定部１０５４は、ブロックＢの符号化モードがイントラ予測の予測モードの０を示していない場合には、ブロックＡの符号化モードがイントラ予測の予測モードの１を示しているかを確認する（図５の（ｂ））。予測モード決定部１０５４は、ブロックＡの符号化モードがイントラ予測の予測モードの１を示している場合には、イントラ予測モード信号として１を設定する。
【００５７】
次に、予測モード決定部１０５４は、ブロックＡの符号化モードがイントラ予測の予測モードの１を示していない場合には、ブロックＣの符号化モードがブロックＣのブロックのサイズが１６×１６ではなく、且つイントラ予測の予測モードの３又は７を示しているかを確認する（図５の（ｃ））。予測モード決定部１０５４は、ブロックＣの符号化モードがブロックＣのブロックのサイズが１６×１６ではなく、且つイントラ予測の予測モードの３又は７を示している場合には、イントラ予測モード信号としてブロックＣの予測モードと同じ値を設定する。
【００５８】
次に、予測モード決定部１０５４は、ブロックＣの符号化モードがブロックＣのパーティションのサイズが１６×１６ではなく、且つイントラ予測の予測モードの３又は７を示していない場合には、ブロックＤの符号化モードがイントラ予測の予測モードの４，５又は６を示しているかを確認する（図５の（ｄ））。予測モード決定部１０５４は、ブロックＤの符号化モードがイントラ予測の予測モードの４，５又は６を示している場合には、イントラ予測モード信号としてブロックＤの予測モードと同じ値を設定する。
次に、予測モード決定部１０５４は、ブロックＤの符号化モードがイントラ予測の予測モードの４，５又は６を示していない場合には、イントラ予測モード信号として２を設定する。
予測モード決定部１０５４は、設定したイントラ予測モード信号をイントラ予測画像マクロブロック生成部１０５５に出力する。
【００５９】
なお、本実施形態では、予測モード決定部１０５４は、図５（ａ）〜（ｄ）の順、すなわち予測モード０、１、（３または７）、（４、５または６）、２の順に該当するかを判定した。これは、一般的に予測モードが発生する頻度が高い方からの順としているが、この他の順であってもよい。
また、ブロックＢの予測モードが０であるとは、マクロブロックであるブロックＢがイントラ予測される際のブロックが１６画素×１６画素であり、予測モードが０であるときとしてもよい。あるいは、ブロックＢがイントラ予測される際のブロックであって、対象マクロブロックに隣接するブロック全ての予測モードが０であるときとしてもよい。あるいは、ブロックＢがイントラ予測される際のブロックであって、対象マクロブロックに隣接するブロックのうち、所定の数以上、または、所定の割合以上の予測モードが０であるときとしてもよい。ブロックＡの予測モードが１であるときについても同様である。
【００６０】
イントラ予測画像マクロブロック生成部１０５５は、予測モード決定部１０５４からイントラ予測モード信号を受け取り、参照画像メモリ１０２から対象マクロブロックに隣接するマクロブロックの画素値を読み出す。イントラ予測画像マクロブロック生成部１０５５は、イントラ予測モード信号で示されるイントラ予測モードの予測方向に基づいたイントラ予測を用いて、対象マクロブロックに隣接するブロックの画素値からスキップ予測画像マクロブロックを生成する。なお、イントラ予測画像マクロブロックは、１６画素×１６画素であるが、図３（ａ）に示す予測モードと予測方向との関係に従った予測方向を用いる。イントラ予測画像マクロブロック生成部１０５５は、生成したスキップ予測画像マクロブロックとスキップ予測画像マクロブロックをイントラ予測で生成したことを示す信号とを符号化モード判定部１０６に出力する。
【００６１】
次に、本実施形態に係る画像符号化装置１が行う画像符号化処理について、図６及び図７を参照しながら説明する。図６及び図７は、本実施形態に係る画像符号化装置１が行う画像符号化処理の一例を説明するためのフローチャートである。
まず、ステップＳ１０１において、デプスマップ入力部１０１は、画像前置処理部２からデプスマップをフレーム毎に入力する。その後、ステップＳ１０２へ進む。
画像符号化装置１は、ステップＳ１０２において、ステップＳ１０３〜Ｓ１２０の処理を、入力されたフレームに含まれるマクロブロック毎に行う。なお、ステップＳ１０３〜Ｓ１０５の順序は問わない。
【００６２】
ステップＳ１０３において、イントラ予測部１０３は、参照画像メモリ１０２から対象マクロブロックと同一フレーム内の対象マクロブロックに隣接する符号化に係る処理を行った参照画像ブロックを読みだす。イントラ予測部１０３は、読みだした参照マクロブロックに基づいてフレーム内予測を行い、イントラ予測画像マクロブロックを生成する。イントラ予測部１０３は、生成したイントラ予測画像マクロブロックを符号化モード判定部１０６に出力する。その後、ステップＳ１０４へ進む。
【００６３】
ステップＳ１０４において、インター予測部１０４は、デプスマップ入力部１０１から対象マクロブロックを入力し、参照画像メモリ１０２から参照画像を構成する参照画像ブロックを読み出す。インター予測部１０４は、対象マクロブロックを１つ若しくは複数のパーティションに分割し、各々のパーティションに対して、順次、動きベクトルを検出する。インター予測部１０４は、対象マクロブロックを構成する上記パーティションのサイズのうち、符号化コストが最小となるパーティションのサイズを選択する。インター予測部１０４は、符号化コストが最小となったパーティションのサイズと各パーティションの動きベクトルに基づいて動き補償又は視差補償を行い、インター予測画像マクロブロックを生成する。インター予測部１０４は、算出したベクトルを情報源符号化部１１４とスイッチ１０９に出力する。インター予測部１０４は、生成したインター予測画像マクロブロックを符号化モード判定部１０６に出力する。その後、ステップＳ１０５に進む。
【００６４】
ステップＳ１０５において、スキップト・マクロブロック部１０５は、符号化モードメモリ１０８から対象マクロブロックに隣接するマクロブロックの符号化モード信号と、動きベクトルメモリ１０７から対象マクロブロックに隣接するマクロブロックの動きベクトルと、参照画像メモリ１０２から対象マクロブロックに隣接する参照画像マクロブロックの画素値を読みだす。スキップト・マクロブロック部１０５は、読みだした符号化モード信号と、動きベクトルと、隣接する参照画像ブロックの画素値からスキップ予測画像マクロブロックを生成する。スキップト・マクロブロック部１０５は、スキップ予測画像マクロブロックを符号化モード判定部１０６に出力する。スキップト・マクロブロック部１０５が、予測ベクトルを生成している場合には、生成した予測ベクトルをスイッチ１０９に出力する。その後、ステップＳ１０６に進む。
【００６５】
ステップＳ１０６において、符号化モード判定部１０６は、デプスマップ入力部１０１から対象マクロブロックを、イントラ予測部１０３からイントラ予測画像マクロブロックを、インター予測部１０４からインター予測画像マクロブロックを、スキップト・マクロブロック部１０５からスキップ予測画像マクロブロックを、それぞれ入力として受け取る。符号化モード判定部１０６は、入力された３つの予測画像マクロブロックに基づいて最も符号化効率の高い符号化モードを選択する。符号化モード判定部１０６は、選択された符号化モードに対応する予測画像マクロブロックを減算部１１０と加算部１１３に出力するとともに、選択された符号化モードに対応する符号化モード信号を生成し情報源符号化部１１４と符号化モードメモリ１０８とスイッチ１０９に出力する。その後、ステップＳ１０７に進む。
【００６６】
ステップＳ１０７において、スイッチ１０９は、符号化モード判定部１０６から選択された符号化モードに対応する符号化モード信号と、インター予測部１０４から動きベクトルと、スキップト・マクロブロック部１０５から予測ベクトルを受け取る。スイッチ１０９は、選択された符号化モードに対応する符号化モード信号がインター予測を示している場合には、動きベクトルを動きベクトルメモリ１０７に出力する。スイッチ１０９は、選択された符号化モードに対応する符号化モード信号がスキップト・マクロブロックモードを示している場合には、予測ベクトルを動きベクトルメモリ１０７に出力する。動きベクトルメモリ１０７は、スイッチ１０９から出力された動きベクトル又は予測ベクトルを動きベクトルとみなして格納する。その後、ステップＳ１０８に進む。
【００６７】
ステップＳ１０８において、符号化モードメモリ１０８は、符号化モード判定部１０６から出力された選択された符号化モードに対応する符号化モード信号を、符号化されたマクロブロックの順に記憶する。その後、ステップＳ１０９に進む。
【００６８】
ステップ１０９において、減算部１１０は、デプスマップ入力部１０１から入力された対象マクロブロックに含まれる各画素の信号値から符号化モード判定部１０６から入力されたイントラ予測画像マクロブロック、インター予測画像マクロブロック、又はスキップ予測画像マクロブロックに含まれる各画素の信号値を減算して、残差信号マクロブロックを算出する。減算部１１０は、算出した残差信号マクロブロックをＤＣＴ変換・量子化部１１１に出力する。その後、ステップＳ１１０に進む。
【００６９】
ステップＳ１１０において、ＤＣＴ変換・量子化部１１１は、減算部１１０から入力された残差信号マクロブロックに対して二次元ＤＣＴを行い、ＤＣＴ係数を算出した後、ＤＣＴ係数の量子化を行い、量子化ＤＣＴ係数を生成する。ＤＣＴ変換・量子化部１１１は、生成した量子化ＤＣＴ係数を逆量子化・逆ＤＣＴ変換部１１２及び情報源符号化部１１４に出力する。その後、ステップＳ１１１に進む。
【００７０】
ステップＳ１１１において、逆量子化・逆ＤＣＴ変換部１１２は、ＤＣＴ変換・量子化部１１１から入力された量子化ＤＣＴ係数に逆量子化を行い、逆量子化ＤＣＴ係数を生成した後、逆量子化ＤＣＴ係数に対して２次元逆ＤＣＴを行い、復号残差信号マクロブロックを生成する。逆量子化・逆ＤＣＴ変換部１１２は、生成した復号残差信号マクロブロックを加算部１１３に出力する。その後、ステップＳ１１２に進む。
【００７１】
ステップＳ１１２において、加算部１１３は、符号化モード判定部１０６から入力されたイントラ予測画像マクロブロック、インター予測画像マクロブロック、又はスキップ予測画像マクロブロックに含まれる各画素の信号値と、逆量子化・逆ＤＣＴ変換部１１２から入力された復号残差信号マクロブロックに含まれる各画素の信号値とを加算して、参照画像マクロブロックを生成する。その後、ステップＳ１１３に進む。
ステップＳ１１３において、加算部１１３は、生成した参照画像マクロブロックを参照画像メモリ１０４に記憶する。その後、図７のステップＳ１１４に進む。
【００７２】
図７のステップＳ１１４において、符号化モード判定部１０６による符号化モードの判定結果に従い、符号化モードがスキップト・マクロブロックモードの場合には（ステップＳ１１４でＹＥＳ）、ステップＳ１１５に進み、そうでない場合には（ステップＳ１１４でＮＯ）ステップＳ１１６に進む。
【００７３】
ステップＳ１１５において、情報源符号化部１１４は、符号化モード判定部１０６から入力された符号化モード信号を符号化し、符号化ストリームを生成する。その後、ステップＳ１１９に進む。
ステップＳ１１６において、符号化モードがインター予測の場合には（ステップＳ１１６でＹＥＳ）、ステップＳ１１７に進み、符号化モードがイントラ予測の場合には（ステップＳ１１６でＮＯ）、ステップＳ１１８に進む。
【００７４】
ステップＳ１１７において、情報源符号化部１１４は、符号化モード判定部１０６から入力された符号化モード信号、ＤＣＴ変換・量子化部１１１から入力された量子化ＤＣＴ係数、及びインター予測部１０４から入力された動きベクトルを符号化し、符号化ストリームを生成する。その後、ステップＳ１１９に進む。
ステップＳ１１８において、情報源符号化部１１４は、符号化モード判定部１０６から入力された符号化モード信号とＤＣＴ変換・量子化部１１１から入力された量子化ＤＣＴ係数とを符号化し、符号化ストリームを生成する。その後、ステップＳ１１９に進む。
【００７５】
ステップＳ１１９において、情報源符号化部１１４は、生成した符号化ストリームを画像符号化装置１の外部へ出力する。その後、ステップＳ１２０に進む。
ステップＳ１２０において、画像符号化装置１は、符号化対象のマクロブロックをラスタースキャンの順序で順次に変更し、図６のステップＳ１０３に戻る。但し、画像符号化装置１は、入力されたデプスマップのフレームに符号化に係る処理がまだ行われていないブロックがないと判定した場合には、そのフレームに対する処理を終了する。
【００７６】
次に、本実施形態に係るスキップト・マクロブロック部１０５におけるスキップ予測画像マクロブロック生成処理について、図８及び図９を参照しながら説明する。図８及び図９は、本実施形態に係るスキップト・マクロブロック部１０５におけるスキップ予測画像マクロブロック生成処理の一例を説明するためのフローチャートである。この処理は、上述のステップＳ１０５に相当する処理である。
【００７７】
ステップＳ２０１において、予測画像生成方法選択部１０５１は、動きベクトルメモリ１０７から対象マクロブロックの左、上及び右上に隣接しているマクロブロックの動きベクトルを読み出す。その後、ステップＳ２０２に進む。
ステップＳ２０２において、予測画像生成方法選択部１０５１は、３つの隣接マクロブロックのうち動きベクトルを読み出すことが出来たブロックが２つ以上あったか否かを判定する。２つ以上あった場合には（ステップＳ２０２のＹｅｓ）、予測ベクトル生成部１０５２に動きベクトルを出力し、ステップＳ２０３に進む。２つ以上なかった場合には（ステップＳ２０２のＮｏ）、図９のステップＳ２０６に進む。
【００７８】
ステップ２０３において、予測ベクトル生成部１０５２は、予測画像生成方法選択部１０５１から対象マクロブロックの左、上及び右上に隣接しているマクロブロックの動きベクトルを受け取る。予測ベクトル生成部１０５２は、受け取った動きベクトルの水平成分と垂直成分それぞれの中央値を算出することで予測ベクトルを生成する。予測ベクトル生成部１０５２は、生成した予測ベクトルを予測画像マクロブロック生成部１０５３に出力する。その後、ステップＳ２０４に進む。
ステップＳ２０４において、予測画像マクロブロック生成部１０５３は、予測ベクトル生成部１０５２から予測ベクトルを受け取る。その後、ステップＳ２０５に進む。
ステップＳ２０５において、予測画像マクロブロック生成部１０５３は、予測ベクトルに従って動き補償をすることによって、スキップ予測画像マクロブロックを生成する。予測画像マクロブロック生成部１０５３は、生成したスキップ予測画像マクロブロックを符号化モード判定部１０６に出力し、処理を終了する。
【００７９】
図９のステップＳ２０６において、予測モード決定部１０５４は、符号化モードメモリ１０８から対象マクロブロックに隣接するブロックＡ、ブロックＢ、ブロックＣ及びブロックＤの符号化モードを読み出す。その後、ステップＳ２０７に進む。
ステップＳ２０７において、予測モード決定部１０５４は、ブロックＢの符号化モードがイントラ予測の予測モードの０を示しているかを確認し、示している場合には（ステップＳ２０７のＹｅｓ）、ステップＳ２０８に進み、示していない場合には（ステップＳ２０７のＮｏ）、ステップＳ２０９に進む。
ステップＳ２０８において、予測モード決定部１０５４は、対象マクロブロックのイントラ予測モード信号として０を設定する。予測モード決定部１０５４は、設定したイントラ予測モード信号をイントラ予測画像マクロブロック生成部１０５５に出力する。その後、ステップＳ２１６に進む。
【００８０】
ステップＳ２０９において、予測モード決定部１０５４は、ブロックＡの符号化モードがイントラ予測の予測モードの１を示しているかを確認し、示している場合には（ステップＳ２０９のＹｅｓ）、ステップＳ２１０に進み、示していない場合には（ステップＳ２０９のＮｏ）、ステップＳ２１１に進む。
ステップＳ２１０において、予測モード決定部１０５４は、対象マクロブロックのイントラ予測モード信号として１を設定する。予測モード決定部１０５４は、設定したイントラ予測モード信号をイントラ予測画像マクロブロック生成部１０５５に出力する。その後、ステップＳ２１６に進む。
【００８１】
ステップＳ２１１において、予測モード決定部１０５４は、ブロックＣの符号化モードがブロックＣのブロックのサイズが１６×１６ではなく、且つイントラ予測の予測モードの３又は７を示しているかを確認し、示している場合には（ステップＳ２１１のＹｅｓ）、ステップＳ２１２に進み、示していない場合には（ステップＳ２１１のＮｏ）、ステップＳ２１３に進む。
ステップＳ２１２において、予測モード決定部１０５４は、対象マクロブロックのイントラ予測モード信号としてブロックＣの予測モードと同じ値を設定する。予測モード決定部１０５４は、設定したイントラ予測モード信号をイントラ予測画像マクロブロック生成部１０５５に出力する。その後、ステップＳ２１６に進む。
【００８２】
ステップＳ２１３において、予測モード決定部１０５４は、ブロックＤの符号化モードがイントラ予測の予測モードの４、５又は６を示しているかを確認し、示している場合には（ステップＳ２１３のＹｅｓ）、ステップＳ２１４に進み、示していない場合には（ステップＳ２１３のＮｏ）、ステップＳ２１５に進む。
ステップＳ２１４において、予測モード決定部１０５４は、対象マクロブロックのイントラ予測モード信号としてブロックＤの予測モードと同じ値を設定する。予測モード決定部１０５４は、設定したイントラ予測モード信号をイントラ予測画像マクロブロック生成部１０５５に出力する。その後、ステップＳ２１６に進む。
【００８３】
ステップＳ２１５において、予測モード決定部１０５４は、対象マクロブロックのイントラ予測モード信号として２を設定する。予測モード決定部１０５４は、設定したイントラ予測モード信号をイントラ予測画像マクロブロック生成部１０５５に出力する。その後、ステップＳ２１６に進む。
ステップＳ２１６において、イントラ予測画像マクロブロック生成部１０５５は、予測モード決定部１０５４からイントラ予測モード信号を受け取り、参照画像メモリ１０２から対象マクロブロックに隣接するブロックの画素値を読み出す。イントラ予測画像マクロブロック生成部１０５５は、イントラ予測モード信号で示されるイントラ予測モードの予測方向に基づいたイントラ予測を用いて、対象マクロブロックに隣接するブロックの画素値からスキップ予測画像マクロブロックを生成する。イントラ予測画像マクロブロック生成部１０５５は、生成したスキップ予測画像マクロブロックを符号化モード判定部１０６に出力し、処理を終了する。
【００８４】
以上のように本実施形態に係る画像符号化装置１では、対象マクロブロックに隣接しているブロックの符号化モードに応じて、スキップト・マクロブロックモードで符号化する際の符号化方法を変更している。そして、スキップト・マクロブロックモードで符号化する際の符号化方法がイントラ予測の場合の予測モードを、対象マクロブロックに隣接しているブロックをイントラ予測で符号化した際の予測モードに応じて決定している。
【００８５】
次に、本実施形態に係る画像復号装置について説明する。本実施形態に係る画像復号装置は、上述した画像符号化装置１での画像符号化方法に従いスキップト・マクロブロックモードで符号化された、画素毎のデプス値からなるデプスマップを構成する一部の領域であるマクロブロックを復号する画像復号部を備えている。以下、このような画像復号装置の構成例について図１０を参照しながら説明する。図１０は、本実施形態に係る画像復号装置の構成例を示す概略図である。
【００８６】
図１０で例示する画像復号装置５は、情報源復号部５０１、符号化モードメモリ５０２、動きベクトルメモリ５０３、逆量子化・逆ＤＣＴ変換部５０４、加算部５０５、参照画像メモリ５０６、イントラ予測画像生成部５０７、インター予測画像生成部５０８、スキップト・マクロブロック部５０９、符号化モード判定部５１０、スイッチ５１１、及び画像出力部５１２を含んで構成される。
【００８７】
情報源復号部５０１は、画像復号装置５の外部から入力された、デプスマップについてのブロック毎の符号化ストリームを復号し、量子化ＤＣＴ係数、動きベクトル、及び符号化モード信号を生成する。情報源復号部５０１が行う復号方法は、図２の情報源符号化部１１４が行った符号化方法とは逆の処理である。即ち、情報源符号化部１１４が可変長符号化を行った場合は、情報源復号部５０１は可変長復号を行う。情報源復号部５０１は、生成した動きベクトルをインター予測画像生成部５０８とスイッチ５１１に出力する。情報源復号部５０１は、量子化ＤＣＴ係数を生成した場合、生成した量子化ＤＣＴ係数を逆量子化・逆ＤＣＴ変換部５０４に出力する。情報源復号部５０１は、生成した符号化モード信号を符号化モードメモリ５０２に記憶させ、符号化モード判定部５１０とイントラ予測画像生成部５０７とインター予測画像生成部５０８とスイッチ５１１に出力する。
【００８８】
符号化モードメモリ５０２は、情報源復号部５０１から符号化モード信号を受け取り、マクロブロックの復号順に格納する。符号化モードメモリ５０２は、格納した符号化モード信号をスキップト・マクロブロック部５０９に出力する。
動きベクトルメモリ５０３は、スイッチ５１１から動きベクトル又は予測ベクトルを受け取り、マクロブロックの復号順に格納する。動きベクトルメモリ５０３は、格納した動きベクトルをインター予測画像生成部５０８とスキップト・マクロブロック部５０９に出力する。
【００８９】
逆量子化・逆ＤＣＴ変換部５０４は、情報源復号部５０１から入力された量子化ＤＣＴ係数に逆量子化を行い、逆量子化ＤＣＴ係数を生成した後、逆量子化ＤＣＴ係数に対して２次元逆ＤＣＴを行い、空間領域信号として復号残差信号ブロックを生成する。逆量子化・逆ＤＣＴ変換部５０４は、復号残差信号ブロックを加算部５０５に出力する。
【００９０】
加算部５０５は、符号化モード判定部５１０から入力されたイントラ予測画像マクロブロック、インター予測画像マクロブロック、又はスキップ予測画像マクロブロックのいずれかに含まれる各画素の信号値と、逆量子化・逆ＤＣＴ変換部５０４から入力された復号残差信号ブロックに含まれる各画素の信号値とを加算して、参照画像マクロブロックを生成する。加算部５０５は、生成した参照画像マクロブロックを参照画像メモリ５０６に記憶させ、画像出力部５１１に出力する。
【００９１】
参照画像メモリ５０６は、加算部５０５から入力された参照画像マクロブロックを、対応するフレームにおける復号対象マクロブロックの位置に配置して参照画像として記憶する。参照画像メモリ５０６は、現在から予め設定されたフレーム数（例えば１５フレーム）過去のフレームの参照画像を記憶し、記憶されたフレーム数が予め設定されたフレーム数を超えたとき、例えば１６フレーム目の参照画像が入力された時、それ以前の過去のフレームの参照画像を全て削除する。
【００９２】
イントラ予測画像生成部５０７は、情報源復号部５０１から符号化モード信号を入力される。イントラ予測画像生成部５０７は、参照画像メモリ５０６から対象マクロブロックと同一フレーム内の対象マクロブロックに隣接する符号化に係る処理を行った参照画像マクロブロックを読みだす。イントラ予測画像生成部５０７は、読みだした参照画像マクロブロックと符号化モード信号が示す予測モードに基づいてフレーム内予測を行い、イントラ予測画像マクロブロックを生成する。イントラ予測画像生成部５０７は、生成したイントラ予測画像マクロブロックを符号化モード判定部５１０に出力する。
【００９３】
インター予測画像生成部５０８は、情報源復号部５０１から動きベクトルと符号化モード信号を入力される。インター予測画像生成部５０８は、対象マクロブロックを構成するパーティション毎に参照画像メモリ５０６から参照画像を構成する参照画像ブロックを読み出す。このパーティションのサイズは、符号化モード信号に基づいて決定される。インター予測画像生成部５０８が読み出す参照画像ブロックの座標は、復号対象パーティションの座標に情報源復号部５０１から入力された動きベクトルを加算することによって補償した座標である。また、読み出す参照画像ブロックの大きさは対応するパーティションの大きさと同一である。インター予測画像生成部５０８は、読みだした参照画像ブロックの座標を、対応するパーティションの座標に合わせる処理をすることによってインター予測画像マクロブロックを生成する。インター予測画像生成部５０８は、生成したインター予測画像マクロブロックを符号化モード判定部５１０に出力する。
【００９４】
スキップト・マクロブロック部５０９は、符号化モードメモリ５０２から対象マクロブロックに隣接するブロックの符号化モード信号を読み出す。また、スキップト・マクロブロック部５０９は、動きベクトルメモリ５０３から対象マクロブロックに隣接するブロックの動きベクトルを読出し、参照画像メモリ５０６から対象マクロブロックに隣接する参照画像ブロックの画素値を読みだす。
【００９５】
スキップト・マクロブロック部５０９は、対象マクロブロックに隣接するブロックの符号化モード、動きベクトル、及び画素値に基づいてスキップ予測画像マクロブロックを生成する。スキップト・マクロブロック部５０９は、スキップ予測画像マクロブロックを符号化モード判定部５１０に出力する。また、スキップト・マクロブロック部５０９は、隣接するブロックの動きベクトルから、予測ベクトルを生成する場合がある。スキップト・マクロブロック部５０９は、予測ベクトルを生成した場合には、生成した予測ベクトルをスイッチ５１１に出力する。スキップト・マクロブロック部５０９における処理および構成の詳細は、画像符号化装置１のスキップト・マクロブロック部１０５と同様である。
【００９６】
符号化モード判定部５１０は、情報源復号部５０１からの符号化モード信号と、イントラ予測画像生成部５０７からのイントラ予測画像マクロブロックと、インター予測画像生成部５０８からのインター予測画像マクロブロックと、スキップト・マクロブロック部５０９からのスキップ予測画像マクロブロックとを入力する。符号化モード判定部５１０は、符号化モード信号が示す符号化モードに基づいて、イントラ予測画像マクロブロック、インター予測画像マクロブロック、又はスキップ予測画像マクロブロックのいずれかを、加算部５０５に出力する。
【００９７】
スイッチ５１１は、情報源復号部５０１から符号化モード信号と動きベクトルとを受け取り、スキップト・マクロブロック部５０９から予測ベクトルを受け取る。スイッチ５１１は、符号化モード信号がインター予測を示している場合には、動きベクトルを動きベクトルメモリ５０３に出力する。スイッチ５１１は、符号化モード信号がスキップト・マクロブロックモードを示している場合には、予測ベクトルを動きベクトルメモリ５０３に出力する。
【００９８】
画像出力部５１２は、加算部５０５から入力された参照画像マクロブロックを、対応するフレームにおける復号対象マクロブロックの位置に配置して参照画像をフレーム毎に生成する。画像出力部５１２は、生成した参照画像を復号デプスマップとしてフレーム毎に画像復号装置５の外部に出力する。
【００９９】
次に、本実施形態に係る画像復号装置５が行う画像復号処理について、図１１を参照しながら説明する。図１１は、本実施形態に係る画像復号装置５が行う画像復号処理の一例を説明するためのフローチャートである。
画像復号装置５は、ステップＳ３０１において、ステップＳ３０２〜Ｓ３１３の処理をマクロブロック毎に行う。
まず、ステップＳ３０２において、情報源復号部５０１は、画像復号装置５の外部から符号化ストリームを入力する。その後、ステップＳ３０３に進む。
【０１００】
ステップＳ３０３において、情報源復号部５０１は、ステップＳ３０２において入力された符号化ストリームの復号（この例では可変長復号）を行い、符号化モード信号と量子化ＤＣＴ係数と動きベクトルを生成する。情報源復号部５０１は、生成した符号化モード信号を符号化モード判定部５１０と符号化モードメモリ５０２とイントラ予測画像生成部５０７とインター予測画像生成部５０８に出力し、生成した量子化ＤＣＴ係数を逆量子化・逆ＤＣＴ変換部５０４に出力し、生成した動きベクトルをインター予測画像生成部５０８と動きベクトルメモリに出力する。その後、ステップＳ３０４に進む。
【０１０１】
ステップＳ３０４において、逆量子化・逆ＤＣＴ変換部５０４は、情報源復号部５０１から入力された量子化ＤＣＴ係数に対して逆量子化を行い、逆量子化ＤＣＴ係数を生成した後、逆量子化ＤＣＴ係数に対して２次元逆ＤＣＴを行い、復号残差信号ブロックを生成する。逆量子化・逆ＤＣＴ変換部５０４は、復号残差信号ブロックを加算部５０５に出力する。その後、ステップＳ３０５に進む。
【０１０２】
ステップＳ３０５において、インター予測画像生成部５０８は、情報源復号部５０１から符号化モード信号と対象マクロブロック内の全てのパーティションに対応する動きベクトルを受け取る。インター予測画像生成部５０８は、情報源復号部５０１から受け取った符号化モード信号に基づいてマクロブロックをパーティションに分割し、パーティション毎に動きベクトルに基づいて動き補償又は視差補償を行うことで、インター予測画像マクロブロックを生成する。インター予測画像生成部５０８は、生成したインター予測画像マクロブロックを符号化モード判定部５１０に出力する。その後、ステップＳ３０６に進む。
【０１０３】
ステップＳ３０６において、イントラ予測画像生成部５０７は、情報源復号部５０１から符号化モード信号を受け取ると共に、参照画像メモリ５０６から対象マクロブロックと同一フレーム内の対象マクロブロックに隣接する復号に係る処理を行った参照画像ブロックを読みだす。イントラ予測画像生成部５０７は、受け取った符号化モード信号に基づいてマクロブロックをブロックに分割し、ブロック毎に読みだした参照画像マクロブロックに基づいてフレーム内予測を行い、イントラ予測画像マクロブロックを生成する。イントラ予測画像生成部５０７は、生成したイントラ予測画像マクロブロックを符号化モード判定部５１０に出力する。その後、ステップＳ３０７へ進む。
【０１０４】
ステップＳ３０７において、スキップト・マクロブロック部５０９は、符号化モードメモリ５０２から対象マクロブロックに隣接するマクロブロックの符号化モード信号と、動きベクトルメモリ５０３から対象マクロブロックに隣接するマクロブロックの動きベクトルと、参照画像メモリ５０６から対象マクロブロックに隣接する参照画像ブロックの画素値を読みだす。スキップト・マクロブロック部５０９は、読みだした符号化モード信号と、動きベクトルと、隣接する参照画像ブロックの画素値からスキップ予測画像マクロブロックを生成する。スキップト・マクロブロック部５０９は、スキップ予測画像マクロブロックを符号化モード判定部５１０に出力する。その後、ステップＳ３０８に進む。
【０１０５】
ステップＳ３０８において、符号化モード判定部５１０は、情報源復号部５０１からの符号化モード信号と、イントラ予測画像生成部５０７からのイントラ予測画像マクロブロックと、インター予測画像生成部５０８からのインター予測画像マクロブロックと、スキップト・マクロブロック部５０９からのスキップ予測画像マクロブロックとを入力する。符号化モード判定部５１０は、符号化モード信号が示す符号化モードに基づいて、イントラ予測画像マクロブロック、インター予測画像マクロブロック、又はスキップ予測画像マクロブロックのいずれを出力するかを判定し、判定結果に従ったマクロブロックを加算部５０５に出力する。その後、ステップＳ３０９に進む。
【０１０６】
ステップＳ３０９において、動きベクトルメモリ５０３は、情報源復号部５０１から動きベクトルを受け取り、マクロブロックの復号順に格納する。動きベクトルメモリ５０３は、格納した動きベクトルをインター予測画像生成部５０８とスキップト・マクロブロック部５０９に出力する。その後、ステップＳ３１０に進む。
【０１０７】
ステップＳ３１０において、符号化モードメモリ５０２は、情報源復号部５０１から符号化モード信号を受け取り、マクロブロックの復号順に格納する。符号化モードメモリ５０２は、格納した符号化モード信号をスキップト・マクロブロック部５０９に出力する。その後、ステップＳ３１１に進む。
【０１０８】
ステップＳ３１１において、加算部５０５は、符号化モード判定部５１０から入力されたイントラ予測画像マクロブロック、インター予測画像マクロブロック、又はスキップ予測画像マクロブロックに含まれる各画素の信号値と、逆量子化・逆ＤＣＴ変換部５０４から入力された復号残差信号マクロブロックに含まれる各画素の信号値とを加算して、参照画像マクロブロックを生成する。その後、ステップＳ３１２に進む。
【０１０９】
ステップＳ３１２において、加算部５０５は、生成した参照画像マクロブロックを参照画像メモリ５０６に記憶させ、画像出力部５１２に出力する。その後、ステップＳ３１３に進む。
ステップＳ３１３において、画像復号装置５は、復号対象マクロブロックをラスタースキャンの順序で変更し、ステップＳ３０２に戻る。但し、画像復号装置５は、入力された符号化ストリームのフレームにおいて復号が行われていないマクロブロックがないと判定した場合には、そのフレームに対する処理を終了する。
【０１１０】
以上のように、本実施形態では、画素毎のデプス値からなるデプスマップを構成する一部の領域であるマクロブロック毎に符号化する際、上記１つのマクロブロックに隣接するブロックの符号化モードと、動きベクトルと、画素値に基づいてデプス予測画像マクロブロックを生成する。
これにより、本実施形態では、空間方向の相関性が高いデプスマップにおいて、そのデプスマップ内でイントラ予測が頻発している、つまり空間方向の相関性が高い領域に対して、スキップト・マクロブロックモードで符号化する際にイントラ予測を用いることで、対象マクロブロックとより類似した予測画像マクロブロックを生成することができ、符号化効率を向上させることができる。
なお、本実施形態では、画像符号化装置１の符号化の対象および画像復号装置５の復号の対象をデプスマップとしたが、上述の２次元テクスチャ画像としてもよい。
【０１１１】
（第２の実施形態）
上述の第1の実施形態における画像符号化装置１および画像復号装置５は、コンピュータ読み取り可能な記録媒体に、画像符号化プログラム及び／又は画像復号プログラムを記録しておき、該プログラムをコンピュータに実行させることで実現することもできる。
【０１１２】
この画像符号化プログラムは、上記第１の実施形態で示したように、デプスマップを符号化する際に、対象マクロブロックに隣接するマクロブロックの符号化モード信号、動きベクトル、及び画素値に応じてスキップ予測画像マクロブロックを生成し、そのスキップ予測画像マクロブロックを用いてデプスマップを予測符号化する画像符号化処理を、コンピュータに実行させるためのプログラムである。
【０１１３】
この画像符号化処理は、１つのマクロブロックについて、隣接するマクロブロックの動きベクトルに基づいて予測画像生成方法を選択するステップと、隣接するマクロブロックの動きベクトルに基づいて予測ベクトルを生成するステップと、隣接するマクロブロックの符号化モード信号からイントラ予測の予測モードを決定するステップと、決定した予測モードと隣接するマクロブロックの画素値に基づいてスキップ予測画像マクロブロックを生成するステップとを有する。その他の応用例については、第１の実施形態で説明した通りであり、その説明を省略する。
【０１１４】
また、上述の画像復号プログラムは、上述した画像符号化方法に従い（若しくは、上述した画像符号化装置或いは画像符号化プログラムにて）スキップ予測画像マクロブロックを用いて予測符号化された、画素毎の視点からの距離を示すデプス値からなるデプスマップを構成する一部の領域であるマクロブロックを復号する画像復号ステップを、コンピュータに実行させるためのプログラムである。その他の応用例については、第１の実施形態で説明した通りであり、その説明を省略する。
【０１１５】
この画像符号化プログラムや画像復号プログラムは、換言すれば、第１の実施形態における画像符号化装置１の全部及び／又は画像復号装置５の全部をコンピュータで実現するように構成する場合に、実行可能に組み込むプログラムである。無論、第１の実施形態における画像符号化装置１の一部及び／又は画像復号装置５の一部のみを、コンピュータで実現するようにしてもよい。
【０１１６】
上記の記録媒体としては、コンピュータで処理が行われるために図示しないメモリ、例えばＲＯＭのようなプログラムメディアであってもよく、図示しない外部記憶装置としてのプログラム読取装置が設けられ、そこに記録媒体を挿入することで読み取り可能なプログラムメディアであってもよい。いずれの場合においても、格納されているプログラムはコンピュータの主演算・制御部であるマイクロプロセッサがアクセスして実行させる構成であってもよいし、プログラムを読み出し、読み出されたプログラムは、コンピュータが備えるプログラム記憶エリアにダウンロードされて、そのプログラムが実行される方式であってもよい。この場合、ダウンロード用のプログラムは予め本体装置に格納されているものとする。
【０１１７】
ここで、上記プログラムメディアは、コンピュータ本体と分離可能に構成される記録媒体であり、磁気テープやカセットテープ等のテープ系、フロッピーディスク（登録商標）やハードディスク等の磁気ディスク並びにＣＤ−ＲＯＭ／ＭＯ／ＭＤ／ＤＶＤ等の光ディスクのディスク系、ＩＣカード（メモリカードを含む）／光カード等のカード系、或いはマスクＲＯＭ、ＥＰＲＯＭ（Erasable Programmable Read Only Memory）、ＥＥＰＲＯＭ（Electrically Erasable Programmable Read Only Memory）、フラッシュＲＯＭ等による半導体メモリを含めた固定的にプログラムを担持する媒体であってもよい。また、この場合、インターネットを含む通信ネットワークを接続可能なシステム構成であることから、通信ネットワークからプログラムをダウンロードするように流動的にプログラムを担持する媒体であってもよい。なお、このように通信ネットワークからプログラムをダウンロードする場合には、そのダウンロード用のプログラムは予めコンピュータ本体に格納しておくか、或いは別の記録媒体からインストールされるものであってもよい。
【０１１８】
上記の記録媒体は、デジタルカラー画像形成装置やコンピュータシステムに備えられるプログラム読み取り装置により読み取られることで、上述した画像符号化方法や画像復号方法が実行される。なお、上記コンピュータシステムは、ＷＥＢカメラなどの汎用画像入力装置、所定のプログラムがロードされることにより上記画像処理方法など様々な処理が行われるコンピュータ、コンピュータの処理結果を表示するディスプレイ・液晶ディスプレイなどの画像表示装置より構成される。さらには、ネットワークを介してサーバなどに接続するための通信手段としてのネットワークカードやモデムなどが備えられる。
【０１１９】
（その他）
なお、全ての実施形態において、２つのカメラで撮影した２視点の画像信号に対応するデプスマップの符号化及び復号について説明したが、２視点より多い複数のカメラで撮影した多視点画像信号に対して適用してもよい。例えば３視点画像信号に対応するデプスマップを入力し、そのうち１つの視点のデプスマップを、該デプスマップに対応するテクスチャ画像を利用してデプス値を推定することで符号化し、符号化する対象を切り替えていくことで、３つの視点のデプスマップの符号化を行うことができる。
【０１２０】
また、上述した実施形態における画像符号化装置１及び画像復号装置５の一部又は全部を、ＬＳＩ（Large Scale Integration）等の集積回路又はＩＣ（Integrated Circuit）チップセットとして実現してもよい。画像符号化装置１及び画像復号装置５の各機能ブロックは個別にプロセッサ化してもよいし、一部又は全部を集積してプロセッサ化してもよい。また、集積回路化の手法はＬＳＩに限らず専用回路、又は汎用プロセッサで実現してもよい。また、半導体技術の進歩によりＬＳＩに代替する集積回路化の技術が出現した場合、当該技術による集積回路を用いてもよい。
また、本発明は、画像符号化装置、画像復号装置における処理の流れを例示したように、さらには画像符号化プログラム、画像復号プログラムの処理として説明したように、画像符号化方法、画像復号方法としての形態も採り得る。
【０１２１】
この画像符号化方法は、画素毎の視点からの距離を示すデプス値からなるデプスマップを構成する一部の領域であるマクロブロック毎に、画像符号化装置がデプス予測画像マクロブロックを用いて上記デプスマップの予測符号化を行う方法である。そして、この方法は、画像符号化装置が、１つのマクロブロックについて、隣接するマクロブロックの動きベクトルに基づいて予測画像生成方法を選択するステップと、隣接するマクロブロックの動きベクトルに基づいて予測ベクトルを生成するステップと、隣接するマクロブロックの符号化モード信号からイントラ予測の予測モードを決定するステップと、決定した予測モードと隣接するマクロブロックの画素値に基づいてスキップ予測画像マクロブロックを生成する生成ステップとを有する。その他の応用例については、第１の実施形態において画像符号化装置について説明した通りである。
【０１２２】
上記の画像復号方法は、上述の画像符号化方法に従いスキップ予測画像マクロブロックを用いて予測符号化された、画素毎の視点からの距離を示すデプス値からなるデプスマップを構成する一部の領域であるマクロブロックを、画像復号装置が復号する画像復号ステップを有する。その他の応用例については、第１の実施形態において画像復号装置について説明した通りである。
【符号の説明】
【０１２３】
１…画像符号化装置
２…画像前置処理部
３ａ、３ｂ…撮影装置
４…テクスチャ画像符号化装置
５…画像復号装置
１０…３次元画像撮影システム
１０１…デプスマップ入力部
１０２…参照画像メモリ
１０３…イントラ予測部
１０４…インター予測部
１０５…スキップト・マクロブロック部
１０６…符号化モード判定部
１０７…動きベクトルメモリ
１０８…符号化モードメモリ
１０９…スイッチ
１１０…減算部
１１１…ＤＣＴ変換・量子化部
１１２…逆量子化・逆ＤＣＴ変換部
１１３…加算部
１１４…情報源符号化部
５０１…情報源復号部
５０２…符号化モードメモリ
５０３…動きベクトルメモリ
５０４…逆量子化・逆ＤＣＴ変換部
５０５…加算部
５０６…参照画像メモリ
５０７…イントラ予測画像生成部
５０８…インター予測画像生成部
５０９…スキップト・マクロブロック部
５１０…符号化モード判定部
５１２…画像出力部
１０５１…予測画像生成方法選択部
１０５２…予測ベクトル生成部
１０５３…予測画像マクロブロック生成部
１０５４…予測モード決定部
１０５５…イントラ予測画像マクロブロック生成部
【特許請求の範囲】
【請求項１】
画像を分割したマクロブロック毎に符号化する画像符号化方法であって、
符号化対象のマクロブロックに隣接するマクロブロックをイントラ予測した際の予測モードと、前記隣接するマクロブロックの画素値とに基づいて、前記符号化対象のマクロブロックの予測画像を生成する生成ステップ
を有することを特徴とする画像符号化方法。
【請求項２】
前記隣接するマクロブロックに基づいて、前記符号化対象のマクロブロック毎に、前記予測画像を前記生成ステップにより生成するか否かを選択するステップを有することを特徴とする請求項１に記載の画像符号化方法。
【請求項３】
前記生成ステップは、前記予測モードと、前記画素値に基づいたイントラ予測によって前記予測画像を生成することを特徴とする請求項１に記載の画像符号化方法。
【請求項４】
前記生成ステップは、前記隣接するマクロブロックの前記符号化対象のマクロブロックに対する隣接方向と、該隣接方向の前記隣接するマクロブロックの予測モードとの組み合わせによって、前記イントラ予測の予測モードを決定するステップを有することを特徴とする請求項３に記載の画像符号化方法。
【請求項５】
画像を分割したマクロブロック毎に符号化する画像符号化装置であって、
符号化対象のマクロブロックに隣接するマクロブロックをイントラ予測した際の予測モードと、前記隣接するマクロブロックの画素値とに基づいて、前記符号化対象のマクロブロックの予測画像を生成する予測画像生成部
を具備することを特徴とする画像符号化装置。
【請求項６】
画像を分割したマクロブロック毎に符号化された画像を復号する画像復号方法であって、
復号対象のマクロブロックに隣接するマクロブロックをイントラ予測した際の予測モードと、前記隣接するマクロブロックの画素値とに基づいて、前記復号対象のマクロブロックの予測画像を生成する生成ステップ
を有することを特徴とする画像復号方法。
【請求項７】
画像を分割したマクロブロック毎に符号化された画像を復号する画像復号装置であって、
復号対象のマクロブロックに隣接するマクロブロックをイントラ予測した際の予測モードと、前記隣接するマクロブロックの画素値とに基づいて、前記復号対象のマクロブロックの予測画像を生成する予測画像生成部
を具備することを特徴とする画像復号装置。
【請求項８】
画像を分割したマクロブロック毎に符号化する画像符号化装置のコンピュータを、
符号化対象のマクロブロックに隣接するマクロブロックをイントラ予測した際の予測モードと、前記隣接するマクロブロックの画素値とに基づいて、前記符号化対象のマクロブロックの予測画像を生成する予測画像生成部
として動作させるためのプログラム。
【請求項９】
画像を分割したマクロブロック毎に符号化された画像を復号する画像復号装置のコンピュータを、
復号対象のマクロブロックに隣接するマクロブロックをイントラ予測した際の予測モードと、前記隣接するマクロブロックの画素値とに基づいて、前記復号対象のマクロブロックの予測画像を生成する予測画像生成部
として動作させるためのプログラム。
【請求項１】
画像を分割したマクロブロック毎に符号化する画像符号化方法であって、
符号化対象のマクロブロックに隣接するマクロブロックをイントラ予測した際の予測モードと、前記隣接するマクロブロックの画素値とに基づいて、前記符号化対象のマクロブロックの予測画像を生成する生成ステップ
を有することを特徴とする画像符号化方法。
【請求項２】
前記隣接するマクロブロックに基づいて、前記符号化対象のマクロブロック毎に、前記予測画像を前記生成ステップにより生成するか否かを選択するステップを有することを特徴とする請求項１に記載の画像符号化方法。
【請求項３】
前記生成ステップは、前記予測モードと、前記画素値に基づいたイントラ予測によって前記予測画像を生成することを特徴とする請求項１に記載の画像符号化方法。
【請求項４】
前記生成ステップは、前記隣接するマクロブロックの前記符号化対象のマクロブロックに対する隣接方向と、該隣接方向の前記隣接するマクロブロックの予測モードとの組み合わせによって、前記イントラ予測の予測モードを決定するステップを有することを特徴とする請求項３に記載の画像符号化方法。
【請求項５】
画像を分割したマクロブロック毎に符号化する画像符号化装置であって、
符号化対象のマクロブロックに隣接するマクロブロックをイントラ予測した際の予測モードと、前記隣接するマクロブロックの画素値とに基づいて、前記符号化対象のマクロブロックの予測画像を生成する予測画像生成部
を具備することを特徴とする画像符号化装置。
【請求項６】
画像を分割したマクロブロック毎に符号化された画像を復号する画像復号方法であって、
復号対象のマクロブロックに隣接するマクロブロックをイントラ予測した際の予測モードと、前記隣接するマクロブロックの画素値とに基づいて、前記復号対象のマクロブロックの予測画像を生成する生成ステップ
を有することを特徴とする画像復号方法。
【請求項７】
画像を分割したマクロブロック毎に符号化された画像を復号する画像復号装置であって、
復号対象のマクロブロックに隣接するマクロブロックをイントラ予測した際の予測モードと、前記隣接するマクロブロックの画素値とに基づいて、前記復号対象のマクロブロックの予測画像を生成する予測画像生成部
を具備することを特徴とする画像復号装置。
【請求項８】
画像を分割したマクロブロック毎に符号化する画像符号化装置のコンピュータを、
符号化対象のマクロブロックに隣接するマクロブロックをイントラ予測した際の予測モードと、前記隣接するマクロブロックの画素値とに基づいて、前記符号化対象のマクロブロックの予測画像を生成する予測画像生成部
として動作させるためのプログラム。
【請求項９】
画像を分割したマクロブロック毎に符号化された画像を復号する画像復号装置のコンピュータを、
復号対象のマクロブロックに隣接するマクロブロックをイントラ予測した際の予測モードと、前記隣接するマクロブロックの画素値とに基づいて、前記復号対象のマクロブロックの予測画像を生成する予測画像生成部
として動作させるためのプログラム。
【図１】
【図２】
【図３】
【図４】
【図５】
【図６】
【図７】
【図８】
【図９】
【図１０】
【図１１】
【図２】
【図３】
【図４】
【図５】
【図６】
【図７】
【図８】
【図９】
【図１０】
【図１１】
【公開番号】特開２０１３−１１０６４３（Ｐ２０１３−１１０６４３Ａ）
【公開日】平成２５年６月６日（２０１３．６．６）
【国際特許分類】
【出願番号】特願２０１１−２５５１７５（Ｐ２０１１−２５５１７５）
【出願日】平成２３年１１月２２日（２０１１．１１．２２）
【出願人】（０００００５０４９）シャープ株式会社 (33,933)
【Ｆターム（参考）】
【公開日】平成２５年６月６日（２０１３．６．６）
【国際特許分類】
【出願日】平成２３年１１月２２日（２０１１．１１．２２）
【出願人】（０００００５０４９）シャープ株式会社 (33,933)
【Ｆターム（参考）】
[ Back to top ]