画像処理装置及び画像処理方法
【課題】動的に構築される予測関数に基づくイントラ予測が行われる場合に必要とされるメモリリソースの量を削減すること。
【解決手段】符号化単位内の第１の輝度予測単位の輝度成分、前記第１の輝度予測単位に対応する第１の色差予測単位の色差成分、及び前記符号化単位内の前記第１の色差予測単位に対応しない第２の輝度予測単位の輝度成分を、前記第１の輝度予測単位の輝度成分、前記第１の色差予測単位の色差成分及び前記第２の輝度予測単位の輝度成分の順に復号する復号部、を備える画像処理装置を提供する。
【解決手段】符号化単位内の第１の輝度予測単位の輝度成分、前記第１の輝度予測単位に対応する第１の色差予測単位の色差成分、及び前記符号化単位内の前記第１の色差予測単位に対応しない第２の輝度予測単位の輝度成分を、前記第１の輝度予測単位の輝度成分、前記第１の色差予測単位の色差成分及び前記第２の輝度予測単位の輝度成分の順に復号する復号部、を備える画像処理装置を提供する。
【発明の詳細な説明】
【技術分野】
【０００１】
本開示は、画像処理装置及び画像処理方法に関する。
【背景技術】
【０００２】
従来、デジタル画像を効率的に伝送し又は蓄積することを目的とし、画像に特有の冗長性を利用して、例えば離散コサイン変換などの直交変換と動き補償とにより画像の情報量を圧縮する圧縮技術が普及している。例えば、ＩＴＵ−Ｔの策定したＨ．２６ｘ標準又はＭＰＥＧ（Moving Picture Experts Group）の策定したＭＰＥＧ−ｙ標準などの標準技術に準拠した画像符号化装置及び画像復号装置は、放送局による画像の蓄積及び配信、並びに一般ユーザによる画像の受信及び蓄積など、様々な場面で広く利用されている。
【０００３】
Ｈ．２６ｘ標準（ITU-T Q6/16 VCEG）は、当初、テレビ電話又はテレビ会議などの通信の用途に適合する符号化を目的として策定された標準規格である。Ｈ．２６ｘ標準は、ＭＰＥＧ−ｙ標準と比較して、符号化及び復号により多くの演算量を要する一方、より高い圧縮率を実現できることが知られている。また、ＭＰＥＧ４の活動の一環としてのJoint Model of Enhanced-Compression Video Codingでは、Ｈ．２６ｘ標準をベースとしながら新たな機能をも取り入れることで、より高い圧縮率を実現可能な標準規格が策定された。この標準規格は、２００３年３月に、Ｈ．２６４及びＭＰＥＧ−４ Ｐａｒｔ１０（Advanced Video Coding；ＡＶＣ）という名称で国際標準となった。
【０００４】
上述した画像符号化方式において重要な技術の１つは、画面内予測、即ちイントラ予測である。イントラ予測は、画像内の隣り合うブロック間の相関を利用し、あるブロック内の画素値を隣り合う他のブロックの画素値から予測することで、符号化される情報量を削減する技術である。ＭＰＥＧ４以前の画像符号化方式では、直交変換係数の直流成分及び低周波成分のみがイントラ予測の対象とされていたが、Ｈ．２６４／ＡＶＣでは、全ての画素値についてイントラ予測が可能となった。イントラ予測を用いることで、例えば青空の画像のように、画素値の変化の緩やかな画像については、圧縮率の大幅な向上が見込まれる。
【０００５】
Ｈ．２６４／ＡＶＣでは、例えば、４×４画素、８×８画素又は１６×１６画素のブロックを１つの処理単位（即ち、予測単位（Prediction Unit：ＰＵ））として、イントラ予測が行われ得る。また、Ｈ．２６４／ＡＶＣに続く次世代の画像符号化方式として標準化が進められているＨＥＶＣ（High Efficiency Video Coding）では、予測単位のサイズは、３２×３２画素及び６４×６４画素にまで拡張されようとしている（下記非特許文献１参照）。
【０００６】
イントラ予測に際しては、通常、予測対象のブロックの画素値を予測するために最適な予測モードが、複数の予測モードから選択される。予測モードは、典型的には、参照画素から予測対象画素への予測方向によって区別され得る。例えば、Ｈ．２６４／ＡＶＣにおいて、色差成分の予測に際しては、平均値予測、水平予測、垂直予測及び平面予測という４つの予測モードが選択可能である。さらに、ＨＥＶＣでは、動的に構築される輝度成分の線型関数を予測関数として用いて色差成分の画素値を予測する、線型モデル（ＬＭ：Linear Model）モードと呼ばれる追加的な予測モードが採用される見込みである（下記非特許文献２参照）。
【先行技術文献】
【非特許文献】
【０００７】
【非特許文献１】Sung-Chang Lim， Hahyun Lee， et al. “Intra coding using extended block size”（VCEG-AL28，2009年7月）
【非特許文献２】Jianle Chen， et al. “CE6.a.4: Chroma intra prediction by reconstructed luma samples”（JCTVC-E266，2011年3月）
【発明の概要】
【発明が解決しようとする課題】
【０００８】
しかしながら、上記非特許文献２に記載されている手法では、ＬＭモードの予測関数を構築するために要するメモリリソースが、参照画素が多くなるに従って増加する。特に、予測単位のサイズが最大で６４×６４画素にまで拡張されるＨＥＶＣでは、ＬＭモードの採用のために大規模なメモリを用意する必要性が生じ、これはハードウェアの小型化又は低コスト化の障害となり得る。
【０００９】
従って、ＬＭモードのように、動的に構築される予測関数に基づくイントラ予測が行われる場合に必要とされるメモリリソースの量を削減することのできる手法が提供されることが望ましい。
【課題を解決するための手段】
【００１０】
本開示によれば、符号化単位内の第１の輝度予測単位の輝度成分、前記第１の輝度予測単位に対応する第１の色差予測単位の色差成分、及び前記符号化単位内の前記第１の色差予測単位に対応しない第２の輝度予測単位の輝度成分を、前記第１の輝度予測単位の輝度成分、前記第１の色差予測単位の色差成分及び前記第２の輝度予測単位の輝度成分の順に復号する復号部、を備える画像処理装置が提供される。
【００１１】
上記画像処理装置は、典型的には、画像を復号する画像復号装置として実現され得る。
【００１２】
また、本開示によれば、符号化単位内の第１の輝度予測単位の輝度成分、前記第１の輝度予測単位に対応する第１の色差予測単位の色差成分、及び前記符号化単位内の前記第１の色差予測単位に対応しない第２の輝度予測単位の輝度成分を、前記第１の輝度予測単位の輝度成分、前記第１の色差予測単位の色差成分及び前記第２の輝度予測単位の輝度成分の順に復号すること、を含む画像処理方法が提供される。
【００１３】
また、本開示によれば、符号化単位内の第１の輝度予測単位の輝度成分、前記第１の輝度予測単位に対応する第１の色差予測単位の色差成分、及び前記符号化単位内の前記第１の色差予測単位に対応しない第２の輝度予測単位の輝度成分を、前記第１の輝度予測単位の輝度成分、前記第１の色差予測単位の色差成分及び前記第２の輝度予測単位の輝度成分の順に符号化する符号化部、を備える画像処理装置が提供される。
【００１４】
上記画像処理装置は、典型的には、画像を符号化する画像符号化装置として実現され得る。
【００１５】
また、本開示によれば、符号化単位内の第１の輝度予測単位の輝度成分、前記第１の輝度予測単位に対応する第１の色差予測単位の色差成分、及び前記符号化単位内の前記第１の色差予測単位に対応しない第２の輝度予測単位の輝度成分を、前記第１の輝度予測単位の輝度成分、前記第１の色差予測単位の色差成分及び前記第２の輝度予測単位の輝度成分の順に符号化すること、を含む画像処理方法が提供される。
【発明の効果】
【００１６】
本開示に係る技術によれば、動的に構築される予測関数に基づくイントラ予測が行われる場合に必要とされるメモリリソースの量を削減することができる。
【図面の簡単な説明】
【００１７】
【図１】一実施形態に係る画像符号化装置の構成の一例を示すブロック図である。
【図２】一実施形態に係る画像符号化装置のイントラ予測部の詳細な構成の一例を示すブロック図である。
【図３】４×４画素の予測単位の輝度成分についての予測モードの候補の例を説明するための説明図である。
【図４】図３の例に関連する予測方向について説明するための説明図である。
【図５】図３の例に関連する参照画素について説明するための説明図である。
【図６】８×８画素の予測単位の輝度成分についての予測モードの候補の例を説明するための説明図である。
【図７】１６×１６画素の予測単位の輝度成分についての予測モードの候補の例を説明するための説明図である。
【図８】色差成分についての予測モードの候補の例を説明するための説明図である。
【図９】既存の手法における処理の順序と本実施形態における処理の順序との違いについて説明するための説明図である。
【図１０Ａ】新たな符号化処理の順序の第１の例について説明するための説明図である。
【図１０Ｂ】新たな符号化処理の順序の第２の例について説明するための説明図である。
【図１１Ａ】ＬＭモードにおける参照画素について説明するための第１の説明図である。
【図１１Ｂ】ＬＭモードにおける参照画素について説明するための第２の説明図である。
【図１２】第１のシナリオにおける参照比の定義の一例を示す説明図である。
【図１３Ａ】第１のシナリオに従って制御される参照画素数の第１の例を示す説明図である。
【図１３Ｂ】第１のシナリオに従って制御される参照画素数の第２の例を示す説明図である。
【図１４】第２のシナリオにおける参照比の定義の一例を示す説明図である。
【図１５Ａ】第２のシナリオに従って制御される参照画素数の第１の例を示す説明図である。
【図１５Ｂ】第２のシナリオに従って制御される参照画素数の第２の例を示す説明図である。
【図１５Ｃ】第２のシナリオに従って制御される参照画素数の第３の例を示す説明図である。
【図１５Ｄ】第２のシナリオに従って制御される参照画素数の第４の例を示す説明図である。
【図１６】第３のシナリオにおける参照比の定義の一例を示す説明図である。
【図１７Ａ】第３のシナリオに従って制御される参照画素数の第１の例を示す説明図である。
【図１７Ｂ】第３のシナリオに従って制御される参照画素数の第２の例を示す説明図である。
【図１８】第４のシナリオにおける参照比の定義の一例を示す説明図である。
【図１９Ａ】第４のシナリオに従って制御される参照画素数の第１の例を示す説明図である。
【図１９Ｂ】第４のシナリオに従って制御される参照画素数の第２の例を示す説明図である。
【図２０Ａ】第５のシナリオに従って制御される参照画素数の第１の例を示す説明図である。
【図２０Ｂ】第５のシナリオに従って制御される参照画素数の第２の例を示す説明図である。
【図２１】一実施形態に係る符号化時のイントラ予測処理の流れの一例を示すフローチャートである。
【図２２】図２１のＬＭモード予測処理の詳細な流れの一例を示すフローチャートである。
【図２３】一実施形態に係る画像復号装置の構成の一例を示すブロック図である。
【図２４】一実施形態に係る画像復号装置のイントラ予測部の詳細な構成の一例を示すブロック図である。
【図２５】一実施形態に係る復号時のイントラ予測処理の流れの一例を示すフローチャートである。
【図２６】一変形例に係る間引き処理の一例について説明するための説明図である。
【図２７Ａ】図２６の例とは異なる間引き率について説明するための第１の説明図である。
【図２７Ｂ】図２６の例とは異なる間引き率について説明するための第２の説明図である。
【図２７Ｃ】図２６の例とは異なる間引き率について説明するための第３の説明図である。
【図２８Ａ】参照画素の間引き位置と輝度成分の間引き位置との対応の第１の例について説明するための説明図である。
【図２８Ｂ】参照画素の間引き位置と輝度成分の間引き位置との対応の第２の例について説明するための説明図である。
【図２９】テレビジョン装置の概略的な構成の一例を示すブロック図である。
【図３０】携帯電話機の概略的な構成の一例を示すブロック図である。
【図３１】記録再生装置の概略的な構成の一例を示すブロック図である。
【図３２】撮像装置の概略的な構成の一例を示すブロック図である。
【発明を実施するための形態】
【００１８】
以下に添付図面を参照しながら、本開示の好適な実施の形態について詳細に説明する。なお、本明細書及び図面において、実質的に同一の機能構成を有する構成要素については、同一の符号を付することにより重複説明を省略する。
【００１９】
また、以下の順序で説明を行う。
１．一実施形態に係る画像符号化装置の構成例
２．一実施形態に係る符号化時の処理の流れ
３．一実施形態に係る画像復号装置の構成例
４．一実施形態に係る復号時の処理の流れ
５．変形例
６．応用例
７．まとめ
【００２０】
＜１．一実施形態に係る画像符号化装置の構成例＞
［１−１．全体的な構成例］
図１は、一実施形態に係る画像符号化装置１０の構成の一例を示すブロック図である。図１を参照すると、画像符号化装置１０は、Ａ／Ｄ（Analogue to Digital）変換部１１、並び替えバッファ１２、減算部１３、直交変換部１４、量子化部１５、可逆符号化部１６、蓄積バッファ１７、レート制御部１８、逆量子化部２１、逆直交変換部２２、加算部２３、デブロックフィルタ２４、フレームメモリ２５、セレクタ２６及び２７、動き探索部３０、並びにイントラ予測部４０を備える。
【００２１】
Ａ／Ｄ変換部１１は、アナログ形式で入力される画像信号をデジタル形式の画像データに変換し、一連のデジタル画像データを並び替えバッファ１２へ出力する。
【００２２】
並び替えバッファ１２は、Ａ／Ｄ変換部１１から入力される一連の画像データに含まれる画像を並び替える。並び替えバッファ１２は、符号化処理に係るＧＯＰ（Group of Pictures）構造に応じて画像を並び替えた後、並び替え後の画像データを減算部１３、動き探索部３０及びイントラ予測部４０へ出力する。
【００２３】
減算部１３には、並び替えバッファ１２から入力される画像データ、及び後に説明する動き探索部３０又はイントラ予測部４０から入力される予測画像データが供給される。減算部１３は、並び替えバッファ１２から入力される画像データと予測画像データとの差分である予測誤差データを算出し、算出した予測誤差データを直交変換部１４へ出力する。
【００２４】
直交変換部１４は、減算部１３から入力される予測誤差データについて直交変換を行う。直交変換部１４により実行される直交変換は、例えば、離散コサイン変換（Discrete Cosine Transform：ＤＣＴ）又はカルーネン・レーベ変換などであってよい。直交変換部１４は、直交変換処理により取得される変換係数データを量子化部１５へ出力する。
【００２５】
量子化部１５には、直交変換部１４から入力される変換係数データ、及び後に説明するレート制御部１８からのレート制御信号が供給される。量子化部１５は、変換係数データを量子化し、量子化後の変換係数データ（以下、量子化データという）を可逆符号化部１６及び逆量子化部２１へ出力する。また、量子化部１５は、レート制御部１８からのレート制御信号に基づいて量子化パラメータ（量子化スケール）を切り替えることにより、可逆符号化部１６に入力される量子化データのビットレートを変化させる。
【００２６】
可逆符号化部１６は、量子化部１５から入力される量子化データについて可逆符号化処理を行うことにより、符号化ストリームを生成する。可逆符号化部１６による可逆符号化は、例えば、可変長符号化、又は算術符号化などであってよい。また、可逆符号化部１６は、セレクタ２７から入力されるイントラ予測に関する情報又はインター予測に関する情報を、符号化ストリームのヘッダ領域内に多重化する。そして、可逆符号化部１６は、生成した符号化ストリームを蓄積バッファ１７へ出力する。
【００２７】
通常、１つの符号化単位（Coding Unit：ＣＵ）は、輝度成分（Ｙ）についての１つ以上の予測単位と色差成分（Ｃｂ，Ｃｒ）についてのそれぞれ１つ以上の予測単位とを含む。既存の手法では、これら予測単位の量子化データは、成分別の順序で符号化される。即ち、１つのＣＵ内の輝度成分（Ｙ）のデータが符号化された後、色差成分（Ｃｂ）のデータが符号化され、さらにその後色差成分（Ｃｒ）のデータが符号化される。これに対し、本実施形態において、可逆符号化部１６は、イントラ予測が行われる符号化単位について、ＰＵ別の順序で量子化データを符号化して符号化ストリームを生成する。このような符号化の順序について、後にさらに説明する。
【００２８】
蓄積バッファ１７は、可逆符号化部１６から入力される符号化ストリームを半導体メモリなどの記憶媒体を用いて一時的に蓄積する。そして、蓄積バッファ１７は、蓄積した符号化ストリームを、伝送路の帯域に応じたレートで、図示しない伝送部（例えば、通信インタフェース又は周辺機器との接続インタフェースなど）へ出力する。
【００２９】
レート制御部１８は、蓄積バッファ１７の空き容量を監視する。そして、レート制御部１８は、蓄積バッファ１７の空き容量に応じてレート制御信号を生成し、生成したレート制御信号を量子化部１５へ出力する。例えば、レート制御部１８は、蓄積バッファ１７の空き容量が少ない時には、量子化データのビットレートを低下させるためのレート制御信号を生成する。また、例えば、レート制御部１８は、蓄積バッファ１７の空き容量が十分大きい時には、量子化データのビットレートを高めるためのレート制御信号を生成する。
【００３０】
逆量子化部２１は、量子化部１５から入力される量子化データについて逆量子化処理を行う。そして、逆量子化部２１は、逆量子化処理により取得される変換係数データを、逆直交変換部２２へ出力する。
【００３１】
逆直交変換部２２は、逆量子化部２１から入力される変換係数データについて逆直交変換処理を行うことにより、予測誤差データを復元する。そして、逆直交変換部２２は、復元した予測誤差データを加算部２３へ出力する。
【００３２】
加算部２３は、逆直交変換部２２から入力される復元された予測誤差データと動き探索部３０又はイントラ予測部４０から入力される予測画像データとを加算することにより、復号画像データを生成する。そして、加算部２３は、生成した復号画像データをデブロックフィルタ２４及びフレームメモリ２５へ出力する。
【００３３】
デブロックフィルタ２４は、画像の符号化時に生じるブロック歪みを減少させるためのフィルタリング処理を行う。デブロックフィルタ２４は、加算部２３から入力される復号画像データをフィルタリングすることによりブロック歪みを除去し、フィルタリング後の復号画像データをフレームメモリ２５へ出力する。
【００３４】
フレームメモリ２５は、加算部２３から入力される復号画像データ、及びデブロックフィルタ２４から入力されるフィルタリング後の復号画像データを記憶媒体を用いて記憶する。
【００３５】
セレクタ２６は、インター予測のために使用されるフィルタリング後の復号画像データをフレームメモリ２５から読み出し、読み出した復号画像データを参照画像データとして動き探索部３０に供給する。また、セレクタ２６は、イントラ予測のために使用されるフィルタリング前の復号画像データをフレームメモリ２５から読み出し、読み出した復号画像データを参照画像データとしてイントラ予測部４０に供給する。
【００３６】
セレクタ２７は、インター予測モードにおいて、動き探索部３０から出力されるインター予測の結果としての予測画像データを減算部１３へ出力すると共に、インター予測に関する情報を可逆符号化部１６へ出力する。また、セレクタ２７は、イントラ予測モードにおいて、イントラ予測部４０から出力されるイントラ予測の結果としての予測画像データを減算部１３へ出力すると共に、イントラ予測に関する情報を可逆符号化部１６へ出力する。セレクタ２７は、インター予測モードとイントラ予測モードとを、動き探索部３０及びイントラ予測部４０から出力されるコスト関数値の大きさに応じて切り替える。
【００３７】
動き探索部３０は、並び替えバッファ１２から入力される符号化対象の画像データ（原画像データ）、及びセレクタ２６を介して供給される復号画像データに基づいて、インター予測処理（フレーム間予測処理）を行う。例えば、動き探索部３０は、各予測モードによる予測結果を所定のコスト関数を用いて評価する。次に、動き探索部３０は、コスト関数値が最小となる予測モード、即ち圧縮率が最も高くなる予測モードを、最適な予測モードとして選択する。また、動き探索部３０は、当該最適な予測モードに従って予測画像データを生成する。そして、動き探索部３０は、選択した最適な予測モードを表す予測モード情報、動きベクトル情報及び参照画像情報を含むインター予測に関する情報、コスト関数値、並びに予測画像データを、セレクタ２７へ出力する。
【００３８】
イントラ予測部４０は、並び替えバッファ１２から入力される原画像データ、及びフレームメモリ２５から供給される参照画像データとしての復号画像データに基づいて、画像内に設定されるブロックごとにイントラ予測処理を行う。そして、イントラ予測部４０は、最適な予測モードを表す予測モード情報及びサイズ関連情報を含むイントラ予測に関する情報、コスト関数値、並びに予測画像データを、セレクタ２７へ出力する。イントラ予測部４０により選択可能な予測モードは、既存のイントラ予測モードに加えて、色差成分についての線型モデル（ＬＭ）モードを含む。本実施形態におけるＬＭモードは、上記非特許文献２に記載されているＬＭモードとは異なり、ブロックサイズに対する参照画素数の比率が変化し得るという特徴を有する。このようなイントラ予測部４０によるイントラ予測処理について、後により詳細に説明する。
【００３９】
［１−２．イントラ予測部の構成例］
図２は、図１に示した画像符号化装置１０のイントラ予測部４０の詳細な構成の一例を示すブロック図である。図２を参照すると、イントラ予測部４０は、予測制御部４２、係数算出部４４、予測部４６及びモード判定部４８を有する。
【００４０】
予測制御部４２は、イントラ予測部４０におけるイントラ予測処理を制御する。例えば、予測制御部４２は、ある処理単位で輝度成分（Ｙ）についてのイントラ予測処理を実行した後、色差成分（Ｃｂ、Ｃｒ）についてのイントラ予測処理を実行する。輝度成分についてのイントラ予測処理において、予測制御部４２は、複数の予測モードで予測部４６に各画素の予測画素値を生成させ、モード判定部４８に輝度成分の最適な予測モードを判定させる。その結果、符号化単位内の予測単位の配置も決定される。色差成分についてのイントラ予測処理では、予測制御部４２は、各予測単位について複数の予測モードで予測部４６に各画素の予測画素値を生成させ、モード判定部４８に色差成分の最適な予測モードを判定させる。
【００４１】
輝度成分についての予測モードの候補は、Ｈ．２６４／ＡＶＣなどの既存の画像符号化方式において採用されている予測モードであってよく、他の予測モードを含んでもよい。色差成分についての予測モードの候補もまた、既存の画像符号化方式において採用されている予測モードを含み得る。さらに、色差成分についての予測モードの候補は、上述したＬＭモードを含む。但し、本実施形態において、ＬＭモードは、色差成分の予測単位のサイズと対応する輝度成分の予測単位のサイズとが所定の条件を満たす場合にのみ、当該色差成分の予測単位についての予測モードの候補（即ち、最適な予測モードの探索範囲）に加えられる。所定の条件とは、「色差成分の予測単位のサイズが、対応する輝度成分の予測単位のサイズからクロマフォーマットに応じて定まるサイズ以下である」という条件であってよい。ここで、「対応する予測単位」とは、少なくとも部分的に画素を共有する予測単位をいう。色差成分の予測単位のサイズは、輝度成分の予測単位のサイズに依存することなく決定され得る。従って、ある色差成分の予測単位について、対応する１つ又は複数の輝度成分の予測単位が存在し得る。上記条件における「対応する輝度成分の予測単位のサイズからクロマフォーマットに応じて定まるサイズ」とは、輝度成分の予測単位のサイズをＭ×Ｎ画素とした場合、クロマフォーマットが４：２：０であれば（Ｍ／２）×（Ｎ／２）画素、クロマフォーマットが４：２：２であれば（Ｍ／２）×Ｎ画素、クロマフォーマットが４：４：４であればＭ×Ｎ画素である。このようなＬＭモードの探索の制限の意義について、後により詳細に説明する。
【００４２】
また、上記非特許文献２に記載された手法では、ＬＭモードの予測関数の係数を算出する際の参照画素数のブロックサイズに対する比率は一定である。従って、ブロックサイズが大きくなれば、それに応じて参照画素数は増大する。一方、本実施形態において、予測制御部４２は、上記比率を可変的に制御する。ここでのブロックサイズとは、原則として予測単位のサイズをいう。本明細書では、予測制御部４２により制御される上述した比率、即ちブロックサイズに対する参照画素数の比率を、「参照比」と呼ぶものとする。予測制御部４２による参照比の制御は、典型的には、ブロックサイズに応じて行われ得る。さらに、予測制御部４２は、色差成分のブロックサイズを左右するクロマフォーマットに応じて、参照比を制御してもよい。また、予測制御部４２は、画像の符号化及び復号に関する装置のケイパビリティを定義付けるパラメータ（例えば、プロファイル又はレベル）に応じて、参照比を制御してもよい。予測制御部４２による参照比の制御の複数のシナリオについて、後により詳細に説明する。
【００４３】
係数算出部４４は、ＬＭモードにおいて予測部４６により使用される予測関数の係数を、予測対象の画素が属する予測単位の周辺の画素、即ち参照画素を参照して算出する。予測部４６により使用される予測関数は、典型的には、輝度成分の値の線型関数である。予測関数の係数の算出に際して係数算出部４４により参照される参照画素の数は、上述したように、予測制御部４２により制御される。
【００４４】
予測部４６は、予測制御部４２による制御の下、予測対象の画素の輝度成分の画素値及び色差成分の画素値を、様々な予測モードの候補に従って予測する。予測部４６により使用される予測モードの候補の例について、後により詳細に説明する。予測部４６による予測の結果として生成される予測画像データは、予測モードごとにモード判定部４８へ出力される。
【００４５】
モード判定部４８は、並び替えバッファ１２から入力される原画像データと予測部４６から入力される予測画像データとに基づいて、各予測モードのコスト関数値を算出する。そして、モード判定部４８は、算出したコスト関数値に基づき、輝度成分についての最適な予測モードと符号化単位内の予測単位の配置とを決定する。同様に、モード判定部４８は、色差成分についてのコスト関数値に基づき、色差成分についての最適な予測モードと予測単位の配置とを決定する。そして、モード判定部４８は、決定した最適な予測モードを表す予測モード情報及びサイズ関連情報などを含むイントラ予測に関する情報、コスト関数値、並びに輝度成分及び色差成分の予測画素値を含む予測画像データを、セレクタ２７へ出力する。モード判定部４８から出力されるサイズ関連情報は、各予測単位のサイズを特定するための情報に加えて、クロマフォーマットを指定する情報を含んでもよい。
【００４６】
［１−３．予測モードの候補］
次に、イントラ予測部４０の予測部４６により使用され得る予測モードの候補について説明する。
【００４７】
（１）輝度成分についての予測モードの候補
輝度成分についての予測モードの候補は、Ｈ．２６４／ＡＶＣなどの既存の画像符号化方式において採用されている予測モードであってよい。図３〜図５は、予測単位のサイズが４×４画素である場合のそうした予測モードの候補について説明するための説明図である。
【００４８】
図３を参照すると、４×４画素の予測単位において使用され得る９種類の予測モード（モード０〜モード８）が示されている。図４には、各モード番号にそれぞれ対応する予測方向が概略的に示されている。図５において、小文字のアルファベットａ〜ｐは、４×４画素の予測単位内の各画素（即ち、予測対象画素）の画素値を表す。予測単位の周囲のＲｚ（ｚ＝ａ，ｂ，…，ｍ）は、符号化済みの参照画素の画素値を表す。
【００４９】
例えば、モード０における予測方向は垂直方向であり、各予測画素値は、次のように計算される：
ａ＝ｅ＝ｉ＝ｍ＝Ｒａ
ｂ＝ｆ＝ｊ＝ｎ＝Ｒｂ
ｃ＝ｇ＝ｋ＝ｏ＝Ｒｃ
ｄ＝ｈ＝ｌ＝ｐ＝Ｒｄ
【００５０】
モード１における予測方向は水平方向であり、各予測画素値は、次のように計算される：
ａ＝ｂ＝ｃ＝ｄ＝Ｒｉ
ｅ＝ｆ＝ｇ＝ｈ＝Ｒｊ
ｉ＝ｊ＝ｋ＝ｌ＝Ｒｋ
ｍ＝ｎ＝ｏ＝ｐ＝Ｒｌ
【００５１】
モード２はＤＣ予測（平均値予測）を表し、各予測画素値は、いずれの参照画素が利用可能かに応じて、次の４つの式のいずれかに従って計算される：
ａ＝ｂ＝…＝ｐ＝（Ｒａ＋Ｒｂ＋Ｒｃ＋Ｒｄ＋Ｒｉ＋Ｒｊ＋Ｒｋ＋Ｒｌ＋４）＞＞３
ａ＝ｂ＝…＝ｐ＝（Ｒａ＋Ｒｂ＋Ｒｃ＋Ｒｄ＋２）＞＞２
ａ＝ｂ＝…＝ｐ＝（Ｒｉ＋Ｒｊ＋Ｒｋ＋Ｒｌ＋２）＞＞２
ａ＝ｂ＝…＝ｐ＝１２８
【００５２】
モード３における予測方向は斜め左下であり、各予測画素値は、次のように計算される：
ａ＝（Ｒａ＋２Ｒｂ＋Ｒｃ＋２）＞＞２
ｂ＝ｅ＝（Ｒｂ＋２Ｒｃ＋Ｒｄ＋２）＞＞２
ｃ＝ｆ＝ｉ＝（Ｒｃ＋２Ｒｄ＋Ｒｅ＋２）＞＞２
ｄ＝ｇ＝ｊ＝ｍ＝（Ｒｄ＋２Ｒｅ＋Ｒｆ＋２）＞＞２
ｈ＝ｋ＝ｎ＝（Ｒｅ＋２Ｒｆ＋Ｒｇ＋２）＞＞２
ｌ＝ｏ＝（Ｒｆ＋２Ｒｇ＋Ｒｈ＋２）＞＞２
ｐ＝（Ｒｇ＋３Ｒｈ＋２）＞＞２
【００５３】
モード４における予測方向は斜め右下であり、各予測画素値は、次のように計算される：
ｍ＝（Ｒｊ＋２Ｒｋ＋Ｒｌ＋２）＞＞２
ｉ＝ｎ＝（Ｒｉ＋２Ｒｊ＋Ｒｋ＋２）＞＞２
ｅ＝ｊ＝ｏ＝（Ｒｍ＋２Ｒｉ＋Ｒｊ＋２）＞＞２
ａ＝ｆ＝ｋ＝ｐ＝（Ｒａ＋２Ｒｍ＋Ｒｉ＋２）＞＞２
ｂ＝ｇ＝ｌ＝（Ｒｍ＋２Ｒａ＋Ｒｂ＋２）＞＞２
ｃ＝ｈ＝（Ｒａ＋２Ｒｂ＋Ｒｃ＋２）＞＞２
ｄ＝（Ｒｂ＋２Ｒｃ＋Ｒｄ＋２）＞＞２
【００５４】
モード５における予測方向は垂直右であり、各予測画素値は、次のように計算される：
ａ＝ｊ＝（Ｒｍ＋Ｒａ＋１）＞＞１
ｂ＝ｋ＝（Ｒａ＋Ｒｂ＋１）＞＞１
ｃ＝ｌ＝（Ｒｂ＋Ｒｃ＋１）＞＞１
ｄ＝（Ｒｃ＋Ｒｄ＋１）＞＞１
ｅ＝ｎ＝（Ｒｉ＋２Ｒｍ＋Ｒａ＋２）＞＞２
ｆ＝ｏ＝（Ｒｍ＋２Ｒａ＋Ｒｂ＋２）＞＞２
ｇ＝ｐ＝（Ｒａ＋２Ｒｂ＋Ｒｃ＋２）＞＞２
ｈ＝（Ｒｂ＋２Ｒｃ＋Ｒｄ＋２）＞＞２
ｉ＝（Ｒｍ＋２Ｒｉ＋Ｒｊ＋２）＞＞２
ｍ＝（Ｒｉ＋２Ｒｊ＋Ｒｋ＋２）＞＞２
【００５５】
モード６における予測方向は水平下であり、各予測画素値は、次のように計算される：
ａ＝ｇ＝（Ｒｍ＋Ｒｉ＋１）＞＞１
ｂ＝ｈ＝（Ｒｉ＋２Ｒｍ＋Ｒａ＋２）＞＞２
ｃ＝（Ｒｍ＋２Ｒａ＋Ｒｂ＋２）＞＞２
ｄ＝（Ｒａ＋２Ｒｂ＋Ｒｃ＋２）＞＞２
ｅ＝ｋ＝（Ｒｉ＋Ｒｊ＋１）＞＞１
ｆ＝ｌ＝（Ｒｍ＋２Ｒｉ＋Ｒｊ＋２）＞＞２
ｉ＝ｏ＝（Ｒｊ＋Ｒｋ＋１）＞＞１
ｊ＝ｐ＝（Ｒｉ＋２Ｒｊ＋Ｒｋ＋２）＞＞２
ｍ＝（Ｒｋ＋Ｒｌ＋１）＞＞１
ｎ＝（Ｒｊ＋２Ｒｋ＋Ｒｌ＋２）＞＞２
【００５６】
モード７における予測方向は垂直左であり、各予測画素値は、次のように計算される：
ａ＝（Ｒａ＋Ｒｂ＋１）＞＞１
ｂ＝ｉ＝（Ｒｂ＋Ｒｃ＋１）＞＞１
ｃ＝ｊ＝（Ｒｃ＋Ｒｄ＋１）＞＞１
ｄ＝ｋ＝（Ｒｄ＋Ｒｅ＋１）＞＞１
ｌ＝（Ｒｅ＋Ｒｆ＋１）＞＞１
ｅ＝（Ｒａ＋２Ｒｂ＋Ｒｃ＋２）＞＞２
ｆ＝ｍ＝（Ｒｂ＋２Ｒｃ＋Ｒｄ＋２）＞＞２
ｇ＝ｎ＝（Ｒｃ＋２Ｒｄ＋Ｒｅ＋２）＞＞２
ｈ＝ｏ＝（Ｒｄ＋２Ｒｅ＋Ｒｆ＋２）＞＞２
ｐ＝（Ｒｅ＋２Ｒｆ＋Ｒｇ＋２）＞＞２
【００５７】
モード８における予測方向は水平上であり、各予測画素値は、次のように計算される：
ａ＝（Ｒｉ＋Ｒｊ＋１）＞＞１
ｂ＝（Ｒｉ＋２Ｒｊ＋Ｒｋ＋２）＞＞２
ｃ＝ｅ＝（Ｒｊ＋Ｒｋ＋１）＞＞１
ｄ＝ｆ＝（Ｒｊ＋２Ｒｋ＋Ｒｌ＋２）＞＞２
ｇ＝ｉ＝（Ｒｋ＋Ｒｌ＋１）＞＞１
ｈ＝ｊ＝（Ｒｋ＋３Ｒｌ＋２）＞＞２
ｋ＝ｌ＝ｍ＝ｎ＝ｏ＝ｐ＝Ｒｌ
【００５８】
図６を参照すると、８×８画素の予測単位において使用され得る９種類の予測モード（モード０〜モード８）が示されている。モード０における予測方向は、垂直方向である。モード１における予測方向は、水平方向である。モード２は、ＤＣ予測（平均値予測）を表す。モード３における予測方向は、斜め左下である。モード４における予測方向は、斜め右下である。モード５における予測方向は、垂直右である。モード６における予測方向は、水平下である。モード７における予測方向は、垂直左である。モード８における予測方向は、水平上である。
【００５９】
図７を参照すると、１６×１６画素の予測単位において使用され得る４種類の予測モード（モード０〜モード３）が示されている。モード０における予測方向は、垂直方向である。モード１における予測方向は、水平方向である。モード２は、ＤＣ予測（平均値予測）を表す。モード３は、平面予測を表す。
【００６０】
（２）色差成分についての予測モードの候補
色差成分についての予測モードは、輝度成分についての予測モードとは独立して選択され得る。図８には、色差成分のブロックサイズが８×８画素である場合に使用され得る予測モードの候補のうち、Ｈ．２６４／ＡＶＣなどの既存の画像符号化方式において採用されている４つの予測モード（モード０〜モード３）が示されている。
【００６１】
モード０はＤＣ予測（平均値予測）を表す。ここで、画素位置（ｘ，ｙ）の予測画素値をＰｒＣ（ｘ，ｙ）、左の８つの参照画素値をＲｅＣ（−１，ｎ）、上の８つの参照画素値をＲｅＣ（ｎ，−１）とする。下付き文字のＣは、色差成分を意味する。ｎは０以上７以下の整数である。すると、予測画素値ＰｒＣ（ｘ，ｙ）は、いずれの参照画素が利用可能かに応じて、次の３つの式のいずれかに従って計算される：
【００６２】
【数１】
【００６３】
モード１における予測方向は水平方向であり、予測画素値ＰｒＣ（ｘ，ｙ）は、次のように計算される：
【００６４】
【数２】
【００６５】
モード２における予測方向は垂直方向であり、予測画素値ＰｒＣ（ｘ，ｙ）は、次のように計算される：
【００６６】
【数３】
【００６７】
モード３は、平面予測を表す。予測画素値ＰｒＣ（ｘ，ｙ）は、次のように計算される：
【００６８】
【数４】
【００６９】
さらに、本実施形態では、色差成分について、次項で説明するＬＭモードが（例えばモード４として）選択可能である。
【００７０】
［１−４．ＬＭモードの詳細］
ＬＭモードでは、色差成分についての予測画素値は、対応する輝度成分の値の線型関数を用いて計算される。例えば、ＬＭモードにおいて使用される予測関数は、上記非特許文献２に記載されている次のような線型一次関数であってよい：
【００７１】
【数５】
【００７２】
式（１）において、ＲｅＬ´（ｘ，ｙ）は、復号画像（いわゆるリコンストラクト画像）の輝度成分のリサンプリング後の画素位置（ｘ，ｙ）の値を表す。輝度成分のリサンプリングは、クロマフォーマットに依存して色差成分の解像度が輝度成分の解像度と異なる場合に行われる。例えば、クロマフォーマットが４：２：０である場合には、水平方向及び垂直方向の双方について画素数が１／２となるように、次式に従って輝度成分のリサンプリングが行われる。なお、ＲｅＬ（ｕ，ｖ）は、リサンプリング前の画素位置（ｕ，ｖ）の輝度成分の値を表す。
【００７３】
【数６】
【００７４】
クロマフォーマットが４：２：２である場合には、水平方向について画素数が１／２となるように、輝度成分のリサンプリングが行われる。クロマフォーマットが４：４：４である場合には、輝度成分のリサンプリングは行われない。
【００７５】
式（１）の係数αは、次の式（３）に従って算出される。また、式（１）の係数βは、次の式（４）に従って算出され得る。
【００７６】
【数７】
【００７７】
式（３）及び式（４）において、Ｉは参照画素数を表す。例えば、色差成分のブロックサイズが８×８画素であって、左の８つの参照画素及び上の８つの参照画素が共に利用可能であれば、Ｉ＝８＋８＝１６である。
【００７８】
［１−５．新たな符号化処理の順序］
上述した式（１）〜式（４）は、上記非特許文献２に記載されている式と同様である。式（１）の右辺のＲｅＬ´（ｘ，ｙ）は、復号画像（エンコーダにおけるリコンストラクト画像又はデコーダにおける復号画像）の輝度成分のリサンプリング後の画素位置（ｘ，ｙ）の値を表す。従って、予測画素値の計算がブロック単位で行われる場合には、色差成分についての予測画素値の計算が行われるまで、対応するブロックの輝度成分のリサンプリング後の画素値を少なくとも一時的に保持しておく必要性が生じる。
【００７９】
図９は、既存の手法における処理の順序と本実施形態における処理の順序との違いについて説明するための説明図である。図９を参照すると、一例として、符号化単位ＣＵ０、ＣＵ１、ＣＵ２及びその他の符号化単位を含むＬＣＵ１が示されている。さらに、符号化単位ＣＵ０は、４つの予測単位ＰＵ００、ＰＵ０１、ＰＵ０２及びＰＵ０３に分割されている。符号化単位ＣＵ１は、４つの予測単位ＰＵ１０、ＰＵ１１、ＰＵ１２及びＰＵ１３に分割されている。符号化単位ＣＵ２は、４つの予測単位ＰＵ２０、ＰＵ２１、ＰＵ２２及びＰＵ２３に分割されている。ここでは、説明の簡明さのために、全ての色差成分の予測単位が、対応する輝度成分の予測単位のサイズからクロマフォーマットに応じて定まるサイズを有するものとする。即ち、輝度成分の予測単位と色差成分の予測単位とは、１対１の対応を有する。既存の手法では、このようなＬＣＵについての画像データの符号化処理は、Ｙ００→Ｙ０１→Ｙ０２→Ｙ０３→Ｃｂ００→Ｃｂ０１→Ｃｂ０２→Ｃｂ０３→Ｃｒ００→Ｃｒ０１→Ｃｒ０２→Ｃｒ０３→Ｙ１０→…のような順序で行われる。ここで、ＹＮＮは予測単位ＰＵＮＮの輝度成分の符号化処理、ＣｂＮＮ及びＣｒＮＮは予測単位ＰＵＮＮの色差成分の符号化処理をそれぞれ表す。イントラ予測処理についても同様である。即ち、既存の手法では、各符号化単位について、成分ごとに符号化処理が行われる。このような処理の順序を、本明細書では「成分別順序」という。一方、本実施形態では、各符号化単位について、予測単位ごとに画像データの符号化処理が行われる。このような新たな処理の順序を、本明細書では「ＰＵ別順序」という。例えば、図９のＬＣＵ１にＰＵ別順序が適用される場合、まず予測単位ＰＵ００についての輝度成分Ｙ００並びに２つの色差成分Ｃｂ００及びＣｒ００の符号化処理が行われる。次に、予測単位ＰＵ０１についての輝度成分Ｙ０１並びに２つの色差成分Ｃｂ０１及びＣｒ０１の符号化処理が行われる。その後、予測単位ＰＵ０２、ＰＵ０３、ＰＵ１０…の順に、３つの成分の符号化処理が繰り返される。
【００８０】
既存の手法である成分別順序では、ＬＭモードでのイントラ予測において参照される輝度成分の値を保持しておくためのメモリリソースの所要量は、最大の符号化単位のサイズに左右される。例えば、最大の符号化単位のサイズが１２８×１２８画素、クロマフォーマットが４：２：０、ビット深度が１０ビットであれば、６４×６４×１０ビットのメモリリソースが消費され得る。一方、上述したＰＵ別順序では、メモリリソースの所要量は、色差成分の最大の予測単位のサイズに左右される。ＨＥＶＣにおいて、輝度成分の最大の予測単位のサイズは６４×６４画素である。従って、上述したＰＵ別順序が採用される場合には、クロマフォーマットが４：２：０、ビット深度が１０ビットであれば、メモリリソースの所要量は多くても３２×３２×１０ビットとなる。
【００８１】
さらに、本実施形態では、上述したように、ＬＭモードの探索に制限が課される。即ち、色差成分の予測単位のサイズが対応する輝度成分の予測単位のサイズからクロマフォーマットに応じて定まるサイズ以下である場合にのみ、ＬＭモードが、当該色差成分の予測単位についての予測モードの候補に加えられる。結果的に、ＬＭモードが選択されるケースでは、１つの色差成分の予測単位には１つの輝度成分の予測単位のみが対応することになる。それにより、ＰＵ別順序を採用する場合において、第１の輝度成分の予測単位から第２の輝度成分の予測単位へ処理が移る際に、原則として第１の輝度成分の予測単位についてバッファリングされているデータをクリアすることができる。
【００８２】
ＬＭモードの探索の制限の意義について検討すると、一般的に、あるブロックが複数の予測単位に分割されるケースでは、当該複数の予測単位間の画像の相関は低い。互いに相関の低い複数の輝度成分の予測単位にわたる輝度成分の値に基づいて予測関数を決定したとしても、その予測関数は、輝度成分と色差成分との間の相関を十分な精度でモデル化できていないと考えられる。従って、ＬＭモードの適用について上述した制限を課したとしても、高い予測精度を期待できない予測モードが予測モードの候補から除外されるのみであるため、大きなデメリットは生じず、むしろ処理コストの削減という利益が得られる。
【００８３】
なお、輝度成分の予測単位のサイズが４×４画素であって、クロマフォーマットが４：２：０であれば、当該クロマフォーマットに応じて定まる色差成分の予測単位のサイズは２×２画素である。しかし、ＨＥＶＣにおいて、２×２画素の予測単位は利用可能でない。その一方で、ＬＭモードは、予測単位のサイズがより小さいほど符号化効率の向上により大きく貢献する、という報告がなされている。そこで、輝度成分の予測単位のサイズが小さい場合（例えば４×４画素）にのみ、例外的に複数の輝度成分の予測単位に基づくＬＭモードの適用を許容することも有益である。この場合、可逆符号化部１６は、１つの色差成分の予測単位（例えば、４×４画素）に対応する複数の輝度成分の予測単位（例えば、４つの４×４画素の予測単位）を連続的に符号化した後、当該１つの色差成分の予測単位を符号化し得る。
【００８４】
図１０Ａは、本実施形態において採用され得る新たな符号化処理の順序の第１の例について説明するための説明図である。図中左は、符号化単位ＣＵ１内の輝度成分の予測単位（以下、輝度予測単位という）の配置を示している。図中右は、符号化単位ＣＵ１内の色差成分の予測単位（以下、色差予測単位という）の配置を示している。符号化単位ＣＵ１のサイズは１２８×１２８画素、クロマフォーマットは４：２：０であるものとする。符号化単位ＣＵ１は、７個の輝度予測単位ＰＵ１０〜ＰＵ１６を含む。輝度予測単位ＰＵ１０、ＰＵ１１及びＰＵ１６のサイズは６４×６４画素、輝度予測単位ＰＵ１２〜ＰＵ１５のサイズは３２×３２画素である。符号化単位ＣＵ１は、７個の色差予測単位ＰＵ２０〜ＰＵ２６を含む。色差予測単位ＰＵ２０のサイズは３２×３２画素であり、色差予測単位ＰＵ２０は輝度予測単位ＰＵ１０に対応する。色差予測単位ＰＵ２１〜ＰＵ２４のサイズは１６×１６画素であり、色差予測単位ＰＵ２１〜ＰＵ２４は輝度予測単位ＰＵ１１に対応する。色差予測単位ＰＵ２５のサイズは３２×３２画素であり、色差予測単位ＰＵ２５は輝度予測単位ＰＵ１２〜ＰＵ１５に対応する。色差予測単位ＰＵ２６のサイズは３２×３２画素であり、色差予測単位ＰＵ２６は輝度予測単位ＰＵ１６に対応する。これら色差予測単位ＰＵ２０〜ＰＵ２６のうち色差予測単位ＰＵ２５のサイズ（３２×３２画素）は、対応する輝度予測単位ＰＵ２１〜ＰＵ２４のサイズ（３２×３２画素）からクロマフォーマットに応じて定まるサイズ（１６×１６画素）よりも大きい。従って、色差予測単位ＰＵ２５については、ＬＭモードが予測モードの候補から除外される。一方、他の色差予測単位については、ＬＭモードが予測モードの候補から除外されない。
【００８５】
図１０Ａの例において、符号化処理は、Ｙ１０→Ｃｂ２０→Ｃｒ２０→Ｙ１１→Ｃｂ２１→Ｃｒ２１→Ｃｂ２２→Ｃｒ２２→Ｃｂ２３→Ｃｒ２３→Ｃｂ２４→Ｃｒ２４→Ｙ１２→Ｙ１３→Ｙ１４→Ｙ１５→Ｃｂ２５→Ｃｒ２５→Ｙ１６→Ｃｂ２６→Ｃｒ２６という順序で行われる。即ち、例えば輝度予測単位ＰＵ１０が符号化された後、輝度予測単位ＰＵ１１が符号化される前に色差予測単位ＰＵ２０が符号化される。また、輝度予測単位ＰＵ１１が符号化された後、輝度予測単位ＰＵ１２が符号化される前に色差予測単位ＰＵ２１〜ＰＵ２４が符号化される。従って、バッファサイズが３２×３２画素であっても、各色差予測単位についてのイントラ予測の時点で対応する輝度予測単位の輝度成分のリサンプリング後の値が未だクリアされないため、各色差予測単位についてＬＭモードを利用することができる。
【００８６】
図１０Ｂは、本実施形態において採用され得る新たな符号化処理の順序の第２の例について説明するための説明図である。図中左は、符号化単位ＣＵ２内の輝度予測単位の配置を示している。図中右は、符号化単位ＣＵ２内の色差予測単位の配置を示している。符号化単位ＣＵ２のサイズは１６×１６画素、クロマフォーマットは４：２：０であるものとする。符号化単位ＣＵ２は、１０個の輝度予測単位ＰＵ３０〜ＰＵ３９を含む。輝度予測単位ＰＵ３０及びＰＵ３９のサイズは８×８画素、輝度予測単位ＰＵ３１〜ＰＵ３８のサイズは４×４画素である。符号化単位ＣＵ２は、４個の色差予測単位ＰＵ４０〜ＰＵ４３を含む。色差予測単位ＰＵ４０〜ＰＵ４３のサイズは４×４画素であり、これは色差予測単位について利用可能な最小のサイズである。色差予測単位ＰＵ４０は輝度予測単位ＰＵ３０に、色差予測単位ＰＵ４１は輝度予測単位ＰＵ３１〜ＰＵ３４に、色差予測単位ＰＵ４２は輝度予測単位ＰＵ３５〜ＰＵ３８に、色差予測単位ＰＵ４３は輝度予測単位ＰＵ３９にそれぞれ対応する。色差予測単位ＰＵ４１及びＰＵ４２のサイズ（４×４画素）は、対応する輝度予測単位ＰＵ３１〜ＰＵ３４及びＰＵ３５〜ＰＵ３８のサイズ（４×４画素）からクロマフォーマットに応じて定まるサイズ（２×２画素）よりも大きい。しかし、対応する輝度予測単位のサイズが４×４画素であることから、色差予測単位ＰＵ４１及びＰＵ４２についても、ＬＭモードの利用が許容され得る。従って、図１０Ｂの例では、色差予測単位ＰＵ４０〜ＰＵ４３の全てについてＬＭモードが探索の対象に加えられ得る。
【００８７】
図１０Ｂの例において、符号化処理は、Ｙ３０→Ｃｂ４０→Ｃｒ４０→Ｙ３１→Ｙ３２→Ｙ３３→Ｙ３４→Ｃｂ４１→Ｃｒ４１→Ｙ３５→Ｙ３６→Ｙ３７→Ｙ３８→Ｃｂ４２→Ｃｒ４２→Ｙ３９→Ｃｂ４３→Ｃｒ４３という順序で行われる。即ち、例えば色差予測単位ＰＵ４１が符号化される前に、輝度予測単位ＰＵ３１〜ＰＵ３４が符号化される。従って、４つの４×４画素の輝度予測単位ＰＵ３１〜ＰＵ３４の輝度成分の値に基づいて、色差予測単位ＰＵ４１についてＬＭモードでイントラ予測を行うことができる。同様に、色差予測単位ＰＵ４２が符号化される前に、輝度予測単位ＰＵ３５〜ＰＵ３８が符号化される。従って、４つの４×４画素の輝度予測単位ＰＵ３５〜ＰＵ３８の輝度成分の値に基づいて、色差予測単位ＰＵ４２についてＬＭモードでイントラ予測を行うことができる。
【００８８】
［１−６．参照画素数の制御］
図１１Ａ及び図１１Ｂは、ＬＭモードにおける参照画素についてさらに説明するための説明図である。
【００８９】
図１１Ａの例において、予測単位（ＰＵ）のサイズは１６×１６画素、クロマフォーマットは４：２：０である。この場合、色差成分のブロックサイズは８×８画素である。色差成分の参照画素ＲｅＣ（ｉ）の数は、（左及び上の双方の参照画素が利用可能であるとして）８＋８＝１６である。輝度成分の参照画素ＲｅＬ´（ｉ）の数もまた、リサンプリングの結果として８＋８＝１６である。
【００９０】
図１１Ｂの例において、予測単位（ＰＵ）のサイズは８×８画素、クロマフォーマットは４：２：０である。この場合、色差成分のブロックサイズは４×４画素である。色差成分の参照画素ＲｅＣ（ｉ）の数は、４＋４＝８である。輝度成分の参照画素ＲｅＬ´（ｉ）の数もまた、リサンプリングの結果として４＋４＝８である。
【００９１】
図１１Ａ及び図１１Ｂの２つの例を比較すると、クロマフォーマットなどの他の条件が同じであるとすれば、ブロックサイズに対する参照画素数の比率は変わっていない。即ち、図１１Ａの例では予測単位の一辺のサイズが１６画素であって参照画素数Ｉが１６であるのに対し、図１１Ｂの例では予測単位の一辺のサイズが８画素であって参照画素数Ｉが８である。このように、ブロックサイズが大きくなるにつれて参照画素数Ｉが増えれば、上記式（３）及び式（４）を用いた係数α及び係数βの算出に要する処理コストも増加する。特に式（３）に着目すれば理解されるように、画素値の乗算の回数は、参照画素数Ｉの二乗のオーダで増加する。従って、係数α及び係数βの算出に際して参照画素数を適切に制御しなければ、ブロックサイズが大きい場合に多大なメモリリソースを消費してしまう可能性が高い。そこで、予測制御部４２は、係数算出部４４がＬＭモードにおいて予測関数の係数α及び係数βを算出する際の参照画素数を可変的に制御する。
【００９２】
典型的には、予測制御部４２は、ブロックサイズに対する参照画素数の比率である参照比を、ブロックサイズがより大きいほどより小さくなるように制御する。それにより、ブロックサイズが拡大する場合の処理コストの増加が抑制される。予測制御部４２は、処理コストが問題とならない程度にブロックサイズが小さい場合には、ブロックサイズが異なっても参照比を変化させなくてもよい。以下、図１２〜図２０Ｂを用いて、参照比の制御の例示的な５つのシナリオについて説明する。
【００９３】
（１）第１のシナリオ
図１２は、第１のシナリオにおける参照比の定義の一例を示す説明図である。
【００９４】
第１のシナリオにおいて、予測単位（ＰＵ）のサイズが４×４画素である場合には、参照比は「１：１」である。参照比「１：１」は、図１１Ａ又は図１１Ｂに示したような参照画素が全て使用されることを意味する。この場合、クロマフォーマットが４：２：０であれば、参照画素数Ｉは、２（垂直方向Ｉｖ）＋２（水平方向Ｉｈ）＝４となる。クロマフォーマットが４：２：２であれば、参照画素数Ｉは、４＋２＝６となる。クロマフォーマットが４：４：４であれば、参照画素数Ｉは、４＋４＝８となる。
【００９５】
同様に、予測単位のサイズが８×８画素である場合にも、参照比は「１：１」である。この場合、クロマフォーマットが４：２：０であれば、参照画素数Ｉは、４＋４＝８となる。クロマフォーマットが４：２：２であれば、参照画素数Ｉは、８＋４＝１２となる。クロマフォーマットが４：４：４であれば、参照画素数Ｉは、８＋８＝１６となる。
【００９６】
これに対し、予測単位のサイズが１６×１６画素である場合には、参照比は「２：１」である。参照比「２：１」は、図１１Ａ又は図１１Ｂに示したような参照画素のうち半分の参照画素のみが使用されることを意味する。即ち、係数算出部４４は、係数α及び係数βの算出の際に、半分の参照画素を間引いた上で、残りの参照画素のみを使用する。この場合、クロマフォーマットが４：２：０であれば、参照画素数Ｉは、（８／２）＋（８／２）＝８となる。クロマフォーマットが４：２：２であれば、参照画素数Ｉは、（１６／２）＋（８／２）＝１２となる。クロマフォーマットが４：４：４であれば、参照画素数Ｉは、（１６／２）＋（１６／２）＝１６となる。
【００９７】
図１３Ａに、ＰＵサイズが１６×１６画素、クロマフォーマットが４：２：０である場合の参照画素の設定の一例を示している。図１３Ａの例では、色差成分の参照画素及び輝度成分の参照画素が、それぞれ１つおきに間引かれている。結果として、色差成分の参照画素数ＩＣ及び輝度成分の参照画素数ＩＬは、共に８つとなっている。
【００９８】
さらに、予測単位のサイズが３２×３２画素である場合には、参照比は「４：１」である。参照比「４：１」は、図１１Ａ又は図１１Ｂに示したような参照画素のうち４分の１の参照画素のみが使用されることを意味する。即ち、係数算出部４４は、係数α及び係数βの算出の際に、４分の３の参照画素を間引いた上で、残りの参照画素のみを使用する。この場合、クロマフォーマットが４：２：０であれば、参照画素数Ｉは、（１６／４）＋（１６／４）＝８となる。クロマフォーマットが４：２：２であれば、参照画素数Ｉは、（３２／４）＋（１６／４）＝１２となる。クロマフォーマットが４：４：４であれば、参照画素数Ｉは、（３２／４）＋（３２／４）＝１６となる。
【００９９】
図１３Ｂに、ＰＵサイズが３２×３２画素、クロマフォーマットが４：２：０である場合の参照画素の設定の一例を示している。図１３Ｂの例では、色差成分の参照画素及び輝度成分の参照画素が、それぞれ、連続する４つにつき３つずつ間引かれている。結果として、色差成分の参照画素数ＩＣ及び輝度成分の参照画素数ＩＬは、共に８つとなっている。
【０１００】
第１のシナリオのようなブロックサイズと参照比との間のマッピングによれば、ブロックサイズが８×８画素以上である場合には、クロマフォーマットが同一である限り参照画素数Ｉは一定となる。従って、ブロックサイズが拡大する場合の処理コストの増加が抑制される。また、このようにブロックサイズが所定のサイズを上回る場合に参照画素数が一定となるように参照比を制御することにより、係数算出部４４における係数算出処理を小規模の共通的な回路又はロジックを用いて行うことが可能となる。それにより、回路規模又はロジックの規模の増大をも抑制することができる。
【０１０１】
また、ブロックサイズが所定のサイズを下回る場合に間引かれる参照画素の数をゼロとすることで、参照画素数が不足することによるＬＭモードの予測精度の低下が防がれる。特に、画像の内容が複雑である（即ち画素値の空間的な変動が激しい）ことに起因してイントラ予測が比較的困難な場合には、より小さい予測単位が画像内に設定されやすい。そうした場合に十分な参照画素数を確保することで、ＬＭモードの予測精度の低下を防ぐことができる。
【０１０２】
なお、ここでは、係数算出部４４による係数の算出の際に間引かれる参照画素の数が参照比に応じて変化する、というように説明した。即ち、係数算出部４４は、ＬＭモードでのイントラ予測が行われる際に参照される参照画素を、予測対象のブロックサイズに応じた参照比で間引く間引き部としての役割をも有する。後に説明する画像復号装置６０の係数算出部９４についても同様である。しかしながら、参照画素数は、参照画素を間引く代わりに、複数の参照画素値から１つの代表値を導くことにより可変的に制御されてもよい。例えば、参照比が「４：１」であれば、連続する４つの参照画素の画素値の平均値又は中央値が１つの代表値として用いられてもよい。これは、本明細書で説明する他のシナリオにおいても同様である。参照画素を間引く処理は実装が極めて容易である一方、上述した代表値を使用すれば予測精度を向上させることができる。
【０１０３】
（２）第２のシナリオ
図１４は、第２のシナリオにおける参照比の定義の一例を示す説明図である。第２のシナリオでは、予測制御部４２は、予測単位のサイズに加えてクロマフォーマットに応じて、参照比を制御する。また、予測制御部４２は、垂直方向のサイズに対する左の参照画素数の比率である第１の参照比と、水平方向のサイズに対する上の参照画素数の比率である第２の参照比とを別々に制御する。
【０１０４】
第２のシナリオにおいて、予測単位のサイズが４×４画素、クロマフォーマットが４：２：０である場合には、垂直方向の参照比及び水平方向の参照比は共に「１：１」である。この場合、参照画素は間引かれず、参照画素数Ｉは、２＋２＝４となる。予測単位のサイズが４×４画素、クロマフォーマットが４：２：２である場合には、垂直方向の参照比は「２：１」、水平方向の参照比は「１：１」である。この場合、垂直方向の参照画素のうち半分の参照画素が間引かれる結果として、参照画素数Ｉは、（４／２）＋２＝４となる。予測単位のサイズが４×４画素、クロマフォーマットが４：４：４である場合には、垂直方向の参照比及び水平方向の参照比は共に「２：１」である。この場合、垂直方向及び水平方向の双方の参照画素のうち半分の参照画素が間引かれる結果として、参照画素数Ｉは、（４／２）＋（４／２）＝４となる。
【０１０５】
予測単位のサイズが８×８画素、クロマフォーマットが４：２：０である場合には、垂直方向の参照比及び水平方向の参照比は共に「１：１」である。この場合、参照画素は間引かれず、参照画素数Ｉは、４＋４＝８となる。予測単位のサイズが８×８画素、クロマフォーマットが４：２：２である場合には、垂直方向の参照比は「２：１」、水平方向の参照比は「１：１」である。この場合、垂直方向の参照画素のうち半分の参照画素が間引かれる結果として、参照画素数Ｉは、（８／２）＋４＝８となる。予測単位のサイズが８×８画素、クロマフォーマットが４：４：４である場合には、垂直方向の参照比及び水平方向の参照比は共に「２：１」である。この場合、垂直方向及び水平方向の双方の参照画素のうち半分の参照画素が間引かれる結果として、参照画素数Ｉは、（８／２）＋（８／２）＝８となる。
【０１０６】
図１５Ａに、ＰＵサイズが８×８画素、クロマフォーマットが４：２：０である場合の参照画素の設定の一例を示している。図１５Ａの例では、色差成分の参照画素及び輝度成分の参照画素は、共に間引かれていない。結果として、色差成分の参照画素数ＩＣ及び輝度成分の参照画素数ＩＬは、共に８つとなっている。
【０１０７】
また、図１５Ｂに、ＰＵサイズが８×８画素、クロマフォーマットが４：２：２である場合の参照画素の設定の一例を示している。図１５Ｂの例では、色差成分及び輝度成分の垂直方向の参照画素が１つおきに間引かれている。結果として、色差成分の参照画素数ＩＣ及び輝度成分の参照画素数ＩＬは、共に８つとなっている。
【０１０８】
さらに、図１５Ｃに、ＰＵサイズが８×８画素、クロマフォーマットが４：４：４である場合の参照画素の設定の一例を示している。図１５Ｃの例では、色差成分及び輝度成分の垂直方向及び水平方向の参照画素が１つおきに間引かれている。結果として、色差成分の参照画素数ＩＣ及び輝度成分の参照画素数ＩＬは、共に８つとなっている。
【０１０９】
予測単位のサイズが１６×１６画素、クロマフォーマットが４：２：０である場合には、垂直方向の参照比及び水平方向の参照比は共に「２：１」である。この場合、参照画素数Ｉは、（８／２）＋（８／２）＝８となる。予測単位のサイズが１６×１６画素、クロマフォーマットが４：２：２である場合には、垂直方向の参照比は「４：１」、水平方向の参照比は「２：１」である。この場合、参照画素数Ｉは、（１６／４）＋（８／２）＝８となる。予測単位のサイズが１６×１６画素、クロマフォーマットが４：４：４である場合には、垂直方向の参照比及び水平方向の参照比は共に「４：１」である。この場合、参照画素数Ｉは、（１６／４）＋（１６／４）＝８となる。
【０１１０】
図１５Ｄに、ＰＵサイズが１６×１６画素、クロマフォーマットが４：２：０である場合の参照画素の設定の一例を示している。図１５Ｄの例では、色差成分及び輝度成分の垂直方向及び水平方向の参照画素が１つおきに間引かれている。結果として、色差成分の参照画素数ＩＣ及び輝度成分の参照画素数ＩＬは、共に８つとなっている。
【０１１１】
予測単位のサイズが３２×３２画素、クロマフォーマットが４：２：０である場合には、垂直方向の参照比及び水平方向の参照比は共に「４：１」である。この場合、参照画素数Ｉは、（１６／４）＋（１６／４）＝８となる。予測単位のサイズが３２×３２画素、クロマフォーマットが４：２：２である場合には、垂直方向の参照比は「８：１」、水平方向の参照比は「４：１」である。この場合、参照画素数Ｉは、（３２／８）＋（１６／４）＝８となる。予測単位のサイズが３２×３２画素、クロマフォーマットが４：４：４である場合には、垂直方向の参照比及び水平方向の参照比は共に「８：１」である。この場合、参照画素数Ｉは、（３２／８）＋（３２／８）＝８となる。
【０１１２】
上述した説明から理解されるように、第２のシナリオでは、予測制御部４２は、クロマフォーマットにより表される色差成分の解像度がより高いほど参照比がより小さくなるように、参照比を制御する。それにより、色差成分のブロックサイズの拡大に伴う処理コストの増加が抑制される。また、第２のシナリオでは、予測制御部４２は、クロマフォーマットが４：２：２である場合に、ブロックの左の参照画素数がブロックの上の参照画素数と等しくなるように、垂直方向の参照比と水平方向の参照比とを別々に制御する。それにより、クロマフォーマットが互いに異なる複数のケースで参照画素数を同一にすることが可能となる。結果として、係数算出部４４における係数算出処理をクロマフォーマットによらず共通的な回路又はロジックを用いて行うことが可能となる。従って、第２のシナリオによれば、回路又はロジックの効率的な実装が促進される。
【０１１３】
（３）第３のシナリオ
図１６は、第３のシナリオにおける参照比の定義の一例を示す説明図である。第３のシナリオにおいても、予測制御部４２は、垂直方向のサイズに対する左の参照画素数の比率である第１の参照比と、水平方向のサイズに対する上の参照画素数の比率である第２の参照比とを別々に制御する。また、第３のシナリオでは、予測制御部４２は、同じブロックサイズについて垂直方向の参照比が水平方向の参照比以下となるように、これら参照比を制御する。
【０１１４】
第３のシナリオにおいて、予測単位のサイズが４×４画素である場合には、垂直方向及び水平方向の参照比は、共に「１：１」である。この場合、クロマフォーマットが４：２：０であれば、参照画素数Ｉは、２＋２＝４となる。クロマフォーマットが４：２：２であれば、参照画素数Ｉは、４＋２＝６となる。クロマフォーマットが４：４：４であれば、参照画素数Ｉは、４＋４＝８となる。
【０１１５】
予測単位のサイズが８×８画素である場合には、垂直方向の参照比は「２：１」、水平方向の参照比は「１：１」である。この場合、クロマフォーマットが４：２：０であれば、参照画素数Ｉは、（４／２）＋４＝６となる。クロマフォーマットが４：２：２であれば、参照画素数Ｉは、（８／２）＋４＝８となる。クロマフォーマットが４：４：４であれば、参照画素数Ｉは、（８／２）＋８＝１２となる。
【０１１６】
図１７Ａに、ＰＵサイズが８×８画素、クロマフォーマットが４：２：０である場合の参照画素の設定の一例を示している。図１７Ａの例では、色差成分の参照画素及び輝度成分の参照画素のうち、垂直方向の下半分の参照画素が間引かれている。結果として、色差成分の参照画素数ＩＣ及び輝度成分の参照画素数ＩＬは、共に６つとなっている。
【０１１７】
予測単位のサイズが１６×１６画素である場合には、垂直方向の参照比は「４：１」、水平方向の参照比は「１：１」である。この場合、クロマフォーマットが４：２：０であれば、参照画素数Ｉは、（８／４）＋８＝１０となる。クロマフォーマットが４：２：２であれば、参照画素数Ｉは、（１６／４）＋８＝１２となる。クロマフォーマットが４：４：４であれば、参照画素数Ｉは、（１６／４）＋１６＝２０となる。
【０１１８】
図１７Ｂに、ＰＵサイズが１６×１６画素、クロマフォーマットが４：２：０である場合の参照画素の設定の一例を示している。図１７Ｂの例では、色差成分の参照画素及び輝度成分の参照画素のうち、垂直方向の下側４分の３の参照画素が間引かれている。結果として、色差成分の参照画素数ＩＣ及び輝度成分の参照画素数ＩＬは、共に１０個となっている。
【０１１９】
予測単位のサイズが３２×３２画素である場合には、垂直方向の参照比は「８：１」、水平方向の参照比は「２：１」である。この場合、クロマフォーマットが４：２：０であれば、参照画素数Ｉは、（１６／８）＋（１６／２）＝１０となる。クロマフォーマットが４：２：２であれば、参照画素数Ｉは、（３２／８）＋（１６／２）＝１２となる。クロマフォーマットが４：４：４であれば、参照画素数Ｉは、（３２／８）＋（３２／２）＝２０となる。
【０１２０】
画像を符号化又は復号する装置において、参照画素値は、多くの場合フレームメモリ又はラインメモリに格納され、水平方向のライン単位でアクセスされる。従って、第３のシナリオのように垂直方向の参照比を水平方向の参照比よりも低くすれば、使用される参照画素の数が同じであっても、メモリへのアクセス回数をより少なくすることができる。それにより、係数算出部４４における係数算出処理を高速に実行することが可能となる。また、第３のシナリオのように、よりブロックの上方のラインの参照画素を優先的に使用することで、メモリへの連続的なアクセスを通じて参照画素値を短時間で取得することができる。
【０１２１】
（４）第４のシナリオ
図１８は、第４のシナリオにおける参照比の定義の一例を示す説明図である。第４のシナリオにおいて、予測制御部４２は、画像の符号化及び復号に関する装置のケイパビリティがより低い場合に参照比がより小さくなるように、参照比を制御する。ＨＥＶＣでは、装置のケイパビリティを表すパラメータとして、例えばプロファイル若しくはレベル又はその双方を用いることができる。プロファイル及びレベルは、通常、符号化ストリームのシーケンスパラメータセット内で指定される。
【０１２２】
図１８を参照すると、第４のシナリオにおいて、装置のケイパビリティが「高」及び「低」の２段階に区分されている。４×４画素のサイズを有する予測単位については、装置のケイパビリティに関わらず、参照比は「１：１」である。これに対し、８×８画素以上のサイズを有する予測単位については、ケイパビリティが「低」である場合の参照比は、ケイパビリティが「高」である場合の参照比の半分である。
【０１２３】
例えば、８×８画素の予測単位については、ケイパビリティが「高」であれば参照比は「１：１」である一方、ケイパビリティが「低」であれば参照比は「２：１」である。１６×１６画素の予測単位については、ケイパビリティが「高」であれば参照比は「２：１」である一方、ケイパビリティが「低」であれば参照比は「４：１」である。３２×３２画素の予測単位については、ケイパビリティが「高」であれば参照比は「４：１」である一方、ケイパビリティが「低」であれば参照比は「８：１」である。
【０１２４】
図１９Ａに、ＰＵサイズが１６×１６画素、クロマフォーマットが４：２：０、ケイパビリティが「高」であって、参照比が「２：１」である場合の参照画素の設定の一例を示している。図１９Ａの例では、色差成分の参照画素及び輝度成分の参照画素のうち半分の参照画素が間引かれている。結果として、色差成分の参照画素数ＩＣ及び輝度成分の参照画素数ＩＬは、共に８つとなっている。
【０１２５】
また、図１９Ｂに、ＰＵサイズが１６×１６画素、クロマフォーマットが４：２：０、ケイパビリティが「低」であって、参照比が「４：１」である場合の参照画素の設定の一例を示している。図１９Ｂの例では、色差成分の参照画素及び輝度成分の参照画素のうち４分の３の参照画素が間引かれている。結果として、色差成分の参照画素数ＩＣ及び輝度成分の参照画素数ＩＬは、共に４つとなっている。
【０１２６】
第４のシナリオのように、装置のケイパビリティ（例えばデコーダの処理能力）の高さに応じて参照比を制御することで、ケイパビリティのより低い装置の使用が想定される場合に、参照画素数をより少なくすることができる。それにより、装置の処理能力を超える処理コストがＬＭモードでの係数算出処理において生じることを防ぐことができる。
【０１２７】
（５）第５のシナリオ
Xiaoran Cao Tsinghuaらは、“CE6.b1 Report on Short Distance Intra Prediction Method”（JCTVC-E278，2011年3月）において、サイズの小さい非正方形の予測単位を使用して符号化効率を向上させる、短距離イントラ予測法（Short Distance Intra Prediction Method）を提案している。短距離イントラ予測法では、例えば１×４画素、２×８画素、４×１６画素、４×１画素、８×２画素、１６×４画素などの様々なサイズの予測単位が画像内に設定され得る。この場合、予測単位の垂直方向のサイズ及び水平方向のサイズのうちいずれのサイズがより大きいかは、予測単位の設定に依存する。そこで、第５のシナリオでは、予測制御部４２は、短距離イントラ予測法が用いられる場合に、垂直方向の参照比及び水平方向の参照比のうちサイズのより大きい方向に対応する参照比を動的に選択し、選択した参照比を制御する。
【０１２８】
図２０Ａに、ＰＵサイズが２×８画素、クロマフォーマットが４：２：０である場合の参照画素の設定の一例を示している。図２０Ａの例では、水平方向のサイズが垂直方向のサイズよりも大きいため、垂直方向の参照比が「１：１」であるのに対し、水平方向の参照比は「２：１」とされている。結果として、色差成分の参照画素数ＩＣ及び輝度成分の参照画素数ＩＬは、共に１＋（４／２）＝３つとなっている。
【０１２９】
また、図２０Ｂに、ＰＵサイズが１６×４画素、クロマフォーマットが４：２：０である場合の参照画素の設定の一例を示している。図２０Ｂの例では、垂直方向のサイズが水平方向のサイズよりも大きいため、水平方向の参照比が「１：１」であるのに対し、垂直方向の参照比は「４：１」とされている。結果として、色差成分の参照画素数ＩＣ及び輝度成分の参照画素数ＩＬは、共に（８／４）＋２＝４つとなっている。
【０１３０】
第５のシナリオのように、短距離イントラ予測法が用いられる場合に、サイズのより大きい方向に対応する参照比を動的に選択してこれを制御することで、参照画素がより少ない方向について参照画素数の削減を回避し、予測精度の低下を防ぐことができる。
【０１３１】
ここまで、予測制御部４２による参照比の制御の特徴的な５つのシナリオについて詳細に説明した。これらシナリオに沿った予測制御部４２による参照比の制御は、例えば画像符号化方式の標準仕様において予め定義されるブロックサイズと参照比との間のマッピングに従って行われてよい。かかるマッピングを予め画一的に定義しておくことで、数多くの参照画素の設定パターンをサポートする必要性がなくなり、デコーダにおける回路又はロジックの共通化が容易となる。
【０１３２】
なお、多くの用途において利用される画像データのビット深度は８ビットである一方、１０ビット又は１２ビットなど、より大きいビット深度が一部の用途向けの画像データにおいて利用され得る。そこで、係数算出部４４は、ビット深度が所定のビット数（例えば８ビット）を上回る場合に、参照画素値を上記所定のビット数に削減した上で、削減した参照画素値を用いて予測関数の係数α及び係数βを算出してもよい。それにより、ビット深度に関わらず共通的な小規模の回路又はロジックを用いて係数α及び係数βを算出することが可能となる。
【０１３３】
また、ここでは予測制御部４２がブロックサイズに対する参照画素数の比率である「参照比」を制御する例について主に説明している。しかしながら、参照比と実質的に同等の概念が、例えば、削減される参照画素の比率を意味する「削減比」などの他の用語で表現されてもよい。「参照比」又は「削減比」は、“１：１”、“２：１”、“４：１”などの上述した形式で記述される代わりに、“１００％（０％）”、“５０％（５０％）”若しくは“２５％（７５％）”などのパーセンテージ形式、又は０から１までの範囲内の数値形式で記述されてもよい。
【０１３４】
上述した５つのシナリオは、説明のための例に過ぎない。例えば、上述した５つのシナリオのうち２つ以上のシナリオが組み合わされてもよい。各シナリオにおいて示したようなブロックサイズと参照比（又は削減比）との間のマッピングは、予め定義される代わりに、適応的に選択されてもよい。その場合、選択されたマッピングを指定する情報が、符号化ストリームのパラメータセット又はヘッダ領域内で符号化側から復号側へ伝送され得る。
【０１３５】
＜２．一実施形態に係る符号化時の処理の流れ＞
次に、図２１及び図２２を用いて、符号化時の処理の流れを説明する。図２１は、図２に例示した構成を有するイントラ予測部４０による符号化時のイントラ予測処理の流れの一例を示すフローチャートである。
【０１３６】
図２１を参照すると、まず、処理対象の符号化単位の輝度成分について、予測部４６により様々な予測モードで予測画像データが生成され、モード判定部４８により最適な予測モード及び予測単位の配置が決定される（ステップＳ１００）。
【０１３７】
次に、予測制御部４２は、色差成分の最適な予測モードの探索のために符号化単位内に設定される１つ以上の色差予測単位のうちの１つに注目する（ステップＳ１０５）。
【０１３８】
次に、予測制御部４２は、注目色差ＰＵのサイズが上述した所定の条件を満たすかを判定する（ステップＳ１１０）。所定の条件とは、典型的には、注目色差ＰＵのサイズが対応する輝度ＰＵのサイズからクロマフォーマットに応じて定まるサイズ以下である、という条件である。かかる条件が満たされる場合には、注目色差ＰＵに対応する輝度ＰＵは１つである。また、予測制御部４２は、注目色差ＰＵに対応する輝度ＰＵのサイズが４×４画素であるかを判定する（ステップＳ１１５）。上記条件が満たされ、又は対応する輝度ＰＵのサイズが４×４画素である場合には、係数算出部４４及び予測部４６により、注目色差ＰＵについてＬＭモードでの予測処理が実行される（ステップＳ１２０）。上記条件が満たされず、かつ対応する輝度ＰＵのサイズが８×８画素以上である場合には、ステップＳ１２０におけるＬＭモードでの予測処理はスキップされる。
【０１３９】
次に、予測部４６により、注目色差ＰＵについて非ＬＭモード（例えば、図８に例示したモード０〜モード３）でのイントラ予測処理が実行される（ステップＳ１２５）。次に、モード判定部４８は、注目色差ＰＵについて、各予測モードのコスト関数を原画像データと予測画像データとに基づいて算出する（ステップＳ１３０）。
【０１４０】
これらステップＳ１０５〜ステップＳ１３０の処理は、符号化単位内に設定される各色差ＰＵについて繰り返される（ステップＳ１３５）。そして、モード判定部４８は、コスト関数値を互いに比較することにより、符号化単位内の最適な色差ＰＵの配置と各色差ＰＵについての最適な予測モードとを決定する（ステップＳ１４０）。
【０１４１】
図２２は、図２１のステップＳ１２０におけるＬＭモード予測処理の詳細な流れの一例を示すフローチャートである。
【０１４２】
図２２を参照すると、まず、予測制御部４２は、各予測単位について、予測単位のサイズ及びその他のパラメータ（例えば、クロマフォーマット、プロファイル又はレベルなど）に応じた参照比を取得する（ステップＳ１２１）。
【０１４３】
次に、係数算出部４４は、予測関数の係数を算出するための算出式（例えば、上記式（３）及び式（４））において参照される参照画素を、予測制御部４２により指示される参照比に従って設定する（ステップＳ１２２）。ここで設定される参照画素の数は、参照比に応じて削減され得る。また、参照画素の輝度成分は、クロマフォーマットに依存してリサンプリングされ得る。
【０１４４】
次に、係数算出部４４は、例えば上記式（３）に従い、設定した参照画素の画素値を用いて、予測関数の係数αを算出する（ステップＳ１２３）。さらに、係数算出部４４は、例えば上記式（４）に従い、設定した参照画素の画素値を用いて、予測関数の係数βを算出する（ステップＳ１２４）。
【０１４５】
そして、予測部４６は、対応する輝度成分の値を係数α及び係数βを用いて構築される予測関数（例えば、上記式（１））に代入することにより、各予測対象画素の予測画素値を算出する（ステップＳ１２５）。
【０１４６】
＜３．一実施形態に係る画像復号装置の構成例＞
本節では、図２３及び図２４を用いて、一実施形態に係る画像復号装置の構成例について説明する。
【０１４７】
［３−１．全体的な構成例］
図２３は、一実施形態に係る画像復号装置６０の構成の一例を示すブロック図である。図２３を参照すると、画像復号装置６０は、蓄積バッファ６１、可逆復号部６２、逆量子化部６３、逆直交変換部６４、加算部６５、デブロックフィルタ６６、並び替えバッファ６７、Ｄ／Ａ（Digital to Analogue）変換部６８、フレームメモリ６９、セレクタ７０及び７１、動き補償部８０、並びにイントラ予測部９０を備える。
【０１４８】
蓄積バッファ６１は、伝送路を介して入力される符号化ストリームを記憶媒体を用いて一時的に蓄積する。
【０１４９】
可逆復号部６２は、蓄積バッファ６１から入力される符号化ストリームを、符号化の際に使用された符号化方式に従って復号する。また、可逆復号部６２は、符号化ストリームのヘッダ領域に多重化されている情報を復号する。符号化ストリームのヘッダ領域に多重化されている情報とは、例えば、シーケンスパラメータセット内のプロファイル及びレベル、並びにブロックヘッダ内のインター予測に関する情報及びイントラ予測に関する情報を含み得る。可逆復号部６２は、インター予測に関する情報を動き補償部８０へ出力する。また、可逆復号部６２は、イントラ予測に関する情報をイントラ予測部９０へ出力する。
【０１５０】
本実施形態において、可逆復号部６２は、イントラ予測が行われる符号化単位について、上述したＰＵ別順序で符号化ストリームから量子化データを復号する。即ち、可逆復号部６２は、例えば、１つの符号化単位内の第１の輝度予測単位の輝度成分、第１の輝度予測単位に対応する第１の色差予測単位の色差成分、及び第１の色差予測単位に対応しない（第１の輝度予測単位に後続する）第２の輝度予測単位の輝度成分を、第１の輝度予測単位の輝度成分、第１の色差予測単位の色差成分及び第２の輝度予測単位の輝度成分の順に復号する。
【０１５１】
逆量子化部６３は、可逆復号部６２による復号後の量子化データを逆量子化する。逆直交変換部６４は、符号化の際に使用された直交変換方式に従い、逆量子化部６３から入力される変換係数データについて逆直交変換を行うことにより、予測誤差データを生成する。そして、逆直交変換部６４は、生成した予測誤差データを加算部６５へ出力する。
【０１５２】
加算部６５は、逆直交変換部６４から入力される予測誤差データと、セレクタ７１から入力される予測画像データとを加算することにより、復号画像データを生成する。そして、加算部６５は、生成した復号画像データをデブロックフィルタ６６及びフレームメモリ６９へ出力する。
【０１５３】
デブロックフィルタ６６は、加算部６５から入力される復号画像データをフィルタリングすることによりブロック歪みを除去し、フィルタリング後の復号画像データを並び替えバッファ６７及びフレームメモリ６９へ出力する。
【０１５４】
並び替えバッファ６７は、デブロックフィルタ６６から入力される画像を並び替えることにより、時系列の一連の画像データを生成する。そして、並び替えバッファ６７は、生成した画像データをＤ／Ａ変換部６８へ出力する。
【０１５５】
Ｄ／Ａ変換部６８は、並び替えバッファ６７から入力されるデジタル形式の画像データをアナログ形式の画像信号に変換する。そして、Ｄ／Ａ変換部６８は、例えば、画像復号装置６０と接続されるディスプレイ（図示せず）にアナログ画像信号を出力することにより、画像を表示させる。
【０１５６】
フレームメモリ６９は、加算部６５から入力されるフィルタリング前の復号画像データ、及びデブロックフィルタ６６から入力されるフィルタリング後の復号画像データを記憶媒体を用いて記憶する。
【０１５７】
セレクタ７０は、可逆復号部６２により取得されるモード情報に応じて、画像内のブロックごとに、フレームメモリ６９からの画像データの出力先を動き補償部８０とイントラ予測部９０との間で切り替える。例えば、セレクタ７０は、インター予測モードが指定された場合には、フレームメモリ６９から供給されるフィルタリング後の復号画像データを参照画像データとして動き補償部８０へ出力する。また、セレクタ７０は、イントラ予測モードが指定された場合には、フレームメモリ６９から供給されるフィルタリング前の復号画像データを参照画像データとしてイントラ予測部９０へ出力する。
【０１５８】
セレクタ７１は、可逆復号部６２により取得されるモード情報に応じて、加算部６５へ供給すべき予測画像データの出力元を動き補償部８０とイントラ予測部９０との間で切り替える。例えば、セレクタ７１は、インター予測モードが指定された場合には、動き補償部８０から出力される予測画像データを加算部６５へ供給する。また、セレクタ７１は、イントラ予測モードが指定された場合には、イントラ予測部９０から出力される予測画像データを加算部６５へ供給する。
【０１５９】
動き補償部８０は、可逆復号部６２から入力されるインター予測に関する情報とフレームメモリ６９からの参照画像データとに基づいて動き補償処理を行い、予測画像データを生成する。そして、動き補償部８０は、生成した予測画像データをセレクタ７１へ出力する。
【０１６０】
イントラ予測部９０は、可逆復号部６２から入力されるイントラ予測に関する情報とフレームメモリ６９からの参照画像データとに基づいてイントラ予測処理を行い、予測画像データを生成する。そして、イントラ予測部９０は、生成した予測画像データをセレクタ７１へ出力する。このようなイントラ予測部９０によるイントラ予測処理について、後により詳細に説明する。
【０１６１】
［３−２．イントラ予測部の構成例］
図２４は、図２３に示した画像復号装置６０のイントラ予測部９０の詳細な構成の一例を示すブロック図である。図２４を参照すると、イントラ予測部９０は、予測制御部９２、輝度成分バッファ９３、係数算出部９４及び予測部９６を有する。
【０１６２】
予測制御部９２は、イントラ予測部９０におけるイントラ予測処理を制御する。例えば、予測制御部９２は、イントラ予測に関する情報に含まれる予測モード情報に基づいて符号化単位内に輝度ＰＵを設定し、設定した輝度ＰＵについてイントラ予測処理を実行する。また、予測制御部９２は、予測モード情報に基づいて符号化単位内に色差ＰＵを設定し、設定した色差ＰＵについてイントラ予測処理を実行する。これらイントラ予測処理は、上述したＰＵ別順序に従って行われ得る。輝度ＰＵについてのイントラ予測処理において、予測制御部９２は、予測モード情報により指定される予測モードで予測部９６に各画素の輝度成分の予測画素値を生成させる。同様に、色差ＰＵについてのイントラ予測処理において、予測制御部９２は、予測モード情報により指定される予測モードで予測部９６に各画素の色差成分の予測画素値を生成させる。
【０１６３】
本実施形態では、色差ＰＵについての予測モードの候補は、上述したＬＭモードを含む。そして、予測制御部９２は、ＬＭモードの予測関数の係数を算出する際の参照画素数のブロックサイズに対する比率、即ち参照比を、可変的に制御する。予測制御部９２による参照比の制御は、典型的には、ブロックサイズに応じて行われ得る。例えば、予測制御部９２は、ブロックサイズが所定のサイズを上回る場合に、予測関数の係数を算出する際の参照画素数が一定となるように、参照比を制御してもよい。ブロックサイズと参照比との間のマッピングは、予め定義され画像復号装置６０の記憶媒体により記憶されていてもよく、又は符号化ストリームのヘッダ領域内で動的に指定されてもよい。さらに、予測制御部９２は、クロマフォーマットに応じて、参照比を制御してもよい。また、予測制御部９２は、装置のケイパビリティを定義付けるプロファイル又はレベルに応じて、参照比を制御してもよい。予測制御部９２による参照比の制御は、上述した５つのシナリオのいずれか、それらの任意の組合せ、又は他のシナリオに従って行われ得る。
【０１６４】
輝度成分バッファ９３は、色差ＰＵについてのＬＭモードでのイントラ予測のために使用される輝度成分の値を一時的に記憶する。ＨＥＶＣにおいて、利用可能な最大の輝度ＰＵのサイズ及び利用可能な最大の色差ＰＵのサイズは、共に６４×６４画素である。そして、本実施形態では、ＬＭモードにおいて、１つの色差ＰＵに対応する輝度ＰＵの数は原則として１つに制限される。従って、クロマフォーマットが４：２：０である場合には、６４×６４画素の色差ＰＵについてはＬＭモードは指定されることがない。ＬＭモードが指定され得る色差ＰＵの最大サイズは、３２×３２画素となる。さらに、本実施形態では、上述したＰＵ別順序で符号化処理が行われる。そのため、輝度成分バッファ９３のバッファサイズは、色差ＰＵの最大サイズに相当する３２×３２画素で十分である。これは、図９を用いて説明した既存の手法の成分別順序が採用される場合のメモリリソースの所要量と比較して、４分の１である。第１の輝度ＰＵに対応する第１の色差ＰＵについてＬＭモードでイントラ予測が行われる際には、輝度成分バッファ９３により記憶されている第１の輝度ＰＵの輝度成分の値が参照され得る。その後、第１の色差ＰＵに対応しない第２の輝度ＰＵの輝度成分が復号されると、輝度成分バッファ９３の内容はクリアされ、新たに第２の輝度ＰＵの輝度成分の値が記憶され得る。
【０１６５】
なお、上述したように、輝度ＰＵのサイズが４×４画素である場合には、例外的に複数の輝度ＰＵに基づいて１つの色差ＰＵについてＬＭモードでのイントラ予測が行われてよい。クロマフォーマットが４：２：０である場合には、４×４画素の１つの色差ＰＵについてのＬＭモードでのイントラ予測のために、対応する４つの輝度ＰＵの輝度成分の値が輝度成分バッファ９３によりバッファリングされ得る。クロマフォーマットが４：２：２である場合には、４×４画素の１つの色差ＰＵについてのＬＭモードでのイントラ予測のために、対応する２つの輝度ＰＵの輝度成分の値が輝度成分バッファ９３によりバッファリングされ得る。いずれの場合にも、輝度成分バッファ９３のバッファサイズは、３２×３２画素で十分である。
【０１６６】
係数算出部９４は、色差成分についてＬＭモードが指定された場合に予測部９６により使用される予測関数の係数を、予測対象の画素が属する予測単位の周辺の画素、即ち参照画素を参照して算出する。予測部９６により使用される予測関数は、典型的には輝度成分の値の線型関数であり、例えば上記式（１）により表される。予測関数の係数の算出に際して係数算出部９４により参照される参照画素の数は、上述したように、予測制御部９２により制御される。係数算出部９４は、参照比が「１：１」でない場合には、例えば参照比に応じた数の参照画素を間引いた上で、残りの参照画素のみを用いて予測関数の係数を算出し得る。係数算出部９４は、例えば、所定のサイズを上回る複数のブロックサイズについて共通的な回路又はロジックを用いて予測関数の係数を算出してもよい。また、係数算出部９４は、画素値のビット深度が所定のビット数を上回る場合に、参照画素値を当該所定のビット数に削減した上で、削減した参照画素値を用いて予測関数の係数を算出してもよい。
【０１６７】
予測部９６は、予測制御部９２による制御の下、予測対象の画素の輝度成分の画素値及び色差成分の画素値を、フレームメモリ６９からの参照画像データを用いて、指定された予測モードに従って生成する。予測部９６により色差成分について使用される予測モードの候補は、上述したＬＭモードを含み得る。ＬＭモードが指定された場合には、予測部９６は、係数算出部９４により算出される係数α及び係数βを用いて構築される予測関数に、対応する輝度成分の（必要に応じてリサンプリングされた）値を輝度成分バッファ９３から読み出して代入することにより、色差成分の予測画素値を生成する。予測部９６は、予測の結果として生成される予測画像データを、セレクタ７１を介して加算部６５へ出力する。
【０１６８】
＜４．一実施形態に係る復号時の処理の流れ＞
次に、図２５を用いて、復号時の処理の流れを説明する。図２５は、図２４に例示した構成を有するイントラ予測部９０による復号時のイントラ予測処理の流れの一例を示すフローチャートである。
【０１６９】
図２５を参照すると、まず、予測制御部９２は、符号化ストリームから復号される順に、符号化単位内に１つの予測単位を設定する（ステップＳ２００）。次に、イントラ予測処理は、設定された予測単位が輝度成分の予測単位及び色差成分の予測単位のいずれであるかに応じて分岐する（ステップＳ２０５）。設定された予測単位が輝度成分の予測単位である場合には、処理はステップＳ２１０へ進む。一方、設定された予測単位が色差成分の予測単位である場合には、処理はステップＳ２３０へ進む。
【０１７０】
ステップＳ２１０において、予測制御部９２は、予測モード情報により指定されている輝度成分の予測モードを認識する（ステップＳ２１０）。そして、予測部９６は、予測単位内の各画素の輝度成分の予測画素値を、フレームメモリ６９からの参照画像データを用いて、指定された予測モードに従って生成する（ステップＳ２２０）。
【０１７１】
ステップＳ２３０において、予測制御部９２は、予測モード情報により指定されている色差成分の予測モードを認識する（ステップＳ２３０）。そして、予測制御部９２は、ＬＭモードが指定されているか否かを判定する（ステップＳ２４０）。ここで、ＬＭモードが指定されている場合には、予測制御部９２は、係数算出部９４及び予測部９６に色差成分についてＬＭモードでの予測処理を実行させる（ステップＳ２５０）。ステップＳ２５０におけるＬＭモード予測処理は、図２２を用いて説明したＬＭモード予測処理と同様であってよい。一方、ＬＭモードが指定されていない場合には、予測制御部９２は、予測部９６に色差成分について非ＬＭモードでのイントラ予測処理を実行させる（ステップＳ２６０）。
【０１７２】
その後、同じ符号化単位内に次の予測単位が存在する場合には、処理はステップＳ２００へ戻り、次の予測単位を対象として上述した処理が繰り返される（ステップＳ２７０）。次の予測単位が存在しない場合には、図２５のイントラ予測処理は終了する。
【０１７３】
＜５．変形例＞
本節では、ＬＭモードの導入に関連してメモリリソースの消費量を削減するための変形例を説明する。ここで説明する変形例において、画像符号化装置１０の予測部４６及び画像復号装置６０の予測部９６は、各色差成分に対応する輝度成分をある間引き率で間引く。各色差成分に対応する輝度成分とは、例えば上記式（２）に従ったリサンプリングの後の各輝度成分に相当する。そして、予測部４６及び予測部９６は、間引かれた輝度成分に対応する各色差成分の予測値を、間引かれていない輝度成分の値を用いて生成する。
【０１７４】
図２６は、本変形例に係る間引き処理の一例について説明するための説明図である。図２６を参照すると、一例として、８×８画素の予測単位（ＰＵ）が示されている。クロマフォーマットは４：２：０、間引き率は２５％であるものとする。なお、ここでの間引き率は、間引き前の画素数に対する間引き後の画素数の割合を示す。図２６の例において、１つのＰＵに含まれる色差成分の数は４×４個である。各色差成分に対応する輝度成分の数もまた、リサンプリングによって４×４個となる。これらリサンプリング後の輝度成分が間引き率２５％で間引かれる結果、ＬＭモードでの色差成分の予測に用いられる輝度成分の数は、２×２個となる。より具体的には、図２６の右下の例において、４つの輝度成分Ｌｕ１〜Ｌｕ４のうち、輝度成分Ｌｕ１以外の輝度成分Ｌｕ２、Ｌｕ３及びＬｕ４が間引かれている。同様に、４つの輝度成分Ｌｕ５〜Ｌｕ８のうち、輝度成分Ｌｕ５以外の輝度成分Ｌｕ６、Ｌｕ７及びＬｕ８が間引かれている。図２６の左下の色差成分Ｃｕ１は、間引かれていない輝度成分Ｌｕ１に対応する。従って、予測部４６及び予測部９６は、色差成分Ｃｕ１の予測値を、上記式（１）の右辺に輝度成分Ｌｕ１の値を代入することにより生成することができる。一方、例えば色差成分Ｃｕ２は、間引かれた輝度成分Ｌｕ２に対応する。この場合、予測部４６及び予測部９６は、色差成分Ｃｕ２の予測値を、間引かれていないいずれかの輝度成分の値を用いて生成する。例えば、色差成分Ｃｕ２の予測値は、色差成分Ｃｕ１の予測値の複製であってもよく、又は色差成分Ｃｕ１及びＣｕ５の２つの予測値から線型補間された値であってもよい。
【０１７５】
より一般的には、例えば、間引き率２５％の場合の色差成分の予測画素値ＰｒＣ（ｘ，ｙ）は、次の式（５）又は式（６）により表される手法に従って計算されてよい。式（５）は、隣接する画素からの予測値の複製を表現している。
【０１７６】
【数８】
【０１７７】
式（６）は、予測値の線形補間を表現している。
【０１７８】
【数９】
【０１７９】
なお、式（５）及び式（６）は一例に過ぎず、他の式が使用されてもよい。
【０１８０】
上述した間引き率は、輝度成分のリサンプリング後の画素値を保持しておくためのメモリリソースの量を左右する。間引かれる輝度成分の数が多いほど、メモリリソースの消費量は少なくなる。しかしながら、間引かれる輝度成分の数が多ければ、色差成分の予測の精度が低下する可能性がある。そこで、間引き率を指定するためのパラメータが、符号化ストリームのヘッダ（例えばシーケンスパラメータセット、ピクチャパラメータセット又はスライスヘッダ）において指定されてもよい。この場合、画像復号装置６０の予測部９６は、上記ヘッダから取得されるパラメータに基づいて、間引き率を決定する。それにより、装置ごとの要件（例えばメモリリソースの節約及び符号化効率のいずれを優先するか、など）に応じて、柔軟に間引き率を変更することが可能となる。
【０１８１】
図２７Ａ〜図２７Ｃを参照すると、図２６の例とは異なり、間引き率はそれぞれ５０％である。これらの例においては、リサンプリング後の輝度成分のうち、半分の輝度成分が間引かれる。但し、間引き率が同じであっても、間引かれる輝度成分の位置のパターン（以下、間引きパターンという）は互いに異なる。
【０１８２】
図２７Ａの例において、４つの輝度成分Ｌｕ１〜Ｌｕ４のうち、輝度成分Ｌｕ２及びＬｕ４が間引かれている。同様に、４つの輝度成分Ｌｕ５〜Ｌｕ８のうち、輝度成分Ｌｕ６及びＬｕ８が間引かれている。この場合にも、例えば、間引かれた輝度成分Ｌｕ２に対応する色差成分Ｃｕ２の予測値は、色差成分Ｃｕ１の予測値の複製であってもよく、又は色差成分Ｃｕ１及びＣｕ５の２つの予測値から線型補間された値であってもよい。図２７Ａの間引きパターンでは、間引かれる輝度成分がＰＵ内で均一に分散している。そのため、図２７Ａの間引きパターンは、間引き率の等しい他の間引きパターンと比較して、より高い予測精度を実現し得る。
【０１８３】
図２７Ｂの例においては、行単位で１行おきに輝度成分が間引かれている。このような間引きパターンは、例えばラインメモリによって画素値が保持される装置において、１回のメモリアクセスでより多くの輝度成分の値にアクセスできる点で有益である。一方、図２７Ｃの例においては、列単位で１列おきに輝度成分が間引かれている。このような間引きパターンは、例えばクロマフォーマットが４：２：２であって垂直方向の画素数がより多い場合に、列方向の周波数成分をより多く維持できる点で有益である。
【０１８４】
これら複数の間引きパターンの候補からいずれかの間引きパターンを指定するためのパラメータが、符号化ストリームのヘッダにおいて指定されてよい。この場合、画像復号装置６０の予測部９６は、上記ヘッダから取得されるパラメータに基づいて、間引かれる輝度成分の位置を決定する。それにより、装置ごとの要件に応じて柔軟に間引きパターンを変更することが可能となる。
【０１８５】
また、予測部４６及び予測部９６は、上述した参照比に応じて間引き率を決定してもよい。例えば、予測関数の係数の算出の際に参照される参照画素数がより少なければ、より多くの輝度成分が間引かれ得る。その際、予測部４６及び予測部９６は、参照画素の間引き位置に対応する位置の輝度成分を間引いてよい。
【０１８６】
図２８Ａ及び図２８Ｂは、それぞれ参照画素の間引き位置と輝度成分の間引き位置との対応の例を示している。図２８Ａの例において、ＰＵサイズは１６×１６画素、クロマフォーマットは４：２：０、参照比は２：１である。この場合、例えば間引き率は２５％に決定され、図２６の例と同様の間引きパターンが選択され得る。一方、図２８Ｂの例において、ＰＵサイズは１６×１６画素、クロマフォーマットは４：２：０、垂直方向の参照比は２：１、水平方向の参照比は１：１である。この場合、例えば間引き率は５０％に決定され、図２７Ｂの例と同様の間引きパターンが選択され得る。
【０１８７】
図２８Ａの例においては、参照画素が間引かれる行について、予測対象ブロックの全ての輝度成分が間引かれている。参照画素が間引かれる列についても、予測対象ブロックの全ての輝度成分が間引かれている。このように間引き位置を決定することにより、間引き位置の判定が単純化されるため、本変形例に係る間引き処理の実装をより容易にすることができる。図２８Ｂの例においても、参照画素が間引かれる行について、予測対象ブロックの全ての輝度成分が間引かれている。このように間引き位置を決定することにより、間引き位置に相当する行について、参照画素か予測対象画素かを問わず輝度成分へのアクセスを完全にスキップすることができる。それにより、間引き処理の実装がより容易になると共に、メモリアクセスの回数を減らして処理速度を高めることができる。
【０１８８】
＜６．応用例＞
上述した実施形態に係る画像符号化装置１０及び画像復号装置６０は、衛星放送、ケーブルＴＶなどの有線放送、インターネット上での配信、及びセルラー通信による端末への配信などにおける送信機若しくは受信機、光ディスク、磁気ディスク及びフラッシュメモリなどの媒体に画像を記録する記録装置、又は、これら記憶媒体から画像を再生する再生装置などの様々な電子機器に応用され得る。以下、４つの応用例について説明する。
【０１８９】
［６−１．第１の応用例］
図２９は、上述した実施形態を適用したテレビジョン装置の概略的な構成の一例を示している。テレビジョン装置９００は、アンテナ９０１、チューナ９０２、デマルチプレクサ９０３、デコーダ９０４、映像信号処理部９０５、表示部９０６、音声信号処理部９０７、スピーカ９０８、外部インタフェース９０９、制御部９１０、ユーザインタフェース９１１、及びバス９１２を備える。
【０１９０】
チューナ９０２は、アンテナ９０１を介して受信される放送信号から所望のチャンネルの信号を抽出し、抽出した信号を復調する。そして、チューナ９０２は、復調により得られた符号化ビットストリームをデマルチプレクサ９０３へ出力する。即ち、チューナ９０２は、画像が符号化されている符号化ストリームを受信する、テレビジョン装置９００における伝送手段としての役割を有する。
【０１９１】
デマルチプレクサ９０３は、符号化ビットストリームから視聴対象の番組の映像ストリーム及び音声ストリームを分離し、分離した各ストリームをデコーダ９０４へ出力する。また、デマルチプレクサ９０３は、符号化ビットストリームからＥＰＧ（Electronic Program Guide）などの補助的なデータを抽出し、抽出したデータを制御部９１０に供給する。なお、デマルチプレクサ９０３は、符号化ビットストリームがスクランブルされている場合には、デスクランブルを行ってもよい。
【０１９２】
デコーダ９０４は、デマルチプレクサ９０３から入力される映像ストリーム及び音声ストリームを復号する。そして、デコーダ９０４は、復号処理により生成される映像データを映像信号処理部９０５へ出力する。また、デコーダ９０４は、復号処理により生成される音声データを音声信号処理部９０７へ出力する。
【０１９３】
映像信号処理部９０５は、デコーダ９０４から入力される映像データを再生し、表示部９０６に映像を表示させる。また、映像信号処理部９０５は、ネットワークを介して供給されるアプリケーション画面を表示部９０６に表示させてもよい。また、映像信号処理部９０５は、映像データについて、設定に応じて、例えばノイズ除去などの追加的な処理を行ってもよい。さらに、映像信号処理部９０５は、例えばメニュー、ボタン又はカーソルなどのＧＵＩ（Graphical User Interface）の画像を生成し、生成した画像を出力画像に重畳してもよい。
【０１９４】
表示部９０６は、映像信号処理部９０５から供給される駆動信号により駆動され、表示デバイス（例えば、液晶ディスプレイ、プラズマディスプレイ又はＯＬＥＤなど）の映像面上に映像又は画像を表示する。
【０１９５】
音声信号処理部９０７は、デコーダ９０４から入力される音声データについてＤ／Ａ変換及び増幅などの再生処理を行い、スピーカ９０８から音声を出力させる。また、音声信号処理部９０７は、音声データについてノイズ除去などの追加的な処理を行ってもよい。
【０１９６】
外部インタフェース９０９は、テレビジョン装置９００と外部機器又はネットワークとを接続するためのインタフェースである。例えば、外部インタフェース９０９を介して受信される映像ストリーム又は音声ストリームが、デコーダ９０４により復号されてもよい。即ち、外部インタフェース９０９もまた、画像が符号化されている符号化ストリームを受信する、テレビジョン装置９００における伝送手段としての役割を有する。
【０１９７】
制御部９１０は、ＣＰＵ（Central Processing Unit）などのプロセッサ、並びにＲＡＭ（Random Access Memory）及びＲＯＭ（Read Only Memory）などのメモリを有する。メモリは、ＣＰＵにより実行されるプログラム、プログラムデータ、ＥＰＧデータ、及びネットワークを介して取得されるデータなどを記憶する。メモリにより記憶されるプログラムは、例えば、テレビジョン装置９００の起動時にＣＰＵにより読み込まれ、実行される。ＣＰＵは、プログラムを実行することにより、例えばユーザインタフェース９１１から入力される操作信号に応じて、テレビジョン装置９００の動作を制御する。
【０１９８】
ユーザインタフェース９１１は、制御部９１０と接続される。ユーザインタフェース９１１は、例えば、ユーザがテレビジョン装置９００を操作するためのボタン及びスイッチ、並びに遠隔制御信号の受信部などを有する。ユーザインタフェース９１１は、これら構成要素を介してユーザによる操作を検出して操作信号を生成し、生成した操作信号を制御部９１０へ出力する。
【０１９９】
バス９１２は、チューナ９０２、デマルチプレクサ９０３、デコーダ９０４、映像信号処理部９０５、音声信号処理部９０７、外部インタフェース９０９及び制御部９１０を相互に接続する。
【０２００】
このように構成されたテレビジョン装置９００において、デコーダ９０４は、上述した実施形態に係る画像復号装置６０の機能を有する。それにより、テレビジョン装置９００での画像の復号に際して、ＬＭモードが採用される場合に、ブロックサイズの拡大に伴うメモリリソースの消費量の増大を抑制することができる。
【０２０１】
［６−２．第２の応用例］
図３０は、上述した実施形態を適用した携帯電話機の概略的な構成の一例を示している。携帯電話機９２０は、アンテナ９２１、通信部９２２、音声コーデック９２３、スピーカ９２４、マイクロホン９２５、カメラ部９２６、画像処理部９２７、多重分離部９２８、記録再生部９２９、表示部９３０、制御部９３１、操作部９３２、及びバス９３３を備える。
【０２０２】
アンテナ９２１は、通信部９２２に接続される。スピーカ９２４及びマイクロホン９２５は、音声コーデック９２３に接続される。操作部９３２は、制御部９３１に接続される。バス９３３は、通信部９２２、音声コーデック９２３、カメラ部９２６、画像処理部９２７、多重分離部９２８、記録再生部９２９、表示部９３０、及び制御部９３１を相互に接続する。
【０２０３】
携帯電話機９２０は、音声通話モード、データ通信モード、撮影モード及びテレビ電話モードを含む様々な動作モードで、音声信号の送受信、電子メール又は画像データの送受信、画像の撮像、及びデータの記録などの動作を行う。
【０２０４】
音声通話モードにおいて、マイクロホン９２５により生成されるアナログ音声信号は、音声コーデック９２３に供給される。音声コーデック９２３は、アナログ音声信号を音声データへ変換し、変換された音声データをＡ／Ｄ変換し圧縮する。そして、音声コーデック９２３は、圧縮後の音声データを通信部９２２へ出力する。通信部９２２は、音声データを符号化及び変調し、送信信号を生成する。そして、通信部９２２は、生成した送信信号をアンテナ９２１を介して基地局（図示せず）へ送信する。また、通信部９２２は、アンテナ９２１を介して受信される無線信号を増幅し及び周波数変換し、受信信号を取得する。そして、通信部９２２は、受信信号を復調及び復号して音声データを生成し、生成した音声データを音声コーデック９２３へ出力する。音声コーデック９２３は、音声データを伸張し及びＤ／Ａ変換し、アナログ音声信号を生成する。そして、音声コーデック９２３は、生成した音声信号をスピーカ９２４に供給して音声を出力させる。
【０２０５】
また、データ通信モードにおいて、例えば、制御部９３１は、操作部９３２を介するユーザによる操作に応じて、電子メールを構成する文字データを生成する。また、制御部９３１は、文字を表示部９３０に表示させる。また、制御部９３１は、操作部９３２を介するユーザからの送信指示に応じて電子メールデータを生成し、生成した電子メールデータを通信部９２２へ出力する。通信部９２２は、電子メールデータを符号化及び変調し、送信信号を生成する。そして、通信部９２２は、生成した送信信号をアンテナ９２１を介して基地局（図示せず）へ送信する。また、通信部９２２は、アンテナ９２１を介して受信される無線信号を増幅し及び周波数変換し、受信信号を取得する。そして、通信部９２２は、受信信号を復調及び復号して電子メールデータを復元し、復元した電子メールデータを制御部９３１へ出力する。制御部９３１は、表示部９３０に電子メールの内容を表示させると共に、電子メールデータを記録再生部９２９の記憶媒体に記憶させる。
【０２０６】
記録再生部９２９は、読み書き可能な任意の記憶媒体を有する。例えば、記憶媒体は、ＲＡＭ又はフラッシュメモリなどの内蔵型の記憶媒体であってもよく、ハードディスク、磁気ディスク、光磁気ディスク、光ディスク、ＵＳＢメモリ、又はメモリカードなどの外部装着型の記憶媒体であってもよい。
【０２０７】
また、撮影モードにおいて、例えば、カメラ部９２６は、被写体を撮像して画像データを生成し、生成した画像データを画像処理部９２７へ出力する。画像処理部９２７は、カメラ部９２６から入力される画像データを符号化し、符号化ストリームを記録再生部９２９の記憶媒体に記憶させる。
【０２０８】
また、テレビ電話モードにおいて、例えば、多重分離部９２８は、画像処理部９２７により符号化された映像ストリームと、音声コーデック９２３から入力される音声ストリームとを多重化し、多重化したストリームを通信部９２２へ出力する。通信部９２２は、ストリームを符号化及び変調し、送信信号を生成する。そして、通信部９２２は、生成した送信信号をアンテナ９２１を介して基地局（図示せず）へ送信する。また、通信部９２２は、アンテナ９２１を介して受信される無線信号を増幅し及び周波数変換し、受信信号を取得する。これら送信信号及び受信信号には、符号化ビットストリームが含まれ得る。そして、通信部９２２は、受信信号を復調及び復号してストリームを復元し、復元したストリームを多重分離部９２８へ出力する。多重分離部９２８は、入力されるストリームから映像ストリーム及び音声ストリームを分離し、映像ストリームを画像処理部９２７、音声ストリームを音声コーデック９２３へ出力する。画像処理部９２７は、映像ストリームを復号し、映像データを生成する。映像データは、表示部９３０に供給され、表示部９３０により一連の画像が表示される。音声コーデック９２３は、音声ストリームを伸張し及びＤ／Ａ変換し、アナログ音声信号を生成する。そして、音声コーデック９２３は、生成した音声信号をスピーカ９２４に供給して音声を出力させる。
【０２０９】
このように構成された携帯電話機９２０において、画像処理部９２７は、上述した実施形態に係る画像符号化装置１０及び画像復号装置６０の機能を有する。それにより、携帯電話機９２０での画像の符号化及び復号に際して、ＬＭモードが採用される場合に、ブロックサイズの拡大に伴うメモリリソースの消費量の増大を抑制することができる。
【０２１０】
［６−３．第３の応用例］
図３１は、上述した実施形態を適用した記録再生装置の概略的な構成の一例を示している。記録再生装置９４０は、例えば、受信した放送番組の音声データ及び映像データを符号化して記録媒体に記録する。また、記録再生装置９４０は、例えば、他の装置から取得される音声データ及び映像データを符号化して記録媒体に記録してもよい。また、記録再生装置９４０は、例えば、ユーザの指示に応じて、記録媒体に記録されているデータをモニタ及びスピーカ上で再生する。このとき、記録再生装置９４０は、音声データ及び映像データを復号する。
【０２１１】
記録再生装置９４０は、チューナ９４１、外部インタフェース９４２、エンコーダ９４３、ＨＤＤ（Hard Disk Drive）９４４、ディスクドライブ９４５、セレクタ９４６、デコーダ９４７、ＯＳＤ（On-Screen Display）９４８、制御部９４９、及びユーザインタフェース９５０を備える。
【０２１２】
チューナ９４１は、アンテナ（図示せず）を介して受信される放送信号から所望のチャンネルの信号を抽出し、抽出した信号を復調する。そして、チューナ９４１は、復調により得られた符号化ビットストリームをセレクタ９４６へ出力する。即ち、チューナ９４１は、記録再生装置９４０における伝送手段としての役割を有する。
【０２１３】
外部インタフェース９４２は、記録再生装置９４０と外部機器又はネットワークとを接続するためのインタフェースである。外部インタフェース９４２は、例えば、ＩＥＥＥ１３９４インタフェース、ネットワークインタフェース、ＵＳＢインタフェース、又はフラッシュメモリインタフェースなどであってよい。例えば、外部インタフェース９４２を介して受信される映像データ及び音声データは、エンコーダ９４３へ入力される。即ち、外部インタフェース９４２は、記録再生装置９４０における伝送手段としての役割を有する。
【０２１４】
エンコーダ９４３は、外部インタフェース９４２から入力される映像データ及び音声データが符号化されていない場合に、映像データ及び音声データを符号化する。そして、エンコーダ９４３は、符号化ビットストリームをセレクタ９４６へ出力する。
【０２１５】
ＨＤＤ９４４は、映像及び音声などのコンテンツデータが圧縮された符号化ビットストリーム、各種プログラム及びその他のデータを内部のハードディスクに記録する。また、ＨＤＤ９４４は、映像及び音声の再生時に、これらデータをハードディスクから読み出す。
【０２１６】
ディスクドライブ９４５は、装着されている記録媒体へのデータの記録及び読み出しを行う。ディスクドライブ９４５に装着される記録媒体は、例えばＤＶＤディスク（ＤＶＤ−Ｖｉｄｅｏ、ＤＶＤ−ＲＡＭ、ＤＶＤ−Ｒ、ＤＶＤ−ＲＷ、ＤＶＤ＋Ｒ、ＤＶＤ＋ＲＷ等）又はＢｌｕ−ｒａｙ（登録商標）ディスクなどであってよい。
【０２１７】
セレクタ９４６は、映像及び音声の記録時には、チューナ９４１又はエンコーダ９４３から入力される符号化ビットストリームを選択し、選択した符号化ビットストリームをＨＤＤ９４４又はディスクドライブ９４５へ出力する。また、セレクタ９４６は、映像及び音声の再生時には、ＨＤＤ９４４又はディスクドライブ９４５から入力される符号化ビットストリームをデコーダ９４７へ出力する。
【０２１８】
デコーダ９４７は、符号化ビットストリームを復号し、映像データ及び音声データを生成する。そして、デコーダ９４７は、生成した映像データをＯＳＤ９４８へ出力する。また、デコーダ９０４は、生成した音声データを外部のスピーカへ出力する。
【０２１９】
ＯＳＤ９４８は、デコーダ９４７から入力される映像データを再生し、映像を表示する。また、ＯＳＤ９４８は、表示する映像に、例えばメニュー、ボタン又はカーソルなどのＧＵＩの画像を重畳してもよい。
【０２２０】
制御部９４９は、ＣＰＵなどのプロセッサ、並びにＲＡＭ及びＲＯＭなどのメモリを有する。メモリは、ＣＰＵにより実行されるプログラム、及びプログラムデータなどを記憶する。メモリにより記憶されるプログラムは、例えば、記録再生装置９４０の起動時にＣＰＵにより読み込まれ、実行される。ＣＰＵは、プログラムを実行することにより、例えばユーザインタフェース９５０から入力される操作信号に応じて、記録再生装置９４０の動作を制御する。
【０２２１】
ユーザインタフェース９５０は、制御部９４９と接続される。ユーザインタフェース９５０は、例えば、ユーザが記録再生装置９４０を操作するためのボタン及びスイッチ、並びに遠隔制御信号の受信部などを有する。ユーザインタフェース９５０は、これら構成要素を介してユーザによる操作を検出して操作信号を生成し、生成した操作信号を制御部９４９へ出力する。
【０２２２】
このように構成された記録再生装置９４０において、エンコーダ９４３は、上述した実施形態に係る画像符号化装置１０の機能を有する。また、デコーダ９４７は、上述した実施形態に係る画像復号装置６０の機能を有する。それにより、記録再生装置９４０での画像の符号化及び復号に際して、ＬＭモードが採用される場合に、ブロックサイズの拡大に伴うメモリリソースの消費量の増大を抑制することができる。
【０２２３】
［６−４．第４の応用例］
図３２は、上述した実施形態を適用した撮像装置の概略的な構成の一例を示している。撮像装置９６０は、被写体を撮像して画像を生成し、画像データを符号化して記録媒体に記録する。
【０２２４】
撮像装置９６０は、光学ブロック９６１、撮像部９６２、信号処理部９６３、画像処理部９６４、表示部９６５、外部インタフェース９６６、メモリ９６７、メディアドライブ９６８、ＯＳＤ９６９、制御部９７０、ユーザインタフェース９７１、及びバス９７２を備える。
【０２２５】
光学ブロック９６１は、撮像部９６２に接続される。撮像部９６２は、信号処理部９６３に接続される。表示部９６５は、画像処理部９６４に接続される。ユーザインタフェース９７１は、制御部９７０に接続される。バス９７２は、画像処理部９６４、外部インタフェース９６６、メモリ９６７、メディアドライブ９６８、ＯＳＤ９６９、及び制御部９７０を相互に接続する。
【０２２６】
光学ブロック９６１は、フォーカスレンズ及び絞り機構などを有する。光学ブロック９６１は、被写体の光学像を撮像部９６２の撮像面に結像させる。撮像部９６２は、ＣＣＤ又はＣＭＯＳなどのイメージセンサを有し、撮像面に結像した光学像を光電変換によって電気信号としての画像信号に変換する。そして、撮像部９６２は、画像信号を信号処理部９６３へ出力する。
【０２２７】
信号処理部９６３は、撮像部９６２から入力される画像信号に対してニー補正、ガンマ補正、色補正などの種々のカメラ信号処理を行う。信号処理部９６３は、カメラ信号処理後の画像データを画像処理部９６４へ出力する。
【０２２８】
画像処理部９６４は、信号処理部９６３から入力される画像データを符号化し、符号化データを生成する。そして、画像処理部９６４は、生成した符号化データを外部インタフェース９６６又はメディアドライブ９６８へ出力する。また、画像処理部９６４は、外部インタフェース９６６又はメディアドライブ９６８から入力される符号化データを復号し、画像データを生成する。そして、画像処理部９６４は、生成した画像データを表示部９６５へ出力する。また、画像処理部９６４は、信号処理部９６３から入力される画像データを表示部９６５へ出力して画像を表示させてもよい。また、画像処理部９６４は、ＯＳＤ９６９から取得される表示用データを、表示部９６５へ出力する画像に重畳してもよい。
【０２２９】
ＯＳＤ９６９は、例えばメニュー、ボタン又はカーソルなどのＧＵＩの画像を生成して、生成した画像を画像処理部９６４へ出力する。
【０２３０】
外部インタフェース９６６は、例えばＵＳＢ入出力端子として構成される。外部インタフェース９６６は、例えば、画像の印刷時に、撮像装置９６０とプリンタとを接続する。また、外部インタフェース９６６には、必要に応じてドライブが接続される。ドライブには、例えば、磁気ディスク又は光ディスクなどのリムーバブルメディアが装着され、リムーバブルメディアから読み出されるプログラムが、撮像装置９６０にインストールされ得る。さらに、外部インタフェース９６６は、ＬＡＮ又はインターネットなどのネットワークに接続されるネットワークインタフェースとして構成されてもよい。即ち、外部インタフェース９６６は、撮像装置９６０における伝送手段としての役割を有する。
【０２３１】
メディアドライブ９６８に装着される記録媒体は、例えば、磁気ディスク、光磁気ディスク、光ディスク、又は半導体メモリなどの、読み書き可能な任意のリムーバブルメディアであってよい。また、メディアドライブ９６８に記録媒体が固定的に装着され、例えば、内蔵型ハードディスクドライブ又はＳＳＤ（Solid State Drive）のような非可搬性の記憶部が構成されてもよい。
【０２３２】
制御部９７０は、ＣＰＵなどのプロセッサ、並びにＲＡＭ及びＲＯＭなどのメモリを有する。メモリは、ＣＰＵにより実行されるプログラム、及びプログラムデータなどを記憶する。メモリにより記憶されるプログラムは、例えば、撮像装置９６０の起動時にＣＰＵにより読み込まれ、実行される。ＣＰＵは、プログラムを実行することにより、例えばユーザインタフェース９７１から入力される操作信号に応じて、撮像装置９６０の動作を制御する。
【０２３３】
ユーザインタフェース９７１は、制御部９７０と接続される。ユーザインタフェース９７１は、例えば、ユーザが撮像装置９６０を操作するためのボタン及びスイッチなどを有する。ユーザインタフェース９７１は、これら構成要素を介してユーザによる操作を検出して操作信号を生成し、生成した操作信号を制御部９７０へ出力する。
【０２３４】
このように構成された撮像装置９６０において、画像処理部９６４は、上述した実施形態に係る画像符号化装置１０及び画像復号装置６０の機能を有する。それにより、撮像装置９６０での画像の符号化及び復号に際して、ＬＭモードが採用される場合に、ブロックサイズの拡大に伴うメモリリソースの消費量の増大を抑制することができる。
【０２３５】
＜７．まとめ＞
ここまで、図１〜図３２を用いて、一実施形態に係る画像符号化装置１０及び画像復号装置６０について説明した。本実施形態によれば、符号化単位内の第１の輝度予測単位の輝度成分が符号化された後、第１の輝度予測単位に対応する第１の色差予測単位の色差成分が、第１の色差予測単位に対応しない第２の輝度予測単位の輝度成分の前に符号化される。従って、そのような符号化の順序に従って符号化ストリームを復号する際、バッファリングされる第１の輝度予測単位の輝度成分の値に基づいて、第１の色差予測単位についてＬＭモードでイントラ予測を実行することができる。また、第１の色差予測単位についてイントラ予測が終了すれば、バッファをクリアして新たに第２の輝度予測単位の輝度成分の値をバッファリングすることができる。従って、ＬＭモードの採用のために大規模なメモリを用意しなくてもよいこととなる。即ち、動的に構築される予測関数に基づくイントラ予測が行われる場合に必要とされるメモリリソースの量を削減することができる。
【０２３６】
また、本実施形態によれば、ＬＭモードにおいては、１つの色差予測単位に対応する輝度予測単位の数は原則として１つに制限される。即ち、互いに相関の低い複数の輝度予測単位にわたる輝度成分の値に基づいて、１つの色差成分についてＬＭモードでイントラ予測が行われることがない。従って、高い予測精度を期待できない予測モードが探索の対象から除外されるため、画像の符号化に要する処理コストを低減することができる。但し、輝度予測単位のサイズが４×４画素である場合には、ＬＭモードにおいて例外的に１つの色差予測単位に対応する輝度予測単位の数が複数となることが許容されてもよい。かかる構成によれば、予測単位のサイズが小さい場合に限ってＬＭモードが活用される機会を増やして符号化効率を高めることが可能となる。
【０２３７】
また、本実施形態によれば、画像の符号化及び復号における色差成分のイントラ予測にあたり、対応する輝度成分の値の関数を用いるＬＭモードが採用される場合に、関数の係数の算出の際に参照される参照画素の数のブロックサイズに対する比率が、可変的に制御される。従って、ブロックサイズの拡大に伴う参照画素数の増大を抑制して、処理コストの増加を回避し又は緩和することができる。
【０２３８】
また、本実施形態によれば、ブロックサイズが所定のサイズを上回る場合に参照画素数が一定となるように上記比率が制御され得る。かかる構成によれば、複数のブロックサイズについて共通的な回路又はロジックを用いて、上記関数の係数を算出することができる。従って、ＬＭモードの採用に起因する回路規模又はロジックの規模の増大をも抑制することができる。
【０２３９】
また、本実施形態によれば、ブロックサイズが所定のサイズを下回る場合に参照画素が過剰に削減されることがない。従って、参照画素数の不足によってＬＭモードでの予測の精度が低下することが防がれる。なお、比較的大きいブロックサイズは、通常、ブロック内の画像が単調であって予測が容易である場合に設定され得る。従って、ブロックサイズがより大きい場合により多くの参照画素を削減したとしても、それにより予測の精度が著しく低下するリスクは小さい。
【０２４０】
また、本実施形態によれば、上記比率は、ブロックの垂直方向とブロックの水平方向とで別々に制御され得る。かかる構成によれば、クロマフォーマットに依存することなく、共通的な回路又はロジックを用いて上記関数の係数を算出することが可能となる。また、比較的少ないメモリアクセスで参照可能な水平方向に沿って並ぶ参照画素をより多く残し、垂直方向に沿って並ぶ参照画素をより多く削減することも可能となる。さらに、短距離イントラ予測法が用いられる場合に、ブロックの形状に応じて、削減すべき参照画素を適応的に変化させることも可能となる。
【０２４１】
また、上述した変形例によれば、ＬＭモードの導入に関連するメモリリソースの消費量を一層効果的に削減することができる。
【０２４２】
なお、本明細書では、イントラ予測に関する情報及びインター予測に関する情報が、符号化ストリームのヘッダに多重化されて、符号化側から復号側へ伝送される例について主に説明した。しかしながら、これら情報を伝送する手法はかかる例に限定されない。例えば、これら情報は、符号化ビットストリームに多重化されることなく、符号化ビットストリームと関連付けられた別個のデータとして伝送され又は記録されてもよい。ここで、「関連付ける」という用語は、ビットストリームに含まれる画像（スライス若しくはブロックなど、画像の一部であってもよい）と当該画像に対応する情報とを復号時にリンクさせ得るようにすることを意味する。即ち、情報は、画像（又はビットストリーム）とは別の伝送路上で伝送されてもよい。また、情報は、画像（又はビットストリーム）とは別の記録媒体（又は同一の記録媒体の別の記録エリア）に記録されてもよい。さらに、情報と画像（又はビットストリーム）とは、例えば、複数フレーム、１フレーム、又はフレーム内の一部分などの任意の単位で互いに関連付けられてよい。
【０２４３】
以上、添付図面を参照しながら本開示の好適な実施形態について詳細に説明したが、本開示の技術的範囲はかかる例に限定されない。本開示の技術分野における通常の知識を有する者であれば、特許請求の範囲に記載された技術的思想の範疇内において、各種の変更例または修正例に想到し得ることは明らかであり、これらについても、当然に本開示の技術的範囲に属するものと了解される。
【０２４４】
なお、以下のような構成も本開示の技術的範囲に属する。
（１）
符号化単位内の第１の輝度予測単位の輝度成分、前記第１の輝度予測単位に対応する第１の色差予測単位の色差成分、及び前記符号化単位内の前記第１の色差予測単位に対応しない第２の輝度予測単位の輝度成分を、前記第１の輝度予測単位の輝度成分、前記第１の色差予測単位の色差成分及び前記第２の輝度予測単位の輝度成分の順に復号する復号部、
を備える画像処理装置。
（２）
輝度成分に基づく色差成分の予測を表す線型モデル（ＬＭ）モードが指定された場合に、前記復号部により復号される前記第１の色差予測単位の色差成分の予測値を、前記第１の輝度予測単位の輝度成分の値に基づく関数を用いて生成する予測部、をさらに備える、前記（１）に記載の画像処理装置。
（３）
前記ＬＭモードにおいて、１つの色差予測単位に対応する輝度予測単位の数は１つに制限される、前記（２）に記載の画像処理装置。
（４）
輝度予測単位のサイズが４×４画素である場合には、前記ＬＭモードにおいて例外的に１つの色差予測単位に対応する輝度予測単位の数が複数となることが許容される、前記（３）に記載の画像処理装置。
（５）
前記復号部は、前記第１の輝度予測単位のサイズが４×４画素である場合には、前記第１の輝度予測単位を含む１つ以上の４×４画素の輝度予測単位の輝度成分を復号した後、前記第１の色差予測単位の色差成分を復号する、前記（４）に記載の画像処理装置。
（６）
前記予測部は、前記ＬＭモードのための輝度成分のバッファとして、色差予測単位の最大サイズ以下のサイズのバッファを有する、前記（３）〜（５）のいずれか１項に記載の画像処理装置。
（７）
符号化単位内の第１の輝度予測単位の輝度成分、前記第１の輝度予測単位に対応する第１の色差予測単位の色差成分、及び前記符号化単位内の前記第１の色差予測単位に対応しない第２の輝度予測単位の輝度成分を、前記第１の輝度予測単位の輝度成分、前記第１の色差予測単位の色差成分及び前記第２の輝度予測単位の輝度成分の順に復号すること、
を含む画像処理方法。
（８）
符号化単位内の第１の輝度予測単位の輝度成分、前記第１の輝度予測単位に対応する第１の色差予測単位の色差成分、及び前記符号化単位内の前記第１の色差予測単位に対応しない第２の輝度予測単位の輝度成分を、前記第１の輝度予測単位の輝度成分、前記第１の色差予測単位の色差成分及び前記第２の輝度予測単位の輝度成分の順に符号化する符号化部、
を備える画像処理装置。
（９）
輝度成分に基づく色差成分の予測を表す線型モデル（ＬＭ）モードにおいて、前記第１の色差予測単位の色差成分の予測値を、前記第１の輝度予測単位の輝度成分の値に基づく関数を用いて生成する予測部、をさらに備える、前記（８）に記載の画像処理装置。
（１０）
前記予測部は、色差予測単位のサイズが対応する輝度予測単位のサイズからクロマフォーマットに応じて定まるサイズよりも大きい場合には、当該色差予測単位について前記ＬＭモードを探索しない、前記（９）に記載の画像処理装置。
（１１）
前記予測部は、前記第１の色差予測単位及び前記第１の輝度予測単位のサイズがそれぞれ４×４画素である場合には、前記第１の色差予測単位について、前記第１の輝度予測単位を含む複数の輝度予測単位に基づく前記ＬＭモードを例外的に探索する、前記（１０）に記載の画像処理装置。
（１２）
符号化単位内の第１の輝度予測単位の輝度成分、前記第１の輝度予測単位に対応する第１の色差予測単位の色差成分、及び前記符号化単位内の前記第１の色差予測単位に対応しない第２の輝度予測単位の輝度成分を、前記第１の輝度予測単位の輝度成分、前記第１の色差予測単位の色差成分及び前記第２の輝度予測単位の輝度成分の順に符号化すること、
を含む画像処理方法。
【符号の説明】
【０２４５】
１０ 画像符号化装置（画像処理装置）
１６ 符号化部
４０ イントラ予測部
６０ 画像復号装置（画像処理装置）
６２ 復号部
９０ イントラ予測部
【技術分野】
【０００１】
本開示は、画像処理装置及び画像処理方法に関する。
【背景技術】
【０００２】
従来、デジタル画像を効率的に伝送し又は蓄積することを目的とし、画像に特有の冗長性を利用して、例えば離散コサイン変換などの直交変換と動き補償とにより画像の情報量を圧縮する圧縮技術が普及している。例えば、ＩＴＵ−Ｔの策定したＨ．２６ｘ標準又はＭＰＥＧ（Moving Picture Experts Group）の策定したＭＰＥＧ−ｙ標準などの標準技術に準拠した画像符号化装置及び画像復号装置は、放送局による画像の蓄積及び配信、並びに一般ユーザによる画像の受信及び蓄積など、様々な場面で広く利用されている。
【０００３】
Ｈ．２６ｘ標準（ITU-T Q6/16 VCEG）は、当初、テレビ電話又はテレビ会議などの通信の用途に適合する符号化を目的として策定された標準規格である。Ｈ．２６ｘ標準は、ＭＰＥＧ−ｙ標準と比較して、符号化及び復号により多くの演算量を要する一方、より高い圧縮率を実現できることが知られている。また、ＭＰＥＧ４の活動の一環としてのJoint Model of Enhanced-Compression Video Codingでは、Ｈ．２６ｘ標準をベースとしながら新たな機能をも取り入れることで、より高い圧縮率を実現可能な標準規格が策定された。この標準規格は、２００３年３月に、Ｈ．２６４及びＭＰＥＧ−４ Ｐａｒｔ１０（Advanced Video Coding；ＡＶＣ）という名称で国際標準となった。
【０００４】
上述した画像符号化方式において重要な技術の１つは、画面内予測、即ちイントラ予測である。イントラ予測は、画像内の隣り合うブロック間の相関を利用し、あるブロック内の画素値を隣り合う他のブロックの画素値から予測することで、符号化される情報量を削減する技術である。ＭＰＥＧ４以前の画像符号化方式では、直交変換係数の直流成分及び低周波成分のみがイントラ予測の対象とされていたが、Ｈ．２６４／ＡＶＣでは、全ての画素値についてイントラ予測が可能となった。イントラ予測を用いることで、例えば青空の画像のように、画素値の変化の緩やかな画像については、圧縮率の大幅な向上が見込まれる。
【０００５】
Ｈ．２６４／ＡＶＣでは、例えば、４×４画素、８×８画素又は１６×１６画素のブロックを１つの処理単位（即ち、予測単位（Prediction Unit：ＰＵ））として、イントラ予測が行われ得る。また、Ｈ．２６４／ＡＶＣに続く次世代の画像符号化方式として標準化が進められているＨＥＶＣ（High Efficiency Video Coding）では、予測単位のサイズは、３２×３２画素及び６４×６４画素にまで拡張されようとしている（下記非特許文献１参照）。
【０００６】
イントラ予測に際しては、通常、予測対象のブロックの画素値を予測するために最適な予測モードが、複数の予測モードから選択される。予測モードは、典型的には、参照画素から予測対象画素への予測方向によって区別され得る。例えば、Ｈ．２６４／ＡＶＣにおいて、色差成分の予測に際しては、平均値予測、水平予測、垂直予測及び平面予測という４つの予測モードが選択可能である。さらに、ＨＥＶＣでは、動的に構築される輝度成分の線型関数を予測関数として用いて色差成分の画素値を予測する、線型モデル（ＬＭ：Linear Model）モードと呼ばれる追加的な予測モードが採用される見込みである（下記非特許文献２参照）。
【先行技術文献】
【非特許文献】
【０００７】
【非特許文献１】Sung-Chang Lim， Hahyun Lee， et al. “Intra coding using extended block size”（VCEG-AL28，2009年7月）
【非特許文献２】Jianle Chen， et al. “CE6.a.4: Chroma intra prediction by reconstructed luma samples”（JCTVC-E266，2011年3月）
【発明の概要】
【発明が解決しようとする課題】
【０００８】
しかしながら、上記非特許文献２に記載されている手法では、ＬＭモードの予測関数を構築するために要するメモリリソースが、参照画素が多くなるに従って増加する。特に、予測単位のサイズが最大で６４×６４画素にまで拡張されるＨＥＶＣでは、ＬＭモードの採用のために大規模なメモリを用意する必要性が生じ、これはハードウェアの小型化又は低コスト化の障害となり得る。
【０００９】
従って、ＬＭモードのように、動的に構築される予測関数に基づくイントラ予測が行われる場合に必要とされるメモリリソースの量を削減することのできる手法が提供されることが望ましい。
【課題を解決するための手段】
【００１０】
本開示によれば、符号化単位内の第１の輝度予測単位の輝度成分、前記第１の輝度予測単位に対応する第１の色差予測単位の色差成分、及び前記符号化単位内の前記第１の色差予測単位に対応しない第２の輝度予測単位の輝度成分を、前記第１の輝度予測単位の輝度成分、前記第１の色差予測単位の色差成分及び前記第２の輝度予測単位の輝度成分の順に復号する復号部、を備える画像処理装置が提供される。
【００１１】
上記画像処理装置は、典型的には、画像を復号する画像復号装置として実現され得る。
【００１２】
また、本開示によれば、符号化単位内の第１の輝度予測単位の輝度成分、前記第１の輝度予測単位に対応する第１の色差予測単位の色差成分、及び前記符号化単位内の前記第１の色差予測単位に対応しない第２の輝度予測単位の輝度成分を、前記第１の輝度予測単位の輝度成分、前記第１の色差予測単位の色差成分及び前記第２の輝度予測単位の輝度成分の順に復号すること、を含む画像処理方法が提供される。
【００１３】
また、本開示によれば、符号化単位内の第１の輝度予測単位の輝度成分、前記第１の輝度予測単位に対応する第１の色差予測単位の色差成分、及び前記符号化単位内の前記第１の色差予測単位に対応しない第２の輝度予測単位の輝度成分を、前記第１の輝度予測単位の輝度成分、前記第１の色差予測単位の色差成分及び前記第２の輝度予測単位の輝度成分の順に符号化する符号化部、を備える画像処理装置が提供される。
【００１４】
上記画像処理装置は、典型的には、画像を符号化する画像符号化装置として実現され得る。
【００１５】
また、本開示によれば、符号化単位内の第１の輝度予測単位の輝度成分、前記第１の輝度予測単位に対応する第１の色差予測単位の色差成分、及び前記符号化単位内の前記第１の色差予測単位に対応しない第２の輝度予測単位の輝度成分を、前記第１の輝度予測単位の輝度成分、前記第１の色差予測単位の色差成分及び前記第２の輝度予測単位の輝度成分の順に符号化すること、を含む画像処理方法が提供される。
【発明の効果】
【００１６】
本開示に係る技術によれば、動的に構築される予測関数に基づくイントラ予測が行われる場合に必要とされるメモリリソースの量を削減することができる。
【図面の簡単な説明】
【００１７】
【図１】一実施形態に係る画像符号化装置の構成の一例を示すブロック図である。
【図２】一実施形態に係る画像符号化装置のイントラ予測部の詳細な構成の一例を示すブロック図である。
【図３】４×４画素の予測単位の輝度成分についての予測モードの候補の例を説明するための説明図である。
【図４】図３の例に関連する予測方向について説明するための説明図である。
【図５】図３の例に関連する参照画素について説明するための説明図である。
【図６】８×８画素の予測単位の輝度成分についての予測モードの候補の例を説明するための説明図である。
【図７】１６×１６画素の予測単位の輝度成分についての予測モードの候補の例を説明するための説明図である。
【図８】色差成分についての予測モードの候補の例を説明するための説明図である。
【図９】既存の手法における処理の順序と本実施形態における処理の順序との違いについて説明するための説明図である。
【図１０Ａ】新たな符号化処理の順序の第１の例について説明するための説明図である。
【図１０Ｂ】新たな符号化処理の順序の第２の例について説明するための説明図である。
【図１１Ａ】ＬＭモードにおける参照画素について説明するための第１の説明図である。
【図１１Ｂ】ＬＭモードにおける参照画素について説明するための第２の説明図である。
【図１２】第１のシナリオにおける参照比の定義の一例を示す説明図である。
【図１３Ａ】第１のシナリオに従って制御される参照画素数の第１の例を示す説明図である。
【図１３Ｂ】第１のシナリオに従って制御される参照画素数の第２の例を示す説明図である。
【図１４】第２のシナリオにおける参照比の定義の一例を示す説明図である。
【図１５Ａ】第２のシナリオに従って制御される参照画素数の第１の例を示す説明図である。
【図１５Ｂ】第２のシナリオに従って制御される参照画素数の第２の例を示す説明図である。
【図１５Ｃ】第２のシナリオに従って制御される参照画素数の第３の例を示す説明図である。
【図１５Ｄ】第２のシナリオに従って制御される参照画素数の第４の例を示す説明図である。
【図１６】第３のシナリオにおける参照比の定義の一例を示す説明図である。
【図１７Ａ】第３のシナリオに従って制御される参照画素数の第１の例を示す説明図である。
【図１７Ｂ】第３のシナリオに従って制御される参照画素数の第２の例を示す説明図である。
【図１８】第４のシナリオにおける参照比の定義の一例を示す説明図である。
【図１９Ａ】第４のシナリオに従って制御される参照画素数の第１の例を示す説明図である。
【図１９Ｂ】第４のシナリオに従って制御される参照画素数の第２の例を示す説明図である。
【図２０Ａ】第５のシナリオに従って制御される参照画素数の第１の例を示す説明図である。
【図２０Ｂ】第５のシナリオに従って制御される参照画素数の第２の例を示す説明図である。
【図２１】一実施形態に係る符号化時のイントラ予測処理の流れの一例を示すフローチャートである。
【図２２】図２１のＬＭモード予測処理の詳細な流れの一例を示すフローチャートである。
【図２３】一実施形態に係る画像復号装置の構成の一例を示すブロック図である。
【図２４】一実施形態に係る画像復号装置のイントラ予測部の詳細な構成の一例を示すブロック図である。
【図２５】一実施形態に係る復号時のイントラ予測処理の流れの一例を示すフローチャートである。
【図２６】一変形例に係る間引き処理の一例について説明するための説明図である。
【図２７Ａ】図２６の例とは異なる間引き率について説明するための第１の説明図である。
【図２７Ｂ】図２６の例とは異なる間引き率について説明するための第２の説明図である。
【図２７Ｃ】図２６の例とは異なる間引き率について説明するための第３の説明図である。
【図２８Ａ】参照画素の間引き位置と輝度成分の間引き位置との対応の第１の例について説明するための説明図である。
【図２８Ｂ】参照画素の間引き位置と輝度成分の間引き位置との対応の第２の例について説明するための説明図である。
【図２９】テレビジョン装置の概略的な構成の一例を示すブロック図である。
【図３０】携帯電話機の概略的な構成の一例を示すブロック図である。
【図３１】記録再生装置の概略的な構成の一例を示すブロック図である。
【図３２】撮像装置の概略的な構成の一例を示すブロック図である。
【発明を実施するための形態】
【００１８】
以下に添付図面を参照しながら、本開示の好適な実施の形態について詳細に説明する。なお、本明細書及び図面において、実質的に同一の機能構成を有する構成要素については、同一の符号を付することにより重複説明を省略する。
【００１９】
また、以下の順序で説明を行う。
１．一実施形態に係る画像符号化装置の構成例
２．一実施形態に係る符号化時の処理の流れ
３．一実施形態に係る画像復号装置の構成例
４．一実施形態に係る復号時の処理の流れ
５．変形例
６．応用例
７．まとめ
【００２０】
＜１．一実施形態に係る画像符号化装置の構成例＞
［１−１．全体的な構成例］
図１は、一実施形態に係る画像符号化装置１０の構成の一例を示すブロック図である。図１を参照すると、画像符号化装置１０は、Ａ／Ｄ（Analogue to Digital）変換部１１、並び替えバッファ１２、減算部１３、直交変換部１４、量子化部１５、可逆符号化部１６、蓄積バッファ１７、レート制御部１８、逆量子化部２１、逆直交変換部２２、加算部２３、デブロックフィルタ２４、フレームメモリ２５、セレクタ２６及び２７、動き探索部３０、並びにイントラ予測部４０を備える。
【００２１】
Ａ／Ｄ変換部１１は、アナログ形式で入力される画像信号をデジタル形式の画像データに変換し、一連のデジタル画像データを並び替えバッファ１２へ出力する。
【００２２】
並び替えバッファ１２は、Ａ／Ｄ変換部１１から入力される一連の画像データに含まれる画像を並び替える。並び替えバッファ１２は、符号化処理に係るＧＯＰ（Group of Pictures）構造に応じて画像を並び替えた後、並び替え後の画像データを減算部１３、動き探索部３０及びイントラ予測部４０へ出力する。
【００２３】
減算部１３には、並び替えバッファ１２から入力される画像データ、及び後に説明する動き探索部３０又はイントラ予測部４０から入力される予測画像データが供給される。減算部１３は、並び替えバッファ１２から入力される画像データと予測画像データとの差分である予測誤差データを算出し、算出した予測誤差データを直交変換部１４へ出力する。
【００２４】
直交変換部１４は、減算部１３から入力される予測誤差データについて直交変換を行う。直交変換部１４により実行される直交変換は、例えば、離散コサイン変換（Discrete Cosine Transform：ＤＣＴ）又はカルーネン・レーベ変換などであってよい。直交変換部１４は、直交変換処理により取得される変換係数データを量子化部１５へ出力する。
【００２５】
量子化部１５には、直交変換部１４から入力される変換係数データ、及び後に説明するレート制御部１８からのレート制御信号が供給される。量子化部１５は、変換係数データを量子化し、量子化後の変換係数データ（以下、量子化データという）を可逆符号化部１６及び逆量子化部２１へ出力する。また、量子化部１５は、レート制御部１８からのレート制御信号に基づいて量子化パラメータ（量子化スケール）を切り替えることにより、可逆符号化部１６に入力される量子化データのビットレートを変化させる。
【００２６】
可逆符号化部１６は、量子化部１５から入力される量子化データについて可逆符号化処理を行うことにより、符号化ストリームを生成する。可逆符号化部１６による可逆符号化は、例えば、可変長符号化、又は算術符号化などであってよい。また、可逆符号化部１６は、セレクタ２７から入力されるイントラ予測に関する情報又はインター予測に関する情報を、符号化ストリームのヘッダ領域内に多重化する。そして、可逆符号化部１６は、生成した符号化ストリームを蓄積バッファ１７へ出力する。
【００２７】
通常、１つの符号化単位（Coding Unit：ＣＵ）は、輝度成分（Ｙ）についての１つ以上の予測単位と色差成分（Ｃｂ，Ｃｒ）についてのそれぞれ１つ以上の予測単位とを含む。既存の手法では、これら予測単位の量子化データは、成分別の順序で符号化される。即ち、１つのＣＵ内の輝度成分（Ｙ）のデータが符号化された後、色差成分（Ｃｂ）のデータが符号化され、さらにその後色差成分（Ｃｒ）のデータが符号化される。これに対し、本実施形態において、可逆符号化部１６は、イントラ予測が行われる符号化単位について、ＰＵ別の順序で量子化データを符号化して符号化ストリームを生成する。このような符号化の順序について、後にさらに説明する。
【００２８】
蓄積バッファ１７は、可逆符号化部１６から入力される符号化ストリームを半導体メモリなどの記憶媒体を用いて一時的に蓄積する。そして、蓄積バッファ１７は、蓄積した符号化ストリームを、伝送路の帯域に応じたレートで、図示しない伝送部（例えば、通信インタフェース又は周辺機器との接続インタフェースなど）へ出力する。
【００２９】
レート制御部１８は、蓄積バッファ１７の空き容量を監視する。そして、レート制御部１８は、蓄積バッファ１７の空き容量に応じてレート制御信号を生成し、生成したレート制御信号を量子化部１５へ出力する。例えば、レート制御部１８は、蓄積バッファ１７の空き容量が少ない時には、量子化データのビットレートを低下させるためのレート制御信号を生成する。また、例えば、レート制御部１８は、蓄積バッファ１７の空き容量が十分大きい時には、量子化データのビットレートを高めるためのレート制御信号を生成する。
【００３０】
逆量子化部２１は、量子化部１５から入力される量子化データについて逆量子化処理を行う。そして、逆量子化部２１は、逆量子化処理により取得される変換係数データを、逆直交変換部２２へ出力する。
【００３１】
逆直交変換部２２は、逆量子化部２１から入力される変換係数データについて逆直交変換処理を行うことにより、予測誤差データを復元する。そして、逆直交変換部２２は、復元した予測誤差データを加算部２３へ出力する。
【００３２】
加算部２３は、逆直交変換部２２から入力される復元された予測誤差データと動き探索部３０又はイントラ予測部４０から入力される予測画像データとを加算することにより、復号画像データを生成する。そして、加算部２３は、生成した復号画像データをデブロックフィルタ２４及びフレームメモリ２５へ出力する。
【００３３】
デブロックフィルタ２４は、画像の符号化時に生じるブロック歪みを減少させるためのフィルタリング処理を行う。デブロックフィルタ２４は、加算部２３から入力される復号画像データをフィルタリングすることによりブロック歪みを除去し、フィルタリング後の復号画像データをフレームメモリ２５へ出力する。
【００３４】
フレームメモリ２５は、加算部２３から入力される復号画像データ、及びデブロックフィルタ２４から入力されるフィルタリング後の復号画像データを記憶媒体を用いて記憶する。
【００３５】
セレクタ２６は、インター予測のために使用されるフィルタリング後の復号画像データをフレームメモリ２５から読み出し、読み出した復号画像データを参照画像データとして動き探索部３０に供給する。また、セレクタ２６は、イントラ予測のために使用されるフィルタリング前の復号画像データをフレームメモリ２５から読み出し、読み出した復号画像データを参照画像データとしてイントラ予測部４０に供給する。
【００３６】
セレクタ２７は、インター予測モードにおいて、動き探索部３０から出力されるインター予測の結果としての予測画像データを減算部１３へ出力すると共に、インター予測に関する情報を可逆符号化部１６へ出力する。また、セレクタ２７は、イントラ予測モードにおいて、イントラ予測部４０から出力されるイントラ予測の結果としての予測画像データを減算部１３へ出力すると共に、イントラ予測に関する情報を可逆符号化部１６へ出力する。セレクタ２７は、インター予測モードとイントラ予測モードとを、動き探索部３０及びイントラ予測部４０から出力されるコスト関数値の大きさに応じて切り替える。
【００３７】
動き探索部３０は、並び替えバッファ１２から入力される符号化対象の画像データ（原画像データ）、及びセレクタ２６を介して供給される復号画像データに基づいて、インター予測処理（フレーム間予測処理）を行う。例えば、動き探索部３０は、各予測モードによる予測結果を所定のコスト関数を用いて評価する。次に、動き探索部３０は、コスト関数値が最小となる予測モード、即ち圧縮率が最も高くなる予測モードを、最適な予測モードとして選択する。また、動き探索部３０は、当該最適な予測モードに従って予測画像データを生成する。そして、動き探索部３０は、選択した最適な予測モードを表す予測モード情報、動きベクトル情報及び参照画像情報を含むインター予測に関する情報、コスト関数値、並びに予測画像データを、セレクタ２７へ出力する。
【００３８】
イントラ予測部４０は、並び替えバッファ１２から入力される原画像データ、及びフレームメモリ２５から供給される参照画像データとしての復号画像データに基づいて、画像内に設定されるブロックごとにイントラ予測処理を行う。そして、イントラ予測部４０は、最適な予測モードを表す予測モード情報及びサイズ関連情報を含むイントラ予測に関する情報、コスト関数値、並びに予測画像データを、セレクタ２７へ出力する。イントラ予測部４０により選択可能な予測モードは、既存のイントラ予測モードに加えて、色差成分についての線型モデル（ＬＭ）モードを含む。本実施形態におけるＬＭモードは、上記非特許文献２に記載されているＬＭモードとは異なり、ブロックサイズに対する参照画素数の比率が変化し得るという特徴を有する。このようなイントラ予測部４０によるイントラ予測処理について、後により詳細に説明する。
【００３９】
［１−２．イントラ予測部の構成例］
図２は、図１に示した画像符号化装置１０のイントラ予測部４０の詳細な構成の一例を示すブロック図である。図２を参照すると、イントラ予測部４０は、予測制御部４２、係数算出部４４、予測部４６及びモード判定部４８を有する。
【００４０】
予測制御部４２は、イントラ予測部４０におけるイントラ予測処理を制御する。例えば、予測制御部４２は、ある処理単位で輝度成分（Ｙ）についてのイントラ予測処理を実行した後、色差成分（Ｃｂ、Ｃｒ）についてのイントラ予測処理を実行する。輝度成分についてのイントラ予測処理において、予測制御部４２は、複数の予測モードで予測部４６に各画素の予測画素値を生成させ、モード判定部４８に輝度成分の最適な予測モードを判定させる。その結果、符号化単位内の予測単位の配置も決定される。色差成分についてのイントラ予測処理では、予測制御部４２は、各予測単位について複数の予測モードで予測部４６に各画素の予測画素値を生成させ、モード判定部４８に色差成分の最適な予測モードを判定させる。
【００４１】
輝度成分についての予測モードの候補は、Ｈ．２６４／ＡＶＣなどの既存の画像符号化方式において採用されている予測モードであってよく、他の予測モードを含んでもよい。色差成分についての予測モードの候補もまた、既存の画像符号化方式において採用されている予測モードを含み得る。さらに、色差成分についての予測モードの候補は、上述したＬＭモードを含む。但し、本実施形態において、ＬＭモードは、色差成分の予測単位のサイズと対応する輝度成分の予測単位のサイズとが所定の条件を満たす場合にのみ、当該色差成分の予測単位についての予測モードの候補（即ち、最適な予測モードの探索範囲）に加えられる。所定の条件とは、「色差成分の予測単位のサイズが、対応する輝度成分の予測単位のサイズからクロマフォーマットに応じて定まるサイズ以下である」という条件であってよい。ここで、「対応する予測単位」とは、少なくとも部分的に画素を共有する予測単位をいう。色差成分の予測単位のサイズは、輝度成分の予測単位のサイズに依存することなく決定され得る。従って、ある色差成分の予測単位について、対応する１つ又は複数の輝度成分の予測単位が存在し得る。上記条件における「対応する輝度成分の予測単位のサイズからクロマフォーマットに応じて定まるサイズ」とは、輝度成分の予測単位のサイズをＭ×Ｎ画素とした場合、クロマフォーマットが４：２：０であれば（Ｍ／２）×（Ｎ／２）画素、クロマフォーマットが４：２：２であれば（Ｍ／２）×Ｎ画素、クロマフォーマットが４：４：４であればＭ×Ｎ画素である。このようなＬＭモードの探索の制限の意義について、後により詳細に説明する。
【００４２】
また、上記非特許文献２に記載された手法では、ＬＭモードの予測関数の係数を算出する際の参照画素数のブロックサイズに対する比率は一定である。従って、ブロックサイズが大きくなれば、それに応じて参照画素数は増大する。一方、本実施形態において、予測制御部４２は、上記比率を可変的に制御する。ここでのブロックサイズとは、原則として予測単位のサイズをいう。本明細書では、予測制御部４２により制御される上述した比率、即ちブロックサイズに対する参照画素数の比率を、「参照比」と呼ぶものとする。予測制御部４２による参照比の制御は、典型的には、ブロックサイズに応じて行われ得る。さらに、予測制御部４２は、色差成分のブロックサイズを左右するクロマフォーマットに応じて、参照比を制御してもよい。また、予測制御部４２は、画像の符号化及び復号に関する装置のケイパビリティを定義付けるパラメータ（例えば、プロファイル又はレベル）に応じて、参照比を制御してもよい。予測制御部４２による参照比の制御の複数のシナリオについて、後により詳細に説明する。
【００４３】
係数算出部４４は、ＬＭモードにおいて予測部４６により使用される予測関数の係数を、予測対象の画素が属する予測単位の周辺の画素、即ち参照画素を参照して算出する。予測部４６により使用される予測関数は、典型的には、輝度成分の値の線型関数である。予測関数の係数の算出に際して係数算出部４４により参照される参照画素の数は、上述したように、予測制御部４２により制御される。
【００４４】
予測部４６は、予測制御部４２による制御の下、予測対象の画素の輝度成分の画素値及び色差成分の画素値を、様々な予測モードの候補に従って予測する。予測部４６により使用される予測モードの候補の例について、後により詳細に説明する。予測部４６による予測の結果として生成される予測画像データは、予測モードごとにモード判定部４８へ出力される。
【００４５】
モード判定部４８は、並び替えバッファ１２から入力される原画像データと予測部４６から入力される予測画像データとに基づいて、各予測モードのコスト関数値を算出する。そして、モード判定部４８は、算出したコスト関数値に基づき、輝度成分についての最適な予測モードと符号化単位内の予測単位の配置とを決定する。同様に、モード判定部４８は、色差成分についてのコスト関数値に基づき、色差成分についての最適な予測モードと予測単位の配置とを決定する。そして、モード判定部４８は、決定した最適な予測モードを表す予測モード情報及びサイズ関連情報などを含むイントラ予測に関する情報、コスト関数値、並びに輝度成分及び色差成分の予測画素値を含む予測画像データを、セレクタ２７へ出力する。モード判定部４８から出力されるサイズ関連情報は、各予測単位のサイズを特定するための情報に加えて、クロマフォーマットを指定する情報を含んでもよい。
【００４６】
［１−３．予測モードの候補］
次に、イントラ予測部４０の予測部４６により使用され得る予測モードの候補について説明する。
【００４７】
（１）輝度成分についての予測モードの候補
輝度成分についての予測モードの候補は、Ｈ．２６４／ＡＶＣなどの既存の画像符号化方式において採用されている予測モードであってよい。図３〜図５は、予測単位のサイズが４×４画素である場合のそうした予測モードの候補について説明するための説明図である。
【００４８】
図３を参照すると、４×４画素の予測単位において使用され得る９種類の予測モード（モード０〜モード８）が示されている。図４には、各モード番号にそれぞれ対応する予測方向が概略的に示されている。図５において、小文字のアルファベットａ〜ｐは、４×４画素の予測単位内の各画素（即ち、予測対象画素）の画素値を表す。予測単位の周囲のＲｚ（ｚ＝ａ，ｂ，…，ｍ）は、符号化済みの参照画素の画素値を表す。
【００４９】
例えば、モード０における予測方向は垂直方向であり、各予測画素値は、次のように計算される：
ａ＝ｅ＝ｉ＝ｍ＝Ｒａ
ｂ＝ｆ＝ｊ＝ｎ＝Ｒｂ
ｃ＝ｇ＝ｋ＝ｏ＝Ｒｃ
ｄ＝ｈ＝ｌ＝ｐ＝Ｒｄ
【００５０】
モード１における予測方向は水平方向であり、各予測画素値は、次のように計算される：
ａ＝ｂ＝ｃ＝ｄ＝Ｒｉ
ｅ＝ｆ＝ｇ＝ｈ＝Ｒｊ
ｉ＝ｊ＝ｋ＝ｌ＝Ｒｋ
ｍ＝ｎ＝ｏ＝ｐ＝Ｒｌ
【００５１】
モード２はＤＣ予測（平均値予測）を表し、各予測画素値は、いずれの参照画素が利用可能かに応じて、次の４つの式のいずれかに従って計算される：
ａ＝ｂ＝…＝ｐ＝（Ｒａ＋Ｒｂ＋Ｒｃ＋Ｒｄ＋Ｒｉ＋Ｒｊ＋Ｒｋ＋Ｒｌ＋４）＞＞３
ａ＝ｂ＝…＝ｐ＝（Ｒａ＋Ｒｂ＋Ｒｃ＋Ｒｄ＋２）＞＞２
ａ＝ｂ＝…＝ｐ＝（Ｒｉ＋Ｒｊ＋Ｒｋ＋Ｒｌ＋２）＞＞２
ａ＝ｂ＝…＝ｐ＝１２８
【００５２】
モード３における予測方向は斜め左下であり、各予測画素値は、次のように計算される：
ａ＝（Ｒａ＋２Ｒｂ＋Ｒｃ＋２）＞＞２
ｂ＝ｅ＝（Ｒｂ＋２Ｒｃ＋Ｒｄ＋２）＞＞２
ｃ＝ｆ＝ｉ＝（Ｒｃ＋２Ｒｄ＋Ｒｅ＋２）＞＞２
ｄ＝ｇ＝ｊ＝ｍ＝（Ｒｄ＋２Ｒｅ＋Ｒｆ＋２）＞＞２
ｈ＝ｋ＝ｎ＝（Ｒｅ＋２Ｒｆ＋Ｒｇ＋２）＞＞２
ｌ＝ｏ＝（Ｒｆ＋２Ｒｇ＋Ｒｈ＋２）＞＞２
ｐ＝（Ｒｇ＋３Ｒｈ＋２）＞＞２
【００５３】
モード４における予測方向は斜め右下であり、各予測画素値は、次のように計算される：
ｍ＝（Ｒｊ＋２Ｒｋ＋Ｒｌ＋２）＞＞２
ｉ＝ｎ＝（Ｒｉ＋２Ｒｊ＋Ｒｋ＋２）＞＞２
ｅ＝ｊ＝ｏ＝（Ｒｍ＋２Ｒｉ＋Ｒｊ＋２）＞＞２
ａ＝ｆ＝ｋ＝ｐ＝（Ｒａ＋２Ｒｍ＋Ｒｉ＋２）＞＞２
ｂ＝ｇ＝ｌ＝（Ｒｍ＋２Ｒａ＋Ｒｂ＋２）＞＞２
ｃ＝ｈ＝（Ｒａ＋２Ｒｂ＋Ｒｃ＋２）＞＞２
ｄ＝（Ｒｂ＋２Ｒｃ＋Ｒｄ＋２）＞＞２
【００５４】
モード５における予測方向は垂直右であり、各予測画素値は、次のように計算される：
ａ＝ｊ＝（Ｒｍ＋Ｒａ＋１）＞＞１
ｂ＝ｋ＝（Ｒａ＋Ｒｂ＋１）＞＞１
ｃ＝ｌ＝（Ｒｂ＋Ｒｃ＋１）＞＞１
ｄ＝（Ｒｃ＋Ｒｄ＋１）＞＞１
ｅ＝ｎ＝（Ｒｉ＋２Ｒｍ＋Ｒａ＋２）＞＞２
ｆ＝ｏ＝（Ｒｍ＋２Ｒａ＋Ｒｂ＋２）＞＞２
ｇ＝ｐ＝（Ｒａ＋２Ｒｂ＋Ｒｃ＋２）＞＞２
ｈ＝（Ｒｂ＋２Ｒｃ＋Ｒｄ＋２）＞＞２
ｉ＝（Ｒｍ＋２Ｒｉ＋Ｒｊ＋２）＞＞２
ｍ＝（Ｒｉ＋２Ｒｊ＋Ｒｋ＋２）＞＞２
【００５５】
モード６における予測方向は水平下であり、各予測画素値は、次のように計算される：
ａ＝ｇ＝（Ｒｍ＋Ｒｉ＋１）＞＞１
ｂ＝ｈ＝（Ｒｉ＋２Ｒｍ＋Ｒａ＋２）＞＞２
ｃ＝（Ｒｍ＋２Ｒａ＋Ｒｂ＋２）＞＞２
ｄ＝（Ｒａ＋２Ｒｂ＋Ｒｃ＋２）＞＞２
ｅ＝ｋ＝（Ｒｉ＋Ｒｊ＋１）＞＞１
ｆ＝ｌ＝（Ｒｍ＋２Ｒｉ＋Ｒｊ＋２）＞＞２
ｉ＝ｏ＝（Ｒｊ＋Ｒｋ＋１）＞＞１
ｊ＝ｐ＝（Ｒｉ＋２Ｒｊ＋Ｒｋ＋２）＞＞２
ｍ＝（Ｒｋ＋Ｒｌ＋１）＞＞１
ｎ＝（Ｒｊ＋２Ｒｋ＋Ｒｌ＋２）＞＞２
【００５６】
モード７における予測方向は垂直左であり、各予測画素値は、次のように計算される：
ａ＝（Ｒａ＋Ｒｂ＋１）＞＞１
ｂ＝ｉ＝（Ｒｂ＋Ｒｃ＋１）＞＞１
ｃ＝ｊ＝（Ｒｃ＋Ｒｄ＋１）＞＞１
ｄ＝ｋ＝（Ｒｄ＋Ｒｅ＋１）＞＞１
ｌ＝（Ｒｅ＋Ｒｆ＋１）＞＞１
ｅ＝（Ｒａ＋２Ｒｂ＋Ｒｃ＋２）＞＞２
ｆ＝ｍ＝（Ｒｂ＋２Ｒｃ＋Ｒｄ＋２）＞＞２
ｇ＝ｎ＝（Ｒｃ＋２Ｒｄ＋Ｒｅ＋２）＞＞２
ｈ＝ｏ＝（Ｒｄ＋２Ｒｅ＋Ｒｆ＋２）＞＞２
ｐ＝（Ｒｅ＋２Ｒｆ＋Ｒｇ＋２）＞＞２
【００５７】
モード８における予測方向は水平上であり、各予測画素値は、次のように計算される：
ａ＝（Ｒｉ＋Ｒｊ＋１）＞＞１
ｂ＝（Ｒｉ＋２Ｒｊ＋Ｒｋ＋２）＞＞２
ｃ＝ｅ＝（Ｒｊ＋Ｒｋ＋１）＞＞１
ｄ＝ｆ＝（Ｒｊ＋２Ｒｋ＋Ｒｌ＋２）＞＞２
ｇ＝ｉ＝（Ｒｋ＋Ｒｌ＋１）＞＞１
ｈ＝ｊ＝（Ｒｋ＋３Ｒｌ＋２）＞＞２
ｋ＝ｌ＝ｍ＝ｎ＝ｏ＝ｐ＝Ｒｌ
【００５８】
図６を参照すると、８×８画素の予測単位において使用され得る９種類の予測モード（モード０〜モード８）が示されている。モード０における予測方向は、垂直方向である。モード１における予測方向は、水平方向である。モード２は、ＤＣ予測（平均値予測）を表す。モード３における予測方向は、斜め左下である。モード４における予測方向は、斜め右下である。モード５における予測方向は、垂直右である。モード６における予測方向は、水平下である。モード７における予測方向は、垂直左である。モード８における予測方向は、水平上である。
【００５９】
図７を参照すると、１６×１６画素の予測単位において使用され得る４種類の予測モード（モード０〜モード３）が示されている。モード０における予測方向は、垂直方向である。モード１における予測方向は、水平方向である。モード２は、ＤＣ予測（平均値予測）を表す。モード３は、平面予測を表す。
【００６０】
（２）色差成分についての予測モードの候補
色差成分についての予測モードは、輝度成分についての予測モードとは独立して選択され得る。図８には、色差成分のブロックサイズが８×８画素である場合に使用され得る予測モードの候補のうち、Ｈ．２６４／ＡＶＣなどの既存の画像符号化方式において採用されている４つの予測モード（モード０〜モード３）が示されている。
【００６１】
モード０はＤＣ予測（平均値予測）を表す。ここで、画素位置（ｘ，ｙ）の予測画素値をＰｒＣ（ｘ，ｙ）、左の８つの参照画素値をＲｅＣ（−１，ｎ）、上の８つの参照画素値をＲｅＣ（ｎ，−１）とする。下付き文字のＣは、色差成分を意味する。ｎは０以上７以下の整数である。すると、予測画素値ＰｒＣ（ｘ，ｙ）は、いずれの参照画素が利用可能かに応じて、次の３つの式のいずれかに従って計算される：
【００６２】
【数１】
【００６３】
モード１における予測方向は水平方向であり、予測画素値ＰｒＣ（ｘ，ｙ）は、次のように計算される：
【００６４】
【数２】
【００６５】
モード２における予測方向は垂直方向であり、予測画素値ＰｒＣ（ｘ，ｙ）は、次のように計算される：
【００６６】
【数３】
【００６７】
モード３は、平面予測を表す。予測画素値ＰｒＣ（ｘ，ｙ）は、次のように計算される：
【００６８】
【数４】
【００６９】
さらに、本実施形態では、色差成分について、次項で説明するＬＭモードが（例えばモード４として）選択可能である。
【００７０】
［１−４．ＬＭモードの詳細］
ＬＭモードでは、色差成分についての予測画素値は、対応する輝度成分の値の線型関数を用いて計算される。例えば、ＬＭモードにおいて使用される予測関数は、上記非特許文献２に記載されている次のような線型一次関数であってよい：
【００７１】
【数５】
【００７２】
式（１）において、ＲｅＬ´（ｘ，ｙ）は、復号画像（いわゆるリコンストラクト画像）の輝度成分のリサンプリング後の画素位置（ｘ，ｙ）の値を表す。輝度成分のリサンプリングは、クロマフォーマットに依存して色差成分の解像度が輝度成分の解像度と異なる場合に行われる。例えば、クロマフォーマットが４：２：０である場合には、水平方向及び垂直方向の双方について画素数が１／２となるように、次式に従って輝度成分のリサンプリングが行われる。なお、ＲｅＬ（ｕ，ｖ）は、リサンプリング前の画素位置（ｕ，ｖ）の輝度成分の値を表す。
【００７３】
【数６】
【００７４】
クロマフォーマットが４：２：２である場合には、水平方向について画素数が１／２となるように、輝度成分のリサンプリングが行われる。クロマフォーマットが４：４：４である場合には、輝度成分のリサンプリングは行われない。
【００７５】
式（１）の係数αは、次の式（３）に従って算出される。また、式（１）の係数βは、次の式（４）に従って算出され得る。
【００７６】
【数７】
【００７７】
式（３）及び式（４）において、Ｉは参照画素数を表す。例えば、色差成分のブロックサイズが８×８画素であって、左の８つの参照画素及び上の８つの参照画素が共に利用可能であれば、Ｉ＝８＋８＝１６である。
【００７８】
［１−５．新たな符号化処理の順序］
上述した式（１）〜式（４）は、上記非特許文献２に記載されている式と同様である。式（１）の右辺のＲｅＬ´（ｘ，ｙ）は、復号画像（エンコーダにおけるリコンストラクト画像又はデコーダにおける復号画像）の輝度成分のリサンプリング後の画素位置（ｘ，ｙ）の値を表す。従って、予測画素値の計算がブロック単位で行われる場合には、色差成分についての予測画素値の計算が行われるまで、対応するブロックの輝度成分のリサンプリング後の画素値を少なくとも一時的に保持しておく必要性が生じる。
【００７９】
図９は、既存の手法における処理の順序と本実施形態における処理の順序との違いについて説明するための説明図である。図９を参照すると、一例として、符号化単位ＣＵ０、ＣＵ１、ＣＵ２及びその他の符号化単位を含むＬＣＵ１が示されている。さらに、符号化単位ＣＵ０は、４つの予測単位ＰＵ００、ＰＵ０１、ＰＵ０２及びＰＵ０３に分割されている。符号化単位ＣＵ１は、４つの予測単位ＰＵ１０、ＰＵ１１、ＰＵ１２及びＰＵ１３に分割されている。符号化単位ＣＵ２は、４つの予測単位ＰＵ２０、ＰＵ２１、ＰＵ２２及びＰＵ２３に分割されている。ここでは、説明の簡明さのために、全ての色差成分の予測単位が、対応する輝度成分の予測単位のサイズからクロマフォーマットに応じて定まるサイズを有するものとする。即ち、輝度成分の予測単位と色差成分の予測単位とは、１対１の対応を有する。既存の手法では、このようなＬＣＵについての画像データの符号化処理は、Ｙ００→Ｙ０１→Ｙ０２→Ｙ０３→Ｃｂ００→Ｃｂ０１→Ｃｂ０２→Ｃｂ０３→Ｃｒ００→Ｃｒ０１→Ｃｒ０２→Ｃｒ０３→Ｙ１０→…のような順序で行われる。ここで、ＹＮＮは予測単位ＰＵＮＮの輝度成分の符号化処理、ＣｂＮＮ及びＣｒＮＮは予測単位ＰＵＮＮの色差成分の符号化処理をそれぞれ表す。イントラ予測処理についても同様である。即ち、既存の手法では、各符号化単位について、成分ごとに符号化処理が行われる。このような処理の順序を、本明細書では「成分別順序」という。一方、本実施形態では、各符号化単位について、予測単位ごとに画像データの符号化処理が行われる。このような新たな処理の順序を、本明細書では「ＰＵ別順序」という。例えば、図９のＬＣＵ１にＰＵ別順序が適用される場合、まず予測単位ＰＵ００についての輝度成分Ｙ００並びに２つの色差成分Ｃｂ００及びＣｒ００の符号化処理が行われる。次に、予測単位ＰＵ０１についての輝度成分Ｙ０１並びに２つの色差成分Ｃｂ０１及びＣｒ０１の符号化処理が行われる。その後、予測単位ＰＵ０２、ＰＵ０３、ＰＵ１０…の順に、３つの成分の符号化処理が繰り返される。
【００８０】
既存の手法である成分別順序では、ＬＭモードでのイントラ予測において参照される輝度成分の値を保持しておくためのメモリリソースの所要量は、最大の符号化単位のサイズに左右される。例えば、最大の符号化単位のサイズが１２８×１２８画素、クロマフォーマットが４：２：０、ビット深度が１０ビットであれば、６４×６４×１０ビットのメモリリソースが消費され得る。一方、上述したＰＵ別順序では、メモリリソースの所要量は、色差成分の最大の予測単位のサイズに左右される。ＨＥＶＣにおいて、輝度成分の最大の予測単位のサイズは６４×６４画素である。従って、上述したＰＵ別順序が採用される場合には、クロマフォーマットが４：２：０、ビット深度が１０ビットであれば、メモリリソースの所要量は多くても３２×３２×１０ビットとなる。
【００８１】
さらに、本実施形態では、上述したように、ＬＭモードの探索に制限が課される。即ち、色差成分の予測単位のサイズが対応する輝度成分の予測単位のサイズからクロマフォーマットに応じて定まるサイズ以下である場合にのみ、ＬＭモードが、当該色差成分の予測単位についての予測モードの候補に加えられる。結果的に、ＬＭモードが選択されるケースでは、１つの色差成分の予測単位には１つの輝度成分の予測単位のみが対応することになる。それにより、ＰＵ別順序を採用する場合において、第１の輝度成分の予測単位から第２の輝度成分の予測単位へ処理が移る際に、原則として第１の輝度成分の予測単位についてバッファリングされているデータをクリアすることができる。
【００８２】
ＬＭモードの探索の制限の意義について検討すると、一般的に、あるブロックが複数の予測単位に分割されるケースでは、当該複数の予測単位間の画像の相関は低い。互いに相関の低い複数の輝度成分の予測単位にわたる輝度成分の値に基づいて予測関数を決定したとしても、その予測関数は、輝度成分と色差成分との間の相関を十分な精度でモデル化できていないと考えられる。従って、ＬＭモードの適用について上述した制限を課したとしても、高い予測精度を期待できない予測モードが予測モードの候補から除外されるのみであるため、大きなデメリットは生じず、むしろ処理コストの削減という利益が得られる。
【００８３】
なお、輝度成分の予測単位のサイズが４×４画素であって、クロマフォーマットが４：２：０であれば、当該クロマフォーマットに応じて定まる色差成分の予測単位のサイズは２×２画素である。しかし、ＨＥＶＣにおいて、２×２画素の予測単位は利用可能でない。その一方で、ＬＭモードは、予測単位のサイズがより小さいほど符号化効率の向上により大きく貢献する、という報告がなされている。そこで、輝度成分の予測単位のサイズが小さい場合（例えば４×４画素）にのみ、例外的に複数の輝度成分の予測単位に基づくＬＭモードの適用を許容することも有益である。この場合、可逆符号化部１６は、１つの色差成分の予測単位（例えば、４×４画素）に対応する複数の輝度成分の予測単位（例えば、４つの４×４画素の予測単位）を連続的に符号化した後、当該１つの色差成分の予測単位を符号化し得る。
【００８４】
図１０Ａは、本実施形態において採用され得る新たな符号化処理の順序の第１の例について説明するための説明図である。図中左は、符号化単位ＣＵ１内の輝度成分の予測単位（以下、輝度予測単位という）の配置を示している。図中右は、符号化単位ＣＵ１内の色差成分の予測単位（以下、色差予測単位という）の配置を示している。符号化単位ＣＵ１のサイズは１２８×１２８画素、クロマフォーマットは４：２：０であるものとする。符号化単位ＣＵ１は、７個の輝度予測単位ＰＵ１０〜ＰＵ１６を含む。輝度予測単位ＰＵ１０、ＰＵ１１及びＰＵ１６のサイズは６４×６４画素、輝度予測単位ＰＵ１２〜ＰＵ１５のサイズは３２×３２画素である。符号化単位ＣＵ１は、７個の色差予測単位ＰＵ２０〜ＰＵ２６を含む。色差予測単位ＰＵ２０のサイズは３２×３２画素であり、色差予測単位ＰＵ２０は輝度予測単位ＰＵ１０に対応する。色差予測単位ＰＵ２１〜ＰＵ２４のサイズは１６×１６画素であり、色差予測単位ＰＵ２１〜ＰＵ２４は輝度予測単位ＰＵ１１に対応する。色差予測単位ＰＵ２５のサイズは３２×３２画素であり、色差予測単位ＰＵ２５は輝度予測単位ＰＵ１２〜ＰＵ１５に対応する。色差予測単位ＰＵ２６のサイズは３２×３２画素であり、色差予測単位ＰＵ２６は輝度予測単位ＰＵ１６に対応する。これら色差予測単位ＰＵ２０〜ＰＵ２６のうち色差予測単位ＰＵ２５のサイズ（３２×３２画素）は、対応する輝度予測単位ＰＵ２１〜ＰＵ２４のサイズ（３２×３２画素）からクロマフォーマットに応じて定まるサイズ（１６×１６画素）よりも大きい。従って、色差予測単位ＰＵ２５については、ＬＭモードが予測モードの候補から除外される。一方、他の色差予測単位については、ＬＭモードが予測モードの候補から除外されない。
【００８５】
図１０Ａの例において、符号化処理は、Ｙ１０→Ｃｂ２０→Ｃｒ２０→Ｙ１１→Ｃｂ２１→Ｃｒ２１→Ｃｂ２２→Ｃｒ２２→Ｃｂ２３→Ｃｒ２３→Ｃｂ２４→Ｃｒ２４→Ｙ１２→Ｙ１３→Ｙ１４→Ｙ１５→Ｃｂ２５→Ｃｒ２５→Ｙ１６→Ｃｂ２６→Ｃｒ２６という順序で行われる。即ち、例えば輝度予測単位ＰＵ１０が符号化された後、輝度予測単位ＰＵ１１が符号化される前に色差予測単位ＰＵ２０が符号化される。また、輝度予測単位ＰＵ１１が符号化された後、輝度予測単位ＰＵ１２が符号化される前に色差予測単位ＰＵ２１〜ＰＵ２４が符号化される。従って、バッファサイズが３２×３２画素であっても、各色差予測単位についてのイントラ予測の時点で対応する輝度予測単位の輝度成分のリサンプリング後の値が未だクリアされないため、各色差予測単位についてＬＭモードを利用することができる。
【００８６】
図１０Ｂは、本実施形態において採用され得る新たな符号化処理の順序の第２の例について説明するための説明図である。図中左は、符号化単位ＣＵ２内の輝度予測単位の配置を示している。図中右は、符号化単位ＣＵ２内の色差予測単位の配置を示している。符号化単位ＣＵ２のサイズは１６×１６画素、クロマフォーマットは４：２：０であるものとする。符号化単位ＣＵ２は、１０個の輝度予測単位ＰＵ３０〜ＰＵ３９を含む。輝度予測単位ＰＵ３０及びＰＵ３９のサイズは８×８画素、輝度予測単位ＰＵ３１〜ＰＵ３８のサイズは４×４画素である。符号化単位ＣＵ２は、４個の色差予測単位ＰＵ４０〜ＰＵ４３を含む。色差予測単位ＰＵ４０〜ＰＵ４３のサイズは４×４画素であり、これは色差予測単位について利用可能な最小のサイズである。色差予測単位ＰＵ４０は輝度予測単位ＰＵ３０に、色差予測単位ＰＵ４１は輝度予測単位ＰＵ３１〜ＰＵ３４に、色差予測単位ＰＵ４２は輝度予測単位ＰＵ３５〜ＰＵ３８に、色差予測単位ＰＵ４３は輝度予測単位ＰＵ３９にそれぞれ対応する。色差予測単位ＰＵ４１及びＰＵ４２のサイズ（４×４画素）は、対応する輝度予測単位ＰＵ３１〜ＰＵ３４及びＰＵ３５〜ＰＵ３８のサイズ（４×４画素）からクロマフォーマットに応じて定まるサイズ（２×２画素）よりも大きい。しかし、対応する輝度予測単位のサイズが４×４画素であることから、色差予測単位ＰＵ４１及びＰＵ４２についても、ＬＭモードの利用が許容され得る。従って、図１０Ｂの例では、色差予測単位ＰＵ４０〜ＰＵ４３の全てについてＬＭモードが探索の対象に加えられ得る。
【００８７】
図１０Ｂの例において、符号化処理は、Ｙ３０→Ｃｂ４０→Ｃｒ４０→Ｙ３１→Ｙ３２→Ｙ３３→Ｙ３４→Ｃｂ４１→Ｃｒ４１→Ｙ３５→Ｙ３６→Ｙ３７→Ｙ３８→Ｃｂ４２→Ｃｒ４２→Ｙ３９→Ｃｂ４３→Ｃｒ４３という順序で行われる。即ち、例えば色差予測単位ＰＵ４１が符号化される前に、輝度予測単位ＰＵ３１〜ＰＵ３４が符号化される。従って、４つの４×４画素の輝度予測単位ＰＵ３１〜ＰＵ３４の輝度成分の値に基づいて、色差予測単位ＰＵ４１についてＬＭモードでイントラ予測を行うことができる。同様に、色差予測単位ＰＵ４２が符号化される前に、輝度予測単位ＰＵ３５〜ＰＵ３８が符号化される。従って、４つの４×４画素の輝度予測単位ＰＵ３５〜ＰＵ３８の輝度成分の値に基づいて、色差予測単位ＰＵ４２についてＬＭモードでイントラ予測を行うことができる。
【００８８】
［１−６．参照画素数の制御］
図１１Ａ及び図１１Ｂは、ＬＭモードにおける参照画素についてさらに説明するための説明図である。
【００８９】
図１１Ａの例において、予測単位（ＰＵ）のサイズは１６×１６画素、クロマフォーマットは４：２：０である。この場合、色差成分のブロックサイズは８×８画素である。色差成分の参照画素ＲｅＣ（ｉ）の数は、（左及び上の双方の参照画素が利用可能であるとして）８＋８＝１６である。輝度成分の参照画素ＲｅＬ´（ｉ）の数もまた、リサンプリングの結果として８＋８＝１６である。
【００９０】
図１１Ｂの例において、予測単位（ＰＵ）のサイズは８×８画素、クロマフォーマットは４：２：０である。この場合、色差成分のブロックサイズは４×４画素である。色差成分の参照画素ＲｅＣ（ｉ）の数は、４＋４＝８である。輝度成分の参照画素ＲｅＬ´（ｉ）の数もまた、リサンプリングの結果として４＋４＝８である。
【００９１】
図１１Ａ及び図１１Ｂの２つの例を比較すると、クロマフォーマットなどの他の条件が同じであるとすれば、ブロックサイズに対する参照画素数の比率は変わっていない。即ち、図１１Ａの例では予測単位の一辺のサイズが１６画素であって参照画素数Ｉが１６であるのに対し、図１１Ｂの例では予測単位の一辺のサイズが８画素であって参照画素数Ｉが８である。このように、ブロックサイズが大きくなるにつれて参照画素数Ｉが増えれば、上記式（３）及び式（４）を用いた係数α及び係数βの算出に要する処理コストも増加する。特に式（３）に着目すれば理解されるように、画素値の乗算の回数は、参照画素数Ｉの二乗のオーダで増加する。従って、係数α及び係数βの算出に際して参照画素数を適切に制御しなければ、ブロックサイズが大きい場合に多大なメモリリソースを消費してしまう可能性が高い。そこで、予測制御部４２は、係数算出部４４がＬＭモードにおいて予測関数の係数α及び係数βを算出する際の参照画素数を可変的に制御する。
【００９２】
典型的には、予測制御部４２は、ブロックサイズに対する参照画素数の比率である参照比を、ブロックサイズがより大きいほどより小さくなるように制御する。それにより、ブロックサイズが拡大する場合の処理コストの増加が抑制される。予測制御部４２は、処理コストが問題とならない程度にブロックサイズが小さい場合には、ブロックサイズが異なっても参照比を変化させなくてもよい。以下、図１２〜図２０Ｂを用いて、参照比の制御の例示的な５つのシナリオについて説明する。
【００９３】
（１）第１のシナリオ
図１２は、第１のシナリオにおける参照比の定義の一例を示す説明図である。
【００９４】
第１のシナリオにおいて、予測単位（ＰＵ）のサイズが４×４画素である場合には、参照比は「１：１」である。参照比「１：１」は、図１１Ａ又は図１１Ｂに示したような参照画素が全て使用されることを意味する。この場合、クロマフォーマットが４：２：０であれば、参照画素数Ｉは、２（垂直方向Ｉｖ）＋２（水平方向Ｉｈ）＝４となる。クロマフォーマットが４：２：２であれば、参照画素数Ｉは、４＋２＝６となる。クロマフォーマットが４：４：４であれば、参照画素数Ｉは、４＋４＝８となる。
【００９５】
同様に、予測単位のサイズが８×８画素である場合にも、参照比は「１：１」である。この場合、クロマフォーマットが４：２：０であれば、参照画素数Ｉは、４＋４＝８となる。クロマフォーマットが４：２：２であれば、参照画素数Ｉは、８＋４＝１２となる。クロマフォーマットが４：４：４であれば、参照画素数Ｉは、８＋８＝１６となる。
【００９６】
これに対し、予測単位のサイズが１６×１６画素である場合には、参照比は「２：１」である。参照比「２：１」は、図１１Ａ又は図１１Ｂに示したような参照画素のうち半分の参照画素のみが使用されることを意味する。即ち、係数算出部４４は、係数α及び係数βの算出の際に、半分の参照画素を間引いた上で、残りの参照画素のみを使用する。この場合、クロマフォーマットが４：２：０であれば、参照画素数Ｉは、（８／２）＋（８／２）＝８となる。クロマフォーマットが４：２：２であれば、参照画素数Ｉは、（１６／２）＋（８／２）＝１２となる。クロマフォーマットが４：４：４であれば、参照画素数Ｉは、（１６／２）＋（１６／２）＝１６となる。
【００９７】
図１３Ａに、ＰＵサイズが１６×１６画素、クロマフォーマットが４：２：０である場合の参照画素の設定の一例を示している。図１３Ａの例では、色差成分の参照画素及び輝度成分の参照画素が、それぞれ１つおきに間引かれている。結果として、色差成分の参照画素数ＩＣ及び輝度成分の参照画素数ＩＬは、共に８つとなっている。
【００９８】
さらに、予測単位のサイズが３２×３２画素である場合には、参照比は「４：１」である。参照比「４：１」は、図１１Ａ又は図１１Ｂに示したような参照画素のうち４分の１の参照画素のみが使用されることを意味する。即ち、係数算出部４４は、係数α及び係数βの算出の際に、４分の３の参照画素を間引いた上で、残りの参照画素のみを使用する。この場合、クロマフォーマットが４：２：０であれば、参照画素数Ｉは、（１６／４）＋（１６／４）＝８となる。クロマフォーマットが４：２：２であれば、参照画素数Ｉは、（３２／４）＋（１６／４）＝１２となる。クロマフォーマットが４：４：４であれば、参照画素数Ｉは、（３２／４）＋（３２／４）＝１６となる。
【００９９】
図１３Ｂに、ＰＵサイズが３２×３２画素、クロマフォーマットが４：２：０である場合の参照画素の設定の一例を示している。図１３Ｂの例では、色差成分の参照画素及び輝度成分の参照画素が、それぞれ、連続する４つにつき３つずつ間引かれている。結果として、色差成分の参照画素数ＩＣ及び輝度成分の参照画素数ＩＬは、共に８つとなっている。
【０１００】
第１のシナリオのようなブロックサイズと参照比との間のマッピングによれば、ブロックサイズが８×８画素以上である場合には、クロマフォーマットが同一である限り参照画素数Ｉは一定となる。従って、ブロックサイズが拡大する場合の処理コストの増加が抑制される。また、このようにブロックサイズが所定のサイズを上回る場合に参照画素数が一定となるように参照比を制御することにより、係数算出部４４における係数算出処理を小規模の共通的な回路又はロジックを用いて行うことが可能となる。それにより、回路規模又はロジックの規模の増大をも抑制することができる。
【０１０１】
また、ブロックサイズが所定のサイズを下回る場合に間引かれる参照画素の数をゼロとすることで、参照画素数が不足することによるＬＭモードの予測精度の低下が防がれる。特に、画像の内容が複雑である（即ち画素値の空間的な変動が激しい）ことに起因してイントラ予測が比較的困難な場合には、より小さい予測単位が画像内に設定されやすい。そうした場合に十分な参照画素数を確保することで、ＬＭモードの予測精度の低下を防ぐことができる。
【０１０２】
なお、ここでは、係数算出部４４による係数の算出の際に間引かれる参照画素の数が参照比に応じて変化する、というように説明した。即ち、係数算出部４４は、ＬＭモードでのイントラ予測が行われる際に参照される参照画素を、予測対象のブロックサイズに応じた参照比で間引く間引き部としての役割をも有する。後に説明する画像復号装置６０の係数算出部９４についても同様である。しかしながら、参照画素数は、参照画素を間引く代わりに、複数の参照画素値から１つの代表値を導くことにより可変的に制御されてもよい。例えば、参照比が「４：１」であれば、連続する４つの参照画素の画素値の平均値又は中央値が１つの代表値として用いられてもよい。これは、本明細書で説明する他のシナリオにおいても同様である。参照画素を間引く処理は実装が極めて容易である一方、上述した代表値を使用すれば予測精度を向上させることができる。
【０１０３】
（２）第２のシナリオ
図１４は、第２のシナリオにおける参照比の定義の一例を示す説明図である。第２のシナリオでは、予測制御部４２は、予測単位のサイズに加えてクロマフォーマットに応じて、参照比を制御する。また、予測制御部４２は、垂直方向のサイズに対する左の参照画素数の比率である第１の参照比と、水平方向のサイズに対する上の参照画素数の比率である第２の参照比とを別々に制御する。
【０１０４】
第２のシナリオにおいて、予測単位のサイズが４×４画素、クロマフォーマットが４：２：０である場合には、垂直方向の参照比及び水平方向の参照比は共に「１：１」である。この場合、参照画素は間引かれず、参照画素数Ｉは、２＋２＝４となる。予測単位のサイズが４×４画素、クロマフォーマットが４：２：２である場合には、垂直方向の参照比は「２：１」、水平方向の参照比は「１：１」である。この場合、垂直方向の参照画素のうち半分の参照画素が間引かれる結果として、参照画素数Ｉは、（４／２）＋２＝４となる。予測単位のサイズが４×４画素、クロマフォーマットが４：４：４である場合には、垂直方向の参照比及び水平方向の参照比は共に「２：１」である。この場合、垂直方向及び水平方向の双方の参照画素のうち半分の参照画素が間引かれる結果として、参照画素数Ｉは、（４／２）＋（４／２）＝４となる。
【０１０５】
予測単位のサイズが８×８画素、クロマフォーマットが４：２：０である場合には、垂直方向の参照比及び水平方向の参照比は共に「１：１」である。この場合、参照画素は間引かれず、参照画素数Ｉは、４＋４＝８となる。予測単位のサイズが８×８画素、クロマフォーマットが４：２：２である場合には、垂直方向の参照比は「２：１」、水平方向の参照比は「１：１」である。この場合、垂直方向の参照画素のうち半分の参照画素が間引かれる結果として、参照画素数Ｉは、（８／２）＋４＝８となる。予測単位のサイズが８×８画素、クロマフォーマットが４：４：４である場合には、垂直方向の参照比及び水平方向の参照比は共に「２：１」である。この場合、垂直方向及び水平方向の双方の参照画素のうち半分の参照画素が間引かれる結果として、参照画素数Ｉは、（８／２）＋（８／２）＝８となる。
【０１０６】
図１５Ａに、ＰＵサイズが８×８画素、クロマフォーマットが４：２：０である場合の参照画素の設定の一例を示している。図１５Ａの例では、色差成分の参照画素及び輝度成分の参照画素は、共に間引かれていない。結果として、色差成分の参照画素数ＩＣ及び輝度成分の参照画素数ＩＬは、共に８つとなっている。
【０１０７】
また、図１５Ｂに、ＰＵサイズが８×８画素、クロマフォーマットが４：２：２である場合の参照画素の設定の一例を示している。図１５Ｂの例では、色差成分及び輝度成分の垂直方向の参照画素が１つおきに間引かれている。結果として、色差成分の参照画素数ＩＣ及び輝度成分の参照画素数ＩＬは、共に８つとなっている。
【０１０８】
さらに、図１５Ｃに、ＰＵサイズが８×８画素、クロマフォーマットが４：４：４である場合の参照画素の設定の一例を示している。図１５Ｃの例では、色差成分及び輝度成分の垂直方向及び水平方向の参照画素が１つおきに間引かれている。結果として、色差成分の参照画素数ＩＣ及び輝度成分の参照画素数ＩＬは、共に８つとなっている。
【０１０９】
予測単位のサイズが１６×１６画素、クロマフォーマットが４：２：０である場合には、垂直方向の参照比及び水平方向の参照比は共に「２：１」である。この場合、参照画素数Ｉは、（８／２）＋（８／２）＝８となる。予測単位のサイズが１６×１６画素、クロマフォーマットが４：２：２である場合には、垂直方向の参照比は「４：１」、水平方向の参照比は「２：１」である。この場合、参照画素数Ｉは、（１６／４）＋（８／２）＝８となる。予測単位のサイズが１６×１６画素、クロマフォーマットが４：４：４である場合には、垂直方向の参照比及び水平方向の参照比は共に「４：１」である。この場合、参照画素数Ｉは、（１６／４）＋（１６／４）＝８となる。
【０１１０】
図１５Ｄに、ＰＵサイズが１６×１６画素、クロマフォーマットが４：２：０である場合の参照画素の設定の一例を示している。図１５Ｄの例では、色差成分及び輝度成分の垂直方向及び水平方向の参照画素が１つおきに間引かれている。結果として、色差成分の参照画素数ＩＣ及び輝度成分の参照画素数ＩＬは、共に８つとなっている。
【０１１１】
予測単位のサイズが３２×３２画素、クロマフォーマットが４：２：０である場合には、垂直方向の参照比及び水平方向の参照比は共に「４：１」である。この場合、参照画素数Ｉは、（１６／４）＋（１６／４）＝８となる。予測単位のサイズが３２×３２画素、クロマフォーマットが４：２：２である場合には、垂直方向の参照比は「８：１」、水平方向の参照比は「４：１」である。この場合、参照画素数Ｉは、（３２／８）＋（１６／４）＝８となる。予測単位のサイズが３２×３２画素、クロマフォーマットが４：４：４である場合には、垂直方向の参照比及び水平方向の参照比は共に「８：１」である。この場合、参照画素数Ｉは、（３２／８）＋（３２／８）＝８となる。
【０１１２】
上述した説明から理解されるように、第２のシナリオでは、予測制御部４２は、クロマフォーマットにより表される色差成分の解像度がより高いほど参照比がより小さくなるように、参照比を制御する。それにより、色差成分のブロックサイズの拡大に伴う処理コストの増加が抑制される。また、第２のシナリオでは、予測制御部４２は、クロマフォーマットが４：２：２である場合に、ブロックの左の参照画素数がブロックの上の参照画素数と等しくなるように、垂直方向の参照比と水平方向の参照比とを別々に制御する。それにより、クロマフォーマットが互いに異なる複数のケースで参照画素数を同一にすることが可能となる。結果として、係数算出部４４における係数算出処理をクロマフォーマットによらず共通的な回路又はロジックを用いて行うことが可能となる。従って、第２のシナリオによれば、回路又はロジックの効率的な実装が促進される。
【０１１３】
（３）第３のシナリオ
図１６は、第３のシナリオにおける参照比の定義の一例を示す説明図である。第３のシナリオにおいても、予測制御部４２は、垂直方向のサイズに対する左の参照画素数の比率である第１の参照比と、水平方向のサイズに対する上の参照画素数の比率である第２の参照比とを別々に制御する。また、第３のシナリオでは、予測制御部４２は、同じブロックサイズについて垂直方向の参照比が水平方向の参照比以下となるように、これら参照比を制御する。
【０１１４】
第３のシナリオにおいて、予測単位のサイズが４×４画素である場合には、垂直方向及び水平方向の参照比は、共に「１：１」である。この場合、クロマフォーマットが４：２：０であれば、参照画素数Ｉは、２＋２＝４となる。クロマフォーマットが４：２：２であれば、参照画素数Ｉは、４＋２＝６となる。クロマフォーマットが４：４：４であれば、参照画素数Ｉは、４＋４＝８となる。
【０１１５】
予測単位のサイズが８×８画素である場合には、垂直方向の参照比は「２：１」、水平方向の参照比は「１：１」である。この場合、クロマフォーマットが４：２：０であれば、参照画素数Ｉは、（４／２）＋４＝６となる。クロマフォーマットが４：２：２であれば、参照画素数Ｉは、（８／２）＋４＝８となる。クロマフォーマットが４：４：４であれば、参照画素数Ｉは、（８／２）＋８＝１２となる。
【０１１６】
図１７Ａに、ＰＵサイズが８×８画素、クロマフォーマットが４：２：０である場合の参照画素の設定の一例を示している。図１７Ａの例では、色差成分の参照画素及び輝度成分の参照画素のうち、垂直方向の下半分の参照画素が間引かれている。結果として、色差成分の参照画素数ＩＣ及び輝度成分の参照画素数ＩＬは、共に６つとなっている。
【０１１７】
予測単位のサイズが１６×１６画素である場合には、垂直方向の参照比は「４：１」、水平方向の参照比は「１：１」である。この場合、クロマフォーマットが４：２：０であれば、参照画素数Ｉは、（８／４）＋８＝１０となる。クロマフォーマットが４：２：２であれば、参照画素数Ｉは、（１６／４）＋８＝１２となる。クロマフォーマットが４：４：４であれば、参照画素数Ｉは、（１６／４）＋１６＝２０となる。
【０１１８】
図１７Ｂに、ＰＵサイズが１６×１６画素、クロマフォーマットが４：２：０である場合の参照画素の設定の一例を示している。図１７Ｂの例では、色差成分の参照画素及び輝度成分の参照画素のうち、垂直方向の下側４分の３の参照画素が間引かれている。結果として、色差成分の参照画素数ＩＣ及び輝度成分の参照画素数ＩＬは、共に１０個となっている。
【０１１９】
予測単位のサイズが３２×３２画素である場合には、垂直方向の参照比は「８：１」、水平方向の参照比は「２：１」である。この場合、クロマフォーマットが４：２：０であれば、参照画素数Ｉは、（１６／８）＋（１６／２）＝１０となる。クロマフォーマットが４：２：２であれば、参照画素数Ｉは、（３２／８）＋（１６／２）＝１２となる。クロマフォーマットが４：４：４であれば、参照画素数Ｉは、（３２／８）＋（３２／２）＝２０となる。
【０１２０】
画像を符号化又は復号する装置において、参照画素値は、多くの場合フレームメモリ又はラインメモリに格納され、水平方向のライン単位でアクセスされる。従って、第３のシナリオのように垂直方向の参照比を水平方向の参照比よりも低くすれば、使用される参照画素の数が同じであっても、メモリへのアクセス回数をより少なくすることができる。それにより、係数算出部４４における係数算出処理を高速に実行することが可能となる。また、第３のシナリオのように、よりブロックの上方のラインの参照画素を優先的に使用することで、メモリへの連続的なアクセスを通じて参照画素値を短時間で取得することができる。
【０１２１】
（４）第４のシナリオ
図１８は、第４のシナリオにおける参照比の定義の一例を示す説明図である。第４のシナリオにおいて、予測制御部４２は、画像の符号化及び復号に関する装置のケイパビリティがより低い場合に参照比がより小さくなるように、参照比を制御する。ＨＥＶＣでは、装置のケイパビリティを表すパラメータとして、例えばプロファイル若しくはレベル又はその双方を用いることができる。プロファイル及びレベルは、通常、符号化ストリームのシーケンスパラメータセット内で指定される。
【０１２２】
図１８を参照すると、第４のシナリオにおいて、装置のケイパビリティが「高」及び「低」の２段階に区分されている。４×４画素のサイズを有する予測単位については、装置のケイパビリティに関わらず、参照比は「１：１」である。これに対し、８×８画素以上のサイズを有する予測単位については、ケイパビリティが「低」である場合の参照比は、ケイパビリティが「高」である場合の参照比の半分である。
【０１２３】
例えば、８×８画素の予測単位については、ケイパビリティが「高」であれば参照比は「１：１」である一方、ケイパビリティが「低」であれば参照比は「２：１」である。１６×１６画素の予測単位については、ケイパビリティが「高」であれば参照比は「２：１」である一方、ケイパビリティが「低」であれば参照比は「４：１」である。３２×３２画素の予測単位については、ケイパビリティが「高」であれば参照比は「４：１」である一方、ケイパビリティが「低」であれば参照比は「８：１」である。
【０１２４】
図１９Ａに、ＰＵサイズが１６×１６画素、クロマフォーマットが４：２：０、ケイパビリティが「高」であって、参照比が「２：１」である場合の参照画素の設定の一例を示している。図１９Ａの例では、色差成分の参照画素及び輝度成分の参照画素のうち半分の参照画素が間引かれている。結果として、色差成分の参照画素数ＩＣ及び輝度成分の参照画素数ＩＬは、共に８つとなっている。
【０１２５】
また、図１９Ｂに、ＰＵサイズが１６×１６画素、クロマフォーマットが４：２：０、ケイパビリティが「低」であって、参照比が「４：１」である場合の参照画素の設定の一例を示している。図１９Ｂの例では、色差成分の参照画素及び輝度成分の参照画素のうち４分の３の参照画素が間引かれている。結果として、色差成分の参照画素数ＩＣ及び輝度成分の参照画素数ＩＬは、共に４つとなっている。
【０１２６】
第４のシナリオのように、装置のケイパビリティ（例えばデコーダの処理能力）の高さに応じて参照比を制御することで、ケイパビリティのより低い装置の使用が想定される場合に、参照画素数をより少なくすることができる。それにより、装置の処理能力を超える処理コストがＬＭモードでの係数算出処理において生じることを防ぐことができる。
【０１２７】
（５）第５のシナリオ
Xiaoran Cao Tsinghuaらは、“CE6.b1 Report on Short Distance Intra Prediction Method”（JCTVC-E278，2011年3月）において、サイズの小さい非正方形の予測単位を使用して符号化効率を向上させる、短距離イントラ予測法（Short Distance Intra Prediction Method）を提案している。短距離イントラ予測法では、例えば１×４画素、２×８画素、４×１６画素、４×１画素、８×２画素、１６×４画素などの様々なサイズの予測単位が画像内に設定され得る。この場合、予測単位の垂直方向のサイズ及び水平方向のサイズのうちいずれのサイズがより大きいかは、予測単位の設定に依存する。そこで、第５のシナリオでは、予測制御部４２は、短距離イントラ予測法が用いられる場合に、垂直方向の参照比及び水平方向の参照比のうちサイズのより大きい方向に対応する参照比を動的に選択し、選択した参照比を制御する。
【０１２８】
図２０Ａに、ＰＵサイズが２×８画素、クロマフォーマットが４：２：０である場合の参照画素の設定の一例を示している。図２０Ａの例では、水平方向のサイズが垂直方向のサイズよりも大きいため、垂直方向の参照比が「１：１」であるのに対し、水平方向の参照比は「２：１」とされている。結果として、色差成分の参照画素数ＩＣ及び輝度成分の参照画素数ＩＬは、共に１＋（４／２）＝３つとなっている。
【０１２９】
また、図２０Ｂに、ＰＵサイズが１６×４画素、クロマフォーマットが４：２：０である場合の参照画素の設定の一例を示している。図２０Ｂの例では、垂直方向のサイズが水平方向のサイズよりも大きいため、水平方向の参照比が「１：１」であるのに対し、垂直方向の参照比は「４：１」とされている。結果として、色差成分の参照画素数ＩＣ及び輝度成分の参照画素数ＩＬは、共に（８／４）＋２＝４つとなっている。
【０１３０】
第５のシナリオのように、短距離イントラ予測法が用いられる場合に、サイズのより大きい方向に対応する参照比を動的に選択してこれを制御することで、参照画素がより少ない方向について参照画素数の削減を回避し、予測精度の低下を防ぐことができる。
【０１３１】
ここまで、予測制御部４２による参照比の制御の特徴的な５つのシナリオについて詳細に説明した。これらシナリオに沿った予測制御部４２による参照比の制御は、例えば画像符号化方式の標準仕様において予め定義されるブロックサイズと参照比との間のマッピングに従って行われてよい。かかるマッピングを予め画一的に定義しておくことで、数多くの参照画素の設定パターンをサポートする必要性がなくなり、デコーダにおける回路又はロジックの共通化が容易となる。
【０１３２】
なお、多くの用途において利用される画像データのビット深度は８ビットである一方、１０ビット又は１２ビットなど、より大きいビット深度が一部の用途向けの画像データにおいて利用され得る。そこで、係数算出部４４は、ビット深度が所定のビット数（例えば８ビット）を上回る場合に、参照画素値を上記所定のビット数に削減した上で、削減した参照画素値を用いて予測関数の係数α及び係数βを算出してもよい。それにより、ビット深度に関わらず共通的な小規模の回路又はロジックを用いて係数α及び係数βを算出することが可能となる。
【０１３３】
また、ここでは予測制御部４２がブロックサイズに対する参照画素数の比率である「参照比」を制御する例について主に説明している。しかしながら、参照比と実質的に同等の概念が、例えば、削減される参照画素の比率を意味する「削減比」などの他の用語で表現されてもよい。「参照比」又は「削減比」は、“１：１”、“２：１”、“４：１”などの上述した形式で記述される代わりに、“１００％（０％）”、“５０％（５０％）”若しくは“２５％（７５％）”などのパーセンテージ形式、又は０から１までの範囲内の数値形式で記述されてもよい。
【０１３４】
上述した５つのシナリオは、説明のための例に過ぎない。例えば、上述した５つのシナリオのうち２つ以上のシナリオが組み合わされてもよい。各シナリオにおいて示したようなブロックサイズと参照比（又は削減比）との間のマッピングは、予め定義される代わりに、適応的に選択されてもよい。その場合、選択されたマッピングを指定する情報が、符号化ストリームのパラメータセット又はヘッダ領域内で符号化側から復号側へ伝送され得る。
【０１３５】
＜２．一実施形態に係る符号化時の処理の流れ＞
次に、図２１及び図２２を用いて、符号化時の処理の流れを説明する。図２１は、図２に例示した構成を有するイントラ予測部４０による符号化時のイントラ予測処理の流れの一例を示すフローチャートである。
【０１３６】
図２１を参照すると、まず、処理対象の符号化単位の輝度成分について、予測部４６により様々な予測モードで予測画像データが生成され、モード判定部４８により最適な予測モード及び予測単位の配置が決定される（ステップＳ１００）。
【０１３７】
次に、予測制御部４２は、色差成分の最適な予測モードの探索のために符号化単位内に設定される１つ以上の色差予測単位のうちの１つに注目する（ステップＳ１０５）。
【０１３８】
次に、予測制御部４２は、注目色差ＰＵのサイズが上述した所定の条件を満たすかを判定する（ステップＳ１１０）。所定の条件とは、典型的には、注目色差ＰＵのサイズが対応する輝度ＰＵのサイズからクロマフォーマットに応じて定まるサイズ以下である、という条件である。かかる条件が満たされる場合には、注目色差ＰＵに対応する輝度ＰＵは１つである。また、予測制御部４２は、注目色差ＰＵに対応する輝度ＰＵのサイズが４×４画素であるかを判定する（ステップＳ１１５）。上記条件が満たされ、又は対応する輝度ＰＵのサイズが４×４画素である場合には、係数算出部４４及び予測部４６により、注目色差ＰＵについてＬＭモードでの予測処理が実行される（ステップＳ１２０）。上記条件が満たされず、かつ対応する輝度ＰＵのサイズが８×８画素以上である場合には、ステップＳ１２０におけるＬＭモードでの予測処理はスキップされる。
【０１３９】
次に、予測部４６により、注目色差ＰＵについて非ＬＭモード（例えば、図８に例示したモード０〜モード３）でのイントラ予測処理が実行される（ステップＳ１２５）。次に、モード判定部４８は、注目色差ＰＵについて、各予測モードのコスト関数を原画像データと予測画像データとに基づいて算出する（ステップＳ１３０）。
【０１４０】
これらステップＳ１０５〜ステップＳ１３０の処理は、符号化単位内に設定される各色差ＰＵについて繰り返される（ステップＳ１３５）。そして、モード判定部４８は、コスト関数値を互いに比較することにより、符号化単位内の最適な色差ＰＵの配置と各色差ＰＵについての最適な予測モードとを決定する（ステップＳ１４０）。
【０１４１】
図２２は、図２１のステップＳ１２０におけるＬＭモード予測処理の詳細な流れの一例を示すフローチャートである。
【０１４２】
図２２を参照すると、まず、予測制御部４２は、各予測単位について、予測単位のサイズ及びその他のパラメータ（例えば、クロマフォーマット、プロファイル又はレベルなど）に応じた参照比を取得する（ステップＳ１２１）。
【０１４３】
次に、係数算出部４４は、予測関数の係数を算出するための算出式（例えば、上記式（３）及び式（４））において参照される参照画素を、予測制御部４２により指示される参照比に従って設定する（ステップＳ１２２）。ここで設定される参照画素の数は、参照比に応じて削減され得る。また、参照画素の輝度成分は、クロマフォーマットに依存してリサンプリングされ得る。
【０１４４】
次に、係数算出部４４は、例えば上記式（３）に従い、設定した参照画素の画素値を用いて、予測関数の係数αを算出する（ステップＳ１２３）。さらに、係数算出部４４は、例えば上記式（４）に従い、設定した参照画素の画素値を用いて、予測関数の係数βを算出する（ステップＳ１２４）。
【０１４５】
そして、予測部４６は、対応する輝度成分の値を係数α及び係数βを用いて構築される予測関数（例えば、上記式（１））に代入することにより、各予測対象画素の予測画素値を算出する（ステップＳ１２５）。
【０１４６】
＜３．一実施形態に係る画像復号装置の構成例＞
本節では、図２３及び図２４を用いて、一実施形態に係る画像復号装置の構成例について説明する。
【０１４７】
［３−１．全体的な構成例］
図２３は、一実施形態に係る画像復号装置６０の構成の一例を示すブロック図である。図２３を参照すると、画像復号装置６０は、蓄積バッファ６１、可逆復号部６２、逆量子化部６３、逆直交変換部６４、加算部６５、デブロックフィルタ６６、並び替えバッファ６７、Ｄ／Ａ（Digital to Analogue）変換部６８、フレームメモリ６９、セレクタ７０及び７１、動き補償部８０、並びにイントラ予測部９０を備える。
【０１４８】
蓄積バッファ６１は、伝送路を介して入力される符号化ストリームを記憶媒体を用いて一時的に蓄積する。
【０１４９】
可逆復号部６２は、蓄積バッファ６１から入力される符号化ストリームを、符号化の際に使用された符号化方式に従って復号する。また、可逆復号部６２は、符号化ストリームのヘッダ領域に多重化されている情報を復号する。符号化ストリームのヘッダ領域に多重化されている情報とは、例えば、シーケンスパラメータセット内のプロファイル及びレベル、並びにブロックヘッダ内のインター予測に関する情報及びイントラ予測に関する情報を含み得る。可逆復号部６２は、インター予測に関する情報を動き補償部８０へ出力する。また、可逆復号部６２は、イントラ予測に関する情報をイントラ予測部９０へ出力する。
【０１５０】
本実施形態において、可逆復号部６２は、イントラ予測が行われる符号化単位について、上述したＰＵ別順序で符号化ストリームから量子化データを復号する。即ち、可逆復号部６２は、例えば、１つの符号化単位内の第１の輝度予測単位の輝度成分、第１の輝度予測単位に対応する第１の色差予測単位の色差成分、及び第１の色差予測単位に対応しない（第１の輝度予測単位に後続する）第２の輝度予測単位の輝度成分を、第１の輝度予測単位の輝度成分、第１の色差予測単位の色差成分及び第２の輝度予測単位の輝度成分の順に復号する。
【０１５１】
逆量子化部６３は、可逆復号部６２による復号後の量子化データを逆量子化する。逆直交変換部６４は、符号化の際に使用された直交変換方式に従い、逆量子化部６３から入力される変換係数データについて逆直交変換を行うことにより、予測誤差データを生成する。そして、逆直交変換部６４は、生成した予測誤差データを加算部６５へ出力する。
【０１５２】
加算部６５は、逆直交変換部６４から入力される予測誤差データと、セレクタ７１から入力される予測画像データとを加算することにより、復号画像データを生成する。そして、加算部６５は、生成した復号画像データをデブロックフィルタ６６及びフレームメモリ６９へ出力する。
【０１５３】
デブロックフィルタ６６は、加算部６５から入力される復号画像データをフィルタリングすることによりブロック歪みを除去し、フィルタリング後の復号画像データを並び替えバッファ６７及びフレームメモリ６９へ出力する。
【０１５４】
並び替えバッファ６７は、デブロックフィルタ６６から入力される画像を並び替えることにより、時系列の一連の画像データを生成する。そして、並び替えバッファ６７は、生成した画像データをＤ／Ａ変換部６８へ出力する。
【０１５５】
Ｄ／Ａ変換部６８は、並び替えバッファ６７から入力されるデジタル形式の画像データをアナログ形式の画像信号に変換する。そして、Ｄ／Ａ変換部６８は、例えば、画像復号装置６０と接続されるディスプレイ（図示せず）にアナログ画像信号を出力することにより、画像を表示させる。
【０１５６】
フレームメモリ６９は、加算部６５から入力されるフィルタリング前の復号画像データ、及びデブロックフィルタ６６から入力されるフィルタリング後の復号画像データを記憶媒体を用いて記憶する。
【０１５７】
セレクタ７０は、可逆復号部６２により取得されるモード情報に応じて、画像内のブロックごとに、フレームメモリ６９からの画像データの出力先を動き補償部８０とイントラ予測部９０との間で切り替える。例えば、セレクタ７０は、インター予測モードが指定された場合には、フレームメモリ６９から供給されるフィルタリング後の復号画像データを参照画像データとして動き補償部８０へ出力する。また、セレクタ７０は、イントラ予測モードが指定された場合には、フレームメモリ６９から供給されるフィルタリング前の復号画像データを参照画像データとしてイントラ予測部９０へ出力する。
【０１５８】
セレクタ７１は、可逆復号部６２により取得されるモード情報に応じて、加算部６５へ供給すべき予測画像データの出力元を動き補償部８０とイントラ予測部９０との間で切り替える。例えば、セレクタ７１は、インター予測モードが指定された場合には、動き補償部８０から出力される予測画像データを加算部６５へ供給する。また、セレクタ７１は、イントラ予測モードが指定された場合には、イントラ予測部９０から出力される予測画像データを加算部６５へ供給する。
【０１５９】
動き補償部８０は、可逆復号部６２から入力されるインター予測に関する情報とフレームメモリ６９からの参照画像データとに基づいて動き補償処理を行い、予測画像データを生成する。そして、動き補償部８０は、生成した予測画像データをセレクタ７１へ出力する。
【０１６０】
イントラ予測部９０は、可逆復号部６２から入力されるイントラ予測に関する情報とフレームメモリ６９からの参照画像データとに基づいてイントラ予測処理を行い、予測画像データを生成する。そして、イントラ予測部９０は、生成した予測画像データをセレクタ７１へ出力する。このようなイントラ予測部９０によるイントラ予測処理について、後により詳細に説明する。
【０１６１】
［３−２．イントラ予測部の構成例］
図２４は、図２３に示した画像復号装置６０のイントラ予測部９０の詳細な構成の一例を示すブロック図である。図２４を参照すると、イントラ予測部９０は、予測制御部９２、輝度成分バッファ９３、係数算出部９４及び予測部９６を有する。
【０１６２】
予測制御部９２は、イントラ予測部９０におけるイントラ予測処理を制御する。例えば、予測制御部９２は、イントラ予測に関する情報に含まれる予測モード情報に基づいて符号化単位内に輝度ＰＵを設定し、設定した輝度ＰＵについてイントラ予測処理を実行する。また、予測制御部９２は、予測モード情報に基づいて符号化単位内に色差ＰＵを設定し、設定した色差ＰＵについてイントラ予測処理を実行する。これらイントラ予測処理は、上述したＰＵ別順序に従って行われ得る。輝度ＰＵについてのイントラ予測処理において、予測制御部９２は、予測モード情報により指定される予測モードで予測部９６に各画素の輝度成分の予測画素値を生成させる。同様に、色差ＰＵについてのイントラ予測処理において、予測制御部９２は、予測モード情報により指定される予測モードで予測部９６に各画素の色差成分の予測画素値を生成させる。
【０１６３】
本実施形態では、色差ＰＵについての予測モードの候補は、上述したＬＭモードを含む。そして、予測制御部９２は、ＬＭモードの予測関数の係数を算出する際の参照画素数のブロックサイズに対する比率、即ち参照比を、可変的に制御する。予測制御部９２による参照比の制御は、典型的には、ブロックサイズに応じて行われ得る。例えば、予測制御部９２は、ブロックサイズが所定のサイズを上回る場合に、予測関数の係数を算出する際の参照画素数が一定となるように、参照比を制御してもよい。ブロックサイズと参照比との間のマッピングは、予め定義され画像復号装置６０の記憶媒体により記憶されていてもよく、又は符号化ストリームのヘッダ領域内で動的に指定されてもよい。さらに、予測制御部９２は、クロマフォーマットに応じて、参照比を制御してもよい。また、予測制御部９２は、装置のケイパビリティを定義付けるプロファイル又はレベルに応じて、参照比を制御してもよい。予測制御部９２による参照比の制御は、上述した５つのシナリオのいずれか、それらの任意の組合せ、又は他のシナリオに従って行われ得る。
【０１６４】
輝度成分バッファ９３は、色差ＰＵについてのＬＭモードでのイントラ予測のために使用される輝度成分の値を一時的に記憶する。ＨＥＶＣにおいて、利用可能な最大の輝度ＰＵのサイズ及び利用可能な最大の色差ＰＵのサイズは、共に６４×６４画素である。そして、本実施形態では、ＬＭモードにおいて、１つの色差ＰＵに対応する輝度ＰＵの数は原則として１つに制限される。従って、クロマフォーマットが４：２：０である場合には、６４×６４画素の色差ＰＵについてはＬＭモードは指定されることがない。ＬＭモードが指定され得る色差ＰＵの最大サイズは、３２×３２画素となる。さらに、本実施形態では、上述したＰＵ別順序で符号化処理が行われる。そのため、輝度成分バッファ９３のバッファサイズは、色差ＰＵの最大サイズに相当する３２×３２画素で十分である。これは、図９を用いて説明した既存の手法の成分別順序が採用される場合のメモリリソースの所要量と比較して、４分の１である。第１の輝度ＰＵに対応する第１の色差ＰＵについてＬＭモードでイントラ予測が行われる際には、輝度成分バッファ９３により記憶されている第１の輝度ＰＵの輝度成分の値が参照され得る。その後、第１の色差ＰＵに対応しない第２の輝度ＰＵの輝度成分が復号されると、輝度成分バッファ９３の内容はクリアされ、新たに第２の輝度ＰＵの輝度成分の値が記憶され得る。
【０１６５】
なお、上述したように、輝度ＰＵのサイズが４×４画素である場合には、例外的に複数の輝度ＰＵに基づいて１つの色差ＰＵについてＬＭモードでのイントラ予測が行われてよい。クロマフォーマットが４：２：０である場合には、４×４画素の１つの色差ＰＵについてのＬＭモードでのイントラ予測のために、対応する４つの輝度ＰＵの輝度成分の値が輝度成分バッファ９３によりバッファリングされ得る。クロマフォーマットが４：２：２である場合には、４×４画素の１つの色差ＰＵについてのＬＭモードでのイントラ予測のために、対応する２つの輝度ＰＵの輝度成分の値が輝度成分バッファ９３によりバッファリングされ得る。いずれの場合にも、輝度成分バッファ９３のバッファサイズは、３２×３２画素で十分である。
【０１６６】
係数算出部９４は、色差成分についてＬＭモードが指定された場合に予測部９６により使用される予測関数の係数を、予測対象の画素が属する予測単位の周辺の画素、即ち参照画素を参照して算出する。予測部９６により使用される予測関数は、典型的には輝度成分の値の線型関数であり、例えば上記式（１）により表される。予測関数の係数の算出に際して係数算出部９４により参照される参照画素の数は、上述したように、予測制御部９２により制御される。係数算出部９４は、参照比が「１：１」でない場合には、例えば参照比に応じた数の参照画素を間引いた上で、残りの参照画素のみを用いて予測関数の係数を算出し得る。係数算出部９４は、例えば、所定のサイズを上回る複数のブロックサイズについて共通的な回路又はロジックを用いて予測関数の係数を算出してもよい。また、係数算出部９４は、画素値のビット深度が所定のビット数を上回る場合に、参照画素値を当該所定のビット数に削減した上で、削減した参照画素値を用いて予測関数の係数を算出してもよい。
【０１６７】
予測部９６は、予測制御部９２による制御の下、予測対象の画素の輝度成分の画素値及び色差成分の画素値を、フレームメモリ６９からの参照画像データを用いて、指定された予測モードに従って生成する。予測部９６により色差成分について使用される予測モードの候補は、上述したＬＭモードを含み得る。ＬＭモードが指定された場合には、予測部９６は、係数算出部９４により算出される係数α及び係数βを用いて構築される予測関数に、対応する輝度成分の（必要に応じてリサンプリングされた）値を輝度成分バッファ９３から読み出して代入することにより、色差成分の予測画素値を生成する。予測部９６は、予測の結果として生成される予測画像データを、セレクタ７１を介して加算部６５へ出力する。
【０１６８】
＜４．一実施形態に係る復号時の処理の流れ＞
次に、図２５を用いて、復号時の処理の流れを説明する。図２５は、図２４に例示した構成を有するイントラ予測部９０による復号時のイントラ予測処理の流れの一例を示すフローチャートである。
【０１６９】
図２５を参照すると、まず、予測制御部９２は、符号化ストリームから復号される順に、符号化単位内に１つの予測単位を設定する（ステップＳ２００）。次に、イントラ予測処理は、設定された予測単位が輝度成分の予測単位及び色差成分の予測単位のいずれであるかに応じて分岐する（ステップＳ２０５）。設定された予測単位が輝度成分の予測単位である場合には、処理はステップＳ２１０へ進む。一方、設定された予測単位が色差成分の予測単位である場合には、処理はステップＳ２３０へ進む。
【０１７０】
ステップＳ２１０において、予測制御部９２は、予測モード情報により指定されている輝度成分の予測モードを認識する（ステップＳ２１０）。そして、予測部９６は、予測単位内の各画素の輝度成分の予測画素値を、フレームメモリ６９からの参照画像データを用いて、指定された予測モードに従って生成する（ステップＳ２２０）。
【０１７１】
ステップＳ２３０において、予測制御部９２は、予測モード情報により指定されている色差成分の予測モードを認識する（ステップＳ２３０）。そして、予測制御部９２は、ＬＭモードが指定されているか否かを判定する（ステップＳ２４０）。ここで、ＬＭモードが指定されている場合には、予測制御部９２は、係数算出部９４及び予測部９６に色差成分についてＬＭモードでの予測処理を実行させる（ステップＳ２５０）。ステップＳ２５０におけるＬＭモード予測処理は、図２２を用いて説明したＬＭモード予測処理と同様であってよい。一方、ＬＭモードが指定されていない場合には、予測制御部９２は、予測部９６に色差成分について非ＬＭモードでのイントラ予測処理を実行させる（ステップＳ２６０）。
【０１７２】
その後、同じ符号化単位内に次の予測単位が存在する場合には、処理はステップＳ２００へ戻り、次の予測単位を対象として上述した処理が繰り返される（ステップＳ２７０）。次の予測単位が存在しない場合には、図２５のイントラ予測処理は終了する。
【０１７３】
＜５．変形例＞
本節では、ＬＭモードの導入に関連してメモリリソースの消費量を削減するための変形例を説明する。ここで説明する変形例において、画像符号化装置１０の予測部４６及び画像復号装置６０の予測部９６は、各色差成分に対応する輝度成分をある間引き率で間引く。各色差成分に対応する輝度成分とは、例えば上記式（２）に従ったリサンプリングの後の各輝度成分に相当する。そして、予測部４６及び予測部９６は、間引かれた輝度成分に対応する各色差成分の予測値を、間引かれていない輝度成分の値を用いて生成する。
【０１７４】
図２６は、本変形例に係る間引き処理の一例について説明するための説明図である。図２６を参照すると、一例として、８×８画素の予測単位（ＰＵ）が示されている。クロマフォーマットは４：２：０、間引き率は２５％であるものとする。なお、ここでの間引き率は、間引き前の画素数に対する間引き後の画素数の割合を示す。図２６の例において、１つのＰＵに含まれる色差成分の数は４×４個である。各色差成分に対応する輝度成分の数もまた、リサンプリングによって４×４個となる。これらリサンプリング後の輝度成分が間引き率２５％で間引かれる結果、ＬＭモードでの色差成分の予測に用いられる輝度成分の数は、２×２個となる。より具体的には、図２６の右下の例において、４つの輝度成分Ｌｕ１〜Ｌｕ４のうち、輝度成分Ｌｕ１以外の輝度成分Ｌｕ２、Ｌｕ３及びＬｕ４が間引かれている。同様に、４つの輝度成分Ｌｕ５〜Ｌｕ８のうち、輝度成分Ｌｕ５以外の輝度成分Ｌｕ６、Ｌｕ７及びＬｕ８が間引かれている。図２６の左下の色差成分Ｃｕ１は、間引かれていない輝度成分Ｌｕ１に対応する。従って、予測部４６及び予測部９６は、色差成分Ｃｕ１の予測値を、上記式（１）の右辺に輝度成分Ｌｕ１の値を代入することにより生成することができる。一方、例えば色差成分Ｃｕ２は、間引かれた輝度成分Ｌｕ２に対応する。この場合、予測部４６及び予測部９６は、色差成分Ｃｕ２の予測値を、間引かれていないいずれかの輝度成分の値を用いて生成する。例えば、色差成分Ｃｕ２の予測値は、色差成分Ｃｕ１の予測値の複製であってもよく、又は色差成分Ｃｕ１及びＣｕ５の２つの予測値から線型補間された値であってもよい。
【０１７５】
より一般的には、例えば、間引き率２５％の場合の色差成分の予測画素値ＰｒＣ（ｘ，ｙ）は、次の式（５）又は式（６）により表される手法に従って計算されてよい。式（５）は、隣接する画素からの予測値の複製を表現している。
【０１７６】
【数８】
【０１７７】
式（６）は、予測値の線形補間を表現している。
【０１７８】
【数９】
【０１７９】
なお、式（５）及び式（６）は一例に過ぎず、他の式が使用されてもよい。
【０１８０】
上述した間引き率は、輝度成分のリサンプリング後の画素値を保持しておくためのメモリリソースの量を左右する。間引かれる輝度成分の数が多いほど、メモリリソースの消費量は少なくなる。しかしながら、間引かれる輝度成分の数が多ければ、色差成分の予測の精度が低下する可能性がある。そこで、間引き率を指定するためのパラメータが、符号化ストリームのヘッダ（例えばシーケンスパラメータセット、ピクチャパラメータセット又はスライスヘッダ）において指定されてもよい。この場合、画像復号装置６０の予測部９６は、上記ヘッダから取得されるパラメータに基づいて、間引き率を決定する。それにより、装置ごとの要件（例えばメモリリソースの節約及び符号化効率のいずれを優先するか、など）に応じて、柔軟に間引き率を変更することが可能となる。
【０１８１】
図２７Ａ〜図２７Ｃを参照すると、図２６の例とは異なり、間引き率はそれぞれ５０％である。これらの例においては、リサンプリング後の輝度成分のうち、半分の輝度成分が間引かれる。但し、間引き率が同じであっても、間引かれる輝度成分の位置のパターン（以下、間引きパターンという）は互いに異なる。
【０１８２】
図２７Ａの例において、４つの輝度成分Ｌｕ１〜Ｌｕ４のうち、輝度成分Ｌｕ２及びＬｕ４が間引かれている。同様に、４つの輝度成分Ｌｕ５〜Ｌｕ８のうち、輝度成分Ｌｕ６及びＬｕ８が間引かれている。この場合にも、例えば、間引かれた輝度成分Ｌｕ２に対応する色差成分Ｃｕ２の予測値は、色差成分Ｃｕ１の予測値の複製であってもよく、又は色差成分Ｃｕ１及びＣｕ５の２つの予測値から線型補間された値であってもよい。図２７Ａの間引きパターンでは、間引かれる輝度成分がＰＵ内で均一に分散している。そのため、図２７Ａの間引きパターンは、間引き率の等しい他の間引きパターンと比較して、より高い予測精度を実現し得る。
【０１８３】
図２７Ｂの例においては、行単位で１行おきに輝度成分が間引かれている。このような間引きパターンは、例えばラインメモリによって画素値が保持される装置において、１回のメモリアクセスでより多くの輝度成分の値にアクセスできる点で有益である。一方、図２７Ｃの例においては、列単位で１列おきに輝度成分が間引かれている。このような間引きパターンは、例えばクロマフォーマットが４：２：２であって垂直方向の画素数がより多い場合に、列方向の周波数成分をより多く維持できる点で有益である。
【０１８４】
これら複数の間引きパターンの候補からいずれかの間引きパターンを指定するためのパラメータが、符号化ストリームのヘッダにおいて指定されてよい。この場合、画像復号装置６０の予測部９６は、上記ヘッダから取得されるパラメータに基づいて、間引かれる輝度成分の位置を決定する。それにより、装置ごとの要件に応じて柔軟に間引きパターンを変更することが可能となる。
【０１８５】
また、予測部４６及び予測部９６は、上述した参照比に応じて間引き率を決定してもよい。例えば、予測関数の係数の算出の際に参照される参照画素数がより少なければ、より多くの輝度成分が間引かれ得る。その際、予測部４６及び予測部９６は、参照画素の間引き位置に対応する位置の輝度成分を間引いてよい。
【０１８６】
図２８Ａ及び図２８Ｂは、それぞれ参照画素の間引き位置と輝度成分の間引き位置との対応の例を示している。図２８Ａの例において、ＰＵサイズは１６×１６画素、クロマフォーマットは４：２：０、参照比は２：１である。この場合、例えば間引き率は２５％に決定され、図２６の例と同様の間引きパターンが選択され得る。一方、図２８Ｂの例において、ＰＵサイズは１６×１６画素、クロマフォーマットは４：２：０、垂直方向の参照比は２：１、水平方向の参照比は１：１である。この場合、例えば間引き率は５０％に決定され、図２７Ｂの例と同様の間引きパターンが選択され得る。
【０１８７】
図２８Ａの例においては、参照画素が間引かれる行について、予測対象ブロックの全ての輝度成分が間引かれている。参照画素が間引かれる列についても、予測対象ブロックの全ての輝度成分が間引かれている。このように間引き位置を決定することにより、間引き位置の判定が単純化されるため、本変形例に係る間引き処理の実装をより容易にすることができる。図２８Ｂの例においても、参照画素が間引かれる行について、予測対象ブロックの全ての輝度成分が間引かれている。このように間引き位置を決定することにより、間引き位置に相当する行について、参照画素か予測対象画素かを問わず輝度成分へのアクセスを完全にスキップすることができる。それにより、間引き処理の実装がより容易になると共に、メモリアクセスの回数を減らして処理速度を高めることができる。
【０１８８】
＜６．応用例＞
上述した実施形態に係る画像符号化装置１０及び画像復号装置６０は、衛星放送、ケーブルＴＶなどの有線放送、インターネット上での配信、及びセルラー通信による端末への配信などにおける送信機若しくは受信機、光ディスク、磁気ディスク及びフラッシュメモリなどの媒体に画像を記録する記録装置、又は、これら記憶媒体から画像を再生する再生装置などの様々な電子機器に応用され得る。以下、４つの応用例について説明する。
【０１８９】
［６−１．第１の応用例］
図２９は、上述した実施形態を適用したテレビジョン装置の概略的な構成の一例を示している。テレビジョン装置９００は、アンテナ９０１、チューナ９０２、デマルチプレクサ９０３、デコーダ９０４、映像信号処理部９０５、表示部９０６、音声信号処理部９０７、スピーカ９０８、外部インタフェース９０９、制御部９１０、ユーザインタフェース９１１、及びバス９１２を備える。
【０１９０】
チューナ９０２は、アンテナ９０１を介して受信される放送信号から所望のチャンネルの信号を抽出し、抽出した信号を復調する。そして、チューナ９０２は、復調により得られた符号化ビットストリームをデマルチプレクサ９０３へ出力する。即ち、チューナ９０２は、画像が符号化されている符号化ストリームを受信する、テレビジョン装置９００における伝送手段としての役割を有する。
【０１９１】
デマルチプレクサ９０３は、符号化ビットストリームから視聴対象の番組の映像ストリーム及び音声ストリームを分離し、分離した各ストリームをデコーダ９０４へ出力する。また、デマルチプレクサ９０３は、符号化ビットストリームからＥＰＧ（Electronic Program Guide）などの補助的なデータを抽出し、抽出したデータを制御部９１０に供給する。なお、デマルチプレクサ９０３は、符号化ビットストリームがスクランブルされている場合には、デスクランブルを行ってもよい。
【０１９２】
デコーダ９０４は、デマルチプレクサ９０３から入力される映像ストリーム及び音声ストリームを復号する。そして、デコーダ９０４は、復号処理により生成される映像データを映像信号処理部９０５へ出力する。また、デコーダ９０４は、復号処理により生成される音声データを音声信号処理部９０７へ出力する。
【０１９３】
映像信号処理部９０５は、デコーダ９０４から入力される映像データを再生し、表示部９０６に映像を表示させる。また、映像信号処理部９０５は、ネットワークを介して供給されるアプリケーション画面を表示部９０６に表示させてもよい。また、映像信号処理部９０５は、映像データについて、設定に応じて、例えばノイズ除去などの追加的な処理を行ってもよい。さらに、映像信号処理部９０５は、例えばメニュー、ボタン又はカーソルなどのＧＵＩ（Graphical User Interface）の画像を生成し、生成した画像を出力画像に重畳してもよい。
【０１９４】
表示部９０６は、映像信号処理部９０５から供給される駆動信号により駆動され、表示デバイス（例えば、液晶ディスプレイ、プラズマディスプレイ又はＯＬＥＤなど）の映像面上に映像又は画像を表示する。
【０１９５】
音声信号処理部９０７は、デコーダ９０４から入力される音声データについてＤ／Ａ変換及び増幅などの再生処理を行い、スピーカ９０８から音声を出力させる。また、音声信号処理部９０７は、音声データについてノイズ除去などの追加的な処理を行ってもよい。
【０１９６】
外部インタフェース９０９は、テレビジョン装置９００と外部機器又はネットワークとを接続するためのインタフェースである。例えば、外部インタフェース９０９を介して受信される映像ストリーム又は音声ストリームが、デコーダ９０４により復号されてもよい。即ち、外部インタフェース９０９もまた、画像が符号化されている符号化ストリームを受信する、テレビジョン装置９００における伝送手段としての役割を有する。
【０１９７】
制御部９１０は、ＣＰＵ（Central Processing Unit）などのプロセッサ、並びにＲＡＭ（Random Access Memory）及びＲＯＭ（Read Only Memory）などのメモリを有する。メモリは、ＣＰＵにより実行されるプログラム、プログラムデータ、ＥＰＧデータ、及びネットワークを介して取得されるデータなどを記憶する。メモリにより記憶されるプログラムは、例えば、テレビジョン装置９００の起動時にＣＰＵにより読み込まれ、実行される。ＣＰＵは、プログラムを実行することにより、例えばユーザインタフェース９１１から入力される操作信号に応じて、テレビジョン装置９００の動作を制御する。
【０１９８】
ユーザインタフェース９１１は、制御部９１０と接続される。ユーザインタフェース９１１は、例えば、ユーザがテレビジョン装置９００を操作するためのボタン及びスイッチ、並びに遠隔制御信号の受信部などを有する。ユーザインタフェース９１１は、これら構成要素を介してユーザによる操作を検出して操作信号を生成し、生成した操作信号を制御部９１０へ出力する。
【０１９９】
バス９１２は、チューナ９０２、デマルチプレクサ９０３、デコーダ９０４、映像信号処理部９０５、音声信号処理部９０７、外部インタフェース９０９及び制御部９１０を相互に接続する。
【０２００】
このように構成されたテレビジョン装置９００において、デコーダ９０４は、上述した実施形態に係る画像復号装置６０の機能を有する。それにより、テレビジョン装置９００での画像の復号に際して、ＬＭモードが採用される場合に、ブロックサイズの拡大に伴うメモリリソースの消費量の増大を抑制することができる。
【０２０１】
［６−２．第２の応用例］
図３０は、上述した実施形態を適用した携帯電話機の概略的な構成の一例を示している。携帯電話機９２０は、アンテナ９２１、通信部９２２、音声コーデック９２３、スピーカ９２４、マイクロホン９２５、カメラ部９２６、画像処理部９２７、多重分離部９２８、記録再生部９２９、表示部９３０、制御部９３１、操作部９３２、及びバス９３３を備える。
【０２０２】
アンテナ９２１は、通信部９２２に接続される。スピーカ９２４及びマイクロホン９２５は、音声コーデック９２３に接続される。操作部９３２は、制御部９３１に接続される。バス９３３は、通信部９２２、音声コーデック９２３、カメラ部９２６、画像処理部９２７、多重分離部９２８、記録再生部９２９、表示部９３０、及び制御部９３１を相互に接続する。
【０２０３】
携帯電話機９２０は、音声通話モード、データ通信モード、撮影モード及びテレビ電話モードを含む様々な動作モードで、音声信号の送受信、電子メール又は画像データの送受信、画像の撮像、及びデータの記録などの動作を行う。
【０２０４】
音声通話モードにおいて、マイクロホン９２５により生成されるアナログ音声信号は、音声コーデック９２３に供給される。音声コーデック９２３は、アナログ音声信号を音声データへ変換し、変換された音声データをＡ／Ｄ変換し圧縮する。そして、音声コーデック９２３は、圧縮後の音声データを通信部９２２へ出力する。通信部９２２は、音声データを符号化及び変調し、送信信号を生成する。そして、通信部９２２は、生成した送信信号をアンテナ９２１を介して基地局（図示せず）へ送信する。また、通信部９２２は、アンテナ９２１を介して受信される無線信号を増幅し及び周波数変換し、受信信号を取得する。そして、通信部９２２は、受信信号を復調及び復号して音声データを生成し、生成した音声データを音声コーデック９２３へ出力する。音声コーデック９２３は、音声データを伸張し及びＤ／Ａ変換し、アナログ音声信号を生成する。そして、音声コーデック９２３は、生成した音声信号をスピーカ９２４に供給して音声を出力させる。
【０２０５】
また、データ通信モードにおいて、例えば、制御部９３１は、操作部９３２を介するユーザによる操作に応じて、電子メールを構成する文字データを生成する。また、制御部９３１は、文字を表示部９３０に表示させる。また、制御部９３１は、操作部９３２を介するユーザからの送信指示に応じて電子メールデータを生成し、生成した電子メールデータを通信部９２２へ出力する。通信部９２２は、電子メールデータを符号化及び変調し、送信信号を生成する。そして、通信部９２２は、生成した送信信号をアンテナ９２１を介して基地局（図示せず）へ送信する。また、通信部９２２は、アンテナ９２１を介して受信される無線信号を増幅し及び周波数変換し、受信信号を取得する。そして、通信部９２２は、受信信号を復調及び復号して電子メールデータを復元し、復元した電子メールデータを制御部９３１へ出力する。制御部９３１は、表示部９３０に電子メールの内容を表示させると共に、電子メールデータを記録再生部９２９の記憶媒体に記憶させる。
【０２０６】
記録再生部９２９は、読み書き可能な任意の記憶媒体を有する。例えば、記憶媒体は、ＲＡＭ又はフラッシュメモリなどの内蔵型の記憶媒体であってもよく、ハードディスク、磁気ディスク、光磁気ディスク、光ディスク、ＵＳＢメモリ、又はメモリカードなどの外部装着型の記憶媒体であってもよい。
【０２０７】
また、撮影モードにおいて、例えば、カメラ部９２６は、被写体を撮像して画像データを生成し、生成した画像データを画像処理部９２７へ出力する。画像処理部９２７は、カメラ部９２６から入力される画像データを符号化し、符号化ストリームを記録再生部９２９の記憶媒体に記憶させる。
【０２０８】
また、テレビ電話モードにおいて、例えば、多重分離部９２８は、画像処理部９２７により符号化された映像ストリームと、音声コーデック９２３から入力される音声ストリームとを多重化し、多重化したストリームを通信部９２２へ出力する。通信部９２２は、ストリームを符号化及び変調し、送信信号を生成する。そして、通信部９２２は、生成した送信信号をアンテナ９２１を介して基地局（図示せず）へ送信する。また、通信部９２２は、アンテナ９２１を介して受信される無線信号を増幅し及び周波数変換し、受信信号を取得する。これら送信信号及び受信信号には、符号化ビットストリームが含まれ得る。そして、通信部９２２は、受信信号を復調及び復号してストリームを復元し、復元したストリームを多重分離部９２８へ出力する。多重分離部９２８は、入力されるストリームから映像ストリーム及び音声ストリームを分離し、映像ストリームを画像処理部９２７、音声ストリームを音声コーデック９２３へ出力する。画像処理部９２７は、映像ストリームを復号し、映像データを生成する。映像データは、表示部９３０に供給され、表示部９３０により一連の画像が表示される。音声コーデック９２３は、音声ストリームを伸張し及びＤ／Ａ変換し、アナログ音声信号を生成する。そして、音声コーデック９２３は、生成した音声信号をスピーカ９２４に供給して音声を出力させる。
【０２０９】
このように構成された携帯電話機９２０において、画像処理部９２７は、上述した実施形態に係る画像符号化装置１０及び画像復号装置６０の機能を有する。それにより、携帯電話機９２０での画像の符号化及び復号に際して、ＬＭモードが採用される場合に、ブロックサイズの拡大に伴うメモリリソースの消費量の増大を抑制することができる。
【０２１０】
［６−３．第３の応用例］
図３１は、上述した実施形態を適用した記録再生装置の概略的な構成の一例を示している。記録再生装置９４０は、例えば、受信した放送番組の音声データ及び映像データを符号化して記録媒体に記録する。また、記録再生装置９４０は、例えば、他の装置から取得される音声データ及び映像データを符号化して記録媒体に記録してもよい。また、記録再生装置９４０は、例えば、ユーザの指示に応じて、記録媒体に記録されているデータをモニタ及びスピーカ上で再生する。このとき、記録再生装置９４０は、音声データ及び映像データを復号する。
【０２１１】
記録再生装置９４０は、チューナ９４１、外部インタフェース９４２、エンコーダ９４３、ＨＤＤ（Hard Disk Drive）９４４、ディスクドライブ９４５、セレクタ９４６、デコーダ９４７、ＯＳＤ（On-Screen Display）９４８、制御部９４９、及びユーザインタフェース９５０を備える。
【０２１２】
チューナ９４１は、アンテナ（図示せず）を介して受信される放送信号から所望のチャンネルの信号を抽出し、抽出した信号を復調する。そして、チューナ９４１は、復調により得られた符号化ビットストリームをセレクタ９４６へ出力する。即ち、チューナ９４１は、記録再生装置９４０における伝送手段としての役割を有する。
【０２１３】
外部インタフェース９４２は、記録再生装置９４０と外部機器又はネットワークとを接続するためのインタフェースである。外部インタフェース９４２は、例えば、ＩＥＥＥ１３９４インタフェース、ネットワークインタフェース、ＵＳＢインタフェース、又はフラッシュメモリインタフェースなどであってよい。例えば、外部インタフェース９４２を介して受信される映像データ及び音声データは、エンコーダ９４３へ入力される。即ち、外部インタフェース９４２は、記録再生装置９４０における伝送手段としての役割を有する。
【０２１４】
エンコーダ９４３は、外部インタフェース９４２から入力される映像データ及び音声データが符号化されていない場合に、映像データ及び音声データを符号化する。そして、エンコーダ９４３は、符号化ビットストリームをセレクタ９４６へ出力する。
【０２１５】
ＨＤＤ９４４は、映像及び音声などのコンテンツデータが圧縮された符号化ビットストリーム、各種プログラム及びその他のデータを内部のハードディスクに記録する。また、ＨＤＤ９４４は、映像及び音声の再生時に、これらデータをハードディスクから読み出す。
【０２１６】
ディスクドライブ９４５は、装着されている記録媒体へのデータの記録及び読み出しを行う。ディスクドライブ９４５に装着される記録媒体は、例えばＤＶＤディスク（ＤＶＤ−Ｖｉｄｅｏ、ＤＶＤ−ＲＡＭ、ＤＶＤ−Ｒ、ＤＶＤ−ＲＷ、ＤＶＤ＋Ｒ、ＤＶＤ＋ＲＷ等）又はＢｌｕ−ｒａｙ（登録商標）ディスクなどであってよい。
【０２１７】
セレクタ９４６は、映像及び音声の記録時には、チューナ９４１又はエンコーダ９４３から入力される符号化ビットストリームを選択し、選択した符号化ビットストリームをＨＤＤ９４４又はディスクドライブ９４５へ出力する。また、セレクタ９４６は、映像及び音声の再生時には、ＨＤＤ９４４又はディスクドライブ９４５から入力される符号化ビットストリームをデコーダ９４７へ出力する。
【０２１８】
デコーダ９４７は、符号化ビットストリームを復号し、映像データ及び音声データを生成する。そして、デコーダ９４７は、生成した映像データをＯＳＤ９４８へ出力する。また、デコーダ９０４は、生成した音声データを外部のスピーカへ出力する。
【０２１９】
ＯＳＤ９４８は、デコーダ９４７から入力される映像データを再生し、映像を表示する。また、ＯＳＤ９４８は、表示する映像に、例えばメニュー、ボタン又はカーソルなどのＧＵＩの画像を重畳してもよい。
【０２２０】
制御部９４９は、ＣＰＵなどのプロセッサ、並びにＲＡＭ及びＲＯＭなどのメモリを有する。メモリは、ＣＰＵにより実行されるプログラム、及びプログラムデータなどを記憶する。メモリにより記憶されるプログラムは、例えば、記録再生装置９４０の起動時にＣＰＵにより読み込まれ、実行される。ＣＰＵは、プログラムを実行することにより、例えばユーザインタフェース９５０から入力される操作信号に応じて、記録再生装置９４０の動作を制御する。
【０２２１】
ユーザインタフェース９５０は、制御部９４９と接続される。ユーザインタフェース９５０は、例えば、ユーザが記録再生装置９４０を操作するためのボタン及びスイッチ、並びに遠隔制御信号の受信部などを有する。ユーザインタフェース９５０は、これら構成要素を介してユーザによる操作を検出して操作信号を生成し、生成した操作信号を制御部９４９へ出力する。
【０２２２】
このように構成された記録再生装置９４０において、エンコーダ９４３は、上述した実施形態に係る画像符号化装置１０の機能を有する。また、デコーダ９４７は、上述した実施形態に係る画像復号装置６０の機能を有する。それにより、記録再生装置９４０での画像の符号化及び復号に際して、ＬＭモードが採用される場合に、ブロックサイズの拡大に伴うメモリリソースの消費量の増大を抑制することができる。
【０２２３】
［６−４．第４の応用例］
図３２は、上述した実施形態を適用した撮像装置の概略的な構成の一例を示している。撮像装置９６０は、被写体を撮像して画像を生成し、画像データを符号化して記録媒体に記録する。
【０２２４】
撮像装置９６０は、光学ブロック９６１、撮像部９６２、信号処理部９６３、画像処理部９６４、表示部９６５、外部インタフェース９６６、メモリ９６７、メディアドライブ９６８、ＯＳＤ９６９、制御部９７０、ユーザインタフェース９７１、及びバス９７２を備える。
【０２２５】
光学ブロック９６１は、撮像部９６２に接続される。撮像部９６２は、信号処理部９６３に接続される。表示部９６５は、画像処理部９６４に接続される。ユーザインタフェース９７１は、制御部９７０に接続される。バス９７２は、画像処理部９６４、外部インタフェース９６６、メモリ９６７、メディアドライブ９６８、ＯＳＤ９６９、及び制御部９７０を相互に接続する。
【０２２６】
光学ブロック９６１は、フォーカスレンズ及び絞り機構などを有する。光学ブロック９６１は、被写体の光学像を撮像部９６２の撮像面に結像させる。撮像部９６２は、ＣＣＤ又はＣＭＯＳなどのイメージセンサを有し、撮像面に結像した光学像を光電変換によって電気信号としての画像信号に変換する。そして、撮像部９６２は、画像信号を信号処理部９６３へ出力する。
【０２２７】
信号処理部９６３は、撮像部９６２から入力される画像信号に対してニー補正、ガンマ補正、色補正などの種々のカメラ信号処理を行う。信号処理部９６３は、カメラ信号処理後の画像データを画像処理部９６４へ出力する。
【０２２８】
画像処理部９６４は、信号処理部９６３から入力される画像データを符号化し、符号化データを生成する。そして、画像処理部９６４は、生成した符号化データを外部インタフェース９６６又はメディアドライブ９６８へ出力する。また、画像処理部９６４は、外部インタフェース９６６又はメディアドライブ９６８から入力される符号化データを復号し、画像データを生成する。そして、画像処理部９６４は、生成した画像データを表示部９６５へ出力する。また、画像処理部９６４は、信号処理部９６３から入力される画像データを表示部９６５へ出力して画像を表示させてもよい。また、画像処理部９６４は、ＯＳＤ９６９から取得される表示用データを、表示部９６５へ出力する画像に重畳してもよい。
【０２２９】
ＯＳＤ９６９は、例えばメニュー、ボタン又はカーソルなどのＧＵＩの画像を生成して、生成した画像を画像処理部９６４へ出力する。
【０２３０】
外部インタフェース９６６は、例えばＵＳＢ入出力端子として構成される。外部インタフェース９６６は、例えば、画像の印刷時に、撮像装置９６０とプリンタとを接続する。また、外部インタフェース９６６には、必要に応じてドライブが接続される。ドライブには、例えば、磁気ディスク又は光ディスクなどのリムーバブルメディアが装着され、リムーバブルメディアから読み出されるプログラムが、撮像装置９６０にインストールされ得る。さらに、外部インタフェース９６６は、ＬＡＮ又はインターネットなどのネットワークに接続されるネットワークインタフェースとして構成されてもよい。即ち、外部インタフェース９６６は、撮像装置９６０における伝送手段としての役割を有する。
【０２３１】
メディアドライブ９６８に装着される記録媒体は、例えば、磁気ディスク、光磁気ディスク、光ディスク、又は半導体メモリなどの、読み書き可能な任意のリムーバブルメディアであってよい。また、メディアドライブ９６８に記録媒体が固定的に装着され、例えば、内蔵型ハードディスクドライブ又はＳＳＤ（Solid State Drive）のような非可搬性の記憶部が構成されてもよい。
【０２３２】
制御部９７０は、ＣＰＵなどのプロセッサ、並びにＲＡＭ及びＲＯＭなどのメモリを有する。メモリは、ＣＰＵにより実行されるプログラム、及びプログラムデータなどを記憶する。メモリにより記憶されるプログラムは、例えば、撮像装置９６０の起動時にＣＰＵにより読み込まれ、実行される。ＣＰＵは、プログラムを実行することにより、例えばユーザインタフェース９７１から入力される操作信号に応じて、撮像装置９６０の動作を制御する。
【０２３３】
ユーザインタフェース９７１は、制御部９７０と接続される。ユーザインタフェース９７１は、例えば、ユーザが撮像装置９６０を操作するためのボタン及びスイッチなどを有する。ユーザインタフェース９７１は、これら構成要素を介してユーザによる操作を検出して操作信号を生成し、生成した操作信号を制御部９７０へ出力する。
【０２３４】
このように構成された撮像装置９６０において、画像処理部９６４は、上述した実施形態に係る画像符号化装置１０及び画像復号装置６０の機能を有する。それにより、撮像装置９６０での画像の符号化及び復号に際して、ＬＭモードが採用される場合に、ブロックサイズの拡大に伴うメモリリソースの消費量の増大を抑制することができる。
【０２３５】
＜７．まとめ＞
ここまで、図１〜図３２を用いて、一実施形態に係る画像符号化装置１０及び画像復号装置６０について説明した。本実施形態によれば、符号化単位内の第１の輝度予測単位の輝度成分が符号化された後、第１の輝度予測単位に対応する第１の色差予測単位の色差成分が、第１の色差予測単位に対応しない第２の輝度予測単位の輝度成分の前に符号化される。従って、そのような符号化の順序に従って符号化ストリームを復号する際、バッファリングされる第１の輝度予測単位の輝度成分の値に基づいて、第１の色差予測単位についてＬＭモードでイントラ予測を実行することができる。また、第１の色差予測単位についてイントラ予測が終了すれば、バッファをクリアして新たに第２の輝度予測単位の輝度成分の値をバッファリングすることができる。従って、ＬＭモードの採用のために大規模なメモリを用意しなくてもよいこととなる。即ち、動的に構築される予測関数に基づくイントラ予測が行われる場合に必要とされるメモリリソースの量を削減することができる。
【０２３６】
また、本実施形態によれば、ＬＭモードにおいては、１つの色差予測単位に対応する輝度予測単位の数は原則として１つに制限される。即ち、互いに相関の低い複数の輝度予測単位にわたる輝度成分の値に基づいて、１つの色差成分についてＬＭモードでイントラ予測が行われることがない。従って、高い予測精度を期待できない予測モードが探索の対象から除外されるため、画像の符号化に要する処理コストを低減することができる。但し、輝度予測単位のサイズが４×４画素である場合には、ＬＭモードにおいて例外的に１つの色差予測単位に対応する輝度予測単位の数が複数となることが許容されてもよい。かかる構成によれば、予測単位のサイズが小さい場合に限ってＬＭモードが活用される機会を増やして符号化効率を高めることが可能となる。
【０２３７】
また、本実施形態によれば、画像の符号化及び復号における色差成分のイントラ予測にあたり、対応する輝度成分の値の関数を用いるＬＭモードが採用される場合に、関数の係数の算出の際に参照される参照画素の数のブロックサイズに対する比率が、可変的に制御される。従って、ブロックサイズの拡大に伴う参照画素数の増大を抑制して、処理コストの増加を回避し又は緩和することができる。
【０２３８】
また、本実施形態によれば、ブロックサイズが所定のサイズを上回る場合に参照画素数が一定となるように上記比率が制御され得る。かかる構成によれば、複数のブロックサイズについて共通的な回路又はロジックを用いて、上記関数の係数を算出することができる。従って、ＬＭモードの採用に起因する回路規模又はロジックの規模の増大をも抑制することができる。
【０２３９】
また、本実施形態によれば、ブロックサイズが所定のサイズを下回る場合に参照画素が過剰に削減されることがない。従って、参照画素数の不足によってＬＭモードでの予測の精度が低下することが防がれる。なお、比較的大きいブロックサイズは、通常、ブロック内の画像が単調であって予測が容易である場合に設定され得る。従って、ブロックサイズがより大きい場合により多くの参照画素を削減したとしても、それにより予測の精度が著しく低下するリスクは小さい。
【０２４０】
また、本実施形態によれば、上記比率は、ブロックの垂直方向とブロックの水平方向とで別々に制御され得る。かかる構成によれば、クロマフォーマットに依存することなく、共通的な回路又はロジックを用いて上記関数の係数を算出することが可能となる。また、比較的少ないメモリアクセスで参照可能な水平方向に沿って並ぶ参照画素をより多く残し、垂直方向に沿って並ぶ参照画素をより多く削減することも可能となる。さらに、短距離イントラ予測法が用いられる場合に、ブロックの形状に応じて、削減すべき参照画素を適応的に変化させることも可能となる。
【０２４１】
また、上述した変形例によれば、ＬＭモードの導入に関連するメモリリソースの消費量を一層効果的に削減することができる。
【０２４２】
なお、本明細書では、イントラ予測に関する情報及びインター予測に関する情報が、符号化ストリームのヘッダに多重化されて、符号化側から復号側へ伝送される例について主に説明した。しかしながら、これら情報を伝送する手法はかかる例に限定されない。例えば、これら情報は、符号化ビットストリームに多重化されることなく、符号化ビットストリームと関連付けられた別個のデータとして伝送され又は記録されてもよい。ここで、「関連付ける」という用語は、ビットストリームに含まれる画像（スライス若しくはブロックなど、画像の一部であってもよい）と当該画像に対応する情報とを復号時にリンクさせ得るようにすることを意味する。即ち、情報は、画像（又はビットストリーム）とは別の伝送路上で伝送されてもよい。また、情報は、画像（又はビットストリーム）とは別の記録媒体（又は同一の記録媒体の別の記録エリア）に記録されてもよい。さらに、情報と画像（又はビットストリーム）とは、例えば、複数フレーム、１フレーム、又はフレーム内の一部分などの任意の単位で互いに関連付けられてよい。
【０２４３】
以上、添付図面を参照しながら本開示の好適な実施形態について詳細に説明したが、本開示の技術的範囲はかかる例に限定されない。本開示の技術分野における通常の知識を有する者であれば、特許請求の範囲に記載された技術的思想の範疇内において、各種の変更例または修正例に想到し得ることは明らかであり、これらについても、当然に本開示の技術的範囲に属するものと了解される。
【０２４４】
なお、以下のような構成も本開示の技術的範囲に属する。
（１）
符号化単位内の第１の輝度予測単位の輝度成分、前記第１の輝度予測単位に対応する第１の色差予測単位の色差成分、及び前記符号化単位内の前記第１の色差予測単位に対応しない第２の輝度予測単位の輝度成分を、前記第１の輝度予測単位の輝度成分、前記第１の色差予測単位の色差成分及び前記第２の輝度予測単位の輝度成分の順に復号する復号部、
を備える画像処理装置。
（２）
輝度成分に基づく色差成分の予測を表す線型モデル（ＬＭ）モードが指定された場合に、前記復号部により復号される前記第１の色差予測単位の色差成分の予測値を、前記第１の輝度予測単位の輝度成分の値に基づく関数を用いて生成する予測部、をさらに備える、前記（１）に記載の画像処理装置。
（３）
前記ＬＭモードにおいて、１つの色差予測単位に対応する輝度予測単位の数は１つに制限される、前記（２）に記載の画像処理装置。
（４）
輝度予測単位のサイズが４×４画素である場合には、前記ＬＭモードにおいて例外的に１つの色差予測単位に対応する輝度予測単位の数が複数となることが許容される、前記（３）に記載の画像処理装置。
（５）
前記復号部は、前記第１の輝度予測単位のサイズが４×４画素である場合には、前記第１の輝度予測単位を含む１つ以上の４×４画素の輝度予測単位の輝度成分を復号した後、前記第１の色差予測単位の色差成分を復号する、前記（４）に記載の画像処理装置。
（６）
前記予測部は、前記ＬＭモードのための輝度成分のバッファとして、色差予測単位の最大サイズ以下のサイズのバッファを有する、前記（３）〜（５）のいずれか１項に記載の画像処理装置。
（７）
符号化単位内の第１の輝度予測単位の輝度成分、前記第１の輝度予測単位に対応する第１の色差予測単位の色差成分、及び前記符号化単位内の前記第１の色差予測単位に対応しない第２の輝度予測単位の輝度成分を、前記第１の輝度予測単位の輝度成分、前記第１の色差予測単位の色差成分及び前記第２の輝度予測単位の輝度成分の順に復号すること、
を含む画像処理方法。
（８）
符号化単位内の第１の輝度予測単位の輝度成分、前記第１の輝度予測単位に対応する第１の色差予測単位の色差成分、及び前記符号化単位内の前記第１の色差予測単位に対応しない第２の輝度予測単位の輝度成分を、前記第１の輝度予測単位の輝度成分、前記第１の色差予測単位の色差成分及び前記第２の輝度予測単位の輝度成分の順に符号化する符号化部、
を備える画像処理装置。
（９）
輝度成分に基づく色差成分の予測を表す線型モデル（ＬＭ）モードにおいて、前記第１の色差予測単位の色差成分の予測値を、前記第１の輝度予測単位の輝度成分の値に基づく関数を用いて生成する予測部、をさらに備える、前記（８）に記載の画像処理装置。
（１０）
前記予測部は、色差予測単位のサイズが対応する輝度予測単位のサイズからクロマフォーマットに応じて定まるサイズよりも大きい場合には、当該色差予測単位について前記ＬＭモードを探索しない、前記（９）に記載の画像処理装置。
（１１）
前記予測部は、前記第１の色差予測単位及び前記第１の輝度予測単位のサイズがそれぞれ４×４画素である場合には、前記第１の色差予測単位について、前記第１の輝度予測単位を含む複数の輝度予測単位に基づく前記ＬＭモードを例外的に探索する、前記（１０）に記載の画像処理装置。
（１２）
符号化単位内の第１の輝度予測単位の輝度成分、前記第１の輝度予測単位に対応する第１の色差予測単位の色差成分、及び前記符号化単位内の前記第１の色差予測単位に対応しない第２の輝度予測単位の輝度成分を、前記第１の輝度予測単位の輝度成分、前記第１の色差予測単位の色差成分及び前記第２の輝度予測単位の輝度成分の順に符号化すること、
を含む画像処理方法。
【符号の説明】
【０２４５】
１０ 画像符号化装置（画像処理装置）
１６ 符号化部
４０ イントラ予測部
６０ 画像復号装置（画像処理装置）
６２ 復号部
９０ イントラ予測部
【特許請求の範囲】
【請求項１】
符号化単位内の第１の輝度予測単位の輝度成分、前記第１の輝度予測単位に対応する第１の色差予測単位の色差成分、及び前記符号化単位内の前記第１の色差予測単位に対応しない第２の輝度予測単位の輝度成分を、前記第１の輝度予測単位の輝度成分、前記第１の色差予測単位の色差成分及び前記第２の輝度予測単位の輝度成分の順に復号する復号部、
を備える画像処理装置。
【請求項２】
輝度成分に基づく色差成分の予測を表す線型モデル（ＬＭ）モードが指定された場合に、前記復号部により復号される前記第１の色差予測単位の色差成分の予測値を、前記第１の輝度予測単位の輝度成分の値に基づく関数を用いて生成する予測部、をさらに備える、請求項１に記載の画像処理装置。
【請求項３】
前記ＬＭモードにおいて、１つの色差予測単位に対応する輝度予測単位の数は１つに制限される、請求項２に記載の画像処理装置。
【請求項４】
輝度予測単位のサイズが４×４画素である場合には、前記ＬＭモードにおいて例外的に１つの色差予測単位に対応する輝度予測単位の数が複数となることが許容される、請求項３に記載の画像処理装置。
【請求項５】
前記復号部は、前記第１の輝度予測単位のサイズが４×４画素である場合には、前記第１の輝度予測単位を含む１つ以上の４×４画素の輝度予測単位の輝度成分を復号した後、前記第１の色差予測単位の色差成分を復号する、請求項４に記載の画像処理装置。
【請求項６】
前記予測部は、前記ＬＭモードのための輝度成分のバッファとして、色差予測単位の最大サイズ以下のサイズのバッファを有する、請求項３に記載の画像処理装置。
【請求項７】
符号化単位内の第１の輝度予測単位の輝度成分、前記第１の輝度予測単位に対応する第１の色差予測単位の色差成分、及び前記符号化単位内の前記第１の色差予測単位に対応しない第２の輝度予測単位の輝度成分を、前記第１の輝度予測単位の輝度成分、前記第１の色差予測単位の色差成分及び前記第２の輝度予測単位の輝度成分の順に復号すること、
を含む画像処理方法。
【請求項８】
符号化単位内の第１の輝度予測単位の輝度成分、前記第１の輝度予測単位に対応する第１の色差予測単位の色差成分、及び前記符号化単位内の前記第１の色差予測単位に対応しない第２の輝度予測単位の輝度成分を、前記第１の輝度予測単位の輝度成分、前記第１の色差予測単位の色差成分及び前記第２の輝度予測単位の輝度成分の順に符号化する符号化部、
を備える画像処理装置。
【請求項９】
輝度成分に基づく色差成分の予測を表す線型モデル（ＬＭ）モードにおいて、前記第１の色差予測単位の色差成分の予測値を、前記第１の輝度予測単位の輝度成分の値に基づく関数を用いて生成する予測部、をさらに備える、請求項８に記載の画像処理装置。
【請求項１０】
前記予測部は、色差予測単位のサイズが対応する輝度予測単位のサイズからクロマフォーマットに応じて定まるサイズよりも大きい場合には、当該色差予測単位について前記ＬＭモードを探索しない、請求項９に記載の画像処理装置。
【請求項１１】
前記予測部は、前記第１の色差予測単位及び前記第１の輝度予測単位のサイズがそれぞれ４×４画素である場合には、前記第１の色差予測単位について、前記第１の輝度予測単位を含む複数の輝度予測単位に基づく前記ＬＭモードを例外的に探索する、請求項１０に記載の画像処理装置。
【請求項１２】
符号化単位内の第１の輝度予測単位の輝度成分、前記第１の輝度予測単位に対応する第１の色差予測単位の色差成分、及び前記符号化単位内の前記第１の色差予測単位に対応しない第２の輝度予測単位の輝度成分を、前記第１の輝度予測単位の輝度成分、前記第１の色差予測単位の色差成分及び前記第２の輝度予測単位の輝度成分の順に符号化すること、
を含む画像処理方法。
【請求項１】
符号化単位内の第１の輝度予測単位の輝度成分、前記第１の輝度予測単位に対応する第１の色差予測単位の色差成分、及び前記符号化単位内の前記第１の色差予測単位に対応しない第２の輝度予測単位の輝度成分を、前記第１の輝度予測単位の輝度成分、前記第１の色差予測単位の色差成分及び前記第２の輝度予測単位の輝度成分の順に復号する復号部、
を備える画像処理装置。
【請求項２】
輝度成分に基づく色差成分の予測を表す線型モデル（ＬＭ）モードが指定された場合に、前記復号部により復号される前記第１の色差予測単位の色差成分の予測値を、前記第１の輝度予測単位の輝度成分の値に基づく関数を用いて生成する予測部、をさらに備える、請求項１に記載の画像処理装置。
【請求項３】
前記ＬＭモードにおいて、１つの色差予測単位に対応する輝度予測単位の数は１つに制限される、請求項２に記載の画像処理装置。
【請求項４】
輝度予測単位のサイズが４×４画素である場合には、前記ＬＭモードにおいて例外的に１つの色差予測単位に対応する輝度予測単位の数が複数となることが許容される、請求項３に記載の画像処理装置。
【請求項５】
前記復号部は、前記第１の輝度予測単位のサイズが４×４画素である場合には、前記第１の輝度予測単位を含む１つ以上の４×４画素の輝度予測単位の輝度成分を復号した後、前記第１の色差予測単位の色差成分を復号する、請求項４に記載の画像処理装置。
【請求項６】
前記予測部は、前記ＬＭモードのための輝度成分のバッファとして、色差予測単位の最大サイズ以下のサイズのバッファを有する、請求項３に記載の画像処理装置。
【請求項７】
符号化単位内の第１の輝度予測単位の輝度成分、前記第１の輝度予測単位に対応する第１の色差予測単位の色差成分、及び前記符号化単位内の前記第１の色差予測単位に対応しない第２の輝度予測単位の輝度成分を、前記第１の輝度予測単位の輝度成分、前記第１の色差予測単位の色差成分及び前記第２の輝度予測単位の輝度成分の順に復号すること、
を含む画像処理方法。
【請求項８】
符号化単位内の第１の輝度予測単位の輝度成分、前記第１の輝度予測単位に対応する第１の色差予測単位の色差成分、及び前記符号化単位内の前記第１の色差予測単位に対応しない第２の輝度予測単位の輝度成分を、前記第１の輝度予測単位の輝度成分、前記第１の色差予測単位の色差成分及び前記第２の輝度予測単位の輝度成分の順に符号化する符号化部、
を備える画像処理装置。
【請求項９】
輝度成分に基づく色差成分の予測を表す線型モデル（ＬＭ）モードにおいて、前記第１の色差予測単位の色差成分の予測値を、前記第１の輝度予測単位の輝度成分の値に基づく関数を用いて生成する予測部、をさらに備える、請求項８に記載の画像処理装置。
【請求項１０】
前記予測部は、色差予測単位のサイズが対応する輝度予測単位のサイズからクロマフォーマットに応じて定まるサイズよりも大きい場合には、当該色差予測単位について前記ＬＭモードを探索しない、請求項９に記載の画像処理装置。
【請求項１１】
前記予測部は、前記第１の色差予測単位及び前記第１の輝度予測単位のサイズがそれぞれ４×４画素である場合には、前記第１の色差予測単位について、前記第１の輝度予測単位を含む複数の輝度予測単位に基づく前記ＬＭモードを例外的に探索する、請求項１０に記載の画像処理装置。
【請求項１２】
符号化単位内の第１の輝度予測単位の輝度成分、前記第１の輝度予測単位に対応する第１の色差予測単位の色差成分、及び前記符号化単位内の前記第１の色差予測単位に対応しない第２の輝度予測単位の輝度成分を、前記第１の輝度予測単位の輝度成分、前記第１の色差予測単位の色差成分及び前記第２の輝度予測単位の輝度成分の順に符号化すること、
を含む画像処理方法。
【図１】
【図２】
【図３】
【図４】
【図５】
【図６】
【図７】
【図８】
【図９】
【図１０Ａ】
【図１０Ｂ】
【図１１Ａ】
【図１１Ｂ】
【図１２】
【図１３Ａ】
【図１３Ｂ】
【図１４】
【図１５Ａ】
【図１５Ｂ】
【図１５Ｃ】
【図１５Ｄ】
【図１６】
【図１７Ａ】
【図１７Ｂ】
【図１８】
【図１９Ａ】
【図１９Ｂ】
【図２０Ａ】
【図２０Ｂ】
【図２１】
【図２２】
【図２３】
【図２４】
【図２５】
【図２６】
【図２７Ａ】
【図２７Ｂ】
【図２７Ｃ】
【図２８Ａ】
【図２８Ｂ】
【図２９】
【図３０】
【図３１】
【図３２】
【図２】
【図３】
【図４】
【図５】
【図６】
【図７】
【図８】
【図９】
【図１０Ａ】
【図１０Ｂ】
【図１１Ａ】
【図１１Ｂ】
【図１２】
【図１３Ａ】
【図１３Ｂ】
【図１４】
【図１５Ａ】
【図１５Ｂ】
【図１５Ｃ】
【図１５Ｄ】
【図１６】
【図１７Ａ】
【図１７Ｂ】
【図１８】
【図１９Ａ】
【図１９Ｂ】
【図２０Ａ】
【図２０Ｂ】
【図２１】
【図２２】
【図２３】
【図２４】
【図２５】
【図２６】
【図２７Ａ】
【図２７Ｂ】
【図２７Ｃ】
【図２８Ａ】
【図２８Ｂ】
【図２９】
【図３０】
【図３１】
【図３２】
【公開番号】特開２０１３−３４１６３（Ｐ２０１３−３４１６３Ａ）
【公開日】平成２５年２月１４日（２０１３．２．１４）
【国際特許分類】
【出願番号】特願２０１１−２１０５４３（Ｐ２０１１−２１０５４３）
【出願日】平成２３年９月２７日（２０１１．９．２７）
【出願人】（０００００２１８５）ソニー株式会社 (34,172)
【Ｆターム（参考）】
【公開日】平成２５年２月１４日（２０１３．２．１４）
【国際特許分類】
【出願日】平成２３年９月２７日（２０１１．９．２７）
【出願人】（０００００２１８５）ソニー株式会社 (34,172)
【Ｆターム（参考）】
[ Back to top ]