画像処理装置及び画像処理方法
【課題】ＬＭモードでの色差成分の予測値の計算に際して、ノイズの影響を低減しながらメモリリソースをより効率的に使用することを可能とすること。
【解決手段】第１の色差成分と共通する画素位置の１つ以上の輝度成分及び前記第１の色差成分とは共通しない画素位置の１つ以上の輝度成分を含むフィルタタップの値をフィルタリングすることにより、前記第１の色差成分の値を予測するための予測関数に代入されるべき輝度成分の入力値を生成するフィルタと、前記フィルタにより生成される輝度成分の前記入力値を前記予測関数に代入することにより、前記第１の色差成分の値を予測する予測部と、を備え、前記フィルタは、１次元フィルタである、画像処理装置を提供する。
【解決手段】第１の色差成分と共通する画素位置の１つ以上の輝度成分及び前記第１の色差成分とは共通しない画素位置の１つ以上の輝度成分を含むフィルタタップの値をフィルタリングすることにより、前記第１の色差成分の値を予測するための予測関数に代入されるべき輝度成分の入力値を生成するフィルタと、前記フィルタにより生成される輝度成分の前記入力値を前記予測関数に代入することにより、前記第１の色差成分の値を予測する予測部と、を備え、前記フィルタは、１次元フィルタである、画像処理装置を提供する。
【発明の詳細な説明】
【技術分野】
【０００１】
本開示は、画像処理装置及び画像処理方法に関する。
【背景技術】
【０００２】
デジタル画像のデータサイズを圧縮するための画像符号化方式において重要な技術の１つは、画面内予測、即ちイントラ予測である。イントラ予測は、画像内の隣り合うブロック間の相関を利用し、あるブロック内の画素値を隣り合う他のブロックの画素値から予測することで、符号化される情報量を削減する技術である。ＭＰＥＧ４以前の画像符号化方式では、直交変換係数の直流成分及び低周波成分のみがイントラ予測の対象とされていた。これに対し、Ｈ．２６４／ＡＶＣ（Advanced Video Coding）では、全ての成分についてイントラ予測が可能となった。イントラ予測を用いることで、例えば青空の画像のように、画素値の変化の緩やかな画像については、圧縮率の大幅な向上が見込まれる。
【０００３】
イントラ予測に際しては、通常、予測対象のブロックの画素値を予測するために最適な予測モードが、複数の予測モードから選択される。予測モードは、典型的には、参照画素から予測対象画素への予測方向によって区別され得る。例えば、Ｈ．２６４／ＡＶＣにおいて、色差成分の予測に際しては、平均値予測、水平予測、垂直予測及び平面予測という４つの予測モードが選択可能である。さらに、Ｈ．２６４／ＡＶＣに続く次世代の画像符号化方式として標準化が進められているＨＥＶＣでは、動的に構築される輝度成分の線型関数を予測関数として用いて色差成分の画素値を予測する、線型モデル（ＬＭ：Linear Model）モードと呼ばれる追加的な予測モードが採用される見込みである（下記非特許文献１参照）。
【０００４】
画像の色差成分の密度は、クロマフォーマットが４：２：０の場合、輝度成分の密度よりも低い。そこで、下記非特許文献１に記載された手法では、ある色差成分の値をＬＭモードで予測する際、当該色差成分と共通する画素位置の２つの輝度成分の値をダウンサンプリングすることにより、予測関数へ代入される輝度成分の入力値が生成される。これに対し、下記非特許文献２は、ノイズの影響を低減して予測の精度を高めるために、色差成分と共通しない画素位置の輝度成分の値をも算入して、予測関数への輝度成分の入力値を３×２タップの２次元フィルタで生成することを提案している。下記非特許文献３は、ＬＭモードの予測関数の係数を決定する際の左の隣接ブロックの参照画素のダウンサンプリングを、２タップではなく４タップのフィルタで行うことを提案している。
【先行技術文献】
【非特許文献】
【０００５】
【非特許文献１】Jianle Chen， et al. “CE6.a.4: Chroma intra prediction by reconstructed luma samples”（JCTVC-E266，2011年3月）
【非特許文献２】Akira Minezawa， et al. “An improvement to chroma intra prediction from luma”（JCTVC-F173，2011年7月）
【非特許文献３】Yongbing Lin， et al. “Modifications to intra frame coding”（JCTVC-G119，2011年11月）
【発明の概要】
【発明が解決しようとする課題】
【０００６】
しかしながら、上記非特許文献２により提案されている手法では、予測関数への１つの入力値を生成する際に参照される輝度成分が、複数の行及び複数の列にわたって存在する。そのため、ＬＭモードでの色差成分の予測値の計算のために、複数のラインメモリに予測対象ブロックの輝度成分の値を一時的に記憶しておくことが求められる。一方で、ＨＥＶＣにおいて、イントラ予測の前段に設けられる逆直交変換は、１次元の水平方向の変換処理と１次元の垂直方向の変換処理とを逐次的に実行する方式で実装されることが想定されている。
【０００７】
従って、ＬＭモードでの色差成分の予測値の計算において、単一のラインメモリに記憶される輝度成分の値のみを参照する方式とすれば、ライン単位での逐次処理を採用してメモリリソースをより効率的に使用することが可能となる。
【課題を解決するための手段】
【０００８】
本開示によれば、第１の色差成分と共通する画素位置の１つ以上の輝度成分及び前記第１の色差成分とは共通しない画素位置の１つ以上の輝度成分を含むフィルタタップの値をフィルタリングすることにより、前記第１の色差成分の値を予測するための予測関数に代入されるべき輝度成分の入力値を生成するフィルタと、前記フィルタにより生成される輝度成分の前記入力値を前記予測関数に代入することにより、前記第１の色差成分の値を予測する予測部と、を備え、前記フィルタは、１次元フィルタである、画像処理装置が提供される。
【０００９】
上述した画像処理装置は、画像符号化装置及び画像復号装置のいずれにも適用可能である。
【００１０】
また、本開示によれば、第１の色差成分と共通する画素位置の１つ以上の輝度成分及び前記第１の色差成分とは共通しない画素位置の１つ以上の輝度成分を含むフィルタタップの値を１次元フィルタでフィルタリングすることにより、前記第１の色差成分の値を予測するための予測関数に代入されるべき輝度成分の入力値を生成することと、前記１次元フィルタにより生成される輝度成分の前記入力値を前記予測関数に代入することにより、前記第１の色差成分の値を予測することと、を含む画像処理方法が提供される。
【発明の効果】
【００１１】
本開示に係る技術によれば、ＬＭモードでの色差成分の予測値の計算に際して、ノイズの影響を低減しながら、メモリリソースをより効率的に使用することが可能となる。
【図面の簡単な説明】
【００１２】
【図１】一実施形態に係る画像符号化装置の構成の一例を示すブロック図である。
【図２】一実施形態に係る画像符号化装置のイントラ予測部の詳細な構成の一例を示すブロック図である。
【図３】ＨＥＶＣの角度イントラ予測法に従って選択可能な予測方向の候補について説明するための説明図である。
【図４】ＨＥＶＣの角度イントラ予測法における参照画素値の計算について説明するための説明図である。
【図５】ＬＭモードについて説明するための説明図である。
【図６Ａ】ＬＭモードにおける輝度成分のダウンサンプリングの既存の第１の手法について説明するための説明図である。
【図６Ｂ】ＬＭモードにおける輝度成分のダウンサンプリングの既存の第２の手法について説明するための説明図である。
【図７】逆直交変換部における逐次的な逆直交変換の順序について説明するための説明図である。
【図８Ａ】一実施形態に係る輝度成分のダウンサンプリングの第１の手法について説明するための説明図である。
【図８Ｂ】一実施形態に係る輝度成分のダウンサンプリングの第２の手法について説明するための説明図である。
【図９Ａ】輝度成分の予測方向の角度に応じたフィルタタップ数の切り替えの第１の例について説明するための説明図である。
【図９Ｂ】輝度成分の予測方向の角度に応じたフィルタタップ数の切り替えの第２の例について説明するための説明図である。
【図１０】一実施形態に係るイントラ予測処理の流れの一例を示すフローチャートである。
【図１１】図１０に示したＬＭモード予測処理の詳細な流れの一例を示すフローチャートである。
【図１２Ａ】図１１に示したダウンサンプリング処理の詳細な流れの第１の例を示すフローチャートである。
【図１２Ｂ】図１１に示したダウンサンプリング処理の詳細な流れの第２の例を示すフローチャートである。
【図１２Ｃ】図１１に示したダウンサンプリング処理の詳細な流れの第３の例を示すフローチャートである。
【図１３】一実施形態に係る画像復号装置の構成の一例を示すブロック図である。
【図１４】一実施形態に係る画像復号装置のイントラ予測部の詳細な構成の一例を示すブロック図である。
【図１５】一実施形態に係る復号時のイントラ予測処理の流れの一例を示すフローチャートである。
【図１６】第１の変形例に係るイントラ予測部の詳細な構成の一例を示すブロック図である。
【図１７】クロマフォーマットが４：２：２である場合のＬＭモードについて説明するための説明図である。
【図１８】クロマフォーマットが４：４：４である場合のＬＭモードについて説明するための説明図である。
【図１９】テレビジョン装置の概略的な構成の一例を示すブロック図である。
【図２０】携帯電話機の概略的な構成の一例を示すブロック図である。
【図２１】記録再生装置の概略的な構成の一例を示すブロック図である。
【図２２】撮像装置の概略的な構成の一例を示すブロック図である。
【発明を実施するための形態】
【００１３】
以下に添付図面を参照しながら、本開示の好適な実施の形態について詳細に説明する。なお、本明細書及び図面において、実質的に同一の機能構成を有する構成要素については、同一の符号を付することにより重複説明を省略する。
【００１４】
また、以下の順序で説明を行う。
１．一実施形態に係る画像符号化装置の構成例
２．一実施形態に係る符号化時の処理の流れ
３．一実施形態に係る画像復号装置の構成例
４．一実施形態に係る復号時の処理の流れ
５．変形例
６．応用例
７．まとめ
【００１５】
＜１．一実施形態に係る画像符号化装置の構成例＞
［１−１．全体的な構成例］
図１は、一実施形態に係る画像符号化装置１０の構成の一例を示すブロック図である。図１を参照すると、画像符号化装置１０は、Ａ／Ｄ（Analogue to Digital）変換部１１、並び替えバッファ１２、減算部１３、直交変換部１４、量子化部１５、可逆符号化部１６、蓄積バッファ１７、レート制御部１８、逆量子化部２１、逆直交変換部２２、加算部２３、デブロックフィルタ２４、フレームメモリ２５、セレクタ２６及び２７、動き探索部３０、並びにイントラ予測部４０を備える。
【００１６】
Ａ／Ｄ変換部１１は、アナログ形式で入力される画像信号をデジタル形式の画像データに変換し、一連のデジタル画像データを並び替えバッファ１２へ出力する。
【００１７】
並び替えバッファ１２は、Ａ／Ｄ変換部１１から入力される一連の画像データに含まれる画像を並び替える。並び替えバッファ１２は、符号化処理に係るＧＯＰ（Group of Pictures）構造に応じて画像を並び替えた後、並び替え後の画像データを減算部１３、動き探索部３０及びイントラ予測部４０へ出力する。
【００１８】
減算部１３には、並び替えバッファ１２から入力される画像データ、及び後に説明する動き探索部３０又はイントラ予測部４０から入力される予測画像データが供給される。減算部１３は、並び替えバッファ１２から入力される画像データと予測画像データとの差分である予測誤差データを算出し、算出した予測誤差データを直交変換部１４へ出力する。
【００１９】
直交変換部１４は、減算部１３から入力される予測誤差データについて直交変換を行う。ＨＥＶＣにおいて、直交変換部１４による直交変換は、変換単位（Transform Unit：ＴＵ）ごとの２次元の離散コサイン変換（Discrete Cosine Transform：ＤＣＴ）である。２次元のＤＣＴは、実質的には、垂直方向の１次元のＤＣＴ及び水平方向の１次元のＤＣＴのうち一方を先に、他方を後に逐次的に実行する手法で、ラインごとに行われ得る。本実施形態では、垂直方向の１次元のＤＣＴが先に行われるものとする。直交変換部１４は、直交変換処理により取得される変換係数データを量子化部１５へ出力する。
【００２０】
量子化部１５には、直交変換部１４から入力される変換係数データ、及び後に説明するレート制御部１８からのレート制御信号が供給される。量子化部１５は、変換係数データを量子化し、量子化後の変換係数データ（以下、量子化データという）を可逆符号化部１６及び逆量子化部２１へ出力する。また、量子化部１５は、レート制御部１８からのレート制御信号に基づいて量子化パラメータ（量子化スケール）を切り替えることにより、可逆符号化部１６に入力される量子化データのビットレートを変化させる。
【００２１】
可逆符号化部１６は、量子化部１５から入力される量子化データについて可逆符号化処理を行うことにより、符号化ストリームを生成する。可逆符号化部１６による可逆符号化は、例えば、可変長符号化、又は算術符号化などであってよい。また、可逆符号化部１６は、スイッチ２７から入力されるイントラ予測に関する情報又はインター予測に関する情報を、符号化ストリームのヘッダ領域内に多重化する。そして、可逆符号化部１６は、生成した符号化ストリームを蓄積バッファ１７へ出力する。
【００２２】
蓄積バッファ１７は、可逆符号化部１６から入力される符号化ストリームを半導体メモリなどの記憶媒体を用いて一時的に蓄積する。そして、蓄積バッファ１７は、蓄積した符号化ストリームを、伝送路の帯域に応じたレートで、図示しない伝送部（例えば、通信インタフェース又は周辺機器との接続インタフェースなど）へ出力する。
【００２３】
レート制御部１８は、蓄積バッファ１７の空き容量を監視する。そして、レート制御部１８は、蓄積バッファ１７の空き容量に応じてレート制御信号を生成し、生成したレート制御信号を量子化部１５へ出力する。例えば、レート制御部１８は、蓄積バッファ１７の空き容量が少ない時には、量子化データのビットレートを低下させるためのレート制御信号を生成する。また、例えば、レート制御部１８は、蓄積バッファ１７の空き容量が十分大きい時には、量子化データのビットレートを高めるためのレート制御信号を生成する。
【００２４】
逆量子化部２１は、量子化部１５から入力される量子化データについて逆量子化処理を行う。そして、逆量子化部２１は、逆量子化処理により取得される変換係数データを、逆直交変換部２２へ出力する。
【００２５】
逆直交変換部２２は、逆量子化部２１から入力される変換係数データについて逆直交変換処理を行うことにより、予測誤差データを復元する。逆直交変換部２２による逆直交変換は、ＴＵごとの２次元の逆離散コサイン変換（Inverse Discrete Cosine Transform：ＩＤＣＴ）である。２次元のＩＤＣＴは、実質的には、垂直方向の１次元のＩＤＣＴ及び水平方向の１次元のＩＤＣＴを、直交変換とは逆の順序で逐次的に実行する手法で、ラインごとに行われ得る。本実施形態では、水平方向の１次元のＩＤＣＴが先に行われるものとする。そして、逆直交変換部２２は、復元した予測誤差データを加算部２３へ出力する。
【００２６】
加算部２３は、逆直交変換部２２から入力される復元された予測誤差データと動き探索部３０又はイントラ予測部４０から入力される予測画像データとを加算することにより、復号画像データを再構築（reconstruct）する。そして、加算部２３は、再構築した復号画像データをデブロックフィルタ２４及びフレームメモリ２５へ出力する。また、加算部２３は、ＬＭモードでの色差成分の予測の際に用いられる輝度成分の復号画像データをイントラ予測部４０へ出力する。
【００２７】
デブロックフィルタ２４は、画像の符号化時に生じるブロック歪みを減少させるためのフィルタリング処理を行う。デブロックフィルタ２４は、加算部２３から入力される復号画像データをフィルタリングすることによりブロック歪みを除去し、フィルタリング後の復号画像データをフレームメモリ２５へ出力する。
【００２８】
フレームメモリ２５は、加算部２３から入力される復号画像データ、及びデブロックフィルタ２４から入力されるフィルタリング後の復号画像データを記憶媒体を用いて記憶する。
【００２９】
セレクタ２６は、インター予測のために使用されるフィルタリング後の復号画像データをフレームメモリ２５から読み出し、読み出した復号画像データを参照画像データとして動き探索部３０に供給する。また、セレクタ２６は、イントラ予測のために使用されるフィルタリング前の復号画像データをフレームメモリ２５から読み出し、読み出した復号画像データを参照画像データとしてイントラ予測部４０に供給する。
【００３０】
セレクタ２７は、インター予測モードにおいて、動き探索部３０から出力されるインター予測の結果としての予測画像データを減算部１３へ出力すると共に、インター予測に関する情報を可逆符号化部１６へ出力する。また、セレクタ２７は、イントラ予測モードにおいて、イントラ予測部４０から出力されるイントラ予測の結果としての予測画像データを減算部１３へ出力すると共に、イントラ予測に関する情報を可逆符号化部１６へ出力する。セレクタ２７は、インター予測モードとイントラ予測モードとを、動き探索部３０及びイントラ予測部４０から出力されるコスト関数値の大きさに応じて切り替える。
【００３１】
動き探索部３０は、並び替えバッファ１２から入力される符号化対象の画像データ（原画像データ）、及びセレクタ２６を介して供給される復号画像データに基づいて、インター予測処理（フレーム間予測処理）を行う。例えば、動き探索部３０は、各予測モードによる予測結果を所定のコスト関数を用いて評価する。次に、動き探索部３０は、コスト関数値が最小となる予測モード、即ち圧縮率が最も高くなる予測モードを、最適な予測モードとして選択する。また、動き探索部３０は、当該最適な予測モードに従って予測画像データを生成する。そして、動き探索部３０は、選択した最適な予測モードを表す予測モード情報、動きベクトル情報及び参照画像情報を含むインター予測に関する情報、コスト関数値、並びに予測画像データを、セレクタ２７へ出力する。
【００３２】
イントラ予測部４０は、並び替えバッファ１２から入力される原画像データ、及びフレームメモリ２５から供給される参照画像データとしての復号画像データに基づいて、画像内に設定されるブロックごとにイントラ予測処理を行う。そして、イントラ予測部４０は、最適な予測モードを表す予測モード情報を含むイントラ予測に関する情報、コスト関数値、並びに予測画像データを、セレクタ２７へ出力する。イントラ予測部４０により選択可能な予測モードは、既存のイントラ予測モードに加えて、色差成分についての線型モデル（ＬＭ）モードを含む。本実施形態におけるＬＭモードは、上記非特許文献２に記載されているＬＭモードとは異なり、輝度成分のダウンサンプリングに際して１次元フィルタを用いるという特徴を有する。このようなイントラ予測部４０によるイントラ予測処理について、後により詳細に説明する。
【００３３】
［１−２．イントラ予測部の構成例］
図２は、図１に示した画像符号化装置１０のイントラ予測部４０の詳細な構成の一例を示すブロック図である。図２を参照すると、イントラ予測部４０は、予測制御部４１、係数算出部４２、輝度成分メモリ４３、フィルタ４４、予測部４５及びモード判定部４６を有する。
【００３４】
予測制御部４１は、イントラ予測部４０におけるイントラ予測処理を制御する。例えば、予測制御部４１は、符号化単位（Coding Unit：ＣＵ）ごとに、輝度成分（Ｙ）についてのイントラ予測処理及び色差成分（Ｃｂ、Ｃｒ）についてのイントラ予測処理を実行する。輝度成分についてのイントラ予測処理において、予測制御部４１は、複数の予測モードで予測部４５に各画素の予測画素値を生成させ、モード判定部４６に輝度成分の最適な予測モードを判定させる。ＣＵ内の予測単位（Prediction Unit：ＰＵ）の配置も決定される。色差成分についてのイントラ予測処理では、予測制御部４１は、複数の予測モードで予測部４５に各画素の予測画素値を生成させ、モード判定部４６に色差成分の最適な予測モードを判定させる。
【００３５】
輝度成分についての予測モードの候補は、様々な予測方向に関連付けられる予測モードを含み得る。ＨＥＶＣでは、“Description of video coding technology proposal by Tandberg, Nokia, Ericsson”（Kemal Ugur， et al.，JCTVC-A119，2010年4月）において説明されている角度イントラ予測（Angular Intra Prediction）法が採用される。図３は、角度イントラ予測法に従って選択可能な予測方向の候補について説明するための説明図である。図３に示した画素Ｐ１は、予測対象画素である。画素Ｐ１が属するブロックの周囲の網掛けされた画素は、参照画素である。ブロックサイズが４×４画素である場合には、図中で実線（太線及び細線の双方）で示された、参照画素と予測対象画素とを結ぶ１７種類の予測方向（に対応する予測モード）が、（ＤＣ予測に加えて）選択可能である。ブロックサイズが８×８画素、１６×１６画素又は３２×３２画素である場合には、図中で点線並びに実線（太線及び細線の双方）で示された３３種類の予測方向（に対応する予測モード）が、（ＤＣ予測及び平面予測に加えて）選択可能である。ブロックサイズが６４×６４画素である場合には、図中で太線で示された２種類の予測方向（に対応する予測モード）が、（ＤＣ予測に加えて）選択可能である。なお、角度イントラ予測法では、予測方向の角度の分解能が高く、例えば８×８画素の場合の隣り合う予測方向の間の角度の差は、１８０度／３２＝５．６２５度である。従って、参照画素値として、図４に示すような１／８画素精度の参照画素値が計算され、予測画素値の計算のために使用され得る。
【００３６】
色差成分についての予測モードの候補もまた、様々な予測方向に関連付けられる予測モードを含み得る。さらに、色差成分についての予測モードの候補は、上述したＬＭモードを含む。ＬＭモードは、動的に構築される輝度成分の線型関数を予測関数として用いて色差成分の画素値を予測する予測モードである。ＬＭモードにおいて使用される予測関数は、上記非特許文献１に記載されている次のような線型一次関数であってよい：
【００３７】
【数１】
【００３８】
式（１）において、ＲｅＬ´（ｘ，ｙ）は、復号画像（いわゆるリコンストラクト画像）の輝度成分のダウンサンプリング後の値を表す。輝度成分のダウンサンプリングは、クロマフォーマットに依存して色差成分の密度が輝度成分の密度と異なる場合に行われ得る。
【００３９】
例えば、図５を参照すると、クロマフォーマットが４：２：０である場合の、１６×１６画素のサイズを有する１つのＰＵ内の輝度成分（Ｌｕｍａ）及び対応する色差成分（Ｃｈｒｏｍａ）が、丸印で概念的に示されている。輝度成分の密度は、水平方向及び垂直方向の各々について色差成分の密度の２倍である。ＰＵの周囲に位置し、図中で塗りつぶされている丸印は、上記予測関数の係数α、βを算出する際に参照される参照画素を示す。図中右において斜線で網掛けされている丸印は、ダウンサンプリングされた輝度成分を示す。このようにダウンサンプリングされた輝度成分の値を上記予測関数の右辺のＲｅＬ´（ｘ，ｙ）に代入することにより、共通する画素位置の色差成分の予測値が算出される。また、参照画素も同様にダウンサンプリングされ得る。
【００４０】
クロマフォーマットが４：２：０である場合、図５の例のように、２×２個の輝度成分ごとに１つの輝度成分の入力値（予測関数へ代入される値）がダウンサンプリングにより生成される。上記非特許文献２によれば、ダウンサンプリングは、個々の色差成分と共通する画素位置の１つ以上の輝度成分と、当該色差成分とは共通しない画素位置の１つ以上の輝度成分とを含むフィルタタップの値を２次元フィルタを用いてフィルタリングすることにより行われる。ここで、ある色差成分と「共通する」画素位置の輝度成分とは、クロマフォーマットが４：２：０である場合、色差成分の画素位置（ｘ，ｙ）に対する輝度成分の画素位置（２ｘ，２ｙ）、（２ｘ＋１，２ｙ）、（２ｘ，２ｙ＋１）及び（２ｘ＋１，２ｙ＋１）を含むものとする。
【００４１】
図６Ａは、上記非特許文献２に記載されているダウンサンプリングの既存の第１の手法について説明するための説明図である。図６Ａの左上には、画素位置（１，１）の色差成分Ｃｒ１，１が示されている。色差成分Ｃｒ１，１の予測値は、輝度成分の入力値ＩＬ１，１を予測関数に代入することにより算出される。輝度成分の入力値ＩＬ１，１は、色差成分Ｃｒ１，１と共通する画素位置の輝度成分Ｌｕ２，２，Ｌｕ３，２，Ｌｕ２，３，Ｌｕ３，３及び色差成分Ｃｒ１，１とは共通しない画素位置の輝度成分Ｌｕ１，２，Ｌｕ１，３を含む３×２のフィルタタップの値をフィルタリングすることにより生成され得る。図中のフィルタタップの丸印の中に示されている数字は、各フィルタタップに乗算されるフィルタ係数である。このように、個々の色差成分と共通する画素位置の周囲の輝度成分をもダウンサンプリングの際のフィルタタップに含めることで、輝度成分のノイズの影響が低減され、ＬＭモードでのイントラ予測の精度が高められる。
【００４２】
図６Ｂは、ダウンサンプリングの既存の第２の手法について説明するための説明図である。第２の手法では、輝度成分の入力値ＩＬ１，１は、色差成分Ｃｒ１，１と共通する画素位置の輝度成分Ｌｕ３，２，Ｌｕ３，３及び色差成分Ｃｒ１，１とは共通しない画素位置の輝度成分Ｌｕ１，２，Ｌｕ１，３を含む２×２のフィルタタップの値をフィルタリングすることにより生成され得る。フィルタ係数は、図中に示した通りである。
【００４３】
ところで、上述したように、逆直交変換部２２は、各ブロックについて、水平方向の１次元のＩＤＣＴを先に、垂直方向の１次元のＩＤＣＴを後にして、ラインごとに逆直交変換を実行する。例えば、図７に示した８×８画素のブロックについて、逆直交変換部２２は、水平方向のラインＲ０〜Ｒ７について順に１次元のＩＤＣＴを実行した後、垂直方向のラインＣ０〜Ｃ７について順に１次元のＩＤＣＴを実行する。従って、復号画像データは、垂直方向のライン単位で加算部２３を介してイントラ予測部４０へ入力される。従って、図６Ａ及び図６Ｂを用いて説明したような２次元フィルタを用いる手法では、複数のラインにわたって輝度成分の復号画像データ（リコンストラクト画素値）をメモリに記憶しておくことが求められる。しかし、色差成分のイントラ予測に際して、ＬＭモード以外の予測モードでは輝度成分の値は参照されない。従って、ＬＭモードだけのためにラインメモリを多く消費することは、メモリリソースの効率的な活用の観点で望ましくない。そこで、本実施形態では、ＬＭモードでの輝度成分の入力値を生成する際のダウンサンプリングを、１次元フィルタを用いて行う。
【００４４】
図８Ａは、本実施形態に係る輝度成分のダウンサンプリングの第１の手法について説明するための説明図である。図８Ａの左上には、画素位置（１，１）の色差成分Ｃｒ１，１が示されている。色差成分Ｃｒ１，１の予測値は、輝度成分の入力値ＩＬ１，１を予測関数に代入することにより算出される。輝度成分の入力値ＩＬ１，１は、色差成分Ｃｒ１，１と共通する画素位置の輝度成分Ｌｕ２，２，Ｌｕ２，３及び色差成分Ｃｒ１，１とは共通しない画素位置の輝度成分Ｌｕ２，１，Ｌｕ２，４を含む４個のフィルタタップの値を１次元フィルタでフィルタリングすることにより生成され得る。図中のフィルタタップの丸印の中に示されている数字は、各フィルタタップに乗算されるフィルタ係数である。
【００４５】
図８Ｂは、本実施形態に係る輝度成分のダウンサンプリングの第２の手法について説明するための説明図である。図８Ｂの例では、フィルタタップは、６個に拡張されている。輝度成分の入力値ＩＬ１，１は、色差成分Ｃｒ１，１と共通する画素位置の輝度成分Ｌｕ２，２，Ｌｕ２，３及び色差成分Ｃｒ１，１とは共通しない画素位置の輝度成分Ｌｕ２，０，Ｌｕ２，１，Ｌｕ２，４，Ｌｕ２，５を含む６個のフィルタタップの値を１次元フィルタでフィルタリングすることにより生成され得る。
【００４６】
このように、輝度成分の入力値を１次元フィルタを用いて生成する構成を採用することで、１ライン分以下の輝度成分の復号画像データのみをメモリに記憶しておくのみでＬＭモードでの色差成分のイントラ予測が可能となる。なお、１次元フィルタのタップ数及びフィルタ係数の組合せは、図８Ａ及び図８Ｂに示した例に限定されず、他のいかなる組合せであってもよい。
【００４７】
図２に戻り、イントラ予測部４０の構成の説明を継続する。
【００４８】
係数算出部４２、輝度成分メモリ４３及びフィルタ４４は、上述したような１次元フィルタを用いたＬＭモードの実現のために設けられる。
【００４９】
係数算出部４２は、ＬＭモードにおいて予測部４５により使用される予測関数の係数を、予測対象の画素が属するＰＵの周辺の画素、即ち参照画素を参照して算出する。式（１）に示した予測関数の係数αは、次の式（２）に従って算出される。また、係数βは、次の式（３）に従って算出される。
【００５０】
【数２】
【００５１】
式（２）及び式（３）において、Ｉは参照画素数を表す。例えば、色差成分のブロックサイズが８×８画素であって、左の８つの参照画素及び上の８つの参照画素が共に利用可能であれば、Ｉ＝８＋８＝１６である。
【００５２】
輝度成分メモリ４３には、予測誤差データを用いて再構築される輝度成分の値を含む復号画像データが、ライン単位で加算部２３から入力される。ここでのラインは、逆直交変換部２２において水平方向及び垂直方向のＩＤＣＴのうち後に実行される方向に沿ったラインであり、本実施形態ではブロックの列に相当する。輝度成分メモリ４３は、かかるライン単位の輝度成分の復号画像データを一時的に記憶する。
【００５３】
フィルタ４４は、予測制御部４１による制御の下、輝度成分メモリ４３から図８Ａ又は図８Ｂに例示したようなフィルタタップを抽出する。そして、フィルタ４４は、抽出したフィルタタップの値をフィルタリングすることにより、色差成分の値を予測するための予測関数への入力値（例えば、図８Ａ及び図８Ｂに例示した入力値ＩＬ１，１）を生成する。フィルタ４４は、このように各画素位置（ｘ，ｙ）の入力値を順次生成し、生成した入力値を予測部４５へ出力する。
【００５４】
予測制御部４１は、各色差成分と共通する画素位置の輝度成分について最適な予測モードとして選択されたイントラ予測の予測方向に応じて、フィルタ４４のフィルタタップ数を切り替えてもよい。より具体的には、第１の例において、予測制御部４１は、上記予測方向とフィルタタップに沿った方向（以下、タップ方向という）との間の角度がより小さい場合に、フィルタタップ数をより大きい数に設定し得る。また、第２の例において、予測制御部４１は、上記予測方向がタップ方向に重なる場合にはフィルタタップ数を第１の数に設定し、上記予測方向がタップ方向に重ならない場合にはフィルタタップ数を第１の数よりも小さい第２の数に設定し得る。
【００５５】
図９Ａは、輝度成分の予測方向の角度に応じたフィルタタップ数の切り替えの第１の例について説明するための説明図である。ここでは、フィルタタップ数を切り替えるための角度閾値として、閾値Ｔｈ１＝４５［度］が定義されているものとする。図９Ａを参照すると、画素Ｐ１についての７種類の予測方向Ｄ１〜Ｄ７が例示されている。予測方向Ｄ２、Ｄ５及びＤ６の水平方向に対してなす角度は、４５度であり、閾値Ｔｈ１に等しい。予測方向Ｄ１及びＤ７の水平方向に対してなす角度は、閾値Ｔｈ１を上回る。予測方向Ｄ３及びＤ４の水平方向に対してなす角度は、閾値Ｔｈ１を下回る。この場合、例えば、予測制御部４１は、予測方向Ｄ１、Ｄ２、Ｄ５、Ｄ６及びＤ７についてはフィルタタップ数を６個（又は４個）、予測方向Ｄ３及びＤ４についてはフィルタタップ数を４個（又は２個）に設定し得る。なお、ここでは、２種類のフィルタタップ数の候補の間でフィルタタップ数が切り替えられる例を説明した。しかしながら、かかる例に限定されず、２つ以上の角度閾値を用いて３種類以上のフィルタップ数の候補の間でフィルタタップ数が切り替えられてもよい。例えば、２つの角度閾値Ｔｈ１＝４５［度］、Ｔｈ２＝６７．５［度］を用いて、２個、４個及び６個の間でフィルタタップ数が切り替えられてもよい。
【００５６】
図９Ｂは、輝度成分の予測方向の角度に応じたフィルタタップ数の切り替えの第２の例について説明するための説明図である。ここでは、予測方向の水平方向に対してなす角度が９０［度］であるか否かに応じて、フィルタタップ数が切り替えられるものとする。図９Ｂを参照すると、画素Ｐ１についての３種類の予測方向Ｄ０〜Ｄ２が例示されている。予測方向Ｄ０の水平方向に対してなす角度は９０度である。この場合、予測制御部４１は、画素Ｐ１のためのフィルタ４４のフィルタタップ数を６個（又は４個）に設定し得る。一方、予測方向Ｄ１及びＤ２のように、上記角度が９０度でない場合には、予測制御部４１は、画素Ｐ１のためのフィルタ４４のフィルタタップ数を４個（又は２個）に設定し得る。
【００５７】
このような適応的なフィルタタップ数の切り替えによって、タップ方向に沿った画像の相関が強い場合にはタップ長を長くし、タップ方向に沿った画像の相関が弱い場合にはタップ長を短くすることができる。それにより、ＬＭモードの予測関数への入力値を画像の相関に応じて変化させてノイズに対するロバスト性を高めることで、予測の精度を高めることができる。
【００５８】
なお、フィルタ４４のフィルタ係数は、動き探索部３０における動き補償において使用される補間フィルタと同じフィルタ係数であってもよい。そのようにフィルタ係数を共通化させることで、フィルタ係数を記憶するために要するメモリリソースの量を削減することができる。
【００５９】
予測部４５は、予測制御部４１による制御の下、予測対象の画素の輝度成分の画素値及び色差成分の画素値を、様々な予測モードの候補に従って予測する。輝度成分の予測モードの候補は、上述した角度イントラ予測法における様々な予測方向に関連付けられる予測モードを含み得る。色差成分の予測モードの候補は、上述したＬＭモードを含む。ＬＭモードにおいて、予測部４５は、フィルタ４４により生成される輝度成分の入力値を、係数算出部４２により算出される係数を有する予測関数に代入することにより、各色差成分の値を予測する。他の予測モードにおける予測部４５によるイントラ予測は、既存の手法と同様に行われてよい。予測部４５は、予測モードごとに、予測の結果として生成される予測画像データをモード判定部４６へ出力する。
【００６０】
モード判定部４６は、並び替えバッファ１２から入力される原画像データと予測部４５から入力される予測画像データとに基づいて、各予測モードのコスト関数値を算出する。そして、モード判定部４６は、算出したコスト関数値に基づき、各色成分についての最適な予測モードを決定する。そして、モード判定部４６は、決定した最適な予測モードを表す予測モード情報を含むイントラ予測に関する情報、コスト関数値、並びに各色成分の予測画素値を含む予測画像データを、セレクタ２７へ出力する。
【００６１】
＜２．一実施形態に係る符号化時の処理の流れ＞
次に、図１０〜図１２を用いて、符号化時の処理の流れを説明する。
【００６２】
［２−１．イントラ予測処理］
図１０は、図２に例示した構成を有するイントラ予測部４０による符号化時のイントラ予測処理の流れの一例を示すフローチャートである。図１０に示したイントラ予測処理は、画像内の各ブロックを処理対象として実行される。
【００６３】
まず、予測制御部４１は、処理対象の色成分が輝度成分であるか否かを判定する（ステップＳ１１０）。ここで、処理対象の色成分が輝度成分である場合には、処理はステップＳ１２０へ進む。一方、処理対象の色成分が色差成分である場合には、処理はステップＳ１５０へ進む。
【００６４】
ステップＳ１２０において、予測制御部４１は、複数の予測モードの候補に従って予測部４５に輝度成分の予測画素値を生成させ、モード判定部４６に輝度成分の最適な予測モードを判定させる（ステップＳ１２０）。その結果、各ＰＵについての輝度成分の最適な予測モードが決定され、予測画像データが生成される。次に、予測制御部４１は、輝度成分の予測画像データと逆直交変換部２２から出力される予測誤差データとの和である復号画像データを、ライン単位で輝度成分メモリ４３に記憶させる（ステップＳ１３０）。
【００６５】
このように輝度成分についてのイントラ予測が終了した後、同じブロックの色差成分についてのイントラ予測が行われる。
【００６６】
ステップＳ１５０において、予測制御部４１は、予測モードの候補の１つであるＬＭモードでの予測処理を予測部４５に実行させる（ステップＳ１５０）。ここでの予測部４５によるＬＭモード予測処理について、後にさらに説明する。次に、予測制御部４１は、ＬＭモード以外の複数の予測モードの候補に従って予測部４５に色差成分の予測画素値を生成させる（ステップＳ１７０）。そして、予測制御部４１は、モード判定部４６に色差成分の最適な予測モードを判定させる（ステップＳ１８０）。その結果、各ＰＵについての色差成分の最適な予測モードが決定される。
【００６７】
そして、処理対象ブロックの全ての色成分についてイントラ予測が行われると、図１０に示したイントラ予測処理は終了する（ステップＳ１９０）。
【００６８】
［２−２．ＬＭモード予測処理］
図１１は、図１０に示したＬＭモード予測処理の詳細な流れの一例を示すフローチャートである。図１１に示したＬＭモード予測処理は、各ブロック内のラインごとに実行される。
【００６９】
図１１を参照すると、まず、係数算出部４２は、ＬＭモードにおいて予測部４５により使用される予測関数の係数α、βを、フレームメモリ２５から入力される参照画像データに含まれる参照画素の値に基づいて算出する（ステップＳ１５１）。
【００７０】
また、フィルタ４４は、輝度成分メモリ４３により記憶されている複数の輝度成分の値を用いてダウンサンプリング処理を実行し、予測関数への入力値を生成する（ステップＳ１５２）。ここでのフィルタ４４によるダウンサンプリング処理について、後にさらに説明する。
【００７１】
次に、予測部４５は、ダウンサンプリング処理の結果として生成された輝度成分の入力値を、係数算出部４２により算出された係数を有する予測関数に代入することにより、各色差成分の予測値を生成する（ステップＳ１５３）。
【００７２】
これらステップＳ１５１〜Ｓ１５３の処理は、処理対象のライン内の全ての画素について予測が終了するまで繰り返され得る（ステップＳ１５４）。
【００７３】
［２−３．ダウンサンプリング処理］
図１２Ａは、図１１に示したダウンサンプリング処理の詳細な流れの第１の例を示すフローチャートである。第１の例では、フィルタタップ数は固定的に設定される。
【００７４】
図１２Ａを参照すると、まず、フィルタ４４は、輝度成分メモリ４３から、図８Ａ又は図８Ｂに例示したような１次元フィルタのフィルタタップを抽出する（ステップＳ１６１）。次に、フィルタ４４は、抽出したフィルタタップを所定のフィルタ係数でフィルタリングして、予測関数への輝度成分の入力値を生成する（ステップＳ１６２）。
【００７５】
図１２Ｂは、図１１に示したダウンサンプリング処理の詳細な流れの第２の例を示すフローチャートである。第２の例では、フィルタタップ数は、２つの値の間で適応的に切り替えられる。
【００７６】
図１２Ｂを参照すると、まず、予測制御部４１は、処理対象の色差成分と共通する画素位置の輝度成分について選択されたイントラ予測の予測方向の水平方向に対してなす角度を、所定の閾値と比較する（ステップＳ１６０）。ここで、例えば、上記角度が閾値以上である場合には、処理はステップＳ１６１へ進む。一方、上記角度が閾値を下回る場合には、処理はステップＳ１６４へ進む。
【００７７】
ステップＳ１６１において、フィルタ４４は、輝度成分メモリ４３から、タップ数Ｎ１の１次元フィルタのフィルタタップを抽出する（ステップＳ１６１）。次に、フィルタ４４は、抽出したフィルタタップを所定のフィルタ係数でフィルタリングして、予測関数への輝度成分の入力値を生成する（ステップＳ１６２）。
【００７８】
ステップＳ１６４において、フィルタ４４は、輝度成分メモリ４３から、タップ数Ｎ２（Ｎ２＜Ｎ１）の１次元フィルタのフィルタタップを抽出する（ステップＳ１６４）。次に、フィルタ４４は、抽出したフィルタタップを所定のフィルタ係数でフィルタリングして、予測関数への輝度成分の入力値を生成する（ステップＳ１６５）。
【００７９】
図１２Ｃは、図１１に示したダウンサンプリング処理の詳細な流れの第３の例を示すフローチャートである。第３の例では、フィルタタップ数は、３つの値の間で適応的に切り替えられる。
【００８０】
図１２Ｃを参照すると、まず、予測制御部４１は、処理対象の色差成分と共通する画素位置の輝度成分について選択されたイントラ予測の予測方向の水平方向に対してなす角度を、第１の閾値Ｔｈ１と比較する（ステップＳ１６０）。ここで、例えば、上記角度が第１の閾値Ｔｈ１以上である場合には、処理はステップＳ１６１へ進む。一方、上記角度が第１の閾値Ｔｈ１を下回る場合には、処理はステップＳ１６３へ進む。
【００８１】
ステップＳ１６１において、フィルタ４４は、輝度成分メモリ４３から、タップ数Ｎ１の１次元フィルタのフィルタタップを抽出する（ステップＳ１６１）。次に、フィルタ４４は、抽出したフィルタタップを所定のフィルタ係数でフィルタリングして、予測関数への輝度成分の入力値を生成する（ステップＳ１６２）。
【００８２】
ステップＳ１６３において、予測制御部４１は、上記角度を、第２の閾値Ｔｈ２（Ｔｈ２＜Ｔｈ１）とさらに比較する（ステップＳ１６３）。ここで、例えば、上記角度が第２の閾値Ｔｈ２以上である場合には、処理はステップＳ１６４へ進む。一方、上記角度が第２の閾値Ｔｈ２を下回る場合には、処理はステップＳ１６６へ進む。
【００８３】
ステップＳ１６４において、フィルタ４４は、輝度成分メモリ４３から、タップ数Ｎ２（Ｎ２＜Ｎ１）の１次元フィルタのフィルタタップを抽出する（ステップＳ１６４）。次に、フィルタ４４は、抽出したフィルタタップを所定のフィルタ係数でフィルタリングして、予測関数への輝度成分の入力値を生成する（ステップＳ１６５）。
【００８４】
ステップＳ１６６において、フィルタ４４は、輝度成分メモリ４３から、タップ数Ｎ３（Ｎ３＜Ｎ２）の１次元フィルタのフィルタタップを抽出する（ステップＳ１６６）。次に、フィルタ４４は、抽出したフィルタタップを所定のフィルタ係数でフィルタリングして、予測関数への輝度成分の入力値を生成する（ステップＳ１６７）。
【００８５】
本節で説明したような符号化時の処理によって、ＬＭモードの導入のために設けられる輝度成分メモリ４３のメモリサイズを減少させ、画像符号化装置１０のメモリリソースを効率的に利用することが可能となる。このようなメモリリソースの節約は、次節以降で説明する画像復号装置６０においても達成される。
【００８６】
＜３．一実施形態に係る画像復号装置の構成例＞
図１３は、一実施形態に係る画像復号装置６０の構成の一例を示すブロック図である。図１３を参照すると、画像復号装置６０は、蓄積バッファ６１、可逆復号部６２、逆量子化部６３、逆直交変換部６４、加算部６５、デブロックフィルタ６６、並び替えバッファ６７、Ｄ／Ａ（Digital to Analogue）変換部６８、フレームメモリ６９、セレクタ７０及び７１、動き補償部８０、並びにイントラ予測部９０を備える。
【００８７】
蓄積バッファ６１は、伝送路を介して入力される符号化ストリームを記憶媒体を用いて一時的に蓄積する。
【００８８】
可逆復号部６２は、蓄積バッファ６１から入力される符号化ストリームを、符号化の際に使用された符号化方式に従って復号する。また、可逆復号部６２は、符号化ストリームのヘッダ領域に多重化されている情報を復号する。符号化ストリームのヘッダ領域に多重化されている情報とは、上述したインター予測に関する情報及びイントラ予測に関する情報を含み得る。可逆復号部６２は、インター予測に関する情報を動き補償部８０へ出力する。また、可逆復号部６２は、イントラ予測に関する情報をイントラ予測部９０へ出力する。
【００８９】
逆量子化部６３は、可逆復号部６２による復号後の量子化データを逆量子化する。逆直交変換部６４は、符号化の際に使用された直交変換方式に従い、逆量子化部６３から入力される変換係数データについて逆直交変換を行うことにより、予測誤差データを復元する。逆直交変換部６４による逆直交変換は、ＴＵごとの２次元のＩＤＣＴである。２次元のＩＤＣＴは、実質的には、垂直方向の１次元のＩＤＣＴ及び水平方向の１次元のＩＤＣＴを、直交変換とは逆の順序で逐次的に実行する手法で、ラインごとに行われ得る。本実施形態では、水平方向の１次元のＩＤＣＴが先に行われるものとする。そして、逆直交変換部６４は、生成した予測誤差データを加算部６５へ出力する。
【００９０】
加算部６５は、逆直交変換部６４から入力される予測誤差データと、セレクタ７１から入力される予測画像データとを加算することにより、復号画像データを再構築する。そして、加算部６５は、再構築した復号画像データをデブロックフィルタ６６及びフレームメモリ６９へ出力する。また、加算部６５は、ＬＭモードでの色差成分の予測の際に用いられる輝度成分の復号画像データをイントラ予測部９０へ出力する。
【００９１】
デブロックフィルタ６６は、加算部６５から入力される復号画像データをフィルタリングすることによりブロック歪みを除去し、フィルタリング後の復号画像データを並び替えバッファ６７及びフレームメモリ６９へ出力する。
【００９２】
並び替えバッファ６７は、デブロックフィルタ６６から入力される画像を並び替えることにより、時系列の一連の画像データを生成する。そして、並び替えバッファ６７は、生成した画像データをＤ／Ａ変換部６８へ出力する。
【００９３】
Ｄ／Ａ変換部６８は、並び替えバッファ６７から入力されるデジタル形式の画像データをアナログ形式の画像信号に変換する。そして、Ｄ／Ａ変換部６８は、例えば、画像復号装置６０と接続されるディスプレイ（図示せず）にアナログ画像信号を出力することにより、画像を表示させる。
【００９４】
フレームメモリ６９は、加算部６５から入力されるフィルタリング前の復号画像データ、及びデブロックフィルタ６６から入力されるフィルタリング後の復号画像データを記憶媒体を用いて記憶する。
【００９５】
セレクタ７０は、可逆復号部６２により取得されるモード情報に応じて、画像内のブロックごとに、フレームメモリ６９からの画像データの出力先を動き補償部８０とイントラ予測部９０との間で切り替える。例えば、セレクタ７０は、インター予測モードが指定された場合には、フレームメモリ６９から供給されるフィルタリング後の復号画像データを参照画像データとして動き補償部８０へ出力する。また、セレクタ７０は、イントラ予測モードが指定された場合には、フレームメモリ６９から供給されるフィルタリング前の復号画像データを参照画像データとしてイントラ予測部９０へ出力する。
【００９６】
セレクタ７１は、可逆復号部６２により取得されるモード情報に応じて、加算部６５へ供給すべき予測画像データの出力元を動き補償部８０とイントラ予測部９０との間で切り替える。例えば、セレクタ７１は、インター予測モードが指定された場合には、動き補償部８０から出力される予測画像データを加算部６５へ供給する。また、セレクタ７１は、イントラ予測モードが指定された場合には、イントラ予測部９０から出力される予測画像データを加算部６５へ供給する。
【００９７】
動き補償部８０は、可逆復号部６２から入力されるインター予測に関する情報とフレームメモリ６９からの参照画像データとに基づいて動き補償処理を行い、予測画像データを生成する。そして、動き補償部８０は、生成した予測画像データをセレクタ７１へ出力する。
【００９８】
イントラ予測部９０は、可逆復号部６２から入力されるイントラ予測に関する情報とフレームメモリ６９からの参照画像データとに基づいてイントラ予測処理を行い、予測画像データを生成する。そして、イントラ予測部９０は、生成した予測画像データをセレクタ７１へ出力する。このようなイントラ予測部９０によるイントラ予測処理について、後により詳細に説明する。
【００９９】
［３−２．イントラ予測部の構成例］
図１４は、図１３に示した画像復号装置６０のイントラ予測部９０の詳細な構成の一例を示すブロック図である。図１４を参照すると、イントラ予測部９０は、予測制御部９１、係数算出部９２、輝度成分メモリ９３、フィルタ９４及び予測部９５を有する。
【０１００】
予測制御部９１は、可逆復号部６２から入力されるイントラ予測に関する情報に従って、イントラ予測部９０におけるイントラ予測処理を制御する。例えば、予測制御部９１は、ＣＵごとに、輝度成分（Ｙ）についてのイントラ予測処理及び色差成分（Ｃｂ、Ｃｒ）についてのイントラ予測処理を実行する。輝度成分についてのイントラ予測処理において、予測制御部９１は、指定される輝度成分の予測モードに従って、予測部９５に各輝度成分の予測画素値を生成させる。輝度成分についての予測モードは、図３を用いて説明した角度イントラ予測法における様々な予測方向に関連付けられる予測モードのいずれかであってよい。また、予測制御部９１は、指定される色差成分の予測モードに従って、予測部９５に各色差成分の予測画素値を生成させる。色差成分についての予測モードの候補は、上述したＬＭモードを含む。
【０１０１】
係数算出部９２、輝度成分メモリ９３及びフィルタ９４は、上述したような１次元フィルタを用いたＬＭモードの実現のために設けられる。
【０１０２】
係数算出部９２は、予測対象の画素が属するＰＵの周辺の参照画素を参照して、ＬＭモードにおいて予測部９５により使用される予測関数の係数α、βを、上述した式（２）及び式（３）に従って算出する。
【０１０３】
輝度成分メモリ９３には、予測誤差データを用いて再構築される輝度成分の値を含む復号画像データが、ライン単位で加算部６５から入力される。ここでのラインは、逆直交変換部２２において水平方向及び垂直方向のＩＤＣＴのうち後に実行される方向に沿ったラインであり、本実施形態ではブロックの列に相当する。輝度成分メモリ９３は、かかるライン単位の輝度成分の復号画像データを一時的に記憶する。
【０１０４】
フィルタ９４は、予測制御部９１による制御の下、輝度成分メモリ９３から図８Ａ又は図８Ｂに例示したようなフィルタタップを抽出する。そして、フィルタ９４は、抽出したフィルタタップの値をフィルタリングすることにより、色差成分の値を予測するための予測関数への入力値を生成し、生成した入力値を予測部９５へ出力する。
【０１０５】
予測制御部９１は、各色差成分と共通する画素位置の輝度成分について指定された予測モードにより示される予測方向に応じて、フィルタ９４のフィルタタップ数を切り替えてもよい。より具体的には、第１の例において、予測制御部９１は、上記予測方向とタップ方向との間の角度がより小さい場合に、フィルタタップ数をより大きい数に設定し得る。また、第２の例において、予測制御部９１は、上記予測方向がタップ方向に重なる場合にはフィルタタップ数を第１の数に設定し、上記予測方向がタップ方向に重ならない場合にはフィルタタップ数を第１の数よりも小さい第２の数に設定し得る。それにより、タップ方向に沿った画像の相関が強い場合にはタップ長を長くし、タップ方向に沿った画像の相関が弱い場合にはタップ長を短くすることができる。なお、フィルタ９４のフィルタ係数は、動き補償部８０における動き補償において使用される補間フィルタと同じフィルタ係数であってもよい。
【０１０６】
予測部９５は、予測制御部９１による制御の下、予測対象の画素の輝度成分の画素値及び色差成分の画素値を、指定された予測モードに従って予測する。色差成分の予測モードの候補は、上述したＬＭモードを含む。ＬＭモードにおいて、予測部９５は、フィルタ９４により生成される輝度成分の入力値を、係数算出部９２により算出される係数を有する予測関数に代入することにより、各色差成分の値を予測する。他の予測モードにおける予測部９５によるイントラ予測は、既存の手法と同様に行われてよい。予測部９５は、予測の結果として生成される予測画像データを加算部６５へ出力する。
【０１０７】
＜４．一実施形態に係る復号時の処理の流れ＞
次に、図１５を用いて、復号時の処理の流れを説明する。
【０１０８】
図１５は、図１４に例示した構成を有するイントラ予測部９０による復号時のイントラ予測処理の流れの一例を示すフローチャートである。図１５に示したイントラ予測処理は、画像内の各ブロックを処理対象として実行される。
【０１０９】
まず、予測制御部９１は、処理対象の色成分が輝度成分であるか否かを判定する（ステップＳ２１０）。ここで、処理対象の色成分が輝度成分である場合には、処理はステップＳ２２０へ進む。一方、処理対象の色成分が色差成分である場合には、処理はステップＳ２５０へ進む。
【０１１０】
ステップＳ２２０において、予測制御部９１は、指定された予測モードに従って予測部９５に輝度成分のイントラ予測を実行させ、予測画像データを生成させる（ステップＳ２２０）。次に、予測制御部９１は、輝度成分の予測画像データと逆直交変換部６４から出力される予測誤差データとの和である復号画像データを、ライン単位で輝度成分メモリ９３に記憶させる（ステップＳ２３０）。
【０１１１】
このように輝度成分についてのイントラ予測が終了した後、同じブロックの色差成分についてのイントラ予測が行われる。
【０１１２】
ステップＳ２５０において、予測制御部９１は、色差成分についてＬＭモードが指定されているか否かを判定する（ステップＳ２５０）。ここで、ＬＭモードが指定されている場合には、予測制御部９１は、ＬＭモードに従って予測部９５に色差成分のイントラ予測を実行させる（ステップＳ２６０）。ここでの予測部９５によるＬＭモード予測処理は、図１１〜図１２Ｃを用いて説明した符号化時の処理と同様であってよい。また、ＬＭモード以外の予測モードが指定されている場合には、予測制御部９１は、指定された予測モードに従って予測部９５に色差成分のイントラ予測を実行させる（ステップＳ２７０）。その結果、色差成分の予測画像データが生成される。
【０１１３】
そして、処理対象ブロックの全ての色成分についてイントラ予測が行われると、図１５に示したイントラ予測処理は終了する（ステップＳ２８０）。
【０１１４】
＜５．変形例＞
［５−１．第１の変形例］
上述した実施形態では、輝度成分の復号画像データがライン単位で一時的にメモリに格納される。そして、ＬＭモードでのイントラ予測の際に、メモリから読み出されるフィルタタップを用いて、輝度成分のダウンサンプリングが実行される。これに対し、本項で説明する第１の変形例のように、輝度成分のダウンサンプリングをより早い段階で行い、ダウンサンプリングの結果として得られる予測関数への入力値をメモリに格納しておくことも可能である。
【０１１５】
図１６は、第１の変形例に係るイントラ予測部９０の詳細な構成の一例を示すブロック図である。図１６を参照すると、イントラ予測部９０は、予測制御部９１、係数算出部９２、予測部９５、フィルタ９６及び輝度成分メモリ９７を有する。
【０１１６】
フィルタ９６及び輝度成分メモリ９７は、１次元フィルタを用いたＬＭモードの実現のために設けられる。
【０１１７】
フィルタ９６は、予測誤差データを用いて再構築される輝度成分の値を含む復号画像データをライン単位で加算部６５から取得し、図８Ａ又は図８Ｂに例示したようなフィルタタップを形成する。そして、フィルタ９６は、形成したフィルタタップの値をフィルタリングすることにより、予測関数への輝度成分の入力値を生成する。
【０１１８】
輝度成分メモリ９７は、フィルタ９６により生成される、ダウンサンプリング後の輝度成分の入力値をライン単位で一時的に記憶する。輝度成分メモリ９７により記憶される予測関数への輝度成分の入力値は、色差成分についてＬＭモードが指定された場合に、予測部９５により読み出される。
【０１１９】
予測制御部９１は、各色差成分と共通する画素位置の輝度成分について指定された予測モードにより示される予測方向に応じて、フィルタ９６のフィルタタップ数を切り替えてもよい。
【０１２０】
［５−２．第２の変形例］
上述した実施形態では、主にクロマフォーマットが４：２：０である場合について説明した。クロマフォーマットが４：２：２である場合にも、色差成分の密度は輝度成分の密度よりも低いことから、ＬＭモードでの色差成分の予測の際に、輝度成分の値が一次元フィルタを用いてダウンサンプリングされてよい。また、クロマフォーマットが４：４：４である場合にも、ＬＭモードでの色差成分の予測の際に、輝度成分の値が一次元フィルタを用いてフィルタリングされてよい（この場合には、色差成分の密度は輝度成分の密度と等しいことから、“ダウンサンプリング”ではない）。但し、クロマフォーマットが４：２：２又は４：４：４である場合、個々の色差成分と画素位置が一致する輝度成分が存在する。従って、クロマフォーマットが４：２：２又は４：４：４である場合には、画像符号化装置１０の予測部４５及び画像復号装置６０の予測部９５は、各色差成分と一致する画素位置の輝度成分の値を予測関数に代入してもよい。この場合には、１次元フィルタは無効化され得る。
【０１２１】
例えば、図１７を参照すると、クロマフォーマットが４：２：２である場合の、１６×１６画素のサイズを有する１つのＰＵ内の輝度成分（Ｌｕｍａ）及び対応する色差成分（Ｃｈｒｏｍａ）が、丸印で概念的に示されている。輝度成分の密度は、水平方向についてのみ色差成分の密度の２倍である。図中右において斜線で網掛けされている丸印は、対応する色差成分の予測の際に予測関数へ代入される輝度成分を示す。
【０１２２】
また、図１８を参照すると、クロマフォーマットが４：４：４である場合の、１６×１６画素のサイズを有する１つのＰＵ内の輝度成分（Ｌｕｍａ）及び対応する色差成分（Ｃｈｒｏｍａ）が、丸印で概念的に示されている。輝度成分の密度は、色差成分の密度と等しい。図中右において斜線で網掛けされている丸印は、対応する色差成分の予測の際に予測関数へ代入される輝度成分を示す。
【０１２３】
このように、クロマフォーマットが４：２：０である場合にのみ輝度成分のフィルタリングを行うことで、処理の複雑さを低減し、ＬＭモードの導入に伴う実装のコストを低減することができる。
【０１２４】
＜６．応用例＞
上述した実施形態に係る画像符号化装置１０及び画像復号装置６０は、衛星放送、ケーブルＴＶなどの有線放送、インターネット上での配信、及びセルラー通信による端末への配信などにおける送信機若しくは受信機、光ディスク、磁気ディスク及びフラッシュメモリなどの媒体に画像を記録する記録装置、又は、これら記憶媒体から画像を再生する再生装置などの様々な電子機器に応用され得る。以下、４つの応用例について説明する。
【０１２５】
［６−１．第１の応用例］
図１９は、上述した実施形態を適用したテレビジョン装置の概略的な構成の一例を示している。テレビジョン装置９００は、アンテナ９０１、チューナ９０２、デマルチプレクサ９０３、デコーダ９０４、映像信号処理部９０５、表示部９０６、音声信号処理部９０７、スピーカ９０８、外部インタフェース９０９、制御部９１０、ユーザインタフェース９１１、及びバス９１２を備える。
【０１２６】
チューナ９０２は、アンテナ９０１を介して受信される放送信号から所望のチャンネルの信号を抽出し、抽出した信号を復調する。そして、チューナ９０２は、復調により得られた符号化ビットストリームをデマルチプレクサ９０３へ出力する。即ち、チューナ９０２は、画像が符号化されている符号化ストリームを受信する、テレビジョン装置９００における伝送手段としての役割を有する。
【０１２７】
デマルチプレクサ９０３は、符号化ビットストリームから視聴対象の番組の映像ストリーム及び音声ストリームを分離し、分離した各ストリームをデコーダ９０４へ出力する。また、デマルチプレクサ９０３は、符号化ビットストリームからＥＰＧ（Electronic Program Guide）などの補助的なデータを抽出し、抽出したデータを制御部９１０に供給する。なお、デマルチプレクサ９０３は、符号化ビットストリームがスクランブルされている場合には、デスクランブルを行ってもよい。
【０１２８】
デコーダ９０４は、デマルチプレクサ９０３から入力される映像ストリーム及び音声ストリームを復号する。そして、デコーダ９０４は、復号処理により生成される映像データを映像信号処理部９０５へ出力する。また、デコーダ９０４は、復号処理により生成される音声データを音声信号処理部９０７へ出力する。
【０１２９】
映像信号処理部９０５は、デコーダ９０４から入力される映像データを再生し、表示部９０６に映像を表示させる。また、映像信号処理部９０５は、ネットワークを介して供給されるアプリケーション画面を表示部９０６に表示させてもよい。また、映像信号処理部９０５は、映像データについて、設定に応じて、例えばノイズ除去などの追加的な処理を行ってもよい。さらに、映像信号処理部９０５は、例えばメニュー、ボタン又はカーソルなどのＧＵＩ（Graphical User Interface）の画像を生成し、生成した画像を出力画像に重畳してもよい。
【０１３０】
表示部９０６は、映像信号処理部９０５から供給される駆動信号により駆動され、表示デバイス（例えば、液晶ディスプレイ、プラズマディスプレイ又はＯＬＥＤなど）の映像面上に映像又は画像を表示する。
【０１３１】
音声信号処理部９０７は、デコーダ９０４から入力される音声データについてＤ／Ａ変換及び増幅などの再生処理を行い、スピーカ９０８から音声を出力させる。また、音声信号処理部９０７は、音声データについてノイズ除去などの追加的な処理を行ってもよい。
【０１３２】
外部インタフェース９０９は、テレビジョン装置９００と外部機器又はネットワークとを接続するためのインタフェースである。例えば、外部インタフェース９０９を介して受信される映像ストリーム又は音声ストリームが、デコーダ９０４により復号されてもよい。即ち、外部インタフェース９０９もまた、画像が符号化されている符号化ストリームを受信する、テレビジョン装置９００における伝送手段としての役割を有する。
【０１３３】
制御部９１０は、ＣＰＵ（Central Processing Unit）などのプロセッサ、並びにＲＡＭ（Random Access Memory）及びＲＯＭ（Read Only Memory）などのメモリを有する。メモリは、ＣＰＵにより実行されるプログラム、プログラムデータ、ＥＰＧデータ、及びネットワークを介して取得されるデータなどを記憶する。メモリにより記憶されるプログラムは、例えば、テレビジョン装置９００の起動時にＣＰＵにより読み込まれ、実行される。ＣＰＵは、プログラムを実行することにより、例えばユーザインタフェース９１１から入力される操作信号に応じて、テレビジョン装置９００の動作を制御する。
【０１３４】
ユーザインタフェース９１１は、制御部９１０と接続される。ユーザインタフェース９１１は、例えば、ユーザがテレビジョン装置９００を操作するためのボタン及びスイッチ、並びに遠隔制御信号の受信部などを有する。ユーザインタフェース９１１は、これら構成要素を介してユーザによる操作を検出して操作信号を生成し、生成した操作信号を制御部９１０へ出力する。
【０１３５】
バス９１２は、チューナ９０２、デマルチプレクサ９０３、デコーダ９０４、映像信号処理部９０５、音声信号処理部９０７、外部インタフェース９０９及び制御部９１０を相互に接続する。
【０１３６】
このように構成されたテレビジョン装置９００において、デコーダ９０４は、上述した実施形態に係る画像復号装置６０の機能を有する。それにより、テレビジョン装置９００での画像の復号に際して、メモリリソースをより効率的に使用することができる。
【０１３７】
［６−２．第２の応用例］
図２０は、上述した実施形態を適用した携帯電話機の概略的な構成の一例を示している。携帯電話機９２０は、アンテナ９２１、通信部９２２、音声コーデック９２３、スピーカ９２４、マイクロホン９２５、カメラ部９２６、画像処理部９２７、多重分離部９２８、記録再生部９２９、表示部９３０、制御部９３１、操作部９３２、及びバス９３３を備える。
【０１３８】
アンテナ９２１は、通信部９２２に接続される。スピーカ９２４及びマイクロホン９２５は、音声コーデック９２３に接続される。操作部９３２は、制御部９３１に接続される。バス９３３は、通信部９２２、音声コーデック９２３、カメラ部９２６、画像処理部９２７、多重分離部９２８、記録再生部９２９、表示部９３０、及び制御部９３１を相互に接続する。
【０１３９】
携帯電話機９２０は、音声通話モード、データ通信モード、撮影モード及びテレビ電話モードを含む様々な動作モードで、音声信号の送受信、電子メール又は画像データの送受信、画像の撮像、及びデータの記録などの動作を行う。
【０１４０】
音声通話モードにおいて、マイクロホン９２５により生成されるアナログ音声信号は、音声コーデック９２３に供給される。音声コーデック９２３は、アナログ音声信号を音声データへ変換し、変換された音声データをＡ／Ｄ変換し圧縮する。そして、音声コーデック９２３は、圧縮後の音声データを通信部９２２へ出力する。通信部９２２は、音声データを符号化及び変調し、送信信号を生成する。そして、通信部９２２は、生成した送信信号をアンテナ９２１を介して基地局（図示せず）へ送信する。また、通信部９２２は、アンテナ９２１を介して受信される無線信号を増幅し及び周波数変換し、受信信号を取得する。そして、通信部９２２は、受信信号を復調及び復号して音声データを生成し、生成した音声データを音声コーデック９２３へ出力する。音声コーデック９２３は、音声データを伸張し及びＤ／Ａ変換し、アナログ音声信号を生成する。そして、音声コーデック９２３は、生成した音声信号をスピーカ９２４に供給して音声を出力させる。
【０１４１】
また、データ通信モードにおいて、例えば、制御部９３１は、操作部９３２を介するユーザによる操作に応じて、電子メールを構成する文字データを生成する。また、制御部９３１は、文字を表示部９３０に表示させる。また、制御部９３１は、操作部９３２を介するユーザからの送信指示に応じて電子メールデータを生成し、生成した電子メールデータを通信部９２２へ出力する。通信部９２２は、電子メールデータを符号化及び変調し、送信信号を生成する。そして、通信部９２２は、生成した送信信号をアンテナ９２１を介して基地局（図示せず）へ送信する。また、通信部９２２は、アンテナ９２１を介して受信される無線信号を増幅し及び周波数変換し、受信信号を取得する。そして、通信部９２２は、受信信号を復調及び復号して電子メールデータを再構築し、再構築した電子メールデータを制御部９３１へ出力する。制御部９３１は、表示部９３０に電子メールの内容を表示させると共に、電子メールデータを記録再生部９２９の記憶媒体に記憶させる。
【０１４２】
記録再生部９２９は、読み書き可能な任意の記憶媒体を有する。例えば、記憶媒体は、ＲＡＭ又はフラッシュメモリなどの内蔵型の記憶媒体であってもよく、ハードディスク、磁気ディスク、光磁気ディスク、光ディスク、ＵＳＢメモリ、又はメモリカードなどの外部装着型の記憶媒体であってもよい。
【０１４３】
また、撮影モードにおいて、例えば、カメラ部９２６は、被写体を撮像して画像データを生成し、生成した画像データを画像処理部９２７へ出力する。画像処理部９２７は、カメラ部９２６から入力される画像データを符号化し、符号化ストリームを記録再生部９２９の記憶媒体に記憶させる。
【０１４４】
また、テレビ電話モードにおいて、例えば、多重分離部９２８は、画像処理部９２７により符号化された映像ストリームと、音声コーデック９２３から入力される音声ストリームとを多重化し、多重化したストリームを通信部９２２へ出力する。通信部９２２は、ストリームを符号化及び変調し、送信信号を生成する。そして、通信部９２２は、生成した送信信号をアンテナ９２１を介して基地局（図示せず）へ送信する。また、通信部９２２は、アンテナ９２１を介して受信される無線信号を増幅し及び周波数変換し、受信信号を取得する。これら送信信号及び受信信号には、符号化ビットストリームが含まれ得る。そして、通信部９２２は、受信信号を復調及び復号してストリームを再構築し、再構築したストリームを多重分離部９２８へ出力する。多重分離部９２８は、入力されるストリームから映像ストリーム及び音声ストリームを分離し、映像ストリームを画像処理部９２７、音声ストリームを音声コーデック９２３へ出力する。画像処理部９２７は、映像ストリームを復号し、映像データを生成する。映像データは、表示部９３０に供給され、表示部９３０により一連の画像が表示される。音声コーデック９２３は、音声ストリームを伸張し及びＤ／Ａ変換し、アナログ音声信号を生成する。そして、音声コーデック９２３は、生成した音声信号をスピーカ９２４に供給して音声を出力させる。
【０１４５】
このように構成された携帯電話機９２０において、画像処理部９２７は、上述した実施形態に係る画像符号化装置１０及び画像復号装置６０の機能を有する。それにより、携帯電話機９２０での画像の符号化及び復号に際して、メモリリソースをより効率的に使用することができる。
【０１４６】
［６−３．第３の応用例］
図２１は、上述した実施形態を適用した記録再生装置の概略的な構成の一例を示している。記録再生装置９４０は、例えば、受信した放送番組の音声データ及び映像データを符号化して記録媒体に記録する。また、記録再生装置９４０は、例えば、他の装置から取得される音声データ及び映像データを符号化して記録媒体に記録してもよい。また、記録再生装置９４０は、例えば、ユーザの指示に応じて、記録媒体に記録されているデータをモニタ及びスピーカ上で再生する。このとき、記録再生装置９４０は、音声データ及び映像データを復号する。
【０１４７】
記録再生装置９４０は、チューナ９４１、外部インタフェース９４２、エンコーダ９４３、ＨＤＤ（Hard Disk Drive）９４４、ディスクドライブ９４５、セレクタ９４６、デコーダ９４７、ＯＳＤ（On-Screen Display）９４８、制御部９４９、及びユーザインタフェース９５０を備える。
【０１４８】
チューナ９４１は、アンテナ（図示せず）を介して受信される放送信号から所望のチャンネルの信号を抽出し、抽出した信号を復調する。そして、チューナ９４１は、復調により得られた符号化ビットストリームをセレクタ９４６へ出力する。即ち、チューナ９４１は、記録再生装置９４０における伝送手段としての役割を有する。
【０１４９】
外部インタフェース９４２は、記録再生装置９４０と外部機器又はネットワークとを接続するためのインタフェースである。外部インタフェース９４２は、例えば、ＩＥＥＥ１３９４インタフェース、ネットワークインタフェース、ＵＳＢインタフェース、又はフラッシュメモリインタフェースなどであってよい。例えば、外部インタフェース９４２を介して受信される映像データ及び音声データは、エンコーダ９４３へ入力される。即ち、外部インタフェース９４２は、記録再生装置９４０における伝送手段としての役割を有する。
【０１５０】
エンコーダ９４３は、外部インタフェース９４２から入力される映像データ及び音声データが符号化されていない場合に、映像データ及び音声データを符号化する。そして、エンコーダ９４３は、符号化ビットストリームをセレクタ９４６へ出力する。
【０１５１】
ＨＤＤ９４４は、映像及び音声などのコンテンツデータが圧縮された符号化ビットストリーム、各種プログラム及びその他のデータを内部のハードディスクに記録する。また、ＨＤＤ９４４は、映像及び音声の再生時に、これらデータをハードディスクから読み出す。
【０１５２】
ディスクドライブ９４５は、装着されている記録媒体へのデータの記録及び読み出しを行う。ディスクドライブ９４５に装着される記録媒体は、例えばＤＶＤディスク（ＤＶＤ−Ｖｉｄｅｏ、ＤＶＤ−ＲＡＭ、ＤＶＤ−Ｒ、ＤＶＤ−ＲＷ、ＤＶＤ＋Ｒ、ＤＶＤ＋ＲＷ等）又はＢｌｕ−ｒａｙ（登録商標）ディスクなどであってよい。
【０１５３】
セレクタ９４６は、映像及び音声の記録時には、チューナ９４１又はエンコーダ９４３から入力される符号化ビットストリームを選択し、選択した符号化ビットストリームをＨＤＤ９４４又はディスクドライブ９４５へ出力する。また、セレクタ９４６は、映像及び音声の再生時には、ＨＤＤ９４４又はディスクドライブ９４５から入力される符号化ビットストリームをデコーダ９４７へ出力する。
【０１５４】
デコーダ９４７は、符号化ビットストリームを復号し、映像データ及び音声データを生成する。そして、デコーダ９４７は、生成した映像データをＯＳＤ９４８へ出力する。また、デコーダ９０４は、生成した音声データを外部のスピーカへ出力する。
【０１５５】
ＯＳＤ９４８は、デコーダ９４７から入力される映像データを再生し、映像を表示する。また、ＯＳＤ９４８は、表示する映像に、例えばメニュー、ボタン又はカーソルなどのＧＵＩの画像を重畳してもよい。
【０１５６】
制御部９４９は、ＣＰＵなどのプロセッサ、並びにＲＡＭ及びＲＯＭなどのメモリを有する。メモリは、ＣＰＵにより実行されるプログラム、及びプログラムデータなどを記憶する。メモリにより記憶されるプログラムは、例えば、記録再生装置９４０の起動時にＣＰＵにより読み込まれ、実行される。ＣＰＵは、プログラムを実行することにより、例えばユーザインタフェース９５０から入力される操作信号に応じて、記録再生装置９４０の動作を制御する。
【０１５７】
ユーザインタフェース９５０は、制御部９４９と接続される。ユーザインタフェース９５０は、例えば、ユーザが記録再生装置９４０を操作するためのボタン及びスイッチ、並びに遠隔制御信号の受信部などを有する。ユーザインタフェース９５０は、これら構成要素を介してユーザによる操作を検出して操作信号を生成し、生成した操作信号を制御部９４９へ出力する。
【０１５８】
このように構成された記録再生装置９４０において、エンコーダ９４３は、上述した実施形態に係る画像符号化装置１０の機能を有する。また、デコーダ９４７は、上述した実施形態に係る画像復号装置６０の機能を有する。それにより、記録再生装置９４０での画像の符号化及び復号に際して、メモリリソースをより効率的に使用することができる。
【０１５９】
［６−４．第４の応用例］
図２２は、上述した実施形態を適用した撮像装置の概略的な構成の一例を示している。撮像装置９６０は、被写体を撮像して画像を生成し、画像データを符号化して記録媒体に記録する。
【０１６０】
撮像装置９６０は、光学ブロック９６１、撮像部９６２、信号処理部９６３、画像処理部９６４、表示部９６５、外部インタフェース９６６、メモリ９６７、メディアドライブ９６８、ＯＳＤ９６９、制御部９７０、ユーザインタフェース９７１、及びバス９７２を備える。
【０１６１】
光学ブロック９６１は、撮像部９６２に接続される。撮像部９６２は、信号処理部９６３に接続される。表示部９６５は、画像処理部９６４に接続される。ユーザインタフェース９７１は、制御部９７０に接続される。バス９７２は、画像処理部９６４、外部インタフェース９６６、メモリ９６７、メディアドライブ９６８、ＯＳＤ９６９、及び制御部９７０を相互に接続する。
【０１６２】
光学ブロック９６１は、フォーカスレンズ及び絞り機構などを有する。光学ブロック９６１は、被写体の光学像を撮像部９６２の撮像面に結像させる。撮像部９６２は、ＣＣＤ又はＣＭＯＳなどのイメージセンサを有し、撮像面に結像した光学像を光電変換によって電気信号としての画像信号に変換する。そして、撮像部９６２は、画像信号を信号処理部９６３へ出力する。
【０１６３】
信号処理部９６３は、撮像部９６２から入力される画像信号に対してニー補正、ガンマ補正、色補正などの種々のカメラ信号処理を行う。信号処理部９６３は、カメラ信号処理後の画像データを画像処理部９６４へ出力する。
【０１６４】
画像処理部９６４は、信号処理部９６３から入力される画像データを符号化し、符号化データを生成する。そして、画像処理部９６４は、生成した符号化データを外部インタフェース９６６又はメディアドライブ９６８へ出力する。また、画像処理部９６４は、外部インタフェース９６６又はメディアドライブ９６８から入力される符号化データを復号し、画像データを生成する。そして、画像処理部９６４は、生成した画像データを表示部９６５へ出力する。また、画像処理部９６４は、信号処理部９６３から入力される画像データを表示部９６５へ出力して画像を表示させてもよい。また、画像処理部９６４は、ＯＳＤ９６９から取得される表示用データを、表示部９６５へ出力する画像に重畳してもよい。
【０１６５】
ＯＳＤ９６９は、例えばメニュー、ボタン又はカーソルなどのＧＵＩの画像を生成して、生成した画像を画像処理部９６４へ出力する。
【０１６６】
外部インタフェース９６６は、例えばＵＳＢ入出力端子として構成される。外部インタフェース９６６は、例えば、画像の印刷時に、撮像装置９６０とプリンタとを接続する。また、外部インタフェース９６６には、必要に応じてドライブが接続される。ドライブには、例えば、磁気ディスク又は光ディスクなどのリムーバブルメディアが装着され、リムーバブルメディアから読み出されるプログラムが、撮像装置９６０にインストールされ得る。さらに、外部インタフェース９６６は、ＬＡＮ又はインターネットなどのネットワークに接続されるネットワークインタフェースとして構成されてもよい。即ち、外部インタフェース９６６は、撮像装置９６０における伝送手段としての役割を有する。
【０１６７】
メディアドライブ９６８に装着される記録媒体は、例えば、磁気ディスク、光磁気ディスク、光ディスク、又は半導体メモリなどの、読み書き可能な任意のリムーバブルメディアであってよい。また、メディアドライブ９６８に記録媒体が固定的に装着され、例えば、内蔵型ハードディスクドライブ又はＳＳＤ（Solid State Drive）のような非可搬性の記憶部が構成されてもよい。
【０１６８】
制御部９７０は、ＣＰＵなどのプロセッサ、並びにＲＡＭ及びＲＯＭなどのメモリを有する。メモリは、ＣＰＵにより実行されるプログラム、及びプログラムデータなどを記憶する。メモリにより記憶されるプログラムは、例えば、撮像装置９６０の起動時にＣＰＵにより読み込まれ、実行される。ＣＰＵは、プログラムを実行することにより、例えばユーザインタフェース９７１から入力される操作信号に応じて、撮像装置９６０の動作を制御する。
【０１６９】
ユーザインタフェース９７１は、制御部９７０と接続される。ユーザインタフェース９７１は、例えば、ユーザが撮像装置９６０を操作するためのボタン及びスイッチなどを有する。ユーザインタフェース９７１は、これら構成要素を介してユーザによる操作を検出して操作信号を生成し、生成した操作信号を制御部９７０へ出力する。
【０１７０】
このように構成された撮像装置９６０において、画像処理部９６４は、上述した実施形態に係る画像符号化装置１０及び画像復号装置６０の機能を有する。それにより、撮像装置９６０での画像の符号化及び復号に際して、メモリリソースをより効率的に使用することができる。
【０１７１】
＜７．まとめ＞
ここまで、図１〜図２２を用いて、一実施形態に係る画像符号化装置１０及び画像復号装置６０について詳しく説明した。上述した実施形態によれば、画像の符号化及び復号における色差成分のイントラ予測にあたり、輝度成分の値の関数を用いるＬＭモードが採用される場合に、１次元フィルタを用いた輝度成分のダウンサンプリングにより予測関数への入力値が生成される。それにより、ノイズの影響を低減しながら、ライン単位での逐次処理を採用してメモリリソースをより効率的に使用することが可能となる。
【０１７２】
また、上述した実施形態によれば、１次元フィルタのフィルタタップは、復号画像を再構築する際の水平方向及び垂直方向の逆直交変換のうち後に実行される方向に沿って配置される。それにより、逆直交変換の出力とイントラ予測の入力との間に設けられる、輝度成分の復号画像を格納するためのメモリのサイズを縮小することができる。
【０１７３】
また、上述した実施形態によれば、各色差成分と共通する画素位置の輝度成分についてのイントラ予測の予測方向に応じて、１次元フィルタのフィルタタップのタップ数が適応的に制御されてもよい。それにより、フィルタタップに沿った画像の相関が強い場合にはタップ長を長くして、ノイズに対するロバスト性を高めることができる。
【０１７４】
なお、本明細書では、イントラ予測に関する情報及びインター予測に関する情報が、符号化ストリームのヘッダに多重化されて、符号化側から復号側へ伝送される例について主に説明した。しかしながら、これら情報を伝送する手法はかかる例に限定されない。例えば、これら情報は、符号化ビットストリームに多重化されることなく、符号化ビットストリームと関連付けられた別個のデータとして伝送され又は記録されてもよい。ここで、「関連付ける」という用語は、ビットストリームに含まれる画像（スライス若しくはブロックなど、画像の一部であってもよい）と当該画像に対応する情報とを復号時にリンクさせ得るようにすることを意味する。即ち、情報は、画像（又はビットストリーム）とは別の伝送路上で伝送されてもよい。また、情報は、画像（又はビットストリーム）とは別の記録媒体（又は同一の記録媒体の別の記録エリア）に記録されてもよい。さらに、情報と画像（又はビットストリーム）とは、例えば、複数フレーム、１フレーム、又はフレーム内の一部分などの任意の単位で互いに関連付けられてよい。
【０１７５】
以上、添付図面を参照しながら本開示の好適な実施形態について詳細に説明したが、本開示の技術的範囲はかかる例に限定されない。本開示の技術分野における通常の知識を有する者であれば、特許請求の範囲に記載された技術的思想の範疇内において、各種の変更例または修正例に想到し得ることは明らかであり、これらについても、当然に本開示の技術的範囲に属するものと了解される。
【０１７６】
なお、以下のような構成も本開示の技術的範囲に属する。
（１）
第１の色差成分と共通する画素位置の１つ以上の輝度成分及び前記第１の色差成分とは共通しない画素位置の１つ以上の輝度成分を含むフィルタタップの値をフィルタリングすることにより、前記第１の色差成分の値を予測するための予測関数に代入されるべき輝度成分の入力値を生成するフィルタと、
前記フィルタにより生成される輝度成分の前記入力値を前記予測関数に代入することにより、前記第１の色差成分の値を予測する予測部と、
を備え、
前記フィルタは、１次元フィルタである、
画像処理装置。
（２）
前記フィルタの前記フィルタタップは、画像を再構築する際の水平方向及び垂直方向の逆直交変換のうち後に実行される第１の方向に沿って配置される、前記（１）に記載の画像処理装置。
（３）
前記画像処理装置は、前記第１の色差成分と共通する画素位置の輝度成分について選択されたイントラ予測の予測方向に応じて、前記フィルタタップのタップ数を制御する制御部、をさらに備える、前記（２）に記載の画像処理装置。
（４）
前記制御部は、前記予測方向と前記第１の方向との間の角度がより小さい場合に、前記タップ数をより大きい数に設定する、前記（３）に記載の画像処理装置。
（５）
前記制御部は、前記予測方向が前記第１の方向に重なる場合には前記タップ数を第１の数に設定し、前記予測方向が前記第１の方向に重ならない場合には前記タップ数を前記第１の数よりも小さい第２の数に設定する、前記（３）に記載の画像処理装置。
（６）
前記予測部は、クロマフォーマットが４：２：０でない場合には、前記第１の色差成分と一致する画素位置の輝度成分の値を前記予測関数に代入する、前記（１）〜（５）のいずれか１項に記載の画像処理装置。
（７）
前記フィルタは、動き補償において使用される補間フィルタと同じフィルタ係数を有する、前記（１）〜（６）のいずれか１項に記載の画像処理装置。
（８）
第１の色差成分と共通する画素位置の１つ以上の輝度成分及び前記第１の色差成分とは共通しない画素位置の１つ以上の輝度成分を含むフィルタタップの値を１次元フィルタでフィルタリングすることにより、前記第１の色差成分の値を予測するための予測関数に代入されるべき輝度成分の入力値を生成することと、
前記１次元フィルタにより生成される輝度成分の前記入力値を前記予測関数に代入することにより、前記第１の色差成分の値を予測することと、
を含む画像処理方法。
【符号の説明】
【０１７７】
１０ 画像符号化装置（画像処理装置）
４１ 予測制御部
４２ 係数算出部
４３ 輝度成分メモリ
４４ フィルタ
４５ 予測部
６０ 画像復号装置（画像処理装置）
９１ 予測制御部
９２ 係数算出部
９３ 輝度成分メモリ
９４ フィルタ
９５ 予測部
【技術分野】
【０００１】
本開示は、画像処理装置及び画像処理方法に関する。
【背景技術】
【０００２】
デジタル画像のデータサイズを圧縮するための画像符号化方式において重要な技術の１つは、画面内予測、即ちイントラ予測である。イントラ予測は、画像内の隣り合うブロック間の相関を利用し、あるブロック内の画素値を隣り合う他のブロックの画素値から予測することで、符号化される情報量を削減する技術である。ＭＰＥＧ４以前の画像符号化方式では、直交変換係数の直流成分及び低周波成分のみがイントラ予測の対象とされていた。これに対し、Ｈ．２６４／ＡＶＣ（Advanced Video Coding）では、全ての成分についてイントラ予測が可能となった。イントラ予測を用いることで、例えば青空の画像のように、画素値の変化の緩やかな画像については、圧縮率の大幅な向上が見込まれる。
【０００３】
イントラ予測に際しては、通常、予測対象のブロックの画素値を予測するために最適な予測モードが、複数の予測モードから選択される。予測モードは、典型的には、参照画素から予測対象画素への予測方向によって区別され得る。例えば、Ｈ．２６４／ＡＶＣにおいて、色差成分の予測に際しては、平均値予測、水平予測、垂直予測及び平面予測という４つの予測モードが選択可能である。さらに、Ｈ．２６４／ＡＶＣに続く次世代の画像符号化方式として標準化が進められているＨＥＶＣでは、動的に構築される輝度成分の線型関数を予測関数として用いて色差成分の画素値を予測する、線型モデル（ＬＭ：Linear Model）モードと呼ばれる追加的な予測モードが採用される見込みである（下記非特許文献１参照）。
【０００４】
画像の色差成分の密度は、クロマフォーマットが４：２：０の場合、輝度成分の密度よりも低い。そこで、下記非特許文献１に記載された手法では、ある色差成分の値をＬＭモードで予測する際、当該色差成分と共通する画素位置の２つの輝度成分の値をダウンサンプリングすることにより、予測関数へ代入される輝度成分の入力値が生成される。これに対し、下記非特許文献２は、ノイズの影響を低減して予測の精度を高めるために、色差成分と共通しない画素位置の輝度成分の値をも算入して、予測関数への輝度成分の入力値を３×２タップの２次元フィルタで生成することを提案している。下記非特許文献３は、ＬＭモードの予測関数の係数を決定する際の左の隣接ブロックの参照画素のダウンサンプリングを、２タップではなく４タップのフィルタで行うことを提案している。
【先行技術文献】
【非特許文献】
【０００５】
【非特許文献１】Jianle Chen， et al. “CE6.a.4: Chroma intra prediction by reconstructed luma samples”（JCTVC-E266，2011年3月）
【非特許文献２】Akira Minezawa， et al. “An improvement to chroma intra prediction from luma”（JCTVC-F173，2011年7月）
【非特許文献３】Yongbing Lin， et al. “Modifications to intra frame coding”（JCTVC-G119，2011年11月）
【発明の概要】
【発明が解決しようとする課題】
【０００６】
しかしながら、上記非特許文献２により提案されている手法では、予測関数への１つの入力値を生成する際に参照される輝度成分が、複数の行及び複数の列にわたって存在する。そのため、ＬＭモードでの色差成分の予測値の計算のために、複数のラインメモリに予測対象ブロックの輝度成分の値を一時的に記憶しておくことが求められる。一方で、ＨＥＶＣにおいて、イントラ予測の前段に設けられる逆直交変換は、１次元の水平方向の変換処理と１次元の垂直方向の変換処理とを逐次的に実行する方式で実装されることが想定されている。
【０００７】
従って、ＬＭモードでの色差成分の予測値の計算において、単一のラインメモリに記憶される輝度成分の値のみを参照する方式とすれば、ライン単位での逐次処理を採用してメモリリソースをより効率的に使用することが可能となる。
【課題を解決するための手段】
【０００８】
本開示によれば、第１の色差成分と共通する画素位置の１つ以上の輝度成分及び前記第１の色差成分とは共通しない画素位置の１つ以上の輝度成分を含むフィルタタップの値をフィルタリングすることにより、前記第１の色差成分の値を予測するための予測関数に代入されるべき輝度成分の入力値を生成するフィルタと、前記フィルタにより生成される輝度成分の前記入力値を前記予測関数に代入することにより、前記第１の色差成分の値を予測する予測部と、を備え、前記フィルタは、１次元フィルタである、画像処理装置が提供される。
【０００９】
上述した画像処理装置は、画像符号化装置及び画像復号装置のいずれにも適用可能である。
【００１０】
また、本開示によれば、第１の色差成分と共通する画素位置の１つ以上の輝度成分及び前記第１の色差成分とは共通しない画素位置の１つ以上の輝度成分を含むフィルタタップの値を１次元フィルタでフィルタリングすることにより、前記第１の色差成分の値を予測するための予測関数に代入されるべき輝度成分の入力値を生成することと、前記１次元フィルタにより生成される輝度成分の前記入力値を前記予測関数に代入することにより、前記第１の色差成分の値を予測することと、を含む画像処理方法が提供される。
【発明の効果】
【００１１】
本開示に係る技術によれば、ＬＭモードでの色差成分の予測値の計算に際して、ノイズの影響を低減しながら、メモリリソースをより効率的に使用することが可能となる。
【図面の簡単な説明】
【００１２】
【図１】一実施形態に係る画像符号化装置の構成の一例を示すブロック図である。
【図２】一実施形態に係る画像符号化装置のイントラ予測部の詳細な構成の一例を示すブロック図である。
【図３】ＨＥＶＣの角度イントラ予測法に従って選択可能な予測方向の候補について説明するための説明図である。
【図４】ＨＥＶＣの角度イントラ予測法における参照画素値の計算について説明するための説明図である。
【図５】ＬＭモードについて説明するための説明図である。
【図６Ａ】ＬＭモードにおける輝度成分のダウンサンプリングの既存の第１の手法について説明するための説明図である。
【図６Ｂ】ＬＭモードにおける輝度成分のダウンサンプリングの既存の第２の手法について説明するための説明図である。
【図７】逆直交変換部における逐次的な逆直交変換の順序について説明するための説明図である。
【図８Ａ】一実施形態に係る輝度成分のダウンサンプリングの第１の手法について説明するための説明図である。
【図８Ｂ】一実施形態に係る輝度成分のダウンサンプリングの第２の手法について説明するための説明図である。
【図９Ａ】輝度成分の予測方向の角度に応じたフィルタタップ数の切り替えの第１の例について説明するための説明図である。
【図９Ｂ】輝度成分の予測方向の角度に応じたフィルタタップ数の切り替えの第２の例について説明するための説明図である。
【図１０】一実施形態に係るイントラ予測処理の流れの一例を示すフローチャートである。
【図１１】図１０に示したＬＭモード予測処理の詳細な流れの一例を示すフローチャートである。
【図１２Ａ】図１１に示したダウンサンプリング処理の詳細な流れの第１の例を示すフローチャートである。
【図１２Ｂ】図１１に示したダウンサンプリング処理の詳細な流れの第２の例を示すフローチャートである。
【図１２Ｃ】図１１に示したダウンサンプリング処理の詳細な流れの第３の例を示すフローチャートである。
【図１３】一実施形態に係る画像復号装置の構成の一例を示すブロック図である。
【図１４】一実施形態に係る画像復号装置のイントラ予測部の詳細な構成の一例を示すブロック図である。
【図１５】一実施形態に係る復号時のイントラ予測処理の流れの一例を示すフローチャートである。
【図１６】第１の変形例に係るイントラ予測部の詳細な構成の一例を示すブロック図である。
【図１７】クロマフォーマットが４：２：２である場合のＬＭモードについて説明するための説明図である。
【図１８】クロマフォーマットが４：４：４である場合のＬＭモードについて説明するための説明図である。
【図１９】テレビジョン装置の概略的な構成の一例を示すブロック図である。
【図２０】携帯電話機の概略的な構成の一例を示すブロック図である。
【図２１】記録再生装置の概略的な構成の一例を示すブロック図である。
【図２２】撮像装置の概略的な構成の一例を示すブロック図である。
【発明を実施するための形態】
【００１３】
以下に添付図面を参照しながら、本開示の好適な実施の形態について詳細に説明する。なお、本明細書及び図面において、実質的に同一の機能構成を有する構成要素については、同一の符号を付することにより重複説明を省略する。
【００１４】
また、以下の順序で説明を行う。
１．一実施形態に係る画像符号化装置の構成例
２．一実施形態に係る符号化時の処理の流れ
３．一実施形態に係る画像復号装置の構成例
４．一実施形態に係る復号時の処理の流れ
５．変形例
６．応用例
７．まとめ
【００１５】
＜１．一実施形態に係る画像符号化装置の構成例＞
［１−１．全体的な構成例］
図１は、一実施形態に係る画像符号化装置１０の構成の一例を示すブロック図である。図１を参照すると、画像符号化装置１０は、Ａ／Ｄ（Analogue to Digital）変換部１１、並び替えバッファ１２、減算部１３、直交変換部１４、量子化部１５、可逆符号化部１６、蓄積バッファ１７、レート制御部１８、逆量子化部２１、逆直交変換部２２、加算部２３、デブロックフィルタ２４、フレームメモリ２５、セレクタ２６及び２７、動き探索部３０、並びにイントラ予測部４０を備える。
【００１６】
Ａ／Ｄ変換部１１は、アナログ形式で入力される画像信号をデジタル形式の画像データに変換し、一連のデジタル画像データを並び替えバッファ１２へ出力する。
【００１７】
並び替えバッファ１２は、Ａ／Ｄ変換部１１から入力される一連の画像データに含まれる画像を並び替える。並び替えバッファ１２は、符号化処理に係るＧＯＰ（Group of Pictures）構造に応じて画像を並び替えた後、並び替え後の画像データを減算部１３、動き探索部３０及びイントラ予測部４０へ出力する。
【００１８】
減算部１３には、並び替えバッファ１２から入力される画像データ、及び後に説明する動き探索部３０又はイントラ予測部４０から入力される予測画像データが供給される。減算部１３は、並び替えバッファ１２から入力される画像データと予測画像データとの差分である予測誤差データを算出し、算出した予測誤差データを直交変換部１４へ出力する。
【００１９】
直交変換部１４は、減算部１３から入力される予測誤差データについて直交変換を行う。ＨＥＶＣにおいて、直交変換部１４による直交変換は、変換単位（Transform Unit：ＴＵ）ごとの２次元の離散コサイン変換（Discrete Cosine Transform：ＤＣＴ）である。２次元のＤＣＴは、実質的には、垂直方向の１次元のＤＣＴ及び水平方向の１次元のＤＣＴのうち一方を先に、他方を後に逐次的に実行する手法で、ラインごとに行われ得る。本実施形態では、垂直方向の１次元のＤＣＴが先に行われるものとする。直交変換部１４は、直交変換処理により取得される変換係数データを量子化部１５へ出力する。
【００２０】
量子化部１５には、直交変換部１４から入力される変換係数データ、及び後に説明するレート制御部１８からのレート制御信号が供給される。量子化部１５は、変換係数データを量子化し、量子化後の変換係数データ（以下、量子化データという）を可逆符号化部１６及び逆量子化部２１へ出力する。また、量子化部１５は、レート制御部１８からのレート制御信号に基づいて量子化パラメータ（量子化スケール）を切り替えることにより、可逆符号化部１６に入力される量子化データのビットレートを変化させる。
【００２１】
可逆符号化部１６は、量子化部１５から入力される量子化データについて可逆符号化処理を行うことにより、符号化ストリームを生成する。可逆符号化部１６による可逆符号化は、例えば、可変長符号化、又は算術符号化などであってよい。また、可逆符号化部１６は、スイッチ２７から入力されるイントラ予測に関する情報又はインター予測に関する情報を、符号化ストリームのヘッダ領域内に多重化する。そして、可逆符号化部１６は、生成した符号化ストリームを蓄積バッファ１７へ出力する。
【００２２】
蓄積バッファ１７は、可逆符号化部１６から入力される符号化ストリームを半導体メモリなどの記憶媒体を用いて一時的に蓄積する。そして、蓄積バッファ１７は、蓄積した符号化ストリームを、伝送路の帯域に応じたレートで、図示しない伝送部（例えば、通信インタフェース又は周辺機器との接続インタフェースなど）へ出力する。
【００２３】
レート制御部１８は、蓄積バッファ１７の空き容量を監視する。そして、レート制御部１８は、蓄積バッファ１７の空き容量に応じてレート制御信号を生成し、生成したレート制御信号を量子化部１５へ出力する。例えば、レート制御部１８は、蓄積バッファ１７の空き容量が少ない時には、量子化データのビットレートを低下させるためのレート制御信号を生成する。また、例えば、レート制御部１８は、蓄積バッファ１７の空き容量が十分大きい時には、量子化データのビットレートを高めるためのレート制御信号を生成する。
【００２４】
逆量子化部２１は、量子化部１５から入力される量子化データについて逆量子化処理を行う。そして、逆量子化部２１は、逆量子化処理により取得される変換係数データを、逆直交変換部２２へ出力する。
【００２５】
逆直交変換部２２は、逆量子化部２１から入力される変換係数データについて逆直交変換処理を行うことにより、予測誤差データを復元する。逆直交変換部２２による逆直交変換は、ＴＵごとの２次元の逆離散コサイン変換（Inverse Discrete Cosine Transform：ＩＤＣＴ）である。２次元のＩＤＣＴは、実質的には、垂直方向の１次元のＩＤＣＴ及び水平方向の１次元のＩＤＣＴを、直交変換とは逆の順序で逐次的に実行する手法で、ラインごとに行われ得る。本実施形態では、水平方向の１次元のＩＤＣＴが先に行われるものとする。そして、逆直交変換部２２は、復元した予測誤差データを加算部２３へ出力する。
【００２６】
加算部２３は、逆直交変換部２２から入力される復元された予測誤差データと動き探索部３０又はイントラ予測部４０から入力される予測画像データとを加算することにより、復号画像データを再構築（reconstruct）する。そして、加算部２３は、再構築した復号画像データをデブロックフィルタ２４及びフレームメモリ２５へ出力する。また、加算部２３は、ＬＭモードでの色差成分の予測の際に用いられる輝度成分の復号画像データをイントラ予測部４０へ出力する。
【００２７】
デブロックフィルタ２４は、画像の符号化時に生じるブロック歪みを減少させるためのフィルタリング処理を行う。デブロックフィルタ２４は、加算部２３から入力される復号画像データをフィルタリングすることによりブロック歪みを除去し、フィルタリング後の復号画像データをフレームメモリ２５へ出力する。
【００２８】
フレームメモリ２５は、加算部２３から入力される復号画像データ、及びデブロックフィルタ２４から入力されるフィルタリング後の復号画像データを記憶媒体を用いて記憶する。
【００２９】
セレクタ２６は、インター予測のために使用されるフィルタリング後の復号画像データをフレームメモリ２５から読み出し、読み出した復号画像データを参照画像データとして動き探索部３０に供給する。また、セレクタ２６は、イントラ予測のために使用されるフィルタリング前の復号画像データをフレームメモリ２５から読み出し、読み出した復号画像データを参照画像データとしてイントラ予測部４０に供給する。
【００３０】
セレクタ２７は、インター予測モードにおいて、動き探索部３０から出力されるインター予測の結果としての予測画像データを減算部１３へ出力すると共に、インター予測に関する情報を可逆符号化部１６へ出力する。また、セレクタ２７は、イントラ予測モードにおいて、イントラ予測部４０から出力されるイントラ予測の結果としての予測画像データを減算部１３へ出力すると共に、イントラ予測に関する情報を可逆符号化部１６へ出力する。セレクタ２７は、インター予測モードとイントラ予測モードとを、動き探索部３０及びイントラ予測部４０から出力されるコスト関数値の大きさに応じて切り替える。
【００３１】
動き探索部３０は、並び替えバッファ１２から入力される符号化対象の画像データ（原画像データ）、及びセレクタ２６を介して供給される復号画像データに基づいて、インター予測処理（フレーム間予測処理）を行う。例えば、動き探索部３０は、各予測モードによる予測結果を所定のコスト関数を用いて評価する。次に、動き探索部３０は、コスト関数値が最小となる予測モード、即ち圧縮率が最も高くなる予測モードを、最適な予測モードとして選択する。また、動き探索部３０は、当該最適な予測モードに従って予測画像データを生成する。そして、動き探索部３０は、選択した最適な予測モードを表す予測モード情報、動きベクトル情報及び参照画像情報を含むインター予測に関する情報、コスト関数値、並びに予測画像データを、セレクタ２７へ出力する。
【００３２】
イントラ予測部４０は、並び替えバッファ１２から入力される原画像データ、及びフレームメモリ２５から供給される参照画像データとしての復号画像データに基づいて、画像内に設定されるブロックごとにイントラ予測処理を行う。そして、イントラ予測部４０は、最適な予測モードを表す予測モード情報を含むイントラ予測に関する情報、コスト関数値、並びに予測画像データを、セレクタ２７へ出力する。イントラ予測部４０により選択可能な予測モードは、既存のイントラ予測モードに加えて、色差成分についての線型モデル（ＬＭ）モードを含む。本実施形態におけるＬＭモードは、上記非特許文献２に記載されているＬＭモードとは異なり、輝度成分のダウンサンプリングに際して１次元フィルタを用いるという特徴を有する。このようなイントラ予測部４０によるイントラ予測処理について、後により詳細に説明する。
【００３３】
［１−２．イントラ予測部の構成例］
図２は、図１に示した画像符号化装置１０のイントラ予測部４０の詳細な構成の一例を示すブロック図である。図２を参照すると、イントラ予測部４０は、予測制御部４１、係数算出部４２、輝度成分メモリ４３、フィルタ４４、予測部４５及びモード判定部４６を有する。
【００３４】
予測制御部４１は、イントラ予測部４０におけるイントラ予測処理を制御する。例えば、予測制御部４１は、符号化単位（Coding Unit：ＣＵ）ごとに、輝度成分（Ｙ）についてのイントラ予測処理及び色差成分（Ｃｂ、Ｃｒ）についてのイントラ予測処理を実行する。輝度成分についてのイントラ予測処理において、予測制御部４１は、複数の予測モードで予測部４５に各画素の予測画素値を生成させ、モード判定部４６に輝度成分の最適な予測モードを判定させる。ＣＵ内の予測単位（Prediction Unit：ＰＵ）の配置も決定される。色差成分についてのイントラ予測処理では、予測制御部４１は、複数の予測モードで予測部４５に各画素の予測画素値を生成させ、モード判定部４６に色差成分の最適な予測モードを判定させる。
【００３５】
輝度成分についての予測モードの候補は、様々な予測方向に関連付けられる予測モードを含み得る。ＨＥＶＣでは、“Description of video coding technology proposal by Tandberg, Nokia, Ericsson”（Kemal Ugur， et al.，JCTVC-A119，2010年4月）において説明されている角度イントラ予測（Angular Intra Prediction）法が採用される。図３は、角度イントラ予測法に従って選択可能な予測方向の候補について説明するための説明図である。図３に示した画素Ｐ１は、予測対象画素である。画素Ｐ１が属するブロックの周囲の網掛けされた画素は、参照画素である。ブロックサイズが４×４画素である場合には、図中で実線（太線及び細線の双方）で示された、参照画素と予測対象画素とを結ぶ１７種類の予測方向（に対応する予測モード）が、（ＤＣ予測に加えて）選択可能である。ブロックサイズが８×８画素、１６×１６画素又は３２×３２画素である場合には、図中で点線並びに実線（太線及び細線の双方）で示された３３種類の予測方向（に対応する予測モード）が、（ＤＣ予測及び平面予測に加えて）選択可能である。ブロックサイズが６４×６４画素である場合には、図中で太線で示された２種類の予測方向（に対応する予測モード）が、（ＤＣ予測に加えて）選択可能である。なお、角度イントラ予測法では、予測方向の角度の分解能が高く、例えば８×８画素の場合の隣り合う予測方向の間の角度の差は、１８０度／３２＝５．６２５度である。従って、参照画素値として、図４に示すような１／８画素精度の参照画素値が計算され、予測画素値の計算のために使用され得る。
【００３６】
色差成分についての予測モードの候補もまた、様々な予測方向に関連付けられる予測モードを含み得る。さらに、色差成分についての予測モードの候補は、上述したＬＭモードを含む。ＬＭモードは、動的に構築される輝度成分の線型関数を予測関数として用いて色差成分の画素値を予測する予測モードである。ＬＭモードにおいて使用される予測関数は、上記非特許文献１に記載されている次のような線型一次関数であってよい：
【００３７】
【数１】
【００３８】
式（１）において、ＲｅＬ´（ｘ，ｙ）は、復号画像（いわゆるリコンストラクト画像）の輝度成分のダウンサンプリング後の値を表す。輝度成分のダウンサンプリングは、クロマフォーマットに依存して色差成分の密度が輝度成分の密度と異なる場合に行われ得る。
【００３９】
例えば、図５を参照すると、クロマフォーマットが４：２：０である場合の、１６×１６画素のサイズを有する１つのＰＵ内の輝度成分（Ｌｕｍａ）及び対応する色差成分（Ｃｈｒｏｍａ）が、丸印で概念的に示されている。輝度成分の密度は、水平方向及び垂直方向の各々について色差成分の密度の２倍である。ＰＵの周囲に位置し、図中で塗りつぶされている丸印は、上記予測関数の係数α、βを算出する際に参照される参照画素を示す。図中右において斜線で網掛けされている丸印は、ダウンサンプリングされた輝度成分を示す。このようにダウンサンプリングされた輝度成分の値を上記予測関数の右辺のＲｅＬ´（ｘ，ｙ）に代入することにより、共通する画素位置の色差成分の予測値が算出される。また、参照画素も同様にダウンサンプリングされ得る。
【００４０】
クロマフォーマットが４：２：０である場合、図５の例のように、２×２個の輝度成分ごとに１つの輝度成分の入力値（予測関数へ代入される値）がダウンサンプリングにより生成される。上記非特許文献２によれば、ダウンサンプリングは、個々の色差成分と共通する画素位置の１つ以上の輝度成分と、当該色差成分とは共通しない画素位置の１つ以上の輝度成分とを含むフィルタタップの値を２次元フィルタを用いてフィルタリングすることにより行われる。ここで、ある色差成分と「共通する」画素位置の輝度成分とは、クロマフォーマットが４：２：０である場合、色差成分の画素位置（ｘ，ｙ）に対する輝度成分の画素位置（２ｘ，２ｙ）、（２ｘ＋１，２ｙ）、（２ｘ，２ｙ＋１）及び（２ｘ＋１，２ｙ＋１）を含むものとする。
【００４１】
図６Ａは、上記非特許文献２に記載されているダウンサンプリングの既存の第１の手法について説明するための説明図である。図６Ａの左上には、画素位置（１，１）の色差成分Ｃｒ１，１が示されている。色差成分Ｃｒ１，１の予測値は、輝度成分の入力値ＩＬ１，１を予測関数に代入することにより算出される。輝度成分の入力値ＩＬ１，１は、色差成分Ｃｒ１，１と共通する画素位置の輝度成分Ｌｕ２，２，Ｌｕ３，２，Ｌｕ２，３，Ｌｕ３，３及び色差成分Ｃｒ１，１とは共通しない画素位置の輝度成分Ｌｕ１，２，Ｌｕ１，３を含む３×２のフィルタタップの値をフィルタリングすることにより生成され得る。図中のフィルタタップの丸印の中に示されている数字は、各フィルタタップに乗算されるフィルタ係数である。このように、個々の色差成分と共通する画素位置の周囲の輝度成分をもダウンサンプリングの際のフィルタタップに含めることで、輝度成分のノイズの影響が低減され、ＬＭモードでのイントラ予測の精度が高められる。
【００４２】
図６Ｂは、ダウンサンプリングの既存の第２の手法について説明するための説明図である。第２の手法では、輝度成分の入力値ＩＬ１，１は、色差成分Ｃｒ１，１と共通する画素位置の輝度成分Ｌｕ３，２，Ｌｕ３，３及び色差成分Ｃｒ１，１とは共通しない画素位置の輝度成分Ｌｕ１，２，Ｌｕ１，３を含む２×２のフィルタタップの値をフィルタリングすることにより生成され得る。フィルタ係数は、図中に示した通りである。
【００４３】
ところで、上述したように、逆直交変換部２２は、各ブロックについて、水平方向の１次元のＩＤＣＴを先に、垂直方向の１次元のＩＤＣＴを後にして、ラインごとに逆直交変換を実行する。例えば、図７に示した８×８画素のブロックについて、逆直交変換部２２は、水平方向のラインＲ０〜Ｒ７について順に１次元のＩＤＣＴを実行した後、垂直方向のラインＣ０〜Ｃ７について順に１次元のＩＤＣＴを実行する。従って、復号画像データは、垂直方向のライン単位で加算部２３を介してイントラ予測部４０へ入力される。従って、図６Ａ及び図６Ｂを用いて説明したような２次元フィルタを用いる手法では、複数のラインにわたって輝度成分の復号画像データ（リコンストラクト画素値）をメモリに記憶しておくことが求められる。しかし、色差成分のイントラ予測に際して、ＬＭモード以外の予測モードでは輝度成分の値は参照されない。従って、ＬＭモードだけのためにラインメモリを多く消費することは、メモリリソースの効率的な活用の観点で望ましくない。そこで、本実施形態では、ＬＭモードでの輝度成分の入力値を生成する際のダウンサンプリングを、１次元フィルタを用いて行う。
【００４４】
図８Ａは、本実施形態に係る輝度成分のダウンサンプリングの第１の手法について説明するための説明図である。図８Ａの左上には、画素位置（１，１）の色差成分Ｃｒ１，１が示されている。色差成分Ｃｒ１，１の予測値は、輝度成分の入力値ＩＬ１，１を予測関数に代入することにより算出される。輝度成分の入力値ＩＬ１，１は、色差成分Ｃｒ１，１と共通する画素位置の輝度成分Ｌｕ２，２，Ｌｕ２，３及び色差成分Ｃｒ１，１とは共通しない画素位置の輝度成分Ｌｕ２，１，Ｌｕ２，４を含む４個のフィルタタップの値を１次元フィルタでフィルタリングすることにより生成され得る。図中のフィルタタップの丸印の中に示されている数字は、各フィルタタップに乗算されるフィルタ係数である。
【００４５】
図８Ｂは、本実施形態に係る輝度成分のダウンサンプリングの第２の手法について説明するための説明図である。図８Ｂの例では、フィルタタップは、６個に拡張されている。輝度成分の入力値ＩＬ１，１は、色差成分Ｃｒ１，１と共通する画素位置の輝度成分Ｌｕ２，２，Ｌｕ２，３及び色差成分Ｃｒ１，１とは共通しない画素位置の輝度成分Ｌｕ２，０，Ｌｕ２，１，Ｌｕ２，４，Ｌｕ２，５を含む６個のフィルタタップの値を１次元フィルタでフィルタリングすることにより生成され得る。
【００４６】
このように、輝度成分の入力値を１次元フィルタを用いて生成する構成を採用することで、１ライン分以下の輝度成分の復号画像データのみをメモリに記憶しておくのみでＬＭモードでの色差成分のイントラ予測が可能となる。なお、１次元フィルタのタップ数及びフィルタ係数の組合せは、図８Ａ及び図８Ｂに示した例に限定されず、他のいかなる組合せであってもよい。
【００４７】
図２に戻り、イントラ予測部４０の構成の説明を継続する。
【００４８】
係数算出部４２、輝度成分メモリ４３及びフィルタ４４は、上述したような１次元フィルタを用いたＬＭモードの実現のために設けられる。
【００４９】
係数算出部４２は、ＬＭモードにおいて予測部４５により使用される予測関数の係数を、予測対象の画素が属するＰＵの周辺の画素、即ち参照画素を参照して算出する。式（１）に示した予測関数の係数αは、次の式（２）に従って算出される。また、係数βは、次の式（３）に従って算出される。
【００５０】
【数２】
【００５１】
式（２）及び式（３）において、Ｉは参照画素数を表す。例えば、色差成分のブロックサイズが８×８画素であって、左の８つの参照画素及び上の８つの参照画素が共に利用可能であれば、Ｉ＝８＋８＝１６である。
【００５２】
輝度成分メモリ４３には、予測誤差データを用いて再構築される輝度成分の値を含む復号画像データが、ライン単位で加算部２３から入力される。ここでのラインは、逆直交変換部２２において水平方向及び垂直方向のＩＤＣＴのうち後に実行される方向に沿ったラインであり、本実施形態ではブロックの列に相当する。輝度成分メモリ４３は、かかるライン単位の輝度成分の復号画像データを一時的に記憶する。
【００５３】
フィルタ４４は、予測制御部４１による制御の下、輝度成分メモリ４３から図８Ａ又は図８Ｂに例示したようなフィルタタップを抽出する。そして、フィルタ４４は、抽出したフィルタタップの値をフィルタリングすることにより、色差成分の値を予測するための予測関数への入力値（例えば、図８Ａ及び図８Ｂに例示した入力値ＩＬ１，１）を生成する。フィルタ４４は、このように各画素位置（ｘ，ｙ）の入力値を順次生成し、生成した入力値を予測部４５へ出力する。
【００５４】
予測制御部４１は、各色差成分と共通する画素位置の輝度成分について最適な予測モードとして選択されたイントラ予測の予測方向に応じて、フィルタ４４のフィルタタップ数を切り替えてもよい。より具体的には、第１の例において、予測制御部４１は、上記予測方向とフィルタタップに沿った方向（以下、タップ方向という）との間の角度がより小さい場合に、フィルタタップ数をより大きい数に設定し得る。また、第２の例において、予測制御部４１は、上記予測方向がタップ方向に重なる場合にはフィルタタップ数を第１の数に設定し、上記予測方向がタップ方向に重ならない場合にはフィルタタップ数を第１の数よりも小さい第２の数に設定し得る。
【００５５】
図９Ａは、輝度成分の予測方向の角度に応じたフィルタタップ数の切り替えの第１の例について説明するための説明図である。ここでは、フィルタタップ数を切り替えるための角度閾値として、閾値Ｔｈ１＝４５［度］が定義されているものとする。図９Ａを参照すると、画素Ｐ１についての７種類の予測方向Ｄ１〜Ｄ７が例示されている。予測方向Ｄ２、Ｄ５及びＤ６の水平方向に対してなす角度は、４５度であり、閾値Ｔｈ１に等しい。予測方向Ｄ１及びＤ７の水平方向に対してなす角度は、閾値Ｔｈ１を上回る。予測方向Ｄ３及びＤ４の水平方向に対してなす角度は、閾値Ｔｈ１を下回る。この場合、例えば、予測制御部４１は、予測方向Ｄ１、Ｄ２、Ｄ５、Ｄ６及びＤ７についてはフィルタタップ数を６個（又は４個）、予測方向Ｄ３及びＤ４についてはフィルタタップ数を４個（又は２個）に設定し得る。なお、ここでは、２種類のフィルタタップ数の候補の間でフィルタタップ数が切り替えられる例を説明した。しかしながら、かかる例に限定されず、２つ以上の角度閾値を用いて３種類以上のフィルタップ数の候補の間でフィルタタップ数が切り替えられてもよい。例えば、２つの角度閾値Ｔｈ１＝４５［度］、Ｔｈ２＝６７．５［度］を用いて、２個、４個及び６個の間でフィルタタップ数が切り替えられてもよい。
【００５６】
図９Ｂは、輝度成分の予測方向の角度に応じたフィルタタップ数の切り替えの第２の例について説明するための説明図である。ここでは、予測方向の水平方向に対してなす角度が９０［度］であるか否かに応じて、フィルタタップ数が切り替えられるものとする。図９Ｂを参照すると、画素Ｐ１についての３種類の予測方向Ｄ０〜Ｄ２が例示されている。予測方向Ｄ０の水平方向に対してなす角度は９０度である。この場合、予測制御部４１は、画素Ｐ１のためのフィルタ４４のフィルタタップ数を６個（又は４個）に設定し得る。一方、予測方向Ｄ１及びＤ２のように、上記角度が９０度でない場合には、予測制御部４１は、画素Ｐ１のためのフィルタ４４のフィルタタップ数を４個（又は２個）に設定し得る。
【００５７】
このような適応的なフィルタタップ数の切り替えによって、タップ方向に沿った画像の相関が強い場合にはタップ長を長くし、タップ方向に沿った画像の相関が弱い場合にはタップ長を短くすることができる。それにより、ＬＭモードの予測関数への入力値を画像の相関に応じて変化させてノイズに対するロバスト性を高めることで、予測の精度を高めることができる。
【００５８】
なお、フィルタ４４のフィルタ係数は、動き探索部３０における動き補償において使用される補間フィルタと同じフィルタ係数であってもよい。そのようにフィルタ係数を共通化させることで、フィルタ係数を記憶するために要するメモリリソースの量を削減することができる。
【００５９】
予測部４５は、予測制御部４１による制御の下、予測対象の画素の輝度成分の画素値及び色差成分の画素値を、様々な予測モードの候補に従って予測する。輝度成分の予測モードの候補は、上述した角度イントラ予測法における様々な予測方向に関連付けられる予測モードを含み得る。色差成分の予測モードの候補は、上述したＬＭモードを含む。ＬＭモードにおいて、予測部４５は、フィルタ４４により生成される輝度成分の入力値を、係数算出部４２により算出される係数を有する予測関数に代入することにより、各色差成分の値を予測する。他の予測モードにおける予測部４５によるイントラ予測は、既存の手法と同様に行われてよい。予測部４５は、予測モードごとに、予測の結果として生成される予測画像データをモード判定部４６へ出力する。
【００６０】
モード判定部４６は、並び替えバッファ１２から入力される原画像データと予測部４５から入力される予測画像データとに基づいて、各予測モードのコスト関数値を算出する。そして、モード判定部４６は、算出したコスト関数値に基づき、各色成分についての最適な予測モードを決定する。そして、モード判定部４６は、決定した最適な予測モードを表す予測モード情報を含むイントラ予測に関する情報、コスト関数値、並びに各色成分の予測画素値を含む予測画像データを、セレクタ２７へ出力する。
【００６１】
＜２．一実施形態に係る符号化時の処理の流れ＞
次に、図１０〜図１２を用いて、符号化時の処理の流れを説明する。
【００６２】
［２−１．イントラ予測処理］
図１０は、図２に例示した構成を有するイントラ予測部４０による符号化時のイントラ予測処理の流れの一例を示すフローチャートである。図１０に示したイントラ予測処理は、画像内の各ブロックを処理対象として実行される。
【００６３】
まず、予測制御部４１は、処理対象の色成分が輝度成分であるか否かを判定する（ステップＳ１１０）。ここで、処理対象の色成分が輝度成分である場合には、処理はステップＳ１２０へ進む。一方、処理対象の色成分が色差成分である場合には、処理はステップＳ１５０へ進む。
【００６４】
ステップＳ１２０において、予測制御部４１は、複数の予測モードの候補に従って予測部４５に輝度成分の予測画素値を生成させ、モード判定部４６に輝度成分の最適な予測モードを判定させる（ステップＳ１２０）。その結果、各ＰＵについての輝度成分の最適な予測モードが決定され、予測画像データが生成される。次に、予測制御部４１は、輝度成分の予測画像データと逆直交変換部２２から出力される予測誤差データとの和である復号画像データを、ライン単位で輝度成分メモリ４３に記憶させる（ステップＳ１３０）。
【００６５】
このように輝度成分についてのイントラ予測が終了した後、同じブロックの色差成分についてのイントラ予測が行われる。
【００６６】
ステップＳ１５０において、予測制御部４１は、予測モードの候補の１つであるＬＭモードでの予測処理を予測部４５に実行させる（ステップＳ１５０）。ここでの予測部４５によるＬＭモード予測処理について、後にさらに説明する。次に、予測制御部４１は、ＬＭモード以外の複数の予測モードの候補に従って予測部４５に色差成分の予測画素値を生成させる（ステップＳ１７０）。そして、予測制御部４１は、モード判定部４６に色差成分の最適な予測モードを判定させる（ステップＳ１８０）。その結果、各ＰＵについての色差成分の最適な予測モードが決定される。
【００６７】
そして、処理対象ブロックの全ての色成分についてイントラ予測が行われると、図１０に示したイントラ予測処理は終了する（ステップＳ１９０）。
【００６８】
［２−２．ＬＭモード予測処理］
図１１は、図１０に示したＬＭモード予測処理の詳細な流れの一例を示すフローチャートである。図１１に示したＬＭモード予測処理は、各ブロック内のラインごとに実行される。
【００６９】
図１１を参照すると、まず、係数算出部４２は、ＬＭモードにおいて予測部４５により使用される予測関数の係数α、βを、フレームメモリ２５から入力される参照画像データに含まれる参照画素の値に基づいて算出する（ステップＳ１５１）。
【００７０】
また、フィルタ４４は、輝度成分メモリ４３により記憶されている複数の輝度成分の値を用いてダウンサンプリング処理を実行し、予測関数への入力値を生成する（ステップＳ１５２）。ここでのフィルタ４４によるダウンサンプリング処理について、後にさらに説明する。
【００７１】
次に、予測部４５は、ダウンサンプリング処理の結果として生成された輝度成分の入力値を、係数算出部４２により算出された係数を有する予測関数に代入することにより、各色差成分の予測値を生成する（ステップＳ１５３）。
【００７２】
これらステップＳ１５１〜Ｓ１５３の処理は、処理対象のライン内の全ての画素について予測が終了するまで繰り返され得る（ステップＳ１５４）。
【００７３】
［２−３．ダウンサンプリング処理］
図１２Ａは、図１１に示したダウンサンプリング処理の詳細な流れの第１の例を示すフローチャートである。第１の例では、フィルタタップ数は固定的に設定される。
【００７４】
図１２Ａを参照すると、まず、フィルタ４４は、輝度成分メモリ４３から、図８Ａ又は図８Ｂに例示したような１次元フィルタのフィルタタップを抽出する（ステップＳ１６１）。次に、フィルタ４４は、抽出したフィルタタップを所定のフィルタ係数でフィルタリングして、予測関数への輝度成分の入力値を生成する（ステップＳ１６２）。
【００７５】
図１２Ｂは、図１１に示したダウンサンプリング処理の詳細な流れの第２の例を示すフローチャートである。第２の例では、フィルタタップ数は、２つの値の間で適応的に切り替えられる。
【００７６】
図１２Ｂを参照すると、まず、予測制御部４１は、処理対象の色差成分と共通する画素位置の輝度成分について選択されたイントラ予測の予測方向の水平方向に対してなす角度を、所定の閾値と比較する（ステップＳ１６０）。ここで、例えば、上記角度が閾値以上である場合には、処理はステップＳ１６１へ進む。一方、上記角度が閾値を下回る場合には、処理はステップＳ１６４へ進む。
【００７７】
ステップＳ１６１において、フィルタ４４は、輝度成分メモリ４３から、タップ数Ｎ１の１次元フィルタのフィルタタップを抽出する（ステップＳ１６１）。次に、フィルタ４４は、抽出したフィルタタップを所定のフィルタ係数でフィルタリングして、予測関数への輝度成分の入力値を生成する（ステップＳ１６２）。
【００７８】
ステップＳ１６４において、フィルタ４４は、輝度成分メモリ４３から、タップ数Ｎ２（Ｎ２＜Ｎ１）の１次元フィルタのフィルタタップを抽出する（ステップＳ１６４）。次に、フィルタ４４は、抽出したフィルタタップを所定のフィルタ係数でフィルタリングして、予測関数への輝度成分の入力値を生成する（ステップＳ１６５）。
【００７９】
図１２Ｃは、図１１に示したダウンサンプリング処理の詳細な流れの第３の例を示すフローチャートである。第３の例では、フィルタタップ数は、３つの値の間で適応的に切り替えられる。
【００８０】
図１２Ｃを参照すると、まず、予測制御部４１は、処理対象の色差成分と共通する画素位置の輝度成分について選択されたイントラ予測の予測方向の水平方向に対してなす角度を、第１の閾値Ｔｈ１と比較する（ステップＳ１６０）。ここで、例えば、上記角度が第１の閾値Ｔｈ１以上である場合には、処理はステップＳ１６１へ進む。一方、上記角度が第１の閾値Ｔｈ１を下回る場合には、処理はステップＳ１６３へ進む。
【００８１】
ステップＳ１６１において、フィルタ４４は、輝度成分メモリ４３から、タップ数Ｎ１の１次元フィルタのフィルタタップを抽出する（ステップＳ１６１）。次に、フィルタ４４は、抽出したフィルタタップを所定のフィルタ係数でフィルタリングして、予測関数への輝度成分の入力値を生成する（ステップＳ１６２）。
【００８２】
ステップＳ１６３において、予測制御部４１は、上記角度を、第２の閾値Ｔｈ２（Ｔｈ２＜Ｔｈ１）とさらに比較する（ステップＳ１６３）。ここで、例えば、上記角度が第２の閾値Ｔｈ２以上である場合には、処理はステップＳ１６４へ進む。一方、上記角度が第２の閾値Ｔｈ２を下回る場合には、処理はステップＳ１６６へ進む。
【００８３】
ステップＳ１６４において、フィルタ４４は、輝度成分メモリ４３から、タップ数Ｎ２（Ｎ２＜Ｎ１）の１次元フィルタのフィルタタップを抽出する（ステップＳ１６４）。次に、フィルタ４４は、抽出したフィルタタップを所定のフィルタ係数でフィルタリングして、予測関数への輝度成分の入力値を生成する（ステップＳ１６５）。
【００８４】
ステップＳ１６６において、フィルタ４４は、輝度成分メモリ４３から、タップ数Ｎ３（Ｎ３＜Ｎ２）の１次元フィルタのフィルタタップを抽出する（ステップＳ１６６）。次に、フィルタ４４は、抽出したフィルタタップを所定のフィルタ係数でフィルタリングして、予測関数への輝度成分の入力値を生成する（ステップＳ１６７）。
【００８５】
本節で説明したような符号化時の処理によって、ＬＭモードの導入のために設けられる輝度成分メモリ４３のメモリサイズを減少させ、画像符号化装置１０のメモリリソースを効率的に利用することが可能となる。このようなメモリリソースの節約は、次節以降で説明する画像復号装置６０においても達成される。
【００８６】
＜３．一実施形態に係る画像復号装置の構成例＞
図１３は、一実施形態に係る画像復号装置６０の構成の一例を示すブロック図である。図１３を参照すると、画像復号装置６０は、蓄積バッファ６１、可逆復号部６２、逆量子化部６３、逆直交変換部６４、加算部６５、デブロックフィルタ６６、並び替えバッファ６７、Ｄ／Ａ（Digital to Analogue）変換部６８、フレームメモリ６９、セレクタ７０及び７１、動き補償部８０、並びにイントラ予測部９０を備える。
【００８７】
蓄積バッファ６１は、伝送路を介して入力される符号化ストリームを記憶媒体を用いて一時的に蓄積する。
【００８８】
可逆復号部６２は、蓄積バッファ６１から入力される符号化ストリームを、符号化の際に使用された符号化方式に従って復号する。また、可逆復号部６２は、符号化ストリームのヘッダ領域に多重化されている情報を復号する。符号化ストリームのヘッダ領域に多重化されている情報とは、上述したインター予測に関する情報及びイントラ予測に関する情報を含み得る。可逆復号部６２は、インター予測に関する情報を動き補償部８０へ出力する。また、可逆復号部６２は、イントラ予測に関する情報をイントラ予測部９０へ出力する。
【００８９】
逆量子化部６３は、可逆復号部６２による復号後の量子化データを逆量子化する。逆直交変換部６４は、符号化の際に使用された直交変換方式に従い、逆量子化部６３から入力される変換係数データについて逆直交変換を行うことにより、予測誤差データを復元する。逆直交変換部６４による逆直交変換は、ＴＵごとの２次元のＩＤＣＴである。２次元のＩＤＣＴは、実質的には、垂直方向の１次元のＩＤＣＴ及び水平方向の１次元のＩＤＣＴを、直交変換とは逆の順序で逐次的に実行する手法で、ラインごとに行われ得る。本実施形態では、水平方向の１次元のＩＤＣＴが先に行われるものとする。そして、逆直交変換部６４は、生成した予測誤差データを加算部６５へ出力する。
【００９０】
加算部６５は、逆直交変換部６４から入力される予測誤差データと、セレクタ７１から入力される予測画像データとを加算することにより、復号画像データを再構築する。そして、加算部６５は、再構築した復号画像データをデブロックフィルタ６６及びフレームメモリ６９へ出力する。また、加算部６５は、ＬＭモードでの色差成分の予測の際に用いられる輝度成分の復号画像データをイントラ予測部９０へ出力する。
【００９１】
デブロックフィルタ６６は、加算部６５から入力される復号画像データをフィルタリングすることによりブロック歪みを除去し、フィルタリング後の復号画像データを並び替えバッファ６７及びフレームメモリ６９へ出力する。
【００９２】
並び替えバッファ６７は、デブロックフィルタ６６から入力される画像を並び替えることにより、時系列の一連の画像データを生成する。そして、並び替えバッファ６７は、生成した画像データをＤ／Ａ変換部６８へ出力する。
【００９３】
Ｄ／Ａ変換部６８は、並び替えバッファ６７から入力されるデジタル形式の画像データをアナログ形式の画像信号に変換する。そして、Ｄ／Ａ変換部６８は、例えば、画像復号装置６０と接続されるディスプレイ（図示せず）にアナログ画像信号を出力することにより、画像を表示させる。
【００９４】
フレームメモリ６９は、加算部６５から入力されるフィルタリング前の復号画像データ、及びデブロックフィルタ６６から入力されるフィルタリング後の復号画像データを記憶媒体を用いて記憶する。
【００９５】
セレクタ７０は、可逆復号部６２により取得されるモード情報に応じて、画像内のブロックごとに、フレームメモリ６９からの画像データの出力先を動き補償部８０とイントラ予測部９０との間で切り替える。例えば、セレクタ７０は、インター予測モードが指定された場合には、フレームメモリ６９から供給されるフィルタリング後の復号画像データを参照画像データとして動き補償部８０へ出力する。また、セレクタ７０は、イントラ予測モードが指定された場合には、フレームメモリ６９から供給されるフィルタリング前の復号画像データを参照画像データとしてイントラ予測部９０へ出力する。
【００９６】
セレクタ７１は、可逆復号部６２により取得されるモード情報に応じて、加算部６５へ供給すべき予測画像データの出力元を動き補償部８０とイントラ予測部９０との間で切り替える。例えば、セレクタ７１は、インター予測モードが指定された場合には、動き補償部８０から出力される予測画像データを加算部６５へ供給する。また、セレクタ７１は、イントラ予測モードが指定された場合には、イントラ予測部９０から出力される予測画像データを加算部６５へ供給する。
【００９７】
動き補償部８０は、可逆復号部６２から入力されるインター予測に関する情報とフレームメモリ６９からの参照画像データとに基づいて動き補償処理を行い、予測画像データを生成する。そして、動き補償部８０は、生成した予測画像データをセレクタ７１へ出力する。
【００９８】
イントラ予測部９０は、可逆復号部６２から入力されるイントラ予測に関する情報とフレームメモリ６９からの参照画像データとに基づいてイントラ予測処理を行い、予測画像データを生成する。そして、イントラ予測部９０は、生成した予測画像データをセレクタ７１へ出力する。このようなイントラ予測部９０によるイントラ予測処理について、後により詳細に説明する。
【００９９】
［３−２．イントラ予測部の構成例］
図１４は、図１３に示した画像復号装置６０のイントラ予測部９０の詳細な構成の一例を示すブロック図である。図１４を参照すると、イントラ予測部９０は、予測制御部９１、係数算出部９２、輝度成分メモリ９３、フィルタ９４及び予測部９５を有する。
【０１００】
予測制御部９１は、可逆復号部６２から入力されるイントラ予測に関する情報に従って、イントラ予測部９０におけるイントラ予測処理を制御する。例えば、予測制御部９１は、ＣＵごとに、輝度成分（Ｙ）についてのイントラ予測処理及び色差成分（Ｃｂ、Ｃｒ）についてのイントラ予測処理を実行する。輝度成分についてのイントラ予測処理において、予測制御部９１は、指定される輝度成分の予測モードに従って、予測部９５に各輝度成分の予測画素値を生成させる。輝度成分についての予測モードは、図３を用いて説明した角度イントラ予測法における様々な予測方向に関連付けられる予測モードのいずれかであってよい。また、予測制御部９１は、指定される色差成分の予測モードに従って、予測部９５に各色差成分の予測画素値を生成させる。色差成分についての予測モードの候補は、上述したＬＭモードを含む。
【０１０１】
係数算出部９２、輝度成分メモリ９３及びフィルタ９４は、上述したような１次元フィルタを用いたＬＭモードの実現のために設けられる。
【０１０２】
係数算出部９２は、予測対象の画素が属するＰＵの周辺の参照画素を参照して、ＬＭモードにおいて予測部９５により使用される予測関数の係数α、βを、上述した式（２）及び式（３）に従って算出する。
【０１０３】
輝度成分メモリ９３には、予測誤差データを用いて再構築される輝度成分の値を含む復号画像データが、ライン単位で加算部６５から入力される。ここでのラインは、逆直交変換部２２において水平方向及び垂直方向のＩＤＣＴのうち後に実行される方向に沿ったラインであり、本実施形態ではブロックの列に相当する。輝度成分メモリ９３は、かかるライン単位の輝度成分の復号画像データを一時的に記憶する。
【０１０４】
フィルタ９４は、予測制御部９１による制御の下、輝度成分メモリ９３から図８Ａ又は図８Ｂに例示したようなフィルタタップを抽出する。そして、フィルタ９４は、抽出したフィルタタップの値をフィルタリングすることにより、色差成分の値を予測するための予測関数への入力値を生成し、生成した入力値を予測部９５へ出力する。
【０１０５】
予測制御部９１は、各色差成分と共通する画素位置の輝度成分について指定された予測モードにより示される予測方向に応じて、フィルタ９４のフィルタタップ数を切り替えてもよい。より具体的には、第１の例において、予測制御部９１は、上記予測方向とタップ方向との間の角度がより小さい場合に、フィルタタップ数をより大きい数に設定し得る。また、第２の例において、予測制御部９１は、上記予測方向がタップ方向に重なる場合にはフィルタタップ数を第１の数に設定し、上記予測方向がタップ方向に重ならない場合にはフィルタタップ数を第１の数よりも小さい第２の数に設定し得る。それにより、タップ方向に沿った画像の相関が強い場合にはタップ長を長くし、タップ方向に沿った画像の相関が弱い場合にはタップ長を短くすることができる。なお、フィルタ９４のフィルタ係数は、動き補償部８０における動き補償において使用される補間フィルタと同じフィルタ係数であってもよい。
【０１０６】
予測部９５は、予測制御部９１による制御の下、予測対象の画素の輝度成分の画素値及び色差成分の画素値を、指定された予測モードに従って予測する。色差成分の予測モードの候補は、上述したＬＭモードを含む。ＬＭモードにおいて、予測部９５は、フィルタ９４により生成される輝度成分の入力値を、係数算出部９２により算出される係数を有する予測関数に代入することにより、各色差成分の値を予測する。他の予測モードにおける予測部９５によるイントラ予測は、既存の手法と同様に行われてよい。予測部９５は、予測の結果として生成される予測画像データを加算部６５へ出力する。
【０１０７】
＜４．一実施形態に係る復号時の処理の流れ＞
次に、図１５を用いて、復号時の処理の流れを説明する。
【０１０８】
図１５は、図１４に例示した構成を有するイントラ予測部９０による復号時のイントラ予測処理の流れの一例を示すフローチャートである。図１５に示したイントラ予測処理は、画像内の各ブロックを処理対象として実行される。
【０１０９】
まず、予測制御部９１は、処理対象の色成分が輝度成分であるか否かを判定する（ステップＳ２１０）。ここで、処理対象の色成分が輝度成分である場合には、処理はステップＳ２２０へ進む。一方、処理対象の色成分が色差成分である場合には、処理はステップＳ２５０へ進む。
【０１１０】
ステップＳ２２０において、予測制御部９１は、指定された予測モードに従って予測部９５に輝度成分のイントラ予測を実行させ、予測画像データを生成させる（ステップＳ２２０）。次に、予測制御部９１は、輝度成分の予測画像データと逆直交変換部６４から出力される予測誤差データとの和である復号画像データを、ライン単位で輝度成分メモリ９３に記憶させる（ステップＳ２３０）。
【０１１１】
このように輝度成分についてのイントラ予測が終了した後、同じブロックの色差成分についてのイントラ予測が行われる。
【０１１２】
ステップＳ２５０において、予測制御部９１は、色差成分についてＬＭモードが指定されているか否かを判定する（ステップＳ２５０）。ここで、ＬＭモードが指定されている場合には、予測制御部９１は、ＬＭモードに従って予測部９５に色差成分のイントラ予測を実行させる（ステップＳ２６０）。ここでの予測部９５によるＬＭモード予測処理は、図１１〜図１２Ｃを用いて説明した符号化時の処理と同様であってよい。また、ＬＭモード以外の予測モードが指定されている場合には、予測制御部９１は、指定された予測モードに従って予測部９５に色差成分のイントラ予測を実行させる（ステップＳ２７０）。その結果、色差成分の予測画像データが生成される。
【０１１３】
そして、処理対象ブロックの全ての色成分についてイントラ予測が行われると、図１５に示したイントラ予測処理は終了する（ステップＳ２８０）。
【０１１４】
＜５．変形例＞
［５−１．第１の変形例］
上述した実施形態では、輝度成分の復号画像データがライン単位で一時的にメモリに格納される。そして、ＬＭモードでのイントラ予測の際に、メモリから読み出されるフィルタタップを用いて、輝度成分のダウンサンプリングが実行される。これに対し、本項で説明する第１の変形例のように、輝度成分のダウンサンプリングをより早い段階で行い、ダウンサンプリングの結果として得られる予測関数への入力値をメモリに格納しておくことも可能である。
【０１１５】
図１６は、第１の変形例に係るイントラ予測部９０の詳細な構成の一例を示すブロック図である。図１６を参照すると、イントラ予測部９０は、予測制御部９１、係数算出部９２、予測部９５、フィルタ９６及び輝度成分メモリ９７を有する。
【０１１６】
フィルタ９６及び輝度成分メモリ９７は、１次元フィルタを用いたＬＭモードの実現のために設けられる。
【０１１７】
フィルタ９６は、予測誤差データを用いて再構築される輝度成分の値を含む復号画像データをライン単位で加算部６５から取得し、図８Ａ又は図８Ｂに例示したようなフィルタタップを形成する。そして、フィルタ９６は、形成したフィルタタップの値をフィルタリングすることにより、予測関数への輝度成分の入力値を生成する。
【０１１８】
輝度成分メモリ９７は、フィルタ９６により生成される、ダウンサンプリング後の輝度成分の入力値をライン単位で一時的に記憶する。輝度成分メモリ９７により記憶される予測関数への輝度成分の入力値は、色差成分についてＬＭモードが指定された場合に、予測部９５により読み出される。
【０１１９】
予測制御部９１は、各色差成分と共通する画素位置の輝度成分について指定された予測モードにより示される予測方向に応じて、フィルタ９６のフィルタタップ数を切り替えてもよい。
【０１２０】
［５−２．第２の変形例］
上述した実施形態では、主にクロマフォーマットが４：２：０である場合について説明した。クロマフォーマットが４：２：２である場合にも、色差成分の密度は輝度成分の密度よりも低いことから、ＬＭモードでの色差成分の予測の際に、輝度成分の値が一次元フィルタを用いてダウンサンプリングされてよい。また、クロマフォーマットが４：４：４である場合にも、ＬＭモードでの色差成分の予測の際に、輝度成分の値が一次元フィルタを用いてフィルタリングされてよい（この場合には、色差成分の密度は輝度成分の密度と等しいことから、“ダウンサンプリング”ではない）。但し、クロマフォーマットが４：２：２又は４：４：４である場合、個々の色差成分と画素位置が一致する輝度成分が存在する。従って、クロマフォーマットが４：２：２又は４：４：４である場合には、画像符号化装置１０の予測部４５及び画像復号装置６０の予測部９５は、各色差成分と一致する画素位置の輝度成分の値を予測関数に代入してもよい。この場合には、１次元フィルタは無効化され得る。
【０１２１】
例えば、図１７を参照すると、クロマフォーマットが４：２：２である場合の、１６×１６画素のサイズを有する１つのＰＵ内の輝度成分（Ｌｕｍａ）及び対応する色差成分（Ｃｈｒｏｍａ）が、丸印で概念的に示されている。輝度成分の密度は、水平方向についてのみ色差成分の密度の２倍である。図中右において斜線で網掛けされている丸印は、対応する色差成分の予測の際に予測関数へ代入される輝度成分を示す。
【０１２２】
また、図１８を参照すると、クロマフォーマットが４：４：４である場合の、１６×１６画素のサイズを有する１つのＰＵ内の輝度成分（Ｌｕｍａ）及び対応する色差成分（Ｃｈｒｏｍａ）が、丸印で概念的に示されている。輝度成分の密度は、色差成分の密度と等しい。図中右において斜線で網掛けされている丸印は、対応する色差成分の予測の際に予測関数へ代入される輝度成分を示す。
【０１２３】
このように、クロマフォーマットが４：２：０である場合にのみ輝度成分のフィルタリングを行うことで、処理の複雑さを低減し、ＬＭモードの導入に伴う実装のコストを低減することができる。
【０１２４】
＜６．応用例＞
上述した実施形態に係る画像符号化装置１０及び画像復号装置６０は、衛星放送、ケーブルＴＶなどの有線放送、インターネット上での配信、及びセルラー通信による端末への配信などにおける送信機若しくは受信機、光ディスク、磁気ディスク及びフラッシュメモリなどの媒体に画像を記録する記録装置、又は、これら記憶媒体から画像を再生する再生装置などの様々な電子機器に応用され得る。以下、４つの応用例について説明する。
【０１２５】
［６−１．第１の応用例］
図１９は、上述した実施形態を適用したテレビジョン装置の概略的な構成の一例を示している。テレビジョン装置９００は、アンテナ９０１、チューナ９０２、デマルチプレクサ９０３、デコーダ９０４、映像信号処理部９０５、表示部９０６、音声信号処理部９０７、スピーカ９０８、外部インタフェース９０９、制御部９１０、ユーザインタフェース９１１、及びバス９１２を備える。
【０１２６】
チューナ９０２は、アンテナ９０１を介して受信される放送信号から所望のチャンネルの信号を抽出し、抽出した信号を復調する。そして、チューナ９０２は、復調により得られた符号化ビットストリームをデマルチプレクサ９０３へ出力する。即ち、チューナ９０２は、画像が符号化されている符号化ストリームを受信する、テレビジョン装置９００における伝送手段としての役割を有する。
【０１２７】
デマルチプレクサ９０３は、符号化ビットストリームから視聴対象の番組の映像ストリーム及び音声ストリームを分離し、分離した各ストリームをデコーダ９０４へ出力する。また、デマルチプレクサ９０３は、符号化ビットストリームからＥＰＧ（Electronic Program Guide）などの補助的なデータを抽出し、抽出したデータを制御部９１０に供給する。なお、デマルチプレクサ９０３は、符号化ビットストリームがスクランブルされている場合には、デスクランブルを行ってもよい。
【０１２８】
デコーダ９０４は、デマルチプレクサ９０３から入力される映像ストリーム及び音声ストリームを復号する。そして、デコーダ９０４は、復号処理により生成される映像データを映像信号処理部９０５へ出力する。また、デコーダ９０４は、復号処理により生成される音声データを音声信号処理部９０７へ出力する。
【０１２９】
映像信号処理部９０５は、デコーダ９０４から入力される映像データを再生し、表示部９０６に映像を表示させる。また、映像信号処理部９０５は、ネットワークを介して供給されるアプリケーション画面を表示部９０６に表示させてもよい。また、映像信号処理部９０５は、映像データについて、設定に応じて、例えばノイズ除去などの追加的な処理を行ってもよい。さらに、映像信号処理部９０５は、例えばメニュー、ボタン又はカーソルなどのＧＵＩ（Graphical User Interface）の画像を生成し、生成した画像を出力画像に重畳してもよい。
【０１３０】
表示部９０６は、映像信号処理部９０５から供給される駆動信号により駆動され、表示デバイス（例えば、液晶ディスプレイ、プラズマディスプレイ又はＯＬＥＤなど）の映像面上に映像又は画像を表示する。
【０１３１】
音声信号処理部９０７は、デコーダ９０４から入力される音声データについてＤ／Ａ変換及び増幅などの再生処理を行い、スピーカ９０８から音声を出力させる。また、音声信号処理部９０７は、音声データについてノイズ除去などの追加的な処理を行ってもよい。
【０１３２】
外部インタフェース９０９は、テレビジョン装置９００と外部機器又はネットワークとを接続するためのインタフェースである。例えば、外部インタフェース９０９を介して受信される映像ストリーム又は音声ストリームが、デコーダ９０４により復号されてもよい。即ち、外部インタフェース９０９もまた、画像が符号化されている符号化ストリームを受信する、テレビジョン装置９００における伝送手段としての役割を有する。
【０１３３】
制御部９１０は、ＣＰＵ（Central Processing Unit）などのプロセッサ、並びにＲＡＭ（Random Access Memory）及びＲＯＭ（Read Only Memory）などのメモリを有する。メモリは、ＣＰＵにより実行されるプログラム、プログラムデータ、ＥＰＧデータ、及びネットワークを介して取得されるデータなどを記憶する。メモリにより記憶されるプログラムは、例えば、テレビジョン装置９００の起動時にＣＰＵにより読み込まれ、実行される。ＣＰＵは、プログラムを実行することにより、例えばユーザインタフェース９１１から入力される操作信号に応じて、テレビジョン装置９００の動作を制御する。
【０１３４】
ユーザインタフェース９１１は、制御部９１０と接続される。ユーザインタフェース９１１は、例えば、ユーザがテレビジョン装置９００を操作するためのボタン及びスイッチ、並びに遠隔制御信号の受信部などを有する。ユーザインタフェース９１１は、これら構成要素を介してユーザによる操作を検出して操作信号を生成し、生成した操作信号を制御部９１０へ出力する。
【０１３５】
バス９１２は、チューナ９０２、デマルチプレクサ９０３、デコーダ９０４、映像信号処理部９０５、音声信号処理部９０７、外部インタフェース９０９及び制御部９１０を相互に接続する。
【０１３６】
このように構成されたテレビジョン装置９００において、デコーダ９０４は、上述した実施形態に係る画像復号装置６０の機能を有する。それにより、テレビジョン装置９００での画像の復号に際して、メモリリソースをより効率的に使用することができる。
【０１３７】
［６−２．第２の応用例］
図２０は、上述した実施形態を適用した携帯電話機の概略的な構成の一例を示している。携帯電話機９２０は、アンテナ９２１、通信部９２２、音声コーデック９２３、スピーカ９２４、マイクロホン９２５、カメラ部９２６、画像処理部９２７、多重分離部９２８、記録再生部９２９、表示部９３０、制御部９３１、操作部９３２、及びバス９３３を備える。
【０１３８】
アンテナ９２１は、通信部９２２に接続される。スピーカ９２４及びマイクロホン９２５は、音声コーデック９２３に接続される。操作部９３２は、制御部９３１に接続される。バス９３３は、通信部９２２、音声コーデック９２３、カメラ部９２６、画像処理部９２７、多重分離部９２８、記録再生部９２９、表示部９３０、及び制御部９３１を相互に接続する。
【０１３９】
携帯電話機９２０は、音声通話モード、データ通信モード、撮影モード及びテレビ電話モードを含む様々な動作モードで、音声信号の送受信、電子メール又は画像データの送受信、画像の撮像、及びデータの記録などの動作を行う。
【０１４０】
音声通話モードにおいて、マイクロホン９２５により生成されるアナログ音声信号は、音声コーデック９２３に供給される。音声コーデック９２３は、アナログ音声信号を音声データへ変換し、変換された音声データをＡ／Ｄ変換し圧縮する。そして、音声コーデック９２３は、圧縮後の音声データを通信部９２２へ出力する。通信部９２２は、音声データを符号化及び変調し、送信信号を生成する。そして、通信部９２２は、生成した送信信号をアンテナ９２１を介して基地局（図示せず）へ送信する。また、通信部９２２は、アンテナ９２１を介して受信される無線信号を増幅し及び周波数変換し、受信信号を取得する。そして、通信部９２２は、受信信号を復調及び復号して音声データを生成し、生成した音声データを音声コーデック９２３へ出力する。音声コーデック９２３は、音声データを伸張し及びＤ／Ａ変換し、アナログ音声信号を生成する。そして、音声コーデック９２３は、生成した音声信号をスピーカ９２４に供給して音声を出力させる。
【０１４１】
また、データ通信モードにおいて、例えば、制御部９３１は、操作部９３２を介するユーザによる操作に応じて、電子メールを構成する文字データを生成する。また、制御部９３１は、文字を表示部９３０に表示させる。また、制御部９３１は、操作部９３２を介するユーザからの送信指示に応じて電子メールデータを生成し、生成した電子メールデータを通信部９２２へ出力する。通信部９２２は、電子メールデータを符号化及び変調し、送信信号を生成する。そして、通信部９２２は、生成した送信信号をアンテナ９２１を介して基地局（図示せず）へ送信する。また、通信部９２２は、アンテナ９２１を介して受信される無線信号を増幅し及び周波数変換し、受信信号を取得する。そして、通信部９２２は、受信信号を復調及び復号して電子メールデータを再構築し、再構築した電子メールデータを制御部９３１へ出力する。制御部９３１は、表示部９３０に電子メールの内容を表示させると共に、電子メールデータを記録再生部９２９の記憶媒体に記憶させる。
【０１４２】
記録再生部９２９は、読み書き可能な任意の記憶媒体を有する。例えば、記憶媒体は、ＲＡＭ又はフラッシュメモリなどの内蔵型の記憶媒体であってもよく、ハードディスク、磁気ディスク、光磁気ディスク、光ディスク、ＵＳＢメモリ、又はメモリカードなどの外部装着型の記憶媒体であってもよい。
【０１４３】
また、撮影モードにおいて、例えば、カメラ部９２６は、被写体を撮像して画像データを生成し、生成した画像データを画像処理部９２７へ出力する。画像処理部９２７は、カメラ部９２６から入力される画像データを符号化し、符号化ストリームを記録再生部９２９の記憶媒体に記憶させる。
【０１４４】
また、テレビ電話モードにおいて、例えば、多重分離部９２８は、画像処理部９２７により符号化された映像ストリームと、音声コーデック９２３から入力される音声ストリームとを多重化し、多重化したストリームを通信部９２２へ出力する。通信部９２２は、ストリームを符号化及び変調し、送信信号を生成する。そして、通信部９２２は、生成した送信信号をアンテナ９２１を介して基地局（図示せず）へ送信する。また、通信部９２２は、アンテナ９２１を介して受信される無線信号を増幅し及び周波数変換し、受信信号を取得する。これら送信信号及び受信信号には、符号化ビットストリームが含まれ得る。そして、通信部９２２は、受信信号を復調及び復号してストリームを再構築し、再構築したストリームを多重分離部９２８へ出力する。多重分離部９２８は、入力されるストリームから映像ストリーム及び音声ストリームを分離し、映像ストリームを画像処理部９２７、音声ストリームを音声コーデック９２３へ出力する。画像処理部９２７は、映像ストリームを復号し、映像データを生成する。映像データは、表示部９３０に供給され、表示部９３０により一連の画像が表示される。音声コーデック９２３は、音声ストリームを伸張し及びＤ／Ａ変換し、アナログ音声信号を生成する。そして、音声コーデック９２３は、生成した音声信号をスピーカ９２４に供給して音声を出力させる。
【０１４５】
このように構成された携帯電話機９２０において、画像処理部９２７は、上述した実施形態に係る画像符号化装置１０及び画像復号装置６０の機能を有する。それにより、携帯電話機９２０での画像の符号化及び復号に際して、メモリリソースをより効率的に使用することができる。
【０１４６】
［６−３．第３の応用例］
図２１は、上述した実施形態を適用した記録再生装置の概略的な構成の一例を示している。記録再生装置９４０は、例えば、受信した放送番組の音声データ及び映像データを符号化して記録媒体に記録する。また、記録再生装置９４０は、例えば、他の装置から取得される音声データ及び映像データを符号化して記録媒体に記録してもよい。また、記録再生装置９４０は、例えば、ユーザの指示に応じて、記録媒体に記録されているデータをモニタ及びスピーカ上で再生する。このとき、記録再生装置９４０は、音声データ及び映像データを復号する。
【０１４７】
記録再生装置９４０は、チューナ９４１、外部インタフェース９４２、エンコーダ９４３、ＨＤＤ（Hard Disk Drive）９４４、ディスクドライブ９４５、セレクタ９４６、デコーダ９４７、ＯＳＤ（On-Screen Display）９４８、制御部９４９、及びユーザインタフェース９５０を備える。
【０１４８】
チューナ９４１は、アンテナ（図示せず）を介して受信される放送信号から所望のチャンネルの信号を抽出し、抽出した信号を復調する。そして、チューナ９４１は、復調により得られた符号化ビットストリームをセレクタ９４６へ出力する。即ち、チューナ９４１は、記録再生装置９４０における伝送手段としての役割を有する。
【０１４９】
外部インタフェース９４２は、記録再生装置９４０と外部機器又はネットワークとを接続するためのインタフェースである。外部インタフェース９４２は、例えば、ＩＥＥＥ１３９４インタフェース、ネットワークインタフェース、ＵＳＢインタフェース、又はフラッシュメモリインタフェースなどであってよい。例えば、外部インタフェース９４２を介して受信される映像データ及び音声データは、エンコーダ９４３へ入力される。即ち、外部インタフェース９４２は、記録再生装置９４０における伝送手段としての役割を有する。
【０１５０】
エンコーダ９４３は、外部インタフェース９４２から入力される映像データ及び音声データが符号化されていない場合に、映像データ及び音声データを符号化する。そして、エンコーダ９４３は、符号化ビットストリームをセレクタ９４６へ出力する。
【０１５１】
ＨＤＤ９４４は、映像及び音声などのコンテンツデータが圧縮された符号化ビットストリーム、各種プログラム及びその他のデータを内部のハードディスクに記録する。また、ＨＤＤ９４４は、映像及び音声の再生時に、これらデータをハードディスクから読み出す。
【０１５２】
ディスクドライブ９４５は、装着されている記録媒体へのデータの記録及び読み出しを行う。ディスクドライブ９４５に装着される記録媒体は、例えばＤＶＤディスク（ＤＶＤ−Ｖｉｄｅｏ、ＤＶＤ−ＲＡＭ、ＤＶＤ−Ｒ、ＤＶＤ−ＲＷ、ＤＶＤ＋Ｒ、ＤＶＤ＋ＲＷ等）又はＢｌｕ−ｒａｙ（登録商標）ディスクなどであってよい。
【０１５３】
セレクタ９４６は、映像及び音声の記録時には、チューナ９４１又はエンコーダ９４３から入力される符号化ビットストリームを選択し、選択した符号化ビットストリームをＨＤＤ９４４又はディスクドライブ９４５へ出力する。また、セレクタ９４６は、映像及び音声の再生時には、ＨＤＤ９４４又はディスクドライブ９４５から入力される符号化ビットストリームをデコーダ９４７へ出力する。
【０１５４】
デコーダ９４７は、符号化ビットストリームを復号し、映像データ及び音声データを生成する。そして、デコーダ９４７は、生成した映像データをＯＳＤ９４８へ出力する。また、デコーダ９０４は、生成した音声データを外部のスピーカへ出力する。
【０１５５】
ＯＳＤ９４８は、デコーダ９４７から入力される映像データを再生し、映像を表示する。また、ＯＳＤ９４８は、表示する映像に、例えばメニュー、ボタン又はカーソルなどのＧＵＩの画像を重畳してもよい。
【０１５６】
制御部９４９は、ＣＰＵなどのプロセッサ、並びにＲＡＭ及びＲＯＭなどのメモリを有する。メモリは、ＣＰＵにより実行されるプログラム、及びプログラムデータなどを記憶する。メモリにより記憶されるプログラムは、例えば、記録再生装置９４０の起動時にＣＰＵにより読み込まれ、実行される。ＣＰＵは、プログラムを実行することにより、例えばユーザインタフェース９５０から入力される操作信号に応じて、記録再生装置９４０の動作を制御する。
【０１５７】
ユーザインタフェース９５０は、制御部９４９と接続される。ユーザインタフェース９５０は、例えば、ユーザが記録再生装置９４０を操作するためのボタン及びスイッチ、並びに遠隔制御信号の受信部などを有する。ユーザインタフェース９５０は、これら構成要素を介してユーザによる操作を検出して操作信号を生成し、生成した操作信号を制御部９４９へ出力する。
【０１５８】
このように構成された記録再生装置９４０において、エンコーダ９４３は、上述した実施形態に係る画像符号化装置１０の機能を有する。また、デコーダ９４７は、上述した実施形態に係る画像復号装置６０の機能を有する。それにより、記録再生装置９４０での画像の符号化及び復号に際して、メモリリソースをより効率的に使用することができる。
【０１５９】
［６−４．第４の応用例］
図２２は、上述した実施形態を適用した撮像装置の概略的な構成の一例を示している。撮像装置９６０は、被写体を撮像して画像を生成し、画像データを符号化して記録媒体に記録する。
【０１６０】
撮像装置９６０は、光学ブロック９６１、撮像部９６２、信号処理部９６３、画像処理部９６４、表示部９６５、外部インタフェース９６６、メモリ９６７、メディアドライブ９６８、ＯＳＤ９６９、制御部９７０、ユーザインタフェース９７１、及びバス９７２を備える。
【０１６１】
光学ブロック９６１は、撮像部９６２に接続される。撮像部９６２は、信号処理部９６３に接続される。表示部９６５は、画像処理部９６４に接続される。ユーザインタフェース９７１は、制御部９７０に接続される。バス９７２は、画像処理部９６４、外部インタフェース９６６、メモリ９６７、メディアドライブ９６８、ＯＳＤ９６９、及び制御部９７０を相互に接続する。
【０１６２】
光学ブロック９６１は、フォーカスレンズ及び絞り機構などを有する。光学ブロック９６１は、被写体の光学像を撮像部９６２の撮像面に結像させる。撮像部９６２は、ＣＣＤ又はＣＭＯＳなどのイメージセンサを有し、撮像面に結像した光学像を光電変換によって電気信号としての画像信号に変換する。そして、撮像部９６２は、画像信号を信号処理部９６３へ出力する。
【０１６３】
信号処理部９６３は、撮像部９６２から入力される画像信号に対してニー補正、ガンマ補正、色補正などの種々のカメラ信号処理を行う。信号処理部９６３は、カメラ信号処理後の画像データを画像処理部９６４へ出力する。
【０１６４】
画像処理部９６４は、信号処理部９６３から入力される画像データを符号化し、符号化データを生成する。そして、画像処理部９６４は、生成した符号化データを外部インタフェース９６６又はメディアドライブ９６８へ出力する。また、画像処理部９６４は、外部インタフェース９６６又はメディアドライブ９６８から入力される符号化データを復号し、画像データを生成する。そして、画像処理部９６４は、生成した画像データを表示部９６５へ出力する。また、画像処理部９６４は、信号処理部９６３から入力される画像データを表示部９６５へ出力して画像を表示させてもよい。また、画像処理部９６４は、ＯＳＤ９６９から取得される表示用データを、表示部９６５へ出力する画像に重畳してもよい。
【０１６５】
ＯＳＤ９６９は、例えばメニュー、ボタン又はカーソルなどのＧＵＩの画像を生成して、生成した画像を画像処理部９６４へ出力する。
【０１６６】
外部インタフェース９６６は、例えばＵＳＢ入出力端子として構成される。外部インタフェース９６６は、例えば、画像の印刷時に、撮像装置９６０とプリンタとを接続する。また、外部インタフェース９６６には、必要に応じてドライブが接続される。ドライブには、例えば、磁気ディスク又は光ディスクなどのリムーバブルメディアが装着され、リムーバブルメディアから読み出されるプログラムが、撮像装置９６０にインストールされ得る。さらに、外部インタフェース９６６は、ＬＡＮ又はインターネットなどのネットワークに接続されるネットワークインタフェースとして構成されてもよい。即ち、外部インタフェース９６６は、撮像装置９６０における伝送手段としての役割を有する。
【０１６７】
メディアドライブ９６８に装着される記録媒体は、例えば、磁気ディスク、光磁気ディスク、光ディスク、又は半導体メモリなどの、読み書き可能な任意のリムーバブルメディアであってよい。また、メディアドライブ９６８に記録媒体が固定的に装着され、例えば、内蔵型ハードディスクドライブ又はＳＳＤ（Solid State Drive）のような非可搬性の記憶部が構成されてもよい。
【０１６８】
制御部９７０は、ＣＰＵなどのプロセッサ、並びにＲＡＭ及びＲＯＭなどのメモリを有する。メモリは、ＣＰＵにより実行されるプログラム、及びプログラムデータなどを記憶する。メモリにより記憶されるプログラムは、例えば、撮像装置９６０の起動時にＣＰＵにより読み込まれ、実行される。ＣＰＵは、プログラムを実行することにより、例えばユーザインタフェース９７１から入力される操作信号に応じて、撮像装置９６０の動作を制御する。
【０１６９】
ユーザインタフェース９７１は、制御部９７０と接続される。ユーザインタフェース９７１は、例えば、ユーザが撮像装置９６０を操作するためのボタン及びスイッチなどを有する。ユーザインタフェース９７１は、これら構成要素を介してユーザによる操作を検出して操作信号を生成し、生成した操作信号を制御部９７０へ出力する。
【０１７０】
このように構成された撮像装置９６０において、画像処理部９６４は、上述した実施形態に係る画像符号化装置１０及び画像復号装置６０の機能を有する。それにより、撮像装置９６０での画像の符号化及び復号に際して、メモリリソースをより効率的に使用することができる。
【０１７１】
＜７．まとめ＞
ここまで、図１〜図２２を用いて、一実施形態に係る画像符号化装置１０及び画像復号装置６０について詳しく説明した。上述した実施形態によれば、画像の符号化及び復号における色差成分のイントラ予測にあたり、輝度成分の値の関数を用いるＬＭモードが採用される場合に、１次元フィルタを用いた輝度成分のダウンサンプリングにより予測関数への入力値が生成される。それにより、ノイズの影響を低減しながら、ライン単位での逐次処理を採用してメモリリソースをより効率的に使用することが可能となる。
【０１７２】
また、上述した実施形態によれば、１次元フィルタのフィルタタップは、復号画像を再構築する際の水平方向及び垂直方向の逆直交変換のうち後に実行される方向に沿って配置される。それにより、逆直交変換の出力とイントラ予測の入力との間に設けられる、輝度成分の復号画像を格納するためのメモリのサイズを縮小することができる。
【０１７３】
また、上述した実施形態によれば、各色差成分と共通する画素位置の輝度成分についてのイントラ予測の予測方向に応じて、１次元フィルタのフィルタタップのタップ数が適応的に制御されてもよい。それにより、フィルタタップに沿った画像の相関が強い場合にはタップ長を長くして、ノイズに対するロバスト性を高めることができる。
【０１７４】
なお、本明細書では、イントラ予測に関する情報及びインター予測に関する情報が、符号化ストリームのヘッダに多重化されて、符号化側から復号側へ伝送される例について主に説明した。しかしながら、これら情報を伝送する手法はかかる例に限定されない。例えば、これら情報は、符号化ビットストリームに多重化されることなく、符号化ビットストリームと関連付けられた別個のデータとして伝送され又は記録されてもよい。ここで、「関連付ける」という用語は、ビットストリームに含まれる画像（スライス若しくはブロックなど、画像の一部であってもよい）と当該画像に対応する情報とを復号時にリンクさせ得るようにすることを意味する。即ち、情報は、画像（又はビットストリーム）とは別の伝送路上で伝送されてもよい。また、情報は、画像（又はビットストリーム）とは別の記録媒体（又は同一の記録媒体の別の記録エリア）に記録されてもよい。さらに、情報と画像（又はビットストリーム）とは、例えば、複数フレーム、１フレーム、又はフレーム内の一部分などの任意の単位で互いに関連付けられてよい。
【０１７５】
以上、添付図面を参照しながら本開示の好適な実施形態について詳細に説明したが、本開示の技術的範囲はかかる例に限定されない。本開示の技術分野における通常の知識を有する者であれば、特許請求の範囲に記載された技術的思想の範疇内において、各種の変更例または修正例に想到し得ることは明らかであり、これらについても、当然に本開示の技術的範囲に属するものと了解される。
【０１７６】
なお、以下のような構成も本開示の技術的範囲に属する。
（１）
第１の色差成分と共通する画素位置の１つ以上の輝度成分及び前記第１の色差成分とは共通しない画素位置の１つ以上の輝度成分を含むフィルタタップの値をフィルタリングすることにより、前記第１の色差成分の値を予測するための予測関数に代入されるべき輝度成分の入力値を生成するフィルタと、
前記フィルタにより生成される輝度成分の前記入力値を前記予測関数に代入することにより、前記第１の色差成分の値を予測する予測部と、
を備え、
前記フィルタは、１次元フィルタである、
画像処理装置。
（２）
前記フィルタの前記フィルタタップは、画像を再構築する際の水平方向及び垂直方向の逆直交変換のうち後に実行される第１の方向に沿って配置される、前記（１）に記載の画像処理装置。
（３）
前記画像処理装置は、前記第１の色差成分と共通する画素位置の輝度成分について選択されたイントラ予測の予測方向に応じて、前記フィルタタップのタップ数を制御する制御部、をさらに備える、前記（２）に記載の画像処理装置。
（４）
前記制御部は、前記予測方向と前記第１の方向との間の角度がより小さい場合に、前記タップ数をより大きい数に設定する、前記（３）に記載の画像処理装置。
（５）
前記制御部は、前記予測方向が前記第１の方向に重なる場合には前記タップ数を第１の数に設定し、前記予測方向が前記第１の方向に重ならない場合には前記タップ数を前記第１の数よりも小さい第２の数に設定する、前記（３）に記載の画像処理装置。
（６）
前記予測部は、クロマフォーマットが４：２：０でない場合には、前記第１の色差成分と一致する画素位置の輝度成分の値を前記予測関数に代入する、前記（１）〜（５）のいずれか１項に記載の画像処理装置。
（７）
前記フィルタは、動き補償において使用される補間フィルタと同じフィルタ係数を有する、前記（１）〜（６）のいずれか１項に記載の画像処理装置。
（８）
第１の色差成分と共通する画素位置の１つ以上の輝度成分及び前記第１の色差成分とは共通しない画素位置の１つ以上の輝度成分を含むフィルタタップの値を１次元フィルタでフィルタリングすることにより、前記第１の色差成分の値を予測するための予測関数に代入されるべき輝度成分の入力値を生成することと、
前記１次元フィルタにより生成される輝度成分の前記入力値を前記予測関数に代入することにより、前記第１の色差成分の値を予測することと、
を含む画像処理方法。
【符号の説明】
【０１７７】
１０ 画像符号化装置（画像処理装置）
４１ 予測制御部
４２ 係数算出部
４３ 輝度成分メモリ
４４ フィルタ
４５ 予測部
６０ 画像復号装置（画像処理装置）
９１ 予測制御部
９２ 係数算出部
９３ 輝度成分メモリ
９４ フィルタ
９５ 予測部
【特許請求の範囲】
【請求項１】
第１の色差成分と共通する画素位置の１つ以上の輝度成分及び前記第１の色差成分とは共通しない画素位置の１つ以上の輝度成分を含むフィルタタップの値をフィルタリングすることにより、前記第１の色差成分の値を予測するための予測関数に代入されるべき輝度成分の入力値を生成するフィルタと、
前記フィルタにより生成される輝度成分の前記入力値を前記予測関数に代入することにより、前記第１の色差成分の値を予測する予測部と、
を備え、
前記フィルタは、１次元フィルタである、
画像処理装置。
【請求項２】
前記フィルタの前記フィルタタップは、画像を再構築する際の水平方向及び垂直方向の逆直交変換のうち後に実行される第１の方向に沿って配置される、請求項１に記載の画像処理装置。
【請求項３】
前記画像処理装置は、前記第１の色差成分と共通する画素位置の輝度成分について選択されたイントラ予測の予測方向に応じて、前記フィルタタップのタップ数を制御する制御部、をさらに備える、請求項２に記載の画像処理装置。
【請求項４】
前記制御部は、前記予測方向と前記第１の方向との間の角度がより小さい場合に、前記タップ数をより大きい数に設定する、請求項３に記載の画像処理装置。
【請求項５】
前記制御部は、前記予測方向が前記第１の方向に重なる場合には前記タップ数を第１の数に設定し、前記予測方向が前記第１の方向に重ならない場合には前記タップ数を前記第１の数よりも小さい第２の数に設定する、請求項３に記載の画像処理装置。
【請求項６】
前記予測部は、クロマフォーマットが４：２：０でない場合には、前記第１の色差成分と一致する画素位置の輝度成分の値を前記予測関数に代入する、請求項１に記載の画像処理装置。
【請求項７】
前記フィルタは、動き補償において使用される補間フィルタと同じフィルタ係数を有する、請求項１に記載の画像処理装置。
【請求項８】
第１の色差成分と共通する画素位置の１つ以上の輝度成分及び前記第１の色差成分とは共通しない画素位置の１つ以上の輝度成分を含むフィルタタップの値を１次元フィルタでフィルタリングすることにより、前記第１の色差成分の値を予測するための予測関数に代入されるべき輝度成分の入力値を生成することと、
前記１次元フィルタにより生成される輝度成分の前記入力値を前記予測関数に代入することにより、前記第１の色差成分の値を予測することと、
を含む画像処理方法。
【請求項１】
第１の色差成分と共通する画素位置の１つ以上の輝度成分及び前記第１の色差成分とは共通しない画素位置の１つ以上の輝度成分を含むフィルタタップの値をフィルタリングすることにより、前記第１の色差成分の値を予測するための予測関数に代入されるべき輝度成分の入力値を生成するフィルタと、
前記フィルタにより生成される輝度成分の前記入力値を前記予測関数に代入することにより、前記第１の色差成分の値を予測する予測部と、
を備え、
前記フィルタは、１次元フィルタである、
画像処理装置。
【請求項２】
前記フィルタの前記フィルタタップは、画像を再構築する際の水平方向及び垂直方向の逆直交変換のうち後に実行される第１の方向に沿って配置される、請求項１に記載の画像処理装置。
【請求項３】
前記画像処理装置は、前記第１の色差成分と共通する画素位置の輝度成分について選択されたイントラ予測の予測方向に応じて、前記フィルタタップのタップ数を制御する制御部、をさらに備える、請求項２に記載の画像処理装置。
【請求項４】
前記制御部は、前記予測方向と前記第１の方向との間の角度がより小さい場合に、前記タップ数をより大きい数に設定する、請求項３に記載の画像処理装置。
【請求項５】
前記制御部は、前記予測方向が前記第１の方向に重なる場合には前記タップ数を第１の数に設定し、前記予測方向が前記第１の方向に重ならない場合には前記タップ数を前記第１の数よりも小さい第２の数に設定する、請求項３に記載の画像処理装置。
【請求項６】
前記予測部は、クロマフォーマットが４：２：０でない場合には、前記第１の色差成分と一致する画素位置の輝度成分の値を前記予測関数に代入する、請求項１に記載の画像処理装置。
【請求項７】
前記フィルタは、動き補償において使用される補間フィルタと同じフィルタ係数を有する、請求項１に記載の画像処理装置。
【請求項８】
第１の色差成分と共通する画素位置の１つ以上の輝度成分及び前記第１の色差成分とは共通しない画素位置の１つ以上の輝度成分を含むフィルタタップの値を１次元フィルタでフィルタリングすることにより、前記第１の色差成分の値を予測するための予測関数に代入されるべき輝度成分の入力値を生成することと、
前記１次元フィルタにより生成される輝度成分の前記入力値を前記予測関数に代入することにより、前記第１の色差成分の値を予測することと、
を含む画像処理方法。
【図１】
【図２】
【図３】
【図４】
【図５】
【図６Ａ】
【図６Ｂ】
【図７】
【図８Ａ】
【図８Ｂ】
【図９Ａ】
【図９Ｂ】
【図１０】
【図１１】
【図１２Ａ】
【図１２Ｂ】
【図１２Ｃ】
【図１３】
【図１４】
【図１５】
【図１６】
【図１７】
【図１８】
【図１９】
【図２０】
【図２１】
【図２２】
【図２】
【図３】
【図４】
【図５】
【図６Ａ】
【図６Ｂ】
【図７】
【図８Ａ】
【図８Ｂ】
【図９Ａ】
【図９Ｂ】
【図１０】
【図１１】
【図１２Ａ】
【図１２Ｂ】
【図１２Ｃ】
【図１３】
【図１４】
【図１５】
【図１６】
【図１７】
【図１８】
【図１９】
【図２０】
【図２１】
【図２２】
【公開番号】特開２０１３−１１０５０２（Ｐ２０１３−１１０５０２Ａ）
【公開日】平成２５年６月６日（２０１３．６．６）
【国際特許分類】
【出願番号】特願２０１１−２５２５１３（Ｐ２０１１−２５２５１３）
【出願日】平成２３年１１月１８日（２０１１．１１．１８）
【出願人】（０００００２１８５）ソニー株式会社 (34,172)
【Ｆターム（参考）】
【公開日】平成２５年６月６日（２０１３．６．６）
【国際特許分類】
【出願日】平成２３年１１月１８日（２０１１．１１．１８）
【出願人】（０００００２１８５）ソニー株式会社 (34,172)
【Ｆターム（参考）】
[ Back to top ]