画像符号化装置、画像復号装置及びプログラム
【課題】送信側にて、原画像をダウンサンプリング処理し、ダウンサンプリング画像を符号化し、受信側にて、符号化されたダウンサンプリング画像を復号してアップサンプリング処理する際に、原画像に最も近い高画質な画像を復元する。
【解決手段】画像符号化装置１のオクターブ分解部１１は、原画像を、階層的にオクターブ分解によるダウンサンプリング処理してダウンサンプリング画像を生成する。オクターブ再構成部１４は、符号化部１２及び復号部１３により符号化及び復号されたダウンサンプリング復号画像を、階層的にオクターブ再構成によるアップサンプリング処理してアップサンプリング画像を生成する。フィルタ係数処理部１０は、選定した各階層のフィルタ係数を用いて生成されたアップサンプリング画像と原画像との間の画素値の差分をＲＭＳ値により算出し、ＲＭＳ値が最小のフィルタ係数を最適なフィルタ係数に決定する。
【解決手段】画像符号化装置１のオクターブ分解部１１は、原画像を、階層的にオクターブ分解によるダウンサンプリング処理してダウンサンプリング画像を生成する。オクターブ再構成部１４は、符号化部１２及び復号部１３により符号化及び復号されたダウンサンプリング復号画像を、階層的にオクターブ再構成によるアップサンプリング処理してアップサンプリング画像を生成する。フィルタ係数処理部１０は、選定した各階層のフィルタ係数を用いて生成されたアップサンプリング画像と原画像との間の画素値の差分をＲＭＳ値により算出し、ＲＭＳ値が最小のフィルタ係数を最適なフィルタ係数に決定する。
【発明の詳細な説明】
【技術分野】
【０００１】
本発明は、高精細画像の伝送を行うシステムに好適な画像符号化装置、画像復号装置及びプログラムに関する。
【背景技術】
【０００２】
近年、画像符号化の分野ではデジタル画像の高精細化が進んでいる。高精細画像は膨大な情報量を持つため、限られた帯域で伝送するためには高圧縮符号化する必要がある。しかしながら、膨大な情報量を持つ高精細画像を既存の符号化手法にて処理し伝送するには限界がある。そこで、オクターブ分解によるダウンサンプリング処理を行う手法が案出されている。
【０００３】
この手法では、送信側の画像符号化装置は、入力した原画像に対し、オクターブ分解によるダウンサンプリング処理を行い、ダウンサンプリングした画像を符号化して送信する。受信側の画像復号装置は、符号化されたダウンサンプリング画像を受信し復号した後、復号したダウンサンプリング画像に対し、オクターブ再構成によるアップサンプリング処理を行い、元の原画像を再生する。これにより、膨大な情報量を持つ高精細画像を既存の手法にて符号化して伝送することなく、元の高精細画像を再生することができ、高圧縮に符号化されたダウンサンプリング画像のビットレート不足による符号化歪みを大きく軽減することができる。オクターブ分解によるダウンサンプリング処理及びオクターブ再構成によるアップサンプリング処理に関する符号化技術としては、例えば、特許文献１，２に開示されたものが知られている。
【０００４】
このような画像標本化周波数のアップサンプリング処理及びダウンサンプリング処理は、異なる放送方式の映像をフォーマット変換する際に用いられる。例えば、アメリカ及び日本等で使用されている標準画質テレビ放送方式であるＮＴＳＣの映像から、欧州等で使用されている標準画質テレビ方式であるＰＡＬの映像へ変換する際、または、ＮＴＳＣの映像からハイビジョン放送方式の映像へ変換する際に用いられる。また、画像標本化周波数のアップサンプリング処理は、赤色レーザーＤＶＤに記録されている標準画質画像を、液晶ハイビジョンモニタに表示する際に用いられる。さらに、画像標本化周波数のアップサンプリング処理時に高周波数成分を推定し、これを画像に付加することにより高精細化を実現する技術が研究・開発されている。
【先行技術文献】
【特許文献】
【０００５】
【特許文献１】特開平６−２３７１８３号公報
【特許文献２】特表２００７−５０４５２３号公報
【発明の概要】
【発明が解決しようとする課題】
【０００６】
このような異なる放送方式のフォーマット変換等を行う画像符号化装置及び画像復号装置において、全体の符号化画質は、画像符号化装置によるダウンサンプリング処理、及び画像復号装置によるアップサンプリング処理の性能に大きく依存する。このため、ダウンサンプリング処理及びアップサンプリング処理を、可能な限り高画質に行う必要がある。しかしながら、従来の画像符号化装置及び画像復号装置では、ダウンサンプリング処理した画像をアップサンプリング処理して原画像を再生する場合、原画像と同程度の高画質な画像を再生することが困難であるという問題があった。
【０００７】
そこで、本発明はかかる問題を解決するためになされたものであり、その目的は、送信側にて、原画像をダウンサンプリング処理し、ダウンサンプリング画像を符号化し、受信側にて、符号化されたダウンサンプリング画像を復号してアップサンプリング処理する際に、原画像に最も近い高画質な画像を復元することが可能な画像符号化装置、画像復号装置及びプログラムを提供することにある。
【課題を解決するための手段】
【０００８】
上記目的を達成するために、請求項１の発明は、原画像をダウンサンプリング処理して符号化する画像符号化装置において、複数のフィルタから、ダウンサンプリング処理における各階層のフィルタ及びアップサンプリング処理における各階層のフィルタを選定し、最適なフィルタを決定するフィルタ情報処理部と、前記選定されたダウンサンプリング処理における各階層のフィルタを用いて、前記原画像に対しオクターブ分解によるダウンサンプリング処理を行い、ダウンサンプリング画像を生成するオクターブ分解部と、前記生成されたダウンサンプリング画像に対し符号化処理を行い、ダウンサンプリング符号化画像を生成する符号化部と、前記生成されたダウンサンプリング符号化画像に対し復号処理を行い、ダウンサンプリング復号画像を生成する復号部と、前記選定されたアップサンプリング処理における各階層のフィルタを用いて、前記生成されたダウンサンプリング復号画像に対しオクターブ再構成によるアップサンプリング処理を行い、アップサンプリング画像を生成するオクターブ再構成部とを備え、前記フィルタ情報処理部が、前記原画像と前記生成されたアップサンプリング画像との間の画素値の差分が最も小さくなるフィルタを、前記ダウンサンプリング処理及びアップサンプリング処理における各階層の最適なフィルタに決定し、前記符号化部が、前記最適なフィルタを用いて生成されたダウンサンプリング画像、及び前記決定された最適なフィルタに関する情報に対し符号化処理を行い、ダウンサンプリング符号化画像及びフィルタ符号化情報を生成することを特徴とする。
【０００９】
また、請求項２の発明は、請求項１に記載の画像符号化装置において、前記オクターブ分解としてウェーブレット分解を用い、前記オクターブ再構成としてウェーブレット再構成を用い、前記フィルタ情報処理部が、複数のウェーブレットフィルタの種類及び複数のフィルタ係数から、前記各階層のウェーブレットフィルタの種類及びフィルタ係数を選定し、最適なウェーブレットフィルタの種類及びフィルタ係数を決定することを特徴とする。
【００１０】
また、請求項３の発明は、請求項１に記載の画像符号化装置において、前記フィルタ情報処理部が、複数のフィルタから、ダウンサンプリング処理における各階層のフィルタ及びアップサンプリング処理における各階層のフィルタを選定する際に、各階層のフィルタのうち少なくとも１つのフィルタが、前回選定したフィルタのタップ数よりも今回選定したタップ数が大きくなるように、前記フィルタを選定し、前記原画像と前記生成されたアップサンプリング画像との間の画素値の差分が極小となるフィルタを、前記ダウンサンプリング処理及びアップサンプリング処理における各階層の最適なフィルタに決定することを特徴とする。
【００１１】
さらに、請求項４の発明は、請求項１の画像符号化装置により最適なフィルタを用いて符号化されたダウンサンプリング符号化画像及びフィルタ符号化係数を入力し、前記ダウンサンプリング符号化画像を復号してアップサンプリング処理を行う画像復号装置において、前記ダウンサンプリング符号化画像及びフィルタ符号化係数に対し復号処理を行い、ダウンサンプリング復号画像及びフィルタ係数を生成する復号部と、前記生成されたフィルタ係数のうち、アップサンプリング処理における各階層のフィルタを用いて、前記生成されたダウンサンプリング復号画像に対しオクターブ再構成によるアップサンプリング処理を行い、アップサンプリング画像を生成するオクターブ再構成部とを備えたことを特徴とする。
【００１２】
さらに、請求項５の発明は、コンピュータを、請求項１から３までのいずれか一項に記載の画像符号化装置として機能させるための画像符号化プログラムである。
【００１３】
また、請求項６の発明は、コンピュータを、請求項４に記載の画像復号装置として機能させるための画像復号プログラムである。
【発明の効果】
【００１４】
以上のように、本発明によれば、原画像を階層的にダウンサンプリング処理し、ダウンサンプリング画像を生成して符号化すると共に、生成したダウンサンプリング画像に基づいて、階層的なアップサンプリング処理により原画像に最も近い画像を再生可能とする各階層のフィルタ情報を決定するようにした。これにより、原画像に最も近い高画質な画像を復元することができる。つまり、符号化及び復号処理を高画質に行うことができる。
【図面の簡単な説明】
【００１５】
【図１】本発明の実施形態による画像符号化装置の構成を示すブロック図である。
【図２】画像符号化装置の処理を示すフロー図である。
【図３】オクターブ分解によるダウンサンプリング処理の様子を示す図である。
【図４】オクターブ分解によるダウンサンプリング処理及びフィルタ係数を示す図である。
【図５】次数ｐのDaubechiesウェーブレット係数を示す図である。
【図６】オクターブ再構成によるアップサンプリング処理の様子を示す図である。
【図７】オクターブ再構成によるアップサンプリング処理及びフィルタ係数を示す図である。
【図８】フィルタ係数処理部の構成を示すブロック図である。
【図９】記憶手段に格納されるフィルタ係数及びＲＭＳ値を示す図である。
【図１０】本発明の実施形態による画像復号装置の構成を示すブロック図である。
【図１１】画像復号装置の復号処理を示すフロー図である。
【図１２】画像復号装置のオクターブ再構成処理を示すフロー図である。
【発明を実施するための形態】
【００１６】
以下、本発明を実施するための形態について、図面を参照して説明する。本発明は、画像符号化装置が、入力した原画像に応じて、オクターブ分解処理及びオクターブ再構成処理の各階層における最適なフィルタ情報を随時選択し、画像復号装置が、この最適なフィルタ情報を用いてオクターブ再構成処理を行うことを特徴とする。本発明によれば、オクターブ分解によるダウンサンプリング処理を行って情報量を圧縮し、オクターブ再構成によるアップサンプリング処理を行って元の情報量に戻すため、高圧縮符号化時の符号化歪みを大きく軽減することができる。符号化歪みが小さい場合は、オクターブ分解処理及びオクターブ再構成処理に伴う画質劣化に依存した画像を得ることができる。そこで、本発明では、最適なフィルタ情報を用いてオクターブ分解処理及びオクターブ再構成処理を高画質に行うことにより、原画像に最も近い高画質な画像を復元する。
【００１７】
以下に説明する本発明の実施形態は、原画像を入力し、ウェーブレット分解を用いて原画像を空間周波数ダウンサンプリング（以下、”ダウンサンプリング”という。）し、これにより得られた空間周波数ダウンサンプリング画像（以下、”ダウンサンプリング画像”という。）を符号化して伝送する画像符号化装置、及び、符号化されたダウンサンプリング画像を復号し、ダウンサンプリング復号画像を空間周波数アップサンプリング（以下、”アップサンプリング”という。）し、これにより得られた空間周波数アップサンプリング画像（以下、”アップサンプリング画像”という。）を出力する画像復号装置を想定している。尚、ウェーブレット分解によるダウンサンプリング処理及びウェーブレット再構成によるアップサンプリング処理は、各階層において、Ｈａａｒ、メキシカンハット等のウェーブレットフィルタ、Daubechies（ドベシー）のように次数ｐの値を任意値とするウェーブレットフィルタ、タップ数及びその係数を任意値とする線形フィルタ、１：２画素間引フィルタ等が用いられる。すなわち、オクターブ分解によるダウンサンプリング処理及びオクターブ再構成によるアップサンプリング処理を各階層において行えるものであれば、どのようなフィルタでも使用可能である。
【００１８】
〔画像符号化装置の構成〕
まず、画像符号化装置の構成について説明する。図１は、本発明の実施形態による画像符号化装置の構成を示すブロック図である。この画像符号化装置１は、フィルタ係数処理部（フィルタ情報処理部）１０、オクターブ分解部１１、符号化部１２、復号部１３及びオクターブ再構成部１４を備えている。
【００１９】
フィルタ係数処理部１０は、予め設定されたフィルタ係数群から、オクターブ分解によるダウンサンプリング処理を行うための各階層のフィルタに用いるフィルタ係数（以下、オクターブ分解用の各階層のフィルタ係数という。）、及びオクターブ再構成によるアップサンプリング処理を行うための各階層のフィルタに用いるフィルタ係数（以下、オクターブ再構成用の各階層のフィルタ係数という。）を選定する。尚、ここではフィルタ係数を選定するようにしたが、フィルタの種類及びフィルタ係数（フィルタ情報）を選定するようにしてもよい。詳細については後述する。
【００２０】
フィルタ係数処理部１０は、選定したオクターブ分解用の各階層のフィルタ係数をオクターブ分解部１１に出力し、選定したオクターブ再構成用の各階層のフィルタ係数をオクターブ再構成部１４に出力する。また、フィルタ係数処理部１０は、原画像を入力すると共に、選定して出力したフィルタ係数にてオクターブ分解及びオクターブ再構成されたアップサンプリング画像を入力し、両画像の画素値の差分を求める。そして、フィルタ係数処理部１０は、その差分が最も小さいフィルタ係数（オクターブ分解用の各階層のフィルタ係数及びオクターブ再構成用の各階層のフィルタ係数）を最適なフィルタ係数に決定し、最適なフィルタ係数のうちのオクターブ分解用の各階層のフィルタ係数をオクターブ分解部１１に出力する。また、フィルタ係数処理部１０は、最適なフィルタ係数を決定したことを示す決定通知、及び最適なフィルタ係数（オクターブ分解用の各階層のフィルタ係数及びオクターブ再構成用の各階層のフィルタ係数）を符号化部１２に出力する。
【００２１】
オクターブ分解部１１は、原画像を入力すると共に、フィルタ係数処理部１０からオクターブ分解用の各階層のフィルタ係数を入力し、オクターブ分解によるダウンサンプリング処理を行い、ダウンサンプリング画像を生成する。そして、オクターブ分解部１１は、生成したダウンサンプリング画像を符号化部１２に出力する。
【００２２】
符号化部１２は、オクターブ分解部１１からダウンサンプリング画像を入力すると共に、フィルタ係数処理部１０から、最適なフィルタ係数が決定されたことを示す決定通知、及び最適なフィルタ係数（オクターブ分解用の各階層のフィルタ係数及びオクターブ再構成用の各階層のフィルタ係数）を入力する。符号化部１２は、決定通知を入力しない場合、入力したダウンサンプリング画像のストリームに対し符号化処理を行い、ダウンサンプリング符号化画像を生成し、復号部１３に出力する。一方、符号化部１２は、決定通知を入力した場合、入力したダウンサンプリング画像が最適なフィルタ係数により生成された画像であると判断して、ダウンサンプリング画像のストリーム及び最適なフィルタ係数に対し符号化処理を行い、ダウンサンプリング符号化画像及びフィルタ符号化係数（オクターブ分解用の各階層のフィルタ符号化係数及びオクターブ再構成用の各階層のフィルタ符号化係数）を生成し、伝送路３を介して後述する画像復号装置２へ送信する。
【００２３】
復号部１３は、符号化部１２からダウンサンプリング符号化画像を入力し、ダウンサンプリング符号化画像のストリームに対し復号処理（ローカル復号処理）を行い、ダウンサンプリング復号画像を生成し、オクターブ再構成部１４に出力する。この復号部１３による復号処理は、後述する画像復号装置２の復号部２０による復号処理と同様であるが、画像復号装置２の復号部２０に対応する処理という意味でローカル復号処理である。
【００２４】
オクターブ再構成部１４は、復号部１３からダウンサンプリング復号画像を入力すると共に、フィルタ係数処理部１０からオクターブ再構成用の各階層のフィルタ係数を入力し、オクターブ再構成によるアップサンプリング処理を行い、アップサンプリング画像を生成する。そして、オクターブ再構成部１４は、生成したアップサンプリング画像をフィルタ係数処理部１０に出力する。尚、フィルタ係数処理部１０から入力するオクターブ再構成用の各階層のフィルタ係数には、アップサンプリング処理を行うための各階層のフィルタ係数に加え、ダウンサンプリング処理を行うための１階層分のフィルタ係数も含まれる。詳細については後述する。
【００２５】
〔画像符号化装置の処理〕
次に、図１に示した画像符号化装置１の処理について説明する。図２は、画像符号化装置１の処理を示すフロー図である。まず、画像符号化装置１のオクターブ分解部１１は、フィルタ係数処理部１０により選定されたオクターブ分解用の各階層のフィルタ係数を用いて、入力した原画像の水平・垂直標本化周波数がそれぞれ１／２ｎ（ｎ＝１，２，・・・，ｍ）倍に縮小するように、オクターブ分解によるダウンサンプリング処理を繰り返し行い、ダウンサンプリング画像を生成する（ステップＳ２０１）。
【００２６】
図３は、オクターブ分解によるダウンサンプリング処理の様子を示す図である。また、図４は、オクターブ分解によるダウンサンプリング処理及びフィルタ係数を示す図である。
【００２７】
図３に示すように、１階離散ウェーブレット分解ＤＷＴ（１）により、原画像Ｆである０階層目画像から水平低周波・垂直低周波の周波数成分ＣＡ（１）、水平高周波・垂直低周波成分ＣＨ（１）、水平低周波・垂直高周波成分ＣＶ（１）、水平高周波・垂直高周波成分ＣＤ（１）の１階層目画像が得られる。そして、ＣＡ（１）から水平低周波・垂直低周波の周波数成分ＣＡ（２）、水平高周波・垂直低周波成分ＣＨ（２）、水平低周波・垂直高周波成分ＣＶ（２）、水平高周波・垂直高周波成分ＣＤ（２）の２階層目画像が得られる。最終的に求めるダウンサンプリング画像は、ｎ階層目画像のうちのｎ階離散ウェーブレット分解成分ＣＡ（ｎ）となる。
【００２８】
このような原画像の水平・垂直標本化周波数を１／２ｎ倍にするダウンサンプリング処理では、ｎ階分解時の各階層において、例えば同一種類のフィルタが用いられ、各階層における同一種類のフィルタには、同一または異なるフィルタ係数が用いられる。したがって、ｎ階分解時の各階層において、使用するフィルタ係数が異なる場合は、周波数折り返し歪み成分量も異なることになる。尚、後述するように、ｎ階分解時の各階層において、異なる種類のフィルタ及び異なるフィルタ係数を用いるようにしてもよい。
【００２９】
図４に示す例は、ｎ階分解時の各階層において、同一種類のフィルタが用いられ、１階層目画像を得るための１回目の分解時にフィルタ係数Ｆｄ−１が用いられ、２階層目画像を得るための２回目の分解時にフィルタ係数Ｆｄ−２が用いられ、同様に、ｎ階層目画像を得るためのｎ回目の分解時にフィルタ係数Ｆｄ−ｎが用いられる場合を示している。
【００３０】
尚、フィルタの種類としては、前述したとおり、例えば、Ｈａａｒ、メキシカンハット、Daubechies等のウェーブレットフィルタ、線形フィルタ、間引フィルタ等がある。
【００３１】
図５は、次数ｐのDaubechiesウェーブレット係数を示す図であり、Daubechiesのウェーブレットフィルタを用いる場合のフィルタ係数の例を示している。ｐは次数、ｋは要素番号、αｋはDaubechiesウェーブレット係数を示す。このDaubechiesのウェーブレットフィルタは、次数ｐの値を任意値としたフィルタ係数により特性が定められ、次数ｐが大きくなるとタップ数も大きくなり、急峻な特性を持つフィルタとなる。
【００３２】
図５に示すように、次数ｐ＝１のときの要素数が２であり、次数ｐ＝２のときの要素数が４であり、次数ｐ＝３のときの要素数が６であり、次数ｐ＝４のときの要素数が８である。そして、次数ｐの値を任意値とするそれぞれの要素について、Daubechiesウェーブレット係数αｋ（フィルタ係数）が定義されている。図４の例では、オクターブ分解部１１によるダウンサンプリング処理のｎ階分解時の各階層において、同一のDaubechiesのウェーブレットフィルタが用いられる場合、例えば、１階分解時のフィルタ係数Ｆｄ−１として次数ｐ＝１（ｐ１）が用いられ、２階分解時のフィルタ係数Ｆｄ−２として次数ｐ＝２（ｐ２）が用いられ、また、ｎ階分解時のフィルタ係数Ｆｄ−ｎとして次数ｐ＝１（ｐ１）が用いられる。これらのフィルタ係数は、図１に示したフィルタ係数処理部１０により選定される。
【００３３】
図２に戻って、符号化部１２は、ステップＳ２０１にて生成されたダウンサンプリング画像のストリームに対し、Ｈ．２６４｜ＭＰＥＧ−４ＡＶＣ等の符号化処理を行い、ダウンサンプリング符号化画像を生成する（ステップＳ２０２）。尚、符号化処理は、Ｈ．２６４｜ＭＰＥＧ−４ＡＶＣ以外の手法を用いてもよい。復号部１３は、ステップＳ２０２にて生成されたダウンサンプリング符号化画像のストリームに対し、ローカル復号処理を行い、ダウンサンプリング復号画像を生成する（ステップＳ２０３）。
【００３４】
オクターブ再構成部１４は、フィルタ係数処理部１０により選定されたオクターブ再構成用の各階層のフィルタ係数を用いて、ステップＳ２０３にて生成されたダウンサンプリング復号画像の水平・垂直標本化周波数がそれぞれ２ｎ（ｎ＝１，２，・・・，ｍ）倍に拡大するように、オクターブ再構成によるアップサンプリング処理を繰り返し行い、アップサンプリング画像を生成する（ステップＳ２０４）。尚、オクターブ再構成部１４は、オクターブ再構成によるアップサンプリング処理を繰り返し行うために、ダウンサンプリング復号画像と同じ階層の高周波成分領域の画像を得る必要がある。そこで、オクターブ再構成部１４は、オクターブ再構成によるアップサンプリング処理を繰り返し行う前に、オクターブ再構成用の各階層のフィルタ係数に含まれるダウンサンプリング処理を行うための１階層分のフィルタ係数（後述する図７においてフィルタ係数Ｆｄ−（ｎ＋１））を用いて、オクターブ分解によるダウンサンプリング処理を行い、さらに、オクターブ再構成用の各階層のフィルタ係数に含まれるアップサンプリング処理を行うための１階層分のフィルタ係数（後述する図７においてフィルタ係数Ｆｕ−（ｎ＋１））を用いて、オクターブ再構成によるアップサンプリング処理を行う。
【００３５】
図６は、オクターブ再構成によるアップサンプリング処理の様子を示す図である。また、図７は、オクターブ再構成によるアップサンプリング処理及びフィルタ係数を示す図である。
【００３６】
図６に示すように、１階離散ウェーブレット再構成ＩＤＷＴ（１）により、ダウンサンプリング復号画像である水平低周波・垂直低周波の周波数成分ＣＡ（ｎ）、水平高周波・垂直低周波成分ＣＨ（ｎ）、水平低周波・垂直高周波成分ＣＶ（ｎ）、水平高周波・垂直高周波成分ＣＤ（ｎ）のｎ階層目画像から、ＣＡ（ｎ−１）、ＣＨ（ｎ−１）、ＣＶ（ｎ−１）、ＣＤ（ｎ−１）のｎ−１階層目画像が得られる。具体的には、まず、１階離散ウェーブレット分解ＤＷＴ（１）により、ダウンサンプリング復号画像であるＣＡ（ｎ）からＣＡ（ｎ＋１）、ＣＨ（ｎ＋１）、ＣＶ（ｎ＋１）、ＣＤ（ｎ＋１）のｎ＋１階層目画像が得られる。そして、１階離散ウェーブレット再構成ＩＤＷＴ（１）により、ＣＨ（ｎ＋１）、ＣＶ（ｎ＋１）、ＣＤ（ｎ＋１）を空間低周波数領域成分、同じサイズのゼロ行列を空間高周波数領域成分として、ＣＨ（ｎ）、ＣＶ（ｎ）、ＣＤ（ｎ）が得られる。これは、オクターブ再構成によるアップサンプリング処理を行うため、ステップＳ２０３にて生成されたダウンサンプリング復号画像であるＣＡ（ｎ）に加え、ＣＨ（ｎ）、ＣＶ（ｎ）、ＣＤ（ｎ）を生成する必要があるからである。
【００３７】
そして、１階離散ウェーブレット再構成ＩＤＷＴ（１）により、ＣＡ（ｎ）、ＣＨ（ｎ）、ＣＶ（ｎ）、ＣＤ（ｎ）のｎ階層目画像から、ＣＡ（ｎ−１）が得られる。また、１階離散ウェーブレット再構成ＩＤＷＴ（１）により、ＣＨ（ｎ）、ＣＶ（ｎ）、ＣＤ（ｎ）を空間低周波数領域成分、同じサイズのゼロ行列を空間高周波数領域成分として、ＣＨ（ｎ−１）、ＣＶ（ｎ−１）、ＣＤ（ｎ−１）が得られる。そして、ＣＡ（２）、ＣＨ（２）、ＣＶ（２）、ＣＤ（２）の２階層目画像からＣＡ（１）、ＣＨ（１）、ＣＶ（１）、ＣＤ（１）の１階層目画像が得られる。最終的に求めるアップサンプリング画像は、０階層目画像、すなわち原画像Ｆである。
【００３８】
このようなダウンサンプリング復号画像の水平・垂直標本化周波数を２ｎ倍にするアップサンプリング処理では、ｎ階再構成時の各階層において、ダウンサンプリング処理と同様に、例えば同一種類のフィルタが用いられ、各階層における同一種類のフィルタには、同一または異なるフィルタ係数が用いられる。尚、後述するように、ｎ階再構成時の各階層において、異なる種類のフィルタ及び異なるフィルタ係数を用いるようにしてもよい。
【００３９】
図７に示す例は、ｎ階再構成時の各階層において、同じフィルタが用いられる場合を示している。ダウンサンプリング復号画像と同じ階層の高周波成分領域の画像を得るために、ｎ＋１階層目の画像を得るための分解時にはフィルタ係数Ｆｄ−（ｎ＋１）が用いられ、ｎ階層目の高周波成分領域の画像（ダウンサンプリング復号画像と同じ階層の高周波成分領域の画像）を得るための再構成時にはフィルタ係数Ｆｕ−（ｎ＋１）が用いられる。また、ｎ−１階層目画像を得るための１回目の再構成時にはフィルタ係数Ｆｕ−ｎが用いられ、同様に、１階層目画像を得るためのｎ−１回目の再構成時にはフィルタ係数Ｆｕ−２が用いられ、０階層目画像を得るためのｎ回目の再構成時にはフィルタ係数Ｆｕ−１が用いられる。
【００４０】
図２に戻って、画像符号化装置１は、ステップＳ２０１からステップＳ２０４までの処理を、フィルタ係数処理部１０により随時選定された、オクターブ分解用の各階層のフィルタ係数及びオクターブ再構成用の各階層のフィルタ係数を用いて、所定回数分繰り返して行う。
【００４１】
フィルタ係数処理部１０は、所定回数分のフィルタ係数を選定し、ステップＳ２０１からステップＳ２０４までの処理が所定回数分繰り返して行われた後、所定回数分随時選定したフィルタ係数のうち、原画像とステップＳ２０４にて生成されたアップサンプリング画像との間の画素値の差分が最も小さいフィルタ係数を最適なフィルタ係数に決定する（ステップＳ２０５）。最適なフィルタ係数を決定する処理の詳細については後述する。
【００４２】
オクターブ分解部１１は、ステップＳ２０５にて決定された、オクターブ分解用の各階層の最適なフィルタ係数を用いて、原画像の水平・垂直標本化周波数がそれぞれ１／２ｎ（ｎ＝１，２，・・・，ｍ）倍に縮小するように、オクターブ分解によるダウンサンプリング処理を繰り返し行い、ダウンサンプリング画像を生成する（ステップＳ２０６）。そして、符号化部１２は、ステップＳ２０６にて生成されたダウンサンプリング画像のストリームに対し、Ｈ．２６４｜ＭＰＥＧ−４ＡＶＣ等の符号化処理を行い、ダウンサンプリング符号化画像を生成する（ステップＳ２０７）。また、符号化部１２は、ステップＳ２０５にて決定された、最適なフィルタ係数（オクターブ分解用の各階層のフィルタ係数及びオクターブ再構成用の各階層のフィルタ係数）に対し符号化処理を行い、フィルタ符号化係数を生成する。このようにして、符号化部１２からダウンサンプリング符号化画像及びフィルタ符号化係数が出力される。
【００４３】
（フィルタ係数処理部）
次に、図１に示したフィルタ係数処理部１０について詳細に説明する。前述のとおり、フィルタ係数処理部１０は、予め設定されたフィルタ係数群から、オクターブ分解用の各階層のフィルタ係数及びオクターブ再構成用の各階層のフィルタ係数を選定し、オクターブ分解部１１に、オクターブ分解用の各階層のフィルタ係数を用いてオクターブ分解によるダウンサンプリング処理を行わせ、オクターブ再構成部１４に、オクターブ再構成用の各階層のフィルタ係数を用いてオクターブ再構成によるアップサンプリング処理を行わせる。また、フィルタ係数処理部１０は、原画像と、選定したフィルタ係数にてオクターブ分解及びオクターブ再構成されたアップサンプリング画像との間の画素値の差分を求め、その差分が最も小さいフィルタ係数を最適なフィルタ係数に決定する。
【００４４】
図８は、フィルタ係数処理部１０の構成を示すブロック図である。このフィルタ係数処理部１０は、フィルタ係数選定手段（フィルタ情報選定手段）１５、記憶手段１６及びフィルタ係数決定手段（フィルタ情報決定手段）１７を備えている。
【００４５】
フィルタ係数選定手段１５は、予め設定されたフィルタ係数群から、オクターブ分解用の各階層のフィルタ係数及びオクターブ再構成用の各階層のフィルタ係数を選定する。そして、フィルタ係数選定手段１５は、選定したオクターブ分解用の各階層のフィルタ係数をオクターブ分解部１１に出力し、選定したオクターブ再構成用の各階層のフィルタ係数をオクターブ再構成部１４に出力する。これにより、オクターブ分解部１１は、フィルタ係数選定手段１５からフィルタ係数を入力し、原画像に対し、オクターブ分解によるダウンサンプリング処理を行い、オクターブ再構成部１４は、フィルタ係数選定手段１５からフィルタ係数を入力し、オクターブ再構成によるアップサンプリング処理を行う。
【００４６】
例えば、フィルタ係数選定手段１５は、後述する図９を参照して、オクターブ分解部１１及びオクターブ再構成部１４において各階層のフィルタとして図５に示したDaubechiesのウェーブレットフィルタを使用する場合、オクターブ分解用の各階層のフィルタ係数Ｆｄ−１＝ｐ１，Ｆｄ−２＝ｐ２，・・・，Ｆｄ−ｎ＝ｐ１及びオクターブ再構成用の各階層のフィルタ係数Ｆｕ−１＝ｐ２，Ｆｕ−２＝ｐ３，・・・，Ｆｕ−（ｎ＋１）＝ｐ１を選定する。また、次の処理のときに、オクターブ分解用の各階層のフィルタ係数Ｆｄ−１＝ｐ２，Ｆｄ−２＝ｐ２，・・・，Ｆｄ−ｎ＝ｐ１及びオクターブ再構成用の各階層のフィルタ係数Ｆｕ−１＝ｐ２，Ｆｕ−２＝ｐ３，・・・，Ｆｕ−（ｎ＋１）＝ｐ１を選定する。このように、新たにフィルタ係数を選定する毎に、オクターブ分解用の各階層のフィルタ係数及びオクターブ再構成用の各階層のフィルタ係数のうちのいずれかのフィルタ係数を変更する。
【００４７】
また、フィルタ係数選定手段１５は、原画像を入力すると共に、オクターブ再構成部１４からアップサンプリング画像を入力し、原画像の各画素値からＲＭＳ（Ｒｏｏｔ Ｍｅａｎ Ｓｑｕａｒｅ：平均自乗根）値を算出し、アップサンプリング画像の各画素値からＲＭＳ値を算出し、両ＲＭＳ値の差分を算出する。フィルタ係数選定手段１５は、選定したフィルタ係数と算出したＲＭＳ値の差分とを組にして記憶手段１６に格納する。フィルタ係数の選定、オクターブ分解によるダウンサンプリング処理及びオクターブ再構成によるアップサンプリングの処理が所定回数分行われると、フィルタ係数選定手段１５は、原画像に対する所定回数分の処理が完了したことを示す完了通知をフィルタ係数決定手段１７に出力する。これにより、記憶手段１６には、所定回数分のフィルタ係数（オクターブ分解用の各階層のフィルタ係数及びオクターブ再構成用の各階層のフィルタ係数）及びＲＭＳ値（ＲＭＳ値の差分）が格納される。
【００４８】
フィルタ係数決定手段１７は、フィルタ係数選定手段１５から、完了通知を入力すると、記憶手段１６から所定回数分のフィルタ係数及びＲＭＳ値を読み出し、ＲＭＳ値が最も小さいフィルタ係数（両画像の画素値の差分が最も小さいフィルタ係数）を最適なフィルタ係数に決定する。すなわち、原画像に最も近いアップサンプリング画像が得られたときのフィルタ係数を最適なフィルタ係数に決定する。そして、フィルタ係数決定手段１７は、決定した最適なフィルタ係数のうちオクターブ分解用の各階層のフィルタ係数をオクターブ分解部１１に出力し、オクターブ分解部１１に、オクターブ分解用の各階層の最適なフィルタ係数を用いて、オクターブ分解によるダウンサンプリング処理を行わせる。また、フィルタ係数決定手段１７は、最適なフィルタ係数を決定したことを示す決定通知、及び最適なフィルタ係数（オクターブ分解用の各階層のフィルタ係数及びオクターブ再構成用の各階層のフィルタ係数）を符号化部１２に出力する。これにより、符号化部１２は、オクターブ分解部１１から入力するダウンサンプリング画像が、最適なフィルタ係数により生成された画像であると判断することができ、ダウンサンプリング画像及び最適なフィルタ係数（オクターブ分解用の各階層のフィルタ係数及びオクターブ再構成用の各階層のフィルタ係数）に対し符号化処理を行う。
【００４９】
図９は、図８に示した記憶手段１６に格納されるフィルタ係数及びＲＭＳ値を示す図である。フィルタ係数選定手段１５は、オクターブ分解用の各階層のフィルタ係数Ｆｄ−１，Ｆｄ−２，・・・，Ｆｄ−ｎ及びオクターブ再構成用の各階層のフィルタ係数Ｆｕ−１，Ｆｕ−２，・・・，Ｆｕ−（ｎ＋１）を選定し、ＲＭＳ値を算出する毎に、これらのフィルタ係数及びＲＭＳ値を記憶手段１６に格納する。図９に示すように、オクターブ分解部１１及びオクターブ再構成部１４において各階層のフィルタとして、図５に示したDaubechiesのウェーブレットフィルタを使用する場合、記憶手段１６には、最初に選定されたフィルタ係数Ｆｄ−１＝ｐ１，Ｆｄ−２＝ｐ２，・・・，Ｆｄ−ｎ＝ｐ１，Ｆｕ−１＝ｐ２，Ｆｕ−２＝ｐ３，・・・，Ｆｕ−（ｎ＋１）＝ｐ１、及び最初に算出されたＲＭＳ値が格納され、次に選定されたフィルタ係数Ｆｄ−１＝ｐ２，Ｆｄ−２＝ｐ２，・・・，Ｆｄ−ｎ＝ｐ１，Ｆｕ−１＝ｐ２，Ｆｕ−２＝ｐ３，・・・，Ｆｕ−（ｎ＋１）＝ｐ１及び、次に算出されたＲＭＳ値が格納され、結果として、所定回数分のフィルタ係数及びＲＭＳ値が格納される。
【００５０】
以上のように、本発明の実施形態による画像符号化装置１によれば、オクターブ分解部１１が、原画像を、階層的にオクターブ分解によるダウンサンプリング処理してダウンサンプリング画像を生成し、オクターブ再構成部１４が、符号化部１２及び復号部１３によりダウンサンプリング画像が符号化及び復号されて生成されたダウンサンプリング復号画像を、階層的にオクターブ再構成によるアップサンプリング処理してアップサンプリング画像を生成するようにした。そして、フィルタ係数処理部１０が、選定した各階層のフィルタ係数を用いて生成されたアップサンプリング画像と原画像との間の画素値の差分をＲＭＳ値により算出し、アップサンプリング画像が原画像に最も近い、各階層の最適なフィルタ係数を決定するようにした。
【００５１】
これにより、最適なフィルタ係数を用いてダウンサンプリング処理を行い符号化することにより生成されたダウンサンプリング符号化画像、及び最適なフィルタ係数を符号化することにより生成されたフィルタ符号化係数が、画像符号化装置１から伝送路３を介して画像復号装置２へ送信される。画像復号装置２は、画像符号化装置１により決定された最適なフィルタ係数を用いて、オクターブ再構成によるアップサンプリング処理を行うことができる。したがって、原画像に最も近い高画質な画像を復元することができる。つまり、符号化及び復号処理を高画質に行うことができる。
【００５２】
〔画像復号装置の構成〕
次に、画像復号装置の構成について説明する。図１０は、本発明の実施形態による画像復号装置の構成を示すブロック図である。この画像復号装置２は、復号部２０及びオクターブ再構成部２１を備えている。
【００５３】
画像復号装置２が画像符号化装置１から伝送路３を介してダウンサンプリング符号化画像及びフィルタ符号化係数（オクターブ分解用の各階層の最適なフィルタ符号化係数及びオクターブ再構成用の各階層の最適なフィルタ符号化係数）を受信すると、復号部２０は、ダウンサンプリング符号化画像のストリーム及びフィルタ符号化係数に対し復号処理を行い、ダウンサンプリング復号画像及びフィルタ係数（オクターブ分解用の各階層の最適なフィルタ係数及びオクターブ再構成用の各階層の最適なフィルタ係数）を生成し、オクターブ再構成部２１に出力する。この復号部２０による復号処理は、前述した画像符号化装置１の復号部１３による復号処理と同じである。
【００５４】
オクターブ再構成部２１は、復号部２０からダウンサンプリング復号画像及びフィルタ係数（オクターブ分解用の各階層の最適なフィルタ係数及びオクターブ再構成用の各階層の最適なフィルタ係数）を入力し、オクターブ再構成における各階層の最適なフィルタ係数を用いて、オクターブ再構成によるアップサンプリング処理を行い、アップサンプリング画像を生成する。そして、オクターブ再構成部２１は、生成したアップサンプリング画像を原画像として出力する。このオクターブ再構成部２１の処理は、画像符号化装置１のオクターブ再構成部１４の処理と同様である。
【００５５】
〔画像復号装置の処理〕
次に、図１０に示した画像復号装置２の処理について説明する。図１１は、画像復号装置２による復号処理を示すフロー図である。また、図１２は、画像復号装置２によるオクターブ再構成処理を示すフロー図である。図１１を参照して、画像復号装置２の復号部２０は、画像符号化装置１から送信されたダウンサンプリング符号化画像及びフィルタ符号化係数を、伝送路３を介して入力し、復号処理を行う（ステップＳ１１０１）。この復号処理により、ダウンサンプリング復号画像及び最適なフィルタ係数が生成される。そして、図１２を参照して、オクターブ再構成部２１は、オクターブ再構成用の各階層の最適なフィルタ係数を用いて、ステップＳ１１０１にて生成されたダウンサンプリング復号画像の水平・垂直標本化周波数がそれぞれ２ｎ（ｎ＝１，２，・・・，ｍ）倍に拡大するように、オクターブ再構成によるアップサンプリング処理を繰り返し行い、アップサンプリング画像（原画像）を生成する（ステップＳ１２０１）。
【００５６】
具体的には、オクターブ再構成部２１は、復号部２０から、ダウンサンプリング復号画像であるＣＡ（ｎ）と、オクターブ再構成用の各階層のフィルタ係数Ｆｕ−１〜Ｆｕ−ｎ，Ｆｄ−（ｎ＋１），Ｆｕ−（ｎ＋１）とを入力する。そして、オクターブ再構成部２１は、フィルタ係数Ｆｄ−（ｎ＋１）を用いて、ＣＡ（ｎ）に対し１階のオクターブ分解によるダウンサンプリング処理を行い、ＣＡ（ｎ＋１）、ＣＨ（ｎ＋１）、ＣＶ（ｎ＋１）、ＣＤ（ｎ＋１）を生成し、生成したＣＨ（ｎ＋１）、ＣＶ（ｎ＋１）、ＣＤ（ｎ＋１）を空間低周波数領域成分、同じサイズのゼロ行列を空間高周波数領域成分として、フィルタ係数Ｆｕ−（ｎ＋１）を用いて、１階のオクターブ再構成によるアップサンプリング処理を行い、ＣＨ（ｎ）、ＣＶ（ｎ）、ＣＤ（ｎ）を生成する。そして、オクターブ再構成部２１は、フィルタ係数Ｆｕ−ｎを用いて、ＣＡ（ｎ）、ＣＨ（ｎ）、ＣＶ（ｎ）、ＣＤ（ｎ）に対し１階のオクターブ再構成によるアップサンプリング処理を行い、ＣＡ（ｎ−１）、を生成する。また、オクターブ再構成部２１は、ＣＨ（ｎ）、ＣＶ（ｎ）、ＣＤ（ｎ）を空間低周波数領域成分、同じサイズのゼロ行列を空間高周波数領域成分として、フィルタ係数Ｆｕ−ｎを用いて、１階のオクターブ再構成によるアップサンプリング処理を行い、ＣＨ（ｎ−１）、ＣＶ（ｎ−１）、ＣＤ（ｎ−１）を生成する。このような処理を繰り返すことにより、アップサンプリング画像（原画像）を生成する。
【００５７】
以上のように、本発明の実施形態による画像復号装置２によれば、画像符号化装置１から伝送路３を介して、ダウンサンプリング符号化画像及びフィルタ符号化係数を受信し、オクターブ再構成部２１が、復号部２０によりフィルタ符号化係数が復号されて生成されたフィルタ係数を用いて、復号部２０によりダウンサンプリング符号化画像が復号されて生成されたダウンサンプリング復号画像を、階層的にオクターブ再構成によるアップサンプリング処理してアップサンプリング画像を生成するようにした。ここで、オクターブ再構成部２１にて用いるフィルタ係数は、画像符号化装置１において、画像復号装置２のオクターブ再構成部２１と同じオクターブ再構成によるアップサンプリング処理にて生成されたアップサンプリング画像が原画像に最も近い最適なフィルタ係数である。
【００５８】
これにより、信号復元装置２において、原画像に最も近い高画質な画像を復元することができる。つまり、符号化及び復号処理を高画質に行うことができる。
【００５９】
〔変形例〕
次に、前述した実施形態の変形例について説明する。この変形例は、タップ数の小さいフィルタ係数すなわち周波数折り返し成分量の多いフィルタ係数から、タップ数の大きいフィルタ係数すなわち折り返し量の少ないフィルタ係数へ徐々に変わるように、フィルタ係数を選定し、選定したフィルタ係数における原画像とアップサンプリング画像との間の画素値の差分を示すＲＭＳ値が減少特性から増加特性に変化したときのフィルタ係数を最適なフィルタ係数に決定するものである。これにより、予め設定された全てのフィルタ係数群について、ダウンサンプリング処理及びアップサンプリング処理を行ってＲＭＳ値を算出する必要がないから、処理負荷を低減し、処理時間を短縮することができる。
【００６０】
この変形例による画像符号化装置１の構成は、図１に示したものと同様であるが、フィルタ係数処理部１０の処理が異なる。フィルタ係数処理部１０以外の構成部については前述したので、その説明は省略する。
【００６１】
フィルタ係数処理部１０は、前述の実施形態と同様に、予め設定されたフィルタ係数群から、オクターブ分解用の各階層のフィルタ係数及びオクターブ再構成用の各階層のフィルタ係数を選定し、オクターブ分解用の各階層のフィルタ係数をオクターブ分解部１１に出力し、オクターブ再構成用の各階層のフィルタ係数をオクターブ再構成部１４に出力する。また、フィルタ係数処理部１０は、原画像を入力すると共に、選定したフィルタ係数にてオクターブ分解及びオクターブ再構成されたアップサンプリング画像を入力し、両画像間の画素値の差分を示すＲＭＳ値を算出する。
【００６２】
ここで、予め設定されたフィルタ係数群は、タップ数の小さいフィルタ係数群から、タップ数の大きいフィルタ係数群まで、徐々にタップ数が大きくなるように分けられたフィルタ係数群とする。例えば、フィルタ係数処理部１０は、最初に、全体的にタップ数の最も小さいフィルタ係数Ｆｄ−１＝ｐ１，Ｆｄ−２＝ｐ１，・・・，Ｆｄ−ｎ＝ｐ１，Ｆｕ−１＝ｐ１，Ｆｕ−２＝ｐ１，・・・，Ｆｕ−（ｎ＋１）＝ｐ１（全てのフィルタ係数ｐ１）を選定し、ＲＭＳ値を算出する。次に、フィルタ係数処理部１０は、全体的にタップ数が２番目に小さいフィルタ係数Ｆｄ−１＝ｐ２，Ｆｄ−２＝ｐ１，・・・，Ｆｄ−ｎ＝ｐ１，Ｆｕ−１＝ｐ１，Ｆｕ−２＝ｐ１，・・・，Ｆｕ−（ｎ＋１）＝ｐ１（１つのフィルタ係数ｐ２、他のフィルタ係数ｐ１）を選定し、ＲＭＳ値を算出する。
【００６３】
そして、フィルタ係数処理部１０は、最初に算出したＲＭＳ値と次に算出したＲＭＳ値とを比較する。このように、フィルタ係数処理部１０は、フィルタ係数を選定する毎に、タップ数が徐々に大きくなるように選定し、その都度ＲＭＳ値を算出し、前回算出したＲＭＳ値と今回算出したＲＭＳ値とを比較する。このような処理を繰り返す。
【００６４】
一般に、小さいタップ数のフィルタ係数を用いてダウンサンプリング処理を行った場合、周波数通過帯域に含まれる周波数折り返し成分は多くなる。また、大きなタップ数のフィルタ係数を用いてダウンサンプリング処理を行った場合、周波数通過帯域に含まれる周波数折り返し成分は小さくなる。一般に、画像に含まれる空間周波数スペクトルは低域に集中しており、その分布は画像毎に異なる。そして、周波数折り返し成分量は、多過ぎても少な過ぎてもアップサンプリング画質に悪影響を及ぼす。したがって、タップ数の小さいフィルタ係数から徐々にタップ数の大きいフィルタ係数を選定することにより、そのフィルタ係数におけるＲＭＳ値は、タップ数が大きくなるに従って徐々に小さくなり、極小値となり、そして徐々に大きくなる。
【００６５】
そこで、フィルタ係数処理部１０は、ＲＭＳ値が極小値であるか否かを、前回算出したＲＭＳ値と今回算出したＲＭＳ値とを比較することにより判定する。そして、フィルタ係数処理部１０は、ＲＭＳ値の極小値を判定した場合、前回算出したＲＭＳ値におけるフィルタ係数を最適なフィルタ係数に決定する。
【００６６】
図８を参照して、変形例によるフィルタ係数処理部１０のフィルタ係数選定手段１５は、予め設定されたフィルタ係数群から、選定を繰り返す毎に、全体的にタップ数が大きくなるようにフィルタ係数を選定し、オクターブ分解部１１及びオクターブ再構成部１４に出力する。
【００６７】
また、フィルタ係数選定手段１５は、原画像を入力すると共に、オクターブ再構成部１４からアップサンプリング画像を入力し、両画像の画素値の差分をＲＭＳ値により算出する。フィルタ係数選定手段１５は、選定したフィルタ係数と算出したＲＭＳ値とを組にして記憶手段１６に格納する。そして、フィルタ係数選定手段１５は、ＲＭＳ値の算出及び格納を完了したことを示す算出完了通知をフィルタ係数決定手段１７に出力する。また、フィルタ係数選定手段１５は、フィルタ係数決定手段１７から後述する選定通知を入力する毎に、このような処理を繰り返し行い、フィルタ係数決定手段１７から後述する決定完了通知を入力した場合、原画像に対する処理を終了する。
【００６８】
フィルタ係数決定手段１７は、フィルタ係数選定手段１５から、ＲＭＳ値の算出及び格納を完了したことを示す算出完了通知を入力すると、記憶手段１６から前回格納された（前回の処理にて選定され格納された）フィルタ係数及びＲＭＳ値を読み出すと共に、今回格納された（今回の処理にて選定され格納された）フィルタ係数及びＲＭＳ値を読み出す。そして、フィルタ係数決定手段１７は、前回のＲＭＳ値と今回のＲＭＳ値とを比較し、前回のＲＭＳ値よりも今回のＲＭＳ値の方が大きいと判定した場合（前回のＲＭＳ値が極小値であると判定した場合）、前回のフィルタ係数を最適なフィルタ係数であると判定する。そして、フィルタ係数決定手段１７は、決定完了通知をフィルタ係数選定手段１５に出力すると共に、決定通知を符号化部１２に出力する。これにより、フィルタ係数選定手段１５は、原画像に対するフィルタ係数を選定する処理を終了する。また、フィルタ係数決定手段１７は、最適なフィルタ係数のうちオクターブ分解用の各階層のフィルタ係数をオクターブ分解部１１に出力する。一方、フィルタ係数決定手段１７は、前回のＲＭＳ値よりも今回のＲＭＳ値の方が大きくないと判定した場合（前回のＲＭＳ値は極小値でないと判定した場合）、次のフィルタ係数を選定させるための選定通知をフィルタ係数選定手段１５に出力する。
【００６９】
以上のように、本発明の実施形態による画像符号化装置１によれば、フィルタ係数処理部１０が、フィルタ係数を選定する毎に、タップ数の小さいフィルタ係数からタップ数の大きいフィルタ係数へ徐々に変わるように選定し、選定したフィルタ係数における原画像とアップサンプリング画像との間の画素値の差分を示すＲＭＳ値が極小値をとる点を判定し、その点のフィルタ係数を最適なフィルタ係数に決定するようにした。
【００７０】
これにより、オクターブ分解部１１及びオクターブ再構成部１４は、予め設定された全てのフィルタ係数について、ダウンサンプリング処理及びアップサンプリング処理を行う必要がなく、フィルタ係数処理部１０も、予め設定された全てのフィルタ係数について、ＲＭＳ値を算出する必要もない。つまり、画像符号化装置１における処理負荷を低減し、処理時間を短縮することができる。したがって、原画像に最も近い高画質な画像を効率的に復元することができ、符号化及び復号処理を高画質に、かつ効率的に行うことができる。
【００７１】
以上、実施形態を挙げて本発明を説明したが、本発明は前記実施形態に限定されるものではなく、その技術思想を逸脱しない範囲で種々変形可能である。例えば、前記実施形態では、フィルタ係数処理部１０が、予め設定されたフィルタ係数群からフィルタ係数を選定し、最適なフィルタ係数を決定するようにしたが、予め設定されたフィルタの種類群及びフィルタ係数群からフィルタの種類及びフィルタ係数（フィルタ情報）を選定し、最適なフィルタの種類及びフィルタ係数を決定するようにしてもよい。また、前記実施形態では、フィルタ係数処理部１０が、原画像とアップサンプリング画像との間の画素値の差分を示すＲＭＳ値を算出するようにしたが、原画像及びアップサンプリング画像のエッジ成分をそれぞれ抽出し、エッジ成分の差分を示すＲＭＳ値を算出するようにしてもよい。この場合、フィルタ係数処理部１０は、エッジ成分のＲＭＳ値が最小となるフィルタ係数を最適なフィルタ係数に決定する。
【００７２】
また、前記実施形態では、画像符号化装置１が、原画像に対し、所定のフィルタ係数を用いてオクターブ分解によるダウンサンプリング処理を行い、最適なフィルタ係数を決定し、ダウンサンプリング画像及びフィルタ係数を送信し、画像復号装置２が、ダウンサンプリング画像に対し、最適なフィルタ係数を用いてオクターブ再構成によるアップサンプリング処理を行い、原画像を復元するようにしたが、本発明は、空間周波数ダウンサンプリングとアップサンプリングを行う処理全般に適用がある。例えば、ストレージメディアへ圧縮記録する等の処理に適用がある。
【００７３】
また、本発明は、ＪＰＥＧ２０００を用いてフレーム単位で圧縮符号化を行うデジタルシネマ圧縮符号化処理の前段または後段に用いることができる。また、Ｈ．２６４｜ＭＰＥＧ−４ＡＶＣで圧縮符号化が検討されているスーパーハイビジョン圧縮符号化処理の前段または後段に用いることができる。また、将来の新しい圧縮符号化方式と組み合わせて用いることも可能である。
【００７４】
尚、画像符号化装置１及び画像復号装置２のハード構成としては、通常のコンピュータを使用することができる。すなわち、ＣＰＵ、ＲＡＭ等の揮発性の記憶媒体、ＲＯＭ等の不揮発性の記憶媒体、及びインターフェース等を備えたコンピュータによって構成できる。画像符号化装置１を構成するフィルタ係数処理部１０、オクターブ分解部１１、符号化部１２、復号部１３及びオクターブ再構成部１４の各機能は、これらの機能を記述したプログラムをＣＰＵに実行させることによりそれぞれ実現できる。また、画像復号装置２を構成する復号部２０及びオクターブ再構成部２１の各機能も、これらの機能を記述したプログラムをＣＰＵに実行させることによりそれぞれ実現できる。これらのプログラムは、磁気ディスク（フロッピー（登録商標）ディスク、ハードディスク等）、光ディスク（ＣＤ−ＲＯＭ、ＤＶＤ等）、半導体メモリ等の記憶媒体に格納して頒布することもできる。
【符号の説明】
【００７５】
１ 画像符号化装置
２ 画像復号装置
３ 伝送路
１０ フィルタ係数処理部
１１ オクターブ分解部
１２ 符号化部
１３，２０ 復号部
１４，２１ オクターブ再構成部
１５ フィルタ係数選定手段
１６ 記憶手段
１７ フィルタ係数決定手段
【技術分野】
【０００１】
本発明は、高精細画像の伝送を行うシステムに好適な画像符号化装置、画像復号装置及びプログラムに関する。
【背景技術】
【０００２】
近年、画像符号化の分野ではデジタル画像の高精細化が進んでいる。高精細画像は膨大な情報量を持つため、限られた帯域で伝送するためには高圧縮符号化する必要がある。しかしながら、膨大な情報量を持つ高精細画像を既存の符号化手法にて処理し伝送するには限界がある。そこで、オクターブ分解によるダウンサンプリング処理を行う手法が案出されている。
【０００３】
この手法では、送信側の画像符号化装置は、入力した原画像に対し、オクターブ分解によるダウンサンプリング処理を行い、ダウンサンプリングした画像を符号化して送信する。受信側の画像復号装置は、符号化されたダウンサンプリング画像を受信し復号した後、復号したダウンサンプリング画像に対し、オクターブ再構成によるアップサンプリング処理を行い、元の原画像を再生する。これにより、膨大な情報量を持つ高精細画像を既存の手法にて符号化して伝送することなく、元の高精細画像を再生することができ、高圧縮に符号化されたダウンサンプリング画像のビットレート不足による符号化歪みを大きく軽減することができる。オクターブ分解によるダウンサンプリング処理及びオクターブ再構成によるアップサンプリング処理に関する符号化技術としては、例えば、特許文献１，２に開示されたものが知られている。
【０００４】
このような画像標本化周波数のアップサンプリング処理及びダウンサンプリング処理は、異なる放送方式の映像をフォーマット変換する際に用いられる。例えば、アメリカ及び日本等で使用されている標準画質テレビ放送方式であるＮＴＳＣの映像から、欧州等で使用されている標準画質テレビ方式であるＰＡＬの映像へ変換する際、または、ＮＴＳＣの映像からハイビジョン放送方式の映像へ変換する際に用いられる。また、画像標本化周波数のアップサンプリング処理は、赤色レーザーＤＶＤに記録されている標準画質画像を、液晶ハイビジョンモニタに表示する際に用いられる。さらに、画像標本化周波数のアップサンプリング処理時に高周波数成分を推定し、これを画像に付加することにより高精細化を実現する技術が研究・開発されている。
【先行技術文献】
【特許文献】
【０００５】
【特許文献１】特開平６−２３７１８３号公報
【特許文献２】特表２００７−５０４５２３号公報
【発明の概要】
【発明が解決しようとする課題】
【０００６】
このような異なる放送方式のフォーマット変換等を行う画像符号化装置及び画像復号装置において、全体の符号化画質は、画像符号化装置によるダウンサンプリング処理、及び画像復号装置によるアップサンプリング処理の性能に大きく依存する。このため、ダウンサンプリング処理及びアップサンプリング処理を、可能な限り高画質に行う必要がある。しかしながら、従来の画像符号化装置及び画像復号装置では、ダウンサンプリング処理した画像をアップサンプリング処理して原画像を再生する場合、原画像と同程度の高画質な画像を再生することが困難であるという問題があった。
【０００７】
そこで、本発明はかかる問題を解決するためになされたものであり、その目的は、送信側にて、原画像をダウンサンプリング処理し、ダウンサンプリング画像を符号化し、受信側にて、符号化されたダウンサンプリング画像を復号してアップサンプリング処理する際に、原画像に最も近い高画質な画像を復元することが可能な画像符号化装置、画像復号装置及びプログラムを提供することにある。
【課題を解決するための手段】
【０００８】
上記目的を達成するために、請求項１の発明は、原画像をダウンサンプリング処理して符号化する画像符号化装置において、複数のフィルタから、ダウンサンプリング処理における各階層のフィルタ及びアップサンプリング処理における各階層のフィルタを選定し、最適なフィルタを決定するフィルタ情報処理部と、前記選定されたダウンサンプリング処理における各階層のフィルタを用いて、前記原画像に対しオクターブ分解によるダウンサンプリング処理を行い、ダウンサンプリング画像を生成するオクターブ分解部と、前記生成されたダウンサンプリング画像に対し符号化処理を行い、ダウンサンプリング符号化画像を生成する符号化部と、前記生成されたダウンサンプリング符号化画像に対し復号処理を行い、ダウンサンプリング復号画像を生成する復号部と、前記選定されたアップサンプリング処理における各階層のフィルタを用いて、前記生成されたダウンサンプリング復号画像に対しオクターブ再構成によるアップサンプリング処理を行い、アップサンプリング画像を生成するオクターブ再構成部とを備え、前記フィルタ情報処理部が、前記原画像と前記生成されたアップサンプリング画像との間の画素値の差分が最も小さくなるフィルタを、前記ダウンサンプリング処理及びアップサンプリング処理における各階層の最適なフィルタに決定し、前記符号化部が、前記最適なフィルタを用いて生成されたダウンサンプリング画像、及び前記決定された最適なフィルタに関する情報に対し符号化処理を行い、ダウンサンプリング符号化画像及びフィルタ符号化情報を生成することを特徴とする。
【０００９】
また、請求項２の発明は、請求項１に記載の画像符号化装置において、前記オクターブ分解としてウェーブレット分解を用い、前記オクターブ再構成としてウェーブレット再構成を用い、前記フィルタ情報処理部が、複数のウェーブレットフィルタの種類及び複数のフィルタ係数から、前記各階層のウェーブレットフィルタの種類及びフィルタ係数を選定し、最適なウェーブレットフィルタの種類及びフィルタ係数を決定することを特徴とする。
【００１０】
また、請求項３の発明は、請求項１に記載の画像符号化装置において、前記フィルタ情報処理部が、複数のフィルタから、ダウンサンプリング処理における各階層のフィルタ及びアップサンプリング処理における各階層のフィルタを選定する際に、各階層のフィルタのうち少なくとも１つのフィルタが、前回選定したフィルタのタップ数よりも今回選定したタップ数が大きくなるように、前記フィルタを選定し、前記原画像と前記生成されたアップサンプリング画像との間の画素値の差分が極小となるフィルタを、前記ダウンサンプリング処理及びアップサンプリング処理における各階層の最適なフィルタに決定することを特徴とする。
【００１１】
さらに、請求項４の発明は、請求項１の画像符号化装置により最適なフィルタを用いて符号化されたダウンサンプリング符号化画像及びフィルタ符号化係数を入力し、前記ダウンサンプリング符号化画像を復号してアップサンプリング処理を行う画像復号装置において、前記ダウンサンプリング符号化画像及びフィルタ符号化係数に対し復号処理を行い、ダウンサンプリング復号画像及びフィルタ係数を生成する復号部と、前記生成されたフィルタ係数のうち、アップサンプリング処理における各階層のフィルタを用いて、前記生成されたダウンサンプリング復号画像に対しオクターブ再構成によるアップサンプリング処理を行い、アップサンプリング画像を生成するオクターブ再構成部とを備えたことを特徴とする。
【００１２】
さらに、請求項５の発明は、コンピュータを、請求項１から３までのいずれか一項に記載の画像符号化装置として機能させるための画像符号化プログラムである。
【００１３】
また、請求項６の発明は、コンピュータを、請求項４に記載の画像復号装置として機能させるための画像復号プログラムである。
【発明の効果】
【００１４】
以上のように、本発明によれば、原画像を階層的にダウンサンプリング処理し、ダウンサンプリング画像を生成して符号化すると共に、生成したダウンサンプリング画像に基づいて、階層的なアップサンプリング処理により原画像に最も近い画像を再生可能とする各階層のフィルタ情報を決定するようにした。これにより、原画像に最も近い高画質な画像を復元することができる。つまり、符号化及び復号処理を高画質に行うことができる。
【図面の簡単な説明】
【００１５】
【図１】本発明の実施形態による画像符号化装置の構成を示すブロック図である。
【図２】画像符号化装置の処理を示すフロー図である。
【図３】オクターブ分解によるダウンサンプリング処理の様子を示す図である。
【図４】オクターブ分解によるダウンサンプリング処理及びフィルタ係数を示す図である。
【図５】次数ｐのDaubechiesウェーブレット係数を示す図である。
【図６】オクターブ再構成によるアップサンプリング処理の様子を示す図である。
【図７】オクターブ再構成によるアップサンプリング処理及びフィルタ係数を示す図である。
【図８】フィルタ係数処理部の構成を示すブロック図である。
【図９】記憶手段に格納されるフィルタ係数及びＲＭＳ値を示す図である。
【図１０】本発明の実施形態による画像復号装置の構成を示すブロック図である。
【図１１】画像復号装置の復号処理を示すフロー図である。
【図１２】画像復号装置のオクターブ再構成処理を示すフロー図である。
【発明を実施するための形態】
【００１６】
以下、本発明を実施するための形態について、図面を参照して説明する。本発明は、画像符号化装置が、入力した原画像に応じて、オクターブ分解処理及びオクターブ再構成処理の各階層における最適なフィルタ情報を随時選択し、画像復号装置が、この最適なフィルタ情報を用いてオクターブ再構成処理を行うことを特徴とする。本発明によれば、オクターブ分解によるダウンサンプリング処理を行って情報量を圧縮し、オクターブ再構成によるアップサンプリング処理を行って元の情報量に戻すため、高圧縮符号化時の符号化歪みを大きく軽減することができる。符号化歪みが小さい場合は、オクターブ分解処理及びオクターブ再構成処理に伴う画質劣化に依存した画像を得ることができる。そこで、本発明では、最適なフィルタ情報を用いてオクターブ分解処理及びオクターブ再構成処理を高画質に行うことにより、原画像に最も近い高画質な画像を復元する。
【００１７】
以下に説明する本発明の実施形態は、原画像を入力し、ウェーブレット分解を用いて原画像を空間周波数ダウンサンプリング（以下、”ダウンサンプリング”という。）し、これにより得られた空間周波数ダウンサンプリング画像（以下、”ダウンサンプリング画像”という。）を符号化して伝送する画像符号化装置、及び、符号化されたダウンサンプリング画像を復号し、ダウンサンプリング復号画像を空間周波数アップサンプリング（以下、”アップサンプリング”という。）し、これにより得られた空間周波数アップサンプリング画像（以下、”アップサンプリング画像”という。）を出力する画像復号装置を想定している。尚、ウェーブレット分解によるダウンサンプリング処理及びウェーブレット再構成によるアップサンプリング処理は、各階層において、Ｈａａｒ、メキシカンハット等のウェーブレットフィルタ、Daubechies（ドベシー）のように次数ｐの値を任意値とするウェーブレットフィルタ、タップ数及びその係数を任意値とする線形フィルタ、１：２画素間引フィルタ等が用いられる。すなわち、オクターブ分解によるダウンサンプリング処理及びオクターブ再構成によるアップサンプリング処理を各階層において行えるものであれば、どのようなフィルタでも使用可能である。
【００１８】
〔画像符号化装置の構成〕
まず、画像符号化装置の構成について説明する。図１は、本発明の実施形態による画像符号化装置の構成を示すブロック図である。この画像符号化装置１は、フィルタ係数処理部（フィルタ情報処理部）１０、オクターブ分解部１１、符号化部１２、復号部１３及びオクターブ再構成部１４を備えている。
【００１９】
フィルタ係数処理部１０は、予め設定されたフィルタ係数群から、オクターブ分解によるダウンサンプリング処理を行うための各階層のフィルタに用いるフィルタ係数（以下、オクターブ分解用の各階層のフィルタ係数という。）、及びオクターブ再構成によるアップサンプリング処理を行うための各階層のフィルタに用いるフィルタ係数（以下、オクターブ再構成用の各階層のフィルタ係数という。）を選定する。尚、ここではフィルタ係数を選定するようにしたが、フィルタの種類及びフィルタ係数（フィルタ情報）を選定するようにしてもよい。詳細については後述する。
【００２０】
フィルタ係数処理部１０は、選定したオクターブ分解用の各階層のフィルタ係数をオクターブ分解部１１に出力し、選定したオクターブ再構成用の各階層のフィルタ係数をオクターブ再構成部１４に出力する。また、フィルタ係数処理部１０は、原画像を入力すると共に、選定して出力したフィルタ係数にてオクターブ分解及びオクターブ再構成されたアップサンプリング画像を入力し、両画像の画素値の差分を求める。そして、フィルタ係数処理部１０は、その差分が最も小さいフィルタ係数（オクターブ分解用の各階層のフィルタ係数及びオクターブ再構成用の各階層のフィルタ係数）を最適なフィルタ係数に決定し、最適なフィルタ係数のうちのオクターブ分解用の各階層のフィルタ係数をオクターブ分解部１１に出力する。また、フィルタ係数処理部１０は、最適なフィルタ係数を決定したことを示す決定通知、及び最適なフィルタ係数（オクターブ分解用の各階層のフィルタ係数及びオクターブ再構成用の各階層のフィルタ係数）を符号化部１２に出力する。
【００２１】
オクターブ分解部１１は、原画像を入力すると共に、フィルタ係数処理部１０からオクターブ分解用の各階層のフィルタ係数を入力し、オクターブ分解によるダウンサンプリング処理を行い、ダウンサンプリング画像を生成する。そして、オクターブ分解部１１は、生成したダウンサンプリング画像を符号化部１２に出力する。
【００２２】
符号化部１２は、オクターブ分解部１１からダウンサンプリング画像を入力すると共に、フィルタ係数処理部１０から、最適なフィルタ係数が決定されたことを示す決定通知、及び最適なフィルタ係数（オクターブ分解用の各階層のフィルタ係数及びオクターブ再構成用の各階層のフィルタ係数）を入力する。符号化部１２は、決定通知を入力しない場合、入力したダウンサンプリング画像のストリームに対し符号化処理を行い、ダウンサンプリング符号化画像を生成し、復号部１３に出力する。一方、符号化部１２は、決定通知を入力した場合、入力したダウンサンプリング画像が最適なフィルタ係数により生成された画像であると判断して、ダウンサンプリング画像のストリーム及び最適なフィルタ係数に対し符号化処理を行い、ダウンサンプリング符号化画像及びフィルタ符号化係数（オクターブ分解用の各階層のフィルタ符号化係数及びオクターブ再構成用の各階層のフィルタ符号化係数）を生成し、伝送路３を介して後述する画像復号装置２へ送信する。
【００２３】
復号部１３は、符号化部１２からダウンサンプリング符号化画像を入力し、ダウンサンプリング符号化画像のストリームに対し復号処理（ローカル復号処理）を行い、ダウンサンプリング復号画像を生成し、オクターブ再構成部１４に出力する。この復号部１３による復号処理は、後述する画像復号装置２の復号部２０による復号処理と同様であるが、画像復号装置２の復号部２０に対応する処理という意味でローカル復号処理である。
【００２４】
オクターブ再構成部１４は、復号部１３からダウンサンプリング復号画像を入力すると共に、フィルタ係数処理部１０からオクターブ再構成用の各階層のフィルタ係数を入力し、オクターブ再構成によるアップサンプリング処理を行い、アップサンプリング画像を生成する。そして、オクターブ再構成部１４は、生成したアップサンプリング画像をフィルタ係数処理部１０に出力する。尚、フィルタ係数処理部１０から入力するオクターブ再構成用の各階層のフィルタ係数には、アップサンプリング処理を行うための各階層のフィルタ係数に加え、ダウンサンプリング処理を行うための１階層分のフィルタ係数も含まれる。詳細については後述する。
【００２５】
〔画像符号化装置の処理〕
次に、図１に示した画像符号化装置１の処理について説明する。図２は、画像符号化装置１の処理を示すフロー図である。まず、画像符号化装置１のオクターブ分解部１１は、フィルタ係数処理部１０により選定されたオクターブ分解用の各階層のフィルタ係数を用いて、入力した原画像の水平・垂直標本化周波数がそれぞれ１／２ｎ（ｎ＝１，２，・・・，ｍ）倍に縮小するように、オクターブ分解によるダウンサンプリング処理を繰り返し行い、ダウンサンプリング画像を生成する（ステップＳ２０１）。
【００２６】
図３は、オクターブ分解によるダウンサンプリング処理の様子を示す図である。また、図４は、オクターブ分解によるダウンサンプリング処理及びフィルタ係数を示す図である。
【００２７】
図３に示すように、１階離散ウェーブレット分解ＤＷＴ（１）により、原画像Ｆである０階層目画像から水平低周波・垂直低周波の周波数成分ＣＡ（１）、水平高周波・垂直低周波成分ＣＨ（１）、水平低周波・垂直高周波成分ＣＶ（１）、水平高周波・垂直高周波成分ＣＤ（１）の１階層目画像が得られる。そして、ＣＡ（１）から水平低周波・垂直低周波の周波数成分ＣＡ（２）、水平高周波・垂直低周波成分ＣＨ（２）、水平低周波・垂直高周波成分ＣＶ（２）、水平高周波・垂直高周波成分ＣＤ（２）の２階層目画像が得られる。最終的に求めるダウンサンプリング画像は、ｎ階層目画像のうちのｎ階離散ウェーブレット分解成分ＣＡ（ｎ）となる。
【００２８】
このような原画像の水平・垂直標本化周波数を１／２ｎ倍にするダウンサンプリング処理では、ｎ階分解時の各階層において、例えば同一種類のフィルタが用いられ、各階層における同一種類のフィルタには、同一または異なるフィルタ係数が用いられる。したがって、ｎ階分解時の各階層において、使用するフィルタ係数が異なる場合は、周波数折り返し歪み成分量も異なることになる。尚、後述するように、ｎ階分解時の各階層において、異なる種類のフィルタ及び異なるフィルタ係数を用いるようにしてもよい。
【００２９】
図４に示す例は、ｎ階分解時の各階層において、同一種類のフィルタが用いられ、１階層目画像を得るための１回目の分解時にフィルタ係数Ｆｄ−１が用いられ、２階層目画像を得るための２回目の分解時にフィルタ係数Ｆｄ−２が用いられ、同様に、ｎ階層目画像を得るためのｎ回目の分解時にフィルタ係数Ｆｄ−ｎが用いられる場合を示している。
【００３０】
尚、フィルタの種類としては、前述したとおり、例えば、Ｈａａｒ、メキシカンハット、Daubechies等のウェーブレットフィルタ、線形フィルタ、間引フィルタ等がある。
【００３１】
図５は、次数ｐのDaubechiesウェーブレット係数を示す図であり、Daubechiesのウェーブレットフィルタを用いる場合のフィルタ係数の例を示している。ｐは次数、ｋは要素番号、αｋはDaubechiesウェーブレット係数を示す。このDaubechiesのウェーブレットフィルタは、次数ｐの値を任意値としたフィルタ係数により特性が定められ、次数ｐが大きくなるとタップ数も大きくなり、急峻な特性を持つフィルタとなる。
【００３２】
図５に示すように、次数ｐ＝１のときの要素数が２であり、次数ｐ＝２のときの要素数が４であり、次数ｐ＝３のときの要素数が６であり、次数ｐ＝４のときの要素数が８である。そして、次数ｐの値を任意値とするそれぞれの要素について、Daubechiesウェーブレット係数αｋ（フィルタ係数）が定義されている。図４の例では、オクターブ分解部１１によるダウンサンプリング処理のｎ階分解時の各階層において、同一のDaubechiesのウェーブレットフィルタが用いられる場合、例えば、１階分解時のフィルタ係数Ｆｄ−１として次数ｐ＝１（ｐ１）が用いられ、２階分解時のフィルタ係数Ｆｄ−２として次数ｐ＝２（ｐ２）が用いられ、また、ｎ階分解時のフィルタ係数Ｆｄ−ｎとして次数ｐ＝１（ｐ１）が用いられる。これらのフィルタ係数は、図１に示したフィルタ係数処理部１０により選定される。
【００３３】
図２に戻って、符号化部１２は、ステップＳ２０１にて生成されたダウンサンプリング画像のストリームに対し、Ｈ．２６４｜ＭＰＥＧ−４ＡＶＣ等の符号化処理を行い、ダウンサンプリング符号化画像を生成する（ステップＳ２０２）。尚、符号化処理は、Ｈ．２６４｜ＭＰＥＧ−４ＡＶＣ以外の手法を用いてもよい。復号部１３は、ステップＳ２０２にて生成されたダウンサンプリング符号化画像のストリームに対し、ローカル復号処理を行い、ダウンサンプリング復号画像を生成する（ステップＳ２０３）。
【００３４】
オクターブ再構成部１４は、フィルタ係数処理部１０により選定されたオクターブ再構成用の各階層のフィルタ係数を用いて、ステップＳ２０３にて生成されたダウンサンプリング復号画像の水平・垂直標本化周波数がそれぞれ２ｎ（ｎ＝１，２，・・・，ｍ）倍に拡大するように、オクターブ再構成によるアップサンプリング処理を繰り返し行い、アップサンプリング画像を生成する（ステップＳ２０４）。尚、オクターブ再構成部１４は、オクターブ再構成によるアップサンプリング処理を繰り返し行うために、ダウンサンプリング復号画像と同じ階層の高周波成分領域の画像を得る必要がある。そこで、オクターブ再構成部１４は、オクターブ再構成によるアップサンプリング処理を繰り返し行う前に、オクターブ再構成用の各階層のフィルタ係数に含まれるダウンサンプリング処理を行うための１階層分のフィルタ係数（後述する図７においてフィルタ係数Ｆｄ−（ｎ＋１））を用いて、オクターブ分解によるダウンサンプリング処理を行い、さらに、オクターブ再構成用の各階層のフィルタ係数に含まれるアップサンプリング処理を行うための１階層分のフィルタ係数（後述する図７においてフィルタ係数Ｆｕ−（ｎ＋１））を用いて、オクターブ再構成によるアップサンプリング処理を行う。
【００３５】
図６は、オクターブ再構成によるアップサンプリング処理の様子を示す図である。また、図７は、オクターブ再構成によるアップサンプリング処理及びフィルタ係数を示す図である。
【００３６】
図６に示すように、１階離散ウェーブレット再構成ＩＤＷＴ（１）により、ダウンサンプリング復号画像である水平低周波・垂直低周波の周波数成分ＣＡ（ｎ）、水平高周波・垂直低周波成分ＣＨ（ｎ）、水平低周波・垂直高周波成分ＣＶ（ｎ）、水平高周波・垂直高周波成分ＣＤ（ｎ）のｎ階層目画像から、ＣＡ（ｎ−１）、ＣＨ（ｎ−１）、ＣＶ（ｎ−１）、ＣＤ（ｎ−１）のｎ−１階層目画像が得られる。具体的には、まず、１階離散ウェーブレット分解ＤＷＴ（１）により、ダウンサンプリング復号画像であるＣＡ（ｎ）からＣＡ（ｎ＋１）、ＣＨ（ｎ＋１）、ＣＶ（ｎ＋１）、ＣＤ（ｎ＋１）のｎ＋１階層目画像が得られる。そして、１階離散ウェーブレット再構成ＩＤＷＴ（１）により、ＣＨ（ｎ＋１）、ＣＶ（ｎ＋１）、ＣＤ（ｎ＋１）を空間低周波数領域成分、同じサイズのゼロ行列を空間高周波数領域成分として、ＣＨ（ｎ）、ＣＶ（ｎ）、ＣＤ（ｎ）が得られる。これは、オクターブ再構成によるアップサンプリング処理を行うため、ステップＳ２０３にて生成されたダウンサンプリング復号画像であるＣＡ（ｎ）に加え、ＣＨ（ｎ）、ＣＶ（ｎ）、ＣＤ（ｎ）を生成する必要があるからである。
【００３７】
そして、１階離散ウェーブレット再構成ＩＤＷＴ（１）により、ＣＡ（ｎ）、ＣＨ（ｎ）、ＣＶ（ｎ）、ＣＤ（ｎ）のｎ階層目画像から、ＣＡ（ｎ−１）が得られる。また、１階離散ウェーブレット再構成ＩＤＷＴ（１）により、ＣＨ（ｎ）、ＣＶ（ｎ）、ＣＤ（ｎ）を空間低周波数領域成分、同じサイズのゼロ行列を空間高周波数領域成分として、ＣＨ（ｎ−１）、ＣＶ（ｎ−１）、ＣＤ（ｎ−１）が得られる。そして、ＣＡ（２）、ＣＨ（２）、ＣＶ（２）、ＣＤ（２）の２階層目画像からＣＡ（１）、ＣＨ（１）、ＣＶ（１）、ＣＤ（１）の１階層目画像が得られる。最終的に求めるアップサンプリング画像は、０階層目画像、すなわち原画像Ｆである。
【００３８】
このようなダウンサンプリング復号画像の水平・垂直標本化周波数を２ｎ倍にするアップサンプリング処理では、ｎ階再構成時の各階層において、ダウンサンプリング処理と同様に、例えば同一種類のフィルタが用いられ、各階層における同一種類のフィルタには、同一または異なるフィルタ係数が用いられる。尚、後述するように、ｎ階再構成時の各階層において、異なる種類のフィルタ及び異なるフィルタ係数を用いるようにしてもよい。
【００３９】
図７に示す例は、ｎ階再構成時の各階層において、同じフィルタが用いられる場合を示している。ダウンサンプリング復号画像と同じ階層の高周波成分領域の画像を得るために、ｎ＋１階層目の画像を得るための分解時にはフィルタ係数Ｆｄ−（ｎ＋１）が用いられ、ｎ階層目の高周波成分領域の画像（ダウンサンプリング復号画像と同じ階層の高周波成分領域の画像）を得るための再構成時にはフィルタ係数Ｆｕ−（ｎ＋１）が用いられる。また、ｎ−１階層目画像を得るための１回目の再構成時にはフィルタ係数Ｆｕ−ｎが用いられ、同様に、１階層目画像を得るためのｎ−１回目の再構成時にはフィルタ係数Ｆｕ−２が用いられ、０階層目画像を得るためのｎ回目の再構成時にはフィルタ係数Ｆｕ−１が用いられる。
【００４０】
図２に戻って、画像符号化装置１は、ステップＳ２０１からステップＳ２０４までの処理を、フィルタ係数処理部１０により随時選定された、オクターブ分解用の各階層のフィルタ係数及びオクターブ再構成用の各階層のフィルタ係数を用いて、所定回数分繰り返して行う。
【００４１】
フィルタ係数処理部１０は、所定回数分のフィルタ係数を選定し、ステップＳ２０１からステップＳ２０４までの処理が所定回数分繰り返して行われた後、所定回数分随時選定したフィルタ係数のうち、原画像とステップＳ２０４にて生成されたアップサンプリング画像との間の画素値の差分が最も小さいフィルタ係数を最適なフィルタ係数に決定する（ステップＳ２０５）。最適なフィルタ係数を決定する処理の詳細については後述する。
【００４２】
オクターブ分解部１１は、ステップＳ２０５にて決定された、オクターブ分解用の各階層の最適なフィルタ係数を用いて、原画像の水平・垂直標本化周波数がそれぞれ１／２ｎ（ｎ＝１，２，・・・，ｍ）倍に縮小するように、オクターブ分解によるダウンサンプリング処理を繰り返し行い、ダウンサンプリング画像を生成する（ステップＳ２０６）。そして、符号化部１２は、ステップＳ２０６にて生成されたダウンサンプリング画像のストリームに対し、Ｈ．２６４｜ＭＰＥＧ−４ＡＶＣ等の符号化処理を行い、ダウンサンプリング符号化画像を生成する（ステップＳ２０７）。また、符号化部１２は、ステップＳ２０５にて決定された、最適なフィルタ係数（オクターブ分解用の各階層のフィルタ係数及びオクターブ再構成用の各階層のフィルタ係数）に対し符号化処理を行い、フィルタ符号化係数を生成する。このようにして、符号化部１２からダウンサンプリング符号化画像及びフィルタ符号化係数が出力される。
【００４３】
（フィルタ係数処理部）
次に、図１に示したフィルタ係数処理部１０について詳細に説明する。前述のとおり、フィルタ係数処理部１０は、予め設定されたフィルタ係数群から、オクターブ分解用の各階層のフィルタ係数及びオクターブ再構成用の各階層のフィルタ係数を選定し、オクターブ分解部１１に、オクターブ分解用の各階層のフィルタ係数を用いてオクターブ分解によるダウンサンプリング処理を行わせ、オクターブ再構成部１４に、オクターブ再構成用の各階層のフィルタ係数を用いてオクターブ再構成によるアップサンプリング処理を行わせる。また、フィルタ係数処理部１０は、原画像と、選定したフィルタ係数にてオクターブ分解及びオクターブ再構成されたアップサンプリング画像との間の画素値の差分を求め、その差分が最も小さいフィルタ係数を最適なフィルタ係数に決定する。
【００４４】
図８は、フィルタ係数処理部１０の構成を示すブロック図である。このフィルタ係数処理部１０は、フィルタ係数選定手段（フィルタ情報選定手段）１５、記憶手段１６及びフィルタ係数決定手段（フィルタ情報決定手段）１７を備えている。
【００４５】
フィルタ係数選定手段１５は、予め設定されたフィルタ係数群から、オクターブ分解用の各階層のフィルタ係数及びオクターブ再構成用の各階層のフィルタ係数を選定する。そして、フィルタ係数選定手段１５は、選定したオクターブ分解用の各階層のフィルタ係数をオクターブ分解部１１に出力し、選定したオクターブ再構成用の各階層のフィルタ係数をオクターブ再構成部１４に出力する。これにより、オクターブ分解部１１は、フィルタ係数選定手段１５からフィルタ係数を入力し、原画像に対し、オクターブ分解によるダウンサンプリング処理を行い、オクターブ再構成部１４は、フィルタ係数選定手段１５からフィルタ係数を入力し、オクターブ再構成によるアップサンプリング処理を行う。
【００４６】
例えば、フィルタ係数選定手段１５は、後述する図９を参照して、オクターブ分解部１１及びオクターブ再構成部１４において各階層のフィルタとして図５に示したDaubechiesのウェーブレットフィルタを使用する場合、オクターブ分解用の各階層のフィルタ係数Ｆｄ−１＝ｐ１，Ｆｄ−２＝ｐ２，・・・，Ｆｄ−ｎ＝ｐ１及びオクターブ再構成用の各階層のフィルタ係数Ｆｕ−１＝ｐ２，Ｆｕ−２＝ｐ３，・・・，Ｆｕ−（ｎ＋１）＝ｐ１を選定する。また、次の処理のときに、オクターブ分解用の各階層のフィルタ係数Ｆｄ−１＝ｐ２，Ｆｄ−２＝ｐ２，・・・，Ｆｄ−ｎ＝ｐ１及びオクターブ再構成用の各階層のフィルタ係数Ｆｕ−１＝ｐ２，Ｆｕ−２＝ｐ３，・・・，Ｆｕ−（ｎ＋１）＝ｐ１を選定する。このように、新たにフィルタ係数を選定する毎に、オクターブ分解用の各階層のフィルタ係数及びオクターブ再構成用の各階層のフィルタ係数のうちのいずれかのフィルタ係数を変更する。
【００４７】
また、フィルタ係数選定手段１５は、原画像を入力すると共に、オクターブ再構成部１４からアップサンプリング画像を入力し、原画像の各画素値からＲＭＳ（Ｒｏｏｔ Ｍｅａｎ Ｓｑｕａｒｅ：平均自乗根）値を算出し、アップサンプリング画像の各画素値からＲＭＳ値を算出し、両ＲＭＳ値の差分を算出する。フィルタ係数選定手段１５は、選定したフィルタ係数と算出したＲＭＳ値の差分とを組にして記憶手段１６に格納する。フィルタ係数の選定、オクターブ分解によるダウンサンプリング処理及びオクターブ再構成によるアップサンプリングの処理が所定回数分行われると、フィルタ係数選定手段１５は、原画像に対する所定回数分の処理が完了したことを示す完了通知をフィルタ係数決定手段１７に出力する。これにより、記憶手段１６には、所定回数分のフィルタ係数（オクターブ分解用の各階層のフィルタ係数及びオクターブ再構成用の各階層のフィルタ係数）及びＲＭＳ値（ＲＭＳ値の差分）が格納される。
【００４８】
フィルタ係数決定手段１７は、フィルタ係数選定手段１５から、完了通知を入力すると、記憶手段１６から所定回数分のフィルタ係数及びＲＭＳ値を読み出し、ＲＭＳ値が最も小さいフィルタ係数（両画像の画素値の差分が最も小さいフィルタ係数）を最適なフィルタ係数に決定する。すなわち、原画像に最も近いアップサンプリング画像が得られたときのフィルタ係数を最適なフィルタ係数に決定する。そして、フィルタ係数決定手段１７は、決定した最適なフィルタ係数のうちオクターブ分解用の各階層のフィルタ係数をオクターブ分解部１１に出力し、オクターブ分解部１１に、オクターブ分解用の各階層の最適なフィルタ係数を用いて、オクターブ分解によるダウンサンプリング処理を行わせる。また、フィルタ係数決定手段１７は、最適なフィルタ係数を決定したことを示す決定通知、及び最適なフィルタ係数（オクターブ分解用の各階層のフィルタ係数及びオクターブ再構成用の各階層のフィルタ係数）を符号化部１２に出力する。これにより、符号化部１２は、オクターブ分解部１１から入力するダウンサンプリング画像が、最適なフィルタ係数により生成された画像であると判断することができ、ダウンサンプリング画像及び最適なフィルタ係数（オクターブ分解用の各階層のフィルタ係数及びオクターブ再構成用の各階層のフィルタ係数）に対し符号化処理を行う。
【００４９】
図９は、図８に示した記憶手段１６に格納されるフィルタ係数及びＲＭＳ値を示す図である。フィルタ係数選定手段１５は、オクターブ分解用の各階層のフィルタ係数Ｆｄ−１，Ｆｄ−２，・・・，Ｆｄ−ｎ及びオクターブ再構成用の各階層のフィルタ係数Ｆｕ−１，Ｆｕ−２，・・・，Ｆｕ−（ｎ＋１）を選定し、ＲＭＳ値を算出する毎に、これらのフィルタ係数及びＲＭＳ値を記憶手段１６に格納する。図９に示すように、オクターブ分解部１１及びオクターブ再構成部１４において各階層のフィルタとして、図５に示したDaubechiesのウェーブレットフィルタを使用する場合、記憶手段１６には、最初に選定されたフィルタ係数Ｆｄ−１＝ｐ１，Ｆｄ−２＝ｐ２，・・・，Ｆｄ−ｎ＝ｐ１，Ｆｕ−１＝ｐ２，Ｆｕ−２＝ｐ３，・・・，Ｆｕ−（ｎ＋１）＝ｐ１、及び最初に算出されたＲＭＳ値が格納され、次に選定されたフィルタ係数Ｆｄ−１＝ｐ２，Ｆｄ−２＝ｐ２，・・・，Ｆｄ−ｎ＝ｐ１，Ｆｕ−１＝ｐ２，Ｆｕ−２＝ｐ３，・・・，Ｆｕ−（ｎ＋１）＝ｐ１及び、次に算出されたＲＭＳ値が格納され、結果として、所定回数分のフィルタ係数及びＲＭＳ値が格納される。
【００５０】
以上のように、本発明の実施形態による画像符号化装置１によれば、オクターブ分解部１１が、原画像を、階層的にオクターブ分解によるダウンサンプリング処理してダウンサンプリング画像を生成し、オクターブ再構成部１４が、符号化部１２及び復号部１３によりダウンサンプリング画像が符号化及び復号されて生成されたダウンサンプリング復号画像を、階層的にオクターブ再構成によるアップサンプリング処理してアップサンプリング画像を生成するようにした。そして、フィルタ係数処理部１０が、選定した各階層のフィルタ係数を用いて生成されたアップサンプリング画像と原画像との間の画素値の差分をＲＭＳ値により算出し、アップサンプリング画像が原画像に最も近い、各階層の最適なフィルタ係数を決定するようにした。
【００５１】
これにより、最適なフィルタ係数を用いてダウンサンプリング処理を行い符号化することにより生成されたダウンサンプリング符号化画像、及び最適なフィルタ係数を符号化することにより生成されたフィルタ符号化係数が、画像符号化装置１から伝送路３を介して画像復号装置２へ送信される。画像復号装置２は、画像符号化装置１により決定された最適なフィルタ係数を用いて、オクターブ再構成によるアップサンプリング処理を行うことができる。したがって、原画像に最も近い高画質な画像を復元することができる。つまり、符号化及び復号処理を高画質に行うことができる。
【００５２】
〔画像復号装置の構成〕
次に、画像復号装置の構成について説明する。図１０は、本発明の実施形態による画像復号装置の構成を示すブロック図である。この画像復号装置２は、復号部２０及びオクターブ再構成部２１を備えている。
【００５３】
画像復号装置２が画像符号化装置１から伝送路３を介してダウンサンプリング符号化画像及びフィルタ符号化係数（オクターブ分解用の各階層の最適なフィルタ符号化係数及びオクターブ再構成用の各階層の最適なフィルタ符号化係数）を受信すると、復号部２０は、ダウンサンプリング符号化画像のストリーム及びフィルタ符号化係数に対し復号処理を行い、ダウンサンプリング復号画像及びフィルタ係数（オクターブ分解用の各階層の最適なフィルタ係数及びオクターブ再構成用の各階層の最適なフィルタ係数）を生成し、オクターブ再構成部２１に出力する。この復号部２０による復号処理は、前述した画像符号化装置１の復号部１３による復号処理と同じである。
【００５４】
オクターブ再構成部２１は、復号部２０からダウンサンプリング復号画像及びフィルタ係数（オクターブ分解用の各階層の最適なフィルタ係数及びオクターブ再構成用の各階層の最適なフィルタ係数）を入力し、オクターブ再構成における各階層の最適なフィルタ係数を用いて、オクターブ再構成によるアップサンプリング処理を行い、アップサンプリング画像を生成する。そして、オクターブ再構成部２１は、生成したアップサンプリング画像を原画像として出力する。このオクターブ再構成部２１の処理は、画像符号化装置１のオクターブ再構成部１４の処理と同様である。
【００５５】
〔画像復号装置の処理〕
次に、図１０に示した画像復号装置２の処理について説明する。図１１は、画像復号装置２による復号処理を示すフロー図である。また、図１２は、画像復号装置２によるオクターブ再構成処理を示すフロー図である。図１１を参照して、画像復号装置２の復号部２０は、画像符号化装置１から送信されたダウンサンプリング符号化画像及びフィルタ符号化係数を、伝送路３を介して入力し、復号処理を行う（ステップＳ１１０１）。この復号処理により、ダウンサンプリング復号画像及び最適なフィルタ係数が生成される。そして、図１２を参照して、オクターブ再構成部２１は、オクターブ再構成用の各階層の最適なフィルタ係数を用いて、ステップＳ１１０１にて生成されたダウンサンプリング復号画像の水平・垂直標本化周波数がそれぞれ２ｎ（ｎ＝１，２，・・・，ｍ）倍に拡大するように、オクターブ再構成によるアップサンプリング処理を繰り返し行い、アップサンプリング画像（原画像）を生成する（ステップＳ１２０１）。
【００５６】
具体的には、オクターブ再構成部２１は、復号部２０から、ダウンサンプリング復号画像であるＣＡ（ｎ）と、オクターブ再構成用の各階層のフィルタ係数Ｆｕ−１〜Ｆｕ−ｎ，Ｆｄ−（ｎ＋１），Ｆｕ−（ｎ＋１）とを入力する。そして、オクターブ再構成部２１は、フィルタ係数Ｆｄ−（ｎ＋１）を用いて、ＣＡ（ｎ）に対し１階のオクターブ分解によるダウンサンプリング処理を行い、ＣＡ（ｎ＋１）、ＣＨ（ｎ＋１）、ＣＶ（ｎ＋１）、ＣＤ（ｎ＋１）を生成し、生成したＣＨ（ｎ＋１）、ＣＶ（ｎ＋１）、ＣＤ（ｎ＋１）を空間低周波数領域成分、同じサイズのゼロ行列を空間高周波数領域成分として、フィルタ係数Ｆｕ−（ｎ＋１）を用いて、１階のオクターブ再構成によるアップサンプリング処理を行い、ＣＨ（ｎ）、ＣＶ（ｎ）、ＣＤ（ｎ）を生成する。そして、オクターブ再構成部２１は、フィルタ係数Ｆｕ−ｎを用いて、ＣＡ（ｎ）、ＣＨ（ｎ）、ＣＶ（ｎ）、ＣＤ（ｎ）に対し１階のオクターブ再構成によるアップサンプリング処理を行い、ＣＡ（ｎ−１）、を生成する。また、オクターブ再構成部２１は、ＣＨ（ｎ）、ＣＶ（ｎ）、ＣＤ（ｎ）を空間低周波数領域成分、同じサイズのゼロ行列を空間高周波数領域成分として、フィルタ係数Ｆｕ−ｎを用いて、１階のオクターブ再構成によるアップサンプリング処理を行い、ＣＨ（ｎ−１）、ＣＶ（ｎ−１）、ＣＤ（ｎ−１）を生成する。このような処理を繰り返すことにより、アップサンプリング画像（原画像）を生成する。
【００５７】
以上のように、本発明の実施形態による画像復号装置２によれば、画像符号化装置１から伝送路３を介して、ダウンサンプリング符号化画像及びフィルタ符号化係数を受信し、オクターブ再構成部２１が、復号部２０によりフィルタ符号化係数が復号されて生成されたフィルタ係数を用いて、復号部２０によりダウンサンプリング符号化画像が復号されて生成されたダウンサンプリング復号画像を、階層的にオクターブ再構成によるアップサンプリング処理してアップサンプリング画像を生成するようにした。ここで、オクターブ再構成部２１にて用いるフィルタ係数は、画像符号化装置１において、画像復号装置２のオクターブ再構成部２１と同じオクターブ再構成によるアップサンプリング処理にて生成されたアップサンプリング画像が原画像に最も近い最適なフィルタ係数である。
【００５８】
これにより、信号復元装置２において、原画像に最も近い高画質な画像を復元することができる。つまり、符号化及び復号処理を高画質に行うことができる。
【００５９】
〔変形例〕
次に、前述した実施形態の変形例について説明する。この変形例は、タップ数の小さいフィルタ係数すなわち周波数折り返し成分量の多いフィルタ係数から、タップ数の大きいフィルタ係数すなわち折り返し量の少ないフィルタ係数へ徐々に変わるように、フィルタ係数を選定し、選定したフィルタ係数における原画像とアップサンプリング画像との間の画素値の差分を示すＲＭＳ値が減少特性から増加特性に変化したときのフィルタ係数を最適なフィルタ係数に決定するものである。これにより、予め設定された全てのフィルタ係数群について、ダウンサンプリング処理及びアップサンプリング処理を行ってＲＭＳ値を算出する必要がないから、処理負荷を低減し、処理時間を短縮することができる。
【００６０】
この変形例による画像符号化装置１の構成は、図１に示したものと同様であるが、フィルタ係数処理部１０の処理が異なる。フィルタ係数処理部１０以外の構成部については前述したので、その説明は省略する。
【００６１】
フィルタ係数処理部１０は、前述の実施形態と同様に、予め設定されたフィルタ係数群から、オクターブ分解用の各階層のフィルタ係数及びオクターブ再構成用の各階層のフィルタ係数を選定し、オクターブ分解用の各階層のフィルタ係数をオクターブ分解部１１に出力し、オクターブ再構成用の各階層のフィルタ係数をオクターブ再構成部１４に出力する。また、フィルタ係数処理部１０は、原画像を入力すると共に、選定したフィルタ係数にてオクターブ分解及びオクターブ再構成されたアップサンプリング画像を入力し、両画像間の画素値の差分を示すＲＭＳ値を算出する。
【００６２】
ここで、予め設定されたフィルタ係数群は、タップ数の小さいフィルタ係数群から、タップ数の大きいフィルタ係数群まで、徐々にタップ数が大きくなるように分けられたフィルタ係数群とする。例えば、フィルタ係数処理部１０は、最初に、全体的にタップ数の最も小さいフィルタ係数Ｆｄ−１＝ｐ１，Ｆｄ−２＝ｐ１，・・・，Ｆｄ−ｎ＝ｐ１，Ｆｕ−１＝ｐ１，Ｆｕ−２＝ｐ１，・・・，Ｆｕ−（ｎ＋１）＝ｐ１（全てのフィルタ係数ｐ１）を選定し、ＲＭＳ値を算出する。次に、フィルタ係数処理部１０は、全体的にタップ数が２番目に小さいフィルタ係数Ｆｄ−１＝ｐ２，Ｆｄ−２＝ｐ１，・・・，Ｆｄ−ｎ＝ｐ１，Ｆｕ−１＝ｐ１，Ｆｕ−２＝ｐ１，・・・，Ｆｕ−（ｎ＋１）＝ｐ１（１つのフィルタ係数ｐ２、他のフィルタ係数ｐ１）を選定し、ＲＭＳ値を算出する。
【００６３】
そして、フィルタ係数処理部１０は、最初に算出したＲＭＳ値と次に算出したＲＭＳ値とを比較する。このように、フィルタ係数処理部１０は、フィルタ係数を選定する毎に、タップ数が徐々に大きくなるように選定し、その都度ＲＭＳ値を算出し、前回算出したＲＭＳ値と今回算出したＲＭＳ値とを比較する。このような処理を繰り返す。
【００６４】
一般に、小さいタップ数のフィルタ係数を用いてダウンサンプリング処理を行った場合、周波数通過帯域に含まれる周波数折り返し成分は多くなる。また、大きなタップ数のフィルタ係数を用いてダウンサンプリング処理を行った場合、周波数通過帯域に含まれる周波数折り返し成分は小さくなる。一般に、画像に含まれる空間周波数スペクトルは低域に集中しており、その分布は画像毎に異なる。そして、周波数折り返し成分量は、多過ぎても少な過ぎてもアップサンプリング画質に悪影響を及ぼす。したがって、タップ数の小さいフィルタ係数から徐々にタップ数の大きいフィルタ係数を選定することにより、そのフィルタ係数におけるＲＭＳ値は、タップ数が大きくなるに従って徐々に小さくなり、極小値となり、そして徐々に大きくなる。
【００６５】
そこで、フィルタ係数処理部１０は、ＲＭＳ値が極小値であるか否かを、前回算出したＲＭＳ値と今回算出したＲＭＳ値とを比較することにより判定する。そして、フィルタ係数処理部１０は、ＲＭＳ値の極小値を判定した場合、前回算出したＲＭＳ値におけるフィルタ係数を最適なフィルタ係数に決定する。
【００６６】
図８を参照して、変形例によるフィルタ係数処理部１０のフィルタ係数選定手段１５は、予め設定されたフィルタ係数群から、選定を繰り返す毎に、全体的にタップ数が大きくなるようにフィルタ係数を選定し、オクターブ分解部１１及びオクターブ再構成部１４に出力する。
【００６７】
また、フィルタ係数選定手段１５は、原画像を入力すると共に、オクターブ再構成部１４からアップサンプリング画像を入力し、両画像の画素値の差分をＲＭＳ値により算出する。フィルタ係数選定手段１５は、選定したフィルタ係数と算出したＲＭＳ値とを組にして記憶手段１６に格納する。そして、フィルタ係数選定手段１５は、ＲＭＳ値の算出及び格納を完了したことを示す算出完了通知をフィルタ係数決定手段１７に出力する。また、フィルタ係数選定手段１５は、フィルタ係数決定手段１７から後述する選定通知を入力する毎に、このような処理を繰り返し行い、フィルタ係数決定手段１７から後述する決定完了通知を入力した場合、原画像に対する処理を終了する。
【００６８】
フィルタ係数決定手段１７は、フィルタ係数選定手段１５から、ＲＭＳ値の算出及び格納を完了したことを示す算出完了通知を入力すると、記憶手段１６から前回格納された（前回の処理にて選定され格納された）フィルタ係数及びＲＭＳ値を読み出すと共に、今回格納された（今回の処理にて選定され格納された）フィルタ係数及びＲＭＳ値を読み出す。そして、フィルタ係数決定手段１７は、前回のＲＭＳ値と今回のＲＭＳ値とを比較し、前回のＲＭＳ値よりも今回のＲＭＳ値の方が大きいと判定した場合（前回のＲＭＳ値が極小値であると判定した場合）、前回のフィルタ係数を最適なフィルタ係数であると判定する。そして、フィルタ係数決定手段１７は、決定完了通知をフィルタ係数選定手段１５に出力すると共に、決定通知を符号化部１２に出力する。これにより、フィルタ係数選定手段１５は、原画像に対するフィルタ係数を選定する処理を終了する。また、フィルタ係数決定手段１７は、最適なフィルタ係数のうちオクターブ分解用の各階層のフィルタ係数をオクターブ分解部１１に出力する。一方、フィルタ係数決定手段１７は、前回のＲＭＳ値よりも今回のＲＭＳ値の方が大きくないと判定した場合（前回のＲＭＳ値は極小値でないと判定した場合）、次のフィルタ係数を選定させるための選定通知をフィルタ係数選定手段１５に出力する。
【００６９】
以上のように、本発明の実施形態による画像符号化装置１によれば、フィルタ係数処理部１０が、フィルタ係数を選定する毎に、タップ数の小さいフィルタ係数からタップ数の大きいフィルタ係数へ徐々に変わるように選定し、選定したフィルタ係数における原画像とアップサンプリング画像との間の画素値の差分を示すＲＭＳ値が極小値をとる点を判定し、その点のフィルタ係数を最適なフィルタ係数に決定するようにした。
【００７０】
これにより、オクターブ分解部１１及びオクターブ再構成部１４は、予め設定された全てのフィルタ係数について、ダウンサンプリング処理及びアップサンプリング処理を行う必要がなく、フィルタ係数処理部１０も、予め設定された全てのフィルタ係数について、ＲＭＳ値を算出する必要もない。つまり、画像符号化装置１における処理負荷を低減し、処理時間を短縮することができる。したがって、原画像に最も近い高画質な画像を効率的に復元することができ、符号化及び復号処理を高画質に、かつ効率的に行うことができる。
【００７１】
以上、実施形態を挙げて本発明を説明したが、本発明は前記実施形態に限定されるものではなく、その技術思想を逸脱しない範囲で種々変形可能である。例えば、前記実施形態では、フィルタ係数処理部１０が、予め設定されたフィルタ係数群からフィルタ係数を選定し、最適なフィルタ係数を決定するようにしたが、予め設定されたフィルタの種類群及びフィルタ係数群からフィルタの種類及びフィルタ係数（フィルタ情報）を選定し、最適なフィルタの種類及びフィルタ係数を決定するようにしてもよい。また、前記実施形態では、フィルタ係数処理部１０が、原画像とアップサンプリング画像との間の画素値の差分を示すＲＭＳ値を算出するようにしたが、原画像及びアップサンプリング画像のエッジ成分をそれぞれ抽出し、エッジ成分の差分を示すＲＭＳ値を算出するようにしてもよい。この場合、フィルタ係数処理部１０は、エッジ成分のＲＭＳ値が最小となるフィルタ係数を最適なフィルタ係数に決定する。
【００７２】
また、前記実施形態では、画像符号化装置１が、原画像に対し、所定のフィルタ係数を用いてオクターブ分解によるダウンサンプリング処理を行い、最適なフィルタ係数を決定し、ダウンサンプリング画像及びフィルタ係数を送信し、画像復号装置２が、ダウンサンプリング画像に対し、最適なフィルタ係数を用いてオクターブ再構成によるアップサンプリング処理を行い、原画像を復元するようにしたが、本発明は、空間周波数ダウンサンプリングとアップサンプリングを行う処理全般に適用がある。例えば、ストレージメディアへ圧縮記録する等の処理に適用がある。
【００７３】
また、本発明は、ＪＰＥＧ２０００を用いてフレーム単位で圧縮符号化を行うデジタルシネマ圧縮符号化処理の前段または後段に用いることができる。また、Ｈ．２６４｜ＭＰＥＧ−４ＡＶＣで圧縮符号化が検討されているスーパーハイビジョン圧縮符号化処理の前段または後段に用いることができる。また、将来の新しい圧縮符号化方式と組み合わせて用いることも可能である。
【００７４】
尚、画像符号化装置１及び画像復号装置２のハード構成としては、通常のコンピュータを使用することができる。すなわち、ＣＰＵ、ＲＡＭ等の揮発性の記憶媒体、ＲＯＭ等の不揮発性の記憶媒体、及びインターフェース等を備えたコンピュータによって構成できる。画像符号化装置１を構成するフィルタ係数処理部１０、オクターブ分解部１１、符号化部１２、復号部１３及びオクターブ再構成部１４の各機能は、これらの機能を記述したプログラムをＣＰＵに実行させることによりそれぞれ実現できる。また、画像復号装置２を構成する復号部２０及びオクターブ再構成部２１の各機能も、これらの機能を記述したプログラムをＣＰＵに実行させることによりそれぞれ実現できる。これらのプログラムは、磁気ディスク（フロッピー（登録商標）ディスク、ハードディスク等）、光ディスク（ＣＤ−ＲＯＭ、ＤＶＤ等）、半導体メモリ等の記憶媒体に格納して頒布することもできる。
【符号の説明】
【００７５】
１ 画像符号化装置
２ 画像復号装置
３ 伝送路
１０ フィルタ係数処理部
１１ オクターブ分解部
１２ 符号化部
１３，２０ 復号部
１４，２１ オクターブ再構成部
１５ フィルタ係数選定手段
１６ 記憶手段
１７ フィルタ係数決定手段
【特許請求の範囲】
【請求項１】
原画像をダウンサンプリング処理して符号化する画像符号化装置において、
複数のフィルタから、ダウンサンプリング処理における各階層のフィルタ及びアップサンプリング処理における各階層のフィルタを選定し、最適なフィルタを決定するフィルタ情報処理部と、
前記選定されたダウンサンプリング処理における各階層のフィルタを用いて、前記原画像に対しオクターブ分解によるダウンサンプリング処理を行い、ダウンサンプリング画像を生成するオクターブ分解部と、
前記生成されたダウンサンプリング画像に対し符号化処理を行い、ダウンサンプリング符号化画像を生成する符号化部と、
前記生成されたダウンサンプリング符号化画像に対し復号処理を行い、ダウンサンプリング復号画像を生成する復号部と、
前記選定されたアップサンプリング処理における各階層のフィルタを用いて、前記生成されたダウンサンプリング復号画像に対しオクターブ再構成によるアップサンプリング処理を行い、アップサンプリング画像を生成するオクターブ再構成部とを備え、
前記フィルタ情報処理部は、前記原画像と前記生成されたアップサンプリング画像との間の画素値の差分が最も小さくなるフィルタを、前記ダウンサンプリング処理及びアップサンプリング処理における各階層の最適なフィルタに決定し、
前記符号化部は、前記最適なフィルタを用いて生成されたダウンサンプリング画像、及び前記決定された最適なフィルタに関する情報に対し符号化処理を行い、ダウンサンプリング符号化画像及びフィルタ符号化情報を生成することを特徴とする画像符号化装置。
【請求項２】
請求項１に記載の画像符号化装置において、
前記オクターブ分解としてウェーブレット分解を用い、
前記オクターブ再構成としてウェーブレット再構成を用い、
前記フィルタ情報処理部は、複数のウェーブレットフィルタの種類及び複数のフィルタ係数から、前記各階層のウェーブレットフィルタの種類及びフィルタ係数を選定し、最適なウェーブレットフィルタの種類及びフィルタ係数を決定することを特徴とする画像符号化装置。
【請求項３】
請求項１に記載の画像符号化装置において、
前記フィルタ情報処理部は、複数のフィルタから、ダウンサンプリング処理における各階層のフィルタ及びアップサンプリング処理における各階層のフィルタを選定する際に、各階層のフィルタのうち少なくとも１つのフィルタが、前回選定したフィルタのタップ数よりも今回選定したタップ数が大きくなるように、前記フィルタを選定し、前記原画像と前記生成されたアップサンプリング画像との間の画素値の差分が極小となるフィルタを、前記ダウンサンプリング処理及びアップサンプリング処理における各階層の最適なフィルタに決定することを特徴とする画像符号化装置。
【請求項４】
請求項１の画像符号化装置により最適なフィルタを用いて符号化されたダウンサンプリング符号化画像及びフィルタ符号化係数を入力し、前記ダウンサンプリング符号化画像を復号してアップサンプリング処理を行う画像復号装置において、
前記ダウンサンプリング符号化画像及びフィルタ符号化係数に対し復号処理を行い、ダウンサンプリング復号画像及びフィルタ係数を生成する復号部と、
前記生成されたフィルタ係数のうち、アップサンプリング処理における各階層のフィルタを用いて、前記生成されたダウンサンプリング復号画像に対しオクターブ再構成によるアップサンプリング処理を行い、アップサンプリング画像を生成するオクターブ再構成部とを備えたことを特徴とする画像復号装置。
【請求項５】
コンピュータを、請求項１から３までのいずれか一項に記載の画像符号化装置として機能させるための画像符号化プログラム。
【請求項６】
コンピュータを、請求項４に記載の画像復号装置として機能させるための画像復号プログラム。
【請求項１】
原画像をダウンサンプリング処理して符号化する画像符号化装置において、
複数のフィルタから、ダウンサンプリング処理における各階層のフィルタ及びアップサンプリング処理における各階層のフィルタを選定し、最適なフィルタを決定するフィルタ情報処理部と、
前記選定されたダウンサンプリング処理における各階層のフィルタを用いて、前記原画像に対しオクターブ分解によるダウンサンプリング処理を行い、ダウンサンプリング画像を生成するオクターブ分解部と、
前記生成されたダウンサンプリング画像に対し符号化処理を行い、ダウンサンプリング符号化画像を生成する符号化部と、
前記生成されたダウンサンプリング符号化画像に対し復号処理を行い、ダウンサンプリング復号画像を生成する復号部と、
前記選定されたアップサンプリング処理における各階層のフィルタを用いて、前記生成されたダウンサンプリング復号画像に対しオクターブ再構成によるアップサンプリング処理を行い、アップサンプリング画像を生成するオクターブ再構成部とを備え、
前記フィルタ情報処理部は、前記原画像と前記生成されたアップサンプリング画像との間の画素値の差分が最も小さくなるフィルタを、前記ダウンサンプリング処理及びアップサンプリング処理における各階層の最適なフィルタに決定し、
前記符号化部は、前記最適なフィルタを用いて生成されたダウンサンプリング画像、及び前記決定された最適なフィルタに関する情報に対し符号化処理を行い、ダウンサンプリング符号化画像及びフィルタ符号化情報を生成することを特徴とする画像符号化装置。
【請求項２】
請求項１に記載の画像符号化装置において、
前記オクターブ分解としてウェーブレット分解を用い、
前記オクターブ再構成としてウェーブレット再構成を用い、
前記フィルタ情報処理部は、複数のウェーブレットフィルタの種類及び複数のフィルタ係数から、前記各階層のウェーブレットフィルタの種類及びフィルタ係数を選定し、最適なウェーブレットフィルタの種類及びフィルタ係数を決定することを特徴とする画像符号化装置。
【請求項３】
請求項１に記載の画像符号化装置において、
前記フィルタ情報処理部は、複数のフィルタから、ダウンサンプリング処理における各階層のフィルタ及びアップサンプリング処理における各階層のフィルタを選定する際に、各階層のフィルタのうち少なくとも１つのフィルタが、前回選定したフィルタのタップ数よりも今回選定したタップ数が大きくなるように、前記フィルタを選定し、前記原画像と前記生成されたアップサンプリング画像との間の画素値の差分が極小となるフィルタを、前記ダウンサンプリング処理及びアップサンプリング処理における各階層の最適なフィルタに決定することを特徴とする画像符号化装置。
【請求項４】
請求項１の画像符号化装置により最適なフィルタを用いて符号化されたダウンサンプリング符号化画像及びフィルタ符号化係数を入力し、前記ダウンサンプリング符号化画像を復号してアップサンプリング処理を行う画像復号装置において、
前記ダウンサンプリング符号化画像及びフィルタ符号化係数に対し復号処理を行い、ダウンサンプリング復号画像及びフィルタ係数を生成する復号部と、
前記生成されたフィルタ係数のうち、アップサンプリング処理における各階層のフィルタを用いて、前記生成されたダウンサンプリング復号画像に対しオクターブ再構成によるアップサンプリング処理を行い、アップサンプリング画像を生成するオクターブ再構成部とを備えたことを特徴とする画像復号装置。
【請求項５】
コンピュータを、請求項１から３までのいずれか一項に記載の画像符号化装置として機能させるための画像符号化プログラム。
【請求項６】
コンピュータを、請求項４に記載の画像復号装置として機能させるための画像復号プログラム。
【図１】
【図２】
【図３】
【図４】
【図５】
【図６】
【図７】
【図８】
【図９】
【図１０】
【図１１】
【図１２】
【図２】
【図３】
【図４】
【図５】
【図６】
【図７】
【図８】
【図９】
【図１０】
【図１１】
【図１２】
【公開番号】特開２０１１−２２８９７４（Ｐ２０１１−２２８９７４Ａ）
【公開日】平成２３年１１月１０日（２０１１．１１．１０）
【国際特許分類】
【出願番号】特願２０１０−９７５２８（Ｐ２０１０−９７５２８）
【出願日】平成２２年４月２１日（２０１０．４．２１）
【出願人】（０００００４３５２）日本放送協会 (2,206)
【Ｆターム（参考）】
【公開日】平成２３年１１月１０日（２０１１．１１．１０）
【国際特許分類】
【出願日】平成２２年４月２１日（２０１０．４．２１）
【出願人】（０００００４３５２）日本放送協会 (2,206)
【Ｆターム（参考）】
[ Back to top ]