画像符号化装置、画像復号装置及びプログラム
【課題】原画像をダウンサンプリングして得られた画像から、原画像に最も近い高画質な画像を再生する。
【解決手段】ダウンサンプリング部１０は、原画像Ｆをウェーブレット分解してダウンサンプリングし、低解像度のダウンサンプリング画像ＣＡ（ｎ）を生成し、符号化部１２は、ダウンサンプリング部１０で生成されたダウンサンプリング画像ＣＡ（ｎ）を符号化し、分散値決定部１１は、ダウンサンプリング部１０で生成されたダウンサンプリング画像ＣＡ（ｎ），ＣＡ（ｎ−１）に基づいて、受信側のアップサンプリング処理において原画像に最も近い画像を生成するガウシアンフィルタの分散値σＣＨ（ｎ），σＣＶ（ｎ），σＣＤ（ｎ）を決定する。受信側は、前記分散値σＣＨ（ｎ），σＣＶ（ｎ），σＣＤ（ｎ）を用いて空間周波数アップサンプリングすることにより、原画像Ｆに最も近い高画質な画像を再生することができる。
【解決手段】ダウンサンプリング部１０は、原画像Ｆをウェーブレット分解してダウンサンプリングし、低解像度のダウンサンプリング画像ＣＡ（ｎ）を生成し、符号化部１２は、ダウンサンプリング部１０で生成されたダウンサンプリング画像ＣＡ（ｎ）を符号化し、分散値決定部１１は、ダウンサンプリング部１０で生成されたダウンサンプリング画像ＣＡ（ｎ），ＣＡ（ｎ−１）に基づいて、受信側のアップサンプリング処理において原画像に最も近い画像を生成するガウシアンフィルタの分散値σＣＨ（ｎ），σＣＶ（ｎ），σＣＤ（ｎ）を決定する。受信側は、前記分散値σＣＨ（ｎ），σＣＶ（ｎ），σＣＤ（ｎ）を用いて空間周波数アップサンプリングすることにより、原画像Ｆに最も近い高画質な画像を再生することができる。
【発明の詳細な説明】
【技術分野】
【０００１】
本発明は、高精細画像の伝送を行う機器に用いて好適な画像符号化装置、画像復号装置及びプログラムに関する。
【背景技術】
【０００２】
近年、画像符号化の分野ではデジタル画像の高精細化が進んでいる。高精細画像は膨大な情報量を持つため、限られた帯域で伝送するためには高圧縮符号化する必要がある。しかしながら、膨大な情報量を持つ高精細画像を既存の符号化で処理し伝送するには限界がある。そこで、線形ＬＰＦ(Low Pass Filter)及び間引きによるダウンサンプリング処理を行う手法が案出されている。
【０００３】
この手法では、送信側の画像符号化装置は、ダウンサンプリングした画像を符号化して送信する。受信側の画像復号装置は、符号化されたダウンサンプリング画像を受信し復号した後、線形フィルタ、ラプラシアンピラミッド、ウェーブレット分解、非線形処理などによりアップサンプリング処理を施し、元の原画像を再生する。これにより、膨大な情報量を持つ高精細画像を符号化して伝送することなく、元の高精細画像を再生することができる。なお、基本的なウェーブレットを用いた空間周波数アップサンプリング手法として、例えば特許文献１に開示されたものが知られている。
【先行技術文献】
【特許文献】
【０００４】
【特許文献１】特表２００７−５０４５２３号公報
【発明の概要】
【発明が解決しようとする課題】
【０００５】
しかしながら、空間周波数ダウンサンプリングした画像を空間周波数アップサンプリング処理して原画像を再生する場合、原画像と同程度の高画質な画像を再生することが困難であるという課題がある。
【０００６】
そこで、本発明はかかる問題を解決するためになされたものであり、その目的は、原画像を空間周波数ダウンサンプリングして得られた画像を伝送しても、受信側で原画像に最も近い高画質な画像を再生することができる画像符号化装置、画像復号装置及びプログラムを提供することにある。
【課題を解決するための手段】
【０００７】
上記目的を達成するために、請求項１の画像符号化装置の発明は、原画像を空間周波数ダウンサンプリング処理し、空間周波数ダウンサンプリング画像を生成するダウンサンプリング手段と、前記ダウンサンプリング手段により生成された前記空間周波数ダウンサンプリング画像に基づいて、空間周波数アップサンプリングにより前記原画像が再生される際に用いられるフィルタリング処理用のフィルタリングパラメータを決定するフィルタリングパラメータ決定手段と、前記ダウンサンプリング手段により生成された前記空間周波数ダウンサンプリング画像、及び前記フィルタリングパラメータ決定手段により決定された前記フィルタリングパラメータのうち、少なくとも前記空間周波数ダウンサンプリング画像を符号化する符号化手段と、を備えたことを特徴とする。
【０００８】
また、請求項２の発明は、請求項１に記載の画像符号化装置において、前記ダウンサンプリング手段が、原画像をオクターブ分解フィルタバンク処理し、分解階数ｎ（ｎは整数）の低周波領域成分の空間周波数ダウンサンプリング画像を生成し、前記フィルタリングパラメータ決定手段が、前記ダウンサンプリング手段により生成された分解階数ｎの低周波領域成分を前記オクターブ分解フィルタバンク処理し、分解階数ｎ＋１における水平、垂直及び斜めの高周波領域成分を求め、これらの水平、垂直及び斜めの高周波領域成分の各々を空間低周波領域成分とし、ゼロ行列を空間高周波領域成分として、オクターブ再構成フィルタバンク処理にて拡大し、拡大して得られた分解階数ｎの水平、垂直及び斜めの高周波領域成分を任意のフィルタリングパラメータを用いてフィルタリング処理し、フィルタリング処理して得られた分解階数ｎの水平、垂直及び斜めの高周波領域成分を空間高周波領域成分とし、この空間高周波領域成分と分解階数ｎの前記低周波領域成分に対してオクターブ再構成フィルタバンク処理により拡大し、拡大して得られた分解階数ｎ−１の低周波領域成分と、前記ダウンサンプリング手段により生成された分解階数ｎ−１の低周波領域成分とを比較し、この差分値が最も小さくなるように前記フィルタリングパラメータの値を変化させることで、前記フィルタリングパラメータを決定することを特徴とする。
【０００９】
また、請求項３の発明は、請求項２に記載の画像符号化装置において、前記オクターブ分解フィルタバンク処理として、ウェーブレット分解を用いることを特徴とする。
【００１０】
また、請求項４の発明は、請求項２または３に記載の画像符号化装置において、前記オクターブ再構成フィルタバンク処理として、ウェーブレット再構成を用いることを特徴とする。
【００１１】
また、請求項５の発明は、請求項１から４までのいずれか一項に記載の画像符号化装置において、前記フィルタリング処理にガウシアンフィルタ処理を用い、前記フィルタリングパラメータにガウシアンフィルタの分散値を用いることを特徴とする。
【００１２】
また、請求項６の画像復号装置の発明は、請求項２から５までのいずれか一項に記載の画像符号化装置により符号化された空間周波数ダウンサンプリング画像を復号する復号手段と、前記復号手段により復号された前記空間周波数ダウンサンプリング画像である分解階数ｎの低周波領域成分をオクターブ分解フィルタバンク処理し、この処理で得られた分解階数ｎ＋１の水平、垂直及び斜めの高周波領域成分の各々を空間低周波領域成分とし、ゼロ行列を空間高周波領域成分として、オクターブ再構成フィルタバンク処理にて拡大し、拡大した分解階数ｎの水平、垂直及び斜めの高周波領域成分の各々を、前記画像符号化装置により決定された前記フィルタリングパラメータを用いてフィルタリング処理し、フィルタリング処理して得られた分解階数ｎの水平、垂直及び斜めの高周波領域成分と空間周波数アップサンプリング前の分解階数ｎの低周波領域成分を用いてオクターブ再構成フィルタバンク処理を行い、空間周波数アップサンプリングするアップサンプリング手段と、を備えたことを特徴とする。
【００１３】
また、請求項７の発明は、コンピュータを、請求項１から５までのいずれか一項に記載の画像符号化装置として機能させるための画像符号化プログラムである。
【００１４】
また、請求項８の発明は、コンピュータを、請求項６に記載の画像復号装置として機能させるための画像復号プログラムである。
【発明の効果】
【００１５】
本発明によれば、原画像をオクターブ分解フィルタバンク処理し、空間周波数ダウンサンプリング画像を生成して符号化すると共に、生成した空間周波数ダウンサンプリング画像に基づいて、空間周波数アップサンプリングにより原画像に最も近い画像を再生可能とするフィルタリングパラメータを決定するようにした。これにより、原画像をダウンサンプリングして得られた空間周波数ダウンサンプリング画像を受信側へ送信しても、受信側は、そのフィルタリングパラメータを用いて空間周波数アップサンプリングを行うことにより、従来よりも高画質な画像を再生することができる。
【図面の簡単な説明】
【００１６】
【図１】本発明の実施例による画像符号化装置の概略構成を示すブロック図である。
【図２】画像符号化装置の機能ブロック図である。
【図３】画像符号化装置におけるダウンサンプリング処理の様子を示す図である。
【図４】画像符号化装置における分散値決定処理の概要を示す図である。
【図５】画像符号化装置における分散値決定処理の概要を示すフローチャートである。
【図６】画像符号化装置における符号化及び送信処理を示すフローチャートである。
【図７】画像符号化装置における分散値決定処理の変形例の概要を示す図である。
【図８】本発明の実施例による画像復号装置の概略構成を示すブロック図である。
【図９】画像復号装置の機能ブロック図である。
【図１０】画像復号装置における受信及び復号処理を示すフローチャートである。
【図１１】画像復号装置におけるアップサンプリング処理の様子を示す図である。
【図１２】画像復号装置におけるアップサンプリング処理の概要を示すフローチャートである。
【発明を実施するための形態】
【００１７】
以下、本発明を実施するための最良の形態について、図面を参照して説明する。以下に説明する本発明の実施例は、ウェーブレット分解を用いて原画像を空間周波数ダウンサンプリング（以下、”ダウンサンプリング”という。）し、これにより得られた空間周波数ダウンサンプリング画像（以下、”ダウンサンプリング画像”という。）を符号化して伝送する画像符号化装置を想定している。なお、実施例では、ダウンサンプリングにウェーブレット分解を用いるが、線形フィルタなどを用いることも可能である。すなわち、オクターブ分解フィルタバンク処理を行えるものであれば、どのようなものでも使用可能である。
【００１８】
（画像符号化装置の構成）
図１は、本発明の実施例による画像符号化装置１の概略構成を示すブロック図である。この画像符号化装置１は、原画像Ｆをウェーブレット分解してダウンサンプリングし、低解像度のダウンサンプリング画像ＣＡ（ｎ）（ｎ：分解階数）を出力するダウンサンプリング部（ダウンサンプリング手段）１０と、ダウンサンプリング部１０でウェーブレット分解して得られたダウンサンプリング画像ＣＡ（ｎ），ＣＡ（ｎ−１）を基に、後述するアップサンプリング処理で用いるガウシアンフィルタの分散値σＣＨ（ｎ），σＣＶ（ｎ），σＣＤ（ｎ）（下付符号ＣＨ，ＣＶ，ＣＤは、水平、垂直、斜め方向の高周波成分を示す）を決定する分散値決定部（フィルタリングパラメータ決定手段）１１と、ダウンサンプリング部１０でウェーブレット分解して得られたダウンサンプリング画像ＣＡ（ｎ）を符号化する符号化部（符号化手段）１２と、符号化部１２で符号化されたダウンサンプリング画像ＥｎＣＡ（ｎ）及び分散値決定部１１で決定されたガウシアンフィルタの分散値σＣＨ（ｎ），σＣＶ（ｎ），σＣＤ（ｎ）を放送波として送信する送信部１３と、を備えて構成される。なお、ガウシアンフィルタの分散値は情報量が少ないことから本実施例では符号化してないが、符号化しても構わない。
【００１９】
図２は、画像符号化装置１の機能ブロック図である。空間ウェーブレット分解処理は、前述したダウンサンプリング部１０で行われる処理であり、各ｎ階空間高周波成分へのガウシアンフィルタ適用処理、空間ウェーブレット拡大処理及び画像比較処理は、分散値決定部１１で行われる処理である。以下、ダウンサンプリング部１０、分散値決定部１１、符号化部１２及び送信部１３における処理を詳細に説明する。
【００２０】
（ダウンサンプリング部１０におけるダウンサンプリング処理）
本実施例ではダウンサンプリング処理にウェーブレット分解を用いる。ウェーブレット分解階数は縮小したいサイズにより決定される。縮小したいサイズが縦、横とも１／２ｎの場合、分解階数はｎ＋１となる。例えば、縮小したいサイズが縦、横とも１／２１の場合、分解階数は２となる。なお、ダウンサンプリング処理に用いるウェーブレットをｗａｖｅｌｅｔ＿ｎとし、分解階数がｎ階の水平低周波・垂直低周波の周波数成分をＣＡ（ｎ）（χ，Ψ）、水平高周波・垂直低周波成分をＣＨ（ｎ）（χ，Ψ）、水平低周波・垂直高周波成分をＣＶ（ｎ）（χ，Ψ）、水平高周波・垂直高周波成分をＣＤ（ｎ）（χ，Ψ）とする。水平と垂直の（ｘ，ｙ）を（χ，Ψ）と表示したのは、解像度を変換すると、縦、横とも標本が半分になってしまうので、（ｘ，ｙ）と表示せず、（χ，Ψ）と表示している。
【００２１】
ダウンサンプリング部１０は、原画像Ｆ（ｘ，ｙ，ｔ）に対し、ｎ階離散ウェーブレット分解ＤＷＴ（ｎ）（Ｆ（ｘ，ｙ，ｔ），ｗａｖｅｌｅｔ＿ｎ）を用いて、式（１）のように分解する。ｔは時間を示す。
［数式１］
[ＣＡ（ｎ），ＣＨ（ｎ），ＣＶ（ｎ），ＣＤ（ｎ）]＝ＤＷＴ（ｎ）（Ｆ（ｘ，ｙ，ｔ），ｗａｖｅｌｅｔ＿ｎ） ・・・（１）
【００２２】
図３は、ダウンサンプリング処理の様子を示す図である。１階離散ウェーブレット分解ＤＷＴ（１）により、原画像Ｆから水平低周波・垂直低周波の周波数成分ＣＡ（１）、水平高周波・垂直低周波成分ＣＨ（１）、水平低周波・垂直高周波成分ＣＶ（１）、水平高周波・垂直高周波成分ＣＤ（１）が得られる。そして、ＣＡ（１）から水平低周波・垂直低周波の周波数成分ＣＡ（２）、水平高周波・垂直低周波成分ＣＨ（２）、水平低周波・垂直高周波成分ＣＶ（２）、水平高周波・垂直高周波成分ＣＤ（２）が得られる。最終的に求めるダウンサンプリング画像はｎ階離散ウェーブレット分解成分ＣＡ（ｎ）となる。
【００２３】
（分散値決定部１１におけるガウシアンフィルタの分散値σＣＨ（ｎ），σＣＶ（ｎ），σＣＤ（ｎ）の決定処理）
図４は、分散値決定部１１の処理の概要を示す図である。まず、分散値決定部１１は、分解階数ｎの低周波領域成分ＣＡ（ｎ）を１階離散ウェーブレット分解して、分解階数ｎ＋１における水平、垂直、斜め方向の各高周波領域成分ＣＨ（ｎ＋１），ＣＶ（ｎ＋１），ＣＤ（ｎ＋１）を得る（ステップＳ１）。そして、水平、垂直、斜め方向の各高周波領域成分ＣＨ（ｎ＋１），ＣＶ（ｎ＋１），ＣＤ（ｎ＋１）の各々を空間低周波領域成分とし、同じサイズのゼロ行列を空間高周波領域成分として１階離散ウェーブレット再構成により、水平、垂直方向に２倍拡大し、ＥｘＣＨ（ｎ），ＥｘＣＶ（ｎ），ＥｘＣＤ（ｎ）を得る（ステップＳ２）。
【００２４】
式（２）に、ＣＨ（ｎ＋１）を空間低周波領域成分、同じサイズのゼロ行列を空間高周波領域成分として１階離散ウェーブレット再構成した式を示す。０はゼロ行列を示す。
［数式２］
ＥｘＣＨ（ｎ）＝ＩＤＷＴ（１）（ＣＨ（ｎ＋１），０，０，０，ｗａｖｅｌｅｔ＿ｎ） ・・・（２）
【００２５】
水平、垂直方向に２倍拡大したＥｘＣＨ（ｎ），ＥｘＣＶ（ｎ），ＥｘＣＤ（ｎ）を得た後、ガウシアンフィルタの分散値σＣＨ（ｎ），σＣＶ（ｎ），σＣＤ（ｎ）を用いたガウシアンフィルタによるフィルタリングを行い、ＧＥｘＣＨ（ｎ），ＧＥｘＣＶ（ｎ），ＧＥｘＣＤ（ｎ）を得る（ステップＳ３）。この場合、ガウシアンフィルタの分散値σＣＨ（ｎ），σＣＶ（ｎ），σＣＤ（ｎ）は、初期値として任意の値または経験値が用いられる。例えば、ガウシアンフィルタの分散値σＣＨ（ｎ），σＣＶ（ｎ），σＣＤ（ｎ）のそれぞれを０．１から０．１刻みで変化させるものとすると、初期値は、例えばσＣＨ（ｎ）＝０．１，σＣＶ（ｎ）＝０．１，σＣＤ（ｎ）＝０．１となる。
【００２６】
ガウシアンフィルタによるフィルタリングを行って、ＧＥｘＣＨ（ｎ）、ＧＥｘＣＶ（ｎ）、ＧＥｘＣＤ（ｎ）を得た後、低周波領域成分ＣＡ（ｎ）を空間低周波領域成分とし、ＧＥｘＣＨ（ｎ），ＧＥｘＣＶ（ｎ），ＧＥｘＣＤ（ｎ）を空間高周波領域成分として、１階離散ウェーブレット再構成により水平、垂直方向に２倍拡大し、ＧＥｘＣＡ（ｎ−１）を得る（ステップＳ４）。
【００２７】
ＧＥｘＣＡ（ｎ−１）を得た後、ＣＡ（ｎ−１）との間の差分値を計算する。今回の差分値が前回の差分値より小さければ、今回の差分値と今回使用したガウシアンフィルタの分散値σＣＨ（ｎ），σＣＶ（ｎ），σＣＤ（ｎ）をそれぞれ記憶する。なお、分散値決定部１１は図示しないメモリを有しており、このメモリに今回の差分値と今回使用したガウシアンフィルタの分散値σＣＨ（ｎ），σＣＶ（ｎ），σＣＤ（ｎ）を記憶する。最初の１回目は前回の差分値が無いことから、今回算出した差分値と今回使用したガウシアンフィルタの分散値σＣＨ（ｎ），σＣＶ（ｎ），σＣＤ（ｎ）をそのまま記憶する。また、画像の評価方法としては、平均二乗誤差（ＭＳＥ：Mean Square Error)があり、この評価方法を用いるとよい。
【００２８】
以上のステップＳ１〜ステップＳ５の処理をガウシアンフィルタの分散値σＣＨ（ｎ），σＣＶ（ｎ），σＣＤ（ｎ）を変化させながら繰り返し行い、ＧＥｘＣＡ（ｎ−１）とＣＡ（ｎ−１）との間の差分値が最も小さくなるときのガウシアンフィルタの分散値σＣＨ（ｎ），σＣＶ（ｎ），σＣＤ（ｎ）を決定する。決定したガウシアンフィルタの分散値σＣＨ（ｎ），σＣＶ（ｎ），σＣＤ（ｎ）をダウンサンプリング画像ＥｎＣＡ（ｎ）と共に、受信側（後述する画像復号装置２）へ送信する。受信側では、ガウシアンフィルタの分散値σＣＨ（ｎ），σＣＶ（ｎ），σＣＤ（ｎ）を受信して使用することにより、ダウンサンプリング画像ＥｎＣＡ（ｎ）から原画像に最も近い画像を再生することができる。
【００２９】
図５は、ガウシアンフィルタの分散値σＣＨ（ｎ），σＣＶ（ｎ），σＣＤ（ｎ）を決定する処理の概要を示すフローチャートである。画像符号化装置１は、原画像Ｆ（ｘ，ｙ，ｔ）を空間ウェーブレット分解し、各ｎ階のガウシアンフィルタの分散値σＣＨ（ｎ），σＣＶ（ｎ），σＣＤ（ｎ）を決定して、ＣＡ（ｎ）と共に出力する。
【００３０】
なお、線形（直線）位相特性を持つＨａａｒ等のウェーブレット以外のウェーブレットを用いる場合は、ＥｘＣＨ（ｎ），ＥｘＣＶ（ｎ），ＥｘＣＤ（ｎ）の位相に注意する必要がある。ＥｘＣＨ（ｎ），ＥｘＣＶ（ｎ），ＥｘＣＤ（ｎ）を水平、垂直位相（φμ，φν）分だけずらした画像ＥｘＣＨ（ｎ）（χ＋φμ，Ψ＋φν），ＥｘＣＶ（ｎ）（χ＋φμ，Ψ＋φν），ＥｘＣＤ（ｎ）（χ＋φμ，Ψ＋φν）についてＧＥｘＣＨ（ｎ），ＧＥｘＣＶ（ｎ），ＧＥｘＣＤ（ｎ）を得て、位相を変化させながら最終的にガウシアンフィルタの分散値σＣＨ（ｎ），σＣＶ（ｎ），σＣＤ（ｎ）を決定するとよい。但し、本実施例では、ガウシアンフィルタの分散値σＣＨ（ｎ），σＣＶ（ｎ），σＣＤ（ｎ）を変化させながらＣＡ（ｎ−１）とＧＥｘＣＡ（ｎ−１）を比較するため、この部分で位相ずれによる劣化はある程度吸収される。このため、処理量も多く大規模回路処理となる位相合わせ処理は必ずしも必要ではない。
【００３１】
（分散値決定部１１におけるガウシアンフィルタの分散値σＣＨ（ｎ），σＣＶ（ｎ），σＣＤ（ｎ）の決定処理の詳細）
分散値決定部１１は、階層ｎ＋１における斜め方向高周波領域成分ＣＤ（ｎ＋１）を、水平、垂直方向に２倍拡大した後（図４のステップＳ２）、ガウシアンフィルタを用いてフィルタリングする（図４のステップＳ３）。式（３）にガウシアンフィルタを示す。
［数式３］
Ｇａｕｓｓ（ｘ，ｙ，σ）＝ｅｘｐ（−（ｘ２＋ｙ２）／２σ２） ・・・（３）
【００３２】
式（３）のσ２は分散を表す。斜め方向高周波領域成分ＣＤ（ｎ＋１）を水平、垂直方向に２倍拡大してＥｘＣＤ（ｎ）を得た後（図４のステップＳ２）、式（３）のガウシアンフィルタを用いて式（４）に示すフィルタリング処理を行い（図４のステップＳ３）、ＧＥｘＣＤ（ｎ）を得る。なお、式（３）のσは、本処理がＥｘＣＤ（ｎ）のフィルタリングを行う処理内であるため、σＣＤ（ｎ）となる。
【００３３】
［数式４］
【００３４】
また、分散値決定部１１は、階層ｎ＋１における水平方向高周波領域成分ＣＨ（ｎ＋１）、垂直方向高周波領域成分ＣＶ（ｎ＋１）を、水平、垂直方向に２倍拡大した後、方向性拡張したガウシアンフィルタを用いて拡大する。式（５）に方向性拡張したガウシアンフィルタを示す。
［数式５］
ＥｘＧａｕｓｓ（ｘ，ｙ，α，β，σ）＝ｅｘｐ（−（αｘ２＋βｙ２）／２σ２）
・・・（５）
【００３５】
式（５）のα，βは方向性拡張係数であり、水平方向高周波領域成分ＣＨ（ｎ）の場合はα＝１，β＝０、垂直方向高周波領域成分ＣＶ（ｎ）の場合はα＝０，β＝１となる。以下では、σＣＨ（ｎ）を決定する場合のみを説明するが、σＣＤ（ｎ）も同様に決定することができる。
【００３６】
階層ｎ＋１における水平方向高周波領域成分ＣＨ（ｎ＋１）を水平、垂直方向に２倍拡大してＥｘＣＨ（ｎ）を得た後、式（５）の方向性拡張したガウシアンフィルタを用いて、式（６）に示すフィルタリング処理を行い、ＧＥｘＣＨ（ｎ）を得る。なお、式（５）のσは、本処理がＣＨ（ｎ）のフィルタリングを行う処理内であるため、σＣＨ（ｎ）となる。
［数式６］
【００３７】
以上の処理により、分散値決定部１１は、ガウシアンフィルタの分散値σＣＨ（ｎ），σＣＶ（ｎ），σＣＤ（ｎ）を計算した後、ＣＡ（ｎ），ＧＥｘＣＨ（ｎ），ＧＥｘＣＶ（ｎ），ＧＥｘＣＤ（ｎ）を用いて１階離散ウェーブレット再構成を行い（図４のステップＳ４）、ＧＥｘＣＡ（ｎ−１）を得る。最後に、式（７）に示すように、ＣＡ（ｎ−１）の領域とＧＥｘＣＡ（ｎ−１）の領域における平均二乗誤差（ＲＭＳ)の計算を行い、ＲＭＳ(ＣＡ（ｎ−１）)及びＲＭＳ(ＧＥｘＣＡ（ｎ−１）)を得て、その差分値を計算する（図４のステップＳ５）。以上の処理をガウシアンフィルタの分散値σＣＨ（ｎ），σＣＶ（ｎ），σＣＤ（ｎ）の値を変化させながら行い、Ｄｉｆｆ＿ｒｍｓ（σＣＨ（ｎ），σＣＶ（ｎ），σＣＤ（ｎ））が最小となるガウシアンフィルタの分散値σＣＨ（ｎ），σＣＶ（ｎ），σＣＤ（ｎ）を求める。
【００３８】
［数式７］
Ｄｉｆｆ＿ｒｍｓ（σＣＨ（ｎ），σＣＶ（ｎ），σＣＤ（ｎ））＝
ＲＭＳ（ＣＡ（ｎ−１）（σＣＨ（ｎ），σＣＶ（ｎ），σＣＤ（ｎ）））−ＲＭＳ（ＧＥｘＣＡ（ｎ−１）（σＣＨ（ｎ），σＣＶ（ｎ），σＣＤ（ｎ））
σＣＨ（ｎ）＝ａｒｇｍｉｎ（Ｄｉｆｆ＿ｒｍｓ（σＣＨ（ｎ）））
σＣＶ（ｎ）＝ａｒｇｍｉｎ（Ｄｉｆｆ＿ｒｍｓ（σＣＶ（ｎ））） ・・・（７）
σＣＤ（ｎ）＝ａｒｇｍｉｎ（Ｄｉｆｆ＿ｒｍｓ（σＣＤ（ｎ）））
【００３９】
（符号化部１２における符号化処理）
符号化部１２は、式（１）で求めたＣＡ（ｎ）を符号化する。本実施例では、ダウンサンプリング処理とアップサンプリング処理を１フレーム単位で行うため、符号化部１２は、ＪＰＥＧ、ＪＰＥＧ２００、ＭＰＥＧ−２、Ｈ．２６４｜ＭＰＥＧ−４ ＡＶＣ等の様々な符号化方法を用いることができる。
【００４０】
（送信部１３における送信処理）
送信部１３は、符号化部１２で符号化されたＥｎＣＡ（ｎ）を放送波として送信する。このとき、例えば、ＭＰＥＧ−２ ＴＳのヘッダに、分散値決定部１１により決定されたガウシアンフィルタの分散値σＣＨ（ｎ），σＣＶ（ｎ），σＣＤ（ｎ）を収容して送信する。図６は、符号化及び送信処理を示すフローチャートである。画像符号化装置１は、ＣＡ（ｎ）を符号化してＥｎＣＡ（ｎ）を得て、ＥｎＣＡ（ｎ）と共にガウシアンフィルタの分散値σＣＨ（ｎ），σＣＶ（ｎ），σＣＤ（ｎ）を送信する。
【００４１】
以上説明したように、画像符号化装置１は、原画像Ｆをウェーブレット分解してダウンサンプリングし、低解像度のダウンサンプリング画像ＣＡ（ｎ）を求めて符号化する。また、画像符号化装置１は、ダウンサンプリング画像ＣＡ（ｎ），ＣＡ（ｎ−１）に基づいて、アップサンプリング処理により原画像に最も近い画像を生成可能なガウシアンフィルタの分散値σＣＨ（ｎ），σＣＶ（ｎ），σＣＤ（ｎ）を決定し、符号化したダウンサンプリング画像ＥｎＣＡ（ｎ）とガウシアンフィルタの分散値σＣＨ（ｎ），σＣＶ（ｎ），σＣＤ（ｎ）とを送信する。
【００４２】
ガウシアンフィルタの分散値σＣＨ（ｎ），σＣＶ（ｎ），σＣＤ（ｎ）は、以下のようにして決定する。すなわち、低周波領域成分ＣＡ（ｎ）に対してウェーブレット分解を行い、これにより得られた水平高周波領域成分ＣＨ（ｎ＋１），垂直高周波領域成分ＣＶ（ｎ＋１），斜め高周波領域成分ＣＤ（ｎ＋１）の各々を空間低周波領域成分、同じサイズのゼロ行列を空間高周波領域成分として１階離散ウェーブレット再構成により水平、垂直方向に２倍拡大してＥｘＣＨ（ｎ），ＥｘＣＶ（ｎ），ＥｘＣＤ（ｎ）を得る。そして、それらに対し、任意の分散値σＣＨ（ｎ），σＣＶ（ｎ），σＣＤ（ｎ）を用いたガウシアンフィルタによるフィルタリングを行い、ＧＥｘＣＨ（ｎ），ＧＥｘＣＶ（ｎ），ＧＥｘＣＤ（ｎ）を得る。次いで、ＣＡ（ｎ）を空間低周波領域成分とし、ＧＥｘＣＨ（ｎ），ＧＥｘＣＶ（ｎ），ＧＥｘＣＤ（ｎ）を空間高周波領域成分として、１階離散ウェーブレット再構成により水平、垂直方向に２倍拡大してＧＥｘＣＡ（ｎ−１）を得る。そして、得られたＧＥｘＣＡ（ｎ−１）と同じ分解階数のＣＡ（ｎ−１）と比較し、この差分値が最も小さくなるガウシアンフィルタの分散値σＣＨ（ｎ），σＣＶ（ｎ），σＣＤ（ｎ）を決定する。
【００４３】
これにより、原画像Ｆをダウンサンプリングして得られた空間周波数ダウンサンプリング画像を送信しても、受信側では、原画像Ｆに最も近い高画質な画像を再生することができる。
【００４４】
なお、本実施例では、ＧＥｘＣＡ（ｎ−１）とＣＡ（ｎ−１）とを比較することにより、ガウシアンフィルタの分散値σＣＨ（ｎ），σＣＶ（ｎ），σＣＤ（ｎ）を決定するようにしたが、ＣＨ（ｎ）とＧＥｘＣＨ（ｎ）、ＣＶ（ｎ）とＧＥｘＣＶ（ｎ）、及びＣＤ（ｎ）とＧＥｘＣＤ（ｎ）のそれぞれを比較することにより、ガウシアンフィルタの分散値σＣＨ（ｎ），σＣＶ（ｎ），σＣＤ（ｎ）を決定するようにしてもよい。
【００４５】
図７は、画像符号化装置における分散値決定処理の変形例の概要を示す図である。分散値決定部１１は、ＣＨ（ｎ）とＧＥｘＣＨ（ｎ）の比較において平均二乗誤差（ＭＳＥ）が最小となる分散値σＣＨ（ｎ）を求める。また、ＣＶ（ｎ）とＧＥｘＣＶ（ｎ）の比較において平均二乗誤差が最小となる分散値σＣＶ（ｎ）を求める。また、ＣＤ（ｎ）とＧＥｘＣＤ（ｎ）の比較において平均二乗誤差が最小となる分散値σＣＤ（ｎ）を求める。
【００４６】
画像符号化装置１のハード構成としては、通常のコンピュータを使用することができる。すなわち、ＣＰＵ(Central Processing Unit)、ＲＡＭ(Random Access Memory)等の揮発性の記憶媒体、ＲＯＭ(Read Only Memory)等の不揮発性の記憶媒体、及びインターフェース等を備えたコンピュータによって構成できる。画像符号化装置１を構成するダウンサンプリング部１０、分散値決定部１１、符号化部１２、送信部１３の各機能は、これらの機能を記述したプログラムをＣＰＵに実行させることによりそれぞれ実現できる。これらのプログラムは、磁気ディスク（フロッピー（登録商標）ディスク、ハードディスク等）、光ディスク（ＣＤ−ＲＯＭ、ＤＶＤ等）、半導体メモリ等の記憶媒体に格納して頒布することもできる。
【００４７】
（画像復号装置の構成）
次に、本発明の実施例による画像復号装置について説明する。図８は、画像復号装置の概略構成を示すブロック図である。この画像復号装置２は、前述した画像符号化装置１から送信されたダウンサンプリング画像ＥｎＣＡ（ｎ）及びガウシアンフィルタの分散値σＣＨ（ｎ），σＣＶ（ｎ），σＣＤ（ｎ）を受信する受信部２０と、受信部２０で受信されたダウンサンプリング画像ＥｎＣＡ（ｎ）を復号する復号部（復号手段）２１と、受信部２０で受信されたガウシアンフィルタの分散値σＣＨ（ｎ），σＣＶ（ｎ），σＣＤ（ｎ）を用いて、復号部２１で復号されたダウンサンプリング画像ＥｎＤｅＣＡ（ｎ）をアップサンプリング処理するアップサンプリング部（アップサンプリング手段）２２と、を備えて構成される。
【００４８】
図１０は、受信部２０と復号部２１の処理を示すフローチャートである。受信部２０は、符号化されたダウンサンプリング画像ＥｎＣＡ（ｎ）とガウシアンフィルタの分散値σＣＨ（ｎ），σＣＶ（ｎ），σＣＤ（ｎ）を受信し、復号部２１は、ダウンサンプリング画像ＥｎＣＡ（ｎ）を復号してＥｎＤｅＣＡ（ｎ）を得る。
【００４９】
図９は、画像復号装置２の機能ブロック図である。空間ウェーブレット分解処理、各ｎ階空間高周波成分へのガウシアンフィルタ適用処理及び空間ウェーブレット拡大処理は、アップサンプリング部２２にて行われる処理である。以下、アップサンプリング部２２における処理を説明する。
【００５０】
（アップサンプリング部２２におけるアップサンプリング処理）
図１１は、アップサンプリング処理の様子を示す図である。まず、アップサンプリング部２２は、式（８）に示すように、ＥｎＣＡ（ｎ）を受信して復号して得られたＥｎＤｅＣＡ（ｎ）を１階離散ウェーブレット分解ＤＷＴ（１）し、ＥｎＤｅＣＡ（ｎ＋１），ＥｎＤｅＣＨ（ｎ＋１），ＥｎＤｅＣＶ（ｎ＋１），ＥｎＤｅＣＤ（ｎ＋１）を得る（ステップＳ１１）。
［数式８］
［ＥｎＤｅＣＡ（ｎ＋１），ＥｎＤｅＣＨ（ｎ＋１），ＥｎＤｅＣＶ（ｎ＋１），ＥｎＤｅＣＤ（ｎ＋１）］＝ＤＷＴ（１）（ＥｎＤｅＣＡ（ｎ），ｗａｖｅｌｅｔ＿ｎ）
・・・（８）
【００５１】
そして、ＥｎＤｅＣＨ（ｎ＋１），ＥｎＤｅＣＶ（ｎ＋１），ＥｎＤｅＣＤ（ｎ＋１）と分散値σＣＨ（ｎ），σＣＶ（ｎ），σＣＤ（ｎ）を用いて、水平、垂直、斜め方向拡大成分を計算する。ＥｎＤｅＣＤ（ｎ＋１）に対し、空間低周波領域成分にＥｎＤｅＣＤ（ｎ＋１）、空間高周波領域成分に同じサイズのゼロ行列をおいて１階離散ウェーブレット再構成して水平２倍、垂直２倍拡大成分ＥｘＥｎＤｅＣＤ（ｎ）を得る（ステップＳ１２）。同様に、ＥｎＤｅＣＨ（ｎ＋１）とＥｎＤｅＣＶ（ｎ＋１）に対し、１階離散ウェーブレット再構成して水平２倍、垂直２倍拡大成分ＥｘＥｎＤｅＣＨ（ｎ），ＥｘＥｎＤｅＣＶ（ｎ）を得る（ステップＳ１２）。
【００５２】
そして、ＥｘＥｎＤｅＣＨ（ｎ），ＥｘＥｎＤｅＣＶ（ｎ），ＥｘＥｎＤｅＣＤ（ｎ）に対し、分散値σＣＨ（ｎ），σＣＶ（ｎ），σＣＤ（ｎ）のガウシアンフィルタにてフィルタリング処理を行い、ＧＥｘＥｎＤｅＣＨ（ｎ），ＧＥｘＥｎＤｅＣＶ（ｎ），ＧＥｘＥｎＤｅＣＤ（ｎ）を得る（ステップＳ１３）。
【００５３】
そして、式（９）に示すように、ＥｎＤｅＣＡ（ｎ）,ＧＥｘＥｎＤｅＣＨ（ｎ）,ＧＥｘＥｎＤｅＣＶ（ｎ）,ＧＥｘＥｎＤｅＣＤ（ｎ）を用いて、１階離散ウェーブレット再構成を行う（ステップＳ１４）。
［数式９］
［ＥｎＤｅＣＡ（ｎ−１）］＝ＩＤＷＴ（１）(ＥｎＤｅＣＡ（ｎ）, ＧＥｘＥｎＤｅＣＨ（ｎ）, ＧＥｘＥｎＤｅＣＶ（ｎ）, ＧＥｘＥｎＤｅＣＤ（ｎ）,ｗａｖｅｌｅｔ＿ｎ） ・・・（９）
【００５４】
以降、ｎ＝ｎ−１として、アップサンプリング方法内の処理をｎ＝０となるまで繰り返す（ステップＳ１５）。
【００５５】
図１２は、アップサンプリング部２２におけるアップサンプリング処理の概要を示すフローチャートである。アップサンプリング部２２は、復号して得られたＥｎＤｅＣＡ（ｎ）を空間ウェーブレット分解してＥｎＤｅＣＨ（ｎ＋１），ＥｎＤｅＣＶ（ｎ＋１），ＥｎＤｅＣＤ（ｎ＋１）を得た後、これらをウェーブレット再構成してＥｘＥｎＤｅＣＨ（ｎ），ＥｘＥｎＤｅＣＶ（ｎ），ＥｘＥｎＤｅＣＤ（ｎ）を得る。そして、分散値σＣＨ（ｎ），σＣＶ（ｎ），σＣＤ（ｎ）のガウシアンフィルタでフィルタリングを行い、ＧＥｘＥｎＤｅＣＨ（ｎ），ＧＥｘＥｎＤｅＣＶ（ｎ），ＧＥｘＥｎＤｅＣＤ（ｎ）を得て、これらとＥｎＤｅＣＡ（ｎ）を用いてウェーブレット再構成を行う。以上の処理をｎ＝ｎ−１として、ｎ＝０となるまで繰り返す。
【００５６】
以上のように、図８に示した画像復号装置２によれば、受信して復号したダウンサンプリング画像ＥｎＤｅＣＡ（ｎ）をウェーブレット分解し、これにより得られた水平高周波領域成分ＥｎＤｅＣＨ（ｎ＋１），垂直高周波領域成分ＥｎＤｅＣＶ（ｎ＋１），斜め高周波領域成分ＥｎＤｅＣＤ（ｎ＋１）の各々を空間低周波領域成分、ゼロ行列を空間高周波領域成分としてウェーブレット再構成で拡大し、これにより得られた水平高周波領域成分ＥｘＥｎＤｅＣＨ（ｎ），垂直高周波領域成分ＥｘＥｎＤｅＣＶ（ｎ），斜め高周波領域成分ＥｘＥｎＤｅＣＤ（ｎ）を、受信したガウシアンフィルタの分散値σＣＨ（ｎ），σＣＶ（ｎ），σＣＤ（ｎ）を用いてフィルタリングを行い、これにより得られた水平高周波領域成分ＧＥｘＥｎＤｅＣＨ（ｎ），垂直高周波領域成分ＧＥｘＥｎＤｅＣＶ（ｎ），斜め高周波領域成分ＧＥｘＥｎＤｅＣＤ（ｎ）とダウンサンプリング前のＥｎＤｅＣＡ（ｎ）を用いてウェーブレット再構成を行うので、原画像Ｆに最も近い高画質な画像を再生することができる。
【００５７】
画像復号装置２のハード構成としては、通常のコンピュータを使用することができる。すなわち、ＣＰＵ、ＲＡＭ等の揮発性の記憶媒体、ＲＯＭ等の不揮発性の記憶媒体、及びインターフェース等を備えたコンピュータによって構成できる。画像復号装置２を構成する受信部２０、復号部２１、アップサンプリング部２２の各機能は、これらの機能を記述したプログラムをＣＰＵに実行させることによりそれぞれ実現できる。これらのプログラムは、磁気ディスク（フロッピー（登録商標）ディスク、ハードディスク等）、光ディスク（ＣＤ−ＲＯＭ、ＤＶＤ等）、半導体メモリ等の記憶媒体に格納して頒布することもできる。
【００５８】
以上、実施例を挙げて本発明を説明したが、本発明は前記実施例に限定されるものではなく、その技術思想を逸脱しない範囲で種々変形可能である。前記実施例では、画像符号化装置１が、ダウンサンプリング画像及びガウシアンフィルタの分散値を送信し、画像復号装置２が、ガウシアンフィルタの分散値を用いてダウンサンプリング画像をアップサンプリングし、高画質な画像を再生するようにしたが、本発明は、空間周波数ダウンサンプリングとアップサンプリングを行う処理全般に適用がある。例えば、画像符号化装置１が、空間周波数をダウンサンプリングした後、空間周波数ダウンサンプリング画像の圧縮符号化信号と、空間周波数ダウンサンプリング時に得られた付加情報を画像復号装置２へ送信する。そして、画像復号装置２は、空間周波数ダウンサンプリング画像の圧縮符号化信号及び付加情報を受信し、圧縮符号化信号の復号の後に空間周波数アップサンプリングを行う。これにより、低画質劣化かつ低伝送容量の圧縮符号化が可能となる。また、ストレージメディアへ圧縮記録するなどの処理にも適用がある。
【００５９】
また、本発明は、ＪＰＥＧ２０００を用いてフレーム単位で圧縮符号化を行うデジタルシネマ圧縮符号化処理の前段または後段に用いることができる。また、Ｈ．２６４｜ＭＰＥＧ−４ ＡＶＣで圧縮符号化が検討されているスーパーハイビジョン圧縮符号化処理の前段または後段に用いることができる。また、将来の新しい圧縮符号化方式と組み合わせて用いることも可能である。
【符号の説明】
【００６０】
１ 画像符号化装置
２ 画像復号装置
１０ ダウンサンプリング部
１１ 分散値決定部
１２ 符号化部
１３ 送信部
２０ 受信部
２１ 復号部
２２ アップサンプリング部
【技術分野】
【０００１】
本発明は、高精細画像の伝送を行う機器に用いて好適な画像符号化装置、画像復号装置及びプログラムに関する。
【背景技術】
【０００２】
近年、画像符号化の分野ではデジタル画像の高精細化が進んでいる。高精細画像は膨大な情報量を持つため、限られた帯域で伝送するためには高圧縮符号化する必要がある。しかしながら、膨大な情報量を持つ高精細画像を既存の符号化で処理し伝送するには限界がある。そこで、線形ＬＰＦ(Low Pass Filter)及び間引きによるダウンサンプリング処理を行う手法が案出されている。
【０００３】
この手法では、送信側の画像符号化装置は、ダウンサンプリングした画像を符号化して送信する。受信側の画像復号装置は、符号化されたダウンサンプリング画像を受信し復号した後、線形フィルタ、ラプラシアンピラミッド、ウェーブレット分解、非線形処理などによりアップサンプリング処理を施し、元の原画像を再生する。これにより、膨大な情報量を持つ高精細画像を符号化して伝送することなく、元の高精細画像を再生することができる。なお、基本的なウェーブレットを用いた空間周波数アップサンプリング手法として、例えば特許文献１に開示されたものが知られている。
【先行技術文献】
【特許文献】
【０００４】
【特許文献１】特表２００７−５０４５２３号公報
【発明の概要】
【発明が解決しようとする課題】
【０００５】
しかしながら、空間周波数ダウンサンプリングした画像を空間周波数アップサンプリング処理して原画像を再生する場合、原画像と同程度の高画質な画像を再生することが困難であるという課題がある。
【０００６】
そこで、本発明はかかる問題を解決するためになされたものであり、その目的は、原画像を空間周波数ダウンサンプリングして得られた画像を伝送しても、受信側で原画像に最も近い高画質な画像を再生することができる画像符号化装置、画像復号装置及びプログラムを提供することにある。
【課題を解決するための手段】
【０００７】
上記目的を達成するために、請求項１の画像符号化装置の発明は、原画像を空間周波数ダウンサンプリング処理し、空間周波数ダウンサンプリング画像を生成するダウンサンプリング手段と、前記ダウンサンプリング手段により生成された前記空間周波数ダウンサンプリング画像に基づいて、空間周波数アップサンプリングにより前記原画像が再生される際に用いられるフィルタリング処理用のフィルタリングパラメータを決定するフィルタリングパラメータ決定手段と、前記ダウンサンプリング手段により生成された前記空間周波数ダウンサンプリング画像、及び前記フィルタリングパラメータ決定手段により決定された前記フィルタリングパラメータのうち、少なくとも前記空間周波数ダウンサンプリング画像を符号化する符号化手段と、を備えたことを特徴とする。
【０００８】
また、請求項２の発明は、請求項１に記載の画像符号化装置において、前記ダウンサンプリング手段が、原画像をオクターブ分解フィルタバンク処理し、分解階数ｎ（ｎは整数）の低周波領域成分の空間周波数ダウンサンプリング画像を生成し、前記フィルタリングパラメータ決定手段が、前記ダウンサンプリング手段により生成された分解階数ｎの低周波領域成分を前記オクターブ分解フィルタバンク処理し、分解階数ｎ＋１における水平、垂直及び斜めの高周波領域成分を求め、これらの水平、垂直及び斜めの高周波領域成分の各々を空間低周波領域成分とし、ゼロ行列を空間高周波領域成分として、オクターブ再構成フィルタバンク処理にて拡大し、拡大して得られた分解階数ｎの水平、垂直及び斜めの高周波領域成分を任意のフィルタリングパラメータを用いてフィルタリング処理し、フィルタリング処理して得られた分解階数ｎの水平、垂直及び斜めの高周波領域成分を空間高周波領域成分とし、この空間高周波領域成分と分解階数ｎの前記低周波領域成分に対してオクターブ再構成フィルタバンク処理により拡大し、拡大して得られた分解階数ｎ−１の低周波領域成分と、前記ダウンサンプリング手段により生成された分解階数ｎ−１の低周波領域成分とを比較し、この差分値が最も小さくなるように前記フィルタリングパラメータの値を変化させることで、前記フィルタリングパラメータを決定することを特徴とする。
【０００９】
また、請求項３の発明は、請求項２に記載の画像符号化装置において、前記オクターブ分解フィルタバンク処理として、ウェーブレット分解を用いることを特徴とする。
【００１０】
また、請求項４の発明は、請求項２または３に記載の画像符号化装置において、前記オクターブ再構成フィルタバンク処理として、ウェーブレット再構成を用いることを特徴とする。
【００１１】
また、請求項５の発明は、請求項１から４までのいずれか一項に記載の画像符号化装置において、前記フィルタリング処理にガウシアンフィルタ処理を用い、前記フィルタリングパラメータにガウシアンフィルタの分散値を用いることを特徴とする。
【００１２】
また、請求項６の画像復号装置の発明は、請求項２から５までのいずれか一項に記載の画像符号化装置により符号化された空間周波数ダウンサンプリング画像を復号する復号手段と、前記復号手段により復号された前記空間周波数ダウンサンプリング画像である分解階数ｎの低周波領域成分をオクターブ分解フィルタバンク処理し、この処理で得られた分解階数ｎ＋１の水平、垂直及び斜めの高周波領域成分の各々を空間低周波領域成分とし、ゼロ行列を空間高周波領域成分として、オクターブ再構成フィルタバンク処理にて拡大し、拡大した分解階数ｎの水平、垂直及び斜めの高周波領域成分の各々を、前記画像符号化装置により決定された前記フィルタリングパラメータを用いてフィルタリング処理し、フィルタリング処理して得られた分解階数ｎの水平、垂直及び斜めの高周波領域成分と空間周波数アップサンプリング前の分解階数ｎの低周波領域成分を用いてオクターブ再構成フィルタバンク処理を行い、空間周波数アップサンプリングするアップサンプリング手段と、を備えたことを特徴とする。
【００１３】
また、請求項７の発明は、コンピュータを、請求項１から５までのいずれか一項に記載の画像符号化装置として機能させるための画像符号化プログラムである。
【００１４】
また、請求項８の発明は、コンピュータを、請求項６に記載の画像復号装置として機能させるための画像復号プログラムである。
【発明の効果】
【００１５】
本発明によれば、原画像をオクターブ分解フィルタバンク処理し、空間周波数ダウンサンプリング画像を生成して符号化すると共に、生成した空間周波数ダウンサンプリング画像に基づいて、空間周波数アップサンプリングにより原画像に最も近い画像を再生可能とするフィルタリングパラメータを決定するようにした。これにより、原画像をダウンサンプリングして得られた空間周波数ダウンサンプリング画像を受信側へ送信しても、受信側は、そのフィルタリングパラメータを用いて空間周波数アップサンプリングを行うことにより、従来よりも高画質な画像を再生することができる。
【図面の簡単な説明】
【００１６】
【図１】本発明の実施例による画像符号化装置の概略構成を示すブロック図である。
【図２】画像符号化装置の機能ブロック図である。
【図３】画像符号化装置におけるダウンサンプリング処理の様子を示す図である。
【図４】画像符号化装置における分散値決定処理の概要を示す図である。
【図５】画像符号化装置における分散値決定処理の概要を示すフローチャートである。
【図６】画像符号化装置における符号化及び送信処理を示すフローチャートである。
【図７】画像符号化装置における分散値決定処理の変形例の概要を示す図である。
【図８】本発明の実施例による画像復号装置の概略構成を示すブロック図である。
【図９】画像復号装置の機能ブロック図である。
【図１０】画像復号装置における受信及び復号処理を示すフローチャートである。
【図１１】画像復号装置におけるアップサンプリング処理の様子を示す図である。
【図１２】画像復号装置におけるアップサンプリング処理の概要を示すフローチャートである。
【発明を実施するための形態】
【００１７】
以下、本発明を実施するための最良の形態について、図面を参照して説明する。以下に説明する本発明の実施例は、ウェーブレット分解を用いて原画像を空間周波数ダウンサンプリング（以下、”ダウンサンプリング”という。）し、これにより得られた空間周波数ダウンサンプリング画像（以下、”ダウンサンプリング画像”という。）を符号化して伝送する画像符号化装置を想定している。なお、実施例では、ダウンサンプリングにウェーブレット分解を用いるが、線形フィルタなどを用いることも可能である。すなわち、オクターブ分解フィルタバンク処理を行えるものであれば、どのようなものでも使用可能である。
【００１８】
（画像符号化装置の構成）
図１は、本発明の実施例による画像符号化装置１の概略構成を示すブロック図である。この画像符号化装置１は、原画像Ｆをウェーブレット分解してダウンサンプリングし、低解像度のダウンサンプリング画像ＣＡ（ｎ）（ｎ：分解階数）を出力するダウンサンプリング部（ダウンサンプリング手段）１０と、ダウンサンプリング部１０でウェーブレット分解して得られたダウンサンプリング画像ＣＡ（ｎ），ＣＡ（ｎ−１）を基に、後述するアップサンプリング処理で用いるガウシアンフィルタの分散値σＣＨ（ｎ），σＣＶ（ｎ），σＣＤ（ｎ）（下付符号ＣＨ，ＣＶ，ＣＤは、水平、垂直、斜め方向の高周波成分を示す）を決定する分散値決定部（フィルタリングパラメータ決定手段）１１と、ダウンサンプリング部１０でウェーブレット分解して得られたダウンサンプリング画像ＣＡ（ｎ）を符号化する符号化部（符号化手段）１２と、符号化部１２で符号化されたダウンサンプリング画像ＥｎＣＡ（ｎ）及び分散値決定部１１で決定されたガウシアンフィルタの分散値σＣＨ（ｎ），σＣＶ（ｎ），σＣＤ（ｎ）を放送波として送信する送信部１３と、を備えて構成される。なお、ガウシアンフィルタの分散値は情報量が少ないことから本実施例では符号化してないが、符号化しても構わない。
【００１９】
図２は、画像符号化装置１の機能ブロック図である。空間ウェーブレット分解処理は、前述したダウンサンプリング部１０で行われる処理であり、各ｎ階空間高周波成分へのガウシアンフィルタ適用処理、空間ウェーブレット拡大処理及び画像比較処理は、分散値決定部１１で行われる処理である。以下、ダウンサンプリング部１０、分散値決定部１１、符号化部１２及び送信部１３における処理を詳細に説明する。
【００２０】
（ダウンサンプリング部１０におけるダウンサンプリング処理）
本実施例ではダウンサンプリング処理にウェーブレット分解を用いる。ウェーブレット分解階数は縮小したいサイズにより決定される。縮小したいサイズが縦、横とも１／２ｎの場合、分解階数はｎ＋１となる。例えば、縮小したいサイズが縦、横とも１／２１の場合、分解階数は２となる。なお、ダウンサンプリング処理に用いるウェーブレットをｗａｖｅｌｅｔ＿ｎとし、分解階数がｎ階の水平低周波・垂直低周波の周波数成分をＣＡ（ｎ）（χ，Ψ）、水平高周波・垂直低周波成分をＣＨ（ｎ）（χ，Ψ）、水平低周波・垂直高周波成分をＣＶ（ｎ）（χ，Ψ）、水平高周波・垂直高周波成分をＣＤ（ｎ）（χ，Ψ）とする。水平と垂直の（ｘ，ｙ）を（χ，Ψ）と表示したのは、解像度を変換すると、縦、横とも標本が半分になってしまうので、（ｘ，ｙ）と表示せず、（χ，Ψ）と表示している。
【００２１】
ダウンサンプリング部１０は、原画像Ｆ（ｘ，ｙ，ｔ）に対し、ｎ階離散ウェーブレット分解ＤＷＴ（ｎ）（Ｆ（ｘ，ｙ，ｔ），ｗａｖｅｌｅｔ＿ｎ）を用いて、式（１）のように分解する。ｔは時間を示す。
［数式１］
[ＣＡ（ｎ），ＣＨ（ｎ），ＣＶ（ｎ），ＣＤ（ｎ）]＝ＤＷＴ（ｎ）（Ｆ（ｘ，ｙ，ｔ），ｗａｖｅｌｅｔ＿ｎ） ・・・（１）
【００２２】
図３は、ダウンサンプリング処理の様子を示す図である。１階離散ウェーブレット分解ＤＷＴ（１）により、原画像Ｆから水平低周波・垂直低周波の周波数成分ＣＡ（１）、水平高周波・垂直低周波成分ＣＨ（１）、水平低周波・垂直高周波成分ＣＶ（１）、水平高周波・垂直高周波成分ＣＤ（１）が得られる。そして、ＣＡ（１）から水平低周波・垂直低周波の周波数成分ＣＡ（２）、水平高周波・垂直低周波成分ＣＨ（２）、水平低周波・垂直高周波成分ＣＶ（２）、水平高周波・垂直高周波成分ＣＤ（２）が得られる。最終的に求めるダウンサンプリング画像はｎ階離散ウェーブレット分解成分ＣＡ（ｎ）となる。
【００２３】
（分散値決定部１１におけるガウシアンフィルタの分散値σＣＨ（ｎ），σＣＶ（ｎ），σＣＤ（ｎ）の決定処理）
図４は、分散値決定部１１の処理の概要を示す図である。まず、分散値決定部１１は、分解階数ｎの低周波領域成分ＣＡ（ｎ）を１階離散ウェーブレット分解して、分解階数ｎ＋１における水平、垂直、斜め方向の各高周波領域成分ＣＨ（ｎ＋１），ＣＶ（ｎ＋１），ＣＤ（ｎ＋１）を得る（ステップＳ１）。そして、水平、垂直、斜め方向の各高周波領域成分ＣＨ（ｎ＋１），ＣＶ（ｎ＋１），ＣＤ（ｎ＋１）の各々を空間低周波領域成分とし、同じサイズのゼロ行列を空間高周波領域成分として１階離散ウェーブレット再構成により、水平、垂直方向に２倍拡大し、ＥｘＣＨ（ｎ），ＥｘＣＶ（ｎ），ＥｘＣＤ（ｎ）を得る（ステップＳ２）。
【００２４】
式（２）に、ＣＨ（ｎ＋１）を空間低周波領域成分、同じサイズのゼロ行列を空間高周波領域成分として１階離散ウェーブレット再構成した式を示す。０はゼロ行列を示す。
［数式２］
ＥｘＣＨ（ｎ）＝ＩＤＷＴ（１）（ＣＨ（ｎ＋１），０，０，０，ｗａｖｅｌｅｔ＿ｎ） ・・・（２）
【００２５】
水平、垂直方向に２倍拡大したＥｘＣＨ（ｎ），ＥｘＣＶ（ｎ），ＥｘＣＤ（ｎ）を得た後、ガウシアンフィルタの分散値σＣＨ（ｎ），σＣＶ（ｎ），σＣＤ（ｎ）を用いたガウシアンフィルタによるフィルタリングを行い、ＧＥｘＣＨ（ｎ），ＧＥｘＣＶ（ｎ），ＧＥｘＣＤ（ｎ）を得る（ステップＳ３）。この場合、ガウシアンフィルタの分散値σＣＨ（ｎ），σＣＶ（ｎ），σＣＤ（ｎ）は、初期値として任意の値または経験値が用いられる。例えば、ガウシアンフィルタの分散値σＣＨ（ｎ），σＣＶ（ｎ），σＣＤ（ｎ）のそれぞれを０．１から０．１刻みで変化させるものとすると、初期値は、例えばσＣＨ（ｎ）＝０．１，σＣＶ（ｎ）＝０．１，σＣＤ（ｎ）＝０．１となる。
【００２６】
ガウシアンフィルタによるフィルタリングを行って、ＧＥｘＣＨ（ｎ）、ＧＥｘＣＶ（ｎ）、ＧＥｘＣＤ（ｎ）を得た後、低周波領域成分ＣＡ（ｎ）を空間低周波領域成分とし、ＧＥｘＣＨ（ｎ），ＧＥｘＣＶ（ｎ），ＧＥｘＣＤ（ｎ）を空間高周波領域成分として、１階離散ウェーブレット再構成により水平、垂直方向に２倍拡大し、ＧＥｘＣＡ（ｎ−１）を得る（ステップＳ４）。
【００２７】
ＧＥｘＣＡ（ｎ−１）を得た後、ＣＡ（ｎ−１）との間の差分値を計算する。今回の差分値が前回の差分値より小さければ、今回の差分値と今回使用したガウシアンフィルタの分散値σＣＨ（ｎ），σＣＶ（ｎ），σＣＤ（ｎ）をそれぞれ記憶する。なお、分散値決定部１１は図示しないメモリを有しており、このメモリに今回の差分値と今回使用したガウシアンフィルタの分散値σＣＨ（ｎ），σＣＶ（ｎ），σＣＤ（ｎ）を記憶する。最初の１回目は前回の差分値が無いことから、今回算出した差分値と今回使用したガウシアンフィルタの分散値σＣＨ（ｎ），σＣＶ（ｎ），σＣＤ（ｎ）をそのまま記憶する。また、画像の評価方法としては、平均二乗誤差（ＭＳＥ：Mean Square Error)があり、この評価方法を用いるとよい。
【００２８】
以上のステップＳ１〜ステップＳ５の処理をガウシアンフィルタの分散値σＣＨ（ｎ），σＣＶ（ｎ），σＣＤ（ｎ）を変化させながら繰り返し行い、ＧＥｘＣＡ（ｎ−１）とＣＡ（ｎ−１）との間の差分値が最も小さくなるときのガウシアンフィルタの分散値σＣＨ（ｎ），σＣＶ（ｎ），σＣＤ（ｎ）を決定する。決定したガウシアンフィルタの分散値σＣＨ（ｎ），σＣＶ（ｎ），σＣＤ（ｎ）をダウンサンプリング画像ＥｎＣＡ（ｎ）と共に、受信側（後述する画像復号装置２）へ送信する。受信側では、ガウシアンフィルタの分散値σＣＨ（ｎ），σＣＶ（ｎ），σＣＤ（ｎ）を受信して使用することにより、ダウンサンプリング画像ＥｎＣＡ（ｎ）から原画像に最も近い画像を再生することができる。
【００２９】
図５は、ガウシアンフィルタの分散値σＣＨ（ｎ），σＣＶ（ｎ），σＣＤ（ｎ）を決定する処理の概要を示すフローチャートである。画像符号化装置１は、原画像Ｆ（ｘ，ｙ，ｔ）を空間ウェーブレット分解し、各ｎ階のガウシアンフィルタの分散値σＣＨ（ｎ），σＣＶ（ｎ），σＣＤ（ｎ）を決定して、ＣＡ（ｎ）と共に出力する。
【００３０】
なお、線形（直線）位相特性を持つＨａａｒ等のウェーブレット以外のウェーブレットを用いる場合は、ＥｘＣＨ（ｎ），ＥｘＣＶ（ｎ），ＥｘＣＤ（ｎ）の位相に注意する必要がある。ＥｘＣＨ（ｎ），ＥｘＣＶ（ｎ），ＥｘＣＤ（ｎ）を水平、垂直位相（φμ，φν）分だけずらした画像ＥｘＣＨ（ｎ）（χ＋φμ，Ψ＋φν），ＥｘＣＶ（ｎ）（χ＋φμ，Ψ＋φν），ＥｘＣＤ（ｎ）（χ＋φμ，Ψ＋φν）についてＧＥｘＣＨ（ｎ），ＧＥｘＣＶ（ｎ），ＧＥｘＣＤ（ｎ）を得て、位相を変化させながら最終的にガウシアンフィルタの分散値σＣＨ（ｎ），σＣＶ（ｎ），σＣＤ（ｎ）を決定するとよい。但し、本実施例では、ガウシアンフィルタの分散値σＣＨ（ｎ），σＣＶ（ｎ），σＣＤ（ｎ）を変化させながらＣＡ（ｎ−１）とＧＥｘＣＡ（ｎ−１）を比較するため、この部分で位相ずれによる劣化はある程度吸収される。このため、処理量も多く大規模回路処理となる位相合わせ処理は必ずしも必要ではない。
【００３１】
（分散値決定部１１におけるガウシアンフィルタの分散値σＣＨ（ｎ），σＣＶ（ｎ），σＣＤ（ｎ）の決定処理の詳細）
分散値決定部１１は、階層ｎ＋１における斜め方向高周波領域成分ＣＤ（ｎ＋１）を、水平、垂直方向に２倍拡大した後（図４のステップＳ２）、ガウシアンフィルタを用いてフィルタリングする（図４のステップＳ３）。式（３）にガウシアンフィルタを示す。
［数式３］
Ｇａｕｓｓ（ｘ，ｙ，σ）＝ｅｘｐ（−（ｘ２＋ｙ２）／２σ２） ・・・（３）
【００３２】
式（３）のσ２は分散を表す。斜め方向高周波領域成分ＣＤ（ｎ＋１）を水平、垂直方向に２倍拡大してＥｘＣＤ（ｎ）を得た後（図４のステップＳ２）、式（３）のガウシアンフィルタを用いて式（４）に示すフィルタリング処理を行い（図４のステップＳ３）、ＧＥｘＣＤ（ｎ）を得る。なお、式（３）のσは、本処理がＥｘＣＤ（ｎ）のフィルタリングを行う処理内であるため、σＣＤ（ｎ）となる。
【００３３】
［数式４］
【００３４】
また、分散値決定部１１は、階層ｎ＋１における水平方向高周波領域成分ＣＨ（ｎ＋１）、垂直方向高周波領域成分ＣＶ（ｎ＋１）を、水平、垂直方向に２倍拡大した後、方向性拡張したガウシアンフィルタを用いて拡大する。式（５）に方向性拡張したガウシアンフィルタを示す。
［数式５］
ＥｘＧａｕｓｓ（ｘ，ｙ，α，β，σ）＝ｅｘｐ（−（αｘ２＋βｙ２）／２σ２）
・・・（５）
【００３５】
式（５）のα，βは方向性拡張係数であり、水平方向高周波領域成分ＣＨ（ｎ）の場合はα＝１，β＝０、垂直方向高周波領域成分ＣＶ（ｎ）の場合はα＝０，β＝１となる。以下では、σＣＨ（ｎ）を決定する場合のみを説明するが、σＣＤ（ｎ）も同様に決定することができる。
【００３６】
階層ｎ＋１における水平方向高周波領域成分ＣＨ（ｎ＋１）を水平、垂直方向に２倍拡大してＥｘＣＨ（ｎ）を得た後、式（５）の方向性拡張したガウシアンフィルタを用いて、式（６）に示すフィルタリング処理を行い、ＧＥｘＣＨ（ｎ）を得る。なお、式（５）のσは、本処理がＣＨ（ｎ）のフィルタリングを行う処理内であるため、σＣＨ（ｎ）となる。
［数式６］
【００３７】
以上の処理により、分散値決定部１１は、ガウシアンフィルタの分散値σＣＨ（ｎ），σＣＶ（ｎ），σＣＤ（ｎ）を計算した後、ＣＡ（ｎ），ＧＥｘＣＨ（ｎ），ＧＥｘＣＶ（ｎ），ＧＥｘＣＤ（ｎ）を用いて１階離散ウェーブレット再構成を行い（図４のステップＳ４）、ＧＥｘＣＡ（ｎ−１）を得る。最後に、式（７）に示すように、ＣＡ（ｎ−１）の領域とＧＥｘＣＡ（ｎ−１）の領域における平均二乗誤差（ＲＭＳ)の計算を行い、ＲＭＳ(ＣＡ（ｎ−１）)及びＲＭＳ(ＧＥｘＣＡ（ｎ−１）)を得て、その差分値を計算する（図４のステップＳ５）。以上の処理をガウシアンフィルタの分散値σＣＨ（ｎ），σＣＶ（ｎ），σＣＤ（ｎ）の値を変化させながら行い、Ｄｉｆｆ＿ｒｍｓ（σＣＨ（ｎ），σＣＶ（ｎ），σＣＤ（ｎ））が最小となるガウシアンフィルタの分散値σＣＨ（ｎ），σＣＶ（ｎ），σＣＤ（ｎ）を求める。
【００３８】
［数式７］
Ｄｉｆｆ＿ｒｍｓ（σＣＨ（ｎ），σＣＶ（ｎ），σＣＤ（ｎ））＝
ＲＭＳ（ＣＡ（ｎ−１）（σＣＨ（ｎ），σＣＶ（ｎ），σＣＤ（ｎ）））−ＲＭＳ（ＧＥｘＣＡ（ｎ−１）（σＣＨ（ｎ），σＣＶ（ｎ），σＣＤ（ｎ））
σＣＨ（ｎ）＝ａｒｇｍｉｎ（Ｄｉｆｆ＿ｒｍｓ（σＣＨ（ｎ）））
σＣＶ（ｎ）＝ａｒｇｍｉｎ（Ｄｉｆｆ＿ｒｍｓ（σＣＶ（ｎ））） ・・・（７）
σＣＤ（ｎ）＝ａｒｇｍｉｎ（Ｄｉｆｆ＿ｒｍｓ（σＣＤ（ｎ）））
【００３９】
（符号化部１２における符号化処理）
符号化部１２は、式（１）で求めたＣＡ（ｎ）を符号化する。本実施例では、ダウンサンプリング処理とアップサンプリング処理を１フレーム単位で行うため、符号化部１２は、ＪＰＥＧ、ＪＰＥＧ２００、ＭＰＥＧ−２、Ｈ．２６４｜ＭＰＥＧ−４ ＡＶＣ等の様々な符号化方法を用いることができる。
【００４０】
（送信部１３における送信処理）
送信部１３は、符号化部１２で符号化されたＥｎＣＡ（ｎ）を放送波として送信する。このとき、例えば、ＭＰＥＧ−２ ＴＳのヘッダに、分散値決定部１１により決定されたガウシアンフィルタの分散値σＣＨ（ｎ），σＣＶ（ｎ），σＣＤ（ｎ）を収容して送信する。図６は、符号化及び送信処理を示すフローチャートである。画像符号化装置１は、ＣＡ（ｎ）を符号化してＥｎＣＡ（ｎ）を得て、ＥｎＣＡ（ｎ）と共にガウシアンフィルタの分散値σＣＨ（ｎ），σＣＶ（ｎ），σＣＤ（ｎ）を送信する。
【００４１】
以上説明したように、画像符号化装置１は、原画像Ｆをウェーブレット分解してダウンサンプリングし、低解像度のダウンサンプリング画像ＣＡ（ｎ）を求めて符号化する。また、画像符号化装置１は、ダウンサンプリング画像ＣＡ（ｎ），ＣＡ（ｎ−１）に基づいて、アップサンプリング処理により原画像に最も近い画像を生成可能なガウシアンフィルタの分散値σＣＨ（ｎ），σＣＶ（ｎ），σＣＤ（ｎ）を決定し、符号化したダウンサンプリング画像ＥｎＣＡ（ｎ）とガウシアンフィルタの分散値σＣＨ（ｎ），σＣＶ（ｎ），σＣＤ（ｎ）とを送信する。
【００４２】
ガウシアンフィルタの分散値σＣＨ（ｎ），σＣＶ（ｎ），σＣＤ（ｎ）は、以下のようにして決定する。すなわち、低周波領域成分ＣＡ（ｎ）に対してウェーブレット分解を行い、これにより得られた水平高周波領域成分ＣＨ（ｎ＋１），垂直高周波領域成分ＣＶ（ｎ＋１），斜め高周波領域成分ＣＤ（ｎ＋１）の各々を空間低周波領域成分、同じサイズのゼロ行列を空間高周波領域成分として１階離散ウェーブレット再構成により水平、垂直方向に２倍拡大してＥｘＣＨ（ｎ），ＥｘＣＶ（ｎ），ＥｘＣＤ（ｎ）を得る。そして、それらに対し、任意の分散値σＣＨ（ｎ），σＣＶ（ｎ），σＣＤ（ｎ）を用いたガウシアンフィルタによるフィルタリングを行い、ＧＥｘＣＨ（ｎ），ＧＥｘＣＶ（ｎ），ＧＥｘＣＤ（ｎ）を得る。次いで、ＣＡ（ｎ）を空間低周波領域成分とし、ＧＥｘＣＨ（ｎ），ＧＥｘＣＶ（ｎ），ＧＥｘＣＤ（ｎ）を空間高周波領域成分として、１階離散ウェーブレット再構成により水平、垂直方向に２倍拡大してＧＥｘＣＡ（ｎ−１）を得る。そして、得られたＧＥｘＣＡ（ｎ−１）と同じ分解階数のＣＡ（ｎ−１）と比較し、この差分値が最も小さくなるガウシアンフィルタの分散値σＣＨ（ｎ），σＣＶ（ｎ），σＣＤ（ｎ）を決定する。
【００４３】
これにより、原画像Ｆをダウンサンプリングして得られた空間周波数ダウンサンプリング画像を送信しても、受信側では、原画像Ｆに最も近い高画質な画像を再生することができる。
【００４４】
なお、本実施例では、ＧＥｘＣＡ（ｎ−１）とＣＡ（ｎ−１）とを比較することにより、ガウシアンフィルタの分散値σＣＨ（ｎ），σＣＶ（ｎ），σＣＤ（ｎ）を決定するようにしたが、ＣＨ（ｎ）とＧＥｘＣＨ（ｎ）、ＣＶ（ｎ）とＧＥｘＣＶ（ｎ）、及びＣＤ（ｎ）とＧＥｘＣＤ（ｎ）のそれぞれを比較することにより、ガウシアンフィルタの分散値σＣＨ（ｎ），σＣＶ（ｎ），σＣＤ（ｎ）を決定するようにしてもよい。
【００４５】
図７は、画像符号化装置における分散値決定処理の変形例の概要を示す図である。分散値決定部１１は、ＣＨ（ｎ）とＧＥｘＣＨ（ｎ）の比較において平均二乗誤差（ＭＳＥ）が最小となる分散値σＣＨ（ｎ）を求める。また、ＣＶ（ｎ）とＧＥｘＣＶ（ｎ）の比較において平均二乗誤差が最小となる分散値σＣＶ（ｎ）を求める。また、ＣＤ（ｎ）とＧＥｘＣＤ（ｎ）の比較において平均二乗誤差が最小となる分散値σＣＤ（ｎ）を求める。
【００４６】
画像符号化装置１のハード構成としては、通常のコンピュータを使用することができる。すなわち、ＣＰＵ(Central Processing Unit)、ＲＡＭ(Random Access Memory)等の揮発性の記憶媒体、ＲＯＭ(Read Only Memory)等の不揮発性の記憶媒体、及びインターフェース等を備えたコンピュータによって構成できる。画像符号化装置１を構成するダウンサンプリング部１０、分散値決定部１１、符号化部１２、送信部１３の各機能は、これらの機能を記述したプログラムをＣＰＵに実行させることによりそれぞれ実現できる。これらのプログラムは、磁気ディスク（フロッピー（登録商標）ディスク、ハードディスク等）、光ディスク（ＣＤ−ＲＯＭ、ＤＶＤ等）、半導体メモリ等の記憶媒体に格納して頒布することもできる。
【００４７】
（画像復号装置の構成）
次に、本発明の実施例による画像復号装置について説明する。図８は、画像復号装置の概略構成を示すブロック図である。この画像復号装置２は、前述した画像符号化装置１から送信されたダウンサンプリング画像ＥｎＣＡ（ｎ）及びガウシアンフィルタの分散値σＣＨ（ｎ），σＣＶ（ｎ），σＣＤ（ｎ）を受信する受信部２０と、受信部２０で受信されたダウンサンプリング画像ＥｎＣＡ（ｎ）を復号する復号部（復号手段）２１と、受信部２０で受信されたガウシアンフィルタの分散値σＣＨ（ｎ），σＣＶ（ｎ），σＣＤ（ｎ）を用いて、復号部２１で復号されたダウンサンプリング画像ＥｎＤｅＣＡ（ｎ）をアップサンプリング処理するアップサンプリング部（アップサンプリング手段）２２と、を備えて構成される。
【００４８】
図１０は、受信部２０と復号部２１の処理を示すフローチャートである。受信部２０は、符号化されたダウンサンプリング画像ＥｎＣＡ（ｎ）とガウシアンフィルタの分散値σＣＨ（ｎ），σＣＶ（ｎ），σＣＤ（ｎ）を受信し、復号部２１は、ダウンサンプリング画像ＥｎＣＡ（ｎ）を復号してＥｎＤｅＣＡ（ｎ）を得る。
【００４９】
図９は、画像復号装置２の機能ブロック図である。空間ウェーブレット分解処理、各ｎ階空間高周波成分へのガウシアンフィルタ適用処理及び空間ウェーブレット拡大処理は、アップサンプリング部２２にて行われる処理である。以下、アップサンプリング部２２における処理を説明する。
【００５０】
（アップサンプリング部２２におけるアップサンプリング処理）
図１１は、アップサンプリング処理の様子を示す図である。まず、アップサンプリング部２２は、式（８）に示すように、ＥｎＣＡ（ｎ）を受信して復号して得られたＥｎＤｅＣＡ（ｎ）を１階離散ウェーブレット分解ＤＷＴ（１）し、ＥｎＤｅＣＡ（ｎ＋１），ＥｎＤｅＣＨ（ｎ＋１），ＥｎＤｅＣＶ（ｎ＋１），ＥｎＤｅＣＤ（ｎ＋１）を得る（ステップＳ１１）。
［数式８］
［ＥｎＤｅＣＡ（ｎ＋１），ＥｎＤｅＣＨ（ｎ＋１），ＥｎＤｅＣＶ（ｎ＋１），ＥｎＤｅＣＤ（ｎ＋１）］＝ＤＷＴ（１）（ＥｎＤｅＣＡ（ｎ），ｗａｖｅｌｅｔ＿ｎ）
・・・（８）
【００５１】
そして、ＥｎＤｅＣＨ（ｎ＋１），ＥｎＤｅＣＶ（ｎ＋１），ＥｎＤｅＣＤ（ｎ＋１）と分散値σＣＨ（ｎ），σＣＶ（ｎ），σＣＤ（ｎ）を用いて、水平、垂直、斜め方向拡大成分を計算する。ＥｎＤｅＣＤ（ｎ＋１）に対し、空間低周波領域成分にＥｎＤｅＣＤ（ｎ＋１）、空間高周波領域成分に同じサイズのゼロ行列をおいて１階離散ウェーブレット再構成して水平２倍、垂直２倍拡大成分ＥｘＥｎＤｅＣＤ（ｎ）を得る（ステップＳ１２）。同様に、ＥｎＤｅＣＨ（ｎ＋１）とＥｎＤｅＣＶ（ｎ＋１）に対し、１階離散ウェーブレット再構成して水平２倍、垂直２倍拡大成分ＥｘＥｎＤｅＣＨ（ｎ），ＥｘＥｎＤｅＣＶ（ｎ）を得る（ステップＳ１２）。
【００５２】
そして、ＥｘＥｎＤｅＣＨ（ｎ），ＥｘＥｎＤｅＣＶ（ｎ），ＥｘＥｎＤｅＣＤ（ｎ）に対し、分散値σＣＨ（ｎ），σＣＶ（ｎ），σＣＤ（ｎ）のガウシアンフィルタにてフィルタリング処理を行い、ＧＥｘＥｎＤｅＣＨ（ｎ），ＧＥｘＥｎＤｅＣＶ（ｎ），ＧＥｘＥｎＤｅＣＤ（ｎ）を得る（ステップＳ１３）。
【００５３】
そして、式（９）に示すように、ＥｎＤｅＣＡ（ｎ）,ＧＥｘＥｎＤｅＣＨ（ｎ）,ＧＥｘＥｎＤｅＣＶ（ｎ）,ＧＥｘＥｎＤｅＣＤ（ｎ）を用いて、１階離散ウェーブレット再構成を行う（ステップＳ１４）。
［数式９］
［ＥｎＤｅＣＡ（ｎ−１）］＝ＩＤＷＴ（１）(ＥｎＤｅＣＡ（ｎ）, ＧＥｘＥｎＤｅＣＨ（ｎ）, ＧＥｘＥｎＤｅＣＶ（ｎ）, ＧＥｘＥｎＤｅＣＤ（ｎ）,ｗａｖｅｌｅｔ＿ｎ） ・・・（９）
【００５４】
以降、ｎ＝ｎ−１として、アップサンプリング方法内の処理をｎ＝０となるまで繰り返す（ステップＳ１５）。
【００５５】
図１２は、アップサンプリング部２２におけるアップサンプリング処理の概要を示すフローチャートである。アップサンプリング部２２は、復号して得られたＥｎＤｅＣＡ（ｎ）を空間ウェーブレット分解してＥｎＤｅＣＨ（ｎ＋１），ＥｎＤｅＣＶ（ｎ＋１），ＥｎＤｅＣＤ（ｎ＋１）を得た後、これらをウェーブレット再構成してＥｘＥｎＤｅＣＨ（ｎ），ＥｘＥｎＤｅＣＶ（ｎ），ＥｘＥｎＤｅＣＤ（ｎ）を得る。そして、分散値σＣＨ（ｎ），σＣＶ（ｎ），σＣＤ（ｎ）のガウシアンフィルタでフィルタリングを行い、ＧＥｘＥｎＤｅＣＨ（ｎ），ＧＥｘＥｎＤｅＣＶ（ｎ），ＧＥｘＥｎＤｅＣＤ（ｎ）を得て、これらとＥｎＤｅＣＡ（ｎ）を用いてウェーブレット再構成を行う。以上の処理をｎ＝ｎ−１として、ｎ＝０となるまで繰り返す。
【００５６】
以上のように、図８に示した画像復号装置２によれば、受信して復号したダウンサンプリング画像ＥｎＤｅＣＡ（ｎ）をウェーブレット分解し、これにより得られた水平高周波領域成分ＥｎＤｅＣＨ（ｎ＋１），垂直高周波領域成分ＥｎＤｅＣＶ（ｎ＋１），斜め高周波領域成分ＥｎＤｅＣＤ（ｎ＋１）の各々を空間低周波領域成分、ゼロ行列を空間高周波領域成分としてウェーブレット再構成で拡大し、これにより得られた水平高周波領域成分ＥｘＥｎＤｅＣＨ（ｎ），垂直高周波領域成分ＥｘＥｎＤｅＣＶ（ｎ），斜め高周波領域成分ＥｘＥｎＤｅＣＤ（ｎ）を、受信したガウシアンフィルタの分散値σＣＨ（ｎ），σＣＶ（ｎ），σＣＤ（ｎ）を用いてフィルタリングを行い、これにより得られた水平高周波領域成分ＧＥｘＥｎＤｅＣＨ（ｎ），垂直高周波領域成分ＧＥｘＥｎＤｅＣＶ（ｎ），斜め高周波領域成分ＧＥｘＥｎＤｅＣＤ（ｎ）とダウンサンプリング前のＥｎＤｅＣＡ（ｎ）を用いてウェーブレット再構成を行うので、原画像Ｆに最も近い高画質な画像を再生することができる。
【００５７】
画像復号装置２のハード構成としては、通常のコンピュータを使用することができる。すなわち、ＣＰＵ、ＲＡＭ等の揮発性の記憶媒体、ＲＯＭ等の不揮発性の記憶媒体、及びインターフェース等を備えたコンピュータによって構成できる。画像復号装置２を構成する受信部２０、復号部２１、アップサンプリング部２２の各機能は、これらの機能を記述したプログラムをＣＰＵに実行させることによりそれぞれ実現できる。これらのプログラムは、磁気ディスク（フロッピー（登録商標）ディスク、ハードディスク等）、光ディスク（ＣＤ−ＲＯＭ、ＤＶＤ等）、半導体メモリ等の記憶媒体に格納して頒布することもできる。
【００５８】
以上、実施例を挙げて本発明を説明したが、本発明は前記実施例に限定されるものではなく、その技術思想を逸脱しない範囲で種々変形可能である。前記実施例では、画像符号化装置１が、ダウンサンプリング画像及びガウシアンフィルタの分散値を送信し、画像復号装置２が、ガウシアンフィルタの分散値を用いてダウンサンプリング画像をアップサンプリングし、高画質な画像を再生するようにしたが、本発明は、空間周波数ダウンサンプリングとアップサンプリングを行う処理全般に適用がある。例えば、画像符号化装置１が、空間周波数をダウンサンプリングした後、空間周波数ダウンサンプリング画像の圧縮符号化信号と、空間周波数ダウンサンプリング時に得られた付加情報を画像復号装置２へ送信する。そして、画像復号装置２は、空間周波数ダウンサンプリング画像の圧縮符号化信号及び付加情報を受信し、圧縮符号化信号の復号の後に空間周波数アップサンプリングを行う。これにより、低画質劣化かつ低伝送容量の圧縮符号化が可能となる。また、ストレージメディアへ圧縮記録するなどの処理にも適用がある。
【００５９】
また、本発明は、ＪＰＥＧ２０００を用いてフレーム単位で圧縮符号化を行うデジタルシネマ圧縮符号化処理の前段または後段に用いることができる。また、Ｈ．２６４｜ＭＰＥＧ−４ ＡＶＣで圧縮符号化が検討されているスーパーハイビジョン圧縮符号化処理の前段または後段に用いることができる。また、将来の新しい圧縮符号化方式と組み合わせて用いることも可能である。
【符号の説明】
【００６０】
１ 画像符号化装置
２ 画像復号装置
１０ ダウンサンプリング部
１１ 分散値決定部
１２ 符号化部
１３ 送信部
２０ 受信部
２１ 復号部
２２ アップサンプリング部
【特許請求の範囲】
【請求項１】
原画像を空間周波数ダウンサンプリング処理し、空間周波数ダウンサンプリング画像を生成するダウンサンプリング手段と、
前記ダウンサンプリング手段により生成された前記空間周波数ダウンサンプリング画像に基づいて、空間周波数アップサンプリングにより前記原画像が再生される際に用いられるフィルタリング処理用のフィルタリングパラメータを決定するフィルタリングパラメータ決定手段と、
前記ダウンサンプリング手段により生成された前記空間周波数ダウンサンプリング画像、及び前記フィルタリングパラメータ決定手段により決定された前記フィルタリングパラメータのうち、少なくとも前記空間周波数ダウンサンプリング画像を符号化する符号化手段と、
を備えたことを特徴とする画像符号化装置。
【請求項２】
請求項１に記載の画像符号化装置において、
前記ダウンサンプリング手段は、原画像をオクターブ分解フィルタバンク処理し、分解階数ｎ（ｎは整数）の低周波領域成分の空間周波数ダウンサンプリング画像を生成し、
前記フィルタリングパラメータ決定手段は、前記ダウンサンプリング手段により生成された分解階数ｎの低周波領域成分を前記オクターブ分解フィルタバンク処理し、分解階数ｎ＋１における水平、垂直及び斜めの高周波領域成分を求め、これらの水平、垂直及び斜めの高周波領域成分の各々を空間低周波領域成分とし、ゼロ行列を空間高周波領域成分として、オクターブ再構成フィルタバンク処理にて拡大し、拡大して得られた分解階数ｎの水平、垂直及び斜めの高周波領域成分を任意のフィルタリングパラメータを用いてフィルタリング処理し、フィルタリング処理して得られた分解階数ｎの水平、垂直及び斜めの高周波領域成分を空間高周波領域成分とし、この空間高周波領域成分と分解階数ｎの前記低周波領域成分に対してオクターブ再構成フィルタバンク処理により拡大し、拡大して得られた分解階数ｎ−１の低周波領域成分と、前記ダウンサンプリング手段により生成された分解階数ｎ−１の低周波領域成分とを比較し、この差分値が最も小さくなるように前記フィルタリングパラメータの値を変化させることで、前記フィルタリングパラメータを決定することを特徴とする画像符号化装置。
【請求項３】
請求項２に記載の画像符号化装置において、
前記オクターブ分解フィルタバンク処理として、ウェーブレット分解を用いることを特徴とする画像符号化装置。
【請求項４】
請求項２または請求項３に記載の画像符号化装置において、
前記オクターブ再構成フィルタバンク処理として、ウェーブレット再構成を用いることを特徴とする画像符号化装置。
【請求項５】
請求項１から４までのいずれか一項に記載の画像符号化装置において、
前記フィルタリング処理にガウシアンフィルタ処理を用い、前記フィルタリングパラメータにガウシアンフィルタの分散値を用いることを特徴とする画像符号化装置。
【請求項６】
請求項２から５までのいずれか一項に記載の画像符号化装置により符号化された空間周波数ダウンサンプリング画像を復号する復号手段と、
前記復号手段により復号された前記空間周波数ダウンサンプリング画像である分解階数ｎの低周波領域成分をオクターブ分解フィルタバンク処理し、この処理で得られた分解階数ｎ＋１の水平、垂直及び斜めの高周波領域成分の各々を空間低周波領域成分とし、ゼロ行列を空間高周波領域成分として、オクターブ再構成フィルタバンク処理にて拡大し、拡大した分解階数ｎの水平、垂直及び斜めの高周波領域成分の各々を、前記画像符号化装置により決定された前記フィルタリングパラメータを用いてフィルタリング処理し、フィルタリング処理して得られた分解階数ｎの水平、垂直及び斜めの高周波領域成分と空間周波数アップサンプリング前の分解階数ｎの低周波領域成分を用いてオクターブ再構成フィルタバンク処理を行い、空間周波数アップサンプリングするアップサンプリング手段と、
を備えたことを特徴とする画像復号装置。
【請求項７】
コンピュータを、請求項１から５までのいずれか一項に記載の画像符号化装置として機能させるための画像符号化プログラム。
【請求項８】
コンピュータを、請求項６に記載の画像復号装置として機能させるための画像復号プログラム。
【請求項１】
原画像を空間周波数ダウンサンプリング処理し、空間周波数ダウンサンプリング画像を生成するダウンサンプリング手段と、
前記ダウンサンプリング手段により生成された前記空間周波数ダウンサンプリング画像に基づいて、空間周波数アップサンプリングにより前記原画像が再生される際に用いられるフィルタリング処理用のフィルタリングパラメータを決定するフィルタリングパラメータ決定手段と、
前記ダウンサンプリング手段により生成された前記空間周波数ダウンサンプリング画像、及び前記フィルタリングパラメータ決定手段により決定された前記フィルタリングパラメータのうち、少なくとも前記空間周波数ダウンサンプリング画像を符号化する符号化手段と、
を備えたことを特徴とする画像符号化装置。
【請求項２】
請求項１に記載の画像符号化装置において、
前記ダウンサンプリング手段は、原画像をオクターブ分解フィルタバンク処理し、分解階数ｎ（ｎは整数）の低周波領域成分の空間周波数ダウンサンプリング画像を生成し、
前記フィルタリングパラメータ決定手段は、前記ダウンサンプリング手段により生成された分解階数ｎの低周波領域成分を前記オクターブ分解フィルタバンク処理し、分解階数ｎ＋１における水平、垂直及び斜めの高周波領域成分を求め、これらの水平、垂直及び斜めの高周波領域成分の各々を空間低周波領域成分とし、ゼロ行列を空間高周波領域成分として、オクターブ再構成フィルタバンク処理にて拡大し、拡大して得られた分解階数ｎの水平、垂直及び斜めの高周波領域成分を任意のフィルタリングパラメータを用いてフィルタリング処理し、フィルタリング処理して得られた分解階数ｎの水平、垂直及び斜めの高周波領域成分を空間高周波領域成分とし、この空間高周波領域成分と分解階数ｎの前記低周波領域成分に対してオクターブ再構成フィルタバンク処理により拡大し、拡大して得られた分解階数ｎ−１の低周波領域成分と、前記ダウンサンプリング手段により生成された分解階数ｎ−１の低周波領域成分とを比較し、この差分値が最も小さくなるように前記フィルタリングパラメータの値を変化させることで、前記フィルタリングパラメータを決定することを特徴とする画像符号化装置。
【請求項３】
請求項２に記載の画像符号化装置において、
前記オクターブ分解フィルタバンク処理として、ウェーブレット分解を用いることを特徴とする画像符号化装置。
【請求項４】
請求項２または請求項３に記載の画像符号化装置において、
前記オクターブ再構成フィルタバンク処理として、ウェーブレット再構成を用いることを特徴とする画像符号化装置。
【請求項５】
請求項１から４までのいずれか一項に記載の画像符号化装置において、
前記フィルタリング処理にガウシアンフィルタ処理を用い、前記フィルタリングパラメータにガウシアンフィルタの分散値を用いることを特徴とする画像符号化装置。
【請求項６】
請求項２から５までのいずれか一項に記載の画像符号化装置により符号化された空間周波数ダウンサンプリング画像を復号する復号手段と、
前記復号手段により復号された前記空間周波数ダウンサンプリング画像である分解階数ｎの低周波領域成分をオクターブ分解フィルタバンク処理し、この処理で得られた分解階数ｎ＋１の水平、垂直及び斜めの高周波領域成分の各々を空間低周波領域成分とし、ゼロ行列を空間高周波領域成分として、オクターブ再構成フィルタバンク処理にて拡大し、拡大した分解階数ｎの水平、垂直及び斜めの高周波領域成分の各々を、前記画像符号化装置により決定された前記フィルタリングパラメータを用いてフィルタリング処理し、フィルタリング処理して得られた分解階数ｎの水平、垂直及び斜めの高周波領域成分と空間周波数アップサンプリング前の分解階数ｎの低周波領域成分を用いてオクターブ再構成フィルタバンク処理を行い、空間周波数アップサンプリングするアップサンプリング手段と、
を備えたことを特徴とする画像復号装置。
【請求項７】
コンピュータを、請求項１から５までのいずれか一項に記載の画像符号化装置として機能させるための画像符号化プログラム。
【請求項８】
コンピュータを、請求項６に記載の画像復号装置として機能させるための画像復号プログラム。
【図１】
【図２】
【図３】
【図４】
【図５】
【図６】
【図７】
【図８】
【図９】
【図１０】
【図１１】
【図１２】
【図２】
【図３】
【図４】
【図５】
【図６】
【図７】
【図８】
【図９】
【図１０】
【図１１】
【図１２】
【公開番号】特開２０１１−２３４３１６（Ｐ２０１１−２３４３１６Ａ）
【公開日】平成２３年１１月１７日（２０１１．１１．１７）
【国際特許分類】
【出願番号】特願２０１０−１０５７０９（Ｐ２０１０−１０５７０９）
【出願日】平成２２年４月３０日（２０１０．４．３０）
【出願人】（０００００４３５２）日本放送協会 (2,206)
【Ｆターム（参考）】
【公開日】平成２３年１１月１７日（２０１１．１１．１７）
【国際特許分類】
【出願日】平成２２年４月３０日（２０１０．４．３０）
【出願人】（０００００４３５２）日本放送協会 (2,206)
【Ｆターム（参考）】
[ Back to top ]