画像領域分割装置及びプログラム
【課題】原画像の信号を直交変換し、その帯域毎に空間領域の分割を行って空間領域分割信号を求めることにより、更なる画質向上を実現する。
【解決手段】直交変換部２は、原画像Ｏに対して直交変換を行い、空間高周波信号ＯLH1，ＯHL1，ＯHH1を抽出する。空間高周波合成部３は、空間高周波信号ＯLH1，ＯHL1，ＯHH1を合成し、空間高周波合成信号Ｓを生成する。空間領域分割部５は、空間高周波合成信号Ｓの直交変換を、予め設定された帯域分解数ｋmaxの数分行い、空間低周波信号ＳLLk＝ＳLL1〜ＳLLkmaxを生成し、各要素位置のスペクトルパワーの閾値演算によってフラグ１を設定し、帯域毎の空間領域分割信号ＢＳLL1〜ＢＳLLkmaxを生成すると共に、直交変換によって空間高周波信号ＳLH1，ＳHL1，ＳHH1を生成し、同様の閾値演算によって空間領域分割信号ＢＳを生成する。
【解決手段】直交変換部２は、原画像Ｏに対して直交変換を行い、空間高周波信号ＯLH1，ＯHL1，ＯHH1を抽出する。空間高周波合成部３は、空間高周波信号ＯLH1，ＯHL1，ＯHH1を合成し、空間高周波合成信号Ｓを生成する。空間領域分割部５は、空間高周波合成信号Ｓの直交変換を、予め設定された帯域分解数ｋmaxの数分行い、空間低周波信号ＳLLk＝ＳLL1〜ＳLLkmaxを生成し、各要素位置のスペクトルパワーの閾値演算によってフラグ１を設定し、帯域毎の空間領域分割信号ＢＳLL1〜ＢＳLLkmaxを生成すると共に、直交変換によって空間高周波信号ＳLH1，ＳHL1，ＳHH1を生成し、同様の閾値演算によって空間領域分割信号ＢＳを生成する。
【発明の詳細な説明】
【技術分野】
【０００１】
本発明は、原画像の信号を直交変換し、その帯域毎に空間領域分割を行う装置及びプログラムに関する。
【背景技術】
【０００２】
近年、画像の超解像技術が盛んに研究開発されている。超解像技術は、画像のナイキスト周波数を超える空間高周波を補完し、画像拡大を行う技術である。代表的な補完方法には、周波数再構成型がある。周波数再構成型は、ナイキスト周波数以下の空間周波数情報を用いて、ナイキスト周波数を超える空間高周波を補完する。この周波数再構成型では、画質向上のために、画像の持つ空間高周波成分を帯域毎に詳細に解析して処理することが求められる。
【０００３】
例えば、出願人及び発明者が同一の先の特許出願であって、本出願時に未公開の特許出願（特願２０１０−１０５７０９）には、周波数再構成型を用いた超解像技術が記載されている。この技術は、ウェーブレット変換を用いて画像を帯域毎に分解し、その帯域毎に、異なった分散値のガウシアンフィルタ処理を施して超解像を行い、ナイキスト周波数を超える空間高周波を補完するものである。
【０００４】
一方、画像の低ビットレート符号化を目的として、エッジ領域を保持して画像符号化を行う技術が知られている（特許文献１を参照）。この画像符号化装置は、エッジ領域を検出するためにソーベル（ｓｏｂｅｌ）フィルタを用いており、輝度信号及び色差信号に基づいて画像エッジを検出し、これら複数の画像エッジから精度の高い画像エッジ領域を検出し、画像をテクスチャ領域とエッジ領域とに分割する。
【先行技術文献】
【特許文献】
【０００５】
【特許文献１】特許第３４５８９７２号公報
【発明の概要】
【発明が解決しようとする課題】
【０００６】
前述の未公開の特許出願に記載された技術では、ナイキスト周波数を超える空間高周波を補完することにより、高画質な画像を再生することができる。この場合、帯域毎の空間周波数情報を用いて空間領域の分割を行い、その空間領域毎に最適な分散値のガウシアンフィルタ処理を施すことができれば、更なる画質向上が期待できる。
【０００７】
一方、前述の特許文献１のソーベルフィルタを用いて、空間領域の分割を行うことができる。しかし、ソーベルフィルタは単純なハイパスフィルタの一種であり、空間周波数帯域を帯域毎に詳細に解析できない。このため、動物体等の空間領域分割においては、画像エッジがぼやけているため、空間領域分割の精度と確度に問題があった。
【０００８】
そこで、本発明は前記課題を解決するためになされたものであり、その目的は、原画像の信号を直交変換し、その帯域毎に空間領域の分割を行って空間領域分割信号を求めることにより、更なる画質向上を実現可能な画像領域分割装置及びプログラムを提供することにある。
【課題を解決するための手段】
【０００９】
前記課題を解決するため、本発明による画像領域分割装置は、原画像の信号を直交変換し、空間高周波信号を生成する直交変換部と、前記直交変換部により生成された空間高周波信号を合成し、空間高周波合成信号を生成する空間高周波合成部と、前記空間高周波合成部により生成された空間高周波合成信号に対し、予め設定された帯域分解数の直交変換を行い、当該直交変換後の信号の要素値に対し閾値処理を行って空間領域を分割し、帯域毎の空間領域分割信号を生成する空間領域分割部と、を備えたことを特徴とする。
【００１０】
また、本発明による画像領域分割装置は、前記予め設定された帯域分解数に代えて、前記空間高周波合成部により生成された空間高周波合成信号を直交変換し、当該直交変換後の信号のスペクトルパワーに基づいて、帯域分解数を決定する帯域分解数決定部を備え、前記空間領域分割部が、前記空間高周波合成信号に対し、前記帯域分解数決定部により決定された帯域分解数の直交変換を行い、帯域毎の空間領域分割信号を生成する、ことを特徴とする。
【００１１】
また、本発明による画像領域分割装置は、さらに、前記空間領域分割部により生成された帯域毎の空間領域分割信号と、前記帯域よりも帯域分解の階が１次元低い空間領域分割信号との間で、前記２つの空間領域分割信号における対応する位置毎に、予め設定された帯域分解数の積演算を行い、当該積演算後の信号の要素値に対し閾値処理を行ってエッジ領域を分割し、帯域毎のエッジ領域分割信号を生成するエッジ領域分割部、を備えたことを特徴とする。
【００１２】
また、本発明による画像領域分割装置は、さらに、前記空間領域分割部により生成された帯域毎の空間領域分割信号と、前記帯域よりも帯域分解の階が１次元小さい空間領域分割信号との間で、前記２つの空間領域分割信号における対応する位置毎に、前記帯域分解数決定部により決定された帯域分解数の積演算を行い、当該積演算後の信号の要素値に対し閾値処理を行ってエッジ領域を分割し、帯域毎のエッジ領域分割信号を生成するエッジ領域分割部、を備えたことを特徴とする。
【００１３】
また、本発明による画像領域分割装置は、前記エッジ領域分割部が、前記生成した帯域毎のエッジ領域分割信号に対し、フィルタを用いて、前記エッジ領域分割信号における孤立点を除去する、ことを特徴とする。
【００１４】
また、本発明による画像領域分割装置は、前記直交変換を、離散ウェーブレットパケット変換、離散ウェーブレット変換、離散フーリエ変換または離散コサイン変換とする、ことを特徴とする。
【００１５】
さらに、本発明による画像領域分割プログラムは、コンピュータを、前記画像領域分割装置として機能させることを特徴とする。
【発明の効果】
【００１６】
以上のように、本発明によれば、原画像を帯域毎に空間領域分割することができ、空間領域分割の結果得られた空間領域分割信号またはエッジ領域分割信号を用いることで、画質向上を実現することができる。例えば、本発明を周波数再構成型の超解像装置に適用した場合、帯域毎の空間領域分割信号またはエッジ領域分割信号が示す領域に対し、最適な分散値のガウシアンフィルタを用いることにより、高画質な超解像処理を行うことができる。
【図面の簡単な説明】
【００１７】
【図１】本発明の実施形態による画像領域分割装置の構成を示すブロック図である。
【図２】直交変換部の処理を示すフローチャートである。
【図３】直交変換部の処理内容を説明する図である。
【図４】空間高周波合成部の処理を示すフローチャートである。
【図５】空間高周波合成部の処理内容を説明する図である。
【図６】帯域分解数決定部の処理を示すフローチャートである。
【図７】帯域分解数決定部の処理内容を説明する図である。
【図８】空間領域分割部の処理を示すフローチャートである。
【図９】空間領域分割部の処理内容を説明する図である。
【図１０】エッジ領域分割部の処理を示すフローチャートである。
【図１１】エッジ領域分割部の処理内容を説明する図である。
【図１２】実施例１の処理を示すフローチャートである。
【図１３】実施例２の処理を示すフローチャートである。
【図１４】実施例３の処理を示すフローチャートである。
【図１５】実施例４の処理を示すフローチャートである。
【図１６】本発明の実施形態による画像領域分割装置を適用する画像符号化装置の構成を示すブロック図である。
【図１７】本発明の実施形態による画像領域分割装置を適用する画像復号装置の構成を示すブロック図である。
【図１８】画像符号化装置における分散値決定処理の概要を示す図である。
【発明を実施するための形態】
【００１８】
以下、本発明を実施するための形態について図面を用いて詳細に説明する。図１は、本発明の実施形態による画像領域分割装置の構成を示すブロック図である。この画像領域分割装置１は、直交変換部２、空間高周波合成部３、帯域分解数決定部４、空間領域分割部５、エッジ領域分割部６及び選択部７を備えている。画像領域分割装置１は、原画像Ｏを入力し、直交変換して空間高周波信号を抽出し、空間高周波信号を合成して空間高周波合成信号を生成し、空間高周波合成信号に基づいて空間領域分割信号ＢＳkを生成して出力し、空間領域分割信号ＢＳkに基づいてエッジ領域分割信号ＰｒＢＳkを生成して出力する。
【００１９】
画像領域分割装置１の直交変換部２は、原画像Ｏを入力し、原画像Ｏの直交変換を行い、空間低周波信号ＯLL1及び空間高周波信号ＯLH1，ＯHL1，ＯHH1を生成し、空間高周波信号ＯLH1，ＯHL1，ＯHH1を抽出して空間高周波合成部３に出力する。
【００２０】
空間高周波合成部３は、直交変換部２から空間高周波信号ＯLH1，ＯHL1，ＯHH1を入力し、これらの信号を合成して空間高周波合成信号Ｓを生成し、帯域分解数決定部４及び空間領域分割部５に出力する。
【００２１】
帯域分解数決定部４は、空間高周波合成部３から空間高周波合成信号Ｓを入力し、空間高周波合成信号Ｓを直交変換し、空間低周波信号ＯLL1のスペクトルパワーを求める。そして、帯域分解数決定部４は、スペクトルパワーが所定値よりも小さい場合、直交変換を繰り返し、スペクトルパワーが所定値以上になったときの直交変換の回数を帯域分解数ｋmaxに決定し、選択部７に出力する。これにより、直交変換を繰り返す毎にスペクトルパワーが大きくなることを利用して、原画像Ｏがどの程度高域までスペクトルパワーを持つかを調べることができる。
【００２２】
空間領域分割部５は、空間高周波合成部３から空間高周波合成信号Ｓを入力すると共に、後述する選択部７から帯域分解数ｋmaxを入力し、空間高周波合成信号Ｓに対し帯域分解数ｋmaxの数分の直交変換を行い、帯域毎の空間低周波信号ＳLLk＝ＳLL1〜ＳLLkmaxを生成する。そして、空間領域分割部５は、帯域毎の空間低周波信号ＳLLk＝ＳLL1〜ＳLLkmaxにおける各要素位置のスペクトルパワー（要素値）が閾値以上となる要素位置にフラグ１を設定し、帯域毎の空間領域分割信号ＢＳLL1〜ＢＳLLkmaxを生成する。また、空間領域分割部５は、直交変換によって、空間高周波信号ＳLH1，ＳHL1，ＳHH1を生成し、これらの信号を合成して合成信号（最大値信号）ＳH1を生成し、最大値信号ＳH1における各要素位置のスペクトルパワーが閾値以上となる要素位置にフラグ１を設定し、空間領域分割信号ＢＳを生成する。そして、空間領域分割部５は、生成した空間領域分割信号ＢＳLL1〜ＢＳLLkmax，ＢＳを空間領域分割信号ＢＳkとして外部へ出力すると共に、空間領域分割信号ＢＳk及び帯域分解数ｋmaxをエッジ領域分割部６に出力する。
【００２３】
エッジ領域分割部６は、空間領域分割部５から空間領域分割信号ＢＳk及び帯域分解数ｋmaxを入力し、ｋ＝ｋmaxからｋ＝１まで、空間領域分割信号ＢＳLLkの領域を４倍にした信号と、帯域分解の階が１階低い空間領域分割信号ＢＳLLk-1との積を演算し、エッジ領域分割信号ＰｒＢＳLLkを生成する。尚、ｋ＝１のときは、空間領域分割信号ＢＳLL1の領域を４倍にした信号と、空間領域分割信号ＢＳとの積を演算する。これにより、空間領域分割信号ＢＳkを帯域毎に再帰的に利用することで、エッジ領域分割信号ＰｒＢＳkを得ることができる。
【００２４】
また、エッジ領域分割部６は、エッジ領域分割信号ＰｒＢＳLLkの全要素位置に対し、３×３サイズの孤立点除去フィルタを用いて、孤立点を除去する。これにより、エッジ領域の分割確度を高めることができる。
【００２５】
そして、エッジ領域分割部６は、生成したエッジ領域分割信号ＰｒＢＳLL1〜ＰｒＢＳLLkmax（積の演算により生成された信号、または孤立点除去後の信号）をエッジ領域分割信号ＰｒＢＳkとして外部へ出力する。
【００２６】
尚、エッジ領域分割部６は、帯域分解数ｋmaxを空間領域分割部５から入力するようにしたが、選択部７から入力するようにしてもよい。
【００２７】
選択部７は、帯域分解数決定部４から決定された帯域分解数ｋmaxを入力すると共に、予め設定された固定の帯域分解数ｋmaxを入力し、ユーザによる設定に従って、いずれか一方の帯域分解数ｋmaxを選択し、空間領域分割部５に出力する。
【００２８】
〔直交変換部〕
次に、図１に示した直交変換部２について詳細に説明する。図２は、直交変換部２の処理を示すフローチャートであり、図３は、直交変換部２の処理内容を説明する図である。図２を参照して、直交変換部２は、原画像Ｏを入力し（ステップＳ２０１）、原画像Ｏに対し、離散ウェーブレットパケット（ｗａｖｅｌｅｔ−ｐａｃｋｅｔ）による直交変換（ＤＷＰＴ演算）を行い（ステップＳ２０２）、空間低周波信号ＯLL1及び水平高周波信号ＯLH1，垂直高周波信号ＯHL1及び斜め高周波信号ＯHH1を生成する。そして、直交変換部２は、水平高周波信号ＯLH1，垂直高周波信号ＯHL1及び斜め高周波信号ＯHH1を空間高周波信号ＯLH1，ＯHL1，ＯHH1として抽出し（ステップＳ２０３）、空間高周波合成部３に出力する（ステップＳ２０４）。
【００２９】
図３を参照して、ｘｙ軸上の原画像Ｏに対し、離散ウェーブレットパケットによる直交変換が行われることにより、水平周波数ｆH軸及び垂直周波数ｆv軸上の空間周波数信号、すなわち空間低周波信号ＯLL1及び空間高周波信号ＯLH1，ＯHL1，ＯHH1が生成される。そして、変換された空間周波数信号から空間高周波信号ＯLH1，ＯHL1，ＯHH1が抽出される（斜線部分）。
【００３０】
〔空間高周波合成部〕
次に、図１に示した空間高周波合成部３について詳細に説明する。図４は、空間高周波合成部３の処理を示すフローチャートであり、図５は、空間高周波合成部３の処理内容を説明する図である。図４を参照して、空間高周波合成部３は、直交変換部２から空間高周波信号ＯLH1，ＯHL1，ＯHH1を入力し（ステップＳ４０１）、原画像Ｏの各空間高周波信号ＯLH1，ＯHL1，ＯHH1の任意要素位置（ｉ，ｊ）において、最大値演算を行うことにより、これらの信号を合成し、空間高周波合成信号Ｓを生成する（ステップＳ４０２）。そして、空間高周波合成部３は、空間高周波合成信号Ｓを帯域分解数決定部４及び空間領域分割部５に出力する（ステップＳ４０３）。例えば、空間高周波合成信号Ｓ（１，１）の最大値演算は、３つの空間高周波帯域ＯLH1，ＯHL1，ＯHH1の同じ要素位置（１，１）からなる３要素の最大値演算ＭＡＸ｛ＯLH1（１，１），ＯHL1（１，１），ＯHH1（１，１）｝となる。つまり、空間高周波合成部３は、以下の式により、空間高周波合成信号Ｓを生成する。
Ｓ（ｉ，ｊ）＝ＭＡＸ｛ＯLH1（ｉ，ｊ），ＯHL1（ｉ，ｊ），ＯHH1（ｉ，ｊ）｝
【００３１】
図５を参照して、水平周波数ｆH軸及び垂直周波数ｆv軸上の空間高周波信号ＯLH1，ＯHL1，ＯHH1の各要素位置に対し、最大値演算が行われることにより、空間高周波合成信号Ｓが生成される（右側の斜線部）。
【００３２】
〔帯域分解数決定部〕
次に、図１に示した帯域分解数決定部４について詳細に説明する。図６は、帯域分解数決定部４の処理を示すフローチャートであり、図７は、帯域分解数決定部４の処理内容を説明する図である。図６を参照して、帯域分解数決定部４は、空間高周波合成部３から空間高周波合成信号Ｓを入力し（ステップＳ６０１）、ｋ＝０を設定し（ステップＳ６０２）、ｋ＝ｋ＋１の演算を行って新たなｋを算出する（ステップＳ６０３）。そして、帯域分解数決定部４は、空間高周波合成信号Ｓに対し、ｋ階の離散ウェーブレットパケットによる直交変換（ｋ階ＤＷＰＴ演算）を行い、空間低周波信号ＳLLkを生成する（ステップＳ６０４）。
【００３３】
帯域分解数決定部４は、空間低周波信号ＳLLkについて、全ての要素位置におけるスペクトルパワーである要素値α（ｉ，ｊ）の最大値ＭＳLLkを、以下の式により演算する（ステップＳ６０５）。
ＭＳLLk＝ＭＡＸ｛ＳLLk（ｉ，ｊ）；α（ｉ，ｊ）｝
【００３４】
帯域分解数決定部４は、空間低周波信号ＳLLkについての全要素値の最大値ＭＳLLkが所定の閾値Ｔｈｄよりも小さいか否かを判定し（ステップＳ６０６）、最大値ＭＳLLkが閾値Ｔｈｄよりも小さいと判定した場合（ステップＳ６０６：Ｙ）、ステップＳ６０３へ移行し、ｋ＝ｋ＋１の演算を行って新たなｋを算出し、ステップＳ６０３〜ステップＳ６０５の処理を行う。一方、帯域分解数決定部４は、ステップＳ６０６において、最大値ＭＳLLkが閾値Ｔｈｄよりも小さくないと判定した場合（ステップＳ６０６：Ｎ）、すなわち最大値ＭＳLLkが閾値Ｔｈｄ以上になったと判定した場合、ｋを帯域分解数ｋmaxに決定し（帯域分解数ｋmax＝ｋ）（ステップＳ６０７）、帯域分解数ｋmaxを選択部７に出力する（ステップＳ６０８）。
【００３５】
ここで、ｋが大きくなるに従って、空間低周波信号ＳLLkについての全要素値の最大値ＭＳLLkも大きくなり、最終的に、最大値ＭＳLLkが閾値Ｔｈｄ以上になったと判定したときのｋが、帯域分解数ｋmaxに決定される。したがって、決定された帯域分解数ｋmaxは、原画像Ｏがどの帯域までスペクトルパワーを持っているかの程度を示している。
【００３６】
図７を参照して、入力した空間高周波合成信号Ｓに対し、離散ウェーブレットパケットによる直交変換（ｋ階ＤＷＰＴ演算）が順次行われ、空間低周波信号ＳLLkについて、全ての要素位置における要素値α（ｉ，ｊ）の最大値ＭＳLLkが演算されることを示している。
【００３７】
尚、帯域分解数決定部４は、空間低周波信号ＯLLkについての全要素値の最大値ＭＳLLkを演算する代わりに、平均値または中央値を演算するようにしてもよい。
【００３８】
〔空間領域分割部〕
次に、図１に示した空間領域分割部５について詳細に説明する。図８は、空間領域分割部５の処理を示すフローチャートであり、図９は、空間領域分割部５の処理内容を説明する図である。図８を参照して、空間領域分割部５は、空間高周波合成部３から空間高周波合成信号Ｓを入力すると共に、選択部７から帯域分解数ｋmaxを入力し（ステップＳ８０１）、空間高周波合成信号Ｓに対し、帯域分解数ｋmaxの数分の離散ウェーブレットパケットによる直交変換（１〜ｋmax階ＤＷＰＴ演算）を行い、帯域毎の空間低周波信号ＳLLk＝ＳLL1〜ＳLLkmaxを生成する（ステップＳ８０２）。そして、ステップＳ８０３及びステップＳ８０４へ移行する。
【００３９】
空間領域分割部５は、ステップＳ８０２から移行して、帯域毎の空間低周波信号ＳLLk＝ＳLL1〜ＳLLkmaxにおける各要素位置のスペクトルパワー（要素値）と所定の閾値とを比較し、スペクトルパワーが閾値以上となる要素位置にフラグ１を設定し、帯域毎の空間領域分割信号ＢＳLL1〜ＢＳLLkmaxを生成する（ステップＳ８０３）。そして、ステップＳ８０６へ移行する。
【００４０】
空間領域分割部５は、ステップＳ８０２から移行して、ステップＳ８０２の直交変換によって、空間高周波信号ＳLH1，ＳHL1，ＳHH1を生成し、空間高周波合成信号Ｓの各空間高周波信号ＳLH1，ＳHL1，ＳHH1の任意要素位置（ｉ，ｊ）において、最大値演算を行うことにより、これらの信号を合成して合成信号（最大値信号）ＳH1を生成する（ステップＳ８０４）。このステップＳ８０４の処理は、図４に示した空間高周波合成部３によるステップＳ４０２の処理と同様である。そして、空間領域分割部５は、最大値信号ＳH1における各要素位置のスペクトルパワーと所定の閾値とを比較し、スペクトルパワーが閾値以上となる要素位置にフラグ１を設定し、空間領域分割信号ＢＳを生成する（ステップＳ８０５）。そして、ステップＳ８０６へ移行する。
【００４１】
空間領域分割部５は、ステップＳ８０３及びステップＳ８０５から移行して、生成した帯域毎の空間領域分割信号ＢＳLL1〜ＢＳLLkmax，ＢＳを空間領域分割信号ＢＳkとして外部へ出力すると共に、エッジ領域分割部６に出力する（ステップＳ８０６）。尚、空間領域分割部５は、帯域分解数ｋmaxもエッジ領域分割部６に出力する。
【００４２】
図９を参照して、ｋ＝１のときの空間低周波信号ＳLL1の所定位置（四角の枠の箇所）における空間領域分割信号ＢＳLL1、は、フラグ図に示すとおりであり、ｋ＝２のときの空間低周波信号ＳLL2の同じ所定位置（四角の枠の箇所）における空間領域分割信号ＢＳLL2よりも分解能が高い。同様に、ｋ＝２のときの空間低周波信号ＳLL2の所定位置における空間領域分割信号ＢＳLL2、は、ｋ＝３のときの空間低周波信号ＳLL3の同じ所定位置（四角の枠の箇所）における空間領域分割信号ＢＳLL3よりも分解能が高い。つまり、原画像Ｏの周波数帯域は、ｋが大きくなるに従って、原画像Ｏの水平標本化周波数ｆSH及び垂直標本化周波数ｆSVと原点である０との間の中央の周波数へ向けて、狭くなる。
【００４３】
〔エッジ領域分割部〕
次に、図１に示したエッジ領域分割部６について詳細に説明する。図１０は、エッジ領域分割部６の処理を示すフローチャートであり、図１１は、エッジ領域分割部６の処理内容を説明する図である。図１０を参照して、エッジ領域分割部６は、空間領域分割部５から空間領域分割信号ＢＳk（ＢＳLL1〜ＢＳLLkmax，ＢＳ）及び帯域分解数ｋmaxを入力し（ステップＳ１００１）、帯域分解数ｋmaxをｋに設定する（ｋ＝ｋmax）（ステップＳ１００２）。
【００４４】
エッジ領域分割部６は、空間領域分割信号ＢＳLLkの領域を面積４倍（水平２倍、垂直２倍）に拡大し、その領域を４ＢＳLLkとする（ステップＳ１００３）。空間領域分割信号ＢＳLLkの領域の面積と、この帯域よりも１次元低いｋ−１階の帯域における空間領域分割信号ＢＳLLk-1の領域の面積とを比較すると、空間領域分割信号ＢＳLLk-1が空間領域分割信号ＢＳLLkの４倍である。したがって、後述するステップＳ１００４において、空間領域分割信号ＢＳLLk-1の任意位置と、これに対応した空間領域分割信号ＢＳLLkの位置とは、４倍の面積差に対応した関係になる。
【００４５】
エッジ領域分割部６は、４ＢＳLLkとＢＳLLk-1との積を、以下の式により演算し、その積集合となるエッジ領域分割信号ＰｒＢＳLLkを生成する（ステップＳ１００４）。
ＰｒＢＳLLk＝４ＢＳLLk∩ＢＳLLk-1
【００４６】
エッジ領域分割部６は、エッジ領域分割信号ＰｒＢＳLLkの全要素位置に対し、３×３サイズの孤立点除去フィルタを用いて、孤立点を除去する（ステップＳ１００５）。具体的には、エッジ領域分割部６は、孤立点除去フィルタを用いて、３×３サイズの９個の領域内に、フラグ１の個数がθ個以上存在するか否かを判定し、存在すると判定した場合、３×３サイズの中心位置の値を１に設定し、存在しないと判定した場合、その中心位置の値を０に設定する。θは所定の閾値である。これにより、近隣領域において、孤立したフラグ１を除去することができる。
【００４７】
エッジ領域分割部６は、ｋ＝ｋ−１の演算を行って新たなｋを算出し（ステップＳ１００６）、ｋ＝１であるか否かを判定し（ステップＳ１００７）、ｋ＝１でないと判定した場合（ステップＳ１００７：Ｎ）、ステップＳ１００３へ移行し、ステップＳ１００３〜ステップＳ１００６の処理を行う。これにより、帯域毎のエッジ領域分割信号ＰｒＢＳLL2〜ＰｒＢＳLLkmaxが生成される。
【００４８】
一方、エッジ領域分割部６は、ステップＳ１００７において、ｋ＝１であると判定した場合（ステップＳ１００７：Ｙ）、４ＢＳLL1とＢＳとの積を、以下の式により演算し、その積集合となるエッジ領域分割信号ＰｒＢＳLL1を生成する（ステップＳ１００８）。
ＰｒＢＳLL1＝４ＢＳLL1∩ＢＳ
【００４９】
エッジ領域分割部６は、生成した帯域毎のエッジ領域分割信号ＰｒＢＳLL1〜ＰｒＢＳLLkmaxをエッジ領域分割信号ＰｒＢＳkとして外部へ出力する（ステップＳ１００９）。尚、解析したい周波数帯域に応じて、ステップＳ１００３〜ステップＳ１００７の処理を、ｋ＝１まで繰り返さない場合もある。
【００５０】
一般に、原画像Ｏ内の先鋭なエッジは、周波数帯域において、低周波領域から高周波領域へ向けて徐々にスペクトルパワーを減らしながらも、広い帯域にスペクトルパワーを含んでおり、かつ孤立点状に分布しない。このようなエッジの特性を利用することにより、図１０に示した処理にて、エッジ領域分割信号ＰｒＢＳLL1〜ＰｒＢＳLLkmaxを生成することができる。
【００５１】
尚、エッジ領域分割部６は、孤立点除去フィルタを用いることなく、ステップＳ１００４において積の演算により生成したエッジ領域分割信号ＰｒＢＳLL1〜ＰｒＢＳLLkmaxを、エッジ領域分割信号ＰｒＢＳkとして外部へ出力するようにしてもよいし、図１０に示したように、孤立点除去フィルタを用いて、孤立点除去後のエッジ領域分割信号ＰｒＢＳLL1〜ＰｒＢＳLLkmaxをエッジ領域分割信号ＰｒＢＳkとして外部へ出力するようにしてもよい。
【００５２】
図１１には、ｋ＝２のときのエッジ領域分割信号ＰｒＢＳLL2（＝４ＢＳLL2∩ＢＳLL1）が示されており、３×３サイズの孤立点除去フィルタによって、孤立点が除去されたエッジ領域分割信号ＰｒＢＳLL2が生成される。エッジ領域分割信号ＰｒＢＳLL2のフラグ１の領域は、原画像Ｏのサイズに対し、４×４倍に相当する。
【００５３】
以上のように、本発明の実施形態による画像領域分割装置１によれば、直交変換部２が、原画像Ｏの直交変換を行って空間高周波信号ＯLH1，ＯHL1，ＯHH1を抽出し、空間高周波合成部３が、空間高周波信号ＯLH1，ＯHL1，ＯHH1における同じ要素位置の最大値演算によりこれらの信号を合成して空間高周波合成信号Ｓを生成し、帯域分解数決定部４が、空間高周波合成信号Ｓを直交変換し、空間低周波信号ＯLL1のスペクトルパワーを求め、スペクトルパワーの閾値演算により、スペクトルパワーが所定値よりも小さい場合に直交変換を繰り返し、スペクトルパワーが所定値以上になった場合の直交変換の回数を帯域分解数ｋmaxに決定するようにした。また、空間領域分割部５が、空間高周波合成信号Ｓの直交変換を行って空間低周波信号ＳLLk＝ＳLL1〜ＳLLkmaxを生成し、空間低周波信号ＳLLk＝ＳLL1〜ＳLLkmaxにおける各要素位置のスペクトルパワーが閾値以上となる要素位置にフラグ１を設定し、帯域毎の空間領域分割信号ＢＳLL1〜ＢＳLLkmaxを生成するようにした。そして、空間領域分割部５が、直交変換によって空間高周波信号ＳLH1，ＳHL1，ＳHH1を生成し、これらの信号を合成して合成信号（最大値信号）ＳH1を生成し、最大値信号ＳH1における各要素位置のスペクトルパワーが閾値以上となる要素位置にフラグ１を設定し、空間領域分割信号ＢＳを生成するようにした。
【００５４】
また、エッジ領域分割部６が、ｋ＝ｋmaxからｋ＝１まで、空間領域分割信号ＢＳLLkの領域を４倍にした信号と空間領域分割信号ＢＳLLk-1との積を演算し、ｋ＝１のときは、空間領域分割信号ＢＳLL1の領域を４倍にした信号と空間領域分割信号ＢＳとの積を演算し、帯域毎のエッジ領域分割信号ＰｒＢＳLL1〜ＰｒＢＳLLkmaxを生成するようにした。
【００５５】
これにより、原画像Ｏを帯域毎に空間領域分割することができ、空間領域分割信号またはエッジ領域分割信号を用いることで、画質向上を実現することができる。例えば、周波数再構成型の超解像装置において、帯域毎の空間領域分割信号またはエッジ領域分割信号が示す領域に対し、最適な分散値のガウシアンフィルタを用いることにより、高画質な超解像処理を行うことができる。詳細については後述する。
【００５６】
尚、本発明の実施形態による画像領域分割装置１のハードウェア構成としては、通常のコンピュータを使用することができる。画像領域分割装置１は、ＣＰＵ、ＲＡＭ等の揮発性の記憶媒体、ＲＯＭ等の不揮発性の記憶媒体、及びインターフェース等を備えたコンピュータによって構成される。画像領域分割装置１に備えた直交変換部２、空間高周波合成部３、帯域分解数決定部４、空間領域分割部５、エッジ領域分割部６及び選択部７の各機能は、これらの機能を記述したプログラムをＣＰＵに実行させることによりそれぞれ実現される。また、これらのプログラムは、磁気ディスク（フロッピー（登録商標）ディスク、ハードディスク等）、光ディスク（ＣＤ−ＲＯＭ、ＤＶＤ等）、半導体メモリ等の記憶媒体に格納して頒布することもできる。
【００５７】
〔実施例１〕
次に、図１に示した画像領域分割装置１の具体的な実施例について説明する。まず、実施例１について説明する。実施例１は、帯域分解数決定部４により決定された帯域分解数ｋmaxを用いることなく、予め設定された固定の帯域分解数ｋmaxを用い、帯域毎の空間領域分割信号ＢＳk（ＢＳLL1〜ＢＳLLkmax，ＢＳ）を生成して出力する例である。図１２は、実施例１の処理を示すフローチャートである。
【００５８】
画像領域分割装置１の直交変換部２は、原画像Ｏを入力し（ステップＳ１２０１）、原画像Ｏに対して直交変換を行って空間高周波信号ＯLH1，ＯHL1，ＯHH1を抽出する（ステップＳ１２０２）。そして、空間高周波合成部３は、空間高周波信号ＯLH1，ＯHL1，ＯHH1を合成して空間高周波合成信号Ｓを生成する（ステップＳ１２０３）。
【００５９】
空間領域分割部５は、空間高周波合成信号Ｓの直交変換を、予め設定された固定の帯域分解数ｋmaxの数分行い、帯域毎の空間低周波信号ＳLLk＝ＳLL1〜ＳLLkmaxを生成し、各要素位置のスペクトルパワーの閾値演算によってフラグ１を設定し、帯域毎の空間領域分割信号ＢＳLL1〜ＢＳLLkmaxを生成すると共に、直交変換によって空間高周波信号ＳLH1，ＳHL1，ＳHH1を生成し、同様の閾値演算によって空間領域分割信号ＢＳを生成する（ステップＳ１２０４）。そして、空間領域分割部５は、帯域毎の空間領域分割信号ＢＳLL1〜ＢＳLLkmax，ＢＳを空間領域分割信号ＢＳkとして出力する（ステップＳ１２０５）。
【００６０】
このように、実施例１によれば、原画像Ｏを帯域毎に空間領域分割することができ、帯域毎の空間領域分割信号を、例えば周波数再構成型の超解像装置に適用することにより、画質向上を実現することができる。
【００６１】
〔実施例２〕
次に、実施例２について説明する。実施例２は、帯域分解数決定部４により決定された帯域分解数ｋmaxを用い、帯域毎の空間領域分割信号ＢＳk（ＢＳLL1〜ＢＳLLkmax，ＢＳ）を生成して出力する例である。図１３は、実施例２の処理を示すフローチャートである。図１３において、ステップＳ１３０１〜ステップＳ１３０３、ステップＳ１３０５及びステップＳ１３０６は、図１２に示した実施例１のステップＳ１２０１〜ステップＳ１２０５と同じであるので、説明を省略する。
【００６２】
画像領域分割装置１の帯域分解数決定部４は、空間高周波合成信号Ｓを直交変換し、空間低周波信号ＯLL1のスペクトルパワーを求め、スペクトルパワーの閾値演算により、スペクトルパワーが所定値以上になった場合の直交変換の回数を帯域分解数ｋmaxに決定する（ステップＳ１３０４）。
【００６３】
空間領域分割部５は、空間高周波合成信号Ｓの直交変換を、ステップＳ１３０４にて決定された帯域分解数ｋmaxの数分行い、帯域毎の空間低周波信号ＳLLk＝ＳLL1〜ＳLLkmaxを生成し、図１２に示した実施例１のステップＳ１２０４と同様の処理を行う（ステップＳ１３０５）。
【００６４】
このように、実施例２によれば、実施例１と同様に、画質向上を実現することができる。また、帯域分解数ｋmaxは、帯域分解数決定部４によって信号のスペクトルパワーに基づいて、その都度決定されるから、特に、動画のような時間的に変化する原画像に対して有効である。
【００６５】
〔実施例３〕
次に、実施例３について説明する。実施例３は、帯域分解数決定部４により決定された帯域分解数ｋmaxを用いることなく、予め設定された固定の帯域分解数ｋmaxを用い、帯域毎の空間領域分割信号ＢＳk（ＢＳLL1〜ＢＳLLkmax，ＢＳ）から帯域毎のエッジ領域分割信号ＰｒＢＳk（ＰｒＢＳLL1〜ＰｒＢＳLLkmax）を生成して出力する例である。図１４は、実施例３の処理を示すフローチャートである。図１４において、ステップＳ１４０１〜ステップＳ１４０４は、図１２に示した実施例１のステップＳ１２０１〜ステップＳ１２０４と同じであるので、説明を省略する。
【００６６】
画像領域分割装置１のエッジ領域分割部６は、ｋ＝ｋmaxからｋ＝１まで、空間領域分割信号ＢＳLLkの領域を４倍にした信号と空間領域分割信号ＢＳLLk-1との積を演算し、ｋ＝１のときは、空間領域分割信号ＢＳLL1の領域を４倍にした信号と空間領域分割信号ＢＳとの積を演算し、帯域毎のエッジ領域分割信号ＰｒＢＳLL1〜ＰｒＢＳLLkmaxを生成し（ステップＳ１４０５）、エッジ領域分割信号ＰｒＢＳkとして出力する（ステップＳ１４０６）。
【００６７】
このように、実施例３によれば、実施例１と同様に、画質向上を実現することができる。特に、原画像に含まれるエッジ成分について、一層の画質向上を実現することができる。
【００６８】
〔実施例４〕
次に、実施例４について説明する。実施例４は、帯域分解数決定部４により決定された帯域分解数ｋmaxを用い、帯域毎の空間領域分割信号ＢＳk（ＢＳLL1〜ＢＳLLkmax，ＢＳ）から帯域毎のエッジ領域分割信号ＰｒＢＳk（ＰｒＢＳLL1〜ＰｒＢＳLLkmax）を生成して出力する例である。図１５は、実施例４の処理を示すフローチャートである。図１５において、ステップＳ１５０１〜ステップＳ１５０５は、図１３に示した実施例２のステップＳ１３０１〜ステップＳ１３０５と同じであり、ステップＳ１５０６及びステップＳ１５０７は、図１４に示した実施例３のステップＳ１４０５及びステップＳ１４０６と同じであるので、説明を省略する。
【００６９】
このように、実施例４によれば、実施例１と同様に、画質向上を実現することができる。また、帯域分解数ｋmaxは、帯域分解数決定部４によって信号のスペクトルパワーに基づいて、その都度決定されるから、特に、動画のような時間的に変化する原画像に対して有効である。特に、原画像に含まれるエッジ成分について、一層の画質向上を実現することができる。
【００７０】
〔周波数再構成型の超解像装置に適用した場合の例〕
次に、図１に示した画像領域分割装置１を周波数再構成型の超解像装置に適用した場合の例について説明する。この例は、画像領域分割装置１により出力された空間領域分割信号ＢＳk（ＢＳLL1〜ＢＳLLkmax，ＢＳ）またはエッジ領域分割信号ＰｒＢＳk（ＰｒＢＳLL1〜ＰｒＢＳLLkmax）を用いて、この信号が示すフラグ１の領域についてのみ最適な分散値のガウシアンフィルタを適用する。フラグ１の領域はスペクトルパワーが閾値以上の領域であるから、高画質な超解像処理を行うことができる。
【００７１】
図１６は、図１に示した画像領域分割装置１を適用する画像符号化装置の構成を示すブロック図である。この画像符号化装置１００は、原画像Ｆを直交変換（例えばウェーブレット分解）してダウンサンプリングし、低解像度のダウンサンプリング画像ＣＡ（ｎ）（ｎ：分解階数）を出力するダウンサンプリング部１０と、ダウンサンプリング部１０で直交変換して得られたダウンサンプリング画像ＣＡ（ｎ），ＣＡ（ｎ−１）等に基づいて、後述するアップサンプリング処理で用いるガウシアンフィルタの分散値σＣＨ（ｎ），σＣＶ（ｎ），σＣＤ（ｎ）（下付符号ＣＨ，ＣＶ，ＣＤは、水平、垂直、斜め方向の高周波成分を示す）を決定する分散値決定部１１と、ダウンサンプリング部１０で直交変換して得られたダウンサンプリング画像ＣＡ（ｎ）を符号化する符号化部１２と、符号化部１２で符号化されたダウンサンプリング画像ＥｎＣＡ（ｎ）及び分散値決定部１１で決定されたガウシアンフィルタの分散値σＣＨ（ｎ），σＣＶ（ｎ），σＣＤ（ｎ）を送信信号として送信する送信部１３と、を備えて構成される。ここで、画像領域分割装置１により出力された空間領域分割信号ＢＳk（ＢＳLL1〜ＢＳLLkmax，ＢＳ）またはエッジ領域分割信号ＰｒＢＳk（ＰｒＢＳLL1〜ＰｒＢＳLLkmax）は、分散値決定部１１にて用いられ、この信号が示すフラグ１の領域の要素値に対してフィルタリング処理が行われることを前提にして、ガウシアンフィルタの分散値σＣＨ（ｎ），σＣＶ（ｎ），σＣＤ（ｎ）が決定される。
【００７２】
図１７は、図１に示した画像領域分割装置１を適用する画像復号装置の構成を示すブロック図である。この画像復号装置２００は、前述した画像符号化装置１から送信されたダウンサンプリング画像ＥｎＣＡ（ｎ）及びガウシアンフィルタの分散値σＣＨ（ｎ），σＣＶ（ｎ），σＣＤ（ｎ）を受信する受信部２０と、受信部２０で受信されたダウンサンプリング画像ＥｎＣＡ（ｎ）を復号する復号部２１と、受信部２０で受信されたガウシアンフィルタの分散値σＣＨ（ｎ），σＣＶ（ｎ），σＣＤ（ｎ）を用いて、復号部２１で復号されたダウンサンプリング画像ＥｎＤｅＣＡ（ｎ）をアップサンプリング処理するアップサンプリング部２２と、を備えて構成される。ここで、画像領域分割装置１により出力された空間領域分割信号ＢＳk（ＢＳLL1〜ＢＳLLkmax，ＢＳ）またはエッジ領域分割信号ＰｒＢＳk（ＰｒＢＳLL1〜ＰｒＢＳLLkmax）は、アップサンプリング部２２にて用いられ、この信号が示すフラグ１の領域の要素値のみに対し、ガウシアンフィルタの分散値σＣＨ（ｎ），σＣＶ（ｎ），σＣＤ（ｎ）によるフィルタリング処理が行なわれる。
【００７３】
図１８は、図１６に示した画像符号化装置１００の分散値決定部１１における分散値決定処理の概要を示す図である。まず、分散値決定部１１は、分解階数ｎの低周波領域成分ＣＡ（ｎ）を１階離散ウェーブレット分解して、分解階数ｎ＋１における水平、垂直、斜め方向の各高周波領域成分ＣＨ（ｎ＋１），ＣＶ（ｎ＋１），ＣＤ（ｎ＋１）を得る（ステップＳ１）。そして、水平、垂直、斜め方向の各高周波領域成分ＣＨ（ｎ＋１），ＣＶ（ｎ＋１），ＣＤ（ｎ＋１）の各々を空間低周波領域成分とし、同じサイズのゼロ行列を空間高周波領域成分として１階離散ウェーブレット再構成により、水平、垂直方向に２倍拡大し、ＥｘＣＨ（ｎ），ＥｘＣＶ（ｎ），ＥｘＣＤ（ｎ）を得る（ステップＳ２）。
【００７４】
ＣＨ（ｎ＋１）を空間低周波領域成分、同じサイズのゼロ行列を空間高周波領域成分として１階離散ウェーブレット再構成した式を以下に示す。０はゼロ行列を示す。
ＥｘＣＨ（ｎ）＝ＩＤＷＴ（１）（ＣＨ（ｎ＋１），０，０，０，ｗａｖｅｌｅｔ＿ｎ）
【００７５】
分散値決定部１１は、水平、垂直方向に２倍拡大したＥｘＣＨ（ｎ），ＥｘＣＶ（ｎ），ＥｘＣＤ（ｎ）を得た後、画像領域分割装置１により出力された空間領域分割信号ＢＳk（ＢＳLL1〜ＢＳLLkmax，ＢＳ）またはエッジ領域分割信号ＰｒＢＳk（ＰｒＢＳLL1〜ＰｒＢＳLLkmax）が示すフラグ１の領域のＥｘＣＨ（ｎ），ＥｘＣＶ（ｎ），ＥｘＣＤ（ｎ）に対し、ガウシアンフィルタの分散値σＣＨ（ｎ），σＣＶ（ｎ），σＣＤ（ｎ）を用いたガウシアンフィルタによるフィルタリングを行い、ＧＥｘＣＨ（ｎ），ＧＥｘＣＶ（ｎ），ＧＥｘＣＤ（ｎ）を得る（ステップＳ３）。この場合、ガウシアンフィルタの分散値σＣＨ（ｎ），σＣＶ（ｎ），σＣＤ（ｎ）は、初期値として任意の値または経験値が用いられる。例えば、ガウシアンフィルタの分散値σＣＨ（ｎ），σＣＶ（ｎ），σＣＤ（ｎ）のそれぞれを０．１から０．１刻みで変化させるものとすると、初期値は、例えばσＣＨ（ｎ）＝０．１，σＣＶ（ｎ）＝０．１，σＣＤ（ｎ）＝０．１となる。
【００７６】
ガウシアンフィルタによるフィルタリングを行って、ＧＥｘＣＨ（ｎ）、ＧＥｘＣＶ（ｎ）、ＧＥｘＣＤ（ｎ）を得た後、低周波領域成分ＣＡ（ｎ）を空間低周波領域成分とし、ＧＥｘＣＨ（ｎ），ＧＥｘＣＶ（ｎ），ＧＥｘＣＤ（ｎ）を空間高周波領域成分として、１階離散ウェーブレット再構成により水平、垂直方向に２倍拡大し、ＧＥｘＣＡ（ｎ−１）を得る（ステップＳ４）。
【００７７】
ＧＥｘＣＡ（ｎ−１）を得た後、ＣＡ（ｎ−１）との間の差分値を計算する。今回の差分値が前回の差分値より小さければ、今回の差分値と今回使用したガウシアンフィルタの分散値σＣＨ（ｎ），σＣＶ（ｎ），σＣＤ（ｎ）をそれぞれ記憶する（ステップＳ５）。なお、分散値決定部１１は図示しないメモリを有しており、このメモリに今回の差分値と今回使用したガウシアンフィルタの分散値σＣＨ（ｎ），σＣＶ（ｎ），σＣＤ（ｎ）を記憶する。最初の１回目は前回の差分値が無いことから、今回算出した差分値と今回使用したガウシアンフィルタの分散値σＣＨ（ｎ），σＣＶ（ｎ），σＣＤ（ｎ）をそのまま記憶する。また、画像の評価方法としては、平均二乗誤差（ＭＳＥ：Mean Square Error)があり、この評価方法を用いるとよい。
【００７８】
以上のステップＳ１〜ステップＳ５の処理をガウシアンフィルタの分散値σＣＨ（ｎ），σＣＶ（ｎ），σＣＤ（ｎ）を変化させながら繰り返し行い、ＧＥｘＣＡ（ｎ−１）とＣＡ（ｎ−１）との間の差分値が最も小さくなるときのガウシアンフィルタの分散値σＣＨ（ｎ），σＣＶ（ｎ），σＣＤ（ｎ）を決定する。決定したガウシアンフィルタの分散値σＣＨ（ｎ），σＣＶ（ｎ），σＣＤ（ｎ）をダウンサンプリング画像ＥｎＣＡ（ｎ）と共に、画像復号装置２００へ送信する。画像復号装置２００では、ガウシアンフィルタの分散値σＣＨ（ｎ），σＣＶ（ｎ），σＣＤ（ｎ）を受信して使用することにより、ダウンサンプリング画像ＥｎＣＡ（ｎ）から原画像に最も近い画像を再生することができる。
【００７９】
また、図１７に示した画像復号装置２００のアップサンプリング部２２においても、画像領域分割装置１により出力された空間領域分割信号ＢＳk（ＢＳLL1〜ＢＳLLkmax，ＢＳ）またはエッジ領域分割信号ＰｒＢＳk（ＰｒＢＳLL1〜ＰｒＢＳLLkmax）が示すフラグ１の領域に対し、受信したガウシアンフィルタの分散値σＣＨ（ｎ），σＣＶ（ｎ），σＣＤ（ｎ）を用いて、ガウシアンフィルタによるフィルタリング処理が行われる。
【００８０】
以上のように、周波数再構成型の超解像装置である画像符号化装置１００及び画像復号装置２００によれば、帯域毎の空間領域分割信号ＢＳk（ＢＳLL1〜ＢＳLLkmax，ＢＳ）または帯域毎のエッジ領域分割信号ＰｒＢＳk（ＰｒＢＳLL1〜ＰｒＢＳLLkmax）が示すフラグ１の領域に対し、最適な分散値のガウシアンフィルタを適用することにより、高画質な超解像処理を行うことができる。
【００８１】
以上、実施形態を挙げて本発明を説明したが、本発明は前記実施形態に限定されるものではなく、その技術思想を逸脱しない範囲で種々変形可能である。本発明は、帯域毎に空間領域分割を行う画像処理全般に対して有効である。また、本発明は、画像縮小、符号化、超解像等のように、帯域毎の空間領域分割が有効な様々な画像処理に適用することができる。
【００８２】
また、図１に示した画像領域分割装置１では、離散ウェーブレットパケット（ｗａｖｅｌｅｔ−ｐａｃｋｅｔ）による直交変換（ＤＷＰＴ演算）を行うようにしたが、他の直交変換を行うようにしてもよい。例えば、離散ウェーブレット（ｗａｖｅｌｅｔ）変換、離散フーリエ変換、離散コサイン変換を行うようにしてもよい。また、画像領域分割装置１にて用いた直交変換と同じ種類の変換を、図１６〜図１８に示した画像符号化装置１００及び画像復号装置２００に用いることにより、一層高画質な超解像処理を行うことができる。
【符号の説明】
【００８３】
１ 画像領域分割装置
２ 直交変換部
３ 空間高周波合成部
４ 帯域分解数決定部
５ 空間領域分割部
６ エッジ領域分割部
７ 選択部
１０ ダウンサンプリング部
１１ 分散値決定部
１２ 符号化部
１３ 送信部
２０ 受信部
２１ 復号部
２２ アップサンプリング部
１００ 画像符号化装置
２００ 画像復号装置
【技術分野】
【０００１】
本発明は、原画像の信号を直交変換し、その帯域毎に空間領域分割を行う装置及びプログラムに関する。
【背景技術】
【０００２】
近年、画像の超解像技術が盛んに研究開発されている。超解像技術は、画像のナイキスト周波数を超える空間高周波を補完し、画像拡大を行う技術である。代表的な補完方法には、周波数再構成型がある。周波数再構成型は、ナイキスト周波数以下の空間周波数情報を用いて、ナイキスト周波数を超える空間高周波を補完する。この周波数再構成型では、画質向上のために、画像の持つ空間高周波成分を帯域毎に詳細に解析して処理することが求められる。
【０００３】
例えば、出願人及び発明者が同一の先の特許出願であって、本出願時に未公開の特許出願（特願２０１０−１０５７０９）には、周波数再構成型を用いた超解像技術が記載されている。この技術は、ウェーブレット変換を用いて画像を帯域毎に分解し、その帯域毎に、異なった分散値のガウシアンフィルタ処理を施して超解像を行い、ナイキスト周波数を超える空間高周波を補完するものである。
【０００４】
一方、画像の低ビットレート符号化を目的として、エッジ領域を保持して画像符号化を行う技術が知られている（特許文献１を参照）。この画像符号化装置は、エッジ領域を検出するためにソーベル（ｓｏｂｅｌ）フィルタを用いており、輝度信号及び色差信号に基づいて画像エッジを検出し、これら複数の画像エッジから精度の高い画像エッジ領域を検出し、画像をテクスチャ領域とエッジ領域とに分割する。
【先行技術文献】
【特許文献】
【０００５】
【特許文献１】特許第３４５８９７２号公報
【発明の概要】
【発明が解決しようとする課題】
【０００６】
前述の未公開の特許出願に記載された技術では、ナイキスト周波数を超える空間高周波を補完することにより、高画質な画像を再生することができる。この場合、帯域毎の空間周波数情報を用いて空間領域の分割を行い、その空間領域毎に最適な分散値のガウシアンフィルタ処理を施すことができれば、更なる画質向上が期待できる。
【０００７】
一方、前述の特許文献１のソーベルフィルタを用いて、空間領域の分割を行うことができる。しかし、ソーベルフィルタは単純なハイパスフィルタの一種であり、空間周波数帯域を帯域毎に詳細に解析できない。このため、動物体等の空間領域分割においては、画像エッジがぼやけているため、空間領域分割の精度と確度に問題があった。
【０００８】
そこで、本発明は前記課題を解決するためになされたものであり、その目的は、原画像の信号を直交変換し、その帯域毎に空間領域の分割を行って空間領域分割信号を求めることにより、更なる画質向上を実現可能な画像領域分割装置及びプログラムを提供することにある。
【課題を解決するための手段】
【０００９】
前記課題を解決するため、本発明による画像領域分割装置は、原画像の信号を直交変換し、空間高周波信号を生成する直交変換部と、前記直交変換部により生成された空間高周波信号を合成し、空間高周波合成信号を生成する空間高周波合成部と、前記空間高周波合成部により生成された空間高周波合成信号に対し、予め設定された帯域分解数の直交変換を行い、当該直交変換後の信号の要素値に対し閾値処理を行って空間領域を分割し、帯域毎の空間領域分割信号を生成する空間領域分割部と、を備えたことを特徴とする。
【００１０】
また、本発明による画像領域分割装置は、前記予め設定された帯域分解数に代えて、前記空間高周波合成部により生成された空間高周波合成信号を直交変換し、当該直交変換後の信号のスペクトルパワーに基づいて、帯域分解数を決定する帯域分解数決定部を備え、前記空間領域分割部が、前記空間高周波合成信号に対し、前記帯域分解数決定部により決定された帯域分解数の直交変換を行い、帯域毎の空間領域分割信号を生成する、ことを特徴とする。
【００１１】
また、本発明による画像領域分割装置は、さらに、前記空間領域分割部により生成された帯域毎の空間領域分割信号と、前記帯域よりも帯域分解の階が１次元低い空間領域分割信号との間で、前記２つの空間領域分割信号における対応する位置毎に、予め設定された帯域分解数の積演算を行い、当該積演算後の信号の要素値に対し閾値処理を行ってエッジ領域を分割し、帯域毎のエッジ領域分割信号を生成するエッジ領域分割部、を備えたことを特徴とする。
【００１２】
また、本発明による画像領域分割装置は、さらに、前記空間領域分割部により生成された帯域毎の空間領域分割信号と、前記帯域よりも帯域分解の階が１次元小さい空間領域分割信号との間で、前記２つの空間領域分割信号における対応する位置毎に、前記帯域分解数決定部により決定された帯域分解数の積演算を行い、当該積演算後の信号の要素値に対し閾値処理を行ってエッジ領域を分割し、帯域毎のエッジ領域分割信号を生成するエッジ領域分割部、を備えたことを特徴とする。
【００１３】
また、本発明による画像領域分割装置は、前記エッジ領域分割部が、前記生成した帯域毎のエッジ領域分割信号に対し、フィルタを用いて、前記エッジ領域分割信号における孤立点を除去する、ことを特徴とする。
【００１４】
また、本発明による画像領域分割装置は、前記直交変換を、離散ウェーブレットパケット変換、離散ウェーブレット変換、離散フーリエ変換または離散コサイン変換とする、ことを特徴とする。
【００１５】
さらに、本発明による画像領域分割プログラムは、コンピュータを、前記画像領域分割装置として機能させることを特徴とする。
【発明の効果】
【００１６】
以上のように、本発明によれば、原画像を帯域毎に空間領域分割することができ、空間領域分割の結果得られた空間領域分割信号またはエッジ領域分割信号を用いることで、画質向上を実現することができる。例えば、本発明を周波数再構成型の超解像装置に適用した場合、帯域毎の空間領域分割信号またはエッジ領域分割信号が示す領域に対し、最適な分散値のガウシアンフィルタを用いることにより、高画質な超解像処理を行うことができる。
【図面の簡単な説明】
【００１７】
【図１】本発明の実施形態による画像領域分割装置の構成を示すブロック図である。
【図２】直交変換部の処理を示すフローチャートである。
【図３】直交変換部の処理内容を説明する図である。
【図４】空間高周波合成部の処理を示すフローチャートである。
【図５】空間高周波合成部の処理内容を説明する図である。
【図６】帯域分解数決定部の処理を示すフローチャートである。
【図７】帯域分解数決定部の処理内容を説明する図である。
【図８】空間領域分割部の処理を示すフローチャートである。
【図９】空間領域分割部の処理内容を説明する図である。
【図１０】エッジ領域分割部の処理を示すフローチャートである。
【図１１】エッジ領域分割部の処理内容を説明する図である。
【図１２】実施例１の処理を示すフローチャートである。
【図１３】実施例２の処理を示すフローチャートである。
【図１４】実施例３の処理を示すフローチャートである。
【図１５】実施例４の処理を示すフローチャートである。
【図１６】本発明の実施形態による画像領域分割装置を適用する画像符号化装置の構成を示すブロック図である。
【図１７】本発明の実施形態による画像領域分割装置を適用する画像復号装置の構成を示すブロック図である。
【図１８】画像符号化装置における分散値決定処理の概要を示す図である。
【発明を実施するための形態】
【００１８】
以下、本発明を実施するための形態について図面を用いて詳細に説明する。図１は、本発明の実施形態による画像領域分割装置の構成を示すブロック図である。この画像領域分割装置１は、直交変換部２、空間高周波合成部３、帯域分解数決定部４、空間領域分割部５、エッジ領域分割部６及び選択部７を備えている。画像領域分割装置１は、原画像Ｏを入力し、直交変換して空間高周波信号を抽出し、空間高周波信号を合成して空間高周波合成信号を生成し、空間高周波合成信号に基づいて空間領域分割信号ＢＳkを生成して出力し、空間領域分割信号ＢＳkに基づいてエッジ領域分割信号ＰｒＢＳkを生成して出力する。
【００１９】
画像領域分割装置１の直交変換部２は、原画像Ｏを入力し、原画像Ｏの直交変換を行い、空間低周波信号ＯLL1及び空間高周波信号ＯLH1，ＯHL1，ＯHH1を生成し、空間高周波信号ＯLH1，ＯHL1，ＯHH1を抽出して空間高周波合成部３に出力する。
【００２０】
空間高周波合成部３は、直交変換部２から空間高周波信号ＯLH1，ＯHL1，ＯHH1を入力し、これらの信号を合成して空間高周波合成信号Ｓを生成し、帯域分解数決定部４及び空間領域分割部５に出力する。
【００２１】
帯域分解数決定部４は、空間高周波合成部３から空間高周波合成信号Ｓを入力し、空間高周波合成信号Ｓを直交変換し、空間低周波信号ＯLL1のスペクトルパワーを求める。そして、帯域分解数決定部４は、スペクトルパワーが所定値よりも小さい場合、直交変換を繰り返し、スペクトルパワーが所定値以上になったときの直交変換の回数を帯域分解数ｋmaxに決定し、選択部７に出力する。これにより、直交変換を繰り返す毎にスペクトルパワーが大きくなることを利用して、原画像Ｏがどの程度高域までスペクトルパワーを持つかを調べることができる。
【００２２】
空間領域分割部５は、空間高周波合成部３から空間高周波合成信号Ｓを入力すると共に、後述する選択部７から帯域分解数ｋmaxを入力し、空間高周波合成信号Ｓに対し帯域分解数ｋmaxの数分の直交変換を行い、帯域毎の空間低周波信号ＳLLk＝ＳLL1〜ＳLLkmaxを生成する。そして、空間領域分割部５は、帯域毎の空間低周波信号ＳLLk＝ＳLL1〜ＳLLkmaxにおける各要素位置のスペクトルパワー（要素値）が閾値以上となる要素位置にフラグ１を設定し、帯域毎の空間領域分割信号ＢＳLL1〜ＢＳLLkmaxを生成する。また、空間領域分割部５は、直交変換によって、空間高周波信号ＳLH1，ＳHL1，ＳHH1を生成し、これらの信号を合成して合成信号（最大値信号）ＳH1を生成し、最大値信号ＳH1における各要素位置のスペクトルパワーが閾値以上となる要素位置にフラグ１を設定し、空間領域分割信号ＢＳを生成する。そして、空間領域分割部５は、生成した空間領域分割信号ＢＳLL1〜ＢＳLLkmax，ＢＳを空間領域分割信号ＢＳkとして外部へ出力すると共に、空間領域分割信号ＢＳk及び帯域分解数ｋmaxをエッジ領域分割部６に出力する。
【００２３】
エッジ領域分割部６は、空間領域分割部５から空間領域分割信号ＢＳk及び帯域分解数ｋmaxを入力し、ｋ＝ｋmaxからｋ＝１まで、空間領域分割信号ＢＳLLkの領域を４倍にした信号と、帯域分解の階が１階低い空間領域分割信号ＢＳLLk-1との積を演算し、エッジ領域分割信号ＰｒＢＳLLkを生成する。尚、ｋ＝１のときは、空間領域分割信号ＢＳLL1の領域を４倍にした信号と、空間領域分割信号ＢＳとの積を演算する。これにより、空間領域分割信号ＢＳkを帯域毎に再帰的に利用することで、エッジ領域分割信号ＰｒＢＳkを得ることができる。
【００２４】
また、エッジ領域分割部６は、エッジ領域分割信号ＰｒＢＳLLkの全要素位置に対し、３×３サイズの孤立点除去フィルタを用いて、孤立点を除去する。これにより、エッジ領域の分割確度を高めることができる。
【００２５】
そして、エッジ領域分割部６は、生成したエッジ領域分割信号ＰｒＢＳLL1〜ＰｒＢＳLLkmax（積の演算により生成された信号、または孤立点除去後の信号）をエッジ領域分割信号ＰｒＢＳkとして外部へ出力する。
【００２６】
尚、エッジ領域分割部６は、帯域分解数ｋmaxを空間領域分割部５から入力するようにしたが、選択部７から入力するようにしてもよい。
【００２７】
選択部７は、帯域分解数決定部４から決定された帯域分解数ｋmaxを入力すると共に、予め設定された固定の帯域分解数ｋmaxを入力し、ユーザによる設定に従って、いずれか一方の帯域分解数ｋmaxを選択し、空間領域分割部５に出力する。
【００２８】
〔直交変換部〕
次に、図１に示した直交変換部２について詳細に説明する。図２は、直交変換部２の処理を示すフローチャートであり、図３は、直交変換部２の処理内容を説明する図である。図２を参照して、直交変換部２は、原画像Ｏを入力し（ステップＳ２０１）、原画像Ｏに対し、離散ウェーブレットパケット（ｗａｖｅｌｅｔ−ｐａｃｋｅｔ）による直交変換（ＤＷＰＴ演算）を行い（ステップＳ２０２）、空間低周波信号ＯLL1及び水平高周波信号ＯLH1，垂直高周波信号ＯHL1及び斜め高周波信号ＯHH1を生成する。そして、直交変換部２は、水平高周波信号ＯLH1，垂直高周波信号ＯHL1及び斜め高周波信号ＯHH1を空間高周波信号ＯLH1，ＯHL1，ＯHH1として抽出し（ステップＳ２０３）、空間高周波合成部３に出力する（ステップＳ２０４）。
【００２９】
図３を参照して、ｘｙ軸上の原画像Ｏに対し、離散ウェーブレットパケットによる直交変換が行われることにより、水平周波数ｆH軸及び垂直周波数ｆv軸上の空間周波数信号、すなわち空間低周波信号ＯLL1及び空間高周波信号ＯLH1，ＯHL1，ＯHH1が生成される。そして、変換された空間周波数信号から空間高周波信号ＯLH1，ＯHL1，ＯHH1が抽出される（斜線部分）。
【００３０】
〔空間高周波合成部〕
次に、図１に示した空間高周波合成部３について詳細に説明する。図４は、空間高周波合成部３の処理を示すフローチャートであり、図５は、空間高周波合成部３の処理内容を説明する図である。図４を参照して、空間高周波合成部３は、直交変換部２から空間高周波信号ＯLH1，ＯHL1，ＯHH1を入力し（ステップＳ４０１）、原画像Ｏの各空間高周波信号ＯLH1，ＯHL1，ＯHH1の任意要素位置（ｉ，ｊ）において、最大値演算を行うことにより、これらの信号を合成し、空間高周波合成信号Ｓを生成する（ステップＳ４０２）。そして、空間高周波合成部３は、空間高周波合成信号Ｓを帯域分解数決定部４及び空間領域分割部５に出力する（ステップＳ４０３）。例えば、空間高周波合成信号Ｓ（１，１）の最大値演算は、３つの空間高周波帯域ＯLH1，ＯHL1，ＯHH1の同じ要素位置（１，１）からなる３要素の最大値演算ＭＡＸ｛ＯLH1（１，１），ＯHL1（１，１），ＯHH1（１，１）｝となる。つまり、空間高周波合成部３は、以下の式により、空間高周波合成信号Ｓを生成する。
Ｓ（ｉ，ｊ）＝ＭＡＸ｛ＯLH1（ｉ，ｊ），ＯHL1（ｉ，ｊ），ＯHH1（ｉ，ｊ）｝
【００３１】
図５を参照して、水平周波数ｆH軸及び垂直周波数ｆv軸上の空間高周波信号ＯLH1，ＯHL1，ＯHH1の各要素位置に対し、最大値演算が行われることにより、空間高周波合成信号Ｓが生成される（右側の斜線部）。
【００３２】
〔帯域分解数決定部〕
次に、図１に示した帯域分解数決定部４について詳細に説明する。図６は、帯域分解数決定部４の処理を示すフローチャートであり、図７は、帯域分解数決定部４の処理内容を説明する図である。図６を参照して、帯域分解数決定部４は、空間高周波合成部３から空間高周波合成信号Ｓを入力し（ステップＳ６０１）、ｋ＝０を設定し（ステップＳ６０２）、ｋ＝ｋ＋１の演算を行って新たなｋを算出する（ステップＳ６０３）。そして、帯域分解数決定部４は、空間高周波合成信号Ｓに対し、ｋ階の離散ウェーブレットパケットによる直交変換（ｋ階ＤＷＰＴ演算）を行い、空間低周波信号ＳLLkを生成する（ステップＳ６０４）。
【００３３】
帯域分解数決定部４は、空間低周波信号ＳLLkについて、全ての要素位置におけるスペクトルパワーである要素値α（ｉ，ｊ）の最大値ＭＳLLkを、以下の式により演算する（ステップＳ６０５）。
ＭＳLLk＝ＭＡＸ｛ＳLLk（ｉ，ｊ）；α（ｉ，ｊ）｝
【００３４】
帯域分解数決定部４は、空間低周波信号ＳLLkについての全要素値の最大値ＭＳLLkが所定の閾値Ｔｈｄよりも小さいか否かを判定し（ステップＳ６０６）、最大値ＭＳLLkが閾値Ｔｈｄよりも小さいと判定した場合（ステップＳ６０６：Ｙ）、ステップＳ６０３へ移行し、ｋ＝ｋ＋１の演算を行って新たなｋを算出し、ステップＳ６０３〜ステップＳ６０５の処理を行う。一方、帯域分解数決定部４は、ステップＳ６０６において、最大値ＭＳLLkが閾値Ｔｈｄよりも小さくないと判定した場合（ステップＳ６０６：Ｎ）、すなわち最大値ＭＳLLkが閾値Ｔｈｄ以上になったと判定した場合、ｋを帯域分解数ｋmaxに決定し（帯域分解数ｋmax＝ｋ）（ステップＳ６０７）、帯域分解数ｋmaxを選択部７に出力する（ステップＳ６０８）。
【００３５】
ここで、ｋが大きくなるに従って、空間低周波信号ＳLLkについての全要素値の最大値ＭＳLLkも大きくなり、最終的に、最大値ＭＳLLkが閾値Ｔｈｄ以上になったと判定したときのｋが、帯域分解数ｋmaxに決定される。したがって、決定された帯域分解数ｋmaxは、原画像Ｏがどの帯域までスペクトルパワーを持っているかの程度を示している。
【００３６】
図７を参照して、入力した空間高周波合成信号Ｓに対し、離散ウェーブレットパケットによる直交変換（ｋ階ＤＷＰＴ演算）が順次行われ、空間低周波信号ＳLLkについて、全ての要素位置における要素値α（ｉ，ｊ）の最大値ＭＳLLkが演算されることを示している。
【００３７】
尚、帯域分解数決定部４は、空間低周波信号ＯLLkについての全要素値の最大値ＭＳLLkを演算する代わりに、平均値または中央値を演算するようにしてもよい。
【００３８】
〔空間領域分割部〕
次に、図１に示した空間領域分割部５について詳細に説明する。図８は、空間領域分割部５の処理を示すフローチャートであり、図９は、空間領域分割部５の処理内容を説明する図である。図８を参照して、空間領域分割部５は、空間高周波合成部３から空間高周波合成信号Ｓを入力すると共に、選択部７から帯域分解数ｋmaxを入力し（ステップＳ８０１）、空間高周波合成信号Ｓに対し、帯域分解数ｋmaxの数分の離散ウェーブレットパケットによる直交変換（１〜ｋmax階ＤＷＰＴ演算）を行い、帯域毎の空間低周波信号ＳLLk＝ＳLL1〜ＳLLkmaxを生成する（ステップＳ８０２）。そして、ステップＳ８０３及びステップＳ８０４へ移行する。
【００３９】
空間領域分割部５は、ステップＳ８０２から移行して、帯域毎の空間低周波信号ＳLLk＝ＳLL1〜ＳLLkmaxにおける各要素位置のスペクトルパワー（要素値）と所定の閾値とを比較し、スペクトルパワーが閾値以上となる要素位置にフラグ１を設定し、帯域毎の空間領域分割信号ＢＳLL1〜ＢＳLLkmaxを生成する（ステップＳ８０３）。そして、ステップＳ８０６へ移行する。
【００４０】
空間領域分割部５は、ステップＳ８０２から移行して、ステップＳ８０２の直交変換によって、空間高周波信号ＳLH1，ＳHL1，ＳHH1を生成し、空間高周波合成信号Ｓの各空間高周波信号ＳLH1，ＳHL1，ＳHH1の任意要素位置（ｉ，ｊ）において、最大値演算を行うことにより、これらの信号を合成して合成信号（最大値信号）ＳH1を生成する（ステップＳ８０４）。このステップＳ８０４の処理は、図４に示した空間高周波合成部３によるステップＳ４０２の処理と同様である。そして、空間領域分割部５は、最大値信号ＳH1における各要素位置のスペクトルパワーと所定の閾値とを比較し、スペクトルパワーが閾値以上となる要素位置にフラグ１を設定し、空間領域分割信号ＢＳを生成する（ステップＳ８０５）。そして、ステップＳ８０６へ移行する。
【００４１】
空間領域分割部５は、ステップＳ８０３及びステップＳ８０５から移行して、生成した帯域毎の空間領域分割信号ＢＳLL1〜ＢＳLLkmax，ＢＳを空間領域分割信号ＢＳkとして外部へ出力すると共に、エッジ領域分割部６に出力する（ステップＳ８０６）。尚、空間領域分割部５は、帯域分解数ｋmaxもエッジ領域分割部６に出力する。
【００４２】
図９を参照して、ｋ＝１のときの空間低周波信号ＳLL1の所定位置（四角の枠の箇所）における空間領域分割信号ＢＳLL1、は、フラグ図に示すとおりであり、ｋ＝２のときの空間低周波信号ＳLL2の同じ所定位置（四角の枠の箇所）における空間領域分割信号ＢＳLL2よりも分解能が高い。同様に、ｋ＝２のときの空間低周波信号ＳLL2の所定位置における空間領域分割信号ＢＳLL2、は、ｋ＝３のときの空間低周波信号ＳLL3の同じ所定位置（四角の枠の箇所）における空間領域分割信号ＢＳLL3よりも分解能が高い。つまり、原画像Ｏの周波数帯域は、ｋが大きくなるに従って、原画像Ｏの水平標本化周波数ｆSH及び垂直標本化周波数ｆSVと原点である０との間の中央の周波数へ向けて、狭くなる。
【００４３】
〔エッジ領域分割部〕
次に、図１に示したエッジ領域分割部６について詳細に説明する。図１０は、エッジ領域分割部６の処理を示すフローチャートであり、図１１は、エッジ領域分割部６の処理内容を説明する図である。図１０を参照して、エッジ領域分割部６は、空間領域分割部５から空間領域分割信号ＢＳk（ＢＳLL1〜ＢＳLLkmax，ＢＳ）及び帯域分解数ｋmaxを入力し（ステップＳ１００１）、帯域分解数ｋmaxをｋに設定する（ｋ＝ｋmax）（ステップＳ１００２）。
【００４４】
エッジ領域分割部６は、空間領域分割信号ＢＳLLkの領域を面積４倍（水平２倍、垂直２倍）に拡大し、その領域を４ＢＳLLkとする（ステップＳ１００３）。空間領域分割信号ＢＳLLkの領域の面積と、この帯域よりも１次元低いｋ−１階の帯域における空間領域分割信号ＢＳLLk-1の領域の面積とを比較すると、空間領域分割信号ＢＳLLk-1が空間領域分割信号ＢＳLLkの４倍である。したがって、後述するステップＳ１００４において、空間領域分割信号ＢＳLLk-1の任意位置と、これに対応した空間領域分割信号ＢＳLLkの位置とは、４倍の面積差に対応した関係になる。
【００４５】
エッジ領域分割部６は、４ＢＳLLkとＢＳLLk-1との積を、以下の式により演算し、その積集合となるエッジ領域分割信号ＰｒＢＳLLkを生成する（ステップＳ１００４）。
ＰｒＢＳLLk＝４ＢＳLLk∩ＢＳLLk-1
【００４６】
エッジ領域分割部６は、エッジ領域分割信号ＰｒＢＳLLkの全要素位置に対し、３×３サイズの孤立点除去フィルタを用いて、孤立点を除去する（ステップＳ１００５）。具体的には、エッジ領域分割部６は、孤立点除去フィルタを用いて、３×３サイズの９個の領域内に、フラグ１の個数がθ個以上存在するか否かを判定し、存在すると判定した場合、３×３サイズの中心位置の値を１に設定し、存在しないと判定した場合、その中心位置の値を０に設定する。θは所定の閾値である。これにより、近隣領域において、孤立したフラグ１を除去することができる。
【００４７】
エッジ領域分割部６は、ｋ＝ｋ−１の演算を行って新たなｋを算出し（ステップＳ１００６）、ｋ＝１であるか否かを判定し（ステップＳ１００７）、ｋ＝１でないと判定した場合（ステップＳ１００７：Ｎ）、ステップＳ１００３へ移行し、ステップＳ１００３〜ステップＳ１００６の処理を行う。これにより、帯域毎のエッジ領域分割信号ＰｒＢＳLL2〜ＰｒＢＳLLkmaxが生成される。
【００４８】
一方、エッジ領域分割部６は、ステップＳ１００７において、ｋ＝１であると判定した場合（ステップＳ１００７：Ｙ）、４ＢＳLL1とＢＳとの積を、以下の式により演算し、その積集合となるエッジ領域分割信号ＰｒＢＳLL1を生成する（ステップＳ１００８）。
ＰｒＢＳLL1＝４ＢＳLL1∩ＢＳ
【００４９】
エッジ領域分割部６は、生成した帯域毎のエッジ領域分割信号ＰｒＢＳLL1〜ＰｒＢＳLLkmaxをエッジ領域分割信号ＰｒＢＳkとして外部へ出力する（ステップＳ１００９）。尚、解析したい周波数帯域に応じて、ステップＳ１００３〜ステップＳ１００７の処理を、ｋ＝１まで繰り返さない場合もある。
【００５０】
一般に、原画像Ｏ内の先鋭なエッジは、周波数帯域において、低周波領域から高周波領域へ向けて徐々にスペクトルパワーを減らしながらも、広い帯域にスペクトルパワーを含んでおり、かつ孤立点状に分布しない。このようなエッジの特性を利用することにより、図１０に示した処理にて、エッジ領域分割信号ＰｒＢＳLL1〜ＰｒＢＳLLkmaxを生成することができる。
【００５１】
尚、エッジ領域分割部６は、孤立点除去フィルタを用いることなく、ステップＳ１００４において積の演算により生成したエッジ領域分割信号ＰｒＢＳLL1〜ＰｒＢＳLLkmaxを、エッジ領域分割信号ＰｒＢＳkとして外部へ出力するようにしてもよいし、図１０に示したように、孤立点除去フィルタを用いて、孤立点除去後のエッジ領域分割信号ＰｒＢＳLL1〜ＰｒＢＳLLkmaxをエッジ領域分割信号ＰｒＢＳkとして外部へ出力するようにしてもよい。
【００５２】
図１１には、ｋ＝２のときのエッジ領域分割信号ＰｒＢＳLL2（＝４ＢＳLL2∩ＢＳLL1）が示されており、３×３サイズの孤立点除去フィルタによって、孤立点が除去されたエッジ領域分割信号ＰｒＢＳLL2が生成される。エッジ領域分割信号ＰｒＢＳLL2のフラグ１の領域は、原画像Ｏのサイズに対し、４×４倍に相当する。
【００５３】
以上のように、本発明の実施形態による画像領域分割装置１によれば、直交変換部２が、原画像Ｏの直交変換を行って空間高周波信号ＯLH1，ＯHL1，ＯHH1を抽出し、空間高周波合成部３が、空間高周波信号ＯLH1，ＯHL1，ＯHH1における同じ要素位置の最大値演算によりこれらの信号を合成して空間高周波合成信号Ｓを生成し、帯域分解数決定部４が、空間高周波合成信号Ｓを直交変換し、空間低周波信号ＯLL1のスペクトルパワーを求め、スペクトルパワーの閾値演算により、スペクトルパワーが所定値よりも小さい場合に直交変換を繰り返し、スペクトルパワーが所定値以上になった場合の直交変換の回数を帯域分解数ｋmaxに決定するようにした。また、空間領域分割部５が、空間高周波合成信号Ｓの直交変換を行って空間低周波信号ＳLLk＝ＳLL1〜ＳLLkmaxを生成し、空間低周波信号ＳLLk＝ＳLL1〜ＳLLkmaxにおける各要素位置のスペクトルパワーが閾値以上となる要素位置にフラグ１を設定し、帯域毎の空間領域分割信号ＢＳLL1〜ＢＳLLkmaxを生成するようにした。そして、空間領域分割部５が、直交変換によって空間高周波信号ＳLH1，ＳHL1，ＳHH1を生成し、これらの信号を合成して合成信号（最大値信号）ＳH1を生成し、最大値信号ＳH1における各要素位置のスペクトルパワーが閾値以上となる要素位置にフラグ１を設定し、空間領域分割信号ＢＳを生成するようにした。
【００５４】
また、エッジ領域分割部６が、ｋ＝ｋmaxからｋ＝１まで、空間領域分割信号ＢＳLLkの領域を４倍にした信号と空間領域分割信号ＢＳLLk-1との積を演算し、ｋ＝１のときは、空間領域分割信号ＢＳLL1の領域を４倍にした信号と空間領域分割信号ＢＳとの積を演算し、帯域毎のエッジ領域分割信号ＰｒＢＳLL1〜ＰｒＢＳLLkmaxを生成するようにした。
【００５５】
これにより、原画像Ｏを帯域毎に空間領域分割することができ、空間領域分割信号またはエッジ領域分割信号を用いることで、画質向上を実現することができる。例えば、周波数再構成型の超解像装置において、帯域毎の空間領域分割信号またはエッジ領域分割信号が示す領域に対し、最適な分散値のガウシアンフィルタを用いることにより、高画質な超解像処理を行うことができる。詳細については後述する。
【００５６】
尚、本発明の実施形態による画像領域分割装置１のハードウェア構成としては、通常のコンピュータを使用することができる。画像領域分割装置１は、ＣＰＵ、ＲＡＭ等の揮発性の記憶媒体、ＲＯＭ等の不揮発性の記憶媒体、及びインターフェース等を備えたコンピュータによって構成される。画像領域分割装置１に備えた直交変換部２、空間高周波合成部３、帯域分解数決定部４、空間領域分割部５、エッジ領域分割部６及び選択部７の各機能は、これらの機能を記述したプログラムをＣＰＵに実行させることによりそれぞれ実現される。また、これらのプログラムは、磁気ディスク（フロッピー（登録商標）ディスク、ハードディスク等）、光ディスク（ＣＤ−ＲＯＭ、ＤＶＤ等）、半導体メモリ等の記憶媒体に格納して頒布することもできる。
【００５７】
〔実施例１〕
次に、図１に示した画像領域分割装置１の具体的な実施例について説明する。まず、実施例１について説明する。実施例１は、帯域分解数決定部４により決定された帯域分解数ｋmaxを用いることなく、予め設定された固定の帯域分解数ｋmaxを用い、帯域毎の空間領域分割信号ＢＳk（ＢＳLL1〜ＢＳLLkmax，ＢＳ）を生成して出力する例である。図１２は、実施例１の処理を示すフローチャートである。
【００５８】
画像領域分割装置１の直交変換部２は、原画像Ｏを入力し（ステップＳ１２０１）、原画像Ｏに対して直交変換を行って空間高周波信号ＯLH1，ＯHL1，ＯHH1を抽出する（ステップＳ１２０２）。そして、空間高周波合成部３は、空間高周波信号ＯLH1，ＯHL1，ＯHH1を合成して空間高周波合成信号Ｓを生成する（ステップＳ１２０３）。
【００５９】
空間領域分割部５は、空間高周波合成信号Ｓの直交変換を、予め設定された固定の帯域分解数ｋmaxの数分行い、帯域毎の空間低周波信号ＳLLk＝ＳLL1〜ＳLLkmaxを生成し、各要素位置のスペクトルパワーの閾値演算によってフラグ１を設定し、帯域毎の空間領域分割信号ＢＳLL1〜ＢＳLLkmaxを生成すると共に、直交変換によって空間高周波信号ＳLH1，ＳHL1，ＳHH1を生成し、同様の閾値演算によって空間領域分割信号ＢＳを生成する（ステップＳ１２０４）。そして、空間領域分割部５は、帯域毎の空間領域分割信号ＢＳLL1〜ＢＳLLkmax，ＢＳを空間領域分割信号ＢＳkとして出力する（ステップＳ１２０５）。
【００６０】
このように、実施例１によれば、原画像Ｏを帯域毎に空間領域分割することができ、帯域毎の空間領域分割信号を、例えば周波数再構成型の超解像装置に適用することにより、画質向上を実現することができる。
【００６１】
〔実施例２〕
次に、実施例２について説明する。実施例２は、帯域分解数決定部４により決定された帯域分解数ｋmaxを用い、帯域毎の空間領域分割信号ＢＳk（ＢＳLL1〜ＢＳLLkmax，ＢＳ）を生成して出力する例である。図１３は、実施例２の処理を示すフローチャートである。図１３において、ステップＳ１３０１〜ステップＳ１３０３、ステップＳ１３０５及びステップＳ１３０６は、図１２に示した実施例１のステップＳ１２０１〜ステップＳ１２０５と同じであるので、説明を省略する。
【００６２】
画像領域分割装置１の帯域分解数決定部４は、空間高周波合成信号Ｓを直交変換し、空間低周波信号ＯLL1のスペクトルパワーを求め、スペクトルパワーの閾値演算により、スペクトルパワーが所定値以上になった場合の直交変換の回数を帯域分解数ｋmaxに決定する（ステップＳ１３０４）。
【００６３】
空間領域分割部５は、空間高周波合成信号Ｓの直交変換を、ステップＳ１３０４にて決定された帯域分解数ｋmaxの数分行い、帯域毎の空間低周波信号ＳLLk＝ＳLL1〜ＳLLkmaxを生成し、図１２に示した実施例１のステップＳ１２０４と同様の処理を行う（ステップＳ１３０５）。
【００６４】
このように、実施例２によれば、実施例１と同様に、画質向上を実現することができる。また、帯域分解数ｋmaxは、帯域分解数決定部４によって信号のスペクトルパワーに基づいて、その都度決定されるから、特に、動画のような時間的に変化する原画像に対して有効である。
【００６５】
〔実施例３〕
次に、実施例３について説明する。実施例３は、帯域分解数決定部４により決定された帯域分解数ｋmaxを用いることなく、予め設定された固定の帯域分解数ｋmaxを用い、帯域毎の空間領域分割信号ＢＳk（ＢＳLL1〜ＢＳLLkmax，ＢＳ）から帯域毎のエッジ領域分割信号ＰｒＢＳk（ＰｒＢＳLL1〜ＰｒＢＳLLkmax）を生成して出力する例である。図１４は、実施例３の処理を示すフローチャートである。図１４において、ステップＳ１４０１〜ステップＳ１４０４は、図１２に示した実施例１のステップＳ１２０１〜ステップＳ１２０４と同じであるので、説明を省略する。
【００６６】
画像領域分割装置１のエッジ領域分割部６は、ｋ＝ｋmaxからｋ＝１まで、空間領域分割信号ＢＳLLkの領域を４倍にした信号と空間領域分割信号ＢＳLLk-1との積を演算し、ｋ＝１のときは、空間領域分割信号ＢＳLL1の領域を４倍にした信号と空間領域分割信号ＢＳとの積を演算し、帯域毎のエッジ領域分割信号ＰｒＢＳLL1〜ＰｒＢＳLLkmaxを生成し（ステップＳ１４０５）、エッジ領域分割信号ＰｒＢＳkとして出力する（ステップＳ１４０６）。
【００６７】
このように、実施例３によれば、実施例１と同様に、画質向上を実現することができる。特に、原画像に含まれるエッジ成分について、一層の画質向上を実現することができる。
【００６８】
〔実施例４〕
次に、実施例４について説明する。実施例４は、帯域分解数決定部４により決定された帯域分解数ｋmaxを用い、帯域毎の空間領域分割信号ＢＳk（ＢＳLL1〜ＢＳLLkmax，ＢＳ）から帯域毎のエッジ領域分割信号ＰｒＢＳk（ＰｒＢＳLL1〜ＰｒＢＳLLkmax）を生成して出力する例である。図１５は、実施例４の処理を示すフローチャートである。図１５において、ステップＳ１５０１〜ステップＳ１５０５は、図１３に示した実施例２のステップＳ１３０１〜ステップＳ１３０５と同じであり、ステップＳ１５０６及びステップＳ１５０７は、図１４に示した実施例３のステップＳ１４０５及びステップＳ１４０６と同じであるので、説明を省略する。
【００６９】
このように、実施例４によれば、実施例１と同様に、画質向上を実現することができる。また、帯域分解数ｋmaxは、帯域分解数決定部４によって信号のスペクトルパワーに基づいて、その都度決定されるから、特に、動画のような時間的に変化する原画像に対して有効である。特に、原画像に含まれるエッジ成分について、一層の画質向上を実現することができる。
【００７０】
〔周波数再構成型の超解像装置に適用した場合の例〕
次に、図１に示した画像領域分割装置１を周波数再構成型の超解像装置に適用した場合の例について説明する。この例は、画像領域分割装置１により出力された空間領域分割信号ＢＳk（ＢＳLL1〜ＢＳLLkmax，ＢＳ）またはエッジ領域分割信号ＰｒＢＳk（ＰｒＢＳLL1〜ＰｒＢＳLLkmax）を用いて、この信号が示すフラグ１の領域についてのみ最適な分散値のガウシアンフィルタを適用する。フラグ１の領域はスペクトルパワーが閾値以上の領域であるから、高画質な超解像処理を行うことができる。
【００７１】
図１６は、図１に示した画像領域分割装置１を適用する画像符号化装置の構成を示すブロック図である。この画像符号化装置１００は、原画像Ｆを直交変換（例えばウェーブレット分解）してダウンサンプリングし、低解像度のダウンサンプリング画像ＣＡ（ｎ）（ｎ：分解階数）を出力するダウンサンプリング部１０と、ダウンサンプリング部１０で直交変換して得られたダウンサンプリング画像ＣＡ（ｎ），ＣＡ（ｎ−１）等に基づいて、後述するアップサンプリング処理で用いるガウシアンフィルタの分散値σＣＨ（ｎ），σＣＶ（ｎ），σＣＤ（ｎ）（下付符号ＣＨ，ＣＶ，ＣＤは、水平、垂直、斜め方向の高周波成分を示す）を決定する分散値決定部１１と、ダウンサンプリング部１０で直交変換して得られたダウンサンプリング画像ＣＡ（ｎ）を符号化する符号化部１２と、符号化部１２で符号化されたダウンサンプリング画像ＥｎＣＡ（ｎ）及び分散値決定部１１で決定されたガウシアンフィルタの分散値σＣＨ（ｎ），σＣＶ（ｎ），σＣＤ（ｎ）を送信信号として送信する送信部１３と、を備えて構成される。ここで、画像領域分割装置１により出力された空間領域分割信号ＢＳk（ＢＳLL1〜ＢＳLLkmax，ＢＳ）またはエッジ領域分割信号ＰｒＢＳk（ＰｒＢＳLL1〜ＰｒＢＳLLkmax）は、分散値決定部１１にて用いられ、この信号が示すフラグ１の領域の要素値に対してフィルタリング処理が行われることを前提にして、ガウシアンフィルタの分散値σＣＨ（ｎ），σＣＶ（ｎ），σＣＤ（ｎ）が決定される。
【００７２】
図１７は、図１に示した画像領域分割装置１を適用する画像復号装置の構成を示すブロック図である。この画像復号装置２００は、前述した画像符号化装置１から送信されたダウンサンプリング画像ＥｎＣＡ（ｎ）及びガウシアンフィルタの分散値σＣＨ（ｎ），σＣＶ（ｎ），σＣＤ（ｎ）を受信する受信部２０と、受信部２０で受信されたダウンサンプリング画像ＥｎＣＡ（ｎ）を復号する復号部２１と、受信部２０で受信されたガウシアンフィルタの分散値σＣＨ（ｎ），σＣＶ（ｎ），σＣＤ（ｎ）を用いて、復号部２１で復号されたダウンサンプリング画像ＥｎＤｅＣＡ（ｎ）をアップサンプリング処理するアップサンプリング部２２と、を備えて構成される。ここで、画像領域分割装置１により出力された空間領域分割信号ＢＳk（ＢＳLL1〜ＢＳLLkmax，ＢＳ）またはエッジ領域分割信号ＰｒＢＳk（ＰｒＢＳLL1〜ＰｒＢＳLLkmax）は、アップサンプリング部２２にて用いられ、この信号が示すフラグ１の領域の要素値のみに対し、ガウシアンフィルタの分散値σＣＨ（ｎ），σＣＶ（ｎ），σＣＤ（ｎ）によるフィルタリング処理が行なわれる。
【００７３】
図１８は、図１６に示した画像符号化装置１００の分散値決定部１１における分散値決定処理の概要を示す図である。まず、分散値決定部１１は、分解階数ｎの低周波領域成分ＣＡ（ｎ）を１階離散ウェーブレット分解して、分解階数ｎ＋１における水平、垂直、斜め方向の各高周波領域成分ＣＨ（ｎ＋１），ＣＶ（ｎ＋１），ＣＤ（ｎ＋１）を得る（ステップＳ１）。そして、水平、垂直、斜め方向の各高周波領域成分ＣＨ（ｎ＋１），ＣＶ（ｎ＋１），ＣＤ（ｎ＋１）の各々を空間低周波領域成分とし、同じサイズのゼロ行列を空間高周波領域成分として１階離散ウェーブレット再構成により、水平、垂直方向に２倍拡大し、ＥｘＣＨ（ｎ），ＥｘＣＶ（ｎ），ＥｘＣＤ（ｎ）を得る（ステップＳ２）。
【００７４】
ＣＨ（ｎ＋１）を空間低周波領域成分、同じサイズのゼロ行列を空間高周波領域成分として１階離散ウェーブレット再構成した式を以下に示す。０はゼロ行列を示す。
ＥｘＣＨ（ｎ）＝ＩＤＷＴ（１）（ＣＨ（ｎ＋１），０，０，０，ｗａｖｅｌｅｔ＿ｎ）
【００７５】
分散値決定部１１は、水平、垂直方向に２倍拡大したＥｘＣＨ（ｎ），ＥｘＣＶ（ｎ），ＥｘＣＤ（ｎ）を得た後、画像領域分割装置１により出力された空間領域分割信号ＢＳk（ＢＳLL1〜ＢＳLLkmax，ＢＳ）またはエッジ領域分割信号ＰｒＢＳk（ＰｒＢＳLL1〜ＰｒＢＳLLkmax）が示すフラグ１の領域のＥｘＣＨ（ｎ），ＥｘＣＶ（ｎ），ＥｘＣＤ（ｎ）に対し、ガウシアンフィルタの分散値σＣＨ（ｎ），σＣＶ（ｎ），σＣＤ（ｎ）を用いたガウシアンフィルタによるフィルタリングを行い、ＧＥｘＣＨ（ｎ），ＧＥｘＣＶ（ｎ），ＧＥｘＣＤ（ｎ）を得る（ステップＳ３）。この場合、ガウシアンフィルタの分散値σＣＨ（ｎ），σＣＶ（ｎ），σＣＤ（ｎ）は、初期値として任意の値または経験値が用いられる。例えば、ガウシアンフィルタの分散値σＣＨ（ｎ），σＣＶ（ｎ），σＣＤ（ｎ）のそれぞれを０．１から０．１刻みで変化させるものとすると、初期値は、例えばσＣＨ（ｎ）＝０．１，σＣＶ（ｎ）＝０．１，σＣＤ（ｎ）＝０．１となる。
【００７６】
ガウシアンフィルタによるフィルタリングを行って、ＧＥｘＣＨ（ｎ）、ＧＥｘＣＶ（ｎ）、ＧＥｘＣＤ（ｎ）を得た後、低周波領域成分ＣＡ（ｎ）を空間低周波領域成分とし、ＧＥｘＣＨ（ｎ），ＧＥｘＣＶ（ｎ），ＧＥｘＣＤ（ｎ）を空間高周波領域成分として、１階離散ウェーブレット再構成により水平、垂直方向に２倍拡大し、ＧＥｘＣＡ（ｎ−１）を得る（ステップＳ４）。
【００７７】
ＧＥｘＣＡ（ｎ−１）を得た後、ＣＡ（ｎ−１）との間の差分値を計算する。今回の差分値が前回の差分値より小さければ、今回の差分値と今回使用したガウシアンフィルタの分散値σＣＨ（ｎ），σＣＶ（ｎ），σＣＤ（ｎ）をそれぞれ記憶する（ステップＳ５）。なお、分散値決定部１１は図示しないメモリを有しており、このメモリに今回の差分値と今回使用したガウシアンフィルタの分散値σＣＨ（ｎ），σＣＶ（ｎ），σＣＤ（ｎ）を記憶する。最初の１回目は前回の差分値が無いことから、今回算出した差分値と今回使用したガウシアンフィルタの分散値σＣＨ（ｎ），σＣＶ（ｎ），σＣＤ（ｎ）をそのまま記憶する。また、画像の評価方法としては、平均二乗誤差（ＭＳＥ：Mean Square Error)があり、この評価方法を用いるとよい。
【００７８】
以上のステップＳ１〜ステップＳ５の処理をガウシアンフィルタの分散値σＣＨ（ｎ），σＣＶ（ｎ），σＣＤ（ｎ）を変化させながら繰り返し行い、ＧＥｘＣＡ（ｎ−１）とＣＡ（ｎ−１）との間の差分値が最も小さくなるときのガウシアンフィルタの分散値σＣＨ（ｎ），σＣＶ（ｎ），σＣＤ（ｎ）を決定する。決定したガウシアンフィルタの分散値σＣＨ（ｎ），σＣＶ（ｎ），σＣＤ（ｎ）をダウンサンプリング画像ＥｎＣＡ（ｎ）と共に、画像復号装置２００へ送信する。画像復号装置２００では、ガウシアンフィルタの分散値σＣＨ（ｎ），σＣＶ（ｎ），σＣＤ（ｎ）を受信して使用することにより、ダウンサンプリング画像ＥｎＣＡ（ｎ）から原画像に最も近い画像を再生することができる。
【００７９】
また、図１７に示した画像復号装置２００のアップサンプリング部２２においても、画像領域分割装置１により出力された空間領域分割信号ＢＳk（ＢＳLL1〜ＢＳLLkmax，ＢＳ）またはエッジ領域分割信号ＰｒＢＳk（ＰｒＢＳLL1〜ＰｒＢＳLLkmax）が示すフラグ１の領域に対し、受信したガウシアンフィルタの分散値σＣＨ（ｎ），σＣＶ（ｎ），σＣＤ（ｎ）を用いて、ガウシアンフィルタによるフィルタリング処理が行われる。
【００８０】
以上のように、周波数再構成型の超解像装置である画像符号化装置１００及び画像復号装置２００によれば、帯域毎の空間領域分割信号ＢＳk（ＢＳLL1〜ＢＳLLkmax，ＢＳ）または帯域毎のエッジ領域分割信号ＰｒＢＳk（ＰｒＢＳLL1〜ＰｒＢＳLLkmax）が示すフラグ１の領域に対し、最適な分散値のガウシアンフィルタを適用することにより、高画質な超解像処理を行うことができる。
【００８１】
以上、実施形態を挙げて本発明を説明したが、本発明は前記実施形態に限定されるものではなく、その技術思想を逸脱しない範囲で種々変形可能である。本発明は、帯域毎に空間領域分割を行う画像処理全般に対して有効である。また、本発明は、画像縮小、符号化、超解像等のように、帯域毎の空間領域分割が有効な様々な画像処理に適用することができる。
【００８２】
また、図１に示した画像領域分割装置１では、離散ウェーブレットパケット（ｗａｖｅｌｅｔ−ｐａｃｋｅｔ）による直交変換（ＤＷＰＴ演算）を行うようにしたが、他の直交変換を行うようにしてもよい。例えば、離散ウェーブレット（ｗａｖｅｌｅｔ）変換、離散フーリエ変換、離散コサイン変換を行うようにしてもよい。また、画像領域分割装置１にて用いた直交変換と同じ種類の変換を、図１６〜図１８に示した画像符号化装置１００及び画像復号装置２００に用いることにより、一層高画質な超解像処理を行うことができる。
【符号の説明】
【００８３】
１ 画像領域分割装置
２ 直交変換部
３ 空間高周波合成部
４ 帯域分解数決定部
５ 空間領域分割部
６ エッジ領域分割部
７ 選択部
１０ ダウンサンプリング部
１１ 分散値決定部
１２ 符号化部
１３ 送信部
２０ 受信部
２１ 復号部
２２ アップサンプリング部
１００ 画像符号化装置
２００ 画像復号装置
【特許請求の範囲】
【請求項１】
原画像の信号を直交変換し、空間高周波信号を生成する直交変換部と、
前記直交変換部により生成された空間高周波信号を合成し、空間高周波合成信号を生成する空間高周波合成部と、
前記空間高周波合成部により生成された空間高周波合成信号に対し、予め設定された帯域分解数の直交変換を行い、当該直交変換後の信号の要素値に対し閾値処理を行って空間領域を分割し、帯域毎の空間領域分割信号を生成する空間領域分割部と、
を備えたことを特徴とする画像領域分割装置。
【請求項２】
請求項１に記載の画像領域分割装置において、
前記予め設定された帯域分解数に代えて、前記空間高周波合成部により生成された空間高周波合成信号を直交変換し、当該直交変換後の信号のスペクトルパワーに基づいて、帯域分解数を決定する帯域分解数決定部を備え、
前記空間領域分割部は、前記空間高周波合成信号に対し、前記帯域分解数決定部により決定された帯域分解数の直交変換を行い、帯域毎の空間領域分割信号を生成する、ことを特徴とする画像領域分割装置。
【請求項３】
請求項１に記載の画像領域分割装置において、
さらに、前記空間領域分割部により生成された帯域毎の空間領域分割信号と、前記帯域よりも帯域分解の階が１次元低い空間領域分割信号との間で、前記２つの空間領域分割信号における対応する位置毎に、予め設定された帯域分解数の積演算を行い、当該積演算後の信号の要素値に対し閾値処理を行ってエッジ領域を分割し、帯域毎のエッジ領域分割信号を生成するエッジ領域分割部、を備えたことを特徴とする画像領域分割装置。
【請求項４】
請求項２に記載の画像領域分割装置において、
さらに、前記空間領域分割部により生成された帯域毎の空間領域分割信号と、前記帯域よりも帯域分解の階が１次元小さい空間領域分割信号との間で、前記２つの空間領域分割信号における対応する位置毎に、前記帯域分解数決定部により決定された帯域分解数の積演算を行い、当該積演算後の信号の要素値に対し閾値処理を行ってエッジ領域を分割し、帯域毎のエッジ領域分割信号を生成するエッジ領域分割部、を備えたことを特徴とする画像領域分割装置。
【請求項５】
請求項３または４に記載の画像領域分割装置において、
前記エッジ領域分割部は、前記生成した帯域毎のエッジ領域分割信号に対し、フィルタを用いて、前記エッジ領域分割信号における孤立点を除去する、ことを特徴とする画像領域分割装置。
【請求項６】
請求項１から５までのいずれか一項に記載の画像領域分割装置において、
前記直交変換を、離散ウェーブレットパケット変換、離散ウェーブレット変換、離散フーリエ変換または離散コサイン変換とする、ことを特徴とする画像領域分割装置。
【請求項７】
コンピュータを、請求項１から６までのいずれか一項に記載の画像領域分割装置として機能させるための画像領域分割プログラム。
【請求項１】
原画像の信号を直交変換し、空間高周波信号を生成する直交変換部と、
前記直交変換部により生成された空間高周波信号を合成し、空間高周波合成信号を生成する空間高周波合成部と、
前記空間高周波合成部により生成された空間高周波合成信号に対し、予め設定された帯域分解数の直交変換を行い、当該直交変換後の信号の要素値に対し閾値処理を行って空間領域を分割し、帯域毎の空間領域分割信号を生成する空間領域分割部と、
を備えたことを特徴とする画像領域分割装置。
【請求項２】
請求項１に記載の画像領域分割装置において、
前記予め設定された帯域分解数に代えて、前記空間高周波合成部により生成された空間高周波合成信号を直交変換し、当該直交変換後の信号のスペクトルパワーに基づいて、帯域分解数を決定する帯域分解数決定部を備え、
前記空間領域分割部は、前記空間高周波合成信号に対し、前記帯域分解数決定部により決定された帯域分解数の直交変換を行い、帯域毎の空間領域分割信号を生成する、ことを特徴とする画像領域分割装置。
【請求項３】
請求項１に記載の画像領域分割装置において、
さらに、前記空間領域分割部により生成された帯域毎の空間領域分割信号と、前記帯域よりも帯域分解の階が１次元低い空間領域分割信号との間で、前記２つの空間領域分割信号における対応する位置毎に、予め設定された帯域分解数の積演算を行い、当該積演算後の信号の要素値に対し閾値処理を行ってエッジ領域を分割し、帯域毎のエッジ領域分割信号を生成するエッジ領域分割部、を備えたことを特徴とする画像領域分割装置。
【請求項４】
請求項２に記載の画像領域分割装置において、
さらに、前記空間領域分割部により生成された帯域毎の空間領域分割信号と、前記帯域よりも帯域分解の階が１次元小さい空間領域分割信号との間で、前記２つの空間領域分割信号における対応する位置毎に、前記帯域分解数決定部により決定された帯域分解数の積演算を行い、当該積演算後の信号の要素値に対し閾値処理を行ってエッジ領域を分割し、帯域毎のエッジ領域分割信号を生成するエッジ領域分割部、を備えたことを特徴とする画像領域分割装置。
【請求項５】
請求項３または４に記載の画像領域分割装置において、
前記エッジ領域分割部は、前記生成した帯域毎のエッジ領域分割信号に対し、フィルタを用いて、前記エッジ領域分割信号における孤立点を除去する、ことを特徴とする画像領域分割装置。
【請求項６】
請求項１から５までのいずれか一項に記載の画像領域分割装置において、
前記直交変換を、離散ウェーブレットパケット変換、離散ウェーブレット変換、離散フーリエ変換または離散コサイン変換とする、ことを特徴とする画像領域分割装置。
【請求項７】
コンピュータを、請求項１から６までのいずれか一項に記載の画像領域分割装置として機能させるための画像領域分割プログラム。
【図１】
【図２】
【図３】
【図４】
【図５】
【図６】
【図７】
【図８】
【図９】
【図１０】
【図１１】
【図１２】
【図１３】
【図１４】
【図１５】
【図１６】
【図１７】
【図１８】
【図２】
【図３】
【図４】
【図５】
【図６】
【図７】
【図８】
【図９】
【図１０】
【図１１】
【図１２】
【図１３】
【図１４】
【図１５】
【図１６】
【図１７】
【図１８】
【公開番号】特開２０１２−１５５５７３（Ｐ２０１２−１５５５７３Ａ）
【公開日】平成２４年８月１６日（２０１２．８．１６）
【国際特許分類】
【出願番号】特願２０１１−１４８３１（Ｐ２０１１−１４８３１）
【出願日】平成２３年１月２７日（２０１１．１．２７）
【出願人】（０００００４３５２）日本放送協会 (2,206)
【Ｆターム（参考）】
【公開日】平成２４年８月１６日（２０１２．８．１６）
【国際特許分類】
【出願日】平成２３年１月２７日（２０１１．１．２７）
【出願人】（０００００４３５２）日本放送協会 (2,206)
【Ｆターム（参考）】
[ Back to top ]