符号化装置、復号化装置、符号復号化システム、符号化方法、復号化方法、プログラム
【課題】符号化の際、画像データを削減する。
【解決手段】原画像情報を複数の空間周波数ごとにサブバンド分割することで、サブバンド原画像情報を生成し、高周波数帯域側または低周波数帯域側（以下、「対象周波数帯域側」という。）の前記サブバンド原画像情報（以下、「対象サブバンド原画像情報」という。）の振幅情報を求め、前記対象サブバンド原画像情報の振幅情報と、前記対象サブバンド原画像情報以外のサブバンド原画像情報（以下、「非対象サブバンド原画像情報」という。）を出力する。
【解決手段】原画像情報を複数の空間周波数ごとにサブバンド分割することで、サブバンド原画像情報を生成し、高周波数帯域側または低周波数帯域側（以下、「対象周波数帯域側」という。）の前記サブバンド原画像情報（以下、「対象サブバンド原画像情報」という。）の振幅情報を求め、前記対象サブバンド原画像情報の振幅情報と、前記対象サブバンド原画像情報以外のサブバンド原画像情報（以下、「非対象サブバンド原画像情報」という。）を出力する。
【発明の詳細な説明】
【技術分野】
【０００１】
本発明は原画像情報の符号化、復号化する際に用いる符号化装置、復号化装置、符号復号化システム、符号化方法、復号化方法、プログラムに関する。
【背景技術】
【０００２】
画像信号のデータ量は極めて多く、伝送や蓄積を効率的に行うため、これらを圧縮する技術が用いられている。例えば、サブバンド分解処理、エントロピー符号化処理などにより、データ量を削減していた。特許文献１では、人間の周波数特性や強度弁別解像度などを考慮して、更にデータ量を減らす手法が提案されている。
【先行技術文献】
【特許文献】
【０００３】
【特許文献１】特開２００６−１９７６１１号公報
【発明の概要】
【発明が解決しようとする課題】
【０００４】
画像符号化、復号化分野においては、更なるデータ量削減の要望がある。本発明は更なるデータ量削減を達成するための符号化装置、復号化装置、符号復号化システム、符号化方法、復号化方法、プログラムを提供することを目的としたものである。
【課題を解決するための手段】
【０００５】
本発明の符号化装置は、第１分割部と、振幅計算部と、出力部と、を有する。第１分割部は、原画像情報を複数の空間周波数ごとにサブバンド分割することで、サブバンド原画像情報を生成する。振幅計算部は、高周波数帯域側または低周波数帯域側のサブバンド原画像情報（以下、「対象サブバンド原画像情報」という。）の振幅情報を求める。出力部は、対象サブバンド原画像情報の振幅情報と、対象サブバンド原画像情報以外のサブバンド原画像情報（以下、「非対象サブバンド原画像情報」という。）を出力する。
【発明の効果】
【０００６】
本発明の符号化装置、復号化装置、符号復号化システム、符号化方法、復号化方法、プログラムによれば、データ量を削減して、符号、復号化をすることが出来る。
【図面の簡単な説明】
【０００７】
【図１】本実施例の符号化装置、復号化装置の機能構成例を示した図。
【図２】本実施例の符号化処理、復号化処理の処理フローを示した図。
【図３】実験結果を示した図。
【発明を実施するための形態】
【０００８】
本発明の実施の形態を説明する前に、本実施例の発明の概念について説明する。人間は、画像の各ピクセルの振幅が正しく表現されている限り、位相が曖昧であっても、映像の大まかな形を判断できるという視覚特性が知られている。この内容は、例えば、「Ｓｈａｍｓ Ｌ＆ｖｏｎ ｄｅｒ Ｍａｌｓｂｕｒｇ Ｃ．Ｔｈｅ ｒｏｌｅ ｏｆ ｃｏｍｐｌｅｘ ｃｅｌｌｓ ｉｎ ｏｂｊｅｃｔ ｒｅｃｏｇｎｉｔｉｏｎ．Ｖｉｓｉｏｎ Ｒｅｓ．２００２ ４２（２２）：２５４７−２５５４」に記載されている。以下の説明では、当該視覚特性を視覚特性Ａとし、本実施例はこの視覚特性Ａを利用した符号化、復号化手法である。
【実施例１】
【０００９】
図１に本実施例１の符号化装置１００、復号化装置４００の機能構成例を示し、図２に処理フローを示す。符号化装置１００および復号化装置４００のそれぞれを図示しないネットワークで結んでもよく、それぞれを１つの筺体内に収め、符号復号化システム（装置）としてもよい。まず、符号化装置１００について説明する。
【００１０】
まず、第１入力部１０２に、原画像（符号化すべき画像）が、デジタル化された２次元のデジタル画像として入力される（ステップＳ２）。原画像の入力は、例えば、図示しないデジタルカメラや記憶装置から入力され、デジタル化された原画像を原画像情報Ａ（ｘ、ｙ）と表し、画素数をＮ×Ｎとし、Ｎは２の整数乗の値であり、ｘ＝１、．．．、Ｎ、ｙ＝１、．．．、Ｎとする。
【００１１】
次に、第１分割部１０４が、原画像情報Ａ（ｘ、ｙ）をＪ個（Ｊは２以上の整数）の空間周波数ごとにサブバンド分割することで、サブバンド原画像情報を生成する（ステップＳ４）。ＪはＪ＝ｌｏｇ２Ｎにより求められる。ここで、サブバンド分割の手法は、公知の技術である線形フィルタリング処理やウェーブレット変換などを用いれば良い。一般的に、サブバンド分割は、空間周波数ごとの分割を行うが、この実施例では、空間周波数毎の分割に加えて、Ｑ個（Ｑは２以上の整数であり、例えばＱ＝８）の方位についても分割を行う。具体的手法例を説明すると、Ａ（ｘ、ｙ）に対して周波数次元変換処理（例えば、ＦＦＴ）を用いて周波数次元に変換し、Ｑ個の方位と、Ｊ個の空間周波数のいずれかのフィルタを乗じたものを逆ＦＦＴにより空間次元に変換することにより、Ｑ×Ｊ個のサブバンド原画像情報に分解する。以後の説明では、サブバンド原画像情報をＡｑｊ（ｘ、ｙ）（ｑ＝１、．．．、Ｑ ｊ＝１、．．．、Ｊ）とする。
【００１２】
また、サブバンド分割の手法によっては、原画像情報に対して、ＦＦＴを施して得られた変換係数が実部と虚部に分かれることにより、原画像情報Ａ（ｘ、ｙ）から実数部と虚数部とが生成される場合がある。この場合には、サブバンド原画像情報を実数情報ＡＲｑｊ（ｘ、ｙ）、虚数情報ＡＩｑｊ（ｘ、ｙ）としてもよい。
【００１３】
次に、振幅計算部１０６は、高周波数帯域側または低周波数帯域側のサブバンド原画像情報（以下、「対象サブバンド原画像情報」という。）の振幅情報を求める（ステップＳ６）。対象サブバンド原画像情報は、例えば予め定められた閾値Ｋ（Ｋは１以上の整数であり、単位はｃｙｃｌｅ／Ｎ）以上の周波数インデックスｊ（以下、「対象周波数インデックスｊ’」という。）についてのサブバンド原画像情報Ａｑｊ’（ｘ、ｙ）を決定する、換言すれば、全てのサブバンド原画像情報Ａｑｊ（ｘ、ｙ）のうち、予め定められた高対象周波数帯域側のサブバンド原画像情報（以下、「対象サブバンド原画像情報Ａｑｊ’（ｘ、ｙ）という。」を決定する。Ｋは例えば、ｌｏｇ２Ｎ−３とすることが好ましいことが実験的に分かっている。また、以下では、対象サブバンド原画像情報の周波数帯域側（つまり、上記例では高周波数帯域側）を対象周波数帯域側という。
【００１４】
また、閾値Ｋの設定の手法については、予め、複数の原画像情報について、符号、復号化処理（後述する）を行い、適切な閾値Ｋを設定すればよい。
【００１５】
そして、振幅計算部１０６は、対象サブバンド原画像情報Ａｑｊ’（ｘ、ｙ）（ｊ’＝Ｋ、．．．、Ｊ）ごとの振幅Ｅｑｊ’（ｘ、ｙ）を計算する。例えば以下の式（１）により、振幅Ｅｑｊ’（ｘ、ｙ）を求めることができる。
Ｅｑｊ’（ｘ、ｙ）＝│Ａｑｊ’（ｘ、ｙ）│ （１）
ただし、│・│は絶対値演算を表す。
【００１６】
また、第１分割部１０４により実数情報ＡＲｑｊ（ｘ、ｙ）、虚数情報ＡＩｑｊ（ｘ、ｙ）が求められた場合には、
Ｅｑｊ’（ｘ、ｙ）＝［｛ＡＲｑｊ（ｘ、ｙ）｝２＋｛ＡＩｑｊ（ｘ、ｙ）｝２］１／２ （２）
により求めることができる。また、全てのサブバンド原画像情報Ａｑｊ（ｘ、ｙ）のうち、対象サブバンド原画像情報Ａｑｊ’（ｘ、ｙ）以外のサブバンド原画像情報を非対象サブバンド原画像情報Ａｑｊ’’（ｘ、ｙ）という。
【００１７】
また、振幅計算部１０６は、対象周波数帯域側を周波数インデックスがＫ未満の周波数帯域側、つまり低周波数帯域側に設定して振幅を計算しても良い。しかし、振幅計算部１０６は、対象周波数帯域側を高周波数帯域側として振幅計算した方が、正確な画像復号化（後述する）をできるということが実験的に分かっている。以下の説明では、対象周波数帯域側を高周波数帯域側として説明を行う。
【００１８】
そして、出力部１０８は、対象サブバンド原画像情報の振幅情報Ｅｑｊ’（ｘ、ｙ）と、非対象サブバンド原画像情報Ａｑｊ’’（ｘ、ｙ）を出力する（ステップＳ８）。ここで、Ｅｑｊ’（ｘ、ｙ）については、実験的に（Ｊ−１）２ｃｙｃｌｅ／Ｎ以上の空間周波数のパワーが非常に小さいため、振幅情報Ｅｑｊ’（ｘ、ｙ）を１／４にダウンサンプリングすることができ、その結果、画素数は１／４（Ｎ／２×Ｎ／２）にできる。従って、出力するデータ量を頗る削減できる。
【００１９】
符号化装置１００と、復号化装置４００とが１つの筺体内に収容されている（つまり、符号復号化システムを構成している）場合には、出力部１０８よりの振幅情報Ｅｑｊ’（ｘ、ｙ）および非対象サブバンド原画像情報Ａｑｊ’’（ｘ、ｙ）は、記憶部１１０に格納される。一方、符号化装置１００と復号化装置４００とがネットワーク（図示せず）で結ばれている場合には、出力部１０８により、振幅情報Ｅｑｊ’（ｘ、ｙ）および非対象サブバンド原画像情報Ａｑｊ’’（ｘ、ｙ）は当該ネットワークに送出される。
【００２０】
次に、復号化装置４００について説明する。復号化装置４００は、大きく分けて、擬似画像生成装置２００と、画像復号化装置３００とに大別される。まず、擬似画像生成装置２００について説明する。擬似画像生成部２０２は、擬似画像のデジタルデータである擬似画像情報Ｗ（ｘ、ｙ）を生成する（ステップＳ１２）。ここで、擬似画像情報とは、例えば、白色ノイズ画像情報である。白色ノイズ画像とは全ての周波数で同じ強度となる画像である。白色ノイズ画像の生成手法は様々あるが、例えば、−１から１までの乱数を発生させて白色画像ノイズ画像を生成する。ここで、擬似画像情報Ｗ（ｘ、ｙ）の画素数はＮ×Ｎとする。擬似画像情報として、白色ノイズ画像と同等の性質を持つ画像であれば、何でも良い。
【００２１】
次に、第２分割部２０４は、擬似画像情報Ｗ（ｘ、ｙ）を複数の空間周波数ごとにサブバンド分割することで、サブバンド擬似画像情報を生成する（ステップＳ１４）。ここで、分割の手法は、上述した符号化装置１００内の第１分割部１０４と同じ手法を用い、同じ数の画像にサブバンド分割を行う。つまり、Ｊ個の空間周波数ごと、かつ、Ｑ個の方位ごとに分割することで、サブバンド分割を行う。当該サブバンド分割することで生成される画像をサブバンド擬似画像情報Ｗｑ、ｊ（ｘ、ｙ）とする。また、上述のように、サブバンド分割の手法によっては、実数情報ＷＲｑ、ｊ（ｘ、ｙ）および虚数情報ＷＩｑ、ｊ（ｘ、ｙ）が生成される場合がある。
【００２２】
次に、振幅平坦化部２０６が、サブバンド擬似画像情報Ｗｑ、ｊ（ｘ、ｙ）を振幅平坦化して平坦化サブバンド擬似画像情報Ｗ’ｑ、ｊ（ｘ、ｙ）を生成することが好ましい（ステップＳ１６）。振幅平坦化、つまり、空間的な振幅変調を取り除く処理を行う理由は、後述する乗算部３０４で、符号化装置１００よりの振幅情報Ｅｑｊ’（ｘ、ｙ）と、この擬似画像情報生成装置２００よりのサブバンド擬似画像情報Ｗｑ、ｊ（ｘ、ｙ）とを乗算するからである。また振幅平坦化処理については、「Ｋｏｖａｃｓ Ｉ＆Ｆｅｈｅｒ Ａ．Ｎｏｎ−Ｆｏｕｒｉｅｒ ｉｎｆｏｒｍａｔｉｏｎ ｉｎ ｂａｎｄｐａｓｓ ｎｏｉｓｅ ｐａｔｔｅｒｎｓ．Ｖｉｓｉｏｎ Ｒｅｓ．１９９７ ３７（９）：１１６７−１１７５」等に記載されている。振幅平坦化処理を簡単に説明すると、Ｗｑ、ｊ（ｘ、ｙ）の各ｘ、ｙについてその点を中心とする円形領域の内部で最大振幅値を求め、当該最大振幅値により、サブバンド擬似画像情報Ｗｑ、ｊ（ｘ、ｙ）を正規化するというものである。
【００２３】
また、実数情報ＷＲｑ、ｊ（ｘ、ｙ）および虚数情報ＷＩｑ、ｊ（ｘ、ｙ）が生成された場合には、振幅平坦化部２０６は、実数情報ＷＲｑ、ｊ（ｘ、ｙ）に対して振幅平坦化処理を行っても良い。振幅平坦化処理を所望しない場合は、振幅平坦化部２０６はなくてもよい。
【００２４】
平坦化サブバンド擬似画像情報Ｗ’ｑ、ｊ（ｘ、ｙ）（または、擬似画像情報Ｗｑ、ｊ（ｘ、ｙ））は一旦、記憶部２０８に記憶される。以下の説明では、平坦化サブバンド擬似画像情報Ｗ’ｑ、ｊ（ｘ、ｙ）が記憶されるとして、画像復号化装置３００について説明する。
【００２５】
第２入力部３０２には、符号化装置１００よりの振幅情報Ｅｑｊ’（ｘ、ｙ）と、非対象サブバンド原画像情報Ａｑｊ’’（ｘ、ｙ）が入力される（ステップＳ２２）。つまり、符号化装置１００と画像復号化装置３００とが１つの筺体内に収容される場合には、記憶部１１０よりＥｑｊ’（ｘ、ｙ）およびＡｑｊ’’（ｘ、ｙ）が入力され、符号化装置１００と画像復号化装置３００とがネットワークで結ばれている場合には、送出部１１２よりのＥｑｊ’（ｘ、ｙ）およびＡｑｊ’’（ｘ、ｙ）がネットワーク経由で入力される。そして、第２入力部３０２は、ダウンサンプリングされた振幅情報Ｅｑｊ’（ｘ、ｙ）をアップサンプリングする。つまり、振幅情報Ｅｑｊ’（ｘ、ｙ）の画素数をＮ×Ｎに戻す。
【００２６】
そして、乗算部３０４は、記憶部２０８から平坦化サブバンド擬似画像情報Ｗ’ｑ、ｊ（ｘ、ｙ）を取り出す。乗算部３０４は、対象周波数インデックスｊ’についての平坦化サブバンド擬似画像情報Ｗ’ｑｊ’（ｘ、ｙ）に振幅情報Ｅｑｊ’（ｘ、ｙ）を乗算することで合成画像情報Ｔｑｊ’（ｘ、ｙ）を生成する（ステップＳ２４）。つまり、以下の式（３）を演算することにより、合成画像情報Ｔｑｊ’（ｘ、ｙ）を生成する。
Ｔｑｊ’（ｘ、ｙ）＝Ｗ’ｑｊ’（ｘ、ｙ）・Ｅｑｊ’（ｘ、ｙ） （３）
【００２７】
次に、再構成部３０６は、非対象サブバンド原画像情報Ａｑｊ’’（ｘ、ｙ）および合成画像情報Ｔｑｊ’（ｘ、ｙ）から復号化画像情報Ａ’（ｘ、ｙ）を生成する（ステップＳ２６）。再構成部３０６は、合成画像情報Ｔｑｊ’（ｘ、ｙ）については全てのｑ（ｑ＝１、．．．、Ｑ）および全てのｊ’’（ｊ’’＝１、．．．、Ｋ−１）について加算し、非対象サブバンド原画像情報Ａｑｊ’’（ｘ、ｙ）については、全てのｑ（ｑ＝１、．．．、Ｑ）および全てのｊ’（ｊ’＝Ｋ、．．．、Ｊ）について、加算して復号画像情報Ａ’（ｘ、ｙ）を生成する。つまり、再構成部３０６は、以下の式を演算して復号画像情報Ａ’（ｘ、ｙ）を生成する。
【００２８】
【数１】
【００２９】
このように、本実施例においては、対象サブバンド原画像情報については、全ての画像情報を送らず、振幅情報のみを送ることができる。データ量については、振幅情報のみのサブバンド画像情報は、元のサブバンド画像情報と比較して画素数が１／４になることが実験的に分かっている。よって、本実施例により、出力すべき画像の（エントロピー符号化以前の）データ量を少なくできる。また、本実施例は、サブバンド分解された任意の画像に適用できるため、ＪＰＥＧなど既存の画像符号化方式に容易に組み込むことが出来る。
【００３０】
また、本実施例において符合復号された画像は、しばしば手書きの絵のような外観を呈する。この性質により、本実施例は、任意の自然画像の質感を手書きの絵のように変化させる技術として用いることができる。
【実施例２】
【００３１】
上述のように、擬似画像情報が例えば白色ノイズ画像情報である場合は、乱数により生成されることから、強度が大きくなる場合があり、乗算部３０４が上記式（３）を演算すると、正確な合成画像情報が求められない場合がある。そこで、この実施例２では、合成画像情報Ｔｑｊ’（ｘ、ｙ）を正規化することで、正確な合成画像情報Ｔｑｊ’（ｘ、ｙ）を生成できる。この実施例２では、符号化装置１００に第１空間総和生成部１１４が設けられ、復号化装置４００に第２空間総和生成部２１０が設けられる。
【００３２】
第１空間総和生成部１１４は、対象サブバンド原画像情報の空間総和Ｍ１ｑｊ（以下、「第１空間総和」という。）を求める。第１空間総和Ｍ１ｑｊとは、対象周波数インデックスｊ’についての各サブバンド画像情報ごとの画像の強度を表す。第１空間総和Ｍ１ｑｊは、以下の式（５）により求めることができる。
【００３３】
【数２】
【００３４】
また、第２空間総和生成部２１０は、対象周波数帯域側の平坦化サブバンド擬似画像情報Ｗ’ｑｊ’（ｘ、ｙ）（以下、「対象平坦化サブバンド擬似画像情報Ｗ’ｑｊ’（ｘ、ｙ）」という。）の第２空間総和Ｍ２ｑｊ’を求める。具体的には、以下の式（６）により求めることができる。
【００３５】
【数３】
【００３６】
振幅平坦化部２０６を設けず、振幅平坦化処理を行わない場合には、擬似画像情報Ｗｑｊ’（ｘ、ｙ）（以下、「擬似画像情報Ｗｑｊ’（ｘ、ｙ）」という。）の第２空間総和Ｍ２ｑｊ’を求める。この場合には、式（６）中のＷ’ｑｊ’（ｘ、ｙ）はＷｑｊ’（ｘ、ｙ）に代替される。そして、正規化部３０８は、合成画像情報Ｔｑｊ’（ｘ、ｙ）に第１空間総和Ｍ１ｑｊ’と前記第２空間総和Ｍ２ｑｊ’との比であるＭ１ｑｊ’／Ｍ２ｑｊ’を乗算することで、正規化合成画像情報Ｔ’ｑｊ’（ｘ、ｙ）を求める。つまり、式（３）より、以下の式（７）により正規化合成画像情報Ｔ’ｑｊ’（ｘ、ｙ）を求める。
Ｔ’ｑｊ’（ｘ、ｙ）＝Ｗ’ｑｊ’（ｘ、ｙ）・Ｅｑｊ’（ｘ、ｙ）・Ｍ１ｑｊ’／Ｍ２ｑｊ’ （７）
そして、再構成部３０６は、式（４）中のＴｑｊ’（ｘ、ｙ）をＴ’ｑｊ’（ｘ、ｙ）に代替して、演算を行い、復号画像情報Ａ’（ｘ、ｙ）を生成する。
【００３７】
このように、第１空間総和Ｍ１ｑｊ’と第２空間総和Ｍ２ｑｊ’を用いた正規化を行うことで、生成される擬似画像情報の強度が強い場合であっても、正確な高品質な合成画像情報を求めることができる。
【００３８】
また、実施例１または実施例２では、原画像情報Ａ（ｘ、ｙ）をグレースケールの画像とした符号化装置、復号化装置を説明したが、原画像情報Ａ（ｘ、ｙ）がカラー画像であった場合でも、この発明の符号化装置、復号化装置は適用できる。この場合には、上記の処理をＲ、Ｇ、Ｂについて繰り返せばよい。例えば、原画像情報Ａ（ｘ、ｙ）、擬似画像情報Ｗ（ｘ、ｙ）について、色についての情報を示す変数ｚを加え、それぞれ原画像Ａ（ｘ、ｙ、ｚ）、Ｗ（ｘ、ｙ、ｚ）とすればよい。このようにすることで、原画像がカラー画像の場合であっても、本発明を適用できる。
【００３９】
また、実施例１または実施例２では、原画像情報Ａ（ｘ、ｙ）を静止画であるとして、説明をしたが、原画像情報が動画であっても、実施できる。この場合には、動画を構成する静止画それぞれについて、上記処理を行えばよい。
【００４０】
｛実験結果｝
図３ａ〜図３ｃに、本発明の実験結果を示す。図３ａは、ある自然なテクスチャのグレースケール画像の原画像Ａ（ｘ、ｙ）である。図３ｂは、Ｋ＝１６ｃｙｃｌｅ／Ｎと設定し、対象周波数インデックスｊ’をこのＫよりも大きなｊとした場合の、上記実施例２の符号復号化処理を施した復号化画像情報Ａ’（ｘ、ｙ）である。図３ｂからも明らかなように、実施例２で説明した符号復号化手法により、データ量を削減しつつ、原画像に近い画像を複合化できる。
【００４１】
図３ｃは、Ｋ＝６４ｃｙｃｌｅ／Ｎと設定し、対象周波数インデックスｊ’をＫよりも大きなｊとした場合の、上記実施例２の符号復号化処理を施した復号化画像情報Ａ’（ｘ、ｙ）である。人間は視野の周辺で観察した場合、映像の位相を見分けるのが非常に困難であることが知られている。従って、図３ｃからも明らかなように、上記実施例２の方法により復号化された映像も、視野の周辺で観察すると原画と見分けがつきにくいことが分かる。
【００４２】
＜ハードウェア構成＞
本発明は上述の実施の形態に限定されるものではない。また、上述の各種の処理は、記載に従って時系列に実行されるのみならず、処理を実行する装置の処理能力あるいは必要に応じて並列的にあるいは個別に実行されてもよい。その他、本発明の趣旨を逸脱しない範囲で適宜変更が可能であることはいうまでもない。
【００４３】
また、上述の構成をコンピュータによって実現する場合、符号化装置１００、復号化装置４００が有すべき機能の処理内容はプログラムによって記述される。そして、このプログラムをコンピュータで実行することにより、処理機能がコンピュータ上で実現される。
【００４４】
この処理内容を記述したプログラムは、コンピュータで読み取り可能な記録媒体に記憶しておくことができる。コンピュータで読み取り可能な記録媒体としては、例えば、磁気記憶装置、光ディスク、光磁気記録媒体、半導体メモリ等どのようなものでもよいが、具体的には、例えば、磁気記憶装置として、ハードディスク装置、フレキシブルディスク、磁気テープ等を、光ディスクとして、ＤＶＤ（Digital Versatile Disc）、ＤＶＤ−ＲＡＭ（Random Access Memory）、ＣＤ−ＲＯＭ（Compact Disc Read Only Memory）、ＣＤ−Ｒ（Recordable）／ＲＷ（ReWritable）等を、光磁気記録媒体として、ＭＯ（Magneto-Optical disc）等を、半導体メモリとしてＥＥＰ−ＲＯＭ（Electronically Erasable and Programmable-Read Only Memory）等を用いることができる。
【００４５】
また、このプログラムの流通は、例えば、そのプログラムを記憶したＤＶＤ、ＣＤ−ＲＯＭ等の可搬型記録媒体を販売、譲渡、貸与等することによって行う。さらに、このプログラムをサーバコンピュータの記憶装置に格納しておき、ネットワークを介して、サーバコンピュータから他のコンピュータにそのプログラムを転送することにより、このプログラムを流通させる構成としてもよい。
【００４６】
このようなプログラムを実行するコンピュータは、例えば、まず、可搬型記録媒体に記憶されたプログラムもしくはサーバコンピュータから転送されたプログラムを、一旦、自己の記憶装置に格納する。そして、処理の実行時、このコンピュータは、自己の記録媒体に格納されたプログラムを読み取り、読み取ったプログラムに従った処理を実行する。また、このプログラムの別の実行形態として、コンピュータが可搬型記録媒体から直接プログラムを読み取り、そのプログラムに従った処理を実行することとしてもよく、さらに、このコンピュータにサーバコンピュータからプログラムが転送されるたびに、逐次、受け取ったプログラムに従った処理を実行することとしてもよい。また、サーバコンピュータから、このコンピュータへのプログラムの転送は行わず、その実行指示と結果取得のみによって処理機能を実現する、いわゆるＡＳＰ（Application Service Provider）型のサービスによって、上述の処理を実行する構成としてもよい。なお、本形態におけるプログラムには、電子計算機による処理の用に供する情報であってプログラムに準ずるもの（コンピュータに対する直接の指令ではないがコンピュータの処理を規定する性質を有するデータ等）を含むものとする。
【００４７】
また、この形態では、コンピュータ上で所定のプログラムを実行させることにより、本装置を構成することとしたが、これらの処理内容の少なくとも一部をハードウェア的に実現することとしてもよい。
【００４８】
また、本実施例で説明した符号化装置１００、復号化装置４００は、ＣＰＵ（Central Processing Unit）、入力部、出力部、補助記憶装置、ＲＡＭ（Random Access Memory）、ＲＯＭ（Read Only Memory）及びバスを有している（何れも図示せず）。
【００４９】
ＣＰＵは、読み込まれた各種プログラムに従って様々な演算処理を実行する。補助記憶装置は、例えば、ハードディスク、ＭＯ（Magneto-Optical disc）、半導体メモリ等であり、ＲＡＭは、ＳＲＡＭ (Static Random Access Memory)、ＤＲＡＭ (Dynamic Random Access Memory)等である。また、バスは、ＣＰＵ、入力部、出力部、補助記憶装置、ＲＡＭ及びＲＯＭを通信可能に接続している。
【００５０】
＜ハードウェアとソフトウェアとの協働＞
本実施例の単語追加装置は、上述のようなハードウェアに所定のプログラムが読み込まれ、ＣＰＵがそれを実行することによって構築される。以下、このように構築される各装置の機能構成を説明する。
【００５１】
符号化装置１００の第１入力部１０２、復号化装置４００の第２入力部３０２、出力部１０８は、所定のプログラムが読み込まれたＣＰＵの制御のもと駆動するＬＡＮカード、モデム等の通信装置である。その他の構成部は、所定のプログラムがＣＰＵに読み込まれ、実行されることによって構築される演算部である。記憶部は前記補助記憶装置として機能する。
【技術分野】
【０００１】
本発明は原画像情報の符号化、復号化する際に用いる符号化装置、復号化装置、符号復号化システム、符号化方法、復号化方法、プログラムに関する。
【背景技術】
【０００２】
画像信号のデータ量は極めて多く、伝送や蓄積を効率的に行うため、これらを圧縮する技術が用いられている。例えば、サブバンド分解処理、エントロピー符号化処理などにより、データ量を削減していた。特許文献１では、人間の周波数特性や強度弁別解像度などを考慮して、更にデータ量を減らす手法が提案されている。
【先行技術文献】
【特許文献】
【０００３】
【特許文献１】特開２００６−１９７６１１号公報
【発明の概要】
【発明が解決しようとする課題】
【０００４】
画像符号化、復号化分野においては、更なるデータ量削減の要望がある。本発明は更なるデータ量削減を達成するための符号化装置、復号化装置、符号復号化システム、符号化方法、復号化方法、プログラムを提供することを目的としたものである。
【課題を解決するための手段】
【０００５】
本発明の符号化装置は、第１分割部と、振幅計算部と、出力部と、を有する。第１分割部は、原画像情報を複数の空間周波数ごとにサブバンド分割することで、サブバンド原画像情報を生成する。振幅計算部は、高周波数帯域側または低周波数帯域側のサブバンド原画像情報（以下、「対象サブバンド原画像情報」という。）の振幅情報を求める。出力部は、対象サブバンド原画像情報の振幅情報と、対象サブバンド原画像情報以外のサブバンド原画像情報（以下、「非対象サブバンド原画像情報」という。）を出力する。
【発明の効果】
【０００６】
本発明の符号化装置、復号化装置、符号復号化システム、符号化方法、復号化方法、プログラムによれば、データ量を削減して、符号、復号化をすることが出来る。
【図面の簡単な説明】
【０００７】
【図１】本実施例の符号化装置、復号化装置の機能構成例を示した図。
【図２】本実施例の符号化処理、復号化処理の処理フローを示した図。
【図３】実験結果を示した図。
【発明を実施するための形態】
【０００８】
本発明の実施の形態を説明する前に、本実施例の発明の概念について説明する。人間は、画像の各ピクセルの振幅が正しく表現されている限り、位相が曖昧であっても、映像の大まかな形を判断できるという視覚特性が知られている。この内容は、例えば、「Ｓｈａｍｓ Ｌ＆ｖｏｎ ｄｅｒ Ｍａｌｓｂｕｒｇ Ｃ．Ｔｈｅ ｒｏｌｅ ｏｆ ｃｏｍｐｌｅｘ ｃｅｌｌｓ ｉｎ ｏｂｊｅｃｔ ｒｅｃｏｇｎｉｔｉｏｎ．Ｖｉｓｉｏｎ Ｒｅｓ．２００２ ４２（２２）：２５４７−２５５４」に記載されている。以下の説明では、当該視覚特性を視覚特性Ａとし、本実施例はこの視覚特性Ａを利用した符号化、復号化手法である。
【実施例１】
【０００９】
図１に本実施例１の符号化装置１００、復号化装置４００の機能構成例を示し、図２に処理フローを示す。符号化装置１００および復号化装置４００のそれぞれを図示しないネットワークで結んでもよく、それぞれを１つの筺体内に収め、符号復号化システム（装置）としてもよい。まず、符号化装置１００について説明する。
【００１０】
まず、第１入力部１０２に、原画像（符号化すべき画像）が、デジタル化された２次元のデジタル画像として入力される（ステップＳ２）。原画像の入力は、例えば、図示しないデジタルカメラや記憶装置から入力され、デジタル化された原画像を原画像情報Ａ（ｘ、ｙ）と表し、画素数をＮ×Ｎとし、Ｎは２の整数乗の値であり、ｘ＝１、．．．、Ｎ、ｙ＝１、．．．、Ｎとする。
【００１１】
次に、第１分割部１０４が、原画像情報Ａ（ｘ、ｙ）をＪ個（Ｊは２以上の整数）の空間周波数ごとにサブバンド分割することで、サブバンド原画像情報を生成する（ステップＳ４）。ＪはＪ＝ｌｏｇ２Ｎにより求められる。ここで、サブバンド分割の手法は、公知の技術である線形フィルタリング処理やウェーブレット変換などを用いれば良い。一般的に、サブバンド分割は、空間周波数ごとの分割を行うが、この実施例では、空間周波数毎の分割に加えて、Ｑ個（Ｑは２以上の整数であり、例えばＱ＝８）の方位についても分割を行う。具体的手法例を説明すると、Ａ（ｘ、ｙ）に対して周波数次元変換処理（例えば、ＦＦＴ）を用いて周波数次元に変換し、Ｑ個の方位と、Ｊ個の空間周波数のいずれかのフィルタを乗じたものを逆ＦＦＴにより空間次元に変換することにより、Ｑ×Ｊ個のサブバンド原画像情報に分解する。以後の説明では、サブバンド原画像情報をＡｑｊ（ｘ、ｙ）（ｑ＝１、．．．、Ｑ ｊ＝１、．．．、Ｊ）とする。
【００１２】
また、サブバンド分割の手法によっては、原画像情報に対して、ＦＦＴを施して得られた変換係数が実部と虚部に分かれることにより、原画像情報Ａ（ｘ、ｙ）から実数部と虚数部とが生成される場合がある。この場合には、サブバンド原画像情報を実数情報ＡＲｑｊ（ｘ、ｙ）、虚数情報ＡＩｑｊ（ｘ、ｙ）としてもよい。
【００１３】
次に、振幅計算部１０６は、高周波数帯域側または低周波数帯域側のサブバンド原画像情報（以下、「対象サブバンド原画像情報」という。）の振幅情報を求める（ステップＳ６）。対象サブバンド原画像情報は、例えば予め定められた閾値Ｋ（Ｋは１以上の整数であり、単位はｃｙｃｌｅ／Ｎ）以上の周波数インデックスｊ（以下、「対象周波数インデックスｊ’」という。）についてのサブバンド原画像情報Ａｑｊ’（ｘ、ｙ）を決定する、換言すれば、全てのサブバンド原画像情報Ａｑｊ（ｘ、ｙ）のうち、予め定められた高対象周波数帯域側のサブバンド原画像情報（以下、「対象サブバンド原画像情報Ａｑｊ’（ｘ、ｙ）という。」を決定する。Ｋは例えば、ｌｏｇ２Ｎ−３とすることが好ましいことが実験的に分かっている。また、以下では、対象サブバンド原画像情報の周波数帯域側（つまり、上記例では高周波数帯域側）を対象周波数帯域側という。
【００１４】
また、閾値Ｋの設定の手法については、予め、複数の原画像情報について、符号、復号化処理（後述する）を行い、適切な閾値Ｋを設定すればよい。
【００１５】
そして、振幅計算部１０６は、対象サブバンド原画像情報Ａｑｊ’（ｘ、ｙ）（ｊ’＝Ｋ、．．．、Ｊ）ごとの振幅Ｅｑｊ’（ｘ、ｙ）を計算する。例えば以下の式（１）により、振幅Ｅｑｊ’（ｘ、ｙ）を求めることができる。
Ｅｑｊ’（ｘ、ｙ）＝│Ａｑｊ’（ｘ、ｙ）│ （１）
ただし、│・│は絶対値演算を表す。
【００１６】
また、第１分割部１０４により実数情報ＡＲｑｊ（ｘ、ｙ）、虚数情報ＡＩｑｊ（ｘ、ｙ）が求められた場合には、
Ｅｑｊ’（ｘ、ｙ）＝［｛ＡＲｑｊ（ｘ、ｙ）｝２＋｛ＡＩｑｊ（ｘ、ｙ）｝２］１／２ （２）
により求めることができる。また、全てのサブバンド原画像情報Ａｑｊ（ｘ、ｙ）のうち、対象サブバンド原画像情報Ａｑｊ’（ｘ、ｙ）以外のサブバンド原画像情報を非対象サブバンド原画像情報Ａｑｊ’’（ｘ、ｙ）という。
【００１７】
また、振幅計算部１０６は、対象周波数帯域側を周波数インデックスがＫ未満の周波数帯域側、つまり低周波数帯域側に設定して振幅を計算しても良い。しかし、振幅計算部１０６は、対象周波数帯域側を高周波数帯域側として振幅計算した方が、正確な画像復号化（後述する）をできるということが実験的に分かっている。以下の説明では、対象周波数帯域側を高周波数帯域側として説明を行う。
【００１８】
そして、出力部１０８は、対象サブバンド原画像情報の振幅情報Ｅｑｊ’（ｘ、ｙ）と、非対象サブバンド原画像情報Ａｑｊ’’（ｘ、ｙ）を出力する（ステップＳ８）。ここで、Ｅｑｊ’（ｘ、ｙ）については、実験的に（Ｊ−１）２ｃｙｃｌｅ／Ｎ以上の空間周波数のパワーが非常に小さいため、振幅情報Ｅｑｊ’（ｘ、ｙ）を１／４にダウンサンプリングすることができ、その結果、画素数は１／４（Ｎ／２×Ｎ／２）にできる。従って、出力するデータ量を頗る削減できる。
【００１９】
符号化装置１００と、復号化装置４００とが１つの筺体内に収容されている（つまり、符号復号化システムを構成している）場合には、出力部１０８よりの振幅情報Ｅｑｊ’（ｘ、ｙ）および非対象サブバンド原画像情報Ａｑｊ’’（ｘ、ｙ）は、記憶部１１０に格納される。一方、符号化装置１００と復号化装置４００とがネットワーク（図示せず）で結ばれている場合には、出力部１０８により、振幅情報Ｅｑｊ’（ｘ、ｙ）および非対象サブバンド原画像情報Ａｑｊ’’（ｘ、ｙ）は当該ネットワークに送出される。
【００２０】
次に、復号化装置４００について説明する。復号化装置４００は、大きく分けて、擬似画像生成装置２００と、画像復号化装置３００とに大別される。まず、擬似画像生成装置２００について説明する。擬似画像生成部２０２は、擬似画像のデジタルデータである擬似画像情報Ｗ（ｘ、ｙ）を生成する（ステップＳ１２）。ここで、擬似画像情報とは、例えば、白色ノイズ画像情報である。白色ノイズ画像とは全ての周波数で同じ強度となる画像である。白色ノイズ画像の生成手法は様々あるが、例えば、−１から１までの乱数を発生させて白色画像ノイズ画像を生成する。ここで、擬似画像情報Ｗ（ｘ、ｙ）の画素数はＮ×Ｎとする。擬似画像情報として、白色ノイズ画像と同等の性質を持つ画像であれば、何でも良い。
【００２１】
次に、第２分割部２０４は、擬似画像情報Ｗ（ｘ、ｙ）を複数の空間周波数ごとにサブバンド分割することで、サブバンド擬似画像情報を生成する（ステップＳ１４）。ここで、分割の手法は、上述した符号化装置１００内の第１分割部１０４と同じ手法を用い、同じ数の画像にサブバンド分割を行う。つまり、Ｊ個の空間周波数ごと、かつ、Ｑ個の方位ごとに分割することで、サブバンド分割を行う。当該サブバンド分割することで生成される画像をサブバンド擬似画像情報Ｗｑ、ｊ（ｘ、ｙ）とする。また、上述のように、サブバンド分割の手法によっては、実数情報ＷＲｑ、ｊ（ｘ、ｙ）および虚数情報ＷＩｑ、ｊ（ｘ、ｙ）が生成される場合がある。
【００２２】
次に、振幅平坦化部２０６が、サブバンド擬似画像情報Ｗｑ、ｊ（ｘ、ｙ）を振幅平坦化して平坦化サブバンド擬似画像情報Ｗ’ｑ、ｊ（ｘ、ｙ）を生成することが好ましい（ステップＳ１６）。振幅平坦化、つまり、空間的な振幅変調を取り除く処理を行う理由は、後述する乗算部３０４で、符号化装置１００よりの振幅情報Ｅｑｊ’（ｘ、ｙ）と、この擬似画像情報生成装置２００よりのサブバンド擬似画像情報Ｗｑ、ｊ（ｘ、ｙ）とを乗算するからである。また振幅平坦化処理については、「Ｋｏｖａｃｓ Ｉ＆Ｆｅｈｅｒ Ａ．Ｎｏｎ−Ｆｏｕｒｉｅｒ ｉｎｆｏｒｍａｔｉｏｎ ｉｎ ｂａｎｄｐａｓｓ ｎｏｉｓｅ ｐａｔｔｅｒｎｓ．Ｖｉｓｉｏｎ Ｒｅｓ．１９９７ ３７（９）：１１６７−１１７５」等に記載されている。振幅平坦化処理を簡単に説明すると、Ｗｑ、ｊ（ｘ、ｙ）の各ｘ、ｙについてその点を中心とする円形領域の内部で最大振幅値を求め、当該最大振幅値により、サブバンド擬似画像情報Ｗｑ、ｊ（ｘ、ｙ）を正規化するというものである。
【００２３】
また、実数情報ＷＲｑ、ｊ（ｘ、ｙ）および虚数情報ＷＩｑ、ｊ（ｘ、ｙ）が生成された場合には、振幅平坦化部２０６は、実数情報ＷＲｑ、ｊ（ｘ、ｙ）に対して振幅平坦化処理を行っても良い。振幅平坦化処理を所望しない場合は、振幅平坦化部２０６はなくてもよい。
【００２４】
平坦化サブバンド擬似画像情報Ｗ’ｑ、ｊ（ｘ、ｙ）（または、擬似画像情報Ｗｑ、ｊ（ｘ、ｙ））は一旦、記憶部２０８に記憶される。以下の説明では、平坦化サブバンド擬似画像情報Ｗ’ｑ、ｊ（ｘ、ｙ）が記憶されるとして、画像復号化装置３００について説明する。
【００２５】
第２入力部３０２には、符号化装置１００よりの振幅情報Ｅｑｊ’（ｘ、ｙ）と、非対象サブバンド原画像情報Ａｑｊ’’（ｘ、ｙ）が入力される（ステップＳ２２）。つまり、符号化装置１００と画像復号化装置３００とが１つの筺体内に収容される場合には、記憶部１１０よりＥｑｊ’（ｘ、ｙ）およびＡｑｊ’’（ｘ、ｙ）が入力され、符号化装置１００と画像復号化装置３００とがネットワークで結ばれている場合には、送出部１１２よりのＥｑｊ’（ｘ、ｙ）およびＡｑｊ’’（ｘ、ｙ）がネットワーク経由で入力される。そして、第２入力部３０２は、ダウンサンプリングされた振幅情報Ｅｑｊ’（ｘ、ｙ）をアップサンプリングする。つまり、振幅情報Ｅｑｊ’（ｘ、ｙ）の画素数をＮ×Ｎに戻す。
【００２６】
そして、乗算部３０４は、記憶部２０８から平坦化サブバンド擬似画像情報Ｗ’ｑ、ｊ（ｘ、ｙ）を取り出す。乗算部３０４は、対象周波数インデックスｊ’についての平坦化サブバンド擬似画像情報Ｗ’ｑｊ’（ｘ、ｙ）に振幅情報Ｅｑｊ’（ｘ、ｙ）を乗算することで合成画像情報Ｔｑｊ’（ｘ、ｙ）を生成する（ステップＳ２４）。つまり、以下の式（３）を演算することにより、合成画像情報Ｔｑｊ’（ｘ、ｙ）を生成する。
Ｔｑｊ’（ｘ、ｙ）＝Ｗ’ｑｊ’（ｘ、ｙ）・Ｅｑｊ’（ｘ、ｙ） （３）
【００２７】
次に、再構成部３０６は、非対象サブバンド原画像情報Ａｑｊ’’（ｘ、ｙ）および合成画像情報Ｔｑｊ’（ｘ、ｙ）から復号化画像情報Ａ’（ｘ、ｙ）を生成する（ステップＳ２６）。再構成部３０６は、合成画像情報Ｔｑｊ’（ｘ、ｙ）については全てのｑ（ｑ＝１、．．．、Ｑ）および全てのｊ’’（ｊ’’＝１、．．．、Ｋ−１）について加算し、非対象サブバンド原画像情報Ａｑｊ’’（ｘ、ｙ）については、全てのｑ（ｑ＝１、．．．、Ｑ）および全てのｊ’（ｊ’＝Ｋ、．．．、Ｊ）について、加算して復号画像情報Ａ’（ｘ、ｙ）を生成する。つまり、再構成部３０６は、以下の式を演算して復号画像情報Ａ’（ｘ、ｙ）を生成する。
【００２８】
【数１】
【００２９】
このように、本実施例においては、対象サブバンド原画像情報については、全ての画像情報を送らず、振幅情報のみを送ることができる。データ量については、振幅情報のみのサブバンド画像情報は、元のサブバンド画像情報と比較して画素数が１／４になることが実験的に分かっている。よって、本実施例により、出力すべき画像の（エントロピー符号化以前の）データ量を少なくできる。また、本実施例は、サブバンド分解された任意の画像に適用できるため、ＪＰＥＧなど既存の画像符号化方式に容易に組み込むことが出来る。
【００３０】
また、本実施例において符合復号された画像は、しばしば手書きの絵のような外観を呈する。この性質により、本実施例は、任意の自然画像の質感を手書きの絵のように変化させる技術として用いることができる。
【実施例２】
【００３１】
上述のように、擬似画像情報が例えば白色ノイズ画像情報である場合は、乱数により生成されることから、強度が大きくなる場合があり、乗算部３０４が上記式（３）を演算すると、正確な合成画像情報が求められない場合がある。そこで、この実施例２では、合成画像情報Ｔｑｊ’（ｘ、ｙ）を正規化することで、正確な合成画像情報Ｔｑｊ’（ｘ、ｙ）を生成できる。この実施例２では、符号化装置１００に第１空間総和生成部１１４が設けられ、復号化装置４００に第２空間総和生成部２１０が設けられる。
【００３２】
第１空間総和生成部１１４は、対象サブバンド原画像情報の空間総和Ｍ１ｑｊ（以下、「第１空間総和」という。）を求める。第１空間総和Ｍ１ｑｊとは、対象周波数インデックスｊ’についての各サブバンド画像情報ごとの画像の強度を表す。第１空間総和Ｍ１ｑｊは、以下の式（５）により求めることができる。
【００３３】
【数２】
【００３４】
また、第２空間総和生成部２１０は、対象周波数帯域側の平坦化サブバンド擬似画像情報Ｗ’ｑｊ’（ｘ、ｙ）（以下、「対象平坦化サブバンド擬似画像情報Ｗ’ｑｊ’（ｘ、ｙ）」という。）の第２空間総和Ｍ２ｑｊ’を求める。具体的には、以下の式（６）により求めることができる。
【００３５】
【数３】
【００３６】
振幅平坦化部２０６を設けず、振幅平坦化処理を行わない場合には、擬似画像情報Ｗｑｊ’（ｘ、ｙ）（以下、「擬似画像情報Ｗｑｊ’（ｘ、ｙ）」という。）の第２空間総和Ｍ２ｑｊ’を求める。この場合には、式（６）中のＷ’ｑｊ’（ｘ、ｙ）はＷｑｊ’（ｘ、ｙ）に代替される。そして、正規化部３０８は、合成画像情報Ｔｑｊ’（ｘ、ｙ）に第１空間総和Ｍ１ｑｊ’と前記第２空間総和Ｍ２ｑｊ’との比であるＭ１ｑｊ’／Ｍ２ｑｊ’を乗算することで、正規化合成画像情報Ｔ’ｑｊ’（ｘ、ｙ）を求める。つまり、式（３）より、以下の式（７）により正規化合成画像情報Ｔ’ｑｊ’（ｘ、ｙ）を求める。
Ｔ’ｑｊ’（ｘ、ｙ）＝Ｗ’ｑｊ’（ｘ、ｙ）・Ｅｑｊ’（ｘ、ｙ）・Ｍ１ｑｊ’／Ｍ２ｑｊ’ （７）
そして、再構成部３０６は、式（４）中のＴｑｊ’（ｘ、ｙ）をＴ’ｑｊ’（ｘ、ｙ）に代替して、演算を行い、復号画像情報Ａ’（ｘ、ｙ）を生成する。
【００３７】
このように、第１空間総和Ｍ１ｑｊ’と第２空間総和Ｍ２ｑｊ’を用いた正規化を行うことで、生成される擬似画像情報の強度が強い場合であっても、正確な高品質な合成画像情報を求めることができる。
【００３８】
また、実施例１または実施例２では、原画像情報Ａ（ｘ、ｙ）をグレースケールの画像とした符号化装置、復号化装置を説明したが、原画像情報Ａ（ｘ、ｙ）がカラー画像であった場合でも、この発明の符号化装置、復号化装置は適用できる。この場合には、上記の処理をＲ、Ｇ、Ｂについて繰り返せばよい。例えば、原画像情報Ａ（ｘ、ｙ）、擬似画像情報Ｗ（ｘ、ｙ）について、色についての情報を示す変数ｚを加え、それぞれ原画像Ａ（ｘ、ｙ、ｚ）、Ｗ（ｘ、ｙ、ｚ）とすればよい。このようにすることで、原画像がカラー画像の場合であっても、本発明を適用できる。
【００３９】
また、実施例１または実施例２では、原画像情報Ａ（ｘ、ｙ）を静止画であるとして、説明をしたが、原画像情報が動画であっても、実施できる。この場合には、動画を構成する静止画それぞれについて、上記処理を行えばよい。
【００４０】
｛実験結果｝
図３ａ〜図３ｃに、本発明の実験結果を示す。図３ａは、ある自然なテクスチャのグレースケール画像の原画像Ａ（ｘ、ｙ）である。図３ｂは、Ｋ＝１６ｃｙｃｌｅ／Ｎと設定し、対象周波数インデックスｊ’をこのＫよりも大きなｊとした場合の、上記実施例２の符号復号化処理を施した復号化画像情報Ａ’（ｘ、ｙ）である。図３ｂからも明らかなように、実施例２で説明した符号復号化手法により、データ量を削減しつつ、原画像に近い画像を複合化できる。
【００４１】
図３ｃは、Ｋ＝６４ｃｙｃｌｅ／Ｎと設定し、対象周波数インデックスｊ’をＫよりも大きなｊとした場合の、上記実施例２の符号復号化処理を施した復号化画像情報Ａ’（ｘ、ｙ）である。人間は視野の周辺で観察した場合、映像の位相を見分けるのが非常に困難であることが知られている。従って、図３ｃからも明らかなように、上記実施例２の方法により復号化された映像も、視野の周辺で観察すると原画と見分けがつきにくいことが分かる。
【００４２】
＜ハードウェア構成＞
本発明は上述の実施の形態に限定されるものではない。また、上述の各種の処理は、記載に従って時系列に実行されるのみならず、処理を実行する装置の処理能力あるいは必要に応じて並列的にあるいは個別に実行されてもよい。その他、本発明の趣旨を逸脱しない範囲で適宜変更が可能であることはいうまでもない。
【００４３】
また、上述の構成をコンピュータによって実現する場合、符号化装置１００、復号化装置４００が有すべき機能の処理内容はプログラムによって記述される。そして、このプログラムをコンピュータで実行することにより、処理機能がコンピュータ上で実現される。
【００４４】
この処理内容を記述したプログラムは、コンピュータで読み取り可能な記録媒体に記憶しておくことができる。コンピュータで読み取り可能な記録媒体としては、例えば、磁気記憶装置、光ディスク、光磁気記録媒体、半導体メモリ等どのようなものでもよいが、具体的には、例えば、磁気記憶装置として、ハードディスク装置、フレキシブルディスク、磁気テープ等を、光ディスクとして、ＤＶＤ（Digital Versatile Disc）、ＤＶＤ−ＲＡＭ（Random Access Memory）、ＣＤ−ＲＯＭ（Compact Disc Read Only Memory）、ＣＤ−Ｒ（Recordable）／ＲＷ（ReWritable）等を、光磁気記録媒体として、ＭＯ（Magneto-Optical disc）等を、半導体メモリとしてＥＥＰ−ＲＯＭ（Electronically Erasable and Programmable-Read Only Memory）等を用いることができる。
【００４５】
また、このプログラムの流通は、例えば、そのプログラムを記憶したＤＶＤ、ＣＤ−ＲＯＭ等の可搬型記録媒体を販売、譲渡、貸与等することによって行う。さらに、このプログラムをサーバコンピュータの記憶装置に格納しておき、ネットワークを介して、サーバコンピュータから他のコンピュータにそのプログラムを転送することにより、このプログラムを流通させる構成としてもよい。
【００４６】
このようなプログラムを実行するコンピュータは、例えば、まず、可搬型記録媒体に記憶されたプログラムもしくはサーバコンピュータから転送されたプログラムを、一旦、自己の記憶装置に格納する。そして、処理の実行時、このコンピュータは、自己の記録媒体に格納されたプログラムを読み取り、読み取ったプログラムに従った処理を実行する。また、このプログラムの別の実行形態として、コンピュータが可搬型記録媒体から直接プログラムを読み取り、そのプログラムに従った処理を実行することとしてもよく、さらに、このコンピュータにサーバコンピュータからプログラムが転送されるたびに、逐次、受け取ったプログラムに従った処理を実行することとしてもよい。また、サーバコンピュータから、このコンピュータへのプログラムの転送は行わず、その実行指示と結果取得のみによって処理機能を実現する、いわゆるＡＳＰ（Application Service Provider）型のサービスによって、上述の処理を実行する構成としてもよい。なお、本形態におけるプログラムには、電子計算機による処理の用に供する情報であってプログラムに準ずるもの（コンピュータに対する直接の指令ではないがコンピュータの処理を規定する性質を有するデータ等）を含むものとする。
【００４７】
また、この形態では、コンピュータ上で所定のプログラムを実行させることにより、本装置を構成することとしたが、これらの処理内容の少なくとも一部をハードウェア的に実現することとしてもよい。
【００４８】
また、本実施例で説明した符号化装置１００、復号化装置４００は、ＣＰＵ（Central Processing Unit）、入力部、出力部、補助記憶装置、ＲＡＭ（Random Access Memory）、ＲＯＭ（Read Only Memory）及びバスを有している（何れも図示せず）。
【００４９】
ＣＰＵは、読み込まれた各種プログラムに従って様々な演算処理を実行する。補助記憶装置は、例えば、ハードディスク、ＭＯ（Magneto-Optical disc）、半導体メモリ等であり、ＲＡＭは、ＳＲＡＭ (Static Random Access Memory)、ＤＲＡＭ (Dynamic Random Access Memory)等である。また、バスは、ＣＰＵ、入力部、出力部、補助記憶装置、ＲＡＭ及びＲＯＭを通信可能に接続している。
【００５０】
＜ハードウェアとソフトウェアとの協働＞
本実施例の単語追加装置は、上述のようなハードウェアに所定のプログラムが読み込まれ、ＣＰＵがそれを実行することによって構築される。以下、このように構築される各装置の機能構成を説明する。
【００５１】
符号化装置１００の第１入力部１０２、復号化装置４００の第２入力部３０２、出力部１０８は、所定のプログラムが読み込まれたＣＰＵの制御のもと駆動するＬＡＮカード、モデム等の通信装置である。その他の構成部は、所定のプログラムがＣＰＵに読み込まれ、実行されることによって構築される演算部である。記憶部は前記補助記憶装置として機能する。
【特許請求の範囲】
【請求項１】
原画像情報を複数の空間周波数ごとにサブバンド分割することで、サブバンド原画像情報を生成する第１分割部と、
高周波数帯域側または低周波数帯域側（以下、「対象周波数帯域側」という。）の前記サブバンド原画像情報（以下、「対象サブバンド原画像情報」という。）の振幅情報を求める振幅計算部と、
前記対象サブバンド原画像情報の振幅情報と、前記対象サブバンド原画像情報以外のサブバンド原画像情報（以下、「非対象サブバンド原画像情報」という。）を出力する出力部と、を有する符号化装置。
【請求項２】
請求項１記載の符号化装置で符号化された原画像を復号化する復号化装置であって、
擬似画像情報を生成する画像生成部と、
前記擬似画像情報を前記複数の空間周波数ごとにサブバンド分割することで、サブバンド擬似画像情報を生成する第２分割部と、
前記符号化装置からの振幅情報と非対象サブバンド原画像情報が入力される入力部と、
前記サブバンド擬似画像情報に前記振幅情報を乗算することで合成画像を生成する乗算部と、
前記非対象サブバンド原画像情報および前記合成画像から復号画像情報を生成する再構成部と、を有する復号化装置。
【請求項３】
請求項２記載の復号化装置において、
更に、前記サブバンド擬似画像情報を振幅平坦化してサブバンド擬似画像情報として出力する振幅平坦化部を有することを特徴とする復号化装置。
【請求項４】
請求項２または３記載の復号化装置であって、
前記符号化装置は、前記対象サブバンド原画像情報の空間総和（以下、「第１空間総和」という。）を求める第１空間総和生成部を有し、
前記対象周波数帯域側の前記サブバンド擬似画像情報の空間総和（以下、「第２空間総和」という。）を求める第２空間総和生成部と、
第１空間総和と前記第２空間総和との比を用いて、前記合成画像を正規化する正規化部と、を有することを特徴とする復号化装置。
【請求項５】
原画像情報を複数の空間周波数ごとにサブバンド分割することで、サブバンド原画像情報を生成する第１分割部と、
高周波数帯域側または低周波数帯域側（以下、「対象周波数帯域側」という。）の前記サブバンド原画像情報（以下、対象サブバンド原画像情報）の振幅情報を求める振幅計算部と、
前記対象サブバンド原画像情報の振幅情報と、前記対象サブバンド原画像情報以外のサブバンド原画像情報（以下、「非対象サブバンド原画像情報」という。）を記憶する記憶部と、を有する符号化装置と、
擬似画像情報を生成する画像生成部と、
前記擬似画像情報を前記複数の空間周波数ごとにサブバンド分割することで、サブバンド擬似画像情報を生成する第２分割部と、
前記記憶部から、振幅情報と非対象サブバンド原画像情報が入力される入力部と、
前記サブバンド擬似画像情報に前記振幅情報を乗算することで合成画像を生成する乗算部と、
前記サブバンド原画像情報および前記合成画像から復号画像を生成する再構成部と、を有する復号化装置と、を具備する符号復号化システム。
【請求項６】
請求項５記載の符号復号化システムにおいて、
前記復号化装置は、前記サブバンド擬似画像情報を振幅平坦化してサブバンド擬似画像情報として出力する振幅平坦化部を有することを特徴とする符号復号化システム。
【請求項７】
請求項５または６記載の符号復号化システムであって、
前記符号化装置は、前記対象サブバンド原画像情報の空間総和（以下、「第１空間総和」という。）を求める第１空間総和生成部を有し、
前記複合化装置は、前記対象周波数帯域側の前記サブバンド擬似画像情報の空間総和（以下、「第２空間総和」という。）を求める第２空間総和生成部と、
第１空間総和と前記第２空間総和との比を用いて、前記合成画像を正規化する正規化部と、を有することを特徴とする符号復号化システム。
【請求項８】
原画像情報を複数の空間周波数ごとにサブバンド分割することで、サブバンド原画像情報を生成し、
高周波数帯域側または低周波数帯域側の前記サブバンド原画像情報（以下、「対象サブバンド原画像情報」という。）の振幅情報を求め、
前記対象サブバンド原画像情報の振幅情報と、前記対象サブバンド原画像情報以外のサブバンド原画像情報（以下、「非対象サブバンド原画像情報」という。）を出力する符号化方法。
【請求項９】
請求項８記載の符号化方法で符号化された原画像を復号化する復号化方法であって、
擬似画像情報を生成し、
前記擬似画像情報を前記複数の空間周波数ごとにサブバンド分割することで、サブバンド擬似画像情報を生成し、
前記符号化装置からの振幅情報と非対象サブバンド原画像情報が入力され、
前記サブバンド擬似画像情報に前記振幅情報を乗算することで合成画像を生成し、
前記非対象サブバンド原画像情報および前記合成画像から復号画像情報を生成する復号化方法。
【請求項１０】
請求項１記載の符号化装置または請求項２〜４何れかの記載の復号化装置としてコンピュータを動作させるプログラム。
【請求項１】
原画像情報を複数の空間周波数ごとにサブバンド分割することで、サブバンド原画像情報を生成する第１分割部と、
高周波数帯域側または低周波数帯域側（以下、「対象周波数帯域側」という。）の前記サブバンド原画像情報（以下、「対象サブバンド原画像情報」という。）の振幅情報を求める振幅計算部と、
前記対象サブバンド原画像情報の振幅情報と、前記対象サブバンド原画像情報以外のサブバンド原画像情報（以下、「非対象サブバンド原画像情報」という。）を出力する出力部と、を有する符号化装置。
【請求項２】
請求項１記載の符号化装置で符号化された原画像を復号化する復号化装置であって、
擬似画像情報を生成する画像生成部と、
前記擬似画像情報を前記複数の空間周波数ごとにサブバンド分割することで、サブバンド擬似画像情報を生成する第２分割部と、
前記符号化装置からの振幅情報と非対象サブバンド原画像情報が入力される入力部と、
前記サブバンド擬似画像情報に前記振幅情報を乗算することで合成画像を生成する乗算部と、
前記非対象サブバンド原画像情報および前記合成画像から復号画像情報を生成する再構成部と、を有する復号化装置。
【請求項３】
請求項２記載の復号化装置において、
更に、前記サブバンド擬似画像情報を振幅平坦化してサブバンド擬似画像情報として出力する振幅平坦化部を有することを特徴とする復号化装置。
【請求項４】
請求項２または３記載の復号化装置であって、
前記符号化装置は、前記対象サブバンド原画像情報の空間総和（以下、「第１空間総和」という。）を求める第１空間総和生成部を有し、
前記対象周波数帯域側の前記サブバンド擬似画像情報の空間総和（以下、「第２空間総和」という。）を求める第２空間総和生成部と、
第１空間総和と前記第２空間総和との比を用いて、前記合成画像を正規化する正規化部と、を有することを特徴とする復号化装置。
【請求項５】
原画像情報を複数の空間周波数ごとにサブバンド分割することで、サブバンド原画像情報を生成する第１分割部と、
高周波数帯域側または低周波数帯域側（以下、「対象周波数帯域側」という。）の前記サブバンド原画像情報（以下、対象サブバンド原画像情報）の振幅情報を求める振幅計算部と、
前記対象サブバンド原画像情報の振幅情報と、前記対象サブバンド原画像情報以外のサブバンド原画像情報（以下、「非対象サブバンド原画像情報」という。）を記憶する記憶部と、を有する符号化装置と、
擬似画像情報を生成する画像生成部と、
前記擬似画像情報を前記複数の空間周波数ごとにサブバンド分割することで、サブバンド擬似画像情報を生成する第２分割部と、
前記記憶部から、振幅情報と非対象サブバンド原画像情報が入力される入力部と、
前記サブバンド擬似画像情報に前記振幅情報を乗算することで合成画像を生成する乗算部と、
前記サブバンド原画像情報および前記合成画像から復号画像を生成する再構成部と、を有する復号化装置と、を具備する符号復号化システム。
【請求項６】
請求項５記載の符号復号化システムにおいて、
前記復号化装置は、前記サブバンド擬似画像情報を振幅平坦化してサブバンド擬似画像情報として出力する振幅平坦化部を有することを特徴とする符号復号化システム。
【請求項７】
請求項５または６記載の符号復号化システムであって、
前記符号化装置は、前記対象サブバンド原画像情報の空間総和（以下、「第１空間総和」という。）を求める第１空間総和生成部を有し、
前記複合化装置は、前記対象周波数帯域側の前記サブバンド擬似画像情報の空間総和（以下、「第２空間総和」という。）を求める第２空間総和生成部と、
第１空間総和と前記第２空間総和との比を用いて、前記合成画像を正規化する正規化部と、を有することを特徴とする符号復号化システム。
【請求項８】
原画像情報を複数の空間周波数ごとにサブバンド分割することで、サブバンド原画像情報を生成し、
高周波数帯域側または低周波数帯域側の前記サブバンド原画像情報（以下、「対象サブバンド原画像情報」という。）の振幅情報を求め、
前記対象サブバンド原画像情報の振幅情報と、前記対象サブバンド原画像情報以外のサブバンド原画像情報（以下、「非対象サブバンド原画像情報」という。）を出力する符号化方法。
【請求項９】
請求項８記載の符号化方法で符号化された原画像を復号化する復号化方法であって、
擬似画像情報を生成し、
前記擬似画像情報を前記複数の空間周波数ごとにサブバンド分割することで、サブバンド擬似画像情報を生成し、
前記符号化装置からの振幅情報と非対象サブバンド原画像情報が入力され、
前記サブバンド擬似画像情報に前記振幅情報を乗算することで合成画像を生成し、
前記非対象サブバンド原画像情報および前記合成画像から復号画像情報を生成する復号化方法。
【請求項１０】
請求項１記載の符号化装置または請求項２〜４何れかの記載の復号化装置としてコンピュータを動作させるプログラム。
【図１】
【図２】
【図３】
【図２】
【図３】
【公開番号】特開２０１０−１７８０５９（Ｐ２０１０−１７８０５９Ａ）
【公開日】平成２２年８月１２日（２０１０．８．１２）
【国際特許分類】
【出願番号】特願２００９−１８３６１（Ｐ２００９−１８３６１）
【出願日】平成２１年１月２９日（２００９．１．２９）
【出願人】（０００００４２２６）日本電信電話株式会社 (13,992)
【Ｆターム（参考）】
【公開日】平成２２年８月１２日（２０１０．８．１２）
【国際特許分類】
【出願日】平成２１年１月２９日（２００９．１．２９）
【出願人】（０００００４２２６）日本電信電話株式会社 (13,992)
【Ｆターム（参考）】
[ Back to top ]