直交変換係数の符号または値を用いて情報伝送を行う符号化装置、復号装置、方法およびプログラム
【課題】符号化側から復号側へ映像などの信号を伝送する際に、符号量が増加することなく、その映像などの信号に制御信号を重畳して伝送する。
【解決手段】符号化装置１の直交変換係数操作部１２は、制御信号ｓ＝１の場合、（０，０）成分の直交変換係数の符号を反転し、制御信号ｓ＝０の場合、（０，０）成分の直交変換係数の符号をそのままとする。これにより、制御信号ｓの重畳した直交変換係数が生成される。一般に、映像信号を符号化する場合、直交変換係数における低域の情報は多く、高域の情報は少ないという性質がある。この低域の直交変換係数の符号が反転すると、符号化ブロック境界において信号変動が極めて大きくなる。このような映像信号の性質を利用して、復号装置２−１は、制御信号ｓの重畳した直交変換係数に対し、ブロック境界の画素信号の差分量に基づいて、制御信号ｓを抽出する。
【解決手段】符号化装置１の直交変換係数操作部１２は、制御信号ｓ＝１の場合、（０，０）成分の直交変換係数の符号を反転し、制御信号ｓ＝０の場合、（０，０）成分の直交変換係数の符号をそのままとする。これにより、制御信号ｓの重畳した直交変換係数が生成される。一般に、映像信号を符号化する場合、直交変換係数における低域の情報は多く、高域の情報は少ないという性質がある。この低域の直交変換係数の符号が反転すると、符号化ブロック境界において信号変動が極めて大きくなる。このような映像信号の性質を利用して、復号装置２−１は、制御信号ｓの重畳した直交変換係数に対し、ブロック境界の画素信号の差分量に基づいて、制御信号ｓを抽出する。
【発明の詳細な説明】
【技術分野】
【０００１】
映像または音声などの符号化技術に関し、特に、放送または映像配信サービスなどに用いる符号化装置、復号装置、方法およびプログラムに関する。
【背景技術】
【０００２】
映像または音声などの符号化技術では、複数の信号処理技術を組み合わせることにより、信号をより少ない信号表現に変換し信号圧縮を実現する。それぞれの処理を決められた手順で行うことは容易であるが、復号する際に信号がどの処理によって符号化されたかを判別するためには、制御信号を付加する必要がある。このような制御信号は、入力信号を信号処理によって変換した信号ではなく新たに追加した信号であり、符号化処理において符号量が増加する要因となる。一般的に、符号化方式の信号処理として、制御信号によって符号量が増加しないように、十分に圧縮効果の得られる処理が採用されており、符号量増加の問題は生じていない。例えば、ＭＰＥＧ−２、Ｈ．２６４／ＡＶＣなどに規定する処理が採用されている。
【０００３】
また、デジタル符号化技術の発展によって映像配信が容易になったため、映像および音声信号の高品質な複製が行われ、コンテンツホルダーの権利が侵害されるようになった。このような問題を解決するために、著作権保護の観点から、符号化された信号に著作権保護のための管理情報を、符号量を極力増加させることなく埋め込むデータハイディング技術の研究が行われ、実用化されている（例えば、非特許文献１を参照）。このデータハイディング技術は、情報量および符号化品質にできる限り影響を与えないように、符号化前の信号における冗長性を有する部分、または人間の視覚および聴覚によって検知されない（または検知され難い）部分に管理情報を埋め込むことにより、管理情報を伝送する。しかし、映像または音声の符号化のように、非可逆な符号化による信号の劣化を考慮すると、ある程度強く信号を操作しなければならず、操作した信号によって符号量および符号化品質に影響を与えてしまう。また、符号化処理によっては埋め込まれた管理情報が変化する可能性があることから、管理情報などの制御信号を確実に伝送する必要のあるシステムにデータハイディング技術を適用することは妥当でない。
【０００４】
一方、符号化後の信号を特定の手順で操作し、情報を伝送する技術が検討されている（非特許文献２を参照）。この技術は、直交変換係数の値を１プラスマイナスすることによって、情報を伝送するものである。しかし、符号化後の信号は、信号の冗長性が十分に除去された信号であり、わずかな信号の操作によっても符号化品質に大きな影響を与えることになる。このような問題から、データハイディング技術を利用して制御信号を伝送するシステムは実用化されていない。
【先行技術文献】
【非特許文献】
【０００５】
【非特許文献１】吉野知伸、吉田俊之、「画像のＤＣＴ係数に対する整数計画問題に基づくデータハイディング」、２００２年画像符号化シンポジウム（ＰＣＳＪ）、２００２年１１月１１日〜１３日、Ｐ−５．０６
【非特許文献２】ＪＣＴＶＣ−Ｅ４２８、“Low Complexity Embedding of Information in Transform Coefficients”
【発明の概要】
【発明が解決しようとする課題】
【０００６】
前述のとおり、圧縮符号化を目的とする符号化処理では、制御信号は符号量の増加要因になるから、極力付与されるべきでない。一方、データハイディング技術は、一般的には符号化前の信号に所定の情報を埋め込むものであり、また、符号化後の信号を操作する場合、超高圧縮下において符号化品質に与える影響が大きい。
【０００７】
しかし、一般的に圧縮を目的とする符号化処理は、ハフマン符号などのように、入力信号の持つ統計的偏りを利用して平均的な信号表現を少なくする。つまり、入力信号には既知の信号性質があり、符号化後の信号を操作することで符号化品質が著しく劣化した場合、その信号性質は容易に破たんする。
【０００８】
そこで、本発明は前記課題を解決するためになされたものであり、その目的は、符号化側から復号側へ映像などの信号を伝送する際に、符号量が増加することなく、その映像などの信号に制御信号を重畳して伝送可能な符号化装置、復号装置、方法およびプログラムを提供することにある。
【課題を解決するための手段】
【０００９】
前記目的を達成するために、本発明による請求項１の符号化装置は、伝送対象の信号に直交変換を行い、直交変換係数の符号化信号を伝送する符号化装置において、前記伝送対象の信号を構成する複数の要素信号からなるブロック毎に直交変換を行い、直交変換係数を生成する直交変換部と、前記直交変換部により生成された直交変換係数のうち、予め設定された成分の直交変換係数に対し、前記制御信号に基づき前記直交変換係数の符号を操作して反転し、前記制御信号を直交変換係数に重畳する直交変換係数操作部と、を備えることを特徴とする。
【００１０】
また、本発明による請求項２の符号化装置は、請求項１に記載の符号化装置において、前記直交変換係数操作部の代わりに二値化直交変換係数操作部を備え、前記二値化直交変換係数操作部が、前記直交変換係数が二値化された二値化直交変換係数の最上位ビットを操作して反転し、前記制御信号を直交変換係数に重畳する、ことを特徴とする。
【００１１】
また、本発明による請求項３の復号装置は、請求項１の符号化装置により伝送された、前記制御信号が重畳した直交変換係数の符号化信号を受信し、前記符号化信号の直交変換係数に逆直交変換を行い、元の伝送対象の信号に復号する復号装置であって、前記直交変換係数に逆直交変換を行って第１の要素信号を生成すると共に、前記直交変換係数の符号を操作して反転し、前記反転した直交変換係数に逆直交変換を行って第２の要素信号を生成する逆直交変換部と、前記逆直交変換部により生成された第１の要素信号と、既に復号された伝送対象の信号との間の差分量、もしくは前記差分量の二乗和、または相関値のうちの所定の第１の算出結果を求めると共に、前記逆直交変換部により生成された第２の要素信号と、既に復号された伝送対象の信号との間の差分量、もしくは前記差分量の二乗和、または相関値のうちの前記所定の第２の算出結果を求め、前記第１の算出結果と第２の算出結果とを比較することで、前記第１の要素信号または第２の要素信号のうちのいずれかの要素信号を元の伝送対象の信号として選択し、前記直交変換係数に重畳した制御信号を判定する比較／判定部と、を備えたことを特徴とする。
【００１２】
また、本発明による請求項４の復号装置は、前記伝送対象の信号が複数のコンポーネント信号により構成され、請求項１の符号化装置により所定のコンポーネント信号における直交変換係数の符号が操作され前記制御信号が重畳した場合に、前記符号化装置により伝送された、前記制御信号が重畳したコンポーネント信号における直交変換係数の符号化信号を受信すると共に、前記制御信号が重畳していない他のコンポーネント信号における直交変換係数の符号化信号を受信し、前記それぞれの符号化信号の直交変換係数に逆直交変換を行い、元の伝送対象の信号に復号する復号装置であって、前記制御信号が重畳したコンポーネント信号の直交変換係数に逆直交変換を行って第１−１の要素信号を生成すると共に、前記直交変換係数の符号を操作して反転し、前記反転した直交変換係数に逆直交変換を行って第１−２の要素信号を生成する第１の逆直交変換部と、前記制御信号が重畳していない他のコンポーネント信号の直交変換係数に逆直交変換を行って第２−１の要素信号を生成すると共に、前記直交変換係数の符号を操作して反転し、前記反転した直交変換係数に逆直交変換を行って第２−２の要素信号を生成する第２の逆直交変換部と、前記第１の逆直交変換部により生成された第１−１および第１−２の要素信号と、既に復号された伝送対象の信号との間の差分量、もしくは前記差分量の二乗和、または相関値のうちの所定の算出結果をそれぞれ求め、前記算出結果を比較して第１の判定結果を求め、前記第２の逆直交変換部により生成された第２−１および第２−２の要素信号と、既に復号された伝送対象の信号との間の差分量、もしくは前記差分量の二乗和、または相関値のうちの前記所定の算出結果をそれぞれ求め、前記算出結果を比較して第２の判定結果を求め、前記第１および第２の判定結果に基づいて、前記第２−１の要素信号と同じ判定結果となった第１−１または第１−２の要素信号を元の伝送対象の信号として選択し、前記直交変換係数に重畳した制御信号を判定する比較／判定部と、を備えたことを特徴とする。
【００１３】
また、本発明による請求項５の復号装置は、請求項２の符号化装置により伝送された、前記制御信号が重畳した直交変換係数の符号化信号を受信し、前記符号化信号の直交変換係数を逆直交変換し、元の伝送対象の信号に復号する復号装置であって、前記符号化信号から復号された二値化直交変換係数を直交変換係数に復号し、前記直交変換係数を逆直交変換し、第１の要素信号を生成すると共に、前記二値化直交変換係数の最上位ビットに１を追加し、前記１を追加した二値化直交変換係数から直交変換係数を復号し、逆直交変換を行い、第２の要素信号を生成する逆直交変換部と、前記逆直交変換部により生成された第１の要素信号と、既に復号された伝送対象の信号との間の差分量、もしくは前記差分量の二乗和、または相関値のうちの所定の第１の算出結果を求めると共に、前記逆直交変換部により生成された第２の要素信号と、既に復号された伝送対象の信号との間の差分量、もしくは前記差分量の二乗和、または相関値のうちの前記所定の第２の算出結果を求め、前記第１の算出結果と第２の算出結果とを比較することで、前記第１の要素信号または第２の要素信号のうちのいずれかの要素信号を元の伝送対象の信号として選択し、前記直交変換係数に重畳した制御信号を判定する比較／判定部と、を備えたことを特徴とする。
【００１４】
また、本発明による請求項６の符号化方法は、伝送対象の信号に直交変換を行い、直交変換係数の符号化信号を伝送する符号化装置による符号化方法において、前記伝送対象の信号を構成する複数の要素信号からなるブロック毎に直交変換を行い、直交変換係数を生成するステップと、前記直交変換係数のうち、予め設定された成分の直交変換係数に対し、前記制御信号に基づき前記直交変換係数の符号を操作して反転し、前記制御信号を直交変換係数に重畳するステップと、を有することを特徴とする。
【００１５】
また、本発明による請求項７の符号化方法は、伝送対象の信号に直交変換を行い、直交変換係数の符号化信号を伝送する符号化装置による符号化方法において、前記伝送対象の信号を構成する複数の要素信号からなるブロック毎に直交変換を行い、直交変換係数を生成するステップと、前記直交変換係数を二値化し、二値化直交変換係数を生成するステップと、前記二値化直交変換係数の最上位ビットを操作して反転し、前記制御信号を直交変換係数に重畳するステップと、を有することを特徴とする。
【００１６】
また、本発明による請求項８の復号方法は、請求項６の符号化方法により伝送された、前記制御信号が重畳した直交変換係数の符号化信号を受信し、逆直交変換を行って元の伝送対象の信号に復号する復号装置による復号方法であって、前記受信した符号化信号の直交変換係数に逆直交変換を行って第１の要素信号を生成するステップと、前記直交変換係数の符号を操作して反転し、前記反転した直交変換係数に逆直交変換を行って第２の要素信号を生成するステップと、前記第１の要素信号と、既に復号された伝送対象の信号との間の差分量、もしくは前記差分量の二乗和、または相関値のうちの所定の第１の算出結果を求めるステップと、前記第２の要素信号と、既に復号された伝送対象の信号との間の差分量、もしくは前記差分量の二乗和、または相関値のうちの前記所定の第２の算出結果を求めるステップと、前記第１の算出結果と第２の算出結果とを比較することで、前記第１の要素信号または第２の要素信号のうちのいずれかの要素信号を元の伝送対象の信号として選択し、前記直交変換係数に重畳した制御信号を判定するステップと、を有することを特徴とする。
【００１７】
また、本発明による請求項９の復号方法は、請求項７の符号化方法により伝送された、前記制御信号が重畳した直交変換係数の符号化信号を受信し、前記符号化信号の直交変換係数を逆直交変換し、元の伝送対象の信号に復号する復号装置による復号方法であって、前記符号化信号から復号された二値化直交変換係数を直交変換係数に復号し、前記直交変換係数を逆直交変換し、第１の要素信号を生成するステップと、前記二値化直交変換係数の最上位ビットに１を追加し、前記１を追加した二値化直交変換係数から直交変換係数を復号し、逆直交変換を行い、第２の要素信号を生成するステップと、前記第１の要素信号と、既に復号された伝送対象の信号との間の差分量、もしくは前記差分量の二乗和、または相関値のうちの所定の第１の算出結果を求めるステップと、前記第２の要素信号と、既に復号された伝送対象の信号との間の差分量、もしくは前記差分量の二乗和、または相関値のうちの前記所定の第２の算出結果を求めるステップと、前記第１の算出結果と第２の算出結果とを比較することで、前記第１の要素信号または第２の要素信号のうちのいずれかの要素信号を元の伝送対象の信号として選択し、前記直交変換係数に重畳した制御信号を判定するステップと、を有することを特徴とする。
【００１８】
また、本発明による請求項１０の符号化プログラムは、コンピュータを、請求項１または２に記載の符号化装置として機能させることを特徴とする。
【００１９】
また、本発明による請求項１１の復号プログラムは、コンピュータを、請求項３から５までのいずれか一項に記載の復号装置として機能させることを特徴とする。
【発明の効果】
【００２０】
以上のように、本発明によれば、符号化側から復号側へ映像などの信号を伝送する際に、符号量が増加することなく、その映像などの信号に制御信号を重畳して伝送することが可能となる。また、復号時に信号補正を行うことにより、映像などの信号の品質劣化を伴うことなく制御信号を伝送することができ、より高圧縮な符号化を実現することができる。
【図面の簡単な説明】
【００２１】
【図１】本発明の第１の実施形態（実施例１）による符号化装置の概略構成を示すブロック図である。
【図２】直交変換係数操作部の処理を示すプログラムの例である。
【図３】直交変換係数操作部の処理を示すフローチャートである。
【図４】実施例１による復号装置の概略構成を示すブロック図である。
【図５】逆直交変換部の処理を示すフローチャートである。
【図６】４×４画素のブロックにおける画素信号の位置関係を示す図である。
【図７】実施例１による比較／判定部の処理を示すプログラムの例である。
【図８】実施例１による比較／判定部の処理を示すフローチャートである。
【図９】本発明の第２の実施形態（実施例２）による復号装置の概略構成を示すブロック図である。
【図１０】実施例２による比較／判定部の処理を示すフローチャートである。
【図１１】本発明の第３の実施形態（実施例３）による復号装置の概略構成を示すブロック図である。
【図１２】本発明の第４の実施形態（実施例４）による符号化装置の概略構成を示すブロック図である。
【図１３】二値化直交変換係数操作部の処理を示すフローチャートである。
【図１４】実施例４による復号装置の概略構成を示すブロック図である。
【図１５】逆直交変換部の処理を示すフローチャートである。
【発明を実施するための形態】
【００２２】
以下、本発明を実施するための形態について図面を用いて詳細に説明する。実施例１〜３は、伝送対象の映像信号を例として、符号化した映像信号を操作する際に、入力信号の統計的偏りが顕著に破たんするように、故意に映像信号を操作し、復号時に統計的偏りの不自然さを検出し、映像信号を決められた手順で復元する例である。具体的には、映像信号の直交変換係数情報（符号情報または／および値情報）を操作する。映像信号の符号化では、映像信号の隣接画素間の相関が高いことが知られている。そのため、ＭＰＥＧ−２またはＨ．２６４／ＡＶＣの規格に従った画像を小領域に分割して符号化するブロック符号化では、ブロックの境界において隣接画素間の相関が高い。この領域の画素信号間の相関が極端に低くなると、ブロックの境界において顕著な信号の変化が生じ、復号時に筋状の劣化が検知される。また、このような劣化をブロック歪とよび、通常ブロック歪が生じないように符号化処理が行われる。そこで、本発明の実施形態による符号化装置および復号装置では、直交変換係数情報を操作し、復号時には境界部の隣接画素間の相関を極端に低下させる／させない処理を行うことによって、制御信号が重畳した情報を伝送する。
【００２３】
直交変換係数をその値の大きさ（絶対値）と符号とに分け、符号の正負を操作した場合であっても、ビット量にほとんど影響を与えないから、直交変換係数の符号化情報量はさほど変化しない。また、直交変換係数の値を操作した場合、すなわち、エントロピー符号化のために二値化された可変ビット長の信号における直交変換係数の最上位ビットの信号を反転操作した場合も、ビット量にほとんど影響を与えないから、直交変換係数の符号化情報量はさほど変化しない。さらに、ブロック単位に直交変換係数の符号または／および値を操作することによって、全体のビット変動は平均して０になるから、符号量の増加を伴うことなく、制御信号が重畳した情報を伝送することができる。
【００２４】
〔実施例１／符号化装置〕
まず、実施例１の符号化装置について説明する。図１は、実施例１による符号化装置の概略構成を示すブロック図である。この符号化装置１は、画像の直交変換係数の符号を操作することで制御信号ｓを重畳し、符号化信号を伝送する装置であり、直交変換部１１、直交変換係数操作部１２およびエントロピー符号化部１３を備えている。尚、図１には、符号化装置１の構成部のうち、本発明に関連する構成部のみが示されている。
【００２５】
直交変換部１１は、画素信号により構成される画像（映像信号）を入力し、入力した画素信号に対して直交変換処理を施し、２次元の直交変換係数を生成して直交変換係数操作部１２に出力する。すなわち、直交変換部１１は、映像信号を構成する複数の画素信号からなるブロック毎に、直交変換により複数成分（基底）の直交変換係数を生成する。直交変換処理として、例えば離散コサイン変換（ＤＣＴ）、離散サイン変換（ＤＳＴ）などが行われる。尚、本発明は、直交変換処理の種類を限定するものではない。
【００２６】
直交変換係数操作部１２は、直交変換部１１とエントロピー符号化部１３との間に設けられ、制御信号ｓ（＝０，１）に基づいて、直交変換係数の符号を操作することで符号を反転する。直交変換係数操作部１２は、直交変換部１１から２次元の直交変換係数を入力すると共に、直交変換係数に重畳する制御信号ｓを入力し、入力した２次元の直交変換係数をジグザグスキャンなどの処理によって直列化し、１次元の直交変換係数を生成する。そして、直交変換係数操作部１２は、入力した制御信号ｓに基づいて、例えば（０，０）成分の直交変換係数の符号を反転し、または符号をそのままにして、符号が反転した直交変換係数または符号をそのままにした直交変換係数をエントロピー符号化部１３に出力する。これにより、直交変換係数に制御信号ｓが重畳され、制御信号ｓが重畳した直交変換係数は、エントロピー符号化部１３に出力される。
【００２７】
図２は、直交変換係数操作部１２の処理を示すプログラム（Ｃ言語によるプログラム）の例であり、図３は、直交変換係数操作部１２の処理を示すフローチャートであり、図２のプログラムをフローチャートで表したものである。直交変換係数操作部１２において直列化された入力係数列をａ［ｉ］（ｉ＝０，１，・・・，Ｎ−１）とし、制御信号ｓに基づいて（０，０）成分の直交変換係数の符号を反転した出力係数列、または符号をそのままにした出力係数列をｂ［ｉ］（ｉ＝０，１，・・・，Ｎ−１）し、ａ［０］，ｂ［０］を（０，０）成分の直交変換係数とする。
【００２８】
まず、直交変換係数操作部１２は、直交変換部１１から直交変換係数を入力すると共に、制御信号ｓ（＝０，１）を入力し（ステップＳ３０１）、直交変換係数を直列化して入力系列ａ［ｉ］（ｉ＝０，１，・・・，Ｎ−１）を生成する（ステップＳ３０２）。そして、直交変換係数操作部１２は、制御信号ｓが１であるか否かを判定し（ステップＳ３０３）、制御信号ｓが１であると判定した場合（ステップＳ３０３：Ｙ）、（０，０）成分の直交変換係数ａ［０］の符号を反転し、（０，０）成分の新たな直交変換係数（符号が反転した直交変換係数）ｂ［０］を生成する（ステップＳ３０４）。すなわち、ｂ［０］＝−ａ［０］の処理を行う。
【００２９】
一方、直交変換係数操作部１２は、ステップＳ３０３において、制御信号ｓが１でない（制御信号ｓが０である）と判定した場合（ステップＳ３０３：Ｎ）、（０，０）成分の直交変換係数ａ［０］の符号をそのままとした直交変換係数ｂ［０］を生成する（ステップＳ３０５）。すなわち、直交変換係数ａ［０］に対して符号反転の処理を行わず、ｂ［０］＝ａ［０］の処理を行う。そして、直交変換係数操作部１２は、ステップＳ３０４およびステップＳ３０５から移行して、（０，０）成分以外の直交変換係数ａ［ｉ］（ｉ＝１，２，・・・，Ｎ−１）について符号反転の処理を行わず、直交変換係数ｂ［ｉ］＝ａ［ｉ］を生成する（ステップＳ３０６）。そして、直交変換係数操作部１２は、直交変換係数ｂ［ｉ］（ｉ＝０，１，・・・，Ｎ−１）、すなわち制御信号ｓが重畳した直交変換係数をエントロピー符号化部１３に出力する（ステップＳ３０７）。
【００３０】
図１に戻って、エントロピー符号化部１３は、直交変換係数操作部１２から、制御信号ｓが重畳した直交変換係数を入力し、エントロピー符号化を行う。エントロピー符号化部１３によりエントロピー符号化された直交変換係数は、符号化信号として後述する復号装置２−１へ伝送される。
【００３１】
以上のように、実施例１の符号化装置１によれば、直交変換係数操作部１２が、制御信号ｓ＝１の場合、（０，０）成分の直交変換係数の符号を反転し、制御信号ｓ＝０の場合、（０，０）成分の直交変換係数の符号をそのままにすることで、制御信号ｓの重畳した直交変換係数を生成するようにした。ここで、一般的に、映像信号を符号化する場合、直交変換係数における低域の情報は多く、高域の情報は少ないという性質がある。直交変換処理により生成される最初の直交変換係数である（０，０）成分は、特に情報量が多く、直交変換係数を一切送らない非符号化制御を行わない限り、直交変換係数が０となることは極めて少ない。また、（０，０）成分の直交変換係数は最も低域の情報であり、本実施例で用いているＤＣＴの場合、その符号が反転することにより、符号化ブロック境界において信号変動が極めて大きくなる。このような映像信号の性質を利用して、符号化装置１において、直交変換係数の符号を操作することで、制御信号ｓの重畳した直交変換係数が生成され、後述する復号装置２−１へ伝送される。そして、後述する復号装置２−１に、制御信号ｓの重畳した直交変換係数の符号化信号を受信させ、ブロック境界の画素信号の差分量に基づいて、制御信号ｓを抽出させる。復号装置２−１の詳細については後述する。これにより、符号化装置１から後述する復号装置２−１へ映像信号を伝送する際に、符号化量が増加することなく、その映像信号に重畳した制御信号ｓを伝送することができる。
【００３２】
〔実施例１／復号装置〕
次に、実施例１の復号装置について説明する。図４は、実施例１による復号装置の概略構成を示すブロック図である。この復号装置２−１は、符号化装置１から符号化信号を受信して復号画像を生成すると共に、直交変換係数に重畳した制御信号ｓを抽出する装置であり、エントロピー復号部２１、逆直交変換部２２および比較／判定部２３を備えている。尚、図４には、復号装置２−１の構成部のうち、本発明に関連する構成部のみが示されている。
【００３３】
復号装置２−１が符号化装置１から送信された符号化信号を受信すると、エントロピー復号部２１は、符号化信号を入力してエントロピー復号を行い、制御信号ｓが重畳した直交変換係数ｂ［ｉ］を逆直交変換部２２に出力する。
【００３４】
逆直交変換部２２は、制御信号ｓが重畳した直交変換係数ｂ［ｉ］を入力し、（０，０）成分の直交変換係数ｂ［０］に対して符号をそのままにし、逆直交変換処理を行い、画素信号（そのままの画素信号）を生成すると共に、（０，０）成分の直交変換係数ｂ［０］に対して符号を反転し、逆直交変換処理を行い、画素信号（反転した画素信号）を生成する。そして、逆直交変換部２２は、そのままの画素信号および反転した画素信号を比較／判定部２３に出力する。逆直交変換処理として、例えば逆離散コサイン変換（ＩＤＣＴ）、逆離散サイン変換（ＩＤＳＴ）などが行われる。尚、本発明は、逆直交変換処理の種類を限定するものではない。
【００３５】
図５は、逆直交変換部２２の処理を示すフローチャートである。まず、逆直交変換部２２は、エントロピー復号部２１から直交変換係数ｂ［ｉ］を入力する（ステップＳ５０１）。そして、逆直交変換部２２は、（０，０）成分の直交変換係数ｂ［０］に対して符号をそのままにし（ステップＳ５０２）、直交変換係数ｂ［０］，ｂ［１］，・・・，ｂ［Ｎ−１］に対し逆直交変換処理を行い、画素信号（そのままの画素信号）を生成する（ステップＳ５０３）。また、逆直交変換部２２は、（０，０）成分の直交変換係数ｂ［０］に対して符号を反転して−ｂ［０］を生成し（ステップＳ５０４）、直交変換係数−ｂ［０］，ｂ［１］，・・・，ｂ［Ｎ−１］に対し逆直交変換処理を行い、画素信号（反転した画素信号）を生成する（ステップＳ５０５）。そして、逆直交変換部２２は、ステップＳ５０３にて生成した画素信号（そのままの画素信号）、およびステップＳ５０５にて生成した画素信号（反転した画素信号）を比較／判定部２３に出力する（ステップＳ５０６）。
【００３６】
図４に戻って、比較／判定部２３は、逆直交変換部２２から、そのままの画素信号（（０，０）成分の直交変換係数の符号をそのままにして、逆直交変換処理により生成された画素信号）および反転した画素信号（（０，０）成分の直交変換係数の符号を反転し、逆直交変換処理により生成された画素信号）を入力すると共に、ブロック境界の隣接画素信号（当該比較／判定部２３により既に処理が行われ出力された復号画像の画素信号のうち、処理対象の隣のブロックにおいて最も近い画素信号）を入力する。そして、比較／判定部２３は、そのままの画素信号および反転した画素信号と隣接画素信号との間の差分量（差分量の絶対値）を算出し、この差分量を比較することで差分量の小さい画素信号（そのままの画素信号または反転した画素信号）を選択し、復号画像の画素信号として出力する。また、比較／判定部２３は、差分量の小さい画素信号としてそのままの画素信号を選択した場合、制御信号ｓ＝０を判定し出力する。これにより、制御信号ｓ＝０が抽出される。一方、比較／判定部２３は、差分量の小さい画素信号として反転した画素信号を選択した場合、制御信号ｓ＝１を判定し出力する。これにより、制御信号ｓ＝１が抽出される。
【００３７】
尚、比較／判定部２３は、最初のブロックの映像信号について、制御信号ｓを抽出するための前述の処理を行わない。最初のブロックの映像信号については、隣接画素信号が存在しないからである。この場合、符号化装置１の直交変換係数操作部１２は、最初のブロックの映像信号については直交変換係数の符号に対する操作を行わない。また、比較／判定部２３は、差分量を比較することで差分量の小さい画素信号を選択し、復号画像の画素信号として出力するようにしたが、システムによっては差分量の大きい画素信号を選択する場合もあり得る。比較／判定部２３が小さい画素信号を選択するか、または大きい画素信号を選択するかは、システムで決定される相対関係に応じて予め設定される。後述する実施例２の比較／判定部２５，２６、実施例３の比較／判定部２８−１，２８−２，２９及び実施例４の比較／判定部２３においても同様である。
【００３８】
図６は、４×４画素のブロックにおける画素信号の位置関係を示す図であり、図７は、比較／判定部２３の処理を示すプログラム（Ｃ言語によるプログラム）の例であり、図８は、比較／判定部２３の処理を示すフローチャートであり、図７のプログラムをフローチャートで表したものである。比較／判定部２３が逆直交変換部２２から入力するそのままの画素信号をＢ［ｉ］［ｊ］とし、反転した画素信号をＣ［ｉ］［ｊ］とし、隣接画素信号をｄ［ｊ］，ｅ［ｉ］とする。また、画素信号Ｂ［ｉ］［ｊ］と隣接画素信号ｄ［ｊ］，ｅ［ｉ］との間の差分量の絶対値和をＳ［０］とし、画素信号Ｃ［ｉ］［ｊ］と隣接画素信号ｄ［ｊ］，ｅ［ｉ］との間の差分量の絶対値和をＳ［１］とする。ｉ＝０〜３，ｊ＝０〜３である。
【００３９】
図６において、４×４画素のブロックにおける番号１には画素信号Ｂ［０］［０］，Ｃ［０］［０］が存在し、番号２〜４には画素信号Ｂ［０］［１］，Ｃ［０］［１］〜Ｂ［０］［３］，Ｃ［０］［３］が存在する。同様にして、番号５には画素信号Ｂ［１］［０］，Ｃ［１］［０］が存在し、番号１３〜１６には画素信号Ｂ［３］［０］，Ｃ［３］［０］〜Ｂ［３］［３］，Ｃ［３］［３］が存在する。また、隣接画素信号ｄ［ｊ］＝ｄ［０］〜ｄ［３］は、番号１〜４の画素信号に対する隣接画素信号であり、隣接画素信号ｅ［ｉ］＝ｅ［０］〜ｅ［３］は、番号１，５，９，１３の画素信号に対する隣接画素信号である。
【００４０】
図７および図８において、Ｓ［０］，Ｓ［１］は、算出した差分量の絶対値和を示す。まず、比較／判定部２３は、逆直交変換部２２からそのままの画素信号Ｂ［ｉ］［ｊ］および反転した画素信号Ｃ［ｉ］［ｊ］を入力すると共に、ブロック境界の隣接画素信号ｄ［ｊ］，ｅ［ｉ］を入力する（ステップＳ８０１）。そして、比較／判定部２３は、画素信号Ｂ［ｉ］［ｊ］，Ｃ［ｉ］［ｊ］と隣接画素信号ｄ［ｊ］との間の差分量の絶対値和Ｓ［０］，Ｓ［１］をそれぞれ算出し、算出したそれぞれの差分量の絶対値和Ｓ［０］，Ｓ［１］を加算し、さらに、画素信号Ｂ［ｉ］［ｊ］，Ｃ［ｉ］［ｊ］と隣接画素信号ｅ［ｉ］との間の差分量の絶対値和Ｓ［０］，Ｓ［１］をそれぞれ算出し、算出したそれぞれの差分量の絶対値和Ｓ［０］，Ｓ［１］を加算し、両者の加算結果を合計した差分量の絶対値和Ｓ［０］，Ｓ［１］を求める（ステップＳ８０２）。
【００４１】
比較／判定部２３は、ステップＳ８０２にて求めた差分量の絶対値和Ｓ［０］，Ｓ［１］を比較し、差分量の絶対値和Ｓ［０］が差分量の絶対値和Ｓ［１］以上であるか否かを判定し（ステップＳ８０３）、差分量の絶対値和Ｓ［０］が差分量の絶対値和Ｓ［１］以上であると判定した場合（ステップＳ８０３：Ｙ）、差分量の絶対値和Ｓ［０］よりも小さいまたは等しい差分量の絶対値和Ｓ［１］に対応する画素信号Ｃ［ｉ］［ｊ］、すなわち反転した画素信号を選択して出力すると共に、制御信号ｓ＝１を判定して出力する（ステップＳ８０４）。一方、比較／判定部２３は、ステップＳ８０３において、差分量の絶対値和Ｓ［０］が差分量の絶対値和Ｓ［１］以上でないと判定した場合（ステップＳ８０３：Ｎ）、小さい方の差分量の絶対値和Ｓ［０］に対応する画素信号Ｂ［ｉ］［ｊ］、すなわちそのままの画素信号を選択して出力すると共に、制御信号ｓ＝０を判定して出力する（ステップＳ８０５）。
【００４２】
以上のように、実施例１の復号装置２−１によれば、逆直交変換部２２が、制御信号ｓの重畳した直交変換係数を入力し、（０，０）成分の直交変換係数に対して符号をそのままにして逆直交変換処理を行い、画素信号（そのままの画素信号）を生成すると共に、（０，０）成分の直交変換係数に対して符号を反転し、逆直交変換処理を行い、画素信号（反転した画素信号）を生成するようにした。そして、比較／判定部２３が、そのままの画素信号および反転した画素信号とブロック境界の隣接画素信号との間の差分量を算出し、差分量の小さい画素信号（そのままの画素信号または反転した画素信号）を選択し、復号画像の画素信号として出力すると共に、そのままの画素信号を選択した場合、制御信号ｓ＝０を判定して出力し、反転した画素信号を選択した場合、制御信号ｓ＝１を判定して出力するようにした。これにより、符号化装置１から復号装置２−１へ映像信号を伝送する際に、その映像信号に重畳した制御信号ｓを抽出することができる。また、符号化方式において、符号量が増加する要因となる制御信号ｓの符号量を増加させることなく、制御信号ｓの伝送が可能となる。また、復号装置２−１において、信号補正を行うことにより、すなわち、直交変換係数の符号を反転して逆直交変換を行うと共に、符号をそのままにして逆直交変換処理を行うことにより、映像信号の品質劣化を伴うことなく制御信号ｓを伝送することができ、より高圧縮な符号化を実現することができる。
【００４３】
つまり、復号装置２−１において、符号量が増加することなく伝送された制御信号ｓを復元することができる。また、視覚感度の高い輝度信号に制御信号ｓを重畳させるのではなく、より画素の相関の高い色差信号に重畳させることができる。すなわち、符号化装置１が、符号化した信号を操作する際に、入力信号の統計的偏りが顕著に破たんするように、故意に信号を操作し、復号装置２−１が、統計的偏りの不自然さを検出し、制御信号ｓを決められた手順で復元することにより、符号化装置１から復号装置２−１へ伝送される映像信号の品質劣化を防止し、映像信号に重畳して伝送される制御信号ｓを正確に抽出することができる。
【００４４】
〔実施例２〕
次に、実施例２について説明する。前述のとおり、実施例１は、隣接する画素信号間の差分量を基準にして、当該コンポーネント（信号輝度または２色差信号のいずれか）で比較および判定することにより、制御信号ｓを抽出する。これに対し、実施例２では、１つの画素が２つのコンポーネント信号により構成される映像信号を例にして、直交変換係数の符号を操作したコンポーネント信号のブロックにおける画素信号と隣接画素信号との間の差分量を、他のコンポーネント信号のブロックにおける同位置の画素信号と隣接画素信号との間の差分量と比較し判定することにより、制御信号ｓを抽出する。実施例２によれば、２つのコンポーネント信号における画素信号間の相関は極めて高いから、実施例１に比べ、制御信号ｓの抽出を一層精度高く行うことができる。特に、予測差分信号のように、そのままの画素信号および反転した画素信号と隣接画素信号との間の差分量の比較結果である大小が一定でない場合に有効である。尚、符号化側の構成および処理は、図１に示した実施例１の符号化装置１と同一である。また、差分量とは、実施例１と同様に、差分量の絶対値を示す。
【００４５】
実施例２の復号装置について説明する。図９は、実施例２による復号装置の概略構成を示すブロック図である。この復号装置２−２は、符号化装置１から符号化信号を受信して復号画像を生成すると共に、コンポーネント信号１の直交変換係数に重畳した制御信号ｓを抽出する装置であり、逆直交変換部２４−１，２４−２および比較／判定部２５，２６を備えている。尚、図９では、エントロピー復号部が省略されており、復号装置２−２の構成部のうち、本発明に関連する構成部のみが示されている。
【００４６】
逆直交変換部２４−１は、制御信号ｓが重畳した直交変換係数であるコンポーネント信号１を入力し、例えば（０，０）成分の直交変換係数に対して符号をそのままにし、逆直交変換処理を行い、画素信号（そのままの画素信号）を生成すると共に、（０，０）成分の直交変換係数に対して符号を反転し、逆直交変換処理を行い、画素信号（反転した画素信号）を生成する。そして、逆直交変換部２４−１は、そのままの画素信号および反転した画素信号を比較／判定部２６に出力する。
【００４７】
逆直交変換部２４−２も、逆直交変換部２４−１と同様の処理を行う。具体的には、逆直交変換部２４−２は、制御信号ｓが重畳していない直交変換係数であるコンポーネント信号２を入力し、（０，０）成分の直交変換係数に対して符号をそのままにし、逆直交変換処理を行い、画素信号（そのままの画素信号）を生成すると共に、（０，０）成分の直交変換係数に対して符号を反転し、逆直交変換処理を行い、画素信号（反転した画素信号）を生成する。そして、逆直交変換部２４−２は、そのままの画素信号（正しい復号信号）および反転した画素信号（正しくない復号信号）を比較／判定部２５に出力する。
【００４８】
尚、符号化装置１は、制御信号ｓが重畳したコンポーネント信号１の直交変換係数における符号化信号を伝送することに加え、制御信号ｓが重畳していないコンポーネント信号２の直交変換係数における符号化信号を伝送する。つまり、コンポーネント信号２の直交変換係数に対しては符号の操作が行われない。復号装置２−２は、制御信号ｓが重畳したコンポーネント信号１の直交変換係数における符号化信号、および制御信号ｓが重畳していないコンポーネント信号２の直交変換係数における符号化信号を受信し、エントロピー復号部（図示せず）が、これらの符号化信号に対しエントロピー復号を行い、制御信号ｓが重畳した直交変換係数であるコンポーネント信号１を逆直交変換部２４−１に出力し、制御信号ｓが重畳していない直交変換係数であるコンポーネント信号２を逆直交変換部２４−２に出力する。したがって、逆直交変換部２４−２により出力されるそのままの画素信号が、正しい復号信号となり、逆直交変換部２４−２により出力される反転した画素信号が、正しくない復号信号となる。前述のとおり、コンポーネント信号２は、符号化装置１において直交変換係数の符号が操作されていないからである。
【００４９】
比較／判定部２５は、逆直交変換部２４−２から、そのままの画素信号（正しい復号信号）および反転した画素信号（正しくない復号信号）を入力すると共に、ブロック境界の隣接画素信号を入力し、そのままの画素信号および反転した画素信号と隣接画素信号との間の差分量（正しい復号信号の差分量、正しくない復号信号の差分量）をそれぞれ算出する。そして、比較／判定部２５は、正しい復号信号の差分量が、正しくない復号信号の差分量以下である場合、判定結果として差分量小（差分量が小さい方が正しい復号信号であることを示す判定結果）を比較／判定部２６に出力し、正しい復号信号の差分量が、正しくない復号信号の差分量よりも大きい場合、判定結果として差分量大（差分量が大きい方が正しい復号信号であることを示す判定結果）を比較／判定部２６に出力する。また、比較／判定部２５は、入力したそのままの画素信号を復号画像の画素信号として出力する。
【００５０】
図１０は、比較／判定部２６の処理を示すフローチャートである。図１０において、差分量とは、差分量の絶対値和を示す。図９および図１０を参照して、比較／判定部２６は、逆直交変換部２４−１からそのままの画素信号および反転した画素信号を入力すると共に、比較／判定部２５から判定結果（差分量大，小）を入力し、さらに、ブロック境界の隣接画素信号を入力する（ステップＳ９０１）。そして、比較／判定部２６は、そのままの画素信号および反転した画素信号と隣接画素信号との間の差分量（そのままの画素信号の差分量、反転した画素信号の差分量）を算出し（ステップＳ９０２）、判定結果が差分量大であるか差分量小であるかを判定する（ステップＳ９０３）。
【００５１】
比較／判定部２６は、ステップＳ９０３において、判定結果が差分量大であると判定した場合（ステップＳ９０３：差分量大）、ステップＳ９０２にて算出したそのままの画素信号の差分量と反転した画素信号の差分量とを比較して、差分量が大きい画素信号（そのままの画素信号または反転した画素信号）を選択する（ステップＳ９０４）。一方、比較／判定部２６は、ステップＳ９０３において、判定結果が差分量小であると判定した場合（ステップＳ９０３：差分量小）、差分量が小さい画素信号（そのままの画素信号または反転した画素信号）を選択する（ステップＳ９０５）。そして、比較／判定部２６は、選択した画素信号を復号画像の画素信号として出力する（ステップＳ９０６）。
【００５２】
比較／判定部２６は、選択した画素信号がそのままの画素信号であるか否かを判定し（ステップＳ９０７）、そのままの画素信号でないと判定した場合（ステップＳ９０７：Ｎ）、制御信号ｓ＝１を判定して出力する（ステップＳ９０８）。一方、比較／判定部２６は、ステップＳ９０７において、選択した画素信号がそのままの画素信号であると判定した場合（ステップＳ９０７：Ｙ）、制御信号ｓ＝０を判定して出力する（ステップＳ９０９）。これにより、制御信号ｓ＝１，０が抽出される。
【００５３】
以上のように、実施例２の復号装置２−２によれば、逆直交変換部２４−１が、制御信号ｓの重畳したコンポーネント信号１の直交変換係数に対して符号をそのままにして逆直交変換処理を行い、画素信号（そのままの画素信号）を生成すると共に、（０，０）成分の直交変換係数に対して符号を反転し、逆直交変換処理を行い、画素信号（反転した画素信号）を生成し、逆直交変換部２４−２が、制御信号ｓの重畳していないコンポーネント信号２の直交変換係数に対し、逆直交変換部２４−１と同様の処理を行うようにした。また、比較／判定部２５が、逆直交変換部２４−２からのそのままの画素信号（正しい復号信号）および反転した画素信号（正しくない復号信号）とブロック境界の隣接画素信号との間の差分量（正しい復号信号の差分量、正しくない復号信号の差分量）を算出し、正しい復号信号の差分量が、正しくない復号信号の差分量以下である場合、判定結果として差分量小を生成し、正しい復号信号の差分量が、正しくない復号信号の差分量よりも大きい場合、判定結果として差分量大を生成するようにした。また、比較／判定部２６が、逆直交変換部２４−１からのそのままの画素信号および反転した画素信号と隣接画素信号との間の差分量（そのままの画素信号の差分量、反転した画素信号の差分量）を算出し、判定結果が差分量大の場合、そのままの画素信号の差分量および反転した画素信号の差分量のうちの差分量が大きい画素信号を選択し、判定結果が差分量小の場合、差分量が小さい画素信号を選択し、選択した画素信号がそのままの画素信号でない場合、制御信号ｓ＝１を判定して出力し、選択した画素信号がそのままの画素信号である場合、制御信号ｓ＝０を判定して出力するようにした。これにより、直交変換係数に重畳した制御信号ｓ＝０，１を抽出することができる。したがって、実施例１と同様に、符号化方式において、符号量が増加する要因となる制御信号ｓの符号量を増加させることなく、また、映像信号の品質劣化を伴うことなく、制御信号ｓを伝送することができ、より高圧縮な符号化を実現することができる。
【００５４】
一般に、符号化装置１において符号操作を行う直交変換係数の数が増えると、復号装置２−２において制御信号ｓを誤検出する可能性が増加する。実施例２の復号装置２−２によれば、制御信号ｓが重畳されていないコンポーネント信号２を用いた差分量の比較処理により、制御信号ｓを抽出するようにしたから、符号操作が行われる直交変換係数の数が増えた場合であっても、制御信号ｓの誤検出を改善することができる。
【００５５】
尚、比較／判定部２５は、そのままの画素信号（正しい復号信号）と隣接画素信号との間の差分量（正しい復号信号の差分量）を算出し、比較／判定部２６は、そのままの画素信号および反転した画素信号と隣接画素信号との間の差分量（そのままの画素信号の差分量、反転した画素信号の差分量）を算出し、正しい復号信号の差分量と、そのままの画素信号の差分量および反転した画素信号の差分量とを比較し、差分量がより近い画素信号（そのままの画素信号または反転した画素信号）を元の伝送対象の信号として選択するようにしてもよい。すなわち、正しい復号信号の差分量がそのままの画素信号の差分量に近い場合は、そのままの画素信号を選択し、反転した画素信号の差分量に近い場合は、反転した画素信号を選択する。後述する実施例３についても同様である。また、後述するように、差分量の代わりに差分量の二乗和または相関を示す値（相関係数）を用いる場合も同様である。
【００５６】
〔実施例３〕
次に、実施例３について説明する。前述のとおり、実施例２は、２つのコンポーネント信号を用いた比較および判定処理により、制御信号ｓを抽出する。実施例３は、実施例２を拡張して、３つのコンポーネント信号を用いた比較および判定処理により、制御信号ｓを抽出する。例えば、カラー映像信号に適用がある。尚、符号化側の構成および処理は、図１に示した実施例１の符号化装置１と同一である。また、差分量とは、実施例１，２と同様に、差分量の絶対値を示す。
【００５７】
実施例３の復号装置について説明する。図１１は、実施例３による復号装置の概略構成を示すブロック図である。この復号装置２−３は、符号化装置１から符号化信号を受信して復号画像を生成すると共に、コンポーネント信号１の直交変換係数に重畳した制御信号ｓを抽出する装置であり、逆直交変換部２７−１〜２７−３および比較／判定部２８−１，２８−２，２９を備えている。尚、図１１では、エントロピー復号部が省略されており、復号装置２−３の構成部のうち、本発明に関連する構成部のみが示されている。
【００５８】
逆直交変換部２７−１は、制御信号ｓが重畳した直交変換係数であるコンポーネント信号１を入力し、図９に示した逆直交変換部２４−１と同様の処理を行い、そのままの画素信号および反転した画素信号を比較／判定部２９に出力する。
【００５９】
逆直交変換部２７−２，２７−３は、制御信号ｓが重畳していない直交変換係数であるコンポーネント信号２，３を入力し、図９に示した逆直交変換部２４−２と同様の処理を行い、そのままの画素信号（正しい復号信号）および反転した画素信号（正しくない復号信号）を比較／判定部２８−１，２８−２に出力する。
【００６０】
比較／判定部２８−１，２８−２は、逆直交変換部２７−２，２７−３から、そのままの画素信号（正しい復号信号）および反転した画素信号（正しくない復号信号）を入力すると共に、ブロック境界の隣接画素信号を入力し、図９に示した比較／判定部２５と同様の処理を行い、判定結果（差分量大，小）を比較／判定部２９に出力する。
【００６１】
比較／判定部２９は、逆直交変換部２７−１からそのままの画素信号および反転した画素信号を入力すると共に、比較／判定部２８−１，２８−２から判定結果（差分量大，小）を入力し、さらに、ブロック境界の隣接画素信号を入力する。そして、比較／判定部２９は、図９に示した比較／判定部２６と同様の処理を行い、制御信号ｓを判定して出力する。ここで、比較／判定部２８−１，２８−２から入力する判定結果は、通常は同じ結果であるから、比較／判定部２９は、予め設定されたいずれかの判定結果を用いて制御信号ｓを抽出する。
【００６２】
尚、比較／判定部２８−１，２８−２は、判定結果を生成する際に、正しい復号信号の差分量と正しくない復号信号の差分量との間の差異が所定の閾値以下である場合、判定結果として判定不能を生成し、比較／判定部２９に出力するようにしてもよい。この場合、比較／判定部２９は、比較／判定部２８−１，２８−２のいずれかから判定結果（差分量大，小）を入力し、他の比較／判定部２８−１，２８−２から判定不能の判定結果を入力した場合には、判定不能の判定結果を無視し、判定結果（差分量大，小）に基づいて制御信号ｓを抽出する。一方、比較／判定部２９は、比較／判定部２８−１，２８−２の両方から判定不能の判定結果を入力した場合には、所定のエラー処理を行い、制御信号ｓを抽出しない。
【００６３】
また、比較／判定部２８−１，２８−２は、そのままの画素信号の差分量および反転した画素信号の差分量を比較／判定部２９に出力するようにしてもよい。この場合、比較／判定部２９は、比較／判定部２８−１，２８−２からそのままの画素信号の差分量および反転した画素信号の差分量を入力し、入力したそのままの画素信号の差分量を加算してそのままの画素信号の合計差分量を求めると共に、入力した反転した画素信号の差分量を加算して反転した画素信号の合計差分量を求め、そのままの画素信号の合計差分量（正しい復号信号の合計差分量）が、反転した画素信号の合計差分量（正しくない復号信号の合計差分量）以下である場合、判定結果として差分量小を生成し、そのままの画素信号の合計差分量（正しい復号信号の合計差分量）が、反転した画素信号の合計差分量（正しくない復号信号の合計差分量）よりも大きい場合、判定結果として差分量大を生成し、この判定結果に基づいて、前述と同様の処理により制御信号ｓを抽出するようにしてもよい。
【００６４】
また、実施例３は、３つのコンポーネント信号を用いた比較および判定処理により、制御信号ｓを抽出するようにしたが、３つを超えるコンポーネント信号を用いて制御信号ｓを抽出するようにしてもよい。
【００６５】
以上のように、実施例３の復号装置２−３によれば、実施例１，２と同様に、符号化方式において、符号量が増加する要因となる制御信号ｓの符号量を増加させることなく、また、映像信号の品質劣化を伴うことなく、制御信号ｓを伝送することができ、より高圧縮な符号化を実現することができる。また、実施例２と同様に、符号操作が行われる直交変換係数の数が増えた場合であっても、制御信号ｓの誤検出を改善することができる。
【００６６】
〔実施例４／符号化装置〕
次に、実施例４の符号化装置について説明する。前述のとおり、実施例１〜３では、画像の直交変換係数の符号を操作することで制御信号ｓを重畳する。これに対し、実施例４では、画像の直交変換係数の値を操作することで制御信号ｓを重畳する。図１２は、実施例４による符号化装置の概略構成を示すブロック図である。この符号化装置３は、画像の直交変換係数の値（エントロピー符号化のために二値化した直交変換係数の信号列）を操作することで制御信号ｓを重畳し、符号化信号を伝送する装置であり、直交変換部１１、二値化部１４、二値化直交変換係数操作部１５およびエントロピー符号化部１３を備えている。尚、図１２には、符号化装置３の構成部のうち、本発明に関連する構成部のみが示されている。
【００６７】
直交変換部１１およびエントロピー符号化部１３は、図１に示した実施例１と同様であるから、ここでは説明を省略する。二値化部１４、二値化直交変換係数操作部１５およびエントロピー符号化部１３において、エントロピー符号化の過程において得られる二値化直交変換係数を操作し、操作された二値化直交変換係数を、例えばＣＡＢＡＣ、ＣＡＶＬＣなどの算術符号化によって符号化する。
【００６８】
二値化部１４は、直交変換部１１から直交変換係数を入力し、二値化手法により直交変換係数を二値化し、可変ビット長の二値化直交変換係数を生成して二値化直交変換係数操作部１５に出力する。例えば、二値化の手法としては、ユーナリーバイナライゼーション、トランケーテッドユーナリーバイナライゼーションなどが用いられる。二値化部１４は、二値化手法としてユーナリーバイナライゼーションの手法を用いる場合、例えば０，１，２，３の直交変換係数を、０，１０，１１０，１１１０の二値化信号列である二値化直交変換係数にそれぞれ変換する。尚、ユーナリーバイナライゼーションおよびトランケーテッドユーナリーバイナライゼーションの手法は既知であるからここでは説明を省略する。詳細については「Ｈ．２６４／ＡＶＣ教科書、インプレス刊」を参照されたい。本発明は、二値化の手法を限定するものではない。
【００６９】
二値化直交変換係数操作部１５は、二値化部１４から二値化直交変換係数を入力すると共に、二値化直交変換係数に重畳する制御信号ｓ（＝０，１）を入力し、制御信号ｓに基づいて、二値化直交変換係数の最上位ビット（可変ビット長の二値化直交変換係数の最上位ビット）を反転し、または最上位ビットをそのままにして、最上位ビットが反転した二値化直交変換係数または最上位ビットをそのままにした二値化直交変換係数をエントロピー符号化部１３に出力する。そして、エントロピー符号化部１３によりエントロピー符号化された符号化信号は、後述する復号装置４へ伝送される。
【００７０】
図１３は、二値化直交変換係数操作部１５の処理を示すフローチャートである。二値化直交変換係数操作部１５が入力する二値化直交変換係数をＥとし、二値化直交変換係数操作部１５が出力する二値化直交変換係数をＦとする。
【００７１】
まず、二値化直交変換係数操作部１５は、二値化部１４から二値化直交変換係数Ｅを入力すると共に、制御信号ｓ（＝０，１）を入力する（ステップＳ１３０１）。そして、二値化直交変換係数操作部１５は、制御信号ｓが１であるか否かを判定し（ステップＳ１３０２）、制御信号ｓが１であると判定した場合（ステップＳ１３０２：Ｙ）、二値化直交変換係数Ｅの最上位ビットを反転し、新たな二値化直交変換係数Ｆを生成する（ステップＳ１３０３）。一方、二値化直交変換係数操作部１５は、制御信号ｓが１でない（制御信号ｓが０である）と判定した場合（ステップＳ１３０２：Ｎ）、二値化直交変換係数Ｅの最上位ビットをそのままとし、二値化直交変換係数Ｅを新たな二値化直交変換係数Ｆとして生成する（ステップＳ１３０４）。
【００７２】
例えば、二値化部１４が、ユーナリーバイナライゼーションによる二値化の手法を用いて、直交変換係数「３」を二値化直交変換係数「１１１０」に二値化したとする。二値化直交変換係数操作部１５は、この二値化直交変換係数Ｅ「１１１０」に対し、入力した制御信号ｓが１の場合、最上位ビット「１」を反転して新たな二値化直交変換係数Ｆ「１１０」（最上位ビット「１」が「０」となり、直交変換係数「２」に対応した二値化直交変換係数）を生成する。また、二値化直交変換係数操作部１５は、入力した制御信号ｓが０の場合、最上位ビット「１」をそのままとし、新たな二値化直交変換係数Ｆ「１１１０」（二値化直交変換係数Ｅと同じ値）を生成する。
【００７３】
二値化直交変換係数操作部１５は、ステップＳ１３０３およびステップＳ１３０４から移行して、新たな二値化直交変換係数Ｆ、すなわち制御信号ｓが重畳した二値化直交変換係数Ｆを出力する。このようにして、画像の直交変換係数の値である二値化直交変換係数を操作することで、直交変換係数に制御信号ｓが重畳される。
【００７４】
以上のように、実施例４の符号化装置３によれば、二値化直交変換係数操作部１５が、制御信号ｓ＝１の場合、二値化部１４により直交変換係数が二値化された二値化直交変換係数の最上位ビットを反転し、制御信号ｓ＝０の場合、その二値化直交変換係数の最上位ビットをそのままにすることで、制御信号ｓの重畳した直交変換係数を生成するようにした。ここで、二値化直交変換係数の最上位ビットが反転することにより、符号化ブロック境界の信号変動が極めて大きくなる。これにより、符号化装置３において、直交変換係数の値を操作することで、制御信号ｓの重畳した直交変換係数が生成され、符号化信号として後述する復号装置４へ伝送される。そして、後述する復号装置４に、制御信号ｓの重畳した直交変換係数の符号化信号を受信させ、ブロック境界の画素信号の差分量に基づいて、制御信号ｓを抽出させる。復号装置４の詳細については後述する。これにより、符号化装置３から後述する復号装置４へ映像信号を伝送する際に、符号化量が増加することなく、その映像信号に重畳した制御信号ｓを伝送することができる。
【００７５】
〔実施例４／復号装置〕
次に、実施例４の復号装置について説明する。図１４は、実施例４による復号装置の概略構成を示すブロック図である。この復号装置４は、図１２に示した符号化装置３から符号化信号を受信して復号画像を生成すると共に、直交変換係数に重畳した制御信号ｓを抽出する装置であり、エントロピー復号部２１、逆直交変換部３０および比較／判定部２３を備えている。尚、図１４には、復号装置４の構成部のうち、本発明に関連する構成部のみが示されている。
【００７６】
逆直交変換部３０は、エントロピー復号部２１から制御信号ｓが重畳した二値化直交変換係数を入力し、入力した二値化直交変換係数を直交変換係数に復号し、その直交変換係数に対して逆直交変換処理を行い（直交変換係数を二値化した二値化直交変換係数をそのままにして直交変換処理を行い）、画素信号（そのままの画素信号）を生成すると共に、二値化直交変換係数の最上位ビットに「１」を追加し、「１」を追加した二値化直交変換係数を直交変換係数に復号し、その直交変換係数に対して逆直交変換処理を行い、画素信号（「１」を追加した画素信号）を生成し、そのままの画素信号および「１」を追加した画素信号を比較／判定部２３に出力する。
【００７７】
図１５は、逆直交変換部３０の処理を示すフローチャートである。まず、逆直交変換部３０は二値化直交変換係数を入力する（ステップＳ１５０１）。そして、逆直交変換部３０は、入力した二値化直交変換係数を直交変換係数に復号し、逆直交変換処理を行い、そのままの画素信号を生成する（ステップＳ１５０２）。
【００７８】
そして、逆直交変換部３０は、二値化直交変換係数の最上位ビットに「１」を追加し、新たな二値化直交変換係数を生成し（ステップＳ１５０３）、新たな二値化直交変換係数（「１」を追加した直交変換係数）に対し逆直交変換処理を行い、「１」を追加した画素信号を生成する（ステップＳ１５０４）。そして、逆直交変換部３０は、そのままの画素信号および「１」を追加した画素信号を比較／判定部２３に出力する（ステップＳ１５０５）。
【００７９】
図１４に戻って、比較／判定部２３は、図４に示した実施例１と同様の処理を行う。すなわち、比較／判定部２３は、逆直交変換部３０から、そのままの画素信号および「１」を追加した画素信号を入力すると共に、ブロック境界の隣接画素信号（当該比較／判定部２３により既に処理が行われ出力された復号画像の画素信号のうち、処理対象の隣のブロックにおいて最も近い画素信号）を入力し、そのままの画素信号および「１」を追加した画素信号と隣接画素信号との間の差分量（差分量の絶対値）を算出し、この差分量を比較することで差分量の小さい画素信号を選択し、復号画像の画素信号として出力する。また、比較／判定部２３は、差分量の小さい画素信号としてそのままの画素信号を選択した場合、制御信号ｓ＝０を判定し出力する。一方、比較／判定部２３は、差分量の小さい画素信号として「１」を追加した画素信号を選択した場合、制御信号ｓ＝１を判定し出力する。
【００８０】
以上のように、実施例４の復号装置４によれば、逆直交変換部３０が、二値化直交変換係数を直交変換係数に復号して逆直交変換処理を行い、そのままの画素信号を生成すると共に、二値化直交変換係数の最上位ビットに「１」を追加し、直交変換係数に復号して逆直交変換処理を行い、「１」を追加した画素信号を生成するようにした。そして、比較／判定部２３が、そのままの画素信号および「１」を追加した画素信号とブロック境界の隣接画素信号との間の差分量を算出し、差分量の小さい画素信号（そのままの画素信号または「１」を追加した画素信号）を選択し、復号画像の画素信号として出力すると共に、そのままの画素信号を選択した場合、制御信号ｓ＝０を判定して出力し、「１」を追加した画素信号を選択した場合、制御信号ｓ＝１を判定して出力するようにした。これにより、符号化装置３から復号装置４へ映像信号を伝送する際に、その映像信号に重畳した制御信号ｓを抽出することができる。また、符号化方式において、符号量が増加する要因となる制御信号ｓの符号量を増加させることなく、制御信号ｓの伝送が可能となる。また、復号装置４において、信号補正を行うことにより、すなわち、二値化直交変換係数の最上位ビットをそのままして逆直交変換を行うと共に、二値化直交変換係数の最上位ビットに「１」を追加して逆直交変換を行うことにより、映像信号の品質劣化を伴うことなく制御信号ｓを伝送することができ、より高圧縮な符号化を実現することができる。
【００８１】
つまり、復号装置４において、符号量が増加することなく伝送された制御信号ｓを復元することができる。また、視覚感度の高い輝度信号に制御信号ｓを重畳させるのではなく、より画素の相関の高い色差信号に重畳させることができる。すなわち、符号化装置３が、符号化した信号を操作する際に、入力信号の統計的偏りが顕著に破たんするように、故意に信号を操作し、復号装置４が、統計的偏りの不自然さを検出し、制御信号ｓを決められた手順で復元することにより、符号化装置３から復号装置４へ伝送される映像信号の品質劣化を防止し、映像信号に重畳して伝送される制御信号ｓを正確に抽出することができる。
【００８２】
以上、実施例１〜４を挙げて本発明を説明したが、本発明は前記実施例１〜４に限定されるものではなく、その技術思想を逸脱しない範囲で種々変形可能である。例えば、図４に示した実施例１による復号装置２−１および図１４に示した実施例４による復号装置４の比較／判定部２３、図９に示した実施例２による復号装置２−２の比較／判定部２５，２６並びに図１１に示した実施例３による比較／判定部２８−１，２８−２，２９は、そのままの画素信号および反転した画素信号（または「１」を追加した画素信号）と隣接画素信号との間の差分量を算出するようにしたが、差分量の代わりに、差分量の二乗和を算出するようにしてもよい。また、そのままの画素信号および反転した画素信号と隣接画素信号との間の相関を示す値（相関係数）を算出するようにしてもよい。この場合、相関係数の大きい画素信号（そのままの画素信号または反転した画素信号）が選択され、復号画像の画素信号として出力される。
【００８３】
また、図１に示した符号化装置１の直交変換係数操作部１２は、最も低域の情報である（０，０）成分の直交変換係数の符号を操作し、この直交変換係数に制御信号ｓを重畳するようにしたが、本発明は、操作対象を（０，０）成分の直交変換係数に限定するものではなく、例えば（０，１）成分または（１，０）成分の直交変換係数の符号を操作し、制御信号ｓを重畳するようにしてもよい。また、符号化装置１および復号装置２−１〜２−３からなる伝送システムの性質（例えば伝送品質）に応じて、制御信号ｓを重畳する操作対象の成分を変更するようにしてもよい。
【００８４】
また、符号化装置１の直交変換係数操作部１２は、１つの直交変換係数（（０，０）成分の直交変換係数）の符号を操作するようにしたが、２つ以上の成分の直交変換係数を操作するようにしてもよい。
【００８５】
また、実施例１〜４において、直交変換とは、整数化されることによって厳密な意味で直交性が失われる場合も含まれる。本発明は、直交変換が整数変換であっても適用することができる。
【００８６】
また、実施例２，３では、制御信号ｓが重畳したコンポーネント信号１および制御信号ｓが重畳していないコンポーネント信号２（および３）における画素信号と隣接画素信号との間の差分値を算出することで、制御信号ｓを抽出するようにした。これに対し、実施例２，３の変形例として、コンポーネント信号１以外に他のコンポーネント信号２（または３）を参照することが可能な場合は、コンポーネント信号間に強い相関があることを利用することで、制御信号ｓを抽出するようにしてもよい。具体的には、復号装置２−２，２−３の比較／判定部は、制御信号ｓが重畳したコンポーネント信号１におけるそのままの画素信号および反転した画素信号と、制御信号ｓが重畳していない他のコンポーネント信号２またはコンポーネント信号３におけるそのままの画素信号（正しい復号信号）との間で相関値を算出し、コンポーネント信号１におけるそのままの画素信号または反転した画素信号のうちの、システムで規定された例えば相関値の大きい（相関の高い）画素信号を選択し、復号信号の画素信号として出力する。また、選択した画素信号がそのままの画素信号でない場合、制御信号ｓ＝１を判定して出力し、選択した画素信号がそのままの画素信号である場合、制御信号ｓ＝０を判定して出力する。
【００８７】
また、実施例１から３までのいずれか１つの実施例と実施例４とを複合するようにしてもよい。つまり、直交変換係数の符号および値をそれぞれ操作することにより、制御信号ｓを直交変換係数の符号および値に重畳する。これにより、制御信号ｓの判定精度を高めることができる。
【００８８】
また、実施例４では、実施例１と同様に、コンポーネント信号が１つの場合を例にして説明したが、実施例２，３と同様に、コンポーネント信号が複数の場合にも適用がある。この場合、符号化装置３は、複数のコンポーネント信号のうちの１つのコンポーネント信号に対し、その二値化直交変換係数に制御信号ｓを重畳する。復号装置４は、複数のコンポーネント信号の全てに対して、図１４に示した逆直交変換部３０と同様の処理を行い、図９に示した比較／判定部２５，２６または図１１に示した比較／判定部２８−１，２８−２，２９と同様の処理を行って制御信号ｓを抽出する。
【００８９】
本発明の実施例による符号化装置１，３および復号装置２−１〜２−３，４のハードウェア構成としては、通常のコンピュータを使用することができる。符号化装置１，３および復号装置２−１〜２−３，４は、ＣＰＵ、ＲＡＭなどの揮発性の記憶媒体、ＲＯＭなどの不揮発性の記憶媒体、およびインターフェースなどを備えたコンピュータによって構成される。符号化装置１に備えた直交変換部１１、直交変換係数操作部１２およびエントロピー符号化部１３の各機能は、これらの機能を記述したプログラムをＣＰＵに実行させることによりそれぞれ実現される。また、符号化装置３に備えた直交変換部１１、二値化部１４、二値化直交変換係数操作部１５およびエントロピー符号化部１３の各機能も、これらの機能を記述したプログラムをＣＰＵに実行させることによりそれぞれ実現される。さらに、復号装置２−１に備えたエントロピー復号部２１、逆直交変換部２２および比較／判定部２３の各機能も、これらの機能を記述したプログラムをＣＰＵに実行させることによりそれぞれ実現される。復号装置２−２に備えた逆直交変換部２４−１，２４−２および比較／判定部２５，２６、並びに復号装置２−３に備えた逆直交変換部２７−１〜２７−３および比較／判定部２８−１，２８−２，２９についても同様である。復号装置４に備えたエントロピー復号部２１、逆直交変換部３０および比較／判定部２３についても同様である。これらのプログラムは、磁気ディスク（フロッピー（登録商標）ディスク、ハードディスクなど）、光ディスク（ＣＤ−ＲＯＭ、ＤＶＤなど）、半導体メモリなどの記憶媒体に格納して頒布することもできる。
【符号の説明】
【００９０】
１，３ 符号化装置
２，４ 復号装置
１１ 直交変換部
１２ 直交変換係数操作部
１３ エントロピー符号化部
１４ 二値化部
１５ 二値化直交変換係数操作部
２１ エントロピー復号部
２２，２４，２７，３０ 逆直交変換部
２３，２５，２６，２８，２９ 比較／判定部
【技術分野】
【０００１】
映像または音声などの符号化技術に関し、特に、放送または映像配信サービスなどに用いる符号化装置、復号装置、方法およびプログラムに関する。
【背景技術】
【０００２】
映像または音声などの符号化技術では、複数の信号処理技術を組み合わせることにより、信号をより少ない信号表現に変換し信号圧縮を実現する。それぞれの処理を決められた手順で行うことは容易であるが、復号する際に信号がどの処理によって符号化されたかを判別するためには、制御信号を付加する必要がある。このような制御信号は、入力信号を信号処理によって変換した信号ではなく新たに追加した信号であり、符号化処理において符号量が増加する要因となる。一般的に、符号化方式の信号処理として、制御信号によって符号量が増加しないように、十分に圧縮効果の得られる処理が採用されており、符号量増加の問題は生じていない。例えば、ＭＰＥＧ−２、Ｈ．２６４／ＡＶＣなどに規定する処理が採用されている。
【０００３】
また、デジタル符号化技術の発展によって映像配信が容易になったため、映像および音声信号の高品質な複製が行われ、コンテンツホルダーの権利が侵害されるようになった。このような問題を解決するために、著作権保護の観点から、符号化された信号に著作権保護のための管理情報を、符号量を極力増加させることなく埋め込むデータハイディング技術の研究が行われ、実用化されている（例えば、非特許文献１を参照）。このデータハイディング技術は、情報量および符号化品質にできる限り影響を与えないように、符号化前の信号における冗長性を有する部分、または人間の視覚および聴覚によって検知されない（または検知され難い）部分に管理情報を埋め込むことにより、管理情報を伝送する。しかし、映像または音声の符号化のように、非可逆な符号化による信号の劣化を考慮すると、ある程度強く信号を操作しなければならず、操作した信号によって符号量および符号化品質に影響を与えてしまう。また、符号化処理によっては埋め込まれた管理情報が変化する可能性があることから、管理情報などの制御信号を確実に伝送する必要のあるシステムにデータハイディング技術を適用することは妥当でない。
【０００４】
一方、符号化後の信号を特定の手順で操作し、情報を伝送する技術が検討されている（非特許文献２を参照）。この技術は、直交変換係数の値を１プラスマイナスすることによって、情報を伝送するものである。しかし、符号化後の信号は、信号の冗長性が十分に除去された信号であり、わずかな信号の操作によっても符号化品質に大きな影響を与えることになる。このような問題から、データハイディング技術を利用して制御信号を伝送するシステムは実用化されていない。
【先行技術文献】
【非特許文献】
【０００５】
【非特許文献１】吉野知伸、吉田俊之、「画像のＤＣＴ係数に対する整数計画問題に基づくデータハイディング」、２００２年画像符号化シンポジウム（ＰＣＳＪ）、２００２年１１月１１日〜１３日、Ｐ−５．０６
【非特許文献２】ＪＣＴＶＣ−Ｅ４２８、“Low Complexity Embedding of Information in Transform Coefficients”
【発明の概要】
【発明が解決しようとする課題】
【０００６】
前述のとおり、圧縮符号化を目的とする符号化処理では、制御信号は符号量の増加要因になるから、極力付与されるべきでない。一方、データハイディング技術は、一般的には符号化前の信号に所定の情報を埋め込むものであり、また、符号化後の信号を操作する場合、超高圧縮下において符号化品質に与える影響が大きい。
【０００７】
しかし、一般的に圧縮を目的とする符号化処理は、ハフマン符号などのように、入力信号の持つ統計的偏りを利用して平均的な信号表現を少なくする。つまり、入力信号には既知の信号性質があり、符号化後の信号を操作することで符号化品質が著しく劣化した場合、その信号性質は容易に破たんする。
【０００８】
そこで、本発明は前記課題を解決するためになされたものであり、その目的は、符号化側から復号側へ映像などの信号を伝送する際に、符号量が増加することなく、その映像などの信号に制御信号を重畳して伝送可能な符号化装置、復号装置、方法およびプログラムを提供することにある。
【課題を解決するための手段】
【０００９】
前記目的を達成するために、本発明による請求項１の符号化装置は、伝送対象の信号に直交変換を行い、直交変換係数の符号化信号を伝送する符号化装置において、前記伝送対象の信号を構成する複数の要素信号からなるブロック毎に直交変換を行い、直交変換係数を生成する直交変換部と、前記直交変換部により生成された直交変換係数のうち、予め設定された成分の直交変換係数に対し、前記制御信号に基づき前記直交変換係数の符号を操作して反転し、前記制御信号を直交変換係数に重畳する直交変換係数操作部と、を備えることを特徴とする。
【００１０】
また、本発明による請求項２の符号化装置は、請求項１に記載の符号化装置において、前記直交変換係数操作部の代わりに二値化直交変換係数操作部を備え、前記二値化直交変換係数操作部が、前記直交変換係数が二値化された二値化直交変換係数の最上位ビットを操作して反転し、前記制御信号を直交変換係数に重畳する、ことを特徴とする。
【００１１】
また、本発明による請求項３の復号装置は、請求項１の符号化装置により伝送された、前記制御信号が重畳した直交変換係数の符号化信号を受信し、前記符号化信号の直交変換係数に逆直交変換を行い、元の伝送対象の信号に復号する復号装置であって、前記直交変換係数に逆直交変換を行って第１の要素信号を生成すると共に、前記直交変換係数の符号を操作して反転し、前記反転した直交変換係数に逆直交変換を行って第２の要素信号を生成する逆直交変換部と、前記逆直交変換部により生成された第１の要素信号と、既に復号された伝送対象の信号との間の差分量、もしくは前記差分量の二乗和、または相関値のうちの所定の第１の算出結果を求めると共に、前記逆直交変換部により生成された第２の要素信号と、既に復号された伝送対象の信号との間の差分量、もしくは前記差分量の二乗和、または相関値のうちの前記所定の第２の算出結果を求め、前記第１の算出結果と第２の算出結果とを比較することで、前記第１の要素信号または第２の要素信号のうちのいずれかの要素信号を元の伝送対象の信号として選択し、前記直交変換係数に重畳した制御信号を判定する比較／判定部と、を備えたことを特徴とする。
【００１２】
また、本発明による請求項４の復号装置は、前記伝送対象の信号が複数のコンポーネント信号により構成され、請求項１の符号化装置により所定のコンポーネント信号における直交変換係数の符号が操作され前記制御信号が重畳した場合に、前記符号化装置により伝送された、前記制御信号が重畳したコンポーネント信号における直交変換係数の符号化信号を受信すると共に、前記制御信号が重畳していない他のコンポーネント信号における直交変換係数の符号化信号を受信し、前記それぞれの符号化信号の直交変換係数に逆直交変換を行い、元の伝送対象の信号に復号する復号装置であって、前記制御信号が重畳したコンポーネント信号の直交変換係数に逆直交変換を行って第１−１の要素信号を生成すると共に、前記直交変換係数の符号を操作して反転し、前記反転した直交変換係数に逆直交変換を行って第１−２の要素信号を生成する第１の逆直交変換部と、前記制御信号が重畳していない他のコンポーネント信号の直交変換係数に逆直交変換を行って第２−１の要素信号を生成すると共に、前記直交変換係数の符号を操作して反転し、前記反転した直交変換係数に逆直交変換を行って第２−２の要素信号を生成する第２の逆直交変換部と、前記第１の逆直交変換部により生成された第１−１および第１−２の要素信号と、既に復号された伝送対象の信号との間の差分量、もしくは前記差分量の二乗和、または相関値のうちの所定の算出結果をそれぞれ求め、前記算出結果を比較して第１の判定結果を求め、前記第２の逆直交変換部により生成された第２−１および第２−２の要素信号と、既に復号された伝送対象の信号との間の差分量、もしくは前記差分量の二乗和、または相関値のうちの前記所定の算出結果をそれぞれ求め、前記算出結果を比較して第２の判定結果を求め、前記第１および第２の判定結果に基づいて、前記第２−１の要素信号と同じ判定結果となった第１−１または第１−２の要素信号を元の伝送対象の信号として選択し、前記直交変換係数に重畳した制御信号を判定する比較／判定部と、を備えたことを特徴とする。
【００１３】
また、本発明による請求項５の復号装置は、請求項２の符号化装置により伝送された、前記制御信号が重畳した直交変換係数の符号化信号を受信し、前記符号化信号の直交変換係数を逆直交変換し、元の伝送対象の信号に復号する復号装置であって、前記符号化信号から復号された二値化直交変換係数を直交変換係数に復号し、前記直交変換係数を逆直交変換し、第１の要素信号を生成すると共に、前記二値化直交変換係数の最上位ビットに１を追加し、前記１を追加した二値化直交変換係数から直交変換係数を復号し、逆直交変換を行い、第２の要素信号を生成する逆直交変換部と、前記逆直交変換部により生成された第１の要素信号と、既に復号された伝送対象の信号との間の差分量、もしくは前記差分量の二乗和、または相関値のうちの所定の第１の算出結果を求めると共に、前記逆直交変換部により生成された第２の要素信号と、既に復号された伝送対象の信号との間の差分量、もしくは前記差分量の二乗和、または相関値のうちの前記所定の第２の算出結果を求め、前記第１の算出結果と第２の算出結果とを比較することで、前記第１の要素信号または第２の要素信号のうちのいずれかの要素信号を元の伝送対象の信号として選択し、前記直交変換係数に重畳した制御信号を判定する比較／判定部と、を備えたことを特徴とする。
【００１４】
また、本発明による請求項６の符号化方法は、伝送対象の信号に直交変換を行い、直交変換係数の符号化信号を伝送する符号化装置による符号化方法において、前記伝送対象の信号を構成する複数の要素信号からなるブロック毎に直交変換を行い、直交変換係数を生成するステップと、前記直交変換係数のうち、予め設定された成分の直交変換係数に対し、前記制御信号に基づき前記直交変換係数の符号を操作して反転し、前記制御信号を直交変換係数に重畳するステップと、を有することを特徴とする。
【００１５】
また、本発明による請求項７の符号化方法は、伝送対象の信号に直交変換を行い、直交変換係数の符号化信号を伝送する符号化装置による符号化方法において、前記伝送対象の信号を構成する複数の要素信号からなるブロック毎に直交変換を行い、直交変換係数を生成するステップと、前記直交変換係数を二値化し、二値化直交変換係数を生成するステップと、前記二値化直交変換係数の最上位ビットを操作して反転し、前記制御信号を直交変換係数に重畳するステップと、を有することを特徴とする。
【００１６】
また、本発明による請求項８の復号方法は、請求項６の符号化方法により伝送された、前記制御信号が重畳した直交変換係数の符号化信号を受信し、逆直交変換を行って元の伝送対象の信号に復号する復号装置による復号方法であって、前記受信した符号化信号の直交変換係数に逆直交変換を行って第１の要素信号を生成するステップと、前記直交変換係数の符号を操作して反転し、前記反転した直交変換係数に逆直交変換を行って第２の要素信号を生成するステップと、前記第１の要素信号と、既に復号された伝送対象の信号との間の差分量、もしくは前記差分量の二乗和、または相関値のうちの所定の第１の算出結果を求めるステップと、前記第２の要素信号と、既に復号された伝送対象の信号との間の差分量、もしくは前記差分量の二乗和、または相関値のうちの前記所定の第２の算出結果を求めるステップと、前記第１の算出結果と第２の算出結果とを比較することで、前記第１の要素信号または第２の要素信号のうちのいずれかの要素信号を元の伝送対象の信号として選択し、前記直交変換係数に重畳した制御信号を判定するステップと、を有することを特徴とする。
【００１７】
また、本発明による請求項９の復号方法は、請求項７の符号化方法により伝送された、前記制御信号が重畳した直交変換係数の符号化信号を受信し、前記符号化信号の直交変換係数を逆直交変換し、元の伝送対象の信号に復号する復号装置による復号方法であって、前記符号化信号から復号された二値化直交変換係数を直交変換係数に復号し、前記直交変換係数を逆直交変換し、第１の要素信号を生成するステップと、前記二値化直交変換係数の最上位ビットに１を追加し、前記１を追加した二値化直交変換係数から直交変換係数を復号し、逆直交変換を行い、第２の要素信号を生成するステップと、前記第１の要素信号と、既に復号された伝送対象の信号との間の差分量、もしくは前記差分量の二乗和、または相関値のうちの所定の第１の算出結果を求めるステップと、前記第２の要素信号と、既に復号された伝送対象の信号との間の差分量、もしくは前記差分量の二乗和、または相関値のうちの前記所定の第２の算出結果を求めるステップと、前記第１の算出結果と第２の算出結果とを比較することで、前記第１の要素信号または第２の要素信号のうちのいずれかの要素信号を元の伝送対象の信号として選択し、前記直交変換係数に重畳した制御信号を判定するステップと、を有することを特徴とする。
【００１８】
また、本発明による請求項１０の符号化プログラムは、コンピュータを、請求項１または２に記載の符号化装置として機能させることを特徴とする。
【００１９】
また、本発明による請求項１１の復号プログラムは、コンピュータを、請求項３から５までのいずれか一項に記載の復号装置として機能させることを特徴とする。
【発明の効果】
【００２０】
以上のように、本発明によれば、符号化側から復号側へ映像などの信号を伝送する際に、符号量が増加することなく、その映像などの信号に制御信号を重畳して伝送することが可能となる。また、復号時に信号補正を行うことにより、映像などの信号の品質劣化を伴うことなく制御信号を伝送することができ、より高圧縮な符号化を実現することができる。
【図面の簡単な説明】
【００２１】
【図１】本発明の第１の実施形態（実施例１）による符号化装置の概略構成を示すブロック図である。
【図２】直交変換係数操作部の処理を示すプログラムの例である。
【図３】直交変換係数操作部の処理を示すフローチャートである。
【図４】実施例１による復号装置の概略構成を示すブロック図である。
【図５】逆直交変換部の処理を示すフローチャートである。
【図６】４×４画素のブロックにおける画素信号の位置関係を示す図である。
【図７】実施例１による比較／判定部の処理を示すプログラムの例である。
【図８】実施例１による比較／判定部の処理を示すフローチャートである。
【図９】本発明の第２の実施形態（実施例２）による復号装置の概略構成を示すブロック図である。
【図１０】実施例２による比較／判定部の処理を示すフローチャートである。
【図１１】本発明の第３の実施形態（実施例３）による復号装置の概略構成を示すブロック図である。
【図１２】本発明の第４の実施形態（実施例４）による符号化装置の概略構成を示すブロック図である。
【図１３】二値化直交変換係数操作部の処理を示すフローチャートである。
【図１４】実施例４による復号装置の概略構成を示すブロック図である。
【図１５】逆直交変換部の処理を示すフローチャートである。
【発明を実施するための形態】
【００２２】
以下、本発明を実施するための形態について図面を用いて詳細に説明する。実施例１〜３は、伝送対象の映像信号を例として、符号化した映像信号を操作する際に、入力信号の統計的偏りが顕著に破たんするように、故意に映像信号を操作し、復号時に統計的偏りの不自然さを検出し、映像信号を決められた手順で復元する例である。具体的には、映像信号の直交変換係数情報（符号情報または／および値情報）を操作する。映像信号の符号化では、映像信号の隣接画素間の相関が高いことが知られている。そのため、ＭＰＥＧ−２またはＨ．２６４／ＡＶＣの規格に従った画像を小領域に分割して符号化するブロック符号化では、ブロックの境界において隣接画素間の相関が高い。この領域の画素信号間の相関が極端に低くなると、ブロックの境界において顕著な信号の変化が生じ、復号時に筋状の劣化が検知される。また、このような劣化をブロック歪とよび、通常ブロック歪が生じないように符号化処理が行われる。そこで、本発明の実施形態による符号化装置および復号装置では、直交変換係数情報を操作し、復号時には境界部の隣接画素間の相関を極端に低下させる／させない処理を行うことによって、制御信号が重畳した情報を伝送する。
【００２３】
直交変換係数をその値の大きさ（絶対値）と符号とに分け、符号の正負を操作した場合であっても、ビット量にほとんど影響を与えないから、直交変換係数の符号化情報量はさほど変化しない。また、直交変換係数の値を操作した場合、すなわち、エントロピー符号化のために二値化された可変ビット長の信号における直交変換係数の最上位ビットの信号を反転操作した場合も、ビット量にほとんど影響を与えないから、直交変換係数の符号化情報量はさほど変化しない。さらに、ブロック単位に直交変換係数の符号または／および値を操作することによって、全体のビット変動は平均して０になるから、符号量の増加を伴うことなく、制御信号が重畳した情報を伝送することができる。
【００２４】
〔実施例１／符号化装置〕
まず、実施例１の符号化装置について説明する。図１は、実施例１による符号化装置の概略構成を示すブロック図である。この符号化装置１は、画像の直交変換係数の符号を操作することで制御信号ｓを重畳し、符号化信号を伝送する装置であり、直交変換部１１、直交変換係数操作部１２およびエントロピー符号化部１３を備えている。尚、図１には、符号化装置１の構成部のうち、本発明に関連する構成部のみが示されている。
【００２５】
直交変換部１１は、画素信号により構成される画像（映像信号）を入力し、入力した画素信号に対して直交変換処理を施し、２次元の直交変換係数を生成して直交変換係数操作部１２に出力する。すなわち、直交変換部１１は、映像信号を構成する複数の画素信号からなるブロック毎に、直交変換により複数成分（基底）の直交変換係数を生成する。直交変換処理として、例えば離散コサイン変換（ＤＣＴ）、離散サイン変換（ＤＳＴ）などが行われる。尚、本発明は、直交変換処理の種類を限定するものではない。
【００２６】
直交変換係数操作部１２は、直交変換部１１とエントロピー符号化部１３との間に設けられ、制御信号ｓ（＝０，１）に基づいて、直交変換係数の符号を操作することで符号を反転する。直交変換係数操作部１２は、直交変換部１１から２次元の直交変換係数を入力すると共に、直交変換係数に重畳する制御信号ｓを入力し、入力した２次元の直交変換係数をジグザグスキャンなどの処理によって直列化し、１次元の直交変換係数を生成する。そして、直交変換係数操作部１２は、入力した制御信号ｓに基づいて、例えば（０，０）成分の直交変換係数の符号を反転し、または符号をそのままにして、符号が反転した直交変換係数または符号をそのままにした直交変換係数をエントロピー符号化部１３に出力する。これにより、直交変換係数に制御信号ｓが重畳され、制御信号ｓが重畳した直交変換係数は、エントロピー符号化部１３に出力される。
【００２７】
図２は、直交変換係数操作部１２の処理を示すプログラム（Ｃ言語によるプログラム）の例であり、図３は、直交変換係数操作部１２の処理を示すフローチャートであり、図２のプログラムをフローチャートで表したものである。直交変換係数操作部１２において直列化された入力係数列をａ［ｉ］（ｉ＝０，１，・・・，Ｎ−１）とし、制御信号ｓに基づいて（０，０）成分の直交変換係数の符号を反転した出力係数列、または符号をそのままにした出力係数列をｂ［ｉ］（ｉ＝０，１，・・・，Ｎ−１）し、ａ［０］，ｂ［０］を（０，０）成分の直交変換係数とする。
【００２８】
まず、直交変換係数操作部１２は、直交変換部１１から直交変換係数を入力すると共に、制御信号ｓ（＝０，１）を入力し（ステップＳ３０１）、直交変換係数を直列化して入力系列ａ［ｉ］（ｉ＝０，１，・・・，Ｎ−１）を生成する（ステップＳ３０２）。そして、直交変換係数操作部１２は、制御信号ｓが１であるか否かを判定し（ステップＳ３０３）、制御信号ｓが１であると判定した場合（ステップＳ３０３：Ｙ）、（０，０）成分の直交変換係数ａ［０］の符号を反転し、（０，０）成分の新たな直交変換係数（符号が反転した直交変換係数）ｂ［０］を生成する（ステップＳ３０４）。すなわち、ｂ［０］＝−ａ［０］の処理を行う。
【００２９】
一方、直交変換係数操作部１２は、ステップＳ３０３において、制御信号ｓが１でない（制御信号ｓが０である）と判定した場合（ステップＳ３０３：Ｎ）、（０，０）成分の直交変換係数ａ［０］の符号をそのままとした直交変換係数ｂ［０］を生成する（ステップＳ３０５）。すなわち、直交変換係数ａ［０］に対して符号反転の処理を行わず、ｂ［０］＝ａ［０］の処理を行う。そして、直交変換係数操作部１２は、ステップＳ３０４およびステップＳ３０５から移行して、（０，０）成分以外の直交変換係数ａ［ｉ］（ｉ＝１，２，・・・，Ｎ−１）について符号反転の処理を行わず、直交変換係数ｂ［ｉ］＝ａ［ｉ］を生成する（ステップＳ３０６）。そして、直交変換係数操作部１２は、直交変換係数ｂ［ｉ］（ｉ＝０，１，・・・，Ｎ−１）、すなわち制御信号ｓが重畳した直交変換係数をエントロピー符号化部１３に出力する（ステップＳ３０７）。
【００３０】
図１に戻って、エントロピー符号化部１３は、直交変換係数操作部１２から、制御信号ｓが重畳した直交変換係数を入力し、エントロピー符号化を行う。エントロピー符号化部１３によりエントロピー符号化された直交変換係数は、符号化信号として後述する復号装置２−１へ伝送される。
【００３１】
以上のように、実施例１の符号化装置１によれば、直交変換係数操作部１２が、制御信号ｓ＝１の場合、（０，０）成分の直交変換係数の符号を反転し、制御信号ｓ＝０の場合、（０，０）成分の直交変換係数の符号をそのままにすることで、制御信号ｓの重畳した直交変換係数を生成するようにした。ここで、一般的に、映像信号を符号化する場合、直交変換係数における低域の情報は多く、高域の情報は少ないという性質がある。直交変換処理により生成される最初の直交変換係数である（０，０）成分は、特に情報量が多く、直交変換係数を一切送らない非符号化制御を行わない限り、直交変換係数が０となることは極めて少ない。また、（０，０）成分の直交変換係数は最も低域の情報であり、本実施例で用いているＤＣＴの場合、その符号が反転することにより、符号化ブロック境界において信号変動が極めて大きくなる。このような映像信号の性質を利用して、符号化装置１において、直交変換係数の符号を操作することで、制御信号ｓの重畳した直交変換係数が生成され、後述する復号装置２−１へ伝送される。そして、後述する復号装置２−１に、制御信号ｓの重畳した直交変換係数の符号化信号を受信させ、ブロック境界の画素信号の差分量に基づいて、制御信号ｓを抽出させる。復号装置２−１の詳細については後述する。これにより、符号化装置１から後述する復号装置２−１へ映像信号を伝送する際に、符号化量が増加することなく、その映像信号に重畳した制御信号ｓを伝送することができる。
【００３２】
〔実施例１／復号装置〕
次に、実施例１の復号装置について説明する。図４は、実施例１による復号装置の概略構成を示すブロック図である。この復号装置２−１は、符号化装置１から符号化信号を受信して復号画像を生成すると共に、直交変換係数に重畳した制御信号ｓを抽出する装置であり、エントロピー復号部２１、逆直交変換部２２および比較／判定部２３を備えている。尚、図４には、復号装置２−１の構成部のうち、本発明に関連する構成部のみが示されている。
【００３３】
復号装置２−１が符号化装置１から送信された符号化信号を受信すると、エントロピー復号部２１は、符号化信号を入力してエントロピー復号を行い、制御信号ｓが重畳した直交変換係数ｂ［ｉ］を逆直交変換部２２に出力する。
【００３４】
逆直交変換部２２は、制御信号ｓが重畳した直交変換係数ｂ［ｉ］を入力し、（０，０）成分の直交変換係数ｂ［０］に対して符号をそのままにし、逆直交変換処理を行い、画素信号（そのままの画素信号）を生成すると共に、（０，０）成分の直交変換係数ｂ［０］に対して符号を反転し、逆直交変換処理を行い、画素信号（反転した画素信号）を生成する。そして、逆直交変換部２２は、そのままの画素信号および反転した画素信号を比較／判定部２３に出力する。逆直交変換処理として、例えば逆離散コサイン変換（ＩＤＣＴ）、逆離散サイン変換（ＩＤＳＴ）などが行われる。尚、本発明は、逆直交変換処理の種類を限定するものではない。
【００３５】
図５は、逆直交変換部２２の処理を示すフローチャートである。まず、逆直交変換部２２は、エントロピー復号部２１から直交変換係数ｂ［ｉ］を入力する（ステップＳ５０１）。そして、逆直交変換部２２は、（０，０）成分の直交変換係数ｂ［０］に対して符号をそのままにし（ステップＳ５０２）、直交変換係数ｂ［０］，ｂ［１］，・・・，ｂ［Ｎ−１］に対し逆直交変換処理を行い、画素信号（そのままの画素信号）を生成する（ステップＳ５０３）。また、逆直交変換部２２は、（０，０）成分の直交変換係数ｂ［０］に対して符号を反転して−ｂ［０］を生成し（ステップＳ５０４）、直交変換係数−ｂ［０］，ｂ［１］，・・・，ｂ［Ｎ−１］に対し逆直交変換処理を行い、画素信号（反転した画素信号）を生成する（ステップＳ５０５）。そして、逆直交変換部２２は、ステップＳ５０３にて生成した画素信号（そのままの画素信号）、およびステップＳ５０５にて生成した画素信号（反転した画素信号）を比較／判定部２３に出力する（ステップＳ５０６）。
【００３６】
図４に戻って、比較／判定部２３は、逆直交変換部２２から、そのままの画素信号（（０，０）成分の直交変換係数の符号をそのままにして、逆直交変換処理により生成された画素信号）および反転した画素信号（（０，０）成分の直交変換係数の符号を反転し、逆直交変換処理により生成された画素信号）を入力すると共に、ブロック境界の隣接画素信号（当該比較／判定部２３により既に処理が行われ出力された復号画像の画素信号のうち、処理対象の隣のブロックにおいて最も近い画素信号）を入力する。そして、比較／判定部２３は、そのままの画素信号および反転した画素信号と隣接画素信号との間の差分量（差分量の絶対値）を算出し、この差分量を比較することで差分量の小さい画素信号（そのままの画素信号または反転した画素信号）を選択し、復号画像の画素信号として出力する。また、比較／判定部２３は、差分量の小さい画素信号としてそのままの画素信号を選択した場合、制御信号ｓ＝０を判定し出力する。これにより、制御信号ｓ＝０が抽出される。一方、比較／判定部２３は、差分量の小さい画素信号として反転した画素信号を選択した場合、制御信号ｓ＝１を判定し出力する。これにより、制御信号ｓ＝１が抽出される。
【００３７】
尚、比較／判定部２３は、最初のブロックの映像信号について、制御信号ｓを抽出するための前述の処理を行わない。最初のブロックの映像信号については、隣接画素信号が存在しないからである。この場合、符号化装置１の直交変換係数操作部１２は、最初のブロックの映像信号については直交変換係数の符号に対する操作を行わない。また、比較／判定部２３は、差分量を比較することで差分量の小さい画素信号を選択し、復号画像の画素信号として出力するようにしたが、システムによっては差分量の大きい画素信号を選択する場合もあり得る。比較／判定部２３が小さい画素信号を選択するか、または大きい画素信号を選択するかは、システムで決定される相対関係に応じて予め設定される。後述する実施例２の比較／判定部２５，２６、実施例３の比較／判定部２８−１，２８−２，２９及び実施例４の比較／判定部２３においても同様である。
【００３８】
図６は、４×４画素のブロックにおける画素信号の位置関係を示す図であり、図７は、比較／判定部２３の処理を示すプログラム（Ｃ言語によるプログラム）の例であり、図８は、比較／判定部２３の処理を示すフローチャートであり、図７のプログラムをフローチャートで表したものである。比較／判定部２３が逆直交変換部２２から入力するそのままの画素信号をＢ［ｉ］［ｊ］とし、反転した画素信号をＣ［ｉ］［ｊ］とし、隣接画素信号をｄ［ｊ］，ｅ［ｉ］とする。また、画素信号Ｂ［ｉ］［ｊ］と隣接画素信号ｄ［ｊ］，ｅ［ｉ］との間の差分量の絶対値和をＳ［０］とし、画素信号Ｃ［ｉ］［ｊ］と隣接画素信号ｄ［ｊ］，ｅ［ｉ］との間の差分量の絶対値和をＳ［１］とする。ｉ＝０〜３，ｊ＝０〜３である。
【００３９】
図６において、４×４画素のブロックにおける番号１には画素信号Ｂ［０］［０］，Ｃ［０］［０］が存在し、番号２〜４には画素信号Ｂ［０］［１］，Ｃ［０］［１］〜Ｂ［０］［３］，Ｃ［０］［３］が存在する。同様にして、番号５には画素信号Ｂ［１］［０］，Ｃ［１］［０］が存在し、番号１３〜１６には画素信号Ｂ［３］［０］，Ｃ［３］［０］〜Ｂ［３］［３］，Ｃ［３］［３］が存在する。また、隣接画素信号ｄ［ｊ］＝ｄ［０］〜ｄ［３］は、番号１〜４の画素信号に対する隣接画素信号であり、隣接画素信号ｅ［ｉ］＝ｅ［０］〜ｅ［３］は、番号１，５，９，１３の画素信号に対する隣接画素信号である。
【００４０】
図７および図８において、Ｓ［０］，Ｓ［１］は、算出した差分量の絶対値和を示す。まず、比較／判定部２３は、逆直交変換部２２からそのままの画素信号Ｂ［ｉ］［ｊ］および反転した画素信号Ｃ［ｉ］［ｊ］を入力すると共に、ブロック境界の隣接画素信号ｄ［ｊ］，ｅ［ｉ］を入力する（ステップＳ８０１）。そして、比較／判定部２３は、画素信号Ｂ［ｉ］［ｊ］，Ｃ［ｉ］［ｊ］と隣接画素信号ｄ［ｊ］との間の差分量の絶対値和Ｓ［０］，Ｓ［１］をそれぞれ算出し、算出したそれぞれの差分量の絶対値和Ｓ［０］，Ｓ［１］を加算し、さらに、画素信号Ｂ［ｉ］［ｊ］，Ｃ［ｉ］［ｊ］と隣接画素信号ｅ［ｉ］との間の差分量の絶対値和Ｓ［０］，Ｓ［１］をそれぞれ算出し、算出したそれぞれの差分量の絶対値和Ｓ［０］，Ｓ［１］を加算し、両者の加算結果を合計した差分量の絶対値和Ｓ［０］，Ｓ［１］を求める（ステップＳ８０２）。
【００４１】
比較／判定部２３は、ステップＳ８０２にて求めた差分量の絶対値和Ｓ［０］，Ｓ［１］を比較し、差分量の絶対値和Ｓ［０］が差分量の絶対値和Ｓ［１］以上であるか否かを判定し（ステップＳ８０３）、差分量の絶対値和Ｓ［０］が差分量の絶対値和Ｓ［１］以上であると判定した場合（ステップＳ８０３：Ｙ）、差分量の絶対値和Ｓ［０］よりも小さいまたは等しい差分量の絶対値和Ｓ［１］に対応する画素信号Ｃ［ｉ］［ｊ］、すなわち反転した画素信号を選択して出力すると共に、制御信号ｓ＝１を判定して出力する（ステップＳ８０４）。一方、比較／判定部２３は、ステップＳ８０３において、差分量の絶対値和Ｓ［０］が差分量の絶対値和Ｓ［１］以上でないと判定した場合（ステップＳ８０３：Ｎ）、小さい方の差分量の絶対値和Ｓ［０］に対応する画素信号Ｂ［ｉ］［ｊ］、すなわちそのままの画素信号を選択して出力すると共に、制御信号ｓ＝０を判定して出力する（ステップＳ８０５）。
【００４２】
以上のように、実施例１の復号装置２−１によれば、逆直交変換部２２が、制御信号ｓの重畳した直交変換係数を入力し、（０，０）成分の直交変換係数に対して符号をそのままにして逆直交変換処理を行い、画素信号（そのままの画素信号）を生成すると共に、（０，０）成分の直交変換係数に対して符号を反転し、逆直交変換処理を行い、画素信号（反転した画素信号）を生成するようにした。そして、比較／判定部２３が、そのままの画素信号および反転した画素信号とブロック境界の隣接画素信号との間の差分量を算出し、差分量の小さい画素信号（そのままの画素信号または反転した画素信号）を選択し、復号画像の画素信号として出力すると共に、そのままの画素信号を選択した場合、制御信号ｓ＝０を判定して出力し、反転した画素信号を選択した場合、制御信号ｓ＝１を判定して出力するようにした。これにより、符号化装置１から復号装置２−１へ映像信号を伝送する際に、その映像信号に重畳した制御信号ｓを抽出することができる。また、符号化方式において、符号量が増加する要因となる制御信号ｓの符号量を増加させることなく、制御信号ｓの伝送が可能となる。また、復号装置２−１において、信号補正を行うことにより、すなわち、直交変換係数の符号を反転して逆直交変換を行うと共に、符号をそのままにして逆直交変換処理を行うことにより、映像信号の品質劣化を伴うことなく制御信号ｓを伝送することができ、より高圧縮な符号化を実現することができる。
【００４３】
つまり、復号装置２−１において、符号量が増加することなく伝送された制御信号ｓを復元することができる。また、視覚感度の高い輝度信号に制御信号ｓを重畳させるのではなく、より画素の相関の高い色差信号に重畳させることができる。すなわち、符号化装置１が、符号化した信号を操作する際に、入力信号の統計的偏りが顕著に破たんするように、故意に信号を操作し、復号装置２−１が、統計的偏りの不自然さを検出し、制御信号ｓを決められた手順で復元することにより、符号化装置１から復号装置２−１へ伝送される映像信号の品質劣化を防止し、映像信号に重畳して伝送される制御信号ｓを正確に抽出することができる。
【００４４】
〔実施例２〕
次に、実施例２について説明する。前述のとおり、実施例１は、隣接する画素信号間の差分量を基準にして、当該コンポーネント（信号輝度または２色差信号のいずれか）で比較および判定することにより、制御信号ｓを抽出する。これに対し、実施例２では、１つの画素が２つのコンポーネント信号により構成される映像信号を例にして、直交変換係数の符号を操作したコンポーネント信号のブロックにおける画素信号と隣接画素信号との間の差分量を、他のコンポーネント信号のブロックにおける同位置の画素信号と隣接画素信号との間の差分量と比較し判定することにより、制御信号ｓを抽出する。実施例２によれば、２つのコンポーネント信号における画素信号間の相関は極めて高いから、実施例１に比べ、制御信号ｓの抽出を一層精度高く行うことができる。特に、予測差分信号のように、そのままの画素信号および反転した画素信号と隣接画素信号との間の差分量の比較結果である大小が一定でない場合に有効である。尚、符号化側の構成および処理は、図１に示した実施例１の符号化装置１と同一である。また、差分量とは、実施例１と同様に、差分量の絶対値を示す。
【００４５】
実施例２の復号装置について説明する。図９は、実施例２による復号装置の概略構成を示すブロック図である。この復号装置２−２は、符号化装置１から符号化信号を受信して復号画像を生成すると共に、コンポーネント信号１の直交変換係数に重畳した制御信号ｓを抽出する装置であり、逆直交変換部２４−１，２４−２および比較／判定部２５，２６を備えている。尚、図９では、エントロピー復号部が省略されており、復号装置２−２の構成部のうち、本発明に関連する構成部のみが示されている。
【００４６】
逆直交変換部２４−１は、制御信号ｓが重畳した直交変換係数であるコンポーネント信号１を入力し、例えば（０，０）成分の直交変換係数に対して符号をそのままにし、逆直交変換処理を行い、画素信号（そのままの画素信号）を生成すると共に、（０，０）成分の直交変換係数に対して符号を反転し、逆直交変換処理を行い、画素信号（反転した画素信号）を生成する。そして、逆直交変換部２４−１は、そのままの画素信号および反転した画素信号を比較／判定部２６に出力する。
【００４７】
逆直交変換部２４−２も、逆直交変換部２４−１と同様の処理を行う。具体的には、逆直交変換部２４−２は、制御信号ｓが重畳していない直交変換係数であるコンポーネント信号２を入力し、（０，０）成分の直交変換係数に対して符号をそのままにし、逆直交変換処理を行い、画素信号（そのままの画素信号）を生成すると共に、（０，０）成分の直交変換係数に対して符号を反転し、逆直交変換処理を行い、画素信号（反転した画素信号）を生成する。そして、逆直交変換部２４−２は、そのままの画素信号（正しい復号信号）および反転した画素信号（正しくない復号信号）を比較／判定部２５に出力する。
【００４８】
尚、符号化装置１は、制御信号ｓが重畳したコンポーネント信号１の直交変換係数における符号化信号を伝送することに加え、制御信号ｓが重畳していないコンポーネント信号２の直交変換係数における符号化信号を伝送する。つまり、コンポーネント信号２の直交変換係数に対しては符号の操作が行われない。復号装置２−２は、制御信号ｓが重畳したコンポーネント信号１の直交変換係数における符号化信号、および制御信号ｓが重畳していないコンポーネント信号２の直交変換係数における符号化信号を受信し、エントロピー復号部（図示せず）が、これらの符号化信号に対しエントロピー復号を行い、制御信号ｓが重畳した直交変換係数であるコンポーネント信号１を逆直交変換部２４−１に出力し、制御信号ｓが重畳していない直交変換係数であるコンポーネント信号２を逆直交変換部２４−２に出力する。したがって、逆直交変換部２４−２により出力されるそのままの画素信号が、正しい復号信号となり、逆直交変換部２４−２により出力される反転した画素信号が、正しくない復号信号となる。前述のとおり、コンポーネント信号２は、符号化装置１において直交変換係数の符号が操作されていないからである。
【００４９】
比較／判定部２５は、逆直交変換部２４−２から、そのままの画素信号（正しい復号信号）および反転した画素信号（正しくない復号信号）を入力すると共に、ブロック境界の隣接画素信号を入力し、そのままの画素信号および反転した画素信号と隣接画素信号との間の差分量（正しい復号信号の差分量、正しくない復号信号の差分量）をそれぞれ算出する。そして、比較／判定部２５は、正しい復号信号の差分量が、正しくない復号信号の差分量以下である場合、判定結果として差分量小（差分量が小さい方が正しい復号信号であることを示す判定結果）を比較／判定部２６に出力し、正しい復号信号の差分量が、正しくない復号信号の差分量よりも大きい場合、判定結果として差分量大（差分量が大きい方が正しい復号信号であることを示す判定結果）を比較／判定部２６に出力する。また、比較／判定部２５は、入力したそのままの画素信号を復号画像の画素信号として出力する。
【００５０】
図１０は、比較／判定部２６の処理を示すフローチャートである。図１０において、差分量とは、差分量の絶対値和を示す。図９および図１０を参照して、比較／判定部２６は、逆直交変換部２４−１からそのままの画素信号および反転した画素信号を入力すると共に、比較／判定部２５から判定結果（差分量大，小）を入力し、さらに、ブロック境界の隣接画素信号を入力する（ステップＳ９０１）。そして、比較／判定部２６は、そのままの画素信号および反転した画素信号と隣接画素信号との間の差分量（そのままの画素信号の差分量、反転した画素信号の差分量）を算出し（ステップＳ９０２）、判定結果が差分量大であるか差分量小であるかを判定する（ステップＳ９０３）。
【００５１】
比較／判定部２６は、ステップＳ９０３において、判定結果が差分量大であると判定した場合（ステップＳ９０３：差分量大）、ステップＳ９０２にて算出したそのままの画素信号の差分量と反転した画素信号の差分量とを比較して、差分量が大きい画素信号（そのままの画素信号または反転した画素信号）を選択する（ステップＳ９０４）。一方、比較／判定部２６は、ステップＳ９０３において、判定結果が差分量小であると判定した場合（ステップＳ９０３：差分量小）、差分量が小さい画素信号（そのままの画素信号または反転した画素信号）を選択する（ステップＳ９０５）。そして、比較／判定部２６は、選択した画素信号を復号画像の画素信号として出力する（ステップＳ９０６）。
【００５２】
比較／判定部２６は、選択した画素信号がそのままの画素信号であるか否かを判定し（ステップＳ９０７）、そのままの画素信号でないと判定した場合（ステップＳ９０７：Ｎ）、制御信号ｓ＝１を判定して出力する（ステップＳ９０８）。一方、比較／判定部２６は、ステップＳ９０７において、選択した画素信号がそのままの画素信号であると判定した場合（ステップＳ９０７：Ｙ）、制御信号ｓ＝０を判定して出力する（ステップＳ９０９）。これにより、制御信号ｓ＝１，０が抽出される。
【００５３】
以上のように、実施例２の復号装置２−２によれば、逆直交変換部２４−１が、制御信号ｓの重畳したコンポーネント信号１の直交変換係数に対して符号をそのままにして逆直交変換処理を行い、画素信号（そのままの画素信号）を生成すると共に、（０，０）成分の直交変換係数に対して符号を反転し、逆直交変換処理を行い、画素信号（反転した画素信号）を生成し、逆直交変換部２４−２が、制御信号ｓの重畳していないコンポーネント信号２の直交変換係数に対し、逆直交変換部２４−１と同様の処理を行うようにした。また、比較／判定部２５が、逆直交変換部２４−２からのそのままの画素信号（正しい復号信号）および反転した画素信号（正しくない復号信号）とブロック境界の隣接画素信号との間の差分量（正しい復号信号の差分量、正しくない復号信号の差分量）を算出し、正しい復号信号の差分量が、正しくない復号信号の差分量以下である場合、判定結果として差分量小を生成し、正しい復号信号の差分量が、正しくない復号信号の差分量よりも大きい場合、判定結果として差分量大を生成するようにした。また、比較／判定部２６が、逆直交変換部２４−１からのそのままの画素信号および反転した画素信号と隣接画素信号との間の差分量（そのままの画素信号の差分量、反転した画素信号の差分量）を算出し、判定結果が差分量大の場合、そのままの画素信号の差分量および反転した画素信号の差分量のうちの差分量が大きい画素信号を選択し、判定結果が差分量小の場合、差分量が小さい画素信号を選択し、選択した画素信号がそのままの画素信号でない場合、制御信号ｓ＝１を判定して出力し、選択した画素信号がそのままの画素信号である場合、制御信号ｓ＝０を判定して出力するようにした。これにより、直交変換係数に重畳した制御信号ｓ＝０，１を抽出することができる。したがって、実施例１と同様に、符号化方式において、符号量が増加する要因となる制御信号ｓの符号量を増加させることなく、また、映像信号の品質劣化を伴うことなく、制御信号ｓを伝送することができ、より高圧縮な符号化を実現することができる。
【００５４】
一般に、符号化装置１において符号操作を行う直交変換係数の数が増えると、復号装置２−２において制御信号ｓを誤検出する可能性が増加する。実施例２の復号装置２−２によれば、制御信号ｓが重畳されていないコンポーネント信号２を用いた差分量の比較処理により、制御信号ｓを抽出するようにしたから、符号操作が行われる直交変換係数の数が増えた場合であっても、制御信号ｓの誤検出を改善することができる。
【００５５】
尚、比較／判定部２５は、そのままの画素信号（正しい復号信号）と隣接画素信号との間の差分量（正しい復号信号の差分量）を算出し、比較／判定部２６は、そのままの画素信号および反転した画素信号と隣接画素信号との間の差分量（そのままの画素信号の差分量、反転した画素信号の差分量）を算出し、正しい復号信号の差分量と、そのままの画素信号の差分量および反転した画素信号の差分量とを比較し、差分量がより近い画素信号（そのままの画素信号または反転した画素信号）を元の伝送対象の信号として選択するようにしてもよい。すなわち、正しい復号信号の差分量がそのままの画素信号の差分量に近い場合は、そのままの画素信号を選択し、反転した画素信号の差分量に近い場合は、反転した画素信号を選択する。後述する実施例３についても同様である。また、後述するように、差分量の代わりに差分量の二乗和または相関を示す値（相関係数）を用いる場合も同様である。
【００５６】
〔実施例３〕
次に、実施例３について説明する。前述のとおり、実施例２は、２つのコンポーネント信号を用いた比較および判定処理により、制御信号ｓを抽出する。実施例３は、実施例２を拡張して、３つのコンポーネント信号を用いた比較および判定処理により、制御信号ｓを抽出する。例えば、カラー映像信号に適用がある。尚、符号化側の構成および処理は、図１に示した実施例１の符号化装置１と同一である。また、差分量とは、実施例１，２と同様に、差分量の絶対値を示す。
【００５７】
実施例３の復号装置について説明する。図１１は、実施例３による復号装置の概略構成を示すブロック図である。この復号装置２−３は、符号化装置１から符号化信号を受信して復号画像を生成すると共に、コンポーネント信号１の直交変換係数に重畳した制御信号ｓを抽出する装置であり、逆直交変換部２７−１〜２７−３および比較／判定部２８−１，２８−２，２９を備えている。尚、図１１では、エントロピー復号部が省略されており、復号装置２−３の構成部のうち、本発明に関連する構成部のみが示されている。
【００５８】
逆直交変換部２７−１は、制御信号ｓが重畳した直交変換係数であるコンポーネント信号１を入力し、図９に示した逆直交変換部２４−１と同様の処理を行い、そのままの画素信号および反転した画素信号を比較／判定部２９に出力する。
【００５９】
逆直交変換部２７−２，２７−３は、制御信号ｓが重畳していない直交変換係数であるコンポーネント信号２，３を入力し、図９に示した逆直交変換部２４−２と同様の処理を行い、そのままの画素信号（正しい復号信号）および反転した画素信号（正しくない復号信号）を比較／判定部２８−１，２８−２に出力する。
【００６０】
比較／判定部２８−１，２８−２は、逆直交変換部２７−２，２７−３から、そのままの画素信号（正しい復号信号）および反転した画素信号（正しくない復号信号）を入力すると共に、ブロック境界の隣接画素信号を入力し、図９に示した比較／判定部２５と同様の処理を行い、判定結果（差分量大，小）を比較／判定部２９に出力する。
【００６１】
比較／判定部２９は、逆直交変換部２７−１からそのままの画素信号および反転した画素信号を入力すると共に、比較／判定部２８−１，２８−２から判定結果（差分量大，小）を入力し、さらに、ブロック境界の隣接画素信号を入力する。そして、比較／判定部２９は、図９に示した比較／判定部２６と同様の処理を行い、制御信号ｓを判定して出力する。ここで、比較／判定部２８−１，２８−２から入力する判定結果は、通常は同じ結果であるから、比較／判定部２９は、予め設定されたいずれかの判定結果を用いて制御信号ｓを抽出する。
【００６２】
尚、比較／判定部２８−１，２８−２は、判定結果を生成する際に、正しい復号信号の差分量と正しくない復号信号の差分量との間の差異が所定の閾値以下である場合、判定結果として判定不能を生成し、比較／判定部２９に出力するようにしてもよい。この場合、比較／判定部２９は、比較／判定部２８−１，２８−２のいずれかから判定結果（差分量大，小）を入力し、他の比較／判定部２８−１，２８−２から判定不能の判定結果を入力した場合には、判定不能の判定結果を無視し、判定結果（差分量大，小）に基づいて制御信号ｓを抽出する。一方、比較／判定部２９は、比較／判定部２８−１，２８−２の両方から判定不能の判定結果を入力した場合には、所定のエラー処理を行い、制御信号ｓを抽出しない。
【００６３】
また、比較／判定部２８−１，２８−２は、そのままの画素信号の差分量および反転した画素信号の差分量を比較／判定部２９に出力するようにしてもよい。この場合、比較／判定部２９は、比較／判定部２８−１，２８−２からそのままの画素信号の差分量および反転した画素信号の差分量を入力し、入力したそのままの画素信号の差分量を加算してそのままの画素信号の合計差分量を求めると共に、入力した反転した画素信号の差分量を加算して反転した画素信号の合計差分量を求め、そのままの画素信号の合計差分量（正しい復号信号の合計差分量）が、反転した画素信号の合計差分量（正しくない復号信号の合計差分量）以下である場合、判定結果として差分量小を生成し、そのままの画素信号の合計差分量（正しい復号信号の合計差分量）が、反転した画素信号の合計差分量（正しくない復号信号の合計差分量）よりも大きい場合、判定結果として差分量大を生成し、この判定結果に基づいて、前述と同様の処理により制御信号ｓを抽出するようにしてもよい。
【００６４】
また、実施例３は、３つのコンポーネント信号を用いた比較および判定処理により、制御信号ｓを抽出するようにしたが、３つを超えるコンポーネント信号を用いて制御信号ｓを抽出するようにしてもよい。
【００６５】
以上のように、実施例３の復号装置２−３によれば、実施例１，２と同様に、符号化方式において、符号量が増加する要因となる制御信号ｓの符号量を増加させることなく、また、映像信号の品質劣化を伴うことなく、制御信号ｓを伝送することができ、より高圧縮な符号化を実現することができる。また、実施例２と同様に、符号操作が行われる直交変換係数の数が増えた場合であっても、制御信号ｓの誤検出を改善することができる。
【００６６】
〔実施例４／符号化装置〕
次に、実施例４の符号化装置について説明する。前述のとおり、実施例１〜３では、画像の直交変換係数の符号を操作することで制御信号ｓを重畳する。これに対し、実施例４では、画像の直交変換係数の値を操作することで制御信号ｓを重畳する。図１２は、実施例４による符号化装置の概略構成を示すブロック図である。この符号化装置３は、画像の直交変換係数の値（エントロピー符号化のために二値化した直交変換係数の信号列）を操作することで制御信号ｓを重畳し、符号化信号を伝送する装置であり、直交変換部１１、二値化部１４、二値化直交変換係数操作部１５およびエントロピー符号化部１３を備えている。尚、図１２には、符号化装置３の構成部のうち、本発明に関連する構成部のみが示されている。
【００６７】
直交変換部１１およびエントロピー符号化部１３は、図１に示した実施例１と同様であるから、ここでは説明を省略する。二値化部１４、二値化直交変換係数操作部１５およびエントロピー符号化部１３において、エントロピー符号化の過程において得られる二値化直交変換係数を操作し、操作された二値化直交変換係数を、例えばＣＡＢＡＣ、ＣＡＶＬＣなどの算術符号化によって符号化する。
【００６８】
二値化部１４は、直交変換部１１から直交変換係数を入力し、二値化手法により直交変換係数を二値化し、可変ビット長の二値化直交変換係数を生成して二値化直交変換係数操作部１５に出力する。例えば、二値化の手法としては、ユーナリーバイナライゼーション、トランケーテッドユーナリーバイナライゼーションなどが用いられる。二値化部１４は、二値化手法としてユーナリーバイナライゼーションの手法を用いる場合、例えば０，１，２，３の直交変換係数を、０，１０，１１０，１１１０の二値化信号列である二値化直交変換係数にそれぞれ変換する。尚、ユーナリーバイナライゼーションおよびトランケーテッドユーナリーバイナライゼーションの手法は既知であるからここでは説明を省略する。詳細については「Ｈ．２６４／ＡＶＣ教科書、インプレス刊」を参照されたい。本発明は、二値化の手法を限定するものではない。
【００６９】
二値化直交変換係数操作部１５は、二値化部１４から二値化直交変換係数を入力すると共に、二値化直交変換係数に重畳する制御信号ｓ（＝０，１）を入力し、制御信号ｓに基づいて、二値化直交変換係数の最上位ビット（可変ビット長の二値化直交変換係数の最上位ビット）を反転し、または最上位ビットをそのままにして、最上位ビットが反転した二値化直交変換係数または最上位ビットをそのままにした二値化直交変換係数をエントロピー符号化部１３に出力する。そして、エントロピー符号化部１３によりエントロピー符号化された符号化信号は、後述する復号装置４へ伝送される。
【００７０】
図１３は、二値化直交変換係数操作部１５の処理を示すフローチャートである。二値化直交変換係数操作部１５が入力する二値化直交変換係数をＥとし、二値化直交変換係数操作部１５が出力する二値化直交変換係数をＦとする。
【００７１】
まず、二値化直交変換係数操作部１５は、二値化部１４から二値化直交変換係数Ｅを入力すると共に、制御信号ｓ（＝０，１）を入力する（ステップＳ１３０１）。そして、二値化直交変換係数操作部１５は、制御信号ｓが１であるか否かを判定し（ステップＳ１３０２）、制御信号ｓが１であると判定した場合（ステップＳ１３０２：Ｙ）、二値化直交変換係数Ｅの最上位ビットを反転し、新たな二値化直交変換係数Ｆを生成する（ステップＳ１３０３）。一方、二値化直交変換係数操作部１５は、制御信号ｓが１でない（制御信号ｓが０である）と判定した場合（ステップＳ１３０２：Ｎ）、二値化直交変換係数Ｅの最上位ビットをそのままとし、二値化直交変換係数Ｅを新たな二値化直交変換係数Ｆとして生成する（ステップＳ１３０４）。
【００７２】
例えば、二値化部１４が、ユーナリーバイナライゼーションによる二値化の手法を用いて、直交変換係数「３」を二値化直交変換係数「１１１０」に二値化したとする。二値化直交変換係数操作部１５は、この二値化直交変換係数Ｅ「１１１０」に対し、入力した制御信号ｓが１の場合、最上位ビット「１」を反転して新たな二値化直交変換係数Ｆ「１１０」（最上位ビット「１」が「０」となり、直交変換係数「２」に対応した二値化直交変換係数）を生成する。また、二値化直交変換係数操作部１５は、入力した制御信号ｓが０の場合、最上位ビット「１」をそのままとし、新たな二値化直交変換係数Ｆ「１１１０」（二値化直交変換係数Ｅと同じ値）を生成する。
【００７３】
二値化直交変換係数操作部１５は、ステップＳ１３０３およびステップＳ１３０４から移行して、新たな二値化直交変換係数Ｆ、すなわち制御信号ｓが重畳した二値化直交変換係数Ｆを出力する。このようにして、画像の直交変換係数の値である二値化直交変換係数を操作することで、直交変換係数に制御信号ｓが重畳される。
【００７４】
以上のように、実施例４の符号化装置３によれば、二値化直交変換係数操作部１５が、制御信号ｓ＝１の場合、二値化部１４により直交変換係数が二値化された二値化直交変換係数の最上位ビットを反転し、制御信号ｓ＝０の場合、その二値化直交変換係数の最上位ビットをそのままにすることで、制御信号ｓの重畳した直交変換係数を生成するようにした。ここで、二値化直交変換係数の最上位ビットが反転することにより、符号化ブロック境界の信号変動が極めて大きくなる。これにより、符号化装置３において、直交変換係数の値を操作することで、制御信号ｓの重畳した直交変換係数が生成され、符号化信号として後述する復号装置４へ伝送される。そして、後述する復号装置４に、制御信号ｓの重畳した直交変換係数の符号化信号を受信させ、ブロック境界の画素信号の差分量に基づいて、制御信号ｓを抽出させる。復号装置４の詳細については後述する。これにより、符号化装置３から後述する復号装置４へ映像信号を伝送する際に、符号化量が増加することなく、その映像信号に重畳した制御信号ｓを伝送することができる。
【００７５】
〔実施例４／復号装置〕
次に、実施例４の復号装置について説明する。図１４は、実施例４による復号装置の概略構成を示すブロック図である。この復号装置４は、図１２に示した符号化装置３から符号化信号を受信して復号画像を生成すると共に、直交変換係数に重畳した制御信号ｓを抽出する装置であり、エントロピー復号部２１、逆直交変換部３０および比較／判定部２３を備えている。尚、図１４には、復号装置４の構成部のうち、本発明に関連する構成部のみが示されている。
【００７６】
逆直交変換部３０は、エントロピー復号部２１から制御信号ｓが重畳した二値化直交変換係数を入力し、入力した二値化直交変換係数を直交変換係数に復号し、その直交変換係数に対して逆直交変換処理を行い（直交変換係数を二値化した二値化直交変換係数をそのままにして直交変換処理を行い）、画素信号（そのままの画素信号）を生成すると共に、二値化直交変換係数の最上位ビットに「１」を追加し、「１」を追加した二値化直交変換係数を直交変換係数に復号し、その直交変換係数に対して逆直交変換処理を行い、画素信号（「１」を追加した画素信号）を生成し、そのままの画素信号および「１」を追加した画素信号を比較／判定部２３に出力する。
【００７７】
図１５は、逆直交変換部３０の処理を示すフローチャートである。まず、逆直交変換部３０は二値化直交変換係数を入力する（ステップＳ１５０１）。そして、逆直交変換部３０は、入力した二値化直交変換係数を直交変換係数に復号し、逆直交変換処理を行い、そのままの画素信号を生成する（ステップＳ１５０２）。
【００７８】
そして、逆直交変換部３０は、二値化直交変換係数の最上位ビットに「１」を追加し、新たな二値化直交変換係数を生成し（ステップＳ１５０３）、新たな二値化直交変換係数（「１」を追加した直交変換係数）に対し逆直交変換処理を行い、「１」を追加した画素信号を生成する（ステップＳ１５０４）。そして、逆直交変換部３０は、そのままの画素信号および「１」を追加した画素信号を比較／判定部２３に出力する（ステップＳ１５０５）。
【００７９】
図１４に戻って、比較／判定部２３は、図４に示した実施例１と同様の処理を行う。すなわち、比較／判定部２３は、逆直交変換部３０から、そのままの画素信号および「１」を追加した画素信号を入力すると共に、ブロック境界の隣接画素信号（当該比較／判定部２３により既に処理が行われ出力された復号画像の画素信号のうち、処理対象の隣のブロックにおいて最も近い画素信号）を入力し、そのままの画素信号および「１」を追加した画素信号と隣接画素信号との間の差分量（差分量の絶対値）を算出し、この差分量を比較することで差分量の小さい画素信号を選択し、復号画像の画素信号として出力する。また、比較／判定部２３は、差分量の小さい画素信号としてそのままの画素信号を選択した場合、制御信号ｓ＝０を判定し出力する。一方、比較／判定部２３は、差分量の小さい画素信号として「１」を追加した画素信号を選択した場合、制御信号ｓ＝１を判定し出力する。
【００８０】
以上のように、実施例４の復号装置４によれば、逆直交変換部３０が、二値化直交変換係数を直交変換係数に復号して逆直交変換処理を行い、そのままの画素信号を生成すると共に、二値化直交変換係数の最上位ビットに「１」を追加し、直交変換係数に復号して逆直交変換処理を行い、「１」を追加した画素信号を生成するようにした。そして、比較／判定部２３が、そのままの画素信号および「１」を追加した画素信号とブロック境界の隣接画素信号との間の差分量を算出し、差分量の小さい画素信号（そのままの画素信号または「１」を追加した画素信号）を選択し、復号画像の画素信号として出力すると共に、そのままの画素信号を選択した場合、制御信号ｓ＝０を判定して出力し、「１」を追加した画素信号を選択した場合、制御信号ｓ＝１を判定して出力するようにした。これにより、符号化装置３から復号装置４へ映像信号を伝送する際に、その映像信号に重畳した制御信号ｓを抽出することができる。また、符号化方式において、符号量が増加する要因となる制御信号ｓの符号量を増加させることなく、制御信号ｓの伝送が可能となる。また、復号装置４において、信号補正を行うことにより、すなわち、二値化直交変換係数の最上位ビットをそのままして逆直交変換を行うと共に、二値化直交変換係数の最上位ビットに「１」を追加して逆直交変換を行うことにより、映像信号の品質劣化を伴うことなく制御信号ｓを伝送することができ、より高圧縮な符号化を実現することができる。
【００８１】
つまり、復号装置４において、符号量が増加することなく伝送された制御信号ｓを復元することができる。また、視覚感度の高い輝度信号に制御信号ｓを重畳させるのではなく、より画素の相関の高い色差信号に重畳させることができる。すなわち、符号化装置３が、符号化した信号を操作する際に、入力信号の統計的偏りが顕著に破たんするように、故意に信号を操作し、復号装置４が、統計的偏りの不自然さを検出し、制御信号ｓを決められた手順で復元することにより、符号化装置３から復号装置４へ伝送される映像信号の品質劣化を防止し、映像信号に重畳して伝送される制御信号ｓを正確に抽出することができる。
【００８２】
以上、実施例１〜４を挙げて本発明を説明したが、本発明は前記実施例１〜４に限定されるものではなく、その技術思想を逸脱しない範囲で種々変形可能である。例えば、図４に示した実施例１による復号装置２−１および図１４に示した実施例４による復号装置４の比較／判定部２３、図９に示した実施例２による復号装置２−２の比較／判定部２５，２６並びに図１１に示した実施例３による比較／判定部２８−１，２８−２，２９は、そのままの画素信号および反転した画素信号（または「１」を追加した画素信号）と隣接画素信号との間の差分量を算出するようにしたが、差分量の代わりに、差分量の二乗和を算出するようにしてもよい。また、そのままの画素信号および反転した画素信号と隣接画素信号との間の相関を示す値（相関係数）を算出するようにしてもよい。この場合、相関係数の大きい画素信号（そのままの画素信号または反転した画素信号）が選択され、復号画像の画素信号として出力される。
【００８３】
また、図１に示した符号化装置１の直交変換係数操作部１２は、最も低域の情報である（０，０）成分の直交変換係数の符号を操作し、この直交変換係数に制御信号ｓを重畳するようにしたが、本発明は、操作対象を（０，０）成分の直交変換係数に限定するものではなく、例えば（０，１）成分または（１，０）成分の直交変換係数の符号を操作し、制御信号ｓを重畳するようにしてもよい。また、符号化装置１および復号装置２−１〜２−３からなる伝送システムの性質（例えば伝送品質）に応じて、制御信号ｓを重畳する操作対象の成分を変更するようにしてもよい。
【００８４】
また、符号化装置１の直交変換係数操作部１２は、１つの直交変換係数（（０，０）成分の直交変換係数）の符号を操作するようにしたが、２つ以上の成分の直交変換係数を操作するようにしてもよい。
【００８５】
また、実施例１〜４において、直交変換とは、整数化されることによって厳密な意味で直交性が失われる場合も含まれる。本発明は、直交変換が整数変換であっても適用することができる。
【００８６】
また、実施例２，３では、制御信号ｓが重畳したコンポーネント信号１および制御信号ｓが重畳していないコンポーネント信号２（および３）における画素信号と隣接画素信号との間の差分値を算出することで、制御信号ｓを抽出するようにした。これに対し、実施例２，３の変形例として、コンポーネント信号１以外に他のコンポーネント信号２（または３）を参照することが可能な場合は、コンポーネント信号間に強い相関があることを利用することで、制御信号ｓを抽出するようにしてもよい。具体的には、復号装置２−２，２−３の比較／判定部は、制御信号ｓが重畳したコンポーネント信号１におけるそのままの画素信号および反転した画素信号と、制御信号ｓが重畳していない他のコンポーネント信号２またはコンポーネント信号３におけるそのままの画素信号（正しい復号信号）との間で相関値を算出し、コンポーネント信号１におけるそのままの画素信号または反転した画素信号のうちの、システムで規定された例えば相関値の大きい（相関の高い）画素信号を選択し、復号信号の画素信号として出力する。また、選択した画素信号がそのままの画素信号でない場合、制御信号ｓ＝１を判定して出力し、選択した画素信号がそのままの画素信号である場合、制御信号ｓ＝０を判定して出力する。
【００８７】
また、実施例１から３までのいずれか１つの実施例と実施例４とを複合するようにしてもよい。つまり、直交変換係数の符号および値をそれぞれ操作することにより、制御信号ｓを直交変換係数の符号および値に重畳する。これにより、制御信号ｓの判定精度を高めることができる。
【００８８】
また、実施例４では、実施例１と同様に、コンポーネント信号が１つの場合を例にして説明したが、実施例２，３と同様に、コンポーネント信号が複数の場合にも適用がある。この場合、符号化装置３は、複数のコンポーネント信号のうちの１つのコンポーネント信号に対し、その二値化直交変換係数に制御信号ｓを重畳する。復号装置４は、複数のコンポーネント信号の全てに対して、図１４に示した逆直交変換部３０と同様の処理を行い、図９に示した比較／判定部２５，２６または図１１に示した比較／判定部２８−１，２８−２，２９と同様の処理を行って制御信号ｓを抽出する。
【００８９】
本発明の実施例による符号化装置１，３および復号装置２−１〜２−３，４のハードウェア構成としては、通常のコンピュータを使用することができる。符号化装置１，３および復号装置２−１〜２−３，４は、ＣＰＵ、ＲＡＭなどの揮発性の記憶媒体、ＲＯＭなどの不揮発性の記憶媒体、およびインターフェースなどを備えたコンピュータによって構成される。符号化装置１に備えた直交変換部１１、直交変換係数操作部１２およびエントロピー符号化部１３の各機能は、これらの機能を記述したプログラムをＣＰＵに実行させることによりそれぞれ実現される。また、符号化装置３に備えた直交変換部１１、二値化部１４、二値化直交変換係数操作部１５およびエントロピー符号化部１３の各機能も、これらの機能を記述したプログラムをＣＰＵに実行させることによりそれぞれ実現される。さらに、復号装置２−１に備えたエントロピー復号部２１、逆直交変換部２２および比較／判定部２３の各機能も、これらの機能を記述したプログラムをＣＰＵに実行させることによりそれぞれ実現される。復号装置２−２に備えた逆直交変換部２４−１，２４−２および比較／判定部２５，２６、並びに復号装置２−３に備えた逆直交変換部２７−１〜２７−３および比較／判定部２８−１，２８−２，２９についても同様である。復号装置４に備えたエントロピー復号部２１、逆直交変換部３０および比較／判定部２３についても同様である。これらのプログラムは、磁気ディスク（フロッピー（登録商標）ディスク、ハードディスクなど）、光ディスク（ＣＤ−ＲＯＭ、ＤＶＤなど）、半導体メモリなどの記憶媒体に格納して頒布することもできる。
【符号の説明】
【００９０】
１，３ 符号化装置
２，４ 復号装置
１１ 直交変換部
１２ 直交変換係数操作部
１３ エントロピー符号化部
１４ 二値化部
１５ 二値化直交変換係数操作部
２１ エントロピー復号部
２２，２４，２７，３０ 逆直交変換部
２３，２５，２６，２８，２９ 比較／判定部
【特許請求の範囲】
【請求項１】
伝送対象の信号に直交変換を行い、直交変換係数の符号化信号を伝送する符号化装置において、
前記伝送対象の信号を構成する複数の要素信号からなるブロック毎に直交変換を行い、直交変換係数を生成する直交変換部と、
前記直交変換部により生成された直交変換係数のうち、予め設定された成分の直交変換係数に対し、前記制御信号に基づき前記直交変換係数の符号を操作して反転し、前記制御信号を直交変換係数に重畳する直交変換係数操作部と、
を備えることを特徴とする符号化装置。
【請求項２】
請求項１に記載の符号化装置において、
前記直交変換係数操作部の代わりに二値化直交変換係数操作部を備え、
前記二値化直交変換係数操作部は、前記直交変換係数が二値化された二値化直交変換係数の最上位ビットを操作して反転し、前記制御信号を直交変換係数に重畳する、ことを特徴とする符号化装置。
【請求項３】
請求項１の符号化装置により伝送された、前記制御信号が重畳した直交変換係数の符号化信号を受信し、前記符号化信号の直交変換係数に逆直交変換を行い、元の伝送対象の信号に復号する復号装置であって、
前記直交変換係数に逆直交変換を行って第１の要素信号を生成すると共に、前記直交変換係数の符号を操作して反転し、前記反転した直交変換係数に逆直交変換を行って第２の要素信号を生成する逆直交変換部と、
前記逆直交変換部により生成された第１の要素信号と、既に復号された伝送対象の信号との間の差分量、もしくは前記差分量の二乗和、または相関値のうちの所定の第１の算出結果を求めると共に、前記逆直交変換部により生成された第２の要素信号と、既に復号された伝送対象の信号との間の差分量、もしくは前記差分量の二乗和、または相関値のうちの前記所定の第２の算出結果を求め、前記第１の算出結果と第２の算出結果とを比較することで、前記第１の要素信号または第２の要素信号のうちのいずれかの要素信号を元の伝送対象の信号として選択し、前記直交変換係数に重畳した制御信号を判定する比較／判定部と、
を備えたことを特徴とする復号装置。
【請求項４】
前記伝送対象の信号が複数のコンポーネント信号により構成され、請求項１の符号化装置により所定のコンポーネント信号における直交変換係数の符号が操作され前記制御信号が重畳した場合に、前記符号化装置により伝送された、前記制御信号が重畳したコンポーネント信号における直交変換係数の符号化信号を受信すると共に、前記制御信号が重畳していない他のコンポーネント信号における直交変換係数の符号化信号を受信し、前記それぞれの符号化信号の直交変換係数に逆直交変換を行い、元の伝送対象の信号に復号する復号装置であって、
前記制御信号が重畳したコンポーネント信号の直交変換係数に逆直交変換を行って第１−１の要素信号を生成すると共に、前記直交変換係数の符号を操作して反転し、前記反転した直交変換係数に逆直交変換を行って第１−２の要素信号を生成する第１の逆直交変換部と、
前記制御信号が重畳していない他のコンポーネント信号の直交変換係数に逆直交変換を行って第２−１の要素信号を生成すると共に、前記直交変換係数の符号を操作して反転し、前記反転した直交変換係数に逆直交変換を行って第２−２の要素信号を生成する第２の逆直交変換部と、
前記第１の逆直交変換部により生成された第１−１および第１−２の要素信号と、既に復号された伝送対象の信号との間の差分量、もしくは前記差分量の二乗和、または相関値のうちの所定の算出結果をそれぞれ求め、前記算出結果を比較して第１の判定結果を求め、前記第２の逆直交変換部により生成された第２−１および第２−２の要素信号と、既に復号された伝送対象の信号との間の差分量、もしくは前記差分量の二乗和、または相関値のうちの前記所定の算出結果をそれぞれ求め、前記算出結果を比較して第２の判定結果を求め、前記第１および第２の判定結果に基づいて、前記第２−１の要素信号と同じ判定結果となった第１−１または第１−２の要素信号を元の伝送対象の信号として選択し、前記直交変換係数に重畳した制御信号を判定する比較／判定部と、
を備えたことを特徴とする復号装置。
【請求項５】
請求項２の符号化装置により伝送された、前記制御信号が重畳した直交変換係数の符号化信号を受信し、前記符号化信号の直交変換係数を逆直交変換し、元の伝送対象の信号に復号する復号装置であって、
前記符号化信号から復号された二値化直交変換係数を直交変換係数に復号し、前記直交変換係数を逆直交変換し、第１の要素信号を生成すると共に、前記二値化直交変換係数の最上位ビットに１を追加し、前記１を追加した二値化直交変換係数から直交変換係数を復号し、逆直交変換を行い、第２の要素信号を生成する逆直交変換部と、
前記逆直交変換部により生成された第１の要素信号と、既に復号された伝送対象の信号との間の差分量、もしくは前記差分量の二乗和、または相関値のうちの所定の第１の算出結果を求めると共に、前記逆直交変換部により生成された第２の要素信号と、既に復号された伝送対象の信号との間の差分量、もしくは前記差分量の二乗和、または相関値のうちの前記所定の第２の算出結果を求め、前記第１の算出結果と第２の算出結果とを比較することで、前記第１の要素信号または第２の要素信号のうちのいずれかの要素信号を元の伝送対象の信号として選択し、前記直交変換係数に重畳した制御信号を判定する比較／判定部と、
を備えたことを特徴とする復号装置。
【請求項６】
伝送対象の信号に直交変換を行い、直交変換係数の符号化信号を伝送する符号化装置による符号化方法において、
前記伝送対象の信号を構成する複数の要素信号からなるブロック毎に直交変換を行い、直交変換係数を生成するステップと、
前記直交変換係数のうち、予め設定された成分の直交変換係数に対し、前記制御信号に基づき前記直交変換係数の符号を操作して反転し、前記制御信号を直交変換係数に重畳するステップと、
を有することを特徴とする符号化方法。
【請求項７】
伝送対象の信号に直交変換を行い、直交変換係数の符号化信号を伝送する符号化装置による符号化方法において、
前記伝送対象の信号を構成する複数の要素信号からなるブロック毎に直交変換を行い、直交変換係数を生成するステップと、
前記直交変換係数を二値化し、二値化直交変換係数を生成するステップと、
前記二値化直交変換係数の最上位ビットを操作して反転し、前記制御信号を直交変換係数に重畳するステップと、
を有することを特徴とする符号化方法。
【請求項８】
請求項６の符号化方法により伝送された、前記制御信号が重畳した直交変換係数の符号化信号を受信し、逆直交変換を行って元の伝送対象の信号に復号する復号装置による復号方法であって、
前記受信した符号化信号の直交変換係数に逆直交変換を行って第１の要素信号を生成するステップと、
前記直交変換係数の符号を操作して反転し、前記反転した直交変換係数に逆直交変換を行って第２の要素信号を生成するステップと、
前記第１の要素信号と、既に復号された伝送対象の信号との間の差分量、もしくは前記差分量の二乗和、または相関値のうちの所定の第１の算出結果を求めるステップと、
前記第２の要素信号と、既に復号された伝送対象の信号との間の差分量、もしくは前記差分量の二乗和、または相関値のうちの前記所定の第２の算出結果を求めるステップと、
前記第１の算出結果と第２の算出結果とを比較することで、前記第１の要素信号または第２の要素信号のうちのいずれかの要素信号を元の伝送対象の信号として選択し、前記直交変換係数に重畳した制御信号を判定するステップと、
を有することを特徴とする復号方法。
【請求項９】
請求項７の符号化方法により伝送された、前記制御信号が重畳した直交変換係数の符号化信号を受信し、前記符号化信号の直交変換係数を逆直交変換し、元の伝送対象の信号に復号する復号装置による復号方法であって、
前記符号化信号から復号された二値化直交変換係数を直交変換係数に復号し、前記直交変換係数を逆直交変換し、第１の要素信号を生成するステップと、
前記二値化直交変換係数の最上位ビットに１を追加し、前記１を追加した二値化直交変換係数から直交変換係数を復号し、逆直交変換を行い、第２の要素信号を生成するステップと、
前記第１の要素信号と、既に復号された伝送対象の信号との間の差分量、もしくは前記差分量の二乗和、または相関値のうちの所定の第１の算出結果を求めるステップと、
前記第２の要素信号と、既に復号された伝送対象の信号との間の差分量、もしくは前記差分量の二乗和、または相関値のうちの前記所定の第２の算出結果を求めるステップと、
前記第１の算出結果と第２の算出結果とを比較することで、前記第１の要素信号または第２の要素信号のうちのいずれかの要素信号を元の伝送対象の信号として選択し、前記直交変換係数に重畳した制御信号を判定するステップと、
を有することを特徴とする復号方法。
【請求項１０】
コンピュータを、請求項１または２に記載の符号化装置として機能させるための符号化プログラム。
【請求項１１】
コンピュータを、請求項３から５までのうちのいずれか一項に記載の復号装置として機能させるための復号プログラム。
【請求項１】
伝送対象の信号に直交変換を行い、直交変換係数の符号化信号を伝送する符号化装置において、
前記伝送対象の信号を構成する複数の要素信号からなるブロック毎に直交変換を行い、直交変換係数を生成する直交変換部と、
前記直交変換部により生成された直交変換係数のうち、予め設定された成分の直交変換係数に対し、前記制御信号に基づき前記直交変換係数の符号を操作して反転し、前記制御信号を直交変換係数に重畳する直交変換係数操作部と、
を備えることを特徴とする符号化装置。
【請求項２】
請求項１に記載の符号化装置において、
前記直交変換係数操作部の代わりに二値化直交変換係数操作部を備え、
前記二値化直交変換係数操作部は、前記直交変換係数が二値化された二値化直交変換係数の最上位ビットを操作して反転し、前記制御信号を直交変換係数に重畳する、ことを特徴とする符号化装置。
【請求項３】
請求項１の符号化装置により伝送された、前記制御信号が重畳した直交変換係数の符号化信号を受信し、前記符号化信号の直交変換係数に逆直交変換を行い、元の伝送対象の信号に復号する復号装置であって、
前記直交変換係数に逆直交変換を行って第１の要素信号を生成すると共に、前記直交変換係数の符号を操作して反転し、前記反転した直交変換係数に逆直交変換を行って第２の要素信号を生成する逆直交変換部と、
前記逆直交変換部により生成された第１の要素信号と、既に復号された伝送対象の信号との間の差分量、もしくは前記差分量の二乗和、または相関値のうちの所定の第１の算出結果を求めると共に、前記逆直交変換部により生成された第２の要素信号と、既に復号された伝送対象の信号との間の差分量、もしくは前記差分量の二乗和、または相関値のうちの前記所定の第２の算出結果を求め、前記第１の算出結果と第２の算出結果とを比較することで、前記第１の要素信号または第２の要素信号のうちのいずれかの要素信号を元の伝送対象の信号として選択し、前記直交変換係数に重畳した制御信号を判定する比較／判定部と、
を備えたことを特徴とする復号装置。
【請求項４】
前記伝送対象の信号が複数のコンポーネント信号により構成され、請求項１の符号化装置により所定のコンポーネント信号における直交変換係数の符号が操作され前記制御信号が重畳した場合に、前記符号化装置により伝送された、前記制御信号が重畳したコンポーネント信号における直交変換係数の符号化信号を受信すると共に、前記制御信号が重畳していない他のコンポーネント信号における直交変換係数の符号化信号を受信し、前記それぞれの符号化信号の直交変換係数に逆直交変換を行い、元の伝送対象の信号に復号する復号装置であって、
前記制御信号が重畳したコンポーネント信号の直交変換係数に逆直交変換を行って第１−１の要素信号を生成すると共に、前記直交変換係数の符号を操作して反転し、前記反転した直交変換係数に逆直交変換を行って第１−２の要素信号を生成する第１の逆直交変換部と、
前記制御信号が重畳していない他のコンポーネント信号の直交変換係数に逆直交変換を行って第２−１の要素信号を生成すると共に、前記直交変換係数の符号を操作して反転し、前記反転した直交変換係数に逆直交変換を行って第２−２の要素信号を生成する第２の逆直交変換部と、
前記第１の逆直交変換部により生成された第１−１および第１−２の要素信号と、既に復号された伝送対象の信号との間の差分量、もしくは前記差分量の二乗和、または相関値のうちの所定の算出結果をそれぞれ求め、前記算出結果を比較して第１の判定結果を求め、前記第２の逆直交変換部により生成された第２−１および第２−２の要素信号と、既に復号された伝送対象の信号との間の差分量、もしくは前記差分量の二乗和、または相関値のうちの前記所定の算出結果をそれぞれ求め、前記算出結果を比較して第２の判定結果を求め、前記第１および第２の判定結果に基づいて、前記第２−１の要素信号と同じ判定結果となった第１−１または第１−２の要素信号を元の伝送対象の信号として選択し、前記直交変換係数に重畳した制御信号を判定する比較／判定部と、
を備えたことを特徴とする復号装置。
【請求項５】
請求項２の符号化装置により伝送された、前記制御信号が重畳した直交変換係数の符号化信号を受信し、前記符号化信号の直交変換係数を逆直交変換し、元の伝送対象の信号に復号する復号装置であって、
前記符号化信号から復号された二値化直交変換係数を直交変換係数に復号し、前記直交変換係数を逆直交変換し、第１の要素信号を生成すると共に、前記二値化直交変換係数の最上位ビットに１を追加し、前記１を追加した二値化直交変換係数から直交変換係数を復号し、逆直交変換を行い、第２の要素信号を生成する逆直交変換部と、
前記逆直交変換部により生成された第１の要素信号と、既に復号された伝送対象の信号との間の差分量、もしくは前記差分量の二乗和、または相関値のうちの所定の第１の算出結果を求めると共に、前記逆直交変換部により生成された第２の要素信号と、既に復号された伝送対象の信号との間の差分量、もしくは前記差分量の二乗和、または相関値のうちの前記所定の第２の算出結果を求め、前記第１の算出結果と第２の算出結果とを比較することで、前記第１の要素信号または第２の要素信号のうちのいずれかの要素信号を元の伝送対象の信号として選択し、前記直交変換係数に重畳した制御信号を判定する比較／判定部と、
を備えたことを特徴とする復号装置。
【請求項６】
伝送対象の信号に直交変換を行い、直交変換係数の符号化信号を伝送する符号化装置による符号化方法において、
前記伝送対象の信号を構成する複数の要素信号からなるブロック毎に直交変換を行い、直交変換係数を生成するステップと、
前記直交変換係数のうち、予め設定された成分の直交変換係数に対し、前記制御信号に基づき前記直交変換係数の符号を操作して反転し、前記制御信号を直交変換係数に重畳するステップと、
を有することを特徴とする符号化方法。
【請求項７】
伝送対象の信号に直交変換を行い、直交変換係数の符号化信号を伝送する符号化装置による符号化方法において、
前記伝送対象の信号を構成する複数の要素信号からなるブロック毎に直交変換を行い、直交変換係数を生成するステップと、
前記直交変換係数を二値化し、二値化直交変換係数を生成するステップと、
前記二値化直交変換係数の最上位ビットを操作して反転し、前記制御信号を直交変換係数に重畳するステップと、
を有することを特徴とする符号化方法。
【請求項８】
請求項６の符号化方法により伝送された、前記制御信号が重畳した直交変換係数の符号化信号を受信し、逆直交変換を行って元の伝送対象の信号に復号する復号装置による復号方法であって、
前記受信した符号化信号の直交変換係数に逆直交変換を行って第１の要素信号を生成するステップと、
前記直交変換係数の符号を操作して反転し、前記反転した直交変換係数に逆直交変換を行って第２の要素信号を生成するステップと、
前記第１の要素信号と、既に復号された伝送対象の信号との間の差分量、もしくは前記差分量の二乗和、または相関値のうちの所定の第１の算出結果を求めるステップと、
前記第２の要素信号と、既に復号された伝送対象の信号との間の差分量、もしくは前記差分量の二乗和、または相関値のうちの前記所定の第２の算出結果を求めるステップと、
前記第１の算出結果と第２の算出結果とを比較することで、前記第１の要素信号または第２の要素信号のうちのいずれかの要素信号を元の伝送対象の信号として選択し、前記直交変換係数に重畳した制御信号を判定するステップと、
を有することを特徴とする復号方法。
【請求項９】
請求項７の符号化方法により伝送された、前記制御信号が重畳した直交変換係数の符号化信号を受信し、前記符号化信号の直交変換係数を逆直交変換し、元の伝送対象の信号に復号する復号装置による復号方法であって、
前記符号化信号から復号された二値化直交変換係数を直交変換係数に復号し、前記直交変換係数を逆直交変換し、第１の要素信号を生成するステップと、
前記二値化直交変換係数の最上位ビットに１を追加し、前記１を追加した二値化直交変換係数から直交変換係数を復号し、逆直交変換を行い、第２の要素信号を生成するステップと、
前記第１の要素信号と、既に復号された伝送対象の信号との間の差分量、もしくは前記差分量の二乗和、または相関値のうちの所定の第１の算出結果を求めるステップと、
前記第２の要素信号と、既に復号された伝送対象の信号との間の差分量、もしくは前記差分量の二乗和、または相関値のうちの前記所定の第２の算出結果を求めるステップと、
前記第１の算出結果と第２の算出結果とを比較することで、前記第１の要素信号または第２の要素信号のうちのいずれかの要素信号を元の伝送対象の信号として選択し、前記直交変換係数に重畳した制御信号を判定するステップと、
を有することを特徴とする復号方法。
【請求項１０】
コンピュータを、請求項１または２に記載の符号化装置として機能させるための符号化プログラム。
【請求項１１】
コンピュータを、請求項３から５までのうちのいずれか一項に記載の復号装置として機能させるための復号プログラム。
【図１】
【図２】
【図３】
【図４】
【図５】
【図６】
【図７】
【図８】
【図９】
【図１０】
【図１１】
【図１２】
【図１３】
【図１４】
【図１５】
【図２】
【図３】
【図４】
【図５】
【図６】
【図７】
【図８】
【図９】
【図１０】
【図１１】
【図１２】
【図１３】
【図１４】
【図１５】
【公開番号】特開２０１３−８５０４９（Ｐ２０１３−８５０４９Ａ）
【公開日】平成２５年５月９日（２０１３．５．９）
【国際特許分類】
【出願番号】特願２０１１−２２２４５０（Ｐ２０１１−２２２４５０）
【出願日】平成２３年１０月７日（２０１１．１０．７）
【出願人】（０００００４３５２）日本放送協会 (2,206)
【Ｆターム（参考）】
【公開日】平成２５年５月９日（２０１３．５．９）
【国際特許分類】
【出願日】平成２３年１０月７日（２０１１．１０．７）
【出願人】（０００００４３５２）日本放送協会 (2,206)
【Ｆターム（参考）】
[ Back to top ]