画像符号化装置、画像復号化装置、画像符号化・復号化システム及びその方法

【課題】復元用のデータサイズを削減し、復元後の画像における画質劣化の差異を発生させない。
【解決手段】元画像及び透かし画像を合成して透かし入り画像を生成する画像合成部１１と、画像合成部により生成された透かし入り画像を周波数変換して量子化する第１の周波数変換・量子化部１２ａと、元画像を周波数変換して量子化する第２の周波数変換・量子化部１２ｂと、第２の周波数変換・量子化部により算出されたデータのうち、第１の周波数変換・量子化部により算出されたデータと異なる部分のデータを抽出する差異抽出部１３ａと、第１の周波数変換・量子化部によるデータを圧縮符号化する第１の圧縮符号化部１４ａと、差異抽出部により抽出されたデータを圧縮符号化する第２の圧縮符号化部１４ｂとを備える。

【発明の詳細な説明】
【技術分野】
【０００１】
この発明は、例えば、元画像と透かし画像とを合成した透かし入り画像を符号化して符号化画像を生成する画像符号化装置と、画像符号化装置により生成された符号化画像を復号化して復元画像を生成する画像復号化装置とを備えた画像符号化・復号化システム及びその方法に関するものである。
【背景技術】
【０００２】
従来の画像符号化・復号化システムでは、入力した画像の圧縮符号化を行うにあたり、圧縮前の元画像の指定領域をダミー画像に置換して可逆圧縮符号化を行い、復号化処理を行う際に、このダミー画像を復号化した画像の指定領域を再置換することによって、可視付加情報の影響の残らない元画像を得ることを可能にしていた（例えば特許文献１参照）。
【０００３】
この特許文献１に開示される画像符号化・復号化システムでは、置換前の元画像とダミー画像のピクセル差分値を、元画像が復元できるように、画像全体に電子透かしとして埋めこむ方法を用いている。
【先行技術文献】
【特許文献】
【０００４】
【特許文献１】特開２００４−２２８８７６号公報
【発明の概要】
【発明が解決しようとする課題】
【０００５】
しかしながら、特許文献１に開示される従来の画像符号化・復号化システムでは、画像同士のピクセル差分値を元画像の復元用データとしているので、ダミー画像が大きくなればなるほど、復元用データのデータサイズが膨大になるという課題があった。
【０００６】
また、ダミー画像の差分値をとる対象が符号化前の元画像であるため、電子透かしとして埋めこんだピクセル差分値とダミー画像のピクセル値を用いて復元される画像は、当然のことながら符号化前の元画像になる。一方で、復元対象となっていない、すなわち元々ダミー画像に置き換わっていない画像領域の部分については、符号化後の劣化した画像となるため、復元後の画像全体を見た場合、ダミー画像に置き換わっている領域と置き換わっていない領域との画質劣化の差が目に付くことになり、かえって主観的な画質の劣化を感じさせてしまうことになりかねないという課題があった。
【０００７】
この発明は上記のような課題を解決するためになされたもので、復元用のデータサイズを削減し、なおかつ、復元後の画像における画質劣化の差異を発生させない復元を行うことができる画像符号化装置、画像復号化装置、画像符号化・復号化システム及びその方法を提供することを目的としている。
【課題を解決するための手段】
【０００８】
この発明に係る画像符号化装置は、元画像及び透かし画像を合成して透かし入り画像を生成する画像合成部と、画像合成部により生成された透かし入り画像を周波数変換して量子化する第１の周波数変換・量子化部と、元画像を周波数変換して量子化する第２の周波数変換・量子化部と、第２の周波数変換・量子化部により算出されたデータのうち、第１の周波数変換・量子化部により算出されたデータと異なる部分のデータを抽出する差異抽出部と、第１の周波数変換・量子化部によるデータを圧縮符号化する第１の圧縮符号化部と、差異抽出部により抽出されたデータを圧縮符号化する第２の圧縮符号化部とを備えるものである。
【発明の効果】
【０００９】
この発明によれば、上記のように構成したので、元画像と透かし入り画像の差異部分のデータのみ抽出して圧縮符号化することにより復元用のデータを生成するようにしたので、復元用のデータサイズを削減することができ、なおかつ、復元後の画像における画質劣化の差異を発生させない復元を行うことができる。
【図面の簡単な説明】
【００１０】
【図１】この発明の実施の形態１に係る画像符号化装置を示す構成図である。
【図２】この発明の実施の形態１に係る画像符号化装置による符号化処理を示すフローチャートである。
【図３】この発明の実施の形態１における画像合成部による画像合成の一例を示す図である。
【図４】この発明の実施の形態１における画像合成部による画像合成の他の例を示す図である。
【図５】この発明の実施の形態１における画像合成部による画像合成のさらに他の例を示す図である。
【図６】この発明の実施の形態１におけるＭＣＵを説明する図である。
【図７】この発明の実施の形態１における差異抽出部による差異部分抽出方法を説明する図である。
【図８】この発明の実施の形態１に係る画像符号化装置の別の例を示す構成図である。
【図９】この発明の実施の形態２に係る画像復号化装置を示す構成図である。
【図１０】この発明の実施の形態２に係る画像復号化装置による復号化処理を示すフローチャートである。
【図１１】この発明の実施の形態３に係る画像符号化装置を示す構成図である。
【図１２】この発明の実施の形態３に係る画像符号化装置による符号化処理を示すフローチャートである。
【図１３】この発明の実施の形態３における差異抽出部による差異部分抽出方法を説明する図である。
【図１４】この発明の実施の形態３に係る画像復号化装置を示す構成図である。
【図１５】この発明の実施の形態３に係る画像復号化装置による復号化処理を示すフローチャートである。
【図１６】この発明の実施の形態４に係る画像符号化装置を示す構成図である。
【図１７】この発明の実施の形態４に係る画像符号化装置による符号化処理を示すフローチャートである。
【図１８】この発明の実施の形態４に係る画像復号化装置を示す構成図である。
【図１９】この発明の実施の形態４に係る画像復号化装置による復号化処理を示すフローチャートである。
【図２０】この発明の実施の形態５に係る画像符号化装置を示す構成図である。
【図２１】この発明の実施の形態５に係る画像復号化装置を示す構成図である。
【発明を実施するための形態】
【００１１】
以下、この発明の実施の形態について図面を参照しながら詳細に説明する。
実施の形態１．
図１はこの発明の実施の形態１に係る画像符号化・復号化システムの画像符号化装置１０を示す構成図である。以下、この画像符号化装置１０により生成する符号化画像の対象として、ＪＰＥＧ画像を用いた場合について説明する。
画像符号化装置１０は、図１に示すように、画像合成部１１、ＤＣＴ（Discrete Cosine Transformation）変換・量子化部１２ａ，１２ｂ、差異抽出部１３ａ及びエントロピー符号化部１４ａ，１４ｂから構成される。
【００１２】
画像合成部１１は、元画像と、この元画像に可視透かしとして挿入するための可視透かし画像とを入力し、この元画像データに可視透かし画像を重畳させる等によって合成して透かし入り画像を生成するものである。この画像合成部１１により生成された透かし入り画像はＤＣＴ変換・量子化部１２ａに送信される。
【００１３】
ＤＣＴ変換・量子化部（第１の周波数変換・量子化部）１２ａは、画像合成部１１から送信された透かし入り画像をＤＣＴ変換（周波数変換）して、さらに量子化して、量子化ＤＣＴ係数を算出するものである。このＤＣＴ変換・量子化部１２ａにより算出された透かし入り画像の量子化ＤＣＴ係数を示す量子化ＤＣＴ係数データは差異抽出部１３ａ及びエントロピー符号化部１４ａに送信される。
【００１４】
ＤＣＴ変換・量子化部（第２の周波数変換・量子化部）１２ｂは、入力した元画像をＤＣＴ変換して、さらに量子化して、量子化ＤＣＴ係数を算出するものである。このＤＣＴ変換・量子化部１２ｂにより算出された元画像の量子化ＤＣＴ係数を示す量子化ＤＣＴ係数データは差異抽出部１３ａに送信される。
【００１５】
差異抽出部１３ａは、ＤＣＴ変換・量子化部１２ａから送信された透かし入り画像の量子化ＤＣＴ係数データ及びＤＣＴ変換・量子化部１２ｂから送信された元画像の量子化ＤＣＴ係数データに基づいて、両者の量子化ＤＣＴ係数を比較して、差異部分に該当する元画像の量子化ＤＣＴ係数を抽出するものである。この差異抽出部１３ａにより抽出された量子化ＤＣＴ係数を示す量子化ＤＣＴ係数データはエントロピー符号化部１４ｂに送信される。
【００１６】
エントロピー符号化部（第１の圧縮符号化部）１４ａは、ＤＣＴ変換・量子化部１２ａから送信された透かし入り画像の量子化ＤＣＴ係数データに基づいて、ハフマン符号を用いたエントロピー符号化（圧縮符号化）を行い符号化画像データを算出するものである。
【００１７】
エントロピー符号化部（第２の圧縮符号化部）１４ｂは、差異抽出部１３ａから送信された差異部分の元画像の量子化ＤＣＴ係数データに基づいて、ハフマン符号を用いたエントロピー符号化を行い符号化画像データ（拡張データ）を算出するものである。
【００１８】
次に、上記のように構成される画像符号化装置１０の動作について説明する。図２は、この発明の実施の形態１に係る画像符号化装置１０による符号化処理を示すフローチャートである。
この画像符号化装置１０による符号化処理では、図２に示すように、まず、画像合成部１１は透かし入り画像を生成する（ステップＳＴ２１）。すなわち、画像合成部１１は、入力した元画像に可視透かし画像を重畳させて合成することにより透かし入り画像を生成する。
【００１９】
図３〜５はこの発明の実施の形態１における画像合成部１１による画像合成の例を示す図である。ここで、元画像は非圧縮のビットマップ画像であり、可視透かし画像は元画像と同サイズで非圧縮のビットマップ画像である。この可視透かし画像は、挿入するロゴが含まれた領域（図３〜５に示す灰色の領域）のみ画素値が０ではなく、その他の領域は画素値が０となっている。
画像合成部１１は、図３に示すように、元画像の各画素値に、可視透かし画像の対応する位置の画素値を加算していくことで、透かし入り画像を生成する。例えば、元画像のある位置の画素値をＰとして、可視透かし画像の元画像の画素値Ｐに対応する位置の画素値をＱとした場合、透かし入り画像の元画像の画素値Ｐに対応する位置の画素値はＰ＋Ｑとなる。
【００２０】
または、図４に示すように、０＜α＜１である定数値αを用いて、α×Ｐ＋（１−α）×Ｑを透かし入り画像の元画像に対応する位置の画素値とすることで、透過的な透かし入り画像を生成することもできる。
【００２１】
また、可視透かし画像は必ずしも元画像と同サイズである必要はなく、例えば、図５に示すように、可視透かし画像をロゴを挿入する領域のみの画像サイズとし、元画像における挿入位置座標（例えばロゴ領域の左上座標）を画像合成部１１に別途指定する方法により透かし入り画像を生成してもよい。
この画像合成部１１により生成された透かし入り画像はＤＣＴ変換・量子化部１２ａに送信される。
【００２２】
次いで、ＤＣＴ変換・量子化部１２ａは透かし入り画像の量子化ＤＣＴ係数を算出する（ステップＳＴ２２）。すなわち、ＤＣＴ変換・量子化部１２ａは、画像合成部１１から送信された透かし入り画像をＤＣＴ変換して、さらに量子化を行うことにより量子化ＤＣＴ係数を算出する。具体的には、この実施の形態１では、符号化画像のフォーマットはＪＰＥＧであるので、ＤＣＴ変換・量子化部１２ａは、透かし入り画像を横８画素×縦８画素のブロック単位で区切った上で、ブロック毎にＤＣＴ変換を行い、所定の量子化テーブルに従ってＤＣＴ係数を量子化した量子化ＤＣＴ係数を算出する。このＤＣＴ変換・量子化部１２ａにより算出された透かし入り画像の量子化ＤＣＴ係数を示す量子化ＤＣＴ係数データは差異抽出部１３ａ及びエントロピー符号化部１４ａに送信される。
【００２３】
一方、ＤＣＴ変換・量子化部１２ｂは元画像の量子化ＤＣＴ係数を算出する（ステップＳＴ２３）。すなわち、ＤＣＴ変換・量子化部１２ｂは、入力した元画像をＤＣＴ変換して、さらに量子化を行うことにより量子化ＤＣＴ係数を算出する。具体的には、ＤＣＴ変換・量子化部１２ｂは、元画像を横８画素×縦８画素のブロック単位で区切った上で、ブロック毎にＤＣＴ変換を行い、所定の量子化テーブルに従ってＤＣＴ係数を量子化した量子化ＤＣＴ係数を算出する。このＤＣＴ変換・量子化部１２ｂにより算出された元画像の量子化ＤＣＴ係数を示す量子化ＤＣＴ係数データは差異抽出部１３ａに送信される。
【００２４】
次いで、差異抽出部１３ａは差異部分を抽出する（ステップＳＴ２４）。すなわち、差異抽出部１３ａは、ＤＣＴ変換・量子化部１２ａから送信された透かし入り画像の量子化ＤＣＴ係数データと、ＤＣＴ変換・量子化部１２ｂから送信された元画像の量子化ＤＣＴ係数データとを比較し、その差異部分に該当する元画像の量子化ＤＣＴ係数を抽出する。
【００２５】
ここで、ＪＰＥＧフォーマットの場合、量子化ＤＣＴ係数はＭＣＵ（Minimum Coded Unit）という単位でまとめられている。このＭＣＵは、図６に示すように、横８画素×縦８画素のブロックを近隣４ブロック分集めた横１６画素×縦１６画素のブロック単位で、輝度Ｙ成分、２つの色差Ｃｂ，Ｃｒ成分の量子化ＤＣＴ係数をまとめたデータ単位である。
【００２６】
この差異抽出部１３ａによるＭＣＵを用いた差異部分抽出方法としては、例えば図７に示すように、ＭＣＵ単位で、透かし入り画像の量子化ＤＣＴ係数と元画像の量子化ＤＣＴ係数との比較を行い、異なる量子化ＤＣＴ係数を有する元画像のＭＣＵのみを集めて抽出する方法がある。なお、図示はしていないが、差異抽出部１３ａは、どの部分のＭＣＵを抽出したのかを示すＭＣＵの位置情報を、抽出した量子化ＤＣＴ係数データに付加情報として付随する。
この差異抽出部１３ａにより抽出された差異部分の元画像の量子化ＤＣＴ係数を示す量子化ＤＣＴ係数データはエントロピー符号化部１４ｂに送信される。
【００２７】
次いで、エントロピー符号化部１４ａは符号化画像を生成する（ステップＳＴ２５）。すなわち、エントロピー符号化部１４ａは、ＤＣＴ変換・量子化部１２ａから送信された透かし入り画像の量子化ＤＣＴ係数データに対して、ハフマン符号を用いたエントロピー符号化を行うことによって、透かし入り画像をＪＰＥＧ画像として圧縮させた符号化画像を生成する。なお、この画像符号化装置１０では、ＪＰＥＧヘッダを生成する部分に対する処理については説明を省略する。
【００２８】
一方、エントロピー符号化部１４ｂは拡張データを生成する（ステップＳＴ２６）。すなわち、エントロピー符号化部１４ｂは、差異抽出部１３ａから送信された差異部分の元画像の量子化ＤＣＴ係数データに対して、ハフマン符号を用いたエントロピー符号化を行うことによって拡張データを生成する。この拡張データは、元画像に相当する復元画像を生成するのに必要なデータとなる。
【００２９】
なお、ステップＳＴ２１はこの発明の画像合成ステップに対応し、ステップＳＴ２２はこの発明の第１のＤＣＴ変換・量子化ステップに対応し、ステップＳＴ２３はこの発明の第２のＤＣＴ変換・量子化ステップに対応し、ステップＳＴ２４はこの発明の差異抽出ステップに対応し、ステップＳＴ２５はこの発明の第１の圧縮符号化ステップに対応し、ステップＳＴ２６はこの発明の第２の圧縮符号化ステップに対応する。
【００３０】
また、図８に示すように、図１に示す画像符号化装置１０の構成に、エントロピー符号化部１４ａにより生成された符号化画像と、エントロピー符号化部１４ｂにより生成された拡張データとを１つにまとめたＪＰＥＧ画像ファイルを生成する画像出力部１５を設けてもよい。この場合、例えば、ＪＰＥＧフォーマットのＡＰＰｎセグメント（アプリケーションデータ）に拡張データを格納するという方式が考えられる。
【００３１】
以上のように、この発明の実施の形態１によれば、元画像と可視透かし画像とを合成して生成した透かし入り画像に対してＤＣＴ変換・量子化を行い、エントロピー符号化することにより符号化画像を生成する一方、透かし入り画像の量子化ＤＣＴ係数との差異部分に該当する元画像の量子化ＤＣＴ係数をエントロピー符号化するように構成したので、符号化画像から元画像に相当する復元画像を生成するのに必要な拡張データを生成することが可能になる（復元の方法については、次の実施の形態にて記載する）。この際、透かし入り画像との差異部分に該当する元画像の量子化ＤＣＴ係数のみを抽出した上でエントロピー符号化しているため、拡張データのデータサイズを削減することができる。
【００３２】
なお、実施の形態１に係る画像符号化装置１０では、ＪＰＥＧ圧縮を例に挙げたが、この画像符号化装置１０による各処理は必ずしもこの記載にとどまるものではない。例えば、画像合成部１１は、画像合成の手法として各画素値の単純加算や透過的加算に限定されるものではなく、ＤＣＴ変換・量子化部１２ａ，１２ｂは、周波数変換の手法としてＤＣＴ変換のみに限定されるものではなく、差異抽出部１３ａは、ＭＣＵ単位のデータ比較に限定されるものではなく、エントロピー符号化部１４ａ，１４ｂは、圧縮符号化の手法としてハフマン符号を用いたエントロピー符号化のみに限定されるものではない。
【００３３】
実施の形態２．
実施の形態１では、透かし入り画像をエントロピー符号化した符号化画像及びこの符号化画像から元画像を復元するための拡張データを生成する画像符号化装置１０について示したが、実施の形態２では、この符号化画像及び拡張データを用いて元画像に相当する復元画像を生成する画像復号化装置２０について示す。
図９はこの発明の実施の形態２に係る画像符号化・復号化システムの画像復号化装置２０を示す構成図である。
画像復号化装置２０は、図９に示すように、エントロピー復号化部２１ａ，２１ｂ、差異復元部２２ａ及び逆量子化・ＤＣＴ逆変換部２３から構成される。
【００３４】
エントロピー復号化部（第１の圧縮復号化部）２１ａは、入力した符号化画像に対して、ハフマン符号を用いたエントロピー復号化（圧縮復号化）を行うものである。このエントロピー復号化部２１ａにより生成された透かし入り画像の量子化ＤＣＴ係数を示す量子化ＤＣＴ係数データは差異復元部２２ａに送信される。
【００３５】
エントロピー復号化部（第２の圧縮復号化部）２１ｂは、入力した拡張データに対して、ハフマン符号を用いたエントロピー復号化を行うものである。このエントロピー復号化部２１ｂにより生成された差異部分の元画像の量子化ＤＣＴ係数を示す量子化ＤＣＴ係数データは差異復元部２２ａに送信される。
【００３６】
差異復元部２２ａは、エントロピー復号化部２１ａから送信された透かし入り画像の量子化ＤＣＴ係数データと、エントロピー復号化部２１ｂから送信された差異部分の元画像の量子化ＤＣＴ係数データとに基づいて、元画像の量子化ＤＣＴ係数を生成するものである。この差異復元部２２ａにより生成された元画像の量子化ＤＣＴ係数を示す量子化ＤＣＴ係数データは逆量子化・ＤＣＴ逆変換部２３に送信される。
【００３７】
逆量子化・ＤＣＴ逆変換部（逆量子化・周波数逆変換部）２３は、差異復元部２２ａから送信された元画像の量子化ＤＣＴ係数データに対して、逆量子化した後に、ＤＣＴ逆変換（周波数逆変換）を行うことにより元画像に相当する復号画像を生成するものである。
【００３８】
次に、上記のように構成された画像復号化装置２０の動作について説明する。図１０はこの発明の実施の形態２に係る画像復号化装置２０による復号化処理を示すフローチャートである。
画像復号化装置２０による復号化処理では、図１０に示すように、まず、エントロピー復号化部２１ａは符号化画像の復号化を行う（ステップＳＴ１０１）。すなわち、エントロピー復号化部２１ａは、入力した符号化画像に対して、ハフマン符号を用いたエントロピー復号化を行うことによって、透かし入り画像の量子化ＤＣＴ係数を生成する。このエントロピー復号化部２１ａにより生成された量子化ＤＣＴ係数を示す量子化ＤＣＴ係数データは差異復元部２２ａに送信される。
【００３９】
一方、エントロピー復号化部２１ｂは拡張データの復号化を行う（ステップＳＴ１０２）。すなわち、エントロピー復号化部２１ｂは、入力した拡張データに対して、ハフマン符号を用いたエントロピー復号化を行うことによって、差異部分の元画像の量子化ＤＣＴ係数を生成する。このエントロピー復号化部２１ｂにより生成された量子化ＤＣＴ係数を示す量子化ＤＣＴ係数データは差異復元部２２ａに送信される。
【００４０】
次いで、差異復元部２２ａは元画像の量子化ＤＣＴ係数を復元する（ステップＳＴ１０３）。すなわち、差異復元部２２ａは、エントロピー復号化部２１ａから送信された透かし入り画像の量子化ＤＣＴ係数データと、エントロピー復号化部２１ｂから送信された差異部分の元画像の量子化ＤＣＴ係数データに基づいて、元画像の量子化ＤＣＴ係数を生成する。具体的には、差異復元部２２ａは、拡張データに付随されたＭＣＵの位置情報をもとに、元画像の量子化ＤＣＴ係数と差異部分である透かし入り画像の量子化ＤＣＴ係数に対して、対応する差異部分の元画像の量子化ＤＣＴ係数を置き換える。この差異復元部２２ａにより生成された元画像の量子化ＤＣＴ係数を示す量子化ＤＣＴ係数データは逆量子化・ＤＣＴ逆変換部２３に送信される。
【００４１】
次いで、逆量子化・ＤＣＴ逆変換部２３は復号画像を生成する（ステップＳＴ１０４）。すなわち、逆量子化・ＤＣＴ逆変換部２３は、差異復元部２２ａから送信された元画像の量子化ＤＣＴ係数データに対して、逆量子化を行いＤＣＴ係数に戻した後、ＤＣＴ逆変換を施すことで、元画像に相当する復号画像を生成する。なお、この実施の形態２に係る画像復号化装置２０において対象とするＪＰＥＧは非可逆圧縮を想定しているため、復号画像は元画像と必ずしも全く同一にはならない。
【００４２】
なお、ステップＳＴ１０１はこの発明の第１の圧縮復号化ステップに対応し、ステップＳＴ１０２はこの発明の第２の圧縮復号化ステップに対応し、ステップＳＴ１０３はこの発明の差異復元ステップに対応し、ステップＳＴ１０４はこの発明の逆量子化・ＤＣＴ逆変換ステップに対応する。
【００４３】
以上のように、この発明の実施の形態２によれば、符号化画像及び拡張データをエントロピー復号化し、透かし画像の量子化ＤＣＴ係数データの対応する位置の量子化ＤＣＴ係数を差異部分の元画像の量子化ＤＣＴ係数で置き換えるように構成したので、可視透かし画像を挿入前の元画像、正確には元画像をＪＰＥＧ圧縮した画像データを復号することができる。また、従来の画像復号化装置のように、可視透かし画像に相当する領域とそれ以外の領域とで画質の劣化の度合いが異なる現象が発生することはなくなり、劣化の差異による主観的な画質の劣化を感じさせることもなくなる。
【００４４】
実施の形態３．
実施の形態１は、画像符号化装置１０において透かし入り画像の量子化ＤＣＴ係数との差異部分である元画像の量子化ＤＣＴ係数を抽出することにより拡張データを生成するものであるが、実施の形態３は、透かし入り画像の量子化ＤＣＴ係数と元画像の量子化ＤＣＴ係数の差分値を用いて拡張データを生成するものである。
図１１はこの発明の実施の形態３に係る画像符号化・復号化システムの画像符号化装置１０を示す構成図である。図１１に示す実施の形態３に係る画像符号化装置１０は、図１に示す実施の形態１に係る画像符号化装置１０の構成の差異抽出部１３ａを差分抽出部１３ｂに変更し、エントロピー符号化部１４ｂをエントロピー符号化部１４ｃに変更したものであり、その他の構成は同様であり同一の符号を付しその説明を省略する。
【００４５】
差分抽出部１３ｂは、ＤＣＴ変換・量子化部１２ａから送信された透かし入り画像の量子化ＤＣＴ係数データ及びＤＣＴ変換・量子化部１２ｂから送信された元画像の量子化ＤＣＴ係数データに基づいて、両者の量子化ＤＣＴ係数を比較して、差分値を算出して抽出するものである。この差分抽出部１３ｂにより算出された差分値を示す差分値データはエントロピー符号化部１４ｃに送信される。
【００４６】
エントロピー符号化部（第３の圧縮符号化部）１４ｃは、差分抽出部１３ｂから送信された差分値データに基づいて、ハフマン符号を用いたエントロピー符号化を行い拡張データを算出するものである。
【００４７】
次に、上記のように構成された画像符号化装置１０の動作について説明する。図１２はこの実施の形態３に係る画像符号化装置１０による符号化処理を示すフローチャートである。
この図１２に示す実施の形態３に係る画像符号化装置１０による符号化処理において、図２に示す実施の形態１に係る画像符号化装置１０による符号化処理と同様の処理については同一の符号を付し説明を簡略化する。
【００４８】
画像符号化装置１０による符号化処理では、図１２に示すように、まず、画像合成部１１は透かし入り画像を生成する（ステップＳＴ２１）。次いで、ＤＣＴ変換・量子化部１２ａは透かし入り画像の量子化ＤＣＴ係数を算出し、ＤＣＴ変換・量子化部１２ｂは元画像の量子化ＤＣＴ係数を算出する（ステップＳＴ２２，ＳＴ２３）。
【００４９】
次いで、差分抽出部１３ｂは差分値データを算出する（ステップＳＴ１２１）。すなわち、差分抽出部１３ｂは、ＤＣＴ変換・量子化部１２ａから送信された透かし入り画像の量子化ＤＣＴ係数データと、ＤＣＴ変換・量子化部１２ｂから送信された元画像の量子化ＤＣＴ係数データとを比較し、図１３に示すように、ＭＣＵ単位で、元画像の量子化ＤＣＴ係数のバイト値から、透かし入り画像の量子化ＤＣＴ係数のバイト値を減算した差分値を算出する。そして、差分値が全て０であったＭＣＵ（差異のないＭＣＵ）は無視し、０ではない差分値を含むＭＣＵのみを抽出する。なお、図示はしていないが、差分抽出部１３ｂは、どの部分のＭＣＵを抽出したのかを示すＭＣＵの位置情報を、抽出した量子化ＤＣＴ係数データに付加情報として付随する。
この差分抽出部１３ｂにより算出された差分値を示す差分値データはエントロピー符号化部１４ｃに送信される。
【００５０】
次いで、エントロピー符号化部１４ａは符号化画像を生成する（ステップＳＴ２５）。
一方、エントロピー符号化部１４ｃは拡張データを生成する（ステップＳＴ１２２）。すなわち、エントロピー符号化部１４ｃは、差分抽出部１３ｂから送信された差分値データに対して、ハフマン符号を用いたエントロピー符号化を行うことによって拡張データを生成する。この拡張データは、元画像に相当する復元画像を生成するのに必要なデータとなる。
【００５１】
次に、上記の画像符号化装置１０により符号化された符号化画像及び拡張データを用いて、元画像に相当する復号画像を生成する画像復号化装置２０について説明する。
図１４はこの発明の実施の形態３に係る画像符号化・復号化システムの画像復号化装置２０を示す構成図である。図１４に示す実施の形態３に係る画像復号化装置２０は、図９に示す実施の形態２に係る画像復号化装置２０の構成の差異復元部２２ａを差分復元部２２ｂに変更したものであり、その他の構成は同様であり同一の符号を付しその説明を省略する。
【００５２】
なお、エントロピー復号化部２１ｂは、受信した拡張データに対して、ハフマン符号を用いたエントロピー復号化を行い差分値データを生成する。このエントロピー復号化部２１ｂにより生成された差分値データは差分復元部２２ｂに送信される。
【００５３】
差分復元部２２ｂは、エントロピー復号化部２１ａから送信された透かし入り画像の量子化ＤＣＴ係数データと、エントロピー復号化部２１ｂから送信された差分値データとに基づいて、元画像の量子化ＤＣＴ係数を生成するものである。この差分復元部２２ｂにより生成された元画像の量子化ＤＣＴ係数を示す量子化ＤＣＴ係数データは逆量子化・ＤＣＴ逆変換部２３に送信される。
【００５４】
次に、上記のように構成される画像復号化装置２０の動作について説明する。図１５はこの実施の形態３に係る画像復号化装置２０による復号化処理を示すフローチャートである。この図１５に示す実施の形態３に係る画像復号化装置２０による復号化処理において、図１０に示す実施の形態２に係る画像復号化装置２０による復号化処理と同様の処理については同一の符号を付し説明を簡略化する。
【００５５】
画像復号化装置２０による復号化処理では、図１５に示すように、まず、エントロピー復号化部２１ａは符号化画像の復号化を行う（ステップＳＴ１０１）。
一方、エントロピー復号化部２１ｂは拡張データの復号化を行う（ステップＳＴ１５１）。すなわち、エントロピー復号化部２１ｂは、受信した拡張データに対して、ハフマン符号を用いたエントロピー復号化を行うことによって差分値データを生成する。このエントロピー復号化部２１ｂにより生成された差分値データは差分復元部２２ｂに送信される。
【００５６】
次いで、差分復元部２２ｂは元画像の量子化ＤＣＴ係数を復元する（ステップＳＴ１５２）。すなわち、差分復元部２２ｂは、エントロピー復号化部２１ａから送信された透かし入り画像の量子化ＤＣＴ係数データと、エントロピー復号化部２１ｂから送信された差分値データに基づいて、元画像の量子化ＤＣＴ係数を生成する。具体的には、差分復元部２２ｂは、拡張データに付随されたＭＣＵの位置情報をもとに、元画像の量子化ＤＣＴ係数と差異部分である透かし入り画像の量子化ＤＣＴ係数に対して、対応する差分値を加算する。この差分復元部２２ｂにより生成された元画像の量子化ＤＣＴ係数を示す量子化ＤＣＴ係数データは逆量子化・ＤＣＴ逆変換部２３に送信される。
次いで、逆量子化・ＤＣＴ逆変換部２３は復号画像を生成する（ステップＳＴ１０４）。
【００５７】
なお、ステップＳＴ１２１はこの発明の差分抽出ステップに対応し、ステップＳＴ１２２はこの発明の第３の圧縮符号化ステップに対応し、ステップＳＴ１５２はこの発明の差分復元ステップに対応する。
【００５８】
以上のように、この発明の実施の形態３によれば、透かし入り画像をＤＣＴ変換し量子化してエントロピー符号化することにより符号化画像を生成する一方、差異部分の透かし入り画像の量子化ＤＣＴ係数と元画像の量子化ＤＣＴ係数との差分値をエントロピー符号化するように構成したので、元画像を復元するのに必要な拡張データを生成することが可能になる。
【００５９】
また、この際、差異部分の透かし入り画像の量子化ＤＣＴ係数と元画像の量子化ＤＣＴ係数との差分値のみを抽出した上でエントロピー符号化しているため、拡張データのデータサイズを削減することができる。
この方法は、画像合成部１１における画像合成において、図３に示したような透過的な加算による重畳を行う場合に特に効果が高い。透過的加算の場合は、合成後の透かし入り画像に元画像の影響が多分に残るため、元画像と透かし入り画像との各々の量子化ＤＣＴ係数同士の値が一致する、あるいは比較的近い値になる部分が多く発生することが予想される。そのため、その差分値データについては、０または０に近い値が多く発生する可能性が高く、このような場合にエントロピー符号化を行うとその圧縮効果が大きく得られる可能性が高いため、データ削減効果が大きくなる。
【００６０】
なお、この実施の形態３に係る画像符号化装置１０では、ＪＰＥＧ圧縮を例に挙げた場合を示したものであるが、この画像符号化装置１０による各処理は必ずしもこの記載にとどまるものではないことは、実施の形態１と同様である。
【００６１】
実施の形態４．
実施の形態１では、差異抽出部により量子化ＤＣＴ係数の差異部分を抽出することにより拡張データを生成し、実施の形態３では、差分抽出部により量子化ＤＣＴ係数の差分値を算出することより拡張データを生成したが、実施の形態４は、差異抽出部による処理及び差分抽出部による処理をデータ量に基づいて選択するものである。
図１６はこの発明の実施の形態４に係る画像符号化・復号化システムの画像符号化装置１０を示す構成図である。図１６に示す実施の形態４に係る画像符号化装置１０は、図１に示す実施の形態１に係る画像符号化装置１０の構成に差分抽出部１３ｂ、エントロピー符号化部１４ｃ及びデータ選択部１６を追加したものであり、その他の構成は同様であり同一の符号を付しその説明を省略する。
【００６２】
データ選択部１６は、エントロピー符号化部１４ｂから送信された差異部分の量子化ＤＣＴ係数データに基づく拡張データと、エントロピー符号化部１４ｃから送信された差分値データに基づく拡張データとを比較し、データ量の小さい方を選択して出力するものである。
【００６３】
次に、上記のように構成された画像符号化装置１０による符号化処理について説明する。
図１７はこの実施の形態４に係る画像符号化装置１０による符号化処理を示すフローチャートである。この図１７に示す実施の形態４に係る画像符号化装置１０による符号化処理において、図２に示す実施の形態１に係る画像符号化装置１０による符号化処理及び図１２に示す実施の形態３に係る画像符号化装置１０による符号化処理と同様の処理については同一の符号を付し説明を簡略化する。
【００６４】
画像符号化装置１０による符号化処理では、図１７に示すように、まず、画像合成部１１は透かし入り画像を生成する（ステップＳＴ２１）。次いで、ＤＣＴ変換・量子化部１２ａは透かし入り画像の量子化ＤＣＴ係数を算出し、ＤＣＴ変換・量子化部１２ｂは元画像の量子化ＤＣＴ係数を算出する（ステップＳＴ２２，ＳＴ２３）。このＤＣＴ変換・量子化部１２ａ，１２ｂにより算出された量子化ＤＣＴ係数を示す量子化ＤＣＴ係数データは差異抽出部１３ａ及び差分抽出部１３ｂに送信される。
次いで、差異抽出部１３ａは差異部分を抽出する（ステップＳＴ２４）。一方、差分抽出部１３ｂは差分値データを算出する（ステップＳＴ１２１）。なお、ステップＳＴ２４，ＳＴ１２１は並列的に処理される。
【００６５】
次いで、エントロピー符号化部１４ａは符号化画像を生成する（ステップＳＴ２５）。
一方、エントロピー符号化部１４ｂは差異抽出部１３ａから送信された差異部分の元画像の量子化ＤＣＴ係数データをエントロピー符号化して拡張データを生成する（ステップＳＴ２６）。このエントロピー符号化部１４ｂにより生成された拡張データはデータ選択部１６に送信される。
一方、エントロピー符号化部１４ｃは差分抽出部１３ｂから送信された差分値データをエントロピー符号化して拡張データを生成する（ステップＳＴ１２２）。このエントロピー符号化部１４ｃにより生成された拡張データはデータ選択部１６に送信される。
なお、ステップＳＴ２６，ＳＴ１２２は並列的に処理される。
【００６６】
次いで、データ選択部１６は拡張データを選択する（ステップＳＴ１７１）。すなわち、データ選択部１６は、エントロピー符号化部１４ｂとエントロピー符号化部１４ｃとで並列的に処理された拡張データを受信し、両者の拡張データのデータ量をＭＣＵ単位で比較して、よりデータ量の少ない拡張データを選択して出力する。
なお、図示はしていないが、データ選択部１６は、選択した拡張データが差異部分の元画像の量子化ＤＣＴ係数データまたは差分値データのどちらであるかを示す選択情報を、選択した拡張データに付加情報として付随する。
【００６７】
次に、上記の画像符号化装置１０により符号化された符号化画像及び拡張データを用いて、元画像に相当する復号画像を生成する画像復号化装置２０について説明する。
図１８はこの発明の実施の形態４に係る画像符号化・復号化システムの画像復号化装置２０を示す構成図である。図１８に示す実施の形態４に係る画像復号化装置２０は、図９に示す実施の形態１に係る画像復号化装置２０の構成に、差分復元部２２ｂ及びデータ判定部２４を追加したものであり、その他の構成は同様であり同一の符号を付しその説明を省略する。
【００６８】
なお、エントロピー復号化部２１ｂは、受信した拡張データに対して、ハフマン符号を用いたエントロピー復号化を行い量子化ＤＣＴ係数データまたは差分値データを生成する。このエントロピー復号化部２１ｂにより生成されたデータはデータ判定部２４に送信される。
【００６９】
データ判定部２４は、拡張データに付与されている付加情報に含まれる選択情報に基づいて、エントロピー復号化部２１ｂから送信されたデータが差異部分の元画像の量子化ＤＣＴ係数データまたは差分値データのどちらであるかを判定する。データ判定部２４は、エントロピー復号化部２１ｂから送信されたデータが差異部分の元画像の量子化ＤＣＴ係数データであると判定した場合には、このデータを差異復元部２２ａに送信する。一方、データ判定部２４は、エントロピー復号化部２１ｂから送信されたデータが差分値データであると判定した場合には、このデータを差分復元部２２ｂに送信する。
【００７０】
次に、上記のように構成される画像復号化装置２０の動作について説明する。図１９はこの実施の形態４に係る画像復号化装置２０による復号化処理を示すフローチャートである。この図１９に示す実施の形態４に係る画像復号化装置２０による復号化処理において、図１０に示す実施の形態２に係る画像復号化装置２０による復号化処理及び図１５に示す実施の形態３に係る画像復号化装置２０による復号化処理と同様の処理については同一の符号を付し説明を簡略化する。
【００７１】
画像復号化装置２０による復号化処理では、図１９に示すように、まず、エントロピー復号化部２１ａは符号化画像の復号化を行う（ステップＳＴ１０１）。一方、エントロピー復号化部２１ｂは拡張データの復号化を行う（ステップＳＴ１９１）。すなわち、エントロピー復号化部２１ｂは、受信した拡張データに対して、ハフマン符号を用いたエントロピー復号化を行うことによって、差異部分の元画像の量子化ＤＣＴ係数データまたは差分値データを生成する。このエントロピー復号化部２１ｂにより生成されたデータはデータ判定部２４に送信される。
【００７２】
次いで、データ判定部２４は受信したデータが量子化ＤＣＴ係数データであるかを判定する（ステップＳＴ１９２）。すなわち、データ判定部２４は、拡張データに付与されている付加情報に含まれる選択情報に基づいて、エントロピー復号化部２１ｂから送信されたデータが差異部分の元画像の量子化ＤＣＴ係数データであるか否かを判定する。
【００７３】
このステップＳＴ１９２において、データ判定部２４が受信したデータは差異部分の元画像の量子化ＤＣＴ係数データであると判定した場合には、このデータを差異復元部２２ａに送信し、次いで、差異復元部２２ａは元画像の量子化ＤＣＴ係数を復元する（ステップＳＴ１０３）。
一方、ステップＳＴ１９２において、データ判定部２４が受信したデータは差分値データであると判定した場合には、このデータを差分復元部２２ｂに送信し、次いで、差分復元部２２ｂは元画像の量子化ＤＣＴ係数を復元する（ステップＳＴ１５２）。
次いで、逆量子化・ＤＣＴ逆変換部２３は復号画像を生成する（ステップＳＴ１０４）。
【００７４】
なお、ステップＳＴ１７１はこの発明のデータ選択ステップに対応し、ステップＳＴ１９２はこの発明のデータ判定ステップに対応する。
【００７５】
以上のように、この実施の形態４によれば、画像符号化装置１０において符号化を行う際に、差異部分の元画像の量子化ＤＣＴ係数データと差分値データのうちのデータ量の小さいデータを拡張データとして選択するように構成したので、実施の形態１〜３の効果に加えて、拡張データのさらなるデータ削減を行うことができる。
【００７６】
実施の形態５．
実施の形態１は、元画像と透かし入り画像と元画像との差異部分の量子化ＤＣＴ係数の抽出することによって拡張データを生成するものであるが、実施の形態５は、このデータを暗号化するものである。
図２０はこの発明の実施の形態５に係る画像符号化・復号化システムの画像符号化装置１０を示す構成図である。図２０に示す実施の形態５に係る画像符号化装置１０において、図１に示す実施の形態１に係る画像符号化装置１０の構成に、エントロピー符号化部１４ｂから送信された拡張データを暗号化するデータ暗号化部１７を追加したものである。
【００７７】
また、図２１はこの発明の実施の形態５に係る画像符号化・復号化システムの画像復号化装置２０を示す構成図である。図２１に示す実施の形態５に係る画像復号化装置２０において、図９に示す実施の形態２に係る画像復号化装置２０の構成に、入力した拡張データが暗号化されている場合にこの暗号化の解除を行う暗号化復号部２５を追加したものである。
【００７８】
なお、この実施の形態５に係る画像符号化装置１０のデータ暗号化部１７及び画像復号化装置２０の暗号化復号部２５は、実施の形態１に係る画像符号化装置１０及び実施の形態２に係る画像復号化装置２０だけでなく、実施の形態３、４に係る画像符号化装置１０及び画像復号化装置２０に対しても、同様に適用可能である。
【００７９】
以上のように、この発明の実施の形態５によれば、拡張データを暗号化するように構成したので、透かし入り画像による元画像の復元を制限することが可能である。すなわち、例えば暗号の復号に必要な鍵を持つ限られたユーザのみが元画像を復元することができ、その他のユーザによる元画像への復元を禁止することができる。
【符号の説明】
【００８０】
１０画像符号化装置、１１画像合成部、１２ａＤＣＴ変換・量子化部（第１の周波数変換・量子化部）、１２ｂＤＣＴ変換・量子化部（第２の周波数変換・量子化部）、１３ａ差異抽出部、１３ｂ差分抽出部、１４ａエントロピー符号化部（第１の圧縮符号化部）、１４ｂエントロピー符号化部（第２の圧縮符号化部），１４ｃエントロピー符号化部（第３の圧縮符号化部）、１５画像出力部、１６データ選択部、１７データ暗号化部、２０画像復号化装置、２１ａエントロピー復号化部（第１の圧縮復号化部）２１ｂエントロピー復号化部（第２の圧縮復号化部）、２２ａ差異復元部、２２ｂ差分復元部、２３逆量子化・ＤＣＴ逆変換部（逆量子化・周波数逆変換部）、２４データ判定部、２５暗号化復号部。

【特許請求の範囲】
【請求項１】
元画像及び透かし画像を合成して透かし入り画像を生成する画像合成部と、
前記画像合成部により生成された透かし入り画像を周波数変換して量子化する第１の周波数変換・量子化部と、
前記元画像を周波数変換して量子化する第２の周波数変換・量子化部と、
前記第２の周波数変換・量子化部により算出されたデータのうち、前記第１の周波数変換・量子化部により算出されたデータと異なる部分のデータを抽出する差異抽出部と、
前記第１の周波数変換・量子化部によるデータを圧縮符号化する第１の圧縮符号化部と、
前記差異抽出部により抽出されたデータを圧縮符号化する第２の圧縮符号化部と
を備える画像符号化装置。
【請求項２】
元画像と透かし画像を合成して透かし入り画像を生成する画像合成部と、
前記画像合成部により生成された透かし入り画像を周波数変換して量子化する第１の周波数変換・量子化部と、
前記元画像を周波数変換して量子化する第２の周波数変換・量子化部と、
前記第２の周波数変換・量子化部により算出されたデータから前記第１の周波数変換・量子化部により算出されたデータを減算したデータを抽出する差分抽出部と、
前記第１の周波数変換・量子化部によるデータを圧縮符号化する第１の圧縮符号化部と、
前記差分抽出部により抽出されたデータを圧縮符号化する第３の圧縮符号化部と
を備える画像符号化装置。
【請求項３】
元画像と透かし画像を合成して透かし入り画像を生成する画像合成部と、
前記画像合成部により生成された透かし入り画像を周波数変換して量子化する第１の周波数変換・量子化部と、
前記元画像を周波数変換して量子化する第２の周波数変換・量子化部と、
前記第２の周波数変換・量子化部により算出されたデータのうち、前記第１の周波数変換・量子化部により算出されたデータと異なる部分のデータを抽出する差異抽出部と、
前記第２の周波数変換・量子化部によるデータから前記第１の周波数変換・量子化部によるデータを減算したデータを抽出する差分抽出部と、
前記第１の周波数変換・量子化部によるデータを圧縮符号化する第１の圧縮符号化部と、
前記差異抽出部により抽出されたデータを圧縮符号化する第２の圧縮符号化部と、
前記差分抽出部により抽出されたデータを圧縮符号化する第３の圧縮符号化部と、
前記第２の圧縮符号化部により圧縮符号化されたデータと前記第３の圧縮符号化部により圧縮符号化されたデータとを比較し、データ量の小さいデータを選択するデータ選択部と
を備える画像符号化装置。
【請求項４】
前記差異抽出部または前記差分抽出部により抽出されたデータを暗号化するデータ暗号化部を備えた
ことを特徴とする請求項１から請求項３のうちのいずれか１項記載の画像符号化装置。
【請求項５】
元画像及び透かし画像を合成した透かし入り画像について、周波数変換して量子化して圧縮符号化した符号化画像を圧縮復号化する第１の圧縮復号化部と、
前記元画像を周波数変換して量子化したデータのうち、前記透かし入り画像と異なる部分を圧縮符号化した符号化画像を圧縮復号化する第２の圧縮復号化部と、
前記第１の圧縮復号化部により圧縮復号化されたデータのうち、前記第２の圧縮復号化部により圧縮復号化されたデータに対応する部分のデータを、当該第２の圧縮復号化部によるデータに置き換える差異復元部と、
前記差異復元部によるデータを逆量子化・周波数逆変換する逆量子化・周波数逆変換部と
を備える画像復号化装置。
【請求項６】
元画像及び透かし画像を合成した透かし入り画像について、周波数変換して量子化して圧縮符号化した符号化画像を圧縮復号化する第１の圧縮復号化部と、
前記元画像を周波数変換して量子化したデータから、前記透かし入り画像を周波数変換して量子化したデータを減算して圧縮符号化した符号化画像を圧縮復号化する第２の圧縮復号化部と、
前記第１の圧縮復号化部により圧縮復号化されたデータのうち、前記第２の圧縮復号化部により圧縮復号化されたデータに対応する部分のデータに、当該第２の圧縮復号化部によるデータを加算する差分復元部と、
前記差分復元部によるデータを逆量子化・周波数逆変換する逆量子化・周波数逆変換部と
を備える画像復号化装置。
【請求項７】
元画像及び透かし画像を合成した透かし入り画像について、周波数変換して量子化して圧縮符号化した符号化画像を圧縮復号化する第１の圧縮復号化部と、
前記元画像を周波数変換して量子化したデータのうち、前記透かし入り画像と異なる部分を圧縮符号化した符号化画像、または、前記元画像のデータから、前記透かし入り画像を周波数変換して量子化したデータを減算して圧縮符号化した符号化画像を、圧縮復号化する第２の圧縮復号化部と、
前記第１の圧縮復号化部により圧縮複合化されたデータのうち、前記第２の圧縮復号化部により圧縮複合化されたデータに対応する部分のデータを、当該第２の圧縮復号化部によるデータに置き換える差異復元部と、
前記第１の圧縮復号化部によるデータのうち、前記第２の圧縮復号化部によるデータに対応する部分のデータに、当該第２の圧縮復号化部によるデータを加算する差分復元部と、
第２の圧縮復号化部によるデータに基づいて、前記差異復元部または前記差分復元部による処理を選択するデータ判定部と、
前記差異復元部または前記差分復元部によるデータを逆量子化・周波数逆変換する逆量子化・周波数逆変換部と
を備える画像復号化装置。
【請求項８】
前記符号化画像が暗号化されている場合に当該暗号化を解除する暗号化復号部を備え、
前記第２の圧縮復号部は、前記暗号化復号部により暗号化が解除された符号化画像を圧縮復号化する
ことを特徴とする請求項５から請求項７のうちのいずれか１項記載の画像符号化装置。
【請求項９】
元画像及び透かし画像を合成した透かし入り画像を符号化して符号化画像を生成する画像符号化装置と、前記画像符号化装置により生成された符号化画像を復号化して復元画像を生成する画像復号化装置とを備えた画像符号化・復号化システムにおいて、
前記画像符号化装置は、
前記元画像及び透かし画像を合成して透かし入り画像を生成する画像合成部と、
前記画像合成部により生成された透かし入り画像を周波数変換して量子化する第１の周波数変換・量子化部と、
前記元画像を周波数変換して量子化する第２の周波数変換・量子化部と、
前記第２の周波数変換・量子化部により算出されたデータのうち、前記第１の周波数変換・量子化部により算出されたデータと異なる部分のデータを抽出する差異抽出部と、
前記第１の周波数変換・量子化部によるデータを圧縮符号化する第１の圧縮符号化部と、
前記差異抽出部により抽出されたデータを圧縮符号化する第２の圧縮符号化部とを備え、
前記画像復号化装置は、
前記第１の圧縮符号化部により圧縮符号化されたデータを圧縮復号化する第１の圧縮復号化部と、
前記第２の圧縮符号化部により圧縮符号化されたデータを圧縮復号化する第２の圧縮復号化部と、
前記第１の圧縮復号化部により圧縮復号化されたデータのうち、前記第２の圧縮復号化部により圧縮復号化されたデータに対応する部分のデータを、当該第２の圧縮復号化部によるデータに置き換える差異復元部と、
前記差異復元部によるデータを逆量子化・周波数逆変換する逆量子化・周波数逆変換部とを備える
ことを特徴とする画像符号化・復号化システム。
【請求項１０】
元画像及び透かし画像を合成した透かし入り画像を符号化して符号化画像を生成する画像符号化装置と、前記画像符号化装置により生成された符号化画像を復号化して復元画像を生成する画像復号化装置とを備えた画像符号化・復号化システムにおいて、
前記画像符号化装置は、
前記元画像と透かし画像を合成して透かし入り画像を生成する画像合成部と、
前記画像合成部により生成された透かし入り画像を周波数変換して量子化する第１の周波数変換・量子化部と、
前記元画像を周波数変換して量子化する第２の周波数変換・量子化部と、
前記第２の周波数変換・量子化部により算出されたデータから前記第１の周波数変換・量子化部により算出されたデータを減算したデータを抽出する差分抽出部と、
前記第１の周波数変換・量子化部によるデータを圧縮符号化する第１の圧縮符号化部と、
前記差分抽出部により抽出されたデータを圧縮符号化する第３の圧縮符号化部とを備え、
前記画像復号化装置は、
前記第１の圧縮符号化部により圧縮符号化されたデータを圧縮復号化する第１の圧縮復号化部と、
前記第３の圧縮符号化部により圧縮符号化されたデータを圧縮復号化する第２の圧縮復号化部と、
前記第１の圧縮復号化部により圧縮復号化されたデータのうち、前記第２の圧縮復号化部により圧縮復号化されたデータに対応する部分のデータに、当該第２の圧縮復号化部によるデータを加算する差分復元部と、
前記差分復元部によるデータを逆量子化・周波数逆変換する逆量子化・周波数逆変換部とを備える
ことを特徴とする画像符号化・復号化システム。
【請求項１１】
元画像及び透かし画像を合成した透かし入り画像を符号化して符号化画像を生成する画像符号化装置と、前記画像符号化装置により生成された符号化画像を復号化して復元画像を生成する画像復号化装置とを備えた画像符号化・復号化システムにおいて、
前記画像符号化装置は、
前記元画像と透かし画像を合成して透かし入り画像を生成する画像合成部と、
前記画像合成部により生成された透かし入り画像を周波数変換して量子化する第１の周波数変換・量子化部と、
前記元画像を周波数変換して量子化する第２の周波数変換・量子化部と、
前記第２の周波数変換・量子化部により算出されたデータのうち、前記第１の周波数変換・量子化部により算出されたデータと異なる部分のデータを抽出する差異抽出部と、
前記第２の周波数変換・量子化部によるデータから前記第１の周波数変換・量子化部によるデータを減算したデータを抽出する差分抽出部と、
前記第１の周波数変換・量子化部によるデータを圧縮符号化する第１の圧縮符号化部と、
前記差異抽出部により抽出されたデータを圧縮符号化する第２の圧縮符号化部と、
前記差分抽出部により抽出されたデータを圧縮符号化する第３の圧縮符号化部と、
前記第２の圧縮符号化部により圧縮符号化されたデータと前記第３の圧縮符号化部により圧縮符号化されたデータとを比較し、データ量の小さいデータを選択するデータ選択部とを備え、
前記画像復号化装置は、
前記第１の圧縮符号化部により圧縮符号化されたデータを圧縮復号化する第１の圧縮復号化部と、
前記データ選択部により選択されたデータを圧縮復号化する第２の圧縮復号化部と、
前記第１の圧縮復号化部により圧縮複合化されたデータのうち、前記第２の圧縮復号化部により圧縮複合化されたデータに対応する部分のデータを、当該第２の圧縮復号化部によるデータに置き換える差異復元部と、
前記第１の圧縮復号化部によるデータのうち、前記第２の圧縮復号化部によるデータに対応する部分のデータに、当該第２の圧縮復号化部によるデータを加算する差分復元部と、
第２の圧縮復号化部によるデータに基づいて、前記差異復元部または前記差分復元部による処理を選択するデータ判定部と、
前記差異復元部または前記差分復元部によるデータを逆量子化・周波数逆変換する逆量子化・周波数逆変換部とを備える
ことを特徴とする画像符号化・復号化システム。
【請求項１２】
元画像及び透かし画像を合成して透かし入り画像を生成する画像合成ステップと、
前記画像合成ステップにおいて生成した透かし入り画像を周波数変換して量子化する第１の周波数変換・量子化ステップと、
前記元画像を周波数変換して量子化する第２の周波数変換・量子化ステップと、
前記第２の周波数変換・量子化ステップにおいて算出したデータのうち、前記第１の周波数変換・量子化ステップにおいて算出したデータと異なる部分のデータを抽出する差異抽出ステップと、
前記第１の周波数変換・量子化ステップにおけるデータを圧縮符号化する第１の圧縮符号化ステップと、
前記差異抽出ステップにおいて抽出したデータを圧縮符号化する第２の圧縮符号化ステップと
を有する画像符号化方法。
【請求項１３】
元画像と透かし画像を合成して透かし入り画像を生成する画像合成ステップと、
前記画像合成ステップにおいて生成した透かし入り画像を周波数変換して量子化する第１の周波数変換・量子化ステップと、
前記元画像を周波数変換して量子化する第２の周波数変換・量子化ステップと、
前記第２の周波数変換・量子化ステップにおいて算出したデータから前記第１の周波数変換・量子化ステップにおいて算出したデータを減算したデータを抽出する差分抽出ステップと、
前記第１の周波数変換・量子化ステップにおけるデータを圧縮符号化する第１の圧縮符号化ステップと、
前記差分抽出ステップにおいて抽出したデータを圧縮符号化する第３の圧縮符号化ステップと
を有する画像符号化方法。
【請求項１４】
元画像と透かし画像を合成して透かし入り画像を生成する画像合成ステップと、
前記画像合成ステップにおいて生成した透かし入り画像を周波数変換して量子化する第１の周波数変換・量子化ステップと、
前記元画像を周波数変換して量子化する第２の周波数変換・量子化ステップと、
前記第２の周波数変換・量子化ステップにおいて算出したデータのうち、前記第１の周波数変換・量子化ステップにおいて算出したデータと異なる部分のデータを抽出する差異抽出ステップと、
前記第２の周波数変換・量子化ステップにおけるデータから前記第１の周波数変換・量子化ステップにおけるデータを減算したデータを抽出する差分抽出ステップと、
前記第１の周波数変換・量子化ステップにおけるデータを圧縮符号化する第１の圧縮符号化ステップと、
前記差異抽出ステップにおいて抽出したデータを圧縮符号化する第２の圧縮符号化ステップと、
前記差分抽出ステップにおいて抽出したデータを圧縮符号化する第３の圧縮符号化ステップと、
前記第２の圧縮符号化ステップにおいて圧縮符号化したデータと前記第３の圧縮符号化ステップにおいて圧縮符号化したデータとを比較し、データ量の小さいデータを出力するデータ選択ステップと
を有する画像符号化方法。
【請求項１５】
元画像及び透かし画像を合成した透かし入り画像について、周波数変換して量子化して圧縮符号化した符号化画像を圧縮復号化する第１の圧縮復号化ステップと、
前記元画像を周波数変換して量子化したデータのうち、前記透かし入り画像と異なるステップ分を圧縮符号化した符号化画像を圧縮復号化する第２の圧縮復号化ステップと、
前記第１の圧縮復号化ステップにおいて圧縮復号化したデータのうち、前記第２の圧縮復号化ステップにおいて圧縮復号化したデータに対応する部分のデータを、当該第２の圧縮復号化ステップにおけるデータに置き換える差異復元ステップと、
前記差異復元ステップにおけるデータを逆量子化・周波数逆変換する逆量子化・周波数逆変換ステップと
を有する画像復号化方法。
【請求項１６】
元画像及び透かし画像を合成した透かし入り画像について、周波数変換して量子化して圧縮符号化した符号化画像を圧縮復号化する第１の圧縮復号化ステップと、
前記元画像を周波数変換して量子化したデータから、前記透かし入り画像を周波数変換して量子化したデータを減算して圧縮符号化した符号化画像を圧縮復号化する第２の圧縮復号化ステップと、
前記第１の圧縮復号化ステップにおいて圧縮復号化したデータのうち、前記第２の圧縮復号化ステップにおいて圧縮復号化したデータに対応する部分のデータに、当該第２の圧縮復号化ステップにおけるデータを加算する差分復元ステップと、
前記差分復元ステップにおけるデータを逆量子化・周波数逆変換する逆量子化・周波数逆変換ステップと
を有する画像復号化方法。
【請求項１７】
元画像及び透かし画像を合成した透かし入り画像について、周波数変換して量子化して圧縮符号化した符号化画像を圧縮復号化する第１の圧縮復号化ステップと、
前記元画像を周波数変換して量子化したデータのうち、前記透かし入り画像と異なる部分を圧縮符号化した符号化画像、または、前記元画像のデータから、前記透かし入り画像を周波数変換して量子化したデータを減算して圧縮符号化した符号化画像を、圧縮復号化する第２の圧縮復号化ステップと、
前記第１の圧縮復号化ステップにおいて圧縮複合化したデータのうち、前記第２の圧縮復号化ステップにおいて圧縮複合化したデータに対応する部分のデータを、当該第２の圧縮復号化ステップにおけるデータに置き換える差異復元ステップと、
前記第１の圧縮復号化ステップにおけるデータのうち、前記第２の圧縮復号化ステップにおけるデータに対応する部分のデータに、当該第２の圧縮復号化ステップにおけるデータを加算する差分復元ステップと、
第２の圧縮復号化ステップにおけるデータに基づいて、前記差異復元ステップまたは前記差分復元ステップによる処理を選択するデータ判定ステップと、
前記差異復元ステップまたは前記差分復元ステップにおけるデータを逆量子化・周波数逆変換する逆量子化・周波数逆変換ステップと
を有する画像復号化方法。

【図１】