付随情報付加装置および方法、付随情報検出装置および方法、ならびに不正利用防止システム
【課題】 画像に付加されるウォータマークとして、攻撃に対して強いものを付加する付随情報付加装置を提供する。
【解決手段】 画像の一部のN×M(N,Mは正の整数)個の画素からなる小領域に対応する大きさの単位ウォータマークを縦横に反復した反復ウォータマークを、画像に付加する付随情報付加装置である。N≠Mとする、単位ウォータマークが横方向に反復して並ぶ1行毎に、単位ウォータマークを横方向に一定量づつずらす、単位ウォータマークが縦方向に反復して並ぶ1列毎に、単位ウォータマークを縦方向に一定量づつずらす、画像を単位とした一定時間毎に、縦方向および/または横方向に、一定量づつずれた反復ウォータマークとする、などのように付加するウォータマークについての自由度を増やす。
【解決手段】 画像の一部のN×M(N,Mは正の整数)個の画素からなる小領域に対応する大きさの単位ウォータマークを縦横に反復した反復ウォータマークを、画像に付加する付随情報付加装置である。N≠Mとする、単位ウォータマークが横方向に反復して並ぶ1行毎に、単位ウォータマークを横方向に一定量づつずらす、単位ウォータマークが縦方向に反復して並ぶ1列毎に、単位ウォータマークを縦方向に一定量づつずらす、画像を単位とした一定時間毎に、縦方向および/または横方向に、一定量づつずれた反復ウォータマークとする、などのように付加するウォータマークについての自由度を増やす。
【発明の詳細な説明】
【0001】
【発明の属する技術分野】この発明は、静止画像あるいは動画像シーケンスなどの画像データに対して、それに付随する情報を、電子透かし(ウォータマーク)として画像データ中に付加する付随情報付加装置および方法、また、その付随情報を検出する付随情報検出装置および方法に関する。また、この発明は、これらの付随情報付加装置あるいは方法、また、付随情報検出装置あるいは方法を用いる不正利用防止システムに関する。
【0002】
【従来の技術】任意の画像データ(静止画像あるいは動画像シーケンス)に対して、それに付随する情報を画像データ中に付加し、再生時にその付随情報を検出して利用する技術がある。この技術の代表的な利用例として、著作権情報の付加が挙げられる。
【0003】特定の画像データを不特定の利用者が利用することが可能である場合、その画像に対して著作権を持つ者がその権利を主張するために、あらかじめ著作権情報を画像データ中に付加しておくことが考えられる。著作権情報を付加しておくことにより、画像の再生装置あるいは再生方法における処理手順の中でその画像データを表示不可と指示する著作権情報が検出された場合には、その画像データの表示を行なわない等の対策を講じることが可能となる。
【0004】上述の著作権情報の付加あるいは検出は、現在、アナログ記録(ビデオ信号をアナログ信号の状態で記録)のビデオテープの不正コピー防止機能等で利用されている。この機能により、レンタル業者から借りてくるなどの方法で手元にあるビデオテープを不正にコピーすることを不可能にし、そのビデオテープの著作権を持つ者の権利を守っている。
【0005】アナログ記録のビデオテープの場合には、画像データがアナログ的に記録されるため、コピーを行なうと画質が劣化する。これに対し、最近普及しつつあるデジタル的に画像データを記録し再生する機器においては、原理的にコピーによって画質が劣化することがなく、コピーを多数回繰り返すことさえも画質の劣化無しに可能である。そのため、デジタル的に処理を行なう機器による不正コピーによる損害は、アナログの場合よりさらに大きなものとなり、デジタル的に処理を行なう機器における不正コピー防止は、非常に重要になっている。
【0006】ところで、上述の著作権情報などの画像データに付随する情報を、その画像データ中に付加する方法としては、主に2つの方法がある。
【0007】第1の方法は、画像データの補助部分に付加する方法である。画像データの補助部分とは、有効画面領域の画像データ以外の部分を指す。例えば、アナログビデオ信号の垂直ブランキング期間や、デジタルビデオ信号のヘッダ部や付加データ部などである。実際に、アナログビデオテープでは、画像データの補助的な付随情報が、垂直ブランキング期間の一部に付加されている。
【0008】第2の方法は、画像データの主要部分、すなわち、有効画面領域の画像データに付加する方法である。これは、ある特定のパターンを視覚的に感知できない程度に画像の全体あるいは一部に付加するものである。これは、電子透かし処理と呼ばれている。この具体例として、乱数やM系列等を用いて発生させた鍵パターンを利用して情報の付加および検出を行なう、スペクトラム拡散等がある。
【0009】第1の方法は、画像データの補助部分という、画像の内容自体とは異なった場所に情報を付加をしているため、一度、補助部分を分離してしまえば付加した情報がなくなってしまうという問題がある。
【0010】これに対して、電子透かし処理は、画像データに存在する人間の知覚上の重要でない部分、すなわち、画像に対して冗長でない部分に、雑音として情報を埋め込む処理である。このような電子透かし処理により画像データ中に埋め込まれた情報(以下、電子透かしにより埋め込まれる情報をウォータマークという)は、画像データと同じ周波数領域および時間領域に付加されるので、その画像データから除去されにくい。一方、画像データについてフィルタリング処理やデータ圧縮処理をした後であっても、それらに埋め込まれたウォータマークを画像データ中から検出することが可能であるという特徴がある。
【0011】以下では、上述のような特徴を備える第2の方法の、画像データの主要部分に付随情報を付加する方法であるウォータマークを用いた方法について述べる。
【0012】まず、図16〜図19を用いてウォータマークの付加、検出方式の概略を説明する。
【0013】図16は、ウォータマークパターンWMの例を示し、この例のウォータマークパターンWMは、例えば、縦×横=4n画素×4n画素(nは自然数)の大きさで、各画素について、図示のように、+1,−1の2つのシンボルのいずれかを取るものを用いるとする。なお、実際の利用においては、ウォータマークパターンは、2つのシンボルのいずれかをランダムに取る方が望ましい。また、ウォータマークパターンの領域の形状、大きさは任意である。
【0014】画像に付随情報を付加する際には、付加を行なう対象となる画像上で、付加しようとするウォータマークパターンの領域と等しい大きさの領城を設定する。設定された領域とウォータマークパターンWMとを重ねて照らし合わせ、ウォータマークパターンWMで+1のシンボルが対応する画素については値aを加算し、−1のシンボルが対応する画素については値bを減算する。ここで、値a,値bは、共に、任意の値を取り得る。
【0015】図17は、画像へのウォータマークパターンWMの付加の例を示しており、この例では、付加を行なう対象となる画像Piの領域の画素値が全て100の場合であり、また、付加するウォータマークパターンWMの前記a=1,b=1に設定されている場合である。このウォータマークパターンWMの埋め込み操作が行われた結果の画像Poでは、図示のように、101と99の画素値に分かれることになる。
【0016】付随情報を検出する際には、検出を行なう対象となる画像上でウォータマークパターンWMの領域と等しい大きさの領域を設定する。そして、設定された画像領域とウォータマークパターンWMとの相関についての評価値を求める。この場合、設定された画像領域の画素の全てについて合計したものを評価値として用いる。
【0017】具体的には、評価値を求めるために、画素全てを合計する際に、設定された画像領域とウォータマークパターンWMとを重ねて照らし合わせ、ウォータマークパターンWMの+1のシンボルの画素については足し算、−1のシンボルの画素については引ぎ算を適用する。このとき、付随情報を付加する際に用いたウォータマークパターンと同じパターンを用いて検出を行なうものである。
【0018】図18は、図17のようにしてウォータマークパターンWMが付加された画像Poからウォータマークを検出する場合の評価値の算出を説明するための図である。この図18の例では、評価値は4n2 (領域に含まれる画素数の数と同じ)になる。
【0019】これに対して、図19の画像Poは、ウォータマークパターンWMが付加されていない場合を示しており、この画像Poについての、ウォータマークパターンとの相関の評価値は0となる。
【0020】実際的には、ウォータマークパターンが付加される対象の画像Piの画素のすべてが同じ値になることはほとんどないが、ウォータマークパターンの領域が充分に広く、かつ、ウォータマークパターンが充分にランダムである場合、画像の水平、垂直相関性から、ウォータマークが付加されていない場合の画像Poについての前記評価値は常にほぼ0となる。このことから、評価値がある一定の閾値を超えた場合には、ウォータマークによる付随情報が画像に付加されていると判別することができる。
【0021】上記の手順により、付随情報として、ウォータマークが付加されているか否かという2値の情報(1ビット)を付加することが可能となる。より多くの情報(複数ビット)を付加したい湯合には、画像全体を空間的に、時間的に、または空間的かつ時間的にk個の領域に分けて、それぞれ上記の操作を行なう等の処理方法により、2k 通り(kビット)の情報を画像に付加することができる。
【0022】ウォータマークパターンとしては、例えば、M系列(最長符号系列)を用いて生成したものを利用することができる。M系列は、2値のシンボルからなる数列で、それぞれのシンボルの統計的分布は一定であり、符号相関は、原点で1、その他では−1/符号長となるものである。もちろん、M系列を用いる以外の方法でウォータマークパターンを生成してもよい。
【0023】ところで、画像データをデジタル的に記録し再生する場合、画像データは、そのままでは非常に情報量が多いため、画像データを圧縮するのが一般的である。画像データを圧縮する方法としては、JPEG(カラー静止画像の符号化方式)あるいはMPEG(カラー動画像の符号化方式)等の高能率符号化方式が国際的に標準化され、実用化に至っている。これらの高能率符号化方式によって圧縮されたデータをビットストリームデータ、あるいは単にビットストリームと呼ぶ。また、対比する表現として、圧縮する前の画像および復号した後の画像をベースバンド画像、あるいは単にベースバンドと呼ぶ。
【0024】ところで、ベースバンド画像に対してウォータマークを付加しておくだけで、そのままベースバンド画像として配布されても、また、JPEG、MPEGなどの高能率符号化を行なった後のビットストリームとして配布されても、どちらの場合についてもウォータマーク検出器を用意でき、簡単にウォータマークを検出できれば好都合である。つまり、高能率符号化などによって圧縮する前に付加したウォータマークが、ベースバンドでもビットストリームでも共通して検出に用いることが出来ることが好ましい。
【0025】図20は、この場合の画像情報へのウォータマークの付加および検出の全体の流れを説明するための概念図である。
【0026】すなわち、図20においては、入力端子1を通じてベースバンド画像情報がウォータマーク付加装置10に供給されると共に、単位ウォータマーク入力端子2を通じて、付加しようとする単位ウォータマークwmの情報がウォータマーク付加装置10に供給される。単位ウォータマークwmは、後で詳述するように、画像の一部の小領域に対応する大きさを有するものである。
【0027】この例のウォータマーク付加装置10では、入力端子2からの単位ウォータマークwmを画像上の縦横に反復した状態の反復ウォータマークWMRを、入力端子1からのベースバンド画像に付加する。反復ウォータマークWMRを付加したベースバンド画像情報は、出力端子3を通じて出力される。
【0028】また、反復ウォータマークWMRが付加されたベースバンド画像は、MPEG符号化器20に供給されて、MPEG方式により高能率符号化されて、ビットストリームとされ、出力端子4を通じて出力される。この場合のMPEG符号化における符号化ブロックの大きさは、単位ウォータマークwmに等しいか、あるいは、単位ウォータマークwmが、整数個の符号化ブロックに等しい関係となるようにされている。換言すれば、単位ウォータマークwmの大きさは、この符号化ブロックの大きさの整数倍の大きさに選定されるものである。
【0029】出力端子3から出力されたウォータマークWMRが付加されたベースバンド画像の画像情報は、入力端子5を通じてウォータマークベースバンド検出装置30に供給される。そして、ウォータマークベースバンド検出装置30では、入力端子6からの単位ウォータマークwm(入力端子2からの単位ウォータマークwmに等しい)に基づいて、ベースバンド画像情報から、後述のようにして、ウォータマークが検出され、その検出結果が出力端子7を通じて導出される。
【0030】また、出力端子4から出力されたウォータマークWMRが付加されたビットストリームの画像情報は、入力端子8を通じてウォータマークビットストリーム検出装置40に供給される。そして、ウォータマークビットストリーム検出装置40では、入力端子6からの単位ウォータマークwmに基づいて、後述するようにして、ビットストリーム画像情報からウォータマークが検出され、その検出結果が出力端子9を通じて導出される。
【0031】図20のウォータマーク付加装置10は、従来は、図21に示すように構成されている。このウォータマーク付加装置は、画像の縦横に単位ウォータマークwmが反復するウォータマークWMRを画像に付加し、そのウォータマーク付加画像を出力する装置である。
【0032】この場合、画像入力端子1から入力される動画像データは、I(x,y,t)(0≦x<width(I),0≦y<height(I))と表すことができ、また、単位ウォータマーク入力端子2から入力される単位ウォータマークwmは、W(x,y)(0≦x<L,0≦y<L)と表すことができる。
【0033】ただし、x,yは、それぞれ、画像を構成する各画素の画像上の横方向および縦方向の座標を表す。また、tは画像単位の時間を表すものとする。また、図23(B),(C)にも示すように、width(I)およびheight(I)は、それぞれ、画像の幅および高さである。また、L(自然数)は、図23(A)に示すように、単位ウォータマークwmの幅および高さである。このように、従来は、単位ウォータマークwmの幅および高さは、等しく選定されていた。
【0034】単位ウォータマーク入力端子2から入力された単位ウォータマークwmは、ウォータマーク反復器103に入力される。このウォータマーク反復器103の内部構成は、従来は、図22に示すようなものとされている。
【0035】すなわち、図22に示すように、ウォータマーク反復器103には、1枚の画像分に相当する反復ウォータマークWMRの要素数を格納可能な容量のメモリ1031が設けられている。
【0036】メモリ1031への単位ウォータマークwmの書き込み時には、x座標入力端子11およびy座標入力端子12を通じて、単位ウォータマークwmについての座標(x,y)の座標要素x,yが入力される。すると、アドレス設定部1032および1033により、入力座標に対応したメモリアドレスx,yが設定され、入力端子2からの単位ウォータマークwmが、メモリ1031に書き込まれる。
【0037】この場合、アドレス設定部1032は、入力座標(x,y)に対応する一つのメモリ位置だけでなく、その位置から縦方向および横方向に、それぞれLの1倍、2倍、3倍、……と、整数倍離れた位置を指定するアドレスをメモリ1031に供給する。したがって、メモリ1031には、図23(B),(C)に示すように、単位ウォータマークwmが画像の縦方向および横方向に反復するウォータマークWMRが書き込まれる。
【0038】つまり、単位ウォータマークの各値W(x,y)が入力される毎に、i%L=x かつ j%L=y(0≦i<width(I),0≦j<height(I))を満たす全てのi,j(i,jは正の整数)の組について、反復後のウォータマークを保持するメモリrepeatWに、repeatW(i,j)=W(x,y)
と書き込むものである。なお、この明細書で、「%」は剰余を求める演算子とする。
【0039】これを図23を用いて説明する。図23(A)の単位ウォータマークW(x,y)が入力されたとき、ウォータマーク反復器103では、単位ウォータマークW(x,y)を繰返して、幅width(I)、高さheight(I)になるようした、図23(B)のウォータマークWMRが作られる。
【0040】図23(B)は、画像の幅width(I)、画像の高さheight(I)が、それぞれ、単位ウォータマークwmの幅および高さLで割り切れる場合であるが、割り切れない場合には、図23(C)に示すようなものとなる。
【0041】以上のようにしてウォータマーク反復器103のメモリ1031に書き込まれたウォータマークWMRは、画像入力端子4から入力される画像情報の各画素位置に応じた座標(x,y)が、順次に、x座標入力端子11およびy座標入力端子12からメモリ1031に供給されることにより、読み出される。そして、読み出された反復ウォータマークWMRは、ウォータマーク埋め込み器101に渡される。
【0042】一方、画像入力端子4から入力されたベースバンド画像情報は、ウォータマーク埋め込み器101だけでなく、埋め込み量判断器102にも送られる。埋め込み量判断器102は、入力された画像の特徴を調べ、付加しても画質に与える影響が少ないウォータマークの埋め込み量を画像の各場所について判断し、その量をウォータマーク埋め込み器101に伝える。
【0043】ウォータマーク埋め込み器101では、ウォータマーク反復器103から入力された反復ウォータマークWMRに応じ、画像入力端子4から送られた画像にウォータマークを埋め込む。そのとき、埋め込み量判断器102から入力される、埋め込み量の情報に応じて埋め込み量が調節される。
【0044】ここで、埋め込み量判断器102は、ウォータマーク付加画像の画質を向上させるために必要なものであって、反復ウォータマークWMRの付加および検出をするにあたって必須ではない。例えば、埋め込み量判断器102を用いずに、ウォータマークパターンによって付加することが示されている部分すべてに、同様の埋め込み量で付加しても、ウォータマークを検出することに問題は生じない。
【0045】ウォータマーク埋め込み器101で作られた反復ウォータマークWMRが付加された画像情報は、ベースバンド画像出力端子3から出力される。
【0046】ここで、ウォータマーク埋め込み器101の動作を整理しておく。
【0047】入力画像I(x,y,t)に対して埋め込み量判断器102で求められた埋め込み量をD(x,y,t)とすると、埋め込み器101で、指定された量だけ埋め込む場合、ウォータマーク付加後の画像wmI(x,y,t)は、wmI(x,y,t)=I(x,y,t)+repeatW(x,y)×D(x,y,t)
となる。
【0048】すべての画素に、埋め込み量一定にウォータマークを付加するとすると、ウォータマーク付加後の画像wmI(x,y,t)は、定数Dを用い、wmI(x,y,t)=I(x,y,t)+repeatW(x,y)×Dと表せる。
【0049】次に、ウォータマークベースバンド検出装置30の従来の構成例を、図24を用いて説明する。
【0050】図24のウォータマークベースバンド検出装置30は、ベースバンドの画像情報と、単位ウォータマークwmのパターンを読み込み、そのベースバンド画像情報に含まれるウォータマークの情報を出力する装置である。ウォータマークの情報とは、ウォータマークがその画像に存在すれば、その単位ウォータマークの検出された位置のシフト量で、ウォータマークがその画像に存在しなければ、ウォータマークなしという情報である。単位ウォータマークが検出された位置のシフト量は、比較する単位ウォータマークwmのパターンと、検出された画像上のウォータマーク中の単位ウォータマークパターンとのずれ量に等しい。
【0051】図24に示すように、ベースバンド画像入力端子4から入力された画像I(x,y,t)(図25(A)参照)は、折り畳み累積器301に入力されて、図25(B)に示すように、単位ウォータマークの大きさで折り畳んで累積される。式で表すと、折り畳み累積された結果foldI(x,y)は、次のように表される。
【0052】
foldI(x,y)=ΣI(i%L,j%L,t)
i%L=x,j%L=yLは単位ウォータマークwmの縦横の大きさなので、折り畳み累積結果foldI(x,y)は単位ウォータマークwmと同じ大きさの空間情報である。
【0053】図26は、折り畳み累積器301の従来の構成例を示すものである。この折り畳み累積器301は、少なくともL×L要素の単位ウォータマークwm分の容量を有するメモリ3012と、累積加算器3011と、メモリ3012用のアドレス設定部3013および3014とからなる。
【0054】累積加算器3011には、画像入力端子5からの画像情報が入力されると共に、メモリ3012から読み出された単位ウォータマークwm分の画像要素が供給されて、累積加算される。そして、この累積加算器3011の出力がメモリ3012に、アドレス設定部3013および3014により示されるアドレスに書き込まれると共に、読み出される。これにより、メモリ3012から、折り畳み累積画像出力が得られ、出力端子33を通じて導出される。
【0055】この場合、入力端子31および32から入力される画像についての画素の座標(x、y)の座標要素x、yが、それぞれアドレス設定部3013および3014に供給される。アドレス設定部3013では、x%Lなる剰余を求める演算を行い、求めた剰余を、メモリ3012にそのアドレスxとして供給し、また、アドレス設定部3014では、y%Lなる剰余を求める演算を行い、求めた剰余を、メモリ3012に、そのアドレスyとして供給する。このアドレッシングにより、累積加算器3011およびメモリ3012により、折り畳み累積が実行される。
【0056】このように単位ウォータマークの大きさ単位で折り畳んで累積する折り畳み累積を行う場合において、折り畳みの領域ARが、図27(A)に示すように、画像上のウォータマークとの間にシフトがない場合には、折り畳み累積後の入力画像のウォータマークは、図27(B)のように、単位ウォータマークwmと全く同じパターンになる。
【0057】また、折り畳みの領域ARが、図28(A)に示すように、画像上のウォータマークとの間でシフトしたものとなっていた場合には、折り畳み累積後の入力画像のウォータマークは、図28(B)のように、単位ウォータマークwmを分割したパターンを寄せ集めたようなパターンになる。
【0058】しかし、以上のように折り畳み累積を行うと、図27のように、ウォータマークを付加したときとウォータマークを検出したときの間に画像シフトがない場合はもちろんこと、図28のように、ウォータマークを付加したときとウォータマークを検出したときの間にシフトがあった場合にも、累積されたウォータマーク成分は常に同じ位置であるため強調される上、累積回数が十分多くなると、累積された画像成分は相殺される。
【0059】そこで、入力画像I(x,y,t)にウォータマークが含まれていれば、この折り畳み累積結果foldI(x,y)と、単位ウォータマークW(x,y)をシフトしたものが必ず相関を持つ。この相関を以下のようにFFT(FastFourier Transform)を用いて調べる。
【0060】すなわち、折り畳み累積器301の出力はFFT器302に入力され、L×L要素のFFTが施された後に、畳み込み演算器303に送られる。また、単位ウォータマーク入力端子6から入力された単位ウォータマークwm(=W(x,y))も、FFT器304で、L×L要素のFFTが施された後に、畳み込み演算器303に送られる。
【0061】畳み込み演算器303は、上述の2つのFFT空間の係数に対して畳み込みを行ない、結果を逆FFT器305に送る。畳み込み演算器303での畳み込みは、単位ウォータマークwmと、折り畳み後の画像とについて、空間領域での両者の間でのすべてのシフトの組合せの相関をとることに相当する。
【0062】逆FFT器305では、畳み込み演算器303で得られた結果に対して逆FFTを行なうことにより空間領域に戻す。この逆FFT器305での逆FFTで得られた全ての係数の出力を最大値検出器306および分散計算器307に供給する。
【0063】最大値検出器306では、逆FFT器305での逆FFTで得られた係数のうちの最大係数を探し、最大係数とその座標を出力する。
【0064】そして、分散計算器307には、逆FFT器305からのすべての係数と、最大値検出器306からの最大係数の座標値が入力され、係数の最大値以外の値の分散が計算される。
【0065】また、正規化器308には、分散計算器307で計算された分散と、最大値検出器306で見つけられた最大係数が入力される。正規化器308の出力は、最大係数を、分散で割ることによって正規化した値である。この値は、閾値比較器309に入力され、予め設定されている閾値と比較される。
【0066】閾値比較器309では、これに入力される最大値を分散で割った値が閾値よりも小さいときにはウォータマーク無しとみなされ、出力制御器310が制御されて、ウォータマーク無しという情報が、ウォータマーク情報出力端子6から出力される。
【0067】また、閾値比較器309では、これに入力される最大値を分散で割った値が閾値よりも大きければウォータマークが入っているとみなされ、出力制御器310が制御されて、最大値検出器306で検出された最大係数の座標、つまり、ウォータマークが入っていた位置のシフト量がウォータマーク情報出力端子6から出力される。
【0068】以上のように、図24のウォータマークベースバンド検出装置においては、FFT領域での畳み込みを用いてすべての可能なシフト量について相関を求め、その相関の最大値が、しかるべき基準より大きいかどうかでウォータマークが画像に付加されているかを判定している。
【0069】ウォータマークが画像に付加されていた場合に、そのシフト量が情報としてとり出力されるが、ウォータマークの付加時とウォータマークの検出時の間のシフト量であるので、絶対的な意味を持たせることはできない。しかし、次のように相対的な意味を持たせることができる。
【0070】あるウォータマークと、そのウォータマークの各要素に−1を掛けたウォータマーク(つまり反転パターン)との、2つのウォータマークを、1つの画像の異なった位相に付加しておく。また、図24の最大値判定器306を最大値と最小値の両方を抽出する最大・最小値判定器に置き換え、逆FFT器305からの係数のうちの最大値あるいは最小値およびその座標を求める。そして、求めた最大係数または最小係数を分散によって正規化した後、閾値比較器309で最大係数、最小係数の絶対値が、閾値より大きいどうかを判定し、大きかった場合、その最大係数が検出されたウォータマークと、その最小係数が検出されたウォータマークとの2つのウォータマークのシフト量の差を情報とするのである。この情報は相対的なものであるので、画像にシフトが起こっても変化しない。
【0071】次に、ウォータマークビットストリーム検出装置40の従来の構成例について、図29を用いて説明する。
【0072】図29において、ビットストリーム画像入力端子8には、MPEG符号化器20で符号化された画像データのビットストリームが入力される。このウォータマークビットストリーム検出装置40は、このビットストリーム画像と単位ウォータマークwmのパターンとの入力を受け、画像に付加されているウォータマークの情報を出力するものである。前述と同様に、ウォータマークの情報とは、ウォータマークがそのビットストリーム画像に存在すれば、そのウォータマークの検出された位置のシフト量であり、ウォータマークがそのビットストリーム画像に存在しなければ、ウォータマーク無しという情報である。
【0073】この図29のウォータマークビットストリーム検出装置40は、一部を除くと、図24のウォータマークベースバンド検出装置30とほぼ同様の構成となる。すなわち、図24の折り畳み累積器301、FFT器302、畳み込み演算器303、FFT器304、逆FFT器305、最大値検出器306、分散計算器307、正規化器308、閾値比較器309、出力制御器310は、図29の折り畳み累積器401、FFT器402、畳み込み演算器403、FFT器404、逆FFT器405、最大値検出器406、分散計算器407、正規化器408、閾値比較器409、出力制御器410に、それぞれ対応している。
【0074】図24のウォータマークベースバンド検出装置30と異なるのは、入力がベースバンド画像データからビットストリーム画像データに変わっている点と、新しく、折り畳み累積器301の前後に、DCT(離散コサイン変換)係数抽出器411と逆DCT器412が設けられている点である。以下、図24のウォータマークベースバンド検出装置30と異なる点を中心に説明する。
【0075】ビットストリーム入力端子8から入力されたビットストリーム画像データは、DCT係数抽出器411で部分的に復号されて、IピクチャのDCT係数が抽出される。
【0076】ここで、DCT係数に対して逆DCTを施して空間領域の画素値に変換すれば、以降は図24のウォータマークベースバンド検出装置30と同じ装置で検出を行なうことが可能である。しかし、計算量を減らすために、図29のウォータマークビットストリーム検出装置40では、DCT係数抽出器411の出力は、折り畳み累積器401に供給されて、折り畳み累積が行われた後に、逆DCT器412に供給されて、逆DCTが行なわれる。
【0077】ところで、MPEG2のような符号化方式の場合には、フレームとフィールドの2つのモードのDCTを適応的に使う。図30は、フレームモードのDCTの場合のブロックを示し、また、図31は、フィールドモードのDCTの場合のブロックを示している。
【0078】すなわち、フレームモードにおいては、図3030(A)のマクロブロック201は、図30(B)に示す4個のDCTブロック202,203,204,205に分けられる。また、フィールドモードにおいては、図31(A)のマクロブロック201は、図31(B)に示す4個のDCTブロック206,207,208,209に分けられる。
【0079】これら図30、図31で表されるように、フレームDCTを行なうブロックと、フィールドDCTを行なうブロツクの占める画素の範囲は互いに異なる。
【0080】しかし、縦に2つのDCTブロックを合わせた領域が、横×縦=8×16画素の領域であるのは共通である。そこで、この例では、フレームとフィールドのどちらのモードでDCTが行なわれた場合にも対応できるように、縦に2つのDCTブロックを合わせた8×16画素の領域を1つの単位の符号化ブロックとして扱う。
【0081】画像をこの符号化ブロック(DCTブロック)に分割したとき、横方向にx番目で、縦方向にy番目のブロック、つまり横8x、縦16yの座標の画素からはじまる2つのDCTの係数の組を、フレームDCTが使われているときと、フィールドDCTが使われているときとに分けて、それぞれ、FrDCT(x,y,t)、FiDCT(x,y,t)とする。ただし、番号の数え方は0番目からはじまるものとする。
【0082】折り畳み累積器401では、これらのDCT係数をDCT係数抽出器411から受取り、折り畳み累積して逆DCT器412に渡す。その折り畳み累積したものを、それぞれfoldFrDCT(x,y)、foldFiDCT(x,y)とすると、次の式で表される。
【0083】foldFrDCT(x,y)=ΣFrDCT(i,j,t)
i%(L/8)=x,j%(L/16)=yfoldFiDCT(x,y)=ΣFiDCT(i,j,t)
i%(L/8)=x,j%(L/16)=yただし、このDCT領域のまま折り畳み累積ができるために、L/8、L/16は、割り切れて整数であるものとする。
【0084】例えば、図32の場合、単位ウォータマークの大きさL=32である。この場合には、単位ウォータマークの範囲において、図32(A)に示すように、横方向に4(=L/8)、縦方向に2(=L/16)の8×16画素の符号化ブロックが存在している。この場合、L/8=4、L/16=2となって割り切れるので、DCT領域のまま折り畳み累積ができる。すなわち、単位ウォータマークのL×Lの領域の範囲内の8個の8×16画素のブロックについて、図32(B),(C)に示すように、フレームDCTとフィールドDCTとに分けて累積するのである。
【0085】逆DCT器412では、折り返し累積器401の出力の累積されたDCT係数を逆DCTして空間領域に戻し、FFT器402に送る。FFT器402に送られる値は、要素数がL×Lで、それぞれが画素値の和であり、図24の折り畳み累積器の出力と同じである。以降はべースバンドの場合と同じである。
【0086】以上のようなウォータマークの付加装置および検出装置においては、FFT空間に写像し、FFT空間における畳み込みによって空間上での探索を行なう方法により、ウォータマークの画像全体に渡ってのシフトを検出することを可能にしている。また、画像を折り畳み累積した後に、FFTをかけることにより、そのFFTの演算量を減らすようにしている。
【0087】
【発明が解決しようとする課題】しかしながら、図22に示した従来のウォータマーク付加装置10のウォークマーク反復器103は、1画像分のウォータマークWMRの情報をメモリ1031に格納しており、同一のパターンである単位ウォータマークの情報を、メモリ1031に複数組、保持しているという非効率な点があった。
【0088】この発明の第1の目的は、ウォータマーク反復器のメモリには、1つの単位ウォータマークの情報を格納することができるだけの、容量が小さいものを用いることができるウォータマークによる付随情報付加装置を提供することである。
【0089】また、上述した従来のウォータマーク付加方法による付加画像では、縦、横の画素数が同じサイズLの単位ウォータマークを用いているため、ウォータマークを解析するというウォータマークシステムへの攻撃を行う者の労力が少なく、攻撃し易くなるおそれがあった。
【0090】また、1つのフレームまたはフィールド内で、同じ単位ウォータマークが単純に並んでいるため、ウォータマークシステムへ攻撃を行う者が、ウォータマークを比較的容易に消去することが可能であり、画像情報の不正コピーなどの不正利用を有効に防止できなくなるおそれがあった。
【0091】また、各フレームまたはフィールドに付加されるウォータマークが全く同じであるため、ただ単にウォータマークの付加された画像フレームまたはフィールドを、一定時間累積すれば、ウォータマークが現れて、ウォータマークが分かり、ウォータマークを簡単に解析できるおそれがあるという欠点もあった。
【0092】以上の点にかんがみ、この発明の第2の目的は、ウォータマークを消去する、あるいはウォータマークを解析するというウォータマークシステムへの攻撃を困難にすることを、ウォータマークの付加装置および検出装置を複雑にすることなく実現することである。
【0093】
【課題を解決するための手段】上記の第1の目的を達成するために、請求項1の発明による付随情報付加装置においては、画像の一部のN×M(N,Mは正の整数)個の画素からなる小領域に対応する大きさの単位ウォータマークを縦横に反復したウォータマークを、画像に付加する付随情報付加装置であって、前記単位ウォータマークを記憶するメモリと、前記画像の縦方向および横方向の画素位置座標値を、前記単位ウォータマークを縦横の反復単位の大きさで除算したときの剰余を用いて、前記メモリから前記単位ウォータマークを、反復して読み出す単位ウォータマーク反復手段と、前記単位ウォータマーク反復手段から読み出された前記単位ウォータマークを、画像上、縦横に反復するように、前記画像の情報に付加する付加手段と、を備えることを特徴とする。
【0094】上記の構成の請求項1の発明によれば、付随情報付加装置が備えるメモリは、単位ウォータマークの一つ分を格納する。そして、単位ウォータマーク反復手段は、ウォータマークを付加しようとする画像の各画素位置座標値を、単位ウォータマークの縦横の反復単位の大きさで除算し、その剰余を用いてメモリから単位ウォータマークを反復して読み出す。メモリから読み出された単位ウォータマークは、付加手段により順次に画像情報に付加される。これにより、画像情報には、画像上、単位ウォータマークが縦横に反復するウォータマークが付加されることになる。
【0095】このように、請求項1の発明によれば、付随情報付加装置が備えるメモリは、単位ウォータマークの一つ分を格納できる容量であればよく、従来のように、1画像分(1フレーム分または1フィールド分)の反復ウォータマークパターンをメモリに格納しておく必要はない。
【0096】また、第2の目的を達成するために、請求項3の発明による付随情報付加装置は、画像の一部のN×M(N,Mは正の整数)個の画素からなる小領域に対応する大きさの単位ウォータマークを縦横に反復したウォータマークを、画像に付加する付随情報付加装置において、前記単位ウォータマークの縦および横の大きさを、N≠Mに選定したことを特徴とする。
【0097】この請求項3の発明によれば、単位ウォータマークの大きさは、従来のように、縦、横を等しくする必要はなく、独立して縦、横の大きさが自由に選定されるので、その分だけ、ウォータマークシステムを攻撃しようとする者のウォータマークの解析を複雑にすることができ、攻撃を受けにくくなる。
【0098】また、第2の目的を達成するために、請求項7の発明においては、画像の一部のN×M(N,Mは正の整数)個の画素からなる小領域に対応する大きさの単位ウォータマークを縦横に反復した反復ウォータマークを、画像に付加する付随情報付加装置であって、前記単位ウォータマークが横方向に反復して並ぶ1行毎に、前記単位ウォータマークを横方向に一定量づつずらした反復ウォータマークを発生する反復ウォータマーク発生手段と、前記反復ウォータマーク発生手段からの前記反復ウォータマークを画像の情報に付加する付加手段と、を備えることを特徴とする。
【0099】この請求項7の発明によれば、1画像(フレームまたはフィールド)において、単位ウォータマークが行毎に順次一定量づつずれて反復する反復ウォータマークが画像に付加されるので、ウォータマークシステムを攻撃しようとする者のウォータマークの解析を複雑にすることができ、攻撃を受けにくくなる。
【0100】第1および第2の目的を達成するために、請求項8の発明の付随情報付加装置は、請求項7に記載の付随情報付加装置において、前記反復ウォータマーク発生手段は、前記単位ウォータマークを記憶するメモリを備え、前記画像の縦方向および横方向の画素位置座標値を、前記単位ウォータマークを縦横の反復単位の大きさで除算したときの剰余と、各行毎の前記横方向のずれ量とを用いて、前記メモリから前記単位ウォータマークを、反復して読み出す単位ウォータマーク反復手段からなることを特徴とする。
【0101】この請求項8の発明によれば、付随情報付加装置が備えるメモリは、単位ウォータマークの一つ分を格納できる容量であればよく、従来のように、1画像分(1フレーム分または1フィールド分)の反復ウォータマークパターンをメモリに格納しておく必要はない。したがって、請求項7の発明の特徴であるウォータマークに対する攻撃に強い付随情報付加装置を、構成を複雑にすることなく実現できる。
【0102】また、第2の目的を達成するために、請求項13の発明においては、画像の一部のN×M(N,Mは正の整数)個の画素からなる小領域に対応する大きさの単位ウォータマークを縦横に反復したウォータマークを、画像に付加する付随情報付加装置であって、前記単位ウォータマークが縦方向に反復して並ぶ1列毎に、前記単位ウォータマークを縦方向に一定量づつずらした反復ウォータマークを発生する反復ウォータマーク発生手段と、前記反復ウォータマーク発生手段からの前記反復ウォータマークを画像の情報に付加する付加手段と、を備えることを特徴とする。
【0103】この請求項13の発明によれば、1画像(フレームまたはフィールド)において、単位ウォータマークが列毎に順次一定量づつずれて反復する反復ウォータマークが画像に付加されるので、ウォータマークシステムを攻撃しようとする者のウォータマークの解析を複雑にすることができ、攻撃を受けにくくなる。
【0104】また、第1および第2の目的を達成するために、請求項14の付随情報付加装置は、請求項13に記載の付随情報付加装置において、前記反復ウォータマークの発生手段は、前記単位ウォータマークを記憶するメモリを備え、前記画像の縦方向および横方向の画素位置座標値を、前記単位ウォータマークを縦横の反復単位の大きさで除算したときの剰余と、各列毎の前記縦方向のずれ量とを用いて、前記メモリから前記単位ウォータマークを、反復して読み出す単位ウォータマーク反復手段からなることを特徴とする。
【0105】この請求項14の発明によれば、付随情報付加装置が備えるメモリは、単位ウォータマークの一つ分を格納できる容量であればよく、従来のように、1画像分(1フレーム分または1フィールド分)の反復ウォータマークパターンをメモリに格納しておく必要はない。したがって、請求項13の発明の特徴であるウォータマークに対する攻撃に強い付随情報付加装置を、構成を複雑にすることなく実現できる。
【0106】また、第2の目的を達成するために、請求項19の発明においては、画像の一部のN×M(N,Mは正の整数)個の画素からなる小領域に対応する大きさの単位ウォータマークを縦横に反復した反復ウォータマークを、画像に付加する付随情報付加装置であって、画像を単位とした一定時間毎に、縦方向および/または横方向に、一定量づつずれた前記反復ウォータマークを発生する反復ウォータマーク発生手段と、前記反復ウォータマーク発生手段からの前記反復ウォータマークを画像の情報に付加する付加手段と、を備えることを特徴とする。
【0107】この請求項19の発明によれば、画像に付加される反復ウォータマークは、1フレーム(または1フィールド)の画像を単位として、1フレーム(またはフィールド)あるいは複数フレーム(またはフィールド)ごとに、反復ウォータマーク全体として、縦方向および/または横方向にずれた状態となるので、単純に、時間方向(フレームまたはフィールド方向)に画像を累積したとしても、付加されたウォータマークが浮かび上がることはなく、ウォータマークシステムを攻撃しようとする者のウォータマークの解析を複雑にすることができ、攻撃を受けにくくなる。
【0108】第1および第2の目的を達成するために、請求項20の付随情報付加装置は、請求項19に記載の付随情報付加装置において、前記反復ウォータマーク発生手段は、前記単位ウォータマークを記憶するメモリを備え、前記画像の縦方向および横方向の画素位置座標値を、前記単位ウォータマークを縦横の反復単位の大きさで除算したときの剰余を用いて、前記メモリから前記単位ウォータマークを、反復して読み出すものであって、画像を単位とした前記一定時間毎に、画像全体として前記縦方向および/または横方向のずれ量を前記剰余に加えて、前記メモリから前記単位ウォータマークを、反復して読み出す単位ウォータマーク反復手段からなることを特徴とする。
【0109】この請求項20の発明によれば、付随情報付加装置が備えるメモリは、単位ウォータマークの一つ分を格納できる容量であればよく、従来のように、1画像分(1フレーム分または1フィールド分)の反復ウォータマークパターンをメモリに格納しておく必要はない。したがって、請求項19の発明の特徴であるウォータマークに対する攻撃に強い付随情報付加装置を、構成を複雑にすることなく実現できる。
【0110】
【発明の実施の形態】以下、この発明の実施の形態を、図を参照しながら説明する。以下に説明する実施の形態においても、ウォータマークの付加および検出に関する情報の流れは、図20に示したものと同一であるとしている。そこで、図面上、従来例として前述した部分と対応する部分には、同一番号および記号を付与し、実施の形態の説明の理解が容易となるようにする。
【0111】[第1の実施の形態]第1の実施の形態は、前記第1の目的を達成する付随情報付加装置の発明に関するもので、以下に説明する例は、従来の技術の欄で説明した図21に示した従来のウォータマーク付加装置におけるウォータマーク反復器に必要なメモリ容量を減らしたウォータマーク付加装置であり、図21と対応する部分には同一番号を付すものとする。
【0112】図1は、この実施の形態の付随情報付加装置の例としてのウォータマーク付加装置のブロック図である。この図1において、図21の従来例と異なる部分はウォータマーク反復器103の内部構成のみである。なお、このウォータマーク反復器103は、各請求項における反復ウォータマーク発生手段の一態様であり、各請求項における単位ウォータマーク反復手段に対応する。
【0113】すなわち、この実施の形態のウォータマーク付加装置のウォータマーク反復器103は、一つの単位ウォータマークwm分の要素数を格納できるだけの容量でよいメモリ501と、アドレス設定部502および503とからなる。この例の場合、単位ウォータマークwmは、図23(A)に示した縦×横=L×L画素のものが用いられる。したがって、メモリ501は、L×L要素を格納できる容量を有すればよい。
【0114】なお、この単位ウォータマークwmの大きさは、MPEG圧縮符号化における符号化ブロック(DCTブロック)の整数個分の大きさとされるのは、前述の従来例の欄で説明したのと同様である。また、MPEG2の場合には、図30および図31に示したフレームモードおよびフィールドモードの両方を考慮したとされるのも、前述と同様である。
【0115】この第1の実施の形態の付加装置におけるウォータマーク反復器103の動作は、以下のようになる。
【0116】すなわち、まず、メモリ501への単位ウォータマークwmの書き込み時には、単位ウォータマーク入力端子2から単位ウォータマークwmが入力されるとともに、x座標入力端子11およびy座標入力端子12を通じて、単位ウォータマークwmについての座標(x,y)のx座標要素およびy座標要素が入力され、メモリ501に、単位ウォータマークwmが蓄えられる。なお、座標の原点は、この例の場合、画像上の左上隅とする。これは、単位ウォータマークwmについても同様である。この関係は、後述する全ての実施の形態においても同様であるとする。
【0117】従来例のように、反復ウォータマークWMRの全体をメモリ501上に構成することも可能であるが、図1のウォータマーク反復器103では、メモリ501上には、上述のように1つの単位ウォータマークwmを保持し、メモリ501の読み出しの仕方の制御によって、単位ウォータマークを反復した反復ウォータマークWMRを得るようにする。
【0118】すなわち、反復ウォータマークWMRの読み出し時には、入力端子11および12を通じて1画像についての座標(x,y)のx座標要素およびy座標要素が入力され、アドレス設定部502および503では、x%Lおよびy%L(Lは単位ウォータマークの縦および横の大きさであり、前述したように、「%」は剰余を求める演算子である)の演算がそれぞれ行われる。そして、アドレス設定部502および503からは、それぞれ演算結果の剰余がメモリ501のアドレスx,アドレスyに供給されて、メモリ501の単位ウォータマークwmを繰り返し読み出すアドレス信号が発生する。
【0119】つまり、アドレス設定部502および503によって、入力端子1、12から入力される読み出し座標(x,y)を,単位ウォータマークwmについての座標(x%L,y%L)に変換して、座標(x,y)のウォータマークを読み出すことを、単位ウォータマークwmが保持されているメモリ501上の座標(x%L,y%L)の値を読み出すことによって行う。
【0120】この図1のウォータマーク付加装置によって付加されるウォータマークパターンは、図23(B)に示した従来例とまったく同じ反復ウォータマークWMRとなるので、このウォータマーク付加装置によって付加されたウォータマークの検出は、ベースバンドにおける検出であれば、図24示したウォータマーク検出装置と同じ検出装置で、ビットストリームにおける検出であれば、図29に示したウォータマーク検出装置と同じ検出装置で行なえる。
【0121】以上説明したように、第1の実施の形態のウォータマーク付加装置によれば、反復ウォータマークWMRを得るために、反復ウォータマークWMRを付加する画像と同じ大きさではなく、単位ウォータマークwmと同じだけの少ない容量のメモリで済むという利点がある。
【0122】なお、上述の説明では、単位ウォータマークwmの縦方向および横方向の反復単位は、単位ウォータマークwmの縦、横の大きさに等しいので、アドレス設定部502および503では、座標(x,y)の要素を、縦、横の大きさであるLで除算するようにしたが、単位ウォータマークwmの大きさと、単位ウォータマークwmの縦方向および横方向の反復単位の大きさが異なる場合には、アドレス設定部502および503では、座標(x,y)の要素を、反復単位の値で除算した剰余を出力するものである。これは、ウォータマーク検出装置の折り畳み累積器のアドレス設定部についても同様である。
【0123】[第2の実施の形態]第2の実施の形態は、単位ウォータマークwmの縦横の大きさを従来のように等しくするのではなく、縦横の異なる値に独立に変えることにより、ウォータマークのパターンを分かり難くし、ウォータマークに対する攻撃を受け難くすることを特徴とする。
【0124】すなわち、この第2の実施の形態では、単位ウォータマークwmは、図2(A)に示すように、その横×縦=N×M(N≠M)とする。したがって、反復ウォータマークWMRのパターンは、図2(B)に示すようなものとなる。
【0125】この場合の単位ウォータマークwmの大きさも、MPEG圧縮符号化における符号化ブロック(DCTブロック)の整数個分の大きさとされるのは、第1の実施の形態の場合と同様である。また、MPEG2の場合には、図30および図31に示したフレームモードおよびフィールドモードの両方を考慮したとされるのは、前述と同様である。
【0126】この第2の実施の形態においても、システムの流れは、従来例と同様に、図20のように表され、ウォータマーク付加装置10、ウォータマークベースバンド検出装置30およびウォータマークビットストリーム検出装置40が主な要素である。
【0127】この第2の実施の形態の場合のウォータマーク付加装置10は、図1の第1の実施の形態のウォータマーク付加装置と、単位ウォータマークwmのサイズが異なる点およびそれに付随する点に違いがある。
【0128】この第2の実施の形態のウォータマーク付加装置の構成例のブロック図を図3に示す。
【0129】図1の第1の実施の形態のウォータマーク付加装置での単位ウォータマークwmは、従来例の単位ウォータマークと同じく、縦横が同じ大きさであった。これに対して、第2の実施の形態では、図2のように縦横の大きさが異なり、独立にとれるようにした単位ウォータマークwmを用いている。したがって、ウォータマーク付加装置の構成としては、第1の実施の形態のウォータマーク付加装置に対し、ウォータマーク反復器103の部分のみが異なっている。
【0130】すなわち、図3のウォータマーク反復器103においては、単位ウォータマークwmの情報を格納するメモリは、単位ウォータマークwmの横、縦の要素、すなわち、N×M要素を格納するメモリ504とされる。そして、この第2の実施の形態のウォータマーク反復器103は、図1の第1の実施の形態のウォータマーク反復器103に対し、単位ウォータマークwmを読み出すときのアドレスの指定における剰余の取り方が異なっており、アドレス設定部505および506が設けられる。
【0131】書き込み時には、単位ウォータマーク入力端子2から図2(A)の単位ウォータマークwmが入力されるとともに、x座標入力端子11およびy座標入力端子12を通じて、その単位ウォータマークwmについての座標(x,y)のx座標要素およびy座標要素が入力されて、メモリ504に、当該単位ウォータマークwmが蓄えられる。
【0132】読み出し時には、第1の実施の形態の場合と同様にして、入力端子11および12を通じて1画像についての座標(x,y)のx座標要素およびy座標要素が入力されるが、アドレス設定部505および506においては、x座標入力端子11およびy座標入力端子12からのx座標およびy座標を、それぞれ単位ウォータマークの横方向の大きさNと縦方向の大きさMで除算した剰余を求め、それをメモリ504のアドレスx,アドレスyとして入力する。
【0133】これにより、メモリ504からは、図2(A)の単位ウォータマークwmが画像上の縦横に反復する図2(B)に示すような反復ウォータマークWMRが得られ、ウォータマーク埋め込み器101で、入力端子1からの画像情報に埋め込まれる。
【0134】この第2の実施の形態におけるウォータマーク検出装置30および40は、図3を用いて前述したような実施の形態のウォータマーク付加装置10で付加したウォータマークを検出できるように、従来例のウォータマーク検出装置とは単位ウォータマークの取り方に違いがあり、折り畳み累積器の部分が異なっている。ただし、その差は、ベースバンドにおけるウォータマーク検出装置30でも、ビットストリームにおけるウォータマーク検出装置40でも同じであるので、以下の説明では、主にベースバンドにおけるウォータマーク検出装置30について記述する。
【0135】図4は、この第2の実施の形態におけるウォータマークベースバンド検出装置30の全体の構成を示すブロック図であり、折り畳み累積器301の部分の内部構成を除いて、図24示したウォータマークベースバンド検出装置30と全く同様である。
【0136】この図4の折り畳み累積器301では、単位ウォータマークwmの大きさに応じたN×Mの容量のメモリ601と、累積加算器602と、アドレス設定部603および604とを備える。
【0137】この折り畳み累積器301では、累積するときのアドレス指定における剰余の取り方が、従来のL×Lの大きさの単位ウォータマークと異なっており、図4R>4の折り畳み累積器301のアドレス設定部603および604では、横方向(x方向)と縦方向(y方向)について、それぞれ独立な値で剰余を取れるようになっている。
【0138】すなわち、アドレス設定部603および604においては、x座標入力端子31およびy座標入力端子32からのx座標およびy座標を、それぞれ単位ウォータマークの横方向の大きさNと縦方向の大きさMで除算した剰余を求め、それをメモリ601のアドレスx,アドレスyとして入力する。これにより、M×Nの単位ウォータマークwmを単位とした折り畳み累積ができ、前述した従来例とほぼ同様にして、ウォータマークの検出ができる。
【0139】前述もしたように、図29のウォータマークビットストリーム検出装置40における折り畳み累積器401も、図4の折り畳み累積器301と同様の構成とすることにより、図3のウォータマーク付加装置でウォータマークが付加され、MPEG符号化器20で圧縮符号化された画像情報について、N×Mの大きさの単位ウォータマークwm単位での、DCT係数における折り畳み累積が可能になり、前述した従来例とほぼ同様にして、ウォータマークの検出ができる。
【0140】この第2の実施の形態における不正利用防止システムは、上述した図3のウォータマーク付加装置を用いると共に、図4のウォータマークベースバンド検出装置や、ウォータマークビットストリーム検出装置を用いる。この不正利用防止システムには、不正コピー防止システムを含み、ウォータマーク検出装置で検出したウォータマークの情報に基づき、ベースバンド画像情報あるいはビットストリーム画像情報の再生や、複製記録への利用を行わせるかどうかを制御する。
【0141】この第2の実施の形態の不正利用防止システムでは、単位ウォータマークの縦横の大きさが独立に選定されるため、ウォータマークのパターンが分かり難くなり、ウォータマークに対する攻撃を受け難くなるという利点がある。
【0142】なお、上述の第2の実施の形態の説明では、単位ウォータマークwmの縦方向および横方向の反復単位は、単位ウォータマークwmの縦、横の大きさと等しくしたので、アドレス設定部505および506、また、アドレス設定部603および604では、座標(x,y)の要素を、横、縦の大きさであるN,Mで除算するようにしたが、単位ウォータマークwmの大きさと、単位ウォータマークwmの縦方向および横方向の反復単位の大きさが異なる場合には、アドレス設定部505および506、また、アドレス設定部603および604では、座標(x,y)の要素を、反復単位の値で除算した剰余を出力するものである。
【0143】[第3の実施の形態]第3の実施の形態は、1画像(1フレームまたは1フィールド)における単位ウォータマークの反復パターンを、従来のように整列させるのではなく、単位ウォータマークの横方向の反復からなる行の1行毎に、行方向(横方向)に一定量づつ順次ずらすことにより、ウォータマークパターンを分かり難くし、ウォータマークに対する攻撃を困難にしたものである。
【0144】図5は、この第3の実施の形態の一例の反復ウォータマークWMRを説明するためのものである。この例では、単位ウォータマークwmとしては、図5(A)に示すように、第1の実施の形態と同様に、横×縦=L×L画素分の大きさのものを用いる。そして、図5R>5(B)に示すように、単位ウォータマークが反復する1行毎に、横方向に、順次、一定量dxづつ、反復パターンがずれるようにして、反復ウォータマークWMRを生成する。そして、この図5(B)の反復ウォータマークWMRを、画像に付加するようにする。
【0145】この第3の実施の形態においても、システムの流れは、従来例と同様に、図20のように表され、ウォータマーク付加装置10、ウォータマークベースバンド検出装置30およびウォータマークビットストリーム検出装置40が主な要素である。
【0146】この第3の実施の形態のウォータマーク付加装置10としては、図5(B)の反復ウォータマークの全体をメモリに格納しておき、入力端子11および12からのx座標入力およびy座標入力を、そのメモリアドレスとして、順次に読み出すようにすることも可能であるが、それでは、メモリ容量が大きいので、以下に説明する例では、図1に示した第1の実施の形態のウォータマーク付加装置を応用したものを用いる。
【0147】この例の場合の第3の実施の形態のウォータマーク付加装置10は、図1に示した第1の実施の形態のウォータマーク付加装置と、単位ウォータマークwmの反復の仕方に違いがある。すなわち、第1の実施の形態のウォータマーク付加装置での反復ウォータマークWMRは、図23に示したように画像上に縦横に単調に並んでいるが、第3の実施の形態のウォータマーク付加装置での反復ウォータマークWMRの反復の仕方は、図5R>5(B)のように、横方向には整列して並んでいるが、縦方向には順次ずれている。
【0148】この場合の第3の実施の形態のウォータマーク付加装置10の構成例を図6に示す。ウォータマーク付加装置10の構成としては、第1の実施の形態のウォータマーク付加装置に対し、ウォータマーク反復器103の部分の内部構成のみが異なっている。
【0149】図6のウォータマーク反復器103においては、メモリ501およびy座標のアドレス設定部503は、第1の実施の形態のそれらと全く同一であるが、x座標のアドレス設定部が異なり、アドレス設定部507となっている。このアドレス設定部507では、単位ウォータマークを読み出すときの横方向のアドレスの指定が異なっていて、横方向の行毎のずれ量dxを加味して、x%L+dx×(y/L)
なる演算を行い、メモリ501のアドレスxを指定する。ただし、「/」は商を求める演算子であるとする。以下同様である。なお、単位ウォータマークwmのメモリ501への書き込みに関しては、第1の実施の形態と全く同一である。
【0150】この第3の実施の形態のウォータマーク付加装置によって付加されたウォータマークは、図5(B),(C)に示されるように、縦方向には連続性が乱れている。しかし、ウォータマーク検出装置における折り畳み累積のときの単位ウォータマークに対応する折り畳み累積領域ARを、図5(C)に示すように、行毎にdxづつ同様にずらすことにより、ウォータマークのパターンを累積して検出することが可能になる。この第3の実施の形態の場合のウォータマーク検出装置30および40について続いて説明する。
【0151】第3の実施の形態の場合のウォータマーク検出装置は、図6のウォータマーク付加装置で付加したウォータマークを検出できるように、従来例のウォータマーク検出装置とは、折り畳み累積器において横方向のアドレスの指定が異なっている。その相違点は、ベースバンドにおけるウォータマーク検出装置30でも、ビットストリームにおけるウォータマーク検出装置40でも同じであるので、以下の説明では、主にベースバンドにおける検出装置30について記述する。
【0152】この第3の実施の形態の場合のウォータマークベースバンド検出装置30の構成は、図24(ビットストリームにおける検出では図29)の従来例のウォータマーク検出装置に対し、折り畳み累積器301(ビットストリームにおける検出では折り畳み累積器401)の部分のみが異なっている。
【0153】そこで、ここでは、第3の実施の形態の場合のウォータマークベースバンド検出装置30の折り畳み累積器301の部分のみについて説明する。図7は、この折り畳み累積器301のブロック図である。この折り畳み累積器301は、L×Lの大きさの単位ウォータマーク分の要素を格納するメモリ605と、累積加算器602と、アドレス設定部606および607とからなる。
【0154】この折り畳み累積器301において、メモリアドレスxのアドレス設定部606では、入力端子31および32の両方のx座標入力およびy座標入力を用いて、x%L+dx×(y/L)
なる演算を行い、メモリ605のアドレスxを指定する。また、メモリアドレスyのアドレス設定部607では、入力端子32からのy座標入力のみを用いて、y%Lなる演算を行い、メモリ605のアドレスyを指定する。
【0155】このようにして、折り畳み累積器301では、メモリ605のアドレス指定を行って、図5(C)に示す折り畳み累積領域ARのように、行毎にdxづつ同様にずらした単位ウォータマーク単位の領域で折り畳み累積をすることにより、ウォータマークのパターンを累積してウォータマークを検出することが可能になる。
【0156】この第3の実施の形態における不正利用防止システムは、上述した図6のウォータマーク付加装置を用いると共に、図7のウォータマークベースバンド検出装置や、ウォータマークビットストリーム検出装置を用いる。この不正利用防止システムには、不正コピー防止システムを含み、ウォータマーク検出装置で検出したウォータマークの情報に基づき、ベースバンド画像情報あるいはビットストリーム画像情報の再生や、複製記録への利用を行わせるかどうかを制御する。
【0157】この第3の実施の形態の不正利用防止システムでは、反復ウォータマークWMRのパターンの横方向のずれの量が分からない限り、フレーム内の累積による攻撃ができないという強みを持つ。
【0158】なお、この第3の実施の形態においても、単位ウォータマークwmの縦方向および横方向の反復単位と、単位ウォータマークwmの縦、横の大きさとが等しくない場合には、アドレス設定部503および507、また、アドレス設定部606および607での演算におけるLの代わりに、その反復単位の大きさを用いるものである。
【0159】また、上述の第3の実施の形態の説明では、単位ウォータマークwmの大きさは、縦と横の大きさが等しいL×Lとしたが、第2の実施の形態のように、単位ウォータマークwmの大きさを、M×Nとすることもできる。その場合には、単位ウォータマークwmの大きさについての自由度が増加した分、ウォータマークに対する攻撃にさらに強くなることが期待できる。
【0160】[第4の実施の形態]第4の実施の形態は、1画像(1フレーム)における単位ウォータマークの反復パターンを、従来のように整列させるのではなく、縦方向の単位ウォータマークの反復からなる列の1列毎に、列方向(縦方向)に順次ずらすことにより、ウォータマークパターンを分かり難くし、ウォータマークに対する攻撃を困難にしたものである。
【0161】図8は、この第4の実施の形態の一例の反復ウォータマークWMRを説明するためのものである。すなわち、この例では、単位ウォータマークwmとしては、図8(A)に示すように、横×縦=L×L画素分の大きさのものを用いる。そして、図8(B)に示すように、単位ウォータマークが反復する1列毎に、縦方向に、順次、一定量dyづつ、反復パターンがずれるようにして、反復ウォータマークWMRを生成する。そして、この図8(B)の反復ウォータマークWMRを、画像に付加するようにする。
【0162】この第4の実施の形態においても、システムの流れは、従来例と同様に、図20のように表され、ウォータマーク付加装置10、ウォータマークベースバンド検出装置30およびウォータマークビットストリーム検出装置40が主な要素である。
【0163】この第4の実施の形態のウォータマーク付加装置10としては、図8(B)の反復ウォータマークの全体をメモリに格納しておき、入力端子11および12からのx座標入力およびy座標入力を、そのメモリアドレスとして、順次に読み出すようにすることも可能であるが、それでは、メモリ容量が大きいので、以下に説明する例では、図1に示した第1の実施の形態のウォータマーク付加装置を応用したものを用いる。
【0164】この例の場合の第4の実施の形態のウォータマーク付加装置10は、図1に示した第1の実施の形態のウォータマーク付加装置と、単位ウォータマークwmの反復の仕方に違いがある。すなわち、第1の実施の形態のウォータマーク付加装置での反復ウォータマークWMRは、図23に示したように画像上に縦横に単調に並んでいるが、第4の実施の形態のウォータマーク付加装置での反復ウォータマークWMRの反復の仕方は、図8R>8(B)のように、縦方向には整列して並んでいても、横方向には順次ずれている。
【0165】この場合の第4の実施の形態のウォータマーク付加装置10の構成例を図9に示す。ウォータマーク付加装置10の構成としては、第1の実施の形態のウォータマーク付加装置に対し、ウォータマーク反復器103の部分の内部構成のみが異なっている。
【0166】図9のウォータマーク反復器103においては、メモリ501およびx座標のアドレス設定部502は、第1の実施の形態のそれらと全く同一であるが、y座標のアドレス設定部が異なり、アドレス設定部508となっている。このアドレス設定部508では、単位ウォータマークを読み出すときの縦方向のアドレスの指定が異なっていて、縦方向の行毎のずれ量dyを加味して、y%L+dy×(x/L)
なる演算を行い、メモリ501のアドレスyを指定する。なお、単位ウォータマークwmのメモリ501への書き込みに関しては、第1の実施の形態と全く同一である。
【0167】この第4の実施の形態のウォータマーク付加装置によって付加されたウォータマークは、図8(B),(C)に示されるように、縦方向には連続性が乱れている。しかし、ウォータマーク検出装置における折り畳み累積のときの単位ウォータマークに対応する領域を、図8(C)に示すARのように、1列毎にdyづつ同様にずらすことにより、ウォータマークのパターンを累積して検出することが可能になる。この第4の実施の形態の場合のウォータマーク検出装置30および40について、続いて説明する。
【0168】第4の実施の形態の場合のウォータマーク検出装置は、図9のウォータマーク付加装置で付加したウォータマークを検出できるように、従来例のウォータマーク検出装置とは、折り畳み累積器において縦方向のアドレスの指定が異なっている。その相違点は、ベースバンドにおけるウォータマーク検出装置30でも、ビットストリームにおけるウォータマーク検出装置40でも同じであるので、以下の説明では、主にベースバンドにおける検出装置30について記述する。
【0169】この第4の実施の形態の場合のウォータマークベースバンド検出装置30の構成は、図24(ビットストリームにおける検出では図29)の従来例のウォータマーク検出装置に対し、折り畳み累積器301(ビットストリームにおける検出では折り畳み累積器401)の部分のみが異なっている。
【0170】そこで、ここでは、第4の実施の形態の場合のウォータマークベースバンド検出装置30の折り畳み累積器301の部分のみについて説明する。図10は、この折り畳み累積器301のブロック図である。この折り畳み累積器301は、L×Lの大きさの単位ウォータマーク分の要素を格納するメモリ605と、累積加算器602と、アドレス設定部608および609とからなる。
【0171】この折り畳み累積器301において、メモリアドレスxのアドレス設定部608では、入力端子31からのx座標入力のみを用いて、x%Lなる演算を行い、メモリ605のアドレスxを指定する。また、メモリアドレスyのアドレス設定部609では、入力端子31および32の両方のx座標入力およびy座標入力を用いて、y%L+dy×(x/L)
なる演算を行い、メモリ605のアドレスyを指定する。
【0172】このようにして、折り畳み累積器301では、メモリ605のアドレス指定を行って、図8(C)に示すARのように、列毎に一定量dyづつ同様にずらした単位ウォータマーク分の領域単位で折り畳み累積をすることにより、ウォータマークのパターンを累積してウォータマークを検出することが可能になる。
【0173】この第4の実施の形態における不正利用防止システムは、上述した図9のウォータマーク付加装置を用いると共に、図10のウォータマークベースバンド検出装置や、ウォータマークビットストリーム検出装置を用いる。この不正利用防止システムには、不正コピー防止システムを含み、ウォータマーク検出装置で検出したウォータマークの情報に基づき、ベースバンド画像情報あるいはビットストリーム画像情報の再生や、複製記録への利用を行わせるかどうかを制御する。
【0174】この第4の実施の形態の不正利用防止システムでは、反復ウォータマークWMRのパターンの縦方向のずれの量が分からない限り、フレーム内の累積による攻撃ができないという強みを持つ。
【0175】なお、この第4の実施の形態においても、単位ウォータマークwmの縦方向および横方向の反復単位と、単位ウォータマークwmの縦、横の大きさとが等しくない場合には、アドレス設定部502および508、また、アドレス設定部608および609での演算におけるLの代わりに、その反復単位の大きさを用いるものである。
【0176】また、上述の第4の実施の形態の説明では、単位ウォータマークwmの大きさは、縦と横の大きさが等しいL×Lとしたが、第2の実施の形態のように、単位ウォータマークwmの大きさを、M×Nとすることもできる。その場合には、単位ウォータマークwmの大きさについての自由度が増加した分、ウォータマークに対する攻撃にさらに強くなることが期待できる。
【0177】[第5の実施の形態]第5の実施の形態は、1画像(1フレームまたは1フィールド)を単位とした時間方向に順次ずれている反復ウォータマークWMRを、画像情報に付加し、検出するようにすることにより、ウォータマークパターンを分かり難くし、ウォータマークに対する攻撃を困難にしたものである。
【0178】図11は、この第5の実施の形態の一例を説明するためのものである。すなわち、この例では、単位ウォータマークwmとしては、図11に示すように、横×縦=L×L画素分の大きさのものを用い、従来と同様に、この単位ウォータマークwmを縦方向および横方向に整列して反復させた反復ウォータマークWMRを得る。しかし、図11(A),(B),(C)に示すように、一定の時間ごとに、反復ウォータマークWMRを画像に対して、横方向にtx、縦方向にtyづつ順次にずらして付加するようにする。
【0179】図11の例は、1フレームごとに、横方向にtx、縦方向にtyづつ順次にずらした場合である。すなわち、反復ウォータマークWMRの画像に対してのずれ量は、図11(A)に示す時間t=0の時点では、ゼロであり、図11(B)に示す時間t=1の時点では、横方向に一定量tx、縦方向に一定量tyであり、また、図11(C)に示す時間t=2の時点では、横方向に2tx、縦方向に2tyである。時間t=nでは、横方向にn・tx、縦方向のn・tyのずれ量となる。
【0180】この第5の実施の形態においても、システムの流れは、従来例と同様に、図20のように表され、ウォータマーク付加装置10、ウォータマークベースバンド検出装置30およびウォータマークビットストリーム検出装置40が主な要素である。
【0181】この第5の実施の形態においても、ウォータマーク付加装置は、メモリ容量を少なくするため、図1R>1に示した第1の実施の形態のウォータマーク付加装置を応用したものを用いる。
【0182】この第5の実施の形態のウォータマーク付加装置10は、図1に示した第1の実施の形態のウォータマーク付加装置と、単位ウォータマークwmの反復の仕方に違いがある。すなわち、第1の実施の形態のウォータマーク付加装置における反復ウォータマークパターンWMRは時間によって変化しないが、第5の実施の形態のウォータマーク付加装置で生成する反復ウォータマークパターンWMRは、図11に示したように、時間によって順次ずれている。
【0183】この場合の第5の実施の形態のウォータマーク付加装置10の構成例を図12に示す。ウォータマーク付加装置10の構成としては、第1の実施例のウォータマーク付加装置に対し、ウォータマーク反復器103の部分の内部構成のみが異なっている。
【0184】図12のウォータマーク反復器においては、メモリ501を用いること、および単位ウォータマークwmのメモリ501への書き込みは、図1の第1の実施の形態のウォータマーク反復器と同じであるが、単位ウォータマークwmを読み出すときの縦、横、両方向のアドレスの指定が異なっている。
【0185】すなわち、アドレス設定部509および510は、単位ウォータマークwmの読み出し時には、座標x,座標y,および時間tの3つを使って、アドレス設定部509では、x%L+tx×(t/C)
なる演算を行い、メモリ501のアドレスxを指定する。また、アドレス設定部510では、y%L+ty×(t/C)
なる演算を行い、メモリ501のアドレスyを指定する。ここで、Cは、反復ウォータマークWMRを、ずらす時間周期を決めるための任意の定数(Cは1以上の整数)であり、例えばフレーム数あるいはフィールド数することもできる。
【0186】この第5の実施の形態のウォータマーク付加装置によって付加されたウォータマークは、図11(A),(B),(C)に順次に示されるように、時間方向で同じパターンになっておらず、一定方向にずれている。しかし、折り畳み累積のときにも、折り畳み累積の領域も、同様にずらすことによりウォータマークのパターンを累積して検出することが可能になる。この第5の実施の形態の場合のウォータマーク検出装置30および40について、続いて説明する。
【0187】第5の実施の形態の場合のウォータマーク検出装置は、図9のウォータマーク付加装置で付加したウォータマークを検出できるように、従来例のウォータマーク検出装置とは、折り畳み累積器において縦方向のアドレスの指定が異なっている。その相違点は、ベースバンドにおけるウォータマーク検出装置30でも、ビットストリームにおけるウォータマーク検出装置40でも同じであるので、以下の説明では、主にベースバンドにおける検出装置30について記述する。
【0188】この第5の実施の形態の場合のウォータマークベースバンド検出装置30の構成は、図24(ビットストリームにおける検出では図29)の従来例のウォータマーク検出装置に対し、折り畳み累積器301(ビットストリームにおける検出では折り畳み累積器401)の部分のみが異なっている。
【0189】そこで、ここでは、第5の実施の形態の場合のウォータマークベースバンド検出装置30の折り畳み累積器301の部分のみについて説明する。図13は、この折り畳み累積器301のブロック図である。この折り畳み累積器301は、L×Lの大きさの単位ウォータマーク分の要素を格納するメモリ605と、累積加算器602と、アドレス設定部610および611とからなる。
【0190】この折り畳み累積器301において、メモリアドレスxのアドレス設定部610では、入力端子31からのx座標入力と、入力端子34からの時間tの情報を用いて、x%L+tx×(t/C)
なる演算を行い、メモリ605のアドレスxを指定する。また、メモリアドレスyのアドレス設定部611では、入力端子31からのy座標入力と、入力端子34からの時間tの情報を用いて、y%L+ty×(t/C)
なる演算を行い、メモリ605のアドレスyを指定する。
【0191】このようにして、折り畳み累積器301では、メモリ605のアドレス指定を行って、一定の時間ごとに、一定量づつ縦および横にずれた単位ウォータマーク分の領域単位で折り畳み累積をすることにより、ウォータマークのパターンを累積してウォータマークを検出することが可能になる。
【0192】この第5の実施の形態における不正利用防止システムは、上述した図12のウォータマーク付加装置を用いると共に、図13のウォータマークベースバンド検出装置や、ウォータマークビットストリーム検出装置を用いる。この不正利用防止システムには、不正コピー防止システムを含み、ウォータマーク検出装置で検出したウォータマークの情報に基づき、ベースバンド画像情報あるいはビットストリーム画像情報の再生や、複製記録への利用を行わせるかどうかを制御する。
【0193】この第5の実施の形態の不正利用防止システムでは、反復ウォータマークWMRの時間方向のずれの量が分からない限り、フレーム間の累積による攻撃ができないという強みを持つ。
【0194】ここで、前記定数Cの値を1とすれぼ、各フレーム毎に付加する反復ウォータマークパターンWMRが変化していく。この定数C=1の値は、ベースバンドに対して検出を行なう場合に適している。また、定数Cの値を15とすれば、15フレーム毎に付加する反復ウォータマークパターンWMRが変化していく。この定数Cの値は、MPEG圧縮符号化におけるGOP(Group Of Picture)の枚数が15枚であるビットストリームから検出を行なう場合に適している。
【0195】この第5の実施の形態に、前記第2の実施の形態〜第4の実施の形態の方法を組み合わせて使うと、更に攻撃に強くなる。例えば、第2の実施の形態と、第3の実施の形態と、第5の実施の形態との方法を組み合わせて使った場合、図14のウォータマーク反復器を用いたウォータマーク付加装置と、図15の折り畳み累積器を用いたウォータマーク検出装置とによる不正利用防止システムが実現できる。
【0196】図14のウォータマーク反復器においては、N×M要素を格納することが可能なメモリ504と、アドレス設定部511および512とを用いる。単位ウォータマークwmのメモリ504への書き込みは、前述の第2の実施の形態の場合と同様であるが、メモリ504から単位ウォータマークwmを読み出すときの縦、横、両方向のアドレスの指定が異なっている。
【0197】すなわち、単位ウォータマークwmの読み出し時には、アドレス設定部511は、入力端子11、12、13からの座標x,座標y,および時間tの3つを使って、x%N+dx×(y/C)+tx×(t/C)
なる演算を行い、メモリ504のアドレスxを指定する。また、アドレス設定部512では、y%M+ty×(t/C)
なる演算を行い、メモリ504のアドレスyを指定する。
【0198】また、図15の折り畳み累積器301においては、N×M要素を格納することが可能なメモリ601と、アドレス設定部612および613とを用いる。そして、メモリアドレスxのアドレス設定部612では、入力端子31からのx座標入力と、入力端子32からのy座標入力と、入力端子34からの時間tの情報を用いて、x%N+dx×(y/C)+tx×(t/C)
なる演算を行い、メモリ601のアドレスxを指定する。また、メモリアドレスyのアドレス設定部613では、入力端子31からのy座標入力と、入力端子34からの時間tの情報を用いて、y%M+ty×(t/C)
なる演算を行い、メモリ601のアドレスyを指定する。
【0199】このシステムでは、単位ウォータマークの縦横の大きさ、フレーム内での横方向のずれ量、フレーム間での縦横のずれ量が分からない限り、フレーム内およびフレーム間の累積による攻撃ができないという強みを持つ。また、ウォータマークの付加および検出装置については、メモリのアクセスのしかたが変わるだけで装置を複雑にすることなく実現している。
【0200】なお、上述の第5の実施の形態においては、一定の時間Cごとに、反復ウォータマークWMRのパターン全体を縦および横の両方向にずらすようにしたが、一定の時間Cごとに、縦方向のみ、あるいは横方向にのみ、それぞれずらすようにしてもよい。
【0201】また、この第5の実施の形態においても、単位ウォータマークwmの縦方向および横方向の反復単位と、単位ウォータマークwmの縦、横の大きさとが等しくない場合には、アドレス設定部509、510、511、512、また、アドレス設定部610、611、612、および613での演算におけるL、N,Mの代わりに、その反復単位の大きさを用いるものである。
【0202】なお、上述した第2〜第5の各実施の形態のそれぞれのウォータマーク検出装置において、入力端子6からの入力を単位ウオータマークwmでなく、単位ウォータマークwmをFFTしたものに変更して、単位ウォータマークwm用のFFT器304を省略してもよい。
【0203】
【発明の効果】以上で説明したように、請求項1の発明による付随情報付加装置では、単位ウォータマークをメモリの上で反復する必要がなく、メモリには、単位ウォータマークのみを蓄積すればよいので、従来例と比べて使用するメモリが少なくて済む。
【0204】また、請求項2の発明による付随情報付加装置では、単位ウォータマークの縦、横の大きさについての自由度が従来に比べて増加するため、ウォータマークに対する攻撃は困難になる。
【0205】また、請求項7、請求項13、および請求項19の発明による付随情報付加装置では、反復ウォータマークにおける単位ウォータマークの並び、および反復ウォータマーク自身について、従来よりも複数の自由度が加えられるので、ウォータマークに対する攻撃は困難になる。
【0206】しかも、自由度の実現はウォータマーク付加装置およびウォータマーク検出装置を、わずかに変更するだけで、装置を複雑にすることなく実現することができるという効果もある。
【図面の簡単な説明】
【図1】この発明による付随情報付加装置の第1の実施の形態のブロック図である。
【図2】この発明による付随情報付加装置の第2の実施の形態を説明するための図である。
【図3】この発明による付随情報付加装置の第2の実施の形態のブロック図である。
【図4】第2の実施の形態の付随情報付加装置に対応する付随情報検出装置の一形態のブロック図である。
【図5】この発明による付随情報付加装置の第3の実施の形態を説明するための図である。
【図6】この発明による付随情報付加装置の第3の実施の形態のブロック図である。
【図7】第3の実施の形態の付随情報付加装置に対応する付随情報検出装置の一形態のブロック図である。
【図8】この発明による付随情報付加装置の第4の実施の形態を説明するための図である。
【図9】この発明による付随情報付加装置の第4の実施の形態のブロック図である。
【図10】第4の実施の形態の付随情報付加装置に対応する付随情報検出装置の一形態のブロック図である。
【図11】この発明による付随情報付加装置の第5の実施の形態を説明するための図である。
【図12】この発明による付随情報付加装置の第5の実施の形態のブロック図である。
【図13】第5の実施の形態の付随情報付加装置に対応する付随情報検出装置の一形態のブロック図である。
【図14】この発明による付随情報付加装置の第5の実施の形態の他の例のブロック図である。
【図15】図14の第5の実施の形態の付随情報付加装置に対応する付随情報検出装置の一形態のブロック図である。
【図16】画像に埋め込むウォータマークを説明するための図である。
【図17】画像に埋め込むウォータマークを説明するための図である。
【図18】画像に埋め込むウォータマークを説明するための図である。
【図19】画像に埋め込むウォータマークを説明するための図である。
【図20】付随情報付加装置および付随情報検出装置を含むシステム構成の流れを説明するための図である。
【図21】付随情報付加装置のブロック図である。
【図22】従来のウォータマーク反復器のブロック図である。
【図23】従来の反復ウォータマークの生成を説明するための図である。
【図24】ウォータマークベースバンド検出装置のブロック図である。
【図25】ウォータマークを検出するための折り畳み累積処理を説明するための図である。
【図26】折り畳み累積器の一例のブロック図である。
【図27】折り畳み累積の累積結果を説明するための図である。
【図28】折り畳み累積の累積結果を説明するための図である。
【図29】ウォータマークビットストリーム検出装置のブロック図である。
【図30】MPEG圧縮符号化のフレームモードの時の符号化ブロック(DCTブロック)を説明するための図である。
【図31】MPEG圧縮符号化のフィールドモードの時の符号化ブロック(DCTブロック)を説明するための図である。
【図32】単位ウォータマークと符号化ブロックの大きさとの関係を説明するための図である。
【符号の説明】
10…ウォータマーク付加装置、20…MPEG符号化器、30…ウォータマークベースバンド検出装置、40…ウォータマークビットストリーム検出装置、101…ウォータマーク埋め込み器、102…埋め込み量判断器、103…ウォータマーク反復器、301…折り畳み累積器、302…FFT器、303…畳み込み演算器、304…FFT器、305…逆FFT器、411…DCT係数抽出き、412…逆DCT器、501,504,601,605…メモリ、602…累積加算器、502,503,505〜512…アドレス設定部、603,604,606〜613…アドレス設定部
【0001】
【発明の属する技術分野】この発明は、静止画像あるいは動画像シーケンスなどの画像データに対して、それに付随する情報を、電子透かし(ウォータマーク)として画像データ中に付加する付随情報付加装置および方法、また、その付随情報を検出する付随情報検出装置および方法に関する。また、この発明は、これらの付随情報付加装置あるいは方法、また、付随情報検出装置あるいは方法を用いる不正利用防止システムに関する。
【0002】
【従来の技術】任意の画像データ(静止画像あるいは動画像シーケンス)に対して、それに付随する情報を画像データ中に付加し、再生時にその付随情報を検出して利用する技術がある。この技術の代表的な利用例として、著作権情報の付加が挙げられる。
【0003】特定の画像データを不特定の利用者が利用することが可能である場合、その画像に対して著作権を持つ者がその権利を主張するために、あらかじめ著作権情報を画像データ中に付加しておくことが考えられる。著作権情報を付加しておくことにより、画像の再生装置あるいは再生方法における処理手順の中でその画像データを表示不可と指示する著作権情報が検出された場合には、その画像データの表示を行なわない等の対策を講じることが可能となる。
【0004】上述の著作権情報の付加あるいは検出は、現在、アナログ記録(ビデオ信号をアナログ信号の状態で記録)のビデオテープの不正コピー防止機能等で利用されている。この機能により、レンタル業者から借りてくるなどの方法で手元にあるビデオテープを不正にコピーすることを不可能にし、そのビデオテープの著作権を持つ者の権利を守っている。
【0005】アナログ記録のビデオテープの場合には、画像データがアナログ的に記録されるため、コピーを行なうと画質が劣化する。これに対し、最近普及しつつあるデジタル的に画像データを記録し再生する機器においては、原理的にコピーによって画質が劣化することがなく、コピーを多数回繰り返すことさえも画質の劣化無しに可能である。そのため、デジタル的に処理を行なう機器による不正コピーによる損害は、アナログの場合よりさらに大きなものとなり、デジタル的に処理を行なう機器における不正コピー防止は、非常に重要になっている。
【0006】ところで、上述の著作権情報などの画像データに付随する情報を、その画像データ中に付加する方法としては、主に2つの方法がある。
【0007】第1の方法は、画像データの補助部分に付加する方法である。画像データの補助部分とは、有効画面領域の画像データ以外の部分を指す。例えば、アナログビデオ信号の垂直ブランキング期間や、デジタルビデオ信号のヘッダ部や付加データ部などである。実際に、アナログビデオテープでは、画像データの補助的な付随情報が、垂直ブランキング期間の一部に付加されている。
【0008】第2の方法は、画像データの主要部分、すなわち、有効画面領域の画像データに付加する方法である。これは、ある特定のパターンを視覚的に感知できない程度に画像の全体あるいは一部に付加するものである。これは、電子透かし処理と呼ばれている。この具体例として、乱数やM系列等を用いて発生させた鍵パターンを利用して情報の付加および検出を行なう、スペクトラム拡散等がある。
【0009】第1の方法は、画像データの補助部分という、画像の内容自体とは異なった場所に情報を付加をしているため、一度、補助部分を分離してしまえば付加した情報がなくなってしまうという問題がある。
【0010】これに対して、電子透かし処理は、画像データに存在する人間の知覚上の重要でない部分、すなわち、画像に対して冗長でない部分に、雑音として情報を埋め込む処理である。このような電子透かし処理により画像データ中に埋め込まれた情報(以下、電子透かしにより埋め込まれる情報をウォータマークという)は、画像データと同じ周波数領域および時間領域に付加されるので、その画像データから除去されにくい。一方、画像データについてフィルタリング処理やデータ圧縮処理をした後であっても、それらに埋め込まれたウォータマークを画像データ中から検出することが可能であるという特徴がある。
【0011】以下では、上述のような特徴を備える第2の方法の、画像データの主要部分に付随情報を付加する方法であるウォータマークを用いた方法について述べる。
【0012】まず、図16〜図19を用いてウォータマークの付加、検出方式の概略を説明する。
【0013】図16は、ウォータマークパターンWMの例を示し、この例のウォータマークパターンWMは、例えば、縦×横=4n画素×4n画素(nは自然数)の大きさで、各画素について、図示のように、+1,−1の2つのシンボルのいずれかを取るものを用いるとする。なお、実際の利用においては、ウォータマークパターンは、2つのシンボルのいずれかをランダムに取る方が望ましい。また、ウォータマークパターンの領域の形状、大きさは任意である。
【0014】画像に付随情報を付加する際には、付加を行なう対象となる画像上で、付加しようとするウォータマークパターンの領域と等しい大きさの領城を設定する。設定された領域とウォータマークパターンWMとを重ねて照らし合わせ、ウォータマークパターンWMで+1のシンボルが対応する画素については値aを加算し、−1のシンボルが対応する画素については値bを減算する。ここで、値a,値bは、共に、任意の値を取り得る。
【0015】図17は、画像へのウォータマークパターンWMの付加の例を示しており、この例では、付加を行なう対象となる画像Piの領域の画素値が全て100の場合であり、また、付加するウォータマークパターンWMの前記a=1,b=1に設定されている場合である。このウォータマークパターンWMの埋め込み操作が行われた結果の画像Poでは、図示のように、101と99の画素値に分かれることになる。
【0016】付随情報を検出する際には、検出を行なう対象となる画像上でウォータマークパターンWMの領域と等しい大きさの領域を設定する。そして、設定された画像領域とウォータマークパターンWMとの相関についての評価値を求める。この場合、設定された画像領域の画素の全てについて合計したものを評価値として用いる。
【0017】具体的には、評価値を求めるために、画素全てを合計する際に、設定された画像領域とウォータマークパターンWMとを重ねて照らし合わせ、ウォータマークパターンWMの+1のシンボルの画素については足し算、−1のシンボルの画素については引ぎ算を適用する。このとき、付随情報を付加する際に用いたウォータマークパターンと同じパターンを用いて検出を行なうものである。
【0018】図18は、図17のようにしてウォータマークパターンWMが付加された画像Poからウォータマークを検出する場合の評価値の算出を説明するための図である。この図18の例では、評価値は4n2 (領域に含まれる画素数の数と同じ)になる。
【0019】これに対して、図19の画像Poは、ウォータマークパターンWMが付加されていない場合を示しており、この画像Poについての、ウォータマークパターンとの相関の評価値は0となる。
【0020】実際的には、ウォータマークパターンが付加される対象の画像Piの画素のすべてが同じ値になることはほとんどないが、ウォータマークパターンの領域が充分に広く、かつ、ウォータマークパターンが充分にランダムである場合、画像の水平、垂直相関性から、ウォータマークが付加されていない場合の画像Poについての前記評価値は常にほぼ0となる。このことから、評価値がある一定の閾値を超えた場合には、ウォータマークによる付随情報が画像に付加されていると判別することができる。
【0021】上記の手順により、付随情報として、ウォータマークが付加されているか否かという2値の情報(1ビット)を付加することが可能となる。より多くの情報(複数ビット)を付加したい湯合には、画像全体を空間的に、時間的に、または空間的かつ時間的にk個の領域に分けて、それぞれ上記の操作を行なう等の処理方法により、2k 通り(kビット)の情報を画像に付加することができる。
【0022】ウォータマークパターンとしては、例えば、M系列(最長符号系列)を用いて生成したものを利用することができる。M系列は、2値のシンボルからなる数列で、それぞれのシンボルの統計的分布は一定であり、符号相関は、原点で1、その他では−1/符号長となるものである。もちろん、M系列を用いる以外の方法でウォータマークパターンを生成してもよい。
【0023】ところで、画像データをデジタル的に記録し再生する場合、画像データは、そのままでは非常に情報量が多いため、画像データを圧縮するのが一般的である。画像データを圧縮する方法としては、JPEG(カラー静止画像の符号化方式)あるいはMPEG(カラー動画像の符号化方式)等の高能率符号化方式が国際的に標準化され、実用化に至っている。これらの高能率符号化方式によって圧縮されたデータをビットストリームデータ、あるいは単にビットストリームと呼ぶ。また、対比する表現として、圧縮する前の画像および復号した後の画像をベースバンド画像、あるいは単にベースバンドと呼ぶ。
【0024】ところで、ベースバンド画像に対してウォータマークを付加しておくだけで、そのままベースバンド画像として配布されても、また、JPEG、MPEGなどの高能率符号化を行なった後のビットストリームとして配布されても、どちらの場合についてもウォータマーク検出器を用意でき、簡単にウォータマークを検出できれば好都合である。つまり、高能率符号化などによって圧縮する前に付加したウォータマークが、ベースバンドでもビットストリームでも共通して検出に用いることが出来ることが好ましい。
【0025】図20は、この場合の画像情報へのウォータマークの付加および検出の全体の流れを説明するための概念図である。
【0026】すなわち、図20においては、入力端子1を通じてベースバンド画像情報がウォータマーク付加装置10に供給されると共に、単位ウォータマーク入力端子2を通じて、付加しようとする単位ウォータマークwmの情報がウォータマーク付加装置10に供給される。単位ウォータマークwmは、後で詳述するように、画像の一部の小領域に対応する大きさを有するものである。
【0027】この例のウォータマーク付加装置10では、入力端子2からの単位ウォータマークwmを画像上の縦横に反復した状態の反復ウォータマークWMRを、入力端子1からのベースバンド画像に付加する。反復ウォータマークWMRを付加したベースバンド画像情報は、出力端子3を通じて出力される。
【0028】また、反復ウォータマークWMRが付加されたベースバンド画像は、MPEG符号化器20に供給されて、MPEG方式により高能率符号化されて、ビットストリームとされ、出力端子4を通じて出力される。この場合のMPEG符号化における符号化ブロックの大きさは、単位ウォータマークwmに等しいか、あるいは、単位ウォータマークwmが、整数個の符号化ブロックに等しい関係となるようにされている。換言すれば、単位ウォータマークwmの大きさは、この符号化ブロックの大きさの整数倍の大きさに選定されるものである。
【0029】出力端子3から出力されたウォータマークWMRが付加されたベースバンド画像の画像情報は、入力端子5を通じてウォータマークベースバンド検出装置30に供給される。そして、ウォータマークベースバンド検出装置30では、入力端子6からの単位ウォータマークwm(入力端子2からの単位ウォータマークwmに等しい)に基づいて、ベースバンド画像情報から、後述のようにして、ウォータマークが検出され、その検出結果が出力端子7を通じて導出される。
【0030】また、出力端子4から出力されたウォータマークWMRが付加されたビットストリームの画像情報は、入力端子8を通じてウォータマークビットストリーム検出装置40に供給される。そして、ウォータマークビットストリーム検出装置40では、入力端子6からの単位ウォータマークwmに基づいて、後述するようにして、ビットストリーム画像情報からウォータマークが検出され、その検出結果が出力端子9を通じて導出される。
【0031】図20のウォータマーク付加装置10は、従来は、図21に示すように構成されている。このウォータマーク付加装置は、画像の縦横に単位ウォータマークwmが反復するウォータマークWMRを画像に付加し、そのウォータマーク付加画像を出力する装置である。
【0032】この場合、画像入力端子1から入力される動画像データは、I(x,y,t)(0≦x<width(I),0≦y<height(I))と表すことができ、また、単位ウォータマーク入力端子2から入力される単位ウォータマークwmは、W(x,y)(0≦x<L,0≦y<L)と表すことができる。
【0033】ただし、x,yは、それぞれ、画像を構成する各画素の画像上の横方向および縦方向の座標を表す。また、tは画像単位の時間を表すものとする。また、図23(B),(C)にも示すように、width(I)およびheight(I)は、それぞれ、画像の幅および高さである。また、L(自然数)は、図23(A)に示すように、単位ウォータマークwmの幅および高さである。このように、従来は、単位ウォータマークwmの幅および高さは、等しく選定されていた。
【0034】単位ウォータマーク入力端子2から入力された単位ウォータマークwmは、ウォータマーク反復器103に入力される。このウォータマーク反復器103の内部構成は、従来は、図22に示すようなものとされている。
【0035】すなわち、図22に示すように、ウォータマーク反復器103には、1枚の画像分に相当する反復ウォータマークWMRの要素数を格納可能な容量のメモリ1031が設けられている。
【0036】メモリ1031への単位ウォータマークwmの書き込み時には、x座標入力端子11およびy座標入力端子12を通じて、単位ウォータマークwmについての座標(x,y)の座標要素x,yが入力される。すると、アドレス設定部1032および1033により、入力座標に対応したメモリアドレスx,yが設定され、入力端子2からの単位ウォータマークwmが、メモリ1031に書き込まれる。
【0037】この場合、アドレス設定部1032は、入力座標(x,y)に対応する一つのメモリ位置だけでなく、その位置から縦方向および横方向に、それぞれLの1倍、2倍、3倍、……と、整数倍離れた位置を指定するアドレスをメモリ1031に供給する。したがって、メモリ1031には、図23(B),(C)に示すように、単位ウォータマークwmが画像の縦方向および横方向に反復するウォータマークWMRが書き込まれる。
【0038】つまり、単位ウォータマークの各値W(x,y)が入力される毎に、i%L=x かつ j%L=y(0≦i<width(I),0≦j<height(I))を満たす全てのi,j(i,jは正の整数)の組について、反復後のウォータマークを保持するメモリrepeatWに、repeatW(i,j)=W(x,y)
と書き込むものである。なお、この明細書で、「%」は剰余を求める演算子とする。
【0039】これを図23を用いて説明する。図23(A)の単位ウォータマークW(x,y)が入力されたとき、ウォータマーク反復器103では、単位ウォータマークW(x,y)を繰返して、幅width(I)、高さheight(I)になるようした、図23(B)のウォータマークWMRが作られる。
【0040】図23(B)は、画像の幅width(I)、画像の高さheight(I)が、それぞれ、単位ウォータマークwmの幅および高さLで割り切れる場合であるが、割り切れない場合には、図23(C)に示すようなものとなる。
【0041】以上のようにしてウォータマーク反復器103のメモリ1031に書き込まれたウォータマークWMRは、画像入力端子4から入力される画像情報の各画素位置に応じた座標(x,y)が、順次に、x座標入力端子11およびy座標入力端子12からメモリ1031に供給されることにより、読み出される。そして、読み出された反復ウォータマークWMRは、ウォータマーク埋め込み器101に渡される。
【0042】一方、画像入力端子4から入力されたベースバンド画像情報は、ウォータマーク埋め込み器101だけでなく、埋め込み量判断器102にも送られる。埋め込み量判断器102は、入力された画像の特徴を調べ、付加しても画質に与える影響が少ないウォータマークの埋め込み量を画像の各場所について判断し、その量をウォータマーク埋め込み器101に伝える。
【0043】ウォータマーク埋め込み器101では、ウォータマーク反復器103から入力された反復ウォータマークWMRに応じ、画像入力端子4から送られた画像にウォータマークを埋め込む。そのとき、埋め込み量判断器102から入力される、埋め込み量の情報に応じて埋め込み量が調節される。
【0044】ここで、埋め込み量判断器102は、ウォータマーク付加画像の画質を向上させるために必要なものであって、反復ウォータマークWMRの付加および検出をするにあたって必須ではない。例えば、埋め込み量判断器102を用いずに、ウォータマークパターンによって付加することが示されている部分すべてに、同様の埋め込み量で付加しても、ウォータマークを検出することに問題は生じない。
【0045】ウォータマーク埋め込み器101で作られた反復ウォータマークWMRが付加された画像情報は、ベースバンド画像出力端子3から出力される。
【0046】ここで、ウォータマーク埋め込み器101の動作を整理しておく。
【0047】入力画像I(x,y,t)に対して埋め込み量判断器102で求められた埋め込み量をD(x,y,t)とすると、埋め込み器101で、指定された量だけ埋め込む場合、ウォータマーク付加後の画像wmI(x,y,t)は、wmI(x,y,t)=I(x,y,t)+repeatW(x,y)×D(x,y,t)
となる。
【0048】すべての画素に、埋め込み量一定にウォータマークを付加するとすると、ウォータマーク付加後の画像wmI(x,y,t)は、定数Dを用い、wmI(x,y,t)=I(x,y,t)+repeatW(x,y)×Dと表せる。
【0049】次に、ウォータマークベースバンド検出装置30の従来の構成例を、図24を用いて説明する。
【0050】図24のウォータマークベースバンド検出装置30は、ベースバンドの画像情報と、単位ウォータマークwmのパターンを読み込み、そのベースバンド画像情報に含まれるウォータマークの情報を出力する装置である。ウォータマークの情報とは、ウォータマークがその画像に存在すれば、その単位ウォータマークの検出された位置のシフト量で、ウォータマークがその画像に存在しなければ、ウォータマークなしという情報である。単位ウォータマークが検出された位置のシフト量は、比較する単位ウォータマークwmのパターンと、検出された画像上のウォータマーク中の単位ウォータマークパターンとのずれ量に等しい。
【0051】図24に示すように、ベースバンド画像入力端子4から入力された画像I(x,y,t)(図25(A)参照)は、折り畳み累積器301に入力されて、図25(B)に示すように、単位ウォータマークの大きさで折り畳んで累積される。式で表すと、折り畳み累積された結果foldI(x,y)は、次のように表される。
【0052】
foldI(x,y)=ΣI(i%L,j%L,t)
i%L=x,j%L=yLは単位ウォータマークwmの縦横の大きさなので、折り畳み累積結果foldI(x,y)は単位ウォータマークwmと同じ大きさの空間情報である。
【0053】図26は、折り畳み累積器301の従来の構成例を示すものである。この折り畳み累積器301は、少なくともL×L要素の単位ウォータマークwm分の容量を有するメモリ3012と、累積加算器3011と、メモリ3012用のアドレス設定部3013および3014とからなる。
【0054】累積加算器3011には、画像入力端子5からの画像情報が入力されると共に、メモリ3012から読み出された単位ウォータマークwm分の画像要素が供給されて、累積加算される。そして、この累積加算器3011の出力がメモリ3012に、アドレス設定部3013および3014により示されるアドレスに書き込まれると共に、読み出される。これにより、メモリ3012から、折り畳み累積画像出力が得られ、出力端子33を通じて導出される。
【0055】この場合、入力端子31および32から入力される画像についての画素の座標(x、y)の座標要素x、yが、それぞれアドレス設定部3013および3014に供給される。アドレス設定部3013では、x%Lなる剰余を求める演算を行い、求めた剰余を、メモリ3012にそのアドレスxとして供給し、また、アドレス設定部3014では、y%Lなる剰余を求める演算を行い、求めた剰余を、メモリ3012に、そのアドレスyとして供給する。このアドレッシングにより、累積加算器3011およびメモリ3012により、折り畳み累積が実行される。
【0056】このように単位ウォータマークの大きさ単位で折り畳んで累積する折り畳み累積を行う場合において、折り畳みの領域ARが、図27(A)に示すように、画像上のウォータマークとの間にシフトがない場合には、折り畳み累積後の入力画像のウォータマークは、図27(B)のように、単位ウォータマークwmと全く同じパターンになる。
【0057】また、折り畳みの領域ARが、図28(A)に示すように、画像上のウォータマークとの間でシフトしたものとなっていた場合には、折り畳み累積後の入力画像のウォータマークは、図28(B)のように、単位ウォータマークwmを分割したパターンを寄せ集めたようなパターンになる。
【0058】しかし、以上のように折り畳み累積を行うと、図27のように、ウォータマークを付加したときとウォータマークを検出したときの間に画像シフトがない場合はもちろんこと、図28のように、ウォータマークを付加したときとウォータマークを検出したときの間にシフトがあった場合にも、累積されたウォータマーク成分は常に同じ位置であるため強調される上、累積回数が十分多くなると、累積された画像成分は相殺される。
【0059】そこで、入力画像I(x,y,t)にウォータマークが含まれていれば、この折り畳み累積結果foldI(x,y)と、単位ウォータマークW(x,y)をシフトしたものが必ず相関を持つ。この相関を以下のようにFFT(FastFourier Transform)を用いて調べる。
【0060】すなわち、折り畳み累積器301の出力はFFT器302に入力され、L×L要素のFFTが施された後に、畳み込み演算器303に送られる。また、単位ウォータマーク入力端子6から入力された単位ウォータマークwm(=W(x,y))も、FFT器304で、L×L要素のFFTが施された後に、畳み込み演算器303に送られる。
【0061】畳み込み演算器303は、上述の2つのFFT空間の係数に対して畳み込みを行ない、結果を逆FFT器305に送る。畳み込み演算器303での畳み込みは、単位ウォータマークwmと、折り畳み後の画像とについて、空間領域での両者の間でのすべてのシフトの組合せの相関をとることに相当する。
【0062】逆FFT器305では、畳み込み演算器303で得られた結果に対して逆FFTを行なうことにより空間領域に戻す。この逆FFT器305での逆FFTで得られた全ての係数の出力を最大値検出器306および分散計算器307に供給する。
【0063】最大値検出器306では、逆FFT器305での逆FFTで得られた係数のうちの最大係数を探し、最大係数とその座標を出力する。
【0064】そして、分散計算器307には、逆FFT器305からのすべての係数と、最大値検出器306からの最大係数の座標値が入力され、係数の最大値以外の値の分散が計算される。
【0065】また、正規化器308には、分散計算器307で計算された分散と、最大値検出器306で見つけられた最大係数が入力される。正規化器308の出力は、最大係数を、分散で割ることによって正規化した値である。この値は、閾値比較器309に入力され、予め設定されている閾値と比較される。
【0066】閾値比較器309では、これに入力される最大値を分散で割った値が閾値よりも小さいときにはウォータマーク無しとみなされ、出力制御器310が制御されて、ウォータマーク無しという情報が、ウォータマーク情報出力端子6から出力される。
【0067】また、閾値比較器309では、これに入力される最大値を分散で割った値が閾値よりも大きければウォータマークが入っているとみなされ、出力制御器310が制御されて、最大値検出器306で検出された最大係数の座標、つまり、ウォータマークが入っていた位置のシフト量がウォータマーク情報出力端子6から出力される。
【0068】以上のように、図24のウォータマークベースバンド検出装置においては、FFT領域での畳み込みを用いてすべての可能なシフト量について相関を求め、その相関の最大値が、しかるべき基準より大きいかどうかでウォータマークが画像に付加されているかを判定している。
【0069】ウォータマークが画像に付加されていた場合に、そのシフト量が情報としてとり出力されるが、ウォータマークの付加時とウォータマークの検出時の間のシフト量であるので、絶対的な意味を持たせることはできない。しかし、次のように相対的な意味を持たせることができる。
【0070】あるウォータマークと、そのウォータマークの各要素に−1を掛けたウォータマーク(つまり反転パターン)との、2つのウォータマークを、1つの画像の異なった位相に付加しておく。また、図24の最大値判定器306を最大値と最小値の両方を抽出する最大・最小値判定器に置き換え、逆FFT器305からの係数のうちの最大値あるいは最小値およびその座標を求める。そして、求めた最大係数または最小係数を分散によって正規化した後、閾値比較器309で最大係数、最小係数の絶対値が、閾値より大きいどうかを判定し、大きかった場合、その最大係数が検出されたウォータマークと、その最小係数が検出されたウォータマークとの2つのウォータマークのシフト量の差を情報とするのである。この情報は相対的なものであるので、画像にシフトが起こっても変化しない。
【0071】次に、ウォータマークビットストリーム検出装置40の従来の構成例について、図29を用いて説明する。
【0072】図29において、ビットストリーム画像入力端子8には、MPEG符号化器20で符号化された画像データのビットストリームが入力される。このウォータマークビットストリーム検出装置40は、このビットストリーム画像と単位ウォータマークwmのパターンとの入力を受け、画像に付加されているウォータマークの情報を出力するものである。前述と同様に、ウォータマークの情報とは、ウォータマークがそのビットストリーム画像に存在すれば、そのウォータマークの検出された位置のシフト量であり、ウォータマークがそのビットストリーム画像に存在しなければ、ウォータマーク無しという情報である。
【0073】この図29のウォータマークビットストリーム検出装置40は、一部を除くと、図24のウォータマークベースバンド検出装置30とほぼ同様の構成となる。すなわち、図24の折り畳み累積器301、FFT器302、畳み込み演算器303、FFT器304、逆FFT器305、最大値検出器306、分散計算器307、正規化器308、閾値比較器309、出力制御器310は、図29の折り畳み累積器401、FFT器402、畳み込み演算器403、FFT器404、逆FFT器405、最大値検出器406、分散計算器407、正規化器408、閾値比較器409、出力制御器410に、それぞれ対応している。
【0074】図24のウォータマークベースバンド検出装置30と異なるのは、入力がベースバンド画像データからビットストリーム画像データに変わっている点と、新しく、折り畳み累積器301の前後に、DCT(離散コサイン変換)係数抽出器411と逆DCT器412が設けられている点である。以下、図24のウォータマークベースバンド検出装置30と異なる点を中心に説明する。
【0075】ビットストリーム入力端子8から入力されたビットストリーム画像データは、DCT係数抽出器411で部分的に復号されて、IピクチャのDCT係数が抽出される。
【0076】ここで、DCT係数に対して逆DCTを施して空間領域の画素値に変換すれば、以降は図24のウォータマークベースバンド検出装置30と同じ装置で検出を行なうことが可能である。しかし、計算量を減らすために、図29のウォータマークビットストリーム検出装置40では、DCT係数抽出器411の出力は、折り畳み累積器401に供給されて、折り畳み累積が行われた後に、逆DCT器412に供給されて、逆DCTが行なわれる。
【0077】ところで、MPEG2のような符号化方式の場合には、フレームとフィールドの2つのモードのDCTを適応的に使う。図30は、フレームモードのDCTの場合のブロックを示し、また、図31は、フィールドモードのDCTの場合のブロックを示している。
【0078】すなわち、フレームモードにおいては、図3030(A)のマクロブロック201は、図30(B)に示す4個のDCTブロック202,203,204,205に分けられる。また、フィールドモードにおいては、図31(A)のマクロブロック201は、図31(B)に示す4個のDCTブロック206,207,208,209に分けられる。
【0079】これら図30、図31で表されるように、フレームDCTを行なうブロックと、フィールドDCTを行なうブロツクの占める画素の範囲は互いに異なる。
【0080】しかし、縦に2つのDCTブロックを合わせた領域が、横×縦=8×16画素の領域であるのは共通である。そこで、この例では、フレームとフィールドのどちらのモードでDCTが行なわれた場合にも対応できるように、縦に2つのDCTブロックを合わせた8×16画素の領域を1つの単位の符号化ブロックとして扱う。
【0081】画像をこの符号化ブロック(DCTブロック)に分割したとき、横方向にx番目で、縦方向にy番目のブロック、つまり横8x、縦16yの座標の画素からはじまる2つのDCTの係数の組を、フレームDCTが使われているときと、フィールドDCTが使われているときとに分けて、それぞれ、FrDCT(x,y,t)、FiDCT(x,y,t)とする。ただし、番号の数え方は0番目からはじまるものとする。
【0082】折り畳み累積器401では、これらのDCT係数をDCT係数抽出器411から受取り、折り畳み累積して逆DCT器412に渡す。その折り畳み累積したものを、それぞれfoldFrDCT(x,y)、foldFiDCT(x,y)とすると、次の式で表される。
【0083】foldFrDCT(x,y)=ΣFrDCT(i,j,t)
i%(L/8)=x,j%(L/16)=yfoldFiDCT(x,y)=ΣFiDCT(i,j,t)
i%(L/8)=x,j%(L/16)=yただし、このDCT領域のまま折り畳み累積ができるために、L/8、L/16は、割り切れて整数であるものとする。
【0084】例えば、図32の場合、単位ウォータマークの大きさL=32である。この場合には、単位ウォータマークの範囲において、図32(A)に示すように、横方向に4(=L/8)、縦方向に2(=L/16)の8×16画素の符号化ブロックが存在している。この場合、L/8=4、L/16=2となって割り切れるので、DCT領域のまま折り畳み累積ができる。すなわち、単位ウォータマークのL×Lの領域の範囲内の8個の8×16画素のブロックについて、図32(B),(C)に示すように、フレームDCTとフィールドDCTとに分けて累積するのである。
【0085】逆DCT器412では、折り返し累積器401の出力の累積されたDCT係数を逆DCTして空間領域に戻し、FFT器402に送る。FFT器402に送られる値は、要素数がL×Lで、それぞれが画素値の和であり、図24の折り畳み累積器の出力と同じである。以降はべースバンドの場合と同じである。
【0086】以上のようなウォータマークの付加装置および検出装置においては、FFT空間に写像し、FFT空間における畳み込みによって空間上での探索を行なう方法により、ウォータマークの画像全体に渡ってのシフトを検出することを可能にしている。また、画像を折り畳み累積した後に、FFTをかけることにより、そのFFTの演算量を減らすようにしている。
【0087】
【発明が解決しようとする課題】しかしながら、図22に示した従来のウォータマーク付加装置10のウォークマーク反復器103は、1画像分のウォータマークWMRの情報をメモリ1031に格納しており、同一のパターンである単位ウォータマークの情報を、メモリ1031に複数組、保持しているという非効率な点があった。
【0088】この発明の第1の目的は、ウォータマーク反復器のメモリには、1つの単位ウォータマークの情報を格納することができるだけの、容量が小さいものを用いることができるウォータマークによる付随情報付加装置を提供することである。
【0089】また、上述した従来のウォータマーク付加方法による付加画像では、縦、横の画素数が同じサイズLの単位ウォータマークを用いているため、ウォータマークを解析するというウォータマークシステムへの攻撃を行う者の労力が少なく、攻撃し易くなるおそれがあった。
【0090】また、1つのフレームまたはフィールド内で、同じ単位ウォータマークが単純に並んでいるため、ウォータマークシステムへ攻撃を行う者が、ウォータマークを比較的容易に消去することが可能であり、画像情報の不正コピーなどの不正利用を有効に防止できなくなるおそれがあった。
【0091】また、各フレームまたはフィールドに付加されるウォータマークが全く同じであるため、ただ単にウォータマークの付加された画像フレームまたはフィールドを、一定時間累積すれば、ウォータマークが現れて、ウォータマークが分かり、ウォータマークを簡単に解析できるおそれがあるという欠点もあった。
【0092】以上の点にかんがみ、この発明の第2の目的は、ウォータマークを消去する、あるいはウォータマークを解析するというウォータマークシステムへの攻撃を困難にすることを、ウォータマークの付加装置および検出装置を複雑にすることなく実現することである。
【0093】
【課題を解決するための手段】上記の第1の目的を達成するために、請求項1の発明による付随情報付加装置においては、画像の一部のN×M(N,Mは正の整数)個の画素からなる小領域に対応する大きさの単位ウォータマークを縦横に反復したウォータマークを、画像に付加する付随情報付加装置であって、前記単位ウォータマークを記憶するメモリと、前記画像の縦方向および横方向の画素位置座標値を、前記単位ウォータマークを縦横の反復単位の大きさで除算したときの剰余を用いて、前記メモリから前記単位ウォータマークを、反復して読み出す単位ウォータマーク反復手段と、前記単位ウォータマーク反復手段から読み出された前記単位ウォータマークを、画像上、縦横に反復するように、前記画像の情報に付加する付加手段と、を備えることを特徴とする。
【0094】上記の構成の請求項1の発明によれば、付随情報付加装置が備えるメモリは、単位ウォータマークの一つ分を格納する。そして、単位ウォータマーク反復手段は、ウォータマークを付加しようとする画像の各画素位置座標値を、単位ウォータマークの縦横の反復単位の大きさで除算し、その剰余を用いてメモリから単位ウォータマークを反復して読み出す。メモリから読み出された単位ウォータマークは、付加手段により順次に画像情報に付加される。これにより、画像情報には、画像上、単位ウォータマークが縦横に反復するウォータマークが付加されることになる。
【0095】このように、請求項1の発明によれば、付随情報付加装置が備えるメモリは、単位ウォータマークの一つ分を格納できる容量であればよく、従来のように、1画像分(1フレーム分または1フィールド分)の反復ウォータマークパターンをメモリに格納しておく必要はない。
【0096】また、第2の目的を達成するために、請求項3の発明による付随情報付加装置は、画像の一部のN×M(N,Mは正の整数)個の画素からなる小領域に対応する大きさの単位ウォータマークを縦横に反復したウォータマークを、画像に付加する付随情報付加装置において、前記単位ウォータマークの縦および横の大きさを、N≠Mに選定したことを特徴とする。
【0097】この請求項3の発明によれば、単位ウォータマークの大きさは、従来のように、縦、横を等しくする必要はなく、独立して縦、横の大きさが自由に選定されるので、その分だけ、ウォータマークシステムを攻撃しようとする者のウォータマークの解析を複雑にすることができ、攻撃を受けにくくなる。
【0098】また、第2の目的を達成するために、請求項7の発明においては、画像の一部のN×M(N,Mは正の整数)個の画素からなる小領域に対応する大きさの単位ウォータマークを縦横に反復した反復ウォータマークを、画像に付加する付随情報付加装置であって、前記単位ウォータマークが横方向に反復して並ぶ1行毎に、前記単位ウォータマークを横方向に一定量づつずらした反復ウォータマークを発生する反復ウォータマーク発生手段と、前記反復ウォータマーク発生手段からの前記反復ウォータマークを画像の情報に付加する付加手段と、を備えることを特徴とする。
【0099】この請求項7の発明によれば、1画像(フレームまたはフィールド)において、単位ウォータマークが行毎に順次一定量づつずれて反復する反復ウォータマークが画像に付加されるので、ウォータマークシステムを攻撃しようとする者のウォータマークの解析を複雑にすることができ、攻撃を受けにくくなる。
【0100】第1および第2の目的を達成するために、請求項8の発明の付随情報付加装置は、請求項7に記載の付随情報付加装置において、前記反復ウォータマーク発生手段は、前記単位ウォータマークを記憶するメモリを備え、前記画像の縦方向および横方向の画素位置座標値を、前記単位ウォータマークを縦横の反復単位の大きさで除算したときの剰余と、各行毎の前記横方向のずれ量とを用いて、前記メモリから前記単位ウォータマークを、反復して読み出す単位ウォータマーク反復手段からなることを特徴とする。
【0101】この請求項8の発明によれば、付随情報付加装置が備えるメモリは、単位ウォータマークの一つ分を格納できる容量であればよく、従来のように、1画像分(1フレーム分または1フィールド分)の反復ウォータマークパターンをメモリに格納しておく必要はない。したがって、請求項7の発明の特徴であるウォータマークに対する攻撃に強い付随情報付加装置を、構成を複雑にすることなく実現できる。
【0102】また、第2の目的を達成するために、請求項13の発明においては、画像の一部のN×M(N,Mは正の整数)個の画素からなる小領域に対応する大きさの単位ウォータマークを縦横に反復したウォータマークを、画像に付加する付随情報付加装置であって、前記単位ウォータマークが縦方向に反復して並ぶ1列毎に、前記単位ウォータマークを縦方向に一定量づつずらした反復ウォータマークを発生する反復ウォータマーク発生手段と、前記反復ウォータマーク発生手段からの前記反復ウォータマークを画像の情報に付加する付加手段と、を備えることを特徴とする。
【0103】この請求項13の発明によれば、1画像(フレームまたはフィールド)において、単位ウォータマークが列毎に順次一定量づつずれて反復する反復ウォータマークが画像に付加されるので、ウォータマークシステムを攻撃しようとする者のウォータマークの解析を複雑にすることができ、攻撃を受けにくくなる。
【0104】また、第1および第2の目的を達成するために、請求項14の付随情報付加装置は、請求項13に記載の付随情報付加装置において、前記反復ウォータマークの発生手段は、前記単位ウォータマークを記憶するメモリを備え、前記画像の縦方向および横方向の画素位置座標値を、前記単位ウォータマークを縦横の反復単位の大きさで除算したときの剰余と、各列毎の前記縦方向のずれ量とを用いて、前記メモリから前記単位ウォータマークを、反復して読み出す単位ウォータマーク反復手段からなることを特徴とする。
【0105】この請求項14の発明によれば、付随情報付加装置が備えるメモリは、単位ウォータマークの一つ分を格納できる容量であればよく、従来のように、1画像分(1フレーム分または1フィールド分)の反復ウォータマークパターンをメモリに格納しておく必要はない。したがって、請求項13の発明の特徴であるウォータマークに対する攻撃に強い付随情報付加装置を、構成を複雑にすることなく実現できる。
【0106】また、第2の目的を達成するために、請求項19の発明においては、画像の一部のN×M(N,Mは正の整数)個の画素からなる小領域に対応する大きさの単位ウォータマークを縦横に反復した反復ウォータマークを、画像に付加する付随情報付加装置であって、画像を単位とした一定時間毎に、縦方向および/または横方向に、一定量づつずれた前記反復ウォータマークを発生する反復ウォータマーク発生手段と、前記反復ウォータマーク発生手段からの前記反復ウォータマークを画像の情報に付加する付加手段と、を備えることを特徴とする。
【0107】この請求項19の発明によれば、画像に付加される反復ウォータマークは、1フレーム(または1フィールド)の画像を単位として、1フレーム(またはフィールド)あるいは複数フレーム(またはフィールド)ごとに、反復ウォータマーク全体として、縦方向および/または横方向にずれた状態となるので、単純に、時間方向(フレームまたはフィールド方向)に画像を累積したとしても、付加されたウォータマークが浮かび上がることはなく、ウォータマークシステムを攻撃しようとする者のウォータマークの解析を複雑にすることができ、攻撃を受けにくくなる。
【0108】第1および第2の目的を達成するために、請求項20の付随情報付加装置は、請求項19に記載の付随情報付加装置において、前記反復ウォータマーク発生手段は、前記単位ウォータマークを記憶するメモリを備え、前記画像の縦方向および横方向の画素位置座標値を、前記単位ウォータマークを縦横の反復単位の大きさで除算したときの剰余を用いて、前記メモリから前記単位ウォータマークを、反復して読み出すものであって、画像を単位とした前記一定時間毎に、画像全体として前記縦方向および/または横方向のずれ量を前記剰余に加えて、前記メモリから前記単位ウォータマークを、反復して読み出す単位ウォータマーク反復手段からなることを特徴とする。
【0109】この請求項20の発明によれば、付随情報付加装置が備えるメモリは、単位ウォータマークの一つ分を格納できる容量であればよく、従来のように、1画像分(1フレーム分または1フィールド分)の反復ウォータマークパターンをメモリに格納しておく必要はない。したがって、請求項19の発明の特徴であるウォータマークに対する攻撃に強い付随情報付加装置を、構成を複雑にすることなく実現できる。
【0110】
【発明の実施の形態】以下、この発明の実施の形態を、図を参照しながら説明する。以下に説明する実施の形態においても、ウォータマークの付加および検出に関する情報の流れは、図20に示したものと同一であるとしている。そこで、図面上、従来例として前述した部分と対応する部分には、同一番号および記号を付与し、実施の形態の説明の理解が容易となるようにする。
【0111】[第1の実施の形態]第1の実施の形態は、前記第1の目的を達成する付随情報付加装置の発明に関するもので、以下に説明する例は、従来の技術の欄で説明した図21に示した従来のウォータマーク付加装置におけるウォータマーク反復器に必要なメモリ容量を減らしたウォータマーク付加装置であり、図21と対応する部分には同一番号を付すものとする。
【0112】図1は、この実施の形態の付随情報付加装置の例としてのウォータマーク付加装置のブロック図である。この図1において、図21の従来例と異なる部分はウォータマーク反復器103の内部構成のみである。なお、このウォータマーク反復器103は、各請求項における反復ウォータマーク発生手段の一態様であり、各請求項における単位ウォータマーク反復手段に対応する。
【0113】すなわち、この実施の形態のウォータマーク付加装置のウォータマーク反復器103は、一つの単位ウォータマークwm分の要素数を格納できるだけの容量でよいメモリ501と、アドレス設定部502および503とからなる。この例の場合、単位ウォータマークwmは、図23(A)に示した縦×横=L×L画素のものが用いられる。したがって、メモリ501は、L×L要素を格納できる容量を有すればよい。
【0114】なお、この単位ウォータマークwmの大きさは、MPEG圧縮符号化における符号化ブロック(DCTブロック)の整数個分の大きさとされるのは、前述の従来例の欄で説明したのと同様である。また、MPEG2の場合には、図30および図31に示したフレームモードおよびフィールドモードの両方を考慮したとされるのも、前述と同様である。
【0115】この第1の実施の形態の付加装置におけるウォータマーク反復器103の動作は、以下のようになる。
【0116】すなわち、まず、メモリ501への単位ウォータマークwmの書き込み時には、単位ウォータマーク入力端子2から単位ウォータマークwmが入力されるとともに、x座標入力端子11およびy座標入力端子12を通じて、単位ウォータマークwmについての座標(x,y)のx座標要素およびy座標要素が入力され、メモリ501に、単位ウォータマークwmが蓄えられる。なお、座標の原点は、この例の場合、画像上の左上隅とする。これは、単位ウォータマークwmについても同様である。この関係は、後述する全ての実施の形態においても同様であるとする。
【0117】従来例のように、反復ウォータマークWMRの全体をメモリ501上に構成することも可能であるが、図1のウォータマーク反復器103では、メモリ501上には、上述のように1つの単位ウォータマークwmを保持し、メモリ501の読み出しの仕方の制御によって、単位ウォータマークを反復した反復ウォータマークWMRを得るようにする。
【0118】すなわち、反復ウォータマークWMRの読み出し時には、入力端子11および12を通じて1画像についての座標(x,y)のx座標要素およびy座標要素が入力され、アドレス設定部502および503では、x%Lおよびy%L(Lは単位ウォータマークの縦および横の大きさであり、前述したように、「%」は剰余を求める演算子である)の演算がそれぞれ行われる。そして、アドレス設定部502および503からは、それぞれ演算結果の剰余がメモリ501のアドレスx,アドレスyに供給されて、メモリ501の単位ウォータマークwmを繰り返し読み出すアドレス信号が発生する。
【0119】つまり、アドレス設定部502および503によって、入力端子1、12から入力される読み出し座標(x,y)を,単位ウォータマークwmについての座標(x%L,y%L)に変換して、座標(x,y)のウォータマークを読み出すことを、単位ウォータマークwmが保持されているメモリ501上の座標(x%L,y%L)の値を読み出すことによって行う。
【0120】この図1のウォータマーク付加装置によって付加されるウォータマークパターンは、図23(B)に示した従来例とまったく同じ反復ウォータマークWMRとなるので、このウォータマーク付加装置によって付加されたウォータマークの検出は、ベースバンドにおける検出であれば、図24示したウォータマーク検出装置と同じ検出装置で、ビットストリームにおける検出であれば、図29に示したウォータマーク検出装置と同じ検出装置で行なえる。
【0121】以上説明したように、第1の実施の形態のウォータマーク付加装置によれば、反復ウォータマークWMRを得るために、反復ウォータマークWMRを付加する画像と同じ大きさではなく、単位ウォータマークwmと同じだけの少ない容量のメモリで済むという利点がある。
【0122】なお、上述の説明では、単位ウォータマークwmの縦方向および横方向の反復単位は、単位ウォータマークwmの縦、横の大きさに等しいので、アドレス設定部502および503では、座標(x,y)の要素を、縦、横の大きさであるLで除算するようにしたが、単位ウォータマークwmの大きさと、単位ウォータマークwmの縦方向および横方向の反復単位の大きさが異なる場合には、アドレス設定部502および503では、座標(x,y)の要素を、反復単位の値で除算した剰余を出力するものである。これは、ウォータマーク検出装置の折り畳み累積器のアドレス設定部についても同様である。
【0123】[第2の実施の形態]第2の実施の形態は、単位ウォータマークwmの縦横の大きさを従来のように等しくするのではなく、縦横の異なる値に独立に変えることにより、ウォータマークのパターンを分かり難くし、ウォータマークに対する攻撃を受け難くすることを特徴とする。
【0124】すなわち、この第2の実施の形態では、単位ウォータマークwmは、図2(A)に示すように、その横×縦=N×M(N≠M)とする。したがって、反復ウォータマークWMRのパターンは、図2(B)に示すようなものとなる。
【0125】この場合の単位ウォータマークwmの大きさも、MPEG圧縮符号化における符号化ブロック(DCTブロック)の整数個分の大きさとされるのは、第1の実施の形態の場合と同様である。また、MPEG2の場合には、図30および図31に示したフレームモードおよびフィールドモードの両方を考慮したとされるのは、前述と同様である。
【0126】この第2の実施の形態においても、システムの流れは、従来例と同様に、図20のように表され、ウォータマーク付加装置10、ウォータマークベースバンド検出装置30およびウォータマークビットストリーム検出装置40が主な要素である。
【0127】この第2の実施の形態の場合のウォータマーク付加装置10は、図1の第1の実施の形態のウォータマーク付加装置と、単位ウォータマークwmのサイズが異なる点およびそれに付随する点に違いがある。
【0128】この第2の実施の形態のウォータマーク付加装置の構成例のブロック図を図3に示す。
【0129】図1の第1の実施の形態のウォータマーク付加装置での単位ウォータマークwmは、従来例の単位ウォータマークと同じく、縦横が同じ大きさであった。これに対して、第2の実施の形態では、図2のように縦横の大きさが異なり、独立にとれるようにした単位ウォータマークwmを用いている。したがって、ウォータマーク付加装置の構成としては、第1の実施の形態のウォータマーク付加装置に対し、ウォータマーク反復器103の部分のみが異なっている。
【0130】すなわち、図3のウォータマーク反復器103においては、単位ウォータマークwmの情報を格納するメモリは、単位ウォータマークwmの横、縦の要素、すなわち、N×M要素を格納するメモリ504とされる。そして、この第2の実施の形態のウォータマーク反復器103は、図1の第1の実施の形態のウォータマーク反復器103に対し、単位ウォータマークwmを読み出すときのアドレスの指定における剰余の取り方が異なっており、アドレス設定部505および506が設けられる。
【0131】書き込み時には、単位ウォータマーク入力端子2から図2(A)の単位ウォータマークwmが入力されるとともに、x座標入力端子11およびy座標入力端子12を通じて、その単位ウォータマークwmについての座標(x,y)のx座標要素およびy座標要素が入力されて、メモリ504に、当該単位ウォータマークwmが蓄えられる。
【0132】読み出し時には、第1の実施の形態の場合と同様にして、入力端子11および12を通じて1画像についての座標(x,y)のx座標要素およびy座標要素が入力されるが、アドレス設定部505および506においては、x座標入力端子11およびy座標入力端子12からのx座標およびy座標を、それぞれ単位ウォータマークの横方向の大きさNと縦方向の大きさMで除算した剰余を求め、それをメモリ504のアドレスx,アドレスyとして入力する。
【0133】これにより、メモリ504からは、図2(A)の単位ウォータマークwmが画像上の縦横に反復する図2(B)に示すような反復ウォータマークWMRが得られ、ウォータマーク埋め込み器101で、入力端子1からの画像情報に埋め込まれる。
【0134】この第2の実施の形態におけるウォータマーク検出装置30および40は、図3を用いて前述したような実施の形態のウォータマーク付加装置10で付加したウォータマークを検出できるように、従来例のウォータマーク検出装置とは単位ウォータマークの取り方に違いがあり、折り畳み累積器の部分が異なっている。ただし、その差は、ベースバンドにおけるウォータマーク検出装置30でも、ビットストリームにおけるウォータマーク検出装置40でも同じであるので、以下の説明では、主にベースバンドにおけるウォータマーク検出装置30について記述する。
【0135】図4は、この第2の実施の形態におけるウォータマークベースバンド検出装置30の全体の構成を示すブロック図であり、折り畳み累積器301の部分の内部構成を除いて、図24示したウォータマークベースバンド検出装置30と全く同様である。
【0136】この図4の折り畳み累積器301では、単位ウォータマークwmの大きさに応じたN×Mの容量のメモリ601と、累積加算器602と、アドレス設定部603および604とを備える。
【0137】この折り畳み累積器301では、累積するときのアドレス指定における剰余の取り方が、従来のL×Lの大きさの単位ウォータマークと異なっており、図4R>4の折り畳み累積器301のアドレス設定部603および604では、横方向(x方向)と縦方向(y方向)について、それぞれ独立な値で剰余を取れるようになっている。
【0138】すなわち、アドレス設定部603および604においては、x座標入力端子31およびy座標入力端子32からのx座標およびy座標を、それぞれ単位ウォータマークの横方向の大きさNと縦方向の大きさMで除算した剰余を求め、それをメモリ601のアドレスx,アドレスyとして入力する。これにより、M×Nの単位ウォータマークwmを単位とした折り畳み累積ができ、前述した従来例とほぼ同様にして、ウォータマークの検出ができる。
【0139】前述もしたように、図29のウォータマークビットストリーム検出装置40における折り畳み累積器401も、図4の折り畳み累積器301と同様の構成とすることにより、図3のウォータマーク付加装置でウォータマークが付加され、MPEG符号化器20で圧縮符号化された画像情報について、N×Mの大きさの単位ウォータマークwm単位での、DCT係数における折り畳み累積が可能になり、前述した従来例とほぼ同様にして、ウォータマークの検出ができる。
【0140】この第2の実施の形態における不正利用防止システムは、上述した図3のウォータマーク付加装置を用いると共に、図4のウォータマークベースバンド検出装置や、ウォータマークビットストリーム検出装置を用いる。この不正利用防止システムには、不正コピー防止システムを含み、ウォータマーク検出装置で検出したウォータマークの情報に基づき、ベースバンド画像情報あるいはビットストリーム画像情報の再生や、複製記録への利用を行わせるかどうかを制御する。
【0141】この第2の実施の形態の不正利用防止システムでは、単位ウォータマークの縦横の大きさが独立に選定されるため、ウォータマークのパターンが分かり難くなり、ウォータマークに対する攻撃を受け難くなるという利点がある。
【0142】なお、上述の第2の実施の形態の説明では、単位ウォータマークwmの縦方向および横方向の反復単位は、単位ウォータマークwmの縦、横の大きさと等しくしたので、アドレス設定部505および506、また、アドレス設定部603および604では、座標(x,y)の要素を、横、縦の大きさであるN,Mで除算するようにしたが、単位ウォータマークwmの大きさと、単位ウォータマークwmの縦方向および横方向の反復単位の大きさが異なる場合には、アドレス設定部505および506、また、アドレス設定部603および604では、座標(x,y)の要素を、反復単位の値で除算した剰余を出力するものである。
【0143】[第3の実施の形態]第3の実施の形態は、1画像(1フレームまたは1フィールド)における単位ウォータマークの反復パターンを、従来のように整列させるのではなく、単位ウォータマークの横方向の反復からなる行の1行毎に、行方向(横方向)に一定量づつ順次ずらすことにより、ウォータマークパターンを分かり難くし、ウォータマークに対する攻撃を困難にしたものである。
【0144】図5は、この第3の実施の形態の一例の反復ウォータマークWMRを説明するためのものである。この例では、単位ウォータマークwmとしては、図5(A)に示すように、第1の実施の形態と同様に、横×縦=L×L画素分の大きさのものを用いる。そして、図5R>5(B)に示すように、単位ウォータマークが反復する1行毎に、横方向に、順次、一定量dxづつ、反復パターンがずれるようにして、反復ウォータマークWMRを生成する。そして、この図5(B)の反復ウォータマークWMRを、画像に付加するようにする。
【0145】この第3の実施の形態においても、システムの流れは、従来例と同様に、図20のように表され、ウォータマーク付加装置10、ウォータマークベースバンド検出装置30およびウォータマークビットストリーム検出装置40が主な要素である。
【0146】この第3の実施の形態のウォータマーク付加装置10としては、図5(B)の反復ウォータマークの全体をメモリに格納しておき、入力端子11および12からのx座標入力およびy座標入力を、そのメモリアドレスとして、順次に読み出すようにすることも可能であるが、それでは、メモリ容量が大きいので、以下に説明する例では、図1に示した第1の実施の形態のウォータマーク付加装置を応用したものを用いる。
【0147】この例の場合の第3の実施の形態のウォータマーク付加装置10は、図1に示した第1の実施の形態のウォータマーク付加装置と、単位ウォータマークwmの反復の仕方に違いがある。すなわち、第1の実施の形態のウォータマーク付加装置での反復ウォータマークWMRは、図23に示したように画像上に縦横に単調に並んでいるが、第3の実施の形態のウォータマーク付加装置での反復ウォータマークWMRの反復の仕方は、図5R>5(B)のように、横方向には整列して並んでいるが、縦方向には順次ずれている。
【0148】この場合の第3の実施の形態のウォータマーク付加装置10の構成例を図6に示す。ウォータマーク付加装置10の構成としては、第1の実施の形態のウォータマーク付加装置に対し、ウォータマーク反復器103の部分の内部構成のみが異なっている。
【0149】図6のウォータマーク反復器103においては、メモリ501およびy座標のアドレス設定部503は、第1の実施の形態のそれらと全く同一であるが、x座標のアドレス設定部が異なり、アドレス設定部507となっている。このアドレス設定部507では、単位ウォータマークを読み出すときの横方向のアドレスの指定が異なっていて、横方向の行毎のずれ量dxを加味して、x%L+dx×(y/L)
なる演算を行い、メモリ501のアドレスxを指定する。ただし、「/」は商を求める演算子であるとする。以下同様である。なお、単位ウォータマークwmのメモリ501への書き込みに関しては、第1の実施の形態と全く同一である。
【0150】この第3の実施の形態のウォータマーク付加装置によって付加されたウォータマークは、図5(B),(C)に示されるように、縦方向には連続性が乱れている。しかし、ウォータマーク検出装置における折り畳み累積のときの単位ウォータマークに対応する折り畳み累積領域ARを、図5(C)に示すように、行毎にdxづつ同様にずらすことにより、ウォータマークのパターンを累積して検出することが可能になる。この第3の実施の形態の場合のウォータマーク検出装置30および40について続いて説明する。
【0151】第3の実施の形態の場合のウォータマーク検出装置は、図6のウォータマーク付加装置で付加したウォータマークを検出できるように、従来例のウォータマーク検出装置とは、折り畳み累積器において横方向のアドレスの指定が異なっている。その相違点は、ベースバンドにおけるウォータマーク検出装置30でも、ビットストリームにおけるウォータマーク検出装置40でも同じであるので、以下の説明では、主にベースバンドにおける検出装置30について記述する。
【0152】この第3の実施の形態の場合のウォータマークベースバンド検出装置30の構成は、図24(ビットストリームにおける検出では図29)の従来例のウォータマーク検出装置に対し、折り畳み累積器301(ビットストリームにおける検出では折り畳み累積器401)の部分のみが異なっている。
【0153】そこで、ここでは、第3の実施の形態の場合のウォータマークベースバンド検出装置30の折り畳み累積器301の部分のみについて説明する。図7は、この折り畳み累積器301のブロック図である。この折り畳み累積器301は、L×Lの大きさの単位ウォータマーク分の要素を格納するメモリ605と、累積加算器602と、アドレス設定部606および607とからなる。
【0154】この折り畳み累積器301において、メモリアドレスxのアドレス設定部606では、入力端子31および32の両方のx座標入力およびy座標入力を用いて、x%L+dx×(y/L)
なる演算を行い、メモリ605のアドレスxを指定する。また、メモリアドレスyのアドレス設定部607では、入力端子32からのy座標入力のみを用いて、y%Lなる演算を行い、メモリ605のアドレスyを指定する。
【0155】このようにして、折り畳み累積器301では、メモリ605のアドレス指定を行って、図5(C)に示す折り畳み累積領域ARのように、行毎にdxづつ同様にずらした単位ウォータマーク単位の領域で折り畳み累積をすることにより、ウォータマークのパターンを累積してウォータマークを検出することが可能になる。
【0156】この第3の実施の形態における不正利用防止システムは、上述した図6のウォータマーク付加装置を用いると共に、図7のウォータマークベースバンド検出装置や、ウォータマークビットストリーム検出装置を用いる。この不正利用防止システムには、不正コピー防止システムを含み、ウォータマーク検出装置で検出したウォータマークの情報に基づき、ベースバンド画像情報あるいはビットストリーム画像情報の再生や、複製記録への利用を行わせるかどうかを制御する。
【0157】この第3の実施の形態の不正利用防止システムでは、反復ウォータマークWMRのパターンの横方向のずれの量が分からない限り、フレーム内の累積による攻撃ができないという強みを持つ。
【0158】なお、この第3の実施の形態においても、単位ウォータマークwmの縦方向および横方向の反復単位と、単位ウォータマークwmの縦、横の大きさとが等しくない場合には、アドレス設定部503および507、また、アドレス設定部606および607での演算におけるLの代わりに、その反復単位の大きさを用いるものである。
【0159】また、上述の第3の実施の形態の説明では、単位ウォータマークwmの大きさは、縦と横の大きさが等しいL×Lとしたが、第2の実施の形態のように、単位ウォータマークwmの大きさを、M×Nとすることもできる。その場合には、単位ウォータマークwmの大きさについての自由度が増加した分、ウォータマークに対する攻撃にさらに強くなることが期待できる。
【0160】[第4の実施の形態]第4の実施の形態は、1画像(1フレーム)における単位ウォータマークの反復パターンを、従来のように整列させるのではなく、縦方向の単位ウォータマークの反復からなる列の1列毎に、列方向(縦方向)に順次ずらすことにより、ウォータマークパターンを分かり難くし、ウォータマークに対する攻撃を困難にしたものである。
【0161】図8は、この第4の実施の形態の一例の反復ウォータマークWMRを説明するためのものである。すなわち、この例では、単位ウォータマークwmとしては、図8(A)に示すように、横×縦=L×L画素分の大きさのものを用いる。そして、図8(B)に示すように、単位ウォータマークが反復する1列毎に、縦方向に、順次、一定量dyづつ、反復パターンがずれるようにして、反復ウォータマークWMRを生成する。そして、この図8(B)の反復ウォータマークWMRを、画像に付加するようにする。
【0162】この第4の実施の形態においても、システムの流れは、従来例と同様に、図20のように表され、ウォータマーク付加装置10、ウォータマークベースバンド検出装置30およびウォータマークビットストリーム検出装置40が主な要素である。
【0163】この第4の実施の形態のウォータマーク付加装置10としては、図8(B)の反復ウォータマークの全体をメモリに格納しておき、入力端子11および12からのx座標入力およびy座標入力を、そのメモリアドレスとして、順次に読み出すようにすることも可能であるが、それでは、メモリ容量が大きいので、以下に説明する例では、図1に示した第1の実施の形態のウォータマーク付加装置を応用したものを用いる。
【0164】この例の場合の第4の実施の形態のウォータマーク付加装置10は、図1に示した第1の実施の形態のウォータマーク付加装置と、単位ウォータマークwmの反復の仕方に違いがある。すなわち、第1の実施の形態のウォータマーク付加装置での反復ウォータマークWMRは、図23に示したように画像上に縦横に単調に並んでいるが、第4の実施の形態のウォータマーク付加装置での反復ウォータマークWMRの反復の仕方は、図8R>8(B)のように、縦方向には整列して並んでいても、横方向には順次ずれている。
【0165】この場合の第4の実施の形態のウォータマーク付加装置10の構成例を図9に示す。ウォータマーク付加装置10の構成としては、第1の実施の形態のウォータマーク付加装置に対し、ウォータマーク反復器103の部分の内部構成のみが異なっている。
【0166】図9のウォータマーク反復器103においては、メモリ501およびx座標のアドレス設定部502は、第1の実施の形態のそれらと全く同一であるが、y座標のアドレス設定部が異なり、アドレス設定部508となっている。このアドレス設定部508では、単位ウォータマークを読み出すときの縦方向のアドレスの指定が異なっていて、縦方向の行毎のずれ量dyを加味して、y%L+dy×(x/L)
なる演算を行い、メモリ501のアドレスyを指定する。なお、単位ウォータマークwmのメモリ501への書き込みに関しては、第1の実施の形態と全く同一である。
【0167】この第4の実施の形態のウォータマーク付加装置によって付加されたウォータマークは、図8(B),(C)に示されるように、縦方向には連続性が乱れている。しかし、ウォータマーク検出装置における折り畳み累積のときの単位ウォータマークに対応する領域を、図8(C)に示すARのように、1列毎にdyづつ同様にずらすことにより、ウォータマークのパターンを累積して検出することが可能になる。この第4の実施の形態の場合のウォータマーク検出装置30および40について、続いて説明する。
【0168】第4の実施の形態の場合のウォータマーク検出装置は、図9のウォータマーク付加装置で付加したウォータマークを検出できるように、従来例のウォータマーク検出装置とは、折り畳み累積器において縦方向のアドレスの指定が異なっている。その相違点は、ベースバンドにおけるウォータマーク検出装置30でも、ビットストリームにおけるウォータマーク検出装置40でも同じであるので、以下の説明では、主にベースバンドにおける検出装置30について記述する。
【0169】この第4の実施の形態の場合のウォータマークベースバンド検出装置30の構成は、図24(ビットストリームにおける検出では図29)の従来例のウォータマーク検出装置に対し、折り畳み累積器301(ビットストリームにおける検出では折り畳み累積器401)の部分のみが異なっている。
【0170】そこで、ここでは、第4の実施の形態の場合のウォータマークベースバンド検出装置30の折り畳み累積器301の部分のみについて説明する。図10は、この折り畳み累積器301のブロック図である。この折り畳み累積器301は、L×Lの大きさの単位ウォータマーク分の要素を格納するメモリ605と、累積加算器602と、アドレス設定部608および609とからなる。
【0171】この折り畳み累積器301において、メモリアドレスxのアドレス設定部608では、入力端子31からのx座標入力のみを用いて、x%Lなる演算を行い、メモリ605のアドレスxを指定する。また、メモリアドレスyのアドレス設定部609では、入力端子31および32の両方のx座標入力およびy座標入力を用いて、y%L+dy×(x/L)
なる演算を行い、メモリ605のアドレスyを指定する。
【0172】このようにして、折り畳み累積器301では、メモリ605のアドレス指定を行って、図8(C)に示すARのように、列毎に一定量dyづつ同様にずらした単位ウォータマーク分の領域単位で折り畳み累積をすることにより、ウォータマークのパターンを累積してウォータマークを検出することが可能になる。
【0173】この第4の実施の形態における不正利用防止システムは、上述した図9のウォータマーク付加装置を用いると共に、図10のウォータマークベースバンド検出装置や、ウォータマークビットストリーム検出装置を用いる。この不正利用防止システムには、不正コピー防止システムを含み、ウォータマーク検出装置で検出したウォータマークの情報に基づき、ベースバンド画像情報あるいはビットストリーム画像情報の再生や、複製記録への利用を行わせるかどうかを制御する。
【0174】この第4の実施の形態の不正利用防止システムでは、反復ウォータマークWMRのパターンの縦方向のずれの量が分からない限り、フレーム内の累積による攻撃ができないという強みを持つ。
【0175】なお、この第4の実施の形態においても、単位ウォータマークwmの縦方向および横方向の反復単位と、単位ウォータマークwmの縦、横の大きさとが等しくない場合には、アドレス設定部502および508、また、アドレス設定部608および609での演算におけるLの代わりに、その反復単位の大きさを用いるものである。
【0176】また、上述の第4の実施の形態の説明では、単位ウォータマークwmの大きさは、縦と横の大きさが等しいL×Lとしたが、第2の実施の形態のように、単位ウォータマークwmの大きさを、M×Nとすることもできる。その場合には、単位ウォータマークwmの大きさについての自由度が増加した分、ウォータマークに対する攻撃にさらに強くなることが期待できる。
【0177】[第5の実施の形態]第5の実施の形態は、1画像(1フレームまたは1フィールド)を単位とした時間方向に順次ずれている反復ウォータマークWMRを、画像情報に付加し、検出するようにすることにより、ウォータマークパターンを分かり難くし、ウォータマークに対する攻撃を困難にしたものである。
【0178】図11は、この第5の実施の形態の一例を説明するためのものである。すなわち、この例では、単位ウォータマークwmとしては、図11に示すように、横×縦=L×L画素分の大きさのものを用い、従来と同様に、この単位ウォータマークwmを縦方向および横方向に整列して反復させた反復ウォータマークWMRを得る。しかし、図11(A),(B),(C)に示すように、一定の時間ごとに、反復ウォータマークWMRを画像に対して、横方向にtx、縦方向にtyづつ順次にずらして付加するようにする。
【0179】図11の例は、1フレームごとに、横方向にtx、縦方向にtyづつ順次にずらした場合である。すなわち、反復ウォータマークWMRの画像に対してのずれ量は、図11(A)に示す時間t=0の時点では、ゼロであり、図11(B)に示す時間t=1の時点では、横方向に一定量tx、縦方向に一定量tyであり、また、図11(C)に示す時間t=2の時点では、横方向に2tx、縦方向に2tyである。時間t=nでは、横方向にn・tx、縦方向のn・tyのずれ量となる。
【0180】この第5の実施の形態においても、システムの流れは、従来例と同様に、図20のように表され、ウォータマーク付加装置10、ウォータマークベースバンド検出装置30およびウォータマークビットストリーム検出装置40が主な要素である。
【0181】この第5の実施の形態においても、ウォータマーク付加装置は、メモリ容量を少なくするため、図1R>1に示した第1の実施の形態のウォータマーク付加装置を応用したものを用いる。
【0182】この第5の実施の形態のウォータマーク付加装置10は、図1に示した第1の実施の形態のウォータマーク付加装置と、単位ウォータマークwmの反復の仕方に違いがある。すなわち、第1の実施の形態のウォータマーク付加装置における反復ウォータマークパターンWMRは時間によって変化しないが、第5の実施の形態のウォータマーク付加装置で生成する反復ウォータマークパターンWMRは、図11に示したように、時間によって順次ずれている。
【0183】この場合の第5の実施の形態のウォータマーク付加装置10の構成例を図12に示す。ウォータマーク付加装置10の構成としては、第1の実施例のウォータマーク付加装置に対し、ウォータマーク反復器103の部分の内部構成のみが異なっている。
【0184】図12のウォータマーク反復器においては、メモリ501を用いること、および単位ウォータマークwmのメモリ501への書き込みは、図1の第1の実施の形態のウォータマーク反復器と同じであるが、単位ウォータマークwmを読み出すときの縦、横、両方向のアドレスの指定が異なっている。
【0185】すなわち、アドレス設定部509および510は、単位ウォータマークwmの読み出し時には、座標x,座標y,および時間tの3つを使って、アドレス設定部509では、x%L+tx×(t/C)
なる演算を行い、メモリ501のアドレスxを指定する。また、アドレス設定部510では、y%L+ty×(t/C)
なる演算を行い、メモリ501のアドレスyを指定する。ここで、Cは、反復ウォータマークWMRを、ずらす時間周期を決めるための任意の定数(Cは1以上の整数)であり、例えばフレーム数あるいはフィールド数することもできる。
【0186】この第5の実施の形態のウォータマーク付加装置によって付加されたウォータマークは、図11(A),(B),(C)に順次に示されるように、時間方向で同じパターンになっておらず、一定方向にずれている。しかし、折り畳み累積のときにも、折り畳み累積の領域も、同様にずらすことによりウォータマークのパターンを累積して検出することが可能になる。この第5の実施の形態の場合のウォータマーク検出装置30および40について、続いて説明する。
【0187】第5の実施の形態の場合のウォータマーク検出装置は、図9のウォータマーク付加装置で付加したウォータマークを検出できるように、従来例のウォータマーク検出装置とは、折り畳み累積器において縦方向のアドレスの指定が異なっている。その相違点は、ベースバンドにおけるウォータマーク検出装置30でも、ビットストリームにおけるウォータマーク検出装置40でも同じであるので、以下の説明では、主にベースバンドにおける検出装置30について記述する。
【0188】この第5の実施の形態の場合のウォータマークベースバンド検出装置30の構成は、図24(ビットストリームにおける検出では図29)の従来例のウォータマーク検出装置に対し、折り畳み累積器301(ビットストリームにおける検出では折り畳み累積器401)の部分のみが異なっている。
【0189】そこで、ここでは、第5の実施の形態の場合のウォータマークベースバンド検出装置30の折り畳み累積器301の部分のみについて説明する。図13は、この折り畳み累積器301のブロック図である。この折り畳み累積器301は、L×Lの大きさの単位ウォータマーク分の要素を格納するメモリ605と、累積加算器602と、アドレス設定部610および611とからなる。
【0190】この折り畳み累積器301において、メモリアドレスxのアドレス設定部610では、入力端子31からのx座標入力と、入力端子34からの時間tの情報を用いて、x%L+tx×(t/C)
なる演算を行い、メモリ605のアドレスxを指定する。また、メモリアドレスyのアドレス設定部611では、入力端子31からのy座標入力と、入力端子34からの時間tの情報を用いて、y%L+ty×(t/C)
なる演算を行い、メモリ605のアドレスyを指定する。
【0191】このようにして、折り畳み累積器301では、メモリ605のアドレス指定を行って、一定の時間ごとに、一定量づつ縦および横にずれた単位ウォータマーク分の領域単位で折り畳み累積をすることにより、ウォータマークのパターンを累積してウォータマークを検出することが可能になる。
【0192】この第5の実施の形態における不正利用防止システムは、上述した図12のウォータマーク付加装置を用いると共に、図13のウォータマークベースバンド検出装置や、ウォータマークビットストリーム検出装置を用いる。この不正利用防止システムには、不正コピー防止システムを含み、ウォータマーク検出装置で検出したウォータマークの情報に基づき、ベースバンド画像情報あるいはビットストリーム画像情報の再生や、複製記録への利用を行わせるかどうかを制御する。
【0193】この第5の実施の形態の不正利用防止システムでは、反復ウォータマークWMRの時間方向のずれの量が分からない限り、フレーム間の累積による攻撃ができないという強みを持つ。
【0194】ここで、前記定数Cの値を1とすれぼ、各フレーム毎に付加する反復ウォータマークパターンWMRが変化していく。この定数C=1の値は、ベースバンドに対して検出を行なう場合に適している。また、定数Cの値を15とすれば、15フレーム毎に付加する反復ウォータマークパターンWMRが変化していく。この定数Cの値は、MPEG圧縮符号化におけるGOP(Group Of Picture)の枚数が15枚であるビットストリームから検出を行なう場合に適している。
【0195】この第5の実施の形態に、前記第2の実施の形態〜第4の実施の形態の方法を組み合わせて使うと、更に攻撃に強くなる。例えば、第2の実施の形態と、第3の実施の形態と、第5の実施の形態との方法を組み合わせて使った場合、図14のウォータマーク反復器を用いたウォータマーク付加装置と、図15の折り畳み累積器を用いたウォータマーク検出装置とによる不正利用防止システムが実現できる。
【0196】図14のウォータマーク反復器においては、N×M要素を格納することが可能なメモリ504と、アドレス設定部511および512とを用いる。単位ウォータマークwmのメモリ504への書き込みは、前述の第2の実施の形態の場合と同様であるが、メモリ504から単位ウォータマークwmを読み出すときの縦、横、両方向のアドレスの指定が異なっている。
【0197】すなわち、単位ウォータマークwmの読み出し時には、アドレス設定部511は、入力端子11、12、13からの座標x,座標y,および時間tの3つを使って、x%N+dx×(y/C)+tx×(t/C)
なる演算を行い、メモリ504のアドレスxを指定する。また、アドレス設定部512では、y%M+ty×(t/C)
なる演算を行い、メモリ504のアドレスyを指定する。
【0198】また、図15の折り畳み累積器301においては、N×M要素を格納することが可能なメモリ601と、アドレス設定部612および613とを用いる。そして、メモリアドレスxのアドレス設定部612では、入力端子31からのx座標入力と、入力端子32からのy座標入力と、入力端子34からの時間tの情報を用いて、x%N+dx×(y/C)+tx×(t/C)
なる演算を行い、メモリ601のアドレスxを指定する。また、メモリアドレスyのアドレス設定部613では、入力端子31からのy座標入力と、入力端子34からの時間tの情報を用いて、y%M+ty×(t/C)
なる演算を行い、メモリ601のアドレスyを指定する。
【0199】このシステムでは、単位ウォータマークの縦横の大きさ、フレーム内での横方向のずれ量、フレーム間での縦横のずれ量が分からない限り、フレーム内およびフレーム間の累積による攻撃ができないという強みを持つ。また、ウォータマークの付加および検出装置については、メモリのアクセスのしかたが変わるだけで装置を複雑にすることなく実現している。
【0200】なお、上述の第5の実施の形態においては、一定の時間Cごとに、反復ウォータマークWMRのパターン全体を縦および横の両方向にずらすようにしたが、一定の時間Cごとに、縦方向のみ、あるいは横方向にのみ、それぞれずらすようにしてもよい。
【0201】また、この第5の実施の形態においても、単位ウォータマークwmの縦方向および横方向の反復単位と、単位ウォータマークwmの縦、横の大きさとが等しくない場合には、アドレス設定部509、510、511、512、また、アドレス設定部610、611、612、および613での演算におけるL、N,Mの代わりに、その反復単位の大きさを用いるものである。
【0202】なお、上述した第2〜第5の各実施の形態のそれぞれのウォータマーク検出装置において、入力端子6からの入力を単位ウオータマークwmでなく、単位ウォータマークwmをFFTしたものに変更して、単位ウォータマークwm用のFFT器304を省略してもよい。
【0203】
【発明の効果】以上で説明したように、請求項1の発明による付随情報付加装置では、単位ウォータマークをメモリの上で反復する必要がなく、メモリには、単位ウォータマークのみを蓄積すればよいので、従来例と比べて使用するメモリが少なくて済む。
【0204】また、請求項2の発明による付随情報付加装置では、単位ウォータマークの縦、横の大きさについての自由度が従来に比べて増加するため、ウォータマークに対する攻撃は困難になる。
【0205】また、請求項7、請求項13、および請求項19の発明による付随情報付加装置では、反復ウォータマークにおける単位ウォータマークの並び、および反復ウォータマーク自身について、従来よりも複数の自由度が加えられるので、ウォータマークに対する攻撃は困難になる。
【0206】しかも、自由度の実現はウォータマーク付加装置およびウォータマーク検出装置を、わずかに変更するだけで、装置を複雑にすることなく実現することができるという効果もある。
【図面の簡単な説明】
【図1】この発明による付随情報付加装置の第1の実施の形態のブロック図である。
【図2】この発明による付随情報付加装置の第2の実施の形態を説明するための図である。
【図3】この発明による付随情報付加装置の第2の実施の形態のブロック図である。
【図4】第2の実施の形態の付随情報付加装置に対応する付随情報検出装置の一形態のブロック図である。
【図5】この発明による付随情報付加装置の第3の実施の形態を説明するための図である。
【図6】この発明による付随情報付加装置の第3の実施の形態のブロック図である。
【図7】第3の実施の形態の付随情報付加装置に対応する付随情報検出装置の一形態のブロック図である。
【図8】この発明による付随情報付加装置の第4の実施の形態を説明するための図である。
【図9】この発明による付随情報付加装置の第4の実施の形態のブロック図である。
【図10】第4の実施の形態の付随情報付加装置に対応する付随情報検出装置の一形態のブロック図である。
【図11】この発明による付随情報付加装置の第5の実施の形態を説明するための図である。
【図12】この発明による付随情報付加装置の第5の実施の形態のブロック図である。
【図13】第5の実施の形態の付随情報付加装置に対応する付随情報検出装置の一形態のブロック図である。
【図14】この発明による付随情報付加装置の第5の実施の形態の他の例のブロック図である。
【図15】図14の第5の実施の形態の付随情報付加装置に対応する付随情報検出装置の一形態のブロック図である。
【図16】画像に埋め込むウォータマークを説明するための図である。
【図17】画像に埋め込むウォータマークを説明するための図である。
【図18】画像に埋め込むウォータマークを説明するための図である。
【図19】画像に埋め込むウォータマークを説明するための図である。
【図20】付随情報付加装置および付随情報検出装置を含むシステム構成の流れを説明するための図である。
【図21】付随情報付加装置のブロック図である。
【図22】従来のウォータマーク反復器のブロック図である。
【図23】従来の反復ウォータマークの生成を説明するための図である。
【図24】ウォータマークベースバンド検出装置のブロック図である。
【図25】ウォータマークを検出するための折り畳み累積処理を説明するための図である。
【図26】折り畳み累積器の一例のブロック図である。
【図27】折り畳み累積の累積結果を説明するための図である。
【図28】折り畳み累積の累積結果を説明するための図である。
【図29】ウォータマークビットストリーム検出装置のブロック図である。
【図30】MPEG圧縮符号化のフレームモードの時の符号化ブロック(DCTブロック)を説明するための図である。
【図31】MPEG圧縮符号化のフィールドモードの時の符号化ブロック(DCTブロック)を説明するための図である。
【図32】単位ウォータマークと符号化ブロックの大きさとの関係を説明するための図である。
【符号の説明】
10…ウォータマーク付加装置、20…MPEG符号化器、30…ウォータマークベースバンド検出装置、40…ウォータマークビットストリーム検出装置、101…ウォータマーク埋め込み器、102…埋め込み量判断器、103…ウォータマーク反復器、301…折り畳み累積器、302…FFT器、303…畳み込み演算器、304…FFT器、305…逆FFT器、411…DCT係数抽出き、412…逆DCT器、501,504,601,605…メモリ、602…累積加算器、502,503,505〜512…アドレス設定部、603,604,606〜613…アドレス設定部
【特許請求の範囲】
【請求項1】画像の一部のN×M(N,Mは正の整数)個の画素からなる小領域に対応する大きさの単位ウォータマークを縦横に反復した反復ウォータマークを、画像に付加する付随情報付加装置であって、前記単位ウォータマークを記憶するメモリを備え、前記画像の縦方向および横方向の画素位置座標値を、前記単位ウォータマークを縦横の反復単位の大きさで除算したときの剰余を用いて、前記メモリから前記単位ウォータマークを、反復して読み出す単位ウォータマーク反復手段と、前記単位ウォータマーク反復手段から読み出された前記単位ウォータマークを、画像上、縦横に反復するように、前記画像の情報に付加する付加手段と、を備えることを特徴とする付随情報付加装置。
【請求項2】画像の一部のN×M(N,Mは正の整数)個の画素からなる小領域に対応する大きさの単位ウォータマークを縦横に反復した反復ウォータマークを、画像に付加するに当たって、前記単位ウォータマークのみをメモリに保持し、前記単位ウォータマークの縦横の反復単位の大きさによる剰余を用いて、前記メモリから前記単位ウォータマークを反復して読み出すことにより前記反復ウォータマークを得ることを特徴とする付随情報付加方法。
【請求項3】画像の一部のN×M(N,Mは正の整数)個の画素からなる小領域に対応する大きさの単位ウォータマークを縦横に反復した反復ウォータマークを、画像に付加する付随情報付加装置において、前記単位ウォータマークの縦および横の大きさを、N≠Mに選定したことを特徴とする付随情報付加装置。
【請求項4】画像の一部のN×M(N,Mは正の整数)個の画素からなり、N≠Mに選定された小領域に対応する大きさの単位ウォータマークを縦横に反復した反復ウォータマークが付加された画像から、前記単位ウォータマークを検出して、付随情報を検出する付随情報検出装置であって、前記反復ウォータマークが付加された画像について、前記N≠Mに選定された小領域を単位として、折り畳み累積する折り畳み累積手段と、前記折り畳み累積手段の累積結果と、前記単位ウォータマークとの相関を調べる相関判定手段と、前記相関検出手段の検出出力に基づいて、前記単位ウォータマークについての検出出力を得る検出出力生成手段と、を備えることを特徴とする付随情報検出装置。
【請求項5】画像の一部のN×M(N,Mは正の整数)個の画素からなる小領域に対応する大きさの単位ウォータマークを縦横に反復したウォータマークを、画像に付加するに当たって、前記単位ウォータマークの縦および横の大きさを、N≠Mに選定したことを特徴とする付随情報付加方法。
【請求項6】画像の一部のN×M(N,Mは正の整数)個の画素からなり、N≠Mに選定された小領域に対応する大きさの単位ウォータマークを縦横に反復した反復ウォータマークが付加された画像から、前記単位ウォータマークを検出して、付随情報を検出する付随情報検出方法であって、前記反復ウォータマークが付加された画像について、前記N≠Mに選定された小領域を単位として、折り畳み累積し、前記折り畳み累積の結果と、前記単位ウォータマークとの相関を調べ、前記相関の結果に基づいて、前記単位ウォータマークについての検出出力を得ることを特徴とする付随情報検出方法。
【請求項7】画像の一部のN×M(N,Mは正の整数)個の画素からなる小領域に対応する大きさの単位ウォータマークを縦横に反復した反復ウォータマークを、画像に付加する付随情報付加装置であって、前記単位ウォータマークが横方向に反復して並ぶ1行毎に、前記単位ウォータマークを横方向に一定量づつずらした反復ウォータマークを発生する反復ウォータマーク発生手段と、前記反復ウォータマーク発生手段からの前記反復ウォータマークを画像の情報に付加する付加手段と、を備えることを特徴とする付随情報付加装置。
【請求項8】請求項7に記載の付随情報付加装置において、前記反復ウォータマーク発生手段は、前記単位ウォータマークを記憶するメモリを備え、前記画像の縦方向および横方向の画素位置座標値を、前記単位ウォータマークを縦横の反復単位の大きさで除算したときの剰余と、各行毎の前記横方向のずれ量とを用いて、前記メモリから前記単位ウォータマークを、反復して読み出す単位ウォータマーク反復手段からなることを特徴とする付随情報付加装置。
【請求項9】画像の一部のN×M(N,Mは正の整数)個の画素からなる小領域に対応する大きさの単位ウォータマークを縦横に反復した反復ウォータマークを、画像に付加するに当たって、前記単位ウォータマークが横方向に反復して並ぶ1行毎に、前記単位ウォータマークを横方向に一定量づつずらした反復ウォータマークを画像の情報に付加することを特徴とする付随情報付加方法。
【請求項10】請求項9に記載の付随情報付加方法において、前記単位ウォータマークのみをメモリに保持し、前記単位ウォータマークの縦横の反復単位の大きさによる剰余と、各行毎の前記横方向のずれ量とを用いて、前記メモリから前記単位ウォータマークを反復して読み出すことにより前記反復ウォータマークを得ることを特徴とする付随情報付加方法。
【請求項11】画像の一部のN×M(N,Mは正の整数)個の画素からなる小領域に対応する大きさの単位ウォータマークが縦横に反復され、かつ、前記単位ウォータマークが横方向に反復して並ぶ1行毎に、前記単位ウォータマークが横方向に一定量づつずらされた反復ウォータマークが付加された画像から、前記単位ウォータマークを検出して、付随情報を検出する付随情報検出装置であって、前記反復ウォータマークが付加された画像について、前記1行毎に横方向に一定量づつずれた前記単位ウォータマーク分の領域単位で折り畳み累積する折り畳み累積手段と、前記折り畳み累積手段の累積結果と、前記単位ウォータマークとの相関を調べる相関判定手段と、前記相関検出手段の検出出力に基づいて、前記単位ウォータマークについての検出出力を得る検出出力生成手段と、を備えることを特徴とする付随情報検出装置。
【請求項12】画像の一部のN×M(N,Mは正の整数)個の画素からなる小領域に対応する大きさの単位ウォータマークが縦横に反復し、かつ、前記単位ウォータマークが横方向に反復して並ぶ行毎に、前記単位ウォータマークが行方向に一定量づつずらされたウォータマークが付加された画像から、前記単位ウォータマークを検出して、付随情報を検出する付随情報検出方法であって、前記画像に付加された反復ウォータマークについて、前記1行毎に横方向に一定量づつずれた単位ウォータマーク分の領域単位で折り畳み累積し、前記折り畳み累積の結果と、前記単位ウォータマークとの相関を調べ、前記相関の結果に基づいて、前記単位ウォータマークについての検出出力を得ることを特徴とする付随情報検出方法。
【請求項13】画像の一部のN×M(N,Mは正の整数)個の画素からなる小領域に対応する大きさの単位ウォータマークを縦横に反復した反復ウォータマークを、画像に付加する付随情報付加装置であって、前記単位ウォータマークが縦方向に反復して並ぶ1列毎に、前記単位ウォータマークを縦方向に一定量づつずらした反復ウォータマークを発生する反復ウォータマーク発生手段と、前記反復ウォータマーク発生手段からの前記反復ウォータマークを画像の情報に付加する付加手段と、を備えることを特徴とする付随情報付加装置。
【請求項14】請求項13に記載の付随情報付加装置において、前記反復ウォータマークの発生手段は、前記単位ウォータマークを記憶するメモリを備え、前記画像の縦方向および横方向の画素位置座標値を、前記単位ウォータマークを縦横の反復単位の大きさで除算したときの剰余と、各列毎の前記縦方向のずれ量とを用いて、前記メモリから前記単位ウォータマークを、反復して読み出す単位ウォータマーク反復手段からなることを特徴とする付随情報付加装置。
【請求項15】画像の一部のN×M(N,Mは正の整数)個の画素からなる小領域に対応する大きさの単位ウォータマークを縦横に反復したウォータマークを、画像に付加するに当たって、前記単位ウォータマークが縦方向に反復して並ぶ1列毎に、前記単位ウォータマークを縦方向に一定量づつずらした反復ウォータマークを画像の情報に付加することを特徴とする付随情報付加方法。
【請求項16】請求項15に記載の付随情報付加方法において、前記単位ウォータマークのみをメモリに保持し、前記単位ウォータマークの縦横の反復単位の大きさによる剰余と、各列毎の前記縦方向のずれ量とを用いて、前記メモリから前記単位ウォータマークを反復して読み出すことにより前記画像の縦横に反復する反復ウォータマークを得ることを特徴とする付随情報付加方法。
【請求項17】画像の一部のN×M(N,Mは正の整数)個の画素からなる小領域に対応する大きさの単位ウォータマークが縦横に反復され、かつ、前記単位ウォータマークが縦方向に反復して並ぶ1列毎に、前記単位ウォータマークが縦方向に一定量づつずらされた反復ウォータマークが付加された画像から、前記単位ウォータマークを検出して、付随情報を検出する付随情報検出装置であって、前記反復ウォータマークが付加された画像について、前記1列毎に縦方向に一定量づつずれた前記単位ウォータマーク分の領域単位で折り畳み累積する折り畳み累積手段と、前記折り畳み累積手段の累積結果と、前記単位ウォータマークとの相関を調べる相関判定手段と、前記相関検出手段の検出出力に基づいて、前記単位ウォータマークについての検出出力を得る検出出力生成手段と、を備えることを特徴とする付随情報検出装置。
【請求項18】画像の一部のN×M(N,Mは正の整数)個の画素からなる小領域に対応する大きさの単位ウォータマークが縦横に反復し、かつ、前記単位ウォータマークが縦方向に反復して並ぶ列毎に、前記単位ウォータマークが列方向に一定量づつずらされた反復ウォータマークが付加された画像から、前記ウォータマークを検出する付随情報検出方法であって、前記画像に付加された反復ウォータマークについて、前記1列毎に縦方向に一定量づつずれた前記単位ウォータマーク分の領域単位で折り畳み累積し、前記折り畳み累積の結果と、前記単位ウォータマークとの相関を調べ、前記相関の結果に基づいて、前記単位ウォータマークについての検出出力を得ることを特徴とする付随情報検出方法。
【請求項19】画像の一部のN×M(N,Mは正の整数)個の画素からなる小領域に対応する大きさの単位ウォータマークを縦横に反復した反復ウォータマークを、画像に付加する付随情報付加装置であって、画像を単位とした一定時間毎に、縦方向および/または横方向に、一定量づつずれた前記反復ウォータマークを発生する反復ウォータマーク発生手段と、前記反復ウォータマーク発生手段からの前記反復ウォータマークを画像の情報に付加する付加手段と、を備えることを特徴とする付随情報付加装置。
【請求項20】請求項19に記載の付随情報付加装置において、前記反復ウォータマーク発生手段は、前記単位ウォータマークを記憶するメモリを備え、前記画像の縦方向および横方向の画素位置座標値を、前記単位ウォータマークを縦横の反復単位の大きさで除算したときの剰余を用いて、前記メモリから前記単位ウォータマークを、反復して読み出すものであって、画像を単位とした前記一定時間毎に、画像全体として前記縦方向および/または横方向のずれ量を前記剰余に加えて、前記メモリから前記単位ウォータマークを、反復して読み出す単位ウォータマーク反復手段からなることを特徴とする付随情報付加装置。
【請求項21】画像の一部のN×M(N,Mは正の整数)個の画素からなる小領域に対応する大きさの単位ウォータマークを縦横に反復した反復ウォータマークを、画像に付加するに当たって、画像を単位とした一定時間毎に、縦および/または横にずれた反復ウォータマークを、画像に付加することを特徴とする付随情報付加方法。
【請求項22】請求項21に記載の付随情報付加方法において、前記単位ウォータマークのみをメモリに保持し、前記単位ウォータマークの縦横の反復単位の大きさによる剰余を用いて、前記メモリから前記単位ウォータマークを反復して読み出すと共に、画像を単位とした前記一定時間毎に、画像全体として前記縦方向および/または横方向のずれ量を前記剰余に加えて、前記メモリから前記単位ウォータマークを、反復して読み出すことにより前記反復ウォータマークを得ることを特徴とする付随情報付加方法。
【請求項23】画像の一部のN×M(N,Mは正の整数)個の画素からなる小領域に対応する大きさの単位ウォータマークが縦横に反復し、かつ、画像を単位とした一定時間毎に、縦および/または横にずれた反復ウォータマークが付加された画像から、前記単位ウォータマークを検出して、付随情報を検出する付随情報検出装置において、前記反復ウォータマークが付加された画像について、前記単位ウォータマーク分の領域単位で折り畳み累積する折り畳み累積手段と、前記折り畳み累積手段の累積結果と、前記単位ウォータマークとの相関を調べる相関判定手段と、前記相関検出手段の検出出力に基づいて、前記単位ウォータマークについての検出出力を得る検出出力生成手段と、を備えることを特徴とする付随情報検出装置。
【請求項24】画像の一部のN×M(N,Mは正の整数)個の画素からなる小領域に対応する大きさの単位ウォータマークが縦横に反復し、かつ、画像を単位とした一定時間毎に、縦および/または横にずれた反復ウォータマークが付加された画像から、前記単位ウォータマークを検出して、付随情報を検出する付随情報検出方法において、前記画像に付加されたウォータマークについて、前記単位ウォータマーク分の領域単位で折り畳み累積し、前記折り畳み累積の結果と、前記単位ウォータマークとの相関を調べ、前記相関の結果に基づいて、前記単位ウォータマークについての検出出力を得ることを特徴とする付随情報検出方法。
【請求項25】請求項19に記載の付随情報付加装置において、前記反復ウォータマーク発生手段は、1画像についての反復ウォータマークとして、前記単位ウォータマークが横方向に反復して並ぶ1行毎に、前記単位ウォータマークを横方向に一定量づつずらした反復ウォータマーク、または、前記単位ウォータマークが縦方向に反復して並ぶ1列毎に、前記単位ウォータマークを縦方向に一定量づつずらした反復ウォータマークを発生することを特徴とする付随情報付加装置。
【請求項26】請求項20に記載の付随情報付加方法において、前記反復ウォータマーク発生手段は、1画像についての反復ウォータマークとして、前記単位ウォータマークが横方向に反復して並ぶ1行毎に、前記単位ウォータマークを横方向に一定量づつずらした反復ウォータマーク、または、前記単位ウォータマークが縦方向に反復して並ぶ1列毎に、前記単位ウォータマークを縦方向に一定量づつずらした反復ウォータマークを発生することを特徴とする付随情報付加方法。
【請求項27】請求項7、請求項8、請求項13、請求項14、請求項19、請求項20または請求項25のいずれかに記載の付随情報付加装置において、前記単位ウォータマークの縦および横の大きさを、N≠Mに選定することを特徴とする付随情報付加装置。
【請求項28】請求項9、請求項10、請求項15、請求項16、請求項21、請求項22または請求項26のいずれかに記載の付随情報付加方法において、前記単位ウォータマークの縦および横の大きさを、N≠Mに選定することを特徴とする付随情報付加方法。
【請求項29】請求項11、請求項17、請求項21または請求項23のいずれかに記載の付随情報検出装置において、前記単位ウォータマークの縦および横の大きさが、N≠Mに選定されていることを特徴とする付随情報検出装置。
【請求項30】請求項12、請求項18、請求項22または請求項24のいずれかに記載の付随情報検出方法において、前記単位ウォータマークの縦および横の大きさが、N≠Mに選定されていることを特徴とする付随情報検出方法。
【請求項31】画像に付随情報を付加する付随情報付加装置と、前記付随情報を画像から検出する付随情報検出装置との組を用いた不正利用防止システムにおいて、前記付随情報付加装置として、請求項1、3、7、8、13、14、19、20、25、27に記載の付随情報付加装置のいずれかを用い、前記付随情報検出装置として、請求項4、11、17、23、29に記載の付随情報検出装置のいずれかを用いたことを特徴とする不正利用防止システム。
【請求項32】請求項1、3、7、8、13、14、19、20、25、27のいずれかに記載の付随情報付加装置において、前記画像の情報は、ブロック単位で圧縮符号化されるものであり、前記単位ウォータマークの大きさは、前記圧縮符号化のブロックの整数倍とされていることを特徴とする付随情報付加装置。
【請求項33】請求項4、11、17、23、29のいずれかに記載の付随情報検出装置において、前記画像の情報は、ブロック単位でDCTを用いた圧縮符号化されるものであって、前記単位ウォータマークの大きさは、前記圧縮符号化のブロックの整数倍とされていると共に、前記折り畳み累積手段では、DCT係数について折り畳み累積することを特徴とする付随情報検出装置。
【請求項34】請求項2、5、9、10、15、16、21、22、26、28のいずれかに記載の付随情報付加方法において、前記画像の情報は、ブロック単位で圧縮符号化されるものであり、前記単位ウォータマークの大きさは、前記圧縮符号化のブロックの整数倍とされていることを特徴とする付随情報付加方法。
【請求項35】請求項6、12、18、24、30のいずれかに記載の付随情報検出方法において、前記画像の情報は、ブロック単位でDCTを用いた圧縮符号化されるものであって、前記単位ウォータマークの大きさは、前記圧縮符号化のブロックの整数倍とされていると共に、前記折り畳み累積手段では、DCT係数について折り畳み累積することを特徴とする付随情報検出方法。
【請求項1】画像の一部のN×M(N,Mは正の整数)個の画素からなる小領域に対応する大きさの単位ウォータマークを縦横に反復した反復ウォータマークを、画像に付加する付随情報付加装置であって、前記単位ウォータマークを記憶するメモリを備え、前記画像の縦方向および横方向の画素位置座標値を、前記単位ウォータマークを縦横の反復単位の大きさで除算したときの剰余を用いて、前記メモリから前記単位ウォータマークを、反復して読み出す単位ウォータマーク反復手段と、前記単位ウォータマーク反復手段から読み出された前記単位ウォータマークを、画像上、縦横に反復するように、前記画像の情報に付加する付加手段と、を備えることを特徴とする付随情報付加装置。
【請求項2】画像の一部のN×M(N,Mは正の整数)個の画素からなる小領域に対応する大きさの単位ウォータマークを縦横に反復した反復ウォータマークを、画像に付加するに当たって、前記単位ウォータマークのみをメモリに保持し、前記単位ウォータマークの縦横の反復単位の大きさによる剰余を用いて、前記メモリから前記単位ウォータマークを反復して読み出すことにより前記反復ウォータマークを得ることを特徴とする付随情報付加方法。
【請求項3】画像の一部のN×M(N,Mは正の整数)個の画素からなる小領域に対応する大きさの単位ウォータマークを縦横に反復した反復ウォータマークを、画像に付加する付随情報付加装置において、前記単位ウォータマークの縦および横の大きさを、N≠Mに選定したことを特徴とする付随情報付加装置。
【請求項4】画像の一部のN×M(N,Mは正の整数)個の画素からなり、N≠Mに選定された小領域に対応する大きさの単位ウォータマークを縦横に反復した反復ウォータマークが付加された画像から、前記単位ウォータマークを検出して、付随情報を検出する付随情報検出装置であって、前記反復ウォータマークが付加された画像について、前記N≠Mに選定された小領域を単位として、折り畳み累積する折り畳み累積手段と、前記折り畳み累積手段の累積結果と、前記単位ウォータマークとの相関を調べる相関判定手段と、前記相関検出手段の検出出力に基づいて、前記単位ウォータマークについての検出出力を得る検出出力生成手段と、を備えることを特徴とする付随情報検出装置。
【請求項5】画像の一部のN×M(N,Mは正の整数)個の画素からなる小領域に対応する大きさの単位ウォータマークを縦横に反復したウォータマークを、画像に付加するに当たって、前記単位ウォータマークの縦および横の大きさを、N≠Mに選定したことを特徴とする付随情報付加方法。
【請求項6】画像の一部のN×M(N,Mは正の整数)個の画素からなり、N≠Mに選定された小領域に対応する大きさの単位ウォータマークを縦横に反復した反復ウォータマークが付加された画像から、前記単位ウォータマークを検出して、付随情報を検出する付随情報検出方法であって、前記反復ウォータマークが付加された画像について、前記N≠Mに選定された小領域を単位として、折り畳み累積し、前記折り畳み累積の結果と、前記単位ウォータマークとの相関を調べ、前記相関の結果に基づいて、前記単位ウォータマークについての検出出力を得ることを特徴とする付随情報検出方法。
【請求項7】画像の一部のN×M(N,Mは正の整数)個の画素からなる小領域に対応する大きさの単位ウォータマークを縦横に反復した反復ウォータマークを、画像に付加する付随情報付加装置であって、前記単位ウォータマークが横方向に反復して並ぶ1行毎に、前記単位ウォータマークを横方向に一定量づつずらした反復ウォータマークを発生する反復ウォータマーク発生手段と、前記反復ウォータマーク発生手段からの前記反復ウォータマークを画像の情報に付加する付加手段と、を備えることを特徴とする付随情報付加装置。
【請求項8】請求項7に記載の付随情報付加装置において、前記反復ウォータマーク発生手段は、前記単位ウォータマークを記憶するメモリを備え、前記画像の縦方向および横方向の画素位置座標値を、前記単位ウォータマークを縦横の反復単位の大きさで除算したときの剰余と、各行毎の前記横方向のずれ量とを用いて、前記メモリから前記単位ウォータマークを、反復して読み出す単位ウォータマーク反復手段からなることを特徴とする付随情報付加装置。
【請求項9】画像の一部のN×M(N,Mは正の整数)個の画素からなる小領域に対応する大きさの単位ウォータマークを縦横に反復した反復ウォータマークを、画像に付加するに当たって、前記単位ウォータマークが横方向に反復して並ぶ1行毎に、前記単位ウォータマークを横方向に一定量づつずらした反復ウォータマークを画像の情報に付加することを特徴とする付随情報付加方法。
【請求項10】請求項9に記載の付随情報付加方法において、前記単位ウォータマークのみをメモリに保持し、前記単位ウォータマークの縦横の反復単位の大きさによる剰余と、各行毎の前記横方向のずれ量とを用いて、前記メモリから前記単位ウォータマークを反復して読み出すことにより前記反復ウォータマークを得ることを特徴とする付随情報付加方法。
【請求項11】画像の一部のN×M(N,Mは正の整数)個の画素からなる小領域に対応する大きさの単位ウォータマークが縦横に反復され、かつ、前記単位ウォータマークが横方向に反復して並ぶ1行毎に、前記単位ウォータマークが横方向に一定量づつずらされた反復ウォータマークが付加された画像から、前記単位ウォータマークを検出して、付随情報を検出する付随情報検出装置であって、前記反復ウォータマークが付加された画像について、前記1行毎に横方向に一定量づつずれた前記単位ウォータマーク分の領域単位で折り畳み累積する折り畳み累積手段と、前記折り畳み累積手段の累積結果と、前記単位ウォータマークとの相関を調べる相関判定手段と、前記相関検出手段の検出出力に基づいて、前記単位ウォータマークについての検出出力を得る検出出力生成手段と、を備えることを特徴とする付随情報検出装置。
【請求項12】画像の一部のN×M(N,Mは正の整数)個の画素からなる小領域に対応する大きさの単位ウォータマークが縦横に反復し、かつ、前記単位ウォータマークが横方向に反復して並ぶ行毎に、前記単位ウォータマークが行方向に一定量づつずらされたウォータマークが付加された画像から、前記単位ウォータマークを検出して、付随情報を検出する付随情報検出方法であって、前記画像に付加された反復ウォータマークについて、前記1行毎に横方向に一定量づつずれた単位ウォータマーク分の領域単位で折り畳み累積し、前記折り畳み累積の結果と、前記単位ウォータマークとの相関を調べ、前記相関の結果に基づいて、前記単位ウォータマークについての検出出力を得ることを特徴とする付随情報検出方法。
【請求項13】画像の一部のN×M(N,Mは正の整数)個の画素からなる小領域に対応する大きさの単位ウォータマークを縦横に反復した反復ウォータマークを、画像に付加する付随情報付加装置であって、前記単位ウォータマークが縦方向に反復して並ぶ1列毎に、前記単位ウォータマークを縦方向に一定量づつずらした反復ウォータマークを発生する反復ウォータマーク発生手段と、前記反復ウォータマーク発生手段からの前記反復ウォータマークを画像の情報に付加する付加手段と、を備えることを特徴とする付随情報付加装置。
【請求項14】請求項13に記載の付随情報付加装置において、前記反復ウォータマークの発生手段は、前記単位ウォータマークを記憶するメモリを備え、前記画像の縦方向および横方向の画素位置座標値を、前記単位ウォータマークを縦横の反復単位の大きさで除算したときの剰余と、各列毎の前記縦方向のずれ量とを用いて、前記メモリから前記単位ウォータマークを、反復して読み出す単位ウォータマーク反復手段からなることを特徴とする付随情報付加装置。
【請求項15】画像の一部のN×M(N,Mは正の整数)個の画素からなる小領域に対応する大きさの単位ウォータマークを縦横に反復したウォータマークを、画像に付加するに当たって、前記単位ウォータマークが縦方向に反復して並ぶ1列毎に、前記単位ウォータマークを縦方向に一定量づつずらした反復ウォータマークを画像の情報に付加することを特徴とする付随情報付加方法。
【請求項16】請求項15に記載の付随情報付加方法において、前記単位ウォータマークのみをメモリに保持し、前記単位ウォータマークの縦横の反復単位の大きさによる剰余と、各列毎の前記縦方向のずれ量とを用いて、前記メモリから前記単位ウォータマークを反復して読み出すことにより前記画像の縦横に反復する反復ウォータマークを得ることを特徴とする付随情報付加方法。
【請求項17】画像の一部のN×M(N,Mは正の整数)個の画素からなる小領域に対応する大きさの単位ウォータマークが縦横に反復され、かつ、前記単位ウォータマークが縦方向に反復して並ぶ1列毎に、前記単位ウォータマークが縦方向に一定量づつずらされた反復ウォータマークが付加された画像から、前記単位ウォータマークを検出して、付随情報を検出する付随情報検出装置であって、前記反復ウォータマークが付加された画像について、前記1列毎に縦方向に一定量づつずれた前記単位ウォータマーク分の領域単位で折り畳み累積する折り畳み累積手段と、前記折り畳み累積手段の累積結果と、前記単位ウォータマークとの相関を調べる相関判定手段と、前記相関検出手段の検出出力に基づいて、前記単位ウォータマークについての検出出力を得る検出出力生成手段と、を備えることを特徴とする付随情報検出装置。
【請求項18】画像の一部のN×M(N,Mは正の整数)個の画素からなる小領域に対応する大きさの単位ウォータマークが縦横に反復し、かつ、前記単位ウォータマークが縦方向に反復して並ぶ列毎に、前記単位ウォータマークが列方向に一定量づつずらされた反復ウォータマークが付加された画像から、前記ウォータマークを検出する付随情報検出方法であって、前記画像に付加された反復ウォータマークについて、前記1列毎に縦方向に一定量づつずれた前記単位ウォータマーク分の領域単位で折り畳み累積し、前記折り畳み累積の結果と、前記単位ウォータマークとの相関を調べ、前記相関の結果に基づいて、前記単位ウォータマークについての検出出力を得ることを特徴とする付随情報検出方法。
【請求項19】画像の一部のN×M(N,Mは正の整数)個の画素からなる小領域に対応する大きさの単位ウォータマークを縦横に反復した反復ウォータマークを、画像に付加する付随情報付加装置であって、画像を単位とした一定時間毎に、縦方向および/または横方向に、一定量づつずれた前記反復ウォータマークを発生する反復ウォータマーク発生手段と、前記反復ウォータマーク発生手段からの前記反復ウォータマークを画像の情報に付加する付加手段と、を備えることを特徴とする付随情報付加装置。
【請求項20】請求項19に記載の付随情報付加装置において、前記反復ウォータマーク発生手段は、前記単位ウォータマークを記憶するメモリを備え、前記画像の縦方向および横方向の画素位置座標値を、前記単位ウォータマークを縦横の反復単位の大きさで除算したときの剰余を用いて、前記メモリから前記単位ウォータマークを、反復して読み出すものであって、画像を単位とした前記一定時間毎に、画像全体として前記縦方向および/または横方向のずれ量を前記剰余に加えて、前記メモリから前記単位ウォータマークを、反復して読み出す単位ウォータマーク反復手段からなることを特徴とする付随情報付加装置。
【請求項21】画像の一部のN×M(N,Mは正の整数)個の画素からなる小領域に対応する大きさの単位ウォータマークを縦横に反復した反復ウォータマークを、画像に付加するに当たって、画像を単位とした一定時間毎に、縦および/または横にずれた反復ウォータマークを、画像に付加することを特徴とする付随情報付加方法。
【請求項22】請求項21に記載の付随情報付加方法において、前記単位ウォータマークのみをメモリに保持し、前記単位ウォータマークの縦横の反復単位の大きさによる剰余を用いて、前記メモリから前記単位ウォータマークを反復して読み出すと共に、画像を単位とした前記一定時間毎に、画像全体として前記縦方向および/または横方向のずれ量を前記剰余に加えて、前記メモリから前記単位ウォータマークを、反復して読み出すことにより前記反復ウォータマークを得ることを特徴とする付随情報付加方法。
【請求項23】画像の一部のN×M(N,Mは正の整数)個の画素からなる小領域に対応する大きさの単位ウォータマークが縦横に反復し、かつ、画像を単位とした一定時間毎に、縦および/または横にずれた反復ウォータマークが付加された画像から、前記単位ウォータマークを検出して、付随情報を検出する付随情報検出装置において、前記反復ウォータマークが付加された画像について、前記単位ウォータマーク分の領域単位で折り畳み累積する折り畳み累積手段と、前記折り畳み累積手段の累積結果と、前記単位ウォータマークとの相関を調べる相関判定手段と、前記相関検出手段の検出出力に基づいて、前記単位ウォータマークについての検出出力を得る検出出力生成手段と、を備えることを特徴とする付随情報検出装置。
【請求項24】画像の一部のN×M(N,Mは正の整数)個の画素からなる小領域に対応する大きさの単位ウォータマークが縦横に反復し、かつ、画像を単位とした一定時間毎に、縦および/または横にずれた反復ウォータマークが付加された画像から、前記単位ウォータマークを検出して、付随情報を検出する付随情報検出方法において、前記画像に付加されたウォータマークについて、前記単位ウォータマーク分の領域単位で折り畳み累積し、前記折り畳み累積の結果と、前記単位ウォータマークとの相関を調べ、前記相関の結果に基づいて、前記単位ウォータマークについての検出出力を得ることを特徴とする付随情報検出方法。
【請求項25】請求項19に記載の付随情報付加装置において、前記反復ウォータマーク発生手段は、1画像についての反復ウォータマークとして、前記単位ウォータマークが横方向に反復して並ぶ1行毎に、前記単位ウォータマークを横方向に一定量づつずらした反復ウォータマーク、または、前記単位ウォータマークが縦方向に反復して並ぶ1列毎に、前記単位ウォータマークを縦方向に一定量づつずらした反復ウォータマークを発生することを特徴とする付随情報付加装置。
【請求項26】請求項20に記載の付随情報付加方法において、前記反復ウォータマーク発生手段は、1画像についての反復ウォータマークとして、前記単位ウォータマークが横方向に反復して並ぶ1行毎に、前記単位ウォータマークを横方向に一定量づつずらした反復ウォータマーク、または、前記単位ウォータマークが縦方向に反復して並ぶ1列毎に、前記単位ウォータマークを縦方向に一定量づつずらした反復ウォータマークを発生することを特徴とする付随情報付加方法。
【請求項27】請求項7、請求項8、請求項13、請求項14、請求項19、請求項20または請求項25のいずれかに記載の付随情報付加装置において、前記単位ウォータマークの縦および横の大きさを、N≠Mに選定することを特徴とする付随情報付加装置。
【請求項28】請求項9、請求項10、請求項15、請求項16、請求項21、請求項22または請求項26のいずれかに記載の付随情報付加方法において、前記単位ウォータマークの縦および横の大きさを、N≠Mに選定することを特徴とする付随情報付加方法。
【請求項29】請求項11、請求項17、請求項21または請求項23のいずれかに記載の付随情報検出装置において、前記単位ウォータマークの縦および横の大きさが、N≠Mに選定されていることを特徴とする付随情報検出装置。
【請求項30】請求項12、請求項18、請求項22または請求項24のいずれかに記載の付随情報検出方法において、前記単位ウォータマークの縦および横の大きさが、N≠Mに選定されていることを特徴とする付随情報検出方法。
【請求項31】画像に付随情報を付加する付随情報付加装置と、前記付随情報を画像から検出する付随情報検出装置との組を用いた不正利用防止システムにおいて、前記付随情報付加装置として、請求項1、3、7、8、13、14、19、20、25、27に記載の付随情報付加装置のいずれかを用い、前記付随情報検出装置として、請求項4、11、17、23、29に記載の付随情報検出装置のいずれかを用いたことを特徴とする不正利用防止システム。
【請求項32】請求項1、3、7、8、13、14、19、20、25、27のいずれかに記載の付随情報付加装置において、前記画像の情報は、ブロック単位で圧縮符号化されるものであり、前記単位ウォータマークの大きさは、前記圧縮符号化のブロックの整数倍とされていることを特徴とする付随情報付加装置。
【請求項33】請求項4、11、17、23、29のいずれかに記載の付随情報検出装置において、前記画像の情報は、ブロック単位でDCTを用いた圧縮符号化されるものであって、前記単位ウォータマークの大きさは、前記圧縮符号化のブロックの整数倍とされていると共に、前記折り畳み累積手段では、DCT係数について折り畳み累積することを特徴とする付随情報検出装置。
【請求項34】請求項2、5、9、10、15、16、21、22、26、28のいずれかに記載の付随情報付加方法において、前記画像の情報は、ブロック単位で圧縮符号化されるものであり、前記単位ウォータマークの大きさは、前記圧縮符号化のブロックの整数倍とされていることを特徴とする付随情報付加方法。
【請求項35】請求項6、12、18、24、30のいずれかに記載の付随情報検出方法において、前記画像の情報は、ブロック単位でDCTを用いた圧縮符号化されるものであって、前記単位ウォータマークの大きさは、前記圧縮符号化のブロックの整数倍とされていると共に、前記折り畳み累積手段では、DCT係数について折り畳み累積することを特徴とする付随情報検出方法。
【図16】
【図18】
【図1】
【図2】
【図3】
【図5】
【図21】
【図4】
【図6】
【図7】
【図10】
【図19】
【図8】
【図9】
【図11】
【図17】
【図12】
【図13】
【図14】
【図15】
【図22】
【図20】
【図23】
【図26】
【図27】
【図24】
【図25】
【図29】
【図28】
【図30】
【図31】
【図32】
【図18】
【図1】
【図2】
【図3】
【図5】
【図21】
【図4】
【図6】
【図7】
【図10】
【図19】
【図8】
【図9】
【図11】
【図17】
【図12】
【図13】
【図14】
【図15】
【図22】
【図20】
【図23】
【図26】
【図27】
【図24】
【図25】
【図29】
【図28】
【図30】
【図31】
【図32】
【公開番号】特開2000−151984(P2000−151984A)
【公開日】平成12年5月30日(2000.5.30)
【国際特許分類】
【出願番号】特願平10−327911
【出願日】平成10年11月18日(1998.11.18)
【出願人】(000002185)ソニー株式会社 (34,172)
【Fターム(参考)】
【公開日】平成12年5月30日(2000.5.30)
【国際特許分類】
【出願日】平成10年11月18日(1998.11.18)
【出願人】(000002185)ソニー株式会社 (34,172)
【Fターム(参考)】
[ Back to top ]