潜像重畳方法、および、潜像重畳装置、潜像重畳システム
【課題】一般に利用されている画像データの変換ソフトウェアで画像データを変換しようとすると、潜像が強調されて変換され前記変換行為を牽制できるように、画像に潜像を重畳する潜像重畳方法を提供する。
【解決手段】カバー静止画像もしくはカバー動画像から作成した静止画像に重畳画像を重畳する潜像重畳方法において、重畳後の画像を変換もしくは重畳後の画像を表示した画面を撮影すると、重畳画像がより強調されるように、重畳する。
【解決手段】カバー静止画像もしくはカバー動画像から作成した静止画像に重畳画像を重畳する潜像重畳方法において、重畳後の画像を変換もしくは重畳後の画像を表示した画面を撮影すると、重畳画像がより強調されるように、重畳する。
【発明の詳細な説明】
【技術分野】
【０００１】
本発明は、潜像重畳方法、および、潜像重畳装置、潜像重畳システムに関する。
【背景技術】
【０００２】
紙文書の不正な複写による著作権侵害や、複写技術の進歩により可能となった精巧な複写物を用いた不正行為（攻撃という）が問題になっている。
【０００３】
これらの攻撃に対抗するための技術として、紙文書の複写をけん制する文字等を印刷する技術がある。これは、当該紙文書を複写すると、例えば「複写」等の文字が複写文書では浮かび上がり、複写物であることを明示するもので、例えば自治体が発行する証明書等に用いられている。
【０００４】
この技術を開示している文献として、例えば米国特許第７３５９０８７号明細書（特許文献１）がある。この文献には、「印刷装置６によって帳票を印刷する帳票出力装置１において、ＣＰＵ２は、カラー複写機により読み取り可能な最小のドットサイズより大きい大ドットで構成される残存柄画像と、カラー複写機により読み取り可能な最小のドットサイズより小さい小ドットと上記大ドットとで構成される消失柄画像とを組み合わせて複写牽制画像を生成し、帳票の印刷データとともに印刷装置６によって用紙上にカラー印刷させる印刷制御装置」が記載されている（Abstract参照）。
【０００５】
また、紙文書ではなく、動画像のコピーをけん制するための技術も提案されている。例えば、米国特許出願公開第２００６／０１８８０１２号明細書（特許文献２）には、「コピー前のデータによる出力の質を落とさず、良好な質を維持したままでのコピーを不可能とする装置に関わる。アナログ画像データＶａｎから同期信号ＶＤ，ＨＤを分離する。同期信号ＶＤ，ＨＤを遅延させてクロック発生回路１１３３に供給し、それに基づいて有効画面の範囲でサンプリングクロックＣＬＫを発生する。このクロックＣＬＫは、垂直、水平に位相がずれたものとなり、従ってＡ／Ｄ変換器１１３４で得られる画像データＶｄｇ１の位相もずれる。符号化部１１３５は、サンプリングによる符号化、変換符号化等を行う。画像データＶｄｇ１の位相がずれることで、サンプリング位置、ブロック位置が、画像データＶａｎ１に係る原符号化データを得たときの位置とはずれ、符号化部１１３５で大きな劣化が発生する」と記載されている（Abstract参照）。
【先行技術文献】
【特許文献】
【０００６】
【特許文献１】米国特許第７３５９０８７号明細書
【特許文献２】米国特許出願公開第２００６／０１８８０１２号明細書
【発明の概要】
【発明が解決しようとする課題】
【０００７】
前記特許文献１には、複写牽制画像の印刷制御装置が記載されている。しかし、特許文献１に開示されているのは、複写機により読み取り可能なドットサイズに依存した技術であり、印刷物の複写牽制に限定されている。よってＰＣ等で扱う静止画像データや動画像データの複写牽制には適用できない。
【０００８】
また、前記特許文献２には、コピー前の画像データの質を維持したままでのコピーを出来なくする技術が記載されている。しかし、そのためには、コピーが必ず特許文献２に記載されている画像表示システムで行われる必要があり、前記画像表示システムが広く一般に利用されないと、コピーを困難にできないという課題があった。
【課題を解決するための手段】
【０００９】
本明細書では、一般に利用されているソフトウェアを使いつつ、ＰＣ等で扱う画像データに適用できる複写牽制技術が開示される。
【００１０】
より具体的には、画像データの変換ソフトウェアで画像データを変換しようとすると、潜像が強調されて変換され前記変換行為を牽制できるように、画像に潜像を重畳する潜像重畳方法や、当該方法を実現する装置またはシステムが開示される。
【００１１】
ここで、画像データというのは例えば静止画像データや動画像データであり、変換ソフトウェアとは例えば静止画像や動画像の大きさ（縦横の画素数）を小さくするソフトウェアや、静止画像データや動画像データの圧縮形式を他の圧縮形式に変換するソフトウェアである。
【００１２】
本明細書では上記課題を解決する技術として、たとえば、
カバー静止画像に重畳画像を重畳したステゴ静止画像またはステゴ静止画像を含むステゴ動画像を作成する潜像重畳システムにおける潜像重畳方法が開示される。
【００１３】
当該潜像重畳方法は、具体的には、
ステゴ静止画像を縮小処理した場合に，縮小処理前のステゴ静止画像の画素のうち、縮小後のステゴ静止画像の画素値に影響を与える画素の位置を求めるステップと，
カバー静止画像に重畳される重畳画像の画素のうち，求めた影響を与える位置に対応する画素の画素値に対して，予め定めたパラメータに従い、縮小処理後の重畳画像が明瞭になるように，明瞭化処理を行うステップと，
明瞭化処理後の画素値を用いた加減算画像を求めるステップと，
加減算画像をカバー静止画像に重畳し，ステゴ静止画像を作成するステップと、を備えることを特徴とする。
【００１４】
上記潜像重畳方法は、さらに、パラメータとして，影響を与える画素の画素位置毎の，変更強度を準備するステップを備え，
明瞭化処理を行うステップは、画素位置にある，重畳画像の画素値と変更強度との演算を行うステップを備えてもよい。
【００１５】
上記潜像重畳方法は、さらに、影響を与える画素以外の画素の画素値に対して，縮小処理前の重畳画像が不明瞭になるように，不明瞭化処理を行うステップを備え，
加減算画像を求めるステップは、明瞭化処理後の画素と不明瞭化処理後の画素を用いて，加減算画像を求めるステップを備えてもよい。
【００１６】
また、不明瞭化処理を行うステップは、影響を与える画素以外の画素について，０または乱数との演算を行うステップを備えてもよい。
【００１７】
上記潜像重畳方法の明瞭化処理を行うステップは，縮小後のステゴ静止画像の互いに隣り合う画素の画素値の差が，予め定められたパラメータに従う３次畳み込み内挿法の対象となる画素の画素値の差より大きくなるよう，重畳画像の画素のうち、３次畳み込み内挿法の対象となる画素の画素値を選択するステップを備えてもよい。
【００１８】
上記潜像重畳方法の不明瞭化処理を行うステップは，互いに隣り合う画素の画素値の差が，３次畳み込み内挿法による縮小の結果、元の画素値の差よりも大きくならないよう，重畳画像の画素値を選択するステップを備えてもよい。
【００１９】
また、上記方法を実行する潜像重畳サーバ装置を有する潜像重畳システムも開示される。
【００２０】
具体的には、
カバー静止画像と、パラメータと、重畳画像と、を入力として受け付け、
上記潜像重畳方法を実行し、複数のクライアント装置に提供可能なステゴ静止画像またはステゴ静止画像を含むステゴ動画像を作成する潜像重畳サーバ装置が開示される。
【００２１】
また、上記方法を実行する、潜像重畳サーバ装置と潜像重畳クライアント装置とを有する潜像重畳システムも開示される。
【００２２】
具体的には、
潜像重畳サーバ装置は、カバー画像と、パラメータと、重畳画像と、を潜像重畳クライアント装置に提供し、
潜像重畳クライアント装置は、潜像重畳サーバ装置から提供されたカバー静止画像と、パラメータと、重畳画像と、を用いて、上記潜像重畳方法を実行し、ステゴ静止画像またはステゴ静止画像を含むステゴ動画像を作成する潜像重畳システムが開示される。
【００２３】
また、上記方法を実行する、潜像重畳サーバ装置と潜像重畳クライアント装置とを有する、他の潜像重畳システムも開示される。
【００２４】
具体的には、
潜像重畳サーバ装置は、カバー静止画像と、パラメータと、を潜像重畳クライアント装置に提供し、
パラメータはさらに重畳画像として用いる文字列を含み、
潜像重畳クライアント装置は、
潜像重畳サーバ装置から提供された文字列から重畳画像を作成し、
潜像重畳サーバ装置から提供されたカバー静止画像と、パラメータと、重畳画像と、を用いて、上記潜像重畳方法を実行し、ステゴ静止画像またはステゴ静止画像を含むステゴ動画像を作成する潜像重畳システムが開示される。
【００２５】
また、上記方法を実行する、潜像重畳サーバ装置と潜像重畳クライアント装置とを有する、更に他の潜像重畳システムも開示される。
【００２６】
具体的には、
潜像重畳サーバ装置は、カバー静止画像と、パラメータと、を潜像重畳クライアント装置に提供し、
潜像重畳クライアント装置は、
重畳画像を格納する記憶装置を備え、
潜像重畳サーバ装置から提供されたカバー静止画像と、パラメータと、記憶装置に格納された重畳画像と、を用いて、上記潜像重畳方法を実行し、ステゴ静止画像またはステゴ静止画像を含むステゴ動画像を作成する潜像重畳システムが開示される。
【００２７】
一般に、攻撃者がインターネット上の動画像投稿サイト等を通じて画像データを不正に流通させるような場合、画像データの大きさを小さくするようなデータ変換が行われる。本明細書が開示する潜像重畳方法または潜像重畳装置、潜像重畳システムは、そのようなデータ変換を牽制できるから、前記のような画像データの不正流通を牽制する効果も持つ。
【００２８】
上記した以外の課題、構成及び効果は、以下の実施形態の説明により明らかにされる。
【発明の効果】
【００２９】
一般に利用されている、画像データの変換ソフトウェアを用いた場合であっても、潜像が強調されるように変換される、画像への潜像重畳方法または潜像重畳装置、潜像重畳システムの提供が可能になる。
【図面の簡単な説明】
【００３０】
【図１】実施形態のシステム構成を例示する図である
【図２】一般的なPCの内部構成の一例を示す図である
【図３】実施の形態の潜像重畳装置の処理の概略を例示するフローチャートである
【図４】潜像として重畳した重畳画像が現出するまでの流れの概略を例示するフローチャートである
【図５】実施の形態の重畳画像重畳装置の処理の概略を例示するフローチャートである
【図６】実施の形態の重畳画像重畳装置における加減算画像作成処理のフローを例示する図である
【図７】第２の実施の形態のシステム構成の一例を示す図である
【図８】実施例２において潜像として重畳した重畳画像が現出するまでの流れの概略を例示するフローチャートである
【図９】実施例3における潜像重畳装置の概要を例示する図である
【図１０】実施の形態の重畳画像重畳装置の処理の概略を例示するフローチャートである
【図１１】３次畳み込み内挿法による内挿の説明図である
【図１２】３次畳み込み内挿法による1/2縮小時のサンプリング点配置について例示する図である
【図１３】潜像が現出するイメージを例示する説明図である
【図１４】潜像の強度を与える画像のイメージを例示する説明図である
【図１５】市松模様の潜像が現出するイメージを例示する説明図である
【発明を実施するための形態】
【００３１】
以下、実施例について図面を用いて説明する。
【００３２】
まず用語についていくつか定義する。
【００３３】
カバー静止画像またはカバー動画像とは、潜像を重畳する相手となる静止画像または動画像のことを言う。総称してカバー画像ということがある。
【００３４】
ステゴ静止画像またはステゴ動画像とは、潜像を重畳された後の静止画像または動画像のことを言う。大きさはカバー画像と同じである。総称してステゴ画像ということがある。
【００３５】
潜像とは、変換前のステゴ画像では明瞭ではないが、一般に利用されている画像データの変換ソフトウェアでステゴ画像データを変換すると、強調され、より見えやすくなる画像のことを言う。潜像の大きさは、カバー画像やステゴ画像以下となる。
【００３６】
重畳画像とは、潜像の元となる画像のことを言う。以下説明する変換処理によって重畳画像から加減算画像を作成し、加減算画像をカバー画像に重畳することにより、重畳画像が潜像となる。すなわち、ステゴ静止画像またはステゴ動画像は、重畳画像が、潜像として重畳されたものである。
【実施例１】
【００３７】
本実施例では、潜像重畳サーバ装置において潜像を重畳し、視聴者が利用する複数のクライアント装置に動画像を提供する潜像重畳システムの例を説明する。
【００３８】
図1は、本実施例のシステム構成図である。
【００３９】
潜像重畳サーバ装置に相当する潜像重畳装置101は、カバー動画像102とパラメータ103と重畳画像104を入力として受け取り、カバー動画像102に重畳画像104を潜像として重畳した結果を、ステゴ動画像111として出力する装置であり、コントローラ105、デマルチプレクサ106、デコーダ107、潜像重畳部108、エンコーダ109、マルチプレクサ110を含む処理部で構成されている。
【００４０】
カバー動画像102は潜像の重畳先となる動画像であり、音声や字幕等の付加情報を含んでいてもよい。パラメータ103は潜像重畳装置101の処理を規定するデータであり、あらかじめ人手で用意しておくか、あるいは潜像重畳装置101の設置時に重畳画像重畳装置108に内蔵されているハードディスク等の記憶装置210（説明後述）に保管しておいてもよい。
【００４１】
コントローラ105は潜像重畳装置101をコントロールする処理部であり、特に図示してはいないが潜像重畳装置101を構成する各処理部と接続されている。デマルチプレクサ106は動画像、音声、字幕情報等が混在しているデータから個々のメディアを取り出す処理部であり、デコーダ107、マルチプレクサ110と接続されている。デマルチプレクサ106は動画像データをデコーダ107に送り、それ以外のデータはマルチプレクサ110に送る。デコーダ107は動画像データをデコードし、静止画像データ列を作成する装置であり、重畳画像重畳装置108、デマルチプレクサ106と接続されている。
【００４２】
重畳画像重畳装置108はカバー画像に重畳画像を潜像として重畳する装置であり、エンコーダ109、デコーダ107と接続されている。エンコーダ109は静止画像データ列から動画像データを作成する装置であり、重畳画像重畳装置108、マルチプレクサ110と接続されている。マルチプレクサ110は動画像、音声、字幕情報等の個々のメディアから、これらメディアが混在しているデータを作成する装置であり、エンコーダ109、デマルチプレクサ106と接続されている。マルチプレクサ110は動画像データをエンコーダ109から受け取り、また動画像以外のデータをデマルチプレクサ106から受け取り、これらメディアが混在しているステゴ動画像111を作成する。ステゴ動画像111は現出前の潜像が重畳された動画像である。
【００４３】
ステゴ動画像111は、放送システム112、通信システム113、メディアライタシステム114のどれかの経路を通って、視聴者が利用するクライアント装置に提供される。
【００４４】
放送システム112はテレビ放送等におけるテレビカメラ等、テレビ局内撮影装置から、送出装置、無線あるいは有線を経て、視聴者宅のアンテナ等、受信装置までを含む放送システム全体を指しており、クライアント装置としてのテレビ115と接続されている。通信システム113はステゴ動画像視聴装置たるＰＣ等の要求に応じ、動画像の送出元からインターネット等を経由して視聴者のＰＣ等に動画像をダウンロードさせる、あるいはストリーミング視聴を可能とさせるための通信システムを指しており、クライアント装置としての視聴者PC117と接続されている。メディアライタシステム114は動画像データをＤＶＤやＢＤ等の蓄積型メディアに書き込む装置およびその配布システム（物流・小売等）を指している。
【００４５】
テレビ115は視聴者が利用するテレビである。テレビ115には、液晶画面等、動画像データを表示するための部分である表示部116を内在しており、表示部116に送る前にステゴ動画像111の一部あるいは全部が内部的に再現される。視聴者PC117は視聴者が利用するＰＣであり、表示ソフト118によって視聴者PC117を視聴機器として動作させることができる。なお、PCの内部構成に関しては後述する。
【００４６】
表示ソフト118はＰＣにおいてダウンロードあるいはストリーミング配信されている動画像を、表示装置124等に表示するためのソフトウェアである。
【００４７】
プレイヤ119は、視聴者が蓄積型メディアを視聴するために利用するクライアント装置としてのプレイヤであり、表示部120を内在している。表示部120はプレイヤにおいて液晶ディスプレイや出力ポート等、動画像データを人間の視覚に適合するよう変換する装置である。
【００４８】
攻撃者PC121は、攻撃者が利用するＰＣであり、トランスコードソフト122によってトランスコード機器として動作したり、表示ソフト118によって視聴機器として動作したりする。トランスコードソフト122は動画像のデータ形式を変換するためのソフトウェアであり、攻撃者PC121はトランスコードソフト122によって、ステゴ動画像111を、攻撃者によってトランスコードを受けた動画像であるトランスコード動画像123に、変換することができる。
【００４９】
また、攻撃者はカメラ701を用いて表示部116、表示装置124、表示部120のいずれか一つ以上の装置に表示された動画像を撮影しても良い。この場合、攻撃者は、撮影によって、ステゴ動画像111を撮影画像702に変換することになる。
【００５０】
以上、本実施例のシステム構成について説明した。本システム構成は一例であり、実際には、潜像重畳装置101、視聴者PC、攻撃者PCを含む各装置はPCとソフトウェアを用いて実現することができる。また、実際には各装置は必ずしも装置として分離している必要はなく、必要に応じてPC上に複数のソフトウェアをインストールし、適宜切り替えて、あるいは並行して動作させることで、図1の複数の装置を一つのPCで実現することも可能である。
【００５１】
上述したPCの内部構成の一例を、図2を用いて説明する。
【００５２】
図2において、符号201はPC、符号202はＣＰＵ、符号203はメモリ、符号204はネットワークインタフェース、符号205はキーボード、符号206は時計、符号207はスピーカ、符号208はディスプレイ、符号209は動画カメラ、符号210はハードディスク、符号211はインターフェースである。
【００５３】
PC201は一般的なPCであり、ＣＰＵ202、メモリ203、ネットワークインタフェース204、キーボード205、時計206、スピーカ207、ディスプレイ208、動画カメラ209、ハードディスク210、インターフェース211を含んで構成されている。
【００５４】
ＣＰＵ202は中央処理装置(Central Processing Unit)であり、メモリ203に記録されているプログラム、またはハードディスク210からメモリ203に読み出されたプログラムを実行する。CPU202がプログラムを実行することにより、以下説明する各装置による各実施例の様々な処理が実現される。
【００５５】
なお、プログラムは、必要に応じて、PCが利用可能であり、着脱可能な記憶媒体によって導入されてもよい。この場合、前記記憶媒体を読み取るための装置をインターフェース211に接続する。なお、このような前記記憶媒体及びそれを読み取るための装置としては、光ディスクを用いるものが一般に知られており、これを用いることができる。また、プログラムは、必要に応じて、ネットワークインタフェース204によって、通信媒体（通信回線又は通信回線上の搬送波）を介して、PCに導入されてもよい。ＣＰＵ202は、メモリ203およびインターフェース211と接続されている。
【００５６】
メモリ203はＣＰＵ202に実行されるプログラム及びデータを一時的に記録しておくための装置である。ネットワークインタフェース204は他のPC等、PC外にある装置と通信するための装置である。キーボード205はPCへの指令やデータ入力を行うために、PCの操作者が操作する装置である。時計206はＣＰＵ202が現在のおよその時間を知るための装置である。スピーカ207は信号を音として再生する装置である。ディスプレイ208は処理結果等を表示するための装置である。動画カメラ209は動画像を信号としてPC内部に入力する装置である。
【００５７】
ハードディスク210はプログラム及びデータを格納する装置であり、例えば、不揮発性メモリや磁気ディスク等によって構成することができる。この場合、ハードディスク210に格納されたプログラム及びデータは、電源がＯＦＦとなった後にＯＮになった場合でも、通常保持される。なお、ハードディスク210には、予めオペレーティングシステムが導入されていても良い。このようにすることで、ファイル名を用いてプログラムを指定することなどができるようになる。ここで、オペレーティングシステムとは、計算機の基本ソフトウェアのことであり、一般に広く知られたオペレーティングシステムを用いることができる。インターフェース211はPC内の装置を接続するためのものであり、ＣＰＵ202と接続されている。
【００５８】
次に、潜像重畳装置101の処理フローについて、図3を用いて説明する。
【００５９】
図3は潜像重畳装置の処理フローを示す図である。
【００６０】
これは、実施の形態の潜像重畳装置101の処理の概略を示すフローチャートである。
【００６１】
ステップ301は、カバー動画像102と重畳画像104を入力として受取る処理である。この入力は、例えば潜像重畳装置101が図2の構成のPCで構成されている場合、ネットワークインタフェース204を通じてハードディスク210にカバー動画像102と重畳画像104を記録することによって実行できる。あるいは、前述したように、光ディスク等の着脱可能な記憶媒体にカバー動画像102や重畳画像104が記録されている場合、前記記憶媒体を読み取るための装置をインターフェース211に接続して読み取り、必要に応じてハードディスク210に記録することによっても実行できる。
【００６２】
ステップ302は、デマルチプレクサ106が、カバー動画像102から動画像と音声・字幕情報等、動画像以外とを分離する処理である。カバー動画像102は例えばMPEG-2 PS等のマルチメディアコンテナフォーマットに従っており、それから動画像を分離する。
【００６３】
ステップ303は、デコーダ107が、分離された動画像を入力として受け取り、静止画像データ列にデコードする処理である。動画像は例えばMPEG-2等のフォーマットに従っており、例えばデコーダ107のネットワークインタフェース204を通じて受け取り、デコーダ107のハードディスク210に記録する。これをデコードし、単数もしくは複数の静止画像のデータ列に変換する。
【００６４】
ステップ304は、重畳画像重畳装置108が、デコードされた静止画像データ列に、重畳画像104を重畳する処理である。本処理の詳細は後述する。
【００６５】
ステップ305は、エンコーダ109が、重畳画像重畳装置108の出力を動画像にエンコードする処理である。重畳画像重畳装置108の出力は、例えば単数もしくは複数の静止画像のデータ列になっており、エンコーダ109は、これを例えばエンコーダ109のネットワークインタフェース204を通じて受け取り、エンコーダ109のハードディスク210に記録する。エンコーダ109は、受け取った静止画像のデータ列を、例えばMPEG-2等の動画像にエンコードする。
【００６６】
ステップ306は、マルチプレクサ110が、デマルチプレクサ106で分離された動画像以外と、エンコーダ109でエンコードされた動画像と、を多重化し、ステゴ動画像111を作成し、潜像重畳装置101の出力として出力する処理である。
【００６７】
マルチプレクサ110は、例えばマルチプレクサ110のネットワークインタフェース204を通じて動画像以外を受け取り、また、マルチプレクサ110は、例えばマルチプレクサ110のネットワークインタフェース204を通じてエンコードされた動画像を受け取り、それぞれマルチプレクサ110のハードディスク210に記録する。次に、これらを多重化し、例えばMPEG2-TS等のフォーマットに変換し、出力する。出力は、マルチプレクサ110のハードディスク210に記録してもよいし、要求に応じて、マルチプレクサ110のネットワークインタフェース204を介して他の装置に送出するようにしてもよい。
【００６８】
以上で、潜像重畳装置101の処理の説明を終わるが、例えば１秒ごと、あるいは１０秒ごと等、あるいはGOP（Group Of Pictures）単位等、ある塊ごとに以上の処理を行い、それを繰り返しても良い。こうすることによって、潜像重畳装置101の応答時間を減少させることができる。具体的には、例えば１秒ごとの塊ごとに処理を行う場合、現在容易に利用可能なPCを用いる場合、潜像重畳装置101の処理はそれほど大きな負担ではないため、応答時間は１秒程度を達成できる。動画像では、例えば２時間の映画等、長時間にわたるコンテンツが存在するため、このような工夫を用いることで、応答時間を２時間程度から、例えば１秒程度（１秒ごとに塊を区切った場合）に改善可能である。
【００６９】
次に、本実施例において重畳した潜像が現出するまでの流れについて、図4を用いて説明する。
【００７０】
図4は潜像現出までの流れを示す図である。
【００７１】
これは、潜像重畳装置101で潜像として重畳した重畳画像が現出するまでの流れの概略を例示したフローチャートである。
【００７２】
ステップ401は攻撃者がステゴ動画像111を放送システム112、通信システム113、メディアライタシステム114等を経由して入手する処理である。
【００７３】
ステップ402で、入手経路によって処理が分かれる。もし入手経路が放送システム112であれば、ステップ403へ進む。もし入手経路が通信システム113であれば、ステップ404へ進む。もし入手経路がメディアライタシステム114であれば、ステップ405へ進む。
【００７４】
ステップ403は、攻撃者が、テレビ115内に作成されるステゴ動画像111を抜き出す処理である。この後、ステップ406に進む。
【００７５】
ステップ404は、攻撃者が、視聴者ＰＣ内に作成されるステゴ動画像111を抜き出す処理である。この後、ステップ406に進む。
【００７６】
ステップ405は、攻撃者が、ＤＶＤ等のメディアからプレイヤ119内に作成されるステゴ動画像111を抜き出す、もしくは視聴者ＰＣを利用してステゴ動画像111を抜き出す処理である。
【００７７】
ステップ406は、攻撃者が、攻撃者PC121を利用してトランスコードソフト122によってステゴ動画像111をトランスコード動画像123に変換する処理である。
【００７８】
また、攻撃者は取得したステゴ動画像111をテレビ115、プレイヤ119、視聴者PC等を用いて表示した結果を、カメラ701を用いて撮影してもよい。撮影とは、表示結果を、表示の際に用いた解像度と同じもしくは異なる解像度で記録することであるから、攻撃者は、撮影により、ステップ402〜ステップ406と同等の処理を行ったことになる。
【００７９】
ここで、変換処理としては、例えば縮小処理が考えられる。
【００８０】
ステップ407で、攻撃者が、トランスコード動画像123を表示ソフト118で表示すると、重畳画像104が現出する。図１３がその例示図であり、図１３（ａ）が現出前のステゴ静止画像、図１３（ｂ）が重畳画像104が潜像として現出した後の静止画像である。この例では、「禁コピー」といった文字を重畳画像104として重畳している。なお、ここで現出とは、重畳画像104がそのまま現れるという意味ではなく、ステゴ画像と比較すると重畳画像104がより強調されて見えるという意味である。
【００８１】
このように、重畳画像104として、あらかじめ「コピー禁止」「インターネットへの送信禁止」等の警告画像を作成し、潜像として重畳しておくことによって、トランスコードを行った攻撃者に対し、警告を発することができる。なお、重畳画像104の現出に関する原理については後述する。
【００８２】
以上で、潜像重畳装置101で潜像として重畳した重畳画像が現出するまでの流れに関する説明を終わる。
【００８３】
次に、ステップ304の、重畳画像重畳装置108が、デコードされた静止画像データ列に、重畳画像104を潜像として重畳する処理に関し、図5を用いて説明する。
【００８４】
図5は重畳画像重畳装置の処理フローを示す図である。
【００８５】
これは、実施の形態の重畳画像重畳装置108の処理の概略を示すフローチャートである。
【００８６】
ステップ501は、重畳画像重畳装置108が、コントローラ105からパラメータ103を受取り、処理種別設定する処理である。受け取る具体的な方法は、例えば重畳画像重畳装置108のネットワークインタフェース204を通じて受け取り、重畳画像重畳装置108のハードディスク210に記録するといった方法がある。受け取るパラメータ103としては、縮小率、以下に述べる変更強度がある。
【００８７】
ステップ502は、重畳画像重畳装置108が、コントローラ105から重畳画像104を受け取る処理である。受け取る具体的な方法は、例えば重畳画像重畳装置108のネットワークインタフェース204を通じて受け取り、重畳画像重畳装置108のハードディスク210に記録するといった方法がある。
【００８８】
ステップ503は、重畳画像重畳装置108が、デコーダ107からカバー静止画像データ列を受け取る処理である。受け取る具体的な方法は、例えば重畳画像重畳装置108のネットワークインタフェース204を通じて受け取り、重畳画像重畳装置108のハードディスク210に記録するといった方法がある。以下、ステップ504とステップ505を、静止画像データ列に含まれる複数のカバー静止画像の数、繰り返す。
【００８９】
ステップ504は、重畳画像重畳装置108が、加減算画像を作成する処理である。なお、加減算画像は、カバー静止画像と加算すると重畳画像104が潜像として重畳され、ステゴ静止画像となるように調整された画像のことである。本処理の詳細は後述する。
【００９０】
ステップ505は、重畳画像重畳装置108が、加減算画像を重畳する処理である。加減算画像の重畳は、カバー静止画像の輝度成分に対し加減算画像を加算する方法で行う。ここで加算とは、カバー静止画像の各画素の輝度成分に対し、対応する加減算画像の各画素の値（正もしくはゼロもしくは負）を加算することであり、加減算画像がカバー静止画像と比較して小さい場合、カバー静止画像内に加減算画像を繰り返ししきつめて加算することによって、実行する。なお、加算した結果、各画素において許される最大値を超える、もしくは許される最小値を下回る場合、加算後の画素の輝度値は許される最大値、もしくは許される最小値とする。なお、典型的には許される最大値は２５５であり、許される最小値は０である。
【００９１】
なお、カバー静止画像がRGB各０から２５５の整数で表現されるような別の典型的な場合、まず、
Y = 0.29891 × R + 0.58661 × G + 0.11448 × B
Cb = -0.16874 × R - 0.33126 × G + 0.50000 × B
Cr = 0.50000 × R - 0.41869 × G - 0.08131 × B
のようにして、RGBの数値をY, Cb, Crの実数に変換し、その後、輝度を表現するYに対して加減算画像を加算し、その後
R = Y + 1.40200 × Cr
G = Y - 0.34414 × Cb - 0.71414 × Cr
B = Y + 1.77200 × Cb
のようにして、YCbCrの数値をRGBの実数に変換し、最後にそれを各０から２５５の整数で表現されるように変換しても良い。ここで、実数を０から２５５の整数に変換する際には、例えば各数値の小数第1位を四捨五入することで整数に変換した後、０より小さな数値は０とし、２５５より大きな数値は２５５として変換しても良い。
【００９２】
この処理の後、もしまだ静止画像データ列に含まれる複数のカバー静止画像で、未処理の画像がある場合、ステップ504に戻る。全てのカバー静止画像の処理が終わった場合、処理を終了する。
【００９３】
次に、ステップ504の重畳画像重畳装置108による加減算画像作成処理の詳細について、図6を用いて説明する。
【００９４】
図6は重畳画像重畳装置における加減算画像作成処理フローを示す図である。
【００９５】
これは、実施の形態の重畳画像重畳装置108における加減算画像作成処理のフローを示す図である。
【００９６】
ステップ601は、重畳画像重畳装置108が重畳画像重畳装置108内のメモリ203に、作業用のメモリ領域として加減算画像を作成する処理である。加減算画像は、重畳画像104と同じ大きさの画像であり、典型的には各画素の値は−１２８から＋１２７までの２５６階調の値を取る。なお、例えば実数を取るようにしてもよい。
【００９７】
ステップ602は、重畳画像重畳装置108が、加減算画像内の各画素を取り出す処理である。まだ処理されていない画素があれば、ステップ603へ進む。各画素に対し処理がなされた後、終了する
ステップ603は、処理対象の画素の位置が残存領域内かどうか、重畳画像重畳装置108が調べる処理である。ここで、残存領域とは、ステップ501で与えられた縮小率で縮小したときに、縮小後の画像の画素値に影響を与える画素で構成される領域のことである。
【００９８】
例えば、縮小処理として最近傍補間法を用いる場合、縮小後の画像には影響を与えない画素が、縮小前の画像に存在する。これは、最近傍補間法では、縮小後の画像は、縮小前の画像のいずれか一つの画素の値が採用される一方、そもそも縮小後の画像では縮小前の画像と比較して画素の数が減少しているためである。よって、直感的には画素を間引くような操作が行われる。
【００９９】
残存領域かどうかは、処理対象（縮小前の画像）の画素の位置を（ｘ、ｙ）、縮小率をａ（＜１．０）、整数定数をｃ１およびｃ２、ｘを超えない最大の整数を与える関数をｉｎｔ（ｘ）としたとき、以下のように判定できる。
【０１００】
ｉｎｔ（（２ｕ＋１）／２ａ）＋ｃ１＝ｘかつｉｎｔ（（２ｖ＋１）／２ａ）＋ｃ２＝ｙとなる整数（ｕ、ｖ）が存在し、かつ（ｕ、ｖ）が縮小後の画像に含まれる画素位置であれば、残存領域
なお、上記でｃ１、ｃ２は例えば０から１５程度の値を取り、同じ値でも違う値でもよい。これは、パラメータ103に含まれる、残存領域が平行移動する場合に備えたパラメータであり、一例として、動画像の時間方向もしくは空間方向で０から１５まで１つずつ変化させる、もしくはランダムに一つ選択する等の変化をつけることもできる。このようにすることで、残存領域が平行移動しても、潜像が現出する部分を作成することが可能となる。なお、ｃ１やｃ２がより大きな値や、小さな値、例えば１００、あるいは−１５、−１００といった数をとっても良い。
【０１０１】
もし処理対象の画素位置が残存領域内であれば、ステップ604へ進む。もし処理対象の画素位置が残存領域内でなければ、ステップ605へ進む。
【０１０２】
ステップ604は、重畳画像重畳装置108が、処理対象の画素に重畳画像対応画素値×変更強度を代入する処理である。これは明瞭化処理と呼ぶ処理であり、潜像が現出するよう、ステゴ画像に重畳画像の影響が出るようにしている。
【０１０３】
ここで、変更強度とは、重畳画像をどのくらい強くステゴ画像に影響させるかを決定する値である。変更強度の絶対値が大きい場合、重畳画像がステゴ画像に与える影響が大きくなり、潜像が現出した際、より潜像がはっきり見えるようになる。また、変更強度の絶対値が小さい場合、重畳画像がステゴ画像に与える影響が小さくなり、潜像が現出するような縮小等を行う前のステゴ画像において、潜像がより目立たなくなる。
【０１０４】
なお、変更強度はパラメータ103に含まれる一つの数値を与えるほか、例えば図１４のように、複数の変更強度を重畳画像104と同じ大きさの画像のように配置して、パラメータ103として与えてもよい。ただし、図１４では重畳画像104の大きさを便宜的に５×５画素と想定している。典型的には重畳画像104は縦横１００画素以上の大きさを持っており、図１４は説明のための例示図である。このように複数の変更強度を与えることで、重畳画像を強く重畳したい部分の変更強度を大きくし、重畳画像を弱く重畳したい部分の変更強度を小さくするといった操作が可能となる。
【０１０５】
さらに、変更強度を重畳画像104に合わせて動的に生成することも可能である。これは、例えば米国特許第６５８４２１０号明細書に開示されている透かし核画像９１２のデータ値を使用することもできるし、その逆数を定数倍した数値を使用することもできる。前者の場合、潜像が現れにくい場所に強く重畳することになり、画面全体に亘って潜像が現れやすくする効果が得られ、後者の場合、潜像が現れにくい場所にはあまり潜像を重畳せずに画質劣化を防ぎ、潜像が現れやすい場所に潜像を強く重畳することで、潜像がより現れやすくなるという効果が得られる。
【０１０６】
ステップ605は、縮小前の潜像を認識しづらくするために、重畳画像重畳装置108が、残存領域内に無い画素に０を代入する処理である。これは不明瞭化処理と呼ぶ処理であり、潜像が現出しないようにしている。なお、０に代えて乱数×変更強度を代入してもよい。このようにすることで、現出前の重畳画像をより見えにくくすることができ、不明瞭化の効果を高めることができる。図１３（a）はこの乱数×変更強度を代入したときの例である。なお、ここで用いる乱数は、一般に用いられている擬似乱数を用いることができる。なお、この擬似乱数は重畳画像重畳装置108のCPU202が計算する。また、擬似乱数を用いる場合、擬似乱数の初期値としては、例えば処理開始時の時間（マイクロ秒単位等が望ましい）等を採用できる。
【０１０７】
以上で、重畳画像重畳装置における加減算画像作成処理フローの説明を終わる。
【０１０８】
ここで、ステップ407における重畳画像104の現出原理について補足しておく。
【０１０９】
ステップ603において処理対象の画素位置が残存領域内かどうか調べ、もし残存領域内であれば、ステップ604において、重畳画像104が縮小処理後に明瞭になるように、画素値を変更する明瞭化処理を行い、もし残存領域内でなければ、ステップ605に進み重畳画像104が縮小処理前に認識しづらくなるように、画素値の不明瞭化処理を行う。これによって、元のステゴ画像においては、重畳画像104の画素値が加減算されたり、されなかったりするので、重畳画像104は明瞭ではない。
【０１１０】
一方、ステゴ画像を縮小し、縮小後の画像が残存領域の画素に基づき作成された場合、縮小後の画像は、重畳画像104のうち、明瞭化処理された画素に基づいて構成されるため、重畳画像104の値が明瞭になる。
【０１１１】
実際には、縮小率の微小な違いや浮動小数点演算の誤差により、縮小後の画素の元になるのは残存領域の画素のみとはならないことがあるが、元のステゴ動画像と比較して残存領域の画素の割合が大きければ、重畳画像104は元のステゴ動画像よりも明瞭になる。
【実施例２】
【０１１２】
本実施例では、視聴者に動画像を配布した後に潜像を重畳するタイプの潜像重畳システムの例を説明する。
【０１１３】
図7は実施例２における、潜像重畳サーバ装置としてのサーバ703と、潜像重畳クライアント装置としての潜像重畳型視聴ＰＣ704と、を含んで構成されるシステム構成図である。
【０１１４】
この図において、符号701はカメラ、符号702は撮影画像である。また、本実施例の潜像重畳型視聴ＰＣ704は、実施例１で説明した潜像重畳装置101と表示ソフト118を含んで実現される。なお、潜像重畳装置101はソフトウェアを用いて実現されてもよい。この場合、潜像重畳装置101のソフトウェアは、潜像重畳型視聴ＰＣ704のCPU202で実行することができ、コストが比較的高くなるハードウェア実装を避けることができる。また、通信システム113や攻撃者ＰＣ121は、実施例１で説明したものと同じである。また、カバー動画像102、パラメータ103、重畳画像104は、サーバ703のハードディスク等に格納されており、通信システム113を介して潜像重畳型視聴ＰＣ704に配信される。サーバ703も、重畳画像重畳装置同様、図２に示すPCを利用して構成することが可能である。
【０１１５】
配信時には、例えばweb等のインタフェースにて、潜像重畳クライアント装置としての潜像重畳型視聴ＰＣ704から視聴要求を、サーバ703に出すと、サーバ703は、カバー動画像102と、パラメータ103、重畳画像104を、潜像重畳型視聴ＰＣ704に配信する。ここで、さらにカバー動画像102、パラメータ103、重畳画像104のいずれか一つ以上を暗号化しておいても良い。この場合、潜像重畳型視聴ＰＣ704は、配信されたカバー動画像102、パラメータ103、重畳画像104を復号化してから潜像重畳装置101に入力する。なお、暗号に用いる鍵はユーザ登録時等を用いて潜像重畳型視聴ＰＣ704に送信しておいても良い。
【０１１６】
カメラ701は動画像あるいは静止画像のカメラである。カメラ701によって撮影された動画像あるいは静止画像は、カメラ701内部のメモリもしくはハードディスク、フラッシュメモリ、光メディア等に撮影画像702として保存される。本実施例では、撮影画像702は攻撃者がカメラ701を用いて表示装置に表示されたステゴ動画像111を撮影した画像とする。
【０１１７】
本実施例では、図8のような流れで潜像が現出する。
【０１１８】
図8は実施例２における潜像現出までの流れを示す図である。
【０１１９】
これは、実施例２において潜像として重畳した重畳画像が現出するまでの流れの概略を例示したフローチャートである。
【０１２０】
ステップ801は攻撃者が潜像重畳型視聴ＰＣ704内で作成されるステゴ動画像111を抜き出す処理である。
【０１２１】
ステップ802は攻撃者が攻撃者PC121を利用してトランスコードソフト122によってステゴ動画像111をトランスコード動画像123に変換する処理である。
【０１２２】
ステップ803はトランスコード動画像123を表示ソフト118で表示すると、潜像として重畳していた重畳画像104が現出する処理である。なお、ここで現出とは、重畳画像104がそのまま現出するわけではなく、ステゴ動画像111と比較すると、重畳画像104がより強調されて現出するという意味である。
【０１２３】
また、攻撃者がカメラ701を用いて表示装置に表示されたステゴ動画像111を撮影した場合でも、トランスコードが発生するため、撮影画像702において重畳画像104が現出する場合がある。
【０１２４】
実施例１では、放送システム１１２、通信システム１１３、メディアライタシステム１１４等を通じて視聴者に動画像を配信する前に、潜像重畳装置101でステゴ動画像111を作成する。このため、実施例１は同一のステゴ動画像を多数の視聴者に配信する場合に好適である。
【０１２５】
一方、実施例２では、通信システム113を通じて視聴者が利用する潜像重畳型視聴ＰＣ704にカバー動画像を配信した後に、潜像重畳装置101でステゴ動画像111を作成する。このため、実施例２は視聴者ごとに異なる重畳画像を重畳するといった場合に好適である。このとき、重畳画像としては、視聴者のＩＤや氏名等、視聴者を特定可能な文字列を用いることができる。この場合、あらかじめ視聴者はユーザ登録を行っておく。
【０１２６】
また、重畳画像として文字列を用いる場合、重畳画像をサーバ703から配信せずに、文字列をパラメータ103に含め、潜像重畳型視聴ＰＣ704で文字列を画像化して、重畳画像を作成しても良い。このようにすると通信量やサーバの処理量を削減できる。文字列の画像化は、一般のウィンドウシステムや、ウィンドウシステムと一体化した一般のOS（Operating System）が提供する機能を用いて実行可能である。
【実施例３】
【０１２７】
本実施例では、特に３次畳み込み内挿法による画像縮小方式に適合した潜像重畳システムについて説明する。
【０１２８】
図9は、実施例３における潜像重畳システムを示す図であり、実施例１同様の、潜像重畳サーバ装置において潜像を重畳し、視聴者が利用する複数のクライアント装置に動画像を提供する潜像重畳システムの例である。
【０１２９】
この図において、符号901は重畳画像重畳装置であり、符号902は本実施例における、潜像重畳サーバ装置に相当する潜像重畳装置である。
【０１３０】
重畳画像重畳装置901は潜像を生成し、カバー画像に重畳する装置である。
【０１３１】
本実施例における潜像重畳装置902は、実施例１の潜像重畳装置101と比較し、重畳画像を入力としない重畳画像重畳装置901の構成が異なる。
【０１３２】
重畳画像重畳装置901の処理について、図10を用いて説明する。
【０１３３】
図10は重畳画像重畳装置901の処理フローを示す図である。
【０１３４】
これは、実施の形態の重畳画像重畳装置の処理の概略を示すフローチャートである。
【０１３５】
ステップ1001はコントローラ105からパラメータ103を受取り、処理種別設定する処理である。パラメータ103としてはブロックの大きさ（ｘ、ｙ）と変更強度がある。
【０１３６】
ステップ1002はデコーダ107から静止画像データ列を受け取る処理である。なお、受けとりは、例えば重畳画像重畳装置901のネットワークインタフェース204を介して受け取り、受けとった静止画像データ列を重畳画像重畳装置901のハードディスク210に保存する。
【０１３７】
ステップ1003は静止画像データ列内の各静止画像を取り出す処理である。もし、まだ処理していない静止画像があれば、ステップ1004へ進む。各静止画像に対する処理の後、終了する
ステップ1004は加減算画像を作成する処理である。
【０１３８】
本実施例では、カバー静止画像に重畳される重畳画像としては、市松模様を用いる。加減算画像作成は、ステップ1001のｘ、ｙに従い、以下のように行う。まず、加減算画像として、重畳画像重畳装置901のメモリ203にカバー静止画像と同じ大きさの領域を作成する。次に、加減算画像の画素を位置（ｕ、ｖ）とすると、ｍｏｄ（ｉｎｔ（ｕ／ｘ）、２）とｍｏｄ（ｉｎｔ（ｖ／ｙ）、２）が等しければ、重畳画像の対応する位置の画素が１であるとして、この画素位置の加減算画像の値を変更強度とし、そうでなければ、重畳画像の対応する位置の画素が０であるとして、この画素位置の加減算画像の値を０とする。これにより、市松模様である重畳画像の明瞭化処理を行うことができる。
【０１３９】
ただし、ｍｏｄ（ｘ、ｙ）はｘをｙで割った際の余りを与える関数であり、ｉｎｔ（ｘ）はｘを超えない最大の整数を与える関数である。
【０１４０】
ステップ1005は加減算画像を重畳する処理である。静止画像の各画素の輝度値に対し、同じ位置にある加減算画像の値を加算する。輝度値への加算の方法は、前述したステップ505と同様の方法を用いることができる。
【０１４１】
以上の処理の原理について補足する。
【０１４２】
本実施例では３次畳み込み内挿法による縮小時に潜像が現出するようステゴ画像を作成しているが、そもそも３次畳み込み内挿法による内挿は、図11のように周囲１６点の画像データを用いて次の式で求める方法である。（参考文献：Robert G. Keys, “Cubic Convolution Interpolation for Digital Image Processing,” IEEE Trans. on Acoustics, Speech, and Signal Processing, Vol. Assp-29, No. 6, pp.1153-1160, December 1981.）
【０１４３】
【数１】
ここで、（ｘ、ｙ）＝（２、２）の場合について図12を用いて説明する。図12は３次畳み込み内挿法による1/2縮小時のサンプリング点配置を示す図である。図12の升目は、その一つ一つが縮小前の静止画像を表現しており、円は１／２縮小後の画像の画素を表現している。１／２縮小後は、画素数は縦横それぞれ１／２になる。円は４つの四角の升目の中心に位置している。
【０１４４】
もし、１／２の縮小が起こると仮定し、サンプリング点が図12のようになると仮定すると、３次畳み込み内挿法による縮小は、上記の式でu=k+0.5, v=l+0.5となることから計算すると、各サンプリング点の周囲で図12（ｂ）のような４×４のフィルタを元の画像に適用することと同じになる。
【０１４５】
フィルタ内の４ｘ４のフィルタ全体の数値を足すと６４であり、１／６４の係数によって全体では１となる。
【０１４６】
ここで、４ｘ４のフィルタの真ん中の４つの要素に注目する。これらは＋２５となっており、合計すると１００になる。すなわち６４を超えている。これは真ん中の４つの寄与が大きく、元画像よりも強調された値になることを示している。
【０１４７】
よって、図12(ａ)の升目に書かれているように、２ｘ２ごとにａとｂという値を繰り返すと、その縮小後のＡ、Ｂの値は、それぞれ近傍の４点の値が強調され、A=(104a-40b)/64、B=(104b-40a)/64となる。すなわち、Ａ−Ｂ＝１４４／６４×（ａ−ｂ）となり、元の画像の差が１４４／６４＝２．２５倍されることが分かる。
【０１４８】
本実施例は上記現象を利用しており、（ｘ、ｙ）＝（２、２）の場合、ステップ1004において、市松模様を重畳画像とすることにより、縮小前は目立たない差異が、縮小後に２．２５倍されて現出することになる。
【０１４９】
本実施例によるステゴ動画像および、潜像現出のイメージを図１５に示す。図１５において、（ａ）は潜像現出前のステゴ動画像、（ｂ）は潜像現出後のイメージ例１、（ｃ）は潜像現出後のイメージ例２である。（ｂ）のように、画像全体にわたって市松模様を現出させても良い。このようにすることで、画像の品質を下げることで、攻撃者の非許諾複製等をけん制することができる。
【０１５０】
また、（ｃ）のように、市松模様を一部現出させ、現出した市松模様で何らかの文字や模様を成すようにしてもよい。このようにすることで、より明確に「ＣＯＰＹ」等のメッセージを攻撃者に見せることが可能となる。これを行うためには、重畳画像重畳装置901は、ステップ1001において、どの画素で現出させ、どの画素で現出しないかを示す重畳画像をさらに受け取り、ステップ1004において、処理対象の画素位置に対応する重畳画像の値によって、現出させる画素かどうかの判定を行い、さらに現出させたくない部分であれば、加減算画像を、ステップ1004におけるu,vに関わらず、一定の値としておけばよい。
【０１５１】
より具体的には、例えば変更強度の1/2等にしておけばよい。これは不明瞭化処理に相当する。なお、現出させる画素であれば、すでに述べたステップ1004の処理を続行すればよい。
【０１５２】
なお、上記実施例１〜３においては、それぞれパラメータ103を固定としたが、動画像の時間方向もしくは空間方向において、複数の、パラメータの異なる加減算画像を重畳させてもよい。このようにしておくことで、たとえば１／２縮小、１／３縮小、２／３縮小等、さまざまな縮小比率に対して潜像を現出させることができる。
【０１５３】
例えば、実施例１もしくは2であればステップ501で与える縮小率を変化させたり、ステップ603で用いる縮小率を、複数の値から順番に用いる等の方法で実現できる。また、例えば実施例３であれば、ステップ1001で与えるxとyを変化させたり、ステップ1004で用いるxとyを複数の値から順番に用いる等の方法で実現できる。
【０１５４】
なお、縮小比率として典型的なものは、横１９２０画素×縦１０８０画素を、以下の画素に縮小する以下の縮小比率である；横２５６画素×縦１４４画素（７．５分の１縮小）、横５１２画素×縦２８８画素（３．７５分の１縮小）、横７６８画素×縦４３２画素（２．５分の１縮小）、横１０２４画素×縦５７６画素（１．８７５分の１縮小）、横１２８０画素×縦７２０画素（１．５分の１縮小）、横１５３６画素×縦８６４画素（１．２５分の１縮小）。なお、縮小比率として縦横で異なる縮小比率を用いても良く、例えば横１９２０画素×縦１０８０画素を、６４０画素×４８０画素等に縮小してもよい。
【０１５５】
また、上記実施例のうち実施例１と実施例３を混在させてもよい。こうすることで、３次畳み込み内挿法による縮小で潜像が現出する個所、他の縮小方式で潜像が現出する個所等、混在させることができる。
【０１５６】
なお、上記した実施例に限定されない、様々な変形例も可能である。例えば、上記した実施例で説明した全ての構成を備えるものに限定されない。また、ある実施例の構成の一部を他の実施例の構成に置き換えることが可能であり、また、ある実施例の構成に他の実施例の構成を加えることも可能である。また、各実施例の構成の一部について、他の構成の追加・削除・置換をすることが可能である。
【０１５７】
また、上記の各構成、機能、処理部等は、それらの一部又は全部を、例えば集積回路で設計する等によりハードウェアで実現してもよい。また、上記の各構成、機能等は、プロセッサがそれぞれの機能を実現するプログラムを解釈し、実行することによりソフトウェアで実現してもよい。各機能を実現するプログラム、テーブル、ファイル等の情報は、メモリや、ハードディスク、ＳＳＤ（Solid State Drive）等の記録装置、または、ＩＣカード、ＳＤカード、ＤＶＤ等の記録媒体に置くことができる。
【０１５８】
また、制御線や情報線は説明上必要と考えられるものを示しており、製品上必ずしも全ての制御線や情報線を示しているとは限らない。実際には殆ど全ての構成が相互に接続されていると考えてもよい。
【符号の説明】
【０１５９】
101…潜像重畳装置
102…カバー動画像
103…パラメータ
104…重畳画像
105…コントローラ
106…デマルチプレクサ
107…デコーダ
108…重畳画像重畳装置
109…エンコーダ
110…マルチプレクサ
111…ステゴ動画像
112…放送システム
113…通信システム
114…メディアライタシステム
115…テレビ
116…表示部
117…視聴者PC
118…表示ソフト
119…プレイヤ
120…表示部
121…攻撃者PC
122…トランスコードソフト
123…トランスコード動画像
201…PC
202…ＣＰＵ
203…メモリ
204…ネットワークインタフェース
205…キーボード
206…時計
207…スピーカ
208…ディスプレイ
209…動画カメラ
210…ハードディスク
211…インターフェース
701…カメラ
702…撮影画像
703…サーバ
704…潜像重畳型視聴PC
901…重畳画像重畳装置
902…潜像重畳装置
【技術分野】
【０００１】
本発明は、潜像重畳方法、および、潜像重畳装置、潜像重畳システムに関する。
【背景技術】
【０００２】
紙文書の不正な複写による著作権侵害や、複写技術の進歩により可能となった精巧な複写物を用いた不正行為（攻撃という）が問題になっている。
【０００３】
これらの攻撃に対抗するための技術として、紙文書の複写をけん制する文字等を印刷する技術がある。これは、当該紙文書を複写すると、例えば「複写」等の文字が複写文書では浮かび上がり、複写物であることを明示するもので、例えば自治体が発行する証明書等に用いられている。
【０００４】
この技術を開示している文献として、例えば米国特許第７３５９０８７号明細書（特許文献１）がある。この文献には、「印刷装置６によって帳票を印刷する帳票出力装置１において、ＣＰＵ２は、カラー複写機により読み取り可能な最小のドットサイズより大きい大ドットで構成される残存柄画像と、カラー複写機により読み取り可能な最小のドットサイズより小さい小ドットと上記大ドットとで構成される消失柄画像とを組み合わせて複写牽制画像を生成し、帳票の印刷データとともに印刷装置６によって用紙上にカラー印刷させる印刷制御装置」が記載されている（Abstract参照）。
【０００５】
また、紙文書ではなく、動画像のコピーをけん制するための技術も提案されている。例えば、米国特許出願公開第２００６／０１８８０１２号明細書（特許文献２）には、「コピー前のデータによる出力の質を落とさず、良好な質を維持したままでのコピーを不可能とする装置に関わる。アナログ画像データＶａｎから同期信号ＶＤ，ＨＤを分離する。同期信号ＶＤ，ＨＤを遅延させてクロック発生回路１１３３に供給し、それに基づいて有効画面の範囲でサンプリングクロックＣＬＫを発生する。このクロックＣＬＫは、垂直、水平に位相がずれたものとなり、従ってＡ／Ｄ変換器１１３４で得られる画像データＶｄｇ１の位相もずれる。符号化部１１３５は、サンプリングによる符号化、変換符号化等を行う。画像データＶｄｇ１の位相がずれることで、サンプリング位置、ブロック位置が、画像データＶａｎ１に係る原符号化データを得たときの位置とはずれ、符号化部１１３５で大きな劣化が発生する」と記載されている（Abstract参照）。
【先行技術文献】
【特許文献】
【０００６】
【特許文献１】米国特許第７３５９０８７号明細書
【特許文献２】米国特許出願公開第２００６／０１８８０１２号明細書
【発明の概要】
【発明が解決しようとする課題】
【０００７】
前記特許文献１には、複写牽制画像の印刷制御装置が記載されている。しかし、特許文献１に開示されているのは、複写機により読み取り可能なドットサイズに依存した技術であり、印刷物の複写牽制に限定されている。よってＰＣ等で扱う静止画像データや動画像データの複写牽制には適用できない。
【０００８】
また、前記特許文献２には、コピー前の画像データの質を維持したままでのコピーを出来なくする技術が記載されている。しかし、そのためには、コピーが必ず特許文献２に記載されている画像表示システムで行われる必要があり、前記画像表示システムが広く一般に利用されないと、コピーを困難にできないという課題があった。
【課題を解決するための手段】
【０００９】
本明細書では、一般に利用されているソフトウェアを使いつつ、ＰＣ等で扱う画像データに適用できる複写牽制技術が開示される。
【００１０】
より具体的には、画像データの変換ソフトウェアで画像データを変換しようとすると、潜像が強調されて変換され前記変換行為を牽制できるように、画像に潜像を重畳する潜像重畳方法や、当該方法を実現する装置またはシステムが開示される。
【００１１】
ここで、画像データというのは例えば静止画像データや動画像データであり、変換ソフトウェアとは例えば静止画像や動画像の大きさ（縦横の画素数）を小さくするソフトウェアや、静止画像データや動画像データの圧縮形式を他の圧縮形式に変換するソフトウェアである。
【００１２】
本明細書では上記課題を解決する技術として、たとえば、
カバー静止画像に重畳画像を重畳したステゴ静止画像またはステゴ静止画像を含むステゴ動画像を作成する潜像重畳システムにおける潜像重畳方法が開示される。
【００１３】
当該潜像重畳方法は、具体的には、
ステゴ静止画像を縮小処理した場合に，縮小処理前のステゴ静止画像の画素のうち、縮小後のステゴ静止画像の画素値に影響を与える画素の位置を求めるステップと，
カバー静止画像に重畳される重畳画像の画素のうち，求めた影響を与える位置に対応する画素の画素値に対して，予め定めたパラメータに従い、縮小処理後の重畳画像が明瞭になるように，明瞭化処理を行うステップと，
明瞭化処理後の画素値を用いた加減算画像を求めるステップと，
加減算画像をカバー静止画像に重畳し，ステゴ静止画像を作成するステップと、を備えることを特徴とする。
【００１４】
上記潜像重畳方法は、さらに、パラメータとして，影響を与える画素の画素位置毎の，変更強度を準備するステップを備え，
明瞭化処理を行うステップは、画素位置にある，重畳画像の画素値と変更強度との演算を行うステップを備えてもよい。
【００１５】
上記潜像重畳方法は、さらに、影響を与える画素以外の画素の画素値に対して，縮小処理前の重畳画像が不明瞭になるように，不明瞭化処理を行うステップを備え，
加減算画像を求めるステップは、明瞭化処理後の画素と不明瞭化処理後の画素を用いて，加減算画像を求めるステップを備えてもよい。
【００１６】
また、不明瞭化処理を行うステップは、影響を与える画素以外の画素について，０または乱数との演算を行うステップを備えてもよい。
【００１７】
上記潜像重畳方法の明瞭化処理を行うステップは，縮小後のステゴ静止画像の互いに隣り合う画素の画素値の差が，予め定められたパラメータに従う３次畳み込み内挿法の対象となる画素の画素値の差より大きくなるよう，重畳画像の画素のうち、３次畳み込み内挿法の対象となる画素の画素値を選択するステップを備えてもよい。
【００１８】
上記潜像重畳方法の不明瞭化処理を行うステップは，互いに隣り合う画素の画素値の差が，３次畳み込み内挿法による縮小の結果、元の画素値の差よりも大きくならないよう，重畳画像の画素値を選択するステップを備えてもよい。
【００１９】
また、上記方法を実行する潜像重畳サーバ装置を有する潜像重畳システムも開示される。
【００２０】
具体的には、
カバー静止画像と、パラメータと、重畳画像と、を入力として受け付け、
上記潜像重畳方法を実行し、複数のクライアント装置に提供可能なステゴ静止画像またはステゴ静止画像を含むステゴ動画像を作成する潜像重畳サーバ装置が開示される。
【００２１】
また、上記方法を実行する、潜像重畳サーバ装置と潜像重畳クライアント装置とを有する潜像重畳システムも開示される。
【００２２】
具体的には、
潜像重畳サーバ装置は、カバー画像と、パラメータと、重畳画像と、を潜像重畳クライアント装置に提供し、
潜像重畳クライアント装置は、潜像重畳サーバ装置から提供されたカバー静止画像と、パラメータと、重畳画像と、を用いて、上記潜像重畳方法を実行し、ステゴ静止画像またはステゴ静止画像を含むステゴ動画像を作成する潜像重畳システムが開示される。
【００２３】
また、上記方法を実行する、潜像重畳サーバ装置と潜像重畳クライアント装置とを有する、他の潜像重畳システムも開示される。
【００２４】
具体的には、
潜像重畳サーバ装置は、カバー静止画像と、パラメータと、を潜像重畳クライアント装置に提供し、
パラメータはさらに重畳画像として用いる文字列を含み、
潜像重畳クライアント装置は、
潜像重畳サーバ装置から提供された文字列から重畳画像を作成し、
潜像重畳サーバ装置から提供されたカバー静止画像と、パラメータと、重畳画像と、を用いて、上記潜像重畳方法を実行し、ステゴ静止画像またはステゴ静止画像を含むステゴ動画像を作成する潜像重畳システムが開示される。
【００２５】
また、上記方法を実行する、潜像重畳サーバ装置と潜像重畳クライアント装置とを有する、更に他の潜像重畳システムも開示される。
【００２６】
具体的には、
潜像重畳サーバ装置は、カバー静止画像と、パラメータと、を潜像重畳クライアント装置に提供し、
潜像重畳クライアント装置は、
重畳画像を格納する記憶装置を備え、
潜像重畳サーバ装置から提供されたカバー静止画像と、パラメータと、記憶装置に格納された重畳画像と、を用いて、上記潜像重畳方法を実行し、ステゴ静止画像またはステゴ静止画像を含むステゴ動画像を作成する潜像重畳システムが開示される。
【００２７】
一般に、攻撃者がインターネット上の動画像投稿サイト等を通じて画像データを不正に流通させるような場合、画像データの大きさを小さくするようなデータ変換が行われる。本明細書が開示する潜像重畳方法または潜像重畳装置、潜像重畳システムは、そのようなデータ変換を牽制できるから、前記のような画像データの不正流通を牽制する効果も持つ。
【００２８】
上記した以外の課題、構成及び効果は、以下の実施形態の説明により明らかにされる。
【発明の効果】
【００２９】
一般に利用されている、画像データの変換ソフトウェアを用いた場合であっても、潜像が強調されるように変換される、画像への潜像重畳方法または潜像重畳装置、潜像重畳システムの提供が可能になる。
【図面の簡単な説明】
【００３０】
【図１】実施形態のシステム構成を例示する図である
【図２】一般的なPCの内部構成の一例を示す図である
【図３】実施の形態の潜像重畳装置の処理の概略を例示するフローチャートである
【図４】潜像として重畳した重畳画像が現出するまでの流れの概略を例示するフローチャートである
【図５】実施の形態の重畳画像重畳装置の処理の概略を例示するフローチャートである
【図６】実施の形態の重畳画像重畳装置における加減算画像作成処理のフローを例示する図である
【図７】第２の実施の形態のシステム構成の一例を示す図である
【図８】実施例２において潜像として重畳した重畳画像が現出するまでの流れの概略を例示するフローチャートである
【図９】実施例3における潜像重畳装置の概要を例示する図である
【図１０】実施の形態の重畳画像重畳装置の処理の概略を例示するフローチャートである
【図１１】３次畳み込み内挿法による内挿の説明図である
【図１２】３次畳み込み内挿法による1/2縮小時のサンプリング点配置について例示する図である
【図１３】潜像が現出するイメージを例示する説明図である
【図１４】潜像の強度を与える画像のイメージを例示する説明図である
【図１５】市松模様の潜像が現出するイメージを例示する説明図である
【発明を実施するための形態】
【００３１】
以下、実施例について図面を用いて説明する。
【００３２】
まず用語についていくつか定義する。
【００３３】
カバー静止画像またはカバー動画像とは、潜像を重畳する相手となる静止画像または動画像のことを言う。総称してカバー画像ということがある。
【００３４】
ステゴ静止画像またはステゴ動画像とは、潜像を重畳された後の静止画像または動画像のことを言う。大きさはカバー画像と同じである。総称してステゴ画像ということがある。
【００３５】
潜像とは、変換前のステゴ画像では明瞭ではないが、一般に利用されている画像データの変換ソフトウェアでステゴ画像データを変換すると、強調され、より見えやすくなる画像のことを言う。潜像の大きさは、カバー画像やステゴ画像以下となる。
【００３６】
重畳画像とは、潜像の元となる画像のことを言う。以下説明する変換処理によって重畳画像から加減算画像を作成し、加減算画像をカバー画像に重畳することにより、重畳画像が潜像となる。すなわち、ステゴ静止画像またはステゴ動画像は、重畳画像が、潜像として重畳されたものである。
【実施例１】
【００３７】
本実施例では、潜像重畳サーバ装置において潜像を重畳し、視聴者が利用する複数のクライアント装置に動画像を提供する潜像重畳システムの例を説明する。
【００３８】
図1は、本実施例のシステム構成図である。
【００３９】
潜像重畳サーバ装置に相当する潜像重畳装置101は、カバー動画像102とパラメータ103と重畳画像104を入力として受け取り、カバー動画像102に重畳画像104を潜像として重畳した結果を、ステゴ動画像111として出力する装置であり、コントローラ105、デマルチプレクサ106、デコーダ107、潜像重畳部108、エンコーダ109、マルチプレクサ110を含む処理部で構成されている。
【００４０】
カバー動画像102は潜像の重畳先となる動画像であり、音声や字幕等の付加情報を含んでいてもよい。パラメータ103は潜像重畳装置101の処理を規定するデータであり、あらかじめ人手で用意しておくか、あるいは潜像重畳装置101の設置時に重畳画像重畳装置108に内蔵されているハードディスク等の記憶装置210（説明後述）に保管しておいてもよい。
【００４１】
コントローラ105は潜像重畳装置101をコントロールする処理部であり、特に図示してはいないが潜像重畳装置101を構成する各処理部と接続されている。デマルチプレクサ106は動画像、音声、字幕情報等が混在しているデータから個々のメディアを取り出す処理部であり、デコーダ107、マルチプレクサ110と接続されている。デマルチプレクサ106は動画像データをデコーダ107に送り、それ以外のデータはマルチプレクサ110に送る。デコーダ107は動画像データをデコードし、静止画像データ列を作成する装置であり、重畳画像重畳装置108、デマルチプレクサ106と接続されている。
【００４２】
重畳画像重畳装置108はカバー画像に重畳画像を潜像として重畳する装置であり、エンコーダ109、デコーダ107と接続されている。エンコーダ109は静止画像データ列から動画像データを作成する装置であり、重畳画像重畳装置108、マルチプレクサ110と接続されている。マルチプレクサ110は動画像、音声、字幕情報等の個々のメディアから、これらメディアが混在しているデータを作成する装置であり、エンコーダ109、デマルチプレクサ106と接続されている。マルチプレクサ110は動画像データをエンコーダ109から受け取り、また動画像以外のデータをデマルチプレクサ106から受け取り、これらメディアが混在しているステゴ動画像111を作成する。ステゴ動画像111は現出前の潜像が重畳された動画像である。
【００４３】
ステゴ動画像111は、放送システム112、通信システム113、メディアライタシステム114のどれかの経路を通って、視聴者が利用するクライアント装置に提供される。
【００４４】
放送システム112はテレビ放送等におけるテレビカメラ等、テレビ局内撮影装置から、送出装置、無線あるいは有線を経て、視聴者宅のアンテナ等、受信装置までを含む放送システム全体を指しており、クライアント装置としてのテレビ115と接続されている。通信システム113はステゴ動画像視聴装置たるＰＣ等の要求に応じ、動画像の送出元からインターネット等を経由して視聴者のＰＣ等に動画像をダウンロードさせる、あるいはストリーミング視聴を可能とさせるための通信システムを指しており、クライアント装置としての視聴者PC117と接続されている。メディアライタシステム114は動画像データをＤＶＤやＢＤ等の蓄積型メディアに書き込む装置およびその配布システム（物流・小売等）を指している。
【００４５】
テレビ115は視聴者が利用するテレビである。テレビ115には、液晶画面等、動画像データを表示するための部分である表示部116を内在しており、表示部116に送る前にステゴ動画像111の一部あるいは全部が内部的に再現される。視聴者PC117は視聴者が利用するＰＣであり、表示ソフト118によって視聴者PC117を視聴機器として動作させることができる。なお、PCの内部構成に関しては後述する。
【００４６】
表示ソフト118はＰＣにおいてダウンロードあるいはストリーミング配信されている動画像を、表示装置124等に表示するためのソフトウェアである。
【００４７】
プレイヤ119は、視聴者が蓄積型メディアを視聴するために利用するクライアント装置としてのプレイヤであり、表示部120を内在している。表示部120はプレイヤにおいて液晶ディスプレイや出力ポート等、動画像データを人間の視覚に適合するよう変換する装置である。
【００４８】
攻撃者PC121は、攻撃者が利用するＰＣであり、トランスコードソフト122によってトランスコード機器として動作したり、表示ソフト118によって視聴機器として動作したりする。トランスコードソフト122は動画像のデータ形式を変換するためのソフトウェアであり、攻撃者PC121はトランスコードソフト122によって、ステゴ動画像111を、攻撃者によってトランスコードを受けた動画像であるトランスコード動画像123に、変換することができる。
【００４９】
また、攻撃者はカメラ701を用いて表示部116、表示装置124、表示部120のいずれか一つ以上の装置に表示された動画像を撮影しても良い。この場合、攻撃者は、撮影によって、ステゴ動画像111を撮影画像702に変換することになる。
【００５０】
以上、本実施例のシステム構成について説明した。本システム構成は一例であり、実際には、潜像重畳装置101、視聴者PC、攻撃者PCを含む各装置はPCとソフトウェアを用いて実現することができる。また、実際には各装置は必ずしも装置として分離している必要はなく、必要に応じてPC上に複数のソフトウェアをインストールし、適宜切り替えて、あるいは並行して動作させることで、図1の複数の装置を一つのPCで実現することも可能である。
【００５１】
上述したPCの内部構成の一例を、図2を用いて説明する。
【００５２】
図2において、符号201はPC、符号202はＣＰＵ、符号203はメモリ、符号204はネットワークインタフェース、符号205はキーボード、符号206は時計、符号207はスピーカ、符号208はディスプレイ、符号209は動画カメラ、符号210はハードディスク、符号211はインターフェースである。
【００５３】
PC201は一般的なPCであり、ＣＰＵ202、メモリ203、ネットワークインタフェース204、キーボード205、時計206、スピーカ207、ディスプレイ208、動画カメラ209、ハードディスク210、インターフェース211を含んで構成されている。
【００５４】
ＣＰＵ202は中央処理装置(Central Processing Unit)であり、メモリ203に記録されているプログラム、またはハードディスク210からメモリ203に読み出されたプログラムを実行する。CPU202がプログラムを実行することにより、以下説明する各装置による各実施例の様々な処理が実現される。
【００５５】
なお、プログラムは、必要に応じて、PCが利用可能であり、着脱可能な記憶媒体によって導入されてもよい。この場合、前記記憶媒体を読み取るための装置をインターフェース211に接続する。なお、このような前記記憶媒体及びそれを読み取るための装置としては、光ディスクを用いるものが一般に知られており、これを用いることができる。また、プログラムは、必要に応じて、ネットワークインタフェース204によって、通信媒体（通信回線又は通信回線上の搬送波）を介して、PCに導入されてもよい。ＣＰＵ202は、メモリ203およびインターフェース211と接続されている。
【００５６】
メモリ203はＣＰＵ202に実行されるプログラム及びデータを一時的に記録しておくための装置である。ネットワークインタフェース204は他のPC等、PC外にある装置と通信するための装置である。キーボード205はPCへの指令やデータ入力を行うために、PCの操作者が操作する装置である。時計206はＣＰＵ202が現在のおよその時間を知るための装置である。スピーカ207は信号を音として再生する装置である。ディスプレイ208は処理結果等を表示するための装置である。動画カメラ209は動画像を信号としてPC内部に入力する装置である。
【００５７】
ハードディスク210はプログラム及びデータを格納する装置であり、例えば、不揮発性メモリや磁気ディスク等によって構成することができる。この場合、ハードディスク210に格納されたプログラム及びデータは、電源がＯＦＦとなった後にＯＮになった場合でも、通常保持される。なお、ハードディスク210には、予めオペレーティングシステムが導入されていても良い。このようにすることで、ファイル名を用いてプログラムを指定することなどができるようになる。ここで、オペレーティングシステムとは、計算機の基本ソフトウェアのことであり、一般に広く知られたオペレーティングシステムを用いることができる。インターフェース211はPC内の装置を接続するためのものであり、ＣＰＵ202と接続されている。
【００５８】
次に、潜像重畳装置101の処理フローについて、図3を用いて説明する。
【００５９】
図3は潜像重畳装置の処理フローを示す図である。
【００６０】
これは、実施の形態の潜像重畳装置101の処理の概略を示すフローチャートである。
【００６１】
ステップ301は、カバー動画像102と重畳画像104を入力として受取る処理である。この入力は、例えば潜像重畳装置101が図2の構成のPCで構成されている場合、ネットワークインタフェース204を通じてハードディスク210にカバー動画像102と重畳画像104を記録することによって実行できる。あるいは、前述したように、光ディスク等の着脱可能な記憶媒体にカバー動画像102や重畳画像104が記録されている場合、前記記憶媒体を読み取るための装置をインターフェース211に接続して読み取り、必要に応じてハードディスク210に記録することによっても実行できる。
【００６２】
ステップ302は、デマルチプレクサ106が、カバー動画像102から動画像と音声・字幕情報等、動画像以外とを分離する処理である。カバー動画像102は例えばMPEG-2 PS等のマルチメディアコンテナフォーマットに従っており、それから動画像を分離する。
【００６３】
ステップ303は、デコーダ107が、分離された動画像を入力として受け取り、静止画像データ列にデコードする処理である。動画像は例えばMPEG-2等のフォーマットに従っており、例えばデコーダ107のネットワークインタフェース204を通じて受け取り、デコーダ107のハードディスク210に記録する。これをデコードし、単数もしくは複数の静止画像のデータ列に変換する。
【００６４】
ステップ304は、重畳画像重畳装置108が、デコードされた静止画像データ列に、重畳画像104を重畳する処理である。本処理の詳細は後述する。
【００６５】
ステップ305は、エンコーダ109が、重畳画像重畳装置108の出力を動画像にエンコードする処理である。重畳画像重畳装置108の出力は、例えば単数もしくは複数の静止画像のデータ列になっており、エンコーダ109は、これを例えばエンコーダ109のネットワークインタフェース204を通じて受け取り、エンコーダ109のハードディスク210に記録する。エンコーダ109は、受け取った静止画像のデータ列を、例えばMPEG-2等の動画像にエンコードする。
【００６６】
ステップ306は、マルチプレクサ110が、デマルチプレクサ106で分離された動画像以外と、エンコーダ109でエンコードされた動画像と、を多重化し、ステゴ動画像111を作成し、潜像重畳装置101の出力として出力する処理である。
【００６７】
マルチプレクサ110は、例えばマルチプレクサ110のネットワークインタフェース204を通じて動画像以外を受け取り、また、マルチプレクサ110は、例えばマルチプレクサ110のネットワークインタフェース204を通じてエンコードされた動画像を受け取り、それぞれマルチプレクサ110のハードディスク210に記録する。次に、これらを多重化し、例えばMPEG2-TS等のフォーマットに変換し、出力する。出力は、マルチプレクサ110のハードディスク210に記録してもよいし、要求に応じて、マルチプレクサ110のネットワークインタフェース204を介して他の装置に送出するようにしてもよい。
【００６８】
以上で、潜像重畳装置101の処理の説明を終わるが、例えば１秒ごと、あるいは１０秒ごと等、あるいはGOP（Group Of Pictures）単位等、ある塊ごとに以上の処理を行い、それを繰り返しても良い。こうすることによって、潜像重畳装置101の応答時間を減少させることができる。具体的には、例えば１秒ごとの塊ごとに処理を行う場合、現在容易に利用可能なPCを用いる場合、潜像重畳装置101の処理はそれほど大きな負担ではないため、応答時間は１秒程度を達成できる。動画像では、例えば２時間の映画等、長時間にわたるコンテンツが存在するため、このような工夫を用いることで、応答時間を２時間程度から、例えば１秒程度（１秒ごとに塊を区切った場合）に改善可能である。
【００６９】
次に、本実施例において重畳した潜像が現出するまでの流れについて、図4を用いて説明する。
【００７０】
図4は潜像現出までの流れを示す図である。
【００７１】
これは、潜像重畳装置101で潜像として重畳した重畳画像が現出するまでの流れの概略を例示したフローチャートである。
【００７２】
ステップ401は攻撃者がステゴ動画像111を放送システム112、通信システム113、メディアライタシステム114等を経由して入手する処理である。
【００７３】
ステップ402で、入手経路によって処理が分かれる。もし入手経路が放送システム112であれば、ステップ403へ進む。もし入手経路が通信システム113であれば、ステップ404へ進む。もし入手経路がメディアライタシステム114であれば、ステップ405へ進む。
【００７４】
ステップ403は、攻撃者が、テレビ115内に作成されるステゴ動画像111を抜き出す処理である。この後、ステップ406に進む。
【００７５】
ステップ404は、攻撃者が、視聴者ＰＣ内に作成されるステゴ動画像111を抜き出す処理である。この後、ステップ406に進む。
【００７６】
ステップ405は、攻撃者が、ＤＶＤ等のメディアからプレイヤ119内に作成されるステゴ動画像111を抜き出す、もしくは視聴者ＰＣを利用してステゴ動画像111を抜き出す処理である。
【００７７】
ステップ406は、攻撃者が、攻撃者PC121を利用してトランスコードソフト122によってステゴ動画像111をトランスコード動画像123に変換する処理である。
【００７８】
また、攻撃者は取得したステゴ動画像111をテレビ115、プレイヤ119、視聴者PC等を用いて表示した結果を、カメラ701を用いて撮影してもよい。撮影とは、表示結果を、表示の際に用いた解像度と同じもしくは異なる解像度で記録することであるから、攻撃者は、撮影により、ステップ402〜ステップ406と同等の処理を行ったことになる。
【００７９】
ここで、変換処理としては、例えば縮小処理が考えられる。
【００８０】
ステップ407で、攻撃者が、トランスコード動画像123を表示ソフト118で表示すると、重畳画像104が現出する。図１３がその例示図であり、図１３（ａ）が現出前のステゴ静止画像、図１３（ｂ）が重畳画像104が潜像として現出した後の静止画像である。この例では、「禁コピー」といった文字を重畳画像104として重畳している。なお、ここで現出とは、重畳画像104がそのまま現れるという意味ではなく、ステゴ画像と比較すると重畳画像104がより強調されて見えるという意味である。
【００８１】
このように、重畳画像104として、あらかじめ「コピー禁止」「インターネットへの送信禁止」等の警告画像を作成し、潜像として重畳しておくことによって、トランスコードを行った攻撃者に対し、警告を発することができる。なお、重畳画像104の現出に関する原理については後述する。
【００８２】
以上で、潜像重畳装置101で潜像として重畳した重畳画像が現出するまでの流れに関する説明を終わる。
【００８３】
次に、ステップ304の、重畳画像重畳装置108が、デコードされた静止画像データ列に、重畳画像104を潜像として重畳する処理に関し、図5を用いて説明する。
【００８４】
図5は重畳画像重畳装置の処理フローを示す図である。
【００８５】
これは、実施の形態の重畳画像重畳装置108の処理の概略を示すフローチャートである。
【００８６】
ステップ501は、重畳画像重畳装置108が、コントローラ105からパラメータ103を受取り、処理種別設定する処理である。受け取る具体的な方法は、例えば重畳画像重畳装置108のネットワークインタフェース204を通じて受け取り、重畳画像重畳装置108のハードディスク210に記録するといった方法がある。受け取るパラメータ103としては、縮小率、以下に述べる変更強度がある。
【００８７】
ステップ502は、重畳画像重畳装置108が、コントローラ105から重畳画像104を受け取る処理である。受け取る具体的な方法は、例えば重畳画像重畳装置108のネットワークインタフェース204を通じて受け取り、重畳画像重畳装置108のハードディスク210に記録するといった方法がある。
【００８８】
ステップ503は、重畳画像重畳装置108が、デコーダ107からカバー静止画像データ列を受け取る処理である。受け取る具体的な方法は、例えば重畳画像重畳装置108のネットワークインタフェース204を通じて受け取り、重畳画像重畳装置108のハードディスク210に記録するといった方法がある。以下、ステップ504とステップ505を、静止画像データ列に含まれる複数のカバー静止画像の数、繰り返す。
【００８９】
ステップ504は、重畳画像重畳装置108が、加減算画像を作成する処理である。なお、加減算画像は、カバー静止画像と加算すると重畳画像104が潜像として重畳され、ステゴ静止画像となるように調整された画像のことである。本処理の詳細は後述する。
【００９０】
ステップ505は、重畳画像重畳装置108が、加減算画像を重畳する処理である。加減算画像の重畳は、カバー静止画像の輝度成分に対し加減算画像を加算する方法で行う。ここで加算とは、カバー静止画像の各画素の輝度成分に対し、対応する加減算画像の各画素の値（正もしくはゼロもしくは負）を加算することであり、加減算画像がカバー静止画像と比較して小さい場合、カバー静止画像内に加減算画像を繰り返ししきつめて加算することによって、実行する。なお、加算した結果、各画素において許される最大値を超える、もしくは許される最小値を下回る場合、加算後の画素の輝度値は許される最大値、もしくは許される最小値とする。なお、典型的には許される最大値は２５５であり、許される最小値は０である。
【００９１】
なお、カバー静止画像がRGB各０から２５５の整数で表現されるような別の典型的な場合、まず、
Y = 0.29891 × R + 0.58661 × G + 0.11448 × B
Cb = -0.16874 × R - 0.33126 × G + 0.50000 × B
Cr = 0.50000 × R - 0.41869 × G - 0.08131 × B
のようにして、RGBの数値をY, Cb, Crの実数に変換し、その後、輝度を表現するYに対して加減算画像を加算し、その後
R = Y + 1.40200 × Cr
G = Y - 0.34414 × Cb - 0.71414 × Cr
B = Y + 1.77200 × Cb
のようにして、YCbCrの数値をRGBの実数に変換し、最後にそれを各０から２５５の整数で表現されるように変換しても良い。ここで、実数を０から２５５の整数に変換する際には、例えば各数値の小数第1位を四捨五入することで整数に変換した後、０より小さな数値は０とし、２５５より大きな数値は２５５として変換しても良い。
【００９２】
この処理の後、もしまだ静止画像データ列に含まれる複数のカバー静止画像で、未処理の画像がある場合、ステップ504に戻る。全てのカバー静止画像の処理が終わった場合、処理を終了する。
【００９３】
次に、ステップ504の重畳画像重畳装置108による加減算画像作成処理の詳細について、図6を用いて説明する。
【００９４】
図6は重畳画像重畳装置における加減算画像作成処理フローを示す図である。
【００９５】
これは、実施の形態の重畳画像重畳装置108における加減算画像作成処理のフローを示す図である。
【００９６】
ステップ601は、重畳画像重畳装置108が重畳画像重畳装置108内のメモリ203に、作業用のメモリ領域として加減算画像を作成する処理である。加減算画像は、重畳画像104と同じ大きさの画像であり、典型的には各画素の値は−１２８から＋１２７までの２５６階調の値を取る。なお、例えば実数を取るようにしてもよい。
【００９７】
ステップ602は、重畳画像重畳装置108が、加減算画像内の各画素を取り出す処理である。まだ処理されていない画素があれば、ステップ603へ進む。各画素に対し処理がなされた後、終了する
ステップ603は、処理対象の画素の位置が残存領域内かどうか、重畳画像重畳装置108が調べる処理である。ここで、残存領域とは、ステップ501で与えられた縮小率で縮小したときに、縮小後の画像の画素値に影響を与える画素で構成される領域のことである。
【００９８】
例えば、縮小処理として最近傍補間法を用いる場合、縮小後の画像には影響を与えない画素が、縮小前の画像に存在する。これは、最近傍補間法では、縮小後の画像は、縮小前の画像のいずれか一つの画素の値が採用される一方、そもそも縮小後の画像では縮小前の画像と比較して画素の数が減少しているためである。よって、直感的には画素を間引くような操作が行われる。
【００９９】
残存領域かどうかは、処理対象（縮小前の画像）の画素の位置を（ｘ、ｙ）、縮小率をａ（＜１．０）、整数定数をｃ１およびｃ２、ｘを超えない最大の整数を与える関数をｉｎｔ（ｘ）としたとき、以下のように判定できる。
【０１００】
ｉｎｔ（（２ｕ＋１）／２ａ）＋ｃ１＝ｘかつｉｎｔ（（２ｖ＋１）／２ａ）＋ｃ２＝ｙとなる整数（ｕ、ｖ）が存在し、かつ（ｕ、ｖ）が縮小後の画像に含まれる画素位置であれば、残存領域
なお、上記でｃ１、ｃ２は例えば０から１５程度の値を取り、同じ値でも違う値でもよい。これは、パラメータ103に含まれる、残存領域が平行移動する場合に備えたパラメータであり、一例として、動画像の時間方向もしくは空間方向で０から１５まで１つずつ変化させる、もしくはランダムに一つ選択する等の変化をつけることもできる。このようにすることで、残存領域が平行移動しても、潜像が現出する部分を作成することが可能となる。なお、ｃ１やｃ２がより大きな値や、小さな値、例えば１００、あるいは−１５、−１００といった数をとっても良い。
【０１０１】
もし処理対象の画素位置が残存領域内であれば、ステップ604へ進む。もし処理対象の画素位置が残存領域内でなければ、ステップ605へ進む。
【０１０２】
ステップ604は、重畳画像重畳装置108が、処理対象の画素に重畳画像対応画素値×変更強度を代入する処理である。これは明瞭化処理と呼ぶ処理であり、潜像が現出するよう、ステゴ画像に重畳画像の影響が出るようにしている。
【０１０３】
ここで、変更強度とは、重畳画像をどのくらい強くステゴ画像に影響させるかを決定する値である。変更強度の絶対値が大きい場合、重畳画像がステゴ画像に与える影響が大きくなり、潜像が現出した際、より潜像がはっきり見えるようになる。また、変更強度の絶対値が小さい場合、重畳画像がステゴ画像に与える影響が小さくなり、潜像が現出するような縮小等を行う前のステゴ画像において、潜像がより目立たなくなる。
【０１０４】
なお、変更強度はパラメータ103に含まれる一つの数値を与えるほか、例えば図１４のように、複数の変更強度を重畳画像104と同じ大きさの画像のように配置して、パラメータ103として与えてもよい。ただし、図１４では重畳画像104の大きさを便宜的に５×５画素と想定している。典型的には重畳画像104は縦横１００画素以上の大きさを持っており、図１４は説明のための例示図である。このように複数の変更強度を与えることで、重畳画像を強く重畳したい部分の変更強度を大きくし、重畳画像を弱く重畳したい部分の変更強度を小さくするといった操作が可能となる。
【０１０５】
さらに、変更強度を重畳画像104に合わせて動的に生成することも可能である。これは、例えば米国特許第６５８４２１０号明細書に開示されている透かし核画像９１２のデータ値を使用することもできるし、その逆数を定数倍した数値を使用することもできる。前者の場合、潜像が現れにくい場所に強く重畳することになり、画面全体に亘って潜像が現れやすくする効果が得られ、後者の場合、潜像が現れにくい場所にはあまり潜像を重畳せずに画質劣化を防ぎ、潜像が現れやすい場所に潜像を強く重畳することで、潜像がより現れやすくなるという効果が得られる。
【０１０６】
ステップ605は、縮小前の潜像を認識しづらくするために、重畳画像重畳装置108が、残存領域内に無い画素に０を代入する処理である。これは不明瞭化処理と呼ぶ処理であり、潜像が現出しないようにしている。なお、０に代えて乱数×変更強度を代入してもよい。このようにすることで、現出前の重畳画像をより見えにくくすることができ、不明瞭化の効果を高めることができる。図１３（a）はこの乱数×変更強度を代入したときの例である。なお、ここで用いる乱数は、一般に用いられている擬似乱数を用いることができる。なお、この擬似乱数は重畳画像重畳装置108のCPU202が計算する。また、擬似乱数を用いる場合、擬似乱数の初期値としては、例えば処理開始時の時間（マイクロ秒単位等が望ましい）等を採用できる。
【０１０７】
以上で、重畳画像重畳装置における加減算画像作成処理フローの説明を終わる。
【０１０８】
ここで、ステップ407における重畳画像104の現出原理について補足しておく。
【０１０９】
ステップ603において処理対象の画素位置が残存領域内かどうか調べ、もし残存領域内であれば、ステップ604において、重畳画像104が縮小処理後に明瞭になるように、画素値を変更する明瞭化処理を行い、もし残存領域内でなければ、ステップ605に進み重畳画像104が縮小処理前に認識しづらくなるように、画素値の不明瞭化処理を行う。これによって、元のステゴ画像においては、重畳画像104の画素値が加減算されたり、されなかったりするので、重畳画像104は明瞭ではない。
【０１１０】
一方、ステゴ画像を縮小し、縮小後の画像が残存領域の画素に基づき作成された場合、縮小後の画像は、重畳画像104のうち、明瞭化処理された画素に基づいて構成されるため、重畳画像104の値が明瞭になる。
【０１１１】
実際には、縮小率の微小な違いや浮動小数点演算の誤差により、縮小後の画素の元になるのは残存領域の画素のみとはならないことがあるが、元のステゴ動画像と比較して残存領域の画素の割合が大きければ、重畳画像104は元のステゴ動画像よりも明瞭になる。
【実施例２】
【０１１２】
本実施例では、視聴者に動画像を配布した後に潜像を重畳するタイプの潜像重畳システムの例を説明する。
【０１１３】
図7は実施例２における、潜像重畳サーバ装置としてのサーバ703と、潜像重畳クライアント装置としての潜像重畳型視聴ＰＣ704と、を含んで構成されるシステム構成図である。
【０１１４】
この図において、符号701はカメラ、符号702は撮影画像である。また、本実施例の潜像重畳型視聴ＰＣ704は、実施例１で説明した潜像重畳装置101と表示ソフト118を含んで実現される。なお、潜像重畳装置101はソフトウェアを用いて実現されてもよい。この場合、潜像重畳装置101のソフトウェアは、潜像重畳型視聴ＰＣ704のCPU202で実行することができ、コストが比較的高くなるハードウェア実装を避けることができる。また、通信システム113や攻撃者ＰＣ121は、実施例１で説明したものと同じである。また、カバー動画像102、パラメータ103、重畳画像104は、サーバ703のハードディスク等に格納されており、通信システム113を介して潜像重畳型視聴ＰＣ704に配信される。サーバ703も、重畳画像重畳装置同様、図２に示すPCを利用して構成することが可能である。
【０１１５】
配信時には、例えばweb等のインタフェースにて、潜像重畳クライアント装置としての潜像重畳型視聴ＰＣ704から視聴要求を、サーバ703に出すと、サーバ703は、カバー動画像102と、パラメータ103、重畳画像104を、潜像重畳型視聴ＰＣ704に配信する。ここで、さらにカバー動画像102、パラメータ103、重畳画像104のいずれか一つ以上を暗号化しておいても良い。この場合、潜像重畳型視聴ＰＣ704は、配信されたカバー動画像102、パラメータ103、重畳画像104を復号化してから潜像重畳装置101に入力する。なお、暗号に用いる鍵はユーザ登録時等を用いて潜像重畳型視聴ＰＣ704に送信しておいても良い。
【０１１６】
カメラ701は動画像あるいは静止画像のカメラである。カメラ701によって撮影された動画像あるいは静止画像は、カメラ701内部のメモリもしくはハードディスク、フラッシュメモリ、光メディア等に撮影画像702として保存される。本実施例では、撮影画像702は攻撃者がカメラ701を用いて表示装置に表示されたステゴ動画像111を撮影した画像とする。
【０１１７】
本実施例では、図8のような流れで潜像が現出する。
【０１１８】
図8は実施例２における潜像現出までの流れを示す図である。
【０１１９】
これは、実施例２において潜像として重畳した重畳画像が現出するまでの流れの概略を例示したフローチャートである。
【０１２０】
ステップ801は攻撃者が潜像重畳型視聴ＰＣ704内で作成されるステゴ動画像111を抜き出す処理である。
【０１２１】
ステップ802は攻撃者が攻撃者PC121を利用してトランスコードソフト122によってステゴ動画像111をトランスコード動画像123に変換する処理である。
【０１２２】
ステップ803はトランスコード動画像123を表示ソフト118で表示すると、潜像として重畳していた重畳画像104が現出する処理である。なお、ここで現出とは、重畳画像104がそのまま現出するわけではなく、ステゴ動画像111と比較すると、重畳画像104がより強調されて現出するという意味である。
【０１２３】
また、攻撃者がカメラ701を用いて表示装置に表示されたステゴ動画像111を撮影した場合でも、トランスコードが発生するため、撮影画像702において重畳画像104が現出する場合がある。
【０１２４】
実施例１では、放送システム１１２、通信システム１１３、メディアライタシステム１１４等を通じて視聴者に動画像を配信する前に、潜像重畳装置101でステゴ動画像111を作成する。このため、実施例１は同一のステゴ動画像を多数の視聴者に配信する場合に好適である。
【０１２５】
一方、実施例２では、通信システム113を通じて視聴者が利用する潜像重畳型視聴ＰＣ704にカバー動画像を配信した後に、潜像重畳装置101でステゴ動画像111を作成する。このため、実施例２は視聴者ごとに異なる重畳画像を重畳するといった場合に好適である。このとき、重畳画像としては、視聴者のＩＤや氏名等、視聴者を特定可能な文字列を用いることができる。この場合、あらかじめ視聴者はユーザ登録を行っておく。
【０１２６】
また、重畳画像として文字列を用いる場合、重畳画像をサーバ703から配信せずに、文字列をパラメータ103に含め、潜像重畳型視聴ＰＣ704で文字列を画像化して、重畳画像を作成しても良い。このようにすると通信量やサーバの処理量を削減できる。文字列の画像化は、一般のウィンドウシステムや、ウィンドウシステムと一体化した一般のOS（Operating System）が提供する機能を用いて実行可能である。
【実施例３】
【０１２７】
本実施例では、特に３次畳み込み内挿法による画像縮小方式に適合した潜像重畳システムについて説明する。
【０１２８】
図9は、実施例３における潜像重畳システムを示す図であり、実施例１同様の、潜像重畳サーバ装置において潜像を重畳し、視聴者が利用する複数のクライアント装置に動画像を提供する潜像重畳システムの例である。
【０１２９】
この図において、符号901は重畳画像重畳装置であり、符号902は本実施例における、潜像重畳サーバ装置に相当する潜像重畳装置である。
【０１３０】
重畳画像重畳装置901は潜像を生成し、カバー画像に重畳する装置である。
【０１３１】
本実施例における潜像重畳装置902は、実施例１の潜像重畳装置101と比較し、重畳画像を入力としない重畳画像重畳装置901の構成が異なる。
【０１３２】
重畳画像重畳装置901の処理について、図10を用いて説明する。
【０１３３】
図10は重畳画像重畳装置901の処理フローを示す図である。
【０１３４】
これは、実施の形態の重畳画像重畳装置の処理の概略を示すフローチャートである。
【０１３５】
ステップ1001はコントローラ105からパラメータ103を受取り、処理種別設定する処理である。パラメータ103としてはブロックの大きさ（ｘ、ｙ）と変更強度がある。
【０１３６】
ステップ1002はデコーダ107から静止画像データ列を受け取る処理である。なお、受けとりは、例えば重畳画像重畳装置901のネットワークインタフェース204を介して受け取り、受けとった静止画像データ列を重畳画像重畳装置901のハードディスク210に保存する。
【０１３７】
ステップ1003は静止画像データ列内の各静止画像を取り出す処理である。もし、まだ処理していない静止画像があれば、ステップ1004へ進む。各静止画像に対する処理の後、終了する
ステップ1004は加減算画像を作成する処理である。
【０１３８】
本実施例では、カバー静止画像に重畳される重畳画像としては、市松模様を用いる。加減算画像作成は、ステップ1001のｘ、ｙに従い、以下のように行う。まず、加減算画像として、重畳画像重畳装置901のメモリ203にカバー静止画像と同じ大きさの領域を作成する。次に、加減算画像の画素を位置（ｕ、ｖ）とすると、ｍｏｄ（ｉｎｔ（ｕ／ｘ）、２）とｍｏｄ（ｉｎｔ（ｖ／ｙ）、２）が等しければ、重畳画像の対応する位置の画素が１であるとして、この画素位置の加減算画像の値を変更強度とし、そうでなければ、重畳画像の対応する位置の画素が０であるとして、この画素位置の加減算画像の値を０とする。これにより、市松模様である重畳画像の明瞭化処理を行うことができる。
【０１３９】
ただし、ｍｏｄ（ｘ、ｙ）はｘをｙで割った際の余りを与える関数であり、ｉｎｔ（ｘ）はｘを超えない最大の整数を与える関数である。
【０１４０】
ステップ1005は加減算画像を重畳する処理である。静止画像の各画素の輝度値に対し、同じ位置にある加減算画像の値を加算する。輝度値への加算の方法は、前述したステップ505と同様の方法を用いることができる。
【０１４１】
以上の処理の原理について補足する。
【０１４２】
本実施例では３次畳み込み内挿法による縮小時に潜像が現出するようステゴ画像を作成しているが、そもそも３次畳み込み内挿法による内挿は、図11のように周囲１６点の画像データを用いて次の式で求める方法である。（参考文献：Robert G. Keys, “Cubic Convolution Interpolation for Digital Image Processing,” IEEE Trans. on Acoustics, Speech, and Signal Processing, Vol. Assp-29, No. 6, pp.1153-1160, December 1981.）
【０１４３】
【数１】
ここで、（ｘ、ｙ）＝（２、２）の場合について図12を用いて説明する。図12は３次畳み込み内挿法による1/2縮小時のサンプリング点配置を示す図である。図12の升目は、その一つ一つが縮小前の静止画像を表現しており、円は１／２縮小後の画像の画素を表現している。１／２縮小後は、画素数は縦横それぞれ１／２になる。円は４つの四角の升目の中心に位置している。
【０１４４】
もし、１／２の縮小が起こると仮定し、サンプリング点が図12のようになると仮定すると、３次畳み込み内挿法による縮小は、上記の式でu=k+0.5, v=l+0.5となることから計算すると、各サンプリング点の周囲で図12（ｂ）のような４×４のフィルタを元の画像に適用することと同じになる。
【０１４５】
フィルタ内の４ｘ４のフィルタ全体の数値を足すと６４であり、１／６４の係数によって全体では１となる。
【０１４６】
ここで、４ｘ４のフィルタの真ん中の４つの要素に注目する。これらは＋２５となっており、合計すると１００になる。すなわち６４を超えている。これは真ん中の４つの寄与が大きく、元画像よりも強調された値になることを示している。
【０１４７】
よって、図12(ａ)の升目に書かれているように、２ｘ２ごとにａとｂという値を繰り返すと、その縮小後のＡ、Ｂの値は、それぞれ近傍の４点の値が強調され、A=(104a-40b)/64、B=(104b-40a)/64となる。すなわち、Ａ−Ｂ＝１４４／６４×（ａ−ｂ）となり、元の画像の差が１４４／６４＝２．２５倍されることが分かる。
【０１４８】
本実施例は上記現象を利用しており、（ｘ、ｙ）＝（２、２）の場合、ステップ1004において、市松模様を重畳画像とすることにより、縮小前は目立たない差異が、縮小後に２．２５倍されて現出することになる。
【０１４９】
本実施例によるステゴ動画像および、潜像現出のイメージを図１５に示す。図１５において、（ａ）は潜像現出前のステゴ動画像、（ｂ）は潜像現出後のイメージ例１、（ｃ）は潜像現出後のイメージ例２である。（ｂ）のように、画像全体にわたって市松模様を現出させても良い。このようにすることで、画像の品質を下げることで、攻撃者の非許諾複製等をけん制することができる。
【０１５０】
また、（ｃ）のように、市松模様を一部現出させ、現出した市松模様で何らかの文字や模様を成すようにしてもよい。このようにすることで、より明確に「ＣＯＰＹ」等のメッセージを攻撃者に見せることが可能となる。これを行うためには、重畳画像重畳装置901は、ステップ1001において、どの画素で現出させ、どの画素で現出しないかを示す重畳画像をさらに受け取り、ステップ1004において、処理対象の画素位置に対応する重畳画像の値によって、現出させる画素かどうかの判定を行い、さらに現出させたくない部分であれば、加減算画像を、ステップ1004におけるu,vに関わらず、一定の値としておけばよい。
【０１５１】
より具体的には、例えば変更強度の1/2等にしておけばよい。これは不明瞭化処理に相当する。なお、現出させる画素であれば、すでに述べたステップ1004の処理を続行すればよい。
【０１５２】
なお、上記実施例１〜３においては、それぞれパラメータ103を固定としたが、動画像の時間方向もしくは空間方向において、複数の、パラメータの異なる加減算画像を重畳させてもよい。このようにしておくことで、たとえば１／２縮小、１／３縮小、２／３縮小等、さまざまな縮小比率に対して潜像を現出させることができる。
【０１５３】
例えば、実施例１もしくは2であればステップ501で与える縮小率を変化させたり、ステップ603で用いる縮小率を、複数の値から順番に用いる等の方法で実現できる。また、例えば実施例３であれば、ステップ1001で与えるxとyを変化させたり、ステップ1004で用いるxとyを複数の値から順番に用いる等の方法で実現できる。
【０１５４】
なお、縮小比率として典型的なものは、横１９２０画素×縦１０８０画素を、以下の画素に縮小する以下の縮小比率である；横２５６画素×縦１４４画素（７．５分の１縮小）、横５１２画素×縦２８８画素（３．７５分の１縮小）、横７６８画素×縦４３２画素（２．５分の１縮小）、横１０２４画素×縦５７６画素（１．８７５分の１縮小）、横１２８０画素×縦７２０画素（１．５分の１縮小）、横１５３６画素×縦８６４画素（１．２５分の１縮小）。なお、縮小比率として縦横で異なる縮小比率を用いても良く、例えば横１９２０画素×縦１０８０画素を、６４０画素×４８０画素等に縮小してもよい。
【０１５５】
また、上記実施例のうち実施例１と実施例３を混在させてもよい。こうすることで、３次畳み込み内挿法による縮小で潜像が現出する個所、他の縮小方式で潜像が現出する個所等、混在させることができる。
【０１５６】
なお、上記した実施例に限定されない、様々な変形例も可能である。例えば、上記した実施例で説明した全ての構成を備えるものに限定されない。また、ある実施例の構成の一部を他の実施例の構成に置き換えることが可能であり、また、ある実施例の構成に他の実施例の構成を加えることも可能である。また、各実施例の構成の一部について、他の構成の追加・削除・置換をすることが可能である。
【０１５７】
また、上記の各構成、機能、処理部等は、それらの一部又は全部を、例えば集積回路で設計する等によりハードウェアで実現してもよい。また、上記の各構成、機能等は、プロセッサがそれぞれの機能を実現するプログラムを解釈し、実行することによりソフトウェアで実現してもよい。各機能を実現するプログラム、テーブル、ファイル等の情報は、メモリや、ハードディスク、ＳＳＤ（Solid State Drive）等の記録装置、または、ＩＣカード、ＳＤカード、ＤＶＤ等の記録媒体に置くことができる。
【０１５８】
また、制御線や情報線は説明上必要と考えられるものを示しており、製品上必ずしも全ての制御線や情報線を示しているとは限らない。実際には殆ど全ての構成が相互に接続されていると考えてもよい。
【符号の説明】
【０１５９】
101…潜像重畳装置
102…カバー動画像
103…パラメータ
104…重畳画像
105…コントローラ
106…デマルチプレクサ
107…デコーダ
108…重畳画像重畳装置
109…エンコーダ
110…マルチプレクサ
111…ステゴ動画像
112…放送システム
113…通信システム
114…メディアライタシステム
115…テレビ
116…表示部
117…視聴者PC
118…表示ソフト
119…プレイヤ
120…表示部
121…攻撃者PC
122…トランスコードソフト
123…トランスコード動画像
201…PC
202…ＣＰＵ
203…メモリ
204…ネットワークインタフェース
205…キーボード
206…時計
207…スピーカ
208…ディスプレイ
209…動画カメラ
210…ハードディスク
211…インターフェース
701…カメラ
702…撮影画像
703…サーバ
704…潜像重畳型視聴PC
901…重畳画像重畳装置
902…潜像重畳装置
【特許請求の範囲】
【請求項１】
カバー静止画像に重畳画像を重畳したステゴ静止画像または前記ステゴ静止画像を含むステゴ動画像を作成する潜像重畳システムにおける潜像重畳方法であって、
前記ステゴ静止画像を縮小処理した場合に，縮小処理前のステゴ静止画像の画素のうち、縮小後のステゴ静止画像の画素値に影響を与える画素の位置を求めるステップと，
前記カバー静止画像に重畳される前記重畳画像の画素のうち，求めた前記影響を与える位置に対応する画素の画素値に対して，予め定めたパラメータに従い、前記縮小処理後の前記重畳画像が明瞭になるように，明瞭化処理を行うステップと，
前記明瞭化処理後の画素値を用いた加減算画像を求めるステップと，
前記加減算画像を前記カバー静止画像に重畳し，ステゴ静止画像を作成するステップと、を備える
ことを特徴とする潜像重畳方法。
【請求項２】
請求項１に記載の潜像重畳方法であって、
さらに、前記パラメータとして，前記影響を与える画素の画素位置毎の，変更強度を準備するステップを備え，
前記明瞭化処理を行うステップは、前記画素位置にある，重畳画像の画素値と変更強度との演算を行うステップを備える
ことを特徴とする潜像重畳方法。
【請求項３】
請求項１または２に記載の潜像重畳方法であって、
さらに、前記影響を与える画素以外の画素の画素値に対して，縮小処理前の前記重畳画像が不明瞭になるように，不明瞭化処理を行うステップを備え，
前記加減算画像を求めるステップは、前記明瞭化処理後の画素と不明瞭化処理後の画素を用いて，前記加減算画像を求めるステップを備える
ことを特徴とする潜像重畳方法。
【請求項４】
請求項３に記載の潜像重畳方法であって、
前記不明瞭化処理を行うステップは，前記影響を与える画素以外の画素について，０または乱数との演算を行うステップを備える
ことを特徴とする潜像重畳方法。
【請求項５】
請求項１または３に記載の潜像重畳方法であって，
前記明瞭化処理を行うステップは，前記縮小後のステゴ静止画像の互いに隣り合う画素の画素値の差が，予め定められた前記パラメータに従う３次畳み込み内挿法の対象となる画素の画素値の差より大きくなるよう，前記重畳画像の画素のうち、３次畳み込み内挿法の対象となる画素の画素値を選択するステップを備える
ことを特徴とする潜像重畳方法。
【請求項６】
請求項５に記載の潜像重畳方法であって，
前記不明瞭化処理を行うステップは，互いに隣り合う画素の画素値の差が，３次畳み込み内挿法による縮小の結果、元の画素値の差よりも大きくならないよう，前記重畳画像の画素値を選択するステップを備える
ことを特徴とする潜像重畳方法。
【請求項７】
潜像重畳サーバ装置を有する潜像重畳システムであって、
前記潜像重畳サーバ装置は、
前記カバー静止画像と、前記パラメータと、前記重畳画像と、を入力として受け付け、
請求項１から６のいずれか一に記載の潜像重畳方法を実行し、複数のクライアント装置に提供可能な前記ステゴ静止画像または前記ステゴ静止画像を含むステゴ動画像を作成する
ことを特徴とする潜像重畳システム。
【請求項８】
潜像重畳サーバ装置と潜像重畳クライアント装置とを有する潜像重畳システムであって、
前記潜像重畳サーバ装置は、前記カバー画像と、前記パラメータと、前記重畳画像と、を前記潜像重畳クライアント装置に提供し、
前記潜像重畳クライアント装置は、前記潜像重畳サーバ装置から提供された前記カバー静止画像と、前記パラメータと、前記重畳画像と、を用いて、請求項１から６のいずれか一に記載の潜像重畳方法を実行し、前記ステゴ静止画像または前記ステゴ静止画像を含むステゴ動画像を作成する
ことを特徴とする潜像重畳システム。
【請求項９】
潜像重畳システムであって、
前記潜像重畳サーバ装置と潜像重畳クライアント装置とを含み、
前記潜像重畳サーバ装置は、前記カバー静止画像と、前記パラメータと、を前記潜像重畳クライアント装置に提供し、
前記パラメータはさらに重畳画像として用いる文字列を含み、
前記潜像重畳クライアント装置は、
前記潜像重畳サーバ装置から提供された前記文字列から重畳画像を作成し、
前記潜像重畳サーバ装置から提供された前記カバー静止画像と、前記パラメータと、前記重畳画像と、を用いて、請求項１から６のいずれか一に記載の潜像重畳方法を実行し、前記ステゴ静止画像または前記ステゴ静止画像を含むステゴ動画像を作成する
ことを特徴とする潜像重畳システム。
【請求項１０】
潜像重畳システムであって、
前記潜像重畳サーバ装置と潜像重畳クライアント装置とを含み、
前記潜像重畳サーバ装置は、前記カバー静止画像と、前記パラメータと、を前記潜像重畳クライアント装置に提供し、
前記潜像重畳クライアント装置は、
前記重畳画像を格納する記憶装置を備え、
前記潜像重畳サーバ装置から提供された前記カバー静止画像と、前記パラメータと、記憶装置に格納された前記重畳画像と、を用いて、請求項１から６のいずれか一に記載の潜像重畳方法を実行し、前記ステゴ静止画像または前記ステゴ静止画像を含むステゴ動画像を作成する
ことを特徴とする潜像重畳システム。
【請求項１】
カバー静止画像に重畳画像を重畳したステゴ静止画像または前記ステゴ静止画像を含むステゴ動画像を作成する潜像重畳システムにおける潜像重畳方法であって、
前記ステゴ静止画像を縮小処理した場合に，縮小処理前のステゴ静止画像の画素のうち、縮小後のステゴ静止画像の画素値に影響を与える画素の位置を求めるステップと，
前記カバー静止画像に重畳される前記重畳画像の画素のうち，求めた前記影響を与える位置に対応する画素の画素値に対して，予め定めたパラメータに従い、前記縮小処理後の前記重畳画像が明瞭になるように，明瞭化処理を行うステップと，
前記明瞭化処理後の画素値を用いた加減算画像を求めるステップと，
前記加減算画像を前記カバー静止画像に重畳し，ステゴ静止画像を作成するステップと、を備える
ことを特徴とする潜像重畳方法。
【請求項２】
請求項１に記載の潜像重畳方法であって、
さらに、前記パラメータとして，前記影響を与える画素の画素位置毎の，変更強度を準備するステップを備え，
前記明瞭化処理を行うステップは、前記画素位置にある，重畳画像の画素値と変更強度との演算を行うステップを備える
ことを特徴とする潜像重畳方法。
【請求項３】
請求項１または２に記載の潜像重畳方法であって、
さらに、前記影響を与える画素以外の画素の画素値に対して，縮小処理前の前記重畳画像が不明瞭になるように，不明瞭化処理を行うステップを備え，
前記加減算画像を求めるステップは、前記明瞭化処理後の画素と不明瞭化処理後の画素を用いて，前記加減算画像を求めるステップを備える
ことを特徴とする潜像重畳方法。
【請求項４】
請求項３に記載の潜像重畳方法であって、
前記不明瞭化処理を行うステップは，前記影響を与える画素以外の画素について，０または乱数との演算を行うステップを備える
ことを特徴とする潜像重畳方法。
【請求項５】
請求項１または３に記載の潜像重畳方法であって，
前記明瞭化処理を行うステップは，前記縮小後のステゴ静止画像の互いに隣り合う画素の画素値の差が，予め定められた前記パラメータに従う３次畳み込み内挿法の対象となる画素の画素値の差より大きくなるよう，前記重畳画像の画素のうち、３次畳み込み内挿法の対象となる画素の画素値を選択するステップを備える
ことを特徴とする潜像重畳方法。
【請求項６】
請求項５に記載の潜像重畳方法であって，
前記不明瞭化処理を行うステップは，互いに隣り合う画素の画素値の差が，３次畳み込み内挿法による縮小の結果、元の画素値の差よりも大きくならないよう，前記重畳画像の画素値を選択するステップを備える
ことを特徴とする潜像重畳方法。
【請求項７】
潜像重畳サーバ装置を有する潜像重畳システムであって、
前記潜像重畳サーバ装置は、
前記カバー静止画像と、前記パラメータと、前記重畳画像と、を入力として受け付け、
請求項１から６のいずれか一に記載の潜像重畳方法を実行し、複数のクライアント装置に提供可能な前記ステゴ静止画像または前記ステゴ静止画像を含むステゴ動画像を作成する
ことを特徴とする潜像重畳システム。
【請求項８】
潜像重畳サーバ装置と潜像重畳クライアント装置とを有する潜像重畳システムであって、
前記潜像重畳サーバ装置は、前記カバー画像と、前記パラメータと、前記重畳画像と、を前記潜像重畳クライアント装置に提供し、
前記潜像重畳クライアント装置は、前記潜像重畳サーバ装置から提供された前記カバー静止画像と、前記パラメータと、前記重畳画像と、を用いて、請求項１から６のいずれか一に記載の潜像重畳方法を実行し、前記ステゴ静止画像または前記ステゴ静止画像を含むステゴ動画像を作成する
ことを特徴とする潜像重畳システム。
【請求項９】
潜像重畳システムであって、
前記潜像重畳サーバ装置と潜像重畳クライアント装置とを含み、
前記潜像重畳サーバ装置は、前記カバー静止画像と、前記パラメータと、を前記潜像重畳クライアント装置に提供し、
前記パラメータはさらに重畳画像として用いる文字列を含み、
前記潜像重畳クライアント装置は、
前記潜像重畳サーバ装置から提供された前記文字列から重畳画像を作成し、
前記潜像重畳サーバ装置から提供された前記カバー静止画像と、前記パラメータと、前記重畳画像と、を用いて、請求項１から６のいずれか一に記載の潜像重畳方法を実行し、前記ステゴ静止画像または前記ステゴ静止画像を含むステゴ動画像を作成する
ことを特徴とする潜像重畳システム。
【請求項１０】
潜像重畳システムであって、
前記潜像重畳サーバ装置と潜像重畳クライアント装置とを含み、
前記潜像重畳サーバ装置は、前記カバー静止画像と、前記パラメータと、を前記潜像重畳クライアント装置に提供し、
前記潜像重畳クライアント装置は、
前記重畳画像を格納する記憶装置を備え、
前記潜像重畳サーバ装置から提供された前記カバー静止画像と、前記パラメータと、記憶装置に格納された前記重畳画像と、を用いて、請求項１から６のいずれか一に記載の潜像重畳方法を実行し、前記ステゴ静止画像または前記ステゴ静止画像を含むステゴ動画像を作成する
ことを特徴とする潜像重畳システム。
【図１】
【図２】
【図３】
【図４】
【図５】
【図６】
【図７】
【図８】
【図９】
【図１０】
【図１１】
【図１２】
【図１３】
【図１４】
【図１５】
【図２】
【図３】
【図４】
【図５】
【図６】
【図７】
【図８】
【図９】
【図１０】
【図１１】
【図１２】
【図１３】
【図１４】
【図１５】
【公開番号】特開２０１２−１３８７２４（Ｐ２０１２−１３８７２４Ａ）
【公開日】平成２４年７月１９日（２０１２．７．１９）
【国際特許分類】
【出願番号】特願２０１０−２８９１１８（Ｐ２０１０−２８９１１８）
【出願日】平成２２年１２月２７日（２０１０．１２．２７）
【出願人】（０００２３３０５５）株式会社日立ソリューションズ (1,610)
【Ｆターム（参考）】
【公開日】平成２４年７月１９日（２０１２．７．１９）
【国際特許分類】
【出願日】平成２２年１２月２７日（２０１０．１２．２７）
【出願人】（０００２３３０５５）株式会社日立ソリューションズ (1,610)
【Ｆターム（参考）】
[ Back to top ]