説明

改ざん検出システム,改ざん検出方法

【課題】 画像の特徴量を用いて改ざん有無判定を適切に行う。
【解決手段】 印刷物の印刷内容の改ざん有無を判定する改ざん検出システムに,元画像が印刷された印刷物を読み取って作成された読み取り画像に変更を加えて,読み取り画像に各々異なる変更が加えられた複数の変更画像を作成する変更画像作成部118と,複数の変更画像の各々の特徴量を計測する特徴量計測部102と,元画像の特徴量と,各変更画像の特徴量との差分値を求める特徴量差分算出部122と,特徴量差分算出部によって求められた値に基づいて読み取り画像が改ざんされているか否かを判定する判定部124とを設けた。

【発明の詳細な説明】
【技術分野】
【0001】
本発明は,印刷物の印刷内容の改ざん有無を判定する改ざん検出システム,改ざん検出方法に関する。
【背景技術】
【0002】
紙媒体に印刷された文書に対して,その文書が改ざんされているか否かを判別できる装置が必要となっている。改ざんの有無を判別できる装置としては,以下のような技術が知られている。
【0003】
[1]特開2000−232573「印刷装置,印刷方法及び記録媒体」
少なくとも帳票を含む印刷物に印字データを印刷する際に,上記印字データの他に,上記印字データに対応した電子透かしを印刷することにより,その印刷物を見ただけで印刷したファイルを忠実に複製できるようにすると共に,印刷物に印刷してある電子透かし情報から,印刷結果が改ざんされているか否かを判別できるようにする。改ざんの判定は印刷結果と電子透かしで印字されたものを比較することによって行う。
【0004】
上記装置によれば,改ざんの判別は電子透かしから取り出した印字内容と,紙面に印刷されている印字内容を目視によって比較しなければならず,人為的なミスにより改ざんを見逃す可能性がある。そこで,改ざんの有無を目視ではなく自動で判別する方法が必要となる。自動で判別するためには,元の文書の特徴量と印刷後の文書の特徴量とを利用し,その特徴量の差の程度によって改ざんの有無を判別する方法が考えられる。具体的には,改ざん有無を判別するための閾値を設定し,上記の特徴量の差と閾値とを比較することによって自動で改ざん有無を判別することが可能となる。
【0005】
【特許文献1】特開2000−232573号公報
【発明の開示】
【発明が解決しようとする課題】
【0006】
しかし,上記の特徴量を用いて改ざん有無判定を自動で行う場合には,閾値を適切な値に設定しなければならないという問題がある。特に,印刷された文書をスキャナなどの入力装置によって再びコンピュータに入力した場合には,入力の際に発生する回転などの画像変形が原因で入力画像に多くの雑音成分が含まれる。そのため,元の文書の特徴量と入力画像の特徴量との差が大きくなり,設定された閾値によっては,改ざんされていない文書を改ざんされていると判定してしまう改ざん誤検出が発生する可能性がある。一方で,改ざん誤検出を防止できるような値を閾値として設定すると,改ざんされている文書を改ざんされていないと判定してしまう改ざん見逃しが発生する可能性がある。
【0007】
そこで,本発明は,このような問題に鑑みてなされたもので,その目的とするところは,印刷前の画像の特徴量と印刷後の画像の特徴量とを用いて改ざん有無判定を適切に行うことが可能な改ざん検出システムおよび改ざん検出方法を提供することにある。
【課題を解決するための手段】
【0008】
上記課題を解決するために,本発明のある観点によれば,印刷物の印刷内容の改ざん有無を判定する改ざん検出システムが提供される。本改ざん検出システムは,元画像が印刷された印刷物を読み取って作成された読み取り画像に変更を加えて,読み取り画像に各々異なる変更が加えられた複数の変更画像を作成する変更画像作成部と;複数の変更画像の各々の特徴量を計測する特徴量計測部と;元画像の特徴量と,各変更画像の特徴量との差分値を求める特徴量差分算出部と;特徴量差分算出部によって求められた値に基づいて読み取り画像が改ざんされているか否かを判定する判定部と;を備える。
【0009】
上記発明によれば,元画像との間で特徴量を対比される画像が,変更画像作成部によって読み取り画像に基づいて複数作成される。作成された各画像の特徴量が特徴量計測部によって計測され,計測された各特徴量と元画像の特徴量との差分値が特徴量差分算出部によって求められる。判定部は,特徴量差分算出部によって求められた値に基づいて,読み取り画像が元画像と異なっているか否か,すなわち,改ざんや改変がされているか否かを判定する。判定部は,元画像の特徴量と,作成された変更画像の特徴量とを比較した結果に基づいて判定を行うが,具体的には例えば,特徴量差分算出部によって求められた最小の差分値に基づいて判定を行ってもよいし,特徴量差分算出部によって求められた各値の和や積などに基づいて判定を行ってもよい。換言すると,上記発明にかかる改ざん検出システムは,元画像の特徴量に最も近い特徴量を持つ変更画像を,読み取り画像に基づいて作成された複数の変更画像の中から探し出し,その変更画像と元画像とが同一であるか,又は全く同一ではなくても改ざんや改変がされているとは認められない程度の相違しかないか,を特徴量の差分により判定し,その判定結果によって,読み取り画像が改ざんされているか否かを判断する。かかる構成によれば,元画像を印刷する際のインクやトナーの状態,印刷物の折り目や皺,スキャナでの印刷物の読み込み時の方向のずれなどによって,読み取り画像上における元画像に回転や歪み,インクやトナーの滲み,かすれなど,意図しない変更が加えられた場合でも,改ざんの誤検出を行うことを防止できる。
【0010】
また,上記特徴量計測部は,各画像に対して,ある特定の形状に強く反応する特徴抽出フィルタを1つ以上施して出力される値を,特徴量として計測してもよい。
【0011】
上記判定部は,特徴量差分算出部によって求められた複数の差分値中の最小の値と,所定の改ざん閾値とに基づいて,読み取り画像が改ざんされているか否かを判定してもよい。かかる構成によれば,読み取り画像に基づいて作成された,元画像の特徴量に最も近い特徴量を持つ変更画像に基づいて,読み取り画像の改ざん有無を判定する。そのため,元画像の印刷時や,印刷物の読み取り時等に,不可避の意図しない変更が加えられた場合であっても,その変更が原因で,改ざんされていない読み取り画像を改ざん有りと判定してしまうことを防止できる。
【0012】
上記変更画像作成部は,読み取り画像の画素の濃度値を変更するようにしてもよい。かかる構成によれば,元画像の印刷時や印刷物の読み取り時等に,画像中の一部または全部の画素の濃度値に,改ざんではない意図しない変更が加えられた場合に,変更画像作成部により読み取り画像の画素の濃度値を変更することによって,印刷時等に加えられた意図しない変更を取り除くことができる。
【0013】
上記変更画像作成部は,所定の2値化閾値に基づいて,読み取り画像の2値化を行ってもよい。
【0014】
上記変更画像作成部は,2値化閾値を変更可能であってもよい。かかる構成によれば,変更画像作成部は,閾値を変えることにより,読み取り画像から複数の2値画像を作成することができる。
【0015】
上記変更画像作成部は,黒画素に隣接する白画素を黒画素に置き換えるようにしてもよい。
【0016】
上記変更画像作成部は,白画素に隣接する黒画素を白画素に置き換えるようにしてもよい。
【0017】
上記変更画像作成部は,読み取り画像を回転,拡大,縮小および/または平行移動するようにしてもよい。かかる構成によれば,元画像の印刷時や印刷物の読み取り時等に,改ざんではない意図しない変更として,画像に傾きや歪み,位置のずれが生じたり,画像が縮小,拡大された場合に,変更画像作成部により読み取り画像をアフィン変換することによって,印刷時等に加えられた意図しない変更を取り除くことができる。
【0018】
上記読み取り画像には,元画像の任意の領域の位置情報と任意の領域の特徴量とが関連付けられて埋め込まれており,上記改ざん検出システムは,読み取り画像から埋め込まれている位置情報,および特徴量を抽出する抽出部と;抽出部によって抽出された位置情報に基づいて,読み取り画像における,元画像の任意の領域に対応する領域の位置情報を取得する位置情報取得部と;をさらに備えてもよい。その際,上記変更画像作成部は,位置情報取得部によって取得された位置情報に基づいて,元画像の任意の領域に対応する読み取り画像上の領域から変更画像を作成し,上記特徴量差分算出部は,抽出部によって読み取り画像から抽出された特徴量と,各変更画像の特徴量との差分値を求めてもよい。かかる構成によれば,元画像の任意の領域の画像が,読み取り画像において改ざんされているか否かを判定することができる。
【0019】
上記特徴量計測部は,元画像の任意の領域の特徴量を計測し,上記改ざん検出システムは,元画像の任意の領域の位置情報と任意の領域の特徴量とを関連付けて元画像に埋め込む特徴量埋め込み部と;位置情報に含まれる座標によって特定される点と関連づけて座標の情報を元画像に埋め込む座標情報埋め込み部と;座標情報が埋め込まれた元画像を出力する画像出力部と;出力された元画像が印刷された印刷物を読み取り,読み取り画像を作成する読み取り部と;読み取り画像から,埋め込まれている座標情報を抽出する座標情報抽出部と;をさらに備えてもよい,その際,上記位置情報取得部は,抽出部によって抽出された位置情報および座標情報抽出部によって抽出された座標情報に基づいて,読み取り画像における,元画像の任意の領域に対応する領域の位置情報を取得するようにしてもよい。かかる構成によれば,元画像の印刷時に余白ができた場合でも,元画像に挿入される座標情報により,元画像の任意の領域に対応する読み取り画像上の領域の位置情報を取得することができる。
【0020】
上記課題を解決するために,本発明の別の観点によれば,印刷物の印刷内容の改ざん有無を判定する改ざん検出方法が提供される。本改ざん検出方法は,元画像が印刷された印刷物を読み取って作成された読み取り画像に変更を加えて,読み取り画像に各々異なる変更が加えられた複数の変更画像を作成する変更画像作成ステップと;複数の変更画像の各々の特徴量を計測する特徴量計測ステップと;元画像の特徴量と,各変更画像の特徴量との差分値を求める特徴量差分算出ステップと;特徴量差分算出部によって求められた値に基づいて読み取り画像が改ざんされているか否かを判定する判定ステップと;を含む。
【発明の効果】
【0021】
以上説明したように本発明によれば,印刷前の画像の特徴量と印刷後の画像の特徴量とを用いて改ざん有無判定を適切に行うことが可能な改ざん検出システムおよび改ざん検出方法を提供できるものである。
【発明を実施するための最良の形態】
【0022】
以下に添付図面を参照しながら,本発明の好適な実施の形態について詳細に説明する。なお,本明細書及び図面において,実質的に同一の機能構成を有する構成要素については,同一の符号を付することにより重複説明を省略する。
【0023】
本実施形態にかかる改ざん検出システムは,印刷前の画像の特徴量と印刷後の画像の特徴量を用いて印刷後の画像が改ざんされているか否かを検出するシステムである。本システムは,印刷前の画像(以後,元画像とも称する。)の特徴量を計測する機能と,印刷された画像を読み取って作成された画像(以後,読み取り画像とも称する。)の特徴量を計測する機能と,元画像の特徴量と読み取り画像の特徴量とを比較する機能と,比較の結果,読み取り画像が改ざんされているか否かを判断する機能などを備える。本実施形態にかかる改ざん検出システムでは,ひとつのコンピュータに,改ざん検出機能を実現するための上記の各機能が備えられている。しかし,本実施形態のようにひとつのコンピュータに複数の機能が備えられるのではなく,2つ以上の複数のコンピュータに各機能が分散されていてもよい。
【0024】
図1は,改ざん検出システム10の機能構成を示すブロック図である。改ざん検出システム10は,例えば,特徴量計測部102と,特徴量埋め込み部104と,座標情報埋め込み部106と,画像出力部108と,読み取り部110と,抽出部112と,座標情報抽出部114と,位置情報取得部116と,変更画像作成部118と,特徴量差分算出部122と,判定部124などを備える。上述の通り,各機能がひとつのコンピュータに備えられていてもよいし,複数のコンピュータに分散されていてもよい。例えば,元画像に対する処理を行う部分(特徴量計測部102,特徴量埋め込み部104,座標情報埋め込み部106および画像出力部108)と,読み取り画像に対する処理を行う部分(読み取り部110,抽出部112,座標情報抽出部114,位置情報取得部116,変更画像作成部118,特徴量計測部102,特徴量差分算出部122および片底部124)とがそれぞれ別のコンピュータに備えられていてもよい。
【0025】
特徴量計測部102は,入力された元画像1002の特徴量を計測する機能を有する。元画像1002は,改ざん検出を行う対象の読み取り画像の元となる画像である。特徴量を計測する方法としては,各画像に対してガボールフィルタや公知のフィルタによるフィルタリング処理を行い,フィルタ出力の平均値を求めるなどすることによって各画像の特徴量を得る方法を適用することができる。また,画像を複数の領域に分割し,分割された領域ごとに特徴量を計測することによって,より詳細に特徴量を計測してもよい。また,フィルタリングによる特徴量計測以外にも,縮小画像の生成によるパターンマッチングを行い,その一致度を計測する方法も適用可能である。画像から計測される特徴量は,同一の画像ではほぼ同一の特徴量となる。ただし,同一の画像であっても,印刷前の画像と印刷物の読み取り画像とでは,プリンタやスキャナの性能などによっては読み取り画像に汚れ,インクの滲み,変形等が発生し,その結果,印刷前の画像の特徴量と読み取り画像の特徴量とが異なる場合がある。本実施形態において,特徴量計測部102は,元画像1002から任意の領域を指定し,指定した領域の特徴量を計測する。特徴量計測部102は,任意の領域として,元画像1002の全領域を指定してもよいし,元画像1002の一部分を指定してもよい。
【0026】
特徴量計測部102によって計測された特徴量と,その特徴量が計測された領域を特定する位置情報は,特徴量埋め込み部104に提供される。特徴量埋め込み部104は,提供された特徴量と位置情報とを関連付けて元画像1002に電子透かしとして埋め込む。
【0027】
特徴量計測部102によって特徴量が計測された領域を特定する位置情報は,座標情報埋め込み部106にも提供される。座標情報埋め込み部106は,提供された位置情報に含まれる座標によって特定される点と関連づけて,その座標の情報を元画像1002に電子透かしとして埋め込む。具体的には,図3に示すように,特徴量計測部102から取得した位置情報に含まれている座標の情報を,その座標によって特定される元画像上の点に埋め込む。図示の例によれば,特徴量計測部102によって指定され,特徴量が計測された領域の開始位置を示す開始点2002に,開始点2002の座標である(200,200)を電子透かしとして埋め込む。同様に,特徴量が計測された領域の終了位置を示す終了点2004に,終了点2004の座標である(300,300)を電子透かしとして埋め込む。
【0028】
ここで,電子透かしについて説明する。例えば,特開2003−209676号公報「電子透かし埋め込み装置,電子透かし検出装置,電子透かし埋め込み方法,及び,電子透かし検出方法」に示されているように,該電子透かし技術は,任意のドットパターンを用紙に埋め込み,目視を目的とする物理的な情報以外に電子透かしとして情報を伝達する技術である。
【0029】
また,電子透かし技術は,用紙に任意の情報を埋め込めるだけでなく,埋め込まれる小さな独自のパターン自体がそのパターン同士の位置関係または用紙に対する位置関係を示し,スキャナ等によって画像が読み取られた後の画像を補正するための基準として利用される。
【0030】
図11は,電子透かしに埋め込む任意のパターンを説明するための説明図である。図11を参照すると,かかる電子透かしによる画像は,複数の小さなドットで構成されたN個のユニットパターンの集合として表される。この各ユニットパターンが0〜N−1の数値に対応し,例えば,ユニットパターン902は数値0を表し,ユニットパターン904は数値1を表す。上記ユニットパターンは,白黒やカラーで表すことができる。
【0031】
図12は,電子透かしによって印刷された画像(用紙)を説明するための外観図である。図12の用紙全体を参照すると,上記電子透かしによる画像には,その役割に応じて,メイン領域910,属性情報領域912,境界情報領域914に分けることができる。メイン領域910は,情報を埋め込むための主たる領域である。属性情報領域912は,電子透かしを埋め込む領域の大きさやメイン領域910における情報の符号化方法など,メイン領域910に埋め込まれた情報を読み取るために必要な情報が格納されている。境界情報領域914は,予め定められた特定のユニットパターンが印刷されており,読み取り側はこの領域によって電子透かしの境界を識別することができる。
【0032】
スキャナ等の読み取り側では,このようにして印刷された用紙(以下,単に電子透かし用紙という。)をスキャニングし,用紙中に埋め込まれた個々のユニットパターンを検出する。この検出は,テンプレートマッチングや,任意の方向性や形状に対するフィルタ特性を持つ2次元フィルタ(例えば2次元ガボールフィルタ)等を利用して行われる。
【0033】
また,上記用紙に電子透かしを埋め込む際,上記境界情報領域914やメイン領域910の特定位置に,特定のユニットパターンを規則正しく配置する。これによって,用紙を読み取る側では,これら位置検出用のユニットパターンを抽出し,この位置情報に基づいて補正を行うことができる。従って,スキャニングしたデータに変位や回転によるズレまたはしわによる偏りがあったとしても,煩わしい手動による補正を行うことなく,元の画像を復元することができる。
【0034】
また,印刷時やスキャニング時などに,このユニットパターンの一部が例えばインクなどで汚され,検知できなくなる可能性が生じる。そこでメイン領域910においては埋め込む情報を複数箇所に分散して配置したり,上記特開2003−209676号公報にあるように誤り耐性符号(パリティチェック符号,ハミング符号,BCH符号など)で埋め込んだりして,例え,ユニットパターンの一部が欠けていたとしても情報の復元が可能なように構成されている。
【0035】
図1に戻り,改ざん検出システム10の機能構成についての説明を続ける。画像出力部108は,特徴量,特徴量が計測された領域の位置情報,および,その領域の座標情報が電子透かしとして埋め込まれた元画像1002を印刷する。なお,画像出力部108は,元画像を印刷するのではなく,電子データとして,フレキシブルディスク,CD(Compact Disk)等の外部記録媒体に出力してもよいし,通信網を介して接続された他のコンピュータに送信してもよい。そして,外部記録媒体に出力された,または他のコンピュータに送信された元画像1002は,他のコンピュータ等により印刷されてもよい。
【0036】
読み取り部110は,元画像が印刷された印刷物1004を読み取り,読み取り画像を作成する。具体的には,スキャナ等の読み取り手段を介して印刷物を読み取り,読み取られたデータに基づいて読み取り画像を作成する。なお,元画像が印刷された印刷物には,元画像部分の他に余白部分が含まれている場合があるが,読み取り部110によって作成される読み取り画像には,そのような余白部分も含まれている。また,読み取り時に元画像が縮小される場合もある。読み取り部110は,上述のようにスキャナによって印刷物を読み取るほか,例えばデジタルカメラによって印刷物を撮影し,撮影された画像のデータを取り込んで,読み取り画像を作成することもできる。
【0037】
抽出部112は,読み取り部110によって作成された読み取り画像から,埋め込まれている情報,すなわち特徴量と,その特徴量が計測された位置情報と,を抽出する。抽出部112は,抽出した情報を,改ざん検出システム10内の記憶領域に保存する。
【0038】
座標情報抽出部114は,読み取り画像から,埋め込まれている座標情報を抽出する。位置情報取得部116は,特徴量計測部102によって指定された任意の領域の位置情報,および,座標情報抽出部114によって抽出された座標情報に基づいて,読み取り画像における,元画像の任意の領域に対応する領域(以後,対応領域とも称する。)の位置情報を取得する。
【0039】
具体的には,図4に示すように,座標情報抽出部114は,読み取り画像の例えば左上端から右下端に向かって,埋め込まれている目視不能な情報を検索し,その情報を抽出する。図示の例によれば,読み取り画像の開始点2002に埋め込まれている(200,200)を示す情報,および終了点2004に埋め込まれている(300,300)を示す情報を抽出する。位置情報取得部116は,座標情報抽出部114によって情報が抽出された点の読み取り画像における座標を取得し,抽出部112によって抽出され,改ざん検出システム10内の記憶領域に保存された情報に基づいて,読み取り画像領域情報を作成する。図示の例によれば,(200,200)の情報が抽出された開始点2002は読み取り画像上では座標(368,248)によって特定される点であり,また,(300,300)の情報が抽出された終了点2004は読み取り画像上では座標(435,315)によって特定される点である。従って,元画像において座標(200,200)および(300,300)で特定される領域は,読み取り画像上では座標(368,248)および(435,315)によって特定される領域と対応していることがわかる。そこで,位置情報取得部116は,対応領域を特定する位置情報「368,248,435,315」と,抽出部112によって抽出された,元画像におけるその領域の特徴量とを関連付けて,改ざん検出システム10内の記憶領域に保存しておく。
【0040】
上述のように,座標情報埋め込み部106,座標情報抽出部114および位置情報取得部116により,座標の情報を用いて,元画像と読み取り画像との対応領域を求めることによって,元画像には無かった余白が読み取り画像にできた場合でも,また,印刷物の読み取り時に読み取り方向がずれることにより読み取り画像に位置ずれが生じた場合でも,元画像の任意の領域に正確に対応する読み取り画像上の領域を特定することができる。
【0041】
変更画像作成部118は,読み取り画像に変更を加えて,読み取り画像に各々異なる変更が加えられた複数の変更画像を作成する。具体的には,変更画像作成部118は,位置情報取得部116によって求められた,特徴量が計測された元画像の任意の領域に対応する読み取り画像上の領域に対して,画素の濃度値の変更や,アフィン変換を行い,複数の変更画像を作成する。変更画像作成の詳細は後述する。なお,変更画像作成部118は,読み取り画像全体に対して濃度値の変更,アフィン変換を行ってもよい。
【0042】
作成された複数の変更画像は,上述の特徴量計測部102によって,各々特徴量を計測される。
【0043】
特徴量差分算出部122は,特徴量計測部102によって計測された元画像の任意の領域の特徴量と,同様に特徴量計測部102によって計測された複数の変更画像の特徴量の各々との差分値を求める機能を有する。具体的には,特徴量差分算出部122は,特徴量計測部102による計測結果である複数の特徴量の各々と,抽出部112によって読み取り画像から抽出された特徴量との差分値を求める。
【0044】
判定部124は,特徴量差分算出部122によって算出された複数の差分値のなかで,最小の値に基づいて改ざん有無を決定する。具体的には,最小の差分値と,改ざん検出のための閾値(以後,改ざん検出閾値と称する。)とを比較して,差分値が改ざん検出閾値よりも小さければその領域の画像は改ざんされていないと判定し,差分値が改ざん検出閾値以上であれば,改ざんされていると判定する。
【0045】
以上,改ざん検出システム10の機能構成について説明した。次に,図2に基づいて,改ざん検出システム10の処理の流れについて説明する。
【0046】
まず,改ざん検出システム10に画像が元画像として入力される(S102)。元画像となる画像として,本実施形態では,複数の文字が並んで描かれている画像を使用し,改ざん検出システム10は,元画像に描かれている文字が,読み取り画像において改ざんされているか否かを判定する。元画像が入力されると,改ざん検出システム10の特徴量計測部102により,元画像の特徴量が計測される(S104)。本実施形態では,元画像に描かれている複数の文字のうちの任意の1文字を含む領域の特徴量が計測される。計測された特徴量と,特徴量を計測した領域の位置情報,およびその位置情報に含まれる座標の情報が,特徴量埋め込み部104および座標情報埋め込み部106により元画像に埋め込まれる(S106)。元画像は,S106で情報が埋め込まれた後,画像出力部108によって印刷出力される(S108)。
【0047】
次に,S108において作成された,元画像が印刷された印刷物が,読み取り部110によって読み取られ,読み取り画像が作成される(S110)。作成された読み取り画像から,埋め込まれている情報が,抽出部112および座標情報抽出部114によって抽出され,位置情報取得部116によって,特徴量が計測された元画像上の領域と対応する読み取り画像上の領域が特定される(S112)。
【0048】
S112で対応領域が特定されると,変更画像作成部118によって変更画像が作成され(S114),作成された変更画像の特徴量が,特徴量計測部102によって計測される(S116)。S112において抽出部112によって抽出された元画像の特徴量と,S116において計測された変更画像の特徴量の差分値が特徴量差分算出部122によって求められる(S118)。S114〜S118が複数回実行され,作成された複数の変更画像の特徴量と,元画像の特徴量との差分値がそれぞれ求められる。そして,複数回実行されたS118において求められた複数の差分値の中の,最小の値に基づいて,判定部124によって改ざん有無の判定が行われる(S120)。
【0049】
以上,改ざん検出システム10の処理の流れについて説明した。次に,図5〜図10に基づいて,変更画像作成部118による変更画像の作成処理について,詳細に説明する。
【0050】
変更画像作成部118が変更画像を作成する元となる画像は,読み取り画像における元画像の任意の領域(特徴量を計測された領域)に対応する領域の画像である。上述のように,座標情報埋め込み部106,座標情報抽出部114,および位置情報取得部116により,座標の情報を用いて,読み取り画像における,元画像の任意の領域に対応する領域が求められる。そのため,元画像の任意の領域にほぼ正確に対応する読み取り画像上の領域を特定することができる。ほぼ正確に対応領域が特定できれば,元画像の任意の領域の特徴量と,その領域に対応する読み取り画像上の領域の特徴量とは,読み取り画像のその領域が改ざんされていない限り,ほぼ同等の値になるはずであり,2つの特徴量の差分値は改ざん閾値よりも小さい値となるはずである。
【0051】
しかし,画像出力部108による元画像の印刷時に,元画像の任意の領域に意図しない変更が加えられる場合や,読み取り部110による印刷物の読み取り時に,読み取り画像上の対応領域に意図しない変更が加えられる場合がある。具体的には例えば,元画像の印刷時にインクが滲んで,元画像に描かれている文字,図形,記号等の線の幅が広くなる場合や,インクやトナー不足により文字等がかすれたり,線の幅が狭くなる場合がある。また,印刷物の読み取り時における印刷物の汚れや,印刷物に付着したゴミにより,読み取り画像にノイズが生じる場合がある。また,元画像に電子透かしを埋め込んで印刷した場合には,その電子透かしが原因で元画像と読み取り画像との特徴量に大きな差分が生じる場合があり,そのような場合には電子透かしがノイズになりうる。また,印刷物の読み取り時に,読み取り方向のずれや印刷物の皺などにより,読み取り画像上の文字,図形,記号等に傾き,歪みが生じる場合がある。そのように,元画像や読み取り画像に意図しない変更が加えられた場合には,読み取り画像が改ざんされていない場合であっても,元画像と読み取り画像の特徴量に大きな差が出る可能性がある。元画像の特徴量と読み取り画像の特徴量との間に差が出た結果,特徴量間の差分値が改ざん検出閾値よりも大きくなり,読み取り画像への改ざんは実際にはされていないにもかかわらず,判定部124によって改ざん有りと判定されてしまう場合がある。そこで,変更画像作成部118によって,読み取り画像に複数のパターンの変更を加えることにより,上記意図しない変更が加えられる前の状態に近い変更画像の作成を試みる。そして,上記意図しない変更が加えられる前の状態に最も近い変更画像の特徴量と元画像の特徴量とに基づいて,判定部124が改ざん有無を判定すれば,実際には改ざんされていないにもかかわらず改ざん有りと判定してしまうことを防止できる。以下に,図面を参照して具体的に説明する。
【0052】
図5は,意図しない変更が加えられた場合として,読み取り画像において,画像中の文字の線の幅が元画像に比べて広く,または狭く変化した例を示す。図示のように,元画像202の特徴量は6.0である。一方,線幅が膨張した読み取り画像204の特徴量は4.7であり,線幅が収縮した読み取り画像206の特徴量は7.8である。元画像の特徴量との差分は,それぞれ1.3と1.8であり,改ざん検出閾値を1.0とした場合には,読み取り画像204,206の双方とも,改ざんありと判定される。
【0053】
そこで,読み取り画像204,206に対して,変更画像作成部118により複数のパターンの変更が加えられ,複数の変更画像が作成される。図6Aは,線幅が膨張した読み取り画像204に基づいて変更画像を作成する場合を示す。変更画像作成部118が,読み取り画像204中の文字の線の幅が広くなるように膨張処理を施した結果,読み取り画像204の変更画像204aが作成される。また,変更画像作成部118が,読み取り画像204中の文字の線の幅が狭くなるように収縮処理を施した結果,読み取り画像204の他の変更画像204bが作成される。膨張処理および収縮処理については図7〜図9を参照して後述する。変更画像204aの特徴量は4.0であり,元画像の特徴量との差分は2.0である。一方,変更画像204bの特徴量は5.9であり,元画像の特徴量との差分は0.9である。図示の例によれば,変更画像は204aおよび204bの2つしか作成されていないので,2つの差分値の中の最初の値である0.1に基づいて,判定部124が改ざん有無の判断を行う。その結果,本例では改ざん検出閾値が1.0であるため,改ざんなしと判断される。なお,変更画像作成部118は,膨張や収縮の程度を変えることにより,複数の変更画像を作成してもよい。また,最小値を取得する複数の特徴量の差分値の中に,変更前の読み取り画像204の特徴量と元画像の特徴量との差分値が含まれていても構わない。
【0054】
図6Bは,線幅が収縮した読み取り画像206に基づいて変更画像を作成する場合を示す。変更画像作成部118が,読み取り画像206中の文字の線の幅が広くなるように膨張処理を施した結果,読み取り画像206の変更画像206aが作成される。また,変更画像作成部118が,読み取り画像206中の文字の線の幅が狭くなるように収縮処理を施した結果,読み取り画像206の他の変更画像206bが作成される。変更画像206aの特徴量は5.8であり,元画像の特徴量との差分は0.2である。一方,変更画像206bの特徴量は8.6であり,元画像の特徴量との差分は2.6である。図示の例によれば,変更画像は206aおよび206bの2つしか作成されていないので,2つの差分値の中の最初の値である0.2に基づいて,判定部124が改ざん有無の判断を行う。その結果,本例では改ざん検出閾値が1.0であるため,改ざんなしと判断される。なお,変更画像作成部118は,膨張や収縮の程度を変えることにより,複数の変更画像を作成してもよい。また,最小値を取得する複数の特徴量の差分値の中に,変更前の読み取り画像206の特徴量と元画像の特徴量との差分値が含まれていても構わない。
【0055】
次に,図7および図8に基づいて,膨張処理と収縮処理について説明する。膨張処理とは,画像に含まれる文字,図形,記号等の線の幅を広くする処理である。膨張処理は,画像中の一部の画素の濃度値を変えることにより実現できる。膨張処理を行う方法としては,例えば,処理対象の画像が2値画像であり,文字,図形,記号等が黒画素で表されている場合には,図7に示したように,黒画素に隣接する白画素を黒画素に変換する方法を用いることができる。黒画素に隣接する白画素を黒画素に変換することにより,文字等の線の幅を広げることができる。また,黒画素に変換する白画素の範囲を変えることにより,膨張の程度を調節することができる。例えば,図7の例によれば,読み取り画像210に対して,黒画素に隣接する白画素を黒画素に変換した結果,変更画像210aが作成される。本例では,黒画素に隣接している白画素のみを変換したが,黒画素に隣接する白画素と,その白画素に隣接している白画素をさらに黒画素に変換するようにすれば,変更画像210aよりもさらに黒画素の多い,つまりさらに文字の線幅が膨張した状態の変更画像を作成できる。
【0056】
一方,収縮処理とは,画像に含まれる文字,図形,記号等の線の幅を狭くする処理である。収縮処理もまた,画像中の一部の画素の濃度値を変えることにより実現できる。収縮処理を行う方法として,例えば,処理対象の画像が2値画像であり,文字,図形,記号等が黒画素で表されている場合には,図7に示したように,白画素に隣接する黒画素を白画素に変換する方法を用いることができる。白画素に隣接する黒画素を白画素に変換することにより,文字等の線の幅を狭めることができる。また,白画素に変換する黒画素の範囲を変えることにより,収縮の程度を調節することができる。例えば,図7の例によれば,読み取り画像212に対して,白画素に隣接する黒画素を白画素に変換した結果,変更画像212bが作成される。なお,白画素に変換する黒画素の範囲を変えることにより,収縮の程度を調節することができる。
【0057】
上記では,処理対象の画像が2値画像である場合について説明した。処理対象の画像が2値画像でない場合には,まず画像の2値化を行い,処理対象の画像を2値画像にした後に,上記の如く黒画素を白画素へ,または白画素を黒画素へ変換する方法を用いることができる。なお,処理対象の画像の2値化を行う前に,図9に示すような平滑化処理を行っても良い。平滑化処理は,メディアンフィルタや移動平均法により実施できる。
【0058】
以上,読み取り画像に意図しない変更が加えられた場合として,読み取り画像において,画像中の文字の線の幅が元画像に比べて広く,または狭く変化した場合について説明した。次に,図9に基づいて,意図しない変更が加えられた場合として,読み取り画像にノイズが生じた場合について説明する。
【0059】
読み取り画像204は,元画像の任意の領域の位置情報,その任意の領域の特徴量,および位置情報に含まれる座標情報が電子透かしとして埋め込まれた印刷物を読み取って作成された読み取り画像の一部である。そのため,文字,図形,記号等(図示の例では文字「A」)の他にも目視不能な情報が電子透かしとして埋め込まれている。この電子透かしにより,元画像と読み取り画像との特徴量に差が生じる。そこで,画像中の文字,図形,記号等と電子透かしとの分離を行い,電子透かしが除去された状態で特徴量を計測することが望ましい。そのため,変更画像作成部118は,読み取り画像204を2値化し,変更画像として,読み取り画像の2値画像を作成する。2値化を行うことにより,画像中の文字,図形,記号等と電子透かしとの分離が可能となる。画像の2値化は,設定した閾値よりも高い濃度値の画素を白画素に変換し,閾値以下の濃度値の画素を黒画素に変換することにより実行できる。この場合,閾値が低いほど白画素に変換される確率が高くなり,閾値が高ければ黒画素に変換される確率が高くなる。そのため,閾値が高すぎると,電子透かしの一部が黒画素に変換され,文字等と電子透かしの分離が適切に行われない可能性がある。また,閾値を高く設定した場合は,読み取り画像中の,読み取り時に印刷物に汚れやゴミが付着していた部分が黒画素に変換される。また,印刷時に濃度のムラが生じた場合や,読み取り時に輝度のムラが生じた場合,黒画素に変換される部分が多くなる。図示の例によれば,閾値を190に設定して2値化した読み取り画像204fは,190よりも小さい閾値で2値化された204c,204d,204eに比べて黒画素の割合が多くなっている。一方,閾値が低すぎると,読み取り画像中の文字,図形,記号等の一部が白画素に変換されてしまい,文字等がかすれたり,消えたりしてしまう。そこで,変更画像作成部118は,2値化の閾値を変更しながら複数の2値画像を作成する。2値化の閾値を変更することにより,読み取り画像中の文字等のかすれや消滅を防ぎながら,電子透かしと文字等との分離が適切に行われたノイズが少ない変更画像の作成が可能となる。
【0060】
図示の例によれば,閾値80で2値化された変更画像204c,閾値110で2値化された変更画像204d,閾値150で2値化された変更画像204e,閾値190で2値化された変更画像204fの順に,画像中の黒画素が多くなっている。変更画像作成部118が204c〜204fの変更画像を作成すると,特徴量計測部102が各変更画像の特徴量を計測する。本例によれば,変更画像204cの特徴量は7.1,変更画像204dの特徴量は6.1,変更画像204eの特徴量は5.6,変更画像204fの特徴量は3.5である。特徴量差分算出部122により,元画像の特徴量6.0と各変更画像の特徴量との差分値が求められ,差分値は図示のように,変更画像204cが1.1,変更画像204dが0.1,変更画像204eが0.4,変更画像204fが2.5となる。判定部は,特徴量差分算出部122によって求められた複数の差分値の中の最小の値に基づいて改ざん有無の判定を行う。本例によれば,最小の値は変更画像204dの0.1であるため,判定部124は0.1と改ざん検出閾値1.0とを比較する。比較の結果,差分値は改ざん検出閾値よりも小さいため,判定部124は改ざん無しと判定する。
【0061】
なお,図9に示したように,読み取り画像の2値化を行う前に,平滑化処理を行っても良い。平滑化処理は,メディアンフィルタや移動平均法により実施できる。
【0062】
上述のように,2値化の閾値を変化させながら,読み取り画像から複数の2値画像を作成し,2値画像の特徴量に基づいて読み取り画像の改ざん有無を判定することにより,画像出力部108が元画像を印刷する際のインクやトナーの濃度や,読み取り部110が印刷物を読みとる際のスキャナの光源の輝度に応じて,読み取り画像全体の平均濃度値の変動や,印刷ムラや読み取り時の輝度ムラによる局所的な濃度値の変動が発生しても,適切な閾値で2値化された結果,元画像に最も近い状態となった読み取り画像に基づいて改ざん有無を判定することができる。また,読み取り画像の特徴量に対する電子透かしの影響も除去できる。また,読み取り画像の画素の濃度値の変動に関わる汚れやゴミが,読み取り時に印刷物に付着していたとしても,適切な閾値で2値化されることにより,その影響を除去できる。従って,実際には改ざんされていない読み取り画像を,上記のような平均濃度値の変化,局所的な濃度値の変化が原因で改ざん有りと誤って判断してしまうことを防止できる。
【0063】
以上,図9に基づいて,読み取り画像に意図しない変更が加えられた場合として,読み取り画像にノイズが生じた場合について説明した。次に,意図しない変更が読み取り画像に加えられた場合の例として,読み取り画像が傾いている場合について,図10を参照して説明する。
【0064】
図10では,傾いた状態で印刷物が読み取られることにより,読み取り画像に傾きが生じている状態を示す。読み取り画像の傾きは,読み取り部110がスキャナにより印刷物を読み取る場合には,例えば,読み取り方向のずれや,印刷物の皺などにより生じうる。また,読み取り部110がデジタルカメラにより印刷物を撮影し,撮影された画像を取り込む場合には,例えば,撮影方向のずれによっても読み取り画像の傾きが生じる。図10の例は,印刷物1004をデジタルカメラで撮影した際に,撮影方向のずれにより読み取り画像に傾きが生じている状態を示している。読み取り画像が傾いた結果,読み取り画像204の文字「A」に歪みが生じている。歪みが生じた読み取り画像は,特徴量が4.2であり,元画像の特徴量6.0との差分は1.8である。差分の値1.8は,改ざん検出閾値1.0よりも大きいので,歪みが生じた読み取り画像204は判定部124によって改ざん有りと判定されてしまう。
【0065】
そこで,変更画像作成部118は,読み取り画像をアフィン変換して複数の変更画像を作成する。図示の例によれば,読み取り画像の中央横軸を中心に,手前方向に2度回転させた場合の変更画像204jと,奥方向に2度回転させた場合の変更画像204kを作成する。変更画像204jの特徴量は5.7で,変更画像204kの特徴量は4.7であり,変更画像204jに基づいて改ざん有無の判定を行えば,判定部124は改ざん無しと判断する。変更画像作成部118が行うアフィン変換としては,読み取り画像の角度,縮尺,配置を変換することなどが考えられる。上述のように,変更画像作成部118により,読み取り画像から,アフィン変換された複数の変更画像が作成されることにより,読み取り画像に傾きや歪みが生じた場合でも,その傾き,歪みをアフィン変換により取り除いた状態の変更画像に基づいて,改ざん有無の判定を行うことができる。そのため,実際には改ざんされていない読み取り画像を,読み取り時等に生じた傾き,歪みが原因で改ざん有りと誤って判定してしまうことを防止できる。また,読み取り画像に生じる変更としては,上述の傾き,歪みのほかに,配置ずれや,画像の大きさの変更が挙げられる。配置ずれは,例えば,読み取り時における印刷物の紙面の歪み等によって生じる。画像の大きさの変更は,例えば,スキャナでの印刷物の読み取り時に,スキャナにより拡大や縮小が行われることによって生じる。また,カメラで印刷物を撮影する場合には,印刷物からカメラまでの距離やズームの程度に応じて撮影された画像の大きさが異なるため,読み取り画像の大きさが元画像と異なる場合がある。そのように,読み取り画像に配置ずれ,大きさの変更が生じた場合でも,本実施形態にかかる改ざん検出システムによれば,読み取り画像をアフィン変換して回転,拡大,縮小,平行移動させて複数の変更画像を作成し,各変更画像の特徴量を求め,元画像に最も近い特徴量と元画像の特徴量との差分値に基づいて改ざん有無判定を行うことで,より精度の高い改ざん有無の判定を行うことができる。なお,アフィン変換による読み取り画像の回転,拡大,縮小,平行移動は,各々単独で行われても良いし,複数を組み合わせて行われても良い。
【0066】
以上,変更画像作成部118による変更画像の作成処理について詳細に説明した。変更画像作成部118は,上述した各変更画像の作成処理を,単独で,または複数を組み合わせて行うことにより,ひとつの読み取り画像から複数の変更画像を作成することができる。
【0067】
以上説明したように,本実施形態にかかる改ざん検出システム10によれば,まず,元画像において特徴量を計測した領域の位置情報を,座標と関連づけて埋め込むことにより,読み取り画像において対応領域を正確に特定することができる。そして,正確に特定された領域の画像に基づいて複数の変更画像を作成することにより,元画像の印刷時や印刷物の読み取り時等に,その特定された領域に加えられた可能性のある意図しない変更を除去し,元画像に最も近い状態の画像を作成することができる。作成された各変更画像の特徴量を計測し,元画像の特徴量との差分が最も小さい特徴量に基づいて,つまり,元画像に最も近い状態の変更画像に基づいて,読み取り画像に改ざんがされたか否かを判定することにより,上記意図しない変更が加えられたことが原因で,実際には改ざんされていない読み取り画像を改ざん有りと判定してしまう判定の誤りを防止することができる。
【0068】
以上,添付図面を参照しながら本発明の好適な実施形態について説明したが,本発明は係る例に限定されないことは言うまでもない。当業者であれば,特許請求の範囲に記載された範疇内において,各種の変更例または修正例に想到し得ることは明らかであり,それらについても当然に本発明の技術的範囲に属するものと了解される。
【産業上の利用可能性】
【0069】
本発明は,印刷物の印刷内容の改ざん有無を判定する改ざん検出システムに適用可能である。
【図面の簡単な説明】
【0070】
【図1】本発明の実施形態にかかる改ざん検出システムを示すブロック図である。
【図2】同実施の形態における改ざん検出処理を示すフローチャートである。
【図3】同実施の形態における座標情報埋め込み処理を示す説明図である。
【図4】同実施の形態における座標情報抽出処理を示す説明図である。
【図5】同実施の形態における改ざん有無の判定例を示す説明図である。
【図6A】同実施の形態における変更画像作成処理を示す説明図である。
【図6B】同実施の形態における変更画像作成処理を示す説明図である。
【図7】同実施の形態における変更画像作成処理を示す説明図である。
【図8】同実施の形態における変更画像作成処理を示す説明図である。
【図9】同実施の形態における変更画像作成処理を示す説明図である。
【図10】同実施の形態における変更画像作成処理を示す説明図である。
【図11】同実施の形態における電子透かしの埋め込み例を示す説明図である。
【図12】同実施の形態における電子透かしの埋め込み例を示す説明図である。
【符号の説明】
【0071】
102 特徴量計測部
104 特徴量埋め込み部
106 座標情報埋め込み部
108 画像出力部
110 読み取り部
112 抽出部
114 座標情報抽出部
116 位置情報取得部
118 変更画像作成部
122 特徴量差分算出部
124 判定部

【特許請求の範囲】
【請求項1】
印刷物の印刷内容の改ざん有無を判定する改ざん検出システムであって:
元画像が印刷された印刷物を読み取って作成された読み取り画像に変更を加えて,前記読み取り画像に各々異なる変更が加えられた複数の変更画像を作成する変更画像作成部と;
前記複数の変更画像の各々の特徴量を計測する特徴量計測部と;
前記元画像の特徴量と,前記各変更画像の特徴量との差分値を求める特徴量差分算出部と;
前記特徴量差分算出部によって求められた値に基づいて前記読み取り画像が改ざんされているか否かを判定する判定部と;
を備えることを特徴とする,改ざん検出システム。
【請求項2】
前記判定部は,前記特徴量差分算出部によって求められた複数の差分値中の最小の値と,所定の改ざん閾値とに基づいて,前記読み取り画像が改ざんされているか否かを判定することを特徴とする,請求項1に記載の改ざん検出システム。
【請求項3】
前記変更画像作成部は,前記読み取り画像の画素の濃度値を変更することを特徴とする,請求項1または2に記載の改ざん検出システム。
【請求項4】
前記変更画像作成部は,所定の2値化閾値に基づいて,前記読み取り画像の2値化を行うことを特徴とする,請求項3に記載の改ざん検出システム。
【請求項5】
前記変更画像作成部は,前記2値化閾値を変更可能であることを特徴とする,請求項4に記載の改ざん検出システム。
【請求項6】
前記変更画像作成部は,黒画素に隣接する白画素を黒画素に置き換えることを特徴とする,請求項3〜5のいずれか1項に記載の改ざん検出システム。
【請求項7】
前記変更画像作成部は,白画素に隣接する黒画素を白画素に置き換えることを特徴とする,請求項3〜5のいずれか1項に記載の改ざん検出システム。
【請求項8】
前記変更画像作成部は,前記読み取り画像を回転,拡大,縮小および/または平行移動することを特徴とする,請求項1〜7のいずれか1項に記載の改ざん検出システム。
【請求項9】
前記読み取り画像には,前記元画像の任意の領域の位置情報と前記任意の領域の特徴量とが関連付けられて埋め込まれており,
前記読み取り画像から前記埋め込まれている位置情報,および前記特徴量を抽出する抽出部と;
前記抽出部によって抽出された位置情報に基づいて,前記読み取り画像における,前記元画像の任意の領域に対応する領域の位置情報を取得する位置情報取得部と;をさらに備え,
前記変更画像作成部は,前記位置情報取得部によって取得された位置情報に基づいて,前記元画像の任意の領域に対応する読み取り画像上の領域から前記変更画像を作成し,
前記特徴量差分算出部は,前記抽出部によって前記読み取り画像から抽出された特徴量と,前記各変更画像の特徴量との差分値を求めることを特徴とする,請求項1〜8のいずれか1項に記載の改ざん検出システム。
【請求項10】
前記特徴量計測部は,前記元画像の任意の領域の特徴量を計測し,
前記元画像の任意の領域の位置情報と前記任意の領域の特徴量とを関連付けて前記元画像に埋め込む特徴量埋め込み部と;
前記位置情報に含まれる座標によって特定される点と関連づけて前記座標の情報を前記元画像に埋め込む座標情報埋め込み部と;
前記座標情報が埋め込まれた元画像を出力する画像出力部と;
前記出力された元画像が印刷された印刷物を読み取り,前記読み取り画像を作成する読み取り部と;
前記読み取り画像から,前記埋め込まれている座標情報を抽出する座標情報抽出部と;をさらに備え,
前記位置情報取得部は,前記抽出部によって抽出された位置情報および前記座標情報抽出部によって抽出された座標情報に基づいて,前記読み取り画像における,前記元画像の任意の領域に対応する領域の位置情報を取得することを特徴とする,請求項9に記載の改ざん検出システム。
【請求項11】
印刷物の印刷内容の改ざん有無を判定する改ざん検出方法であって:
元画像が印刷された印刷物を読み取って作成された読み取り画像に変更を加えて,前記読み取り画像に各々異なる変更が加えられた複数の変更画像を作成する変更画像作成ステップと;
前記複数の変更画像の各々の特徴量を計測する特徴量計測ステップと;
前記元画像の特徴量と,前記各変更画像の特徴量との差分値を求める特徴量差分算出ステップと;
前記特徴量差分算出部によって求められた値に基づいて前記読み取り画像が改ざんされているか否かを判定する判定ステップと;
を含むことを特徴とする,改ざん検出方法。


【図1】
image rotate

【図2】
image rotate

【図3】
image rotate

【図4】
image rotate

【図5】
image rotate

【図6A】
image rotate

【図6B】
image rotate

【図7】
image rotate

【図8】
image rotate

【図9】
image rotate

【図10】
image rotate

【図11】
image rotate

【図12】
image rotate


【公開番号】特開2006−261824(P2006−261824A)
【公開日】平成18年9月28日(2006.9.28)
【国際特許分類】
【出願番号】特願2005−73694(P2005−73694)
【出願日】平成17年3月15日(2005.3.15)
【出願人】(000000295)沖電気工業株式会社 (6,645)
【Fターム(参考)】