説明

交付文書確認システム、交付文書生成装置、交付文書確認装置、交付文書の確認方法及びコンピュータプログラム

【課題】交付文書がゴミなどのせいで汚れてしまっていたりしても、精度よく改ざんを検知できる装置を提供すること。
【解決手段】交付文書生成装置100は、原稿画像に対して保護すべきオブジェクトを含む重要領域を特定し、特定された重要領域毎の保護情報である領域保護情報を生成し、領域保護情報を入力された原稿画像の重要領域内の保護すべきオブジェクトの背景に保護パターンとして埋め込み、領域保護情報及び重要領域の座標を保存し、領域保護情報及び重要領域の座標から改ざん検知のための検知情報を構築し、検知情報に基づいて検知用画像を生成し埋め込み、交付文書確認装置101は、検知用画像から検知情報を取り出し、取り出した検知情報に基づいて重要領域を特定し保護パターンを抽出し、保護パターンから領域保護情報を抽出し、保護パターンから抽出された領域保護情報と検知用画像に格納される領域保護情報とを比較し改ざんの有無を判定する。

【発明の詳細な説明】
【技術分野】
【0001】
本発明は、交付文書確認システム、交付文書の確認方法及びコンピュータプログラムに関し、特に、改ざんの検知が可能な交付文書確認システム、交付文書の確認方法及びコンピュータプログラムに関する。
【背景技術】
【0002】
従来、原稿に対する印刷物単体で改ざんを検知するために、原稿の特徴的な情報を印刷文書に付加して印刷出力する技術及び印刷文書の内容が原稿の特徴的な情報と一致するかを判断する技術が開示されている。以降、原稿の特徴的な情報を検知情報、原稿に対して検知情報を付加した印刷物を交付文書とする。この技術の適用例としては、内容を保護したい原稿として紙又は原稿電子データの形態が有りうる。これを文書交付者が交付文書生成装置にて原稿の内容を元に交付文書を生成、印刷し発行する。この交付文書の代表的なものはチケットや契約書等が挙げられる。交付文書は状況に応じて文書確認者により、正当なものか、内容が改ざんされていないかどうかの判定が可能である必要がある。そこでは交付文書の内容をスキャナ等で読み込み、交付文書確認装置で確認するような仕組みが必要となる。これに対して、例えば、特許文献1では原稿画像の画像特徴量を検知情報として、交付文書に付加して印刷出力する。改ざん検知時には交付文書をスキャンして画像特徴量を計算し、埋め込まれた検知情報と比較することで改ざん検知機能を実現している。
【先行技術文献】
【特許文献】
【0003】
【特許文献1】特開2003−264685号公報
【発明の概要】
【発明が解決しようとする課題】
【0004】
しかしながら、上記の従来技術では、改ざん検知の際、交付文書を交付文書確認装置でスキャンして改ざんを判定することが多いが、検知の精度が高くないことが多い。これの主な原因は、交付文書にゴミやよごれが付いてしまったり、交付文書を交付文書確認装置でスキャンする際、少し斜めにおいてしまったりして、交付文書をうまくスキャンできないことが挙げられる。又は、原稿の内容を元に検知情報を生成する交付文書生成装置と、交付文書をスキャンした後に画像の特徴的な情報と検知情報を比較する交付文書確認装置では情報読み取り精度が異なるといったことも挙げられる。すなわち、特許文献1での原稿の画像情報を元に検知情報を生成する手法では、交付文書のゴミやよごれが交付文書確認装置では画像特徴量に算出されてしまい、誤判定を引き起こす可能性がある。
【0005】
そこで、本発明は、交付文書がゴミなどのせいで汚れてしまっていたりしても、精度よく改ざんを検知できる装置を提供することを目的とする。
【課題を解決するための手段】
【0006】
上記課題を解決するため、本発明に係る交付文書確認システムは、交付文書を生成する交付文書生成装置と、該交付文書の改ざんの有無を確認する交付文書確認装置とを備える交付文書確認システムであって、前記交付文書生成装置は、原稿画像に対して保護すべきオブジェクトを含む重要領域を特定し、該特定された重要領域毎の保護情報である領域保護情報を生成し、前記領域保護情報を入力された原稿画像の前記重要領域内の保護すべきオブジェクトの背景に保護パターンとして埋め込み、前記領域保護情報及び前記重要領域の座標を保存し、前記領域保護情報及び前記重要領域の座標から改ざん検知のための検知情報を構築し、前記検知情報に基づいて検知用画像を生成し埋め込み、前記交付文書確認装置は、前記検知用画像から検知情報を取り出し、該取り出した検知情報に基づいて前記重要領域を特定し前記保護パターンを抽出し、前記保護パターンから前記領域保護情報を抽出し、該保護パターンから抽出された前記領域保護情報と前記検知用画像に格納される前記領域保護情報とを比較し改ざんの有無を判定することを特徴とする。
【発明の効果】
【0007】
本発明によれば、従来よりも改ざん検出精度が高い改ざん検知方法を提供することが可能となる。具体的には、交付文書のゴミや汚れが多少存在しても誤判定を引き起こしにくく、情報の読み取り装置の相違による誤判定も防ぐことが可能となる。
【図面の簡単な説明】
【0008】
【図1】本発明の実施形態1におけるネットワークの概略を示す図である。
【図2】本発明の実施形態1における構成を示すブロック図である。
【図3】交付文書生成装置100と交付文書確認装置101の入出力の概要を示す図である。
【図4】重要領域処理部204と検知情報処理部205の動作を示すフローチャートである。
【図5】重要領域処理部204による処理の一例を示すフローチャートである。
【図6】実施形態1における一意のキー情報の生成処理の一例を示す図である。
【図7】重要領域処理部204による処理結果の一例を示す図である。
【図8】検知情報処理部205による処理の一例を示す図である。
【図9】検知情報取得部210、保護領域確認部211及び改ざん判定部212の処理を示すフローチャートである。
【図10】改ざん判定部212の処理の一例を示す図である。
【図11】実施形態1の交付文書確認装置では検知できない例を示す図である。
【図12】実施形態2の重要領域処理部204の動作を示すフローチャートである。
【図13】実施形態2の保護領域確認部211の動作を示すフローチャートである。
【図14】実施形態2のオブジェクトと保護パターンの関係を示す図である。
【図15】実施形態1では保護できない領域が存在する例を示す図である。
【図16】実施形態3の追加重要領域を指定する動作を示すフローチャートである。
【図17】実施形態4のコピー検知も行うための動作を示すフローチャートである。
【図18】非重要領域にコピー劣化しやすいパターンを埋める例を示す図である。
【図19】交付文書生成装置100及び交付文書確認装置101に好適に利用可能な装置の構成を示すブロック図である。
【発明を実施するための形態】
【0009】
添付図面を参照して、本発明の実施形態について詳細に説明する。
[実施形態1]
図1は、本発明の実施形態1におけるネットワークの概略を示す図である。文書交付者は紙の原稿又は電子データとしての原稿データに対し、交付文書生成装置100を操作することで、改ざんを検知することができる交付文書を生成し発行する。この交付文書は文書受領者に渡される。文書受領者はそのまま交付文書を活用する場合と文書改ざん者として交付文書を改ざんして活用する場合があり得る。それに対して、文書確認者は交付文書又は改ざん文書を交付文書確認装置101に読み込ませることにより、交付文書における改ざんの有無を確認する。
【0010】
図2は、本発明の実施形態1としての交付文書確認システムの構成を示すブロック図である。図2に示すように、本実施形態は、交付文書生成装置100と交付文書確認装置101とで構成されている。図2に示すように、交付文書生成装置100は、スキャナ処理部201と、PDLデータ処理部202と、原稿画像格納部203と、重要領域処理部204と、検知情報処理部205と、交付文書画像格納部206と、文書画像出力部207とで構成されている。また、交付文書確認装置101は、スキャナ処理部208と、交付文書画像格納部209と、検知情報取得部210と、保護領域確認部211と、改ざん判定部212と、判定結果表示部213とで構成されている。
【0011】
入力として、紙による原稿又は電子データによる原稿としてのPDL(Page Description Language)等を受け付ける。ここでPDLとは必ずしもプリンタコマンドに限定されず、交付文書生成装置がビットマップとしての原稿画像データに変換できるものであればよい。例えば、JPEGファイルといったものやPDF(Portable Document Format)といったアプリケーションデータでも同じである。紙による原稿は、スキャナ処理部201にて原稿を光学的に読み取り、電子変換することで原稿画像データに変換される。電子データ原稿としてのPDLは、例えば、ホストPCにおいてアプリケーションやプリンタドライバ又は両者を活用して生成され、交付文書生成装置100に送られる。送られたPDLは、PDLデータ処理部202によって描画データの解析とレンダリングが行われ、電子的な原稿画像データに変換される。いずれの系においてもビットマップの形で原稿画像データに変換され、原稿画像格納部203に格納される。原稿画像格納部203に格納された原稿画像データは、ページごとに保護すべき領域と保護する必要がない領域に分類される。そして、重要領域処理部204が、その特定された保護すべき領域(重要領域)に対して内容が保護されるような画像処理を行ない、原稿画像データを更新する。本発明による改ざん検知方法は、この保護すべき重要領域に限定して改ざん検知を実施する。具体的な処理に関しては後記する。
【0012】
ページ内の全ての重要領域に対して内容が保護されるような画像処理が行われると、検知情報処理部205はそれら重要領域の位置や内容が保護されるような画像処理に関する情報を検知情報とする。そして、その検知情報から二次元バーコードのQRコード(登録商標)といった検知用画像を生成し、原稿画像データに埋め込む。元々の原稿画像データに対して重要領域処理部204による内容が保護されるような画像処理や検知情報処理部205による検知用画像が埋め込まれた画像データは、交付文書画像データとして交付文書画像格納部206に格納される。その交付文書画像データを文書画像出力部207が印刷する。そして、原稿画像データの全てのページが交付文書画像データへ変換され、印刷されることで交付文書102ができ上がる。交付文書確認装置101は入力として紙による交付文書102を受け取り、スキャナ処理部208が原稿を光学的に読み取り、電子変換することでビットマップとしての交付文書画像データを生成する。
【0013】
交付文書画像格納部209は交付文書画像データをハードディスクやメモリに格納する。検知情報取得部210は交付文書画像データからQRコードといった形で埋め込まれた検知用画像の箇所を特定し、その検知用画像を元に検知情報を取得する。保護領域確認部211は、検知情報取得部210にて取得された検知情報にて指定される重要領域内が改ざんされてないかどうかの確認と、その重要領域に施された内容が保護されるような画処理に関する情報の確認を行う。具体的な処理に関しては後記する。改ざん判定部212は、保護領域確認部211による重要領域内の改ざん確認結果と内容を保護するような画処理情報、検知情報取得部210で取得した検知情報を元に、交付文書102が改ざんされているかの判定を行う。この具体的な改ざん判定処理に関しては後記する。判定結果表示部213は、改ざん判定部212の結果をもとに、交付文書102が改ざんされているかどうかを交付文書確認装置101のディスプレイやビープ音、紙への結果出力などを活用して示す。
【0014】
図3は、交付文書生成装置100及び交付文書確認装置101の入出力の概要を具体例にて示した図である。紙としての原稿300を交付文書生成装置100に入力すると、交付文書102が生成される。重要領域を文字部とあらかじめ定めておくと、301のように文字領域の背景部分に保護パターンが埋め込まれる。図2の説明において、上記した内容を保護する画像処理とは、本例では文字列自体を保護すべき内容とし、その背景部分に保護パターンを埋め込む画像処理であることを意味する。また、この保護パターンとは任意のパターンではなく、意味を持つ情報をもとに生成されたものである。少なくともページ内の他の重要領域と区別できる情報を含む必要がある。さらには、利便性を高めたり、改ざん検知精度を高めるために、保護すべき内容に関する情報(例えば文字列に対する文字コードやビットマップに対する配置情報)を含めることができる。詳細は図6を用いて後記する。また、同時に検知情報302は検知用画像としてQRコードのような形で埋め込まれる。両者が埋め込まれた画像データの出力物が交付文書102となる。次に、交付文書102を交付文書確認装置101に入力すると、交付文書確認装置101は、重要領域及び重要領域内の保護パターンによる情報301、検知情報302を元に交付文書102が改ざんされているか否かの判定を行ない、判定結果303を示す。
【0015】
図4は、重要領域処理部204と検知情報処理部205の動作を示すフローチャートである。紙としての原稿又は原稿データがスキャナ処理部201又はPDLデータ処理部202で原稿画像データに変換され、原稿画像格納部203に格納される。すると、重要領域処理部204は、原稿画像格納部に格納された原稿画像データの1ページ分の画像を取得し(S401)、その画像を文字や写真、イメージといったオブジェクト領域に分解する(S402)。ここでの分解手法に関しては、色数による分解、エッジやパターンマッチングを用いた分解、ヒストグラムなど色の構成情報を用いた分解等、様々な手法があるが本発明においては、特に限定されない。次に、重要領域処理部204は、分解されたオブジェクト領域毎に重要領域かどうかの判断をおこなう(S403)。さらに重要領域処理部204は重要領域に関して、その重要領域に対して一意のキー情報を生成する(S404)。そして、キー情報を元に保護パターンを生成し(S405)、重要領域背景に保護パターンを配置する(S406)。
【0016】
ここで重要領域処理部204による重要領域に対する一意のキー情報の生成(S404)、保護パターンの生成(S405)、重要領域へのパターン配置(S406)の例を図5に示す。本例はあらかじめ、文字オブジェクトが存在する領域を重要領域としたものであり、“¥2000”の外接矩形501が重要領域とみなされる。この領域に対して、一意のキー情報502が生成されるが、具体例は図6によって後記する。そして、一意のキー情報から保護パターン503を作成するが、これは例えばキー情報の値を二進数と見なして、ON・OFFのビットマップのパターンとして表現するなどが挙げられる。そのパターンの生成に関しては、本実施形態においては、特に限定されない。ただし、重要領域の背景部に埋め込む際(504)、そのパターンを繰り返し配置するなどといった形で耐久性に強い手法を用いることが好ましい。
【0017】
また、一意のキー情報の生成(S404)の例を、図6に示す。一意のキー情報(502)とは、ページ内の重要領域(501)毎にキー情報が作成されるが、他の重要領域のキー情報と重ならない値であることを意味する。例えば、例1に示されるようにUUID(University Unique Identifier)を用いて、重要領域毎にキー情報(601)を設定するという手法がある。そして、このUUIDをもとに保護パターン(602)を生成することになる。
【0018】
又は、別の手法として、重要領域内の文字オブジェクトをOCRを用いて文字コードを抽出し、その文字コードと重要領域の座標を組み合わせることでもページ内一意のキー情報(603)を生成することができる。ここで、OCRは、Optical Character Recognitionの略である。本例においては、次の例で生成している。すなわち、一意のキー情報(603)は重要領域の位置座標(100,100,500,300)を16進数で表したものと、OCRにより読み取った”¥2000”の文字コードとを組み合わせて生成している。具体的には、重要領域の位置座標(100,100,500,300)を16進数で表したものは、”64−64−1f4−12c”であり、OCRにより読み取った”¥2000”の文字コードは、”5C32303030”である。これをもとに保護パターン(604)を生成すると、図8において後記するように検知情報及び検知用画像に一意のキー情報として文字コードが格納されることになる。この場合、交付文書画像データを表示や印刷しなくても二次元バーコード等で表される検知用画像を確認するだけで、交付文書内の文章といった重要な内容を把握することができる。
【0019】
又は、別の手法として、重要領域内のビットマップのピクセル配置を活用してキー情報を生成することでも、一意のキー情報を生成することができる。本例では、連続するピクセルがOFFの数とONの数を元にキー情報(605)を生成している。最初のスキャンラインにおいて、ピクセルOFFが6個、ピクセルONが5個、ピクセルOFFが6個で構成されることで“636”を生成し、それをスキャンライン毎に繰り返し組み合わせる。このように重要領域内のビットマップを活用したキー情報を元に保護パターン(606)を作成すると、検知情報及び検知用画像に一意のキー情報としてピクセル配置が格納されることになる。この場合、交付文書画像データを表示や印刷しなくても二次元バーコード等で表される検知用画像を確認するだけで、交付文書内の重要な領域に関するピクセル配置、つまり画像を把握することができる。
【0020】
図4のフローチャートにおいて、重要領域処理部204が重要領域背景に保護パターンを配置(S406)した後、その重要領域の一意のキー情報及びその重要領域のページ内の領域座標を保存する(S407)。そして、ページ内、全てのオブジェクト領域に対して重要領域に対する一連の処理を実施する(S408)。図7は、重要領域処理部204がページ内全ての重要領域に対して一連の処理を実施した結果の例を示す図である。パターン701はページ内の全ての重要領域に対して、座標、一意のキー情報、キー情報を元にした保護パターンである。パターン701が例702に示すように各重要領域の背景部に埋め込まれる。
【0021】
図4のフローチャートにおいて、重要領域処理部204の一連の処理が完了すると、検知情報処理部205が、S407で保存している全重要領域のキー情報及び領域座標から検知情報を構築する(S409)。そして、その検知情報から検知用画像を生成し、原稿画像データに検知用画像を埋め込む(S410)。このようにして検知用画像と保護パターンが埋め込まれた原稿画像データは交付文書画像データとして、交付文書画像格納部207がハードディスクやメモリなどに格納する。
【0022】
ここで、検知情報処理部205が行う検知情報の構築(S409)及び検知情報から検知用画像を生成し、原稿画像データへ検知用画像を埋め込む(S410)例を図8に示す。本実施形態において検知情報とは、S407で保存された重要領域全てのキー情報と座標情報を単純に並べたものとしている。その検知情報を元に検知用画像を二次元バーコード(QRコード)として作成する。その検知用画像(QRコード)を原稿画像データに重要領域の背景に保護パターンが埋め込まれた画像データのヘッダー又はフッターといった箇所に埋め込み、新たな画像データを生成する。これが交付文書画像データとなり、交付文書画像格納部206に格納される。本実施形態における交付文書生成装置100では図4のフローチャートに示したように、原稿画像データに対して重要領域への保護パターンの埋め込み及び検知用画像の埋め込みを行い、交付文書画像データを生成している。この交付文書画像データを文書画像出力部207が印刷処理することで、さらにこれらの処理を全てのページに対して処理することで紙としての交付文書が生成できる。
【0023】
図9は、交付文書確認装置101のうち、本発明に係る検知情報取得部210、保護領域確認部211、改ざん判定部212の処理を示すフローチャートである。交付文書の改ざん確認をおこなうため、紙としての交付文書が交付文書確認装置101に投入されると、スキャナ処理部208が交付文書画像データに変換し、交付文書画像格納部209が交付文書画像データをハードディスク又はメモリ等に格納する。格納された交付文書画像データに対し、検知情報取得部210が交付文書画像データの1ページ分の画像を取得し(S901)、その画像から検知用画像を探して取り出し、その検知用画像から検知情報に変換する(S902)。ここで検知用画像の検索手法に関しては、例えば、ヘッダーやフッター等事前に決められた箇所に埋め込まれているとしても良いし、埋め込む場所がテンプレートのような形で予め定められておりテンプレートで指定された箇所を全て検索しても良い。又は、ページデータの外周に近い所から検索する手法や画像データを全てサーチし、あらかじめ定められた色を探す色マッチングやあらかじめ定められたパターンを探すパターンマッチングといった手法も可能である。検知用画像から検知情報を取り出す手法は、図8に示した検知情報から検知用画像を作成する変換の逆変換処理である。
【0024】
検知情報が取得できると(S902)、保護領域確認部211は図8で示した検知情報の中の重要領域の座標情報を取得し、その座標を元に交付文書画像データ内の重要領域を特定する(S903)。さらに、保護領域確認理部211は、特定された重要領域内の保護パターンを取り出し、その保護パターンからキー情報を取得する(S904)。ここで保護パターンとは図6で示したコンテンツを保護するため、重要領域の背景に埋め込まれたパターンであり、その保護パターンからキー情報を取得するには、図6の逆変換を行うことで入手できる。
【0025】
次に、保護領域確認部211は、特定された重要領域内が改ざんされていないかの判断を行う(S905)。ここではS904にて重要領域から保護パターンが取得できたか、保護パターンから正常なキー情報を取得できたかどうかで判断を行う。さらに図6の例2で示したように、キー情報が重要領域内の文字列情報を活用して生成したものであれば、重要領域内にOCRをかけて文字列情報を取得し、それと保護パターンを元に取り出したキー情報が一致するかどうかで判断することもできる。また、図6の例3で示したように、キー情報が重要領域内のビットマップを活用して生成したものであれば、重要領域内のピクセルの配置情報を取得し、それと保護パターンを元に取り出したキー情報が一致するかどうかで判断することもできる。
【0026】
続いて、改ざん判定部212は、少なくとも一つ以上の重要領域が改ざんされていると判断された場合(S905)は、交付文書に対して改ざんあり判定を行う。また、重要領域が改ざんされていないと判断された場合、S902で取得した検知情報に格納されている重要領域の一意のキー情報と、S904で取得した重要領域のキー情報が同じものかどうかを判断する。これが同じだった場合、その重要領域が改ざんされていないと判定する。異なった場合はその重要領域が別の重要領域の別のキー情報を元に加工された改ざんされたものだと判定する。これらの処理をページ内全ての重要領域に対して行い(S907)、一つでも改ざんされた重要領域が存在すれば、交付文書の該当ページは改ざんされたと判定される(S909)。さらに、交付文書全てのページに対して上記一連の処理を行うことで、交付文書全体としての改ざん判定を行うことができる。また、保護パターン又はキー情報が抽出できなかった場合は、上記と同様に、改ざんがあると判定する。
【0027】
図10は、改ざん判定部の処理の一例を示す図である。具体的には、S909の改ざん判定処理の具体例を示している。検知情報取得部210が検知用画像1001を取り出し、その検知用画像を解析し、ページ内重要領域毎の座標と一意のキー情報1002を取得する。保護領域確認部211は、例えば領域3の重要領域から保護パターン1004を取得し、それを解析して、キー情報1005を取得する。このキー情報1005が検知情報の内の領域3として格納されている一意のキー情報1003と一致していればこの重要領域が改ざんされていないことが特定できる。
【0028】
以上説明したように、交付文書生成装置100は、原稿画像データ内の重要領域の背景に保護パターンをキー情報として埋め込み、それらを元に検知情報を生成して検知用画像を付加して交付文書を生成する。そして、交付文書確認装置101は、重要領域内のキー情報と付加された検知情報を元に、その整合性を判断する。これにより、例えば、文書改ざん者が内容を保護すべき文字列等の重要領域を別の文字列に張り替えて改ざん文書を生成したり、重要領域が削除されたり上書きして改ざん文書を生成しても、以下の理由により改ざん検知ができる。重要領域からキー情報が取れないため改ざんされていると判定するためと、偽造されたキー情報が重要領域に埋め込んでも、検知情報と整合性が取れないため、改ざんされていると判定するためである。さらに、重要領域の背景に埋め込む保護パターンは、汚れや斜行に強くなるように構成したり、重要領域の背景に繰り返して埋め込むことで、改ざん判定精度を向上させることができる。また、原稿の文字情報にOCRをかけて、それを元に検知情報を生成する手法では、交付文書生成装置と交付文書確認装置のOCRの精度が異なると誤判定を引き起こしやすい。また、仮に同じOCRエンジンを活用したとしても、OCRでは交付文書の汚れや、原稿、交付文書をスキャンする際に斜めに置いてしまったりすると誤判定を引き起こしやすく、改ざん検知の信頼性を定量化できない。しかし、上記の実施形態では、QRコードなどの検知用画像と重要領域の背景に埋め込まれた領域保護情報とを比較するので、交付文書生成装置と交付文書確認装置のOCRの精度が異なっても、誤判定が起きない。また、交付文書の汚れや原稿スキャンの際の置き方のミスによっても、誤判定が起きない。また、文字ベクトル情報を元に検知情報を生成する手法でも、交付文書のごみやよごれ、さらには原稿を斜めに置いてしまったりすると、改ざん検知の際の誤判定が容易に発生してしまう。しかし、上記の実施形態では、文字ベクトル情報を元に検知情報を生成する手法でも、上記と同様の理由により、誤判定が起きない。
【0029】
[実施形態2]
上記の実施形態1においては、文字列の領域といった重要領域を別の文字列などに張り替えた改ざん又は重要領域を修正液などで消すような改ざんに関しては検知できるが、重要領域の中に文字を加えるといった改ざんは検知できないといった課題がある。
【0030】
図11は、実施形態1における交付文書確認装置101で改ざん検知できない例を示す。交付文書が改ざんされていない場合、交付文書確認装置101の保護領域確認部211は、重要領域1101から取り出した保護パターン1102を元に一意のキー情報1103を取得する。このキー情報1103は検知情報に格納された重要領域のキー情報と比較することで、重要領域の正当性を確認する。しかしながら、交付文書の重要領域に1104で示すように“¥20000”の隙間を改ざんし、“¥120000”といったように文字を追加した場合がありうる。この場合、交付文書確認装置101の保護領域確認部211は、重要領域1104から取り出した保護パターン1105を元に一意のキー情報1106を取得する。この取得できるキー情報は、改ざんが行われていない場合と同じものになり、検知情報に格納されたキー情報と比較しても改ざんを検知することはできない。これは、実施形態1においては、よごれなどがついても誤判定が起こらないような耐久性がある保護パターンの埋め込みを行い、そのためよごれと悪意のある文字などの追加による改ざんの区別がつかないためである。本実施形態においては、そのような改ざんも検知できるようにする。
【0031】
図12は、本実施形態の交付文書生成装置100における重要領域処理部204の処理を示すフローチャートである。上記の実施形態1の重要領域処理部204の処理としては図4のフローチャートのS401〜S408までが該当する。S406の重要領域背景に保護パターン配置する処理及びS407の保存以外の処理は本実施形態においても同様である。S405にて保護パターンが生成されると本フローは開始し、本実施形態の重要領域処理部204は、まず重要領域内の保護すべきオブジェクトの色を抽出する(S1201)。このとき、保護すべきオブジェクトが複数の色を使用している場合は、その全ての色を抽出する。次に保護すべきオブジェクトが使用していない単独の色を算出し、その色を活用してS405にて生成された保護パターンに色を付けた状態で、保護パターン再構築する(S1202)。この色とは、保護すべきオブジェクトの色が灰色や黒といった無彩色の場合はシアン、マゼンダ、イエローといった有彩色が好ましく、保護すべきオブジェクトの色に有彩色が存在する場合は、その補色を指定することが望ましい。その後、再構築した保護パターンを、ピクセル単位で保護すべきオブジェクトに重ならないように配置する(S1203)。その後、実施形態1のS407と同様に重要領域の座標とキー情報を保存し(S1204)、さらにS1202で指定された保護パターンの色と、S1201で抽出された保護すべきオブジェクトの色を保存する(S1205)。以上の処理によって、本実施形態に特化したフローは終了し、その後、実施形態1の図4におけるS408以降の処理を行う。
【0032】
図14は、本実施形態の保護するべきオブジェクトと保護パターンとの関係を示す図である。図14(a)は、S1203の処理による、保護すべきオブジェクトと保護パターンとの関係を示す。これは重要領域内の一部をピクセルが見える大きさに拡大したもので、保護すべきオブジェクト(1402)と保護パターン(1403)が存在する。この両者の色は、無彩色と有彩色又は有彩色と補色の関係であることが好ましく、さらに保護すべきオブジェクトの色と保護パターンの色が同一ピクセル上で重ならないように配置する。つまり、重要領域内には両者の色を合成した色が存在しないように配置する。なお、検知情報処理部205の処理は、実施形態1では検知情報が重要領域のキー情報と座標情報から生成するが、本実施形態においては、それに加えてS1205で保存した保護パターンの色と保護すべきオブジェクトの色も含めて検知情報を生成する。単に検知情報のパラメータが増えるだけで、検知情報から検知用画像の生成等は実施形態1と同様である。
【0033】
図13は、本実施形態の交付文書確認装置101における保護領域確認部211の処理を示すフローチャートである。実施形態1の保護領域確認部211の処理としては、図9のS903〜S905までが該当するが、S903の重要領域の特定、S904の重要領域内の保護パターンの抽出、キー情報の取得に関しては、本実施形態においても同じである。また、本実施形態において交付文書確認装置101における保護領域確認部211以外の処理は実施形態1と同様である。S904にて重要領域内の保護パターンの抽出及びキー情報の取得がなされると、本フローは開始する。まずは、実施形態1と同様に、取得したキー情報は正常なものかの判断を行い(S1301)、正常でないと判断された場合は該当する重要領域は改ざんされていると判定する(S1306)。正常にキー情報が取得できた場合、実施形態2の検知情報処理部211によって、検知情報に格納された重要領域の保護パターンの色と保護すべきオブジェクトの色を取得し、両者の色を合成した合成色を生成する(S1302)。次に、重要領域内のピクセルの色を取得する(S1303)。ピクセルの色が、保護パターンの色と保護すべきオブジェクトの色の合成色か否かの判断を行い、合成色(S1304)であった場合は改ざん判定を行う(S1306)。合成色でなかった場合は重要領域の全ピクセルに対して合成色かどうかの判断を行い(S1305)、1ピクセルでも合成色であった場合は改ざん判定(S1306)を行う。
【0034】
図14(b)は、改ざんが行われた際の保護すべきオブジェクトと保護パターンの関係を示す。これは、交付文書画像データの重要領域内の一部をピクセルが見える大きさに拡大したものである。改ざん者によって追加されたオブジェクト1405は、図11の1104で説明した改ざんであり、実施形態1では改ざん検出できなかったものである。このとき、改ざん者によって追加される改ざんオブジェクトは、保護すべきオブジェクトとほぼ同じ色で追加されることに注目し、さらに改ざんオブジェクトを追加すると保護パターンのどこかと重なることに注目する。具体的には1406が保護パターンと追加された改ざんオブジェクトが重なった箇所であり、光学的なスキャンによって、保護パターンの色と保護すべきオブジェクトの色を合成した場合と同じの色になる。このとき、上記したように、無彩色と有彩色の組み合わせ、有彩色と補色の組み合わせにしておくと合成色が特徴的な色となり、保護領域確認部によって改ざんしたのかどうかの判断が付きやすくなる。
本実施形態によれば、実施形態1では改ざん検知ができなかった、保護すべきオブジェクトと色を似せたオブジェクトの追加による改ざんを検知できるようになる。同時に、実施形態1同様に、交付文書にゴミやよごれがついていても誤判定を起こしにくい改ざん検出を実現できる。
【0035】
[実施形態3]
上記の実施形態1及び実施形態2においては、交付文書生成装置100の重要領域処理部204が原稿画像格納部203に格納された原稿画像データに対してオブジェクト分類を行い、保護すべきオブジェクトの判断を行っていた。そして基本的には文字領域を重要領域として改ざん検知できる仕組みを実施している。しかしながら、本来は手書きのサイン、又は任意の領域も保護したい対象となるケースが多い。本実施形態においては、特に手書きのサインといった物を保護するため、文書交付者が任意の領域を指定し、交付文書生成装置100にてその領域を重要領域として認識する手法を説明する。
【0036】
図15は、実施形態1のオブジェクト分類及び重要領域の判断では重要領域と判断できないが、保護したい領域が存在する例を示す図である。紙の原稿1501は、手書きのサイン1502が記載されているとする。この手書きのサイン1502が記載された領域も重要領域とする必要がある場合、文書交付者による指定が必要となる。ただし、実施形態1の重要領域判断(図4のS403)おいて重要領域と判断され、保護パターンが埋め込まれる場合もあるので、文書交付者が重要領域処理部204による判定を確認するフローの導入が好ましい。また、文書交付者により指定された領域が確実に保護したいオブジェクトを覆っているかの確認もできるフローの導入が好ましい。
【0037】
図16は、文書交付者が任意の領域を追加重要領域として指定する際の処理を示すフローチャートである。本実施形態においては、実施形態1の図4のフローチャートの内、重要領域処理部204がおこなう処理(S401からS408)は同じであり、全ての重要領域へのパターン埋め込みが完了(S408)してから本フローは開始する。
【0038】
まず、全ての重要領域の背景に保護パターンが埋め込まれた画像データを表示又は印刷する(S1601)。このとき、交付文書生成装置100に付随するディスプレイに表示しても良いし、又は図2における文書画像出力部207を用いて印刷しても良い。このとき文書交付者は、例えば保護したい手書きのサインが重要領域として処理されているかを表示又は印刷結果を基に確認する。この確認は、保護したいサインの背景部分に保護パターンが存在するか否かで容易確認できる。保護したい領域が重要領域として処理されていない場合、本実施形態においては追加で重要領域を文書交付者に指定させる(S1602)。ここでは、具体的には以下の方法で実現可能である。例えば、交付文書生成装置のパネルなどで追加領域の座標を入力させたり、交付文書生成装置100に表示されているプレビューに対し、手書サインの場所をタッチパネルなどで指定させ、そのオブジェクトの外接矩形を追加領域の座標とみなすなどである。任意の場所に追加の重要領域を指定できれば、その実現手段はいずれでも良い。
【0039】
次に、文書交付者から追加領域が指定されるまで待機する(S1603)。追加領域が指定されると、その追加領域に対して、図5で示したような一意のキー情報生成及び保護パターンの作成、追加領域の背景へ保護パターンの配置を行う(S1604)。そして、追加領域の埋め込みを含む画像データに対し、S1601と同様に表示又は印刷する(S1605)。ここで、文書交付者に対して指定した追加領域が保護したいオブジェクトを含んでいるかの確認を促す(S1606)。文書交付者から適切な領域でないと指定された場合(S1606)は、追加された重要領域の保護パターンを除去して(S1607)、再度、文書交付者からの追加領域指定が行われるまで待機する(S1603)。文書交付者から適切な領域であると指定された場合(S1606)、この追加重要領域のキー情報や座標を保存し(S1608)、本フローは終了する。
【0040】
これ以降は実施形態1と同様に、図4のフローのS409以降の追加重要領域を含む全重要領域のキー情報及び領域情報から検知情報の構築を行い(S409)、検知情報から検知用画像の生成や画像への埋め込みを行う(S410)。さらに、交付文書確認装置101に関しては、本実施形態においても、実施形態1と同様であり、追加された重要領域は、他の重要領域と同等に扱われる。
【0041】
[実施形態4]
上記の実施形態1、実施形態2及び実施形態3においては、交付文書の改ざんを検知することを目的としていて、唯一の交付文書であることを示す元本保証を行う訳ではない。言い換えると、交付文書が仮にコピーされていても、改ざんされていなければ問題ないとする状況に適用できる。しかしながら、保護したいオブジェクトに対する改ざん検知はできるようにしながら、コピーも禁止したいという用途もある。本実施形態においては、交付文書の保護すべき領域に対して改ざん検知を行いながらコピーが行われたかどうかの判断も行える手法を実現する。
【0042】
図17は、本実施形態における処理を示すフローチャートである。本実施形態においては、実施形態1の図4のフローチャートの内、重要領域処理部204がおこなう処理(S401からS408)は同じであり、全ての重要領域への保護パターンの埋め込みが完了(S408)してから本フローは開始する。全ての重要領域に埋め込まれたパターンの色平均濃度を算出し(S1701)、算出された平均濃度と同様の濃度でコピー劣化しやすいパターンを生成し(S1702)、それを重要領域以外の背景に埋め込む(S1703)。
【0043】
図18は、非重要領域の背景にコピー劣化しやすいパターン画像を埋め込んだ例を示す図である。1801は全重要領域に保護パターンを埋め込んだ画像であり、この保護パターンの平均濃度と同等のコピー劣化しやすいパターン画像を生成し、1802のように非重要領域の背景に埋め込む。なお、コピー劣化しやすいパターン画像の生成とは、地紋といった技術を活用し、スキャンするときに劣化が起こりやすいような孤立ピクセルの組み合わせで表現するといった方法がある。ここで生成した交付文書をコピーすると、重要領域の濃度より非重要領域の濃度がコピー劣化により変わり、文書確認者はコピーされたものか否かの判断を目視することができ、元本保証かつ改ざんが検知できるようになる。
【0044】
[実施形態5]
以下、本実施形態では、上記の実施形態における交付文書生成装置100及び交付文書確認装置101に好適に利用できるMFP(Multi Function Printer)について説明する。
【0045】
図19は、本実施形態におけるMFPのコントロールユニット(コントローラ)の一構成例を示すブロック図である。図19に示すように、コントロールユニット2000は、画像入力デバイスであるスキャナ2001や画像出力デバイスであるプリンタエンジン2002と接続し、画像データの読み取りやプリント出力のための制御を行う。また、コントロールユニット2000は、LAN N1や公衆回線2004と接続することで、画像情報やデバイス情報をLAN N1経由で入出力するための制御を行う。CPU2005は、MFP全体を制御するための中央処理装置である。RAM2006は、CPU2005が動作するためのシステムワークメモリであり、入力された画像データを一時記憶するための画像メモリでもある。さらに、ROM2007はブートROMであり、システムのブートプログラムが格納されている。HDD2008はハードディスクドライブであり、各種処理のためのシステムソフトウェア及び入力された画像データ等を格納する。操作部I/F2009は、画像データ等を表示可能な表示画面を有する操作部2010に対するインタフェース部であり、操作部2010に対して操作画面データを出力する。また、操作部I/F2009は、操作部2010から操作者が入力した情報をCPU2005に伝える役割をする。ネットワークインタフェース2011は、例えばLANカード等で実現され、LAN N1に接続して外部装置との間で情報の入出力を行う。さらにまた、モデム2012は公衆回線2004に接続し、外部装置との間で情報の入出力を行う。以上のユニットがシステムバス2013上に配置されている。
【0046】
イメージバスI/F2014は、システムバス2013と画像データを高速で転送する画像バス2015とを接続するためのインタフェースであり、データ構造を変換するバスブリッジである。画像バス2015上には、ラスタイメージプロセッサ2016、デバイスI/F2017、スキャナ画像処理部2018、プリンタ画像処理部2019、画像編集用画像処理部2020、カラーマネージメントモジュール2030が接続される。ラスタイメージプロセッサ(RIP)2016は、ページ記述言語(PDLデータ)コードや後述するベクトルデータをイメージに展開する。デバイスI/F部2017は、スキャナ2001やプリンタエンジン2002とコントロール2000とを接続し、画像データの同期系/非同期系の変換を行う。また、スキャナ画像処理部2018は、スキャナ2001から入力した画像データに対して、補正、加工、編集等の各種処理を行う。プリンタ画像処理部2019は、プリント出力する画像データに対して、プリンタエンジンに応じた補正、解像度変換等の処理を行う。画像編集用画像処理2020は、画像データの回転や、画像データの圧縮伸長処理等の各種画像処理を行う。CMM2030は、画像データに対して、プロファイルやキャリブレーションデータに基づいた、色変換処理(色空間変換処理ともいう)を施す専用ハードウェアモジュールである。プロファイルとは、機器に依存した色空間で表現したカラー画像データを機器に依存しない色空間(例えばLabなど)に変換するための関数のような情報である。キャリブレーションデータとは、カラー複合機におけるスキャナ部2001やプリンタエンジン2002の色再現特性を修正するためのデータである。
【0047】
また、本発明は、以下の処理を実行することによっても実現される。即ち、上述した実施形態の機能を実現するソフトウェア(プログラム)を、ネットワーク又は各種記憶媒体を介してシステム或いは装置に供給し、そのシステム或いは装置のコンピュータ(またはCPUやMPU等)がプログラムを読み出して実行する処理である。この場合、そのプログラム、及び該プログラムを記憶した記憶媒体は本発明を構成することになる。
【産業上の利用可能性】
【0048】
本発明は、プリンタやファクシミリ装置などの画像形成装置の分野で利用可能である。
【符号の説明】
【0049】
100 交付文書生成装置
101 交付文書確認装置
102 交付文書

【特許請求の範囲】
【請求項1】
交付文書を生成する交付文書生成装置と、該交付文書の改ざんの有無を確認する交付文書確認装置とを備える交付文書確認システムであって、
前記交付文書生成装置は、原稿画像に対して保護すべきオブジェクトを含む重要領域を特定し、該特定された重要領域毎の保護情報である領域保護情報を生成し、前記領域保護情報を入力された原稿画像の前記重要領域内の保護すべきオブジェクトの背景に保護パターンとして埋め込み、前記領域保護情報及び前記重要領域の座標を保存し、前記領域保護情報及び前記重要領域の座標から改ざん検知のための検知情報を構築し、前記検知情報に基づいて検知用画像を生成し埋め込み、
前記交付文書確認装置は、前記検知用画像から検知情報を取り出し、該取り出した検知情報に基づいて前記重要領域を特定し前記保護パターンを抽出し、前記保護パターンから前記領域保護情報を抽出し、該保護パターンから抽出された前記領域保護情報と前記検知用画像に格納される前記領域保護情報とを比較し改ざんの有無を判定することを特徴とする交付文書確認システム。
【請求項2】
前記保護パターン又は前記領域保護情報を抽出できなかった場合は、改ざんがあると判定することを特徴とする請求項1記載の交付文書確認システム。
【請求項3】
前記保護パターンの色は、前記オブジェクトを構成する色に基づいて定められ、
前記改ざんの検知は、前記重要領域内に前記保護パターンの色と前記オブジェクトを構成する色との合成色が存在するか否かが判断されることで行われることを特徴とする請求項1記載の交付文書確認システム。
【請求項4】
前記保護パターンの色は、前記オブジェクトを構成する色が無彩色の場合は有彩色にし、
前記オブジェクトを構成する色が有彩色の場合は、その補色とすることを特徴とする請求項3記載の交付文書確認システム。
【請求項5】
前記重要領域は任意の領域を外部から指定し、該指定した領域が前記オブジェクトを覆っているか否かを外部から確認することを特徴とする請求項1記載の交付文書確認システム。
【請求項6】
前記交付文書のページ内の全ての前記保護パターンの平均濃度を算出し、該算出された濃度と同じの濃度でかつコピー劣化しやすいパターンを生成し、該コピー劣化しやすいパターンを前記重要領域以外の背景に埋め込むことを特徴とする請求項1記載の交付文書確認システム。
【請求項7】
交付文書を生成し、該交付文書の改ざんの有無を確認する交付文書確認システムの交付文書生成装置であって、
原稿画像に対して保護すべきオブジェクトを含む重要領域を特定し、該特定された重要領域毎の保護情報である領域保護情報を生成し、前記領域保護情報を入力された原稿画像の前記重要領域内の保護すべきオブジェクトの背景に保護パターンとして埋め込み、前記領域保護情報及び前記重要領域の座標を保存し、前記領域保護情報及び前記重要領域の座標から改ざん検知のための検知情報を構築し、前記検知情報に基づいて検知用画像を生成し埋め込むことを特徴とする交付文書生成装置。
【請求項8】
交付文書を生成し、該交付文書の改ざんの有無を確認する交付文書確認システムの交付文書確認装置であって、
前記検知用画像から検知情報を取り出し、該取り出した検知情報に基づいて前記重要領域を特定し前記保護パターンを抽出し、前記保護パターンから前記領域保護情報を抽出し、該保護パターンから抽出された前記領域保護情報と、前記検知用画像に格納される前記領域保護情報とを比較し改ざんの有無を判定することを特徴とする交付文書確認装置。
【請求項9】
交付文書を生成する交付文書生成装置と、該交付文書の改ざんの有無を確認する交付文書確認装置とを備える交付文書確認システムにおける交付文書の確認方法であって、
前記交付文書生成装置が、原稿画像に対して保護すべきオブジェクトを含む重要領域を特定するステップと、
該特定された重要領域毎の保護情報である領域保護情報を生成するステップと、
前記領域保護情報を、入力された原稿画像の前記重要領域内の保護すべきオブジェクトの背景に保護パターンとして埋め込むステップと、
前記領域保護情報及び前記重要領域の座標を保存するステップと、
前記領域保護情報及び前記重要領域の座標から改ざん検知のための検知情報を構築するステップと、
前記検知情報に基づいて検知用画像を生成し埋め込むステップと、を有し、
前記交付文書確認装置が、前記検知用画像から検知情報を取り出すステップと、
該取り出した検知情報に基づいて、前記重要領域を特定し前記保護パターンを抽出するステップと、
前記保護パターンから前記領域保護情報を抽出するステップと、
該保護パターンから抽出された前記領域保護情報と前記検知用画像に格納される前記領域保護情報とを比較し改ざんの有無を判定するステップと、を有することを特徴とする交付文書の確認方法。
【請求項10】
請求項9記載の交付文書の確認方法をコンピュータに実行させることを特徴とするコンピュータプログラム。

【図1】
image rotate

【図2】
image rotate

【図3】
image rotate

【図4】
image rotate

【図5】
image rotate

【図6】
image rotate

【図7】
image rotate

【図8】
image rotate

【図9】
image rotate

【図10】
image rotate

【図11】
image rotate

【図12】
image rotate

【図13】
image rotate

【図14】
image rotate

【図15】
image rotate

【図16】
image rotate

【図17】
image rotate

【図18】
image rotate

【図19】
image rotate


【公開番号】特開2010−272952(P2010−272952A)
【公開日】平成22年12月2日(2010.12.2)
【国際特許分類】
【出願番号】特願2009−120965(P2009−120965)
【出願日】平成21年5月19日(2009.5.19)
【出願人】(000001007)キヤノン株式会社 (59,756)
【Fターム(参考)】