画像生成装置、画像処理装置、記録媒体、及びプログラム
【課題】文書画像の画像部及び背景部に跨る範囲に対する情報画像の合成を効率よく行う。
【解決手段】電子文書を2値画像化した文書画像を受け付ける文書画像受付部71と、所定の情報を符号化し2値画像化したコードパターン画像を受け付けるコードパターン画像受付部72と、受け付けた文書画像とコードパターン画像とを合成して合成画像を生成する画像合成部73と、この合成画像を出力する画像出力部76とを備える。そして、画像合成部73は、更に、文書画像とコードパターン画像の排他的論理和演算を行うEXOR演算部74と、コードパターン画像を構成する画像要素のうち文書画像の背景部に存在するものと画像部に存在するものとでその大きさを補正する画像補正部75とを有する。
【解決手段】電子文書を2値画像化した文書画像を受け付ける文書画像受付部71と、所定の情報を符号化し2値画像化したコードパターン画像を受け付けるコードパターン画像受付部72と、受け付けた文書画像とコードパターン画像とを合成して合成画像を生成する画像合成部73と、この合成画像を出力する画像出力部76とを備える。そして、画像合成部73は、更に、文書画像とコードパターン画像の排他的論理和演算を行うEXOR演算部74と、コードパターン画像を構成する画像要素のうち文書画像の背景部に存在するものと画像部に存在するものとでその大きさを補正する画像補正部75とを有する。
【発明の詳細な説明】
【技術分野】
【0001】
本発明は、画像生成装置、画像処理装置、記録媒体、及びプログラムに関する。
【背景技術】
【0002】
紙上に位置コーディングパターンを印刷する技術が知られている(例えば、特許文献1参照)。この特許文献1では、このような位置コーディングパターンが印刷された紙上で描画デバイスを用いて例えばテキストを書くときに、描画デバイスの光学的検出器が描画デバイス下に置かれたパターンの画像を規則的な間隔で取ることによって紙上の位置のシーケンスを記録し、紙上に書かれたテキストのデジタルコピーを構成するようにしている。
【0003】
また、利用者を識別するための付加情報を原稿の画像部に埋め込んで印字出力する技術も知られている(例えば、特許文献2参照)。この特許文献2では、2値化されたデータの一方(例えば値0)を周辺の画素と同じ濃度の画素で表し、もう一方(例えば値1)のデータを周辺の画素の濃度と僅かに異なる所定濃度の画素で表す。そして、画像データからこの所定濃度の画素の座標を拾い出し、所定の長さの複数の2進数に変換することによって、付加情報を再構成している。
【0004】
【特許文献1】特表2004−528644号公報
【特許文献2】特開平6−22119号公報
【発明の開示】
【発明が解決しようとする課題】
【0005】
ところで、画像が存在する部分(以下、「画像部」という)と画像が存在しない部分(以下、「背景部」という)を有する文書画像に対して、所定の情報を画像化した情報画像を合成する際の一般的な要求として、画像部と背景部に跨る範囲への情報画像の合成を効率的に行いたいということがある。しかしながら、従来、このような要求に対する解決策は提案されていなかった。
【0006】
本発明は、以上のような背景の下でなされたものであって、その目的は、文書画像の画像部及び背景部に跨る範囲に対する情報画像の合成を効率よく行うことにある。
【課題を解決するための手段】
【0007】
本発明の画像生成装置は、電子文書を2値画像化した文書画像を取得する文書画像取得手段と、所定の情報を2値画像化した情報画像を取得する情報画像取得手段と、文書画像と情報画像との排他的論理和演算を行うことにより、文書画像と情報画像を合成する合成手段とを備えている。
ここで、情報画像は、所定形状の複数の画像要素からなり、合成手段は、文書画像における画像が存在する部分に合成する画像要素と、文書画像における画像が存在しない部分に合成する画像要素との大小関係を制御する手段を更に備えていてもよい。
【0008】
本発明の画像処理装置は、電子文書を2値画像化した文書画像と、所定の情報を2値画像化した情報画像とを、文書画像と情報画像の排他的論理和演算を行うことで合成した合成画像を取得する合成画像取得手段と、合成画像を所定の大きさだけ膨張させる処理及び合成画像を所定の大きさだけ縮退させる処理を含む画像処理を行うことにより、情報画像を生成する情報画像生成手段とを備えている。
ここで、情報画像は、所定形状の複数の画像要素からなり、所定の大きさは、複数の画像要素の大きさと略等しい大きさとすることができる。
また、情報画像生成手段は、複数の画像要素の大きさを検出する手段を更に備えていてもよい。
【0009】
更に、上記の画像処理は、合成画像を所定の大きさだけ膨張させてから縮退させる処理及び合成画像を所定の大きさだけ縮退させてから膨張させる処理を行うことにより、文書画像を生成する処理と、文書画像と合成画像との排他的論理和演算を行うことにより、情報画像を生成する処理とを含むものとすることができる。
更にまた、上記の画像処理は、合成画像を所定の大きさだけ膨張させてから縮退させる処理を行うことにより、文書画像における画像が存在する部分に合成された情報画像を除去して第1の情報除去画像を生成する処理と、合成画像を所定の大きさだけ縮退させてから膨張させる処理を行うことにより、文書画像における画像が存在しない部分に合成された情報画像を除去して第2の情報除去画像を生成する処理と、第1の情報除去画像と第2の情報除去画像との排他的論理和演算を行うことにより、情報画像を生成する処理とを含むものとすることができる。
【0010】
本発明の記録媒体は、電子文書を画像化した文書画像における画像が存在しない部分に対応し、所定の情報を画像化した情報画像が重畳される部分に画像が形成された第1の領域と、文書画像における画像が存在する部分に対応し、情報画像が重畳される部分を除いた部分に画像が形成された第2の領域とを含んでいる。
【0011】
本発明のプログラムは、第一に、コンピュータに、電子文書を2値画像化した文書画像を取得する機能と、所定の情報を2値画像化した情報画像を取得する機能と、文書画像と情報画像との排他的論理和演算を行うことにより、文書画像と情報画像を合成する機能とを実現させるためのものである。
また、第二に、コンピュータに、電子文書を2値画像化した文書画像と、所定の情報を2値画像化した情報画像とを、文書画像と情報画像の排他的論理和演算を行うことで合成した合成画像を取得する機能と、合成画像を所定の大きさだけ膨張させる処理及び合成画像を所定の大きさだけ縮退させる処理を含む画像処理を行うことにより、情報画像を生成する機能とを実現させるためのものである。
【発明の効果】
【0012】
請求項1の発明には、文書画像の画像部及び背景部に跨る範囲に対する情報画像の合成を効率よく行うことができるという効果がある。
請求項2の発明には、情報画像を合成した結果の画像を好ましい状態にすることができるという効果がある。
請求項3の発明には、文書画像の画像部及び背景部に跨る範囲に対して効率よく合成された情報画像を抽出することができるという効果がある。
請求項4の発明には、情報画像を抽出する際の確実性を向上することができるという効果がある。
請求項5の発明には、情報画像を合成した結果の画像の状態が未知であっても情報画像を抽出することができるという効果がある。
請求項6の発明には、情報画像を効率よく抽出することができるという効果がある。
請求項7の発明には、情報画像を効率よく抽出することができるという効果がある。
請求項8の発明には、文書画像の画像部及び背景部に跨る範囲に対して情報画像を効率よく合成して利用に供することができるという効果がある。
請求項9の発明には、文書画像の画像部及び背景部に跨る範囲に対する情報画像の合成を効率よく行うことができるという効果がある。
請求項10の発明には、文書画像の画像部及び背景部に跨る範囲に対して効率よく合成された情報画像を抽出することができるという効果がある。
【発明を実施するための最良の形態】
【0013】
以下、添付図面を参照して、本発明を実施するための最良の形態(以下、「実施の形態」という)について詳細に説明する。
まず、本実施の形態におけるシステム構成について説明する。
図1は、本実施の形態が適用されるシステムの構成を示したものである。このシステムは、端末装置10と、文書サーバ20と、識別情報サーバ30と、画像形成装置40とがネットワーク90に接続されることにより構成されている。また、このシステムは、印刷文書50と、電子ペン60とを含む。
【0014】
端末装置10は、電子文書の印刷を指示するために用いられる。尚、この端末装置10としては、PC(Personal Computer)が例示される。
文書サーバ20は、電子文書を記憶している。そして、電子文書の印刷指示があると、電子文書の画像とコードパターン画像とを重畳した重畳画像の形成指示を出力する。尚、この文書サーバ20は、汎用のサーバコンピュータによって実現することができる。
ここで、コードパターン画像とは、識別情報及び位置情報を符号化して得られる識別符号及び位置符号を画像化したものである。このうち、識別情報としては、媒体を一意に識別する識別情報、又は、媒体に印刷された電子文書を一意に識別する識別情報のいずれかが採用される。前者の識別情報を採用した場合、同じ電子文書を複数部数印刷すると、異なる媒体には異なる識別情報が付与される。一方、後者の識別情報を採用した場合、同じ電子文書を印刷すると、異なる媒体であっても同じ識別情報が付与される。また、位置情報は、媒体上の座標位置を表す情報である。
【0015】
識別情報サーバ30は、媒体に付与する識別情報を発行する。そして、発行した識別情報を、その媒体に印刷される電子文書と関連付けて管理する。尚、この識別情報サーバ30も、汎用のサーバコンピュータによって実現することができる。
画像形成装置40は、媒体に画像を形成する。ここで、画像形成装置40における画像形成方式としては、例えば、電子写真方式を用いることができるが、その他の如何なる方式を用いてもよい。
印刷文書50は、電子文書の画像とコードパターン画像とを重畳した重畳画像が印刷された媒体である。
電子ペン60は、印刷文書50に文字又は図形を記録する機能を有するペンデバイスである。
【0016】
尚、本明細書では、「電子文書」の文言を用いるが、これは、テキストを含む「文書」を電子化したデータのみを意味するものではない。例えば、絵、写真、図形等の画像データ(ラスタデータかベクターデータかによらない)、その他の印刷可能な電子データも含めて「電子文書」としている。
【0017】
次に、このシステムにおいて印刷文書50を生成する際の動作を説明する。
図2は、このときの動作を示したシーケンス図である。
まず、ユーザが、端末装置10を操作し、文書サーバ20に格納された電子文書の中から印刷対象の電子文書を指定する。これにより、端末装置10は、その電子文書の印刷指示を文書サーバ20に送信する(ステップ101)。尚、このとき、端末装置10は、ユーザが指定した印刷パラメータも送信する。ここで、印刷パラメータには、ページ、部数、用紙サイズ、N−up(用紙の1ページ内に電子文書のNページを割り付ける印刷)、余白等がある。
【0018】
すると、文書サーバ20は、電子文書の印刷指示を受信する(ステップ201)。そして、印刷を指示された電子文書の格納場所と、端末装置10から受信した印刷パラメータとを識別情報サーバ30に送信する(ステップ202)。
【0019】
これにより、識別情報サーバ30は、電子文書の格納場所と印刷パラメータとを受信する(ステップ301)。そして、識別情報を管理するデータベースから未使用の識別情報を取り出す(ステップ302)。ここで、取り出す識別情報の数は、印刷パラメータに応じて決められる。つまり、基本的には、印刷するページ数に印刷部数を乗じて得られる数の識別情報が取り出される。但し、印刷パラメータ中に、N−upの指定等がある場合は、それも考慮される。例えば、10ページの電子文書を2−upで5部印刷する場合は、25(=10÷2×5)個の識別情報が取り出される。
次に、識別情報サーバ30は、識別情報と、電子文書の格納場所と、印刷パラメータとを関連付けてデータベースに登録する(ステップ303)。そして、識別情報サーバ30は、文書サーバ20に対し、識別情報を送信する(ステップ304)。
【0020】
これにより、文書サーバ20は、識別情報を受信する(ステップ203)。そして、識別情報及び位置情報を埋め込んだコードパターン画像を生成する(ステップ204)。尚、コードパターン画像の生成処理の詳細は後述する。
その後、文書サーバ20は、電子文書の文書画像とコードパターン画像とを画像形成装置40に送信し、画像形成を指示する(ステップ205)。この指示は、例えば、電子文書、識別情報、位置情報からページ記述言語(PDL:Print Description Language)を生成し、これを送信することで行うことができる。
【0021】
すると、画像形成装置40は、電子文書の文書画像とコードパターン画像とを受信する(ステップ401)。これにより、画像形成装置40は、まず、文書画像とコードパターン画像とを合成する(ステップ402)。そして、合成した画像をK(黒)の画像へ展開する(ステップ403)。次に、合成した画像をK(黒)のトナーを用いて媒体上に形成する(ステップ404)。
【0022】
ところで、上述した例では、識別情報サーバ30は識別情報を発行するだけで、文書サーバ20が、識別情報を含むコードパターン画像を生成し、画像形成装置40に画像形成を指示する構成とした。しかしながら、識別情報サーバ30が、コードパターン画像を生成し、画像形成装置40に画像形成を指示する構成としてもよい。
また、コードパターン画像は、画像形成装置40で生成することもできる。この場合は、文書サーバ20又は識別情報サーバ30が、電子文書から生成したPDLに識別情報を付加して画像形成装置40へ送信し、画像形成装置40が識別情報を含むコードパターン画像を生成することになる。
【0023】
また、上記では、識別情報と、電子文書の格納場所と、印刷パラメータとを関連付けたデータベースを識別情報管理サーバ30に置く構成について説明した。これは、かかるデータベースを共有可能な装置に置くことで、複数ユーザへの対応や、サーバのアクセス制御技術を利用した電子文書のセキュリティ確保が可能となるからである。しかしながら、必ずしもこのような構成を採用しなければならないというわけではなく、端末装置10や文書サーバ20にこのようなデータベースを置く構成を採用してもよい。
【0024】
次に、本実施の形態で生成されるコードパターン画像の元となるコードパターンについて説明する。
図3は、コードパターンについて説明するための図である。
まず、コードパターンを構成するビットパターンについて説明する。
図3(a)に、ビットパターンの配置の一例を示す。
ビットパターンとは、情報埋め込みの最小単位である。ここでは、図3(a)に示すように、9箇所の中から選択した2箇所にビットを配置する。図では、黒の四角が、ビットが配置された位置を示し、斜線の四角が、ビットが配置されていない位置を示している。9箇所の中から2箇所を選択する組み合わせは、36(=9C2)通りある。従って、このような配置方法により、36通り(約5.2ビット)の情報を表現することができる。
但し、識別情報及び位置情報は、この36通りのうち32通り(5ビット)を使用して表現するものとする。
【0025】
ところで、図3(a)に示した最小の四角は、600dpiにおける2ドット×2ドットの大きさを有している。600dpiにおける1ドットの大きさは0.0423mmなので、この最小の四角の一辺は、84.6μm(=0.0423mm×2)である。コードパターンを構成するドットは、大きくなればなるほど目に付きやすくなるため、できるだけ小さいほうが好ましい。ところが、あまり小さくすると、プリンタで印刷できなくなってしまう。そこで、ドットの大きさとして、50μmより大きく100μmより小さい上記の値を採用している。これにより、プリンタで印刷可能な最適な大きさのドットを形成することができる。つまり、84.6μm×84.6μmが、プリンタで安定的に形成可能な最小の大きさなのである。
尚、ドットをこのような大きさにすることで、1つのビットパターンの一辺は、約0.5mm(=0.0423mm×2×6)となる。
【0026】
また、このようなビットパターンから構成されるコードパターンについて説明する。
図3(b)に、コードパターンの配置の一例を示す。
ここで、図3(b)に示した最小の四角が、図3(a)に示したビットパターンに相当する。即ち、識別情報を符号化した識別符号は、16(=4×4)個のビットパターンを使用して埋め込まれる。また、X方向の位置情報を符号化したX位置符号と、Y方向の位置情報を符号化したY位置符号とは、それぞれ、4個のビットパターンを使用して埋め込まれる。更に、左上角部に、コードパターンの位置と回転を検出するための同期符号が、1つのビットパターンを使用して埋め込まれる。
尚、1つのコードパターンの大きさは、ビットパターンの5個分の幅に等しいため、約2.5mmとなる。本実施の形態では、このように生成したコードパターンを画像化したコードパターン画像を、用紙全面に配置する。
【0027】
次いで、識別情報及び位置情報を符号化し、符号化された情報からコードパターン画像を生成する処理について説明する。尚、図2に示した動作を行う場合、この処理は、文書サーバ20にて実行される。
図4は、このような符号化及び画像生成の処理について説明するための図である。
まず、識別情報の符号化について説明する。
識別情報の符号化には、ブロック符号化方式のRS(リードソロモン)符号が使用される。図3で説明した通り、本実施の形態では、5ビットの情報を表現できるビットパターンを用いて情報を埋め込む。従って、情報の誤りも5ビット単位で発生するため、ブロック符号化方式で符号化効率が良いRS符号を使用している。但し、符号化方式はRS符号に限定するものでなく、その他の符号化方式、例えば、BCH符号等を使用することもできる。
【0028】
上述したように、本実施の形態では、5ビットの情報量を持つビットパターンを用いて情報を埋め込む。従って、RS符号のブロック長を5ビットとする必要がある。そのため、識別情報を5ビットずつに区切り、ブロック化する。図4では、識別情報「0011101101001…」から、第1のブロック「00111」と、第2のブロック「01101」とが切り出されている。
そして、ブロック化された識別情報に対し、RS符号化処理を行う。図4では、「blk1」、「blk2」、「blk3」、「blk4」、…というようにブロック化した後、RS符号化が行われる。
【0029】
ところで、本実施の形態において、識別情報は、16(=4×4)個のブロックに分けられる。そこで、RS符号における符号ブロック数を16とすることができる。また、情報ブロック数は、誤りの発生状況に応じて設計することができる。例えば、情報ブロック数を8とすれば、RS(16,8)符号となる。この符号は、符号化された情報に4ブロック(=(16−8)÷2)の誤りが発生しても、それを補正することができる。また、誤りの位置を特定できれば、訂正能力を更に向上することができる。尚、この場合、情報ブロックに格納される情報量は、40ビット(=5ビット×8ブロック)である。従って、約1兆種類の識別情報が表現可能である。
【0030】
次に、位置情報の符号化について説明する。
位置情報の符号化には、擬似乱数系列の一種であるM系列符号が使用される。ここで、M系列とは、K段の線形シフトレジスタで発生できる最大周期の系列であり、2K−1の系列長をもつ。このM系列から取り出した任意の連続したKビットは、同じM系列中の他の位置に現れない性質を持つ。そこで、この性質を利用することにより、位置情報を符号化することができる。
【0031】
ところで、本実施の形態では、符号化すべき位置情報の長さから、必要なM系列の次数を求め、M系列を生成している。しかしながら、符号化する位置情報の長さが予め分かっている場合は、M系列を毎回生成する必要はない。即ち、固定のM系列を予め生成しておき、それをメモリ等に格納しておけばよい。
例えば、系列長8191のM系列(K=13)を使用したとする。
この場合、位置情報も5ビット単位で埋め込むため、系列長8191のM系列から5ビットずつ取り出してブロック化する。図4では、M系列「11010011011010…」が、5ビットずつブロック化されている。
【0032】
以上のように、識別情報がブロック分割された後、RS符号により符号化され、また、位置情報がM系列により符号化された後、ブロック分割されると、図示するように、ブロックが合成される。即ち、これらのブロックは、図示するようなフォーマットで2次元平面に展開される。図4に示したフォーマットは、図3(b)に示したフォーマットに対応している。即ち、黒の四角が同期符号を意味している。また、横方向に配置された「1」、「2」、「3」、「4」、…がX位置符号を、縦方向に配置された「1」、「2」、「3」、「4」、…がY位置符号を、それぞれ意味している。位置符号は、媒体の位置が異なれば異なる情報が配置されるので、座標位置に対応する数字で示しているのである。一方、グレーの四角が識別符号を意味している。識別符号は、媒体の位置が異なっても同じ情報が配置されるので、全て同じマークで示しているのである。
【0033】
ところで、図からも分かる通り、2つの同期符号の間には、4個のビットパターンがある。従って、20(=5×4)ビットのM系列の部分系列を配置することができる。20ビットの部分系列から13ビットの部分系列を取り出せば、その13ビットが全体(8191)の中のどの部分の部分系列なのかを特定することができる。このように、20ビットのうち13ビットを位置の特定に使用した場合、取り出した13ビットの誤りの検出又は訂正を、残りの7ビットを使用して行うことができる。即ち、M系列を生成した時と同じ生成多項式を使用して、20ビットの整合性を確認することで、誤りの検出と訂正が可能となるのである。
その後、各ブロックにおけるビットパターンが、ドット画像を参照することにより画像化される。そして、図4の最右に示すようなドットで情報を表す出力画像が生成される。
【0034】
ところで、本実施の形態では、電子文書を2値画像化した文書画像と、図4で述べたような手法で生成された2値画像であるコードパターン画像とを合成して合成画像を生成する際の方法について工夫している。
図5は、この合成画像の生成について模式的に示した図である。
まず、図5(a)は、電子文書の文書画像の一部を拡大して示したものである。そして、図5(b)は、この文書画像に合成するコードパターン画像の一部を拡大して示したものである。
本実施の形態では、図5(a)の画像と図5(b)の画像とを合成する際に、画像どうしの排他的論理和演算を行うことにより、図5(c)の画像を生成する。つまり、文書画像の背景部では、コードパターン画像がK(黒)トナーで形成され、画像部では、コードパターン画像を除く部分がK(黒)トナーで形成されている。
【0035】
このような文書画像とコードパターン画像との合成処理を、図2においては、画像形成装置40で行っていた。しかしながら、この合成処理は、文書サーバ20や識別情報サーバ30で行うことも可能である。従って、以下では、この合成処理を一般的な画像生成装置で行うものとして説明する。
【0036】
図6は、本実施の形態における画像生成装置の機能構成を示したブロック図である。
図示するように、この画像生成装置は、文書画像受付部71と、コードパターン画像受付部72と、画像合成部73と、画像出力部76とを備える。また、画像合成部73は、EXOR演算部74と、画像補正部75とを備えている。
【0037】
文書画像受付部71は、外部から入力された文書画像を受け付ける。コードパターン画像受付部72は、外部から入力されたコードパターン画像を受け付ける。
画像合成部73は、文書画像受付部71が受け付けた文書画像とコードパターン画像受付部72が受け付けたコードパターン画像とを合成する。この画像合成部73内の構成のうち、EXOR演算部74は、文書画像とコードパターン画像の排他的論理和演算を行う。また、画像補正部75は、排他的論理和演算を行った結果の画像において、画像要素の大きさを補正する。
【0038】
画像出力部76は、EXOR演算部74が生成し画像補正部75により補正された画像を出力する。尚、この画像生成装置が画像形成装置40の一部であるとすると、画像出力部76により出力された画像は、画像形成装置40内の図示しない画像形成機構により媒体に印刷される。また、この画像生成装置が文書サーバ20や識別情報サーバ30にて実現されるとすると、画像出力部76により出力された画像は、ネットワーク90を介して例えば画像形成装置40に送信される。
【0039】
尚、これらの機能部分は、ソフトウェアとハードウェア資源とが協働することにより実現される。具体的には、画像生成装置のCPUが、文書画像受付部71、コードパターン画像受付部72、EXOR演算部74、画像補正部75、画像出力部76の各機能を実現するプログラムを例えば磁気ディスク装置からメインメモリに読み込んで実行する。また、このプログラムは、磁気ディスク装置に予め記憶しておくだけでなく、CD−ROM等の記録媒体からロードしたり、インターネット等のネットワークからダウンロードしたりすることによって提供してもよい。
【0040】
次に、この画像生成装置の動作について説明する。
図7は、このときの画像生成装置の動作を示したフローチャートである。
図示するように、画像生成装置では、まず、文書画像受付部71が、文書画像を取得する(ステップ701)。また、コードパターン画像受付部72が、コードパターン画像を取得する(ステップ702)。
そして、EXOR演算部74が、取得した2つの画像のEXOR(排他的論理和)演算を行う(ステップ703)。
【0041】
ところで、本実施の形態では、図3を参照して述べたように、コードパターン画像を構成する画像要素(トナーがのる最小単位)の大きさを、600dpiで2ドット×2ドット、即ち、直径が85μm程度にしている。このように小さな画像要素を形成する場合、画像形成機構の特性によっては、画像要素が大きめに形成されたり小さめに形成されたりする状況が生ずる。画像形成機構には、ドットを大きめに形成するものもあれば、ドットを小さめに形成するものもあるからである。つまり、ドットを大きめに形成する画像形成機構では、文書画像の背景部と画像部における画像要素を同じドット数で生成した場合、背景部の正転画像要素(トナーがのる部分)は大きめに形成され、画像部の反転画像要素(トナーがのらない部分)は小さめに形成される。一方、ドットを小さめに形成する画像形成機構では、傾向が逆になる。
【0042】
しかしながら、正転画像要素と反転画像要素とは、画像全域にわたって同じ大きさであることが好ましい。そこで、本実施の形態では、画像形成時におけるこれらの画像要素の大きさが等しくなるよう、画像生成時に画像要素の大きさを調整する構成を採用している。尚、ここでは、コードパターン画像を構成する画像要素を、図4と同様、ドット画像として説明する。
【0043】
まず、画像補正部75は、生成された画像を媒体に形成する際に用いられる画像形成機構の特性を判定する(ステップ704)。即ち、画像形成機構の特性が、ドットを大きめに形成するものであるか、ドットを小さめに形成するものであるか、普通の大きさで形成するものであるかを判定する。
ここで、画像形成機構がドットを普通の大きさで形成すると判定された場合、画像補正部75は画像を補正せず、EXOR演算部74が生成した画像をそのまま画像出力部76に受け渡す。
【0044】
また、画像形成機構がドットを大きめに形成すると判定された場合、文書画像の背景部に生成する正転ドット画像(トナーがのる部分)を、文書画像の画像部に生成する反転ドット画像(トナーがのらない部分)よりも小さくする(ステップ705)。これにより、EXOR演算部74は、補正後の画像を画像出力部76に受け渡す。
更に、画像形成装置がドットを小さめに形成すると判定された場合、文書画像の背景部に生成する正転ドット画像(トナーがのる部分)を、文書画像の画像部に生成する反転ドット画像(トナーがのらない部分)よりも大きくする(ステップ706)。これにより、EXOR演算部74は、補正後の画像を画像出力部76に受け渡す。
その後、画像出力部76は、受け渡された画像を、図示しない画像形成機構に出力したり、ネットワーク90を介して画像形成装置40に送出したりする(ステップ707)。
【0045】
尚、上記説明では、文書画像とコードパターン画像のEXOR演算を行ってから正転ドット画像と反転ドット画像の大きさの調整を行っていたが、処理の順序はこれには限らない。つまり、EXOR演算を行う前のコードパターン画像において、文書画像と重なることになるドット画像と、文書画像と重なることにならないドット画像とを区別して、これらの大きさを調整するようにしてもよい。
【0046】
次に、このように合成画像が印刷された媒体からの情報の読取りについて説明する。
まず、情報の読取りに用いられる電子ペン60の一般的な機能について述べる。
図8は、電子ペン60の機構を示した図である。
図示するように、電子ペン60は、ペン全体の動作を制御する制御回路61を備える。また、制御回路61は、入力画像から検出したコードパターン画像を処理する画像処理部61aと、そこでの処理結果から識別情報及び位置情報を抽出するデータ処理部61bとを含む。
そして、制御回路61には、電子ペン60による筆記動作をペンチップ69に加わる圧力によって検出する圧力センサ62が接続されている。また、媒体上に赤外光を照射する赤外LED63と、画像を入力する赤外CMOS64も接続されている。更に、識別情報及び位置情報を記憶するための情報メモリ65と、外部装置と通信するための通信回路66と、ペンを駆動するためのバッテリ67と、ペンの識別情報(ペンID)を記憶するペンIDメモリ68も接続されている。
【0047】
ここで、この電子ペン60の動作の概略を説明する。
電子ペン60による筆記が行われると、ペンチップ69に接続された圧力センサ62が、筆記動作を検出する。これにより、赤外LED63が点灯し、赤外CMOS64がCMOSセンサによって媒体上の画像を撮像する。
尚、赤外LED63は、消費電力を抑制するために、CMOSセンサのシャッタタイミングに同期させてパルス点灯する。
また、赤外CMOS64は、撮像した画像を同時に転送できるグローバルシャッタ方式のCMOSセンサを使用する。そして、赤外領域に感度があるCMOSセンサを使用する。また、外乱の影響を低減するために、CMOSセンサ全面に可視光カットフィルタを配置している。CMOSセンサは、70fps〜100fps(frame per second)程度の周期で、画像を撮像する。尚、撮像素子はCMOSセンサに限定するものではなく、CCD等、他の撮像素子を使用してもよい。
【0048】
このように撮像した画像が制御回路61に入力されると、制御回路61は、撮像した画像からコードパターン画像を取得する。そして、それを復号し、コードパターン画像に埋め込まれている識別情報及び位置情報を取得する。
以下、このときの制御回路61の動作について説明する。
図9は、制御回路61の動作を示したフローチャートである。
まず、画像処理部61aは、画像を入力する(ステップ601)。そして、画像に含まれるノイズを除去するための処理を行う(ステップ602)。ここで、ノイズとしては、CMOS感度のばらつきや電子回路により発生するノイズ等がある。ノイズを除去するために如何なる処理を行うかは、電子ペン60の撮像系の特性に応じて決定すべきである。例えば、ぼかし処理やアンシャープマスキング等の先鋭化処理を適用することができる。
【0049】
次に、画像処理部61aは、画像からドットパターン(ドット画像の位置)を検出する(ステップ603)。例えば、2値化処理によりドットパターン部と背景部とを切り分け、2値化された個々の画像位置からドットパターンを検出することができる。2値化画像にノイズ成分が多数含まれる場合は、例えば、2値化画像の面積や形状によりドットパターンの判定を行うフィルタ処理を組み合わせる必要がある。
また、画像処理部61aは、検出したドットパターンを2次元配列上のデジタルデータに変換する(ステップ604)。例えば、2次元配列上で、ドットがある位置を「1」、ドットがない位置を「0」というように変換する。そして、この2次元配列上のデジタルデータは、画像処理部61aからデータ処理部61bへと受け渡される。
【0050】
次いで、データ処理部61bは、受け渡されたデジタルデータから、図3(a)に示した2つのドットの組み合わせからなるビットパターンを検出する(ステップ605)。例えば、ビットパターンに対応するブロックの境界位置を2次元配列上で動かし、ブロック内に含まれるドットの数が2つになるような境界位置を検出することにより、ビットパターンを検出することができる。
このようにしてビットパターンが検出されると、データ処理部61bは、ビットパターンの種類を参照することにより、同期符号を検出する(ステップ606)。そして、同期符号からの位置関係に基づいて、識別符号及び位置符号を検出する(ステップ607)。
その後、データ処理部61bは、識別符号を復号して識別情報を取得し、位置符号を復号して位置情報を取得する(ステップ608)。識別符号については、RS復号処理を施すことで識別情報を得る。一方、位置符号については、読み出した部分系列の位置を、画像生成時に使用したM系列と比較することで、位置情報を得る。
【0051】
本実施の形態では、この電子ペン60により、合成画像から文書画像とコードパターン画像とを復元する。
図10は、この文書画像とコードパターン画像の復元について模式的に示した図である。
まず、図10(a)は、合成画像の一部を拡大して示したものである。これは、図5(c)に示した画像と同じものである。
本実施の形態では、図10(a)の画像を膨張させたり縮退させたりすることで、図10(b)の文書画像及び図10(c)のコードパターン画像を復元する。つまり、図10(b)は、電子文書の文書画像の一部を拡大して示したものであり、図5(a)に示した画像と同じものである。また、図10(c)は、コードパターン画像の一部を拡大して示したものであり、図5(b)に示した画像と同じものである。
【0052】
ここでは、このような文書画像とコードパターン画像の復元処理を電子ペン60で行うものとして説明した。しかしながら、この復元処理は、電子ペン60から情報を受信したPCで行うことも可能である。また、文書画像とコードパターン画像とが印刷された媒体の全面をスキャンできるスキャナで実現することもできる。従って、以下では、この復元処理を一般的な画像処理装置で行うものとして説明する。
【0053】
図11は、本実施の形態における画像処理装置の機能構成を示したブロック図である。
図11(a)に示すように、この画像処理装置は、画像受付部81と、2値画像生成部82と、コードパターン画像生成部83と、画像整形部86と、画像復号部87とを備える。また、コードパターン画像生成部83は、画像分離部84と、EXOR演算部85とを備えている。
【0054】
画像受付部81は、処理対象の画像を受け付ける。2値画像生成部82は、受け付けた画像を2値画像へ変換する。
コードパターン画像生成部83は、この2値画像に基づいてコードパターン画像を生成する。画像分離部84は、コードパターン画像と文書画像とを分離するための2種類の画像を生成する。EXOR演算部85は、この2種類の画像のEXOR(排他的論理和)演算を行い、コードパターン画像を生成する。
画像整形部86は、生成された画像に含まれるノイズ成分を除去する。画像復号部87は、ノイズ成分の除去された画像から情報を復号する。
【0055】
また、画像分離部84については、生成する2種類の画像によって構成が異なる。ここでは2つの構成例を示す。
まず、図11(b)に、画像分離部84の第1の構成例を示す。
図示するように、第1の構成例において、画像分離部84は、文書画像抽出部84aと、サイズ検出部84bと、画像膨張部84cと、画像縮退部84dとを備えている。
文書画像抽出部84aは、後述する各機能部を制御することにより2値画像から文書画像を抽出する。サイズ検出部84bは、画像の膨張や縮退を行う際のサイズを検出する。画像膨張部84cは、指示された画像に対して公知の膨張処理を行う。また、画像縮退部84dは、指示された画像に対して公知の縮退処理を行う。
【0056】
ここで、膨張処理とは、画像を膨らませる処理であり、縮退処理(収縮処理)とは、画像を縮める処理である。具体的には、膨張処理は、画像部の境界から一定の範囲にある背景部の画素を画像部の画素とすることで実現される。一方、縮退処理は、画像部の境界から一定の範囲にある画像部の画素を背景部の画素とすることで実現される。
【0057】
次に、図11(c)に、画像分離部84の第2の構成例を示す。
図示するように、第2の構成例において、画像分離部84は、正転ドット画像除去部84eと、サイズ検出部84bと、画像膨張部84cと、画像縮退部84dと、反転ドット画像除去部84fとを備えている。
正転ドット画像除去部84eは、文書画像の背景部に含まれるドットパターンを除去する。また、反転ドット画像除去部84fは、文書画像の画像部に含まれるドットパターンを除去する。尚、サイズ検出部84b、画像膨張部84c、画像縮退部84dについては、図11(b)に示したものと同様なので説明を省略する。
【0058】
尚、これらの機能部分は、ソフトウェアとハードウェア資源とが協働することにより実現される。具体的には、画像処理装置のCPUが、画像受付部81、2値画像生成部82、画像分離部84(内部の機能も含む)、EXOR演算部85、画像整形部86、画像復号部87の各機能を実現するプログラムを例えば磁気ディスク装置からメインメモリに読み込んで実行する。また、このプログラムは、磁気ディスク装置に予め記憶しておくだけでなく、CD−ROM等の記録媒体からロードしたり、インターネット等のネットワークからダウンロードしたりすることによって提供してもよい。
【0059】
次に、この画像処理装置の動作について説明する。但し、この画像処理装置の一般的な動作の流れは図9に示した通りである。即ち、ステップ601が画像受付部81の処理に相当し、ステップ602が画像整形部86の処理に相当し、ステップ603〜608が画像復号部87の処理に相当する。従って、ここでは、本実施の形態の画像処理装置に特有の処理として、ステップ601とステップ602の間で実行される2値画像生成部82及びコードパターン画像生成部83の処理について説明する。
【0060】
画像処理装置では、画像受付部81が2値画像生成部82に画像を受け渡すと、2値画像生成部82が、この画像を2値画像へ変換する。ここで、2値画像へ変換は、公知の固定閾値による2値化のほか、動的閾値生成法による2値化を適用して行うことができる。そして、2値画像生成部82は、変換後の2値画像を画像分離部84に受け渡す。すると、画像分離部84は、この2値画像を分離する。
その後、この2値画像の分離は、図11(b)の構成を有する画像分離部84の場合、文書画像抽出部84aが行う。一方、図11(c)の構成を有する画像分離部84の場合、正転ドット画像除去部84e及び反転ドット画像除去部84fが行う。
従って、以下では、これらの各機能部の動作について説明する。
【0061】
第一に、図11(b)の画像分離部84における文書画像抽出部84aの動作について説明する。
図12(a)は、文書画像抽出部84aの動作を示したフローチャートである。
まず、文書画像抽出部84aは、2値画像生成部82から2値画像を取得する(ステップ801)。次に、サイズ検出部84bにドット画像のサイズを検出させ、その結果を取得する(ステップ802)。ここで、サイズ検出部84bは、ドット画像のサイズを例えば次のような手法で検出することができる。即ち、2値画像にラベリング処理を行い、ラベルごとの画像の面積のヒストグラムを生成する。その結果、ドット画像はヒストグラム中で最も出現数が多いはずなので、最も出現頻度が高い面積をドット画像の面積とする。面積が分かれば、ドット画像の半径を算出できるので、膨張及び縮退の量を算出することができるのである。
【0062】
そして、文書画像抽出部84aは、画像膨張部84cに対し、2値画像をこの取得したサイズだけ膨張させるよう指示し、その結果を取得する(ステップ803)。次いで、画像縮退部84dに対し、2値画像をこの取得したサイズだけ縮退させるよう指示し、その結果を取得する(ステップ804)。これにより、文書画像の画像部に重ねられた反転ドット画像が除去される。この場合、ドット画像の大きさが2ドット×2ドットであることが分かれば、膨張及び縮退の量を2ドットとする。ドット画像と同じ大きさとすることで、ドット画像だけを除去し、文書画像の要素を除去しないようにするためである。
【0063】
また、文書画像抽出部84aは、画像縮退部84dに対し、2値画像をこの取得したサイズだけ縮退させるよう指示し、その結果を取得する(ステップ805)。次いで、画像膨張部84cに対し、2値画像をこの取得したサイズだけ膨張させるよう指示し、その結果を取得する(ステップ806)。これにより、文書画像の背景部に重ねられた正転ドット画像が除去される。この場合、ドット画像の大きさが2ドット×2ドットであることが分かれば、膨張及び縮退の量を2ドットとする。ドット画像と同じ大きさとすることで、ドット画像だけを除去し、文書画像の要素を除去しないようにするためである。
尚、上記説明では、画像を膨張させてから縮退させた後、縮退させてから膨張させていたが、処理の順序はこれには限らない。つまり、画像を縮退させてから膨張させた後、膨張させてから縮退させるようにしても同じ結果が得られる。
【0064】
第二に、図11(c)の画像分離部84における正転ドット画像除去部84eの動作について説明する。
図12(b)は、正転ドット画像除去部84eの動作を示したフローチャートである。
まず、正転ドット画像除去部84eは、2値画像生成部82から2値画像を取得する(ステップ811)。次に、サイズ検出部84bにドット画像のサイズを検出させ、その結果を取得する(ステップ812)。サイズ検出部84bによるドット画像のサイズの検出手法は既述の通りである。
【0065】
そして、正転ドット画像除去部84eは、画像縮退部84dに対し、2値画像をこの取得したサイズだけ縮退させるよう指示し、その結果を取得する(ステップ813)。次いで、画像膨張部84cに対し、2値画像をこの取得したサイズだけ膨張させるよう指示し、その結果を取得する(ステップ814)。これにより、文書画像の背景部に重ねられた正転ドット画像が除去される。この場合、ドット画像の大きさが2ドット×2ドットであることが分かれば、膨張及び縮退の量を2ドットとする。ドット画像と同じ大きさとすることで、ドット画像だけを除去し、文書画像の要素を除去しないようにするためである。
【0066】
第三に、図11(c)の画像分離部84における反転ドット画像除去部84fの動作について説明する。
図12(c)は、反転ドット画像除去部84fの動作を示したフローチャートである。
まず、反転ドット画像除去部84fは、2値画像生成部82から2値画像を取得する(ステップ821)。次に、サイズ検出部84bにドット画像のサイズを検出させ、その結果を取得する(ステップ822)。サイズ検出部84bによるドット画像のサイズの検出手法は既述の通りである。
【0067】
そして、反転ドット画像除去部84fは、画像膨張部84cに対し、2値画像をこの取得したサイズだけ膨張させるよう指示し、その結果を取得する(ステップ823)。次いで、画像縮退部84dに対し、2値画像をこの取得したサイズだけ縮退させるよう指示し、その結果を取得する(ステップ824)。これにより、文書画像の画像部に重ねられた反転ドット画像が除去される。この場合、ドット画像の大きさが2ドット×2ドットであることが分かれば、膨張及び縮退の量を2ドットとする。ドット画像と同じ大きさとすることで、ドット画像だけを除去し、文書画像の要素を除去しないようにするためである。
【0068】
以上により、本実施の形態についての説明を終了する。
ところで、本実施の形態では、文書画像とコードパターン画像から合成画像を生成する処理を画像生成装置で行い、合成画像からコードパターン画像を抽出する処理を画像処理装置で行うこととした。従って、ここでこれらの処理を実行するコンピュータ(端末装置10、文書サーバ20、識別情報管理サーバ30等)のハードウェア構成について説明しておく。
【0069】
図13は、このようなコンピュータのハードウェア構成を示した図である。
図示するように、コンピュータは、演算手段であるCPU(Central Processing Unit)901と、記憶手段であるメインメモリ902及び磁気ディスク装置(HDD:Hard Disk Drive)903とを備える。ここで、CPU901は、OS(Operating System)やアプリケーション等の各種ソフトウェアを実行し、上述した各機能を実現する。また、メインメモリ902は、各種ソフトウェアやその実行に用いるデータ等を記憶する記憶領域であり、磁気ディスク装置903は、各種ソフトウェアに対する入力データや各種ソフトウェアからの出力データ等を記憶する記憶領域である。
更に、コンピュータは、外部との通信を行うための通信I/F904と、ビデオメモリやディスプレイ等からなる表示機構905と、キーボードやマウス等の入力デバイス906とを備える。
【0070】
尚、本実施の形態では、図1のようなシステムにおいて画像を生成し処理することについて説明したが、このようなシステムはあくまで一例であってこれに限られるものではない。
また、情報は符号化してから画像化しコードパターン画像として文書画像に埋め込んでいたが、符号化を必ず行わなければならないというわけでもない。従って、コードパターン画像は、所定の情報を画像化したという意味で情報画像と称することもできる。
【0071】
この場合、情報画像には、媒体を識別するための識別情報、又は、媒体上に形成する文書画像を識別するための識別情報を含めることができる。このような構成によれば、文書画像の画像部及び背景部に跨る範囲に対して効率よく合成された情報画像に基づいて、その文書画像を管理したり、その文書画像に関連する他の情報を取得したりすることができるという効果が得られる。
【0072】
また、情報画像には、媒体上の位置に固有な位置情報を含めることもできる。このような構成によれば、文書画像の画像部及び背景部に跨る範囲に対して効率よく合成された情報画像に基づいて、その文書画像に対する手書きを電子化して管理することができるという効果が得られる。
【図面の簡単な説明】
【0073】
【図1】本発明の実施の形態が適用されるシステム構成を示した図である。
【図2】本発明の実施の形態における印刷文書の生成に関するシーケンス図である。
【図3】本発明の実施の形態で生成されるコードパターンを説明するための図である。
【図4】本発明の実施の形態における情報の符号化及びコードパターン画像の生成について説明するための図である。
【図5】本発明の実施の形態における文書画像とコードパターン画像の合成について説明するための図である。
【図6】本発明の実施の形態における画像生成装置の機能構成を示したブロック図である。
【図7】本発明の実施の形態における画像生成装置の動作を示したフローチャートである。
【図8】本発明の実施の形態における電子ペンの機構を示した図である。
【図9】本発明の実施の形態における電子ペンの動作を示したフローチャートである。
【図10】本発明の実施の形態における文書画像とコードパターン画像の分離について説明するための図である。
【図11】本発明の実施の形態における画像処理装置の機能構成を示したブロック図である。
【図12】本発明の実施の形態における画像処理装置(画像分離部)の動作を示したフローチャートである。
【図13】本発明の実施の形態における画像生成装置又は画像処理装置を実現するコンピュータのハードウェア構成を示した図である。
【符号の説明】
【0074】
10…端末装置、20…文書サーバ、30…識別情報サーバ、40…画像形成装置、50…印刷文書、60…電子ペン
【技術分野】
【0001】
本発明は、画像生成装置、画像処理装置、記録媒体、及びプログラムに関する。
【背景技術】
【0002】
紙上に位置コーディングパターンを印刷する技術が知られている(例えば、特許文献1参照)。この特許文献1では、このような位置コーディングパターンが印刷された紙上で描画デバイスを用いて例えばテキストを書くときに、描画デバイスの光学的検出器が描画デバイス下に置かれたパターンの画像を規則的な間隔で取ることによって紙上の位置のシーケンスを記録し、紙上に書かれたテキストのデジタルコピーを構成するようにしている。
【0003】
また、利用者を識別するための付加情報を原稿の画像部に埋め込んで印字出力する技術も知られている(例えば、特許文献2参照)。この特許文献2では、2値化されたデータの一方(例えば値0)を周辺の画素と同じ濃度の画素で表し、もう一方(例えば値1)のデータを周辺の画素の濃度と僅かに異なる所定濃度の画素で表す。そして、画像データからこの所定濃度の画素の座標を拾い出し、所定の長さの複数の2進数に変換することによって、付加情報を再構成している。
【0004】
【特許文献1】特表2004−528644号公報
【特許文献2】特開平6−22119号公報
【発明の開示】
【発明が解決しようとする課題】
【0005】
ところで、画像が存在する部分(以下、「画像部」という)と画像が存在しない部分(以下、「背景部」という)を有する文書画像に対して、所定の情報を画像化した情報画像を合成する際の一般的な要求として、画像部と背景部に跨る範囲への情報画像の合成を効率的に行いたいということがある。しかしながら、従来、このような要求に対する解決策は提案されていなかった。
【0006】
本発明は、以上のような背景の下でなされたものであって、その目的は、文書画像の画像部及び背景部に跨る範囲に対する情報画像の合成を効率よく行うことにある。
【課題を解決するための手段】
【0007】
本発明の画像生成装置は、電子文書を2値画像化した文書画像を取得する文書画像取得手段と、所定の情報を2値画像化した情報画像を取得する情報画像取得手段と、文書画像と情報画像との排他的論理和演算を行うことにより、文書画像と情報画像を合成する合成手段とを備えている。
ここで、情報画像は、所定形状の複数の画像要素からなり、合成手段は、文書画像における画像が存在する部分に合成する画像要素と、文書画像における画像が存在しない部分に合成する画像要素との大小関係を制御する手段を更に備えていてもよい。
【0008】
本発明の画像処理装置は、電子文書を2値画像化した文書画像と、所定の情報を2値画像化した情報画像とを、文書画像と情報画像の排他的論理和演算を行うことで合成した合成画像を取得する合成画像取得手段と、合成画像を所定の大きさだけ膨張させる処理及び合成画像を所定の大きさだけ縮退させる処理を含む画像処理を行うことにより、情報画像を生成する情報画像生成手段とを備えている。
ここで、情報画像は、所定形状の複数の画像要素からなり、所定の大きさは、複数の画像要素の大きさと略等しい大きさとすることができる。
また、情報画像生成手段は、複数の画像要素の大きさを検出する手段を更に備えていてもよい。
【0009】
更に、上記の画像処理は、合成画像を所定の大きさだけ膨張させてから縮退させる処理及び合成画像を所定の大きさだけ縮退させてから膨張させる処理を行うことにより、文書画像を生成する処理と、文書画像と合成画像との排他的論理和演算を行うことにより、情報画像を生成する処理とを含むものとすることができる。
更にまた、上記の画像処理は、合成画像を所定の大きさだけ膨張させてから縮退させる処理を行うことにより、文書画像における画像が存在する部分に合成された情報画像を除去して第1の情報除去画像を生成する処理と、合成画像を所定の大きさだけ縮退させてから膨張させる処理を行うことにより、文書画像における画像が存在しない部分に合成された情報画像を除去して第2の情報除去画像を生成する処理と、第1の情報除去画像と第2の情報除去画像との排他的論理和演算を行うことにより、情報画像を生成する処理とを含むものとすることができる。
【0010】
本発明の記録媒体は、電子文書を画像化した文書画像における画像が存在しない部分に対応し、所定の情報を画像化した情報画像が重畳される部分に画像が形成された第1の領域と、文書画像における画像が存在する部分に対応し、情報画像が重畳される部分を除いた部分に画像が形成された第2の領域とを含んでいる。
【0011】
本発明のプログラムは、第一に、コンピュータに、電子文書を2値画像化した文書画像を取得する機能と、所定の情報を2値画像化した情報画像を取得する機能と、文書画像と情報画像との排他的論理和演算を行うことにより、文書画像と情報画像を合成する機能とを実現させるためのものである。
また、第二に、コンピュータに、電子文書を2値画像化した文書画像と、所定の情報を2値画像化した情報画像とを、文書画像と情報画像の排他的論理和演算を行うことで合成した合成画像を取得する機能と、合成画像を所定の大きさだけ膨張させる処理及び合成画像を所定の大きさだけ縮退させる処理を含む画像処理を行うことにより、情報画像を生成する機能とを実現させるためのものである。
【発明の効果】
【0012】
請求項1の発明には、文書画像の画像部及び背景部に跨る範囲に対する情報画像の合成を効率よく行うことができるという効果がある。
請求項2の発明には、情報画像を合成した結果の画像を好ましい状態にすることができるという効果がある。
請求項3の発明には、文書画像の画像部及び背景部に跨る範囲に対して効率よく合成された情報画像を抽出することができるという効果がある。
請求項4の発明には、情報画像を抽出する際の確実性を向上することができるという効果がある。
請求項5の発明には、情報画像を合成した結果の画像の状態が未知であっても情報画像を抽出することができるという効果がある。
請求項6の発明には、情報画像を効率よく抽出することができるという効果がある。
請求項7の発明には、情報画像を効率よく抽出することができるという効果がある。
請求項8の発明には、文書画像の画像部及び背景部に跨る範囲に対して情報画像を効率よく合成して利用に供することができるという効果がある。
請求項9の発明には、文書画像の画像部及び背景部に跨る範囲に対する情報画像の合成を効率よく行うことができるという効果がある。
請求項10の発明には、文書画像の画像部及び背景部に跨る範囲に対して効率よく合成された情報画像を抽出することができるという効果がある。
【発明を実施するための最良の形態】
【0013】
以下、添付図面を参照して、本発明を実施するための最良の形態(以下、「実施の形態」という)について詳細に説明する。
まず、本実施の形態におけるシステム構成について説明する。
図1は、本実施の形態が適用されるシステムの構成を示したものである。このシステムは、端末装置10と、文書サーバ20と、識別情報サーバ30と、画像形成装置40とがネットワーク90に接続されることにより構成されている。また、このシステムは、印刷文書50と、電子ペン60とを含む。
【0014】
端末装置10は、電子文書の印刷を指示するために用いられる。尚、この端末装置10としては、PC(Personal Computer)が例示される。
文書サーバ20は、電子文書を記憶している。そして、電子文書の印刷指示があると、電子文書の画像とコードパターン画像とを重畳した重畳画像の形成指示を出力する。尚、この文書サーバ20は、汎用のサーバコンピュータによって実現することができる。
ここで、コードパターン画像とは、識別情報及び位置情報を符号化して得られる識別符号及び位置符号を画像化したものである。このうち、識別情報としては、媒体を一意に識別する識別情報、又は、媒体に印刷された電子文書を一意に識別する識別情報のいずれかが採用される。前者の識別情報を採用した場合、同じ電子文書を複数部数印刷すると、異なる媒体には異なる識別情報が付与される。一方、後者の識別情報を採用した場合、同じ電子文書を印刷すると、異なる媒体であっても同じ識別情報が付与される。また、位置情報は、媒体上の座標位置を表す情報である。
【0015】
識別情報サーバ30は、媒体に付与する識別情報を発行する。そして、発行した識別情報を、その媒体に印刷される電子文書と関連付けて管理する。尚、この識別情報サーバ30も、汎用のサーバコンピュータによって実現することができる。
画像形成装置40は、媒体に画像を形成する。ここで、画像形成装置40における画像形成方式としては、例えば、電子写真方式を用いることができるが、その他の如何なる方式を用いてもよい。
印刷文書50は、電子文書の画像とコードパターン画像とを重畳した重畳画像が印刷された媒体である。
電子ペン60は、印刷文書50に文字又は図形を記録する機能を有するペンデバイスである。
【0016】
尚、本明細書では、「電子文書」の文言を用いるが、これは、テキストを含む「文書」を電子化したデータのみを意味するものではない。例えば、絵、写真、図形等の画像データ(ラスタデータかベクターデータかによらない)、その他の印刷可能な電子データも含めて「電子文書」としている。
【0017】
次に、このシステムにおいて印刷文書50を生成する際の動作を説明する。
図2は、このときの動作を示したシーケンス図である。
まず、ユーザが、端末装置10を操作し、文書サーバ20に格納された電子文書の中から印刷対象の電子文書を指定する。これにより、端末装置10は、その電子文書の印刷指示を文書サーバ20に送信する(ステップ101)。尚、このとき、端末装置10は、ユーザが指定した印刷パラメータも送信する。ここで、印刷パラメータには、ページ、部数、用紙サイズ、N−up(用紙の1ページ内に電子文書のNページを割り付ける印刷)、余白等がある。
【0018】
すると、文書サーバ20は、電子文書の印刷指示を受信する(ステップ201)。そして、印刷を指示された電子文書の格納場所と、端末装置10から受信した印刷パラメータとを識別情報サーバ30に送信する(ステップ202)。
【0019】
これにより、識別情報サーバ30は、電子文書の格納場所と印刷パラメータとを受信する(ステップ301)。そして、識別情報を管理するデータベースから未使用の識別情報を取り出す(ステップ302)。ここで、取り出す識別情報の数は、印刷パラメータに応じて決められる。つまり、基本的には、印刷するページ数に印刷部数を乗じて得られる数の識別情報が取り出される。但し、印刷パラメータ中に、N−upの指定等がある場合は、それも考慮される。例えば、10ページの電子文書を2−upで5部印刷する場合は、25(=10÷2×5)個の識別情報が取り出される。
次に、識別情報サーバ30は、識別情報と、電子文書の格納場所と、印刷パラメータとを関連付けてデータベースに登録する(ステップ303)。そして、識別情報サーバ30は、文書サーバ20に対し、識別情報を送信する(ステップ304)。
【0020】
これにより、文書サーバ20は、識別情報を受信する(ステップ203)。そして、識別情報及び位置情報を埋め込んだコードパターン画像を生成する(ステップ204)。尚、コードパターン画像の生成処理の詳細は後述する。
その後、文書サーバ20は、電子文書の文書画像とコードパターン画像とを画像形成装置40に送信し、画像形成を指示する(ステップ205)。この指示は、例えば、電子文書、識別情報、位置情報からページ記述言語(PDL:Print Description Language)を生成し、これを送信することで行うことができる。
【0021】
すると、画像形成装置40は、電子文書の文書画像とコードパターン画像とを受信する(ステップ401)。これにより、画像形成装置40は、まず、文書画像とコードパターン画像とを合成する(ステップ402)。そして、合成した画像をK(黒)の画像へ展開する(ステップ403)。次に、合成した画像をK(黒)のトナーを用いて媒体上に形成する(ステップ404)。
【0022】
ところで、上述した例では、識別情報サーバ30は識別情報を発行するだけで、文書サーバ20が、識別情報を含むコードパターン画像を生成し、画像形成装置40に画像形成を指示する構成とした。しかしながら、識別情報サーバ30が、コードパターン画像を生成し、画像形成装置40に画像形成を指示する構成としてもよい。
また、コードパターン画像は、画像形成装置40で生成することもできる。この場合は、文書サーバ20又は識別情報サーバ30が、電子文書から生成したPDLに識別情報を付加して画像形成装置40へ送信し、画像形成装置40が識別情報を含むコードパターン画像を生成することになる。
【0023】
また、上記では、識別情報と、電子文書の格納場所と、印刷パラメータとを関連付けたデータベースを識別情報管理サーバ30に置く構成について説明した。これは、かかるデータベースを共有可能な装置に置くことで、複数ユーザへの対応や、サーバのアクセス制御技術を利用した電子文書のセキュリティ確保が可能となるからである。しかしながら、必ずしもこのような構成を採用しなければならないというわけではなく、端末装置10や文書サーバ20にこのようなデータベースを置く構成を採用してもよい。
【0024】
次に、本実施の形態で生成されるコードパターン画像の元となるコードパターンについて説明する。
図3は、コードパターンについて説明するための図である。
まず、コードパターンを構成するビットパターンについて説明する。
図3(a)に、ビットパターンの配置の一例を示す。
ビットパターンとは、情報埋め込みの最小単位である。ここでは、図3(a)に示すように、9箇所の中から選択した2箇所にビットを配置する。図では、黒の四角が、ビットが配置された位置を示し、斜線の四角が、ビットが配置されていない位置を示している。9箇所の中から2箇所を選択する組み合わせは、36(=9C2)通りある。従って、このような配置方法により、36通り(約5.2ビット)の情報を表現することができる。
但し、識別情報及び位置情報は、この36通りのうち32通り(5ビット)を使用して表現するものとする。
【0025】
ところで、図3(a)に示した最小の四角は、600dpiにおける2ドット×2ドットの大きさを有している。600dpiにおける1ドットの大きさは0.0423mmなので、この最小の四角の一辺は、84.6μm(=0.0423mm×2)である。コードパターンを構成するドットは、大きくなればなるほど目に付きやすくなるため、できるだけ小さいほうが好ましい。ところが、あまり小さくすると、プリンタで印刷できなくなってしまう。そこで、ドットの大きさとして、50μmより大きく100μmより小さい上記の値を採用している。これにより、プリンタで印刷可能な最適な大きさのドットを形成することができる。つまり、84.6μm×84.6μmが、プリンタで安定的に形成可能な最小の大きさなのである。
尚、ドットをこのような大きさにすることで、1つのビットパターンの一辺は、約0.5mm(=0.0423mm×2×6)となる。
【0026】
また、このようなビットパターンから構成されるコードパターンについて説明する。
図3(b)に、コードパターンの配置の一例を示す。
ここで、図3(b)に示した最小の四角が、図3(a)に示したビットパターンに相当する。即ち、識別情報を符号化した識別符号は、16(=4×4)個のビットパターンを使用して埋め込まれる。また、X方向の位置情報を符号化したX位置符号と、Y方向の位置情報を符号化したY位置符号とは、それぞれ、4個のビットパターンを使用して埋め込まれる。更に、左上角部に、コードパターンの位置と回転を検出するための同期符号が、1つのビットパターンを使用して埋め込まれる。
尚、1つのコードパターンの大きさは、ビットパターンの5個分の幅に等しいため、約2.5mmとなる。本実施の形態では、このように生成したコードパターンを画像化したコードパターン画像を、用紙全面に配置する。
【0027】
次いで、識別情報及び位置情報を符号化し、符号化された情報からコードパターン画像を生成する処理について説明する。尚、図2に示した動作を行う場合、この処理は、文書サーバ20にて実行される。
図4は、このような符号化及び画像生成の処理について説明するための図である。
まず、識別情報の符号化について説明する。
識別情報の符号化には、ブロック符号化方式のRS(リードソロモン)符号が使用される。図3で説明した通り、本実施の形態では、5ビットの情報を表現できるビットパターンを用いて情報を埋め込む。従って、情報の誤りも5ビット単位で発生するため、ブロック符号化方式で符号化効率が良いRS符号を使用している。但し、符号化方式はRS符号に限定するものでなく、その他の符号化方式、例えば、BCH符号等を使用することもできる。
【0028】
上述したように、本実施の形態では、5ビットの情報量を持つビットパターンを用いて情報を埋め込む。従って、RS符号のブロック長を5ビットとする必要がある。そのため、識別情報を5ビットずつに区切り、ブロック化する。図4では、識別情報「0011101101001…」から、第1のブロック「00111」と、第2のブロック「01101」とが切り出されている。
そして、ブロック化された識別情報に対し、RS符号化処理を行う。図4では、「blk1」、「blk2」、「blk3」、「blk4」、…というようにブロック化した後、RS符号化が行われる。
【0029】
ところで、本実施の形態において、識別情報は、16(=4×4)個のブロックに分けられる。そこで、RS符号における符号ブロック数を16とすることができる。また、情報ブロック数は、誤りの発生状況に応じて設計することができる。例えば、情報ブロック数を8とすれば、RS(16,8)符号となる。この符号は、符号化された情報に4ブロック(=(16−8)÷2)の誤りが発生しても、それを補正することができる。また、誤りの位置を特定できれば、訂正能力を更に向上することができる。尚、この場合、情報ブロックに格納される情報量は、40ビット(=5ビット×8ブロック)である。従って、約1兆種類の識別情報が表現可能である。
【0030】
次に、位置情報の符号化について説明する。
位置情報の符号化には、擬似乱数系列の一種であるM系列符号が使用される。ここで、M系列とは、K段の線形シフトレジスタで発生できる最大周期の系列であり、2K−1の系列長をもつ。このM系列から取り出した任意の連続したKビットは、同じM系列中の他の位置に現れない性質を持つ。そこで、この性質を利用することにより、位置情報を符号化することができる。
【0031】
ところで、本実施の形態では、符号化すべき位置情報の長さから、必要なM系列の次数を求め、M系列を生成している。しかしながら、符号化する位置情報の長さが予め分かっている場合は、M系列を毎回生成する必要はない。即ち、固定のM系列を予め生成しておき、それをメモリ等に格納しておけばよい。
例えば、系列長8191のM系列(K=13)を使用したとする。
この場合、位置情報も5ビット単位で埋め込むため、系列長8191のM系列から5ビットずつ取り出してブロック化する。図4では、M系列「11010011011010…」が、5ビットずつブロック化されている。
【0032】
以上のように、識別情報がブロック分割された後、RS符号により符号化され、また、位置情報がM系列により符号化された後、ブロック分割されると、図示するように、ブロックが合成される。即ち、これらのブロックは、図示するようなフォーマットで2次元平面に展開される。図4に示したフォーマットは、図3(b)に示したフォーマットに対応している。即ち、黒の四角が同期符号を意味している。また、横方向に配置された「1」、「2」、「3」、「4」、…がX位置符号を、縦方向に配置された「1」、「2」、「3」、「4」、…がY位置符号を、それぞれ意味している。位置符号は、媒体の位置が異なれば異なる情報が配置されるので、座標位置に対応する数字で示しているのである。一方、グレーの四角が識別符号を意味している。識別符号は、媒体の位置が異なっても同じ情報が配置されるので、全て同じマークで示しているのである。
【0033】
ところで、図からも分かる通り、2つの同期符号の間には、4個のビットパターンがある。従って、20(=5×4)ビットのM系列の部分系列を配置することができる。20ビットの部分系列から13ビットの部分系列を取り出せば、その13ビットが全体(8191)の中のどの部分の部分系列なのかを特定することができる。このように、20ビットのうち13ビットを位置の特定に使用した場合、取り出した13ビットの誤りの検出又は訂正を、残りの7ビットを使用して行うことができる。即ち、M系列を生成した時と同じ生成多項式を使用して、20ビットの整合性を確認することで、誤りの検出と訂正が可能となるのである。
その後、各ブロックにおけるビットパターンが、ドット画像を参照することにより画像化される。そして、図4の最右に示すようなドットで情報を表す出力画像が生成される。
【0034】
ところで、本実施の形態では、電子文書を2値画像化した文書画像と、図4で述べたような手法で生成された2値画像であるコードパターン画像とを合成して合成画像を生成する際の方法について工夫している。
図5は、この合成画像の生成について模式的に示した図である。
まず、図5(a)は、電子文書の文書画像の一部を拡大して示したものである。そして、図5(b)は、この文書画像に合成するコードパターン画像の一部を拡大して示したものである。
本実施の形態では、図5(a)の画像と図5(b)の画像とを合成する際に、画像どうしの排他的論理和演算を行うことにより、図5(c)の画像を生成する。つまり、文書画像の背景部では、コードパターン画像がK(黒)トナーで形成され、画像部では、コードパターン画像を除く部分がK(黒)トナーで形成されている。
【0035】
このような文書画像とコードパターン画像との合成処理を、図2においては、画像形成装置40で行っていた。しかしながら、この合成処理は、文書サーバ20や識別情報サーバ30で行うことも可能である。従って、以下では、この合成処理を一般的な画像生成装置で行うものとして説明する。
【0036】
図6は、本実施の形態における画像生成装置の機能構成を示したブロック図である。
図示するように、この画像生成装置は、文書画像受付部71と、コードパターン画像受付部72と、画像合成部73と、画像出力部76とを備える。また、画像合成部73は、EXOR演算部74と、画像補正部75とを備えている。
【0037】
文書画像受付部71は、外部から入力された文書画像を受け付ける。コードパターン画像受付部72は、外部から入力されたコードパターン画像を受け付ける。
画像合成部73は、文書画像受付部71が受け付けた文書画像とコードパターン画像受付部72が受け付けたコードパターン画像とを合成する。この画像合成部73内の構成のうち、EXOR演算部74は、文書画像とコードパターン画像の排他的論理和演算を行う。また、画像補正部75は、排他的論理和演算を行った結果の画像において、画像要素の大きさを補正する。
【0038】
画像出力部76は、EXOR演算部74が生成し画像補正部75により補正された画像を出力する。尚、この画像生成装置が画像形成装置40の一部であるとすると、画像出力部76により出力された画像は、画像形成装置40内の図示しない画像形成機構により媒体に印刷される。また、この画像生成装置が文書サーバ20や識別情報サーバ30にて実現されるとすると、画像出力部76により出力された画像は、ネットワーク90を介して例えば画像形成装置40に送信される。
【0039】
尚、これらの機能部分は、ソフトウェアとハードウェア資源とが協働することにより実現される。具体的には、画像生成装置のCPUが、文書画像受付部71、コードパターン画像受付部72、EXOR演算部74、画像補正部75、画像出力部76の各機能を実現するプログラムを例えば磁気ディスク装置からメインメモリに読み込んで実行する。また、このプログラムは、磁気ディスク装置に予め記憶しておくだけでなく、CD−ROM等の記録媒体からロードしたり、インターネット等のネットワークからダウンロードしたりすることによって提供してもよい。
【0040】
次に、この画像生成装置の動作について説明する。
図7は、このときの画像生成装置の動作を示したフローチャートである。
図示するように、画像生成装置では、まず、文書画像受付部71が、文書画像を取得する(ステップ701)。また、コードパターン画像受付部72が、コードパターン画像を取得する(ステップ702)。
そして、EXOR演算部74が、取得した2つの画像のEXOR(排他的論理和)演算を行う(ステップ703)。
【0041】
ところで、本実施の形態では、図3を参照して述べたように、コードパターン画像を構成する画像要素(トナーがのる最小単位)の大きさを、600dpiで2ドット×2ドット、即ち、直径が85μm程度にしている。このように小さな画像要素を形成する場合、画像形成機構の特性によっては、画像要素が大きめに形成されたり小さめに形成されたりする状況が生ずる。画像形成機構には、ドットを大きめに形成するものもあれば、ドットを小さめに形成するものもあるからである。つまり、ドットを大きめに形成する画像形成機構では、文書画像の背景部と画像部における画像要素を同じドット数で生成した場合、背景部の正転画像要素(トナーがのる部分)は大きめに形成され、画像部の反転画像要素(トナーがのらない部分)は小さめに形成される。一方、ドットを小さめに形成する画像形成機構では、傾向が逆になる。
【0042】
しかしながら、正転画像要素と反転画像要素とは、画像全域にわたって同じ大きさであることが好ましい。そこで、本実施の形態では、画像形成時におけるこれらの画像要素の大きさが等しくなるよう、画像生成時に画像要素の大きさを調整する構成を採用している。尚、ここでは、コードパターン画像を構成する画像要素を、図4と同様、ドット画像として説明する。
【0043】
まず、画像補正部75は、生成された画像を媒体に形成する際に用いられる画像形成機構の特性を判定する(ステップ704)。即ち、画像形成機構の特性が、ドットを大きめに形成するものであるか、ドットを小さめに形成するものであるか、普通の大きさで形成するものであるかを判定する。
ここで、画像形成機構がドットを普通の大きさで形成すると判定された場合、画像補正部75は画像を補正せず、EXOR演算部74が生成した画像をそのまま画像出力部76に受け渡す。
【0044】
また、画像形成機構がドットを大きめに形成すると判定された場合、文書画像の背景部に生成する正転ドット画像(トナーがのる部分)を、文書画像の画像部に生成する反転ドット画像(トナーがのらない部分)よりも小さくする(ステップ705)。これにより、EXOR演算部74は、補正後の画像を画像出力部76に受け渡す。
更に、画像形成装置がドットを小さめに形成すると判定された場合、文書画像の背景部に生成する正転ドット画像(トナーがのる部分)を、文書画像の画像部に生成する反転ドット画像(トナーがのらない部分)よりも大きくする(ステップ706)。これにより、EXOR演算部74は、補正後の画像を画像出力部76に受け渡す。
その後、画像出力部76は、受け渡された画像を、図示しない画像形成機構に出力したり、ネットワーク90を介して画像形成装置40に送出したりする(ステップ707)。
【0045】
尚、上記説明では、文書画像とコードパターン画像のEXOR演算を行ってから正転ドット画像と反転ドット画像の大きさの調整を行っていたが、処理の順序はこれには限らない。つまり、EXOR演算を行う前のコードパターン画像において、文書画像と重なることになるドット画像と、文書画像と重なることにならないドット画像とを区別して、これらの大きさを調整するようにしてもよい。
【0046】
次に、このように合成画像が印刷された媒体からの情報の読取りについて説明する。
まず、情報の読取りに用いられる電子ペン60の一般的な機能について述べる。
図8は、電子ペン60の機構を示した図である。
図示するように、電子ペン60は、ペン全体の動作を制御する制御回路61を備える。また、制御回路61は、入力画像から検出したコードパターン画像を処理する画像処理部61aと、そこでの処理結果から識別情報及び位置情報を抽出するデータ処理部61bとを含む。
そして、制御回路61には、電子ペン60による筆記動作をペンチップ69に加わる圧力によって検出する圧力センサ62が接続されている。また、媒体上に赤外光を照射する赤外LED63と、画像を入力する赤外CMOS64も接続されている。更に、識別情報及び位置情報を記憶するための情報メモリ65と、外部装置と通信するための通信回路66と、ペンを駆動するためのバッテリ67と、ペンの識別情報(ペンID)を記憶するペンIDメモリ68も接続されている。
【0047】
ここで、この電子ペン60の動作の概略を説明する。
電子ペン60による筆記が行われると、ペンチップ69に接続された圧力センサ62が、筆記動作を検出する。これにより、赤外LED63が点灯し、赤外CMOS64がCMOSセンサによって媒体上の画像を撮像する。
尚、赤外LED63は、消費電力を抑制するために、CMOSセンサのシャッタタイミングに同期させてパルス点灯する。
また、赤外CMOS64は、撮像した画像を同時に転送できるグローバルシャッタ方式のCMOSセンサを使用する。そして、赤外領域に感度があるCMOSセンサを使用する。また、外乱の影響を低減するために、CMOSセンサ全面に可視光カットフィルタを配置している。CMOSセンサは、70fps〜100fps(frame per second)程度の周期で、画像を撮像する。尚、撮像素子はCMOSセンサに限定するものではなく、CCD等、他の撮像素子を使用してもよい。
【0048】
このように撮像した画像が制御回路61に入力されると、制御回路61は、撮像した画像からコードパターン画像を取得する。そして、それを復号し、コードパターン画像に埋め込まれている識別情報及び位置情報を取得する。
以下、このときの制御回路61の動作について説明する。
図9は、制御回路61の動作を示したフローチャートである。
まず、画像処理部61aは、画像を入力する(ステップ601)。そして、画像に含まれるノイズを除去するための処理を行う(ステップ602)。ここで、ノイズとしては、CMOS感度のばらつきや電子回路により発生するノイズ等がある。ノイズを除去するために如何なる処理を行うかは、電子ペン60の撮像系の特性に応じて決定すべきである。例えば、ぼかし処理やアンシャープマスキング等の先鋭化処理を適用することができる。
【0049】
次に、画像処理部61aは、画像からドットパターン(ドット画像の位置)を検出する(ステップ603)。例えば、2値化処理によりドットパターン部と背景部とを切り分け、2値化された個々の画像位置からドットパターンを検出することができる。2値化画像にノイズ成分が多数含まれる場合は、例えば、2値化画像の面積や形状によりドットパターンの判定を行うフィルタ処理を組み合わせる必要がある。
また、画像処理部61aは、検出したドットパターンを2次元配列上のデジタルデータに変換する(ステップ604)。例えば、2次元配列上で、ドットがある位置を「1」、ドットがない位置を「0」というように変換する。そして、この2次元配列上のデジタルデータは、画像処理部61aからデータ処理部61bへと受け渡される。
【0050】
次いで、データ処理部61bは、受け渡されたデジタルデータから、図3(a)に示した2つのドットの組み合わせからなるビットパターンを検出する(ステップ605)。例えば、ビットパターンに対応するブロックの境界位置を2次元配列上で動かし、ブロック内に含まれるドットの数が2つになるような境界位置を検出することにより、ビットパターンを検出することができる。
このようにしてビットパターンが検出されると、データ処理部61bは、ビットパターンの種類を参照することにより、同期符号を検出する(ステップ606)。そして、同期符号からの位置関係に基づいて、識別符号及び位置符号を検出する(ステップ607)。
その後、データ処理部61bは、識別符号を復号して識別情報を取得し、位置符号を復号して位置情報を取得する(ステップ608)。識別符号については、RS復号処理を施すことで識別情報を得る。一方、位置符号については、読み出した部分系列の位置を、画像生成時に使用したM系列と比較することで、位置情報を得る。
【0051】
本実施の形態では、この電子ペン60により、合成画像から文書画像とコードパターン画像とを復元する。
図10は、この文書画像とコードパターン画像の復元について模式的に示した図である。
まず、図10(a)は、合成画像の一部を拡大して示したものである。これは、図5(c)に示した画像と同じものである。
本実施の形態では、図10(a)の画像を膨張させたり縮退させたりすることで、図10(b)の文書画像及び図10(c)のコードパターン画像を復元する。つまり、図10(b)は、電子文書の文書画像の一部を拡大して示したものであり、図5(a)に示した画像と同じものである。また、図10(c)は、コードパターン画像の一部を拡大して示したものであり、図5(b)に示した画像と同じものである。
【0052】
ここでは、このような文書画像とコードパターン画像の復元処理を電子ペン60で行うものとして説明した。しかしながら、この復元処理は、電子ペン60から情報を受信したPCで行うことも可能である。また、文書画像とコードパターン画像とが印刷された媒体の全面をスキャンできるスキャナで実現することもできる。従って、以下では、この復元処理を一般的な画像処理装置で行うものとして説明する。
【0053】
図11は、本実施の形態における画像処理装置の機能構成を示したブロック図である。
図11(a)に示すように、この画像処理装置は、画像受付部81と、2値画像生成部82と、コードパターン画像生成部83と、画像整形部86と、画像復号部87とを備える。また、コードパターン画像生成部83は、画像分離部84と、EXOR演算部85とを備えている。
【0054】
画像受付部81は、処理対象の画像を受け付ける。2値画像生成部82は、受け付けた画像を2値画像へ変換する。
コードパターン画像生成部83は、この2値画像に基づいてコードパターン画像を生成する。画像分離部84は、コードパターン画像と文書画像とを分離するための2種類の画像を生成する。EXOR演算部85は、この2種類の画像のEXOR(排他的論理和)演算を行い、コードパターン画像を生成する。
画像整形部86は、生成された画像に含まれるノイズ成分を除去する。画像復号部87は、ノイズ成分の除去された画像から情報を復号する。
【0055】
また、画像分離部84については、生成する2種類の画像によって構成が異なる。ここでは2つの構成例を示す。
まず、図11(b)に、画像分離部84の第1の構成例を示す。
図示するように、第1の構成例において、画像分離部84は、文書画像抽出部84aと、サイズ検出部84bと、画像膨張部84cと、画像縮退部84dとを備えている。
文書画像抽出部84aは、後述する各機能部を制御することにより2値画像から文書画像を抽出する。サイズ検出部84bは、画像の膨張や縮退を行う際のサイズを検出する。画像膨張部84cは、指示された画像に対して公知の膨張処理を行う。また、画像縮退部84dは、指示された画像に対して公知の縮退処理を行う。
【0056】
ここで、膨張処理とは、画像を膨らませる処理であり、縮退処理(収縮処理)とは、画像を縮める処理である。具体的には、膨張処理は、画像部の境界から一定の範囲にある背景部の画素を画像部の画素とすることで実現される。一方、縮退処理は、画像部の境界から一定の範囲にある画像部の画素を背景部の画素とすることで実現される。
【0057】
次に、図11(c)に、画像分離部84の第2の構成例を示す。
図示するように、第2の構成例において、画像分離部84は、正転ドット画像除去部84eと、サイズ検出部84bと、画像膨張部84cと、画像縮退部84dと、反転ドット画像除去部84fとを備えている。
正転ドット画像除去部84eは、文書画像の背景部に含まれるドットパターンを除去する。また、反転ドット画像除去部84fは、文書画像の画像部に含まれるドットパターンを除去する。尚、サイズ検出部84b、画像膨張部84c、画像縮退部84dについては、図11(b)に示したものと同様なので説明を省略する。
【0058】
尚、これらの機能部分は、ソフトウェアとハードウェア資源とが協働することにより実現される。具体的には、画像処理装置のCPUが、画像受付部81、2値画像生成部82、画像分離部84(内部の機能も含む)、EXOR演算部85、画像整形部86、画像復号部87の各機能を実現するプログラムを例えば磁気ディスク装置からメインメモリに読み込んで実行する。また、このプログラムは、磁気ディスク装置に予め記憶しておくだけでなく、CD−ROM等の記録媒体からロードしたり、インターネット等のネットワークからダウンロードしたりすることによって提供してもよい。
【0059】
次に、この画像処理装置の動作について説明する。但し、この画像処理装置の一般的な動作の流れは図9に示した通りである。即ち、ステップ601が画像受付部81の処理に相当し、ステップ602が画像整形部86の処理に相当し、ステップ603〜608が画像復号部87の処理に相当する。従って、ここでは、本実施の形態の画像処理装置に特有の処理として、ステップ601とステップ602の間で実行される2値画像生成部82及びコードパターン画像生成部83の処理について説明する。
【0060】
画像処理装置では、画像受付部81が2値画像生成部82に画像を受け渡すと、2値画像生成部82が、この画像を2値画像へ変換する。ここで、2値画像へ変換は、公知の固定閾値による2値化のほか、動的閾値生成法による2値化を適用して行うことができる。そして、2値画像生成部82は、変換後の2値画像を画像分離部84に受け渡す。すると、画像分離部84は、この2値画像を分離する。
その後、この2値画像の分離は、図11(b)の構成を有する画像分離部84の場合、文書画像抽出部84aが行う。一方、図11(c)の構成を有する画像分離部84の場合、正転ドット画像除去部84e及び反転ドット画像除去部84fが行う。
従って、以下では、これらの各機能部の動作について説明する。
【0061】
第一に、図11(b)の画像分離部84における文書画像抽出部84aの動作について説明する。
図12(a)は、文書画像抽出部84aの動作を示したフローチャートである。
まず、文書画像抽出部84aは、2値画像生成部82から2値画像を取得する(ステップ801)。次に、サイズ検出部84bにドット画像のサイズを検出させ、その結果を取得する(ステップ802)。ここで、サイズ検出部84bは、ドット画像のサイズを例えば次のような手法で検出することができる。即ち、2値画像にラベリング処理を行い、ラベルごとの画像の面積のヒストグラムを生成する。その結果、ドット画像はヒストグラム中で最も出現数が多いはずなので、最も出現頻度が高い面積をドット画像の面積とする。面積が分かれば、ドット画像の半径を算出できるので、膨張及び縮退の量を算出することができるのである。
【0062】
そして、文書画像抽出部84aは、画像膨張部84cに対し、2値画像をこの取得したサイズだけ膨張させるよう指示し、その結果を取得する(ステップ803)。次いで、画像縮退部84dに対し、2値画像をこの取得したサイズだけ縮退させるよう指示し、その結果を取得する(ステップ804)。これにより、文書画像の画像部に重ねられた反転ドット画像が除去される。この場合、ドット画像の大きさが2ドット×2ドットであることが分かれば、膨張及び縮退の量を2ドットとする。ドット画像と同じ大きさとすることで、ドット画像だけを除去し、文書画像の要素を除去しないようにするためである。
【0063】
また、文書画像抽出部84aは、画像縮退部84dに対し、2値画像をこの取得したサイズだけ縮退させるよう指示し、その結果を取得する(ステップ805)。次いで、画像膨張部84cに対し、2値画像をこの取得したサイズだけ膨張させるよう指示し、その結果を取得する(ステップ806)。これにより、文書画像の背景部に重ねられた正転ドット画像が除去される。この場合、ドット画像の大きさが2ドット×2ドットであることが分かれば、膨張及び縮退の量を2ドットとする。ドット画像と同じ大きさとすることで、ドット画像だけを除去し、文書画像の要素を除去しないようにするためである。
尚、上記説明では、画像を膨張させてから縮退させた後、縮退させてから膨張させていたが、処理の順序はこれには限らない。つまり、画像を縮退させてから膨張させた後、膨張させてから縮退させるようにしても同じ結果が得られる。
【0064】
第二に、図11(c)の画像分離部84における正転ドット画像除去部84eの動作について説明する。
図12(b)は、正転ドット画像除去部84eの動作を示したフローチャートである。
まず、正転ドット画像除去部84eは、2値画像生成部82から2値画像を取得する(ステップ811)。次に、サイズ検出部84bにドット画像のサイズを検出させ、その結果を取得する(ステップ812)。サイズ検出部84bによるドット画像のサイズの検出手法は既述の通りである。
【0065】
そして、正転ドット画像除去部84eは、画像縮退部84dに対し、2値画像をこの取得したサイズだけ縮退させるよう指示し、その結果を取得する(ステップ813)。次いで、画像膨張部84cに対し、2値画像をこの取得したサイズだけ膨張させるよう指示し、その結果を取得する(ステップ814)。これにより、文書画像の背景部に重ねられた正転ドット画像が除去される。この場合、ドット画像の大きさが2ドット×2ドットであることが分かれば、膨張及び縮退の量を2ドットとする。ドット画像と同じ大きさとすることで、ドット画像だけを除去し、文書画像の要素を除去しないようにするためである。
【0066】
第三に、図11(c)の画像分離部84における反転ドット画像除去部84fの動作について説明する。
図12(c)は、反転ドット画像除去部84fの動作を示したフローチャートである。
まず、反転ドット画像除去部84fは、2値画像生成部82から2値画像を取得する(ステップ821)。次に、サイズ検出部84bにドット画像のサイズを検出させ、その結果を取得する(ステップ822)。サイズ検出部84bによるドット画像のサイズの検出手法は既述の通りである。
【0067】
そして、反転ドット画像除去部84fは、画像膨張部84cに対し、2値画像をこの取得したサイズだけ膨張させるよう指示し、その結果を取得する(ステップ823)。次いで、画像縮退部84dに対し、2値画像をこの取得したサイズだけ縮退させるよう指示し、その結果を取得する(ステップ824)。これにより、文書画像の画像部に重ねられた反転ドット画像が除去される。この場合、ドット画像の大きさが2ドット×2ドットであることが分かれば、膨張及び縮退の量を2ドットとする。ドット画像と同じ大きさとすることで、ドット画像だけを除去し、文書画像の要素を除去しないようにするためである。
【0068】
以上により、本実施の形態についての説明を終了する。
ところで、本実施の形態では、文書画像とコードパターン画像から合成画像を生成する処理を画像生成装置で行い、合成画像からコードパターン画像を抽出する処理を画像処理装置で行うこととした。従って、ここでこれらの処理を実行するコンピュータ(端末装置10、文書サーバ20、識別情報管理サーバ30等)のハードウェア構成について説明しておく。
【0069】
図13は、このようなコンピュータのハードウェア構成を示した図である。
図示するように、コンピュータは、演算手段であるCPU(Central Processing Unit)901と、記憶手段であるメインメモリ902及び磁気ディスク装置(HDD:Hard Disk Drive)903とを備える。ここで、CPU901は、OS(Operating System)やアプリケーション等の各種ソフトウェアを実行し、上述した各機能を実現する。また、メインメモリ902は、各種ソフトウェアやその実行に用いるデータ等を記憶する記憶領域であり、磁気ディスク装置903は、各種ソフトウェアに対する入力データや各種ソフトウェアからの出力データ等を記憶する記憶領域である。
更に、コンピュータは、外部との通信を行うための通信I/F904と、ビデオメモリやディスプレイ等からなる表示機構905と、キーボードやマウス等の入力デバイス906とを備える。
【0070】
尚、本実施の形態では、図1のようなシステムにおいて画像を生成し処理することについて説明したが、このようなシステムはあくまで一例であってこれに限られるものではない。
また、情報は符号化してから画像化しコードパターン画像として文書画像に埋め込んでいたが、符号化を必ず行わなければならないというわけでもない。従って、コードパターン画像は、所定の情報を画像化したという意味で情報画像と称することもできる。
【0071】
この場合、情報画像には、媒体を識別するための識別情報、又は、媒体上に形成する文書画像を識別するための識別情報を含めることができる。このような構成によれば、文書画像の画像部及び背景部に跨る範囲に対して効率よく合成された情報画像に基づいて、その文書画像を管理したり、その文書画像に関連する他の情報を取得したりすることができるという効果が得られる。
【0072】
また、情報画像には、媒体上の位置に固有な位置情報を含めることもできる。このような構成によれば、文書画像の画像部及び背景部に跨る範囲に対して効率よく合成された情報画像に基づいて、その文書画像に対する手書きを電子化して管理することができるという効果が得られる。
【図面の簡単な説明】
【0073】
【図1】本発明の実施の形態が適用されるシステム構成を示した図である。
【図2】本発明の実施の形態における印刷文書の生成に関するシーケンス図である。
【図3】本発明の実施の形態で生成されるコードパターンを説明するための図である。
【図4】本発明の実施の形態における情報の符号化及びコードパターン画像の生成について説明するための図である。
【図5】本発明の実施の形態における文書画像とコードパターン画像の合成について説明するための図である。
【図6】本発明の実施の形態における画像生成装置の機能構成を示したブロック図である。
【図7】本発明の実施の形態における画像生成装置の動作を示したフローチャートである。
【図8】本発明の実施の形態における電子ペンの機構を示した図である。
【図9】本発明の実施の形態における電子ペンの動作を示したフローチャートである。
【図10】本発明の実施の形態における文書画像とコードパターン画像の分離について説明するための図である。
【図11】本発明の実施の形態における画像処理装置の機能構成を示したブロック図である。
【図12】本発明の実施の形態における画像処理装置(画像分離部)の動作を示したフローチャートである。
【図13】本発明の実施の形態における画像生成装置又は画像処理装置を実現するコンピュータのハードウェア構成を示した図である。
【符号の説明】
【0074】
10…端末装置、20…文書サーバ、30…識別情報サーバ、40…画像形成装置、50…印刷文書、60…電子ペン
【特許請求の範囲】
【請求項1】
電子文書を2値画像化した文書画像を取得する文書画像取得手段と、
所定の情報を2値画像化した情報画像を取得する情報画像取得手段と、
前記文書画像と前記情報画像との排他的論理和演算を行うことにより、当該文書画像と当該情報画像を合成する合成手段と
を備えたことを特徴とする画像生成装置。
【請求項2】
前記情報画像は、所定形状の複数の画像要素からなり、
前記合成手段は、前記文書画像における画像が存在する部分に合成する画像要素と、前記文書画像における画像が存在しない部分に合成する画像要素との大小関係を制御する手段を更に備えたことを特徴とする請求項1記載の画像生成装置。
【請求項3】
電子文書を2値画像化した文書画像と、所定の情報を2値画像化した情報画像とを、当該文書画像と当該情報画像の排他的論理和演算を行うことで合成した合成画像を取得する合成画像取得手段と、
前記合成画像を所定の大きさだけ膨張させる処理及び前記合成画像を所定の大きさだけ縮退させる処理を含む画像処理を行うことにより、前記情報画像を生成する情報画像生成手段と
を備えたことを特徴とする画像処理装置。
【請求項4】
前記情報画像は、所定形状の複数の画像要素からなり、
前記所定の大きさは、前記複数の画像要素の大きさと略等しい大きさであることを特徴とする請求項3記載の画像処理装置。
【請求項5】
前記情報画像生成手段は、前記複数の画像要素の大きさを検出する手段を更に備えたことを特徴とする請求項4記載の画像処理装置。
【請求項6】
前記画像処理は、
前記合成画像を所定の大きさだけ膨張させてから縮退させる処理及び前記合成画像を所定の大きさだけ縮退させてから膨張させる処理を行うことにより、前記文書画像を生成する処理と、
前記文書画像と前記合成画像との排他的論理和演算を行うことにより、前記情報画像を生成する処理と
を含むことを特徴とする請求項3記載の画像処理装置。
【請求項7】
前記画像処理は、
前記合成画像を所定の大きさだけ膨張させてから縮退させる処理を行うことにより、前記文書画像における画像が存在する部分に合成された前記情報画像を除去して第1の情報除去画像を生成する処理と、
前記合成画像を所定の大きさだけ縮退させてから膨張させる処理を行うことにより、前記文書画像における画像が存在しない部分に合成された前記情報画像を除去して第2の情報除去画像を生成する処理と、
前記第1の情報除去画像と前記第2の情報除去画像との排他的論理和演算を行うことにより、前記情報画像を生成する処理と
を含むことを特徴とする請求項3記載の画像処理装置。
【請求項8】
電子文書を画像化した文書画像における画像が存在しない部分に対応し、所定の情報を画像化した情報画像が重畳される部分に画像が形成された第1の領域と、
前記文書画像における画像が存在する部分に対応し、前記情報画像が重畳される部分を除いた部分に画像が形成された第2の領域と
を含むことを特徴とする記録媒体。
【請求項9】
コンピュータに、
電子文書を2値画像化した文書画像を取得する機能と、
所定の情報を2値画像化した情報画像を取得する機能と、
前記文書画像と前記情報画像との排他的論理和演算を行うことにより、当該文書画像と当該情報画像を合成する機能と
を実現させるためのプログラム。
【請求項10】
コンピュータに、
電子文書を2値画像化した文書画像と、所定の情報を2値画像化した情報画像とを、当該文書画像と当該情報画像の排他的論理和演算を行うことで合成した合成画像を取得する機能と、
前記合成画像を所定の大きさだけ膨張させる処理及び前記合成画像を所定の大きさだけ縮退させる処理を含む画像処理を行うことにより、前記情報画像を生成する機能と
を実現させるためのプログラム。
【請求項1】
電子文書を2値画像化した文書画像を取得する文書画像取得手段と、
所定の情報を2値画像化した情報画像を取得する情報画像取得手段と、
前記文書画像と前記情報画像との排他的論理和演算を行うことにより、当該文書画像と当該情報画像を合成する合成手段と
を備えたことを特徴とする画像生成装置。
【請求項2】
前記情報画像は、所定形状の複数の画像要素からなり、
前記合成手段は、前記文書画像における画像が存在する部分に合成する画像要素と、前記文書画像における画像が存在しない部分に合成する画像要素との大小関係を制御する手段を更に備えたことを特徴とする請求項1記載の画像生成装置。
【請求項3】
電子文書を2値画像化した文書画像と、所定の情報を2値画像化した情報画像とを、当該文書画像と当該情報画像の排他的論理和演算を行うことで合成した合成画像を取得する合成画像取得手段と、
前記合成画像を所定の大きさだけ膨張させる処理及び前記合成画像を所定の大きさだけ縮退させる処理を含む画像処理を行うことにより、前記情報画像を生成する情報画像生成手段と
を備えたことを特徴とする画像処理装置。
【請求項4】
前記情報画像は、所定形状の複数の画像要素からなり、
前記所定の大きさは、前記複数の画像要素の大きさと略等しい大きさであることを特徴とする請求項3記載の画像処理装置。
【請求項5】
前記情報画像生成手段は、前記複数の画像要素の大きさを検出する手段を更に備えたことを特徴とする請求項4記載の画像処理装置。
【請求項6】
前記画像処理は、
前記合成画像を所定の大きさだけ膨張させてから縮退させる処理及び前記合成画像を所定の大きさだけ縮退させてから膨張させる処理を行うことにより、前記文書画像を生成する処理と、
前記文書画像と前記合成画像との排他的論理和演算を行うことにより、前記情報画像を生成する処理と
を含むことを特徴とする請求項3記載の画像処理装置。
【請求項7】
前記画像処理は、
前記合成画像を所定の大きさだけ膨張させてから縮退させる処理を行うことにより、前記文書画像における画像が存在する部分に合成された前記情報画像を除去して第1の情報除去画像を生成する処理と、
前記合成画像を所定の大きさだけ縮退させてから膨張させる処理を行うことにより、前記文書画像における画像が存在しない部分に合成された前記情報画像を除去して第2の情報除去画像を生成する処理と、
前記第1の情報除去画像と前記第2の情報除去画像との排他的論理和演算を行うことにより、前記情報画像を生成する処理と
を含むことを特徴とする請求項3記載の画像処理装置。
【請求項8】
電子文書を画像化した文書画像における画像が存在しない部分に対応し、所定の情報を画像化した情報画像が重畳される部分に画像が形成された第1の領域と、
前記文書画像における画像が存在する部分に対応し、前記情報画像が重畳される部分を除いた部分に画像が形成された第2の領域と
を含むことを特徴とする記録媒体。
【請求項9】
コンピュータに、
電子文書を2値画像化した文書画像を取得する機能と、
所定の情報を2値画像化した情報画像を取得する機能と、
前記文書画像と前記情報画像との排他的論理和演算を行うことにより、当該文書画像と当該情報画像を合成する機能と
を実現させるためのプログラム。
【請求項10】
コンピュータに、
電子文書を2値画像化した文書画像と、所定の情報を2値画像化した情報画像とを、当該文書画像と当該情報画像の排他的論理和演算を行うことで合成した合成画像を取得する機能と、
前記合成画像を所定の大きさだけ膨張させる処理及び前記合成画像を所定の大きさだけ縮退させる処理を含む画像処理を行うことにより、前記情報画像を生成する機能と
を実現させるためのプログラム。
【図1】
【図2】
【図3】
【図4】
【図5】
【図6】
【図7】
【図8】
【図9】
【図10】
【図11】
【図12】
【図13】
【図2】
【図3】
【図4】
【図5】
【図6】
【図7】
【図8】
【図9】
【図10】
【図11】
【図12】
【図13】
【公開番号】特開2007−329634(P2007−329634A)
【公開日】平成19年12月20日(2007.12.20)
【国際特許分類】
【出願番号】特願2006−158261(P2006−158261)
【出願日】平成18年6月7日(2006.6.7)
【出願人】(000005496)富士ゼロックス株式会社 (21,908)
【Fターム(参考)】
【公開日】平成19年12月20日(2007.12.20)
【国際特許分類】
【出願日】平成18年6月7日(2006.6.7)
【出願人】(000005496)富士ゼロックス株式会社 (21,908)
【Fターム(参考)】
[ Back to top ]