画像識別装置および画像識別方法
【課題】専用の帳票を必要とせず、罫線のない帳票にも適用可能で、しかも類似帳票を正しく識別することができる画像識別装置および画像識別方法を提供する。
【解決手段】第１の画像としてのマスター画像を入力するマスター画像入力部１０１と、第２の画像としてのデータ画像を入力するデータ画像入力部１０２と、マスター画像に対して指定されるマスク領域の組を入力するマスク領域入力部１０４と、マスター画像とデータ画像とを整合させる画像整合部１０３と、整合されたマスター画像とデータ画像との間で、マスク領域を除いた差分を抽出する差分抽出部１０５と、抽出された差分の大きさにもとづいてマスター画像とデータ画像との相違度を出力する相違度出力部１０６と、を備える。
【解決手段】第１の画像としてのマスター画像を入力するマスター画像入力部１０１と、第２の画像としてのデータ画像を入力するデータ画像入力部１０２と、マスター画像に対して指定されるマスク領域の組を入力するマスク領域入力部１０４と、マスター画像とデータ画像とを整合させる画像整合部１０３と、整合されたマスター画像とデータ画像との間で、マスク領域を除いた差分を抽出する差分抽出部１０５と、抽出された差分の大きさにもとづいてマスター画像とデータ画像との相違度を出力する相違度出力部１０６と、を備える。
【発明の詳細な説明】
【技術分野】
【０００１】
本発明は、識別対象であるデータ画像が、リファレンスであるマスター画像と同種のものか別種のものかを判定する画像識別装置および画像識別方法に関し、特にデータ画像とマスター画像を定型帳票画像とする帳票種識別の分野に関する。
【背景技術】
【０００２】
定型帳票のデータ処理システムにおいては通常、帳票上に記入された文字の自動読み取り（ＯＣＲ）を実行する際、各文字の記入位置情報等の帳票定義データをあわせて必要とする。したがって、複数種類の定型帳票を対象とする場合、帳票定義データが帳票種毎に異なるため、ＯＣＲに先立って、入力された画像の帳票種を識別する必要がある。
【０００３】
従来は、各帳票種毎に特有のマークや記号を帳票上に印刷しておき、その有無を認識して帳票種を識別する方法が一般的であったが、専用の帳票設計が必要で、既存業務のシステム化に際して帳票の切り替えに伴う手間とコストがかかってしまうこと、マークや記号上にノイズ・つぶれ・かすれが発生すると識別できないこと、が問題となっていた。
【０００４】
この問題を解決するため、例えば特許文献１では、罫線情報の照合にもとづいて帳票種識別を行う方法が示されている。この方法は、特有のマークや記号を必要とせず、罫線全体の情報を総合的に用いるので、入力画像の一部にノイズ・つぶれ・かすれがあっても識別が可能となるものの、罫線のない帳票には適用することができない。
【０００５】
そこで、特許文献２に示された方法では、罫線に限らず、プレ印刷文字等を含めた複数の対応点を入力画像（データ画像）とリファレンス画像（マスター画像）との間で見い出し、対応点間の座標変換を求め、当該変換係数にもとづいて算出される相違度、あるいは係数と閾値との比較をもって、帳票種識別を行っている。
【発明の概要】
【発明が解決しようとする課題】
【０００６】
しかしながら、上記した方法では、デザイン・レイアウトの差異が小さい類似帳票種同士を正しく識別することが難しい。座標変換がもたらす幾何的なずれ作用・歪み作用の中には、異なる帳票種間で生じる「帳票デザイン・レイアウトの差異」による本質要因と、帳票種の同異を問わず生じる「帳票原稿上の文字記入・押印・汚れ」「画像データ上のノイズ・つぶれ・かすれ・傾き」による揺らぎ要因とが混在している。通常は、本質要因の及ぼす影響がずっと大きいので、十分に正しい識別を行うことができる。
【０００７】
しかし、類似帳票種同士では本質要因の及ぼす影響が小さく、揺らぎ要因と同程度になってしまうことが多いため、結果的に識別を誤る可能性が高くなる。
【０００８】
本発明は、上記課題を鑑みてなされたものであり、その目的とするところは、専用の帳票を必要とせず、罫線のない帳票にも適用可能で、しかも類似帳票を正しく識別することができる画像識別装置および画像識別方法を提供することにある。
【課題を解決するための手段】
【０００９】
かかる目的を達成するために、本発明は、以下の特徴を有することとする。
【００１０】
本発明に係る画像識別装置は、第１の画像としてのマスター画像を入力するマスター画像入力手段と、第２の画像としてのデータ画像を入力するデータ画像入力手段と、マスター画像に対して指定されるマスク領域の組を入力するマスク領域入力手段と、マスター画像とデータ画像とを整合させる画像整合手段と、整合されたマスター画像とデータ画像との間で、マスク領域を除いた差分を抽出する差分抽出手段と、抽出された差分の大きさにもとづいてマスター画像とデータ画像との相違度を出力する相違度出力部と、を備えることを特徴とする。
【発明の効果】
【００１１】
本発明によれば、特有のマークや記号、また罫線のない帳票を含めた、多種多様な定型帳票を対象に、類似帳票種の識別を正しく行うことができる。
【図面の簡単な説明】
【００１２】
【図１】本発明の第１の実施形態による画像識別装置の構成図である。
【図２】本発明の第１の実施形態によるフローチャートを示す図である。
【図３】本発明の前景マスク処理を示す図である。
【図４】本発明の整合変形を示す図である。
【図５】本発明の太め処理を示す図である。
【図６】本発明の減算処理を示す図である。
【図７】本発明のマスター画像減算結果を示す図である。
【図８】本発明の第２の実施形態によるフローチャートを示す図である。
【図９】本発明のデータ画像減算結果を示す図である。
【図１０】本発明の第３の実施形態によるマージン処理を示す図である。
【図１１】本発明の第４の実施形態によるコンピュータを示す構成図である。
【発明を実施するための形態】
【００１３】
（第１の実施形態）
以下、発明の実施の形態について図面により詳細に説明する。図１は、本発明の第１の実施形態による画像識別装置の構成図である。
【００１４】
画像識別装置は、マスター画像を入力するマスター画像入力部１０１と、データ画像を入力するデータ画像入力部１０２と、マスター画像とデータ画像とを整合させる画像整合部１０３と、マスター画像に対して指定されるマスク領域の組を入力するマスク領域入力部１０４と、整合されたマスター画像とデータ画像との間で、マスク領域を除いた差分を抽出する差分抽出部１０５と、抽出された差分の大きさに基づいてマスター画像とデータ画像との相違度を出力する相違度出力部１０６とを備えている。
【００１５】
また、画像識別装置は、データを一時的に保存するマスター画像バッファ１１１とデータ画像バッファ１１２とアフィン変換係数バッファ１１３とマスク領域バッファ１１４と一時画像バッファＡ１１５と一時画像バッファＢ１１６とを備えている。
【００１６】
図２は、本発明の第１の実施形態によるフローチャートを示す図である。以下、図２のフローチャートを参照しながら本発明の処理動作を説明する。
【００１７】
まず、ある未記入帳票のマスター画像は、スキャナー等により構成されるマスター画像入力部１０１へ入力され（ステップＳ２０１）、白黒二値のデジタル画像データとしてマスター画像バッファ１１１へ保存される。同様に、何らかの記入済み帳票にあたるデータ画像は、スキャナー等により構成されるデータ画像入力部１０２へ入力され（ステップＳ２０２）、白黒二値のデジタル画像データとしてデータ画像バッファ１１２へ保存される。
【００１８】
また、マスター画像上で文字が記入され得る矩形領域であるマスク領域の組は、各矩形の始点座標と終点座標からなるデータ列としてマスク領域入力部１０４に入力され（ステップＳ２０３）、マスク領域バッファ１１４へ保存される。
【００１９】
つづいて、画像整合部１０３にて、バッファ上のマスター画像とデータ画像を互いに整合させるためのアフィン変換を求める（ステップＳ２０４）。本実施形態では、データ画像平面をマスター画像平面へ写像するアフィン変換のみを求め、その逆変換を求めることはしない。このアフィン変換を求める処理については公知の方法を用いることとし、ここでは説明を省略する。もし、マスター画像とデータ画像の差異があまりに大きい等の理由により、適切なアフィン変換を求めることができなかった場合は（ステップＳ２０４、Ｎｏ）、この時点で、データ画像をリジェクトする（ステップＳ２０５）。
【００２０】
適切なアフィン変換が求まるとき（ステップＳ２０４、Ｙｅｓ）、その変換式は次のようなものである。
【００２１】
［式１］
Ｘ＝ａ＊ｘ＋ｂ＊ｙ＋ｅ
Ｙ＝ｃ＊ｘ＋ｄ＊ｙ＋ｆ
（ｘ，ｙ）：データ画像上の座標
（Ｘ，Ｙ）：対応するマスター画像上の座標
ａ，ｂ，ｃ，ｄ，ｅ，ｆ：アフィン変換係数
【００２２】
式中の係数ａ〜ｆは、アフィン変換係数バッファ１１３へ保存される。
【００２３】
つづいて、図３に示すように、差分抽出部１０５にて、入力マスター画像に対し、マスク領域のいずれかに含まれるすべての画素値を、前景である黒に置き換えた画像データを一時画像バッファＡ１１５に作成する（ステップＳ２０６）。これは白画素＝０・黒画素＝１で表現される二値画像の場合、マスク領域内部の画素値をすべて１に置き換えることに相当する。視覚的には、マスター画像上で文字が記入され得る領域を黒く塗りつぶしたことになる。
【００２４】
つづいて、データ画像座標（ｘ，ｙ）から、式１によって対応させられる一時画像バッファＡの座標（Ｘ，Ｙ）の画素値を各々並べた画像データを、一時画像バッファＢ１１６に作成する。この際、式１から求まる座標（Ｘ，Ｙ）は小数点以下四捨五入するものとし、これがもしマスター画像の範囲をはみ出すような場合には、画素値＝白とみなす。
【００２５】
図４に示すように、一時画像バッファＢ上の画像データは、データ画像と同じ幅・高さを持つ画像データであり、アフィン変換にもとづいてマスター画像をデータ画像に整合するよう変形させた結果とみなすことができる（ステップＳ２０７）。
【００２６】
つづいて、一時画像バッファＢ上の、前景マスク＋整合変形されたマスター画像に対し、太め処理を行う。ここでは例として、図５に示すように、バッファ上の各黒画素について、当画素を中心とする３×３画素をすべて黒にする（ステップＳ２０８）。太め処理は、後段の減算処理において、アフィン変換が有する整合誤差を吸収するために行われる。太め処理された結果画像データは、一時画像バッファＡに、既存内容を破棄して上書きされる。
【００２７】
つづいて、データ画像から、前景マスク＋整合変形＋太め処理されたマスター画像を減算する（ステップＳ２０９）。画像の減算とは、データ画像バッファのある座標（ｘ，ｙ）の画素値をＣｄ、一時画像バッファＡの同座標の画素値をＣｍとしたとき、同座標における減算結果の画素値Ｃｓを、
・Ｃｄ＝黒、Ｃｍ＝黒ならばＣｓ＝白
・Ｃｄ＝白、Ｃｍ＝黒ならばＣｓ＝白
・Ｃｄ＝黒、Ｃｍ＝白ならばＣｓ＝黒
・Ｃｄ＝白、Ｃｍ＝白ならばＣｓ＝白
により決定する演算である（図６）。
【００２８】
減算結果は、データ画像と同じ幅・高さを持つ画像データであり、帳票のプレ印刷部分、および予め文字が記入され得るとわかっているマスク領域を除いて、「未記入帳票には存在せず、記入済み帳票のみに存在する」差分が、黒画素として残っていると考えられる。前述の太め処理によって、マスター画像側の黒画素部分をやや広げてあるので、アフィン変換係数の推定誤差や座標値の四捨五入に起因する若干の整合誤差は、広げた黒画素範囲に吸収される。こうして得られた減算結果は、一時画像バッファＢに、既存内容を破棄して上書きされる。
【００２９】
つづいて、相違度出力部１０６にて、一時画像バッファＢ上の黒画素数をカウントし（ステップＳ２１０）、結果に対する画像サイズの影響を抑えるため、データ画像の面積で正規化した値を、相違度として出力する（ステップＳ２１１）。すなわち、
【００３０】
［式２］
Ｓ＝Ｎ／（Ｗ＊Ｈ）
Ｓ：相違度
Ｎ：一時画像バッファＢ上の黒画素数
Ｗ：データ画像の幅
Ｈ：データ画像の高さ
【００３１】
こうしてデータ画像と１つのマスター画像との相違度Ｓが得られる。データ画像が当該マスター画像と同じ帳票種であれば、減算結果画像は真っ白に近いはずなので、Ｓは低くなる。一方、データ画像が当該マスター画像とデザイン・レイアウトが異なる帳票種であれば、たとえ類似帳票同士であったとしても、減算結果画像には目視ではっきり確認できる大きさの黒画素塊が相当数残存するはずなので、Ｓは高くなる（図７）。
【００３２】
すべてのマスター画像について、上記の方法を適用して相違度を取得した後、最も相違度の低いマスター画像の帳票種を、当該データ画像の帳票種であると判定することにより、画像識別（帳票種識別）が実現される。
【００３３】
（第２の実施形態）
処理の前半は、先の第１の実施形態と同じであるから説明を省略する。第１の実施形態との違いは、差分抽出処理部にて、第１の実施形態で求めた相違度Ｓと異なる第２の相違度Ｔを算出し、画像識別に用いることである。
【００３４】
図８は、本発明の第２の実施形態によるフローチャートを示す図である。以下、図８のフローチャートを参照しながら本発明の処理動作を説明する。
【００３５】
ここではまず、第１の実施形態に従って、第1の相違度Ｓを算出する。続いて、差分抽出部にて、入力マスター画像に対し、マスク領域のいずれかに含まれるすべての画素値を、背景である白に置き換えた画像データを一時画像バッファＡに、既存内容を破棄して上書きする（ステップＳ３０１）。これは白画素＝０・黒画素＝１で表現される二値画像の場合、マスク領域内部の画素値をすべて０に置き換えることに相当する。視覚的には、マスター画像上で文字が記入され得る領域を白く塗り潰したことになる。
【００３６】
つづいて、第１の実施形態と同様に、アフィン変換に基づいてマスター画像をデータ画像に整合するよう変形させた画像データを、一時画像バッファＢに、既存内容を破棄して上書きする（ステップＳ３０２）。
【００３７】
つづいて、データ画像バッファ上のデータ画像に対し、第１の実施形態と同じ太め処理を行う（ステップＳ３０３）。太め処理された結果画像データは、一時画像バッファＡに、既存内容を破棄して上書きされる。
【００３８】
つづいて、背景マスク＋整合変形処理されたマスター画像から、太め処理されたデータ画像を減算する（ステップＳ３０４）。この減算も第１の実施形態と同様、一時画像バッファＢのある座標（ｘ，ｙ）の画素値をＣｍ、一時画像バッファＡの同座標の画素値をＣｄとしたとき、同座標における減算結果の画素値Ｃｓを、
・Ｃｍ＝黒、Ｃｄ＝黒ならばＣｓ＝白
・Ｃｍ＝白、Ｃｄ＝黒ならばＣｓ＝白
・Ｃｍ＝黒、Ｃｄ＝白ならばＣｓ＝黒
・Ｃｍ＝白、Ｃｄ＝白ならばＣｓ＝白
により決定する演算である。
【００３９】
減算結果は、データ画像と同じ幅・高さを持つ画像データであり、「未記入帳票に存在していたのが、記入済み帳票では存在しない」差分が、黒画素として残っていると考えられる。前述の太め処理によってデータ画像側の黒画素部分をやや広げてあるので、アフィン変換係数の推定誤差や座標値の四捨五入に起因する若干の整合誤差は、広げた黒画素範囲に吸収される。こうして得られた減算結果は、一時画像バッファＢに、既存内容を破棄して上書きされる。
【００４０】
つづいて、相違度出力部にて、一時画像バッファＢ上の黒画素数をカウントし（ステップＳ３０５）、結果に対する画像サイズの影響を抑えるため、データ画像の面積で正規化した値を、第２の相違度として出力する（ステップＳ３０６）。すなわち、
【００４１】
［式３］
Ｔ＝Ｋ／（Ｗ＊Ｈ）
Ｔ：第２相違度
Ｋ：一時画像バッファＢ上の黒画素数
Ｗ：データ画像の幅
Ｈ：データ画像の高さ
【００４２】
こうしてデータ画像と１つのマスター画像との第2相違度Ｔが得られる。データ画像が当該マスター画像と同じ帳票種であれば、減算結果画像は真っ白に近いはずなので、Ｔは低くなる。一方、データ画像が当該マスター画像とデザイン・レイアウトが異なる帳票種であれば、たとえ類似帳票同士であったとしても、減算結果画像には目視ではっきり確認できる大きさの黒画素塊が相当数残存するはずなので、Ｔは高くなる（図９）。
【００４３】
すべてのマスター画像について、上記の方法を適用して相違度Ｓ、Ｔを取得した後、両者の和（Ｓ＋Ｔ）が最も低いマスター画像の帳票種を、当該データ画像の帳票種であると判定することにより、画像識別（帳票種識別）が実現される。
【００４４】
（第３の実施形態）
マスター画像やデータ画像の原稿をスキャナー等で読み取る際には、紙のゆがみ・パンチ穴・スキャナー台への原稿の置き方・その他の要因により、画像の端に近い箇所に大きな影が写り込む場合がある。また、原稿がＦＡＸ受信文書である場合、上端や下端付近に受信日時や発信元が印字されてしまうことがある。これらはいずれも、差分にもとづく画像識別をかく乱する揺らぎ要因となり得る。
【００４５】
第３の実施形態は、そのような揺らぎ要因を排除するためのものである。処理のほとんどは、先の第１または第２の実施形態と同じであるから説明を省略する。第１または第２の実施形態との違いは、差分抽出部の最初に、マスター画像およびデータ画像の端から所定幅のマージン部分を、白画素に置き換える処理を実行することである。
【００４６】
具体的には、式１のアフィン変換が求まった後に続く処理として行う。本実施形態では、マージン幅を１５ミリメートルとし、横解像度Ｈｘ（dpi）と縦解像度Ｈｙ（dpi）は、データ画像とマスター画像の間で一致しているものとする。すると、ミリメートルをピクセルに変換した横マージン画素幅Ｍｘ・縦マージン画素幅Ｍｙは、次のようになる。
【００４７】
［式４］
Ｍｘ＝Ｈｘ＊１５／２５．４ （小数点以下切捨て）
Ｍｙ＝Ｈｙ＊１５／２５．４ （小数点以下切捨て）
【００４８】
そして、マスター画像バッファ、およびデータ画像バッファ上の画像データに対し、図１０に例示した点線から外側の領域に含まれるすべての画素値を白に置き換える。以降は第１または第２の実施形態に従う。
【００４９】
（第４の実施形態）
本発明は、コンピュータ上のプログラムに実行させることもできる。図１１は、本発明の第４の実施形態によるコンピュータを示す構成図である。
【００５０】
ＣＤ−ＲＯＭ４０１等の記録媒体に記録された本発明に関わるプログラムは、図のＣＤ−ＲＯＭドライブ４０２を通じて（一旦ハードディスク４０３に蓄えられることもある）、実行時にはメモリ４０４上にロードされ、ＣＰＵ４０５からの指令によってプログラムの処理ステップが順次実行される。マスター画像およびデータ画像に相当するデジタル画像データは、あらかじめハードディスク４０３上に蓄えられるか、または実行時に図示しないスキャナーを通じて取り込まれた後、メモリ４０４上にロードされて参照される。
【００５１】
検査の判定結果は、メモリ４０４に保存され、必要に応じてハードディスク４０３に書き出されたり、ディスプレイ４０６に出力されたり、通信装置４０７を介してネットワーク上へ送出されたり、あるいは図示しないプリンターを通じて紙上に印字される。
【符号の説明】
【００５２】
１０１ マスター画像入力部
１０２ データ画像入力部
１０３ 画像整合部
１０４ マスク領域入力部
１０５ 差分抽出部
１０６ 相違度出力部
【先行技術文献】
【特許文献】
【００５３】
【特許文献１】特開２００３−１０９００７号公報
【特許文献２】特許第３９３２２０１号公報
【技術分野】
【０００１】
本発明は、識別対象であるデータ画像が、リファレンスであるマスター画像と同種のものか別種のものかを判定する画像識別装置および画像識別方法に関し、特にデータ画像とマスター画像を定型帳票画像とする帳票種識別の分野に関する。
【背景技術】
【０００２】
定型帳票のデータ処理システムにおいては通常、帳票上に記入された文字の自動読み取り（ＯＣＲ）を実行する際、各文字の記入位置情報等の帳票定義データをあわせて必要とする。したがって、複数種類の定型帳票を対象とする場合、帳票定義データが帳票種毎に異なるため、ＯＣＲに先立って、入力された画像の帳票種を識別する必要がある。
【０００３】
従来は、各帳票種毎に特有のマークや記号を帳票上に印刷しておき、その有無を認識して帳票種を識別する方法が一般的であったが、専用の帳票設計が必要で、既存業務のシステム化に際して帳票の切り替えに伴う手間とコストがかかってしまうこと、マークや記号上にノイズ・つぶれ・かすれが発生すると識別できないこと、が問題となっていた。
【０００４】
この問題を解決するため、例えば特許文献１では、罫線情報の照合にもとづいて帳票種識別を行う方法が示されている。この方法は、特有のマークや記号を必要とせず、罫線全体の情報を総合的に用いるので、入力画像の一部にノイズ・つぶれ・かすれがあっても識別が可能となるものの、罫線のない帳票には適用することができない。
【０００５】
そこで、特許文献２に示された方法では、罫線に限らず、プレ印刷文字等を含めた複数の対応点を入力画像（データ画像）とリファレンス画像（マスター画像）との間で見い出し、対応点間の座標変換を求め、当該変換係数にもとづいて算出される相違度、あるいは係数と閾値との比較をもって、帳票種識別を行っている。
【発明の概要】
【発明が解決しようとする課題】
【０００６】
しかしながら、上記した方法では、デザイン・レイアウトの差異が小さい類似帳票種同士を正しく識別することが難しい。座標変換がもたらす幾何的なずれ作用・歪み作用の中には、異なる帳票種間で生じる「帳票デザイン・レイアウトの差異」による本質要因と、帳票種の同異を問わず生じる「帳票原稿上の文字記入・押印・汚れ」「画像データ上のノイズ・つぶれ・かすれ・傾き」による揺らぎ要因とが混在している。通常は、本質要因の及ぼす影響がずっと大きいので、十分に正しい識別を行うことができる。
【０００７】
しかし、類似帳票種同士では本質要因の及ぼす影響が小さく、揺らぎ要因と同程度になってしまうことが多いため、結果的に識別を誤る可能性が高くなる。
【０００８】
本発明は、上記課題を鑑みてなされたものであり、その目的とするところは、専用の帳票を必要とせず、罫線のない帳票にも適用可能で、しかも類似帳票を正しく識別することができる画像識別装置および画像識別方法を提供することにある。
【課題を解決するための手段】
【０００９】
かかる目的を達成するために、本発明は、以下の特徴を有することとする。
【００１０】
本発明に係る画像識別装置は、第１の画像としてのマスター画像を入力するマスター画像入力手段と、第２の画像としてのデータ画像を入力するデータ画像入力手段と、マスター画像に対して指定されるマスク領域の組を入力するマスク領域入力手段と、マスター画像とデータ画像とを整合させる画像整合手段と、整合されたマスター画像とデータ画像との間で、マスク領域を除いた差分を抽出する差分抽出手段と、抽出された差分の大きさにもとづいてマスター画像とデータ画像との相違度を出力する相違度出力部と、を備えることを特徴とする。
【発明の効果】
【００１１】
本発明によれば、特有のマークや記号、また罫線のない帳票を含めた、多種多様な定型帳票を対象に、類似帳票種の識別を正しく行うことができる。
【図面の簡単な説明】
【００１２】
【図１】本発明の第１の実施形態による画像識別装置の構成図である。
【図２】本発明の第１の実施形態によるフローチャートを示す図である。
【図３】本発明の前景マスク処理を示す図である。
【図４】本発明の整合変形を示す図である。
【図５】本発明の太め処理を示す図である。
【図６】本発明の減算処理を示す図である。
【図７】本発明のマスター画像減算結果を示す図である。
【図８】本発明の第２の実施形態によるフローチャートを示す図である。
【図９】本発明のデータ画像減算結果を示す図である。
【図１０】本発明の第３の実施形態によるマージン処理を示す図である。
【図１１】本発明の第４の実施形態によるコンピュータを示す構成図である。
【発明を実施するための形態】
【００１３】
（第１の実施形態）
以下、発明の実施の形態について図面により詳細に説明する。図１は、本発明の第１の実施形態による画像識別装置の構成図である。
【００１４】
画像識別装置は、マスター画像を入力するマスター画像入力部１０１と、データ画像を入力するデータ画像入力部１０２と、マスター画像とデータ画像とを整合させる画像整合部１０３と、マスター画像に対して指定されるマスク領域の組を入力するマスク領域入力部１０４と、整合されたマスター画像とデータ画像との間で、マスク領域を除いた差分を抽出する差分抽出部１０５と、抽出された差分の大きさに基づいてマスター画像とデータ画像との相違度を出力する相違度出力部１０６とを備えている。
【００１５】
また、画像識別装置は、データを一時的に保存するマスター画像バッファ１１１とデータ画像バッファ１１２とアフィン変換係数バッファ１１３とマスク領域バッファ１１４と一時画像バッファＡ１１５と一時画像バッファＢ１１６とを備えている。
【００１６】
図２は、本発明の第１の実施形態によるフローチャートを示す図である。以下、図２のフローチャートを参照しながら本発明の処理動作を説明する。
【００１７】
まず、ある未記入帳票のマスター画像は、スキャナー等により構成されるマスター画像入力部１０１へ入力され（ステップＳ２０１）、白黒二値のデジタル画像データとしてマスター画像バッファ１１１へ保存される。同様に、何らかの記入済み帳票にあたるデータ画像は、スキャナー等により構成されるデータ画像入力部１０２へ入力され（ステップＳ２０２）、白黒二値のデジタル画像データとしてデータ画像バッファ１１２へ保存される。
【００１８】
また、マスター画像上で文字が記入され得る矩形領域であるマスク領域の組は、各矩形の始点座標と終点座標からなるデータ列としてマスク領域入力部１０４に入力され（ステップＳ２０３）、マスク領域バッファ１１４へ保存される。
【００１９】
つづいて、画像整合部１０３にて、バッファ上のマスター画像とデータ画像を互いに整合させるためのアフィン変換を求める（ステップＳ２０４）。本実施形態では、データ画像平面をマスター画像平面へ写像するアフィン変換のみを求め、その逆変換を求めることはしない。このアフィン変換を求める処理については公知の方法を用いることとし、ここでは説明を省略する。もし、マスター画像とデータ画像の差異があまりに大きい等の理由により、適切なアフィン変換を求めることができなかった場合は（ステップＳ２０４、Ｎｏ）、この時点で、データ画像をリジェクトする（ステップＳ２０５）。
【００２０】
適切なアフィン変換が求まるとき（ステップＳ２０４、Ｙｅｓ）、その変換式は次のようなものである。
【００２１】
［式１］
Ｘ＝ａ＊ｘ＋ｂ＊ｙ＋ｅ
Ｙ＝ｃ＊ｘ＋ｄ＊ｙ＋ｆ
（ｘ，ｙ）：データ画像上の座標
（Ｘ，Ｙ）：対応するマスター画像上の座標
ａ，ｂ，ｃ，ｄ，ｅ，ｆ：アフィン変換係数
【００２２】
式中の係数ａ〜ｆは、アフィン変換係数バッファ１１３へ保存される。
【００２３】
つづいて、図３に示すように、差分抽出部１０５にて、入力マスター画像に対し、マスク領域のいずれかに含まれるすべての画素値を、前景である黒に置き換えた画像データを一時画像バッファＡ１１５に作成する（ステップＳ２０６）。これは白画素＝０・黒画素＝１で表現される二値画像の場合、マスク領域内部の画素値をすべて１に置き換えることに相当する。視覚的には、マスター画像上で文字が記入され得る領域を黒く塗りつぶしたことになる。
【００２４】
つづいて、データ画像座標（ｘ，ｙ）から、式１によって対応させられる一時画像バッファＡの座標（Ｘ，Ｙ）の画素値を各々並べた画像データを、一時画像バッファＢ１１６に作成する。この際、式１から求まる座標（Ｘ，Ｙ）は小数点以下四捨五入するものとし、これがもしマスター画像の範囲をはみ出すような場合には、画素値＝白とみなす。
【００２５】
図４に示すように、一時画像バッファＢ上の画像データは、データ画像と同じ幅・高さを持つ画像データであり、アフィン変換にもとづいてマスター画像をデータ画像に整合するよう変形させた結果とみなすことができる（ステップＳ２０７）。
【００２６】
つづいて、一時画像バッファＢ上の、前景マスク＋整合変形されたマスター画像に対し、太め処理を行う。ここでは例として、図５に示すように、バッファ上の各黒画素について、当画素を中心とする３×３画素をすべて黒にする（ステップＳ２０８）。太め処理は、後段の減算処理において、アフィン変換が有する整合誤差を吸収するために行われる。太め処理された結果画像データは、一時画像バッファＡに、既存内容を破棄して上書きされる。
【００２７】
つづいて、データ画像から、前景マスク＋整合変形＋太め処理されたマスター画像を減算する（ステップＳ２０９）。画像の減算とは、データ画像バッファのある座標（ｘ，ｙ）の画素値をＣｄ、一時画像バッファＡの同座標の画素値をＣｍとしたとき、同座標における減算結果の画素値Ｃｓを、
・Ｃｄ＝黒、Ｃｍ＝黒ならばＣｓ＝白
・Ｃｄ＝白、Ｃｍ＝黒ならばＣｓ＝白
・Ｃｄ＝黒、Ｃｍ＝白ならばＣｓ＝黒
・Ｃｄ＝白、Ｃｍ＝白ならばＣｓ＝白
により決定する演算である（図６）。
【００２８】
減算結果は、データ画像と同じ幅・高さを持つ画像データであり、帳票のプレ印刷部分、および予め文字が記入され得るとわかっているマスク領域を除いて、「未記入帳票には存在せず、記入済み帳票のみに存在する」差分が、黒画素として残っていると考えられる。前述の太め処理によって、マスター画像側の黒画素部分をやや広げてあるので、アフィン変換係数の推定誤差や座標値の四捨五入に起因する若干の整合誤差は、広げた黒画素範囲に吸収される。こうして得られた減算結果は、一時画像バッファＢに、既存内容を破棄して上書きされる。
【００２９】
つづいて、相違度出力部１０６にて、一時画像バッファＢ上の黒画素数をカウントし（ステップＳ２１０）、結果に対する画像サイズの影響を抑えるため、データ画像の面積で正規化した値を、相違度として出力する（ステップＳ２１１）。すなわち、
【００３０】
［式２］
Ｓ＝Ｎ／（Ｗ＊Ｈ）
Ｓ：相違度
Ｎ：一時画像バッファＢ上の黒画素数
Ｗ：データ画像の幅
Ｈ：データ画像の高さ
【００３１】
こうしてデータ画像と１つのマスター画像との相違度Ｓが得られる。データ画像が当該マスター画像と同じ帳票種であれば、減算結果画像は真っ白に近いはずなので、Ｓは低くなる。一方、データ画像が当該マスター画像とデザイン・レイアウトが異なる帳票種であれば、たとえ類似帳票同士であったとしても、減算結果画像には目視ではっきり確認できる大きさの黒画素塊が相当数残存するはずなので、Ｓは高くなる（図７）。
【００３２】
すべてのマスター画像について、上記の方法を適用して相違度を取得した後、最も相違度の低いマスター画像の帳票種を、当該データ画像の帳票種であると判定することにより、画像識別（帳票種識別）が実現される。
【００３３】
（第２の実施形態）
処理の前半は、先の第１の実施形態と同じであるから説明を省略する。第１の実施形態との違いは、差分抽出処理部にて、第１の実施形態で求めた相違度Ｓと異なる第２の相違度Ｔを算出し、画像識別に用いることである。
【００３４】
図８は、本発明の第２の実施形態によるフローチャートを示す図である。以下、図８のフローチャートを参照しながら本発明の処理動作を説明する。
【００３５】
ここではまず、第１の実施形態に従って、第1の相違度Ｓを算出する。続いて、差分抽出部にて、入力マスター画像に対し、マスク領域のいずれかに含まれるすべての画素値を、背景である白に置き換えた画像データを一時画像バッファＡに、既存内容を破棄して上書きする（ステップＳ３０１）。これは白画素＝０・黒画素＝１で表現される二値画像の場合、マスク領域内部の画素値をすべて０に置き換えることに相当する。視覚的には、マスター画像上で文字が記入され得る領域を白く塗り潰したことになる。
【００３６】
つづいて、第１の実施形態と同様に、アフィン変換に基づいてマスター画像をデータ画像に整合するよう変形させた画像データを、一時画像バッファＢに、既存内容を破棄して上書きする（ステップＳ３０２）。
【００３７】
つづいて、データ画像バッファ上のデータ画像に対し、第１の実施形態と同じ太め処理を行う（ステップＳ３０３）。太め処理された結果画像データは、一時画像バッファＡに、既存内容を破棄して上書きされる。
【００３８】
つづいて、背景マスク＋整合変形処理されたマスター画像から、太め処理されたデータ画像を減算する（ステップＳ３０４）。この減算も第１の実施形態と同様、一時画像バッファＢのある座標（ｘ，ｙ）の画素値をＣｍ、一時画像バッファＡの同座標の画素値をＣｄとしたとき、同座標における減算結果の画素値Ｃｓを、
・Ｃｍ＝黒、Ｃｄ＝黒ならばＣｓ＝白
・Ｃｍ＝白、Ｃｄ＝黒ならばＣｓ＝白
・Ｃｍ＝黒、Ｃｄ＝白ならばＣｓ＝黒
・Ｃｍ＝白、Ｃｄ＝白ならばＣｓ＝白
により決定する演算である。
【００３９】
減算結果は、データ画像と同じ幅・高さを持つ画像データであり、「未記入帳票に存在していたのが、記入済み帳票では存在しない」差分が、黒画素として残っていると考えられる。前述の太め処理によってデータ画像側の黒画素部分をやや広げてあるので、アフィン変換係数の推定誤差や座標値の四捨五入に起因する若干の整合誤差は、広げた黒画素範囲に吸収される。こうして得られた減算結果は、一時画像バッファＢに、既存内容を破棄して上書きされる。
【００４０】
つづいて、相違度出力部にて、一時画像バッファＢ上の黒画素数をカウントし（ステップＳ３０５）、結果に対する画像サイズの影響を抑えるため、データ画像の面積で正規化した値を、第２の相違度として出力する（ステップＳ３０６）。すなわち、
【００４１】
［式３］
Ｔ＝Ｋ／（Ｗ＊Ｈ）
Ｔ：第２相違度
Ｋ：一時画像バッファＢ上の黒画素数
Ｗ：データ画像の幅
Ｈ：データ画像の高さ
【００４２】
こうしてデータ画像と１つのマスター画像との第2相違度Ｔが得られる。データ画像が当該マスター画像と同じ帳票種であれば、減算結果画像は真っ白に近いはずなので、Ｔは低くなる。一方、データ画像が当該マスター画像とデザイン・レイアウトが異なる帳票種であれば、たとえ類似帳票同士であったとしても、減算結果画像には目視ではっきり確認できる大きさの黒画素塊が相当数残存するはずなので、Ｔは高くなる（図９）。
【００４３】
すべてのマスター画像について、上記の方法を適用して相違度Ｓ、Ｔを取得した後、両者の和（Ｓ＋Ｔ）が最も低いマスター画像の帳票種を、当該データ画像の帳票種であると判定することにより、画像識別（帳票種識別）が実現される。
【００４４】
（第３の実施形態）
マスター画像やデータ画像の原稿をスキャナー等で読み取る際には、紙のゆがみ・パンチ穴・スキャナー台への原稿の置き方・その他の要因により、画像の端に近い箇所に大きな影が写り込む場合がある。また、原稿がＦＡＸ受信文書である場合、上端や下端付近に受信日時や発信元が印字されてしまうことがある。これらはいずれも、差分にもとづく画像識別をかく乱する揺らぎ要因となり得る。
【００４５】
第３の実施形態は、そのような揺らぎ要因を排除するためのものである。処理のほとんどは、先の第１または第２の実施形態と同じであるから説明を省略する。第１または第２の実施形態との違いは、差分抽出部の最初に、マスター画像およびデータ画像の端から所定幅のマージン部分を、白画素に置き換える処理を実行することである。
【００４６】
具体的には、式１のアフィン変換が求まった後に続く処理として行う。本実施形態では、マージン幅を１５ミリメートルとし、横解像度Ｈｘ（dpi）と縦解像度Ｈｙ（dpi）は、データ画像とマスター画像の間で一致しているものとする。すると、ミリメートルをピクセルに変換した横マージン画素幅Ｍｘ・縦マージン画素幅Ｍｙは、次のようになる。
【００４７】
［式４］
Ｍｘ＝Ｈｘ＊１５／２５．４ （小数点以下切捨て）
Ｍｙ＝Ｈｙ＊１５／２５．４ （小数点以下切捨て）
【００４８】
そして、マスター画像バッファ、およびデータ画像バッファ上の画像データに対し、図１０に例示した点線から外側の領域に含まれるすべての画素値を白に置き換える。以降は第１または第２の実施形態に従う。
【００４９】
（第４の実施形態）
本発明は、コンピュータ上のプログラムに実行させることもできる。図１１は、本発明の第４の実施形態によるコンピュータを示す構成図である。
【００５０】
ＣＤ−ＲＯＭ４０１等の記録媒体に記録された本発明に関わるプログラムは、図のＣＤ−ＲＯＭドライブ４０２を通じて（一旦ハードディスク４０３に蓄えられることもある）、実行時にはメモリ４０４上にロードされ、ＣＰＵ４０５からの指令によってプログラムの処理ステップが順次実行される。マスター画像およびデータ画像に相当するデジタル画像データは、あらかじめハードディスク４０３上に蓄えられるか、または実行時に図示しないスキャナーを通じて取り込まれた後、メモリ４０４上にロードされて参照される。
【００５１】
検査の判定結果は、メモリ４０４に保存され、必要に応じてハードディスク４０３に書き出されたり、ディスプレイ４０６に出力されたり、通信装置４０７を介してネットワーク上へ送出されたり、あるいは図示しないプリンターを通じて紙上に印字される。
【符号の説明】
【００５２】
１０１ マスター画像入力部
１０２ データ画像入力部
１０３ 画像整合部
１０４ マスク領域入力部
１０５ 差分抽出部
１０６ 相違度出力部
【先行技術文献】
【特許文献】
【００５３】
【特許文献１】特開２００３−１０９００７号公報
【特許文献２】特許第３９３２２０１号公報
【特許請求の範囲】
【請求項１】
第１の画像としてのマスター画像を入力するマスター画像入力手段と、
第２の画像としてのデータ画像を入力するデータ画像入力手段と、
前記マスター画像に対して指定されるマスク領域の組を入力するマスク領域入力手段と、
前記マスター画像と前記データ画像とを整合させる画像整合手段と、
前記整合されたマスター画像とデータ画像との間で、前記マスク領域を除いた差分を抽出する差分抽出手段と、
抽出された差分の大きさに基づいて前記マスター画像と前記データ画像との相違度を出力する相違度出力部と、
を備えることを特徴とする画像識別装置。
【請求項２】
前記画像整合手段において、データ画像平面をマスター画像平面へ写像するアフィン変換、またはその逆変換を求めることを特徴とする請求項１記載の画像識別装置。
【請求項３】
前記差分抽出手段において、前記マスター画像上の前記マスク領域内の画素に前景属性を付与する前景マスク処理と、前記データ画像から前記マスター画像を減算するマスター画像減算処理を行うことを特徴とする、請求項１または２記載の画像識別装置。
【請求項４】
前記差分抽出手段において、前記マスター画像上の前記マスク領域内の画素に背景属性を付与する背景マスク処理と、前記マスター画像から前記データ画像を減算するデータ画像減算処理を行うことを特徴とする、請求項１〜３のいずれか１項に記載の画像識別装置。
【請求項５】
前記差分抽出手段において、前記マスター画像および前記データ画像の端から一定の、または都度動的に決定される幅のマージンに含まれる画素に背景属性を付与するマージン処理を行うことを特徴とする、請求項１〜４のいずれか１項に記載の画像識別装置。
【請求項６】
第１の画像としてのマスター画像、第２の画像としてのデータ画像、および前記マスター画像に対して指定されるマスク領域の組を入力するステップと、
前記マスター画像と前記データ画像とを整合させるステップと、
前記整合されたマスター画像とデータ画像との間で、前記マスク領域を除いた差分を抽出するステップと、
抽出された差分の大きさに基づいて前記マスター画像と前記データ画像との相違度を出力するステップと、からなることを特徴とする画像識別方法。
【請求項７】
前記マスター画像と前記データ画像とを整合させるステップは、データ画像平面をマスター画像平面へ写像するアフィン変換、またはその逆変換を求めるステップを含むことを特徴とする、請求項６記載の画像識別方法。
【請求項８】
前記整合されたマスター画像とデータ画像との間で、前記マスク領域を除いた差分を抽出するステップは、データ画像上で前景にあたり、かつ対応するマスター画像上の点が背景にあたり、かつ当該点が前記マスク領域のいずれにも包含されない点の集合を求めるステップを含むことを特徴とする、請求項６または７記載の画像識別方法。
【請求項９】
前記整合されたマスター画像とデータ画像との間で、前記マスク領域を除いた差分を抽出するステップは、前記データ画像上で背景にあたり、かつ対応する前記マスター画像上の点が前景にあたり、かつ当該点が前記マスク領域のいずれにも包含されない点の集合を求めるステップを含むことを特徴とする、請求項６〜８のいずれか１項に記載の画像識別方法。
【請求項１０】
前記整合されたマスター画像とデータ画像との間で、前記マスク領域を除いた差分を抽出するステップは、前記マスター画像および前記データ画像の端から一定の、または都度動的に決定される幅のマージンを除いて差分を抽出することを特徴とする、請求項６〜９のいずれか１項に記載の画像識別方法。
【請求項１】
第１の画像としてのマスター画像を入力するマスター画像入力手段と、
第２の画像としてのデータ画像を入力するデータ画像入力手段と、
前記マスター画像に対して指定されるマスク領域の組を入力するマスク領域入力手段と、
前記マスター画像と前記データ画像とを整合させる画像整合手段と、
前記整合されたマスター画像とデータ画像との間で、前記マスク領域を除いた差分を抽出する差分抽出手段と、
抽出された差分の大きさに基づいて前記マスター画像と前記データ画像との相違度を出力する相違度出力部と、
を備えることを特徴とする画像識別装置。
【請求項２】
前記画像整合手段において、データ画像平面をマスター画像平面へ写像するアフィン変換、またはその逆変換を求めることを特徴とする請求項１記載の画像識別装置。
【請求項３】
前記差分抽出手段において、前記マスター画像上の前記マスク領域内の画素に前景属性を付与する前景マスク処理と、前記データ画像から前記マスター画像を減算するマスター画像減算処理を行うことを特徴とする、請求項１または２記載の画像識別装置。
【請求項４】
前記差分抽出手段において、前記マスター画像上の前記マスク領域内の画素に背景属性を付与する背景マスク処理と、前記マスター画像から前記データ画像を減算するデータ画像減算処理を行うことを特徴とする、請求項１〜３のいずれか１項に記載の画像識別装置。
【請求項５】
前記差分抽出手段において、前記マスター画像および前記データ画像の端から一定の、または都度動的に決定される幅のマージンに含まれる画素に背景属性を付与するマージン処理を行うことを特徴とする、請求項１〜４のいずれか１項に記載の画像識別装置。
【請求項６】
第１の画像としてのマスター画像、第２の画像としてのデータ画像、および前記マスター画像に対して指定されるマスク領域の組を入力するステップと、
前記マスター画像と前記データ画像とを整合させるステップと、
前記整合されたマスター画像とデータ画像との間で、前記マスク領域を除いた差分を抽出するステップと、
抽出された差分の大きさに基づいて前記マスター画像と前記データ画像との相違度を出力するステップと、からなることを特徴とする画像識別方法。
【請求項７】
前記マスター画像と前記データ画像とを整合させるステップは、データ画像平面をマスター画像平面へ写像するアフィン変換、またはその逆変換を求めるステップを含むことを特徴とする、請求項６記載の画像識別方法。
【請求項８】
前記整合されたマスター画像とデータ画像との間で、前記マスク領域を除いた差分を抽出するステップは、データ画像上で前景にあたり、かつ対応するマスター画像上の点が背景にあたり、かつ当該点が前記マスク領域のいずれにも包含されない点の集合を求めるステップを含むことを特徴とする、請求項６または７記載の画像識別方法。
【請求項９】
前記整合されたマスター画像とデータ画像との間で、前記マスク領域を除いた差分を抽出するステップは、前記データ画像上で背景にあたり、かつ対応する前記マスター画像上の点が前景にあたり、かつ当該点が前記マスク領域のいずれにも包含されない点の集合を求めるステップを含むことを特徴とする、請求項６〜８のいずれか１項に記載の画像識別方法。
【請求項１０】
前記整合されたマスター画像とデータ画像との間で、前記マスク領域を除いた差分を抽出するステップは、前記マスター画像および前記データ画像の端から一定の、または都度動的に決定される幅のマージンを除いて差分を抽出することを特徴とする、請求項６〜９のいずれか１項に記載の画像識別方法。
【図１】
【図２】
【図３】
【図４】
【図５】
【図６】
【図７】
【図８】
【図９】
【図１０】
【図１１】
【図２】
【図３】
【図４】
【図５】
【図６】
【図７】
【図８】
【図９】
【図１０】
【図１１】
【公開番号】特開２０１３−６１７６４（Ｐ２０１３−６１７６４Ａ）
【公開日】平成２５年４月４日（２０１３．４．４）
【国際特許分類】
【出願番号】特願２０１１−１９９２７３（Ｐ２０１１−１９９２７３）
【出願日】平成２３年９月１３日（２０１１．９．１３）
【出願人】（０００００６７４７）株式会社リコー (37,907)
【Ｆターム（参考）】
【公開日】平成２５年４月４日（２０１３．４．４）
【国際特許分類】
【出願日】平成２３年９月１３日（２０１１．９．１３）
【出願人】（０００００６７４７）株式会社リコー (37,907)
【Ｆターム（参考）】
[ Back to top ]