帳票識別プログラム及び帳票識別装置
【課題】 従来の帳票識別手法で問題となるのが、帳票ロゴマーク類のみが異なる類似した帳票間の識別である。一般には、帳票タイトル名などの認識や罫線を用いての帳票識別を行うが、非文字のマーク類、白抜き文字などの装飾文字で書かれた帳票名を読取ることは難しい。
【解決手段】 帳票画像間でずれが存在する場合にも、帳票特徴点ベクトル照合を用いて、位置ずれを吸収して帳票ロゴマーク類の判定を可能とする。更に、帳票識別辞書を作成する学習過程において、特徴点ベクトルに独立・従属の属性を判別し、ロゴマーク類の存在しないことも一つの特徴として扱うことを可能とする。更に、類似帳票間で自動的に推定した帳票ロゴマーク類の位置を強調表示することで、帳票辞書の作成処理の効率化を図る。
【解決手段】 帳票画像間でずれが存在する場合にも、帳票特徴点ベクトル照合を用いて、位置ずれを吸収して帳票ロゴマーク類の判定を可能とする。更に、帳票識別辞書を作成する学習過程において、特徴点ベクトルに独立・従属の属性を判別し、ロゴマーク類の存在しないことも一つの特徴として扱うことを可能とする。更に、類似帳票間で自動的に推定した帳票ロゴマーク類の位置を強調表示することで、帳票辞書の作成処理の効率化を図る。
【発明の詳細な説明】
【技術分野】
【０００１】
本発明は、帳票上に存在するロゴマーク類を利用した帳票識別手法、および自動的に判別したロゴマーク類の位置を視覚的に表示する帳票識別辞書作成技術に関する。
【背景技術】
【０００２】
一般に、帳票の自動識別を行う場合、帳票内の特徴量を用いて帳票の種類を識別することを行う。例えば、帳票内に記載されている文字コード、文字行、罫線、枠等を抽出し、それら特徴量と、事前にサンプルとして登録した帳票の特徴量とを照合して、帳票の種類を識別する。例えば、特開平１０−２２２５８７公報等に開示された技術は、帳票の特徴データを帳票毎に辞書として登録しておき、識別対象となる帳票画像が入力された場合、入力画像より罫線２値画像を作成し、予め登録しておいた辞書とでマッチングを実施する方法である。
【０００３】
辞書には、罫線から得られる黒画素の位置などが、二次元座標の集合として登録される。また、特開２００２−３２４２３６公報等に開示された技術では識別対象となる入力帳票の特徴に点座標を付与した点（以下、入力点）と、辞書作成のために予め登録をした登録帳票の特徴に点座標を付与した点（以下、辞書点）とを設けて、前記入力点と辞書点の距離を算出し、前記距離がある距離基準内であれば入力点に対応付けられた辞書点が存在すると判定し、対応付けられた点数、入力点数及び辞書点数を基に照合の一致の程度を求める方法である。この手法では、入力点または辞書点として、罫線の端点や交点、並びに上下左右を罫線で囲まれる最小の領域（セル）の中心座標などを特徴点として用いる。
【０００４】
このように識別対象となる帳票に対して様々な識別手法が存在する。ここで問題となるのが、類似した帳票を識別する方法である。
【０００５】
帳票識別の結果を最終的に確定する場合、帳票種類を示す帳票タイトル名を読取ることが一般的であるが、帳票タイトル名の中に装飾文字、あるいはロゴマーク等が含まれた場合、この方法を採ることは困難である。
【０００６】
従来手法のように罫線構造に依存した帳票識別を行う場合、微細な違いのある帳票の判別ができない。微細な構造を見分けるためには、より細かい解像度、たとえば１ｍｍ角や０．５ｍｍ角のメッシュによって帳票を観測すれば良い。しかし、その場合は、帳票の記載位置ずれが問題となる。記載位置のずれは、帳票原本をコピーして用いるコピー帳票で起こる。通常のコピー帳票では±２ｍｍ程度の記載位置のずれが起こり得るため、１ｍｍ角単位や０．５ｍｍ角単位のメッシュで部分画像を観測した場合、記載位置ずれによって観測値が大きく影響を受けるという問題がある。帳票の四隅にエッジマーク等の、位置ずれを補正するマークがあれば問題は無いが、一般帳票の多くにはエッジマークは存在しない。
【０００７】
【特許文献１】特開平１０−２２２５８７
【特許文献２】特開２００２−３２４２３６
【発明の開示】
【発明が解決しようとする課題】
【０００８】
従来の帳票識別処理においては、類似した帳票間の識別が困難なケースがあった。本発明は、上記課題を解決し、帳票画像にずれが存在する場合でも、類似した帳票間の差異ある個所を、その差異が文字である場合、非文字のマークである場合、及び帳票上にマークが存在しないことが特徴となる場合とに係わらず、これらを帳票ロゴマーク類と見なして詳細識別する帳票識別手法及び装置を提供することを目的とする。更に、本発明は、帳票識別の辞書を登録する際に、自動的に抽出したロゴマーク領域を強調表示することで辞書作成をサポートする表示方法が可能な帳票識別手法及び装置を提供することを目的とする。
【課題を解決するための手段】
【０００９】
本発明は、上記目的を達成するため、画像撮像部と処理部と記憶部と表示部とを備え、画像撮像部は帳票を撮像することによって、当該帳票の画像データを取得し、処理部は、記憶部に蓄えられた辞書を元に帳票画像の種類を識別し、当該帳票識別の結果を表示する表示データを表示部に提示する構成とする。
本発明においては、帳票種の大まかな絞込みを、帳票画像の全体を特徴ベクトル化して辞書との間で距離計算を行う帳票画像ベクトル照合で行い、かつ類似した帳票間の識別をロゴマーク類を用いて認識する際には、帳票から特徴点を抽出し、特徴点近傍の部分画像情報から構成したベクトルとの距離計算を行う帳票特徴点ベクトル照合を行う。その際、ロゴマーク類が存在しないことを一つの特徴として扱うために、帳票特徴点ベクトルとして２つのカテゴリ、独立特徴点と従属特徴点とを設けて，これを判別する。更に、差異のあるロゴマーク箇所を強調表示して辞書作成時の補助を行う帳票識別装置とそのプログラムを提供する。
【発明の効果】
【００１０】
本発明により、帳票画像間でずれが存在する場合にも、帳票特徴点ベクトル照合を用いて、位置ずれを吸収して照合し、帳票上にあるロゴマーク類の差異などの微細な構造の違いを強調して判別する処理が可能となるため、帳票の振分け処理の効率化が見込める。更には、帳票識別の辞書を作成する処理において、ロゴマークの位置を自動的に抽出して、差異のあるロゴマーク箇所を強調表示するあるいはマスクをかけて表示する等の処理を行うことで、辞書作成の効率化が見込める。
【００１１】
また、本発明により、帳票画像間でずれが存在する場合にも、帳票特徴点ベクトル照合を用いて、位置ずれを吸収して帳票ロゴマーク類の位置を特定し、入力帳票と辞書帳票の間の距離を計算することにより、微細な違いを持つ類似帳票間の識別が可能となる。更に帳票辞書の学習時には、類似帳票間で差異のある個所を帳票ロゴマーク類の領域と推定して、これを強調表示する等により、帳票識別辞書の作成処理の効率化が見込る。
【発明を実施するための最良の形態】
【００１２】
以下、本発明の実施の形態を図面を参照して説明する。
【００１３】
初めに、本実施例の前提とするハードウェア構成について述べる。図１は、帳票読取装置の一実施例を示すハードウェア構成図である。高速帳票読取装置では、画像撮像部である画像撮像装置０１０１により紙文書を電子データに変換し、それを記憶部である外部記憶装置０１０５及びメモリ０１０６に蓄えて、中央処理部（ＣＰＵ）である中央演算装置０１０７により読取を行う。本実施例に係わる帳票識別・表示プログラムは、外部記憶装置０１０５またはメモリ０１０６に蓄えられているか、場合によっては、通信装置０１０９を介して帳票読取装置に導入されこれら記憶部に記憶される。この帳票識別・表示プログラムは、撮像された電子データ画像に対して、中央演算装置０１０７が帳票識別処理や、識別結果の表示制御を行う。帳票の種類を特定する場合は、記憶部である外部記憶装置０１０５またはメモリ０１０６に蓄えられた帳票辞書を参照し、帳票種類を判別する。これらの処理は、操作端末装置０１０２を通して操作者である人間が操作可能であり、処理結果は表示端末装置０１０３を通して表示される。処理結果などの情報は、必要に応じて外部記憶装置０１０５に蓄積または通信装置０１０９を通して外部装置にデータとして送信される。上記装置群は内部バス０１０８によって繋がっている。帳票識別結果を反映して、入力された伝票類はソータ装置０１０４によって、定義された箱に分配・集積される。言い換えるなら、画像撮像装置０１０１とソータ装置０１０４を除けば、通常のパーソナルコンピュータ（ＰＣ）などのコンピュータシステムで構成されうる。なお通常のＰＣにおいては、表示制御用のチップをＣＰＵとは別に有している場合もあるが、本実施例においても、グラフィックボードを別構成とし、表示制御を分担しても良いことは言うまでもなく、どちらの構成であっても、帳票識別と表示用のプログラムを実行する構成を処理部と呼ぶことがある。
【００１４】
図２は、帳票辞書の学習から、それを用いた識別に至るまでの一連の処理の流れを示す。帳票識別モジュールは学習モジュールと識別モジュールの２つからなる。更に学習モジュールは大きく３つの処理フェーズから構成される。学習モジュールのフェーズ１では、帳票の基本識別に使う大局的な特徴点の位置（特徴領域選択情報）を求める。フェーズ２では、各帳票種について、フェーズ１で求めた特徴点を使って特徴ベクトルを計算し、各帳票種の帳票画像ベクトル辞書を作る。フェーズ３では、細かな所だけが違う類似帳票同士をロゴマーク類を使って識別するために、特徴点ベクトル辞書を作成する。識別モジュールでは、帳票が正立・倒立で入力されることを考慮して、入力画像から複数の帳票画像ベクトル生成して、帳票画像ベクトル辞書と照合することにより帳票種を大まかに識別する。更に、上位帳票種候補の識別類似度が互いに近いレベルにある場合は、当該識別結果に類似帳票のあいまい性が含むと判断して、ロゴマーク等を利用した帳票の詳細識別を行う。以下、各プロセスについて概要を述べる。また、ロゴマーク類を用いた帳票識別における学習時のメイン処理は０２０９であるが、これについては図３から図６の説明で詳細に述べる。
【００１５】
帳票識別の学習モジュールには、学習用の帳票画像群０２０１が与えられる。学習用データとしては（帳票画像、当該帳票画像の種別）をペアとする情報が最低限与えられる。他に、帳票タイトル名や帳票ロゴマーク類の位置座標などを加えることができる。次に学習用として与えられた帳票画像を、中央演算装置０１０７が処理して行く。まず、帳票画像正規化０２０２を行う。帳票画像正規化とは、入力された二値画像の傾きと原点を正規化する処理である。初めに、入力された二値画像をラン走査により解析し、紙片部分の外輪郭と思われる境界線を求める。求めた４つの境界線の交点から、紙四隅の点座標ｃ１〜ｃ４（左上の点から時計回りに廻る点とする）が計算できる。次に、算出した四隅座標から画像の原点・傾きを補正した画像を作成する。画像補正では、画像の傾きを無くし、紙四隅の左上点と基準点に移動することで補正画像を作成する。基準点を（ｌｘ、ｌｙ）とし、紙四隅の左上点（ｃ１ｘ、ｃ１ｙ）をこれに合致させる補正を行った場合、補正画像は式１により生成される。
【００１６】
【数１】
【００１７】
但し、θは紙領域の回転角度を表す。
【００１８】
次に特徴領域を選択する。特徴領域を選択する方法としては、桝目特徴方式と差分マップ方式の２つがある。
【００１９】
Ａ）桝目特徴方式
桝目特徴方式とは、帳票全体を桝目上に区切って特徴ベクトルを抽出する方式である。
【００２０】
Ｂ）差分マップ方式
差分マップ方式の説明では補正後の画像をＩ（ｘ、ｙ）で表すとする。初めに帳票種毎にカテゴリ平均画像を作成する。カテゴリ平均画像は、カテゴリｉのｋ番目の画像をＩｉｋ（ｘ、ｙ）とした場合、式２から求められる。
【００２１】
【数２】
【００２２】
次に、このカテゴリ平均画像 を元に、差分マップ画像Ｉｍａｐ（ｘ、ｙ）を式３により計算する。
【００２３】
【数３】
【００２４】
式３の処理は、全ての異なるカテゴリの組合せに対し、２つのカテゴリ平均画像間の差の絶対値を重ね合わせて、平均値を取るという処理に該当する。つまり、差分マップの画素値が大きい箇所とは、画像の差異が大きい箇所である。差分マップ画像は画像間で差異のある箇所を検出するのに有効な手法であるが、カテゴリ数の二乗に比例する計算時間が掛かるため、多種帳票の分類には不向きである。予備実験の結果では、二値画像を入力とする帳票識別においては平均画像でも差分マップと同様の効果が出せる。平均マップ画像Ｉｍａｐ（ｘ、ｙ）は式４により計算される。
【００２５】
【数４】
【００２６】
すなわち、式４は全帳票カテゴリの平均画像を作成する処理である。
画像ベクトルの特徴抽出領域として平均マップ画像が小さな値を持つ箇所（黒っぽい所）を選択すれば、帳票の特徴を表すプレ印刷領域を選択することとなり、識別がより行い易くなると考えられる。そこで、特徴点の優先度Ｐｒｉｏ（ｘ、ｙ）を、平均マップの部分平均値と定義し、式５に従って計算する。
【００２７】
【数５】
【００２８】
式中のＲは部分平均化のサイズを表す。すなわち、座標(x, y)を中心とする（２Ｒｘ＋１）×（２Ｒｙ＋１）の矩形領域内の平均マップの平均値を求める。この特徴点優先度の高い方から順に、指定されたＮ個の箇所を特徴領域（特徴点）として選択する。特徴領域は、互いの小矩形が重ならないように選択する。
【００２９】
２つの方式には、それぞれメリット・デメリットがある。差分マップ方式では選択的に特徴領域を選ぶため、次元数を抑えた識別器が構成できる。そのため高速な処理が可能となる。一方で、コピー帳票等に見られるような記載領域の位置ずれが起きた場合、ある閾値以上で識別尤度が急に落ちるという現象が起こる。一方、桝目特徴を用いた場合、次元数が増えるため識別速度が遅くなるが、位置ずれに対する識別尤度の変化は抑えることができる。
【００３０】
以上の処理により、特徴領域選択情報０２０４が得られる。特徴領域選択情報には、帳票から画像ベクトルを構成する際のサンプリング点の位置と、サンプリングする時の微小エリアのサイズ、及び対応する帳票種という情報が含まれる。
【００３１】
次に、特徴領域選択情報０２０４を使って帳票画像ベクトル辞書０２０７を作成する。先ほどと同様に帳票画像に対して帳票画像正規化０２０２を行い、次に特徴領域選択情報０２０４を使って、各帳票画像から画像特徴ベクトルを計算する。主な画像特徴ベクトルの計算方法としては、画像濃度特徴と輪郭濃度特徴の２つがある。
Ａ）画像濃度特徴ベクトル
特徴ベクトルの値を、選ばれた特徴点を中心とする（２Ｒｘ＋１）×（２Ｒｙ＋１）サイズの矩形（特徴領域）内における平均画素値とする方法である。平均マップから得られた特徴点群を（ｘｄ、ｙｄ）とすると、特徴ベクトル（ｖ１、・・・、ｖＤ）は式６に従って計算される。
【００３２】
【数６】
【００３３】
特徴ベクトルの計算を摂動を加えて行う場合、例えば３×３の範囲で摂動を行うならば、各特徴点の位置自身を含む８近傍内で動かし、画像特徴ベクトルを９つ抽出する。
Ｂ）輪郭濃度特徴ベクトル
単純に画像濃度を取るだけでは、塗り潰し領域やバーコードが存在する帳票において識別精度が低下する問題が起こる。この場合、濃度を取る場合に全ての画像を使うのではなく、輪郭点（白画素と隣接する黒画素）のみを考慮することで、これに対処できる。輪郭からの特徴ベクトル計算は式７のように定式化できる。
【００３４】
【数７】
【００３５】
他にも画像ベクトルの計算方法として、輪郭線の方向成分毎に画像を分ける方向特徴ベクトルがある。以上の処理により、各帳票学習サンプルに対する画像特徴ベクトルが得られる。画像特徴ベクトルと、対応する帳票種をペアで持つのが帳票画像ベクトル辞書０２０７である。
続いて、類似した帳票をロゴマーク等により識別するための辞書作成を行う。まず、学習用の帳票画像に対して帳票画像正規化０２０２を行う。次に、帳票画像ベクトル辞書を用いて、各学習画像に対して帳票識別を行う。この時、画像ベクトル辞書との距離計算で出てくる尺度を元に、帳票間の類似性を判定する（０２０８）。画像ベクトル辞書との距離計算については後述する。更に類似した帳票については、それを区別するための帳票ロゴマーク類と思われる位置を自動計算し、更に局所的な画像の特徴を表す特徴点ベクトルの学習を行う（０２０９）。この処理については、図３から図６の説明で述べる。特徴点ベクトル学習０２０９の結果として、帳票特徴点ベクトル辞書０２１０が得られる。帳票特徴点ベクトル辞書には、帳票種、各帳票種に対する特徴点の数、特徴点の位置、特徴点に対応する局所的画像ベクトルが格納される。
【００３６】
以上により、帳票画像ベクトル辞書０２０７と帳票特徴点ベクトル辞書０２１０の２つの辞書が得られることになる。帳票識別は、これら学習処理で作成した辞書を元に行われる。その流れは、学習の処理過程と大部分が共通する。初めに、識別対象である帳票画像（０２１１）に対して帳票画像正規化（０２０２）を行い、補正画像から特徴ベクトルを抽出し、帳票画像ベクトル辞書との間で距離計算を行う（０２１２）。識別時の画像正規化では、帳票が正立・倒立で入力されることを考慮して、長方形の場合は上下回転させた２通り、正方形の場合は90度ずつ回転させた４通りを行う。実際には画像を回転するのではなく、特徴ベクトル抽出時に画像の座標を変換して行う。また、帳票のサイズが不揃いであると特徴ベクトルの領域が帳票外に食み出す可能性もあるため、事前に帳票サイズ毎に特徴領域辞書を振分ける処理を行う。帳票サイズとしてＡ３〜７判、Ｂ３〜７判の用紙サイズを想定し、識別時には面積が最も近いものに帳票サイズのカテゴリを決め、その識別辞書を使用する。更に、距離計算の結果に、上位候補の類似度が近接している場合は、当該帳票種に類似帳票種が存在すると仮定されるため、帳票のロゴマーク類を使った詳細識別を行う。詳細識別では帳票特徴点ベクトル照合による距離計算（０２１３）を行う。
帳票画像ベクトルを使う場合の距離計算方法としては、主にユークリッド距離と適応型マスク距離の２つがある。ユークリッド距離の計算方式は式８に、適応型マスク距離の計算方式は式９に示される。
【００３７】
【数８】
【００３８】
【数９】
【００３９】
単純なユークリッド距離では、画像全体の濃度変化に対して弱いため、最大値・最小値による正規化処理を行うことがある。式９は適応型マスク距離である。適応型マスク距離は、ある特徴領域で、辞書の平均画素値が白く、入力の平均画素値が黒ければ、距離計算上無視をする、という計算を行う。帳票に押印される発行印は、通常、帳票の背景色よりも黒く撮像される。また、切取った部分は背景色である黒色になる。そのため、帳票上の切取・押印エリアがある特徴領域と重なる場合、特徴ベクトル中の当該要素は通常より小さな値（黒色）を持つこととなり、辞書とのずれが生じる。そこで、「ある領域で辞書画像が白い」の判定は画素値 が白閾値 を上回ること、「ある領域で入力画像が黒い」の判定は画素値 が黒閾値 を下回ることと判定すれば、切取・押印が距離計算に与える悪影響を除くことができる。
【００４０】
以上が、学習から識別までの処理の概要になる。次に、帳票ロゴマーク類を識別するための学習プロセス０２０９について詳述する。
【００４１】
図３は、学習過程の詳細なフローになる。この図の説明の前に、図４、図５、図６により、帳票ロゴマーク類による帳票識別の方法論を示す。
【００４２】
図４は帳票特徴点ベクトルを使った帳票識別のコンセプトを表している。帳票特徴点ベクトル辞書０４０１には、識別対象とする帳票種｛Ａ、・・・、Ｚ｝のそれぞれに対応する帳票特徴点ベクトル情報０４０２が格納される。図中のバッテン印が１つの帳票特徴点ベクトルを表す。入力帳票の帳票種を識別する場合は、入力帳票上で帳票特徴点ベクトル情報０４０３を計算し、辞書の各帳票特徴点ベクトル情報との照合を行う。それぞれの照合結果が０４０４から０４０５に示されている。帳票特徴点ベクトル照合とは、辞書帳票上の帳票特徴点ベクトルについて、それと最も似ている入力帳票上の帳票特徴点ベクトルを計算することを意味する。計算結果である帳票特徴点ベクトル間の対応関係が０４０６に示されている。この場合、辞書帳票Ａに対する照合が、対応する特徴点ベクトル間の平均距離が短く、多くの特徴点が照合しているため、最も良く照合すると判断される。すなわち、入力帳票の帳票種はＡと判断される。
【００４３】
図５は帳票特徴点ベクトルの照合イメージを詳細に表している。帳票０５０１上に仮に模様０５０２が書かれていたとする。このとき、抽出された特徴点はバッテン印で示されている。特徴点０５０３に対応するベクトルが０５０４である。このベクトルは、対応する特徴点の近傍にある帳票画像情報を反映している。帳票上で計算された特徴点と、その近傍領域から得られたベクトルとを組み合せたペアを帳票特徴点ベクトルと称する。各帳票種について抽出された帳票特徴点ベクトル群が辞書に登録される（図５−ａ）。入力帳票を識別する場合は、入力帳票０５０５から同様に帳票特徴点ベクトルを抽出する。入力帳票上から得られた帳票特徴点ベクトルの例が０５０７、０５０８である。この図の例では、入力帳票で記載位置のずれが起きたため、特徴点ベクトルの位置がずれている。ここで、辞書帳票上の帳票特徴点ベクトル０５０６に対応する入力帳票上の点はどれであるかを計算したいとする。この場合、帳票特徴点ベクトル０５０６に位置的に近いのは０５０７であるが、そのベクトルの値を見比べると０５０８の方が似ていることが分かる。従って、帳票特徴点ベクトルの対応関係は０５０９のように定まる。
【００４４】
この対応関係の計算プロセスを定式化すると次のようになる。特徴点と、その近傍画像から得たベクトルのペアを（ｐ、ｖ）で表す。これを特徴点ベクトルと称する。ある帳票の学習サンプルから得た特徴点ベクトルを
【００４５】
【数１０】
【００４６】
とする。 また入力帳票から得られた特徴点ベクトルを
【００４７】
【数１１】
【００４８】
とする。このとき、辞書帳票のｉ番目の特徴点ベクトルに最適に対応する、入力帳票上の特徴点ベクトルの番号ｊ＊を、次のように計算する。
【００４９】
【数１２】
【００５０】
このとき、辞書のｉ番目の特徴点ベクトルと、それに最適に対応する点ｊ＊との距離（コスト）を、
【００５１】
【数１３】
【００５２】
とすると、帳票間の距離は
【００５３】
【数１４】
【００５４】
で定義できる。更に、この時の対応関係によって位置ずれ、サイズ伸縮、回転を表すアフィン変換量を計算し、点を仮想的に移動した上で、再度この対応付けを行う。これにより、対応点の存在する特徴点、対応点の存在しない特徴点が明確に分かる。
【００５５】
アフィン変換の種類として、回転、シフト、伸縮（かつ、ＸＹで等倍）というものを考えるならば、２点の対応関係を選ぶだけで足りる。この性質を利用して計算量の削減を図ることができる。つまり、点｛ｘ１、ｐｘ２｝が辞書帳票から得られた特徴点、点｛ｐ１、ｐ２｝が入力帳票から得られた特徴点で、ベクトル値によりお互いに対応関係にあることが推定できているとする。このとき点ｘ１を基準点として、点ｘ２の座標を伸縮、回転して、ベクトルｘ２−ｘ１がベクトルｐ２−ｐ１と一致するようにした上で、点ｘ１を点ｐ１へと移動する作業を行うという変換が対応関係を表すアフィン変換であるとする。従って、アフィン変換量の計算は次の式から導かれる。まず、アフィン変換を
【００５６】
【数１５】
【００５７】
とモデル化する。このとき、
【００５８】
【数１６】
【００５９】
と置くならば、伸縮、回転、移動の各アフィン変換量は次のように求まる。すなわち、伸縮量は、
【００６０】
【数１７】
【００６１】
と表される。回転量は
【００６２】
【数１８】
【００６３】
と表される。まら、移動量は
【００６４】
【数１９】
【００６５】
と導かれる。
【００６６】
図６は特徴点の計算例である。特徴点計算の方法としては、罫線の交点、帳票枠の中心座標、連結成分の中心座標、連結成分の四隅座標などが考えられる。但し、罫線の中心座標や帳票枠の中心座標は対象とするロゴマーク類が線分から構成されることを前提とするため、適用範囲が狭い。連結成分の中心座標や四隅座標は罫線以外のロゴマーク類に適用し得るが、白抜き文字などの装飾文字については特徴点が得られないことがある。また、画像が擦れることで分離する、あるいは撮像条件により密な画像要素がくっついた場合には、特徴点の出現位置が大きく変動する。そのため、ロゴマーク類の識別では、輪郭文字の屈曲点を基本的な特徴点として用いる。
【００６７】
図３は、学習過程の詳細を示す。まず、ここでは学習用に入力された帳票の中で、類似したパタン群が入力される。例えば、帳票画像｛Ａ、Ｂ、・・・、Ｚ｝が学習用として入力され、帳票学習の過程において、｛Ａ、Ｚ｝が類似すると機械が自動的に判断した場合、当該類似リスト｛Ａ、Ｚ｝が入力される（０３０１）。次に、入力の帳票画像のそれぞれから特徴点を抽出する（０３０２）。続いて、抽出した特徴点について、類似リスト中の別の帳票ペアとの特徴点ベクトル照合を行う。特徴点ベクトル照合の詳細は式１０から式１４で述べた通りである。特徴点ベクトル照合の結果、対応が付く特徴点を対応が付かない特徴点が判明する（０３０４）。対応が付かない特徴点という判断は、大勢の特徴点から計算されるアフィン変換を施して特徴点を擬似的に移動した後に、更にその近傍範囲ＴＲ内に特徴ベクトル値との距離が指定距離値ＴＤ以内である対応点が存在するか否かで決定できる。このとき、相手帳票において、対応点が存在しないと判断した特徴点を従属点候補とする。その基準は、
・帳票１で抽出された特徴点は、独立特徴点候補とし、その近傍内で帳票２と照合しない特徴点ほど、独自の特徴点とする。
・帳票２で抽出された特徴点で、帳票１の近傍に他の特徴点が存在しない場合は、従属特徴点とする。
という条件で定まる。
【００６８】
従属特徴点を考える理由は、ロゴが存在しないことも、一つの特徴とするためである。すなわち、自身に無い特徴で、類似したほかの帳票にある特徴点は、従属特徴点として、自身の特徴点候補に加えることにする（０３０７）。更に、従属特徴点は、その周辺にある独立特徴点とリンク付けられる（０３０８）。リンクは、従属特徴点の周辺範囲ＴＤ２にある特徴点群に対して従属するとする。
【００６９】
従属特徴点の位置決めは、その上位にある独立特徴点から行う。独立特徴点群からアフィン変換を使って点照合を行い、そのアフィン変換値をそのまま従属特徴点のアフィン計算量とする。これにより、位置ずれなどで従属特徴点が移動しても、周辺の独立特徴点が変わらずに存在するならば、従属特徴点の有無、すなわち、ロゴにない特徴によるロゴ識別が可能となる。独立点については、当該点が独立点である旨を属性とする（０３０６）。
【００７０】
以上により属性が付けられた特徴点について、その点の近傍画像から特徴ベクトルを作る（０３０９）。特徴点の座標と、近傍画像から得られた特徴ベクトルのペアを特徴点ベクトルと言う。この抽出した特徴点ベクトルと、その属性（独立、従属）、更に当該特徴点の近傍の独立特徴点ベクトル、および帳票のカテゴリが組み合わさって、帳票識別のロゴ辞書を構成する。これを出力して、帳票ロゴマーク類の学習プロセスが終わる。
【００７１】
図７は、類似する帳票画像を重ね合わせて表示した例である。差異のある個所を色によって強調して表示している。ユーザが、差異箇所を指定することで、その中において、特徴点の独立・従属を計算し、辞書に登録することも可能である。帳票識別結果を表示端末装置に提示する過程は次のようになる。入力される情報としては、入力帳票画像と、帳票識別結果がある。帳票識別結果には、認識した帳票種類、その識別尤度、回転方向、ずれ度合いが最低含まれるとする。まず、帳票識別結果に含まれるずれ度合いが閾値を超えるか、または、識別尤度が閾値を超えるかした場合、入力帳票画像と辞書帳票画像の間でずれがあると判断し、画像を適切に重ね合わせるための計算を行う。まず入力帳票画像、及び辞書帳票画像から特徴点ベクトルをランダムに抽出する。次に特徴点ベクトルの照合を行い、入力帳票画像と辞書帳票画像を最適に重ね合わせるためのパラメータ計算（ずれ量、回転量、伸縮量の計算）を行う。以上の結果を元に、重ね合わせ表示に用いる辞書帳票画像の作成を行う。例えば回転があれば、辞書帳票画像に対して回転を掛けた場合の画像を計算する。最初にずれがないと判断された場合は、上記の特徴点計算の過程を省くことができる。辞書帳票画像の計算が終わった後に、入力帳票画像と辞書帳票画像を、どのように表示するかの計算を行う。計算された画像をディスプレイ上に表示し、本処理を終える。
【産業上の利用可能性】
【００７２】
本発明は、紙の帳票又を処理する帳票読取システムに適用できる。
【図面の簡単な説明】
【００７３】
【図１】帳票識別装置の標準的なハード構成図である。
【図２】帳票識別処理の学習から識別に至る全体処理構成図である。
【図３】帳票ロゴマーク類識別処理の学習時の詳細フローである。
【図４】帳票ロゴマーク類識別のコンセプト図である。
【図５】帳票特徴点ベクトル照合のコンセプト図である。
【図６】帳票画像からの特徴点の抽出例である。
【図７】帳票識別処理の学習時の帳票ロゴマーク類の表示例である。
【符号の説明】
【００７４】
０１０１ 高速帳票読取装置を構成する画像撮像装置
０１０２ 高速帳票読取装置を構成する操作端末装置
０１０３ 高速帳票読取装置を構成する表示端末装置
０１０４ 高速帳票読取装置を構成するソータ装置
０１０５ 高速帳票読取装置を構成する外部記憶装置
０１０６ 高速帳票読取装置を構成するメモリ
０１０７ 高速帳票読取装置を構成する中央演算装置
０１０８ 高速帳票読取装置を構成する内部バス
０１０９ 高速帳票読取装置を構成する通信装置
０３０１ 帳票学習処理の入力データ
０３０２ 帳票学習処理の特徴点抽出
０３０３ 帳票学習処理の特徴点照合
０３０４ 帳票学習処理の特徴点差分判定
０３０５ 帳票学習処理の独立・従属判定
０３０６ 帳票学習処理の独立点属性付け
０３０７ 帳票学習処理の従属点追加・属性付け
０３０８ 帳票学習処理の周辺独立点リンク付け
０３０９ 帳票学習処理の特徴点ベクトル計算
０４０１ 特徴点ベクトル辞書
０４０２ 各帳票種の特徴点ベクトル情報
０４０３ 入力帳票から得られた特徴点ベクトル情報
０４０４ 辞書との照合結果１
０４０５ 辞書との照合結果２
０４０６ 特徴点の対応関係。
【技術分野】
【０００１】
本発明は、帳票上に存在するロゴマーク類を利用した帳票識別手法、および自動的に判別したロゴマーク類の位置を視覚的に表示する帳票識別辞書作成技術に関する。
【背景技術】
【０００２】
一般に、帳票の自動識別を行う場合、帳票内の特徴量を用いて帳票の種類を識別することを行う。例えば、帳票内に記載されている文字コード、文字行、罫線、枠等を抽出し、それら特徴量と、事前にサンプルとして登録した帳票の特徴量とを照合して、帳票の種類を識別する。例えば、特開平１０−２２２５８７公報等に開示された技術は、帳票の特徴データを帳票毎に辞書として登録しておき、識別対象となる帳票画像が入力された場合、入力画像より罫線２値画像を作成し、予め登録しておいた辞書とでマッチングを実施する方法である。
【０００３】
辞書には、罫線から得られる黒画素の位置などが、二次元座標の集合として登録される。また、特開２００２−３２４２３６公報等に開示された技術では識別対象となる入力帳票の特徴に点座標を付与した点（以下、入力点）と、辞書作成のために予め登録をした登録帳票の特徴に点座標を付与した点（以下、辞書点）とを設けて、前記入力点と辞書点の距離を算出し、前記距離がある距離基準内であれば入力点に対応付けられた辞書点が存在すると判定し、対応付けられた点数、入力点数及び辞書点数を基に照合の一致の程度を求める方法である。この手法では、入力点または辞書点として、罫線の端点や交点、並びに上下左右を罫線で囲まれる最小の領域（セル）の中心座標などを特徴点として用いる。
【０００４】
このように識別対象となる帳票に対して様々な識別手法が存在する。ここで問題となるのが、類似した帳票を識別する方法である。
【０００５】
帳票識別の結果を最終的に確定する場合、帳票種類を示す帳票タイトル名を読取ることが一般的であるが、帳票タイトル名の中に装飾文字、あるいはロゴマーク等が含まれた場合、この方法を採ることは困難である。
【０００６】
従来手法のように罫線構造に依存した帳票識別を行う場合、微細な違いのある帳票の判別ができない。微細な構造を見分けるためには、より細かい解像度、たとえば１ｍｍ角や０．５ｍｍ角のメッシュによって帳票を観測すれば良い。しかし、その場合は、帳票の記載位置ずれが問題となる。記載位置のずれは、帳票原本をコピーして用いるコピー帳票で起こる。通常のコピー帳票では±２ｍｍ程度の記載位置のずれが起こり得るため、１ｍｍ角単位や０．５ｍｍ角単位のメッシュで部分画像を観測した場合、記載位置ずれによって観測値が大きく影響を受けるという問題がある。帳票の四隅にエッジマーク等の、位置ずれを補正するマークがあれば問題は無いが、一般帳票の多くにはエッジマークは存在しない。
【０００７】
【特許文献１】特開平１０−２２２５８７
【特許文献２】特開２００２−３２４２３６
【発明の開示】
【発明が解決しようとする課題】
【０００８】
従来の帳票識別処理においては、類似した帳票間の識別が困難なケースがあった。本発明は、上記課題を解決し、帳票画像にずれが存在する場合でも、類似した帳票間の差異ある個所を、その差異が文字である場合、非文字のマークである場合、及び帳票上にマークが存在しないことが特徴となる場合とに係わらず、これらを帳票ロゴマーク類と見なして詳細識別する帳票識別手法及び装置を提供することを目的とする。更に、本発明は、帳票識別の辞書を登録する際に、自動的に抽出したロゴマーク領域を強調表示することで辞書作成をサポートする表示方法が可能な帳票識別手法及び装置を提供することを目的とする。
【課題を解決するための手段】
【０００９】
本発明は、上記目的を達成するため、画像撮像部と処理部と記憶部と表示部とを備え、画像撮像部は帳票を撮像することによって、当該帳票の画像データを取得し、処理部は、記憶部に蓄えられた辞書を元に帳票画像の種類を識別し、当該帳票識別の結果を表示する表示データを表示部に提示する構成とする。
本発明においては、帳票種の大まかな絞込みを、帳票画像の全体を特徴ベクトル化して辞書との間で距離計算を行う帳票画像ベクトル照合で行い、かつ類似した帳票間の識別をロゴマーク類を用いて認識する際には、帳票から特徴点を抽出し、特徴点近傍の部分画像情報から構成したベクトルとの距離計算を行う帳票特徴点ベクトル照合を行う。その際、ロゴマーク類が存在しないことを一つの特徴として扱うために、帳票特徴点ベクトルとして２つのカテゴリ、独立特徴点と従属特徴点とを設けて，これを判別する。更に、差異のあるロゴマーク箇所を強調表示して辞書作成時の補助を行う帳票識別装置とそのプログラムを提供する。
【発明の効果】
【００１０】
本発明により、帳票画像間でずれが存在する場合にも、帳票特徴点ベクトル照合を用いて、位置ずれを吸収して照合し、帳票上にあるロゴマーク類の差異などの微細な構造の違いを強調して判別する処理が可能となるため、帳票の振分け処理の効率化が見込める。更には、帳票識別の辞書を作成する処理において、ロゴマークの位置を自動的に抽出して、差異のあるロゴマーク箇所を強調表示するあるいはマスクをかけて表示する等の処理を行うことで、辞書作成の効率化が見込める。
【００１１】
また、本発明により、帳票画像間でずれが存在する場合にも、帳票特徴点ベクトル照合を用いて、位置ずれを吸収して帳票ロゴマーク類の位置を特定し、入力帳票と辞書帳票の間の距離を計算することにより、微細な違いを持つ類似帳票間の識別が可能となる。更に帳票辞書の学習時には、類似帳票間で差異のある個所を帳票ロゴマーク類の領域と推定して、これを強調表示する等により、帳票識別辞書の作成処理の効率化が見込る。
【発明を実施するための最良の形態】
【００１２】
以下、本発明の実施の形態を図面を参照して説明する。
【００１３】
初めに、本実施例の前提とするハードウェア構成について述べる。図１は、帳票読取装置の一実施例を示すハードウェア構成図である。高速帳票読取装置では、画像撮像部である画像撮像装置０１０１により紙文書を電子データに変換し、それを記憶部である外部記憶装置０１０５及びメモリ０１０６に蓄えて、中央処理部（ＣＰＵ）である中央演算装置０１０７により読取を行う。本実施例に係わる帳票識別・表示プログラムは、外部記憶装置０１０５またはメモリ０１０６に蓄えられているか、場合によっては、通信装置０１０９を介して帳票読取装置に導入されこれら記憶部に記憶される。この帳票識別・表示プログラムは、撮像された電子データ画像に対して、中央演算装置０１０７が帳票識別処理や、識別結果の表示制御を行う。帳票の種類を特定する場合は、記憶部である外部記憶装置０１０５またはメモリ０１０６に蓄えられた帳票辞書を参照し、帳票種類を判別する。これらの処理は、操作端末装置０１０２を通して操作者である人間が操作可能であり、処理結果は表示端末装置０１０３を通して表示される。処理結果などの情報は、必要に応じて外部記憶装置０１０５に蓄積または通信装置０１０９を通して外部装置にデータとして送信される。上記装置群は内部バス０１０８によって繋がっている。帳票識別結果を反映して、入力された伝票類はソータ装置０１０４によって、定義された箱に分配・集積される。言い換えるなら、画像撮像装置０１０１とソータ装置０１０４を除けば、通常のパーソナルコンピュータ（ＰＣ）などのコンピュータシステムで構成されうる。なお通常のＰＣにおいては、表示制御用のチップをＣＰＵとは別に有している場合もあるが、本実施例においても、グラフィックボードを別構成とし、表示制御を分担しても良いことは言うまでもなく、どちらの構成であっても、帳票識別と表示用のプログラムを実行する構成を処理部と呼ぶことがある。
【００１４】
図２は、帳票辞書の学習から、それを用いた識別に至るまでの一連の処理の流れを示す。帳票識別モジュールは学習モジュールと識別モジュールの２つからなる。更に学習モジュールは大きく３つの処理フェーズから構成される。学習モジュールのフェーズ１では、帳票の基本識別に使う大局的な特徴点の位置（特徴領域選択情報）を求める。フェーズ２では、各帳票種について、フェーズ１で求めた特徴点を使って特徴ベクトルを計算し、各帳票種の帳票画像ベクトル辞書を作る。フェーズ３では、細かな所だけが違う類似帳票同士をロゴマーク類を使って識別するために、特徴点ベクトル辞書を作成する。識別モジュールでは、帳票が正立・倒立で入力されることを考慮して、入力画像から複数の帳票画像ベクトル生成して、帳票画像ベクトル辞書と照合することにより帳票種を大まかに識別する。更に、上位帳票種候補の識別類似度が互いに近いレベルにある場合は、当該識別結果に類似帳票のあいまい性が含むと判断して、ロゴマーク等を利用した帳票の詳細識別を行う。以下、各プロセスについて概要を述べる。また、ロゴマーク類を用いた帳票識別における学習時のメイン処理は０２０９であるが、これについては図３から図６の説明で詳細に述べる。
【００１５】
帳票識別の学習モジュールには、学習用の帳票画像群０２０１が与えられる。学習用データとしては（帳票画像、当該帳票画像の種別）をペアとする情報が最低限与えられる。他に、帳票タイトル名や帳票ロゴマーク類の位置座標などを加えることができる。次に学習用として与えられた帳票画像を、中央演算装置０１０７が処理して行く。まず、帳票画像正規化０２０２を行う。帳票画像正規化とは、入力された二値画像の傾きと原点を正規化する処理である。初めに、入力された二値画像をラン走査により解析し、紙片部分の外輪郭と思われる境界線を求める。求めた４つの境界線の交点から、紙四隅の点座標ｃ１〜ｃ４（左上の点から時計回りに廻る点とする）が計算できる。次に、算出した四隅座標から画像の原点・傾きを補正した画像を作成する。画像補正では、画像の傾きを無くし、紙四隅の左上点と基準点に移動することで補正画像を作成する。基準点を（ｌｘ、ｌｙ）とし、紙四隅の左上点（ｃ１ｘ、ｃ１ｙ）をこれに合致させる補正を行った場合、補正画像は式１により生成される。
【００１６】
【数１】
【００１７】
但し、θは紙領域の回転角度を表す。
【００１８】
次に特徴領域を選択する。特徴領域を選択する方法としては、桝目特徴方式と差分マップ方式の２つがある。
【００１９】
Ａ）桝目特徴方式
桝目特徴方式とは、帳票全体を桝目上に区切って特徴ベクトルを抽出する方式である。
【００２０】
Ｂ）差分マップ方式
差分マップ方式の説明では補正後の画像をＩ（ｘ、ｙ）で表すとする。初めに帳票種毎にカテゴリ平均画像を作成する。カテゴリ平均画像は、カテゴリｉのｋ番目の画像をＩｉｋ（ｘ、ｙ）とした場合、式２から求められる。
【００２１】
【数２】
【００２２】
次に、このカテゴリ平均画像 を元に、差分マップ画像Ｉｍａｐ（ｘ、ｙ）を式３により計算する。
【００２３】
【数３】
【００２４】
式３の処理は、全ての異なるカテゴリの組合せに対し、２つのカテゴリ平均画像間の差の絶対値を重ね合わせて、平均値を取るという処理に該当する。つまり、差分マップの画素値が大きい箇所とは、画像の差異が大きい箇所である。差分マップ画像は画像間で差異のある箇所を検出するのに有効な手法であるが、カテゴリ数の二乗に比例する計算時間が掛かるため、多種帳票の分類には不向きである。予備実験の結果では、二値画像を入力とする帳票識別においては平均画像でも差分マップと同様の効果が出せる。平均マップ画像Ｉｍａｐ（ｘ、ｙ）は式４により計算される。
【００２５】
【数４】
【００２６】
すなわち、式４は全帳票カテゴリの平均画像を作成する処理である。
画像ベクトルの特徴抽出領域として平均マップ画像が小さな値を持つ箇所（黒っぽい所）を選択すれば、帳票の特徴を表すプレ印刷領域を選択することとなり、識別がより行い易くなると考えられる。そこで、特徴点の優先度Ｐｒｉｏ（ｘ、ｙ）を、平均マップの部分平均値と定義し、式５に従って計算する。
【００２７】
【数５】
【００２８】
式中のＲは部分平均化のサイズを表す。すなわち、座標(x, y)を中心とする（２Ｒｘ＋１）×（２Ｒｙ＋１）の矩形領域内の平均マップの平均値を求める。この特徴点優先度の高い方から順に、指定されたＮ個の箇所を特徴領域（特徴点）として選択する。特徴領域は、互いの小矩形が重ならないように選択する。
【００２９】
２つの方式には、それぞれメリット・デメリットがある。差分マップ方式では選択的に特徴領域を選ぶため、次元数を抑えた識別器が構成できる。そのため高速な処理が可能となる。一方で、コピー帳票等に見られるような記載領域の位置ずれが起きた場合、ある閾値以上で識別尤度が急に落ちるという現象が起こる。一方、桝目特徴を用いた場合、次元数が増えるため識別速度が遅くなるが、位置ずれに対する識別尤度の変化は抑えることができる。
【００３０】
以上の処理により、特徴領域選択情報０２０４が得られる。特徴領域選択情報には、帳票から画像ベクトルを構成する際のサンプリング点の位置と、サンプリングする時の微小エリアのサイズ、及び対応する帳票種という情報が含まれる。
【００３１】
次に、特徴領域選択情報０２０４を使って帳票画像ベクトル辞書０２０７を作成する。先ほどと同様に帳票画像に対して帳票画像正規化０２０２を行い、次に特徴領域選択情報０２０４を使って、各帳票画像から画像特徴ベクトルを計算する。主な画像特徴ベクトルの計算方法としては、画像濃度特徴と輪郭濃度特徴の２つがある。
Ａ）画像濃度特徴ベクトル
特徴ベクトルの値を、選ばれた特徴点を中心とする（２Ｒｘ＋１）×（２Ｒｙ＋１）サイズの矩形（特徴領域）内における平均画素値とする方法である。平均マップから得られた特徴点群を（ｘｄ、ｙｄ）とすると、特徴ベクトル（ｖ１、・・・、ｖＤ）は式６に従って計算される。
【００３２】
【数６】
【００３３】
特徴ベクトルの計算を摂動を加えて行う場合、例えば３×３の範囲で摂動を行うならば、各特徴点の位置自身を含む８近傍内で動かし、画像特徴ベクトルを９つ抽出する。
Ｂ）輪郭濃度特徴ベクトル
単純に画像濃度を取るだけでは、塗り潰し領域やバーコードが存在する帳票において識別精度が低下する問題が起こる。この場合、濃度を取る場合に全ての画像を使うのではなく、輪郭点（白画素と隣接する黒画素）のみを考慮することで、これに対処できる。輪郭からの特徴ベクトル計算は式７のように定式化できる。
【００３４】
【数７】
【００３５】
他にも画像ベクトルの計算方法として、輪郭線の方向成分毎に画像を分ける方向特徴ベクトルがある。以上の処理により、各帳票学習サンプルに対する画像特徴ベクトルが得られる。画像特徴ベクトルと、対応する帳票種をペアで持つのが帳票画像ベクトル辞書０２０７である。
続いて、類似した帳票をロゴマーク等により識別するための辞書作成を行う。まず、学習用の帳票画像に対して帳票画像正規化０２０２を行う。次に、帳票画像ベクトル辞書を用いて、各学習画像に対して帳票識別を行う。この時、画像ベクトル辞書との距離計算で出てくる尺度を元に、帳票間の類似性を判定する（０２０８）。画像ベクトル辞書との距離計算については後述する。更に類似した帳票については、それを区別するための帳票ロゴマーク類と思われる位置を自動計算し、更に局所的な画像の特徴を表す特徴点ベクトルの学習を行う（０２０９）。この処理については、図３から図６の説明で述べる。特徴点ベクトル学習０２０９の結果として、帳票特徴点ベクトル辞書０２１０が得られる。帳票特徴点ベクトル辞書には、帳票種、各帳票種に対する特徴点の数、特徴点の位置、特徴点に対応する局所的画像ベクトルが格納される。
【００３６】
以上により、帳票画像ベクトル辞書０２０７と帳票特徴点ベクトル辞書０２１０の２つの辞書が得られることになる。帳票識別は、これら学習処理で作成した辞書を元に行われる。その流れは、学習の処理過程と大部分が共通する。初めに、識別対象である帳票画像（０２１１）に対して帳票画像正規化（０２０２）を行い、補正画像から特徴ベクトルを抽出し、帳票画像ベクトル辞書との間で距離計算を行う（０２１２）。識別時の画像正規化では、帳票が正立・倒立で入力されることを考慮して、長方形の場合は上下回転させた２通り、正方形の場合は90度ずつ回転させた４通りを行う。実際には画像を回転するのではなく、特徴ベクトル抽出時に画像の座標を変換して行う。また、帳票のサイズが不揃いであると特徴ベクトルの領域が帳票外に食み出す可能性もあるため、事前に帳票サイズ毎に特徴領域辞書を振分ける処理を行う。帳票サイズとしてＡ３〜７判、Ｂ３〜７判の用紙サイズを想定し、識別時には面積が最も近いものに帳票サイズのカテゴリを決め、その識別辞書を使用する。更に、距離計算の結果に、上位候補の類似度が近接している場合は、当該帳票種に類似帳票種が存在すると仮定されるため、帳票のロゴマーク類を使った詳細識別を行う。詳細識別では帳票特徴点ベクトル照合による距離計算（０２１３）を行う。
帳票画像ベクトルを使う場合の距離計算方法としては、主にユークリッド距離と適応型マスク距離の２つがある。ユークリッド距離の計算方式は式８に、適応型マスク距離の計算方式は式９に示される。
【００３７】
【数８】
【００３８】
【数９】
【００３９】
単純なユークリッド距離では、画像全体の濃度変化に対して弱いため、最大値・最小値による正規化処理を行うことがある。式９は適応型マスク距離である。適応型マスク距離は、ある特徴領域で、辞書の平均画素値が白く、入力の平均画素値が黒ければ、距離計算上無視をする、という計算を行う。帳票に押印される発行印は、通常、帳票の背景色よりも黒く撮像される。また、切取った部分は背景色である黒色になる。そのため、帳票上の切取・押印エリアがある特徴領域と重なる場合、特徴ベクトル中の当該要素は通常より小さな値（黒色）を持つこととなり、辞書とのずれが生じる。そこで、「ある領域で辞書画像が白い」の判定は画素値 が白閾値 を上回ること、「ある領域で入力画像が黒い」の判定は画素値 が黒閾値 を下回ることと判定すれば、切取・押印が距離計算に与える悪影響を除くことができる。
【００４０】
以上が、学習から識別までの処理の概要になる。次に、帳票ロゴマーク類を識別するための学習プロセス０２０９について詳述する。
【００４１】
図３は、学習過程の詳細なフローになる。この図の説明の前に、図４、図５、図６により、帳票ロゴマーク類による帳票識別の方法論を示す。
【００４２】
図４は帳票特徴点ベクトルを使った帳票識別のコンセプトを表している。帳票特徴点ベクトル辞書０４０１には、識別対象とする帳票種｛Ａ、・・・、Ｚ｝のそれぞれに対応する帳票特徴点ベクトル情報０４０２が格納される。図中のバッテン印が１つの帳票特徴点ベクトルを表す。入力帳票の帳票種を識別する場合は、入力帳票上で帳票特徴点ベクトル情報０４０３を計算し、辞書の各帳票特徴点ベクトル情報との照合を行う。それぞれの照合結果が０４０４から０４０５に示されている。帳票特徴点ベクトル照合とは、辞書帳票上の帳票特徴点ベクトルについて、それと最も似ている入力帳票上の帳票特徴点ベクトルを計算することを意味する。計算結果である帳票特徴点ベクトル間の対応関係が０４０６に示されている。この場合、辞書帳票Ａに対する照合が、対応する特徴点ベクトル間の平均距離が短く、多くの特徴点が照合しているため、最も良く照合すると判断される。すなわち、入力帳票の帳票種はＡと判断される。
【００４３】
図５は帳票特徴点ベクトルの照合イメージを詳細に表している。帳票０５０１上に仮に模様０５０２が書かれていたとする。このとき、抽出された特徴点はバッテン印で示されている。特徴点０５０３に対応するベクトルが０５０４である。このベクトルは、対応する特徴点の近傍にある帳票画像情報を反映している。帳票上で計算された特徴点と、その近傍領域から得られたベクトルとを組み合せたペアを帳票特徴点ベクトルと称する。各帳票種について抽出された帳票特徴点ベクトル群が辞書に登録される（図５−ａ）。入力帳票を識別する場合は、入力帳票０５０５から同様に帳票特徴点ベクトルを抽出する。入力帳票上から得られた帳票特徴点ベクトルの例が０５０７、０５０８である。この図の例では、入力帳票で記載位置のずれが起きたため、特徴点ベクトルの位置がずれている。ここで、辞書帳票上の帳票特徴点ベクトル０５０６に対応する入力帳票上の点はどれであるかを計算したいとする。この場合、帳票特徴点ベクトル０５０６に位置的に近いのは０５０７であるが、そのベクトルの値を見比べると０５０８の方が似ていることが分かる。従って、帳票特徴点ベクトルの対応関係は０５０９のように定まる。
【００４４】
この対応関係の計算プロセスを定式化すると次のようになる。特徴点と、その近傍画像から得たベクトルのペアを（ｐ、ｖ）で表す。これを特徴点ベクトルと称する。ある帳票の学習サンプルから得た特徴点ベクトルを
【００４５】
【数１０】
【００４６】
とする。 また入力帳票から得られた特徴点ベクトルを
【００４７】
【数１１】
【００４８】
とする。このとき、辞書帳票のｉ番目の特徴点ベクトルに最適に対応する、入力帳票上の特徴点ベクトルの番号ｊ＊を、次のように計算する。
【００４９】
【数１２】
【００５０】
このとき、辞書のｉ番目の特徴点ベクトルと、それに最適に対応する点ｊ＊との距離（コスト）を、
【００５１】
【数１３】
【００５２】
とすると、帳票間の距離は
【００５３】
【数１４】
【００５４】
で定義できる。更に、この時の対応関係によって位置ずれ、サイズ伸縮、回転を表すアフィン変換量を計算し、点を仮想的に移動した上で、再度この対応付けを行う。これにより、対応点の存在する特徴点、対応点の存在しない特徴点が明確に分かる。
【００５５】
アフィン変換の種類として、回転、シフト、伸縮（かつ、ＸＹで等倍）というものを考えるならば、２点の対応関係を選ぶだけで足りる。この性質を利用して計算量の削減を図ることができる。つまり、点｛ｘ１、ｐｘ２｝が辞書帳票から得られた特徴点、点｛ｐ１、ｐ２｝が入力帳票から得られた特徴点で、ベクトル値によりお互いに対応関係にあることが推定できているとする。このとき点ｘ１を基準点として、点ｘ２の座標を伸縮、回転して、ベクトルｘ２−ｘ１がベクトルｐ２−ｐ１と一致するようにした上で、点ｘ１を点ｐ１へと移動する作業を行うという変換が対応関係を表すアフィン変換であるとする。従って、アフィン変換量の計算は次の式から導かれる。まず、アフィン変換を
【００５６】
【数１５】
【００５７】
とモデル化する。このとき、
【００５８】
【数１６】
【００５９】
と置くならば、伸縮、回転、移動の各アフィン変換量は次のように求まる。すなわち、伸縮量は、
【００６０】
【数１７】
【００６１】
と表される。回転量は
【００６２】
【数１８】
【００６３】
と表される。まら、移動量は
【００６４】
【数１９】
【００６５】
と導かれる。
【００６６】
図６は特徴点の計算例である。特徴点計算の方法としては、罫線の交点、帳票枠の中心座標、連結成分の中心座標、連結成分の四隅座標などが考えられる。但し、罫線の中心座標や帳票枠の中心座標は対象とするロゴマーク類が線分から構成されることを前提とするため、適用範囲が狭い。連結成分の中心座標や四隅座標は罫線以外のロゴマーク類に適用し得るが、白抜き文字などの装飾文字については特徴点が得られないことがある。また、画像が擦れることで分離する、あるいは撮像条件により密な画像要素がくっついた場合には、特徴点の出現位置が大きく変動する。そのため、ロゴマーク類の識別では、輪郭文字の屈曲点を基本的な特徴点として用いる。
【００６７】
図３は、学習過程の詳細を示す。まず、ここでは学習用に入力された帳票の中で、類似したパタン群が入力される。例えば、帳票画像｛Ａ、Ｂ、・・・、Ｚ｝が学習用として入力され、帳票学習の過程において、｛Ａ、Ｚ｝が類似すると機械が自動的に判断した場合、当該類似リスト｛Ａ、Ｚ｝が入力される（０３０１）。次に、入力の帳票画像のそれぞれから特徴点を抽出する（０３０２）。続いて、抽出した特徴点について、類似リスト中の別の帳票ペアとの特徴点ベクトル照合を行う。特徴点ベクトル照合の詳細は式１０から式１４で述べた通りである。特徴点ベクトル照合の結果、対応が付く特徴点を対応が付かない特徴点が判明する（０３０４）。対応が付かない特徴点という判断は、大勢の特徴点から計算されるアフィン変換を施して特徴点を擬似的に移動した後に、更にその近傍範囲ＴＲ内に特徴ベクトル値との距離が指定距離値ＴＤ以内である対応点が存在するか否かで決定できる。このとき、相手帳票において、対応点が存在しないと判断した特徴点を従属点候補とする。その基準は、
・帳票１で抽出された特徴点は、独立特徴点候補とし、その近傍内で帳票２と照合しない特徴点ほど、独自の特徴点とする。
・帳票２で抽出された特徴点で、帳票１の近傍に他の特徴点が存在しない場合は、従属特徴点とする。
という条件で定まる。
【００６８】
従属特徴点を考える理由は、ロゴが存在しないことも、一つの特徴とするためである。すなわち、自身に無い特徴で、類似したほかの帳票にある特徴点は、従属特徴点として、自身の特徴点候補に加えることにする（０３０７）。更に、従属特徴点は、その周辺にある独立特徴点とリンク付けられる（０３０８）。リンクは、従属特徴点の周辺範囲ＴＤ２にある特徴点群に対して従属するとする。
【００６９】
従属特徴点の位置決めは、その上位にある独立特徴点から行う。独立特徴点群からアフィン変換を使って点照合を行い、そのアフィン変換値をそのまま従属特徴点のアフィン計算量とする。これにより、位置ずれなどで従属特徴点が移動しても、周辺の独立特徴点が変わらずに存在するならば、従属特徴点の有無、すなわち、ロゴにない特徴によるロゴ識別が可能となる。独立点については、当該点が独立点である旨を属性とする（０３０６）。
【００７０】
以上により属性が付けられた特徴点について、その点の近傍画像から特徴ベクトルを作る（０３０９）。特徴点の座標と、近傍画像から得られた特徴ベクトルのペアを特徴点ベクトルと言う。この抽出した特徴点ベクトルと、その属性（独立、従属）、更に当該特徴点の近傍の独立特徴点ベクトル、および帳票のカテゴリが組み合わさって、帳票識別のロゴ辞書を構成する。これを出力して、帳票ロゴマーク類の学習プロセスが終わる。
【００７１】
図７は、類似する帳票画像を重ね合わせて表示した例である。差異のある個所を色によって強調して表示している。ユーザが、差異箇所を指定することで、その中において、特徴点の独立・従属を計算し、辞書に登録することも可能である。帳票識別結果を表示端末装置に提示する過程は次のようになる。入力される情報としては、入力帳票画像と、帳票識別結果がある。帳票識別結果には、認識した帳票種類、その識別尤度、回転方向、ずれ度合いが最低含まれるとする。まず、帳票識別結果に含まれるずれ度合いが閾値を超えるか、または、識別尤度が閾値を超えるかした場合、入力帳票画像と辞書帳票画像の間でずれがあると判断し、画像を適切に重ね合わせるための計算を行う。まず入力帳票画像、及び辞書帳票画像から特徴点ベクトルをランダムに抽出する。次に特徴点ベクトルの照合を行い、入力帳票画像と辞書帳票画像を最適に重ね合わせるためのパラメータ計算（ずれ量、回転量、伸縮量の計算）を行う。以上の結果を元に、重ね合わせ表示に用いる辞書帳票画像の作成を行う。例えば回転があれば、辞書帳票画像に対して回転を掛けた場合の画像を計算する。最初にずれがないと判断された場合は、上記の特徴点計算の過程を省くことができる。辞書帳票画像の計算が終わった後に、入力帳票画像と辞書帳票画像を、どのように表示するかの計算を行う。計算された画像をディスプレイ上に表示し、本処理を終える。
【産業上の利用可能性】
【００７２】
本発明は、紙の帳票又を処理する帳票読取システムに適用できる。
【図面の簡単な説明】
【００７３】
【図１】帳票識別装置の標準的なハード構成図である。
【図２】帳票識別処理の学習から識別に至る全体処理構成図である。
【図３】帳票ロゴマーク類識別処理の学習時の詳細フローである。
【図４】帳票ロゴマーク類識別のコンセプト図である。
【図５】帳票特徴点ベクトル照合のコンセプト図である。
【図６】帳票画像からの特徴点の抽出例である。
【図７】帳票識別処理の学習時の帳票ロゴマーク類の表示例である。
【符号の説明】
【００７４】
０１０１ 高速帳票読取装置を構成する画像撮像装置
０１０２ 高速帳票読取装置を構成する操作端末装置
０１０３ 高速帳票読取装置を構成する表示端末装置
０１０４ 高速帳票読取装置を構成するソータ装置
０１０５ 高速帳票読取装置を構成する外部記憶装置
０１０６ 高速帳票読取装置を構成するメモリ
０１０７ 高速帳票読取装置を構成する中央演算装置
０１０８ 高速帳票読取装置を構成する内部バス
０１０９ 高速帳票読取装置を構成する通信装置
０３０１ 帳票学習処理の入力データ
０３０２ 帳票学習処理の特徴点抽出
０３０３ 帳票学習処理の特徴点照合
０３０４ 帳票学習処理の特徴点差分判定
０３０５ 帳票学習処理の独立・従属判定
０３０６ 帳票学習処理の独立点属性付け
０３０７ 帳票学習処理の従属点追加・属性付け
０３０８ 帳票学習処理の周辺独立点リンク付け
０３０９ 帳票学習処理の特徴点ベクトル計算
０４０１ 特徴点ベクトル辞書
０４０２ 各帳票種の特徴点ベクトル情報
０４０３ 入力帳票から得られた特徴点ベクトル情報
０４０４ 辞書との照合結果１
０４０５ 辞書との照合結果２
０４０６ 特徴点の対応関係。
【特許請求の範囲】
【請求項１】
帳票の画像を撮像して識別を行う帳票識別装置であって、帳票画像上から特徴点を計算し、特徴点とその近傍にある部分画像から得られたベクトルとの組合せを帳票特徴点ベクトルとして、帳票上に描かれたロゴマーク類によって類似帳票間を識別する手段を有する帳票識別装置。
【請求項２】
請求項１記載の帳票識別装置であって、前記処理部は、帳票識別辞書の作成時に類似帳票の計算を行い、類似帳票間で特徴量の存在しない領域を検知し、特徴量の存在しない領域における仮想特徴点を従属特徴点として登録する機能を有する帳票識別装置。
【請求項３】
請求項１記載の帳票識別装置であって、前記処理部は、帳票画像の輪郭線の屈曲点を特徴点として抽出するよう計算する帳票識別装置。
【請求項４】
請求項１記載の帳票識別装置であって、前記処理部は、帳票識別辞書の作成時に類似帳票の計算を行い、類似帳票間で差異のある箇所を帳票ロゴマーク類が存在するものと推定して、辞書帳票画像を重ね合わせて表示する際、前記入力帳票画像のロゴマーク類存在エリアを強調して表示するよう制御する帳票識別装置。
【請求項５】
複数の見本帳票画像の特徴量を記述した帳票識別特徴辞書を記憶する記憶部と、入力帳票を読取った入力帳票画像を処理する処理部とを含む帳票識別装置に用いる帳票識別プログラムであって、前記処理部を、前記入力帳票画像と、前記複数の見本帳票画像のいずれと符合するかを識別する識別ステップと、前記識別ステップによって得られた識別結果を表示する際、前記入力帳票画像と、最も一致した特徴量を有する前記見本帳票画像を重ね合わせて表示するよう制御する表示制御ステップとを実行するよう制御する帳票識別プログラム。
【請求項１】
帳票の画像を撮像して識別を行う帳票識別装置であって、帳票画像上から特徴点を計算し、特徴点とその近傍にある部分画像から得られたベクトルとの組合せを帳票特徴点ベクトルとして、帳票上に描かれたロゴマーク類によって類似帳票間を識別する手段を有する帳票識別装置。
【請求項２】
請求項１記載の帳票識別装置であって、前記処理部は、帳票識別辞書の作成時に類似帳票の計算を行い、類似帳票間で特徴量の存在しない領域を検知し、特徴量の存在しない領域における仮想特徴点を従属特徴点として登録する機能を有する帳票識別装置。
【請求項３】
請求項１記載の帳票識別装置であって、前記処理部は、帳票画像の輪郭線の屈曲点を特徴点として抽出するよう計算する帳票識別装置。
【請求項４】
請求項１記載の帳票識別装置であって、前記処理部は、帳票識別辞書の作成時に類似帳票の計算を行い、類似帳票間で差異のある箇所を帳票ロゴマーク類が存在するものと推定して、辞書帳票画像を重ね合わせて表示する際、前記入力帳票画像のロゴマーク類存在エリアを強調して表示するよう制御する帳票識別装置。
【請求項５】
複数の見本帳票画像の特徴量を記述した帳票識別特徴辞書を記憶する記憶部と、入力帳票を読取った入力帳票画像を処理する処理部とを含む帳票識別装置に用いる帳票識別プログラムであって、前記処理部を、前記入力帳票画像と、前記複数の見本帳票画像のいずれと符合するかを識別する識別ステップと、前記識別ステップによって得られた識別結果を表示する際、前記入力帳票画像と、最も一致した特徴量を有する前記見本帳票画像を重ね合わせて表示するよう制御する表示制御ステップとを実行するよう制御する帳票識別プログラム。
【図１】
【図２】
【図３】
【図４】
【図５】
【図６】
【図７】
【図２】
【図３】
【図４】
【図５】
【図６】
【図７】
【公開番号】特開２００９−２５８５６（Ｐ２００９−２５８５６Ａ）
【公開日】平成２１年２月５日（２００９．２．５）
【国際特許分類】
【出願番号】特願２００７−１８５２１２（Ｐ２００７−１８５２１２）
【出願日】平成１９年７月１７日（２００７．７．１７）
【出願人】（０００２３３０３３）日立コンピュータ機器株式会社 (253)
【Ｆターム（参考）】
【公開日】平成２１年２月５日（２００９．２．５）
【国際特許分類】
【出願日】平成１９年７月１７日（２００７．７．１７）
【出願人】（０００２３３０３３）日立コンピュータ機器株式会社 (253)
【Ｆターム（参考）】
[ Back to top ]