文字認識装置
【課題】マットから帳票が浮き上がった状態で画像取得した場合に、帳票の歪みの少ない部分については、文字認識を行うようにするのが効率的である。
【解決手段】帳票の画像を取得して、当該画像上の帳票部分の外形の歪みに応じて文字認識を行う文字認識装置であって、前記帳票部分の外形の歪み特徴を抽出する歪み特徴抽出部と、歪みパターンを帳票の部分ごとの歪みの大小に応じて分類した帳票歪み特徴ＤＢと、前記抽出した帳票部分の歪み特徴を元に該当する歪みパターンを選択する歪み識別部と、選択された歪みパターンに応じて文字認識を行う文字認識部を備えた。
【解決手段】帳票の画像を取得して、当該画像上の帳票部分の外形の歪みに応じて文字認識を行う文字認識装置であって、前記帳票部分の外形の歪み特徴を抽出する歪み特徴抽出部と、歪みパターンを帳票の部分ごとの歪みの大小に応じて分類した帳票歪み特徴ＤＢと、前記抽出した帳票部分の歪み特徴を元に該当する歪みパターンを選択する歪み識別部と、選択された歪みパターンに応じて文字認識を行う文字認識部を備えた。
【発明の詳細な説明】
【技術分野】
【０００１】
本発明は、帳票をマットにセットし、上部からセンサ部でイメージを読み取る非接触スキャナ装置を用いた帳票画像の歪みを判別して文字認識を行う文字認識装置に関するものである。
【背景技術】
【０００２】
現在、金融営業店の窓口業務等にて、顧客が持ち込んだ帳票や本人確認書類等の種々の用紙の画像を取得するための、非接触型スキャナが用いられている。非接触型スキャナは、帳票を置くマット部の上方に設置されたカメラによって、帳票の画像を取得する形式のスキャナである。金融営業店の窓口業務においては、非接触型スキャナは、金融営業店窓口の窓口端末に接続され、画像取得の制御が行われる。非接触型スキャナは、フラットベッド型スキャナやシートフィード型スキャナに比べ、画像取得のための操作が簡便で所要時間が短い等の特徴を持っている。（例えば非特許文献１）
窓口にて取得された帳票の画像に対しては、光学的文字認識装置によって所定の文字認識処理が行われ、記入内容がデータ化され、金融取引に利用される。
以下に本発明の従来技術について説明する。
【０００３】
＜従来のシステム構成＞
従来のシステムの概観を図６に示す。
従来のシステムは、非接触スキャナ装置１０１、光学式文字認識装置１０２、ＷＳ１０３から構成され、ＷＳ１０３はキーボード等の入力手段とＣＲＴ等の表示手段を備える。
図６において、非接触スキャナ装置１０１は上から見た図を示している。非接触スキャナ装置１０１、光学式文字認識装置１０２、については後述する。
ＷＳ１０３はシステム全体を制御するための端末であり、図示しないメモリやＣＲＴ等の表示部やキーボードマウス等の操作部を備えた、一般的なＰＣ等が使用される。
なお、ここでは光学式文字認識装置１０２はハードウェアによって実現するものとして説明するが、ＷＳ１０３内に設けたソフトウェアであってもよい。
【０００４】
＜非接触スキャナ装置の構成＞
非接触スキャナ装置１０１の構成は、図７に示すように、制御部１０１ｃ、マット部１０１ａ、画像取得部１０１ｂから構成される。
制御部１０１ｃは、非接触スキャナ装置１０１全体の制御手段、光学式文字認識装置１０２との通信手段を有する。
マット部１０１ａは、画像を取得する帳票を設置するための置き台である。マット部１０１ａは図６においては網掛けで表現しているが、黒色等、画像上で帳票と容易に区別ができる色の材質が用いられる。これにより、取得した帳票画像はマット部が背景となるため、黒い背景色に対し、帳票が浮き上がって見えるような状態となる。このため、容易に帳票の辺を検出することが可能となる。
画像取得部１０１ｂは、マット部１０１ａ上の帳票を撮影し画像データに変換する機能を有する、ＣＣＤやＣ−ＭＯＳ等を利用したカメラである。
【０００５】
＜光学式文字認識装置の構成＞
光学式文字認識装置は、取得した帳票の画像から、帳票の種類を特定し、さらに当該帳票の文字認識すべき領域を特定し、文字認識を行う。
光学式文字認識装置１０２の構成は、図８に示すように、制御部１０２ａ、画像メモリ１０２ｂ、帳票角検出部１０２ｃ、フォーマット作成部１０２ｄ、フォーマット読取部１０２ｅ、文字領域補正部１０２ｆ、文字認識部１０２ｇから構成される。また非接触スキャナ装置１０１およびＷＳ１０３との図示しない通信手段を有する。
【０００６】
光学式文字認識装置１０２の制御部１０２ａは、光学文字認識装置１０２全体の制御を行う。
画像メモリ１０２ｂは、帳票画像データを保持する手段を有する。各処理部は、適宜画像メモリ１０２ｂを参照することにより、帳票画像を参照することができる。
帳票角検出部１０２ｃは、画像から帳票角を検出する手段を有する。帳票の角の検出は、例えば画像を走査して、画素の濃度の違いにより背景と帳票部分との境目すなわち帳票辺を検出する。得られた帳票辺となる画素を追跡して、ＸまたはＹ座標の変化量の正負が反転するか、変化が開始される場所を角と判断することができる。または、各帳票辺から任意に複数の点を選択し、ハフ変換等既知の技術を用いることにより各帳票辺ごとに直線または曲線に近似し、それらの交点を角として選択することもできる。
フォーマット作成部１０２ｄは、文字領域座標等の文字認識に必要なフォーマットを作成する手段を有する。フォーマット作成部１０２ｄについては後述する。
フォーマット読取部１０２ｅは、他の処理部に対してフォーマットの内容を読取る機能を提供する。
文字領域補正部１０２ｆは、フォーマットから文字領域座標を補正する手段を有する。文字領域補正部１０２ｆについては後述する。
文字認識部１０２ｇは、図示しない文字認識辞書とのパターンマッチングにより、文字を認識する機能を提供する。
【０００７】
＜フォーマット作成部＞
フォーマット作成部１０２ｄの構成は、図９に示すように、制御部１０２ｄ１、フォーマット保存部１０２ｄ２、文字領域座標設定部１０２ｄ３で構成される。また、他の処理部との図示しない通信処理部を有する。
【０００８】
フォーマット作成部の制御部１０２ｄ１は、フォーマット作成部１０２ｄ全体の制御を行う。
フォーマット保存部１０２ｄ２は、文字領域座標等の文字認識に必要なフォーマットを図示しないフォーマット記憶部に保存する機能を提供する。なお、以下フォーマットの取得は、フォーマット記憶部から行うものとする。
前記フォーマットには、各帳票の識別情報とともに、各文字領域ごとに帳票の基準となる角（例えば左上）からの相対座標が格納されている。文字認識部は、この情報を元に、帳票画像上の文字領域を特定し、記入されている文字を認識する。
文字領域座標設定部１０２ｄ３は、フォーマット作成するオペレータの入力操作を受けて、上記の座標の他、文字認識に使用する辞書の種類等、必要な情報をフォーマットとして登録する。ここでは、オペレータはＷＳ１０３を介してフォーマット作成部にデータを入力するものとする。
【０００９】
＜文字領域補正部＞
文字領域補正部１０２ｆの構成は、図１０に示すように、制御部１０２ｆ１、文字領域位置補正部１０２ｆ２で構成される。また、他の処理部との図示しない通信処理部を有する。
文字領域補正部１０２ｆの制御部１０２ｆ１は、文字領域補正部１０２ｆ全体の制御を行う。
【００１０】
文字領域位置補正部１０２ｆ２は、左上の角の座標から文字領域を補正する。なお、ここでは左上としたが、前記相対座標の基準となる角を左上としているためであり、例えば右上等、他のすべての角を基準とすることが可能である。
【００１１】
＜動作＞
（ａ）フォーマット登録時
図１１（ａ）は、非接触スキャナを用いた光学式文字認識システムにおける登録時のフローチャートである。まず、画像取得部１０１ｂにて、マット部１０１ａ上に置かれた登録帳票の読取りを行い、取得画像を画像メモリ１０２ｂに取り込む（Ｓ１０１）。続いて、帳票角検出部１０２ｃにて、画像メモリ１０２ｂを参照して、画像上の帳票角を４点検出する（Ｓ１０２）。続いて、文字領域座標設定部１０２ｄ３にて、画像メモリ１０２ｂを参照して、ＷＳ１０３のＣＲＴに画像を表示し、オペレータは、文字領域を設定する（Ｓ１０３）。続いて、フォーマット保存部１０２ｄ２にて、別途指定したシートＩＤ等の各帳票の識別情報とともに帳票角座標と文字領域座標をフォーマットに保存する（Ｓ１０４）。
【００１２】
（ｂ）読取時
図１１（ｂ）は、非接触スキャナを用いた光学式文字認識システムにおける読取時のフローチャートである。まず、画像取得部１０１ｂにて、マット部１０１ａ上に置かれた読取帳票の読取りを行い、取得画像を画像メモリ１０２ｂに取り込む（Ｓ２０１）。続いて、帳票角検出部１０２ｃにて、画像メモリ１０２ｂを参照して、画像上の帳票角を４点検出する（Ｓ２０２）。続いて、フォーマット読込部１０２ｅにて、当該帳票の種別に対応するフォーマット（登録画像の帳票角座標と文字領域座標）を読取り（Ｓ２０３）。続いて、文字領域補正部１０２ｆの文字領域位置補正部１０２ｆ２にて、登録画像の帳票角座標・文字領域座標、読取画像の帳票角座標から、帳票角座標の左上端座標により、文字領域を補正する（Ｓ２０４）。続いて、文字認識部１０２ｇにて、文字を認識し（Ｓ２０５）、ＷＳ１０３のＣＲＴに文字認識結果を表示する（Ｓ２０６）。なお、文字認識結果とともに、当該文字領域を切り出したイメージを確認イメージとして表示し、文字認識結果の確認に用いることが良く行われている。
【００１３】
なお、当該帳票の種別の特定は、当該帳票画像から抽出した識別情報と前記フォーマットに登録されている識別情報とを比較し、一致するフォーマットを選択することによって行う。識別情報としては、シートＩＤや罫線特徴情報等が用いられる。
【非特許文献１】沖テクニカルレビュー２００２年１月／第１８９号Ｖｏｌ．６９ Ｎｏ．１「カラーダイレクトスキャナ」
【発明の開示】
【発明が解決しようとする課題】
【００１４】
非接触型スキャナは前記のとおり、マット部に置かれた帳票を上方からカメラによって撮影することにより画像取得する構造である為、マットから帳票が浮き上がった状態で画像取得した場合に、帳票自体は歪んでいなくとも、画像上で帳票の歪みが生じる。
【００１５】
図１２（ｂ）は、帳票の左上角が浮き上がった状態で画像取得した場合の帳票の歪みを、強調して表現したものである。このような場合、帳票の文字領域の基準となる角の部分が左上方に伸びたようにずれてしまっているために、文字認識を行った際、文字領域を図のように左上方に誤って補正してしまう。帳票上のすべての文字領域位置はひとつの帳票の角を基準点として位置が定まるため、他の文字領域についても一様にずれてしまう。このため、文字認識結果が誤読になったり、空白になったり、文字領域から実際の記入文字が外れることにより桁落ちしたりする等の影響が帳票全体で生じることになる。そのような場合、文字領域の確認イメージもまたずれて切り出されるので、修正がしづらいばかりでなく、桁落ちにも気づきづらいことになる。例えば、図１２（ｂ）の右下部分の文字領域は、基準となる角がずれたために、実際の記入位置から完全に外れてしまっている。このような場合には、実際には記入があるにもかかわらず空白とみなされてしまうことが生じる。このような場合、金融取引上の事故が発生する可能性がある。
このため、単純にはそのような歪みを検出した場合には当該帳票をリジェクトして歪みの原因を取り除かせて、再度同様な操作を行わせるようにすれば安全である。
【００１６】
ところで、図１２（ｂ）の右下部分は実際にはほとんど歪んでおらず、左上部分の歪みによって文字領域がずれてしまうものである。このような場合は、左上以外の部分については、文字認識を行うようにすれば効率的である。たとえば、左上部分には記入者への説明書きが印刷等されており、それ以外の部分に文字認識の領域があるような場合は、左上部分は文字認識を行わない部分なのであるから、左上部分のゆがみによって再度同じ操作を要求されるのでは、作業の効率が悪い。
従って、このような状態の帳票画像が取得された場合には、帳票の歪みの少ない部分については、文字認識を行うようにするのが効率的である。
【課題を解決するための手段】
【００１７】
このような課題を解決するために、本発明の文字認識装置は以下の構成を備える。
＜構成１＞
帳票の画像を取得して、当該画像上の帳票部分の外形の歪みに応じて文字認識を行う文字認識装置であって、前記帳票部分の外形の歪み特徴を抽出する歪み特徴抽出部と、歪みパターンを帳票の部分ごとの歪みの大小に応じて分類した帳票歪み特徴ＤＢと、前記抽出した帳票部分の歪み特徴を元に該当する歪みパターンを選択する歪み識別部と、選択された歪みパターンに応じて文字認識を行う文字認識部を備えた。
＜構成２＞
前記文字認識部は選択された歪みパターンにより歪みの小さな部分について文字認識を行う。
＜構成３＞
前記文字認識部は歪みのパターンにより文字領域座標補正方法を選択す。
＜構成４＞
前記帳票部分の辺を分割した辺分割点を求める辺分割部を備え、前記歪み特徴抽出部は、各対向する辺の辺分割点を所定の対応条件によって結び、各線分の交点における線分同士の角度を歪み特徴として抽出する。
＜構成５＞
前記帳票部分の角を検出する角検出部を備え、前記辺分割部は、前記検出した角を結ぶ線をそれぞれ分割した点を求め、求めた点を前記帳票部分の辺に対応させることによって辺を分割する。
＜構成６＞
前記辺分割部は、前記分割を所定数で等分に分割する。
＜構成７＞
前記辺分割部は、角に近い部分の前記分割の間隔を短くする。
＜構成８＞
前記分割の間隔は、等分割した場合の分割点の位置を三角関数によって写像して決定する。
＜構成９＞
前記帳票歪み特徴ＤＢには帳票の種別ごとの歪みパターンを帳票の種別ごとの識別情報に関連付けて予め記憶し、前記歪み識別部は、前記抽出した歪み特徴を前記識別情報を元に帳票歪み特徴ＤＢの歪みパターンと比較することによって前記歪みパターンを選択する。
＜構成１０＞
上記の文字認識装置を備えた、金融営業店端末。
【発明の効果】
【００１８】
取得した画像上の帳票の外形情報から帳票歪み特徴を測定して、登録されているひずみパターンと比較することにより帳票の歪みのパターンを識別し、歪みの少ない部分について文字認識を行うことができる。
【発明を実施するための最良の形態】
【００１９】
本発明の実施例について、以下のとおり説明する。
【実施例１】
【００２０】
＜実施例１の構成＞
本システムの概観を図２に示す。
本システムは、非接触スキャナ装置２０１、光学式文字認識装置２０２、ＷＳ２０３から構成され、ＷＳ２０３はキーボード等の入力手段とＣＲＴ等の表示手段を備える。以下、従来のシステムと同じ部分については、説明を省略する。
【００２１】
＜非接触スキャナ装置の構成＞
非接触スキャナ装置２０１の構成は、従来のシステムと同様である。
【００２２】
＜光学式文字認識装置の構成＞
光学式文字認識装置２０２の内部構成は、図１に示すように、制御部２０２ａ、画像メモリ２０２ｂ、帳票角検出部２０２ｃ、フォーマット作成部２０２ｄ、フォーマット読取部２０２ｅ、文字領域補正部２０２ｆ、文字認識部２０２ｇ、辺分割部２０２ｈ、帳票歪み特徴抽出部２０２ｉ、帳票歪み識別部２０２ｊ、帳票歪み特徴ＤＢ作成部２０２ｋ、帳票歪み特徴ＤＢ読取部２０２ｌ、帳票歪み特徴ＤＢ２０２ｍ、許容帳票歪み特徴ＤＢ２０２ｎ、から構成される。
【００２３】
制御部２０２ａ、画像メモリ２０２ｂ、帳票角検出部２０２ｃ、文字認識部２０２ｇ、は従来と同じものであるので説明を省略する。
【００２４】
フォーマット作成部２０２ｄは、従来のシステムの構成に対して、さらに歪み判定の基準となる基準歪み特徴情報を登録するための歪み特徴登録部２０２ｄ４を備えている。フォーマット作成部２０２ｄについては、後述する。
【００２５】
フォーマット読取部２０２ｅは、従来のシステムと同様にフォーマット記憶部の内容を読取る機能を提供する処理部であるが、本実施例に置いては、さらにフォーマット記憶部に登録されている基準歪み特徴を読み取り、出力する機能を持つ。
【００２６】
文字領域補正部２０２ｆは、従来のシステムと異なる点は、帳票を左上、右上、右下、左下の４つの部分に分割し、それぞれの部分に含まれる文字領域を補正するための、左上端補正部、右上端補正部、右下端補正部、左下端補正部で構成される点である。
すなわち、左上端補正部は、左上の帳票端座標から文字領域を補正する手段を有する。右上端補正部は、右上の帳票端座標から文字領域を補正する手段を有する。右下端補正部は、右下の帳票端座標から文字領域を補正する手段を有する。左下端補正部は、左下の帳票端座標から文字領域を補正する手段を有する。
【００２７】
帳票歪み識別部２０２ｊは、フォーマット読取部２０２ｅを用いてフォーマット記憶部から基準歪み特徴情報を取得し、帳票歪み特徴抽出部２０２ｉによって抽出される歪み特徴情報と比較することにより、帳票の歪みを判定し、後述の帳票歪み特徴ＤＢ２０２ｍを参照して想定する歪みパターンから該当するものを選択するとともに、後述の許容帳票歪み特徴ＤＢ２０２ｎを参照して、当該帳票において許容される歪みパターンかどうかを判定する機能を提供する。
【００２８】
辺分割部２０２ｈは、帳票部分の各辺を所定の条件で分割し歪み特徴を抽出する基準となる辺分割点を求める機能を提供する。辺分割部２０２ｈについては、後述する。
【００２９】
帳票歪み特徴抽出部２０２ｉは、画像から帳票の歪み特徴を抽出する機能を提供する。帳票歪み特徴抽出部２０２ｉについては、後述する。
【００３０】
＜歪み特徴情報＞
ここで、本実施例における歪み特徴情報について説明する。
図５（ａ）は、歪み情報の基準となる帳票画像の帳票部分について歪み特徴を抽出した様子である。なお、図１２（ａ）（ｂ）と比べ網点の濃度が異なっているが、文字を見やすくためであり、濃度の違いに特に意味はない。
【００３１】
図５（ａ）において、各記号は以下の意味を持つ。
Ｔｅ：帳票部分の上辺の横幅
Ｂｅ：帳票部分の下辺の横幅
Ｌｅ：帳票部分の左辺の縦幅
Ｒｅ：帳票部分の右辺の縦幅
ｎ：上辺および下辺の分割数
ｍ：左辺および右辺の分割数
Ｖｅｘ （ｘ＝１，２…ｎ）：上辺および下辺の対向する辺分割点を結んだ線分
Ｈｅｙ （ｙ＝１，２…ｍ）：左辺および右辺の対向する辺分割点を結んだ線分
θｅｙｘ（ｙ＝１，２…ｍ）（ｘ＝１，２…ｎ）：ＶｅｘおよびＨｅｙの交点の角度
なお、それぞれの抽出方法は、後述する。
【００３２】
本実施例では、１枚の基準帳票を用いて、θｅｙｘを歪み特徴情報として抽出し、共通の基準歪み特徴情報としてフォーマット記憶部に記憶する。
【００３３】
図５（ｂ）は、判定対象となるとなる帳票画像の帳票部分について図５（ａ）と同じ処理で歪み特徴を抽出した様子である。
図５（ｂ）は、帳票の左角が浮き上がった状態で画像取得した場合の帳票の歪みを、強調して記載したものである。記号の意味は、ｅがｒに変化しただけで、図５（ａ）と同じである。
【００３４】
＜フォーマット作成部＞
フォーマット作成部２０２ｅの内部構成は、図３に示すように、制御部２０２ｄ１、フォーマット保存部２０２ｄ２、文字領域座標設定部２０２ｄ３、歪み特徴登録部２０２ｄ４で構成される。また、他の処理部との図示しない通信処理部を有する。
【００３５】
ここでは、従来システムに対して追加された、歪み特徴登録部２０２ｄ４について説明する。
【００３６】
歪み特徴登録部２０２ｄ４は、基準とする帳票の帳票画像の帳票部分について抽出された歪み特徴情報を、フォーマット記憶部に登録する機能を提供する。例えば、オペレータがＷＳ１０３を介してフォーマット作成部に開始指示を行うことにより、歪み特徴情報の抽出からフォーマット記憶部への登録までの一連の処理が行われる。
【００３７】
なお、前記フォーマットは事前に登録されていれば良く、運用時には、事前にフォーマット記憶部に登録されたフォーマットが参照可能であれば足りる。従って、運用時にはフォーマット作成部２０２ｄは省略することが可能である。
【００３８】
また、文字認識領域が左上、右上、左下、右下のどこにあるかの情報に従って、許容しうる歪みの発生領域を登録する。これは、文字認識領域の存在する位置によって自動的に行ってもよいし、オペレータに指定させてもよい。この情報は、図４のように許容帳票歪み特徴ＤＢ２０２ｎに登録される。
【００３９】
＜辺分割部＞
辺分割部２０２ｈは、帳票部分の辺の分割を行う機能を提供する。
以下に、辺分割部２０２ｈにより、辺を分割する際の処理を説明する。
【００４０】
まず、角検出部２０２ｃにより、従来システムと同様にして前記帳票部分の角が検出される。
辺分割部２０２ｈは、検出した角を結ぶ線分を求める。続いて、求めた線分をそれぞれ所定の数で等間隔に分割する。なお、この所定の数とは、図５（ａ）（ｂ）におけるｎ、ｍであり、分割点の数は入力される帳票のサイズによらず一定になる。続いて、前記分割点より、例えば上辺および下辺であればＹ軸方向に（左辺および右辺であればｘ軸方向に）画素を走査して、背景色と帳票部分の濃度が変化する点を抽出することにより、前記線分の分割点に対応する各帳票辺の辺分割点を抽出することができる。
【００４１】
＜帳票歪み特徴抽出部＞
帳票歪み特徴抽出部２０２ｉは、辺分割部２０２ｈによって得られた辺分割点について、図のように対向するもの同士を結んだ線分を求める。これらの線分は、図５（ａ）（ｂ）におけるＶｅｘ、Ｈｅｙ、Ｖｒｘ、Ｈｒｙのようになる。続いて、各交点の角度θｅｙｘを求め、特徴として出力する。
【００４２】
なお、帳票歪みの有無の評価は、以下のようにして行う。例えば角度を評価する場合の式は以下のとおりである。
［帳票歪み評価値］
θｙｘ ＝ ｜ θｅｙｘ _ θｒｙｘ ｜ （ｙ＝１，２…ｍ）（ｘ＝１，２…ｎ）
［帳票歪み評価値の閾値］
θｙｘの閾値： θＴＨｒ
【００４３】
＜帳票歪み特徴ＤＢ＞
想定する歪みパターンの例を、図１４に示す。網掛け部が歪みが発生している部分、すなわち所定の閾値を超過している部分であり、歪みが大きい部分である。網掛けがない部分が、歪みが発生していないか発生していても歪みが小さい部分、すなわち所定の閾値以下の部分である。
【００４４】
帳票歪み特徴ＤＢ２０２ｍは、図１４に示した想定する歪みパターンに応じた帳票歪み特徴として、図１３に示すように、各歪みパターンの名称、コード、歪みパターン条件を格納したものである。歪みパターン条件は、例えば、「左上角浮き上がり」の場合、前述のθｅｙｘのうち、左上部分のみが閾値超過している場合が該当する。例えば、すべてのθｅｙｘのうち、θｅ１１〜θｅ３３の９つの点についてのみ閾値超過している場合に、左上角浮き上がり（歪みパターンコード＝Ａ）であると判定できる。
また例えば、「左辺＆右辺浮き上がり」の場合、前述のＶｅｘのうち、両端部分のみが他より長く、その割合が所定の閾値を超過している場合が該当する。例えば、すべてのＶｅｘの長さの平均と比べ、Ｖｅ１、Ｖｅｎの２本のみ閾値超過して長い場合に、「左辺＆右辺浮き上がり」（歪みパターンコード＝Ｕ）であると判定できる。
歪みパターン条件は、このように浮き上がり方と前述のＶｅｘ、Ｈｅｙ、θｅｙｘとの関係が記載されている。なお、実際には表中の文が論理式にて表現され記録されている。
【００４５】
また、左上端補正部、右上端補正部、右下端補正部、左下端補正部のいずれの補正部が使用可能か情報が含まれている。例えば、図１３の場合は、「左上角浮き上がり」の場合は左上端補正部のみ使用不可であり、それ以外は使用可能となっている。また、「左辺＆右辺浮き上がり」の場合は、すべての角において歪みが発生すると考えられるので、すべての補正部が使用不可となっている。
帳票ゆがみ特徴ＤＢは、後述のようにして帳票歪み特徴ＤＢ作成部２０２ｋにより登録される。
【００４６】
＜許容帳票歪み特徴ＤＢ＞
許容帳票歪み特徴ＤＢ２０２ｎは、処理対象としてフォーマットを登録している各帳票に対して、それぞれ許容する歪みパターンの歪みパターンコードを登録したテーブルである。図４の例では、帳票００１（帳票ＩＤ＝００１）が許容する帳票歪みパターンがＡ（左上角浮き上がり）であることが分かる。例えば、左上部分には記入者への説明書きが印刷等されており、それ以外の部分に文字認識の領域があるような帳票の場合が相当する。
【００４７】
＜帳票歪み特徴ＤＢ作成部＞
帳票歪み特徴ＤＢ作成部２０２ｋは、前記帳票歪み特徴ＤＢを２０２ｎを登録するための処理部である。具体的には、図１４のような想定する帳票歪みパターンに相当する画像を故意に作成して読み込ませ、帳票歪みパターンごとの帳票歪み特徴を生成し、登録する。また、それぞれの帳票歪みパターンにおいて、歪みの発生度合いに応じて、左上端補正部、右上端補正部、右下端補正部、左下端補正部のいずれの補正部が使用可能かの情報が設定される。例えば、左上の領域について歪みが所定の閾値未満であれば、左上端補正部を使用可とする。それ以外の領域についても同様である。なお、すべての領域についてゆがみが所定の閾値以上であれば、すべての補正部が使用不可となる場合もありうる。
【００４８】
＜実施例１の動作＞
（ａ）フォーマット作成時
図１５（ａ）は、非接触スキャナを用いた光学式文字認識システムにおける前記基準歪み特徴情報の登録時のフローチャートである。まず、画像取得部２０１ｂにて、マット部２０１ａ上に置かれた基準となる登録帳票の読取りを行い、取得画像を画像メモリ２０２ｂに取り込む（Ｓ３０１）。ここで、基準帳票の画像は、歪みの無い状態で取得する必要があるため、浮き上がりや折れ曲がりが無い状態で置く必要がある。これを標準状態または基準状態と呼ぶ。
【００４９】
続いて、帳票角検出部２０２ｃにて、帳票画像上の帳票角を４点検出する（Ｓ３０２）。
【００５０】
続いて、辺分割部２０２ｈにより、帳票部分の辺を分割し、辺分割点を求める（Ｓ３０３）。
【００５１】
続いて、帳票特徴抽出部２０２ｉにて、基準帳票画像の歪み特徴情報を抽出する（Ｓ３０４）。
【００５２】
続いて、歪み特徴登録部２０２ｄ４にて、抽出した歪み特徴情報を基準歪み特徴情報としてフォーマット記憶部に登録する。（Ｓ３０５）。
【００５３】
なお、標準状態で取得した基準歪み特徴情報に含まれる角度は、すべてほぼ９０度となると考えられるので、上記のように標準状態での歪み特徴を取得せずにすべての角度を９０度とする歪み特徴情報を生成して登録することも可能である。ただし、上記のように標準状態での歪み特徴を取得して実際に歪み特徴情報を抽出すれば、カメラのレンズ等の特性により標準状態でも歪みが発生する場合の影響を排除することができるので、精度を向上させることができる。
【００５４】
さらに、オペレータは取得した基準帳票画像を元に帳票毎の文字認識領域を指定し、フォーマットに登録する。指定した文字認識領域の情報は、基準となる角の座標情報とともに、基準角からの相対座標および領域サイズの情報が座標情報として従来どおりに登録される。しかる後に、フォーマットが保存される。（Ｓ３０６）
【００５５】
（ｂ） 帳票歪み特徴ＤＢ作成時
図１５（ｂ）は、非接触スキャナを用いた光学式文字認識システムにおける前記帳票歪み特徴ＤＢ作成時のフローチャートである。本実施例において、帳票歪み特徴ＤＢはすべてのフォーマットについて共通であることを想定する。このため、帳票歪み特徴ＤＢ作成は、前記図１５（ａ）の、フォーマット作成の前に、前記基準歪み特徴情報の登録に用いた帳票をによって行うことが望ましい。
【００５６】
まず、マット部２０１ａ上に浮き上がりの有る状態で、帳票を置く。画像取得部２０１ｂにて、マット部２０１ａ上に置かれた登録帳票の読取りを行い、取得画像を画像メモリ２０２ｂに取り込む（Ｓ３０７）。
【００５７】
続いて、帳票角検出部２０２ｃにて、帳票画像上の帳票角を４点検出する（Ｓ３０８）。
【００５８】
続いて、帳票特徴抽出部２０２ｉにて、帳票画像の歪み特徴情報を抽出する（１３０９）。
【００５９】
続いて、帳票歪み特徴ＤＢ作成部２０２ｋにて、帳票歪み特徴を学習し、帳票歪み特徴ＤＢを作成する（Ｓ３１０）。
【００６０】
Ｓ３０７〜Ｓ３１０の作業を、想定する帳票歪みパターン（例を図１４に示す）全てについて行う。（Ｓ３１１）
【００６１】
（ｃ）読取時
図１６は、非接触スキャナを用いた光学式文字認識システムにおける読取時のフローチャートである。まず、画像取得部２０１ｂにて、マット部２０１ａ上に置かれた読取帳票の読取りを行い、取得画像を画像メモリ２０２ｂに取り込む（Ｓ４０１）。
【００６２】
続いて、帳票角検出部２０２ｃにて、画像メモリ２０２ｂを参照して、画像上の帳票角を４点検出する（Ｓ４０２）。
【００６３】
続いて、辺分割部２０２ｈにより、帳票部分の辺を分割し、辺分割点を求める（Ｓ４０３）。
【００６４】
続いて、帳票歪み特徴抽出部２０２ｉにて、画像の帳票部分の帳票歪み特徴を抽出する（Ｓ４０４）。
【００６５】
続いて、フォーマット読取部２０２ｅは、フォーマット記憶部から基準歪み特徴情報を取得する。（Ｓ４０５）
【００６６】
続いて、帳票歪み識別部２０２ｊにて、下記に示す帳票歪み評価値を計算し、あらかじめ設定されているそれぞれの閾値（θＴＨｒ）と比較することにより帳票歪み特徴を検出する。このとき、また、帳票歪み特徴ＤＢ読取部２０２ｌにより、帳票歪み特徴ＤＢ２０２ｍを参照して、該当する帳票歪みパターンが存在すれば、識別結果として帳票歪みパターンコードを出力する。該当する帳票歪みパターンが見つからなければ、識別失敗の旨を出力する。（Ｓ４０６）
【００６７】
帳票歪み特長の識別に失敗した場合は（Ｓ４０７）、ＷＳ２０３のＣＲＴに“歪み検出失敗”と表示し（Ｓ４０８）、さらにＷＳ２０３のＣＲＴに“帳票リジェクト”と表示する（Ｓ４０９）
【００６８】
識別が成功の場合において、識別結果が歪み無しの場合は（Ｓ４１０）、フォーマット読取部２０２ｅにて、当該帳票の基準角の座標情報と文字認識領域の座標情報が読み取られる。（Ｓ４１１）。
続いて、従来同様に、基準となる角の座標（たとえば左上端座標）により、文字領域を補正する（Ｓ４１２）。続いて、文字認識部２０２ｇにて、文字を認識し（Ｓ４１３）、ＷＳ２０３のＣＲＴに文字認識結果を表示する（Ｓ４１４）。
【００６９】
識別結果が補正可能歪み特徴パタンの場合は、フォーマット読込部１００６にて、フォーマット読取部２０２ｅにて、当該帳票の基準角の座標情報と文字認識領域の座標情報が読み取られる。（Ｓ４１５）。続いて、識別結果に応じて、文字領域補正部２０２ｆの左上端補正部、右上端補正部、右下端補正部、左下端補正部を適宜使用して、登録画像の帳票角座標・文字領域座標、読取画像の帳票角座標から、文字領域を補正する（Ｓ４１６）。
【００７０】
例えば、識別結果が左上角浮き上がりの場合の補正の場合の例を図１７に示す。
図に示すとおり、左上角近辺の文字領域は、補正不可能の為、左上近辺の文字領域をリジェクトとする。すなわち、文字認識結果を不読とする。左上角から遠い文字領域は、左上角以外の角座標から文字領域を補正する。すなわち、帳票を左上、右上、右下、左下の４つの部分に分割し、それぞれ前述の左上端補正部、右上端補正部、右下端補正部、左下端補正部にて補正する。
続いて、リジェクトではない文字領域において、文字認識部２０２ｇにて文字を認識し（Ｓ４１７）、ＷＳ２０３のＣＲＴに文字認識結果を表示する（Ｓ４１８）。続いて、ＷＳ２０３のＣＲＴに帳票歪み識別結果を表示する（Ｓ４１９）。識別結果が補正不可能歪み特徴パタンの場合は（Ｓ４１０）、ＷＳ２０３のＣＲＴに帳票歪み識別結果を表示し（Ｓ４２０）、ＷＳ２０３のＣＲＴに“帳票リジェクト”と表示する（Ｓ４０９）。
【００７１】
このように、基準帳票画像の各辺を所定の値で分割して辺分割点を求め、それぞれを結ぶ線分の交点の角度を基準歪み特徴とし、歪判定の際には、判定対象となる帳票画像の各辺を基準帳票と同様に分割し、同じくそれぞれを結ぶ線分の交点の角度を歪み特徴とし、前記基準歪み特徴と比較することによって、帳票の画像上の歪みを識別し、文字認識可能な領域については文字認識を行うとともに帳票歪みの識別結果を表示するので、オペレータに対して警告ができ、文字領域のずれによる金融取引の事故の発生を防止し、オペレータにとっても確認の負荷が減少するという、効果を得ることができる。
【００７２】
また、想定する帳票の歪みについて、実際に当該歪みを発生させた画像を読み取って自動的に帳票歪みＤＢを作成するので、オペレータの登録作業の不可を軽減できる。
【００７３】
また、前記辺分割点同士を結んだ線分の交点の角度のみを特徴とすることにより、非判定帳票が基準帳票と異なるサイズであっても同じ数の交点を得ることができるので、基準歪特徴データは共通のものを使用できるので、登録は１回のみでよく、新規な帳票を含めて画像の歪みの判定を行うことができる。
【実施例２】
【００７４】
実施例１においては、対応する辺分割点同士を結んだ線分の交点の角度のみを歪み特徴とするとしたが、本実施例においては、前記線分の長さについても歪み特徴情報として用いる。このため、基準歪み特徴は帳票の種別毎に異なるものとなるので、基準歪み特徴情報はおよび各帳票のフォーマット毎に登録されることになる。また、帳票歪み特徴ＤＢについても、帳票毎の情報として登録されることになる。
【００７５】
＜実施例２の構成＞
本実施零におけるシステムの構成は、実施例１と同じく図２で示される。以下、実施例１と異なる部分についてのみ説明する。
【００７６】
＜光学式文字認識装置の構成＞
光学式文字認識装置２０２の内部構成は、実施例１と同じく図１に示される。
制御部２０２ａ、画像メモリ２０２ｂ、帳票角検出部２０２ｃ、文字領域補正部２０２ｆ、文字認識部２０２ｇ、は従来と同じものであるので説明を省略する。
【００７７】
フォーマット読取部２０２ｅは、本実施例においては、基準歪み特徴を、フォーマット毎に取得する機能を有する。
【００７８】
帳票歪み特徴抽出部２０２ｉは、画像から帳票の歪み特徴を抽出する機能を提供するのは実施例１と同様であるが、各辺分割点を結ぶ線分の交点の角度に加えて、前記線分の長さについても、特徴情報として抽出する。帳票歪み特徴抽出部２０２ｉについては、後述する。
【００７９】
＜歪み特徴情報＞
ここで、本実施例における歪み特徴情報について説明する。
図５（ａ）は、歪み情報の基準となる帳票画像の帳票部分について歪み特徴を抽出した様子である。各記号の意味は実施例１と同様である。
【００８０】
本実施例では、１枚の基準帳票を用いて、Ｖｅｘ、Ｈｅｙ、θｅｙｘを歪み特徴情報として抽出し、共通の基準歪み特徴情報としてフォーマットに記憶する。ここで基準歪み特徴は、実施例１と異なり、基準帳票は、フォーマットに登録されている帳票の種別毎に登録する必要がある。
図５（ｂ）は、実施例１と同様であるので、説明を省略する。
【００８１】
＜フォーマット作成部＞
フォーマット作成部２０２ｅの内部構成は、実施例１と同じく図３に示される。
歪み特徴登録部２０２ｄ４は、基準歪み特徴を各帳票のフォーマットに関連づけてフォーマット記憶部に格納する。このため、基準歪み特徴情報は、各帳票ごとの文字情報の登録とともに行うと効率が良い。
【００８２】
＜帳票歪み特徴抽出部＞
帳票歪み特徴抽出部２０２ｉは、辺分割部２０２ｈによって得られた辺分割点について、対向するもの同士を結んだ線分を求める。これらの線分は、図５（ａ）（ｂ）におけるＶｅｘ、Ｈｅｙ、Ｖｒｘ、Ｈｒｙのようになる。続いて、各交点の角度θｅｙｘを求め、前記各線分の長さとともに、特徴として出力する。
【００８３】
＜帳票歪み特徴ＤＢ作成部＞
帳票歪み特徴ＤＢ作成部２０２ｋは、帳票歪み特徴ＤＢ２０２ｍを、共通ではなく各帳票の帳票ＩＤ毎に登録する。このため、基準歪み特徴情報は、各帳票ごとの文字情報の登録とともに、当該帳票を用いて行う。
【００８４】
＜実施例２の動作＞
（ａ）フォーマット作成時
本実施例における動作は、実施例１と同じく図１５（ａ）にて説明される。Ｓ３０１〜Ｓ３０４については、実施例１と同様なので説明を省略する。
【００８５】
Ｓ３０５では、歪み特徴登録部２０２ｄ４にて、抽出した歪み特徴情報を基準歪み特徴情報として当該帳票のフォーマットに関連付けて登録する。
【００８６】
（ｂ） 帳票歪み特徴ＤＢ作成時
本実施例における動作は、実施例１と同じく図１５（ａ）にて説明される。なお、本実施例においては、帳票歪み特徴ＤＢ作成は、各帳票ごとに行われる。すなわち、図１３のような表が帳票ＩＤ毎に個別に登録される。それ以外は、実施例１と同様なので説明を省略する。
【００８７】
（ｃ）読取時
本実施例における動作は、実施例１と同じく図１６にて説明される。Ｓ４０５、Ｓ４０６以外については、実施例１と同様なので説明を省略する。
【００８８】
Ｓ４０５では、フォーマット読み取り部２０２ｅは、フォーマット記憶部から帳票画像の帳票の種別に対応する基準歪み特徴情報を取得する（４０５）。帳票の種別の特定には、既存の方法が適用されるが、例えば当該帳票のシートＩＤや罫線特徴等の特徴情報をフォーマットとともに登録しておき、特徴が一致するフォーマットを選択するようにしてもよい。または、ＷＳのオペレータに対して帳票の種別の指定手段を提供し、指定された情報により帳票の種別を特定することにしても良い。
【００８９】
Ｓ４０６では、帳票歪み識別部２０２ｊは下記に示す式にて帳票歪み評価値を計算する。
［帳票歪み評価値］
Ｖｘ ＝ ｜Ｖｅｘ − Ｖｒｘ｜ （ｘ＝１，２…ｎ）
Ｈｙ ＝ ｜Ｈｅｙ − Ｈｒｙ｜ （ｙ＝１，２ …ｍ）
θｙｘ ＝ ｜ θｅｙｘ − θｒｙｘ ｜ （ｙ＝１，２ …ｍ）（ｘ＝１，２ …ｎ）
［帳票歪み評価値の閾値］
Ｈｘの閾値： ＶＴＨｒ
Ｈｙの閾値： ＨＴＨｒ
θｙｘの閾値： θＴＨｒ
あらかじめ設定されているそれぞれの閾値（ＶＴＨｒ、ＨＴＨｒ、θＴＨｒ）と比較して帳票歪み特徴を検出する。そして、帳票歪み特徴ＤＢ読取部２０２ｌにより、当該帳票の帳票歪み特徴ＤＢ２０２ｍを参照して、該当する帳票歪みパターンが存在すれば、識別結果として帳票歪みパターンコードを出力する。該当する帳票歪みパターンが見つからなければ、識別失敗の旨を出力する。（Ｓ４０６）
【００９０】
このように、基準帳票画像の各辺を所定の値で分割して辺分割点を求め、それぞれを結ぶ線分の交点の角度と各線分の長さとを基準歪み特徴として各帳票毎に登録し、歪み判定の際には、判定対象となる帳票画像の各辺を基準帳票と同様に分割し、同じくそれぞれを結ぶ線分の交点の角度と線分の長さを歪み特徴とし、前記基準歪み特徴と比較することによって、帳票の画像上の歪みが判定できるので、実施例１に対してさらに精度よく歪みの判定を行うことができる。
【００９１】
なお、上述の実施例に置いて、角を結ぶ線分を等分するとしたが、帳票の浮き上がり等による歪みは帳票の角に近い部分ほど大きくなることから、帳票の角に近い部分の分割間隔を短くし、中央すなわち角から遠い部分の分割間隔を長くすることにより、辺分割点の密度を挙げるとさらに精度良く帳票部分の歪みを検出することができる。例えば、図５（ａ）（ｂ）におけるｎ、ｍに対応する分割間隔を三角関数を用いて変換することにより、角に近い部分の分割間隔を短くすることが可能である。例えば、辺の中央を起点＝０とし辺の角部を終点＝π／２［ｒａｄ］とすれば、辺を等分した点を正弦関数によって角に近くなるほど短い間隔となるように写像できる。例えば、中央から角までを３分割する場合、中央から１／３の地点は、ｓｉｎ（（π／２）ｘ（１／３））＝ｓｉｎ（π／６）＝０．５により、中央から角までの半分の地点に写像される。中央から２／３の地点は、ｓｉｎ（（π／２）ｘ（２／３））＝ｓｉｎ（π／３）＝約０．８７により、中央から角までの約０．８７倍の地点に写像される。
なお、実施例１において、基準歪み特徴情報は共通なものを１回登録すればよい、としたが、実施例２のような方法によって帳票ごとに基準歪み特徴情報を登録しても構わない。例えば、カメラのレンズ等の特性により帳票のサイズによって歪み方に差異が生じるような場合には、帳票ごとに基準歪み特徴情報を登録すれば、さらに精度を上げることができる。
【００９２】
なお、上述の実施例において、光学式文字認識装置１０２とスキャナ装置２０１とを別の構成として説明したが、スキャナと光学式文字認識装置とは1体型で構成されていてもかまわない。
また、上述したそのような光学式文字認識装置１０２とＷＳ２０３を組み合わせることにより、帳票画像の文字認識機能を備えた端末装置として機能させることもできる。特に、ＷＳ２０３が金融営業店窓口端末である場合には、帳票画像の文字認識機能を備えた金融営業店窓口端末として機能させることができる。
【図面の簡単な説明】
【００９３】
【図１】本発明の光学式文字認識装置の機能ブロック
【図２】本発明のシステム構成
【図３】本発明のフォーマット作成部の機能ブロック
【図４】帳票ごとの許容帳票歪み特徴ＤＢ
【図５】帳票の歪み特徴の説明
【図６】従来のシステム構成
【図７】従来のスキャナの機能ブロック
【図８】従来の光学式文字認識装置の機能ブロック
【図９】従来のフォーマット作成部の機能ブロック
【図１０】従来の文字領域補正部の機能ブロック
【図１１】従来のフローチャート
【図１２】帳票歪み時の取得画像と領域補正結果
【図１３】帳票歪み特徴ＤＢ
【図１４】歪みパターン例
【図１５】本発明のフローチャート
【図１６】本発明のフローチャート
【図１７】帳票歪み時の取得画像と領域補正結果
【符号の説明】
【００９４】
２０１ スキャナ装置
２０１ａ マット部
２０１ｂ 画像取得部
２０２ 光学式文字認識装置
２０３ ＷＳ
２０２ａ 制御部
２０２ｂ 画像メモリ
２０２ｃ 帳票角検出部
２０２ｄ フォーマット作成部
２０２ｅ フォーマット読取部
２０２ｆ 文字領域補正部
２０２ｇ 文字認識部
２０２ｈ 辺分割部
２０２ｉ 帳票歪み特徴抽出部
２０２ｊ 帳票歪み識別部
２０２ｋ 帳票歪み特徴ＤＢ作成部
２０２ｌ 帳票歪み特徴ＤＢ読取部
２０２ｍ 帳票歪み特徴ＤＢ
２０２ｎ 許容帳票歪み特徴ＤＢ
【技術分野】
【０００１】
本発明は、帳票をマットにセットし、上部からセンサ部でイメージを読み取る非接触スキャナ装置を用いた帳票画像の歪みを判別して文字認識を行う文字認識装置に関するものである。
【背景技術】
【０００２】
現在、金融営業店の窓口業務等にて、顧客が持ち込んだ帳票や本人確認書類等の種々の用紙の画像を取得するための、非接触型スキャナが用いられている。非接触型スキャナは、帳票を置くマット部の上方に設置されたカメラによって、帳票の画像を取得する形式のスキャナである。金融営業店の窓口業務においては、非接触型スキャナは、金融営業店窓口の窓口端末に接続され、画像取得の制御が行われる。非接触型スキャナは、フラットベッド型スキャナやシートフィード型スキャナに比べ、画像取得のための操作が簡便で所要時間が短い等の特徴を持っている。（例えば非特許文献１）
窓口にて取得された帳票の画像に対しては、光学的文字認識装置によって所定の文字認識処理が行われ、記入内容がデータ化され、金融取引に利用される。
以下に本発明の従来技術について説明する。
【０００３】
＜従来のシステム構成＞
従来のシステムの概観を図６に示す。
従来のシステムは、非接触スキャナ装置１０１、光学式文字認識装置１０２、ＷＳ１０３から構成され、ＷＳ１０３はキーボード等の入力手段とＣＲＴ等の表示手段を備える。
図６において、非接触スキャナ装置１０１は上から見た図を示している。非接触スキャナ装置１０１、光学式文字認識装置１０２、については後述する。
ＷＳ１０３はシステム全体を制御するための端末であり、図示しないメモリやＣＲＴ等の表示部やキーボードマウス等の操作部を備えた、一般的なＰＣ等が使用される。
なお、ここでは光学式文字認識装置１０２はハードウェアによって実現するものとして説明するが、ＷＳ１０３内に設けたソフトウェアであってもよい。
【０００４】
＜非接触スキャナ装置の構成＞
非接触スキャナ装置１０１の構成は、図７に示すように、制御部１０１ｃ、マット部１０１ａ、画像取得部１０１ｂから構成される。
制御部１０１ｃは、非接触スキャナ装置１０１全体の制御手段、光学式文字認識装置１０２との通信手段を有する。
マット部１０１ａは、画像を取得する帳票を設置するための置き台である。マット部１０１ａは図６においては網掛けで表現しているが、黒色等、画像上で帳票と容易に区別ができる色の材質が用いられる。これにより、取得した帳票画像はマット部が背景となるため、黒い背景色に対し、帳票が浮き上がって見えるような状態となる。このため、容易に帳票の辺を検出することが可能となる。
画像取得部１０１ｂは、マット部１０１ａ上の帳票を撮影し画像データに変換する機能を有する、ＣＣＤやＣ−ＭＯＳ等を利用したカメラである。
【０００５】
＜光学式文字認識装置の構成＞
光学式文字認識装置は、取得した帳票の画像から、帳票の種類を特定し、さらに当該帳票の文字認識すべき領域を特定し、文字認識を行う。
光学式文字認識装置１０２の構成は、図８に示すように、制御部１０２ａ、画像メモリ１０２ｂ、帳票角検出部１０２ｃ、フォーマット作成部１０２ｄ、フォーマット読取部１０２ｅ、文字領域補正部１０２ｆ、文字認識部１０２ｇから構成される。また非接触スキャナ装置１０１およびＷＳ１０３との図示しない通信手段を有する。
【０００６】
光学式文字認識装置１０２の制御部１０２ａは、光学文字認識装置１０２全体の制御を行う。
画像メモリ１０２ｂは、帳票画像データを保持する手段を有する。各処理部は、適宜画像メモリ１０２ｂを参照することにより、帳票画像を参照することができる。
帳票角検出部１０２ｃは、画像から帳票角を検出する手段を有する。帳票の角の検出は、例えば画像を走査して、画素の濃度の違いにより背景と帳票部分との境目すなわち帳票辺を検出する。得られた帳票辺となる画素を追跡して、ＸまたはＹ座標の変化量の正負が反転するか、変化が開始される場所を角と判断することができる。または、各帳票辺から任意に複数の点を選択し、ハフ変換等既知の技術を用いることにより各帳票辺ごとに直線または曲線に近似し、それらの交点を角として選択することもできる。
フォーマット作成部１０２ｄは、文字領域座標等の文字認識に必要なフォーマットを作成する手段を有する。フォーマット作成部１０２ｄについては後述する。
フォーマット読取部１０２ｅは、他の処理部に対してフォーマットの内容を読取る機能を提供する。
文字領域補正部１０２ｆは、フォーマットから文字領域座標を補正する手段を有する。文字領域補正部１０２ｆについては後述する。
文字認識部１０２ｇは、図示しない文字認識辞書とのパターンマッチングにより、文字を認識する機能を提供する。
【０００７】
＜フォーマット作成部＞
フォーマット作成部１０２ｄの構成は、図９に示すように、制御部１０２ｄ１、フォーマット保存部１０２ｄ２、文字領域座標設定部１０２ｄ３で構成される。また、他の処理部との図示しない通信処理部を有する。
【０００８】
フォーマット作成部の制御部１０２ｄ１は、フォーマット作成部１０２ｄ全体の制御を行う。
フォーマット保存部１０２ｄ２は、文字領域座標等の文字認識に必要なフォーマットを図示しないフォーマット記憶部に保存する機能を提供する。なお、以下フォーマットの取得は、フォーマット記憶部から行うものとする。
前記フォーマットには、各帳票の識別情報とともに、各文字領域ごとに帳票の基準となる角（例えば左上）からの相対座標が格納されている。文字認識部は、この情報を元に、帳票画像上の文字領域を特定し、記入されている文字を認識する。
文字領域座標設定部１０２ｄ３は、フォーマット作成するオペレータの入力操作を受けて、上記の座標の他、文字認識に使用する辞書の種類等、必要な情報をフォーマットとして登録する。ここでは、オペレータはＷＳ１０３を介してフォーマット作成部にデータを入力するものとする。
【０００９】
＜文字領域補正部＞
文字領域補正部１０２ｆの構成は、図１０に示すように、制御部１０２ｆ１、文字領域位置補正部１０２ｆ２で構成される。また、他の処理部との図示しない通信処理部を有する。
文字領域補正部１０２ｆの制御部１０２ｆ１は、文字領域補正部１０２ｆ全体の制御を行う。
【００１０】
文字領域位置補正部１０２ｆ２は、左上の角の座標から文字領域を補正する。なお、ここでは左上としたが、前記相対座標の基準となる角を左上としているためであり、例えば右上等、他のすべての角を基準とすることが可能である。
【００１１】
＜動作＞
（ａ）フォーマット登録時
図１１（ａ）は、非接触スキャナを用いた光学式文字認識システムにおける登録時のフローチャートである。まず、画像取得部１０１ｂにて、マット部１０１ａ上に置かれた登録帳票の読取りを行い、取得画像を画像メモリ１０２ｂに取り込む（Ｓ１０１）。続いて、帳票角検出部１０２ｃにて、画像メモリ１０２ｂを参照して、画像上の帳票角を４点検出する（Ｓ１０２）。続いて、文字領域座標設定部１０２ｄ３にて、画像メモリ１０２ｂを参照して、ＷＳ１０３のＣＲＴに画像を表示し、オペレータは、文字領域を設定する（Ｓ１０３）。続いて、フォーマット保存部１０２ｄ２にて、別途指定したシートＩＤ等の各帳票の識別情報とともに帳票角座標と文字領域座標をフォーマットに保存する（Ｓ１０４）。
【００１２】
（ｂ）読取時
図１１（ｂ）は、非接触スキャナを用いた光学式文字認識システムにおける読取時のフローチャートである。まず、画像取得部１０１ｂにて、マット部１０１ａ上に置かれた読取帳票の読取りを行い、取得画像を画像メモリ１０２ｂに取り込む（Ｓ２０１）。続いて、帳票角検出部１０２ｃにて、画像メモリ１０２ｂを参照して、画像上の帳票角を４点検出する（Ｓ２０２）。続いて、フォーマット読込部１０２ｅにて、当該帳票の種別に対応するフォーマット（登録画像の帳票角座標と文字領域座標）を読取り（Ｓ２０３）。続いて、文字領域補正部１０２ｆの文字領域位置補正部１０２ｆ２にて、登録画像の帳票角座標・文字領域座標、読取画像の帳票角座標から、帳票角座標の左上端座標により、文字領域を補正する（Ｓ２０４）。続いて、文字認識部１０２ｇにて、文字を認識し（Ｓ２０５）、ＷＳ１０３のＣＲＴに文字認識結果を表示する（Ｓ２０６）。なお、文字認識結果とともに、当該文字領域を切り出したイメージを確認イメージとして表示し、文字認識結果の確認に用いることが良く行われている。
【００１３】
なお、当該帳票の種別の特定は、当該帳票画像から抽出した識別情報と前記フォーマットに登録されている識別情報とを比較し、一致するフォーマットを選択することによって行う。識別情報としては、シートＩＤや罫線特徴情報等が用いられる。
【非特許文献１】沖テクニカルレビュー２００２年１月／第１８９号Ｖｏｌ．６９ Ｎｏ．１「カラーダイレクトスキャナ」
【発明の開示】
【発明が解決しようとする課題】
【００１４】
非接触型スキャナは前記のとおり、マット部に置かれた帳票を上方からカメラによって撮影することにより画像取得する構造である為、マットから帳票が浮き上がった状態で画像取得した場合に、帳票自体は歪んでいなくとも、画像上で帳票の歪みが生じる。
【００１５】
図１２（ｂ）は、帳票の左上角が浮き上がった状態で画像取得した場合の帳票の歪みを、強調して表現したものである。このような場合、帳票の文字領域の基準となる角の部分が左上方に伸びたようにずれてしまっているために、文字認識を行った際、文字領域を図のように左上方に誤って補正してしまう。帳票上のすべての文字領域位置はひとつの帳票の角を基準点として位置が定まるため、他の文字領域についても一様にずれてしまう。このため、文字認識結果が誤読になったり、空白になったり、文字領域から実際の記入文字が外れることにより桁落ちしたりする等の影響が帳票全体で生じることになる。そのような場合、文字領域の確認イメージもまたずれて切り出されるので、修正がしづらいばかりでなく、桁落ちにも気づきづらいことになる。例えば、図１２（ｂ）の右下部分の文字領域は、基準となる角がずれたために、実際の記入位置から完全に外れてしまっている。このような場合には、実際には記入があるにもかかわらず空白とみなされてしまうことが生じる。このような場合、金融取引上の事故が発生する可能性がある。
このため、単純にはそのような歪みを検出した場合には当該帳票をリジェクトして歪みの原因を取り除かせて、再度同様な操作を行わせるようにすれば安全である。
【００１６】
ところで、図１２（ｂ）の右下部分は実際にはほとんど歪んでおらず、左上部分の歪みによって文字領域がずれてしまうものである。このような場合は、左上以外の部分については、文字認識を行うようにすれば効率的である。たとえば、左上部分には記入者への説明書きが印刷等されており、それ以外の部分に文字認識の領域があるような場合は、左上部分は文字認識を行わない部分なのであるから、左上部分のゆがみによって再度同じ操作を要求されるのでは、作業の効率が悪い。
従って、このような状態の帳票画像が取得された場合には、帳票の歪みの少ない部分については、文字認識を行うようにするのが効率的である。
【課題を解決するための手段】
【００１７】
このような課題を解決するために、本発明の文字認識装置は以下の構成を備える。
＜構成１＞
帳票の画像を取得して、当該画像上の帳票部分の外形の歪みに応じて文字認識を行う文字認識装置であって、前記帳票部分の外形の歪み特徴を抽出する歪み特徴抽出部と、歪みパターンを帳票の部分ごとの歪みの大小に応じて分類した帳票歪み特徴ＤＢと、前記抽出した帳票部分の歪み特徴を元に該当する歪みパターンを選択する歪み識別部と、選択された歪みパターンに応じて文字認識を行う文字認識部を備えた。
＜構成２＞
前記文字認識部は選択された歪みパターンにより歪みの小さな部分について文字認識を行う。
＜構成３＞
前記文字認識部は歪みのパターンにより文字領域座標補正方法を選択す。
＜構成４＞
前記帳票部分の辺を分割した辺分割点を求める辺分割部を備え、前記歪み特徴抽出部は、各対向する辺の辺分割点を所定の対応条件によって結び、各線分の交点における線分同士の角度を歪み特徴として抽出する。
＜構成５＞
前記帳票部分の角を検出する角検出部を備え、前記辺分割部は、前記検出した角を結ぶ線をそれぞれ分割した点を求め、求めた点を前記帳票部分の辺に対応させることによって辺を分割する。
＜構成６＞
前記辺分割部は、前記分割を所定数で等分に分割する。
＜構成７＞
前記辺分割部は、角に近い部分の前記分割の間隔を短くする。
＜構成８＞
前記分割の間隔は、等分割した場合の分割点の位置を三角関数によって写像して決定する。
＜構成９＞
前記帳票歪み特徴ＤＢには帳票の種別ごとの歪みパターンを帳票の種別ごとの識別情報に関連付けて予め記憶し、前記歪み識別部は、前記抽出した歪み特徴を前記識別情報を元に帳票歪み特徴ＤＢの歪みパターンと比較することによって前記歪みパターンを選択する。
＜構成１０＞
上記の文字認識装置を備えた、金融営業店端末。
【発明の効果】
【００１８】
取得した画像上の帳票の外形情報から帳票歪み特徴を測定して、登録されているひずみパターンと比較することにより帳票の歪みのパターンを識別し、歪みの少ない部分について文字認識を行うことができる。
【発明を実施するための最良の形態】
【００１９】
本発明の実施例について、以下のとおり説明する。
【実施例１】
【００２０】
＜実施例１の構成＞
本システムの概観を図２に示す。
本システムは、非接触スキャナ装置２０１、光学式文字認識装置２０２、ＷＳ２０３から構成され、ＷＳ２０３はキーボード等の入力手段とＣＲＴ等の表示手段を備える。以下、従来のシステムと同じ部分については、説明を省略する。
【００２１】
＜非接触スキャナ装置の構成＞
非接触スキャナ装置２０１の構成は、従来のシステムと同様である。
【００２２】
＜光学式文字認識装置の構成＞
光学式文字認識装置２０２の内部構成は、図１に示すように、制御部２０２ａ、画像メモリ２０２ｂ、帳票角検出部２０２ｃ、フォーマット作成部２０２ｄ、フォーマット読取部２０２ｅ、文字領域補正部２０２ｆ、文字認識部２０２ｇ、辺分割部２０２ｈ、帳票歪み特徴抽出部２０２ｉ、帳票歪み識別部２０２ｊ、帳票歪み特徴ＤＢ作成部２０２ｋ、帳票歪み特徴ＤＢ読取部２０２ｌ、帳票歪み特徴ＤＢ２０２ｍ、許容帳票歪み特徴ＤＢ２０２ｎ、から構成される。
【００２３】
制御部２０２ａ、画像メモリ２０２ｂ、帳票角検出部２０２ｃ、文字認識部２０２ｇ、は従来と同じものであるので説明を省略する。
【００２４】
フォーマット作成部２０２ｄは、従来のシステムの構成に対して、さらに歪み判定の基準となる基準歪み特徴情報を登録するための歪み特徴登録部２０２ｄ４を備えている。フォーマット作成部２０２ｄについては、後述する。
【００２５】
フォーマット読取部２０２ｅは、従来のシステムと同様にフォーマット記憶部の内容を読取る機能を提供する処理部であるが、本実施例に置いては、さらにフォーマット記憶部に登録されている基準歪み特徴を読み取り、出力する機能を持つ。
【００２６】
文字領域補正部２０２ｆは、従来のシステムと異なる点は、帳票を左上、右上、右下、左下の４つの部分に分割し、それぞれの部分に含まれる文字領域を補正するための、左上端補正部、右上端補正部、右下端補正部、左下端補正部で構成される点である。
すなわち、左上端補正部は、左上の帳票端座標から文字領域を補正する手段を有する。右上端補正部は、右上の帳票端座標から文字領域を補正する手段を有する。右下端補正部は、右下の帳票端座標から文字領域を補正する手段を有する。左下端補正部は、左下の帳票端座標から文字領域を補正する手段を有する。
【００２７】
帳票歪み識別部２０２ｊは、フォーマット読取部２０２ｅを用いてフォーマット記憶部から基準歪み特徴情報を取得し、帳票歪み特徴抽出部２０２ｉによって抽出される歪み特徴情報と比較することにより、帳票の歪みを判定し、後述の帳票歪み特徴ＤＢ２０２ｍを参照して想定する歪みパターンから該当するものを選択するとともに、後述の許容帳票歪み特徴ＤＢ２０２ｎを参照して、当該帳票において許容される歪みパターンかどうかを判定する機能を提供する。
【００２８】
辺分割部２０２ｈは、帳票部分の各辺を所定の条件で分割し歪み特徴を抽出する基準となる辺分割点を求める機能を提供する。辺分割部２０２ｈについては、後述する。
【００２９】
帳票歪み特徴抽出部２０２ｉは、画像から帳票の歪み特徴を抽出する機能を提供する。帳票歪み特徴抽出部２０２ｉについては、後述する。
【００３０】
＜歪み特徴情報＞
ここで、本実施例における歪み特徴情報について説明する。
図５（ａ）は、歪み情報の基準となる帳票画像の帳票部分について歪み特徴を抽出した様子である。なお、図１２（ａ）（ｂ）と比べ網点の濃度が異なっているが、文字を見やすくためであり、濃度の違いに特に意味はない。
【００３１】
図５（ａ）において、各記号は以下の意味を持つ。
Ｔｅ：帳票部分の上辺の横幅
Ｂｅ：帳票部分の下辺の横幅
Ｌｅ：帳票部分の左辺の縦幅
Ｒｅ：帳票部分の右辺の縦幅
ｎ：上辺および下辺の分割数
ｍ：左辺および右辺の分割数
Ｖｅｘ （ｘ＝１，２…ｎ）：上辺および下辺の対向する辺分割点を結んだ線分
Ｈｅｙ （ｙ＝１，２…ｍ）：左辺および右辺の対向する辺分割点を結んだ線分
θｅｙｘ（ｙ＝１，２…ｍ）（ｘ＝１，２…ｎ）：ＶｅｘおよびＨｅｙの交点の角度
なお、それぞれの抽出方法は、後述する。
【００３２】
本実施例では、１枚の基準帳票を用いて、θｅｙｘを歪み特徴情報として抽出し、共通の基準歪み特徴情報としてフォーマット記憶部に記憶する。
【００３３】
図５（ｂ）は、判定対象となるとなる帳票画像の帳票部分について図５（ａ）と同じ処理で歪み特徴を抽出した様子である。
図５（ｂ）は、帳票の左角が浮き上がった状態で画像取得した場合の帳票の歪みを、強調して記載したものである。記号の意味は、ｅがｒに変化しただけで、図５（ａ）と同じである。
【００３４】
＜フォーマット作成部＞
フォーマット作成部２０２ｅの内部構成は、図３に示すように、制御部２０２ｄ１、フォーマット保存部２０２ｄ２、文字領域座標設定部２０２ｄ３、歪み特徴登録部２０２ｄ４で構成される。また、他の処理部との図示しない通信処理部を有する。
【００３５】
ここでは、従来システムに対して追加された、歪み特徴登録部２０２ｄ４について説明する。
【００３６】
歪み特徴登録部２０２ｄ４は、基準とする帳票の帳票画像の帳票部分について抽出された歪み特徴情報を、フォーマット記憶部に登録する機能を提供する。例えば、オペレータがＷＳ１０３を介してフォーマット作成部に開始指示を行うことにより、歪み特徴情報の抽出からフォーマット記憶部への登録までの一連の処理が行われる。
【００３７】
なお、前記フォーマットは事前に登録されていれば良く、運用時には、事前にフォーマット記憶部に登録されたフォーマットが参照可能であれば足りる。従って、運用時にはフォーマット作成部２０２ｄは省略することが可能である。
【００３８】
また、文字認識領域が左上、右上、左下、右下のどこにあるかの情報に従って、許容しうる歪みの発生領域を登録する。これは、文字認識領域の存在する位置によって自動的に行ってもよいし、オペレータに指定させてもよい。この情報は、図４のように許容帳票歪み特徴ＤＢ２０２ｎに登録される。
【００３９】
＜辺分割部＞
辺分割部２０２ｈは、帳票部分の辺の分割を行う機能を提供する。
以下に、辺分割部２０２ｈにより、辺を分割する際の処理を説明する。
【００４０】
まず、角検出部２０２ｃにより、従来システムと同様にして前記帳票部分の角が検出される。
辺分割部２０２ｈは、検出した角を結ぶ線分を求める。続いて、求めた線分をそれぞれ所定の数で等間隔に分割する。なお、この所定の数とは、図５（ａ）（ｂ）におけるｎ、ｍであり、分割点の数は入力される帳票のサイズによらず一定になる。続いて、前記分割点より、例えば上辺および下辺であればＹ軸方向に（左辺および右辺であればｘ軸方向に）画素を走査して、背景色と帳票部分の濃度が変化する点を抽出することにより、前記線分の分割点に対応する各帳票辺の辺分割点を抽出することができる。
【００４１】
＜帳票歪み特徴抽出部＞
帳票歪み特徴抽出部２０２ｉは、辺分割部２０２ｈによって得られた辺分割点について、図のように対向するもの同士を結んだ線分を求める。これらの線分は、図５（ａ）（ｂ）におけるＶｅｘ、Ｈｅｙ、Ｖｒｘ、Ｈｒｙのようになる。続いて、各交点の角度θｅｙｘを求め、特徴として出力する。
【００４２】
なお、帳票歪みの有無の評価は、以下のようにして行う。例えば角度を評価する場合の式は以下のとおりである。
［帳票歪み評価値］
θｙｘ ＝ ｜ θｅｙｘ _ θｒｙｘ ｜ （ｙ＝１，２…ｍ）（ｘ＝１，２…ｎ）
［帳票歪み評価値の閾値］
θｙｘの閾値： θＴＨｒ
【００４３】
＜帳票歪み特徴ＤＢ＞
想定する歪みパターンの例を、図１４に示す。網掛け部が歪みが発生している部分、すなわち所定の閾値を超過している部分であり、歪みが大きい部分である。網掛けがない部分が、歪みが発生していないか発生していても歪みが小さい部分、すなわち所定の閾値以下の部分である。
【００４４】
帳票歪み特徴ＤＢ２０２ｍは、図１４に示した想定する歪みパターンに応じた帳票歪み特徴として、図１３に示すように、各歪みパターンの名称、コード、歪みパターン条件を格納したものである。歪みパターン条件は、例えば、「左上角浮き上がり」の場合、前述のθｅｙｘのうち、左上部分のみが閾値超過している場合が該当する。例えば、すべてのθｅｙｘのうち、θｅ１１〜θｅ３３の９つの点についてのみ閾値超過している場合に、左上角浮き上がり（歪みパターンコード＝Ａ）であると判定できる。
また例えば、「左辺＆右辺浮き上がり」の場合、前述のＶｅｘのうち、両端部分のみが他より長く、その割合が所定の閾値を超過している場合が該当する。例えば、すべてのＶｅｘの長さの平均と比べ、Ｖｅ１、Ｖｅｎの２本のみ閾値超過して長い場合に、「左辺＆右辺浮き上がり」（歪みパターンコード＝Ｕ）であると判定できる。
歪みパターン条件は、このように浮き上がり方と前述のＶｅｘ、Ｈｅｙ、θｅｙｘとの関係が記載されている。なお、実際には表中の文が論理式にて表現され記録されている。
【００４５】
また、左上端補正部、右上端補正部、右下端補正部、左下端補正部のいずれの補正部が使用可能か情報が含まれている。例えば、図１３の場合は、「左上角浮き上がり」の場合は左上端補正部のみ使用不可であり、それ以外は使用可能となっている。また、「左辺＆右辺浮き上がり」の場合は、すべての角において歪みが発生すると考えられるので、すべての補正部が使用不可となっている。
帳票ゆがみ特徴ＤＢは、後述のようにして帳票歪み特徴ＤＢ作成部２０２ｋにより登録される。
【００４６】
＜許容帳票歪み特徴ＤＢ＞
許容帳票歪み特徴ＤＢ２０２ｎは、処理対象としてフォーマットを登録している各帳票に対して、それぞれ許容する歪みパターンの歪みパターンコードを登録したテーブルである。図４の例では、帳票００１（帳票ＩＤ＝００１）が許容する帳票歪みパターンがＡ（左上角浮き上がり）であることが分かる。例えば、左上部分には記入者への説明書きが印刷等されており、それ以外の部分に文字認識の領域があるような帳票の場合が相当する。
【００４７】
＜帳票歪み特徴ＤＢ作成部＞
帳票歪み特徴ＤＢ作成部２０２ｋは、前記帳票歪み特徴ＤＢを２０２ｎを登録するための処理部である。具体的には、図１４のような想定する帳票歪みパターンに相当する画像を故意に作成して読み込ませ、帳票歪みパターンごとの帳票歪み特徴を生成し、登録する。また、それぞれの帳票歪みパターンにおいて、歪みの発生度合いに応じて、左上端補正部、右上端補正部、右下端補正部、左下端補正部のいずれの補正部が使用可能かの情報が設定される。例えば、左上の領域について歪みが所定の閾値未満であれば、左上端補正部を使用可とする。それ以外の領域についても同様である。なお、すべての領域についてゆがみが所定の閾値以上であれば、すべての補正部が使用不可となる場合もありうる。
【００４８】
＜実施例１の動作＞
（ａ）フォーマット作成時
図１５（ａ）は、非接触スキャナを用いた光学式文字認識システムにおける前記基準歪み特徴情報の登録時のフローチャートである。まず、画像取得部２０１ｂにて、マット部２０１ａ上に置かれた基準となる登録帳票の読取りを行い、取得画像を画像メモリ２０２ｂに取り込む（Ｓ３０１）。ここで、基準帳票の画像は、歪みの無い状態で取得する必要があるため、浮き上がりや折れ曲がりが無い状態で置く必要がある。これを標準状態または基準状態と呼ぶ。
【００４９】
続いて、帳票角検出部２０２ｃにて、帳票画像上の帳票角を４点検出する（Ｓ３０２）。
【００５０】
続いて、辺分割部２０２ｈにより、帳票部分の辺を分割し、辺分割点を求める（Ｓ３０３）。
【００５１】
続いて、帳票特徴抽出部２０２ｉにて、基準帳票画像の歪み特徴情報を抽出する（Ｓ３０４）。
【００５２】
続いて、歪み特徴登録部２０２ｄ４にて、抽出した歪み特徴情報を基準歪み特徴情報としてフォーマット記憶部に登録する。（Ｓ３０５）。
【００５３】
なお、標準状態で取得した基準歪み特徴情報に含まれる角度は、すべてほぼ９０度となると考えられるので、上記のように標準状態での歪み特徴を取得せずにすべての角度を９０度とする歪み特徴情報を生成して登録することも可能である。ただし、上記のように標準状態での歪み特徴を取得して実際に歪み特徴情報を抽出すれば、カメラのレンズ等の特性により標準状態でも歪みが発生する場合の影響を排除することができるので、精度を向上させることができる。
【００５４】
さらに、オペレータは取得した基準帳票画像を元に帳票毎の文字認識領域を指定し、フォーマットに登録する。指定した文字認識領域の情報は、基準となる角の座標情報とともに、基準角からの相対座標および領域サイズの情報が座標情報として従来どおりに登録される。しかる後に、フォーマットが保存される。（Ｓ３０６）
【００５５】
（ｂ） 帳票歪み特徴ＤＢ作成時
図１５（ｂ）は、非接触スキャナを用いた光学式文字認識システムにおける前記帳票歪み特徴ＤＢ作成時のフローチャートである。本実施例において、帳票歪み特徴ＤＢはすべてのフォーマットについて共通であることを想定する。このため、帳票歪み特徴ＤＢ作成は、前記図１５（ａ）の、フォーマット作成の前に、前記基準歪み特徴情報の登録に用いた帳票をによって行うことが望ましい。
【００５６】
まず、マット部２０１ａ上に浮き上がりの有る状態で、帳票を置く。画像取得部２０１ｂにて、マット部２０１ａ上に置かれた登録帳票の読取りを行い、取得画像を画像メモリ２０２ｂに取り込む（Ｓ３０７）。
【００５７】
続いて、帳票角検出部２０２ｃにて、帳票画像上の帳票角を４点検出する（Ｓ３０８）。
【００５８】
続いて、帳票特徴抽出部２０２ｉにて、帳票画像の歪み特徴情報を抽出する（１３０９）。
【００５９】
続いて、帳票歪み特徴ＤＢ作成部２０２ｋにて、帳票歪み特徴を学習し、帳票歪み特徴ＤＢを作成する（Ｓ３１０）。
【００６０】
Ｓ３０７〜Ｓ３１０の作業を、想定する帳票歪みパターン（例を図１４に示す）全てについて行う。（Ｓ３１１）
【００６１】
（ｃ）読取時
図１６は、非接触スキャナを用いた光学式文字認識システムにおける読取時のフローチャートである。まず、画像取得部２０１ｂにて、マット部２０１ａ上に置かれた読取帳票の読取りを行い、取得画像を画像メモリ２０２ｂに取り込む（Ｓ４０１）。
【００６２】
続いて、帳票角検出部２０２ｃにて、画像メモリ２０２ｂを参照して、画像上の帳票角を４点検出する（Ｓ４０２）。
【００６３】
続いて、辺分割部２０２ｈにより、帳票部分の辺を分割し、辺分割点を求める（Ｓ４０３）。
【００６４】
続いて、帳票歪み特徴抽出部２０２ｉにて、画像の帳票部分の帳票歪み特徴を抽出する（Ｓ４０４）。
【００６５】
続いて、フォーマット読取部２０２ｅは、フォーマット記憶部から基準歪み特徴情報を取得する。（Ｓ４０５）
【００６６】
続いて、帳票歪み識別部２０２ｊにて、下記に示す帳票歪み評価値を計算し、あらかじめ設定されているそれぞれの閾値（θＴＨｒ）と比較することにより帳票歪み特徴を検出する。このとき、また、帳票歪み特徴ＤＢ読取部２０２ｌにより、帳票歪み特徴ＤＢ２０２ｍを参照して、該当する帳票歪みパターンが存在すれば、識別結果として帳票歪みパターンコードを出力する。該当する帳票歪みパターンが見つからなければ、識別失敗の旨を出力する。（Ｓ４０６）
【００６７】
帳票歪み特長の識別に失敗した場合は（Ｓ４０７）、ＷＳ２０３のＣＲＴに“歪み検出失敗”と表示し（Ｓ４０８）、さらにＷＳ２０３のＣＲＴに“帳票リジェクト”と表示する（Ｓ４０９）
【００６８】
識別が成功の場合において、識別結果が歪み無しの場合は（Ｓ４１０）、フォーマット読取部２０２ｅにて、当該帳票の基準角の座標情報と文字認識領域の座標情報が読み取られる。（Ｓ４１１）。
続いて、従来同様に、基準となる角の座標（たとえば左上端座標）により、文字領域を補正する（Ｓ４１２）。続いて、文字認識部２０２ｇにて、文字を認識し（Ｓ４１３）、ＷＳ２０３のＣＲＴに文字認識結果を表示する（Ｓ４１４）。
【００６９】
識別結果が補正可能歪み特徴パタンの場合は、フォーマット読込部１００６にて、フォーマット読取部２０２ｅにて、当該帳票の基準角の座標情報と文字認識領域の座標情報が読み取られる。（Ｓ４１５）。続いて、識別結果に応じて、文字領域補正部２０２ｆの左上端補正部、右上端補正部、右下端補正部、左下端補正部を適宜使用して、登録画像の帳票角座標・文字領域座標、読取画像の帳票角座標から、文字領域を補正する（Ｓ４１６）。
【００７０】
例えば、識別結果が左上角浮き上がりの場合の補正の場合の例を図１７に示す。
図に示すとおり、左上角近辺の文字領域は、補正不可能の為、左上近辺の文字領域をリジェクトとする。すなわち、文字認識結果を不読とする。左上角から遠い文字領域は、左上角以外の角座標から文字領域を補正する。すなわち、帳票を左上、右上、右下、左下の４つの部分に分割し、それぞれ前述の左上端補正部、右上端補正部、右下端補正部、左下端補正部にて補正する。
続いて、リジェクトではない文字領域において、文字認識部２０２ｇにて文字を認識し（Ｓ４１７）、ＷＳ２０３のＣＲＴに文字認識結果を表示する（Ｓ４１８）。続いて、ＷＳ２０３のＣＲＴに帳票歪み識別結果を表示する（Ｓ４１９）。識別結果が補正不可能歪み特徴パタンの場合は（Ｓ４１０）、ＷＳ２０３のＣＲＴに帳票歪み識別結果を表示し（Ｓ４２０）、ＷＳ２０３のＣＲＴに“帳票リジェクト”と表示する（Ｓ４０９）。
【００７１】
このように、基準帳票画像の各辺を所定の値で分割して辺分割点を求め、それぞれを結ぶ線分の交点の角度を基準歪み特徴とし、歪判定の際には、判定対象となる帳票画像の各辺を基準帳票と同様に分割し、同じくそれぞれを結ぶ線分の交点の角度を歪み特徴とし、前記基準歪み特徴と比較することによって、帳票の画像上の歪みを識別し、文字認識可能な領域については文字認識を行うとともに帳票歪みの識別結果を表示するので、オペレータに対して警告ができ、文字領域のずれによる金融取引の事故の発生を防止し、オペレータにとっても確認の負荷が減少するという、効果を得ることができる。
【００７２】
また、想定する帳票の歪みについて、実際に当該歪みを発生させた画像を読み取って自動的に帳票歪みＤＢを作成するので、オペレータの登録作業の不可を軽減できる。
【００７３】
また、前記辺分割点同士を結んだ線分の交点の角度のみを特徴とすることにより、非判定帳票が基準帳票と異なるサイズであっても同じ数の交点を得ることができるので、基準歪特徴データは共通のものを使用できるので、登録は１回のみでよく、新規な帳票を含めて画像の歪みの判定を行うことができる。
【実施例２】
【００７４】
実施例１においては、対応する辺分割点同士を結んだ線分の交点の角度のみを歪み特徴とするとしたが、本実施例においては、前記線分の長さについても歪み特徴情報として用いる。このため、基準歪み特徴は帳票の種別毎に異なるものとなるので、基準歪み特徴情報はおよび各帳票のフォーマット毎に登録されることになる。また、帳票歪み特徴ＤＢについても、帳票毎の情報として登録されることになる。
【００７５】
＜実施例２の構成＞
本実施零におけるシステムの構成は、実施例１と同じく図２で示される。以下、実施例１と異なる部分についてのみ説明する。
【００７６】
＜光学式文字認識装置の構成＞
光学式文字認識装置２０２の内部構成は、実施例１と同じく図１に示される。
制御部２０２ａ、画像メモリ２０２ｂ、帳票角検出部２０２ｃ、文字領域補正部２０２ｆ、文字認識部２０２ｇ、は従来と同じものであるので説明を省略する。
【００７７】
フォーマット読取部２０２ｅは、本実施例においては、基準歪み特徴を、フォーマット毎に取得する機能を有する。
【００７８】
帳票歪み特徴抽出部２０２ｉは、画像から帳票の歪み特徴を抽出する機能を提供するのは実施例１と同様であるが、各辺分割点を結ぶ線分の交点の角度に加えて、前記線分の長さについても、特徴情報として抽出する。帳票歪み特徴抽出部２０２ｉについては、後述する。
【００７９】
＜歪み特徴情報＞
ここで、本実施例における歪み特徴情報について説明する。
図５（ａ）は、歪み情報の基準となる帳票画像の帳票部分について歪み特徴を抽出した様子である。各記号の意味は実施例１と同様である。
【００８０】
本実施例では、１枚の基準帳票を用いて、Ｖｅｘ、Ｈｅｙ、θｅｙｘを歪み特徴情報として抽出し、共通の基準歪み特徴情報としてフォーマットに記憶する。ここで基準歪み特徴は、実施例１と異なり、基準帳票は、フォーマットに登録されている帳票の種別毎に登録する必要がある。
図５（ｂ）は、実施例１と同様であるので、説明を省略する。
【００８１】
＜フォーマット作成部＞
フォーマット作成部２０２ｅの内部構成は、実施例１と同じく図３に示される。
歪み特徴登録部２０２ｄ４は、基準歪み特徴を各帳票のフォーマットに関連づけてフォーマット記憶部に格納する。このため、基準歪み特徴情報は、各帳票ごとの文字情報の登録とともに行うと効率が良い。
【００８２】
＜帳票歪み特徴抽出部＞
帳票歪み特徴抽出部２０２ｉは、辺分割部２０２ｈによって得られた辺分割点について、対向するもの同士を結んだ線分を求める。これらの線分は、図５（ａ）（ｂ）におけるＶｅｘ、Ｈｅｙ、Ｖｒｘ、Ｈｒｙのようになる。続いて、各交点の角度θｅｙｘを求め、前記各線分の長さとともに、特徴として出力する。
【００８３】
＜帳票歪み特徴ＤＢ作成部＞
帳票歪み特徴ＤＢ作成部２０２ｋは、帳票歪み特徴ＤＢ２０２ｍを、共通ではなく各帳票の帳票ＩＤ毎に登録する。このため、基準歪み特徴情報は、各帳票ごとの文字情報の登録とともに、当該帳票を用いて行う。
【００８４】
＜実施例２の動作＞
（ａ）フォーマット作成時
本実施例における動作は、実施例１と同じく図１５（ａ）にて説明される。Ｓ３０１〜Ｓ３０４については、実施例１と同様なので説明を省略する。
【００８５】
Ｓ３０５では、歪み特徴登録部２０２ｄ４にて、抽出した歪み特徴情報を基準歪み特徴情報として当該帳票のフォーマットに関連付けて登録する。
【００８６】
（ｂ） 帳票歪み特徴ＤＢ作成時
本実施例における動作は、実施例１と同じく図１５（ａ）にて説明される。なお、本実施例においては、帳票歪み特徴ＤＢ作成は、各帳票ごとに行われる。すなわち、図１３のような表が帳票ＩＤ毎に個別に登録される。それ以外は、実施例１と同様なので説明を省略する。
【００８７】
（ｃ）読取時
本実施例における動作は、実施例１と同じく図１６にて説明される。Ｓ４０５、Ｓ４０６以外については、実施例１と同様なので説明を省略する。
【００８８】
Ｓ４０５では、フォーマット読み取り部２０２ｅは、フォーマット記憶部から帳票画像の帳票の種別に対応する基準歪み特徴情報を取得する（４０５）。帳票の種別の特定には、既存の方法が適用されるが、例えば当該帳票のシートＩＤや罫線特徴等の特徴情報をフォーマットとともに登録しておき、特徴が一致するフォーマットを選択するようにしてもよい。または、ＷＳのオペレータに対して帳票の種別の指定手段を提供し、指定された情報により帳票の種別を特定することにしても良い。
【００８９】
Ｓ４０６では、帳票歪み識別部２０２ｊは下記に示す式にて帳票歪み評価値を計算する。
［帳票歪み評価値］
Ｖｘ ＝ ｜Ｖｅｘ − Ｖｒｘ｜ （ｘ＝１，２…ｎ）
Ｈｙ ＝ ｜Ｈｅｙ − Ｈｒｙ｜ （ｙ＝１，２ …ｍ）
θｙｘ ＝ ｜ θｅｙｘ − θｒｙｘ ｜ （ｙ＝１，２ …ｍ）（ｘ＝１，２ …ｎ）
［帳票歪み評価値の閾値］
Ｈｘの閾値： ＶＴＨｒ
Ｈｙの閾値： ＨＴＨｒ
θｙｘの閾値： θＴＨｒ
あらかじめ設定されているそれぞれの閾値（ＶＴＨｒ、ＨＴＨｒ、θＴＨｒ）と比較して帳票歪み特徴を検出する。そして、帳票歪み特徴ＤＢ読取部２０２ｌにより、当該帳票の帳票歪み特徴ＤＢ２０２ｍを参照して、該当する帳票歪みパターンが存在すれば、識別結果として帳票歪みパターンコードを出力する。該当する帳票歪みパターンが見つからなければ、識別失敗の旨を出力する。（Ｓ４０６）
【００９０】
このように、基準帳票画像の各辺を所定の値で分割して辺分割点を求め、それぞれを結ぶ線分の交点の角度と各線分の長さとを基準歪み特徴として各帳票毎に登録し、歪み判定の際には、判定対象となる帳票画像の各辺を基準帳票と同様に分割し、同じくそれぞれを結ぶ線分の交点の角度と線分の長さを歪み特徴とし、前記基準歪み特徴と比較することによって、帳票の画像上の歪みが判定できるので、実施例１に対してさらに精度よく歪みの判定を行うことができる。
【００９１】
なお、上述の実施例に置いて、角を結ぶ線分を等分するとしたが、帳票の浮き上がり等による歪みは帳票の角に近い部分ほど大きくなることから、帳票の角に近い部分の分割間隔を短くし、中央すなわち角から遠い部分の分割間隔を長くすることにより、辺分割点の密度を挙げるとさらに精度良く帳票部分の歪みを検出することができる。例えば、図５（ａ）（ｂ）におけるｎ、ｍに対応する分割間隔を三角関数を用いて変換することにより、角に近い部分の分割間隔を短くすることが可能である。例えば、辺の中央を起点＝０とし辺の角部を終点＝π／２［ｒａｄ］とすれば、辺を等分した点を正弦関数によって角に近くなるほど短い間隔となるように写像できる。例えば、中央から角までを３分割する場合、中央から１／３の地点は、ｓｉｎ（（π／２）ｘ（１／３））＝ｓｉｎ（π／６）＝０．５により、中央から角までの半分の地点に写像される。中央から２／３の地点は、ｓｉｎ（（π／２）ｘ（２／３））＝ｓｉｎ（π／３）＝約０．８７により、中央から角までの約０．８７倍の地点に写像される。
なお、実施例１において、基準歪み特徴情報は共通なものを１回登録すればよい、としたが、実施例２のような方法によって帳票ごとに基準歪み特徴情報を登録しても構わない。例えば、カメラのレンズ等の特性により帳票のサイズによって歪み方に差異が生じるような場合には、帳票ごとに基準歪み特徴情報を登録すれば、さらに精度を上げることができる。
【００９２】
なお、上述の実施例において、光学式文字認識装置１０２とスキャナ装置２０１とを別の構成として説明したが、スキャナと光学式文字認識装置とは1体型で構成されていてもかまわない。
また、上述したそのような光学式文字認識装置１０２とＷＳ２０３を組み合わせることにより、帳票画像の文字認識機能を備えた端末装置として機能させることもできる。特に、ＷＳ２０３が金融営業店窓口端末である場合には、帳票画像の文字認識機能を備えた金融営業店窓口端末として機能させることができる。
【図面の簡単な説明】
【００９３】
【図１】本発明の光学式文字認識装置の機能ブロック
【図２】本発明のシステム構成
【図３】本発明のフォーマット作成部の機能ブロック
【図４】帳票ごとの許容帳票歪み特徴ＤＢ
【図５】帳票の歪み特徴の説明
【図６】従来のシステム構成
【図７】従来のスキャナの機能ブロック
【図８】従来の光学式文字認識装置の機能ブロック
【図９】従来のフォーマット作成部の機能ブロック
【図１０】従来の文字領域補正部の機能ブロック
【図１１】従来のフローチャート
【図１２】帳票歪み時の取得画像と領域補正結果
【図１３】帳票歪み特徴ＤＢ
【図１４】歪みパターン例
【図１５】本発明のフローチャート
【図１６】本発明のフローチャート
【図１７】帳票歪み時の取得画像と領域補正結果
【符号の説明】
【００９４】
２０１ スキャナ装置
２０１ａ マット部
２０１ｂ 画像取得部
２０２ 光学式文字認識装置
２０３ ＷＳ
２０２ａ 制御部
２０２ｂ 画像メモリ
２０２ｃ 帳票角検出部
２０２ｄ フォーマット作成部
２０２ｅ フォーマット読取部
２０２ｆ 文字領域補正部
２０２ｇ 文字認識部
２０２ｈ 辺分割部
２０２ｉ 帳票歪み特徴抽出部
２０２ｊ 帳票歪み識別部
２０２ｋ 帳票歪み特徴ＤＢ作成部
２０２ｌ 帳票歪み特徴ＤＢ読取部
２０２ｍ 帳票歪み特徴ＤＢ
２０２ｎ 許容帳票歪み特徴ＤＢ
【特許請求の範囲】
【請求項１】
帳票の画像を取得して、当該画像上の帳票部分の外形の歪みに応じて文字認識を行う文字認識装置であって、
前記帳票部分の外形の歪み特徴を抽出する歪み特徴抽出部と、
歪みパターンを帳票の部分ごとの歪みの大小に応じて分類した帳票歪み特徴ＤＢと、
前記抽出した帳票部分の歪み特徴を元に該当する歪みパターンを選択する歪み識別部と、
選択された歪みパターンに応じて文字認識を行う文字認識部を備えた、
文字認識装置。
【請求項２】
前記文字認識部は選択された歪みパターンにより歪みの小さな部分について文字認識を行う、請求項１に記載の文字認識装置。
【請求項３】
前記文字認識部は歪みのパターンにより文字領域座標補正方法を選択する、
請求項１に記載の文字認識装置。
【請求項４】
前記帳票部分の辺を分割した辺分割点を求める辺分割部を備え、
前記歪み特徴抽出部は、各対向する辺の辺分割点を所定の対応条件によって結び、各線分の交点における線分同士の角度を歪み特徴として抽出する、
請求項１に記載の文字認識装置。
【請求項５】
前記帳票部分の角を検出する角検出部を備え、
前記辺分割部は、前記検出した角を結ぶ線をそれぞれ分割した点を求め、求めた点を前記帳票部分の辺に対応させることによって辺を分割する、請求項４に記載の文字認識装置。
【請求項６】
前記辺分割部は、前記分割を所定数で等分に分割する、請求項５に記載の文字認識装置。
【請求項７】
前記辺分割部は、角に近い部分の前記分割の間隔を短くする、請求項５に記載の文字認識装置。
【請求項８】
前記分割の間隔は、等分割した場合の分割点の位置を三角関数によって写像して決定する、請求項７に記載の文字認識装置。
【請求項９】
前記帳票歪み特徴ＤＢには帳票の種別ごとの歪みパターンを帳票の種別ごとの識別情報に関連付けて予め記憶し、
前記歪み識別部は、前記抽出した歪み特徴を前記識別情報を元に帳票歪み特徴ＤＢの歪みパターンと比較することによって前記歪みパターンを選択する、請求項１から８のいずれかに記載の文字認識装置。
【請求項１０】
請求項１から９のいずれかに記載の文字認識装置を備えた、金融営業店端末。
【請求項１】
帳票の画像を取得して、当該画像上の帳票部分の外形の歪みに応じて文字認識を行う文字認識装置であって、
前記帳票部分の外形の歪み特徴を抽出する歪み特徴抽出部と、
歪みパターンを帳票の部分ごとの歪みの大小に応じて分類した帳票歪み特徴ＤＢと、
前記抽出した帳票部分の歪み特徴を元に該当する歪みパターンを選択する歪み識別部と、
選択された歪みパターンに応じて文字認識を行う文字認識部を備えた、
文字認識装置。
【請求項２】
前記文字認識部は選択された歪みパターンにより歪みの小さな部分について文字認識を行う、請求項１に記載の文字認識装置。
【請求項３】
前記文字認識部は歪みのパターンにより文字領域座標補正方法を選択する、
請求項１に記載の文字認識装置。
【請求項４】
前記帳票部分の辺を分割した辺分割点を求める辺分割部を備え、
前記歪み特徴抽出部は、各対向する辺の辺分割点を所定の対応条件によって結び、各線分の交点における線分同士の角度を歪み特徴として抽出する、
請求項１に記載の文字認識装置。
【請求項５】
前記帳票部分の角を検出する角検出部を備え、
前記辺分割部は、前記検出した角を結ぶ線をそれぞれ分割した点を求め、求めた点を前記帳票部分の辺に対応させることによって辺を分割する、請求項４に記載の文字認識装置。
【請求項６】
前記辺分割部は、前記分割を所定数で等分に分割する、請求項５に記載の文字認識装置。
【請求項７】
前記辺分割部は、角に近い部分の前記分割の間隔を短くする、請求項５に記載の文字認識装置。
【請求項８】
前記分割の間隔は、等分割した場合の分割点の位置を三角関数によって写像して決定する、請求項７に記載の文字認識装置。
【請求項９】
前記帳票歪み特徴ＤＢには帳票の種別ごとの歪みパターンを帳票の種別ごとの識別情報に関連付けて予め記憶し、
前記歪み識別部は、前記抽出した歪み特徴を前記識別情報を元に帳票歪み特徴ＤＢの歪みパターンと比較することによって前記歪みパターンを選択する、請求項１から８のいずれかに記載の文字認識装置。
【請求項１０】
請求項１から９のいずれかに記載の文字認識装置を備えた、金融営業店端末。
【図１】
【図２】
【図３】
【図４】
【図５】
【図６】
【図７】
【図８】
【図９】
【図１０】
【図１１】
【図１２】
【図１３】
【図１４】
【図１５】
【図１６】
【図１７】
【図２】
【図３】
【図４】
【図５】
【図６】
【図７】
【図８】
【図９】
【図１０】
【図１１】
【図１２】
【図１３】
【図１４】
【図１５】
【図１６】
【図１７】
【公開番号】特開２００７−７９９６６（Ｐ２００７−７９９６６Ａ）
【公開日】平成１９年３月２９日（２００７．３．２９）
【国際特許分類】
【出願番号】特願２００５−２６７２７３（Ｐ２００５−２６７２７３）
【出願日】平成１７年９月１４日（２００５．９．１４）
【出願人】（００００００２９５）沖電気工業株式会社 (6,645)
【Ｆターム（参考）】
【公開日】平成１９年３月２９日（２００７．３．２９）
【国際特許分類】
【出願日】平成１７年９月１４日（２００５．９．１４）
【出願人】（００００００２９５）沖電気工業株式会社 (6,645)
【Ｆターム（参考）】
[ Back to top ]