帳票画像歪み検出方法
【課題】帳票の置き方によって画像上で帳票の歪みが生じ、文字認識結果が誤読となったり、空白となったり、読取領域から実際の記入文字が外れることにより桁落ちする等の影響が帳票全体で生じると、金融取引上の事故が発生する可能性がある。
【解決手段】４辺からなる帳票の画像のそれぞれの辺と角を検出するステップと、１つの辺とその両端の角について、前記両端の角と当該辺からなる図形を前記４つの辺について求めるステップと、求めた図形のサイズによって前記帳票の画像の歪みを検出するステップからなる。
【解決手段】４辺からなる帳票の画像のそれぞれの辺と角を検出するステップと、１つの辺とその両端の角について、前記両端の角と当該辺からなる図形を前記４つの辺について求めるステップと、求めた図形のサイズによって前記帳票の画像の歪みを検出するステップからなる。
【発明の詳細な説明】
【技術分野】
【０００１】
本発明は、帳票をマットにセットし、上部からセンサ部でイメージを読み取る非接触スキャナ装置を用いた帳票画像の歪みを判別する帳票歪み判別装置に関するものである。
【背景技術】
【０００２】
現在、金融営業店の窓口業務等にて、顧客が持ち込んだ帳票や本人確認書類等の種々の用紙の画像を取得するための、非接触型スキャナが用いられている。非接触型スキャナは、帳票を置くマット部の上方に設置されたカメラによって、マット部に置いた帳票の画像を取得する形式のスキャナである。金融営業店の窓口業務においては、非接触型スキャナは、金融営業店窓口の窓口端末に接続され、画像取得の制御が行われる。非接触型スキャナは、フラットベッド型スキャナやシートフィード型スキャナに比べ、画像取得のための操作が簡便で所要時間が短い等の特徴を持っている。（例えば非特許文献１）
窓口にて取得された帳票の画像に対しては、光学的文字認識装置によって所定の文字認識処理が行われ、記入内容がデータ化され、金融取引に利用される。文字認識処理は、帳票ごとに予め読取位置を記録した読取フォーマットを用意し、帳票の角（例えば左上角）を基準として画像上の読取位置を特定し、該当位置の文字を切り出して認識する。また、切り出した読取領域画像は文字認識結果の確認イメージとして利用するために、文字認識結果とともに記憶される。
【非特許文献１】沖テクニカルレビュー２００２年１月／第１８９号Ｖｏｌ．６９ Ｎｏ．１「カラーダイレクトスキャナ」
【発明の開示】
【発明が解決しようとする課題】
【０００３】
非接触型スキャナは前記のとおり、マット部に置かれた帳票を上方からカメラによって撮影することにより画像取得する構造である為、マットから帳票が浮き上がった状態で画像取得した場合等、帳票自体は歪んでいなくとも、帳票の置き方によって画像上で帳票の歪みが生じる。
【０００４】
例えば図３（ｂ）は、帳票の左上角が浮き上がった状態で画像取得した場合の帳票の歪みを、強調して表現したものである。浮き上がりが発生すると、帳票の角はカメラからの見た目としてはカメラの視界の外側に移動する。このため、帳票の文字領域の基準となる角の部分が左上方に伸びたようにずれてしまい、文字認識を行った際、文字領域を図のように左上方に誤って補正してしまう。帳票上のすべての文字領域位置はひとつの帳票の角を基準点として位置が定まるため、他の文字領域についても一様にずれてしまう。このため、文字認識結果が誤読となったり、空白となったり、読取領域から実際の記入文字が外れることにより桁落ちする等の影響が帳票全体で生じることになる。そのような場合、文字領域の確認イメージもまたずれて切り出されるので、修正がしづらいばかりでなく、桁落ちにも気づきづらいことになる。例えば、図３（ｂ）の右下部分の文字領域は、基準となる角がずれたために、実際の記入位置から完全に外れてしまっている。このような場合には、実際には記入があるにもかかわらず空白とみなされてしまうことが生じる。このような場合、金融取引上の事故が発生する可能性がある。
【０００５】
また、上記のような帳票の浮き上がりがない場合であっても、スキャナとして用いるカメラ自体の性能によっても画像の歪みが発生する場合がある。例えば、レンズの光学的性質に起因する歪曲収差の影響によるたる型歪みが挙げられる。図３（ｃ）は、たる型歪みが発生した場合の例である。この場合、帳票がたる型に歪んだことによって、記入文字が外側に移動して読取領域から外れてしまっている。このような場合には、はみ出した文字が認識されずに桁落ちが発生するため、金融取引上の事故が発生する可能性がある。
従って、このような帳票画像の歪みが発生した場合には、画像を無効とし、帳票の浮き上がり等を修正させたり、スキャナを変更する等したうえで、オペレータに再度帳票画像を取得させる必要がある。
【課題を解決するための手段】
【０００６】
このような課題を解決するために、本発明の帳票画像歪み検出方法は以下の構成を備える。
＜構成１＞
４辺からなる帳票の画像のそれぞれの辺と角を検出するステップと、１つの辺とその両端の角について、前記両端の角と当該辺からなる図形を前記４つの辺について求めるステップと、求めた図形のサイズによって前記帳票の画像の歪みを検出するステップからなる。
＜構成２＞
前記図形は、１つの辺とその両端の角について、前記両端の角を二つの頂点とし、当該辺の上に選択した一点をもう一つの頂点とする三角形である。
＜構成３＞
前記図形のサイズのうち少なくとも一つが所定値を超えた場合に歪みが発生したと判定する。
＜構成４＞
前記図形の組み合わせが予め定めた歪みパターンモデルに該当する場合に、歪みが発生したと判定する。
＜構成５＞
前記歪みパターンモデルは、前記図形のサイズと発生位置と発生する方向の組み合わせからなる。
＜構成６＞
４辺からなる帳票の画像のそれぞれの辺と角を検出するステップと、１つの辺を分割するステップと、前記分割した辺と分割点を結んだ線からなる図形を求めるステップと、それぞれの辺について求めた図形の組み合わせが予め定めた歪みパターンモデルに該当する場合に、歪みが発生したと判定するステップからなる。
＜構成７＞
前記図形は、前記分割した辺と両端の角または分割点とを結んだ三角形であり、前記歪みパターンモデルは、前記三角形のサイズと発生位置と発生する方向の組み合わせからなる。
＜構成８＞
前記三角形は正規化したサイズに基づき比較される。
＜構成９＞
４辺からなる帳票の画像のそれぞれの辺の両端の角を検出するステップと、対角線を求めるステップと、それぞれの辺の両端の角と前記対角線の交点とを結ぶ図形のサイズを求めるステップと、前記図形のサイズの差によって前記帳票の画像の歪みを検出するステップからなる。
＜構成１０＞
前記図形は、それぞれの辺の両端の角と前記対角線の交点とを結ぶ三角形か、それぞれの辺と、前記角と対角線の交点とを結ぶ線により囲まれる図形かのいずれかである。
＜構成１１＞
前記図形のサイズの差は、前記対角線の交点を中心に対向する図形同士を比較することによって求める。
＜構成１２＞
前記図形のサイズの差は、前記対角線によって隣接する図形同士を比較することによって求める。
＜構成１３＞
前記図形のサイズの差はサイズの比率であり、前記比率が予め定めた歪みパターンモデルに該当する場合に、歪みが発生したと判定する。
【発明の効果】
【０００７】
本発明によれば、画像上で発生した帳票のゆがみを検出することができる。
【発明を実施するための最良の形態】
【０００８】
本発明の実施例について、以下のとおり説明する。
【実施例１】
【０００９】
本発明の第１の実施例について、以下の通り説明する。
＜実施例１の構成＞
本システムの構成を図１に示す。
【００１０】
本システムは、非接触スキャナ装置１、画像処理装置２、ＰＣ３から構成される。
図１において、非接触スキャナ装置１は上から見た図を示している。非接触スキャナ装置１は、マット部１１、支持部材１２によってマット部１１の上方に位置するように配置された画像取得部としてのカメラ１３から構成される。
【００１１】
また図示しないが、非接触スキャナ装置１全体の制御および画像処理装置２との通信機能を有するスキャナ装置制御部を備えている。
【００１２】
マット部１１は、画像を取得する帳票を設置するための置き台である。マット部１１は図１においては網掛けで表現しているが、黒色等、画像上で帳票と容易に区別ができる色の材質が用いられる。これにより、取得した帳票画像はマット部が背景となるため、黒い背景色に対し、帳票が浮き上がって見えるような状態となる。このため、容易に帳票の辺を検出することが可能となる。
【００１３】
カメラ１３は、マット部１１上の帳票を撮影し画像データに変換する機能を有する、ＣＣＤやＣ−ＭＯＳ等を利用したカメラである。
【００１４】
画像処理装置２は、取得した帳票画像から帳票の種類を特定し、さらに当該帳票の文字認識すべき領域を特定し、文字認識を行う。その際、帳票画像に歪みが発生しているか否かの判定を同時に行う。なお、本発明では、帳票画像の帳票部分に歪みが発生することをもって、帳票画像に歪みが発生する、と表現する。
【００１５】
ＰＣ３はシステム全体を制御するための端末であり、図示しないメモリやＣＲＴ等の表示部やキーボードマウス等の操作部を備えた、一般的なＰＣ等が使用される。
【００１６】
なお、ここでは画像処理装置２は独立したハードウェアによって実現するものとして説明するが、ＰＣ３内に設けたソフトウェアであってもよい。
【００１７】
次に、画像処理装置２の構成について図２を用いて説明する。
画像処理装置は、制御部２１、帳票検出処理部２２、歪み検出処理部２３、歪みパターンＤＢ２４、文字認識処理部２５、帳票フォーマットＤＢ２６、また図示しない記憶部により構成される。なお、本発明においてＤＢとはデータベースの略である。
【００１８】
制御部２１は、画像処理装置２全体ないし各処理部の制御を行う。
【００１９】
帳票検出処理部２２は、取得した帳票画像から、帳票部分の外形を検出する処理部である。帳票部分の検出は、帳票画像の背景部分の黒色から帳票部分の白色に変化する部分の画素を発見することによって帳票部分の外形が検出される。具体的には、帳票画像の座標の原点（例えば左上）から順次画素の値が黒か白かを確認し、白画素を発見したら、そこを最初の帳票端（背景部分の黒画素と帳票部分の白画素が隣接する部分）として、黒画素に隣接する白画素を順次探索する。発見した帳票端の画素は逐次記憶していく。そのようにして、最初の帳票端の画素に到達すると帳票部分の外形が、連続する帳票端の白画素の座標として検出される。
【００２０】
歪み検出処理部２３は、検出した帳票の外形を元に、帳票の歪みを検出する処理部である。
歪み検出処理部２３はさらに、帳票辺検出部２３２、帳票角検出部２３１、帳票歪み特徴抽出部２３３、帳票歪み判断部２３４によって構成される。
【００２１】
帳票角検出部２３１は、帳票の外形から帳票の角を検出する処理部である。検出した帳票端を一定方向に移動しながら、帳票端の座標の変化量を順次計算すると、ｘ座標（横方向）ｙ座標（縦方向）それぞれの変化量は、辺部分では一定か滑らかに変化するようになる。例えば、縦の右辺の場合、正確に垂直であれば帳票端の画素を上から下に１画素ずつ移動した際のｘ座標の変化量は０で、ｙ座標の変化量は１である。帳票の角に到達すると、今度は横の下辺を右から左に１画素ずつ移動するようになる。ここで、帳票端の画素を次の帳票端の画素に移動すると、ｘ座標の変化量は−１に転じ、Ｙ座標の変化量は０に転じる。そして、この変化量は横の辺を移動する間は一定となる。これをベクトルで表現すると、右辺を移動している間は下方向のベクトルとなるが、角を境に９０°変化し、左方向のベクトルとなる。このように、帳票端の画素を追跡して、座標の変化量を計算していくと、座標の変化の方向が転じる点が検出でき、これを帳票の角として検出する。検出した角の座標は、記憶部に記憶される。
【００２２】
前述のような帳票の歪みがある場合であっても、辺においては上記のベクトルの変化は緩やかであり、角に達すると概ね９０°変化するので、検出が可能である。
【００２３】
なお、解像度が高くなると、帳票端の微細な乱れが検出されやすくなるが、そのような乱れが角の検出に影響しないよう、上記の角の検出は、複数の画素（例えば８ｘ８、１６ｘ１６等）をまとめて輝度の平均値をとり、擬似的な画素として追跡すればよい。
【００２４】
帳票辺検出部２３２は、上記の角の検出の結果、角と角の間の帳票端を辺として検出するものである。辺は、帳票端に沿った画素の座標の集合として検出され、記憶部に記憶される。帳票辺検出部２３２は、帳票角検出部２３１に内蔵させて角検出と平行して辺検出を行うようにしてもよい。
【００２５】
帳票歪み特徴抽出部２３３は、検出した帳票角、および帳票辺に基づき、帳票歪みの特徴を抽出する処理部である。本実施例における帳票歪み特徴の抽出方式については後述する。
帳票歪み判断部２３４は、抽出した帳票歪み特徴と、歪みパターンＤＢから取得した歪みパターンとを比較し、該当する歪みパターンがあるか否かによって、帳票画像の歪みが発生しているかどうかを検出し、かつどのような歪みが発生しているかを把握することができる。
【００２６】
該当する歪みパターンがあっても、所定量以下の歪みであれば、歪み発生無しと判断する。
なお、歪みパターンＤＢに該当する歪みが無かったとしても、帳票歪み特徴量が大きい場合には、想定以外の歪みとして検出することもできる。
【００２７】
歪みパターンＤＢ２４は、予め想定する帳票の歪み特徴を歪みパターンとして記憶しておくＤＢである。
【００２８】
文字認識処理部２５は、歪みがないと判断された場合に、帳票の文字認識処理を行うための処理部であり、認識領域補正部２５１、文字認識部２５２によって構成される。
【００２９】
認識領域補正部２５１は、帳票の基準となる角によって文字認識を行う読取領域の位置を補正し、文字認識部２５２によって読取領域の文字認識を行う。
【００３０】
読取領域は帳票フォーマットとして定義されており、帳票フォーマットは帳票フォーマットＤＢに登録されている。帳票フォーマットは、帳票の識別を行って帳票の種類を特定することにより、帳票フォーマットＤＢから取り出される。
【００３１】
なお、上記の各処理部は画像処理装置２内で動作するプログラムによって実現されるものとするが、同等の機能を発揮するものであればハードウェアによって実現しても構わない。また、各ＤＢは記憶装置上のファイルによって実現されるものとするが、論理構成として独立していれば、同一のＤＢ内に構成しても構わない。
【００３２】
ここで、本実施例における帳票歪み特徴抽出部２３３の処理を詳細に説明する。
図５（ａ）は、帳票の左端が浮いたために発生した帳票画像の歪みを示す図である。
なお、以下の説明に共通して、帳票を４つの角Ａ、Ｂ、Ｃ、Ｄによる図形ＡＢＣＤとして表現する。
【００３３】
図５（ａ）において、歪みによって、帳票ＡＢＣＤのうち、辺ＡＢ、辺ＡＤが湾曲している。ここで、歪み特徴として、辺とその両端の角で描かれる図形を求める。ここでは、辺上に選択した１点とその両端の角で描かれる三角形を考える。返上の１点の選択の仕方の例としては以下のようなものが考えられる。
（Ａ）辺ＡＤ上の１点をＬ１とし、三角形ＡＤＬ１の面積をＬ１を移動させつつ計算し、面積が最大となる点を求める。
（Ｂ）辺ＡＤを曲線近似し、曲率が最大となる点を求める。
（Ｃ）角を結んだ線分ＡＤからの法線方向の距離が最大となる点（すなわち、線分ＡＤから最も離れる点）を求める。
このようにして選択される点を特徴点と呼ぶ。
【００３４】
図５（ａ）の場合、辺ＡＤ、辺ＢＣについては上記のような方法で特徴点Ｌ１、Ｌ２が抽出され、二つの三角形Ｔ１０１、Ｔ１０２が得られる。
【００３５】
辺ＢＣ、辺ＣＤについては特頂点は検出されない。すなわち、例えば（Ａ）の場合各点Ａ、Ｄ、Ｌ１は一直線上に並ぶので三角形が描けず、常に面積が０となる。（Ｂ）の場合は、曲率は常に０となる。（Ｃ）の場合、線分ＡＢと辺ＡＢは一致するので距離は常に０である。これらのような場合は特徴点は検出されないものとする。
【００３６】
また、この三角形が、辺の内側と外側のどちらに発生するかによって、図形の発生方向を求める。図５（ａ）のよな場合、三角形が辺の外側に発生しているので、二つの三角形Ｔ１０１、Ｔ１０２はいずれも外方向に発生している、と表現する。
【００３７】
これらの、図形の発生した辺、図形の面積、図形の発生方向を合わせて、帳票歪み特徴として抽出する。図５（ａ）の場合、以下のように表現する。
発生箇所１＝辺ＡＢ、面積＝（Ｔ１０２の面積）、方向＝外方向
発生箇所２＝辺ＡＤ、面積＝（Ｔ１０１の面積）、方向＝外方向
【００３８】
なお、三角形ではなく、特徴点を複数とって多角形としてもよい。その場合、特徴点の抽出条件は、上記の（Ａ）〜（Ｃ）について最大値ではなく所定値以上とし、所定数おきに画素を選択するようにすればよい。
【００３９】
または、特徴点を取らず、辺と線分で囲まれる図形の面積を求め、上記の帳票歪み特徴の面積として抽出してもよい。例えば図５（ｂ）の網掛け部分のように図形を求めれば、上記（Ａ）〜（Ｃ）のような特徴点の取り方によって面積が変動することもなく、安定した特徴量を得ることができる。この場合、辺を所定数に当分して分割点により囲まれる部分の面積を求めれば、より少ない計算量で、近似的に図５（ｂ）の網掛け部分の面積を得ることもできる。
【００４０】
また、帳票の浮き上がりではなく、前述したカメラの光学的な特性により生じる歪みが発生する場合がある。図６（ａ）は、カメラのレンズの歪曲収差の影響によるたる型歪みが発生した場合の説明図である。
【００４１】
この場合の歪み特徴も上記のようにして求めることができる。図６（ａ）の歪み特徴は以下のように表現される。
発生箇所１＝辺ＡＤ、面積＝（Ｔ１０３の面積）、方向＝内方向
発生箇所２＝辺ＢＣ、面積＝（Ｔ１０４の面積）、方向＝内方向
【００４２】
また、同じくレンズの影響で発生する歪みとして図６（ｂ）のような糸巻き歪みが発生する場合がある。この場合の歪み特徴も上記のようにして求めることができる。図６（ｂ）の歪み特徴は以下のように表現される。
発生箇所１＝辺ＡＤ、面積＝（Ｔ１０５の面積）、方向＝外方向
発生箇所２＝辺ＢＣ、面積＝（Ｔ１０６の面積）、方向＝外方向
【００４３】
このように、図形の発生する方向を歪み特徴に含めることにより、仮に図形の面積が同じであっても、歪みの種類を特定することができる。図６の場合は、発生方向が内方向であればたる型であり、外方向であれば糸巻き方である。
【００４４】
ここで、歪みパターンＤＢ２４に登録されている歪みパターンは、以下のような情報が含まれている。
・発生箇所（図形の発生する辺）
・面積（図形の面積の閾値。このサイズ以上の場合、該当する歪み発生とみなす）
・方向（発生した図形は辺に対して内側か外側か）
また、上記の組み合わせに応じて、歪みの種類が格納される。例えば、図５（ａ）（ｂ）のように帳票の上辺と左辺の外側に図形が発生するパターンであれば、ゆがみの種類は「帳票の載置方法」による「左上角浮き上がり」である。図６（ａ）のように帳票の左辺と右辺の内側に図形が発生するパターンであれば、歪みの種類は「レンズ特性」による「たる型歪み」である。図６（ｂ）のように帳票の左辺と右辺の外側に図形が発生するパターンであれば、歪みの種類は「レンズ特性」による「糸巻き型歪み」である。
【００４５】
また、帳票画像に歪みがない場合のパターンとして、空のパターン（図形の発生箇所がひとつもない）も登録しておくものとする。
【００４６】
＜実施例１の動作＞
次に、本実施例の動作について図４を用いて説明する。
【００４７】
Ｓ１０１：まず非接触スキャナ装置１により帳票画像を取得する。
【００４８】
Ｓ１０２：帳票検出処理部２２によって、帳票画像より帳票部分を検出する。
【００４９】
Ｓ１０３：帳票角検出部２３１によって、帳票角を検出する。
【００５０】
Ｓ１０４：帳票辺検出部２３２によって、帳票辺を検出する。
【００５１】
Ｓ１０５：帳票歪み特徴抽出部２３３によって、帳票歪み特徴を抽出する。
【００５２】
Ｓ１０６：帳票歪み判断部２３４は、歪みパターンＤＢから、歪みパターン検索する。このとき、検索する歪みパターンは、抽出した帳票歪み特徴との距離計算を行うことによって、近いものを選択するようにしてもよい。
【００５３】
Ｓ１０７：帳票歪み判断部２３４は、検索した歪みパターンの中に、抽出した帳票歪み特徴に該当するパターンがあるか否かを判定する。本実施例においては、該当するパターンとは、抽出した帳票歪み特徴と発生位置、発生方向が同じ歪みパターンである。該当するパターンがあれば、Ｓ１０８移る。該当するパターンがない場合は、Ｓ１０９に移る。
【００５４】
Ｓ１０８：帳票の歪み特徴量が閾値以内であるか否かを判定することにより、歪みの発生の有無を判断する。本実施例においては、抽出した帳票歪み特徴に含まれる各辺の図形の面積が、前記該当した歪みパターンに含まれる面積を超えるかどうかによって判断する。このとき、いずれかの辺において閾値を超えていれば、歪みが発生したものと判断する。なお、該当した歪みパターンが、歪み発生なしの場合すなわち空の歪みパターンである場合は、比較する面積が存在しないので、自動的に閾値以内と判定する。
【００５５】
Ｓ１０９：歪み発生と判断した場合、帳票リジェクトの表示を行う。このとき、該当した歪みパターンに応じて、歪みの種類を表示してもよい。例えば、図５の帳票の浮き上がりであれば、歪みパターンに含まれる歪みの種類に応じて「『帳票の載置方法』による画像歪みが発生しました。『左上角浮き上がり』が発生してます。帳票を置きなおしてください」といった表示を行う。また、図６（ａ）の場合は、「『レンズ特性』による『たる型歪み』が発生しています。スキャナを確認してください。」といった表示を行う。これによって、オペレータは、帳票を置きなおして処理をやり直したり、スキャナを変更する等の対処を行うことができる。
【００５６】
Ｓ１１０：文字認識処理部２５は帳票画像を識別して帳票の種類を特定し、帳票フォーマットＤＢから該当する帳票フォーマットを取得する。帳票フォーマットの読取領域の位置情報と帳票の基準点の座標を元に、帳票画像上の読取領域の位置を特定する。
【００５７】
Ｓ１１１：読取領域の画像を切り出して、文字認識を行う。文字認識結果は、切り出した画像とともに記憶される。
【００５８】
なお、歪みの種類によらず歪みが発生したことのみを検出すれば足りる場合には、上記のような歪みの発生した位置や方向までは考慮せず、いずれかの辺において、所定サイズ以上の面積を持つ図形が発生すれば、歪みが発生したことを検出するようにしてもよい。その場合は、歪みパターンとの比較は行わず、発生した図形の面積のみを考慮し、所定値を比較するようにすればよい。
【００５９】
例えば、Ｓ１０７にて、帳票の歪みパターンを参照しているが、歪みの発生のみを検出すればよい場合は、発生した図形の面積すなわち図形のサイズの閾値のみを保持し、それ以上の面積を持つ図形が発生したかのみを判断すればよい。すなわち、Ｓ１０７は省略し、Ｓ１０８の判断を行うようにしてもよい。
【００６０】
本実施例によれば、帳票辺毎に、帳票辺と辺の両端の角による図形の発生、図形の面積、図形の発生方向を求めて帳票歪み特徴としたので、予め登録した歪みパターンとの比較により、歪みの発生の有無、歪みの種類を特定することが可能になった。また、帳票辺と辺の両端の角による図形の面積のみを所定の閾値と比較することにより、歪みの有無のみを検出することも可能になった。
【実施例２】
【００６１】
次に、本発明の第２の実施例について、以下の通り説明する。
本実施例においては、帳票辺の変形が複数のカーブからなるような波上の複雑な形態であった場合に適用される。
【００６２】
＜実施例２の構成＞
実施例２の構成は、実施例１の構成と同様であるので、相違点のみを以下に説明する。
実施例２において、実施例１と異なるのは、帳票歪み特徴抽出部２３３、帳票歪み判断部２３４、歪みパターンＤＢ２４の３つである。
【００６３】
ここで、本実施例における帳票歪み特徴抽出部２３３の処理を詳細に説明する。
本実施例においては、実施例１と同じく、歪み特徴として、辺とその両端の角で描かれる図形を求めるが、さらに、辺とその両端の角を結んだ線分の交点も加えて、図形を求める。図７は、帳票の右辺が波打った状態でマット部１１に載置されたために発生した帳票画像の歪みを示す図である。図７において、歪みによって、帳票ＡＢＣＤのうち、辺ＢＣが波打ったように湾曲している。
【００６４】
まず、辺ＢＣと線分ＢＣの交点として、Ｐ１、Ｐ２が求められる。これを分割点とし、辺ＢＣは部分辺ＢＰ１、部分辺Ｐ１Ｐ２、部分辺Ｐ２Ｃに分割される。
【００６５】
これらの部分辺について、それぞれ実施例１と同様にして図形を求めることにより、以下のような帳票歪み特徴が得られる。
発生箇所１＝辺ＢＣ、分割数＝１／３、面積＝（Ｔ１１１の面積）、方向＝外方向
発生箇所２＝辺ＢＣ、分割数＝２／３、面積＝（Ｔ１１２の面積）、方向＝内方向
発生箇所３＝辺ＢＣ、分割数＝３／３、面積＝（Ｔ１１３の面積）、方向＝外方向
ここで、分割数は、分母が辺ＢＣを分割した数、分子が分割した部分辺のいずれであるかを示す。
【００６６】
なお、求める図形が、上記の部分辺と部分辺の両端を結んだ線分による、三角形あるいは多角形あるいは辺と線分で囲まれる図形そのもののいずれとしてもよいことは実施例１の通りである。
【００６７】
ここで、歪みパターンＤＢ２４に登録されている歪みパターンは、以下のような情報が含まれている。
・発生箇所（図形の発生する辺）
・分割数（辺を分割した数と、分割した部分辺のいずれであるか）
・面積（図形の面積の閾値。このサイズ以上の場合、該当する歪み発生とみなす）
・方向（発生した図形は辺に対して内側か外側か）
また、上記の組み合わせに応じて、歪みの種類が格納される。例えば、図７のようなパターンであれば、ゆがみの種類は「帳票の載置方法」による「右辺の波打ち」である。
【００６８】
また、帳票画像に歪みがない場合のパターンとして、空のパターン（図形の発生箇所がひとつもない）も登録しておくものとする。
【００６９】
＜実施例２の動作＞
次に、本実施例の動作について図４を用いて説明する。
【００７０】
Ｓ１０１〜Ｓ１０６は、実施例１の説明と同様である。但し、帳票歪み特徴抽出部２３３の処理については上記の通りである。
【００７１】
Ｓ１０７：帳票歪み判断部２３４は、検索した歪みパターンの中に、抽出した帳票歪み特徴に該当するパターンがあるか否かを判定する。本実施例においては、該当するパターンとは、抽出した帳票歪み特徴と発生位置、分割数、発生方向が同じ歪みパターンである。該当するパターンがあれば、Ｓ１０８移る。該当するパターンがない場合は、Ｓ１０９に移る。
【００７２】
Ｓ１０８：帳票の歪み特徴量が閾値以内であるか否かを判定することにより、歪みの発生の有無を判断する。本実施例においては、抽出した帳票歪み特徴に含まれる各辺の各部分辺ごとの図形の面積が、前記該当した歪みパターンに含まれる面積の閾値を超えるかどうかによって判断する。このとき、いずれかの辺において閾値を超えていれば、歪みが発生したものと判断する。なお、該当した歪みパターンが、歪み発生なしの場合すなわち空の歪みパターンである場合は、比較する面積が存在しないので、自動的に閾値以内と判定する。
【００７３】
Ｓ１０９：歪み発生と判断した場合、帳票リジェクトの表示を行う。このとき、該当した歪みパターンに応じて、歪みの種類を表示してもよい。例えば、図７の帳票辺の波うちであれば、歪みパターンに含まれる歪みの種類に応じて「『帳票の載置方法』による画像歪みが発生しました。『帳票の左辺に波打ち』が発生してます。帳票を置きなおしてください」といった表示を行う。
【００７４】
Ｓ１１０〜Ｓ１１１は、実施例１の説明と同様である。
【００７５】
なお、歪みの種類によらず歪みが発生したことのみを検出すれば足りる場合には、上記のような歪みの発生した位置や分割数や方向までは考慮せず、いずれかの辺ないし部分辺において、所定サイズ以上の面積を持つ図形が発生すれば、歪みが発生したことを検出するようにしてもよい。その場合は、歪みパターンとの比較は行わず、発生した図形の面積のみを考慮し、所定値を比較するようにすればよい。
例えば、Ｓ１０７にて、発生した図形の面積すなわち図形のサイズの閾値のみを保持し、それ以上の面積を持つ図形が発生したかのみを判断すればよい。すなわち、Ｓ１０７は省略し、Ｓ１０８の判断を行うようにしてもよい。
【００７６】
本実施例によれば、帳票辺毎に、帳票辺と辺の両端の角に加え、帳票辺と両端の角を結ぶ線分との交点による図形の発生、前記交点により分割された部分辺、図形の面積、図形の発生方向を求めて帳票歪み特徴としたので、予め登録した歪みパターンとの比較により、帳票辺が波打ったような複雑な歪みであっても、歪みの発生の有無、歪みの種類を特定することが可能になった。また、帳票辺と辺の両端の角による図形の面積のみを所定の閾値と比較することにより、歪みの有無のみを検出することも可能になった。
【実施例３】
【００７７】
次に、本発明の第３の実施例について、以下の通り説明する。
本実施例においては、帳票歪み特徴を、帳票の対角線を利用して求める。
【００７８】
＜実施例３の構成＞
実施例３の構成は、実施例１の構成と同様であるので、相違点のみを以下に説明する。
実施例３において、実施例１と異なるのは、帳票歪み特徴抽出部２３３、帳票歪み判断部２３４、歪みパターンＤＢ２４の３つである。
【００７９】
ここで、本実施例における帳票歪み特徴抽出部２３３の処理を詳細に説明する。
本実施例においては、歪み特徴として、辺と帳票の対角線とで描かれる図形を求める。
【００８０】
図８（ａ）は歪みが発生していない状態の帳票画像である。検出した角Ａ、Ｂ、Ｃ、Ｄによって対角線ＡＣ、ＢＤを求め、その交点Ｏを求める。これにより、Ｏとそれぞれの角を結ぶ線分ＯＡ、ＯＢ、ＯＣ、ＯＤが求められる。歪みが発生していない状態では、ＯＡ、ＯＢ、ＯＣ、ＯＤは長さが同じである。このため、これらの線分と各辺によって描かれる三角形Ｔ２０１、Ｔ２０２、Ｔ２０３、Ｔ２０４の面積は等しい。
【００８１】
これに対し、歪みが発生すると面積に差が生じる。これらの三角形の面積比を求めることにより、歪みを検出することができる。面積比は、例えばＴ２０１：Ｔ２０２：Ｔ２０３：Ｔ２０４（すなわち上辺：右辺：下辺：左辺の三角形の面積）として求める。このとき、三角形Ｔ２０１’の面積を１として正規化する。
図８（ａ）の場合の面積比は、１：１：１：１のように求められる。
【００８２】
これに対し、帳票の左上角が浮いた状態の歪みが発生した場合を図８（ｂ）に示す。
図８（ｂ）において、歪みによって、帳票Ａ’Ｂ’Ｃ’Ｄ’のうち、辺Ａ’Ｂ’、辺Ａ’Ｄ’が湾曲している。ここで、歪み特徴として、辺とその両端の角を通る対角線で描かれる図形を求める。ここでは、辺の両端の角と対角線の交点とで描かれる三角形を求める。これにより４つの三角形Ｔ２０１’、Ｔ２０２’、Ｔ２０３’、Ｔ２０４’が得られる。
【００８３】
これらの面積は、図８（ａ）の正常状態と異なり、同じではない。このため、これらの三角形の面積比を求めることにより、歪みを検出することができる。
図８（ｂ）の場合、例えば、１：０．８：０．８：１のように求められる。
【００８４】
また、他の歪みの例として、図９を示す。図９は、帳票を斜め上の角度から撮影した場合に生じる台形歪みの例である。ここでは簡単のために、縦方向のみに角度が発生したものとしているが、横方向の場合であっても同じである。
図９の場合、面積比は、例えば１：１．５：２：１．５のように求められる。
【００８５】
ところで図１０のように、前述のたる型歪み、糸巻き方歪みが発生した場合は、角の位置は変わらない場合があり、その場合は対角線と角による三角形の面積は正常時と変わらず、１：１：１：１となる。このため、三角形ではなく、帳票辺と対角線による図形の面積を求めるようにしてもよい。例えば図１０（ａ）のＴ２０４’’（網掛け部分）、あるいは図１０（ｂ）のＴ２０４’’（網掛け部分）のようにすれば、歪みによる面積の変化を正しく抽出することができる。このようにすれば、例えば面積比は１：１．２：１：１．２あるいは１：０．７：１：０．７のようになり、正常状態と異なることが検出できる。
【００８６】
ここで、歪みパターンＤＢ２４に登録されている歪みパターンは、以下のような情報が含まれている。
・面積比の範囲
・許容する閾値
面積比の範囲とは、上辺による図形の面積を１としたときの、各辺の図形の面積の取りうる範囲であり、上記の各歪みの例の面積比がそれぞれ含まれるような値が格納される。
許容する閾値とは、面積比の大きさをどこまで許容するかを示す値である。
また、面積比に応じて、歪みの種類が格納される。例えば、右辺と左辺による面積が等しく、下辺による図形の面積が大きい場合は、「上辺が縮んだ台形歪み」が格納される。
【００８７】
また、帳票画像に歪みがない場合のパターンとして、１：１：１：１も登録しておくものとする。
【００８８】
＜実施例３の動作＞
次に、本実施例の動作について図４を用いて説明する。
【００８９】
Ｓ１０１〜Ｓ１０６は、実施例１の説明と同様である。但し、帳票歪み特徴抽出部２３３の処理については上記の通りである。
【００９０】
Ｓ１０７：帳票歪み判断部２３４は、検索した歪みパターンの中に、抽出した帳票歪み特徴に該当するパターンがあるか否かを判定する。本実施例においては、該当するパターンとは、抽出した帳票歪み特徴の面積比が範囲に含まれる歪みパターンである。該当するパターンがあれば、Ｓ１０８移る。該当するパターンがない場合は、Ｓ１０９に移る。
【００９１】
Ｓ１０８：帳票の歪み特徴が閾値以内であるか否かを判定することにより、歪みの発生の有無を判断する。このとき、抽出した面積比と、各歪みパターンにおいて許容する面積比の比較を行う。
本実施例においては、抽出した帳票歪み特徴に含まれる面積比の大きさが、前記該当した歪みパターンに含まれる閾値を超えるかどうかによって判断する。このとき、一番大きな数字と一番小さな数字の差が閾値を超えるかどうかによって判断する。
なお、該当した歪みパターンが、歪み発生なしの場合すなわち空の歪みパターンである場合は、自動的に閾値以内と判定する。
【００９２】
Ｓ１０９：歪み発生と判断した場合、帳票リジェクトの表示を行う。このとき、前述の実施例と同様に該当した歪みパターンに応じて、歪みの種類を表示してもよい。例えば、図９の場合であれば、「『帳票の台形歪み』による画像歪みが発生しました。スキャナを確認してください」といった表示を行う。
【００９３】
Ｓ１１０〜Ｓ１１１は、実施例１の説明と同様である。
【００９４】
なお、歪みの種類によらず歪みが発生したことのみを検出すれば足りる場合には、上記のような歪みパターンとの比較を行わず、所定以上の面積比が発生すれば、歪みが発生したことを検出するようにしてもよい。
【００９５】
なお、上述の例では、各辺おける図形の面積比を求めることとしたが、面積の差分を求めることとしてもよい。このとき、対角線の交点をはさんで対向する図形同士を比較すれば、上辺と下辺、右辺と左辺の図形による２対の比較が行え、それらの面積の差分の有無によって歪みが検出できる。この比較方法は、たる型、および糸巻き型以外の歪みの検出を行うことができる。
【００９６】
また、対角線をはさんで隣接する図形同士を比較すれば、各角について４対の比較が行え、それらの面積の差分の有無によって歪みが検出できる。
【００９７】
本実施例によれば、帳票辺毎に、帳票辺と辺の両端の角に加え、角同士を結ぶ対角線による図形の面積比を求めて帳票歪み特徴としたので、予め登録した歪みパターンとの比較により、歪みの発生の有無、歪みの種類を特定することが可能になった。また、図形の面積比のみを所定の閾値と比較することにより、歪みの有無のみを検出することも可能になった。
【００９８】
なお、上述の実施例１、２において、図形の面積を求める際に正規化を行ってもよい。例えば、帳票の最長辺の長さまたは外周の長さを１として、すべての長さを正規化する。または、求めた面積を帳票自体の面積を１として正規化する。このようにすれば、帳票のサイズによらず一定の閾値を用いることができ、緒票のサイズの変化による影響を排除することができる。
【図面の簡単な説明】
【００９９】
【図１】システム構成
【図２】画像処理装置の機能ブロック
【図３】帳票歪みの例
【図４】処理フロー
【図５】実施例１の帳票歪み特徴の例
【図６】実施例１の帳票歪み特徴の例
【図７】実施例２の帳票歪み特徴の例
【図８】実施例３の帳票歪み特徴の例
【図９】実施例３の帳票歪み特徴の例
【図１０】実施例３の帳票歪み特徴の例
【符号の説明】
【０１００】
１ 非接触スキャナ装置
２ 画像処理装置
３ ＰＣ
１１ マット部
１２ 支持部材
１３ カメラ
２１ 制御部
２２ 帳票検出処理部
２３ 歪み検出処理部
２３２ 帳票辺検出部
２３１ 帳票角検出部
２３３ 帳票歪み特徴抽出部
２３４ 帳票歪み判断部
２４ 歪みパターンＤＢ
２５ 文字認識処理部
２５１ 認識領域補正部
２５２ 文字認識部
２６ 帳票フォーマットＤＢ
【技術分野】
【０００１】
本発明は、帳票をマットにセットし、上部からセンサ部でイメージを読み取る非接触スキャナ装置を用いた帳票画像の歪みを判別する帳票歪み判別装置に関するものである。
【背景技術】
【０００２】
現在、金融営業店の窓口業務等にて、顧客が持ち込んだ帳票や本人確認書類等の種々の用紙の画像を取得するための、非接触型スキャナが用いられている。非接触型スキャナは、帳票を置くマット部の上方に設置されたカメラによって、マット部に置いた帳票の画像を取得する形式のスキャナである。金融営業店の窓口業務においては、非接触型スキャナは、金融営業店窓口の窓口端末に接続され、画像取得の制御が行われる。非接触型スキャナは、フラットベッド型スキャナやシートフィード型スキャナに比べ、画像取得のための操作が簡便で所要時間が短い等の特徴を持っている。（例えば非特許文献１）
窓口にて取得された帳票の画像に対しては、光学的文字認識装置によって所定の文字認識処理が行われ、記入内容がデータ化され、金融取引に利用される。文字認識処理は、帳票ごとに予め読取位置を記録した読取フォーマットを用意し、帳票の角（例えば左上角）を基準として画像上の読取位置を特定し、該当位置の文字を切り出して認識する。また、切り出した読取領域画像は文字認識結果の確認イメージとして利用するために、文字認識結果とともに記憶される。
【非特許文献１】沖テクニカルレビュー２００２年１月／第１８９号Ｖｏｌ．６９ Ｎｏ．１「カラーダイレクトスキャナ」
【発明の開示】
【発明が解決しようとする課題】
【０００３】
非接触型スキャナは前記のとおり、マット部に置かれた帳票を上方からカメラによって撮影することにより画像取得する構造である為、マットから帳票が浮き上がった状態で画像取得した場合等、帳票自体は歪んでいなくとも、帳票の置き方によって画像上で帳票の歪みが生じる。
【０００４】
例えば図３（ｂ）は、帳票の左上角が浮き上がった状態で画像取得した場合の帳票の歪みを、強調して表現したものである。浮き上がりが発生すると、帳票の角はカメラからの見た目としてはカメラの視界の外側に移動する。このため、帳票の文字領域の基準となる角の部分が左上方に伸びたようにずれてしまい、文字認識を行った際、文字領域を図のように左上方に誤って補正してしまう。帳票上のすべての文字領域位置はひとつの帳票の角を基準点として位置が定まるため、他の文字領域についても一様にずれてしまう。このため、文字認識結果が誤読となったり、空白となったり、読取領域から実際の記入文字が外れることにより桁落ちする等の影響が帳票全体で生じることになる。そのような場合、文字領域の確認イメージもまたずれて切り出されるので、修正がしづらいばかりでなく、桁落ちにも気づきづらいことになる。例えば、図３（ｂ）の右下部分の文字領域は、基準となる角がずれたために、実際の記入位置から完全に外れてしまっている。このような場合には、実際には記入があるにもかかわらず空白とみなされてしまうことが生じる。このような場合、金融取引上の事故が発生する可能性がある。
【０００５】
また、上記のような帳票の浮き上がりがない場合であっても、スキャナとして用いるカメラ自体の性能によっても画像の歪みが発生する場合がある。例えば、レンズの光学的性質に起因する歪曲収差の影響によるたる型歪みが挙げられる。図３（ｃ）は、たる型歪みが発生した場合の例である。この場合、帳票がたる型に歪んだことによって、記入文字が外側に移動して読取領域から外れてしまっている。このような場合には、はみ出した文字が認識されずに桁落ちが発生するため、金融取引上の事故が発生する可能性がある。
従って、このような帳票画像の歪みが発生した場合には、画像を無効とし、帳票の浮き上がり等を修正させたり、スキャナを変更する等したうえで、オペレータに再度帳票画像を取得させる必要がある。
【課題を解決するための手段】
【０００６】
このような課題を解決するために、本発明の帳票画像歪み検出方法は以下の構成を備える。
＜構成１＞
４辺からなる帳票の画像のそれぞれの辺と角を検出するステップと、１つの辺とその両端の角について、前記両端の角と当該辺からなる図形を前記４つの辺について求めるステップと、求めた図形のサイズによって前記帳票の画像の歪みを検出するステップからなる。
＜構成２＞
前記図形は、１つの辺とその両端の角について、前記両端の角を二つの頂点とし、当該辺の上に選択した一点をもう一つの頂点とする三角形である。
＜構成３＞
前記図形のサイズのうち少なくとも一つが所定値を超えた場合に歪みが発生したと判定する。
＜構成４＞
前記図形の組み合わせが予め定めた歪みパターンモデルに該当する場合に、歪みが発生したと判定する。
＜構成５＞
前記歪みパターンモデルは、前記図形のサイズと発生位置と発生する方向の組み合わせからなる。
＜構成６＞
４辺からなる帳票の画像のそれぞれの辺と角を検出するステップと、１つの辺を分割するステップと、前記分割した辺と分割点を結んだ線からなる図形を求めるステップと、それぞれの辺について求めた図形の組み合わせが予め定めた歪みパターンモデルに該当する場合に、歪みが発生したと判定するステップからなる。
＜構成７＞
前記図形は、前記分割した辺と両端の角または分割点とを結んだ三角形であり、前記歪みパターンモデルは、前記三角形のサイズと発生位置と発生する方向の組み合わせからなる。
＜構成８＞
前記三角形は正規化したサイズに基づき比較される。
＜構成９＞
４辺からなる帳票の画像のそれぞれの辺の両端の角を検出するステップと、対角線を求めるステップと、それぞれの辺の両端の角と前記対角線の交点とを結ぶ図形のサイズを求めるステップと、前記図形のサイズの差によって前記帳票の画像の歪みを検出するステップからなる。
＜構成１０＞
前記図形は、それぞれの辺の両端の角と前記対角線の交点とを結ぶ三角形か、それぞれの辺と、前記角と対角線の交点とを結ぶ線により囲まれる図形かのいずれかである。
＜構成１１＞
前記図形のサイズの差は、前記対角線の交点を中心に対向する図形同士を比較することによって求める。
＜構成１２＞
前記図形のサイズの差は、前記対角線によって隣接する図形同士を比較することによって求める。
＜構成１３＞
前記図形のサイズの差はサイズの比率であり、前記比率が予め定めた歪みパターンモデルに該当する場合に、歪みが発生したと判定する。
【発明の効果】
【０００７】
本発明によれば、画像上で発生した帳票のゆがみを検出することができる。
【発明を実施するための最良の形態】
【０００８】
本発明の実施例について、以下のとおり説明する。
【実施例１】
【０００９】
本発明の第１の実施例について、以下の通り説明する。
＜実施例１の構成＞
本システムの構成を図１に示す。
【００１０】
本システムは、非接触スキャナ装置１、画像処理装置２、ＰＣ３から構成される。
図１において、非接触スキャナ装置１は上から見た図を示している。非接触スキャナ装置１は、マット部１１、支持部材１２によってマット部１１の上方に位置するように配置された画像取得部としてのカメラ１３から構成される。
【００１１】
また図示しないが、非接触スキャナ装置１全体の制御および画像処理装置２との通信機能を有するスキャナ装置制御部を備えている。
【００１２】
マット部１１は、画像を取得する帳票を設置するための置き台である。マット部１１は図１においては網掛けで表現しているが、黒色等、画像上で帳票と容易に区別ができる色の材質が用いられる。これにより、取得した帳票画像はマット部が背景となるため、黒い背景色に対し、帳票が浮き上がって見えるような状態となる。このため、容易に帳票の辺を検出することが可能となる。
【００１３】
カメラ１３は、マット部１１上の帳票を撮影し画像データに変換する機能を有する、ＣＣＤやＣ−ＭＯＳ等を利用したカメラである。
【００１４】
画像処理装置２は、取得した帳票画像から帳票の種類を特定し、さらに当該帳票の文字認識すべき領域を特定し、文字認識を行う。その際、帳票画像に歪みが発生しているか否かの判定を同時に行う。なお、本発明では、帳票画像の帳票部分に歪みが発生することをもって、帳票画像に歪みが発生する、と表現する。
【００１５】
ＰＣ３はシステム全体を制御するための端末であり、図示しないメモリやＣＲＴ等の表示部やキーボードマウス等の操作部を備えた、一般的なＰＣ等が使用される。
【００１６】
なお、ここでは画像処理装置２は独立したハードウェアによって実現するものとして説明するが、ＰＣ３内に設けたソフトウェアであってもよい。
【００１７】
次に、画像処理装置２の構成について図２を用いて説明する。
画像処理装置は、制御部２１、帳票検出処理部２２、歪み検出処理部２３、歪みパターンＤＢ２４、文字認識処理部２５、帳票フォーマットＤＢ２６、また図示しない記憶部により構成される。なお、本発明においてＤＢとはデータベースの略である。
【００１８】
制御部２１は、画像処理装置２全体ないし各処理部の制御を行う。
【００１９】
帳票検出処理部２２は、取得した帳票画像から、帳票部分の外形を検出する処理部である。帳票部分の検出は、帳票画像の背景部分の黒色から帳票部分の白色に変化する部分の画素を発見することによって帳票部分の外形が検出される。具体的には、帳票画像の座標の原点（例えば左上）から順次画素の値が黒か白かを確認し、白画素を発見したら、そこを最初の帳票端（背景部分の黒画素と帳票部分の白画素が隣接する部分）として、黒画素に隣接する白画素を順次探索する。発見した帳票端の画素は逐次記憶していく。そのようにして、最初の帳票端の画素に到達すると帳票部分の外形が、連続する帳票端の白画素の座標として検出される。
【００２０】
歪み検出処理部２３は、検出した帳票の外形を元に、帳票の歪みを検出する処理部である。
歪み検出処理部２３はさらに、帳票辺検出部２３２、帳票角検出部２３１、帳票歪み特徴抽出部２３３、帳票歪み判断部２３４によって構成される。
【００２１】
帳票角検出部２３１は、帳票の外形から帳票の角を検出する処理部である。検出した帳票端を一定方向に移動しながら、帳票端の座標の変化量を順次計算すると、ｘ座標（横方向）ｙ座標（縦方向）それぞれの変化量は、辺部分では一定か滑らかに変化するようになる。例えば、縦の右辺の場合、正確に垂直であれば帳票端の画素を上から下に１画素ずつ移動した際のｘ座標の変化量は０で、ｙ座標の変化量は１である。帳票の角に到達すると、今度は横の下辺を右から左に１画素ずつ移動するようになる。ここで、帳票端の画素を次の帳票端の画素に移動すると、ｘ座標の変化量は−１に転じ、Ｙ座標の変化量は０に転じる。そして、この変化量は横の辺を移動する間は一定となる。これをベクトルで表現すると、右辺を移動している間は下方向のベクトルとなるが、角を境に９０°変化し、左方向のベクトルとなる。このように、帳票端の画素を追跡して、座標の変化量を計算していくと、座標の変化の方向が転じる点が検出でき、これを帳票の角として検出する。検出した角の座標は、記憶部に記憶される。
【００２２】
前述のような帳票の歪みがある場合であっても、辺においては上記のベクトルの変化は緩やかであり、角に達すると概ね９０°変化するので、検出が可能である。
【００２３】
なお、解像度が高くなると、帳票端の微細な乱れが検出されやすくなるが、そのような乱れが角の検出に影響しないよう、上記の角の検出は、複数の画素（例えば８ｘ８、１６ｘ１６等）をまとめて輝度の平均値をとり、擬似的な画素として追跡すればよい。
【００２４】
帳票辺検出部２３２は、上記の角の検出の結果、角と角の間の帳票端を辺として検出するものである。辺は、帳票端に沿った画素の座標の集合として検出され、記憶部に記憶される。帳票辺検出部２３２は、帳票角検出部２３１に内蔵させて角検出と平行して辺検出を行うようにしてもよい。
【００２５】
帳票歪み特徴抽出部２３３は、検出した帳票角、および帳票辺に基づき、帳票歪みの特徴を抽出する処理部である。本実施例における帳票歪み特徴の抽出方式については後述する。
帳票歪み判断部２３４は、抽出した帳票歪み特徴と、歪みパターンＤＢから取得した歪みパターンとを比較し、該当する歪みパターンがあるか否かによって、帳票画像の歪みが発生しているかどうかを検出し、かつどのような歪みが発生しているかを把握することができる。
【００２６】
該当する歪みパターンがあっても、所定量以下の歪みであれば、歪み発生無しと判断する。
なお、歪みパターンＤＢに該当する歪みが無かったとしても、帳票歪み特徴量が大きい場合には、想定以外の歪みとして検出することもできる。
【００２７】
歪みパターンＤＢ２４は、予め想定する帳票の歪み特徴を歪みパターンとして記憶しておくＤＢである。
【００２８】
文字認識処理部２５は、歪みがないと判断された場合に、帳票の文字認識処理を行うための処理部であり、認識領域補正部２５１、文字認識部２５２によって構成される。
【００２９】
認識領域補正部２５１は、帳票の基準となる角によって文字認識を行う読取領域の位置を補正し、文字認識部２５２によって読取領域の文字認識を行う。
【００３０】
読取領域は帳票フォーマットとして定義されており、帳票フォーマットは帳票フォーマットＤＢに登録されている。帳票フォーマットは、帳票の識別を行って帳票の種類を特定することにより、帳票フォーマットＤＢから取り出される。
【００３１】
なお、上記の各処理部は画像処理装置２内で動作するプログラムによって実現されるものとするが、同等の機能を発揮するものであればハードウェアによって実現しても構わない。また、各ＤＢは記憶装置上のファイルによって実現されるものとするが、論理構成として独立していれば、同一のＤＢ内に構成しても構わない。
【００３２】
ここで、本実施例における帳票歪み特徴抽出部２３３の処理を詳細に説明する。
図５（ａ）は、帳票の左端が浮いたために発生した帳票画像の歪みを示す図である。
なお、以下の説明に共通して、帳票を４つの角Ａ、Ｂ、Ｃ、Ｄによる図形ＡＢＣＤとして表現する。
【００３３】
図５（ａ）において、歪みによって、帳票ＡＢＣＤのうち、辺ＡＢ、辺ＡＤが湾曲している。ここで、歪み特徴として、辺とその両端の角で描かれる図形を求める。ここでは、辺上に選択した１点とその両端の角で描かれる三角形を考える。返上の１点の選択の仕方の例としては以下のようなものが考えられる。
（Ａ）辺ＡＤ上の１点をＬ１とし、三角形ＡＤＬ１の面積をＬ１を移動させつつ計算し、面積が最大となる点を求める。
（Ｂ）辺ＡＤを曲線近似し、曲率が最大となる点を求める。
（Ｃ）角を結んだ線分ＡＤからの法線方向の距離が最大となる点（すなわち、線分ＡＤから最も離れる点）を求める。
このようにして選択される点を特徴点と呼ぶ。
【００３４】
図５（ａ）の場合、辺ＡＤ、辺ＢＣについては上記のような方法で特徴点Ｌ１、Ｌ２が抽出され、二つの三角形Ｔ１０１、Ｔ１０２が得られる。
【００３５】
辺ＢＣ、辺ＣＤについては特頂点は検出されない。すなわち、例えば（Ａ）の場合各点Ａ、Ｄ、Ｌ１は一直線上に並ぶので三角形が描けず、常に面積が０となる。（Ｂ）の場合は、曲率は常に０となる。（Ｃ）の場合、線分ＡＢと辺ＡＢは一致するので距離は常に０である。これらのような場合は特徴点は検出されないものとする。
【００３６】
また、この三角形が、辺の内側と外側のどちらに発生するかによって、図形の発生方向を求める。図５（ａ）のよな場合、三角形が辺の外側に発生しているので、二つの三角形Ｔ１０１、Ｔ１０２はいずれも外方向に発生している、と表現する。
【００３７】
これらの、図形の発生した辺、図形の面積、図形の発生方向を合わせて、帳票歪み特徴として抽出する。図５（ａ）の場合、以下のように表現する。
発生箇所１＝辺ＡＢ、面積＝（Ｔ１０２の面積）、方向＝外方向
発生箇所２＝辺ＡＤ、面積＝（Ｔ１０１の面積）、方向＝外方向
【００３８】
なお、三角形ではなく、特徴点を複数とって多角形としてもよい。その場合、特徴点の抽出条件は、上記の（Ａ）〜（Ｃ）について最大値ではなく所定値以上とし、所定数おきに画素を選択するようにすればよい。
【００３９】
または、特徴点を取らず、辺と線分で囲まれる図形の面積を求め、上記の帳票歪み特徴の面積として抽出してもよい。例えば図５（ｂ）の網掛け部分のように図形を求めれば、上記（Ａ）〜（Ｃ）のような特徴点の取り方によって面積が変動することもなく、安定した特徴量を得ることができる。この場合、辺を所定数に当分して分割点により囲まれる部分の面積を求めれば、より少ない計算量で、近似的に図５（ｂ）の網掛け部分の面積を得ることもできる。
【００４０】
また、帳票の浮き上がりではなく、前述したカメラの光学的な特性により生じる歪みが発生する場合がある。図６（ａ）は、カメラのレンズの歪曲収差の影響によるたる型歪みが発生した場合の説明図である。
【００４１】
この場合の歪み特徴も上記のようにして求めることができる。図６（ａ）の歪み特徴は以下のように表現される。
発生箇所１＝辺ＡＤ、面積＝（Ｔ１０３の面積）、方向＝内方向
発生箇所２＝辺ＢＣ、面積＝（Ｔ１０４の面積）、方向＝内方向
【００４２】
また、同じくレンズの影響で発生する歪みとして図６（ｂ）のような糸巻き歪みが発生する場合がある。この場合の歪み特徴も上記のようにして求めることができる。図６（ｂ）の歪み特徴は以下のように表現される。
発生箇所１＝辺ＡＤ、面積＝（Ｔ１０５の面積）、方向＝外方向
発生箇所２＝辺ＢＣ、面積＝（Ｔ１０６の面積）、方向＝外方向
【００４３】
このように、図形の発生する方向を歪み特徴に含めることにより、仮に図形の面積が同じであっても、歪みの種類を特定することができる。図６の場合は、発生方向が内方向であればたる型であり、外方向であれば糸巻き方である。
【００４４】
ここで、歪みパターンＤＢ２４に登録されている歪みパターンは、以下のような情報が含まれている。
・発生箇所（図形の発生する辺）
・面積（図形の面積の閾値。このサイズ以上の場合、該当する歪み発生とみなす）
・方向（発生した図形は辺に対して内側か外側か）
また、上記の組み合わせに応じて、歪みの種類が格納される。例えば、図５（ａ）（ｂ）のように帳票の上辺と左辺の外側に図形が発生するパターンであれば、ゆがみの種類は「帳票の載置方法」による「左上角浮き上がり」である。図６（ａ）のように帳票の左辺と右辺の内側に図形が発生するパターンであれば、歪みの種類は「レンズ特性」による「たる型歪み」である。図６（ｂ）のように帳票の左辺と右辺の外側に図形が発生するパターンであれば、歪みの種類は「レンズ特性」による「糸巻き型歪み」である。
【００４５】
また、帳票画像に歪みがない場合のパターンとして、空のパターン（図形の発生箇所がひとつもない）も登録しておくものとする。
【００４６】
＜実施例１の動作＞
次に、本実施例の動作について図４を用いて説明する。
【００４７】
Ｓ１０１：まず非接触スキャナ装置１により帳票画像を取得する。
【００４８】
Ｓ１０２：帳票検出処理部２２によって、帳票画像より帳票部分を検出する。
【００４９】
Ｓ１０３：帳票角検出部２３１によって、帳票角を検出する。
【００５０】
Ｓ１０４：帳票辺検出部２３２によって、帳票辺を検出する。
【００５１】
Ｓ１０５：帳票歪み特徴抽出部２３３によって、帳票歪み特徴を抽出する。
【００５２】
Ｓ１０６：帳票歪み判断部２３４は、歪みパターンＤＢから、歪みパターン検索する。このとき、検索する歪みパターンは、抽出した帳票歪み特徴との距離計算を行うことによって、近いものを選択するようにしてもよい。
【００５３】
Ｓ１０７：帳票歪み判断部２３４は、検索した歪みパターンの中に、抽出した帳票歪み特徴に該当するパターンがあるか否かを判定する。本実施例においては、該当するパターンとは、抽出した帳票歪み特徴と発生位置、発生方向が同じ歪みパターンである。該当するパターンがあれば、Ｓ１０８移る。該当するパターンがない場合は、Ｓ１０９に移る。
【００５４】
Ｓ１０８：帳票の歪み特徴量が閾値以内であるか否かを判定することにより、歪みの発生の有無を判断する。本実施例においては、抽出した帳票歪み特徴に含まれる各辺の図形の面積が、前記該当した歪みパターンに含まれる面積を超えるかどうかによって判断する。このとき、いずれかの辺において閾値を超えていれば、歪みが発生したものと判断する。なお、該当した歪みパターンが、歪み発生なしの場合すなわち空の歪みパターンである場合は、比較する面積が存在しないので、自動的に閾値以内と判定する。
【００５５】
Ｓ１０９：歪み発生と判断した場合、帳票リジェクトの表示を行う。このとき、該当した歪みパターンに応じて、歪みの種類を表示してもよい。例えば、図５の帳票の浮き上がりであれば、歪みパターンに含まれる歪みの種類に応じて「『帳票の載置方法』による画像歪みが発生しました。『左上角浮き上がり』が発生してます。帳票を置きなおしてください」といった表示を行う。また、図６（ａ）の場合は、「『レンズ特性』による『たる型歪み』が発生しています。スキャナを確認してください。」といった表示を行う。これによって、オペレータは、帳票を置きなおして処理をやり直したり、スキャナを変更する等の対処を行うことができる。
【００５６】
Ｓ１１０：文字認識処理部２５は帳票画像を識別して帳票の種類を特定し、帳票フォーマットＤＢから該当する帳票フォーマットを取得する。帳票フォーマットの読取領域の位置情報と帳票の基準点の座標を元に、帳票画像上の読取領域の位置を特定する。
【００５７】
Ｓ１１１：読取領域の画像を切り出して、文字認識を行う。文字認識結果は、切り出した画像とともに記憶される。
【００５８】
なお、歪みの種類によらず歪みが発生したことのみを検出すれば足りる場合には、上記のような歪みの発生した位置や方向までは考慮せず、いずれかの辺において、所定サイズ以上の面積を持つ図形が発生すれば、歪みが発生したことを検出するようにしてもよい。その場合は、歪みパターンとの比較は行わず、発生した図形の面積のみを考慮し、所定値を比較するようにすればよい。
【００５９】
例えば、Ｓ１０７にて、帳票の歪みパターンを参照しているが、歪みの発生のみを検出すればよい場合は、発生した図形の面積すなわち図形のサイズの閾値のみを保持し、それ以上の面積を持つ図形が発生したかのみを判断すればよい。すなわち、Ｓ１０７は省略し、Ｓ１０８の判断を行うようにしてもよい。
【００６０】
本実施例によれば、帳票辺毎に、帳票辺と辺の両端の角による図形の発生、図形の面積、図形の発生方向を求めて帳票歪み特徴としたので、予め登録した歪みパターンとの比較により、歪みの発生の有無、歪みの種類を特定することが可能になった。また、帳票辺と辺の両端の角による図形の面積のみを所定の閾値と比較することにより、歪みの有無のみを検出することも可能になった。
【実施例２】
【００６１】
次に、本発明の第２の実施例について、以下の通り説明する。
本実施例においては、帳票辺の変形が複数のカーブからなるような波上の複雑な形態であった場合に適用される。
【００６２】
＜実施例２の構成＞
実施例２の構成は、実施例１の構成と同様であるので、相違点のみを以下に説明する。
実施例２において、実施例１と異なるのは、帳票歪み特徴抽出部２３３、帳票歪み判断部２３４、歪みパターンＤＢ２４の３つである。
【００６３】
ここで、本実施例における帳票歪み特徴抽出部２３３の処理を詳細に説明する。
本実施例においては、実施例１と同じく、歪み特徴として、辺とその両端の角で描かれる図形を求めるが、さらに、辺とその両端の角を結んだ線分の交点も加えて、図形を求める。図７は、帳票の右辺が波打った状態でマット部１１に載置されたために発生した帳票画像の歪みを示す図である。図７において、歪みによって、帳票ＡＢＣＤのうち、辺ＢＣが波打ったように湾曲している。
【００６４】
まず、辺ＢＣと線分ＢＣの交点として、Ｐ１、Ｐ２が求められる。これを分割点とし、辺ＢＣは部分辺ＢＰ１、部分辺Ｐ１Ｐ２、部分辺Ｐ２Ｃに分割される。
【００６５】
これらの部分辺について、それぞれ実施例１と同様にして図形を求めることにより、以下のような帳票歪み特徴が得られる。
発生箇所１＝辺ＢＣ、分割数＝１／３、面積＝（Ｔ１１１の面積）、方向＝外方向
発生箇所２＝辺ＢＣ、分割数＝２／３、面積＝（Ｔ１１２の面積）、方向＝内方向
発生箇所３＝辺ＢＣ、分割数＝３／３、面積＝（Ｔ１１３の面積）、方向＝外方向
ここで、分割数は、分母が辺ＢＣを分割した数、分子が分割した部分辺のいずれであるかを示す。
【００６６】
なお、求める図形が、上記の部分辺と部分辺の両端を結んだ線分による、三角形あるいは多角形あるいは辺と線分で囲まれる図形そのもののいずれとしてもよいことは実施例１の通りである。
【００６７】
ここで、歪みパターンＤＢ２４に登録されている歪みパターンは、以下のような情報が含まれている。
・発生箇所（図形の発生する辺）
・分割数（辺を分割した数と、分割した部分辺のいずれであるか）
・面積（図形の面積の閾値。このサイズ以上の場合、該当する歪み発生とみなす）
・方向（発生した図形は辺に対して内側か外側か）
また、上記の組み合わせに応じて、歪みの種類が格納される。例えば、図７のようなパターンであれば、ゆがみの種類は「帳票の載置方法」による「右辺の波打ち」である。
【００６８】
また、帳票画像に歪みがない場合のパターンとして、空のパターン（図形の発生箇所がひとつもない）も登録しておくものとする。
【００６９】
＜実施例２の動作＞
次に、本実施例の動作について図４を用いて説明する。
【００７０】
Ｓ１０１〜Ｓ１０６は、実施例１の説明と同様である。但し、帳票歪み特徴抽出部２３３の処理については上記の通りである。
【００７１】
Ｓ１０７：帳票歪み判断部２３４は、検索した歪みパターンの中に、抽出した帳票歪み特徴に該当するパターンがあるか否かを判定する。本実施例においては、該当するパターンとは、抽出した帳票歪み特徴と発生位置、分割数、発生方向が同じ歪みパターンである。該当するパターンがあれば、Ｓ１０８移る。該当するパターンがない場合は、Ｓ１０９に移る。
【００７２】
Ｓ１０８：帳票の歪み特徴量が閾値以内であるか否かを判定することにより、歪みの発生の有無を判断する。本実施例においては、抽出した帳票歪み特徴に含まれる各辺の各部分辺ごとの図形の面積が、前記該当した歪みパターンに含まれる面積の閾値を超えるかどうかによって判断する。このとき、いずれかの辺において閾値を超えていれば、歪みが発生したものと判断する。なお、該当した歪みパターンが、歪み発生なしの場合すなわち空の歪みパターンである場合は、比較する面積が存在しないので、自動的に閾値以内と判定する。
【００７３】
Ｓ１０９：歪み発生と判断した場合、帳票リジェクトの表示を行う。このとき、該当した歪みパターンに応じて、歪みの種類を表示してもよい。例えば、図７の帳票辺の波うちであれば、歪みパターンに含まれる歪みの種類に応じて「『帳票の載置方法』による画像歪みが発生しました。『帳票の左辺に波打ち』が発生してます。帳票を置きなおしてください」といった表示を行う。
【００７４】
Ｓ１１０〜Ｓ１１１は、実施例１の説明と同様である。
【００７５】
なお、歪みの種類によらず歪みが発生したことのみを検出すれば足りる場合には、上記のような歪みの発生した位置や分割数や方向までは考慮せず、いずれかの辺ないし部分辺において、所定サイズ以上の面積を持つ図形が発生すれば、歪みが発生したことを検出するようにしてもよい。その場合は、歪みパターンとの比較は行わず、発生した図形の面積のみを考慮し、所定値を比較するようにすればよい。
例えば、Ｓ１０７にて、発生した図形の面積すなわち図形のサイズの閾値のみを保持し、それ以上の面積を持つ図形が発生したかのみを判断すればよい。すなわち、Ｓ１０７は省略し、Ｓ１０８の判断を行うようにしてもよい。
【００７６】
本実施例によれば、帳票辺毎に、帳票辺と辺の両端の角に加え、帳票辺と両端の角を結ぶ線分との交点による図形の発生、前記交点により分割された部分辺、図形の面積、図形の発生方向を求めて帳票歪み特徴としたので、予め登録した歪みパターンとの比較により、帳票辺が波打ったような複雑な歪みであっても、歪みの発生の有無、歪みの種類を特定することが可能になった。また、帳票辺と辺の両端の角による図形の面積のみを所定の閾値と比較することにより、歪みの有無のみを検出することも可能になった。
【実施例３】
【００７７】
次に、本発明の第３の実施例について、以下の通り説明する。
本実施例においては、帳票歪み特徴を、帳票の対角線を利用して求める。
【００７８】
＜実施例３の構成＞
実施例３の構成は、実施例１の構成と同様であるので、相違点のみを以下に説明する。
実施例３において、実施例１と異なるのは、帳票歪み特徴抽出部２３３、帳票歪み判断部２３４、歪みパターンＤＢ２４の３つである。
【００７９】
ここで、本実施例における帳票歪み特徴抽出部２３３の処理を詳細に説明する。
本実施例においては、歪み特徴として、辺と帳票の対角線とで描かれる図形を求める。
【００８０】
図８（ａ）は歪みが発生していない状態の帳票画像である。検出した角Ａ、Ｂ、Ｃ、Ｄによって対角線ＡＣ、ＢＤを求め、その交点Ｏを求める。これにより、Ｏとそれぞれの角を結ぶ線分ＯＡ、ＯＢ、ＯＣ、ＯＤが求められる。歪みが発生していない状態では、ＯＡ、ＯＢ、ＯＣ、ＯＤは長さが同じである。このため、これらの線分と各辺によって描かれる三角形Ｔ２０１、Ｔ２０２、Ｔ２０３、Ｔ２０４の面積は等しい。
【００８１】
これに対し、歪みが発生すると面積に差が生じる。これらの三角形の面積比を求めることにより、歪みを検出することができる。面積比は、例えばＴ２０１：Ｔ２０２：Ｔ２０３：Ｔ２０４（すなわち上辺：右辺：下辺：左辺の三角形の面積）として求める。このとき、三角形Ｔ２０１’の面積を１として正規化する。
図８（ａ）の場合の面積比は、１：１：１：１のように求められる。
【００８２】
これに対し、帳票の左上角が浮いた状態の歪みが発生した場合を図８（ｂ）に示す。
図８（ｂ）において、歪みによって、帳票Ａ’Ｂ’Ｃ’Ｄ’のうち、辺Ａ’Ｂ’、辺Ａ’Ｄ’が湾曲している。ここで、歪み特徴として、辺とその両端の角を通る対角線で描かれる図形を求める。ここでは、辺の両端の角と対角線の交点とで描かれる三角形を求める。これにより４つの三角形Ｔ２０１’、Ｔ２０２’、Ｔ２０３’、Ｔ２０４’が得られる。
【００８３】
これらの面積は、図８（ａ）の正常状態と異なり、同じではない。このため、これらの三角形の面積比を求めることにより、歪みを検出することができる。
図８（ｂ）の場合、例えば、１：０．８：０．８：１のように求められる。
【００８４】
また、他の歪みの例として、図９を示す。図９は、帳票を斜め上の角度から撮影した場合に生じる台形歪みの例である。ここでは簡単のために、縦方向のみに角度が発生したものとしているが、横方向の場合であっても同じである。
図９の場合、面積比は、例えば１：１．５：２：１．５のように求められる。
【００８５】
ところで図１０のように、前述のたる型歪み、糸巻き方歪みが発生した場合は、角の位置は変わらない場合があり、その場合は対角線と角による三角形の面積は正常時と変わらず、１：１：１：１となる。このため、三角形ではなく、帳票辺と対角線による図形の面積を求めるようにしてもよい。例えば図１０（ａ）のＴ２０４’’（網掛け部分）、あるいは図１０（ｂ）のＴ２０４’’（網掛け部分）のようにすれば、歪みによる面積の変化を正しく抽出することができる。このようにすれば、例えば面積比は１：１．２：１：１．２あるいは１：０．７：１：０．７のようになり、正常状態と異なることが検出できる。
【００８６】
ここで、歪みパターンＤＢ２４に登録されている歪みパターンは、以下のような情報が含まれている。
・面積比の範囲
・許容する閾値
面積比の範囲とは、上辺による図形の面積を１としたときの、各辺の図形の面積の取りうる範囲であり、上記の各歪みの例の面積比がそれぞれ含まれるような値が格納される。
許容する閾値とは、面積比の大きさをどこまで許容するかを示す値である。
また、面積比に応じて、歪みの種類が格納される。例えば、右辺と左辺による面積が等しく、下辺による図形の面積が大きい場合は、「上辺が縮んだ台形歪み」が格納される。
【００８７】
また、帳票画像に歪みがない場合のパターンとして、１：１：１：１も登録しておくものとする。
【００８８】
＜実施例３の動作＞
次に、本実施例の動作について図４を用いて説明する。
【００８９】
Ｓ１０１〜Ｓ１０６は、実施例１の説明と同様である。但し、帳票歪み特徴抽出部２３３の処理については上記の通りである。
【００９０】
Ｓ１０７：帳票歪み判断部２３４は、検索した歪みパターンの中に、抽出した帳票歪み特徴に該当するパターンがあるか否かを判定する。本実施例においては、該当するパターンとは、抽出した帳票歪み特徴の面積比が範囲に含まれる歪みパターンである。該当するパターンがあれば、Ｓ１０８移る。該当するパターンがない場合は、Ｓ１０９に移る。
【００９１】
Ｓ１０８：帳票の歪み特徴が閾値以内であるか否かを判定することにより、歪みの発生の有無を判断する。このとき、抽出した面積比と、各歪みパターンにおいて許容する面積比の比較を行う。
本実施例においては、抽出した帳票歪み特徴に含まれる面積比の大きさが、前記該当した歪みパターンに含まれる閾値を超えるかどうかによって判断する。このとき、一番大きな数字と一番小さな数字の差が閾値を超えるかどうかによって判断する。
なお、該当した歪みパターンが、歪み発生なしの場合すなわち空の歪みパターンである場合は、自動的に閾値以内と判定する。
【００９２】
Ｓ１０９：歪み発生と判断した場合、帳票リジェクトの表示を行う。このとき、前述の実施例と同様に該当した歪みパターンに応じて、歪みの種類を表示してもよい。例えば、図９の場合であれば、「『帳票の台形歪み』による画像歪みが発生しました。スキャナを確認してください」といった表示を行う。
【００９３】
Ｓ１１０〜Ｓ１１１は、実施例１の説明と同様である。
【００９４】
なお、歪みの種類によらず歪みが発生したことのみを検出すれば足りる場合には、上記のような歪みパターンとの比較を行わず、所定以上の面積比が発生すれば、歪みが発生したことを検出するようにしてもよい。
【００９５】
なお、上述の例では、各辺おける図形の面積比を求めることとしたが、面積の差分を求めることとしてもよい。このとき、対角線の交点をはさんで対向する図形同士を比較すれば、上辺と下辺、右辺と左辺の図形による２対の比較が行え、それらの面積の差分の有無によって歪みが検出できる。この比較方法は、たる型、および糸巻き型以外の歪みの検出を行うことができる。
【００９６】
また、対角線をはさんで隣接する図形同士を比較すれば、各角について４対の比較が行え、それらの面積の差分の有無によって歪みが検出できる。
【００９７】
本実施例によれば、帳票辺毎に、帳票辺と辺の両端の角に加え、角同士を結ぶ対角線による図形の面積比を求めて帳票歪み特徴としたので、予め登録した歪みパターンとの比較により、歪みの発生の有無、歪みの種類を特定することが可能になった。また、図形の面積比のみを所定の閾値と比較することにより、歪みの有無のみを検出することも可能になった。
【００９８】
なお、上述の実施例１、２において、図形の面積を求める際に正規化を行ってもよい。例えば、帳票の最長辺の長さまたは外周の長さを１として、すべての長さを正規化する。または、求めた面積を帳票自体の面積を１として正規化する。このようにすれば、帳票のサイズによらず一定の閾値を用いることができ、緒票のサイズの変化による影響を排除することができる。
【図面の簡単な説明】
【００９９】
【図１】システム構成
【図２】画像処理装置の機能ブロック
【図３】帳票歪みの例
【図４】処理フロー
【図５】実施例１の帳票歪み特徴の例
【図６】実施例１の帳票歪み特徴の例
【図７】実施例２の帳票歪み特徴の例
【図８】実施例３の帳票歪み特徴の例
【図９】実施例３の帳票歪み特徴の例
【図１０】実施例３の帳票歪み特徴の例
【符号の説明】
【０１００】
１ 非接触スキャナ装置
２ 画像処理装置
３ ＰＣ
１１ マット部
１２ 支持部材
１３ カメラ
２１ 制御部
２２ 帳票検出処理部
２３ 歪み検出処理部
２３２ 帳票辺検出部
２３１ 帳票角検出部
２３３ 帳票歪み特徴抽出部
２３４ 帳票歪み判断部
２４ 歪みパターンＤＢ
２５ 文字認識処理部
２５１ 認識領域補正部
２５２ 文字認識部
２６ 帳票フォーマットＤＢ
【特許請求の範囲】
【請求項１】
４辺からなる帳票の画像のそれぞれの辺と角を検出するステップと、
１つの辺とその両端の角について、前記両端の角と当該辺からなる図形を前記４つの辺について求めるステップと、
求めた図形のサイズによって前記帳票の画像の歪みを検出するステップからなる、
帳票画像歪み検出方法。
【請求項２】
前記図形は、
１つの辺とその両端の角について、前記両端の角を二つの頂点とし、当該辺の上に選択した一点をもう一つの頂点とする三角形である、
請求項１に記載の帳票画像歪み検出方法。
【請求項３】
前記図形のサイズのうち少なくとも一つが所定値を超えた場合に歪みが発生したと判定する、
請求項１から２に記載の帳票画像歪み検出方法。
【請求項４】
前記図形の組み合わせが予め定めた歪みパターンモデルに該当する場合に、歪みが発生したと判定する、
請求項２に記載の帳票画像歪み検出方法。
【請求項５】
前記歪みパターンモデルは、前記図形のサイズと発生位置と発生する方向の組み合わせからなる、
請求項４に記載の帳票画像歪み検出方法。
【請求項６】
４辺からなる帳票の画像のそれぞれの辺と角を検出するステップと、
１つの辺を分割するステップと、
前記分割した辺と分割点を結んだ線からなる図形を求めるステップと、
それぞれの辺について求めた図形の組み合わせが予め定めた歪みパターンモデルに該当する場合に、歪みが発生したと判定するステップからなる、
帳票画像歪み検出方法。
【請求項７】
前記図形は、
前記分割した辺と両端の角または分割点とを結んだ三角形であり、
前記歪みパターンモデルは、前記三角形のサイズと発生位置と発生する方向の組み合わせからなる、
請求項６に記載の帳票画像歪み検出方法。
【請求項８】
前記三角形は正規化したサイズに基づき比較される、
請求項７に記載の帳票画像歪み検出方法。
【請求項９】
４辺からなる帳票の画像のそれぞれの辺の両端の角を検出するステップと、
対角線を求めるステップと、
それぞれの辺の両端の角と前記対角線の交点とを結ぶ図形のサイズを求めるステップと、
前記図形のサイズの差によって前記帳票の画像の歪みを検出するステップからなる、
帳票画像歪み検出方法。
【請求項１０】
前記図形は、それぞれの辺の両端の角と前記対角線の交点とを結ぶ三角形か、それぞれの辺と、前記角と対角線の交点とを結ぶ線により囲まれる図形かのいずれかである、
請求項９に記載の帳票画像歪み検出方法。
【請求項１１】
前記図形のサイズの差は、前記対角線の交点を中心に対向する図形同士を比較することによって求める、
請求項１０に記載の帳票画像歪み検出方法。
【請求項１２】
前記図形のサイズの差は、前記対角線によって隣接する図形同士を比較することによって求める、
請求項１０に記載の帳票画像歪み検出方法。
【請求項１３】
前記図形のサイズの差はサイズの比率であり、前記比率が予め定めた歪みパターンモデルに該当する場合に、歪みが発生したと判定する、
請求項１０から１２のいずれかに記載の帳票画像歪み検出方法。
【請求項１】
４辺からなる帳票の画像のそれぞれの辺と角を検出するステップと、
１つの辺とその両端の角について、前記両端の角と当該辺からなる図形を前記４つの辺について求めるステップと、
求めた図形のサイズによって前記帳票の画像の歪みを検出するステップからなる、
帳票画像歪み検出方法。
【請求項２】
前記図形は、
１つの辺とその両端の角について、前記両端の角を二つの頂点とし、当該辺の上に選択した一点をもう一つの頂点とする三角形である、
請求項１に記載の帳票画像歪み検出方法。
【請求項３】
前記図形のサイズのうち少なくとも一つが所定値を超えた場合に歪みが発生したと判定する、
請求項１から２に記載の帳票画像歪み検出方法。
【請求項４】
前記図形の組み合わせが予め定めた歪みパターンモデルに該当する場合に、歪みが発生したと判定する、
請求項２に記載の帳票画像歪み検出方法。
【請求項５】
前記歪みパターンモデルは、前記図形のサイズと発生位置と発生する方向の組み合わせからなる、
請求項４に記載の帳票画像歪み検出方法。
【請求項６】
４辺からなる帳票の画像のそれぞれの辺と角を検出するステップと、
１つの辺を分割するステップと、
前記分割した辺と分割点を結んだ線からなる図形を求めるステップと、
それぞれの辺について求めた図形の組み合わせが予め定めた歪みパターンモデルに該当する場合に、歪みが発生したと判定するステップからなる、
帳票画像歪み検出方法。
【請求項７】
前記図形は、
前記分割した辺と両端の角または分割点とを結んだ三角形であり、
前記歪みパターンモデルは、前記三角形のサイズと発生位置と発生する方向の組み合わせからなる、
請求項６に記載の帳票画像歪み検出方法。
【請求項８】
前記三角形は正規化したサイズに基づき比較される、
請求項７に記載の帳票画像歪み検出方法。
【請求項９】
４辺からなる帳票の画像のそれぞれの辺の両端の角を検出するステップと、
対角線を求めるステップと、
それぞれの辺の両端の角と前記対角線の交点とを結ぶ図形のサイズを求めるステップと、
前記図形のサイズの差によって前記帳票の画像の歪みを検出するステップからなる、
帳票画像歪み検出方法。
【請求項１０】
前記図形は、それぞれの辺の両端の角と前記対角線の交点とを結ぶ三角形か、それぞれの辺と、前記角と対角線の交点とを結ぶ線により囲まれる図形かのいずれかである、
請求項９に記載の帳票画像歪み検出方法。
【請求項１１】
前記図形のサイズの差は、前記対角線の交点を中心に対向する図形同士を比較することによって求める、
請求項１０に記載の帳票画像歪み検出方法。
【請求項１２】
前記図形のサイズの差は、前記対角線によって隣接する図形同士を比較することによって求める、
請求項１０に記載の帳票画像歪み検出方法。
【請求項１３】
前記図形のサイズの差はサイズの比率であり、前記比率が予め定めた歪みパターンモデルに該当する場合に、歪みが発生したと判定する、
請求項１０から１２のいずれかに記載の帳票画像歪み検出方法。
【図１】
【図２】
【図３】
【図４】
【図５】
【図６】
【図７】
【図８】
【図９】
【図１０】
【図２】
【図３】
【図４】
【図５】
【図６】
【図７】
【図８】
【図９】
【図１０】
【公開番号】特開２００７−２７２５７２（Ｐ２００７−２７２５７２Ａ）
【公開日】平成１９年１０月１８日（２００７．１０．１８）
【国際特許分類】
【出願番号】特願２００６−９７５７２（Ｐ２００６−９７５７２）
【出願日】平成１８年３月３１日（２００６．３．３１）
【出願人】（００００００２９５）沖電気工業株式会社 (6,645)
【Ｆターム（参考）】
【公開日】平成１９年１０月１８日（２００７．１０．１８）
【国際特許分類】
【出願日】平成１８年３月３１日（２００６．３．３１）
【出願人】（００００００２９５）沖電気工業株式会社 (6,645)
【Ｆターム（参考）】
[ Back to top ]