画像検査装置、画像検査方法、及びプログラム
【課題】多種多様な定型帳票を対象に、帳票種識別を精度良く行う。
【解決手段】基準画像を入力する基準画像入力手段と、被検査画像を入力する被検査画像入力手段と、基準画像と被検査画像とを整合する画像整合手段と、整合された画像に対して座標変換処理を施すことにより複数のパラメータを算出する算出手段と、複数のパラメータの各値と、複数のパラメータのそれぞれに対応して予め定められた複数の基準値とをそれぞれ比較する比較手段と、比較手段の比較結果に基づいて、被検査画像の受け入れの可否を判断する判断手段と、を含む。
【解決手段】基準画像を入力する基準画像入力手段と、被検査画像を入力する被検査画像入力手段と、基準画像と被検査画像とを整合する画像整合手段と、整合された画像に対して座標変換処理を施すことにより複数のパラメータを算出する算出手段と、複数のパラメータの各値と、複数のパラメータのそれぞれに対応して予め定められた複数の基準値とをそれぞれ比較する比較手段と、比較手段の比較結果に基づいて、被検査画像の受け入れの可否を判断する判断手段と、を含む。
【発明の詳細な説明】
【技術分野】
【０００１】
本発明は、画像検査装置、画像検査方法、及びプログラムに関する。
【背景技術】
【０００２】
被検査対象であるデータ画像が、リファレンス（基準）であるマスター画像と同種のものか別種のものかを判定し、特にデータ画像とマスター画像を定型帳票画像とする帳票種識別の分野に関する画像検査装置が一般的に知られている。
【０００３】
定型帳票のデータ処理システムにおいては、通常、帳票上に記入された文字の自動読み取り（ＯＣＲ：Optical Character Reader（光学的文字読取装置））を実行する際、各文字の記入位置情報等の帳票定義データを併せて必要とする。したがって、複数種類の定型帳票を対象とする場合、帳票定義データが帳票種毎に異なるため、ＯＣＲに先立って、入力された画像の帳票種を識別する必要がある。
【０００４】
従来は、各帳票種毎に特有のマークや記号を帳票上に印刷しておき、その有無を認識して帳票種を識別する方法が一般的であったが、専用の帳票設計が必要で、既存業務のシステム化に際して帳票の切り替えに伴う手間とコストがかかってしまうこと、マークや記号上にノイズ・つぶれ・かすれが発生すると識別できないこと、が問題となっていた。
【０００５】
この問題を解決するため、例えば特許文献１では、罫線情報の照合に基づいて帳票種識別を行う方法が示されている。また、特許文献２では、罫線に限らず、プレ印刷文字等を含めた複数の対応点を入力画像（データ画像）とリファレンス画像（マスター画像）との間で見い出すことにより、対応点間の座標変換を求め、当該変換係数に基づいて算出される相違度、或いは係数と閾値との比較をもって、帳票種識別を行っている。
【発明の概要】
【発明が解決しようとする課題】
【０００６】
しかしながら、特許文献１に記載された方法は、特有のマークや記号を必要とせず、罫線全体の情報を総合的に用いるので、入力画像の一部にノイズ・つぶれ・かすれがあっても識別が可能となるものの、罫線のない帳票には適用することができないという問題がある。
【０００７】
また、特許文献２に記載された方法による識別では、座標変換の係数から算出される１つの相違度や係数値そのものを評価しており、座標変換が齎す幾何的なずれ・歪みの各作用を個別に・直接的に評価することができないという問題がある。
【０００８】
代表的な座標変換の手法としてアフィン変換がある。アフィン変換とは、変換前の画像座標を（ｘ、ｙ）、変換後の画像座標を（Ｘ、Ｙ）としたときに、Ｘ＝ａ＊ｘ＋ｂ＊ｙ＋ｅ、Ｙ＝ｃ＊ｘ＋ｄ＊ｙ＋ｆで示される座標変換式によって、（Ｘ、Ｙ）の輝度を（ｘ、ｙ）の輝度で置き換える処理のことをいい、一次の座標軸変換式で表される画像の幾何学的変換で、撮像系の比較的単純な歪みの補正や、対称物体の置き方のずれを補正して、複数画像間の位置合わせを行う場合に一般的に用いられる手法である。
【０００９】
アフィン変換が齎す幾何的なずれ作用には回転・変倍・平行移動があり、歪み作用にはせん断・伸縮がある。これらを１つの相違度に集約してしまっては、識別を精度良く行うにも限界があるし、アフィン変換係数そのものを閾値と比較したのでは、幾何的なずれ・歪みを間接的に評価しているに過ぎず、やはり識別精度には限界がある。
【００１０】
そこで本発明は、上記問題点に鑑みてなされたものであって、専用の帳票を必要とせず、罫線のない帳票にも適用可能で、しかも精度の良い識別を行うことができる画像検査装置、画像検査方法、及びプログラムを提供することを目的とする。
【課題を解決するための手段】
【００１１】
上記課題を解決するため、請求項１に記載の本発明における画像検査装置は、基準画像を入力する基準画像入力手段と、被検査画像を入力する被検査画像入力手段と、前記基準画像と前記被検査画像とを整合する画像整合手段と、前記整合された画像に対して座標変換処理を施すことにより複数のパラメータを算出する算出手段と、前記複数のパラメータの各値と、前記複数のパラメータのそれぞれに対応して予め定められた複数の基準値とをそれぞれ比較する比較手段と、前記比較手段の比較結果に基づいて、前記被検査画像の受け入れの可否を判断する判断手段と、を含むことを特徴とする。
【発明の効果】
【００１２】
本発明によれば、特有のマークや記号、また罫線のない帳票を含めた、多種多様な定型帳票を対象に、帳票種識別を精度良く行うことができる画像検査装置、画像検査方法、及びプログラムを得ることができる。
【図面の簡単な説明】
【００１３】
【図１】本発明の実施形態に係る画像検査装置の構成について説明する概略ブロック図である。
【図２】本発明の実施形態に係る画像検査装置の動作について説明する動作フローである。
【図３】本発明の実施形態に係る画像検査装置における整合ずれ度について、データ画像原点に対するマスター画像上のベクトルについて説明する図である。
【図４】本発明の実施形態に係る画像検査装置における整合歪み度ついて、せん断作用と伸縮作用について説明する図である。
【図５】本発明の実施形態に係る画像検査装置における基準値（閾値）と、整合ずれ度と整合歪み度との判定結果を示す図である。
【図６】本発明の他の実施形態に係る画像検査装置の動作について説明する動作フローである。
【図７】本発明の実施形態に係る画像検査装置に実行させるプログラムを格納するコンピュータの構成について説明する概略ブロック図である。
【発明を実施するための形態】
【００１４】
次に、本発明を実施するための形態について図面を参照して詳細に説明する。なお、各図中、同一又は相当する部分には同一の符号を付しており、その重複説明は適宜に簡略化乃至省略する。本発明は、要するに、基準画像と被検査画像とを整合し座標変換を施すことにより求められた複数のパラメータの各値が、それぞれに対応して予め定められた複数の基準値の条件を満たすとき、被検査画像を受け入れることが特徴になっている。この本発明の特徴について、以下の図面を用いて詳細に解説する。
【００１５】
最初に、本発明の実施形態に係る画像検査装置について説明する。図１は、本発明の実施形態に係る画像検査装置の構成について説明する概略ブロック図である。図１において、画像検査装置１００は、基準画像となるマスター画像を入力するマスター画像入力部１０１と、被検査対象画像となるデータ画像を入力するデータ画像入力部１０２と、マスター画像入力部１０１及びデータ画像入力部１０２から入力されたマスター画像及びデータ画像を一時的に格納するマスター画像バッファ１１１及びデータ画像バッファ１１２と、マスター画像バッファ１１１から出力されたマスター画像とデータ画像バッファ１１２から出力されたデータ画像とを整合する画像整合部１０３と、画像整合部１０３により整合されたマスター画像とデータ画像とに対してアフィン変換を施し、アフィン変換係数を一時的に格納するアフィン変換係数バッファ１１３とから構成される。
【００１６】
さらに、アフィン変換により算出されたマスター画像とデータ画像との間の整合ずれ度を算出する整合ずれ度算出部１０４と、整合歪み度を算出する整合歪み度算出部１０５と、整合ずれ度を一時的に格納する整合ずれ度バッファ１１４と、整合歪み度を一時的に格納する整合歪み度バッファ１１５と、整合ずれ度バッファ１１４から出力された整合ずれ度と、整合歪み度バッファ１１５から出力された整合歪み度とに基づいて、画像検査結果を判定する結果判定部１０６とから構成される。
【００１７】
次に、本発明の実施形態における画像検査装置の動作について説明する。図２は、本発明の実施形態に係る画像検査装置の動作について説明する動作フローである。図２において、まず、ステップ２０１（以下、「Ｓ２０１」等という。）の処理では、スキャナ等により構成されるマスター画像入力部１０１へ入力されたマスター画像は、デジタル画像データとしてマスター画像バッファ１１１（図１）へ保存される。
【００１８】
同様に、Ｓ２０２の処理では、スキャナ等により構成されるデータ画像入力部１０２へ入力されたデータ画像は、デジタル画像データとしてデータ画像バッファ１１２へ保存される。続いて、Ｓ２０３の処理では、画像整合部１０３において、マスター画像バッファ１１１上のマスター画像とデータ画像バッファ１１２上のデータ画像とを互いに整合させるためのアフィン変換処理が施され、アフィン変換係数が算出される。
【００１９】
なお、アフィン変換処理については、一般的に用いられている公知の方法を採用することとし、ここでは詳細な説明を省略する。また、仮に、マスター画像とデータ画像との差異が極端に大きい等の理由によって、適切なアフィン変換処理が施されず、アフィン変換係数が算出されない場合には、この時点でデータ画像はリジェクトされる。そして、適切なアフィン変換処理が施され、アフィン変換係数が算出されるとき、その変換式は次の＜数式１＞に従う。
【００２０】
＜数式１＞
Ｘ＝ａ＊ｘ＋ｂ＊ｙ＋ｅ
Ｙ＝ｃ＊ｘ＋ｄ＊ｙ＋ｆ
ここで、（ｘ、ｙ）は、データ画像上の座標であり、（Ｘ、Ｙ）は、対応するマスター画像上の座標を意味する。また、ａ、ｂ、ｃ、ｄ、ｅ、及びｆは、アフィン変換係数である。そして、＜数式１＞中のアフィン変換係数ａからｆは、アフィン変換係数バッファ１１３（図１）へ格納される。
【００２１】
次に、Ｓ２０４の処理では、整合ずれ度算出部１０４（図１）において、アフィン変換係数バッファ１１３に格納されたアフィン変換係数を用いて整合ずれ度が算出される。データ画像上の横軸単位ベクトルＶｘ＝（１、０）は、＜数式１＞にてｘ＝１、ｙ＝０を代入すれば分かる通り、アフィン変換処理が施されるにより、マスター画像上のベクトルＶＸ＝（ａ、ｃ）へ写像される（ここでは、データ画像原点（０、０）の写像先（ｅ、ｆ）からの相対ベクトルで考えることとする。）。
【００２２】
同様に、データ画像上の縦軸単位ベクトルＶｙ＝（０、１）は、マスター画像上のベクトルＶＹ＝（ｂ、ｄ）へ写像される。ここで、図３を参照して、データ画像原点に対するマスター画像上のベクトルについて説明する。図３は、本発明の実施形態に係る画像検査装置における整合ずれ度について、データ画像原点に対するマスター画像上のベクトルについて説明する図である。
【００２３】
図３では、画像左下隅を原点とし、垂直上向きをｙ軸として描いているが、画像処理分野でよく用いられるように、画像左上隅を原点とし、垂直下向きをy軸としても良い。ベクトルＶＸと水平線とのなす角をαとすると、アフィン変換処理によるデータ画像横軸の回転量として、ｔａｎαの絶対値を用いることができる。同様に、ベクトルＶＹと垂直線とのなす角をβとすると、データ画像縦軸の回転量として、ｔａｎβの絶対値を用いることができる。そして、それらの平均を全体の回転量パラメータＰ１とする。
【００２４】
すなわち、
＜数式２＞
Ｐ１＝（｜ｔａｎα｜＋｜ｔａｎβ｜）／２＝（｜ｃ／ａ｜＋｜ｂ／ｄ｜）／２
ここで、パラメータＰ１はアフィン変換による回転作用の度合いを示すものであり、回転がなければ０、回転作用が大きくなるに従って増加する量である。一方、ベクトルＶＸとＶＹの大きさは、そのままアフィン変換処理による横変倍率Ｒｘと縦変倍率Ｒｙとをそれぞれ表している。
【００２５】
すなわち、
＜数式３＞
Ｒｘ＝｜ＶＸ｜＝ＳＱＲＴ｛ａ＊ａ＋ｃ＊ｃ｝
Ｒｙ＝｜ＶＹ｜＝ＳＱＲＴ｛ｂ＊ｂ＋ｄ＊ｄ｝
なお、ＳＱＲＴ｛・・・｝は平方根を示す。
【００２６】
ここで、変倍作用として、２倍の拡大と１／２の縮小とを同等に評価したり、３倍の拡大と１／３の縮小とを同等に評価したりするには、変倍率が１以上であればその値を用い、変倍率が１未満であればその逆数を用いれば良いことになる。つまり、横方向と縦方向の変倍作用はそれぞれＭＡＸ（Ｒｘ、１／Ｒｘ）、ＭＡＸ（Ｒｙ、１／Ｒｙ）として表現できる。なお、ＭＡＸ（Ａ、Ｂ）は、ＡとＢの内の大きい方を表すものとする。そして、それらの平均と等倍（無変倍）との間の乖離を全体の変倍量パラメータＰ２とする。
【００２７】
すなわち、
＜数式４＞
Ｐ２＝｛ＭＡＸ（Ｒｘ、１／Ｒｘ）＋ＭＡＸ（Ｒｙ、１／Ｒｙ）｝／２−１
ここで、パラメータＰ２はアフィン変換処理による変倍作用の度合いを示すものであり、変倍がなければ０、変倍作用が大きくなるに従って増加する量である。
【００２８】
また、アフィン変換係数ｅとｆの絶対値は、そのままアフィン変換処理による横移動量と縦移動量とをそれぞれ表しているが、単位を画素の単位であるピクセルから、物理的長さの単位であるミリメートルに変換する。ここで、用紙サイズのピクセル値を求める計算式は、用紙の一辺の長さ（ｍｍ）＊解像度（ｄｐｉ：dot per inch）／２５．４であるから、横解像度Ｈｘ（ｄｐｉ）と縦解像度Ｈｙ（ｄｐｉ）とを用いて単位の変換を行い、それらの平均を全体の平行移動量パラメータＰ３とする。
【００２９】
すなわち、
＜数式５＞
Ｐ３＝｛（ｅ＊２５．４／Ｈｘ）＋（ｆ＊２５．４／Ｈｙ）｝／２
ここで、パラメータＰ３はアフィン変換処理による平行移動作用の度合いを示すものであり、平行移動がなければ０、平行移動作用が大きくなるにつれて増加する量である。このようして、図２のＳ２０４の処理において、３つの成分からなる整合ずれ度（Ｐ１、Ｐ２、Ｐ３）が得られ、整合ずれ度バッファ１１４（図１）へ格納される。
【００３０】
次に、整合歪み度算出部１０５（図１）において、アフィン変換係数バッファ１１３に格納されたアフィン変換係数を用いて整合歪み度が算出される。ここで、図４を参照して、整合歪み度における、せん断作用と伸縮作用について説明する。図４は、本発明の実施形態に係る画像検査装置における整合歪み度ついて、せん断作用と伸縮作用について説明する図である。
【００３１】
アフィン変換処理が正方形を平行四辺形に歪ませる作用は、正方形の各辺の長さを保ったまま菱形に変形させるせん断作用と、正方形の直角を保ったまま縦横の辺の長さが異なる矩形に変形させる伸縮作用とに分けて考えることができる。せん断作用については、作用が強まるほど、前述したベクトルＶＸとＶＹのなす角θは直角から乖離する。この乖離の度合いを、ｃｏｓθの絶対値で評価したものを、せん断量パラメータＰ４とする。
【００３２】
すなわち、
＜数式６＞
Ｐ４＝｜ｃｏｓθ｜＝｜ＶＸ−ＶＹ｜／｜ＶＸ｜｜ＶＹ｜＝｜ａ＊ｂ＋ｃ＊ｄ｜／（Ｒｘ＊Ｒｙ）
ここで、パラメータＰ４はアフィン変換処理によるせん断作用の度合いを示すものであり、せん断がなければ０、せん断作用が大きくなるにつれて増加する量である。
【００３３】
また、伸縮作用については、作用が強まるほど、ベクトルＶＸの大きさＲｘを一辺とする正方形と、ベクトルＶＹの大きさＲｙを一辺とする正方形とのスケール差が広がる。このスケール差を面積差によって評価し、面積差を横Ｒｘ＊縦Ｒｙの矩形の面積で正規化したものを伸縮量パラメータＰ５とする。
【００３４】
すなわち、
＜数式７＞
Ｐ５＝｛ＭＡＸ（Ｒｘ＊Ｒｘ、Ｒｙ＊Ｒｙ）−ＭＩＮ（Ｒｘ＊Ｒｘ、Ｒｙ＊Ｒｙ）｝／（Ｒｘ＊Ｒｙ）
ここで、ＭＩＮ（Ａ、Ｂ）は、ＡとＢの内の小さい方を表すものとする。パラメータＰ５はアフィン変換処理による伸縮作用の度合いを示し、伸縮がなければ０、伸縮作用が大きくなるにつれて増加する量である。このようして、図２のＳ２０５の処理において、２つの成分からなる整合歪み度（Ｐ４、Ｐ５）が得られ、整合歪み度バッファ１１５（図１）へ格納される。
【００３５】
整合ずれ度パラメータＰ１からＰ３と整合歪み度パラメータＰ４、Ｐ５とは、そのいずれの要素も、０に近いほどデータ画像がマスター画像と無理なく整合し得ることを示す指標である。そこで、図２のＳ２０６の処理において、結果判定部１０６（図１）において、整合ずれ度バッファ１１４と整合歪み度バッファ１１５上のパラメータＰ１からＰ５と、各要素に対応するマスター画像の基準値（閾値）Ｔ１からＴ５とを比較し、すべての要素が基準値（閾値）以下であれば（Ｓ２０６：Ｙｅｓ）、当該データ画像を受け入れ（Ｓ２０７）、１つでも基準値（閾値）を超える要素があれば（Ｓ２０６：Ｎｏ）、リジェクトする（Ｓ２０８）。
【００３６】
すなわち、
ｉｆ（Ｐ１≦Ｔ１)ＡＮＤ（Ｐ２≦Ｔ２）ＡＮＤ（Ｐ３≦Ｔ３）ＡＮＤ（Ｐ４≦Ｔ４)ＡＮＤ（Ｐ５≦Ｔ５）
ｔｈｅｎ 受け入れ
ｅｌｓｅ リジェクト
なるロジックをもって検査結果が判定される。
【００３７】
ここで、基準値（閾値）と、整合ずれ度と整合歪み度との判定結果の具体例を用いて説明する。図５は、本発明の実施形態に係る画像検査装置における基準値（閾値）と、整合ずれ度と整合歪み度との判定結果を示す図である。図５に示す例では、ケース（ａ）は、パラメータＰ１からＰ５のすべてが基準値（閾値）以下であるため「受け入れ」と判定されるが、ケース（ｂ)は、パラメータＰ２、Ｐ４、Ｐ５がそれぞれ基準値（閾値）を上回っているため「リジェクト」と判定される。
【００３８】
次に、本発明の他の実施形態における画像検査装置の動作について説明する。他の実施形態の動作のうち、上述した実施形態と同一部分については説明を省略する。上述した実施形態との相違点は、整合ずれ度パラメータＰ１からＰ３及び整合歪み度パラメータＰ４、Ｐ５と比較されるべき基準値（閾値）として、事前の学習によってマスター画像に適応して決定された値を用いていることである。
【００３９】
このため、予め特定のマスター画像ｍに対して、受け入れるべきデータ画像を多数収集し、上記実施形態において説明した方法を用いて各データ画像についてのパラメータＰ１からＰ５を算出する。収集されたデータ画像の中で最大のパラメータＰ１値をＭ１、最大のパラメータＰ２値をＭ２…、（以下、パラメータＰ５まで同様）、…とする。
【００４０】
この他の実施形態における画像検査装置の動作について図６を用いて具体的に説明する。図６は、本発明の他の実施形態に係る画像検査装置の動作について説明する動作フローである。図６において、まず、Ｓ６０１の処理では、パラメータＰ１からＰ５までの値の各最大値であるＭ１からＭ５に対して０が代入されることにより、最大値の初期化が行われる。
【００４１】
次に、Ｓ６０２の処理では、マスター画像ｍと次のデータ画像が、それぞれマスター画像入力部１０１及びデータ画像入力部１０２に入力される。そして、Ｓ６０３の処理では、整合ずれ度算出部１０４及び整合歪み度算出部１０５において、整合ずれ度パラメータＰ１からＰ３及び整合歪み度パラメータＰ４、Ｐ５が算出される。
【００４２】
そして、Ｓ６０４の処理において、Ｐ１がパラメータＰ１の最大値であるＭ１より大であるか否かが判断され、Ｐ１がＭ１よりも大（Ｓ６０４：Ｙｅｓ）であれば、そのＰ１を最大値Ｍ１として更新し（Ｓ６０５）、Ｐ１がＭ１未満（Ｓ６０４：Ｎｏ）あれば、最大値Ｍ１を更新せずにＳ６０６へ移行する。
【００４３】
このような最大値を求める処理を、パラメータＰ２からＰ５についてまで実施し、Ｓ６０６の処理において、入力された画像が最後であるか否かが判断される。入力された画像が最後でないときには（Ｓ６０６：Ｎｏ）、Ｓ６０２の処理へ戻り、入力された画像が最後であるときには（Ｓ６０６：Ｙｅｓ）、Ｓ６０７の処理へ移行する。
【００４４】
Ｓ６０７の処理では、基準値（閾値）が決定される。すなわち、予め特定のマスター画像ｍに対して、受け入れるべきデータ画像を多数収集し、上述した実施形態において説明した動作フローを実行することにより、各データ画像についてパラメータＰ１からＰ５を算出する。そして、収集されたデータ画像の中で最大のＰ１値をＭ１、最大のＰ２値をＭ２…、（以下、Ｐ５まで同様）、…とすると、これらのマスター画像ｍに対する基準値（閾値）Ｔ１ｍからＴ５ｍを次式の通り決定しておく。
【００４５】
すなわち、
＜数式８＞
Ｔ１ｍ＝Ｋ＊Ｍ１
Ｔ２ｍ＝Ｋ＊Ｍ２
Ｔ３ｍ＝Ｋ＊Ｍ３
Ｔ４ｍ＝Ｋ＊Ｍ４
Ｔ５ｍ＝Ｋ＊Ｍ５
ここで、右辺のＫ倍のファクターは、収集から漏れた未知のデータ画像を考慮したマージンに相当するものであり、一例としてＫ＝１．２を用いることができる。ここまでが事前学習の動作フローである。
【００４６】
そして、画像検査を行うときは、新たなデータ画像がマスター画像ｍとの照合のためデータ画像入力部１０２（図１）に入力されると、上述した実施形態で説明した動作フローに従って、当該データ画像についてのパラメータＰ１からＰ５が算出され、上式の基準値（閾値）（Ｔ１ｍからＴ５ｍ）を用いて、
ｉｆ（Ｐ１≦Ｔ１ｍ）ＡＮＤ（Ｐ２≦Ｔ２ｍ）ＡＮＤ（Ｐ３≦Ｔ３ｍ）ＡＮＤ（Ｐ４≦Ｔ４ｍ）ＡＮＤ（Ｐ５≦Ｔ５ｍ）
ｔｈｅｎ 受け入れ
ｅｌｓｅ リジェクト
なるロジックをもって検査結果が決定される。
【００４７】
このように他の実施形態によれば、収集されたデータ画像はすべてマスター画像ｍとして受け入れられ、新たなデータ画像についても同様に受け入れられるものと期待される。また、リジェクトすべきデータ画像が入力された場合には、そのパラメータＰ１からＰ５の中には基準値（閾値）以下となるものも僅かながらもあり得るが、５つのパラメータすべてが同時に基準値（閾値）以下となる可能性は非常に低く、上記ＡＮＤ条件のロジックによって正確にリジェクトできると考えられる。
【００４８】
また、本発明のさらに他の実施形態では、整合ずれ度パラメータであるＰ１、Ｐ２、Ｐ３で得られたずれ度合いの、それぞれのパラメータを単独で閾値処理によって判断するのではなく、
＜数式９＞
Ｇ＝α＊Ｐ１＋β＊Ｐ２＋γ＊Ｐ３
という一次元の評価式にて評価を行い、Ｇの値を閾値Ｔ６において判断を行う。α、β、γには例として、１．０、１．５、０．０１２等を用いることができる。
【００４９】
すなわち、
ｉｆ（Ｇ＜Ｔ６）
ｔｈｅｎ 受け入れ
ｅｌｓｅ リジェクト
なるロジックをもって検査結果が判定される。
【００５０】
ここで、Ｐ３は変換における原点の平行移動量に依存するパラメータであり、この値が大きかったとしても、形状の変化とは無関係である。そのため、スキャンの条件等によっては、γの係数を０として判断しても良い。
【００５１】
また、ここでＰ１は変換における、回転の成分に依存しており、θが小さい場合に、ｔａｎθ≒ｃ／ａが成立することを仮定している。Ｐ３と同様に、回転していても形状は変わらないわけであるが、Ｐ１の値が大きくなると仮定が成立しなくなることもあり、一定値で判断しても良い。
【００５２】
なお、本発明のさらに他の実施形態では、整合ずれ度パラメータであるＰ１、Ｐ２、Ｐ３で得られたずれ度合いの、それぞれのパラメータを単独で閾値処理によって判断することと、上述した一次元の評価式にて評価を行うこととを併用し、個々のパラメータ及びＧの値が基準を満たすことを受け入れる条件としても良い。
【００５３】
また、本発明のさらに他の実施形態では、整合歪み度パラメータであるＰ４、Ｐ５で得られた歪度合いの、それぞれのパラメータを単独で閾値処理によって判断するのではなく、
＜数式１０＞
ＤＩ＝δ＊Ｐ４＋ε＊Ｐ５
という一次元の評価式にて評価を行い、ＤＩの値を閾値Ｔ７において判断を行う。δ、εには、例として、１．０、０．５を用いることができる。
【００５４】
すなわち、
ｉｆ（ＤＩ＜Ｔ７）
ｔｈｅｎ 受け入れ
ｅｌｓｅ リジェクト
なるロジックをもって検査結果が判定される。
【００５５】
そして、歪度合いについては、形状の変化に直結するために、ずれ量よりも厳しい閾値で判断するほうが、経験上精度が上がることが分かっている。
【００５６】
本発明のさらに他の実施形態は、上記した「ずれ量よりも厳しい閾値で判断するほうが、経験上精度が上がる。」点を考慮したものであり、
＜数式１１＞
Ｔ＝α＊Ｐ１＋β＊Ｐ２＋γ＊Ｐ３＋δ＊Ｐ４＋ε＊Ｐ５
の評価式と閾値Ｔ８によって判断を行うことも可能である。
【００５７】
すなわち、
ｉｆ（ＤＩ＜Ｔ８）
ｔｈｅｎ 受け入れ
ｅｌｓｅ リジェクト
なるロジックをもって検査結果が判定される。
【００５８】
ここで係数α〜εは、全てのシステムで固定とするのではなく、運用の評価の時点で正常処理されたデータの統計解析を行い、各パラメータの寄与度を重みに反映するということができる。さらに、重みに反映するのは寄与度ではなく、統計解析して分かったずれ、歪み度の分散の最大値も利用できるため、これらはそれぞれのパラメータＰ１〜Ｐ５の閾値であるＴ１〜Ｔ５に反映させることができる。
【００５９】
そして、データを統計解析することで、パラメータＰ１〜Ｐ５の相関も分かるため、例えば「Ｐ３とＰ５の値は相関関係が高いためにどちらか一方だけを計算することで閾値処理ができる。」ということが判明した場合に、Ｐ３を計算する処理を省くという対応も可能である（γを０にするということもできるが、そもそも計算を行わない方が、処理時間の高速化に繋がる。）。
【００６０】
一部のデータ収集を行い、パラメータの最適化を随時行う場合には、他のメリットもある。例えば１拠点で処理を行っていたところから、拠点数を増やすということになり、他のスキャナでの運用も始まったとする。あるところに少し古めのスキャナが配備されて、スキャン時のスキューが起こる確率が増えたとすると、従来データよりも、正しいにもかかわらずリジェクトされるという現象が増える。そのデータ等の状況を鑑みて閾値や係数を調整することも可能である。
【００６１】
なお、本発明の実施形態に係る画像検査装置の各動作はコンピュータ上のプログラムに実行させることもできる。図７は、本発明の実施形態に係る画像検査装置に実行させるプログラムを格納するコンピュータの構成について説明する概略ブロック図である。ＣＤ−ＲＯＭ（Compact Disk Read Only Memory）等の記録媒体に記録された本発明の実施形態に係るプログラムは、図７のＣＤ−ＲＯＭドライブ７０５を通じて（又は、一旦ハードディスク７０１に蓄えられることもある。）、プログラム実行時にはメモリ７０６上にロードされ、ＣＰＵ（Central Processing Unit）７０２からの指令によってプログラムの処理ステップが順次実行される。
【００６２】
マスター画像及びデータ画像に相当するデジタル画像データは、予めハードディスク７０１上に蓄えられるか、又は実行時に図示しないスキャナを通じて取り込まれた後、メモリ７０６上にロードされて参照される。検査の判定結果はメモリ７０６に保存され、必要に応じてハードディスク７０１に格納されたり、ディスプレイ７０３に出力されたり、通信装置７０４を介してネットワーク上へ送出されたり、或いは図示しないプリンターを通じて紙上に印字される。
【００６３】
以上説明したように、本発明では、基準画像と被検査画像とを整合し座標変換を施すことにより求められた複数のパラメータの各値が、それぞれに対応して予め定められた複数の基準値の条件を満たすとき、被検査画像を受け入れることにより、特有のマークや記号、また罫線のない帳票を含めた、多種多様な定型帳票を対象に、帳票種識別を精度良く行うことができる画像検査装置、画像検査方法、及びプログラムを得ることが可能となった。
【００６４】
以上、本発明の好適な実施形態により本発明を説明した。ここでは特定の具体例を示して本発明を説明したが、特許請求の範囲に定義された本発明の広範囲な趣旨及び範囲から逸脱することなく、これら具体例に様々な修正及び変更が可能である。
【符号の説明】
【００６５】
１００ 画像検査装置
１０１ マスター画像入力部
１０２ データ画像入力部
１０３ 画像整合部
１０４ 整合ずれ度算出部
１０５ 整合歪み度算出部
１１１ マスター画像バッファ
１１２ データ画像バッファ
１１３ アフィン変換計数バッファ
１１４ 整合ずれ度バッファ
１１５ 整合歪み度バッファ
７００ コンピュータ
７０１ ハードディスク
７０２ ＣＰＵ
７０３ ディスプレイ
７０４ 通信装置
７０５ ＣＤ−ＲＯＭドライブ
７０６ メモリ
７０７ キーボード／マウス
【先行技術文献】
【特許文献】
【００６６】
【特許文献１】特開２００３−１０９００７号公報
【特許文献２】特許第３９３２２０１号公報
【技術分野】
【０００１】
本発明は、画像検査装置、画像検査方法、及びプログラムに関する。
【背景技術】
【０００２】
被検査対象であるデータ画像が、リファレンス（基準）であるマスター画像と同種のものか別種のものかを判定し、特にデータ画像とマスター画像を定型帳票画像とする帳票種識別の分野に関する画像検査装置が一般的に知られている。
【０００３】
定型帳票のデータ処理システムにおいては、通常、帳票上に記入された文字の自動読み取り（ＯＣＲ：Optical Character Reader（光学的文字読取装置））を実行する際、各文字の記入位置情報等の帳票定義データを併せて必要とする。したがって、複数種類の定型帳票を対象とする場合、帳票定義データが帳票種毎に異なるため、ＯＣＲに先立って、入力された画像の帳票種を識別する必要がある。
【０００４】
従来は、各帳票種毎に特有のマークや記号を帳票上に印刷しておき、その有無を認識して帳票種を識別する方法が一般的であったが、専用の帳票設計が必要で、既存業務のシステム化に際して帳票の切り替えに伴う手間とコストがかかってしまうこと、マークや記号上にノイズ・つぶれ・かすれが発生すると識別できないこと、が問題となっていた。
【０００５】
この問題を解決するため、例えば特許文献１では、罫線情報の照合に基づいて帳票種識別を行う方法が示されている。また、特許文献２では、罫線に限らず、プレ印刷文字等を含めた複数の対応点を入力画像（データ画像）とリファレンス画像（マスター画像）との間で見い出すことにより、対応点間の座標変換を求め、当該変換係数に基づいて算出される相違度、或いは係数と閾値との比較をもって、帳票種識別を行っている。
【発明の概要】
【発明が解決しようとする課題】
【０００６】
しかしながら、特許文献１に記載された方法は、特有のマークや記号を必要とせず、罫線全体の情報を総合的に用いるので、入力画像の一部にノイズ・つぶれ・かすれがあっても識別が可能となるものの、罫線のない帳票には適用することができないという問題がある。
【０００７】
また、特許文献２に記載された方法による識別では、座標変換の係数から算出される１つの相違度や係数値そのものを評価しており、座標変換が齎す幾何的なずれ・歪みの各作用を個別に・直接的に評価することができないという問題がある。
【０００８】
代表的な座標変換の手法としてアフィン変換がある。アフィン変換とは、変換前の画像座標を（ｘ、ｙ）、変換後の画像座標を（Ｘ、Ｙ）としたときに、Ｘ＝ａ＊ｘ＋ｂ＊ｙ＋ｅ、Ｙ＝ｃ＊ｘ＋ｄ＊ｙ＋ｆで示される座標変換式によって、（Ｘ、Ｙ）の輝度を（ｘ、ｙ）の輝度で置き換える処理のことをいい、一次の座標軸変換式で表される画像の幾何学的変換で、撮像系の比較的単純な歪みの補正や、対称物体の置き方のずれを補正して、複数画像間の位置合わせを行う場合に一般的に用いられる手法である。
【０００９】
アフィン変換が齎す幾何的なずれ作用には回転・変倍・平行移動があり、歪み作用にはせん断・伸縮がある。これらを１つの相違度に集約してしまっては、識別を精度良く行うにも限界があるし、アフィン変換係数そのものを閾値と比較したのでは、幾何的なずれ・歪みを間接的に評価しているに過ぎず、やはり識別精度には限界がある。
【００１０】
そこで本発明は、上記問題点に鑑みてなされたものであって、専用の帳票を必要とせず、罫線のない帳票にも適用可能で、しかも精度の良い識別を行うことができる画像検査装置、画像検査方法、及びプログラムを提供することを目的とする。
【課題を解決するための手段】
【００１１】
上記課題を解決するため、請求項１に記載の本発明における画像検査装置は、基準画像を入力する基準画像入力手段と、被検査画像を入力する被検査画像入力手段と、前記基準画像と前記被検査画像とを整合する画像整合手段と、前記整合された画像に対して座標変換処理を施すことにより複数のパラメータを算出する算出手段と、前記複数のパラメータの各値と、前記複数のパラメータのそれぞれに対応して予め定められた複数の基準値とをそれぞれ比較する比較手段と、前記比較手段の比較結果に基づいて、前記被検査画像の受け入れの可否を判断する判断手段と、を含むことを特徴とする。
【発明の効果】
【００１２】
本発明によれば、特有のマークや記号、また罫線のない帳票を含めた、多種多様な定型帳票を対象に、帳票種識別を精度良く行うことができる画像検査装置、画像検査方法、及びプログラムを得ることができる。
【図面の簡単な説明】
【００１３】
【図１】本発明の実施形態に係る画像検査装置の構成について説明する概略ブロック図である。
【図２】本発明の実施形態に係る画像検査装置の動作について説明する動作フローである。
【図３】本発明の実施形態に係る画像検査装置における整合ずれ度について、データ画像原点に対するマスター画像上のベクトルについて説明する図である。
【図４】本発明の実施形態に係る画像検査装置における整合歪み度ついて、せん断作用と伸縮作用について説明する図である。
【図５】本発明の実施形態に係る画像検査装置における基準値（閾値）と、整合ずれ度と整合歪み度との判定結果を示す図である。
【図６】本発明の他の実施形態に係る画像検査装置の動作について説明する動作フローである。
【図７】本発明の実施形態に係る画像検査装置に実行させるプログラムを格納するコンピュータの構成について説明する概略ブロック図である。
【発明を実施するための形態】
【００１４】
次に、本発明を実施するための形態について図面を参照して詳細に説明する。なお、各図中、同一又は相当する部分には同一の符号を付しており、その重複説明は適宜に簡略化乃至省略する。本発明は、要するに、基準画像と被検査画像とを整合し座標変換を施すことにより求められた複数のパラメータの各値が、それぞれに対応して予め定められた複数の基準値の条件を満たすとき、被検査画像を受け入れることが特徴になっている。この本発明の特徴について、以下の図面を用いて詳細に解説する。
【００１５】
最初に、本発明の実施形態に係る画像検査装置について説明する。図１は、本発明の実施形態に係る画像検査装置の構成について説明する概略ブロック図である。図１において、画像検査装置１００は、基準画像となるマスター画像を入力するマスター画像入力部１０１と、被検査対象画像となるデータ画像を入力するデータ画像入力部１０２と、マスター画像入力部１０１及びデータ画像入力部１０２から入力されたマスター画像及びデータ画像を一時的に格納するマスター画像バッファ１１１及びデータ画像バッファ１１２と、マスター画像バッファ１１１から出力されたマスター画像とデータ画像バッファ１１２から出力されたデータ画像とを整合する画像整合部１０３と、画像整合部１０３により整合されたマスター画像とデータ画像とに対してアフィン変換を施し、アフィン変換係数を一時的に格納するアフィン変換係数バッファ１１３とから構成される。
【００１６】
さらに、アフィン変換により算出されたマスター画像とデータ画像との間の整合ずれ度を算出する整合ずれ度算出部１０４と、整合歪み度を算出する整合歪み度算出部１０５と、整合ずれ度を一時的に格納する整合ずれ度バッファ１１４と、整合歪み度を一時的に格納する整合歪み度バッファ１１５と、整合ずれ度バッファ１１４から出力された整合ずれ度と、整合歪み度バッファ１１５から出力された整合歪み度とに基づいて、画像検査結果を判定する結果判定部１０６とから構成される。
【００１７】
次に、本発明の実施形態における画像検査装置の動作について説明する。図２は、本発明の実施形態に係る画像検査装置の動作について説明する動作フローである。図２において、まず、ステップ２０１（以下、「Ｓ２０１」等という。）の処理では、スキャナ等により構成されるマスター画像入力部１０１へ入力されたマスター画像は、デジタル画像データとしてマスター画像バッファ１１１（図１）へ保存される。
【００１８】
同様に、Ｓ２０２の処理では、スキャナ等により構成されるデータ画像入力部１０２へ入力されたデータ画像は、デジタル画像データとしてデータ画像バッファ１１２へ保存される。続いて、Ｓ２０３の処理では、画像整合部１０３において、マスター画像バッファ１１１上のマスター画像とデータ画像バッファ１１２上のデータ画像とを互いに整合させるためのアフィン変換処理が施され、アフィン変換係数が算出される。
【００１９】
なお、アフィン変換処理については、一般的に用いられている公知の方法を採用することとし、ここでは詳細な説明を省略する。また、仮に、マスター画像とデータ画像との差異が極端に大きい等の理由によって、適切なアフィン変換処理が施されず、アフィン変換係数が算出されない場合には、この時点でデータ画像はリジェクトされる。そして、適切なアフィン変換処理が施され、アフィン変換係数が算出されるとき、その変換式は次の＜数式１＞に従う。
【００２０】
＜数式１＞
Ｘ＝ａ＊ｘ＋ｂ＊ｙ＋ｅ
Ｙ＝ｃ＊ｘ＋ｄ＊ｙ＋ｆ
ここで、（ｘ、ｙ）は、データ画像上の座標であり、（Ｘ、Ｙ）は、対応するマスター画像上の座標を意味する。また、ａ、ｂ、ｃ、ｄ、ｅ、及びｆは、アフィン変換係数である。そして、＜数式１＞中のアフィン変換係数ａからｆは、アフィン変換係数バッファ１１３（図１）へ格納される。
【００２１】
次に、Ｓ２０４の処理では、整合ずれ度算出部１０４（図１）において、アフィン変換係数バッファ１１３に格納されたアフィン変換係数を用いて整合ずれ度が算出される。データ画像上の横軸単位ベクトルＶｘ＝（１、０）は、＜数式１＞にてｘ＝１、ｙ＝０を代入すれば分かる通り、アフィン変換処理が施されるにより、マスター画像上のベクトルＶＸ＝（ａ、ｃ）へ写像される（ここでは、データ画像原点（０、０）の写像先（ｅ、ｆ）からの相対ベクトルで考えることとする。）。
【００２２】
同様に、データ画像上の縦軸単位ベクトルＶｙ＝（０、１）は、マスター画像上のベクトルＶＹ＝（ｂ、ｄ）へ写像される。ここで、図３を参照して、データ画像原点に対するマスター画像上のベクトルについて説明する。図３は、本発明の実施形態に係る画像検査装置における整合ずれ度について、データ画像原点に対するマスター画像上のベクトルについて説明する図である。
【００２３】
図３では、画像左下隅を原点とし、垂直上向きをｙ軸として描いているが、画像処理分野でよく用いられるように、画像左上隅を原点とし、垂直下向きをy軸としても良い。ベクトルＶＸと水平線とのなす角をαとすると、アフィン変換処理によるデータ画像横軸の回転量として、ｔａｎαの絶対値を用いることができる。同様に、ベクトルＶＹと垂直線とのなす角をβとすると、データ画像縦軸の回転量として、ｔａｎβの絶対値を用いることができる。そして、それらの平均を全体の回転量パラメータＰ１とする。
【００２４】
すなわち、
＜数式２＞
Ｐ１＝（｜ｔａｎα｜＋｜ｔａｎβ｜）／２＝（｜ｃ／ａ｜＋｜ｂ／ｄ｜）／２
ここで、パラメータＰ１はアフィン変換による回転作用の度合いを示すものであり、回転がなければ０、回転作用が大きくなるに従って増加する量である。一方、ベクトルＶＸとＶＹの大きさは、そのままアフィン変換処理による横変倍率Ｒｘと縦変倍率Ｒｙとをそれぞれ表している。
【００２５】
すなわち、
＜数式３＞
Ｒｘ＝｜ＶＸ｜＝ＳＱＲＴ｛ａ＊ａ＋ｃ＊ｃ｝
Ｒｙ＝｜ＶＹ｜＝ＳＱＲＴ｛ｂ＊ｂ＋ｄ＊ｄ｝
なお、ＳＱＲＴ｛・・・｝は平方根を示す。
【００２６】
ここで、変倍作用として、２倍の拡大と１／２の縮小とを同等に評価したり、３倍の拡大と１／３の縮小とを同等に評価したりするには、変倍率が１以上であればその値を用い、変倍率が１未満であればその逆数を用いれば良いことになる。つまり、横方向と縦方向の変倍作用はそれぞれＭＡＸ（Ｒｘ、１／Ｒｘ）、ＭＡＸ（Ｒｙ、１／Ｒｙ）として表現できる。なお、ＭＡＸ（Ａ、Ｂ）は、ＡとＢの内の大きい方を表すものとする。そして、それらの平均と等倍（無変倍）との間の乖離を全体の変倍量パラメータＰ２とする。
【００２７】
すなわち、
＜数式４＞
Ｐ２＝｛ＭＡＸ（Ｒｘ、１／Ｒｘ）＋ＭＡＸ（Ｒｙ、１／Ｒｙ）｝／２−１
ここで、パラメータＰ２はアフィン変換処理による変倍作用の度合いを示すものであり、変倍がなければ０、変倍作用が大きくなるに従って増加する量である。
【００２８】
また、アフィン変換係数ｅとｆの絶対値は、そのままアフィン変換処理による横移動量と縦移動量とをそれぞれ表しているが、単位を画素の単位であるピクセルから、物理的長さの単位であるミリメートルに変換する。ここで、用紙サイズのピクセル値を求める計算式は、用紙の一辺の長さ（ｍｍ）＊解像度（ｄｐｉ：dot per inch）／２５．４であるから、横解像度Ｈｘ（ｄｐｉ）と縦解像度Ｈｙ（ｄｐｉ）とを用いて単位の変換を行い、それらの平均を全体の平行移動量パラメータＰ３とする。
【００２９】
すなわち、
＜数式５＞
Ｐ３＝｛（ｅ＊２５．４／Ｈｘ）＋（ｆ＊２５．４／Ｈｙ）｝／２
ここで、パラメータＰ３はアフィン変換処理による平行移動作用の度合いを示すものであり、平行移動がなければ０、平行移動作用が大きくなるにつれて増加する量である。このようして、図２のＳ２０４の処理において、３つの成分からなる整合ずれ度（Ｐ１、Ｐ２、Ｐ３）が得られ、整合ずれ度バッファ１１４（図１）へ格納される。
【００３０】
次に、整合歪み度算出部１０５（図１）において、アフィン変換係数バッファ１１３に格納されたアフィン変換係数を用いて整合歪み度が算出される。ここで、図４を参照して、整合歪み度における、せん断作用と伸縮作用について説明する。図４は、本発明の実施形態に係る画像検査装置における整合歪み度ついて、せん断作用と伸縮作用について説明する図である。
【００３１】
アフィン変換処理が正方形を平行四辺形に歪ませる作用は、正方形の各辺の長さを保ったまま菱形に変形させるせん断作用と、正方形の直角を保ったまま縦横の辺の長さが異なる矩形に変形させる伸縮作用とに分けて考えることができる。せん断作用については、作用が強まるほど、前述したベクトルＶＸとＶＹのなす角θは直角から乖離する。この乖離の度合いを、ｃｏｓθの絶対値で評価したものを、せん断量パラメータＰ４とする。
【００３２】
すなわち、
＜数式６＞
Ｐ４＝｜ｃｏｓθ｜＝｜ＶＸ−ＶＹ｜／｜ＶＸ｜｜ＶＹ｜＝｜ａ＊ｂ＋ｃ＊ｄ｜／（Ｒｘ＊Ｒｙ）
ここで、パラメータＰ４はアフィン変換処理によるせん断作用の度合いを示すものであり、せん断がなければ０、せん断作用が大きくなるにつれて増加する量である。
【００３３】
また、伸縮作用については、作用が強まるほど、ベクトルＶＸの大きさＲｘを一辺とする正方形と、ベクトルＶＹの大きさＲｙを一辺とする正方形とのスケール差が広がる。このスケール差を面積差によって評価し、面積差を横Ｒｘ＊縦Ｒｙの矩形の面積で正規化したものを伸縮量パラメータＰ５とする。
【００３４】
すなわち、
＜数式７＞
Ｐ５＝｛ＭＡＸ（Ｒｘ＊Ｒｘ、Ｒｙ＊Ｒｙ）−ＭＩＮ（Ｒｘ＊Ｒｘ、Ｒｙ＊Ｒｙ）｝／（Ｒｘ＊Ｒｙ）
ここで、ＭＩＮ（Ａ、Ｂ）は、ＡとＢの内の小さい方を表すものとする。パラメータＰ５はアフィン変換処理による伸縮作用の度合いを示し、伸縮がなければ０、伸縮作用が大きくなるにつれて増加する量である。このようして、図２のＳ２０５の処理において、２つの成分からなる整合歪み度（Ｐ４、Ｐ５）が得られ、整合歪み度バッファ１１５（図１）へ格納される。
【００３５】
整合ずれ度パラメータＰ１からＰ３と整合歪み度パラメータＰ４、Ｐ５とは、そのいずれの要素も、０に近いほどデータ画像がマスター画像と無理なく整合し得ることを示す指標である。そこで、図２のＳ２０６の処理において、結果判定部１０６（図１）において、整合ずれ度バッファ１１４と整合歪み度バッファ１１５上のパラメータＰ１からＰ５と、各要素に対応するマスター画像の基準値（閾値）Ｔ１からＴ５とを比較し、すべての要素が基準値（閾値）以下であれば（Ｓ２０６：Ｙｅｓ）、当該データ画像を受け入れ（Ｓ２０７）、１つでも基準値（閾値）を超える要素があれば（Ｓ２０６：Ｎｏ）、リジェクトする（Ｓ２０８）。
【００３６】
すなわち、
ｉｆ（Ｐ１≦Ｔ１)ＡＮＤ（Ｐ２≦Ｔ２）ＡＮＤ（Ｐ３≦Ｔ３）ＡＮＤ（Ｐ４≦Ｔ４)ＡＮＤ（Ｐ５≦Ｔ５）
ｔｈｅｎ 受け入れ
ｅｌｓｅ リジェクト
なるロジックをもって検査結果が判定される。
【００３７】
ここで、基準値（閾値）と、整合ずれ度と整合歪み度との判定結果の具体例を用いて説明する。図５は、本発明の実施形態に係る画像検査装置における基準値（閾値）と、整合ずれ度と整合歪み度との判定結果を示す図である。図５に示す例では、ケース（ａ）は、パラメータＰ１からＰ５のすべてが基準値（閾値）以下であるため「受け入れ」と判定されるが、ケース（ｂ)は、パラメータＰ２、Ｐ４、Ｐ５がそれぞれ基準値（閾値）を上回っているため「リジェクト」と判定される。
【００３８】
次に、本発明の他の実施形態における画像検査装置の動作について説明する。他の実施形態の動作のうち、上述した実施形態と同一部分については説明を省略する。上述した実施形態との相違点は、整合ずれ度パラメータＰ１からＰ３及び整合歪み度パラメータＰ４、Ｐ５と比較されるべき基準値（閾値）として、事前の学習によってマスター画像に適応して決定された値を用いていることである。
【００３９】
このため、予め特定のマスター画像ｍに対して、受け入れるべきデータ画像を多数収集し、上記実施形態において説明した方法を用いて各データ画像についてのパラメータＰ１からＰ５を算出する。収集されたデータ画像の中で最大のパラメータＰ１値をＭ１、最大のパラメータＰ２値をＭ２…、（以下、パラメータＰ５まで同様）、…とする。
【００４０】
この他の実施形態における画像検査装置の動作について図６を用いて具体的に説明する。図６は、本発明の他の実施形態に係る画像検査装置の動作について説明する動作フローである。図６において、まず、Ｓ６０１の処理では、パラメータＰ１からＰ５までの値の各最大値であるＭ１からＭ５に対して０が代入されることにより、最大値の初期化が行われる。
【００４１】
次に、Ｓ６０２の処理では、マスター画像ｍと次のデータ画像が、それぞれマスター画像入力部１０１及びデータ画像入力部１０２に入力される。そして、Ｓ６０３の処理では、整合ずれ度算出部１０４及び整合歪み度算出部１０５において、整合ずれ度パラメータＰ１からＰ３及び整合歪み度パラメータＰ４、Ｐ５が算出される。
【００４２】
そして、Ｓ６０４の処理において、Ｐ１がパラメータＰ１の最大値であるＭ１より大であるか否かが判断され、Ｐ１がＭ１よりも大（Ｓ６０４：Ｙｅｓ）であれば、そのＰ１を最大値Ｍ１として更新し（Ｓ６０５）、Ｐ１がＭ１未満（Ｓ６０４：Ｎｏ）あれば、最大値Ｍ１を更新せずにＳ６０６へ移行する。
【００４３】
このような最大値を求める処理を、パラメータＰ２からＰ５についてまで実施し、Ｓ６０６の処理において、入力された画像が最後であるか否かが判断される。入力された画像が最後でないときには（Ｓ６０６：Ｎｏ）、Ｓ６０２の処理へ戻り、入力された画像が最後であるときには（Ｓ６０６：Ｙｅｓ）、Ｓ６０７の処理へ移行する。
【００４４】
Ｓ６０７の処理では、基準値（閾値）が決定される。すなわち、予め特定のマスター画像ｍに対して、受け入れるべきデータ画像を多数収集し、上述した実施形態において説明した動作フローを実行することにより、各データ画像についてパラメータＰ１からＰ５を算出する。そして、収集されたデータ画像の中で最大のＰ１値をＭ１、最大のＰ２値をＭ２…、（以下、Ｐ５まで同様）、…とすると、これらのマスター画像ｍに対する基準値（閾値）Ｔ１ｍからＴ５ｍを次式の通り決定しておく。
【００４５】
すなわち、
＜数式８＞
Ｔ１ｍ＝Ｋ＊Ｍ１
Ｔ２ｍ＝Ｋ＊Ｍ２
Ｔ３ｍ＝Ｋ＊Ｍ３
Ｔ４ｍ＝Ｋ＊Ｍ４
Ｔ５ｍ＝Ｋ＊Ｍ５
ここで、右辺のＫ倍のファクターは、収集から漏れた未知のデータ画像を考慮したマージンに相当するものであり、一例としてＫ＝１．２を用いることができる。ここまでが事前学習の動作フローである。
【００４６】
そして、画像検査を行うときは、新たなデータ画像がマスター画像ｍとの照合のためデータ画像入力部１０２（図１）に入力されると、上述した実施形態で説明した動作フローに従って、当該データ画像についてのパラメータＰ１からＰ５が算出され、上式の基準値（閾値）（Ｔ１ｍからＴ５ｍ）を用いて、
ｉｆ（Ｐ１≦Ｔ１ｍ）ＡＮＤ（Ｐ２≦Ｔ２ｍ）ＡＮＤ（Ｐ３≦Ｔ３ｍ）ＡＮＤ（Ｐ４≦Ｔ４ｍ）ＡＮＤ（Ｐ５≦Ｔ５ｍ）
ｔｈｅｎ 受け入れ
ｅｌｓｅ リジェクト
なるロジックをもって検査結果が決定される。
【００４７】
このように他の実施形態によれば、収集されたデータ画像はすべてマスター画像ｍとして受け入れられ、新たなデータ画像についても同様に受け入れられるものと期待される。また、リジェクトすべきデータ画像が入力された場合には、そのパラメータＰ１からＰ５の中には基準値（閾値）以下となるものも僅かながらもあり得るが、５つのパラメータすべてが同時に基準値（閾値）以下となる可能性は非常に低く、上記ＡＮＤ条件のロジックによって正確にリジェクトできると考えられる。
【００４８】
また、本発明のさらに他の実施形態では、整合ずれ度パラメータであるＰ１、Ｐ２、Ｐ３で得られたずれ度合いの、それぞれのパラメータを単独で閾値処理によって判断するのではなく、
＜数式９＞
Ｇ＝α＊Ｐ１＋β＊Ｐ２＋γ＊Ｐ３
という一次元の評価式にて評価を行い、Ｇの値を閾値Ｔ６において判断を行う。α、β、γには例として、１．０、１．５、０．０１２等を用いることができる。
【００４９】
すなわち、
ｉｆ（Ｇ＜Ｔ６）
ｔｈｅｎ 受け入れ
ｅｌｓｅ リジェクト
なるロジックをもって検査結果が判定される。
【００５０】
ここで、Ｐ３は変換における原点の平行移動量に依存するパラメータであり、この値が大きかったとしても、形状の変化とは無関係である。そのため、スキャンの条件等によっては、γの係数を０として判断しても良い。
【００５１】
また、ここでＰ１は変換における、回転の成分に依存しており、θが小さい場合に、ｔａｎθ≒ｃ／ａが成立することを仮定している。Ｐ３と同様に、回転していても形状は変わらないわけであるが、Ｐ１の値が大きくなると仮定が成立しなくなることもあり、一定値で判断しても良い。
【００５２】
なお、本発明のさらに他の実施形態では、整合ずれ度パラメータであるＰ１、Ｐ２、Ｐ３で得られたずれ度合いの、それぞれのパラメータを単独で閾値処理によって判断することと、上述した一次元の評価式にて評価を行うこととを併用し、個々のパラメータ及びＧの値が基準を満たすことを受け入れる条件としても良い。
【００５３】
また、本発明のさらに他の実施形態では、整合歪み度パラメータであるＰ４、Ｐ５で得られた歪度合いの、それぞれのパラメータを単独で閾値処理によって判断するのではなく、
＜数式１０＞
ＤＩ＝δ＊Ｐ４＋ε＊Ｐ５
という一次元の評価式にて評価を行い、ＤＩの値を閾値Ｔ７において判断を行う。δ、εには、例として、１．０、０．５を用いることができる。
【００５４】
すなわち、
ｉｆ（ＤＩ＜Ｔ７）
ｔｈｅｎ 受け入れ
ｅｌｓｅ リジェクト
なるロジックをもって検査結果が判定される。
【００５５】
そして、歪度合いについては、形状の変化に直結するために、ずれ量よりも厳しい閾値で判断するほうが、経験上精度が上がることが分かっている。
【００５６】
本発明のさらに他の実施形態は、上記した「ずれ量よりも厳しい閾値で判断するほうが、経験上精度が上がる。」点を考慮したものであり、
＜数式１１＞
Ｔ＝α＊Ｐ１＋β＊Ｐ２＋γ＊Ｐ３＋δ＊Ｐ４＋ε＊Ｐ５
の評価式と閾値Ｔ８によって判断を行うことも可能である。
【００５７】
すなわち、
ｉｆ（ＤＩ＜Ｔ８）
ｔｈｅｎ 受け入れ
ｅｌｓｅ リジェクト
なるロジックをもって検査結果が判定される。
【００５８】
ここで係数α〜εは、全てのシステムで固定とするのではなく、運用の評価の時点で正常処理されたデータの統計解析を行い、各パラメータの寄与度を重みに反映するということができる。さらに、重みに反映するのは寄与度ではなく、統計解析して分かったずれ、歪み度の分散の最大値も利用できるため、これらはそれぞれのパラメータＰ１〜Ｐ５の閾値であるＴ１〜Ｔ５に反映させることができる。
【００５９】
そして、データを統計解析することで、パラメータＰ１〜Ｐ５の相関も分かるため、例えば「Ｐ３とＰ５の値は相関関係が高いためにどちらか一方だけを計算することで閾値処理ができる。」ということが判明した場合に、Ｐ３を計算する処理を省くという対応も可能である（γを０にするということもできるが、そもそも計算を行わない方が、処理時間の高速化に繋がる。）。
【００６０】
一部のデータ収集を行い、パラメータの最適化を随時行う場合には、他のメリットもある。例えば１拠点で処理を行っていたところから、拠点数を増やすということになり、他のスキャナでの運用も始まったとする。あるところに少し古めのスキャナが配備されて、スキャン時のスキューが起こる確率が増えたとすると、従来データよりも、正しいにもかかわらずリジェクトされるという現象が増える。そのデータ等の状況を鑑みて閾値や係数を調整することも可能である。
【００６１】
なお、本発明の実施形態に係る画像検査装置の各動作はコンピュータ上のプログラムに実行させることもできる。図７は、本発明の実施形態に係る画像検査装置に実行させるプログラムを格納するコンピュータの構成について説明する概略ブロック図である。ＣＤ−ＲＯＭ（Compact Disk Read Only Memory）等の記録媒体に記録された本発明の実施形態に係るプログラムは、図７のＣＤ−ＲＯＭドライブ７０５を通じて（又は、一旦ハードディスク７０１に蓄えられることもある。）、プログラム実行時にはメモリ７０６上にロードされ、ＣＰＵ（Central Processing Unit）７０２からの指令によってプログラムの処理ステップが順次実行される。
【００６２】
マスター画像及びデータ画像に相当するデジタル画像データは、予めハードディスク７０１上に蓄えられるか、又は実行時に図示しないスキャナを通じて取り込まれた後、メモリ７０６上にロードされて参照される。検査の判定結果はメモリ７０６に保存され、必要に応じてハードディスク７０１に格納されたり、ディスプレイ７０３に出力されたり、通信装置７０４を介してネットワーク上へ送出されたり、或いは図示しないプリンターを通じて紙上に印字される。
【００６３】
以上説明したように、本発明では、基準画像と被検査画像とを整合し座標変換を施すことにより求められた複数のパラメータの各値が、それぞれに対応して予め定められた複数の基準値の条件を満たすとき、被検査画像を受け入れることにより、特有のマークや記号、また罫線のない帳票を含めた、多種多様な定型帳票を対象に、帳票種識別を精度良く行うことができる画像検査装置、画像検査方法、及びプログラムを得ることが可能となった。
【００６４】
以上、本発明の好適な実施形態により本発明を説明した。ここでは特定の具体例を示して本発明を説明したが、特許請求の範囲に定義された本発明の広範囲な趣旨及び範囲から逸脱することなく、これら具体例に様々な修正及び変更が可能である。
【符号の説明】
【００６５】
１００ 画像検査装置
１０１ マスター画像入力部
１０２ データ画像入力部
１０３ 画像整合部
１０４ 整合ずれ度算出部
１０５ 整合歪み度算出部
１１１ マスター画像バッファ
１１２ データ画像バッファ
１１３ アフィン変換計数バッファ
１１４ 整合ずれ度バッファ
１１５ 整合歪み度バッファ
７００ コンピュータ
７０１ ハードディスク
７０２ ＣＰＵ
７０３ ディスプレイ
７０４ 通信装置
７０５ ＣＤ−ＲＯＭドライブ
７０６ メモリ
７０７ キーボード／マウス
【先行技術文献】
【特許文献】
【００６６】
【特許文献１】特開２００３−１０９００７号公報
【特許文献２】特許第３９３２２０１号公報
【特許請求の範囲】
【請求項１】
基準画像を入力する基準画像入力手段と、
被検査画像を入力する被検査画像入力手段と、
前記基準画像と前記被検査画像とを整合する画像整合手段と、
前記整合された画像に対して座標変換処理を施すことにより複数のパラメータを算出する算出手段と、
前記複数のパラメータの各値と、前記複数のパラメータのそれぞれに対応して予め定められた複数の基準値とをそれぞれ比較する比較手段と、
前記比較手段の比較結果に基づいて、前記被検査画像の受け入れの可否を判断する判断手段と、
を含むことを特徴とする画像検査装置。
【請求項２】
前記複数のパラメータは、前記基準画像に対する前記被検査画像のずれ度合い及び歪度合いを示すパラメータであることを特徴とする請求項１に記載の画像検査装置。
【請求項３】
前記判断手段は、前記複数のパラメータの各値が、対応する前記複数の基準値の条件を満たすとき、前記被検査画像を受け入れることを特徴とする請求項１又は２に記載の画像検査装置。
【請求項４】
前記基準画像に対する前記被検査画像のずれ度合いを示すパラメータは、前記基準画像に対する前記被検査画像の回転量、変倍量、及び平行移動量の中の少なくとも１つを含むものであることを特徴とする請求項２に記載の画像検査装置。
【請求項５】
前記基準画像に対する前記被検査画像の歪度合いを示すパラメータは、前記基準画像に対する前記被検査画像のせん断量及び伸縮量の中の少なくとも１つを含むことを特徴とする請求項２に記載の画像検査装置。
【請求項６】
前記座標変換処理は、アフィン変換処理であることを特徴とする請求項１から５の何れか１項に記載の画像検査装置。
【請求項７】
基準画像入力手段が、基準画像を入力する工程と、
被検査画像入力手段が、被検査画像を入力する工程と、
画像整合手段が、前記基準画像と前記被検査画像とを整合する工程と、
算出手段が、前記整合する工程により整合された画像に対して座標変換処理を施すことにより複数のパラメータを算出する工程と、
比較手段が、前記複数のパラメータの各値と、前記複数のパラメータのそれぞれに対応して予め定められた複数の基準値とをそれぞれ比較する工程と、
判断手段が、前記比較する工程の比較結果に基づいて、前記被検査画像の受け入れの可否を判断する工程と、
を含むことを特徴とする画像検査方法。
【請求項８】
画像検査装置のコンピュータに実行させるプログラムであって、
基準画像入力手段が、基準画像を入力する処理と、
被検査画像入力手段が、被検査画像を入力する処理と、
画像整合手段が、前記基準画像と前記被検査画像とを整合する処理と、
算出手段が、前記整合する処理により整合された画像に対して座標変換処理を施すことにより複数のパラメータを算出する処理と、
比較手段が、前記複数のパラメータの各値と、前記複数のパラメータのそれぞれに対応して予め定められた複数の基準値とをそれぞれ比較する処理と、
判断手段が、前記比較する処理の比較結果に基づいて、前記被検査画像の受け入れの可否を判断する処理と、
を含むことを特徴とするプログラム。
【請求項９】
前記基準画像に対する前記被検査画像のずれ度合いを示すパラメータは、前記基準画像に対する前記被検査画像の回転量、変倍量、及び平行移動量の中の少なくとも１つを含む１次元の式で表され、その式で計算されたずれ度合いによって受け入れの判断をすることを特徴とする請求項２に記載の画像検査装置。
【請求項１０】
前記基準画像に対する前記被検査画像の歪度合いを示すパラメータは、前記基準画像に対する前記被検査画像のせん断量及び伸縮量の中の少なくとも１つを含む１次元の式で表され、その式で計算された歪度合いによって受け入れの判断をすることを特徴とする請求項２に記載の画像検査装置。
【請求項１１】
前記基準画像に対する前記被検査画像のずれ度合い、歪度合いを示すパラメータから判断処理を行うための１次元の式によって、一致度合いを計算し、その値によって受け入れの判断をすることを特徴とする請求項２に記載の画像検査装置。
【請求項１２】
前記複数のパラメータは、前記基準画像に対する前記被検査画像のずれ度合い及び歪度合いを示すパラメータであることを特徴とする請求項７に記載の画像検査方法。
【請求項１３】
前記基準画像に対する前記被検査画像のずれ度合いを示すパラメータは、前記基準画像に対する前記被検査画像の回転量、変倍量、及び平行移動量の中の少なくとも１つを含む１次元の式で表され、その式で計算されたずれ度合いによって受け入れの判断をすることを特徴とする請求項１２に記載の画像検査方法。
【請求項１４】
前記基準画像に対する前記被検査画像の歪度合いを示すパラメータは、前記基準画像に対する前記被検査画像のせん断量及び伸縮量の中の少なくとも１つを含む１次元の式で表され、その式で計算された歪度合いによって受け入れの判断をすることを特徴とする請求項１２に記載の画像検査方法。
【請求項１５】
前記基準画像に対する前記被検査画像のずれ度合い、歪度合いを示すパラメータから判断処理を行うための１次元の式によって、一致度合いを計算し、その値によって受け入れの判断をすることを特徴とする請求項１２に記載の画像検査方法。
【請求項１】
基準画像を入力する基準画像入力手段と、
被検査画像を入力する被検査画像入力手段と、
前記基準画像と前記被検査画像とを整合する画像整合手段と、
前記整合された画像に対して座標変換処理を施すことにより複数のパラメータを算出する算出手段と、
前記複数のパラメータの各値と、前記複数のパラメータのそれぞれに対応して予め定められた複数の基準値とをそれぞれ比較する比較手段と、
前記比較手段の比較結果に基づいて、前記被検査画像の受け入れの可否を判断する判断手段と、
を含むことを特徴とする画像検査装置。
【請求項２】
前記複数のパラメータは、前記基準画像に対する前記被検査画像のずれ度合い及び歪度合いを示すパラメータであることを特徴とする請求項１に記載の画像検査装置。
【請求項３】
前記判断手段は、前記複数のパラメータの各値が、対応する前記複数の基準値の条件を満たすとき、前記被検査画像を受け入れることを特徴とする請求項１又は２に記載の画像検査装置。
【請求項４】
前記基準画像に対する前記被検査画像のずれ度合いを示すパラメータは、前記基準画像に対する前記被検査画像の回転量、変倍量、及び平行移動量の中の少なくとも１つを含むものであることを特徴とする請求項２に記載の画像検査装置。
【請求項５】
前記基準画像に対する前記被検査画像の歪度合いを示すパラメータは、前記基準画像に対する前記被検査画像のせん断量及び伸縮量の中の少なくとも１つを含むことを特徴とする請求項２に記載の画像検査装置。
【請求項６】
前記座標変換処理は、アフィン変換処理であることを特徴とする請求項１から５の何れか１項に記載の画像検査装置。
【請求項７】
基準画像入力手段が、基準画像を入力する工程と、
被検査画像入力手段が、被検査画像を入力する工程と、
画像整合手段が、前記基準画像と前記被検査画像とを整合する工程と、
算出手段が、前記整合する工程により整合された画像に対して座標変換処理を施すことにより複数のパラメータを算出する工程と、
比較手段が、前記複数のパラメータの各値と、前記複数のパラメータのそれぞれに対応して予め定められた複数の基準値とをそれぞれ比較する工程と、
判断手段が、前記比較する工程の比較結果に基づいて、前記被検査画像の受け入れの可否を判断する工程と、
を含むことを特徴とする画像検査方法。
【請求項８】
画像検査装置のコンピュータに実行させるプログラムであって、
基準画像入力手段が、基準画像を入力する処理と、
被検査画像入力手段が、被検査画像を入力する処理と、
画像整合手段が、前記基準画像と前記被検査画像とを整合する処理と、
算出手段が、前記整合する処理により整合された画像に対して座標変換処理を施すことにより複数のパラメータを算出する処理と、
比較手段が、前記複数のパラメータの各値と、前記複数のパラメータのそれぞれに対応して予め定められた複数の基準値とをそれぞれ比較する処理と、
判断手段が、前記比較する処理の比較結果に基づいて、前記被検査画像の受け入れの可否を判断する処理と、
を含むことを特徴とするプログラム。
【請求項９】
前記基準画像に対する前記被検査画像のずれ度合いを示すパラメータは、前記基準画像に対する前記被検査画像の回転量、変倍量、及び平行移動量の中の少なくとも１つを含む１次元の式で表され、その式で計算されたずれ度合いによって受け入れの判断をすることを特徴とする請求項２に記載の画像検査装置。
【請求項１０】
前記基準画像に対する前記被検査画像の歪度合いを示すパラメータは、前記基準画像に対する前記被検査画像のせん断量及び伸縮量の中の少なくとも１つを含む１次元の式で表され、その式で計算された歪度合いによって受け入れの判断をすることを特徴とする請求項２に記載の画像検査装置。
【請求項１１】
前記基準画像に対する前記被検査画像のずれ度合い、歪度合いを示すパラメータから判断処理を行うための１次元の式によって、一致度合いを計算し、その値によって受け入れの判断をすることを特徴とする請求項２に記載の画像検査装置。
【請求項１２】
前記複数のパラメータは、前記基準画像に対する前記被検査画像のずれ度合い及び歪度合いを示すパラメータであることを特徴とする請求項７に記載の画像検査方法。
【請求項１３】
前記基準画像に対する前記被検査画像のずれ度合いを示すパラメータは、前記基準画像に対する前記被検査画像の回転量、変倍量、及び平行移動量の中の少なくとも１つを含む１次元の式で表され、その式で計算されたずれ度合いによって受け入れの判断をすることを特徴とする請求項１２に記載の画像検査方法。
【請求項１４】
前記基準画像に対する前記被検査画像の歪度合いを示すパラメータは、前記基準画像に対する前記被検査画像のせん断量及び伸縮量の中の少なくとも１つを含む１次元の式で表され、その式で計算された歪度合いによって受け入れの判断をすることを特徴とする請求項１２に記載の画像検査方法。
【請求項１５】
前記基準画像に対する前記被検査画像のずれ度合い、歪度合いを示すパラメータから判断処理を行うための１次元の式によって、一致度合いを計算し、その値によって受け入れの判断をすることを特徴とする請求項１２に記載の画像検査方法。
【図１】
【図２】
【図３】
【図４】
【図５】
【図６】
【図７】
【図２】
【図３】
【図４】
【図５】
【図６】
【図７】
【公開番号】特開２０１３−７７２９１（Ｐ２０１３−７７２９１Ａ）
【公開日】平成２５年４月２５日（２０１３．４．２５）
【国際特許分類】
【出願番号】特願２０１２−１７８０２１（Ｐ２０１２−１７８０２１）
【出願日】平成２４年８月１０日（２０１２．８．１０）
【出願人】（０００００６７４７）株式会社リコー (37,907)
【Ｆターム（参考）】
【公開日】平成２５年４月２５日（２０１３．４．２５）
【国際特許分類】
【出願日】平成２４年８月１０日（２０１２．８．１０）
【出願人】（０００００６７４７）株式会社リコー (37,907)
【Ｆターム（参考）】
[ Back to top ]