画像処理方法及び装置
【課題】より正確に文書画像における歪曲を取り除き、文書位置合わせの品質を確かにし、それによって、帳票テンプレートの正確性を高めることができる画像形成装置等を提供する。
【解決手段】罫線が抽出されて、実二次元空間にマッピングされる。マッピングされた罫線と罫線テンプレートのテンプレートセルとの間の対応が決定される。互いに対応するセルの対ごとに、テンプレートセル内の各画素の位置が、セル間のアフィン変換に基づいて、実二次元空間における実位置にマッピングされる。実位置に隣接する位置にある画像内の複数の画素の画素値に基づく画素値は、実位置に対応するテンプレートセル内の画素の画素値として生成される。画像に対応する合成画像は、生成された画素値を有するテンプレート内の画素と罫線テンプレートの罫線とをマージすることによって生成される。帳票テンプレートは、複数の画像に対応する合成画像に基づいて得られる。
【解決手段】罫線が抽出されて、実二次元空間にマッピングされる。マッピングされた罫線と罫線テンプレートのテンプレートセルとの間の対応が決定される。互いに対応するセルの対ごとに、テンプレートセル内の各画素の位置が、セル間のアフィン変換に基づいて、実二次元空間における実位置にマッピングされる。実位置に隣接する位置にある画像内の複数の画素の画素値に基づく画素値は、実位置に対応するテンプレートセル内の画素の画素値として生成される。画像に対応する合成画像は、生成された画素値を有するテンプレート内の画素と罫線テンプレートの罫線とをマージすることによって生成される。帳票テンプレートは、複数の画像に対応する合成画像に基づいて得られる。
【発明の詳細な説明】
【技術分野】
【０００１】
本発明は、画像処理技術に関する。
【背景技術】
【０００２】
多くの文書画像形成システムにおいて、大量の帳票がコンピュータシステムにスキャンされ、コンピュータシステムは、得られた文書画像を処理して、必要な情報を取り出す。一般に、帳票は、予め印刷されている罫線と、例えばテキスト、シンボル等の決まった内容とを含む。可変な内容が、罫線によって囲まれているセル内に手書き又は印刷により記入されていることがある。書き込まれた又は印刷された情報を取り出すよう、コンピュータシステムは、最初に、帳票テンプレートとして罫線及び決まった内容を認識する。帳票テンプレートに従って、文書画像においてセルの領域を認識し、記入されている可変な内容の部分を得るよう罫線及び決まった内容の部分を取り除き、次いで、手書き又は印刷により記入された内容を認識することが可能である。
【０００３】
帳票テンプレートを認識し、手書き又は印刷された内容をそれぞれのセルに割り当てるよう、文書画像を帳票テンプレートに登録することが一般的である。自動帳票処理方法においては、コンピュータシステムは、処理される全種類の帳票について帳票テンプレートを保持すべきであり、そのような帳票テンプレートには、帳票における罫線、セルの位置及び決まった内容が定義されている。帳票テンプレートは、例えば手動入力によりオペレータによって予め定義されてよく、あるいは、例えば、米国特許第６８８６１３６号明細書（特許文献１）に開示されている帳票テンプレート自動生成方法により、入力される文書画像に従って自動的に生成されてよい。
【先行技術文献】
【特許文献】
【０００４】
【特許文献１】米国特許第６８８６１３６号明細書
【発明の概要】
【発明が解決しようとする課題】
【０００５】
本発明は、より正確に文書画像における歪曲を取り除き、文書位置合わせの品質を確かにし、それによって、帳票テンプレートの正確性を高めることができる画像形成装置及び方法を提供する。
【課題を解決するための手段】
【０００６】
本発明の実施形態は、画像処理装置である。装置は、罫線抽出部と、対応決定部と、位置マッピング部と、画素値生成部と、画像生成部と、帳票テンプレート生成部とを有する。罫線抽出部は、複数の画像のそれぞれから罫線を抽出し、該抽出された罫線を実二次元空間にマッピングしてよい。対応決定部は、前記画像のいずれかから罫線を抽出して罫線テンプレートを形成し、各画像の前記抽出された罫線と前記罫線テンプレートの罫線との間の相対関係がより一致する位置に合わせ、前記マッピングされた罫線によって囲まれるセルと前記罫線テンプレートの罫線によって囲まれるテンプレートセルとの間の対応を決定してよい。位置マッピング部は、互いに対応するセルの各対に関して、当該対のセル間のアフィン変換に基づいて、前記テンプレートセル内の画素のそれぞれの位置を前記実二次元空間における実位置にマッピングしてよい。画素値生成部は、前記実位置に対応する前記テンプレートセル内の画素の画素値として、前記実位置に隣接する位置にある画像内の複数の画素の画素値に基づいて画素値を生成してよい。画像生成部は、前記罫線テンプレートの罫線を、生成された画素値を有する前記テンプレートセル内の画素とマージすることによって、各画像に対応する合成画像を生成してよい。帳票テンプレート生成部は、前記複数の画像に対応する合成画像に基づいて帳票テンプレートを取得してよい。
【０００７】
本発明の実施形態は、画像処理装置によって実施される画像処理方法である。方法に従って、複数の画像のそれぞれから罫線を抽出し、該抽出された罫線を実二次元空間にマッピングすることが可能である。前記マッピングされた罫線によって囲まれるセルと前記罫線テンプレートの罫線によって囲まれるテンプレートセルとの間の対応は、前記画像のいずれかから罫線を抽出して罫線テンプレートを形成し、各画像の前記抽出された罫線と前記罫線テンプレートの罫線との間の相対関係がより一致する位置に合わせることで、決定される。互いに対応するセルの各対に関して、前記テンプレートセル内の画素のそれぞれの位置は、当該対のセル間のアフィン変換に基づいて、前記実二次元空間における実位置にマッピングされる。前記実位置に隣接する位置にある画像内の複数の画素の画素値に基づく画素値は、前記実位置に対応する前記テンプレートセル内の画素の画素値として生成される。各画像に対応する合成画像は、前記罫線テンプレートの罫線を、生成された画素値を有する前記テンプレートセル内の画素とマージすることによって、生成される。帳票テンプレートは、前記複数の画像に対応する合成画像に基づいて得られる。
【発明の効果】
【０００８】
本発明の実施形態によれば、変形及び歪曲がセル単位で補正されるので、より正確に文書画像における歪曲を取り除き、文書位置合わせの品質を確かにし、それによって、帳票テンプレートの正確性を高めることができる。
【図面の簡単な説明】
【０００９】
【図１】本発明の実施形態に従う画像処理装置の構成例を表すブロック図である。
【図２】帳票を含む文書画像の一例を表す図である。
【図３】罫線テンプレートの一例を表す図である。
【図４】実二次元空間においてマッピングされた罫線及び該罫線によって囲まれているマッピングされたセルの例を表す図である。
【図５】テンプレートセルとマッピングされたセルとの間のアフィン変換を表す概略図である。
【図６】テンプレートセルにおける画素の位置から実二次元空間における実位置へのアフィン変換によるマッピングを表す概略図である。
【図７】テンプレートセルにおける画素の位置から実二次元空間における実位置への平行面間のアフィン変換によるマッピングを表す概略図である。
【図８】実位置と該実位置に隣接する画素の位置との間の関係を表す概略図である。
【図９】本発明の実施形態に従う画像処理方法のプロセス例を表すフローチャートである。
【図１０】本発明の実施形態に従う罫線生成部の構成例を表すブロック図である。
【図１１】本発明の実施形態に従う罫線テンプレート生成のプロセス例を表す概略図である。
【図１２】本発明の装置及び方法を実施するためのコンピュータの構成例を表すブロック図である。
【発明を実施するための形態】
【００１０】
本発明の上記及び／又は他の態様、特徴及び／又は利点は、添付の図面を参照することによって以下の記載を鑑みて容易に理解されるであろう。添付の図面において、同じ又は対応する技術的特徴又は構成要素は、同じ又は対応する参照符号により表される。
【００１１】
ここで使用される用語は、特定の実施形態を記載するためだけのものであり、本発明を限定するものではない。ここで使用されるように、「１つの」及び「前記」等の要素の前に付された語は、複数を含まないことが明示的に示されない限りは、単数に限らず複数も含む。更に、語「有する」及び「含む」等の表現は、本明細書において使用される場合は、述べられている特徴、数値、ステップ、動作、要素及び／又は部品の存在を特定するが、１又はそれ以上の他の特徴、数値、ステップ、動作、要素、部品及び／又はそれらのグループの存在又は付加を排除しない。
【００１２】
本発明の態様について、以下、本発明の実施形態に従う方法及び装置のフローチャート及び／又はブロック図を参照して記載する。明りょうさのために、当業者によって知られているが本発明とは無関係である構成要素及び処理に関する表現及び記載は、図面及び明細書において省略されていることに留意されたい。フローチャート及び／又はブロック図の各ブロック、並びにフローチャート及び／又はブロック図におけるブロックの組合せは、コンピュータプログラム命令によって実施可能であることは明らかである。それらのコンピュータプログラム命令は、コンピュータ又は他のプログラム可能なデータ処理装置のプロセッサを介して実行する命令が、フローチャート及び／又はブロック図の１以上のブロックにおいて特定される機能／動作を実施する手段を作り出すように、機械を生成するよう汎用コンピュータ、専用コンピュータ、又は他のプログラム可能なデータ処理装置のプロセッサへ与えられてよい。
【００１３】
それらのコンピュータプログラム命令は、コンピュータ可読媒体に記憶されてよい。
【００１４】
コンピュータプログラム命令は、また、コンピュータ又は他のプログラム可能な装置で実行される命令が、フローチャート及び／又はブロック図の１以上のブロックにおいて特定される機能／動作を実施するための処理を提供するように、コンピュータ又は他のプログラム可能な装置で実行される一連の演算ステップにコンピュータ実施処理を作り出させるよう、コンピュータ又は他のプログラム可能なデータ処理装置上にロードされてよい。
【００１５】
図中のフローチャート及びブロック図は、本発明の様々な実施形態に従うシステム、方法及びコンピュータプログラムプロダクトの可能な実施の動作、機能及びアーキテクチャを表すことに留意されたい。これに関連して、フローチャート又はブロック図における各ブロックは、特定の論理機能を実施するための１又はそれ以上の実行可能な命令を有するコードの部分、セグメント又はモジュールを表してよい。また、幾つかの代替の実施において、ブロックにおいて示される機能は、図中に示されている順序を外れて行われてよいことに留意されたい。例えば、順番に示されている２つのブロックは、実際には、略同時に実行されてよく、あるいは、ブロックは、時々、関連する機能に依存して、反対の順序で実行されてよい。また、ブロック図及び／又はフローチャートの各ブロック、並びにブロック図及び／又はフローチャートにおけるブロックの組合せは、専用のハードウェア及びコンピュータ命令の特定の機能若しくは動作又は組合せを実行する専用のハードウェアに基づくシステムによって実施可能であることに留意されたい。
【００１６】
先行技術の方法において、帳票テンプレートは、同じ帳票を有する文書画像を互いと合わせて、それらから比較的不変な部分を取り出す。しかし、文書画像を得る処理において、文書画像における帳票は、文書の傾きや回転等のために、変形及び歪曲され、特に、異なった範囲にまで局所的に変形及び歪曲されることがある。位置合わせによる文書の積分回転の影響を部分的に解消することが可能であるが、文書における局所的な変形及び局所的な歪曲の影響を解消することはできない。
【００１７】
特に、帳票におけるセルは、例えばテキストやシンボル等の決まった内容を含むことがある。文書画像における異なった範囲までの局所的な変形及び歪曲は、このような内容を帳票テンプレート内に認識することを不可能にし、それにより、決まった内容は、文書画像を処理する際に、可変な内容として認識される。
【００１８】
図１は、本発明の実施形態に従う画像処理装置１００の構成例を表すブロック図である。
【００１９】
図１に示されるように、装置１００は、罫線抽出部１０１と、対応決定部１０２と、位置マッピング部１０３と、画素値生成部１０４と、画像生成部１０５と、帳票テンプレート生成部１０６とを有する。
【００２０】
罫線抽出部１０１は、複数の画像のそれぞれから罫線を抽出し、抽出した罫線を実二次元空間にマッピングする。
【００２１】
複数の画像のそれぞれは、同じ帳票を有する文書画像である。図２は、帳票を有する文書画像の一例を表す図である。図２に示されるように、それぞれのセルは罫線によって囲まれている。セルに含まれる淡色の文字は、決まった内容の部分であり、セルに含まれる濃色の文字は、手書き又は印刷された可変な内容の部分である。図２において、「0123456」、「John Smith」、「000000101」、「50,000.0」、「650.25」、「124.48」、「525.77」、「Principal:50,000.0」、「Tax Deducted:124.48」、「Interests:650.25」、「Interests After Tax:525.77」、及び「Henry（署名）」は濃色の文字で記されており、それ以外は淡色の文字で記されている。代替的に、仮に文書画像の端をデフォルト罫線とすることも可能であり、この場合において、非デフォルト罫線及びデフォルト罫線を交差するよう広げることによって、文書画像の端部分におけるセルを得ることが可能である。
【００２２】
従来の方法により文書画像から罫線を抽出することが可能である。例えば、米国特許第７０３９２３５号明細書及び米国特許出願第２００５／０３１２０８号明細書に記載される方法を採用することが可能である。更に、抽出された罫線を実二次元空間にマッピングするよう最小二乗法等の線形マッピング法（linear fitting method）を採用することが可能である。ここで、抽出された罫線上の点は、整数縦座標及び整数横座標としてその位置を有する文書画像内の画素に対応する。実二次元空間にマッピングされた罫線は、それぞれの関数により記載され、その上の点の位置は、離散的な整数値に限定されず、実数値であってよい。図４は、実二次元空間におけるマッピングされた罫線及び該罫線によって囲まれるマッピングされたセルの例を表す図である。図４に示されるように、Ｘ軸及びＹ軸に関する座標値（ｘ，ｙ）は、実二次元空間における点の位置を表す。直線４０１、４０２、４０３及び４０４はそれぞれ、抽出された罫線をマッピングさせることによって得られる実二次元空間内の線である。図４に示されるように、それらの直線は１つのセルを囲む。
【００２３】
罫線抽出部１０１による処理を通じて、抽出された罫線と、マッピングされた罫線によって囲まれているマッピングされたセル１１０とを取得することが可能である。
【００２４】
図１に戻ると、対応決定部１０２は、画像のいずれかから罫線を抽出して罫線テンプレートを形成し、各画像の抽出された罫線１１０と罫線テンプレート１１１の罫線との間の相対関係がより一致する位置に合わせ、マッピングされた罫線によって囲まれるセルと罫線テンプレート１１１の罫線によって囲まれるテンプレートセルとの間の対応を決定する。
【００２５】
図３は、罫線テンプレートの一例を表す図である。図３に示されるように、罫線テンプレートは、罫線と、罫線によって囲まれているセルとを含む。複数の画像のランダムに選択された１つ又は特定の１つから罫線を抽出することによって、罫線テンプレートを形成することが可能である。
【００２６】
各画像からの抽出された罫線を罫線テンプレートと合わせるために従来の方法を採用することが可能である。例えば、罫線テンプレートに対して抽出された罫線を連続的にシフトして、罫線テンプレートと抽出された罫線との間の類似度を計算することが可能である。罫線テンプレートと抽出された罫線との間の相対位置関係の下で最大類似度が得られる場合に、この相対位置関係の下で、罫線テンプレートは抽出された罫線と一致していると決定される。
【００２７】
互いに一致する場合において、罫線テンプレート内のテンプレートセルと抽出された罫線によって囲まれるセルとの間の対応を決定することができる。抽出された罫線によって囲まれるセルとマッピングされたセルとの間の対応のために、罫線テンプレート内のテンプレートセルとマッピングされたセルとの間の対応を決定することができる。
【００２８】
図１に戻ると、互いに対応するセル（罫線テンプレートにおけるテンプレートセル及び実二次元空間におけるマッピングされたセル）の各対に関して、位置マッピング部１０３は、当該対のセルの間のアフィン変換に基づいて、テンプレートセルにおける画素のそれぞれの位置を実二次元空間における実位置にマッピングする。
【００２９】
図５は、テンプレートセルとマッピングされたセルとの間のアフィン変換を表す概略図である。
【００３０】
アフィン変換は、アフィン平面（又は空間）からそれ自身への変換の一種である。アフィン変換の特性には、点の共直線性（又は同一平面特性）と、同一線形順序に並んだ３点の一定線分比特性とがある。図５に示されるように、平面５０１におけるセルＡＢＣＤはテンプレートセルであり、平面５０２におけるセルＡ’Ｂ’Ｃ’Ｄ’は、セルＡＢＣＤに対してアフィン変換を実行することによって得られるマッピングされたセルである。
【００３１】
点の共直線性に従って、平面５０１における点Ａ、Ｅ及びＢは同一線形順序に並んでおり、平面５０１における点Ｄ、Ｆ及びＣは同一線形順序に並んでいるから、点Ａ、Ｅ及びＢに対してアフィン変換を実行することによって得られる対応する点Ａ’、Ｅ’及びＢ’は同一線形順序に並んでおり、点Ｄ、Ｆ及びＣに対してアフィン変換を実行することによって得られる対応する点Ｄ’、Ｆ’及びＣ’は同一線形順序に並んでいる。同一線形順序に並んだ３点の一定線分比特性に従って、Ｌｅｎ（Ａ，Ｅ）／Ｌｅｎ（Ｅ，Ｂ）＝Ｌｅｎ（Ａ’，Ｅ’）／Ｌｅｎ（Ｅ’，Ｂ’）、Ｌｅｎ（Ｄ，Ｆ）／Ｌｅｎ（Ｆ，Ｃ）＝Ｌｅｎ（Ｄ’，Ｆ’）／Ｌｅｎ（Ｆ’，Ｃ’）。ここで、Ｌｅｎ（，）は２点間の距離を表す。
【００３２】
アフィン変換関係が、互いに対応するテンプレートセルとマッピングされたセルとの間に存在するとすれば、テンプレートセルにおけるいずれかの画素が上記特性を用いることによってマッピングされるセルにおける点を決定することが可能である。このようなマッピング方法は、一例として図６に示されるシナリオを考えることによって、後述される。
【００３３】
図６は、テンプレートセルにおける画素の位置から実二次元空間における実位置へのアフィン変換に従うマッピングを表す概略図である。図６（ｂ）は、（頂点Ｐ１、Ｐ３、Ｐ５及びＰ７を有する）テンプレートセル６０１を示し、図６（ａ）は、テンプレートセル６０１に対応する（頂点Ｐ１’、Ｐ３’、Ｐ５’及びＰ７’を有する）マッピングされたセル６０２を示す。テンプレートセル６０１におけるいずれかの点Ｐに関し、その点を２つの線の交点と考えることが可能である。一方の線は点Ｐ４及びＰ８において罫線と交差し、他方の線は点Ｐ２及びＰ６において罫線と交差する。頂点Ｐ１’、Ｐ３’、Ｐ５’及びＰ７’がそれぞれ、頂点Ｐ１、Ｐ３、Ｐ５及びＰ７に対応するとすれば、共直線性及び一定線分比特性に従って、点Ｐ２、Ｐ４、Ｐ６及びＰ８にそれぞれ対応するマッピングされたセル６０２における点Ｐ２’、Ｐ４’、Ｐ６’及びＰ８’を決定することが可能である。再び共直線性に従って、線Ｐ２’Ｐ６’と線Ｐ４’Ｐ８’との間の交点Ｐ’、すなわち、点Ｐに対応する点を決定することが可能である。交点Ｐ’の位置は、テンプレートセル６０１における画素の点Ｐがマッピングされている実二次元空間における実位置Ｐ’である。
【００３４】
代替の実施形態において、アフィン変換は、平行な面の間のアフィン変換に単純化されてよい。この場合において、マッピングされたセルを、対応するテンプレートセルを回転させることにより得られたものと考えることが可能である。実施形態において、テンプレートセルに対するマッピングされたセルの回転角を計算し、該回転角に従ってテンプレートセルにおけるいずれかの点に対応するマッピングされたセルにおける点の位置を計算することが可能である。
【００３５】
図７は、テンプレートセルにおける画素の点から実二次元空間における実位置への平行面間のアフィン変換に従うマッピングを表す概略図である。図７（ｂ）はテンプレートセルを示し、図７（ａ）は、テンプレートセルに対応するマッピングされたセルを示す。テンプレートセルにおけるいずれかの点Ｐに関し、Ｘ軸及びＹ軸の一方（図７の例では、Ｘ軸と同じ方向にあるテンプレートセルの下の辺である。）と、テンプレートセルにおいて点Ｐ及び基準点を接続する接続線との間の角度αを計算することが可能である。基準点は、マッピングされたセルが配置されている面における、基準点に対応するマッピングされた基準点を決定することが可能である限り、テンプレートセルが配置されている面におけるいずれの点であってもよい。望ましくは、基準点は、例えばテンプレートセルの頂点等の、マッピングされた基準点の決定を容易にする点であってよい。マッピングされたセルに関して、Ｘ軸及びＹ軸の上記１つと、テンプレートセルの上記下の辺に対応するマッピングされたセルの辺との間の角度θが計算され、それによって、Ｘ軸及びＹ軸の上記１つと、上記接続線に対応するマッピングされたセルにおける線との間の角度α＋θを得る。上記接続線及び該接続線に対応する線は同じ長さを有するので、マッピングされた基準点及び角度α＋θを知っている場合において、実二次元空間における対応する点Ｐ’の位置を計算することが可能である。
【００３６】
図１に戻ると、画素値生成部１０４は、実位置に対応するテンプレートセルにおける画素の画素値として、実位置に隣接した位置にある画像内の複数の画素の画素値に基づいて画素値を生成する。
【００３７】
図８は、実位置と実位置に隣接する画素の位置との間の関係を表す概略図である。図８（ａ）は実位置（ｉ’＋ａ，ｊ’＋ｂ）を示し、ｉ’、ｊ’は実数の整数部分であり、ａ、ｂは実数の少数部分である。実位置（ｉ’＋ａ，ｊ’＋ｂ）に隣接する画素の位置は、それぞれ、（ｉ’，ｊ’）、（ｉ’＋１，ｊ’）、（ｉ’，ｊ’＋１）、（ｉ’＋１，ｊ’＋１）である。隣接する画素の位置は、記載される画素位置に限定されず、それらは、また、他の隣接画素の位置を有してよいことに留意されたい。図８（ｂ）は、実位置に対応するテンプレートセルにおける画素の位置（ｉ，ｊ）を示す。
【００３８】
一実施形態において、画素値生成部１０４は、実位置に隣接する位置を有する画素内の複数の画素の画素値（例えば、（ｉ’，ｊ’）、（ｉ’＋１，ｊ’）、（ｉ’，ｊ’＋１）、（ｉ’＋１，ｊ’＋１））の加重和を計算することによって、画素値を生成してよい。各画素の位置と実位置との間の距離が短ければ短いほど、対応する画素値の重みはますます大きくなる。例えば、（ｉ’＋ａ，ｊ’＋ｂ）の実位置を考えると、生成される画素値は、（１−ａ）×（１−ｂ）×ｆ（ｉ’，ｊ’）＋ａ×（１−ｂ）×ｆ（ｉ’＋１，ｊ’）＋ｂ×（１−ａ）×ｆ（ｉ’，ｊ’＋１）＋ａ×ｂ×ｆ（ｉ’＋１，ｊ’＋１）であってよい。ここで、ｆ（ｘ，ｙ）は、画像内の画素（ｘ，ｙ）の画素値である。
【００３９】
他の実施形態において、画素値生成部１０４は、実位置に隣接する位置を有する画像内の複数の画素の画素値（例えば、（ｉ’，ｊ’）、（ｉ’＋１，ｊ’）、（ｉ’，ｊ’＋１）、（ｉ’＋１，ｊ’＋１））の最小値、すなわち、ｍｉｎ｛ｆ（ｉ’，ｊ’），ｆ（ｉ’＋１，ｊ’），ｆ（ｉ’，ｊ’＋１），ｆ（ｉ’＋１，ｊ’＋１）｝を、生成された画素値と見なしてよい。ここで、ｆ（ｘ，ｙ）は、画像内の画素（ｘ，ｙ）の画素値である。
【００４０】
図１に戻ると、画像生成部１０５は、罫線テンプレートの罫線を、生成された画素値を有するテンプレートセル内の画素とマージすることによって、画像に対応する合成画像１１２を生成する。すなわち、合成画像１１２は、罫線テンプレートにおける罫線と、テンプレートセルにおける非罫線画素とを含む。合成画像１１２における非罫線画素に関し、それらの画素値は、画素値生成部１０４によって得られた値である。
【００４１】
帳票テンプレート生成部１０６は、複数の画像に対応する合成画像１１２に基づいて、帳票テンプレートを取得する。従来の方法が、複数の画像に対応する合成画像に基づいて帳票テンプレートを得るよう採用されてよい。例えば、米国特許第６８８６１３６号明細書に記載される方法を採用することが可能である。代替的に、帳票テンプレート生成部１０６は、次の方法により帳票テンプレートを取得して良い：帳票テンプレートにおける画素のそれぞれに関して、複数の合成画像における対応する画素の最小画素値が、当該画素の画素値として取得される。
【００４２】
図９は、本発明の実施形態に従う画像処理方法のプロセス例を表すフローチャートである。
【００４３】
図９に示されるように、方法はステップ９００から始まる。ステップ９０２で、画像処理装置の罫線抽出部１０１が、罫線を複数の画像のそれぞれから抽出し、抽出された罫線を実二次元空間にマッピングする。
【００４４】
複数の画像のそれぞれは、同じ帳票を含む文書画像である。それぞれのセルは、罫線によって囲まれている。セルに含まれる淡色の文字は、決まった内容の部分であり、セルに含まれる濃色の文字は、手書き又は印刷された可変な内容の部分である。代替的に、仮に文書の端をデフォルト罫線とすることも可能であり、この場合において、非デフォルト罫線及びデフォルト罫線を交差するよう広げることによって、文書画像の端部分におけるセルを得ることが可能である。
【００４５】
従来の方法により文書画像から罫線を抽出することが可能である。例えば、米国特許第７０３９２３５号明細書及び米国特許出願第２００５／０３１２０８号明細書に記載される方法を採用することが可能である。更に、抽出された罫線を実二次元空間にマッピングするよう最小二乗法等の線形マッピング法を採用することが可能である。ここで、抽出された罫線上の点は、整数縦座標及び整数横座標としてその位置を有する文書画像内の画素に対応する。実二次元空間にマッピングされた罫線は、それぞれの関数により記載され、その上の点の位置は、離散的な整数値に限定されず、実数値であってよい。
【００４６】
ステップ９０２の処理により、抽出された罫線と、マッピングされた罫線によって囲まれるマッピングされたセルとを得ることが可能である。
【００４７】
ステップ９０４で、画像処理装置の対応決定部１０２が、画像のいずれかから罫線を抽出して罫線テンプレートを形成し、各画像の抽出された罫線と罫線テンプレートの罫線との間の相対関係がより一致する位置に合わせ、マッピングされた罫線によって囲まれるセルと罫線テンプレートの罫線によって囲まれるテンプレートセルとの間の対応を決定する。
【００４８】
複数の画像のランダムに選択された１つ又は特定の１つから罫線を抽出することによって、罫線テンプレートを形成することが可能である。
【００４９】
画像のそれぞれからの抽出された罫線を罫線テンプレートと合わせるよう従来の方法を採用することが可能である。例えば、罫線テンプレートに対して抽出された罫線を連続的にシフトして、罫線テンプレートと抽出された罫線との間の類似度を計算することが可能である。罫線テンプレートと抽出された罫線との間の相対位置関係の下で最大類似度が得られる場合に、この相対位置関係の下で、罫線テンプレートは抽出された罫線と一致していると決定される。
【００５０】
互いに一致する場合において、罫線テンプレート内のテンプレートセルと抽出された罫線によって囲まれるセルとの間の対応を決定することができる。抽出された罫線によって囲まれるセルとマッピングされたセルとの間の対応のために、罫線テンプレート内のテンプレートセルとマッピングされたセルとの間の対応を決定することができる。
【００５１】
ステップ９０６で、画像処理装置の位置マッピング部１０３が、互いに対応するセル（罫線テンプレートにおけるテンプレートセル及び実二次元空間におけるマッピングされたセル）の各対に関して、テンプレートセルにおける画素のそれぞれの位置を、当該対のセルの間のアフィン変換に基づいて、実二次元空間における実位置にマッピングする。
【００５２】
アフィン変換関係が、互いに対応するテンプレートセルとマッピングされたセルとの間に存在するとすれば、テンプレートセルにおけるいずれかの画素が共直線線及び一定線分非特性を用いることによってマッピングされるセルにおける点を決定することが可能である。
【００５３】
代替の実施形態において、アフィン変換は、平行な面の間のアフィン変換に単純化されてよい。この場合において、マッピングされたセルを、対応するテンプレートセルを回転させることにより得られたものと考えることが可能である。実施形態において、テンプレートセルに対するマッピングされたセルの回転角を計算し、該回転角に従ってテンプレートセルにおけるいずれかの点に対応するマッピングされたセルにおける点の位置を計算することが可能である。
【００５４】
ステップ９０８で、画像処理装置の画像値生成部１０４が、画素値を、実位置に対応するテンプレートにおける画素の画素値として、実位置に隣接する位置にある画像内の複数の画素の画素値に基づいて生成する。
【００５５】
実位置（ｉ’＋ａ，ｊ’＋ｂ）が仮定され、ｉ’、ｊ’は実数の整数部分であり、ａ、ｂは実数の少数部分である。実位置（ｉ’＋ａ，ｊ’＋ｂ）に隣接する画素の位置は、それぞれ、（ｉ’，ｊ’）、（ｉ’＋１，ｊ’）、（ｉ’，ｊ’＋１）、（ｉ’＋１，ｊ’＋１）である。隣接する画素の位置は、記載される画素位置に限定されず、それらは、また、他の隣接画素の位置を有してよいことに留意されたい。実位置に対応するテンプレートセルにおける画素の位置は（ｉ，ｊ）である。
【００５６】
一実施形態において、実位置に隣接する位置を有する画素内の複数の画素の画素値（例えば、（ｉ’，ｊ’）、（ｉ’＋１，ｊ’）、（ｉ’，ｊ’＋１）、（ｉ’＋１，ｊ’＋１））の加重和を計算することによって画素値を生成することが可能である。各画素の位置と実位置との間の距離が短ければ短いほど、対応する画素値の重みはますます大きくなる。例えば、（ｉ’＋ａ，ｊ’＋ｂ）の実位置を考えると、生成される画素値は、（１−ａ）×（１−ｂ）×ｆ（ｉ’，ｊ’）＋ａ×（１−ｂ）×ｆ（ｉ’＋１，ｊ’）＋ｂ×（１−ａ）×ｆ（ｉ’，ｊ’＋１）＋ａ×ｂ×ｆ（ｉ’＋１，ｊ’＋１）であってよい。ここで、ｆ（ｘ，ｙ）は、画像内の画素（ｘ，ｙ）の画素値である。
【００５７】
他の実施形態において、実位置に隣接する位置を有する画像内の複数の画素の画素値（例えば、（ｉ’，ｊ’）、（ｉ’＋１，ｊ’）、（ｉ’，ｊ’＋１）、（ｉ’＋１，ｊ’＋１））の最小値、すなわち、ｍｉｎ｛ｆ（ｉ’，ｊ’），ｆ（ｉ’＋１，ｊ’），ｆ（ｉ’，ｊ’＋１），ｆ（ｉ’＋１，ｊ’＋１）｝を、生成された画素値と見なすことが可能である。ここで、ｆ（ｘ，ｙ）は、画像内の画素（ｘ，ｙ）の画素値である。
【００５８】
ステップ９１０で、画像処理装置の画像生成部１０５が、罫線テンプレートの罫線を、生成された画素値を有するテンプレートセルにおける画素とマージすることによって、画像に対応する合成画像１１２を生成する。すなわち、合成画像１１２は、罫線テンプレートにおける罫線と、テンプレートセルにおける非罫線画素とを含む。合成画像１１２における非罫線画素に関し、それらの画素値は、ステップ９０８により得られた値である。
【００５９】
ステップ９１２で、帳票テンプレート生成部１０６が、複数の画像に対応する合成画像１１２に基づいて、帳票テンプレートを得る。従来の方法が、複数の画像に対応する合成画像に基づいて帳票テンプレートを得るよう採用されてよい。例えば、米国特許第６８８６１３６号明細書に記載される方法を採用することが可能である。方法はステップ９１４で終了する。代替的に、ステップ９１２で、次の方法により帳票テンプレートを取得することが可能である：帳票テンプレートにおける画素のそれぞれに関して、複数の合成画像における対応する画素の最小画素値が、当該画素の画素値として取得される。
【００６０】
本発明の実施形態に従って、変形及び歪曲がセル単位で補正されるので、より正確に文書画像における歪曲を取り除き、文書位置合わせの品質を確かにし、それによって、帳票テンプレートの正確性を高めることができる。
【００６１】
更に、複数の画像に基づいて罫線テンプレートを取得することも可能である。
【００６２】
図１０は、本発明の実施形態に従う罫線テンプレート生成部の構成例を表すブロック図である。この罫線テンプレート生成部は、独立して実施されてよく、あるいは、図１を参照して記載される装置に含まれてよい。
【００６３】
図１０に示されるように、罫線テンプレート生成部は、罫線累算部１００１と、罫線テンプレート生成部１００２とを有する。
【００６４】
罫線累算部１００１は、抽出された罫線を複数の画像の間で互いと合わせ、複数の画像の抽出された罫線における画素の画素値をブランク画像において累算する。
【００６５】
罫線テンプレート生成部１００２は、所定閾値よりも大きい累算値を有するブランク画像の画素を罫線において１とみなすことによって、罫線テンプレートを生成する。
【００６６】
図１１は、本発明の実施形態に従う罫線テンプレート生成のプロセス例を表す概略図である。
【００６７】
図１１に示されるように、プロセスの開始として、罫線１１０１１，・・・，１１０１ｎはそれぞれ、複数の画素から抽出される。抽出された罫線１１０１１，・・・，１１０１ｎは、複数の画像の間で、互いと合わせられる。ステップ１１０２で、複数の画像の抽出された罫線１１０１１，・・・，１１０１ｎにおける画素の画素値は、ブランク画像において累算される。ステップ１１０３で、罫線テンプレート１１０４は、所定閾値よりも大きい累算値を有するブランク画像の画素を罫線において１とみなすことによって、生成される。
【００６８】
当業者には明らかなように、本発明の態様は、システム、方法又はコンピュータプログラムプロダクトとして具現されてよい。然るに、本発明の態様は、全体としてハードウェア実施形態を、全体としてソフトウェア実施形態（ファームウェア、常駐ソフトウェア、マクロコード等を含む。）を、又は本願において「回路」、「モジュール」若しくは「システム」と広く呼ばれるソフトウェア態様及びハードウェア態様を組み合わせた実施形態をとってよい。更に、本発明の態様は、コンピュータ可読プログラムコードを記録した１又はそれ以上のコンピュータ可読媒体において具現されるコンピュータプログラムプロダクトの形態をとってよい。
【００６９】
１又はそれ以上のコンピュータ可読媒体の何らかの組合せが利用されてよい。コンピュータ可読媒体は、コンピュータ可読信号媒体又はコンピュータ可読記憶媒体であってよい。コンピュータ可読記憶媒体は、例えば、電子式、磁気式、光学式、赤外線式、又は半導体式のシステム、装置、若しくはデバイス、又はそれらのいずれかの適切な組合せであってよいが、これらに限られない。コンピュータ可読記憶媒体のより具体的な例（非包括的な列挙）には、次のものがある：携帯型コンピュータディスケット、ハードディスク、ランダムアクセスメモリ（ＲＡＭ）、読出専用メモリ（ＲＯＭ）、消去可能プログラム可能ＲＯＭ（ＥＰＲＯＭ又はフラッシュメモリ）、携帯型コンパクトディスクＲＯＭ（ＣＤ−ＲＯＭ）、光記憶デバイス、磁気記憶デバイス、又はそれらのいずれかの適切な組合せ。本明細書との関連で、コンピュータ可読記憶媒体は、命令実行システム、装置又はデバイスによって又はそれに関連して使用されるプログラムを含む又は記憶することができる何らかの有形媒体であってよい。
【００７０】
本発明の態様のための動作を行うコンピュータプログラムコードは、例えばＪａｖａ（登録商標）、Ｓｍａｌｌｔａｌｋ、Ｃ＋＋等のオブジェクト指向のプログラミング言語と、例えばＣプログラミング言語又は同様のプログラミング言語等の従来の手続き型プログラミング言語とを含む１又はそれ以上のプログラミング言語のいずれかの組合せで書かれてよい。プログラムコードは、全体としてユーザのコンピュータにおいて、又はスタンドアローンのソフトウェアパッケージとして、部分的にユーザのコンピュータにおいて、又は部分的にユーザのコンピュータにおいて、そして、部分的に遠隔のコンピュータにおいて、又は全体として遠隔のコンピュータ若しくはサーバにおいて、実行されてよい。後者の場合に、遠隔のコンピュータは、ローカルエリアネットワーク（ＬＡＮ）若しくはワイドエリアネットワーク（ＷＡＮ）を含む何らかのタイプのネットワークを通じてユーザのコンピュータに接続されてよく、あるいは、接続は（例えば、インターネットサービスプロバイダを用いてインターネットを通じて）外部コンピュータに対してなされてよい。
【００７１】
図１２は、本発明の装置及び方法を実施するためのコンピュータの構成例を表すブロック図である。
【００７２】
図１２において、中央演算処理ユニット（ＣＰＵ）１２０１は、読出専用メモリ（ＲＯＭ）１２０２に記憶されているプログラム、又は記憶部１２０８からランダムアクセスメモリ（ＲＡＭ）１２０３にロードされるプログラムに従って、様々な処理を実行する。ＲＡＭ１２０３には、ＣＰＵ１２０１が様々な処理を実行する場合に必要とされるデータ等も必要に応じて記憶される。
【００７３】
ＣＰＵ１２０１、ＲＯＭ１２０２及びＲＡＭ１２０３は、バス１２０４を介して互いに接続されている。入出力インターフェース１２０５もバス１２０４に接続されている。
【００７４】
次の構成要素が入出力インターフェース１２０５に接続されている：キーボード、マウス等を含む入力部１２０６、陰極線管（ＣＲＴ）、液晶ディスプレイ（ＬＣＤ）等のディスプレイ及びラウドスピーカ等を含む出力部１２０７、ハードディスクを含む記憶部１２０８、並びにＬＡＮカード、モデム等のネットワークインターフェースカードを含む通信部１２０９。通信部１２０９は、インターネット等のネットワークを介して通信処理を行う。
【００７５】
ドライブ１２１０も、必要に応じて、入出力インターフェース１２０５に接続される。例えば磁気ディスク、光ディスク、光磁気ディスク、半導体メモリ等の取り外し可能な媒体１２１１が必要に応じてドライブ１２１０に実装され、それにより、その媒体から読み出されたコンピュータプログラムが必要に応じて記憶部１２０８にインストールされる。
【００７６】
上記ステップ及び処理がソフトウェアによって実施される場合において、ソフトウェアを構成するプログラムは、インターネット等のネットワーク又は取り外し可能な媒体１２１１等の記憶媒体からインストールされる。
【００７７】
当業者には明らかなように、この記憶媒体は、図１２に表されるような、プログラムをユーザに提供するアプローチとは別個に供給されるプログラムを記憶している取り外し可能な媒体１２１１に限られない。取り外し可能な媒体１２１１の例には、磁気ディスク、光ディスク（コンパクトディスク−読出専用メモリ（ＣＤ−ＲＯＭ）及びデジタルバーサタイルディスク（ＤＶＤ）を含む。）、光磁気ディスク（ミニディスク（ＭＤ）を含む。）、及び半導体メモリがある。代替的に、記憶媒体は、プログラムを記憶しており且つそれに含まれる方法とともにユーザに提供されるＲＯＭ１２０２、記憶部１２０８に含まれるハードディスク等であってよい。
【００７８】
特許請求の範囲に記載される全ての手段若しくはステップ及び機能要素の対応する構成、材料、動作及び均等物は、具体的に請求される他の要素と組み合わせて機能を実行するよう何らかの構成、材料又は動作を含むよう意図される。本発明の記載は、例示及び説明のために提供されており、開示される形態において本発明を限定するよう意図されない。多くの改良及び変形は、本発明の適用範囲及び精神から逸脱しない範囲で、当業者に明らかであろう。実施形態は、本発明の原理及び実際の応用を最もよく説明するために、更に、当業者が想到される特定の使用に適した様々な変更を伴った様々な実施形態に関して本発明を理解することを可能にするために、選択及び記載された。
【００７９】
以上の実施形態に関し、更に以下の付記を開示する。
（付記１）
複数の画像のそれぞれから罫線を抽出し、該抽出された罫線を実二次元空間にマッピングする罫線抽出部と、
前記画像のいずれかから罫線を抽出して罫線テンプレートを形成し、各画像の前記抽出された罫線と前記罫線テンプレートとの間の相対関係がより一致する位置に合わせ、前記マッピングされた罫線によって囲まれるセルと前記罫線テンプレートの罫線よって囲まれるテンプレートセルとの間の対応を決定する対応決定部と、
互いに対応するセルの各対に関して、当該対のセル間のアフィン変換に基づいて、前記テンプレートセル内の画素のそれぞれの位置を前記実二次元空間における実位置にマッピングする位置マッピング部と、
前記実位置に対応する前記テンプレートセル内の画素の画素値として、前記実位置に隣接する位置にある画像内の複数の画素の画素値に基づいて画素値を生成する画素値生成部と、
前記罫線テンプレートの罫線を、生成された画素値を有する前記テンプレートセル内の画素とマージすることによって、各画像に対応する合成画像を生成する画像生成部と、
前記複数の画像に対応する合成画像に基づいて帳票テンプレートを得る帳票テンプレート生成部と
を有する、画像処理装置。
（付記２）
前記複数の画像の間で前記抽出された罫線を互いと合わせ、前記複数の画像の前記抽出された罫線における画素の画素値をブランク画像において累算する罫線累算部と、
所定閾値よりも大きい累算値を有する前記ブランク画像の画素を前記罫線において１とみなすことによって、前記罫線テンプレートを生成する罫線テンプレート生成部と
を更に有する、付記１に記載の画像処理装置。
（付記３）
前記アフィン変換は、平行な面の間の１つである、
付記１又は２に記載の画像処理装置。
（付記４）
前記実位置が（ｉ＋ａ，ｊ＋ｂ）であるとすると、生成される画素値は、（１−ａ）×（１−ｂ）×ｆ（ｉ，ｊ）＋ａ×（１−ｂ）×ｆ（ｉ＋１，ｊ）＋ｂ×（１−ａ）×ｆ（ｉ，ｊ＋１）＋ａ×ｂ×ｆ（ｉ＋１，ｊ＋１）であり、ｆ（ｘ、ｙ）は、画像内の画素（ｘ，ｙ）の画素値である、
付記１又は２に記載の画像処理装置。
（付記５）
前記実位置が（ｉ＋ａ，ｊ＋ｂ）であるとすると、生成される画素値は、ｍｉｎ｛ｆ（ｉ，ｊ），ｆ（ｉ＋１，ｊ），ｆ（ｉ，ｊ＋１），ｆ（ｉ＋１，ｊ＋１）｝であり、ｆ（ｘ、ｙ）は、画像内の画素（ｘ，ｙ）の画素値である、
付記１又は２に記載の画像処理装置。
（付記６）
前記帳票テンプレート生成部は、更に、前記帳票テンプレート内の画素のそれぞれに関して、当該画素の画素値として複数の合成画像における対応する画素の最小画素値を取得するよう構成される、
付記１又は２に記載の画像処理装置。
（付記７）
複数の画像のそれぞれから罫線を抽出し、該抽出された罫線を実二次元空間にマッピングし、
前記画像のいずれかから罫線を抽出して罫線テンプレートを形成し、各画像の前記抽出された罫線と前記罫線テンプレートの罫線との間の相対関係がより一致する位置に合わせ、前記マッピングされた罫線によって囲まれるセルと前記罫線テンプレートの罫線によって囲まれるテンプレートセルとの間の対応を決定し、
互いに対応するセルの各対に関して、当該対のセル間のアフィン変換に基づいて、前記テンプレートセル内の画素のそれぞれの位置を前記実二次元空間における実位置にマッピングし、
前記実位置に対応する前記テンプレートセル内の画素の画素値として、前記実位置に隣接する位置にある画像内の複数の画素の画素値に基づいて画素値を生成し、
前記罫線テンプレートの罫線を、生成された画素値を有する前記テンプレートセル内の画素とマージすることによって、各画像に対応する合成画像を生成し、
前記複数の画像に対応する合成画像に基づいて帳票テンプレートを得る
処理を画像処理装置が実施することを特徴とする画像処理方法。
（付記８）
前記複数の画像の間で前記抽出された罫線を互いと合わせ、前記複数の画像の前記抽出された罫線における画素の画素値をブランク画像において累算し、
所定閾値よりも大きい累算値を有する前記ブランク画像の画素を前記罫線において１とみなすことによって、前記罫線テンプレートを生成する
更なる処理を前記画像処理装置が実施することを特徴とする、付記７に記載の画像処理方法。
（付記９）
前記アフィン変換は、平行な面の間の１つである、
付記７又は８に記載の画像処理装置。
（付記１０）
前記実位置が（ｉ＋ａ，ｊ＋ｂ）であるとすると、生成される画素値は、（１−ａ）×（１−ｂ）×ｆ（ｉ，ｊ）＋ａ×（１−ｂ）×ｆ（ｉ＋１，ｊ）＋ｂ×（１−ａ）×ｆ（ｉ，ｊ＋１）＋ａ×ｂ×ｆ（ｉ＋１，ｊ＋１）であり、ｆ（ｘ、ｙ）は、画像内の画素（ｘ，ｙ）の画素値である、
付記７又は８に記載の画像処理方法。
（付記１１）
前記実位置が（ｉ＋ａ，ｊ＋ｂ）であるとすると、生成される画素値は、ｍｉｎ｛ｆ（ｉ，ｊ），ｆ（ｉ＋１，ｊ），ｆ（ｉ，ｊ＋１），ｆ（ｉ＋１，ｊ＋１）｝であり、ｆ（ｘ、ｙ）は、画像内の画素（ｘ，ｙ）の画素値である、
付記７又は８に記載の画像処理方法。
（付記１２）
前記帳票テンプレートを得る処理は、前記帳票テンプレート内の画素のそれぞれに関して、当該画素の画素値として複数の合成画像における対応する画素の最小画素値を取得する処理を有する、
付記７又は８に記載の画像処理方法。
【符号の説明】
【００８０】
１００ 画像処理装置
１０１ 罫線抽出部
１０２ 対応決定部
１０３ 位置マッピング部
１０４ 画素値生成部
１０５ 画像生成部
１０６ 帳票テンプレート生成部
１１１，１１０４ 罫線テンプレート
１１２ 合成画像
６０１ テンプレートセル
６０２ マッピングされたセル
１００１ 罫線累算部
１００２ 罫線テンプレート生成部
１１０１１，１１０１ｎ 罫線
【技術分野】
【０００１】
本発明は、画像処理技術に関する。
【背景技術】
【０００２】
多くの文書画像形成システムにおいて、大量の帳票がコンピュータシステムにスキャンされ、コンピュータシステムは、得られた文書画像を処理して、必要な情報を取り出す。一般に、帳票は、予め印刷されている罫線と、例えばテキスト、シンボル等の決まった内容とを含む。可変な内容が、罫線によって囲まれているセル内に手書き又は印刷により記入されていることがある。書き込まれた又は印刷された情報を取り出すよう、コンピュータシステムは、最初に、帳票テンプレートとして罫線及び決まった内容を認識する。帳票テンプレートに従って、文書画像においてセルの領域を認識し、記入されている可変な内容の部分を得るよう罫線及び決まった内容の部分を取り除き、次いで、手書き又は印刷により記入された内容を認識することが可能である。
【０００３】
帳票テンプレートを認識し、手書き又は印刷された内容をそれぞれのセルに割り当てるよう、文書画像を帳票テンプレートに登録することが一般的である。自動帳票処理方法においては、コンピュータシステムは、処理される全種類の帳票について帳票テンプレートを保持すべきであり、そのような帳票テンプレートには、帳票における罫線、セルの位置及び決まった内容が定義されている。帳票テンプレートは、例えば手動入力によりオペレータによって予め定義されてよく、あるいは、例えば、米国特許第６８８６１３６号明細書（特許文献１）に開示されている帳票テンプレート自動生成方法により、入力される文書画像に従って自動的に生成されてよい。
【先行技術文献】
【特許文献】
【０００４】
【特許文献１】米国特許第６８８６１３６号明細書
【発明の概要】
【発明が解決しようとする課題】
【０００５】
本発明は、より正確に文書画像における歪曲を取り除き、文書位置合わせの品質を確かにし、それによって、帳票テンプレートの正確性を高めることができる画像形成装置及び方法を提供する。
【課題を解決するための手段】
【０００６】
本発明の実施形態は、画像処理装置である。装置は、罫線抽出部と、対応決定部と、位置マッピング部と、画素値生成部と、画像生成部と、帳票テンプレート生成部とを有する。罫線抽出部は、複数の画像のそれぞれから罫線を抽出し、該抽出された罫線を実二次元空間にマッピングしてよい。対応決定部は、前記画像のいずれかから罫線を抽出して罫線テンプレートを形成し、各画像の前記抽出された罫線と前記罫線テンプレートの罫線との間の相対関係がより一致する位置に合わせ、前記マッピングされた罫線によって囲まれるセルと前記罫線テンプレートの罫線によって囲まれるテンプレートセルとの間の対応を決定してよい。位置マッピング部は、互いに対応するセルの各対に関して、当該対のセル間のアフィン変換に基づいて、前記テンプレートセル内の画素のそれぞれの位置を前記実二次元空間における実位置にマッピングしてよい。画素値生成部は、前記実位置に対応する前記テンプレートセル内の画素の画素値として、前記実位置に隣接する位置にある画像内の複数の画素の画素値に基づいて画素値を生成してよい。画像生成部は、前記罫線テンプレートの罫線を、生成された画素値を有する前記テンプレートセル内の画素とマージすることによって、各画像に対応する合成画像を生成してよい。帳票テンプレート生成部は、前記複数の画像に対応する合成画像に基づいて帳票テンプレートを取得してよい。
【０００７】
本発明の実施形態は、画像処理装置によって実施される画像処理方法である。方法に従って、複数の画像のそれぞれから罫線を抽出し、該抽出された罫線を実二次元空間にマッピングすることが可能である。前記マッピングされた罫線によって囲まれるセルと前記罫線テンプレートの罫線によって囲まれるテンプレートセルとの間の対応は、前記画像のいずれかから罫線を抽出して罫線テンプレートを形成し、各画像の前記抽出された罫線と前記罫線テンプレートの罫線との間の相対関係がより一致する位置に合わせることで、決定される。互いに対応するセルの各対に関して、前記テンプレートセル内の画素のそれぞれの位置は、当該対のセル間のアフィン変換に基づいて、前記実二次元空間における実位置にマッピングされる。前記実位置に隣接する位置にある画像内の複数の画素の画素値に基づく画素値は、前記実位置に対応する前記テンプレートセル内の画素の画素値として生成される。各画像に対応する合成画像は、前記罫線テンプレートの罫線を、生成された画素値を有する前記テンプレートセル内の画素とマージすることによって、生成される。帳票テンプレートは、前記複数の画像に対応する合成画像に基づいて得られる。
【発明の効果】
【０００８】
本発明の実施形態によれば、変形及び歪曲がセル単位で補正されるので、より正確に文書画像における歪曲を取り除き、文書位置合わせの品質を確かにし、それによって、帳票テンプレートの正確性を高めることができる。
【図面の簡単な説明】
【０００９】
【図１】本発明の実施形態に従う画像処理装置の構成例を表すブロック図である。
【図２】帳票を含む文書画像の一例を表す図である。
【図３】罫線テンプレートの一例を表す図である。
【図４】実二次元空間においてマッピングされた罫線及び該罫線によって囲まれているマッピングされたセルの例を表す図である。
【図５】テンプレートセルとマッピングされたセルとの間のアフィン変換を表す概略図である。
【図６】テンプレートセルにおける画素の位置から実二次元空間における実位置へのアフィン変換によるマッピングを表す概略図である。
【図７】テンプレートセルにおける画素の位置から実二次元空間における実位置への平行面間のアフィン変換によるマッピングを表す概略図である。
【図８】実位置と該実位置に隣接する画素の位置との間の関係を表す概略図である。
【図９】本発明の実施形態に従う画像処理方法のプロセス例を表すフローチャートである。
【図１０】本発明の実施形態に従う罫線生成部の構成例を表すブロック図である。
【図１１】本発明の実施形態に従う罫線テンプレート生成のプロセス例を表す概略図である。
【図１２】本発明の装置及び方法を実施するためのコンピュータの構成例を表すブロック図である。
【発明を実施するための形態】
【００１０】
本発明の上記及び／又は他の態様、特徴及び／又は利点は、添付の図面を参照することによって以下の記載を鑑みて容易に理解されるであろう。添付の図面において、同じ又は対応する技術的特徴又は構成要素は、同じ又は対応する参照符号により表される。
【００１１】
ここで使用される用語は、特定の実施形態を記載するためだけのものであり、本発明を限定するものではない。ここで使用されるように、「１つの」及び「前記」等の要素の前に付された語は、複数を含まないことが明示的に示されない限りは、単数に限らず複数も含む。更に、語「有する」及び「含む」等の表現は、本明細書において使用される場合は、述べられている特徴、数値、ステップ、動作、要素及び／又は部品の存在を特定するが、１又はそれ以上の他の特徴、数値、ステップ、動作、要素、部品及び／又はそれらのグループの存在又は付加を排除しない。
【００１２】
本発明の態様について、以下、本発明の実施形態に従う方法及び装置のフローチャート及び／又はブロック図を参照して記載する。明りょうさのために、当業者によって知られているが本発明とは無関係である構成要素及び処理に関する表現及び記載は、図面及び明細書において省略されていることに留意されたい。フローチャート及び／又はブロック図の各ブロック、並びにフローチャート及び／又はブロック図におけるブロックの組合せは、コンピュータプログラム命令によって実施可能であることは明らかである。それらのコンピュータプログラム命令は、コンピュータ又は他のプログラム可能なデータ処理装置のプロセッサを介して実行する命令が、フローチャート及び／又はブロック図の１以上のブロックにおいて特定される機能／動作を実施する手段を作り出すように、機械を生成するよう汎用コンピュータ、専用コンピュータ、又は他のプログラム可能なデータ処理装置のプロセッサへ与えられてよい。
【００１３】
それらのコンピュータプログラム命令は、コンピュータ可読媒体に記憶されてよい。
【００１４】
コンピュータプログラム命令は、また、コンピュータ又は他のプログラム可能な装置で実行される命令が、フローチャート及び／又はブロック図の１以上のブロックにおいて特定される機能／動作を実施するための処理を提供するように、コンピュータ又は他のプログラム可能な装置で実行される一連の演算ステップにコンピュータ実施処理を作り出させるよう、コンピュータ又は他のプログラム可能なデータ処理装置上にロードされてよい。
【００１５】
図中のフローチャート及びブロック図は、本発明の様々な実施形態に従うシステム、方法及びコンピュータプログラムプロダクトの可能な実施の動作、機能及びアーキテクチャを表すことに留意されたい。これに関連して、フローチャート又はブロック図における各ブロックは、特定の論理機能を実施するための１又はそれ以上の実行可能な命令を有するコードの部分、セグメント又はモジュールを表してよい。また、幾つかの代替の実施において、ブロックにおいて示される機能は、図中に示されている順序を外れて行われてよいことに留意されたい。例えば、順番に示されている２つのブロックは、実際には、略同時に実行されてよく、あるいは、ブロックは、時々、関連する機能に依存して、反対の順序で実行されてよい。また、ブロック図及び／又はフローチャートの各ブロック、並びにブロック図及び／又はフローチャートにおけるブロックの組合せは、専用のハードウェア及びコンピュータ命令の特定の機能若しくは動作又は組合せを実行する専用のハードウェアに基づくシステムによって実施可能であることに留意されたい。
【００１６】
先行技術の方法において、帳票テンプレートは、同じ帳票を有する文書画像を互いと合わせて、それらから比較的不変な部分を取り出す。しかし、文書画像を得る処理において、文書画像における帳票は、文書の傾きや回転等のために、変形及び歪曲され、特に、異なった範囲にまで局所的に変形及び歪曲されることがある。位置合わせによる文書の積分回転の影響を部分的に解消することが可能であるが、文書における局所的な変形及び局所的な歪曲の影響を解消することはできない。
【００１７】
特に、帳票におけるセルは、例えばテキストやシンボル等の決まった内容を含むことがある。文書画像における異なった範囲までの局所的な変形及び歪曲は、このような内容を帳票テンプレート内に認識することを不可能にし、それにより、決まった内容は、文書画像を処理する際に、可変な内容として認識される。
【００１８】
図１は、本発明の実施形態に従う画像処理装置１００の構成例を表すブロック図である。
【００１９】
図１に示されるように、装置１００は、罫線抽出部１０１と、対応決定部１０２と、位置マッピング部１０３と、画素値生成部１０４と、画像生成部１０５と、帳票テンプレート生成部１０６とを有する。
【００２０】
罫線抽出部１０１は、複数の画像のそれぞれから罫線を抽出し、抽出した罫線を実二次元空間にマッピングする。
【００２１】
複数の画像のそれぞれは、同じ帳票を有する文書画像である。図２は、帳票を有する文書画像の一例を表す図である。図２に示されるように、それぞれのセルは罫線によって囲まれている。セルに含まれる淡色の文字は、決まった内容の部分であり、セルに含まれる濃色の文字は、手書き又は印刷された可変な内容の部分である。図２において、「0123456」、「John Smith」、「000000101」、「50,000.0」、「650.25」、「124.48」、「525.77」、「Principal:50,000.0」、「Tax Deducted:124.48」、「Interests:650.25」、「Interests After Tax:525.77」、及び「Henry（署名）」は濃色の文字で記されており、それ以外は淡色の文字で記されている。代替的に、仮に文書画像の端をデフォルト罫線とすることも可能であり、この場合において、非デフォルト罫線及びデフォルト罫線を交差するよう広げることによって、文書画像の端部分におけるセルを得ることが可能である。
【００２２】
従来の方法により文書画像から罫線を抽出することが可能である。例えば、米国特許第７０３９２３５号明細書及び米国特許出願第２００５／０３１２０８号明細書に記載される方法を採用することが可能である。更に、抽出された罫線を実二次元空間にマッピングするよう最小二乗法等の線形マッピング法（linear fitting method）を採用することが可能である。ここで、抽出された罫線上の点は、整数縦座標及び整数横座標としてその位置を有する文書画像内の画素に対応する。実二次元空間にマッピングされた罫線は、それぞれの関数により記載され、その上の点の位置は、離散的な整数値に限定されず、実数値であってよい。図４は、実二次元空間におけるマッピングされた罫線及び該罫線によって囲まれるマッピングされたセルの例を表す図である。図４に示されるように、Ｘ軸及びＹ軸に関する座標値（ｘ，ｙ）は、実二次元空間における点の位置を表す。直線４０１、４０２、４０３及び４０４はそれぞれ、抽出された罫線をマッピングさせることによって得られる実二次元空間内の線である。図４に示されるように、それらの直線は１つのセルを囲む。
【００２３】
罫線抽出部１０１による処理を通じて、抽出された罫線と、マッピングされた罫線によって囲まれているマッピングされたセル１１０とを取得することが可能である。
【００２４】
図１に戻ると、対応決定部１０２は、画像のいずれかから罫線を抽出して罫線テンプレートを形成し、各画像の抽出された罫線１１０と罫線テンプレート１１１の罫線との間の相対関係がより一致する位置に合わせ、マッピングされた罫線によって囲まれるセルと罫線テンプレート１１１の罫線によって囲まれるテンプレートセルとの間の対応を決定する。
【００２５】
図３は、罫線テンプレートの一例を表す図である。図３に示されるように、罫線テンプレートは、罫線と、罫線によって囲まれているセルとを含む。複数の画像のランダムに選択された１つ又は特定の１つから罫線を抽出することによって、罫線テンプレートを形成することが可能である。
【００２６】
各画像からの抽出された罫線を罫線テンプレートと合わせるために従来の方法を採用することが可能である。例えば、罫線テンプレートに対して抽出された罫線を連続的にシフトして、罫線テンプレートと抽出された罫線との間の類似度を計算することが可能である。罫線テンプレートと抽出された罫線との間の相対位置関係の下で最大類似度が得られる場合に、この相対位置関係の下で、罫線テンプレートは抽出された罫線と一致していると決定される。
【００２７】
互いに一致する場合において、罫線テンプレート内のテンプレートセルと抽出された罫線によって囲まれるセルとの間の対応を決定することができる。抽出された罫線によって囲まれるセルとマッピングされたセルとの間の対応のために、罫線テンプレート内のテンプレートセルとマッピングされたセルとの間の対応を決定することができる。
【００２８】
図１に戻ると、互いに対応するセル（罫線テンプレートにおけるテンプレートセル及び実二次元空間におけるマッピングされたセル）の各対に関して、位置マッピング部１０３は、当該対のセルの間のアフィン変換に基づいて、テンプレートセルにおける画素のそれぞれの位置を実二次元空間における実位置にマッピングする。
【００２９】
図５は、テンプレートセルとマッピングされたセルとの間のアフィン変換を表す概略図である。
【００３０】
アフィン変換は、アフィン平面（又は空間）からそれ自身への変換の一種である。アフィン変換の特性には、点の共直線性（又は同一平面特性）と、同一線形順序に並んだ３点の一定線分比特性とがある。図５に示されるように、平面５０１におけるセルＡＢＣＤはテンプレートセルであり、平面５０２におけるセルＡ’Ｂ’Ｃ’Ｄ’は、セルＡＢＣＤに対してアフィン変換を実行することによって得られるマッピングされたセルである。
【００３１】
点の共直線性に従って、平面５０１における点Ａ、Ｅ及びＢは同一線形順序に並んでおり、平面５０１における点Ｄ、Ｆ及びＣは同一線形順序に並んでいるから、点Ａ、Ｅ及びＢに対してアフィン変換を実行することによって得られる対応する点Ａ’、Ｅ’及びＢ’は同一線形順序に並んでおり、点Ｄ、Ｆ及びＣに対してアフィン変換を実行することによって得られる対応する点Ｄ’、Ｆ’及びＣ’は同一線形順序に並んでいる。同一線形順序に並んだ３点の一定線分比特性に従って、Ｌｅｎ（Ａ，Ｅ）／Ｌｅｎ（Ｅ，Ｂ）＝Ｌｅｎ（Ａ’，Ｅ’）／Ｌｅｎ（Ｅ’，Ｂ’）、Ｌｅｎ（Ｄ，Ｆ）／Ｌｅｎ（Ｆ，Ｃ）＝Ｌｅｎ（Ｄ’，Ｆ’）／Ｌｅｎ（Ｆ’，Ｃ’）。ここで、Ｌｅｎ（，）は２点間の距離を表す。
【００３２】
アフィン変換関係が、互いに対応するテンプレートセルとマッピングされたセルとの間に存在するとすれば、テンプレートセルにおけるいずれかの画素が上記特性を用いることによってマッピングされるセルにおける点を決定することが可能である。このようなマッピング方法は、一例として図６に示されるシナリオを考えることによって、後述される。
【００３３】
図６は、テンプレートセルにおける画素の位置から実二次元空間における実位置へのアフィン変換に従うマッピングを表す概略図である。図６（ｂ）は、（頂点Ｐ１、Ｐ３、Ｐ５及びＰ７を有する）テンプレートセル６０１を示し、図６（ａ）は、テンプレートセル６０１に対応する（頂点Ｐ１’、Ｐ３’、Ｐ５’及びＰ７’を有する）マッピングされたセル６０２を示す。テンプレートセル６０１におけるいずれかの点Ｐに関し、その点を２つの線の交点と考えることが可能である。一方の線は点Ｐ４及びＰ８において罫線と交差し、他方の線は点Ｐ２及びＰ６において罫線と交差する。頂点Ｐ１’、Ｐ３’、Ｐ５’及びＰ７’がそれぞれ、頂点Ｐ１、Ｐ３、Ｐ５及びＰ７に対応するとすれば、共直線性及び一定線分比特性に従って、点Ｐ２、Ｐ４、Ｐ６及びＰ８にそれぞれ対応するマッピングされたセル６０２における点Ｐ２’、Ｐ４’、Ｐ６’及びＰ８’を決定することが可能である。再び共直線性に従って、線Ｐ２’Ｐ６’と線Ｐ４’Ｐ８’との間の交点Ｐ’、すなわち、点Ｐに対応する点を決定することが可能である。交点Ｐ’の位置は、テンプレートセル６０１における画素の点Ｐがマッピングされている実二次元空間における実位置Ｐ’である。
【００３４】
代替の実施形態において、アフィン変換は、平行な面の間のアフィン変換に単純化されてよい。この場合において、マッピングされたセルを、対応するテンプレートセルを回転させることにより得られたものと考えることが可能である。実施形態において、テンプレートセルに対するマッピングされたセルの回転角を計算し、該回転角に従ってテンプレートセルにおけるいずれかの点に対応するマッピングされたセルにおける点の位置を計算することが可能である。
【００３５】
図７は、テンプレートセルにおける画素の点から実二次元空間における実位置への平行面間のアフィン変換に従うマッピングを表す概略図である。図７（ｂ）はテンプレートセルを示し、図７（ａ）は、テンプレートセルに対応するマッピングされたセルを示す。テンプレートセルにおけるいずれかの点Ｐに関し、Ｘ軸及びＹ軸の一方（図７の例では、Ｘ軸と同じ方向にあるテンプレートセルの下の辺である。）と、テンプレートセルにおいて点Ｐ及び基準点を接続する接続線との間の角度αを計算することが可能である。基準点は、マッピングされたセルが配置されている面における、基準点に対応するマッピングされた基準点を決定することが可能である限り、テンプレートセルが配置されている面におけるいずれの点であってもよい。望ましくは、基準点は、例えばテンプレートセルの頂点等の、マッピングされた基準点の決定を容易にする点であってよい。マッピングされたセルに関して、Ｘ軸及びＹ軸の上記１つと、テンプレートセルの上記下の辺に対応するマッピングされたセルの辺との間の角度θが計算され、それによって、Ｘ軸及びＹ軸の上記１つと、上記接続線に対応するマッピングされたセルにおける線との間の角度α＋θを得る。上記接続線及び該接続線に対応する線は同じ長さを有するので、マッピングされた基準点及び角度α＋θを知っている場合において、実二次元空間における対応する点Ｐ’の位置を計算することが可能である。
【００３６】
図１に戻ると、画素値生成部１０４は、実位置に対応するテンプレートセルにおける画素の画素値として、実位置に隣接した位置にある画像内の複数の画素の画素値に基づいて画素値を生成する。
【００３７】
図８は、実位置と実位置に隣接する画素の位置との間の関係を表す概略図である。図８（ａ）は実位置（ｉ’＋ａ，ｊ’＋ｂ）を示し、ｉ’、ｊ’は実数の整数部分であり、ａ、ｂは実数の少数部分である。実位置（ｉ’＋ａ，ｊ’＋ｂ）に隣接する画素の位置は、それぞれ、（ｉ’，ｊ’）、（ｉ’＋１，ｊ’）、（ｉ’，ｊ’＋１）、（ｉ’＋１，ｊ’＋１）である。隣接する画素の位置は、記載される画素位置に限定されず、それらは、また、他の隣接画素の位置を有してよいことに留意されたい。図８（ｂ）は、実位置に対応するテンプレートセルにおける画素の位置（ｉ，ｊ）を示す。
【００３８】
一実施形態において、画素値生成部１０４は、実位置に隣接する位置を有する画素内の複数の画素の画素値（例えば、（ｉ’，ｊ’）、（ｉ’＋１，ｊ’）、（ｉ’，ｊ’＋１）、（ｉ’＋１，ｊ’＋１））の加重和を計算することによって、画素値を生成してよい。各画素の位置と実位置との間の距離が短ければ短いほど、対応する画素値の重みはますます大きくなる。例えば、（ｉ’＋ａ，ｊ’＋ｂ）の実位置を考えると、生成される画素値は、（１−ａ）×（１−ｂ）×ｆ（ｉ’，ｊ’）＋ａ×（１−ｂ）×ｆ（ｉ’＋１，ｊ’）＋ｂ×（１−ａ）×ｆ（ｉ’，ｊ’＋１）＋ａ×ｂ×ｆ（ｉ’＋１，ｊ’＋１）であってよい。ここで、ｆ（ｘ，ｙ）は、画像内の画素（ｘ，ｙ）の画素値である。
【００３９】
他の実施形態において、画素値生成部１０４は、実位置に隣接する位置を有する画像内の複数の画素の画素値（例えば、（ｉ’，ｊ’）、（ｉ’＋１，ｊ’）、（ｉ’，ｊ’＋１）、（ｉ’＋１，ｊ’＋１））の最小値、すなわち、ｍｉｎ｛ｆ（ｉ’，ｊ’），ｆ（ｉ’＋１，ｊ’），ｆ（ｉ’，ｊ’＋１），ｆ（ｉ’＋１，ｊ’＋１）｝を、生成された画素値と見なしてよい。ここで、ｆ（ｘ，ｙ）は、画像内の画素（ｘ，ｙ）の画素値である。
【００４０】
図１に戻ると、画像生成部１０５は、罫線テンプレートの罫線を、生成された画素値を有するテンプレートセル内の画素とマージすることによって、画像に対応する合成画像１１２を生成する。すなわち、合成画像１１２は、罫線テンプレートにおける罫線と、テンプレートセルにおける非罫線画素とを含む。合成画像１１２における非罫線画素に関し、それらの画素値は、画素値生成部１０４によって得られた値である。
【００４１】
帳票テンプレート生成部１０６は、複数の画像に対応する合成画像１１２に基づいて、帳票テンプレートを取得する。従来の方法が、複数の画像に対応する合成画像に基づいて帳票テンプレートを得るよう採用されてよい。例えば、米国特許第６８８６１３６号明細書に記載される方法を採用することが可能である。代替的に、帳票テンプレート生成部１０６は、次の方法により帳票テンプレートを取得して良い：帳票テンプレートにおける画素のそれぞれに関して、複数の合成画像における対応する画素の最小画素値が、当該画素の画素値として取得される。
【００４２】
図９は、本発明の実施形態に従う画像処理方法のプロセス例を表すフローチャートである。
【００４３】
図９に示されるように、方法はステップ９００から始まる。ステップ９０２で、画像処理装置の罫線抽出部１０１が、罫線を複数の画像のそれぞれから抽出し、抽出された罫線を実二次元空間にマッピングする。
【００４４】
複数の画像のそれぞれは、同じ帳票を含む文書画像である。それぞれのセルは、罫線によって囲まれている。セルに含まれる淡色の文字は、決まった内容の部分であり、セルに含まれる濃色の文字は、手書き又は印刷された可変な内容の部分である。代替的に、仮に文書の端をデフォルト罫線とすることも可能であり、この場合において、非デフォルト罫線及びデフォルト罫線を交差するよう広げることによって、文書画像の端部分におけるセルを得ることが可能である。
【００４５】
従来の方法により文書画像から罫線を抽出することが可能である。例えば、米国特許第７０３９２３５号明細書及び米国特許出願第２００５／０３１２０８号明細書に記載される方法を採用することが可能である。更に、抽出された罫線を実二次元空間にマッピングするよう最小二乗法等の線形マッピング法を採用することが可能である。ここで、抽出された罫線上の点は、整数縦座標及び整数横座標としてその位置を有する文書画像内の画素に対応する。実二次元空間にマッピングされた罫線は、それぞれの関数により記載され、その上の点の位置は、離散的な整数値に限定されず、実数値であってよい。
【００４６】
ステップ９０２の処理により、抽出された罫線と、マッピングされた罫線によって囲まれるマッピングされたセルとを得ることが可能である。
【００４７】
ステップ９０４で、画像処理装置の対応決定部１０２が、画像のいずれかから罫線を抽出して罫線テンプレートを形成し、各画像の抽出された罫線と罫線テンプレートの罫線との間の相対関係がより一致する位置に合わせ、マッピングされた罫線によって囲まれるセルと罫線テンプレートの罫線によって囲まれるテンプレートセルとの間の対応を決定する。
【００４８】
複数の画像のランダムに選択された１つ又は特定の１つから罫線を抽出することによって、罫線テンプレートを形成することが可能である。
【００４９】
画像のそれぞれからの抽出された罫線を罫線テンプレートと合わせるよう従来の方法を採用することが可能である。例えば、罫線テンプレートに対して抽出された罫線を連続的にシフトして、罫線テンプレートと抽出された罫線との間の類似度を計算することが可能である。罫線テンプレートと抽出された罫線との間の相対位置関係の下で最大類似度が得られる場合に、この相対位置関係の下で、罫線テンプレートは抽出された罫線と一致していると決定される。
【００５０】
互いに一致する場合において、罫線テンプレート内のテンプレートセルと抽出された罫線によって囲まれるセルとの間の対応を決定することができる。抽出された罫線によって囲まれるセルとマッピングされたセルとの間の対応のために、罫線テンプレート内のテンプレートセルとマッピングされたセルとの間の対応を決定することができる。
【００５１】
ステップ９０６で、画像処理装置の位置マッピング部１０３が、互いに対応するセル（罫線テンプレートにおけるテンプレートセル及び実二次元空間におけるマッピングされたセル）の各対に関して、テンプレートセルにおける画素のそれぞれの位置を、当該対のセルの間のアフィン変換に基づいて、実二次元空間における実位置にマッピングする。
【００５２】
アフィン変換関係が、互いに対応するテンプレートセルとマッピングされたセルとの間に存在するとすれば、テンプレートセルにおけるいずれかの画素が共直線線及び一定線分非特性を用いることによってマッピングされるセルにおける点を決定することが可能である。
【００５３】
代替の実施形態において、アフィン変換は、平行な面の間のアフィン変換に単純化されてよい。この場合において、マッピングされたセルを、対応するテンプレートセルを回転させることにより得られたものと考えることが可能である。実施形態において、テンプレートセルに対するマッピングされたセルの回転角を計算し、該回転角に従ってテンプレートセルにおけるいずれかの点に対応するマッピングされたセルにおける点の位置を計算することが可能である。
【００５４】
ステップ９０８で、画像処理装置の画像値生成部１０４が、画素値を、実位置に対応するテンプレートにおける画素の画素値として、実位置に隣接する位置にある画像内の複数の画素の画素値に基づいて生成する。
【００５５】
実位置（ｉ’＋ａ，ｊ’＋ｂ）が仮定され、ｉ’、ｊ’は実数の整数部分であり、ａ、ｂは実数の少数部分である。実位置（ｉ’＋ａ，ｊ’＋ｂ）に隣接する画素の位置は、それぞれ、（ｉ’，ｊ’）、（ｉ’＋１，ｊ’）、（ｉ’，ｊ’＋１）、（ｉ’＋１，ｊ’＋１）である。隣接する画素の位置は、記載される画素位置に限定されず、それらは、また、他の隣接画素の位置を有してよいことに留意されたい。実位置に対応するテンプレートセルにおける画素の位置は（ｉ，ｊ）である。
【００５６】
一実施形態において、実位置に隣接する位置を有する画素内の複数の画素の画素値（例えば、（ｉ’，ｊ’）、（ｉ’＋１，ｊ’）、（ｉ’，ｊ’＋１）、（ｉ’＋１，ｊ’＋１））の加重和を計算することによって画素値を生成することが可能である。各画素の位置と実位置との間の距離が短ければ短いほど、対応する画素値の重みはますます大きくなる。例えば、（ｉ’＋ａ，ｊ’＋ｂ）の実位置を考えると、生成される画素値は、（１−ａ）×（１−ｂ）×ｆ（ｉ’，ｊ’）＋ａ×（１−ｂ）×ｆ（ｉ’＋１，ｊ’）＋ｂ×（１−ａ）×ｆ（ｉ’，ｊ’＋１）＋ａ×ｂ×ｆ（ｉ’＋１，ｊ’＋１）であってよい。ここで、ｆ（ｘ，ｙ）は、画像内の画素（ｘ，ｙ）の画素値である。
【００５７】
他の実施形態において、実位置に隣接する位置を有する画像内の複数の画素の画素値（例えば、（ｉ’，ｊ’）、（ｉ’＋１，ｊ’）、（ｉ’，ｊ’＋１）、（ｉ’＋１，ｊ’＋１））の最小値、すなわち、ｍｉｎ｛ｆ（ｉ’，ｊ’），ｆ（ｉ’＋１，ｊ’），ｆ（ｉ’，ｊ’＋１），ｆ（ｉ’＋１，ｊ’＋１）｝を、生成された画素値と見なすことが可能である。ここで、ｆ（ｘ，ｙ）は、画像内の画素（ｘ，ｙ）の画素値である。
【００５８】
ステップ９１０で、画像処理装置の画像生成部１０５が、罫線テンプレートの罫線を、生成された画素値を有するテンプレートセルにおける画素とマージすることによって、画像に対応する合成画像１１２を生成する。すなわち、合成画像１１２は、罫線テンプレートにおける罫線と、テンプレートセルにおける非罫線画素とを含む。合成画像１１２における非罫線画素に関し、それらの画素値は、ステップ９０８により得られた値である。
【００５９】
ステップ９１２で、帳票テンプレート生成部１０６が、複数の画像に対応する合成画像１１２に基づいて、帳票テンプレートを得る。従来の方法が、複数の画像に対応する合成画像に基づいて帳票テンプレートを得るよう採用されてよい。例えば、米国特許第６８８６１３６号明細書に記載される方法を採用することが可能である。方法はステップ９１４で終了する。代替的に、ステップ９１２で、次の方法により帳票テンプレートを取得することが可能である：帳票テンプレートにおける画素のそれぞれに関して、複数の合成画像における対応する画素の最小画素値が、当該画素の画素値として取得される。
【００６０】
本発明の実施形態に従って、変形及び歪曲がセル単位で補正されるので、より正確に文書画像における歪曲を取り除き、文書位置合わせの品質を確かにし、それによって、帳票テンプレートの正確性を高めることができる。
【００６１】
更に、複数の画像に基づいて罫線テンプレートを取得することも可能である。
【００６２】
図１０は、本発明の実施形態に従う罫線テンプレート生成部の構成例を表すブロック図である。この罫線テンプレート生成部は、独立して実施されてよく、あるいは、図１を参照して記載される装置に含まれてよい。
【００６３】
図１０に示されるように、罫線テンプレート生成部は、罫線累算部１００１と、罫線テンプレート生成部１００２とを有する。
【００６４】
罫線累算部１００１は、抽出された罫線を複数の画像の間で互いと合わせ、複数の画像の抽出された罫線における画素の画素値をブランク画像において累算する。
【００６５】
罫線テンプレート生成部１００２は、所定閾値よりも大きい累算値を有するブランク画像の画素を罫線において１とみなすことによって、罫線テンプレートを生成する。
【００６６】
図１１は、本発明の実施形態に従う罫線テンプレート生成のプロセス例を表す概略図である。
【００６７】
図１１に示されるように、プロセスの開始として、罫線１１０１１，・・・，１１０１ｎはそれぞれ、複数の画素から抽出される。抽出された罫線１１０１１，・・・，１１０１ｎは、複数の画像の間で、互いと合わせられる。ステップ１１０２で、複数の画像の抽出された罫線１１０１１，・・・，１１０１ｎにおける画素の画素値は、ブランク画像において累算される。ステップ１１０３で、罫線テンプレート１１０４は、所定閾値よりも大きい累算値を有するブランク画像の画素を罫線において１とみなすことによって、生成される。
【００６８】
当業者には明らかなように、本発明の態様は、システム、方法又はコンピュータプログラムプロダクトとして具現されてよい。然るに、本発明の態様は、全体としてハードウェア実施形態を、全体としてソフトウェア実施形態（ファームウェア、常駐ソフトウェア、マクロコード等を含む。）を、又は本願において「回路」、「モジュール」若しくは「システム」と広く呼ばれるソフトウェア態様及びハードウェア態様を組み合わせた実施形態をとってよい。更に、本発明の態様は、コンピュータ可読プログラムコードを記録した１又はそれ以上のコンピュータ可読媒体において具現されるコンピュータプログラムプロダクトの形態をとってよい。
【００６９】
１又はそれ以上のコンピュータ可読媒体の何らかの組合せが利用されてよい。コンピュータ可読媒体は、コンピュータ可読信号媒体又はコンピュータ可読記憶媒体であってよい。コンピュータ可読記憶媒体は、例えば、電子式、磁気式、光学式、赤外線式、又は半導体式のシステム、装置、若しくはデバイス、又はそれらのいずれかの適切な組合せであってよいが、これらに限られない。コンピュータ可読記憶媒体のより具体的な例（非包括的な列挙）には、次のものがある：携帯型コンピュータディスケット、ハードディスク、ランダムアクセスメモリ（ＲＡＭ）、読出専用メモリ（ＲＯＭ）、消去可能プログラム可能ＲＯＭ（ＥＰＲＯＭ又はフラッシュメモリ）、携帯型コンパクトディスクＲＯＭ（ＣＤ−ＲＯＭ）、光記憶デバイス、磁気記憶デバイス、又はそれらのいずれかの適切な組合せ。本明細書との関連で、コンピュータ可読記憶媒体は、命令実行システム、装置又はデバイスによって又はそれに関連して使用されるプログラムを含む又は記憶することができる何らかの有形媒体であってよい。
【００７０】
本発明の態様のための動作を行うコンピュータプログラムコードは、例えばＪａｖａ（登録商標）、Ｓｍａｌｌｔａｌｋ、Ｃ＋＋等のオブジェクト指向のプログラミング言語と、例えばＣプログラミング言語又は同様のプログラミング言語等の従来の手続き型プログラミング言語とを含む１又はそれ以上のプログラミング言語のいずれかの組合せで書かれてよい。プログラムコードは、全体としてユーザのコンピュータにおいて、又はスタンドアローンのソフトウェアパッケージとして、部分的にユーザのコンピュータにおいて、又は部分的にユーザのコンピュータにおいて、そして、部分的に遠隔のコンピュータにおいて、又は全体として遠隔のコンピュータ若しくはサーバにおいて、実行されてよい。後者の場合に、遠隔のコンピュータは、ローカルエリアネットワーク（ＬＡＮ）若しくはワイドエリアネットワーク（ＷＡＮ）を含む何らかのタイプのネットワークを通じてユーザのコンピュータに接続されてよく、あるいは、接続は（例えば、インターネットサービスプロバイダを用いてインターネットを通じて）外部コンピュータに対してなされてよい。
【００７１】
図１２は、本発明の装置及び方法を実施するためのコンピュータの構成例を表すブロック図である。
【００７２】
図１２において、中央演算処理ユニット（ＣＰＵ）１２０１は、読出専用メモリ（ＲＯＭ）１２０２に記憶されているプログラム、又は記憶部１２０８からランダムアクセスメモリ（ＲＡＭ）１２０３にロードされるプログラムに従って、様々な処理を実行する。ＲＡＭ１２０３には、ＣＰＵ１２０１が様々な処理を実行する場合に必要とされるデータ等も必要に応じて記憶される。
【００７３】
ＣＰＵ１２０１、ＲＯＭ１２０２及びＲＡＭ１２０３は、バス１２０４を介して互いに接続されている。入出力インターフェース１２０５もバス１２０４に接続されている。
【００７４】
次の構成要素が入出力インターフェース１２０５に接続されている：キーボード、マウス等を含む入力部１２０６、陰極線管（ＣＲＴ）、液晶ディスプレイ（ＬＣＤ）等のディスプレイ及びラウドスピーカ等を含む出力部１２０７、ハードディスクを含む記憶部１２０８、並びにＬＡＮカード、モデム等のネットワークインターフェースカードを含む通信部１２０９。通信部１２０９は、インターネット等のネットワークを介して通信処理を行う。
【００７５】
ドライブ１２１０も、必要に応じて、入出力インターフェース１２０５に接続される。例えば磁気ディスク、光ディスク、光磁気ディスク、半導体メモリ等の取り外し可能な媒体１２１１が必要に応じてドライブ１２１０に実装され、それにより、その媒体から読み出されたコンピュータプログラムが必要に応じて記憶部１２０８にインストールされる。
【００７６】
上記ステップ及び処理がソフトウェアによって実施される場合において、ソフトウェアを構成するプログラムは、インターネット等のネットワーク又は取り外し可能な媒体１２１１等の記憶媒体からインストールされる。
【００７７】
当業者には明らかなように、この記憶媒体は、図１２に表されるような、プログラムをユーザに提供するアプローチとは別個に供給されるプログラムを記憶している取り外し可能な媒体１２１１に限られない。取り外し可能な媒体１２１１の例には、磁気ディスク、光ディスク（コンパクトディスク−読出専用メモリ（ＣＤ−ＲＯＭ）及びデジタルバーサタイルディスク（ＤＶＤ）を含む。）、光磁気ディスク（ミニディスク（ＭＤ）を含む。）、及び半導体メモリがある。代替的に、記憶媒体は、プログラムを記憶しており且つそれに含まれる方法とともにユーザに提供されるＲＯＭ１２０２、記憶部１２０８に含まれるハードディスク等であってよい。
【００７８】
特許請求の範囲に記載される全ての手段若しくはステップ及び機能要素の対応する構成、材料、動作及び均等物は、具体的に請求される他の要素と組み合わせて機能を実行するよう何らかの構成、材料又は動作を含むよう意図される。本発明の記載は、例示及び説明のために提供されており、開示される形態において本発明を限定するよう意図されない。多くの改良及び変形は、本発明の適用範囲及び精神から逸脱しない範囲で、当業者に明らかであろう。実施形態は、本発明の原理及び実際の応用を最もよく説明するために、更に、当業者が想到される特定の使用に適した様々な変更を伴った様々な実施形態に関して本発明を理解することを可能にするために、選択及び記載された。
【００７９】
以上の実施形態に関し、更に以下の付記を開示する。
（付記１）
複数の画像のそれぞれから罫線を抽出し、該抽出された罫線を実二次元空間にマッピングする罫線抽出部と、
前記画像のいずれかから罫線を抽出して罫線テンプレートを形成し、各画像の前記抽出された罫線と前記罫線テンプレートとの間の相対関係がより一致する位置に合わせ、前記マッピングされた罫線によって囲まれるセルと前記罫線テンプレートの罫線よって囲まれるテンプレートセルとの間の対応を決定する対応決定部と、
互いに対応するセルの各対に関して、当該対のセル間のアフィン変換に基づいて、前記テンプレートセル内の画素のそれぞれの位置を前記実二次元空間における実位置にマッピングする位置マッピング部と、
前記実位置に対応する前記テンプレートセル内の画素の画素値として、前記実位置に隣接する位置にある画像内の複数の画素の画素値に基づいて画素値を生成する画素値生成部と、
前記罫線テンプレートの罫線を、生成された画素値を有する前記テンプレートセル内の画素とマージすることによって、各画像に対応する合成画像を生成する画像生成部と、
前記複数の画像に対応する合成画像に基づいて帳票テンプレートを得る帳票テンプレート生成部と
を有する、画像処理装置。
（付記２）
前記複数の画像の間で前記抽出された罫線を互いと合わせ、前記複数の画像の前記抽出された罫線における画素の画素値をブランク画像において累算する罫線累算部と、
所定閾値よりも大きい累算値を有する前記ブランク画像の画素を前記罫線において１とみなすことによって、前記罫線テンプレートを生成する罫線テンプレート生成部と
を更に有する、付記１に記載の画像処理装置。
（付記３）
前記アフィン変換は、平行な面の間の１つである、
付記１又は２に記載の画像処理装置。
（付記４）
前記実位置が（ｉ＋ａ，ｊ＋ｂ）であるとすると、生成される画素値は、（１−ａ）×（１−ｂ）×ｆ（ｉ，ｊ）＋ａ×（１−ｂ）×ｆ（ｉ＋１，ｊ）＋ｂ×（１−ａ）×ｆ（ｉ，ｊ＋１）＋ａ×ｂ×ｆ（ｉ＋１，ｊ＋１）であり、ｆ（ｘ、ｙ）は、画像内の画素（ｘ，ｙ）の画素値である、
付記１又は２に記載の画像処理装置。
（付記５）
前記実位置が（ｉ＋ａ，ｊ＋ｂ）であるとすると、生成される画素値は、ｍｉｎ｛ｆ（ｉ，ｊ），ｆ（ｉ＋１，ｊ），ｆ（ｉ，ｊ＋１），ｆ（ｉ＋１，ｊ＋１）｝であり、ｆ（ｘ、ｙ）は、画像内の画素（ｘ，ｙ）の画素値である、
付記１又は２に記載の画像処理装置。
（付記６）
前記帳票テンプレート生成部は、更に、前記帳票テンプレート内の画素のそれぞれに関して、当該画素の画素値として複数の合成画像における対応する画素の最小画素値を取得するよう構成される、
付記１又は２に記載の画像処理装置。
（付記７）
複数の画像のそれぞれから罫線を抽出し、該抽出された罫線を実二次元空間にマッピングし、
前記画像のいずれかから罫線を抽出して罫線テンプレートを形成し、各画像の前記抽出された罫線と前記罫線テンプレートの罫線との間の相対関係がより一致する位置に合わせ、前記マッピングされた罫線によって囲まれるセルと前記罫線テンプレートの罫線によって囲まれるテンプレートセルとの間の対応を決定し、
互いに対応するセルの各対に関して、当該対のセル間のアフィン変換に基づいて、前記テンプレートセル内の画素のそれぞれの位置を前記実二次元空間における実位置にマッピングし、
前記実位置に対応する前記テンプレートセル内の画素の画素値として、前記実位置に隣接する位置にある画像内の複数の画素の画素値に基づいて画素値を生成し、
前記罫線テンプレートの罫線を、生成された画素値を有する前記テンプレートセル内の画素とマージすることによって、各画像に対応する合成画像を生成し、
前記複数の画像に対応する合成画像に基づいて帳票テンプレートを得る
処理を画像処理装置が実施することを特徴とする画像処理方法。
（付記８）
前記複数の画像の間で前記抽出された罫線を互いと合わせ、前記複数の画像の前記抽出された罫線における画素の画素値をブランク画像において累算し、
所定閾値よりも大きい累算値を有する前記ブランク画像の画素を前記罫線において１とみなすことによって、前記罫線テンプレートを生成する
更なる処理を前記画像処理装置が実施することを特徴とする、付記７に記載の画像処理方法。
（付記９）
前記アフィン変換は、平行な面の間の１つである、
付記７又は８に記載の画像処理装置。
（付記１０）
前記実位置が（ｉ＋ａ，ｊ＋ｂ）であるとすると、生成される画素値は、（１−ａ）×（１−ｂ）×ｆ（ｉ，ｊ）＋ａ×（１−ｂ）×ｆ（ｉ＋１，ｊ）＋ｂ×（１−ａ）×ｆ（ｉ，ｊ＋１）＋ａ×ｂ×ｆ（ｉ＋１，ｊ＋１）であり、ｆ（ｘ、ｙ）は、画像内の画素（ｘ，ｙ）の画素値である、
付記７又は８に記載の画像処理方法。
（付記１１）
前記実位置が（ｉ＋ａ，ｊ＋ｂ）であるとすると、生成される画素値は、ｍｉｎ｛ｆ（ｉ，ｊ），ｆ（ｉ＋１，ｊ），ｆ（ｉ，ｊ＋１），ｆ（ｉ＋１，ｊ＋１）｝であり、ｆ（ｘ、ｙ）は、画像内の画素（ｘ，ｙ）の画素値である、
付記７又は８に記載の画像処理方法。
（付記１２）
前記帳票テンプレートを得る処理は、前記帳票テンプレート内の画素のそれぞれに関して、当該画素の画素値として複数の合成画像における対応する画素の最小画素値を取得する処理を有する、
付記７又は８に記載の画像処理方法。
【符号の説明】
【００８０】
１００ 画像処理装置
１０１ 罫線抽出部
１０２ 対応決定部
１０３ 位置マッピング部
１０４ 画素値生成部
１０５ 画像生成部
１０６ 帳票テンプレート生成部
１１１，１１０４ 罫線テンプレート
１１２ 合成画像
６０１ テンプレートセル
６０２ マッピングされたセル
１００１ 罫線累算部
１００２ 罫線テンプレート生成部
１１０１１，１１０１ｎ 罫線
【特許請求の範囲】
【請求項１】
複数の画像のそれぞれから罫線を抽出し、該抽出された罫線を実二次元空間にマッピングする罫線抽出部と、
前記画像のいずれかから罫線を抽出して罫線テンプレートを形成し、各画像の前記抽出された罫線と前記罫線テンプレートとの間の相対関係がより一致する位置に合わせ、前記マッピングされた罫線によって囲まれるセルと前記罫線テンプレートの罫線よって囲まれるテンプレートセルとの間の対応を決定する対応決定部と、
互いに対応するセルの各対に関して、当該対のセル間のアフィン変換に基づいて、前記テンプレートセル内の画素のそれぞれの位置を前記実二次元空間における実位置にマッピングする位置マッピング部と、
前記実位置に対応する前記テンプレートセル内の画素の画素値として、前記実位置に隣接する位置にある画像内の複数の画素の画素値に基づいて画素値を生成する画素値生成部と、
前記罫線テンプレートの罫線を、生成された画素値を有する前記テンプレートセル内の画素とマージすることによって、各画像に対応する合成画像を生成する画像生成部と、
前記複数の画像に対応する合成画像に基づいて帳票テンプレートを得る帳票テンプレート生成部と
を有する、画像処理装置。
【請求項２】
前記複数の画像の間で前記抽出された罫線を互いと合わせ、前記複数の画像の前記抽出された罫線における画素の画素値をブランク画像において累算する罫線累算部と、
所定閾値よりも大きい累算値を有する前記ブランク画像の画素を前記罫線において１とみなすことによって、前記罫線テンプレートを生成する罫線テンプレート生成部と
を更に有する、請求項１に記載の画像処理装置。
【請求項３】
前記実位置が（ｉ＋ａ，ｊ＋ｂ）であるとすると、生成される画素値は、（１−ａ）×（１−ｂ）×ｆ（ｉ，ｊ）＋ａ×（１−ｂ）×ｆ（ｉ＋１，ｊ）＋ｂ×（１−ａ）×ｆ（ｉ，ｊ＋１）＋ａ×ｂ×ｆ（ｉ＋１，ｊ＋１）であり、ｆ（ｘ、ｙ）は、画像内の画素（ｘ，ｙ）の画素値である、
請求項１又は２に記載の画像処理装置。
【請求項４】
前記実位置が（ｉ＋ａ，ｊ＋ｂ）であるとすると、生成される画素値は、ｍｉｎ｛ｆ（ｉ，ｊ），ｆ（ｉ＋１，ｊ），ｆ（ｉ，ｊ＋１），ｆ（ｉ＋１，ｊ＋１）｝であり、ｆ（ｘ、ｙ）は、画像内の画素（ｘ，ｙ）の画素値である、
請求項１又は２に記載の画像処理装置。
【請求項５】
前記帳票テンプレート生成部は、更に、前記帳票テンプレート内の画素のそれぞれに関して、当該画素の画素値として複数の合成画像における対応する画素の最小画素値を取得するよう構成される、
請求項１又は２に記載の画像処理装置。
【請求項６】
複数の画像のそれぞれから罫線を抽出し、該抽出された罫線を実二次元空間にマッピングし、
前記画像のいずれかから罫線を抽出して罫線テンプレートを形成し、各画像の前記抽出された罫線と前記罫線テンプレートの罫線との間の相対関係がより一致する位置に合わせ、前記マッピングされた罫線によって囲まれるセルと前記罫線テンプレートの罫線によって囲まれるテンプレートセルとの間の対応を決定し、
互いに対応するセルの各対に関して、当該対のセル間のアフィン変換に基づいて、前記テンプレートセル内の画素のそれぞれの位置を前記実二次元空間における実位置にマッピングし、
前記実位置に対応する前記テンプレートセル内の画素の画素値として、前記実位置に隣接する位置にある画像内の複数の画素の画素値に基づいて画素値を生成し、
前記罫線テンプレートの罫線を、生成された画素値を有する前記テンプレートセル内の画素とマージすることによって、各画像に対応する合成画像を生成し、
前記複数の画像に対応する合成画像に基づいて帳票テンプレートを得る
処理を画像処理装置が実施することを特徴とする画像処理方法。
【請求項７】
前記複数の画像の間で前記抽出された罫線を互いと合わせ、前記複数の画像の前記抽出された罫線における画素の画素値をブランク画像において累算し、
所定閾値よりも大きい累算値を有する前記ブランク画像の画素を前記罫線において１とみなすことによって、前記罫線テンプレートを生成する
更なる処置を前記画像処理装置が実施することを特徴とする、請求項６に記載の画像処理方法。
【請求項８】
前記実位置が（ｉ＋ａ，ｊ＋ｂ）であるとすると、生成される画素値は、（１−ａ）×（１−ｂ）×ｆ（ｉ，ｊ）＋ａ×（１−ｂ）×ｆ（ｉ＋１，ｊ）＋ｂ×（１−ａ）×ｆ（ｉ，ｊ＋１）＋ａ×ｂ×ｆ（ｉ＋１，ｊ＋１）であり、ｆ（ｘ、ｙ）は、画像内の画素（ｘ，ｙ）の画素値である、
請求項６又は７に記載の画像処理方法。
【請求項９】
前記実位置が（ｉ＋ａ，ｊ＋ｂ）であるとすると、生成される画素値は、ｍｉｎ｛ｆ（ｉ，ｊ），ｆ（ｉ＋１，ｊ），ｆ（ｉ，ｊ＋１），ｆ（ｉ＋１，ｊ＋１）｝であり、ｆ（ｘ、ｙ）は、画像内の画素（ｘ，ｙ）の画素値である、
請求項６又は７に記載の画像処理方法。
【請求項１０】
前記帳票テンプレートを得る処理は、前記帳票テンプレート内の画素のそれぞれに関して、当該画素の画素値として複数の合成画像における対応する画素の最小画素値を取得する処理を有する、
請求項６又は７に記載の画像処理方法。
【請求項１】
複数の画像のそれぞれから罫線を抽出し、該抽出された罫線を実二次元空間にマッピングする罫線抽出部と、
前記画像のいずれかから罫線を抽出して罫線テンプレートを形成し、各画像の前記抽出された罫線と前記罫線テンプレートとの間の相対関係がより一致する位置に合わせ、前記マッピングされた罫線によって囲まれるセルと前記罫線テンプレートの罫線よって囲まれるテンプレートセルとの間の対応を決定する対応決定部と、
互いに対応するセルの各対に関して、当該対のセル間のアフィン変換に基づいて、前記テンプレートセル内の画素のそれぞれの位置を前記実二次元空間における実位置にマッピングする位置マッピング部と、
前記実位置に対応する前記テンプレートセル内の画素の画素値として、前記実位置に隣接する位置にある画像内の複数の画素の画素値に基づいて画素値を生成する画素値生成部と、
前記罫線テンプレートの罫線を、生成された画素値を有する前記テンプレートセル内の画素とマージすることによって、各画像に対応する合成画像を生成する画像生成部と、
前記複数の画像に対応する合成画像に基づいて帳票テンプレートを得る帳票テンプレート生成部と
を有する、画像処理装置。
【請求項２】
前記複数の画像の間で前記抽出された罫線を互いと合わせ、前記複数の画像の前記抽出された罫線における画素の画素値をブランク画像において累算する罫線累算部と、
所定閾値よりも大きい累算値を有する前記ブランク画像の画素を前記罫線において１とみなすことによって、前記罫線テンプレートを生成する罫線テンプレート生成部と
を更に有する、請求項１に記載の画像処理装置。
【請求項３】
前記実位置が（ｉ＋ａ，ｊ＋ｂ）であるとすると、生成される画素値は、（１−ａ）×（１−ｂ）×ｆ（ｉ，ｊ）＋ａ×（１−ｂ）×ｆ（ｉ＋１，ｊ）＋ｂ×（１−ａ）×ｆ（ｉ，ｊ＋１）＋ａ×ｂ×ｆ（ｉ＋１，ｊ＋１）であり、ｆ（ｘ、ｙ）は、画像内の画素（ｘ，ｙ）の画素値である、
請求項１又は２に記載の画像処理装置。
【請求項４】
前記実位置が（ｉ＋ａ，ｊ＋ｂ）であるとすると、生成される画素値は、ｍｉｎ｛ｆ（ｉ，ｊ），ｆ（ｉ＋１，ｊ），ｆ（ｉ，ｊ＋１），ｆ（ｉ＋１，ｊ＋１）｝であり、ｆ（ｘ、ｙ）は、画像内の画素（ｘ，ｙ）の画素値である、
請求項１又は２に記載の画像処理装置。
【請求項５】
前記帳票テンプレート生成部は、更に、前記帳票テンプレート内の画素のそれぞれに関して、当該画素の画素値として複数の合成画像における対応する画素の最小画素値を取得するよう構成される、
請求項１又は２に記載の画像処理装置。
【請求項６】
複数の画像のそれぞれから罫線を抽出し、該抽出された罫線を実二次元空間にマッピングし、
前記画像のいずれかから罫線を抽出して罫線テンプレートを形成し、各画像の前記抽出された罫線と前記罫線テンプレートの罫線との間の相対関係がより一致する位置に合わせ、前記マッピングされた罫線によって囲まれるセルと前記罫線テンプレートの罫線によって囲まれるテンプレートセルとの間の対応を決定し、
互いに対応するセルの各対に関して、当該対のセル間のアフィン変換に基づいて、前記テンプレートセル内の画素のそれぞれの位置を前記実二次元空間における実位置にマッピングし、
前記実位置に対応する前記テンプレートセル内の画素の画素値として、前記実位置に隣接する位置にある画像内の複数の画素の画素値に基づいて画素値を生成し、
前記罫線テンプレートの罫線を、生成された画素値を有する前記テンプレートセル内の画素とマージすることによって、各画像に対応する合成画像を生成し、
前記複数の画像に対応する合成画像に基づいて帳票テンプレートを得る
処理を画像処理装置が実施することを特徴とする画像処理方法。
【請求項７】
前記複数の画像の間で前記抽出された罫線を互いと合わせ、前記複数の画像の前記抽出された罫線における画素の画素値をブランク画像において累算し、
所定閾値よりも大きい累算値を有する前記ブランク画像の画素を前記罫線において１とみなすことによって、前記罫線テンプレートを生成する
更なる処置を前記画像処理装置が実施することを特徴とする、請求項６に記載の画像処理方法。
【請求項８】
前記実位置が（ｉ＋ａ，ｊ＋ｂ）であるとすると、生成される画素値は、（１−ａ）×（１−ｂ）×ｆ（ｉ，ｊ）＋ａ×（１−ｂ）×ｆ（ｉ＋１，ｊ）＋ｂ×（１−ａ）×ｆ（ｉ，ｊ＋１）＋ａ×ｂ×ｆ（ｉ＋１，ｊ＋１）であり、ｆ（ｘ、ｙ）は、画像内の画素（ｘ，ｙ）の画素値である、
請求項６又は７に記載の画像処理方法。
【請求項９】
前記実位置が（ｉ＋ａ，ｊ＋ｂ）であるとすると、生成される画素値は、ｍｉｎ｛ｆ（ｉ，ｊ），ｆ（ｉ＋１，ｊ），ｆ（ｉ，ｊ＋１），ｆ（ｉ＋１，ｊ＋１）｝であり、ｆ（ｘ、ｙ）は、画像内の画素（ｘ，ｙ）の画素値である、
請求項６又は７に記載の画像処理方法。
【請求項１０】
前記帳票テンプレートを得る処理は、前記帳票テンプレート内の画素のそれぞれに関して、当該画素の画素値として複数の合成画像における対応する画素の最小画素値を取得する処理を有する、
請求項６又は７に記載の画像処理方法。
【図１】
【図２】
【図３】
【図４】
【図５】
【図６】
【図７】
【図８】
【図９】
【図１０】
【図１１】
【図１２】
【図２】
【図３】
【図４】
【図５】
【図６】
【図７】
【図８】
【図９】
【図１０】
【図１１】
【図１２】
【公開番号】特開２０１２−４３４３３（Ｐ２０１２−４３４３３Ａ）
【公開日】平成２４年３月１日（２０１２．３．１）
【国際特許分類】
【出願番号】特願２０１１−１７７９９９（Ｐ２０１１−１７７９９９）
【出願日】平成２３年８月１６日（２０１１．８．１６）
【出願人】（０００００５２２３）富士通株式会社 (25,993)
【Ｆターム（参考）】
【公開日】平成２４年３月１日（２０１２．３．１）
【国際特許分類】
【出願日】平成２３年８月１６日（２０１１．８．１６）
【出願人】（０００００５２２３）富士通株式会社 (25,993)
【Ｆターム（参考）】
[ Back to top ]