画像処理装置、画像処理方法、画像形成装置、画像処理プログラム
【課題】帳票画像を読み取って罫線を認識する画像処理において、様々な形状を持つ罫線の角部を認識することができる。
【解決手段】幅と長さを有する罫線と、二つの罫線の角部領域に形成される角部罫線領域を有する画像を読み取る画像処理装置において、前記画像から、前記角部罫線領域を抽出する角部罫線領域抽出手段と、前記角部罫線領域の画像から、前記角部罫線領域の画像の特徴量を抽出する特徴量抽出手段と、前記角部罫線領域の複数の角部のパターンに対応した特徴量を保持する特徴量辞書と、前記特徴量抽出手段により抽出された特徴量と、前記特徴量辞書に保持されている前記角部のパターンの特徴量とを比較して一致度を算出し、所定の一致度を有する前記角部のパターンを前記角部罫線として抽出する角部罫線抽出手段と、を有する。
【解決手段】幅と長さを有する罫線と、二つの罫線の角部領域に形成される角部罫線領域を有する画像を読み取る画像処理装置において、前記画像から、前記角部罫線領域を抽出する角部罫線領域抽出手段と、前記角部罫線領域の画像から、前記角部罫線領域の画像の特徴量を抽出する特徴量抽出手段と、前記角部罫線領域の複数の角部のパターンに対応した特徴量を保持する特徴量辞書と、前記特徴量抽出手段により抽出された特徴量と、前記特徴量辞書に保持されている前記角部のパターンの特徴量とを比較して一致度を算出し、所定の一致度を有する前記角部のパターンを前記角部罫線として抽出する角部罫線抽出手段と、を有する。
【発明の詳細な説明】
【技術分野】
【０００１】
本発明は、画像処理装置、画像処理方法、画像形成装置、画像処理プログラムに関する。
【背景技術】
【０００２】
スキャナ機能を有するＭＦＰ機（Multi Function Printer）などの画像処理装置において、表を含む帳票画像を読み取って処理を行う帳票認識処理が知られている。帳票認識処理において、帳票画像から表を形成する罫線を抽出し、ベクトルデータに変換したり、抽出した罫線をデジタルデータ化し、再利用したりする処理が行われる。当該処理を行うため、帳票画像から罫線を抽出する技術が既に公開されている。
【０００３】
特許文献１に記載された技術によると、実線からなる罫線と、点線や破線等の非実線からなる罫線とで、異なる方法を用いて罫線を抽出する。実線罫線の場合、帳票画像から黒画素連結矩形を抽出し、罫線候補とする。実線でも罫線が分断されている場合があるため、あらかじめ統合許容パラメータを設定し、複数の黒画素連結矩形で統合許容パラメータの範囲内にあるものを統合し、実線罫線として認識する。非実線罫線の場合、線の種類に固有の長さの線を固有の間隔で固有の規則に従って繋いだパターンであるため、黒画素連結矩形の幅、高さ、及び隣接間距離のヒストグラムをとると、線種に固有の幅、高さ及び距離でピークを示す。このため、隣接した黒画素連結矩形間の距離を計算し、それらの幅、高さ及び距離のヒストグラムを計算し、ピークを示した幅、高さ、距離の黒画素連結矩形を統合し、非実線罫線として認識する。
【０００４】
また、特許文献２に記載された技術によると、元の画像から潰れ気味の二値画像と、掠れ気味の二値画像を生成し、これらを用いて罫線を抽出する。潰れ気味の二値画像から線分候補領域を抽出し、各線分候補領域毎に掠れ気味の二値画像と元画像とを参照し、掠れ気味の二値画像を元画像で補完する処理が行われる。補完処理の結果、線分候補領域内で黒画素の割合が一定値以上である場合、その線分候補領域は実線罫線であると判断される。尚、特許文献２に記載された技術は、実線からなる罫線を抽出することを前提としており、破線や鎖線等の非実線罫線は想定していない。
【０００５】
（特許文献１及び２参照）
【発明の開示】
【発明が解決しようとする課題】
【０００６】
しかし、特許文献１の方法では、例えば非実線罫線において、幅、高さ及び距離のヒストグラムを作成し、黒画素連結矩形を罫線として認識する関係上、非実線罫線における罫線と罫線の交点が角丸等で構成されている場合の角部については認識することができない。固有の幅、高さ、距離でピークを示す法則が成り立たないためである。また、特許文献２の方法では、角部を含む領域について二値化画像を生成して、角丸等である角部の罫線を認識することができるものの、実線である罫線を認識することを前提としている。従って、罫線と罫線の交点が角丸等で構成され、なおかつ角部が点線である場合など、様々な形状を持つ角部について認識することができないという問題があった。
【０００７】
本発明は、上記の点に鑑みてなされたものであって、帳票画像を読み取って罫線を認識する画像処理において、様々な形状を持つ罫線の角部を認識することのできる画像処理装置、画像処理方法及び画像形成装置、画像処理プログラムの提供を目的とする。
【課題を解決するための手段】
【０００８】
そこで上記課題を解決するため、本発明の画像処理装置は、幅と長さを有する罫線と、二つの罫線の角部領域に形成される角部罫線領域を有する画像を読み取る画像処理装置において、前記画像から、前記角部罫線領域を抽出する角部罫線領域抽出手段と、前記角部罫線領域の画像から、前記角部罫線領域の画像の特徴量を抽出する特徴量抽出手段と、前記角部罫線領域の複数の角部のパターンに対応した特徴量を保持する特徴量辞書と、前記特徴量抽出手段により抽出された特徴量と、前記特徴量辞書に保持されている前記角部のパターンの特徴量とを比較して一致度を算出し、所定の一致度を有する前記角部のパターンを前記角部罫線として抽出する角部罫線抽出手段と、を有することを特徴とする。
【０００９】
また、上記問題を解決するため、本発明は、上記画像処理装置における画像処理方法、上記画像処理装置を備える画像形成装置、上記画像処理方法をコンピュータに実行させる画像処理プログラムとしてもよい。
【発明の効果】
【００１０】
本発明によれば、帳票画像を読み取って罫線を認識する画像処理において、様々な形状を持つ罫線の角部を認識することのできる画像処理装置、画像処理方法及び画像処理プログラムを提供することができる。
【図面の簡単な説明】
【００１１】
【図１】画像処理装置１のハードウェア構成図である。
【図２】角丸罫線の一例である。
【図３】様々な形状の罫線の例である。
【図４】画像処理部１０８の機能ブロック図である。
【図５】罫線抽出処理の結果表示図である。
【図６】罫線領域の詳細を示す図である。
【図７】角部罫線領域について説明するための図である。
【図８】罫線抽出処理後の角丸箇所の拡大図である。
【図９】角部罫線領域を示す図である。
【図１０】入力画像における角丸罫線と角部特徴量辞書１０７とのマッチングイメージを示す図である。
【図１１】角丸罫線のパターン例である。
【図１２】入力から出力までの処理の流れを示すフローチャートである。
【図１３】画像処理部１０８における処理の流れを示すフローチャートである。
【図１４】画像形成装置２のハードウェア構成図である。
【発明を実施するための形態】
【００１２】
以下、図面に基づいて本発明の実施の形態を説明する。図１は、画像処理装置１のハードウェア構成図である。尚、以下の説明においては、便宜上、本実施の形態の説明に必要な構成要素が示されている。
【００１３】
（画像処理装置１の構成と機能）
画像処理装置１は、一般的なスキャナ機能を有する装置である。画像処理装置１は、ＣＰＵ１０１、スキャナ部１０２、外部記憶部１０３、入力画像メモリ部１０４、表示部１０５、操作部１０６、角部特徴量辞書１０７、画像処理部１０８、通信制御部１０９、出力メモリ部１１３を備える。外部記憶部１０３は、ＣＤ、ＤＶＤなどのメディア部１１１、及びＨＤＤ１１２を備える。通信制御部１０９は、ネットワーク網１１０に接続されている。
【００１４】
ＣＰＵ１０１は、画像処理装置１の制御を行う。スキャナ部１０２は、セットされた原稿をスキャンする。外部記憶部１０３は、メディア部１１１またはＨＤＤ１１２を用いて画像を保持する。入力画像メモリ部１０４は、スキャナ部１０２、外部記憶部１０３または通信制御部１０９から取得した入力画像を保持する。表示部１０５は、入力画像メモリ部１０４に保持された入力画像のプレビュー表示し、またはＧＵＩ画面を表示し、ＧＵＩ画面において操作部１０６にてユーザ操作が行われる。
【００１５】
角部特徴量辞書１０７は、予め罫線の角部の特徴量を辞書として保持する。画像処理部１０８は、入力画像メモリ部１０４に保持された入力画像に対し、罫線を抽出し、罫線の角部について角部特徴量辞書１０７の特徴量とマッチングを行うが、詳細は後述する。画像処理部１０８は、入力画像が多値画像であった場合に、入力画像から二値画像を生成する。出力メモリ部１１３は、画像処理部１０８において処理が行われた罫線についてのデータを保持する。通信制御部１０９は、ネットワーク網１１０から入力画像を取り寄せたり、処理結果の情報を配信する。
【００１６】
（画像処理装置１の処理の概要）
図１において、スキャナ部１０２、外部記憶部１０３または通信制御部１０９から入力された画像が入力画像メモリ部１０４に保持され、画像処理部１０８に送られる。画像処理部１０８では、縦の罫線及び横の罫線が抽出され、罫線の角部である角部罫線領域が抽出される。画像処理部１０８において、角部罫線領域内の角部の罫線の特徴量が算出される。以下、罫線の角部が角丸で構成されている場合の角部を角丸罫線とする。
【００１７】
角部特徴量辞書１０７には、あらかじめ縦罫線及び横罫線の交点である角部について、様々なパターンの角丸罫線についての特徴量が算出され、辞書として保持されている。画像処理部１０８において算出された特徴量と、角部特徴量辞書１０７に保持された特徴量の辞書との比較が行われる。所定の一致度を持つ特徴量を角部特徴量辞書１０７が保持していた場合、その特徴量に対応する角部のパターンが、角部候補領域内の角丸罫線であると認識される。認識された角丸罫線のデジタルデータと画像処理部１０８で抽出された縦罫線及び横罫線のデジタルデータが出力メモリ部１１３に蓄積され、必要に応じて再利用される。
【００１８】
角丸罫線について、角部特徴量辞書１０７に角丸罫線の特徴量を辞書として保持し、入力画像の角部と比較して角丸罫線を認識することで、様々な形状の角丸罫線を取得することができる。
【００１９】
（本実施例の対象とする罫線の一例）
本実施例の対象とする罫線について説明する。図２は、角丸罫線の一例である。帳票画像等においてよく見られる表のうち、角の丸い表について示す。本実施例では、このような表における直線状の罫線と、角部の角丸罫線とに分けて抽出する。
【００２０】
図３は、様々な形状の罫線の例である。本実施例では、図２の一般的な角丸罫線だけでなく、ｂ）の破線罫線における角丸部分も含め、これらすべての罫線について、角部も含めて正確に抽出することができる。尚、本願の抽出可能とする罫線については、この範囲に限定されるものではなく、多種多様にわたる角部を持つ罫線において対応が可能である。
【００２１】
尚、角部が縦罫線及び横罫線で構成される場合は、本実施例の対象外である。
【００２２】
（画像処理部１０８の構成と機能）
次に、画像処理部１０８の機能について説明する。図４は、画像処理部１０８の機能ブロック図である。
【００２３】
画像処理部１０８は、画像処理装置１において入力された画像に対し処理を行う。画像処理装置１０８は、処理制御部２０１、画像入力部２０７、結果出力部２０８を備える。処理制御部２０１は、二値化処理部２０２、罫線抽出処理部２０３、角部罫線領域抽出部２０４、特徴量抽出部２０５、マッチング部２０６を備える。
【００２４】
画像入力部２０７は、入力画像メモリ部１０４から画像処理部１０８への入力画像の受け取りを制御する。処理制御部２０１は、画像入力部２０７から入力された入力画像に対し、処理を実行する。結果出力部２０８は、処理制御部２０１において抽出された縦罫線及び横罫線、角丸罫線のデジタルデータを出力メモリ部１１３に出力する。
【００２５】
二値化処理部２０２は、入力画像が多値画像である場合、入力画像から二値化画像を取得する。罫線抽出処理部２０３は、入力画像から縦の罫線及び横の罫線を抽出する。角部罫線領域抽出部２０４は、罫線抽出処理部２０３において抽出された縦の罫線及び横の罫線から縦の罫線領域及び横の罫線領域を抽出し、これらの罫線領域から角部の領域である角部罫線領域を抽出する。特徴量抽出部は、角部罫線領域抽出部において抽出された角部罫線領域内の入力画像から、所定の方法で特徴量を算出する。マッチング部２０６は、特徴量抽出部２０５で抽出された角部罫線領域内の入力画像の特徴量と、角部特徴量辞書１０７に保持された角部特徴量辞書１０７との比較を行い、所定の一致度を有する角部特徴量辞書１０７内の特徴量を選択する。
【００２６】
（画像処理部１０８の処理）
画像入力部２０７から入力された入力画像に対し、罫線抽出処理部２０３において縦の罫線及び横の罫線を抽出する罫線抽出処理を行う。罫線の抽出方法については、本出願人が既に提案している特許文献１の技術を用いる。具体的には、実線罫線については入力画像から黒画素連結矩形を抽出し、罫線候補とする。実線でも罫線が分断されている場合があるため、あらかじめ統合許容パラメータを設定し、複数の黒画素連結矩形で統合許容パラメータの範囲内にあるものを統合し、実線罫線として認識する。点線、鎖線等の非実線罫線の場合は、黒画素連結矩形の幅、高さ、隣接距離間のヒストグラムを生成し、ピークを示した幅、高さ、距離の黒画素連結矩形を統合して非実線罫線として認識する。
【００２７】
罫線抽出処理部２０３において、縦罫線及び横罫線が抽出されると、角部罫線領域抽出部２０４において縦罫線及び横罫線の座標を求め、それらの座標を罫線領域とする。縦罫線及び横罫線の抽出について、図５に示す。
【００２８】
（罫線領域）
図５は、罫線抽出処理の結果表示図である。図２で示した角丸罫線の一例のうち、角部を除いた縦罫線Ｌｍ及び横罫線Ｌｎを含む罫線が抽出されている。抽出された縦罫線及び横罫線の座標を罫線領域とする。罫線領域は、後述する角部罫線領域を求めるために必要となる。
【００２９】
本実施例では縦罫線の罫線領域と横罫線の罫線領域が直角の位置関係にあることを想定している。縦罫線と横罫線が直線であって、直角の位置関係にある場合、各罫線領域は罫線自体の有する座標と同一である。例えば図５の縦罫線Ｌｍと横罫線Ｌｎの場合、罫線が直線であって直角の位置関係にあるため、各罫線領域は罫線自体の有する座標と同一となる。
【００３０】
図６（ａ）（ｂ）（ｃ）（ｄ）は罫線領域の詳細を示す図である。図６（ａ）のように縦罫線Ｌｍ２と横罫線Ｌｎ２が直角の位置関係にない場合、罫線領域は罫線のうち一辺（例えば図６（ａ）の場合Ｌｍ２）を基準に、直角の位置関係になるよう構成する。図６（ｂ）のように、直線罫線であれば罫線の両端を含み、かつ基準となる一辺の罫線と直角の位置になるような矩形の領域を構成する。図６（ａ）の罫線について罫線領域を図示したのが図６（ｃ）である。罫線領域Ｒｍ２と罫線領域Ｒｎ２が直角の位置関係になるよう構成している。尚、ここでは図６（ｂ）の矩形を外接矩形とする。
【００３１】
罫線が波線であるなど、直線でない場合であっても、罫線の外接矩形が罫線領域として抽出される。この場合、罫線領域は罫線を構成する画素のすべてを含むよう構成される。図６（ｄ）は、罫線が波線である場合の罫線領域の構成例である。尚、ここで、罫線の外接矩形とは、罫線に外接している矩形である。
【００３２】
（角部罫線領域）
罫線抽出処理部２０３において求めた罫線領域から、角部罫線領域を抽出する。図７は、角部罫線領域について説明するための図である。
【００３３】
縦罫線の罫線領域と横罫線の罫線領域が連結せず、かつ縦罫線の罫線領域と横罫線の罫線領域の間隔が一定値に収まっている場合、角部に角丸罫線が存在する可能性が高いため、以下の手順で角部罫線領域を抽出する。
【００３４】
図５において縦罫線及び横罫線が抽出されるが、角部の罫線については抽出されずに残っている。そのため、罫線領域から角丸部分を含む領域である角部罫線領域を求める。図５において抽出された罫線に対して角部罫線領域を求めた図が図７である。本実施例の場合、Ｃ１、Ｃ２、Ｃ３、Ｃ４が角部罫線領域である。
【００３５】
角部罫線領域の求め方について説明する。図８は、罫線抽出処理後の角丸箇所の拡大図である。本実施例における角丸箇所は、縦罫線領域Ｒｍの点Ａ、Ｂ、横罫線領域ＲｎのＥ、Ｆに囲まれた箇所である。
【００３６】
図９において、角部罫線領域を示す。角部罫線領域Ｃ１は、点Ａ及び点Ｅの座標から求めることができる矩形である。角部罫線領域に、角部の角丸罫線Ｍが示されている。この角丸罫線について、角部特徴量辞書１０７に保持されている角部特徴量辞書１０７との比較を行い、角部特徴量辞書１０７の角丸罫線と一致する角丸罫線を本実施例における角丸罫線とみなす処理を行う。
【００３７】
（マッチングの概要）
角部罫線領域内における入力画像の角丸罫線と、角部特徴量辞書１０７との比較について、図１０においてイメージ図を示す。図１０は、入力画像の角丸罫線と角部特徴量辞書１０７の角丸罫線とのマッチングイメージを示す図である。
【００３８】
図１０（ａ）において、角部特徴量辞書１０７は様々な角丸罫線の特徴量を角部特徴量辞書として保持している。図１０（ａ）ではわかりやすく角丸罫線の画素データの例を示しているが、実際に角部特徴量辞書１０７に保持するのは画素データではなく、これらの特徴量を数値で示した値である。
【００３９】
図１０（ｂ）において、角部特徴量辞書１０７と入力画像中の角丸罫線とのマッチングを例示する。入力画像についても、角部特徴量辞書１０７と同様に特徴量を算出し、図に示すイメージで特徴量同士の比較を行い、一致する角部特徴量辞書１０７内の角丸罫線を入力画像の角丸罫線として抽出する。本図においてマッチングを画素データ上で行うよう表示しているが、実際は画素データ上での比較は行わず、特徴量である数値の比較で一致度を算出する。
【００４０】
図４に戻る。角部罫線領域内の入力画像には、縦罫線及び横罫線の交点である角部が示されている。特徴量抽出部２０５において、角部罫線領域内の入力画像が有する特徴量を算出する。特徴量抽出部２０５において算出した特徴量と、角部特徴量辞書１０７において保持している特徴量の辞書との比較がマッチング部２０６で行われ、角部特徴量辞書１０７が保持する特徴量の中で所定の一致度を有する角丸罫線の特徴量が選択され、角部罫線領域内の角丸罫線であると認識される。罫線抽出処理部２０３で抽出された縦罫線及び横罫線のデジタルデータ、マッチング部２０６で認識された角丸罫線のデジタルデータが、結果出力部２０８で所定の出力装置に出力される。
【００４１】
画像処理部１０８において、角部罫線領域を抽出し、角部特徴量辞書１０７にあらかじめ保持した特徴量の辞書との比較を行い、角丸罫線を認識することで、様々な形状の角丸罫線について認識することができる。
【００４２】
（角部特徴量辞書１０７）
次に、角部特徴量辞書１０７について説明する。角部特徴量辞書１０７には、角部の罫線を特定する角部罫線特定データと、角部の罫線の特徴量とが対応付けられて格納されている。角部罫線特定データとは、例えば角部の罫線が円を四分割した場合の円弧であるときは、罫線を特定するデータは円の半径ｒ、中心角θ（この場合は９０度）である。また例えば、角部の罫線が楕円を四分割した場合の楕円の円弧であるときは、角部罫線特定データは、長軸の半径の長さｒａ、短軸の半径の長さｒｂ、中心角θ（この場合は９０度）である。これらは一例であり、角部罫線特定データは、角部の罫線を特定することのできるあらゆるデータを含む。
【００４３】
角部特徴量辞書１０７は、角部罫線特定データと、角部の特徴量とを対応させて格納している。角部の特徴量の算出方法については後述する。
【００４４】
（特徴量の算出）
角部特徴量辞書１０７は、様々な角丸罫線の特徴量を辞書として保持する。図１１（ａ）に、角丸罫線のパターン例を示す。例えばこれらの角丸罫線について特徴量を算出し、特徴量を辞書として保持する。
【００４５】
特徴量の算出については、出願人が特許文献３において公開している、多層方向ヒストグラム法を用いる。具体的には、まず角部罫線領域を１６分割する。次に、罫線を構成する画素のうち、白画素（背景画素）に隣接する画素を角丸罫線の輪郭画素とみなし、輪郭画素に８方向の方向コードを付ける。角部罫線領域の枠の各辺から対抗する辺に向かって角部罫線領域を横方向に走査し、白画素の次に出現する輪郭画素の方向コードを検出し、その方向コードが走査線上で何番目に検出されたかを記憶する。縦方向にも同様の処理を行う。
【００４６】
角部罫線領域の分割領域毎に、横方向及び縦方向の２層の層別の方向コードのヒストグラムを求め、その各ヒストグラム値を成分とするベクトルを角丸罫線の特徴量とする。本実施形態の場合、角部罫線領域を１６分割し、８方向の方向コードを２層に分けてヒストグラムを算出しているので、全体として２５６次元（＝１６×８×２）の特徴ベクトルが抽出される。尚、分割数及び方向数、層数は任意とする。
【００４７】
辞書として保持する角丸罫線のパターンについて、それぞれ特徴量を算出し、この特徴量を辞書として角部特徴量辞書１０７に保持する。また、入力画像についても、角部罫線領域に含まれる角丸罫線について、同様の方法で特徴量を算出する。
【００４８】
（特徴量のマッチング）
入力画像の角丸罫線と、角部特徴量辞書１０７とのマッチングは、それぞれから算出された特徴量の数値の比較によって行われる。マッチングは、上述の特許文献３、及び出願人の出願による特許文献５の技術を用いて行う。各々の特徴量を特徴ベクトルとし、特徴ベクトル間の距離が算出され、この距離が角部特徴量辞書１０７内の比較対象である特徴ベクトルに対して一定値（例えば９０％）以上の一致度を有する場合、両罫線は一致するとみなす。一致した特徴量に対応する角部特徴量辞書１０７の角丸罫線を、入力画像の角丸罫線とみなして出力する。
【００４９】
マッチングに関しては、本出願人による出願である特許文献６に開示された技術を用いることもできる。即ち、角部特徴量辞書１０７について特徴ベクトルでクラスタリングし、入力画像の角丸罫線の特徴ベクトルと各クラスタの代表とのマッチング処理を行い、最も高い一致度を示した代表を持つクラスタを有効クラスタとする。次に有効クラスタ内の各特徴ベクトルと、入力画像の角丸罫線の特徴ベクトルとの距離を算出し、最も高い一致度を示し、かつ一定値以上の一致度を有する特徴量について、入力画像中の角丸罫線に対応する角丸罫線であるとみなし、出力する。角部特徴量辞書１０７に保持した特徴量が膨大である場合、あらかじめクラスタリングしておくことで、マッチング時にコンピュータにかかる負荷を軽減できる。
【００５０】
角部特徴量辞書１０７に保持するデータを、画素データではなく数値である特徴量とすることで、データ量を軽減できる。また、マッチングについて特徴量から一致度を算出する方法を採ることで、画素同士の比較を行うよりも少ない負荷でマッチング処理をすることができる。
【００５１】
（入力から出力までの流れ）
次に、入力から出力までの処理の流れについて説明する。図１２は、入力から出力までの処理の流れを示すフローチャートである。
【００５２】
Ｓ１０１において、入力画像メモリ部１０４に画像データが入力される。原稿をスキャンして入力画像を取得するほか、デジタルカメラなどで撮影したデータ、ネットワーク経由で取得した画像データなど、様々な方法で画像データを取得する。入力画像は画像処理部１０８に送られ、画像入力部２０７を経由して処理制御部２０１が受け付ける。
【００５３】
入力画像が多値画像である場合、Ｓ１０２において、二値化処理部２０２が二値化画像を生成する。二値化画像の生成については、本出願人による特許文献７に記載された技術のほか、一般的な技術を利用して行う。生成された二値化画像について、Ｓ１０３において罫線抽出処理部２０３、角部罫線領域抽出部２０４、特徴量抽出部２０５、マッチング部２０６において上述の処理がなされ、入力画像の角丸罫線と一致する角部特徴量辞書１０７内の角丸罫線が選択される。この角丸罫線を入力画像の角丸罫線とみなし、Ｓ１０４において結果出力部２０８から各罫線のデジタルデータ及び角丸罫線のデジタルデータが出力される。出力された各データは出力メモリ部１１３に蓄積され、必要に応じて利用される。
【００５４】
（画像処理部１０８における処理の流れ）
画像処理部１０８における処理の流れについて説明する。図１３は、画像処理部１０８における処理の流れを示すフローチャートである。この説明において、入力画像は二値画像であることを前提とする。
【００５５】
Ｓ２０１において、入力画像について罫線抽出処理部２０３で縦罫線及び横罫線が抽出される。Ｓ２０２において、縦罫線及び横罫線の罫線領域が抽出され、座標値が求められる。この座標値に基づいて、Ｓ２０３で、角部罫線領域抽出部２０４によって角部罫線領域が抽出される。Ｓ２０２において罫線領域を抽出した結果、各罫線が連結しているか、もしくは抽出した縦罫線と横罫線の各罫線領域の間隔が一定値を超える場合、角部に角丸罫線が存在しないとして処理を終了する。
【００５６】
Ｓ２０４において、特徴量抽出部２０５で、角部罫線領域内の入力画像中の角丸罫線について、上述した方法で特徴量が算出される。Ｓ２０５において、求めた入力画像中の角丸罫線の特徴量と、角部特徴量辞書１０７で保持された角部特徴量辞書１０７内の特徴量とのマッチングが行われ、マッチング部２０６によって一致度が算出される。一致度が例えば９０％を越える角部特徴量辞書１０７内の角丸罫線について、入力画像中の角丸罫線であるとみなされ、Ｓ２０６において結果出力部２０８から出力される。
【００５７】
尚、特徴量の算出に当たり、必要に応じてデータの正規化が行われる。
【００５８】
予め多様な角丸罫線のパターンを特徴量である数値で保持し、入力画像の角部について特徴量を算出して一致度を算出し、一致する特徴量を入力画像の角丸罫線であるとみなす。この構成により、角丸罫線を有する罫線の抽出について、最小限のデータの保持で多様な角丸罫線を抽出することができる。
【００５９】
（変形例）
尚、本実施例では角部が角丸で構成された角丸罫線を抽出することを前提とした。しかし、図１１（ｂ）のように角部が直線である場合も、同様の方法で抽出が可能である。しかし図１１（ｃ）のように、縦罫線と横罫線が直角に交わる場合は、罫線領域同士が連結しているため、本実施形態において想定していない。
【００６０】
また、本願においては、上述の機能を有する画像処理装置を備える画像形成装置としてもよい。図１４において、画像形成装置２のハードウェア構成図を示す。
【００６１】
画像形成装置２は、スキャナ機能を有する一般的な複合機である。画像形成装置２は、画像処理装置１が備える機能を包含するほか、ＡＲＤＦ（Auto Reverse Document Feeder）３０１、イメージ変換部３０２、ＦＡＸmodem３０３、メーラ３０４、メモリ３０５、ＵＳＢ３０６、プリンタエンジン３０７、電源ユニット３０８を備える。
【００６２】
本実施形態においては、ＡＲＤＦ３０１において読み取られた原稿画像に帳票が含まれる場合、操作部１０６の操作を通じて罫線を抽出し、角部罫線領域に含まれる角丸罫線について特徴量を算出する。メモリ３０５またはＨＤＤ１１２に保管された角部特徴量辞書１０７の角丸パターンの特徴量との比較が行われ、入力画像の角丸罫線が抽出される。抽出された罫線のデジタルデータ及び角丸罫線のデジタルデータがメモリ３０５に蓄積され、通信制御部１０９により外部に送信され、またはメーラ３０４でメール送信されるなど、操作に応じた所定の出力が行われる。抽出した罫線について紙上に形成する場合、プリンタエンジン３０７により印刷されて出力される。
【００６３】
以上、各実施形態に基づき本発明の説明を行ってきたが、上記実施形態に示した要件に本発明が限定されるものではない。これらの点に関しては、本発明の主旨をそこなわない範囲で変更することができ、その応用形態に応じて適切に定めることができる。
【符号の説明】
【００６４】
１ 画像処理装置
２ 画像形成装置
１０７ 角部特徴量辞書
１０８ 画像処理部
２０２ 二値化処理部
２０３ 罫線抽出処理部
２０４ 角部罫線領域抽出部
２０５ 特徴量抽出部
２０６ マッチング部
３０７ プリンタエンジン
【先行技術文献】
【特許文献】
【００６５】
【特許文献１】特開平０４−２９１４７８号公報
【特許文献２】特開２００２−１３３４２６号公報
【特許文献３】特開昭６３−７７８号公報
【特許文献４】特開平１０−１０５６４８号公報
【特許文献５】特開昭６２−２２１８７号公報
【特許文献６】特開平１１−９６３０４号公報
【特許文献７】特開２０００−３３１１１８号公報
【技術分野】
【０００１】
本発明は、画像処理装置、画像処理方法、画像形成装置、画像処理プログラムに関する。
【背景技術】
【０００２】
スキャナ機能を有するＭＦＰ機（Multi Function Printer）などの画像処理装置において、表を含む帳票画像を読み取って処理を行う帳票認識処理が知られている。帳票認識処理において、帳票画像から表を形成する罫線を抽出し、ベクトルデータに変換したり、抽出した罫線をデジタルデータ化し、再利用したりする処理が行われる。当該処理を行うため、帳票画像から罫線を抽出する技術が既に公開されている。
【０００３】
特許文献１に記載された技術によると、実線からなる罫線と、点線や破線等の非実線からなる罫線とで、異なる方法を用いて罫線を抽出する。実線罫線の場合、帳票画像から黒画素連結矩形を抽出し、罫線候補とする。実線でも罫線が分断されている場合があるため、あらかじめ統合許容パラメータを設定し、複数の黒画素連結矩形で統合許容パラメータの範囲内にあるものを統合し、実線罫線として認識する。非実線罫線の場合、線の種類に固有の長さの線を固有の間隔で固有の規則に従って繋いだパターンであるため、黒画素連結矩形の幅、高さ、及び隣接間距離のヒストグラムをとると、線種に固有の幅、高さ及び距離でピークを示す。このため、隣接した黒画素連結矩形間の距離を計算し、それらの幅、高さ及び距離のヒストグラムを計算し、ピークを示した幅、高さ、距離の黒画素連結矩形を統合し、非実線罫線として認識する。
【０００４】
また、特許文献２に記載された技術によると、元の画像から潰れ気味の二値画像と、掠れ気味の二値画像を生成し、これらを用いて罫線を抽出する。潰れ気味の二値画像から線分候補領域を抽出し、各線分候補領域毎に掠れ気味の二値画像と元画像とを参照し、掠れ気味の二値画像を元画像で補完する処理が行われる。補完処理の結果、線分候補領域内で黒画素の割合が一定値以上である場合、その線分候補領域は実線罫線であると判断される。尚、特許文献２に記載された技術は、実線からなる罫線を抽出することを前提としており、破線や鎖線等の非実線罫線は想定していない。
【０００５】
（特許文献１及び２参照）
【発明の開示】
【発明が解決しようとする課題】
【０００６】
しかし、特許文献１の方法では、例えば非実線罫線において、幅、高さ及び距離のヒストグラムを作成し、黒画素連結矩形を罫線として認識する関係上、非実線罫線における罫線と罫線の交点が角丸等で構成されている場合の角部については認識することができない。固有の幅、高さ、距離でピークを示す法則が成り立たないためである。また、特許文献２の方法では、角部を含む領域について二値化画像を生成して、角丸等である角部の罫線を認識することができるものの、実線である罫線を認識することを前提としている。従って、罫線と罫線の交点が角丸等で構成され、なおかつ角部が点線である場合など、様々な形状を持つ角部について認識することができないという問題があった。
【０００７】
本発明は、上記の点に鑑みてなされたものであって、帳票画像を読み取って罫線を認識する画像処理において、様々な形状を持つ罫線の角部を認識することのできる画像処理装置、画像処理方法及び画像形成装置、画像処理プログラムの提供を目的とする。
【課題を解決するための手段】
【０００８】
そこで上記課題を解決するため、本発明の画像処理装置は、幅と長さを有する罫線と、二つの罫線の角部領域に形成される角部罫線領域を有する画像を読み取る画像処理装置において、前記画像から、前記角部罫線領域を抽出する角部罫線領域抽出手段と、前記角部罫線領域の画像から、前記角部罫線領域の画像の特徴量を抽出する特徴量抽出手段と、前記角部罫線領域の複数の角部のパターンに対応した特徴量を保持する特徴量辞書と、前記特徴量抽出手段により抽出された特徴量と、前記特徴量辞書に保持されている前記角部のパターンの特徴量とを比較して一致度を算出し、所定の一致度を有する前記角部のパターンを前記角部罫線として抽出する角部罫線抽出手段と、を有することを特徴とする。
【０００９】
また、上記問題を解決するため、本発明は、上記画像処理装置における画像処理方法、上記画像処理装置を備える画像形成装置、上記画像処理方法をコンピュータに実行させる画像処理プログラムとしてもよい。
【発明の効果】
【００１０】
本発明によれば、帳票画像を読み取って罫線を認識する画像処理において、様々な形状を持つ罫線の角部を認識することのできる画像処理装置、画像処理方法及び画像処理プログラムを提供することができる。
【図面の簡単な説明】
【００１１】
【図１】画像処理装置１のハードウェア構成図である。
【図２】角丸罫線の一例である。
【図３】様々な形状の罫線の例である。
【図４】画像処理部１０８の機能ブロック図である。
【図５】罫線抽出処理の結果表示図である。
【図６】罫線領域の詳細を示す図である。
【図７】角部罫線領域について説明するための図である。
【図８】罫線抽出処理後の角丸箇所の拡大図である。
【図９】角部罫線領域を示す図である。
【図１０】入力画像における角丸罫線と角部特徴量辞書１０７とのマッチングイメージを示す図である。
【図１１】角丸罫線のパターン例である。
【図１２】入力から出力までの処理の流れを示すフローチャートである。
【図１３】画像処理部１０８における処理の流れを示すフローチャートである。
【図１４】画像形成装置２のハードウェア構成図である。
【発明を実施するための形態】
【００１２】
以下、図面に基づいて本発明の実施の形態を説明する。図１は、画像処理装置１のハードウェア構成図である。尚、以下の説明においては、便宜上、本実施の形態の説明に必要な構成要素が示されている。
【００１３】
（画像処理装置１の構成と機能）
画像処理装置１は、一般的なスキャナ機能を有する装置である。画像処理装置１は、ＣＰＵ１０１、スキャナ部１０２、外部記憶部１０３、入力画像メモリ部１０４、表示部１０５、操作部１０６、角部特徴量辞書１０７、画像処理部１０８、通信制御部１０９、出力メモリ部１１３を備える。外部記憶部１０３は、ＣＤ、ＤＶＤなどのメディア部１１１、及びＨＤＤ１１２を備える。通信制御部１０９は、ネットワーク網１１０に接続されている。
【００１４】
ＣＰＵ１０１は、画像処理装置１の制御を行う。スキャナ部１０２は、セットされた原稿をスキャンする。外部記憶部１０３は、メディア部１１１またはＨＤＤ１１２を用いて画像を保持する。入力画像メモリ部１０４は、スキャナ部１０２、外部記憶部１０３または通信制御部１０９から取得した入力画像を保持する。表示部１０５は、入力画像メモリ部１０４に保持された入力画像のプレビュー表示し、またはＧＵＩ画面を表示し、ＧＵＩ画面において操作部１０６にてユーザ操作が行われる。
【００１５】
角部特徴量辞書１０７は、予め罫線の角部の特徴量を辞書として保持する。画像処理部１０８は、入力画像メモリ部１０４に保持された入力画像に対し、罫線を抽出し、罫線の角部について角部特徴量辞書１０７の特徴量とマッチングを行うが、詳細は後述する。画像処理部１０８は、入力画像が多値画像であった場合に、入力画像から二値画像を生成する。出力メモリ部１１３は、画像処理部１０８において処理が行われた罫線についてのデータを保持する。通信制御部１０９は、ネットワーク網１１０から入力画像を取り寄せたり、処理結果の情報を配信する。
【００１６】
（画像処理装置１の処理の概要）
図１において、スキャナ部１０２、外部記憶部１０３または通信制御部１０９から入力された画像が入力画像メモリ部１０４に保持され、画像処理部１０８に送られる。画像処理部１０８では、縦の罫線及び横の罫線が抽出され、罫線の角部である角部罫線領域が抽出される。画像処理部１０８において、角部罫線領域内の角部の罫線の特徴量が算出される。以下、罫線の角部が角丸で構成されている場合の角部を角丸罫線とする。
【００１７】
角部特徴量辞書１０７には、あらかじめ縦罫線及び横罫線の交点である角部について、様々なパターンの角丸罫線についての特徴量が算出され、辞書として保持されている。画像処理部１０８において算出された特徴量と、角部特徴量辞書１０７に保持された特徴量の辞書との比較が行われる。所定の一致度を持つ特徴量を角部特徴量辞書１０７が保持していた場合、その特徴量に対応する角部のパターンが、角部候補領域内の角丸罫線であると認識される。認識された角丸罫線のデジタルデータと画像処理部１０８で抽出された縦罫線及び横罫線のデジタルデータが出力メモリ部１１３に蓄積され、必要に応じて再利用される。
【００１８】
角丸罫線について、角部特徴量辞書１０７に角丸罫線の特徴量を辞書として保持し、入力画像の角部と比較して角丸罫線を認識することで、様々な形状の角丸罫線を取得することができる。
【００１９】
（本実施例の対象とする罫線の一例）
本実施例の対象とする罫線について説明する。図２は、角丸罫線の一例である。帳票画像等においてよく見られる表のうち、角の丸い表について示す。本実施例では、このような表における直線状の罫線と、角部の角丸罫線とに分けて抽出する。
【００２０】
図３は、様々な形状の罫線の例である。本実施例では、図２の一般的な角丸罫線だけでなく、ｂ）の破線罫線における角丸部分も含め、これらすべての罫線について、角部も含めて正確に抽出することができる。尚、本願の抽出可能とする罫線については、この範囲に限定されるものではなく、多種多様にわたる角部を持つ罫線において対応が可能である。
【００２１】
尚、角部が縦罫線及び横罫線で構成される場合は、本実施例の対象外である。
【００２２】
（画像処理部１０８の構成と機能）
次に、画像処理部１０８の機能について説明する。図４は、画像処理部１０８の機能ブロック図である。
【００２３】
画像処理部１０８は、画像処理装置１において入力された画像に対し処理を行う。画像処理装置１０８は、処理制御部２０１、画像入力部２０７、結果出力部２０８を備える。処理制御部２０１は、二値化処理部２０２、罫線抽出処理部２０３、角部罫線領域抽出部２０４、特徴量抽出部２０５、マッチング部２０６を備える。
【００２４】
画像入力部２０７は、入力画像メモリ部１０４から画像処理部１０８への入力画像の受け取りを制御する。処理制御部２０１は、画像入力部２０７から入力された入力画像に対し、処理を実行する。結果出力部２０８は、処理制御部２０１において抽出された縦罫線及び横罫線、角丸罫線のデジタルデータを出力メモリ部１１３に出力する。
【００２５】
二値化処理部２０２は、入力画像が多値画像である場合、入力画像から二値化画像を取得する。罫線抽出処理部２０３は、入力画像から縦の罫線及び横の罫線を抽出する。角部罫線領域抽出部２０４は、罫線抽出処理部２０３において抽出された縦の罫線及び横の罫線から縦の罫線領域及び横の罫線領域を抽出し、これらの罫線領域から角部の領域である角部罫線領域を抽出する。特徴量抽出部は、角部罫線領域抽出部において抽出された角部罫線領域内の入力画像から、所定の方法で特徴量を算出する。マッチング部２０６は、特徴量抽出部２０５で抽出された角部罫線領域内の入力画像の特徴量と、角部特徴量辞書１０７に保持された角部特徴量辞書１０７との比較を行い、所定の一致度を有する角部特徴量辞書１０７内の特徴量を選択する。
【００２６】
（画像処理部１０８の処理）
画像入力部２０７から入力された入力画像に対し、罫線抽出処理部２０３において縦の罫線及び横の罫線を抽出する罫線抽出処理を行う。罫線の抽出方法については、本出願人が既に提案している特許文献１の技術を用いる。具体的には、実線罫線については入力画像から黒画素連結矩形を抽出し、罫線候補とする。実線でも罫線が分断されている場合があるため、あらかじめ統合許容パラメータを設定し、複数の黒画素連結矩形で統合許容パラメータの範囲内にあるものを統合し、実線罫線として認識する。点線、鎖線等の非実線罫線の場合は、黒画素連結矩形の幅、高さ、隣接距離間のヒストグラムを生成し、ピークを示した幅、高さ、距離の黒画素連結矩形を統合して非実線罫線として認識する。
【００２７】
罫線抽出処理部２０３において、縦罫線及び横罫線が抽出されると、角部罫線領域抽出部２０４において縦罫線及び横罫線の座標を求め、それらの座標を罫線領域とする。縦罫線及び横罫線の抽出について、図５に示す。
【００２８】
（罫線領域）
図５は、罫線抽出処理の結果表示図である。図２で示した角丸罫線の一例のうち、角部を除いた縦罫線Ｌｍ及び横罫線Ｌｎを含む罫線が抽出されている。抽出された縦罫線及び横罫線の座標を罫線領域とする。罫線領域は、後述する角部罫線領域を求めるために必要となる。
【００２９】
本実施例では縦罫線の罫線領域と横罫線の罫線領域が直角の位置関係にあることを想定している。縦罫線と横罫線が直線であって、直角の位置関係にある場合、各罫線領域は罫線自体の有する座標と同一である。例えば図５の縦罫線Ｌｍと横罫線Ｌｎの場合、罫線が直線であって直角の位置関係にあるため、各罫線領域は罫線自体の有する座標と同一となる。
【００３０】
図６（ａ）（ｂ）（ｃ）（ｄ）は罫線領域の詳細を示す図である。図６（ａ）のように縦罫線Ｌｍ２と横罫線Ｌｎ２が直角の位置関係にない場合、罫線領域は罫線のうち一辺（例えば図６（ａ）の場合Ｌｍ２）を基準に、直角の位置関係になるよう構成する。図６（ｂ）のように、直線罫線であれば罫線の両端を含み、かつ基準となる一辺の罫線と直角の位置になるような矩形の領域を構成する。図６（ａ）の罫線について罫線領域を図示したのが図６（ｃ）である。罫線領域Ｒｍ２と罫線領域Ｒｎ２が直角の位置関係になるよう構成している。尚、ここでは図６（ｂ）の矩形を外接矩形とする。
【００３１】
罫線が波線であるなど、直線でない場合であっても、罫線の外接矩形が罫線領域として抽出される。この場合、罫線領域は罫線を構成する画素のすべてを含むよう構成される。図６（ｄ）は、罫線が波線である場合の罫線領域の構成例である。尚、ここで、罫線の外接矩形とは、罫線に外接している矩形である。
【００３２】
（角部罫線領域）
罫線抽出処理部２０３において求めた罫線領域から、角部罫線領域を抽出する。図７は、角部罫線領域について説明するための図である。
【００３３】
縦罫線の罫線領域と横罫線の罫線領域が連結せず、かつ縦罫線の罫線領域と横罫線の罫線領域の間隔が一定値に収まっている場合、角部に角丸罫線が存在する可能性が高いため、以下の手順で角部罫線領域を抽出する。
【００３４】
図５において縦罫線及び横罫線が抽出されるが、角部の罫線については抽出されずに残っている。そのため、罫線領域から角丸部分を含む領域である角部罫線領域を求める。図５において抽出された罫線に対して角部罫線領域を求めた図が図７である。本実施例の場合、Ｃ１、Ｃ２、Ｃ３、Ｃ４が角部罫線領域である。
【００３５】
角部罫線領域の求め方について説明する。図８は、罫線抽出処理後の角丸箇所の拡大図である。本実施例における角丸箇所は、縦罫線領域Ｒｍの点Ａ、Ｂ、横罫線領域ＲｎのＥ、Ｆに囲まれた箇所である。
【００３６】
図９において、角部罫線領域を示す。角部罫線領域Ｃ１は、点Ａ及び点Ｅの座標から求めることができる矩形である。角部罫線領域に、角部の角丸罫線Ｍが示されている。この角丸罫線について、角部特徴量辞書１０７に保持されている角部特徴量辞書１０７との比較を行い、角部特徴量辞書１０７の角丸罫線と一致する角丸罫線を本実施例における角丸罫線とみなす処理を行う。
【００３７】
（マッチングの概要）
角部罫線領域内における入力画像の角丸罫線と、角部特徴量辞書１０７との比較について、図１０においてイメージ図を示す。図１０は、入力画像の角丸罫線と角部特徴量辞書１０７の角丸罫線とのマッチングイメージを示す図である。
【００３８】
図１０（ａ）において、角部特徴量辞書１０７は様々な角丸罫線の特徴量を角部特徴量辞書として保持している。図１０（ａ）ではわかりやすく角丸罫線の画素データの例を示しているが、実際に角部特徴量辞書１０７に保持するのは画素データではなく、これらの特徴量を数値で示した値である。
【００３９】
図１０（ｂ）において、角部特徴量辞書１０７と入力画像中の角丸罫線とのマッチングを例示する。入力画像についても、角部特徴量辞書１０７と同様に特徴量を算出し、図に示すイメージで特徴量同士の比較を行い、一致する角部特徴量辞書１０７内の角丸罫線を入力画像の角丸罫線として抽出する。本図においてマッチングを画素データ上で行うよう表示しているが、実際は画素データ上での比較は行わず、特徴量である数値の比較で一致度を算出する。
【００４０】
図４に戻る。角部罫線領域内の入力画像には、縦罫線及び横罫線の交点である角部が示されている。特徴量抽出部２０５において、角部罫線領域内の入力画像が有する特徴量を算出する。特徴量抽出部２０５において算出した特徴量と、角部特徴量辞書１０７において保持している特徴量の辞書との比較がマッチング部２０６で行われ、角部特徴量辞書１０７が保持する特徴量の中で所定の一致度を有する角丸罫線の特徴量が選択され、角部罫線領域内の角丸罫線であると認識される。罫線抽出処理部２０３で抽出された縦罫線及び横罫線のデジタルデータ、マッチング部２０６で認識された角丸罫線のデジタルデータが、結果出力部２０８で所定の出力装置に出力される。
【００４１】
画像処理部１０８において、角部罫線領域を抽出し、角部特徴量辞書１０７にあらかじめ保持した特徴量の辞書との比較を行い、角丸罫線を認識することで、様々な形状の角丸罫線について認識することができる。
【００４２】
（角部特徴量辞書１０７）
次に、角部特徴量辞書１０７について説明する。角部特徴量辞書１０７には、角部の罫線を特定する角部罫線特定データと、角部の罫線の特徴量とが対応付けられて格納されている。角部罫線特定データとは、例えば角部の罫線が円を四分割した場合の円弧であるときは、罫線を特定するデータは円の半径ｒ、中心角θ（この場合は９０度）である。また例えば、角部の罫線が楕円を四分割した場合の楕円の円弧であるときは、角部罫線特定データは、長軸の半径の長さｒａ、短軸の半径の長さｒｂ、中心角θ（この場合は９０度）である。これらは一例であり、角部罫線特定データは、角部の罫線を特定することのできるあらゆるデータを含む。
【００４３】
角部特徴量辞書１０７は、角部罫線特定データと、角部の特徴量とを対応させて格納している。角部の特徴量の算出方法については後述する。
【００４４】
（特徴量の算出）
角部特徴量辞書１０７は、様々な角丸罫線の特徴量を辞書として保持する。図１１（ａ）に、角丸罫線のパターン例を示す。例えばこれらの角丸罫線について特徴量を算出し、特徴量を辞書として保持する。
【００４５】
特徴量の算出については、出願人が特許文献３において公開している、多層方向ヒストグラム法を用いる。具体的には、まず角部罫線領域を１６分割する。次に、罫線を構成する画素のうち、白画素（背景画素）に隣接する画素を角丸罫線の輪郭画素とみなし、輪郭画素に８方向の方向コードを付ける。角部罫線領域の枠の各辺から対抗する辺に向かって角部罫線領域を横方向に走査し、白画素の次に出現する輪郭画素の方向コードを検出し、その方向コードが走査線上で何番目に検出されたかを記憶する。縦方向にも同様の処理を行う。
【００４６】
角部罫線領域の分割領域毎に、横方向及び縦方向の２層の層別の方向コードのヒストグラムを求め、その各ヒストグラム値を成分とするベクトルを角丸罫線の特徴量とする。本実施形態の場合、角部罫線領域を１６分割し、８方向の方向コードを２層に分けてヒストグラムを算出しているので、全体として２５６次元（＝１６×８×２）の特徴ベクトルが抽出される。尚、分割数及び方向数、層数は任意とする。
【００４７】
辞書として保持する角丸罫線のパターンについて、それぞれ特徴量を算出し、この特徴量を辞書として角部特徴量辞書１０７に保持する。また、入力画像についても、角部罫線領域に含まれる角丸罫線について、同様の方法で特徴量を算出する。
【００４８】
（特徴量のマッチング）
入力画像の角丸罫線と、角部特徴量辞書１０７とのマッチングは、それぞれから算出された特徴量の数値の比較によって行われる。マッチングは、上述の特許文献３、及び出願人の出願による特許文献５の技術を用いて行う。各々の特徴量を特徴ベクトルとし、特徴ベクトル間の距離が算出され、この距離が角部特徴量辞書１０７内の比較対象である特徴ベクトルに対して一定値（例えば９０％）以上の一致度を有する場合、両罫線は一致するとみなす。一致した特徴量に対応する角部特徴量辞書１０７の角丸罫線を、入力画像の角丸罫線とみなして出力する。
【００４９】
マッチングに関しては、本出願人による出願である特許文献６に開示された技術を用いることもできる。即ち、角部特徴量辞書１０７について特徴ベクトルでクラスタリングし、入力画像の角丸罫線の特徴ベクトルと各クラスタの代表とのマッチング処理を行い、最も高い一致度を示した代表を持つクラスタを有効クラスタとする。次に有効クラスタ内の各特徴ベクトルと、入力画像の角丸罫線の特徴ベクトルとの距離を算出し、最も高い一致度を示し、かつ一定値以上の一致度を有する特徴量について、入力画像中の角丸罫線に対応する角丸罫線であるとみなし、出力する。角部特徴量辞書１０７に保持した特徴量が膨大である場合、あらかじめクラスタリングしておくことで、マッチング時にコンピュータにかかる負荷を軽減できる。
【００５０】
角部特徴量辞書１０７に保持するデータを、画素データではなく数値である特徴量とすることで、データ量を軽減できる。また、マッチングについて特徴量から一致度を算出する方法を採ることで、画素同士の比較を行うよりも少ない負荷でマッチング処理をすることができる。
【００５１】
（入力から出力までの流れ）
次に、入力から出力までの処理の流れについて説明する。図１２は、入力から出力までの処理の流れを示すフローチャートである。
【００５２】
Ｓ１０１において、入力画像メモリ部１０４に画像データが入力される。原稿をスキャンして入力画像を取得するほか、デジタルカメラなどで撮影したデータ、ネットワーク経由で取得した画像データなど、様々な方法で画像データを取得する。入力画像は画像処理部１０８に送られ、画像入力部２０７を経由して処理制御部２０１が受け付ける。
【００５３】
入力画像が多値画像である場合、Ｓ１０２において、二値化処理部２０２が二値化画像を生成する。二値化画像の生成については、本出願人による特許文献７に記載された技術のほか、一般的な技術を利用して行う。生成された二値化画像について、Ｓ１０３において罫線抽出処理部２０３、角部罫線領域抽出部２０４、特徴量抽出部２０５、マッチング部２０６において上述の処理がなされ、入力画像の角丸罫線と一致する角部特徴量辞書１０７内の角丸罫線が選択される。この角丸罫線を入力画像の角丸罫線とみなし、Ｓ１０４において結果出力部２０８から各罫線のデジタルデータ及び角丸罫線のデジタルデータが出力される。出力された各データは出力メモリ部１１３に蓄積され、必要に応じて利用される。
【００５４】
（画像処理部１０８における処理の流れ）
画像処理部１０８における処理の流れについて説明する。図１３は、画像処理部１０８における処理の流れを示すフローチャートである。この説明において、入力画像は二値画像であることを前提とする。
【００５５】
Ｓ２０１において、入力画像について罫線抽出処理部２０３で縦罫線及び横罫線が抽出される。Ｓ２０２において、縦罫線及び横罫線の罫線領域が抽出され、座標値が求められる。この座標値に基づいて、Ｓ２０３で、角部罫線領域抽出部２０４によって角部罫線領域が抽出される。Ｓ２０２において罫線領域を抽出した結果、各罫線が連結しているか、もしくは抽出した縦罫線と横罫線の各罫線領域の間隔が一定値を超える場合、角部に角丸罫線が存在しないとして処理を終了する。
【００５６】
Ｓ２０４において、特徴量抽出部２０５で、角部罫線領域内の入力画像中の角丸罫線について、上述した方法で特徴量が算出される。Ｓ２０５において、求めた入力画像中の角丸罫線の特徴量と、角部特徴量辞書１０７で保持された角部特徴量辞書１０７内の特徴量とのマッチングが行われ、マッチング部２０６によって一致度が算出される。一致度が例えば９０％を越える角部特徴量辞書１０７内の角丸罫線について、入力画像中の角丸罫線であるとみなされ、Ｓ２０６において結果出力部２０８から出力される。
【００５７】
尚、特徴量の算出に当たり、必要に応じてデータの正規化が行われる。
【００５８】
予め多様な角丸罫線のパターンを特徴量である数値で保持し、入力画像の角部について特徴量を算出して一致度を算出し、一致する特徴量を入力画像の角丸罫線であるとみなす。この構成により、角丸罫線を有する罫線の抽出について、最小限のデータの保持で多様な角丸罫線を抽出することができる。
【００５９】
（変形例）
尚、本実施例では角部が角丸で構成された角丸罫線を抽出することを前提とした。しかし、図１１（ｂ）のように角部が直線である場合も、同様の方法で抽出が可能である。しかし図１１（ｃ）のように、縦罫線と横罫線が直角に交わる場合は、罫線領域同士が連結しているため、本実施形態において想定していない。
【００６０】
また、本願においては、上述の機能を有する画像処理装置を備える画像形成装置としてもよい。図１４において、画像形成装置２のハードウェア構成図を示す。
【００６１】
画像形成装置２は、スキャナ機能を有する一般的な複合機である。画像形成装置２は、画像処理装置１が備える機能を包含するほか、ＡＲＤＦ（Auto Reverse Document Feeder）３０１、イメージ変換部３０２、ＦＡＸmodem３０３、メーラ３０４、メモリ３０５、ＵＳＢ３０６、プリンタエンジン３０７、電源ユニット３０８を備える。
【００６２】
本実施形態においては、ＡＲＤＦ３０１において読み取られた原稿画像に帳票が含まれる場合、操作部１０６の操作を通じて罫線を抽出し、角部罫線領域に含まれる角丸罫線について特徴量を算出する。メモリ３０５またはＨＤＤ１１２に保管された角部特徴量辞書１０７の角丸パターンの特徴量との比較が行われ、入力画像の角丸罫線が抽出される。抽出された罫線のデジタルデータ及び角丸罫線のデジタルデータがメモリ３０５に蓄積され、通信制御部１０９により外部に送信され、またはメーラ３０４でメール送信されるなど、操作に応じた所定の出力が行われる。抽出した罫線について紙上に形成する場合、プリンタエンジン３０７により印刷されて出力される。
【００６３】
以上、各実施形態に基づき本発明の説明を行ってきたが、上記実施形態に示した要件に本発明が限定されるものではない。これらの点に関しては、本発明の主旨をそこなわない範囲で変更することができ、その応用形態に応じて適切に定めることができる。
【符号の説明】
【００６４】
１ 画像処理装置
２ 画像形成装置
１０７ 角部特徴量辞書
１０８ 画像処理部
２０２ 二値化処理部
２０３ 罫線抽出処理部
２０４ 角部罫線領域抽出部
２０５ 特徴量抽出部
２０６ マッチング部
３０７ プリンタエンジン
【先行技術文献】
【特許文献】
【００６５】
【特許文献１】特開平０４−２９１４７８号公報
【特許文献２】特開２００２−１３３４２６号公報
【特許文献３】特開昭６３−７７８号公報
【特許文献４】特開平１０−１０５６４８号公報
【特許文献５】特開昭６２−２２１８７号公報
【特許文献６】特開平１１−９６３０４号公報
【特許文献７】特開２０００−３３１１１８号公報
【特許請求の範囲】
【請求項１】
幅と長さを有する罫線と、二つの罫線の角部領域に形成される角部罫線領域を有する画像を読み取る画像処理装置において、
前記画像から、前記角部罫線領域を抽出する角部罫線領域抽出手段と、
前記角部罫線領域の画像から、前記角部罫線領域の画像の特徴量を抽出する特徴量抽出手段と、
前記角部罫線領域の複数の角部のパターンに対応した特徴量を保持する特徴量辞書と、
前記特徴量抽出手段により抽出された特徴量と、前記特徴量辞書に保持されている前記角部のパターンの特徴量とを比較して一致度を算出し、所定の一致度を有する前記角部のパターンを前記角部罫線として抽出する角部罫線抽出手段と、
を有することを特徴とする画像処理装置。
【請求項２】
読み取られた前記画像が多値画像の場合、読み取られた多値画像から二値画像を生成する二値画像生成手段を有し、
前記特徴量抽出手段は、前記二値画像から前記特徴量を抽出することを特徴とする、請求項１記載の画像処理装置。
【請求項３】
前記角部罫線領域抽出手段は、縦の罫線である縦罫線を有する縦罫線領域及び横の罫線である横罫線を有する横罫線領域に基づいて前記角部罫線領域を抽出することを特徴とする、請求項１または２記載の画像処理装置。
【請求項４】
前記縦罫線領域は、前記縦罫線の外接矩形の領域であり
前記横罫線領域は、前記横罫線の外接矩形の領域であり、
前記縦罫線領域または前記横罫線領域は、前記縦罫線または前記横罫線のいずれか一方を基準として直角の位置になるよう構成することを特徴とする、請求項３記載の画像処理装置。
【請求項５】
幅と長さを有する罫線と、二つの罫線の角部領域に形成される角部罫線領域を有する画像を読み取る画像処理方法において、
前記画像から、前記角部罫線領域を抽出する角部罫線領域抽出手順と、
前記角部罫線領域の画像から、前記角部罫線領域の画像の特徴量を抽出する特徴量抽出手順と、
前記特徴量抽出手順により抽出された特徴量と、前記角部罫線領域の複数の角部のパターンに対応した特徴量を保持する特徴量辞書に保持されている、前記角部のパターンの特徴量とを比較して一致度を算出し、所定の一致度を有する前記角部のパターンを前記角部罫線として抽出する角部罫線抽出手順と、
を有することを特徴とする画像処理方法。
【請求項６】
読み取られた前記画像が多値画像の場合、読み取られた多値画像から二値画像を生成する二値画像生成手順を有し、
前記特徴量抽出手順は、前記二値画像から前記特徴量を抽出することを特徴とする、請求項５記載の画像処理方法。
【請求項７】
前記角部罫線領域抽出手順は、縦の罫線を有する縦罫線領域及び横の罫線を有する横罫線領域に基づいて抽出することを特徴とする、請求項５又は６記載の画像処理方法。
【請求項８】
前記縦罫線領域及び横罫線領域は、縦罫線または横罫線が斜線の場合、罫線の両端点及び罫線を含むよう構成することを特徴とする、請求項７記載の画像処理方法。
【請求項９】
請求項１ないし４のいずれか一項に記載の画像処理装置と、
前記画像処理装置により画像処理を施された画像データに基づいて、用紙上に画像の形成を行うプリンタエンジンと、
を備えることを特徴とする画像形成装置。
【請求項１０】
請求項５ないし８のいずれか一項に記載の画像処理方法をコンピュータに実行させる画像処理プログラム。
【請求項１】
幅と長さを有する罫線と、二つの罫線の角部領域に形成される角部罫線領域を有する画像を読み取る画像処理装置において、
前記画像から、前記角部罫線領域を抽出する角部罫線領域抽出手段と、
前記角部罫線領域の画像から、前記角部罫線領域の画像の特徴量を抽出する特徴量抽出手段と、
前記角部罫線領域の複数の角部のパターンに対応した特徴量を保持する特徴量辞書と、
前記特徴量抽出手段により抽出された特徴量と、前記特徴量辞書に保持されている前記角部のパターンの特徴量とを比較して一致度を算出し、所定の一致度を有する前記角部のパターンを前記角部罫線として抽出する角部罫線抽出手段と、
を有することを特徴とする画像処理装置。
【請求項２】
読み取られた前記画像が多値画像の場合、読み取られた多値画像から二値画像を生成する二値画像生成手段を有し、
前記特徴量抽出手段は、前記二値画像から前記特徴量を抽出することを特徴とする、請求項１記載の画像処理装置。
【請求項３】
前記角部罫線領域抽出手段は、縦の罫線である縦罫線を有する縦罫線領域及び横の罫線である横罫線を有する横罫線領域に基づいて前記角部罫線領域を抽出することを特徴とする、請求項１または２記載の画像処理装置。
【請求項４】
前記縦罫線領域は、前記縦罫線の外接矩形の領域であり
前記横罫線領域は、前記横罫線の外接矩形の領域であり、
前記縦罫線領域または前記横罫線領域は、前記縦罫線または前記横罫線のいずれか一方を基準として直角の位置になるよう構成することを特徴とする、請求項３記載の画像処理装置。
【請求項５】
幅と長さを有する罫線と、二つの罫線の角部領域に形成される角部罫線領域を有する画像を読み取る画像処理方法において、
前記画像から、前記角部罫線領域を抽出する角部罫線領域抽出手順と、
前記角部罫線領域の画像から、前記角部罫線領域の画像の特徴量を抽出する特徴量抽出手順と、
前記特徴量抽出手順により抽出された特徴量と、前記角部罫線領域の複数の角部のパターンに対応した特徴量を保持する特徴量辞書に保持されている、前記角部のパターンの特徴量とを比較して一致度を算出し、所定の一致度を有する前記角部のパターンを前記角部罫線として抽出する角部罫線抽出手順と、
を有することを特徴とする画像処理方法。
【請求項６】
読み取られた前記画像が多値画像の場合、読み取られた多値画像から二値画像を生成する二値画像生成手順を有し、
前記特徴量抽出手順は、前記二値画像から前記特徴量を抽出することを特徴とする、請求項５記載の画像処理方法。
【請求項７】
前記角部罫線領域抽出手順は、縦の罫線を有する縦罫線領域及び横の罫線を有する横罫線領域に基づいて抽出することを特徴とする、請求項５又は６記載の画像処理方法。
【請求項８】
前記縦罫線領域及び横罫線領域は、縦罫線または横罫線が斜線の場合、罫線の両端点及び罫線を含むよう構成することを特徴とする、請求項７記載の画像処理方法。
【請求項９】
請求項１ないし４のいずれか一項に記載の画像処理装置と、
前記画像処理装置により画像処理を施された画像データに基づいて、用紙上に画像の形成を行うプリンタエンジンと、
を備えることを特徴とする画像形成装置。
【請求項１０】
請求項５ないし８のいずれか一項に記載の画像処理方法をコンピュータに実行させる画像処理プログラム。
【図１】
【図２】
【図３】
【図４】
【図５】
【図６】
【図７】
【図８】
【図９】
【図１０】
【図１１】
【図１２】
【図１３】
【図１４】
【図２】
【図３】
【図４】
【図５】
【図６】
【図７】
【図８】
【図９】
【図１０】
【図１１】
【図１２】
【図１３】
【図１４】
【公開番号】特開２０１３−６１８３９（Ｐ２０１３−６１８３９Ａ）
【公開日】平成２５年４月４日（２０１３．４．４）
【国際特許分類】
【出願番号】特願２０１１−２００３２６（Ｐ２０１１−２００３２６）
【出願日】平成２３年９月１４日（２０１１．９．１４）
【出願人】（０００００６７４７）株式会社リコー (37,907)
【Ｆターム（参考）】
【公開日】平成２５年４月４日（２０１３．４．４）
【国際特許分類】
【出願日】平成２３年９月１４日（２０１１．９．１４）
【出願人】（０００００６７４７）株式会社リコー (37,907)
【Ｆターム（参考）】
[ Back to top ]