画像処理装置、画像形成装置、プログラム、記憶媒体および画像処理方法
【課題】写真、図、罫線などの非文字要素からの悪影響を防止すると同時に、罫線があれば分離できるはずの狭い隙間の融合を防ぐことによって、所望の領域分割結果を得て、レイアウト解析処理の高効率化と高精度化を図る。
【解決手段】２値文書画像から非文字要素を抽出し（Ｓ２，Ｓ３）、非文字要素を削除した２値文書画像を領域分割することにより（Ｓ４，Ｓ５）、非文字要素からの悪影響を防止する。また、領域分割結果から先に抽出された非文字要素に含まれる罫線を削除することにより（Ｓ６）、罫線があれば分離できるはずの狭い隙間の融合を防ぐことができる。これにより、所望の領域分割結果を得られるようになり、レイアウト解析処理の高効率化と高精度化を図ることができる。
【解決手段】２値文書画像から非文字要素を抽出し（Ｓ２，Ｓ３）、非文字要素を削除した２値文書画像を領域分割することにより（Ｓ４，Ｓ５）、非文字要素からの悪影響を防止する。また、領域分割結果から先に抽出された非文字要素に含まれる罫線を削除することにより（Ｓ６）、罫線があれば分離できるはずの狭い隙間の融合を防ぐことができる。これにより、所望の領域分割結果を得られるようになり、レイアウト解析処理の高効率化と高精度化を図ることができる。
【発明の詳細な説明】
【技術分野】
【０００１】
本発明は、画像処理装置、画像形成装置、プログラム、記憶媒体および画像処理方法に関する。
【背景技術】
【０００２】
スキャナやデジタルカメラなどの画像入力機器を通してコンピュータに入力された文書画像を文書構成要素（例えば、文字、文字行、パラグラフ、コラムなど）に分離する処理は、通常、「幾何的レイアウト解析」や「ページセグメンテーション」と呼ばれる。この「幾何的レイアウト解析」や「ページセグメンテーション」は、多くの場合、２値文書画像上で行われる。また、「幾何的レイアウト解析」や「ページセグメンテーション」は、前処理として、入力の際に生じる傾きを補正する「スキュー補正」を伴う。このようにしてスキュー補正された２値文書画像の「幾何的レイアウト解析」や「ページセグメンテーション」は、大きく２通りのアプローチ（トップダウン解析及びボトムアップ解析）に分類される。
【０００３】
ここで、トップダウン解析について説明する。トップダウン解析は、ページを大きな構成要素から小さな構成要素に分離する。例えば、ページをコラムに、そして、コラムをパラグラフに、パラグラフを文字行に、というように、大きな構成要素から小さなものに分離してゆくアプローチである。トップダウン解析は、ページのレイアウト構造についての仮定に基づくモデル（例えば、マンハッタンレイアウトでは、文字行は直立矩形である）を利用して、効率的に計算ができる反面、仮定が成り立たないようなデータについては、とんでもない間違いを生じるという欠点がある。一般に、複雑なレイアウトはモデル化も複雑になるため、取り扱いが難しい。
【０００４】
次に、ボトムアップ解析について説明する。ボトムアップ解析は、特許文献１、２に記載されているように、近隣の構成要素の位置関係を参照して、要素を統合してゆく。例えば、連結成分を文字行、そして、文字行をコラムに、というように、小さな構成要素を大きなものにグループ化してゆくアプローチである。しかしながら、特許文献１に記載されているようなボトムアップ解析は、局所的な情報に基づく方法なので、ページ全体のレイアウトに関する仮定にあまり依存せずに多様なレイアウトに対応できる反面、局所的な判断の間違いが蓄積してゆくという欠点がある。例えば、２つの異なるコラム間にまたがる２つの文字が、誤って１つの文字行に統合されてしまえば、それらの２つのコラムも１つのコラムとして誤って抽出されてしまう。また、特許文献２に記載されているような構成要素の統合では、言語による文字の並び方の特性や、文字列方向（縦／横）などの知識が必要となる。
【０００５】
このように２つのアプローチは相補的であるが、これらの「隙間」を埋めるアプローチとして、文字でない部分、すなわち「背景」、あるいは２値文書画像で言うところの「白地」を利用する方法がある。背景や白地の利用の利点としては、
（１）言語に依存しない（多くの言語でも白地が区切りとして使われる）。また、行方向（横書き／縦書き）についての知識を必要としない。
（２）大局的な処理なので、局所的な判断間違いが累積する可能性が少ない。
（３）複雑なレイアウトにも、柔軟に対応できる。
などが挙げられる。
【０００６】
このような背景解析に属する代表的な方法としては、「極大白矩形系列によるページセグメンテーション」がある。ここで、「極大白矩形系列によるページセグメンテーション」について簡単に説明する。準備として、「最大白矩形問題」を定義する。まず、ｒｂをページ全体に対応する矩形領域、そして、Ｃ＝[ｒ０，ｒ１，・・・，ｒｎ]（ｒｉ⊂ｒｂ；ｉ＝０，１，・・・，ｎ）を、それぞれ２値文書画像黒連結成分をちょうど囲むような矩形領域とする。図１８に、矩形領域の集合の一例を示す。さらに、矩形に対して、次のような性質を満たす評価関数Ｑを導入する。２つの矩形ｒとｒ′について、
ｒ⊆ｒ′ならば、Ｑ（ｒ）≦Ｑ（ｒ′）
を満たす評価関数Ｑである。例えば、関数Ｑ（r）を矩形ｒの面積とすると、上記の性質は満たされる。「最大白矩形問題」とは、Ｃの要素ｒ０，ｒ１，・・・，ｒｎ（ｒｉ⊂ｒｂ；ｉ＝０，１，・・・，ｎ）と重ならないような矩形のうち、Ｑの値が最大になるものを見つける問題である。図１８に示すように、黒い矩形を２値文書画像黒連結成分、関数Ｑを矩形の面積とすると、最大白矩形は網掛けで示す矩形になる。この問題の拡張として、非特許文献１，２，３においては、「極大白矩形」、すなわち、それ以上拡張するとＣの要素のいずれかと重なり合ってしまうような白矩形を、Ｑの値が大きい順に数え上げるアルゴリズムを提案している。
【０００７】
このようにして極大白矩形の系列によって背景領域（２値文書画像の白領域）を被覆してゆくことにより、コラムや文字行などの文書構成要素を、「いずれの白矩形にも被覆されていない部分」として抽出できると期待できる。
【０００８】
また、本出願人は、特願２００４−２３８０２６において、このような「極大白矩形」のセパレータとしての評価基準や、矩形系列抽出の終了条件を自動的に設定する方法を提示している。
【０００９】
【特許文献１】特開２０００−０６７１５８公報
【特許文献２】特開２０００−１１３１０３公報
【非特許文献１】H.S.Baird，“Background structure in document images，”in Document Image Analysis（H.Bunke，P.S.P.Wang，and H.S.Baird，Eds.），Singapore:World Scientific，1994，pp.17−34.
【非特許文献２】H.S.Baird，S.E.Jones，and S.J.Fortune，“Image segmentation by shape directed covers，”in Proceedings of the 10th International Conference on Pattern Recognition（Atlantic City，NJ，USA），1990，pp.820−825.
【非特許文献３】TM Breuel，“Two algorithms for geometric layout analysis，”in Proceedings of IAPR Workshop on Document Analysis Systems（Princeton，NJ，USA），2002.
【発明の開示】
【発明が解決しようとする課題】
【００１０】
しかしながら、「極大白矩形系列によるページセグメンテーション」を用いた背景解析によるアプローチには有望な点と同時に、解決せねばならない問題がいくつか存在する。
【００１１】
文書画像上には、文字のほかに、写真、図、罫線などが含まれていて、それらが「極大白矩形抽出」に悪影響を及ぼすことがある。以下において、具体的に説明する。
【００１２】
図１９は、２値化された文書画像における矩形領域の集合の一例を示す説明図である。なお、図１９においては、文字の部分は塗りつぶしてある。図１９に示す２値文書画像では、左下の破線で囲んだ部分に写真が存在するほか、罫線がいくつか存在する。図１９に示すような矩形領域の集合についての領域分割結果を図２０に示す。図２０においては、領域を破線の囲みで示している。さらに、図１９に示すような矩形領域の集合についてページ全体で抽出された極大白矩形系列による領域分割結果を図２１に示す。図２１に示すように、図１９に示す２値文書画像についてそのまま白背景部分を極大矩形で被覆することにより分割すると、罫線の影響により領域が十分に分割されずに誤った結果が得られてしまう。加えて、図２１においては、左下の写真の部分と文字とが融合されてしまっている。
【００１３】
そこで、上述したような非文字要素による悪影響への対処として、写真、図、罫線などの非文字要素を削除した２値文書画像（図２２）に対して極大白矩形系列による領域分割を行なうことが考えられる。図２２に示す非文字要素を削除した２値文書画像に対する極大白矩形系列による領域分割結果を図２３に示す。図２３に示すように、図２１で示したような罫線の影響による誤った結果を排除することができるが、図２３中の矢印で示した部分のように、罫線があれば分離できるはずの狭い隙間が融合される不具合が生じてしまう。
【００１４】
また、文書画像上に表が含まれている場合についても、罫線を除いて極大白矩形系列による領域分割を行なった場合には、罫線があれば分離できるはずの狭い隙間が融合される不具合が生じてしまう。
【００１５】
このように、白背景部分の構造に着目した文書画像領域分割では、写真、図、罫線の取り扱いには注意が必要であり、単純に非文字要素を削除するというような方法では所望の結果が得られないことがある。
【００１６】
本発明は、上記に鑑みてなされたものであって、レイアウト解析処理にあたって写真、図、罫線などの非文字要素からの悪影響を防止すると同時に、罫線があれば分離できるはずの狭い隙間の融合を防ぐことによって、所望の領域分割結果を得て、レイアウト解析処理の高効率化と高精度化を図ることを目的とする。
【００１７】
本発明は、上記に鑑みてなされたものであって、レイアウト解析処理にあたって写真、図、罫線などの非文字要素及び表の枠線からの悪影響を防止すると同時に、罫線及び表の枠線があれば分離できるはずの狭い隙間の融合を防ぐことによって、所望の領域分割結果を得て、レイアウト解析処理の高効率化と高精度化を図ることを目的とする。
【課題を解決するための手段】
【００１８】
上述した課題を解決し、目的を達成するために、請求項１にかかる発明の画像処理装置は、文書画像のレイアウト解析処理を行う画像処理装置において、前記文書画像を２値化して２値文書画像を生成する２値化手段と、この２値化手段により生成された前記２値文書画像から非文字要素を抽出する非文字要素抽出手段と、この非文字要素抽出手段により抽出された前記非文字要素を前記２値文書画像から削除する非文字要素削除手段と、この非文字要素削除手段により前記非文字要素が削除された前記２値文書画像を領域分割する領域分割手段と、この領域分割手段による領域分割結果から先に抽出された前記非文字要素に含まれる罫線を削除する非文字要素再削除手段と、この非文字要素再削除手段により前記非文字要素に含まれる罫線が再度削除された領域分割結果の２値文書画像から連結成分を抽出する連結成分抽出手段と、この連結成分抽出手段により抽出された各連結成分を領域分割結果として出力する領域分割結果出力手段と、を備える。
【００１９】
また、請求項２にかかる発明の画像処理装置は、文書画像のレイアウト解析処理を行う画像処理装置において、前記文書画像から非文字要素を抽出する非文字要素抽出手段と、前記文書画像を２値化して２値文書画像を生成する２値化手段と、この２値化手段により生成された前記２値文書画像から前記非文字要素抽出手段により抽出された前記非文字要素を削除する非文字要素削除手段と、この非文字要素削除手段により前記非文字要素が削除された前記２値文書画像を領域分割する領域分割手段と、この領域分割手段による領域分割結果から先に抽出された前記非文字要素に含まれる罫線を削除する非文字要素再削除手段と、この非文字要素再削除手段により前記非文字要素に含まれる罫線が再度削除された領域分割結果の２値文書画像から連結成分を抽出する連結成分抽出手段と、この連結成分抽出手段により抽出された各連結成分を領域分割結果として出力する領域分割結果出力手段と、を備える。
【００２０】
また、請求項３にかかる発明の画像処理装置は、文書画像のレイアウト解析処理を行う画像処理装置において、前記文書画像を２値化して２値文書画像を生成する２値化手段と、この２値化手段により生成された前記２値文書画像から非文字要素を抽出する非文字要素抽出手段と、前記２値化手段により生成された前記２値文書画像から表の枠線を抽出する表枠線抽出手段と、前記非文字要素抽出手段により抽出された前記非文字要素と前記表枠線抽出手段により抽出された前記表の枠線とを前記２値文書画像から削除する非文字要素削除手段と、この非文字要素削除手段により前記非文字要素と前記表の枠線とが削除された前記２値文書画像を領域分割する領域分割手段と、この領域分割手段による領域分割結果から先に抽出された前記非文字要素に含まれる罫線と前記表の枠線とを削除する非文字要素再削除手段と、この非文字要素再削除手段により前記非文字要素に含まれる罫線と前記表の枠線とが再度削除された領域分割結果の２値文書画像から連結成分を抽出する連結成分抽出手段と、この連結成分抽出手段により抽出された各連結成分を領域分割結果として出力する領域分割結果出力手段と、を備える。
【００２１】
また、請求項４にかかる発明の画像処理装置は、文書画像のレイアウト解析処理を行う画像処理装置において、前記文書画像から非文字要素を抽出する非文字要素抽出手段と、前記文書画像から表の枠線を抽出する表枠線抽出手段と、前記文書画像を２値化して２値文書画像を生成する２値化手段と、この２値化手段により生成された前記２値文書画像から前記非文字要素抽出手段により抽出された前記非文字要素と前記表枠線抽出手段により抽出された前記表の枠線とを削除する非文字要素削除手段と、この非文字要素削除手段により前記非文字要素と前記表の枠線とが削除された前記２値文書画像を領域分割する領域分割手段と、この領域分割手段による領域分割結果から先に抽出された前記非文字要素に含まれる罫線と前記表の枠線とを削除する非文字要素再削除手段と、この非文字要素再削除手段により前記非文字要素に含まれる罫線と前記表の枠線とが再度削除された領域分割結果の２値文書画像から連結成分を抽出する連結成分抽出手段と、この連結成分抽出手段により抽出された各連結成分を領域分割結果として出力する領域分割結果出力手段と、を備える。
【００２２】
また、請求項５にかかる発明は、請求項１ないし４のいずれか一記載の画像処理装置において、前記領域分割手段は、前記２値文書画像の背景部分において、それ以上拡張すると内部に黒画素を含んでしまうような極大白矩形系列を抽出する極大白矩形系列抽出手段と、この極大白矩形系列抽出手段により抽出された極大白矩形系列をセパレータとしてその領域を少なくとも１以上の部分領域に分割して抽出する手段と、を備える。
【００２３】
また、請求項６にかかる発明の画像形成装置は、画像を用紙上に印刷する画像形成装置において、文書原稿を読み取る画像読取手段と、この画像読取手段により読み取られた文書画像を２値化して２値文書画像を生成する２値化手段と、この２値化手段により生成された前記２値文書画像から非文字要素を抽出する非文字要素抽出手段と、この非文字要素抽出手段により抽出された前記非文字要素を前記２値文書画像から削除する非文字要素削除手段と、この非文字要素削除手段により前記非文字要素が削除された前記２値文書画像を領域分割する領域分割手段と、この領域分割手段による領域分割結果から先に抽出された前記非文字要素に含まれる罫線を削除する非文字要素再削除手段と、この非文字要素再削除手段により前記非文字要素に含まれる罫線が再度削除された領域分割結果の２値文書画像から連結成分を抽出する連結成分抽出手段と、この連結成分抽出手段により抽出された各連結成分を領域分割結果として出力する領域分割結果出力手段と、を備える。
【００２４】
また、請求項７にかかる発明の画像形成装置は、文書画像のレイアウト解析処理を行う画像形成装置において、前記文書画像から非文字要素を抽出する非文字要素抽出手段と、前記文書画像を２値化して２値文書画像を生成する２値化手段と、この２値化手段により生成された前記２値文書画像から前記非文字要素抽出手段により抽出された前記非文字要素を削除する非文字要素削除手段と、この非文字要素削除手段により前記非文字要素が削除された前記２値文書画像を領域分割する領域分割手段と、この領域分割手段による領域分割結果から先に抽出された前記非文字要素に含まれる罫線を削除する非文字要素再削除手段と、この非文字要素再削除手段により前記非文字要素に含まれる罫線が再度削除された領域分割結果の２値文書画像から連結成分を抽出する連結成分抽出手段と、この連結成分抽出手段により抽出された各連結成分を領域分割結果として出力する領域分割結果出力手段と、を備える。
【００２５】
また、請求項８にかかる発明の画像形成装置は、画像を用紙上に印刷する画像形成装置において、文書原稿を読み取る画像読取手段と、この画像読取手段により読み取られた文書画像を２値化して２値文書画像を生成する２値化手段と、この２値化手段により生成された前記２値文書画像から非文字要素を抽出する非文字要素抽出手段と、前記２値化手段により生成された前記２値文書画像から表の枠線を抽出する表枠線抽出手段と、前記非文字要素抽出手段により抽出された前記非文字要素と前記表枠線抽出手段により抽出された前記表の枠線とを前記２値文書画像から削除する非文字要素削除手段と、この非文字要素削除手段により前記非文字要素と前記表の枠線とが削除された前記２値文書画像を領域分割する領域分割手段と、この領域分割手段による領域分割結果から先に抽出された前記非文字要素に含まれる罫線と前記表の枠線とを削除する非文字要素再削除手段と、この非文字要素再削除手段により前記非文字要素に含まれる罫線と前記表の枠線とが再度削除された領域分割結果の２値文書画像から連結成分を抽出する連結成分抽出手段と、この連結成分抽出手段により抽出された各連結成分を領域分割結果として出力する領域分割結果出力手段と、を備える。
【００２６】
また、請求項９にかかる発明の画像形成装置は、画像を用紙上に印刷する画像形成装置において、文書原稿を読み取る画像読取手段と、この画像読取手段により読み取られた文書画像から非文字要素を抽出する非文字要素抽出手段と、前記文書画像から表の枠線を抽出する表枠線抽出手段と、前記文書画像を２値化して２値文書画像を生成する２値化手段と、この２値化手段により生成された前記２値文書画像から前記非文字要素抽出手段により抽出された前記非文字要素と前記表枠線抽出手段により抽出された前記表の枠線とを削除する非文字要素削除手段と、この非文字要素削除手段により前記非文字要素と前記表の枠線とが削除された前記２値文書画像を領域分割する領域分割手段と、この領域分割手段による領域分割結果から先に抽出された前記非文字要素に含まれる罫線と前記表の枠線とを削除する非文字要素再削除手段と、この非文字要素再削除手段により前記非文字要素に含まれる罫線と前記表の枠線とが再度削除された領域分割結果の２値文書画像から連結成分を抽出する連結成分抽出手段と、この連結成分抽出手段により抽出された各連結成分を領域分割結果として出力する領域分割結果出力手段と、を備える。
【００２７】
また、請求項１０にかかる発明は、請求項６ないし９のいずれか一記載の画像形成装置において、前記領域分割手段は、前記２値文書画像の背景部分において、それ以上拡張すると内部に黒画素を含んでしまうような極大白矩形系列を抽出する極大白矩形系列抽出手段と、この極大白矩形系列抽出手段により抽出された極大白矩形系列をセパレータとしてその領域を少なくとも１以上の部分領域に分割して抽出する手段と、を備える。
【００２８】
また、請求項１１にかかる発明のプログラムは、文書画像のレイアウト解析処理をコンピュータに実行させるプログラムであって、前記コンピュータに、前記文書画像を２値化して２値文書画像を生成する２値化機能と、この２値化機能により生成された前記２値文書画像から非文字要素を抽出する非文字要素抽出機能と、この非文字要素抽出機能により抽出された前記非文字要素を前記２値文書画像から削除する非文字要素削除機能と、この非文字要素削除機能により前記非文字要素が削除された前記２値文書画像を領域分割する領域分割機能と、この領域分割機能による領域分割結果から先に抽出された前記非文字要素に含まれる罫線を削除する非文字要素再削除機能と、この非文字要素再削除機能により前記非文字要素に含まれる罫線が再度削除された領域分割結果の２値文書画像から連結成分を抽出する連結成分抽出機能と、この連結成分抽出機能により抽出された各連結成分を領域分割結果として出力する領域分割結果出力機能と、を実行させる。
【００２９】
また、請求項１２にかかる発明のプログラムは、文書画像のレイアウト解析処理をコンピュータに実行させるプログラムであって、前記コンピュータに、前記文書画像から非文字要素を抽出する非文字要素抽出機能と、前記文書画像を２値化して２値文書画像を生成する２値化機能と、この２値化機能により生成された前記２値文書画像から前記非文字要素抽出機能により抽出された前記非文字要素を削除する非文字要素削除機能と、この非文字要素削除機能により前記非文字要素が削除された前記２値文書画像を領域分割する領域分割機能と、この領域分割機能による領域分割結果から先に抽出された前記非文字要素に含まれる罫線を削除する非文字要素再削除機能と、この非文字要素再削除機能により前記非文字要素に含まれる罫線が再度削除された領域分割結果の２値文書画像から連結成分を抽出する連結成分抽出機能と、この連結成分抽出機能により抽出された各連結成分を領域分割結果として出力する領域分割結果出力機能と、を実行させる。
【００３０】
また、請求項１３にかかる発明のプログラムは、文書画像のレイアウト解析処理をコンピュータに実行させるプログラムであって、前記コンピュータに、前記文書画像を２値化して２値文書画像を生成する２値化機能と、この２値化機能により生成された前記２値文書画像から非文字要素を抽出する非文字要素抽出機能と、前記２値化機能により生成された前記２値文書画像から表の枠線を抽出する表枠線抽出機能と、前記非文字要素抽出機能により抽出された前記非文字要素と前記表枠線抽出機能により抽出された前記表の枠線とを前記２値文書画像から削除する非文字要素削除機能と、この非文字要素削除機能により前記非文字要素と前記表の枠線とが削除された前記２値文書画像を領域分割する領域分割機能と、この領域分割機能による領域分割結果から先に抽出された前記非文字要素に含まれる罫線と前記表の枠線とを削除する非文字要素再削除機能と、この非文字要素再削除機能により前記非文字要素に含まれる罫線と前記表の枠線とが再度削除された領域分割結果の２値文書画像から連結成分を抽出する連結成分抽出機能と、この連結成分抽出機能により抽出された各連結成分を領域分割結果として出力する領域分割結果出力機能と、を実行させる。
【００３１】
また、請求項１４にかかる発明のプログラムは、文書画像のレイアウト解析処理をコンピュータに実行させるプログラムであって、前記コンピュータに、前記文書画像から非文字要素を抽出する非文字要素抽出機能と、前記文書画像から表の枠線を抽出する表枠線抽出機能と、前記文書画像を２値化して２値文書画像を生成する２値化機能と、この２値化機能により生成された前記２値文書画像から前記非文字要素抽出機能により抽出された前記非文字要素と前記表枠線抽出機能により抽出された前記表の枠線とを削除する非文字要素削除機能と、この非文字要素削除機能により前記非文字要素と前記表の枠線とが削除された前記２値文書画像を領域分割する領域分割機能と、この領域分割機能による領域分割結果から先に抽出された前記非文字要素に含まれる罫線と前記表の枠線とを削除する非文字要素再削除機能と、この非文字要素再削除機能により前記非文字要素に含まれる罫線と前記表の枠線とが再度削除された領域分割結果の２値文書画像から連結成分を抽出する連結成分抽出機能と、この連結成分抽出機能により抽出された各連結成分を領域分割結果として出力する領域分割結果出力機能と、を実行させる。
【００３２】
また、請求項１５にかかる発明は、請求項１１ないし１４のいずれか一記載のプログラムにおいて、前記領域分割機能は、前記２値文書画像の背景部分において、それ以上拡張すると内部に黒画素を含んでしまうような極大白矩形系列を抽出する極大白矩形系列抽出機能と、この極大白矩形系列抽出機能により抽出された極大白矩形系列をセパレータとしてその領域を少なくとも１以上の部分領域に分割して抽出する機能と、を前記コンピュータに実行させる。
【００３３】
また、請求項１６にかかる発明の記憶媒体は、請求項１１ないし１５のいずれか一記載のプログラムを記憶する。
【００３４】
また、請求項１７にかかる発明の画像処理方法は、文書画像のレイアウト解析処理を行う画像処理方法において、前記文書画像を２値化して２値文書画像を生成する２値化工程と、この２値化工程により生成された前記２値文書画像から非文字要素を抽出する非文字要素抽出工程と、この非文字要素抽出工程により抽出された前記非文字要素を前記２値文書画像から削除する非文字要素削除工程と、この非文字要素削除工程により前記非文字要素が削除された前記２値文書画像を領域分割する領域分割工程と、この領域分割工程による領域分割結果から先に抽出された前記非文字要素に含まれる罫線を削除する非文字要素再削除工程と、この非文字要素再削除工程により前記非文字要素に含まれる罫線が再度削除された領域分割結果の２値文書画像から連結成分を抽出する連結成分抽出工程と、この連結成分抽出工程により抽出された各連結成分を領域分割結果として出力する領域分割結果出力工程と、を含む。
【００３５】
また、請求項１８にかかる発明の画像処理方法は、文書画像のレイアウト解析処理を行う画像処理方法において、前記文書画像から非文字要素を抽出する非文字要素抽出工程と、前記文書画像を２値化して２値文書画像を生成する２値化工程と、この２値化工程により生成された前記２値文書画像から前記非文字要素抽出工程により抽出された前記非文字要素を削除する非文字要素削除工程と、この非文字要素削除工程により前記非文字要素が削除された前記２値文書画像を領域分割する領域分割工程と、この領域分割工程による領域分割結果から先に抽出された前記非文字要素に含まれる罫線を削除する非文字要素再削除工程と、この非文字要素再削除工程により前記非文字要素に含まれる罫線が再度削除された領域分割結果の２値文書画像から連結成分を抽出する連結成分抽出工程と、この連結成分抽出工程により抽出された各連結成分を領域分割結果として出力する領域分割結果出力工程と、を含む。
【００３６】
また、請求項１９にかかる発明の画像処理方法は、文書画像のレイアウト解析処理を行う画像処理方法において、前記文書画像を２値化して２値文書画像を生成する２値化工程と、この２値化工程により生成された前記２値文書画像から非文字要素を抽出する非文字要素抽出工程と、前記２値化工程により生成された前記２値文書画像から表の枠線を抽出する表枠線抽出工程と、前記非文字要素抽出工程により抽出された前記非文字要素と前記表枠線抽出工程により抽出された前記表の枠線とを前記２値文書画像から削除する非文字要素削除工程と、この非文字要素削除工程により前記非文字要素と前記表の枠線とが削除された前記２値文書画像を領域分割する領域分割工程と、この領域分割工程による領域分割結果から先に抽出された前記非文字要素に含まれる罫線と前記表の枠線とを削除する非文字要素再削除工程と、この非文字要素再削除工程により前記非文字要素に含まれる罫線と前記表の枠線とが再度削除された領域分割結果の２値文書画像から連結成分を抽出する連結成分抽出工程と、この連結成分抽出工程により抽出された各連結成分を領域分割結果として出力する領域分割結果出力工程と、を含む。
【００３７】
また、請求項２０にかかる発明の画像処理方法は、文書画像のレイアウト解析処理を行う画像処理方法において、前記文書画像から非文字要素を抽出する非文字要素抽出工程と、前記文書画像から表の枠線を抽出する表枠線抽出工程と、前記文書画像を２値化して２値文書画像を生成する２値化工程と、この２値化工程により生成された前記２値文書画像から前記非文字要素抽出工程により抽出された前記非文字要素と前記表枠線抽出工程により抽出された前記表の枠線とを削除する非文字要素削除工程と、この非文字要素削除工程により前記非文字要素と前記表の枠線とが削除された前記２値文書画像を領域分割する領域分割工程と、この領域分割工程による領域分割結果から先に抽出された前記非文字要素に含まれる罫線と前記表の枠線とを削除する非文字要素再削除工程と、この非文字要素再削除工程により前記非文字要素に含まれる罫線と前記表の枠線とが再度削除された領域分割結果の２値文書画像から連結成分を抽出する連結成分抽出工程と、この連結成分抽出工程により抽出された各連結成分を領域分割結果として出力する領域分割結果出力工程と、を含む。
【００３８】
また、請求項２１にかかる発明は、請求項１７ないし２０のいずれか一記載の画像処理方法において、前記領域分割工程は、前記２値文書画像の背景部分において、それ以上拡張すると内部に黒画素を含んでしまうような極大白矩形系列を抽出する極大白矩形系列抽出工程と、この極大白矩形系列抽出工程により抽出された極大白矩形系列をセパレータとしてその領域を少なくとも１以上の部分領域に分割して抽出する工程と、を含む。
【発明の効果】
【００３９】
請求項１にかかる発明によれば、２値文書画像から非文字要素を抽出し、非文字要素を削除した２値文書画像を領域分割することにより、非文字要素からの悪影響を防止すると同時に、領域分割結果から先に抽出された非文字要素に含まれる罫線を削除することにより、罫線があれば分離できるはずの狭い隙間の融合を防ぐことができるので、所望の領域分割結果を得られるようになり、レイアウト解析処理の高効率化と高精度化を図ることができる。
【００４０】
また、請求項２にかかる発明によれば、文書画像から非文字要素を抽出し、非文字要素を削除した２値文書画像を領域分割することにより、非文字要素からの悪影響を防止すると同時に、領域分割結果から先に抽出された非文字要素に含まれる罫線を削除することにより、罫線があれば分離できるはずの狭い隙間の融合を防ぐことができるので、所望の領域分割結果を得られるようになり、レイアウト解析処理の高効率化と高精度化を図ることができる。
【００４１】
また、請求項３にかかる発明によれば、２値文書画像から非文字要素及び表の枠線を抽出し、非文字要素及び表の枠線を削除した２値文書画像を領域分割することにより、非文字要素及び表の枠線からの悪影響を防止すると同時に、領域分割結果から先に抽出された非文字要素に含まれる罫線と表の枠線とを削除することにより、罫線及び表の枠線があれば分離できるはずの狭い隙間の融合を防ぐことができるので、所望の領域分割結果を得られるようになり、レイアウト解析処理の高効率化と高精度化を図ることができる。また、表の領域分割は別途に表に特化した処理をかけることによって、領域分割の精度を向上させることができる。
【００４２】
また、請求項４にかかる発明によれば、文書画像から非文字要素及び表の枠線を抽出し、非文字要素及び表の枠線を削除した２値文書画像を領域分割することにより、非文字要素及び表の枠線からの悪影響を防止すると同時に、領域分割結果から先に抽出された非文字要素に含まれる罫線と表の枠線とを削除することにより、罫線及び表の枠線があれば分離できるはずの狭い隙間の融合を防ぐことができるので、所望の領域分割結果を得られるようになり、レイアウト解析処理の高効率化と高精度化を図ることができる。また、表の領域分割は別途に表に特化した処理をかけることによって、領域分割の精度を向上させることができる。
【００４３】
また、請求項５にかかる発明によれば、言語に依存せず（多くの言語でも白地が区切りとして使われる）、また、行方向（横書き／縦書き）についての知識を必要とせず、大局的な処理なので、局所的な判断間違いが累積する可能性が少なく、複雑なレイアウトにも、柔軟に対応できるような文書画像領域分割を行なうことができる。
【００４４】
また、請求項６にかかる発明によれば、２値文書画像から非文字要素を抽出し、非文字要素を削除した２値文書画像を領域分割することにより、非文字要素からの悪影響を防止すると同時に、領域分割結果から先に抽出された非文字要素に含まれる罫線を削除することにより、罫線があれば分離できるはずの狭い隙間の融合を防ぐことができるので、所望の領域分割結果を得られるようになり、レイアウト解析処理の高効率化と高精度化を図ることができる。
【００４５】
また、請求項７にかかる発明によれば、文書画像から非文字要素を抽出し、非文字要素を削除した２値文書画像を領域分割することにより、非文字要素からの悪影響を防止すると同時に、領域分割結果から先に抽出された非文字要素に含まれる罫線を削除することにより、罫線があれば分離できるはずの狭い隙間の融合を防ぐことができるので、所望の領域分割結果を得られるようになり、レイアウト解析処理の高効率化と高精度化を図ることができる。
【００４６】
また、請求項８にかかる発明によれば、２値文書画像から非文字要素及び表の枠線を抽出し、非文字要素及び表の枠線を削除した２値文書画像を領域分割することにより、非文字要素及び表の枠線からの悪影響を防止すると同時に、領域分割結果から先に抽出された非文字要素に含まれる罫線と表の枠線とを削除することにより、罫線及び表の枠線があれば分離できるはずの狭い隙間の融合を防ぐことができるので、所望の領域分割結果を得られるようになり、レイアウト解析処理の高効率化と高精度化を図ることができる。また、表の領域分割は別途に表に特化した処理をかけることによって、領域分割の精度を向上させることができる。
【００４７】
また、請求項９にかかる発明によれば、文書画像から非文字要素及び表の枠線を抽出し、非文字要素及び表の枠線を削除した２値文書画像を領域分割することにより、非文字要素及び表の枠線からの悪影響を防止すると同時に、領域分割結果から先に抽出された非文字要素に含まれる罫線と表の枠線とを削除することにより、罫線及び表の枠線があれば分離できるはずの狭い隙間の融合を防ぐことができるので、所望の領域分割結果を得られるようになり、レイアウト解析処理の高効率化と高精度化を図ることができる。また、表の領域分割は別途に表に特化した処理をかけることによって、領域分割の精度を向上させることができる。
【００４８】
また、請求項１０にかかる発明によれば、言語に依存せず（多くの言語でも白地が区切りとして使われる）、また、行方向（横書き／縦書き）についての知識を必要とせず、大局的な処理なので、局所的な判断間違いが累積する可能性が少なく、複雑なレイアウトにも、柔軟に対応できるような文書画像領域分割を行なうことができる。
【００４９】
また、請求項１１にかかる発明によれば、２値文書画像から非文字要素を抽出し、非文字要素を削除した２値文書画像を領域分割することにより、非文字要素からの悪影響を防止すると同時に、領域分割結果から先に抽出された非文字要素に含まれる罫線を削除することにより、罫線があれば分離できるはずの狭い隙間の融合を防ぐことができるので、所望の領域分割結果を得られるようになり、レイアウト解析処理の高効率化と高精度化を図ることができる。
【００５０】
また、請求項１２にかかる発明によれば、文書画像から非文字要素を抽出し、非文字要素を削除した２値文書画像を領域分割することにより、非文字要素からの悪影響を防止すると同時に、領域分割結果から先に抽出された非文字要素に含まれる罫線を削除することにより、罫線があれば分離できるはずの狭い隙間の融合を防ぐことができるので、所望の領域分割結果を得られるようになり、レイアウト解析処理の高効率化と高精度化を図ることができる。
【００５１】
また、請求項１３にかかる発明によれば、２値文書画像から非文字要素及び表の枠線を抽出し、非文字要素及び表の枠線を削除した２値文書画像を領域分割することにより、非文字要素及び表の枠線からの悪影響を防止すると同時に、領域分割結果から先に抽出された非文字要素に含まれる罫線と表の枠線とを削除することにより、罫線及び表の枠線があれば分離できるはずの狭い隙間の融合を防ぐことができるので、所望の領域分割結果を得られるようになり、レイアウト解析処理の高効率化と高精度化を図ることができる。また、表の領域分割は別途に表に特化した処理をかけることによって、領域分割の精度を向上させることができる。
【００５２】
また、請求項１４にかかる発明によれば、文書画像から非文字要素及び表の枠線を抽出し、非文字要素及び表の枠線を削除した２値文書画像を領域分割することにより、非文字要素及び表の枠線からの悪影響を防止すると同時に、領域分割結果から先に抽出された非文字要素に含まれる罫線と表の枠線とを削除することにより、罫線及び表の枠線があれば分離できるはずの狭い隙間の融合を防ぐことができるので、所望の領域分割結果を得られるようになり、レイアウト解析処理の高効率化と高精度化を図ることができる。また、表の領域分割は別途に表に特化した処理をかけることによって、領域分割の精度を向上させることができる。
【００５３】
また、請求項１５にかかる発明によれば、言語に依存せず（多くの言語でも白地が区切りとして使われる）、また、行方向（横書き／縦書き）についての知識を必要とせず、大局的な処理なので、局所的な判断間違いが累積する可能性が少なく、複雑なレイアウトにも、柔軟に対応できるような文書画像領域分割を行なうことができる。
【００５４】
また、請求項１６にかかる発明によれば、請求項１１ないし１５のいずれか一記載のプログラムを記憶していることにより、この記憶媒体に記憶されたプログラムをコンピュータに読み取らせることで、請求項１１ないし１５のいずれか一記載の発明と同様の作用効果を得ることができる。
【００５５】
また、請求項１７にかかる発明によれば、２値文書画像から非文字要素を抽出し、非文字要素を削除した２値文書画像を領域分割することにより、非文字要素からの悪影響を防止すると同時に、領域分割結果から先に抽出された非文字要素に含まれる罫線を削除することにより、罫線があれば分離できるはずの狭い隙間の融合を防ぐことができるので、所望の領域分割結果を得られるようになり、レイアウト解析処理の高効率化と高精度化を図ることができる。
【００５６】
また、請求項１８にかかる発明によれば、文書画像から非文字要素を抽出し、非文字要素を削除した２値文書画像を領域分割することにより、非文字要素からの悪影響を防止すると同時に、領域分割結果から先に抽出された非文字要素に含まれる罫線を削除することにより、罫線があれば分離できるはずの狭い隙間の融合を防ぐことができるので、所望の領域分割結果を得られるようになり、レイアウト解析処理の高効率化と高精度化を図ることができる。
【００５７】
また、請求項１９にかかる発明によれば、２値文書画像から非文字要素及び表の枠線を抽出し、非文字要素及び表の枠線を削除した２値文書画像を領域分割することにより、非文字要素及び表の枠線からの悪影響を防止すると同時に、領域分割結果から先に抽出された非文字要素に含まれる罫線と表の枠線とを削除することにより、罫線及び表の枠線があれば分離できるはずの狭い隙間の融合を防ぐことができるので、所望の領域分割結果を得られるようになり、レイアウト解析処理の高効率化と高精度化を図ることができる。また、表の領域分割は別途に表に特化した処理をかけることによって、領域分割の精度を向上させることができる。
【００５８】
また、請求項２０にかかる発明によれば、文書画像から非文字要素及び表の枠線を抽出し、非文字要素及び表の枠線を削除した２値文書画像を領域分割することにより、非文字要素及び表の枠線からの悪影響を防止すると同時に、領域分割結果から先に抽出された非文字要素に含まれる罫線と表の枠線とを削除することにより、罫線及び表の枠線があれば分離できるはずの狭い隙間の融合を防ぐことができる。また、表の領域分割は別途に表に特化した処理をかけることによって、領域分割の精度を向上させることができる。
【００５９】
また、請求項２１にかかる発明によれば、言語に依存せず（多くの言語でも白地が区切りとして使われる）、また、行方向（横書き／縦書き）についての知識を必要とせず、大局的な処理なので、局所的な判断間違いが累積する可能性が少なく、複雑なレイアウトにも、柔軟に対応できるような文書画像領域分割を行なうことができる。
【発明を実施するための最良の形態】
【００６０】
［第１の実施の形態］
本発明の第１の実施の形態を図１ないし図８に基づいて説明する。
【００６１】
図１は、本実施の形態の画像処理装置１の電気的な接続を示すブロック図である。図１に示すように、画像処理装置１は、ＰＣなどのコンピュータであり、画像処理装置１の各部を集中的に制御するＣＰＵ（Central Processing Unit）２、情報を格納するＲＯＭ（Read Only Memory）３及びＲＡＭ（Random Access Memory）４等の一次記憶装置５、データファイル（例えば、カラービットマップ画像データ）を記憶する記憶部であるＨＤＤ（Hard Disk Drive）６等の二次記憶装置７、情報を保管したり外部に情報を配布したり外部から情報を入手するためのＣＤ−ＲＯＭドライブ等のリムーバブルディスク装置８、ネットワーク９を介して外部の他のコンピュータと通信により情報を伝達するためのネットワークインターフェース１０、処理経過や結果等を操作者に表示するＣＲＴ（Cathode Ray Tube）やＬＣＤ（Liquid Crystal Display）等の表示装置１１、並びに操作者がＣＰＵ２に命令や情報等を入力するためのキーボード１２、マウス等のポインティングデバイス１３等から構成されており、これらの各部間で送受信されるデータをバスコントローラ１４が調停して動作する。
【００６２】
なお、本実施の形態においては、画像処理装置１として一般的なパーソナルコンピュータを適用して説明しているが、これに限るものではなく、ＰＤＡ（Personal Digital Assistants）と称される携帯用情報端末、palmTopＰＣ、携帯電話、ＰＨＳ（Personal Handyphone System）等であっても良い。
【００６３】
このような画像処理装置１では、ユーザが電源を投入するとＣＰＵ２がＲＯＭ３内のローダーというプログラムを起動させ、ＨＤＤ６よりオペレーティングシステムというコンピュータのハードウェアとソフトウェアとを管理するプログラムをＲＡＭ７に読み込み、このオペレーティングシステムを起動させる。このようなオペレーティングシステムは、ユーザの操作に応じてプログラムを起動したり、情報を読み込んだり、保存を行ったりする。オペレーティングシステムのうち代表的なものとしては、Ｗｉｎｄｏｗｓ（登録商標）、ＵＮＩＸ（登録商標）等が知られている。これらのオペレーティングシステム上で走る動作プログラムをアプリケーションプログラムと呼んでいる。
【００６４】
ここで、画像処理装置１は、アプリケーションプログラムとして、画像処理プログラムをＨＤＤ６に記憶している。この意味で、ＨＤＤ６は、画像処理プログラムを記憶する記憶媒体として機能する。
【００６５】
また、一般的には、画像処理装置１のＨＤＤ６等の二次記憶装置７にインストールされるアプリケーションプログラムは、ＣＤ−ＲＯＭやＤＶＤ−ＲＯＭ等の光情報記録メディアやＦＤ等の磁気メディア等の記憶媒体８ａに記録され、この記憶媒体８ａに記録されたアプリケーションプログラムがＨＤＤ６等の二次記憶装置７にインストールされる。このため、ＣＤ−ＲＯＭ等の光情報記録メディアやＦＤ等の磁気メディア等の可搬性を有する記憶媒体８ａも、画像処理プログラムを記憶する記憶媒体となり得る。さらには、画像処理プログラムは、例えばネットワークインターフェース１０を介して外部から取り込まれ、ＨＤＤ６等の二次記憶装置７にインストールされても良い。
【００６６】
画像処理装置１は、オペレーティングシステム上で動作する画像処理プログラムが起動すると、この画像処理プログラムに従い、ＣＰＵ２が各種の演算処理を実行して各部を集中的に制御する。画像処理装置１のＣＰＵ２が実行する各種の演算処理のうち、本実施の形態の特長的な処理であるレイアウト解析処理について以下に説明する。
【００６７】
なお、リアルタイム性が重要視される場合には、処理を高速化する必要がある。そのためには、論理回路（図示せず）を別途設け、論理回路の動作により各種の演算処理を実行するようにするのが望ましい。
【００６８】
ここで、画像処理装置１のＣＰＵ２が実行するレイアウト解析処理について説明する。ここで、図２はレイアウト解析処理の流れを示すフローチャートである。図２に示すように、文書画像が入力されると（ステップＳ１）、入力された文書画像に対して２値化処理を施すことにより２値文書画像を生成する（ステップＳ２：２値化手段）。なお、レイアウト解析処理が施される文書画像は、一般性を失うことなく、スキュー補正されたカラー画像やグレイ画像、あるいは、２値文書画像が与えられているものとする。
【００６９】
次いで、ステップＳ２で生成した２値文書画像から、文字でない部分である非文字要素（罫線・写真・図など）を抽出する（ステップＳ３：非文字要素抽出手段）。非文字要素の抽出手法としては、例えば特開平６−２００９２号公報に記載されている公知技術を用いることができる。概略的には、黒画素連結成分を、その大きさ、形状（縦横比等）等によって文字候補、縦横セパレータ（本来の黒画素からなる領域分割線）、写真または図等に分類判別する。
【００７０】
その後、２値化された文書画像から抽出された非文字要素（罫線・写真・図など）を削除する（ステップＳ４：非文字要素削除手段）。
【００７１】
続いて、ステップＳ４で非文字要素（罫線・写真・図など）を削除した２値化画像に対する領域分割処理を行なう（ステップＳ５：領域分割手段）。本実施の形態における領域分割処理の基本的アプローチは、図３に示すように、祖から密への再帰的分割による階層的処理を行うことにより、処理の効率化を図るようにしたものである。概略的には、まず、ページ全体に対して極大白矩形系列抽出の終了条件の下限値を大きく設定して、粗いスケールで処理する。この段階で、抽出された白矩形系列をセパレータとしてページ全体をいくつかの領域に分割する。次に、各領域について極大白矩形系列抽出の終了条件の下限値を前よりも小さく設定して、再び極大白矩形系列抽出を行い、より細かな分割を行う。このような処理を再帰的に繰り返してゆく。なお、階層的処理における極大白矩形系列抽出の終了条件である下限値は、領域のサイズなどに応じて設定するようにすれば良い。また、極大白矩形系列抽出の終了条件である下限値の他に、白矩形として望ましい形やサイズに関する拘束条件を導入するようにしても良い。例えば、領域のセパレータとして適当でない形をした白矩形を除外する等である。このように領域のセパレータとして適当でない形をした白矩形を除外するのは、長さが短いものや幅が狭すぎるものは、文字の間の隙間である可能性が高いからである。このような長さや幅について拘束条件は、領域内で推定される文字のサイズに応じて決めることができる。
【００７２】
ここで、図４は領域分割処理の流れを示すフローチャートである。図４に示すように、２値文書画像の黒連結成分をちょうど囲むような矩形領域の集合Ｃ＝[ｒ０，ｒ１，・・・，ｒｎ]（ｒｉ⊂ｒｂ；ｉ＝０，１，・・・，ｎ）を求め、この集合Ｃをアルゴリズムへ入力する（ステップＳ１１）。図５は、矩形領域の集合の一例を示す説明図である。
【００７３】
次に、ページ全体に対して、極大白矩形系列を抽出する（ステップＳ１２）。極大白矩形系列の抽出は、白矩形ｒの評価関数Ｑ（ｒ）を白矩形ｒの面積とし、処理している領域のサイズに応じて決まる下限値ｔについて、Ｑ（ｒ）≧ｔを満たすような極大白矩形をＱ（ｒ）の値が大きい順に数え上げる。これには、前述した非特許文献３に記載の方法を使えば良い。また、下限値ｔは、例えばｗとｈを処理している領域のそれぞれ幅と高さ、ａを定数として、
ｔ＝ａ・ｍｉｎ（ｗ，ｈ）
とすれば良い。さらに、領域のセパレータとしての適当でない形をした白矩形、例えば、長さが短いものや幅が狭すぎるものは、文字の間の隙間である可能性が高いので、そのような白矩形を除外するための拘束条件を設定する。これには、領域内にある黒矩形の大きさの分布から文字のサイズｓを推定し、例えば、ｂを定数として、幅も高さもｂ・ｓより小さいような極大白矩形を、数え上げの際に除外するようにすれば良い。
【００７４】
次いで、抽出された白矩形系列をセパレータとしてページ全体をいくつかの領域に分割し、白矩形系列により分割された領域を抽出し（ステップＳ１３）、抽出された各領域をスタックに積む（ステップＳ１４）。ここで、スタックは、最後に入力したデータが先に出力されるデータ構造である。図６は、図５の矩形領域の集合についてページ全体で抽出された極大白矩形系列により分割された領域を示す説明図である。
【００７５】
続くステップＳ１５では、スタックが空であるか否かを判断する。
【００７６】
スタックが空でなければ（ステップＳ１５のＮ）、スタックの最上部に積まれている領域を取り出し（ステップＳ１６）、その領域に対応する２値文書画像内で極大白矩形系列を抽出した後（ステップＳ１７）、抽出された白矩形系列をセパレータとして、その領域をいくつかの部分領域に分割し、白矩形系列により分割された領域を抽出した後（ステップＳ１８）、ステップＳ１５に進む。つまり、スタックが空でない限り、ステップＳ１６〜Ｓ１８の処理が繰り返されることになる。
【００７７】
一方、スタックが空である場合には（ステップＳ１５のＹ）、領域分割結果を出力して（ステップＳ１９）、処理を終了する。
【００７８】
以上のように本実施の形態においては、スタックを利用することにより、領域が「深さ優先」の順序に従い、評価関数Ｑ（ｒ）の下限値を決めながら祖から密へ階層的に分割が行われることになる。
【００７９】
本実施の形態においては第一階層までの領域分割処理について説明したが、これに限るものではなく、ステップＳ１９での領域分割結果に基づいて再度ステップＳ１１から再度領域分割処理することにより、祖から密への再帰的分割による階層的処理が実行されることになる。
【００８０】
以上が、領域分割処理（ステップＳ５）の説明である。これにより、言語に依存せず（多くの言語でも白地が区切りとして使われる）、また、行方向（横書き／縦書き）についての知識を必要とせず、大局的な処理なので、局所的な判断間違いが累積する可能性が少なく、複雑なレイアウトにも、柔軟に対応できるような文書画像領域分割を行なうことができる。
【００８１】
ところで、図５の矩形領域の集合に対する領域分割結果を示す図７中の矢印で示す部分のように、罫線があれば分離できるはずの狭い隙間が融合されるという不具合が生じている。また、特に図示しないが、文書画像上に表が含まれている場合についても、罫線を除いて極大白矩形系列による領域分割を行なった場合には、罫線があれば分離できるはずの狭い隙間が融合される不具合が生じてしまう。
【００８２】
そこで、ステップＳ６においては、ステップＳ３で抽出した罫線の情報を用い、領域分割結果を示す２値文書画像（ビットマップ）から罫線部分を削除する。図８は、図６の領域分割結果から罫線を削除した結果を示す説明図である。図８に示すように、図６の領域分割結果から罫線を削除したことにより、融合されてしまった狭い隙間が分離されることになる。ここに、非文字要素再削除手段の機能が実行される。
【００８３】
その後、領域分割結果を示す２値文書画像（ビットマップ）から罫線部分を削除した２値文書画像（ビットマップ）の連結成分を計算し（ステップＳ７：連結成分抽出手段）、各連結成分を領域分割結果として出力することにより（ステップＳ８：領域分割結果出力手段）、全体の処理は終了する。
【００８４】
このように本実施の形態によれば、白背景部分の構造に着目した文書画像領域分割において、２値文書画像から非文字要素（罫線・写真・図など）を削除することにより、非文字要素からの悪影響を防止すると同時に、いったん削除されてしまった罫線情報を領域分割の後に再び利用することによって、罫線があれば分離できるはずの狭い隙間の融合を防ぐことができるので、所望の領域分割結果を得られるようになり、レイアウト解析処理の高効率化と高精度化を図ることができる。
【００８５】
［第２の実施の形態］
本発明の第２の実施の形態を図９ないし図１７に基づいて説明する。なお、前述した第一の実施の形態と同一部分は同一符号で示し説明も省略する。第一の実施の形態のレイアウト解析処理におけるステップＳ３〜Ｓ４においては、２値化された文書画像から罫線・写真・図などの非文字要素を抽出して削除するようにしたが、本実施の形態においては、非文字要素（罫線・写真・図など）とともに表の枠線についても抽出して削除するようにしたものである。このように表の枠線を非文字要素に含めなかったのは、表については、文字要素となる場合と非文字要素となる場合とがあるからである。
【００８６】
図９は、本発明の第２の実施の形態のレイアウト解析処理の流れを示すフローチャートである。図９に示すように、文書画像が入力されると（ステップＳ１）、入力された文書画像に対して２値化処理を施すことにより２値文書画像を生成する（ステップＳ２：２値化手段）。
【００８７】
次いで、ステップＳ２で生成した２値文書画像から、文字でない部分である非文字要素（罫線・写真・図など）及び表の枠線を抽出する（ステップＳ３´：非文字要素抽出手段、表枠線抽出手段）。非文字要素の抽出手法としては、例えば特開平６−２００９２号公報に記載されている公知技術を用いることができる。また、表の枠線の抽出手法としては、例えば特開２００１−２６６０６８号公報に記載されている公知技術を用いることができる。概略的には、黒画素の連結成分から外接矩形を抽出し、抽出した外接矩形について文字候補の矩形か枠候補の矩形かの分類を行う。そして、文字候補に分類された矩形に対して、その矩形の位置を元画像上で白で埋め、枠候補として残った矩形の枠を抽出し、抽出した枠から表の枠線を抽出する。
【００８８】
その後、２値化された文書画像から抽出された非文字要素（罫線・写真・図など）及び表の枠線を削除する（ステップＳ４´：非文字要素削除手段）。
【００８９】
例えば、図１０に示すような表が文書画像として入力された場合には、図１１に示すような表の枠線が抽出されて削除されることになる。すなわち、後述する領域分割処理の対象となる表の枠線が削除された２値化画像は図１２のようになる。
【００９０】
続いて、ステップＳ４´で非文字要素（罫線・写真・図など）及び表の枠線を削除した２値化画像に対する領域分割処理を行う（ステップＳ５：領域分割手段）。ここで、図１３は図１２に示した２値文書画像の領域分割結果を示す説明図である。
【００９１】
その後、ステップＳ３´で抽出した罫線の情報及び表の枠線の情報を用い、領域分割結果を示す２値文書画像（ビットマップ）から罫線部分及び表の枠線部分を削除する（ステップＳ６´：非文字要素再削除手段）。このような処理を行なうのは、図１２の矩形領域の集合に対する領域分割結果を示す図１４中の矢印で示す部分のように、表の枠線があれば分離できるはずの狭い隙間が融合されるという不具合が生じているからである。そこで、上述した処理を行なうことにより、図１５に示すように、図１３の領域分割結果から表の枠線を削除することにより、融合されてしまった狭い隙間が分離されることになる。
【００９２】
その後、領域分割結果を示す２値文書画像（ビットマップ）から罫線部分及び表の枠線部分を削除した２値文書画像（ビットマップ）の連結成分を計算し（ステップＳ７：連結成分抽出手段）、各連結成分を領域分割結果として出力することにより（ステップＳ８：領域分割結果出力手段）、全体の処理は終了する。
【００９３】
このように本実施の形態によれば、白背景部分の構造に着目した文書画像領域分割において、２値文書画像から非文字要素（罫線・写真・図など）及び表の枠線を削除することにより、非文字要素及び表の枠線からの悪影響を防止すると同時に、いったん削除されてしまった罫線情報及び表の枠線の情報を領域分割の後に再び利用することによって、罫線及び表の枠線があれば分離できるはずの狭い隙間の融合を防ぐことができるので、所望の領域分割結果を得られるようになり、レイアウト解析処理の高効率化と高精度化を図ることができる。
【００９４】
なお、入力された文書画像がカラーや多階調のグレースケールの場合には、各実施の形態における非文字要素（罫線・写真・図など）や表の枠線の抽出を、２値化処理の前に行なうようにしても良い。入力された文書画像がカラーや多階調のグレースケールの場合には、非文字要素（罫線・写真・図など）や表の枠線の抽出を、２値化の前に行なうほうが精度的に良い場合があるからである。
【００９５】
なお、各実施の形態においては、画像処理装置１としてＰＣなどのコンピュータを適用したがこれに限るものではない。例えば、図１６に示すように、画像読取手段であるスキャナ部２１及び画像印刷装置であるプリンタ部２２を備えた画像形成装置であるデジタル複合機２０に備えられる情報処理装置に画像処理装置１を適用し、デジタル複合機２０のスキャナ部２１で読み取ったスキャン画像に対してレイアウト解析処理を施すようにしても良い。
【００９６】
また、各実施の形態の画像処理装置１としては、ローカルなシステム（例えば、パーソナルコンピュータ単体）を適用したが、これに限るものではない。例えば、図１７に示すように、サーバコンピュータＳにネットワークＮを介してクライアントコンピュータＣが複数台接続されたサーバクライアントシステムを適用するようにしても良い。この場合、各クライアントコンピュータＣからサーバコンピュータＳに対して画像を送信し、サーバコンピュータＳ（画像処理装置１）において画像に対してレイアウト解析処理を施すことになる。
【図面の簡単な説明】
【００９７】
【図１】本発明の第１の実施の形態の画像処理装置の電気的な接続を示すブロック図である。
【図２】レイアウト解析処理の流れを示すフローチャートである。
【図３】レイアウト解析処理の基本的アプローチを概略的に示す説明図である。
【図４】領域分割処理の流れを示すフローチャートである。
【図５】矩形領域の集合の一例を示す説明図である。
【図６】図５の矩形領域の集合についてページ全体で抽出された極大白矩形系列により分割された領域を示す説明図である。
【図７】図５の矩形領域の集合についてページ全体で抽出された極大白矩形系列により分割された領域の不具合を示す説明図である。
【図８】図６の領域分割結果から罫線を削除した結果を示す説明図である。
【図９】本発明の第２の実施の形態のレイアウト解析処理の流れを示すフローチャートである。
【図１０】文書画像として入力された表を示す説明図である。
【図１１】図１０に示す表から抽出される枠線を示す説明図である。
【図１２】図１０に示す表から表の枠線が削除された２値化画像を示す説明図である。
【図１３】図１２に示した２値文書画像の領域分割結果を示す説明図である。
【図１４】図１２に示した２値文書画像の領域分割結果の不具合を示す説明図である。
【図１５】図１３の領域分割結果から表の枠線を削除した結果を示す説明図である。
【図１６】デジタル複合機を示す外観斜視図である。
【図１７】サーバクライアントシステムを示す模式図である。
【図１８】最大白矩形を示す説明図である。
【図１９】２値化された文書画像における矩形領域の集合の一例を示す説明図である。
【図２０】図１９に示すような矩形領域の集合についての領域分割結果を示す説明図である。
【図２１】図１９に示すような矩形領域の集合についてページ全体で抽出された極大白矩形系列による領域分割結果を示す説明図である。
【図２２】非文字要素を削除した２値文書画像を示す説明図である。
【図２３】図２２に示す非文字要素を削除した２値文書画像に対する極大白矩形系列による領域分割結果を示す説明図である。
【符号の説明】
【００９８】
１ 画像処理装置
６，８ａ 記憶媒体
２０ 画像形成装置
２１ 画像読取手段
【技術分野】
【０００１】
本発明は、画像処理装置、画像形成装置、プログラム、記憶媒体および画像処理方法に関する。
【背景技術】
【０００２】
スキャナやデジタルカメラなどの画像入力機器を通してコンピュータに入力された文書画像を文書構成要素（例えば、文字、文字行、パラグラフ、コラムなど）に分離する処理は、通常、「幾何的レイアウト解析」や「ページセグメンテーション」と呼ばれる。この「幾何的レイアウト解析」や「ページセグメンテーション」は、多くの場合、２値文書画像上で行われる。また、「幾何的レイアウト解析」や「ページセグメンテーション」は、前処理として、入力の際に生じる傾きを補正する「スキュー補正」を伴う。このようにしてスキュー補正された２値文書画像の「幾何的レイアウト解析」や「ページセグメンテーション」は、大きく２通りのアプローチ（トップダウン解析及びボトムアップ解析）に分類される。
【０００３】
ここで、トップダウン解析について説明する。トップダウン解析は、ページを大きな構成要素から小さな構成要素に分離する。例えば、ページをコラムに、そして、コラムをパラグラフに、パラグラフを文字行に、というように、大きな構成要素から小さなものに分離してゆくアプローチである。トップダウン解析は、ページのレイアウト構造についての仮定に基づくモデル（例えば、マンハッタンレイアウトでは、文字行は直立矩形である）を利用して、効率的に計算ができる反面、仮定が成り立たないようなデータについては、とんでもない間違いを生じるという欠点がある。一般に、複雑なレイアウトはモデル化も複雑になるため、取り扱いが難しい。
【０００４】
次に、ボトムアップ解析について説明する。ボトムアップ解析は、特許文献１、２に記載されているように、近隣の構成要素の位置関係を参照して、要素を統合してゆく。例えば、連結成分を文字行、そして、文字行をコラムに、というように、小さな構成要素を大きなものにグループ化してゆくアプローチである。しかしながら、特許文献１に記載されているようなボトムアップ解析は、局所的な情報に基づく方法なので、ページ全体のレイアウトに関する仮定にあまり依存せずに多様なレイアウトに対応できる反面、局所的な判断の間違いが蓄積してゆくという欠点がある。例えば、２つの異なるコラム間にまたがる２つの文字が、誤って１つの文字行に統合されてしまえば、それらの２つのコラムも１つのコラムとして誤って抽出されてしまう。また、特許文献２に記載されているような構成要素の統合では、言語による文字の並び方の特性や、文字列方向（縦／横）などの知識が必要となる。
【０００５】
このように２つのアプローチは相補的であるが、これらの「隙間」を埋めるアプローチとして、文字でない部分、すなわち「背景」、あるいは２値文書画像で言うところの「白地」を利用する方法がある。背景や白地の利用の利点としては、
（１）言語に依存しない（多くの言語でも白地が区切りとして使われる）。また、行方向（横書き／縦書き）についての知識を必要としない。
（２）大局的な処理なので、局所的な判断間違いが累積する可能性が少ない。
（３）複雑なレイアウトにも、柔軟に対応できる。
などが挙げられる。
【０００６】
このような背景解析に属する代表的な方法としては、「極大白矩形系列によるページセグメンテーション」がある。ここで、「極大白矩形系列によるページセグメンテーション」について簡単に説明する。準備として、「最大白矩形問題」を定義する。まず、ｒｂをページ全体に対応する矩形領域、そして、Ｃ＝[ｒ０，ｒ１，・・・，ｒｎ]（ｒｉ⊂ｒｂ；ｉ＝０，１，・・・，ｎ）を、それぞれ２値文書画像黒連結成分をちょうど囲むような矩形領域とする。図１８に、矩形領域の集合の一例を示す。さらに、矩形に対して、次のような性質を満たす評価関数Ｑを導入する。２つの矩形ｒとｒ′について、
ｒ⊆ｒ′ならば、Ｑ（ｒ）≦Ｑ（ｒ′）
を満たす評価関数Ｑである。例えば、関数Ｑ（r）を矩形ｒの面積とすると、上記の性質は満たされる。「最大白矩形問題」とは、Ｃの要素ｒ０，ｒ１，・・・，ｒｎ（ｒｉ⊂ｒｂ；ｉ＝０，１，・・・，ｎ）と重ならないような矩形のうち、Ｑの値が最大になるものを見つける問題である。図１８に示すように、黒い矩形を２値文書画像黒連結成分、関数Ｑを矩形の面積とすると、最大白矩形は網掛けで示す矩形になる。この問題の拡張として、非特許文献１，２，３においては、「極大白矩形」、すなわち、それ以上拡張するとＣの要素のいずれかと重なり合ってしまうような白矩形を、Ｑの値が大きい順に数え上げるアルゴリズムを提案している。
【０００７】
このようにして極大白矩形の系列によって背景領域（２値文書画像の白領域）を被覆してゆくことにより、コラムや文字行などの文書構成要素を、「いずれの白矩形にも被覆されていない部分」として抽出できると期待できる。
【０００８】
また、本出願人は、特願２００４−２３８０２６において、このような「極大白矩形」のセパレータとしての評価基準や、矩形系列抽出の終了条件を自動的に設定する方法を提示している。
【０００９】
【特許文献１】特開２０００−０６７１５８公報
【特許文献２】特開２０００−１１３１０３公報
【非特許文献１】H.S.Baird，“Background structure in document images，”in Document Image Analysis（H.Bunke，P.S.P.Wang，and H.S.Baird，Eds.），Singapore:World Scientific，1994，pp.17−34.
【非特許文献２】H.S.Baird，S.E.Jones，and S.J.Fortune，“Image segmentation by shape directed covers，”in Proceedings of the 10th International Conference on Pattern Recognition（Atlantic City，NJ，USA），1990，pp.820−825.
【非特許文献３】TM Breuel，“Two algorithms for geometric layout analysis，”in Proceedings of IAPR Workshop on Document Analysis Systems（Princeton，NJ，USA），2002.
【発明の開示】
【発明が解決しようとする課題】
【００１０】
しかしながら、「極大白矩形系列によるページセグメンテーション」を用いた背景解析によるアプローチには有望な点と同時に、解決せねばならない問題がいくつか存在する。
【００１１】
文書画像上には、文字のほかに、写真、図、罫線などが含まれていて、それらが「極大白矩形抽出」に悪影響を及ぼすことがある。以下において、具体的に説明する。
【００１２】
図１９は、２値化された文書画像における矩形領域の集合の一例を示す説明図である。なお、図１９においては、文字の部分は塗りつぶしてある。図１９に示す２値文書画像では、左下の破線で囲んだ部分に写真が存在するほか、罫線がいくつか存在する。図１９に示すような矩形領域の集合についての領域分割結果を図２０に示す。図２０においては、領域を破線の囲みで示している。さらに、図１９に示すような矩形領域の集合についてページ全体で抽出された極大白矩形系列による領域分割結果を図２１に示す。図２１に示すように、図１９に示す２値文書画像についてそのまま白背景部分を極大矩形で被覆することにより分割すると、罫線の影響により領域が十分に分割されずに誤った結果が得られてしまう。加えて、図２１においては、左下の写真の部分と文字とが融合されてしまっている。
【００１３】
そこで、上述したような非文字要素による悪影響への対処として、写真、図、罫線などの非文字要素を削除した２値文書画像（図２２）に対して極大白矩形系列による領域分割を行なうことが考えられる。図２２に示す非文字要素を削除した２値文書画像に対する極大白矩形系列による領域分割結果を図２３に示す。図２３に示すように、図２１で示したような罫線の影響による誤った結果を排除することができるが、図２３中の矢印で示した部分のように、罫線があれば分離できるはずの狭い隙間が融合される不具合が生じてしまう。
【００１４】
また、文書画像上に表が含まれている場合についても、罫線を除いて極大白矩形系列による領域分割を行なった場合には、罫線があれば分離できるはずの狭い隙間が融合される不具合が生じてしまう。
【００１５】
このように、白背景部分の構造に着目した文書画像領域分割では、写真、図、罫線の取り扱いには注意が必要であり、単純に非文字要素を削除するというような方法では所望の結果が得られないことがある。
【００１６】
本発明は、上記に鑑みてなされたものであって、レイアウト解析処理にあたって写真、図、罫線などの非文字要素からの悪影響を防止すると同時に、罫線があれば分離できるはずの狭い隙間の融合を防ぐことによって、所望の領域分割結果を得て、レイアウト解析処理の高効率化と高精度化を図ることを目的とする。
【００１７】
本発明は、上記に鑑みてなされたものであって、レイアウト解析処理にあたって写真、図、罫線などの非文字要素及び表の枠線からの悪影響を防止すると同時に、罫線及び表の枠線があれば分離できるはずの狭い隙間の融合を防ぐことによって、所望の領域分割結果を得て、レイアウト解析処理の高効率化と高精度化を図ることを目的とする。
【課題を解決するための手段】
【００１８】
上述した課題を解決し、目的を達成するために、請求項１にかかる発明の画像処理装置は、文書画像のレイアウト解析処理を行う画像処理装置において、前記文書画像を２値化して２値文書画像を生成する２値化手段と、この２値化手段により生成された前記２値文書画像から非文字要素を抽出する非文字要素抽出手段と、この非文字要素抽出手段により抽出された前記非文字要素を前記２値文書画像から削除する非文字要素削除手段と、この非文字要素削除手段により前記非文字要素が削除された前記２値文書画像を領域分割する領域分割手段と、この領域分割手段による領域分割結果から先に抽出された前記非文字要素に含まれる罫線を削除する非文字要素再削除手段と、この非文字要素再削除手段により前記非文字要素に含まれる罫線が再度削除された領域分割結果の２値文書画像から連結成分を抽出する連結成分抽出手段と、この連結成分抽出手段により抽出された各連結成分を領域分割結果として出力する領域分割結果出力手段と、を備える。
【００１９】
また、請求項２にかかる発明の画像処理装置は、文書画像のレイアウト解析処理を行う画像処理装置において、前記文書画像から非文字要素を抽出する非文字要素抽出手段と、前記文書画像を２値化して２値文書画像を生成する２値化手段と、この２値化手段により生成された前記２値文書画像から前記非文字要素抽出手段により抽出された前記非文字要素を削除する非文字要素削除手段と、この非文字要素削除手段により前記非文字要素が削除された前記２値文書画像を領域分割する領域分割手段と、この領域分割手段による領域分割結果から先に抽出された前記非文字要素に含まれる罫線を削除する非文字要素再削除手段と、この非文字要素再削除手段により前記非文字要素に含まれる罫線が再度削除された領域分割結果の２値文書画像から連結成分を抽出する連結成分抽出手段と、この連結成分抽出手段により抽出された各連結成分を領域分割結果として出力する領域分割結果出力手段と、を備える。
【００２０】
また、請求項３にかかる発明の画像処理装置は、文書画像のレイアウト解析処理を行う画像処理装置において、前記文書画像を２値化して２値文書画像を生成する２値化手段と、この２値化手段により生成された前記２値文書画像から非文字要素を抽出する非文字要素抽出手段と、前記２値化手段により生成された前記２値文書画像から表の枠線を抽出する表枠線抽出手段と、前記非文字要素抽出手段により抽出された前記非文字要素と前記表枠線抽出手段により抽出された前記表の枠線とを前記２値文書画像から削除する非文字要素削除手段と、この非文字要素削除手段により前記非文字要素と前記表の枠線とが削除された前記２値文書画像を領域分割する領域分割手段と、この領域分割手段による領域分割結果から先に抽出された前記非文字要素に含まれる罫線と前記表の枠線とを削除する非文字要素再削除手段と、この非文字要素再削除手段により前記非文字要素に含まれる罫線と前記表の枠線とが再度削除された領域分割結果の２値文書画像から連結成分を抽出する連結成分抽出手段と、この連結成分抽出手段により抽出された各連結成分を領域分割結果として出力する領域分割結果出力手段と、を備える。
【００２１】
また、請求項４にかかる発明の画像処理装置は、文書画像のレイアウト解析処理を行う画像処理装置において、前記文書画像から非文字要素を抽出する非文字要素抽出手段と、前記文書画像から表の枠線を抽出する表枠線抽出手段と、前記文書画像を２値化して２値文書画像を生成する２値化手段と、この２値化手段により生成された前記２値文書画像から前記非文字要素抽出手段により抽出された前記非文字要素と前記表枠線抽出手段により抽出された前記表の枠線とを削除する非文字要素削除手段と、この非文字要素削除手段により前記非文字要素と前記表の枠線とが削除された前記２値文書画像を領域分割する領域分割手段と、この領域分割手段による領域分割結果から先に抽出された前記非文字要素に含まれる罫線と前記表の枠線とを削除する非文字要素再削除手段と、この非文字要素再削除手段により前記非文字要素に含まれる罫線と前記表の枠線とが再度削除された領域分割結果の２値文書画像から連結成分を抽出する連結成分抽出手段と、この連結成分抽出手段により抽出された各連結成分を領域分割結果として出力する領域分割結果出力手段と、を備える。
【００２２】
また、請求項５にかかる発明は、請求項１ないし４のいずれか一記載の画像処理装置において、前記領域分割手段は、前記２値文書画像の背景部分において、それ以上拡張すると内部に黒画素を含んでしまうような極大白矩形系列を抽出する極大白矩形系列抽出手段と、この極大白矩形系列抽出手段により抽出された極大白矩形系列をセパレータとしてその領域を少なくとも１以上の部分領域に分割して抽出する手段と、を備える。
【００２３】
また、請求項６にかかる発明の画像形成装置は、画像を用紙上に印刷する画像形成装置において、文書原稿を読み取る画像読取手段と、この画像読取手段により読み取られた文書画像を２値化して２値文書画像を生成する２値化手段と、この２値化手段により生成された前記２値文書画像から非文字要素を抽出する非文字要素抽出手段と、この非文字要素抽出手段により抽出された前記非文字要素を前記２値文書画像から削除する非文字要素削除手段と、この非文字要素削除手段により前記非文字要素が削除された前記２値文書画像を領域分割する領域分割手段と、この領域分割手段による領域分割結果から先に抽出された前記非文字要素に含まれる罫線を削除する非文字要素再削除手段と、この非文字要素再削除手段により前記非文字要素に含まれる罫線が再度削除された領域分割結果の２値文書画像から連結成分を抽出する連結成分抽出手段と、この連結成分抽出手段により抽出された各連結成分を領域分割結果として出力する領域分割結果出力手段と、を備える。
【００２４】
また、請求項７にかかる発明の画像形成装置は、文書画像のレイアウト解析処理を行う画像形成装置において、前記文書画像から非文字要素を抽出する非文字要素抽出手段と、前記文書画像を２値化して２値文書画像を生成する２値化手段と、この２値化手段により生成された前記２値文書画像から前記非文字要素抽出手段により抽出された前記非文字要素を削除する非文字要素削除手段と、この非文字要素削除手段により前記非文字要素が削除された前記２値文書画像を領域分割する領域分割手段と、この領域分割手段による領域分割結果から先に抽出された前記非文字要素に含まれる罫線を削除する非文字要素再削除手段と、この非文字要素再削除手段により前記非文字要素に含まれる罫線が再度削除された領域分割結果の２値文書画像から連結成分を抽出する連結成分抽出手段と、この連結成分抽出手段により抽出された各連結成分を領域分割結果として出力する領域分割結果出力手段と、を備える。
【００２５】
また、請求項８にかかる発明の画像形成装置は、画像を用紙上に印刷する画像形成装置において、文書原稿を読み取る画像読取手段と、この画像読取手段により読み取られた文書画像を２値化して２値文書画像を生成する２値化手段と、この２値化手段により生成された前記２値文書画像から非文字要素を抽出する非文字要素抽出手段と、前記２値化手段により生成された前記２値文書画像から表の枠線を抽出する表枠線抽出手段と、前記非文字要素抽出手段により抽出された前記非文字要素と前記表枠線抽出手段により抽出された前記表の枠線とを前記２値文書画像から削除する非文字要素削除手段と、この非文字要素削除手段により前記非文字要素と前記表の枠線とが削除された前記２値文書画像を領域分割する領域分割手段と、この領域分割手段による領域分割結果から先に抽出された前記非文字要素に含まれる罫線と前記表の枠線とを削除する非文字要素再削除手段と、この非文字要素再削除手段により前記非文字要素に含まれる罫線と前記表の枠線とが再度削除された領域分割結果の２値文書画像から連結成分を抽出する連結成分抽出手段と、この連結成分抽出手段により抽出された各連結成分を領域分割結果として出力する領域分割結果出力手段と、を備える。
【００２６】
また、請求項９にかかる発明の画像形成装置は、画像を用紙上に印刷する画像形成装置において、文書原稿を読み取る画像読取手段と、この画像読取手段により読み取られた文書画像から非文字要素を抽出する非文字要素抽出手段と、前記文書画像から表の枠線を抽出する表枠線抽出手段と、前記文書画像を２値化して２値文書画像を生成する２値化手段と、この２値化手段により生成された前記２値文書画像から前記非文字要素抽出手段により抽出された前記非文字要素と前記表枠線抽出手段により抽出された前記表の枠線とを削除する非文字要素削除手段と、この非文字要素削除手段により前記非文字要素と前記表の枠線とが削除された前記２値文書画像を領域分割する領域分割手段と、この領域分割手段による領域分割結果から先に抽出された前記非文字要素に含まれる罫線と前記表の枠線とを削除する非文字要素再削除手段と、この非文字要素再削除手段により前記非文字要素に含まれる罫線と前記表の枠線とが再度削除された領域分割結果の２値文書画像から連結成分を抽出する連結成分抽出手段と、この連結成分抽出手段により抽出された各連結成分を領域分割結果として出力する領域分割結果出力手段と、を備える。
【００２７】
また、請求項１０にかかる発明は、請求項６ないし９のいずれか一記載の画像形成装置において、前記領域分割手段は、前記２値文書画像の背景部分において、それ以上拡張すると内部に黒画素を含んでしまうような極大白矩形系列を抽出する極大白矩形系列抽出手段と、この極大白矩形系列抽出手段により抽出された極大白矩形系列をセパレータとしてその領域を少なくとも１以上の部分領域に分割して抽出する手段と、を備える。
【００２８】
また、請求項１１にかかる発明のプログラムは、文書画像のレイアウト解析処理をコンピュータに実行させるプログラムであって、前記コンピュータに、前記文書画像を２値化して２値文書画像を生成する２値化機能と、この２値化機能により生成された前記２値文書画像から非文字要素を抽出する非文字要素抽出機能と、この非文字要素抽出機能により抽出された前記非文字要素を前記２値文書画像から削除する非文字要素削除機能と、この非文字要素削除機能により前記非文字要素が削除された前記２値文書画像を領域分割する領域分割機能と、この領域分割機能による領域分割結果から先に抽出された前記非文字要素に含まれる罫線を削除する非文字要素再削除機能と、この非文字要素再削除機能により前記非文字要素に含まれる罫線が再度削除された領域分割結果の２値文書画像から連結成分を抽出する連結成分抽出機能と、この連結成分抽出機能により抽出された各連結成分を領域分割結果として出力する領域分割結果出力機能と、を実行させる。
【００２９】
また、請求項１２にかかる発明のプログラムは、文書画像のレイアウト解析処理をコンピュータに実行させるプログラムであって、前記コンピュータに、前記文書画像から非文字要素を抽出する非文字要素抽出機能と、前記文書画像を２値化して２値文書画像を生成する２値化機能と、この２値化機能により生成された前記２値文書画像から前記非文字要素抽出機能により抽出された前記非文字要素を削除する非文字要素削除機能と、この非文字要素削除機能により前記非文字要素が削除された前記２値文書画像を領域分割する領域分割機能と、この領域分割機能による領域分割結果から先に抽出された前記非文字要素に含まれる罫線を削除する非文字要素再削除機能と、この非文字要素再削除機能により前記非文字要素に含まれる罫線が再度削除された領域分割結果の２値文書画像から連結成分を抽出する連結成分抽出機能と、この連結成分抽出機能により抽出された各連結成分を領域分割結果として出力する領域分割結果出力機能と、を実行させる。
【００３０】
また、請求項１３にかかる発明のプログラムは、文書画像のレイアウト解析処理をコンピュータに実行させるプログラムであって、前記コンピュータに、前記文書画像を２値化して２値文書画像を生成する２値化機能と、この２値化機能により生成された前記２値文書画像から非文字要素を抽出する非文字要素抽出機能と、前記２値化機能により生成された前記２値文書画像から表の枠線を抽出する表枠線抽出機能と、前記非文字要素抽出機能により抽出された前記非文字要素と前記表枠線抽出機能により抽出された前記表の枠線とを前記２値文書画像から削除する非文字要素削除機能と、この非文字要素削除機能により前記非文字要素と前記表の枠線とが削除された前記２値文書画像を領域分割する領域分割機能と、この領域分割機能による領域分割結果から先に抽出された前記非文字要素に含まれる罫線と前記表の枠線とを削除する非文字要素再削除機能と、この非文字要素再削除機能により前記非文字要素に含まれる罫線と前記表の枠線とが再度削除された領域分割結果の２値文書画像から連結成分を抽出する連結成分抽出機能と、この連結成分抽出機能により抽出された各連結成分を領域分割結果として出力する領域分割結果出力機能と、を実行させる。
【００３１】
また、請求項１４にかかる発明のプログラムは、文書画像のレイアウト解析処理をコンピュータに実行させるプログラムであって、前記コンピュータに、前記文書画像から非文字要素を抽出する非文字要素抽出機能と、前記文書画像から表の枠線を抽出する表枠線抽出機能と、前記文書画像を２値化して２値文書画像を生成する２値化機能と、この２値化機能により生成された前記２値文書画像から前記非文字要素抽出機能により抽出された前記非文字要素と前記表枠線抽出機能により抽出された前記表の枠線とを削除する非文字要素削除機能と、この非文字要素削除機能により前記非文字要素と前記表の枠線とが削除された前記２値文書画像を領域分割する領域分割機能と、この領域分割機能による領域分割結果から先に抽出された前記非文字要素に含まれる罫線と前記表の枠線とを削除する非文字要素再削除機能と、この非文字要素再削除機能により前記非文字要素に含まれる罫線と前記表の枠線とが再度削除された領域分割結果の２値文書画像から連結成分を抽出する連結成分抽出機能と、この連結成分抽出機能により抽出された各連結成分を領域分割結果として出力する領域分割結果出力機能と、を実行させる。
【００３２】
また、請求項１５にかかる発明は、請求項１１ないし１４のいずれか一記載のプログラムにおいて、前記領域分割機能は、前記２値文書画像の背景部分において、それ以上拡張すると内部に黒画素を含んでしまうような極大白矩形系列を抽出する極大白矩形系列抽出機能と、この極大白矩形系列抽出機能により抽出された極大白矩形系列をセパレータとしてその領域を少なくとも１以上の部分領域に分割して抽出する機能と、を前記コンピュータに実行させる。
【００３３】
また、請求項１６にかかる発明の記憶媒体は、請求項１１ないし１５のいずれか一記載のプログラムを記憶する。
【００３４】
また、請求項１７にかかる発明の画像処理方法は、文書画像のレイアウト解析処理を行う画像処理方法において、前記文書画像を２値化して２値文書画像を生成する２値化工程と、この２値化工程により生成された前記２値文書画像から非文字要素を抽出する非文字要素抽出工程と、この非文字要素抽出工程により抽出された前記非文字要素を前記２値文書画像から削除する非文字要素削除工程と、この非文字要素削除工程により前記非文字要素が削除された前記２値文書画像を領域分割する領域分割工程と、この領域分割工程による領域分割結果から先に抽出された前記非文字要素に含まれる罫線を削除する非文字要素再削除工程と、この非文字要素再削除工程により前記非文字要素に含まれる罫線が再度削除された領域分割結果の２値文書画像から連結成分を抽出する連結成分抽出工程と、この連結成分抽出工程により抽出された各連結成分を領域分割結果として出力する領域分割結果出力工程と、を含む。
【００３５】
また、請求項１８にかかる発明の画像処理方法は、文書画像のレイアウト解析処理を行う画像処理方法において、前記文書画像から非文字要素を抽出する非文字要素抽出工程と、前記文書画像を２値化して２値文書画像を生成する２値化工程と、この２値化工程により生成された前記２値文書画像から前記非文字要素抽出工程により抽出された前記非文字要素を削除する非文字要素削除工程と、この非文字要素削除工程により前記非文字要素が削除された前記２値文書画像を領域分割する領域分割工程と、この領域分割工程による領域分割結果から先に抽出された前記非文字要素に含まれる罫線を削除する非文字要素再削除工程と、この非文字要素再削除工程により前記非文字要素に含まれる罫線が再度削除された領域分割結果の２値文書画像から連結成分を抽出する連結成分抽出工程と、この連結成分抽出工程により抽出された各連結成分を領域分割結果として出力する領域分割結果出力工程と、を含む。
【００３６】
また、請求項１９にかかる発明の画像処理方法は、文書画像のレイアウト解析処理を行う画像処理方法において、前記文書画像を２値化して２値文書画像を生成する２値化工程と、この２値化工程により生成された前記２値文書画像から非文字要素を抽出する非文字要素抽出工程と、前記２値化工程により生成された前記２値文書画像から表の枠線を抽出する表枠線抽出工程と、前記非文字要素抽出工程により抽出された前記非文字要素と前記表枠線抽出工程により抽出された前記表の枠線とを前記２値文書画像から削除する非文字要素削除工程と、この非文字要素削除工程により前記非文字要素と前記表の枠線とが削除された前記２値文書画像を領域分割する領域分割工程と、この領域分割工程による領域分割結果から先に抽出された前記非文字要素に含まれる罫線と前記表の枠線とを削除する非文字要素再削除工程と、この非文字要素再削除工程により前記非文字要素に含まれる罫線と前記表の枠線とが再度削除された領域分割結果の２値文書画像から連結成分を抽出する連結成分抽出工程と、この連結成分抽出工程により抽出された各連結成分を領域分割結果として出力する領域分割結果出力工程と、を含む。
【００３７】
また、請求項２０にかかる発明の画像処理方法は、文書画像のレイアウト解析処理を行う画像処理方法において、前記文書画像から非文字要素を抽出する非文字要素抽出工程と、前記文書画像から表の枠線を抽出する表枠線抽出工程と、前記文書画像を２値化して２値文書画像を生成する２値化工程と、この２値化工程により生成された前記２値文書画像から前記非文字要素抽出工程により抽出された前記非文字要素と前記表枠線抽出工程により抽出された前記表の枠線とを削除する非文字要素削除工程と、この非文字要素削除工程により前記非文字要素と前記表の枠線とが削除された前記２値文書画像を領域分割する領域分割工程と、この領域分割工程による領域分割結果から先に抽出された前記非文字要素に含まれる罫線と前記表の枠線とを削除する非文字要素再削除工程と、この非文字要素再削除工程により前記非文字要素に含まれる罫線と前記表の枠線とが再度削除された領域分割結果の２値文書画像から連結成分を抽出する連結成分抽出工程と、この連結成分抽出工程により抽出された各連結成分を領域分割結果として出力する領域分割結果出力工程と、を含む。
【００３８】
また、請求項２１にかかる発明は、請求項１７ないし２０のいずれか一記載の画像処理方法において、前記領域分割工程は、前記２値文書画像の背景部分において、それ以上拡張すると内部に黒画素を含んでしまうような極大白矩形系列を抽出する極大白矩形系列抽出工程と、この極大白矩形系列抽出工程により抽出された極大白矩形系列をセパレータとしてその領域を少なくとも１以上の部分領域に分割して抽出する工程と、を含む。
【発明の効果】
【００３９】
請求項１にかかる発明によれば、２値文書画像から非文字要素を抽出し、非文字要素を削除した２値文書画像を領域分割することにより、非文字要素からの悪影響を防止すると同時に、領域分割結果から先に抽出された非文字要素に含まれる罫線を削除することにより、罫線があれば分離できるはずの狭い隙間の融合を防ぐことができるので、所望の領域分割結果を得られるようになり、レイアウト解析処理の高効率化と高精度化を図ることができる。
【００４０】
また、請求項２にかかる発明によれば、文書画像から非文字要素を抽出し、非文字要素を削除した２値文書画像を領域分割することにより、非文字要素からの悪影響を防止すると同時に、領域分割結果から先に抽出された非文字要素に含まれる罫線を削除することにより、罫線があれば分離できるはずの狭い隙間の融合を防ぐことができるので、所望の領域分割結果を得られるようになり、レイアウト解析処理の高効率化と高精度化を図ることができる。
【００４１】
また、請求項３にかかる発明によれば、２値文書画像から非文字要素及び表の枠線を抽出し、非文字要素及び表の枠線を削除した２値文書画像を領域分割することにより、非文字要素及び表の枠線からの悪影響を防止すると同時に、領域分割結果から先に抽出された非文字要素に含まれる罫線と表の枠線とを削除することにより、罫線及び表の枠線があれば分離できるはずの狭い隙間の融合を防ぐことができるので、所望の領域分割結果を得られるようになり、レイアウト解析処理の高効率化と高精度化を図ることができる。また、表の領域分割は別途に表に特化した処理をかけることによって、領域分割の精度を向上させることができる。
【００４２】
また、請求項４にかかる発明によれば、文書画像から非文字要素及び表の枠線を抽出し、非文字要素及び表の枠線を削除した２値文書画像を領域分割することにより、非文字要素及び表の枠線からの悪影響を防止すると同時に、領域分割結果から先に抽出された非文字要素に含まれる罫線と表の枠線とを削除することにより、罫線及び表の枠線があれば分離できるはずの狭い隙間の融合を防ぐことができるので、所望の領域分割結果を得られるようになり、レイアウト解析処理の高効率化と高精度化を図ることができる。また、表の領域分割は別途に表に特化した処理をかけることによって、領域分割の精度を向上させることができる。
【００４３】
また、請求項５にかかる発明によれば、言語に依存せず（多くの言語でも白地が区切りとして使われる）、また、行方向（横書き／縦書き）についての知識を必要とせず、大局的な処理なので、局所的な判断間違いが累積する可能性が少なく、複雑なレイアウトにも、柔軟に対応できるような文書画像領域分割を行なうことができる。
【００４４】
また、請求項６にかかる発明によれば、２値文書画像から非文字要素を抽出し、非文字要素を削除した２値文書画像を領域分割することにより、非文字要素からの悪影響を防止すると同時に、領域分割結果から先に抽出された非文字要素に含まれる罫線を削除することにより、罫線があれば分離できるはずの狭い隙間の融合を防ぐことができるので、所望の領域分割結果を得られるようになり、レイアウト解析処理の高効率化と高精度化を図ることができる。
【００４５】
また、請求項７にかかる発明によれば、文書画像から非文字要素を抽出し、非文字要素を削除した２値文書画像を領域分割することにより、非文字要素からの悪影響を防止すると同時に、領域分割結果から先に抽出された非文字要素に含まれる罫線を削除することにより、罫線があれば分離できるはずの狭い隙間の融合を防ぐことができるので、所望の領域分割結果を得られるようになり、レイアウト解析処理の高効率化と高精度化を図ることができる。
【００４６】
また、請求項８にかかる発明によれば、２値文書画像から非文字要素及び表の枠線を抽出し、非文字要素及び表の枠線を削除した２値文書画像を領域分割することにより、非文字要素及び表の枠線からの悪影響を防止すると同時に、領域分割結果から先に抽出された非文字要素に含まれる罫線と表の枠線とを削除することにより、罫線及び表の枠線があれば分離できるはずの狭い隙間の融合を防ぐことができるので、所望の領域分割結果を得られるようになり、レイアウト解析処理の高効率化と高精度化を図ることができる。また、表の領域分割は別途に表に特化した処理をかけることによって、領域分割の精度を向上させることができる。
【００４７】
また、請求項９にかかる発明によれば、文書画像から非文字要素及び表の枠線を抽出し、非文字要素及び表の枠線を削除した２値文書画像を領域分割することにより、非文字要素及び表の枠線からの悪影響を防止すると同時に、領域分割結果から先に抽出された非文字要素に含まれる罫線と表の枠線とを削除することにより、罫線及び表の枠線があれば分離できるはずの狭い隙間の融合を防ぐことができるので、所望の領域分割結果を得られるようになり、レイアウト解析処理の高効率化と高精度化を図ることができる。また、表の領域分割は別途に表に特化した処理をかけることによって、領域分割の精度を向上させることができる。
【００４８】
また、請求項１０にかかる発明によれば、言語に依存せず（多くの言語でも白地が区切りとして使われる）、また、行方向（横書き／縦書き）についての知識を必要とせず、大局的な処理なので、局所的な判断間違いが累積する可能性が少なく、複雑なレイアウトにも、柔軟に対応できるような文書画像領域分割を行なうことができる。
【００４９】
また、請求項１１にかかる発明によれば、２値文書画像から非文字要素を抽出し、非文字要素を削除した２値文書画像を領域分割することにより、非文字要素からの悪影響を防止すると同時に、領域分割結果から先に抽出された非文字要素に含まれる罫線を削除することにより、罫線があれば分離できるはずの狭い隙間の融合を防ぐことができるので、所望の領域分割結果を得られるようになり、レイアウト解析処理の高効率化と高精度化を図ることができる。
【００５０】
また、請求項１２にかかる発明によれば、文書画像から非文字要素を抽出し、非文字要素を削除した２値文書画像を領域分割することにより、非文字要素からの悪影響を防止すると同時に、領域分割結果から先に抽出された非文字要素に含まれる罫線を削除することにより、罫線があれば分離できるはずの狭い隙間の融合を防ぐことができるので、所望の領域分割結果を得られるようになり、レイアウト解析処理の高効率化と高精度化を図ることができる。
【００５１】
また、請求項１３にかかる発明によれば、２値文書画像から非文字要素及び表の枠線を抽出し、非文字要素及び表の枠線を削除した２値文書画像を領域分割することにより、非文字要素及び表の枠線からの悪影響を防止すると同時に、領域分割結果から先に抽出された非文字要素に含まれる罫線と表の枠線とを削除することにより、罫線及び表の枠線があれば分離できるはずの狭い隙間の融合を防ぐことができるので、所望の領域分割結果を得られるようになり、レイアウト解析処理の高効率化と高精度化を図ることができる。また、表の領域分割は別途に表に特化した処理をかけることによって、領域分割の精度を向上させることができる。
【００５２】
また、請求項１４にかかる発明によれば、文書画像から非文字要素及び表の枠線を抽出し、非文字要素及び表の枠線を削除した２値文書画像を領域分割することにより、非文字要素及び表の枠線からの悪影響を防止すると同時に、領域分割結果から先に抽出された非文字要素に含まれる罫線と表の枠線とを削除することにより、罫線及び表の枠線があれば分離できるはずの狭い隙間の融合を防ぐことができるので、所望の領域分割結果を得られるようになり、レイアウト解析処理の高効率化と高精度化を図ることができる。また、表の領域分割は別途に表に特化した処理をかけることによって、領域分割の精度を向上させることができる。
【００５３】
また、請求項１５にかかる発明によれば、言語に依存せず（多くの言語でも白地が区切りとして使われる）、また、行方向（横書き／縦書き）についての知識を必要とせず、大局的な処理なので、局所的な判断間違いが累積する可能性が少なく、複雑なレイアウトにも、柔軟に対応できるような文書画像領域分割を行なうことができる。
【００５４】
また、請求項１６にかかる発明によれば、請求項１１ないし１５のいずれか一記載のプログラムを記憶していることにより、この記憶媒体に記憶されたプログラムをコンピュータに読み取らせることで、請求項１１ないし１５のいずれか一記載の発明と同様の作用効果を得ることができる。
【００５５】
また、請求項１７にかかる発明によれば、２値文書画像から非文字要素を抽出し、非文字要素を削除した２値文書画像を領域分割することにより、非文字要素からの悪影響を防止すると同時に、領域分割結果から先に抽出された非文字要素に含まれる罫線を削除することにより、罫線があれば分離できるはずの狭い隙間の融合を防ぐことができるので、所望の領域分割結果を得られるようになり、レイアウト解析処理の高効率化と高精度化を図ることができる。
【００５６】
また、請求項１８にかかる発明によれば、文書画像から非文字要素を抽出し、非文字要素を削除した２値文書画像を領域分割することにより、非文字要素からの悪影響を防止すると同時に、領域分割結果から先に抽出された非文字要素に含まれる罫線を削除することにより、罫線があれば分離できるはずの狭い隙間の融合を防ぐことができるので、所望の領域分割結果を得られるようになり、レイアウト解析処理の高効率化と高精度化を図ることができる。
【００５７】
また、請求項１９にかかる発明によれば、２値文書画像から非文字要素及び表の枠線を抽出し、非文字要素及び表の枠線を削除した２値文書画像を領域分割することにより、非文字要素及び表の枠線からの悪影響を防止すると同時に、領域分割結果から先に抽出された非文字要素に含まれる罫線と表の枠線とを削除することにより、罫線及び表の枠線があれば分離できるはずの狭い隙間の融合を防ぐことができるので、所望の領域分割結果を得られるようになり、レイアウト解析処理の高効率化と高精度化を図ることができる。また、表の領域分割は別途に表に特化した処理をかけることによって、領域分割の精度を向上させることができる。
【００５８】
また、請求項２０にかかる発明によれば、文書画像から非文字要素及び表の枠線を抽出し、非文字要素及び表の枠線を削除した２値文書画像を領域分割することにより、非文字要素及び表の枠線からの悪影響を防止すると同時に、領域分割結果から先に抽出された非文字要素に含まれる罫線と表の枠線とを削除することにより、罫線及び表の枠線があれば分離できるはずの狭い隙間の融合を防ぐことができる。また、表の領域分割は別途に表に特化した処理をかけることによって、領域分割の精度を向上させることができる。
【００５９】
また、請求項２１にかかる発明によれば、言語に依存せず（多くの言語でも白地が区切りとして使われる）、また、行方向（横書き／縦書き）についての知識を必要とせず、大局的な処理なので、局所的な判断間違いが累積する可能性が少なく、複雑なレイアウトにも、柔軟に対応できるような文書画像領域分割を行なうことができる。
【発明を実施するための最良の形態】
【００６０】
［第１の実施の形態］
本発明の第１の実施の形態を図１ないし図８に基づいて説明する。
【００６１】
図１は、本実施の形態の画像処理装置１の電気的な接続を示すブロック図である。図１に示すように、画像処理装置１は、ＰＣなどのコンピュータであり、画像処理装置１の各部を集中的に制御するＣＰＵ（Central Processing Unit）２、情報を格納するＲＯＭ（Read Only Memory）３及びＲＡＭ（Random Access Memory）４等の一次記憶装置５、データファイル（例えば、カラービットマップ画像データ）を記憶する記憶部であるＨＤＤ（Hard Disk Drive）６等の二次記憶装置７、情報を保管したり外部に情報を配布したり外部から情報を入手するためのＣＤ−ＲＯＭドライブ等のリムーバブルディスク装置８、ネットワーク９を介して外部の他のコンピュータと通信により情報を伝達するためのネットワークインターフェース１０、処理経過や結果等を操作者に表示するＣＲＴ（Cathode Ray Tube）やＬＣＤ（Liquid Crystal Display）等の表示装置１１、並びに操作者がＣＰＵ２に命令や情報等を入力するためのキーボード１２、マウス等のポインティングデバイス１３等から構成されており、これらの各部間で送受信されるデータをバスコントローラ１４が調停して動作する。
【００６２】
なお、本実施の形態においては、画像処理装置１として一般的なパーソナルコンピュータを適用して説明しているが、これに限るものではなく、ＰＤＡ（Personal Digital Assistants）と称される携帯用情報端末、palmTopＰＣ、携帯電話、ＰＨＳ（Personal Handyphone System）等であっても良い。
【００６３】
このような画像処理装置１では、ユーザが電源を投入するとＣＰＵ２がＲＯＭ３内のローダーというプログラムを起動させ、ＨＤＤ６よりオペレーティングシステムというコンピュータのハードウェアとソフトウェアとを管理するプログラムをＲＡＭ７に読み込み、このオペレーティングシステムを起動させる。このようなオペレーティングシステムは、ユーザの操作に応じてプログラムを起動したり、情報を読み込んだり、保存を行ったりする。オペレーティングシステムのうち代表的なものとしては、Ｗｉｎｄｏｗｓ（登録商標）、ＵＮＩＸ（登録商標）等が知られている。これらのオペレーティングシステム上で走る動作プログラムをアプリケーションプログラムと呼んでいる。
【００６４】
ここで、画像処理装置１は、アプリケーションプログラムとして、画像処理プログラムをＨＤＤ６に記憶している。この意味で、ＨＤＤ６は、画像処理プログラムを記憶する記憶媒体として機能する。
【００６５】
また、一般的には、画像処理装置１のＨＤＤ６等の二次記憶装置７にインストールされるアプリケーションプログラムは、ＣＤ−ＲＯＭやＤＶＤ−ＲＯＭ等の光情報記録メディアやＦＤ等の磁気メディア等の記憶媒体８ａに記録され、この記憶媒体８ａに記録されたアプリケーションプログラムがＨＤＤ６等の二次記憶装置７にインストールされる。このため、ＣＤ−ＲＯＭ等の光情報記録メディアやＦＤ等の磁気メディア等の可搬性を有する記憶媒体８ａも、画像処理プログラムを記憶する記憶媒体となり得る。さらには、画像処理プログラムは、例えばネットワークインターフェース１０を介して外部から取り込まれ、ＨＤＤ６等の二次記憶装置７にインストールされても良い。
【００６６】
画像処理装置１は、オペレーティングシステム上で動作する画像処理プログラムが起動すると、この画像処理プログラムに従い、ＣＰＵ２が各種の演算処理を実行して各部を集中的に制御する。画像処理装置１のＣＰＵ２が実行する各種の演算処理のうち、本実施の形態の特長的な処理であるレイアウト解析処理について以下に説明する。
【００６７】
なお、リアルタイム性が重要視される場合には、処理を高速化する必要がある。そのためには、論理回路（図示せず）を別途設け、論理回路の動作により各種の演算処理を実行するようにするのが望ましい。
【００６８】
ここで、画像処理装置１のＣＰＵ２が実行するレイアウト解析処理について説明する。ここで、図２はレイアウト解析処理の流れを示すフローチャートである。図２に示すように、文書画像が入力されると（ステップＳ１）、入力された文書画像に対して２値化処理を施すことにより２値文書画像を生成する（ステップＳ２：２値化手段）。なお、レイアウト解析処理が施される文書画像は、一般性を失うことなく、スキュー補正されたカラー画像やグレイ画像、あるいは、２値文書画像が与えられているものとする。
【００６９】
次いで、ステップＳ２で生成した２値文書画像から、文字でない部分である非文字要素（罫線・写真・図など）を抽出する（ステップＳ３：非文字要素抽出手段）。非文字要素の抽出手法としては、例えば特開平６−２００９２号公報に記載されている公知技術を用いることができる。概略的には、黒画素連結成分を、その大きさ、形状（縦横比等）等によって文字候補、縦横セパレータ（本来の黒画素からなる領域分割線）、写真または図等に分類判別する。
【００７０】
その後、２値化された文書画像から抽出された非文字要素（罫線・写真・図など）を削除する（ステップＳ４：非文字要素削除手段）。
【００７１】
続いて、ステップＳ４で非文字要素（罫線・写真・図など）を削除した２値化画像に対する領域分割処理を行なう（ステップＳ５：領域分割手段）。本実施の形態における領域分割処理の基本的アプローチは、図３に示すように、祖から密への再帰的分割による階層的処理を行うことにより、処理の効率化を図るようにしたものである。概略的には、まず、ページ全体に対して極大白矩形系列抽出の終了条件の下限値を大きく設定して、粗いスケールで処理する。この段階で、抽出された白矩形系列をセパレータとしてページ全体をいくつかの領域に分割する。次に、各領域について極大白矩形系列抽出の終了条件の下限値を前よりも小さく設定して、再び極大白矩形系列抽出を行い、より細かな分割を行う。このような処理を再帰的に繰り返してゆく。なお、階層的処理における極大白矩形系列抽出の終了条件である下限値は、領域のサイズなどに応じて設定するようにすれば良い。また、極大白矩形系列抽出の終了条件である下限値の他に、白矩形として望ましい形やサイズに関する拘束条件を導入するようにしても良い。例えば、領域のセパレータとして適当でない形をした白矩形を除外する等である。このように領域のセパレータとして適当でない形をした白矩形を除外するのは、長さが短いものや幅が狭すぎるものは、文字の間の隙間である可能性が高いからである。このような長さや幅について拘束条件は、領域内で推定される文字のサイズに応じて決めることができる。
【００７２】
ここで、図４は領域分割処理の流れを示すフローチャートである。図４に示すように、２値文書画像の黒連結成分をちょうど囲むような矩形領域の集合Ｃ＝[ｒ０，ｒ１，・・・，ｒｎ]（ｒｉ⊂ｒｂ；ｉ＝０，１，・・・，ｎ）を求め、この集合Ｃをアルゴリズムへ入力する（ステップＳ１１）。図５は、矩形領域の集合の一例を示す説明図である。
【００７３】
次に、ページ全体に対して、極大白矩形系列を抽出する（ステップＳ１２）。極大白矩形系列の抽出は、白矩形ｒの評価関数Ｑ（ｒ）を白矩形ｒの面積とし、処理している領域のサイズに応じて決まる下限値ｔについて、Ｑ（ｒ）≧ｔを満たすような極大白矩形をＱ（ｒ）の値が大きい順に数え上げる。これには、前述した非特許文献３に記載の方法を使えば良い。また、下限値ｔは、例えばｗとｈを処理している領域のそれぞれ幅と高さ、ａを定数として、
ｔ＝ａ・ｍｉｎ（ｗ，ｈ）
とすれば良い。さらに、領域のセパレータとしての適当でない形をした白矩形、例えば、長さが短いものや幅が狭すぎるものは、文字の間の隙間である可能性が高いので、そのような白矩形を除外するための拘束条件を設定する。これには、領域内にある黒矩形の大きさの分布から文字のサイズｓを推定し、例えば、ｂを定数として、幅も高さもｂ・ｓより小さいような極大白矩形を、数え上げの際に除外するようにすれば良い。
【００７４】
次いで、抽出された白矩形系列をセパレータとしてページ全体をいくつかの領域に分割し、白矩形系列により分割された領域を抽出し（ステップＳ１３）、抽出された各領域をスタックに積む（ステップＳ１４）。ここで、スタックは、最後に入力したデータが先に出力されるデータ構造である。図６は、図５の矩形領域の集合についてページ全体で抽出された極大白矩形系列により分割された領域を示す説明図である。
【００７５】
続くステップＳ１５では、スタックが空であるか否かを判断する。
【００７６】
スタックが空でなければ（ステップＳ１５のＮ）、スタックの最上部に積まれている領域を取り出し（ステップＳ１６）、その領域に対応する２値文書画像内で極大白矩形系列を抽出した後（ステップＳ１７）、抽出された白矩形系列をセパレータとして、その領域をいくつかの部分領域に分割し、白矩形系列により分割された領域を抽出した後（ステップＳ１８）、ステップＳ１５に進む。つまり、スタックが空でない限り、ステップＳ１６〜Ｓ１８の処理が繰り返されることになる。
【００７７】
一方、スタックが空である場合には（ステップＳ１５のＹ）、領域分割結果を出力して（ステップＳ１９）、処理を終了する。
【００７８】
以上のように本実施の形態においては、スタックを利用することにより、領域が「深さ優先」の順序に従い、評価関数Ｑ（ｒ）の下限値を決めながら祖から密へ階層的に分割が行われることになる。
【００７９】
本実施の形態においては第一階層までの領域分割処理について説明したが、これに限るものではなく、ステップＳ１９での領域分割結果に基づいて再度ステップＳ１１から再度領域分割処理することにより、祖から密への再帰的分割による階層的処理が実行されることになる。
【００８０】
以上が、領域分割処理（ステップＳ５）の説明である。これにより、言語に依存せず（多くの言語でも白地が区切りとして使われる）、また、行方向（横書き／縦書き）についての知識を必要とせず、大局的な処理なので、局所的な判断間違いが累積する可能性が少なく、複雑なレイアウトにも、柔軟に対応できるような文書画像領域分割を行なうことができる。
【００８１】
ところで、図５の矩形領域の集合に対する領域分割結果を示す図７中の矢印で示す部分のように、罫線があれば分離できるはずの狭い隙間が融合されるという不具合が生じている。また、特に図示しないが、文書画像上に表が含まれている場合についても、罫線を除いて極大白矩形系列による領域分割を行なった場合には、罫線があれば分離できるはずの狭い隙間が融合される不具合が生じてしまう。
【００８２】
そこで、ステップＳ６においては、ステップＳ３で抽出した罫線の情報を用い、領域分割結果を示す２値文書画像（ビットマップ）から罫線部分を削除する。図８は、図６の領域分割結果から罫線を削除した結果を示す説明図である。図８に示すように、図６の領域分割結果から罫線を削除したことにより、融合されてしまった狭い隙間が分離されることになる。ここに、非文字要素再削除手段の機能が実行される。
【００８３】
その後、領域分割結果を示す２値文書画像（ビットマップ）から罫線部分を削除した２値文書画像（ビットマップ）の連結成分を計算し（ステップＳ７：連結成分抽出手段）、各連結成分を領域分割結果として出力することにより（ステップＳ８：領域分割結果出力手段）、全体の処理は終了する。
【００８４】
このように本実施の形態によれば、白背景部分の構造に着目した文書画像領域分割において、２値文書画像から非文字要素（罫線・写真・図など）を削除することにより、非文字要素からの悪影響を防止すると同時に、いったん削除されてしまった罫線情報を領域分割の後に再び利用することによって、罫線があれば分離できるはずの狭い隙間の融合を防ぐことができるので、所望の領域分割結果を得られるようになり、レイアウト解析処理の高効率化と高精度化を図ることができる。
【００８５】
［第２の実施の形態］
本発明の第２の実施の形態を図９ないし図１７に基づいて説明する。なお、前述した第一の実施の形態と同一部分は同一符号で示し説明も省略する。第一の実施の形態のレイアウト解析処理におけるステップＳ３〜Ｓ４においては、２値化された文書画像から罫線・写真・図などの非文字要素を抽出して削除するようにしたが、本実施の形態においては、非文字要素（罫線・写真・図など）とともに表の枠線についても抽出して削除するようにしたものである。このように表の枠線を非文字要素に含めなかったのは、表については、文字要素となる場合と非文字要素となる場合とがあるからである。
【００８６】
図９は、本発明の第２の実施の形態のレイアウト解析処理の流れを示すフローチャートである。図９に示すように、文書画像が入力されると（ステップＳ１）、入力された文書画像に対して２値化処理を施すことにより２値文書画像を生成する（ステップＳ２：２値化手段）。
【００８７】
次いで、ステップＳ２で生成した２値文書画像から、文字でない部分である非文字要素（罫線・写真・図など）及び表の枠線を抽出する（ステップＳ３´：非文字要素抽出手段、表枠線抽出手段）。非文字要素の抽出手法としては、例えば特開平６−２００９２号公報に記載されている公知技術を用いることができる。また、表の枠線の抽出手法としては、例えば特開２００１−２６６０６８号公報に記載されている公知技術を用いることができる。概略的には、黒画素の連結成分から外接矩形を抽出し、抽出した外接矩形について文字候補の矩形か枠候補の矩形かの分類を行う。そして、文字候補に分類された矩形に対して、その矩形の位置を元画像上で白で埋め、枠候補として残った矩形の枠を抽出し、抽出した枠から表の枠線を抽出する。
【００８８】
その後、２値化された文書画像から抽出された非文字要素（罫線・写真・図など）及び表の枠線を削除する（ステップＳ４´：非文字要素削除手段）。
【００８９】
例えば、図１０に示すような表が文書画像として入力された場合には、図１１に示すような表の枠線が抽出されて削除されることになる。すなわち、後述する領域分割処理の対象となる表の枠線が削除された２値化画像は図１２のようになる。
【００９０】
続いて、ステップＳ４´で非文字要素（罫線・写真・図など）及び表の枠線を削除した２値化画像に対する領域分割処理を行う（ステップＳ５：領域分割手段）。ここで、図１３は図１２に示した２値文書画像の領域分割結果を示す説明図である。
【００９１】
その後、ステップＳ３´で抽出した罫線の情報及び表の枠線の情報を用い、領域分割結果を示す２値文書画像（ビットマップ）から罫線部分及び表の枠線部分を削除する（ステップＳ６´：非文字要素再削除手段）。このような処理を行なうのは、図１２の矩形領域の集合に対する領域分割結果を示す図１４中の矢印で示す部分のように、表の枠線があれば分離できるはずの狭い隙間が融合されるという不具合が生じているからである。そこで、上述した処理を行なうことにより、図１５に示すように、図１３の領域分割結果から表の枠線を削除することにより、融合されてしまった狭い隙間が分離されることになる。
【００９２】
その後、領域分割結果を示す２値文書画像（ビットマップ）から罫線部分及び表の枠線部分を削除した２値文書画像（ビットマップ）の連結成分を計算し（ステップＳ７：連結成分抽出手段）、各連結成分を領域分割結果として出力することにより（ステップＳ８：領域分割結果出力手段）、全体の処理は終了する。
【００９３】
このように本実施の形態によれば、白背景部分の構造に着目した文書画像領域分割において、２値文書画像から非文字要素（罫線・写真・図など）及び表の枠線を削除することにより、非文字要素及び表の枠線からの悪影響を防止すると同時に、いったん削除されてしまった罫線情報及び表の枠線の情報を領域分割の後に再び利用することによって、罫線及び表の枠線があれば分離できるはずの狭い隙間の融合を防ぐことができるので、所望の領域分割結果を得られるようになり、レイアウト解析処理の高効率化と高精度化を図ることができる。
【００９４】
なお、入力された文書画像がカラーや多階調のグレースケールの場合には、各実施の形態における非文字要素（罫線・写真・図など）や表の枠線の抽出を、２値化処理の前に行なうようにしても良い。入力された文書画像がカラーや多階調のグレースケールの場合には、非文字要素（罫線・写真・図など）や表の枠線の抽出を、２値化の前に行なうほうが精度的に良い場合があるからである。
【００９５】
なお、各実施の形態においては、画像処理装置１としてＰＣなどのコンピュータを適用したがこれに限るものではない。例えば、図１６に示すように、画像読取手段であるスキャナ部２１及び画像印刷装置であるプリンタ部２２を備えた画像形成装置であるデジタル複合機２０に備えられる情報処理装置に画像処理装置１を適用し、デジタル複合機２０のスキャナ部２１で読み取ったスキャン画像に対してレイアウト解析処理を施すようにしても良い。
【００９６】
また、各実施の形態の画像処理装置１としては、ローカルなシステム（例えば、パーソナルコンピュータ単体）を適用したが、これに限るものではない。例えば、図１７に示すように、サーバコンピュータＳにネットワークＮを介してクライアントコンピュータＣが複数台接続されたサーバクライアントシステムを適用するようにしても良い。この場合、各クライアントコンピュータＣからサーバコンピュータＳに対して画像を送信し、サーバコンピュータＳ（画像処理装置１）において画像に対してレイアウト解析処理を施すことになる。
【図面の簡単な説明】
【００９７】
【図１】本発明の第１の実施の形態の画像処理装置の電気的な接続を示すブロック図である。
【図２】レイアウト解析処理の流れを示すフローチャートである。
【図３】レイアウト解析処理の基本的アプローチを概略的に示す説明図である。
【図４】領域分割処理の流れを示すフローチャートである。
【図５】矩形領域の集合の一例を示す説明図である。
【図６】図５の矩形領域の集合についてページ全体で抽出された極大白矩形系列により分割された領域を示す説明図である。
【図７】図５の矩形領域の集合についてページ全体で抽出された極大白矩形系列により分割された領域の不具合を示す説明図である。
【図８】図６の領域分割結果から罫線を削除した結果を示す説明図である。
【図９】本発明の第２の実施の形態のレイアウト解析処理の流れを示すフローチャートである。
【図１０】文書画像として入力された表を示す説明図である。
【図１１】図１０に示す表から抽出される枠線を示す説明図である。
【図１２】図１０に示す表から表の枠線が削除された２値化画像を示す説明図である。
【図１３】図１２に示した２値文書画像の領域分割結果を示す説明図である。
【図１４】図１２に示した２値文書画像の領域分割結果の不具合を示す説明図である。
【図１５】図１３の領域分割結果から表の枠線を削除した結果を示す説明図である。
【図１６】デジタル複合機を示す外観斜視図である。
【図１７】サーバクライアントシステムを示す模式図である。
【図１８】最大白矩形を示す説明図である。
【図１９】２値化された文書画像における矩形領域の集合の一例を示す説明図である。
【図２０】図１９に示すような矩形領域の集合についての領域分割結果を示す説明図である。
【図２１】図１９に示すような矩形領域の集合についてページ全体で抽出された極大白矩形系列による領域分割結果を示す説明図である。
【図２２】非文字要素を削除した２値文書画像を示す説明図である。
【図２３】図２２に示す非文字要素を削除した２値文書画像に対する極大白矩形系列による領域分割結果を示す説明図である。
【符号の説明】
【００９８】
１ 画像処理装置
６，８ａ 記憶媒体
２０ 画像形成装置
２１ 画像読取手段
【特許請求の範囲】
【請求項１】
文書画像のレイアウト解析処理を行う画像処理装置において、
前記文書画像を２値化して２値文書画像を生成する２値化手段と、
この２値化手段により生成された前記２値文書画像から非文字要素を抽出する非文字要素抽出手段と、
この非文字要素抽出手段により抽出された前記非文字要素を前記２値文書画像から削除する非文字要素削除手段と、
この非文字要素削除手段により前記非文字要素が削除された前記２値文書画像を領域分割する領域分割手段と、
この領域分割手段による領域分割結果から先に抽出された前記非文字要素に含まれる罫線を削除する非文字要素再削除手段と、
この非文字要素再削除手段により前記非文字要素に含まれる罫線が再度削除された領域分割結果の２値文書画像から連結成分を抽出する連結成分抽出手段と、
この連結成分抽出手段により抽出された各連結成分を領域分割結果として出力する領域分割結果出力手段と、
を備えることを特徴とする画像処理装置。
【請求項２】
文書画像のレイアウト解析処理を行う画像処理装置において、
前記文書画像から非文字要素を抽出する非文字要素抽出手段と、
前記文書画像を２値化して２値文書画像を生成する２値化手段と、
この２値化手段により生成された前記２値文書画像から前記非文字要素抽出手段により抽出された前記非文字要素を削除する非文字要素削除手段と、
この非文字要素削除手段により前記非文字要素が削除された前記２値文書画像を領域分割する領域分割手段と、
この領域分割手段による領域分割結果から先に抽出された前記非文字要素に含まれる罫線を削除する非文字要素再削除手段と、
この非文字要素再削除手段により前記非文字要素に含まれる罫線が再度削除された領域分割結果の２値文書画像から連結成分を抽出する連結成分抽出手段と、
この連結成分抽出手段により抽出された各連結成分を領域分割結果として出力する領域分割結果出力手段と、
を備えることを特徴とする画像処理装置。
【請求項３】
文書画像のレイアウト解析処理を行う画像処理装置において、
前記文書画像を２値化して２値文書画像を生成する２値化手段と、
この２値化手段により生成された前記２値文書画像から非文字要素を抽出する非文字要素抽出手段と、
前記２値化手段により生成された前記２値文書画像から表の枠線を抽出する表枠線抽出手段と、
前記非文字要素抽出手段により抽出された前記非文字要素と前記表枠線抽出手段により抽出された前記表の枠線とを前記２値文書画像から削除する非文字要素削除手段と、
この非文字要素削除手段により前記非文字要素と前記表の枠線とが削除された前記２値文書画像を領域分割する領域分割手段と、
この領域分割手段による領域分割結果から先に抽出された前記非文字要素に含まれる罫線と前記表の枠線とを削除する非文字要素再削除手段と、
この非文字要素再削除手段により前記非文字要素に含まれる罫線と前記表の枠線とが再度削除された領域分割結果の２値文書画像から連結成分を抽出する連結成分抽出手段と、
この連結成分抽出手段により抽出された各連結成分を領域分割結果として出力する領域分割結果出力手段と、
を備えることを特徴とする画像処理装置。
【請求項４】
文書画像のレイアウト解析処理を行う画像処理装置において、
前記文書画像から非文字要素を抽出する非文字要素抽出手段と、
前記文書画像から表の枠線を抽出する表枠線抽出手段と、
前記文書画像を２値化して２値文書画像を生成する２値化手段と、
この２値化手段により生成された前記２値文書画像から前記非文字要素抽出手段により抽出された前記非文字要素と前記表枠線抽出手段により抽出された前記表の枠線とを削除する非文字要素削除手段と、
この非文字要素削除手段により前記非文字要素と前記表の枠線とが削除された前記２値文書画像を領域分割する領域分割手段と、
この領域分割手段による領域分割結果から先に抽出された前記非文字要素に含まれる罫線と前記表の枠線とを削除する非文字要素再削除手段と、
この非文字要素再削除手段により前記非文字要素に含まれる罫線と前記表の枠線とが再度削除された領域分割結果の２値文書画像から連結成分を抽出する連結成分抽出手段と、
この連結成分抽出手段により抽出された各連結成分を領域分割結果として出力する領域分割結果出力手段と、
を備えることを特徴とする画像処理装置。
【請求項５】
前記領域分割手段は、前記２値文書画像の背景部分において、それ以上拡張すると内部に黒画素を含んでしまうような極大白矩形系列を抽出する極大白矩形系列抽出手段と、この極大白矩形系列抽出手段により抽出された極大白矩形系列をセパレータとしてその領域を少なくとも１以上の部分領域に分割して抽出する手段と、を備えることを特徴とする請求項１ないし４のいずれか一記載の画像処理装置。
【請求項６】
画像を用紙上に印刷する画像形成装置において、
文書原稿を読み取る画像読取手段と、
この画像読取手段により読み取られた文書画像を２値化して２値文書画像を生成する２値化手段と、
この２値化手段により生成された前記２値文書画像から非文字要素を抽出する非文字要素抽出手段と、
この非文字要素抽出手段により抽出された前記非文字要素を前記２値文書画像から削除する非文字要素削除手段と、
この非文字要素削除手段により前記非文字要素が削除された前記２値文書画像を領域分割する領域分割手段と、
この領域分割手段による領域分割結果から先に抽出された前記非文字要素に含まれる罫線を削除する非文字要素再削除手段と、
この非文字要素再削除手段により前記非文字要素に含まれる罫線が再度削除された領域分割結果の２値文書画像から連結成分を抽出する連結成分抽出手段と、
この連結成分抽出手段により抽出された各連結成分を領域分割結果として出力する領域分割結果出力手段と、
を備えることを特徴とする画像形成装置。
【請求項７】
画像を用紙上に印刷する画像形成装置において、
文書原稿を読み取る画像読取手段と、
この画像読取手段により読み取られた文書画像から非文字要素を抽出する非文字要素抽出手段と、
前記文書画像を２値化して２値文書画像を生成する２値化手段と、
この２値化手段により生成された前記２値文書画像から前記非文字要素抽出手段により抽出された前記非文字要素を削除する非文字要素削除手段と、
この非文字要素削除手段により前記非文字要素が削除された前記２値文書画像を領域分割する領域分割手段と、
この領域分割手段による領域分割結果から先に抽出された前記非文字要素に含まれる罫線を削除する非文字要素再削除手段と、
この非文字要素再削除手段により前記非文字要素に含まれる罫線が再度削除された領域分割結果の２値文書画像から連結成分を抽出する連結成分抽出手段と、
この連結成分抽出手段により抽出された各連結成分を領域分割結果として出力する領域分割結果出力手段と、
を備えることを特徴とする画像形成装置。
【請求項８】
画像を用紙上に印刷する画像形成装置において、
文書原稿を読み取る画像読取手段と、
この画像読取手段により読み取られた文書画像を２値化して２値文書画像を生成する２値化手段と、
この２値化手段により生成された前記２値文書画像から非文字要素を抽出する非文字要素抽出手段と、
前記２値化手段により生成された前記２値文書画像から表の枠線を抽出する表枠線抽出手段と、
前記非文字要素抽出手段により抽出された前記非文字要素と前記表枠線抽出手段により抽出された前記表の枠線とを前記２値文書画像から削除する非文字要素削除手段と、
この非文字要素削除手段により前記非文字要素と前記表の枠線とが削除された前記２値文書画像を領域分割する領域分割手段と、
この領域分割手段による領域分割結果から先に抽出された前記非文字要素に含まれる罫線と前記表の枠線とを削除する非文字要素再削除手段と、
この非文字要素再削除手段により前記非文字要素に含まれる罫線と前記表の枠線とが再度削除された領域分割結果の２値文書画像から連結成分を抽出する連結成分抽出手段と、
この連結成分抽出手段により抽出された各連結成分を領域分割結果として出力する領域分割結果出力手段と、
を備えることを特徴とする画像形成装置。
【請求項９】
画像を用紙上に印刷する画像形成装置において、
文書原稿を読み取る画像読取手段と、
この画像読取手段により読み取られた文書画像から非文字要素を抽出する非文字要素抽出手段と、
前記文書画像から表の枠線を抽出する表枠線抽出手段と、
前記文書画像を２値化して２値文書画像を生成する２値化手段と、
この２値化手段により生成された前記２値文書画像から前記非文字要素抽出手段により抽出された前記非文字要素と前記表枠線抽出手段により抽出された前記表の枠線とを削除する非文字要素削除手段と、
この非文字要素削除手段により前記非文字要素と前記表の枠線とが削除された前記２値文書画像を領域分割する領域分割手段と、
この領域分割手段による領域分割結果から先に抽出された前記非文字要素に含まれる罫線と前記表の枠線とを削除する非文字要素再削除手段と、
この非文字要素再削除手段により前記非文字要素に含まれる罫線と前記表の枠線とが再度削除された領域分割結果の２値文書画像から連結成分を抽出する連結成分抽出手段と、
この連結成分抽出手段により抽出された各連結成分を領域分割結果として出力する領域分割結果出力手段と、
を備えることを特徴とする画像形成装置。
【請求項１０】
前記領域分割手段は、前記２値文書画像の背景部分において、それ以上拡張すると内部に黒画素を含んでしまうような極大白矩形系列を抽出する極大白矩形系列抽出手段と、この極大白矩形系列抽出手段により抽出された極大白矩形系列をセパレータとしてその領域を少なくとも１以上の部分領域に分割して抽出する手段と、を備えることを特徴とする請求項６ないし９のいずれか一記載の画像形成装置。
【請求項１１】
文書画像のレイアウト解析処理をコンピュータに実行させるプログラムであって、前記コンピュータに、
前記文書画像を２値化して２値文書画像を生成する２値化機能と、
この２値化機能により生成された前記２値文書画像から非文字要素を抽出する非文字要素抽出機能と、
この非文字要素抽出機能により抽出された前記非文字要素を前記２値文書画像から削除する非文字要素削除機能と、
この非文字要素削除機能により前記非文字要素が削除された前記２値文書画像を領域分割する領域分割機能と、
この領域分割機能による領域分割結果から先に抽出された前記非文字要素に含まれる罫線を削除する非文字要素再削除機能と、
この非文字要素再削除機能により前記非文字要素に含まれる罫線が再度削除された領域分割結果の２値文書画像から連結成分を抽出する連結成分抽出機能と、
この連結成分抽出機能により抽出された各連結成分を領域分割結果として出力する領域分割結果出力機能と、
を実行させることを特徴とするプログラム。
【請求項１２】
文書画像のレイアウト解析処理をコンピュータに実行させるプログラムであって、前記コンピュータに、
前記文書画像から非文字要素を抽出する非文字要素抽出機能と、
前記文書画像を２値化して２値文書画像を生成する２値化機能と、
この２値化機能により生成された前記２値文書画像から前記非文字要素抽出機能により抽出された前記非文字要素を削除する非文字要素削除機能と、
この非文字要素削除機能により前記非文字要素が削除された前記２値文書画像を領域分割する領域分割機能と、
この領域分割機能による領域分割結果から先に抽出された前記非文字要素に含まれる罫線を削除する非文字要素再削除機能と、
この非文字要素再削除機能により前記非文字要素に含まれる罫線が再度削除された領域分割結果の２値文書画像から連結成分を抽出する連結成分抽出機能と、
この連結成分抽出機能により抽出された各連結成分を領域分割結果として出力する領域分割結果出力機能と、
を実行させることを特徴とするプログラム。
【請求項１３】
文書画像のレイアウト解析処理をコンピュータに実行させるプログラムであって、前記コンピュータに、
前記文書画像を２値化して２値文書画像を生成する２値化機能と、
この２値化機能により生成された前記２値文書画像から非文字要素を抽出する非文字要素抽出機能と、
前記２値化機能により生成された前記２値文書画像から表の枠線を抽出する表枠線抽出機能と、
前記非文字要素抽出機能により抽出された前記非文字要素と前記表枠線抽出機能により抽出された前記表の枠線とを前記２値文書画像から削除する非文字要素削除機能と、
この非文字要素削除機能により前記非文字要素と前記表の枠線とが削除された前記２値文書画像を領域分割する領域分割機能と、
この領域分割機能による領域分割結果から先に抽出された前記非文字要素に含まれる罫線と前記表の枠線とを削除する非文字要素再削除機能と、
この非文字要素再削除機能により前記非文字要素に含まれる罫線と前記表の枠線とが再度削除された領域分割結果の２値文書画像から連結成分を抽出する連結成分抽出機能と、
この連結成分抽出機能により抽出された各連結成分を領域分割結果として出力する領域分割結果出力機能と、
を実行させることを特徴とするプログラム。
【請求項１４】
文書画像のレイアウト解析処理をコンピュータに実行させるプログラムであって、前記コンピュータに、
前記文書画像から非文字要素を抽出する非文字要素抽出機能と、
前記文書画像から表の枠線を抽出する表枠線抽出機能と、
前記文書画像を２値化して２値文書画像を生成する２値化機能と、
この２値化機能により生成された前記２値文書画像から前記非文字要素抽出機能により抽出された前記非文字要素と前記表枠線抽出機能により抽出された前記表の枠線とを削除する非文字要素削除機能と、
この非文字要素削除機能により前記非文字要素と前記表の枠線とが削除された前記２値文書画像を領域分割する領域分割機能と、
この領域分割機能による領域分割結果から先に抽出された前記非文字要素に含まれる罫線と前記表の枠線とを削除する非文字要素再削除機能と、
この非文字要素再削除機能により前記非文字要素に含まれる罫線と前記表の枠線とが再度削除された領域分割結果の２値文書画像から連結成分を抽出する連結成分抽出機能と、
この連結成分抽出機能により抽出された各連結成分を領域分割結果として出力する領域分割結果出力機能と、
を実行させることを特徴とするプログラム。
【請求項１５】
前記領域分割機能は、前記２値文書画像の背景部分において、それ以上拡張すると内部に黒画素を含んでしまうような極大白矩形系列を抽出する極大白矩形系列抽出機能と、この極大白矩形系列抽出機能により抽出された極大白矩形系列をセパレータとしてその領域を少なくとも１以上の部分領域に分割して抽出する機能と、を前記コンピュータに実行させることを特徴とする請求項１１ないし１４のいずれか一記載のプログラム。
【請求項１６】
請求項１１ないし１５のいずれか一記載のプログラムを記憶することを特徴とする記憶媒体。
【請求項１７】
文書画像のレイアウト解析処理を行う画像処理方法において、
前記文書画像を２値化して２値文書画像を生成する２値化工程と、
この２値化工程により生成された前記２値文書画像から非文字要素を抽出する非文字要素抽出工程と、
この非文字要素抽出工程により抽出された前記非文字要素を前記２値文書画像から削除する非文字要素削除工程と、
この非文字要素削除工程により前記非文字要素が削除された前記２値文書画像を領域分割する領域分割工程と、
この領域分割工程による領域分割結果から先に抽出された前記非文字要素に含まれる罫線を削除する非文字要素再削除工程と、
この非文字要素再削除工程により前記非文字要素に含まれる罫線が再度削除された領域分割結果の２値文書画像から連結成分を抽出する連結成分抽出工程と、
この連結成分抽出工程により抽出された各連結成分を領域分割結果として出力する領域分割結果出力工程と、
を含むことを特徴とする画像処理方法。
【請求項１８】
文書画像のレイアウト解析処理を行う画像処理方法において、
前記文書画像から非文字要素を抽出する非文字要素抽出工程と、
前記文書画像を２値化して２値文書画像を生成する２値化工程と、
この２値化工程により生成された前記２値文書画像から前記非文字要素抽出工程により抽出された前記非文字要素を削除する非文字要素削除工程と、
この非文字要素削除工程により前記非文字要素が削除された前記２値文書画像を領域分割する領域分割工程と、
この領域分割工程による領域分割結果から先に抽出された前記非文字要素に含まれる罫線を削除する非文字要素再削除工程と、
この非文字要素再削除工程により前記非文字要素に含まれる罫線が再度削除された領域分割結果の２値文書画像から連結成分を抽出する連結成分抽出工程と、
この連結成分抽出工程により抽出された各連結成分を領域分割結果として出力する領域分割結果出力工程と、
を含むことを特徴とする画像処理方法。
【請求項１９】
文書画像のレイアウト解析処理を行う画像処理方法において、
前記文書画像を２値化して２値文書画像を生成する２値化工程と、
この２値化工程により生成された前記２値文書画像から非文字要素を抽出する非文字要素抽出工程と、
前記２値化工程により生成された前記２値文書画像から表の枠線を抽出する表枠線抽出工程と、
前記非文字要素抽出工程により抽出された前記非文字要素と前記表枠線抽出工程により抽出された前記表の枠線とを前記２値文書画像から削除する非文字要素削除工程と、
この非文字要素削除工程により前記非文字要素と前記表の枠線とが削除された前記２値文書画像を領域分割する領域分割工程と、
この領域分割工程による領域分割結果から先に抽出された前記非文字要素に含まれる罫線と前記表の枠線とを削除する非文字要素再削除工程と、
この非文字要素再削除工程により前記非文字要素に含まれる罫線と前記表の枠線とが再度削除された領域分割結果の２値文書画像から連結成分を抽出する連結成分抽出工程と、
この連結成分抽出工程により抽出された各連結成分を領域分割結果として出力する領域分割結果出力工程と、
を含むことを特徴とする画像処理方法。
【請求項２０】
文書画像のレイアウト解析処理を行う画像処理方法において、
前記文書画像から非文字要素を抽出する非文字要素抽出工程と、
前記文書画像から表の枠線を抽出する表枠線抽出工程と、
前記文書画像を２値化して２値文書画像を生成する２値化工程と、
この２値化工程により生成された前記２値文書画像から前記非文字要素抽出工程により抽出された前記非文字要素と前記表枠線抽出工程により抽出された前記表の枠線とを削除する非文字要素削除工程と、
この非文字要素削除工程により前記非文字要素と前記表の枠線とが削除された前記２値文書画像を領域分割する領域分割工程と、
この領域分割工程による領域分割結果から先に抽出された前記非文字要素に含まれる罫線と前記表の枠線とを削除する非文字要素再削除工程と、
この非文字要素再削除工程により前記非文字要素に含まれる罫線と前記表の枠線とが再度削除された領域分割結果の２値文書画像から連結成分を抽出する連結成分抽出工程と、
この連結成分抽出工程により抽出された各連結成分を領域分割結果として出力する領域分割結果出力工程と、
を含むことを特徴とする画像処理方法。
【請求項２１】
前記領域分割工程は、前記２値文書画像の背景部分において、それ以上拡張すると内部に黒画素を含んでしまうような極大白矩形系列を抽出する極大白矩形系列抽出工程と、この極大白矩形系列抽出工程により抽出された極大白矩形系列をセパレータとしてその領域を少なくとも１以上の部分領域に分割して抽出する工程と、を含むことを特徴とする請求項１７ないし２０のいずれか一記載の画像処理方法。
【請求項１】
文書画像のレイアウト解析処理を行う画像処理装置において、
前記文書画像を２値化して２値文書画像を生成する２値化手段と、
この２値化手段により生成された前記２値文書画像から非文字要素を抽出する非文字要素抽出手段と、
この非文字要素抽出手段により抽出された前記非文字要素を前記２値文書画像から削除する非文字要素削除手段と、
この非文字要素削除手段により前記非文字要素が削除された前記２値文書画像を領域分割する領域分割手段と、
この領域分割手段による領域分割結果から先に抽出された前記非文字要素に含まれる罫線を削除する非文字要素再削除手段と、
この非文字要素再削除手段により前記非文字要素に含まれる罫線が再度削除された領域分割結果の２値文書画像から連結成分を抽出する連結成分抽出手段と、
この連結成分抽出手段により抽出された各連結成分を領域分割結果として出力する領域分割結果出力手段と、
を備えることを特徴とする画像処理装置。
【請求項２】
文書画像のレイアウト解析処理を行う画像処理装置において、
前記文書画像から非文字要素を抽出する非文字要素抽出手段と、
前記文書画像を２値化して２値文書画像を生成する２値化手段と、
この２値化手段により生成された前記２値文書画像から前記非文字要素抽出手段により抽出された前記非文字要素を削除する非文字要素削除手段と、
この非文字要素削除手段により前記非文字要素が削除された前記２値文書画像を領域分割する領域分割手段と、
この領域分割手段による領域分割結果から先に抽出された前記非文字要素に含まれる罫線を削除する非文字要素再削除手段と、
この非文字要素再削除手段により前記非文字要素に含まれる罫線が再度削除された領域分割結果の２値文書画像から連結成分を抽出する連結成分抽出手段と、
この連結成分抽出手段により抽出された各連結成分を領域分割結果として出力する領域分割結果出力手段と、
を備えることを特徴とする画像処理装置。
【請求項３】
文書画像のレイアウト解析処理を行う画像処理装置において、
前記文書画像を２値化して２値文書画像を生成する２値化手段と、
この２値化手段により生成された前記２値文書画像から非文字要素を抽出する非文字要素抽出手段と、
前記２値化手段により生成された前記２値文書画像から表の枠線を抽出する表枠線抽出手段と、
前記非文字要素抽出手段により抽出された前記非文字要素と前記表枠線抽出手段により抽出された前記表の枠線とを前記２値文書画像から削除する非文字要素削除手段と、
この非文字要素削除手段により前記非文字要素と前記表の枠線とが削除された前記２値文書画像を領域分割する領域分割手段と、
この領域分割手段による領域分割結果から先に抽出された前記非文字要素に含まれる罫線と前記表の枠線とを削除する非文字要素再削除手段と、
この非文字要素再削除手段により前記非文字要素に含まれる罫線と前記表の枠線とが再度削除された領域分割結果の２値文書画像から連結成分を抽出する連結成分抽出手段と、
この連結成分抽出手段により抽出された各連結成分を領域分割結果として出力する領域分割結果出力手段と、
を備えることを特徴とする画像処理装置。
【請求項４】
文書画像のレイアウト解析処理を行う画像処理装置において、
前記文書画像から非文字要素を抽出する非文字要素抽出手段と、
前記文書画像から表の枠線を抽出する表枠線抽出手段と、
前記文書画像を２値化して２値文書画像を生成する２値化手段と、
この２値化手段により生成された前記２値文書画像から前記非文字要素抽出手段により抽出された前記非文字要素と前記表枠線抽出手段により抽出された前記表の枠線とを削除する非文字要素削除手段と、
この非文字要素削除手段により前記非文字要素と前記表の枠線とが削除された前記２値文書画像を領域分割する領域分割手段と、
この領域分割手段による領域分割結果から先に抽出された前記非文字要素に含まれる罫線と前記表の枠線とを削除する非文字要素再削除手段と、
この非文字要素再削除手段により前記非文字要素に含まれる罫線と前記表の枠線とが再度削除された領域分割結果の２値文書画像から連結成分を抽出する連結成分抽出手段と、
この連結成分抽出手段により抽出された各連結成分を領域分割結果として出力する領域分割結果出力手段と、
を備えることを特徴とする画像処理装置。
【請求項５】
前記領域分割手段は、前記２値文書画像の背景部分において、それ以上拡張すると内部に黒画素を含んでしまうような極大白矩形系列を抽出する極大白矩形系列抽出手段と、この極大白矩形系列抽出手段により抽出された極大白矩形系列をセパレータとしてその領域を少なくとも１以上の部分領域に分割して抽出する手段と、を備えることを特徴とする請求項１ないし４のいずれか一記載の画像処理装置。
【請求項６】
画像を用紙上に印刷する画像形成装置において、
文書原稿を読み取る画像読取手段と、
この画像読取手段により読み取られた文書画像を２値化して２値文書画像を生成する２値化手段と、
この２値化手段により生成された前記２値文書画像から非文字要素を抽出する非文字要素抽出手段と、
この非文字要素抽出手段により抽出された前記非文字要素を前記２値文書画像から削除する非文字要素削除手段と、
この非文字要素削除手段により前記非文字要素が削除された前記２値文書画像を領域分割する領域分割手段と、
この領域分割手段による領域分割結果から先に抽出された前記非文字要素に含まれる罫線を削除する非文字要素再削除手段と、
この非文字要素再削除手段により前記非文字要素に含まれる罫線が再度削除された領域分割結果の２値文書画像から連結成分を抽出する連結成分抽出手段と、
この連結成分抽出手段により抽出された各連結成分を領域分割結果として出力する領域分割結果出力手段と、
を備えることを特徴とする画像形成装置。
【請求項７】
画像を用紙上に印刷する画像形成装置において、
文書原稿を読み取る画像読取手段と、
この画像読取手段により読み取られた文書画像から非文字要素を抽出する非文字要素抽出手段と、
前記文書画像を２値化して２値文書画像を生成する２値化手段と、
この２値化手段により生成された前記２値文書画像から前記非文字要素抽出手段により抽出された前記非文字要素を削除する非文字要素削除手段と、
この非文字要素削除手段により前記非文字要素が削除された前記２値文書画像を領域分割する領域分割手段と、
この領域分割手段による領域分割結果から先に抽出された前記非文字要素に含まれる罫線を削除する非文字要素再削除手段と、
この非文字要素再削除手段により前記非文字要素に含まれる罫線が再度削除された領域分割結果の２値文書画像から連結成分を抽出する連結成分抽出手段と、
この連結成分抽出手段により抽出された各連結成分を領域分割結果として出力する領域分割結果出力手段と、
を備えることを特徴とする画像形成装置。
【請求項８】
画像を用紙上に印刷する画像形成装置において、
文書原稿を読み取る画像読取手段と、
この画像読取手段により読み取られた文書画像を２値化して２値文書画像を生成する２値化手段と、
この２値化手段により生成された前記２値文書画像から非文字要素を抽出する非文字要素抽出手段と、
前記２値化手段により生成された前記２値文書画像から表の枠線を抽出する表枠線抽出手段と、
前記非文字要素抽出手段により抽出された前記非文字要素と前記表枠線抽出手段により抽出された前記表の枠線とを前記２値文書画像から削除する非文字要素削除手段と、
この非文字要素削除手段により前記非文字要素と前記表の枠線とが削除された前記２値文書画像を領域分割する領域分割手段と、
この領域分割手段による領域分割結果から先に抽出された前記非文字要素に含まれる罫線と前記表の枠線とを削除する非文字要素再削除手段と、
この非文字要素再削除手段により前記非文字要素に含まれる罫線と前記表の枠線とが再度削除された領域分割結果の２値文書画像から連結成分を抽出する連結成分抽出手段と、
この連結成分抽出手段により抽出された各連結成分を領域分割結果として出力する領域分割結果出力手段と、
を備えることを特徴とする画像形成装置。
【請求項９】
画像を用紙上に印刷する画像形成装置において、
文書原稿を読み取る画像読取手段と、
この画像読取手段により読み取られた文書画像から非文字要素を抽出する非文字要素抽出手段と、
前記文書画像から表の枠線を抽出する表枠線抽出手段と、
前記文書画像を２値化して２値文書画像を生成する２値化手段と、
この２値化手段により生成された前記２値文書画像から前記非文字要素抽出手段により抽出された前記非文字要素と前記表枠線抽出手段により抽出された前記表の枠線とを削除する非文字要素削除手段と、
この非文字要素削除手段により前記非文字要素と前記表の枠線とが削除された前記２値文書画像を領域分割する領域分割手段と、
この領域分割手段による領域分割結果から先に抽出された前記非文字要素に含まれる罫線と前記表の枠線とを削除する非文字要素再削除手段と、
この非文字要素再削除手段により前記非文字要素に含まれる罫線と前記表の枠線とが再度削除された領域分割結果の２値文書画像から連結成分を抽出する連結成分抽出手段と、
この連結成分抽出手段により抽出された各連結成分を領域分割結果として出力する領域分割結果出力手段と、
を備えることを特徴とする画像形成装置。
【請求項１０】
前記領域分割手段は、前記２値文書画像の背景部分において、それ以上拡張すると内部に黒画素を含んでしまうような極大白矩形系列を抽出する極大白矩形系列抽出手段と、この極大白矩形系列抽出手段により抽出された極大白矩形系列をセパレータとしてその領域を少なくとも１以上の部分領域に分割して抽出する手段と、を備えることを特徴とする請求項６ないし９のいずれか一記載の画像形成装置。
【請求項１１】
文書画像のレイアウト解析処理をコンピュータに実行させるプログラムであって、前記コンピュータに、
前記文書画像を２値化して２値文書画像を生成する２値化機能と、
この２値化機能により生成された前記２値文書画像から非文字要素を抽出する非文字要素抽出機能と、
この非文字要素抽出機能により抽出された前記非文字要素を前記２値文書画像から削除する非文字要素削除機能と、
この非文字要素削除機能により前記非文字要素が削除された前記２値文書画像を領域分割する領域分割機能と、
この領域分割機能による領域分割結果から先に抽出された前記非文字要素に含まれる罫線を削除する非文字要素再削除機能と、
この非文字要素再削除機能により前記非文字要素に含まれる罫線が再度削除された領域分割結果の２値文書画像から連結成分を抽出する連結成分抽出機能と、
この連結成分抽出機能により抽出された各連結成分を領域分割結果として出力する領域分割結果出力機能と、
を実行させることを特徴とするプログラム。
【請求項１２】
文書画像のレイアウト解析処理をコンピュータに実行させるプログラムであって、前記コンピュータに、
前記文書画像から非文字要素を抽出する非文字要素抽出機能と、
前記文書画像を２値化して２値文書画像を生成する２値化機能と、
この２値化機能により生成された前記２値文書画像から前記非文字要素抽出機能により抽出された前記非文字要素を削除する非文字要素削除機能と、
この非文字要素削除機能により前記非文字要素が削除された前記２値文書画像を領域分割する領域分割機能と、
この領域分割機能による領域分割結果から先に抽出された前記非文字要素に含まれる罫線を削除する非文字要素再削除機能と、
この非文字要素再削除機能により前記非文字要素に含まれる罫線が再度削除された領域分割結果の２値文書画像から連結成分を抽出する連結成分抽出機能と、
この連結成分抽出機能により抽出された各連結成分を領域分割結果として出力する領域分割結果出力機能と、
を実行させることを特徴とするプログラム。
【請求項１３】
文書画像のレイアウト解析処理をコンピュータに実行させるプログラムであって、前記コンピュータに、
前記文書画像を２値化して２値文書画像を生成する２値化機能と、
この２値化機能により生成された前記２値文書画像から非文字要素を抽出する非文字要素抽出機能と、
前記２値化機能により生成された前記２値文書画像から表の枠線を抽出する表枠線抽出機能と、
前記非文字要素抽出機能により抽出された前記非文字要素と前記表枠線抽出機能により抽出された前記表の枠線とを前記２値文書画像から削除する非文字要素削除機能と、
この非文字要素削除機能により前記非文字要素と前記表の枠線とが削除された前記２値文書画像を領域分割する領域分割機能と、
この領域分割機能による領域分割結果から先に抽出された前記非文字要素に含まれる罫線と前記表の枠線とを削除する非文字要素再削除機能と、
この非文字要素再削除機能により前記非文字要素に含まれる罫線と前記表の枠線とが再度削除された領域分割結果の２値文書画像から連結成分を抽出する連結成分抽出機能と、
この連結成分抽出機能により抽出された各連結成分を領域分割結果として出力する領域分割結果出力機能と、
を実行させることを特徴とするプログラム。
【請求項１４】
文書画像のレイアウト解析処理をコンピュータに実行させるプログラムであって、前記コンピュータに、
前記文書画像から非文字要素を抽出する非文字要素抽出機能と、
前記文書画像から表の枠線を抽出する表枠線抽出機能と、
前記文書画像を２値化して２値文書画像を生成する２値化機能と、
この２値化機能により生成された前記２値文書画像から前記非文字要素抽出機能により抽出された前記非文字要素と前記表枠線抽出機能により抽出された前記表の枠線とを削除する非文字要素削除機能と、
この非文字要素削除機能により前記非文字要素と前記表の枠線とが削除された前記２値文書画像を領域分割する領域分割機能と、
この領域分割機能による領域分割結果から先に抽出された前記非文字要素に含まれる罫線と前記表の枠線とを削除する非文字要素再削除機能と、
この非文字要素再削除機能により前記非文字要素に含まれる罫線と前記表の枠線とが再度削除された領域分割結果の２値文書画像から連結成分を抽出する連結成分抽出機能と、
この連結成分抽出機能により抽出された各連結成分を領域分割結果として出力する領域分割結果出力機能と、
を実行させることを特徴とするプログラム。
【請求項１５】
前記領域分割機能は、前記２値文書画像の背景部分において、それ以上拡張すると内部に黒画素を含んでしまうような極大白矩形系列を抽出する極大白矩形系列抽出機能と、この極大白矩形系列抽出機能により抽出された極大白矩形系列をセパレータとしてその領域を少なくとも１以上の部分領域に分割して抽出する機能と、を前記コンピュータに実行させることを特徴とする請求項１１ないし１４のいずれか一記載のプログラム。
【請求項１６】
請求項１１ないし１５のいずれか一記載のプログラムを記憶することを特徴とする記憶媒体。
【請求項１７】
文書画像のレイアウト解析処理を行う画像処理方法において、
前記文書画像を２値化して２値文書画像を生成する２値化工程と、
この２値化工程により生成された前記２値文書画像から非文字要素を抽出する非文字要素抽出工程と、
この非文字要素抽出工程により抽出された前記非文字要素を前記２値文書画像から削除する非文字要素削除工程と、
この非文字要素削除工程により前記非文字要素が削除された前記２値文書画像を領域分割する領域分割工程と、
この領域分割工程による領域分割結果から先に抽出された前記非文字要素に含まれる罫線を削除する非文字要素再削除工程と、
この非文字要素再削除工程により前記非文字要素に含まれる罫線が再度削除された領域分割結果の２値文書画像から連結成分を抽出する連結成分抽出工程と、
この連結成分抽出工程により抽出された各連結成分を領域分割結果として出力する領域分割結果出力工程と、
を含むことを特徴とする画像処理方法。
【請求項１８】
文書画像のレイアウト解析処理を行う画像処理方法において、
前記文書画像から非文字要素を抽出する非文字要素抽出工程と、
前記文書画像を２値化して２値文書画像を生成する２値化工程と、
この２値化工程により生成された前記２値文書画像から前記非文字要素抽出工程により抽出された前記非文字要素を削除する非文字要素削除工程と、
この非文字要素削除工程により前記非文字要素が削除された前記２値文書画像を領域分割する領域分割工程と、
この領域分割工程による領域分割結果から先に抽出された前記非文字要素に含まれる罫線を削除する非文字要素再削除工程と、
この非文字要素再削除工程により前記非文字要素に含まれる罫線が再度削除された領域分割結果の２値文書画像から連結成分を抽出する連結成分抽出工程と、
この連結成分抽出工程により抽出された各連結成分を領域分割結果として出力する領域分割結果出力工程と、
を含むことを特徴とする画像処理方法。
【請求項１９】
文書画像のレイアウト解析処理を行う画像処理方法において、
前記文書画像を２値化して２値文書画像を生成する２値化工程と、
この２値化工程により生成された前記２値文書画像から非文字要素を抽出する非文字要素抽出工程と、
前記２値化工程により生成された前記２値文書画像から表の枠線を抽出する表枠線抽出工程と、
前記非文字要素抽出工程により抽出された前記非文字要素と前記表枠線抽出工程により抽出された前記表の枠線とを前記２値文書画像から削除する非文字要素削除工程と、
この非文字要素削除工程により前記非文字要素と前記表の枠線とが削除された前記２値文書画像を領域分割する領域分割工程と、
この領域分割工程による領域分割結果から先に抽出された前記非文字要素に含まれる罫線と前記表の枠線とを削除する非文字要素再削除工程と、
この非文字要素再削除工程により前記非文字要素に含まれる罫線と前記表の枠線とが再度削除された領域分割結果の２値文書画像から連結成分を抽出する連結成分抽出工程と、
この連結成分抽出工程により抽出された各連結成分を領域分割結果として出力する領域分割結果出力工程と、
を含むことを特徴とする画像処理方法。
【請求項２０】
文書画像のレイアウト解析処理を行う画像処理方法において、
前記文書画像から非文字要素を抽出する非文字要素抽出工程と、
前記文書画像から表の枠線を抽出する表枠線抽出工程と、
前記文書画像を２値化して２値文書画像を生成する２値化工程と、
この２値化工程により生成された前記２値文書画像から前記非文字要素抽出工程により抽出された前記非文字要素と前記表枠線抽出工程により抽出された前記表の枠線とを削除する非文字要素削除工程と、
この非文字要素削除工程により前記非文字要素と前記表の枠線とが削除された前記２値文書画像を領域分割する領域分割工程と、
この領域分割工程による領域分割結果から先に抽出された前記非文字要素に含まれる罫線と前記表の枠線とを削除する非文字要素再削除工程と、
この非文字要素再削除工程により前記非文字要素に含まれる罫線と前記表の枠線とが再度削除された領域分割結果の２値文書画像から連結成分を抽出する連結成分抽出工程と、
この連結成分抽出工程により抽出された各連結成分を領域分割結果として出力する領域分割結果出力工程と、
を含むことを特徴とする画像処理方法。
【請求項２１】
前記領域分割工程は、前記２値文書画像の背景部分において、それ以上拡張すると内部に黒画素を含んでしまうような極大白矩形系列を抽出する極大白矩形系列抽出工程と、この極大白矩形系列抽出工程により抽出された極大白矩形系列をセパレータとしてその領域を少なくとも１以上の部分領域に分割して抽出する工程と、を含むことを特徴とする請求項１７ないし２０のいずれか一記載の画像処理方法。
【図１】
【図２】
【図３】
【図４】
【図５】
【図６】
【図７】
【図８】
【図９】
【図１０】
【図１１】
【図１２】
【図１３】
【図１４】
【図１５】
【図１６】
【図１７】
【図１８】
【図１９】
【図２０】
【図２１】
【図２２】
【図２３】
【図２】
【図３】
【図４】
【図５】
【図６】
【図７】
【図８】
【図９】
【図１０】
【図１１】
【図１２】
【図１３】
【図１４】
【図１５】
【図１６】
【図１７】
【図１８】
【図１９】
【図２０】
【図２１】
【図２２】
【図２３】
【公開番号】特開２００６−２５３８４２（Ｐ２００６−２５３８４２Ａ）
【公開日】平成１８年９月２１日（２００６．９．２１）
【国際特許分類】
【出願番号】特願２００５−６４５１３（Ｐ２００５−６４５１３）
【出願日】平成１７年３月８日（２００５．３．８）
【出願人】（０００００６７４７）株式会社リコー (37,907)
【Ｆターム（参考）】
【公開日】平成１８年９月２１日（２００６．９．２１）
【国際特許分類】
【出願日】平成１７年３月８日（２００５．３．８）
【出願人】（０００００６７４７）株式会社リコー (37,907)
【Ｆターム（参考）】
[ Back to top ]