歪み文書画像を補正する方法及びシステム
【課題】歪み文書画像における幾何学的変形を補正する方法及びシステムを提供する。
【解決手段】歪み文書画像の垂直消失点を検出する垂直消失点検出ステップＳ３１０と、検出された垂直消失点から開始する垂直線を使用して前記歪み文書画像の領域全体を複数の画像ストライプに分割する画像分割ステップＳ３２０と、前記画像ストライプの各々に対する水平消失点を検出する水平消失点検出ステップＳ３３０と、前記画像ストライプの水平消失点及び垂直消失点を使用して歪み文書画像と補正文書画像との間のマッピング関係を記述する歪みモデルを確立する歪みモデル生成ステップＳ３４０と、モデルに基づいて補正文書画像を生成する補正ステップＳ３５０とを含む。歪みモデルに従って、幾何学的歪みは容易に且つ効果的に補正可能である。
【解決手段】歪み文書画像の垂直消失点を検出する垂直消失点検出ステップＳ３１０と、検出された垂直消失点から開始する垂直線を使用して前記歪み文書画像の領域全体を複数の画像ストライプに分割する画像分割ステップＳ３２０と、前記画像ストライプの各々に対する水平消失点を検出する水平消失点検出ステップＳ３３０と、前記画像ストライプの水平消失点及び垂直消失点を使用して歪み文書画像と補正文書画像との間のマッピング関係を記述する歪みモデルを確立する歪みモデル生成ステップＳ３４０と、モデルに基づいて補正文書画像を生成する補正ステップＳ３５０とを含む。歪みモデルに従って、幾何学的歪みは容易に且つ効果的に補正可能である。
【発明の詳細な説明】
【技術分野】
【０００１】
本発明は、歪み文書画像を補正する方法及びシステムに関し、特に、デジタルカメラにより書籍又は製本された文書から得られる歪み文書画像を補正する方法及びシステムに関する。
【背景技術】
【０００２】
デジタルカメラは、消費者の消耗品としてだけでなく、ビジネス及び専門技術等の分野における便利なツールとして益々人気が高まってきている。ＯＣＲ（光学文字認識）分野に対して、デジタルカメラは文書撮像装置であるスキャナに潜在的に代わる可能性を提供する。しかし、現在のＯＣＲ技術は、主に平坦な文書のデジタル走査済画像用に設計されており、カメラにより撮影された一般的な文書画像を処理できない。
【０００３】
スキャナにより取り込まれた画像は、前方から直視してほぼ０度の視野角を有し、一般的に平坦であるため、透視又は反りの問題のために起こる幾何学的歪みが殆どない。しかし、デジタルカメラにより書籍や他の種類の製本された文書の画像を取り込む場合、多少の非ゼロの視野角を有し、書籍や製本された文書はそれらの厚さに依存する特定の反りを有する。その結果、デジタルカメラにより撮影された文書画像は、透視及び反りの問題により起こる幾何学的歪みの悪影響を受ける。図８に、透視及び反りの問題によって起こる明らかな歪みを含むデジタルカメラにより撮影された文書画像の一例を示す。そのような歪み文書画像がＯＣＲ動作に対して直接使用される場合、認識精度は低くなる。
【０００４】
歪み文書画像の歪みを補正する多くの方法が提案されている。１つのカテゴリの方法は、歪みを補正するために特別な３Ｄ走査機器を使用する。非特許文献１における方法によると、文書の３Ｄ表面に２Ｄ光ネットワークを投影するためにレーザプロジェクタが使用され、メッシュが文書の３Ｄ表面を表すために作られ、展開可能なメッシュに直接平坦化されるか又は変換される。
【０００５】
或いは、表面の３Ｄ形状は文書画像から推定される。３Ｄ形状を推定するパラメトリック法及び形状推定処理を回避するノンパラメトリック法が存在する。
【０００６】
非特許文献２において、書籍の３Ｄ表面モデルをシミュレートするための円筒及び平面の組合せを使用する方法が紹介されたが、このモデルに関するパラメータを推定する方法及び歪みを補正する際にモデルを使用する方法に関する問題は解決されないままである。更にこの方法は、特別な機器が使用される必要があるため高価である。また、この方法はスキャナにより走査される画像にも適用可能である。
【０００７】
非特許文献３において紹介された方法によると、文書の画像の各点の文書の奥行きは、奥行き画像を作成するようにある特定のステレオビジョン方法により取得され、奥行き画像に従って文書の画像を平面に修正する。任意の種類の画像歪みが修正されると考えられるが、奥行き画像により規定される文書のノイズのある粗い表面上の点を平面上の点にマップする方法は依然として問題である。
【０００８】
非特許文献４において、製本された書籍の走査済画像は、文字セグメンテーション処理により修正される。陰になっている文字（表面が丸まっている）はセグメント化され、それらの文字の向き及び元の場所が推定され、文字はそれに従って調整される。
【０００９】
カメラにより取り込まれた製本された文書の画像を修正するモデルを使用する方法は、非特許文献５において提案された。文書の表面は、一般柱面により表される。折れ等の他の反りの種類が処理できないことは明らかである。
【００１０】
一般に、文書画像が透視の問題に起因する歪みのみを有する場合、ページのエッジの方向の情報は、文字の方向を近似するために使用される。しかし、透視の問題だけでなく反りの問題によっても歪みが起きる場合、ある１ページの文字は異なる方向に異なる歪みを有するため、上記近似の方法は効果的ではない。
【００１１】
従って、カメラにより撮影された文書画像に必ず伴う反り及び透視の問題による画像中の歪みに対処でき且つ実現するのに容易で効果的である技術が必要とされる。
【先行技術文献】
【非特許文献】
【００１２】
【非特許文献１】A. Doncescu、A. Bouju、V. Quilletによる「Former Books Digital Processing: Image Warping」Proc. Workshop of Document Image Analysis、ページ5-9、1997年
【非特許文献２】T. Kanungo、R. Haralick、I. Philipsによる「Global and Local Document Degradation Models」in Proc. 2nd International Conference on Document Analysis and Recognition、1993年
【非特許文献３】M. S. Brown、W. B. Sealesによる「Document Restoration Using 3D Shape: a General Deskewing Algorithm for Arbitrarily Warped Documents」Proc. International Conference on Computer vision、2001年7月
【非特許文献４】Z. Zhang、C. L. Tanによる「Restoration of Images Scanned from Thick Bound Documents」in Proc. 6th International Conference on Document Analysis and Recognition、2001年
【非特許文献５】Huaigu Cao、Xiaoqing Ding、Changsong Liuによる「Rectifying the Bound Document Image Captured by the Camera: A Model Based Approach」Proceedings of the Seventh International Conference on Document Analysis and Recognition (ICDAR 2003)
【発明の概要】
【発明が解決しようとする課題】
【００１３】
上述の従来技術に存在する技術的問題を考慮して、歪み文書画像を補正する新しい方法が提供される。本発明は、自然に開かれた書籍又は自然に開かれた用紙束に常に存在する湾曲した文書ページがテキスト行の方向に垂直に又は綴じる方向に平行に拡張し且つテキスト行の方向に配置されるプレーナストライプのグループにより近似されるという基本概念に基づく。即ち、これらの画像ストライプは、少なくとも１行の垂直行を含む歪み文書画像を分割することにより得られる。各ストライプにおいて、反りは無視され、透視による歪みが主要な歪みになる。従って、複素非線形問題は、複数のより単純な局所線形問題に変換される。本発明は、テキスト行の局所的な向き及び垂直な文字ストロークである２つの重要なテキストの特徴に更に基づく。それらの特徴は、局所線形歪みを識別するのに使用される。
【００１４】
本発明は、いかなる補助デバイスも必要とせず、製本、折れ及び透視により起こる歪み等の広範な歪みの種類に対処できる。尚、本発明は主にデジタルカメラにより撮影された文書画像の歪みを補正することを目的とするが、本発明は、フラットベッドスキャナにより走査された厚い書籍の文書画像等の他のデバイスから入力される文書画像を補正する際に適用可能である。
【課題を解決するための手段】
【００１５】
本発明の１つの態様によると、原稿の歪み文書画像における幾何学的変形を補正する方法であって、
前記原稿のテキスト行に直角な垂直方向の消失点である前記歪み文書画像の垂直消失点を検出する垂直消失点検出ステップと、
前記検出された垂直消失点から開始する垂直線を使用して前記歪み文書画像の領域全体を複数の画像ストライプに分割する画像分割ステップと、
前記原稿の前記垂直方向に直角な水平方向の消失点である前記画像ストライプの各々に対する水平消失点を検出する水平消失点検出ステップと、
前記画像ストライプの前記水平消失点及び前記垂直消失点を使用して前記歪み文書画像と補正文書画像との間のマッピング関係を記述する歪みモデルを確立する歪みモデル生成ステップと、
前記モデルに基づいて補正文書画像を生成する補正ステップと、
を有することを特徴とする方法が提供される。
【００１６】
本発明の別の態様によると、原稿の歪み文書画像における幾何学的変形を補正するシステムであって、
前記原稿のテキスト行に直角な垂直方向の消失点である前記歪み文書画像の垂直消失点を検出する垂直消失点検出手段と、
前記検出された垂直消失点から開始する垂直線を使用して前記歪み文書画像の領域全体を複数の画像ストライプに分割する画像分割手段と、
前記原稿の前記垂直方向に直角な水平方向の消失点である前記画像ストライプの各々に対する水平消失点を検出する水平消失点検出手段と、
前記画像ストライプの前記水平消失点及び前記垂直消失点を使用して前記歪み文書画像と補正文書画像との間のマッピング関係を記述する歪みモデルを確立する歪みモデル生成手段と、
前記モデルに基づいて補正文書画像を生成する補正手段と、
を有することを特徴とするシステムが提供される。
【００１７】
本発明の更なる特徴的な機能及び利点は、図面を参照し、以下の説明を読むことにより明らかとなるだろう。
【００１８】
本明細書に取り入れられ且つ本明細書の一部を構成する添付の図面は、本発明の実施形態を示し、説明と共に本発明の原理を説明するものである。
【図面の簡単な説明】
【００１９】
【図１】本発明に従って歪み文書画像を補正するシステムを実現するための演算装置の構成を示すブロック図である。
【図２】本発明の一実施形態に従って各モジュール手段から構成される歪み文書画像を補正するシステムの一般的な構成を示すブロック図である。
【図３】本発明に従って歪み文書画像を補正する方法を実現する一般的な処理を示すフローチャートである。
【図４】本発明の一実施形態に従って垂直消失点を検出する例示的な処理を示すフローチャートである。
【図５】消失点を計算する方法を示すために、線分とその線分の中点及び交点をつなぐ線とにより規定される交差角度を示す図である。
【図６】本発明に従ってテキスト行の曲線の位置を特定する例示的な処理を示すフローチャートである。
【図７】歪み文書画像がメッシュモデルのグリッドの補正文書画像にマップされる方法を示す概略図である。
【図８】カメラにより書籍の１ページから撮影された一般的な文書画像の一例を示す図である。
【図９】図８に示す文書画像から導出される例示的なエッジ画像を示す図である。
【図１０】（ａ）は、図９に示すエッジ画像に対して回転、圧縮及びランレングス平滑化アルゴリズムを実行することにより取得される例示的なエッジ画像を示す図であり、（ｂ）は、（ａ）に示す画像から抽出される中間の高さの点により構成される例示的な画像を示す図である。
【図１１】図９に示すエッジ画像から水平ストロークのエッジを除去することにより取得される垂直ストロークにより構成される例示的なエッジ画像を示す図である。
【図１２】図１１に示すエッジ画像から抽出された垂直ストロークの連結成分を見つけることにより取得される例示的な画像を示す図である。
【図１３】本発明の一実施形態に係る方法により構成されるメッシュと共に図９の文書画像を示す図である。
【図１４】本発明に係る歪み補正方法による例示的な補正文書画像を示す図である。
【図１５】メッシュが構成される方法を説明するために使用する図である。
【発明を実施するための形態】
【００２０】
本発明の実施形態について、図面を参照して以下に詳細に説明する。
【００２１】
本発明の説明及び請求の範囲において、特に、歪み文書画像において使用される場合、「水平」又は「ｘ方向」という用語はほぼ水平を意味し、「垂直」又は「ｙ方向」という用語はほぼ垂直を意味する。特に、「歪み文書画像」で使用される「水平」という用語は、対応する補正文書画像又は原稿のテキスト行に平行な方向にあることを意味する。例えば、「水平線」という用語は、その線に対応する補正平面画像（又は原稿）の線が補正平面画像（又は原稿）のテキスト行と水平であることを意味する。同様に、歪み文書画像における「垂直」という用語は、対応する補正文書画像又は原稿のテキスト行に垂直であることを意味する。例えば、「垂直ストローク」という用語は、そのストロークが補正平面画像（又は原稿）のテキスト行に垂直であることを意味する。
【００２２】
本発明の説明において、「左」及び「右」という用語は、普段書籍又は文書を読む時と同様の通常の方法でページを閲覧する際の左側及び右側を示す。
【００２３】
本発明の説明において、特に指示のない限り、全てのサイズ（長さ又は幅等）は、「画素」単位である。例えば、Ｌ＜５は、Ｌが５画素より少ないことを意味する。
【００２４】
図１は、本発明に従って歪み文書画像を補正するシステムを実現するための演算装置の構成を示すブロック図である。簡潔にするために、システムは単一の演算装置に内蔵されるように示される。しかし、システムは、単一の演算装置に内蔵されるか又はネットワークシステムとして複数の演算装置に内蔵されるかに関わらず効果的である。
【００２５】
図１に示すように、演算装置１００は、歪み文書画像を補正する処理を実現するために使用される。演算装置１００は、ＣＰＵ１０１、チップセット１０２、ＲＡＭ１０３、記憶装置コントローラ１０４、ディスプレイコントローラ１０５、ハードディスクドライブ１０６、ＣＤ−ＲＯＭドライブ１０７及びディスプレイ１０８を含んでも良い。演算装置１００は、ＣＰＵ１０１とチップセット１０２との間に接続される信号線１１１、チップセット１０２とＲＡＭ１０３との間に接続される信号線１１２、チップセット１０２と種々の周辺装置との間に接続される周辺装置バス１１３、記憶装置コントローラ１０４とハードディスクドライブ１０６との間に接続される信号線１１４、記憶装置コントローラ１０４とＣＤ−ＲＯＭドライブ１０７との間に接続される信号線１１５及びディスプレイコントローラ１０５とディスプレイ１０８との間に接続される信号線１１６を更に含んでも良い。
【００２６】
クライアント１２０は、演算装置１００に直接接続されても良く、ネットワーク１３０を介して接続されても良い。クライアント１２０は、演算装置１００に補正タスクを送出しても良く、演算装置１００は、クライアント１２０に補正結果を返しても良い。
【００２７】
図２は、各モジュール手段から構成される歪み文書画像を補正するシステムの一般的な構成を示すブロック図である。
【００２８】
図２に示すように、歪み補正システム２００は、前記歪み文書画像の垂直消失点を検出する垂直消失点検出手段２０１と、検出した垂直消失点から開始する垂直線を使用して前記歪み文書画像の領域全体を複数の画像ストライプに分割する画像分割手段２０３と、前記画像ストライプ毎に水平消失点を検出する水平消失点検出手段２０５と、垂直消失点及び前記画像ストライプの水平消失点を使用して歪み文書画像と補正文書画像との間のマッピング関係を記述する歪みモデルを確立する歪みモデル生成手段２０７と、モデルに基づいて補正文書画像を生成する補正手段２０９とを含んでも良い。垂直消失点検出手段２０１は、歪み文書画像から文字の複数の垂直ストロークを抽出する垂直ストローク抽出手段２０１１と、複数の垂直直線線分により前記垂直ストロークをフィッティングする垂直直線線分フィッティング手段２０１３と、垂直直線線分の最適な収束点を探索することにより垂直直線線分から垂直消失点を計算する垂直最適収束点計算手段２０１５とを含むのが好ましい。垂直最適収束点計算手段２０１５は、前記垂直直線線分の任意の２つの間の交点を計算する交点計算手段２０１５−１と、交差角度の正弦の２乗の合計を最小にする最適な収束点として前記交点のうち１つの交点を選択する最適点選択手段２０１５−２とを含むのが好ましい。水平消失点検出手段２０５は、前記歪み文書画像からテキスト行の方向に沿ってテキスト行の曲線の位置を特定するテキスト行曲線位置特定手段２０５１と、画像ストライプに存在するテキスト行曲線の断片を抽出する断片抽出手段２０５２と、水平直線線分によりテキスト行曲線の前記断片をフィッティングする水平直線線分フィッティング手段２０５３と、水平直線線分の最適な収束点を探索することにより前記水平直線線分から水平消失点を計算する水平最適収束点計算手段２０５４とを含むのが好ましい。水平最適収束点計算手段２０５４は、前記水平直線線分の任意の２つの間の交点を計算する交点計算手段２０５４−１と、交差角度の正弦の２乗の合計を最小にする最適な収束点として前記交点のうち１つの交点を選択する最適点選択手段２０５４−２とを含むのが好ましい。テキスト行曲線位置特定手段２０５１は、歪み文書画像の文字の画素に対する中間の高さの点を抽出する中間高さ点抽出手段２０５１−１と、前記中間の高さの点を使用することによりテキスト行の文字の中間の高さにわたるテキスト行曲線の位置を特定するテキスト行曲線位置特定手段２０５１−２とを含むのが好ましい。
【００２９】
上記手段は、以下に説明する処理を実現する例示的で好適なモジュールである。種々のステップを実現するモジュールについては、網羅的に上述されていない。しかし、ある特定の処理を実行するステップが存在する場合、対応する機能性モジュール又は同一の処理を実現する手段が存在する。
【００３０】
図３は、本発明に従って歪み文書画像を補正する方法を実現する処理を示すフローチャートである。図８に、カメラにより書籍のページから撮影された一般的な文書画像の一例を示す。図８に示すように、反り及び透視の問題による明らかな歪みがある。
【００３１】
ステップＳ３１０において、垂直文字ストロークの向きは垂直消失点を検出するために利用される。消失点の意味を以下に説明する。互いに平行である平面の全ての直線は、理論上、それらの直線がどのように拡張するかに関わらず互いに交差することはない。一方で、平面が非ゼロ視野角で３次元空間に配置される場合、最初に互いに平行であった線は平行であるようには見えなくなり、理論上それらの全ての線のうち拡張した線は１つの点で交わる。平面の互いに平行である線が非ゼロ視野角で３次元空間において互いに交わる点は消失点と呼ばれる。従って、平面の垂直線が非ゼロ視野角で３次元空間において互いに交わる点は垂直消失点と呼ばれる。同様に、平面の水平線が非ゼロ視野角で３次元空間において互いに交わる点は水平消失点と呼ばれる。「水平」及び「垂直」という用語は先に規定した。殆どの場合、製本された書籍の自然な反りは、綴じ線に平行な方向又はテキスト行に垂直な方向に拡張する。従って、１つの撮影された画像に対して垂直消失点は１つのみ存在する。Barnard, S.T.による「Interpreting Perspective Images」Artificial Intelligence、vol. 21、435-462ページ、1983年において開示されるガウス球面を使用する方法及びVirginio Cantoni、Luca Lombardi、Marco Porta、Nicolas Sicardによる「Vanishing Point Detection: Representation Analysis and New Approaches」Proceedings of the 11th International Conference on Image Analysis & Processingにおいて開示される極空間におけるＨｏｕｇｈ変換蓄積に基づく方法等の消失点を検出する多くの周知の方法がある。
【００３２】
ステップＳ３１０で垂直消失点が判定された後、ステップＳ３２０において、垂直消失点から発生して画像領域にわたる垂直線のグループが導出され、画像領域全体を水平方向に沿って配置される複数のプレーナストライプに分割する。
【００３３】
ステップＳ３３０において、画像ストライプに対する水平消失点が検出される。
【００３４】
ステップＳ３４０において、画像ストライプ並びに対応する水平消失点及び垂直消失点から、歪み文書画像の歪み全体を記述するモデルが構成される。垂直消失点及び水平消失点が判定された後、透視特性及び反り特性の双方が判定される。従って、テキスト行、文字ストローク及びページのエッジ等の種々の文書特徴は、そのようなモデルを構成するために使用される。
【００３５】
最後のステップＳ３５０において、補正文書画像が上記構成されたモデルを使用して生成される。
【００３６】
以下は、歪み文書画像の歪みを補正する本発明に係る例示的な一実施形態である。
【００３７】
最初のステップＳ３１０において、垂直消失点を検出するために垂直文字ストロークの向きが利用される。ステップＳ３１０を実行する詳細なステップについては、図４を参照して以下に説明する。
【００３８】
図４は、ステップＳ３１０において垂直消失点を検出する処理を示すフローチャートである。
【００３９】
ステップＳ４１０において、画像の前景物体のエッジが検出される。エッジを検出するために、本明細書においてソーベル演算子、Ｃａｎｎｙ演算子等の種々の一般的な輪郭検出技術が適用される。出力はエッジ画像及びエッジ角度画像である。エッジ角度画像は、検出されたエッジ画素毎に傾斜角に関する情報を有する。画素の傾斜角は、画素の階調値の変更方向を示す角度である。即ち、画素の傾斜角は、階調が隣接する画素からその画素に変更する方向を示す。図９に、図８に示す文書画像の例示的なエッジ画像を示す。各文字のエッジが抽出されることが分かる。
【００４０】
ステップＳ４２０において、エッジ画像は垂直文字ストロークを選ぶように以下の方法により処理される。デジタルカメラにより撮影される文書は、適切に配置されない可能性があるため、特定のスキューが導入される可能性が非常に高い。スキューの角度を検出するために、本明細書において、例えばYue Lu、Chew Lim Tanによる「A Nearest-Neighbour Chain Based Approach to Skew Estimation in Document Images」Pattern Recognition letters 24（2003年）、2315-2323ページにおいて提案される最近傍法又は投影を用いた方法等の２値画像におけるスキューの角度を検出する種々の既存の方法が使用される。必要なことはスキューの角度からテキスト行の大まかな方向を取得することだけであるため、検出したスキューの角度が必ずしも非常に正確である必要はない。
【００４１】
垂直ストロークに属さないエッジの画素は、自身の傾斜方向とスキューの角度とを比較することにより除去される。θｉはエッジの（ｘｉ，ｙｉ）に位置付けられる画素の傾斜角であり、θは文書のスキューの角度であることを示す。｜θｉ−θ｜が所定の閾値より大きい場合、画素は除去されるべきである。尚、（ｘｉ，ｙｉ）は、歪み文書画像に対して確立されたデカルト座標系における座標である。図１１に、図９に示すエッジ画像から水平ストロークのエッジの画素を除去することによって取得される例示的なエッジ画像を示す。
【００４２】
ステップＳ４３０において、垂直ストローク候補がステップＳ４２０で取得されたエッジ画像において連結成分を探索することにより見つけられる。連結成分は画素の集合を意味し、各画素はその集合中の少なくとも別の画素と結合する。画素が別の画素の特定の近傍（例えば、前記別の画素から水平方向に３画素及び垂直方向に４画素内の近傍）内にある場合、２つの画素が「連結される」と考えられる。画素から連結成分を探索する従来技術において周知の多くのアルゴリズムが存在する。例えば、探索戦略は、まず画像の下側から開始点を選択し、垂直方向に上側に向かって黒画素を探索する。上述の近傍内で次の前景画素が常に黒画素から探索される。尚、近傍のサイズは、実際の要件に従って当業者により任意に選択可能である。消失点の計算の目的で、長さＬが特定の所望の範囲（例えば、12＜L150）にある主要な連結成分のみが考慮されるのが好ましい。即ち、この範囲内にない長さを有する連結成分は除去又は無視されるのが好ましい。尚、上記範囲の数字は単なる例示であり、当業者は設計要件又は実際の原稿の状態に従って、この範囲を任意に選択しても良い。図１２に、抽出された垂直ストロークの連結成分を図１１に示すエッジ画像から見つけることにより取得される例示的な画像を示す。
【００４３】
見つけられた連結成分毎に、線は原点からの距離ρ及び角度θによってフィッティングされ、パラメータ化される。
【００４４】
【数１】
【００４５】
式中、ｘ及びｙは、デカルト座標系における線上の点のｘ座標及びｙ座標であり、θ及びρはフィッティング中に判定される２つのパラメータである。
【００４６】
取得された各連結成分は、同様の傾斜の向きを有するエッジ画素（ｘｉ，ｙｉ）のグループであり、（ｘｉ，ｙｉ）はデカルト座標系における連結成分のｉ番目の画素の座標であり、ｉ＝１，２，３…である。線パラメータは、エッジ画素に関連する行列Ｄの固有値λ１及びλ２、並びに固有ベクトルｖ１及びｖ２から直接判定される。行列Ｄは以下のように規定される。
【００４７】
【数２】
【００４８】
行列の固有値及び固有ベクトルを評価する処理は従来技術において周知であるため、本明細書において、行列Ｄの固有値λ１及びλ２、並びに固有ベクトルｖ１及びｖ２を取得する詳細な処理は省略する。理想的な線の場合、固有値の１つがゼロであるべきである。ラインフィッティングの品質は、行列Ｄの２つの固有値の比、即ち、ｖ＝λ１／λ２により特徴付けられる。線パラメータは固有ベクトルｖ１及びｖ２から判定され、ｖ１は最大の固有値と関連付けられる固有ベクトルである。線パラメータは以下のように計算される。
【００４９】
【数３】
【００５０】
ｖ１（１）はｖ１の第１次元であり、ｖ１（２）はｖ１の第２次元である。上記式によると、線のパラメータθ及びρが取得され、それにより垂直ストロークに対する連結成分の各々をフィッティングする垂直直線線分は取得される。
【００５１】
ステップＳ４４０において、それらの垂直直線線分の最適収束点を探索することにより、垂直消失点が取得される。複数の線の最適収束点を推定する際に利用可能である種々の既存の技術が存在する。以下は、それらの垂直直線線分の最適収束点を推定する例示的な処理である。最初に、前記線分のうち任意の２つの線分の間の交点が垂直消失点（ｘ０ｊ，ｙ０ｊ）、ｊ＝１，２，３…の候補集合として計算される。その後、統計的方法が使用され、結果として得られる垂直消失点として交点のグループから最適な収束点を選択する。垂直消失点は、例えば関数Ｆ（ｊ）を最小にする交点（ｘ０ｊ，ｙ０ｊ）のうちの１つの点であっても良い。
【００５２】
【数４】
【００５３】
直感的な表現については図５を参照。尚、ステップＳ４４０に対する上記説明は例示するだけのものであり、本発明の範囲を限定する意図はない。上述したように、複数の線の消失点を取得する周知の技術が多く存在し、消失点を取得する方法は上述の方法に限定されない。
【００５４】
垂直消失点がステップＳ３１０で判定された（例えば、Ｓ４１０〜Ｓ４４０の上述したサブステップを使用することにより）後、ステップＳ３２０において、垂直消失点から発生し且つ画像領域にわたる垂直線のグループが導出され、画像領域全体を水平方向に沿って配置される複数のプレーナストライプに分割する。例えばこの分割は、基本的に以下の１つ以上の例示的な基準に基づく。
（１）各スプライトにおける単一のテキスト行曲線の長さは特定の範囲［Ｌ１，Ｌ２］内である。Ｌ１及びＬ２は、例えば文書画像における平均文字サイズに従って判定される値である。
（２)処理される画像が２ページにわたる場合、ステイプル又は綴じ線はそれらの垂直線のうちの１つである。
（３)画像が２列以上を含む場合、隣接する列の間に前記垂直線のような分離線が存在する。
（４)ページの中央部分においてはストライプはより狭くなり、ページの左側及び右側においてはストライプはより広くなる。
（５）各ストライプは、ほぼ平坦であると考えられる。即ち、１つのストライプは水平消失点を１つのみ有する。平坦であることの基準は、実際の要件及び予想されるＯＣＲ精度に依存しても良い。
【００５５】
上記基準は、分割されたストライプが正確な水平消失点を計算するのに十分に広いことを保証し、それと同時にストライプが十分に平坦であることを保証する。
【００５６】
尚、上記基準は単なる例示であり、本発明の保護範囲を限定する意図はない。当業者は、１つ以上の上記基準を採用してもよく、あるいは画像領域を分割するための他の基準を設計できる。画像領域の分割方法に関する基準は、実際の要件及び予想されるＯＣＲ精度に依存する。
【００５７】
ステップＳ３３０において、画像ストライプ毎の水平消失点が検出される。一般に書籍の紙が水平方向に沿って変動するため、各画像ストライプの水平消失点は異なる。即ち、各画像ストライプは自身の水平消失点を有する。
【００５８】
以下は、画像ストライプ毎に水平消失点を取得する例示的な処理である。
【００５９】
最初に、各テキスト行の中間の高さにわたる曲線は、ステップＳ４１０において抽出されるようなエッジ画像から検出される。詳細には、文字の中間の高さの点が抽出され、テキスト行の曲線の位置は、連結成分解析を使用することにより中間の高さの点から特定される。テキスト行の曲線は、水平方向に沿って歪み情報を指定するのに十分に正確である。
【００６０】
図６に、テキスト行の曲線の位置を特定するための詳細なフローチャートを示す。尚、図６の処理は、単なる例示的で好適な例である。当業者には、エッジ画像から種々のテキスト行の曲線の位置を特定する種々の方法が周知である。
【００６１】
ステップＳ６１０において、ステップＳ４１０で抽出されるようなエッジ画像である２値画像が、例えばアフィン変換演算により変換され、新しい２値画像Ｉ１が生成される。アフィン変換演算は、前記２値画像を上述のスキューの角度だけ回転させてほぼ垂直に見えるようにし、水平圧縮率Ｎが垂直圧縮率Ｍより大きい「ＯＲ」法により回転された画像を圧縮する処理と同等である。「ＯＲ」法は、圧縮画像上の画素に対応する非圧縮画像上のＮ×Ｍ画像ブロックに対して、画像ブロック中に少なくとも１つの黒画素が存在する場合に圧縮画像上の対応する画素が黒色として設定されることを意味する。回転の目的は、テキスト行を十分に水平にすることであり、圧縮の主な目的は、文字の間隔をにじませ、テキスト行毎に「ベタ」テキストブロックを得ることである。「ベタ」テキストブロックにおいて文字の中間の高さの点を探索するのははるかに容易である。
【００６２】
適切な「ベタ」効果を達成するために、且つそれと同時に隣接するテキスト行を混合しないように、垂直圧縮率Ｍは、Ｍにより分割された原画像の高さが所定の値（例えば、５１２）より大きくないことを満足する最小の正の整数として指定される。更に垂直圧縮率Ｍは、検出される文字の平均高さに従って割り当てることができる。例えば、検出される文字の平均高さがＨである場合、ＭはＨ／８として割り当てられても良い。水平圧縮率Ｎは３＊Ｍとして指定可能である。
【００６３】
ステップＳ６２０において、テキスト行に対するより適切な「ベタ」効果を得るために、２値画像Ｉ１は、水平方向にランレングス平滑化アルゴリズム（ＲＬＳＡ）を実行し且つその後、垂直方向にＲＬＳＡを実行することにより平滑化される。ランは、互いに間に空間（白画素）を有さない連続するＮ画素の一部を意味する。ランレングス平滑化アルゴリズムは、長さ（画素数）を特徴とするパラメータにより特徴付けられ、２つの画素間の距離がその長さより短い場合に、２つの画素間の画素が全て「黒色」でレンダリングされるか、或いは換言すると、２つの画素はランレングス平滑化アルゴリズムに従って「連続している」と考えられる。このパラメータは、２と４との間の値として選択可能である。ランレングス平滑化アルゴリズムには、「ほぼ」連続した線又は曲線を識別するように、合わせて短い距離を有する画素を通信する効果がある。図１０の（ａ）に、上述したように図９のエッジ画像に対して回転、圧縮及びランレングス平滑化アルゴリズムを行うことにより取得される例示的なエッジ画像を示す。
【００６４】
次のステップＳ６３０において、黒ランは、２値画像Ｉ１上で垂直方向に沿って見つけられる。文字に属さない黒ランは、短すぎるラン又は長すぎるランを除去することにより廃棄される。Ｈ１及びＨ２は、例えばアフィン変換後の文書において最小である可能性のあるテキストの高さ及び最大である可能性のあるテキストの高さとしてそれぞれ指定される。黒ランの長さがＨ１より短い場合又はＨ２より長い場合、その黒ランは廃棄される。廃棄ステップの後、保持される黒ランの殆どは文字に属する。
【００６５】
ステップＳ６４０において、保持される黒ランの中間の高さの点は、文字の中間の高さの点として抽出される。その後、２値画像Ｉ２は２値画像Ｉ１と同一のサイズで生成される。２値画像Ｉ２において、画素は中間の高さの点に対応する位置で黒色に設定される。図１０の（ｂ）に、図１０の（ａ）の画像から抽出される中間の高さの点により構成される例示的な画像を示す。
【００６６】
ステップＳ６５０において、中間の高さの点を含む２値画像Ｉ２が取得された後、連結成分探索方法を使用することにより曲線が見つけられる。ステップＳ４３０において説明された方法と同様に、探索戦略は、例えば最初に画像の左側から開始点を選択し、右側に向かって水平方向に黒画素を探索することである。方法の実現例において、次の前景画素が、例えば水平方向に４画素及び垂直方向に３画素内で常に黒画素から探索される。
【００６７】
多くの場合、このように取得された曲線は、図１０の（ｂ）に示すように文字ストロークの変動のために平滑ではない。従って、ステップＳ６６０において、ランレングス情報は、曲線を平滑化するために使用されるのが好ましい。例えば各曲線の平均ランレングスＨが計算され、対応するランレングスが［ａ＊Ｈ，ｂ＊Ｈ］の範囲を超える点が除去される。ここで、ａ＜１且つｂ＞１である。曲線が平滑化される限り、ステップＳ６６０において他の平滑化方法も使用可能である。計算の複雑さに対して制限があるか又は精度に対する要件が許す場合、更にステップＳ６６０が省略可能である。
【００６８】
ステップＳ６７０において、テキスト行の曲線の座標は、元のエッジ画像に変換される。この変換演算は、上述のアフィン変換演算の逆演算である。
【００６９】
その後、画像ストライプ毎に、水平消失点が以下のステップにより計算される。
ａ）画像ストライプに位置するテキスト行の曲線の断片を抽出するステップ；
ｂ）水平直線線分によるテキスト行の曲線の各断片をフィッティングするステップ；
ｃ）水平直線線分の最適な収束点を選択することにより、水平垂直線分から水平消失点を計算するステップ。
【００７０】
水平消失点を計算する際に最適な収束点を選択する処理は、例えばステップＳ４４０で垂直消失点を計算する時と同一の処理により実行されても良い。しかし、水平消失点を計算する際に最適な収束点を選択する処理は、消失点が計算できる限り、ステップＳ４４０で垂直消失点を計算する時とは異なる処理において実行されても良い。
【００７１】
ここで図３に戻る。
【００７２】
ステップＳ３４０において、画像ストライプ、並びに対応する水平消失点及び垂直消失点から歪み文書画像を記述するモデルが歪み文書画像と補正文書画像との間のマッピングを記述するために構成される。この例において、モデルはメッシュである。図１５に、メッシュを構成する方法を例示する。図１５に示すように、文書画像Ｐａ−Ｐｂ−Ｐｃ−Ｐｄは実線の曲線で描かれ、左側から右側に順番にＳＴＲＩＰＥ１、ＳＴＲＩＰＥ２及びＳＴＲＩＰＥ３となる３つのストライプに分割される。１つの垂直消失点ＶＶＰ、並びに３つの水平消失点ＨＶＰ１、ＨＶＰ２及びＨＶＰ３は、上述の方法に従って見つけられる。水平消失点ＨＶＰ１、ＨＶＰ２及びＨＶＰ３は、それぞれＳＴＲＩＰＥ１、ＳＴＲＩＰＥ２及びＳＴＲＩＰＥ３に対する水平消失点である。従って、この画像を前記３つのストライプに分割する垂直消失点ＶＶＰから開始する２つの垂直線Ｐｅ−Ｐｆ及びＰｇ−Ｐｈが存在する。ここで、メッシュの水平曲線を考慮する。２つの水平曲線は、この図１５に図示する例において使用される。しかし、水平曲線の数は、予想されたＯＣＲ精度及び要件、並びに処理速度及び計算能力等の条件に依存して決定されても良い。例えば、この画像の左側エッジ上の２つの点は点Ｐ０１１及び点Ｐ０１２として選択される。これらの点は左側エッジを同等に分割するように選択されるのが好ましい。しかし、これは厳密な要件ではない。その後、１本の線は水平消失点ＨＶＰ１から開始して点Ｐ０１１に向かって描かれ、線Ｐｅ−Ｐｆとの交点Ｐ１２１を有するように延長し、１本の線は水平消失点ＨＶＰ１から開始して点Ｐ０１２に向かって描かれ、線Ｐｅ−Ｐｆとの交点Ｐ１２２を有するように延長する。次に、１本の線は水平消失点ＨＶＰ２から開始して点Ｐ１２１に向かって描かれ、線Ｐｇ−Ｐｈとの交点Ｐ２３１を有し、１本の線は水平消失点ＨＶＰ２から開始して点Ｐ１２２に向かって描かれ、線Ｐｇ−Ｐｈとの交点Ｐ２３２を有する。最後に、１本の線は水平消失点ＨＶＰ３から開始して点Ｐ２３１に向かって描かれ、画像の右側エッジとの交点Ｐ３０１を有し、１本の線は水平消失点ＨＶＰ３から開始して点Ｐ２３２に向かって描かれ、画像の右側エッジとの交点Ｐ３０２を有する。結果として、８つの点Ｐ０１１、Ｐ０１２、Ｐ１２１、Ｐ１２２、Ｐ２３１、Ｐ２３２、Ｐ３０１及びＰ３０２が取得される。２つの水平曲線は、点の２つのグループ、即ち、点Ｐ０１１、Ｐ１２１、Ｐ２３１及びＰ３０１のグループと点Ｐ０１２、Ｐ１２２、Ｐ２３２及びＰ３０２のグループとを使用することによりフィッティングされても良い。即ち、一般に水平曲線は、水平消失点の各々と垂直線との交点を計算することにより判定される。尚、上記図示する例において、方法は左側の水平消失点から開始されるが、ある特定のストライプ内の水平曲線の方向がそのストライプに対する水平消失点により判定される限り、任意の１つの水平消失点が開始水平消失点として使用可能である。
【００７３】
図１３に、上述の方法により構成されたメッシュと共に図９の文書画像を示す。図１３に示すように、画像領域全体は、垂直消失点から導出される７本の垂直線により導出される８つのプレーナストライプに分割される。９本の水平曲線のグループは、上述のように水平消失点と垂直線との間の交点を計算することにより判定される。
【００７４】
メッシュが確立された後、歪み文書画像上の点と補正文書画像上の点との間のマッピングはメッシュを参照することにより生成され、その後補正文書画像は前記マッピングを参照することにより取得される。
【００７５】
歪み文書画像上の点と補正文書画像上の点との間のマッピングは、境界補間に基づいて決定される。境界補間法の１つは、C. Strouthopoulos、N. Papamarkos及びC. Chamzasによる「Identification of Text-Only Areas in Mixed-type Documents」Engng Applic. Artif. Intell.、Elsevier Science Ltd、Great Britain、Vol. 10、No. 4、387-401ページ、1997年において説明される。
【００７６】
一例において、図７に示すように、自然３次スプラインは、それらの交点をつなぎ且つメッシュのグリッドを境界曲線Ｃｉ（ｉ＝１，２，３，４）として囲む曲線をフィッティングするために使用される。図７の左下の部分は、上述のように、４つの境界曲線Ｃｉ（ｉ＝１，２，３，４）により囲まれるメッシュの１つのグリッドを示す。これらの境界曲線は、上述のように、垂直消失点及び水平消失点により取得される水平曲線及び垂直線の一部である。図７の右下の部分は、歪み文書画像のグリッドに対応する補正文書画像のグリッドにおけるパラメータ空間ｕ及びｖにわたり規定される補正文書画像を示す。ここで、ｕ∈［０，１］且つｖ∈［０，１］である。水平境界曲線ｃ１及びｃ３は、ｘ座標であるｃｉｘ（ｕ）及びｙ座標であるｃｉｙ（ｕ）（ｉ＝１，３）で表され、垂直境界線ｃ２及びｃ４は、ｘ座標であるｃｉｘ（ｖ）及びｙ座標であるｃｉｙ（ｖ）（ｉ＝２，４）で表される。即ち、補正文書画像の各ｕに対して、歪み文書画像中の水平境界曲線ｃ１及びｃ３上の各点は、(ｃｉｘ（ｕ），ｃｉｙ（ｕ）)（ｉ＝１，３）で表され、補正文書画像の各ｖに対して、歪み文書画像中の垂直境界線ｃ２及びｃ４上の各点は（ｃｉｘ（ｖ），ｃｉｙ（ｖ））（ｉ＝２，４）で表される。
【００７７】
各境界曲線ｃｉ（ｉ＝１，２，３，４）は、ｕ−ｖ空間の直線から成る画像の対応する辺にマップする。例えば、補正文書画像のｕ軸は歪み文書画像中の曲線ｃ１に対応し、補正文書画像のｖ軸は歪み文書画像中の曲線ｃ４に対応する。この場合、補正文書画像中の任意の点（ｕ，ｖ）を歪み文書画像中の境界曲線ｃｉ（ｉ＝１，２，３，４）により囲まれる歪み文書画像中の点（ｃｘ（ｕ，ｖ），ｃｙ（ｕ，ｖ））にマップする方法を記述する２Ｄ関数は、例えば以下のように双線形混合Coonsパッチを使用して提供される。
【００７８】
【数５】
【００７９】
これらの式は、２つの対向する境界曲線（式の第１の項及び第２の項）の線形補間により形成され、補正関数は境界の隅の点（式の第３の項）に基づく。そのような式の更なる詳細については、Zheng Zhang、Chew Lim Tanによる「Correcting document image warping based on regression of curved text lines」proceedings of the Seventh International Conference on Document Analysis and Recongnition（ICDAR' 03）において見つけられる。
【００８０】
メッシュの任意のグリッドにおけるマッピング関係を取得するために、グリッドを囲む２つの関連する水平曲線がｃ１及びｃ３として選択され、グリッドを囲む２つの関連する垂直線はｃ２及びｃ４として選択される。
【００８１】
上記処理によると、メッシュの各グリッドにおける点毎にマッピングを確立することにより、歪み文書画像と補正文書画像との画素マッピングが確立される。
【００８２】
尚、自然３次スプライン法は、それらの交点をつなぐ曲線をフィッティングするために使用されるが、２次曲線等の種々の他の曲線も使用でき、対応する補間方法がマッピングに対して使用されても良い。更に、直線により交点を単純につなぐ方法も使用可能である。この場合、メッシュの各グリッドは、四角形により近似されてもよく、この四角形内の各点は周知の線形技術を使用することにより補間される。
【００８３】
最後のステップＳ３５０において、補正文書画像はマッピングにより取得される。詳細には、マップされた画像が歪み文書画像の画素に対応して取得される場合、マップされた画素は、歪み文書画像の対応する画素と同一の色でレンダリングされる。図１４は、本発明に係る歪み補正方法により図８に示す歪み画像から補正された例示的な補正文書画像を示す。補正文書画像は、透視及び反りの問題による歪みがなく、非常に平坦に見えることが分かる。補正後、補正文書画像を使用するＯＣＲ認識精度は、歪み文書画像と比較して大きく向上される。
【００８４】
本発明の方法及びシステムは多くの方法で実行できる。例えば、ソフトウェア、ハードウェア、ファームウェア又はそれらの任意の組合せにより本発明の方法及びシステムを実行できる。方法に対するステップの上述した順序は例示することのみを意図し、本発明の方法のステップは、特に指示のない限り特に上述した順序に限定されない。更にいくつかの実施形態において、本発明は、記録媒体に記録されたプログラムとして実施されてもよく、これは本発明に係る方法を実現するための機械可読命令を含む。従って、本発明は本発明に係る方法を実現するためのプログラムを格納する記録媒体も範囲に含む。
【００８５】
本発明のいくつかの特別な実施形態が例を使用して詳細に実証されたが、上記例は例示することのみを意図し、本発明の範囲を限定することを意図しないことが当業者には理解されるべきである。上記実施形態は、本発明の趣旨の範囲から逸脱せずに変更可能であることが当業者には理解されるべきである。本発明の範囲は、添付の特許請求の範囲により規定される。
【技術分野】
【０００１】
本発明は、歪み文書画像を補正する方法及びシステムに関し、特に、デジタルカメラにより書籍又は製本された文書から得られる歪み文書画像を補正する方法及びシステムに関する。
【背景技術】
【０００２】
デジタルカメラは、消費者の消耗品としてだけでなく、ビジネス及び専門技術等の分野における便利なツールとして益々人気が高まってきている。ＯＣＲ（光学文字認識）分野に対して、デジタルカメラは文書撮像装置であるスキャナに潜在的に代わる可能性を提供する。しかし、現在のＯＣＲ技術は、主に平坦な文書のデジタル走査済画像用に設計されており、カメラにより撮影された一般的な文書画像を処理できない。
【０００３】
スキャナにより取り込まれた画像は、前方から直視してほぼ０度の視野角を有し、一般的に平坦であるため、透視又は反りの問題のために起こる幾何学的歪みが殆どない。しかし、デジタルカメラにより書籍や他の種類の製本された文書の画像を取り込む場合、多少の非ゼロの視野角を有し、書籍や製本された文書はそれらの厚さに依存する特定の反りを有する。その結果、デジタルカメラにより撮影された文書画像は、透視及び反りの問題により起こる幾何学的歪みの悪影響を受ける。図８に、透視及び反りの問題によって起こる明らかな歪みを含むデジタルカメラにより撮影された文書画像の一例を示す。そのような歪み文書画像がＯＣＲ動作に対して直接使用される場合、認識精度は低くなる。
【０００４】
歪み文書画像の歪みを補正する多くの方法が提案されている。１つのカテゴリの方法は、歪みを補正するために特別な３Ｄ走査機器を使用する。非特許文献１における方法によると、文書の３Ｄ表面に２Ｄ光ネットワークを投影するためにレーザプロジェクタが使用され、メッシュが文書の３Ｄ表面を表すために作られ、展開可能なメッシュに直接平坦化されるか又は変換される。
【０００５】
或いは、表面の３Ｄ形状は文書画像から推定される。３Ｄ形状を推定するパラメトリック法及び形状推定処理を回避するノンパラメトリック法が存在する。
【０００６】
非特許文献２において、書籍の３Ｄ表面モデルをシミュレートするための円筒及び平面の組合せを使用する方法が紹介されたが、このモデルに関するパラメータを推定する方法及び歪みを補正する際にモデルを使用する方法に関する問題は解決されないままである。更にこの方法は、特別な機器が使用される必要があるため高価である。また、この方法はスキャナにより走査される画像にも適用可能である。
【０００７】
非特許文献３において紹介された方法によると、文書の画像の各点の文書の奥行きは、奥行き画像を作成するようにある特定のステレオビジョン方法により取得され、奥行き画像に従って文書の画像を平面に修正する。任意の種類の画像歪みが修正されると考えられるが、奥行き画像により規定される文書のノイズのある粗い表面上の点を平面上の点にマップする方法は依然として問題である。
【０００８】
非特許文献４において、製本された書籍の走査済画像は、文字セグメンテーション処理により修正される。陰になっている文字（表面が丸まっている）はセグメント化され、それらの文字の向き及び元の場所が推定され、文字はそれに従って調整される。
【０００９】
カメラにより取り込まれた製本された文書の画像を修正するモデルを使用する方法は、非特許文献５において提案された。文書の表面は、一般柱面により表される。折れ等の他の反りの種類が処理できないことは明らかである。
【００１０】
一般に、文書画像が透視の問題に起因する歪みのみを有する場合、ページのエッジの方向の情報は、文字の方向を近似するために使用される。しかし、透視の問題だけでなく反りの問題によっても歪みが起きる場合、ある１ページの文字は異なる方向に異なる歪みを有するため、上記近似の方法は効果的ではない。
【００１１】
従って、カメラにより撮影された文書画像に必ず伴う反り及び透視の問題による画像中の歪みに対処でき且つ実現するのに容易で効果的である技術が必要とされる。
【先行技術文献】
【非特許文献】
【００１２】
【非特許文献１】A. Doncescu、A. Bouju、V. Quilletによる「Former Books Digital Processing: Image Warping」Proc. Workshop of Document Image Analysis、ページ5-9、1997年
【非特許文献２】T. Kanungo、R. Haralick、I. Philipsによる「Global and Local Document Degradation Models」in Proc. 2nd International Conference on Document Analysis and Recognition、1993年
【非特許文献３】M. S. Brown、W. B. Sealesによる「Document Restoration Using 3D Shape: a General Deskewing Algorithm for Arbitrarily Warped Documents」Proc. International Conference on Computer vision、2001年7月
【非特許文献４】Z. Zhang、C. L. Tanによる「Restoration of Images Scanned from Thick Bound Documents」in Proc. 6th International Conference on Document Analysis and Recognition、2001年
【非特許文献５】Huaigu Cao、Xiaoqing Ding、Changsong Liuによる「Rectifying the Bound Document Image Captured by the Camera: A Model Based Approach」Proceedings of the Seventh International Conference on Document Analysis and Recognition (ICDAR 2003)
【発明の概要】
【発明が解決しようとする課題】
【００１３】
上述の従来技術に存在する技術的問題を考慮して、歪み文書画像を補正する新しい方法が提供される。本発明は、自然に開かれた書籍又は自然に開かれた用紙束に常に存在する湾曲した文書ページがテキスト行の方向に垂直に又は綴じる方向に平行に拡張し且つテキスト行の方向に配置されるプレーナストライプのグループにより近似されるという基本概念に基づく。即ち、これらの画像ストライプは、少なくとも１行の垂直行を含む歪み文書画像を分割することにより得られる。各ストライプにおいて、反りは無視され、透視による歪みが主要な歪みになる。従って、複素非線形問題は、複数のより単純な局所線形問題に変換される。本発明は、テキスト行の局所的な向き及び垂直な文字ストロークである２つの重要なテキストの特徴に更に基づく。それらの特徴は、局所線形歪みを識別するのに使用される。
【００１４】
本発明は、いかなる補助デバイスも必要とせず、製本、折れ及び透視により起こる歪み等の広範な歪みの種類に対処できる。尚、本発明は主にデジタルカメラにより撮影された文書画像の歪みを補正することを目的とするが、本発明は、フラットベッドスキャナにより走査された厚い書籍の文書画像等の他のデバイスから入力される文書画像を補正する際に適用可能である。
【課題を解決するための手段】
【００１５】
本発明の１つの態様によると、原稿の歪み文書画像における幾何学的変形を補正する方法であって、
前記原稿のテキスト行に直角な垂直方向の消失点である前記歪み文書画像の垂直消失点を検出する垂直消失点検出ステップと、
前記検出された垂直消失点から開始する垂直線を使用して前記歪み文書画像の領域全体を複数の画像ストライプに分割する画像分割ステップと、
前記原稿の前記垂直方向に直角な水平方向の消失点である前記画像ストライプの各々に対する水平消失点を検出する水平消失点検出ステップと、
前記画像ストライプの前記水平消失点及び前記垂直消失点を使用して前記歪み文書画像と補正文書画像との間のマッピング関係を記述する歪みモデルを確立する歪みモデル生成ステップと、
前記モデルに基づいて補正文書画像を生成する補正ステップと、
を有することを特徴とする方法が提供される。
【００１６】
本発明の別の態様によると、原稿の歪み文書画像における幾何学的変形を補正するシステムであって、
前記原稿のテキスト行に直角な垂直方向の消失点である前記歪み文書画像の垂直消失点を検出する垂直消失点検出手段と、
前記検出された垂直消失点から開始する垂直線を使用して前記歪み文書画像の領域全体を複数の画像ストライプに分割する画像分割手段と、
前記原稿の前記垂直方向に直角な水平方向の消失点である前記画像ストライプの各々に対する水平消失点を検出する水平消失点検出手段と、
前記画像ストライプの前記水平消失点及び前記垂直消失点を使用して前記歪み文書画像と補正文書画像との間のマッピング関係を記述する歪みモデルを確立する歪みモデル生成手段と、
前記モデルに基づいて補正文書画像を生成する補正手段と、
を有することを特徴とするシステムが提供される。
【００１７】
本発明の更なる特徴的な機能及び利点は、図面を参照し、以下の説明を読むことにより明らかとなるだろう。
【００１８】
本明細書に取り入れられ且つ本明細書の一部を構成する添付の図面は、本発明の実施形態を示し、説明と共に本発明の原理を説明するものである。
【図面の簡単な説明】
【００１９】
【図１】本発明に従って歪み文書画像を補正するシステムを実現するための演算装置の構成を示すブロック図である。
【図２】本発明の一実施形態に従って各モジュール手段から構成される歪み文書画像を補正するシステムの一般的な構成を示すブロック図である。
【図３】本発明に従って歪み文書画像を補正する方法を実現する一般的な処理を示すフローチャートである。
【図４】本発明の一実施形態に従って垂直消失点を検出する例示的な処理を示すフローチャートである。
【図５】消失点を計算する方法を示すために、線分とその線分の中点及び交点をつなぐ線とにより規定される交差角度を示す図である。
【図６】本発明に従ってテキスト行の曲線の位置を特定する例示的な処理を示すフローチャートである。
【図７】歪み文書画像がメッシュモデルのグリッドの補正文書画像にマップされる方法を示す概略図である。
【図８】カメラにより書籍の１ページから撮影された一般的な文書画像の一例を示す図である。
【図９】図８に示す文書画像から導出される例示的なエッジ画像を示す図である。
【図１０】（ａ）は、図９に示すエッジ画像に対して回転、圧縮及びランレングス平滑化アルゴリズムを実行することにより取得される例示的なエッジ画像を示す図であり、（ｂ）は、（ａ）に示す画像から抽出される中間の高さの点により構成される例示的な画像を示す図である。
【図１１】図９に示すエッジ画像から水平ストロークのエッジを除去することにより取得される垂直ストロークにより構成される例示的なエッジ画像を示す図である。
【図１２】図１１に示すエッジ画像から抽出された垂直ストロークの連結成分を見つけることにより取得される例示的な画像を示す図である。
【図１３】本発明の一実施形態に係る方法により構成されるメッシュと共に図９の文書画像を示す図である。
【図１４】本発明に係る歪み補正方法による例示的な補正文書画像を示す図である。
【図１５】メッシュが構成される方法を説明するために使用する図である。
【発明を実施するための形態】
【００２０】
本発明の実施形態について、図面を参照して以下に詳細に説明する。
【００２１】
本発明の説明及び請求の範囲において、特に、歪み文書画像において使用される場合、「水平」又は「ｘ方向」という用語はほぼ水平を意味し、「垂直」又は「ｙ方向」という用語はほぼ垂直を意味する。特に、「歪み文書画像」で使用される「水平」という用語は、対応する補正文書画像又は原稿のテキスト行に平行な方向にあることを意味する。例えば、「水平線」という用語は、その線に対応する補正平面画像（又は原稿）の線が補正平面画像（又は原稿）のテキスト行と水平であることを意味する。同様に、歪み文書画像における「垂直」という用語は、対応する補正文書画像又は原稿のテキスト行に垂直であることを意味する。例えば、「垂直ストローク」という用語は、そのストロークが補正平面画像（又は原稿）のテキスト行に垂直であることを意味する。
【００２２】
本発明の説明において、「左」及び「右」という用語は、普段書籍又は文書を読む時と同様の通常の方法でページを閲覧する際の左側及び右側を示す。
【００２３】
本発明の説明において、特に指示のない限り、全てのサイズ（長さ又は幅等）は、「画素」単位である。例えば、Ｌ＜５は、Ｌが５画素より少ないことを意味する。
【００２４】
図１は、本発明に従って歪み文書画像を補正するシステムを実現するための演算装置の構成を示すブロック図である。簡潔にするために、システムは単一の演算装置に内蔵されるように示される。しかし、システムは、単一の演算装置に内蔵されるか又はネットワークシステムとして複数の演算装置に内蔵されるかに関わらず効果的である。
【００２５】
図１に示すように、演算装置１００は、歪み文書画像を補正する処理を実現するために使用される。演算装置１００は、ＣＰＵ１０１、チップセット１０２、ＲＡＭ１０３、記憶装置コントローラ１０４、ディスプレイコントローラ１０５、ハードディスクドライブ１０６、ＣＤ−ＲＯＭドライブ１０７及びディスプレイ１０８を含んでも良い。演算装置１００は、ＣＰＵ１０１とチップセット１０２との間に接続される信号線１１１、チップセット１０２とＲＡＭ１０３との間に接続される信号線１１２、チップセット１０２と種々の周辺装置との間に接続される周辺装置バス１１３、記憶装置コントローラ１０４とハードディスクドライブ１０６との間に接続される信号線１１４、記憶装置コントローラ１０４とＣＤ−ＲＯＭドライブ１０７との間に接続される信号線１１５及びディスプレイコントローラ１０５とディスプレイ１０８との間に接続される信号線１１６を更に含んでも良い。
【００２６】
クライアント１２０は、演算装置１００に直接接続されても良く、ネットワーク１３０を介して接続されても良い。クライアント１２０は、演算装置１００に補正タスクを送出しても良く、演算装置１００は、クライアント１２０に補正結果を返しても良い。
【００２７】
図２は、各モジュール手段から構成される歪み文書画像を補正するシステムの一般的な構成を示すブロック図である。
【００２８】
図２に示すように、歪み補正システム２００は、前記歪み文書画像の垂直消失点を検出する垂直消失点検出手段２０１と、検出した垂直消失点から開始する垂直線を使用して前記歪み文書画像の領域全体を複数の画像ストライプに分割する画像分割手段２０３と、前記画像ストライプ毎に水平消失点を検出する水平消失点検出手段２０５と、垂直消失点及び前記画像ストライプの水平消失点を使用して歪み文書画像と補正文書画像との間のマッピング関係を記述する歪みモデルを確立する歪みモデル生成手段２０７と、モデルに基づいて補正文書画像を生成する補正手段２０９とを含んでも良い。垂直消失点検出手段２０１は、歪み文書画像から文字の複数の垂直ストロークを抽出する垂直ストローク抽出手段２０１１と、複数の垂直直線線分により前記垂直ストロークをフィッティングする垂直直線線分フィッティング手段２０１３と、垂直直線線分の最適な収束点を探索することにより垂直直線線分から垂直消失点を計算する垂直最適収束点計算手段２０１５とを含むのが好ましい。垂直最適収束点計算手段２０１５は、前記垂直直線線分の任意の２つの間の交点を計算する交点計算手段２０１５−１と、交差角度の正弦の２乗の合計を最小にする最適な収束点として前記交点のうち１つの交点を選択する最適点選択手段２０１５−２とを含むのが好ましい。水平消失点検出手段２０５は、前記歪み文書画像からテキスト行の方向に沿ってテキスト行の曲線の位置を特定するテキスト行曲線位置特定手段２０５１と、画像ストライプに存在するテキスト行曲線の断片を抽出する断片抽出手段２０５２と、水平直線線分によりテキスト行曲線の前記断片をフィッティングする水平直線線分フィッティング手段２０５３と、水平直線線分の最適な収束点を探索することにより前記水平直線線分から水平消失点を計算する水平最適収束点計算手段２０５４とを含むのが好ましい。水平最適収束点計算手段２０５４は、前記水平直線線分の任意の２つの間の交点を計算する交点計算手段２０５４−１と、交差角度の正弦の２乗の合計を最小にする最適な収束点として前記交点のうち１つの交点を選択する最適点選択手段２０５４−２とを含むのが好ましい。テキスト行曲線位置特定手段２０５１は、歪み文書画像の文字の画素に対する中間の高さの点を抽出する中間高さ点抽出手段２０５１−１と、前記中間の高さの点を使用することによりテキスト行の文字の中間の高さにわたるテキスト行曲線の位置を特定するテキスト行曲線位置特定手段２０５１−２とを含むのが好ましい。
【００２９】
上記手段は、以下に説明する処理を実現する例示的で好適なモジュールである。種々のステップを実現するモジュールについては、網羅的に上述されていない。しかし、ある特定の処理を実行するステップが存在する場合、対応する機能性モジュール又は同一の処理を実現する手段が存在する。
【００３０】
図３は、本発明に従って歪み文書画像を補正する方法を実現する処理を示すフローチャートである。図８に、カメラにより書籍のページから撮影された一般的な文書画像の一例を示す。図８に示すように、反り及び透視の問題による明らかな歪みがある。
【００３１】
ステップＳ３１０において、垂直文字ストロークの向きは垂直消失点を検出するために利用される。消失点の意味を以下に説明する。互いに平行である平面の全ての直線は、理論上、それらの直線がどのように拡張するかに関わらず互いに交差することはない。一方で、平面が非ゼロ視野角で３次元空間に配置される場合、最初に互いに平行であった線は平行であるようには見えなくなり、理論上それらの全ての線のうち拡張した線は１つの点で交わる。平面の互いに平行である線が非ゼロ視野角で３次元空間において互いに交わる点は消失点と呼ばれる。従って、平面の垂直線が非ゼロ視野角で３次元空間において互いに交わる点は垂直消失点と呼ばれる。同様に、平面の水平線が非ゼロ視野角で３次元空間において互いに交わる点は水平消失点と呼ばれる。「水平」及び「垂直」という用語は先に規定した。殆どの場合、製本された書籍の自然な反りは、綴じ線に平行な方向又はテキスト行に垂直な方向に拡張する。従って、１つの撮影された画像に対して垂直消失点は１つのみ存在する。Barnard, S.T.による「Interpreting Perspective Images」Artificial Intelligence、vol. 21、435-462ページ、1983年において開示されるガウス球面を使用する方法及びVirginio Cantoni、Luca Lombardi、Marco Porta、Nicolas Sicardによる「Vanishing Point Detection: Representation Analysis and New Approaches」Proceedings of the 11th International Conference on Image Analysis & Processingにおいて開示される極空間におけるＨｏｕｇｈ変換蓄積に基づく方法等の消失点を検出する多くの周知の方法がある。
【００３２】
ステップＳ３１０で垂直消失点が判定された後、ステップＳ３２０において、垂直消失点から発生して画像領域にわたる垂直線のグループが導出され、画像領域全体を水平方向に沿って配置される複数のプレーナストライプに分割する。
【００３３】
ステップＳ３３０において、画像ストライプに対する水平消失点が検出される。
【００３４】
ステップＳ３４０において、画像ストライプ並びに対応する水平消失点及び垂直消失点から、歪み文書画像の歪み全体を記述するモデルが構成される。垂直消失点及び水平消失点が判定された後、透視特性及び反り特性の双方が判定される。従って、テキスト行、文字ストローク及びページのエッジ等の種々の文書特徴は、そのようなモデルを構成するために使用される。
【００３５】
最後のステップＳ３５０において、補正文書画像が上記構成されたモデルを使用して生成される。
【００３６】
以下は、歪み文書画像の歪みを補正する本発明に係る例示的な一実施形態である。
【００３７】
最初のステップＳ３１０において、垂直消失点を検出するために垂直文字ストロークの向きが利用される。ステップＳ３１０を実行する詳細なステップについては、図４を参照して以下に説明する。
【００３８】
図４は、ステップＳ３１０において垂直消失点を検出する処理を示すフローチャートである。
【００３９】
ステップＳ４１０において、画像の前景物体のエッジが検出される。エッジを検出するために、本明細書においてソーベル演算子、Ｃａｎｎｙ演算子等の種々の一般的な輪郭検出技術が適用される。出力はエッジ画像及びエッジ角度画像である。エッジ角度画像は、検出されたエッジ画素毎に傾斜角に関する情報を有する。画素の傾斜角は、画素の階調値の変更方向を示す角度である。即ち、画素の傾斜角は、階調が隣接する画素からその画素に変更する方向を示す。図９に、図８に示す文書画像の例示的なエッジ画像を示す。各文字のエッジが抽出されることが分かる。
【００４０】
ステップＳ４２０において、エッジ画像は垂直文字ストロークを選ぶように以下の方法により処理される。デジタルカメラにより撮影される文書は、適切に配置されない可能性があるため、特定のスキューが導入される可能性が非常に高い。スキューの角度を検出するために、本明細書において、例えばYue Lu、Chew Lim Tanによる「A Nearest-Neighbour Chain Based Approach to Skew Estimation in Document Images」Pattern Recognition letters 24（2003年）、2315-2323ページにおいて提案される最近傍法又は投影を用いた方法等の２値画像におけるスキューの角度を検出する種々の既存の方法が使用される。必要なことはスキューの角度からテキスト行の大まかな方向を取得することだけであるため、検出したスキューの角度が必ずしも非常に正確である必要はない。
【００４１】
垂直ストロークに属さないエッジの画素は、自身の傾斜方向とスキューの角度とを比較することにより除去される。θｉはエッジの（ｘｉ，ｙｉ）に位置付けられる画素の傾斜角であり、θは文書のスキューの角度であることを示す。｜θｉ−θ｜が所定の閾値より大きい場合、画素は除去されるべきである。尚、（ｘｉ，ｙｉ）は、歪み文書画像に対して確立されたデカルト座標系における座標である。図１１に、図９に示すエッジ画像から水平ストロークのエッジの画素を除去することによって取得される例示的なエッジ画像を示す。
【００４２】
ステップＳ４３０において、垂直ストローク候補がステップＳ４２０で取得されたエッジ画像において連結成分を探索することにより見つけられる。連結成分は画素の集合を意味し、各画素はその集合中の少なくとも別の画素と結合する。画素が別の画素の特定の近傍（例えば、前記別の画素から水平方向に３画素及び垂直方向に４画素内の近傍）内にある場合、２つの画素が「連結される」と考えられる。画素から連結成分を探索する従来技術において周知の多くのアルゴリズムが存在する。例えば、探索戦略は、まず画像の下側から開始点を選択し、垂直方向に上側に向かって黒画素を探索する。上述の近傍内で次の前景画素が常に黒画素から探索される。尚、近傍のサイズは、実際の要件に従って当業者により任意に選択可能である。消失点の計算の目的で、長さＬが特定の所望の範囲（例えば、12＜L150）にある主要な連結成分のみが考慮されるのが好ましい。即ち、この範囲内にない長さを有する連結成分は除去又は無視されるのが好ましい。尚、上記範囲の数字は単なる例示であり、当業者は設計要件又は実際の原稿の状態に従って、この範囲を任意に選択しても良い。図１２に、抽出された垂直ストロークの連結成分を図１１に示すエッジ画像から見つけることにより取得される例示的な画像を示す。
【００４３】
見つけられた連結成分毎に、線は原点からの距離ρ及び角度θによってフィッティングされ、パラメータ化される。
【００４４】
【数１】
【００４５】
式中、ｘ及びｙは、デカルト座標系における線上の点のｘ座標及びｙ座標であり、θ及びρはフィッティング中に判定される２つのパラメータである。
【００４６】
取得された各連結成分は、同様の傾斜の向きを有するエッジ画素（ｘｉ，ｙｉ）のグループであり、（ｘｉ，ｙｉ）はデカルト座標系における連結成分のｉ番目の画素の座標であり、ｉ＝１，２，３…である。線パラメータは、エッジ画素に関連する行列Ｄの固有値λ１及びλ２、並びに固有ベクトルｖ１及びｖ２から直接判定される。行列Ｄは以下のように規定される。
【００４７】
【数２】
【００４８】
行列の固有値及び固有ベクトルを評価する処理は従来技術において周知であるため、本明細書において、行列Ｄの固有値λ１及びλ２、並びに固有ベクトルｖ１及びｖ２を取得する詳細な処理は省略する。理想的な線の場合、固有値の１つがゼロであるべきである。ラインフィッティングの品質は、行列Ｄの２つの固有値の比、即ち、ｖ＝λ１／λ２により特徴付けられる。線パラメータは固有ベクトルｖ１及びｖ２から判定され、ｖ１は最大の固有値と関連付けられる固有ベクトルである。線パラメータは以下のように計算される。
【００４９】
【数３】
【００５０】
ｖ１（１）はｖ１の第１次元であり、ｖ１（２）はｖ１の第２次元である。上記式によると、線のパラメータθ及びρが取得され、それにより垂直ストロークに対する連結成分の各々をフィッティングする垂直直線線分は取得される。
【００５１】
ステップＳ４４０において、それらの垂直直線線分の最適収束点を探索することにより、垂直消失点が取得される。複数の線の最適収束点を推定する際に利用可能である種々の既存の技術が存在する。以下は、それらの垂直直線線分の最適収束点を推定する例示的な処理である。最初に、前記線分のうち任意の２つの線分の間の交点が垂直消失点（ｘ０ｊ，ｙ０ｊ）、ｊ＝１，２，３…の候補集合として計算される。その後、統計的方法が使用され、結果として得られる垂直消失点として交点のグループから最適な収束点を選択する。垂直消失点は、例えば関数Ｆ（ｊ）を最小にする交点（ｘ０ｊ，ｙ０ｊ）のうちの１つの点であっても良い。
【００５２】
【数４】
【００５３】
直感的な表現については図５を参照。尚、ステップＳ４４０に対する上記説明は例示するだけのものであり、本発明の範囲を限定する意図はない。上述したように、複数の線の消失点を取得する周知の技術が多く存在し、消失点を取得する方法は上述の方法に限定されない。
【００５４】
垂直消失点がステップＳ３１０で判定された（例えば、Ｓ４１０〜Ｓ４４０の上述したサブステップを使用することにより）後、ステップＳ３２０において、垂直消失点から発生し且つ画像領域にわたる垂直線のグループが導出され、画像領域全体を水平方向に沿って配置される複数のプレーナストライプに分割する。例えばこの分割は、基本的に以下の１つ以上の例示的な基準に基づく。
（１）各スプライトにおける単一のテキスト行曲線の長さは特定の範囲［Ｌ１，Ｌ２］内である。Ｌ１及びＬ２は、例えば文書画像における平均文字サイズに従って判定される値である。
（２)処理される画像が２ページにわたる場合、ステイプル又は綴じ線はそれらの垂直線のうちの１つである。
（３)画像が２列以上を含む場合、隣接する列の間に前記垂直線のような分離線が存在する。
（４)ページの中央部分においてはストライプはより狭くなり、ページの左側及び右側においてはストライプはより広くなる。
（５）各ストライプは、ほぼ平坦であると考えられる。即ち、１つのストライプは水平消失点を１つのみ有する。平坦であることの基準は、実際の要件及び予想されるＯＣＲ精度に依存しても良い。
【００５５】
上記基準は、分割されたストライプが正確な水平消失点を計算するのに十分に広いことを保証し、それと同時にストライプが十分に平坦であることを保証する。
【００５６】
尚、上記基準は単なる例示であり、本発明の保護範囲を限定する意図はない。当業者は、１つ以上の上記基準を採用してもよく、あるいは画像領域を分割するための他の基準を設計できる。画像領域の分割方法に関する基準は、実際の要件及び予想されるＯＣＲ精度に依存する。
【００５７】
ステップＳ３３０において、画像ストライプ毎の水平消失点が検出される。一般に書籍の紙が水平方向に沿って変動するため、各画像ストライプの水平消失点は異なる。即ち、各画像ストライプは自身の水平消失点を有する。
【００５８】
以下は、画像ストライプ毎に水平消失点を取得する例示的な処理である。
【００５９】
最初に、各テキスト行の中間の高さにわたる曲線は、ステップＳ４１０において抽出されるようなエッジ画像から検出される。詳細には、文字の中間の高さの点が抽出され、テキスト行の曲線の位置は、連結成分解析を使用することにより中間の高さの点から特定される。テキスト行の曲線は、水平方向に沿って歪み情報を指定するのに十分に正確である。
【００６０】
図６に、テキスト行の曲線の位置を特定するための詳細なフローチャートを示す。尚、図６の処理は、単なる例示的で好適な例である。当業者には、エッジ画像から種々のテキスト行の曲線の位置を特定する種々の方法が周知である。
【００６１】
ステップＳ６１０において、ステップＳ４１０で抽出されるようなエッジ画像である２値画像が、例えばアフィン変換演算により変換され、新しい２値画像Ｉ１が生成される。アフィン変換演算は、前記２値画像を上述のスキューの角度だけ回転させてほぼ垂直に見えるようにし、水平圧縮率Ｎが垂直圧縮率Ｍより大きい「ＯＲ」法により回転された画像を圧縮する処理と同等である。「ＯＲ」法は、圧縮画像上の画素に対応する非圧縮画像上のＮ×Ｍ画像ブロックに対して、画像ブロック中に少なくとも１つの黒画素が存在する場合に圧縮画像上の対応する画素が黒色として設定されることを意味する。回転の目的は、テキスト行を十分に水平にすることであり、圧縮の主な目的は、文字の間隔をにじませ、テキスト行毎に「ベタ」テキストブロックを得ることである。「ベタ」テキストブロックにおいて文字の中間の高さの点を探索するのははるかに容易である。
【００６２】
適切な「ベタ」効果を達成するために、且つそれと同時に隣接するテキスト行を混合しないように、垂直圧縮率Ｍは、Ｍにより分割された原画像の高さが所定の値（例えば、５１２）より大きくないことを満足する最小の正の整数として指定される。更に垂直圧縮率Ｍは、検出される文字の平均高さに従って割り当てることができる。例えば、検出される文字の平均高さがＨである場合、ＭはＨ／８として割り当てられても良い。水平圧縮率Ｎは３＊Ｍとして指定可能である。
【００６３】
ステップＳ６２０において、テキスト行に対するより適切な「ベタ」効果を得るために、２値画像Ｉ１は、水平方向にランレングス平滑化アルゴリズム（ＲＬＳＡ）を実行し且つその後、垂直方向にＲＬＳＡを実行することにより平滑化される。ランは、互いに間に空間（白画素）を有さない連続するＮ画素の一部を意味する。ランレングス平滑化アルゴリズムは、長さ（画素数）を特徴とするパラメータにより特徴付けられ、２つの画素間の距離がその長さより短い場合に、２つの画素間の画素が全て「黒色」でレンダリングされるか、或いは換言すると、２つの画素はランレングス平滑化アルゴリズムに従って「連続している」と考えられる。このパラメータは、２と４との間の値として選択可能である。ランレングス平滑化アルゴリズムには、「ほぼ」連続した線又は曲線を識別するように、合わせて短い距離を有する画素を通信する効果がある。図１０の（ａ）に、上述したように図９のエッジ画像に対して回転、圧縮及びランレングス平滑化アルゴリズムを行うことにより取得される例示的なエッジ画像を示す。
【００６４】
次のステップＳ６３０において、黒ランは、２値画像Ｉ１上で垂直方向に沿って見つけられる。文字に属さない黒ランは、短すぎるラン又は長すぎるランを除去することにより廃棄される。Ｈ１及びＨ２は、例えばアフィン変換後の文書において最小である可能性のあるテキストの高さ及び最大である可能性のあるテキストの高さとしてそれぞれ指定される。黒ランの長さがＨ１より短い場合又はＨ２より長い場合、その黒ランは廃棄される。廃棄ステップの後、保持される黒ランの殆どは文字に属する。
【００６５】
ステップＳ６４０において、保持される黒ランの中間の高さの点は、文字の中間の高さの点として抽出される。その後、２値画像Ｉ２は２値画像Ｉ１と同一のサイズで生成される。２値画像Ｉ２において、画素は中間の高さの点に対応する位置で黒色に設定される。図１０の（ｂ）に、図１０の（ａ）の画像から抽出される中間の高さの点により構成される例示的な画像を示す。
【００６６】
ステップＳ６５０において、中間の高さの点を含む２値画像Ｉ２が取得された後、連結成分探索方法を使用することにより曲線が見つけられる。ステップＳ４３０において説明された方法と同様に、探索戦略は、例えば最初に画像の左側から開始点を選択し、右側に向かって水平方向に黒画素を探索することである。方法の実現例において、次の前景画素が、例えば水平方向に４画素及び垂直方向に３画素内で常に黒画素から探索される。
【００６７】
多くの場合、このように取得された曲線は、図１０の（ｂ）に示すように文字ストロークの変動のために平滑ではない。従って、ステップＳ６６０において、ランレングス情報は、曲線を平滑化するために使用されるのが好ましい。例えば各曲線の平均ランレングスＨが計算され、対応するランレングスが［ａ＊Ｈ，ｂ＊Ｈ］の範囲を超える点が除去される。ここで、ａ＜１且つｂ＞１である。曲線が平滑化される限り、ステップＳ６６０において他の平滑化方法も使用可能である。計算の複雑さに対して制限があるか又は精度に対する要件が許す場合、更にステップＳ６６０が省略可能である。
【００６８】
ステップＳ６７０において、テキスト行の曲線の座標は、元のエッジ画像に変換される。この変換演算は、上述のアフィン変換演算の逆演算である。
【００６９】
その後、画像ストライプ毎に、水平消失点が以下のステップにより計算される。
ａ）画像ストライプに位置するテキスト行の曲線の断片を抽出するステップ；
ｂ）水平直線線分によるテキスト行の曲線の各断片をフィッティングするステップ；
ｃ）水平直線線分の最適な収束点を選択することにより、水平垂直線分から水平消失点を計算するステップ。
【００７０】
水平消失点を計算する際に最適な収束点を選択する処理は、例えばステップＳ４４０で垂直消失点を計算する時と同一の処理により実行されても良い。しかし、水平消失点を計算する際に最適な収束点を選択する処理は、消失点が計算できる限り、ステップＳ４４０で垂直消失点を計算する時とは異なる処理において実行されても良い。
【００７１】
ここで図３に戻る。
【００７２】
ステップＳ３４０において、画像ストライプ、並びに対応する水平消失点及び垂直消失点から歪み文書画像を記述するモデルが歪み文書画像と補正文書画像との間のマッピングを記述するために構成される。この例において、モデルはメッシュである。図１５に、メッシュを構成する方法を例示する。図１５に示すように、文書画像Ｐａ−Ｐｂ−Ｐｃ−Ｐｄは実線の曲線で描かれ、左側から右側に順番にＳＴＲＩＰＥ１、ＳＴＲＩＰＥ２及びＳＴＲＩＰＥ３となる３つのストライプに分割される。１つの垂直消失点ＶＶＰ、並びに３つの水平消失点ＨＶＰ１、ＨＶＰ２及びＨＶＰ３は、上述の方法に従って見つけられる。水平消失点ＨＶＰ１、ＨＶＰ２及びＨＶＰ３は、それぞれＳＴＲＩＰＥ１、ＳＴＲＩＰＥ２及びＳＴＲＩＰＥ３に対する水平消失点である。従って、この画像を前記３つのストライプに分割する垂直消失点ＶＶＰから開始する２つの垂直線Ｐｅ−Ｐｆ及びＰｇ−Ｐｈが存在する。ここで、メッシュの水平曲線を考慮する。２つの水平曲線は、この図１５に図示する例において使用される。しかし、水平曲線の数は、予想されたＯＣＲ精度及び要件、並びに処理速度及び計算能力等の条件に依存して決定されても良い。例えば、この画像の左側エッジ上の２つの点は点Ｐ０１１及び点Ｐ０１２として選択される。これらの点は左側エッジを同等に分割するように選択されるのが好ましい。しかし、これは厳密な要件ではない。その後、１本の線は水平消失点ＨＶＰ１から開始して点Ｐ０１１に向かって描かれ、線Ｐｅ−Ｐｆとの交点Ｐ１２１を有するように延長し、１本の線は水平消失点ＨＶＰ１から開始して点Ｐ０１２に向かって描かれ、線Ｐｅ−Ｐｆとの交点Ｐ１２２を有するように延長する。次に、１本の線は水平消失点ＨＶＰ２から開始して点Ｐ１２１に向かって描かれ、線Ｐｇ−Ｐｈとの交点Ｐ２３１を有し、１本の線は水平消失点ＨＶＰ２から開始して点Ｐ１２２に向かって描かれ、線Ｐｇ−Ｐｈとの交点Ｐ２３２を有する。最後に、１本の線は水平消失点ＨＶＰ３から開始して点Ｐ２３１に向かって描かれ、画像の右側エッジとの交点Ｐ３０１を有し、１本の線は水平消失点ＨＶＰ３から開始して点Ｐ２３２に向かって描かれ、画像の右側エッジとの交点Ｐ３０２を有する。結果として、８つの点Ｐ０１１、Ｐ０１２、Ｐ１２１、Ｐ１２２、Ｐ２３１、Ｐ２３２、Ｐ３０１及びＰ３０２が取得される。２つの水平曲線は、点の２つのグループ、即ち、点Ｐ０１１、Ｐ１２１、Ｐ２３１及びＰ３０１のグループと点Ｐ０１２、Ｐ１２２、Ｐ２３２及びＰ３０２のグループとを使用することによりフィッティングされても良い。即ち、一般に水平曲線は、水平消失点の各々と垂直線との交点を計算することにより判定される。尚、上記図示する例において、方法は左側の水平消失点から開始されるが、ある特定のストライプ内の水平曲線の方向がそのストライプに対する水平消失点により判定される限り、任意の１つの水平消失点が開始水平消失点として使用可能である。
【００７３】
図１３に、上述の方法により構成されたメッシュと共に図９の文書画像を示す。図１３に示すように、画像領域全体は、垂直消失点から導出される７本の垂直線により導出される８つのプレーナストライプに分割される。９本の水平曲線のグループは、上述のように水平消失点と垂直線との間の交点を計算することにより判定される。
【００７４】
メッシュが確立された後、歪み文書画像上の点と補正文書画像上の点との間のマッピングはメッシュを参照することにより生成され、その後補正文書画像は前記マッピングを参照することにより取得される。
【００７５】
歪み文書画像上の点と補正文書画像上の点との間のマッピングは、境界補間に基づいて決定される。境界補間法の１つは、C. Strouthopoulos、N. Papamarkos及びC. Chamzasによる「Identification of Text-Only Areas in Mixed-type Documents」Engng Applic. Artif. Intell.、Elsevier Science Ltd、Great Britain、Vol. 10、No. 4、387-401ページ、1997年において説明される。
【００７６】
一例において、図７に示すように、自然３次スプラインは、それらの交点をつなぎ且つメッシュのグリッドを境界曲線Ｃｉ（ｉ＝１，２，３，４）として囲む曲線をフィッティングするために使用される。図７の左下の部分は、上述のように、４つの境界曲線Ｃｉ（ｉ＝１，２，３，４）により囲まれるメッシュの１つのグリッドを示す。これらの境界曲線は、上述のように、垂直消失点及び水平消失点により取得される水平曲線及び垂直線の一部である。図７の右下の部分は、歪み文書画像のグリッドに対応する補正文書画像のグリッドにおけるパラメータ空間ｕ及びｖにわたり規定される補正文書画像を示す。ここで、ｕ∈［０，１］且つｖ∈［０，１］である。水平境界曲線ｃ１及びｃ３は、ｘ座標であるｃｉｘ（ｕ）及びｙ座標であるｃｉｙ（ｕ）（ｉ＝１，３）で表され、垂直境界線ｃ２及びｃ４は、ｘ座標であるｃｉｘ（ｖ）及びｙ座標であるｃｉｙ（ｖ）（ｉ＝２，４）で表される。即ち、補正文書画像の各ｕに対して、歪み文書画像中の水平境界曲線ｃ１及びｃ３上の各点は、(ｃｉｘ（ｕ），ｃｉｙ（ｕ）)（ｉ＝１，３）で表され、補正文書画像の各ｖに対して、歪み文書画像中の垂直境界線ｃ２及びｃ４上の各点は（ｃｉｘ（ｖ），ｃｉｙ（ｖ））（ｉ＝２，４）で表される。
【００７７】
各境界曲線ｃｉ（ｉ＝１，２，３，４）は、ｕ−ｖ空間の直線から成る画像の対応する辺にマップする。例えば、補正文書画像のｕ軸は歪み文書画像中の曲線ｃ１に対応し、補正文書画像のｖ軸は歪み文書画像中の曲線ｃ４に対応する。この場合、補正文書画像中の任意の点（ｕ，ｖ）を歪み文書画像中の境界曲線ｃｉ（ｉ＝１，２，３，４）により囲まれる歪み文書画像中の点（ｃｘ（ｕ，ｖ），ｃｙ（ｕ，ｖ））にマップする方法を記述する２Ｄ関数は、例えば以下のように双線形混合Coonsパッチを使用して提供される。
【００７８】
【数５】
【００７９】
これらの式は、２つの対向する境界曲線（式の第１の項及び第２の項）の線形補間により形成され、補正関数は境界の隅の点（式の第３の項）に基づく。そのような式の更なる詳細については、Zheng Zhang、Chew Lim Tanによる「Correcting document image warping based on regression of curved text lines」proceedings of the Seventh International Conference on Document Analysis and Recongnition（ICDAR' 03）において見つけられる。
【００８０】
メッシュの任意のグリッドにおけるマッピング関係を取得するために、グリッドを囲む２つの関連する水平曲線がｃ１及びｃ３として選択され、グリッドを囲む２つの関連する垂直線はｃ２及びｃ４として選択される。
【００８１】
上記処理によると、メッシュの各グリッドにおける点毎にマッピングを確立することにより、歪み文書画像と補正文書画像との画素マッピングが確立される。
【００８２】
尚、自然３次スプライン法は、それらの交点をつなぐ曲線をフィッティングするために使用されるが、２次曲線等の種々の他の曲線も使用でき、対応する補間方法がマッピングに対して使用されても良い。更に、直線により交点を単純につなぐ方法も使用可能である。この場合、メッシュの各グリッドは、四角形により近似されてもよく、この四角形内の各点は周知の線形技術を使用することにより補間される。
【００８３】
最後のステップＳ３５０において、補正文書画像はマッピングにより取得される。詳細には、マップされた画像が歪み文書画像の画素に対応して取得される場合、マップされた画素は、歪み文書画像の対応する画素と同一の色でレンダリングされる。図１４は、本発明に係る歪み補正方法により図８に示す歪み画像から補正された例示的な補正文書画像を示す。補正文書画像は、透視及び反りの問題による歪みがなく、非常に平坦に見えることが分かる。補正後、補正文書画像を使用するＯＣＲ認識精度は、歪み文書画像と比較して大きく向上される。
【００８４】
本発明の方法及びシステムは多くの方法で実行できる。例えば、ソフトウェア、ハードウェア、ファームウェア又はそれらの任意の組合せにより本発明の方法及びシステムを実行できる。方法に対するステップの上述した順序は例示することのみを意図し、本発明の方法のステップは、特に指示のない限り特に上述した順序に限定されない。更にいくつかの実施形態において、本発明は、記録媒体に記録されたプログラムとして実施されてもよく、これは本発明に係る方法を実現するための機械可読命令を含む。従って、本発明は本発明に係る方法を実現するためのプログラムを格納する記録媒体も範囲に含む。
【００８５】
本発明のいくつかの特別な実施形態が例を使用して詳細に実証されたが、上記例は例示することのみを意図し、本発明の範囲を限定することを意図しないことが当業者には理解されるべきである。上記実施形態は、本発明の趣旨の範囲から逸脱せずに変更可能であることが当業者には理解されるべきである。本発明の範囲は、添付の特許請求の範囲により規定される。
【特許請求の範囲】
【請求項１】
原稿の歪み文書画像における幾何学的変形を補正する方法であって、
前記原稿のテキスト行に直角な垂直方向の消失点である前記歪み文書画像の垂直消失点を検出する垂直消失点検出ステップと、
前記検出された垂直消失点から開始する垂直線を使用して前記歪み文書画像の領域全体を複数の画像ストライプに分割する画像分割ステップと、
前記原稿の前記垂直方向に直角な水平方向の消失点である前記画像ストライプの各々に対する水平消失点を検出する水平消失点検出ステップと、
前記画像ストライプの前記水平消失点及び前記垂直消失点を使用して前記歪み文書画像と補正文書画像との間のマッピング関係を記述する歪みモデルを確立する歪みモデル生成ステップと、
前記モデルに基づいて補正文書画像を生成する補正ステップと、
を有することを特徴とする方法。
【請求項２】
前記垂直消失点検出ステップは、
前記歪み文書画像から文字の複数の垂直ストロークを抽出するサブステップと、
複数の垂直直線線分により前記垂直ストロークをフィッティングするサブステップと、
前記垂直直線線分の最適な収束点を探索することにより前記垂直直線線分から前記垂直消失点を計算するサブステップとを有することを特徴とする請求項１記載の方法。
【請求項３】
前記垂直直線線分の前記最適な収束点を探索する前記ステップは、
前記垂直直線線分の任意の２つの間の交点を計算するサブステップと、
交差角度の正弦の２乗の合計を最小にする前記最適な収束点として前記交点のうち１つの交点を選択するサブステップであり、前記交点の１つに対して、前記交差角度の各々が前記垂直直線線分の１つと前記垂直直線線分の中心点及び前記交点をつなぐ線とにより規定される角度であるサブステップとを有することを特徴とする請求項２記載の方法。
【請求項４】
前記水平消失点検出ステップは、
前記画像ストライプ毎に、
前記歪み文書画像からテキスト行の方向に沿ってテキスト行の曲線の位置を特定するサブステップと、
前記画像ストライプに位置する前記テキスト行の曲線の断片を抽出するサブステップと、
水平直線線分により前記テキスト行の曲線の前記断片をフィッティングするサブステップと、
前記水平直線線分の最適な収束点を探索することにより前記水平直線線分から前記水平消失点を計算するサブステップとを有することを特徴とする請求項１乃至３の何れか１項に記載の方法。
【請求項５】
前記歪み文書画像からテキスト行の方向に沿ってテキスト行の曲線の位置を特定する前記サブステップは、
前記歪み文書画像の文字の画素に対する中間の高さの点を抽出する中間高さ点抽出ステップと、
前記中間の高さの点を使用して前記テキスト行の前記文字の前記中間の高さにわたる前記テキスト行曲線の位置を特定するテキスト行曲線位置特定ステップとを有することを特徴とする請求項４記載の方法。
【請求項６】
前記水平直線線分の前記最適な収束点を探索する前記ステップは、
前記水平直線線分の任意の２つの間の交点を計算するサブステップと、
交差角度の正弦の２乗の合計を最小にする前記最適な収束点として前記交点のうち１つの交点を選択するサブステップであり、前記交点の１つに対して、前記交差角度の各々が前記水平直線線分の１つと前記水平直線線分の中心点及び前記交点をつなぐ線とにより規定される角度であるサブステップとを有することを特徴とする請求項４記載の方法。
【請求項７】
前記水平直線線分の前記最適な収束点を探索する前記ステップは、
前記水平直線線分の任意の２つの間の交点を計算するサブステップと、
交差角度の正弦の２乗の合計を最小にする前記最適な収束点として前記交点のうち１つの交点を選択するサブステップであり、前記交点の１つに対して、前記交差角度の各々が前記水平直線線分の１つと前記水平直線線分の中心点及び前記交点をつなぐ線とにより規定される角度であるサブステップとを有することを特徴とする請求項５記載の方法。
【請求項８】
前記歪みモデルは、水平方向の歪みを記述する水平曲線のグループ及び前記垂直線のグループにより形成されるメッシュモデルであり、前記水平曲線は、前記画像ストライプの前記水平消失点に基づいて生成されることを特徴とする請求項１乃至７の何れか１項に記載の方法。
【請求項９】
原稿の歪み文書画像における幾何学的変形を補正するシステムであって、
前記原稿のテキスト行に直角な垂直方向の消失点である前記歪み文書画像の垂直消失点を検出する垂直消失点検出手段と、
前記検出された垂直消失点から開始する垂直線を使用して前記歪み文書画像の領域全体を複数の画像ストライプに分割する画像分割手段と、
前記原稿の前記垂直方向に直角な水平方向の消失点である前記画像ストライプの各々に対する水平消失点を検出する水平消失点検出手段と、
前記画像ストライプの前記水平消失点及び前記垂直消失点を使用して前記歪み文書画像と補正文書画像との間のマッピング関係を記述する歪みモデルを確立する歪みモデル生成手段と、
前記モデルに基づいて補正文書画像を生成する補正手段と、
を有することを特徴とするシステム。
【請求項１０】
前記垂直消失点検出手段は、
前記歪み文書画像から文字の複数の垂直ストロークを抽出する手段と、
複数の垂直直線線分により前記垂直ストロークをフィッティングする手段と、
前記垂直直線線分の最適な収束点を探索することにより前記垂直直線線分から前記垂直消失点を計算する手段とを更に有することを特徴とする請求項９記載のシステム。
【請求項１１】
前記垂直直線線分の最適な収束点を探索することにより前記垂直直線線分から前記垂直消失点を計算する前記手段は、
前記垂直直線線分の任意の２つの間の交点を計算する手段と、
交差角度の正弦の２乗の合計を最小にする前記最適な収束点として前記交点のうち１つの交点を選択する手段であり、前記交点の１つに対して、前記交差角度の各々が前記垂直直線線分の１つと前記垂直直線線分の中心点及び前記交点をつなぐ線とにより規定される角度である手段とを更に有することを特徴とする請求項１０記載のシステム。
【請求項１２】
前記水平消失点検出手段は、
前記歪み文書画像からテキスト行の方向に沿ってテキスト行の曲線の位置を特定する手段と、
前記画像ストライプに位置する前記テキスト行の曲線の断片を抽出する手段と、
水平直線線分により前記テキスト行の曲線の前記断片をフィッティングする手段と、
前記水平直線線分の最適な収束点を探索することにより前記水平直線線分から前記水平消失点を計算する手段とを更に有することを特徴とする請求項９乃至１１の何れか１項に記載のシステム。
【請求項１３】
前記歪み文書画像からテキスト行の方向に沿ってテキスト行の曲線の位置を特定する前記手段は、
前記歪み文書画像の文字の画素に対する中間の高さの点を抽出する中間高さ点抽出手段と、
前記中間の高さの点を使用して前記テキスト行の前記文字の前記中間の高さにわたる前記テキスト行曲線の位置を特定するテキスト行曲線位置特定手段とを有することを特徴とする請求項１２記載のシステム。
【請求項１４】
前記水平直線線分の最適な収束点を探索することにより前記水平直線線分から前記水平消失点を計算する前記手段は、
前記水平直線線分の任意の２つの間の交点を計算する手段と、
交差角度の正弦の２乗の合計を最小にする前記最適な収束点として前記交点のうち１つの交点を選択する手段であり、前記交点の１つに対して、前記交差角度の各々が前記水平直線線分の１つと前記水平直線線分の中心点及び前記交点をつなぐ線とにより規定される角度である手段とを更に有することを特徴とする請求項１２記載のシステム。
【請求項１５】
前記水平直線線分の最適な収束点を探索することにより前記水平直線線分から前記水平消失点を計算する前記手段は、
前記水平直線線分の任意の２つの間の交点を計算する手段と、
交差角度の正弦の２乗の合計を最小にする前記最適な収束点として前記交点のうち１つの交点を選択する手段であり、前記交点の１つに対して、前記交差角度の各々が前記水平直線線分の１つと前記水平直線線分の中心点及び前記交点をつなぐ線とにより規定される角度である手段とを更に有することを特徴とする請求項１３記載のシステム。
【請求項１６】
前記歪みモデルは、水平方向の歪みを記述する水平曲線のグループ及び前記垂直線のグループにより形成されるメッシュモデルであり、前記水平曲線は、前記画像ストライプの前記水平消失点に基づいて生成されることを特徴とする請求項９乃至１５の何れか１項に記載のシステム。
【請求項１】
原稿の歪み文書画像における幾何学的変形を補正する方法であって、
前記原稿のテキスト行に直角な垂直方向の消失点である前記歪み文書画像の垂直消失点を検出する垂直消失点検出ステップと、
前記検出された垂直消失点から開始する垂直線を使用して前記歪み文書画像の領域全体を複数の画像ストライプに分割する画像分割ステップと、
前記原稿の前記垂直方向に直角な水平方向の消失点である前記画像ストライプの各々に対する水平消失点を検出する水平消失点検出ステップと、
前記画像ストライプの前記水平消失点及び前記垂直消失点を使用して前記歪み文書画像と補正文書画像との間のマッピング関係を記述する歪みモデルを確立する歪みモデル生成ステップと、
前記モデルに基づいて補正文書画像を生成する補正ステップと、
を有することを特徴とする方法。
【請求項２】
前記垂直消失点検出ステップは、
前記歪み文書画像から文字の複数の垂直ストロークを抽出するサブステップと、
複数の垂直直線線分により前記垂直ストロークをフィッティングするサブステップと、
前記垂直直線線分の最適な収束点を探索することにより前記垂直直線線分から前記垂直消失点を計算するサブステップとを有することを特徴とする請求項１記載の方法。
【請求項３】
前記垂直直線線分の前記最適な収束点を探索する前記ステップは、
前記垂直直線線分の任意の２つの間の交点を計算するサブステップと、
交差角度の正弦の２乗の合計を最小にする前記最適な収束点として前記交点のうち１つの交点を選択するサブステップであり、前記交点の１つに対して、前記交差角度の各々が前記垂直直線線分の１つと前記垂直直線線分の中心点及び前記交点をつなぐ線とにより規定される角度であるサブステップとを有することを特徴とする請求項２記載の方法。
【請求項４】
前記水平消失点検出ステップは、
前記画像ストライプ毎に、
前記歪み文書画像からテキスト行の方向に沿ってテキスト行の曲線の位置を特定するサブステップと、
前記画像ストライプに位置する前記テキスト行の曲線の断片を抽出するサブステップと、
水平直線線分により前記テキスト行の曲線の前記断片をフィッティングするサブステップと、
前記水平直線線分の最適な収束点を探索することにより前記水平直線線分から前記水平消失点を計算するサブステップとを有することを特徴とする請求項１乃至３の何れか１項に記載の方法。
【請求項５】
前記歪み文書画像からテキスト行の方向に沿ってテキスト行の曲線の位置を特定する前記サブステップは、
前記歪み文書画像の文字の画素に対する中間の高さの点を抽出する中間高さ点抽出ステップと、
前記中間の高さの点を使用して前記テキスト行の前記文字の前記中間の高さにわたる前記テキスト行曲線の位置を特定するテキスト行曲線位置特定ステップとを有することを特徴とする請求項４記載の方法。
【請求項６】
前記水平直線線分の前記最適な収束点を探索する前記ステップは、
前記水平直線線分の任意の２つの間の交点を計算するサブステップと、
交差角度の正弦の２乗の合計を最小にする前記最適な収束点として前記交点のうち１つの交点を選択するサブステップであり、前記交点の１つに対して、前記交差角度の各々が前記水平直線線分の１つと前記水平直線線分の中心点及び前記交点をつなぐ線とにより規定される角度であるサブステップとを有することを特徴とする請求項４記載の方法。
【請求項７】
前記水平直線線分の前記最適な収束点を探索する前記ステップは、
前記水平直線線分の任意の２つの間の交点を計算するサブステップと、
交差角度の正弦の２乗の合計を最小にする前記最適な収束点として前記交点のうち１つの交点を選択するサブステップであり、前記交点の１つに対して、前記交差角度の各々が前記水平直線線分の１つと前記水平直線線分の中心点及び前記交点をつなぐ線とにより規定される角度であるサブステップとを有することを特徴とする請求項５記載の方法。
【請求項８】
前記歪みモデルは、水平方向の歪みを記述する水平曲線のグループ及び前記垂直線のグループにより形成されるメッシュモデルであり、前記水平曲線は、前記画像ストライプの前記水平消失点に基づいて生成されることを特徴とする請求項１乃至７の何れか１項に記載の方法。
【請求項９】
原稿の歪み文書画像における幾何学的変形を補正するシステムであって、
前記原稿のテキスト行に直角な垂直方向の消失点である前記歪み文書画像の垂直消失点を検出する垂直消失点検出手段と、
前記検出された垂直消失点から開始する垂直線を使用して前記歪み文書画像の領域全体を複数の画像ストライプに分割する画像分割手段と、
前記原稿の前記垂直方向に直角な水平方向の消失点である前記画像ストライプの各々に対する水平消失点を検出する水平消失点検出手段と、
前記画像ストライプの前記水平消失点及び前記垂直消失点を使用して前記歪み文書画像と補正文書画像との間のマッピング関係を記述する歪みモデルを確立する歪みモデル生成手段と、
前記モデルに基づいて補正文書画像を生成する補正手段と、
を有することを特徴とするシステム。
【請求項１０】
前記垂直消失点検出手段は、
前記歪み文書画像から文字の複数の垂直ストロークを抽出する手段と、
複数の垂直直線線分により前記垂直ストロークをフィッティングする手段と、
前記垂直直線線分の最適な収束点を探索することにより前記垂直直線線分から前記垂直消失点を計算する手段とを更に有することを特徴とする請求項９記載のシステム。
【請求項１１】
前記垂直直線線分の最適な収束点を探索することにより前記垂直直線線分から前記垂直消失点を計算する前記手段は、
前記垂直直線線分の任意の２つの間の交点を計算する手段と、
交差角度の正弦の２乗の合計を最小にする前記最適な収束点として前記交点のうち１つの交点を選択する手段であり、前記交点の１つに対して、前記交差角度の各々が前記垂直直線線分の１つと前記垂直直線線分の中心点及び前記交点をつなぐ線とにより規定される角度である手段とを更に有することを特徴とする請求項１０記載のシステム。
【請求項１２】
前記水平消失点検出手段は、
前記歪み文書画像からテキスト行の方向に沿ってテキスト行の曲線の位置を特定する手段と、
前記画像ストライプに位置する前記テキスト行の曲線の断片を抽出する手段と、
水平直線線分により前記テキスト行の曲線の前記断片をフィッティングする手段と、
前記水平直線線分の最適な収束点を探索することにより前記水平直線線分から前記水平消失点を計算する手段とを更に有することを特徴とする請求項９乃至１１の何れか１項に記載のシステム。
【請求項１３】
前記歪み文書画像からテキスト行の方向に沿ってテキスト行の曲線の位置を特定する前記手段は、
前記歪み文書画像の文字の画素に対する中間の高さの点を抽出する中間高さ点抽出手段と、
前記中間の高さの点を使用して前記テキスト行の前記文字の前記中間の高さにわたる前記テキスト行曲線の位置を特定するテキスト行曲線位置特定手段とを有することを特徴とする請求項１２記載のシステム。
【請求項１４】
前記水平直線線分の最適な収束点を探索することにより前記水平直線線分から前記水平消失点を計算する前記手段は、
前記水平直線線分の任意の２つの間の交点を計算する手段と、
交差角度の正弦の２乗の合計を最小にする前記最適な収束点として前記交点のうち１つの交点を選択する手段であり、前記交点の１つに対して、前記交差角度の各々が前記水平直線線分の１つと前記水平直線線分の中心点及び前記交点をつなぐ線とにより規定される角度である手段とを更に有することを特徴とする請求項１２記載のシステム。
【請求項１５】
前記水平直線線分の最適な収束点を探索することにより前記水平直線線分から前記水平消失点を計算する前記手段は、
前記水平直線線分の任意の２つの間の交点を計算する手段と、
交差角度の正弦の２乗の合計を最小にする前記最適な収束点として前記交点のうち１つの交点を選択する手段であり、前記交点の１つに対して、前記交差角度の各々が前記水平直線線分の１つと前記水平直線線分の中心点及び前記交点をつなぐ線とにより規定される角度である手段とを更に有することを特徴とする請求項１３記載のシステム。
【請求項１６】
前記歪みモデルは、水平方向の歪みを記述する水平曲線のグループ及び前記垂直線のグループにより形成されるメッシュモデルであり、前記水平曲線は、前記画像ストライプの前記水平消失点に基づいて生成されることを特徴とする請求項９乃至１５の何れか１項に記載のシステム。
【図１】
【図２】
【図３】
【図４】
【図５】
【図６】
【図７】
【図１５】
【図８】
【図９】
【図１０】
【図１１】
【図１２】
【図１３】
【図１４】
【図２】
【図３】
【図４】
【図５】
【図６】
【図７】
【図１５】
【図８】
【図９】
【図１０】
【図１１】
【図１２】
【図１３】
【図１４】
【公開番号】特開２０１０−１７１９７６（Ｐ２０１０−１７１９７６Ａ）
【公開日】平成２２年８月５日（２０１０．８．５）
【国際特許分類】
【外国語出願】
【出願番号】特願２０１０−９５２４（Ｐ２０１０−９５２４）
【出願日】平成２２年１月１９日（２０１０．１．１９）
【出願人】（０００００１００７）キヤノン株式会社 (59,756)
【Ｆターム（参考）】
【公開日】平成２２年８月５日（２０１０．８．５）
【国際特許分類】
【出願番号】特願２０１０−９５２４（Ｐ２０１０−９５２４）
【出願日】平成２２年１月１９日（２０１０．１．１９）
【出願人】（０００００１００７）キヤノン株式会社 (59,756)
【Ｆターム（参考）】
[ Back to top ]