透視変換歪み発生文書画像補正装置および方法
【課題】文書画像の透視変換のための補正装置および補正方法を提供する。
【解決手段】補正装置は、透視変換歪み発生文書画像の水平消失点を検出する水平消失点決定部と、透視変換歪み発生文書画像の垂直消失点を検出する垂直消失点決定部と、透視変換歪み発生文書画像を補正する透視変換補正転換部とを備え、水平消失点決定部は、直接水平ラインセグメント検出部、間接水平ラインセグメント検出部、および水平消失点検出部を備え、水平消失点検出部は、直接水平ラインセグメント検出部が検出した直接水平ラインセグメントと、間接水平ラインセグメント検出部が検出した間接水平ラインセグメントとに従って水平消失点を検出する。
【解決手段】補正装置は、透視変換歪み発生文書画像の水平消失点を検出する水平消失点決定部と、透視変換歪み発生文書画像の垂直消失点を検出する垂直消失点決定部と、透視変換歪み発生文書画像を補正する透視変換補正転換部とを備え、水平消失点決定部は、直接水平ラインセグメント検出部、間接水平ラインセグメント検出部、および水平消失点検出部を備え、水平消失点検出部は、直接水平ラインセグメント検出部が検出した直接水平ラインセグメントと、間接水平ラインセグメント検出部が検出した間接水平ラインセグメントとに従って水平消失点を検出する。
【発明の詳細な説明】
【技術分野】
【０００１】
本発明は、文書画像の透視変換の補正装置および補正方法に関し、より具体的には、様々なラインセグメントの投票による消失点（水平消失点と垂直消失点とを含む）の検出と、画像投影分析を用いた消失点の検出とを組み合わせたハイブリッドな方法、文字の垂直ストロークに基づいてクラスタリングすることにより垂直消失点を検索する方法、さらにはテキスト情報に基づいて透視変換を補正する方法に関する。
【背景技術】
【０００２】
デジタルカメラによる文書画像の透視変換補正は、文書分析および文書認識において重要なステップである。透視変換補正動作とは、透視変換がなされている画像を透視変換のない画像に転換するという意味である。
【０００３】
文書の様々な透視変換補正の原理については、非特許文献１と、非特許文献２と、非特許文献３と、を参照することができる。さらに、例えば特許文献１、特許文献２、および岩田達明および石谷康人による特許出願第２００２−８９４９６号の「画像処理装置及び画像処理方法」のように、文書画像透視変換補正方法に具体的に関連する特許も発行されている。通常、文書画像の透視変換補正は、水平消失点の検出と垂直消失点の検出とを含んだ消失点の検出に基づいて実行される。画像文書に適用される消失点検出方法は、２つの一般的な類に分けることができる。その一方によると、透視図からの画像画素投影分析を直接用いることができ、そのような方法は直接方法と呼ばれる。このタイプの方法は高い計算複雑性を有するものであって、その速度は非常に遅い。他方の方法によると、ラインセグメントおよびその交点の分析および投票を間接的に使用しており、間接方法と呼ばれている。このタイプの方法は高速ではあるが、処理性能が不安定である。
【０００４】
【特許文献１】米国特許第６，８７３，７３２号明細書
【特許文献２】米国特許第７，０４６，４０４号明細書
【非特許文献１】Ｐ．Ｃｌａｒｋ、Ｍ．Ｍｉｒｍｅｈｄｉ、「Ｒｅｃｔｉｆｙｉｎｇ Ｐｅｒｓｐｅｃｔｉｖｅ ｖｉｅｗｓ ｏｆ ｔｅｘｔ ｉｎ ３Ｄ Ｓｃｅｎｅｓ ｕｓｉｎｇ ｖａｎｉｓｈｉｎｇ ｐｏｉｎｔｓ」、Ｐａｔｔｅｒｎ Ｒｅｃｏｇｎｉｔｉｏｎ、２００３、３６（１１）
【非特許文献２】Ｍ．Ｐｉｌｕ、「Ｅｘｔｒａｃｔ ｏｆ ｉｌｌｕｓｏｒｙ ｌｉｎｅａｒ ｃｌｕｅｓ ｉｎ ｐｅｒｓｐｅｃｔｉｖｅｌｙ ｓｋｅｗｅｄ ｄｏｃｕｍｅｎｔｓ」、ＩＥＥＥ Ｃｏｎｆｅｒｅｎｃｅ ｏｎ Ｃｏｍｐｕｔｅｒ Ｖｉｓｉｏｎ ａｎｄ Ｐａｔｔｅｒｎ Ｒｅｃｏｇｎｉｔｉｏｎ、２００１
【非特許文献３】Ｓ．Ｊ．Ｌｕ、Ｂ．Ｍ．Ｃｈｅｎ、Ｃ．Ｃ．Ｋｏ、「Ｐｅｒｓｐｅｃｔｉｖｅ ｒｅｃｔｉｆｉｃａｔｉｏｎ ｏｆ ｄｏｃｕｍｅｎｔ ｉｍａｇｅｓ ｕｓｉｎｇ ｆｕｚｙ ｓｅｔ ａｎｄ ｍｏｒｐｈｏｌｏｇｉｃａｌ ｏｐｅｒａｔｉｏｎｓ」、Ｉｍａｇｅ ａｎｄ Ｖｉｓｉｏｎ Ｃｏｍｐｕｔｉｎｇ、２００５、２３（５）
【発明の開示】
【発明が解決しようとする課題】
【０００５】
一般的に言えば、画像文書はデジタルカメラ、ピックアップレンズで記録されるが、それらは後に行われる文書分析および文書認識に影響を与える透視変換を常に備えたものである。よって、こうした画像文書の透視変換を補正するための種々のアルゴリズムが提案されてきた。それらのアルゴリズムにもある程度の効果はあるものの、異なるモデルのデジタルカメラやピックアップレンズ、並びに、特に携帯電話のピックアップレンズで記録した文書画像についての撮影中の異なる角度によって、透視変換の状況が多様化および複雑化してしまうことから、現在利用可能な補正アルゴリズムを用いた解決法は未だ得られていない。
【課題を解決するための手段】
【０００６】
上述の従来技術の欠点および制限を斟酌して本発明がなされている。本発明は、テキスト情報に基づいて透視変換を行うための補正装置と補正方法を提案するものである。本発明の一態様によれば、透視変換済み文書画像補正装置が提供される。その補正装置は、透視変換済み文書画像の水平消失点を検出する水平消失点決定部と、透視変換済み文書画像の垂直消失点を検出する垂直消失点決定部と、透視変換済み文書画像を補正する透視変換補正転換部とを備える。水平消失点決定部は、直接水平ラインセグメント検出部、間接水平ラインセグメント検出部、および水平消失点検出部を備える。水平消失点検出部は、直接水平ラインセグメント検出部が検出した直接水平ラインセグメントと、間接水平ラインセグメント検出部が検出した間接水平ラインセグメントとに従って水平消失点を検出する。
【０００７】
本発明の別の態様によれば、透視変換済み文書画像補正装置が提供される。この補正装置は、透視変換済み文書画像の水平消失点を検出する水平消失点決定部と、透視変換済み文書画像の垂直消失点を検出する垂直消失点決定部と、透視変換済み文書画像を補正する透視変換補正転換部とを備える。垂直消失点決定部は、直接垂直ラインセグメント検出部、間接垂直ラインセグメント検出部、および垂直消失点検出部を備える。垂直消失点検出部は、直接垂直ラインセグメント検出部が検出した直接垂直ラインセグメントと、間接垂直ラインセグメント検出部が検出した間接垂直ラインセグメントとに従って垂直消失点を検出する。
【０００８】
本発明のさらに別の態様によれば、透視変換済み文書画像補正方法が提供される。この補正方法は、透視変換済み文書画像の水平消失点を検出する水平消失点決定ステップと、透視変換済み文書画像の垂直消失点を検出する垂直消失点決定ステップと、透視変換済み文書画像を補正する透視変換補正転換ステップとを備える。水平消失点決定ステップは、直接水平ラインセグメント検出ステップ、間接水平ラインセグメント検出ステップ、および水平消失点検出ステップを備える。水平消失点検出ステップは、直接水平ラインセグメント検出ステップが検出した直接水平ラインセグメントと、間接水平ラインセグメント検出ステップが検出した間接水平ラインセグメントとに従って水平消失点を検出する。
【０００９】
本発明のさらに別の態様によれば、透視変換済み文書画像補正方法が提供さる。この補正方法は、透視変換済み文書画像の水平消失点を検出する水平消失点決定ステップと、透視変換済み文書画像の垂直消失点を検出する垂直消失点決定ステップと、透視変換済み文書画像を補正する透視変換補正および転換ステップとを備える。垂直消失点決定ステップは、直接垂直ラインセグメント検出ステップ、間接垂直ラインセグメント検出ステップ、および垂直消失点検出ステップを備える。垂直消失点検出ステップは、直接垂直ラインセグメント検出ステップが検出した直接垂直ラインセグメントと、間接垂直ラインセグメント検出ステップが検出した間接垂直ラインセグメントとに従って垂直消失点を検出する。
【００１０】
本発明によるこれらの方法は、直接方法に伴う高い計算複雑性の問題を取り除き、同時に、間接方法の不安定性の欠点を克服する。合成済み消失点検出方法に基づく透視変換済み文書補正方法は、透視変換済み文書画像の高速で強固な補正方法である。
【００１１】
ここに含まれる添付の図面によって本発明に対する理解を更に深めることが可能となる。これらの図面は発明の記述に組み込まれてその一部を形成するものである。図面は、本発明による実施形態を説明するものであって、明細書と共に本発明の原理を説明するものである。
【発明を実施するための最良の形態】
【００１２】
以下、本発明による透視変換済み文書画像補正装置および方法について、添付の図面を参照しながら詳細に説明する。
【００１３】
図１は、本発明の一実施形態にかかる透視変換済み文書画像補正装置を示す構造図である。図１に示すように、本発明にかかる透視変換済み文書画像補正装置は、透視変換済み文書画像入力部１０１と、画像縮小部１０２と、境界検出バイナライズ部１０３と、直接水平垂直ラインセグメント検出部１０４と（本発明による直接水平ラインセグメント検出部と直接垂直ラインセグメント検出部とに関連する）、水平テキストライン検出部１０５と、水平消失点検出部１０６と、文字垂直ストローク検出部１０７と、垂直消失点検出部１０８と、透視変換補正転換部１０９と、補正済み画像出力部１１０と、を備える。
【００１４】
図２は、本発明による透視変換済み画像補正方法を示すフローチャートである。図２に示すように、まず、透視変換済み文書画像が、透視変換済み文書画像入力部１０１（ステップ２０１）によって、この発明の実施形態にかかる透視変換済み文書画像補正装置へ入力される。文書画像はデジタルカメラ、ピックアップレンズを装備した携帯電話、またはその他の撮影装置から引き出すことができる。本発明の一実施形態によれば、入力された文書画像は、画像に対してグレイスケール処理および縮小処理を実行して（ステップ２０２）システムの処理速度を速めるため、画像縮小部１０２に入力される。画像縮小部１０２によるグレイスケール処理および縮小処理後、その画像は境界検出バイナライズ部１０３に入力される。無論、この画像を、画像縮小部１０２を通さずに、境界検出バイナライズ部１０３に直接入力することもできる。
【００１５】
境界検出バイナライズ部１０３は、グレイスケール画像の境界画像を取得するべく計算を行い、このグレイスケール画像をバイナライズ画像に転換する（ステップ２０３，２１１）。境界検出バイナライズ部１０３は、例えば有効Ｃａｎｎｙエッジ検出アルゴリズムや高速な大津の二値化アルゴリズムといった様々な従来の画像エッジ検出アルゴリズムおよび二値化アルゴリズムを採用することができる。本発明における文書画像と透視変換済み文書画像とは、（例えばデジタルカメラ、ピックアップレンズを装備した携帯電話、またはその他の撮影装置を介して）外部より入力された画像、あるいはコンテキストに従って境界検出およびバイナライズ部によって処理された文書画像であってよい。
【００１６】
ステップ２０４において、直接水平垂直ラインセグメント検出部１０４は、境界画像に対して連結成分分析を行うことによって、長い水平ラインセグメント（直接水平ラインセグメント２０７と称する）と長い垂直ラインセグメント（直接垂直ラインセグメント２０６と称する）を取得するための検出を行う。直接水平垂直ラインセグメント検出部１０４において、連結成分の長軸方向が水平方向に近く、またこの長軸の長さが閾値よりも長く、さらには短軸の長さが別の閾値よりも短い場合には、連結成分の長軸は長い水平ラインセグメントである。同様に、連結成分の長軸方向が垂直方向に近く、また長軸の長さが閾値よりも長く、さらには短軸の長さが別の閾値よりも短い場合には、連結成分の長軸は長い垂直ラインセグメントである。
【００１７】
なお、直接水平ラインセグメントの検出および直接垂直ラインセグメントの検出は共に直接水平垂直ラインセグメント検出部１０４によって実行されるが、一方が直接水平ラインセグメントを、また他方が直接水平ラインセグメントを検出する２つの個別の部を設けることが可能であることにも留意すべきである。この間、ステップ２０５では、水平テキストライン検出部１０５が境界画像内の水平テキストラインを検出し、それらのテキストラインから、対応する水平ラインセグメント（間接水平ラインセグメント２０８と称する）を取得する。一実施形態によれば、水平テキストライン検出部１０５は、例えば図３に示す単純で迅速なスメアリングアルゴリズムによって水平テキストラインを検出する。
【００１８】
ステップ２０９では、水平消失点検出部１０６が、直接水平ラインセグメント２０７および間接水平ラインセグメント２０８に基づいて、また画像投影分析に基づく直接方法と、水平ラインセグメントおよびその交点の分析投票に基づく方法と共に消失点を検出して最終水平消失点２１０を取得する。これについては、以下の段落でより詳細に説明する。
【００１９】
その間、ステップ２１３では、文字垂直ストローク検出部１０７が、ステップ２１１において境界検出バイナライズ部１０３によって取得された境界画像に対して文字垂直ストローク検出を実行し、間接垂直ラインセグメント２１４を取得する。ここで、部１０７が間接垂直ラインセグメント２１４を取得するために採用されるが、本発明の別の実施形態においては、この部が従来技術で開示されているような別の方法を採用することが可能であることに留意すべきである。こうした状況であっても、本発明は直接方法と間接方法とを組み合わせた合成方法を用いるため、本発明の目的を達成することが可能となっている。図２に示す状況では、ステップ２１１において画像が縮小されていない点で、ステップ２１１はステップ２０３と異なっている。変換済み文書画像２１２は変換済み文書画像２０１と同一のものである。
【００２０】
本発明の一実施形態によれば、ステップ２１３にて、文字垂直ストローク検出部１０７が、境界画像に対して連結成分分析を実行することにより文字の垂直ストロークを取得し、これにより垂直方向表示を有するラインセグメントを取得する（即ち、間接垂直ラインセグメント２１４）。
【００２１】
次にステップ２１５にて、垂直消失点検出部１０８は消失点を検出し、直接垂直ラインセグメント２０６と間接垂直ラインセグメント２１４とに基づいて、また画像投影分析に基づいた直接方法と、垂直ラインセグメントおよびその交点の分析投票に基づいた間接方法と共に、最終垂直消失点（即ち垂直消失点２１６）を取得する。
【００２２】
本発明では、直接水平垂直ラインセグメント検出部１０４（直接水平ラインセグメントの一部を検出する）、水平テキストライン検出部１０５、および水平消失点検出部１０６は、水平消失点決定部に関連したものであって、また直接水平垂直ラインセグメント検出部１０４（直接垂直ラインセグメントの一部を検出する）、文字垂直ストローク検出部１０７、および垂直消失点検出部１０８は、垂直消失点決定部に関連している。その後、ステップ２１７にて、透視変換補正転換部１０９は、水平消失点および垂直消失点を用いて透視変換の転換マトリックスを取得し、テキスト情報に基づいた補正転換処理を実行することによって、最終補正済み文書画像（即ち、変換補正済み画像２１８）を取得する。この最終補正済み文書画像は出力部１１０によって出力される。
【００２３】
図３は、図２に示したステップ２０５にて水平テキストライン検出部１０５が使用する単純で迅速なスメアリングアルゴリズム（Ｃ言語にて表される）を示す。図３では、「ｈｅｉｇｈｔ」は処理対象のバイナライズされた画像の高さを表し、「ｗｉｄｔｈ」はこれの幅を表し、ｉｍａｇｅ（ｘ，ｙ）＝１は画像座標（ｘ，ｙ）における黒点画素を表す。この迅速なアルゴリズムは画像の各ラインを水平に走査する。各ラインにおいて、２つの隣接した黒点画素間の距離が特定の閾値よりも短い場合には（ｓｍｅａｒ＿ｔｈｒｅｓ）、これら２つの点の間の画素点は全て黒点画素として指定される。
【００２４】
図４は、水平テキストライン検出部１０５を示す構造図である。図４に示すように、本発明の一実施形態によれば、水平テキストライン検出部１０５はバイナライズ済み文書画像入力部４０１と、画像スメアリング処理部４０２と、連結成分計算部４０３と、連結成分の形状およびサイズの分析に基づいた水平テキストライン検出部４０４と、間接水平ラインセグメント出力部４０５と、を含む。
【００２５】
図５は、水平テキストライン検出部１０５の演算フローチャートである。まずステップ５０１にて、境界検出バイナライズ部１０３によって境界検出およびバイナライズを施されたバイナライズ済み画像が、入力部４０１によって入力される。次にステップ５０２で、例えば図３に示すように、画像スメアリング処理部４０２が単純で迅速なスメアリングアルゴリズムを用いてスメアリング処理を実行する。スメアリングアルゴリズムは、画像を水平方向に走査し、水平方向における黒点画素間の関係を分析する。その結果、この水平方向における２つの黒点画素の間の距離が所定の閾値よりも短い場合には、これら２つの点の間の画素が全て黒点画素となる。次にステップ５０３において、連結成分計算部４０３は、黒点画素間の相互関係を分析することによって、スメアリング処理が施された連結成分を計算する。その後ステップ５０４において、連結成分の形状およびサイズの分析に基づいた水平テキストライン検出部４０４は、連結成分のサイズ、形状、および方向を分析することによって水平テキストラインを検出する。なお、その具体的な手順については図７に示す。ステップ５０５において、間接水平ラインセグメント出力部４０５は、水平テキストラインを表す、取得された水平ラインセグメント（即ち、間接水平ラインセグメント２０８）を出力する。
【００２６】
図６は、連結成分の形状およびサイズの分析に基づいた水平テキストライン検出部４０４の構造図である。図６に示すように、連結成分の形状およびサイズの分析に基づいた水平テキストライン検出部４０４は、長い連結成分選択部６０１、連結成分ベースライン計算部６０２、ベースライン分析部６０３を有する。
【００２７】
図７は、連結成分の形状およびサイズの分析に基づいた水平テキストライン検出部４０４の演算フローチャートである。まずステップ７０１において、部６０１は、例えば比較的長い（即ち、特定の閾値よりも長い）連結成分を水平テキストライン候補として選択して、長い連結成分を選択する。次にステップ７０２において、部６０２は連結成分の上方、中間、および下方ベースラインを計算する。換言すると、テキストライン候補の連結成分に関連した上方、中間、および下方ベースラインを計算する。具体的なステップは次のとおりである。まず連結成分の上方および下方等高点を計算するが、その数列は｛（ｘ１，ｙ１Ｕ），（ｘ２，ｙ２Ｕ），．．．，（ｘＮ，ｙＮＵ）｝，｛（ｘ１，ｙ１Ｌ），（ｘ２，ｙ２Ｌ），．．．，（ｘＮ，ｙＮＬ）｝である。なお、ここで（ｘ，ｙ）は画像座標を表し、Ｎは連結成分の長さである。次に、比較的長い連結成分の垂直距離（すなわち、所定の閾値よりも長い）を有する上方および下方等高点が保持されるが、その上方等高点の新規数列はＳｅｔ（Ｕ）＝｛（ｘ１，ｙ１Ｕ），（ｘ２，ｙ２Ｕ），．．．，（ｘＭ，ｙＭＵ）｝であり、下方等高点の新規数列はＳｅｔ（Ｕ）＝｛（ｘ１，ｙ１Ｌ），（ｘ２，ｙ２Ｌ），．．．，（ｘＭ，ｙＭＬ）｝である。また、垂直方向における上方等高点と下方等高点の間の平均距離が計算され、連結成分の中間等高点が取得されるが、その数列はＳｅｔ（Ｃ）＝｛（ｘ１，（ｙ１Ｕ＋ｙ１Ｌ）／２），（ｘ２，（ｙ２Ｕ＋ｙ２Ｌ）／２），．．．，（ｘＭ，（ｙＭＵ＋ｙＭＬ）／２）｝となる。次にステップ７０３において、部７０３は上方ベースラインと下方ベースラインとの間の方向関係を分析する。その結果、連結成分の上方ベースラインと下方ベースラインとが実質的に同方向にあった場合（即ち、これらの間の角度が所定の閾値よりも小さい場合）、また上方ベースラインおよび下方ベースラインの全ての等高点が関連する平均高さおよび標準テキストラインの高さが特定の値の小さい閾値よりも低い場合には、この連結成分が水平テキストラインとして表される。なお、等高点の数列を適合化して取得されたラインセグメントを、このテキストラインで表される直接水平ラインセグメント（即ち、直接水平ラインセグメント２０７）として使用することができる。
【００２８】
図８は、水平消失点検出部１０６の構造図である。この部は、画像投影分析に基づく直接方法と、様々な水平ラインセグメントの投票を行う間接方法とを組み合わせた合成装置である。図８に示すように、本発明の一実施形態によれば、水平消失点検出部１０６は、水平ラインセグメント入力部８０１と、水平ラインセグメント交差クラスタリング部８０２と、水平消失点候補選択部８０３と、水平方向透視投影分析部８０４と、水平消失点合成分析部８０５と、水平消失点出力部８０６と、を有する。
【００２９】
図９は、水平消失点検出部１０６の演算フローチャートである。この方法は、画像投影分析に基づく直接方法と、様々な水平ラインセグメントの投票を行う間接方法とを組み合わせた合成方法である。図９に示すように、ステップ９０１において、入力部８０１は直接水平ラインセグメント２０７と間接水平ラインセグメント２０８とを入力する。次に、ラインセグメントおよび交点の投票に類似した間接方法を使用して、水平消失点検出が実行される。ステップ９０２における一実施形態では、水平ラインセグメント交差クラスタリング部８０２が、全ての水平ラインセグメント（取得された直接水平ラインセグメントと間接水平ラインセグメントとを含む）の対の交点によって形成された点集合を、クラスタリング方法（例えばＫ平均法）によってクラスタリングすることにより複数のクラスタを取得する。これら全ての交点は、図１０〜図１２に示すように、複数の副集合に上手くクラスタリングされる性質を持つ。図１０は、オリジナルの投影変換済み文書画像を示し、図１１は、水平テキストライン検出部２０５によって検出および取得された水平ラインセグメントを示し、図１２は、対にて交差するこれら水平ラインセグメントの全ての交点の空間分布を示す。ここで、座標（０，０）は画像の左上にある頂点であり、実水平消失点（図１２に実線の円形で示す）とその周囲はクラスタである。次にステップ９０３において、水平消失点候補選択部８０３は、各クラスタの中心点を水平消失点候補として選択し、全ての交点の数に対するこのクラスタ内の交点の数の比率を、水平消失点候補のクラスタの重み付け係数として取る。
【００３０】
この係数はｆｈｄ（ｋ）として設定されるものであって、ｋはｋ番目の水平消失点候補を表す。次に、画像投影分析と類似した直接方法を採用し、前述の水平消失点候補の集合に対して水平消失点検出を実行する。次に、本発明の投影方法を採用して、水平消失点候補の分析を実行する。換言すると、ステップ９０４において、水平方向透視投影分析部８０４が、水平消失点について、文書画像に対して透視投影分析を水平方向に行う。このシステムが水平消失点候補選択部８０３によって選択された各水平消失点候補に採用している投影方法は、非特許文献１の第３節に提示された方法と同一のものである。各水平消失点候補の投影値の導関数二乗和を取り、全ての候補点の導関数二乗和に対する各水平消失点候補の導関数二乗和の比率を、この候補点の投影分析の重み付け係数として取る。この係数はｆｈｉ（ｋ）として設定されものであって、ｋはｋ番目の水平消失点候補を表す。次にステップ９０５で、水平消失点合成分析部８０５が前出の重み付け係数を合成する（次式で示されるように）。
ｆｈ（ｋ）＝Ｇ（ｆｈｄ（ｋ），ｆｈｉ（ｋ））
これらの重み付け係数は線形的に合成できる（次式で示されるように）。
ｆｈ（ｋ）＝αｆｈｄ（ｋ）＋βｆｈｉ（ｋ）
α＋β＝１
【００３１】
より単純な形式、即ちα＝β＝０．５を使用してもよい。最後に、最も大きい合成重み付け係数を有する水平消失点候補が最終水平消失点として選択され、出力部８０６によって出力される（ステップ９０６）。
【００３２】
この方法により、直接方法での高い計算複雑性の問題が取り除かれ、またこれと同時に、間接方法での性能の不安定性という欠陥を克服できる。この合成方法は、消失点を検出するための高速で強固な方法である。
【００３３】
図１３は、本発明の一実施形態による文字垂直ストローク検出部１０７を示す構造図である。図１３に示すように、文字垂直ストローク検出部１０７は、垂直境界画像入力部１３０１と、境界画像連結成分計算部１３０２と、垂直ストローク検出部１３０３と、間接垂直ラインセグメント出力部１３０４と、を有する。
【００３４】
図１４は、本発明の一実施形態による文字垂直ストローク検出部１０７の演算フローチャートである。まずステップ１４０１において、入力部１３０１は、境界検出バイナライズ部１０３が取得した垂直境界画像を入力する。次にステップ１４０２において、境界画像連結成分計算部１３０２は、垂直境界画像について連結成分を計算する。その後ステップ１４０３において、垂直ストローク検出部１３０３は、連結成分の形状およびサイズを分析し、文字の高さに類似した高さおよび垂直方向付近の方向を有する連結成分を垂直ストローク候補として選択し、この垂直ストローク候補連結成分の形状を分析する。前述の論文では、連結成分の高さと文字の高さとの差の絶対値が所定の閾値よりも小さい場合には、連結成分の高さが文字の高さに類似すると言及されることに留意すべきである。同様に、連結成分の方向と垂直方向との差の絶対値が所定の閾値よりも小さい場合には、連結成分の方向が垂直方向の付近にある言及されることに留意すべきである。具体的なステップは以下のとおりである。Ｃｉを特定の垂直ストローク候補の連結成分とし、この連結成分の全ての点に対して最小二乗アルゴリズムを実行することによりラインセグメントＬＣｉを適合化する。ラインセグメントの式をａｉ＊ｙ＋ｂｉ＊ｘ＋ｃ＝０とすると、この連結成分およびラインセグメント上の点（ｘ，ｙ）間の距離は下記のとおりである。
【数１】
ここで、
【数２】
とし、
【数３】
【数４】
【数５】
とする。なお、Ｎ（ｘ，μ，σ）はラインセグメントＬＣのガウス分布であり、平均はμ、標準分散はσである。μｓｔｒｏｋｅとσｓｔｒｏｋｅは平均値であり、また文字垂直ストロークに関する平均値および標準分散は経験的および実験的に取得される。ｐ＿ｔｈｒｅｓ＿ｓｔｒｏｋｅは１とほぼ等しい閾値であり、０．９８に設定することが可能である。ｎ＿ｔｈｒｅｓ＿ｓｔｒｏｋｅは、この連結成分内の黒点画素の数とほぼ等しい。ｆ（ＬＣｉ）＝１であった場合、Ｃｉは文字垂直ストロークであると表される。この時点で、文字垂直ストロークの連結成分によって適合化されたこれらのラインセグメントは、間接垂直ラインセグメントである。ステップ１４０４では、出力部１３０４が出力を実行する。
【００３５】
図１５は、本発明の一実施形態による垂直消失点検出部１０８を示す構造図である。この部は、画像投影分析に基づく直接方法と、様々な垂直ラインセグメントを投票する方法とを組み合わせた合成装置である。図１５に示すように、本発明の一実施形態による垂直消失点検出部１０８は、垂直ラインセグメント入力部１５０１と、垂直ラインセグメント交差クラスタリング部１５０２と、垂直消失点候補選択部１５０３と、垂直方向透視投影分析部１５０４と、垂直消失点合成分析部１５０５と、垂直消失点出力部１５０６と、を有している。
【００３６】
図１６は、本発明の一実施形態にかかる垂直消失点検出部１０８のフローチャートである。この方法は、画像投影分析に基づく直接方法と、様々な垂直ラインセグメントを投票する間接方法とを組み合わせた合成方法である。図１６に示すように、ステップ１６０１において、入力部１５０１は直接垂直ラインセグメント２０６と、間接垂直ラインセグメント２１４とを入力する。次に、ラインセグメントおよび交点の投票に類似の間接方法を用いて垂直消失点検出が実行される。換言すると、ステップ１６０２では、垂直ラインセグメント交差クラスタリング部１５０２が、クラスタリング方法（例えばＫ平均法）によって、全ての垂直ラインセグメント（取得した直接垂直ラインセグメントと間接垂直ラインセグメントとを含む）において対をなすものの交点によって形成された点集合をクラスタリングする。これらの交点は全て、複数の副集合に上手くクラスタリングされるという性質を有する。ステップ１６０３では、垂直消失点候補選択部１５０３は、各クラスタの中心点を垂直消失点候補として選択し、全ての交点の数に対するこのクラスタ中の交点の数の比率を、垂直消失点候補のクラスタの重み付け係数として取る。この係数はｆｖｄ（ｋ）として設定されるものであって、ｋはｋ番目の垂直消失点候補を表す。次に、画像投影分析と類似した直接方法を採用し、前述の垂直消失点候補の集合に対して消失点候補検出を実行する。ステップ１６０４において、垂直方向透視投影分析部１５０４は、透視投影分析を垂直方向に実行する。システムによって、選択部１５０３が取得した各垂直消失点候補に対して採用されたこの投影方法は、非特許文献１の第３節に提示された方法と類似している。しかしながら、投影は画像全体に向けられるのではなく、水平テキストラインの各ラインに向けられる（ここでの水平テキストラインとは、文書画像中の行毎の文書を意味し、また先述した水平文書ライン検出部によって取得できるものである）。具体的な演算は次のとおりである。Ｂｉｎ（ｋ）が、前述した投影手順のｋ番目の垂直消失点候補に関連した水平テキストラインのｎ番目のラインのｉ番目のビンの値であった場合、Ｂｉｎ（ｋ）＝０は、これがテキストライン内の垂直方向への空欄に関連することを表す。（Ｂｉｎ（ｋ）＝＝０）＝１がＢｉｎ（ｋ）＝０を表す一方、それ以外においてはＢｉｎ（ｋ）≠０を表す。その結果、投影手順では、ｋ番目の垂直消失点候補が関連している全ての水平テキストラインの空欄の数が下記式によって得られる。
【数６】
ここで、Ｎはテキストラインの数であり、Ｉはビンの数である。
【００３７】
ここでのテキストラインは、水平テキストライン検出部１０５によって取得される。前述の演算により、各垂直消失点候補が関連した空欄の数が得られ、また全ての候補点の累積空欄の数に対する各垂直消失点候補の空欄の数の比率が、候補点の投影の重み付け係数として取られる。この係数はｆｖｉ（ｋ）＝ｇ（ｋ）として設定されるものであって、ｋはｋ番目の垂直消失点候補を表す。次にステップ１６０５において、垂直消失点合成分析部１５０５は前出の重み付け係数を合成する（次の式に示されるように）。
ｆｖ（ｋ）＝Ｇ（ｆｖｄ（ｋ），ｆｖｉ（ｋ））
これらの重み付け係数は線形的に合成できる（次の式に示されるようにして）。
ｆｖ（ｋ）＝αｆｖｄ（ｋ）＋βｆｖｉ（ｋ）
α＋β＝１。
【００３８】
より単純な形式、即ちα＝β＝０．５を用いることも可能である。最後に、最も大きな合成重み付け係数を有する垂直消失点候補が最終垂直消失点として選択され、ステップ１６０５では、出力部１５０５が垂直消失点を出力する。
【００３９】
水平消失点と垂直消失点を取得すると、オリジナルの透視変換済み文書画像から補正済み画像への転換マトリックスを容易に計算することができる。この転換マトリックスをＭとすると、変換手順は下記式で表される。
【数７】
なおここで、（ｘｄ，ｙｄ）はオリジナル画像（透視変換済み文書画像部２０１）の座標を表し、（ｘｕ，ｙｕ）は補正済み画像の座標を表す。補正済み画像上の点（ｉ，ｊ）を仮定すると共に、ｉとｊとの両方を整数とした場合、前述の転換手順により座標（ｆｉ，ｆｊ）の組が得られる。なお、ｆｉとｆｊは共に浮動小数点である。補正画像の質を向上するために、補間を用いた一般的な処理方法が実行される。転換速度を速めるために、透視変換補正転換部１１７は、変換済み画像におけるテキストを有する領域のみについて転換を行い、これ以外の領域については隣接する点で置換られる。テキスト領域はテキスト検出により得られる。これらのテキスト領域に対し補間（線形補間など）に基づいて補正と変換が行われ、これ以外の領域は隣接する点で直接置換られる。下記式を仮定する。
ｉ０＝ｉｎｔ（ｆｉ）
ｊ０＝ｉｎｔ（ｆｊ）
【００４０】
オリジナル変換済み画像（透視変換文書画像部２０１）上に、ｍａｓｋ（ｉ０，ｊ０）＝１で表される（ｉ０，ｊ０）のテキスト点があった場合、補間処理が採用される。あるいは、次式となる。
ｉｍａｇｅ＿ｄｓｔ（ｉ，ｊ）＝ｉｍａｇｅ＿ｓｒｃ（ｉ０，ｊ０）
【００４１】
換言すると、オリジナル画像の隣接点（ｉ０，ｊ０）を使用して、補正済み画像上の関連点（ｉ，ｊ）を表すということである。ここで、ｉｍａｇｅ＿ｓｒｃはオリジナル画像を表し、ｉｍａｇｅ＿ｄｓｔは補正済み画像を表す。
【００４２】
ここでいうテキスト領域は水平テキストライン検出部２０５によって取得される。上述した全てのステップが完了すると、システムが、変換補正が終了した画像を結果として出力する。
【００４３】
種々の垂直な長いラインセグメントと水平ラインラインセグメントとの間の垂直距離の分析に基づいて垂直消失点を検出する従来の方法と比較して、本発明は、文字の垂直ストロークのクラスタリングに基づいて垂直消失点を探索し、文字ストロークの形状およびサイズの連結成分分析を介して文字の垂直ストロークを検出して、複数のクラスタを取得すべく各々の中心が垂直消失点の候補となっている全ての垂直ストロークの対の交点をクラスタリングする方法を提案している。この方法は、垂直消失点を検出するために水平ラインセグメントまたは垂直ラインセグメントの間の垂直距離の分析を利用した方法よりも確固性が高い。
【００４４】
処理対象の画像中の全ての画素点について画素補間と補正転換処理を実行する従来の方法と比較して、本発明で提案されたテキスト知識に基づく透視変換補正転換方法は、変換済み画像のテキストを有する領域のみに対して補間処理に基づいた転換を実行する。この方法により、装置全体および方法の速度が向上する。
【００４５】
この方法の消失点検出は、画像投影分析に基づく直接方法と、様々なラインセグメントの投票による消失点を検出する間接方法とを組み合わせる合成方法を用いており、様々なセグメントを用いて投票およびクラスタリングを実行することで複数の消失点候補を取得し、先行の２つのステップの結果を組み合わせて最終消失点（水平消失点および垂直消失点を含む）を獲得し、関連する透視変換補正を実行する。これに加え、その方法は、垂直消失点を検索するために文字の垂直ストロークをクラスタリングし、規則に基づいた連結成分分析を用いて信頼性の高い垂直ストロークを検出し、これらの垂直ストロークの交点をクラスタリングして複数の垂直消失点候補を取得する。最後に、この方法は、テキスト情報に基づく透視変換補正および転換を実行し、水平消失点および垂直消失点から変換補正転換マトリックスを取得し、変換済み画像のテキストを有する領域のみを転換し、これ以外の領域を隣接する点で置換する。本発明は、デジタルカメラ、ピックアップレンズを装備した携帯電話、その他の撮影装置を用いて撮影された文書画像にも適用できる。
【００４６】
要約すると、本発明の一つの態様によれば、透視変換済み文書画像補正装置が提供される。この補正装置は、透視変換済み文書画像の水平消失点を検出する水平消失点決定部と、透視変換済み文書画像の垂直消失点を検出する垂直消失点決定部と、透視変換済み文書画像を補正する透視変換補正転換部とを備え、水平消失点決定部は、直接水平ラインセグメント検出部、間接水平ラインセグメント検出部、および水平消失点検出部を備え、水平消失点検出部は、直接水平ラインセグメント検出部が検出した直接水平ラインセグメントと、間接水平ラインセグメント検出部が検出した間接水平ラインセグメントとに従って、水平消失点を検出する。
【００４７】
本発明の別の態様によれば、透視変換済み文書画像補正装置が提供される。補正装置は、透視変換済み文書画像の水平消失点を検出する水平消失点決定部と、透視変換済み文書画像の垂直消失点を検出する垂直消失点決定部と、透視変換済み文書画像を補正する透視変換補正転換部とを備え、垂直消失点決定部は、直接垂直ラインセグメント検出部、間接垂直ラインセグメント検出部、および垂直消失点検出部を備え、垂直消失点検出部は、直接垂直ラインセグメントが検出した直接垂直ラインセグメントと、間接垂直ラインセグメント検出部が検出した間接垂直ラインセグメントとに従って、垂直消失点を検出する。
【００４８】
本発明のさらに別の態様によれば、透視変換済み文書画像補正方法が提供される。この補正方法は、透視変換済み文書画像の水平消失点を検出する水平消失点決定ステップと、透視変換済み文書画像の垂直消失点を検出する垂直消失点決定ステップと、透視変換文書画像を補正する透視変換補正転換ステップとを備え、水平消失点決定ステップは、直接水平ラインセグメント検出ステップ、間接水平ラインセグメント検出ステップ、および水平消失点検出ステップを備え、水平消失点検出ステップは、直接水平ラインセグメント検出ステップによって検出した直接水平ラインセグメントと、間接水平ラインセグメント検出ステップによって検出した間接水平ラインセグメントとに従って、水平消失点を検出する。
【００４９】
本発明のさらに別の態様によれば、透視変換済み文書画像補正方法が提供される。補正方法は、透視変換済み文書画像の水平消失点を検出する水平消失点決定ステップと、透視変換済み文書画像の垂直消失点を検出する垂直消失点決定ステップと、透視変換済み文書画像を補正する透視変換補正転換ステップとを備え、垂直消失点決定ステップは、直接垂直ラインセグメント検出ステップ、間接垂直ラインセグメント検出ステップ、および垂直消失点検出ステップを備えており、垂直消失点検出ステップは、直接垂直ラインセグメント検出ステップにおいて検出された直接垂直ラインセグメントと、間接垂直ラインセグメント検出ステップにおいて検出された間接垂直ラインセグメントとに従って垂直消失点を検出する。
【００５０】
本発明の一実施形態によれば、水平ラインセグメント交差クラスタリング部は、クラスタリングを実行するためにＫ平均法を使用する。
【００５１】
本発明の一実施形態によれば、水平消失点検出部は、全ての水平ラインセグメントの交点の対によって形成された点集合をクラスタリングして複数のクラスタを取得する水平ラインセグメント交差クラスタリング部と、各クラスタの中心点を水平消失点候補として選択し、各水平消失点候補の重み付け係数を取得する水平消失点候補選択部と、水平消失点候補について文書画像に対して水平方向に透視投影分析を実行し、各水平消失点候補の別の重み付け係数を取得する水平方向透視投影分析部と、重み付け係数および別の重み付け係数に基づいて最終水平消失点を選択する水平消失点合成分析部を含む。
【００５２】
本発明の一実施形態によれば、水平消失点合成分析部は、水平方向透視投影分析部が取得した重み付け係数と、線形モードにある水平消失点候補選択部により取得した重み付け係数とを合成する。
【００５３】
本発明の一実施形態によれば、垂直消失点決定部は、直接垂直ラインセグメント検出部と、間接垂直ラインセグメント検出部と、垂直消失点検出部とを備え、垂直消失点検出部は、直接垂直ラインセグメント検出部が検出した直接垂直ラインセグメントと、間接垂直ラインセグメント検出部が検出した間接垂直ラインセグメントとに従って垂直消失点を検出する。
【００５４】
本発明の一実施形態によれば、間接垂直ラインセグメント検出部は、文書画像の連結成分を計算する連結成分計算部と、垂直ストローク候補を決定するために連結成分の形状およびサイズを分析し、垂直ラインセグメントを取得するために垂直ストローク候補の連結成分の形状を分析する文字垂直ストローク検出部とを含む。
【００５５】
本発明の一実施形態によれば、文字垂直ストローク検出部は、文字の高さと類似した高さを有し、且つ垂直方向に近い方向を有する連結成分を垂直ストローク候補として選択する。
【００５６】
本発明の一実施形態によれば、垂直消失点検出部は、直接垂直ラインセグメントと間接垂直ラインセグメントとで構成された集合において垂直ラインセグメントの対の交差で形成された点集合をクラスタリングして複数のクラスタを取得する垂直ラインセグメント交差クラスタリング部と、各クラスタの中心点を垂直消失点候補として選択し、各垂直消失点候補の重み付け係数を取得する垂直消失点選択部と、透視投影分析を、垂直消失点候補について文書画像に対して垂直方法に実行し、各垂直消失点候補の別の重み付け係数を取得する垂直方向透視投影分析部と、垂直消失点選択部が取得した重み付け係数と、各垂直消失点候補について垂直方向透視投影分析部が取得した別の重み付け係数とを分析することで最終垂直消失点を取得する垂直消失点合成分析部とを含む。
【００５７】
本発明の一実施形態によれば、垂直ラインセグメント交差クラスタリング部は、Ｋ平均法を使用してクラスタリングを実行する。
【００５８】
本発明の一実施形態によれば、垂直方向透視投影分析部（ステップ）は、水平テキストラインの各ラインに対して投影を実行し、全てのテキストラインの投影分析の結果を合成する。
【００５９】
本発明の一実施形態によれば、垂直消失点選択部（ステップ）は、全ての交差に対するクラスタ内の交差の数の比率を、垂直消失点候補のクラスタの重み付け係数として取る。
【００６０】
これに加え、本発明はさらに、本発明による透視変換済み文書画像補正方法を実施するための、コンピュータにより実行可能なコンピュータプログラムを提供する。
【００６１】
さらに本発明はまた、本発明による透視変換済み文書画像補正装置としてコンピュータを機能させるための、コンピュータによって実行可能なコンピュータプログラムを提供する。
【００６２】
本発明のまた別の態様によれば、本発明は、上記コンピュータプログラムを記憶するためのデータ記憶媒体を提供する。この記憶媒体は、当業者にとって既知の任意の記憶媒体、例えばＲＯＭ、フロッピー（登録商標）ディスク、フラッシュメモリ、ハードディスク、ＣＤ，ＤＶＤ、テープなどであってよい。
【００６３】
上記においては本発明の各ステップを順番に説明したが、これらのステップの順序を変更したり、平行して実行したりすることが可能である。
【００６４】
この文書において、「備える」、「含む」といった用語は存在を意味し、また他の成分部品の存在を除外するものではなく、即ち、「を含むがこれに限定されず」ことを意味する点に留意されたい。例えば、ＡがＢを備える／含むという記述は、ＡがＢを包含しており、さらにＣを包含することもできるという意味である。
【００６５】
前出の全ての実施形態は事実上の例証であり、本発明を規制するものとして理解されるべきではない。当業者は、本発明の精神および範囲内で様々な変更および補正を加えることができ、またそれらの変更および補正は、請求項またはこの対等物にて請求された範囲内に包括される限り、本発明の保護範囲によって網羅される。
【図面の簡単な説明】
【００６６】
【図１】本発明による透視変換済み文書画像補正装置を示す構造図である。
【図２】本発明による透視変換済み文書画像補正方法を示すフローチャートである。
【図３】単純で迅速なスメアリングアルゴリズムを示す。
【図４】水平テキストライン検出部を示す構造図である。
【図５】水平テキストライン検出処理を示すフローチャートである。
【図６】連結成分の形状およびサイズ分析に基づく水平テキストライン検出装置を示す図である。
【図７】連結成分の形状およびサイズ分析に基づいた水平テキストライン検出を示すフローチャートである。
【図８】水平消失点検出部を示す構造図である。
【図９】水平消失点検出を示すフローチャートである。
【図１０】特定の透視変換済み文書画像を示す図である。
【図１１】図１０中の画像の様々な水平ラインセグメントを示す図である。
【図１２】図１１中の水平ラインセグメントの対における交点の分布を示す図である。
【図１３】文字垂直ストローク検出部を示す構造図である。
【図１４】文字垂直ストローク検出を示すフローチャートである。
【図１５】垂直消失点検出部を示す構造図である。
【図１６】垂直消失点検出を示すフローチャートである。
【技術分野】
【０００１】
本発明は、文書画像の透視変換の補正装置および補正方法に関し、より具体的には、様々なラインセグメントの投票による消失点（水平消失点と垂直消失点とを含む）の検出と、画像投影分析を用いた消失点の検出とを組み合わせたハイブリッドな方法、文字の垂直ストロークに基づいてクラスタリングすることにより垂直消失点を検索する方法、さらにはテキスト情報に基づいて透視変換を補正する方法に関する。
【背景技術】
【０００２】
デジタルカメラによる文書画像の透視変換補正は、文書分析および文書認識において重要なステップである。透視変換補正動作とは、透視変換がなされている画像を透視変換のない画像に転換するという意味である。
【０００３】
文書の様々な透視変換補正の原理については、非特許文献１と、非特許文献２と、非特許文献３と、を参照することができる。さらに、例えば特許文献１、特許文献２、および岩田達明および石谷康人による特許出願第２００２−８９４９６号の「画像処理装置及び画像処理方法」のように、文書画像透視変換補正方法に具体的に関連する特許も発行されている。通常、文書画像の透視変換補正は、水平消失点の検出と垂直消失点の検出とを含んだ消失点の検出に基づいて実行される。画像文書に適用される消失点検出方法は、２つの一般的な類に分けることができる。その一方によると、透視図からの画像画素投影分析を直接用いることができ、そのような方法は直接方法と呼ばれる。このタイプの方法は高い計算複雑性を有するものであって、その速度は非常に遅い。他方の方法によると、ラインセグメントおよびその交点の分析および投票を間接的に使用しており、間接方法と呼ばれている。このタイプの方法は高速ではあるが、処理性能が不安定である。
【０００４】
【特許文献１】米国特許第６，８７３，７３２号明細書
【特許文献２】米国特許第７，０４６，４０４号明細書
【非特許文献１】Ｐ．Ｃｌａｒｋ、Ｍ．Ｍｉｒｍｅｈｄｉ、「Ｒｅｃｔｉｆｙｉｎｇ Ｐｅｒｓｐｅｃｔｉｖｅ ｖｉｅｗｓ ｏｆ ｔｅｘｔ ｉｎ ３Ｄ Ｓｃｅｎｅｓ ｕｓｉｎｇ ｖａｎｉｓｈｉｎｇ ｐｏｉｎｔｓ」、Ｐａｔｔｅｒｎ Ｒｅｃｏｇｎｉｔｉｏｎ、２００３、３６（１１）
【非特許文献２】Ｍ．Ｐｉｌｕ、「Ｅｘｔｒａｃｔ ｏｆ ｉｌｌｕｓｏｒｙ ｌｉｎｅａｒ ｃｌｕｅｓ ｉｎ ｐｅｒｓｐｅｃｔｉｖｅｌｙ ｓｋｅｗｅｄ ｄｏｃｕｍｅｎｔｓ」、ＩＥＥＥ Ｃｏｎｆｅｒｅｎｃｅ ｏｎ Ｃｏｍｐｕｔｅｒ Ｖｉｓｉｏｎ ａｎｄ Ｐａｔｔｅｒｎ Ｒｅｃｏｇｎｉｔｉｏｎ、２００１
【非特許文献３】Ｓ．Ｊ．Ｌｕ、Ｂ．Ｍ．Ｃｈｅｎ、Ｃ．Ｃ．Ｋｏ、「Ｐｅｒｓｐｅｃｔｉｖｅ ｒｅｃｔｉｆｉｃａｔｉｏｎ ｏｆ ｄｏｃｕｍｅｎｔ ｉｍａｇｅｓ ｕｓｉｎｇ ｆｕｚｙ ｓｅｔ ａｎｄ ｍｏｒｐｈｏｌｏｇｉｃａｌ ｏｐｅｒａｔｉｏｎｓ」、Ｉｍａｇｅ ａｎｄ Ｖｉｓｉｏｎ Ｃｏｍｐｕｔｉｎｇ、２００５、２３（５）
【発明の開示】
【発明が解決しようとする課題】
【０００５】
一般的に言えば、画像文書はデジタルカメラ、ピックアップレンズで記録されるが、それらは後に行われる文書分析および文書認識に影響を与える透視変換を常に備えたものである。よって、こうした画像文書の透視変換を補正するための種々のアルゴリズムが提案されてきた。それらのアルゴリズムにもある程度の効果はあるものの、異なるモデルのデジタルカメラやピックアップレンズ、並びに、特に携帯電話のピックアップレンズで記録した文書画像についての撮影中の異なる角度によって、透視変換の状況が多様化および複雑化してしまうことから、現在利用可能な補正アルゴリズムを用いた解決法は未だ得られていない。
【課題を解決するための手段】
【０００６】
上述の従来技術の欠点および制限を斟酌して本発明がなされている。本発明は、テキスト情報に基づいて透視変換を行うための補正装置と補正方法を提案するものである。本発明の一態様によれば、透視変換済み文書画像補正装置が提供される。その補正装置は、透視変換済み文書画像の水平消失点を検出する水平消失点決定部と、透視変換済み文書画像の垂直消失点を検出する垂直消失点決定部と、透視変換済み文書画像を補正する透視変換補正転換部とを備える。水平消失点決定部は、直接水平ラインセグメント検出部、間接水平ラインセグメント検出部、および水平消失点検出部を備える。水平消失点検出部は、直接水平ラインセグメント検出部が検出した直接水平ラインセグメントと、間接水平ラインセグメント検出部が検出した間接水平ラインセグメントとに従って水平消失点を検出する。
【０００７】
本発明の別の態様によれば、透視変換済み文書画像補正装置が提供される。この補正装置は、透視変換済み文書画像の水平消失点を検出する水平消失点決定部と、透視変換済み文書画像の垂直消失点を検出する垂直消失点決定部と、透視変換済み文書画像を補正する透視変換補正転換部とを備える。垂直消失点決定部は、直接垂直ラインセグメント検出部、間接垂直ラインセグメント検出部、および垂直消失点検出部を備える。垂直消失点検出部は、直接垂直ラインセグメント検出部が検出した直接垂直ラインセグメントと、間接垂直ラインセグメント検出部が検出した間接垂直ラインセグメントとに従って垂直消失点を検出する。
【０００８】
本発明のさらに別の態様によれば、透視変換済み文書画像補正方法が提供される。この補正方法は、透視変換済み文書画像の水平消失点を検出する水平消失点決定ステップと、透視変換済み文書画像の垂直消失点を検出する垂直消失点決定ステップと、透視変換済み文書画像を補正する透視変換補正転換ステップとを備える。水平消失点決定ステップは、直接水平ラインセグメント検出ステップ、間接水平ラインセグメント検出ステップ、および水平消失点検出ステップを備える。水平消失点検出ステップは、直接水平ラインセグメント検出ステップが検出した直接水平ラインセグメントと、間接水平ラインセグメント検出ステップが検出した間接水平ラインセグメントとに従って水平消失点を検出する。
【０００９】
本発明のさらに別の態様によれば、透視変換済み文書画像補正方法が提供さる。この補正方法は、透視変換済み文書画像の水平消失点を検出する水平消失点決定ステップと、透視変換済み文書画像の垂直消失点を検出する垂直消失点決定ステップと、透視変換済み文書画像を補正する透視変換補正および転換ステップとを備える。垂直消失点決定ステップは、直接垂直ラインセグメント検出ステップ、間接垂直ラインセグメント検出ステップ、および垂直消失点検出ステップを備える。垂直消失点検出ステップは、直接垂直ラインセグメント検出ステップが検出した直接垂直ラインセグメントと、間接垂直ラインセグメント検出ステップが検出した間接垂直ラインセグメントとに従って垂直消失点を検出する。
【００１０】
本発明によるこれらの方法は、直接方法に伴う高い計算複雑性の問題を取り除き、同時に、間接方法の不安定性の欠点を克服する。合成済み消失点検出方法に基づく透視変換済み文書補正方法は、透視変換済み文書画像の高速で強固な補正方法である。
【００１１】
ここに含まれる添付の図面によって本発明に対する理解を更に深めることが可能となる。これらの図面は発明の記述に組み込まれてその一部を形成するものである。図面は、本発明による実施形態を説明するものであって、明細書と共に本発明の原理を説明するものである。
【発明を実施するための最良の形態】
【００１２】
以下、本発明による透視変換済み文書画像補正装置および方法について、添付の図面を参照しながら詳細に説明する。
【００１３】
図１は、本発明の一実施形態にかかる透視変換済み文書画像補正装置を示す構造図である。図１に示すように、本発明にかかる透視変換済み文書画像補正装置は、透視変換済み文書画像入力部１０１と、画像縮小部１０２と、境界検出バイナライズ部１０３と、直接水平垂直ラインセグメント検出部１０４と（本発明による直接水平ラインセグメント検出部と直接垂直ラインセグメント検出部とに関連する）、水平テキストライン検出部１０５と、水平消失点検出部１０６と、文字垂直ストローク検出部１０７と、垂直消失点検出部１０８と、透視変換補正転換部１０９と、補正済み画像出力部１１０と、を備える。
【００１４】
図２は、本発明による透視変換済み画像補正方法を示すフローチャートである。図２に示すように、まず、透視変換済み文書画像が、透視変換済み文書画像入力部１０１（ステップ２０１）によって、この発明の実施形態にかかる透視変換済み文書画像補正装置へ入力される。文書画像はデジタルカメラ、ピックアップレンズを装備した携帯電話、またはその他の撮影装置から引き出すことができる。本発明の一実施形態によれば、入力された文書画像は、画像に対してグレイスケール処理および縮小処理を実行して（ステップ２０２）システムの処理速度を速めるため、画像縮小部１０２に入力される。画像縮小部１０２によるグレイスケール処理および縮小処理後、その画像は境界検出バイナライズ部１０３に入力される。無論、この画像を、画像縮小部１０２を通さずに、境界検出バイナライズ部１０３に直接入力することもできる。
【００１５】
境界検出バイナライズ部１０３は、グレイスケール画像の境界画像を取得するべく計算を行い、このグレイスケール画像をバイナライズ画像に転換する（ステップ２０３，２１１）。境界検出バイナライズ部１０３は、例えば有効Ｃａｎｎｙエッジ検出アルゴリズムや高速な大津の二値化アルゴリズムといった様々な従来の画像エッジ検出アルゴリズムおよび二値化アルゴリズムを採用することができる。本発明における文書画像と透視変換済み文書画像とは、（例えばデジタルカメラ、ピックアップレンズを装備した携帯電話、またはその他の撮影装置を介して）外部より入力された画像、あるいはコンテキストに従って境界検出およびバイナライズ部によって処理された文書画像であってよい。
【００１６】
ステップ２０４において、直接水平垂直ラインセグメント検出部１０４は、境界画像に対して連結成分分析を行うことによって、長い水平ラインセグメント（直接水平ラインセグメント２０７と称する）と長い垂直ラインセグメント（直接垂直ラインセグメント２０６と称する）を取得するための検出を行う。直接水平垂直ラインセグメント検出部１０４において、連結成分の長軸方向が水平方向に近く、またこの長軸の長さが閾値よりも長く、さらには短軸の長さが別の閾値よりも短い場合には、連結成分の長軸は長い水平ラインセグメントである。同様に、連結成分の長軸方向が垂直方向に近く、また長軸の長さが閾値よりも長く、さらには短軸の長さが別の閾値よりも短い場合には、連結成分の長軸は長い垂直ラインセグメントである。
【００１７】
なお、直接水平ラインセグメントの検出および直接垂直ラインセグメントの検出は共に直接水平垂直ラインセグメント検出部１０４によって実行されるが、一方が直接水平ラインセグメントを、また他方が直接水平ラインセグメントを検出する２つの個別の部を設けることが可能であることにも留意すべきである。この間、ステップ２０５では、水平テキストライン検出部１０５が境界画像内の水平テキストラインを検出し、それらのテキストラインから、対応する水平ラインセグメント（間接水平ラインセグメント２０８と称する）を取得する。一実施形態によれば、水平テキストライン検出部１０５は、例えば図３に示す単純で迅速なスメアリングアルゴリズムによって水平テキストラインを検出する。
【００１８】
ステップ２０９では、水平消失点検出部１０６が、直接水平ラインセグメント２０７および間接水平ラインセグメント２０８に基づいて、また画像投影分析に基づく直接方法と、水平ラインセグメントおよびその交点の分析投票に基づく方法と共に消失点を検出して最終水平消失点２１０を取得する。これについては、以下の段落でより詳細に説明する。
【００１９】
その間、ステップ２１３では、文字垂直ストローク検出部１０７が、ステップ２１１において境界検出バイナライズ部１０３によって取得された境界画像に対して文字垂直ストローク検出を実行し、間接垂直ラインセグメント２１４を取得する。ここで、部１０７が間接垂直ラインセグメント２１４を取得するために採用されるが、本発明の別の実施形態においては、この部が従来技術で開示されているような別の方法を採用することが可能であることに留意すべきである。こうした状況であっても、本発明は直接方法と間接方法とを組み合わせた合成方法を用いるため、本発明の目的を達成することが可能となっている。図２に示す状況では、ステップ２１１において画像が縮小されていない点で、ステップ２１１はステップ２０３と異なっている。変換済み文書画像２１２は変換済み文書画像２０１と同一のものである。
【００２０】
本発明の一実施形態によれば、ステップ２１３にて、文字垂直ストローク検出部１０７が、境界画像に対して連結成分分析を実行することにより文字の垂直ストロークを取得し、これにより垂直方向表示を有するラインセグメントを取得する（即ち、間接垂直ラインセグメント２１４）。
【００２１】
次にステップ２１５にて、垂直消失点検出部１０８は消失点を検出し、直接垂直ラインセグメント２０６と間接垂直ラインセグメント２１４とに基づいて、また画像投影分析に基づいた直接方法と、垂直ラインセグメントおよびその交点の分析投票に基づいた間接方法と共に、最終垂直消失点（即ち垂直消失点２１６）を取得する。
【００２２】
本発明では、直接水平垂直ラインセグメント検出部１０４（直接水平ラインセグメントの一部を検出する）、水平テキストライン検出部１０５、および水平消失点検出部１０６は、水平消失点決定部に関連したものであって、また直接水平垂直ラインセグメント検出部１０４（直接垂直ラインセグメントの一部を検出する）、文字垂直ストローク検出部１０７、および垂直消失点検出部１０８は、垂直消失点決定部に関連している。その後、ステップ２１７にて、透視変換補正転換部１０９は、水平消失点および垂直消失点を用いて透視変換の転換マトリックスを取得し、テキスト情報に基づいた補正転換処理を実行することによって、最終補正済み文書画像（即ち、変換補正済み画像２１８）を取得する。この最終補正済み文書画像は出力部１１０によって出力される。
【００２３】
図３は、図２に示したステップ２０５にて水平テキストライン検出部１０５が使用する単純で迅速なスメアリングアルゴリズム（Ｃ言語にて表される）を示す。図３では、「ｈｅｉｇｈｔ」は処理対象のバイナライズされた画像の高さを表し、「ｗｉｄｔｈ」はこれの幅を表し、ｉｍａｇｅ（ｘ，ｙ）＝１は画像座標（ｘ，ｙ）における黒点画素を表す。この迅速なアルゴリズムは画像の各ラインを水平に走査する。各ラインにおいて、２つの隣接した黒点画素間の距離が特定の閾値よりも短い場合には（ｓｍｅａｒ＿ｔｈｒｅｓ）、これら２つの点の間の画素点は全て黒点画素として指定される。
【００２４】
図４は、水平テキストライン検出部１０５を示す構造図である。図４に示すように、本発明の一実施形態によれば、水平テキストライン検出部１０５はバイナライズ済み文書画像入力部４０１と、画像スメアリング処理部４０２と、連結成分計算部４０３と、連結成分の形状およびサイズの分析に基づいた水平テキストライン検出部４０４と、間接水平ラインセグメント出力部４０５と、を含む。
【００２５】
図５は、水平テキストライン検出部１０５の演算フローチャートである。まずステップ５０１にて、境界検出バイナライズ部１０３によって境界検出およびバイナライズを施されたバイナライズ済み画像が、入力部４０１によって入力される。次にステップ５０２で、例えば図３に示すように、画像スメアリング処理部４０２が単純で迅速なスメアリングアルゴリズムを用いてスメアリング処理を実行する。スメアリングアルゴリズムは、画像を水平方向に走査し、水平方向における黒点画素間の関係を分析する。その結果、この水平方向における２つの黒点画素の間の距離が所定の閾値よりも短い場合には、これら２つの点の間の画素が全て黒点画素となる。次にステップ５０３において、連結成分計算部４０３は、黒点画素間の相互関係を分析することによって、スメアリング処理が施された連結成分を計算する。その後ステップ５０４において、連結成分の形状およびサイズの分析に基づいた水平テキストライン検出部４０４は、連結成分のサイズ、形状、および方向を分析することによって水平テキストラインを検出する。なお、その具体的な手順については図７に示す。ステップ５０５において、間接水平ラインセグメント出力部４０５は、水平テキストラインを表す、取得された水平ラインセグメント（即ち、間接水平ラインセグメント２０８）を出力する。
【００２６】
図６は、連結成分の形状およびサイズの分析に基づいた水平テキストライン検出部４０４の構造図である。図６に示すように、連結成分の形状およびサイズの分析に基づいた水平テキストライン検出部４０４は、長い連結成分選択部６０１、連結成分ベースライン計算部６０２、ベースライン分析部６０３を有する。
【００２７】
図７は、連結成分の形状およびサイズの分析に基づいた水平テキストライン検出部４０４の演算フローチャートである。まずステップ７０１において、部６０１は、例えば比較的長い（即ち、特定の閾値よりも長い）連結成分を水平テキストライン候補として選択して、長い連結成分を選択する。次にステップ７０２において、部６０２は連結成分の上方、中間、および下方ベースラインを計算する。換言すると、テキストライン候補の連結成分に関連した上方、中間、および下方ベースラインを計算する。具体的なステップは次のとおりである。まず連結成分の上方および下方等高点を計算するが、その数列は｛（ｘ１，ｙ１Ｕ），（ｘ２，ｙ２Ｕ），．．．，（ｘＮ，ｙＮＵ）｝，｛（ｘ１，ｙ１Ｌ），（ｘ２，ｙ２Ｌ），．．．，（ｘＮ，ｙＮＬ）｝である。なお、ここで（ｘ，ｙ）は画像座標を表し、Ｎは連結成分の長さである。次に、比較的長い連結成分の垂直距離（すなわち、所定の閾値よりも長い）を有する上方および下方等高点が保持されるが、その上方等高点の新規数列はＳｅｔ（Ｕ）＝｛（ｘ１，ｙ１Ｕ），（ｘ２，ｙ２Ｕ），．．．，（ｘＭ，ｙＭＵ）｝であり、下方等高点の新規数列はＳｅｔ（Ｕ）＝｛（ｘ１，ｙ１Ｌ），（ｘ２，ｙ２Ｌ），．．．，（ｘＭ，ｙＭＬ）｝である。また、垂直方向における上方等高点と下方等高点の間の平均距離が計算され、連結成分の中間等高点が取得されるが、その数列はＳｅｔ（Ｃ）＝｛（ｘ１，（ｙ１Ｕ＋ｙ１Ｌ）／２），（ｘ２，（ｙ２Ｕ＋ｙ２Ｌ）／２），．．．，（ｘＭ，（ｙＭＵ＋ｙＭＬ）／２）｝となる。次にステップ７０３において、部７０３は上方ベースラインと下方ベースラインとの間の方向関係を分析する。その結果、連結成分の上方ベースラインと下方ベースラインとが実質的に同方向にあった場合（即ち、これらの間の角度が所定の閾値よりも小さい場合）、また上方ベースラインおよび下方ベースラインの全ての等高点が関連する平均高さおよび標準テキストラインの高さが特定の値の小さい閾値よりも低い場合には、この連結成分が水平テキストラインとして表される。なお、等高点の数列を適合化して取得されたラインセグメントを、このテキストラインで表される直接水平ラインセグメント（即ち、直接水平ラインセグメント２０７）として使用することができる。
【００２８】
図８は、水平消失点検出部１０６の構造図である。この部は、画像投影分析に基づく直接方法と、様々な水平ラインセグメントの投票を行う間接方法とを組み合わせた合成装置である。図８に示すように、本発明の一実施形態によれば、水平消失点検出部１０６は、水平ラインセグメント入力部８０１と、水平ラインセグメント交差クラスタリング部８０２と、水平消失点候補選択部８０３と、水平方向透視投影分析部８０４と、水平消失点合成分析部８０５と、水平消失点出力部８０６と、を有する。
【００２９】
図９は、水平消失点検出部１０６の演算フローチャートである。この方法は、画像投影分析に基づく直接方法と、様々な水平ラインセグメントの投票を行う間接方法とを組み合わせた合成方法である。図９に示すように、ステップ９０１において、入力部８０１は直接水平ラインセグメント２０７と間接水平ラインセグメント２０８とを入力する。次に、ラインセグメントおよび交点の投票に類似した間接方法を使用して、水平消失点検出が実行される。ステップ９０２における一実施形態では、水平ラインセグメント交差クラスタリング部８０２が、全ての水平ラインセグメント（取得された直接水平ラインセグメントと間接水平ラインセグメントとを含む）の対の交点によって形成された点集合を、クラスタリング方法（例えばＫ平均法）によってクラスタリングすることにより複数のクラスタを取得する。これら全ての交点は、図１０〜図１２に示すように、複数の副集合に上手くクラスタリングされる性質を持つ。図１０は、オリジナルの投影変換済み文書画像を示し、図１１は、水平テキストライン検出部２０５によって検出および取得された水平ラインセグメントを示し、図１２は、対にて交差するこれら水平ラインセグメントの全ての交点の空間分布を示す。ここで、座標（０，０）は画像の左上にある頂点であり、実水平消失点（図１２に実線の円形で示す）とその周囲はクラスタである。次にステップ９０３において、水平消失点候補選択部８０３は、各クラスタの中心点を水平消失点候補として選択し、全ての交点の数に対するこのクラスタ内の交点の数の比率を、水平消失点候補のクラスタの重み付け係数として取る。
【００３０】
この係数はｆｈｄ（ｋ）として設定されるものであって、ｋはｋ番目の水平消失点候補を表す。次に、画像投影分析と類似した直接方法を採用し、前述の水平消失点候補の集合に対して水平消失点検出を実行する。次に、本発明の投影方法を採用して、水平消失点候補の分析を実行する。換言すると、ステップ９０４において、水平方向透視投影分析部８０４が、水平消失点について、文書画像に対して透視投影分析を水平方向に行う。このシステムが水平消失点候補選択部８０３によって選択された各水平消失点候補に採用している投影方法は、非特許文献１の第３節に提示された方法と同一のものである。各水平消失点候補の投影値の導関数二乗和を取り、全ての候補点の導関数二乗和に対する各水平消失点候補の導関数二乗和の比率を、この候補点の投影分析の重み付け係数として取る。この係数はｆｈｉ（ｋ）として設定されものであって、ｋはｋ番目の水平消失点候補を表す。次にステップ９０５で、水平消失点合成分析部８０５が前出の重み付け係数を合成する（次式で示されるように）。
ｆｈ（ｋ）＝Ｇ（ｆｈｄ（ｋ），ｆｈｉ（ｋ））
これらの重み付け係数は線形的に合成できる（次式で示されるように）。
ｆｈ（ｋ）＝αｆｈｄ（ｋ）＋βｆｈｉ（ｋ）
α＋β＝１
【００３１】
より単純な形式、即ちα＝β＝０．５を使用してもよい。最後に、最も大きい合成重み付け係数を有する水平消失点候補が最終水平消失点として選択され、出力部８０６によって出力される（ステップ９０６）。
【００３２】
この方法により、直接方法での高い計算複雑性の問題が取り除かれ、またこれと同時に、間接方法での性能の不安定性という欠陥を克服できる。この合成方法は、消失点を検出するための高速で強固な方法である。
【００３３】
図１３は、本発明の一実施形態による文字垂直ストローク検出部１０７を示す構造図である。図１３に示すように、文字垂直ストローク検出部１０７は、垂直境界画像入力部１３０１と、境界画像連結成分計算部１３０２と、垂直ストローク検出部１３０３と、間接垂直ラインセグメント出力部１３０４と、を有する。
【００３４】
図１４は、本発明の一実施形態による文字垂直ストローク検出部１０７の演算フローチャートである。まずステップ１４０１において、入力部１３０１は、境界検出バイナライズ部１０３が取得した垂直境界画像を入力する。次にステップ１４０２において、境界画像連結成分計算部１３０２は、垂直境界画像について連結成分を計算する。その後ステップ１４０３において、垂直ストローク検出部１３０３は、連結成分の形状およびサイズを分析し、文字の高さに類似した高さおよび垂直方向付近の方向を有する連結成分を垂直ストローク候補として選択し、この垂直ストローク候補連結成分の形状を分析する。前述の論文では、連結成分の高さと文字の高さとの差の絶対値が所定の閾値よりも小さい場合には、連結成分の高さが文字の高さに類似すると言及されることに留意すべきである。同様に、連結成分の方向と垂直方向との差の絶対値が所定の閾値よりも小さい場合には、連結成分の方向が垂直方向の付近にある言及されることに留意すべきである。具体的なステップは以下のとおりである。Ｃｉを特定の垂直ストローク候補の連結成分とし、この連結成分の全ての点に対して最小二乗アルゴリズムを実行することによりラインセグメントＬＣｉを適合化する。ラインセグメントの式をａｉ＊ｙ＋ｂｉ＊ｘ＋ｃ＝０とすると、この連結成分およびラインセグメント上の点（ｘ，ｙ）間の距離は下記のとおりである。
【数１】
ここで、
【数２】
とし、
【数３】
【数４】
【数５】
とする。なお、Ｎ（ｘ，μ，σ）はラインセグメントＬＣのガウス分布であり、平均はμ、標準分散はσである。μｓｔｒｏｋｅとσｓｔｒｏｋｅは平均値であり、また文字垂直ストロークに関する平均値および標準分散は経験的および実験的に取得される。ｐ＿ｔｈｒｅｓ＿ｓｔｒｏｋｅは１とほぼ等しい閾値であり、０．９８に設定することが可能である。ｎ＿ｔｈｒｅｓ＿ｓｔｒｏｋｅは、この連結成分内の黒点画素の数とほぼ等しい。ｆ（ＬＣｉ）＝１であった場合、Ｃｉは文字垂直ストロークであると表される。この時点で、文字垂直ストロークの連結成分によって適合化されたこれらのラインセグメントは、間接垂直ラインセグメントである。ステップ１４０４では、出力部１３０４が出力を実行する。
【００３５】
図１５は、本発明の一実施形態による垂直消失点検出部１０８を示す構造図である。この部は、画像投影分析に基づく直接方法と、様々な垂直ラインセグメントを投票する方法とを組み合わせた合成装置である。図１５に示すように、本発明の一実施形態による垂直消失点検出部１０８は、垂直ラインセグメント入力部１５０１と、垂直ラインセグメント交差クラスタリング部１５０２と、垂直消失点候補選択部１５０３と、垂直方向透視投影分析部１５０４と、垂直消失点合成分析部１５０５と、垂直消失点出力部１５０６と、を有している。
【００３６】
図１６は、本発明の一実施形態にかかる垂直消失点検出部１０８のフローチャートである。この方法は、画像投影分析に基づく直接方法と、様々な垂直ラインセグメントを投票する間接方法とを組み合わせた合成方法である。図１６に示すように、ステップ１６０１において、入力部１５０１は直接垂直ラインセグメント２０６と、間接垂直ラインセグメント２１４とを入力する。次に、ラインセグメントおよび交点の投票に類似の間接方法を用いて垂直消失点検出が実行される。換言すると、ステップ１６０２では、垂直ラインセグメント交差クラスタリング部１５０２が、クラスタリング方法（例えばＫ平均法）によって、全ての垂直ラインセグメント（取得した直接垂直ラインセグメントと間接垂直ラインセグメントとを含む）において対をなすものの交点によって形成された点集合をクラスタリングする。これらの交点は全て、複数の副集合に上手くクラスタリングされるという性質を有する。ステップ１６０３では、垂直消失点候補選択部１５０３は、各クラスタの中心点を垂直消失点候補として選択し、全ての交点の数に対するこのクラスタ中の交点の数の比率を、垂直消失点候補のクラスタの重み付け係数として取る。この係数はｆｖｄ（ｋ）として設定されるものであって、ｋはｋ番目の垂直消失点候補を表す。次に、画像投影分析と類似した直接方法を採用し、前述の垂直消失点候補の集合に対して消失点候補検出を実行する。ステップ１６０４において、垂直方向透視投影分析部１５０４は、透視投影分析を垂直方向に実行する。システムによって、選択部１５０３が取得した各垂直消失点候補に対して採用されたこの投影方法は、非特許文献１の第３節に提示された方法と類似している。しかしながら、投影は画像全体に向けられるのではなく、水平テキストラインの各ラインに向けられる（ここでの水平テキストラインとは、文書画像中の行毎の文書を意味し、また先述した水平文書ライン検出部によって取得できるものである）。具体的な演算は次のとおりである。Ｂｉｎ（ｋ）が、前述した投影手順のｋ番目の垂直消失点候補に関連した水平テキストラインのｎ番目のラインのｉ番目のビンの値であった場合、Ｂｉｎ（ｋ）＝０は、これがテキストライン内の垂直方向への空欄に関連することを表す。（Ｂｉｎ（ｋ）＝＝０）＝１がＢｉｎ（ｋ）＝０を表す一方、それ以外においてはＢｉｎ（ｋ）≠０を表す。その結果、投影手順では、ｋ番目の垂直消失点候補が関連している全ての水平テキストラインの空欄の数が下記式によって得られる。
【数６】
ここで、Ｎはテキストラインの数であり、Ｉはビンの数である。
【００３７】
ここでのテキストラインは、水平テキストライン検出部１０５によって取得される。前述の演算により、各垂直消失点候補が関連した空欄の数が得られ、また全ての候補点の累積空欄の数に対する各垂直消失点候補の空欄の数の比率が、候補点の投影の重み付け係数として取られる。この係数はｆｖｉ（ｋ）＝ｇ（ｋ）として設定されるものであって、ｋはｋ番目の垂直消失点候補を表す。次にステップ１６０５において、垂直消失点合成分析部１５０５は前出の重み付け係数を合成する（次の式に示されるように）。
ｆｖ（ｋ）＝Ｇ（ｆｖｄ（ｋ），ｆｖｉ（ｋ））
これらの重み付け係数は線形的に合成できる（次の式に示されるようにして）。
ｆｖ（ｋ）＝αｆｖｄ（ｋ）＋βｆｖｉ（ｋ）
α＋β＝１。
【００３８】
より単純な形式、即ちα＝β＝０．５を用いることも可能である。最後に、最も大きな合成重み付け係数を有する垂直消失点候補が最終垂直消失点として選択され、ステップ１６０５では、出力部１５０５が垂直消失点を出力する。
【００３９】
水平消失点と垂直消失点を取得すると、オリジナルの透視変換済み文書画像から補正済み画像への転換マトリックスを容易に計算することができる。この転換マトリックスをＭとすると、変換手順は下記式で表される。
【数７】
なおここで、（ｘｄ，ｙｄ）はオリジナル画像（透視変換済み文書画像部２０１）の座標を表し、（ｘｕ，ｙｕ）は補正済み画像の座標を表す。補正済み画像上の点（ｉ，ｊ）を仮定すると共に、ｉとｊとの両方を整数とした場合、前述の転換手順により座標（ｆｉ，ｆｊ）の組が得られる。なお、ｆｉとｆｊは共に浮動小数点である。補正画像の質を向上するために、補間を用いた一般的な処理方法が実行される。転換速度を速めるために、透視変換補正転換部１１７は、変換済み画像におけるテキストを有する領域のみについて転換を行い、これ以外の領域については隣接する点で置換られる。テキスト領域はテキスト検出により得られる。これらのテキスト領域に対し補間（線形補間など）に基づいて補正と変換が行われ、これ以外の領域は隣接する点で直接置換られる。下記式を仮定する。
ｉ０＝ｉｎｔ（ｆｉ）
ｊ０＝ｉｎｔ（ｆｊ）
【００４０】
オリジナル変換済み画像（透視変換文書画像部２０１）上に、ｍａｓｋ（ｉ０，ｊ０）＝１で表される（ｉ０，ｊ０）のテキスト点があった場合、補間処理が採用される。あるいは、次式となる。
ｉｍａｇｅ＿ｄｓｔ（ｉ，ｊ）＝ｉｍａｇｅ＿ｓｒｃ（ｉ０，ｊ０）
【００４１】
換言すると、オリジナル画像の隣接点（ｉ０，ｊ０）を使用して、補正済み画像上の関連点（ｉ，ｊ）を表すということである。ここで、ｉｍａｇｅ＿ｓｒｃはオリジナル画像を表し、ｉｍａｇｅ＿ｄｓｔは補正済み画像を表す。
【００４２】
ここでいうテキスト領域は水平テキストライン検出部２０５によって取得される。上述した全てのステップが完了すると、システムが、変換補正が終了した画像を結果として出力する。
【００４３】
種々の垂直な長いラインセグメントと水平ラインラインセグメントとの間の垂直距離の分析に基づいて垂直消失点を検出する従来の方法と比較して、本発明は、文字の垂直ストロークのクラスタリングに基づいて垂直消失点を探索し、文字ストロークの形状およびサイズの連結成分分析を介して文字の垂直ストロークを検出して、複数のクラスタを取得すべく各々の中心が垂直消失点の候補となっている全ての垂直ストロークの対の交点をクラスタリングする方法を提案している。この方法は、垂直消失点を検出するために水平ラインセグメントまたは垂直ラインセグメントの間の垂直距離の分析を利用した方法よりも確固性が高い。
【００４４】
処理対象の画像中の全ての画素点について画素補間と補正転換処理を実行する従来の方法と比較して、本発明で提案されたテキスト知識に基づく透視変換補正転換方法は、変換済み画像のテキストを有する領域のみに対して補間処理に基づいた転換を実行する。この方法により、装置全体および方法の速度が向上する。
【００４５】
この方法の消失点検出は、画像投影分析に基づく直接方法と、様々なラインセグメントの投票による消失点を検出する間接方法とを組み合わせる合成方法を用いており、様々なセグメントを用いて投票およびクラスタリングを実行することで複数の消失点候補を取得し、先行の２つのステップの結果を組み合わせて最終消失点（水平消失点および垂直消失点を含む）を獲得し、関連する透視変換補正を実行する。これに加え、その方法は、垂直消失点を検索するために文字の垂直ストロークをクラスタリングし、規則に基づいた連結成分分析を用いて信頼性の高い垂直ストロークを検出し、これらの垂直ストロークの交点をクラスタリングして複数の垂直消失点候補を取得する。最後に、この方法は、テキスト情報に基づく透視変換補正および転換を実行し、水平消失点および垂直消失点から変換補正転換マトリックスを取得し、変換済み画像のテキストを有する領域のみを転換し、これ以外の領域を隣接する点で置換する。本発明は、デジタルカメラ、ピックアップレンズを装備した携帯電話、その他の撮影装置を用いて撮影された文書画像にも適用できる。
【００４６】
要約すると、本発明の一つの態様によれば、透視変換済み文書画像補正装置が提供される。この補正装置は、透視変換済み文書画像の水平消失点を検出する水平消失点決定部と、透視変換済み文書画像の垂直消失点を検出する垂直消失点決定部と、透視変換済み文書画像を補正する透視変換補正転換部とを備え、水平消失点決定部は、直接水平ラインセグメント検出部、間接水平ラインセグメント検出部、および水平消失点検出部を備え、水平消失点検出部は、直接水平ラインセグメント検出部が検出した直接水平ラインセグメントと、間接水平ラインセグメント検出部が検出した間接水平ラインセグメントとに従って、水平消失点を検出する。
【００４７】
本発明の別の態様によれば、透視変換済み文書画像補正装置が提供される。補正装置は、透視変換済み文書画像の水平消失点を検出する水平消失点決定部と、透視変換済み文書画像の垂直消失点を検出する垂直消失点決定部と、透視変換済み文書画像を補正する透視変換補正転換部とを備え、垂直消失点決定部は、直接垂直ラインセグメント検出部、間接垂直ラインセグメント検出部、および垂直消失点検出部を備え、垂直消失点検出部は、直接垂直ラインセグメントが検出した直接垂直ラインセグメントと、間接垂直ラインセグメント検出部が検出した間接垂直ラインセグメントとに従って、垂直消失点を検出する。
【００４８】
本発明のさらに別の態様によれば、透視変換済み文書画像補正方法が提供される。この補正方法は、透視変換済み文書画像の水平消失点を検出する水平消失点決定ステップと、透視変換済み文書画像の垂直消失点を検出する垂直消失点決定ステップと、透視変換文書画像を補正する透視変換補正転換ステップとを備え、水平消失点決定ステップは、直接水平ラインセグメント検出ステップ、間接水平ラインセグメント検出ステップ、および水平消失点検出ステップを備え、水平消失点検出ステップは、直接水平ラインセグメント検出ステップによって検出した直接水平ラインセグメントと、間接水平ラインセグメント検出ステップによって検出した間接水平ラインセグメントとに従って、水平消失点を検出する。
【００４９】
本発明のさらに別の態様によれば、透視変換済み文書画像補正方法が提供される。補正方法は、透視変換済み文書画像の水平消失点を検出する水平消失点決定ステップと、透視変換済み文書画像の垂直消失点を検出する垂直消失点決定ステップと、透視変換済み文書画像を補正する透視変換補正転換ステップとを備え、垂直消失点決定ステップは、直接垂直ラインセグメント検出ステップ、間接垂直ラインセグメント検出ステップ、および垂直消失点検出ステップを備えており、垂直消失点検出ステップは、直接垂直ラインセグメント検出ステップにおいて検出された直接垂直ラインセグメントと、間接垂直ラインセグメント検出ステップにおいて検出された間接垂直ラインセグメントとに従って垂直消失点を検出する。
【００５０】
本発明の一実施形態によれば、水平ラインセグメント交差クラスタリング部は、クラスタリングを実行するためにＫ平均法を使用する。
【００５１】
本発明の一実施形態によれば、水平消失点検出部は、全ての水平ラインセグメントの交点の対によって形成された点集合をクラスタリングして複数のクラスタを取得する水平ラインセグメント交差クラスタリング部と、各クラスタの中心点を水平消失点候補として選択し、各水平消失点候補の重み付け係数を取得する水平消失点候補選択部と、水平消失点候補について文書画像に対して水平方向に透視投影分析を実行し、各水平消失点候補の別の重み付け係数を取得する水平方向透視投影分析部と、重み付け係数および別の重み付け係数に基づいて最終水平消失点を選択する水平消失点合成分析部を含む。
【００５２】
本発明の一実施形態によれば、水平消失点合成分析部は、水平方向透視投影分析部が取得した重み付け係数と、線形モードにある水平消失点候補選択部により取得した重み付け係数とを合成する。
【００５３】
本発明の一実施形態によれば、垂直消失点決定部は、直接垂直ラインセグメント検出部と、間接垂直ラインセグメント検出部と、垂直消失点検出部とを備え、垂直消失点検出部は、直接垂直ラインセグメント検出部が検出した直接垂直ラインセグメントと、間接垂直ラインセグメント検出部が検出した間接垂直ラインセグメントとに従って垂直消失点を検出する。
【００５４】
本発明の一実施形態によれば、間接垂直ラインセグメント検出部は、文書画像の連結成分を計算する連結成分計算部と、垂直ストローク候補を決定するために連結成分の形状およびサイズを分析し、垂直ラインセグメントを取得するために垂直ストローク候補の連結成分の形状を分析する文字垂直ストローク検出部とを含む。
【００５５】
本発明の一実施形態によれば、文字垂直ストローク検出部は、文字の高さと類似した高さを有し、且つ垂直方向に近い方向を有する連結成分を垂直ストローク候補として選択する。
【００５６】
本発明の一実施形態によれば、垂直消失点検出部は、直接垂直ラインセグメントと間接垂直ラインセグメントとで構成された集合において垂直ラインセグメントの対の交差で形成された点集合をクラスタリングして複数のクラスタを取得する垂直ラインセグメント交差クラスタリング部と、各クラスタの中心点を垂直消失点候補として選択し、各垂直消失点候補の重み付け係数を取得する垂直消失点選択部と、透視投影分析を、垂直消失点候補について文書画像に対して垂直方法に実行し、各垂直消失点候補の別の重み付け係数を取得する垂直方向透視投影分析部と、垂直消失点選択部が取得した重み付け係数と、各垂直消失点候補について垂直方向透視投影分析部が取得した別の重み付け係数とを分析することで最終垂直消失点を取得する垂直消失点合成分析部とを含む。
【００５７】
本発明の一実施形態によれば、垂直ラインセグメント交差クラスタリング部は、Ｋ平均法を使用してクラスタリングを実行する。
【００５８】
本発明の一実施形態によれば、垂直方向透視投影分析部（ステップ）は、水平テキストラインの各ラインに対して投影を実行し、全てのテキストラインの投影分析の結果を合成する。
【００５９】
本発明の一実施形態によれば、垂直消失点選択部（ステップ）は、全ての交差に対するクラスタ内の交差の数の比率を、垂直消失点候補のクラスタの重み付け係数として取る。
【００６０】
これに加え、本発明はさらに、本発明による透視変換済み文書画像補正方法を実施するための、コンピュータにより実行可能なコンピュータプログラムを提供する。
【００６１】
さらに本発明はまた、本発明による透視変換済み文書画像補正装置としてコンピュータを機能させるための、コンピュータによって実行可能なコンピュータプログラムを提供する。
【００６２】
本発明のまた別の態様によれば、本発明は、上記コンピュータプログラムを記憶するためのデータ記憶媒体を提供する。この記憶媒体は、当業者にとって既知の任意の記憶媒体、例えばＲＯＭ、フロッピー（登録商標）ディスク、フラッシュメモリ、ハードディスク、ＣＤ，ＤＶＤ、テープなどであってよい。
【００６３】
上記においては本発明の各ステップを順番に説明したが、これらのステップの順序を変更したり、平行して実行したりすることが可能である。
【００６４】
この文書において、「備える」、「含む」といった用語は存在を意味し、また他の成分部品の存在を除外するものではなく、即ち、「を含むがこれに限定されず」ことを意味する点に留意されたい。例えば、ＡがＢを備える／含むという記述は、ＡがＢを包含しており、さらにＣを包含することもできるという意味である。
【００６５】
前出の全ての実施形態は事実上の例証であり、本発明を規制するものとして理解されるべきではない。当業者は、本発明の精神および範囲内で様々な変更および補正を加えることができ、またそれらの変更および補正は、請求項またはこの対等物にて請求された範囲内に包括される限り、本発明の保護範囲によって網羅される。
【図面の簡単な説明】
【００６６】
【図１】本発明による透視変換済み文書画像補正装置を示す構造図である。
【図２】本発明による透視変換済み文書画像補正方法を示すフローチャートである。
【図３】単純で迅速なスメアリングアルゴリズムを示す。
【図４】水平テキストライン検出部を示す構造図である。
【図５】水平テキストライン検出処理を示すフローチャートである。
【図６】連結成分の形状およびサイズ分析に基づく水平テキストライン検出装置を示す図である。
【図７】連結成分の形状およびサイズ分析に基づいた水平テキストライン検出を示すフローチャートである。
【図８】水平消失点検出部を示す構造図である。
【図９】水平消失点検出を示すフローチャートである。
【図１０】特定の透視変換済み文書画像を示す図である。
【図１１】図１０中の画像の様々な水平ラインセグメントを示す図である。
【図１２】図１１中の水平ラインセグメントの対における交点の分布を示す図である。
【図１３】文字垂直ストローク検出部を示す構造図である。
【図１４】文字垂直ストローク検出を示すフローチャートである。
【図１５】垂直消失点検出部を示す構造図である。
【図１６】垂直消失点検出を示すフローチャートである。
【特許請求の範囲】
【請求項１】
透視変換済み文書画像の水平消失点を検出する水平消失点決定部と、
前記透視変換済み文書画像の垂直消失点を検出する垂直消失点決定部と、
前記透視変換済み文書画像を補正する透視変換補正転換部と、を備え、
前記水平消失点決定部は、直接水平ラインセグメント検出部、間接水平ラインセグメント検出部、および水平消失点検出部を備え、
前記水平消失点検出部は、前記直接水平ラインセグメント検出部が検出した直接水平ラインセグメントと、前記間接水平ラインセグメント検出部が検出した間接水平ラインセグメントとに従って水平消失点を検出することを特徴とする透視変換済み文書画像補正装置。
【請求項２】
前記水平消失点検出部は、
直接水平ラインセグメントと間接水平ラインセグメントとで形成される集合における２つの水平ラインセグメントの交点によって形成される点集合をクラスタリングして複数のクラスタを取得する水平ラインセグメント交点クラスタリング部と、
各クラスタを水平消失点候補として選択し、各水平消失点候補の重み付け係数を取得する水平消失点候補選択部と、
前記水平消失点候補について前記文書画像に対して水平方向に透視投影分析を実行し、各水平消失点候補の別の重み付け係数を取得する水平方向透視投影分析部と、
前記各水平消失点候補の前記重み付け係数と前記別の重み付け係数に従って最終水平消失点を選択する水平消失点合成分析部と、を備えることを特徴とする請求項１に記載の透視変換済み文書画像補正装置。
【請求項３】
前記水平ラインセグメント交点クラスタリング部は、Ｋ平均法によってクラスタリングを行うことを特徴とする請求項２に記載の透視変換済み文書画像補正装置。
【請求項４】
前記水平消失点合成分析部は、前記水平方向透視投影分析部が取得した前記別の重み付け係数と、前記水平消失点候補選択部が取得した前記重み付け係数とを組み合わせることを特徴とする請求項２に記載の透視変換済み文書画像補正装置。
【請求項５】
前記垂直消失点決定部は、直接垂直ラインセグメント検出部、間接垂直ラインセグメント検出部、および垂直消失点検出部を備え、前記垂直消失点検出部は、前記直接垂直ラインセグメント検出部が検出した直接垂直ラインセグメントと、前記間接垂直ラインセグメント検出部が検出した間接垂直ラインセグメントとに従って垂直消失点を検出することを特徴とする請求項１に記載の透視変換済み文書画像補正装置。
【請求項６】
前記間接垂直ラインセグメント検出部は、
前記文書画像の連結成分を計算する連結成分計算部と、
前記連結成分の形状およびサイズを分析し、垂直ストローク候補を決定し、前記垂直ストローク候補の連結成分の形状を分析することで垂直ラインセグメントを取得する文字垂直ストローク検出部と、を備えることを特徴とする請求項５に記載の透視変換済み文書画像補正装置。
【請求項７】
前記文字垂直ストローク検出部は、前記文字の高さに近い高さを有し、且つ垂直方向に近い方向を有する連結成分を前記垂直ストローク候補として選択することを特徴とする請求項６に記載の透視変換済み文書画像補正装置。
【請求項８】
前記垂直消失点検出部は、
前記直接垂直ラインセグメントと前記間接垂直ラインセグメントとで形成される集合における２つの垂直ラインセグメントの交点で形成される点集合をクラスタリングして複数のクラスタを取得する垂直ラインセグメント交点クラスタリング部と、
各クラスタを垂直消失点候補として選択し、各垂直消失点候補の重み付け係数を取得する垂直消失点選択部と、
各垂直消失点候補について前記文書画像に対して垂直方向に透視投影分析を行い、各垂直消失点候補の別の重み付け係数を取得する垂直方向透視投影分析部と、
前記垂直消失点選択部が取得した前記重み付け係数と、前記垂直方向透視投影分析部が取得した前記別の重み付け係数とを、各垂直消失点候補について分析し、最終垂直消失点を取得する垂直消失点合成分析部と、を備えることを特徴とする請求項５に記載の透視変換済み文書画像補正装置。
【請求項９】
前記垂直ラインセグメント交点クラスタリング部は、Ｋ平均法によってクラスタリングを行うことを特徴とする請求項８に記載の透視変換済み文書画像補正装置。
【請求項１０】
前記垂直方向透視投影分析部は、水平テキストラインの各行を投影し、テキストラインの投影分析結果を合成することを特徴とする請求項８に記載の透視変換済み文書画像補正装置。
【請求項１１】
前記垂直消失点選択部は、全ての交点数に対する前記クラスタ内の交点数の比率を前記垂直消失点候補の重み付け係数として取ることを特徴とする請求項８に記載の透視変換済み文書画像補正装置。
【請求項１２】
透視変換済み文書画像の水平消失点を検出する水平消失点決定部と、
前記透視変換済み文書画像の垂直消失点を検出する垂直消失点決定部と、
前記透視変換済み文書画像を補正する透視変換補正転換部と、を備え、
前記垂直消失点決定部は、直接垂直ラインセグメント検出部、間接垂直ラインセグメント検出部、および垂直消失点検出部を備え、
前記垂直消失点検出部は、前記直接垂直ラインセグメント検出部が検出した直接垂直ラインセグメントと、前記間接垂直ラインセグメント検出部が検出した間接垂直ラインセグメントとに従って垂直消失点を検出することを特徴とする透視変換済み文書画像補正装置。
【請求項１３】
前記間接垂直ラインセグメント検出部は、
前記文書画像の連結成分を計算する連結成分計算部と、
前記連結成分の形状およびサイズを分析し、垂直ストローク候補を決定し、前記垂直ストローク候補の前記連結成分の形状を分析して、垂直ラインセグメントを取得する文字垂直ストローク検出部と、を備えることを特徴とする請求項１２に記載の透視変換済み文書画像補正装置。
【請求項１４】
前記文字垂直ストローク検出部は、前記文字の高さに近い高さを有し、且つ垂直方向に近い方向を有する連結成分を前記垂直ストローク候補として選択することを特徴とする請求項１３に記載の透視変換済み文書画像補正装置。
【請求項１５】
前記垂直消失点検出部は、
前記直接垂直ラインセグメントと前記間接垂直ラインセグメントとで形成される集合における垂直ラインセグメントの交点によって形成される点集合をクラスタリングして複数のクラスタを取得する垂直ラインセグメント交点クラスタリング部と、
各クラスタの前記中心点を垂直消失点候補として選択し、各垂直消失点候補の重み付け係数を取得する垂直消失点選択部と、
各垂直消失点候補について前記文書画像に対して垂直方向に透視投影分析を行って、各垂直消失点候補の別の重み付け係数を取得する垂直方向透視投影分析部と、
前記垂直消失点選択部が取得した前記重み付け係数と、前記垂直方向透視投影分析部が取得した別の重み付け係数とを、各垂直消失点候補について分析し、最終垂直消失点を取得する垂直消失点合成分析部と、を備えることを特徴とする請求項１２に記載の透視変換済み文書画像補正装置。
【請求項１６】
前記垂直ラインセグメント交点クラスタリング部は、Ｋ平均法によりクラスタリングを行うことを特徴とする請求項１５に記載の透視変換済み文書画像補正装置。
【請求項１７】
前記垂直方向透視投影分析部は、水平テキストラインの各行を投影し、テキストラインの投影分析結果を合成することを特徴とする請求項１５に記載の透視変換済み文書画像補正装置。
【請求項１８】
前記垂直消失点選択部は、全ての交点数に対する前記クラスタ内の交点数の比率を、前記垂直消失点候補の重み付け係数として取ることを特徴とする請求項１５に記載の透視変換済み文書画像補正装置。
【請求項１９】
透視変換済み文書画像の水平消失点を検出する水平消失点決定ステップと、
前記透視変換済み文書画像の垂直消失点を検出する垂直消失点決定ステップと、
前記透視変換済み文書画像を補正する透視変換補正転換ステップと、を備え、
前記水平消失点決定ステップは、直接水平ラインセグメント検出ステップ、間接水平ラインセグメント検出ステップ、および水平消失点検出ステップを備え、
前記水平消失点検出ステップは、前記直接水平ラインセグメント検出ステップが検出した直接水平ラインセグメントと、前記間接水平ラインセグメント検出ステップが検出した間接水平ラインセグメントとに従って水平消失点を検出することを特徴とする透視変換済み文書画像補正方法。
【請求項２０】
透視変換済み文書画像の水平消失点を検出する水平消失点決定ステップと、
前記透視変換済み文書画像の垂直消失点を検出する垂直消失点決定ステップと、
前記透視変換済み文書画像を補正する透視変換補正転換ステップと、を備え、
前記垂直消失点決定ステップは、直接垂直ラインセグメント検出ステップ、間接垂直ラインセグメント検出ステップ、および垂直消失点検出ステップを備え、
前記垂直消失点検出ステップは、前記直接垂直ラインセグメント検出ステップが検出した直接垂直ラインセグメントと、前記間接垂直ラインセグメント検出ステップが検出した間接垂直ラインセグメントとに従って垂直消失点を検出することを特徴とする透視変換済み文書画像補正方法。
【請求項１】
透視変換済み文書画像の水平消失点を検出する水平消失点決定部と、
前記透視変換済み文書画像の垂直消失点を検出する垂直消失点決定部と、
前記透視変換済み文書画像を補正する透視変換補正転換部と、を備え、
前記水平消失点決定部は、直接水平ラインセグメント検出部、間接水平ラインセグメント検出部、および水平消失点検出部を備え、
前記水平消失点検出部は、前記直接水平ラインセグメント検出部が検出した直接水平ラインセグメントと、前記間接水平ラインセグメント検出部が検出した間接水平ラインセグメントとに従って水平消失点を検出することを特徴とする透視変換済み文書画像補正装置。
【請求項２】
前記水平消失点検出部は、
直接水平ラインセグメントと間接水平ラインセグメントとで形成される集合における２つの水平ラインセグメントの交点によって形成される点集合をクラスタリングして複数のクラスタを取得する水平ラインセグメント交点クラスタリング部と、
各クラスタを水平消失点候補として選択し、各水平消失点候補の重み付け係数を取得する水平消失点候補選択部と、
前記水平消失点候補について前記文書画像に対して水平方向に透視投影分析を実行し、各水平消失点候補の別の重み付け係数を取得する水平方向透視投影分析部と、
前記各水平消失点候補の前記重み付け係数と前記別の重み付け係数に従って最終水平消失点を選択する水平消失点合成分析部と、を備えることを特徴とする請求項１に記載の透視変換済み文書画像補正装置。
【請求項３】
前記水平ラインセグメント交点クラスタリング部は、Ｋ平均法によってクラスタリングを行うことを特徴とする請求項２に記載の透視変換済み文書画像補正装置。
【請求項４】
前記水平消失点合成分析部は、前記水平方向透視投影分析部が取得した前記別の重み付け係数と、前記水平消失点候補選択部が取得した前記重み付け係数とを組み合わせることを特徴とする請求項２に記載の透視変換済み文書画像補正装置。
【請求項５】
前記垂直消失点決定部は、直接垂直ラインセグメント検出部、間接垂直ラインセグメント検出部、および垂直消失点検出部を備え、前記垂直消失点検出部は、前記直接垂直ラインセグメント検出部が検出した直接垂直ラインセグメントと、前記間接垂直ラインセグメント検出部が検出した間接垂直ラインセグメントとに従って垂直消失点を検出することを特徴とする請求項１に記載の透視変換済み文書画像補正装置。
【請求項６】
前記間接垂直ラインセグメント検出部は、
前記文書画像の連結成分を計算する連結成分計算部と、
前記連結成分の形状およびサイズを分析し、垂直ストローク候補を決定し、前記垂直ストローク候補の連結成分の形状を分析することで垂直ラインセグメントを取得する文字垂直ストローク検出部と、を備えることを特徴とする請求項５に記載の透視変換済み文書画像補正装置。
【請求項７】
前記文字垂直ストローク検出部は、前記文字の高さに近い高さを有し、且つ垂直方向に近い方向を有する連結成分を前記垂直ストローク候補として選択することを特徴とする請求項６に記載の透視変換済み文書画像補正装置。
【請求項８】
前記垂直消失点検出部は、
前記直接垂直ラインセグメントと前記間接垂直ラインセグメントとで形成される集合における２つの垂直ラインセグメントの交点で形成される点集合をクラスタリングして複数のクラスタを取得する垂直ラインセグメント交点クラスタリング部と、
各クラスタを垂直消失点候補として選択し、各垂直消失点候補の重み付け係数を取得する垂直消失点選択部と、
各垂直消失点候補について前記文書画像に対して垂直方向に透視投影分析を行い、各垂直消失点候補の別の重み付け係数を取得する垂直方向透視投影分析部と、
前記垂直消失点選択部が取得した前記重み付け係数と、前記垂直方向透視投影分析部が取得した前記別の重み付け係数とを、各垂直消失点候補について分析し、最終垂直消失点を取得する垂直消失点合成分析部と、を備えることを特徴とする請求項５に記載の透視変換済み文書画像補正装置。
【請求項９】
前記垂直ラインセグメント交点クラスタリング部は、Ｋ平均法によってクラスタリングを行うことを特徴とする請求項８に記載の透視変換済み文書画像補正装置。
【請求項１０】
前記垂直方向透視投影分析部は、水平テキストラインの各行を投影し、テキストラインの投影分析結果を合成することを特徴とする請求項８に記載の透視変換済み文書画像補正装置。
【請求項１１】
前記垂直消失点選択部は、全ての交点数に対する前記クラスタ内の交点数の比率を前記垂直消失点候補の重み付け係数として取ることを特徴とする請求項８に記載の透視変換済み文書画像補正装置。
【請求項１２】
透視変換済み文書画像の水平消失点を検出する水平消失点決定部と、
前記透視変換済み文書画像の垂直消失点を検出する垂直消失点決定部と、
前記透視変換済み文書画像を補正する透視変換補正転換部と、を備え、
前記垂直消失点決定部は、直接垂直ラインセグメント検出部、間接垂直ラインセグメント検出部、および垂直消失点検出部を備え、
前記垂直消失点検出部は、前記直接垂直ラインセグメント検出部が検出した直接垂直ラインセグメントと、前記間接垂直ラインセグメント検出部が検出した間接垂直ラインセグメントとに従って垂直消失点を検出することを特徴とする透視変換済み文書画像補正装置。
【請求項１３】
前記間接垂直ラインセグメント検出部は、
前記文書画像の連結成分を計算する連結成分計算部と、
前記連結成分の形状およびサイズを分析し、垂直ストローク候補を決定し、前記垂直ストローク候補の前記連結成分の形状を分析して、垂直ラインセグメントを取得する文字垂直ストローク検出部と、を備えることを特徴とする請求項１２に記載の透視変換済み文書画像補正装置。
【請求項１４】
前記文字垂直ストローク検出部は、前記文字の高さに近い高さを有し、且つ垂直方向に近い方向を有する連結成分を前記垂直ストローク候補として選択することを特徴とする請求項１３に記載の透視変換済み文書画像補正装置。
【請求項１５】
前記垂直消失点検出部は、
前記直接垂直ラインセグメントと前記間接垂直ラインセグメントとで形成される集合における垂直ラインセグメントの交点によって形成される点集合をクラスタリングして複数のクラスタを取得する垂直ラインセグメント交点クラスタリング部と、
各クラスタの前記中心点を垂直消失点候補として選択し、各垂直消失点候補の重み付け係数を取得する垂直消失点選択部と、
各垂直消失点候補について前記文書画像に対して垂直方向に透視投影分析を行って、各垂直消失点候補の別の重み付け係数を取得する垂直方向透視投影分析部と、
前記垂直消失点選択部が取得した前記重み付け係数と、前記垂直方向透視投影分析部が取得した別の重み付け係数とを、各垂直消失点候補について分析し、最終垂直消失点を取得する垂直消失点合成分析部と、を備えることを特徴とする請求項１２に記載の透視変換済み文書画像補正装置。
【請求項１６】
前記垂直ラインセグメント交点クラスタリング部は、Ｋ平均法によりクラスタリングを行うことを特徴とする請求項１５に記載の透視変換済み文書画像補正装置。
【請求項１７】
前記垂直方向透視投影分析部は、水平テキストラインの各行を投影し、テキストラインの投影分析結果を合成することを特徴とする請求項１５に記載の透視変換済み文書画像補正装置。
【請求項１８】
前記垂直消失点選択部は、全ての交点数に対する前記クラスタ内の交点数の比率を、前記垂直消失点候補の重み付け係数として取ることを特徴とする請求項１５に記載の透視変換済み文書画像補正装置。
【請求項１９】
透視変換済み文書画像の水平消失点を検出する水平消失点決定ステップと、
前記透視変換済み文書画像の垂直消失点を検出する垂直消失点決定ステップと、
前記透視変換済み文書画像を補正する透視変換補正転換ステップと、を備え、
前記水平消失点決定ステップは、直接水平ラインセグメント検出ステップ、間接水平ラインセグメント検出ステップ、および水平消失点検出ステップを備え、
前記水平消失点検出ステップは、前記直接水平ラインセグメント検出ステップが検出した直接水平ラインセグメントと、前記間接水平ラインセグメント検出ステップが検出した間接水平ラインセグメントとに従って水平消失点を検出することを特徴とする透視変換済み文書画像補正方法。
【請求項２０】
透視変換済み文書画像の水平消失点を検出する水平消失点決定ステップと、
前記透視変換済み文書画像の垂直消失点を検出する垂直消失点決定ステップと、
前記透視変換済み文書画像を補正する透視変換補正転換ステップと、を備え、
前記垂直消失点決定ステップは、直接垂直ラインセグメント検出ステップ、間接垂直ラインセグメント検出ステップ、および垂直消失点検出ステップを備え、
前記垂直消失点検出ステップは、前記直接垂直ラインセグメント検出ステップが検出した直接垂直ラインセグメントと、前記間接垂直ラインセグメント検出ステップが検出した間接垂直ラインセグメントとに従って垂直消失点を検出することを特徴とする透視変換済み文書画像補正方法。
【図１】
【図２】
【図３】
【図４】
【図５】
【図６】
【図７】
【図８】
【図９】
【図１０】
【図１１】
【図１２】
【図１３】
【図１４】
【図１５】
【図１６】
【図２】
【図３】
【図４】
【図５】
【図６】
【図７】
【図８】
【図９】
【図１０】
【図１１】
【図１２】
【図１３】
【図１４】
【図１５】
【図１６】
【公開番号】特開２００８−２５７７１３（Ｐ２００８−２５７７１３Ａ）
【公開日】平成２０年１０月２３日（２００８．１０．２３）
【国際特許分類】
【外国語出願】
【出願番号】特願２００８−６６１０４（Ｐ２００８−６６１０４）
【出願日】平成２０年３月１４日（２００８．３．１４）
【出願人】（０００００５２２３）富士通株式会社 (25,993)
【Ｆターム（参考）】
【公開日】平成２０年１０月２３日（２００８．１０．２３）
【国際特許分類】
【出願番号】特願２００８−６６１０４（Ｐ２００８−６６１０４）
【出願日】平成２０年３月１４日（２００８．３．１４）
【出願人】（０００００５２２３）富士通株式会社 (25,993)
【Ｆターム（参考）】
[ Back to top ]