画像処理装置
【課題】焦点距離に関する情報がなくても、幾何学的歪みの補正を適切に行う画像処理装置を提供する。
【解決手段】画像処理装置１は、撮像文書画像における水平方向の消失点の位置および垂直方向の消失点の位置を示す消失点情報を生成する消失点情報推定部１４と、撮像文書画像におけるコーナーを検出するコーナー検出部１５と、水平方向の消失点の位置に集まる２つの線分を上辺および下辺とし、垂直方向の消失点の位置に集まる２つの線分を左辺および右辺とし、検出されたコーナーを囲む四角形の輪郭を輪郭四角形として決定する輪郭決定部１６と、輪郭四角形に基づいて、幾何学的補正後の第１画像サイズを決定する画像サイズ決定部１９と、上記輪郭四角形と上記第１画像サイズとに基づいた第１補正方法により撮像文書画像に対して幾何学的補正を行う補正処理部２０とを備えている。
【解決手段】画像処理装置１は、撮像文書画像における水平方向の消失点の位置および垂直方向の消失点の位置を示す消失点情報を生成する消失点情報推定部１４と、撮像文書画像におけるコーナーを検出するコーナー検出部１５と、水平方向の消失点の位置に集まる２つの線分を上辺および下辺とし、垂直方向の消失点の位置に集まる２つの線分を左辺および右辺とし、検出されたコーナーを囲む四角形の輪郭を輪郭四角形として決定する輪郭決定部１６と、輪郭四角形に基づいて、幾何学的補正後の第１画像サイズを決定する画像サイズ決定部１９と、上記輪郭四角形と上記第１画像サイズとに基づいた第１補正方法により撮像文書画像に対して幾何学的補正を行う補正処理部２０とを備えている。
【発明の詳細な説明】
【技術分野】
【０００１】
本発明は、撮像手段によって撮像された文書画像（原稿画像）におけるアーチファクト（欠陥）の補正、特に幾何学的歪みの補正のための方法、システムおよび装置に関する。
【背景技術】
【０００２】
従来、撮影対象物を斜め方向から撮像した画像における撮像対象物の幾何学的歪みを補正して、あたかも正面から撮影したような画像を取得する技術が知られている。例えば、特許文献１には、撮影対象物の画像から当該画像の輪郭を取得し、取得した輪郭から画像の形状を求める。そして、求められた画像の形状が適切な四角形であるか否かの判定を行い、適切であると判定された場合に、上記四角形から射影パラメータを求め、求めた射影パラメータを用いて撮影対象物の画像の画像変換を行う。
【先行技術文献】
【特許文献】
【０００３】
【特許文献１】特開２００５−１２２３１９号公報（２００５年５月１２日公開）
【発明の概要】
【発明が解決しようとする課題】
【０００４】
特許文献１に記載の技術では、カメラレンズの焦点距離と撮影対象物の画像の頂点位置とに基づいて撮影対象物の画像の大きさを求め、求めた画像の大きさを射影パラメータに基づいて調整している。すなわち、特許文献１では画像変換を行う際にカメラレンズの焦点距離に関する情報を予め有しておく必要がある。しかしながら、携帯電話やスマートフォン、タブレット情報端末に付属しているカメラで撮像した場合、焦点距離に関する情報の取得が困難であり、特許文献１の技術では適切な画像変換を行うことができない。
【０００５】
本発明は、上記課題を解決するためになされたものであり、カメラレンズの焦点距離に関する情報がなくても、幾何学的歪みの補正を適切に行うことが可能な画像処理装置、画像処理方法、プログラムおよび記録媒体を提供することを目的とする。
【課題を解決するための手段】
【０００６】
本発明の一態様に係る画像処理装置は、撮像装置により撮像された画像に対して幾何学的補正を行う画像処理装置であって、（ａ）撮像装置が矩形状の文書を撮像することにより得られた撮像文書画像を取得する撮像画像取得部と、（ｂ）上記撮像文書画像における水平方向の消失点の位置または水平方向の消失点の方向を示す水平方向消失点情報を生成するとともに、上記撮像文書画像における垂直方向の消失点の位置または垂直水平方向の消失点の方向を示す垂直方向消失点情報を生成する消失点情報生成部と、（ｃ）上記撮像文書画像におけるコーナーを検出するコーナー検出部と、（ｄ）（１）上記水平方向消失点情報が水平方向の消失点の位置を示す場合、当該水平方向の消失点の位置に集まる２つの線分を上辺および下辺とし、上記水平方向消失点情報が水平方向の消失点の方向を示す場合、当該水平方向の消失点の方向に平行な２つの線分を上辺および下辺とし、（２）上記垂直方向消失点情報が垂直方向の消失点の位置を示す場合、当該垂直方向の消失点の位置に集まる２つの線分を左辺および右辺とし、上記垂直方向消失点情報が垂直方向の消失点の方向を示す場合、当該垂直方向の消失点の方向に平行な２つの線分を左辺および右辺とし、（３）上記コーナー検出部により検出されたコーナーを囲む四角形の輪郭を輪郭四角形として決定する輪郭決定部と、（ｅ）上記輪郭四角形の信頼性を示す第１の評価値を算出する幾何学的補正評価部と、（ｆ）上記第１の評価値を基に、上記輪郭四角形に基づいた第１補正方法により幾何学的補正を行うか否かを決定する補正方法決定部と、（ｇ）上記補正方法決定部が第１補正方法による幾何学的補正を行うと決定した場合に、上記輪郭四角形に基づいて、幾何学的補正後の第１画像サイズを決定する画像サイズ決定部と、（ｈ）上記補正方法決定部が第１補正方法による幾何学的補正を行うと決定した場合に、上記輪郭四角形と上記第１画像サイズとに基づいて上記撮像文書画像に対して幾何学的補正を行う補正処理部とを備えている。
【発明の効果】
【０００７】
本発明によれば、カメラレンズの焦点距離に関する情報がなくても、幾何学的歪みの補正を適切に行うことができる。
【図面の簡単な説明】
【０００８】
【図１】本発明の一実施形態に係る画像処理装置の構成を示すブロック図である。
【図２】撮像対象物となるである文書と、当該文書を傾斜した方向から撮像したときの撮像文書画像とを示す図である。
【図３】図１に示す画像処理装置の処理の流れを示すフローチャートである。
【図４】撮像文書画像における水平方向および垂直方向のライングループを用いて消失点情報を生成する処理の流れを示すフローチャートである。
【図５】撮像文書画像から直線構造を抽出する処理を説明する図であり、（ａ）は撮像文書画像の一例を示し、（ｂ）は（ａ）の撮像文書画像から検出されたエッジマスクを示し、（ｃ）は（ｂ）のエッジマスクから抽出された所定長さ以上の直線構造を示し、（ｄ）は（ｃ）の直線構造のうちラインギャップが占める占有率が所定の占有閾値よりも小さい直線構造を示す。
【図６】図５の（ｄ）で示される直線構造に対して水平方向および垂直方向のライングループへのグループ分けを行った結果を示す図である。
【図７Ａ】水平方向の消失点を推定するための前処理の流れを示すフローチャートである。
【図７Ｂ】水平方向のライングループに属する直線構造の数が２よりも多いときの水平方向消失点情報の生成処理の流れを示すフローチャートである。
【図７Ｃ】水平方向のライングループに属する直線構造の数が２であるときの水平方向消失点情報の生成処理の流れを示すフローチャートである。
【図７Ｄ】水平方向のライングループに属する直線構造の数が１以下であるときの水平方向消失点情報の生成処理の流れを示すフローチャートである。
【図８】水平方向のライングループに属する直線構造に対して求められる水平方向のベースライン量を示す図である。
【図９Ａ】垂直方向の消失点を推定するための前処理の流れを示すフローチャートである。
【図９Ｂ】垂直方向のライングループに属する直線構造の数が２よりも多いときの垂直方向消失点情報の生成処理の流れを示すフローチャートである。
【図９Ｃ】垂直方向のライングループに属する直線構造の数が２であるときの垂直方向消失点情報の生成処理の流れを示すフローチャートである。
【図９Ｄ】垂直方向のライングループに属する直線構造の数が１以下であるときの垂直方向消失点情報の生成処理の流れを示すフローチャートである。
【図１０】垂直方向のライングループに属する直線構造に対して求められる垂直方向のベースライン量を示す図である。
【図１１】図１に示すコーナー検出部によるコーナー検出結果の一例を示す図である。
【図１２】図１に示す輪郭決定部により決定された輪郭四角形の一例を示す図である。
【図１３】図１に示す輪郭決定部により決定された輪郭四角形を模式的に示す図である。
【図１４】図１に示す輪郭決定部が領域成長方法による文書着目領域を検出する処理の流れを示すフローチャートである。
【図１５】図１に示す画像サイズ決定部が文書面における文書領域の頂点座標を求める方法を説明する説明図である。
【発明を実施するための形態】
【０００９】
本発明の実施形態は、カメラにより撮像された文書画像（撮像文書画像）における幾何学的歪み（遠近法による歪み）を補正する方法、システムおよび装置に関するものである。
【００１０】
本発明の一態様によれば、水平方向消失点情報、垂直方向消失点情報およびコーナー検出結果から、撮像文書画像における文書の輪郭（境界）となる四角形（輪郭四角形）が特定される。次に、特定された輪郭四角形に対応する幾何学的補正の方法を決定するために、幾何学的補正の評価を示す複数の評価値を求める。撮像文書画像の幾何学的補正の方法は、検出された輪郭四角形に対応する補正方法（修正方法）、および、１以上の別の補正方法（修正方法）の中から選択される。
【００１１】
本発明の別の一態様によれば、水平方向消失点情報は、水平方向のラインを用いて推定される。水平方向消失点情報は、水平方向の消失点または水平方向の消失点の方向である。
【００１２】
また、本発明の別の一態様によれば、垂直方向消失点情報は、垂直方向のラインを用いて推定される。垂直方向消失点情報は、垂直方向の消失点または垂直方向の消失点の方向である。
【００１３】
また、本発明の別の一態様によれば、コーナー検出は、注目する四角形領域の境界を特定するために使用される。
【００１４】
また、本発明の別の一態様によれば、撮像文書画像に対する幾何学的補正のための補正方法（修正方法）の選択は、階層的（hierarchically）に実行される。
【００１５】
本発明の前述および他の目的、特徴、効果は、図面とともに以下の説明を考慮することで容易に理解されるであろう。
【００１６】
本発明の一実施形態は、図面を参照することによってより理解されるであろう。図面では、類似する部材には、類似する番号が付けられている。上述した図面は、詳細な説明の一部として特別に援用される。
【００１７】
図面において図示され、説明されるように、本発明の実施形態は、異なる構成の幅広い変形例で変更または設定されてもよいことが十分に理解されるであろう。このように、本発明の方法およびシステムに係る実施形態の以下の詳細な説明は、本発明の目的を限定するものではなく、単に、本発明の好ましい一実施形態を代表するものにすぎない。
【００１８】
本発明の実施形態の構成は、ハードウェアによって実現されてもよいし、コンピュータシステムをプログラムするために使用され、各種の命令が格納されたコンピュータ読取可能な記録媒体を含む、ファームウェアおよび／または非一時的なコンピュータプログラムの製品によって実現されてもよい。ここで述べる実施形態は単にこれらの形態の一例にすぎず、当業者であれば、本発明の目的の範囲内で、様々な形態の構成を導き出してもよい。
【００１９】
図面に示すチャートやグラフは特定の実行順序を示すものであるが、これらの実行順序は、図面に示したものと異なっていてもよい。例えば、ブロックの実行順序は、図示された順序から相互に入れ替えてもよい。また、図において順に示された２つ以上のブロックを、同時に、または部分的に同時に実行してもよい。当業者によれば、コンピュータシステム、ハードウェア、および／またはファームウェアをプログラムするために使用される指令が格納されたコンピュータ読取可能な記録媒体を含む非一時的なコンピュータプログラム製品が、ここで述べた様々な論理的機能を実行するために当業者によって作り出すことができる。
【００２０】
カメラ等の撮像手段により撮像された文書画像（撮像文書画像）が幾何学的歪みのない状態か否かの評価は、撮像手段の理想的ではない位置を補正するために必要とされる。カメラの光学を通して撮像画像面上に撮像対象物（文書）が遠近投影されるために生じる幾何学的歪みを最小限にするためには、カメラの撮像面は理想的には文書の面に平行であることが望ましい。カメラが文書に対して傾いていると、カメラから遠く離れた文書面中の文字は、カメラに近い文字と比べて小さくなる。文字の形状が不均一になると、ＯＣＲ（Optical Character Recognition）アルゴリズムなどの文書処理アルゴリズムの精度を低下させることになる。また、人が読むときにも好ましくない。また、撮像文書画像全体の乱雑さにより、撮像文書画像の中から検知されたパターンに対してノイズや何らかの構造が付加されることとなり、これにより正確な状態評価が困難となる。さらに、撮像パラメータが既知ではないために、正確な状態評価を行うことも困難である。このように、撮像文書画像の状態評価を精度よく行う方法、システムおよび装置が望まれている。さらに、撮像文書画像における歪みを状態評価を用いて補正することが望まれている。理想的ではないカメラの位置によって生じる画像の歪みを補正する処理は、幾何学的補正（geometric rectification）という。
【００２１】
本発明の実施形態は、カメラにより撮像された文書画像（撮像文書画像）における歪みを補正する方法、システムおよび装置を有する。
【００２２】
図１は、本実施形態に係る画像処理装置の構成を示すブロック図である。図１に示されるように画像処理装置１は、撮像画像取得部１１、エッジ検出部１２、直線構造抽出部１３、消失点情報推定部１４、コーナー検出部１５、輪郭決定部１６、幾何学的補正評価部１７、補正方法決定部１８、画像サイズ決定部１９、および、補正処理部２０とを備えている。
【００２３】
撮像画像取得部１１は、カメラなどの撮像装置から、当該撮像装置により文書を撮像対象物として撮像された撮像文書画像のデータを取得するものである。
【００２４】
ここで、撮像対象物となる文書とは、矩形の用紙に文字等が印刷された印刷物に限らず、標識、ホワイトボード、黒板、ポスター、投影されたスライド、あるいはその他の文書を表示する物なども含まれる。このような撮像対象物である文書は、矩形の面（文書面）に文字等が示されたものである。図２に示されるように、このような文書は、文書面の法線方向（正面）から見れば矩形であるが、文書面の法線に対して傾斜した方向から見ると歪んだ四角形となる。なお、図２の（ａ）は、正面からみたときの文書を示し、図２の（ｂ）は、文書面の法線に対して傾斜した方向から撮像した撮像文書画像を示している。
【００２５】
エッジ検出部１２は、撮像画像取得部１１により取得された撮像文書画像に対して、エッジ画素を検出する処理を行い、各画素がエッジであるか否かを示すエッジマスクを生成する。エッジマスクとは、例えばエッジ画素の画素値が「１」に設定され、非エッジ画素の画素値が「０」に設定された画像データである。
【００２６】
直線構造抽出部１３は、エッジ検出部１２により生成されたエッジマスクを用いて、文書領域と背景領域との境界となる文書領域の輪郭、文書内部の各領域の輪郭、図式の枠（フレーム）、画像の枠（フレーム）、文字の直線部分、罫線などの直線構造を抽出する処理を行う。
【００２７】
直線構造抽出部１３は、例えばハフ変換をエッジマスクに適用することで直線構造を抽出する。ハフ変換は、線が途切れるなど不連続であっても、比較的安定して直線を検出できる方法である。
【００２８】
なお、本実施形態では、直線構造抽出部１３は、所定閾値以上の長さを有するとともに、ラインギャップの割合が所定閾値未満である（もしくは、ラインギャップの数が所定閾値未満である）直線構造のみを抽出する。ここで、ラインギャップとは、線が途切れるなど不連続な部分を意味する。
【００２９】
また、直線構造抽出部１３は、抽出した直線構造を、水平方向のライングループと、垂直方向のライングループとの何れかにグループ分けする。
【００３０】
消失点情報推定部１４は、撮像文書画像における消失点の位置（座標）または消失点の方向を推定するブロックである。ここで消失点とは、遠近法のために実際には平行線になっているものが撮像画像において平行ではないときに、その線が交わる点のことである。消失点情報推定部１４は、直線構造抽出部１３により抽出された水平方向のライングループに属する直線構造を基に、水平方向の消失点の位置、または、水平方向の消失点の方向を求める。同様に、消失点情報推定部１４は、直線構造抽出部１３により抽出された垂直方向のライングループに属する直線構造を基に、垂直方向の消失点の位置、または、垂直方向の消失点の方向を求める。消失点情報推定部１４は、求めた消失点の位置または消失点の方向を示す消失点情報を生成する。
【００３１】
コーナー検出部１５は、撮像文書画像の中からコーナーを検出する。コーナーの検出方法としては様々な公知の方法を用いることができ、例えばＳｈｉ−Ｔｏｍａｓｉ法を用いればよい。
【００３２】
輪郭決定部１６は、撮像文書画像において、文書領域の輪郭となる四角形（輪郭四角形）を決定する。本実施形態では、輪郭決定部１６は、コーナー検出部１５による検出結果と消失点情報とに基づいて輪郭四角形を決定する。
【００３３】
図２の（ｂ）に示されるように、実際には矩形である文書の輪郭は、遠近法により撮像文書画像において歪んだ四角形になる場合がある。この場合、文書の輪郭となる四角形の上辺および下辺は水平方向の消失点に集まり、左辺および右辺は垂直方向の消失点に集まる。そのため、消失点情報が消失点の位置を示す場合、輪郭決定部１６は、当該消失点の位置に集まるように、輪郭四角形の各辺を決定する。また、消失点情報が消失点の方向を示す場合、輪郭決定部１６は、当該消失点の方向に平行になるように、輪郭四角形の各辺を決定する。
【００３４】
また、コーナー検出部１５により検出されるコーナーは、文書の中の文字領域で多くなる。そのため、輪郭決定部１６は、コーナー検出部１５により検出されたコーナーを囲むように輪郭四角形を決定する。
【００３５】
また、輪郭決定部１６は、領域成長方法に基づいて撮像文書画像における文書着目領域も検出する。
【００３６】
幾何学的補正評価部１７は、輪郭決定部１６により決定された輪郭四角形、消失点情報で示される消失点の位置または方向に対する各種の評価値を算出する。本実施形態では、幾何学的補正評価部１７は、文書面の法線ベクトルｎｐや焦点距離ｆ＾などを算出する。さらに、幾何学的補正評価部１７は、領域成長方法に基づいて検出された文書着目領域に対する各種の評価値も算出する。
【００３７】
補正方法決定部１８は、幾何学的補正評価部１７により算出された評価値を基に、幾何学的補正の方法を決定する。具体的には、補正方法決定部１８は、輪郭決定部１６により決定された輪郭四角形と消失点情報推定部により生成された消失点情報とに基づいた補正方法、文書着目領域に基づいた補正方法などから一つの補正方法を選択する。
【００３８】
画像サイズ決定部１９は、文書面の法線ベクトルｎｐや焦点距離ｆ＾などを基に、文書面のアスペクト比を推定し、幾何学的補正後の画像サイズを決定する。
【００３９】
補正処理部２０は、補正方法決定部１８により決定された補正方法に従って、撮像文書画像に対して幾何学的補正を行う。
【００４０】
本実施形態の画像処理装置１における処理例を図３を参照しながら説明する。図３は、画像処理装置１における画像補正処理１００を示すフローチャートである。なお、図３に示す処理の順序に限定されるものではない。また、この方法やこの方法の変形例を実行する際、図３に示すいくつかの処理を結合して行ってもよい。
【００４１】
まず、撮像画像取得部１１は、撮像文書画像を取得する（１０２）。取得した撮像文書画像は複数の画素からなり、各画素は対応する値を有している。次に、取得した撮像文書画像を用いて、当該撮像文書画像における消失点が推定される（１０４）。
【００４２】
消失点の推定処理１０４は、図４を参照することで理解されるであろう。図４は、消失点の推定処理の一例を示す図である。なお、図４に示す処理の順序に限定されるものではない。また、この方法やこの方法の変形例を実行する際、図４に示すいくつかの処理を結合して行ってもよい。
【００４３】
エッジ検出部１２は、例えばＣａｎｎｙエッジ検出法や、弱いコントラスト領域でも直線構造を検出できるような他のエッジ検出方法を用いて、取得した撮像文書画像のエッジ検出処理２００を実行する。そして、エッジ検出部１２は、画素毎にエッジ画素か否かを示す画像データであるエッジマスクを生成する。なお、エッジ検出部１２は、勾配を基にエッジを検出する方法（例えば、Ｓｏｂｅｌエッジ検出方法、ラプラスエッジ検出方法、Ｓｃｈａｒｒエッジ検出方法など）を用いて、取得した撮像文書画像のエッジ検出処理２００を実行してもよい。
【００４４】
エッジ検出部１２によるエッジ検出結果から、直線構造抽出部１３は、消失点を推定するために重要となる直線構造を抽出する（２０２）。直線構造は、例えば、文書の輪郭（文書と背景の境界）、文書内部の領域の輪郭、図式の枠（フレーム）、画像の枠（フレーム）、文字の直線部分、段落間に引く線、罫線などから抽出される。本実施形態では、直線構造抽出部１３は、エッジ検出部１２により生成されたエッジマスクに、ライン連結処理（line linking）を有するハフ変換を適用することで、直線構造を抽出する。ここでは、直線構造抽出部１３は、確率的ハフ変換により、断片化された線セグメント（ラインセグメント）を検出する。そして、直線構造抽出部１３は、断片化された線セグメント（ラインセグメント）同士が所定閾値未満の距離だけ離れている場合、当該線セグメント同士を連結して直線構造を特定する。このとき、直線構造抽出部１３は、所定閾値より短い長さの線セグメントを連結対象から外してもよい。
【００４５】
次に、本実施形態では、直線構造抽出部１３は、各直線構造に対して、ラインギャップの合計長さ（「length of line gaps」）とライン長さ（「length of line」）との比率である占有率Ｌｆｒａｇｍｅｎｔａｔｉｏｎを以下の式に従って算出する。ここで、ラインギャップは、直線構造における線セグメント間の連結部分（線が途切れるなど不連続な部分）である。
【００４６】
【数１】
【００４７】
そして、直線構造抽出部１３は、以下の条件を満たす直線構造のみを出力対象として受け入れ、以下の条件を満たさない直線構造を出力対象から除外する。すなわち、占有率Ｌｆｒａｇｍｅｎｔａｔｉｏｎが所定の占有閾値Ｔｆｒａｇｍｅｎｔａｔｉｏｎに対する基準を満たし、ライン長さＬｌｅｎｇｔｈが所定のライン閾値Ｔｌｅｎｇｔｈに対する基準を満たす場合、例えば、以下の数式を満たす場合である。
Ｌｆｒａｇｍｅｎｔａｔｉｏｎ＜Ｔｆｒａｇｍｅｎｔａｔｉｏｎ かつ Ｌｌｅｎｇｔｈ≧Ｔｌｅｎｇｔｈ
ここで、閾値の具体的な数値としては、例えば、Ｔｆｒａｇｍｅｎｔａｔｉｏｎ＝０．３、Ｌｌｅｎｇｔｈ＝２５である。
【００４８】
もしくは、直線構造におけるラインギャップの数であるギャップ数Ｌｎｕｍｇａｐｓを求め、当該ギャップ数Ｌｎｕｍｇａｐｓが所定のギャップカウント閾値Ｔｎｕｍｇａｐｓに対する所定の基準、例えば
Ｌｎｕｍｇａｐｓ＞Ｔｎｕｍｇａｐｓ
を満たす場合に、直線構造を出力対象から除外してもよい。ギャップカウント閾値Ｔｎｕｍｇａｐｓは例えば３である。
【００４９】
また、直線構造抽出部１３は、各直線構造に対して線分の断片度（line fragmentation）を算出してもよい。そして、断片度が大きい直線構造は、消失点を推定するときの信頼性が低いものとして出力対象から除外される。例えば、断片度は、距離変換をエッジマスクに適用することにより算出される。距離変換されたエッジマスクの画素値は、距離基準に従った、最近接エッジ画素との距離を示す値である。検出された直線構造における断片度は、距離変換されたエッジマスクにおいて当該直線構造を構成する画素の画素値の合計値である。断片度は、線分が断片化された直線構造の方が、切れ目なしに連続している直線構造よりも大きくなる。
【００５０】
図５は、撮像文書画像から出力対象となる直線構造が抽出される様子を示す図である。図５の（ａ）は撮像文書画像の一例を示している。図５の（ｂ）は、エッジ検出部１２が（ａ）の撮像文書画像に対してエッジ検出を行うことで生成されたエッジマスクを示している。図５の（ｃ）は、（ｂ）のエッジマスクから直線構造抽出部１３により抽出された直線構造のうち、Ｌｌｅｎｇｔｈ≧Ｔｌｅｎｇｔｈ を満たす直線構造を示している。図５の（ｄ）は、（ｃ）の直線構造のうち、Ｌｆｒａｇｍｅｎｔａｔｉｏｎ＜Ｔｆｒａｇｍｅｎｔａｔｉｏｎ を満たし、出力対象として抽出された直線構造を示している。
【００５１】
次に、直線構造抽出部１３は、出力対象として抽出した直線構造のグループ分けを行う（２０４）。ここでは、水平方向のライングループである水平方向ラインセットと、垂直方向のライングループである垂直方向のラインセットとにグループ分けされる。水平方向のライングループは、水平方向の消失点が存在する場合、当該消失点に集まる直線構造の全てを含む。垂直方向のライングループは、垂直方向の消失点が存在する場合、当該消失点に集まる直線構造の全てを含む。
【００５２】
水平方向のライングループＬＨは、出力対象として抽出された直線構造Ｌｓｉｇのうち、以下の式を満たす全ての直線構造Ｌｉからなるセットである。
【００５３】
【数２】
【００５４】
垂直方向のライングループＬＶは、出力対象として抽出された直線構造Ｌｓｉｇのうち、以下の式を満たす全ての直線構造Ｌｉからなるセットである。
【００５５】
【数３】
【００５６】
図６は、図５の（ｄ）に示される直線構造を水平方向のライングループＬＨと垂直方向のライングループＬＶとにグループ分けされたときを示す図である。
【００５７】
消失点情報推定部１４は、ライングループＬＨおよびＬＶを用いて、水平方向消失点情報を推定し（２０６）、垂直方向消失点情報を推定する（２０８）。水平方向消失点情報は、水平方向の消失点の位置または水平方向の消失点の方向を示し、垂直方向消失点情報は、垂直方向の消失点の位置または垂直方向の消失点の方向を示す。文書面の法線方向に対して傾斜した状態で撮像された撮像文書画像では、遠近法による投影により、実際には平行な直線が消失点を集まることとなる。光学的歪みや直線構造抽出部１３における直線構造の抽出精度のため、平行な直線は、常に単一の点に集まるわけではなく、場合によっては異なる状態になるときがある。なお、本実施形態では、水平方向の消失点の位置または水平方向の消失点の方向が最初に推定され、それから垂直方向の消失点の位置または垂直方向の消失点の方向が推定される。
【００５８】
水平方向のライングループに対する消失点の推定は、図７Ａ〜図７Ｄを参照することにより理解されるであろう。図７Ａ〜図７Ｄは、水平方向のライングループを用いた水平方向の消失点の推定方法の一例を示す図である。なお、図７Ａ〜図７Ｄに示す処理の順序に限定されるものではない。また、この方法やこの方法の変形例を実行する際、図７Ａ〜図７Ｄに示すいくつかの処理を結合して行ってもよい。
【００５９】
水平方向のライングループＬＨに属する各直線構造について、消失点情報推定部１４は、陰関数表示の係数 ａｘ＋ｂｙ＋ｃ＝０ を求める（３００）。次に、水平方向のライングループＬＨに対して、消失点情報推定部１４は、水平方向のベースライン量baselineＨを求める（３０２）。水平方向のライングループＬＨに対する水平方向のベースライン量baselineＨは、以下の式に従って決定される。
【００６０】
【数４】
【００６１】
上記の式において、di,jは、水平方向のライングループＬＨの第１ラインＬｉと撮像文書画像の中央を通る垂直方向のラインＶとの交点と、水平方向のライングループＬＨの第２ラインＬｊと撮像文書画像の中央を通る垂直方向のラインＶとの交点との距離を示している。
【００６２】
図８は、図６の水平方向のライングループＬＨに対して求められた水平方向のベースライン量baselineＨの一例を示す図である。
【００６３】
消失点情報推定部１４は、水平方向のライングループＬＨに属する直線構造の数が２より多いか確認する（３０４）。水平方向のライングループＬＨに２より多い直線構造が存在する場合（３０６）、消失点情報推定部１４は、係数行列Ｌを生成する（３０８）。係数行列Ｌは、Ｎ個のベクトルＬｉ＝［ａｉｂｉｃｉ］（ｉ＝１，２，・・・、Ｎ） を連結させることにより生成される。ここで、Ｎは、水平方向のライングループＬＨに属する直線構造の数であり、ａｉ，ｂｉ，ｃｉは、水平方向のライングループＬＨのｉ番目の直線構造の陰関数形式の係数を示す。次に、消失点情報推定部１４は、係数行列Ｌに対して特異値分解（ＳＶＤ：singular value decomposition）を行う（３１０）。対応する固有ベクトルおよび固有値のセット｛｛ｖ１，λ１｝，｛ｖ２，λ２｝，｛ｖ３，λ３｝｝ （λ１＞λ２＞λ３）が、特異値分解により得られる。そして、消失点情報推定部１４は、最大の固有値λ１に対する最小の固有値λ３の割合である固有値割合（eigen-ratio）Λを以下の式
Λ＝λ３／λ１
に従って算出する（３１２）。
【００６４】
固有値割合Λは、水平方向のライングループに属する直線構造における単一の消失点への集合度を評価している。大きな固有値割合Λを有する水平方向のライングループは、２つの直線構造の交点がはっきりと変化するグループに対応している。一方、小さい固有値割合Λを有する水平方向のライングループは、直線構造がほぼ同じ点で交わるようなグループに対応している。
【００６５】
消失点情報推定部１４は、水平方向のライングループに対するベースライン量と水平方向のベースライン閾値ＴＨｂａｓｅｌｉｎｅとを比較するとともに、固有値割合と水平方向に対する所定の固有値割合閾値ＴＨｅｉｇｅｎｒａｔｉｏと比較する（図７Ｂの３１４）。水平方向のベースライン量が大きく（広く）、かつ、固有値割合で示される単一点への集中度が高いことを示す条件が満たされた場合（３１６）、消失点情報推定部１４は、最小の固有値に対応する固有ベクトルを用いて水平方向の消失点の位置（座標）を求める（３１８）。本実施形態では、水平方向のベースライン量が大きく、かつ、固有値割合で示される単一点への集中度が高いことを示す条件は、
（baselineＨ＞ＴＨｂａｓｅｌｉｎｅ）＆（Λ＜ＴＨｅｉｇｅｎｒａｔｉｏ）
で示される。ここで、「＆」は、論理演算子「ＡＮＤ」を意味する。各閾値は、例えば、ＴＨｂａｓｅｌｉｎｅ＝ｉｍｇＨ／２
ＴＨｅｉｇｅｎｒａｔｉｏ＝0.0005
である。なお、ｉｍｇＨは、水平方向の画像寸法を示している。
【００６６】
水平方向のベースライン量が大きく、かつ、固有値割合で示される単一点への集中度が高いことを示す条件が満たされた場合（３１６）、消失点情報推定部１４は、水平方向の消失点の位置を以下の式に従って算出する（３１８）。
【００６７】
【数５】
【００６８】
ここで、ν３（１）、ν３（２）、ν３（３）は、それぞれ、
固有ベクトルｖ３＝［ν３（１） ν３（２） ν３（３）］
の第１要素、第２要素、第３要素である。消失点情報推定部１４は、算出した水平方向の消失点の位置を示す水平方向消失点情報を生成し、出力する（３２０）。
【００６９】
水平方向のベースライン量が大きく、かつ、固有値割合で示される単一点への集中度が高いことを示す条件が満たされない場合（３２２）、消失点情報推定部１４は、水平方向のライングループＬＨに属する直線構造の法線の平均を求める（３２４）。Ｎ個の法線の平均は、以下の式に従って決定される。
【００７０】
【数６】
【００７１】
そして、消失点情報推定部１４は、法線の平均に垂直な方向を水平方向の消失点の方向として決定する（３２６）。消失点情報推定部１４は、決定した水平方向の消失点の方向を示す水平方向消失点情報を生成し、出力する（３２８）。
【００７２】
水平方向のライングループＬＨに２より多い直線構造が存在しない場合（３３０）、消失点情報推定部１４は、水平方向のライングループに属する直線構造がちょうど２つ存在するか否か確認する（３３２）。水平方向のライングループに属する直線構造がちょうど２つ存在する場合（３３４）、消失点情報推定部１４は、水平方向のライングループに対するベースライン量と水平方向のベースライン閾値ＴＨｂａｓｅｌｉｎｅとを比較するとともに、２つの直線構造がどの程度平行であるかを示す平行度と平行度閾値ＴＨｐａｒａｌｌｅｌとを比較する（図７Ｃの３３６）。水平方向のベースライン量が小さい（狭い）、または、２つの直線構造がほぼ平行であることを示す条件を満たす場合（３４４）、消失点情報推定部１４は、水平方向のライングループに属する２つの直線構造の平均に垂直な方向を、水平方向の消失点の方向として決定する（３４６）。本実施形態では、２つの直線構造がどの程度平行であるかを示す平行度は、これら直線構造の法線間の角度を決定することにより求められる。本実施形態では、水平方向のベースライン量が小さい（狭い）、または、２つの直線構造がほぼ平行であることを示す条件は、
（baselineＨ＜ＴＨｂａｓｅｌｉｎｅ）｜（angle＜ＴＨｐａｒａｌｌｅｌ）
で示される。ここで、「｜」は、論理演算子の「ＯＲ」を意味している。また、angleは、２つの直線構造の法線間の角度である。各閾値は、例えば、
ＴＨｂａｓｅｌｉｎｅ＝ｉｍｇＨ／２
ＴＨｐａｒａｌｌｅｌ＝１°
である。ここで、ｉｍｇＨは、水平方向の画像寸法である。そして、消失点情報推定部１４は、決定した水平方向の消失点の方向を示す水平方向消失点情報を生成し、出力する（３４８）。
【００７３】
水平方向のベースライン量が大きく、かつ、２つの直線構造がほぼ平行ではない場合（３３８）、消失点情報推定部１４は、水平方向のライングループに属する２つの直線構造の交点を水平方向の消失点として決定する（３４０）。そして、消失点情報推定部１４は、決定した水平方向の消失点の位置を示す水平方向消失点情報を生成し、出力する（３４２）。
【００７４】
水平方向のライングループに属する直線構造が２つ存在しない場合（図７Ａの３５０）、消失点情報推定部１４は、水平方向のライングループに属する直線構造の数がちょうど１つであるか確認する（図７Ｄの３５２）。水平方向のライングループにちょうど１つの直線構造が存在する場合（３５４）、消失点情報推定部１４は、その直線構造の法線に垂直な方向を水平方向の消失点の方向として決定し（３５６）、決定した水平方向の消失点の方向を示す水平方向消失点情報を出力する（３５８）。水平方向のライングループにちょうど１つの直線構造が存在しない場合（３６０）、消失点情報推定部１４は、水平方向の消失点の方向として、基本的な水平方向を水平方向の消失点の方向として決定し、決定した水平方向の消失点の方向を示す水平方向消失点情報を出力する（３６２）。
【００７５】
垂直方向のライングループに対する消失点の推定は、図９Ａ〜図９Ｄを参照することにより理解されるであろう。図９Ａ〜図９Ｄは、垂直方向のライングループを用いた垂直方向の消失点の推定方法の一例を示す図である。なお、図９Ａ〜図９Ｄに示す処理の順序に限定されるものではない。また、この方法やこの方法の変形例を実行する際、図９Ａ〜図９Ｄに示すいくつかの処理を結合して行ってもよい。
【００７６】
垂直方向のライングループＬＶに属する各直線構造について、消失点情報推定部１４は、陰関数表示の係数 ａｘ＋ｂｙ＋ｃ＝０ を求める（４００）。次に、垂直方向のライングループＬＶに対して、消失点情報推定部１４は、垂直方向のベースライン量baselineＶを求める（４０２）。垂直方向のライングループＬＶに対する垂直方向のベースライン量baselineＶは、以下の式に従って決定される。
【００７７】
【数７】
【００７８】
上記の式において、di,jは、垂直方向のライングループＬＶの第１ラインＬｉと撮像文書画像の中央を通る水平方向のラインＨとの交点と、垂直方向のライングループＬＶの第２ラインＬｊと撮像文書画像の中央を通る水平方向のラインＨとの交点との距離を示している。
【００７９】
図１０は、図６の垂直方向のライングループＬＶに対して求められた垂直方向のベースライン量baselineＶの一例を示す図である。
【００８０】
消失点情報推定部１４は、垂直方向のライングループＬＶに属する直線構造の数が２より多いか確認する（４０４）。垂直方向のライングループＬＶに２より多い直線構造が存在する場合（４０６）、消失点情報推定部１４は、係数行列Ｌを生成する（４０８）。係数行列Ｌは、Ｎ個のベクトルＬｉ＝［ａｉｂｉｃｉ］（ｉ＝１，２，・・・、Ｎ） を連結させることにより生成される。ここで、Ｎは、垂直方向のライングループＬＶに属する直線構造の数であり、ａｉ，ｂｉ，ｃｉは、垂直方向のライングループＬＶのｉ番目の直線構造の陰関数形式の係数を示す。次に、消失点情報推定部１４は、係数行列Ｌに対して特異値分解（ＳＶＤ：singular value decomposition）を行う（４１０）。対応する固有ベクトルおよび固有値のセット｛｛ｖ１，λ１｝，｛ｖ２，λ２｝，｛ｖ３，λ３｝｝ （λ１＞λ２＞λ３）が、特異値分解により得られる。そして、消失点情報推定部１４は、最大の固有値λ１に対する最小の固有値λ３の割合である固有値割合（eigen-ratio）Λを以下の式
Λ＝λ３／λ１
に従って算出する（４１２）。
【００８１】
固有値割合Λは、垂直方向のライングループに属する直線構造における単一の消失点への集合度を評価している。大きな固有値割合Λを有する垂直方向のライングループは、２つの直線構造の交点がはっきりと変化するグループに対応している。一方、小さい固有値割合Λを有する垂直方向のライングループは、直線構造がほぼ同じ点で交わるようなグループに対応している。
【００８２】
消失点情報推定部１４は、垂直方向のライングループに対するベースライン量と垂直方向のベースライン閾値ＴＶｂａｓｅｌｉｎｅとを比較するとともに、固有値割合と垂直方向に対する所定の固有値割合閾値ＴＶｅｉｇｅｎｒａｔｉｏと比較する（図９Ｂの４１４）。垂直方向のベースライン量が大きく（広く）、かつ、固有値割合で示される単一点への集中度が高いことを示す条件が満たされた場合（４１６）、消失点情報推定部１４は、最小の固有値に対応する固有ベクトルを用いて垂直方向の消失点の位置（座標）を求める（４１８）。本実施形態では、垂直方向のベースライン量が大きく、かつ、固有値割合で示される単一点への集中度が高いことを示す条件は、
（baselineＶ＞ＴＶｂａｓｅｌｉｎｅ）＆（Λ＜ＴＶｅｉｇｅｎｒａｔｉｏ）
で示される。ここで、「＆」は、論理演算子「ＡＮＤ」を意味する。各閾値は、例えば、ＴＶｂａｓｅｌｉｎｅ＝ｉｍｇＶ／２
ＴＶｅｉｇｅｎｒａｔｉｏ＝0.0005
である。なお、ｉｍｇＶは、垂直方向の画像寸法を示している。
【００８３】
垂直方向のベースライン量が大きく、かつ、固有値割合で示される単一点への集中度が高いことを示す条件が満たされた場合（４１６）、消失点情報推定部１４は、垂直方向の消失点の位置を以下の式に従って算出する（４１８）。
【００８４】
【数８】
【００８５】
ここで、ν３（１）、ν３（２）、ν３（３）は、それぞれ、
固有ベクトルｖ３＝［ν３（１） ν３（２） ν３（３）］
の第１要素、第２要素、第３要素である。消失点情報推定部１４は、算出した垂直方向の消失点の位置を示す垂直方向消失点情報を生成し、出力する（４２０）。
【００８６】
垂直方向のベースライン量が大きく、かつ、固有値割合で示される単一点への集中度が高いことを示す条件が満たされない場合（４２２）、消失点情報推定部１４は、垂直方向のライングループＬＶに属する直線構造の法線の平均を求める（４２４）。Ｎ個の法線の平均は、以下の式に従って決定される。
【００８７】
【数９】
【００８８】
そして、消失点情報推定部１４は、法線の平均に垂直な方向を垂直方向の消失点の方向として決定する（４２６）。消失点情報推定部１４は、決定した垂直方向の消失点の方向を示す垂直方向消失点情報を生成し、出力する（４２８）。
【００８９】
垂直方向のライングループＬＶに２より多い直線構造が存在しない場合（４３０）、消失点情報推定部１４は、垂直方向のライングループに属する直線構造がちょうど２つ存在するか否か確認する（４３２）。垂直方向のライングループに属する直線構造がちょうど２つ存在する場合（４３４）、消失点情報推定部１４は、垂直方向のライングループに対するベースライン量と垂直方向のベースライン閾値ＴＶｂａｓｅｌｉｎｅとを比較するとともに、２つの直線構造がどの程度平行であるかを示す平行度と平行度閾値ＴＶｐａｒａｌｌｅｌとを比較する（図９Ｃの４３６）。垂直方向のベースライン量が小さい（狭い）、または、２つの直線構造がほぼ平行であることを示す条件を満たす場合（４４４）、消失点情報推定部１４は、垂直方向のライングループに属する２つの直線構造の平均に垂直な方向を、垂直方向の消失点の方向として決定する（４４６）。本実施形態では、２つの直線構造がどの程度平行であるかを示す平行度は、これら直線構造の法線間の角度を決定することにより求められる。本実施形態では、垂直方向のベースライン量が小さい（狭い）、または、２つの直線構造がほぼ平行であることを示す条件は、
（baselineＶ＜ＴＶｂａｓｅｌｉｎｅ）｜（angle＜ＴＶｐａｒａｌｌｅｌ）
で示される。ここで、「｜」は、論理演算子の「ＯＲ」を意味している。また、angleは、２つの直線構造の法線間の角度である。各閾値は、例えば、
ＴＶｂａｓｅｌｉｎｅ＝ｉｍｇＶ／２
ＴＶｐａｒａｌｌｅｌ＝１°
である。ここで、ｉｍｇＶは、垂直方向の画像寸法である。そして、消失点情報推定部１４は、決定した垂直方向の消失点の方向を示す垂直方向消失点情報を生成し、出力する（４４８）。
【００９０】
垂直方向のベースライン量が大きく、かつ、２つの直線構造がほぼ平行ではない場合（４３８）、消失点情報推定部１４は、垂直方向のライングループに属する２つの直線構造の交点を垂直方向の消失点として決定する（４４０）。そして、消失点情報推定部１４は、決定した垂直方向の消失点の位置を示す垂直方向消失点情報を生成し、出力する（４４２）。
【００９１】
垂直方向のライングループに属する直線構造が２つ存在しない場合（図９Ａの４５０）、消失点情報推定部１４は、垂直方向のライングループに属する直線構造の数がちょうど１つであるか確認する（図９Ｄの４５２）。垂直方向のライングループにちょうど１つの直線構造が存在する場合（４５４）、消失点情報推定部１４は、その直線構造の法線に垂直な方向を垂直方向の消失点の方向として決定し（４５６）、決定した垂直方向の消失点の方向を示す垂直方向消失点情報を出力する（４５８）。垂直方向のライングループにちょうど１つの直線構造が存在しない場合（４６０）、消失点情報推定部１４は、水平方向の消失点の方向に直交する方向を垂直方向の消失点の方向として決定し、垂直方向消失点情報を出力する（４６２）。
【００９２】
図１に戻って、次に、コーナー検出部１５がコーナー検出処理を行う（１０６）。コーナー検出処理は、文書領域の範囲を決定し、背景のノイズから文書領域を分離するために行われる。コーナー検出部１５は、線の交点に対して検出反応がよく、線の交点をコーナーとして検出しやすい。そのため、テキスト領域内では検出されるコーナーが高密度であり、非テキスト領域では検出密度が低い。検出されたコーナーの密度が高い領域は、文書としてよりよい候補領域となる。本実施形態では、コーナー検出部１５は、Ｓｈｉ−Ｔｏｍａｓｉ法を用いてコーナー検出処理を実行する。Ｓｈｉ−Ｔｏｍａｓｉ法については、「Jianbo Shi and Carlo Tomasi, “Good Features to Track”, the 9th IEEE Conference on Computer Vision and Pattern Recognition, June 1994」に記載されている。この文献は、本願において完全に参照により引用される。なお、コーナー検出の方法としては、他の公知の方法を用いてもよい。本実施形態では、コーナー検出部１５は、コーナー点のリストと、コーナーマスクＣとを生成する。コーナーマスクＣにおける画素値は、入力画像における対応する画素がコーナー画素として検出されたか否かを示す。例えば、コーナーマスクＣにおいて、画素値「１」はコーナーとして検出された画素であることを示し、画素値「０」はコーナーとして検出されなかった画素であることを示す。
【００９３】
図１１は、図５の（ａ）に示される撮像文書画像に対するコーナー検出結果を示す図である。図１１において、白点部分が検出されたコーナーを示す。図示されるように、テキスト部分でコーナーがよく検出される。
【００９４】
輪郭決定部１６は、消失点情報とコーナー検出結果とを用いて、撮像文書画像における文書領域の輪郭となる四角形（輪郭四角形）を決定する（１０８）。すなわち、輪郭決定部１６は、遠近法による歪みを有する文書の矩形とみなされる四角形を輪郭四角形として検出する。本実施形態では、輪郭決定部１６は、消失点の位置を示す消失点情報が出力された場合、推定された消失点の位置に集まる辺を有する四角形を輪郭四角形として決定し、消失点の方向を示す消失点情報が出力された場合、推定された消失点の方向に平行な辺を有する四角形を輪郭四角形として決定する。また、輪郭決定部１６は、コーナー検出部１５により検知されたコーナーを包含するような四角形を輪郭四角形として決定する。本実施形態では、全ての検出されたコーナーが包含されるように、輪郭四角形を決定する。しかしながら、別の実施形態では、検知されたコーナーの全てではなく一部が輪郭四角形により包含されるように、輪郭四角形を決定してもよい。
【００９５】
例えば、輪郭決定部１６は、コーナー検出部１５により検知されたコーナーを全て包含し、消失点から求めた４辺を有する四角形のうち、最小面積の四角形を輪郭四角形として決定する。また、上記の占有率に着目し、水平・垂直グループそれぞれで、全ての検出されたコーナーが包含されるような候補のうち、最も占有率の高い四角形を輪郭四角形として決定してもよい。
【００９６】
図１２は、図５の（ａ）に示される撮像文書画像に対して決定された輪郭四角形の一例を示す図である。
【００９７】
次に、幾何学的補正評価部１７は、決定された輪郭四角形と消失点または消失点の方向とに対する、幾何学的補正のための評価を行う（１１０）。幾何学的補正評価部１７は、幾何学的補正の強度、状態推定およびカメラパラメータ推定の信頼性を示す値を幾何学的補正のための評価値として求める。幾何学的補正の評価値は、複数の幾何学的補正の方法を比較するために使用される。
【００９８】
文書を撮像したカメラが未知の有効焦点距離（画素数で示される）を有する場合、２つの消失点が検出されたときに精度の高い幾何学的補正を実行することができる。本実施形態では、輪郭四角形と対応する消失点が信頼性のある焦点評価を有しているとみなしてよいか否かを決定するために、幾何学的補正評価部１７は、複数の焦点距離評価値を算出する。
【００９９】
幾何学的補正評価部１７は、推定される焦点距離の信頼性を示す第１の焦点距離評価値#VPを求める。幾何学的補正評価部１７は、輪郭線がほとんど平行である場合を除いて、消失点の数をカウントすることにより第１の焦点距離評価値#VPを求める。これらの実施形態は、図１３を参照することにより理解されるであろう。図１３は、４つの頂点ｑ１，ｑ２，ｑ３，ｑ４により決定される輪郭四角形５００の一例を示す。水平方向の一対の輪郭線は、輪郭四角形の水平方向の２つの辺５１０，５１２であり、垂直方向の一対の輪郭線は、輪郭四角形の垂直方向の２つの辺５１４，５１６である。なお、符号５２６は基本となる水平方向を示し、符号５２８は基本となる垂直方向を示している。の水平方向の一対の輪郭線のなす角度は、以下の式に従って算出される。
【０１００】
【数１０】
【０１０１】
ここで、ｎｈ１とｎｈ２は、それぞれ水平方向の辺５１０と辺５１２に対する単位法線ベクトルである。また、「・」はベクトルの内積（ドット積）を示している。垂直方向の一対の輪郭線のなす角度は、以下の式に従って算出される。
【０１０２】
【数１１】
【０１０３】
ここで、ｎｖ１とｎｖ２は、それぞれ垂直方向の辺５１４と辺５１６に対する単位法線ベクトルである。また、「・」はベクトルの内積（ドット積）を示している。
【０１０４】
そして、幾何学的補正評価部１７は、以下の式に従って第１の焦点距離評価値#VPを求める。
【０１０５】
【数１２】
【０１０６】
ここで、ｔｈ‖は、平行であるか否かを判断するための閾値であり、例えば、ｔｈ‖＝１°である。
【０１０７】
また、幾何学的補正評価部１７は、第２の焦点距離評価値farVPDistを算出してもよい。第２の焦点距離評価値farVPDistは、画像の光学中心Ｏから存在する消失点までの最大長である。本実施形態では、画像の光学中心Ｏから水平方向の消失点へのベクトルｖｐＣＨは、 ｖｐＣＨ＝ｖｐＨ−Ｏ で示される。ここで、ｖｐＨは水平方向の消失点における画像座標を示し、Ｏは画像中心における画像座標を示している。また、画像の光学中心Ｏから垂直方向の消失点へのベクトルｖｐＣＶは、 ｖｐＣＶ＝ｖｐＶ−Ｏ で示される。ここで、ｖｐＶは垂直方向の消失点における画像座標を示している。
【０１０８】
そして、幾何学的補正評価部１７は、
farVPDist＝ｍａｘ（‖ｖｐＣＨ‖，‖ｖｐＣＶ‖）
に従って、第２の焦点距離評価値farVPDistを求める。
ここで、‖ ‖はノルム演算子を示しており、例えばＬ２ノルムが用いられる。
【０１０９】
また、幾何学的補正評価部１７は、第３の焦点距離評価値vptestを算出してもよい。第３の焦点距離評価値vptestは、
vptest＝ｖｐＣＨ・ｖｐＣＶ
で示される。「・」はベクトルの内積を示しており、ｖｐＣＨは、画像の光学中心から水平方向の消失点へのベクトル、ｖｐＣＶは、画像の光学中心から垂直方向の消失点へのベクトルを示している。
【０１１０】
ここで、焦点距離ｆ＾は、以下のように定義される。
【０１１１】
【数１３】
【０１１２】
上記の焦点距離ｆ＾が決定されると、幾何学的補正評価部１７は、第４の焦点距離評価値FOVを算出する。第４の焦点距離評価値FOVは、最大の画像寸法に対する視野角度を評価する値であり、以下の式に従って算出される。
【０１１３】
【数１４】
【０１１４】
ここで、ｉｍｇＷおよびｉｍｇＨは、それぞれ画像の幅および高さを示している。
【０１１５】
本発明の一実施形態において、輪郭四角形と対応する消失点について求められた焦点距離ｆ＾は、焦点評価の信頼性に関する所定条件を満たすときに、信頼性が高いものとみなされる。具体的には、幾何学的補正評価部１７は、以下の条件を全て満たすときに、焦点距離ｆ＾の信頼性が高いものと判断する。
estF＝(#vp＝２）and（vptest＜０）and（FOV＞ｔｈＦＯＶ）and（farVPDist＜ｔｈＶＰＤｉｓｔ）
ここで、ｔｈＦＯＶは、視野に関する閾値（視野閾値）であり、ｔｈＶＰＤｉｓｔは最大距離閾値であり、estFは焦点距離の信頼性を示すブーリアン（Boolean）型の値である。閾値は、例えば、ｔｈＦＯＶ＝２０°であり、ｔｈＶＰＤｉｓｔ＝５×１０４ である。
【０１１６】
次に、図５に示されるように、幾何学的補正評価部１７は、消失点間の角度vpAngleを以下の式に従って算出する。
【０１１７】
【数１５】
【０１１８】
ここで、ＶＶは、画像中心Ｏから垂直方向の消失点の方向への単位ベクトルであり、ＶＨは、画像中心Ｏから水平方向の消失点の方向への単位ベクトルである。
【０１１９】
垂直方向の消失点が存在しない場合、垂直方向の消失点の方向を示すＶＶは、以下の式に従って求められる。
【０１２０】
【数１６】
【０１２１】
同様に、水平方向の消失点が存在しない場合、水平方向の消失点の方向を示すＶＨは、以下の式に従って求められる。
【０１２２】
【数１７】
【０１２３】
さらに、幾何学的補正評価部１７は、補正強度の評価値を決定してもよい。補正強度の評価値は、例えば、光軸と輪郭四角形から推定される文書面の法線方向とのなす角度である。焦点距離が既知であるカメラの場合（焦点距離ｆ＾が上記数１３により決定された場合）、幾何学的補正評価部１７は、文書面の法線ベクトルｎＰを以下のようにして推定する。
【０１２４】
【数１８】
【０１２５】
ここで、ＶＣＨは、消失点が存在する場合、推定された消失点ｖｐＣＨと焦点距離ｆ＾から生成され、消失点が存在しない場合、消失点の方向ＶＨから生成される３要素のベクトルである。また、ＶＣＶは、消失点が存在する場合、推定された消失点ｖｐＣＶと焦点距離ｆ＾から生成され、消失点が存在しない場合、消失点の方向ＶＶから生成される３要素のベクトルである。
【０１２６】
本実施形態によれば、幾何学的補正評価部１７は、estFが「false」である場合、デフォルトの焦点距離f_defaultが以下の式に従って決定される。ここでは、デフォルトの視野角を５０°としている。
【０１２７】
【数１９】
【０１２８】
さらに、幾何学的補正評価部１７は、補正角度correctionAngleを以下の式に従って算出する。ここで、ｚ＝［0,0,1］である。
【０１２９】
【数２０】
【０１３０】
次に、図１に示されるように、輪郭決定部１６は、消失点情報とコーナー検出結果とを用いた上記の方法とは異なる方法により特定された、撮像文書画像における文書領域の候補である文書着目領域を取得する（１１２）。そして、幾何学的補正評価部１７は、文書着目領域に対して、幾何学的補正の評価値を決定する（１１４）。次に、補正方法決定部１８は、幾何学的補正評価部１７により算出された評価値を比較し、幾何学的補正で用いる補正方法を選択する（フィルタリングする）（１１６）。
【０１３１】
ここで、文書面の法線に対して傾いていない角度から撮像したときを標準状態とし、当該標準状態に基づく補正方法も取り得る一つの補正方法のリストに含まれている。標準状態は、幾何学的補正が必要ではなく、文書平面の法線が光軸に近い状態を意味している。なお、標準状態に対する補正方法をＨ’とする。
【０１３２】
本実施形態では、文書着目領域を取得する処理１１２および文書着目領域に対して幾何学的補正の評価値を決定する処理１１４を行うものとしたが、当該処理１１２，１１４は行わなくてもよい。この場合、標準状態に対応する補正方法と、上述したライングループの方法に従って決定された輪郭四角形および対応する消失点（または消失点の方向）に対応する補正方法との２つから補正方法が選択される。
【０１３３】
本実施形態によれば、標準状態に対応する補正方法Ｈ’に加えて、２つの補正方法が選択対象となる。第１の補正方法Ｈ１は、輪郭四角形および対応する消失点（または消失点の方向）に対応しており、上述したライングループの方法に従って決定される補正方法である。
【０１３４】
第２の補正方法Ｈ２は、１１２で取得された文書着目領域に基づく補正方法である。本実施形態によれば、第２の補正方法Ｈ２の基となる文書着目領域は、例えば、２０１１年２月２４日に出願された米国特許出願番号１３／０３４，５９４（発明の名称「画像における文書着目領域を決定する方法およびシステム」に記載されている領域成長技術を用いて生成される。米国特許出願番号１３／０３４，５９４は、本願において完全に参照により引用される。具体的に説明すれば以下のとおりである。
【０１３５】
図１４は、輪郭決定部１６による文書着目領域の取得方法を示す説明図である。輪郭決定部１６は、撮像文書画像における輝度成分を示す入力輝度画像データを生成する。
【０１３６】
輪郭決定部１６は、入力輝度画像データに対して、前景除去処理１１０４、エッジ検出処理１１０６、およびテキスト（文字）の特徴点を算出するテキスト特徴算出処理１１０８を行う。
【０１３７】
輪郭決定部１６は、前景除去処理１１０４において、撮像文書画像に対応する入力輝度画像データから前景成分を除去し、エッジデータをほとんど含まない均一に近い背景領域を得る。
【０１３８】
輪郭決定部１６は、入力輝度画像データをダウンサンプリングして、低解像画像データにダウンサンプリングする。そして、低解像画像データに対して流し込み法（flood-filling operation）を適用することにより、前景除去画像データ１１１０（画像データＩＳＦ）を生成する。流し込み法では、テキスト画素の低グレースケールレベルの値を周囲の明るい色の背景画素のグレースケールレベルに置換する（テキスト画素を周囲の明るい色の背景画素のグレースケールレベルで塗り潰す）。これにより、不要成分（高周波成分）を除去した略均一なグレースケールレベルを有する文書領域が生成される。なお、前景除去処理の方法はこれに限るものではなく、例えば、輪郭決定部１６は、拡大、中央値フィルタ処理、あるいはその他の画像処理技術を用いて前景除去処理を行うようにしてもよい。
【０１３９】
図１１に示したように、輪郭決定部１６は、前景除去処理１１０４の結果である出力画像データＩＳＦ（前景除去画像データ１１１０）に対して、不均一性低減処理１１１２を行う。
【０１４０】
輪郭決定部１６は、不均一性低減処理１１１２において、前景除去画像データ１１１０における不均一性（輝度ムラ）を低減し、前景除去画像データ１１１０におけるグレア効果を除去する。例えば、輪郭決定部１６は、前景除去画像データ１１１０の中央領域（前景除去画像の中心を含む領域）におけるピークを拡大あるいは伸長するために、前景除去画像データ１１１０に対してモフォロジー処理（拡大縮小処理）による再構成処理を行う。典型的な実施例では、前景除去画像データ１１１０（画像データＩＳＦ）からマーカー画像（種画像）ＩＭを抽出し、抽出したマーカー画像ＩＭを用いてモフォロジー処理による再構成処理を行う。モフォロジー処理による再構成処理において、マーカー画像ＩＭをマスク画像の特性に基づいて処理するようにしてもよい。上記マスク画像として、例えば、上記の前景除去画像データ１１１０（画像データＩＳＦ）を用いてもよい。上記マーカー画像の選択方法は特に限定されるものではなく、例えば、マーカー画像ＩＭの中心付近における所定サイズの領域である第１領域に属する各画素の画素値を当該画素に対応する前景除去画像データ１１１０（画像データＩＳＦ）の画素の画素値に応じた値に設定し、マーカー画像ＩＭにおける第１領域を除く領域である第２領域に属する各画素の画素値をゼロに設定してもよい。これにより、マーカー画像ＩＭにおける全画素の画素値は、マスク画像における対応する画素の画素値以下になる。モフォロジー処理による再構成処理は、概念的には、マーカー画像におけるマスク画像にマスクされる位置を連続的に拡大する処理として理解できる。この拡大処理は、前回の拡大によって再構成された画像と今回の拡大によって再構成された画像との間に変化が生じなかった場合に終了する。モフォロジー処理による再構成処理を実行する方法として多様な方法を採用可能であることは当業者にとって自明であろう。輪郭決定部１６は、モフォロジー処理による再構成処理が施された最終的な再構成画像データ１１１４（画像データＩＲ）に対して、２値化処理１１１６を行う。
【０１４１】
なお、輪郭決定部１６が、背景色と文字色および前景色との関係を検出するようにしてもよい。この場合、マーカー画像におけるゼロ以外の画素値を有する画素の平均グレー値μＩＭを算出し、前景除去画像データ１１１０（画像データＩＳＦ）における残りの画素の平均グレー値μＩＣＭと比較する。そして、μＩＭ＞μＩＣＭ、かつμＩＭ＞ＴＢＧであれば、上記画像における文書部分は前景画像に暗い色のテキストを含む明るい色の背景になり、処理が継続される。なお、上記ＴＢＧは、背景の輝度値と白に対応する輝度値との差に応じた閾値である。μＩＭ＞μＩＣＭ、かつμＩＭ＞ＴＢＧでなければ、文書着目領域の決定処理を終了するようにしてもよい。あるいは、μＩＭ＞μＩＣＭ、かつμＩＭ＞ＴＢＧでなければ、輪郭決定部１６は、２値化処理１１１６によって決定される第１文書着目領域候補マスクを反転させて文書着目領域の決定処理を継続するようにしてもよい。上記ＴＢＧの典型的な値は１００である。
【０１４２】
輪郭決定部１６は、再構成画像データ１１１４に対して、第１文書着目領域候補マスク（第１文書ＲＯＩ候補マスク）１１１８を生成する２値化処理１１１６を行う。輪郭決定部１６は、文書着目領域と非文書着目領域とを分離するための閾値を選択して２値化処理（閾値処理）を行う。閾値の選択方法は特に限定されず、多様な方法を用いることができる。例えば、「Nobuyuki Otsu著、“A threshold selection method from gray-level histograms”、IEEE Transactions on Systems、Man and Cybernetics、volume 9、62-66頁、1979年」に開示されている方法を用いてもよい。
【０１４３】
図１１に示したように、輪郭決定部１６は、エッジ検出処理１１０６において、上記の輝度のみからなる入力輝度画像データからエッジマスク１１２２を抽出し、第１文書着目領域候補マスク１１１８から不要成分を除去するために用いる。輪郭決定部１６は、低解像画像データＬｒに基づいてエッジマスク１１２２を抽出するようにしてもよく、フル解像度の画像データに基づいてエッジマスク１１２２を抽出するようにしてもよい。輪郭決定部１６は、におけるエッジ検出方法は特に限定されるものではなく、従来からの公知の種々の方法を用いることができる。例えば、勾配に基づく方法、ゼロ公差法、あるいはその他の方法を用いることができる。エッジ検出処理１１０６によって抽出されたエッジマスク１１２２は、結合処理１１２４において下記式（１）に基づいて第１文書着目領域候補マスク１１１８と結合される。
【０１４４】
【数２１】
【０１４５】
なお、第２文書着目領域候補マスクにおける各要素内の孔（holes）を除去するために、第２文書着目領域候補マスクに対して塗り潰しアルゴリズム（image filling algorithm）による処理を適用してもよい。あるいは、塗り潰し処理を行わなくてもよい。
【０１４６】
輪郭決定部１６は、着目領域補正処理（ＲＯＩ補正処理）１１２８において、上記の第２文書着目領域候補マスク１１２６を補正（精製）する。具体的には、輪郭決定部１６は、第２文書着目領域候補マスク１１２６における連結要素（隣接する画素同士の画素値が同じである画素からなる集合）を識別し、それら各連結要素が文書着目領域の一部であるか否かを分析する。
【０１４７】
輪郭決定部１６は、第２文書着目領域候補マスク１１２６における連結要素ｃｉによってカバーされたテキスト状の内容の量を決定する。具体的には、輪郭決定部１６は、入力輝度画像データＬから検出されたコーナーの特徴点（複数のエッジの交点。テキストの特徴点。）１１３２をテキスト特徴算出処理１１０８することで取得する。テキスト特徴算出部１１０８は、例えば「C.Harris、M.Stephens著、“A combined corner and edge detector”、Proceedings of the 4th Alvey Vision Conference、147-151頁、1988年」に開示されているハリス法を用いて入力輝度画像データＬからコーナーの特徴点１１３２を検出する。
【０１４８】
輪郭決定部１６は、第２文書着目領域候補マスク１１２６における連結要素ｃｉによって規定されるテキスト範囲として、コーナーの特徴点の総数に対する上記連結要素ｃｉに含まれるコーナーの特徴点の数の割合ｒｉを算出する。上記割合ｒｉの値が所定の閾値Ｔを超えている場合には最終文書着目領域マスク１１３４（ＭＲＯＩ）に連結要素ｃｉを加え、そうでない場合には連結要素ｃｉを廃棄する。これにより、テキストの特徴点が密集している領域が最終文書着目領域マスク１１３４に含まれ、その他の領域は最終文書着目領域マスク１１３４から除外される。本実施形態では閾値Ｔを２．５％に設定している。ただし、閾値Ｔの値はこれに限るものではない。そして、着目領域補正処理１１２８により生成された最終文書着目領域マスク１１３４で示される領域を文書着目領域として設定される。
【０１４９】
文書着目領域に対して幾何学的補正の評価値を決定する処理１１４でも、幾何学的補正評価部１７は、輪郭四角形に対して求めた方法と同様にして、各種の評価値（correctionAngle、vpAngle、#vp、ｆ＾）を算出してもよい。
【０１５０】
例えば、幾何学的補正評価部１７は、文書着目領域が四角形である場合、その上辺、下辺、左辺、右辺の単位法線ベクトルをｎｈ１、ｎｈ２、ｎｖ１、ｎｖ２として、上記の数１０〜数１２を基に、#vp２を求めることができる。また、上辺、下辺の交点を水平方向の消失点とし、画像の光学中心Ｏから水平方向の消失点へのベクトルｖｐＣＨを求める。同様に、文書着目領域の輪郭となる四角形の左辺、右辺の交点を垂直方向の消失点とし、画像の光学中心Ｏから垂直方向の消失点へのベクトルｖｐＣＶを求める。これにより、幾何学的補正評価部１７は、vptesutを求めることができ、ｆ＾，vpAngleを決定できる。さらに、幾何学的補正評価部１７は、数１８を基に、文書面の法線ベクトルｎＰとともに、correctionAngleを算出できる。なお、文書着目領域が四角形ではない場合、幾何学的補正評価部１７は、各評価値が算出不可能であると判断してもよい。
【０１５１】
上述のように、各補正方法Ｈｉに対応する幾何学的補正の評価値（correctionAnglei、vpAnglei、#vpi）が決定される。ここで、ｉは、対応する各補正方法Ｈｉを示している。標準状態に対応する補正方法はＨ’である。また、本実施形態では、幾何学的補正評価部１７は、処理１１４において、文書着目領域Ｑｉと検出されたコーナーＣとの間の交わり部分が、撮像文書画像の中のコーナー全体に占める割合（パーセンテージ）を重なり度overlapiとして算出する。重なり度overlapｉは以下に式で示される。
【０１５２】
【数２２】
【０１５３】
幾何学的補正の補正方法のフィルタリング処理は、補正方法の選定となる仮定を検証することである。補正方法決定部１８は、上述したようなライングループを用いて導かれる補正方法Ｈ１に対応するcorrectionAngle１がcorrectionAngle１＞θmax を満たすとき、補正方法Ｈ１を採用しない。ここで、角度閾値θmaxは、信頼性があると見なされる最大補正角度であり、例えば４０°である。また、補正方法決定部１８は、補正方法Ｈ１に対応する消失点の数が２つであり、かつ、補正方法Ｈ１に対応する消失点間の角度vpAngle１が予め設定された角度範囲内にない場合、補正方法Ｈ１を採用しない。すなわち、以下のような条件を満たす場合である。
#vp１＝２ and (vpAngle１＜８０° or vpAngle１＞１１０°）
また、補正方法決定部１８は、領域成長方法により決定された文書着目領域に基づく補正方法Ｈ２に対応するcorrectionAngle２が角度閾値θmaxよりも大きく、かつ、補正方法Ｈ２に対応する重なり度overlap２が重複閾値ｔｈｃよりも小さい場合、補正方法Ｈ２を採用しない。この条件は、以下のように示される。
correctionAngle２＞θmax かつ overlap２＜ｔｈｃ
ここで、角度閾値θmaxは、信頼性があると見なされる最大補正角度であり、例えば４０°である。ｔｈｃは、文書着目領域の中に含まれるべきコーナーの最低パーセンテイジであり、例えばｔｈｃ＝９８％である。このように、領域成長方法により出力される文書着目領域の形状が四角形に十分にマッチしない場合、補正方法Ｈ２は拒絶される。
【０１５４】
本実施形態によれば、補正方法の選択処理（フィルタリング処理）は、階層的に実行されてもよい。領域成長方法に基づく補正方法Ｈ２が適切であると判断された場合、補正方法Ｈ２が幾何学的補正の方法として選択される。領域成長方法に基づく補正方法Ｈ２が適切ではないと判断され、ライングループに基づく補正方法Ｈ１が適切であると判断された場合、ライングループに基づく補正方法Ｈ１が幾何学的補正の方法として選択される。これ以外の場合、標準状態に基づく補正方法Ｈ’が選択され、撮像文書画像に対する幾何学的補正は実行されない。
【０１５５】
十分な幾何学的補正のためには、文書の辺の相対的な長さを知る必要がある。ただし、十分な幾何学的補正は常に可能であるわけではない。十分な幾何学的補正が可能ではない場合、カメラの遠近法による幾何学形状と文書の法線との近似を推定するのために、近似値が使用される。
【０１５６】
カメラの焦点距離が予め既知ではない場合、または、焦点距離に対する評価値の信頼性が低い場合（例えば、estFが「false」である場合）、デフォルトの焦点距離が使用される。そして、図５および図６に示されるように、画像サイズ決定部１９は、補正後の画像サイズを決定する（１１８）。カメラ原点６０２から画像面６０６上の四角形の点［ｑ１、ｑ２、ｑ３、ｑ４］を通って、カメラ原点からＤだけ離れた文書面６１０の点ｐｉに向けた光線ｒｉが画像上に投影される。文書面６１０上の点ｐは、陰関数式 ｎＰ・（ｐ−ｐ０）＝０により決定される。ここで、ｐ０＝［0 0 D］である。点ｐｉは、以下の式により決定される。
【０１５７】
【数２３】
【０１５８】
ここで、ｎｐは、文書面６１０の単位法線ベクトルである。「・」は、ベクトルの内積を示す。点［ｐ１、ｐ２、ｐ３、ｐ４］は、文書面６１０上の文書の矩形の頂点を示し、距離Ｄは、カメラの投影原点から文書面６１０までの距離である。本実施形態では、Ｄ＝５ｆ＾であり、ｆ＾は焦点距離である。
【０１５９】
画像サイズ決定部１９は、文書のアスペクト比Ａ＾を以下の式に従って決定する。
【０１６０】
【数２４】
【０１６１】
ここで、Ｈ＾は、文書面６１０における推定された文書の高さであり、Ｗは推定された文書の幅である。Ｈ＾は、Ｈ＾＝‖ｐ４−ｐ１‖により決定され、Ｗ＾は、Ｗ＾＝‖ｐ２−ｐ１‖により決定される。
【０１６２】
画像サイズ決定部１９は、補正された画像のスケールを、四角形の点［ｑ１、ｑ２、ｑ３、ｑ４］と文書のアスペクト比Ａ＾とから求める。そして、画像サイズ決定部１９は、補正後の画像サイズ（ｗ，ｈ）を以下の式に従って算出する。
【０１６３】
【数２５】
【０１６４】
ここで、ｓｈ＝ｍｉｎ（ｍａｘ（ｄｈ１、ｄｈ２），ｉｍｇＷ）であり、最大の水平方向の辺の長さと入力画像の幅ｉｍｇＷとの小さいほうである。また、ｓｖ＝ｍｉｎ（ｍａｘ（ｄｖ１、ｄｖ２），ｉｍｇＨ）であり、最大の垂直方向の辺の長さと入力画像の高さｉｍｇＨとの小さいほうである。ｄｈ１＝‖ｑ２−ｑ１‖は、四角形の上方の頂点間の長さであり、ｄｈ２＝‖ｑ３−ｑ４‖は、四角形の下方の頂点間の長さである。ｄｖ１＝‖ｑ４−ｑ１‖は、四角形の左側の頂点間の長さであり、ｄｖ２＝‖ｑ３−ｑ２‖は、四角形の右側の頂点間の長さである。
【０１６５】
なお、画像サイズ決定部１９は、補正方法決定部１８が補正方法Ｈ１を選択した場合、輪郭四角形および消失点情報に基づいて算出された評価値を用いて画像サイズを決定し、補正方法決定部１８が補正方法Ｈ２を選択した場合、文書着目領域に基づいて算出された評価値を用いて画像サイズを決定すればよい。
【０１６６】
そして、図１に示されるように、補正処理部２０は、撮像文書画像に対して幾何学的補正を実行する（１２０）。本実施形態では、補正処理部２０は、バイキュービック補間を用いて、推定された画像の四角形と所望の画像サイズで設定される出力矩形とに基づいた幾何学的補正を行う。本実施形態では、補正処理部２０は、入力点［ｑ１、ｑ２、ｑ３、ｑ４］を用いた透過平面投影変換の演算を用いて補正を行う。そして、補正画像の所望の対応出力点が、算出された補正後の画像サイズ［（０，０）、（ｗ、０）、（ｗ、ｈ）、（０、ｈ）］から決定される。平面投影変換の演算を用いた遠近法の歪みの補正により、補正された画像が出力される。
【０１６７】
例えば、補正処理部２０は、補正方法決定部１８により補正方法Ｈ１が選択された場合、輪郭決定部１６が消失点情報とコーナー検出結果とに基づいて決定した輪郭四角形を、画像サイズ決定部１９により決定された画像サイズの矩形に写像変換する。このとき、バイキュービック補間を用いて、各画素の値を求めればよい。
【０１６８】
また、補正処理部２０は、補正方法決定部１８により補正方法Ｈ２が選択された場合、輪郭決定部１６が領域成長方法により決定した文書着目領域を、画像サイズ決定部１９により決定された画像サイズの矩形に写像変換する。このとき、バイキュービック補間を用いて、各画素の値を求めればよい。
【０１６９】
また、上述した各処理の実行順序は、図面中に示した順序に限定されるものではなく、適宜変更してもよい。また、図面中に連続して実行されるように示されている各処理の一部を、並行処理するようにしてもよく、処理期間の一部が重複するようにしてもよい。
【０１７０】
また、上記実施形態において、画像処理装置１に備えられる各部（各ブロック）を、ＣＰＵ等のプロセッサを用いてソフトウェアによって実現してもよい。この場合、画像処理装置１は、各機能を実現する制御プログラムの命令を実行するＣＰＵ（central processing unit）、上記プログラムを格納したＲＯＭ（read only memory）、上記プログラムを展開するＲＡＭ（random access memory）、上記プログラムおよび各種データを格納するメモリ等の記憶装置（記録媒体）などを備えている。そして、本発明の目的は、上述した機能を実現するソフトウェアである画像処理装置１の制御プログラムのプログラムコード（実行形式プログラム、中間コードプログラム、ソースプログラム）をコンピュータで読み取り可能に記録した記録媒体を、画像処理装置１に供給し、そのコンピュータ（またはＣＰＵやＭＰＵ）が記録媒体に記録されているプログラムコードを読み出し実行することによって達成される。
【０１７１】
上記記録媒体としては、例えば、磁気テープやカセットテープ等のテープ系、フロッピー（登録商標）ディスク／ハードディスク等の磁気ディスクやＣＤ−ＲＯＭ／ＭＯ／ＭＤ／ＤＶＤ／ＣＤ−Ｒ等の光ディスクを含むディスク系、ＩＣカード（メモリカードを含む）／光カード等のカード系、あるいはマスクＲＯＭ／ＥＰＲＯＭ／ＥＥＰＲＯＭ（登録商標）／フラッシュＲＯＭ等の半導体メモリ系などを用いることができる。
【０１７２】
また、画像処理装置１を通信ネットワークと接続可能に構成し、通信ネットワークを介して上記プログラムコードを供給してもよい。この通信ネットワークの構成は特に限定されるものではなく、例えば、インターネット、イントラネット、エキストラネット、ＬＡＮ、ＩＳＤＮ、ＶＡＮ、ＣＡＴＶ通信網、仮想専用網（virtual private network）、電話回線網、移動体通信網、衛星通信網等が利用可能である。また、通信ネットワークを構成する伝送媒体についても特に限定されず、例えば、ＩＥＥＥ１３９４、ＵＳＢ、電力線搬送、ケーブルＴＶ回線、電話線、ＡＤＳＬ回線等の有線でも、ＩｒＤＡやリモコンのような赤外線、Ｂｌｕｅｔｏｏｔｈ（登録商標）、８０２．１１無線、ＨＤＲ、携帯電話網、衛星回線、地上波デジタル網等の無線でも利用可能である。なお、本発明は、上記プログラムコードが電子的な伝送で具現化された、搬送波に埋め込まれたコンピュータデータ信号の形態でも実現され得る。
【０１７３】
また、画像処理装置１の各ブロックは、ソフトウェアを用いて実現されるものに限らず、ハードウェアロジックによって構成されるものであってもよい。また、画像処理装置１の各ブロックは、処理の一部を行うハードウェアと当該ハードウェアの制御や残余の処理を行うソフトウェアを実行する演算手段とを組み合わせたものであってもよい。
【０１７４】
本発明は上述した実施形態に限定されるものではなく、請求項に示した範囲で種々の変更が可能である。すなわち、請求項に示した範囲で適宜変更した技術的手段を組み合わせて得られる実施形態についても本発明の技術的範囲に含まれる。
【０１７５】
（まとめ）
以上のように、本発明の一態様に係る画像処理装置は、撮像装置により撮像された画像に対して幾何学的補正を行う画像処理装置であって、（ａ）撮像装置が矩形状の文書を撮像することにより得られた撮像文書画像を取得する撮像画像取得部と、（ｂ）上記撮像文書画像における水平方向の消失点の位置または水平方向の消失点の方向を示す水平方向消失点情報を生成するとともに、上記撮像文書画像における垂直方向の消失点の位置または垂直水平方向の消失点の方向を示す垂直方向消失点情報を生成する消失点情報生成部（消失点情報推定部１４）と、（ｃ）上記撮像文書画像におけるコーナーを検出するコーナー検出部と、（ｄ）（１）上記水平方向消失点情報が水平方向の消失点の位置を示す場合、当該水平方向の消失点の位置に集まる２つの線分を上辺および下辺とし、上記水平方向消失点情報が水平方向の消失点の方向を示す場合、当該水平方向の消失点の方向に平行な２つの線分を上辺および下辺とし、（２）上記垂直方向消失点情報が垂直方向の消失点の位置を示す場合、当該垂直方向の消失点の位置に集まる２つの線分を左辺および右辺とし、上記垂直方向消失点情報が垂直方向の消失点の方向を示す場合、当該垂直方向の消失点の方向に平行な２つの線分を左辺および右辺とし、（３）上記コーナー検出部により検出されたコーナーを囲む四角形の輪郭を輪郭四角形として決定する輪郭決定部と、（ｅ）上記輪郭四角形の信頼性を示す第１の評価値を算出する幾何学的補正評価部と、（ｆ）上記第１の評価値を基に、上記輪郭四角形に基づいた第１補正方法により幾何学的補正を行うか否かを決定する補正方法決定部と、（ｇ）上記補正方法決定部が第１補正方法による幾何学的補正を行うと決定した場合に、上記輪郭四角形に基づいて、幾何学的補正後の第１画像サイズを決定する画像サイズ決定部と、（ｈ）上記補正方法決定部が第１補正方法による幾何学的補正を行うと決定した場合に、上記輪郭四角形と上記第１画像サイズとに基づいて上記撮像文書画像に対して幾何学的補正を行う補正処理部とを備えている。
【０１７６】
上記の構成によれば、消失点を用いて輪郭四角形を決定する。消失点は、撮像装置の焦点距離に依存して変化する。そのため、消失点情報を用いることにより撮像装置の焦点距離を考慮した幾何学的補正を行うことができる。その結果、カメラレンズの焦点距離に関する情報がなくても、幾何学的歪みの補正を適切に行うことができる。
【０１７７】
また、本発明の一態様において、（ａ）上記輪郭決定部は、（１）撮像文書画像の前景成分を除去して前景除去画像を生成し、上記前景除去画像における不均一性を低減して再構成画像を生成し、（２）上記再構成画像に２値化処理を施すことにより第１文書着目領域候補マスクを生成し、（３）上記撮像文書画像におけるエッジ部を示すエッジマスクと上記第１文書着目領域候補マスクとを結合して第２文書着目領域候補マスクを生成し、（４）上記撮像文書画像から算出されるテキストの特徴点に基づいて上記第２文書着目領域候補マスクを補正することにより最終文書着目領域を特定し、（ｂ）上記幾何学的補正評価部は、上記最終文書着目領域の信頼性を示す第２の評価値を算出し、（ｃ）上記補正方法決定部は、上記第１の評価値および第２の評価値に基づいて、上記第１補正方法により幾何学的補正を行うか、上記最終文書着目領域に基づいた第２補正方法により幾何学的補正を行うか決定し、（ｄ）上記画像サイズ決定部は、上記補正方法決定部が第２補正方法を選択した場合に、最終文書着目領域に基づいて、幾何学的補正後の第２画像サイズを決定し、（ｅ）上記補正処理部は、上記補正方法決定部が第２補正方法を選択した場合に、上記最終文書着目領域と上記第２画像サイズとに基づいて上記撮像文書画像に対して幾何学的補正を行ってもよい。
【０１７８】
また、本発明の一態様において、上記補正方法決定部は、（１）上記第２の評価値が予め設定された第１条件を満たす場合に、上記第２補正方法を幾何学的補正の方法として決定し、（２）上記第２の評価値が上記の第１条件を満たさず、かつ、上記第１の評価値が予め設定された第２条件を満たす場合に、上記第１補正方法を幾何学的補正の方法として決定し、（３）上記第２の評価値が上記の第１条件を満たさず、かつ、上記第１の評価値が上記第２条件を満たさない場合に、幾何学的補正を行わないものと決定し、上記補正処理部は、上記補正方法決定部が幾何学的補正を行わないと決定した場合、撮像文書画像に対して幾何学的補正を行わなくてもよい。
【０１７９】
また、本発明の一態様の画像処理装置は、上記撮像文書画像におけるエッジ部を示すエッジマスクを生成するエッジ検出部と、上記エッジマスクから複数の直線構造を抽出し、当該複数の直線構造を水平方向のライングループと垂直方向のライングループとにグループ分けする直線構造抽出部とを備え、上記消失点情報生成部は、（１）上記水平方向のライングループに属する各直線構造について陰関数形式の複数の係数を求め、（２）上記水平方向のライングループに属する直線構造間の最大距離を示す水平方向ベースライン量を算出し、（３）上記水平方向のライングループに属する直線構造の数が２よりも大きい場合に、上記水平方向のライングループに属する各直線構造に対応する上記複数の係数を連結した係数行列を生成し、当該係数行列に特異値分解を適用して、複数の固有ベクトルおよび固有値を決定し、（４）上記複数の固有値のうちの最大値に対する最小値の割合を示す第１固有値割合を算出し、（５）上記水平方向ベースライン量が予め設定されたベースライン閾値よりも大きく、かつ、上記第１固有値割合が予め設定された平行度閾値よりも小さい場合に、上記複数の固有値のうちの最小値に対応する固有ベクトルを用いて水平方向の消失点の位置を求め、当該水平方向の消失点の位置を示す水平方向消失点情報を生成してもよい。
【０１８０】
また、本発明の一態様において、上記消失点情報生成部は、（１）上記水平方向のライングループに属する２つの直線構造について、一方の直線構造と上記撮像文書画像の中心を通る垂直方向のラインである垂直ラインとの第１交点を決定するとともに、他方の直線構造と上記垂直ラインとの第２交点を決定し、上記第１交点と第２交点との距離を算出し、（２）上記水平方向のライングループに属する２つの直線構造の全ての組合せについて求めた上記第１交点と第２交点との距離のうちの最大値を水平方向ベースライン量として設定してもよい。
【０１８１】
また、本発明の一態様において、上記消失点情報生成部は、（１）上記垂直方向のライングループに属する各直線構造について陰関数形式の複数の係数を求め、（２）上記垂直方向のライングループに属する直線構造間の最大距離を示す垂直方向ベースライン量を算出し、（３）上記垂直方向のライングループに属する直線構造の数が２よりも大きい場合に、上記垂直方向のライングループに属する各直線構造に対応する上記複数の係数を連結した係数行列を生成し、当該係数行列に特異値分解を適用して、複数の固有ベクトルおよび固有値を決定し、（４）上記複数の固有値のうちの最大値に対する最小値の割合を示す第２固有値割合を算出し、（５）上記垂直方向ベースライン量が予め設定されたベースライン閾値よりも大きく、かつ、上記第２固有値割合が予め設定された平行度閾値よりも小さい場合に、上記複数の固有値のうちの最小値に対応する固有ベクトルを用いて垂直方向の消失点の位置を求め、当該垂直方向の消失点の位置を示す垂直方向消失点情報を生成してもよい。
【０１８２】
また、本発明の一態様において、上記消失点情報生成部は、（１）上記垂直方向のライングループに属する２つの直線構造について、一方の直線構造と上記撮像文書画像の中心を通る水平方向のラインである水平ラインとの第３交点を決定するとともに、他方の直線構造と上記水平ラインとの第４交点を決定し、上記第３交点と第４交点との距離を算出し、（２）上記垂直方向のライングループに属する２つの直線構造の全ての組合せについて求めた上記第３交点と第４交点との距離のうちの最大値を垂直方向ベースライン量として設定してもよい。
【０１８３】
また、本発明の一態様において、上記第１の評価値は、消失点の数、焦点距離の信頼度、基準点および水平方向の消失点を通る直線と基準点および垂直方向の消失点を通る直線とのなす角度、検出されたコーナーと輪郭四角形との重なり度、および、推定される文書面の法線に対する撮像装置の光軸との角度である補正角度から選択される少なくとも１つであることが好ましい。
【０１８４】
本発明のより具体的な一態様では、幾何学的補正評価部は、（１）輪郭四角形における対向する２辺のなす角度を基に消失点の数#vpを算出し、（２）消失点の位置に基づいて焦点距離ｆ＾を推定し、（３）基準点（例えば画像中心）から２つの消失点への方向のなす角度vpAngleを算出し、（３）消失点の位置と推定された焦点距離ｆ＾とを基に、文書面の法線ベクトルｎＰおよび法線ベクトルｎＰとカメラの光軸とのなす角度correctionAngleを算出する。
【０１８５】
そして、#vp＝２ and (vpAngle＜８０° or vpAngle＞１１０°） and correctionAngle＞θmax を満たす場合に、補正方法Ｈ１を選択する。
【０１８６】
このとき、画像サイズ決定部１９は、焦点距離ｆ＾の所定倍（例えば５）の距離をカメラと文書との距離として、画像面上の輪郭四角形の４頂点および法線ベクトルｎＰを基に上述した数２３に従って文書面の４頂点座標を特定する。そして、画像サイズ決定部１９は、文書面のアスペクト比を推定し、推定したアスペクト比となるように画像サイズを決定する。
【０１８７】
その後、補正処理部２０は、輪郭四角形を画像サイズ決定部１９が決定した画像サイズになうように写像変換すればよい。
【０１８８】
また、本発明の一態様は以下のようにも表現できる。
【０１８９】
本発明の一態様は、撮像装置により撮像された文書画像における幾何学的歪みを補正する方法であって、処理部が上記撮像文書画像を取得するステップと、上記撮像文書画像に対して、水平方向の消失点情報を生成するステップと、上記撮像文書画像に対して、垂直方向の消失点情報を生成するステップと、上記撮像文書画像におけるコーナーを検出するコーナー検出処理を行うステップと、上記コーナー検出処理の結果と上記水平方向の消失点情報と上記垂直方向の消失点情報とを用いて、四角形の輪郭を第１輪郭四角形として検出するステップと、上記第１輪郭四角形に対応する、幾何学的補正の程度を示す第１の複数の評価値を決定するステップと、上記第１の複数の評価値に基づいて、補正用仮定を選択するステップと、選択された補正用仮定を用いて、補正画像のサイズを決定するステップと、選択された補正用仮定が標準状態に対応する仮定ではない場合、選択された補正用仮定を用いて上記撮像文書画像を補正し、補正後文書画像を生成するステップとを含む。
【０１９０】
選択された補正用仮定が標準状態に対応する仮定である場合、上記撮像文書画像を補正しなくてもよい。
【０１９１】
上記水平方向の消失点情報は、水平方向の消失点、または、水平方向の消失点の方向を示す情報である。
【０１９２】
上記垂直方向の消失点情報は、垂直方向の消失点、または、垂直方向の消失点の方向を示す情報である。
【０１９３】
また、本発明の一態様は、別の輪郭領域を取得するステップと、上記別の輪郭領域に対応する、幾何学的補正の程度を示す第２の複数の評価値を決定するステップとをさらに含み、補正用仮定を選択するステップにおいて、上記第２の複数の評価値に基づいて補正用仮定を選択する。
【０１９４】
上記別の輪郭領域は、領域成長方法により生成される。
【０１９５】
補正用仮定を選択するステップは、上記別の輪郭領域と上記第２の複数の評価値とに対応する第１仮定に基づく第１補正処理を実行するステップと、上記第１補正処理が上記第１仮定を却下する場合、上記第１輪郭四角形と上記第１の複数の評価値とに対応する第２仮定に基づく第２補正処理を実行するステップと、上記第１補正処理が上記第１仮定を受け入れる場合、上記第１仮定を上記補正用仮定として選択するステップと、上記第２補正処理が上記第２仮定を却下する場合、標準状態に対応する仮定を上記補正用仮定として選択するステップと、上記第２補正処理が上記第２仮定を受け入れる場合、上記第２仮定を上記補正用仮定として選択するステップとを含む。
【０１９６】
上記水平方向の消失点情報を生成するステップは、上記撮像文書画像においてエッジを検出し、エッジマスクを生成するステップと、上記エッジマスクから複数のライン構造を抽出するステップと、上記複数のライン構造を、水平方向のラインセットにグループ分けするステップと、上記水平方向のラインセットに属する各ラインについて陰関数形式の複数の係数を演算するステップと、上記水平方向のラインセットに対して、水平方向のベースライン量を算出するステップと、上記水平方向のラインセットに属するラインの数が２よりも大きい場合に、上記複数の係数を用いて係数マトリクスを生成するステップと、上記係数マトリクスに特異値分解を適用して、複数の固有ベクトルおよび固有値を決定するステップと、上記複数の固有値のうちの最大値に対する最小値の割合を示す固有値割合を算出するステップと、上記水平方向のベースライン量と水平方向のベースライン閾値とを比較する第１比較処理を行うステップと、上記固有値割合と水平方向の固有値割合に対する閾値とを比較する第２比較処理を行うステップと、上記第１比較処理の結果が広いベースライン量であることを示し、上記第２比較処理の結果が単一点への集中度が良いことを示している場合、上記複数の固有値のうちの最小値に対応する固有ベクトルを用いて水平方向の消失点を算出するステップとを含み、上記水平方向の消失点情報は、上記水平方向の消失点を示す情報である。
【０１９７】
上記第１比較処理の結果が広いベースライン量であることを示していない、もしくは、上記第２比較処理の結果が単一点への集中度が良いことを示していない場合、水平方向の消失点の方向を算出するステップを含み。上記水平方向の消失点情報は、上記水平方向の消失点の方向を示す情報である。
【０１９８】
上記水平方向のラインセットに属するラインの数が２である場合、上記水平方向のラインセットに属する一方のラインである第１ラインの法線と、他方のラインである２ラインの法線とのなす角度を、平行閾値と比較する第３比較処理を行うステップと、上記第１比較処理の結果が小さいベースライン量であることを示している場合、もしくは、上記第３比較処理の結果がほとんど平行であることを示している場合、上記第１ラインの法線と上記第２ラインの法線との平均に垂直な方向を水平方向の消失点の方向と決定するステップとを含み、上記水平方向の消失点情報は、上記水平方向の消失点の方向を示す情報である。
【０１９９】
上記第１比較処理の結果が小さいベースライン量であることを示しておらず、かつ、上記第３比較処理の結果がほとんど平行であることを示していない場合、上記第１ラインと第２ラインとの交点を水平方向の消失点として求めるステップを含み、上記水平方向の消失点情報は、上記水平方向の消失点を示す情報である。
【０２００】
上記水平方向のラインセットに属するラインの数が１である場合、上記水平方向のラインセットに属する第１ラインの法線を決定するステップと、上記第１ラインの法線に垂直な方向を、水平方向の消失点の方向と決定するステップとを含み、上記水平方向の消失点情報は、上記水平方向の消失点の方向を示す情報である。
【０２０１】
上記水平方向のラインセットに属するラインの数が０である場合、基本となる水平方向を、水平方向の消失点の方向として設定し、上記水平方向の消失点情報は、上記水平方向の消失点の方向を示す情報である。
【０２０２】
上記複数のライン構造の中の第１ライン構造は、第１の水平方向の消失点に集中する場合、上記水平方向のラインセットにグループ分けされる。
【０２０３】
上記水平方向のベースライン量を算出するステップは、上記水平方向のラインセットに属する各対のラインについて、当該対の一方の第１ラインと、上記撮像文書画像の中心を通る垂直方向のラインである垂直ラインとの第１交点を決定するステップと、当該対の他方の第２ラインと上記垂直ラインとの第２交点を決定するステップと、上記第１交点と第２交点との距離を算出するステップとを含み、上記水平方向のラインセットに属する全ての対について求められた複数の距離の最大値を上記水平方向のベースライン量として設定するステップを含む。
【０２０４】
上記水平方向のベースライン量がベースライン閾値よりも大きい場合、上記第１比較処理において広いベースライン量である結果が出力される。
【０２０５】
上記固有値割合が上記固有値割合閾値よりも小さい場合に、上記第２比較処理において、単一点への集中度が良いとの結果が出力される。
【０２０６】
上記垂直方向の消失点情報を生成するステップは、上記撮像文書画像においてエッジを検出し、エッジマスクを生成するステップと、上記エッジマスクから複数のライン構造を抽出するステップと、上記複数のライン構造を、垂直方向のラインセットにグループ分けするステップと、上記垂直方向のラインセットに属する各ラインについて陰関数形式の複数の係数を演算するステップと、上記垂直方向のラインセットに対して、垂直方向のベースライン量を算出するステップと、上記垂直方向のラインセットに属するラインの数が２よりも大きい場合に、上記複数の係数を用いて係数マトリクスを生成するステップと、上記係数マトリクスに特異値分解を適用して、複数の固有ベクトルおよび固有値を決定するステップと、上記複数の固有値のうちの最大値に対する最小値の割合を示す固有値割合を算出するステップと、上記垂直方向のベースライン量と垂直方向のベースライン閾値とを比較する第１比較処理を行うステップと、上記固有値割合と垂直方向の固有値割合に対する閾値とを比較する第２比較処理を行うステップと、上記第１比較処理の結果が広いベースライン量であることを示し、上記第２比較処理の結果が単一点への集中度が良いことを示している場合、上記複数の固有値のうちの最小値に対応する固有ベクトルを用いて垂直方向の消失点を算出するステップとを含む。
【０２０７】
上記第１比較処理の結果が広いベースライン量であることを示していない、もしくは、上記第２比較処理の結果が単一点への集中度が良いことを示していない場合、垂直方向の消失点の方向を算出するステップを含み、上記垂直方向の消失点情報は、上記垂直方向の消失点の方向を示す情報である。
【０２０８】
上記垂直方向のラインセットに属するラインの数が２である場合、上記垂直方向のラインセットに属する一方のラインである第１ラインの法線と、他方のラインである２ラインの法線とのなす角度を、平行閾値と比較する第３比較処理を行うステップと、上記第１比較処理の結果が小さいベースライン量であることを示している場合、もしくは、上記第３比較処理の結果がほとんど平行であることを示している場合、上記第１ラインの法線と上記第２ラインの法線との平均に垂直な方向を垂直方向の消失点の方向と決定するステップとを含み、上記垂直方向の消失点情報は、上記垂直方向の消失点の方向を示す情報である。
【０２０９】
上記第１比較処理の結果が小さいベースライン量であることを示しておらず、かつ、上記第３比較処理の結果がほとんど平行であることを示していない場合、上記第１ラインと第２ラインとの交点を垂直方向の消失点として求めるステップを含み、上記垂直方向の消失点情報は、上記垂直方向の消失点を示す情報である。
【０２１０】
上記垂直方向のラインセットに属するラインの数が１である場合、上記垂直方向のラインセットに属する第１ラインの法線を決定するステップと、上記第１ラインの法線に垂直な方向を、垂直方向の消失点の方向と決定するステップとを含み、上記垂直方向の消失点情報は、上記垂直方向の消失点の方向を示す情報である。
【０２１１】
上記垂直方向のラインセットに属するラインの数が０である場合、基本となる垂直方向を、垂直方向の消失点の方向として設定し、上記垂直方向の消失点情報は、上記垂直方向の消失点の方向を示す情報である。
【０２１２】
上記複数のライン構造の中の第１ライン構造は、第１の垂直方向の消失点に集中する場合、上記垂直方向のラインセットにグループ分けされる。
【０２１３】
上記垂直方向のベースライン量を算出するステップは、上記垂直方向のラインセットに属する各対のラインについて、当該対の一方の第１ラインと、上記撮像文書画像の中心を通る水平方向のラインである水平ラインとの第１交点を決定するステップと、当該対の他方の第２ラインと上記水平ラインとの第２交点を決定するステップと、上記第１交点と第２交点との距離を算出するステップとを含み、上記垂直方向のラインセットに属する全ての対について求められた複数の距離の最大値を上記垂直方向のベースライン量として設定するステップを含む。
【０２１４】
上記垂直方向のベースライン量がベースライン閾値よりも大きい場合、上記第１比較処理において広いベースラインである結果が出力される。
【０２１５】
上記固有値割合が上記固有値割合閾値よりも小さい場合に、上記第２比較処理において、単一点への集中度が良いとの結果が出力される。
【０２１６】
上記第１の複数の評価値は、消失点の数、焦点長の信頼度、水平方向の消失点と垂直方向の消失点との角度、補正強度、検出されたコーナーと文書四角形との重なり度、および、補正角度から選択される少なくとも１つである。
【０２１７】
デジタル画像のライン構造を検出する方法であって、デジタル画像に対応するエッジマスクを取得するステップと、上記エッジマスク内のライン構造候補に対して、当該ライン構造候補の長さに対する当該ライン構造候補内の複数のラインギャップの合計の割合を示す占有度を算出するステップと、上記占有度に対応する第１基準を満たす場合に、上記ライン構造候補をライン構造とするステップとを含む。
【符号の説明】
【０２１８】
１ 画像処理装置
１１ 撮像画像取得部
１２ エッジ検出部
１３ 直線構造抽出部
１４ 消失点情報推定部
１５ コーナー検出部
１６ 輪郭決定部
１７ 幾何学的補正評価部
１８ 補正方法決定部
１９ 画像サイズ決定部
２０ 補正処理部
１００ 画像補正処理
１０４ 推定処理
１１０４ 前景除去処理
１１０６ エッジ検出処理
１１０８ テキスト特徴算出処理
１１１２ 不均一性低減処理
１１１６ ２値化処理
１１２８ 着目領域補正処理
５００ 輪郭四角形
６０６ 画像面
６１０ 文書面
ＬＨ 水平方向のライングループ
ＬＶ 垂直方向のライングループ
Ｏ 画像中心（基準点）
【技術分野】
【０００１】
本発明は、撮像手段によって撮像された文書画像（原稿画像）におけるアーチファクト（欠陥）の補正、特に幾何学的歪みの補正のための方法、システムおよび装置に関する。
【背景技術】
【０００２】
従来、撮影対象物を斜め方向から撮像した画像における撮像対象物の幾何学的歪みを補正して、あたかも正面から撮影したような画像を取得する技術が知られている。例えば、特許文献１には、撮影対象物の画像から当該画像の輪郭を取得し、取得した輪郭から画像の形状を求める。そして、求められた画像の形状が適切な四角形であるか否かの判定を行い、適切であると判定された場合に、上記四角形から射影パラメータを求め、求めた射影パラメータを用いて撮影対象物の画像の画像変換を行う。
【先行技術文献】
【特許文献】
【０００３】
【特許文献１】特開２００５−１２２３１９号公報（２００５年５月１２日公開）
【発明の概要】
【発明が解決しようとする課題】
【０００４】
特許文献１に記載の技術では、カメラレンズの焦点距離と撮影対象物の画像の頂点位置とに基づいて撮影対象物の画像の大きさを求め、求めた画像の大きさを射影パラメータに基づいて調整している。すなわち、特許文献１では画像変換を行う際にカメラレンズの焦点距離に関する情報を予め有しておく必要がある。しかしながら、携帯電話やスマートフォン、タブレット情報端末に付属しているカメラで撮像した場合、焦点距離に関する情報の取得が困難であり、特許文献１の技術では適切な画像変換を行うことができない。
【０００５】
本発明は、上記課題を解決するためになされたものであり、カメラレンズの焦点距離に関する情報がなくても、幾何学的歪みの補正を適切に行うことが可能な画像処理装置、画像処理方法、プログラムおよび記録媒体を提供することを目的とする。
【課題を解決するための手段】
【０００６】
本発明の一態様に係る画像処理装置は、撮像装置により撮像された画像に対して幾何学的補正を行う画像処理装置であって、（ａ）撮像装置が矩形状の文書を撮像することにより得られた撮像文書画像を取得する撮像画像取得部と、（ｂ）上記撮像文書画像における水平方向の消失点の位置または水平方向の消失点の方向を示す水平方向消失点情報を生成するとともに、上記撮像文書画像における垂直方向の消失点の位置または垂直水平方向の消失点の方向を示す垂直方向消失点情報を生成する消失点情報生成部と、（ｃ）上記撮像文書画像におけるコーナーを検出するコーナー検出部と、（ｄ）（１）上記水平方向消失点情報が水平方向の消失点の位置を示す場合、当該水平方向の消失点の位置に集まる２つの線分を上辺および下辺とし、上記水平方向消失点情報が水平方向の消失点の方向を示す場合、当該水平方向の消失点の方向に平行な２つの線分を上辺および下辺とし、（２）上記垂直方向消失点情報が垂直方向の消失点の位置を示す場合、当該垂直方向の消失点の位置に集まる２つの線分を左辺および右辺とし、上記垂直方向消失点情報が垂直方向の消失点の方向を示す場合、当該垂直方向の消失点の方向に平行な２つの線分を左辺および右辺とし、（３）上記コーナー検出部により検出されたコーナーを囲む四角形の輪郭を輪郭四角形として決定する輪郭決定部と、（ｅ）上記輪郭四角形の信頼性を示す第１の評価値を算出する幾何学的補正評価部と、（ｆ）上記第１の評価値を基に、上記輪郭四角形に基づいた第１補正方法により幾何学的補正を行うか否かを決定する補正方法決定部と、（ｇ）上記補正方法決定部が第１補正方法による幾何学的補正を行うと決定した場合に、上記輪郭四角形に基づいて、幾何学的補正後の第１画像サイズを決定する画像サイズ決定部と、（ｈ）上記補正方法決定部が第１補正方法による幾何学的補正を行うと決定した場合に、上記輪郭四角形と上記第１画像サイズとに基づいて上記撮像文書画像に対して幾何学的補正を行う補正処理部とを備えている。
【発明の効果】
【０００７】
本発明によれば、カメラレンズの焦点距離に関する情報がなくても、幾何学的歪みの補正を適切に行うことができる。
【図面の簡単な説明】
【０００８】
【図１】本発明の一実施形態に係る画像処理装置の構成を示すブロック図である。
【図２】撮像対象物となるである文書と、当該文書を傾斜した方向から撮像したときの撮像文書画像とを示す図である。
【図３】図１に示す画像処理装置の処理の流れを示すフローチャートである。
【図４】撮像文書画像における水平方向および垂直方向のライングループを用いて消失点情報を生成する処理の流れを示すフローチャートである。
【図５】撮像文書画像から直線構造を抽出する処理を説明する図であり、（ａ）は撮像文書画像の一例を示し、（ｂ）は（ａ）の撮像文書画像から検出されたエッジマスクを示し、（ｃ）は（ｂ）のエッジマスクから抽出された所定長さ以上の直線構造を示し、（ｄ）は（ｃ）の直線構造のうちラインギャップが占める占有率が所定の占有閾値よりも小さい直線構造を示す。
【図６】図５の（ｄ）で示される直線構造に対して水平方向および垂直方向のライングループへのグループ分けを行った結果を示す図である。
【図７Ａ】水平方向の消失点を推定するための前処理の流れを示すフローチャートである。
【図７Ｂ】水平方向のライングループに属する直線構造の数が２よりも多いときの水平方向消失点情報の生成処理の流れを示すフローチャートである。
【図７Ｃ】水平方向のライングループに属する直線構造の数が２であるときの水平方向消失点情報の生成処理の流れを示すフローチャートである。
【図７Ｄ】水平方向のライングループに属する直線構造の数が１以下であるときの水平方向消失点情報の生成処理の流れを示すフローチャートである。
【図８】水平方向のライングループに属する直線構造に対して求められる水平方向のベースライン量を示す図である。
【図９Ａ】垂直方向の消失点を推定するための前処理の流れを示すフローチャートである。
【図９Ｂ】垂直方向のライングループに属する直線構造の数が２よりも多いときの垂直方向消失点情報の生成処理の流れを示すフローチャートである。
【図９Ｃ】垂直方向のライングループに属する直線構造の数が２であるときの垂直方向消失点情報の生成処理の流れを示すフローチャートである。
【図９Ｄ】垂直方向のライングループに属する直線構造の数が１以下であるときの垂直方向消失点情報の生成処理の流れを示すフローチャートである。
【図１０】垂直方向のライングループに属する直線構造に対して求められる垂直方向のベースライン量を示す図である。
【図１１】図１に示すコーナー検出部によるコーナー検出結果の一例を示す図である。
【図１２】図１に示す輪郭決定部により決定された輪郭四角形の一例を示す図である。
【図１３】図１に示す輪郭決定部により決定された輪郭四角形を模式的に示す図である。
【図１４】図１に示す輪郭決定部が領域成長方法による文書着目領域を検出する処理の流れを示すフローチャートである。
【図１５】図１に示す画像サイズ決定部が文書面における文書領域の頂点座標を求める方法を説明する説明図である。
【発明を実施するための形態】
【０００９】
本発明の実施形態は、カメラにより撮像された文書画像（撮像文書画像）における幾何学的歪み（遠近法による歪み）を補正する方法、システムおよび装置に関するものである。
【００１０】
本発明の一態様によれば、水平方向消失点情報、垂直方向消失点情報およびコーナー検出結果から、撮像文書画像における文書の輪郭（境界）となる四角形（輪郭四角形）が特定される。次に、特定された輪郭四角形に対応する幾何学的補正の方法を決定するために、幾何学的補正の評価を示す複数の評価値を求める。撮像文書画像の幾何学的補正の方法は、検出された輪郭四角形に対応する補正方法（修正方法）、および、１以上の別の補正方法（修正方法）の中から選択される。
【００１１】
本発明の別の一態様によれば、水平方向消失点情報は、水平方向のラインを用いて推定される。水平方向消失点情報は、水平方向の消失点または水平方向の消失点の方向である。
【００１２】
また、本発明の別の一態様によれば、垂直方向消失点情報は、垂直方向のラインを用いて推定される。垂直方向消失点情報は、垂直方向の消失点または垂直方向の消失点の方向である。
【００１３】
また、本発明の別の一態様によれば、コーナー検出は、注目する四角形領域の境界を特定するために使用される。
【００１４】
また、本発明の別の一態様によれば、撮像文書画像に対する幾何学的補正のための補正方法（修正方法）の選択は、階層的（hierarchically）に実行される。
【００１５】
本発明の前述および他の目的、特徴、効果は、図面とともに以下の説明を考慮することで容易に理解されるであろう。
【００１６】
本発明の一実施形態は、図面を参照することによってより理解されるであろう。図面では、類似する部材には、類似する番号が付けられている。上述した図面は、詳細な説明の一部として特別に援用される。
【００１７】
図面において図示され、説明されるように、本発明の実施形態は、異なる構成の幅広い変形例で変更または設定されてもよいことが十分に理解されるであろう。このように、本発明の方法およびシステムに係る実施形態の以下の詳細な説明は、本発明の目的を限定するものではなく、単に、本発明の好ましい一実施形態を代表するものにすぎない。
【００１８】
本発明の実施形態の構成は、ハードウェアによって実現されてもよいし、コンピュータシステムをプログラムするために使用され、各種の命令が格納されたコンピュータ読取可能な記録媒体を含む、ファームウェアおよび／または非一時的なコンピュータプログラムの製品によって実現されてもよい。ここで述べる実施形態は単にこれらの形態の一例にすぎず、当業者であれば、本発明の目的の範囲内で、様々な形態の構成を導き出してもよい。
【００１９】
図面に示すチャートやグラフは特定の実行順序を示すものであるが、これらの実行順序は、図面に示したものと異なっていてもよい。例えば、ブロックの実行順序は、図示された順序から相互に入れ替えてもよい。また、図において順に示された２つ以上のブロックを、同時に、または部分的に同時に実行してもよい。当業者によれば、コンピュータシステム、ハードウェア、および／またはファームウェアをプログラムするために使用される指令が格納されたコンピュータ読取可能な記録媒体を含む非一時的なコンピュータプログラム製品が、ここで述べた様々な論理的機能を実行するために当業者によって作り出すことができる。
【００２０】
カメラ等の撮像手段により撮像された文書画像（撮像文書画像）が幾何学的歪みのない状態か否かの評価は、撮像手段の理想的ではない位置を補正するために必要とされる。カメラの光学を通して撮像画像面上に撮像対象物（文書）が遠近投影されるために生じる幾何学的歪みを最小限にするためには、カメラの撮像面は理想的には文書の面に平行であることが望ましい。カメラが文書に対して傾いていると、カメラから遠く離れた文書面中の文字は、カメラに近い文字と比べて小さくなる。文字の形状が不均一になると、ＯＣＲ（Optical Character Recognition）アルゴリズムなどの文書処理アルゴリズムの精度を低下させることになる。また、人が読むときにも好ましくない。また、撮像文書画像全体の乱雑さにより、撮像文書画像の中から検知されたパターンに対してノイズや何らかの構造が付加されることとなり、これにより正確な状態評価が困難となる。さらに、撮像パラメータが既知ではないために、正確な状態評価を行うことも困難である。このように、撮像文書画像の状態評価を精度よく行う方法、システムおよび装置が望まれている。さらに、撮像文書画像における歪みを状態評価を用いて補正することが望まれている。理想的ではないカメラの位置によって生じる画像の歪みを補正する処理は、幾何学的補正（geometric rectification）という。
【００２１】
本発明の実施形態は、カメラにより撮像された文書画像（撮像文書画像）における歪みを補正する方法、システムおよび装置を有する。
【００２２】
図１は、本実施形態に係る画像処理装置の構成を示すブロック図である。図１に示されるように画像処理装置１は、撮像画像取得部１１、エッジ検出部１２、直線構造抽出部１３、消失点情報推定部１４、コーナー検出部１５、輪郭決定部１６、幾何学的補正評価部１７、補正方法決定部１８、画像サイズ決定部１９、および、補正処理部２０とを備えている。
【００２３】
撮像画像取得部１１は、カメラなどの撮像装置から、当該撮像装置により文書を撮像対象物として撮像された撮像文書画像のデータを取得するものである。
【００２４】
ここで、撮像対象物となる文書とは、矩形の用紙に文字等が印刷された印刷物に限らず、標識、ホワイトボード、黒板、ポスター、投影されたスライド、あるいはその他の文書を表示する物なども含まれる。このような撮像対象物である文書は、矩形の面（文書面）に文字等が示されたものである。図２に示されるように、このような文書は、文書面の法線方向（正面）から見れば矩形であるが、文書面の法線に対して傾斜した方向から見ると歪んだ四角形となる。なお、図２の（ａ）は、正面からみたときの文書を示し、図２の（ｂ）は、文書面の法線に対して傾斜した方向から撮像した撮像文書画像を示している。
【００２５】
エッジ検出部１２は、撮像画像取得部１１により取得された撮像文書画像に対して、エッジ画素を検出する処理を行い、各画素がエッジであるか否かを示すエッジマスクを生成する。エッジマスクとは、例えばエッジ画素の画素値が「１」に設定され、非エッジ画素の画素値が「０」に設定された画像データである。
【００２６】
直線構造抽出部１３は、エッジ検出部１２により生成されたエッジマスクを用いて、文書領域と背景領域との境界となる文書領域の輪郭、文書内部の各領域の輪郭、図式の枠（フレーム）、画像の枠（フレーム）、文字の直線部分、罫線などの直線構造を抽出する処理を行う。
【００２７】
直線構造抽出部１３は、例えばハフ変換をエッジマスクに適用することで直線構造を抽出する。ハフ変換は、線が途切れるなど不連続であっても、比較的安定して直線を検出できる方法である。
【００２８】
なお、本実施形態では、直線構造抽出部１３は、所定閾値以上の長さを有するとともに、ラインギャップの割合が所定閾値未満である（もしくは、ラインギャップの数が所定閾値未満である）直線構造のみを抽出する。ここで、ラインギャップとは、線が途切れるなど不連続な部分を意味する。
【００２９】
また、直線構造抽出部１３は、抽出した直線構造を、水平方向のライングループと、垂直方向のライングループとの何れかにグループ分けする。
【００３０】
消失点情報推定部１４は、撮像文書画像における消失点の位置（座標）または消失点の方向を推定するブロックである。ここで消失点とは、遠近法のために実際には平行線になっているものが撮像画像において平行ではないときに、その線が交わる点のことである。消失点情報推定部１４は、直線構造抽出部１３により抽出された水平方向のライングループに属する直線構造を基に、水平方向の消失点の位置、または、水平方向の消失点の方向を求める。同様に、消失点情報推定部１４は、直線構造抽出部１３により抽出された垂直方向のライングループに属する直線構造を基に、垂直方向の消失点の位置、または、垂直方向の消失点の方向を求める。消失点情報推定部１４は、求めた消失点の位置または消失点の方向を示す消失点情報を生成する。
【００３１】
コーナー検出部１５は、撮像文書画像の中からコーナーを検出する。コーナーの検出方法としては様々な公知の方法を用いることができ、例えばＳｈｉ−Ｔｏｍａｓｉ法を用いればよい。
【００３２】
輪郭決定部１６は、撮像文書画像において、文書領域の輪郭となる四角形（輪郭四角形）を決定する。本実施形態では、輪郭決定部１６は、コーナー検出部１５による検出結果と消失点情報とに基づいて輪郭四角形を決定する。
【００３３】
図２の（ｂ）に示されるように、実際には矩形である文書の輪郭は、遠近法により撮像文書画像において歪んだ四角形になる場合がある。この場合、文書の輪郭となる四角形の上辺および下辺は水平方向の消失点に集まり、左辺および右辺は垂直方向の消失点に集まる。そのため、消失点情報が消失点の位置を示す場合、輪郭決定部１６は、当該消失点の位置に集まるように、輪郭四角形の各辺を決定する。また、消失点情報が消失点の方向を示す場合、輪郭決定部１６は、当該消失点の方向に平行になるように、輪郭四角形の各辺を決定する。
【００３４】
また、コーナー検出部１５により検出されるコーナーは、文書の中の文字領域で多くなる。そのため、輪郭決定部１６は、コーナー検出部１５により検出されたコーナーを囲むように輪郭四角形を決定する。
【００３５】
また、輪郭決定部１６は、領域成長方法に基づいて撮像文書画像における文書着目領域も検出する。
【００３６】
幾何学的補正評価部１７は、輪郭決定部１６により決定された輪郭四角形、消失点情報で示される消失点の位置または方向に対する各種の評価値を算出する。本実施形態では、幾何学的補正評価部１７は、文書面の法線ベクトルｎｐや焦点距離ｆ＾などを算出する。さらに、幾何学的補正評価部１７は、領域成長方法に基づいて検出された文書着目領域に対する各種の評価値も算出する。
【００３７】
補正方法決定部１８は、幾何学的補正評価部１７により算出された評価値を基に、幾何学的補正の方法を決定する。具体的には、補正方法決定部１８は、輪郭決定部１６により決定された輪郭四角形と消失点情報推定部により生成された消失点情報とに基づいた補正方法、文書着目領域に基づいた補正方法などから一つの補正方法を選択する。
【００３８】
画像サイズ決定部１９は、文書面の法線ベクトルｎｐや焦点距離ｆ＾などを基に、文書面のアスペクト比を推定し、幾何学的補正後の画像サイズを決定する。
【００３９】
補正処理部２０は、補正方法決定部１８により決定された補正方法に従って、撮像文書画像に対して幾何学的補正を行う。
【００４０】
本実施形態の画像処理装置１における処理例を図３を参照しながら説明する。図３は、画像処理装置１における画像補正処理１００を示すフローチャートである。なお、図３に示す処理の順序に限定されるものではない。また、この方法やこの方法の変形例を実行する際、図３に示すいくつかの処理を結合して行ってもよい。
【００４１】
まず、撮像画像取得部１１は、撮像文書画像を取得する（１０２）。取得した撮像文書画像は複数の画素からなり、各画素は対応する値を有している。次に、取得した撮像文書画像を用いて、当該撮像文書画像における消失点が推定される（１０４）。
【００４２】
消失点の推定処理１０４は、図４を参照することで理解されるであろう。図４は、消失点の推定処理の一例を示す図である。なお、図４に示す処理の順序に限定されるものではない。また、この方法やこの方法の変形例を実行する際、図４に示すいくつかの処理を結合して行ってもよい。
【００４３】
エッジ検出部１２は、例えばＣａｎｎｙエッジ検出法や、弱いコントラスト領域でも直線構造を検出できるような他のエッジ検出方法を用いて、取得した撮像文書画像のエッジ検出処理２００を実行する。そして、エッジ検出部１２は、画素毎にエッジ画素か否かを示す画像データであるエッジマスクを生成する。なお、エッジ検出部１２は、勾配を基にエッジを検出する方法（例えば、Ｓｏｂｅｌエッジ検出方法、ラプラスエッジ検出方法、Ｓｃｈａｒｒエッジ検出方法など）を用いて、取得した撮像文書画像のエッジ検出処理２００を実行してもよい。
【００４４】
エッジ検出部１２によるエッジ検出結果から、直線構造抽出部１３は、消失点を推定するために重要となる直線構造を抽出する（２０２）。直線構造は、例えば、文書の輪郭（文書と背景の境界）、文書内部の領域の輪郭、図式の枠（フレーム）、画像の枠（フレーム）、文字の直線部分、段落間に引く線、罫線などから抽出される。本実施形態では、直線構造抽出部１３は、エッジ検出部１２により生成されたエッジマスクに、ライン連結処理（line linking）を有するハフ変換を適用することで、直線構造を抽出する。ここでは、直線構造抽出部１３は、確率的ハフ変換により、断片化された線セグメント（ラインセグメント）を検出する。そして、直線構造抽出部１３は、断片化された線セグメント（ラインセグメント）同士が所定閾値未満の距離だけ離れている場合、当該線セグメント同士を連結して直線構造を特定する。このとき、直線構造抽出部１３は、所定閾値より短い長さの線セグメントを連結対象から外してもよい。
【００４５】
次に、本実施形態では、直線構造抽出部１３は、各直線構造に対して、ラインギャップの合計長さ（「length of line gaps」）とライン長さ（「length of line」）との比率である占有率Ｌｆｒａｇｍｅｎｔａｔｉｏｎを以下の式に従って算出する。ここで、ラインギャップは、直線構造における線セグメント間の連結部分（線が途切れるなど不連続な部分）である。
【００４６】
【数１】
【００４７】
そして、直線構造抽出部１３は、以下の条件を満たす直線構造のみを出力対象として受け入れ、以下の条件を満たさない直線構造を出力対象から除外する。すなわち、占有率Ｌｆｒａｇｍｅｎｔａｔｉｏｎが所定の占有閾値Ｔｆｒａｇｍｅｎｔａｔｉｏｎに対する基準を満たし、ライン長さＬｌｅｎｇｔｈが所定のライン閾値Ｔｌｅｎｇｔｈに対する基準を満たす場合、例えば、以下の数式を満たす場合である。
Ｌｆｒａｇｍｅｎｔａｔｉｏｎ＜Ｔｆｒａｇｍｅｎｔａｔｉｏｎ かつ Ｌｌｅｎｇｔｈ≧Ｔｌｅｎｇｔｈ
ここで、閾値の具体的な数値としては、例えば、Ｔｆｒａｇｍｅｎｔａｔｉｏｎ＝０．３、Ｌｌｅｎｇｔｈ＝２５である。
【００４８】
もしくは、直線構造におけるラインギャップの数であるギャップ数Ｌｎｕｍｇａｐｓを求め、当該ギャップ数Ｌｎｕｍｇａｐｓが所定のギャップカウント閾値Ｔｎｕｍｇａｐｓに対する所定の基準、例えば
Ｌｎｕｍｇａｐｓ＞Ｔｎｕｍｇａｐｓ
を満たす場合に、直線構造を出力対象から除外してもよい。ギャップカウント閾値Ｔｎｕｍｇａｐｓは例えば３である。
【００４９】
また、直線構造抽出部１３は、各直線構造に対して線分の断片度（line fragmentation）を算出してもよい。そして、断片度が大きい直線構造は、消失点を推定するときの信頼性が低いものとして出力対象から除外される。例えば、断片度は、距離変換をエッジマスクに適用することにより算出される。距離変換されたエッジマスクの画素値は、距離基準に従った、最近接エッジ画素との距離を示す値である。検出された直線構造における断片度は、距離変換されたエッジマスクにおいて当該直線構造を構成する画素の画素値の合計値である。断片度は、線分が断片化された直線構造の方が、切れ目なしに連続している直線構造よりも大きくなる。
【００５０】
図５は、撮像文書画像から出力対象となる直線構造が抽出される様子を示す図である。図５の（ａ）は撮像文書画像の一例を示している。図５の（ｂ）は、エッジ検出部１２が（ａ）の撮像文書画像に対してエッジ検出を行うことで生成されたエッジマスクを示している。図５の（ｃ）は、（ｂ）のエッジマスクから直線構造抽出部１３により抽出された直線構造のうち、Ｌｌｅｎｇｔｈ≧Ｔｌｅｎｇｔｈ を満たす直線構造を示している。図５の（ｄ）は、（ｃ）の直線構造のうち、Ｌｆｒａｇｍｅｎｔａｔｉｏｎ＜Ｔｆｒａｇｍｅｎｔａｔｉｏｎ を満たし、出力対象として抽出された直線構造を示している。
【００５１】
次に、直線構造抽出部１３は、出力対象として抽出した直線構造のグループ分けを行う（２０４）。ここでは、水平方向のライングループである水平方向ラインセットと、垂直方向のライングループである垂直方向のラインセットとにグループ分けされる。水平方向のライングループは、水平方向の消失点が存在する場合、当該消失点に集まる直線構造の全てを含む。垂直方向のライングループは、垂直方向の消失点が存在する場合、当該消失点に集まる直線構造の全てを含む。
【００５２】
水平方向のライングループＬＨは、出力対象として抽出された直線構造Ｌｓｉｇのうち、以下の式を満たす全ての直線構造Ｌｉからなるセットである。
【００５３】
【数２】
【００５４】
垂直方向のライングループＬＶは、出力対象として抽出された直線構造Ｌｓｉｇのうち、以下の式を満たす全ての直線構造Ｌｉからなるセットである。
【００５５】
【数３】
【００５６】
図６は、図５の（ｄ）に示される直線構造を水平方向のライングループＬＨと垂直方向のライングループＬＶとにグループ分けされたときを示す図である。
【００５７】
消失点情報推定部１４は、ライングループＬＨおよびＬＶを用いて、水平方向消失点情報を推定し（２０６）、垂直方向消失点情報を推定する（２０８）。水平方向消失点情報は、水平方向の消失点の位置または水平方向の消失点の方向を示し、垂直方向消失点情報は、垂直方向の消失点の位置または垂直方向の消失点の方向を示す。文書面の法線方向に対して傾斜した状態で撮像された撮像文書画像では、遠近法による投影により、実際には平行な直線が消失点を集まることとなる。光学的歪みや直線構造抽出部１３における直線構造の抽出精度のため、平行な直線は、常に単一の点に集まるわけではなく、場合によっては異なる状態になるときがある。なお、本実施形態では、水平方向の消失点の位置または水平方向の消失点の方向が最初に推定され、それから垂直方向の消失点の位置または垂直方向の消失点の方向が推定される。
【００５８】
水平方向のライングループに対する消失点の推定は、図７Ａ〜図７Ｄを参照することにより理解されるであろう。図７Ａ〜図７Ｄは、水平方向のライングループを用いた水平方向の消失点の推定方法の一例を示す図である。なお、図７Ａ〜図７Ｄに示す処理の順序に限定されるものではない。また、この方法やこの方法の変形例を実行する際、図７Ａ〜図７Ｄに示すいくつかの処理を結合して行ってもよい。
【００５９】
水平方向のライングループＬＨに属する各直線構造について、消失点情報推定部１４は、陰関数表示の係数 ａｘ＋ｂｙ＋ｃ＝０ を求める（３００）。次に、水平方向のライングループＬＨに対して、消失点情報推定部１４は、水平方向のベースライン量baselineＨを求める（３０２）。水平方向のライングループＬＨに対する水平方向のベースライン量baselineＨは、以下の式に従って決定される。
【００６０】
【数４】
【００６１】
上記の式において、di,jは、水平方向のライングループＬＨの第１ラインＬｉと撮像文書画像の中央を通る垂直方向のラインＶとの交点と、水平方向のライングループＬＨの第２ラインＬｊと撮像文書画像の中央を通る垂直方向のラインＶとの交点との距離を示している。
【００６２】
図８は、図６の水平方向のライングループＬＨに対して求められた水平方向のベースライン量baselineＨの一例を示す図である。
【００６３】
消失点情報推定部１４は、水平方向のライングループＬＨに属する直線構造の数が２より多いか確認する（３０４）。水平方向のライングループＬＨに２より多い直線構造が存在する場合（３０６）、消失点情報推定部１４は、係数行列Ｌを生成する（３０８）。係数行列Ｌは、Ｎ個のベクトルＬｉ＝［ａｉｂｉｃｉ］（ｉ＝１，２，・・・、Ｎ） を連結させることにより生成される。ここで、Ｎは、水平方向のライングループＬＨに属する直線構造の数であり、ａｉ，ｂｉ，ｃｉは、水平方向のライングループＬＨのｉ番目の直線構造の陰関数形式の係数を示す。次に、消失点情報推定部１４は、係数行列Ｌに対して特異値分解（ＳＶＤ：singular value decomposition）を行う（３１０）。対応する固有ベクトルおよび固有値のセット｛｛ｖ１，λ１｝，｛ｖ２，λ２｝，｛ｖ３，λ３｝｝ （λ１＞λ２＞λ３）が、特異値分解により得られる。そして、消失点情報推定部１４は、最大の固有値λ１に対する最小の固有値λ３の割合である固有値割合（eigen-ratio）Λを以下の式
Λ＝λ３／λ１
に従って算出する（３１２）。
【００６４】
固有値割合Λは、水平方向のライングループに属する直線構造における単一の消失点への集合度を評価している。大きな固有値割合Λを有する水平方向のライングループは、２つの直線構造の交点がはっきりと変化するグループに対応している。一方、小さい固有値割合Λを有する水平方向のライングループは、直線構造がほぼ同じ点で交わるようなグループに対応している。
【００６５】
消失点情報推定部１４は、水平方向のライングループに対するベースライン量と水平方向のベースライン閾値ＴＨｂａｓｅｌｉｎｅとを比較するとともに、固有値割合と水平方向に対する所定の固有値割合閾値ＴＨｅｉｇｅｎｒａｔｉｏと比較する（図７Ｂの３１４）。水平方向のベースライン量が大きく（広く）、かつ、固有値割合で示される単一点への集中度が高いことを示す条件が満たされた場合（３１６）、消失点情報推定部１４は、最小の固有値に対応する固有ベクトルを用いて水平方向の消失点の位置（座標）を求める（３１８）。本実施形態では、水平方向のベースライン量が大きく、かつ、固有値割合で示される単一点への集中度が高いことを示す条件は、
（baselineＨ＞ＴＨｂａｓｅｌｉｎｅ）＆（Λ＜ＴＨｅｉｇｅｎｒａｔｉｏ）
で示される。ここで、「＆」は、論理演算子「ＡＮＤ」を意味する。各閾値は、例えば、ＴＨｂａｓｅｌｉｎｅ＝ｉｍｇＨ／２
ＴＨｅｉｇｅｎｒａｔｉｏ＝0.0005
である。なお、ｉｍｇＨは、水平方向の画像寸法を示している。
【００６６】
水平方向のベースライン量が大きく、かつ、固有値割合で示される単一点への集中度が高いことを示す条件が満たされた場合（３１６）、消失点情報推定部１４は、水平方向の消失点の位置を以下の式に従って算出する（３１８）。
【００６７】
【数５】
【００６８】
ここで、ν３（１）、ν３（２）、ν３（３）は、それぞれ、
固有ベクトルｖ３＝［ν３（１） ν３（２） ν３（３）］
の第１要素、第２要素、第３要素である。消失点情報推定部１４は、算出した水平方向の消失点の位置を示す水平方向消失点情報を生成し、出力する（３２０）。
【００６９】
水平方向のベースライン量が大きく、かつ、固有値割合で示される単一点への集中度が高いことを示す条件が満たされない場合（３２２）、消失点情報推定部１４は、水平方向のライングループＬＨに属する直線構造の法線の平均を求める（３２４）。Ｎ個の法線の平均は、以下の式に従って決定される。
【００７０】
【数６】
【００７１】
そして、消失点情報推定部１４は、法線の平均に垂直な方向を水平方向の消失点の方向として決定する（３２６）。消失点情報推定部１４は、決定した水平方向の消失点の方向を示す水平方向消失点情報を生成し、出力する（３２８）。
【００７２】
水平方向のライングループＬＨに２より多い直線構造が存在しない場合（３３０）、消失点情報推定部１４は、水平方向のライングループに属する直線構造がちょうど２つ存在するか否か確認する（３３２）。水平方向のライングループに属する直線構造がちょうど２つ存在する場合（３３４）、消失点情報推定部１４は、水平方向のライングループに対するベースライン量と水平方向のベースライン閾値ＴＨｂａｓｅｌｉｎｅとを比較するとともに、２つの直線構造がどの程度平行であるかを示す平行度と平行度閾値ＴＨｐａｒａｌｌｅｌとを比較する（図７Ｃの３３６）。水平方向のベースライン量が小さい（狭い）、または、２つの直線構造がほぼ平行であることを示す条件を満たす場合（３４４）、消失点情報推定部１４は、水平方向のライングループに属する２つの直線構造の平均に垂直な方向を、水平方向の消失点の方向として決定する（３４６）。本実施形態では、２つの直線構造がどの程度平行であるかを示す平行度は、これら直線構造の法線間の角度を決定することにより求められる。本実施形態では、水平方向のベースライン量が小さい（狭い）、または、２つの直線構造がほぼ平行であることを示す条件は、
（baselineＨ＜ＴＨｂａｓｅｌｉｎｅ）｜（angle＜ＴＨｐａｒａｌｌｅｌ）
で示される。ここで、「｜」は、論理演算子の「ＯＲ」を意味している。また、angleは、２つの直線構造の法線間の角度である。各閾値は、例えば、
ＴＨｂａｓｅｌｉｎｅ＝ｉｍｇＨ／２
ＴＨｐａｒａｌｌｅｌ＝１°
である。ここで、ｉｍｇＨは、水平方向の画像寸法である。そして、消失点情報推定部１４は、決定した水平方向の消失点の方向を示す水平方向消失点情報を生成し、出力する（３４８）。
【００７３】
水平方向のベースライン量が大きく、かつ、２つの直線構造がほぼ平行ではない場合（３３８）、消失点情報推定部１４は、水平方向のライングループに属する２つの直線構造の交点を水平方向の消失点として決定する（３４０）。そして、消失点情報推定部１４は、決定した水平方向の消失点の位置を示す水平方向消失点情報を生成し、出力する（３４２）。
【００７４】
水平方向のライングループに属する直線構造が２つ存在しない場合（図７Ａの３５０）、消失点情報推定部１４は、水平方向のライングループに属する直線構造の数がちょうど１つであるか確認する（図７Ｄの３５２）。水平方向のライングループにちょうど１つの直線構造が存在する場合（３５４）、消失点情報推定部１４は、その直線構造の法線に垂直な方向を水平方向の消失点の方向として決定し（３５６）、決定した水平方向の消失点の方向を示す水平方向消失点情報を出力する（３５８）。水平方向のライングループにちょうど１つの直線構造が存在しない場合（３６０）、消失点情報推定部１４は、水平方向の消失点の方向として、基本的な水平方向を水平方向の消失点の方向として決定し、決定した水平方向の消失点の方向を示す水平方向消失点情報を出力する（３６２）。
【００７５】
垂直方向のライングループに対する消失点の推定は、図９Ａ〜図９Ｄを参照することにより理解されるであろう。図９Ａ〜図９Ｄは、垂直方向のライングループを用いた垂直方向の消失点の推定方法の一例を示す図である。なお、図９Ａ〜図９Ｄに示す処理の順序に限定されるものではない。また、この方法やこの方法の変形例を実行する際、図９Ａ〜図９Ｄに示すいくつかの処理を結合して行ってもよい。
【００７６】
垂直方向のライングループＬＶに属する各直線構造について、消失点情報推定部１４は、陰関数表示の係数 ａｘ＋ｂｙ＋ｃ＝０ を求める（４００）。次に、垂直方向のライングループＬＶに対して、消失点情報推定部１４は、垂直方向のベースライン量baselineＶを求める（４０２）。垂直方向のライングループＬＶに対する垂直方向のベースライン量baselineＶは、以下の式に従って決定される。
【００７７】
【数７】
【００７８】
上記の式において、di,jは、垂直方向のライングループＬＶの第１ラインＬｉと撮像文書画像の中央を通る水平方向のラインＨとの交点と、垂直方向のライングループＬＶの第２ラインＬｊと撮像文書画像の中央を通る水平方向のラインＨとの交点との距離を示している。
【００７９】
図１０は、図６の垂直方向のライングループＬＶに対して求められた垂直方向のベースライン量baselineＶの一例を示す図である。
【００８０】
消失点情報推定部１４は、垂直方向のライングループＬＶに属する直線構造の数が２より多いか確認する（４０４）。垂直方向のライングループＬＶに２より多い直線構造が存在する場合（４０６）、消失点情報推定部１４は、係数行列Ｌを生成する（４０８）。係数行列Ｌは、Ｎ個のベクトルＬｉ＝［ａｉｂｉｃｉ］（ｉ＝１，２，・・・、Ｎ） を連結させることにより生成される。ここで、Ｎは、垂直方向のライングループＬＶに属する直線構造の数であり、ａｉ，ｂｉ，ｃｉは、垂直方向のライングループＬＶのｉ番目の直線構造の陰関数形式の係数を示す。次に、消失点情報推定部１４は、係数行列Ｌに対して特異値分解（ＳＶＤ：singular value decomposition）を行う（４１０）。対応する固有ベクトルおよび固有値のセット｛｛ｖ１，λ１｝，｛ｖ２，λ２｝，｛ｖ３，λ３｝｝ （λ１＞λ２＞λ３）が、特異値分解により得られる。そして、消失点情報推定部１４は、最大の固有値λ１に対する最小の固有値λ３の割合である固有値割合（eigen-ratio）Λを以下の式
Λ＝λ３／λ１
に従って算出する（４１２）。
【００８１】
固有値割合Λは、垂直方向のライングループに属する直線構造における単一の消失点への集合度を評価している。大きな固有値割合Λを有する垂直方向のライングループは、２つの直線構造の交点がはっきりと変化するグループに対応している。一方、小さい固有値割合Λを有する垂直方向のライングループは、直線構造がほぼ同じ点で交わるようなグループに対応している。
【００８２】
消失点情報推定部１４は、垂直方向のライングループに対するベースライン量と垂直方向のベースライン閾値ＴＶｂａｓｅｌｉｎｅとを比較するとともに、固有値割合と垂直方向に対する所定の固有値割合閾値ＴＶｅｉｇｅｎｒａｔｉｏと比較する（図９Ｂの４１４）。垂直方向のベースライン量が大きく（広く）、かつ、固有値割合で示される単一点への集中度が高いことを示す条件が満たされた場合（４１６）、消失点情報推定部１４は、最小の固有値に対応する固有ベクトルを用いて垂直方向の消失点の位置（座標）を求める（４１８）。本実施形態では、垂直方向のベースライン量が大きく、かつ、固有値割合で示される単一点への集中度が高いことを示す条件は、
（baselineＶ＞ＴＶｂａｓｅｌｉｎｅ）＆（Λ＜ＴＶｅｉｇｅｎｒａｔｉｏ）
で示される。ここで、「＆」は、論理演算子「ＡＮＤ」を意味する。各閾値は、例えば、ＴＶｂａｓｅｌｉｎｅ＝ｉｍｇＶ／２
ＴＶｅｉｇｅｎｒａｔｉｏ＝0.0005
である。なお、ｉｍｇＶは、垂直方向の画像寸法を示している。
【００８３】
垂直方向のベースライン量が大きく、かつ、固有値割合で示される単一点への集中度が高いことを示す条件が満たされた場合（４１６）、消失点情報推定部１４は、垂直方向の消失点の位置を以下の式に従って算出する（４１８）。
【００８４】
【数８】
【００８５】
ここで、ν３（１）、ν３（２）、ν３（３）は、それぞれ、
固有ベクトルｖ３＝［ν３（１） ν３（２） ν３（３）］
の第１要素、第２要素、第３要素である。消失点情報推定部１４は、算出した垂直方向の消失点の位置を示す垂直方向消失点情報を生成し、出力する（４２０）。
【００８６】
垂直方向のベースライン量が大きく、かつ、固有値割合で示される単一点への集中度が高いことを示す条件が満たされない場合（４２２）、消失点情報推定部１４は、垂直方向のライングループＬＶに属する直線構造の法線の平均を求める（４２４）。Ｎ個の法線の平均は、以下の式に従って決定される。
【００８７】
【数９】
【００８８】
そして、消失点情報推定部１４は、法線の平均に垂直な方向を垂直方向の消失点の方向として決定する（４２６）。消失点情報推定部１４は、決定した垂直方向の消失点の方向を示す垂直方向消失点情報を生成し、出力する（４２８）。
【００８９】
垂直方向のライングループＬＶに２より多い直線構造が存在しない場合（４３０）、消失点情報推定部１４は、垂直方向のライングループに属する直線構造がちょうど２つ存在するか否か確認する（４３２）。垂直方向のライングループに属する直線構造がちょうど２つ存在する場合（４３４）、消失点情報推定部１４は、垂直方向のライングループに対するベースライン量と垂直方向のベースライン閾値ＴＶｂａｓｅｌｉｎｅとを比較するとともに、２つの直線構造がどの程度平行であるかを示す平行度と平行度閾値ＴＶｐａｒａｌｌｅｌとを比較する（図９Ｃの４３６）。垂直方向のベースライン量が小さい（狭い）、または、２つの直線構造がほぼ平行であることを示す条件を満たす場合（４４４）、消失点情報推定部１４は、垂直方向のライングループに属する２つの直線構造の平均に垂直な方向を、垂直方向の消失点の方向として決定する（４４６）。本実施形態では、２つの直線構造がどの程度平行であるかを示す平行度は、これら直線構造の法線間の角度を決定することにより求められる。本実施形態では、垂直方向のベースライン量が小さい（狭い）、または、２つの直線構造がほぼ平行であることを示す条件は、
（baselineＶ＜ＴＶｂａｓｅｌｉｎｅ）｜（angle＜ＴＶｐａｒａｌｌｅｌ）
で示される。ここで、「｜」は、論理演算子の「ＯＲ」を意味している。また、angleは、２つの直線構造の法線間の角度である。各閾値は、例えば、
ＴＶｂａｓｅｌｉｎｅ＝ｉｍｇＶ／２
ＴＶｐａｒａｌｌｅｌ＝１°
である。ここで、ｉｍｇＶは、垂直方向の画像寸法である。そして、消失点情報推定部１４は、決定した垂直方向の消失点の方向を示す垂直方向消失点情報を生成し、出力する（４４８）。
【００９０】
垂直方向のベースライン量が大きく、かつ、２つの直線構造がほぼ平行ではない場合（４３８）、消失点情報推定部１４は、垂直方向のライングループに属する２つの直線構造の交点を垂直方向の消失点として決定する（４４０）。そして、消失点情報推定部１４は、決定した垂直方向の消失点の位置を示す垂直方向消失点情報を生成し、出力する（４４２）。
【００９１】
垂直方向のライングループに属する直線構造が２つ存在しない場合（図９Ａの４５０）、消失点情報推定部１４は、垂直方向のライングループに属する直線構造の数がちょうど１つであるか確認する（図９Ｄの４５２）。垂直方向のライングループにちょうど１つの直線構造が存在する場合（４５４）、消失点情報推定部１４は、その直線構造の法線に垂直な方向を垂直方向の消失点の方向として決定し（４５６）、決定した垂直方向の消失点の方向を示す垂直方向消失点情報を出力する（４５８）。垂直方向のライングループにちょうど１つの直線構造が存在しない場合（４６０）、消失点情報推定部１４は、水平方向の消失点の方向に直交する方向を垂直方向の消失点の方向として決定し、垂直方向消失点情報を出力する（４６２）。
【００９２】
図１に戻って、次に、コーナー検出部１５がコーナー検出処理を行う（１０６）。コーナー検出処理は、文書領域の範囲を決定し、背景のノイズから文書領域を分離するために行われる。コーナー検出部１５は、線の交点に対して検出反応がよく、線の交点をコーナーとして検出しやすい。そのため、テキスト領域内では検出されるコーナーが高密度であり、非テキスト領域では検出密度が低い。検出されたコーナーの密度が高い領域は、文書としてよりよい候補領域となる。本実施形態では、コーナー検出部１５は、Ｓｈｉ−Ｔｏｍａｓｉ法を用いてコーナー検出処理を実行する。Ｓｈｉ−Ｔｏｍａｓｉ法については、「Jianbo Shi and Carlo Tomasi, “Good Features to Track”, the 9th IEEE Conference on Computer Vision and Pattern Recognition, June 1994」に記載されている。この文献は、本願において完全に参照により引用される。なお、コーナー検出の方法としては、他の公知の方法を用いてもよい。本実施形態では、コーナー検出部１５は、コーナー点のリストと、コーナーマスクＣとを生成する。コーナーマスクＣにおける画素値は、入力画像における対応する画素がコーナー画素として検出されたか否かを示す。例えば、コーナーマスクＣにおいて、画素値「１」はコーナーとして検出された画素であることを示し、画素値「０」はコーナーとして検出されなかった画素であることを示す。
【００９３】
図１１は、図５の（ａ）に示される撮像文書画像に対するコーナー検出結果を示す図である。図１１において、白点部分が検出されたコーナーを示す。図示されるように、テキスト部分でコーナーがよく検出される。
【００９４】
輪郭決定部１６は、消失点情報とコーナー検出結果とを用いて、撮像文書画像における文書領域の輪郭となる四角形（輪郭四角形）を決定する（１０８）。すなわち、輪郭決定部１６は、遠近法による歪みを有する文書の矩形とみなされる四角形を輪郭四角形として検出する。本実施形態では、輪郭決定部１６は、消失点の位置を示す消失点情報が出力された場合、推定された消失点の位置に集まる辺を有する四角形を輪郭四角形として決定し、消失点の方向を示す消失点情報が出力された場合、推定された消失点の方向に平行な辺を有する四角形を輪郭四角形として決定する。また、輪郭決定部１６は、コーナー検出部１５により検知されたコーナーを包含するような四角形を輪郭四角形として決定する。本実施形態では、全ての検出されたコーナーが包含されるように、輪郭四角形を決定する。しかしながら、別の実施形態では、検知されたコーナーの全てではなく一部が輪郭四角形により包含されるように、輪郭四角形を決定してもよい。
【００９５】
例えば、輪郭決定部１６は、コーナー検出部１５により検知されたコーナーを全て包含し、消失点から求めた４辺を有する四角形のうち、最小面積の四角形を輪郭四角形として決定する。また、上記の占有率に着目し、水平・垂直グループそれぞれで、全ての検出されたコーナーが包含されるような候補のうち、最も占有率の高い四角形を輪郭四角形として決定してもよい。
【００９６】
図１２は、図５の（ａ）に示される撮像文書画像に対して決定された輪郭四角形の一例を示す図である。
【００９７】
次に、幾何学的補正評価部１７は、決定された輪郭四角形と消失点または消失点の方向とに対する、幾何学的補正のための評価を行う（１１０）。幾何学的補正評価部１７は、幾何学的補正の強度、状態推定およびカメラパラメータ推定の信頼性を示す値を幾何学的補正のための評価値として求める。幾何学的補正の評価値は、複数の幾何学的補正の方法を比較するために使用される。
【００９８】
文書を撮像したカメラが未知の有効焦点距離（画素数で示される）を有する場合、２つの消失点が検出されたときに精度の高い幾何学的補正を実行することができる。本実施形態では、輪郭四角形と対応する消失点が信頼性のある焦点評価を有しているとみなしてよいか否かを決定するために、幾何学的補正評価部１７は、複数の焦点距離評価値を算出する。
【００９９】
幾何学的補正評価部１７は、推定される焦点距離の信頼性を示す第１の焦点距離評価値#VPを求める。幾何学的補正評価部１７は、輪郭線がほとんど平行である場合を除いて、消失点の数をカウントすることにより第１の焦点距離評価値#VPを求める。これらの実施形態は、図１３を参照することにより理解されるであろう。図１３は、４つの頂点ｑ１，ｑ２，ｑ３，ｑ４により決定される輪郭四角形５００の一例を示す。水平方向の一対の輪郭線は、輪郭四角形の水平方向の２つの辺５１０，５１２であり、垂直方向の一対の輪郭線は、輪郭四角形の垂直方向の２つの辺５１４，５１６である。なお、符号５２６は基本となる水平方向を示し、符号５２８は基本となる垂直方向を示している。の水平方向の一対の輪郭線のなす角度は、以下の式に従って算出される。
【０１００】
【数１０】
【０１０１】
ここで、ｎｈ１とｎｈ２は、それぞれ水平方向の辺５１０と辺５１２に対する単位法線ベクトルである。また、「・」はベクトルの内積（ドット積）を示している。垂直方向の一対の輪郭線のなす角度は、以下の式に従って算出される。
【０１０２】
【数１１】
【０１０３】
ここで、ｎｖ１とｎｖ２は、それぞれ垂直方向の辺５１４と辺５１６に対する単位法線ベクトルである。また、「・」はベクトルの内積（ドット積）を示している。
【０１０４】
そして、幾何学的補正評価部１７は、以下の式に従って第１の焦点距離評価値#VPを求める。
【０１０５】
【数１２】
【０１０６】
ここで、ｔｈ‖は、平行であるか否かを判断するための閾値であり、例えば、ｔｈ‖＝１°である。
【０１０７】
また、幾何学的補正評価部１７は、第２の焦点距離評価値farVPDistを算出してもよい。第２の焦点距離評価値farVPDistは、画像の光学中心Ｏから存在する消失点までの最大長である。本実施形態では、画像の光学中心Ｏから水平方向の消失点へのベクトルｖｐＣＨは、 ｖｐＣＨ＝ｖｐＨ−Ｏ で示される。ここで、ｖｐＨは水平方向の消失点における画像座標を示し、Ｏは画像中心における画像座標を示している。また、画像の光学中心Ｏから垂直方向の消失点へのベクトルｖｐＣＶは、 ｖｐＣＶ＝ｖｐＶ−Ｏ で示される。ここで、ｖｐＶは垂直方向の消失点における画像座標を示している。
【０１０８】
そして、幾何学的補正評価部１７は、
farVPDist＝ｍａｘ（‖ｖｐＣＨ‖，‖ｖｐＣＶ‖）
に従って、第２の焦点距離評価値farVPDistを求める。
ここで、‖ ‖はノルム演算子を示しており、例えばＬ２ノルムが用いられる。
【０１０９】
また、幾何学的補正評価部１７は、第３の焦点距離評価値vptestを算出してもよい。第３の焦点距離評価値vptestは、
vptest＝ｖｐＣＨ・ｖｐＣＶ
で示される。「・」はベクトルの内積を示しており、ｖｐＣＨは、画像の光学中心から水平方向の消失点へのベクトル、ｖｐＣＶは、画像の光学中心から垂直方向の消失点へのベクトルを示している。
【０１１０】
ここで、焦点距離ｆ＾は、以下のように定義される。
【０１１１】
【数１３】
【０１１２】
上記の焦点距離ｆ＾が決定されると、幾何学的補正評価部１７は、第４の焦点距離評価値FOVを算出する。第４の焦点距離評価値FOVは、最大の画像寸法に対する視野角度を評価する値であり、以下の式に従って算出される。
【０１１３】
【数１４】
【０１１４】
ここで、ｉｍｇＷおよびｉｍｇＨは、それぞれ画像の幅および高さを示している。
【０１１５】
本発明の一実施形態において、輪郭四角形と対応する消失点について求められた焦点距離ｆ＾は、焦点評価の信頼性に関する所定条件を満たすときに、信頼性が高いものとみなされる。具体的には、幾何学的補正評価部１７は、以下の条件を全て満たすときに、焦点距離ｆ＾の信頼性が高いものと判断する。
estF＝(#vp＝２）and（vptest＜０）and（FOV＞ｔｈＦＯＶ）and（farVPDist＜ｔｈＶＰＤｉｓｔ）
ここで、ｔｈＦＯＶは、視野に関する閾値（視野閾値）であり、ｔｈＶＰＤｉｓｔは最大距離閾値であり、estFは焦点距離の信頼性を示すブーリアン（Boolean）型の値である。閾値は、例えば、ｔｈＦＯＶ＝２０°であり、ｔｈＶＰＤｉｓｔ＝５×１０４ である。
【０１１６】
次に、図５に示されるように、幾何学的補正評価部１７は、消失点間の角度vpAngleを以下の式に従って算出する。
【０１１７】
【数１５】
【０１１８】
ここで、ＶＶは、画像中心Ｏから垂直方向の消失点の方向への単位ベクトルであり、ＶＨは、画像中心Ｏから水平方向の消失点の方向への単位ベクトルである。
【０１１９】
垂直方向の消失点が存在しない場合、垂直方向の消失点の方向を示すＶＶは、以下の式に従って求められる。
【０１２０】
【数１６】
【０１２１】
同様に、水平方向の消失点が存在しない場合、水平方向の消失点の方向を示すＶＨは、以下の式に従って求められる。
【０１２２】
【数１７】
【０１２３】
さらに、幾何学的補正評価部１７は、補正強度の評価値を決定してもよい。補正強度の評価値は、例えば、光軸と輪郭四角形から推定される文書面の法線方向とのなす角度である。焦点距離が既知であるカメラの場合（焦点距離ｆ＾が上記数１３により決定された場合）、幾何学的補正評価部１７は、文書面の法線ベクトルｎＰを以下のようにして推定する。
【０１２４】
【数１８】
【０１２５】
ここで、ＶＣＨは、消失点が存在する場合、推定された消失点ｖｐＣＨと焦点距離ｆ＾から生成され、消失点が存在しない場合、消失点の方向ＶＨから生成される３要素のベクトルである。また、ＶＣＶは、消失点が存在する場合、推定された消失点ｖｐＣＶと焦点距離ｆ＾から生成され、消失点が存在しない場合、消失点の方向ＶＶから生成される３要素のベクトルである。
【０１２６】
本実施形態によれば、幾何学的補正評価部１７は、estFが「false」である場合、デフォルトの焦点距離f_defaultが以下の式に従って決定される。ここでは、デフォルトの視野角を５０°としている。
【０１２７】
【数１９】
【０１２８】
さらに、幾何学的補正評価部１７は、補正角度correctionAngleを以下の式に従って算出する。ここで、ｚ＝［0,0,1］である。
【０１２９】
【数２０】
【０１３０】
次に、図１に示されるように、輪郭決定部１６は、消失点情報とコーナー検出結果とを用いた上記の方法とは異なる方法により特定された、撮像文書画像における文書領域の候補である文書着目領域を取得する（１１２）。そして、幾何学的補正評価部１７は、文書着目領域に対して、幾何学的補正の評価値を決定する（１１４）。次に、補正方法決定部１８は、幾何学的補正評価部１７により算出された評価値を比較し、幾何学的補正で用いる補正方法を選択する（フィルタリングする）（１１６）。
【０１３１】
ここで、文書面の法線に対して傾いていない角度から撮像したときを標準状態とし、当該標準状態に基づく補正方法も取り得る一つの補正方法のリストに含まれている。標準状態は、幾何学的補正が必要ではなく、文書平面の法線が光軸に近い状態を意味している。なお、標準状態に対する補正方法をＨ’とする。
【０１３２】
本実施形態では、文書着目領域を取得する処理１１２および文書着目領域に対して幾何学的補正の評価値を決定する処理１１４を行うものとしたが、当該処理１１２，１１４は行わなくてもよい。この場合、標準状態に対応する補正方法と、上述したライングループの方法に従って決定された輪郭四角形および対応する消失点（または消失点の方向）に対応する補正方法との２つから補正方法が選択される。
【０１３３】
本実施形態によれば、標準状態に対応する補正方法Ｈ’に加えて、２つの補正方法が選択対象となる。第１の補正方法Ｈ１は、輪郭四角形および対応する消失点（または消失点の方向）に対応しており、上述したライングループの方法に従って決定される補正方法である。
【０１３４】
第２の補正方法Ｈ２は、１１２で取得された文書着目領域に基づく補正方法である。本実施形態によれば、第２の補正方法Ｈ２の基となる文書着目領域は、例えば、２０１１年２月２４日に出願された米国特許出願番号１３／０３４，５９４（発明の名称「画像における文書着目領域を決定する方法およびシステム」に記載されている領域成長技術を用いて生成される。米国特許出願番号１３／０３４，５９４は、本願において完全に参照により引用される。具体的に説明すれば以下のとおりである。
【０１３５】
図１４は、輪郭決定部１６による文書着目領域の取得方法を示す説明図である。輪郭決定部１６は、撮像文書画像における輝度成分を示す入力輝度画像データを生成する。
【０１３６】
輪郭決定部１６は、入力輝度画像データに対して、前景除去処理１１０４、エッジ検出処理１１０６、およびテキスト（文字）の特徴点を算出するテキスト特徴算出処理１１０８を行う。
【０１３７】
輪郭決定部１６は、前景除去処理１１０４において、撮像文書画像に対応する入力輝度画像データから前景成分を除去し、エッジデータをほとんど含まない均一に近い背景領域を得る。
【０１３８】
輪郭決定部１６は、入力輝度画像データをダウンサンプリングして、低解像画像データにダウンサンプリングする。そして、低解像画像データに対して流し込み法（flood-filling operation）を適用することにより、前景除去画像データ１１１０（画像データＩＳＦ）を生成する。流し込み法では、テキスト画素の低グレースケールレベルの値を周囲の明るい色の背景画素のグレースケールレベルに置換する（テキスト画素を周囲の明るい色の背景画素のグレースケールレベルで塗り潰す）。これにより、不要成分（高周波成分）を除去した略均一なグレースケールレベルを有する文書領域が生成される。なお、前景除去処理の方法はこれに限るものではなく、例えば、輪郭決定部１６は、拡大、中央値フィルタ処理、あるいはその他の画像処理技術を用いて前景除去処理を行うようにしてもよい。
【０１３９】
図１１に示したように、輪郭決定部１６は、前景除去処理１１０４の結果である出力画像データＩＳＦ（前景除去画像データ１１１０）に対して、不均一性低減処理１１１２を行う。
【０１４０】
輪郭決定部１６は、不均一性低減処理１１１２において、前景除去画像データ１１１０における不均一性（輝度ムラ）を低減し、前景除去画像データ１１１０におけるグレア効果を除去する。例えば、輪郭決定部１６は、前景除去画像データ１１１０の中央領域（前景除去画像の中心を含む領域）におけるピークを拡大あるいは伸長するために、前景除去画像データ１１１０に対してモフォロジー処理（拡大縮小処理）による再構成処理を行う。典型的な実施例では、前景除去画像データ１１１０（画像データＩＳＦ）からマーカー画像（種画像）ＩＭを抽出し、抽出したマーカー画像ＩＭを用いてモフォロジー処理による再構成処理を行う。モフォロジー処理による再構成処理において、マーカー画像ＩＭをマスク画像の特性に基づいて処理するようにしてもよい。上記マスク画像として、例えば、上記の前景除去画像データ１１１０（画像データＩＳＦ）を用いてもよい。上記マーカー画像の選択方法は特に限定されるものではなく、例えば、マーカー画像ＩＭの中心付近における所定サイズの領域である第１領域に属する各画素の画素値を当該画素に対応する前景除去画像データ１１１０（画像データＩＳＦ）の画素の画素値に応じた値に設定し、マーカー画像ＩＭにおける第１領域を除く領域である第２領域に属する各画素の画素値をゼロに設定してもよい。これにより、マーカー画像ＩＭにおける全画素の画素値は、マスク画像における対応する画素の画素値以下になる。モフォロジー処理による再構成処理は、概念的には、マーカー画像におけるマスク画像にマスクされる位置を連続的に拡大する処理として理解できる。この拡大処理は、前回の拡大によって再構成された画像と今回の拡大によって再構成された画像との間に変化が生じなかった場合に終了する。モフォロジー処理による再構成処理を実行する方法として多様な方法を採用可能であることは当業者にとって自明であろう。輪郭決定部１６は、モフォロジー処理による再構成処理が施された最終的な再構成画像データ１１１４（画像データＩＲ）に対して、２値化処理１１１６を行う。
【０１４１】
なお、輪郭決定部１６が、背景色と文字色および前景色との関係を検出するようにしてもよい。この場合、マーカー画像におけるゼロ以外の画素値を有する画素の平均グレー値μＩＭを算出し、前景除去画像データ１１１０（画像データＩＳＦ）における残りの画素の平均グレー値μＩＣＭと比較する。そして、μＩＭ＞μＩＣＭ、かつμＩＭ＞ＴＢＧであれば、上記画像における文書部分は前景画像に暗い色のテキストを含む明るい色の背景になり、処理が継続される。なお、上記ＴＢＧは、背景の輝度値と白に対応する輝度値との差に応じた閾値である。μＩＭ＞μＩＣＭ、かつμＩＭ＞ＴＢＧでなければ、文書着目領域の決定処理を終了するようにしてもよい。あるいは、μＩＭ＞μＩＣＭ、かつμＩＭ＞ＴＢＧでなければ、輪郭決定部１６は、２値化処理１１１６によって決定される第１文書着目領域候補マスクを反転させて文書着目領域の決定処理を継続するようにしてもよい。上記ＴＢＧの典型的な値は１００である。
【０１４２】
輪郭決定部１６は、再構成画像データ１１１４に対して、第１文書着目領域候補マスク（第１文書ＲＯＩ候補マスク）１１１８を生成する２値化処理１１１６を行う。輪郭決定部１６は、文書着目領域と非文書着目領域とを分離するための閾値を選択して２値化処理（閾値処理）を行う。閾値の選択方法は特に限定されず、多様な方法を用いることができる。例えば、「Nobuyuki Otsu著、“A threshold selection method from gray-level histograms”、IEEE Transactions on Systems、Man and Cybernetics、volume 9、62-66頁、1979年」に開示されている方法を用いてもよい。
【０１４３】
図１１に示したように、輪郭決定部１６は、エッジ検出処理１１０６において、上記の輝度のみからなる入力輝度画像データからエッジマスク１１２２を抽出し、第１文書着目領域候補マスク１１１８から不要成分を除去するために用いる。輪郭決定部１６は、低解像画像データＬｒに基づいてエッジマスク１１２２を抽出するようにしてもよく、フル解像度の画像データに基づいてエッジマスク１１２２を抽出するようにしてもよい。輪郭決定部１６は、におけるエッジ検出方法は特に限定されるものではなく、従来からの公知の種々の方法を用いることができる。例えば、勾配に基づく方法、ゼロ公差法、あるいはその他の方法を用いることができる。エッジ検出処理１１０６によって抽出されたエッジマスク１１２２は、結合処理１１２４において下記式（１）に基づいて第１文書着目領域候補マスク１１１８と結合される。
【０１４４】
【数２１】
【０１４５】
なお、第２文書着目領域候補マスクにおける各要素内の孔（holes）を除去するために、第２文書着目領域候補マスクに対して塗り潰しアルゴリズム（image filling algorithm）による処理を適用してもよい。あるいは、塗り潰し処理を行わなくてもよい。
【０１４６】
輪郭決定部１６は、着目領域補正処理（ＲＯＩ補正処理）１１２８において、上記の第２文書着目領域候補マスク１１２６を補正（精製）する。具体的には、輪郭決定部１６は、第２文書着目領域候補マスク１１２６における連結要素（隣接する画素同士の画素値が同じである画素からなる集合）を識別し、それら各連結要素が文書着目領域の一部であるか否かを分析する。
【０１４７】
輪郭決定部１６は、第２文書着目領域候補マスク１１２６における連結要素ｃｉによってカバーされたテキスト状の内容の量を決定する。具体的には、輪郭決定部１６は、入力輝度画像データＬから検出されたコーナーの特徴点（複数のエッジの交点。テキストの特徴点。）１１３２をテキスト特徴算出処理１１０８することで取得する。テキスト特徴算出部１１０８は、例えば「C.Harris、M.Stephens著、“A combined corner and edge detector”、Proceedings of the 4th Alvey Vision Conference、147-151頁、1988年」に開示されているハリス法を用いて入力輝度画像データＬからコーナーの特徴点１１３２を検出する。
【０１４８】
輪郭決定部１６は、第２文書着目領域候補マスク１１２６における連結要素ｃｉによって規定されるテキスト範囲として、コーナーの特徴点の総数に対する上記連結要素ｃｉに含まれるコーナーの特徴点の数の割合ｒｉを算出する。上記割合ｒｉの値が所定の閾値Ｔを超えている場合には最終文書着目領域マスク１１３４（ＭＲＯＩ）に連結要素ｃｉを加え、そうでない場合には連結要素ｃｉを廃棄する。これにより、テキストの特徴点が密集している領域が最終文書着目領域マスク１１３４に含まれ、その他の領域は最終文書着目領域マスク１１３４から除外される。本実施形態では閾値Ｔを２．５％に設定している。ただし、閾値Ｔの値はこれに限るものではない。そして、着目領域補正処理１１２８により生成された最終文書着目領域マスク１１３４で示される領域を文書着目領域として設定される。
【０１４９】
文書着目領域に対して幾何学的補正の評価値を決定する処理１１４でも、幾何学的補正評価部１７は、輪郭四角形に対して求めた方法と同様にして、各種の評価値（correctionAngle、vpAngle、#vp、ｆ＾）を算出してもよい。
【０１５０】
例えば、幾何学的補正評価部１７は、文書着目領域が四角形である場合、その上辺、下辺、左辺、右辺の単位法線ベクトルをｎｈ１、ｎｈ２、ｎｖ１、ｎｖ２として、上記の数１０〜数１２を基に、#vp２を求めることができる。また、上辺、下辺の交点を水平方向の消失点とし、画像の光学中心Ｏから水平方向の消失点へのベクトルｖｐＣＨを求める。同様に、文書着目領域の輪郭となる四角形の左辺、右辺の交点を垂直方向の消失点とし、画像の光学中心Ｏから垂直方向の消失点へのベクトルｖｐＣＶを求める。これにより、幾何学的補正評価部１７は、vptesutを求めることができ、ｆ＾，vpAngleを決定できる。さらに、幾何学的補正評価部１７は、数１８を基に、文書面の法線ベクトルｎＰとともに、correctionAngleを算出できる。なお、文書着目領域が四角形ではない場合、幾何学的補正評価部１７は、各評価値が算出不可能であると判断してもよい。
【０１５１】
上述のように、各補正方法Ｈｉに対応する幾何学的補正の評価値（correctionAnglei、vpAnglei、#vpi）が決定される。ここで、ｉは、対応する各補正方法Ｈｉを示している。標準状態に対応する補正方法はＨ’である。また、本実施形態では、幾何学的補正評価部１７は、処理１１４において、文書着目領域Ｑｉと検出されたコーナーＣとの間の交わり部分が、撮像文書画像の中のコーナー全体に占める割合（パーセンテージ）を重なり度overlapiとして算出する。重なり度overlapｉは以下に式で示される。
【０１５２】
【数２２】
【０１５３】
幾何学的補正の補正方法のフィルタリング処理は、補正方法の選定となる仮定を検証することである。補正方法決定部１８は、上述したようなライングループを用いて導かれる補正方法Ｈ１に対応するcorrectionAngle１がcorrectionAngle１＞θmax を満たすとき、補正方法Ｈ１を採用しない。ここで、角度閾値θmaxは、信頼性があると見なされる最大補正角度であり、例えば４０°である。また、補正方法決定部１８は、補正方法Ｈ１に対応する消失点の数が２つであり、かつ、補正方法Ｈ１に対応する消失点間の角度vpAngle１が予め設定された角度範囲内にない場合、補正方法Ｈ１を採用しない。すなわち、以下のような条件を満たす場合である。
#vp１＝２ and (vpAngle１＜８０° or vpAngle１＞１１０°）
また、補正方法決定部１８は、領域成長方法により決定された文書着目領域に基づく補正方法Ｈ２に対応するcorrectionAngle２が角度閾値θmaxよりも大きく、かつ、補正方法Ｈ２に対応する重なり度overlap２が重複閾値ｔｈｃよりも小さい場合、補正方法Ｈ２を採用しない。この条件は、以下のように示される。
correctionAngle２＞θmax かつ overlap２＜ｔｈｃ
ここで、角度閾値θmaxは、信頼性があると見なされる最大補正角度であり、例えば４０°である。ｔｈｃは、文書着目領域の中に含まれるべきコーナーの最低パーセンテイジであり、例えばｔｈｃ＝９８％である。このように、領域成長方法により出力される文書着目領域の形状が四角形に十分にマッチしない場合、補正方法Ｈ２は拒絶される。
【０１５４】
本実施形態によれば、補正方法の選択処理（フィルタリング処理）は、階層的に実行されてもよい。領域成長方法に基づく補正方法Ｈ２が適切であると判断された場合、補正方法Ｈ２が幾何学的補正の方法として選択される。領域成長方法に基づく補正方法Ｈ２が適切ではないと判断され、ライングループに基づく補正方法Ｈ１が適切であると判断された場合、ライングループに基づく補正方法Ｈ１が幾何学的補正の方法として選択される。これ以外の場合、標準状態に基づく補正方法Ｈ’が選択され、撮像文書画像に対する幾何学的補正は実行されない。
【０１５５】
十分な幾何学的補正のためには、文書の辺の相対的な長さを知る必要がある。ただし、十分な幾何学的補正は常に可能であるわけではない。十分な幾何学的補正が可能ではない場合、カメラの遠近法による幾何学形状と文書の法線との近似を推定するのために、近似値が使用される。
【０１５６】
カメラの焦点距離が予め既知ではない場合、または、焦点距離に対する評価値の信頼性が低い場合（例えば、estFが「false」である場合）、デフォルトの焦点距離が使用される。そして、図５および図６に示されるように、画像サイズ決定部１９は、補正後の画像サイズを決定する（１１８）。カメラ原点６０２から画像面６０６上の四角形の点［ｑ１、ｑ２、ｑ３、ｑ４］を通って、カメラ原点からＤだけ離れた文書面６１０の点ｐｉに向けた光線ｒｉが画像上に投影される。文書面６１０上の点ｐは、陰関数式 ｎＰ・（ｐ−ｐ０）＝０により決定される。ここで、ｐ０＝［0 0 D］である。点ｐｉは、以下の式により決定される。
【０１５７】
【数２３】
【０１５８】
ここで、ｎｐは、文書面６１０の単位法線ベクトルである。「・」は、ベクトルの内積を示す。点［ｐ１、ｐ２、ｐ３、ｐ４］は、文書面６１０上の文書の矩形の頂点を示し、距離Ｄは、カメラの投影原点から文書面６１０までの距離である。本実施形態では、Ｄ＝５ｆ＾であり、ｆ＾は焦点距離である。
【０１５９】
画像サイズ決定部１９は、文書のアスペクト比Ａ＾を以下の式に従って決定する。
【０１６０】
【数２４】
【０１６１】
ここで、Ｈ＾は、文書面６１０における推定された文書の高さであり、Ｗは推定された文書の幅である。Ｈ＾は、Ｈ＾＝‖ｐ４−ｐ１‖により決定され、Ｗ＾は、Ｗ＾＝‖ｐ２−ｐ１‖により決定される。
【０１６２】
画像サイズ決定部１９は、補正された画像のスケールを、四角形の点［ｑ１、ｑ２、ｑ３、ｑ４］と文書のアスペクト比Ａ＾とから求める。そして、画像サイズ決定部１９は、補正後の画像サイズ（ｗ，ｈ）を以下の式に従って算出する。
【０１６３】
【数２５】
【０１６４】
ここで、ｓｈ＝ｍｉｎ（ｍａｘ（ｄｈ１、ｄｈ２），ｉｍｇＷ）であり、最大の水平方向の辺の長さと入力画像の幅ｉｍｇＷとの小さいほうである。また、ｓｖ＝ｍｉｎ（ｍａｘ（ｄｖ１、ｄｖ２），ｉｍｇＨ）であり、最大の垂直方向の辺の長さと入力画像の高さｉｍｇＨとの小さいほうである。ｄｈ１＝‖ｑ２−ｑ１‖は、四角形の上方の頂点間の長さであり、ｄｈ２＝‖ｑ３−ｑ４‖は、四角形の下方の頂点間の長さである。ｄｖ１＝‖ｑ４−ｑ１‖は、四角形の左側の頂点間の長さであり、ｄｖ２＝‖ｑ３−ｑ２‖は、四角形の右側の頂点間の長さである。
【０１６５】
なお、画像サイズ決定部１９は、補正方法決定部１８が補正方法Ｈ１を選択した場合、輪郭四角形および消失点情報に基づいて算出された評価値を用いて画像サイズを決定し、補正方法決定部１８が補正方法Ｈ２を選択した場合、文書着目領域に基づいて算出された評価値を用いて画像サイズを決定すればよい。
【０１６６】
そして、図１に示されるように、補正処理部２０は、撮像文書画像に対して幾何学的補正を実行する（１２０）。本実施形態では、補正処理部２０は、バイキュービック補間を用いて、推定された画像の四角形と所望の画像サイズで設定される出力矩形とに基づいた幾何学的補正を行う。本実施形態では、補正処理部２０は、入力点［ｑ１、ｑ２、ｑ３、ｑ４］を用いた透過平面投影変換の演算を用いて補正を行う。そして、補正画像の所望の対応出力点が、算出された補正後の画像サイズ［（０，０）、（ｗ、０）、（ｗ、ｈ）、（０、ｈ）］から決定される。平面投影変換の演算を用いた遠近法の歪みの補正により、補正された画像が出力される。
【０１６７】
例えば、補正処理部２０は、補正方法決定部１８により補正方法Ｈ１が選択された場合、輪郭決定部１６が消失点情報とコーナー検出結果とに基づいて決定した輪郭四角形を、画像サイズ決定部１９により決定された画像サイズの矩形に写像変換する。このとき、バイキュービック補間を用いて、各画素の値を求めればよい。
【０１６８】
また、補正処理部２０は、補正方法決定部１８により補正方法Ｈ２が選択された場合、輪郭決定部１６が領域成長方法により決定した文書着目領域を、画像サイズ決定部１９により決定された画像サイズの矩形に写像変換する。このとき、バイキュービック補間を用いて、各画素の値を求めればよい。
【０１６９】
また、上述した各処理の実行順序は、図面中に示した順序に限定されるものではなく、適宜変更してもよい。また、図面中に連続して実行されるように示されている各処理の一部を、並行処理するようにしてもよく、処理期間の一部が重複するようにしてもよい。
【０１７０】
また、上記実施形態において、画像処理装置１に備えられる各部（各ブロック）を、ＣＰＵ等のプロセッサを用いてソフトウェアによって実現してもよい。この場合、画像処理装置１は、各機能を実現する制御プログラムの命令を実行するＣＰＵ（central processing unit）、上記プログラムを格納したＲＯＭ（read only memory）、上記プログラムを展開するＲＡＭ（random access memory）、上記プログラムおよび各種データを格納するメモリ等の記憶装置（記録媒体）などを備えている。そして、本発明の目的は、上述した機能を実現するソフトウェアである画像処理装置１の制御プログラムのプログラムコード（実行形式プログラム、中間コードプログラム、ソースプログラム）をコンピュータで読み取り可能に記録した記録媒体を、画像処理装置１に供給し、そのコンピュータ（またはＣＰＵやＭＰＵ）が記録媒体に記録されているプログラムコードを読み出し実行することによって達成される。
【０１７１】
上記記録媒体としては、例えば、磁気テープやカセットテープ等のテープ系、フロッピー（登録商標）ディスク／ハードディスク等の磁気ディスクやＣＤ−ＲＯＭ／ＭＯ／ＭＤ／ＤＶＤ／ＣＤ−Ｒ等の光ディスクを含むディスク系、ＩＣカード（メモリカードを含む）／光カード等のカード系、あるいはマスクＲＯＭ／ＥＰＲＯＭ／ＥＥＰＲＯＭ（登録商標）／フラッシュＲＯＭ等の半導体メモリ系などを用いることができる。
【０１７２】
また、画像処理装置１を通信ネットワークと接続可能に構成し、通信ネットワークを介して上記プログラムコードを供給してもよい。この通信ネットワークの構成は特に限定されるものではなく、例えば、インターネット、イントラネット、エキストラネット、ＬＡＮ、ＩＳＤＮ、ＶＡＮ、ＣＡＴＶ通信網、仮想専用網（virtual private network）、電話回線網、移動体通信網、衛星通信網等が利用可能である。また、通信ネットワークを構成する伝送媒体についても特に限定されず、例えば、ＩＥＥＥ１３９４、ＵＳＢ、電力線搬送、ケーブルＴＶ回線、電話線、ＡＤＳＬ回線等の有線でも、ＩｒＤＡやリモコンのような赤外線、Ｂｌｕｅｔｏｏｔｈ（登録商標）、８０２．１１無線、ＨＤＲ、携帯電話網、衛星回線、地上波デジタル網等の無線でも利用可能である。なお、本発明は、上記プログラムコードが電子的な伝送で具現化された、搬送波に埋め込まれたコンピュータデータ信号の形態でも実現され得る。
【０１７３】
また、画像処理装置１の各ブロックは、ソフトウェアを用いて実現されるものに限らず、ハードウェアロジックによって構成されるものであってもよい。また、画像処理装置１の各ブロックは、処理の一部を行うハードウェアと当該ハードウェアの制御や残余の処理を行うソフトウェアを実行する演算手段とを組み合わせたものであってもよい。
【０１７４】
本発明は上述した実施形態に限定されるものではなく、請求項に示した範囲で種々の変更が可能である。すなわち、請求項に示した範囲で適宜変更した技術的手段を組み合わせて得られる実施形態についても本発明の技術的範囲に含まれる。
【０１７５】
（まとめ）
以上のように、本発明の一態様に係る画像処理装置は、撮像装置により撮像された画像に対して幾何学的補正を行う画像処理装置であって、（ａ）撮像装置が矩形状の文書を撮像することにより得られた撮像文書画像を取得する撮像画像取得部と、（ｂ）上記撮像文書画像における水平方向の消失点の位置または水平方向の消失点の方向を示す水平方向消失点情報を生成するとともに、上記撮像文書画像における垂直方向の消失点の位置または垂直水平方向の消失点の方向を示す垂直方向消失点情報を生成する消失点情報生成部（消失点情報推定部１４）と、（ｃ）上記撮像文書画像におけるコーナーを検出するコーナー検出部と、（ｄ）（１）上記水平方向消失点情報が水平方向の消失点の位置を示す場合、当該水平方向の消失点の位置に集まる２つの線分を上辺および下辺とし、上記水平方向消失点情報が水平方向の消失点の方向を示す場合、当該水平方向の消失点の方向に平行な２つの線分を上辺および下辺とし、（２）上記垂直方向消失点情報が垂直方向の消失点の位置を示す場合、当該垂直方向の消失点の位置に集まる２つの線分を左辺および右辺とし、上記垂直方向消失点情報が垂直方向の消失点の方向を示す場合、当該垂直方向の消失点の方向に平行な２つの線分を左辺および右辺とし、（３）上記コーナー検出部により検出されたコーナーを囲む四角形の輪郭を輪郭四角形として決定する輪郭決定部と、（ｅ）上記輪郭四角形の信頼性を示す第１の評価値を算出する幾何学的補正評価部と、（ｆ）上記第１の評価値を基に、上記輪郭四角形に基づいた第１補正方法により幾何学的補正を行うか否かを決定する補正方法決定部と、（ｇ）上記補正方法決定部が第１補正方法による幾何学的補正を行うと決定した場合に、上記輪郭四角形に基づいて、幾何学的補正後の第１画像サイズを決定する画像サイズ決定部と、（ｈ）上記補正方法決定部が第１補正方法による幾何学的補正を行うと決定した場合に、上記輪郭四角形と上記第１画像サイズとに基づいて上記撮像文書画像に対して幾何学的補正を行う補正処理部とを備えている。
【０１７６】
上記の構成によれば、消失点を用いて輪郭四角形を決定する。消失点は、撮像装置の焦点距離に依存して変化する。そのため、消失点情報を用いることにより撮像装置の焦点距離を考慮した幾何学的補正を行うことができる。その結果、カメラレンズの焦点距離に関する情報がなくても、幾何学的歪みの補正を適切に行うことができる。
【０１７７】
また、本発明の一態様において、（ａ）上記輪郭決定部は、（１）撮像文書画像の前景成分を除去して前景除去画像を生成し、上記前景除去画像における不均一性を低減して再構成画像を生成し、（２）上記再構成画像に２値化処理を施すことにより第１文書着目領域候補マスクを生成し、（３）上記撮像文書画像におけるエッジ部を示すエッジマスクと上記第１文書着目領域候補マスクとを結合して第２文書着目領域候補マスクを生成し、（４）上記撮像文書画像から算出されるテキストの特徴点に基づいて上記第２文書着目領域候補マスクを補正することにより最終文書着目領域を特定し、（ｂ）上記幾何学的補正評価部は、上記最終文書着目領域の信頼性を示す第２の評価値を算出し、（ｃ）上記補正方法決定部は、上記第１の評価値および第２の評価値に基づいて、上記第１補正方法により幾何学的補正を行うか、上記最終文書着目領域に基づいた第２補正方法により幾何学的補正を行うか決定し、（ｄ）上記画像サイズ決定部は、上記補正方法決定部が第２補正方法を選択した場合に、最終文書着目領域に基づいて、幾何学的補正後の第２画像サイズを決定し、（ｅ）上記補正処理部は、上記補正方法決定部が第２補正方法を選択した場合に、上記最終文書着目領域と上記第２画像サイズとに基づいて上記撮像文書画像に対して幾何学的補正を行ってもよい。
【０１７８】
また、本発明の一態様において、上記補正方法決定部は、（１）上記第２の評価値が予め設定された第１条件を満たす場合に、上記第２補正方法を幾何学的補正の方法として決定し、（２）上記第２の評価値が上記の第１条件を満たさず、かつ、上記第１の評価値が予め設定された第２条件を満たす場合に、上記第１補正方法を幾何学的補正の方法として決定し、（３）上記第２の評価値が上記の第１条件を満たさず、かつ、上記第１の評価値が上記第２条件を満たさない場合に、幾何学的補正を行わないものと決定し、上記補正処理部は、上記補正方法決定部が幾何学的補正を行わないと決定した場合、撮像文書画像に対して幾何学的補正を行わなくてもよい。
【０１７９】
また、本発明の一態様の画像処理装置は、上記撮像文書画像におけるエッジ部を示すエッジマスクを生成するエッジ検出部と、上記エッジマスクから複数の直線構造を抽出し、当該複数の直線構造を水平方向のライングループと垂直方向のライングループとにグループ分けする直線構造抽出部とを備え、上記消失点情報生成部は、（１）上記水平方向のライングループに属する各直線構造について陰関数形式の複数の係数を求め、（２）上記水平方向のライングループに属する直線構造間の最大距離を示す水平方向ベースライン量を算出し、（３）上記水平方向のライングループに属する直線構造の数が２よりも大きい場合に、上記水平方向のライングループに属する各直線構造に対応する上記複数の係数を連結した係数行列を生成し、当該係数行列に特異値分解を適用して、複数の固有ベクトルおよび固有値を決定し、（４）上記複数の固有値のうちの最大値に対する最小値の割合を示す第１固有値割合を算出し、（５）上記水平方向ベースライン量が予め設定されたベースライン閾値よりも大きく、かつ、上記第１固有値割合が予め設定された平行度閾値よりも小さい場合に、上記複数の固有値のうちの最小値に対応する固有ベクトルを用いて水平方向の消失点の位置を求め、当該水平方向の消失点の位置を示す水平方向消失点情報を生成してもよい。
【０１８０】
また、本発明の一態様において、上記消失点情報生成部は、（１）上記水平方向のライングループに属する２つの直線構造について、一方の直線構造と上記撮像文書画像の中心を通る垂直方向のラインである垂直ラインとの第１交点を決定するとともに、他方の直線構造と上記垂直ラインとの第２交点を決定し、上記第１交点と第２交点との距離を算出し、（２）上記水平方向のライングループに属する２つの直線構造の全ての組合せについて求めた上記第１交点と第２交点との距離のうちの最大値を水平方向ベースライン量として設定してもよい。
【０１８１】
また、本発明の一態様において、上記消失点情報生成部は、（１）上記垂直方向のライングループに属する各直線構造について陰関数形式の複数の係数を求め、（２）上記垂直方向のライングループに属する直線構造間の最大距離を示す垂直方向ベースライン量を算出し、（３）上記垂直方向のライングループに属する直線構造の数が２よりも大きい場合に、上記垂直方向のライングループに属する各直線構造に対応する上記複数の係数を連結した係数行列を生成し、当該係数行列に特異値分解を適用して、複数の固有ベクトルおよび固有値を決定し、（４）上記複数の固有値のうちの最大値に対する最小値の割合を示す第２固有値割合を算出し、（５）上記垂直方向ベースライン量が予め設定されたベースライン閾値よりも大きく、かつ、上記第２固有値割合が予め設定された平行度閾値よりも小さい場合に、上記複数の固有値のうちの最小値に対応する固有ベクトルを用いて垂直方向の消失点の位置を求め、当該垂直方向の消失点の位置を示す垂直方向消失点情報を生成してもよい。
【０１８２】
また、本発明の一態様において、上記消失点情報生成部は、（１）上記垂直方向のライングループに属する２つの直線構造について、一方の直線構造と上記撮像文書画像の中心を通る水平方向のラインである水平ラインとの第３交点を決定するとともに、他方の直線構造と上記水平ラインとの第４交点を決定し、上記第３交点と第４交点との距離を算出し、（２）上記垂直方向のライングループに属する２つの直線構造の全ての組合せについて求めた上記第３交点と第４交点との距離のうちの最大値を垂直方向ベースライン量として設定してもよい。
【０１８３】
また、本発明の一態様において、上記第１の評価値は、消失点の数、焦点距離の信頼度、基準点および水平方向の消失点を通る直線と基準点および垂直方向の消失点を通る直線とのなす角度、検出されたコーナーと輪郭四角形との重なり度、および、推定される文書面の法線に対する撮像装置の光軸との角度である補正角度から選択される少なくとも１つであることが好ましい。
【０１８４】
本発明のより具体的な一態様では、幾何学的補正評価部は、（１）輪郭四角形における対向する２辺のなす角度を基に消失点の数#vpを算出し、（２）消失点の位置に基づいて焦点距離ｆ＾を推定し、（３）基準点（例えば画像中心）から２つの消失点への方向のなす角度vpAngleを算出し、（３）消失点の位置と推定された焦点距離ｆ＾とを基に、文書面の法線ベクトルｎＰおよび法線ベクトルｎＰとカメラの光軸とのなす角度correctionAngleを算出する。
【０１８５】
そして、#vp＝２ and (vpAngle＜８０° or vpAngle＞１１０°） and correctionAngle＞θmax を満たす場合に、補正方法Ｈ１を選択する。
【０１８６】
このとき、画像サイズ決定部１９は、焦点距離ｆ＾の所定倍（例えば５）の距離をカメラと文書との距離として、画像面上の輪郭四角形の４頂点および法線ベクトルｎＰを基に上述した数２３に従って文書面の４頂点座標を特定する。そして、画像サイズ決定部１９は、文書面のアスペクト比を推定し、推定したアスペクト比となるように画像サイズを決定する。
【０１８７】
その後、補正処理部２０は、輪郭四角形を画像サイズ決定部１９が決定した画像サイズになうように写像変換すればよい。
【０１８８】
また、本発明の一態様は以下のようにも表現できる。
【０１８９】
本発明の一態様は、撮像装置により撮像された文書画像における幾何学的歪みを補正する方法であって、処理部が上記撮像文書画像を取得するステップと、上記撮像文書画像に対して、水平方向の消失点情報を生成するステップと、上記撮像文書画像に対して、垂直方向の消失点情報を生成するステップと、上記撮像文書画像におけるコーナーを検出するコーナー検出処理を行うステップと、上記コーナー検出処理の結果と上記水平方向の消失点情報と上記垂直方向の消失点情報とを用いて、四角形の輪郭を第１輪郭四角形として検出するステップと、上記第１輪郭四角形に対応する、幾何学的補正の程度を示す第１の複数の評価値を決定するステップと、上記第１の複数の評価値に基づいて、補正用仮定を選択するステップと、選択された補正用仮定を用いて、補正画像のサイズを決定するステップと、選択された補正用仮定が標準状態に対応する仮定ではない場合、選択された補正用仮定を用いて上記撮像文書画像を補正し、補正後文書画像を生成するステップとを含む。
【０１９０】
選択された補正用仮定が標準状態に対応する仮定である場合、上記撮像文書画像を補正しなくてもよい。
【０１９１】
上記水平方向の消失点情報は、水平方向の消失点、または、水平方向の消失点の方向を示す情報である。
【０１９２】
上記垂直方向の消失点情報は、垂直方向の消失点、または、垂直方向の消失点の方向を示す情報である。
【０１９３】
また、本発明の一態様は、別の輪郭領域を取得するステップと、上記別の輪郭領域に対応する、幾何学的補正の程度を示す第２の複数の評価値を決定するステップとをさらに含み、補正用仮定を選択するステップにおいて、上記第２の複数の評価値に基づいて補正用仮定を選択する。
【０１９４】
上記別の輪郭領域は、領域成長方法により生成される。
【０１９５】
補正用仮定を選択するステップは、上記別の輪郭領域と上記第２の複数の評価値とに対応する第１仮定に基づく第１補正処理を実行するステップと、上記第１補正処理が上記第１仮定を却下する場合、上記第１輪郭四角形と上記第１の複数の評価値とに対応する第２仮定に基づく第２補正処理を実行するステップと、上記第１補正処理が上記第１仮定を受け入れる場合、上記第１仮定を上記補正用仮定として選択するステップと、上記第２補正処理が上記第２仮定を却下する場合、標準状態に対応する仮定を上記補正用仮定として選択するステップと、上記第２補正処理が上記第２仮定を受け入れる場合、上記第２仮定を上記補正用仮定として選択するステップとを含む。
【０１９６】
上記水平方向の消失点情報を生成するステップは、上記撮像文書画像においてエッジを検出し、エッジマスクを生成するステップと、上記エッジマスクから複数のライン構造を抽出するステップと、上記複数のライン構造を、水平方向のラインセットにグループ分けするステップと、上記水平方向のラインセットに属する各ラインについて陰関数形式の複数の係数を演算するステップと、上記水平方向のラインセットに対して、水平方向のベースライン量を算出するステップと、上記水平方向のラインセットに属するラインの数が２よりも大きい場合に、上記複数の係数を用いて係数マトリクスを生成するステップと、上記係数マトリクスに特異値分解を適用して、複数の固有ベクトルおよび固有値を決定するステップと、上記複数の固有値のうちの最大値に対する最小値の割合を示す固有値割合を算出するステップと、上記水平方向のベースライン量と水平方向のベースライン閾値とを比較する第１比較処理を行うステップと、上記固有値割合と水平方向の固有値割合に対する閾値とを比較する第２比較処理を行うステップと、上記第１比較処理の結果が広いベースライン量であることを示し、上記第２比較処理の結果が単一点への集中度が良いことを示している場合、上記複数の固有値のうちの最小値に対応する固有ベクトルを用いて水平方向の消失点を算出するステップとを含み、上記水平方向の消失点情報は、上記水平方向の消失点を示す情報である。
【０１９７】
上記第１比較処理の結果が広いベースライン量であることを示していない、もしくは、上記第２比較処理の結果が単一点への集中度が良いことを示していない場合、水平方向の消失点の方向を算出するステップを含み。上記水平方向の消失点情報は、上記水平方向の消失点の方向を示す情報である。
【０１９８】
上記水平方向のラインセットに属するラインの数が２である場合、上記水平方向のラインセットに属する一方のラインである第１ラインの法線と、他方のラインである２ラインの法線とのなす角度を、平行閾値と比較する第３比較処理を行うステップと、上記第１比較処理の結果が小さいベースライン量であることを示している場合、もしくは、上記第３比較処理の結果がほとんど平行であることを示している場合、上記第１ラインの法線と上記第２ラインの法線との平均に垂直な方向を水平方向の消失点の方向と決定するステップとを含み、上記水平方向の消失点情報は、上記水平方向の消失点の方向を示す情報である。
【０１９９】
上記第１比較処理の結果が小さいベースライン量であることを示しておらず、かつ、上記第３比較処理の結果がほとんど平行であることを示していない場合、上記第１ラインと第２ラインとの交点を水平方向の消失点として求めるステップを含み、上記水平方向の消失点情報は、上記水平方向の消失点を示す情報である。
【０２００】
上記水平方向のラインセットに属するラインの数が１である場合、上記水平方向のラインセットに属する第１ラインの法線を決定するステップと、上記第１ラインの法線に垂直な方向を、水平方向の消失点の方向と決定するステップとを含み、上記水平方向の消失点情報は、上記水平方向の消失点の方向を示す情報である。
【０２０１】
上記水平方向のラインセットに属するラインの数が０である場合、基本となる水平方向を、水平方向の消失点の方向として設定し、上記水平方向の消失点情報は、上記水平方向の消失点の方向を示す情報である。
【０２０２】
上記複数のライン構造の中の第１ライン構造は、第１の水平方向の消失点に集中する場合、上記水平方向のラインセットにグループ分けされる。
【０２０３】
上記水平方向のベースライン量を算出するステップは、上記水平方向のラインセットに属する各対のラインについて、当該対の一方の第１ラインと、上記撮像文書画像の中心を通る垂直方向のラインである垂直ラインとの第１交点を決定するステップと、当該対の他方の第２ラインと上記垂直ラインとの第２交点を決定するステップと、上記第１交点と第２交点との距離を算出するステップとを含み、上記水平方向のラインセットに属する全ての対について求められた複数の距離の最大値を上記水平方向のベースライン量として設定するステップを含む。
【０２０４】
上記水平方向のベースライン量がベースライン閾値よりも大きい場合、上記第１比較処理において広いベースライン量である結果が出力される。
【０２０５】
上記固有値割合が上記固有値割合閾値よりも小さい場合に、上記第２比較処理において、単一点への集中度が良いとの結果が出力される。
【０２０６】
上記垂直方向の消失点情報を生成するステップは、上記撮像文書画像においてエッジを検出し、エッジマスクを生成するステップと、上記エッジマスクから複数のライン構造を抽出するステップと、上記複数のライン構造を、垂直方向のラインセットにグループ分けするステップと、上記垂直方向のラインセットに属する各ラインについて陰関数形式の複数の係数を演算するステップと、上記垂直方向のラインセットに対して、垂直方向のベースライン量を算出するステップと、上記垂直方向のラインセットに属するラインの数が２よりも大きい場合に、上記複数の係数を用いて係数マトリクスを生成するステップと、上記係数マトリクスに特異値分解を適用して、複数の固有ベクトルおよび固有値を決定するステップと、上記複数の固有値のうちの最大値に対する最小値の割合を示す固有値割合を算出するステップと、上記垂直方向のベースライン量と垂直方向のベースライン閾値とを比較する第１比較処理を行うステップと、上記固有値割合と垂直方向の固有値割合に対する閾値とを比較する第２比較処理を行うステップと、上記第１比較処理の結果が広いベースライン量であることを示し、上記第２比較処理の結果が単一点への集中度が良いことを示している場合、上記複数の固有値のうちの最小値に対応する固有ベクトルを用いて垂直方向の消失点を算出するステップとを含む。
【０２０７】
上記第１比較処理の結果が広いベースライン量であることを示していない、もしくは、上記第２比較処理の結果が単一点への集中度が良いことを示していない場合、垂直方向の消失点の方向を算出するステップを含み、上記垂直方向の消失点情報は、上記垂直方向の消失点の方向を示す情報である。
【０２０８】
上記垂直方向のラインセットに属するラインの数が２である場合、上記垂直方向のラインセットに属する一方のラインである第１ラインの法線と、他方のラインである２ラインの法線とのなす角度を、平行閾値と比較する第３比較処理を行うステップと、上記第１比較処理の結果が小さいベースライン量であることを示している場合、もしくは、上記第３比較処理の結果がほとんど平行であることを示している場合、上記第１ラインの法線と上記第２ラインの法線との平均に垂直な方向を垂直方向の消失点の方向と決定するステップとを含み、上記垂直方向の消失点情報は、上記垂直方向の消失点の方向を示す情報である。
【０２０９】
上記第１比較処理の結果が小さいベースライン量であることを示しておらず、かつ、上記第３比較処理の結果がほとんど平行であることを示していない場合、上記第１ラインと第２ラインとの交点を垂直方向の消失点として求めるステップを含み、上記垂直方向の消失点情報は、上記垂直方向の消失点を示す情報である。
【０２１０】
上記垂直方向のラインセットに属するラインの数が１である場合、上記垂直方向のラインセットに属する第１ラインの法線を決定するステップと、上記第１ラインの法線に垂直な方向を、垂直方向の消失点の方向と決定するステップとを含み、上記垂直方向の消失点情報は、上記垂直方向の消失点の方向を示す情報である。
【０２１１】
上記垂直方向のラインセットに属するラインの数が０である場合、基本となる垂直方向を、垂直方向の消失点の方向として設定し、上記垂直方向の消失点情報は、上記垂直方向の消失点の方向を示す情報である。
【０２１２】
上記複数のライン構造の中の第１ライン構造は、第１の垂直方向の消失点に集中する場合、上記垂直方向のラインセットにグループ分けされる。
【０２１３】
上記垂直方向のベースライン量を算出するステップは、上記垂直方向のラインセットに属する各対のラインについて、当該対の一方の第１ラインと、上記撮像文書画像の中心を通る水平方向のラインである水平ラインとの第１交点を決定するステップと、当該対の他方の第２ラインと上記水平ラインとの第２交点を決定するステップと、上記第１交点と第２交点との距離を算出するステップとを含み、上記垂直方向のラインセットに属する全ての対について求められた複数の距離の最大値を上記垂直方向のベースライン量として設定するステップを含む。
【０２１４】
上記垂直方向のベースライン量がベースライン閾値よりも大きい場合、上記第１比較処理において広いベースラインである結果が出力される。
【０２１５】
上記固有値割合が上記固有値割合閾値よりも小さい場合に、上記第２比較処理において、単一点への集中度が良いとの結果が出力される。
【０２１６】
上記第１の複数の評価値は、消失点の数、焦点長の信頼度、水平方向の消失点と垂直方向の消失点との角度、補正強度、検出されたコーナーと文書四角形との重なり度、および、補正角度から選択される少なくとも１つである。
【０２１７】
デジタル画像のライン構造を検出する方法であって、デジタル画像に対応するエッジマスクを取得するステップと、上記エッジマスク内のライン構造候補に対して、当該ライン構造候補の長さに対する当該ライン構造候補内の複数のラインギャップの合計の割合を示す占有度を算出するステップと、上記占有度に対応する第１基準を満たす場合に、上記ライン構造候補をライン構造とするステップとを含む。
【符号の説明】
【０２１８】
１ 画像処理装置
１１ 撮像画像取得部
１２ エッジ検出部
１３ 直線構造抽出部
１４ 消失点情報推定部
１５ コーナー検出部
１６ 輪郭決定部
１７ 幾何学的補正評価部
１８ 補正方法決定部
１９ 画像サイズ決定部
２０ 補正処理部
１００ 画像補正処理
１０４ 推定処理
１１０４ 前景除去処理
１１０６ エッジ検出処理
１１０８ テキスト特徴算出処理
１１１２ 不均一性低減処理
１１１６ ２値化処理
１１２８ 着目領域補正処理
５００ 輪郭四角形
６０６ 画像面
６１０ 文書面
ＬＨ 水平方向のライングループ
ＬＶ 垂直方向のライングループ
Ｏ 画像中心（基準点）
【特許請求の範囲】
【請求項１】
撮像装置により撮像された画像に対して幾何学的補正を行う画像処理装置であって、
撮像装置が矩形状の文書を撮像することにより得られた撮像文書画像を取得する撮像画像取得部と、
上記撮像文書画像における水平方向の消失点の位置または水平方向の消失点の方向を示す水平方向消失点情報を生成するとともに、上記撮像文書画像における垂直方向の消失点の位置または垂直水平方向の消失点の方向を示す垂直方向消失点情報を生成する消失点情報生成部と、
上記撮像文書画像におけるコーナーを検出するコーナー検出部と、
（１）上記水平方向消失点情報が水平方向の消失点の位置を示す場合、当該水平方向の消失点の位置に集まる２つの線分を上辺および下辺とし、上記水平方向消失点情報が水平方向の消失点の方向を示す場合、当該水平方向の消失点の方向に平行な２つの線分を上辺および下辺とし、（２）上記垂直方向消失点情報が垂直方向の消失点の位置を示す場合、当該垂直方向の消失点の位置に集まる２つの線分を左辺および右辺とし、上記垂直方向消失点情報が垂直方向の消失点の方向を示す場合、当該垂直方向の消失点の方向に平行な２つの線分を左辺および右辺とし、（３）上記コーナー検出部により検出されたコーナーを囲む四角形の輪郭を輪郭四角形として決定する輪郭決定部と、
上記輪郭四角形の信頼性を示す第１の評価値を算出する幾何学的補正評価部と、
上記第１の評価値を基に、上記輪郭四角形に基づいた第１補正方法により幾何学的補正を行うか否かを決定する補正方法決定部と、
上記補正方法決定部が第１補正方法による幾何学的補正を行うと決定した場合に、上記輪郭四角形に基づいて、幾何学的補正後の第１画像サイズを決定する画像サイズ決定部と、
上記補正方法決定部が第１補正方法による幾何学的補正を行うと決定した場合に、上記輪郭四角形と上記第１画像サイズとに基づいて上記撮像文書画像に対して幾何学的補正を行う補正処理部とを備えたことを特徴とする画像処理装置。
【請求項２】
上記輪郭決定部は、（１）撮像文書画像の前景成分を除去して前景除去画像を生成し、上記前景除去画像における不均一性を低減して再構成画像を生成し、（２）上記再構成画像に２値化処理を施すことにより第１文書着目領域候補マスクを生成し、（３）上記撮像文書画像におけるエッジ部を示すエッジマスクと上記第１文書着目領域候補マスクとを結合して第２文書着目領域候補マスクを生成し、（４）上記撮像文書画像から算出されるテキストの特徴点に基づいて上記第２文書着目領域候補マスクを補正することにより最終文書着目領域を特定し、
上記幾何学的補正評価部は、上記最終文書着目領域の信頼性を示す第２の評価値を算出し、
上記補正方法決定部は、上記第１の評価値および第２の評価値に基づいて、上記第１補正方法により幾何学的補正を行うか、上記最終文書着目領域に基づいた第２補正方法により幾何学的補正を行うか決定し、
上記画像サイズ決定部は、上記補正方法決定部が第２補正方法を選択した場合に、最終文書着目領域に基づいて、幾何学的補正後の第２画像サイズを決定し、
上記補正処理部は、上記補正方法決定部が第２補正方法を選択した場合に、上記最終文書着目領域と上記第２画像サイズとに基づいて上記撮像文書画像に対して幾何学的補正を行うことを特徴とする請求項１に記載の画像処理装置。
【請求項３】
上記補正方法決定部は、（１）上記第２の評価値が予め設定された第１条件を満たす場合に、上記第２補正方法を幾何学的補正の方法として決定し、（２）上記第２の評価値が上記第１条件を満たさず、かつ、上記第１の評価値が予め設定された第２条件を満たす場合に、上記第１補正方法を幾何学的補正の方法として決定し、（３）上記第２の評価値が上記の第１条件を満たさず、かつ、上記第１の評価値が上記第２条件を満たさない場合に、幾何学的補正を行わないものと決定し、
上記補正処理部は、上記補正方法決定部が幾何学的補正を行わないと決定した場合、撮像文書画像に対して幾何学的補正を行わないことを特徴とする請求項２に記載の画像処理装置。
【請求項４】
上記撮像文書画像におけるエッジ部を示すエッジマスクを生成するエッジ検出部と、
上記エッジマスクから複数の直線構造を抽出し、当該複数の直線構造を水平方向のライングループと垂直方向のライングループとにグループ分けする直線構造抽出部とを備え、
上記消失点情報生成部は、（１）上記水平方向のライングループに属する各直線構造について陰関数形式の複数の係数を求め、（２）上記水平方向のライングループに属する直線構造間の最大距離を示す水平方向ベースライン量を算出し、（３）上記水平方向のライングループに属する直線構造の数が２よりも大きい場合に、上記水平方向のライングループに属する各直線構造に対応する上記複数の係数を連結した係数行列を生成し、当該係数行列に特異値分解を適用して、複数の固有ベクトルおよび固有値を決定し、（４）上記複数の固有値のうちの最大値に対する最小値の割合を示す第１固有値割合を算出し、（５）上記水平方向ベースライン量が予め設定されたベースライン閾値よりも大きく、かつ、上記第１固有値割合が予め設定された平行度閾値よりも小さい場合に、上記複数の固有値のうちの最小値に対応する固有ベクトルを用いて水平方向の消失点の位置を求め、当該水平方向の消失点の位置を示す水平方向消失点情報を生成することを特徴とする請求項１から３の何れか１項に記載の画像処理装置。
【請求項５】
上記消失点情報生成部は、（１）上記水平方向のライングループに属する２つの直線構造について、一方の直線構造と上記撮像文書画像の中心を通る垂直方向のラインである垂直ラインとの第１交点を決定するとともに、他方の直線構造と上記垂直ラインとの第２交点を決定し、上記第１交点と第２交点との距離を算出し、（２）上記水平方向のライングループに属する２つの直線構造の全ての組合せについて求めた上記第１交点と第２交点との距離のうちの最大値を水平方向ベースライン量として設定することを特徴とする請求項４に記載の画像処理装置。
【請求項６】
上記消失点情報生成部は、（１）上記垂直方向のライングループに属する各直線構造について陰関数形式の複数の係数を求め、（２）上記垂直方向のライングループに属する直線構造間の最大距離を示す垂直方向ベースライン量を算出し、（３）上記垂直方向のライングループに属する直線構造の数が２よりも大きい場合に、上記垂直方向のライングループに属する各直線構造に対応する上記複数の係数を連結した係数行列を生成し、当該係数行列に特異値分解を適用して、複数の固有ベクトルおよび固有値を決定し、（４）上記複数の固有値のうちの最大値に対する最小値の割合を示す第２固有値割合を算出し、（５）上記垂直方向ベースライン量が予め設定されたベースライン閾値よりも大きく、かつ、上記第２固有値割合が予め設定された平行度閾値よりも小さい場合に、上記複数の固有値のうちの最小値に対応する固有ベクトルを用いて垂直方向の消失点の位置を求め、当該垂直方向の消失点の位置を示す垂直方向消失点情報を生成することを特徴とする請求項４または５に記載の画像処理装置。
【請求項７】
上記消失点情報生成部は、（１）上記垂直方向のライングループに属する２つの直線構造について、一方の直線構造と上記撮像文書画像の中心を通る水平方向のラインである水平ラインとの第３交点を決定するとともに、他方の直線構造と上記水平ラインとの第４交点を決定し、上記第３交点と第４交点との距離を算出し、（２）上記垂直方向のライングループに属する２つの直線構造の全ての組合せについて求めた上記第３交点と第４交点との距離のうちの最大値を垂直方向ベースライン量として設定することを特徴とする請求項６に記載の画像処理装置。
【請求項８】
上記第１の評価値は、消失点の数、焦点距離の信頼度、基準点および水平方向の消失点を通る直線と基準点および垂直方向の消失点を通る直線とのなす角度、検出されたコーナーと輪郭四角形との重なり度、および、推定される文書面の法線に対する撮像装置の光軸との角度である補正角度から選択される少なくとも１つであることを特徴とする請求項１から７の何れか１項に記載の画像処理装置。
【請求項１】
撮像装置により撮像された画像に対して幾何学的補正を行う画像処理装置であって、
撮像装置が矩形状の文書を撮像することにより得られた撮像文書画像を取得する撮像画像取得部と、
上記撮像文書画像における水平方向の消失点の位置または水平方向の消失点の方向を示す水平方向消失点情報を生成するとともに、上記撮像文書画像における垂直方向の消失点の位置または垂直水平方向の消失点の方向を示す垂直方向消失点情報を生成する消失点情報生成部と、
上記撮像文書画像におけるコーナーを検出するコーナー検出部と、
（１）上記水平方向消失点情報が水平方向の消失点の位置を示す場合、当該水平方向の消失点の位置に集まる２つの線分を上辺および下辺とし、上記水平方向消失点情報が水平方向の消失点の方向を示す場合、当該水平方向の消失点の方向に平行な２つの線分を上辺および下辺とし、（２）上記垂直方向消失点情報が垂直方向の消失点の位置を示す場合、当該垂直方向の消失点の位置に集まる２つの線分を左辺および右辺とし、上記垂直方向消失点情報が垂直方向の消失点の方向を示す場合、当該垂直方向の消失点の方向に平行な２つの線分を左辺および右辺とし、（３）上記コーナー検出部により検出されたコーナーを囲む四角形の輪郭を輪郭四角形として決定する輪郭決定部と、
上記輪郭四角形の信頼性を示す第１の評価値を算出する幾何学的補正評価部と、
上記第１の評価値を基に、上記輪郭四角形に基づいた第１補正方法により幾何学的補正を行うか否かを決定する補正方法決定部と、
上記補正方法決定部が第１補正方法による幾何学的補正を行うと決定した場合に、上記輪郭四角形に基づいて、幾何学的補正後の第１画像サイズを決定する画像サイズ決定部と、
上記補正方法決定部が第１補正方法による幾何学的補正を行うと決定した場合に、上記輪郭四角形と上記第１画像サイズとに基づいて上記撮像文書画像に対して幾何学的補正を行う補正処理部とを備えたことを特徴とする画像処理装置。
【請求項２】
上記輪郭決定部は、（１）撮像文書画像の前景成分を除去して前景除去画像を生成し、上記前景除去画像における不均一性を低減して再構成画像を生成し、（２）上記再構成画像に２値化処理を施すことにより第１文書着目領域候補マスクを生成し、（３）上記撮像文書画像におけるエッジ部を示すエッジマスクと上記第１文書着目領域候補マスクとを結合して第２文書着目領域候補マスクを生成し、（４）上記撮像文書画像から算出されるテキストの特徴点に基づいて上記第２文書着目領域候補マスクを補正することにより最終文書着目領域を特定し、
上記幾何学的補正評価部は、上記最終文書着目領域の信頼性を示す第２の評価値を算出し、
上記補正方法決定部は、上記第１の評価値および第２の評価値に基づいて、上記第１補正方法により幾何学的補正を行うか、上記最終文書着目領域に基づいた第２補正方法により幾何学的補正を行うか決定し、
上記画像サイズ決定部は、上記補正方法決定部が第２補正方法を選択した場合に、最終文書着目領域に基づいて、幾何学的補正後の第２画像サイズを決定し、
上記補正処理部は、上記補正方法決定部が第２補正方法を選択した場合に、上記最終文書着目領域と上記第２画像サイズとに基づいて上記撮像文書画像に対して幾何学的補正を行うことを特徴とする請求項１に記載の画像処理装置。
【請求項３】
上記補正方法決定部は、（１）上記第２の評価値が予め設定された第１条件を満たす場合に、上記第２補正方法を幾何学的補正の方法として決定し、（２）上記第２の評価値が上記第１条件を満たさず、かつ、上記第１の評価値が予め設定された第２条件を満たす場合に、上記第１補正方法を幾何学的補正の方法として決定し、（３）上記第２の評価値が上記の第１条件を満たさず、かつ、上記第１の評価値が上記第２条件を満たさない場合に、幾何学的補正を行わないものと決定し、
上記補正処理部は、上記補正方法決定部が幾何学的補正を行わないと決定した場合、撮像文書画像に対して幾何学的補正を行わないことを特徴とする請求項２に記載の画像処理装置。
【請求項４】
上記撮像文書画像におけるエッジ部を示すエッジマスクを生成するエッジ検出部と、
上記エッジマスクから複数の直線構造を抽出し、当該複数の直線構造を水平方向のライングループと垂直方向のライングループとにグループ分けする直線構造抽出部とを備え、
上記消失点情報生成部は、（１）上記水平方向のライングループに属する各直線構造について陰関数形式の複数の係数を求め、（２）上記水平方向のライングループに属する直線構造間の最大距離を示す水平方向ベースライン量を算出し、（３）上記水平方向のライングループに属する直線構造の数が２よりも大きい場合に、上記水平方向のライングループに属する各直線構造に対応する上記複数の係数を連結した係数行列を生成し、当該係数行列に特異値分解を適用して、複数の固有ベクトルおよび固有値を決定し、（４）上記複数の固有値のうちの最大値に対する最小値の割合を示す第１固有値割合を算出し、（５）上記水平方向ベースライン量が予め設定されたベースライン閾値よりも大きく、かつ、上記第１固有値割合が予め設定された平行度閾値よりも小さい場合に、上記複数の固有値のうちの最小値に対応する固有ベクトルを用いて水平方向の消失点の位置を求め、当該水平方向の消失点の位置を示す水平方向消失点情報を生成することを特徴とする請求項１から３の何れか１項に記載の画像処理装置。
【請求項５】
上記消失点情報生成部は、（１）上記水平方向のライングループに属する２つの直線構造について、一方の直線構造と上記撮像文書画像の中心を通る垂直方向のラインである垂直ラインとの第１交点を決定するとともに、他方の直線構造と上記垂直ラインとの第２交点を決定し、上記第１交点と第２交点との距離を算出し、（２）上記水平方向のライングループに属する２つの直線構造の全ての組合せについて求めた上記第１交点と第２交点との距離のうちの最大値を水平方向ベースライン量として設定することを特徴とする請求項４に記載の画像処理装置。
【請求項６】
上記消失点情報生成部は、（１）上記垂直方向のライングループに属する各直線構造について陰関数形式の複数の係数を求め、（２）上記垂直方向のライングループに属する直線構造間の最大距離を示す垂直方向ベースライン量を算出し、（３）上記垂直方向のライングループに属する直線構造の数が２よりも大きい場合に、上記垂直方向のライングループに属する各直線構造に対応する上記複数の係数を連結した係数行列を生成し、当該係数行列に特異値分解を適用して、複数の固有ベクトルおよび固有値を決定し、（４）上記複数の固有値のうちの最大値に対する最小値の割合を示す第２固有値割合を算出し、（５）上記垂直方向ベースライン量が予め設定されたベースライン閾値よりも大きく、かつ、上記第２固有値割合が予め設定された平行度閾値よりも小さい場合に、上記複数の固有値のうちの最小値に対応する固有ベクトルを用いて垂直方向の消失点の位置を求め、当該垂直方向の消失点の位置を示す垂直方向消失点情報を生成することを特徴とする請求項４または５に記載の画像処理装置。
【請求項７】
上記消失点情報生成部は、（１）上記垂直方向のライングループに属する２つの直線構造について、一方の直線構造と上記撮像文書画像の中心を通る水平方向のラインである水平ラインとの第３交点を決定するとともに、他方の直線構造と上記水平ラインとの第４交点を決定し、上記第３交点と第４交点との距離を算出し、（２）上記垂直方向のライングループに属する２つの直線構造の全ての組合せについて求めた上記第３交点と第４交点との距離のうちの最大値を垂直方向ベースライン量として設定することを特徴とする請求項６に記載の画像処理装置。
【請求項８】
上記第１の評価値は、消失点の数、焦点距離の信頼度、基準点および水平方向の消失点を通る直線と基準点および垂直方向の消失点を通る直線とのなす角度、検出されたコーナーと輪郭四角形との重なり度、および、推定される文書面の法線に対する撮像装置の光軸との角度である補正角度から選択される少なくとも１つであることを特徴とする請求項１から７の何れか１項に記載の画像処理装置。
【図１】
【図３】
【図４】
【図７Ａ】
【図７Ｂ】
【図７Ｃ】
【図７Ｄ】
【図９Ａ】
【図９Ｂ】
【図９Ｃ】
【図９Ｄ】
【図１３】
【図１４】
【図１５】
【図２】
【図５】
【図６】
【図８】
【図１０】
【図１１】
【図１２】
【図３】
【図４】
【図７Ａ】
【図７Ｂ】
【図７Ｃ】
【図７Ｄ】
【図９Ａ】
【図９Ｂ】
【図９Ｃ】
【図９Ｄ】
【図１３】
【図１４】
【図１５】
【図２】
【図５】
【図６】
【図８】
【図１０】
【図１１】
【図１２】
【公開番号】特開２０１３−８９２３４（Ｐ２０１３−８９２３４Ａ）
【公開日】平成２５年５月１３日（２０１３．５．１３）
【国際特許分類】
【出願番号】特願２０１２−２１９８４０（Ｐ２０１２−２１９８４０）
【出願日】平成２４年１０月１日（２０１２．１０．１）
【出願人】（０００００５０４９）シャープ株式会社 (33,933)
【Ｆターム（参考）】
【公開日】平成２５年５月１３日（２０１３．５．１３）
【国際特許分類】
【出願日】平成２４年１０月１日（２０１２．１０．１）
【出願人】（０００００５０４９）シャープ株式会社 (33,933)
【Ｆターム（参考）】
[ Back to top ]