画像歪み補正プログラム，画像歪み補正装置，画像歪み補正方法並びに画像歪み補正プログラムを格納した記録媒体
画像撮像装置により紙面を撮像した画像から、紙面内容を手がかりとして、紙面曲面上で互いに平行であった測地線の射影集合を抽出すると共に、測地線の射影集合から紙面曲面に該当する線織面を形成する線織線の射影集合を抽出する。そして、測地線及び線織線の射影集合から紙面曲面を推定し、その紙面曲面に基づいて画像の歪みを補正する。このようにすれば、多様な歪みの種類に対応可能となると共に、画像に紙面の一部しか表れていないときであっても歪み補正を行うことができる。
【発明の詳細な説明】
【技術分野】
本発明は、画像の３次元歪みを高精度に補正する技術に関する。
【背景技術】
近年、銀行などの金融業界では、入力業務効率化を狙いとして、ＣＣＤ（Ｃｈａｒｇｅ Ｃｏｕｐｌｅｄ Ｄｅｖｉｃｅ）やデジタルカメラなどの非接触型画像撮像装置を用い、紙帳票や紙文書を高速かつ快適に入力する技術が実用化されている。非接触型画像撮像装置を用いると、イメージスキャナなどの接触型画像撮像装置と比較して、画像入力中にも紙面への記入等が可能である、紙面を見たまま高速な画像入力が可能である、などの快適さを享受することができる。
一方、非接触型画像撮像装置により入力された画像には、非接触画像入力に起因する透視変換歪み、紙面曲面の曲がりに起因する画像歪みが存在する。また、接触型画像撮像装置により入力された画像であっても、厚手の本の紙面を撮像したものであれば、その紙面が曲面をなしていることから、同様に画像歪みが存在する。このため、画像撮像装置を用いた画像入力においては、これらの画像歪みを補正する技術が不可欠となる。そこで、本願出願人は、特開２００２−１５０２８０号公報に開示されるように、画像から抽出された紙面の２次元輪郭の歪みを手がかりとして紙面曲面を推定し、画像の歪みを補正する技術を提案した。
しかしながら、かかる提案技術では、補正対象となる歪みの種類が限定されると共に、その種類を指定する必要があり、歪みの種類が多様である実際の画像には適用が困難であった。また、画像に紙面全体が表れていないときには、その輪郭を抽出できないことから、画像補正には種々の制約が課せられていた。
そこで、本発明は以上のような従来の問題点に鑑み、紙面の内容（コンテンツ）を手がかりとして紙面曲面を推定することで、多様な歪みの種類に対応可能とすると共に、画像に紙面の一部しか表れていないときであっても歪み補正を可能とした、画像歪み補正技術を提供することを目的とする。
【発明の開示】
このため、本発明に係る画像歪み補正技術では、紙面を撮像した画像から、紙面内容を手がかりとして、紙面曲面上で互いに平行であった測地線の射影集合を抽出すると共に、その測地線の射影集合から、紙面曲面に該当する線織面を形成する線織線の射影集合を抽出する。そして、抽出された測地線及び線織線の射影集合から紙面曲面を推定し、その紙面曲面に基づいて画像の歪みを補正するようにする。
かかる構成によれば、紙面輪郭を手がかりとする歪み補正と比較して、紙面の内容を手がかりとして紙面曲面が推定されることから、多様な歪み種類への対応が可能となると共に、画像に紙面の一部しか表れていない入力画像からでも、高精度な歪み補正を行うことができる。
ここで、線織線の射影集合は、抽出された測地線の射影集合から、線織線射影を測地線射影で切った線分長さの比は一定であるという幾何学的性質を用いて探索することで抽出することが望ましい。このとき、抽出された測地線の射影集合の中から、線織線射影と測地線射影との交点における線織線射影の接線の傾きは一定という幾何学的性質を満たさない測地線射影を除外して、線織線の射影集合を抽出することが望ましい。このようにすれば、抽出した測地線射影の真偽を判定することが可能となり、ノイズに対してロバストな平行測地線の抽出を実現することができる。
また、紙面曲面は、抽出された測地線及び線織線の射影集合から、上端測地線射影と下端測地線射影との幅を推定し、平行測地線の幾何学的性質から数値積分・微分法を用いて導出した線織線本数分の２次方程式を解くことで、推定することが望ましい。このとき、上端測地線射影と下端測地線射影との幅は、紙面曲面上の線織線と画像撮像方向とがなす角度の多数決原理から推定することが望ましい。
さらに、線識線の射影集合は、抽出された測地線の射影集合を用いて、上端と下端との間に位置する内部測地線射影による内分比が一定となる線識線の集合の中から、内分比からのずれの総和が最小となるものを探索して抽出することが望ましい。このとき、紙面曲面は、紙面曲面に対する撮像高さ、及び、１つの線識線と交差する上端及び下端における測地線の接ベクトルは平行という幾何学的性質を用いて、推定される。このようにすれば、デジタルカメラなどの非接触型撮像装置による透視歪みを考慮し、より高精度な歪み補正を行うことができる。
この発明の他の目的と諸相とは、添付図面に関連する実施態様についての次の説明で明白になるであろう。
【図面の簡単な説明】
図１は、本発明を具現化した画像歪み補正装置の構成図である。
図２は、補正対象となる中折り沈み歪みの説明図である。
図３は、補正対象となる中折り浮き歪みの説明図である。
図４は、補正対象となる頂点浮き歪みの説明図である。
図５は、補正対象となる本の歪みの説明図である。
図６は、画像歪み補正装置における処理内容を示すフローチャートである。
図７は、画像歪みを含む入力画像の説明図である。
図８は、測地線の射影集合を抽出したイメージの説明図である。
図９は、線織線の射影集合を抽出したイメージの説明図である。
図１０は、画像歪みを補正した補正画像の説明図である。
図１１は、紙面曲面のモデルを示す説明図である。
図１２は、測地線射影を抽出する方法の説明図である。
図１３は、線織線射影を抽出する方法の説明図である。
図１４は、測地線射影の対応付けの探索に用いる線織線の性質の説明図である。
図１５は、紙面曲面の射影及びこれを平坦に伸ばした展開紙面の説明図である。
図１６は、紙面曲面の他のモデルを示す説明図である。
【発明を実施するための最良の形態】
以下、添付された図面を参照して本発明を詳述する。
本発明では、画像に表われた紙面の輪郭ではなく、紙面の内容を手がかりとして、画像歪みを補正する構成が採用される。紙面内容としては、紙面への印刷，記入事項の多様性にかかわらず安定して取得可能な性質である「安定性」と、紙面全体が取得できなくても活用可能な性質である「局所性」と、を共に満たす必要がある。このため、紙面中の文字列や罫線から仮想的な平行線を抽出し、その平行線が歪んだ紙面曲面上で平行な測地線となる性質を活用することで、平行測地線からの形状復元（Ｓｈａｐｅ ｆｒｏｍ Ｐａｒａｌｌｅｌ Ｇｅｏｄｅｓｉｃｓ）により歪み補正を行うようにした。
平行測地線からの形状復元による歪み補正を実現するため、本発明を具現化した画像歪み補正装置は、図１に示すように、原画像入力部１０と、測地線射影抽出部１２と、線織線射影抽出部１４と、紙面曲面推定部１６と、画像歪み補正部１８と、補正画像出力部２０と、を含んで構成される。なお、画像歪み補正装置は、少なくとも中央処理装置とメモリとを備えたコンピュータシステム上に構築され、メモリにロードされた画像歪み補正プログラムにより、画像歪みを補正するための各種機能が実現される。
原画像入力部１０では、デジタルカメラなどの非接触型画像撮像装置又はイメージスキャナなどの接触型画像撮像装置を介して、紙面を撮像した画像を入力する機能が提供される。ここで、画像入力としては、画像撮像装置からリアルタイムに画像を入力する構成に限らず、各種記録媒体に記録された撮像済みの画像の中から指定された画像を入力する構成であってもよい。なお、原画像入力部１０から提供される機能により、画像入力機能及び画像入力手段が夫々実現される。
測地線射影抽出部１２では、原画像入力部１０により入力された画像（以下「入力画像」という）から、紙面曲面上で互いに平行であった測地線の射影集合を抽出する機能が提供される。測地線射影集合の抽出は、例えば、入力画像から、測地線とみなすことができる文字列又は罫線を複数抽出し、これを２次元平面に射影した線の集合を求めることで実現される。なお、測地線射影抽出部１２から提供される機能により、測地線射影抽出機能，測地線射影抽出手段及び測地線射影抽出ステップが夫々実現される。
線織線射影抽出部１４では、測地線射影抽出部１２により抽出された測地線の射影集合から、測地線の幾何学的性質である「線織線射影を測地線射影で切った線分長さの比（比ベクトル）は一定」又は「上端と下端との間に位置する内部測地線射影による線識線射影の内分比は一定」を用いて、線織線の射影集合を探索して抽出する機能が提供される。ここで、紙面を曲げてできる３次元曲面は一般に「線織面」と呼ばれ、その面上の任意の点に対して、その点を通る曲面上の直線（線織線）が存在することは公知である。なお、線織線射影抽出部１４から提供される機能により、線織線射影抽出機能，線織線射影抽出手段及び線織線射影抽出ステップが夫々実現される。
紙面曲面推定部１６では、測地線射影抽出部１２及び線織線射影抽出部１４により夫々抽出された測地線及び線織線の射影集合から、入力画像における紙面曲面を推定する機能が提供される。即ち、その紙面曲面を平坦に伸ばしたときの平行測地線の上端と下端との幅を、紙面曲面上の線織線とその画像撮像方向とがなす角度の多数決原理に基づいて推定する。次に、平行測地線の幾何学的性質から数値微分・積分法を用いて導出した線織線本数分の２次方程式を解くことで、紙面曲面を推定する。または、紙面に対する撮像高さ、及び、平行測地線の幾何学的性質である「１つの線識線と交差する上端及び下端における測地線の接ベクトルは平行」から導出された方程式を解くことで、紙面曲面を推定する。なお、紙面曲面推定部１６から提供される機能により、紙面曲面推定機能，紙面曲面推定手段及び紙面曲面推定ステップが夫々実現される。
画像歪み補正部１８では、紙面曲面推定部１６により推定された紙面曲面に基づいて、入力画像に対して画素対応付けを行うことで、画像の歪みを補正する機能が提供される。なお、画像歪み補正部１８から提供される機能により、歪み補正機能，歪み補正手段及び歪み補正ステップが夫々実現される。
補正画像出力部２０では、画像歪み補正部１８により補正された入力画像（以下「補正画像」という）を出力する機能が提供される。ここで、画像出力としては、補正画像を用いて各種画像処理を実行する機能に出力する構成に限らず、各種記録媒体に補正画像を保存する構成であってもよい。
画像歪み補正装置において補正対象となる画像歪みには、図２及び図３に夫々示すような中央部に折り目がある紙面に発生する「中折り沈み歪み」及び「中折り浮き歪み」、図４に示すような紙面頂点付近が浮いている「頂点浮き歪み」、並びに、図５に示すような「本の歪み」などがある。ここで、図４に示す頂点浮き沈みでは、紙面の左上部が浮き上がっている様子が示されている。また、本の歪みは、辞書，専門書，ハンドブックなどの厚手の本を斜め上から非接触型画像撮像装置で撮像したことを起因とする歪みであって、透視変換に起因する歪み（透視変換歪み）と本の紙面自体が元々３次元曲面であることに起因する歪みとの複合歪みである。
次に、画像歪み補正装置における処理内容について、図６に示すフローチャートを参照しつつ説明する。
ステップ１（図では「Ｓ１」と略記する。以下同様）では、原画像入力部１０により提供される機能を介して、補正対象となる入力画像が入力される。即ち、画像撮像装置又は各種記録媒体から、図７に示すように、紙面が滑らかに歪んだ入力画像が読み込まれる。
ステップ２では、測地線射影抽出部１２により提供される機能を介して、原画像入力部１０により入力された入力画像から、図８に示すように、紙面曲面上で互いに平行であった測地線の射影集合が抽出される。
ステップ３では、線織線射影抽出部１４により提供される機能を介して、測地線射影抽出部１２により抽出された測地線の射影集合から、図９に示すように、線織線の射影集合が抽出される。
ステップ４では、紙面曲面推定部１６により提供される機能を介して、測地線射影抽出部１２及び線織線射影抽出部１４により夫々抽出された測地線及び線織線の射影集合から、入力画像における紙面曲面が推定される。
ステップ５では、画像歪み補正部１８により提供される機能を介して、紙面曲面推定部１６により推定された紙面曲面に基づいて、図１０に示すように、入力画像の歪みが補正される。
ステップ６では、補正画像出力部２０により提供される機能を介して、画像歪み補正部１８により補正された補正画像が出力される。
ステップ１〜ステップ６の処理によれば、入力画像から紙面曲面上で互いに平行であった測地線の射影集合が抽出されると共に、測地線の射影集合から線織線の射影集合が抽出される。そして、測地線及び線織線の射影集合から紙面曲面が推定され、その紙面曲面に基づいて画像の歪みが補正される。このため、紙面輪郭を手がかりとする歪み補正と比較して、紙面内容を手がかりとして紙面曲面が推定されることから、多様な歪み種類への対応が可能となると共に、画像に紙面の一部しか表れていない入力画像からでも、高精度な歪み補正を行うことができる。
次に、画像歪み補正の第１実施形態の詳細原理について説明する。
Ａ．紙面曲面のモデル化
紙面曲面は、曲面上の任意の点に対して、その点を通る曲面上の直線（線織線）が存在する、という性質を満たす線織面である。歪み補正の手がかりとして、紙面中の文字列や罫線から抽出できる仮想的な平行線を用いる。平坦な紙面上の平行線は、紙面曲面上では平行な測地線となる。
そこで、図１１に示すように、曲線座標系（ｓ，ｔ）（０≦ｓ≦１，０≦ｔ≦１）を用いて、紙面曲面をｘ（ｓ，ｔ）＝（１−ｔ）ｐ（ｓ）＋ｔｑ（ｓ）と表現する。ここで、ｐ（ｓ），ｑ（ｓ）は、夫々、紙面曲面における上端及び下端の測地線である。曲面座標系（ｓ，ｔ）は、ｓを固定することで線織線ｘｓ（ｔ）＝（１−ｔ）ｐ（ｓ）＋ｔｑ（ｓ）を表わす一方、ｔを固定することで平行な測地線ｘｔ（ｓ）＝（１−ｔ）ｐ（ｓ）＋ｔｑ（ｓ）を表わすように設定する。また、紙面曲面ｘ（ｓ，ｔ）は、ｘｙｚ座標空間中に存在し、ｚ軸に平行な正射影によりその画像が撮像されたと仮定する。
Ｂ．平行測地線射影の抽出
図１２に示すように、入力画像から抽出した文字列又は罫線に基づいて、測地線の射影集合を抽出する。具体的には、入力画像中の文字を構成する成分（文字成分）又は罫線を構成する線分を抽出した後、互いに近接する文字成分又は線分を結合することで、測地線の射影集合を抽出することができる。
Ｃ．線織線射影の抽出
紙面を曲げてできる曲面は一般に「線織面」と呼ばれ、その面上の任意の点に対して、その点を通る曲面上の直線（線織線）が存在する。平行測地線の射影集合から、測地線の幾何学的性質である「線織線射影を測地線射影で切った線分長さの比（比ベクトル）は一定」を用いて、線織線の射影集合を抽出する。
即ち、図１３に示すように、紙面曲面における上端及び下端の測地線射影を、夫々、Ｙｐ＝ｆｐ（Ｘｐ）及びＹｑ＝ｆｑ（Ｘｑ）とすると、線織線射影の抽出は、上端及び下端の測地線射影の対応付けＸｑ＝ｍ（Ｘｐ）を求めることに帰着する。ここで、対応付けＸｑ＝ｍ（Ｘｐ）は、線織線射影が持つ次の幾何学的性質から探索する。
性質１：線織線射影を測地線射影で切った線分長さの比（比ベクトル）は一定（図１４参照）
性質２：各線織線射影について、測地線射影との交点での接線の傾きは一定
対応付けＸｑ＝ｍ（Ｘｐ）の探索方法として、性質１のみを用い、候補となる測地線の射影集合に対する比ベクトルのずれの総和が最小となる評価基準により、探索対象たる線織線射影の比ベクトル及び最適な線織線の射影集合を探索することができる。また、性質２を併用することで、抽出した測地線射影の真偽を判定することが可能となり、線織線射影の抽出結果からのフィードバックにより、ノイズに対してロバストな平行測地線の抽出を実現することができる。即ち、抽出された測地線の射影集合の中から、性質２を満たさない測地線射影を除外して、線織線の射影集合を抽出する。
Ｄ．紙面曲面の推定
入力画像に表れている紙面曲面を平坦に伸ばしたとき、その上端及び下端の測地線射影の幅（未知定数）を推定することで、測地線の幾何学的性質から、紙面曲面を推定する。この方法を採用することで、数値微分・積分法を用いて導出した線織線本数分の２次方程式を解き、紙面曲面を求めることができるようになった。
先ず、上端の測地線射影上の点ｐ（ｓ）のｘ座標をｘｐとし、その他をｘｐの関数で表わすと、
となる。線織線射影の抽出により、対応付けｍ（ｘｐ）並びに上端及び下端の測地線射影ｆｐ（ｘｐ）及びｆｑ（ｘｐ）が既知となるので、紙面曲面の推定は、未知関数ｇｐ（ｘｐ）及びｇｑ（ｘｐ）を求めることに帰着する。
ところで、画像撮像装置を紙面原稿に正対させ、画像を正射影により撮像したときには、紙面曲面の射影（即ち画像）と、これを平坦に伸ばしたときの展開紙面と、の対応関係は図１５に示すようなる。紙面曲面射影上の平行な測地線の射影集合は、展開紙面上でも平行線となる性質がある。そこで、展開紙面において、上端及び下端の平行測地線の幅をｈとする。また、紙面曲面射影上の上端測地線射影の任意の一点Ｐ（ｘｐ）＝（ｘｐ，ｆｐ（ｘｐ））における接線とその点を通る線織線射影とがなす角度をα（ｘｐ）、上端測地線射影から下端測地線射影までの線織線射影の長さをｌ（ｘｐ）とする。さらに、展開紙面において、左端線織線から、紙面曲面上の上端測地線の任意の一点ｐ（ｘｐ）＝（ｘｐ，ｆｐ（ｘｐ），ｇｐ（ｘｐ））に対応する点までの長さをＬｐ（ｘｐ）＝Ｌ０（ｘｐ）、その点における上端測地線と線織線とがなす角度をβ（ｘｐ）とする。また、展開紙面において、ｔ＝ｔに対応した測地線を伸ばしたときに、左端線織線との交点から、紙面曲面上の上端測地線の任意の一点ｐ（ｘｐ）を通る線織線との交点までの長さをＬｔ（ｘｐ）とする。
線織線射影が抽出された後は、角度α（ｘｐ）及び線織線射影の長さｌ（ｘｐ）は計算できるので既知となる。一方、展開紙面における長さＬｔ（ｘｐ）及び角度β（ｘｐ）は未知である。従って、展開紙面における長さＬｔ（ｘｐ）及び角度β（ｘｐ）を求めることができれば、紙面曲面の推定、即ち、測地線の高さを示す未知関数ｇｐ（ｘｐ）及びｇｑ（ｘｐ）を求めることができる。
紙面曲面上の線織線を含む平面であってｘｙ平面との交線に対して線織線が垂直となる平面と、ｘｙ平面と、がなす角度（線織線の傾き）をθとすると、角度α（ｘｐ）及びβ（ｘｐ）との間には次の関係が成立する。
また、角度θ，線織線射影の長さｌ（ｘｐ）及び平行測地線の幅ｈと角度β（ｘｐ）との間には、線織線の傾きの性質により、次の関係が成立する。
これよりθを消去すると、次式が成立する。
ここで、平行測地線の幅ｈは未知定数であるが、何らかの方法で既知であると仮定すると、この式により、角度β（ｘｐ）を求めることができる。
紙面曲面上の任意の点は、ｐｔ（ｘｐ）＝（１−ｔ）ｐ（ｘｐ）＋ｔｑ（ｘｐ）と表わされる。この点を通る線織線と上端測地線との交点はｐ（ｘｐ）＝（ｘｐ，ｆｐ（ｘｐ），ｇｐ（ｘｐ））、下端測地線との交点はｑ（ｘｐ）＝（ｍ（ｘｐ），ｆｑ（ｘｐ），ｇｑ（ｘｐ））であるから、任意の点ｐｔ（ｘｐ）は、これらの交点をｔ：（１−ｔ）に内分する点である。従って、この性質から、任意の点ｐｔ（ｘｐ）は次のように表わすことができる。
展開紙面において、左端線織線からの測地線の長さＬｔ（ｘｐ）及びＬｐ（ｘｐ）の間に
上端測地線との交点のｘ座標（定数）である。
紙面曲面における測地線を伸ばすと、展開紙面における平行測地線を構成する直線となることから、展開紙面における長さＬｔ（ｘｐ）及びＬｐ（ｘｐ）の微分について次式が成立する。
一方、Ｌｔ（ｘｐ）を微分すると、
となり、これを上式に代入すると、任意のｔについて次式が成立する。
この式は、ｔについての２次式であるので、各次数の係数が０となる。
ここで、ｒ（ｘｐ）＝ｇｑ（ｘｐ）−ｇｐ（ｘｐ）とおくと、次式が夫々成立する。
これらの式のうち、平行測地線の幅ｈを何らかの方法で推定すると、数値微分法を用いることで、β’（ｘｐ）及びｍ’（ｘｐ）が既知となり、２次項の式からｒ’（ｘｐ）を求めることができる。また、これを１次項の式に代入すると、未知関数ｇｐ’（ｘｐ）がＬｐ’（ｘｐ）の１次式となり、これを定数項の式に代入することで、Ｌｐ’（ｘｐ）の２次方程式を導出することができる。そして、これらを各線織線に対応したｘｐについて解くと共に、数値積分法を適用することによりＬｐ（ｘｐ）を求めることで、紙面曲面を推定することができる。
なお、測地線及び線織線の射影集合から、紙面曲面における測地線の長さ及び角度の同一性からのずれの総和をエネルギ関数とした反復法により、紙面曲面を推定するようにしてもよい。
Ｅ．平行測地線の幅ｈの推定方法
ここでは、展開紙面における上端及び下端の平行測地線の幅ｈを、紙面曲面上の線織線と画像撮像方向とがなす角度の多数決原理に基づいて推定する手法を提案する。
線織線の傾き角度θ（ｘｐ），線織線射影の長さｌ（ｘｐ）及び平行測地線の幅ｈと角度β（ｘｐ）との間には、線織線の傾きの性質から次の関係が成立する。
ｈを固定すると、線織線の傾き角度θ（ｘｐ）が求められることから、集合｛ｘｐ｝に対して集合｛θ（ｘｐ）｝を求めることができる。そして、集合｛θ（ｘｐ）｝のばらつきが最小となるｈを求め、これを最適のｈとして採用することができる。
Ｆ．画素対応付けによる歪み補正
図１５に示したように、紙面曲面の射影と展開紙面との対応関係を用いると、紙面曲面の推定により求めた平行測地線の幅ｈ，角度β（ｘｐ）及び長さ
正画像との画素対応付けが可能となり、歪み補正を実現することができる。
次に、画像歪み補正の第２実施形態の詳細原理について説明する。
Ａ．紙面曲面のモデル化
紙面曲面は、曲面上の任意の点に対して、その点を通る曲面上の直線（線識線）が存在する、という性質を満たす線識面である。歪み補正の手がかりとして、紙面中の文字列や罫線から抽出できる仮想的な平行線を用いる。平坦な紙面上の平行線は、紙面曲面上では平行な測地線となる。
そこで、図１６に示すように、曲線座標系（ｓ，ｔ）（０≦ｓ≦１，０≦ｔ≦１）を用いて、紙面曲面をｘ（ｓ，ｔ）＝（１−ｔ）ｘＵ（ｓ）＋ｔｘＤ（ｓ）と表現する。ここで、ｘＵ（ｓ），ｘＤ（ｓ）は、夫々、紙面曲面における上端及び下端の測地線上の点であり、この２点を通る直線が線識線となるようにｓを設定する。曲面座標系（ｓ，ｔ）は、ｓを固定することで線織線を表わす一方、ｔを固定することで平行な測地線を表わす。
また、デジタルカメラなどの非接触型画像撮像装置による入力画像は、ｘｙｚ座標空間における紙面曲面から、撮像位置ｘＣ＝（ｘＣ，ｙＣ，ｚＣ）を中心としたｘｙ平面への透視射影として得られる。ここで、添え字α＝Ｕ，ｉ，Ｄに対して、紙面曲面上の測地線ｘαに対応する入力画像中の曲線を「測地線射影」と呼び、Ｘα＝（Ｘα，Ｙα，０）と表現する。そして、紙面に対する撮像高さの内分比をｈαとすると、ｘα＝ｈαＸα＋（１−ｈα）ｘＣが成立する。
Ｂ．平行測地線射影の抽出
図１２に示すように、入力画像から抽出した文字列又は罫線に基づいて、測地線の射影集合を抽出する。具体的には、入力画像中の文字を構成する文字成分又は罫線を構成する線分を抽出した後、互いに近接する文字成分又は線分を結合することで、測地線の射影集合を表わす点列ＸＵ，Ｘｉ，ＸＤを夫々抽出することができる。
Ｃ．線識線射影の抽出
入力画像及び紙面曲面において、上端と下端との間に位置する内部測地線射影による線識線射影の内分比を夫々Ｔｉ（ｓ）及びｔｉ（ｓ）とすると、（１／ｔｉ（ｓ））−１＝（ｈＤ（ｓ）／ｈＵ（ｓ））（（１／Ｔｉ（ｓ））−１）が成立する。平行測地線の幾何学的性質によれば、内部測地線による線識線の内分比ｔｉ（ｓ）はｓによらず一定であるから、２つの内部測地線射影による線識線の内分比Ｔｉ（ｓ），Ｔｊ（ｓ）について、（（１／Ｔｉ（ｓ））−１）：（（１／Ｔｊ（ｓ））−１）が一定となる。このため、この条件からのずれの総和が最小となるように、線識線の射影集合の探索、即ち、上端測地線射影上の点と下端測地線射影上の点との対応付けの探索を行い、パラメータ表現ＸＵ（ｓ），ＸＤ（ｓ）を得る。
Ｄ．紙面曲面の推定
平行測地線の幾何学的性質から、１つの線識線と交差する上端及び下端におけ
次式が成立する。
面曲面が定まる。
Ｅ．画素対応付けによる歪み補正
紙面曲面と入力画像の対応付けにより、歪み補正を実現することができる。
【産業上の利用可能性】
以上説明したように、本発明に係る画像歪み補正技術は、紙面の内容を手がかりとして紙面曲面を推定することで、多様な歪みの種類に対応可能であると共に、画像に紙面の一部しか表れていないときであっても歪み補正が可能であり、極めて有用なものである。
【図１】
【図２】
【図３】
【図４】
【図５】
【図６】
【図７】
【図８】
【図９】
【図１０】
【図１１】
【図１２】
【図１３】
【図１４】
【図１５】
【図１６】
【技術分野】
本発明は、画像の３次元歪みを高精度に補正する技術に関する。
【背景技術】
近年、銀行などの金融業界では、入力業務効率化を狙いとして、ＣＣＤ（Ｃｈａｒｇｅ Ｃｏｕｐｌｅｄ Ｄｅｖｉｃｅ）やデジタルカメラなどの非接触型画像撮像装置を用い、紙帳票や紙文書を高速かつ快適に入力する技術が実用化されている。非接触型画像撮像装置を用いると、イメージスキャナなどの接触型画像撮像装置と比較して、画像入力中にも紙面への記入等が可能である、紙面を見たまま高速な画像入力が可能である、などの快適さを享受することができる。
一方、非接触型画像撮像装置により入力された画像には、非接触画像入力に起因する透視変換歪み、紙面曲面の曲がりに起因する画像歪みが存在する。また、接触型画像撮像装置により入力された画像であっても、厚手の本の紙面を撮像したものであれば、その紙面が曲面をなしていることから、同様に画像歪みが存在する。このため、画像撮像装置を用いた画像入力においては、これらの画像歪みを補正する技術が不可欠となる。そこで、本願出願人は、特開２００２−１５０２８０号公報に開示されるように、画像から抽出された紙面の２次元輪郭の歪みを手がかりとして紙面曲面を推定し、画像の歪みを補正する技術を提案した。
しかしながら、かかる提案技術では、補正対象となる歪みの種類が限定されると共に、その種類を指定する必要があり、歪みの種類が多様である実際の画像には適用が困難であった。また、画像に紙面全体が表れていないときには、その輪郭を抽出できないことから、画像補正には種々の制約が課せられていた。
そこで、本発明は以上のような従来の問題点に鑑み、紙面の内容（コンテンツ）を手がかりとして紙面曲面を推定することで、多様な歪みの種類に対応可能とすると共に、画像に紙面の一部しか表れていないときであっても歪み補正を可能とした、画像歪み補正技術を提供することを目的とする。
【発明の開示】
このため、本発明に係る画像歪み補正技術では、紙面を撮像した画像から、紙面内容を手がかりとして、紙面曲面上で互いに平行であった測地線の射影集合を抽出すると共に、その測地線の射影集合から、紙面曲面に該当する線織面を形成する線織線の射影集合を抽出する。そして、抽出された測地線及び線織線の射影集合から紙面曲面を推定し、その紙面曲面に基づいて画像の歪みを補正するようにする。
かかる構成によれば、紙面輪郭を手がかりとする歪み補正と比較して、紙面の内容を手がかりとして紙面曲面が推定されることから、多様な歪み種類への対応が可能となると共に、画像に紙面の一部しか表れていない入力画像からでも、高精度な歪み補正を行うことができる。
ここで、線織線の射影集合は、抽出された測地線の射影集合から、線織線射影を測地線射影で切った線分長さの比は一定であるという幾何学的性質を用いて探索することで抽出することが望ましい。このとき、抽出された測地線の射影集合の中から、線織線射影と測地線射影との交点における線織線射影の接線の傾きは一定という幾何学的性質を満たさない測地線射影を除外して、線織線の射影集合を抽出することが望ましい。このようにすれば、抽出した測地線射影の真偽を判定することが可能となり、ノイズに対してロバストな平行測地線の抽出を実現することができる。
また、紙面曲面は、抽出された測地線及び線織線の射影集合から、上端測地線射影と下端測地線射影との幅を推定し、平行測地線の幾何学的性質から数値積分・微分法を用いて導出した線織線本数分の２次方程式を解くことで、推定することが望ましい。このとき、上端測地線射影と下端測地線射影との幅は、紙面曲面上の線織線と画像撮像方向とがなす角度の多数決原理から推定することが望ましい。
さらに、線識線の射影集合は、抽出された測地線の射影集合を用いて、上端と下端との間に位置する内部測地線射影による内分比が一定となる線識線の集合の中から、内分比からのずれの総和が最小となるものを探索して抽出することが望ましい。このとき、紙面曲面は、紙面曲面に対する撮像高さ、及び、１つの線識線と交差する上端及び下端における測地線の接ベクトルは平行という幾何学的性質を用いて、推定される。このようにすれば、デジタルカメラなどの非接触型撮像装置による透視歪みを考慮し、より高精度な歪み補正を行うことができる。
この発明の他の目的と諸相とは、添付図面に関連する実施態様についての次の説明で明白になるであろう。
【図面の簡単な説明】
図１は、本発明を具現化した画像歪み補正装置の構成図である。
図２は、補正対象となる中折り沈み歪みの説明図である。
図３は、補正対象となる中折り浮き歪みの説明図である。
図４は、補正対象となる頂点浮き歪みの説明図である。
図５は、補正対象となる本の歪みの説明図である。
図６は、画像歪み補正装置における処理内容を示すフローチャートである。
図７は、画像歪みを含む入力画像の説明図である。
図８は、測地線の射影集合を抽出したイメージの説明図である。
図９は、線織線の射影集合を抽出したイメージの説明図である。
図１０は、画像歪みを補正した補正画像の説明図である。
図１１は、紙面曲面のモデルを示す説明図である。
図１２は、測地線射影を抽出する方法の説明図である。
図１３は、線織線射影を抽出する方法の説明図である。
図１４は、測地線射影の対応付けの探索に用いる線織線の性質の説明図である。
図１５は、紙面曲面の射影及びこれを平坦に伸ばした展開紙面の説明図である。
図１６は、紙面曲面の他のモデルを示す説明図である。
【発明を実施するための最良の形態】
以下、添付された図面を参照して本発明を詳述する。
本発明では、画像に表われた紙面の輪郭ではなく、紙面の内容を手がかりとして、画像歪みを補正する構成が採用される。紙面内容としては、紙面への印刷，記入事項の多様性にかかわらず安定して取得可能な性質である「安定性」と、紙面全体が取得できなくても活用可能な性質である「局所性」と、を共に満たす必要がある。このため、紙面中の文字列や罫線から仮想的な平行線を抽出し、その平行線が歪んだ紙面曲面上で平行な測地線となる性質を活用することで、平行測地線からの形状復元（Ｓｈａｐｅ ｆｒｏｍ Ｐａｒａｌｌｅｌ Ｇｅｏｄｅｓｉｃｓ）により歪み補正を行うようにした。
平行測地線からの形状復元による歪み補正を実現するため、本発明を具現化した画像歪み補正装置は、図１に示すように、原画像入力部１０と、測地線射影抽出部１２と、線織線射影抽出部１４と、紙面曲面推定部１６と、画像歪み補正部１８と、補正画像出力部２０と、を含んで構成される。なお、画像歪み補正装置は、少なくとも中央処理装置とメモリとを備えたコンピュータシステム上に構築され、メモリにロードされた画像歪み補正プログラムにより、画像歪みを補正するための各種機能が実現される。
原画像入力部１０では、デジタルカメラなどの非接触型画像撮像装置又はイメージスキャナなどの接触型画像撮像装置を介して、紙面を撮像した画像を入力する機能が提供される。ここで、画像入力としては、画像撮像装置からリアルタイムに画像を入力する構成に限らず、各種記録媒体に記録された撮像済みの画像の中から指定された画像を入力する構成であってもよい。なお、原画像入力部１０から提供される機能により、画像入力機能及び画像入力手段が夫々実現される。
測地線射影抽出部１２では、原画像入力部１０により入力された画像（以下「入力画像」という）から、紙面曲面上で互いに平行であった測地線の射影集合を抽出する機能が提供される。測地線射影集合の抽出は、例えば、入力画像から、測地線とみなすことができる文字列又は罫線を複数抽出し、これを２次元平面に射影した線の集合を求めることで実現される。なお、測地線射影抽出部１２から提供される機能により、測地線射影抽出機能，測地線射影抽出手段及び測地線射影抽出ステップが夫々実現される。
線織線射影抽出部１４では、測地線射影抽出部１２により抽出された測地線の射影集合から、測地線の幾何学的性質である「線織線射影を測地線射影で切った線分長さの比（比ベクトル）は一定」又は「上端と下端との間に位置する内部測地線射影による線識線射影の内分比は一定」を用いて、線織線の射影集合を探索して抽出する機能が提供される。ここで、紙面を曲げてできる３次元曲面は一般に「線織面」と呼ばれ、その面上の任意の点に対して、その点を通る曲面上の直線（線織線）が存在することは公知である。なお、線織線射影抽出部１４から提供される機能により、線織線射影抽出機能，線織線射影抽出手段及び線織線射影抽出ステップが夫々実現される。
紙面曲面推定部１６では、測地線射影抽出部１２及び線織線射影抽出部１４により夫々抽出された測地線及び線織線の射影集合から、入力画像における紙面曲面を推定する機能が提供される。即ち、その紙面曲面を平坦に伸ばしたときの平行測地線の上端と下端との幅を、紙面曲面上の線織線とその画像撮像方向とがなす角度の多数決原理に基づいて推定する。次に、平行測地線の幾何学的性質から数値微分・積分法を用いて導出した線織線本数分の２次方程式を解くことで、紙面曲面を推定する。または、紙面に対する撮像高さ、及び、平行測地線の幾何学的性質である「１つの線識線と交差する上端及び下端における測地線の接ベクトルは平行」から導出された方程式を解くことで、紙面曲面を推定する。なお、紙面曲面推定部１６から提供される機能により、紙面曲面推定機能，紙面曲面推定手段及び紙面曲面推定ステップが夫々実現される。
画像歪み補正部１８では、紙面曲面推定部１６により推定された紙面曲面に基づいて、入力画像に対して画素対応付けを行うことで、画像の歪みを補正する機能が提供される。なお、画像歪み補正部１８から提供される機能により、歪み補正機能，歪み補正手段及び歪み補正ステップが夫々実現される。
補正画像出力部２０では、画像歪み補正部１８により補正された入力画像（以下「補正画像」という）を出力する機能が提供される。ここで、画像出力としては、補正画像を用いて各種画像処理を実行する機能に出力する構成に限らず、各種記録媒体に補正画像を保存する構成であってもよい。
画像歪み補正装置において補正対象となる画像歪みには、図２及び図３に夫々示すような中央部に折り目がある紙面に発生する「中折り沈み歪み」及び「中折り浮き歪み」、図４に示すような紙面頂点付近が浮いている「頂点浮き歪み」、並びに、図５に示すような「本の歪み」などがある。ここで、図４に示す頂点浮き沈みでは、紙面の左上部が浮き上がっている様子が示されている。また、本の歪みは、辞書，専門書，ハンドブックなどの厚手の本を斜め上から非接触型画像撮像装置で撮像したことを起因とする歪みであって、透視変換に起因する歪み（透視変換歪み）と本の紙面自体が元々３次元曲面であることに起因する歪みとの複合歪みである。
次に、画像歪み補正装置における処理内容について、図６に示すフローチャートを参照しつつ説明する。
ステップ１（図では「Ｓ１」と略記する。以下同様）では、原画像入力部１０により提供される機能を介して、補正対象となる入力画像が入力される。即ち、画像撮像装置又は各種記録媒体から、図７に示すように、紙面が滑らかに歪んだ入力画像が読み込まれる。
ステップ２では、測地線射影抽出部１２により提供される機能を介して、原画像入力部１０により入力された入力画像から、図８に示すように、紙面曲面上で互いに平行であった測地線の射影集合が抽出される。
ステップ３では、線織線射影抽出部１４により提供される機能を介して、測地線射影抽出部１２により抽出された測地線の射影集合から、図９に示すように、線織線の射影集合が抽出される。
ステップ４では、紙面曲面推定部１６により提供される機能を介して、測地線射影抽出部１２及び線織線射影抽出部１４により夫々抽出された測地線及び線織線の射影集合から、入力画像における紙面曲面が推定される。
ステップ５では、画像歪み補正部１８により提供される機能を介して、紙面曲面推定部１６により推定された紙面曲面に基づいて、図１０に示すように、入力画像の歪みが補正される。
ステップ６では、補正画像出力部２０により提供される機能を介して、画像歪み補正部１８により補正された補正画像が出力される。
ステップ１〜ステップ６の処理によれば、入力画像から紙面曲面上で互いに平行であった測地線の射影集合が抽出されると共に、測地線の射影集合から線織線の射影集合が抽出される。そして、測地線及び線織線の射影集合から紙面曲面が推定され、その紙面曲面に基づいて画像の歪みが補正される。このため、紙面輪郭を手がかりとする歪み補正と比較して、紙面内容を手がかりとして紙面曲面が推定されることから、多様な歪み種類への対応が可能となると共に、画像に紙面の一部しか表れていない入力画像からでも、高精度な歪み補正を行うことができる。
次に、画像歪み補正の第１実施形態の詳細原理について説明する。
Ａ．紙面曲面のモデル化
紙面曲面は、曲面上の任意の点に対して、その点を通る曲面上の直線（線織線）が存在する、という性質を満たす線織面である。歪み補正の手がかりとして、紙面中の文字列や罫線から抽出できる仮想的な平行線を用いる。平坦な紙面上の平行線は、紙面曲面上では平行な測地線となる。
そこで、図１１に示すように、曲線座標系（ｓ，ｔ）（０≦ｓ≦１，０≦ｔ≦１）を用いて、紙面曲面をｘ（ｓ，ｔ）＝（１−ｔ）ｐ（ｓ）＋ｔｑ（ｓ）と表現する。ここで、ｐ（ｓ），ｑ（ｓ）は、夫々、紙面曲面における上端及び下端の測地線である。曲面座標系（ｓ，ｔ）は、ｓを固定することで線織線ｘｓ（ｔ）＝（１−ｔ）ｐ（ｓ）＋ｔｑ（ｓ）を表わす一方、ｔを固定することで平行な測地線ｘｔ（ｓ）＝（１−ｔ）ｐ（ｓ）＋ｔｑ（ｓ）を表わすように設定する。また、紙面曲面ｘ（ｓ，ｔ）は、ｘｙｚ座標空間中に存在し、ｚ軸に平行な正射影によりその画像が撮像されたと仮定する。
Ｂ．平行測地線射影の抽出
図１２に示すように、入力画像から抽出した文字列又は罫線に基づいて、測地線の射影集合を抽出する。具体的には、入力画像中の文字を構成する成分（文字成分）又は罫線を構成する線分を抽出した後、互いに近接する文字成分又は線分を結合することで、測地線の射影集合を抽出することができる。
Ｃ．線織線射影の抽出
紙面を曲げてできる曲面は一般に「線織面」と呼ばれ、その面上の任意の点に対して、その点を通る曲面上の直線（線織線）が存在する。平行測地線の射影集合から、測地線の幾何学的性質である「線織線射影を測地線射影で切った線分長さの比（比ベクトル）は一定」を用いて、線織線の射影集合を抽出する。
即ち、図１３に示すように、紙面曲面における上端及び下端の測地線射影を、夫々、Ｙｐ＝ｆｐ（Ｘｐ）及びＹｑ＝ｆｑ（Ｘｑ）とすると、線織線射影の抽出は、上端及び下端の測地線射影の対応付けＸｑ＝ｍ（Ｘｐ）を求めることに帰着する。ここで、対応付けＸｑ＝ｍ（Ｘｐ）は、線織線射影が持つ次の幾何学的性質から探索する。
性質１：線織線射影を測地線射影で切った線分長さの比（比ベクトル）は一定（図１４参照）
性質２：各線織線射影について、測地線射影との交点での接線の傾きは一定
対応付けＸｑ＝ｍ（Ｘｐ）の探索方法として、性質１のみを用い、候補となる測地線の射影集合に対する比ベクトルのずれの総和が最小となる評価基準により、探索対象たる線織線射影の比ベクトル及び最適な線織線の射影集合を探索することができる。また、性質２を併用することで、抽出した測地線射影の真偽を判定することが可能となり、線織線射影の抽出結果からのフィードバックにより、ノイズに対してロバストな平行測地線の抽出を実現することができる。即ち、抽出された測地線の射影集合の中から、性質２を満たさない測地線射影を除外して、線織線の射影集合を抽出する。
Ｄ．紙面曲面の推定
入力画像に表れている紙面曲面を平坦に伸ばしたとき、その上端及び下端の測地線射影の幅（未知定数）を推定することで、測地線の幾何学的性質から、紙面曲面を推定する。この方法を採用することで、数値微分・積分法を用いて導出した線織線本数分の２次方程式を解き、紙面曲面を求めることができるようになった。
先ず、上端の測地線射影上の点ｐ（ｓ）のｘ座標をｘｐとし、その他をｘｐの関数で表わすと、
となる。線織線射影の抽出により、対応付けｍ（ｘｐ）並びに上端及び下端の測地線射影ｆｐ（ｘｐ）及びｆｑ（ｘｐ）が既知となるので、紙面曲面の推定は、未知関数ｇｐ（ｘｐ）及びｇｑ（ｘｐ）を求めることに帰着する。
ところで、画像撮像装置を紙面原稿に正対させ、画像を正射影により撮像したときには、紙面曲面の射影（即ち画像）と、これを平坦に伸ばしたときの展開紙面と、の対応関係は図１５に示すようなる。紙面曲面射影上の平行な測地線の射影集合は、展開紙面上でも平行線となる性質がある。そこで、展開紙面において、上端及び下端の平行測地線の幅をｈとする。また、紙面曲面射影上の上端測地線射影の任意の一点Ｐ（ｘｐ）＝（ｘｐ，ｆｐ（ｘｐ））における接線とその点を通る線織線射影とがなす角度をα（ｘｐ）、上端測地線射影から下端測地線射影までの線織線射影の長さをｌ（ｘｐ）とする。さらに、展開紙面において、左端線織線から、紙面曲面上の上端測地線の任意の一点ｐ（ｘｐ）＝（ｘｐ，ｆｐ（ｘｐ），ｇｐ（ｘｐ））に対応する点までの長さをＬｐ（ｘｐ）＝Ｌ０（ｘｐ）、その点における上端測地線と線織線とがなす角度をβ（ｘｐ）とする。また、展開紙面において、ｔ＝ｔに対応した測地線を伸ばしたときに、左端線織線との交点から、紙面曲面上の上端測地線の任意の一点ｐ（ｘｐ）を通る線織線との交点までの長さをＬｔ（ｘｐ）とする。
線織線射影が抽出された後は、角度α（ｘｐ）及び線織線射影の長さｌ（ｘｐ）は計算できるので既知となる。一方、展開紙面における長さＬｔ（ｘｐ）及び角度β（ｘｐ）は未知である。従って、展開紙面における長さＬｔ（ｘｐ）及び角度β（ｘｐ）を求めることができれば、紙面曲面の推定、即ち、測地線の高さを示す未知関数ｇｐ（ｘｐ）及びｇｑ（ｘｐ）を求めることができる。
紙面曲面上の線織線を含む平面であってｘｙ平面との交線に対して線織線が垂直となる平面と、ｘｙ平面と、がなす角度（線織線の傾き）をθとすると、角度α（ｘｐ）及びβ（ｘｐ）との間には次の関係が成立する。
また、角度θ，線織線射影の長さｌ（ｘｐ）及び平行測地線の幅ｈと角度β（ｘｐ）との間には、線織線の傾きの性質により、次の関係が成立する。
これよりθを消去すると、次式が成立する。
ここで、平行測地線の幅ｈは未知定数であるが、何らかの方法で既知であると仮定すると、この式により、角度β（ｘｐ）を求めることができる。
紙面曲面上の任意の点は、ｐｔ（ｘｐ）＝（１−ｔ）ｐ（ｘｐ）＋ｔｑ（ｘｐ）と表わされる。この点を通る線織線と上端測地線との交点はｐ（ｘｐ）＝（ｘｐ，ｆｐ（ｘｐ），ｇｐ（ｘｐ））、下端測地線との交点はｑ（ｘｐ）＝（ｍ（ｘｐ），ｆｑ（ｘｐ），ｇｑ（ｘｐ））であるから、任意の点ｐｔ（ｘｐ）は、これらの交点をｔ：（１−ｔ）に内分する点である。従って、この性質から、任意の点ｐｔ（ｘｐ）は次のように表わすことができる。
展開紙面において、左端線織線からの測地線の長さＬｔ（ｘｐ）及びＬｐ（ｘｐ）の間に
上端測地線との交点のｘ座標（定数）である。
紙面曲面における測地線を伸ばすと、展開紙面における平行測地線を構成する直線となることから、展開紙面における長さＬｔ（ｘｐ）及びＬｐ（ｘｐ）の微分について次式が成立する。
一方、Ｌｔ（ｘｐ）を微分すると、
となり、これを上式に代入すると、任意のｔについて次式が成立する。
この式は、ｔについての２次式であるので、各次数の係数が０となる。
ここで、ｒ（ｘｐ）＝ｇｑ（ｘｐ）−ｇｐ（ｘｐ）とおくと、次式が夫々成立する。
これらの式のうち、平行測地線の幅ｈを何らかの方法で推定すると、数値微分法を用いることで、β’（ｘｐ）及びｍ’（ｘｐ）が既知となり、２次項の式からｒ’（ｘｐ）を求めることができる。また、これを１次項の式に代入すると、未知関数ｇｐ’（ｘｐ）がＬｐ’（ｘｐ）の１次式となり、これを定数項の式に代入することで、Ｌｐ’（ｘｐ）の２次方程式を導出することができる。そして、これらを各線織線に対応したｘｐについて解くと共に、数値積分法を適用することによりＬｐ（ｘｐ）を求めることで、紙面曲面を推定することができる。
なお、測地線及び線織線の射影集合から、紙面曲面における測地線の長さ及び角度の同一性からのずれの総和をエネルギ関数とした反復法により、紙面曲面を推定するようにしてもよい。
Ｅ．平行測地線の幅ｈの推定方法
ここでは、展開紙面における上端及び下端の平行測地線の幅ｈを、紙面曲面上の線織線と画像撮像方向とがなす角度の多数決原理に基づいて推定する手法を提案する。
線織線の傾き角度θ（ｘｐ），線織線射影の長さｌ（ｘｐ）及び平行測地線の幅ｈと角度β（ｘｐ）との間には、線織線の傾きの性質から次の関係が成立する。
ｈを固定すると、線織線の傾き角度θ（ｘｐ）が求められることから、集合｛ｘｐ｝に対して集合｛θ（ｘｐ）｝を求めることができる。そして、集合｛θ（ｘｐ）｝のばらつきが最小となるｈを求め、これを最適のｈとして採用することができる。
Ｆ．画素対応付けによる歪み補正
図１５に示したように、紙面曲面の射影と展開紙面との対応関係を用いると、紙面曲面の推定により求めた平行測地線の幅ｈ，角度β（ｘｐ）及び長さ
正画像との画素対応付けが可能となり、歪み補正を実現することができる。
次に、画像歪み補正の第２実施形態の詳細原理について説明する。
Ａ．紙面曲面のモデル化
紙面曲面は、曲面上の任意の点に対して、その点を通る曲面上の直線（線識線）が存在する、という性質を満たす線識面である。歪み補正の手がかりとして、紙面中の文字列や罫線から抽出できる仮想的な平行線を用いる。平坦な紙面上の平行線は、紙面曲面上では平行な測地線となる。
そこで、図１６に示すように、曲線座標系（ｓ，ｔ）（０≦ｓ≦１，０≦ｔ≦１）を用いて、紙面曲面をｘ（ｓ，ｔ）＝（１−ｔ）ｘＵ（ｓ）＋ｔｘＤ（ｓ）と表現する。ここで、ｘＵ（ｓ），ｘＤ（ｓ）は、夫々、紙面曲面における上端及び下端の測地線上の点であり、この２点を通る直線が線識線となるようにｓを設定する。曲面座標系（ｓ，ｔ）は、ｓを固定することで線織線を表わす一方、ｔを固定することで平行な測地線を表わす。
また、デジタルカメラなどの非接触型画像撮像装置による入力画像は、ｘｙｚ座標空間における紙面曲面から、撮像位置ｘＣ＝（ｘＣ，ｙＣ，ｚＣ）を中心としたｘｙ平面への透視射影として得られる。ここで、添え字α＝Ｕ，ｉ，Ｄに対して、紙面曲面上の測地線ｘαに対応する入力画像中の曲線を「測地線射影」と呼び、Ｘα＝（Ｘα，Ｙα，０）と表現する。そして、紙面に対する撮像高さの内分比をｈαとすると、ｘα＝ｈαＸα＋（１−ｈα）ｘＣが成立する。
Ｂ．平行測地線射影の抽出
図１２に示すように、入力画像から抽出した文字列又は罫線に基づいて、測地線の射影集合を抽出する。具体的には、入力画像中の文字を構成する文字成分又は罫線を構成する線分を抽出した後、互いに近接する文字成分又は線分を結合することで、測地線の射影集合を表わす点列ＸＵ，Ｘｉ，ＸＤを夫々抽出することができる。
Ｃ．線識線射影の抽出
入力画像及び紙面曲面において、上端と下端との間に位置する内部測地線射影による線識線射影の内分比を夫々Ｔｉ（ｓ）及びｔｉ（ｓ）とすると、（１／ｔｉ（ｓ））−１＝（ｈＤ（ｓ）／ｈＵ（ｓ））（（１／Ｔｉ（ｓ））−１）が成立する。平行測地線の幾何学的性質によれば、内部測地線による線識線の内分比ｔｉ（ｓ）はｓによらず一定であるから、２つの内部測地線射影による線識線の内分比Ｔｉ（ｓ），Ｔｊ（ｓ）について、（（１／Ｔｉ（ｓ））−１）：（（１／Ｔｊ（ｓ））−１）が一定となる。このため、この条件からのずれの総和が最小となるように、線識線の射影集合の探索、即ち、上端測地線射影上の点と下端測地線射影上の点との対応付けの探索を行い、パラメータ表現ＸＵ（ｓ），ＸＤ（ｓ）を得る。
Ｄ．紙面曲面の推定
平行測地線の幾何学的性質から、１つの線識線と交差する上端及び下端におけ
次式が成立する。
面曲面が定まる。
Ｅ．画素対応付けによる歪み補正
紙面曲面と入力画像の対応付けにより、歪み補正を実現することができる。
【産業上の利用可能性】
以上説明したように、本発明に係る画像歪み補正技術は、紙面の内容を手がかりとして紙面曲面を推定することで、多様な歪みの種類に対応可能であると共に、画像に紙面の一部しか表れていないときであっても歪み補正が可能であり、極めて有用なものである。
【図１】
【図２】
【図３】
【図４】
【図５】
【図６】
【図７】
【図８】
【図９】
【図１０】
【図１１】
【図１２】
【図１３】
【図１４】
【図１５】
【図１６】
【特許請求の範囲】
【請求項１】
紙面を撮像した画像を入力する画像入力機能と、該画像入力機能により入力された画像から、前記紙面の内容を手がかりとして、紙面曲面上で互いに平行であった測地線の射影集合を抽出する測地線射影抽出機能と、該測地線射影抽出機能により抽出された測地線の射影集合から、前記紙面曲面に該当する線織面を形成する線織線の射影集合を抽出する線織線射影抽出機能と、前記測地線射影抽出機能及び線織線射影抽出機能により夫々抽出された測地線及び線織線の射影集合から、前記紙面曲面を推定する紙面曲面推定機能と、該紙面曲面推定機能により推定された紙面曲面に基づいて、前記画像入力機能により入力された画像の歪みを補正する歪み補正機能と、をコンピュータに実現させるための画像歪み補正プログラム。
【請求項２】
前記線織線射影抽出機能は、前記測地線射影抽出機能により抽出された測地線の射影集合から、線織線射影を測地線射影で切った線分長さの比が一定の線織線の射影集合を探索して抽出することを特徴とする請求の範囲第１項記載の画像歪み補正プログラム。
【請求項３】
前記線織線射影抽出機能は、前記測地線射影抽出機能により抽出された測地線の射影集合の中から、線織線射影と測地線射影との交点における線織線射影の接線の傾きは一定ではない測地線射影を除外して、線織線の射影集合を抽出することを特徴とする請求の範囲第１項記載の画像歪み補正プログラム。
【請求項４】
前記線識線射影抽出機能は、前記測地線射影抽出機能により抽出された測地線の射影集合を用いて、上端と下端との間に位置する測地線射影による内分比が一定となる線識線の集合の中から、内分比からのずれの総和が最小となるものを探索して、線織線の射影集合として抽出することを特徴とする請求の範囲第１項記載の画像歪み補正プログラム。
【請求項５】
前記紙面曲面推定機能は、紙面曲面に対する撮像高さ、及び、１つの線識線と交差する上端及び下端における測地線の接ベクトルは平行という幾何学的性質を用いて、紙面曲面を推定することを特徴とする請求の範囲第４項記載の画像歪み補正プログラム。
【請求項６】
紙面を撮像した画像を入力する画像入力手段と、該画像入力手段により入力された画像から、前記紙面の内容を手がかりとして、紙面曲面上で互いに平行であった測地線の射影集合を抽出する測地線射影抽出手段と、該測地線射影抽出手段により抽出された測地線の射影集合から、前記紙面曲面に該当する線織面を形成する線織線の射影集合を抽出する線織線射影抽出手段と、前記測地線射影抽出手段及び線織線射影抽出手段により夫々抽出された測地線及び線織線の射影集合から、前記紙面曲面を推定する紙面曲面推定手段と、該紙面曲面推定手段により推定された紙面曲面に基づいて、前記画像入力手段により入力された画像の歪みを補正する歪み補正手段と、を含んで構成されたことを特徴とする画像歪み補正装置。
【請求項７】
画像撮像装置により紙面を撮像した画像から、前記紙面の内容を手がかりとして、紙面曲面上で互いに平行であった測地線の射影集合を抽出する測地線射影抽出ステップと、該測地線射影抽出ステップにより抽出された測地線の射影集合から、前記紙面曲面に該当する線織面を形成する線織線の射影集合を抽出する線織線射影抽出ステップと、前記測地線射影抽出ステップ及び線織線射影抽出ステップにより夫々抽出された測地線及び線織線の射影集合から、前記紙面曲面を推定する紙面曲面推定ステップと、該紙面曲面推定ステップにより推定された紙面曲面に基づいて、前記画像入力ステップにより入力された画像の歪みを補正する歪み補正ステップと、をコンピュータに実行させることを特徴とする画像歪み補正方法。
【請求項８】
紙面を撮像した画像を入力する画像入力機能と、該画像入力機能により入力された画像から、前記紙面の内容を手がかりとして、紙面曲面上で互いに平行であった測地線の射影集合を抽出する測地線射影抽出機能と、該測地線射影抽出機能により抽出された測地線の射影集合から、前記紙面曲面に該当する線織面を形成する線織線の射影集合を抽出する線織線射影抽出機能と、前記測地線射影抽出機能及び線織線射影抽出機能により夫々抽出された測地線及び線織線の射影集合から、前記紙面曲面を推定する紙面曲面推定機能と、該紙面曲面推定機能により推定された紙面曲面に基づいて、前記画像入力機能により入力された画像の歪みを補正する歪み補正機能と、をコンピュータに実現させるための画像歪み補正プログラムを格納した記録媒体。
【請求項１】
紙面を撮像した画像を入力する画像入力機能と、該画像入力機能により入力された画像から、前記紙面の内容を手がかりとして、紙面曲面上で互いに平行であった測地線の射影集合を抽出する測地線射影抽出機能と、該測地線射影抽出機能により抽出された測地線の射影集合から、前記紙面曲面に該当する線織面を形成する線織線の射影集合を抽出する線織線射影抽出機能と、前記測地線射影抽出機能及び線織線射影抽出機能により夫々抽出された測地線及び線織線の射影集合から、前記紙面曲面を推定する紙面曲面推定機能と、該紙面曲面推定機能により推定された紙面曲面に基づいて、前記画像入力機能により入力された画像の歪みを補正する歪み補正機能と、をコンピュータに実現させるための画像歪み補正プログラム。
【請求項２】
前記線織線射影抽出機能は、前記測地線射影抽出機能により抽出された測地線の射影集合から、線織線射影を測地線射影で切った線分長さの比が一定の線織線の射影集合を探索して抽出することを特徴とする請求の範囲第１項記載の画像歪み補正プログラム。
【請求項３】
前記線織線射影抽出機能は、前記測地線射影抽出機能により抽出された測地線の射影集合の中から、線織線射影と測地線射影との交点における線織線射影の接線の傾きは一定ではない測地線射影を除外して、線織線の射影集合を抽出することを特徴とする請求の範囲第１項記載の画像歪み補正プログラム。
【請求項４】
前記線識線射影抽出機能は、前記測地線射影抽出機能により抽出された測地線の射影集合を用いて、上端と下端との間に位置する測地線射影による内分比が一定となる線識線の集合の中から、内分比からのずれの総和が最小となるものを探索して、線織線の射影集合として抽出することを特徴とする請求の範囲第１項記載の画像歪み補正プログラム。
【請求項５】
前記紙面曲面推定機能は、紙面曲面に対する撮像高さ、及び、１つの線識線と交差する上端及び下端における測地線の接ベクトルは平行という幾何学的性質を用いて、紙面曲面を推定することを特徴とする請求の範囲第４項記載の画像歪み補正プログラム。
【請求項６】
紙面を撮像した画像を入力する画像入力手段と、該画像入力手段により入力された画像から、前記紙面の内容を手がかりとして、紙面曲面上で互いに平行であった測地線の射影集合を抽出する測地線射影抽出手段と、該測地線射影抽出手段により抽出された測地線の射影集合から、前記紙面曲面に該当する線織面を形成する線織線の射影集合を抽出する線織線射影抽出手段と、前記測地線射影抽出手段及び線織線射影抽出手段により夫々抽出された測地線及び線織線の射影集合から、前記紙面曲面を推定する紙面曲面推定手段と、該紙面曲面推定手段により推定された紙面曲面に基づいて、前記画像入力手段により入力された画像の歪みを補正する歪み補正手段と、を含んで構成されたことを特徴とする画像歪み補正装置。
【請求項７】
画像撮像装置により紙面を撮像した画像から、前記紙面の内容を手がかりとして、紙面曲面上で互いに平行であった測地線の射影集合を抽出する測地線射影抽出ステップと、該測地線射影抽出ステップにより抽出された測地線の射影集合から、前記紙面曲面に該当する線織面を形成する線織線の射影集合を抽出する線織線射影抽出ステップと、前記測地線射影抽出ステップ及び線織線射影抽出ステップにより夫々抽出された測地線及び線織線の射影集合から、前記紙面曲面を推定する紙面曲面推定ステップと、該紙面曲面推定ステップにより推定された紙面曲面に基づいて、前記画像入力ステップにより入力された画像の歪みを補正する歪み補正ステップと、をコンピュータに実行させることを特徴とする画像歪み補正方法。
【請求項８】
紙面を撮像した画像を入力する画像入力機能と、該画像入力機能により入力された画像から、前記紙面の内容を手がかりとして、紙面曲面上で互いに平行であった測地線の射影集合を抽出する測地線射影抽出機能と、該測地線射影抽出機能により抽出された測地線の射影集合から、前記紙面曲面に該当する線織面を形成する線織線の射影集合を抽出する線織線射影抽出機能と、前記測地線射影抽出機能及び線織線射影抽出機能により夫々抽出された測地線及び線織線の射影集合から、前記紙面曲面を推定する紙面曲面推定機能と、該紙面曲面推定機能により推定された紙面曲面に基づいて、前記画像入力機能により入力された画像の歪みを補正する歪み補正機能と、をコンピュータに実現させるための画像歪み補正プログラムを格納した記録媒体。
【国際公開番号】ＷＯ２００５／０４１１２５
【国際公開日】平成１７年５月６日（２００５．５．６）
【発行日】平成１９年３月２９日（２００７．３．２９）
【国際特許分類】
【出願番号】特願２００５−５１４９０３（Ｐ２００５−５１４９０３）
【国際出願番号】ＰＣＴ／ＪＰ２００４／００２８２５
【国際出願日】平成１６年３月５日（２００４．３．５）
【出願人】（０００００５２２３）富士通株式会社 (25,993)
【Ｆターム（参考）】
【国際公開日】平成１７年５月６日（２００５．５．６）
【発行日】平成１９年３月２９日（２００７．３．２９）
【国際特許分類】
【国際出願番号】ＰＣＴ／ＪＰ２００４／００２８２５
【国際出願日】平成１６年３月５日（２００４．３．５）
【出願人】（０００００５２２３）富士通株式会社 (25,993)
【Ｆターム（参考）】
[ Back to top ]