画像処理方法、画像処理装置、スキャナ及びコンピュータプログラム
【課題】本の上下の輪郭線に基づき本のページの曲面を補正する画像処理方法等を提供する。
【解決手段】画像処理方法は、概して、２次元画像における曲面上で消失点を取得するステップと、消失点によって前記曲面の上輪郭線及び下輪郭線の間の全ての直線セグメントを取り出すステップと、平行な直線セグメントを得るよう透視歪みを除去するステップと、直線セグメントの長さを取得し、その長さに従って３次元空間における各直線セグメントの正確な幅及び直線セグメントの奥行き増分を取得するステップと、正確な幅及び奥行き増分に従って各直線セグメントの拡大された幅を取得するステップと、曲面を平面に変換するよう曲面の全体的な拡大された幅を取得するステップと、曲面上の画像コンテンツを平面上に変換するステップとを有する。
【解決手段】画像処理方法は、概して、２次元画像における曲面上で消失点を取得するステップと、消失点によって前記曲面の上輪郭線及び下輪郭線の間の全ての直線セグメントを取り出すステップと、平行な直線セグメントを得るよう透視歪みを除去するステップと、直線セグメントの長さを取得し、その長さに従って３次元空間における各直線セグメントの正確な幅及び直線セグメントの奥行き増分を取得するステップと、正確な幅及び奥行き増分に従って各直線セグメントの拡大された幅を取得するステップと、曲面を平面に変換するよう曲面の全体的な拡大された幅を取得するステップと、曲面上の画像コンテンツを平面上に変換するステップとを有する。
【発明の詳細な説明】
【技術分野】
【０００１】
本発明は、画像処理の分野に関し、特に、捕捉画像をデワーピング（de-warping）する画像処理方法に関する。
【背景技術】
【０００２】
本は、その画像が非接触式スキャナ又はカメラにより捕捉される場合に、本の厚みにより通常湾曲し、従って、スキャナ又はカメラにより捕捉された画像は、たわみにより生じる幾何学歪みを免れない傾向がある。図１ａは、非接触式スキャナによりスキャンされた本の画像の一例を表し、その画像はたわみにより生じる幾何学的歪みを有する。そのような本の内容を読むことは厄介であり、その後の動作のための歪んだ画像の使用は認識精度の低下をもたらすこともある。
【０００３】
本の歪み画像における歪みを補正するための多数の方法が提案されている。本の画像を補整するための従来の方法は、２つのカテゴリ、すなわち、内容に依存しない補正方法及び内容に依存した補正方法に分類され得る。
【０００４】
内容に依存しない補正方法では、ユーザは、本の開いた湾曲ページ上に近接して位置する方眼紙の用紙を有する。方眼紙の画像は、本のページの辺りに浮かぶカメラにより捕捉され得る。次いで、本の曲面が、検出された格子からモデル化され得、補正されていない格子と補正された格子との間のマッピング関係が、導出され得る。本が静止したままである状態で、方眼紙は静かに移動することができ、次いで、本のページ画像が捕捉され得、本の湾曲したページが、格子マッピング関係に従って本の平らなページにマッピングされ得る。この方法の欠点は、毎回本のページ上に方眼紙の用紙を置くことがユーザにとって極めて不便であることにある。
【０００５】
多数の内容に依存した方法は、本の異なるページ内容に基づき利用可能であり、通常は、例えば、連続ラインマージンスケルトン、単語に基づくスキュー補正、テキストラインに基づく書籍湾曲部抽出、及びテキストライン隆線抽出等がある。これらの方法は、長いテキストラインが本のページに含まれると仮定しているので、適用範囲が限られている。しかし、多くの本画像のページには、長いテキストは含まれず、ピクチャしか含まれないことがある。
【発明の概要】
【発明が解決しようとする課題】
【０００６】
上記の問題を鑑み、本発明の実施形態は、本の上下の輪郭線に基づき本のページの曲面を補正する方法を提供する。この方法は、内容に依存しない補正方法に属する。
【課題を解決するための手段】
【０００７】
本発明の実施形態に従って、画像装置によって取得された２次元画像における曲面上で消失点を取得し、前記曲面上の特定の単位における幅によって前記曲面の上輪郭線及び下輪郭線のうち長い方と前記消失点との間の全ての直線を取り出し、該直線は互いに隣接し且つ前記消失点で交わり、交差する前記直線が平行な直線になるように前記曲面の透視歪みを除去し、前記上輪郭線と前記下輪郭線との間の直線の直線セグメントの長さを取得し、該長さに従って３次元空間における前記直線セグメントの夫々の正確な幅及び前記直線セグメントの奥行き増分を取得し、前記正確な幅及び前記奥行き増分に従って前記直線セグメントの夫々の拡大された幅を取得し、前記曲面を平面に変換するために、前記直線セグメントの全ての拡大された幅を前記曲面の全体的な拡大された幅へと総計し、前記曲面上の点と前記平面上の点との間の対応関係に従って前記曲面上の画像コンテンツを前記平面上に変換する画像処理方法が提供される。
【０００８】
本発明の他の実施形態に従って、画像装置によって取得された２次元画像における曲面上で消失点を取得するよう構成される消失点取得手段と、前記曲面上の特定の単位における幅によって前記曲面の上輪郭線及び下輪郭線のうち長い方と前記消失点との間の全ての直線を取り出すよう構成され、該直線は互いに隣接し且つ前記消失点で交わる取出手段と、交差する前記直線が平行な直線になるように前記曲面の透視歪みを除去するよう構成される透視歪み除去手段と、前記上輪郭線と前記下輪郭線との間の直線の直線セグメントの長さを取得し、該長さに従って３次元空間における前記直線セグメントの夫々の正確な幅及び前記直線セグメントの奥行き増分を取得し、前記正確な幅及び前記奥行き増分に従って前記直線セグメントの夫々の拡大された幅を取得し、前記曲面を平面に変換するために前記直線セグメントの全ての拡大された幅を前記曲面の全体的な拡大された幅へと総計するよう構成される拡大幅取得手段と、前記曲面上の点と前記平面上の点との間の対応関係に従って前記曲面上の画像コンテンツを前記平面上に変換するよう構成される画像変換手段とを有する画像処理装置が提供される。
【０００９】
本発明の他の実施形態に従って、本発明の実施形態に従う上記の画像処理装置を有するスキャナが提供される。
【００１０】
本発明の実施形態に従って、さらに、機械によって読み出されて実行される場合に本発明に従う上記の画像処理方法を実行する機械読み出し可能な命令コードを記憶したプログラムプロダクトが提供される。
【００１１】
本発明の実施形態に従って、さらに、機械によって読み出されて実行される場合に本発明に従う上記の画像処理方法を実行する機械読み出し可能な命令コードを坦持した記憶媒体が提供される。
【発明の効果】
【００１２】
本発明の実施形態に従う上記の画像処理技術によれば、本の歪んだページにおける歪みが、本のページ画像の他のその後の処理（例えば、画像認識）の円滑な実行を容易にするよう都合よく除去され得る。
【図面の簡単な説明】
【００１３】
【図１】非接触式スキャナによりスキャンされた本の画像の例及びその３次元モデルを表す。
【図２】本発明の実施形態に従って本の湾曲したページによる歪みを補正して、最終的に本のページの内容をレイアウトする処理のフローチャートである。
【図３】本発明の実施形態に従う画像処理方法における３つのおおまかなステップの概略図を表す。
【図４】直線セグメントの拡大された幅を取得する概略図である。
【図５】原画像の内容を歪み補正画像に変換する場合のマッピング変換の概略図である。
【図６】補正されていない画像と補整された画像との間の比較を説明する概略図である。
【図７】本発明の他の実施形態に従う画像処理装置の構成ブロック図を表す。
【図８】本発明の実施形態に従う画像処理方法が具現され得る汎用コンピュータシステムの全体的な構造図を表す。
【発明を実施するための形態】
【００１４】
本発明の上記の及び他の目的、特徴及び利点は、図面に関連して本発明の実施形態に関して以下で与えられる詳細な説明から、より明らかになるであろう。図面において、構成要素は実寸通りではなく、単に、本発明の原理を説明することを目的としている。本発明の幾つかの態様に関する説明の便宜上、図面における対応する構成要素は拡大されていることがある。すなわち、それらは、本発明に従って実際に製造される装置における他の構成要素に比較して大きくなっていることがある。図面において、同じ又は類似する技術的特徴又は構成要素は、同じ又は類似する参照符号により表記される。
【００１５】
本発明の実施形態は、図面を参照して以下で記載される。図面又は本発明の実施形態において記載される要素及び特徴は、１又はそれ以上の他の図面又は実施形態において表される要素及び特徴と組み合わされてよい。当然のことながら、本発明にとって無関係であり且つ当業者によく知られている構成要素及び処理についての表示及び記載は、明りょうさのために、図面及び明細書において省略されている。
【００１６】
図２は、本発明の実施形態に従う画像処理方法の全体的なフローチャートを表す。図２に表されるように、画像処理方法２００はＳ２１０から始まり、その後に、画像装置によって取得された２次元画像における曲面上で消失点を取得するステップ（Ｓ２２０）と、曲面上の特定の単位における幅によって曲面の上輪郭線及び下輪郭線のうち長い方と消失点との間の、互いに隣接し且つ消失点で交わる全ての直線を取り出すステップ（Ｓ２３０）と、交差する直線が平行な直線になるように曲面の透視歪みを除去するステップ（Ｓ２４０）と、上輪郭線と下輪郭線との間の直線の直線セグメントの長さを取得し、その長さに従って３次元空間における直線セグメントの夫々の正確な幅及び直線セグメントの奥行き増分を取得するステップ（Ｓ２５０）と、正確な幅及び奥行き増分に従って直線セグメントの夫々の拡大された幅を取得するステップ（Ｓ２６０）と、曲面を平面に変換するために直線セグメントの全ての拡大された幅を曲面の全体的な拡大された幅へと総計するステップ（Ｓ２７０）と、曲面上の点と平面上の点との間の対応関係に従って曲面上の画像コンテンツを平面上に変換するステップ（Ｓ２８０）とを有する。次いで、処理は終了する（Ｓ２９０）。
【００１７】
本のページ曲面を補正する処理は、本発明の実施形態に従う上記の画像処理方法の例として、夫々の図面を参照して以下で詳述される。
【００１８】
図１（ｂ）に表されるような本のページの曲面の簡単な３次元モデルが、本発明の例となる処理において利用される。開いた本のページの曲面は、３次元空間において多数の平行線から成る円筒の形をしているとする。全ての線は、画像の２次元空間における共通の交差点、すなわち、消失点（vanishing point）を有する。図１（ｂ）から明らかなように、本のページの曲面は、本の表面に対する画像装置の角度による透視歪みと、湾曲により生ずる幾何学歪みとにさらされている。
【００１９】
最初に、図２における方法２００のＳ２２０で消失点を取得する具体例が記載される。図１（ｂ）を参照すると、本の２ページは、２ページの６つの制御点（すなわち、本の２頁の４つの端点１、３、４及び６並びに本の中心線の２つの端点２及び５）から計算される消失点を共有することができる。あるいは、本のページの夫々は、そのページの４つの制御点（左ページについては１、２、４及び５、右ページについては２、３、５及び６）から別々に計算される消失点を別々に有する。２ページが消失点を共有することができる場合において、図１（ｂ）に表されている３本の直線が１つの点で交差しないならば、３本の線の交差点は、例えば、最小二乗法において取得され得る。消失点を取得する方法は、制御点に従って消失点を取得することを含むが、それに限られない。いかにして制御点を取得すべきかは、本発明にとって全く無関係ではないが、先行技術において知られており、従って、その繰り返しとなる記載はここでは省略される。
【００２０】
次に、図２の方法２００におけるＳ２３０の処理の具体例が記載される。この実例において、消失点と本のページの下輪郭線上の全ての点との間の直線が取り出される。ここで、下輪郭線は上輪郭線よりも長いとされるが、上輪郭線の方が長い場合、消失点は図１（ｂ）において下輪郭線の下に位置し、このとき、消失点と本のページの上輪郭線上の全ての点との間の直線が取り出される。そして、それらの直線は互いに隣接し、３次元画像において平行である。よって、必要とされる直線セグメントは、図１（ｂ）の本のページ内に破線により表されるように、上輪郭線上にあるそれらの開始端点及び下輪郭線上にある終結端点を有して取得される。直線セグメントの幅は、実際には精度要求に依存して、１ピクセルであるか、又は１ピクセルよりも小さくても若しくは大きくてもよい。ここで、取出処理は１ピクセルの単位で実行されるとする。
【００２１】
図２の方法２００のＳ２４０で、透視歪みが除去されて、本のページの曲面上の全ての交差する直線セグメントを平行な直線セグメントに変換する。ここで、透視歪みは、例えば平面射影変換行列（homography matrix）において、除去され得る。いかにして平面射影変換行列を解いて透視歪みを除去するのかの詳細については、インドのハイデラーバードにあるInternational Information Technology AssociationのVisual Information Technology Centerに属するL.Jagannathan及びC.V.Jawaharより著された“Perspective Correction Methods for Camera-Based Document Analysis”と、R.Harley及びA.Zissermanによって著され、２０００年にケンブリッジ大学出版局によって出版された“Multiple View Geometry in Computer Vision”とを参照することができる。透視歪みを除去された画像は、図３（ｂ）において表されているとおりである。上述されたように、本のページが画像を捕捉するよう位置付けられる平面に対して垂直に画像装置が配置される場合、そのような透視歪みは存在せず、従って、透視歪みを除去するステップは省略される。
【００２２】
図３において表されているように、幾何学歪みは、透視歪みが除去された本のページ画像から除去される。
【００２３】
図２に戻り、全ての平行な直線セグメントの長さｌｅｎｇｔｈ（ｘｉ）（すなわち、撮像された長さ）、正確な幅ｄｘｉ及び奥行き増分ｄｚｉは、方法２００のＳ２５０で計算される。ここで、ｉは、直線セグメントのインデックスを表し、１からｍまでのいずれかの数であり（ｍは、直線セグメントの数を表す。）、ｘｉは、直線セグメントｉの横座標である。特に、座標系は次のように配置され得る。図３（ｂ）に表される本のページ画像において、横座標は水平方向であり、縦座標は垂直方向であり、座標の原点は本の中心線の下側端点又は必要に応じてどこかに配置され得る。
【００２４】
長さ、正確な幅及び奥行き増分を求める例は夫々、以下で記載される。
【００２５】
直線セグメントｉの長さｌｅｎｇｔｈ（ｘｉ）は、次のように、上輪郭線及び下輪郭線との直線セグメントの交点の座標から求められ得る：
【数２】
【００２６】
全ての直線セグメントの正確な長さ（すなわち、３次元空間におけるそれらの長さ）は同じである（本のページの全ての列は同じ高さである。）が、直線セグメントの撮像された長さは、本の湾曲したページにより同じでないことがある。直線セグメントが画像装置（本実施形態ではスキャナ）に近ければ近いほど、その撮像される長さは長くなりうる。従って、直線セグメントの撮像された長さは、画像装置に対するそれらの距離に反比例する。
【００２７】
正確な幅ｄｘｉに関し、取り出される直線セグメントの幅は、図３（ｂ）の本の中間ページ（透視歪みが除去された本のページ）においては１ピクセルであるが、各直線セグメントは、異なる奥行きで観測される（ここでは、奥行きは、レンズの焦点からその直線セグメントまでの距離である。）。本のページが同じ奥行きで観測される場合、水平方向におけるそれらの投影はその時点で観測され、観測される幅は正確な幅ｄｘｉと称される。撮像される幅が同じである場合、正確な幅は、画像装置までの直線セグメントの距離が短いほど狭くなり、反対に、画像装置までの直線セグメントの距離が長いほど広くなる。従って、直線セグメントの正確な幅は、撮像距離に比例し、直線セグメントの撮像される長さに反比例する。その場合に、直線セグメントｉの正確な幅は、次のとおりである：
【数３】
【００２８】
ここで、Ｃｘは定数を表す。補正された画像において最も長い直線セグメントの正確な幅が１ピクセルと定義される場合（すなわち、Ｃｘ＝Ｍａｘ（ｌｅｎｇｔｈ（ｘｉ）））、残りの直線セグメントの全ての正確な幅は１ピクセルよりも長い。ここで、Ｃｘの値は、実際上必要に応じて選択されても、又は経験的に決定されてもよいが、上記の例に限られない。
【００２９】
奥行き増分ｄｚｉに関し、２つの隣接する直線セグメントの撮像距離（すなわち、レンズの焦点までのそれらの距離）は異なってよい。上述されたように、直線セグメントの距離がレンズの焦点に対して長ければ長いほど、撮像される直線セグメントの長さは短くなる。従って、直線セグメントの撮像距離は、次のように、直線セグメントの撮像される長さに反比例する：
【数４】
【００３０】
ここで、Ｃｚ＝ｋ×Ｃｘは定数を表し、ｋは、実際上必要に応じて、例えば画像装置の関連パラメータから、決定され得る一定の係数を表す。
【００３１】
撮像距離間の差は奥行き増分と称される。これにより、直線セグメントｉの奥行き増分は、次のとおりである：
【数５】
【００３２】
奥行き増分を決定する方法はそれに限らない。例えば、直線セグメントｉの奥行き増分は、画像装置のレンズの焦点までの長さ方向におけるその２つの辺の距離の間の差であってよい。
【００３３】
次に、平行な直線セグメントの拡大された幅が、図２における方法２００のＳ２６０で、正確な幅ｄｘｉ及び奥行き増分ｄｚｉから計算される。拡大された幅は、本表面が平らであるよう広げられる場合の幅である。拡大された幅ｄｓｉを計算する処理の具体例は、図４を参照して以下で詳述される。
【００３４】
図４において、ｘ軸は、図３（ｂ）に表されるように水平方向を表し、ｚ軸は、図３（ｂ）に表されるように本のページ画像から観測者への方向を表し、直線セグメントｉの拡大された幅ｄｓｉは、正確な幅ｄｘｉ及び奥行き増分ｄｚｉとともに直角三角形を構成する。次の式は、ピタゴラスの定理から導出され得る：
【数６】
【００３５】
次いで、本の湾曲したページの全体の拡大された幅が、図２における方法２００のＳ２７０で、夫々の直線セグメントの拡大された幅から求められる。本の湾曲したページの全体の拡大された幅は、平行な直線セグメントの曲面幅の累積合計に等しい（すなわち、Ｓ＝ｓｕｍ ｄｓｉ（ｉ＝１，２，・・・ｍ））。よって、平らにされた本の実際の幅は、図３（ｃ）に表されるように本の表面を平らにさせるよう、求められる。
【００３６】
上記の処理において用いられる本のページの上輪郭線及び下輪郭線は、自動で又は半自動で位置付けられ得るので、この補正方法を扱うことは、ユーザにとって極めて容易である。
【００３７】
次に、本の原ページにおける内容（以降、入力画像）が、図２における方法２００のＳ２８０で、本の補正されたページ（以降、出力画像）に変換される。
【００３８】
この変換処理の具体例は、図５を参照して以下で詳述される。ここで、変換処理は、「補正マッピング変換」と称される。最初に、入力画像における対応する縦線セグメント（点（ｘ０’，ｙ０’）及び点（ｘ１’，ｙ１’）によって定義される線セグメント）が、出力画像における縦列（点（ｘ，ｙ０）及び点（ｘ，ｙ１）によって定義される直線セグメント）に関して位置付けられる。図５を参照すると、次の関係が、対応する縦列と縦線セグメントとの間で満足される。すなわち、右側の図における幅の比ｒ＝ｘ／Ｗは、左側の図における拡大された幅の比ｒ’＝Ｓ（ｘ１’）／Ｓ（ｘｂ’）に等しい。ここで：
【数７】
【００３９】
左側の図における対応する縦線セグメントは、この比例関係に従って位置付けられ得る。
【００４０】
縦線セグメント上の対応する点は、縦列上の夫々の点について位置付けられる。対応する点を位置付ける処理の例は、以下で記載される。右側の図の縦列（（ｘ，ｙ０）及び（ｘ，ｙ１）によって定義される縦列）上の各ピクセル点（ｘ，ｙ）に対応する左側の図の縦線セグメント上の点は、次の式において計算され得る：
【数８】
【００４１】
ここで、ａｘは、消失点に関連する一定の係数を表し、ｂｘ及びｃｘは、消失点及び平面上の横座標ｘに関連する一定の係数を表し、実験的又は経験的に導出され得る。左側の図における全ての縦線セグメントが消失点（ｘ’ｖａｎｉｓｈ，ｙ’ｖａｎｉｓｈ）で交わり、縦列の消失点のｙ座標は∞であるとすると、ｙ’ｖａｎｉｓｈ＝（∞＋ｃｘ）／（ａｘ∞＋ｂｘ）＝１／ａｘ及びａｘ＝１／ｙ’ｖａｎｉｓｈは式（６）において導出され得る。２次元平行線に関し、この消失点は無限に位置付けられてよく、その場合に、ａｘは０の値をとり、残り２つの係数ｂｘ及びｃｘは、次の式の組を解くことによって導出され得る：
【数９】
【００４２】
従って、ｙ’座標は、ｙ座標から計算され得、ｘ’座標は、縦線セグメントに対する直線セグメントの比例関係、すなわち、ｘ’＝ｘ０’＋（ｘ１’−Ｘ０’）（ｙ’−ｙ０’）／（ｙ１’−ｙ０’）に従って計算され得る。ここで、比例関係に従ってｘ’座標を計算するために用いられる点は、（ｘ０’，ｙ０’）及び（ｘ１’，ｙ１’）に限られず、計算される座標を有する如何なる点が使用されてもよい。このようにして、右側の図における縦列上の点（ｘ，ｙ）に対応する左側の図における縦線セグメント上の点の座標（ｘ’，ｙ’）が求められる。
【００４３】
最後に、右側の図における点（ｘ，ｙ）のピクセル値は、双線形補間により左側の図における点（ｘ’，ｙ’）の隣接点のピクセル値から求められ、それにより、図３（ｃ）に表されるように、本の平らにされたページの画像の内容を得ることができる。左側にある画像におけるいずれかの点のピクセル値を求める方法は双線形補間に限られず、右側の図における点（ｘ，ｙ）のピクセル値である限りは、双３次補間、Ｂ−スプライン補間、ガウス補間等の如何なる適切な補間方法であってもよい。
【００４４】
要約すると、本発明の実施形態に従う画像処理方法において、本の湾曲したページの正確な幅が求められ、ページは本の平らなページに広げられる。単純に本のページ上の上輪郭又は下輪郭から推定される本の湾曲したページの拡大された幅は、本のページの湾曲部の実際の形状が輪郭の形状と同じでないので、正しくないことがある。本発明の実施形態に従う方法において、画像装置によって捕捉される画像における線セグメントの正確な拡大された長さは、それらの長さから推定され、本のページの拡大された幅に総計され、それにより、本の平らにされたページが得られる。本の平らにされたページが得られた後、原画像の内容は、元々捕捉された画像における曲面上の点を一対一対応で拡大された平面上の点に位置付けることによって、横になった平面に変換される。本の内容は本の実際の幅を有して提示されるので、本発明は、より良い視覚的な効果を与えることができる。さらに、もはやテキストライン又は他の内容情報は、内容に依存しない方法である当該方法において必要とされないので、より良い効果が、図６（ａ）〜（ｄ）に表されるように、ピクチャ及びテキストの両方について達成され得る。
【００４５】
本の元々撮像された画像の曲面と広げられた本の平面との間で対応する点を位置付けるマッピング処理と、それらの対応する点のピクセルを導出する補間処理とは、幾何学的歪みが除去された後に実行されなくてよい点に留意すべきである。図３に表されるように、マッピング処理及び補間処理は、透視歪みが除去された後に最初に実行され、次いで、透視歪みが除去された画像と、幾何学的歪みが除去された後に画像を平らにすることとの間で実行されてよい。
【００４６】
撮像された本の面は、実施形態において一例として考えられてきたが、本発明の実施形態に従う画像処理方法はそれに限定されず、面が撮像時に曲げ歪みを有する限りあらゆる他の面の補正にも適用可能であってよい。
【００４７】
本発明の実施形態に従う画像処理方法との対応において、本発明の実施形態は、図７に表されるような画像処理装置をさらに提供する。画像処理装置は：
画像装置によって取得された２次元画像における曲面上で消失点を取得するよう構成される消失点取得部７１０と、
曲面上の特定の単位における幅によって曲面の上輪郭線及び下輪郭線のうち長い方と消失点との間の全ての直線を取り出すよう構成され、直線は互いに隣接し且つ消失点で交わる取出部７２０と、
交差する直線が平行な直線になるように曲面の透視歪みを除去するよう構成される透視歪み除去部７３０と、
上輪郭線と下輪郭線との間の直線の直線セグメントの長さを取得し、その長さに従って３次元空間における夫々の直線セグメント正確な幅及び夫々の直線セグメントの奥行き増分を取得し、正確な幅及び奥行き増分に従って夫々の直線セグメントの拡大された幅を取得し、曲面を平面に変換するために全ての直線セグメントの拡大された幅を曲面の全体的な拡大された幅へと総計するよう構成される拡大幅取得部７４０と、
曲面上の点と平面上の点との間の対応関係に従って曲面上の画像コンテンツを平面上に変換するよう構成される画像変換部７５０と
を有する。
【００４８】
本発明の実施形態に従う画像処理装置及び夫々の構成要素は、本発明に従う方法の実施形態における処理と同様の処理を実行するよう構成されてよく、従って、詳述されていない装置の実施形態におけるそれらの態様の詳細については、方法の実施形態における対応する説明が参照され得る点に留意すべきであり、その繰り返しとなる説明はここでは省略される。
【００４９】
本発明の他の実施形態に従って、画像装置（例えば、スキャナ）は、上記の様々な画像処理機能を可能にするように本発明の実施形態に従う画像処理装置を装備され得る。
【００５０】
上記の詳細な記載は、本発明の実施形態に従う方法及び／又は装置の様々な実施を説明するようブロック図、フローチャート及び／又は実施形態において提示されてきた。これらのブロック図、フローチャート及び／又は実施形態が１又はそれ以上の機能及び／又は動作を有する場合に、当業者には当然のことながら、それらのブロック図、フローチャート及び／又は実施形態における夫々の機能及び／又は動作が様々なハードウェア、ソフトウェア、ファームウェア又は原則的にそれらの組み合わせにおいて別々に及び／又は集合的に実行され得る。実施形態において、本明細書において記載される対象の幾つかの態様は、特定用途向け集積回路（ＡＳＩＣ）、フィールドプログラマブルゲートアレイ（ＦＰＧＡ）、デジタル信号プロセッサ（ＤＳＰ）又は他の集積形態において具現されてよい。なお、当業者には当然のことながら、本明細書において記載される実施の幾つかの態様は、１又はそれ以上のコンピュータにおいて実行される１又はそれ以上のコンピュータプログラムの形で（例えば、１又はそれ以上のコンピュータシステムにおいて実行される１又はそれ以上のコンピュータプログラムの形で）、１又はそれ以上のプロセッサで実行される１又はそれ以上のコンピュータプログラムの形で（例えば、１又はそれ以上のマイクロプロセッサにおいて実行される１又はそれ以上のコンピュータプログラムの形で）、ファームウェアの形で、又は同等に原則的にそれらのいずれかの組み合わせの形で、集積回路において全体的又は部分的に具現されてよく、当業者は、本明細書における開示に照らして、本開示の回路を設計し且つ／あるいは本開示のソフトウェア及び／又はファームウェアのコードを記述することができる。
【００５１】
例えば、図２に表されるような、本の表面の曲げによる歪みを補正して、最終的に本の面上の内容を平らにさせるための処理のフローチャートにおける夫々のステップは、ソフトウェア、ファームウェア、ハードウェア又はそれらのいずれかの組み合わせにおいて実行されてよい。ソフトウェア又はハードウェアにおいて実行される場合に、プログラムを構成するプログラムは、記憶媒体又はネットワークから特殊化したハードウェア構造におけるコンピュータ（例えば、図８に表される汎用のコンピュータ８００）にインストールされてよく、コンピュータは、様々なプログラムが自身にインストールされる場合に、様々な機能を実行することができる。
【００５２】
図８は、本発明の実施形態に従う画像処理方法を実行する情報処理装置として機能することができる汎用のコンピュータシステムの全体的な構造図を表す。コンピュータシステム８００は、単なる例示に過ぎず、本発明に従う方法及び装置の機能又は適用範囲の如何なる制限を提示しない。さらに、コンピュータシステム８００は、例となるコンピュータシステム８００において表されている構成要素のいずれか１つ又は組み合わせに依存し又はそれらを必要とすると解されるべきではない。
【００５３】
図８において、中央演算処理装置（ＣＰＵ）８０１は、読み出し信用メモリ（ＲＯＭ）８０２に記憶されている又は記憶部８０８からランダムアクセスメモリ（ＲＡＭ）８０３にロードされるプログラムに従って、様々な処理を実行する。ＲＡＭ８０３には、ＣＰＵ８０１が様々な処理を実行するときに必要とされるデータも必要に応じて記憶される。ＣＰＵ８０１、ＲＯＭ８０２及びＲＡＭ８０３は、バス８０４を介して互いに接続されている。バス８０４には、入出力インターフェース８０５も接続されている。
【００５４】
次の構成要素も入出力インターフェース８０５に接続されている。すなわち、入力部８０６（キーボード、マウス等を含む。）、出力部８０７（ディスプレイ（例えば、陰極線管（ＣＲＴ）、液晶ディスプレイ（ＬＣＤ）等）、スピーカ等を含む。）、記憶部８０８（ハードディスク等を含む。）、及び通信部８０９（ネットワークインターフェースカード（例えば、ＬＡＮカード）、モデム等を含む。）である。通信部８０９は、ネットワーク（例えば、インターネット）を介して通信処理を実行する。ドライブ８１０も必要に応じて入出力インターフェース８０５に接続される。リムーバブル媒体８１１（例えば、磁気ディスク、光ディスク、光学磁気ディスク、半導体メモリ等）が必要に応じてドライブ８１０にインストールされてよく、それにより、媒体８１１からフェッチされたコンピュータプログラムが記憶部８０８にインストールされ得る。
【００５５】
上記の一連の処理がソフトウェアにおいて実行される場合に、ソフトウェアを構成するプログラムは、ネットワーク（例えば、インターネット等）又は記憶媒体（例えば、リムーバブル媒体８１１）からインストールされる。
【００５６】
当業者には当然のことながら、そのような記憶媒体は、プログラムが記憶されており、ユーザにプログラムを提供するよう装置とは別に配布される図８に表されるようなリムーバブル媒体８１１に限られない。リムーバブル媒体８１１の例には、磁気ディスク（フロッピー（登録商標）ディスクを含む。）、光ディスク（コンパクトディスク読出専用メモリ（ＣＤ−ＲＯＭ）及びデジタル・バーサタイル・ディスク（ＤＶＤ）を含む。）、光学磁気ディスク（ミニディスク（ＭＤ）（登録商標）を含む。）及び半導体メモリがある。代替的に、記憶媒体は、プログラムが記憶されており、その記憶媒体を含む装置とともにユーザに配布されるＲＯＭ８０２、記憶部８０８に含まれるハードディスク等であってよい。
【００５７】
従って、本発明は、機械によって読み出されて実行される場合に本発明の実施形態に従う上記の画像処理方法を実行することができる機械読み出し可能な命令コードを記憶するプログラムプロダクトをさらに提案する。これに対して、プログラムプロダクトが具現される上記の様々な記憶媒体も本発明の適用範囲内にある。
【００５８】
本発明の実施形態の上記の説明において、実施形態において記載及び／又は図示される特徴は、他の実施形態における特徴と組み合わせて又はそれに代えて、１又はそれ以上の他の実施形態において全く同じに又は同様に使用されてよい。
【００５９】
本願で使用される語「有する」及びその活用形は、特徴、要素、ステップ又はコンポーネントの存在に言及するが、１又はそれ以上の他の特徴、要素、ステップ又はコンポーネントの存在又は付加を除外しない点に留意すべきである。序数に関連する語「第１」、「第２」等は、それらの語を用いて定義される特徴、要素、ステップ又はコンポーネントのいかなる実行順序も又は如何なる重要度も意味せず、単に、記載の明りょうさのためにそれらの特徴、要素、ステップ又はコンポーネントを特定することを目的とする。
【００６０】
さらに、本発明の夫々の実施形態に従う方法は、明細書において記載される又は図面において図示される自警例において実行されることに限られず、他の時系列において連続して又は別々に実行されてもよい。従って、明細書において記載される、方法が実行される順序は、本発明の適用範囲を制限しない。
【００６１】
また、以下の付記が、上記の実施形態に関連して開示される。
【００６２】
（付記１）
画像装置によって取得された２次元画像における曲面上で消失点を取得し、
前記曲面上の特定の単位における幅によって前記曲面の上輪郭線及び下輪郭線のうち長い方と前記消失点との間の全ての直線を取り出し、該直線は互いに隣接し且つ前記消失点で交わり、
交差する前記直線が平行な直線になるように前記曲面の透視歪みを除去し、
前記上輪郭線と前記下輪郭線との間の直線の直線セグメントの長さを取得し、該長さに従って３次元空間における前記直線セグメントの夫々の正確な幅及び前記直線セグメントの奥行き増分を取得し、
前記正確な幅及び前記奥行き増分に従って前記直線セグメントの夫々の拡大された幅を取得し、
前記曲面を平面に変換するために、前記直線セグメントの全ての拡大された幅を前記曲面の全体的な拡大された幅へと総計し、
前記曲面上の点と前記平面上の点との間の対応関係に従って前記曲面上の画像コンテンツを前記平面上に変換する
画像処理方法。
【００６３】
（付記２）
前記直線セグメントの夫々の拡大された幅を取得することは、前記正確な幅及び前記奥行き増分の二乗和を取得して、該二乗和について平方根を取得することによって、前記直線セグメントの夫々の拡大された幅を取得することを含む、
付記１に記載の画像処理方法。
【００６４】
（付記３）
前記平面上の点と前記曲面上の対応する点との間の対応関係は、
【数１０】
により表され、
ａｘは、前記直線セグメントの消失点に関連する定数を表し、ｂｘ及びｃｘは、前記直線セグメントの消失点及びｘに関連する定数を表し、ｘ及びｙは夫々、前記平面上の点の横座標及び縦座標であり、ｘ’及びｙ’は夫々、前記曲面上の対応する点の横座標及び縦座標であり、ｘ’０、ｙ’０及びｘ’１、ｙ’１は夫々、前記平面上で座標（ｘ，ｙ）がある直線セグメントに対応する前記曲面上の直線セグメントにおけるいずれかの点の横座標及び縦座標である、
付記１又は２に記載の画像処理方法。
【００６５】
（付記４）
前記奥行き増分は、直線セグメントから前記画像装置のレンズの焦点までの距離と、該直線セグメントに隣接する直線セグメントから前記画像装置の前記レンズの焦点までの距離との間の差である、
付記１乃至３のうちいずれか一つに記載の画像処理方法。
【００６６】
（付記５）
前記奥行き増分は、長さ方向における直線セグメントの２つの辺から前記画像装置のレンズの焦点までの距離の間の差である、
付記１乃至３のうちいずれか一つに記載の画像処理方法。
【００６７】
（付記６）
前記消失点は、前記曲面の前記上輪郭線及び前記下輪郭線における端点から得られる、
付記１乃至５のうちいずれか一つに記載の画像処理方法。
【００６８】
（付記７）
前記曲面は、前記画像装置によって取得された２次元画像の形をとる本の面である、
付記１乃至６のうちいずれか一つに記載の画像処理方法。
【００６９】
（付記８）
画像装置によって取得された２次元画像における曲面上で消失点を取得するよう構成される消失点取得手段と、
前記曲面上の特定の単位における幅によって前記曲面の上輪郭線及び下輪郭線のうち長い方と前記消失点との間の全ての直線を取り出すよう構成され、該直線は互いに隣接し且つ前記消失点で交わる取出手段と、
交差する前記直線が平行な直線になるように前記曲面の透視歪みを除去するよう構成される透視歪み除去手段と、
前記上輪郭線と前記下輪郭線との間の直線の直線セグメントの長さを取得し、該長さに従って３次元空間における前記直線セグメントの夫々の正確な幅及び前記直線セグメントの奥行き増分を取得し、前記正確な幅及び前記奥行き増分に従って前記直線セグメントの夫々の拡大された幅を取得し、前記曲面を平面に変換するために前記直線セグメントの全ての拡大された幅を前記曲面の全体的な拡大された幅へと総計するよう構成される拡大幅取得手段と、
前記曲面上の点と前記平面上の点との間の対応関係に従って前記曲面上の画像コンテンツを前記平面上に変換するよう構成される画像変換手段と
を有する、画像処理装置。
【００７０】
（付記９）
前記拡大幅取得手段は、前記正確な幅及び前記奥行き増分の二乗和を取得して、該二乗和について平方根を取得することによって、前記直線セグメントの夫々の拡大された幅を取得するよう構成される、
付記８に記載の画像処理装置。
【００７１】
（付記１０）
前記平面上の点と前記曲面上の対応する点との間の対応関係は、
【数１１】
により表され、
ａｘは、前記直線セグメントの消失点に関連する定数を表し、ｂｘ及びｃｘは、前記直線セグメントの消失点及びｘに関連する定数を表し、ｘ及びｙは夫々、前記平面上の点の横座標及び縦座標であり、ｘ’及びｙ’は夫々、前記曲面上の対応する点の横座標及び縦座標であり、ｘ’０、ｙ’０及びｘ’１、ｙ’１は夫々、前記平面上で座標（ｘ，ｙ）がある直線セグメントに対応する前記曲面上の直線セグメントにおけるいずれかの点の横座標及び縦座標である、
付記８又は９に記載の画像処理装置。
【００７２】
（付記１１）
前記奥行き増分は、直線セグメントから前記画像装置のレンズの焦点までの距離と、該直線セグメントに隣接する直線セグメントから前記画像装置の前記レンズの焦点までの距離との間の差である、
付記８乃至１０のうちいずれか一つに記載の画像処理装置。
【００７３】
（付記１２）
前記奥行き増分は、長さ方向における直線セグメントの２つの辺から前記画像装置のレンズの焦点までの距離の間の差である、
付記８乃至１０のうちいずれか一つに記載の画像処理装置。
【００７４】
（付記１３）
前記消失点取得手段は、前記曲面の前記上輪郭線及び前記下輪郭線における端点から前記消失点を取得する、
付記８乃至１２のうちいずれか一つに記載の画像処理装置。
【００７５】
（付記１４）
前記曲面は、前記画像装置によって取得された２次元画像の形をとる本の面である、
付記８乃至１３のうちいずれか一つに記載の画像処理装置。
【００７６】
（付記１５）
付記８乃至１４のうちいずれか一つに記載の画像処理装置を有するスキャナ。
【００７７】
（付記１６）
コンピュータで実行されると付記１乃至７のうちいずれか一つに記載の画像処理方法を実行するコンピュータプログラム。
【００７８】
（付記１７）
コンピュータで実行されると付記１乃至７のうちいずれか一つに記載の画像処理方法を実行するコンピュータプログラムを記憶する記憶媒体。
【００７９】
本発明は、本発明の実施形態の説明において先に開示されてきたが、当然のことながら、当業者は、本発明の主旨及び適用範囲から逸脱することなしに本発明に対して様々な変形、適応又は均等なものに想到可能である。それらの変形、適応又は均等なものも本発明の適用範囲内にあると解されるべきである。
【符号の説明】
【００８０】
２００ 画像処理方法
７１０ 消失点取得部
７２０ 取出部
７３０ 透視歪み除去部
７４０ 拡大幅取得部
７５０ 画像変換部
８００ コンピュータシステム
８０１ ＣＰＵ
８０２ ＲＯＭ
８０３ ＲＡＭ
８０４ バス
８０５ 入出力インターフェース
８０６ 入力部
８０７ 出力部
８０８ 記憶部
８０９ 通信部
８１０ ドライブ
８１１ リムーバブル媒体
【技術分野】
【０００１】
本発明は、画像処理の分野に関し、特に、捕捉画像をデワーピング（de-warping）する画像処理方法に関する。
【背景技術】
【０００２】
本は、その画像が非接触式スキャナ又はカメラにより捕捉される場合に、本の厚みにより通常湾曲し、従って、スキャナ又はカメラにより捕捉された画像は、たわみにより生じる幾何学歪みを免れない傾向がある。図１ａは、非接触式スキャナによりスキャンされた本の画像の一例を表し、その画像はたわみにより生じる幾何学的歪みを有する。そのような本の内容を読むことは厄介であり、その後の動作のための歪んだ画像の使用は認識精度の低下をもたらすこともある。
【０００３】
本の歪み画像における歪みを補正するための多数の方法が提案されている。本の画像を補整するための従来の方法は、２つのカテゴリ、すなわち、内容に依存しない補正方法及び内容に依存した補正方法に分類され得る。
【０００４】
内容に依存しない補正方法では、ユーザは、本の開いた湾曲ページ上に近接して位置する方眼紙の用紙を有する。方眼紙の画像は、本のページの辺りに浮かぶカメラにより捕捉され得る。次いで、本の曲面が、検出された格子からモデル化され得、補正されていない格子と補正された格子との間のマッピング関係が、導出され得る。本が静止したままである状態で、方眼紙は静かに移動することができ、次いで、本のページ画像が捕捉され得、本の湾曲したページが、格子マッピング関係に従って本の平らなページにマッピングされ得る。この方法の欠点は、毎回本のページ上に方眼紙の用紙を置くことがユーザにとって極めて不便であることにある。
【０００５】
多数の内容に依存した方法は、本の異なるページ内容に基づき利用可能であり、通常は、例えば、連続ラインマージンスケルトン、単語に基づくスキュー補正、テキストラインに基づく書籍湾曲部抽出、及びテキストライン隆線抽出等がある。これらの方法は、長いテキストラインが本のページに含まれると仮定しているので、適用範囲が限られている。しかし、多くの本画像のページには、長いテキストは含まれず、ピクチャしか含まれないことがある。
【発明の概要】
【発明が解決しようとする課題】
【０００６】
上記の問題を鑑み、本発明の実施形態は、本の上下の輪郭線に基づき本のページの曲面を補正する方法を提供する。この方法は、内容に依存しない補正方法に属する。
【課題を解決するための手段】
【０００７】
本発明の実施形態に従って、画像装置によって取得された２次元画像における曲面上で消失点を取得し、前記曲面上の特定の単位における幅によって前記曲面の上輪郭線及び下輪郭線のうち長い方と前記消失点との間の全ての直線を取り出し、該直線は互いに隣接し且つ前記消失点で交わり、交差する前記直線が平行な直線になるように前記曲面の透視歪みを除去し、前記上輪郭線と前記下輪郭線との間の直線の直線セグメントの長さを取得し、該長さに従って３次元空間における前記直線セグメントの夫々の正確な幅及び前記直線セグメントの奥行き増分を取得し、前記正確な幅及び前記奥行き増分に従って前記直線セグメントの夫々の拡大された幅を取得し、前記曲面を平面に変換するために、前記直線セグメントの全ての拡大された幅を前記曲面の全体的な拡大された幅へと総計し、前記曲面上の点と前記平面上の点との間の対応関係に従って前記曲面上の画像コンテンツを前記平面上に変換する画像処理方法が提供される。
【０００８】
本発明の他の実施形態に従って、画像装置によって取得された２次元画像における曲面上で消失点を取得するよう構成される消失点取得手段と、前記曲面上の特定の単位における幅によって前記曲面の上輪郭線及び下輪郭線のうち長い方と前記消失点との間の全ての直線を取り出すよう構成され、該直線は互いに隣接し且つ前記消失点で交わる取出手段と、交差する前記直線が平行な直線になるように前記曲面の透視歪みを除去するよう構成される透視歪み除去手段と、前記上輪郭線と前記下輪郭線との間の直線の直線セグメントの長さを取得し、該長さに従って３次元空間における前記直線セグメントの夫々の正確な幅及び前記直線セグメントの奥行き増分を取得し、前記正確な幅及び前記奥行き増分に従って前記直線セグメントの夫々の拡大された幅を取得し、前記曲面を平面に変換するために前記直線セグメントの全ての拡大された幅を前記曲面の全体的な拡大された幅へと総計するよう構成される拡大幅取得手段と、前記曲面上の点と前記平面上の点との間の対応関係に従って前記曲面上の画像コンテンツを前記平面上に変換するよう構成される画像変換手段とを有する画像処理装置が提供される。
【０００９】
本発明の他の実施形態に従って、本発明の実施形態に従う上記の画像処理装置を有するスキャナが提供される。
【００１０】
本発明の実施形態に従って、さらに、機械によって読み出されて実行される場合に本発明に従う上記の画像処理方法を実行する機械読み出し可能な命令コードを記憶したプログラムプロダクトが提供される。
【００１１】
本発明の実施形態に従って、さらに、機械によって読み出されて実行される場合に本発明に従う上記の画像処理方法を実行する機械読み出し可能な命令コードを坦持した記憶媒体が提供される。
【発明の効果】
【００１２】
本発明の実施形態に従う上記の画像処理技術によれば、本の歪んだページにおける歪みが、本のページ画像の他のその後の処理（例えば、画像認識）の円滑な実行を容易にするよう都合よく除去され得る。
【図面の簡単な説明】
【００１３】
【図１】非接触式スキャナによりスキャンされた本の画像の例及びその３次元モデルを表す。
【図２】本発明の実施形態に従って本の湾曲したページによる歪みを補正して、最終的に本のページの内容をレイアウトする処理のフローチャートである。
【図３】本発明の実施形態に従う画像処理方法における３つのおおまかなステップの概略図を表す。
【図４】直線セグメントの拡大された幅を取得する概略図である。
【図５】原画像の内容を歪み補正画像に変換する場合のマッピング変換の概略図である。
【図６】補正されていない画像と補整された画像との間の比較を説明する概略図である。
【図７】本発明の他の実施形態に従う画像処理装置の構成ブロック図を表す。
【図８】本発明の実施形態に従う画像処理方法が具現され得る汎用コンピュータシステムの全体的な構造図を表す。
【発明を実施するための形態】
【００１４】
本発明の上記の及び他の目的、特徴及び利点は、図面に関連して本発明の実施形態に関して以下で与えられる詳細な説明から、より明らかになるであろう。図面において、構成要素は実寸通りではなく、単に、本発明の原理を説明することを目的としている。本発明の幾つかの態様に関する説明の便宜上、図面における対応する構成要素は拡大されていることがある。すなわち、それらは、本発明に従って実際に製造される装置における他の構成要素に比較して大きくなっていることがある。図面において、同じ又は類似する技術的特徴又は構成要素は、同じ又は類似する参照符号により表記される。
【００１５】
本発明の実施形態は、図面を参照して以下で記載される。図面又は本発明の実施形態において記載される要素及び特徴は、１又はそれ以上の他の図面又は実施形態において表される要素及び特徴と組み合わされてよい。当然のことながら、本発明にとって無関係であり且つ当業者によく知られている構成要素及び処理についての表示及び記載は、明りょうさのために、図面及び明細書において省略されている。
【００１６】
図２は、本発明の実施形態に従う画像処理方法の全体的なフローチャートを表す。図２に表されるように、画像処理方法２００はＳ２１０から始まり、その後に、画像装置によって取得された２次元画像における曲面上で消失点を取得するステップ（Ｓ２２０）と、曲面上の特定の単位における幅によって曲面の上輪郭線及び下輪郭線のうち長い方と消失点との間の、互いに隣接し且つ消失点で交わる全ての直線を取り出すステップ（Ｓ２３０）と、交差する直線が平行な直線になるように曲面の透視歪みを除去するステップ（Ｓ２４０）と、上輪郭線と下輪郭線との間の直線の直線セグメントの長さを取得し、その長さに従って３次元空間における直線セグメントの夫々の正確な幅及び直線セグメントの奥行き増分を取得するステップ（Ｓ２５０）と、正確な幅及び奥行き増分に従って直線セグメントの夫々の拡大された幅を取得するステップ（Ｓ２６０）と、曲面を平面に変換するために直線セグメントの全ての拡大された幅を曲面の全体的な拡大された幅へと総計するステップ（Ｓ２７０）と、曲面上の点と平面上の点との間の対応関係に従って曲面上の画像コンテンツを平面上に変換するステップ（Ｓ２８０）とを有する。次いで、処理は終了する（Ｓ２９０）。
【００１７】
本のページ曲面を補正する処理は、本発明の実施形態に従う上記の画像処理方法の例として、夫々の図面を参照して以下で詳述される。
【００１８】
図１（ｂ）に表されるような本のページの曲面の簡単な３次元モデルが、本発明の例となる処理において利用される。開いた本のページの曲面は、３次元空間において多数の平行線から成る円筒の形をしているとする。全ての線は、画像の２次元空間における共通の交差点、すなわち、消失点（vanishing point）を有する。図１（ｂ）から明らかなように、本のページの曲面は、本の表面に対する画像装置の角度による透視歪みと、湾曲により生ずる幾何学歪みとにさらされている。
【００１９】
最初に、図２における方法２００のＳ２２０で消失点を取得する具体例が記載される。図１（ｂ）を参照すると、本の２ページは、２ページの６つの制御点（すなわち、本の２頁の４つの端点１、３、４及び６並びに本の中心線の２つの端点２及び５）から計算される消失点を共有することができる。あるいは、本のページの夫々は、そのページの４つの制御点（左ページについては１、２、４及び５、右ページについては２、３、５及び６）から別々に計算される消失点を別々に有する。２ページが消失点を共有することができる場合において、図１（ｂ）に表されている３本の直線が１つの点で交差しないならば、３本の線の交差点は、例えば、最小二乗法において取得され得る。消失点を取得する方法は、制御点に従って消失点を取得することを含むが、それに限られない。いかにして制御点を取得すべきかは、本発明にとって全く無関係ではないが、先行技術において知られており、従って、その繰り返しとなる記載はここでは省略される。
【００２０】
次に、図２の方法２００におけるＳ２３０の処理の具体例が記載される。この実例において、消失点と本のページの下輪郭線上の全ての点との間の直線が取り出される。ここで、下輪郭線は上輪郭線よりも長いとされるが、上輪郭線の方が長い場合、消失点は図１（ｂ）において下輪郭線の下に位置し、このとき、消失点と本のページの上輪郭線上の全ての点との間の直線が取り出される。そして、それらの直線は互いに隣接し、３次元画像において平行である。よって、必要とされる直線セグメントは、図１（ｂ）の本のページ内に破線により表されるように、上輪郭線上にあるそれらの開始端点及び下輪郭線上にある終結端点を有して取得される。直線セグメントの幅は、実際には精度要求に依存して、１ピクセルであるか、又は１ピクセルよりも小さくても若しくは大きくてもよい。ここで、取出処理は１ピクセルの単位で実行されるとする。
【００２１】
図２の方法２００のＳ２４０で、透視歪みが除去されて、本のページの曲面上の全ての交差する直線セグメントを平行な直線セグメントに変換する。ここで、透視歪みは、例えば平面射影変換行列（homography matrix）において、除去され得る。いかにして平面射影変換行列を解いて透視歪みを除去するのかの詳細については、インドのハイデラーバードにあるInternational Information Technology AssociationのVisual Information Technology Centerに属するL.Jagannathan及びC.V.Jawaharより著された“Perspective Correction Methods for Camera-Based Document Analysis”と、R.Harley及びA.Zissermanによって著され、２０００年にケンブリッジ大学出版局によって出版された“Multiple View Geometry in Computer Vision”とを参照することができる。透視歪みを除去された画像は、図３（ｂ）において表されているとおりである。上述されたように、本のページが画像を捕捉するよう位置付けられる平面に対して垂直に画像装置が配置される場合、そのような透視歪みは存在せず、従って、透視歪みを除去するステップは省略される。
【００２２】
図３において表されているように、幾何学歪みは、透視歪みが除去された本のページ画像から除去される。
【００２３】
図２に戻り、全ての平行な直線セグメントの長さｌｅｎｇｔｈ（ｘｉ）（すなわち、撮像された長さ）、正確な幅ｄｘｉ及び奥行き増分ｄｚｉは、方法２００のＳ２５０で計算される。ここで、ｉは、直線セグメントのインデックスを表し、１からｍまでのいずれかの数であり（ｍは、直線セグメントの数を表す。）、ｘｉは、直線セグメントｉの横座標である。特に、座標系は次のように配置され得る。図３（ｂ）に表される本のページ画像において、横座標は水平方向であり、縦座標は垂直方向であり、座標の原点は本の中心線の下側端点又は必要に応じてどこかに配置され得る。
【００２４】
長さ、正確な幅及び奥行き増分を求める例は夫々、以下で記載される。
【００２５】
直線セグメントｉの長さｌｅｎｇｔｈ（ｘｉ）は、次のように、上輪郭線及び下輪郭線との直線セグメントの交点の座標から求められ得る：
【数２】
【００２６】
全ての直線セグメントの正確な長さ（すなわち、３次元空間におけるそれらの長さ）は同じである（本のページの全ての列は同じ高さである。）が、直線セグメントの撮像された長さは、本の湾曲したページにより同じでないことがある。直線セグメントが画像装置（本実施形態ではスキャナ）に近ければ近いほど、その撮像される長さは長くなりうる。従って、直線セグメントの撮像された長さは、画像装置に対するそれらの距離に反比例する。
【００２７】
正確な幅ｄｘｉに関し、取り出される直線セグメントの幅は、図３（ｂ）の本の中間ページ（透視歪みが除去された本のページ）においては１ピクセルであるが、各直線セグメントは、異なる奥行きで観測される（ここでは、奥行きは、レンズの焦点からその直線セグメントまでの距離である。）。本のページが同じ奥行きで観測される場合、水平方向におけるそれらの投影はその時点で観測され、観測される幅は正確な幅ｄｘｉと称される。撮像される幅が同じである場合、正確な幅は、画像装置までの直線セグメントの距離が短いほど狭くなり、反対に、画像装置までの直線セグメントの距離が長いほど広くなる。従って、直線セグメントの正確な幅は、撮像距離に比例し、直線セグメントの撮像される長さに反比例する。その場合に、直線セグメントｉの正確な幅は、次のとおりである：
【数３】
【００２８】
ここで、Ｃｘは定数を表す。補正された画像において最も長い直線セグメントの正確な幅が１ピクセルと定義される場合（すなわち、Ｃｘ＝Ｍａｘ（ｌｅｎｇｔｈ（ｘｉ）））、残りの直線セグメントの全ての正確な幅は１ピクセルよりも長い。ここで、Ｃｘの値は、実際上必要に応じて選択されても、又は経験的に決定されてもよいが、上記の例に限られない。
【００２９】
奥行き増分ｄｚｉに関し、２つの隣接する直線セグメントの撮像距離（すなわち、レンズの焦点までのそれらの距離）は異なってよい。上述されたように、直線セグメントの距離がレンズの焦点に対して長ければ長いほど、撮像される直線セグメントの長さは短くなる。従って、直線セグメントの撮像距離は、次のように、直線セグメントの撮像される長さに反比例する：
【数４】
【００３０】
ここで、Ｃｚ＝ｋ×Ｃｘは定数を表し、ｋは、実際上必要に応じて、例えば画像装置の関連パラメータから、決定され得る一定の係数を表す。
【００３１】
撮像距離間の差は奥行き増分と称される。これにより、直線セグメントｉの奥行き増分は、次のとおりである：
【数５】
【００３２】
奥行き増分を決定する方法はそれに限らない。例えば、直線セグメントｉの奥行き増分は、画像装置のレンズの焦点までの長さ方向におけるその２つの辺の距離の間の差であってよい。
【００３３】
次に、平行な直線セグメントの拡大された幅が、図２における方法２００のＳ２６０で、正確な幅ｄｘｉ及び奥行き増分ｄｚｉから計算される。拡大された幅は、本表面が平らであるよう広げられる場合の幅である。拡大された幅ｄｓｉを計算する処理の具体例は、図４を参照して以下で詳述される。
【００３４】
図４において、ｘ軸は、図３（ｂ）に表されるように水平方向を表し、ｚ軸は、図３（ｂ）に表されるように本のページ画像から観測者への方向を表し、直線セグメントｉの拡大された幅ｄｓｉは、正確な幅ｄｘｉ及び奥行き増分ｄｚｉとともに直角三角形を構成する。次の式は、ピタゴラスの定理から導出され得る：
【数６】
【００３５】
次いで、本の湾曲したページの全体の拡大された幅が、図２における方法２００のＳ２７０で、夫々の直線セグメントの拡大された幅から求められる。本の湾曲したページの全体の拡大された幅は、平行な直線セグメントの曲面幅の累積合計に等しい（すなわち、Ｓ＝ｓｕｍ ｄｓｉ（ｉ＝１，２，・・・ｍ））。よって、平らにされた本の実際の幅は、図３（ｃ）に表されるように本の表面を平らにさせるよう、求められる。
【００３６】
上記の処理において用いられる本のページの上輪郭線及び下輪郭線は、自動で又は半自動で位置付けられ得るので、この補正方法を扱うことは、ユーザにとって極めて容易である。
【００３７】
次に、本の原ページにおける内容（以降、入力画像）が、図２における方法２００のＳ２８０で、本の補正されたページ（以降、出力画像）に変換される。
【００３８】
この変換処理の具体例は、図５を参照して以下で詳述される。ここで、変換処理は、「補正マッピング変換」と称される。最初に、入力画像における対応する縦線セグメント（点（ｘ０’，ｙ０’）及び点（ｘ１’，ｙ１’）によって定義される線セグメント）が、出力画像における縦列（点（ｘ，ｙ０）及び点（ｘ，ｙ１）によって定義される直線セグメント）に関して位置付けられる。図５を参照すると、次の関係が、対応する縦列と縦線セグメントとの間で満足される。すなわち、右側の図における幅の比ｒ＝ｘ／Ｗは、左側の図における拡大された幅の比ｒ’＝Ｓ（ｘ１’）／Ｓ（ｘｂ’）に等しい。ここで：
【数７】
【００３９】
左側の図における対応する縦線セグメントは、この比例関係に従って位置付けられ得る。
【００４０】
縦線セグメント上の対応する点は、縦列上の夫々の点について位置付けられる。対応する点を位置付ける処理の例は、以下で記載される。右側の図の縦列（（ｘ，ｙ０）及び（ｘ，ｙ１）によって定義される縦列）上の各ピクセル点（ｘ，ｙ）に対応する左側の図の縦線セグメント上の点は、次の式において計算され得る：
【数８】
【００４１】
ここで、ａｘは、消失点に関連する一定の係数を表し、ｂｘ及びｃｘは、消失点及び平面上の横座標ｘに関連する一定の係数を表し、実験的又は経験的に導出され得る。左側の図における全ての縦線セグメントが消失点（ｘ’ｖａｎｉｓｈ，ｙ’ｖａｎｉｓｈ）で交わり、縦列の消失点のｙ座標は∞であるとすると、ｙ’ｖａｎｉｓｈ＝（∞＋ｃｘ）／（ａｘ∞＋ｂｘ）＝１／ａｘ及びａｘ＝１／ｙ’ｖａｎｉｓｈは式（６）において導出され得る。２次元平行線に関し、この消失点は無限に位置付けられてよく、その場合に、ａｘは０の値をとり、残り２つの係数ｂｘ及びｃｘは、次の式の組を解くことによって導出され得る：
【数９】
【００４２】
従って、ｙ’座標は、ｙ座標から計算され得、ｘ’座標は、縦線セグメントに対する直線セグメントの比例関係、すなわち、ｘ’＝ｘ０’＋（ｘ１’−Ｘ０’）（ｙ’−ｙ０’）／（ｙ１’−ｙ０’）に従って計算され得る。ここで、比例関係に従ってｘ’座標を計算するために用いられる点は、（ｘ０’，ｙ０’）及び（ｘ１’，ｙ１’）に限られず、計算される座標を有する如何なる点が使用されてもよい。このようにして、右側の図における縦列上の点（ｘ，ｙ）に対応する左側の図における縦線セグメント上の点の座標（ｘ’，ｙ’）が求められる。
【００４３】
最後に、右側の図における点（ｘ，ｙ）のピクセル値は、双線形補間により左側の図における点（ｘ’，ｙ’）の隣接点のピクセル値から求められ、それにより、図３（ｃ）に表されるように、本の平らにされたページの画像の内容を得ることができる。左側にある画像におけるいずれかの点のピクセル値を求める方法は双線形補間に限られず、右側の図における点（ｘ，ｙ）のピクセル値である限りは、双３次補間、Ｂ−スプライン補間、ガウス補間等の如何なる適切な補間方法であってもよい。
【００４４】
要約すると、本発明の実施形態に従う画像処理方法において、本の湾曲したページの正確な幅が求められ、ページは本の平らなページに広げられる。単純に本のページ上の上輪郭又は下輪郭から推定される本の湾曲したページの拡大された幅は、本のページの湾曲部の実際の形状が輪郭の形状と同じでないので、正しくないことがある。本発明の実施形態に従う方法において、画像装置によって捕捉される画像における線セグメントの正確な拡大された長さは、それらの長さから推定され、本のページの拡大された幅に総計され、それにより、本の平らにされたページが得られる。本の平らにされたページが得られた後、原画像の内容は、元々捕捉された画像における曲面上の点を一対一対応で拡大された平面上の点に位置付けることによって、横になった平面に変換される。本の内容は本の実際の幅を有して提示されるので、本発明は、より良い視覚的な効果を与えることができる。さらに、もはやテキストライン又は他の内容情報は、内容に依存しない方法である当該方法において必要とされないので、より良い効果が、図６（ａ）〜（ｄ）に表されるように、ピクチャ及びテキストの両方について達成され得る。
【００４５】
本の元々撮像された画像の曲面と広げられた本の平面との間で対応する点を位置付けるマッピング処理と、それらの対応する点のピクセルを導出する補間処理とは、幾何学的歪みが除去された後に実行されなくてよい点に留意すべきである。図３に表されるように、マッピング処理及び補間処理は、透視歪みが除去された後に最初に実行され、次いで、透視歪みが除去された画像と、幾何学的歪みが除去された後に画像を平らにすることとの間で実行されてよい。
【００４６】
撮像された本の面は、実施形態において一例として考えられてきたが、本発明の実施形態に従う画像処理方法はそれに限定されず、面が撮像時に曲げ歪みを有する限りあらゆる他の面の補正にも適用可能であってよい。
【００４７】
本発明の実施形態に従う画像処理方法との対応において、本発明の実施形態は、図７に表されるような画像処理装置をさらに提供する。画像処理装置は：
画像装置によって取得された２次元画像における曲面上で消失点を取得するよう構成される消失点取得部７１０と、
曲面上の特定の単位における幅によって曲面の上輪郭線及び下輪郭線のうち長い方と消失点との間の全ての直線を取り出すよう構成され、直線は互いに隣接し且つ消失点で交わる取出部７２０と、
交差する直線が平行な直線になるように曲面の透視歪みを除去するよう構成される透視歪み除去部７３０と、
上輪郭線と下輪郭線との間の直線の直線セグメントの長さを取得し、その長さに従って３次元空間における夫々の直線セグメント正確な幅及び夫々の直線セグメントの奥行き増分を取得し、正確な幅及び奥行き増分に従って夫々の直線セグメントの拡大された幅を取得し、曲面を平面に変換するために全ての直線セグメントの拡大された幅を曲面の全体的な拡大された幅へと総計するよう構成される拡大幅取得部７４０と、
曲面上の点と平面上の点との間の対応関係に従って曲面上の画像コンテンツを平面上に変換するよう構成される画像変換部７５０と
を有する。
【００４８】
本発明の実施形態に従う画像処理装置及び夫々の構成要素は、本発明に従う方法の実施形態における処理と同様の処理を実行するよう構成されてよく、従って、詳述されていない装置の実施形態におけるそれらの態様の詳細については、方法の実施形態における対応する説明が参照され得る点に留意すべきであり、その繰り返しとなる説明はここでは省略される。
【００４９】
本発明の他の実施形態に従って、画像装置（例えば、スキャナ）は、上記の様々な画像処理機能を可能にするように本発明の実施形態に従う画像処理装置を装備され得る。
【００５０】
上記の詳細な記載は、本発明の実施形態に従う方法及び／又は装置の様々な実施を説明するようブロック図、フローチャート及び／又は実施形態において提示されてきた。これらのブロック図、フローチャート及び／又は実施形態が１又はそれ以上の機能及び／又は動作を有する場合に、当業者には当然のことながら、それらのブロック図、フローチャート及び／又は実施形態における夫々の機能及び／又は動作が様々なハードウェア、ソフトウェア、ファームウェア又は原則的にそれらの組み合わせにおいて別々に及び／又は集合的に実行され得る。実施形態において、本明細書において記載される対象の幾つかの態様は、特定用途向け集積回路（ＡＳＩＣ）、フィールドプログラマブルゲートアレイ（ＦＰＧＡ）、デジタル信号プロセッサ（ＤＳＰ）又は他の集積形態において具現されてよい。なお、当業者には当然のことながら、本明細書において記載される実施の幾つかの態様は、１又はそれ以上のコンピュータにおいて実行される１又はそれ以上のコンピュータプログラムの形で（例えば、１又はそれ以上のコンピュータシステムにおいて実行される１又はそれ以上のコンピュータプログラムの形で）、１又はそれ以上のプロセッサで実行される１又はそれ以上のコンピュータプログラムの形で（例えば、１又はそれ以上のマイクロプロセッサにおいて実行される１又はそれ以上のコンピュータプログラムの形で）、ファームウェアの形で、又は同等に原則的にそれらのいずれかの組み合わせの形で、集積回路において全体的又は部分的に具現されてよく、当業者は、本明細書における開示に照らして、本開示の回路を設計し且つ／あるいは本開示のソフトウェア及び／又はファームウェアのコードを記述することができる。
【００５１】
例えば、図２に表されるような、本の表面の曲げによる歪みを補正して、最終的に本の面上の内容を平らにさせるための処理のフローチャートにおける夫々のステップは、ソフトウェア、ファームウェア、ハードウェア又はそれらのいずれかの組み合わせにおいて実行されてよい。ソフトウェア又はハードウェアにおいて実行される場合に、プログラムを構成するプログラムは、記憶媒体又はネットワークから特殊化したハードウェア構造におけるコンピュータ（例えば、図８に表される汎用のコンピュータ８００）にインストールされてよく、コンピュータは、様々なプログラムが自身にインストールされる場合に、様々な機能を実行することができる。
【００５２】
図８は、本発明の実施形態に従う画像処理方法を実行する情報処理装置として機能することができる汎用のコンピュータシステムの全体的な構造図を表す。コンピュータシステム８００は、単なる例示に過ぎず、本発明に従う方法及び装置の機能又は適用範囲の如何なる制限を提示しない。さらに、コンピュータシステム８００は、例となるコンピュータシステム８００において表されている構成要素のいずれか１つ又は組み合わせに依存し又はそれらを必要とすると解されるべきではない。
【００５３】
図８において、中央演算処理装置（ＣＰＵ）８０１は、読み出し信用メモリ（ＲＯＭ）８０２に記憶されている又は記憶部８０８からランダムアクセスメモリ（ＲＡＭ）８０３にロードされるプログラムに従って、様々な処理を実行する。ＲＡＭ８０３には、ＣＰＵ８０１が様々な処理を実行するときに必要とされるデータも必要に応じて記憶される。ＣＰＵ８０１、ＲＯＭ８０２及びＲＡＭ８０３は、バス８０４を介して互いに接続されている。バス８０４には、入出力インターフェース８０５も接続されている。
【００５４】
次の構成要素も入出力インターフェース８０５に接続されている。すなわち、入力部８０６（キーボード、マウス等を含む。）、出力部８０７（ディスプレイ（例えば、陰極線管（ＣＲＴ）、液晶ディスプレイ（ＬＣＤ）等）、スピーカ等を含む。）、記憶部８０８（ハードディスク等を含む。）、及び通信部８０９（ネットワークインターフェースカード（例えば、ＬＡＮカード）、モデム等を含む。）である。通信部８０９は、ネットワーク（例えば、インターネット）を介して通信処理を実行する。ドライブ８１０も必要に応じて入出力インターフェース８０５に接続される。リムーバブル媒体８１１（例えば、磁気ディスク、光ディスク、光学磁気ディスク、半導体メモリ等）が必要に応じてドライブ８１０にインストールされてよく、それにより、媒体８１１からフェッチされたコンピュータプログラムが記憶部８０８にインストールされ得る。
【００５５】
上記の一連の処理がソフトウェアにおいて実行される場合に、ソフトウェアを構成するプログラムは、ネットワーク（例えば、インターネット等）又は記憶媒体（例えば、リムーバブル媒体８１１）からインストールされる。
【００５６】
当業者には当然のことながら、そのような記憶媒体は、プログラムが記憶されており、ユーザにプログラムを提供するよう装置とは別に配布される図８に表されるようなリムーバブル媒体８１１に限られない。リムーバブル媒体８１１の例には、磁気ディスク（フロッピー（登録商標）ディスクを含む。）、光ディスク（コンパクトディスク読出専用メモリ（ＣＤ−ＲＯＭ）及びデジタル・バーサタイル・ディスク（ＤＶＤ）を含む。）、光学磁気ディスク（ミニディスク（ＭＤ）（登録商標）を含む。）及び半導体メモリがある。代替的に、記憶媒体は、プログラムが記憶されており、その記憶媒体を含む装置とともにユーザに配布されるＲＯＭ８０２、記憶部８０８に含まれるハードディスク等であってよい。
【００５７】
従って、本発明は、機械によって読み出されて実行される場合に本発明の実施形態に従う上記の画像処理方法を実行することができる機械読み出し可能な命令コードを記憶するプログラムプロダクトをさらに提案する。これに対して、プログラムプロダクトが具現される上記の様々な記憶媒体も本発明の適用範囲内にある。
【００５８】
本発明の実施形態の上記の説明において、実施形態において記載及び／又は図示される特徴は、他の実施形態における特徴と組み合わせて又はそれに代えて、１又はそれ以上の他の実施形態において全く同じに又は同様に使用されてよい。
【００５９】
本願で使用される語「有する」及びその活用形は、特徴、要素、ステップ又はコンポーネントの存在に言及するが、１又はそれ以上の他の特徴、要素、ステップ又はコンポーネントの存在又は付加を除外しない点に留意すべきである。序数に関連する語「第１」、「第２」等は、それらの語を用いて定義される特徴、要素、ステップ又はコンポーネントのいかなる実行順序も又は如何なる重要度も意味せず、単に、記載の明りょうさのためにそれらの特徴、要素、ステップ又はコンポーネントを特定することを目的とする。
【００６０】
さらに、本発明の夫々の実施形態に従う方法は、明細書において記載される又は図面において図示される自警例において実行されることに限られず、他の時系列において連続して又は別々に実行されてもよい。従って、明細書において記載される、方法が実行される順序は、本発明の適用範囲を制限しない。
【００６１】
また、以下の付記が、上記の実施形態に関連して開示される。
【００６２】
（付記１）
画像装置によって取得された２次元画像における曲面上で消失点を取得し、
前記曲面上の特定の単位における幅によって前記曲面の上輪郭線及び下輪郭線のうち長い方と前記消失点との間の全ての直線を取り出し、該直線は互いに隣接し且つ前記消失点で交わり、
交差する前記直線が平行な直線になるように前記曲面の透視歪みを除去し、
前記上輪郭線と前記下輪郭線との間の直線の直線セグメントの長さを取得し、該長さに従って３次元空間における前記直線セグメントの夫々の正確な幅及び前記直線セグメントの奥行き増分を取得し、
前記正確な幅及び前記奥行き増分に従って前記直線セグメントの夫々の拡大された幅を取得し、
前記曲面を平面に変換するために、前記直線セグメントの全ての拡大された幅を前記曲面の全体的な拡大された幅へと総計し、
前記曲面上の点と前記平面上の点との間の対応関係に従って前記曲面上の画像コンテンツを前記平面上に変換する
画像処理方法。
【００６３】
（付記２）
前記直線セグメントの夫々の拡大された幅を取得することは、前記正確な幅及び前記奥行き増分の二乗和を取得して、該二乗和について平方根を取得することによって、前記直線セグメントの夫々の拡大された幅を取得することを含む、
付記１に記載の画像処理方法。
【００６４】
（付記３）
前記平面上の点と前記曲面上の対応する点との間の対応関係は、
【数１０】
により表され、
ａｘは、前記直線セグメントの消失点に関連する定数を表し、ｂｘ及びｃｘは、前記直線セグメントの消失点及びｘに関連する定数を表し、ｘ及びｙは夫々、前記平面上の点の横座標及び縦座標であり、ｘ’及びｙ’は夫々、前記曲面上の対応する点の横座標及び縦座標であり、ｘ’０、ｙ’０及びｘ’１、ｙ’１は夫々、前記平面上で座標（ｘ，ｙ）がある直線セグメントに対応する前記曲面上の直線セグメントにおけるいずれかの点の横座標及び縦座標である、
付記１又は２に記載の画像処理方法。
【００６５】
（付記４）
前記奥行き増分は、直線セグメントから前記画像装置のレンズの焦点までの距離と、該直線セグメントに隣接する直線セグメントから前記画像装置の前記レンズの焦点までの距離との間の差である、
付記１乃至３のうちいずれか一つに記載の画像処理方法。
【００６６】
（付記５）
前記奥行き増分は、長さ方向における直線セグメントの２つの辺から前記画像装置のレンズの焦点までの距離の間の差である、
付記１乃至３のうちいずれか一つに記載の画像処理方法。
【００６７】
（付記６）
前記消失点は、前記曲面の前記上輪郭線及び前記下輪郭線における端点から得られる、
付記１乃至５のうちいずれか一つに記載の画像処理方法。
【００６８】
（付記７）
前記曲面は、前記画像装置によって取得された２次元画像の形をとる本の面である、
付記１乃至６のうちいずれか一つに記載の画像処理方法。
【００６９】
（付記８）
画像装置によって取得された２次元画像における曲面上で消失点を取得するよう構成される消失点取得手段と、
前記曲面上の特定の単位における幅によって前記曲面の上輪郭線及び下輪郭線のうち長い方と前記消失点との間の全ての直線を取り出すよう構成され、該直線は互いに隣接し且つ前記消失点で交わる取出手段と、
交差する前記直線が平行な直線になるように前記曲面の透視歪みを除去するよう構成される透視歪み除去手段と、
前記上輪郭線と前記下輪郭線との間の直線の直線セグメントの長さを取得し、該長さに従って３次元空間における前記直線セグメントの夫々の正確な幅及び前記直線セグメントの奥行き増分を取得し、前記正確な幅及び前記奥行き増分に従って前記直線セグメントの夫々の拡大された幅を取得し、前記曲面を平面に変換するために前記直線セグメントの全ての拡大された幅を前記曲面の全体的な拡大された幅へと総計するよう構成される拡大幅取得手段と、
前記曲面上の点と前記平面上の点との間の対応関係に従って前記曲面上の画像コンテンツを前記平面上に変換するよう構成される画像変換手段と
を有する、画像処理装置。
【００７０】
（付記９）
前記拡大幅取得手段は、前記正確な幅及び前記奥行き増分の二乗和を取得して、該二乗和について平方根を取得することによって、前記直線セグメントの夫々の拡大された幅を取得するよう構成される、
付記８に記載の画像処理装置。
【００７１】
（付記１０）
前記平面上の点と前記曲面上の対応する点との間の対応関係は、
【数１１】
により表され、
ａｘは、前記直線セグメントの消失点に関連する定数を表し、ｂｘ及びｃｘは、前記直線セグメントの消失点及びｘに関連する定数を表し、ｘ及びｙは夫々、前記平面上の点の横座標及び縦座標であり、ｘ’及びｙ’は夫々、前記曲面上の対応する点の横座標及び縦座標であり、ｘ’０、ｙ’０及びｘ’１、ｙ’１は夫々、前記平面上で座標（ｘ，ｙ）がある直線セグメントに対応する前記曲面上の直線セグメントにおけるいずれかの点の横座標及び縦座標である、
付記８又は９に記載の画像処理装置。
【００７２】
（付記１１）
前記奥行き増分は、直線セグメントから前記画像装置のレンズの焦点までの距離と、該直線セグメントに隣接する直線セグメントから前記画像装置の前記レンズの焦点までの距離との間の差である、
付記８乃至１０のうちいずれか一つに記載の画像処理装置。
【００７３】
（付記１２）
前記奥行き増分は、長さ方向における直線セグメントの２つの辺から前記画像装置のレンズの焦点までの距離の間の差である、
付記８乃至１０のうちいずれか一つに記載の画像処理装置。
【００７４】
（付記１３）
前記消失点取得手段は、前記曲面の前記上輪郭線及び前記下輪郭線における端点から前記消失点を取得する、
付記８乃至１２のうちいずれか一つに記載の画像処理装置。
【００７５】
（付記１４）
前記曲面は、前記画像装置によって取得された２次元画像の形をとる本の面である、
付記８乃至１３のうちいずれか一つに記載の画像処理装置。
【００７６】
（付記１５）
付記８乃至１４のうちいずれか一つに記載の画像処理装置を有するスキャナ。
【００７７】
（付記１６）
コンピュータで実行されると付記１乃至７のうちいずれか一つに記載の画像処理方法を実行するコンピュータプログラム。
【００７８】
（付記１７）
コンピュータで実行されると付記１乃至７のうちいずれか一つに記載の画像処理方法を実行するコンピュータプログラムを記憶する記憶媒体。
【００７９】
本発明は、本発明の実施形態の説明において先に開示されてきたが、当然のことながら、当業者は、本発明の主旨及び適用範囲から逸脱することなしに本発明に対して様々な変形、適応又は均等なものに想到可能である。それらの変形、適応又は均等なものも本発明の適用範囲内にあると解されるべきである。
【符号の説明】
【００８０】
２００ 画像処理方法
７１０ 消失点取得部
７２０ 取出部
７３０ 透視歪み除去部
７４０ 拡大幅取得部
７５０ 画像変換部
８００ コンピュータシステム
８０１ ＣＰＵ
８０２ ＲＯＭ
８０３ ＲＡＭ
８０４ バス
８０５ 入出力インターフェース
８０６ 入力部
８０７ 出力部
８０８ 記憶部
８０９ 通信部
８１０ ドライブ
８１１ リムーバブル媒体
【特許請求の範囲】
【請求項１】
画像装置によって取得された２次元画像における曲面上で消失点を取得し、
前記曲面上の特定の単位における幅によって前記曲面の上輪郭線及び下輪郭線のうち長い方と前記消失点との間の全ての直線を取り出し、該直線は互いに隣接し且つ前記消失点で交わり、
交差する前記直線が平行な直線になるように前記曲面の透視歪みを除去し、
前記上輪郭線と前記下輪郭線との間の直線の直線セグメントの長さを取得し、該長さに従って３次元空間における前記直線セグメントの夫々の正確な幅及び前記直線セグメントの奥行き増分を取得し、
前記正確な幅及び前記奥行き増分に従って前記直線セグメントの夫々の拡大された幅を取得し、
前記曲面を平面に変換するために、前記直線セグメントの全ての拡大された幅を前記曲面の全体的な拡大された幅へと総計し、
前記曲面上の点と前記平面上の点との間の対応関係に従って前記曲面上の画像コンテンツを前記平面上に変換する
画像処理方法。
【請求項２】
前記直線セグメントの夫々の拡大された幅を取得することは、前記正確な幅及び前記奥行き増分の二乗和を取得して、該二乗和について平方根を取得することによって、前記直線セグメントの夫々の拡大された幅を取得することを含む、
請求項１に記載の画像処理方法。
【請求項３】
前記平面上の点と前記曲面上の対応する点との間の対応関係は、
【数１】
により表され、
ａｘは、前記直線セグメントの消失点に関連する定数を表し、ｂｘ及びｃｘは、前記直線セグメントの消失点及びｘに関連する定数を表し、ｘ及びｙは夫々、前記平面上の点の横座標及び縦座標であり、ｘ’及びｙ’は夫々、前記曲面上の対応する点の横座標及び縦座標であり、ｘ’０、ｙ’０及びｘ’１、ｙ’１は夫々、前記平面上で座標（ｘ，ｙ）がある直線セグメントに対応する前記曲面上の直線セグメントにおけるいずれかの点の横座標及び縦座標である、
請求項１又は２に記載の画像処理方法。
【請求項４】
前記奥行き増分は、直線セグメントから前記画像装置のレンズの焦点までの距離と、該直線セグメントに隣接する直線セグメントから前記画像装置の前記レンズの焦点までの距離との間の差である、
請求項１乃至３のうちいずれか一項に記載の画像処理方法。
【請求項５】
前記奥行き増分は、長さ方向における直線セグメントの２つの辺から前記画像装置のレンズの焦点までの距離の間の差である、
請求項１乃至３のうちいずれか一項に記載の画像処理方法。
【請求項６】
前記消失点は、前記曲面の前記上輪郭線及び前記下輪郭線における端点から得られる、
請求項１乃至５のうちいずれか一項に記載の画像処理方法。
【請求項７】
前記曲面は、前記画像装置によって取得された２次元画像の形をとる本の面である、
請求項１乃至６のうちいずれか一項に記載の画像処理方法。
【請求項８】
画像装置によって取得された２次元画像における曲面上で消失点を取得するよう構成される消失点取得手段と、
前記曲面上の特定の単位における幅によって前記曲面の上輪郭線及び下輪郭線のうち長い方と前記消失点との間の全ての直線を取り出すよう構成され、該直線は互いに隣接し且つ前記消失点で交わる取出手段と、
交差する前記直線が平行な直線になるように前記曲面の透視歪みを除去するよう構成される透視歪み除去手段と、
前記上輪郭線と前記下輪郭線との間の直線の直線セグメントの長さを取得し、該長さに従って３次元空間における前記直線セグメントの夫々の正確な幅及び前記直線セグメントの奥行き増分を取得し、前記正確な幅及び前記奥行き増分に従って前記直線セグメントの夫々の拡大された幅を取得し、前記曲面を平面に変換するために前記直線セグメントの全ての拡大された幅を前記曲面の全体的な拡大された幅へと総計するよう構成される拡大幅取得手段と、
前記曲面上の点と前記平面上の点との間の対応関係に従って前記曲面上の画像コンテンツを前記平面上に変換するよう構成される画像変換手段と
を有する、画像処理装置。
【請求項９】
請求項８に記載の画像処理装置を有するスキャナ。
【請求項１０】
コンピュータで実行されると請求項１乃至７のうちいずれか一項に記載の画像処理方法を実行するコンピュータプログラム。
【請求項１】
画像装置によって取得された２次元画像における曲面上で消失点を取得し、
前記曲面上の特定の単位における幅によって前記曲面の上輪郭線及び下輪郭線のうち長い方と前記消失点との間の全ての直線を取り出し、該直線は互いに隣接し且つ前記消失点で交わり、
交差する前記直線が平行な直線になるように前記曲面の透視歪みを除去し、
前記上輪郭線と前記下輪郭線との間の直線の直線セグメントの長さを取得し、該長さに従って３次元空間における前記直線セグメントの夫々の正確な幅及び前記直線セグメントの奥行き増分を取得し、
前記正確な幅及び前記奥行き増分に従って前記直線セグメントの夫々の拡大された幅を取得し、
前記曲面を平面に変換するために、前記直線セグメントの全ての拡大された幅を前記曲面の全体的な拡大された幅へと総計し、
前記曲面上の点と前記平面上の点との間の対応関係に従って前記曲面上の画像コンテンツを前記平面上に変換する
画像処理方法。
【請求項２】
前記直線セグメントの夫々の拡大された幅を取得することは、前記正確な幅及び前記奥行き増分の二乗和を取得して、該二乗和について平方根を取得することによって、前記直線セグメントの夫々の拡大された幅を取得することを含む、
請求項１に記載の画像処理方法。
【請求項３】
前記平面上の点と前記曲面上の対応する点との間の対応関係は、
【数１】
により表され、
ａｘは、前記直線セグメントの消失点に関連する定数を表し、ｂｘ及びｃｘは、前記直線セグメントの消失点及びｘに関連する定数を表し、ｘ及びｙは夫々、前記平面上の点の横座標及び縦座標であり、ｘ’及びｙ’は夫々、前記曲面上の対応する点の横座標及び縦座標であり、ｘ’０、ｙ’０及びｘ’１、ｙ’１は夫々、前記平面上で座標（ｘ，ｙ）がある直線セグメントに対応する前記曲面上の直線セグメントにおけるいずれかの点の横座標及び縦座標である、
請求項１又は２に記載の画像処理方法。
【請求項４】
前記奥行き増分は、直線セグメントから前記画像装置のレンズの焦点までの距離と、該直線セグメントに隣接する直線セグメントから前記画像装置の前記レンズの焦点までの距離との間の差である、
請求項１乃至３のうちいずれか一項に記載の画像処理方法。
【請求項５】
前記奥行き増分は、長さ方向における直線セグメントの２つの辺から前記画像装置のレンズの焦点までの距離の間の差である、
請求項１乃至３のうちいずれか一項に記載の画像処理方法。
【請求項６】
前記消失点は、前記曲面の前記上輪郭線及び前記下輪郭線における端点から得られる、
請求項１乃至５のうちいずれか一項に記載の画像処理方法。
【請求項７】
前記曲面は、前記画像装置によって取得された２次元画像の形をとる本の面である、
請求項１乃至６のうちいずれか一項に記載の画像処理方法。
【請求項８】
画像装置によって取得された２次元画像における曲面上で消失点を取得するよう構成される消失点取得手段と、
前記曲面上の特定の単位における幅によって前記曲面の上輪郭線及び下輪郭線のうち長い方と前記消失点との間の全ての直線を取り出すよう構成され、該直線は互いに隣接し且つ前記消失点で交わる取出手段と、
交差する前記直線が平行な直線になるように前記曲面の透視歪みを除去するよう構成される透視歪み除去手段と、
前記上輪郭線と前記下輪郭線との間の直線の直線セグメントの長さを取得し、該長さに従って３次元空間における前記直線セグメントの夫々の正確な幅及び前記直線セグメントの奥行き増分を取得し、前記正確な幅及び前記奥行き増分に従って前記直線セグメントの夫々の拡大された幅を取得し、前記曲面を平面に変換するために前記直線セグメントの全ての拡大された幅を前記曲面の全体的な拡大された幅へと総計するよう構成される拡大幅取得手段と、
前記曲面上の点と前記平面上の点との間の対応関係に従って前記曲面上の画像コンテンツを前記平面上に変換するよう構成される画像変換手段と
を有する、画像処理装置。
【請求項９】
請求項８に記載の画像処理装置を有するスキャナ。
【請求項１０】
コンピュータで実行されると請求項１乃至７のうちいずれか一項に記載の画像処理方法を実行するコンピュータプログラム。
【図２】
【図３】
【図４】
【図５】
【図７】
【図８】
【図１】
【図６】
【図３】
【図４】
【図５】
【図７】
【図８】
【図１】
【図６】
【公開番号】特開２０１３−４０８８（Ｐ２０１３−４０８８Ａ）
【公開日】平成２５年１月７日（２０１３．１．７）
【国際特許分類】
【出願番号】特願２０１２−１３１７９１（Ｐ２０１２−１３１７９１）
【出願日】平成２４年６月１１日（２０１２．６．１１）
【出願人】（０００００５２２３）富士通株式会社 (25,993)
【Ｆターム（参考）】
【公開日】平成２５年１月７日（２０１３．１．７）
【国際特許分類】
【出願日】平成２４年６月１１日（２０１２．６．１１）
【出願人】（０００００５２２３）富士通株式会社 (25,993)
【Ｆターム（参考）】
[ Back to top ]