画像処理装置およびこれを備えた原稿読取システム
【課題】原稿の外形輪郭を簡単に且つ精度よく検出することができるようにする。
【解決手段】矩形をなす撮影画像の互いに直交する２辺に沿った座標軸に対して所定角度傾斜した仮想直線Ｌ１〜Ｌ４を、撮影画像の４つの頂点を始点としてその始点から撮影画像の中心に向かって、所定の移動間隔で平行移動させながら、その仮想直線と輪郭成分との交点を取得し、ここで取得した交点に基づいて原稿の外形輪郭の角点を取得して、その角点に基づいてメッシュモデルを生成するものとする。
【解決手段】矩形をなす撮影画像の互いに直交する２辺に沿った座標軸に対して所定角度傾斜した仮想直線Ｌ１〜Ｌ４を、撮影画像の４つの頂点を始点としてその始点から撮影画像の中心に向かって、所定の移動間隔で平行移動させながら、その仮想直線と輪郭成分との交点を取得し、ここで取得した交点に基づいて原稿の外形輪郭の角点を取得して、その角点に基づいてメッシュモデルを生成するものとする。
【発明の詳細な説明】
【技術分野】
【０００１】
本発明は、本などの原稿を読み取って得られた画像を処理する画像処理装置およびこれを備えた原稿読取システムに関するものである。
【背景技術】
【０００２】
本のページを自然に開いた状態で上方から撮影してページの画像を読み取ることができるブックスキャナ（書画カメラ）が普及している。このようなブックスキャナを用いると、ページをめくりながらページの画像を次々に読み取ることができるため、本を電子化する作業を効率良く行うことができる。
【０００３】
このようなブックスキャナを用いて原稿を撮影する場合、原稿の画像を適切に取得するには、撮影画像から原稿の外形輪郭を正確に検出することが重要となり、このような要望に関して、原稿が載置される台座の面に斜線などの識別印を施して、この斜線により撮影画像における原稿の外側の領域を判別して、原稿領域を取得するようにした技術が知られている（特許文献１参照）。
【先行技術文献】
【特許文献】
【０００４】
【特許文献１】特開２００６−２１１０４６号公報
【発明の概要】
【発明が解決しようとする課題】
【０００５】
しかしながら、前記従来の技術では、特別に識別印を施した台座を用意する必要があり、また原稿が載置される机の面にゴミが付着すると、誤検出を招くことから、ゴミの付着がないように丁寧に清掃する必要があり、さらに机の面にある模様などが原因で誤検出が発生することもあるため、ユーザにとって必ずしも使い勝手のよいものではなかった。
【０００６】
本発明は、このような従来技術の問題点を解消するべく案出されたものであり、その主な目的は、ユーザに面倒をかけることなく、原稿の外形輪郭を精度よく検出することができるように構成された画像処理装置およびこれを備えた原稿読取システムを提供することにある。
【課題を解決するための手段】
【０００７】
本発明の画像処理装置は、原稿の紙面を載置面とともに撮影した撮影画像を取得する撮影画像取得部と、前記撮影画像を処理する画像処理部と、を有し、この画像処理部は、前記撮影画像から原稿の輪郭成分を抽出する輪郭成分抽出部と、矩形をなす前記撮影画像の互いに直交する２辺に沿った座標軸に対して所定角度傾斜した仮想直線を所定の移動間隔で平行移動させながら、その仮想直線と前記輪郭成分抽出部で取得した輪郭成分との交点を取得する交点検出部と、この交点検出部で取得した交点に基づいて原稿の外形輪郭の角点を取得する角点取得部と、を備え、この角点取得部で取得した角点に基づいて原稿の外形輪郭を取得する構成とする。
【０００８】
また、本発明の原稿読取システムは、前記の発明にかかる画像処理装置と、カメラ部を備えた画像入力装置と、を有し、この画像入力装置において原稿を撮影して撮影画像を前記画像処理装置に送る構成とする。
【発明の効果】
【０００９】
本発明によれば、所定角度傾斜した仮想直線を移動させることで、仮想直線が原稿の外形輪郭の角点に到達したところで、交点の列が概ね直角に近い状態で２方向に分かれるように現れ、この交点の出現状況から原稿の外形輪郭の角点を精度よく検出し、さらにその角点に基づいて原稿の外形輪郭を精度よく検出することができる。そして、特別な台座を用意する必要がなく、また原稿の載置面に付着したゴミや載置面の模様などのノイズによる影響をあまり受けないため、ユーザに面倒をかけることがなく、ユーザの使い勝手を高めることができる。
【図面の簡単な説明】
【００１０】
【図１】本実施形態にかかる原稿読取システムを示す全体構成図
【図２】ブックスキャナ１およびＰＣ２の概略構成を示すブロック図
【図３】本原稿読取システムにおける原稿読取の手順を示すフロー図
【図４】原稿読取の各処理の状況を示す模式図
【図５】原稿読取の各処理の状況を示す模式図
【図６】図３に示した角点検出（ＳＴ１０３）の手順を示すフロー図
【図７】図６に示した直線成分検出（ＳＴ２０１）の状況を示す模式図
【図８】図６に示した原稿端領域取得（ＳＴ２０２）の手順を示すフロー図
【図９】図６に示した原稿端領域取得（ＳＴ２０２）の状況を示す模式図
【図１０】図６に示した原稿端領域取得（ＳＴ２０２）の状況を示す模式図
【図１１】図６に示した交点検出（ＳＴ２０６）の状況を示す模式図
【図１２】図６に示した輪郭交点抽出（ＳＴ２０７）の状況を示す模式図
【図１３】図６に示した輪郭交点抽出（ＳＴ２０７）の状況を示す模式図
【図１４】図６に示した角点取得（ＳＴ２０８）の状況を示す模式図
【図１５】図６に示した角点取得（ＳＴ２０８）の状況を示す模式図
【図１６】図６に示した角点取得（ＳＴ２０８）の状況を示す模式図
【図１７】図６に示した角点取得（ＳＴ２０８）の状況を示す模式図
【図１８】図６に示した角点妥当性判断（ＳＴ２０９）の状況を示す模式図
【図１９】図６に示した角点妥当性判断（ＳＴ２０９）の状況を示す模式図
【図２０】図３に示した輪郭点取得（ＳＴ１０４）の手順を示すフロー図
【図２１】図３に示した輪郭点取得（ＳＴ１０４）の状況を示す模式図
【図２２】図３に示した輪郭点取得（ＳＴ１０４）の状況を示す模式図
【図２３】図３に示したメッシュモデル生成（ＳＴ１０５）の手順を示すフロー図
【図２４】図３に示したメッシュモデル生成（ＳＴ１０５）の状況を示す模式図
【発明を実施するための形態】
【００１１】
前記課題を解決するためになされた第１の発明は、原稿の紙面を載置面とともに撮影した撮影画像を取得する撮影画像取得部と、前記撮影画像を処理する画像処理部と、を有し、この画像処理部は、前記撮影画像から原稿の輪郭成分を抽出する輪郭成分抽出部と、矩形をなす前記撮影画像の互いに直交する２辺に沿った座標軸に対して所定角度傾斜した仮想直線を所定の移動間隔で平行移動させながら、その仮想直線と前記輪郭成分抽出部で取得した輪郭成分との交点を取得する交点検出部と、この交点検出部で取得した交点に基づいて原稿の外形輪郭の角点を取得する角点取得部と、を備え、この角点取得部で取得した角点に基づいて原稿の外形輪郭を取得する構成とする。
【００１２】
これによると、所定角度傾斜した仮想直線を移動させることで、仮想直線が原稿の外形輪郭の角点に到達したところで、交点の列が概ね直角に近い状態で２方向に分かれるように現れ、この交点の出現状況から原稿の外形輪郭の角点を精度よく検出し、さらにその角点に基づいて原稿の外形輪郭を精度よく検出することができる。そして、特別な台座を用意する必要がなく、また原稿の載置面に付着したゴミや載置面の模様などのノイズによる影響をあまり受けないため、ユーザに面倒をかけることがなく、ユーザの使い勝手を高めることができる。
【００１３】
また、第２の発明は、前記画像処理部は、取得した原稿の外形輪郭に基づいてメッシュモデルを生成して、そのメッシュモデルに基づいて前記撮影画像を平面化する構成とする。
【００１４】
これによると、本のページを自然に開いた状態で撮影した場合に、紙が湾曲することで紙面の画像が歪んだ状態で撮影されても、平面化により歪みのない画像を得ることができる。
【００１５】
また、第３の発明は、前記交点検出部は、始点から交点が検出されるまでは、前記仮想直線を第１の移動間隔で大きく移動させ、交点が検出されると、その直前の位置から前記仮想直線を第２の移動間隔で細かく移動させる構成とする。
【００１６】
これによると、輪郭成分と仮想直線との交点を狭い間隔で取得することができるため、検出精度を向上させることができる。
【００１７】
また、第４の発明は、前記画像処理部は、撮影画像から原稿の端縁が存在するものと推定される原稿端領域を取得する原稿端領域取得部をさらに備え、前記交点検出部で取得した交点のうち、前記原稿端領域取得部で取得した前記原稿端領域の外に位置する交点をノイズとして除去する構成とする。
【００１８】
これによると、原稿端領域外に位置するノイズ交点に起因する誤検出を避けることができる。
【００１９】
また、第５の発明は、前記原稿端領域取得部は、撮影画像から検出された直線成分を計数して、その直線成分の計数値に基づいて原稿端領域を取得する構成とする。
【００２０】
これによると、原稿端領域を精度よく取得することができる。
【００２１】
また、第６の発明は、原稿読取システムに関するものであり、前記の画像処理装置と、カメラ部を備えた画像入力装置と、を有し、この画像入力装置において原稿を撮影して撮影画像を前記画像処理装置に送る構成とする。
【００２２】
これによると、前記のとおり、ユーザに面倒をかけることなく、原稿の外形輪郭を簡単に且つ精度よく検出することができる。
【００２３】
以下、本発明の実施の形態を、図面を参照しながら説明する。
【００２４】
図１は、本実施形態にかかる原稿読取システムを示す全体構成図である。この原稿読取システムは、本（原稿）Ｂの紙面の画像を読み取って、紙面の画像データを取得するものであり、ブックスキャナ（画像入力装置）１とＰＣ（画像処理装置）２とからなっている。
【００２５】
ブックスキャナ１は、本Ｂの紙面を撮像するカメラ部３と、このカメラ部３を保持するスタンド部４とを備え、スタンド部４を机などの載置面５に据え付けるとともに、カメラ部３の真下の載置面５上に本Ｂを載置して、カメラ部３で本Ｂの紙面を撮像する。本Ｂは、自然に開いた状態で紙面の撮像が行われ、本Ｂの見開き２ページの撮影画像が得られる。そして、歪みのある紙面の画像を平面化する処理が行われて、見開き２ページ分の平面化された紙面の画像を取得することができる。
【００２６】
図２は、ブックスキャナ１およびＰＣ２の概略構成を示すブロック図である。ブックスキャナ１は、カメラ部３を備えた撮像処理部１１と、操作指示部１２と、外部インタフェイス１３と、を有している。ＰＣ２は、外部Ｉ／Ｆ２１と、画像データ入力部（撮影画像取得部）２２と、画像処理部２３と、操作系制御部２４と、表示データ生成部２５と、表示器２６と、入力部２７と、データ格納部２８と、を有している。なお、ＰＣ２の画像処理部２３および表示データ生成部２５は、画像処理アプリケーションなどのプログラムをＣＰＵで実行するソフトウェア処理で実現される。
【００２７】
ＰＣ２では、キーボードなどからなる入力部２７の操作により、ブックスキャナ１で撮影される画像の解像度やフレームレートなどの動作条件が入力され、この動作条件が操作系制御部２４からブックスキャナ１に送信され、ブックスキャナ１では、ＰＣ２から送信された動作条件に基づいて操作指示部１２による指示にしたがって撮像処理部１１が所要の動作を行う。
【００２８】
ＰＣ２の画像データ入力部２２では、ブックスキャナ１から送信される画像データをメモリに格納し、必要に応じてその画像データを画像処理部２３に出力する。この画像データ入力部２２では、原稿（ここでは本の紙面）Ｂが載置面５とともに写った撮影画像を取得する。
【００２９】
画像処理部２３は、角点検出部３１と、輪郭取得部３２と、メッシュモデル生成部３３と、画像変換部３４と、を有している。角点検出部３１は、原稿端領域取得部４１と、輪郭成分抽出部４２と、交点検出部４３と、輪郭交点取得部４４と、角点取得部４５と、を有している。
【００３０】
図３は、本原稿読取システムにおける原稿読取の手順を示すフロー図である。図４、図５は、原稿読取の各処理の状況を示す模式図である。
【００３１】
まず、ユーザがブックスキャナ１のカメラ部３の下に本（原稿）をセットする（ＳＴ１０１）。そして、ブックスキャナ１を起動させるとともに、ＰＣ２で所要のアプリケーションを起動させると、画像の入力、すなわちブックスキャナ１で撮像が開始されてその撮像データがＰＣ２に送信され（ＳＴ１０２）、ＰＣ２の画像データ入力部２２では、本Ｂの紙面を載置面５とともに撮影した撮影画像を取得する。
【００３２】
ＰＣ２では、図４（Ａ）に示すように、撮影画像から原稿の外形輪郭の角点を検出する処理が角点検出部３１にて行われ（ＳＴ１０３）、ついで、図４（Ｂ）に示すように、角点検出部３１で検出した角点に基づいて、本の輪郭、すなわち連続して並んだ画素により構成された輪郭を取得する処理が輪郭取得部３２にて行われる（ＳＴ１０４）。
【００３３】
ついで、図５（Ａ）に示すように、輪郭取得部３２で取得した輪郭情報に基づいてページの上下左右の端点である特異点を検出し、この特異点を基準にしてメッシュモデルを生成する処理がメッシュモデル生成部３３にて行われ（ＳＴ１０５）、ついで、図５（Ｂ）に示すように、メッシュモデル生成部３３で取得したメッシュモデルに基づいて画像を平面化する画像変換処理が画像変換部３４にて行われる（ＳＴ１０６）。ここでは、射影変換（アフィン変換）により画像の平面化が行われ、フラットベッドスキャナで読み取ったものと同様の画像を取得することができる。
【００３４】
このようにして平面化された画像を取得すると、その画像を表示器２６に表示させ（ＳＴ１０７）、これによりユーザは画像の切り出しが適切に行われたか否かを確認することができ、平面化された画像のデータはデータ格納部２８に格納される（ＳＴ１０８）。
【００３５】
［角点検出］
次に、図３に示した角点検出（ＳＴ１０３）について詳しく説明する。図６は、角点検出の手順を示すフロー図である。
【００３６】
図２に示した角点検出部３１では、図４（Ａ）に示したように、撮影画像から原稿の外形輪郭の４つの角点（本の場合、通常は表紙の角）Ｃａ０，Ｃｂ０，Ｃｃ０，Ｃｄ０を検出する処理が行われ、以下に詳しく説明するように、直線成分検出（ＳＴ２０１）、原稿端領域検出（ＳＴ２０２）、原稿端領域妥当性判断（ＳＴ２０３）、エッジ検出（ＳＴ２０４）、輪郭成分抽出（ＳＴ２０５）、交点検出（ＳＴ２０６）、輪郭交点取得（ＳＴ２０７）、角点抽出（ＳＴ２０８）、角点妥当性判断（ＳＴ２０９）の各処理が順次行われて、角点が妥当性であるものと判断されると、角点を確定してその座標を記録する（ＳＴ２１０）。
【００３７】
（直線成分検出）
まず、図６に示した直線成分検出（ＳＴ２０１）について詳しく説明する。図７は、直線成分検出の状況を示す模式図である。この処理は図２に示した原稿端領域取得部４１で行われる。
【００３８】
ここでは、撮影画像内の直線成分（直線状に並んだ画素）を検出する。この直線成分の検出は、ハフ（Hough）変換により行えばよい。ついで、検出された直線成分を撮影画像の端まで延長した延長直線線分を求める。ここでは、所定の長さより長い直線成分のみを選択して延長直線線分を求める。
【００３９】
（原稿端領域取得）
次に、図６に示した原稿端領域取得（ＳＴ２０２）について説明する。図８は、原稿端領域取得の手順を示すフロー図である。図９、図１０は、原稿端領域取得の状況を示す図である。この処理は図２に示した原稿端領域取得部４１で行われる。
【００４０】
ここでは、撮影画像から原稿の端縁、すなわち本の外形輪郭やページの端縁、継ぎ目が存在するものと推定される原稿端領域を取得する処理が行われる。なお、図８に示す例では、縦方向の原稿端領域の検出を先に、横方向の原稿端領域の検出を後にしたが、この順序は逆でもよい。
【００４１】
まず、縦方向に延在する原稿端領域の検出について説明する。ここではまず、図６に示した直線成分検出（ＳＴ２０１）で取得した延長直線線分のうち、縦方向の延長直線線分を抽出する（ＳＴ３０１）。ここで、縦方向の延長直線成分は、縦方向（本の紙面の上下方向）に延びた、すなわち撮影画像の上下の辺に対して４５〜９０度の角度をなすものである。
【００４２】
そして、図９（Ａ）に示すように、所定のＹ方向位置ｙ１〜ｙ５でＸ方向に延びた検出ライン上で、所定幅（例えば２５画素）の計数区間ごとに縦方向の延長直線線分が通過する本数を計数する（ＳＴ３０２）。図９では、２５６０×１９２０画素の例を示しており、例えばＹ方向位置ｙ１〜ｙ５は、Ｙ座標で１００、６００、１０００、１４００、１９００とする。
【００４３】
ついで、図９（Ｂ）に示すように、Ｙ方向位置ｙ１〜ｙ５の各々で、延長直線線分の計数値が最も大きくなるピーク点ＬＣ１〜５，ＣＣ１〜５，ＲＣ１〜５を求め、そのピーク点ＬＣ１〜５、ＣＣ１〜５、ＲＣ１〜５を通る近似直線を求める。そして、その近似直線のライン数が妥当か否かを判定する（ＳＴ３０３）。図９に示すように、本の見開き２ページの場合には、ピーク点はＸ方向に３つ現れ、近似直線は３本となり、本の表紙やシート原稿の場合には、ピーク点はＸ方向に２つ現れ、近似直線は２本となる。
【００４４】
ここで求められた近似直線は原稿端領域の中心線となり、この中心線を基準にして縦方向に延在する原稿端領域ＳＬ，ＳＣ，ＳＲを設定する（ＳＴ３０４）。原稿端領域ＳＬ，ＳＣ，ＳＲは、撮影画像の上下の端を２つの辺（上辺および下辺）とし、近似直線を中心線としてＸ方向に所定の幅ＳＬＸ，ＳＣＸ，ＳＲＸを有する平行四辺形をなす。左右の原稿端領域ＳＬ，ＳＲは、本の左右の端に位置する表紙の端縁やページの端縁が存在する領域であり、中央の原稿端領域ＳＣはページの継ぎ目が存在する領域である。
【００４５】
原稿端領域ＳＬ，ＳＣ，ＳＲのＸ方向の幅ＳＬＸ，ＳＣＸ，ＳＲＸは、左右のピーク点ＬＣ１〜５，ＲＣ１〜５の間のＸ方向の距離ＬＸに基づいて設定され、ここでは、経験的に定まる所定の比率をＬＸに乗じた値とし、例えば左右の原稿端領域ＳＬ，ＳＲのＸ方向の幅ＳＬＸ，ＳＲＸは、ＬＸの１／８、中央の原稿端領域ＳＣのＸ方向の幅ＳＣＸはＬＸの１／１０とする。
【００４６】
また、左右の原稿端領域ＳＬ，ＳＲのＸ方向の幅ＳＬＸ，ＳＲＸは、本のページ数に応じて変化するので、計測結果に基づいて算出するようにしてもよい。また、計測結果に基づいて算出された値と、前記のＬＸに対する比率で算出された値とを比較して大きい方を選択するようにしてもよい。
【００４７】
この場合、左右の原稿端領域ＳＬ，ＳＲのＸ方向の幅ＳＬＸ，ＳＲＸは、例えばピーク点ＬＣ１〜５，ＲＣ１〜５の前後位置で、所定の閾値以上の計数値となる領域のＸ方向の幅の所定数倍（例えば２倍）とする。ここで、閾値は、ピーク点ＬＣ１〜５，ＲＣ１〜５での計数値（最高値）に所定の比率（例えば５０％）を乗じた値とすればよい。
【００４８】
なお、小型の本の場合には、撮影画像内で本の画像が小さくなるため、有意なピーク点が少なくなり、原稿端領域ＳＬ，ＳＣ，ＳＲを適切に抽出することができなくなることがある。そこで、このような場合には、Ｙ方向位置ｙ１〜ｙ５を変更して再計算する。例えばＹ方向位置ｙ１〜ｙ５を、Ｙ座標で３００，８００，１０００，１２００，１７００とする。この例では、Ｙ方向の中心部で間隔を狭くしている。
【００４９】
また、本例では、ピーク点を検出するためのＹ方向位置（検出ラインの位置）を５つ設定したが、この検出位置の数はこれに限定されるものではなく、例えば２つでも可能であり、さらにＹ方向の中心の１つ（例えばＹ＝１０００）でもよい。また、ユーザに処理状況を提示するための仮検出では検出位置を少数（例えば２つ）設定し、最終的に保存する画像を生成するための本検出では、正確な検出ができるように検出位置を多く設定するようにするとよい。
【００５０】
次に、横方向に延在する原稿端領域の検出について説明する。ここではまず、図６に示した直線成分検出（ＳＴ２０１）で取得した延長直線線分のうち、横方向の延長直線線分を抽出する（ＳＴ３０５）。ここで、横方向の延長直線成分は、横方向（本の紙面の左右方向）に延びた、すなわち撮影画像の上下の辺に対して０〜４５度の角度をなすものである。
【００５１】
そして、図１０（Ａ）に示すように、所定のＸ方向位置ｘ１〜ｘ５でＹ方向に延びた検出ライン上で、所定幅（例えば２５画素）の計数区間ごとに横方向の延長直線線分が通過する本数を計数する（ＳＴ３０６）。図１０では、２５６０×１９２０画素の例を示しており、例えばＸ方向位置ｘ１〜ｘ５は、Ｘ座標で１００、７００、１３００、１８００、２４００とする。
【００５２】
ついで、図１０（Ｂ）に示すように、Ｘ方向位置ｘ１〜ｘ５の各々で、延長直線線分の計数値が最も大きくなるピーク点ＵＣ１〜５，ＤＣ１〜５を求め、そのピーク点ＤＣ１〜５，ＵＣ１〜５を通る近似直線を求める。そして、その近似直線のライン数が妥当か否かを判定する（ＳＴ３０７）。図１０に示すように、本の見開き２ページの場合には、ピーク点はＹ方向に２つ現れ、近似直線は２本となり、本の表紙やシート原稿の場合にも、ピーク点はＹ方向に２つ現れ、近似直線は２本となる。
【００５３】
ここで求められた近似直線は原稿端領域の中心線となり、この中心線を基準にして縦方向に延在する原稿端領域ＳＵ，ＳＤを設定する（ＳＴ３０８）。原稿端領域ＳＵ，ＳＤは、撮影画像の左右の端を２つの辺（左辺および右辺）とし、近似直線を中心線としてＹ方向に所定の幅ＳＵＹ，ＳＤＹの平行四辺形をなす。この原稿端領域ＳＵ，ＳＤは、本の上下の端に位置する表紙やページの端縁が存在する領域である。
【００５４】
原稿端領域ＳＵ，ＳＤのＹ方向の幅ＳＵＹ，ＳＤＹは、上下のピーク点ＵＣ１〜５，ＤＣ１〜５の間のＹ方向の距離ＬＹに基づいて設定され、ここでは、経験的に定まる所定の比率をＬＹに乗じた値とし、例えばＬＹの１／７とする。
【００５５】
また、原稿端領域ＳＵ，ＳＤのＹ方向の幅ＳＵＹ，ＳＤＹは、開いた紙の湾曲量が影響し、また本のサイズやページ数に応じて変化するので、計測結果に基づいて算出するようにしてもよい。また、計測結果に基づいて算出された値と、前記のＬＹに対する比率で算出された値とを比較して大きい方を選択するようにしてもよい。
【００５６】
この場合、原稿端領域ＳＵ，ＳＤのＹ方向の幅ＳＵＹ，ＳＤＹは、例えばピーク点ＵＣ１〜５，ＤＣ１〜５の前後位置で、所定の閾値以上の計数値となる領域のＹ方向の幅の所定数倍（例えば３倍）とする。ここで、閾値は、ピーク点ＵＣ１〜５，ＤＣ１〜５での計数値（最高値）に所定の比率（例えば６６％）を乗じた値とすればよい。
【００５７】
なお、小型の本の場合には、撮影画像内で本の画像が小さくなるため、有意なピーク点が少なくなり、原稿端領域ＳＵ，ＳＤを適切に抽出することができなくことがある。そこで、このような場合には、Ｘ方向位置ｘ１〜ｘ５を変更して再計算する。例えばＸ方向位置ｘ１〜ｘ５を、Ｘ座標で５００、９５０，１３００，１７５０，２０００とする。この例では、Ｘ方向の中心部で間隔を狭くしている。
【００５８】
また、本例では、ピーク点を検出するためのＸ方向位置（検出ラインの位置）を５つ設定したが、この検出位置の数はこれに限定されるものではなく、例えば２つでも可能である。また、ユーザに処理状況を提示するための仮検出では検出位置を少数（例えば２つ）設定し、最終的に保存する画像を生成するための本検出では、正確な検出ができるように検出位置を多く設定するようにするとよい。
【００５９】
またここでは、見開き２ページの場合、本を左右に開いた状態で撮影した例で説明したが、本を上下に開いた状態で撮影される場合もあり、この場合、前記の例とは縦横を逆にした状態となり、図９に示した縦方向に延在する原稿端領域が２つ抽出され、図１０に示した横方向に延在する原稿端領域が３つ抽出されることになる。
【００６０】
また、原稿端領域の幅は、本の大きさやページ数で最適値が変化し、ここで例示した値は、一般的なユーザを想定した経験値であり、本（原稿）の種類に偏りがある場合には、適切な処理が行われない可能性もあるため、このような場合には、ユーザが適宜に変更することができるようにしたり、あるいは複数の撮影画像の処理で取得した値から評価関数（例えば、角点位置の分散値を最小にする）に基づいて統計的に最適値を変更するようにしてもよい。
【００６１】
また、本例では、検出ライン上で延長直線線分の計数値が最も大きくなるピーク点に基づいて原稿端領域を設定するようにしたが、この他に、延長直線線分の計数値に閾値を設定して、その閾値を超える領域の数で原稿端領域を設定するようにしてもよく、原稿端領域の数が適切な値（図９に示す例では３つ）とならない場合に、閾値を調整することで適切な数の原稿端領域を設定することができる。ここで、閾値は、延長直線線分の計数値の分布状況に基づいて設定することになるが、１例として延長直線線分の計数値の大きなものから３番目の値の５０％を閾値に設定すればよい。
【００６２】
また、本の紙面に表が記載されている場合、表の罫線が直線成分として検出されるため、中間の領域に多数のピーク点が現れる。この場合、まず、両端に現れるピーク点に基づいて左右の原稿端領域を設定する。そして、検出ライン上で延長直線線分を計数する際の計数区間の幅（画素数）を変更して、検出ライン上の延長直線線分を計数する処理を実施する。このとき、例えば計数区間の幅を小さくして（例えば５画素）、１本の延長直線線分のみが存在する領域については計数値を処理対象から除外する。また、計数区間の幅を大きくして（例えば３０画素）、計数値の上位のものから所定数（図１０に示す例では２つ）の領域を抽出する。
【００６３】
（原稿端領域妥当性判断）
次に、図６に示した原稿端領域妥当性判断（ＳＴ２０３）について説明する。この処理は図２に示した原稿端領域取得部４１で行われる。
【００６４】
ここでは、図６に示した原稿端領域取得（ＳＴ２０２）で取得した原稿端領域の妥当性を、ピーク点が現れる位置に基づいて判断する。本の見開き２ページの読取においては、左右の端と中心部にピーク点が合計３つ現れ、さらにこの３つのピーク点の間隔が概ね等しくなり、この条件を満たさない場合には妥当でないものと判断する。
【００６５】
具体的には、綴じ目を表す中心のピーク点ＣＣが存在しない場合は、妥当でないものと判断して、図６に示した直線成分検出（ＳＴ２０１）に戻り、閾値を変更して直線成分検出の処理をやり直す。
【００６６】
また、左側のピーク点ＬＣと中心のピーク点ＣＣの距離と、中心のピーク点ＣＣと右側のピーク点ＲＣの距離とを比較し、両者の差が所定値より大きい場合は、妥当でないものと判断して、図６に示した原稿端領域取得（ＳＴ２０２）に戻り、延長直線成分を計数する際の検出ラインの位置を変更して原稿端領域取得の処理をやり直す。これにより、紙面に記載された図表の線による中心のピーク点ＣＣの誤検出を避けることができる。一方、検出ラインの位置を変更した原稿端領域取得の処理を所定の回数繰り返しても、距離差が小さくならない場合は、図６に示した直線成分検出（ＳＴ２０１）に戻る。
【００６７】
（エッジ検出）
次に、図６に示したエッジ検出（ＳＴ２０４）について説明する。この処理は図２に示した輪郭成分抽出部４２で行われる。
【００６８】
ここでは、撮影画像に対してエッジ検出を行ってエッジ成分を抽出する。このエッジ検出は、キャニー（Canny）法を用いて行えばよい。ここで、閾値が低いと、ノイズが多くなり、逆に閾値が高いと、断片化したエッジ成分が増えるため、検出結果に応じて、閾値を変化させ、エッジ検出を最適化する。この場合、一定長さ以上の連続したエッジ成分の合計長さ、その数、一定幅以下の連続したエッジ成分の合計長さを評価基準として、この評価基準値が最大となる閾値を学習させるとよい。
【００６９】
（輪郭成分抽出）
次に、図６に示した輪郭成分抽出（ＳＴ２０５）について説明する。この処理は図２に示した輪郭成分抽出部４２で行われる。
【００７０】
ここでは、図６に示したエッジ検出（ＳＴ２０４）で取得したエッジ画像内の輪郭成分（原稿の輪郭を構成する画素）を抽出する。そして、断片化した小さなエッジ成分をノイズとして除去する。また、欠落した輪郭成分を補間する。このとき、輪郭成分の方向と長さ、途切れた間隔の長さにより連続性判定を行い、途切れと判定した輪郭成分を補間する。
【００７１】
（交点検出）
次に、図６に示した交点検出（ＳＴ２０６）について説明する。図１１は、交点検出の状況を示す模式図である。この処理は図２に示した交点検出部４３で行われる。
【００７２】
ここでは、矩形をなす撮影画像の互いに直交する２辺に沿った座標軸（Ｘ軸およびＹ軸）に対して所定角度傾斜した仮想直線Ｌ１〜Ｌ４を、撮影画像の４つの頂点を始点として、その始点から撮影画像の中心に向かって、所定の移動間隔で段階的に平行移動させながら、図６に示した輪郭成分抽出（ＳＴ２０５）で抽出した輪郭成分（本の外形輪郭を構成する画素）と仮想直線Ｌ１〜Ｌ４との交点を収集する。この仮想直線Ｌ１〜Ｌ４の移動は、始点となる頂点に対してＸ方向およびＹ方向に位置する２つの頂点のいずれか一方に仮想直線Ｌ１〜Ｌ４が到達するまで行われる。
【００７３】
仮想直線Ｌ１〜Ｌ４は、Ｘ軸およびＹ軸に対して±４５度の角度をなす。具体的には、右上の頂点(2560,1920)を始点とした第１の仮想直線Ｌ１はＸ軸に対して−４５度、右下の頂点(2560,0)を始点とした第２の仮想直線Ｌ２はＸ軸に対して＋４５度、左上の頂点(0,1920)を始点とした第３の仮想直線Ｌ３はＸ軸に対して＋４５度、左下の頂点(0,0)を始点とした第４の仮想直線Ｌ４はＸ軸に対して−４５度となる。
【００７４】
ここでは、Ｘ方向に２５６０、Ｙ方向に１９２０の画素を有する場合を示しており、この場合、仮想直線Ｌ１〜Ｌ４はそれぞれ次式で表される。
Ｌ１：ｙ＝−ｘ＋４４８０−Step×（Ｎ−１）
Ｌ２：ｙ＝＋ｘ−２５６０−Step×（Ｎ−１）
Ｌ３：ｙ＝＋ｘ＋１９２０−Step×（Ｎ−１）
Ｌ４：ｙ＝−ｘ＋Step×（Ｎ−１）
ここで、Stepは、仮想直線の移動間隔である。Ｎは、ライン番号であり、始点の位置を１として、仮想直線を移動間隔Stepで平行移動させるたびに１ずつ増分することになる。
【００７５】
特にここでは、仮想直線Ｌ１〜Ｌ４の移動間隔Stepを交点の検出の前後で変更する。すなわち、始点から交点が検出されるまでは、仮想直線Ｌ１〜Ｌ４を第１の移動間隔Step１で大きく移動させ、交点が検出されると、その直前の位置から仮想直線を第２の移動間隔Step２で細かく移動させる。この第２の移動間隔Step２による移動は、所定の回数行われ、以降は第１の移動間隔Step１と第２の移動間隔Step２との中間の大きさとなる第３の移動間隔Step３で仮想直線を移動させる。
【００７６】
このように仮想直線の移動間隔Stepが３段階に変更され、第１の移動間隔Step１、第２の移動間隔Step２、第３の移動間隔Step３は次式の関係となる。
Step１＞Step３＞Step２
【００７７】
具体的には、第１の移動間隔Step１＝５０とし、このとき仮想直線はＸ方向に５０画素分平行移動する。第２の移動間隔Step２＝４とし、このとき仮想直線はＸ方向に４画素分平行移動する。第３の移動間隔Step３＝１０とし、このとき仮想直線はＸ方向に１０画素分平行移動する。第２の移動間隔Step２による仮想直線の移動は５０本分とする。
【００７８】
このように傾斜した仮想直線を所定の移動間隔で段階的に平行移動させながら、輪郭成分と仮想直線との交点を収集すると、仮想直線が原稿の外形輪郭の角点に到達したところで、交点の列が概ね直角に近い状態で２方向に分かれるように現れるため、この交点の出現状況から原稿の外形輪郭の角点を精度よく検出することができる。特に交点が検出されたところで第２の移動間隔Step２で仮想直線Ｌ１〜Ｌ４が小刻みに移動することにより、精度の向上を図ることができる。
【００７９】
（輪郭交点取得）
次に、図６に示した輪郭交点取得（ＳＴ２０７）について説明する。図１２、図１３は、輪郭交点抽出の状況を示す模式図である。この処理は図２に示した輪郭交点取得部４４で行われる。
【００８０】
ここでは、図６に示した交点検出（ＳＴ２０６）で取得した交点のうち、最も外側に位置する交点を輪郭交点として抽出するとともに、抽出された輪郭交点のうち、ノイズと判断されるものを除去する。
【００８１】
まず、図１２（Ａ）に示すように、図６に示した交点検出（ＳＴ２０６）で取得した交点の中から、図６に示した原稿端領域検出（ＳＴ２０２）で検出した左右の原稿端領域ＳＬ，ＳＲおよび上下の原稿端領域ＳＵ，ＳＤに位置する交点を抽出し、原稿端領域ＳＬ，ＳＲ，ＳＵ，ＳＤの外に位置する交点をノイズとして除去する。
【００８２】
ついで、原稿端領域ＳＬ，ＳＲ，ＳＵ，ＳＤ内にある交点のうち、本の輪郭を構成する交点を抽出する。ここでは、Ｙ方向の仮想直線を撮影画像の一端（Ｘ座標が最大の２５６０となる位置）から他端（Ｘ座標が０となる位置）に向かって平行移動させる。このとき、仮想直線と重なった交点を２点もしくは１点抽出する。もし、仮想直線の同一位置で複数の交点を検出した場合は、それらの交点のうちＹ座標が最大および最小となる２点を輪郭交点として抽出する。これにより、図１２（Ｂ）に示すように、Ｙ方向で最も外側に位置する交点が輪郭交点として抽出される。また、同様に、Ｘ方向の仮想直線を撮影画像の一端（Ｙ座標が最大の１９２０となる位置）から他端（Ｙ座標が０となる位置）に向かって平行移動させ、交点からＸ座標が最大および最小となる輪郭交点を２点抽出する。１ライン上に交点が１点しかなかった場合は、この１点を輪郭交点とし抽出する。
【００８３】
ついで、抽出された輪郭交点のうち、ノイズと判断される輪郭交点を除外する。ここでは、図１３に示すように、原点(0,0)に近いものから順に半時計まわりに輪郭交点に番号ｐ１，ｐ２，ｐ３…ｐｎを付与して輪郭交点テーブルに格納する。そして、隣り合う２つの輪郭交点のＸ座標の差ΔｘとＹ座標の差Δｙを求める。さらに、Ｘ座標の差ΔｘとＹ座標の差Δｙから大きい方の値を分母にして、比Δｙ／Δｘ（Δｘ＞Δｙ時）、もしくは比−Δｘ／Δｙ（Δｙ＞Δｘ時）を移動量計数Ｓｐとして算出し、この移動量計数Ｓｐを直近との２点について比較して、所定の割合以上の差が生じている輪郭交点を除外する。例えば近傍の所定数の移動量計数の平均値を算出してその平均値との差が所定の閾値（例えば１５％）以上の割合となる輪郭交点を除外する。
【００８４】
尚、角部では、移動量計数Ｓｐの極性（＋、−）が変わる特徴から、辺の部分より移動量計数Ｓｐが大きくなることがあるので、前記で算出した平均値とは異なる設定値（例えば、３）を閾値にするとよい。
【００８５】
図１３に示した例では、輪郭交点ｐ３で移動量計数Ｓｐ（Δｙ／Δｘ）が大きく変化するため、ノイズとして除外され、輪郭交点ｐ４以降について輪郭交点テーブル上の番号が付け直される。
【００８６】
（角点取得）
次に、図６に示した角点取得（ＳＴ２０８）について説明する。図１４、図１５、図１６、図１７は、角点取得の状況を示す模式図である。この処理は図２に示した角点取得部４５で行われる。
【００８７】
ここでは、図６に示した輪郭交点取得（ＳＴ２０７）で取得した輪郭交点に基づいて、原稿の外形輪郭の４つの角点を取得する。なお、以下に左下の角点を取得する例について説明するが、他の３つの角点もこれと同様である。
【００８８】
まず、図１４に示すように、図６に示した輪郭交点抽出（ＳＴ２０７）で取得した輪郭交点ｐ（１）〜ｐ（ｎ）のうち、本の角部に位置するものと推定される所定数の輪郭交点を選択する。図示する例では、下辺と左辺の２辺につき各５個の計１０個の輪郭交点を選択している。なお、この輪郭交点の数は特に限定されるものではなく、必要に応じてさらに多くしてもよい。
【００８９】
ついで、角点が存在することが予測される仮の角領域を設定する。角点Ｃａ０を算出する場合は、原稿端領域ＳＬとＳＤの重なる角領域ＳＬＳＤを、もしくはこの領域を拡大縮小した領域を設定する。ここではまず、移動量計数Ｓｐの極性からｐ（１）とｐ（ｎ）を選択し、これらを含めて縦方向の辺と横方向の辺から各５個を選択した全１０個の輪郭交点から、Ｘ座標およびＹ座標の最小値および最大値を求め、そのＸ座標およびＹ座標の最小値および最大値で区画される矩形の基準領域を設定する。そして、その基準領域を、角点が存在する側に所定の倍率（たとえば１．５倍）だけ拡大して、矩形の角領域を設定する。図１４に示す左下の角点を抽出する例では、角領域は基準領域に対してＸ座標およびＹ座標が小さくなる側に拡大されている。
【００９０】
ついで、図１５に示すように、隣り合う２つの輪郭交点ｐ（１）〜ｐ（ｎ）を通る角点推定用直線を順次求める。図示する例では縦横に交点が５つずつあるため、横方向の角点推定用直線Ｌｈおよび縦方向の角点推定用直線Ｌｖがそれぞれ４本求められる。図１５（Ａ）では、輪郭交点ｐ（１），ｐ（２）を通る横方向の角点推定用直線Ｌｈ１と、輪郭交点ｐ（ｎ），ｐ（ｎ−１）を通る縦方向の角点推定用直線Ｌｖ１を求めている。図１５（Ｂ）では、輪郭交点ｐ（２），ｐ（３）を通る横方向の角点推定用直線Ｌｈ２と、輪郭交点ｐ（ｎ−１），ｐ（ｎ−２）を通る縦方向の角点推定用直線Ｌｖ２を求めている。図１５（Ｃ）では、輪郭交点ｐ（３），ｐ（４）を通る横方向の角点推定用直線Ｌｈ３と、輪郭交点ｐ（ｎ−２），ｐ（ｎ−３）を通る縦方向の角点推定用直線Ｌｖ３を求めている。図示しないが、これと同様にして、輪郭交点ｐ（４），ｐ（５）を通る横方向の角点推定用直線Ｌｈ４と、輪郭交点ｐ（ｎ−３），ｐ（ｎ−４）を通る縦方向の角点推定用直線Ｌｖ４を求める。
【００９１】
ついで、図１６（Ａ）に示すように、図６に示した輪郭成分抽出（ＳＴ２０５）で取得した輪郭成分（原稿の輪郭を構成する画素）のうち、図１４に示した角領域内に位置するものを抽出する。そして、角領域内の輪郭成分のうち、図１５に示した角点推定用直線が通る輪郭成分のみを残し、その他の輪郭成分を除去する。
【００９２】
ついで、角領域内においてＸ軸およびＹ軸に対して所定角度（ここでは４５度）傾斜した仮想直線と輪郭成分との交点を求める。このとき、図１５（Ａ）に示したように、横方向の角点推定用直線Ｌｈ１と縦方向の角点推定用直線Ｌｖ１との交点Ｃａ１（Ｘca1、Ｙca1）からＸＹ両方向に所定値Ｔ（例えば１０画素分）だけずらした点を始点（Ｘca1−Ｔ、Ｙca1−Ｔ）として、仮想直線を所定間隔（１画素分）づつ平行移動させながら、仮想直線と輪郭成分との交点を求める。
【００９３】
なお、図１６に示す左下の角点を抽出する場合には、仮想直線の角度はＸ軸に対して−４５度となり、右上の角点の場合にも、仮想直線の角度はＸ軸に対して−４５度となる。一方、左上および右下の角点の場合には、仮想直線の角度はＸ軸に対して＋４５度となる。
【００９４】
ここで、図１６（Ａ）に示した例のように、輪郭成分において下辺と左辺が閉じている、すなわち画素が連続している場合には、仮想直線を始点から平行移動させて、最初に交点を検出した位置で１つの交点が得られると、これを角点Ｃａ０として選定する。また、図１６（Ｂ）に示すように、４５度で連続して隣合う複数の交点が得られる場合もあり、この場合は、連続した複数の交点の中心となる位置を角点Ｃａ０として選定する。
【００９５】
一方、図１７（Ａ）に示した例のように、輪郭成分において下辺と左辺が閉じていない、すなわち画素が連続していない場合には、図１５に示したように、横方向の角点推定用直線Ｌｈ１〜４と縦方向の角点推定用直線Ｌｖ１〜４との交点Ｃａ１〜Ｃａ４を求め、この交点Ｃａ１〜Ｃａ４から角点Ｃａ０を推定する。
【００９６】
具体的には、図１７（Ｂ）に示すように、交点Ｃａ１〜Ｃａ４を順番に２個ずつを結ぶベクトルを求める（Ｖ３＝Ｃａ４−Ｃａ３、Ｖ２＝Ｃａ３−Ｃａ２、Ｖ１＝Ｃａ２−Ｃａ１）。そして、３つのベクトルＶ１〜Ｖ３から下記の計算式で変動値Ｃｖ（Ｃｖｘ，Ｃｖｙ）を求め、この変動値Ｃｖ（Ｃｖｘ，Ｃｖｙ）を交点Ｃａ１の座標に加えて角点Ｃａ０とする。
Ｃｖ＝（Ｖ３×ｋ３＋Ｖ２×ｋ２＋Ｖ１×ｋ１）／１００
ここで、ｋ１〜ｋ３は重み係数であり、角点に近いものほど大きくしており、例えばｋ１＝１０、ｋ２＝６、ｋ３＝３とする。
【００９７】
なお、図１７では、説明の便宜上、交点Ｃａ１〜Ｃａ４が大きく離れた状態を示したが、図１１に示した仮想直線の移動間隔が狭く、角点の近傍に輪郭交点が小さな間隔で多数存在する場合には、交点Ｃａ１〜Ｃａ４が近接し、あるいは同一位置となることが多い。また、本例では、角領域に位置する輪郭交点として１辺につき５個の輪郭交点を選択して４本の角点推定用直線を設定したため、角点を推定するための縦横の角点推定用直線の交点が４つとなっているが、仮想直線の移動間隔を変更し、また輪郭交点の選択数を変更することで、角点を推定するための交点の数を変えることができる。
【００９８】
また、図１５に示したように、横方向の角点推定用直線Ｌｈと縦方向の角点推定用直線とがなす角度θが、所定の有効範囲外になった場合は、その２本の角点推定用直線から求めた角点Ｃａを破棄し、図１６，図１７に示した角点の推定に使用しないようにしてもよい。この場合、角度θの有効範囲は、例えば次式のとおりとする。
（４５°／ｋｋ）＜θ＜（１３５°×ｋｋ）
ここで、ｋｋは交点間隔係数であり、例えば間隔４画素の場合はｋｋ＝１、間隔１０画素の場合はｋｋ＝０．９とする。
【００９９】
（角点妥当性判断）
次に、図６に示した角点妥当性判断（ＳＴ２０９）について説明する。図１８、図１９は、角点妥当性判断の状況を示す模式図である。この処理は図２に示した角点取得部４５で行われる。
【０１００】
ここでは、図６に示した角点取得（ＳＴ２０８）で取得した４つの角点Ｃａ０，Ｃｂ０，Ｃｃ０，Ｃｄ０の位置を、図６に示した原稿端領域取得（ＳＴ２０２）で取得した原稿端領域と比較して、その角点Ｃａ０，Ｃｂ０，Ｃｃ０，Ｃｄ０が妥当か否かを判断する。
【０１０１】
まず、図１８に示すように、本の見開き２ページの場合について説明する。この場合、図６に示した角点取得（ＳＴ２０８）で取得した４つの角点Ｃａ０，Ｃｂ０，Ｃｃ０，Ｃｄ０のうち、上側の２つの角点Ｃｃ０，Ｃｄ０の中心点Ｃｕおよび下側の２つの角点Ｃｂ０，Ｃａ０の中心点Ｃｄがそれぞれ、ページの綴じ目が位置する中間の原稿端領域ＳＣ内にあるかを判定する。ここで、上側の中心点Ｃｕと下側の中心点Ｃｄのいずれもが、中央の原稿端領域ＳＣ内に位置すると、取得した４つの角点Ｃａ０，Ｃｂ０，Ｃｃ０，Ｃｄ０は妥当であると判断する。
【０１０２】
上側の中心点Ｃｕと下側の中心点Ｃｄのいずれか一方が中央の原稿端領域ＳＣ内に位置しない場合は、妥当でないものと判断する。この場合、図６に示した直線成分検出（ＳＴ２０１）から輪郭交点抽出（ＳＴ２０７）までの各処理でのパラメータを変更して、再度、各処理をやり直す。
【０１０３】
ここで、例えば、上側の中心点Ｃｕが、原稿端領域ＳＣより左側にずれていた場合は、右上の角の輪郭情報の欠落などが原因で、右上の角点Ｃｃ０の検出を誤った可能性があるため、図６に示した角点取得（ＳＴ２０８）で、右上の角点Ｃｃ０について再検出を行う。このとき、輪郭交点の選択数を変更する。例えば前回の角点取得において、角領域に位置する輪郭交点として１辺につき５個の輪郭交点を選択した場合には、１辺につき１０個の輪郭交点を選択するように変更する。
【０１０４】
次に、図１９に示すように、本の表紙やシート原稿の場合について説明する。この場合、角点検出（ＳＴ１０３）で取得した４つの角点Ｃａ０，Ｃｂ０，Ｃｃ０，Ｃｄ０を頂点とした四角形が概ね平行四辺形となると、取得した４つの角点Ｃａ０，Ｃｂ０，Ｃｃ０，Ｃｄ０は妥当であると判断することができる。
【０１０５】
具体的には、４つの角点Ｃａ０，Ｃｂ０，Ｃｃ０，Ｃｄ０を頂点とした四角形における互いに向かい合う２つの辺の長さの比率が所定の閾値より小さいと、４つの角点Ｃａ０，Ｃｂ０，Ｃｃ０，Ｃｄ０は妥当であると判断する。より具体的には、右辺および左辺の長さＤＳ１，ＤＳ２の比率ＤＳ１／ＤＳ２と、上辺および下辺の長さＤＳ３，ＤＳ４の比率ＤＳ３／ＤＳ４がいずれも０．７〜１．３の範囲内にあれば妥当であると判断する。比率ＤＳ１／ＤＳ２と比率ＤＳ３／ＤＳ４のいずれかが０．７以下もしくは１．３以上の場合は、妥当でないと判断し、この場合、図６に示した直線成分検出（ＳＴ２０１）から輪郭交点抽出（ＳＴ２０７）までの各処理でのパラメータを変更して、再度、各処理をやり直す。
【０１０６】
［輪郭取得］
次に、図３に示した輪郭取得（ＳＴ１０４）について説明する。図２０は、輪郭取得の手順を示すフロー図である。図２１、図２２は、輪郭取得の状況を示す模式図である。この処理は図２に示した輪郭取得部３２で行われる。
【０１０７】
ここでは、図３に示した角点検出（ＳＴ１０３）で取得した４つの角点Ｃａ０，Ｃｂ０，Ｃｃ０，Ｃｄ０に基づいて、図４（Ｂ）に示したように、原稿の外形輪郭を構成する輪郭点（輪郭画素）を取得する処理が行われる。
【０１０８】
まず、図２１（Ａ）に示すように、図３に示した角点検出（ＳＴ１０３）で取得した４つの角点Ｃａ０，Ｃｂ０，Ｃｃ０，Ｃｄ０を頂点とした四角形の各辺を中心にして所定幅の輪郭領域ＳＳを設定する（ＳＴ４０１）。そして、図６に示した輪郭成分抽出（ＳＴ２０５）で抽出した輪郭成分のうち、輪郭領域ＳＳ内にある輪郭成分のみを抽出する（ＳＴ４０２）。
【０１０９】
なお、輪郭領域ＳＳ内の画素を対象にして画素値のヒストグラムを取得し、その解析結果に基づいて閾値を変更して再度、図６に示したエッジ検出（ＳＴ２０４）と輪郭成分抽出（ＳＴ２０５）の処理を行なって輪郭成分を抽出する処理を繰り返すと、図５（Ａ）に示したページの上下左右の端点である特異点の検出をより正確に行うことができる。
【０１１０】
ついで、図２０に示した輪郭成分抽出（ＳＴ４０２）で抽出された輪郭領域ＳＳ内にある輪郭成分のうち、最も外側に位置する輪郭成分を輪郭点として検出する（ＳＴ４０３）。ここでは、図６に示した交点検出（ＳＴ２０６）と同様の手順で、最外郭となる輪郭点を検出する。すなわち、図２１（Ｂ）に示すように、Ｘ軸およびＹ軸に対して所定角度傾斜した仮想直線を、矩形をなす撮影画像の４つの頂点を始点として、その始点から撮影画像の中心に向かって、所定の移動間隔で段階的に平行移動させながら、輪郭成分抽出（ＳＴ４０２）で抽出された輪郭成分と仮想直線との交点を収集する。ここでは、仮想直線の移動間隔をＸ方向に１画素分とする。
【０１１１】
ついで、図２２に示すように、角点Ｃａ０，Ｃｂ０，Ｃｃ０，Ｃｄ０から、近傍にある輪郭点を順次探索する処理を繰り返し、近傍にない輪郭点をノイズとして除去する（ＳＴ４０４）。
【０１１２】
図２２には、原稿輪郭の下辺を構成する輪郭点を探索する処理の例を示しており、ここでは、左下の角点Ｃａ０に最も近い輪郭点から順に、Ｘ方向に１画素分ずらした位置にある輪郭点を探す。このとき、Ｙ座標の差分が所定の閾値以下となる輪郭点を探す。すなわち、注目輪郭点からＸ方向に１画素分ずらした位置で、注目画素と同じＹ方向位置を中心にして、Ｙ方向の両側に所定の画素数（例えば５画素）分広げた検出領域内にある輪郭点を探す。
【０１１３】
この原稿輪郭の下辺を構成する輪郭点を探索する処理は、左下の角点Ｃａ０に最も近い輪郭点から開始して、右下の角点Ｃｂ０のＸ座標の位置に到達するまで繰り返される。この処理で、隣の輪郭点が所定の距離以上離れた輪郭点、すなわち検出領域外にある輪郭点はノイズとして除外される。
【０１１４】
ここで、注目輪郭点の近傍の輪郭点を見つけることができなかった場合は、注目輪郭点からＸ方向に１画素分ずらした位置で、かつ注目画素と同じＹ方向位置にある画素を仮輪郭点として、次の輪郭点を探す処理に進む。
【０１１５】
このようにして原稿輪郭の下辺を構成する輪郭点を探索する処理が終了すると、次に原稿輪郭の右辺を構成する輪郭点を探索する処理を行う。この右辺の処理では、下辺の処理で最後に見つけた輪郭点から近傍の輪郭点を順次探索する処理を繰り返し、このとき、注目輪郭点からＹ方向に１画素分ずらした位置で、注目画素と同じＹ方向位置を中心にして、Ｘ方向の両側に所定の画素数（例えば５画素）分広げた検出領域内にある輪郭点を探す。
【０１１６】
ここで、注目輪郭点の近傍の輪郭点を見つけることができなかった場合は、注目輪郭点からＹ方向に１画素分ずらした位置で、かつ注目画素と同じＸ方向位置にある画素を仮輪郭点として、次の輪郭点を探す処理に進む。
【０１１７】
この原稿輪郭の右辺を構成する輪郭点を探索する処理は、右上の角点Ｃｃ０のＹ座標の位置まで繰り返され、ついで、原稿輪郭の上辺および右辺を構成する輪郭点を探索する処理が順次行われるが、この上辺および右辺の処理も同様の手順で行えばよい。このようにして原稿輪郭の１周分を構成する輪郭点を探索し、これから外れた輪郭点はノイズとして除去される。
【０１１８】
以上のノイズ点除去（ＳＴ４０４）では、仮輪郭点として処理した部分に隙間が生じている。そこで次に、仮輪郭点による隙間を埋める補間処理を行う（ＳＴ４０５）。ここでは、図２２に示すように、ノイズ点除去の処理で残った輪郭点を対象にして、角点Ｃａ０に最も近い輪郭点から順に隣接する輪郭点を探索して、隣接する輪郭点がない輪郭点が見つかると、その輪郭点に最も近い輪郭点を探し、その２つの輪郭点を直線Ｌｎで結び、その直線Ｌｎ上に位置する画素を新たに輪郭点に設定する。これにより、図４（Ｂ）に示したように、原稿の外周を途切れることなく結ぶ輪郭が求められる。
【０１１９】
なお、図２２では、下辺の輪郭生成の例を示しているが、これと同様の手順で、右辺、上辺、および左辺についても、輪郭点の隙間を埋める処理が行われる。また、白黒画像などの２値画像では、補完する輪郭点の位置を求めるだけでよいが、カラー画像やグレースケール画像のような多値画像では、補完する輪郭点の画素値を求める必要があり、この場合、補完する輪郭点の画素値は、直線Ｌｎで結ばれる２つの輪郭点の画素値の平均値とすればよい。
【０１２０】
また、本実施形態では１画素分の線幅で輪郭生成しているが、このデータを基にスムージング処理や太線化・細線化処理を施すことがメッシュモデル生成で有効になる場合がある。
【０１２１】
［メッシュモデル生成］
次に、図３に示したメッシュモデル生成（ＳＴ１０５）について説明する。図２３は、メッシュモデル生成の手順を示すフロー図である。図２４は、メッシュモデル生成の状況を示す模式図である。この処理は図２に示したメッシュモデル生成部３３で行われる。
【０１２２】
ここではまず、図２４（Ａ）に示すように、図３に示した輪郭取得（ＳＴ１０４）で取得した輪郭点に基づいて、ページの上下左右の端点である特異点を検出する。ここで、見開き２ページの撮影画像では、ページの上下左右の端点として６つの特異点が検出され、４つの特異点は本の外形の４角を示す角点Ｃａ０，Ｃｂ０，Ｃｃ０，Ｃｄ０の近くに現れ、２つの特異点は本の綴じ目がある中央部に現れる。
【０１２３】
ついで、本のページの歪曲した輪郭線を表す歪曲成分を抽出する（ＳＴ５０１）。ページの上縁および下縁の輪郭線は、外側に膨らんだ歪曲した状態で表示され、このページの上縁および下縁の歪曲した輪郭成分（輪郭を構成する画素）を、図６に示したエッジ検出（ＳＴ２０４）で取得したエッジ画像から抽出する。そして、歪曲成分の連続性に基づいて歪曲成分の妥当性を判断する（ＳＴ５０２）。ここで、歪曲成分が妥当でないものと判断されると、途切れた部分の補間処理を行う（ＳＴ５０３）。これにより、歪曲成分が途切れることなく連続した状態となる。
【０１２４】
ついで、歪曲成分を高さ成分に変換する演算を行う（ＳＴ５０４）。撮影画像上でページの上縁および下縁の輪郭線が歪曲した状態で表示されるのは、３次元的には紙面が上側に凸となるように湾曲していることによるものであり、ページの上縁および下縁の輪郭線を示す歪曲成分に基づいて、ページの上縁および下縁の３次元的な湾曲状態を示す高さ成分を求めることができる。具体的には載置面５に対してページの上縁および下縁の高さ（Ｚ軸の座標）を一定間隔で求める。この高さ成分により、ページの上縁および下縁の実際の長さを推定することができる。
【０１２５】
ついで、図２４（Ｂ）に示すように、縦横のメッシュラインを生成し（ＳＴ５０５）、その縦横のメッシュラインが交差するメッシュ交点の座標をメッシュテーブルに格納する（ＳＴ５０６）。ここでは、ページの上縁および下縁の高さ成分に基づいて、ページの上縁および下縁を示す曲線をメッシュ数に応じて等間隔に分割する基点の座標を求め、上縁および下縁の互いに対応する基点を結線して縦メッシュラインを求める。ついで、縦メッシュラインをメッシュ数に応じて等間隔に分割する点（メッシュ交点）の座標を求め、その点を結線して横メッシュラインを求める。
【０１２６】
このようにしてメッシュモデルを生成すると、そのメッシュモデルに基づいて画像を平面化する画像変換処理が画像変換部３４にて行われるが、このとき、原稿領域の画像のみを切り出して平面化することで、原稿領域のみの歪みのない画像を得ることができる。また、必要に応じて画像の傾きを補正するスキュー補正などが行われる。
【０１２７】
なお、本実施形態では、図２に示したように、ブックスキャナから撮影画像データをＰＣに送ってＰＣで画像処理を行うようにしたが、このような画像処理をブックスキャナで行う、すなわちブックスキャナが画像処理装置を含む構成も可能である。この場合、テレビジョン受像機などの表示デバイスに画像を表示させればよい。
【０１２８】
また、本実施形態では、図１１に示したように、交点検出の際の仮想直線の角度を４５度としたが、本発明における仮想直線の角度はこれに限定されるものではなく、適宜に設定すればよい。
【０１２９】
また、本実施形態では、メッシュモデルを生成して画像を平面化する例を示したが、本の表紙やシート原稿の場合には画像の平面化が必要でなく、このような場合は、画像の平面化を省略して、原稿の外形輪郭に基づいて原稿領域の画像のみを切り出す処理と、必要に応じてスキュー補正などが行われる。
【産業上の利用可能性】
【０１３０】
本発明にかかる画像処理装置およびこれを備えた原稿読取システムは、ユーザに面倒をかけることなく、原稿の外形輪郭を精度よく検出することができる効果を有し、本などの原稿を読み取って得られた画像を処理する画像処理装置およびこれを備えた原稿読取システムなどとして有用である。
【符号の説明】
【０１３１】
１ ブックスキャナ（画像入力装置）
２ ＰＣ（画像処理装置）
３ カメラ部
２２ 画像データ入力部（撮影画像取得部）
２３ 画像処理部
３１ 角点検出部
３２ 輪郭取得部
３３ メッシュモデル生成部
３４ 画像変換部
４１ 原稿端領域取得部
４２ 輪郭成分抽出部
４３ 交点検出部
４４ 輪郭交点取得部
４５ 角点取得部
Ｌ１〜Ｌ４ 仮想直線
Ｃａ０，Ｃｂ０，Ｃｃ０，Ｃｄ０ 角点
【技術分野】
【０００１】
本発明は、本などの原稿を読み取って得られた画像を処理する画像処理装置およびこれを備えた原稿読取システムに関するものである。
【背景技術】
【０００２】
本のページを自然に開いた状態で上方から撮影してページの画像を読み取ることができるブックスキャナ（書画カメラ）が普及している。このようなブックスキャナを用いると、ページをめくりながらページの画像を次々に読み取ることができるため、本を電子化する作業を効率良く行うことができる。
【０００３】
このようなブックスキャナを用いて原稿を撮影する場合、原稿の画像を適切に取得するには、撮影画像から原稿の外形輪郭を正確に検出することが重要となり、このような要望に関して、原稿が載置される台座の面に斜線などの識別印を施して、この斜線により撮影画像における原稿の外側の領域を判別して、原稿領域を取得するようにした技術が知られている（特許文献１参照）。
【先行技術文献】
【特許文献】
【０００４】
【特許文献１】特開２００６−２１１０４６号公報
【発明の概要】
【発明が解決しようとする課題】
【０００５】
しかしながら、前記従来の技術では、特別に識別印を施した台座を用意する必要があり、また原稿が載置される机の面にゴミが付着すると、誤検出を招くことから、ゴミの付着がないように丁寧に清掃する必要があり、さらに机の面にある模様などが原因で誤検出が発生することもあるため、ユーザにとって必ずしも使い勝手のよいものではなかった。
【０００６】
本発明は、このような従来技術の問題点を解消するべく案出されたものであり、その主な目的は、ユーザに面倒をかけることなく、原稿の外形輪郭を精度よく検出することができるように構成された画像処理装置およびこれを備えた原稿読取システムを提供することにある。
【課題を解決するための手段】
【０００７】
本発明の画像処理装置は、原稿の紙面を載置面とともに撮影した撮影画像を取得する撮影画像取得部と、前記撮影画像を処理する画像処理部と、を有し、この画像処理部は、前記撮影画像から原稿の輪郭成分を抽出する輪郭成分抽出部と、矩形をなす前記撮影画像の互いに直交する２辺に沿った座標軸に対して所定角度傾斜した仮想直線を所定の移動間隔で平行移動させながら、その仮想直線と前記輪郭成分抽出部で取得した輪郭成分との交点を取得する交点検出部と、この交点検出部で取得した交点に基づいて原稿の外形輪郭の角点を取得する角点取得部と、を備え、この角点取得部で取得した角点に基づいて原稿の外形輪郭を取得する構成とする。
【０００８】
また、本発明の原稿読取システムは、前記の発明にかかる画像処理装置と、カメラ部を備えた画像入力装置と、を有し、この画像入力装置において原稿を撮影して撮影画像を前記画像処理装置に送る構成とする。
【発明の効果】
【０００９】
本発明によれば、所定角度傾斜した仮想直線を移動させることで、仮想直線が原稿の外形輪郭の角点に到達したところで、交点の列が概ね直角に近い状態で２方向に分かれるように現れ、この交点の出現状況から原稿の外形輪郭の角点を精度よく検出し、さらにその角点に基づいて原稿の外形輪郭を精度よく検出することができる。そして、特別な台座を用意する必要がなく、また原稿の載置面に付着したゴミや載置面の模様などのノイズによる影響をあまり受けないため、ユーザに面倒をかけることがなく、ユーザの使い勝手を高めることができる。
【図面の簡単な説明】
【００１０】
【図１】本実施形態にかかる原稿読取システムを示す全体構成図
【図２】ブックスキャナ１およびＰＣ２の概略構成を示すブロック図
【図３】本原稿読取システムにおける原稿読取の手順を示すフロー図
【図４】原稿読取の各処理の状況を示す模式図
【図５】原稿読取の各処理の状況を示す模式図
【図６】図３に示した角点検出（ＳＴ１０３）の手順を示すフロー図
【図７】図６に示した直線成分検出（ＳＴ２０１）の状況を示す模式図
【図８】図６に示した原稿端領域取得（ＳＴ２０２）の手順を示すフロー図
【図９】図６に示した原稿端領域取得（ＳＴ２０２）の状況を示す模式図
【図１０】図６に示した原稿端領域取得（ＳＴ２０２）の状況を示す模式図
【図１１】図６に示した交点検出（ＳＴ２０６）の状況を示す模式図
【図１２】図６に示した輪郭交点抽出（ＳＴ２０７）の状況を示す模式図
【図１３】図６に示した輪郭交点抽出（ＳＴ２０７）の状況を示す模式図
【図１４】図６に示した角点取得（ＳＴ２０８）の状況を示す模式図
【図１５】図６に示した角点取得（ＳＴ２０８）の状況を示す模式図
【図１６】図６に示した角点取得（ＳＴ２０８）の状況を示す模式図
【図１７】図６に示した角点取得（ＳＴ２０８）の状況を示す模式図
【図１８】図６に示した角点妥当性判断（ＳＴ２０９）の状況を示す模式図
【図１９】図６に示した角点妥当性判断（ＳＴ２０９）の状況を示す模式図
【図２０】図３に示した輪郭点取得（ＳＴ１０４）の手順を示すフロー図
【図２１】図３に示した輪郭点取得（ＳＴ１０４）の状況を示す模式図
【図２２】図３に示した輪郭点取得（ＳＴ１０４）の状況を示す模式図
【図２３】図３に示したメッシュモデル生成（ＳＴ１０５）の手順を示すフロー図
【図２４】図３に示したメッシュモデル生成（ＳＴ１０５）の状況を示す模式図
【発明を実施するための形態】
【００１１】
前記課題を解決するためになされた第１の発明は、原稿の紙面を載置面とともに撮影した撮影画像を取得する撮影画像取得部と、前記撮影画像を処理する画像処理部と、を有し、この画像処理部は、前記撮影画像から原稿の輪郭成分を抽出する輪郭成分抽出部と、矩形をなす前記撮影画像の互いに直交する２辺に沿った座標軸に対して所定角度傾斜した仮想直線を所定の移動間隔で平行移動させながら、その仮想直線と前記輪郭成分抽出部で取得した輪郭成分との交点を取得する交点検出部と、この交点検出部で取得した交点に基づいて原稿の外形輪郭の角点を取得する角点取得部と、を備え、この角点取得部で取得した角点に基づいて原稿の外形輪郭を取得する構成とする。
【００１２】
これによると、所定角度傾斜した仮想直線を移動させることで、仮想直線が原稿の外形輪郭の角点に到達したところで、交点の列が概ね直角に近い状態で２方向に分かれるように現れ、この交点の出現状況から原稿の外形輪郭の角点を精度よく検出し、さらにその角点に基づいて原稿の外形輪郭を精度よく検出することができる。そして、特別な台座を用意する必要がなく、また原稿の載置面に付着したゴミや載置面の模様などのノイズによる影響をあまり受けないため、ユーザに面倒をかけることがなく、ユーザの使い勝手を高めることができる。
【００１３】
また、第２の発明は、前記画像処理部は、取得した原稿の外形輪郭に基づいてメッシュモデルを生成して、そのメッシュモデルに基づいて前記撮影画像を平面化する構成とする。
【００１４】
これによると、本のページを自然に開いた状態で撮影した場合に、紙が湾曲することで紙面の画像が歪んだ状態で撮影されても、平面化により歪みのない画像を得ることができる。
【００１５】
また、第３の発明は、前記交点検出部は、始点から交点が検出されるまでは、前記仮想直線を第１の移動間隔で大きく移動させ、交点が検出されると、その直前の位置から前記仮想直線を第２の移動間隔で細かく移動させる構成とする。
【００１６】
これによると、輪郭成分と仮想直線との交点を狭い間隔で取得することができるため、検出精度を向上させることができる。
【００１７】
また、第４の発明は、前記画像処理部は、撮影画像から原稿の端縁が存在するものと推定される原稿端領域を取得する原稿端領域取得部をさらに備え、前記交点検出部で取得した交点のうち、前記原稿端領域取得部で取得した前記原稿端領域の外に位置する交点をノイズとして除去する構成とする。
【００１８】
これによると、原稿端領域外に位置するノイズ交点に起因する誤検出を避けることができる。
【００１９】
また、第５の発明は、前記原稿端領域取得部は、撮影画像から検出された直線成分を計数して、その直線成分の計数値に基づいて原稿端領域を取得する構成とする。
【００２０】
これによると、原稿端領域を精度よく取得することができる。
【００２１】
また、第６の発明は、原稿読取システムに関するものであり、前記の画像処理装置と、カメラ部を備えた画像入力装置と、を有し、この画像入力装置において原稿を撮影して撮影画像を前記画像処理装置に送る構成とする。
【００２２】
これによると、前記のとおり、ユーザに面倒をかけることなく、原稿の外形輪郭を簡単に且つ精度よく検出することができる。
【００２３】
以下、本発明の実施の形態を、図面を参照しながら説明する。
【００２４】
図１は、本実施形態にかかる原稿読取システムを示す全体構成図である。この原稿読取システムは、本（原稿）Ｂの紙面の画像を読み取って、紙面の画像データを取得するものであり、ブックスキャナ（画像入力装置）１とＰＣ（画像処理装置）２とからなっている。
【００２５】
ブックスキャナ１は、本Ｂの紙面を撮像するカメラ部３と、このカメラ部３を保持するスタンド部４とを備え、スタンド部４を机などの載置面５に据え付けるとともに、カメラ部３の真下の載置面５上に本Ｂを載置して、カメラ部３で本Ｂの紙面を撮像する。本Ｂは、自然に開いた状態で紙面の撮像が行われ、本Ｂの見開き２ページの撮影画像が得られる。そして、歪みのある紙面の画像を平面化する処理が行われて、見開き２ページ分の平面化された紙面の画像を取得することができる。
【００２６】
図２は、ブックスキャナ１およびＰＣ２の概略構成を示すブロック図である。ブックスキャナ１は、カメラ部３を備えた撮像処理部１１と、操作指示部１２と、外部インタフェイス１３と、を有している。ＰＣ２は、外部Ｉ／Ｆ２１と、画像データ入力部（撮影画像取得部）２２と、画像処理部２３と、操作系制御部２４と、表示データ生成部２５と、表示器２６と、入力部２７と、データ格納部２８と、を有している。なお、ＰＣ２の画像処理部２３および表示データ生成部２５は、画像処理アプリケーションなどのプログラムをＣＰＵで実行するソフトウェア処理で実現される。
【００２７】
ＰＣ２では、キーボードなどからなる入力部２７の操作により、ブックスキャナ１で撮影される画像の解像度やフレームレートなどの動作条件が入力され、この動作条件が操作系制御部２４からブックスキャナ１に送信され、ブックスキャナ１では、ＰＣ２から送信された動作条件に基づいて操作指示部１２による指示にしたがって撮像処理部１１が所要の動作を行う。
【００２８】
ＰＣ２の画像データ入力部２２では、ブックスキャナ１から送信される画像データをメモリに格納し、必要に応じてその画像データを画像処理部２３に出力する。この画像データ入力部２２では、原稿（ここでは本の紙面）Ｂが載置面５とともに写った撮影画像を取得する。
【００２９】
画像処理部２３は、角点検出部３１と、輪郭取得部３２と、メッシュモデル生成部３３と、画像変換部３４と、を有している。角点検出部３１は、原稿端領域取得部４１と、輪郭成分抽出部４２と、交点検出部４３と、輪郭交点取得部４４と、角点取得部４５と、を有している。
【００３０】
図３は、本原稿読取システムにおける原稿読取の手順を示すフロー図である。図４、図５は、原稿読取の各処理の状況を示す模式図である。
【００３１】
まず、ユーザがブックスキャナ１のカメラ部３の下に本（原稿）をセットする（ＳＴ１０１）。そして、ブックスキャナ１を起動させるとともに、ＰＣ２で所要のアプリケーションを起動させると、画像の入力、すなわちブックスキャナ１で撮像が開始されてその撮像データがＰＣ２に送信され（ＳＴ１０２）、ＰＣ２の画像データ入力部２２では、本Ｂの紙面を載置面５とともに撮影した撮影画像を取得する。
【００３２】
ＰＣ２では、図４（Ａ）に示すように、撮影画像から原稿の外形輪郭の角点を検出する処理が角点検出部３１にて行われ（ＳＴ１０３）、ついで、図４（Ｂ）に示すように、角点検出部３１で検出した角点に基づいて、本の輪郭、すなわち連続して並んだ画素により構成された輪郭を取得する処理が輪郭取得部３２にて行われる（ＳＴ１０４）。
【００３３】
ついで、図５（Ａ）に示すように、輪郭取得部３２で取得した輪郭情報に基づいてページの上下左右の端点である特異点を検出し、この特異点を基準にしてメッシュモデルを生成する処理がメッシュモデル生成部３３にて行われ（ＳＴ１０５）、ついで、図５（Ｂ）に示すように、メッシュモデル生成部３３で取得したメッシュモデルに基づいて画像を平面化する画像変換処理が画像変換部３４にて行われる（ＳＴ１０６）。ここでは、射影変換（アフィン変換）により画像の平面化が行われ、フラットベッドスキャナで読み取ったものと同様の画像を取得することができる。
【００３４】
このようにして平面化された画像を取得すると、その画像を表示器２６に表示させ（ＳＴ１０７）、これによりユーザは画像の切り出しが適切に行われたか否かを確認することができ、平面化された画像のデータはデータ格納部２８に格納される（ＳＴ１０８）。
【００３５】
［角点検出］
次に、図３に示した角点検出（ＳＴ１０３）について詳しく説明する。図６は、角点検出の手順を示すフロー図である。
【００３６】
図２に示した角点検出部３１では、図４（Ａ）に示したように、撮影画像から原稿の外形輪郭の４つの角点（本の場合、通常は表紙の角）Ｃａ０，Ｃｂ０，Ｃｃ０，Ｃｄ０を検出する処理が行われ、以下に詳しく説明するように、直線成分検出（ＳＴ２０１）、原稿端領域検出（ＳＴ２０２）、原稿端領域妥当性判断（ＳＴ２０３）、エッジ検出（ＳＴ２０４）、輪郭成分抽出（ＳＴ２０５）、交点検出（ＳＴ２０６）、輪郭交点取得（ＳＴ２０７）、角点抽出（ＳＴ２０８）、角点妥当性判断（ＳＴ２０９）の各処理が順次行われて、角点が妥当性であるものと判断されると、角点を確定してその座標を記録する（ＳＴ２１０）。
【００３７】
（直線成分検出）
まず、図６に示した直線成分検出（ＳＴ２０１）について詳しく説明する。図７は、直線成分検出の状況を示す模式図である。この処理は図２に示した原稿端領域取得部４１で行われる。
【００３８】
ここでは、撮影画像内の直線成分（直線状に並んだ画素）を検出する。この直線成分の検出は、ハフ（Hough）変換により行えばよい。ついで、検出された直線成分を撮影画像の端まで延長した延長直線線分を求める。ここでは、所定の長さより長い直線成分のみを選択して延長直線線分を求める。
【００３９】
（原稿端領域取得）
次に、図６に示した原稿端領域取得（ＳＴ２０２）について説明する。図８は、原稿端領域取得の手順を示すフロー図である。図９、図１０は、原稿端領域取得の状況を示す図である。この処理は図２に示した原稿端領域取得部４１で行われる。
【００４０】
ここでは、撮影画像から原稿の端縁、すなわち本の外形輪郭やページの端縁、継ぎ目が存在するものと推定される原稿端領域を取得する処理が行われる。なお、図８に示す例では、縦方向の原稿端領域の検出を先に、横方向の原稿端領域の検出を後にしたが、この順序は逆でもよい。
【００４１】
まず、縦方向に延在する原稿端領域の検出について説明する。ここではまず、図６に示した直線成分検出（ＳＴ２０１）で取得した延長直線線分のうち、縦方向の延長直線線分を抽出する（ＳＴ３０１）。ここで、縦方向の延長直線成分は、縦方向（本の紙面の上下方向）に延びた、すなわち撮影画像の上下の辺に対して４５〜９０度の角度をなすものである。
【００４２】
そして、図９（Ａ）に示すように、所定のＹ方向位置ｙ１〜ｙ５でＸ方向に延びた検出ライン上で、所定幅（例えば２５画素）の計数区間ごとに縦方向の延長直線線分が通過する本数を計数する（ＳＴ３０２）。図９では、２５６０×１９２０画素の例を示しており、例えばＹ方向位置ｙ１〜ｙ５は、Ｙ座標で１００、６００、１０００、１４００、１９００とする。
【００４３】
ついで、図９（Ｂ）に示すように、Ｙ方向位置ｙ１〜ｙ５の各々で、延長直線線分の計数値が最も大きくなるピーク点ＬＣ１〜５，ＣＣ１〜５，ＲＣ１〜５を求め、そのピーク点ＬＣ１〜５、ＣＣ１〜５、ＲＣ１〜５を通る近似直線を求める。そして、その近似直線のライン数が妥当か否かを判定する（ＳＴ３０３）。図９に示すように、本の見開き２ページの場合には、ピーク点はＸ方向に３つ現れ、近似直線は３本となり、本の表紙やシート原稿の場合には、ピーク点はＸ方向に２つ現れ、近似直線は２本となる。
【００４４】
ここで求められた近似直線は原稿端領域の中心線となり、この中心線を基準にして縦方向に延在する原稿端領域ＳＬ，ＳＣ，ＳＲを設定する（ＳＴ３０４）。原稿端領域ＳＬ，ＳＣ，ＳＲは、撮影画像の上下の端を２つの辺（上辺および下辺）とし、近似直線を中心線としてＸ方向に所定の幅ＳＬＸ，ＳＣＸ，ＳＲＸを有する平行四辺形をなす。左右の原稿端領域ＳＬ，ＳＲは、本の左右の端に位置する表紙の端縁やページの端縁が存在する領域であり、中央の原稿端領域ＳＣはページの継ぎ目が存在する領域である。
【００４５】
原稿端領域ＳＬ，ＳＣ，ＳＲのＸ方向の幅ＳＬＸ，ＳＣＸ，ＳＲＸは、左右のピーク点ＬＣ１〜５，ＲＣ１〜５の間のＸ方向の距離ＬＸに基づいて設定され、ここでは、経験的に定まる所定の比率をＬＸに乗じた値とし、例えば左右の原稿端領域ＳＬ，ＳＲのＸ方向の幅ＳＬＸ，ＳＲＸは、ＬＸの１／８、中央の原稿端領域ＳＣのＸ方向の幅ＳＣＸはＬＸの１／１０とする。
【００４６】
また、左右の原稿端領域ＳＬ，ＳＲのＸ方向の幅ＳＬＸ，ＳＲＸは、本のページ数に応じて変化するので、計測結果に基づいて算出するようにしてもよい。また、計測結果に基づいて算出された値と、前記のＬＸに対する比率で算出された値とを比較して大きい方を選択するようにしてもよい。
【００４７】
この場合、左右の原稿端領域ＳＬ，ＳＲのＸ方向の幅ＳＬＸ，ＳＲＸは、例えばピーク点ＬＣ１〜５，ＲＣ１〜５の前後位置で、所定の閾値以上の計数値となる領域のＸ方向の幅の所定数倍（例えば２倍）とする。ここで、閾値は、ピーク点ＬＣ１〜５，ＲＣ１〜５での計数値（最高値）に所定の比率（例えば５０％）を乗じた値とすればよい。
【００４８】
なお、小型の本の場合には、撮影画像内で本の画像が小さくなるため、有意なピーク点が少なくなり、原稿端領域ＳＬ，ＳＣ，ＳＲを適切に抽出することができなくなることがある。そこで、このような場合には、Ｙ方向位置ｙ１〜ｙ５を変更して再計算する。例えばＹ方向位置ｙ１〜ｙ５を、Ｙ座標で３００，８００，１０００，１２００，１７００とする。この例では、Ｙ方向の中心部で間隔を狭くしている。
【００４９】
また、本例では、ピーク点を検出するためのＹ方向位置（検出ラインの位置）を５つ設定したが、この検出位置の数はこれに限定されるものではなく、例えば２つでも可能であり、さらにＹ方向の中心の１つ（例えばＹ＝１０００）でもよい。また、ユーザに処理状況を提示するための仮検出では検出位置を少数（例えば２つ）設定し、最終的に保存する画像を生成するための本検出では、正確な検出ができるように検出位置を多く設定するようにするとよい。
【００５０】
次に、横方向に延在する原稿端領域の検出について説明する。ここではまず、図６に示した直線成分検出（ＳＴ２０１）で取得した延長直線線分のうち、横方向の延長直線線分を抽出する（ＳＴ３０５）。ここで、横方向の延長直線成分は、横方向（本の紙面の左右方向）に延びた、すなわち撮影画像の上下の辺に対して０〜４５度の角度をなすものである。
【００５１】
そして、図１０（Ａ）に示すように、所定のＸ方向位置ｘ１〜ｘ５でＹ方向に延びた検出ライン上で、所定幅（例えば２５画素）の計数区間ごとに横方向の延長直線線分が通過する本数を計数する（ＳＴ３０６）。図１０では、２５６０×１９２０画素の例を示しており、例えばＸ方向位置ｘ１〜ｘ５は、Ｘ座標で１００、７００、１３００、１８００、２４００とする。
【００５２】
ついで、図１０（Ｂ）に示すように、Ｘ方向位置ｘ１〜ｘ５の各々で、延長直線線分の計数値が最も大きくなるピーク点ＵＣ１〜５，ＤＣ１〜５を求め、そのピーク点ＤＣ１〜５，ＵＣ１〜５を通る近似直線を求める。そして、その近似直線のライン数が妥当か否かを判定する（ＳＴ３０７）。図１０に示すように、本の見開き２ページの場合には、ピーク点はＹ方向に２つ現れ、近似直線は２本となり、本の表紙やシート原稿の場合にも、ピーク点はＹ方向に２つ現れ、近似直線は２本となる。
【００５３】
ここで求められた近似直線は原稿端領域の中心線となり、この中心線を基準にして縦方向に延在する原稿端領域ＳＵ，ＳＤを設定する（ＳＴ３０８）。原稿端領域ＳＵ，ＳＤは、撮影画像の左右の端を２つの辺（左辺および右辺）とし、近似直線を中心線としてＹ方向に所定の幅ＳＵＹ，ＳＤＹの平行四辺形をなす。この原稿端領域ＳＵ，ＳＤは、本の上下の端に位置する表紙やページの端縁が存在する領域である。
【００５４】
原稿端領域ＳＵ，ＳＤのＹ方向の幅ＳＵＹ，ＳＤＹは、上下のピーク点ＵＣ１〜５，ＤＣ１〜５の間のＹ方向の距離ＬＹに基づいて設定され、ここでは、経験的に定まる所定の比率をＬＹに乗じた値とし、例えばＬＹの１／７とする。
【００５５】
また、原稿端領域ＳＵ，ＳＤのＹ方向の幅ＳＵＹ，ＳＤＹは、開いた紙の湾曲量が影響し、また本のサイズやページ数に応じて変化するので、計測結果に基づいて算出するようにしてもよい。また、計測結果に基づいて算出された値と、前記のＬＹに対する比率で算出された値とを比較して大きい方を選択するようにしてもよい。
【００５６】
この場合、原稿端領域ＳＵ，ＳＤのＹ方向の幅ＳＵＹ，ＳＤＹは、例えばピーク点ＵＣ１〜５，ＤＣ１〜５の前後位置で、所定の閾値以上の計数値となる領域のＹ方向の幅の所定数倍（例えば３倍）とする。ここで、閾値は、ピーク点ＵＣ１〜５，ＤＣ１〜５での計数値（最高値）に所定の比率（例えば６６％）を乗じた値とすればよい。
【００５７】
なお、小型の本の場合には、撮影画像内で本の画像が小さくなるため、有意なピーク点が少なくなり、原稿端領域ＳＵ，ＳＤを適切に抽出することができなくことがある。そこで、このような場合には、Ｘ方向位置ｘ１〜ｘ５を変更して再計算する。例えばＸ方向位置ｘ１〜ｘ５を、Ｘ座標で５００、９５０，１３００，１７５０，２０００とする。この例では、Ｘ方向の中心部で間隔を狭くしている。
【００５８】
また、本例では、ピーク点を検出するためのＸ方向位置（検出ラインの位置）を５つ設定したが、この検出位置の数はこれに限定されるものではなく、例えば２つでも可能である。また、ユーザに処理状況を提示するための仮検出では検出位置を少数（例えば２つ）設定し、最終的に保存する画像を生成するための本検出では、正確な検出ができるように検出位置を多く設定するようにするとよい。
【００５９】
またここでは、見開き２ページの場合、本を左右に開いた状態で撮影した例で説明したが、本を上下に開いた状態で撮影される場合もあり、この場合、前記の例とは縦横を逆にした状態となり、図９に示した縦方向に延在する原稿端領域が２つ抽出され、図１０に示した横方向に延在する原稿端領域が３つ抽出されることになる。
【００６０】
また、原稿端領域の幅は、本の大きさやページ数で最適値が変化し、ここで例示した値は、一般的なユーザを想定した経験値であり、本（原稿）の種類に偏りがある場合には、適切な処理が行われない可能性もあるため、このような場合には、ユーザが適宜に変更することができるようにしたり、あるいは複数の撮影画像の処理で取得した値から評価関数（例えば、角点位置の分散値を最小にする）に基づいて統計的に最適値を変更するようにしてもよい。
【００６１】
また、本例では、検出ライン上で延長直線線分の計数値が最も大きくなるピーク点に基づいて原稿端領域を設定するようにしたが、この他に、延長直線線分の計数値に閾値を設定して、その閾値を超える領域の数で原稿端領域を設定するようにしてもよく、原稿端領域の数が適切な値（図９に示す例では３つ）とならない場合に、閾値を調整することで適切な数の原稿端領域を設定することができる。ここで、閾値は、延長直線線分の計数値の分布状況に基づいて設定することになるが、１例として延長直線線分の計数値の大きなものから３番目の値の５０％を閾値に設定すればよい。
【００６２】
また、本の紙面に表が記載されている場合、表の罫線が直線成分として検出されるため、中間の領域に多数のピーク点が現れる。この場合、まず、両端に現れるピーク点に基づいて左右の原稿端領域を設定する。そして、検出ライン上で延長直線線分を計数する際の計数区間の幅（画素数）を変更して、検出ライン上の延長直線線分を計数する処理を実施する。このとき、例えば計数区間の幅を小さくして（例えば５画素）、１本の延長直線線分のみが存在する領域については計数値を処理対象から除外する。また、計数区間の幅を大きくして（例えば３０画素）、計数値の上位のものから所定数（図１０に示す例では２つ）の領域を抽出する。
【００６３】
（原稿端領域妥当性判断）
次に、図６に示した原稿端領域妥当性判断（ＳＴ２０３）について説明する。この処理は図２に示した原稿端領域取得部４１で行われる。
【００６４】
ここでは、図６に示した原稿端領域取得（ＳＴ２０２）で取得した原稿端領域の妥当性を、ピーク点が現れる位置に基づいて判断する。本の見開き２ページの読取においては、左右の端と中心部にピーク点が合計３つ現れ、さらにこの３つのピーク点の間隔が概ね等しくなり、この条件を満たさない場合には妥当でないものと判断する。
【００６５】
具体的には、綴じ目を表す中心のピーク点ＣＣが存在しない場合は、妥当でないものと判断して、図６に示した直線成分検出（ＳＴ２０１）に戻り、閾値を変更して直線成分検出の処理をやり直す。
【００６６】
また、左側のピーク点ＬＣと中心のピーク点ＣＣの距離と、中心のピーク点ＣＣと右側のピーク点ＲＣの距離とを比較し、両者の差が所定値より大きい場合は、妥当でないものと判断して、図６に示した原稿端領域取得（ＳＴ２０２）に戻り、延長直線成分を計数する際の検出ラインの位置を変更して原稿端領域取得の処理をやり直す。これにより、紙面に記載された図表の線による中心のピーク点ＣＣの誤検出を避けることができる。一方、検出ラインの位置を変更した原稿端領域取得の処理を所定の回数繰り返しても、距離差が小さくならない場合は、図６に示した直線成分検出（ＳＴ２０１）に戻る。
【００６７】
（エッジ検出）
次に、図６に示したエッジ検出（ＳＴ２０４）について説明する。この処理は図２に示した輪郭成分抽出部４２で行われる。
【００６８】
ここでは、撮影画像に対してエッジ検出を行ってエッジ成分を抽出する。このエッジ検出は、キャニー（Canny）法を用いて行えばよい。ここで、閾値が低いと、ノイズが多くなり、逆に閾値が高いと、断片化したエッジ成分が増えるため、検出結果に応じて、閾値を変化させ、エッジ検出を最適化する。この場合、一定長さ以上の連続したエッジ成分の合計長さ、その数、一定幅以下の連続したエッジ成分の合計長さを評価基準として、この評価基準値が最大となる閾値を学習させるとよい。
【００６９】
（輪郭成分抽出）
次に、図６に示した輪郭成分抽出（ＳＴ２０５）について説明する。この処理は図２に示した輪郭成分抽出部４２で行われる。
【００７０】
ここでは、図６に示したエッジ検出（ＳＴ２０４）で取得したエッジ画像内の輪郭成分（原稿の輪郭を構成する画素）を抽出する。そして、断片化した小さなエッジ成分をノイズとして除去する。また、欠落した輪郭成分を補間する。このとき、輪郭成分の方向と長さ、途切れた間隔の長さにより連続性判定を行い、途切れと判定した輪郭成分を補間する。
【００７１】
（交点検出）
次に、図６に示した交点検出（ＳＴ２０６）について説明する。図１１は、交点検出の状況を示す模式図である。この処理は図２に示した交点検出部４３で行われる。
【００７２】
ここでは、矩形をなす撮影画像の互いに直交する２辺に沿った座標軸（Ｘ軸およびＹ軸）に対して所定角度傾斜した仮想直線Ｌ１〜Ｌ４を、撮影画像の４つの頂点を始点として、その始点から撮影画像の中心に向かって、所定の移動間隔で段階的に平行移動させながら、図６に示した輪郭成分抽出（ＳＴ２０５）で抽出した輪郭成分（本の外形輪郭を構成する画素）と仮想直線Ｌ１〜Ｌ４との交点を収集する。この仮想直線Ｌ１〜Ｌ４の移動は、始点となる頂点に対してＸ方向およびＹ方向に位置する２つの頂点のいずれか一方に仮想直線Ｌ１〜Ｌ４が到達するまで行われる。
【００７３】
仮想直線Ｌ１〜Ｌ４は、Ｘ軸およびＹ軸に対して±４５度の角度をなす。具体的には、右上の頂点(2560,1920)を始点とした第１の仮想直線Ｌ１はＸ軸に対して−４５度、右下の頂点(2560,0)を始点とした第２の仮想直線Ｌ２はＸ軸に対して＋４５度、左上の頂点(0,1920)を始点とした第３の仮想直線Ｌ３はＸ軸に対して＋４５度、左下の頂点(0,0)を始点とした第４の仮想直線Ｌ４はＸ軸に対して−４５度となる。
【００７４】
ここでは、Ｘ方向に２５６０、Ｙ方向に１９２０の画素を有する場合を示しており、この場合、仮想直線Ｌ１〜Ｌ４はそれぞれ次式で表される。
Ｌ１：ｙ＝−ｘ＋４４８０−Step×（Ｎ−１）
Ｌ２：ｙ＝＋ｘ−２５６０−Step×（Ｎ−１）
Ｌ３：ｙ＝＋ｘ＋１９２０−Step×（Ｎ−１）
Ｌ４：ｙ＝−ｘ＋Step×（Ｎ−１）
ここで、Stepは、仮想直線の移動間隔である。Ｎは、ライン番号であり、始点の位置を１として、仮想直線を移動間隔Stepで平行移動させるたびに１ずつ増分することになる。
【００７５】
特にここでは、仮想直線Ｌ１〜Ｌ４の移動間隔Stepを交点の検出の前後で変更する。すなわち、始点から交点が検出されるまでは、仮想直線Ｌ１〜Ｌ４を第１の移動間隔Step１で大きく移動させ、交点が検出されると、その直前の位置から仮想直線を第２の移動間隔Step２で細かく移動させる。この第２の移動間隔Step２による移動は、所定の回数行われ、以降は第１の移動間隔Step１と第２の移動間隔Step２との中間の大きさとなる第３の移動間隔Step３で仮想直線を移動させる。
【００７６】
このように仮想直線の移動間隔Stepが３段階に変更され、第１の移動間隔Step１、第２の移動間隔Step２、第３の移動間隔Step３は次式の関係となる。
Step１＞Step３＞Step２
【００７７】
具体的には、第１の移動間隔Step１＝５０とし、このとき仮想直線はＸ方向に５０画素分平行移動する。第２の移動間隔Step２＝４とし、このとき仮想直線はＸ方向に４画素分平行移動する。第３の移動間隔Step３＝１０とし、このとき仮想直線はＸ方向に１０画素分平行移動する。第２の移動間隔Step２による仮想直線の移動は５０本分とする。
【００７８】
このように傾斜した仮想直線を所定の移動間隔で段階的に平行移動させながら、輪郭成分と仮想直線との交点を収集すると、仮想直線が原稿の外形輪郭の角点に到達したところで、交点の列が概ね直角に近い状態で２方向に分かれるように現れるため、この交点の出現状況から原稿の外形輪郭の角点を精度よく検出することができる。特に交点が検出されたところで第２の移動間隔Step２で仮想直線Ｌ１〜Ｌ４が小刻みに移動することにより、精度の向上を図ることができる。
【００７９】
（輪郭交点取得）
次に、図６に示した輪郭交点取得（ＳＴ２０７）について説明する。図１２、図１３は、輪郭交点抽出の状況を示す模式図である。この処理は図２に示した輪郭交点取得部４４で行われる。
【００８０】
ここでは、図６に示した交点検出（ＳＴ２０６）で取得した交点のうち、最も外側に位置する交点を輪郭交点として抽出するとともに、抽出された輪郭交点のうち、ノイズと判断されるものを除去する。
【００８１】
まず、図１２（Ａ）に示すように、図６に示した交点検出（ＳＴ２０６）で取得した交点の中から、図６に示した原稿端領域検出（ＳＴ２０２）で検出した左右の原稿端領域ＳＬ，ＳＲおよび上下の原稿端領域ＳＵ，ＳＤに位置する交点を抽出し、原稿端領域ＳＬ，ＳＲ，ＳＵ，ＳＤの外に位置する交点をノイズとして除去する。
【００８２】
ついで、原稿端領域ＳＬ，ＳＲ，ＳＵ，ＳＤ内にある交点のうち、本の輪郭を構成する交点を抽出する。ここでは、Ｙ方向の仮想直線を撮影画像の一端（Ｘ座標が最大の２５６０となる位置）から他端（Ｘ座標が０となる位置）に向かって平行移動させる。このとき、仮想直線と重なった交点を２点もしくは１点抽出する。もし、仮想直線の同一位置で複数の交点を検出した場合は、それらの交点のうちＹ座標が最大および最小となる２点を輪郭交点として抽出する。これにより、図１２（Ｂ）に示すように、Ｙ方向で最も外側に位置する交点が輪郭交点として抽出される。また、同様に、Ｘ方向の仮想直線を撮影画像の一端（Ｙ座標が最大の１９２０となる位置）から他端（Ｙ座標が０となる位置）に向かって平行移動させ、交点からＸ座標が最大および最小となる輪郭交点を２点抽出する。１ライン上に交点が１点しかなかった場合は、この１点を輪郭交点とし抽出する。
【００８３】
ついで、抽出された輪郭交点のうち、ノイズと判断される輪郭交点を除外する。ここでは、図１３に示すように、原点(0,0)に近いものから順に半時計まわりに輪郭交点に番号ｐ１，ｐ２，ｐ３…ｐｎを付与して輪郭交点テーブルに格納する。そして、隣り合う２つの輪郭交点のＸ座標の差ΔｘとＹ座標の差Δｙを求める。さらに、Ｘ座標の差ΔｘとＹ座標の差Δｙから大きい方の値を分母にして、比Δｙ／Δｘ（Δｘ＞Δｙ時）、もしくは比−Δｘ／Δｙ（Δｙ＞Δｘ時）を移動量計数Ｓｐとして算出し、この移動量計数Ｓｐを直近との２点について比較して、所定の割合以上の差が生じている輪郭交点を除外する。例えば近傍の所定数の移動量計数の平均値を算出してその平均値との差が所定の閾値（例えば１５％）以上の割合となる輪郭交点を除外する。
【００８４】
尚、角部では、移動量計数Ｓｐの極性（＋、−）が変わる特徴から、辺の部分より移動量計数Ｓｐが大きくなることがあるので、前記で算出した平均値とは異なる設定値（例えば、３）を閾値にするとよい。
【００８５】
図１３に示した例では、輪郭交点ｐ３で移動量計数Ｓｐ（Δｙ／Δｘ）が大きく変化するため、ノイズとして除外され、輪郭交点ｐ４以降について輪郭交点テーブル上の番号が付け直される。
【００８６】
（角点取得）
次に、図６に示した角点取得（ＳＴ２０８）について説明する。図１４、図１５、図１６、図１７は、角点取得の状況を示す模式図である。この処理は図２に示した角点取得部４５で行われる。
【００８７】
ここでは、図６に示した輪郭交点取得（ＳＴ２０７）で取得した輪郭交点に基づいて、原稿の外形輪郭の４つの角点を取得する。なお、以下に左下の角点を取得する例について説明するが、他の３つの角点もこれと同様である。
【００８８】
まず、図１４に示すように、図６に示した輪郭交点抽出（ＳＴ２０７）で取得した輪郭交点ｐ（１）〜ｐ（ｎ）のうち、本の角部に位置するものと推定される所定数の輪郭交点を選択する。図示する例では、下辺と左辺の２辺につき各５個の計１０個の輪郭交点を選択している。なお、この輪郭交点の数は特に限定されるものではなく、必要に応じてさらに多くしてもよい。
【００８９】
ついで、角点が存在することが予測される仮の角領域を設定する。角点Ｃａ０を算出する場合は、原稿端領域ＳＬとＳＤの重なる角領域ＳＬＳＤを、もしくはこの領域を拡大縮小した領域を設定する。ここではまず、移動量計数Ｓｐの極性からｐ（１）とｐ（ｎ）を選択し、これらを含めて縦方向の辺と横方向の辺から各５個を選択した全１０個の輪郭交点から、Ｘ座標およびＹ座標の最小値および最大値を求め、そのＸ座標およびＹ座標の最小値および最大値で区画される矩形の基準領域を設定する。そして、その基準領域を、角点が存在する側に所定の倍率（たとえば１．５倍）だけ拡大して、矩形の角領域を設定する。図１４に示す左下の角点を抽出する例では、角領域は基準領域に対してＸ座標およびＹ座標が小さくなる側に拡大されている。
【００９０】
ついで、図１５に示すように、隣り合う２つの輪郭交点ｐ（１）〜ｐ（ｎ）を通る角点推定用直線を順次求める。図示する例では縦横に交点が５つずつあるため、横方向の角点推定用直線Ｌｈおよび縦方向の角点推定用直線Ｌｖがそれぞれ４本求められる。図１５（Ａ）では、輪郭交点ｐ（１），ｐ（２）を通る横方向の角点推定用直線Ｌｈ１と、輪郭交点ｐ（ｎ），ｐ（ｎ−１）を通る縦方向の角点推定用直線Ｌｖ１を求めている。図１５（Ｂ）では、輪郭交点ｐ（２），ｐ（３）を通る横方向の角点推定用直線Ｌｈ２と、輪郭交点ｐ（ｎ−１），ｐ（ｎ−２）を通る縦方向の角点推定用直線Ｌｖ２を求めている。図１５（Ｃ）では、輪郭交点ｐ（３），ｐ（４）を通る横方向の角点推定用直線Ｌｈ３と、輪郭交点ｐ（ｎ−２），ｐ（ｎ−３）を通る縦方向の角点推定用直線Ｌｖ３を求めている。図示しないが、これと同様にして、輪郭交点ｐ（４），ｐ（５）を通る横方向の角点推定用直線Ｌｈ４と、輪郭交点ｐ（ｎ−３），ｐ（ｎ−４）を通る縦方向の角点推定用直線Ｌｖ４を求める。
【００９１】
ついで、図１６（Ａ）に示すように、図６に示した輪郭成分抽出（ＳＴ２０５）で取得した輪郭成分（原稿の輪郭を構成する画素）のうち、図１４に示した角領域内に位置するものを抽出する。そして、角領域内の輪郭成分のうち、図１５に示した角点推定用直線が通る輪郭成分のみを残し、その他の輪郭成分を除去する。
【００９２】
ついで、角領域内においてＸ軸およびＹ軸に対して所定角度（ここでは４５度）傾斜した仮想直線と輪郭成分との交点を求める。このとき、図１５（Ａ）に示したように、横方向の角点推定用直線Ｌｈ１と縦方向の角点推定用直線Ｌｖ１との交点Ｃａ１（Ｘca1、Ｙca1）からＸＹ両方向に所定値Ｔ（例えば１０画素分）だけずらした点を始点（Ｘca1−Ｔ、Ｙca1−Ｔ）として、仮想直線を所定間隔（１画素分）づつ平行移動させながら、仮想直線と輪郭成分との交点を求める。
【００９３】
なお、図１６に示す左下の角点を抽出する場合には、仮想直線の角度はＸ軸に対して−４５度となり、右上の角点の場合にも、仮想直線の角度はＸ軸に対して−４５度となる。一方、左上および右下の角点の場合には、仮想直線の角度はＸ軸に対して＋４５度となる。
【００９４】
ここで、図１６（Ａ）に示した例のように、輪郭成分において下辺と左辺が閉じている、すなわち画素が連続している場合には、仮想直線を始点から平行移動させて、最初に交点を検出した位置で１つの交点が得られると、これを角点Ｃａ０として選定する。また、図１６（Ｂ）に示すように、４５度で連続して隣合う複数の交点が得られる場合もあり、この場合は、連続した複数の交点の中心となる位置を角点Ｃａ０として選定する。
【００９５】
一方、図１７（Ａ）に示した例のように、輪郭成分において下辺と左辺が閉じていない、すなわち画素が連続していない場合には、図１５に示したように、横方向の角点推定用直線Ｌｈ１〜４と縦方向の角点推定用直線Ｌｖ１〜４との交点Ｃａ１〜Ｃａ４を求め、この交点Ｃａ１〜Ｃａ４から角点Ｃａ０を推定する。
【００９６】
具体的には、図１７（Ｂ）に示すように、交点Ｃａ１〜Ｃａ４を順番に２個ずつを結ぶベクトルを求める（Ｖ３＝Ｃａ４−Ｃａ３、Ｖ２＝Ｃａ３−Ｃａ２、Ｖ１＝Ｃａ２−Ｃａ１）。そして、３つのベクトルＶ１〜Ｖ３から下記の計算式で変動値Ｃｖ（Ｃｖｘ，Ｃｖｙ）を求め、この変動値Ｃｖ（Ｃｖｘ，Ｃｖｙ）を交点Ｃａ１の座標に加えて角点Ｃａ０とする。
Ｃｖ＝（Ｖ３×ｋ３＋Ｖ２×ｋ２＋Ｖ１×ｋ１）／１００
ここで、ｋ１〜ｋ３は重み係数であり、角点に近いものほど大きくしており、例えばｋ１＝１０、ｋ２＝６、ｋ３＝３とする。
【００９７】
なお、図１７では、説明の便宜上、交点Ｃａ１〜Ｃａ４が大きく離れた状態を示したが、図１１に示した仮想直線の移動間隔が狭く、角点の近傍に輪郭交点が小さな間隔で多数存在する場合には、交点Ｃａ１〜Ｃａ４が近接し、あるいは同一位置となることが多い。また、本例では、角領域に位置する輪郭交点として１辺につき５個の輪郭交点を選択して４本の角点推定用直線を設定したため、角点を推定するための縦横の角点推定用直線の交点が４つとなっているが、仮想直線の移動間隔を変更し、また輪郭交点の選択数を変更することで、角点を推定するための交点の数を変えることができる。
【００９８】
また、図１５に示したように、横方向の角点推定用直線Ｌｈと縦方向の角点推定用直線とがなす角度θが、所定の有効範囲外になった場合は、その２本の角点推定用直線から求めた角点Ｃａを破棄し、図１６，図１７に示した角点の推定に使用しないようにしてもよい。この場合、角度θの有効範囲は、例えば次式のとおりとする。
（４５°／ｋｋ）＜θ＜（１３５°×ｋｋ）
ここで、ｋｋは交点間隔係数であり、例えば間隔４画素の場合はｋｋ＝１、間隔１０画素の場合はｋｋ＝０．９とする。
【００９９】
（角点妥当性判断）
次に、図６に示した角点妥当性判断（ＳＴ２０９）について説明する。図１８、図１９は、角点妥当性判断の状況を示す模式図である。この処理は図２に示した角点取得部４５で行われる。
【０１００】
ここでは、図６に示した角点取得（ＳＴ２０８）で取得した４つの角点Ｃａ０，Ｃｂ０，Ｃｃ０，Ｃｄ０の位置を、図６に示した原稿端領域取得（ＳＴ２０２）で取得した原稿端領域と比較して、その角点Ｃａ０，Ｃｂ０，Ｃｃ０，Ｃｄ０が妥当か否かを判断する。
【０１０１】
まず、図１８に示すように、本の見開き２ページの場合について説明する。この場合、図６に示した角点取得（ＳＴ２０８）で取得した４つの角点Ｃａ０，Ｃｂ０，Ｃｃ０，Ｃｄ０のうち、上側の２つの角点Ｃｃ０，Ｃｄ０の中心点Ｃｕおよび下側の２つの角点Ｃｂ０，Ｃａ０の中心点Ｃｄがそれぞれ、ページの綴じ目が位置する中間の原稿端領域ＳＣ内にあるかを判定する。ここで、上側の中心点Ｃｕと下側の中心点Ｃｄのいずれもが、中央の原稿端領域ＳＣ内に位置すると、取得した４つの角点Ｃａ０，Ｃｂ０，Ｃｃ０，Ｃｄ０は妥当であると判断する。
【０１０２】
上側の中心点Ｃｕと下側の中心点Ｃｄのいずれか一方が中央の原稿端領域ＳＣ内に位置しない場合は、妥当でないものと判断する。この場合、図６に示した直線成分検出（ＳＴ２０１）から輪郭交点抽出（ＳＴ２０７）までの各処理でのパラメータを変更して、再度、各処理をやり直す。
【０１０３】
ここで、例えば、上側の中心点Ｃｕが、原稿端領域ＳＣより左側にずれていた場合は、右上の角の輪郭情報の欠落などが原因で、右上の角点Ｃｃ０の検出を誤った可能性があるため、図６に示した角点取得（ＳＴ２０８）で、右上の角点Ｃｃ０について再検出を行う。このとき、輪郭交点の選択数を変更する。例えば前回の角点取得において、角領域に位置する輪郭交点として１辺につき５個の輪郭交点を選択した場合には、１辺につき１０個の輪郭交点を選択するように変更する。
【０１０４】
次に、図１９に示すように、本の表紙やシート原稿の場合について説明する。この場合、角点検出（ＳＴ１０３）で取得した４つの角点Ｃａ０，Ｃｂ０，Ｃｃ０，Ｃｄ０を頂点とした四角形が概ね平行四辺形となると、取得した４つの角点Ｃａ０，Ｃｂ０，Ｃｃ０，Ｃｄ０は妥当であると判断することができる。
【０１０５】
具体的には、４つの角点Ｃａ０，Ｃｂ０，Ｃｃ０，Ｃｄ０を頂点とした四角形における互いに向かい合う２つの辺の長さの比率が所定の閾値より小さいと、４つの角点Ｃａ０，Ｃｂ０，Ｃｃ０，Ｃｄ０は妥当であると判断する。より具体的には、右辺および左辺の長さＤＳ１，ＤＳ２の比率ＤＳ１／ＤＳ２と、上辺および下辺の長さＤＳ３，ＤＳ４の比率ＤＳ３／ＤＳ４がいずれも０．７〜１．３の範囲内にあれば妥当であると判断する。比率ＤＳ１／ＤＳ２と比率ＤＳ３／ＤＳ４のいずれかが０．７以下もしくは１．３以上の場合は、妥当でないと判断し、この場合、図６に示した直線成分検出（ＳＴ２０１）から輪郭交点抽出（ＳＴ２０７）までの各処理でのパラメータを変更して、再度、各処理をやり直す。
【０１０６】
［輪郭取得］
次に、図３に示した輪郭取得（ＳＴ１０４）について説明する。図２０は、輪郭取得の手順を示すフロー図である。図２１、図２２は、輪郭取得の状況を示す模式図である。この処理は図２に示した輪郭取得部３２で行われる。
【０１０７】
ここでは、図３に示した角点検出（ＳＴ１０３）で取得した４つの角点Ｃａ０，Ｃｂ０，Ｃｃ０，Ｃｄ０に基づいて、図４（Ｂ）に示したように、原稿の外形輪郭を構成する輪郭点（輪郭画素）を取得する処理が行われる。
【０１０８】
まず、図２１（Ａ）に示すように、図３に示した角点検出（ＳＴ１０３）で取得した４つの角点Ｃａ０，Ｃｂ０，Ｃｃ０，Ｃｄ０を頂点とした四角形の各辺を中心にして所定幅の輪郭領域ＳＳを設定する（ＳＴ４０１）。そして、図６に示した輪郭成分抽出（ＳＴ２０５）で抽出した輪郭成分のうち、輪郭領域ＳＳ内にある輪郭成分のみを抽出する（ＳＴ４０２）。
【０１０９】
なお、輪郭領域ＳＳ内の画素を対象にして画素値のヒストグラムを取得し、その解析結果に基づいて閾値を変更して再度、図６に示したエッジ検出（ＳＴ２０４）と輪郭成分抽出（ＳＴ２０５）の処理を行なって輪郭成分を抽出する処理を繰り返すと、図５（Ａ）に示したページの上下左右の端点である特異点の検出をより正確に行うことができる。
【０１１０】
ついで、図２０に示した輪郭成分抽出（ＳＴ４０２）で抽出された輪郭領域ＳＳ内にある輪郭成分のうち、最も外側に位置する輪郭成分を輪郭点として検出する（ＳＴ４０３）。ここでは、図６に示した交点検出（ＳＴ２０６）と同様の手順で、最外郭となる輪郭点を検出する。すなわち、図２１（Ｂ）に示すように、Ｘ軸およびＹ軸に対して所定角度傾斜した仮想直線を、矩形をなす撮影画像の４つの頂点を始点として、その始点から撮影画像の中心に向かって、所定の移動間隔で段階的に平行移動させながら、輪郭成分抽出（ＳＴ４０２）で抽出された輪郭成分と仮想直線との交点を収集する。ここでは、仮想直線の移動間隔をＸ方向に１画素分とする。
【０１１１】
ついで、図２２に示すように、角点Ｃａ０，Ｃｂ０，Ｃｃ０，Ｃｄ０から、近傍にある輪郭点を順次探索する処理を繰り返し、近傍にない輪郭点をノイズとして除去する（ＳＴ４０４）。
【０１１２】
図２２には、原稿輪郭の下辺を構成する輪郭点を探索する処理の例を示しており、ここでは、左下の角点Ｃａ０に最も近い輪郭点から順に、Ｘ方向に１画素分ずらした位置にある輪郭点を探す。このとき、Ｙ座標の差分が所定の閾値以下となる輪郭点を探す。すなわち、注目輪郭点からＸ方向に１画素分ずらした位置で、注目画素と同じＹ方向位置を中心にして、Ｙ方向の両側に所定の画素数（例えば５画素）分広げた検出領域内にある輪郭点を探す。
【０１１３】
この原稿輪郭の下辺を構成する輪郭点を探索する処理は、左下の角点Ｃａ０に最も近い輪郭点から開始して、右下の角点Ｃｂ０のＸ座標の位置に到達するまで繰り返される。この処理で、隣の輪郭点が所定の距離以上離れた輪郭点、すなわち検出領域外にある輪郭点はノイズとして除外される。
【０１１４】
ここで、注目輪郭点の近傍の輪郭点を見つけることができなかった場合は、注目輪郭点からＸ方向に１画素分ずらした位置で、かつ注目画素と同じＹ方向位置にある画素を仮輪郭点として、次の輪郭点を探す処理に進む。
【０１１５】
このようにして原稿輪郭の下辺を構成する輪郭点を探索する処理が終了すると、次に原稿輪郭の右辺を構成する輪郭点を探索する処理を行う。この右辺の処理では、下辺の処理で最後に見つけた輪郭点から近傍の輪郭点を順次探索する処理を繰り返し、このとき、注目輪郭点からＹ方向に１画素分ずらした位置で、注目画素と同じＹ方向位置を中心にして、Ｘ方向の両側に所定の画素数（例えば５画素）分広げた検出領域内にある輪郭点を探す。
【０１１６】
ここで、注目輪郭点の近傍の輪郭点を見つけることができなかった場合は、注目輪郭点からＹ方向に１画素分ずらした位置で、かつ注目画素と同じＸ方向位置にある画素を仮輪郭点として、次の輪郭点を探す処理に進む。
【０１１７】
この原稿輪郭の右辺を構成する輪郭点を探索する処理は、右上の角点Ｃｃ０のＹ座標の位置まで繰り返され、ついで、原稿輪郭の上辺および右辺を構成する輪郭点を探索する処理が順次行われるが、この上辺および右辺の処理も同様の手順で行えばよい。このようにして原稿輪郭の１周分を構成する輪郭点を探索し、これから外れた輪郭点はノイズとして除去される。
【０１１８】
以上のノイズ点除去（ＳＴ４０４）では、仮輪郭点として処理した部分に隙間が生じている。そこで次に、仮輪郭点による隙間を埋める補間処理を行う（ＳＴ４０５）。ここでは、図２２に示すように、ノイズ点除去の処理で残った輪郭点を対象にして、角点Ｃａ０に最も近い輪郭点から順に隣接する輪郭点を探索して、隣接する輪郭点がない輪郭点が見つかると、その輪郭点に最も近い輪郭点を探し、その２つの輪郭点を直線Ｌｎで結び、その直線Ｌｎ上に位置する画素を新たに輪郭点に設定する。これにより、図４（Ｂ）に示したように、原稿の外周を途切れることなく結ぶ輪郭が求められる。
【０１１９】
なお、図２２では、下辺の輪郭生成の例を示しているが、これと同様の手順で、右辺、上辺、および左辺についても、輪郭点の隙間を埋める処理が行われる。また、白黒画像などの２値画像では、補完する輪郭点の位置を求めるだけでよいが、カラー画像やグレースケール画像のような多値画像では、補完する輪郭点の画素値を求める必要があり、この場合、補完する輪郭点の画素値は、直線Ｌｎで結ばれる２つの輪郭点の画素値の平均値とすればよい。
【０１２０】
また、本実施形態では１画素分の線幅で輪郭生成しているが、このデータを基にスムージング処理や太線化・細線化処理を施すことがメッシュモデル生成で有効になる場合がある。
【０１２１】
［メッシュモデル生成］
次に、図３に示したメッシュモデル生成（ＳＴ１０５）について説明する。図２３は、メッシュモデル生成の手順を示すフロー図である。図２４は、メッシュモデル生成の状況を示す模式図である。この処理は図２に示したメッシュモデル生成部３３で行われる。
【０１２２】
ここではまず、図２４（Ａ）に示すように、図３に示した輪郭取得（ＳＴ１０４）で取得した輪郭点に基づいて、ページの上下左右の端点である特異点を検出する。ここで、見開き２ページの撮影画像では、ページの上下左右の端点として６つの特異点が検出され、４つの特異点は本の外形の４角を示す角点Ｃａ０，Ｃｂ０，Ｃｃ０，Ｃｄ０の近くに現れ、２つの特異点は本の綴じ目がある中央部に現れる。
【０１２３】
ついで、本のページの歪曲した輪郭線を表す歪曲成分を抽出する（ＳＴ５０１）。ページの上縁および下縁の輪郭線は、外側に膨らんだ歪曲した状態で表示され、このページの上縁および下縁の歪曲した輪郭成分（輪郭を構成する画素）を、図６に示したエッジ検出（ＳＴ２０４）で取得したエッジ画像から抽出する。そして、歪曲成分の連続性に基づいて歪曲成分の妥当性を判断する（ＳＴ５０２）。ここで、歪曲成分が妥当でないものと判断されると、途切れた部分の補間処理を行う（ＳＴ５０３）。これにより、歪曲成分が途切れることなく連続した状態となる。
【０１２４】
ついで、歪曲成分を高さ成分に変換する演算を行う（ＳＴ５０４）。撮影画像上でページの上縁および下縁の輪郭線が歪曲した状態で表示されるのは、３次元的には紙面が上側に凸となるように湾曲していることによるものであり、ページの上縁および下縁の輪郭線を示す歪曲成分に基づいて、ページの上縁および下縁の３次元的な湾曲状態を示す高さ成分を求めることができる。具体的には載置面５に対してページの上縁および下縁の高さ（Ｚ軸の座標）を一定間隔で求める。この高さ成分により、ページの上縁および下縁の実際の長さを推定することができる。
【０１２５】
ついで、図２４（Ｂ）に示すように、縦横のメッシュラインを生成し（ＳＴ５０５）、その縦横のメッシュラインが交差するメッシュ交点の座標をメッシュテーブルに格納する（ＳＴ５０６）。ここでは、ページの上縁および下縁の高さ成分に基づいて、ページの上縁および下縁を示す曲線をメッシュ数に応じて等間隔に分割する基点の座標を求め、上縁および下縁の互いに対応する基点を結線して縦メッシュラインを求める。ついで、縦メッシュラインをメッシュ数に応じて等間隔に分割する点（メッシュ交点）の座標を求め、その点を結線して横メッシュラインを求める。
【０１２６】
このようにしてメッシュモデルを生成すると、そのメッシュモデルに基づいて画像を平面化する画像変換処理が画像変換部３４にて行われるが、このとき、原稿領域の画像のみを切り出して平面化することで、原稿領域のみの歪みのない画像を得ることができる。また、必要に応じて画像の傾きを補正するスキュー補正などが行われる。
【０１２７】
なお、本実施形態では、図２に示したように、ブックスキャナから撮影画像データをＰＣに送ってＰＣで画像処理を行うようにしたが、このような画像処理をブックスキャナで行う、すなわちブックスキャナが画像処理装置を含む構成も可能である。この場合、テレビジョン受像機などの表示デバイスに画像を表示させればよい。
【０１２８】
また、本実施形態では、図１１に示したように、交点検出の際の仮想直線の角度を４５度としたが、本発明における仮想直線の角度はこれに限定されるものではなく、適宜に設定すればよい。
【０１２９】
また、本実施形態では、メッシュモデルを生成して画像を平面化する例を示したが、本の表紙やシート原稿の場合には画像の平面化が必要でなく、このような場合は、画像の平面化を省略して、原稿の外形輪郭に基づいて原稿領域の画像のみを切り出す処理と、必要に応じてスキュー補正などが行われる。
【産業上の利用可能性】
【０１３０】
本発明にかかる画像処理装置およびこれを備えた原稿読取システムは、ユーザに面倒をかけることなく、原稿の外形輪郭を精度よく検出することができる効果を有し、本などの原稿を読み取って得られた画像を処理する画像処理装置およびこれを備えた原稿読取システムなどとして有用である。
【符号の説明】
【０１３１】
１ ブックスキャナ（画像入力装置）
２ ＰＣ（画像処理装置）
３ カメラ部
２２ 画像データ入力部（撮影画像取得部）
２３ 画像処理部
３１ 角点検出部
３２ 輪郭取得部
３３ メッシュモデル生成部
３４ 画像変換部
４１ 原稿端領域取得部
４２ 輪郭成分抽出部
４３ 交点検出部
４４ 輪郭交点取得部
４５ 角点取得部
Ｌ１〜Ｌ４ 仮想直線
Ｃａ０，Ｃｂ０，Ｃｃ０，Ｃｄ０ 角点
【特許請求の範囲】
【請求項１】
原稿の紙面を載置面とともに撮影した撮影画像を取得する撮影画像取得部と、
前記撮影画像を処理する画像処理部と、を有し、
この画像処理部は、
前記撮影画像から原稿の輪郭成分を抽出する輪郭成分抽出部と、
矩形をなす前記撮影画像の互いに直交する２辺に沿った座標軸に対して所定角度傾斜した仮想直線を所定の移動間隔で平行移動させながら、その仮想直線と前記輪郭成分抽出部で取得した輪郭成分との交点を取得する交点検出部と、
この交点検出部で取得した交点に基づいて原稿の外形輪郭の角点を取得する角点取得部と、を備え、
この角点取得部で取得した角点に基づいて原稿の外形輪郭を取得することを特徴とする画像処理装置。
【請求項２】
前記画像処理部は、取得した原稿の外形輪郭に基づいてメッシュモデルを生成して、そのメッシュモデルに基づいて前記撮影画像を平面化することを特徴とする請求項１に記載の画像処理装置。
【請求項３】
前記交点検出部は、始点から交点が検出されるまでは、前記仮想直線を第１の移動間隔で大きく移動させ、交点が検出されると、その直前の位置から前記仮想直線を第２の移動間隔で細かく移動させることを特徴とする請求項１または請求項２に記載の画像処理装置。
【請求項４】
前記画像処理部は、
撮影画像から原稿の端縁が存在するものと推定される原稿端領域を取得する原稿端領域取得部をさらに備え、
前記交点検出部で取得した交点のうち、前記原稿端領域取得部で取得した前記原稿端領域の外に位置する交点をノイズとして除去することを特徴とする請求項１から請求項３のいずれかに記載の画像処理装置。
【請求項５】
前記原稿端領域取得部は、撮影画像から検出された直線成分を計数して、その直線成分の計数値に基づいて原稿端領域を取得することを特徴とする請求項４に記載の画像処理装置。
【請求項６】
請求項１から請求項５のいずれかに記載の画像処理装置と、カメラ部を備えた画像入力装置と、を有し、この画像入力装置において原稿を撮影して撮影画像を前記画像処理装置に送ることを特徴とする原稿読取システム。
【請求項１】
原稿の紙面を載置面とともに撮影した撮影画像を取得する撮影画像取得部と、
前記撮影画像を処理する画像処理部と、を有し、
この画像処理部は、
前記撮影画像から原稿の輪郭成分を抽出する輪郭成分抽出部と、
矩形をなす前記撮影画像の互いに直交する２辺に沿った座標軸に対して所定角度傾斜した仮想直線を所定の移動間隔で平行移動させながら、その仮想直線と前記輪郭成分抽出部で取得した輪郭成分との交点を取得する交点検出部と、
この交点検出部で取得した交点に基づいて原稿の外形輪郭の角点を取得する角点取得部と、を備え、
この角点取得部で取得した角点に基づいて原稿の外形輪郭を取得することを特徴とする画像処理装置。
【請求項２】
前記画像処理部は、取得した原稿の外形輪郭に基づいてメッシュモデルを生成して、そのメッシュモデルに基づいて前記撮影画像を平面化することを特徴とする請求項１に記載の画像処理装置。
【請求項３】
前記交点検出部は、始点から交点が検出されるまでは、前記仮想直線を第１の移動間隔で大きく移動させ、交点が検出されると、その直前の位置から前記仮想直線を第２の移動間隔で細かく移動させることを特徴とする請求項１または請求項２に記載の画像処理装置。
【請求項４】
前記画像処理部は、
撮影画像から原稿の端縁が存在するものと推定される原稿端領域を取得する原稿端領域取得部をさらに備え、
前記交点検出部で取得した交点のうち、前記原稿端領域取得部で取得した前記原稿端領域の外に位置する交点をノイズとして除去することを特徴とする請求項１から請求項３のいずれかに記載の画像処理装置。
【請求項５】
前記原稿端領域取得部は、撮影画像から検出された直線成分を計数して、その直線成分の計数値に基づいて原稿端領域を取得することを特徴とする請求項４に記載の画像処理装置。
【請求項６】
請求項１から請求項５のいずれかに記載の画像処理装置と、カメラ部を備えた画像入力装置と、を有し、この画像入力装置において原稿を撮影して撮影画像を前記画像処理装置に送ることを特徴とする原稿読取システム。
【図１】
【図２】
【図３】
【図４】
【図５】
【図６】
【図７】
【図８】
【図９】
【図１０】
【図１１】
【図１２】
【図１３】
【図１４】
【図１５】
【図１６】
【図１７】
【図１８】
【図１９】
【図２０】
【図２１】
【図２２】
【図２３】
【図２４】
【図２】
【図３】
【図４】
【図５】
【図６】
【図７】
【図８】
【図９】
【図１０】
【図１１】
【図１２】
【図１３】
【図１４】
【図１５】
【図１６】
【図１７】
【図１８】
【図１９】
【図２０】
【図２１】
【図２２】
【図２３】
【図２４】
【公開番号】特開２０１２−２１３１０１（Ｐ２０１２−２１３１０１Ａ）
【公開日】平成２４年１１月１日（２０１２．１１．１）
【国際特許分類】
【出願番号】特願２０１１−７８３６７（Ｐ２０１１−７８３６７）
【出願日】平成２３年３月３１日（２０１１．３．３１）
【特許番号】特許第４９１８１６７号（Ｐ４９１８１６７）
【特許公報発行日】平成２４年４月１８日（２０１２．４．１８）
【出願人】（０００００５８２１）パナソニック株式会社 (73,050)
【Ｆターム（参考）】
【公開日】平成２４年１１月１日（２０１２．１１．１）
【国際特許分類】
【出願日】平成２３年３月３１日（２０１１．３．３１）
【特許番号】特許第４９１８１６７号（Ｐ４９１８１６７）
【特許公報発行日】平成２４年４月１８日（２０１２．４．１８）
【出願人】（０００００５８２１）パナソニック株式会社 (73,050)
【Ｆターム（参考）】
[ Back to top ]