画像処理装置およびこれを備えた原稿読取システム
【課題】原稿の紙面上で指などの指示物で領域を直接指定する動作で切出し画像を取得することができるようにする。
【解決手段】指などの指示物のない状態で原稿の紙面を載置面とともに撮影した第１の撮影画像と、原稿の紙面上で切り出すべき領域を指し示す指示物を原稿の紙面とともに撮影した第２の撮影画像とを取得し、切出し領域取得部３３にて、第２の撮影画像から指示物が指し示す点を検出して切出し領域を求め、切出し領域取得部３３は指示物が指し示す１点の軌跡で表される指定領域に基づいて切出し領域を求める。
【解決手段】指などの指示物のない状態で原稿の紙面を載置面とともに撮影した第１の撮影画像と、原稿の紙面上で切り出すべき領域を指し示す指示物を原稿の紙面とともに撮影した第２の撮影画像とを取得し、切出し領域取得部３３にて、第２の撮影画像から指示物が指し示す点を検出して切出し領域を求め、切出し領域取得部３３は指示物が指し示す１点の軌跡で表される指定領域に基づいて切出し領域を求める。
【発明の詳細な説明】
【技術分野】
【０００１】
本発明は、本などの原稿の紙面を読み取って得られた画像を処理する画像処理装置およびこれを備えた原稿読取システムに関するものである。
【背景技術】
【０００２】
本のページを自然に開いた状態で上方から撮像してページの画像を読み取ることができるブックスキャナ（書画カメラ）が普及している（特許文献１参照）。このようなブックスキャナを用いると、ページをめくりながらページの画像を次々に読み取ることができるため、本を電子化する作業を効率良く行うことができる。
【先行技術文献】
【特許文献】
【０００３】
【特許文献１】特開２００１−１０３２４０号公報
【発明の概要】
【発明が解決しようとする課題】
【０００４】
さて、本の紙面の一部のみの画像が必要な場合にも、ブックスキャナを用いることができるが、この場合、本のページ全体を撮像し、あるいはページ内の必要な領域を含むように撮像した後、画像データをＰＣに取り込んで、ＰＣの画面を見ながら必要な領域の画像を切り抜く作業が必要になり、面倒であった。
【０００５】
本発明は、このような従来技術の問題点を解消するべく案出されたものであり、その主な目的は、原稿の紙面上で指などの指示物で領域を直接指定する動作で切出し画像を取得することができるように構成された画像処理装置およびこれを備えた原稿読取システムを提供することにある。
【課題を解決するための手段】
【０００６】
上記目的を達成するために本発明の画像処理装置は、指示物のない状態で原稿の紙面を載置面とともに撮影した第１の撮影画像と、原稿の紙面上で切り出すべき領域を指し示す指示物を原稿の紙面とともに撮影した第２の撮影画像とを取得する撮影画像取得部と、前記第２の撮影画像から指示物が指し示す点を検出して切出し領域を求める切出し領域取得部と、前記第１の撮影画像内の少なくとも前記切出し領域取得部で得られた切出し領域に対応する画像部分を平面化して切出し画像を取得する切出し画像生成部とを備え、前記切出し領域取得部は、前記指示物が指し示す１点の軌跡で表される指定領域に基づいて前記切出し領域を求めることを特徴とするものである。
【発明の効果】
【０００７】
本発明によれば、原稿の紙面上で指やペンなどの指示物で領域を直接指定する動作で、様々な領域を切出し画像として指定することができる。また、平面化された切出し画像を取得することができるため、ユーザの利便性を高めることができる。特に切出し領域に対応する画像部分のみを平面化する構成とすると、平面化に要する演算負担を軽減して処理の高速化を図ることができる。
【図面の簡単な説明】
【０００８】
【図１】本実施形態にかかる原稿読取システムを示す全体構成図
【図２】ブックスキャナ１およびＰＣ２の概略構成を示すブロック図
【図３】本原稿読取システムにおける画像切出しの手順を示すフロー図
【図４】図３に示した輪郭取得（ＳＴ１０３）の手順を示すフロー図
【図５】輪郭取得の要領を説明する模式図
【図６】図３に示した１次メッシュモデル生成（ＳＴ１０４）の手順を示すフロー図
【図７】メッシュモデル生成の要領を説明する模式図
【図８】図３に示した切出し領域取得（ＳＴ１０５）の手順を示すフロー図
【図９】図３に示した切出し領域取得（ＳＴ１０５）の手順を示すフロー図
【図１０】切出し領域取得の要領を説明する模式図
【図１１】図３に示した２次メッシュモデル生成・画像変換（ＳＴ１０６）の手順を示すフロー図
【図１２】２次メッシュモデル生成・画像変換の要領を説明する模式図
【図１３】指示物Ｆで切り出す領域を指定した際の本の紙面の状態を示す模式図
【図１４】指示物Ｆが指し示す点を結んで得られる指定領域と、実際に画像を切り出す切出し領域とを示す模式図
【図１５】図３に示した切出し画像補正（ＳＴ１０７）の手順を示すフロー図
【図１６】切出し画像補正で行われる各処理の状況を示す模式図
【図１７】切出し画像補正で行われる各処理の状況を示す模式図
【図１８】切出し画像補正で行われる各処理の状況を示す模式図
【図１９】切出し画像補正で行われる処理の別の例を示す模式図
【発明を実施するための形態】
【０００９】
前記課題を解決するためになされた第１の発明は、指示物のない状態で原稿の紙面を載置面とともに撮影した第１の撮影画像と、原稿の紙面上で切り出すべき領域を指し示す指示物を原稿の紙面とともに撮影した第２の撮影画像とを取得する撮影画像取得部と、前記第２の撮影画像から指示物が指し示す点を検出して切出し領域を求める切出し領域取得部と、前記第１の撮影画像内の少なくとも前記切出し領域取得部で得られた切出し領域に対応する画像部分を平面化して切出し画像を取得する切出し画像生成部とを備え、前記切出し領域取得部は、前記指示物が指し示す１点の軌跡で表される指定領域に基づいて前記切出し領域を求めるようにしたものである。
【００１０】
また、第２の発明は、前記切出し領域取得部は、前記指示物の動作後、前記指示物が所定時間停止し、さらに動作を開始する場合において、前記指示物が所定期間停止した位置を示す位置データを複数記憶し、前記位置データに基づいて切出し領域を求めるようにしたものである。これら第１及び第２の発明により、原稿の紙面上で指やペンなどの指示物で領域を直接指定する動作で、様々な領域を切出し画像として指定することができる。また、平面化された切出し画像を取得することができるため、ユーザの利便性を高めることができる。特に切出し領域に対応する画像部分のみを平面化する構成とすると、平面化に要する演算負担を軽減して処理の高速化を図ることができる。
【００１１】
また、第３の発明は、前記第１あるいは第２の発明において、前記第１の撮影画像に基づいて１次メッシュモデルを生成する１次メッシュモデル生成部と、前記１次メッシュモデルに基づいてこれよりメッシュ間隔が小さい２次メッシュモデルを生成する２次メッシュモデル生成部と、をさらに有し、前記切出し領域取得部は、前記１次メッシュモデルを用いて前記切出し領域を求め、前記切出し画像生成部は、前記２次メッシュモデルを用いて画像の平面化を行う構成とする。
【００１２】
これによると、１次メッシュモデルのメッシュ間隔を大きくすることで、切出し領域を求める処理の演算負担を軽減することができる。また、メッシュ間隔が小さい２次メッシュモデルを用いて画像の平面化を行うため、平面化の変換精度を向上させることができ、歪みの小さな高画質な切出し画像を取得することができる。この場合、１次メッシュモデルの交点間を等分割して２次メッシュモデルを生成すればよい。
【００１３】
また、第４の発明は、前記第３の発明において、前記２次メッシュモデル生成部は、前記切出し領域についてのみ前記２次メッシュモデルを生成し、前記切出し画像生成部は、前記２次メッシュモデルを用いて前記切出し領域に対応する画像部分のみを平面化する構成とする。
【００１４】
これによると、２次メッシュモデル生成と平面化の各処理の演算負担を軽減することができる。
【００１５】
また、第５の発明は、前記第３若しくは第４の発明において、前記切出し領域取得部は、前記１次メッシュモデルにおいて前記指定領域を取り囲むメッシュラインを境界線して前記切出し領域を求める構成とする。
【００１６】
これによると、１次メッシュモデルのメッシュ間隔を適切に設定することで、必要なマージンが確保されるため、指示物による領域指定時に指示物に押圧されて紙が変位することによる画像のずれに関係なく、指示物で指定された領域の画像を確実に切り出すことができる。この場合、メッシュ間隔は、指示物に押圧されて紙面が変位する際の画像のずれ量に基づいて設定すればよい。
また、第６の発明は、原稿読取システムに関するものであり、前記第１乃至第５の発明にかかる画像処理装置と、撮像画像を撮影するカメラ部を有する画像入力装置とを備えたものである。
【００１７】
これによると、原稿の紙面上で指やペンなどの指示物で領域を直接指定する動作で、指定された領域の画像が切り出されて、平面化された切出し画像を取得することができるため、ユーザの利便性を高めることができる。
【００１８】
以下、本発明の実施の形態を、図面を参照しながら説明する。
【００１９】
図１は、本実施形態にかかる原稿読取システムを示す全体構成図である。この原稿読取システムは、本（原稿）Ｂの紙面の画像を読み取って、紙面の画像データを取得するものであり、ブックスキャナ（画像入力装置）１とＰＣ（画像処理装置）２とからなっている。
【００２０】
ブックスキャナ１は、本Ｂの紙面を撮像するカメラ部３と、このカメラ部３を保持するスタンド部４とを備え、スタンド部４を机などの載置面５に据え付けるとともに、カメラ部３の真下の載置面５上に本Ｂを載置して、カメラ部３で本Ｂの紙面を撮像する。本Ｂは、自然に開いた状態で紙面の撮像が行われ、本Ｂの見開き２ページの撮影画像が得られる。そして、歪みのある紙面の画像を平面化する処理が行われて、見開き２ページ分の平面化された紙面の画像を取得することができる。
【００２１】
さらにここでは、指やペンなどの指示物Ｆを用いて本Ｂの紙面上で領域を直接指定する動作で、指定された領域の画像が切り出されて、平面化された切出し画像を取得することができる。このとき、ブックスキャナ１では、指示物Ｆのない状態で本Ｂの紙面を載置面５とともに撮影し、その撮影画像に基づいてＰＣ２において紙面の画像が生成される。また、ブックスキャナ１では、本Ｂの紙面上で切り出すべき領域を指し示す指示物Ｆを本Ｂの紙面とともに撮影し、その撮影画像に基づいてＰＣ２において切出し領域が認識される。
【００２２】
図２は、ブックスキャナ１およびＰＣ２の概略構成を示すブロック図である。ブックスキャナ１は、カメラ部３を備えた撮像処理部１１と、操作指示部１２と、外部インタフェ
イス１３と、を有している。ＰＣ２は、外部Ｉ／Ｆ２１と、画像データ入力部（撮影画像取得部）２２と、画像処理部２３と、操作系制御部２４と、表示データ生成部２５と、表示器２６と、入力部２７を有している。なお、ＰＣ２の画像処理部２３および表示データ生成部２５は、画像処理アプリケーションなどのプログラムをＣＰＵで実行するソフトウェア処理で実現される。
【００２３】
ＰＣ２では、キーボードなどからなる入力部２７の操作により、ブックスキャナ１で撮影される画像の解像度やフレームレートなどの動作条件が入力され、この動作条件が操作系制御部２４からブックスキャナ１に送信され、ブックスキャナ１では、ＰＣ２から送信された動作条件に基づいて操作指示部１２による指示にしたがって撮像処理部１１が所要の動作を行う。
【００２４】
ＰＣ２の画像データ入力部２２では、ブックスキャナ１から送信される画像データをメモリに格納し、必要に応じてその画像データを画像処理部２３に出力する。この画像データ入力部２２では、指示物Ｆのない状態で本Ｂの紙面を載置面５とともに撮影した第１の撮影画像と、本Ｂの紙面上で切り出すべき領域を指し示す指示物Ｆを本Ｂの紙面とともに撮影した第２の撮影画像とを取得する。
【００２５】
画像処理部２３は、輪郭取得部３１と、１次メッシュモデル生成部３２と、切出し領域取得部３３と、２次メッシュモデル生成部３４と、切出し画像生成部３５と、画像補正部３６と、を有している。
【００２６】
輪郭取得部３１は、第１の撮影画像から本Ｂの輪郭を取得する。１次メッシュモデル生成部３２は、第１の撮影画像に基づいて輪郭取得部３１で取得した輪郭情報から１次メッシュモデルを生成する。切出し領域取得部３３は、第２の撮影画像から指示物が指し示す点を検出して切出し領域を求める。２次メッシュモデル生成部３４は、１次メッシュモデル生成部３２で生成した１次メッシュモデルに基づいてこれよりメッシュ間隔が小さい２次メッシュモデルを生成する。
【００２７】
切出し画像生成部３５では、第１の撮影画像において切出し領域取得部３３で得られた切出し領域に対応する画像部分を平面化して切出し画像を取得する。この切出し画像生成部３５は、歪みのある紙面の画像を歪みのない画像に変換する画像変換部３７を備え、この画像変換部３７では、射影変換（アフィン変換）により画像の平面化が行われ、フラットベッドスキャナで読み取ったものと同様の画像を取得することができる。画像補正部３６では、切出し画像生成部３５により取得した切出し画像の外周部に現れる不要な画像部分を削除する画像補正を行う。
【００２８】
切出し領域取得部３３は、１次メッシュモデルを用いて切出し領域を決定し、切出し画像生成部３５は、２次メッシュモデルを用いて画像の平面化を行う。これについては後に詳しく説明する。
【００２９】
図３は、本原稿読取システムにおける画像切出しの手順を示すフロー図である。まず、ブックスキャナ１を起動させるとともに、ＰＣ２で所要のアプリケーションを起動させると、画像の入力、すなわちブックスキャナ１で撮像が開始されてその撮像データがＰＣ２に送信される（ＳＴ１０１）。ついで、ユーザがブックスキャナ１のカメラ部３の下に本をセットすると（ＳＴ１０２）、本Ｂの紙面が撮像されてその撮像データがＰＣ２に送信され、ＰＣ２の画像データ入力部２２では、指示物Ｆのない状態で本Ｂの紙面を載置面５とともに撮影した第１の撮影画像を取得する。
【００３０】
そしてＰＣ２では、第１の撮影画像から本Ｂの輪郭を取得する処理が輪郭取得部３１に
て行われ（ＳＴ１０３）、ついで、輪郭取得部３１で取得した輪郭情報から、本Ｂの全体を対象にしてメッシュの粗い１次メッシュモデルを生成する処理が１次メッシュモデル生成部３２にて行われる（ＳＴ１０４）。
【００３１】
また、指やペンなどの指示物Ｆを用いて本Ｂの紙面上で切り出すべき領域を指し示す動作をユーザに行わせて、指示物Ｆを本Ｂの紙面とともに撮影した第２の撮影画像を取得し、この第２の撮影画像から指示物Ｆが指し示す点を検出して切出し領域を決定する処理が切出し領域取得部３３にて行われる（ＳＴ１０５）。
【００３２】
そして、切出し領域取得部３３にて取得した切出し領域を対象にして、１次メッシュモデル生成部３２で生成した１次メッシュモデルに基づいて、１次メッシュモデルよりメッシュの細かい２次メッシュモデルを生成する処理が２次メッシュモデル生成部３２にて行われ、さらにその２次メッシュモデルに基づいて画像を平面化する画像変換処理が切出し画像生成部３４にて行われる（ＳＴ１０６）。
【００３３】
ついで、切出し画像生成部３５により取得した切出し画像の外周部に現れる不要な画像部分を削除する画像補正が画像補正部３５にて行われ（ＳＴ１０７）、これにより得られた切出し画像を表示器２６に表示させる（ＳＴ１０８）。これによりユーザは画像の切り出しが適切に行われたか否かを確認することができる。
【００３４】
図４は、図３に示した輪郭取得（ＳＴ１０３）の手順を示すフロー図である。図５は、輪郭取得の要領を説明する模式図である。ここでは、指示物Ｆのない状態で本Ｂの紙面を載置面５とともに撮影した第１の撮影画像から、本Ｂの輪郭情報として、本Ｂの載置状態を大まかに把握するための主要直線成分と、ページの上下左右の端点である特異点を検出する。
【００３５】
まず、本全体の外形の主要直線成分を検出する（ＳＴ２０１）。ここでは、図５（Ａ）に示すように、撮影画像内で、本Ｂ全体の外形における左右の側縁（通常は表紙の側縁）を示す２本の直線と、左右のページの綴じ目を示す１本の直線を検出する。この直線成分の検出は、ハフ（Hough）変換により行えばよい。
【００３６】
また、撮影画像に対してエッジ検出を行う（ＳＴ２０２）。このエッジ検出は、キャニー（Canny）法を用いて行えばよい。ついで、取得したエッジ画像内の輪郭成分（原稿の
輪郭を構成する画素）を抽出する（ＳＴ２０３）。ついで、取得した輪郭成分に基づいて、ページの上下左右の端点である特異点を検出する（ＳＴ２０４）。ここでは、図５（Ｂ）に示すように、見開き２ページの撮影画像において、ページの上下左右の端点として６つの特異点が検出される。
【００３７】
そして、特異点検出（ＳＴ２０４）で取得した特異点の妥当性を判断する（ＳＴ２０５）。ここでは、取得した特異点と、直線成分検出（ＳＴ２０１）で取得した直線成分とを比較して、ページの上下左右の端点である特異点の妥当性を判断する。ここで、特異点が妥当であるものと判定されると、その特異点を確定する（ＳＴ２０６）。
【００３８】
なお、エッジ検出（ＳＴ２０２）、輪郭成分抽出（ＳＴ２０３）、および特異点検出（ＳＴ２０４）の各処理は、直線成分検出（ＳＴ２０１）の処理と平行して行うようにしてもよい。
【００３９】
図６は、図３に示した１次メッシュモデル生成（ＳＴ１０４）の手順を示すフロー図である。図７は、１次メッシュモデル生成の要領を説明する模式図である。ここでは、指示物Ｆのない状態で本Ｂの紙面を載置面５とともに撮影した第１の撮影画像から、本の紙面
全体を対象にした１次メッシュモデルを生成する。
【００４０】
まず、本Ｂのページの歪曲した輪郭線を表す歪曲成分を抽出する（ＳＴ３０１）。図７（Ａ）に示すように、ページの上縁および下縁の輪郭線は、外側に膨らんだ歪曲した状態で表示され、このページの上縁および下縁の歪曲した輪郭成分（輪郭を構成する画素）を、図４に示したエッジ検出（ＳＴ２０２）で取得したエッジ画像から抽出する。そして、歪曲成分の連続性に基づいて歪曲成分の妥当性を判断する（ＳＴ３０２）。ここで、歪曲成分が妥当でないものと判定されると、途切れた部分の補間処理を行う（ＳＴ３０３）。これにより、歪曲成分が途切れることなく連続した状態となる。
【００４１】
ついで、歪曲成分を高さ成分に変換する演算を行う（ＳＴ３０４）。撮影画像上でページの上縁および下縁の輪郭線が歪曲した状態で表示されるのは、３次元的には紙面が上側に凸となるように湾曲していることによるものであり、ページの上縁および下縁の輪郭線を示す歪曲成分に基づいて、ページの上縁および下縁の３次元的な湾曲状態を示す高さ成分を求めることができる。具体的には載置面５に対してページの上縁および下縁の高さ（Ｚ軸の座標）を一定間隔で求める。この高さ成分により、ページの上縁および下縁の実際の長さを推定することができる。
【００４２】
ついで、縦横のメッシュラインを生成し（ＳＴ３０５）、その縦横のメッシュラインが交差するメッシュ交点の座標をメッシュテーブルに格納する（ＳＴ３０６）。ここでは、図７（Ｂ）に示すように、ページの上縁および下縁の高さ成分に基づいて、ページの上縁および下縁を示す曲線をメッシュ数に応じて等間隔に分割する基点の座標を求め、上縁および下縁の互いに対応する基点を結線して縦メッシュラインを求める。ついで、縦メッシュラインをメッシュ数に応じて等間隔に分割する点（メッシュ交点）の座標を求め、その点を結線して横メッシュラインを求める。
【００４３】
図８、図９は、図３に示した切出し領域取得（ＳＴ１０５）の手順を示すフロー図であり、図８に一筆書き指定モード（第１の領域指定モード）の場合を、図９に２本指指定モード（第２の領域指定モード）の場合を、それぞれ示す。図１０は、切出し領域取得の要領を説明する模式図であり、（Ａ）に一筆書き指定モードの場合を、（Ｂ）に２本指指定モードの場合を、それぞれ示す。
【００４４】
本実施形態では、図１０（Ａ）に示す一筆書き指定モード（第１の領域指定モード）と、図１０（Ｂ）に示す２本指指定モード（第２の領域指定モード）とを有し、ユーザがいずれかを選択することができる。
【００４５】
図１０（Ａ）に示すように、一筆書き指定モードでは、指やペンなどの指示物Ｆを一筆書きの要領で動かし、指示物Ｆが指し示す１点の軌跡で表される指定領域に基づいて切出し領域を求める。特にここでは、指示物Ｆを左右方向（ページの継ぎ目となる中心線に直交する方向）および上下方向（中心線に平行となる方向）に動かし、左右方向の線分と上下方向の線分とで構成された多角形の領域を指定する。これにより、余分な画像が含まれないように領域を指定することができる。
【００４６】
この一筆書き指定モードでは、切出し領域取得部３３において、図８に示すように、まず、本Ｂの紙面上で切り出すべき領域を指し示す指示物Ｆを本Ｂの紙面とともに撮影した第２の撮影画像から、本Ｂの紙面上に存在する指示物Ｆを検出する（ＳＴ４０１）。ここでは、形状認識処理により指示物Ｆを識別し、指示物Ｆの形態に応じて指示物Ｆが指し示す指示点を決定する。例えば指示物が指であれば指先が指示点となる。
【００４７】
ついで、指示物Ｆが所定時間（例えば１秒間）動きを停止したか否かを判定し（ＳＴ４
０２）、指示物Ｆが動きを停止した場合には、次に指示物Ｆが規定の動作を開始したか否かを判定し（ＳＴ４０３）、指示物Ｆが規定の動作を開始した場合には、指示物Ｆが最初に停止した位置を開始点として軌跡の追跡処理を開始し、取得した軌跡の座標をメモリに格納する（ＳＴ４０４）。
【００４８】
ここでは、指示物Ｆを停止させた後に左右いずれかの方向、すなわちページの継ぎ目となる中心線に対して略直交する方向に動かした場合に、領域指定を開始したものと判断して、軌跡の追跡処理を開始する。この指示物の軌跡は、表示器２６に表示された撮影画像の画面上に描画される。
【００４９】
そして、規定の指定動作が終了したか否か、すなわち開始点の近傍で指示物が動きを停止したか否かを判定し（ＳＴ４０５）、規定の指定動作が終了した場合には、軌跡の追跡処理を終了し、領域指定の主要点を抽出する（ＳＴ４０６）。ここでは、指示物の移動方向が略９０度変化する折曲点を頂点とした多角形の領域を指定するようにしており、この折曲点と開始点が領域指定の主要点として抽出され、抽出された複数の折曲点を、指示物の軌跡が示す右回りおよび左回りの順に直線で結ぶことで多角形の指定領域が求められる。
【００５０】
なお、領域を指定する指示物Ｆが、ユーザの指や、筆記に用いられる通常のペンでは、形状認識処理により指示物Ｆを識別する処理が必要になるが、これに代えて、赤外ライトを先端部に設けた指示具を用いることも可能である。この場合、指示具が発する赤外光が撮影画像に現れるため、その赤外光を検出すればよい。
【００５１】
一方、図１０（Ｂ）に示すように、２本指指定モードでは、指示物Ｆが指し示す２点を対角方向の頂点とした矩形の指定領域に基づいて切出し領域を求める。これにより、指示物Ｆによる領域指定を簡単に行うことができる。特にここでは、左右２本の人差し指を用いて領域を指定する。左右２本の人差し指が指し示す２点を対角方向の頂点として、ページの継ぎ目を示す中心線に対して上下の辺が直交するとともに中心線に対して左右の辺が平行となる矩形の領域を指定する。
【００５２】
この２本指指定モードでは、切出し領域取得部３３において、図９に示すように、まず、本Ｂの紙面上で切り出すべき領域を指し示す指示物Ｆを本Ｂの紙面とともに撮影した第２の撮影画像から、本Ｂの紙面上に存在する指示物Ｆを検出する（ＳＴ５０１）。そして、検出された指示物Ｆが左右２本の人差し指か否かを判定し（ＳＴ５０２）、左右２本の人差し指であれば、その左右２本の人差し指が所定時間（例えば１秒間）動きを停止したか否かを判定し（ＳＴ５０３）、所定時間動きを停止していれば、その左右２本の人差し指が指し示す指示点の座標を求める（ＳＴ５０４）。
【００５３】
ついで、左右２本の人差し指がそれぞれ指し示す２つの指示点から、ページの継ぎ目を示す中心線に対して平行となる直線と中心線に対して垂直となる直線を延ばしてそれらの交点を求める。これにより得られた２つの交点と、人差し指が指し示す２つの指示点とが、領域指定の主要点として抽出され、４つの主要点を結んだ矩形の領域が指定領域となる。
【００５４】
図１１は、図３に示した２次メッシュモデル生成・画像変換（ＳＴ１０６）の手順を示すフロー図である。図１２は、２次メッシュモデル生成・画像変換の要領を説明する模式図である。ここでは、切出し領域を対象にして２次メッシュモデルを生成し、その２次メッシュモデルに基づいて切出し領域の画像を射影変換により平面化する。
【００５５】
まず、２次メッシュモデル生成部３４において、前記の図８、図９の切出し領域取得で
取得した指定領域の主要点の座標を、１次メッシュモデルの座標に合成する（ＳＴ６０１）。そして、指定領域に基づいて実際に画像を切り出す切出し領域を規定するメッシュ交点を抽出する（ＳＴ６０２）。ここでは、図１２（Ａ）に示すように、指定領域を取り囲むように指定領域の外側のメッシュ交点を結んだ領域を切出し領域に設定する。そして、図１２（Ｂ）に示すように、指定領域を含む切出し領域を対象にして、１次メッシュモデルよりメッシュ間隔を細かくした２次メッシュモデルを生成する（ＳＴ６０３）。
【００５６】
２次メッシュモデルは、１次メッシュモデルの各メッシュ交点の間を等分割するメッシュ交点を求めることで生成することができる。平均的な文字の大きさは１０ポイント（幅３．５ｍｍ）程度となり、例えば１次メッシュモデルのメッシュ間隔を、平均的な１０ポイントの文字の３文字分に相当する１０．５ｍｍとすると、２次メッシュモデルのメッシュ間隔を、１０ポイントの文字の１文字分、すなわち１次メッシュモデルのメッシュ間隔の１／３の３．５ｍｍとする。
【００５７】
ついで、２次メッシュモデルが生成された切出し領域に対応する画像部分のみを対象にして射影変換による平面化が切出し画像生成部３５にて実施される（ＳＴ６０４）。これにより、図１２（Ｃ）に示すように、切出し領域のみ平面化された切出し画像を取得することができる。
【００５８】
このようにメッシュ間隔が小さい２次メッシュモデルを用いて画像の平面化を行うため、平面化の変換精度を向上させることができ、歪みの小さな高画質な切出し画像を取得することができる。さらに、必要となる切出し領域に対応する画像部分のみを平面化するため、平面化に要する演算負担を軽減して処理の高速化を図ることができる。
【００５９】
ここで、指やペンなどの指示物Ｆによる領域指定時に生じる画像ずれについて説明する。図１３は、指示物Ｆで切り出す領域を指定した際の本の紙面の状態を示す模式図である。図１４は、指示物Ｆが指し示す点を結んで得られる指定領域と、実際に画像を切り出す切出し領域とを示す模式図である。なお、図１４は、紙面に文字列が記載された画像の例を示している。
【００６０】
図１３に示すように、本のページを自然に開いた状態では、紙の間に隙間があるため、領域指定の際に、指やペンなどの指示物Ｆで本の紙面を押さえると、指示物Ｆに押されて本Ｂの紙が撓み、この紙の撓みに応じて紙面の画像が左右にずれる。そこでここでは、切出し領域取得部３３にて、指示物Ｆが指し示す点を結んだ指定領域の周囲に所定のマージンが確保されるように切出し領域を設定する。これにより、指示物Ｆによる指定領域よりマージン分だけ大きな領域を切り出すため、指示物Ｆによる領域指定時に指示物Ｆに押圧されて紙が変位することによる画像のずれに関係なく、指示物Ｆで指定された領域の画像を確実に切り出すことができる。
【００６１】
切出し領域を設定する際に指定領域の周囲に確保するマージン幅は、指やペンなどの指示物Ｆに押されて紙が撓むことに伴う画像のずれ量に基づいて定めればよい。画像のずれ量は、本の種類（雑誌やハードカバー本など）や紙質により異なるが、最大で５ｍｍ程度と推定され、これは、平均的な１０ポイント（幅３．５ｍｍ）の文字では約２文字分に相当し、少なくともこの１０ポイント文字の２文字分のマージンを確保するとよい。
【００６２】
特にここでは、図１４に示すように、１次メッシュモデルにおいて指定領域を取り囲むメッシュラインを境界線して切出し領域を求めるようにしている。図示する例では、指定領域の外側直近のメッシュラインより１本外側のメッシュラインを切出し領域の境界線としている。これにより、常にメッシュ間隔以上のマージンを確保することができ、１次メッシュモデルのメッシュ間隔を適切に設定することで、必要なマージンが確保されるため
、指示物による領域指定時の画像のずれに関係なく、指示物で指定された領域の画像を欠落なく確実に切り出すことができる。
【００６３】
この場合、１つの網目内に少なくとも３文字入るように１次メッシュモデルのメッシュ間隔を設定するとよい。平均的な文字の大きさは１０ポイント（幅３．５ｍｍ）程度となるため、１０ポイントの文字の３文字分とすると、３．５×３＝１０．５ｍｍ角以上のメッシュとなる。
【００６４】
図１５は、図３に示した切出し画像補正（ＳＴ７０２）の手順を示すフロー図である。図１６、図１７、図１８は、切出し画像補正で行われる各処理の状況を示す模式図である。なお、図１６、図１７、図１８は、紙面に文字列が記載された画像の例を示している。
【００６５】
前記のように、切出し領域は、指示物で実際に指定された領域より大きな領域となるため、前記の処理で取得した切出し画像の外周部には不要の画像が含まれる。そこで、切出し画像から不要部分を切り取って最終的な切出し画像を取得する。
【００６６】
まず、図１５および図１６に示すように、切出し領域の境界線上に跨った画像があるか否かを判定し（ＳＴ７０１）、該当する画像がある場合には、その画像の内側に境界線を設定して、その新たな境界線（切出し線）に沿って該当する画像部分を切り取る（ＳＴ７０２）。紙面の画像を切り出す場合、通常、画像が途中で分断されないように切り出す。そこで、切出し領域の境界線上に跨った画像は、余分に確保したマージン上に存在する不要部分と考えられ、削除することができる。
【００６７】
ついで、図１５および図１７に示すように、切出し画像内に枠取りがあるか否かを判定し（ＳＴ７０３）、枠取りがある場合には、枠で囲まれた領域の外側にある画像の内側に境界線を設定して、その新たな境界線（切出し線）に沿って該当する画像部分を切り取る（ＳＴ７０４）。枠で囲まれた領域を切り出す場合、通常、その枠で囲まれた領域のみを切り出すことが多い。そこで、枠で囲まれた領域の外側にある画像は、余分に確保したマージン上に存在する不要部分と考えられ、削除することができる。
【００６８】
一方、切出し画像内に枠取りがない場合には、文字群の周囲に文字間隔および行間隔より大きな空白が存在するか否かを判定し（ＳＴ７０５）、該当する空白が存在しない場合には、空白がない辺を抽出する（ＳＴ７０６）。
【００６９】
以降、図１５および図１８に示すように、句読点の位置から文節を判断して、切出し画像の外周部に存在する句読点がある文字列より外側の文字群の画像を削除する。文章を部分的に切り出す場合、通常、句読点で区切られた範囲を切り出すことが多く、文節の途中で切り出すことはしないため、切出し画像の外周部に存在する句読点の外側の文字群の画像は、余分に確保したマージン上に存在する不要部分と考えられ、削除することができる。また、句読点を基準にして削除可能な部分は、書字方向（横書きと縦書き）によって異なり、横書きであれば、残すべき文節の上下にある文字群の画像を、縦書きであれば、残すべき文節の左右にある文字群の画像を削除すればよい。
【００７０】
ここではまず、切出し画像内の文字列に対して簡易ＯＣＲを実施し（ＳＴ７０７）、その簡易ＯＣＲの結果に基づいて書字方向、すなわち縦書きと横書きのいずれかを判定する（ＳＴ７０８）。ここでは、句読点の位置関係に基づいて判定し、句読点の位置が直前の文字の下方の右側にある場合には縦書き、句読点の位置が直前の文字の右方の下側にある場合には横書きと判定する。そして、縦書きの場合には、以降の処理を左右２辺の空白がない辺に限定し（ＳＴ７０９）、横書きの場合には、以降の処理を上下２辺の空白がない辺に限定する（ＳＴ７１０）。
【００７１】
ついで、１行目の文字列の終わりに句読点があるか否かを判定し（ＳＴ７１１）、１行目の文字列の終わりに句読点がある場合には、１行目の文字列の内側に境界線を設定して、その新たな境界線（切出し線）に沿って１行目の文字列の画像部分を切り取る（ＳＴ７１２）。ついで、最終行から２行目の文字列の終わりに句読点があるか否かを判定し（ＳＴ７１３）、最終行の文字列の終わりに句読点がある場合には、最終行目の文字列の内側に境界線を設定して、その新たな境界線（切出し線）に沿って最終行目の文字列の画像部分を切り取る（ＳＴ７１４）。
【００７２】
図１９は、切出し画像補正で行われる処理の別の例を示す模式図である。ここでは、切出し画像内に文字間隔および行間隔より大きな空白の外側にある画像を削除する。文章において文字間隔および行間隔より大きな空白が存在する場合には、通常、その空白の位置を境界にして文字群を切り出すため、空白より外側にある画像は、余分に確保したマージン上に存在する不要部分と考えられ、削除することができる。この場合、前記のような文節判断を行うことなく不要な文字列を削除することができる。
【００７３】
なお、前記の例では、図２に示したように、ブックスキャナから撮影画像データをＰＣに送ってＰＣで画像切出しの処理を行うようにしたが、このような画像処理をブックスキャナで行う、すなわちブックスキャナが画像処理装置を含む構成も可能である。この場合、テレビジョン受像機などの表示デバイスに画像を表示させればよい。
【００７４】
また、前記の例では、指やペンなどの指示物を用いて指定された領域を含む切出し領域のみを平面化して切出し画像を取得する構成としたが、本の紙面の全体を平面化した後に、切出し領域に対応する画像部分を切り出す構成としてもよい。
【産業上の利用可能性】
【００７５】
本発明にかかる画像処理装置は、本などの原稿の紙面上で指などの指示物で領域を直接指定する動作で切出し画像を取得することができる効果を有し、本などの原稿の紙面を読み取って得られた画像を処理する画像処理装置およびこれを備えた原稿読取システムなどとして有用である。
【符号の説明】
【００７６】
１ ブックスキャナ（画像入力装置）
２ ＰＣ（画像処理装置）
３ カメラ部
２２ 画像データ入力部（撮影画像取得部）
３１ 輪郭取得部
３２ １次メッシュモデル生成部
３３ 切出し領域取得部
３４ ２次メッシュモデル生成部
３５ 切出し画像生成部
３６ 画像補正部
３７ 画像変換部
【技術分野】
【０００１】
本発明は、本などの原稿の紙面を読み取って得られた画像を処理する画像処理装置およびこれを備えた原稿読取システムに関するものである。
【背景技術】
【０００２】
本のページを自然に開いた状態で上方から撮像してページの画像を読み取ることができるブックスキャナ（書画カメラ）が普及している（特許文献１参照）。このようなブックスキャナを用いると、ページをめくりながらページの画像を次々に読み取ることができるため、本を電子化する作業を効率良く行うことができる。
【先行技術文献】
【特許文献】
【０００３】
【特許文献１】特開２００１−１０３２４０号公報
【発明の概要】
【発明が解決しようとする課題】
【０００４】
さて、本の紙面の一部のみの画像が必要な場合にも、ブックスキャナを用いることができるが、この場合、本のページ全体を撮像し、あるいはページ内の必要な領域を含むように撮像した後、画像データをＰＣに取り込んで、ＰＣの画面を見ながら必要な領域の画像を切り抜く作業が必要になり、面倒であった。
【０００５】
本発明は、このような従来技術の問題点を解消するべく案出されたものであり、その主な目的は、原稿の紙面上で指などの指示物で領域を直接指定する動作で切出し画像を取得することができるように構成された画像処理装置およびこれを備えた原稿読取システムを提供することにある。
【課題を解決するための手段】
【０００６】
上記目的を達成するために本発明の画像処理装置は、指示物のない状態で原稿の紙面を載置面とともに撮影した第１の撮影画像と、原稿の紙面上で切り出すべき領域を指し示す指示物を原稿の紙面とともに撮影した第２の撮影画像とを取得する撮影画像取得部と、前記第２の撮影画像から指示物が指し示す点を検出して切出し領域を求める切出し領域取得部と、前記第１の撮影画像内の少なくとも前記切出し領域取得部で得られた切出し領域に対応する画像部分を平面化して切出し画像を取得する切出し画像生成部とを備え、前記切出し領域取得部は、前記指示物が指し示す１点の軌跡で表される指定領域に基づいて前記切出し領域を求めることを特徴とするものである。
【発明の効果】
【０００７】
本発明によれば、原稿の紙面上で指やペンなどの指示物で領域を直接指定する動作で、様々な領域を切出し画像として指定することができる。また、平面化された切出し画像を取得することができるため、ユーザの利便性を高めることができる。特に切出し領域に対応する画像部分のみを平面化する構成とすると、平面化に要する演算負担を軽減して処理の高速化を図ることができる。
【図面の簡単な説明】
【０００８】
【図１】本実施形態にかかる原稿読取システムを示す全体構成図
【図２】ブックスキャナ１およびＰＣ２の概略構成を示すブロック図
【図３】本原稿読取システムにおける画像切出しの手順を示すフロー図
【図４】図３に示した輪郭取得（ＳＴ１０３）の手順を示すフロー図
【図５】輪郭取得の要領を説明する模式図
【図６】図３に示した１次メッシュモデル生成（ＳＴ１０４）の手順を示すフロー図
【図７】メッシュモデル生成の要領を説明する模式図
【図８】図３に示した切出し領域取得（ＳＴ１０５）の手順を示すフロー図
【図９】図３に示した切出し領域取得（ＳＴ１０５）の手順を示すフロー図
【図１０】切出し領域取得の要領を説明する模式図
【図１１】図３に示した２次メッシュモデル生成・画像変換（ＳＴ１０６）の手順を示すフロー図
【図１２】２次メッシュモデル生成・画像変換の要領を説明する模式図
【図１３】指示物Ｆで切り出す領域を指定した際の本の紙面の状態を示す模式図
【図１４】指示物Ｆが指し示す点を結んで得られる指定領域と、実際に画像を切り出す切出し領域とを示す模式図
【図１５】図３に示した切出し画像補正（ＳＴ１０７）の手順を示すフロー図
【図１６】切出し画像補正で行われる各処理の状況を示す模式図
【図１７】切出し画像補正で行われる各処理の状況を示す模式図
【図１８】切出し画像補正で行われる各処理の状況を示す模式図
【図１９】切出し画像補正で行われる処理の別の例を示す模式図
【発明を実施するための形態】
【０００９】
前記課題を解決するためになされた第１の発明は、指示物のない状態で原稿の紙面を載置面とともに撮影した第１の撮影画像と、原稿の紙面上で切り出すべき領域を指し示す指示物を原稿の紙面とともに撮影した第２の撮影画像とを取得する撮影画像取得部と、前記第２の撮影画像から指示物が指し示す点を検出して切出し領域を求める切出し領域取得部と、前記第１の撮影画像内の少なくとも前記切出し領域取得部で得られた切出し領域に対応する画像部分を平面化して切出し画像を取得する切出し画像生成部とを備え、前記切出し領域取得部は、前記指示物が指し示す１点の軌跡で表される指定領域に基づいて前記切出し領域を求めるようにしたものである。
【００１０】
また、第２の発明は、前記切出し領域取得部は、前記指示物の動作後、前記指示物が所定時間停止し、さらに動作を開始する場合において、前記指示物が所定期間停止した位置を示す位置データを複数記憶し、前記位置データに基づいて切出し領域を求めるようにしたものである。これら第１及び第２の発明により、原稿の紙面上で指やペンなどの指示物で領域を直接指定する動作で、様々な領域を切出し画像として指定することができる。また、平面化された切出し画像を取得することができるため、ユーザの利便性を高めることができる。特に切出し領域に対応する画像部分のみを平面化する構成とすると、平面化に要する演算負担を軽減して処理の高速化を図ることができる。
【００１１】
また、第３の発明は、前記第１あるいは第２の発明において、前記第１の撮影画像に基づいて１次メッシュモデルを生成する１次メッシュモデル生成部と、前記１次メッシュモデルに基づいてこれよりメッシュ間隔が小さい２次メッシュモデルを生成する２次メッシュモデル生成部と、をさらに有し、前記切出し領域取得部は、前記１次メッシュモデルを用いて前記切出し領域を求め、前記切出し画像生成部は、前記２次メッシュモデルを用いて画像の平面化を行う構成とする。
【００１２】
これによると、１次メッシュモデルのメッシュ間隔を大きくすることで、切出し領域を求める処理の演算負担を軽減することができる。また、メッシュ間隔が小さい２次メッシュモデルを用いて画像の平面化を行うため、平面化の変換精度を向上させることができ、歪みの小さな高画質な切出し画像を取得することができる。この場合、１次メッシュモデルの交点間を等分割して２次メッシュモデルを生成すればよい。
【００１３】
また、第４の発明は、前記第３の発明において、前記２次メッシュモデル生成部は、前記切出し領域についてのみ前記２次メッシュモデルを生成し、前記切出し画像生成部は、前記２次メッシュモデルを用いて前記切出し領域に対応する画像部分のみを平面化する構成とする。
【００１４】
これによると、２次メッシュモデル生成と平面化の各処理の演算負担を軽減することができる。
【００１５】
また、第５の発明は、前記第３若しくは第４の発明において、前記切出し領域取得部は、前記１次メッシュモデルにおいて前記指定領域を取り囲むメッシュラインを境界線して前記切出し領域を求める構成とする。
【００１６】
これによると、１次メッシュモデルのメッシュ間隔を適切に設定することで、必要なマージンが確保されるため、指示物による領域指定時に指示物に押圧されて紙が変位することによる画像のずれに関係なく、指示物で指定された領域の画像を確実に切り出すことができる。この場合、メッシュ間隔は、指示物に押圧されて紙面が変位する際の画像のずれ量に基づいて設定すればよい。
また、第６の発明は、原稿読取システムに関するものであり、前記第１乃至第５の発明にかかる画像処理装置と、撮像画像を撮影するカメラ部を有する画像入力装置とを備えたものである。
【００１７】
これによると、原稿の紙面上で指やペンなどの指示物で領域を直接指定する動作で、指定された領域の画像が切り出されて、平面化された切出し画像を取得することができるため、ユーザの利便性を高めることができる。
【００１８】
以下、本発明の実施の形態を、図面を参照しながら説明する。
【００１９】
図１は、本実施形態にかかる原稿読取システムを示す全体構成図である。この原稿読取システムは、本（原稿）Ｂの紙面の画像を読み取って、紙面の画像データを取得するものであり、ブックスキャナ（画像入力装置）１とＰＣ（画像処理装置）２とからなっている。
【００２０】
ブックスキャナ１は、本Ｂの紙面を撮像するカメラ部３と、このカメラ部３を保持するスタンド部４とを備え、スタンド部４を机などの載置面５に据え付けるとともに、カメラ部３の真下の載置面５上に本Ｂを載置して、カメラ部３で本Ｂの紙面を撮像する。本Ｂは、自然に開いた状態で紙面の撮像が行われ、本Ｂの見開き２ページの撮影画像が得られる。そして、歪みのある紙面の画像を平面化する処理が行われて、見開き２ページ分の平面化された紙面の画像を取得することができる。
【００２１】
さらにここでは、指やペンなどの指示物Ｆを用いて本Ｂの紙面上で領域を直接指定する動作で、指定された領域の画像が切り出されて、平面化された切出し画像を取得することができる。このとき、ブックスキャナ１では、指示物Ｆのない状態で本Ｂの紙面を載置面５とともに撮影し、その撮影画像に基づいてＰＣ２において紙面の画像が生成される。また、ブックスキャナ１では、本Ｂの紙面上で切り出すべき領域を指し示す指示物Ｆを本Ｂの紙面とともに撮影し、その撮影画像に基づいてＰＣ２において切出し領域が認識される。
【００２２】
図２は、ブックスキャナ１およびＰＣ２の概略構成を示すブロック図である。ブックスキャナ１は、カメラ部３を備えた撮像処理部１１と、操作指示部１２と、外部インタフェ
イス１３と、を有している。ＰＣ２は、外部Ｉ／Ｆ２１と、画像データ入力部（撮影画像取得部）２２と、画像処理部２３と、操作系制御部２４と、表示データ生成部２５と、表示器２６と、入力部２７を有している。なお、ＰＣ２の画像処理部２３および表示データ生成部２５は、画像処理アプリケーションなどのプログラムをＣＰＵで実行するソフトウェア処理で実現される。
【００２３】
ＰＣ２では、キーボードなどからなる入力部２７の操作により、ブックスキャナ１で撮影される画像の解像度やフレームレートなどの動作条件が入力され、この動作条件が操作系制御部２４からブックスキャナ１に送信され、ブックスキャナ１では、ＰＣ２から送信された動作条件に基づいて操作指示部１２による指示にしたがって撮像処理部１１が所要の動作を行う。
【００２４】
ＰＣ２の画像データ入力部２２では、ブックスキャナ１から送信される画像データをメモリに格納し、必要に応じてその画像データを画像処理部２３に出力する。この画像データ入力部２２では、指示物Ｆのない状態で本Ｂの紙面を載置面５とともに撮影した第１の撮影画像と、本Ｂの紙面上で切り出すべき領域を指し示す指示物Ｆを本Ｂの紙面とともに撮影した第２の撮影画像とを取得する。
【００２５】
画像処理部２３は、輪郭取得部３１と、１次メッシュモデル生成部３２と、切出し領域取得部３３と、２次メッシュモデル生成部３４と、切出し画像生成部３５と、画像補正部３６と、を有している。
【００２６】
輪郭取得部３１は、第１の撮影画像から本Ｂの輪郭を取得する。１次メッシュモデル生成部３２は、第１の撮影画像に基づいて輪郭取得部３１で取得した輪郭情報から１次メッシュモデルを生成する。切出し領域取得部３３は、第２の撮影画像から指示物が指し示す点を検出して切出し領域を求める。２次メッシュモデル生成部３４は、１次メッシュモデル生成部３２で生成した１次メッシュモデルに基づいてこれよりメッシュ間隔が小さい２次メッシュモデルを生成する。
【００２７】
切出し画像生成部３５では、第１の撮影画像において切出し領域取得部３３で得られた切出し領域に対応する画像部分を平面化して切出し画像を取得する。この切出し画像生成部３５は、歪みのある紙面の画像を歪みのない画像に変換する画像変換部３７を備え、この画像変換部３７では、射影変換（アフィン変換）により画像の平面化が行われ、フラットベッドスキャナで読み取ったものと同様の画像を取得することができる。画像補正部３６では、切出し画像生成部３５により取得した切出し画像の外周部に現れる不要な画像部分を削除する画像補正を行う。
【００２８】
切出し領域取得部３３は、１次メッシュモデルを用いて切出し領域を決定し、切出し画像生成部３５は、２次メッシュモデルを用いて画像の平面化を行う。これについては後に詳しく説明する。
【００２９】
図３は、本原稿読取システムにおける画像切出しの手順を示すフロー図である。まず、ブックスキャナ１を起動させるとともに、ＰＣ２で所要のアプリケーションを起動させると、画像の入力、すなわちブックスキャナ１で撮像が開始されてその撮像データがＰＣ２に送信される（ＳＴ１０１）。ついで、ユーザがブックスキャナ１のカメラ部３の下に本をセットすると（ＳＴ１０２）、本Ｂの紙面が撮像されてその撮像データがＰＣ２に送信され、ＰＣ２の画像データ入力部２２では、指示物Ｆのない状態で本Ｂの紙面を載置面５とともに撮影した第１の撮影画像を取得する。
【００３０】
そしてＰＣ２では、第１の撮影画像から本Ｂの輪郭を取得する処理が輪郭取得部３１に
て行われ（ＳＴ１０３）、ついで、輪郭取得部３１で取得した輪郭情報から、本Ｂの全体を対象にしてメッシュの粗い１次メッシュモデルを生成する処理が１次メッシュモデル生成部３２にて行われる（ＳＴ１０４）。
【００３１】
また、指やペンなどの指示物Ｆを用いて本Ｂの紙面上で切り出すべき領域を指し示す動作をユーザに行わせて、指示物Ｆを本Ｂの紙面とともに撮影した第２の撮影画像を取得し、この第２の撮影画像から指示物Ｆが指し示す点を検出して切出し領域を決定する処理が切出し領域取得部３３にて行われる（ＳＴ１０５）。
【００３２】
そして、切出し領域取得部３３にて取得した切出し領域を対象にして、１次メッシュモデル生成部３２で生成した１次メッシュモデルに基づいて、１次メッシュモデルよりメッシュの細かい２次メッシュモデルを生成する処理が２次メッシュモデル生成部３２にて行われ、さらにその２次メッシュモデルに基づいて画像を平面化する画像変換処理が切出し画像生成部３４にて行われる（ＳＴ１０６）。
【００３３】
ついで、切出し画像生成部３５により取得した切出し画像の外周部に現れる不要な画像部分を削除する画像補正が画像補正部３５にて行われ（ＳＴ１０７）、これにより得られた切出し画像を表示器２６に表示させる（ＳＴ１０８）。これによりユーザは画像の切り出しが適切に行われたか否かを確認することができる。
【００３４】
図４は、図３に示した輪郭取得（ＳＴ１０３）の手順を示すフロー図である。図５は、輪郭取得の要領を説明する模式図である。ここでは、指示物Ｆのない状態で本Ｂの紙面を載置面５とともに撮影した第１の撮影画像から、本Ｂの輪郭情報として、本Ｂの載置状態を大まかに把握するための主要直線成分と、ページの上下左右の端点である特異点を検出する。
【００３５】
まず、本全体の外形の主要直線成分を検出する（ＳＴ２０１）。ここでは、図５（Ａ）に示すように、撮影画像内で、本Ｂ全体の外形における左右の側縁（通常は表紙の側縁）を示す２本の直線と、左右のページの綴じ目を示す１本の直線を検出する。この直線成分の検出は、ハフ（Hough）変換により行えばよい。
【００３６】
また、撮影画像に対してエッジ検出を行う（ＳＴ２０２）。このエッジ検出は、キャニー（Canny）法を用いて行えばよい。ついで、取得したエッジ画像内の輪郭成分（原稿の
輪郭を構成する画素）を抽出する（ＳＴ２０３）。ついで、取得した輪郭成分に基づいて、ページの上下左右の端点である特異点を検出する（ＳＴ２０４）。ここでは、図５（Ｂ）に示すように、見開き２ページの撮影画像において、ページの上下左右の端点として６つの特異点が検出される。
【００３７】
そして、特異点検出（ＳＴ２０４）で取得した特異点の妥当性を判断する（ＳＴ２０５）。ここでは、取得した特異点と、直線成分検出（ＳＴ２０１）で取得した直線成分とを比較して、ページの上下左右の端点である特異点の妥当性を判断する。ここで、特異点が妥当であるものと判定されると、その特異点を確定する（ＳＴ２０６）。
【００３８】
なお、エッジ検出（ＳＴ２０２）、輪郭成分抽出（ＳＴ２０３）、および特異点検出（ＳＴ２０４）の各処理は、直線成分検出（ＳＴ２０１）の処理と平行して行うようにしてもよい。
【００３９】
図６は、図３に示した１次メッシュモデル生成（ＳＴ１０４）の手順を示すフロー図である。図７は、１次メッシュモデル生成の要領を説明する模式図である。ここでは、指示物Ｆのない状態で本Ｂの紙面を載置面５とともに撮影した第１の撮影画像から、本の紙面
全体を対象にした１次メッシュモデルを生成する。
【００４０】
まず、本Ｂのページの歪曲した輪郭線を表す歪曲成分を抽出する（ＳＴ３０１）。図７（Ａ）に示すように、ページの上縁および下縁の輪郭線は、外側に膨らんだ歪曲した状態で表示され、このページの上縁および下縁の歪曲した輪郭成分（輪郭を構成する画素）を、図４に示したエッジ検出（ＳＴ２０２）で取得したエッジ画像から抽出する。そして、歪曲成分の連続性に基づいて歪曲成分の妥当性を判断する（ＳＴ３０２）。ここで、歪曲成分が妥当でないものと判定されると、途切れた部分の補間処理を行う（ＳＴ３０３）。これにより、歪曲成分が途切れることなく連続した状態となる。
【００４１】
ついで、歪曲成分を高さ成分に変換する演算を行う（ＳＴ３０４）。撮影画像上でページの上縁および下縁の輪郭線が歪曲した状態で表示されるのは、３次元的には紙面が上側に凸となるように湾曲していることによるものであり、ページの上縁および下縁の輪郭線を示す歪曲成分に基づいて、ページの上縁および下縁の３次元的な湾曲状態を示す高さ成分を求めることができる。具体的には載置面５に対してページの上縁および下縁の高さ（Ｚ軸の座標）を一定間隔で求める。この高さ成分により、ページの上縁および下縁の実際の長さを推定することができる。
【００４２】
ついで、縦横のメッシュラインを生成し（ＳＴ３０５）、その縦横のメッシュラインが交差するメッシュ交点の座標をメッシュテーブルに格納する（ＳＴ３０６）。ここでは、図７（Ｂ）に示すように、ページの上縁および下縁の高さ成分に基づいて、ページの上縁および下縁を示す曲線をメッシュ数に応じて等間隔に分割する基点の座標を求め、上縁および下縁の互いに対応する基点を結線して縦メッシュラインを求める。ついで、縦メッシュラインをメッシュ数に応じて等間隔に分割する点（メッシュ交点）の座標を求め、その点を結線して横メッシュラインを求める。
【００４３】
図８、図９は、図３に示した切出し領域取得（ＳＴ１０５）の手順を示すフロー図であり、図８に一筆書き指定モード（第１の領域指定モード）の場合を、図９に２本指指定モード（第２の領域指定モード）の場合を、それぞれ示す。図１０は、切出し領域取得の要領を説明する模式図であり、（Ａ）に一筆書き指定モードの場合を、（Ｂ）に２本指指定モードの場合を、それぞれ示す。
【００４４】
本実施形態では、図１０（Ａ）に示す一筆書き指定モード（第１の領域指定モード）と、図１０（Ｂ）に示す２本指指定モード（第２の領域指定モード）とを有し、ユーザがいずれかを選択することができる。
【００４５】
図１０（Ａ）に示すように、一筆書き指定モードでは、指やペンなどの指示物Ｆを一筆書きの要領で動かし、指示物Ｆが指し示す１点の軌跡で表される指定領域に基づいて切出し領域を求める。特にここでは、指示物Ｆを左右方向（ページの継ぎ目となる中心線に直交する方向）および上下方向（中心線に平行となる方向）に動かし、左右方向の線分と上下方向の線分とで構成された多角形の領域を指定する。これにより、余分な画像が含まれないように領域を指定することができる。
【００４６】
この一筆書き指定モードでは、切出し領域取得部３３において、図８に示すように、まず、本Ｂの紙面上で切り出すべき領域を指し示す指示物Ｆを本Ｂの紙面とともに撮影した第２の撮影画像から、本Ｂの紙面上に存在する指示物Ｆを検出する（ＳＴ４０１）。ここでは、形状認識処理により指示物Ｆを識別し、指示物Ｆの形態に応じて指示物Ｆが指し示す指示点を決定する。例えば指示物が指であれば指先が指示点となる。
【００４７】
ついで、指示物Ｆが所定時間（例えば１秒間）動きを停止したか否かを判定し（ＳＴ４
０２）、指示物Ｆが動きを停止した場合には、次に指示物Ｆが規定の動作を開始したか否かを判定し（ＳＴ４０３）、指示物Ｆが規定の動作を開始した場合には、指示物Ｆが最初に停止した位置を開始点として軌跡の追跡処理を開始し、取得した軌跡の座標をメモリに格納する（ＳＴ４０４）。
【００４８】
ここでは、指示物Ｆを停止させた後に左右いずれかの方向、すなわちページの継ぎ目となる中心線に対して略直交する方向に動かした場合に、領域指定を開始したものと判断して、軌跡の追跡処理を開始する。この指示物の軌跡は、表示器２６に表示された撮影画像の画面上に描画される。
【００４９】
そして、規定の指定動作が終了したか否か、すなわち開始点の近傍で指示物が動きを停止したか否かを判定し（ＳＴ４０５）、規定の指定動作が終了した場合には、軌跡の追跡処理を終了し、領域指定の主要点を抽出する（ＳＴ４０６）。ここでは、指示物の移動方向が略９０度変化する折曲点を頂点とした多角形の領域を指定するようにしており、この折曲点と開始点が領域指定の主要点として抽出され、抽出された複数の折曲点を、指示物の軌跡が示す右回りおよび左回りの順に直線で結ぶことで多角形の指定領域が求められる。
【００５０】
なお、領域を指定する指示物Ｆが、ユーザの指や、筆記に用いられる通常のペンでは、形状認識処理により指示物Ｆを識別する処理が必要になるが、これに代えて、赤外ライトを先端部に設けた指示具を用いることも可能である。この場合、指示具が発する赤外光が撮影画像に現れるため、その赤外光を検出すればよい。
【００５１】
一方、図１０（Ｂ）に示すように、２本指指定モードでは、指示物Ｆが指し示す２点を対角方向の頂点とした矩形の指定領域に基づいて切出し領域を求める。これにより、指示物Ｆによる領域指定を簡単に行うことができる。特にここでは、左右２本の人差し指を用いて領域を指定する。左右２本の人差し指が指し示す２点を対角方向の頂点として、ページの継ぎ目を示す中心線に対して上下の辺が直交するとともに中心線に対して左右の辺が平行となる矩形の領域を指定する。
【００５２】
この２本指指定モードでは、切出し領域取得部３３において、図９に示すように、まず、本Ｂの紙面上で切り出すべき領域を指し示す指示物Ｆを本Ｂの紙面とともに撮影した第２の撮影画像から、本Ｂの紙面上に存在する指示物Ｆを検出する（ＳＴ５０１）。そして、検出された指示物Ｆが左右２本の人差し指か否かを判定し（ＳＴ５０２）、左右２本の人差し指であれば、その左右２本の人差し指が所定時間（例えば１秒間）動きを停止したか否かを判定し（ＳＴ５０３）、所定時間動きを停止していれば、その左右２本の人差し指が指し示す指示点の座標を求める（ＳＴ５０４）。
【００５３】
ついで、左右２本の人差し指がそれぞれ指し示す２つの指示点から、ページの継ぎ目を示す中心線に対して平行となる直線と中心線に対して垂直となる直線を延ばしてそれらの交点を求める。これにより得られた２つの交点と、人差し指が指し示す２つの指示点とが、領域指定の主要点として抽出され、４つの主要点を結んだ矩形の領域が指定領域となる。
【００５４】
図１１は、図３に示した２次メッシュモデル生成・画像変換（ＳＴ１０６）の手順を示すフロー図である。図１２は、２次メッシュモデル生成・画像変換の要領を説明する模式図である。ここでは、切出し領域を対象にして２次メッシュモデルを生成し、その２次メッシュモデルに基づいて切出し領域の画像を射影変換により平面化する。
【００５５】
まず、２次メッシュモデル生成部３４において、前記の図８、図９の切出し領域取得で
取得した指定領域の主要点の座標を、１次メッシュモデルの座標に合成する（ＳＴ６０１）。そして、指定領域に基づいて実際に画像を切り出す切出し領域を規定するメッシュ交点を抽出する（ＳＴ６０２）。ここでは、図１２（Ａ）に示すように、指定領域を取り囲むように指定領域の外側のメッシュ交点を結んだ領域を切出し領域に設定する。そして、図１２（Ｂ）に示すように、指定領域を含む切出し領域を対象にして、１次メッシュモデルよりメッシュ間隔を細かくした２次メッシュモデルを生成する（ＳＴ６０３）。
【００５６】
２次メッシュモデルは、１次メッシュモデルの各メッシュ交点の間を等分割するメッシュ交点を求めることで生成することができる。平均的な文字の大きさは１０ポイント（幅３．５ｍｍ）程度となり、例えば１次メッシュモデルのメッシュ間隔を、平均的な１０ポイントの文字の３文字分に相当する１０．５ｍｍとすると、２次メッシュモデルのメッシュ間隔を、１０ポイントの文字の１文字分、すなわち１次メッシュモデルのメッシュ間隔の１／３の３．５ｍｍとする。
【００５７】
ついで、２次メッシュモデルが生成された切出し領域に対応する画像部分のみを対象にして射影変換による平面化が切出し画像生成部３５にて実施される（ＳＴ６０４）。これにより、図１２（Ｃ）に示すように、切出し領域のみ平面化された切出し画像を取得することができる。
【００５８】
このようにメッシュ間隔が小さい２次メッシュモデルを用いて画像の平面化を行うため、平面化の変換精度を向上させることができ、歪みの小さな高画質な切出し画像を取得することができる。さらに、必要となる切出し領域に対応する画像部分のみを平面化するため、平面化に要する演算負担を軽減して処理の高速化を図ることができる。
【００５９】
ここで、指やペンなどの指示物Ｆによる領域指定時に生じる画像ずれについて説明する。図１３は、指示物Ｆで切り出す領域を指定した際の本の紙面の状態を示す模式図である。図１４は、指示物Ｆが指し示す点を結んで得られる指定領域と、実際に画像を切り出す切出し領域とを示す模式図である。なお、図１４は、紙面に文字列が記載された画像の例を示している。
【００６０】
図１３に示すように、本のページを自然に開いた状態では、紙の間に隙間があるため、領域指定の際に、指やペンなどの指示物Ｆで本の紙面を押さえると、指示物Ｆに押されて本Ｂの紙が撓み、この紙の撓みに応じて紙面の画像が左右にずれる。そこでここでは、切出し領域取得部３３にて、指示物Ｆが指し示す点を結んだ指定領域の周囲に所定のマージンが確保されるように切出し領域を設定する。これにより、指示物Ｆによる指定領域よりマージン分だけ大きな領域を切り出すため、指示物Ｆによる領域指定時に指示物Ｆに押圧されて紙が変位することによる画像のずれに関係なく、指示物Ｆで指定された領域の画像を確実に切り出すことができる。
【００６１】
切出し領域を設定する際に指定領域の周囲に確保するマージン幅は、指やペンなどの指示物Ｆに押されて紙が撓むことに伴う画像のずれ量に基づいて定めればよい。画像のずれ量は、本の種類（雑誌やハードカバー本など）や紙質により異なるが、最大で５ｍｍ程度と推定され、これは、平均的な１０ポイント（幅３．５ｍｍ）の文字では約２文字分に相当し、少なくともこの１０ポイント文字の２文字分のマージンを確保するとよい。
【００６２】
特にここでは、図１４に示すように、１次メッシュモデルにおいて指定領域を取り囲むメッシュラインを境界線して切出し領域を求めるようにしている。図示する例では、指定領域の外側直近のメッシュラインより１本外側のメッシュラインを切出し領域の境界線としている。これにより、常にメッシュ間隔以上のマージンを確保することができ、１次メッシュモデルのメッシュ間隔を適切に設定することで、必要なマージンが確保されるため
、指示物による領域指定時の画像のずれに関係なく、指示物で指定された領域の画像を欠落なく確実に切り出すことができる。
【００６３】
この場合、１つの網目内に少なくとも３文字入るように１次メッシュモデルのメッシュ間隔を設定するとよい。平均的な文字の大きさは１０ポイント（幅３．５ｍｍ）程度となるため、１０ポイントの文字の３文字分とすると、３．５×３＝１０．５ｍｍ角以上のメッシュとなる。
【００６４】
図１５は、図３に示した切出し画像補正（ＳＴ７０２）の手順を示すフロー図である。図１６、図１７、図１８は、切出し画像補正で行われる各処理の状況を示す模式図である。なお、図１６、図１７、図１８は、紙面に文字列が記載された画像の例を示している。
【００６５】
前記のように、切出し領域は、指示物で実際に指定された領域より大きな領域となるため、前記の処理で取得した切出し画像の外周部には不要の画像が含まれる。そこで、切出し画像から不要部分を切り取って最終的な切出し画像を取得する。
【００６６】
まず、図１５および図１６に示すように、切出し領域の境界線上に跨った画像があるか否かを判定し（ＳＴ７０１）、該当する画像がある場合には、その画像の内側に境界線を設定して、その新たな境界線（切出し線）に沿って該当する画像部分を切り取る（ＳＴ７０２）。紙面の画像を切り出す場合、通常、画像が途中で分断されないように切り出す。そこで、切出し領域の境界線上に跨った画像は、余分に確保したマージン上に存在する不要部分と考えられ、削除することができる。
【００６７】
ついで、図１５および図１７に示すように、切出し画像内に枠取りがあるか否かを判定し（ＳＴ７０３）、枠取りがある場合には、枠で囲まれた領域の外側にある画像の内側に境界線を設定して、その新たな境界線（切出し線）に沿って該当する画像部分を切り取る（ＳＴ７０４）。枠で囲まれた領域を切り出す場合、通常、その枠で囲まれた領域のみを切り出すことが多い。そこで、枠で囲まれた領域の外側にある画像は、余分に確保したマージン上に存在する不要部分と考えられ、削除することができる。
【００６８】
一方、切出し画像内に枠取りがない場合には、文字群の周囲に文字間隔および行間隔より大きな空白が存在するか否かを判定し（ＳＴ７０５）、該当する空白が存在しない場合には、空白がない辺を抽出する（ＳＴ７０６）。
【００６９】
以降、図１５および図１８に示すように、句読点の位置から文節を判断して、切出し画像の外周部に存在する句読点がある文字列より外側の文字群の画像を削除する。文章を部分的に切り出す場合、通常、句読点で区切られた範囲を切り出すことが多く、文節の途中で切り出すことはしないため、切出し画像の外周部に存在する句読点の外側の文字群の画像は、余分に確保したマージン上に存在する不要部分と考えられ、削除することができる。また、句読点を基準にして削除可能な部分は、書字方向（横書きと縦書き）によって異なり、横書きであれば、残すべき文節の上下にある文字群の画像を、縦書きであれば、残すべき文節の左右にある文字群の画像を削除すればよい。
【００７０】
ここではまず、切出し画像内の文字列に対して簡易ＯＣＲを実施し（ＳＴ７０７）、その簡易ＯＣＲの結果に基づいて書字方向、すなわち縦書きと横書きのいずれかを判定する（ＳＴ７０８）。ここでは、句読点の位置関係に基づいて判定し、句読点の位置が直前の文字の下方の右側にある場合には縦書き、句読点の位置が直前の文字の右方の下側にある場合には横書きと判定する。そして、縦書きの場合には、以降の処理を左右２辺の空白がない辺に限定し（ＳＴ７０９）、横書きの場合には、以降の処理を上下２辺の空白がない辺に限定する（ＳＴ７１０）。
【００７１】
ついで、１行目の文字列の終わりに句読点があるか否かを判定し（ＳＴ７１１）、１行目の文字列の終わりに句読点がある場合には、１行目の文字列の内側に境界線を設定して、その新たな境界線（切出し線）に沿って１行目の文字列の画像部分を切り取る（ＳＴ７１２）。ついで、最終行から２行目の文字列の終わりに句読点があるか否かを判定し（ＳＴ７１３）、最終行の文字列の終わりに句読点がある場合には、最終行目の文字列の内側に境界線を設定して、その新たな境界線（切出し線）に沿って最終行目の文字列の画像部分を切り取る（ＳＴ７１４）。
【００７２】
図１９は、切出し画像補正で行われる処理の別の例を示す模式図である。ここでは、切出し画像内に文字間隔および行間隔より大きな空白の外側にある画像を削除する。文章において文字間隔および行間隔より大きな空白が存在する場合には、通常、その空白の位置を境界にして文字群を切り出すため、空白より外側にある画像は、余分に確保したマージン上に存在する不要部分と考えられ、削除することができる。この場合、前記のような文節判断を行うことなく不要な文字列を削除することができる。
【００７３】
なお、前記の例では、図２に示したように、ブックスキャナから撮影画像データをＰＣに送ってＰＣで画像切出しの処理を行うようにしたが、このような画像処理をブックスキャナで行う、すなわちブックスキャナが画像処理装置を含む構成も可能である。この場合、テレビジョン受像機などの表示デバイスに画像を表示させればよい。
【００７４】
また、前記の例では、指やペンなどの指示物を用いて指定された領域を含む切出し領域のみを平面化して切出し画像を取得する構成としたが、本の紙面の全体を平面化した後に、切出し領域に対応する画像部分を切り出す構成としてもよい。
【産業上の利用可能性】
【００７５】
本発明にかかる画像処理装置は、本などの原稿の紙面上で指などの指示物で領域を直接指定する動作で切出し画像を取得することができる効果を有し、本などの原稿の紙面を読み取って得られた画像を処理する画像処理装置およびこれを備えた原稿読取システムなどとして有用である。
【符号の説明】
【００７６】
１ ブックスキャナ（画像入力装置）
２ ＰＣ（画像処理装置）
３ カメラ部
２２ 画像データ入力部（撮影画像取得部）
３１ 輪郭取得部
３２ １次メッシュモデル生成部
３３ 切出し領域取得部
３４ ２次メッシュモデル生成部
３５ 切出し画像生成部
３６ 画像補正部
３７ 画像変換部
【特許請求の範囲】
【請求項１】
指示物のない状態で原稿の紙面を載置面とともに撮影した第１の撮影画像と、原稿の紙面上で切り出すべき領域を指し示す指示物を原稿の紙面とともに撮影した第２の撮影画像とを取得する撮影画像取得部と、
前記第２の撮影画像から指示物が指し示す点を検出して切出し領域を求める切出し領域取得部と、
前記第１の撮影画像内の少なくとも前記切出し領域取得部で得られた切出し領域に対応する画像部分を平面化して切出し画像を取得する切出し画像生成部とを備え、
前記切出し領域取得部は、前記指示物が指し示す１点の軌跡で表される指定領域に基づいて前記切出し領域を求めることを特徴とする画像処理装置。
【請求項２】
前記切出し領域取得部は、前記指示物の動作後、前記指示物が所定時間停止し、さらに動作を開始する場合において、前記指示物が所定期間停止した位置を示す位置データを複数記憶し、前記位置データに基づいて切出し領域を求めることを特徴とする請求項１に記載の画像処理装置。
【請求項３】
前記第１の撮影画像に基づいて１次メッシュモデルを生成する１次メッシュモデル生成部と、前記１次メッシュモデルに基づいてこれよりメッシュ間隔が小さい２次メッシュモデルを生成する２次メッシュモデル生成部と、をさらに有し、
前記切出し領域取得部は、前記１次メッシュモデルを用いて前記切出し領域を求め、
前記切出し画像生成部は、前記２次メッシュモデルを用いて画像の平面化を行うことを特徴とする請求項１及び請求項２いずれかに記載の画像処理装置。
【請求項４】
前記２次メッシュモデル生成部は、前記切出し領域についてのみ前記２次メッシュモデルを生成し、
前記切出し画像生成部は、前記２次メッシュモデルを用いて前記切出し領域に対応する画像部分のみを平面化することを特徴とする請求項３に記載の画像処理装置。
【請求項５】
前記切出し領域取得部は、前記１次メッシュモデルにおいて前記指定領域を取り囲むメッシュラインを境界線して前記切出し領域を求めることを特徴とする請求項３及び請求項４いずれかに記載の画像処理装置。
【請求項６】
請求項１乃至請求項５のいずれかに記載の画像処理装置と、前記撮像画像を撮影するカメラ部を有する画像入力装置とを備えた原稿読取システム。
【請求項１】
指示物のない状態で原稿の紙面を載置面とともに撮影した第１の撮影画像と、原稿の紙面上で切り出すべき領域を指し示す指示物を原稿の紙面とともに撮影した第２の撮影画像とを取得する撮影画像取得部と、
前記第２の撮影画像から指示物が指し示す点を検出して切出し領域を求める切出し領域取得部と、
前記第１の撮影画像内の少なくとも前記切出し領域取得部で得られた切出し領域に対応する画像部分を平面化して切出し画像を取得する切出し画像生成部とを備え、
前記切出し領域取得部は、前記指示物が指し示す１点の軌跡で表される指定領域に基づいて前記切出し領域を求めることを特徴とする画像処理装置。
【請求項２】
前記切出し領域取得部は、前記指示物の動作後、前記指示物が所定時間停止し、さらに動作を開始する場合において、前記指示物が所定期間停止した位置を示す位置データを複数記憶し、前記位置データに基づいて切出し領域を求めることを特徴とする請求項１に記載の画像処理装置。
【請求項３】
前記第１の撮影画像に基づいて１次メッシュモデルを生成する１次メッシュモデル生成部と、前記１次メッシュモデルに基づいてこれよりメッシュ間隔が小さい２次メッシュモデルを生成する２次メッシュモデル生成部と、をさらに有し、
前記切出し領域取得部は、前記１次メッシュモデルを用いて前記切出し領域を求め、
前記切出し画像生成部は、前記２次メッシュモデルを用いて画像の平面化を行うことを特徴とする請求項１及び請求項２いずれかに記載の画像処理装置。
【請求項４】
前記２次メッシュモデル生成部は、前記切出し領域についてのみ前記２次メッシュモデルを生成し、
前記切出し画像生成部は、前記２次メッシュモデルを用いて前記切出し領域に対応する画像部分のみを平面化することを特徴とする請求項３に記載の画像処理装置。
【請求項５】
前記切出し領域取得部は、前記１次メッシュモデルにおいて前記指定領域を取り囲むメッシュラインを境界線して前記切出し領域を求めることを特徴とする請求項３及び請求項４いずれかに記載の画像処理装置。
【請求項６】
請求項１乃至請求項５のいずれかに記載の画像処理装置と、前記撮像画像を撮影するカメラ部を有する画像入力装置とを備えた原稿読取システム。
【図１】
【図２】
【図３】
【図４】
【図５】
【図６】
【図７】
【図８】
【図９】
【図１０】
【図１１】
【図１２】
【図１３】
【図１４】
【図１５】
【図１６】
【図１７】
【図１８】
【図１９】
【図２】
【図３】
【図４】
【図５】
【図６】
【図７】
【図８】
【図９】
【図１０】
【図１１】
【図１２】
【図１３】
【図１４】
【図１５】
【図１６】
【図１７】
【図１８】
【図１９】
【公開番号】特開２０１２−１７００４９（Ｐ２０１２−１７００４９Ａ）
【公開日】平成２４年９月６日（２０１２．９．６）
【国際特許分類】
【出願番号】特願２０１１−２８４９１６（Ｐ２０１１−２８４９１６）
【出願日】平成２３年１２月２７日（２０１１．１２．２７）
【分割の表示】特願２０１１−３０９６６（Ｐ２０１１−３０９６６）の分割
【原出願日】平成２３年２月１６日（２０１１．２．１６）
【出願人】（０００００５８２１）パナソニック株式会社 (73,050)
【Ｆターム（参考）】
【公開日】平成２４年９月６日（２０１２．９．６）
【国際特許分類】
【出願日】平成２３年１２月２７日（２０１１．１２．２７）
【分割の表示】特願２０１１−３０９６６（Ｐ２０１１−３０９６６）の分割
【原出願日】平成２３年２月１６日（２０１１．２．１６）
【出願人】（０００００５８２１）パナソニック株式会社 (73,050)
【Ｆターム（参考）】
[ Back to top ]