画像処理装置及び画像処理プログラム
【課題】追記画像の欠損部に対して施された補間処理の信頼度を導出することができる画像処理装置及び画像処理プログラムを得る。
【解決手段】差分抽出部２１により、追記が行われた原稿の画像から欠損部が生じ得る状態で追記画像を抽出し、欠損線分特定部２４により、差分抽出部２１によって抽出された追記画像の欠損部を特定し、合成部２５により、欠損線分特定部２４によって特定された欠損部を画像によって補間する補間処理を行い、信頼度導出部３０により、合成部２５による補間状況に基づいて当該合成部２５による補間処理の信頼度を導出する。
【解決手段】差分抽出部２１により、追記が行われた原稿の画像から欠損部が生じ得る状態で追記画像を抽出し、欠損線分特定部２４により、差分抽出部２１によって抽出された追記画像の欠損部を特定し、合成部２５により、欠損線分特定部２４によって特定された欠損部を画像によって補間する補間処理を行い、信頼度導出部３０により、合成部２５による補間状況に基づいて当該合成部２５による補間処理の信頼度を導出する。
【発明の詳細な説明】
【技術分野】
【０００１】
本発明は、画像処理装置及び画像処理プログラムに関する。
【背景技術】
【０００２】
特許文献１には、特別なカラーフィルタや特別なフォーム等を用いる必要なく、フォームに書き加えられた情報をフォーム自体に含まれている情報から識別することを目的として、情報が書き加えられる前のドキュメントの画像を第１画像として取得し、情報が書き加えられた後のドキュメントの画像を第２画像として取得し、第２画像から第１画像を差し引き、差し引いた結果の画像を作成し、差し引き画像において、第２画像から第１画像を差し引いたことによって除去された、ユーザによって書き加えられた情報の除去部分を修復する技術が開示されている。
【０００３】
また、特許文献２には、電子文書と加筆重畳画像とからの加筆抽出の際に、加筆情報が存在しない領域での引き残しの発生を抑制でき、かつ、より精度の高い加筆抽出を行うことができる加筆抽出装置を提供することを目的として、電子文書の原稿画像と前記電子文書を紙へ出力した後に手書きの加筆が重畳した状態でスキャナ等の画像読取装置で再び電子化された画像とから文字認識を用いて所望の領域を小領域に分割し、該小領域毎に加筆抽出操作の必要性の有無を判定する領域分割手段と、前記領域分割手段によって分割され差分計算が必要と判定された前記小領域に対して差分計算を行う画像差分手段と、前記画像差分手段によって差分処理された画像に対して補間処理を行う画像補間手段と、を有する技術が開示されている。
【０００４】
更に、特許文献３には、欠損部を有するデータについての欠損部解消修復処理を効率的かつ正確に実行する装置を提供することを目的として、欠損部を有する修復対象データを入力し、欠損部を解消した復元データを生成する画像処理装置であって、欠損部を有する修復対象データの細線化処理を実行する細線化処理手段と、前記細線化処理手段における処理結果を入力して、端点抽出処理を実行する端点抽出手段と、前記端点抽出手段の抽出した端点から、接続対象とする接続端点ペアを抽出する接続端点ペア抽出手段と、前記接続端点ペア抽出手段の抽出した接続端点ペア間を接続する接続手段と、を有する技術が開示されている。
【特許文献１】特開平８−６３５４６号公報
【特許文献２】特開２００４−２１３２３０号公報
【特許文献３】特開２００６−３５０６８０号公報
【発明の開示】
【発明が解決しようとする課題】
【０００５】
本発明は、以上のような技術背景においてなされたものであり、追記画像の欠損部に対して施された補間処理の信頼度を導出することができる画像処理装置及び画像処理プログラムを提供することを目的とする。
【課題を解決するための手段】
【０００６】
上記目的を達成するために、請求項１に記載の画像処理装置は、追記が行われた原稿の画像から欠損部が生じ得る状態で追記画像を抽出する抽出手段と、前記抽出手段によって抽出された追記画像の欠損部を特定する特定手段と、前記特定手段によって特定された欠損部を画像によって補間する補間処理を行う補間手段と、前記補間手段による補間状況に基づいて前記補間手段による補間処理の信頼度を導出する導出手段と、を備えている。
【０００７】
また、請求項２に記載の発明は、請求項１に記載の発明において、前記導出手段によって導出された信頼度を示す情報を表示する表示手段を更に備えたものである。なお、上記表示手段による表示には、可視表示による表示、可聴表示による表示、及び永久可視表示による表示が含まれる。
【０００８】
また、請求項３に記載の発明は、請求項１又は請求項２に記載の発明において、前記導出手段が、前記補間手段による補間処理に用いられた画像における欠損部との接続点間の長さ、当該画像の欠損部との接続点間の直線距離、当該画像に接触している前記追記が行われる前の前記原稿の画像における所定面積以上とされたベタ画像の数、及び前記補間手段による補間処理後の連結領域の数の少なくとも１つを用いて前記信頼度を導出するものである。
【０００９】
また、請求項４に記載の発明は、請求項３に記載の発明において、前記導出手段が、前記接続点間の長さを用いて前記信頼度を導出する場合は当該長さが長くなるほど低くなるように前記信頼度を導出し、前記接続点間の直線距離を用いて前記信頼度を導出する場合は当該直線距離が長くなるほど低くなるように前記信頼度を導出し、前記ベタ画像の数を用いて前記信頼度を導出する場合は当該ベタ画像の数が多くなるほど低くなるように前記信頼度を導出し、前記連結領域の数を用いて前記信頼度を導出する場合は当該連結領域の数が多くなるほど低くなるように前記信頼度を導出するものである。
【００１０】
また、請求項５に記載の発明は、請求項１〜請求項４の何れか１項に記載の発明において、前記抽出手段によって抽出された追記画像を細線化する細線化手段を更に備え、前記補間手段が、前記特定手段によって特定された欠損部を線画像によって補間するものである。
【００１１】
一方、上記目的を達成するために、請求項６に記載の画像処理プログラムは、追記が行われた原稿の画像から欠損部が生じ得る状態で追記画像を抽出する抽出ステップと、前記抽出ステップによって抽出された追記画像の欠損部を特定する特定ステップと、前記特定ステップによって特定された欠損部を画像によって補間する補間処理を行う補間ステップと、前記補間ステップによる補間状況に基づいて前記補間ステップによる補間処理の信頼度を導出する導出ステップと、をコンピュータに実行させるものである。
【発明の効果】
【００１２】
請求項１及び請求項６記載の発明によれば、追記画像の欠損部に対して施された補間処理の信頼度を導出することができる、という効果が得られる。
【００１３】
また、請求項２記載の発明によれば、本発明を適用しない場合に比較して、補間処理の信頼度を把握しやすくすることができる、という効果が得られる。
【００１４】
また、請求項３及び請求項４記載の発明によれば、本発明を適用しない場合に比較して、より簡易に補間処理の信頼度を導出することができる、という効果が得られる。
【００１５】
また、請求項５記載の発明によれば、細線化された状態で欠損部を補間する際に本発明を適用することができる、という効果が得られる。
【発明を実施するための最良の形態】
【００１６】
以下、図面を参照して本発明の実施の形態を詳細に説明する。
【００１７】
図１には、本発明が適用された画像処理システム１０の構成例が示されている。同図に示されるように、本実施の形態に係る画像処理システム１０は、パーソナル・コンピュータ等の画像処理装置２０と、スキャナ等の画像読取装置４０とを備えている。画像処理装置２０と画像読取装置４０は電気的に接続されており、画像処理装置２０は画像読取装置４０による読み取りによって得られた画像データを画像読取装置４０から取得することができる。
【００１８】
本実施の形態に係る画像処理システム１０は、手書きによる追記や押印等による追記が行われる前の原稿（以下、「追記前原稿」という。）と、当該追記が行われた後の原稿（以下、「追記後原稿」という。）を画像読取装置４０によって読み取り、これによって得られた２つの画像データに基づき、画像処理装置２０により、追記が行われた箇所を特定し、特定した箇所から追記された画像部分を検出する処理を行うものである。なお、以下では、追記前原稿の読み取りによって得られた画像データを「追記前画像データ」といい、当該追記前画像データにより示される画像を「追記前画像」といい、追記後原稿の読み取りによって得られた画像データを「追記後画像データ」といい、当該追記後画像データにより示される画像を「追記後画像」という。
【００１９】
本実施の形態に係る画像読取装置４０は、読み取りによって得る画像データを２値画像データとして取得するモノクロ・スキャナを適用しているが、これに限るものでないことは言うまでもない。
【００２０】
次に、図２を参照して、画像処理システム１０において特に重要な役割を有する画像処理装置２０の電気系の要部構成を説明する。
【００２１】
同図に示すように、本実施の形態に係る画像処理装置２０は、画像処理装置２０全体の動作を司るＣＰＵ（中央処理装置）２０Ａと、ＣＰＵ２０Ａによる各種処理プログラムの実行時のワークエリア等として用いられるＲＡＭ（Random Access Memory）２０Ｂと、各種制御プログラムや各種パラメータ等が予め記憶されたＲＯＭ（Read Only Memory）２０Ｃと、各種情報を記憶するために用いられる記憶手段であるハードディスク２０Ｄと、各種情報を入力するために用いられるキーボード２０Ｅと、各種情報を表示するために用いられるディスプレイ２０Ｆと、外部装置との各種情報の授受を司る入出力インタフェース（Ｉ／Ｆ）２０Ｇと、が備えられており、これら各部はシステムバスＢＵＳにより電気的に相互に接続されている。ここで、入出力インタフェース２０Ｇには、前述した画像読取装置４０が接続されている。
【００２２】
従って、ＣＰＵ２０Ａは、ＲＡＭ２０Ｂ、ＲＯＭ２０Ｃ、及びハードディスク２０Ｄに対するアクセス、キーボード２０Ｅを介した各種入力情報の取得、ディスプレイ２０Ｆに対する各種情報の表示、及び入出力インタフェース２０Ｇを介した画像読取装置４０との各種情報の授受を、各々行うことができる。
【００２３】
図３は、本実施の形態に係る画像処理装置２０の機能的な構成を示す機能ブロック図である。
【００２４】
同図に示されるように、本実施の形態に係る画像処理装置２０は、差分抽出部２１と、細線化部２２と、細線化部２３と、欠損線分特定部２４と、合成部２５と、補間線長導出部２６と、連結領域数導出部２７と、大面積領域検出部２８と、接触判定部２９と、信頼度導出部３０とを備えている。
【００２５】
なお、上記差分抽出部２１は、追記前画像データと追記後画像データとを入力して、これらの画像データから対応する画素毎に差分を演算することにより追記画像を示す追記画像データを抽出する。この差分抽出処理は、従来の処理と同様であり、特開２００４−２１３２３０号公報、特開２００４−３４１９１４号公報等に記載された処理と同様の処理により実現される。例えば、追記前画像データの座標位置（ｘ，ｙ）と、追記後画像データの対応する座標位置（ｘ，ｙ）の差分の有無を検出し、差分が存在する場合にのみデータを抽出する。
【００２６】
この差分抽出処理の一例を、図４を参照しつつ説明する。なお、図４に示す例では、追記前原稿５２と追記後原稿５４から差分を抽出する場合の一例について示している。追記後原稿５４には、元々の追記前原稿５２には含まれない追記された追記画像５６が含まれる。
【００２７】
差分抽出部２１は、追記前原稿５２と追記後原稿５４から対応する画素毎に差分抽出を行うことによって、追記画像データ５８を生成する。但し、同図から理解されるように、差分抽出によって得られる追記画像データ５８により示される追記画像は、追記前画像データとの重なり部（図に示す追記前原稿５２に元々記載されている文字列「ますか」との重なり部）が途切れた不完全なものである。この追記画像データ５８が、図３に示される差分抽出部２１が出力する追記画像データに相当する。
【００２８】
また、上記細線化部２２及び細線化部２３は、各々追記画像データと、追記後画像データに対する細線化処理を実行する。この細線化処理は、処理対象の画像に含まれる線分を、一例として１画素の幅を持つ細線データとする処理である。
【００２９】
図５に細線化部２２及び細線化部２３により実行される細線化処理の具体例を示す。細線化部２２は、差分抽出部２１による差分抽出処理によって抽出した追記画像データに対する細線化処理を実行する。図５（Ａ）に示す追記画像データ５８に対する細線化処理によって、細線化追記画像６０を生成して欠損線分特定部２４に出力する。
【００３０】
一方、細線化部２３は、追記後画像データを入力して細線化処理を実行する。図５（Ｂ）に示す追記後原稿５４の細線化によって、細線化追記後画像６２を生成して欠損線分特定部２４に出力する。
【００３１】
なお、追記画像データに対する細線化処理の前段階として、追記画像データに対して膨張処理を施すことにより太線化を施して、微小な欠損部を消滅させた後、細線化処理を実行する構成としてもよい。なお、上記膨張処理（太線化処理）は、線分等の有効画像領域を上下左右にｎ画素膨らませる処理である。この膨張処理によって、微小な欠損部を消滅させることが可能となる。その後、細線化処理を実行することで、比較的大きな欠損部のみが残った細線化データを生成することができる。
【００３２】
また、上記欠損線分特定部２４は、細線化部２２から細線化追記画像データを入力する一方、細線化部２３から細線化追記後画像データを入力し、細線化追記画像データにより示される細線化追記画像の端点を追跡ポイントとして抽出する。以下、図６を参照して、この処理について具体的に説明する。
【００３３】
同図における細線化追記画像６０は、細線化部２２から入力される画像であり、差分抽出部２１による差分抽出処理によって抽出した追記画像のみを示す細線化画像である。欠損線分特定部２４は、この細線化追記画像６０から端点を抽出する。図６に示される画像６４は、細線化追記画像６０の一部領域のみを抽出して示した画像である。図６に示される画像６４では端点Ｓ１及び端点Ｓ２が抽出される。
【００３４】
更に、欠損線分特定部２４は、細線化部２３から入力された細線化追記後画像６２において、細線化追記画像６０から抽出された端点Ｓ１，Ｓ２の対応位置を検出し、この各ポイントを追跡ポイントＰ１，Ｐ２，…として設定する。基本的には、細線化追記画像上の追跡ポイントＰｎは、細線化されたライン上に設定されるが、細線化処理の状況によっては、追跡ポイントがライン上に設定されない場合がある。この場合は、端点Ｓｎに対応する細線化追記後画像６２上の位置に最も近い細線化ライン上の位置に追跡ポイントＰｎとして設定する。なお、図６に示す追跡ポイント設定画像６６では、２つの追跡ポイントＰ１，Ｐ２の設定例を示しているが、欠損線分特定部２４は、細線化追記画像に含まれる全ての端点Ｓｎに対応する追跡ポイントＰｎを、細線化追記後画像上に設定する。
【００３５】
次に、欠損線分特定部２４は、設定した追跡ポイントＰｎを細線化追記後画像上の細線に沿って１画素ずつ移動させる追跡処理を実行する。なお、この際の追跡方向は、細線化追記後画像上の細線上で、細線化追記画像６０に含まれない細線が存在する方向とする。なお、この処理において、細線の分岐点や交点に至った場合は、追跡ポイントを増加する細線に応じて増加させて移動を行う。
【００３６】
そして、欠損線分特定部２４は、以上のような追跡ポイントＰｎの移動を、以下に示される終了条件の何れかに該当する場合に終了させる。
【００３７】
終了条件１：ある追跡ポイントと、他の追跡ポイントの位置が同じになったとき、これら同一位置に達した複数の追跡ポイントの移動を終了させる。
【００３８】
終了条件２：追跡ポイントが、細線化追記画像に含まれる細線に相当する位置に達したとき、その追跡ポイントの移動を終了させる。
【００３９】
終了条件３：ある追跡ポイントの移動を終了させる際、該移動終了追跡ポイントが交点又は分岐点を通過している場合、その交点又は分岐点において新たに発生された追跡ポイントの移動を終了させる。
【００４０】
以上の追跡ポイントを設定する処理、追跡ポイントを移動させる処理、及び追跡ポイントの移動を終了させる処理により、細線化追記後画像上に設定した追跡ポイントＰｎは、細線化追記後画像上の細線に沿ってある軌跡を残す。欠損線分特定部２４は、この軌跡を欠損線分として、合成部２５に出力する。
【００４１】
また、上記合成部２５は、欠損線分特定部２４から入力された欠損線分と、細線化部２２から入力された細線化追記画像データを合成する合成処理を実行することにより、修復追記画像データを生成して出力する。
【００４２】
以下、合成部２５により実行される合成処理の具体例について、図７を参照しつつ説明する。図７に示される細線化追記画像６０は、細線化部２２によって生成されたものである。また、図７に示される欠損線分画像６８は、欠損線分特定部２４によって生成された欠損線分によって構成される画像である。なお、この画像にはａ，ｂ，ｃ，ｄ，ｅの５つの欠損線分が含まれる。
【００４３】
合成部２５は、これらの図７に示される細線化追記画像６０と欠損線分画像６８の合成処理を実行する。この結果、図７に示される修復追記画像データ７０が生成される。
【００４４】
図７に示される欠損線分画像６８は、図７に示される細線化追記画像６０の欠損部に相当する線分によって構成される。この線分は、欠損線分特定部２４における追跡ポイントの移動処理によって生成される線分である。欠損線分特定部２４では、追記前画像と追記画像の双方を含む追記後原稿に対応する細線化追記後画像データ上の細線上を移動させることで、線分ａ〜ｅを抽出している。
【００４５】
この細線化追記後画像データ上の細線には、追記画像における欠損部に相当する線分に基づく細線が含まれている。従って、先に図６を参照して説明した端点Ｓｎに相当する追跡ポイントＰｎを設定して細線上を移動させることで、図７に示す線分ａ〜ｅが生成される。これらの線分ａ〜ｅは、細線化追記画像６０の欠損部に相当する線分として合成部２５に出力され、合成処理によって図７に示される細線化追記画像６０の欠損部が、欠損線分画像６８の出力する画像に含まれる線分によって修復され、図７に示す修復追記画像データ７０が生成される。
【００４６】
なお、修復追記画像データは細線化されたままであるため、このデータに対して膨張処理を施して、太線化して出力する構成としてもよい。膨張処理（太線化処理）は、線分等の有効画像領域を上下左右にｎ画素膨らませる処理である。この処理により、細線化データは膨張して太線に復元される。
【００４７】
一方、上記補間線長導出部２６は、欠損線分特定部２４によって得られた欠損線分を入力し、当該欠損線分の長さを示す補間線長情報を導出して信頼度導出部３０に出力する。なお、本実施の形態に係る補間線長導出部２６では、上記欠損線分の長さとして、当該欠損線分を構成する画像の画素数を適用しているが、これに限るものではなく、例えば、欠損線分が平均的に２画素以上の太さを有する場合には、上記欠損線分を構成する画像の画素数を当該平均的な太さで除算して得られた値等、欠損線分の長さを示す物理量であれば如何なるものも欠損線分の長さとして適用することができる。また、補間線長導出部２６では、入力された欠損線分が複数存在する場合には、当該複数の欠損線分の各々の長さの合算値を上記補間線長情報として算出しているが、これに限らず、例えば、当該複数の欠損線分の長さの最大値や、平均値等を上記補間線長情報として導出するようにしてよい。
【００４８】
また、上記連結領域数導出部２７は、合成部２５によって得られた修復追記画像データを入力し、当該修復追記画像データにより示される画像を対象として、黒連結領域の数を示す連結領域数情報を導出して、信頼度導出部３０に出力する。なお、本実施の形態に係る連結領域数導出部２７では、上記黒連結領域の数を、ラベリング（Labeling）処理によって導出するものとされているが、これに限るものではなく、他の従来既知の連結領域を抽出するアルゴリズムを適用できることは言うまでもない。
【００４９】
また、上記大面積領域検出部２８は、追記前画像データを入力し、当該追記前画像データにより示される追記前画像に含まれる所定面積以上の画像領域（以下、「大面積領域」という。）を検出して、当該大面積領域の画像を示す画像データ（以下、「大面積画像データ」という。）を接触判定部２９に出力する。このように、本実施の形態では、大面積領域検出部２８により用いる画像データを追記前画像データとしているが、これに限るものではなく、追記後画像データを用いることもできる。但し、この場合は、追記画像の影響により、追記前画像データを用いる場合に比較して、大面積領域の抽出精度が低下する場合があるため、本実施の形態のように追記前画像データを用いることが好ましい。
【００５０】
本実施の形態に係る大面積領域検出部２８では、上記大面積領域の検出を次のように行う。
【００５１】
まず、追記前画像データに対してラベリング処理を行う。これにより、追記前画像データにより示される画像の黒連結領域毎に異なるラベルが付与される。
【００５２】
次に、同一のラベルが付された黒連結領域毎に外接矩形の幅及び高さが所定値以上のものを抽出する。なお、上記所定値は、画像処理システム１０の用途や画像読取装置４０の仕様等によって予め定められるものであり、ユーザによって入力された値を適用するものとしてもよい。また、この際の上記外接矩形の幅及び高さに対する上記所定値は同一値とすることに限らず、異なる値を適用してもよい。
【００５３】
そして、以上によって抽出された黒連結領域毎に外接矩形内の全画素数に対する黒画素数の割合を導出し、当該割合が所定割合以上である黒連結領域を大面積領域であるものとして特定（検出）する。なお、上記所定割合もまた、画像処理システム１０の用途や画像読取装置４０の仕様等によって予め定められるものであり、ユーザによって入力された値を適用するものとしてもよい。
【００５４】
このように、本実施の形態に係る大面積領域の検出処理では、所定面積以上の黒連結領域で、かつ外接矩形内の全画素数に対する黒画素数の割合が所定割合以上である黒連結領域を大面積領域として検出しているが、これは、当該黒画素数の割合が小さい場合には、表等の罫線により囲まれた領域である可能性が高く、この領域を処理の対象から外すためである。
【００５５】
また、上記接触判定部２９は、差分抽出部２１から出力された追記画像データと大面積領域検出部２８から出力された大面積画像データを入力し、追記画像データにより示される追記画像と大面積画像データにより示される大面積画像との接触状態を判定し、追記画像に接触している大面積領域の数を示す接触大面積領域数情報を信頼度導出部３０に出力する。
【００５６】
なお、本実施の形態に係る接触判定部２９では、上記接触状態の判定を、追記画像及び大面積画像の何れか一方の画像に対して１画素分だけ膨張処理を行い、他方の画像と対応する画素毎に論理積を演算し、この結果、黒画素が残っていれば接触しているものと判定し、残っていなければ接触していないものと判定する方法を適用しているが、これに限るものではない。例えば、上記膨張処理を行う際の膨張させる画素数を２画素以上とする形態や、大面積画像と追記画像の合成前及び合成後にラベリング処理を行い、合成後にラベル数が増加していれば接触していないものと判定し、合成後にラベル数が同数又は減少していれば接触しているものと判定する方法等を適用する形態とすることもできる。
【００５７】
更に、上記信頼度導出部３０は、補間線長導出部２６によって導出された補間線長情報により示される欠損線分の長さ、連結領域数導出部２７によって導出された連結領域数情報により示される黒連結領域の数、及び接触判定部２９によって導出された接触大面積領域数情報により示される大面積領域の数に基づいて、欠損線分特定部２４及び合成部２５による、追記画像の欠損部に対する補間処理の信頼度を示す信頼度情報を導出して出力する。
【００５８】
ここで、上記欠損線分の長さが長くなるほど、当該欠損線分による補間処理の対象となる空間が広いことになるため、当該補間処理の信頼度は低下する。
【００５９】
また、上記黒連結領域の数が多くなるほど、上記欠損線分による補間処理後の追記画像の分離数が多いことになるため、上記補間処理の信頼度は低下する。
【００６０】
更に、上記大面積領域の数が多くなるほど、一例として図８に示すように、当該大面積領域に接触している追記画像における欠損部分が広いことになるため、上記補間処理の信頼度は低下する。
【００６１】
そこで、本実施の形態に係る信頼度導出部３０では、上記欠損線分の長さが長くなるほど低くなるように信頼度情報を導出し、上記黒連結領域の数が多くなるほど低くなるように信頼度情報を導出し、上記大面積領域の数が多くなるほど低くなるように信頼度情報を導出する。
【００６２】
なお、本実施の形態に係る画像処理システム１０では、一例として図９に示されるような、補間線長（欠損線分の長さ）毎の信頼度を示す情報がＲＯＭ２０Ｃ等の記憶手段に予め記憶されており、当該情報を用いることによって信頼度情報を導出するものとされている。
【００６３】
ここで、上記補間線長毎の信頼度を示す情報の作成手順について説明する。
【００６４】
まず、上記黒連結領域の数と上記大面積領域の数の組み合わせを、予め定められた複数のグループに分類する。なお、本実施の形態に係る画像処理システム１０では、上記複数のグループとして、次の第１グループ〜第３グループの３つのグループを適用している。
・第１グループ：黒連結領域の数と大面積領域の数の合計が１であるグループ。
・第２グループ：黒連結領域の数と大面積領域の数の合計が２であるグループ。
・第３グループ：黒連結領域の数と大面積領域の数の合計が３であるグループ。
【００６５】
次に、次の（１）式により、上記第１〜第３グループの各々毎に上記補間線長の最小値（１画素）における信頼度Ｔを算出する。なお、（１）式におけるＧは、対応するグループにおける黒連結領域の数と大面積領域の数の合計を表す。
【００６６】
【数１】
この演算により、第１グループに対応する信頼度Ｔとして１００％（＝１００／１）が、第２グループに対応する信頼度Ｔとして５０％（＝１００／２）が、第３グループに対応する信頼度Ｔとして３３％（≒１００／３）が、各々算出される。
【００６７】
そして、上記第１〜第３グループの各々毎に、予め定められた条件に従って上記補間線長が長くなるほど低下するように信頼度を決定する。なお、本実施の形態に係る画像処理システム１０では、一例として図９に示されるように、上記予め定められた条件として、上記第１〜第３グループの各グループに共通の最低信頼度（一例として、５％）と当該最低信頼度となる補間線長とを想定し、上記（１）式によって算出された各グループ毎の信頼度Ｔと上記最低信頼度とを直線で結ぶようにする条件を適用しているが、これに限るものではない。
【００６８】
信頼度導出部３０によって導出された信頼度情報は、合成部２５によって得られた修復追記画像を用いた各種処理（当該修復追記画像そのものを表示する処理、当該修復追記画像に対する文字認識処理等）に用いることができるが、本実施の形態に係る画像処理システム１０では、修復追記画像に対応させて信頼度を表示するために用いるものとされている。
【００６９】
なお、以上のように構成された画像処理装置２０の各構成要素（差分抽出部２１、細線化部２２、細線化部２３、欠損線分特定部２４、合成部２５、補間線長導出部２６、連結領域数導出部２７、大面積領域検出部２８、接触判定部２９、信頼度導出部３０）による処理は、プログラムを実行することにより、コンピュータを利用してソフトウェア構成により実現することができる。この場合、当該プログラムに本発明の画像処理プログラムが含まれることになる。但し、ソフトウェア構成による実現に限られるものではなく、ハードウェア構成や、ハードウェア構成とソフトウェア構成の組み合わせによって実現することもできることは言うまでもない。
【００７０】
以下では、本実施の形態に係る画像処理システム１０が、上記プログラム（以下、「画像処理プログラム」という。）を実行することにより上記各構成要素による処理を実現するものとされている場合について説明する。この場合、当該画像処理プログラムを画像処理装置２０に予めインストールしておく形態や、コンピュータ読み取り可能な記録媒体に格納された状態で提供される形態、有線又は無線による通信手段を介して配信される形態等を適用することができる。
【００７１】
次に、図１０を参照して、本実施の形態に係る画像処理システム１０の作用を説明する。なお、図１０は、画像処理装置２０のＣＰＵ２０Ａにより実行される画像処理プログラムの処理の流れを示すフローチャートである。また、ここでは、錯綜を回避するために、処理対象とする追記前画像データ及び追記後画像データが同一サイズの原稿画像を示すものとして画像読取装置４０から入力され、ハードディスク２０Ｄの所定領域に予め記憶されている場合について説明する。
【００７２】
同図のステップ１００では、処理対象とする追記前画像データ及び追記後画像データをハードディスク２０Ｄから読み出すことにより取得し、次のステップ１０２では、前述した差分抽出部２１による処理と同様の処理によって追記画像データ（図４も参照。）を抽出する。
【００７３】
次のステップ１０４では、前述した細線化部２２による処理と同様の処理によって追記画像データに対して細線化処理を実行し、次のステップ１０６では、前述した細線化部２３による処理と同様の処理によって追記後画像データに対して細線化処理を実行し、更に次のステップ１０８では、追記後画像データに対してラベリング処理を実行することにより、当該追記後画像データにより示される追記後画像を連結領域毎に分割する。なお、本実施の形態では、このように、追記後画像の連結領域毎の分割をラベリング処理によって行っているが、これに限らず、連結領域毎に分割することのできる処理であれば如何なる処理も適用することができる。
【００７４】
次のステップ１１０では、欠損補間処理ルーチン・プログラムを実行する。以下、図１１を参照して、欠損補間処理ルーチン・プログラムについて説明する。本欠損補間処理ルーチン・プログラムにより実行される処理は、前述した欠損線分特定部２４及び合成部２５により実行される処理に相当する。なお、本欠損補間処理ルーチン・プログラムは、１回の実行により、上記ステップ１０８の処理によって分割された連結領域のうちの１つの領域を処理対象（以下、「処理対象連結領域」という。）とするものであり、全ての分割された連結領域について処理するために、当該連結領域の数だけ繰り返し実行されるものである。
【００７５】
同図のステップ２００では、細線化追記画像から端点Ｓｉを抽出し、次のステップ２０２では、抽出した端点の総数をＮ１とする。
【００７６】
次のステップ２０４では、端点の番号ｉの初期化処理としてｉに１を設定し、次のステップ２０６では、細線化追記後画像中の端点Ｓｉに対応する位置に追跡ポイントＰｉを設定し、次のステップ２０８にて、ｉが端点総数Ｎ１より小さいか否か判定し、肯定判定となった場合はステップ２１０に移行してｉを１だけインクリメントした後に上記ステップ２０６に戻る一方、否定判定となった時点でステップ２１２に移行する。上記ステップ２０６〜ステップ２１０の繰り返し処理によって、端点総数Ｎ１に相当する追跡ポイントＰｎが細線化追記後画像に設定される。
【００７７】
ステップ２１２では、追跡ポイントの移動ドット数ｄの初期設定としてｄに０（零）を代入し、次のステップ２１４にて、追跡ポイントＰｉの総数を算出し、更に、次のステップ２１６にて、算出した総数をＮ２に代入する。
【００７８】
次のステップ２１８では、追跡ポイントＰｉのうちの１つを選択してＰ１とし、次のステップ２２０にて、追跡ポイントＰｉを細線化追記後画像上の細線上で１画素移動させる。
【００７９】
次のステップ２２２では、上記ステップ２２０による追跡ポイントの移動先が行き止まりであるか否かを判定し、肯定判定となった場合はステップ２２３に移行して追跡終了とした後にステップ２３６に移行する一方、否定判定となった場合には、ステップ２２４に移行して、上記ステップ２２０による追跡ポイントの移動先が他の追跡ポイントと重なったか否かを判定し、肯定判定となった場合は後述するステップ２２８に移行する一方、否定判定となった場合にはステップ２２６に移行する。
【００８０】
ステップ２２６では、上記ステップ２２０による追跡ポイントの移動先が細線化追記画像上の細線上の位置に一致したか否かを判定し、肯定判定となった場合はステップ２２８に移行して、追跡ポイントの移動軌跡をオン画素に変更、すなわち、有効な欠損線分構成画素として設定し、次のステップ２３０にて追跡を終了した後にステップ２３６に移行する。なお、この追跡の終了に際しては、追跡ポイントの移動過程で、交差点又は分岐点の発生に伴って新たに発生させた追跡ポイントが存在する場合には、その発生追跡ポイントも終了させる。
【００８１】
一方、上記ステップ２２６において否定判定となった場合にはステップ２３２に移行し、上記ステップ２２０による追跡ポイントの移動先により追跡ポイントが交点又は分岐点に達したか否かを判定し、肯定判定となった場合はステップ２３４に移行して、交点又は分岐点において増加する細線数に応じて追跡ポイントを分割して、新たな追跡ポイントを追加し、その後にステップ２３６に移行する。なお、上記ステップ２３２において否定判定となった場合には、何ら処理を行うことなくステップ２３６に移行する。
【００８２】
ステップ２３６では、次の追跡ポイントの処理に移行するため、追跡ポイントＰｉの識別番号ｉを１だけインクリメントさせ、次のステップ２３８にて、ｉが追跡ポイント総数未満であるか否かを判定し、肯定判定となった場合は上記ステップ２２０に戻る一方、否定判定となった場合には、ステップ２４０に移行して、移動ドット数ｄを１だけインクリメントさせた後、次のステップ２４２にて、移動ドット数ｄが、予め設定済みのドット移動数の上限閾値より小さいか否かを判定し、肯定判定となった場合は上記ステップ２１４に戻る一方、否定判定となった場合にはステップ２４４に移行する。
【００８３】
以上の処理により、前述した欠損線分特定部２４によって出力されるものと同様の欠損線分画像（図７も参照。）を示す画像データが得られる。
【００８４】
ステップ２４４では、上記ステップ１０４の処理によって得られた細線化追記画像と、以上の処理によって得られた欠損線分画像の合成処理を実行する。この結果、例えば、図７に示される修復追記画像データ７０が生成される。修復追記画像データは、細線化追記画像に含まれる欠損部が修復された画像とされる。なお、前述したように、この細線化データを膨張処理によって太線化する処理を施す構成としてもよい。
【００８５】
なお、以上の欠損補間処理ルーチン・プログラムの処理は、本発明の発明者による特願２００５−３６６１５６に詳述されているため、これ以上の説明は省略する。
【００８６】
以上の欠損補間処理ルーチン・プログラムが終了すると、画像処理プログラム（図１０参照。）のステップ１１２に移行する。
【００８７】
なお、以下に示すステップ１１２〜ステップ１２２の処理も上記処理対象連結領域毎に実行されるものである。
【００８８】
ステップ１１２では、前述した補間線長導出部２６による処理と同様の処理によって補間線長情報を導出し、次のステップ１１４では、前述した連結領域数導出部２７による処理と同様の処理によって連結領域数情報を導出し、次のステップ１１６では、前述した大面積領域検出部２８による処理と同様の処理によって大面積画像データを検出し、更に、次のステップ１１８では、前述した接触判定部２９による処理と同様の処理によって、上記ステップ１０２の処理によって得られた追記画像データと上記ステップ１１６の処理によって得られた大面積画像データに基づいて接触大面積領域数情報を導出する。
【００８９】
次のステップ１２０では、以上の処理によって得られた処理対象連結領域に関する補間線長情報、連結領域数情報、及び接触大面積領域数情報に基づいて、前述した信頼度導出部３０による処理と同様の処理によって処理対象連結領域における信頼度情報を導出し、次のステップ１２２にて、導出した信頼度情報をハードディスク２０Ｄ等の記憶手段に記憶する。
【００９０】
次のステップ１２４では、上記ステップ１０８の処理によって分割された全ての連結領域について上記ステップ１１０〜ステップ１２２の処理が終了したか否かを判定し、否定判定となった場合は上記ステップ１１０に戻る一方、肯定判定となった時点でステップ１２６に移行する。なお、上記ステップ１１０〜ステップ１２４の処理を繰り返し実行する際には、それまでに処理対象としなかった上記連結領域を処理対象連結領域とするようにする。
【００９１】
ステップ１２６では、以上の処理によって得られた信頼度情報を示す情報をディスプレイ２０Ｆにより表示し、その後に本画像処理プログラムを終了する。
【００９２】
なお、図１２には、上記ステップ１２６の処理によるディスプレイ２０Ｆによる表示画面の一例が示されている。同図に示す例では、一例として図７に示した修復追記画像データにより示される修復画像が表示されると共に、当該修復画像に対応する信頼度情報が表示されている。従って、ユーザは、当該表示画面を参照することにより、修復画像の欠損部に対する補間処理の信頼度を容易に把握することができる。
【００９３】
以上、本発明を実施の形態を用いて説明したが、本発明の技術的範囲は上記実施の形態に記載の範囲には限定されない。発明の要旨を逸脱しない範囲で上記実施の形態に多様な変更または改良を加えることができ、当該変更または改良を加えた形態も本発明の技術的範囲に含まれる。
【００９４】
また、上記の実施の形態は、クレーム（請求項）にかかる発明を限定するものではなく、また実施の形態の中で説明されている特徴の組み合わせの全てが発明の解決手段に必須であるとは限らない。前述した実施の形態には種々の段階の発明が含まれており、開示される複数の構成要件における適宜の組み合わせにより種々の発明を抽出できる。実施の形態に示される全構成要件から幾つかの構成要件が削除されても、効果が得られる限りにおいて、この幾つかの構成要件が削除された構成が発明として抽出され得る。
【００９５】
例えば、上記実施の形態では、画像処理をソフトウェア構成によって実現した場合について説明したが、本発明はこれに限定されるものではなく、例えば、当該画像処理をハードウェア構成により実現する形態とすることもできる。この場合の形態例としては、例えば、図３に示した画像処理装置２０の各構成要素（差分抽出部２１、細線化部２２、細線化部２３、欠損線分特定部２４、合成部２５、補間線長導出部２６、連結領域数導出部２７、大面積領域検出部２８、接触判定部２９、信頼度導出部３０）と同一の処理を実行する機能デバイスを作成して用いる形態が例示できる。この場合は、上記実施の形態に比較して、画像処理の高速化が期待できる。
【００９６】
また、上記実施の形態では、信頼度の導出に欠損線分の長さ（補間線長）、連結領域数、及び接触大面積領域数の３種類の情報を適用した場合について説明したが、本発明はこれに限定されるものではなく、例えば、上記３種類の情報に加えて、欠損線分の両端間の直線距離を示す情報の４種類の情報の単独、又は複数種類の組み合わせを適用する形態とすることもできる。なお、上記直線距離を示す情報を適用する場合は、当該情報により示される直線距離が長くなるほど低くなるように信頼度を導出する。この場合も、上記実施の形態と同様の効果を奏することができる。
【００９７】
また、上記実施の形態では、画像読取装置４０として、読み取りによって得る画像データを２値画像データとして取得するモノクロ・スキャナを適用した場合について説明したが、本発明はこれに限定されるものではなく、例えば、グレイスケール・モノクロ・スキャナ、カラー・スキャナ等の１画素当たりの構成ビット数が複数とされた画像データを取得するものを適用する形態とすることもできる。なお、この場合は、画像読取装置によって得られた画像データを二値化する必要がある。この場合も、上記実施の形態と同様の効果を奏することができる。
【００９８】
また、上記実施の形態では、本発明を細線化された追記画像に対して欠損部を補間する技術に適用した場合について説明したが、本発明はこれに限定されるものではなく、本発明は、細線化されていない追記画像に対して欠損部を補間する技術等に適用する形態とすることもできる。要は、補間処理に用いられた画像（欠損線分）における欠損部との接続点間の長さ（補間線長）、当該画像の欠損部との接続点間の直線距離、当該画像に接触している追記前画像における所定面積以上とされたベタ画像の数（接触大面積領域数）、及び補間処理後の連結領域の数（連結領域数）の少なくとも１つを導出可能な欠損部の補間技術であれば、如何なる技術にも本発明は適用することができる。この場合も、上記実施の形態と同様の効果を奏することができる。
【００９９】
また、上記実施の形態では、信頼度情報を導出する際に用いる情報として、図９に示される情報を適用した場合について説明したが、本発明はこれに限定されるものではなく、例えば、図１３（Ａ）〜図１３（Ｃ）に示される情報を適用する形態とすることもできる。なお、図１３（Ａ）は、図９に示したものが、第１〜第３グループの各グループに共通の最低信頼度と（１）式により算出された各グループ毎の信頼度Ｔとを直線で結ぶように導出したのに対して、上記最低信頼度を特に想定せずに、上記信頼度Ｔを線形に減少させるように導出したものである。また、図１３（Ｂ）及び図１３（Ｃ）に示したものは、信頼度Ｔを非線形に減少させるように導出したものである。この場合も、上記実施の形態と同様の効果を奏することができる。
【０１００】
また、上記実施の形態では、本発明を、追記前画像と追記後画像の差分をとることにより追記画像を抽出する技術に適用した場合について説明したが、本発明はこれに限定されるものではなく、例えば、追記画像が追記前原稿に含まれる色とは異なる色で記録されている場合における、追記画像の記録色の画像データのみを追記後画像から抽出することによって追記画像を抽出する技術や、所定位置に罫線を有する追記前原稿に対して追記された追記画像を、罫線部を除去することにより抽出する技術等、欠損部が生じ得る追記画像の抽出技術であれば如何なる技術に対しても適用することができる。この場合も、上記実施の形態と同様の効果を奏することができる。
【０１０１】
その他、上記実施の形態で説明した画像処理システム１０や画像処理装置２０の構成（図１〜図３参照。）は一例であり、本発明の主旨を逸脱しない範囲内において不要な部分を削除したり、新たな部分を追加したりすることができることは言うまでもない。
【０１０２】
更に、上記実施の形態で説明した画像処理プログラム及び欠損補間処理ルーチン・プログラムの処理の流れ（図１０，図１１参照。）も一例であり、本発明の主旨を逸脱しない範囲内において不要なステップを削除したり、新たなステップを追加したり、処理順序を入れ替えたりすることができることは言うまでもない。
【図面の簡単な説明】
【０１０３】
【図１】実施の形態に係る画像処理システムの構成を示すブロック図である。
【図２】実施の形態に係る画像処理装置の電気系の要部構成を示すブロック図である。
【図３】実施の形態に係る画像処理装置の機能的な構成を示す機能ブロック図である。
【図４】実施の形態に係る差分抽出処理の説明に供する図である。
【図５】実施の形態に係る細線化処理の説明に供する図である。
【図６】実施の形態に係る追跡ポイント設定処理の説明に供する図である。
【図７】実施の形態に係る合成処理の説明に供する図である。
【図８】実施の形態に係る接触大面積領域数の説明に供する図である。
【図９】実施の形態に係る画像処理システムで適用する補間線長（欠損線分の長さ）毎の信頼度を示す情報を模式的に示すグラフである。
【図１０】実施の形態に係る画像処理プログラムの処理の流れを示すフローチャートである。
【図１１】実施の形態に係る欠損補間処理ルーチン・プログラムの処理の流れを示すフローチャートである。
【図１２】実施の形態に係る画像処理プログラムの実行によって表示される表示画面の一例を示す図である。
【図１３】補間線長（欠損線分の長さ）毎の信頼度を示す情報の他の例を模式的に示すグラフである。
【符号の説明】
【０１０４】
１０ 画像処理システム
２０ 画像処理装置
２０Ａ ＣＰＵ
２０Ｂ ＲＡＭ
２０Ｃ ＲＯＭ
２０Ｄ ハードディスク
２０Ｆ ディスプレイ（表示手段）
２１ 差分抽出部（抽出手段）
２２ 細線化部
２３ 細線化部
２４ 欠損線分特定部（特定手段）
２５ 合成部（補間手段）
２６ 補間線長導出部
２７ 連結領域数導出部
２８ 大面積領域検出部
２９ 接触判定部
３０ 信頼度導出部（導出手段）
４０ 画像読取装置
【技術分野】
【０００１】
本発明は、画像処理装置及び画像処理プログラムに関する。
【背景技術】
【０００２】
特許文献１には、特別なカラーフィルタや特別なフォーム等を用いる必要なく、フォームに書き加えられた情報をフォーム自体に含まれている情報から識別することを目的として、情報が書き加えられる前のドキュメントの画像を第１画像として取得し、情報が書き加えられた後のドキュメントの画像を第２画像として取得し、第２画像から第１画像を差し引き、差し引いた結果の画像を作成し、差し引き画像において、第２画像から第１画像を差し引いたことによって除去された、ユーザによって書き加えられた情報の除去部分を修復する技術が開示されている。
【０００３】
また、特許文献２には、電子文書と加筆重畳画像とからの加筆抽出の際に、加筆情報が存在しない領域での引き残しの発生を抑制でき、かつ、より精度の高い加筆抽出を行うことができる加筆抽出装置を提供することを目的として、電子文書の原稿画像と前記電子文書を紙へ出力した後に手書きの加筆が重畳した状態でスキャナ等の画像読取装置で再び電子化された画像とから文字認識を用いて所望の領域を小領域に分割し、該小領域毎に加筆抽出操作の必要性の有無を判定する領域分割手段と、前記領域分割手段によって分割され差分計算が必要と判定された前記小領域に対して差分計算を行う画像差分手段と、前記画像差分手段によって差分処理された画像に対して補間処理を行う画像補間手段と、を有する技術が開示されている。
【０００４】
更に、特許文献３には、欠損部を有するデータについての欠損部解消修復処理を効率的かつ正確に実行する装置を提供することを目的として、欠損部を有する修復対象データを入力し、欠損部を解消した復元データを生成する画像処理装置であって、欠損部を有する修復対象データの細線化処理を実行する細線化処理手段と、前記細線化処理手段における処理結果を入力して、端点抽出処理を実行する端点抽出手段と、前記端点抽出手段の抽出した端点から、接続対象とする接続端点ペアを抽出する接続端点ペア抽出手段と、前記接続端点ペア抽出手段の抽出した接続端点ペア間を接続する接続手段と、を有する技術が開示されている。
【特許文献１】特開平８−６３５４６号公報
【特許文献２】特開２００４−２１３２３０号公報
【特許文献３】特開２００６−３５０６８０号公報
【発明の開示】
【発明が解決しようとする課題】
【０００５】
本発明は、以上のような技術背景においてなされたものであり、追記画像の欠損部に対して施された補間処理の信頼度を導出することができる画像処理装置及び画像処理プログラムを提供することを目的とする。
【課題を解決するための手段】
【０００６】
上記目的を達成するために、請求項１に記載の画像処理装置は、追記が行われた原稿の画像から欠損部が生じ得る状態で追記画像を抽出する抽出手段と、前記抽出手段によって抽出された追記画像の欠損部を特定する特定手段と、前記特定手段によって特定された欠損部を画像によって補間する補間処理を行う補間手段と、前記補間手段による補間状況に基づいて前記補間手段による補間処理の信頼度を導出する導出手段と、を備えている。
【０００７】
また、請求項２に記載の発明は、請求項１に記載の発明において、前記導出手段によって導出された信頼度を示す情報を表示する表示手段を更に備えたものである。なお、上記表示手段による表示には、可視表示による表示、可聴表示による表示、及び永久可視表示による表示が含まれる。
【０００８】
また、請求項３に記載の発明は、請求項１又は請求項２に記載の発明において、前記導出手段が、前記補間手段による補間処理に用いられた画像における欠損部との接続点間の長さ、当該画像の欠損部との接続点間の直線距離、当該画像に接触している前記追記が行われる前の前記原稿の画像における所定面積以上とされたベタ画像の数、及び前記補間手段による補間処理後の連結領域の数の少なくとも１つを用いて前記信頼度を導出するものである。
【０００９】
また、請求項４に記載の発明は、請求項３に記載の発明において、前記導出手段が、前記接続点間の長さを用いて前記信頼度を導出する場合は当該長さが長くなるほど低くなるように前記信頼度を導出し、前記接続点間の直線距離を用いて前記信頼度を導出する場合は当該直線距離が長くなるほど低くなるように前記信頼度を導出し、前記ベタ画像の数を用いて前記信頼度を導出する場合は当該ベタ画像の数が多くなるほど低くなるように前記信頼度を導出し、前記連結領域の数を用いて前記信頼度を導出する場合は当該連結領域の数が多くなるほど低くなるように前記信頼度を導出するものである。
【００１０】
また、請求項５に記載の発明は、請求項１〜請求項４の何れか１項に記載の発明において、前記抽出手段によって抽出された追記画像を細線化する細線化手段を更に備え、前記補間手段が、前記特定手段によって特定された欠損部を線画像によって補間するものである。
【００１１】
一方、上記目的を達成するために、請求項６に記載の画像処理プログラムは、追記が行われた原稿の画像から欠損部が生じ得る状態で追記画像を抽出する抽出ステップと、前記抽出ステップによって抽出された追記画像の欠損部を特定する特定ステップと、前記特定ステップによって特定された欠損部を画像によって補間する補間処理を行う補間ステップと、前記補間ステップによる補間状況に基づいて前記補間ステップによる補間処理の信頼度を導出する導出ステップと、をコンピュータに実行させるものである。
【発明の効果】
【００１２】
請求項１及び請求項６記載の発明によれば、追記画像の欠損部に対して施された補間処理の信頼度を導出することができる、という効果が得られる。
【００１３】
また、請求項２記載の発明によれば、本発明を適用しない場合に比較して、補間処理の信頼度を把握しやすくすることができる、という効果が得られる。
【００１４】
また、請求項３及び請求項４記載の発明によれば、本発明を適用しない場合に比較して、より簡易に補間処理の信頼度を導出することができる、という効果が得られる。
【００１５】
また、請求項５記載の発明によれば、細線化された状態で欠損部を補間する際に本発明を適用することができる、という効果が得られる。
【発明を実施するための最良の形態】
【００１６】
以下、図面を参照して本発明の実施の形態を詳細に説明する。
【００１７】
図１には、本発明が適用された画像処理システム１０の構成例が示されている。同図に示されるように、本実施の形態に係る画像処理システム１０は、パーソナル・コンピュータ等の画像処理装置２０と、スキャナ等の画像読取装置４０とを備えている。画像処理装置２０と画像読取装置４０は電気的に接続されており、画像処理装置２０は画像読取装置４０による読み取りによって得られた画像データを画像読取装置４０から取得することができる。
【００１８】
本実施の形態に係る画像処理システム１０は、手書きによる追記や押印等による追記が行われる前の原稿（以下、「追記前原稿」という。）と、当該追記が行われた後の原稿（以下、「追記後原稿」という。）を画像読取装置４０によって読み取り、これによって得られた２つの画像データに基づき、画像処理装置２０により、追記が行われた箇所を特定し、特定した箇所から追記された画像部分を検出する処理を行うものである。なお、以下では、追記前原稿の読み取りによって得られた画像データを「追記前画像データ」といい、当該追記前画像データにより示される画像を「追記前画像」といい、追記後原稿の読み取りによって得られた画像データを「追記後画像データ」といい、当該追記後画像データにより示される画像を「追記後画像」という。
【００１９】
本実施の形態に係る画像読取装置４０は、読み取りによって得る画像データを２値画像データとして取得するモノクロ・スキャナを適用しているが、これに限るものでないことは言うまでもない。
【００２０】
次に、図２を参照して、画像処理システム１０において特に重要な役割を有する画像処理装置２０の電気系の要部構成を説明する。
【００２１】
同図に示すように、本実施の形態に係る画像処理装置２０は、画像処理装置２０全体の動作を司るＣＰＵ（中央処理装置）２０Ａと、ＣＰＵ２０Ａによる各種処理プログラムの実行時のワークエリア等として用いられるＲＡＭ（Random Access Memory）２０Ｂと、各種制御プログラムや各種パラメータ等が予め記憶されたＲＯＭ（Read Only Memory）２０Ｃと、各種情報を記憶するために用いられる記憶手段であるハードディスク２０Ｄと、各種情報を入力するために用いられるキーボード２０Ｅと、各種情報を表示するために用いられるディスプレイ２０Ｆと、外部装置との各種情報の授受を司る入出力インタフェース（Ｉ／Ｆ）２０Ｇと、が備えられており、これら各部はシステムバスＢＵＳにより電気的に相互に接続されている。ここで、入出力インタフェース２０Ｇには、前述した画像読取装置４０が接続されている。
【００２２】
従って、ＣＰＵ２０Ａは、ＲＡＭ２０Ｂ、ＲＯＭ２０Ｃ、及びハードディスク２０Ｄに対するアクセス、キーボード２０Ｅを介した各種入力情報の取得、ディスプレイ２０Ｆに対する各種情報の表示、及び入出力インタフェース２０Ｇを介した画像読取装置４０との各種情報の授受を、各々行うことができる。
【００２３】
図３は、本実施の形態に係る画像処理装置２０の機能的な構成を示す機能ブロック図である。
【００２４】
同図に示されるように、本実施の形態に係る画像処理装置２０は、差分抽出部２１と、細線化部２２と、細線化部２３と、欠損線分特定部２４と、合成部２５と、補間線長導出部２６と、連結領域数導出部２７と、大面積領域検出部２８と、接触判定部２９と、信頼度導出部３０とを備えている。
【００２５】
なお、上記差分抽出部２１は、追記前画像データと追記後画像データとを入力して、これらの画像データから対応する画素毎に差分を演算することにより追記画像を示す追記画像データを抽出する。この差分抽出処理は、従来の処理と同様であり、特開２００４−２１３２３０号公報、特開２００４−３４１９１４号公報等に記載された処理と同様の処理により実現される。例えば、追記前画像データの座標位置（ｘ，ｙ）と、追記後画像データの対応する座標位置（ｘ，ｙ）の差分の有無を検出し、差分が存在する場合にのみデータを抽出する。
【００２６】
この差分抽出処理の一例を、図４を参照しつつ説明する。なお、図４に示す例では、追記前原稿５２と追記後原稿５４から差分を抽出する場合の一例について示している。追記後原稿５４には、元々の追記前原稿５２には含まれない追記された追記画像５６が含まれる。
【００２７】
差分抽出部２１は、追記前原稿５２と追記後原稿５４から対応する画素毎に差分抽出を行うことによって、追記画像データ５８を生成する。但し、同図から理解されるように、差分抽出によって得られる追記画像データ５８により示される追記画像は、追記前画像データとの重なり部（図に示す追記前原稿５２に元々記載されている文字列「ますか」との重なり部）が途切れた不完全なものである。この追記画像データ５８が、図３に示される差分抽出部２１が出力する追記画像データに相当する。
【００２８】
また、上記細線化部２２及び細線化部２３は、各々追記画像データと、追記後画像データに対する細線化処理を実行する。この細線化処理は、処理対象の画像に含まれる線分を、一例として１画素の幅を持つ細線データとする処理である。
【００２９】
図５に細線化部２２及び細線化部２３により実行される細線化処理の具体例を示す。細線化部２２は、差分抽出部２１による差分抽出処理によって抽出した追記画像データに対する細線化処理を実行する。図５（Ａ）に示す追記画像データ５８に対する細線化処理によって、細線化追記画像６０を生成して欠損線分特定部２４に出力する。
【００３０】
一方、細線化部２３は、追記後画像データを入力して細線化処理を実行する。図５（Ｂ）に示す追記後原稿５４の細線化によって、細線化追記後画像６２を生成して欠損線分特定部２４に出力する。
【００３１】
なお、追記画像データに対する細線化処理の前段階として、追記画像データに対して膨張処理を施すことにより太線化を施して、微小な欠損部を消滅させた後、細線化処理を実行する構成としてもよい。なお、上記膨張処理（太線化処理）は、線分等の有効画像領域を上下左右にｎ画素膨らませる処理である。この膨張処理によって、微小な欠損部を消滅させることが可能となる。その後、細線化処理を実行することで、比較的大きな欠損部のみが残った細線化データを生成することができる。
【００３２】
また、上記欠損線分特定部２４は、細線化部２２から細線化追記画像データを入力する一方、細線化部２３から細線化追記後画像データを入力し、細線化追記画像データにより示される細線化追記画像の端点を追跡ポイントとして抽出する。以下、図６を参照して、この処理について具体的に説明する。
【００３３】
同図における細線化追記画像６０は、細線化部２２から入力される画像であり、差分抽出部２１による差分抽出処理によって抽出した追記画像のみを示す細線化画像である。欠損線分特定部２４は、この細線化追記画像６０から端点を抽出する。図６に示される画像６４は、細線化追記画像６０の一部領域のみを抽出して示した画像である。図６に示される画像６４では端点Ｓ１及び端点Ｓ２が抽出される。
【００３４】
更に、欠損線分特定部２４は、細線化部２３から入力された細線化追記後画像６２において、細線化追記画像６０から抽出された端点Ｓ１，Ｓ２の対応位置を検出し、この各ポイントを追跡ポイントＰ１，Ｐ２，…として設定する。基本的には、細線化追記画像上の追跡ポイントＰｎは、細線化されたライン上に設定されるが、細線化処理の状況によっては、追跡ポイントがライン上に設定されない場合がある。この場合は、端点Ｓｎに対応する細線化追記後画像６２上の位置に最も近い細線化ライン上の位置に追跡ポイントＰｎとして設定する。なお、図６に示す追跡ポイント設定画像６６では、２つの追跡ポイントＰ１，Ｐ２の設定例を示しているが、欠損線分特定部２４は、細線化追記画像に含まれる全ての端点Ｓｎに対応する追跡ポイントＰｎを、細線化追記後画像上に設定する。
【００３５】
次に、欠損線分特定部２４は、設定した追跡ポイントＰｎを細線化追記後画像上の細線に沿って１画素ずつ移動させる追跡処理を実行する。なお、この際の追跡方向は、細線化追記後画像上の細線上で、細線化追記画像６０に含まれない細線が存在する方向とする。なお、この処理において、細線の分岐点や交点に至った場合は、追跡ポイントを増加する細線に応じて増加させて移動を行う。
【００３６】
そして、欠損線分特定部２４は、以上のような追跡ポイントＰｎの移動を、以下に示される終了条件の何れかに該当する場合に終了させる。
【００３７】
終了条件１：ある追跡ポイントと、他の追跡ポイントの位置が同じになったとき、これら同一位置に達した複数の追跡ポイントの移動を終了させる。
【００３８】
終了条件２：追跡ポイントが、細線化追記画像に含まれる細線に相当する位置に達したとき、その追跡ポイントの移動を終了させる。
【００３９】
終了条件３：ある追跡ポイントの移動を終了させる際、該移動終了追跡ポイントが交点又は分岐点を通過している場合、その交点又は分岐点において新たに発生された追跡ポイントの移動を終了させる。
【００４０】
以上の追跡ポイントを設定する処理、追跡ポイントを移動させる処理、及び追跡ポイントの移動を終了させる処理により、細線化追記後画像上に設定した追跡ポイントＰｎは、細線化追記後画像上の細線に沿ってある軌跡を残す。欠損線分特定部２４は、この軌跡を欠損線分として、合成部２５に出力する。
【００４１】
また、上記合成部２５は、欠損線分特定部２４から入力された欠損線分と、細線化部２２から入力された細線化追記画像データを合成する合成処理を実行することにより、修復追記画像データを生成して出力する。
【００４２】
以下、合成部２５により実行される合成処理の具体例について、図７を参照しつつ説明する。図７に示される細線化追記画像６０は、細線化部２２によって生成されたものである。また、図７に示される欠損線分画像６８は、欠損線分特定部２４によって生成された欠損線分によって構成される画像である。なお、この画像にはａ，ｂ，ｃ，ｄ，ｅの５つの欠損線分が含まれる。
【００４３】
合成部２５は、これらの図７に示される細線化追記画像６０と欠損線分画像６８の合成処理を実行する。この結果、図７に示される修復追記画像データ７０が生成される。
【００４４】
図７に示される欠損線分画像６８は、図７に示される細線化追記画像６０の欠損部に相当する線分によって構成される。この線分は、欠損線分特定部２４における追跡ポイントの移動処理によって生成される線分である。欠損線分特定部２４では、追記前画像と追記画像の双方を含む追記後原稿に対応する細線化追記後画像データ上の細線上を移動させることで、線分ａ〜ｅを抽出している。
【００４５】
この細線化追記後画像データ上の細線には、追記画像における欠損部に相当する線分に基づく細線が含まれている。従って、先に図６を参照して説明した端点Ｓｎに相当する追跡ポイントＰｎを設定して細線上を移動させることで、図７に示す線分ａ〜ｅが生成される。これらの線分ａ〜ｅは、細線化追記画像６０の欠損部に相当する線分として合成部２５に出力され、合成処理によって図７に示される細線化追記画像６０の欠損部が、欠損線分画像６８の出力する画像に含まれる線分によって修復され、図７に示す修復追記画像データ７０が生成される。
【００４６】
なお、修復追記画像データは細線化されたままであるため、このデータに対して膨張処理を施して、太線化して出力する構成としてもよい。膨張処理（太線化処理）は、線分等の有効画像領域を上下左右にｎ画素膨らませる処理である。この処理により、細線化データは膨張して太線に復元される。
【００４７】
一方、上記補間線長導出部２６は、欠損線分特定部２４によって得られた欠損線分を入力し、当該欠損線分の長さを示す補間線長情報を導出して信頼度導出部３０に出力する。なお、本実施の形態に係る補間線長導出部２６では、上記欠損線分の長さとして、当該欠損線分を構成する画像の画素数を適用しているが、これに限るものではなく、例えば、欠損線分が平均的に２画素以上の太さを有する場合には、上記欠損線分を構成する画像の画素数を当該平均的な太さで除算して得られた値等、欠損線分の長さを示す物理量であれば如何なるものも欠損線分の長さとして適用することができる。また、補間線長導出部２６では、入力された欠損線分が複数存在する場合には、当該複数の欠損線分の各々の長さの合算値を上記補間線長情報として算出しているが、これに限らず、例えば、当該複数の欠損線分の長さの最大値や、平均値等を上記補間線長情報として導出するようにしてよい。
【００４８】
また、上記連結領域数導出部２７は、合成部２５によって得られた修復追記画像データを入力し、当該修復追記画像データにより示される画像を対象として、黒連結領域の数を示す連結領域数情報を導出して、信頼度導出部３０に出力する。なお、本実施の形態に係る連結領域数導出部２７では、上記黒連結領域の数を、ラベリング（Labeling）処理によって導出するものとされているが、これに限るものではなく、他の従来既知の連結領域を抽出するアルゴリズムを適用できることは言うまでもない。
【００４９】
また、上記大面積領域検出部２８は、追記前画像データを入力し、当該追記前画像データにより示される追記前画像に含まれる所定面積以上の画像領域（以下、「大面積領域」という。）を検出して、当該大面積領域の画像を示す画像データ（以下、「大面積画像データ」という。）を接触判定部２９に出力する。このように、本実施の形態では、大面積領域検出部２８により用いる画像データを追記前画像データとしているが、これに限るものではなく、追記後画像データを用いることもできる。但し、この場合は、追記画像の影響により、追記前画像データを用いる場合に比較して、大面積領域の抽出精度が低下する場合があるため、本実施の形態のように追記前画像データを用いることが好ましい。
【００５０】
本実施の形態に係る大面積領域検出部２８では、上記大面積領域の検出を次のように行う。
【００５１】
まず、追記前画像データに対してラベリング処理を行う。これにより、追記前画像データにより示される画像の黒連結領域毎に異なるラベルが付与される。
【００５２】
次に、同一のラベルが付された黒連結領域毎に外接矩形の幅及び高さが所定値以上のものを抽出する。なお、上記所定値は、画像処理システム１０の用途や画像読取装置４０の仕様等によって予め定められるものであり、ユーザによって入力された値を適用するものとしてもよい。また、この際の上記外接矩形の幅及び高さに対する上記所定値は同一値とすることに限らず、異なる値を適用してもよい。
【００５３】
そして、以上によって抽出された黒連結領域毎に外接矩形内の全画素数に対する黒画素数の割合を導出し、当該割合が所定割合以上である黒連結領域を大面積領域であるものとして特定（検出）する。なお、上記所定割合もまた、画像処理システム１０の用途や画像読取装置４０の仕様等によって予め定められるものであり、ユーザによって入力された値を適用するものとしてもよい。
【００５４】
このように、本実施の形態に係る大面積領域の検出処理では、所定面積以上の黒連結領域で、かつ外接矩形内の全画素数に対する黒画素数の割合が所定割合以上である黒連結領域を大面積領域として検出しているが、これは、当該黒画素数の割合が小さい場合には、表等の罫線により囲まれた領域である可能性が高く、この領域を処理の対象から外すためである。
【００５５】
また、上記接触判定部２９は、差分抽出部２１から出力された追記画像データと大面積領域検出部２８から出力された大面積画像データを入力し、追記画像データにより示される追記画像と大面積画像データにより示される大面積画像との接触状態を判定し、追記画像に接触している大面積領域の数を示す接触大面積領域数情報を信頼度導出部３０に出力する。
【００５６】
なお、本実施の形態に係る接触判定部２９では、上記接触状態の判定を、追記画像及び大面積画像の何れか一方の画像に対して１画素分だけ膨張処理を行い、他方の画像と対応する画素毎に論理積を演算し、この結果、黒画素が残っていれば接触しているものと判定し、残っていなければ接触していないものと判定する方法を適用しているが、これに限るものではない。例えば、上記膨張処理を行う際の膨張させる画素数を２画素以上とする形態や、大面積画像と追記画像の合成前及び合成後にラベリング処理を行い、合成後にラベル数が増加していれば接触していないものと判定し、合成後にラベル数が同数又は減少していれば接触しているものと判定する方法等を適用する形態とすることもできる。
【００５７】
更に、上記信頼度導出部３０は、補間線長導出部２６によって導出された補間線長情報により示される欠損線分の長さ、連結領域数導出部２７によって導出された連結領域数情報により示される黒連結領域の数、及び接触判定部２９によって導出された接触大面積領域数情報により示される大面積領域の数に基づいて、欠損線分特定部２４及び合成部２５による、追記画像の欠損部に対する補間処理の信頼度を示す信頼度情報を導出して出力する。
【００５８】
ここで、上記欠損線分の長さが長くなるほど、当該欠損線分による補間処理の対象となる空間が広いことになるため、当該補間処理の信頼度は低下する。
【００５９】
また、上記黒連結領域の数が多くなるほど、上記欠損線分による補間処理後の追記画像の分離数が多いことになるため、上記補間処理の信頼度は低下する。
【００６０】
更に、上記大面積領域の数が多くなるほど、一例として図８に示すように、当該大面積領域に接触している追記画像における欠損部分が広いことになるため、上記補間処理の信頼度は低下する。
【００６１】
そこで、本実施の形態に係る信頼度導出部３０では、上記欠損線分の長さが長くなるほど低くなるように信頼度情報を導出し、上記黒連結領域の数が多くなるほど低くなるように信頼度情報を導出し、上記大面積領域の数が多くなるほど低くなるように信頼度情報を導出する。
【００６２】
なお、本実施の形態に係る画像処理システム１０では、一例として図９に示されるような、補間線長（欠損線分の長さ）毎の信頼度を示す情報がＲＯＭ２０Ｃ等の記憶手段に予め記憶されており、当該情報を用いることによって信頼度情報を導出するものとされている。
【００６３】
ここで、上記補間線長毎の信頼度を示す情報の作成手順について説明する。
【００６４】
まず、上記黒連結領域の数と上記大面積領域の数の組み合わせを、予め定められた複数のグループに分類する。なお、本実施の形態に係る画像処理システム１０では、上記複数のグループとして、次の第１グループ〜第３グループの３つのグループを適用している。
・第１グループ：黒連結領域の数と大面積領域の数の合計が１であるグループ。
・第２グループ：黒連結領域の数と大面積領域の数の合計が２であるグループ。
・第３グループ：黒連結領域の数と大面積領域の数の合計が３であるグループ。
【００６５】
次に、次の（１）式により、上記第１〜第３グループの各々毎に上記補間線長の最小値（１画素）における信頼度Ｔを算出する。なお、（１）式におけるＧは、対応するグループにおける黒連結領域の数と大面積領域の数の合計を表す。
【００６６】
【数１】
この演算により、第１グループに対応する信頼度Ｔとして１００％（＝１００／１）が、第２グループに対応する信頼度Ｔとして５０％（＝１００／２）が、第３グループに対応する信頼度Ｔとして３３％（≒１００／３）が、各々算出される。
【００６７】
そして、上記第１〜第３グループの各々毎に、予め定められた条件に従って上記補間線長が長くなるほど低下するように信頼度を決定する。なお、本実施の形態に係る画像処理システム１０では、一例として図９に示されるように、上記予め定められた条件として、上記第１〜第３グループの各グループに共通の最低信頼度（一例として、５％）と当該最低信頼度となる補間線長とを想定し、上記（１）式によって算出された各グループ毎の信頼度Ｔと上記最低信頼度とを直線で結ぶようにする条件を適用しているが、これに限るものではない。
【００６８】
信頼度導出部３０によって導出された信頼度情報は、合成部２５によって得られた修復追記画像を用いた各種処理（当該修復追記画像そのものを表示する処理、当該修復追記画像に対する文字認識処理等）に用いることができるが、本実施の形態に係る画像処理システム１０では、修復追記画像に対応させて信頼度を表示するために用いるものとされている。
【００６９】
なお、以上のように構成された画像処理装置２０の各構成要素（差分抽出部２１、細線化部２２、細線化部２３、欠損線分特定部２４、合成部２５、補間線長導出部２６、連結領域数導出部２７、大面積領域検出部２８、接触判定部２９、信頼度導出部３０）による処理は、プログラムを実行することにより、コンピュータを利用してソフトウェア構成により実現することができる。この場合、当該プログラムに本発明の画像処理プログラムが含まれることになる。但し、ソフトウェア構成による実現に限られるものではなく、ハードウェア構成や、ハードウェア構成とソフトウェア構成の組み合わせによって実現することもできることは言うまでもない。
【００７０】
以下では、本実施の形態に係る画像処理システム１０が、上記プログラム（以下、「画像処理プログラム」という。）を実行することにより上記各構成要素による処理を実現するものとされている場合について説明する。この場合、当該画像処理プログラムを画像処理装置２０に予めインストールしておく形態や、コンピュータ読み取り可能な記録媒体に格納された状態で提供される形態、有線又は無線による通信手段を介して配信される形態等を適用することができる。
【００７１】
次に、図１０を参照して、本実施の形態に係る画像処理システム１０の作用を説明する。なお、図１０は、画像処理装置２０のＣＰＵ２０Ａにより実行される画像処理プログラムの処理の流れを示すフローチャートである。また、ここでは、錯綜を回避するために、処理対象とする追記前画像データ及び追記後画像データが同一サイズの原稿画像を示すものとして画像読取装置４０から入力され、ハードディスク２０Ｄの所定領域に予め記憶されている場合について説明する。
【００７２】
同図のステップ１００では、処理対象とする追記前画像データ及び追記後画像データをハードディスク２０Ｄから読み出すことにより取得し、次のステップ１０２では、前述した差分抽出部２１による処理と同様の処理によって追記画像データ（図４も参照。）を抽出する。
【００７３】
次のステップ１０４では、前述した細線化部２２による処理と同様の処理によって追記画像データに対して細線化処理を実行し、次のステップ１０６では、前述した細線化部２３による処理と同様の処理によって追記後画像データに対して細線化処理を実行し、更に次のステップ１０８では、追記後画像データに対してラベリング処理を実行することにより、当該追記後画像データにより示される追記後画像を連結領域毎に分割する。なお、本実施の形態では、このように、追記後画像の連結領域毎の分割をラベリング処理によって行っているが、これに限らず、連結領域毎に分割することのできる処理であれば如何なる処理も適用することができる。
【００７４】
次のステップ１１０では、欠損補間処理ルーチン・プログラムを実行する。以下、図１１を参照して、欠損補間処理ルーチン・プログラムについて説明する。本欠損補間処理ルーチン・プログラムにより実行される処理は、前述した欠損線分特定部２４及び合成部２５により実行される処理に相当する。なお、本欠損補間処理ルーチン・プログラムは、１回の実行により、上記ステップ１０８の処理によって分割された連結領域のうちの１つの領域を処理対象（以下、「処理対象連結領域」という。）とするものであり、全ての分割された連結領域について処理するために、当該連結領域の数だけ繰り返し実行されるものである。
【００７５】
同図のステップ２００では、細線化追記画像から端点Ｓｉを抽出し、次のステップ２０２では、抽出した端点の総数をＮ１とする。
【００７６】
次のステップ２０４では、端点の番号ｉの初期化処理としてｉに１を設定し、次のステップ２０６では、細線化追記後画像中の端点Ｓｉに対応する位置に追跡ポイントＰｉを設定し、次のステップ２０８にて、ｉが端点総数Ｎ１より小さいか否か判定し、肯定判定となった場合はステップ２１０に移行してｉを１だけインクリメントした後に上記ステップ２０６に戻る一方、否定判定となった時点でステップ２１２に移行する。上記ステップ２０６〜ステップ２１０の繰り返し処理によって、端点総数Ｎ１に相当する追跡ポイントＰｎが細線化追記後画像に設定される。
【００７７】
ステップ２１２では、追跡ポイントの移動ドット数ｄの初期設定としてｄに０（零）を代入し、次のステップ２１４にて、追跡ポイントＰｉの総数を算出し、更に、次のステップ２１６にて、算出した総数をＮ２に代入する。
【００７８】
次のステップ２１８では、追跡ポイントＰｉのうちの１つを選択してＰ１とし、次のステップ２２０にて、追跡ポイントＰｉを細線化追記後画像上の細線上で１画素移動させる。
【００７９】
次のステップ２２２では、上記ステップ２２０による追跡ポイントの移動先が行き止まりであるか否かを判定し、肯定判定となった場合はステップ２２３に移行して追跡終了とした後にステップ２３６に移行する一方、否定判定となった場合には、ステップ２２４に移行して、上記ステップ２２０による追跡ポイントの移動先が他の追跡ポイントと重なったか否かを判定し、肯定判定となった場合は後述するステップ２２８に移行する一方、否定判定となった場合にはステップ２２６に移行する。
【００８０】
ステップ２２６では、上記ステップ２２０による追跡ポイントの移動先が細線化追記画像上の細線上の位置に一致したか否かを判定し、肯定判定となった場合はステップ２２８に移行して、追跡ポイントの移動軌跡をオン画素に変更、すなわち、有効な欠損線分構成画素として設定し、次のステップ２３０にて追跡を終了した後にステップ２３６に移行する。なお、この追跡の終了に際しては、追跡ポイントの移動過程で、交差点又は分岐点の発生に伴って新たに発生させた追跡ポイントが存在する場合には、その発生追跡ポイントも終了させる。
【００８１】
一方、上記ステップ２２６において否定判定となった場合にはステップ２３２に移行し、上記ステップ２２０による追跡ポイントの移動先により追跡ポイントが交点又は分岐点に達したか否かを判定し、肯定判定となった場合はステップ２３４に移行して、交点又は分岐点において増加する細線数に応じて追跡ポイントを分割して、新たな追跡ポイントを追加し、その後にステップ２３６に移行する。なお、上記ステップ２３２において否定判定となった場合には、何ら処理を行うことなくステップ２３６に移行する。
【００８２】
ステップ２３６では、次の追跡ポイントの処理に移行するため、追跡ポイントＰｉの識別番号ｉを１だけインクリメントさせ、次のステップ２３８にて、ｉが追跡ポイント総数未満であるか否かを判定し、肯定判定となった場合は上記ステップ２２０に戻る一方、否定判定となった場合には、ステップ２４０に移行して、移動ドット数ｄを１だけインクリメントさせた後、次のステップ２４２にて、移動ドット数ｄが、予め設定済みのドット移動数の上限閾値より小さいか否かを判定し、肯定判定となった場合は上記ステップ２１４に戻る一方、否定判定となった場合にはステップ２４４に移行する。
【００８３】
以上の処理により、前述した欠損線分特定部２４によって出力されるものと同様の欠損線分画像（図７も参照。）を示す画像データが得られる。
【００８４】
ステップ２４４では、上記ステップ１０４の処理によって得られた細線化追記画像と、以上の処理によって得られた欠損線分画像の合成処理を実行する。この結果、例えば、図７に示される修復追記画像データ７０が生成される。修復追記画像データは、細線化追記画像に含まれる欠損部が修復された画像とされる。なお、前述したように、この細線化データを膨張処理によって太線化する処理を施す構成としてもよい。
【００８５】
なお、以上の欠損補間処理ルーチン・プログラムの処理は、本発明の発明者による特願２００５−３６６１５６に詳述されているため、これ以上の説明は省略する。
【００８６】
以上の欠損補間処理ルーチン・プログラムが終了すると、画像処理プログラム（図１０参照。）のステップ１１２に移行する。
【００８７】
なお、以下に示すステップ１１２〜ステップ１２２の処理も上記処理対象連結領域毎に実行されるものである。
【００８８】
ステップ１１２では、前述した補間線長導出部２６による処理と同様の処理によって補間線長情報を導出し、次のステップ１１４では、前述した連結領域数導出部２７による処理と同様の処理によって連結領域数情報を導出し、次のステップ１１６では、前述した大面積領域検出部２８による処理と同様の処理によって大面積画像データを検出し、更に、次のステップ１１８では、前述した接触判定部２９による処理と同様の処理によって、上記ステップ１０２の処理によって得られた追記画像データと上記ステップ１１６の処理によって得られた大面積画像データに基づいて接触大面積領域数情報を導出する。
【００８９】
次のステップ１２０では、以上の処理によって得られた処理対象連結領域に関する補間線長情報、連結領域数情報、及び接触大面積領域数情報に基づいて、前述した信頼度導出部３０による処理と同様の処理によって処理対象連結領域における信頼度情報を導出し、次のステップ１２２にて、導出した信頼度情報をハードディスク２０Ｄ等の記憶手段に記憶する。
【００９０】
次のステップ１２４では、上記ステップ１０８の処理によって分割された全ての連結領域について上記ステップ１１０〜ステップ１２２の処理が終了したか否かを判定し、否定判定となった場合は上記ステップ１１０に戻る一方、肯定判定となった時点でステップ１２６に移行する。なお、上記ステップ１１０〜ステップ１２４の処理を繰り返し実行する際には、それまでに処理対象としなかった上記連結領域を処理対象連結領域とするようにする。
【００９１】
ステップ１２６では、以上の処理によって得られた信頼度情報を示す情報をディスプレイ２０Ｆにより表示し、その後に本画像処理プログラムを終了する。
【００９２】
なお、図１２には、上記ステップ１２６の処理によるディスプレイ２０Ｆによる表示画面の一例が示されている。同図に示す例では、一例として図７に示した修復追記画像データにより示される修復画像が表示されると共に、当該修復画像に対応する信頼度情報が表示されている。従って、ユーザは、当該表示画面を参照することにより、修復画像の欠損部に対する補間処理の信頼度を容易に把握することができる。
【００９３】
以上、本発明を実施の形態を用いて説明したが、本発明の技術的範囲は上記実施の形態に記載の範囲には限定されない。発明の要旨を逸脱しない範囲で上記実施の形態に多様な変更または改良を加えることができ、当該変更または改良を加えた形態も本発明の技術的範囲に含まれる。
【００９４】
また、上記の実施の形態は、クレーム（請求項）にかかる発明を限定するものではなく、また実施の形態の中で説明されている特徴の組み合わせの全てが発明の解決手段に必須であるとは限らない。前述した実施の形態には種々の段階の発明が含まれており、開示される複数の構成要件における適宜の組み合わせにより種々の発明を抽出できる。実施の形態に示される全構成要件から幾つかの構成要件が削除されても、効果が得られる限りにおいて、この幾つかの構成要件が削除された構成が発明として抽出され得る。
【００９５】
例えば、上記実施の形態では、画像処理をソフトウェア構成によって実現した場合について説明したが、本発明はこれに限定されるものではなく、例えば、当該画像処理をハードウェア構成により実現する形態とすることもできる。この場合の形態例としては、例えば、図３に示した画像処理装置２０の各構成要素（差分抽出部２１、細線化部２２、細線化部２３、欠損線分特定部２４、合成部２５、補間線長導出部２６、連結領域数導出部２７、大面積領域検出部２８、接触判定部２９、信頼度導出部３０）と同一の処理を実行する機能デバイスを作成して用いる形態が例示できる。この場合は、上記実施の形態に比較して、画像処理の高速化が期待できる。
【００９６】
また、上記実施の形態では、信頼度の導出に欠損線分の長さ（補間線長）、連結領域数、及び接触大面積領域数の３種類の情報を適用した場合について説明したが、本発明はこれに限定されるものではなく、例えば、上記３種類の情報に加えて、欠損線分の両端間の直線距離を示す情報の４種類の情報の単独、又は複数種類の組み合わせを適用する形態とすることもできる。なお、上記直線距離を示す情報を適用する場合は、当該情報により示される直線距離が長くなるほど低くなるように信頼度を導出する。この場合も、上記実施の形態と同様の効果を奏することができる。
【００９７】
また、上記実施の形態では、画像読取装置４０として、読み取りによって得る画像データを２値画像データとして取得するモノクロ・スキャナを適用した場合について説明したが、本発明はこれに限定されるものではなく、例えば、グレイスケール・モノクロ・スキャナ、カラー・スキャナ等の１画素当たりの構成ビット数が複数とされた画像データを取得するものを適用する形態とすることもできる。なお、この場合は、画像読取装置によって得られた画像データを二値化する必要がある。この場合も、上記実施の形態と同様の効果を奏することができる。
【００９８】
また、上記実施の形態では、本発明を細線化された追記画像に対して欠損部を補間する技術に適用した場合について説明したが、本発明はこれに限定されるものではなく、本発明は、細線化されていない追記画像に対して欠損部を補間する技術等に適用する形態とすることもできる。要は、補間処理に用いられた画像（欠損線分）における欠損部との接続点間の長さ（補間線長）、当該画像の欠損部との接続点間の直線距離、当該画像に接触している追記前画像における所定面積以上とされたベタ画像の数（接触大面積領域数）、及び補間処理後の連結領域の数（連結領域数）の少なくとも１つを導出可能な欠損部の補間技術であれば、如何なる技術にも本発明は適用することができる。この場合も、上記実施の形態と同様の効果を奏することができる。
【００９９】
また、上記実施の形態では、信頼度情報を導出する際に用いる情報として、図９に示される情報を適用した場合について説明したが、本発明はこれに限定されるものではなく、例えば、図１３（Ａ）〜図１３（Ｃ）に示される情報を適用する形態とすることもできる。なお、図１３（Ａ）は、図９に示したものが、第１〜第３グループの各グループに共通の最低信頼度と（１）式により算出された各グループ毎の信頼度Ｔとを直線で結ぶように導出したのに対して、上記最低信頼度を特に想定せずに、上記信頼度Ｔを線形に減少させるように導出したものである。また、図１３（Ｂ）及び図１３（Ｃ）に示したものは、信頼度Ｔを非線形に減少させるように導出したものである。この場合も、上記実施の形態と同様の効果を奏することができる。
【０１００】
また、上記実施の形態では、本発明を、追記前画像と追記後画像の差分をとることにより追記画像を抽出する技術に適用した場合について説明したが、本発明はこれに限定されるものではなく、例えば、追記画像が追記前原稿に含まれる色とは異なる色で記録されている場合における、追記画像の記録色の画像データのみを追記後画像から抽出することによって追記画像を抽出する技術や、所定位置に罫線を有する追記前原稿に対して追記された追記画像を、罫線部を除去することにより抽出する技術等、欠損部が生じ得る追記画像の抽出技術であれば如何なる技術に対しても適用することができる。この場合も、上記実施の形態と同様の効果を奏することができる。
【０１０１】
その他、上記実施の形態で説明した画像処理システム１０や画像処理装置２０の構成（図１〜図３参照。）は一例であり、本発明の主旨を逸脱しない範囲内において不要な部分を削除したり、新たな部分を追加したりすることができることは言うまでもない。
【０１０２】
更に、上記実施の形態で説明した画像処理プログラム及び欠損補間処理ルーチン・プログラムの処理の流れ（図１０，図１１参照。）も一例であり、本発明の主旨を逸脱しない範囲内において不要なステップを削除したり、新たなステップを追加したり、処理順序を入れ替えたりすることができることは言うまでもない。
【図面の簡単な説明】
【０１０３】
【図１】実施の形態に係る画像処理システムの構成を示すブロック図である。
【図２】実施の形態に係る画像処理装置の電気系の要部構成を示すブロック図である。
【図３】実施の形態に係る画像処理装置の機能的な構成を示す機能ブロック図である。
【図４】実施の形態に係る差分抽出処理の説明に供する図である。
【図５】実施の形態に係る細線化処理の説明に供する図である。
【図６】実施の形態に係る追跡ポイント設定処理の説明に供する図である。
【図７】実施の形態に係る合成処理の説明に供する図である。
【図８】実施の形態に係る接触大面積領域数の説明に供する図である。
【図９】実施の形態に係る画像処理システムで適用する補間線長（欠損線分の長さ）毎の信頼度を示す情報を模式的に示すグラフである。
【図１０】実施の形態に係る画像処理プログラムの処理の流れを示すフローチャートである。
【図１１】実施の形態に係る欠損補間処理ルーチン・プログラムの処理の流れを示すフローチャートである。
【図１２】実施の形態に係る画像処理プログラムの実行によって表示される表示画面の一例を示す図である。
【図１３】補間線長（欠損線分の長さ）毎の信頼度を示す情報の他の例を模式的に示すグラフである。
【符号の説明】
【０１０４】
１０ 画像処理システム
２０ 画像処理装置
２０Ａ ＣＰＵ
２０Ｂ ＲＡＭ
２０Ｃ ＲＯＭ
２０Ｄ ハードディスク
２０Ｆ ディスプレイ（表示手段）
２１ 差分抽出部（抽出手段）
２２ 細線化部
２３ 細線化部
２４ 欠損線分特定部（特定手段）
２５ 合成部（補間手段）
２６ 補間線長導出部
２７ 連結領域数導出部
２８ 大面積領域検出部
２９ 接触判定部
３０ 信頼度導出部（導出手段）
４０ 画像読取装置
【特許請求の範囲】
【請求項１】
追記が行われた原稿の画像から欠損部が生じ得る状態で追記画像を抽出する抽出手段と、
前記抽出手段によって抽出された追記画像の欠損部を特定する特定手段と、
前記特定手段によって特定された欠損部を画像によって補間する補間処理を行う補間手段と、
前記補間手段による補間状況に基づいて前記補間手段による補間処理の信頼度を導出する導出手段と、
を備えた画像処理装置。
【請求項２】
前記導出手段によって導出された信頼度を示す情報を表示する表示手段
を更に備えた請求項１記載の画像処理装置。
【請求項３】
前記導出手段は、前記補間手段による補間処理に用いられた画像における欠損部との接続点間の長さ、当該画像の欠損部との接続点間の直線距離、当該画像に接触している前記追記が行われる前の前記原稿の画像における所定面積以上とされたベタ画像の数、及び前記補間手段による補間処理後の連結領域の数の少なくとも１つを用いて前記信頼度を導出する
請求項１又は請求項２記載の画像処理装置。
【請求項４】
前記導出手段は、前記接続点間の長さを用いて前記信頼度を導出する場合は当該長さが長くなるほど低くなるように前記信頼度を導出し、前記接続点間の直線距離を用いて前記信頼度を導出する場合は当該直線距離が長くなるほど低くなるように前記信頼度を導出し、前記ベタ画像の数を用いて前記信頼度を導出する場合は当該ベタ画像の数が多くなるほど低くなるように前記信頼度を導出し、前記連結領域の数を用いて前記信頼度を導出する場合は当該連結領域の数が多くなるほど低くなるように前記信頼度を導出する
請求項３記載の画像処理装置。
【請求項５】
前記抽出手段によって抽出された追記画像を細線化する細線化手段を更に備え、
前記補間手段は、前記特定手段によって特定された欠損部を線画像によって補間する
請求項１〜請求項４の何れか１項記載の画像処理装置。
【請求項６】
追記が行われた原稿の画像から欠損部が生じ得る状態で追記画像を抽出する抽出ステップと、
前記抽出ステップによって抽出された追記画像の欠損部を特定する特定ステップと、
前記特定ステップによって特定された欠損部を画像によって補間する補間処理を行う補間ステップと、
前記補間ステップによる補間状況に基づいて前記補間ステップによる補間処理の信頼度を導出する導出ステップと、
をコンピュータに実行させる画像処理プログラム。
【請求項１】
追記が行われた原稿の画像から欠損部が生じ得る状態で追記画像を抽出する抽出手段と、
前記抽出手段によって抽出された追記画像の欠損部を特定する特定手段と、
前記特定手段によって特定された欠損部を画像によって補間する補間処理を行う補間手段と、
前記補間手段による補間状況に基づいて前記補間手段による補間処理の信頼度を導出する導出手段と、
を備えた画像処理装置。
【請求項２】
前記導出手段によって導出された信頼度を示す情報を表示する表示手段
を更に備えた請求項１記載の画像処理装置。
【請求項３】
前記導出手段は、前記補間手段による補間処理に用いられた画像における欠損部との接続点間の長さ、当該画像の欠損部との接続点間の直線距離、当該画像に接触している前記追記が行われる前の前記原稿の画像における所定面積以上とされたベタ画像の数、及び前記補間手段による補間処理後の連結領域の数の少なくとも１つを用いて前記信頼度を導出する
請求項１又は請求項２記載の画像処理装置。
【請求項４】
前記導出手段は、前記接続点間の長さを用いて前記信頼度を導出する場合は当該長さが長くなるほど低くなるように前記信頼度を導出し、前記接続点間の直線距離を用いて前記信頼度を導出する場合は当該直線距離が長くなるほど低くなるように前記信頼度を導出し、前記ベタ画像の数を用いて前記信頼度を導出する場合は当該ベタ画像の数が多くなるほど低くなるように前記信頼度を導出し、前記連結領域の数を用いて前記信頼度を導出する場合は当該連結領域の数が多くなるほど低くなるように前記信頼度を導出する
請求項３記載の画像処理装置。
【請求項５】
前記抽出手段によって抽出された追記画像を細線化する細線化手段を更に備え、
前記補間手段は、前記特定手段によって特定された欠損部を線画像によって補間する
請求項１〜請求項４の何れか１項記載の画像処理装置。
【請求項６】
追記が行われた原稿の画像から欠損部が生じ得る状態で追記画像を抽出する抽出ステップと、
前記抽出ステップによって抽出された追記画像の欠損部を特定する特定ステップと、
前記特定ステップによって特定された欠損部を画像によって補間する補間処理を行う補間ステップと、
前記補間ステップによる補間状況に基づいて前記補間ステップによる補間処理の信頼度を導出する導出ステップと、
をコンピュータに実行させる画像処理プログラム。
【図１】
【図２】
【図３】
【図４】
【図５】
【図６】
【図７】
【図８】
【図９】
【図１０】
【図１１】
【図１２】
【図１３】
【図２】
【図３】
【図４】
【図５】
【図６】
【図７】
【図８】
【図９】
【図１０】
【図１１】
【図１２】
【図１３】
【公開番号】特開２００８−２８２０６３（Ｐ２００８−２８２０６３Ａ）
【公開日】平成２０年１１月２０日（２００８．１１．２０）
【国際特許分類】
【出願番号】特願２００７−１２２９８５（Ｐ２００７−１２２９８５）
【出願日】平成１９年５月８日（２００７．５．８）
【出願人】（０００００５４９６）富士ゼロックス株式会社 (21,908)
【Ｆターム（参考）】
【公開日】平成２０年１１月２０日（２００８．１１．２０）
【国際特許分類】
【出願日】平成１９年５月８日（２００７．５．８）
【出願人】（０００００５４９６）富士ゼロックス株式会社 (21,908)
【Ｆターム（参考）】
[ Back to top ]