画像処理装置、および画像処理方法、並びにコンピュータ・プログラム
【課題】欠損部を有するデータについての欠損部解消修復処理を効率的にかつ正確に実行する装置、および方法を提供する。
【解決手段】例えば、原本と追記ドキュメントからの差分抽出によって取得される追記情報と、追記ドキュメントの細線化処理を実行して細線化追記抽出画像と、細線化追記ドキュメント画像を生成し、細線化追記ドキュメント画像の細線上において、細線化追記抽出画像に含まれる端点に対応する位置に、追跡ポイントを設定し細線に沿って移動させ、移動軌跡に対応する欠損線分画像を生成する。さらに、欠損線分画像と、欠損部を有する追記抽出画像との合成処理によって、修復追記抽出画像を生成する。
【解決手段】例えば、原本と追記ドキュメントからの差分抽出によって取得される追記情報と、追記ドキュメントの細線化処理を実行して細線化追記抽出画像と、細線化追記ドキュメント画像を生成し、細線化追記ドキュメント画像の細線上において、細線化追記抽出画像に含まれる端点に対応する位置に、追跡ポイントを設定し細線に沿って移動させ、移動軌跡に対応する欠損線分画像を生成する。さらに、欠損線分画像と、欠損部を有する追記抽出画像との合成処理によって、修復追記抽出画像を生成する。
【発明の詳細な説明】
【技術分野】
【０００１】
本発明は、画像処理装置、および画像処理方法、並びにコンピュータ・プログラムに関する。さらに詳細には、例えば追記情報の解析処理などにおいて行なわれる原本ドキュメントと追記ドキュメントとの差分データに含まれる欠損部の修復処理など、様々なデータ抽出処理によって得られた欠損部を含む線画データの修復を効率的に実行する画像処理装置、および画像処理方法、並びにコンピュータ・プログラムに関する。
【背景技術】
【０００２】
画像処理の分野において、例えばプリンタやＦＡＸなどから出力したドキュメントに、ユーザがペンや鉛筆、スタンプなどで追記した部分を抽出したり、セキュリティ文書が改竄されていないかどうかを検証する処理について、様々な研究、開発が行なわれている。一般的に、このような追記、改竄検証処理には、オリジナルのドキュメントデータと、追記等の可能性がある出力ドキュメントとの比較を行う処理が行なわれる。
【０００３】
すなわち、追記の検出を行なおうとする文書をスキャナなどの画像読取装置でスキャンして得たスキャン画像データと、ＰＣやプリンタなどに蓄積されている原本画像データとの差分を取り、追記画像データを得るというものである。
【０００４】
ところが、この方法では、紙文書に元からあった文字や図形などと追記した部分に重なりがある場合、原本との差分を取って追記情報を得ようとした場合、取得された追記情報に、原本との重なり部分が含まれず、追記された文字や、図形などが途切れたデータとなってしまうという問題があった。
【０００５】
このような問題点を解決することを目的とした従来技術として、例えば特許文献１がある。特許文献１は、スキャン画像から原本画像を差し引いた追記画像の途切れ修復に関する構成を開示しており、原本画像の黒画素を順次走査し、着目黒画素の８近傍に追記画像の黒画素があるとき、着目画素に相当する追記画像の画素を黒にするといった処理によって途切れを修復する構成を開示している。
【０００６】
さらに、特許文献２は、スキャン画像から原本画像を差し引く差分処理により生成した追記画像から、途切れた追記の輪郭を作成し、輪郭画像から原稿画像を更に差し引くことで接続すべき端点の座標と接続方向を検出し、さらに、その端点位置と接続方向の情報から端点同士を接続し閉曲線を構成しその内部を着色することにより、途切れの発生してしまった検出追記情報を接続して、途切れを修復した追記情報を取得する構成を開示している。
【０００７】
しかし、追記情報を検出しようとする文書のスキャン画像には画質の劣化、すなわち、かすれ具合や色合いに変化が発生している可能性が高く、場合によっては、プリントおよび追記の後、何回かコピーされているかも知れない。特に追記部分はかすれなど画質劣化が激しいため、追記情報を検出しようとする文書のスキャン画像から抽出した追記部分の輪郭は、直線ではなくジグザグになる場合が多い。このため、端点および補間方向の特定が困難となり、上記の特許文献の手法を適用しても、完全な形の修復した追記情報を取得することが困難となるという問題がある。
【０００８】
また、途切れを修復して追記情報を取得する構成において、直線の途切れのように接続すべき端点が容易に発見される場合は、大きな問題がないが、ペンや鉛筆などによって追記された文字など、複雑な線分を持つ追記情報における途切れ修復においては、接続すべき端点を正確に発見することは困難となる。上記の特許文献の手法を適用しても、正確な途切れ修復は困難である。
【特許文献１】特開平０８−０６３５４６号公報
【特許文献２】特開２００４−２１３２３０号公報
【発明の開示】
【発明が解決しようとする課題】
【０００９】
本発明は、上述の問題点に鑑みてなされたものであり、例えばドキュメントからの追記情報抽出処理において、追記情報抽出対象文書と原本との差分に基づいて抽出される差分データなどに含まれる欠損部を、効率的に正確に修復することを可能とするものであり、特に複雑な文字などに発生した途切れを、より正確に接続して修復可能とした画像処理装置、および画像処理方法、並びにコンピュータ・プログラムを提供することを目的とする。
【課題を解決するための手段】
【００１０】
本発明の第１の側面は、
欠損部を有する修復対象データを入力し、欠損部を解消した復元データを生成する画像処理を実行する画像処理装置であり、
原本ドキュメントに対して追記処理のなされた追記ドキュメントに基づく追記ドキュメント画像データを入力し、該追記ドキュメント画像から追記情報を抽出した追記抽出画像を生成する追記情報抽出手段と、
前記追記情報抽出手段の生成した追記抽出画像に含まれる追記情報の細線化処理を実行して細線化追記抽出画像を生成する第１の細線化手段と、
前記追記ドキュメントに含まれる情報の細線化処理を実行して細線化追記ドキュメント画像を生成する第２の細線化手段と、
前記細線化追記ドキュメント画像の細線上において、前記細線化追記抽出画像に含まれる端点に対応する位置に、追跡ポイントを設定して該追跡ポイントを前記細線化追記ドキュメント画像の細線に沿って移動させ、該移動軌跡に基づく欠損線分画像を生成する欠損線分特定手段と、
前記欠損線分特定手段の生成する欠損線分画像と、前記追記情報抽出手段の生成する追記抽出画像との合成処理によって、修復追記抽出画像を生成する合成手段と、
を有することを特徴とする画像処理装置にある。
【００１１】
さらに、本発明の画像処理装置の一実施態様において、前記欠損線分特定手段は、追跡ポイントを前記細線化追記ドキュメント画像の細線に沿って移動させ、予め定めた移動終了条件に基づいて移動を終了させ、移動開始から移動終了までの移動軌跡を欠損線分として設定する処理を実行する構成であることを特徴とする。
【００１２】
さらに、本発明の画像処理装置の一実施態様において、前記欠損線分特定手段は、前記追跡ポイントの移動終了条件として、
（ａ）ある追跡ポイントと、他の追跡ポイントの位置が同じになったとき、これら同一位置に達した複数の追跡ポイントの移動を終了させる、
（ｂ）追跡ポイントが、細線化追記抽出画像に含まれる細線に相当する位置に達したとき、その追跡ポイントの移動を終了させる、
（ｃ）ある追跡ポイントの移動終了時に、該移動終了追跡ポイントが交点、分岐点を通過している場合、その交点、分岐点において発生させた追跡ポイントの移動を終了させる、
上記（ａ）〜（ｃ）の終了条件に基づいて、少なくとも1つの条件が成立したとき、追跡ポイントの移動を終了させる構成であることを特徴とする。
【００１３】
さらに、本発明の画像処理装置の一実施態様において、前記追記情報抽出手段は、原本ドキュメント画像データと、前記追記ドキュメント画像データを入力し、２つの入力画像データの差分を抽出する差分抽出手段によって構成されることを特徴とする。
【００１４】
さらに、本発明の画像処理装置の一実施態様において、前記追記情報抽出手段は、追記ドキュメント画像データを入力し、該追記ドキュメント画像データから特定の色の記録情報を追記情報として抽出する色抽出手段によって構成されることを特徴とする。
【００１５】
さらに、本発明の画像処理装置の一実施態様において、前記追記情報抽出手段は、追記ドキュメント画像データを入力し、該追記ドキュメント画像データから罫線情報を削除し、罫線情報以外の情報を追記情報として抽出する罫線分離手段によって構成されることを特徴とする。
【００１６】
さらに、本発明の画像処理装置の一実施態様において、前記画像処理装置は、さらに、前記追記情報抽出手段の生成した追記画像データに含まれる追記情報の膨張処理を実行して膨張処理画像データを生成する膨張処理手段を有し、前記第１の細線化手段は、前記膨張処理手段の生成した膨張処理画像の細線化処理を実行する構成であることを特徴とする。
【００１７】
さらに、本発明の画像処理装置の一実施態様において、前記画像処理装置は、さらに、前記合成手段の生成した修復追記抽出画像に含まれる追記情報の膨張処理を実行して膨張処理画像データを生成する膨張処理手段を有することを特徴とする。
【００１８】
さらに、本発明の第２の側面は、
欠損部を有する修復対象データを入力し、欠損部を解消した復元データを生成する画像処理を実行する画像処理方法であり、
原本ドキュメントに対して追記処理のなされた追記ドキュメントに基づく追記ドキュメント画像データを入力し、該追記ドキュメント画像から追記情報を抽出した追記抽出画像を生成する追記情報抽出ステップと、
前記追記情報抽出ステップにおいて生成した追記抽出画像に含まれる追記情報の細線化処理を実行して細線化追記抽出画像を生成する第１の細線化ステップと、
前記追記ドキュメントに含まれる情報の細線化処理を実行して細線化追記ドキュメント画像を生成する第２の細線化ステップと、
前記細線化追記ドキュメント画像の細線上において、前記細線化追記抽出画像に含まれる端点に対応する位置に、追跡ポイントを設定して該追跡ポイントを前記細線化追記ドキュメント画像の細線に沿って移動させ、該移動軌跡に基づく欠損線分画像を生成する欠損線分特定ステップと、
前記欠損線分特定ステップにおいて生成する欠損線分画像と、前記追記情報抽出ステップにおいて生成する追記抽出画像との合成処理によって、修復追記抽出画像を生成する合成ステップと、
を有することを特徴とする画像処理方法にある。
【００１９】
さらに、本発明の画像処理方法の一実施態様において、前記欠損線分特定ステップは、追跡ポイントを前記細線化追記ドキュメント画像の細線に沿って移動させ、予め定めた移動終了条件に基づいて移動を終了させ、移動開始から移動終了までの移動軌跡を欠損線分として設定する処理を実行するステップであることを特徴とする。
【００２０】
さらに、本発明の画像処理方法の一実施態様において、前記欠損線分特定ステップは、前記追跡ポイントの移動終了条件として、
（ａ）ある追跡ポイントと、他の追跡ポイントの位置が同じになったとき、これら同一位置に達した複数の追跡ポイントの移動を終了させる、
（ｂ）追跡ポイントが、細線化追記抽出画像に含まれる細線に相当する位置に達したとき、その追跡ポイントの移動を終了させる、
（ｃ）ある追跡ポイントの移動終了時に、該移動終了追跡ポイントが交点、分岐点を通過している場合、その交点、分岐点において発生させた追跡ポイントの移動を終了させる、
上記（ａ）〜（ｃ）の終了条件に基づいて、少なくとも1つの条件が成立したとき、追跡ポイントの移動を終了させることを特徴とする。
【００２１】
さらに、本発明の画像処理方法の一実施態様において、前記追記情報抽出ステップは、原本ドキュメント画像データと、前記追記ドキュメント画像データを入力し、２つの入力画像データの差分を抽出する差分抽出処理を実行するステップであることを特徴とする。
【００２２】
さらに、本発明の画像処理方法の一実施態様において、前記追記情報抽出ステップは、追記ドキュメント画像データを入力し、該追記ドキュメント画像データから特定の色の記録情報を追記情報として抽出する色抽出処理を実行するステップであることを特徴とする。
【００２３】
さらに、本発明の画像処理方法の一実施態様において、前記追記情報抽出ステップは、追記ドキュメント画像データを入力し、該追記ドキュメント画像データから罫線情報を削除し、罫線情報以外の情報を追記情報として抽出する罫線分離処理を実行するステップであることを特徴とする。
【００２４】
さらに、本発明の画像処理方法の一実施態様において、前記画像処理方法は、さらに、前記追記情報抽出ステップにおいて生成した追記画像データに含まれる追記情報の膨張処理を実行して膨張処理画像データを生成する膨張処理ステップを有し、前記第１の細線化ステップは、前記膨張処理ステップにおいて生成した膨張処理画像の細線化処理を実行することを特徴とする。
【００２５】
さらに、本発明の画像処理方法の一実施態様において、前記画像処理方法は、さらに、前記合成ステップにおいて生成した修復追記抽出画像に含まれる追記情報の膨張処理を実行して膨張処理画像データを生成する膨張処理ステップを有することを特徴とする。
【００２６】
さらに、本発明の第３の側面は、
欠損部を有する修復対象データを入力し、欠損部を解消した復元データを生成する画像処理を画像処理装置において実行させるコンピュータ・プログラムであり、
原本ドキュメントに対して追記処理のなされた追記ドキュメントに基づく追記ドキュメント画像データを入力し、該追記ドキュメント画像から追記情報を抽出した追記抽出画像を生成する追記情報抽出ステップと、
前記追記情報抽出ステップにおいて生成した追記抽出画像に含まれる追記情報の細線化処理を実行して細線化追記抽出画像を生成する第１の細線化ステップと、
前記追記ドキュメントに含まれる情報の細線化処理を実行して細線化追記ドキュメント画像を生成する第２の細線化ステップと、
前記細線化追記ドキュメント画像の細線上において、前記細線化追記抽出画像に含まれる端点に対応する位置に、追跡ポイントを設定して該追跡ポイントを前記細線化追記ドキュメント画像の細線に沿って移動させ、該移動軌跡に基づく欠損線分画像を生成する欠損線分特定ステップと、
前記欠損線分特定ステップにおいて生成する欠損線分画像と、前記追記情報抽出ステップにおいて生成する追記抽出画像との合成処理によって、修復追記抽出画像を生成する合成ステップと、
を実行させることを特徴とするコンピュータ・プログラムにある。
【００２７】
なお、本発明のコンピュータ・プログラムは、例えば、様々なプログラム・コードを実行可能なコンピュータシステムに対して、コンピュータ可読な形式で提供する記憶媒体、通信媒体、例えば、ＣＤやＦＤ、ＭＯなどの記録媒体、あるいは、ネットワークなどの通信媒体によって提供可能なコンピュータ・プログラムである。このようなプログラムをコンピュータ可読な形式で提供することにより、コンピュータシステム上でプログラムに応じた処理が実現される。
【００２８】
本発明のさらに他の目的、特徴や利点は、後述する本発明の実施例や添付する図面に基づくより詳細な説明によって明らかになるであろう。なお、本明細書においてシステムとは、複数の装置の論理的集合構成であり、各構成の装置が同一筐体内にあるものには限らない。
【発明の効果】
【００２９】
本発明の構成によれば、例えば原本ドキュメントと、追記データの付加された追記ドキュメントの差分データのように欠損部を有するデータについての欠損部を解消する修復処理を効率的にかつ正確に実行することができる。具体的には、本発明の画像処理装置では、追記抽出画像に含まれる欠損部を有する追記情報の細線化処理を実行して細線化追記抽出画像を生成し、追記ドキュメントに含まれる情報の細線化処理を実行して細線化追記ドキュメント画像を生成する。さらに、細線化追記ドキュメント画像の細線上において、細線化追記抽出画像に含まれる端点に対応する位置に、追跡ポイントを設定して該追跡ポイントを細線に沿って移動させ、移動軌跡に対応する欠損線分画像を生成する。さらに、この欠損線分画像と、追記情報抽出手段の生成する欠損部を有する追記抽出画像との合成処理によって、修復追記抽出画像を生成する構成としたので、追記抽出画像に含まれる欠損部を、より正確に修復することが可能となる。
【発明を実施するための最良の形態】
【００３０】
以下、図面を参照しながら本発明の実施形態に係る画像処理装置、および画像処理方法、並びにコンピュータ・プログラムの詳細について説明する。
【００３１】
まず、図１以下を参照して、本発明の画像処理装置を適用した処理の概要について説明する。本発明の画像処理装置は、例えば図１に示す原本ドキュメント１０、および、原本ドキュメント１０に対してコメントやアンダーラインなどの様々なメモ書きを含む追記ドキュメント２０とから、差分を抽出して追記されたデータを取得する処理において、差分データの欠損部を修復する処理を行なう。なお、本発明の画像処理装置は、差分データのみならず、その他、様々な処理によって得られた欠損部を有するデータにおける欠損部を解消する処理に適用可能である。
【００３２】
図１に示す例は、その１つの処理例であり、原本ドキュメント１０と、追記ドキュメント２０とをスキャナ３０によって読み取り、原本ドキュメント画像データと、追記ドキュメント画像データを画像処理装置１００に入力して、差分情報取得処理を行い、差分データに含まれる欠損部の修復を行なって追記情報を出力する処理である。
【００３３】
背景技術の欄において説明したように、従来の差分抽出では、原本と追記との重なり部分が途切れた情報が取得されるという問題がある。例えば図２に示すように、原本ドキュメント５１と、追記ドキュメント５２がある場合、本来追記情報は、線分データ５３であるにもかかわらず、原本ドキュメント５１と、追記ドキュメント５２からの差分データを取得すると、追記抽出情報５５に示すように、原本ドキュメント５１と、追記ドキュメント５２が途切れたデータとして検出され、正しい追記データの検出ができない。本発明では、これらの途切れを修復する処理を画像処理装置１００において実行する。
【００３４】
なお、本発明における画像処理では、図２に示す差分データに基づいて検出された追記情報の修復処理のみではなく、その他の手法によって取得された様々な欠損部を含む途切れたデータの修復も実行することができる。例えば、図３（Ａ）は、原本画像を適用することなく、追記ドキュメント６１画像のみから追記抽出情報６２を抽出した処理例を示している。
【００３５】
例えば、追記データが原本画像データに含まれる異なる色（例えば赤）で記録されている場合、この追記色データのみを追記ドキュメント６１から抽出する処理によって、追記抽出情報６２が取得される。しかしこの場合も、原本データとの重なり部分は、途切れた画像として追記情報が取得される。
【００３６】
また、図３（Ｂ）は、罫線付きドキュメント７１から罫線を除去した罫線除去情報７２を取得した処理構成を示している。このような処理を行った場合、罫線部としての直線を除去することで、罫線との重なり部が除去されたデータが出力され、本来のデータの一部が欠落してしまう。
【００３７】
本発明の画像処理装置１００では、このような途切れ、欠落部を持つ画像データについて、欠損部を解消して、途切れのないデータを効率的にかつ正確に生成する処理を行なう。
【００３８】
本発明の画像処理装置の構成および処理の詳細について、図４以下を参照して説明する。まず、図４に本発明の画像処理装置のブロック図を示す。なお、以下の実施例では、図４に示すように、原本ドキュメント画像データ１５１と追記ドキュメント画像データ１５２を入力して差分を検出し、検出した差分データに基づいて途切れの修復を行なう処理例を説明するが、前述したように、本発明の画像処理装置は、差分データに限らず、欠損部（途切れ部分）を持つ様々なデータについての修復に適用可能である。
【００３９】
本発明の一実施例の画像処理装置は、図４に示すように、差分抽出手段２０１、細線化手段２０２、細線化手段２０４、欠損部特定手段２１０、画素値変更処理手段（合成手段）２２１を有する。欠損部特定手段２１０は、追跡ポイント生成手段２１１、追跡ポイント移動手段２１２、追跡終了判定手段２１３から構成される。以下、これらの各処理手段の実行する処理について説明する。
【００４０】
［差分抽出手段］
差分抽出手段２０１は、スキャナなどに読み取られた画像データとしての原本ドキュメント画像データ１５１と、原本に含まれない追記を含む追記ドキュメント画像データ１５２を入力して、これらのドキュメントから差分を抽出する。すなわち、追記された情報を２つのドキュメントの差分情報として読み取る。
【００４１】
差分抽出手段２０１は、位置合わせの行われた原本ドキュメント画像データ１５１と追記ドキュメント画像データ１５２との差分を抽出して、追記抽出画像データ１５３を出力する。この処理は、従来の処理と同様であり、特開２００４−２１３２３０、特開２００４−３４１９１４等に記載された処理と同様の処理として実行される。たとえば、原本ドキュメント画像データ１５１の座標位置（ｘ，ｙ）と、追記ドキュメント画像データ１５２の対応座標位置（ｘ，ｙ）の差分の有無を検出し、差分が存在する場合にのみデータを抽出する。
【００４２】
差分抽出処理例について図５を参照して説明する。図５に示す例は、原本ドキュメント２５１と、追記ドキュメント２５２から差分抽出処理例を示している。追記ドキュメント２５２には、元々の原本ドキュメント２５１には含まれない追記された追記情報２５３が含まれる。
【００４３】
差分抽出手段２０１は、原本ドキュメント２５１と、追記ドキュメント２５２から差分抽出を行なって、追記抽出画像データ２５４を生成する。ただし、図から理解されるように、差分抽出によって得られる追記抽出画像データ２５４に含まれる抽出情報は、原本データとの重なり部（図に示す原本に元々記載のある文字［ますか］との重なり部）が途切れた不完全な追記データである。この追記抽出画像データが、図４に示す差分抽出手段２０１の出力する追記抽出画像データ１５３に相当する。
【００４４】
［細線化手段］
細線化手段２０２、細線化手段２０４は、それぞれ、追記抽出画像データ１５３と、追記ドキュメント画像データ１５２の細線化処理を実行する。細線化処理は、処理対象の画像に含まれる線分を、例えば１画素の幅を持つ細線データとする処理である。
【００４５】
図６に細線化手段２０２、細線化手段２０４の実行する細線化処理の具体例を示す。細線化手段２０２は、差分抽出によって抽出した追記情報のみからなる追記抽出画像データの細線化処理を実行する。図６（ａ）に示す追記抽出画像データ２５４の細線化によって、細線化追記抽出画像２５５を生成して欠損線分特定手段２１０の追跡ポイント生成手段２１１に出力する。
【００４６】
一方、図４に示す細線化手段２０４は、原本情報および追記情報の双方を含む追記ドキュメント画像データを入力して細線化処理を実行する。図６（ｂ）に示す追記ドキュメント２５２の細線化によって、細線化追記ドキュメント２５６を生成して欠損線分特定手段２１０の追跡ポイント生成手段２１１に出力する。
【００４７】
なお、追記抽出画像データ１５３の細線化処理の前ステップとして、追記抽出画像データ１５３に対して膨張処理を施して、太線化を施して、微小な欠損部を消滅させた後、細線化処理を実行する構成としてもよい。膨張処理（太線化処理）は、線分等の有効画像領域を上下左右にｎ画素膨らませる処理である。この膨張処理によって、微小な欠損部を消滅させることが可能となる。その後、細線化処理を実行することで、比較的大きな欠損部のみが残った細線化データを生成することができる。
【００４８】
［欠損線分特定手段］
欠損部特定手段２１０は、図４に示すように、追跡ポイント生成手段２１１と、追跡ポイント移動手段２１２と、追跡終了判定手段２１３から構成される。以下、これらの各処理手段の実行する処理について説明する。
【００４９】
欠損部特定手段２１０は、細線化手段２０２から、差分抽出によって抽出した追記情報のみからなる追記抽出画像データの細線化処理結果としての細線化追記抽出画像を入力し、さらに、細線化手段２０４から、原本情報および追記情報の双方を含む追記ドキュメント画像データの細線化処理結果としての細線化追記ドキュメントを入力する。
【００５０】
まず、追跡ポイント生成手段２１１は、細線化手段２０２から、差分抽出によって抽出した追記情報のみからなる追記抽出画像データの細線化処理結果としての細線化追記抽出画像から細線化データの端点を、追跡ポイントとして抽出する。図７を参照して具体的処理について説明する。
【００５１】
細線化追記抽出画像２５５は、細線化手段２０２から入力する画像であり、差分抽出によって抽出した追記情報のみからなる追記抽出画像データの細線化処理結果画像である。追跡ポイント生成手段２１１は、この細線化追記抽出画像２５５から細線化データの端点を抽出する。図７に示す画像２６１は、細線化追記抽出画像２５５の一部領域のみを抽出して示した画像である。図７に示す端点設定画像２６１では、細線化データの端点Ｓ１，Ｓ２が抽出される。
【００５２】
さらに、追跡ポイント生成手段２１１は、細線化手段２０４の出力する細線化追記ドキュメント２５６において、細線化追記抽出画像２５５から検出された端点Ｓ１，Ｓ２の対応位置を検出し、この各ポイントを追跡ポイントＰ１，Ｐ２・・として設定する。図７に示す追跡ポイント設定画像２６２である。基本的には、細線化追記ドキュメント上の追跡ポイントＰｎは、細線化されたライン上に設定される。ただし、細線化処理の状況によっては、追跡ポイントがライン上に設定されない場合がある。この場合は、端点Ｓｎに対応する細線化追記ドキュメント２５６上の位置に最も近い細線化ライン上の位置に追跡ポイントＰｎとして設定する。なお、図７に示す追跡ポイント設定画像２６２では、２つの追跡ポイントＰ１，Ｐ２の設定例を示しているが、追跡ポイント生成手段２１１は、追記抽出画像データの細線化処理結果画像に含まれるすべての端点Ｓｎに対応する追跡ポイントＰｎを、細線化追記ドキュメント上に設定する。
【００５３】
次に、追跡ポイント移動手段２１２は、追跡ポイント生成手段２１１が細線化追記ドキュメント上に設定した追跡ポイントＰｎを細線化追記ドキュメント上の細線に沿って１画素ずつ移動させる処理を実行する。追跡方向は、細線化追記ドキュメント上の細線上で、細線化追記抽出画像２５５に含まれない細線が存在する方向とする。なお、この処理において、細線の分岐、交点に至った場合は、追跡ポイントを増加する細線に応じて増加させて移動を行なう。
【００５４】
追跡終了判定手段２１３は、追跡ポイント移動手段２１２において実行される追跡ポイントＰｎの移動を、予め定めた条件に基づいて終了させる。終了条件を以下に示す。
（終了条件１）ある追跡ポイントと、他の追跡ポイントの位置が同じになったとき、これら同一位置に達した複数の追跡ポイントの移動を終了させる。
（終了条件２）追跡ポイントが、細線化追記抽出画像に含まれる細線に相当する位置に達したとき、その追跡ポイントの移動を終了させる。
（終了条件３）ある追跡ポイントの移動を終了させる際、該移動終了追跡ポイントが交点、分岐点を通過している場合、その交点、分岐点において新たに発生された追跡ポイントの移動を終了させる。
【００５５】
追跡終了判定手段２１３は、追跡ポイント移動手段２１２において実行される追跡ポイントＰｎの移動を、上記終了条件１〜３のいずれかに該当する場合に、移動を終了させる。
【００５６】
上述した追跡ポイント生成手段２１１における追跡ポイント設定処理と、追跡ポイント移動手段２１２における追跡ポイント移動処理と、追跡終了判定手段２１３における追跡ポイント移動終了処理、これらの処理によって、細線化追記ドキュメント上に設定した追跡ポイントＰｎは、細線化追記ドキュメント上の細線に沿ってある軌跡を残す。欠損線分特定手段２１０は、この軌跡を欠損線分として、合成手段２２１に出力する。
【００５７】
［合成手段］
合成手段２２１は、欠損線分特定手段２１０が、追跡ポイントＰｎの移動処理によって形成された軌跡情報としての欠損線分と、細線化手段２０２が追記抽出画像データ１５３から生成した細線化追記抽出画像データの合成処理を実行して、修復追記抽出画像データ１５４を生成して出力する。
【００５８】
合成手段２２１の処理例について、図８を参照して説明する。図８に示す細線化追記抽出画像２５５は、細線化手段２０２が追記抽出画像データ１５３から生成した細線化追記抽出画像データである。また、図８に示す欠損線分特定手段出力画像２７１は、欠損線分特定手段２１０が、追跡ポイントＰｎの移動処理によって形成された軌跡情報としての欠損線分によって構成される画像である。この画像にはａ，ｂ，ｃ，ｄ，ｅの５つの欠損線分が含まれる。これらの線分は、上述した追跡ポイントＰｎの移動処理によって生成された線分である。
【００５９】
合成手段２２１は、これら図８に示す細線化追記抽出画像２５５と、欠損線分特定手段出力画像２７１の合成処理を実行する。この結果、図８に示す修復追記抽出画像データ２８１が生成される。この修復追記抽出画像データ２８１は、図４に示す合成手段２２１の出力する修復追記抽出画像データ１５４に相当する。
【００６０】
図８に示す欠損線分特定手段出力画像２７１は、図８に示す細線化追記抽出画像２５５の欠損部に相当する線分によって構成される。この線分は、欠損線分特定手段２１０における追跡ポイントの移動処理によって生成される線分である。欠損線分特定手段２１０では、原本情報と追記情報の双方を含む追記ドキュメント画像データの細線化データ上の細線上を移動させることで、線分ａ〜ｅを抽出している。
【００６１】
追跡ポイントの移動処理を実行する原本情報と追記情報の双方を含む追記ドキュメント画像データの細線化データ上には、追記抽出画像における欠損部に相当する線分に基づく細線が含まれている。従って、先に図７を参照して説明した端点Ｓｎに相当する追跡ポイントＰｎを設定して細線上を移動させることで、図８に示す線分ａ〜ｅが生成される。これらの線分ａ〜ｅは、細線化追記抽出画像２５５の欠損部に相当する線分として合成手段２２１に出力され、合成処理によって図８に示す細線化追記抽出画像２５５の欠損部が、欠損線分特定手段出力画像２７１の出力する画像に含まれる線分によって修復され、図８に示す修復追記抽出画像データ２８１が生成される。
【００６２】
なお、修復追記抽出画像データは細線化されたままであるため、このデータに対して膨張処理を施して、太線化して出力する構成としてもよい。膨張処理（太線化処理）は、線分等の有効画像領域を上下左右にｎ画素膨らませる処理である。この処理により、細線化データは膨張し太線に復元される。
【００６３】
次に、図９、図１０に示すフローチャートを参照して、図４に示す画像処理装置において実行する処理シーケンスについて説明する。まず、ステップＳ１０１において、追記情報を含む追記ドキュメント画像データを取得する。これは、例えばスキャナなどによって読み取られた画像データである。さらに、ステップＳ１０２において、追記を含まない原本ドキュメント画像データを取得する。これも、例えばスキャナなどによって読み取られた画像データである。
【００６４】
ステップＳ１０３では、これらの２つの画像データに基づく差分抽出処理を実行する。図４に示す差分抽出手段２０１における処理であり、この結果として追記抽出画像データが生成される。ただし、この追記抽出画像データは、追記情報と、原本情報の重なり部が欠落した欠損部を含むデータとなる。
【００６５】
次に、ステップＳ１０４において、差分抽出手段２０１の生成した欠損部を含む追記抽出画像データの細線化処理と、原本および追記情報を含む追記ドキュメント画像データの細線化処理を実行する。この処理は、図４に示す細線化手段２０２，２０４の処理である。
【００６６】
以下、ステップＳ１０５から、ステップＳ１２５までの処理は、図４に示す欠損線分特定手段２１０の処理である。まず、ステップＳ１０５において、細線化追記抽出画像から端点Ｓｉを抽出する。抽出した端点の総数をＮ１とする。この処理は、先に図７を参照して説明した処理である。
【００６７】
次に、ステップＳ１０６において、端点の番号ｉの初期化処理としてｉ＝１と設定する。次にステップＳ１０７において、細線化追記ドキュメント画像中の端点Ｓｉに対応する位置に追跡ポイントＰｉを設定する。
【００６８】
ステップＳ１０８ａにおいて、ｉが端点総数Ｎ１に至ったかを判定する。至っていない場合は、ステップＳ１０８ｂにおいてｉを１つ増加させて、端点Ｓｉに対応する追跡ポイントＰｉの設定を継続する。端点総数Ｎ１に相当する追跡ポイントＰｎが細線化追記ドキュメント画像に設定されると、ステップＳ１０９に進む。
【００６９】
ステップＳ１０９では、追跡ポイントの移動ドット数［ｄ］の初期設定として、ｄ＝０の設定を行う。ステップＳ１１０において、追跡ポイントＰｉの総数を算出し、これをＮ２とする。ステップＳ１１１において、追跡ポイントＰｉの１つを選択し、Ｐ１とする。次に、ステップＳ１１２において、追跡ポイントＰｉを細線化追記ドキュメント画像上の細線上で１画素移動させる。ステップＳ１１３では、移動した追跡ポイントの状況判定を実行する。
【００７０】
ステップＳ１１４：行き止まりと判定された場合は、ステップＳ１１４からステップＳ１２０に進み、追跡終了とする。
ステップＳ１１５：他の追跡ポイントと重なった場合は、ステップＳ１１９において、追跡ポイントの移動軌跡をオン画素に変更、すなわち、有効な欠損線分構成画素として設定し、ステップＳ１２１において追跡を終了する。なお、この追跡終了に際しては、追跡ポイントの移動過程で、交差点または分岐点の発生にともなって新たに発生させた追跡ポイントがある場合は、その発生追跡ポイントも終了させる。
【００７１】
ステップＳ１１６：追跡ポイントの移動位置が、細線化追記抽出画像上の細線上の位置に一致したと判定された場合は、ステップＳ１１９において、追跡ポイントの移動軌跡をオン画素に変更、すなわち、有効な欠損線分構成画素として設定し、ステップＳ１２１において追跡を終了する。なお、この追跡終了に際しては、追跡ポイントの移動過程で、交差点または分岐点の発生にともなって新たに発生させた追跡ポイントがある場合は、その発生追跡ポイントも終了させる。
【００７２】
ステップＳ１１７：追跡ポイントが交点または分岐点に達したと判定されると、ステップＳ１２２に進み、交点または分岐点において増加する細線数に応じて追跡ポイントを分割して、新たな追跡ポイントを追加する。
【００７３】
ステップＳ１１８、上記ステップＳ１１４〜Ｓ１１７のいずれにも該当しない場合は、ステップＳ１２３に進む。
【００７４】
ステップＳ１２３では、次の追跡ポイントの処理に移行するため、追跡ポイントＰｉの識別番号ｉを１つ増加させる更新処理を実行し、ステップＳ１２４ａにおいて、ｉが追跡ポイント総数以下であるか否かを判定し、ｉが追跡ポイント総数以下である場合は、ステップＳ１１２に戻り、次の追跡ポイントの１画素移動および状況判定処理を実行する。
【００７５】
全ての追跡ポイントＰｉについての１画素移動および状況判定処理が終了すると、ステップＳ１２５に進み、移動ドット数［ｄ］を１つ増加させて、ステップＳ１２６において、予め設定済みのドット移動数の上限閾値と比較し、移動ドット数が上限値に達していない場合は、ステップＳ１１０以下の処理を繰り返し実行する。すなわち、この時点で設定されている追跡ポイントの総数を算出して、すべての追跡ポイントについて１ドット移動させて状況判定処理を実行する処理を行なう。
【００７６】
すべての追跡ポイントが、
状況判定処理によって終了された、あるいは、
移動ドット数が上限閾値に達した、
これらのいずれかに対応する状況となると、ステップＳ１２６からステップＳ１２７に進む。このステップＳ１２６の判定がＮｏと判定されることで、図４に示す欠損線分特定手段２１０の処理が終了し、欠損線分特定手段２１０から出力データが合成手段２２１に出力される。この出力データは、例えば先に図８を参照して説明した欠損線分特定手段出力画像２７１である。
【００７７】
すなわち、欠損線分特定手段２１０は、追跡ポイントＰｎの移動処理によって形成された軌跡情報としての欠損線分によって構成される欠損線分特定手段出力画像を合成手段２２１に出力する。合成手段２２１は、ステップＳ１２７において、追記抽出画像に基づいて生成された細線化追記抽出画像と、欠損線分特定手段出力画像の合成処理を実行する。この結果、例えば、図８に示す修復追記抽出画像データ２８１が生成される。修復追記抽出画像データは、細線化追記抽出画像に含まれる欠損部が修復された画像とされる。なお、前述したように、この細線化データを膨張処理によって太線化する処理を施す構成としてもよい。
【００７８】
上述したように、本発明の画像処理装置においては、例えば原本ドキュメントと追記ドキュメントの差分抽出によって得られた追記情報に含まれる欠損部を、欠損線分特定手段において生成した欠損線分によって補うことが可能となり、正確な欠損部の修復が実現され、正確な追記データを取得することが可能となる。
【００７９】
なお、図４に示す画像処理装置では、まず、原本ドキュメント画像データ１５１と、原本に含まれない追記を含む追記ドキュメント画像データ１５２を、差分抽出手段２０１に入力して差分抽出によって、追記情報を抽出する処理を行なう構成としていた。
【００８０】
差分抽出を実行する場合は、原本ドキュメントが必要となるが、追記ドキュメントのみを入力として、追記情報を抽出することが可能となる場合もある。例えば、原本の記録情報が全て黒で記録され、追記が全て赤で記録されている追記ドキュメントである場合は、追記ドキュメントから赤で記録された情報のみを抽出する色識別処理によって、追記情報の抽出が可能となる。
【００８１】
このような画像処理装置構成を図１１に示す。図１１に示す画像処理装置と、図４に示す画像処理装置との差異は、図４における差分抽出手段２０１を、図１１では、追記抽出手段３０１に変更し、入力情報を追記ドキュメント画像データ１５２のみとした点である。その他の構成および処理は、図４以下を参照して説明した処理、構成と同様である。
【００８２】
図１１に示す画像処理装置は、原本ドキュメントに含まれる文字情報などの色と、追記された情報の色が異なる場合に適用可能である。例えば、原本がすべて黒の文字、線分によって記録され、追記が赤で行なわれた場合などである。追記抽出手段３０１は、追記を含む追記ドキュメント画像データ１５２を入力し、追記ドキュメント画像データ１５２から、追記情報の対応する色（例えば赤）を持つ情報を追記情報として抽出する。なお、追記情報の色情報については、ユーザが入力するなどの処理を行なうことになる。
【００８３】
この追記抽出手段３０１において抽出された追記情報は、先に図４を参照して説明した差分抽出手段２０１の生成する追記情報と同様、やはり、原本に含まれる情報との重なりに途切れが発生する場合がある。例えば原本に含まれる黒の文字上に記録された追記された赤色が正確に赤とは認識されず、黒と認識される場合があり、追記抽出手段３０１がこのような重なり部分を追記情報と識別しない場合があるからである。
【００８４】
このような途切れ部分は、先に図４以下を参照して説明した実施例と同様、細線化処理手段２０２，２０４、欠損線分特定手段２１０、および合成手段２２１における処理によって修復され、最終的に正確な追記情報からなる修復追記抽出画像データ１５４が生成される。
【００８５】
さらに、図１２を参照して、差分抽出手段の代わりに罫線分離手段４０１を利用した構成例について説明する。この図１２に示す構成と図４に示す構成との差異は、図４に示す差分抽出手段２０１を罫線分離手段４０１に変更し、入力情報を追記ドキュメント画像データ１５２のみとした点である。その他の構成および処理は、図４以下を参照して説明した処理、構成と同様である。
【００８６】
図１２に示す画像処理装置は、原本ドキュメントが、例えば表などの罫線情報によって構成され、その表に文字などを追記情報として記録した場合に、罫線を含まない追記情報としての文字情報などを抽出する場合に有効となる。罫線分離手段４０１は、追記を含む追記ドキュメント画像データ１５２を入力し、追記ドキュメント画像データ１５２から、罫線のみを削除した追記情報を抽出する。
【００８７】
この罫線分離手段４０１において抽出された追記情報は、先に図４を参照して説明した差分抽出手段２０１の生成する追記情報と同様、やはり、原本に含まれる情報との重なりに途切れが発生する場合がある。例えば原本に含まれる罫線上に記録された追記情報は、罫線情報として削除され、抽出される追記情報に含まれなくなるからである。
【００８８】
このような途切れ部分は、先に図４以下を参照して説明した実施例と同様、細線化処理手段２０２，２０４、欠損線分特定手段２１０、および合成手段２２１における処理によって修復され、最終的に正確な追記情報からなる修復追記抽出画像データ１５４が生成される。
【００８９】
最後に、図１３を参照して、上述した処理を実行する画像処理装置のハードウェア構成例について説明する。図１３に示す構成は、例えばＰＣなどの情報処理装置と、スキャナ等の画像データ読み取り部５３１と、プリンタなどの画像データ出力部５３２を備えたハード構成例を示している。
【００９０】
ＣＰＵ（Central Processing Unit）５０１は、上述の実施例において説明した各種のデータ処理、すなわち、差分データなどの欠損部を含むデータの抽出処理、処理対象データに対する細線化処理、欠損線分特定処理、合成処理、膨張処理などを含む一連の処理を実行する。制御手段としてのＣＰＵ５０１は、これらの処理の実行シーケンスを記述したコンピュータ・プログラムに従った処理を実行する。
【００９１】
ＲＯＭ（Read Only Memory）５０２は、ＣＰＵ５０１が使用するプログラムや演算パラメータ等を格納する。ＲＡＭ（Random Access Memory）５０３は、ＣＰＵ５０１の実行において使用するプログラムや、その実行において適宜変化するパラメータ等を格納する。これらはＣＰＵバスなどから構成されるホストバス５０４により相互に接続されている。
【００９２】
ホストバス５０４は、ブリッジ５０５を介して、ＰＣＩ(Peripheral Component Interconnect/Interface)バスなどの外部バス５０６に接続されている。
【００９３】
キーボード５０８、ポインティングデバイス５０９は、ユーザにより操作される入力デバイスである。ディスプレイ５１０は、液晶表示装置またはＣＲＴ（Cathode Ray Tube）などから成り、各種情報をテキストやイメージ情報として表示する。
【００９４】
ＨＤＤ（Hard Disk Drive）５１１は、ハードディスクを内蔵し、ハードディスクを駆動し、ＣＰＵ５０１によって実行するプログラムや情報を記録または再生させる。ハードディスクは、原本ドキュメント画像データ、追記ドキュメント画像データ等の情報、各種処理において生成されるデータなどを格納する。さらに、各種のデータ処理プログラム等、各種コンピュータ・プログラムが格納される。
【００９５】
ドライブ５１２は、装着されている磁気ディスク、光ディスク、光磁気ディスク、または半導体メモリ等のリムーバブル記録媒体５２１に記録されているデータまたはプログラムを読み出して、そのデータまたはプログラムを、インタフェース５０７、外部バス５０６、ブリッジ５０５、およびホストバス５０４を介して接続されているＲＡＭ５０３に供給する。リムーバブル記録媒体５２１も、ハードディスクと同様のデータ記録領域として利用可能である。
【００９６】
接続ポート５１４は、外部接続機器５２２を接続するポートであり、ＵＳＢ，ＩＥＥＥ１３９４等の接続部を持つ。接続ポート５１４は、インタフェース５０７、および外部バス５０６、ブリッジ５０５、ホストバス５０４等を介してＣＰＵ５０１等に接続されている。通信部５１５は、ネットワークに接続され、外部とのデータ通信処理を実行する。データ読み取り部５３１は、ドキュメントの読み取り処理を実行し、データ出力部５３２は、ドキュメントデータの出力処理を実行する。
【００９７】
なお、図１３に示す画像処理装置のハードウェア構成例は、１つの装置例を示すものであり、本発明の画像処理装置は、図１３に示す構成に限らず、上述した実施例において説明した処理を実行可能な構成であればよい。
【００９８】
以上、特定の実施例を参照しながら、本発明について詳解してきた。しかしながら、本発明の要旨を逸脱しない範囲で当業者が該実施例の修正や代用を成し得ることは自明である。すなわち、例示という形態で本発明を開示してきたのであり、限定的に解釈されるべきではない。本発明の要旨を判断するためには、特許請求の範囲の欄を参酌すべきである。
【００９９】
なお、明細書中において説明した一連の処理はハードウェア、またはソフトウェア、あるいは両者の複合構成によって実行することが可能である。ソフトウェアによる処理を実行する場合は、処理シーケンスを記録したプログラムを、専用のハードウェアに組み込まれたコンピュータ内のメモリにインストールして実行させるか、あるいは、各種処理が実行可能な汎用コンピュータにプログラムをインストールして実行させることが可能である。
【０１００】
例えば、プログラムは記録媒体としてのハードディスクやＲＯＭ（Read Only Memory)に予め記録しておくことができる。あるいは、プログラムはフレキシブルディスク、ＣＤ−ＲＯＭ(Compact Disc Read Only Memory)，ＭＯ(Magneto optical)ディスク，ＤＶＤ(Digital Versatile Disc)、磁気ディスク、半導体メモリなどのリムーバブル記録媒体に、一時的あるいは永続的に格納（記録）しておくことができる。このようなリムーバブル記録媒体は、いわゆるパッケージソフトウエアとして提供することができる。
【０１０１】
なお、プログラムは、上述したようなリムーバブル記録媒体からコンピュータにインストールする他、ダウンロードサイトから、コンピュータに無線転送したり、ＬＡＮ(Local Area Network)、インターネットといったネットワークを介して、コンピュータに有線で転送し、コンピュータでは、そのようにして転送されてくるプログラムを受信し、内蔵するハードディスク等の記録媒体にインストールすることができる。
【０１０２】
なお、明細書に記載された各種の処理は、記載に従って時系列に実行されるのみならず、処理を実行する装置の処理能力あるいは必要に応じて並列的にあるいは個別に実行されてもよい。また、本明細書においてシステムとは、複数の装置の論理的集合構成であり、各構成の装置が同一筐体内にあるものには限らない。
【産業上の利用可能性】
【０１０３】
以上、説明したように、本発明の構成によれば、例えば原本ドキュメントと、追記データの付加された追記ドキュメントの差分データのように欠損部を有するデータについての欠損部を解消する修復処理を効率的にかつ正確に実行することができる。具体的には、本発明の画像処理装置では、追記抽出画像に含まれる欠損部を有する追記情報の細線化処理を実行して細線化追記抽出画像を生成し、追記ドキュメントに含まれる情報の細線化処理を実行して細線化追記ドキュメント画像を生成する。さらに、細線化追記ドキュメント画像の細線上において、細線化追記抽出画像に含まれる端点に対応する位置に、追跡ポイントを設定して該追跡ポイントを細線に沿って移動させ、移動軌跡に対応する欠損線分画像を生成する。さらに、この欠損線分画像と、追記情報抽出手段の生成する欠損部を有する追記抽出画像との合成処理によって、修復追記抽出画像を生成する構成としたので、追記抽出画像に含まれる欠損部を、より正確に修復することが可能となる。
【図面の簡単な説明】
【０１０４】
【図１】本発明の画像処理装置を適用した処理の概要について説明する図である。
【図２】原本ドキュメントと、追記ドキュメントからの差分データの生成例について説明する図である。
【図３】本発明の画像処理装置による処理対象データ例について説明する図である。
【図４】本発明の画像処理装置一実施例構成を示すブロック図である。
【図５】本発明の画像処理装置において実行する差分抽出処理の具体的な処理例について説明する図である。
【図６】本発明の画像処理装置において実行する細線化処理の具体的な処理例について説明する図である。
【図７】本発明の画像処理装置において実行する追跡ポイント設定処理の具体的な処理例について説明する図である。
【図８】本発明の画像処理装置において実行する合成処理の具体的な処理例について説明する図である。
【図９】本発明の画像処理装置における処理シーケンスを説明するフローチャートを示す図である。
【図１０】本発明の画像処理装置における処理シーケンスを説明するフローチャートを示す図である。
【図１１】本発明の画像処理装置の一実施例構成を示すブロック図である。
【図１２】本発明の画像処理装置の一実施例構成を示すブロック図である。
【図１３】本発明の画像処理装置のハードウェア構成例について説明する図である。
【符号の説明】
【０１０５】
１０ 原本ドキュメント
２０ 追記ドキュメント
３０ スキャナ
５１ 原本ドキュメント
５２ 追記ドキュメント
５３ 線分データ
５５ 追記情報
６１ 追記ドキュメント
６２ 追記情報
７１ 罫線付きドキュメント
７２ 罫線除去情報
１００ 画像処理装置
１５１ 原本ドキュメント画像データ
１５２ 追記ドキュメント画像データ
１５３ 追記抽出画像データ
１５４ 修復追記抽出画像データ
２０１ 差分抽出手段
２０２ 細線化手段
２０４ 細線化手段
２１０ 欠損線分特定手段
２１１ 追跡ポイント生成手段
２１２ 追跡ポイント移動手段
２１３ 追跡終了判定手段
２２１ 合成手段
２５１ 原本ドキュメント画像データ
２５２ 追記ドキュメント画像データ
２５３ 追記情報
２５４ 追記抽出画像データ
２５５ 細線化追記抽出画像
２５６ 細線化追記ドキュメント
２６１ 端点設定画像
２６２ 追跡ポイント設定画像
２７１ 欠損線分特定手段出力画像
２８１ 修復追記抽出画像データ
３０１ 追記抽出手段
４０１ 罫線分離手段
５０１ ＣＰＵ(Central Processing Unit)
５０２ ＲＯＭ（Read-Only-Memory）
５０３ ＲＡＭ（Random Access Memory）
５０４ ホストバス
５０５ ブリッジ
５０６ 外部バス
５０７ インタフェース
５０８ キーボード
５０９ ポインティングデバイス
５１０ ディスプレイ
５１１ ＨＤＤ（Hard Disk Drive）
５１２ ドライブ
５１４ 接続ポート
５１５ 通信部
５２１ リムーバブル記録媒体
５２２ 外部接続機器
５３１ データ読み取り部
５３２ データ出力部
【技術分野】
【０００１】
本発明は、画像処理装置、および画像処理方法、並びにコンピュータ・プログラムに関する。さらに詳細には、例えば追記情報の解析処理などにおいて行なわれる原本ドキュメントと追記ドキュメントとの差分データに含まれる欠損部の修復処理など、様々なデータ抽出処理によって得られた欠損部を含む線画データの修復を効率的に実行する画像処理装置、および画像処理方法、並びにコンピュータ・プログラムに関する。
【背景技術】
【０００２】
画像処理の分野において、例えばプリンタやＦＡＸなどから出力したドキュメントに、ユーザがペンや鉛筆、スタンプなどで追記した部分を抽出したり、セキュリティ文書が改竄されていないかどうかを検証する処理について、様々な研究、開発が行なわれている。一般的に、このような追記、改竄検証処理には、オリジナルのドキュメントデータと、追記等の可能性がある出力ドキュメントとの比較を行う処理が行なわれる。
【０００３】
すなわち、追記の検出を行なおうとする文書をスキャナなどの画像読取装置でスキャンして得たスキャン画像データと、ＰＣやプリンタなどに蓄積されている原本画像データとの差分を取り、追記画像データを得るというものである。
【０００４】
ところが、この方法では、紙文書に元からあった文字や図形などと追記した部分に重なりがある場合、原本との差分を取って追記情報を得ようとした場合、取得された追記情報に、原本との重なり部分が含まれず、追記された文字や、図形などが途切れたデータとなってしまうという問題があった。
【０００５】
このような問題点を解決することを目的とした従来技術として、例えば特許文献１がある。特許文献１は、スキャン画像から原本画像を差し引いた追記画像の途切れ修復に関する構成を開示しており、原本画像の黒画素を順次走査し、着目黒画素の８近傍に追記画像の黒画素があるとき、着目画素に相当する追記画像の画素を黒にするといった処理によって途切れを修復する構成を開示している。
【０００６】
さらに、特許文献２は、スキャン画像から原本画像を差し引く差分処理により生成した追記画像から、途切れた追記の輪郭を作成し、輪郭画像から原稿画像を更に差し引くことで接続すべき端点の座標と接続方向を検出し、さらに、その端点位置と接続方向の情報から端点同士を接続し閉曲線を構成しその内部を着色することにより、途切れの発生してしまった検出追記情報を接続して、途切れを修復した追記情報を取得する構成を開示している。
【０００７】
しかし、追記情報を検出しようとする文書のスキャン画像には画質の劣化、すなわち、かすれ具合や色合いに変化が発生している可能性が高く、場合によっては、プリントおよび追記の後、何回かコピーされているかも知れない。特に追記部分はかすれなど画質劣化が激しいため、追記情報を検出しようとする文書のスキャン画像から抽出した追記部分の輪郭は、直線ではなくジグザグになる場合が多い。このため、端点および補間方向の特定が困難となり、上記の特許文献の手法を適用しても、完全な形の修復した追記情報を取得することが困難となるという問題がある。
【０００８】
また、途切れを修復して追記情報を取得する構成において、直線の途切れのように接続すべき端点が容易に発見される場合は、大きな問題がないが、ペンや鉛筆などによって追記された文字など、複雑な線分を持つ追記情報における途切れ修復においては、接続すべき端点を正確に発見することは困難となる。上記の特許文献の手法を適用しても、正確な途切れ修復は困難である。
【特許文献１】特開平０８−０６３５４６号公報
【特許文献２】特開２００４−２１３２３０号公報
【発明の開示】
【発明が解決しようとする課題】
【０００９】
本発明は、上述の問題点に鑑みてなされたものであり、例えばドキュメントからの追記情報抽出処理において、追記情報抽出対象文書と原本との差分に基づいて抽出される差分データなどに含まれる欠損部を、効率的に正確に修復することを可能とするものであり、特に複雑な文字などに発生した途切れを、より正確に接続して修復可能とした画像処理装置、および画像処理方法、並びにコンピュータ・プログラムを提供することを目的とする。
【課題を解決するための手段】
【００１０】
本発明の第１の側面は、
欠損部を有する修復対象データを入力し、欠損部を解消した復元データを生成する画像処理を実行する画像処理装置であり、
原本ドキュメントに対して追記処理のなされた追記ドキュメントに基づく追記ドキュメント画像データを入力し、該追記ドキュメント画像から追記情報を抽出した追記抽出画像を生成する追記情報抽出手段と、
前記追記情報抽出手段の生成した追記抽出画像に含まれる追記情報の細線化処理を実行して細線化追記抽出画像を生成する第１の細線化手段と、
前記追記ドキュメントに含まれる情報の細線化処理を実行して細線化追記ドキュメント画像を生成する第２の細線化手段と、
前記細線化追記ドキュメント画像の細線上において、前記細線化追記抽出画像に含まれる端点に対応する位置に、追跡ポイントを設定して該追跡ポイントを前記細線化追記ドキュメント画像の細線に沿って移動させ、該移動軌跡に基づく欠損線分画像を生成する欠損線分特定手段と、
前記欠損線分特定手段の生成する欠損線分画像と、前記追記情報抽出手段の生成する追記抽出画像との合成処理によって、修復追記抽出画像を生成する合成手段と、
を有することを特徴とする画像処理装置にある。
【００１１】
さらに、本発明の画像処理装置の一実施態様において、前記欠損線分特定手段は、追跡ポイントを前記細線化追記ドキュメント画像の細線に沿って移動させ、予め定めた移動終了条件に基づいて移動を終了させ、移動開始から移動終了までの移動軌跡を欠損線分として設定する処理を実行する構成であることを特徴とする。
【００１２】
さらに、本発明の画像処理装置の一実施態様において、前記欠損線分特定手段は、前記追跡ポイントの移動終了条件として、
（ａ）ある追跡ポイントと、他の追跡ポイントの位置が同じになったとき、これら同一位置に達した複数の追跡ポイントの移動を終了させる、
（ｂ）追跡ポイントが、細線化追記抽出画像に含まれる細線に相当する位置に達したとき、その追跡ポイントの移動を終了させる、
（ｃ）ある追跡ポイントの移動終了時に、該移動終了追跡ポイントが交点、分岐点を通過している場合、その交点、分岐点において発生させた追跡ポイントの移動を終了させる、
上記（ａ）〜（ｃ）の終了条件に基づいて、少なくとも1つの条件が成立したとき、追跡ポイントの移動を終了させる構成であることを特徴とする。
【００１３】
さらに、本発明の画像処理装置の一実施態様において、前記追記情報抽出手段は、原本ドキュメント画像データと、前記追記ドキュメント画像データを入力し、２つの入力画像データの差分を抽出する差分抽出手段によって構成されることを特徴とする。
【００１４】
さらに、本発明の画像処理装置の一実施態様において、前記追記情報抽出手段は、追記ドキュメント画像データを入力し、該追記ドキュメント画像データから特定の色の記録情報を追記情報として抽出する色抽出手段によって構成されることを特徴とする。
【００１５】
さらに、本発明の画像処理装置の一実施態様において、前記追記情報抽出手段は、追記ドキュメント画像データを入力し、該追記ドキュメント画像データから罫線情報を削除し、罫線情報以外の情報を追記情報として抽出する罫線分離手段によって構成されることを特徴とする。
【００１６】
さらに、本発明の画像処理装置の一実施態様において、前記画像処理装置は、さらに、前記追記情報抽出手段の生成した追記画像データに含まれる追記情報の膨張処理を実行して膨張処理画像データを生成する膨張処理手段を有し、前記第１の細線化手段は、前記膨張処理手段の生成した膨張処理画像の細線化処理を実行する構成であることを特徴とする。
【００１７】
さらに、本発明の画像処理装置の一実施態様において、前記画像処理装置は、さらに、前記合成手段の生成した修復追記抽出画像に含まれる追記情報の膨張処理を実行して膨張処理画像データを生成する膨張処理手段を有することを特徴とする。
【００１８】
さらに、本発明の第２の側面は、
欠損部を有する修復対象データを入力し、欠損部を解消した復元データを生成する画像処理を実行する画像処理方法であり、
原本ドキュメントに対して追記処理のなされた追記ドキュメントに基づく追記ドキュメント画像データを入力し、該追記ドキュメント画像から追記情報を抽出した追記抽出画像を生成する追記情報抽出ステップと、
前記追記情報抽出ステップにおいて生成した追記抽出画像に含まれる追記情報の細線化処理を実行して細線化追記抽出画像を生成する第１の細線化ステップと、
前記追記ドキュメントに含まれる情報の細線化処理を実行して細線化追記ドキュメント画像を生成する第２の細線化ステップと、
前記細線化追記ドキュメント画像の細線上において、前記細線化追記抽出画像に含まれる端点に対応する位置に、追跡ポイントを設定して該追跡ポイントを前記細線化追記ドキュメント画像の細線に沿って移動させ、該移動軌跡に基づく欠損線分画像を生成する欠損線分特定ステップと、
前記欠損線分特定ステップにおいて生成する欠損線分画像と、前記追記情報抽出ステップにおいて生成する追記抽出画像との合成処理によって、修復追記抽出画像を生成する合成ステップと、
を有することを特徴とする画像処理方法にある。
【００１９】
さらに、本発明の画像処理方法の一実施態様において、前記欠損線分特定ステップは、追跡ポイントを前記細線化追記ドキュメント画像の細線に沿って移動させ、予め定めた移動終了条件に基づいて移動を終了させ、移動開始から移動終了までの移動軌跡を欠損線分として設定する処理を実行するステップであることを特徴とする。
【００２０】
さらに、本発明の画像処理方法の一実施態様において、前記欠損線分特定ステップは、前記追跡ポイントの移動終了条件として、
（ａ）ある追跡ポイントと、他の追跡ポイントの位置が同じになったとき、これら同一位置に達した複数の追跡ポイントの移動を終了させる、
（ｂ）追跡ポイントが、細線化追記抽出画像に含まれる細線に相当する位置に達したとき、その追跡ポイントの移動を終了させる、
（ｃ）ある追跡ポイントの移動終了時に、該移動終了追跡ポイントが交点、分岐点を通過している場合、その交点、分岐点において発生させた追跡ポイントの移動を終了させる、
上記（ａ）〜（ｃ）の終了条件に基づいて、少なくとも1つの条件が成立したとき、追跡ポイントの移動を終了させることを特徴とする。
【００２１】
さらに、本発明の画像処理方法の一実施態様において、前記追記情報抽出ステップは、原本ドキュメント画像データと、前記追記ドキュメント画像データを入力し、２つの入力画像データの差分を抽出する差分抽出処理を実行するステップであることを特徴とする。
【００２２】
さらに、本発明の画像処理方法の一実施態様において、前記追記情報抽出ステップは、追記ドキュメント画像データを入力し、該追記ドキュメント画像データから特定の色の記録情報を追記情報として抽出する色抽出処理を実行するステップであることを特徴とする。
【００２３】
さらに、本発明の画像処理方法の一実施態様において、前記追記情報抽出ステップは、追記ドキュメント画像データを入力し、該追記ドキュメント画像データから罫線情報を削除し、罫線情報以外の情報を追記情報として抽出する罫線分離処理を実行するステップであることを特徴とする。
【００２４】
さらに、本発明の画像処理方法の一実施態様において、前記画像処理方法は、さらに、前記追記情報抽出ステップにおいて生成した追記画像データに含まれる追記情報の膨張処理を実行して膨張処理画像データを生成する膨張処理ステップを有し、前記第１の細線化ステップは、前記膨張処理ステップにおいて生成した膨張処理画像の細線化処理を実行することを特徴とする。
【００２５】
さらに、本発明の画像処理方法の一実施態様において、前記画像処理方法は、さらに、前記合成ステップにおいて生成した修復追記抽出画像に含まれる追記情報の膨張処理を実行して膨張処理画像データを生成する膨張処理ステップを有することを特徴とする。
【００２６】
さらに、本発明の第３の側面は、
欠損部を有する修復対象データを入力し、欠損部を解消した復元データを生成する画像処理を画像処理装置において実行させるコンピュータ・プログラムであり、
原本ドキュメントに対して追記処理のなされた追記ドキュメントに基づく追記ドキュメント画像データを入力し、該追記ドキュメント画像から追記情報を抽出した追記抽出画像を生成する追記情報抽出ステップと、
前記追記情報抽出ステップにおいて生成した追記抽出画像に含まれる追記情報の細線化処理を実行して細線化追記抽出画像を生成する第１の細線化ステップと、
前記追記ドキュメントに含まれる情報の細線化処理を実行して細線化追記ドキュメント画像を生成する第２の細線化ステップと、
前記細線化追記ドキュメント画像の細線上において、前記細線化追記抽出画像に含まれる端点に対応する位置に、追跡ポイントを設定して該追跡ポイントを前記細線化追記ドキュメント画像の細線に沿って移動させ、該移動軌跡に基づく欠損線分画像を生成する欠損線分特定ステップと、
前記欠損線分特定ステップにおいて生成する欠損線分画像と、前記追記情報抽出ステップにおいて生成する追記抽出画像との合成処理によって、修復追記抽出画像を生成する合成ステップと、
を実行させることを特徴とするコンピュータ・プログラムにある。
【００２７】
なお、本発明のコンピュータ・プログラムは、例えば、様々なプログラム・コードを実行可能なコンピュータシステムに対して、コンピュータ可読な形式で提供する記憶媒体、通信媒体、例えば、ＣＤやＦＤ、ＭＯなどの記録媒体、あるいは、ネットワークなどの通信媒体によって提供可能なコンピュータ・プログラムである。このようなプログラムをコンピュータ可読な形式で提供することにより、コンピュータシステム上でプログラムに応じた処理が実現される。
【００２８】
本発明のさらに他の目的、特徴や利点は、後述する本発明の実施例や添付する図面に基づくより詳細な説明によって明らかになるであろう。なお、本明細書においてシステムとは、複数の装置の論理的集合構成であり、各構成の装置が同一筐体内にあるものには限らない。
【発明の効果】
【００２９】
本発明の構成によれば、例えば原本ドキュメントと、追記データの付加された追記ドキュメントの差分データのように欠損部を有するデータについての欠損部を解消する修復処理を効率的にかつ正確に実行することができる。具体的には、本発明の画像処理装置では、追記抽出画像に含まれる欠損部を有する追記情報の細線化処理を実行して細線化追記抽出画像を生成し、追記ドキュメントに含まれる情報の細線化処理を実行して細線化追記ドキュメント画像を生成する。さらに、細線化追記ドキュメント画像の細線上において、細線化追記抽出画像に含まれる端点に対応する位置に、追跡ポイントを設定して該追跡ポイントを細線に沿って移動させ、移動軌跡に対応する欠損線分画像を生成する。さらに、この欠損線分画像と、追記情報抽出手段の生成する欠損部を有する追記抽出画像との合成処理によって、修復追記抽出画像を生成する構成としたので、追記抽出画像に含まれる欠損部を、より正確に修復することが可能となる。
【発明を実施するための最良の形態】
【００３０】
以下、図面を参照しながら本発明の実施形態に係る画像処理装置、および画像処理方法、並びにコンピュータ・プログラムの詳細について説明する。
【００３１】
まず、図１以下を参照して、本発明の画像処理装置を適用した処理の概要について説明する。本発明の画像処理装置は、例えば図１に示す原本ドキュメント１０、および、原本ドキュメント１０に対してコメントやアンダーラインなどの様々なメモ書きを含む追記ドキュメント２０とから、差分を抽出して追記されたデータを取得する処理において、差分データの欠損部を修復する処理を行なう。なお、本発明の画像処理装置は、差分データのみならず、その他、様々な処理によって得られた欠損部を有するデータにおける欠損部を解消する処理に適用可能である。
【００３２】
図１に示す例は、その１つの処理例であり、原本ドキュメント１０と、追記ドキュメント２０とをスキャナ３０によって読み取り、原本ドキュメント画像データと、追記ドキュメント画像データを画像処理装置１００に入力して、差分情報取得処理を行い、差分データに含まれる欠損部の修復を行なって追記情報を出力する処理である。
【００３３】
背景技術の欄において説明したように、従来の差分抽出では、原本と追記との重なり部分が途切れた情報が取得されるという問題がある。例えば図２に示すように、原本ドキュメント５１と、追記ドキュメント５２がある場合、本来追記情報は、線分データ５３であるにもかかわらず、原本ドキュメント５１と、追記ドキュメント５２からの差分データを取得すると、追記抽出情報５５に示すように、原本ドキュメント５１と、追記ドキュメント５２が途切れたデータとして検出され、正しい追記データの検出ができない。本発明では、これらの途切れを修復する処理を画像処理装置１００において実行する。
【００３４】
なお、本発明における画像処理では、図２に示す差分データに基づいて検出された追記情報の修復処理のみではなく、その他の手法によって取得された様々な欠損部を含む途切れたデータの修復も実行することができる。例えば、図３（Ａ）は、原本画像を適用することなく、追記ドキュメント６１画像のみから追記抽出情報６２を抽出した処理例を示している。
【００３５】
例えば、追記データが原本画像データに含まれる異なる色（例えば赤）で記録されている場合、この追記色データのみを追記ドキュメント６１から抽出する処理によって、追記抽出情報６２が取得される。しかしこの場合も、原本データとの重なり部分は、途切れた画像として追記情報が取得される。
【００３６】
また、図３（Ｂ）は、罫線付きドキュメント７１から罫線を除去した罫線除去情報７２を取得した処理構成を示している。このような処理を行った場合、罫線部としての直線を除去することで、罫線との重なり部が除去されたデータが出力され、本来のデータの一部が欠落してしまう。
【００３７】
本発明の画像処理装置１００では、このような途切れ、欠落部を持つ画像データについて、欠損部を解消して、途切れのないデータを効率的にかつ正確に生成する処理を行なう。
【００３８】
本発明の画像処理装置の構成および処理の詳細について、図４以下を参照して説明する。まず、図４に本発明の画像処理装置のブロック図を示す。なお、以下の実施例では、図４に示すように、原本ドキュメント画像データ１５１と追記ドキュメント画像データ１５２を入力して差分を検出し、検出した差分データに基づいて途切れの修復を行なう処理例を説明するが、前述したように、本発明の画像処理装置は、差分データに限らず、欠損部（途切れ部分）を持つ様々なデータについての修復に適用可能である。
【００３９】
本発明の一実施例の画像処理装置は、図４に示すように、差分抽出手段２０１、細線化手段２０２、細線化手段２０４、欠損部特定手段２１０、画素値変更処理手段（合成手段）２２１を有する。欠損部特定手段２１０は、追跡ポイント生成手段２１１、追跡ポイント移動手段２１２、追跡終了判定手段２１３から構成される。以下、これらの各処理手段の実行する処理について説明する。
【００４０】
［差分抽出手段］
差分抽出手段２０１は、スキャナなどに読み取られた画像データとしての原本ドキュメント画像データ１５１と、原本に含まれない追記を含む追記ドキュメント画像データ１５２を入力して、これらのドキュメントから差分を抽出する。すなわち、追記された情報を２つのドキュメントの差分情報として読み取る。
【００４１】
差分抽出手段２０１は、位置合わせの行われた原本ドキュメント画像データ１５１と追記ドキュメント画像データ１５２との差分を抽出して、追記抽出画像データ１５３を出力する。この処理は、従来の処理と同様であり、特開２００４−２１３２３０、特開２００４−３４１９１４等に記載された処理と同様の処理として実行される。たとえば、原本ドキュメント画像データ１５１の座標位置（ｘ，ｙ）と、追記ドキュメント画像データ１５２の対応座標位置（ｘ，ｙ）の差分の有無を検出し、差分が存在する場合にのみデータを抽出する。
【００４２】
差分抽出処理例について図５を参照して説明する。図５に示す例は、原本ドキュメント２５１と、追記ドキュメント２５２から差分抽出処理例を示している。追記ドキュメント２５２には、元々の原本ドキュメント２５１には含まれない追記された追記情報２５３が含まれる。
【００４３】
差分抽出手段２０１は、原本ドキュメント２５１と、追記ドキュメント２５２から差分抽出を行なって、追記抽出画像データ２５４を生成する。ただし、図から理解されるように、差分抽出によって得られる追記抽出画像データ２５４に含まれる抽出情報は、原本データとの重なり部（図に示す原本に元々記載のある文字［ますか］との重なり部）が途切れた不完全な追記データである。この追記抽出画像データが、図４に示す差分抽出手段２０１の出力する追記抽出画像データ１５３に相当する。
【００４４】
［細線化手段］
細線化手段２０２、細線化手段２０４は、それぞれ、追記抽出画像データ１５３と、追記ドキュメント画像データ１５２の細線化処理を実行する。細線化処理は、処理対象の画像に含まれる線分を、例えば１画素の幅を持つ細線データとする処理である。
【００４５】
図６に細線化手段２０２、細線化手段２０４の実行する細線化処理の具体例を示す。細線化手段２０２は、差分抽出によって抽出した追記情報のみからなる追記抽出画像データの細線化処理を実行する。図６（ａ）に示す追記抽出画像データ２５４の細線化によって、細線化追記抽出画像２５５を生成して欠損線分特定手段２１０の追跡ポイント生成手段２１１に出力する。
【００４６】
一方、図４に示す細線化手段２０４は、原本情報および追記情報の双方を含む追記ドキュメント画像データを入力して細線化処理を実行する。図６（ｂ）に示す追記ドキュメント２５２の細線化によって、細線化追記ドキュメント２５６を生成して欠損線分特定手段２１０の追跡ポイント生成手段２１１に出力する。
【００４７】
なお、追記抽出画像データ１５３の細線化処理の前ステップとして、追記抽出画像データ１５３に対して膨張処理を施して、太線化を施して、微小な欠損部を消滅させた後、細線化処理を実行する構成としてもよい。膨張処理（太線化処理）は、線分等の有効画像領域を上下左右にｎ画素膨らませる処理である。この膨張処理によって、微小な欠損部を消滅させることが可能となる。その後、細線化処理を実行することで、比較的大きな欠損部のみが残った細線化データを生成することができる。
【００４８】
［欠損線分特定手段］
欠損部特定手段２１０は、図４に示すように、追跡ポイント生成手段２１１と、追跡ポイント移動手段２１２と、追跡終了判定手段２１３から構成される。以下、これらの各処理手段の実行する処理について説明する。
【００４９】
欠損部特定手段２１０は、細線化手段２０２から、差分抽出によって抽出した追記情報のみからなる追記抽出画像データの細線化処理結果としての細線化追記抽出画像を入力し、さらに、細線化手段２０４から、原本情報および追記情報の双方を含む追記ドキュメント画像データの細線化処理結果としての細線化追記ドキュメントを入力する。
【００５０】
まず、追跡ポイント生成手段２１１は、細線化手段２０２から、差分抽出によって抽出した追記情報のみからなる追記抽出画像データの細線化処理結果としての細線化追記抽出画像から細線化データの端点を、追跡ポイントとして抽出する。図７を参照して具体的処理について説明する。
【００５１】
細線化追記抽出画像２５５は、細線化手段２０２から入力する画像であり、差分抽出によって抽出した追記情報のみからなる追記抽出画像データの細線化処理結果画像である。追跡ポイント生成手段２１１は、この細線化追記抽出画像２５５から細線化データの端点を抽出する。図７に示す画像２６１は、細線化追記抽出画像２５５の一部領域のみを抽出して示した画像である。図７に示す端点設定画像２６１では、細線化データの端点Ｓ１，Ｓ２が抽出される。
【００５２】
さらに、追跡ポイント生成手段２１１は、細線化手段２０４の出力する細線化追記ドキュメント２５６において、細線化追記抽出画像２５５から検出された端点Ｓ１，Ｓ２の対応位置を検出し、この各ポイントを追跡ポイントＰ１，Ｐ２・・として設定する。図７に示す追跡ポイント設定画像２６２である。基本的には、細線化追記ドキュメント上の追跡ポイントＰｎは、細線化されたライン上に設定される。ただし、細線化処理の状況によっては、追跡ポイントがライン上に設定されない場合がある。この場合は、端点Ｓｎに対応する細線化追記ドキュメント２５６上の位置に最も近い細線化ライン上の位置に追跡ポイントＰｎとして設定する。なお、図７に示す追跡ポイント設定画像２６２では、２つの追跡ポイントＰ１，Ｐ２の設定例を示しているが、追跡ポイント生成手段２１１は、追記抽出画像データの細線化処理結果画像に含まれるすべての端点Ｓｎに対応する追跡ポイントＰｎを、細線化追記ドキュメント上に設定する。
【００５３】
次に、追跡ポイント移動手段２１２は、追跡ポイント生成手段２１１が細線化追記ドキュメント上に設定した追跡ポイントＰｎを細線化追記ドキュメント上の細線に沿って１画素ずつ移動させる処理を実行する。追跡方向は、細線化追記ドキュメント上の細線上で、細線化追記抽出画像２５５に含まれない細線が存在する方向とする。なお、この処理において、細線の分岐、交点に至った場合は、追跡ポイントを増加する細線に応じて増加させて移動を行なう。
【００５４】
追跡終了判定手段２１３は、追跡ポイント移動手段２１２において実行される追跡ポイントＰｎの移動を、予め定めた条件に基づいて終了させる。終了条件を以下に示す。
（終了条件１）ある追跡ポイントと、他の追跡ポイントの位置が同じになったとき、これら同一位置に達した複数の追跡ポイントの移動を終了させる。
（終了条件２）追跡ポイントが、細線化追記抽出画像に含まれる細線に相当する位置に達したとき、その追跡ポイントの移動を終了させる。
（終了条件３）ある追跡ポイントの移動を終了させる際、該移動終了追跡ポイントが交点、分岐点を通過している場合、その交点、分岐点において新たに発生された追跡ポイントの移動を終了させる。
【００５５】
追跡終了判定手段２１３は、追跡ポイント移動手段２１２において実行される追跡ポイントＰｎの移動を、上記終了条件１〜３のいずれかに該当する場合に、移動を終了させる。
【００５６】
上述した追跡ポイント生成手段２１１における追跡ポイント設定処理と、追跡ポイント移動手段２１２における追跡ポイント移動処理と、追跡終了判定手段２１３における追跡ポイント移動終了処理、これらの処理によって、細線化追記ドキュメント上に設定した追跡ポイントＰｎは、細線化追記ドキュメント上の細線に沿ってある軌跡を残す。欠損線分特定手段２１０は、この軌跡を欠損線分として、合成手段２２１に出力する。
【００５７】
［合成手段］
合成手段２２１は、欠損線分特定手段２１０が、追跡ポイントＰｎの移動処理によって形成された軌跡情報としての欠損線分と、細線化手段２０２が追記抽出画像データ１５３から生成した細線化追記抽出画像データの合成処理を実行して、修復追記抽出画像データ１５４を生成して出力する。
【００５８】
合成手段２２１の処理例について、図８を参照して説明する。図８に示す細線化追記抽出画像２５５は、細線化手段２０２が追記抽出画像データ１５３から生成した細線化追記抽出画像データである。また、図８に示す欠損線分特定手段出力画像２７１は、欠損線分特定手段２１０が、追跡ポイントＰｎの移動処理によって形成された軌跡情報としての欠損線分によって構成される画像である。この画像にはａ，ｂ，ｃ，ｄ，ｅの５つの欠損線分が含まれる。これらの線分は、上述した追跡ポイントＰｎの移動処理によって生成された線分である。
【００５９】
合成手段２２１は、これら図８に示す細線化追記抽出画像２５５と、欠損線分特定手段出力画像２７１の合成処理を実行する。この結果、図８に示す修復追記抽出画像データ２８１が生成される。この修復追記抽出画像データ２８１は、図４に示す合成手段２２１の出力する修復追記抽出画像データ１５４に相当する。
【００６０】
図８に示す欠損線分特定手段出力画像２７１は、図８に示す細線化追記抽出画像２５５の欠損部に相当する線分によって構成される。この線分は、欠損線分特定手段２１０における追跡ポイントの移動処理によって生成される線分である。欠損線分特定手段２１０では、原本情報と追記情報の双方を含む追記ドキュメント画像データの細線化データ上の細線上を移動させることで、線分ａ〜ｅを抽出している。
【００６１】
追跡ポイントの移動処理を実行する原本情報と追記情報の双方を含む追記ドキュメント画像データの細線化データ上には、追記抽出画像における欠損部に相当する線分に基づく細線が含まれている。従って、先に図７を参照して説明した端点Ｓｎに相当する追跡ポイントＰｎを設定して細線上を移動させることで、図８に示す線分ａ〜ｅが生成される。これらの線分ａ〜ｅは、細線化追記抽出画像２５５の欠損部に相当する線分として合成手段２２１に出力され、合成処理によって図８に示す細線化追記抽出画像２５５の欠損部が、欠損線分特定手段出力画像２７１の出力する画像に含まれる線分によって修復され、図８に示す修復追記抽出画像データ２８１が生成される。
【００６２】
なお、修復追記抽出画像データは細線化されたままであるため、このデータに対して膨張処理を施して、太線化して出力する構成としてもよい。膨張処理（太線化処理）は、線分等の有効画像領域を上下左右にｎ画素膨らませる処理である。この処理により、細線化データは膨張し太線に復元される。
【００６３】
次に、図９、図１０に示すフローチャートを参照して、図４に示す画像処理装置において実行する処理シーケンスについて説明する。まず、ステップＳ１０１において、追記情報を含む追記ドキュメント画像データを取得する。これは、例えばスキャナなどによって読み取られた画像データである。さらに、ステップＳ１０２において、追記を含まない原本ドキュメント画像データを取得する。これも、例えばスキャナなどによって読み取られた画像データである。
【００６４】
ステップＳ１０３では、これらの２つの画像データに基づく差分抽出処理を実行する。図４に示す差分抽出手段２０１における処理であり、この結果として追記抽出画像データが生成される。ただし、この追記抽出画像データは、追記情報と、原本情報の重なり部が欠落した欠損部を含むデータとなる。
【００６５】
次に、ステップＳ１０４において、差分抽出手段２０１の生成した欠損部を含む追記抽出画像データの細線化処理と、原本および追記情報を含む追記ドキュメント画像データの細線化処理を実行する。この処理は、図４に示す細線化手段２０２，２０４の処理である。
【００６６】
以下、ステップＳ１０５から、ステップＳ１２５までの処理は、図４に示す欠損線分特定手段２１０の処理である。まず、ステップＳ１０５において、細線化追記抽出画像から端点Ｓｉを抽出する。抽出した端点の総数をＮ１とする。この処理は、先に図７を参照して説明した処理である。
【００６７】
次に、ステップＳ１０６において、端点の番号ｉの初期化処理としてｉ＝１と設定する。次にステップＳ１０７において、細線化追記ドキュメント画像中の端点Ｓｉに対応する位置に追跡ポイントＰｉを設定する。
【００６８】
ステップＳ１０８ａにおいて、ｉが端点総数Ｎ１に至ったかを判定する。至っていない場合は、ステップＳ１０８ｂにおいてｉを１つ増加させて、端点Ｓｉに対応する追跡ポイントＰｉの設定を継続する。端点総数Ｎ１に相当する追跡ポイントＰｎが細線化追記ドキュメント画像に設定されると、ステップＳ１０９に進む。
【００６９】
ステップＳ１０９では、追跡ポイントの移動ドット数［ｄ］の初期設定として、ｄ＝０の設定を行う。ステップＳ１１０において、追跡ポイントＰｉの総数を算出し、これをＮ２とする。ステップＳ１１１において、追跡ポイントＰｉの１つを選択し、Ｐ１とする。次に、ステップＳ１１２において、追跡ポイントＰｉを細線化追記ドキュメント画像上の細線上で１画素移動させる。ステップＳ１１３では、移動した追跡ポイントの状況判定を実行する。
【００７０】
ステップＳ１１４：行き止まりと判定された場合は、ステップＳ１１４からステップＳ１２０に進み、追跡終了とする。
ステップＳ１１５：他の追跡ポイントと重なった場合は、ステップＳ１１９において、追跡ポイントの移動軌跡をオン画素に変更、すなわち、有効な欠損線分構成画素として設定し、ステップＳ１２１において追跡を終了する。なお、この追跡終了に際しては、追跡ポイントの移動過程で、交差点または分岐点の発生にともなって新たに発生させた追跡ポイントがある場合は、その発生追跡ポイントも終了させる。
【００７１】
ステップＳ１１６：追跡ポイントの移動位置が、細線化追記抽出画像上の細線上の位置に一致したと判定された場合は、ステップＳ１１９において、追跡ポイントの移動軌跡をオン画素に変更、すなわち、有効な欠損線分構成画素として設定し、ステップＳ１２１において追跡を終了する。なお、この追跡終了に際しては、追跡ポイントの移動過程で、交差点または分岐点の発生にともなって新たに発生させた追跡ポイントがある場合は、その発生追跡ポイントも終了させる。
【００７２】
ステップＳ１１７：追跡ポイントが交点または分岐点に達したと判定されると、ステップＳ１２２に進み、交点または分岐点において増加する細線数に応じて追跡ポイントを分割して、新たな追跡ポイントを追加する。
【００７３】
ステップＳ１１８、上記ステップＳ１１４〜Ｓ１１７のいずれにも該当しない場合は、ステップＳ１２３に進む。
【００７４】
ステップＳ１２３では、次の追跡ポイントの処理に移行するため、追跡ポイントＰｉの識別番号ｉを１つ増加させる更新処理を実行し、ステップＳ１２４ａにおいて、ｉが追跡ポイント総数以下であるか否かを判定し、ｉが追跡ポイント総数以下である場合は、ステップＳ１１２に戻り、次の追跡ポイントの１画素移動および状況判定処理を実行する。
【００７５】
全ての追跡ポイントＰｉについての１画素移動および状況判定処理が終了すると、ステップＳ１２５に進み、移動ドット数［ｄ］を１つ増加させて、ステップＳ１２６において、予め設定済みのドット移動数の上限閾値と比較し、移動ドット数が上限値に達していない場合は、ステップＳ１１０以下の処理を繰り返し実行する。すなわち、この時点で設定されている追跡ポイントの総数を算出して、すべての追跡ポイントについて１ドット移動させて状況判定処理を実行する処理を行なう。
【００７６】
すべての追跡ポイントが、
状況判定処理によって終了された、あるいは、
移動ドット数が上限閾値に達した、
これらのいずれかに対応する状況となると、ステップＳ１２６からステップＳ１２７に進む。このステップＳ１２６の判定がＮｏと判定されることで、図４に示す欠損線分特定手段２１０の処理が終了し、欠損線分特定手段２１０から出力データが合成手段２２１に出力される。この出力データは、例えば先に図８を参照して説明した欠損線分特定手段出力画像２７１である。
【００７７】
すなわち、欠損線分特定手段２１０は、追跡ポイントＰｎの移動処理によって形成された軌跡情報としての欠損線分によって構成される欠損線分特定手段出力画像を合成手段２２１に出力する。合成手段２２１は、ステップＳ１２７において、追記抽出画像に基づいて生成された細線化追記抽出画像と、欠損線分特定手段出力画像の合成処理を実行する。この結果、例えば、図８に示す修復追記抽出画像データ２８１が生成される。修復追記抽出画像データは、細線化追記抽出画像に含まれる欠損部が修復された画像とされる。なお、前述したように、この細線化データを膨張処理によって太線化する処理を施す構成としてもよい。
【００７８】
上述したように、本発明の画像処理装置においては、例えば原本ドキュメントと追記ドキュメントの差分抽出によって得られた追記情報に含まれる欠損部を、欠損線分特定手段において生成した欠損線分によって補うことが可能となり、正確な欠損部の修復が実現され、正確な追記データを取得することが可能となる。
【００７９】
なお、図４に示す画像処理装置では、まず、原本ドキュメント画像データ１５１と、原本に含まれない追記を含む追記ドキュメント画像データ１５２を、差分抽出手段２０１に入力して差分抽出によって、追記情報を抽出する処理を行なう構成としていた。
【００８０】
差分抽出を実行する場合は、原本ドキュメントが必要となるが、追記ドキュメントのみを入力として、追記情報を抽出することが可能となる場合もある。例えば、原本の記録情報が全て黒で記録され、追記が全て赤で記録されている追記ドキュメントである場合は、追記ドキュメントから赤で記録された情報のみを抽出する色識別処理によって、追記情報の抽出が可能となる。
【００８１】
このような画像処理装置構成を図１１に示す。図１１に示す画像処理装置と、図４に示す画像処理装置との差異は、図４における差分抽出手段２０１を、図１１では、追記抽出手段３０１に変更し、入力情報を追記ドキュメント画像データ１５２のみとした点である。その他の構成および処理は、図４以下を参照して説明した処理、構成と同様である。
【００８２】
図１１に示す画像処理装置は、原本ドキュメントに含まれる文字情報などの色と、追記された情報の色が異なる場合に適用可能である。例えば、原本がすべて黒の文字、線分によって記録され、追記が赤で行なわれた場合などである。追記抽出手段３０１は、追記を含む追記ドキュメント画像データ１５２を入力し、追記ドキュメント画像データ１５２から、追記情報の対応する色（例えば赤）を持つ情報を追記情報として抽出する。なお、追記情報の色情報については、ユーザが入力するなどの処理を行なうことになる。
【００８３】
この追記抽出手段３０１において抽出された追記情報は、先に図４を参照して説明した差分抽出手段２０１の生成する追記情報と同様、やはり、原本に含まれる情報との重なりに途切れが発生する場合がある。例えば原本に含まれる黒の文字上に記録された追記された赤色が正確に赤とは認識されず、黒と認識される場合があり、追記抽出手段３０１がこのような重なり部分を追記情報と識別しない場合があるからである。
【００８４】
このような途切れ部分は、先に図４以下を参照して説明した実施例と同様、細線化処理手段２０２，２０４、欠損線分特定手段２１０、および合成手段２２１における処理によって修復され、最終的に正確な追記情報からなる修復追記抽出画像データ１５４が生成される。
【００８５】
さらに、図１２を参照して、差分抽出手段の代わりに罫線分離手段４０１を利用した構成例について説明する。この図１２に示す構成と図４に示す構成との差異は、図４に示す差分抽出手段２０１を罫線分離手段４０１に変更し、入力情報を追記ドキュメント画像データ１５２のみとした点である。その他の構成および処理は、図４以下を参照して説明した処理、構成と同様である。
【００８６】
図１２に示す画像処理装置は、原本ドキュメントが、例えば表などの罫線情報によって構成され、その表に文字などを追記情報として記録した場合に、罫線を含まない追記情報としての文字情報などを抽出する場合に有効となる。罫線分離手段４０１は、追記を含む追記ドキュメント画像データ１５２を入力し、追記ドキュメント画像データ１５２から、罫線のみを削除した追記情報を抽出する。
【００８７】
この罫線分離手段４０１において抽出された追記情報は、先に図４を参照して説明した差分抽出手段２０１の生成する追記情報と同様、やはり、原本に含まれる情報との重なりに途切れが発生する場合がある。例えば原本に含まれる罫線上に記録された追記情報は、罫線情報として削除され、抽出される追記情報に含まれなくなるからである。
【００８８】
このような途切れ部分は、先に図４以下を参照して説明した実施例と同様、細線化処理手段２０２，２０４、欠損線分特定手段２１０、および合成手段２２１における処理によって修復され、最終的に正確な追記情報からなる修復追記抽出画像データ１５４が生成される。
【００８９】
最後に、図１３を参照して、上述した処理を実行する画像処理装置のハードウェア構成例について説明する。図１３に示す構成は、例えばＰＣなどの情報処理装置と、スキャナ等の画像データ読み取り部５３１と、プリンタなどの画像データ出力部５３２を備えたハード構成例を示している。
【００９０】
ＣＰＵ（Central Processing Unit）５０１は、上述の実施例において説明した各種のデータ処理、すなわち、差分データなどの欠損部を含むデータの抽出処理、処理対象データに対する細線化処理、欠損線分特定処理、合成処理、膨張処理などを含む一連の処理を実行する。制御手段としてのＣＰＵ５０１は、これらの処理の実行シーケンスを記述したコンピュータ・プログラムに従った処理を実行する。
【００９１】
ＲＯＭ（Read Only Memory）５０２は、ＣＰＵ５０１が使用するプログラムや演算パラメータ等を格納する。ＲＡＭ（Random Access Memory）５０３は、ＣＰＵ５０１の実行において使用するプログラムや、その実行において適宜変化するパラメータ等を格納する。これらはＣＰＵバスなどから構成されるホストバス５０４により相互に接続されている。
【００９２】
ホストバス５０４は、ブリッジ５０５を介して、ＰＣＩ(Peripheral Component Interconnect/Interface)バスなどの外部バス５０６に接続されている。
【００９３】
キーボード５０８、ポインティングデバイス５０９は、ユーザにより操作される入力デバイスである。ディスプレイ５１０は、液晶表示装置またはＣＲＴ（Cathode Ray Tube）などから成り、各種情報をテキストやイメージ情報として表示する。
【００９４】
ＨＤＤ（Hard Disk Drive）５１１は、ハードディスクを内蔵し、ハードディスクを駆動し、ＣＰＵ５０１によって実行するプログラムや情報を記録または再生させる。ハードディスクは、原本ドキュメント画像データ、追記ドキュメント画像データ等の情報、各種処理において生成されるデータなどを格納する。さらに、各種のデータ処理プログラム等、各種コンピュータ・プログラムが格納される。
【００９５】
ドライブ５１２は、装着されている磁気ディスク、光ディスク、光磁気ディスク、または半導体メモリ等のリムーバブル記録媒体５２１に記録されているデータまたはプログラムを読み出して、そのデータまたはプログラムを、インタフェース５０７、外部バス５０６、ブリッジ５０５、およびホストバス５０４を介して接続されているＲＡＭ５０３に供給する。リムーバブル記録媒体５２１も、ハードディスクと同様のデータ記録領域として利用可能である。
【００９６】
接続ポート５１４は、外部接続機器５２２を接続するポートであり、ＵＳＢ，ＩＥＥＥ１３９４等の接続部を持つ。接続ポート５１４は、インタフェース５０７、および外部バス５０６、ブリッジ５０５、ホストバス５０４等を介してＣＰＵ５０１等に接続されている。通信部５１５は、ネットワークに接続され、外部とのデータ通信処理を実行する。データ読み取り部５３１は、ドキュメントの読み取り処理を実行し、データ出力部５３２は、ドキュメントデータの出力処理を実行する。
【００９７】
なお、図１３に示す画像処理装置のハードウェア構成例は、１つの装置例を示すものであり、本発明の画像処理装置は、図１３に示す構成に限らず、上述した実施例において説明した処理を実行可能な構成であればよい。
【００９８】
以上、特定の実施例を参照しながら、本発明について詳解してきた。しかしながら、本発明の要旨を逸脱しない範囲で当業者が該実施例の修正や代用を成し得ることは自明である。すなわち、例示という形態で本発明を開示してきたのであり、限定的に解釈されるべきではない。本発明の要旨を判断するためには、特許請求の範囲の欄を参酌すべきである。
【００９９】
なお、明細書中において説明した一連の処理はハードウェア、またはソフトウェア、あるいは両者の複合構成によって実行することが可能である。ソフトウェアによる処理を実行する場合は、処理シーケンスを記録したプログラムを、専用のハードウェアに組み込まれたコンピュータ内のメモリにインストールして実行させるか、あるいは、各種処理が実行可能な汎用コンピュータにプログラムをインストールして実行させることが可能である。
【０１００】
例えば、プログラムは記録媒体としてのハードディスクやＲＯＭ（Read Only Memory)に予め記録しておくことができる。あるいは、プログラムはフレキシブルディスク、ＣＤ−ＲＯＭ(Compact Disc Read Only Memory)，ＭＯ(Magneto optical)ディスク，ＤＶＤ(Digital Versatile Disc)、磁気ディスク、半導体メモリなどのリムーバブル記録媒体に、一時的あるいは永続的に格納（記録）しておくことができる。このようなリムーバブル記録媒体は、いわゆるパッケージソフトウエアとして提供することができる。
【０１０１】
なお、プログラムは、上述したようなリムーバブル記録媒体からコンピュータにインストールする他、ダウンロードサイトから、コンピュータに無線転送したり、ＬＡＮ(Local Area Network)、インターネットといったネットワークを介して、コンピュータに有線で転送し、コンピュータでは、そのようにして転送されてくるプログラムを受信し、内蔵するハードディスク等の記録媒体にインストールすることができる。
【０１０２】
なお、明細書に記載された各種の処理は、記載に従って時系列に実行されるのみならず、処理を実行する装置の処理能力あるいは必要に応じて並列的にあるいは個別に実行されてもよい。また、本明細書においてシステムとは、複数の装置の論理的集合構成であり、各構成の装置が同一筐体内にあるものには限らない。
【産業上の利用可能性】
【０１０３】
以上、説明したように、本発明の構成によれば、例えば原本ドキュメントと、追記データの付加された追記ドキュメントの差分データのように欠損部を有するデータについての欠損部を解消する修復処理を効率的にかつ正確に実行することができる。具体的には、本発明の画像処理装置では、追記抽出画像に含まれる欠損部を有する追記情報の細線化処理を実行して細線化追記抽出画像を生成し、追記ドキュメントに含まれる情報の細線化処理を実行して細線化追記ドキュメント画像を生成する。さらに、細線化追記ドキュメント画像の細線上において、細線化追記抽出画像に含まれる端点に対応する位置に、追跡ポイントを設定して該追跡ポイントを細線に沿って移動させ、移動軌跡に対応する欠損線分画像を生成する。さらに、この欠損線分画像と、追記情報抽出手段の生成する欠損部を有する追記抽出画像との合成処理によって、修復追記抽出画像を生成する構成としたので、追記抽出画像に含まれる欠損部を、より正確に修復することが可能となる。
【図面の簡単な説明】
【０１０４】
【図１】本発明の画像処理装置を適用した処理の概要について説明する図である。
【図２】原本ドキュメントと、追記ドキュメントからの差分データの生成例について説明する図である。
【図３】本発明の画像処理装置による処理対象データ例について説明する図である。
【図４】本発明の画像処理装置一実施例構成を示すブロック図である。
【図５】本発明の画像処理装置において実行する差分抽出処理の具体的な処理例について説明する図である。
【図６】本発明の画像処理装置において実行する細線化処理の具体的な処理例について説明する図である。
【図７】本発明の画像処理装置において実行する追跡ポイント設定処理の具体的な処理例について説明する図である。
【図８】本発明の画像処理装置において実行する合成処理の具体的な処理例について説明する図である。
【図９】本発明の画像処理装置における処理シーケンスを説明するフローチャートを示す図である。
【図１０】本発明の画像処理装置における処理シーケンスを説明するフローチャートを示す図である。
【図１１】本発明の画像処理装置の一実施例構成を示すブロック図である。
【図１２】本発明の画像処理装置の一実施例構成を示すブロック図である。
【図１３】本発明の画像処理装置のハードウェア構成例について説明する図である。
【符号の説明】
【０１０５】
１０ 原本ドキュメント
２０ 追記ドキュメント
３０ スキャナ
５１ 原本ドキュメント
５２ 追記ドキュメント
５３ 線分データ
５５ 追記情報
６１ 追記ドキュメント
６２ 追記情報
７１ 罫線付きドキュメント
７２ 罫線除去情報
１００ 画像処理装置
１５１ 原本ドキュメント画像データ
１５２ 追記ドキュメント画像データ
１５３ 追記抽出画像データ
１５４ 修復追記抽出画像データ
２０１ 差分抽出手段
２０２ 細線化手段
２０４ 細線化手段
２１０ 欠損線分特定手段
２１１ 追跡ポイント生成手段
２１２ 追跡ポイント移動手段
２１３ 追跡終了判定手段
２２１ 合成手段
２５１ 原本ドキュメント画像データ
２５２ 追記ドキュメント画像データ
２５３ 追記情報
２５４ 追記抽出画像データ
２５５ 細線化追記抽出画像
２５６ 細線化追記ドキュメント
２６１ 端点設定画像
２６２ 追跡ポイント設定画像
２７１ 欠損線分特定手段出力画像
２８１ 修復追記抽出画像データ
３０１ 追記抽出手段
４０１ 罫線分離手段
５０１ ＣＰＵ(Central Processing Unit)
５０２ ＲＯＭ（Read-Only-Memory）
５０３ ＲＡＭ（Random Access Memory）
５０４ ホストバス
５０５ ブリッジ
５０６ 外部バス
５０７ インタフェース
５０８ キーボード
５０９ ポインティングデバイス
５１０ ディスプレイ
５１１ ＨＤＤ（Hard Disk Drive）
５１２ ドライブ
５１４ 接続ポート
５１５ 通信部
５２１ リムーバブル記録媒体
５２２ 外部接続機器
５３１ データ読み取り部
５３２ データ出力部
【特許請求の範囲】
【請求項１】
欠損部を有する修復対象データを入力し、欠損部を解消した復元データを生成する画像処理を実行する画像処理装置であり、
原本ドキュメントに対して追記処理のなされた追記ドキュメントに基づく追記ドキュメント画像データを入力し、該追記ドキュメント画像から追記情報を抽出した追記抽出画像を生成する追記情報抽出手段と、
前記追記情報抽出手段の生成した追記抽出画像に含まれる追記情報の細線化処理を実行して細線化追記抽出画像を生成する第１の細線化手段と、
前記追記ドキュメントに含まれる情報の細線化処理を実行して細線化追記ドキュメント画像を生成する第２の細線化手段と、
前記細線化追記ドキュメント画像の細線上において、前記細線化追記抽出画像に含まれる端点に対応する位置に、追跡ポイントを設定して該追跡ポイントを前記細線化追記ドキュメント画像の細線に沿って移動させ、該移動軌跡に基づく欠損線分画像を生成する欠損線分特定手段と、
前記欠損線分特定手段の生成する欠損線分画像と、前記追記情報抽出手段の生成する追記抽出画像との合成処理によって、修復追記抽出画像を生成する合成手段と、
を有することを特徴とする画像処理装置。
【請求項２】
前記欠損線分特定手段は、
追跡ポイントを前記細線化追記ドキュメント画像の細線に沿って移動させ、予め定めた移動終了条件に基づいて移動を終了させ、移動開始から移動終了までの移動軌跡を欠損線分として設定する処理を実行する構成であることを特徴とする請求項１に記載の画像処理装置。
【請求項３】
前記欠損線分特定手段は、
前記追跡ポイントの移動終了条件として、
（ａ）ある追跡ポイントと、他の追跡ポイントの位置が同じになったとき、これら同一位置に達した複数の追跡ポイントの移動を終了させる、
（ｂ）追跡ポイントが、細線化追記抽出画像に含まれる細線に相当する位置に達したとき、その追跡ポイントの移動を終了させる、
（ｃ）ある追跡ポイントの移動終了時に、該移動終了追跡ポイントが交点、分岐点を通過している場合、その交点、分岐点において発生させた追跡ポイントの移動を終了させる、
上記（ａ）〜（ｃ）の終了条件に基づいて、少なくとも1つの条件が成立したとき、追跡ポイントの移動を終了させる構成であることを特徴とする請求項２に記載の画像処理装置。
【請求項４】
前記追記情報抽出手段は、
原本ドキュメント画像データと、前記追記ドキュメント画像データを入力し、２つの入力画像データの差分を抽出する差分抽出手段によって構成されることを特徴とする請求項１に記載の画像処理装置。
【請求項５】
前記追記情報抽出手段は、
追記ドキュメント画像データを入力し、該追記ドキュメント画像データから特定の色の記録情報を追記情報として抽出する色抽出手段によって構成されることを特徴とする請求項１に記載の画像処理装置。
【請求項６】
前記追記情報抽出手段は、
追記ドキュメント画像データを入力し、該追記ドキュメント画像データから罫線情報を削除し、罫線情報以外の情報を追記情報として抽出する罫線分離手段によって構成されることを特徴とする請求項１に記載の画像処理装置。
【請求項７】
前記画像処理装置は、さらに、
前記追記情報抽出手段の生成した追記画像データに含まれる追記情報の膨張処理を実行して膨張処理画像データを生成する膨張処理手段を有し、
前記第１の細線化手段は、
前記膨張処理手段の生成した膨張処理画像の細線化処理を実行する構成であることを特徴とする請求項１に記載の画像処理装置。
【請求項８】
前記画像処理装置は、さらに、
前記合成手段の生成した修復追記抽出画像に含まれる追記情報の膨張処理を実行して膨張処理画像データを生成する膨張処理手段を有することを特徴とする請求項１に記載の画像処理装置。
【請求項９】
欠損部を有する修復対象データを入力し、欠損部を解消した復元データを生成する画像処理を実行する画像処理方法であり、
原本ドキュメントに対して追記処理のなされた追記ドキュメントに基づく追記ドキュメント画像データを入力し、該追記ドキュメント画像から追記情報を抽出した追記抽出画像を生成する追記情報抽出ステップと、
前記追記情報抽出ステップにおいて生成した追記抽出画像に含まれる追記情報の細線化処理を実行して細線化追記抽出画像を生成する第１の細線化ステップと、
前記追記ドキュメントに含まれる情報の細線化処理を実行して細線化追記ドキュメント画像を生成する第２の細線化ステップと、
前記細線化追記ドキュメント画像の細線上において、前記細線化追記抽出画像に含まれる端点に対応する位置に、追跡ポイントを設定して該追跡ポイントを前記細線化追記ドキュメント画像の細線に沿って移動させ、該移動軌跡に基づく欠損線分画像を生成する欠損線分特定ステップと、
前記欠損線分特定ステップにおいて生成する欠損線分画像と、前記追記情報抽出ステップにおいて生成する追記抽出画像との合成処理によって、修復追記抽出画像を生成する合成ステップと、
を有することを特徴とする画像処理方法。
【請求項１０】
前記欠損線分特定ステップは、
追跡ポイントを前記細線化追記ドキュメント画像の細線に沿って移動させ、予め定めた移動終了条件に基づいて移動を終了させ、移動開始から移動終了までの移動軌跡を欠損線分として設定する処理を実行するステップであることを特徴とする請求項９に記載の画像処理方法。
【請求項１１】
前記欠損線分特定ステップは、
前記追跡ポイントの移動終了条件として、
（ａ）ある追跡ポイントと、他の追跡ポイントの位置が同じになったとき、これら同一位置に達した複数の追跡ポイントの移動を終了させる、
（ｂ）追跡ポイントが、細線化追記抽出画像に含まれる細線に相当する位置に達したとき、その追跡ポイントの移動を終了させる、
（ｃ）ある追跡ポイントの移動終了時に、該移動終了追跡ポイントが交点、分岐点を通過している場合、その交点、分岐点において発生させた追跡ポイントの移動を終了させる、
上記（ａ）〜（ｃ）の終了条件に基づいて、少なくとも1つの条件が成立したとき、追跡ポイントの移動を終了させることを特徴とする請求項１０に記載の画像処理方法。
【請求項１２】
前記追記情報抽出ステップは、
原本ドキュメント画像データと、前記追記ドキュメント画像データを入力し、２つの入力画像データの差分を抽出する差分抽出処理を実行するステップであることを特徴とする請求項９に記載の画像処理方法。
【請求項１３】
前記追記情報抽出ステップは、
追記ドキュメント画像データを入力し、該追記ドキュメント画像データから特定の色の記録情報を追記情報として抽出する色抽出処理を実行するステップであることを特徴とする請求項９に記載の画像処理方法。
【請求項１４】
前記追記情報抽出ステップは、
追記ドキュメント画像データを入力し、該追記ドキュメント画像データから罫線情報を削除し、罫線情報以外の情報を追記情報として抽出する罫線分離処理を実行するステップであることを特徴とする請求項９に記載の画像処理方法。
【請求項１５】
前記画像処理方法は、さらに、
前記追記情報抽出ステップにおいて生成した追記画像データに含まれる追記情報の膨張処理を実行して膨張処理画像データを生成する膨張処理ステップを有し、
前記第１の細線化ステップは、
前記膨張処理ステップにおいて生成した膨張処理画像の細線化処理を実行することを特徴とする請求項９に記載の画像処理方法。
【請求項１６】
前記画像処理方法は、さらに、
前記合成ステップにおいて生成した修復追記抽出画像に含まれる追記情報の膨張処理を実行して膨張処理画像データを生成する膨張処理ステップを有することを特徴とする請求項９に記載の画像処理方法。
【請求項１７】
欠損部を有する修復対象データを入力し、欠損部を解消した復元データを生成する画像処理を画像処理装置において実行させるコンピュータ・プログラムであり、
原本ドキュメントに対して追記処理のなされた追記ドキュメントに基づく追記ドキュメント画像データを入力し、該追記ドキュメント画像から追記情報を抽出した追記抽出画像を生成する追記情報抽出ステップと、
前記追記情報抽出ステップにおいて生成した追記抽出画像に含まれる追記情報の細線化処理を実行して細線化追記抽出画像を生成する第１の細線化ステップと、
前記追記ドキュメントに含まれる情報の細線化処理を実行して細線化追記ドキュメント画像を生成する第２の細線化ステップと、
前記細線化追記ドキュメント画像の細線上において、前記細線化追記抽出画像に含まれる端点に対応する位置に、追跡ポイントを設定して該追跡ポイントを前記細線化追記ドキュメント画像の細線に沿って移動させ、該移動軌跡に基づく欠損線分画像を生成する欠損線分特定ステップと、
前記欠損線分特定ステップにおいて生成する欠損線分画像と、前記追記情報抽出ステップにおいて生成する追記抽出画像との合成処理によって、修復追記抽出画像を生成する合成ステップと、
を実行させることを特徴とするコンピュータ・プログラム。
【請求項１】
欠損部を有する修復対象データを入力し、欠損部を解消した復元データを生成する画像処理を実行する画像処理装置であり、
原本ドキュメントに対して追記処理のなされた追記ドキュメントに基づく追記ドキュメント画像データを入力し、該追記ドキュメント画像から追記情報を抽出した追記抽出画像を生成する追記情報抽出手段と、
前記追記情報抽出手段の生成した追記抽出画像に含まれる追記情報の細線化処理を実行して細線化追記抽出画像を生成する第１の細線化手段と、
前記追記ドキュメントに含まれる情報の細線化処理を実行して細線化追記ドキュメント画像を生成する第２の細線化手段と、
前記細線化追記ドキュメント画像の細線上において、前記細線化追記抽出画像に含まれる端点に対応する位置に、追跡ポイントを設定して該追跡ポイントを前記細線化追記ドキュメント画像の細線に沿って移動させ、該移動軌跡に基づく欠損線分画像を生成する欠損線分特定手段と、
前記欠損線分特定手段の生成する欠損線分画像と、前記追記情報抽出手段の生成する追記抽出画像との合成処理によって、修復追記抽出画像を生成する合成手段と、
を有することを特徴とする画像処理装置。
【請求項２】
前記欠損線分特定手段は、
追跡ポイントを前記細線化追記ドキュメント画像の細線に沿って移動させ、予め定めた移動終了条件に基づいて移動を終了させ、移動開始から移動終了までの移動軌跡を欠損線分として設定する処理を実行する構成であることを特徴とする請求項１に記載の画像処理装置。
【請求項３】
前記欠損線分特定手段は、
前記追跡ポイントの移動終了条件として、
（ａ）ある追跡ポイントと、他の追跡ポイントの位置が同じになったとき、これら同一位置に達した複数の追跡ポイントの移動を終了させる、
（ｂ）追跡ポイントが、細線化追記抽出画像に含まれる細線に相当する位置に達したとき、その追跡ポイントの移動を終了させる、
（ｃ）ある追跡ポイントの移動終了時に、該移動終了追跡ポイントが交点、分岐点を通過している場合、その交点、分岐点において発生させた追跡ポイントの移動を終了させる、
上記（ａ）〜（ｃ）の終了条件に基づいて、少なくとも1つの条件が成立したとき、追跡ポイントの移動を終了させる構成であることを特徴とする請求項２に記載の画像処理装置。
【請求項４】
前記追記情報抽出手段は、
原本ドキュメント画像データと、前記追記ドキュメント画像データを入力し、２つの入力画像データの差分を抽出する差分抽出手段によって構成されることを特徴とする請求項１に記載の画像処理装置。
【請求項５】
前記追記情報抽出手段は、
追記ドキュメント画像データを入力し、該追記ドキュメント画像データから特定の色の記録情報を追記情報として抽出する色抽出手段によって構成されることを特徴とする請求項１に記載の画像処理装置。
【請求項６】
前記追記情報抽出手段は、
追記ドキュメント画像データを入力し、該追記ドキュメント画像データから罫線情報を削除し、罫線情報以外の情報を追記情報として抽出する罫線分離手段によって構成されることを特徴とする請求項１に記載の画像処理装置。
【請求項７】
前記画像処理装置は、さらに、
前記追記情報抽出手段の生成した追記画像データに含まれる追記情報の膨張処理を実行して膨張処理画像データを生成する膨張処理手段を有し、
前記第１の細線化手段は、
前記膨張処理手段の生成した膨張処理画像の細線化処理を実行する構成であることを特徴とする請求項１に記載の画像処理装置。
【請求項８】
前記画像処理装置は、さらに、
前記合成手段の生成した修復追記抽出画像に含まれる追記情報の膨張処理を実行して膨張処理画像データを生成する膨張処理手段を有することを特徴とする請求項１に記載の画像処理装置。
【請求項９】
欠損部を有する修復対象データを入力し、欠損部を解消した復元データを生成する画像処理を実行する画像処理方法であり、
原本ドキュメントに対して追記処理のなされた追記ドキュメントに基づく追記ドキュメント画像データを入力し、該追記ドキュメント画像から追記情報を抽出した追記抽出画像を生成する追記情報抽出ステップと、
前記追記情報抽出ステップにおいて生成した追記抽出画像に含まれる追記情報の細線化処理を実行して細線化追記抽出画像を生成する第１の細線化ステップと、
前記追記ドキュメントに含まれる情報の細線化処理を実行して細線化追記ドキュメント画像を生成する第２の細線化ステップと、
前記細線化追記ドキュメント画像の細線上において、前記細線化追記抽出画像に含まれる端点に対応する位置に、追跡ポイントを設定して該追跡ポイントを前記細線化追記ドキュメント画像の細線に沿って移動させ、該移動軌跡に基づく欠損線分画像を生成する欠損線分特定ステップと、
前記欠損線分特定ステップにおいて生成する欠損線分画像と、前記追記情報抽出ステップにおいて生成する追記抽出画像との合成処理によって、修復追記抽出画像を生成する合成ステップと、
を有することを特徴とする画像処理方法。
【請求項１０】
前記欠損線分特定ステップは、
追跡ポイントを前記細線化追記ドキュメント画像の細線に沿って移動させ、予め定めた移動終了条件に基づいて移動を終了させ、移動開始から移動終了までの移動軌跡を欠損線分として設定する処理を実行するステップであることを特徴とする請求項９に記載の画像処理方法。
【請求項１１】
前記欠損線分特定ステップは、
前記追跡ポイントの移動終了条件として、
（ａ）ある追跡ポイントと、他の追跡ポイントの位置が同じになったとき、これら同一位置に達した複数の追跡ポイントの移動を終了させる、
（ｂ）追跡ポイントが、細線化追記抽出画像に含まれる細線に相当する位置に達したとき、その追跡ポイントの移動を終了させる、
（ｃ）ある追跡ポイントの移動終了時に、該移動終了追跡ポイントが交点、分岐点を通過している場合、その交点、分岐点において発生させた追跡ポイントの移動を終了させる、
上記（ａ）〜（ｃ）の終了条件に基づいて、少なくとも1つの条件が成立したとき、追跡ポイントの移動を終了させることを特徴とする請求項１０に記載の画像処理方法。
【請求項１２】
前記追記情報抽出ステップは、
原本ドキュメント画像データと、前記追記ドキュメント画像データを入力し、２つの入力画像データの差分を抽出する差分抽出処理を実行するステップであることを特徴とする請求項９に記載の画像処理方法。
【請求項１３】
前記追記情報抽出ステップは、
追記ドキュメント画像データを入力し、該追記ドキュメント画像データから特定の色の記録情報を追記情報として抽出する色抽出処理を実行するステップであることを特徴とする請求項９に記載の画像処理方法。
【請求項１４】
前記追記情報抽出ステップは、
追記ドキュメント画像データを入力し、該追記ドキュメント画像データから罫線情報を削除し、罫線情報以外の情報を追記情報として抽出する罫線分離処理を実行するステップであることを特徴とする請求項９に記載の画像処理方法。
【請求項１５】
前記画像処理方法は、さらに、
前記追記情報抽出ステップにおいて生成した追記画像データに含まれる追記情報の膨張処理を実行して膨張処理画像データを生成する膨張処理ステップを有し、
前記第１の細線化ステップは、
前記膨張処理ステップにおいて生成した膨張処理画像の細線化処理を実行することを特徴とする請求項９に記載の画像処理方法。
【請求項１６】
前記画像処理方法は、さらに、
前記合成ステップにおいて生成した修復追記抽出画像に含まれる追記情報の膨張処理を実行して膨張処理画像データを生成する膨張処理ステップを有することを特徴とする請求項９に記載の画像処理方法。
【請求項１７】
欠損部を有する修復対象データを入力し、欠損部を解消した復元データを生成する画像処理を画像処理装置において実行させるコンピュータ・プログラムであり、
原本ドキュメントに対して追記処理のなされた追記ドキュメントに基づく追記ドキュメント画像データを入力し、該追記ドキュメント画像から追記情報を抽出した追記抽出画像を生成する追記情報抽出ステップと、
前記追記情報抽出ステップにおいて生成した追記抽出画像に含まれる追記情報の細線化処理を実行して細線化追記抽出画像を生成する第１の細線化ステップと、
前記追記ドキュメントに含まれる情報の細線化処理を実行して細線化追記ドキュメント画像を生成する第２の細線化ステップと、
前記細線化追記ドキュメント画像の細線上において、前記細線化追記抽出画像に含まれる端点に対応する位置に、追跡ポイントを設定して該追跡ポイントを前記細線化追記ドキュメント画像の細線に沿って移動させ、該移動軌跡に基づく欠損線分画像を生成する欠損線分特定ステップと、
前記欠損線分特定ステップにおいて生成する欠損線分画像と、前記追記情報抽出ステップにおいて生成する追記抽出画像との合成処理によって、修復追記抽出画像を生成する合成ステップと、
を実行させることを特徴とするコンピュータ・プログラム。
【図１】
【図２】
【図３】
【図４】
【図５】
【図６】
【図７】
【図８】
【図９】
【図１０】
【図１１】
【図１２】
【図１３】
【図２】
【図３】
【図４】
【図５】
【図６】
【図７】
【図８】
【図９】
【図１０】
【図１１】
【図１２】
【図１３】
【公開番号】特開２００７−１７４０３８（Ｐ２００７−１７４０３８Ａ）
【公開日】平成１９年７月５日（２００７．７．５）
【国際特許分類】
【出願番号】特願２００５−３６６１５６（Ｐ２００５−３６６１５６）
【出願日】平成１７年１２月２０日（２００５．１２．２０）
【出願人】（０００００５４９６）富士ゼロックス株式会社 (21,908)
【Ｆターム（参考）】
【公開日】平成１９年７月５日（２００７．７．５）
【国際特許分類】
【出願日】平成１７年１２月２０日（２００５．１２．２０）
【出願人】（０００００５４９６）富士ゼロックス株式会社 (21,908)
【Ｆターム（参考）】
[ Back to top ]