画像処理方法、画像処理装置、画像処理プログラム及び記録媒体
【課題】 スキャン画像からの孤立点ノイズ除去の精度を向上する、またノイズ除去結果の確認を容易にする。
【解決手段】 入力画像から孤立点ノイズを探索する範囲を決定し、決定した範囲を対象に外接矩形を抽出し、抽出した外接矩形より、孤立点ノイズの候補矩形を抽出し、さらに前記抽出した外接矩形から文字矩形候補を抽出し、抽出した孤立点ノイズ候補矩形とその周辺の矩形との関係から孤立点ノイズを判定し、同様に抽出した文字矩形候補とその周辺の矩形との関係から孤立点ノイズを判定し、判定した孤立点ノイズを除去する。
【解決手段】 入力画像から孤立点ノイズを探索する範囲を決定し、決定した範囲を対象に外接矩形を抽出し、抽出した外接矩形より、孤立点ノイズの候補矩形を抽出し、さらに前記抽出した外接矩形から文字矩形候補を抽出し、抽出した孤立点ノイズ候補矩形とその周辺の矩形との関係から孤立点ノイズを判定し、同様に抽出した文字矩形候補とその周辺の矩形との関係から孤立点ノイズを判定し、判定した孤立点ノイズを除去する。
【発明の詳細な説明】
【技術分野】
【０００１】
本発明は、画像処理に関し、特に文書画像、図面などを対象とした画像のノイズ除去に関する。
【背景技術】
【０００２】
複写機、スキャナ等の画像機器より原稿を入力する際に、入力画像の全面にゴマ塩状の孤立点ノイズが発生する場合がある。特に、青焼き図面の場合にはそれが顕著である。このノイズは、画像機器を利用するユーザーにとっては必要の無い情報であるため、それらは自動的に除去されることが望ましい。この種のノイズに対しては、指定された大きさ（縦、横、面積）以下の外接矩形をノイズとみなして除去する方法がある（例えば特許文献１参照）。
しかし、実際は、ノイズよりも小さな文字や有効な画像（小数点、点線の一部など）があり、逆に、小さな文字よりも大きなノイズも存在する。このような場合は、特許文献１の処理では、誤って小さな文字をノイズとして除去し、小さな文字より大きなノイズをノイズではないと誤った判断をすることになる。これにより、本来除去してはいけない情報（文字、写真、図など）の欠落が起きてしまう。
スキャン画像から孤立点ノイズの除去を目的とした従来技術は幾つか存在する。例えば、孤立点ノイズが存在する画像を縮小後に再び元の大きさに拡大することにより得られた画像と、孤立点ノイズが存在する元の画像との論理積を取ることにより、小さな孤立点ノイズを除去するもの（例えば特許文献２参照）、また、文字認識の前処理として、文字列があることを前提とした方法もある。すなわち、文字の存在位置に線状の領域を設定し、この領域内の画像情報を抽出して種情報を作成し、線状の領域を走査して種情報と接続している画像情報のみを抽出することによりノイズを除去する（特許文献３）。また、テキスト情報を主に含んだ画像よりワードを抽出し、ワードの境界内に入らなかった連結した要素のグループの全てをノイズとし除去する（特許文献４）。また、特許文献５のように孤立点候補画素と文字候補画素との画素間距離に応じて、孤立点画素の判定度合いを可変調整する方法もある。さらに、特許文献６の技術を用いて点線を認識して、点線をノイズの対象から除外する方法もある（特許文献７）。
【特許文献１】特許第３０９４８９２号
【特許文献２】特開平５−６４６１号公報
【特許文献３】特開平６−２７４６９３号公報
【特許文献４】特開平７−２００７３２号公報
【特許文献５】特開２００３−８８９９公報
【特許文献６】特許第３１４００７９号
【特許文献７】特開２００２−２６２０９３公報
【発明の開示】
【発明が解決しようとする課題】
【０００３】
しかしながら、前述の特許文献１では、あらかじめ決められた大きさ（面積）以下の外接矩形は、単純にノイズとして除去されるため、「ｉ」、「ｊ」等の上の小さな点や小数点等の大きさ（面積）によってはノイズと誤って削除されてしまう、あるいはノイズが残ってしまうという問題がある。
また、特許文献２では、圧縮後の画像から抽出される最大ブロック（外接矩形）を基準にしているため、「数字」のように１つの外接矩形で構成される文字で切れ掠れ（かすれ）が無ければよいが、「ひらがな」、「カタカナ」等のように複数の外接矩形で構成される文字や、「ｉ」、「ｊ」等のように小さな点が文字に含まれているものや、文字の切れ掠れがひどい場合には、正しくノイズが除去されず、文字の一部を誤ってノイズとして除去してしまうという問題がある。
また、特許文献３では、特許文献２と同様な問題のほかに、文字列を前提としているため、図面で見られるような実線や点線に対しても適用が難しい。
また、特許文献４では、英文のようにワードを前提とした処理であるため、ワードと言う（ワードがスペースで挟まれる）概念が無い日本語の文書や、罫線が主体となる図面のような文書には適用することは難しい。
また、特許文献５では、孤立点候補画素と文字候補画素との画素間距離に応じて、孤立点画素の判定度合いを変えるようにしているが、実際に距離だけではなかなか判定は難しい。
また、特許文献７では、点線が誤ってノイズと判定される点は改良されているが、「ひらがな」、「カタカナ」のように複数の外接矩形で構成される文字や、「ｉ」、「ｊ」等のように小さな点が文字に含まれているものや、文字の切れ掠れがひどい場合には、正しくノイズが除去されず、文字の一部を誤ってノイズとして除去してしまうという問題がある。
本発明は、上述した実情を考慮してなされたものであって、スキャン画像からの孤立点ノイズ除去の精度を向上することを目的とする。また、ノイズ除去結果の確認を容易にすることを目的とする。
【課題を解決するための手段】
【０００４】
上記の課題を解決するために、請求項１に記載の発明は、入力画像から孤立点ノイズを探索する範囲を決定する探索範囲決定ステップと、該探索範囲決定ステップで決定した範囲を対象に外接矩形を抽出する外接矩形抽出ステップと、該外接矩形抽出ステップで抽出した外接矩形より孤立点ノイズの候補矩形を抽出する孤立点ノイズ候補矩形抽出ステップと、前記外接矩形抽出ステップで抽出した外接矩形より文字の候補矩形を抽出する文字候補矩形抽出ステップと、前記孤立点ノイズ候補矩形抽出ステップで抽出した孤立点ノイズ候補矩形とその周辺の矩形との関係、及び前記文字候補矩形抽出ステップで抽出した文字候補矩形とその周辺の矩形との関係とから孤立点ノイズを判定する孤立点ノイズ判定ステップと、該孤立点ノイズ判定ステップで判定した孤立点ノイズを入力画像から除去する孤立点ノイズ除去ステップとを有することを特徴とする。
また、請求項２は、請求項１記載の画像処理方法において、前記探索範囲決定ステップは、前記入力画像を所定の大きさの領域に分割し、前記分割した領域と少しずつオーバーラップさせながら次の孤立点ノイズ探索範囲を決定し、前記外接矩形抽出ステップは、前記決定した最後の孤立点ノイズ探索範囲から所定数だけ溯った複数の孤立点ノイズ探索範囲より矩形を抽出することを特徴とする。
また、請求項３は、請求項１記載の画像処理方法において、前記孤立点ノイズ候補矩形抽出ステップは、前記外接矩形抽出ステップで抽出した外接矩形の縦、横の大きさ情報を基に外接矩形を幾つかの種類に分類し、前記種類により前記孤立点ノイズの候補を抽出することを特徴とする。
また、請求項４は、請求項１記載の画像処理方法において、前記文字候補矩形抽出ステップは、前記外接矩形抽出ステップで抽出した外接矩形の縦、横の大きさ情報を基に外接矩形を幾つかの種類に分類し、前記種類により文字の候補を抽出することを特徴とする。
【０００５】
また、請求項５は、請求項１記載の画像処理方法において、前記孤立点ノイズ判定ステップは、前記孤立点ノイズの候補矩形を注目矩形として、その注目矩形の縦、横の大きさ情報とその周辺の外接矩形の縦、横の大きさ情報と位置関係の組み合わせによる判定結果と、前記文字の候補矩形を注目矩形として、その注目矩形の縦、横の大きさ情報とその周辺の外接矩形の縦、横の大きさ情報と位置関係の組み合わせによる判定結果とを組み合わせて孤立点ノイズを判定することを特徴とする。
また、請求項６は、請求項１〜５のいずれか一項に記載の画像処理方法において、孤立点ノイズ判定の強弱を調整するための切り替えステップを設け、該切り替えステップは、ノイズ判定処理用のパラメータを複数有し、ユーザー側で切り替えることを可能としたことを特徴とする。
また、請求項７は、入力画像から孤立点ノイズを探索する範囲を決定する探索範囲決定ステップと、該探索範囲決定ステップで決定した範囲を対象に外接矩形を抽出する外接矩形抽出ステップと、該外接矩形抽出ステップで抽出した外接矩形より孤立点ノイズの候補矩形を抽出する孤立点ノイズ候補矩形抽出ステップと、前記外接矩形抽出ステップで抽出した外接矩形より文字の候補矩形を抽出する文字候補矩形抽出ステップと、前記孤立点ノイズ候補矩形抽出ステップで抽出した孤立点ノイズ候補矩形とその周辺の矩形との関係、及び前記文字候補矩形抽出ステップで抽出した文字候補矩形とその周辺の矩形との関係とから孤立点ノイズを判定する孤立点ノイズ判定ステップと、該孤立点ノイズ判定ステップで判定した孤立点ノイズを入力画像に残し、他の画像をすべて除去する孤立点ノイズ残留ステップとを有することを特徴とする。
また、請求項８は、請求項７記載の画像処理方法において、前記探索範囲決定ステップは、前記入力画像を所定の大きさの領域に分割し、前記分割した領域と少しずつオーバーラップさせながら次の孤立点ノイズ探索範囲を決定し、前記外接矩形抽出ステップは、前記決定した最後の孤立点ノイズ探索範囲から所定数だけ溯った複数の孤立点ノイズ探索範囲より矩形を抽出することを特徴とする。
また、請求項９は、請求項７記載の画像処理方法において、前記孤立点ノイズ候補矩形抽出ステップは、前記外接矩形抽出ステップで抽出した外接矩形の縦、横の大きさ情報を基に外接矩形を幾つかの種類に分類し、前記種類により前記孤立点ノイズの候補を抽出することを特徴とする。
【０００６】
また、請求項１０は、請求項７記載の画像処理方法において、前記文字候補矩形抽出ステップは、前記外接矩形抽出ステップで抽出した外接矩形の縦、横の大きさ情報を基に外接矩形を幾つかの種類に分類し、前記種類により文字の候補を抽出することを特徴とする。
また、請求項１１は、請求項７記載の画像処理方法において、前記孤立点ノイズ判定ステップは、前記孤立点ノイズの候補矩形を注目矩形として、その注目矩形の縦、横の大きさ情報とその周辺の外接矩形の縦、横の大きさ情報と位置関係の組み合わせによる判定結果と、前記文字の候補矩形を注目矩形として、その注目矩形の縦、横の大きさ情報とその周辺の外接矩形の縦、横の大きさ情報と位置関係の組み合わせによる判定結果とを組み合わせて孤立点ノイズを判定することを特徴とする。
また、請求項１２は、請求項７〜１１のいずれか一項に記載の画像処理方法において、孤立点ノイズ判定の強弱を調整するための切り替えステップを設け、該切り替えステップは、ノイズ判定処理用のパラメータを複数有し、ユーザー側で切り替えることを可能としたことを特徴とする。
また、請求項１３の発明の画像処理装置は、請求項１〜１２のいずれか一項に記載の画像処理方法により画像処理を行うことを特徴とする。
また、請求項１４の発明の画像処理プログラムは、コンピュータに、請求項１〜１２のいずれか一項に記載の画像処理方法を実行させることを特徴とする。
また、請求項１５は、請求項１４の画像処理プログラムを記録したコンピュータ読み取り可能な記録媒体である。
【発明の効果】
【０００７】
本発明によれば、文書画像、図面などを対象として、情報が欠落をすることなく孤立点ノイズのみを除去することが可能となる。また、ノイズ除去結果の確認が容易となり、保存しておくデータ量も削減できる。さらに、ノイズ除去時のパラメータを選択することにより、ノイズ判定の強度（レベル）を調整できる。
【発明を実施するための最良の形態】
【０００８】
以下、図面を参照して、本発明の実施形態を詳細に説明する。図１は本発明の画像処理装置のブロック構成を示す図である。画像入力機器１０は、スキャナなどから構成され、紙などに印刷された原稿画像等を入力する。画像入力機器１０で入力された画像は、ＲＡＭ１５でバッファリングされた後、ハードディスクドライブ（ＨＤＤ）１４に保存される。本発明の画像処理を行う主な要素は、中央演算処理装置（ＣＰＵ）１１、プログラムメモリ（ＲＯＭ）１２、ＲＡＭ１５、ハードディスクドライブ（ＨＤＤ）１４、ＣＤ−ＲＯＭドライブ１６を含む構成となっており、ハードディスクドライブ１４にインストールされた画像処理プログラムに基づいて画像処理を行い、ディスプレイ１３に結果等を表示する。なお、プログラムメモリ１２は、ＲＯＭあるいは書き換え可能なＲＯＭで構成されており、オペレーティングシステム（ＯＳ）等の起動プログラムなどが記録され、ＲＡＭ１５は画像処理プログラムを実行する際の作業用記憶領域として用いられる。また、画像処理プログラムは、ＣＤ−ＲＯＭディスクなどの記録媒体に記録され、ユーザーに提供され、ＣＤ−ＲＯＭドライブ１６によって読み取られ、ハードディスクドライブ１４にインストールされる。実行時には、ＲＡＭ１５に展開されて、中央演算処理装置１１により実行される。勿論、プログラムメモリ１２のＲＯＭに本発明の画像処理プログラムを予め書き込んでおいてＲＯＭから実行するようにしてもよい。入力装置１７は、画像処理装置に対象画像の指定や処理パラメータの選択等、種々の指令を入力する装置でキーボード、マウス等で構成する。なお、前記それぞれのデバイスや機器間で制御信号やデータ等の授受はバス１８を介して行われる。
【０００９】
次に、本発明の画像処理プログラムの処理を図面とともに説明する。
図２は本発明の画像処理プログラムの処理フローチャートである。まず、画像入力機器１０等より入力された入力画像３１から、孤立点ノイズを探索する範囲（図３に示す部分領域３２）を決定する（ステップ１０１）。探索範囲の決め方は、あらかじめ決めておいた固定値、あらかじめ原稿（画像）サイズに応じて決めておいた固定値、さらに、画像情報（解像度情報、サイズ等）に応じて動的に決まる値を利用すればよい。例えば、図３に示すように入力画像３１を適切な大きさの部分領域３２に分割し、その分割した領域ごとに処理を行う。
孤立点ノイズの探索範囲が決まれば、その探索範囲に対して、黒画素（あるいは前景色画素）の連結領域の抽出（矩形抽出）を行い、外接矩形を抽出する（ステップ１０２）。この時点では、孤立点ノイズ以外に、文字、罫線、写真等、すべての外接矩形が含まれている。さらに、孤立点ノイズの候補を絞るために、外接矩形の情報を利用して外接矩形を分類し、孤立点ノイズに成り得る候補矩形を絞る（ステップ１０３）。また、情報の欠落を抑えるために、図面等で良く見られる点線の抽出を行っても良い（ステップ１０４）。
【００１０】
図４は、点線の例を示す図である。細長い矩形で構成される点線（点線１）であれば、比較的問題にならないが、点線２のようなドットで構成される点線は、孤立点ノイズとは区別できない。したがって、点線を誤って孤立点ノイズと判定しないように、事前に点線抽出を行い、点線と判断された矩形には、ノイズとして除去されないように矩形にフラグを立てることで情報の欠落を抑えることが出来る。なお、点線抽出に関しては、特許第３１４００７９号「罫線認識方法及び表処理方法」（特許文献６）に詳細な説明があるので、ここでは説明を省略する。孤立点ノイズの候補矩形が決まれば、その外接矩形を注目矩形として、注目矩形とその周辺の外接矩形との関係から孤立点ノイズかどうかを判定し、その判定結果を矩形にセットする。
次に、上で説明した孤立点ノイズの候補矩形を求めるのと同様に、外接矩形の情報を利用し、文字の候補矩形を抽出する（ステップ１０５）。そして、文字の候補矩形が決まれば、その外接矩形を注目矩形として、注目矩形とその周辺の外接矩形との関係からその周辺の外接矩形が孤立点ノイズかどうかを判定し、その判定結果を矩形にセットする（ステップ１０６）。
後は、両方の結果を組み合わせにより最終的に孤立点ノイズと判断された外接矩形を除去（白画素あるいは背景色の画素に置換）すれば良い（ステップ１０７）。
【００１１】
次に、本実施例における孤立点ノイズの探索範囲（部分領域）の決定処理の動作について詳細に説明する。処理装置に充分なメモリ（ＲＡＭ１５）を搭載できない場合は、図５に示すように入力画像３１を適切な大きさの部分領域３２に分割し、その分割した領域を少しずつオーバーラップさせながら、次の孤立点ノイズ探索範囲（部分領域）３２´を決定し、現在処理している探索範囲（部分領域）と、あらかじめ指定された数だけ溯った探索範囲（部分領域）までを管理しながら、孤立点ノイズの判定、除去を行うとよい。
孤立点ノイズ探索範囲は、画像入力機器１０等より入力された入力画像３１から、処理する単位（部分領域３２）を決定する。全画像分のメモリを確保するのではなく、部分領域単位のメモリを確保すれば良いため、少メモリ化にもつながる。製図図面のようなＡ列０番のような大きな画像を扱うためには必須である。部分領域の分割は、例えば２００ドット単位のような固定値でも良い。もちろん、矩形が部分領域の境界に跨る場合もあるので、その矩形の始点座標を次に処理すべき部分領域の始点にして、部分領域がオーバーラップするようにしている。
さらに、図６に示すように、部分領域は一つだけでなく複数管理する。初めて処理する時は、現在の部分領域のみ範囲が設定されており、２つ前、１つ前の部分領域は何も設定されていない初期化状態である。１つの部分領域での処理が終われば、現在の部分領域の範囲を１つ前の部分領域の範囲にコピーし、新しく決められた現在の部分領域の範囲を現在の部分領域にセットする。処理の進行にともない、２つ以上前の部分領域の範囲は捨てられ、１つ前の部分領域の範囲が２つ前の部分領域にコピーされ、１つ前の部分領域には、現在の部分領域の範囲がコピーされる。現在の部分領域には、新たに決められた次に処理すべき部分領域の範囲が設定されるわけである。これらの複数の部分領域を統合して、同時に部分領域に跨って抽出された外接矩形を処理すれば、部分領域単位の処理とはいっても、より広い範囲での孤立点ノイズの判定が可能になる。幾つ前まで溯って処理するかは、使用可能なメモリサイズによって変わる。
【００１２】
次に、矩形の分類について説明する。本実施例における孤立点ノイズの候補矩形の抽出は、矩形抽出より抽出された外接矩形の縦、横の大きさ情報を利用して、外接矩形を幾つかの種類に分類し、その種類により孤立点ノイズの候補を決定する。矩形は、図７の矩形の分類表にしたがって、幾つかの種類に分類される。白抜きになっているところが、孤立点ノイズの候補矩形となり、それ以外の矩形は、この時点でノイズでは無いと判定される。なお、Ｎ１〜Ｎ４の値は、対象とする画像の種類、解像度によって決めておけば良い。
また、本実施例における文字の候補矩形の抽出は、矩形抽出より抽出された外接矩形の縦、横の大きさ情報を利用して、外接矩形を幾つかの種類に分類し、その種類により文字の候補を決定する。矩形は、図８の矩形の分類表にしたがって、幾つかの種類に分類する。白抜きになっているところが、文字の候補矩形となる。なお、Ｎ１〜Ｎ４の値は、対象とする画像の種類、解像度によって決めておけばよい。また、孤立点ノイズの候補矩形と同時に求めてもよい。
次に孤立点ノイズの判定処理について説明する。本実施例では、孤立点ノイズの候補矩形を注目矩形とし、その注目矩形の種類（縦、横の大きさ情報）とその周辺の外接矩形の種類（縦、横の大きさ情報）と位置関係（水平、垂直方向の距離）の組み合わせにより得られた判定結果と、文字の候補矩形を注目矩形とし、その注目矩形の種類（縦、横の大きさ情報）とその周辺の外接矩形の種類（縦、横の大きさ情報）と位置関係（水平、垂直方向の距離）の組み合わせにより得られた判定結果の組み合わせから総合的に孤立点ノイズを判定する。
まず、図７で白抜きになっている部分を対象にノイズ判定を行う。処理としては、図７で白抜きになっている部分、つまり、孤立点ノイズの候補矩形の状態を「ノイズ候補」とし、それ以外の矩形の状態を「ノイズではない」とする。もちろん、事前の点線抽出で点線と判定された矩形はノイズではないので、状態「ノイズではない」として扱われる。状態が「ノイズ候補」である矩形を注目矩形として、その注目矩形の種類（縦、横の大きさ情報）とその周辺の外接矩形の種類（縦、横の大きさ情報）と位置関係（水平、垂直方向の距離）の組み合わせにより、孤立点ノイズかどうか判定し、孤立点ノイズの可能性ありと判定されれば、状態「ノイズ候補」のフラグに「ノイズ可能性あり」をセットする。
【００１３】
次に、図８で白抜きになっている部分を対象にノイズ判定を行う。処理としては、図８で白抜きになっている部分、つまり、状態が「ノイズではない」矩形を注目矩形として、その注目矩形の種類（縦、横の大きさ情報）とその周辺の外接矩形の種類（縦、横の大きさ情報）と位置関係（水平、垂直方向の距離）の組み合わせにより、その周辺の外接矩形が孤立点ノイズかどうか判定し、孤立点ノイズではないと判定されれば、状態「ノイズ候補」を状態「ノイズではない」に遷移させる。
ノイズの判定で、ある注目矩形の種類（縦、横の大きさ情報）とその周辺の外接矩形の種類（縦、横の大きさ情報）と位置関係（水平、垂直方向の距離）の組み合わせについては、例えば、以下のようなルールにて行う。
ａ）矩形の種類が「ノイズ」については、水平、垂直方向に距離Ｄ１以内に状態が「ノイズではない」矩形があるかどうかで判定する。あれば状態「ノイズではない」、なければ「ノイズである」。
ｂ）矩形の種類が「水平ノイズ罫線」については、水平方向に距離Ｄ２、垂直方向に距離Ｄ３以内に状態が「ノイズではない」矩形があるかどうかで判定する。あれば状態「ノイズではない」、なければ「ノイズである」。
ｃ）矩形の種類が「垂直ノイズ罫線」については、水平方向に距離Ｄ３、垂直方向に距離Ｄ２以内に状態が「ノイズではない」矩形があるかどうかで判定する。あれば状態「ノイズではない」、なければ「ノイズである」。
ｄ）矩形の種類が「小矩形」については、水平、垂直方向に距離Ｄ２以内に状態が「ノイズではない」矩形があるかどうかで判定する。あれば状態「ノイズではない」、なければ「ノイズである」。
なお、Ｄ１、Ｄ２、Ｄ３の大小関係はＤ１＜Ｄ３＜Ｄ２である。Ｄ１＝Ｄ３＜Ｄ２でも良い。これは、矩形の種類が「ノイズ」であるものは厳しく、「小矩形」は、文字、または、文字の一部である可能性が高いために緩く、「水平ノイズ罫線」は水平方向には緩く、垂直方向には厳しく、「垂直ノイズ罫線」は垂直方向には緩く、水平方向には厳しくという考え方である。
【００１４】
文字の候補矩形に注目したノイズの判定である注目矩形の種類（縦、横の大きさ情報）とその周辺の外接矩形の種類（縦、横の大きさ情報）と位置関係（水平、垂直方向の距離）の組み合わせについては、例えば、以下のようなルールにて行う。
ｅ）矩形の種類が「通常矩形」については、水平方向に距離ｄ１、垂直方向に距離ｄ２以内に状態が「ノイズ候補」矩形があるかどうかで判定する。あればその周辺の矩形の状態は「ノイズではない」にする。
ｆ）矩形の種類が「大矩形」については、水平方向に距離ｄ３、垂直方向に距離ｄ４以内に状態が「ノイズ候補」矩形があるかどうかで判定する。あればその周辺の矩形の状態は「ノイズではない」にする。
最後に、状態とフラグ「ノイズの可能性あり」の組み合わせにより最終的な「ノイズである」を判定し、その矩形のみを除去（白画素あるいは背景色の画素に置換）すれば良い。状態が、「ノイズ候補」でありフラグが「ノイズの可能性あり」については、すべて状態を「ノイズである」に遷移させ、「ノイズ候補」でありフラグが「ノイズの可能性あり」以外のものについては、すべて状態を「ノイズではない」に遷移させる。
なお、矩形の分類、孤立点ノイズの判定等で使用するパラメータを複数用意することにより、孤立点ノイズ除去の強弱をユーザー側で切り替える（指定する）こともできる。画像の一部を除去（消す）する処理であるため、ユーザーが介在し、パラメータを切り替え、ユーザーが望む画像が得られるようにする方が望ましい。ただし、ユーザー側に提示するパラメータは、上記のパラメータをそのまま提示するのではなく、まとめた方が使い勝手が良い。
例えば、孤立点ノイズ除去を弱モードにするには、以下のようにするのが良い。
・矩形の分類表でのＮ１〜Ｎ４のパラメータを小さくする（孤立点ノイズの候補矩形の対象が減少する）
・孤立点ノイズ判定のＤ１〜Ｄ４のパラメータを大きくする（範囲が広がる）
・孤立点ノイズ判定のｄ１〜ｄ４のパラメータを大きくする（範囲が広がる）
【００１５】
次に、画像処理（ノイズ除去）結果の出力について説明する。通常のノイズ除去表示では、孤立点ノイズと判定された画素（矩形）を除去して表示するが、逆に孤立点ノイズを残し、それ以外の画素を除去して表示することもできる。具体的な処理としては、白画素で埋められた画像に、孤立点ノイズと判定された画素（矩形）をコピーするだけで良い。この表示では、大量にあるノイズ除去の結果画像を確認する際に効果を発揮する。一般的にノイズ除去では、情報の欠落、つまり、誤ってノイズ以外の文字や罫線などを除去することが一番良くないことであるが、情報の欠落を皆無にすることは非常に難しい。したがって、どうしてもノイズ除去の結果画像をユーザーが確認する作業が必要になる。その際に、図９（ｂ）に示すような処理結果だけをユーザーに対して表示してもノイズが除去されているかどうかの確認は比較的容易ではあるが、情報の欠落を確認するのは非常に困難である。したがって、図９（ａ）のノイズを含んだ入力画像（オリジナル画像）と図９（ｂ）の処理結果画像との画素レベルの差分を調べ（画素毎の排他的論理和：ＸＯＲをとる）、変化がある画素（ノイズ除去された画素）を他の画素と異なる表示（例えば色を変える）をすれば、どの画素が除去されたのかがわかる（図９（ｃ）参照）。ノイズ除去と情報欠落を同時に確認することが出来るわけである。ただ、大量の画像をバッチ処理する場合には、「入力画像（オリジナル画像）」と「ノイズ除去後の結果画像」をセットで保存するのは、非常にディスク容量を必要とする。そこで、一般的には、画像中の情報よりノイズの量の方が少ない（占める面積が狭い）ことを利用し、図９（ｂ）のように、文字等の情報を残すのではなく、図９（ｃ）のように、逆にノイズを残すようにする。図９（ｃ）の画像であれば、白画素の部分が非常に多い為、通常良く知られている一般的な圧縮方法（例えばＭＨ、ＭＲ、ＭＭＲなど）を利用すれば、かなり小さなサイズに圧縮できる為、「入力画像（オリジナル画像）」とセットで保存してもディスク容量を圧迫しない。後は、結果確認時に、「入力画像（オリジナル画像）」と図９（ｃ）の画素レベルの排他的論理和（ＸＯＲ）をとれば、どの部分がノイズ除去されたかがすぐ確認できる。もちろん、通常のノイズ除去結果の画像（図９（ｂ））を出力するか、オリジナル画像との差分画像（図９（ｃ））を出力するかは、任意に切り替えることが可能である。
【図面の簡単な説明】
【００１６】
【図１】本発明の画像処理装置のブロック構成を示す図。
【図２】本発明の画像処理プログラムの処理フローチャート。
【図３】孤立点ノイズの探索範囲（部分領域）の決定処理を説明する図。
【図４】点線の例を示す図。
【図５】孤立点ノイズの探索範囲（部分領域）の決定処理を説明する図。
【図６】孤立点ノイズの探索範囲（部分領域）の決定処理を説明する図。
【図７】矩形分類表を示す図。
【図８】矩形分類表を示す図。
【図９】ノイズ除去結果の出力方法を説明する図。
【符号の説明】
【００１７】
１０ 画像入力機器、１１ 中央演算処理装置、１２ プログラムメモリ、１３ ディスプレイ、１４ ハードディスクドライブ、１５ ＲＡＭ、１６ ＲＯＭドライブ、１７ 入力装置、１８ バス、３１ 入力画像、３２ 部分領域
【技術分野】
【０００１】
本発明は、画像処理に関し、特に文書画像、図面などを対象とした画像のノイズ除去に関する。
【背景技術】
【０００２】
複写機、スキャナ等の画像機器より原稿を入力する際に、入力画像の全面にゴマ塩状の孤立点ノイズが発生する場合がある。特に、青焼き図面の場合にはそれが顕著である。このノイズは、画像機器を利用するユーザーにとっては必要の無い情報であるため、それらは自動的に除去されることが望ましい。この種のノイズに対しては、指定された大きさ（縦、横、面積）以下の外接矩形をノイズとみなして除去する方法がある（例えば特許文献１参照）。
しかし、実際は、ノイズよりも小さな文字や有効な画像（小数点、点線の一部など）があり、逆に、小さな文字よりも大きなノイズも存在する。このような場合は、特許文献１の処理では、誤って小さな文字をノイズとして除去し、小さな文字より大きなノイズをノイズではないと誤った判断をすることになる。これにより、本来除去してはいけない情報（文字、写真、図など）の欠落が起きてしまう。
スキャン画像から孤立点ノイズの除去を目的とした従来技術は幾つか存在する。例えば、孤立点ノイズが存在する画像を縮小後に再び元の大きさに拡大することにより得られた画像と、孤立点ノイズが存在する元の画像との論理積を取ることにより、小さな孤立点ノイズを除去するもの（例えば特許文献２参照）、また、文字認識の前処理として、文字列があることを前提とした方法もある。すなわち、文字の存在位置に線状の領域を設定し、この領域内の画像情報を抽出して種情報を作成し、線状の領域を走査して種情報と接続している画像情報のみを抽出することによりノイズを除去する（特許文献３）。また、テキスト情報を主に含んだ画像よりワードを抽出し、ワードの境界内に入らなかった連結した要素のグループの全てをノイズとし除去する（特許文献４）。また、特許文献５のように孤立点候補画素と文字候補画素との画素間距離に応じて、孤立点画素の判定度合いを可変調整する方法もある。さらに、特許文献６の技術を用いて点線を認識して、点線をノイズの対象から除外する方法もある（特許文献７）。
【特許文献１】特許第３０９４８９２号
【特許文献２】特開平５−６４６１号公報
【特許文献３】特開平６−２７４６９３号公報
【特許文献４】特開平７−２００７３２号公報
【特許文献５】特開２００３−８８９９公報
【特許文献６】特許第３１４００７９号
【特許文献７】特開２００２−２６２０９３公報
【発明の開示】
【発明が解決しようとする課題】
【０００３】
しかしながら、前述の特許文献１では、あらかじめ決められた大きさ（面積）以下の外接矩形は、単純にノイズとして除去されるため、「ｉ」、「ｊ」等の上の小さな点や小数点等の大きさ（面積）によってはノイズと誤って削除されてしまう、あるいはノイズが残ってしまうという問題がある。
また、特許文献２では、圧縮後の画像から抽出される最大ブロック（外接矩形）を基準にしているため、「数字」のように１つの外接矩形で構成される文字で切れ掠れ（かすれ）が無ければよいが、「ひらがな」、「カタカナ」等のように複数の外接矩形で構成される文字や、「ｉ」、「ｊ」等のように小さな点が文字に含まれているものや、文字の切れ掠れがひどい場合には、正しくノイズが除去されず、文字の一部を誤ってノイズとして除去してしまうという問題がある。
また、特許文献３では、特許文献２と同様な問題のほかに、文字列を前提としているため、図面で見られるような実線や点線に対しても適用が難しい。
また、特許文献４では、英文のようにワードを前提とした処理であるため、ワードと言う（ワードがスペースで挟まれる）概念が無い日本語の文書や、罫線が主体となる図面のような文書には適用することは難しい。
また、特許文献５では、孤立点候補画素と文字候補画素との画素間距離に応じて、孤立点画素の判定度合いを変えるようにしているが、実際に距離だけではなかなか判定は難しい。
また、特許文献７では、点線が誤ってノイズと判定される点は改良されているが、「ひらがな」、「カタカナ」のように複数の外接矩形で構成される文字や、「ｉ」、「ｊ」等のように小さな点が文字に含まれているものや、文字の切れ掠れがひどい場合には、正しくノイズが除去されず、文字の一部を誤ってノイズとして除去してしまうという問題がある。
本発明は、上述した実情を考慮してなされたものであって、スキャン画像からの孤立点ノイズ除去の精度を向上することを目的とする。また、ノイズ除去結果の確認を容易にすることを目的とする。
【課題を解決するための手段】
【０００４】
上記の課題を解決するために、請求項１に記載の発明は、入力画像から孤立点ノイズを探索する範囲を決定する探索範囲決定ステップと、該探索範囲決定ステップで決定した範囲を対象に外接矩形を抽出する外接矩形抽出ステップと、該外接矩形抽出ステップで抽出した外接矩形より孤立点ノイズの候補矩形を抽出する孤立点ノイズ候補矩形抽出ステップと、前記外接矩形抽出ステップで抽出した外接矩形より文字の候補矩形を抽出する文字候補矩形抽出ステップと、前記孤立点ノイズ候補矩形抽出ステップで抽出した孤立点ノイズ候補矩形とその周辺の矩形との関係、及び前記文字候補矩形抽出ステップで抽出した文字候補矩形とその周辺の矩形との関係とから孤立点ノイズを判定する孤立点ノイズ判定ステップと、該孤立点ノイズ判定ステップで判定した孤立点ノイズを入力画像から除去する孤立点ノイズ除去ステップとを有することを特徴とする。
また、請求項２は、請求項１記載の画像処理方法において、前記探索範囲決定ステップは、前記入力画像を所定の大きさの領域に分割し、前記分割した領域と少しずつオーバーラップさせながら次の孤立点ノイズ探索範囲を決定し、前記外接矩形抽出ステップは、前記決定した最後の孤立点ノイズ探索範囲から所定数だけ溯った複数の孤立点ノイズ探索範囲より矩形を抽出することを特徴とする。
また、請求項３は、請求項１記載の画像処理方法において、前記孤立点ノイズ候補矩形抽出ステップは、前記外接矩形抽出ステップで抽出した外接矩形の縦、横の大きさ情報を基に外接矩形を幾つかの種類に分類し、前記種類により前記孤立点ノイズの候補を抽出することを特徴とする。
また、請求項４は、請求項１記載の画像処理方法において、前記文字候補矩形抽出ステップは、前記外接矩形抽出ステップで抽出した外接矩形の縦、横の大きさ情報を基に外接矩形を幾つかの種類に分類し、前記種類により文字の候補を抽出することを特徴とする。
【０００５】
また、請求項５は、請求項１記載の画像処理方法において、前記孤立点ノイズ判定ステップは、前記孤立点ノイズの候補矩形を注目矩形として、その注目矩形の縦、横の大きさ情報とその周辺の外接矩形の縦、横の大きさ情報と位置関係の組み合わせによる判定結果と、前記文字の候補矩形を注目矩形として、その注目矩形の縦、横の大きさ情報とその周辺の外接矩形の縦、横の大きさ情報と位置関係の組み合わせによる判定結果とを組み合わせて孤立点ノイズを判定することを特徴とする。
また、請求項６は、請求項１〜５のいずれか一項に記載の画像処理方法において、孤立点ノイズ判定の強弱を調整するための切り替えステップを設け、該切り替えステップは、ノイズ判定処理用のパラメータを複数有し、ユーザー側で切り替えることを可能としたことを特徴とする。
また、請求項７は、入力画像から孤立点ノイズを探索する範囲を決定する探索範囲決定ステップと、該探索範囲決定ステップで決定した範囲を対象に外接矩形を抽出する外接矩形抽出ステップと、該外接矩形抽出ステップで抽出した外接矩形より孤立点ノイズの候補矩形を抽出する孤立点ノイズ候補矩形抽出ステップと、前記外接矩形抽出ステップで抽出した外接矩形より文字の候補矩形を抽出する文字候補矩形抽出ステップと、前記孤立点ノイズ候補矩形抽出ステップで抽出した孤立点ノイズ候補矩形とその周辺の矩形との関係、及び前記文字候補矩形抽出ステップで抽出した文字候補矩形とその周辺の矩形との関係とから孤立点ノイズを判定する孤立点ノイズ判定ステップと、該孤立点ノイズ判定ステップで判定した孤立点ノイズを入力画像に残し、他の画像をすべて除去する孤立点ノイズ残留ステップとを有することを特徴とする。
また、請求項８は、請求項７記載の画像処理方法において、前記探索範囲決定ステップは、前記入力画像を所定の大きさの領域に分割し、前記分割した領域と少しずつオーバーラップさせながら次の孤立点ノイズ探索範囲を決定し、前記外接矩形抽出ステップは、前記決定した最後の孤立点ノイズ探索範囲から所定数だけ溯った複数の孤立点ノイズ探索範囲より矩形を抽出することを特徴とする。
また、請求項９は、請求項７記載の画像処理方法において、前記孤立点ノイズ候補矩形抽出ステップは、前記外接矩形抽出ステップで抽出した外接矩形の縦、横の大きさ情報を基に外接矩形を幾つかの種類に分類し、前記種類により前記孤立点ノイズの候補を抽出することを特徴とする。
【０００６】
また、請求項１０は、請求項７記載の画像処理方法において、前記文字候補矩形抽出ステップは、前記外接矩形抽出ステップで抽出した外接矩形の縦、横の大きさ情報を基に外接矩形を幾つかの種類に分類し、前記種類により文字の候補を抽出することを特徴とする。
また、請求項１１は、請求項７記載の画像処理方法において、前記孤立点ノイズ判定ステップは、前記孤立点ノイズの候補矩形を注目矩形として、その注目矩形の縦、横の大きさ情報とその周辺の外接矩形の縦、横の大きさ情報と位置関係の組み合わせによる判定結果と、前記文字の候補矩形を注目矩形として、その注目矩形の縦、横の大きさ情報とその周辺の外接矩形の縦、横の大きさ情報と位置関係の組み合わせによる判定結果とを組み合わせて孤立点ノイズを判定することを特徴とする。
また、請求項１２は、請求項７〜１１のいずれか一項に記載の画像処理方法において、孤立点ノイズ判定の強弱を調整するための切り替えステップを設け、該切り替えステップは、ノイズ判定処理用のパラメータを複数有し、ユーザー側で切り替えることを可能としたことを特徴とする。
また、請求項１３の発明の画像処理装置は、請求項１〜１２のいずれか一項に記載の画像処理方法により画像処理を行うことを特徴とする。
また、請求項１４の発明の画像処理プログラムは、コンピュータに、請求項１〜１２のいずれか一項に記載の画像処理方法を実行させることを特徴とする。
また、請求項１５は、請求項１４の画像処理プログラムを記録したコンピュータ読み取り可能な記録媒体である。
【発明の効果】
【０００７】
本発明によれば、文書画像、図面などを対象として、情報が欠落をすることなく孤立点ノイズのみを除去することが可能となる。また、ノイズ除去結果の確認が容易となり、保存しておくデータ量も削減できる。さらに、ノイズ除去時のパラメータを選択することにより、ノイズ判定の強度（レベル）を調整できる。
【発明を実施するための最良の形態】
【０００８】
以下、図面を参照して、本発明の実施形態を詳細に説明する。図１は本発明の画像処理装置のブロック構成を示す図である。画像入力機器１０は、スキャナなどから構成され、紙などに印刷された原稿画像等を入力する。画像入力機器１０で入力された画像は、ＲＡＭ１５でバッファリングされた後、ハードディスクドライブ（ＨＤＤ）１４に保存される。本発明の画像処理を行う主な要素は、中央演算処理装置（ＣＰＵ）１１、プログラムメモリ（ＲＯＭ）１２、ＲＡＭ１５、ハードディスクドライブ（ＨＤＤ）１４、ＣＤ−ＲＯＭドライブ１６を含む構成となっており、ハードディスクドライブ１４にインストールされた画像処理プログラムに基づいて画像処理を行い、ディスプレイ１３に結果等を表示する。なお、プログラムメモリ１２は、ＲＯＭあるいは書き換え可能なＲＯＭで構成されており、オペレーティングシステム（ＯＳ）等の起動プログラムなどが記録され、ＲＡＭ１５は画像処理プログラムを実行する際の作業用記憶領域として用いられる。また、画像処理プログラムは、ＣＤ−ＲＯＭディスクなどの記録媒体に記録され、ユーザーに提供され、ＣＤ−ＲＯＭドライブ１６によって読み取られ、ハードディスクドライブ１４にインストールされる。実行時には、ＲＡＭ１５に展開されて、中央演算処理装置１１により実行される。勿論、プログラムメモリ１２のＲＯＭに本発明の画像処理プログラムを予め書き込んでおいてＲＯＭから実行するようにしてもよい。入力装置１７は、画像処理装置に対象画像の指定や処理パラメータの選択等、種々の指令を入力する装置でキーボード、マウス等で構成する。なお、前記それぞれのデバイスや機器間で制御信号やデータ等の授受はバス１８を介して行われる。
【０００９】
次に、本発明の画像処理プログラムの処理を図面とともに説明する。
図２は本発明の画像処理プログラムの処理フローチャートである。まず、画像入力機器１０等より入力された入力画像３１から、孤立点ノイズを探索する範囲（図３に示す部分領域３２）を決定する（ステップ１０１）。探索範囲の決め方は、あらかじめ決めておいた固定値、あらかじめ原稿（画像）サイズに応じて決めておいた固定値、さらに、画像情報（解像度情報、サイズ等）に応じて動的に決まる値を利用すればよい。例えば、図３に示すように入力画像３１を適切な大きさの部分領域３２に分割し、その分割した領域ごとに処理を行う。
孤立点ノイズの探索範囲が決まれば、その探索範囲に対して、黒画素（あるいは前景色画素）の連結領域の抽出（矩形抽出）を行い、外接矩形を抽出する（ステップ１０２）。この時点では、孤立点ノイズ以外に、文字、罫線、写真等、すべての外接矩形が含まれている。さらに、孤立点ノイズの候補を絞るために、外接矩形の情報を利用して外接矩形を分類し、孤立点ノイズに成り得る候補矩形を絞る（ステップ１０３）。また、情報の欠落を抑えるために、図面等で良く見られる点線の抽出を行っても良い（ステップ１０４）。
【００１０】
図４は、点線の例を示す図である。細長い矩形で構成される点線（点線１）であれば、比較的問題にならないが、点線２のようなドットで構成される点線は、孤立点ノイズとは区別できない。したがって、点線を誤って孤立点ノイズと判定しないように、事前に点線抽出を行い、点線と判断された矩形には、ノイズとして除去されないように矩形にフラグを立てることで情報の欠落を抑えることが出来る。なお、点線抽出に関しては、特許第３１４００７９号「罫線認識方法及び表処理方法」（特許文献６）に詳細な説明があるので、ここでは説明を省略する。孤立点ノイズの候補矩形が決まれば、その外接矩形を注目矩形として、注目矩形とその周辺の外接矩形との関係から孤立点ノイズかどうかを判定し、その判定結果を矩形にセットする。
次に、上で説明した孤立点ノイズの候補矩形を求めるのと同様に、外接矩形の情報を利用し、文字の候補矩形を抽出する（ステップ１０５）。そして、文字の候補矩形が決まれば、その外接矩形を注目矩形として、注目矩形とその周辺の外接矩形との関係からその周辺の外接矩形が孤立点ノイズかどうかを判定し、その判定結果を矩形にセットする（ステップ１０６）。
後は、両方の結果を組み合わせにより最終的に孤立点ノイズと判断された外接矩形を除去（白画素あるいは背景色の画素に置換）すれば良い（ステップ１０７）。
【００１１】
次に、本実施例における孤立点ノイズの探索範囲（部分領域）の決定処理の動作について詳細に説明する。処理装置に充分なメモリ（ＲＡＭ１５）を搭載できない場合は、図５に示すように入力画像３１を適切な大きさの部分領域３２に分割し、その分割した領域を少しずつオーバーラップさせながら、次の孤立点ノイズ探索範囲（部分領域）３２´を決定し、現在処理している探索範囲（部分領域）と、あらかじめ指定された数だけ溯った探索範囲（部分領域）までを管理しながら、孤立点ノイズの判定、除去を行うとよい。
孤立点ノイズ探索範囲は、画像入力機器１０等より入力された入力画像３１から、処理する単位（部分領域３２）を決定する。全画像分のメモリを確保するのではなく、部分領域単位のメモリを確保すれば良いため、少メモリ化にもつながる。製図図面のようなＡ列０番のような大きな画像を扱うためには必須である。部分領域の分割は、例えば２００ドット単位のような固定値でも良い。もちろん、矩形が部分領域の境界に跨る場合もあるので、その矩形の始点座標を次に処理すべき部分領域の始点にして、部分領域がオーバーラップするようにしている。
さらに、図６に示すように、部分領域は一つだけでなく複数管理する。初めて処理する時は、現在の部分領域のみ範囲が設定されており、２つ前、１つ前の部分領域は何も設定されていない初期化状態である。１つの部分領域での処理が終われば、現在の部分領域の範囲を１つ前の部分領域の範囲にコピーし、新しく決められた現在の部分領域の範囲を現在の部分領域にセットする。処理の進行にともない、２つ以上前の部分領域の範囲は捨てられ、１つ前の部分領域の範囲が２つ前の部分領域にコピーされ、１つ前の部分領域には、現在の部分領域の範囲がコピーされる。現在の部分領域には、新たに決められた次に処理すべき部分領域の範囲が設定されるわけである。これらの複数の部分領域を統合して、同時に部分領域に跨って抽出された外接矩形を処理すれば、部分領域単位の処理とはいっても、より広い範囲での孤立点ノイズの判定が可能になる。幾つ前まで溯って処理するかは、使用可能なメモリサイズによって変わる。
【００１２】
次に、矩形の分類について説明する。本実施例における孤立点ノイズの候補矩形の抽出は、矩形抽出より抽出された外接矩形の縦、横の大きさ情報を利用して、外接矩形を幾つかの種類に分類し、その種類により孤立点ノイズの候補を決定する。矩形は、図７の矩形の分類表にしたがって、幾つかの種類に分類される。白抜きになっているところが、孤立点ノイズの候補矩形となり、それ以外の矩形は、この時点でノイズでは無いと判定される。なお、Ｎ１〜Ｎ４の値は、対象とする画像の種類、解像度によって決めておけば良い。
また、本実施例における文字の候補矩形の抽出は、矩形抽出より抽出された外接矩形の縦、横の大きさ情報を利用して、外接矩形を幾つかの種類に分類し、その種類により文字の候補を決定する。矩形は、図８の矩形の分類表にしたがって、幾つかの種類に分類する。白抜きになっているところが、文字の候補矩形となる。なお、Ｎ１〜Ｎ４の値は、対象とする画像の種類、解像度によって決めておけばよい。また、孤立点ノイズの候補矩形と同時に求めてもよい。
次に孤立点ノイズの判定処理について説明する。本実施例では、孤立点ノイズの候補矩形を注目矩形とし、その注目矩形の種類（縦、横の大きさ情報）とその周辺の外接矩形の種類（縦、横の大きさ情報）と位置関係（水平、垂直方向の距離）の組み合わせにより得られた判定結果と、文字の候補矩形を注目矩形とし、その注目矩形の種類（縦、横の大きさ情報）とその周辺の外接矩形の種類（縦、横の大きさ情報）と位置関係（水平、垂直方向の距離）の組み合わせにより得られた判定結果の組み合わせから総合的に孤立点ノイズを判定する。
まず、図７で白抜きになっている部分を対象にノイズ判定を行う。処理としては、図７で白抜きになっている部分、つまり、孤立点ノイズの候補矩形の状態を「ノイズ候補」とし、それ以外の矩形の状態を「ノイズではない」とする。もちろん、事前の点線抽出で点線と判定された矩形はノイズではないので、状態「ノイズではない」として扱われる。状態が「ノイズ候補」である矩形を注目矩形として、その注目矩形の種類（縦、横の大きさ情報）とその周辺の外接矩形の種類（縦、横の大きさ情報）と位置関係（水平、垂直方向の距離）の組み合わせにより、孤立点ノイズかどうか判定し、孤立点ノイズの可能性ありと判定されれば、状態「ノイズ候補」のフラグに「ノイズ可能性あり」をセットする。
【００１３】
次に、図８で白抜きになっている部分を対象にノイズ判定を行う。処理としては、図８で白抜きになっている部分、つまり、状態が「ノイズではない」矩形を注目矩形として、その注目矩形の種類（縦、横の大きさ情報）とその周辺の外接矩形の種類（縦、横の大きさ情報）と位置関係（水平、垂直方向の距離）の組み合わせにより、その周辺の外接矩形が孤立点ノイズかどうか判定し、孤立点ノイズではないと判定されれば、状態「ノイズ候補」を状態「ノイズではない」に遷移させる。
ノイズの判定で、ある注目矩形の種類（縦、横の大きさ情報）とその周辺の外接矩形の種類（縦、横の大きさ情報）と位置関係（水平、垂直方向の距離）の組み合わせについては、例えば、以下のようなルールにて行う。
ａ）矩形の種類が「ノイズ」については、水平、垂直方向に距離Ｄ１以内に状態が「ノイズではない」矩形があるかどうかで判定する。あれば状態「ノイズではない」、なければ「ノイズである」。
ｂ）矩形の種類が「水平ノイズ罫線」については、水平方向に距離Ｄ２、垂直方向に距離Ｄ３以内に状態が「ノイズではない」矩形があるかどうかで判定する。あれば状態「ノイズではない」、なければ「ノイズである」。
ｃ）矩形の種類が「垂直ノイズ罫線」については、水平方向に距離Ｄ３、垂直方向に距離Ｄ２以内に状態が「ノイズではない」矩形があるかどうかで判定する。あれば状態「ノイズではない」、なければ「ノイズである」。
ｄ）矩形の種類が「小矩形」については、水平、垂直方向に距離Ｄ２以内に状態が「ノイズではない」矩形があるかどうかで判定する。あれば状態「ノイズではない」、なければ「ノイズである」。
なお、Ｄ１、Ｄ２、Ｄ３の大小関係はＤ１＜Ｄ３＜Ｄ２である。Ｄ１＝Ｄ３＜Ｄ２でも良い。これは、矩形の種類が「ノイズ」であるものは厳しく、「小矩形」は、文字、または、文字の一部である可能性が高いために緩く、「水平ノイズ罫線」は水平方向には緩く、垂直方向には厳しく、「垂直ノイズ罫線」は垂直方向には緩く、水平方向には厳しくという考え方である。
【００１４】
文字の候補矩形に注目したノイズの判定である注目矩形の種類（縦、横の大きさ情報）とその周辺の外接矩形の種類（縦、横の大きさ情報）と位置関係（水平、垂直方向の距離）の組み合わせについては、例えば、以下のようなルールにて行う。
ｅ）矩形の種類が「通常矩形」については、水平方向に距離ｄ１、垂直方向に距離ｄ２以内に状態が「ノイズ候補」矩形があるかどうかで判定する。あればその周辺の矩形の状態は「ノイズではない」にする。
ｆ）矩形の種類が「大矩形」については、水平方向に距離ｄ３、垂直方向に距離ｄ４以内に状態が「ノイズ候補」矩形があるかどうかで判定する。あればその周辺の矩形の状態は「ノイズではない」にする。
最後に、状態とフラグ「ノイズの可能性あり」の組み合わせにより最終的な「ノイズである」を判定し、その矩形のみを除去（白画素あるいは背景色の画素に置換）すれば良い。状態が、「ノイズ候補」でありフラグが「ノイズの可能性あり」については、すべて状態を「ノイズである」に遷移させ、「ノイズ候補」でありフラグが「ノイズの可能性あり」以外のものについては、すべて状態を「ノイズではない」に遷移させる。
なお、矩形の分類、孤立点ノイズの判定等で使用するパラメータを複数用意することにより、孤立点ノイズ除去の強弱をユーザー側で切り替える（指定する）こともできる。画像の一部を除去（消す）する処理であるため、ユーザーが介在し、パラメータを切り替え、ユーザーが望む画像が得られるようにする方が望ましい。ただし、ユーザー側に提示するパラメータは、上記のパラメータをそのまま提示するのではなく、まとめた方が使い勝手が良い。
例えば、孤立点ノイズ除去を弱モードにするには、以下のようにするのが良い。
・矩形の分類表でのＮ１〜Ｎ４のパラメータを小さくする（孤立点ノイズの候補矩形の対象が減少する）
・孤立点ノイズ判定のＤ１〜Ｄ４のパラメータを大きくする（範囲が広がる）
・孤立点ノイズ判定のｄ１〜ｄ４のパラメータを大きくする（範囲が広がる）
【００１５】
次に、画像処理（ノイズ除去）結果の出力について説明する。通常のノイズ除去表示では、孤立点ノイズと判定された画素（矩形）を除去して表示するが、逆に孤立点ノイズを残し、それ以外の画素を除去して表示することもできる。具体的な処理としては、白画素で埋められた画像に、孤立点ノイズと判定された画素（矩形）をコピーするだけで良い。この表示では、大量にあるノイズ除去の結果画像を確認する際に効果を発揮する。一般的にノイズ除去では、情報の欠落、つまり、誤ってノイズ以外の文字や罫線などを除去することが一番良くないことであるが、情報の欠落を皆無にすることは非常に難しい。したがって、どうしてもノイズ除去の結果画像をユーザーが確認する作業が必要になる。その際に、図９（ｂ）に示すような処理結果だけをユーザーに対して表示してもノイズが除去されているかどうかの確認は比較的容易ではあるが、情報の欠落を確認するのは非常に困難である。したがって、図９（ａ）のノイズを含んだ入力画像（オリジナル画像）と図９（ｂ）の処理結果画像との画素レベルの差分を調べ（画素毎の排他的論理和：ＸＯＲをとる）、変化がある画素（ノイズ除去された画素）を他の画素と異なる表示（例えば色を変える）をすれば、どの画素が除去されたのかがわかる（図９（ｃ）参照）。ノイズ除去と情報欠落を同時に確認することが出来るわけである。ただ、大量の画像をバッチ処理する場合には、「入力画像（オリジナル画像）」と「ノイズ除去後の結果画像」をセットで保存するのは、非常にディスク容量を必要とする。そこで、一般的には、画像中の情報よりノイズの量の方が少ない（占める面積が狭い）ことを利用し、図９（ｂ）のように、文字等の情報を残すのではなく、図９（ｃ）のように、逆にノイズを残すようにする。図９（ｃ）の画像であれば、白画素の部分が非常に多い為、通常良く知られている一般的な圧縮方法（例えばＭＨ、ＭＲ、ＭＭＲなど）を利用すれば、かなり小さなサイズに圧縮できる為、「入力画像（オリジナル画像）」とセットで保存してもディスク容量を圧迫しない。後は、結果確認時に、「入力画像（オリジナル画像）」と図９（ｃ）の画素レベルの排他的論理和（ＸＯＲ）をとれば、どの部分がノイズ除去されたかがすぐ確認できる。もちろん、通常のノイズ除去結果の画像（図９（ｂ））を出力するか、オリジナル画像との差分画像（図９（ｃ））を出力するかは、任意に切り替えることが可能である。
【図面の簡単な説明】
【００１６】
【図１】本発明の画像処理装置のブロック構成を示す図。
【図２】本発明の画像処理プログラムの処理フローチャート。
【図３】孤立点ノイズの探索範囲（部分領域）の決定処理を説明する図。
【図４】点線の例を示す図。
【図５】孤立点ノイズの探索範囲（部分領域）の決定処理を説明する図。
【図６】孤立点ノイズの探索範囲（部分領域）の決定処理を説明する図。
【図７】矩形分類表を示す図。
【図８】矩形分類表を示す図。
【図９】ノイズ除去結果の出力方法を説明する図。
【符号の説明】
【００１７】
１０ 画像入力機器、１１ 中央演算処理装置、１２ プログラムメモリ、１３ ディスプレイ、１４ ハードディスクドライブ、１５ ＲＡＭ、１６ ＲＯＭドライブ、１７ 入力装置、１８ バス、３１ 入力画像、３２ 部分領域
【特許請求の範囲】
【請求項１】
入力画像から孤立点ノイズを探索する範囲を決定する探索範囲決定ステップと、該探索範囲決定ステップで決定した範囲を対象に外接矩形を抽出する外接矩形抽出ステップと、該外接矩形抽出ステップで抽出した外接矩形より孤立点ノイズの候補矩形を抽出する孤立点ノイズ候補矩形抽出ステップと、前記外接矩形抽出ステップで抽出した外接矩形より文字の候補矩形を抽出する文字候補矩形抽出ステップと、前記孤立点ノイズ候補矩形抽出ステップで抽出した孤立点ノイズ候補矩形とその周辺の矩形との関係、及び前記文字候補矩形抽出ステップで抽出した文字候補矩形とその周辺の矩形との関係とから孤立点ノイズを判定する孤立点ノイズ判定ステップと、該孤立点ノイズ判定ステップで判定した孤立点ノイズを入力画像から除去する孤立点ノイズ除去ステップとを有することを特徴とする画像処理方法。
【請求項２】
前記探索範囲決定ステップは、前記入力画像を所定の大きさの領域に分割し、前記分割した領域と少しずつオーバーラップさせながら次の孤立点ノイズ探索範囲を決定し、前記外接矩形抽出ステップは、前記決定した最後の孤立点ノイズ探索範囲から所定数だけ溯った複数の孤立点ノイズ探索範囲より矩形を抽出することを特徴とする請求項１記載の画像処理方法。
【請求項３】
前記孤立点ノイズ候補矩形抽出ステップは、前記外接矩形抽出ステップで抽出した外接矩形の縦、横の大きさ情報を基に外接矩形を幾つかの種類に分類し、前記種類により前記孤立点ノイズの候補を抽出することを特徴とする請求項１記載の画像処理方法。
【請求項４】
前記文字候補矩形抽出ステップは、前記外接矩形抽出ステップで抽出した外接矩形の縦、横の大きさ情報を基に外接矩形を幾つかの種類に分類し、前記種類により文字の候補を抽出することを特徴とする請求項１記載の画像処理方法。
【請求項５】
前記孤立点ノイズ判定ステップは、前記孤立点ノイズの候補矩形を注目矩形として、その注目矩形の縦、横の大きさ情報とその周辺の外接矩形の縦、横の大きさ情報と位置関係の組み合わせによる判定結果と、前記文字の候補矩形を注目矩形として、その注目矩形の縦、横の大きさ情報とその周辺の外接矩形の縦、横の大きさ情報と位置関係の組み合わせによる判定結果とを組み合わせて孤立点ノイズを判定することを特徴とする請求項１記載の画像処理方法。
【請求項６】
請求項１〜５のいずれか一項に記載の画像処理方法において、孤立点ノイズ判定の強弱を調整するための切り替えステップを設け、該切り替えステップは、ノイズ判定処理用のパラメータを複数有し、ユーザー側で切り替えることを可能としたことを特徴とする画像処理方法。
【請求項７】
入力画像から孤立点ノイズを探索する範囲を決定する探索範囲決定ステップと、該探索範囲決定ステップで決定した範囲を対象に外接矩形を抽出する外接矩形抽出ステップと、該外接矩形抽出ステップで抽出した外接矩形より孤立点ノイズの候補矩形を抽出する孤立点ノイズ候補矩形抽出ステップと、前記外接矩形抽出ステップで抽出した外接矩形より文字の候補矩形を抽出する文字候補矩形抽出ステップと、前記孤立点ノイズ候補矩形抽出ステップで抽出した孤立点ノイズ候補矩形とその周辺の矩形との関係、及び前記文字候補矩形抽出ステップで抽出した文字候補矩形とその周辺の矩形との関係とから孤立点ノイズを判定する孤立点ノイズ判定ステップと、該孤立点ノイズ判定ステップで判定した孤立点ノイズを入力画像に残し、他の画像をすべて除去する孤立点ノイズ残留ステップとを有することを特徴とする画像処理方法。
【請求項８】
前記探索範囲決定ステップは、前記入力画像を所定の大きさの領域に分割し、前記分割した領域と少しずつオーバーラップさせながら次の孤立点ノイズ探索範囲を決定し、前記外接矩形抽出ステップは、前記決定した最後の孤立点ノイズ探索範囲から所定数だけ溯った複数の孤立点ノイズ探索範囲より矩形を抽出することを特徴とする請求項７記載の画像処理方法。
【請求項９】
前記孤立点ノイズ候補矩形抽出ステップは、前記外接矩形抽出ステップで抽出した外接矩形の縦、横の大きさ情報を基に外接矩形を幾つかの種類に分類し、前記種類により前記孤立点ノイズの候補を抽出することを特徴とする請求項７記載の画像処理方法。
【請求項１０】
前記文字候補矩形抽出ステップは、前記外接矩形抽出ステップで抽出した外接矩形の縦、横の大きさ情報を基に外接矩形を幾つかの種類に分類し、前記種類により文字の候補を抽出することを特徴とする請求項７記載の画像処理方法。
【請求項１１】
前記孤立点ノイズ判定ステップは、前記孤立点ノイズの候補矩形を注目矩形として、その注目矩形の縦、横の大きさ情報とその周辺の外接矩形の縦、横の大きさ情報と位置関係の組み合わせによる判定結果と、前記文字の候補矩形を注目矩形として、その注目矩形の縦、横の大きさ情報とその周辺の外接矩形の縦、横の大きさ情報と位置関係の組み合わせによる判定結果とを組み合わせて孤立点ノイズを判定することを特徴とする請求項７記載の画像処理方法。
【請求項１２】
請求項７〜１１のいずれか一項に記載の画像処理方法において、孤立点ノイズ判定の強弱を調整するための切り替えステップを設け、該切り替えステップは、ノイズ判定処理用のパラメータを複数有し、ユーザー側で切り替えることを可能としたことを特徴とする画像処理方法。
【請求項１３】
請求項１〜１２のいずれか一項に記載の画像処理方法により画像処理を行うことを特徴とする画像処理装置。
【請求項１４】
コンピュータに、請求項１〜１２のいずれか一項に記載の画像処理方法を実行させることを特徴とする画像処理プログラム。
【請求項１５】
請求項１４の画像処理プログラムを記録したコンピュータ読み取り可能な記録媒体。
【請求項１】
入力画像から孤立点ノイズを探索する範囲を決定する探索範囲決定ステップと、該探索範囲決定ステップで決定した範囲を対象に外接矩形を抽出する外接矩形抽出ステップと、該外接矩形抽出ステップで抽出した外接矩形より孤立点ノイズの候補矩形を抽出する孤立点ノイズ候補矩形抽出ステップと、前記外接矩形抽出ステップで抽出した外接矩形より文字の候補矩形を抽出する文字候補矩形抽出ステップと、前記孤立点ノイズ候補矩形抽出ステップで抽出した孤立点ノイズ候補矩形とその周辺の矩形との関係、及び前記文字候補矩形抽出ステップで抽出した文字候補矩形とその周辺の矩形との関係とから孤立点ノイズを判定する孤立点ノイズ判定ステップと、該孤立点ノイズ判定ステップで判定した孤立点ノイズを入力画像から除去する孤立点ノイズ除去ステップとを有することを特徴とする画像処理方法。
【請求項２】
前記探索範囲決定ステップは、前記入力画像を所定の大きさの領域に分割し、前記分割した領域と少しずつオーバーラップさせながら次の孤立点ノイズ探索範囲を決定し、前記外接矩形抽出ステップは、前記決定した最後の孤立点ノイズ探索範囲から所定数だけ溯った複数の孤立点ノイズ探索範囲より矩形を抽出することを特徴とする請求項１記載の画像処理方法。
【請求項３】
前記孤立点ノイズ候補矩形抽出ステップは、前記外接矩形抽出ステップで抽出した外接矩形の縦、横の大きさ情報を基に外接矩形を幾つかの種類に分類し、前記種類により前記孤立点ノイズの候補を抽出することを特徴とする請求項１記載の画像処理方法。
【請求項４】
前記文字候補矩形抽出ステップは、前記外接矩形抽出ステップで抽出した外接矩形の縦、横の大きさ情報を基に外接矩形を幾つかの種類に分類し、前記種類により文字の候補を抽出することを特徴とする請求項１記載の画像処理方法。
【請求項５】
前記孤立点ノイズ判定ステップは、前記孤立点ノイズの候補矩形を注目矩形として、その注目矩形の縦、横の大きさ情報とその周辺の外接矩形の縦、横の大きさ情報と位置関係の組み合わせによる判定結果と、前記文字の候補矩形を注目矩形として、その注目矩形の縦、横の大きさ情報とその周辺の外接矩形の縦、横の大きさ情報と位置関係の組み合わせによる判定結果とを組み合わせて孤立点ノイズを判定することを特徴とする請求項１記載の画像処理方法。
【請求項６】
請求項１〜５のいずれか一項に記載の画像処理方法において、孤立点ノイズ判定の強弱を調整するための切り替えステップを設け、該切り替えステップは、ノイズ判定処理用のパラメータを複数有し、ユーザー側で切り替えることを可能としたことを特徴とする画像処理方法。
【請求項７】
入力画像から孤立点ノイズを探索する範囲を決定する探索範囲決定ステップと、該探索範囲決定ステップで決定した範囲を対象に外接矩形を抽出する外接矩形抽出ステップと、該外接矩形抽出ステップで抽出した外接矩形より孤立点ノイズの候補矩形を抽出する孤立点ノイズ候補矩形抽出ステップと、前記外接矩形抽出ステップで抽出した外接矩形より文字の候補矩形を抽出する文字候補矩形抽出ステップと、前記孤立点ノイズ候補矩形抽出ステップで抽出した孤立点ノイズ候補矩形とその周辺の矩形との関係、及び前記文字候補矩形抽出ステップで抽出した文字候補矩形とその周辺の矩形との関係とから孤立点ノイズを判定する孤立点ノイズ判定ステップと、該孤立点ノイズ判定ステップで判定した孤立点ノイズを入力画像に残し、他の画像をすべて除去する孤立点ノイズ残留ステップとを有することを特徴とする画像処理方法。
【請求項８】
前記探索範囲決定ステップは、前記入力画像を所定の大きさの領域に分割し、前記分割した領域と少しずつオーバーラップさせながら次の孤立点ノイズ探索範囲を決定し、前記外接矩形抽出ステップは、前記決定した最後の孤立点ノイズ探索範囲から所定数だけ溯った複数の孤立点ノイズ探索範囲より矩形を抽出することを特徴とする請求項７記載の画像処理方法。
【請求項９】
前記孤立点ノイズ候補矩形抽出ステップは、前記外接矩形抽出ステップで抽出した外接矩形の縦、横の大きさ情報を基に外接矩形を幾つかの種類に分類し、前記種類により前記孤立点ノイズの候補を抽出することを特徴とする請求項７記載の画像処理方法。
【請求項１０】
前記文字候補矩形抽出ステップは、前記外接矩形抽出ステップで抽出した外接矩形の縦、横の大きさ情報を基に外接矩形を幾つかの種類に分類し、前記種類により文字の候補を抽出することを特徴とする請求項７記載の画像処理方法。
【請求項１１】
前記孤立点ノイズ判定ステップは、前記孤立点ノイズの候補矩形を注目矩形として、その注目矩形の縦、横の大きさ情報とその周辺の外接矩形の縦、横の大きさ情報と位置関係の組み合わせによる判定結果と、前記文字の候補矩形を注目矩形として、その注目矩形の縦、横の大きさ情報とその周辺の外接矩形の縦、横の大きさ情報と位置関係の組み合わせによる判定結果とを組み合わせて孤立点ノイズを判定することを特徴とする請求項７記載の画像処理方法。
【請求項１２】
請求項７〜１１のいずれか一項に記載の画像処理方法において、孤立点ノイズ判定の強弱を調整するための切り替えステップを設け、該切り替えステップは、ノイズ判定処理用のパラメータを複数有し、ユーザー側で切り替えることを可能としたことを特徴とする画像処理方法。
【請求項１３】
請求項１〜１２のいずれか一項に記載の画像処理方法により画像処理を行うことを特徴とする画像処理装置。
【請求項１４】
コンピュータに、請求項１〜１２のいずれか一項に記載の画像処理方法を実行させることを特徴とする画像処理プログラム。
【請求項１５】
請求項１４の画像処理プログラムを記録したコンピュータ読み取り可能な記録媒体。
【図１】
【図２】
【図３】
【図４】
【図５】
【図６】
【図７】
【図８】
【図９】
【図２】
【図３】
【図４】
【図５】
【図６】
【図７】
【図８】
【図９】
【公開番号】特開２００６−７２８３９（Ｐ２００６−７２８３９Ａ）
【公開日】平成１８年３月１６日（２００６．３．１６）
【国際特許分類】
【出願番号】特願２００４−２５７５０５（Ｐ２００４−２５７５０５）
【出願日】平成１６年９月３日（２００４．９．３）
【出願人】（０００００６７４７）株式会社リコー (37,907)
【Ｆターム（参考）】
【公開日】平成１８年３月１６日（２００６．３．１６）
【国際特許分類】
【出願日】平成１６年９月３日（２００４．９．３）
【出願人】（０００００６７４７）株式会社リコー (37,907)
【Ｆターム（参考）】
[ Back to top ]