画像処理装置およびその制御方法
【課題】画像に含まれる文字領域を精度よく判定する。
【解決手段】画像を各々が所定数の画素を含む複数のブロックに分割する分割手段と、各画素のエッジ強度値を導出する導出手段と、画素のエッジ強度値の最大値および最小値に基づいて基準値を導出する基準値導出手段と、前記基準値に基づいて第１閾値と第２閾値とを設定する閾値設定手段と、第１閾値以上かつ第２閾値未満である第１範囲と第２閾値以上である第２範囲との各々に含まれるエッジ強度値を有する画素の個数を計数する計数手段と、前記計数の結果に基づいて、第２範囲のエッジ強度値を有する画素が存在する場合は文字領域と判定し、第２範囲及び第１範囲のエッジ強度値を有する画素が存在しない場合は非文字領域と判定する判定手段と、を備える。
【解決手段】画像を各々が所定数の画素を含む複数のブロックに分割する分割手段と、各画素のエッジ強度値を導出する導出手段と、画素のエッジ強度値の最大値および最小値に基づいて基準値を導出する基準値導出手段と、前記基準値に基づいて第１閾値と第２閾値とを設定する閾値設定手段と、第１閾値以上かつ第２閾値未満である第１範囲と第２閾値以上である第２範囲との各々に含まれるエッジ強度値を有する画素の個数を計数する計数手段と、前記計数の結果に基づいて、第２範囲のエッジ強度値を有する画素が存在する場合は文字領域と判定し、第２範囲及び第１範囲のエッジ強度値を有する画素が存在しない場合は非文字領域と判定する判定手段と、を備える。
【発明の詳細な説明】
【技術分野】
【０００１】
本発明は、画像処理技術に関するものであり、特に、画像に含まれる文字領域を検出する技術に関するものである。
【背景技術】
【０００２】
一般に、デジタル複合機等において読み取られる原稿は、文字原稿、写真原稿及び網点印刷原稿の３種類に大別される。網点印刷原稿は、階調のある画像を細かいドットの集合体に分解し、そのドットの大きさ、即ち、濃度で擬似的に階調を表現するものである。スキャナで読み取ったこれらの原稿画像に対して、文字や網点や写真等の領域を識別し、各属性に適した処理を施すことが良く行われる。例えば、文字領域に対しては解像度を重視した処理を施した後、文字認識や文字ベクトル化処理を行い、網点領域や写真領域に対しては階調性を重視した処理を施して画質の向上を図るようにする。そのため、文字や網点等を高い精度で識別することが必要とされる。
【０００３】
従来、文字や網点等の識別技術として、色情報、或いは、エッジ情報を用いて判定する方法が提案されている。特許文献１では、入力画像を一定の大きさのブロックに分割し、隣接する画素間の濃度差の絶対値の総和をブロック毎に求め、予め決められた閾値と比較することにより、各ブロックが網点領域と文字領域と中間調領域とのいずれであるかを判定する方法が提案されている。また、特許文献２は、主走査方向と副走査方向の少なくとも一方において画素濃度差が大きい境界部が２画素以上続く連続エッジが検出されなければ文字領域と判定し、連続エッジが検出されれば文字以外の領域と判定する。
【０００４】
さらに、特許文献３では、ブロックにあるエッジ画素数を算出し、当該算出したエッジ画素数が閾値以上であるブロックを網点領域、閾値未満であるブロックを非網点領域（文字領域）として判定する方法が提案されている。また、特許文献４では、網点や文字線の輪郭成分を抽出し、当該抽出した輪郭成分のうち網点ドットの輪郭成分を除去し、Ｍ×Ｎ画素ブロック内の黒画素数を計数する。そして、ブロック内の黒画素数により文字領域と中間調画像領域とを識別する。このとき、網点領域の部分は、黒画素数の少ない領域となるので、中間調画像領域として識別される。
【先行技術文献】
【特許文献】
【０００５】
【特許文献１】特公平５−５０１８７号公報
【特許文献２】特開平０８−５１５３７号公報
【特許文献３】特開２００２−１５８８７３号公報
【特許文献４】特開平０１−２８６５７１号公報
【発明の概要】
【発明が解決しようとする課題】
【０００６】
しかしながら、網点領域を構成する網点ドットの密度や構成色によっては、網点領域と文字領域とにおいて、同等のエッジ成分を含んだり、画素間の濃度差が同等になったりする場合がある。このような場合、網点領域と文字領域とを誤認識しやすくなる。
【０００７】
また、図１に示すような網点背景上に文字があるような画像においても以下のような理由で誤認識が発生しやすい。図１（ａ）は、黒色と白色により構成される網点背景上に、白色の文字が存在する画像を例示的に示す図である。図において、所定サイズのブロック（正方形ブロック）ごとに分割して、各ブロックの領域判定を行うものとする。この例では、網点のみを含むブロック（網点ブロック）も、網点と文字とを含むブロック（文字ブロック）も、白、黒により表現されるため、各ブロック内に含まれる画素間の濃度差では文字ブロックと網点ブロックとの区別が出来ない。また、文字ブロックにも網点ブロックにも黒と白との連続エッジが存在するため、エッジ情報によっても文字ブロックと網点ブロックとの区別が困難である。図１（ｂ）は、薄い青色の背景上にある濃い青色の文字を含む画像を示している。この場合、文字色と背景色の色差が小さいので、色を使った判定では文字ブロックと非文字ブロックの判別が難しい。また、文字と背景の濃度差が小さく、文字周囲における連続エッジの認識が困難であるため、エッジ情報によっても文字ブロックと非文字ブロックとの判定が困難になる。その結果、領域の誤判定が生じ、その誤判定結果に基づいた画像処理を行うと、画質の劣化が発生することになる。
【０００８】
本発明は上述の問題点に鑑みなされたものであり、画像内の領域の属性を好適に判定する画像処理技術を提供することを目的とする。
【課題を解決するための手段】
【０００９】
上述の１以上の問題点を解決するため、本発明の画像処理装置は、画像を、各々が所定数の画素を含む複数のブロックに分割する分割手段と、注目ブロックに含まれる各画素のエッジ強度値を導出する導出手段と、前記注目ブロックに含まれる画素のエッジ強度値の最大値および最小値に基づいて、該注目ブロックにおける基準値を導出する基準値導出手段と、前記導出した基準値に基づいて、該基準値より大きい第１閾値と該第１閾値より大きい第２閾値とを設定する閾値設定手段と、前記注目ブロックにおいて、前記第１閾値以上かつ前記第２閾値未満である第１範囲と前記第２閾値以上である第２範囲との各々に含まれるエッジ強度値を有する画素の個数を計数する計数手段と、前記計数手段による計数の結果に基づいて、前記第２範囲のエッジ強度値を有する画素が存在する場合は前記注目ブロックを文字領域と判定し、前記第２範囲及び前記第１範囲のエッジ強度値を有する画素が存在しない場合は前記注目ブロックを非文字領域と判定する判定手段と、を備える。
【発明の効果】
【００１０】
本発明によれば、画像内の領域の属性を好適に判定する画像処理技術を提供することができる。
【図面の簡単な説明】
【００１１】
【図１】文字領域と非文字領域との判定が困難な例を示す図である。
【図２】第１実施形態に係る画像処理装置の機能構成を示すブロック図である。
【図３】図２に示す画像処理装置を実装するデジタル複合機（ＭＦＰ）のブロック図である。
【図４】エッジ特徴量出力処理を説明するフローチャートである。
【図５】基準値（基準閾値）導出処理を説明する図である。
【図６】第１実施形態に係るエッジ特徴量の各パラメータを説明する図である。
【図７】第１実施形態に係るエッジ特徴量の各パラメータを導出するフローチャートである。
【図８】各閾値によるエッジ抽出結果の例を示す図である。
【図９】第１実施形態に係る領域判定処理のフローチャートである。
【図１０】第２実施形態に係るエッジ特徴量の各パラメータを説明する図である。
【図１１】第２実施形態に係るエッジ特徴量の各パラメータを導出するフローチャートである。
【図１２】第２実施形態に係る領域判定処理のフローチャートである。
【発明を実施するための形態】
【００１２】
以下に、図面を参照して、この発明の好適な実施の形態を詳しく説明する。なお、以下の実施の形態はあくまで例示であり、本発明の範囲を限定する趣旨のものではない。
【００１３】
（第１実施形態）
本発明に係る画像処理装置の第１実施形態として、デジタル複合機（ＭＦＰ）を例に挙げて以下に説明する。
＜装置構成＞
図３は、本発明に係る画像処理装置を実装するデジタル複合機（ＭＦＰ）の主な構成を示すブロック図である。また、図２は、第１実施形態に係る画像処理装置のスキャナ画像処理部２０８０の詳細構成を示すブロック図である。なお、本実施形態ではスキャナ画像処理部２０８０は電子回路等のハードウェアで構成され、当該スキャナ画像処理部のハードウェアが後述する画像処理を実行するものとして説明するが、これに限るものではない。例えば、ＣＰＵ２００１がＨＤＤ２００４に格納されたプログラムを実行することにより、スキャナ画像処理部２０８０の各処理部として機能するよう構成してもよい。
【００１４】
図３に示すように、ＭＦＰは、画像処理装置の制御手段として機能するコントローラユニット２０００を備えている。コントローラユニット２０００は、画像入力デバイスであるスキャナ２０７０や画像出力デバイスであるプリンタ２０９５と、デバイスインタフェース（Ｉ／Ｆ）を介して接続する。そして、コントローラユニット２０００は、スキャナ２０７０で原稿を読み取ることによって得た画像データを、プリンタ２０９５によって印刷出力するコピー機能を実現するための制御を行うことが可能である。また、コントローラユニット２０００は、ＬＡＮ１００６や公衆回線（ＷＡＮ）１００８を介して他装置との間でパターン画像やデバイス情報等の入出力を行うための制御を行うことが可能である。
【００１５】
コントローラユニット２０００は、図３に示すように、ＣＰＵ２００１を有している。ＣＰＵ２００１は、ＲＯＭ２００３に格納されているブートプログラムによりオペレーションシステム（ＯＳ）を立ち上げる。そして、このＯＳ上でＨＤＤ（ハードディスクドライブ）２００４に格納されているアプリケーションプログラムを実行することによって各種処理を実行する。ＣＰＵ２００１の作業領域として、ＲＡＭ２００２が用いられる。ＲＡＭ２００２はまた、ＣＰＵ２００１の作業領域だけでなく、画像データを一時記憶するための画像メモリ領域としても用いられる。ＨＤＤ２００４は、上記アプリケーションプログラムや画像データを格納する。
【００１６】
ＣＰＵ２００１には、システムバス２００７を介して、ＲＯＭ２００３やＲＡＭ２００２、操作部Ｉ／Ｆ２００６、ネットワークＩ／Ｆ２０１０、モデム２０５０及びイメージバスＩ／Ｆ２００５が接続されている。
【００１７】
操作部Ｉ／Ｆ（インタフェース）２００６は、タッチパネルを有する操作部２０１２とのインタフェースであり、操作部２０１２に表示する画像データを操作部２０１２に対して出力する。また、操作部Ｉ／Ｆ２００６は、操作部２０１２においてユーザにより入力された情報をＣＰＵ２００１に送出する。
【００１８】
また、ネットワークＩ／Ｆ（インタフェース）２０１０は、ＬＡＮ１００６に接続され、ＬＡＮ１００６を介してＬＡＮ１００６に接続された各装置との間で情報の入出力を行う。モデム２０５０は、公衆回線１００８に接続し、公衆回線１００８を介して他装置との間で情報の入出力を行う。
【００１９】
イメージバスＩ／Ｆ（インタフェース）２００５は、システムバス２００７と画像データを高速で転送する画像バス２００８を接続し、データ構造を変換するためのバスブリッジである。画像バス２００８は、ＰＣＩバス又はＩＥＥＥ１３９４から構成される。画像バス２００８には、ラスタイメージプロセッサ（ＲＩＰ）２０６０、デバイスＩ／Ｆ２０２０、スキャナ画像処理部２０８０、プリンタ画像処理部２０９０、画像回転部２０３０、及び画像圧縮部２０４０が接続されている。
【００２０】
ＲＩＰ２０６０は、ＰＤＬコードをビットマップイメージに展開するプロセッサである。デバイスＩ／Ｆ２０２０には、スキャナ２０７０及びプリンタ２０９５が接続され、画像データ転送の同期系／非同期系の変換処理を行う。スキャナ画像処理部２０８０は、スキャナから入力された入力画像データに対して補正、加工、編集処理を行う。プリンタ画像処理部２０９０は、プリント出力画像データに対して印刷用の補正、解像度変換等を行って印刷データを生成し、プリンタへ当該印刷データの出力を行う。画像回転部２０３０は、画像データの回転を行う。画像圧縮部２０４０は、多値画像データをＪＰＥＧデータに、２値画像データをＪＢＩＧ、ＭＭＲ、ＭＨ等のデータに圧縮するとともに、その伸長処理も行う。
【００２１】
次に、スキャナ画像処理部２０８０において、画像内の各領域の属性を判定し、各属性に応じた所定の画像処理を行う際に用いる各処理部の構成を、図２を用いて説明する。ブロック入力部１１は、例えば、スキャナ２０７０を用いて紙原稿を読み取ることにより得たモノクロまたはカラー画像を、各々が所定数の画素を含む複数のブロック画像（以下、単に”ブロック”とも呼ぶ）に分割する。すなわち、入力画像を所定サイズのブロックごとに分割する。そして、当該分割した各ブロック画像をエッジ抽出部１２および平滑化処理部１５に入力する。
【００２２】
エッジ抽出部１２は、ブロック入力部１１から入力されたブロックからエッジ強度を抽出する。この処理で抽出されるエッジ強度は、ブロック内の各画素に対して、公知のプレヴィット（Prewitt）フィルタ、或いは、ゾーベル（Sobel）フィルタを適用することにより得られる微分データを利用することが可能である。エッジ特徴抽出部１３は、エッジ抽出部１２で算出された各画素のエッジ強度（エッジ強度値）から、ブロックごとにエッジ強度に対する基準値（以下、基準閾値とも呼ぶ）を算出する。この基準閾値からエッジ特徴の取得用のパラメータを設定し、エッジ特徴量を求める。なお、このエッジ特徴抽出処理の詳細については図４〜図７を参照して後述する。領域判定部１４は、エッジ特徴抽出部１３により決定されたエッジ特徴量に基づき、注目ブロックが文字領域か非文字領域かを判定する。この領域判定処理の詳細について図９を用いて後述する。
【００２３】
平滑化処理部１５は、ブロック入力部１１により入力されたブロック画像を平滑化処理する。平滑化処理はブロック画像に含まれる画素毎の細かい変化を少なくし、網点パターンを潰し、色情報の解析をしやすくするためのものである。平滑化処理には、公知のローパスフィルタや移動平均フィルタやエッジ保持型平滑フィルタ等を利用することが可能である。
【００２４】
代表色選択部１６は、平滑化処理部１５による平滑化後のブロック画像にある画素の出現色の分布を解析し、領域判定部１４のブロックの領域判定結果を参照して代表色（代表色候補）を選択する。領域判定の結果が文字領域であれば、代表色として複数の色（文字の色、背景の色）を選択するが、領域判定の結果が非文字領域（例えば単色の背景）であれば、代表色を１色に決める。代表色選択処理は、ブロックにある各画素の出現色の頻度が高い色を選択する方法を利用することが可能である。
【００２５】
色量子化部１７は、注目ブロック内の各画素に対して、代表色選択部１６で選択された代表色のいずれかを割り当てる。この色量子化処理は、代表色が複数色選択されたブロック内の各画素に対しては最も色距離が小さい代表色をそれぞれ割り当て、代表色が１色であるブロック内の画素に対しては当該同じ１色をそれぞれ割り当てる方法を利用することが可能である。
【００２６】
また、ブロック単位で画像処理の切り替えを行うよう構成してもよい。例えば、文字ブロックにある文字画素をエッジ強調したり、非文字ブロックにある画素を平滑化したりしてもよい。また、ブロック単位の処理結果及びブロック間の情報を使い、文字部分を接続し、文字単位に分離し、その後、文字認識処理や、文字の輪郭を抽出してベクトルデータに変換するベクトル化処理を行うよう構成してもよい。
【００２７】
＜エッジ特徴量＞
図４は、エッジ特徴抽出部１３により実行されるエッジ特徴量抽出処理の詳細を示すフローチャートである。
【００２８】
ステップＳ１３１では、エッジ抽出処理により取得した注目ブロック内の各画素のエッジ強度を入力する。そして、ステップＳ１３２では、注目ブロック内の各画素のエッジ強度に基づいて、当該注目ブロックにおける基準値（基準閾値）を導出する（基準値導出手段）。
【００２９】
図５は、第１実施形態に係る基準閾値の導出処理を説明する図である。実線は、エッジ抽出部１２から取得した、ブロック内の各画素のエッジ強度の分布を例示的に示している。原稿画像を分割して得られる複数のブロックにおいて、画素のエッジ強度の最大値と最小値との差（即ち、エッジ強度の範囲）は大きく異なり得る。したがって、複数のブロックの全てに対して同等の処理を行うためには、画素のエッジ強度の範囲を０〜２５５の値（８ビット値）に正規化した後にエッジ特徴量を判定することが考えられる。（点線は、正規化した場合のエッジ強度の分布を示している。）しかしながら、注目ブロック内の各画素のエッジ強度を正規化処理すると処理負荷が大きくなってしまう。したがって、本実施形態では、各画素のエッジ強度を正規化するのではなく、正規化した場合に用いる閾値Ｆに基づいて、実際のエッジ強度範囲における閾値Ｔを以下のように設定する。つまり、０〜２５５のエッジ強度の範囲において予め設定した閾値Ｆ（経験的に設定される値（例えば”１２０”））を用いて、実際に取得したエッジ強度の範囲における基準閾値Ｔを以下の式１によって求める。
【００３０】
Ｔ＝（Ｅmax−Ｅmin）×Ｆ／２５５＋Ｅmin （式１）
ここで、 ＥminおよびＥmaxは、それぞれ、抽出処理により求めた注目ブロック内の画素のエッジ強度の最小値と最大値である。つまり、閾値Ｆの値（所定定数）は各ブロックで共通であるが、ＥminおよびＥmaxの値はブロックごとに異なる。そのため、Ｔの値はブロックごとに異なり得る。
【００３１】
ステップＳ１３３では、導出した基準閾値Ｔを用いて、エッジ特徴量導出用のパラメータを設定し（閾値設定手段）、ステップＳ１３４では、設定されたパラメータを用いて、エッジ特徴量を導出する。そして、ステップＳ１３５では、導出したエッジ特徴量を出力する。
【００３２】
図６は、第１実施形態に係るエッジ特徴量を導出する際に用いる各パラメータを説明する図である。エッジ特徴導出用のパラメータは、基準閾値Ｔ（第３閾値）及び、当該基準閾値Ｔに基づいて求める強エッジ判定用閾値ＳＴ（第２閾値）と弱エッジ判定用閾値ＷＴ（第１閾値）の３つの閾値である。ここで、
基準閾値Ｔ
強エッジ判定用閾値ＳＴ＝Ｔ＋Ｂ
弱エッジ判定用閾値ＷＴ＝Ｔ＋Ｃ
であり、Ｂ，Ｃは、ＳＴ＞ＷＴ＞Ｔを満たすように設定された予め指定される定数である。例えばＢ＝７０、Ｃ＝５０である。
【００３３】
また、エッジ特徴は、注目ブロック内の各画素のエッジ強度と上述のパラメータに基づき導出されるものであり、具体的には、
強エッジ画素数：ＳＴ以上（第２閾値以上である第２範囲）のエッジ強度を有する画素の個数
弱エッジ画素数：ＷＴ以上かつＳＴ未満（第１閾値以上かつ第２閾値未満である第１範囲）のエッジ強度を有する画素の個数
基準エッジ画素数：Ｔ以上かつＷＴ未満（第３閾値以上かつ第１閾値未満である第３範囲）のエッジ強度を有する画素の個数
をそれぞれ計数して得られるものである。
【００３４】
図７は、第１実施形態に係るエッジ特徴量の各パラメータを導出するフローチャートである。
【００３５】
ステップＳ１３３０１では、注目ブロック内の各画素のエッジ強度と注目ブロックの基準閾値Ｔを入力する。そして、ステップＳ１３３０２では、基準閾値Ｔからエッジ特徴計算用の各パラメータを設定する。例えば、強エッジ判定用閾値ＳＴ、弱エッジ判定用閾値ＷＴを、それぞれ、Ｔ＋７０、Ｔ＋５０に設定する。
【００３６】
ステップＳ１３３０３〜Ｓ１３３１１では、注目ブロック内の各画素の各々についてエッジ強度の判定を行う（計数手段）。ステップＳ１３３０３では、処理対象となる画素のエッジ強度が強エッジ判定用閾値ＳＴ以上であるか否かを判定する。画素のエッジ強度が強エッジ判定用閾値ＳＴ以上である場合は、ステップＳ１３３０４に進み当該画素を強エッジ画素と判定し、強エッジ画素のカウント値ＳＮを１増加させる。一方、画素のエッジ強度が強エッジ判定用閾値ＳＴ未満の場合はステップＳ１３３０５に進む。
【００３７】
ステップＳ１３３０５では、当該画素のエッジ強度が弱エッジ判定用閾値ＷＴ以上か否かを判定する。画素のエッジ強度が弱エッジ判定用閾値ＷＴ以上である場合は、ステップＳ１３３０６に進み当該画素を弱エッジ画素と判定し、弱エッジ画素のカウント値ＷＮを１増加させる。画素のエッジ強度が弱エッジ判定用閾値ＷＴ未満の場合はＳ１３３０７に進む。
【００３８】
ステップＳ１３３０７では、当該画素のエッジ強度が基準閾値Ｔ以上か否かを判定する。画素のエッジ強度が基準閾値Ｔ以上である場合は、ステップＳ１３３０８に進み当該画素を基準閾値のエッジ画素と判定し、カウント値ＴＮを１増加させる。画素のエッジ強度が基準閾値Ｔ未満の場合はＳ１３３１１に進む。
【００３９】
ステップＳ１３３１１では、注目ブロック内に含まれる全画素に対して処理が完了したか否かを判定する。未処理の画素があれば、ステップＳ１３３０３に戻り、次の画素について上述の判定を繰り返す。未処理の画素がなければ、ステップＳ１３３１２に進み、エッジ特徴量（ＳＮ、ＷＮ、ＴＮ）を出力する。
【００４０】
＜各閾値によるエッジ抽出の結果例＞
図８は、各閾値によるエッジ特徴抽出結果の例を示す図である。ここでは、文字がはっきりしている”読みやすい文字領域”と、前景と背景が同色などで文字がはっきりしていない”読みにくい文字領域”、及び、”非文字領域”の各々の画像に対するエッジ特徴抽出の結果を示している。エッジ抽出結果を示す図において、白画素は各エッジ特徴を有するとして判定された画素である。図からわかるように、”読みやすい文字領域”では３つの閾値すべてで文字の輪郭が好適に抽出されている。一方、”読みにくい文字領域”では、最も低い閾値（基準閾値）では、文字の輪郭が抽出されているものの、他の２つの閾値ではごく一部しか文字の輪郭が抽出されていない。また。”非文字領域”に関しては、最も低い閾値（基準閾値）においてノイズ成分が抽出されている。
【００４１】
言い換えると、各閾値以上のエッジ強度を有する画素をエッジ画素とした場合の特徴として、以下のようなことが読み取れる。
【００４２】
強エッジ閾値：”読みやすい文字領域”でのみエッジ画素（強エッジ画素）が所定以上抽出される。
【００４３】
弱エッジ閾値：”読みやすい文字領域”においてはエッジ画素（弱エッジ画素）が所定以上抽出され、”読みにくい文字領域”では所々エッジ画素（弱エッジ画素）が抽出される。”非文字領域”では所々エッジ画素（弱エッジ画素）が抽出される場合もあるが、エッジ画素（弱エッジ画素）が抽出されない場合もある。
【００４４】
基準閾値：”読みやすい文字領域”および”読みにくい文字領域”においては文字のエッジ画素が抽出される。また、”非文字領域”では、網点などのノイズがある場合は非常に多くのエッジ画素が観測される。一方、網点でない非文字領域の場合、エッジ画素は非常に少ない。
【００４５】
＜文字領域判定処理＞
図９は、第１実施形態に係る領域判定（検出）処理のフローチャートである。
【００４６】
ステップＳ１４０１では、注目ブロックのエッジ特徴量（ＳＮ、ＷＮ、ＴＮ）を入力する。
【００４７】
ステップＳ１４０２からステップＳ１４０７では、注目ブロックが文字領域か非文字領域かを判定する。具体的には、ステップＳ１４０２では、強エッジ画素数ＳＮに注目し、強エッジ画素が存在すれば、ステップＳ１４０３に進み当該注目ブロックを文字領域と判定する。なお、このとき、ノイズ成分を考慮し、所定の閾値を設けて強エッジ画素が存在するか否かの判定を行うよう構成してもよい。一方、強エッジ画素が存在しない場合、ステップＳ１４０４に進み、弱エッジ画素数ＷＮに注目して判定する。
【００４８】
弱エッジ画素が存在しなければ、ステップＳ１４０５に進み当該注目ブロックを非文字領域と判定する。一方、弱エッジ画素が存在する場合、ステップＳ１４０６に進み、基準閾値のエッジ画素数に注目して判定する。つまり、基準閾値のエッジ画素が非常に多い（第１個数以上）、或いは、非常に少ない（第２個数未満）場合は、Ｓ１４０５に進み当該注目ブロックを非文字領域と判定する。基準閾値のエッジ画素数が前記第２個数以上かつ前記第１個数未満の範囲である場合、”読みにくい文字”であるとも”非文字領域”であるとも考えられる。そこで、後処理で補正することを考慮し、ステップＳ１４０７では、当該注目ブロックに不確定領域（”ＵＮＫＮＯＷＮ”）を示す判定不能情報を付与するとよい。
【００４９】
以上説明したとおり第１実施形態によれば、注目ブロックに対して複数の閾値を設定し、当該複数の閾値に基づいて設定される各範囲のエッジ強度を有する画素の個数に基づいて文字領域・非文字領域・不確定領域を判定する。つまり、注目ブロックに含まれる画素のエッジ強度の分布に基づいて領域の判定を行う。また、不確定領域と判定された領域に関しては、後処理により領域を決定すればよい。このように構成することにより、従来に比較しより正確に文字領域を判定することが可能となる。特に、中間濃度の網点背景と近い色を持つ文字を含む領域は、非文字領域ではなく、不確定領域として判定されるので、後処理で属性を文字領域として修正するように構成すれば、より精度良く区別できるようになる。その結果、例えば、後工程における文字認識の精度をより高めることが可能となる。なお、判定不能であった領域に対しては不確定領域の情報を設定することにより、例えば、後工程において、ユーザから選択的に領域属性の指定を受け付ける（受付手段）ことが可能となる。
【００５０】
（第２実施形態）
第２実施形態では、第１実施形態における文字領域か否かの判定と共に、文字領域及び非文字領域の各々において、当該領域が網点を含む領域か否かを併せて識別する例について説明する。つまり、第２実施形態では、”網点背景のみ”、”非網点背景のみ”、”網点背景＋文字”、”非網点背景＋文字”の４つの何れであるかを識別する。以下では、主に第１実施形態と異なる部分について説明する。
【００５１】
＜エッジ特徴量＞
図１０は、第２実施形態に係るエッジ特徴量の各パラメータを説明する図である。エッジ特徴導出用のパラメータは、基準閾値Ｔ（基準値）及び、当該基準閾値Ｔに基づいて求めた強エッジ判定用閾値ＳＴ（第２閾値）と弱エッジ判定用閾値ＷＴ（第１閾値）、及び、低閾値ＬＴ（第４閾値）の４つの閾値である。ここで、
基準閾値Ｔ
強エッジ判定用閾値ＳＴ＝Ｔ＋Ｂ
弱エッジ判定用閾値ＷＴ＝Ｔ＋Ｃ
低閾値ＬＴ＝Ｄ
であり、Ｂ，Ｃ，Ｄは、ＳＴ＞ＷＴ＞Ｔ＞Ｄを満たすように設定された予め指定される定数である。
【００５２】
また、エッジ特徴は、注目ブロック内の各画素のエッジ強度と上述のパラメータに基づき導出されるものであり、具体的には、
強エッジ画素数：ＳＴ以上（第２範囲）のエッジ強度を有する画素の個数
弱エッジ画素数：ＷＴ以上かつＳＴ未満（第１範囲）のエッジ強度を有する画素の個数
基準エッジ画素数：Ｔ以上かつＷＴ未満（第３範囲）のエッジ強度を有する画素の個数
低エッジ画素数：ＬＴ以上かつＴ未満（第４閾値以上かつ第３閾値未満である第４範囲）のエッジ強度を有する画素の個数
として表されるものである。
【００５３】
図１１は、第２実施形態に係るエッジ特徴量の各パラメータを導出するフローチャートである。なお、ステップＳ１３３０１〜Ｓ１３３０８については第１実施形態とほぼ同様である。ただし、ステップＳ１３３０７において、画素のエッジ強度が基準閾値Ｔ未満の場合にＳ１３３０９に進む点が異なる。
【００５４】
ステップＳ１３３０９では、当該画素のエッジ強度が低閾値ＬＴ（例えば４０）以上か否かを判定する。画素のエッジ強度が低閾値ＬＴ以上である場合は、ステップＳ１３３１０に進み当該画素を低閾値のエッジ画素と判定し、カウント値ＬＮを１増加させる。一方、低閾値ＬＴ未満である場合、ステップＳ１３３１１に進む。
【００５５】
ステップＳ１３３１１では、注目ブロック内に含まれる全画素に対して処理が完了したか否かを判定する。未処理の画素があれば、ステップＳ１３３０３に戻り、次の画素について上述の判定を繰り返す。未処理の画素がなければ、ステップＳ１３３１２に進み、エッジ特徴量（ＳＮ、ＷＮ、ＴＮ、ＬＮ）を出力する。
【００５６】
＜文字領域判定処理＞
注目ブロックが非網点（下地）上の文字である場合、一様な色の下地においてはエッジ画素が発生しないので、低閾値エッジ画素数は少なくなる。一方、網点上の文字は、網点背景にある網点画素がエッジ画素となるため、低閾値エッジ画素数が非常に多い。文字の無い非網点背景（下地）は、低閾値におけるエッジ画素が少ない。また、文字の無い網点背景では、低閾値におけるエッジ画素が多い。そこで、以下のようにして”網点背景のみ”、”非網点背景のみ”、”網点背景＋文字”、”非網点背景＋文字”の４つの何れであるかを識別することが出来る。
【００５７】
図１２は、第２実施形態に係る領域判定処理のフローチャートである。なお、ステップＳ１４１１〜Ｓ１４１７は第１実施形態におけるステップＳ１４０１〜Ｓ１４０７とほぼ同様である。ただし、”文字領域”あるいは”非文字領域”と決定された後の処理が第１実施形態と異なる。
【００５８】
注目ブロックが”文字領域”であると決定（Ｓ１４１３）された後、ステップＳ１４１８では、低閾値のエッジ画素の個数ＬＮが所定個数以上であるか否か判定する。低閾値のエッジ画素の個数ＬＮが所定個数以上の場合、網点背景上の文字（網点上文字領域）であると判定する（Ｓ１４１９）。一方、低閾値のエッジ画素の個数ＬＮが所定個数未満の場合、下地上文字領域（非網点背景（下地）上に文字がある非網点上文字領域）であると判定する（Ｓ１４２０）。
【００５９】
同様に、注目ブロックが”非文字領域”であると決定（Ｓ１４１５）された後、ステップＳ１４２１では、低閾値のエッジ画素の個数ＬＮが所定個数以上であるか否か判定する。低閾値のエッジ画素の個数ＬＮが所定個数以上の場合、網点（網点背景領域）であると判定する（Ｓ１４２２）。一方、低閾値のエッジ画素の個数ＬＮが所定個数未満の場合、下地（非網点背景領域）であると判定する（Ｓ１４２３）。
【００６０】
以上説明したとおり第２実施形態によれば、文字領域と非文字領域との判定に加え、網点背景と非網点背景との判定を併せて行うことが可能となる。
【００６１】
（その他の実施例）
また、本発明は、以下の処理を実行することによっても実現される。即ち、上述した実施形態の機能を実現するソフトウェア（プログラム）を、ネットワーク又は各種記憶媒体を介してシステム或いは装置に供給し、そのシステム或いは装置のコンピュータ（またはＣＰＵやＭＰＵ等）がプログラムを読み出して実行する処理である。
【技術分野】
【０００１】
本発明は、画像処理技術に関するものであり、特に、画像に含まれる文字領域を検出する技術に関するものである。
【背景技術】
【０００２】
一般に、デジタル複合機等において読み取られる原稿は、文字原稿、写真原稿及び網点印刷原稿の３種類に大別される。網点印刷原稿は、階調のある画像を細かいドットの集合体に分解し、そのドットの大きさ、即ち、濃度で擬似的に階調を表現するものである。スキャナで読み取ったこれらの原稿画像に対して、文字や網点や写真等の領域を識別し、各属性に適した処理を施すことが良く行われる。例えば、文字領域に対しては解像度を重視した処理を施した後、文字認識や文字ベクトル化処理を行い、網点領域や写真領域に対しては階調性を重視した処理を施して画質の向上を図るようにする。そのため、文字や網点等を高い精度で識別することが必要とされる。
【０００３】
従来、文字や網点等の識別技術として、色情報、或いは、エッジ情報を用いて判定する方法が提案されている。特許文献１では、入力画像を一定の大きさのブロックに分割し、隣接する画素間の濃度差の絶対値の総和をブロック毎に求め、予め決められた閾値と比較することにより、各ブロックが網点領域と文字領域と中間調領域とのいずれであるかを判定する方法が提案されている。また、特許文献２は、主走査方向と副走査方向の少なくとも一方において画素濃度差が大きい境界部が２画素以上続く連続エッジが検出されなければ文字領域と判定し、連続エッジが検出されれば文字以外の領域と判定する。
【０００４】
さらに、特許文献３では、ブロックにあるエッジ画素数を算出し、当該算出したエッジ画素数が閾値以上であるブロックを網点領域、閾値未満であるブロックを非網点領域（文字領域）として判定する方法が提案されている。また、特許文献４では、網点や文字線の輪郭成分を抽出し、当該抽出した輪郭成分のうち網点ドットの輪郭成分を除去し、Ｍ×Ｎ画素ブロック内の黒画素数を計数する。そして、ブロック内の黒画素数により文字領域と中間調画像領域とを識別する。このとき、網点領域の部分は、黒画素数の少ない領域となるので、中間調画像領域として識別される。
【先行技術文献】
【特許文献】
【０００５】
【特許文献１】特公平５−５０１８７号公報
【特許文献２】特開平０８−５１５３７号公報
【特許文献３】特開２００２−１５８８７３号公報
【特許文献４】特開平０１−２８６５７１号公報
【発明の概要】
【発明が解決しようとする課題】
【０００６】
しかしながら、網点領域を構成する網点ドットの密度や構成色によっては、網点領域と文字領域とにおいて、同等のエッジ成分を含んだり、画素間の濃度差が同等になったりする場合がある。このような場合、網点領域と文字領域とを誤認識しやすくなる。
【０００７】
また、図１に示すような網点背景上に文字があるような画像においても以下のような理由で誤認識が発生しやすい。図１（ａ）は、黒色と白色により構成される網点背景上に、白色の文字が存在する画像を例示的に示す図である。図において、所定サイズのブロック（正方形ブロック）ごとに分割して、各ブロックの領域判定を行うものとする。この例では、網点のみを含むブロック（網点ブロック）も、網点と文字とを含むブロック（文字ブロック）も、白、黒により表現されるため、各ブロック内に含まれる画素間の濃度差では文字ブロックと網点ブロックとの区別が出来ない。また、文字ブロックにも網点ブロックにも黒と白との連続エッジが存在するため、エッジ情報によっても文字ブロックと網点ブロックとの区別が困難である。図１（ｂ）は、薄い青色の背景上にある濃い青色の文字を含む画像を示している。この場合、文字色と背景色の色差が小さいので、色を使った判定では文字ブロックと非文字ブロックの判別が難しい。また、文字と背景の濃度差が小さく、文字周囲における連続エッジの認識が困難であるため、エッジ情報によっても文字ブロックと非文字ブロックとの判定が困難になる。その結果、領域の誤判定が生じ、その誤判定結果に基づいた画像処理を行うと、画質の劣化が発生することになる。
【０００８】
本発明は上述の問題点に鑑みなされたものであり、画像内の領域の属性を好適に判定する画像処理技術を提供することを目的とする。
【課題を解決するための手段】
【０００９】
上述の１以上の問題点を解決するため、本発明の画像処理装置は、画像を、各々が所定数の画素を含む複数のブロックに分割する分割手段と、注目ブロックに含まれる各画素のエッジ強度値を導出する導出手段と、前記注目ブロックに含まれる画素のエッジ強度値の最大値および最小値に基づいて、該注目ブロックにおける基準値を導出する基準値導出手段と、前記導出した基準値に基づいて、該基準値より大きい第１閾値と該第１閾値より大きい第２閾値とを設定する閾値設定手段と、前記注目ブロックにおいて、前記第１閾値以上かつ前記第２閾値未満である第１範囲と前記第２閾値以上である第２範囲との各々に含まれるエッジ強度値を有する画素の個数を計数する計数手段と、前記計数手段による計数の結果に基づいて、前記第２範囲のエッジ強度値を有する画素が存在する場合は前記注目ブロックを文字領域と判定し、前記第２範囲及び前記第１範囲のエッジ強度値を有する画素が存在しない場合は前記注目ブロックを非文字領域と判定する判定手段と、を備える。
【発明の効果】
【００１０】
本発明によれば、画像内の領域の属性を好適に判定する画像処理技術を提供することができる。
【図面の簡単な説明】
【００１１】
【図１】文字領域と非文字領域との判定が困難な例を示す図である。
【図２】第１実施形態に係る画像処理装置の機能構成を示すブロック図である。
【図３】図２に示す画像処理装置を実装するデジタル複合機（ＭＦＰ）のブロック図である。
【図４】エッジ特徴量出力処理を説明するフローチャートである。
【図５】基準値（基準閾値）導出処理を説明する図である。
【図６】第１実施形態に係るエッジ特徴量の各パラメータを説明する図である。
【図７】第１実施形態に係るエッジ特徴量の各パラメータを導出するフローチャートである。
【図８】各閾値によるエッジ抽出結果の例を示す図である。
【図９】第１実施形態に係る領域判定処理のフローチャートである。
【図１０】第２実施形態に係るエッジ特徴量の各パラメータを説明する図である。
【図１１】第２実施形態に係るエッジ特徴量の各パラメータを導出するフローチャートである。
【図１２】第２実施形態に係る領域判定処理のフローチャートである。
【発明を実施するための形態】
【００１２】
以下に、図面を参照して、この発明の好適な実施の形態を詳しく説明する。なお、以下の実施の形態はあくまで例示であり、本発明の範囲を限定する趣旨のものではない。
【００１３】
（第１実施形態）
本発明に係る画像処理装置の第１実施形態として、デジタル複合機（ＭＦＰ）を例に挙げて以下に説明する。
＜装置構成＞
図３は、本発明に係る画像処理装置を実装するデジタル複合機（ＭＦＰ）の主な構成を示すブロック図である。また、図２は、第１実施形態に係る画像処理装置のスキャナ画像処理部２０８０の詳細構成を示すブロック図である。なお、本実施形態ではスキャナ画像処理部２０８０は電子回路等のハードウェアで構成され、当該スキャナ画像処理部のハードウェアが後述する画像処理を実行するものとして説明するが、これに限るものではない。例えば、ＣＰＵ２００１がＨＤＤ２００４に格納されたプログラムを実行することにより、スキャナ画像処理部２０８０の各処理部として機能するよう構成してもよい。
【００１４】
図３に示すように、ＭＦＰは、画像処理装置の制御手段として機能するコントローラユニット２０００を備えている。コントローラユニット２０００は、画像入力デバイスであるスキャナ２０７０や画像出力デバイスであるプリンタ２０９５と、デバイスインタフェース（Ｉ／Ｆ）を介して接続する。そして、コントローラユニット２０００は、スキャナ２０７０で原稿を読み取ることによって得た画像データを、プリンタ２０９５によって印刷出力するコピー機能を実現するための制御を行うことが可能である。また、コントローラユニット２０００は、ＬＡＮ１００６や公衆回線（ＷＡＮ）１００８を介して他装置との間でパターン画像やデバイス情報等の入出力を行うための制御を行うことが可能である。
【００１５】
コントローラユニット２０００は、図３に示すように、ＣＰＵ２００１を有している。ＣＰＵ２００１は、ＲＯＭ２００３に格納されているブートプログラムによりオペレーションシステム（ＯＳ）を立ち上げる。そして、このＯＳ上でＨＤＤ（ハードディスクドライブ）２００４に格納されているアプリケーションプログラムを実行することによって各種処理を実行する。ＣＰＵ２００１の作業領域として、ＲＡＭ２００２が用いられる。ＲＡＭ２００２はまた、ＣＰＵ２００１の作業領域だけでなく、画像データを一時記憶するための画像メモリ領域としても用いられる。ＨＤＤ２００４は、上記アプリケーションプログラムや画像データを格納する。
【００１６】
ＣＰＵ２００１には、システムバス２００７を介して、ＲＯＭ２００３やＲＡＭ２００２、操作部Ｉ／Ｆ２００６、ネットワークＩ／Ｆ２０１０、モデム２０５０及びイメージバスＩ／Ｆ２００５が接続されている。
【００１７】
操作部Ｉ／Ｆ（インタフェース）２００６は、タッチパネルを有する操作部２０１２とのインタフェースであり、操作部２０１２に表示する画像データを操作部２０１２に対して出力する。また、操作部Ｉ／Ｆ２００６は、操作部２０１２においてユーザにより入力された情報をＣＰＵ２００１に送出する。
【００１８】
また、ネットワークＩ／Ｆ（インタフェース）２０１０は、ＬＡＮ１００６に接続され、ＬＡＮ１００６を介してＬＡＮ１００６に接続された各装置との間で情報の入出力を行う。モデム２０５０は、公衆回線１００８に接続し、公衆回線１００８を介して他装置との間で情報の入出力を行う。
【００１９】
イメージバスＩ／Ｆ（インタフェース）２００５は、システムバス２００７と画像データを高速で転送する画像バス２００８を接続し、データ構造を変換するためのバスブリッジである。画像バス２００８は、ＰＣＩバス又はＩＥＥＥ１３９４から構成される。画像バス２００８には、ラスタイメージプロセッサ（ＲＩＰ）２０６０、デバイスＩ／Ｆ２０２０、スキャナ画像処理部２０８０、プリンタ画像処理部２０９０、画像回転部２０３０、及び画像圧縮部２０４０が接続されている。
【００２０】
ＲＩＰ２０６０は、ＰＤＬコードをビットマップイメージに展開するプロセッサである。デバイスＩ／Ｆ２０２０には、スキャナ２０７０及びプリンタ２０９５が接続され、画像データ転送の同期系／非同期系の変換処理を行う。スキャナ画像処理部２０８０は、スキャナから入力された入力画像データに対して補正、加工、編集処理を行う。プリンタ画像処理部２０９０は、プリント出力画像データに対して印刷用の補正、解像度変換等を行って印刷データを生成し、プリンタへ当該印刷データの出力を行う。画像回転部２０３０は、画像データの回転を行う。画像圧縮部２０４０は、多値画像データをＪＰＥＧデータに、２値画像データをＪＢＩＧ、ＭＭＲ、ＭＨ等のデータに圧縮するとともに、その伸長処理も行う。
【００２１】
次に、スキャナ画像処理部２０８０において、画像内の各領域の属性を判定し、各属性に応じた所定の画像処理を行う際に用いる各処理部の構成を、図２を用いて説明する。ブロック入力部１１は、例えば、スキャナ２０７０を用いて紙原稿を読み取ることにより得たモノクロまたはカラー画像を、各々が所定数の画素を含む複数のブロック画像（以下、単に”ブロック”とも呼ぶ）に分割する。すなわち、入力画像を所定サイズのブロックごとに分割する。そして、当該分割した各ブロック画像をエッジ抽出部１２および平滑化処理部１５に入力する。
【００２２】
エッジ抽出部１２は、ブロック入力部１１から入力されたブロックからエッジ強度を抽出する。この処理で抽出されるエッジ強度は、ブロック内の各画素に対して、公知のプレヴィット（Prewitt）フィルタ、或いは、ゾーベル（Sobel）フィルタを適用することにより得られる微分データを利用することが可能である。エッジ特徴抽出部１３は、エッジ抽出部１２で算出された各画素のエッジ強度（エッジ強度値）から、ブロックごとにエッジ強度に対する基準値（以下、基準閾値とも呼ぶ）を算出する。この基準閾値からエッジ特徴の取得用のパラメータを設定し、エッジ特徴量を求める。なお、このエッジ特徴抽出処理の詳細については図４〜図７を参照して後述する。領域判定部１４は、エッジ特徴抽出部１３により決定されたエッジ特徴量に基づき、注目ブロックが文字領域か非文字領域かを判定する。この領域判定処理の詳細について図９を用いて後述する。
【００２３】
平滑化処理部１５は、ブロック入力部１１により入力されたブロック画像を平滑化処理する。平滑化処理はブロック画像に含まれる画素毎の細かい変化を少なくし、網点パターンを潰し、色情報の解析をしやすくするためのものである。平滑化処理には、公知のローパスフィルタや移動平均フィルタやエッジ保持型平滑フィルタ等を利用することが可能である。
【００２４】
代表色選択部１６は、平滑化処理部１５による平滑化後のブロック画像にある画素の出現色の分布を解析し、領域判定部１４のブロックの領域判定結果を参照して代表色（代表色候補）を選択する。領域判定の結果が文字領域であれば、代表色として複数の色（文字の色、背景の色）を選択するが、領域判定の結果が非文字領域（例えば単色の背景）であれば、代表色を１色に決める。代表色選択処理は、ブロックにある各画素の出現色の頻度が高い色を選択する方法を利用することが可能である。
【００２５】
色量子化部１７は、注目ブロック内の各画素に対して、代表色選択部１６で選択された代表色のいずれかを割り当てる。この色量子化処理は、代表色が複数色選択されたブロック内の各画素に対しては最も色距離が小さい代表色をそれぞれ割り当て、代表色が１色であるブロック内の画素に対しては当該同じ１色をそれぞれ割り当てる方法を利用することが可能である。
【００２６】
また、ブロック単位で画像処理の切り替えを行うよう構成してもよい。例えば、文字ブロックにある文字画素をエッジ強調したり、非文字ブロックにある画素を平滑化したりしてもよい。また、ブロック単位の処理結果及びブロック間の情報を使い、文字部分を接続し、文字単位に分離し、その後、文字認識処理や、文字の輪郭を抽出してベクトルデータに変換するベクトル化処理を行うよう構成してもよい。
【００２７】
＜エッジ特徴量＞
図４は、エッジ特徴抽出部１３により実行されるエッジ特徴量抽出処理の詳細を示すフローチャートである。
【００２８】
ステップＳ１３１では、エッジ抽出処理により取得した注目ブロック内の各画素のエッジ強度を入力する。そして、ステップＳ１３２では、注目ブロック内の各画素のエッジ強度に基づいて、当該注目ブロックにおける基準値（基準閾値）を導出する（基準値導出手段）。
【００２９】
図５は、第１実施形態に係る基準閾値の導出処理を説明する図である。実線は、エッジ抽出部１２から取得した、ブロック内の各画素のエッジ強度の分布を例示的に示している。原稿画像を分割して得られる複数のブロックにおいて、画素のエッジ強度の最大値と最小値との差（即ち、エッジ強度の範囲）は大きく異なり得る。したがって、複数のブロックの全てに対して同等の処理を行うためには、画素のエッジ強度の範囲を０〜２５５の値（８ビット値）に正規化した後にエッジ特徴量を判定することが考えられる。（点線は、正規化した場合のエッジ強度の分布を示している。）しかしながら、注目ブロック内の各画素のエッジ強度を正規化処理すると処理負荷が大きくなってしまう。したがって、本実施形態では、各画素のエッジ強度を正規化するのではなく、正規化した場合に用いる閾値Ｆに基づいて、実際のエッジ強度範囲における閾値Ｔを以下のように設定する。つまり、０〜２５５のエッジ強度の範囲において予め設定した閾値Ｆ（経験的に設定される値（例えば”１２０”））を用いて、実際に取得したエッジ強度の範囲における基準閾値Ｔを以下の式１によって求める。
【００３０】
Ｔ＝（Ｅmax−Ｅmin）×Ｆ／２５５＋Ｅmin （式１）
ここで、 ＥminおよびＥmaxは、それぞれ、抽出処理により求めた注目ブロック内の画素のエッジ強度の最小値と最大値である。つまり、閾値Ｆの値（所定定数）は各ブロックで共通であるが、ＥminおよびＥmaxの値はブロックごとに異なる。そのため、Ｔの値はブロックごとに異なり得る。
【００３１】
ステップＳ１３３では、導出した基準閾値Ｔを用いて、エッジ特徴量導出用のパラメータを設定し（閾値設定手段）、ステップＳ１３４では、設定されたパラメータを用いて、エッジ特徴量を導出する。そして、ステップＳ１３５では、導出したエッジ特徴量を出力する。
【００３２】
図６は、第１実施形態に係るエッジ特徴量を導出する際に用いる各パラメータを説明する図である。エッジ特徴導出用のパラメータは、基準閾値Ｔ（第３閾値）及び、当該基準閾値Ｔに基づいて求める強エッジ判定用閾値ＳＴ（第２閾値）と弱エッジ判定用閾値ＷＴ（第１閾値）の３つの閾値である。ここで、
基準閾値Ｔ
強エッジ判定用閾値ＳＴ＝Ｔ＋Ｂ
弱エッジ判定用閾値ＷＴ＝Ｔ＋Ｃ
であり、Ｂ，Ｃは、ＳＴ＞ＷＴ＞Ｔを満たすように設定された予め指定される定数である。例えばＢ＝７０、Ｃ＝５０である。
【００３３】
また、エッジ特徴は、注目ブロック内の各画素のエッジ強度と上述のパラメータに基づき導出されるものであり、具体的には、
強エッジ画素数：ＳＴ以上（第２閾値以上である第２範囲）のエッジ強度を有する画素の個数
弱エッジ画素数：ＷＴ以上かつＳＴ未満（第１閾値以上かつ第２閾値未満である第１範囲）のエッジ強度を有する画素の個数
基準エッジ画素数：Ｔ以上かつＷＴ未満（第３閾値以上かつ第１閾値未満である第３範囲）のエッジ強度を有する画素の個数
をそれぞれ計数して得られるものである。
【００３４】
図７は、第１実施形態に係るエッジ特徴量の各パラメータを導出するフローチャートである。
【００３５】
ステップＳ１３３０１では、注目ブロック内の各画素のエッジ強度と注目ブロックの基準閾値Ｔを入力する。そして、ステップＳ１３３０２では、基準閾値Ｔからエッジ特徴計算用の各パラメータを設定する。例えば、強エッジ判定用閾値ＳＴ、弱エッジ判定用閾値ＷＴを、それぞれ、Ｔ＋７０、Ｔ＋５０に設定する。
【００３６】
ステップＳ１３３０３〜Ｓ１３３１１では、注目ブロック内の各画素の各々についてエッジ強度の判定を行う（計数手段）。ステップＳ１３３０３では、処理対象となる画素のエッジ強度が強エッジ判定用閾値ＳＴ以上であるか否かを判定する。画素のエッジ強度が強エッジ判定用閾値ＳＴ以上である場合は、ステップＳ１３３０４に進み当該画素を強エッジ画素と判定し、強エッジ画素のカウント値ＳＮを１増加させる。一方、画素のエッジ強度が強エッジ判定用閾値ＳＴ未満の場合はステップＳ１３３０５に進む。
【００３７】
ステップＳ１３３０５では、当該画素のエッジ強度が弱エッジ判定用閾値ＷＴ以上か否かを判定する。画素のエッジ強度が弱エッジ判定用閾値ＷＴ以上である場合は、ステップＳ１３３０６に進み当該画素を弱エッジ画素と判定し、弱エッジ画素のカウント値ＷＮを１増加させる。画素のエッジ強度が弱エッジ判定用閾値ＷＴ未満の場合はＳ１３３０７に進む。
【００３８】
ステップＳ１３３０７では、当該画素のエッジ強度が基準閾値Ｔ以上か否かを判定する。画素のエッジ強度が基準閾値Ｔ以上である場合は、ステップＳ１３３０８に進み当該画素を基準閾値のエッジ画素と判定し、カウント値ＴＮを１増加させる。画素のエッジ強度が基準閾値Ｔ未満の場合はＳ１３３１１に進む。
【００３９】
ステップＳ１３３１１では、注目ブロック内に含まれる全画素に対して処理が完了したか否かを判定する。未処理の画素があれば、ステップＳ１３３０３に戻り、次の画素について上述の判定を繰り返す。未処理の画素がなければ、ステップＳ１３３１２に進み、エッジ特徴量（ＳＮ、ＷＮ、ＴＮ）を出力する。
【００４０】
＜各閾値によるエッジ抽出の結果例＞
図８は、各閾値によるエッジ特徴抽出結果の例を示す図である。ここでは、文字がはっきりしている”読みやすい文字領域”と、前景と背景が同色などで文字がはっきりしていない”読みにくい文字領域”、及び、”非文字領域”の各々の画像に対するエッジ特徴抽出の結果を示している。エッジ抽出結果を示す図において、白画素は各エッジ特徴を有するとして判定された画素である。図からわかるように、”読みやすい文字領域”では３つの閾値すべてで文字の輪郭が好適に抽出されている。一方、”読みにくい文字領域”では、最も低い閾値（基準閾値）では、文字の輪郭が抽出されているものの、他の２つの閾値ではごく一部しか文字の輪郭が抽出されていない。また。”非文字領域”に関しては、最も低い閾値（基準閾値）においてノイズ成分が抽出されている。
【００４１】
言い換えると、各閾値以上のエッジ強度を有する画素をエッジ画素とした場合の特徴として、以下のようなことが読み取れる。
【００４２】
強エッジ閾値：”読みやすい文字領域”でのみエッジ画素（強エッジ画素）が所定以上抽出される。
【００４３】
弱エッジ閾値：”読みやすい文字領域”においてはエッジ画素（弱エッジ画素）が所定以上抽出され、”読みにくい文字領域”では所々エッジ画素（弱エッジ画素）が抽出される。”非文字領域”では所々エッジ画素（弱エッジ画素）が抽出される場合もあるが、エッジ画素（弱エッジ画素）が抽出されない場合もある。
【００４４】
基準閾値：”読みやすい文字領域”および”読みにくい文字領域”においては文字のエッジ画素が抽出される。また、”非文字領域”では、網点などのノイズがある場合は非常に多くのエッジ画素が観測される。一方、網点でない非文字領域の場合、エッジ画素は非常に少ない。
【００４５】
＜文字領域判定処理＞
図９は、第１実施形態に係る領域判定（検出）処理のフローチャートである。
【００４６】
ステップＳ１４０１では、注目ブロックのエッジ特徴量（ＳＮ、ＷＮ、ＴＮ）を入力する。
【００４７】
ステップＳ１４０２からステップＳ１４０７では、注目ブロックが文字領域か非文字領域かを判定する。具体的には、ステップＳ１４０２では、強エッジ画素数ＳＮに注目し、強エッジ画素が存在すれば、ステップＳ１４０３に進み当該注目ブロックを文字領域と判定する。なお、このとき、ノイズ成分を考慮し、所定の閾値を設けて強エッジ画素が存在するか否かの判定を行うよう構成してもよい。一方、強エッジ画素が存在しない場合、ステップＳ１４０４に進み、弱エッジ画素数ＷＮに注目して判定する。
【００４８】
弱エッジ画素が存在しなければ、ステップＳ１４０５に進み当該注目ブロックを非文字領域と判定する。一方、弱エッジ画素が存在する場合、ステップＳ１４０６に進み、基準閾値のエッジ画素数に注目して判定する。つまり、基準閾値のエッジ画素が非常に多い（第１個数以上）、或いは、非常に少ない（第２個数未満）場合は、Ｓ１４０５に進み当該注目ブロックを非文字領域と判定する。基準閾値のエッジ画素数が前記第２個数以上かつ前記第１個数未満の範囲である場合、”読みにくい文字”であるとも”非文字領域”であるとも考えられる。そこで、後処理で補正することを考慮し、ステップＳ１４０７では、当該注目ブロックに不確定領域（”ＵＮＫＮＯＷＮ”）を示す判定不能情報を付与するとよい。
【００４９】
以上説明したとおり第１実施形態によれば、注目ブロックに対して複数の閾値を設定し、当該複数の閾値に基づいて設定される各範囲のエッジ強度を有する画素の個数に基づいて文字領域・非文字領域・不確定領域を判定する。つまり、注目ブロックに含まれる画素のエッジ強度の分布に基づいて領域の判定を行う。また、不確定領域と判定された領域に関しては、後処理により領域を決定すればよい。このように構成することにより、従来に比較しより正確に文字領域を判定することが可能となる。特に、中間濃度の網点背景と近い色を持つ文字を含む領域は、非文字領域ではなく、不確定領域として判定されるので、後処理で属性を文字領域として修正するように構成すれば、より精度良く区別できるようになる。その結果、例えば、後工程における文字認識の精度をより高めることが可能となる。なお、判定不能であった領域に対しては不確定領域の情報を設定することにより、例えば、後工程において、ユーザから選択的に領域属性の指定を受け付ける（受付手段）ことが可能となる。
【００５０】
（第２実施形態）
第２実施形態では、第１実施形態における文字領域か否かの判定と共に、文字領域及び非文字領域の各々において、当該領域が網点を含む領域か否かを併せて識別する例について説明する。つまり、第２実施形態では、”網点背景のみ”、”非網点背景のみ”、”網点背景＋文字”、”非網点背景＋文字”の４つの何れであるかを識別する。以下では、主に第１実施形態と異なる部分について説明する。
【００５１】
＜エッジ特徴量＞
図１０は、第２実施形態に係るエッジ特徴量の各パラメータを説明する図である。エッジ特徴導出用のパラメータは、基準閾値Ｔ（基準値）及び、当該基準閾値Ｔに基づいて求めた強エッジ判定用閾値ＳＴ（第２閾値）と弱エッジ判定用閾値ＷＴ（第１閾値）、及び、低閾値ＬＴ（第４閾値）の４つの閾値である。ここで、
基準閾値Ｔ
強エッジ判定用閾値ＳＴ＝Ｔ＋Ｂ
弱エッジ判定用閾値ＷＴ＝Ｔ＋Ｃ
低閾値ＬＴ＝Ｄ
であり、Ｂ，Ｃ，Ｄは、ＳＴ＞ＷＴ＞Ｔ＞Ｄを満たすように設定された予め指定される定数である。
【００５２】
また、エッジ特徴は、注目ブロック内の各画素のエッジ強度と上述のパラメータに基づき導出されるものであり、具体的には、
強エッジ画素数：ＳＴ以上（第２範囲）のエッジ強度を有する画素の個数
弱エッジ画素数：ＷＴ以上かつＳＴ未満（第１範囲）のエッジ強度を有する画素の個数
基準エッジ画素数：Ｔ以上かつＷＴ未満（第３範囲）のエッジ強度を有する画素の個数
低エッジ画素数：ＬＴ以上かつＴ未満（第４閾値以上かつ第３閾値未満である第４範囲）のエッジ強度を有する画素の個数
として表されるものである。
【００５３】
図１１は、第２実施形態に係るエッジ特徴量の各パラメータを導出するフローチャートである。なお、ステップＳ１３３０１〜Ｓ１３３０８については第１実施形態とほぼ同様である。ただし、ステップＳ１３３０７において、画素のエッジ強度が基準閾値Ｔ未満の場合にＳ１３３０９に進む点が異なる。
【００５４】
ステップＳ１３３０９では、当該画素のエッジ強度が低閾値ＬＴ（例えば４０）以上か否かを判定する。画素のエッジ強度が低閾値ＬＴ以上である場合は、ステップＳ１３３１０に進み当該画素を低閾値のエッジ画素と判定し、カウント値ＬＮを１増加させる。一方、低閾値ＬＴ未満である場合、ステップＳ１３３１１に進む。
【００５５】
ステップＳ１３３１１では、注目ブロック内に含まれる全画素に対して処理が完了したか否かを判定する。未処理の画素があれば、ステップＳ１３３０３に戻り、次の画素について上述の判定を繰り返す。未処理の画素がなければ、ステップＳ１３３１２に進み、エッジ特徴量（ＳＮ、ＷＮ、ＴＮ、ＬＮ）を出力する。
【００５６】
＜文字領域判定処理＞
注目ブロックが非網点（下地）上の文字である場合、一様な色の下地においてはエッジ画素が発生しないので、低閾値エッジ画素数は少なくなる。一方、網点上の文字は、網点背景にある網点画素がエッジ画素となるため、低閾値エッジ画素数が非常に多い。文字の無い非網点背景（下地）は、低閾値におけるエッジ画素が少ない。また、文字の無い網点背景では、低閾値におけるエッジ画素が多い。そこで、以下のようにして”網点背景のみ”、”非網点背景のみ”、”網点背景＋文字”、”非網点背景＋文字”の４つの何れであるかを識別することが出来る。
【００５７】
図１２は、第２実施形態に係る領域判定処理のフローチャートである。なお、ステップＳ１４１１〜Ｓ１４１７は第１実施形態におけるステップＳ１４０１〜Ｓ１４０７とほぼ同様である。ただし、”文字領域”あるいは”非文字領域”と決定された後の処理が第１実施形態と異なる。
【００５８】
注目ブロックが”文字領域”であると決定（Ｓ１４１３）された後、ステップＳ１４１８では、低閾値のエッジ画素の個数ＬＮが所定個数以上であるか否か判定する。低閾値のエッジ画素の個数ＬＮが所定個数以上の場合、網点背景上の文字（網点上文字領域）であると判定する（Ｓ１４１９）。一方、低閾値のエッジ画素の個数ＬＮが所定個数未満の場合、下地上文字領域（非網点背景（下地）上に文字がある非網点上文字領域）であると判定する（Ｓ１４２０）。
【００５９】
同様に、注目ブロックが”非文字領域”であると決定（Ｓ１４１５）された後、ステップＳ１４２１では、低閾値のエッジ画素の個数ＬＮが所定個数以上であるか否か判定する。低閾値のエッジ画素の個数ＬＮが所定個数以上の場合、網点（網点背景領域）であると判定する（Ｓ１４２２）。一方、低閾値のエッジ画素の個数ＬＮが所定個数未満の場合、下地（非網点背景領域）であると判定する（Ｓ１４２３）。
【００６０】
以上説明したとおり第２実施形態によれば、文字領域と非文字領域との判定に加え、網点背景と非網点背景との判定を併せて行うことが可能となる。
【００６１】
（その他の実施例）
また、本発明は、以下の処理を実行することによっても実現される。即ち、上述した実施形態の機能を実現するソフトウェア（プログラム）を、ネットワーク又は各種記憶媒体を介してシステム或いは装置に供給し、そのシステム或いは装置のコンピュータ（またはＣＰＵやＭＰＵ等）がプログラムを読み出して実行する処理である。
【特許請求の範囲】
【請求項１】
画像を、各々が所定数の画素を含む複数のブロックに分割する分割手段と、
注目ブロックに含まれる各画素のエッジ強度値を導出する導出手段と、
前記注目ブロックに含まれる画素のエッジ強度値の最大値および最小値に基づいて、該注目ブロックにおける基準値を導出する基準値導出手段と、
前記導出した基準値に基づいて、該基準値より大きい第１閾値と該第１閾値より大きい第２閾値とを設定する閾値設定手段と、
前記注目ブロックにおいて、前記第１閾値以上かつ前記第２閾値未満である第１範囲と前記第２閾値以上である第２範囲との各々に含まれるエッジ強度値を有する画素の個数を計数する計数手段と、
前記計数手段による計数の結果に基づいて、前記第２範囲のエッジ強度値を有する画素が存在する場合は前記注目ブロックを文字領域と判定し、前記第２範囲及び前記第１範囲のエッジ強度値を有する画素が存在しない場合は前記注目ブロックを非文字領域と判定する判定手段と、
を備えることを特徴とする画像処理装置。
【請求項２】
前記閾値設定手段は、更に、前記基準値と等しい第３閾値を設定し、
前記計数手段は、更に、前記第３閾値以上かつ前記第１閾値未満である第３範囲に含まれるエッジ強度値を有する画素の個数を計数し、
前記判定手段は、更に、前記第２範囲のエッジ強度値を有する画素が存在せず、かつ、前記第１範囲のエッジ強度値を有する画素が存在し、かつ、前記第３範囲のエッジ強度値を有する画素の画素数が第１個数以上又は該第１個数より少ない第２個数未満である場合は、前記注目ブロックを非文字領域と判定することを特徴とする請求項１に記載の画像処理装置。
【請求項３】
前記判定手段は、更に、前記文字領域とも前記非文字領域とも判定しなかったブロックに対して判定不能であったことを示す判定不能情報を付与することを特徴とする請求項１又は２に記載の画像処理装置。
【請求項４】
前記閾値設定手段は、更に、前記基準値より小さい第４閾値を設定し、
前記計数手段は、更に、前記第４閾値以上かつ前記第３閾値未満である第４範囲に含まれるエッジ強度値を有する画素の個数を計数し、
前記判定手段は、更に、
前記文字領域と判定され、かつ、前記第４範囲のエッジ強度値を有する画素の個数が所定個数以上である場合は、網点上文字領域と判定し、
前記文字領域と判定され、かつ、前記第４範囲のエッジ強度値を有する画素の個数が所定個数未満である場合は、非網点上文字領域と判定し、
前記非文字領域と判定され、かつ、前記第４範囲のエッジ強度値を有する画素の個数が所定個数以上である場合は、網点背景領域と判定し、
前記非文字領域と判定され、かつ、前記第４範囲のエッジ強度値を有する画素の個数が所定個数未満である場合は、非網点背景領域と判定する
ことを特徴とする請求項１乃至３の何れか一項に記載の画像処理装置。
【請求項５】
前記判定不能情報が付与されたブロックに対して、該ブロックが前記文字領域及び前記非文字領域の何れであるかをユーザから受け付ける受付手段を更に備えることを特徴とする請求項１乃至４の何れか一項に記載の画像処理装置。
【請求項６】
前記基準値導出手段は、
前記複数のブロックに対して共通に設定された所定定数と、前記注目ブロックに含まれる画素のエッジ強度値の最大値および最小値とに基づいて、前記注目ブロックにおける基準値を導出することを特徴とする請求項１乃至５の何れか一項に記載の画像処理装置。
【請求項７】
分割手段が、画像を、各々が所定数の画素を含む複数のブロックに分割する分割工程と、
導出手段が、注目ブロックに含まれる各画素のエッジ強度値を導出する導出工程と、
基準値導出手段が、前記注目ブロックに含まれる画素のエッジ強度値の最大値および最小値に基づいて、該注目ブロックにおける基準値を導出する基準値導出工程と、
閾値設定手段が、前記導出した基準値に基づいて、該基準値より大きい第１閾値と該第１閾値より大きい第２閾値とを設定する閾値設定工程と、
計数手段が、前記注目ブロックにおいて、前記第１閾値以上かつ前記第２閾値未満である第１範囲と前記第２閾値以上である第２範囲との各々に含まれるエッジ強度値を有する画素の個数を計数する計数工程と、
判定手段が、前記計数の結果に基づいて、前記第２範囲のエッジ強度値を有する画素が存在する場合は前記注目ブロックを文字領域と判定し、前記第２範囲及び前記第１範囲のエッジ強度値を有する画素が存在しない場合は前記注目ブロックを非文字領域と判定する判定工程と、
を含むことを特徴とする画像処理装置の制御方法。
【請求項８】
コンピュータを、請求項１乃至６の何れか一項に記載の画像処理装置の各手段として機能させるためのプログラム。
【請求項１】
画像を、各々が所定数の画素を含む複数のブロックに分割する分割手段と、
注目ブロックに含まれる各画素のエッジ強度値を導出する導出手段と、
前記注目ブロックに含まれる画素のエッジ強度値の最大値および最小値に基づいて、該注目ブロックにおける基準値を導出する基準値導出手段と、
前記導出した基準値に基づいて、該基準値より大きい第１閾値と該第１閾値より大きい第２閾値とを設定する閾値設定手段と、
前記注目ブロックにおいて、前記第１閾値以上かつ前記第２閾値未満である第１範囲と前記第２閾値以上である第２範囲との各々に含まれるエッジ強度値を有する画素の個数を計数する計数手段と、
前記計数手段による計数の結果に基づいて、前記第２範囲のエッジ強度値を有する画素が存在する場合は前記注目ブロックを文字領域と判定し、前記第２範囲及び前記第１範囲のエッジ強度値を有する画素が存在しない場合は前記注目ブロックを非文字領域と判定する判定手段と、
を備えることを特徴とする画像処理装置。
【請求項２】
前記閾値設定手段は、更に、前記基準値と等しい第３閾値を設定し、
前記計数手段は、更に、前記第３閾値以上かつ前記第１閾値未満である第３範囲に含まれるエッジ強度値を有する画素の個数を計数し、
前記判定手段は、更に、前記第２範囲のエッジ強度値を有する画素が存在せず、かつ、前記第１範囲のエッジ強度値を有する画素が存在し、かつ、前記第３範囲のエッジ強度値を有する画素の画素数が第１個数以上又は該第１個数より少ない第２個数未満である場合は、前記注目ブロックを非文字領域と判定することを特徴とする請求項１に記載の画像処理装置。
【請求項３】
前記判定手段は、更に、前記文字領域とも前記非文字領域とも判定しなかったブロックに対して判定不能であったことを示す判定不能情報を付与することを特徴とする請求項１又は２に記載の画像処理装置。
【請求項４】
前記閾値設定手段は、更に、前記基準値より小さい第４閾値を設定し、
前記計数手段は、更に、前記第４閾値以上かつ前記第３閾値未満である第４範囲に含まれるエッジ強度値を有する画素の個数を計数し、
前記判定手段は、更に、
前記文字領域と判定され、かつ、前記第４範囲のエッジ強度値を有する画素の個数が所定個数以上である場合は、網点上文字領域と判定し、
前記文字領域と判定され、かつ、前記第４範囲のエッジ強度値を有する画素の個数が所定個数未満である場合は、非網点上文字領域と判定し、
前記非文字領域と判定され、かつ、前記第４範囲のエッジ強度値を有する画素の個数が所定個数以上である場合は、網点背景領域と判定し、
前記非文字領域と判定され、かつ、前記第４範囲のエッジ強度値を有する画素の個数が所定個数未満である場合は、非網点背景領域と判定する
ことを特徴とする請求項１乃至３の何れか一項に記載の画像処理装置。
【請求項５】
前記判定不能情報が付与されたブロックに対して、該ブロックが前記文字領域及び前記非文字領域の何れであるかをユーザから受け付ける受付手段を更に備えることを特徴とする請求項１乃至４の何れか一項に記載の画像処理装置。
【請求項６】
前記基準値導出手段は、
前記複数のブロックに対して共通に設定された所定定数と、前記注目ブロックに含まれる画素のエッジ強度値の最大値および最小値とに基づいて、前記注目ブロックにおける基準値を導出することを特徴とする請求項１乃至５の何れか一項に記載の画像処理装置。
【請求項７】
分割手段が、画像を、各々が所定数の画素を含む複数のブロックに分割する分割工程と、
導出手段が、注目ブロックに含まれる各画素のエッジ強度値を導出する導出工程と、
基準値導出手段が、前記注目ブロックに含まれる画素のエッジ強度値の最大値および最小値に基づいて、該注目ブロックにおける基準値を導出する基準値導出工程と、
閾値設定手段が、前記導出した基準値に基づいて、該基準値より大きい第１閾値と該第１閾値より大きい第２閾値とを設定する閾値設定工程と、
計数手段が、前記注目ブロックにおいて、前記第１閾値以上かつ前記第２閾値未満である第１範囲と前記第２閾値以上である第２範囲との各々に含まれるエッジ強度値を有する画素の個数を計数する計数工程と、
判定手段が、前記計数の結果に基づいて、前記第２範囲のエッジ強度値を有する画素が存在する場合は前記注目ブロックを文字領域と判定し、前記第２範囲及び前記第１範囲のエッジ強度値を有する画素が存在しない場合は前記注目ブロックを非文字領域と判定する判定工程と、
を含むことを特徴とする画像処理装置の制御方法。
【請求項８】
コンピュータを、請求項１乃至６の何れか一項に記載の画像処理装置の各手段として機能させるためのプログラム。
【図２】
【図３】
【図４】
【図５】
【図６】
【図７】
【図９】
【図１０】
【図１１】
【図１２】
【図１】
【図８】
【図３】
【図４】
【図５】
【図６】
【図７】
【図９】
【図１０】
【図１１】
【図１２】
【図１】
【図８】
【公開番号】特開２０１２−２０５１３３（Ｐ２０１２−２０５１３３Ａ）
【公開日】平成２４年１０月２２日（２０１２．１０．２２）
【国際特許分類】
【出願番号】特願２０１１−６８６７６（Ｐ２０１１−６８６７６）
【出願日】平成２３年３月２５日（２０１１．３．２５）
【出願人】（０００００１００７）キヤノン株式会社 (59,756)
【Ｆターム（参考）】
【公開日】平成２４年１０月２２日（２０１２．１０．２２）
【国際特許分類】
【出願日】平成２３年３月２５日（２０１１．３．２５）
【出願人】（０００００１００７）キヤノン株式会社 (59,756)
【Ｆターム（参考）】
[ Back to top ]