説明

画像処理装置、画像処理方法及びコンピュータプログラム

【課題】入力画像に背景要素があるか否かを高精度に判定することが可能な画像処理装置、画像処理方法を提供する。
【解決手段】画像読取装置は、入力画像から画素を間引いた間引き画像を生成する間引き画像生成部101と、間引き画像からエッジ画素を抽出するエッジ画素抽出部102と、エッジ画素から孤立エッジ画素を抽出するエッジクラス抽出部103と、前記孤立エッジ画素による孤立ヒストグラムを生成するヒストグラム生成部104と、孤立ヒストグラムに基づいて、入力画像に背景要素があるか否かの判定を行う判定部105とを有する。

【発明の詳細な説明】
【技術分野】
【0001】
本発明は、画像処理装置、画像処理方法及びコンピュータプログラムに関し、特に、地紋等の背景要素を含む入力画像を扱う画像処理装置、画像処理方法及びコンピュータプログラムに関する。
【背景技術】
【0002】
領収書、証券、証明書等の文書には、複写等による偽造を防止するために、文字等の本来の画像の背景に地紋が印刷されているものがある。このような地紋が印刷された文書に対して、例えば印刷された画像に基づいて文書を仕分けたり、OCR装置(光学式文字読取装置)を用いて文字を読み取る場合、文書に印刷された本来の画像と地紋とを正確に識別する必要がある。しかしながら、本来の画像の濃度と地紋の濃度は、文書によって異なり、本来の画像と地紋とを正確に識別するのは困難だった。
【0003】
そこで、特許文献1には、小切手等の証券の画像データから背景模様を除去し証券記載事項だけを抽出する小切手読取装置が提案されている。この小切手読取装置は、証券をスキャンして得た原画像データ上で、周囲の他の画素より濃度の高い画素をより濃度が高くなるように修正し、周囲の他の画素より濃度の低い画素をより濃度が低くなるように修正する。そして小切手読取装置は、修正したデータの濃度分布のヒストグラムを作成し、高濃度範囲に存在する山と低濃度範囲に存在する山の間に二値化閾値を設定し、この二値化閾値を用いて二値化処理を行う。
【0004】
また、特許文献2には、二値画像から背景パターンを除去するためのシステムが提案されている。このシステムは、二値画像を複数の画像領域に分割し、各画像領域について画像濃度値を計算し、各画像濃度値に対応する画像領域の数を計数し、最も画像領域の数の多い画像濃度値より低い画像濃度値を閾値として選択し、その閾値より低い画像濃度値を有する画像領域を0に設定する。
【先行技術文献】
【特許文献】
【0005】
【特許文献1】特開2007−28362号公報
【特許文献2】米国特許6507670号公報
【発明の概要】
【発明が解決しようとする課題】
【0006】
特許文献1に記載された小切手読取装置は、設定した二値化閾値を用いて二値化処理を行うことにより、証券をスキャンして得た原画像データから背景模様を除去することができる。しかしながら、特許文献1に記載された小切手読取装置は、スキャンして得た原画像データに背景模様が含まれることを前提としており、原画像データに背景模様が含まれるか否かを判別するものではない。そのため、特許文献1に記載された小切手読取装置を用いても、原画像データに背景模様が含まれるか否かを判別することはできず、例えば背景模様がある文書と背景模様がない文書とを仕分けることはできなかった。
【0007】
また、特許文献2に記載されたシステムは、選択した閾値を用いて背景パターンを除去することができる。しかしながら、特許文献2に記載されたシステムも、二値画像に背景パターンが含まれるか否かを判別するものではない。そのため、特許文献2に記載されたシステムを用いても、二値画像に背景パターンが含まれるか否かを判別することはできず、背景パターンがある文書と背景パターンがない文書とを仕分けることはできない。
【0008】
そこで、本発明の目的は、入力画像に背景要素があるか否かを高精度に判定することが可能な画像処理装置、画像処理方法及びそのような画像処理方法をコンピュータに実行させるコンピュータプログラムを提供することにある。
【課題を解決するための手段】
【0009】
本発明に係る画像処理装置は、入力画像から画素を間引いた間引き画像を生成する間引き画像生成部と、間引き画像からエッジ画素を抽出するエッジ画素抽出部と、エッジ画素から孤立エッジ画素を抽出するエッジクラス抽出部と、孤立エッジ画素による孤立ヒストグラムを生成するヒストグラム生成部と、孤立ヒストグラムに基づいて、入力画像に背景要素があるか否かの判定を行う判定部と、を有する。
【0010】
また、本発明に係る画像処理装置において、エッジクラス抽出部は、エッジ画素から連結エッジ画素をさらに抽出し、ヒストグラム生成部は、連結エッジ画素から連結ヒストグラムをさらに生成し、判定部は、孤立ヒストグラム及び連結ヒストグラムに基づいて、入力画像に背景要素があるか否かの判定を行うことが好ましい。
【0011】
さらに、本発明に係る画像処理装置において、判定部は、連結ヒストグラムの収束の度合と孤立ヒストグラムの収束の度合の相互の関係に基づいて入力画像に背景要素があるか否かの判定を行うことが好ましい。
【0012】
さらに、本発明に係る画像処理装置において、判定部は、連結ヒストグラムの最大値と孤立ヒストグラムの最大値の相互の関係に基づいて入力画像に背景要素があるか否かの判定を行うことが好ましい。
【0013】
また、本発明に係る画像処理装置において、判定部は、孤立ヒストグラムの収束の度合に基づいて入力画像に背景要素があるか否かの判定を行うことが好ましい。
【0014】
さらに、本発明に係る画像処理装置において、判定部は、孤立ヒストグラムの最大値に対する比率が所定以上となる範囲の大きさにより収束の度合を求めることが好ましい。
【0015】
また、本発明に係る画像処理方法は、入力画像から画素を間引いた間引き画像を生成するステップと、間引き画像からエッジ画素を抽出するステップと、エッジ画素から孤立エッジ画素を抽出するステップと、孤立エッジ画素による孤立ヒストグラムを生成するステップと、孤立ヒストグラムに基づいて、入力画像に背景要素があるか否かの判定を行うステップと、を含む。
【0016】
また、本発明に係るコンピュータプログラムは、入力画像から画素を間引いた間引き画像を生成するステップと、間引き画像からエッジ画素を抽出するステップと、エッジ画素から孤立エッジ画素を抽出するステップと、孤立エッジ画素による孤立ヒストグラムを生成するステップと、孤立ヒストグラムに基づいて、入力画像に背景要素があるか否かの判定を行うステップと、をコンピュータに実行させる。
【発明の効果】
【0017】
本発明によれば、入力画像に背景要素があるか否かを高精度に判定することが可能な画像処理装置、画像処理方法及びそのような画像処理方法をコンピュータに実行させるコンピュータプログラムを提供することができる。
【図面の簡単な説明】
【0018】
【図1】本発明を適用した画像処理システムの概略構成図である。
【図2】画像処理部の概略構成図である。
【図3】画像読取装置による判定処理の動作を示すフローチャートである。
【図4】間引き画像生成部により生成される輝度画像の例である。
【図5】図4に示す輝度画像に基づいて生成される間引き画像である。
【図6】(a)〜(d)は、エッジ画素の抽出処理を説明するための模式図である。
【図7】エッジ画素をプロットした画像である。
【図8】隣接する画素について説明するための模式図である。
【図9】(a)、(b)は、孤立ヒストグラムの例を示す図である。
【図10】図3に示すフローチャートに従って二値化した二値化画像である。
【図11】予め定められた二値化閾値を用いて二値化した二値化画像である。
【図12】(a)は、入力画像であり、(b)は、二値化画像である。
【図13】判定処理の動作の他の例を示すフローチャートである。
【図14】(a)、(b)は、孤立ヒストグラムと連結ヒストグラムの例である。
【図15】判定処理の動作のさらに他の例を示すフローチャートである。
【図16】他の画像処理システムの概略構成図である。
【発明を実施するための形態】
【0019】
以下、本発明に係る画像処理装置、画像処理方法及びコンピュータプログラムについて図を参照しつつ説明する。但し、本発明の技術的範囲はそれらの実施の形態に限定されず、特許請求の範囲に記載された発明とその均等物に及ぶ点に留意されたい。
【0020】
図1は、本発明を適用した画像処理システムの概略構成を示す図である。図1に示すように、画像処理システム1は、画像読取装置10と、情報処理装置20とを有する。画像読取装置10は、例えばイメージスキャナ、デジタルカメラ等であり、情報処理装置20は、例えば画像読取装置10に接続して用いられるパーソナルコンピュータ等である。
【0021】
画像読取装置10は、画像入力部11と、第1画像メモリ部12と、第1インターフェース部13と、第1記憶部14と、第1中央処理部15と、画像処理部16とを有する。以下、画像読取装置10の各部について詳細に説明する。
【0022】
画像入力部11は、撮像対象物である原稿、風景、人物等を撮像する撮像センサを有する。この撮像センサは、1次元又は2次元に配列されたCCD、CMOS等の撮像素子と、撮像素子に撮像対象物の像を結像する光学系を備え、各撮像素子は、RGB各色に対応するアナログ値を出力する。そして画像入力部11は、撮像センサが出力した各アナログ値をデジタル値に変換して画素データを生成し、生成した各画素データから構成される画像データ(以下、入力画像と称する)を生成する。生成された入力画像は、各画素データが、例えばRGB各色毎に8bitで表される計24bitのRGB値からなるカラー画像データとなる。なお、以下では、撮像対象物が原稿であるものとして説明する。
【0023】
第1画像メモリ部12は、不揮発性半導体メモリ、揮発性半導体メモリ、磁気ディスク等の記憶装置を有する。第1画像メモリ部12は、画像入力部11と接続され、画像入力部11により生成された入力画像を保存するとともに、画像処理部16と接続され、画像処理部16により入力画像に対して画像処理がなされた各種の処理画像を保存する。
【0024】
第1インターフェース部13は、例えばUSB等のシリアルバスに準じるインターフェース回路を有し、情報処理装置20と電気的に接続して画像データ及び各種の情報を送受信する。また、第1インターフェース部13にフラッシュメモリ等を接続して第1画像メモリ部12に保存されている画像データを保存するようにしてもよい。
【0025】
第1記憶部14は、RAM、ROM等のメモリ装置、ハードディスク等の固定ディスク装置、又はフレキシブルディスク、光ディスク等の可搬用の記憶装置等を有する。また、第1記憶部14には、画像読取装置10の各種処理に用いられるコンピュータプログラム、データベース、テーブル等が格納される。
【0026】
第1中央処理部15は、画像入力部11、第1画像メモリ部12、第1インターフェース部13、第1記憶部14、及び画像処理部16と接続され、これらの各部を制御する。第1中央処理部15は、画像入力部11の入力画像生成制御、第1画像メモリ部12の制御、第1インターフェース部13を介した情報処理装置20とのデータ送受信制御、第1記憶部14の制御、画像処理部16による画像処理の制御等を行う。
【0027】
画像処理部16は、第1画像メモリ部12に接続され、入力画像に地紋等の背景要素があるか否かを判定するとともに、入力画像に対して二値化処理を行う。この画像処理部16は、第1中央処理部15に接続され、第1中央処理部15からの制御により予め第1記憶部14に記憶されているプログラムに基づいて動作する。あるいは、画像処理部16は、独立した集積回路、マイクロプロセッサ、ファームウェア等で構成されてもよい。
【0028】
情報処理装置20は、第2インターフェース部21と、第2画像メモリ部22と、表示部23と、第2記憶部24と、第2中央処理部25とを有する。以下、情報処理装置20の各部について詳細に説明する。
【0029】
第2インターフェース部21は、画像読取装置10の第1インターフェース部13と同様のインターフェース回路を有し、情報処理装置20と画像読取装置10とを接続する。
【0030】
第2画像メモリ部22は、画像読取装置10の第1画像メモリ部12と同様の記憶装置を有する。第2画像メモリ部22には、第2インターフェース部21を介して画像読取装置10から受信した画像データ及び各種の情報が保存される。
【0031】
表示部23は、液晶、有機EL等から構成されるディスプレイ及びディスプレイに画像データを出力するインターフェース回路を有し、第2画像メモリ部22と接続されて第2画像メモリ部22に保存されている画像データをディスプレイに表示する。
【0032】
第2記憶部24は、画像読取装置10の第1記憶部14と同様のメモリ装置、固定ディスク装置、可搬用の記憶装置等を有する。第2記憶部24には、情報処理装置20の各種処理に用いられるコンピュータプログラム、データベース、テーブル等が格納される。
【0033】
第2中央処理部25は、第2インターフェース部21、第2画像メモリ部22、表示部23及び第2記憶部24と接続され、これらの各部を制御する。第2中央処理部25は、第2インターフェース部21を介した画像読取装置10とのデータ送受信制御、第2画像メモリ部22の制御、表示部23の表示制御、第2記憶部24の制御等を行う。
【0034】
図2は、画像処理部16の概略構成を示す図である。図2に示すように画像処理部16は、間引き画像生成部101、エッジ画素抽出部102、エッジクラス抽出部103、ヒストグラム生成部104、判定部105、閾値算出部108及び二値化処理部109を有する。さらに、判定部105は、特徴量抽出部106及び特徴量解析部107を有する。
【0035】
図3は、画像読取装置10による入力画像に地紋等の背景要素が含まれるか否かの判定処理及び二値化処理の動作を示すフローチャートである。以下、図3に示したフローチャートを参照しつつ、判定処理及び二値化処理の動作を説明する。なお、以下に説明する動作のフローは、予め第1記憶部14に記憶されているプログラムに基づき主に第1中央処理部15により画像読取装置10の各要素と協同して実行される。
【0036】
最初に、画像入力部11は、撮像対象物(原稿)を撮影した入力画像を生成し、第1画像メモリ部12に保存する(ステップS301)。
【0037】
次に、画像処理部16の間引き画像生成部101は、第1画像メモリ部12に保存された入力画像を読み出し、入力画像の各画素のRGB値を輝度値に変換した輝度画像を生成し、第1画像メモリ部12に保存する(ステップS302)。なお、各輝度値は、例えば以下の式により算出することができる。
輝度値=0.30×R値+0.59×G値+0.11×B値 (1)
【0038】
次に、間引き画像生成部101は、輝度画像から水平方向及び垂直方向に画素を間引いた間引き画像を生成し、第1画像メモリ部12に保存する(ステップS303)。
【0039】
一般に、地紋等の背景要素を表す画像(以下、地紋画像と称する)は、模様、絵柄、文字等により表され、文字等の本来の画像(以下、実画像と称する)の濃度より低い一定の濃度で表される。地紋画像は、模様、絵柄等で表される場合、実画像より斜線又は曲線の成分を多く含み、文字で表される場合、その文字のサイズは実画像より小さい傾向にある。そのため、輝度画像から水平及び垂直方向に一定間隔で画素を間引くと、実画像と比較して、間引き後の地紋画像を構成する画素は分離し、不連続になる傾向にある。
【0040】
そこで、間引き画像生成部101は、例えば、間引き画像が所定の画素数(例えば640画素)になるように画素を間引く。あるいは、間引き画像生成部101は、入力画像を水平及び垂直方向に所定割合で画素を間引いてもよい(例えば99%の画素を間引く)。この場合、間引き画像の画素数は、入力画像のサイズ及び解像度に応じて異なる。
【0041】
図4は、ステップS302で生成される輝度画像の例である。図4に示す輝度画像400では、実画像として商品の品名等を表す文字が示され、地紋画像として実画像より低い濃度で表された波模様が示される。
【0042】
図5は、図4に示す輝度画像400からステップS303で生成される間引き画像である。図5に示すように、間引き画像500では、図4に示す輝度画像400とは異なり、地紋画像の波模様を構成する画素は、それぞれが分離し、不連続になっている。
【0043】
次に、エッジ画素抽出部102は、第1画像メモリ部12に保存された間引き画像を読み出し、間引き画像の各画素に対して二次差分フィルタ等のエッジ検出フィルタを適用してその出力値を画素値とするエッジ画像を生成する(ステップS304)。エッジ画素抽出部102が用いる二次差分フィルタの例を次式に示す。
【数1】

【0044】
なお、二次差分フィルタによる出力値はノイズの影響を強く受ける場合があるので、エッジ画素抽出部102は、エッジ画像の各画素に対して、さらに平均フィルタ、ガウシアンフィルタ等の平滑フィルタを適用してノイズの影響を低減するようにしてもよい。
【0045】
次に、エッジ画素抽出部102は、エッジ画像を用いて間引き画像からエッジ画素を抽出する(ステップS305)。
【0046】
図6(a)〜(d)は、エッジ画素の抽出処理について説明するための図である。図6(a)、(c)に示すグラフ600、620は、エッジ画像において水平方向に隣接する画素の画素値を表し、図6(b)、(d)に示すグラフ610、630は、そのエッジ画像上の画素に対応する間引き画像上の画素の輝度値を表す。グラフ600、620の横軸はエッジ画像上の水平位置を示し、縦軸は画素値を示す。また、グラフ610、630の横軸は間引き画像上の水平位置を示し、縦軸は輝度値を示す。
【0047】
エッジ画素抽出部102は、まず、エッジ画像において水平方向に隣接する画素の画素値が正から負へ又は負から正へ符号変化する画素のうち、画素値が負である方の画素601、621を抽出する。次に、エッジ画素抽出部102は、抽出した画素601、621に対応する間引き画像上の画素611、631の水平方向の両隣の画素612及び613、画素632及び633の輝度値の差の絶対値(以下、隣接差分値と称する)614、634を算出する。そして、エッジ画素抽出部102は、算出した隣接差分値が閾値Wthを越えるか否かを判定し、隣接差分値が閾値Wthを越える場合、その間引き画像上の画素を水平エッジ画素とする。この閾値Wthは、例えば、人が画像上の輝度の違いを目視により判別可能な輝度値の差(例えば20)に設定することができる。また、エッジ画素抽出部102は、エッジ画像及び間引き画像について垂直方向にも同様の処理を行い、垂直エッジ画素を抽出する。そして、エッジ画素抽出部102は、水平エッジ画素又は垂直エッジ画素の何れかとして抽出された画素をエッジ画素とする。あるいは、水平エッジ画素及び垂直エッジ画素の両方に抽出された画素をエッジ画素としてもよい。
【0048】
次に、エッジクラス抽出部103は、エッジ画素抽出部102により抽出されたエッジ画素を、隣接するエッジ画素のない孤立エッジ画素と隣接するエッジ画素のある連結エッジ画素に分類する(ステップS306)。
【0049】
図7は、ステップS305において図5に示す間引き画像500から抽出されたエッジ画素をプロットした画像である。図7の画像700に示されるように、各エッジ画素は、実画像又は地紋画像により、隣接する画素に対して輝度が変化するエッジ部分に抽出される。このエッジ画素は間引き画像から抽出されるため、地紋画像のエッジ部分に対応して抽出されるエッジ画素701は孤立する(エッジ画素に隣接する画素にはエッジ画素が含まれない)傾向にある。一方、実画像のエッジ部分に対応して抽出されるエッジ画素702は連結する(エッジ画素に隣接する画素にはエッジ画素が含まれる)傾向にある。そこで、エッジクラス抽出部103は、例えば、隣接するエッジ画素のないエッジ画素を孤立エッジ画素とし、隣接するエッジ画素のあるエッジ画素を連結エッジ画素とする。
【0050】
図8は、隣接する画素について説明するための模式図である。図8に示すように、エッジクラス抽出部103は、画像800の注目するエッジ画素801について、水平方向、垂直方向、斜め方向にそれぞれ隣接する八画素にエッジ画素が含まれるか否かを判定する。そして、エッジクラス抽出部103は、隣接する画素にエッジ画素が含まれないエッジ画素801を孤立エッジ画素とし、隣接する画素にエッジ画素が含まれるエッジ画素801を連結エッジ画素とする。あるいは、隣接する画素のうち所定数(例えば二画素)以上の画素がエッジ画素でないエッジ画素801を孤立エッジ画素とし、隣接する画素のうち所定数以上の画素がエッジ画素であるエッジ画素801を連結エッジ画素としてもよい。
【0051】
次に、ヒストグラム生成部104は、間引き画像上の各孤立エッジ画素における、水平方向の隣接差分値及び垂直方向の隣接差分値のヒストグラム(以下、孤立ヒストグラムと称する)を生成する(ステップS307)。
【0052】
図9(a)、(b)は、孤立ヒストグラムの例を示す図である。図9(a)、(b)の横軸は、間引き画像上の各エッジ画素の隣接差分値を示し、縦軸は、孤立ヒストグラムの分布値(分布数)を示す。図9(a)のグラフ900には、地紋画像を含む入力画像について生成された孤立ヒストグラム901が示され、図9(b)のグラフ910には、地紋画像を含まない入力画像について生成された孤立ヒストグラム911が示される。
【0053】
次に、判定部105の特徴量抽出部106は、ヒストグラム生成部104により生成された孤立ヒストグラムに基づいて、入力画像に地紋画像が含まれるか否かを判定するための特徴量を算出する(ステップS308)。
【0054】
ほとんどの孤立エッジ画素は、地紋画像と無地部分との境界に対応して抽出される。一方、一般に地紋画像の輝度値と無地部分の輝度値は、それぞれ一定の値をもつ。そのため、図9(a)に示すように、地紋画像を含む入力画像について生成された孤立ヒストグラム901は、地紋画像の輝度値と無地部分の輝度値との差を示す値の近傍において極値を一つだけ有し、かつ急速に収束する傾向にある。
【0055】
そこで、特徴量抽出部106は、入力画像に地紋画像が含まれるか否かを判定するための特徴量として、孤立ヒストグラムの分布値における極値の個数と、孤立ヒストグラムの収束の度合を求める。ここでヒストグラムの収束の度合(以下、収束度と称する)とは、ヒストグラムの分布値が所定範囲に収束する速さ、つまりヒストグラムの分布値が所定値以下に収まるまでの隣接差分値の範囲の大きさのことをいう。
【0056】
特徴量抽出部106は、例えば、孤立ヒストグラムの注目する隣接差分値における分布値が、両隣の隣接差分値の分布値より大きい場合に、その注目する隣接差分値における分布値を極値と判定する。あるいは、両隣の隣接差分値の分布値より所定以上(例えば注目する隣接差分値における分布値の10%以上)大きい分布値を極値と判定してもよい。
【0057】
また、特徴量抽出部106は、ヒストグラムの分布値について最大値に対する比率が所定以上となる範囲の大きさにより収束度を求める。例えば、特徴量抽出部106は、孤立ヒストグラムの分布値が最大値となる隣接差分値と、それ以上の隣接差分値では孤立ヒストグラムの分布値が最大値に対して比率Th0以下となる隣接差分値との差の絶対値の逆数を収束度として求める。例えば、この比率Th0は、10%とすることができる。あるいは、特徴量抽出部106は、孤立ヒストグラムの分布値が最大値に対して比率Th0以上となる全範囲の大きさにより収束度を求めてもよい。その場合、特徴量抽出部106は、例えば、孤立ヒストグラムの分布値が最大値に対して比率Th0以上となる隣接差分値のうち最大の隣接差分値と最小の隣接差分値との差の絶対値の逆数を収束度として求める。また、特徴量抽出部106は、ヒストグラム生成部104が生成したヒストグラムに、平均フィルタ、ガウシアンフィルタ等の平滑フィルタを適用してノイズの影響を低減してからヒストグラムの収束度を求めてもよい。
【0058】
次に、判定部105の特徴量解析部107は、特徴量抽出部106により算出された孤立ヒストグラムの特徴量に基づいて、入力画像に地紋画像が含まれるか否かを判定し、その判定した結果情報を第1画像メモリ部12に保存する(ステップS309)。
【0059】
特徴量解析部107は、孤立ヒストグラムにおける極値の個数が一つであり、かつ孤立ヒストグラムの収束度が閾値ThD以上である場合、入力画像に地紋画像が含まれると判定する。一方、特徴量解析部107は、孤立ヒストグラムにおける極値の個数が一つでない場合、又は孤立ヒストグラムの収束度が閾値ThD未満である場合、入力画像に地紋画像が含まれないと判定する。例えば、この閾値ThDは、1/20とすることができる。
【0060】
図9(a)に示す例では、孤立ヒストグラム901の分布値の最大値は220であり、その最大値に対応する隣接差分値は32である。一方、分布値が最大値の10%である22以下となるのは、隣接差分値が44以上の範囲である。この場合、収束度は、隣接差分値32と隣接差分値44の差の絶対値の逆数である1/12となり、閾値ThD(1/20)以上であるため、入力画像に地紋画像が含まれると判定される。
【0061】
一方、図9(b)に示す例では、孤立ヒストグラム911の分布値の最大値は20であり、その最大値に対応する隣接差分値は32である。一方、分布値が最大値の10%である2以下となるのは、隣接差分値が192以上の範囲である。この場合、収束度は、隣接差分値32と隣接差分値192の差の絶対値の逆数である1/160となり、閾値ThD未満であるため、入力画像に地紋画像が含まれないと判定される。
【0062】
なお、特徴量解析部107は、孤立ヒストグラムにおける極値の個数が所定数(例えば二つ)以上である場合にその入力画像に地紋画像が含まれないと判定してもよい。あるいは、特徴量解析部107は、孤立ヒストグラムにおける極値の個数によらず、孤立ヒストグラムの収束度のみに基づいて入力画像に地紋画像が含まれるか否かを判定してもよい。
【0063】
ステップS309において、特徴量解析部107によって入力画像に地紋画像が含まれると判定された場合、閾値算出部108は、輝度画像の二値化処理に用いる閾値(以下、地紋閾値と称する)を算出し、第1画像メモリ部12に保存する(ステップS310)。
【0064】
以下、地紋閾値の算出について説明する。閾値算出部108は、地紋閾値として、孤立ヒストグラムの分布値が0に収束するときの隣接差分値を求める。図9に示す孤立ヒストグラム901では、分布値が0に収束する点902の隣接差分値が地紋閾値となる。あるいは、閾値算出部108は、孤立ヒストグラムの分布値が所定値(例えば分布値の最大値の10%)以下に収束するときの隣接差分値を地紋閾値としてもよい。
【0065】
ステップS309において入力画像に地紋画像が含まれないと判定された場合、又はステップS310において地紋閾値が算出された場合、二値化処理部109は、第1画像メモリ部12に保存された輝度画像を読み出して輝度画像の二値化処理を行い、二値化処理を行った二値化画像を第1画像メモリ部12に保存する(ステップS311)。
【0066】
以下、二値化処理について説明する。入力画像に地紋画像が含まれる場合、二値化処理部109は、二値化処理により輝度画像から実画像を残しつつ、地紋画像を消去する必要がある。前述した通り、地紋閾値は、孤立エッジ画素の隣接差分値、つまり地紋画像の輝度値と無地部分の輝度値の差に基づいて定められる。従って、輝度画像において水平方向又は垂直方向の隣接差分値が地紋閾値を越える場合、その領域には地紋画像より輝度値の高い画素によるエッジ、すなわち実画像によるエッジが存在すると考えられる。
【0067】
そこで、二値化処理部109は、輝度画像の各画素について、水平方向及び垂直方向の隣接差分値を算出し、算出した隣接差分値の何れかが地紋閾値を越えるか否かを判定する。そして、二値化処理部109は、何れかの隣接差分値が地紋閾値を越える画素から所定範囲内にある画素(以下、近傍画素と称する)についてはその近傍画素の各輝度値に基づいて二値化閾値(以下、動的閾値と称する)を定め、動的閾値を用いて二値化処理を行う。二値化処理部109は、例えば、近傍画素の各輝度値の平均値を動的閾値とする。あるいは、近傍画素の各輝度値の最大値と最小値の平均値、又は近傍画素の各輝度値の中央値を動的閾値としてもよい。
【0068】
一方、二値化処理部109は、近傍画素以外の画素については輝度画像内の全画素の輝度値に基づいて二値化閾値(以下、静的閾値と称する)を定め、静的閾値を用いて二値化処理を行う。二値化処理部109は、例えば、輝度画像内の全画素の輝度値の平均値を静的閾値とする。あるいは、輝度画像内の全画素の輝度値の最大値と最小値の平均値、又は輝度画像内の全画素の輝度値の中央値を静的閾値としてもよい。あるいは、二値化処理部109は、近傍画素以外の画素については全て0又は1になるように二値化してもよい。
【0069】
また、入力画像に地紋画像が含まれない場合、二値化処理部109は、静的閾値を定め、輝度画像内の全画素について静的閾値を用いて二値化処理を行う。
【0070】
次に、第1中央処理部15は、第1画像メモリ部12に保存された入力画像、結果情報及び二値化画像を第1インターフェース部13を介して情報処理装置20に送信し(ステップS312)、一連のステップを終了する。
【0071】
第1中央処理部15は、特徴量解析部107によって入力画像に地紋画像が含まれると判定されている場合、入力画像、結果情報及び二値化画像に加えて地紋閾値も情報処理装置20に送信する。
【0072】
一方、情報処理装置20の第2中央処理部25は、第2インターフェース部21を介して画像読取装置10から入力画像、結果情報及び二値化画像、又はこれらに加えて地紋閾値を受信すると、受信した各画像及び各情報を関連付けて第2画像メモリ部22に保存する。これにより第2画像メモリ部22には、結果情報又は地紋閾値により分類可能な入力画像及び二値化画像のデータベースが形成される。また、第2中央処理部25は、利用者が目視確認できるように入力画像と二値化画像を関連付けて表示部23に表示させる。
【0073】
また、第2中央処理部25は、結果情報又は地紋閾値に基づいて入力画像の仕分けを行ってもよい。これにより、情報処理装置20は、帳票等の原稿を高精度に仕分けることができる。さらに、第2中央処理部25は、二値化画像から文字を読み取り、文字データに変換してもよい。これにより、情報処理装置20は、地紋画像が消去された二値化画像から高精度に文字データを抽出できる。あるいは、情報処理装置20の第2インターフェース部21に仕分け装置、OCR装置等をさらに接続し、各画像及び各情報をこれらの装置に送信してもよい。これにより、外部の仕分け装置、OCR装置等で入力画像の仕分け処理、文字の読取処理等を実施することができる。
【0074】
以上詳述したように、図3に示したフローチャートに従って動作することによって、画像読取装置10は、地紋画像のエッジ部分を孤立エッジ画素として精度よく抽出することが可能となり、入力画像に背景要素があるか否かを、孤立エッジ画素の隣接する画素間の輝度差に基づいて高精度に判定することが可能となった。
【0075】
図10は、図3に示すフローチャートに従って、図4に示す輝度画像400を二値化した二値化画像の一例である。画像読取装置10は、輝度画像400に基づく間引き画像から波模様部分と無地部分の境界を孤立エッジ画素として抽出し、その孤立エッジ画素による孤立ヒストグラムに基づいて入力画像に地紋画像が含まれると判定する。そして、画像読取装置10は、輝度画像400から波模様部分を消去し、文字部分のみを残すように地紋閾値及び二値化閾値を定めて二値化画像1000を生成する。
【0076】
図11は、図4に示す輝度画像400を予め定められた二値化閾値を用いて二値化した二値化画像の一例である。この二値化閾値が波模様部分の輝度値より小さい場合、図11に示すように波模様部分が消去されずに残る二値化画像1100が生成される。
【0077】
図12(a)は、他の入力画像の一例であり、図12(b)は、その入力画像に基づく輝度画像を二値化した二値化画像である。図12(a)の入力画像1200には、濃度の低い手書き文字1201が表され、その上に蛍光ペンにより蛍光色1202が重ねて塗られている。画像読取装置10は、入力画像1200に基づく間引き画像から蛍光色1202と無地部分の境界を孤立エッジ画素として抽出し、その孤立エッジ画素による孤立ヒストグラムに基づいて入力画像に地紋画像が含まれると判定する。そして、画像読取装置10は、輝度画像から手書き文字1201の周辺の蛍光色1202を消去しつつ、手書き文字1201を残すように地紋閾値及び二値化閾値を定めて二値化画像1210を生成する。このように、画像読取装置10は、入力画像において文字等の実画像に色が塗られていたり、網掛けがされている場合でも、実画像を適切に抽出することが可能となる。
【0078】
図13は、判定処理及び二値化処理の動作の他の例を示すフローチャートである。以下、図13に示したフローチャートを参照しつつ、判定処理及び二値化処理の動作の他の例を説明する。このフローチャートは、図1に示す画像読取装置10において、前述した図3に示すフローチャートの代りに実行することが可能である。なお、以下に説明する動作のフローは、予め第1記憶部14に記憶されているプログラムに基づき主に第1中央処理部15により画像読取装置10の各要素と協同して実行される。
【0079】
図13に示すフローチャートでは、図3に示すフローチャートと異なり、画像読取装置10は、孤立ヒストグラムの収束度と連結エッジ画素のヒストグラムの収束度の相互の関係により入力画像に地紋画像が含まれるか否かを判定する。この相互の関係は、孤立ヒストグラムの収束度と、連結エッジ画素のヒストグラムの収束度の大小関係となる。図13に示すステップS1301〜S1306、S1310〜S1312の処理は、図3に示すステップS301〜S306、S310〜S312の処理と同じであるため、説明を省略し、以下では、ステップS1307〜S1309の処理についてのみ説明する。
【0080】
ステップS1307において、ヒストグラム生成部104は、孤立ヒストグラムを生成するとともに、間引き画像上の各連結エッジ画素における水平方向及び垂直方向の隣接差分値のヒストグラム(以下、連結ヒストグラムと称する)を生成する。
【0081】
図14(a)、(b)は、孤立ヒストグラムと連結ヒストグラムの例を示す図である。図14(a)、(b)の横軸は、間引き画像上の各エッジ画素の隣接差分値を示し、縦軸は、連結ヒストグラムの分布値の最大値が1になるように正規化したヒストグラムの分布率を示す。図14(a)のグラフ1400には、地紋画像を含む入力画像について生成された孤立ヒストグラム1401及び連結ヒストグラム1402が示され、図14(b)のグラフ1410には、地紋画像を含まない入力画像について生成された孤立ヒストグラム1411及び連結ヒストグラム1412が示される。
【0082】
次に、特徴量抽出部106は、ヒストグラム生成部104により生成された孤立ヒストグラム及び連結ヒストグラムに基づいて、入力画像に地紋画像が含まれるか否かを判定するための特徴量を算出する(ステップS1308)。
【0083】
連結エッジ画素のほとんどは、実画像又は地紋画像のエッジに対応して抽出される。つまり、連結エッジ画素の隣接差分値のほとんどは、実画像の輝度値と無地部分の輝度値の差、地紋画像の輝度値と無地部分の輝度値の差、又は実画像の輝度値と地紋画像の輝度値の差のうちの何れかとなる。従って、図14(a)に示すように、地紋画像を含む入力画像について生成された連結ヒストグラム1402は、広範囲にわたって分布する。つまり、連結ヒストグラム1402は、極値を一つ以上有し、かつ孤立ヒストグラム1401よりも収束度が低い傾向にある。そこで、特徴量抽出部106は、入力画像に地紋画像が含まれるか否かを判定するための特徴量として、孤立ヒストグラムと連結ヒストグラムの両方について収束度を算出する。収束度の算出については図3のフローチャートのステップS308で詳細に説明したので説明を省略する。
【0084】
次に、特徴量解析部107は、孤立ヒストグラムの収束度が連結ヒストグラムの収束度以上であるか否かに基づいて、入力画像に地紋画像が含まれるか否かを判定し、その判定した結果情報を第1画像メモリ部12に保存する(ステップS1309)。
【0085】
特徴量解析部107は、孤立ヒストグラムの収束度が連結ヒストグラムの収束度以上である場合、入力画像に地紋画像が含まれると判定し、孤立ヒストグラムの収束度が連結ヒストグラムの収束度未満である場合、入力画像に地紋画像が含まれないと判定する。
【0086】
以上詳述したように、図13に示したフローチャートに従って動作することによって、画像読取装置10は、入力画像に背景要素があるか否かを、孤立エッジ画素の分布と連結エッジ画素の分布の相互の関係に基づいて高精度に判定することが可能となった。
【0087】
図15は、判定処理及び二値化処理の動作のさらに他の例を示すフローチャートである。以下、図15に示したフローチャートを参照しつつ、判定処理及び二値化処理の動作の他の例を説明する。このフローチャートは、図1に示す画像読取装置10において、前述した図3、13に示すフローチャートの代りに実行することが可能である。なお、以下に説明する動作のフローは、予め第1記憶部14に記憶されているプログラムに基づき主に第1中央処理部15により画像読取装置10の各要素と協同して実行される。
【0088】
図15に示すフローチャートでは、図13に示すフローチャートと異なり、画像読取装置10は、孤立ヒストグラムの分布値の最大値と、連結ヒストグラムの分布値の最大値の相互の関係により入力画像に地紋画像が含まれるか否かを判定する。この相互の関係は、連結ヒストグラムの分布値の最大値に対する孤立ヒストグラムの分布値の最大値の割合が所定以上であるか否かにより規定される。図15に示すステップS1501〜S1507、S1510〜S1512の処理は、図13に示すステップS1301〜S1307、S1310〜S1312の処理と同じであるため、説明を省略し、以下では、ステップS1508、S1509の処理についてのみ説明する。
【0089】
ステップS1508において、特徴量抽出部106は、入力画像に地紋画像が含まれるか否かを判定するための特徴量を求める。
【0090】
地紋画像は、入力画像において一定以上の割合を占めるものと考えられ、間引き画像において地紋画像のエッジに対応して抽出される孤立エッジ画素は一定以上存在すると考えられる。そこで、特徴量抽出部106は、入力画像に地紋画像が含まれるか否かを判定するための特徴量として、連結ヒストグラムの分布値の最大値に対する、孤立ヒストグラムの分布値の最大値の割合(以下、最大分布率と称する)を求める。
【0091】
次に、特徴量解析部107は、最大分布率が所定割合DH以上であるか否かに基づいて、入力画像に地紋画像が含まれるか否かを判定する(ステップS1509)。特徴量解析部107は、最大分布率が所定割合DH以上である場合、入力画像に地紋画像が含まれると判定し、最大分布率が所定割合DH未満である場合、入力画像に地紋画像が含まれないと判定する。例えば、この所定割合DHは、30%とすることができる。
【0092】
あるいは、間引き画像全体の画素数に対する孤立ヒストグラムの分布値の最大値の割合を、入力画像に地紋画像が含まれるか否かを判定するための特徴量としてもよい。その場合、特徴量解析部107は、間引き画像全体の画素数に対する孤立ヒストグラムの分布値の最大値の割合が所定割合DH2以上である場合、入力画像に地紋画像が含まれると判定し、その割合が所定割合DH2未満である場合、入力画像に地紋画像が含まれないと判定する。例えば、この所定割合DH2は、10%とすることができる。
【0093】
以上詳述したように、図15に示したフローチャートに従って動作することによって、画像読取装置10は、入力画像に背景要素があるか否かを、孤立エッジ画素の個数に基づいて高精度に判定することが可能となった。
【0094】
なお、特徴量解析部107は、孤立ヒストグラムにおける極値の個数、孤立ヒストグラムの収束度、孤立ヒストグラムの収束度と連結ヒストグラムの収束度の関係、及び最大分布率による条件を任意に組み合わせて入力画像に地紋画像が含まれるか否かを判定してもよい。特徴量解析部107は、全ての条件が満たされたときに入力画像に地紋画像が含まれると判定し、何れかの条件が満たされないときに入力画像に地紋画像が含まれないと判定することにより、より高精度に地紋画像の有無を判定することができる。
【0095】
図16は、他の画像処理システム2の概略構成を示す図である。図16に示す画像処理システム2と、図1に示す画像処理システム1との差異は、画像処理部を備える装置が異なる点である。すなわち、画像処理システム2では、画像読取装置30ではなく、情報処理装置40が画像処理部46を有する。この画像処理部46は、図1に示した画像読取装置10の画像処理部16と同様の機能を有する。
【0096】
図16に示す画像処理システム2では、前述した図3、13、15に示す処理とほぼ同様の処理を実行することができる。以下、図3のフローチャートに示される判定処理についてどのように適応されるかを説明する。画像処理システム2では、ステップS301の処理は、予め第1記憶部34に記憶されているプログラムに基づき主に第1中央処理部35により画像読取装置30の各要素と協同して実行され、ステップS302〜S311の処理は、予め第2記憶部44に記憶されているプログラムに基づき主に第2中央処理部45により情報処理装置40の各要素と協同して実行される。
【0097】
ステップS301において、画像読取装置30の画像入力部31が入力画像を生成して第1画像メモリ部32に保存し、第1中央処理部35がその入力画像を第1インターフェース部33を介して情報処理装置40に送信する。一方、情報処理装置40の第2中央処理部45は、第2インターフェース部41を介して画像読取装置30から入力画像を受信すると、受信した入力画像を第2画像メモリ部42に保存する。
【0098】
ステップS302〜S311の処理は、情報処理装置40の画像処理部46によって実行される。これらの処理の動作は、画像処理システム1について説明した画像読取装置10の画像処理部16によって実行される場合と同様である。なお、画像処理システム2では、情報処理装置40の画像処理部46において判定処理及び二値化処理が実行されるので、ステップS312における各画像及び各情報の送信処理は省略される。
【0099】
同様に、画像処理システム2に図13、15のフローチャートに示される判定処理が適用される場合、ステップS1301、S1501の処理は、予め第1記憶部34に記憶されているプログラムに基づき主に第1中央処理部35により画像読取装置30の各要素と協同して実行され、ステップS1302〜S1311、S1502〜S1511の処理は、予め第2記憶部44に記憶されているプログラムに基づき主に第2中央処理部45により情報処理装置40の各要素と協同して実行される。ステップS1301、S1501の処理の動作は、ステップS301の処理の動作と同様の動作となる。また、ステップS1302〜S1311、S1502〜S1511の処理は情報処理装置40の画像処理部46によって実行され、ステップS1312、S1512の処理は省略される。
【0100】
このように、情報処理装置40が画像処理部46を備えて判定処理及び二値化処理を実行する場合も、画像読取装置が画像処理部を備えて判定処理及び二値化処理を実行する場合と同様の効果を得ることができる。
【0101】
以上、本発明の好適な実施形態について説明してきたが、本発明はこれらの実施形態に限定されるものではない。例えば、画像読取装置と情報処理装置の機能分担は、図1及び図16に示す画像処理システムの例に限られず、画像処理部内の各部を含めて画像読取装置及び情報処理装置の各部を画像読取装置と情報処理装置の何れに配置するかは適宜変更可能である。あるいは、画像読取装置と情報処理装置を一つの装置で構成してもよい。
【0102】
また、図1に示す画像処理システム1において、画像読取装置10の第1インターフェース部13と、情報処理装置20の第2インターフェース部21を直接接続するのではなく、例えばインターネット、電話回線網(携帯端末回線網、一般電話回線網を含む)、イントラネット等のネットワークを介して接続してもよい。その場合、第1インターフェース部13及び第2インターフェース部21に、接続するネットワークの通信インターフェース回路を備える。
【0103】
同様に、図16に示す画像処理システム2においても、画像読取装置30の第1インターフェース部33と、情報処理装置40の第2インターフェース部41をネットワークを介して接続してもよい。その場合、クラウドコンピューティングの形態で画像処理のサービスを提供できるように、ネットワーク上に複数の情報処理装置40を分散して配置し、各情報処理装置40が協同して、判定処理、二値化処理等の画像処理、画像データの保存等を分担するようにしてもよい。これにより、画像処理システム2は、複数の画像読取装置30が生成した入力画像について、効率よく判定処理、二値化処理を実施できる。
【符号の説明】
【0104】
1、2 画像処理システム
10、30 画像読取装置
11、31 画像入力部
12、32 第1画像メモリ部
13、33 第1インターフェース部
14、34 第1記憶部
15、35 第1中央処理部
16、46 画像処理部
20、40 情報処理装置
21、41 第2インターフェース部
22、42 第2画像メモリ部
23、43 表示部
24、44 第2記憶部
25、45 第2中央処理部
101 間引き画像生成部
102 エッジ画素抽出部
103 エッジクラス抽出部
104 ヒストグラム生成部
105 判定部
106 特徴量抽出部
107 特徴量解析部
108 閾値算出部
109 二値化処理部

【特許請求の範囲】
【請求項1】
入力画像から画素を間引いた間引き画像を生成する間引き画像生成部と、
前記間引き画像からエッジ画素を抽出するエッジ画素抽出部と、
前記エッジ画素から孤立エッジ画素を抽出するエッジクラス抽出部と、
前記孤立エッジ画素による孤立ヒストグラムを生成するヒストグラム生成部と、
前記孤立ヒストグラムに基づいて、前記入力画像に背景要素があるか否かの判定を行う判定部と、
を有することを特徴とする画像処理装置。
【請求項2】
前記エッジクラス抽出部は、前記エッジ画素から連結エッジ画素をさらに抽出し、
前記ヒストグラム生成部は、前記連結エッジ画素から連結ヒストグラムをさらに生成し、
前記判定部は、前記孤立ヒストグラム及び前記連結ヒストグラムに基づいて、前記入力画像に前記背景要素があるか否かの判定を行う、請求項1に記載の画像処理装置。
【請求項3】
前記判定部は、前記連結ヒストグラムの収束の度合と前記孤立ヒストグラムの収束の度合の相互の関係に基づいて前記入力画像に前記背景要素があるか否かの判定を行う、請求項2に記載の画像処理装置。
【請求項4】
前記判定部は、前記連結ヒストグラムの最大値と前記孤立ヒストグラムの最大値の相互の関係に基づいて前記入力画像に前記背景要素があるか否かの判定を行う、請求項2または3に記載の画像処理装置。
【請求項5】
前記判定部は、前記孤立ヒストグラムの収束の度合に基づいて前記入力画像に前記背景要素があるか否かの判定を行う、請求項1に記載の画像処理装置。
【請求項6】
前記判定部は、前記孤立ヒストグラムの最大値に対する比率が所定以上となる範囲の大きさにより前記収束の度合を求める、請求項5に記載の画像処理装置。
【請求項7】
入力画像から画素を間引いた間引き画像を生成するステップと、
前記間引き画像からエッジ画素を抽出するステップと、
前記エッジ画素から孤立エッジ画素を抽出するステップと、
前記孤立エッジ画素による孤立ヒストグラムを生成するステップと、
前記孤立ヒストグラムに基づいて、前記入力画像に背景要素があるか否かの判定を行うステップと、
を含むことを特徴とする画像処理方法。
【請求項8】
入力画像から画素を間引いた間引き画像を生成するステップと、
前記間引き画像からエッジ画素を抽出するステップと、
前記エッジ画素から孤立エッジ画素を抽出するステップと、
前記孤立エッジ画素による孤立ヒストグラムを生成するステップと、
前記孤立ヒストグラムに基づいて、前記入力画像に背景要素があるか否かの判定を行うステップと、
をコンピュータに実行させることを特徴とするコンピュータプログラム。

【図1】
image rotate

【図2】
image rotate

【図3】
image rotate

【図6】
image rotate

【図7】
image rotate

【図8】
image rotate

【図9】
image rotate

【図10】
image rotate

【図11】
image rotate

【図13】
image rotate

【図14】
image rotate

【図15】
image rotate

【図16】
image rotate

【図4】
image rotate

【図5】
image rotate

【図12】
image rotate


【公開番号】特開2013−42413(P2013−42413A)
【公開日】平成25年2月28日(2013.2.28)
【国際特許分類】
【出願番号】特願2011−178816(P2011−178816)
【出願日】平成23年8月18日(2011.8.18)
【出願人】(000136136)株式会社PFU (354)
【Fターム(参考)】