画像処理装置および画像処理プログラム
【課題】色の劣化が生じた画像からでも、もともとの色領域を正確に抽出することができる画像処理装置および画像処理プログラムを提供する。
【解決手段】前景特徴量算出部11は、それぞれの画素を対象画素として、その対象画素を含む予め決められた範囲の画素の色に対する対象画素の色の違いを示す特徴ベクトルを、予め決められた範囲の画素の色の平均色から対象画素の色への色空間におけるベクトルとして算出する。統合判定部12は、統合対象の二つの画素または領域についての前景特徴ベクトルの類似度に従って、統合の可否を判定する。領域統合部13は、統合判定部12で統合すると判定された二つの画素または領域を1つの領域に統合する。統合する際には、統合後の領域の前景特徴ベクトルを算出しておく。終了判断部14で終了条件を判定し、終了でない場合には統合判定部12に戻って、終了条件が満たされるまで処理を繰り返す。
【解決手段】前景特徴量算出部11は、それぞれの画素を対象画素として、その対象画素を含む予め決められた範囲の画素の色に対する対象画素の色の違いを示す特徴ベクトルを、予め決められた範囲の画素の色の平均色から対象画素の色への色空間におけるベクトルとして算出する。統合判定部12は、統合対象の二つの画素または領域についての前景特徴ベクトルの類似度に従って、統合の可否を判定する。領域統合部13は、統合判定部12で統合すると判定された二つの画素または領域を1つの領域に統合する。統合する際には、統合後の領域の前景特徴ベクトルを算出しておく。終了判断部14で終了条件を判定し、終了でない場合には統合判定部12に戻って、終了条件が満たされるまで処理を繰り返す。
【発明の詳細な説明】
【技術分野】
【0001】
本発明は、画像処理装置および画像処理プログラムに関するものである。
【背景技術】
【0002】
カラー画像を限定色化する場合や色領域分割する場合などの処理では、ある色範囲にまとまる色の領域を抽出して、その領域の色を代表する色に置換し、あるいはそのような色領域に分割することが行われる。このような処理を行う際に、ある色がもともと使用されていたひとまとまりの領域については、1つの領域として抽出されることが望まれるが、部分的に異なる色の領域として抽出されてしまう場合がある。
【0003】
例えば画像読取装置で読み取った画像では、読取誤差によって色境界には原画像に存在しない色が生じている場合がある。また、離散コサイン変換や離散フーリエ変換などのブロック毎に周波数変換して量子化する方法を用いた符号化方式や圧縮方式を用いて符号化すると高周波成分が失われ、色境界部分で隣接する色の影響を受けた部分が生じることがある。平滑化処理を行った場合にも、色境界部分で隣接する色の影響を受けることがある。これらの一例として、白地に描かれた黒の細線の色は、もともと使用されていた黒よりも薄くなってしまう。さらに、ハイパスフィルタ処理を施した画像では、細線と太線の連結部分で色の違いが生じることがある。
【0004】
これらの劣化が生じている画像から色領域の抽出を行うと、劣化した部分から本来は存在していなかった色の領域が抽出されることがある。この場合、劣化した部分から抽出された領域が別の色領域として分割され、あるいはその領域が本来使用されていなかった色に置換されることになる。
【0005】
例えば特許文献1は連結成分を抽出する方法に関するものであるが、上述のような劣化が生じる色境界を除外して、連結成分の抽出を行っている。この場合、例えば細線や文字の細線部分などは色境界となって除外され、色領域として抽出されることはなく、あるいはそれらが部分的に欠如した連結結果が得られることになる。
【先行技術文献】
【特許文献】
【0006】
【特許文献1】特開2004−102807号公報
【発明の概要】
【発明が解決しようとする課題】
【0007】
本発明は、色の劣化が生じた画像からでも、もともとの色領域を正確に抽出することができる画像処理装置および画像処理プログラムを提供することを目的とするものである。
【課題を解決するための手段】
【0008】
本願請求項1に記載の発明は、それぞれの画素を対象画素として該対象画素を含む予め決められた範囲の画素の色に対する前記対象画素の色の違いを示す特徴ベクトルを前景特徴ベクトルとして算出する算出手段と、統合対象の二つの画素または領域についての前記前景特徴ベクトルの類似度に従って統合の可否を判定する判定手段と、前記判定手段で統合すると判定された二つの画素または領域を統合する統合手段を有することを特徴とする画像処理装置である。
【0009】
本願請求項2に記載の発明は、本願請求項1に記載の発明における前記算出手段が、前記予め決められた範囲の画素の色の平均色から前記対象画素の色への色空間におけるベクトルを前記前景特徴ベクトルとして算出することを特徴とする画像処理装置である。
【0010】
本願請求項3に記載の発明は、本願請求項2に記載の発明における前記算出手段が、色境界から予め定めた範囲の画素を有効領域として、該有効領域の画素について前記前景特徴ベクトルを算出することを特徴とする画像処理装置である。
【0011】
本願請求項4に記載の発明は、本願請求項2に記載の発明における前記算出手段が、統合対象の色の境界から予め定めた範囲の画素を有効領域として、該有効領域の画素について前記前景特徴ベクトルを算出することを特徴とする画像処理装置である。
【0012】
本願請求項5に記載の発明は、本願請求項1から請求項4のいずれか1項に記載の発明における前記算出手段が、前記対象領域の各画素における統合前の前記前景特徴ベクトルが予め設定されている範囲に収まっていない場合には前記判定手段に通知し、判定手段では、前記色差ベクトルが予め設定されている範囲に収まっていない画素または領域の組み合わせについては統合しないと判定することを特徴とする画像処理装置である。
【0013】
本願請求項6に記載の発明は、本願請求項1から請求項5のいずれか1項に記載の発明における前記統合手段が、二つの画素または領域を統合する際に、両者の前記前景特徴ベクトルを用いて統合した領域の前景特徴ベクトルを算出することを特徴とする画像処理装置である。
【0014】
本願請求項7に記載の発明は、本願請求項1に記載の発明における前記算出手段が、前記対象画素または画素が統合された対象領域に隣接する画素または領域を周辺画素または周辺領域としてそれぞれの周辺画素または周辺領域の色から前記対象画素または前記対象領域の色への色空間における色差ベクトルの平均を前記前景特徴ベクトルとして算出することを特徴とする画像処理装置である。
【0015】
本願請求項8に記載の発明は、本願請求項7に記載の発明における前記算出手段が、前記対象画素または前記対象領域と前記周辺画素または前記周辺領域との接続長をさらに用いて前記色差ベクトルの平均を算出し、前記前景特徴ベクトルとすることを特徴とする画像処理装置である。
【0016】
本願請求項9に記載の発明は、本願請求項7または請求項8に記載の発明における前記算出手段が、前記色差ベクトルが予め設定されている範囲に収まっていない場合には前記判定手段に通知し、判定手段では、前記色差ベクトルが予め設定されている範囲に収まっていない画素または領域の組み合わせについては統合しないと判定することを特徴とする画像処理装置である。
【0017】
本願請求項10に記載の発明は、本願請求項1から請求項9のいずれか1項に記載の発明の構成に、さらに、色境界を抽出する抽出手段を有し、前記判定手段が、前記抽出手段で抽出された色境界を跨がない二つの画素または領域を統合対象とすることを特徴とする画像処理装置である。
【0018】
本願請求項11に記載の発明は、コンピュータに、請求項1から請求項10のいずれか1項に記載の画像処理装置の機能を実行させるものであることを特徴とする画像処理プログラムである。
【発明の効果】
【0019】
本願請求項1に記載の発明によれば、本構成を有しない場合に比べ、色の劣化が生じた画像からでも、もともとの色領域を正確に抽出することができるという効果がある。
【0020】
本願請求項2に記載の発明によれば、対象画素における色について背景色からの色の違いの傾向を抽出することができる。
【0021】
本願請求項3に記載の発明によれば、本構成を有しない場合に比べ、より正確に背景色からの色の違いの傾向を抽出して色領域の統合を行うことができる。
【0022】
本願請求項4に記載の発明によれば、本構成を有しない場合に比べ、より正確に色境界における背景色からの色の違いの傾向を抽出して色領域の統合を行うことができる。
【0023】
本願請求項5に記載の発明によれば、本構成を有しない場合に比べ、より正確に周辺画素との色の違いの傾向を抽出して色領域の統合を行うことができる。
【0024】
本願請求項6に記載の発明によれば、本構成を有しない場合に比べ、統合された領域における劣化した色の影響を抑えることができる。
【0025】
本願請求項7に記載の発明によれば、対象画素または対象領域における色について周辺画素または周辺領域の色からの色の違いの傾向を抽出することができる。
【0026】
本願請求項8に記載の発明によれば、対象画素または対象領域の状態を考慮して対象画素と周辺画素の色の違いの傾向を抽出することができる。
【0027】
本願請求項9に記載の発明によれば、本構成を有しない場合に比べ、より正確に周辺画素との色の違いの傾向を抽出して色領域の統合を行うことができる。
【0028】
本願請求項10に記載の発明によれば、色境界を跨いだ統合を防止することができる。
【0029】
本願請求項11に記載の発明によれば、本願請求項1から請求項10のいずれか1項に記載の発明の効果を得ることができる。
【図面の簡単な説明】
【0030】
【図1】本発明の第1の実施の形態を示す構成図である。
【図2】本発明の第1の実施の形態における動作の一例を示す流れ図である。
【図3】本発明の第1の実施の形態における動作の具体例の説明図である。
【図4】本発明の第1の実施の形態における第1の変形例を示す構成図である。
【図5】包括度の一例の説明図である。
【図6】本発明の第1の実施の形態における第2の変形例を示す構成図である。
【図7】本発明の第1の実施の形態における第2の変形例の具体例の説明図である。
【図8】本発明の第1の実施の形態における第3の変形例を示す構成図である。
【図9】本発明の第1の実施の形態における第3の変形例の具体例の説明図である。
【図10】本発明の第2の実施の形態を示す構成図である。
【図11】本発明の第2の実施の形態における動作の一例を示す流れ図である。
【図12】本発明の第2の実施の形態における動作の具体例の説明図である。
【図13】本発明の各実施の形態およびその変形例で説明した機能をコンピュータプログラムで実現した場合におけるコンピュータプログラム及びそのコンピュータプログラムを格納した記憶媒体とコンピュータの一例の説明図である。
【発明を実施するための形態】
【0031】
図1は、本発明の第1の実施の形態を示す構成図である。図中、11は前景特徴量算出部、12は統合判定部、13は領域統合部、14は終了判断部である。前景特徴量算出部11は、それぞれの画素を対象画素として、その対象画素を含む予め決められた範囲の画素の色に対する対象画素の色の違いを示す特徴ベクトルを前景特徴ベクトルとして算出する。ここでは、予め決められた範囲の画素の色の平均色から対象画素の色への色空間におけるベクトルを前景特徴ベクトルとして算出する。平均色を算出する際の画像上の範囲の大きさは、劣化が生じている背景以外の画素を対象画素とした場合に、平均色として背景色が得られる大きさであるとよい。
【0032】
統合判定部12は、統合対象の二つの画素または領域についての前景特徴ベクトルの類似度に従って、統合の可否を判定する。統合対象とする二つの画素または領域は、画像上で隣接している画素または領域(画素同士、複数の画素を含む領域同士、領域と画素)の組み合わせである。その組み合わせのそれぞれについて、統合の可否を判定すればよい。前景特徴ベクトルから類似度を算出するには種々の方法があるが、例えば前景特徴ベクトルは長さと方向を有しているので、前景特徴ベクトルの長さと方向に基づく関数などにより類似度を算出すればよい。もちろん、他の方法であってもよい。得られた類似度を予め設定されている値と比較し、統合の可否を判定すればよい。なお、統合の可否を判定する際には、前景特徴ベクトル以外の特徴量、例えば、領域の太さや幅や長さ、領域や画素の色、位置関係、包括度、面積なども用いて判定してもよい。
【0033】
領域統合部13は、統合判定部12で統合すると判定された二つの画素または領域を1つの領域に統合する。統合する際には、両者の前景特徴ベクトルを用いて統合した領域の前景特徴ベクトルを算出する。例えば画素数により重み付けした平均のベクトルを算出し、新たな前景特徴ベクトルとすればよい。あるいは、統合するいずれかの前景特徴ベクトルを選択して統合後の前景特徴ベクトルとしてもよい。例えば統合する二つの領域のうち画素数の多い方の領域の前景特徴ベクトルを選択してもよい。
【0034】
終了判断部14は、統合処理が終了したか否かを判定する。例えば、領域統合部13で統合した画素または領域が存在しなかった場合に終了と判定すればよい。あるいは、存在する画素または領域の数が予め設定しておいた数以下となったか否かを終了判定の条件としてもよい。もちろん、このほかにも種々の終了条件を設定し、その終了条件により処理の終了を判定してもよい。終了でないと判定される場合には、統合判定部12に戻り、領域統合部13で統合後の領域や画素について統合の可否および統合の処理を繰り返す。終了条件が満たされると、色領域の分離結果を出力する。
【0035】
図2は、本発明の第1の実施の形態における動作の一例を示す流れ図である。S21において、前景特徴量算出部11は、それぞれの画素を対象画素として、その対象画素を含む予め決められた範囲の画素の色に対する対象画素の色の違いを示す特徴ベクトルを前景特徴ベクトルとして算出する。例えば、予め決められた範囲の画素の色の平均色から対象画素の色への色空間におけるベクトルを前景特徴ベクトルとして算出する。
【0036】
S22において、統合判定部12は、統合対象の二つの画素または領域についての前景特徴ベクトルの類似度に従って、統合の可否を判定する。初回は隣接する二つの画素の組み合わせのそれぞれについて、二つの前景特徴ベクトルから類似度を求めて統合の可否を判定する。例えば、二つの前景特徴ベクトルのなす角度θおよび長さの差分Δを用い、類似度を示す評価関数をFとし、
F(θ,Δ)=α・θ+β・Δ
により類似度を求める。この式におけるα,βは定数であり、予め設定しておけばよい。二つの前景特徴ベクトルのなす角度が小さいほど、また長さの差が小さいほど、二つの画素の色が類似していることを示しており、この評価関数Fの値は小さくなる。求めた類似度が予め決めておいた閾値以下であれば、統合すると判定すればよい。もちろん、統合の可否は上述の評価関数Fに限られないことは言うまでもない。
【0037】
S23において、領域統合部13は、統合判定部12で統合すると判定された二つの画素または領域を1つの領域に統合する。統合する際には、両者の前景特徴ベクトルを用いて統合した領域の前景特徴ベクトルを算出しておく。例えば画素数により重み付けした平均のベクトルを算出し、新たな前景特徴ベクトルとすればよい。
【0038】
S24において、終了判断部14は、統合処理が終了したか否かを判定する。例えば、統合判定部12で統合すると判定された統合対象の組み合わせが存在せず、領域統合部13で統合した画素または領域が存在しなかったことを終了条件とし、この終了条件を満たさなかった場合にはS22へ戻って処理を繰り返す。
【0039】
二回目以降のS22における統合判定部12の処理では、領域統合部13によって統合された領域が存在するので、統合対象となるのは隣接する画素と画素、画素と領域、領域と領域の組み合わせとなる。統合された領域については領域統合部13で前景特徴ベクトルが更新されているので、この更新された前景特徴ベクトルを用いて統合の可否を判定する。
【0040】
統合すると判定された画素と画素、画素と領域、領域と領域の組み合わせについては、S23における領域統合部13の処理によって統合され、前景特徴ベクトルが更新される。
【0041】
S24において終了判断部14が終了条件を満たすか否かを判断し、終了条件を満たさなければ再びS22へ戻って統合の判定と統合の処理を繰り返して行う。終了条件を満たすと判断されれば、この処理を終了してそれまでの統合結果を出力する。
【0042】
図3は、本発明の第1の実施の形態における動作の具体例の説明図である。図3(A)には、処理対象の画像の部分を示している。この例では、白地に、ある色(前景色と呼ぶことにする)で細線とその終端部に文字の明朝体で用いるうろこ(セリフ)が存在している。この例では、種々の劣化要因によって、細線の部分は背景の白の影響を受けて元の前景色よりも薄くなっている。また、うろこの部分は、背景との境界部分では背景の白の影響を受けているが、内部は元の前景色が再現されている。なお、図示の都合上、色の違いを斜線の違いとして示している。
【0043】
図2のS21において、前景特徴量算出部11は、それぞれの画素における前景特徴ベクトルを算出する。例えば図3(A)に破線で示す大きさの範囲を、それぞれの画素を中心として設定し、その範囲の画素の色の平均色を求めると、背景色の画素の数がそのほかの色の画素数よりも多いことから、いずれの画素についても平均色は背景色あるいは背景色から色づいた程度の色となる。前景特徴ベクトルは、このような平均色を始点とし、各画素の色を終点とする色空間におけるベクトルとする。
【0044】
このようにして得られた前景特徴ベクトルの一例を図3(B)に示している。図3(B)は、色空間において、ある色相における明度−彩度平面を示している。細線の部分のある画素において得られた前景特徴ベクトルの例と、うろこの内部のある画素において得られた前景特徴ベクトルの例を示している。細線の画素における前景特徴ベクトルとうろこの内部の画素における前景特徴ベクトルとでは、長さは異なるものの、方向はある範囲にまとまっている。なお、背景色の画素についても、平均色から各画素の背景色へのベクトルが前景特徴ベクトルとなるが、これらの前景特徴ベクトルは図3(B)に示す前景特徴ベクトルとは長さ、方向とも異なる。
【0045】
図2のS22における統合判定部12による統合の判定処理では、隣接する画素の組み合わせにより統合を判定すると、細線の部分では前景特徴ベクトルが類似していることから統合すると判定される。また、うろこの内部についても前景特徴ベクトルが類似しており、統合すると判定される。うろこの背景との境界部分では、うろこの内部の画素と隣接しており、うろこの内部の画素との統合の判定を行うことになる。これらの画素の組み合わせでは前景特徴ベクトルは図3(B)に示す関係にあり、前景ベクトルのなす角度はある範囲内となることから、ここでは類似しており統合すると判定するものとしている。
【0046】
図2のS23において領域統合部13は統合判定部12の判定結果に従って統合処理を行う。例えば図3(C)に示すように、細線の部分の画素は統合され、うろこの部分は背景との境界部分の画素と内部の画素が統合されている。なお、背景についても、背景の画素は背景の領域として統合されることになる。統合の際には、統合後の領域の前景特徴ベクトルを得ておく。例えば前景特徴ベクトルに画素数により重み付けした平均のベクトルを算出し、新たな前景特徴ベクトルとすればよい。細線の部分は図3(B)において細線の前景特徴ベクトルとして例示したベクトルに類似した前景特徴ベクトルの平均のベクトルが新たな前景特徴ベクトルとなる。うろこの部分は、図3(B)においてうろこ内部の前景特徴ベクトルとして例示したベクトルから細線の前景特徴ベクトルとして例示したベクトルに平均化した分だけ近づく。あるいはうろこの内部の前景特徴ベクトルを選択して統合後の前景特徴ベクトルとしてもよい。図3(D)に統合した前景特徴ベクトルの一例を示す。
【0047】
再び図2のS22に戻って、統合判定部12による各領域の組み合わせについて統合の判定を行う。細線の領域とうろこの領域とを統合対象として判定すると、図3(D)に示す両者の前景特徴ベクトルがなす角度は、ある範囲内となっており類似しているとして統合すると判定される。このほかの細線と背景、うろこと背景は前景特徴ベクトルが類似していないので統合しないと判定される。
【0048】
この判定結果を受けて、図2のS23で領域統合部13は細線の領域とうろこの領域とを統合する。これにより図3(E)に示すような統合結果が得られる。前景特徴ベクトルを更新して図2のS22へ戻り、統合判定部12によって背景の領域と細線およびうろこの領域との統合判定を行うが、統合しないと判定されて、S24における終了判断部14が統合が生じなかったことで終了条件を満たすとして判断し、処理を終了して図3(E)に示す統合結果が出力されることになる。
【0049】
図3(A)に示した画像には細線の部分やうろこの背景との境界部分に劣化が生じ、前景色が変化しているが、図3(E)に示すように、もともとの前景色の領域が抽出されている。この結果から、例えばそれぞれの色領域の色を当該色領域の代表色に置換して限定色化の処理を行ってもよいし、特定の色領域を切り出してもよく、それぞれ後段の処理において利用すればよい。
【0050】
図4は、本発明の第1の実施の形態における第1の変形例を示す構成図である。図中、15は特徴抽出部である。特徴抽出部15は、統合対象の二つの領域または画素について、前景特徴量算出部11で算出する前景特徴ベクトル以外の種々の特徴量を抽出する。抽出する特徴量としては、例えば、領域の太さや幅や長さ、領域や画素の色、位置関係、包括度、面積などがあり、もちろんこのほかの特徴量であってもよい。
【0051】
例えば抽出する特徴量として太さを抽出する場合には、統合対象となった領域の内側に接する最大の内接円の直径(画素数)を求めればよい。例えば統合対象が画素であれば、太さを1とすればよい。
【0052】
統合判定部12では、統合対象の前景特徴ベクトルとともに、特徴抽出部15で抽出した太さを用いて類似度を算出し、統合の可否を判定すればよい。具体例として、二つの前景特徴ベクトルのなす角度をθ、それぞれの前景特徴ベクトルの長さをD1,D2、それぞれの統合対象の太さをd1,d2とし、fを増加関数として、
類似度=α・θ+β・|Δ|
Δ=D1/f(d1)−D2/f(d2)
などとして類似度を求めればよい。なお、α、βは正の定数であり、予め与えておけばよい。得られた類似度の値が小さいほど類似していることを示している。類似度が予め決められた閾値より小さい場合に、統合すると判定すればよい。
【0053】
この例の場合、例えば図3に示す例では細線の部分の太さd1はうろこの部分の太さd2に比べて太さの値が小さく、d1<d2である。細線の部分における前景特徴ベクトルの長さD1とうろこの部分における前景特徴ベクトルの長さD2とはD1<D2であるが、長さと太さの比率であるD1/f(d1)、D2/f(d2)の値としては類似した値となる。両者の前景特徴ベクトルの方向も類似していることから、上述の式により求めた類似度から両者は類似していることを示すことになる。この例の細線とうろこのように形状が相違し、前景特徴ベクトルの長さが相違する場合でも統合される確率が太さを用いない場合に比べて高くなる。
【0054】
また、例えば抽出する特徴量として、色差、位置関係、包括度、面積を用いる場合には、前景特徴ベクトルから得られる類似度とともにこれらの特徴量を用いた線形関数により類似度を求めるとよい。例えば、前景特徴ベクトルから得られる特徴量を上述のF(θ,Δ)とし、統合対象の色差をG、統合対象の位置関係をH、統合対象のそれぞれの包括度をc1,c2、統合対象のそれぞれの面積をs1,s2とした場合に、
類似度=F(θ,Δ)+γ・G+δ・H−ε・I(c1,c2)+ζ・J(s1,s2)
などとして類似度を求めればよい。なお、γ、δ、ε、ζは正の定数であり、予め与えておけばよい。また、関数Iおよび関数Jは増加関数である。得られた類似度の値が小さいほど類似していることを示しており、類似度の値が予め決められた閾値より小さい場合に、統合すると判定すればよい。
【0055】
ここで、統合対象の色差Gは、統合対象のそれぞれの色の色空間におけるユークリッド距離である。ユークリッド距離が小さいほど類似した色であることを示し、類似度の値は小さくなる。
【0056】
また、統合対象の位置関係Hとしては、統合対象のそれぞれの領域または画素の重心位置の距離/面積和、面積和/隣接部分の長さなどを用いるとよい。統合により領域が大きくなると他の統合対象との重心位置の距離は大きくなるが、面積和によって正規化して類似度に反映している。面積和/隣接部分の長さについては、統合により面積が増加するとその周囲の長さも長くなることから、周囲のどの程度の部分で接しているのかを示すことになる。隣接部分の長さが長いほど類似度の値は小さくなる。
【0057】
包括度c1,c2については、統合対象のそれぞれについて、外接矩形の重なり面積比率を包括度とすればよい。図5は、包括度の一例の説明図である。統合対象のそれぞれの外接矩形を外接矩形1、外接矩形2として示している。外接矩形1については外接矩形2と重なっている面積と重なっていない面積が1:1であるものとしている。この場合、包括度は1/2とすればよい。また、外接矩形2については外接矩形1と重なっている面積と重なっていない面積が2:1であるものとしている。この場合の包括度は2/3とすればよい。包括度が大きいほど両者は関係が強いことを示している。これらの包括度をまとめる増加関数Iを用い、包括度が大きいほど大きな値となるようにしている。類似度に対しては負の項としており、包括度が大きいほど類似度の値が小さくなるようにしている。
【0058】
面積s1,s2については、統合対象のそれぞれの領域の面積(画素数)であり、増加関数Jは、例えば和を求めるなど、種々の関数でよい。面積が小さいほど類似度の値は小さくなり、他の領域や画素と統合されやすくなる。例えば細部の劣化している部分が隣接する領域に統合されるようにしている。
【0059】
なお、上述の太さと組み合わせてもよいことは言うまでもない。また、これらの特徴量のいくつかを選択して用い、あるいはこのほかの種々の特徴量とともに用いて類似度を求めてもよい。このような特徴量を用い、算出される類似度を用いて統合対象についての統合の可否を判定すればよい。
【0060】
図6は、本発明の第1の実施の形態における第2の変形例を示す構成図である。図中、16は色境界抽出部である。前景特徴量算出部11で求める前景特徴ベクトルは、予め決められた範囲の画素の平均色から対象画素の色への色空間におけるベクトルとして求めた。そのため、予め決められた範囲に背景色以外の画素が多くなるほど、平均色として背景色が得られなくなり、前景特徴ベクトルとして背景色から対象画素へのベクトルが得られなくなる。この第2の変形例では、このような場合に対応する例を示している。
【0061】
色境界抽出部16は、画像中の色の違いを検出し、その色の違いの境界を色境界として抽出する。色境界を抽出する方法としては種々の方法が知られており、そのいずれの方法を用いてもよい。
【0062】
前景特徴量算出部11は、色境界抽出部16で抽出した色境界から予め定めた範囲の画素を有効領域として、その有効領域の画素について前景特徴ベクトルを算出する。また統合判定部12は、有効領域における統合対象の二つの画素または領域について、前景特徴ベクトルの類似度に従って統合の可否を判定する。この判定については上述したとおりである。有効領域以外の領域(無効領域)における統合対象の二つの画素または領域、あるいは無効領域の画素または領域と有効領域の画素または領域が統合対象である場合には従来より用いられている方法により統合の可否を判定すればよく、例えば、色差が予め設定されている範囲内であれば統合する、範囲外であれば統合しない、と判定すればよい。さらに、領域統合部13は統合判定部12で統合すると判定された二つの画素または領域を1つの領域に統合するが、統合対象の画素または領域が両者とも有効領域の画素または領域の場合に、両者の前景特徴ベクトルを用いて統合した領域の前景特徴ベクトルを算出する。
【0063】
図6に示した本発明の第1の実施の形態における第2の変形例では、さらに、色境界抽出部16による色境界の抽出結果を、領域統合部13でも用いる。領域統合部13では、統合対象について統合する際に、色境界抽出部16で抽出した色境界を跨いだ統合を行わないようにしている。これにより、過統合が防止される。
【0064】
図7は、本発明の第1の実施の形態における第2の変形例の具体例の説明図である。図7(A)に示した例では、白地に、前景色で矩形が描かれている。この矩形と背景との色境界において、前景色が劣化により変化しており、その状態を図示の都合上、斜線の違いにより示している。
【0065】
破線は、平均色を算出するために予め決められた範囲の一例を示している。この例の場合、破線の範囲には背景色の画素よりも前景色の画素が多く含まれているため、平均色は背景色よりも前景色に近くなる。そのため、前景色内部の画素で得られた前景特徴ベクトルは、色境界部分の画素において得られる前景特徴ベクトルとは方向、長さとも異なったものとなる。
【0066】
この第2の変形例では、色境界抽出部16で抽出された色境界から予め定めた範囲を有効領域とする。この有効領域を図7(B)に斜線を付し、有効領域と示している。有効領域以外は無効領域とする。この有効領域は、色境界からの影響を受けた画素とともに、影響を受けていない画素までが含まれているとよい。有効領域の画素では、前景特徴ベクトルを得る際の平均色として背景色の影響を受けた色が算出されており、上述の前景特徴ベクトルを用いた統合処理が行われることになる。
【0067】
なお、無効領域については従来より用いられている方法、例えば色差が予め設定されている範囲内であるか否かにより統合の可否を判定し、統合すると判定した画素または領域を統合してゆけばよい。
【0068】
上述の説明では、無効領域については前景特徴ベクトルを用いない方法により統合処理を行うものとしているが、例えば無効領域の画素については有効領域と接する画素から有効領域の前景特徴ベクトルをそのまま複写して、無効領域の画素についても前景特徴ベクトルを設定しておき、あるいは、有効領域によって分断される領域ごとに統合された領域として予め前景特徴ベクトルを設定しておいて、無効領域についても前景特徴ベクトルを用いた統合処理を行うようにしてもよい。
【0069】
図8は、本発明の第1の実施の形態における第3の変形例を示す構成図である。統合された領域が種々の色の領域と接している場合、その領域の前景特徴ベクトルは、その領域が接している種々の色の影響を受けている。そのため、当該領域の色と類似する別の領域との統合を判定する際に、誤った判定が行われる場合がある。
【0070】
この第3の変形例では、統合判定部12が二つの領域の統合を判定する際に、前景特徴量算出部11に対して、当該領域の接している色の境界から予め定めた範囲の画素を有効領域として、その有効領域の画素について前景特徴ベクトルを算出し直し、あるいは、最初に算出した前景特徴ベクトルを保持しておいてその前景特徴ベクトルを読み出して、統合判定部12に渡す。統合判定部12では、前景特徴量算出部11から渡された有効領域の前景特徴ベクトルを用いて、統合の可否を判断する。
【0071】
図9は、本発明の第1の実施の形態における第3の変形例の具体例の説明図である。図9に示した例では、ある背景色に、色が異なる3つの図形が描かれている。統合の処理が進み、図中の領域Aと背景部分とが統合対象として選択されているものとする。背景部分は色が異なる3つの図形と接していることから、前景特徴ベクトルはこれらの図形の色の影響を受けている。また、領域Aの前景特徴ベクトルは1色の図形の影響を受けている。従って、そのまま領域Aと背景部分との統合を判定すると、統合しないと判定される場合もある。
【0072】
このような場合に、両者の境界から図中に破線で示した予め定めた範囲を有効領域とし、前景特徴量算出部11から前景特徴ベクトルを取得する。これにより、領域Aと背景領域とも、1色の図形の影響を受けた前景特徴ベクトルに統一され、この前景特徴ベクトルを用いて統合の判定を行うことになる。例えば図9に示した例のように、他の図形に入り込んだ領域についても、本来の領域と統合されることになる。
【0073】
この第3の変形例における有効領域の設定は、いずれの領域同士の統合の際に行うほか、例えば少なくとも一方の領域の大きさが予め決められた大きさ(例えば画素数)以上である場合に、その予め決められた大きさ以上の領域に有効領域を設定してもよい。
【0074】
または、領域内のそれぞれの画素について求めた前景特徴ベクトルが予め決められた範囲に収まっているか否かを判定し、予め決められた範囲に収まっていない場合に、上述の有効領域を設定してもよい。例えば図9に示した例では背景部分に統合された画素でも、3つのそれぞれの図形と接する領域ではそれぞれの図形の色の影響を受けており、前景特徴ベクトルもそれぞれの図形の影響を受けていることになる。そのため、背景部分に統合されてはいるものの、統合前のもとの前景特徴ベクトルは統合後の領域の前景特徴ベクトルとズレが生じており、そのズレは、どの色の図形の影響を受けているかによって異なってくる。このようなズレによる前景特徴ベクトルのばらつきを考慮し、前景特徴ベクトルが予め決められた範囲に収まっているか否かを判定し、予め決められた範囲に収まっていない場合には、当該領域は各種の色の影響を受けた画素の集合であることが考えられるので、上述の有効領域を設定して誤判定を防ぐとよい。予め決められた範囲に収まっていれば、種々の色の影響は考慮しなくてよいものとして、有効領域の設定や有効領域の前景特徴ベクトルの再算出などを行わずに、当該領域の前景特徴ベクトルを用いて統合の判断と統合の処理を行えばよい。なお、領域内のそれぞれの画素における前景特徴ベクトルは、統合処理の前に、最初に算出した前景特徴ベクトルを保持しておいて、その前景特徴ベクトルを読み出して使用すればよい。
【0075】
あるいは、領域内のそれぞれの画素について求めた前景特徴ベクトルが予め決められた範囲に収まっているか否かを判定し、予め決められた範囲に収まっていない場合に、前景特徴ベクトルを用いた統合の判定や統合を行わないとしてもよい。上述したように、領域内の各画素について予め求めた前景特徴ベクトルがばらついている場合には、種々の色の影響を受けていることを示している。そのため、当該領域の前景特徴ベクトルは正確に求められたものではないものとして、前景特徴ベクトルを用いた統合の判定や統合の処理を行わず、例えば、色差が予め設定されている範囲内であれば統合する、範囲外であれば統合しないなど、従来より用いられている方法により統合の可否を判定し、統合の処理を行えばよい。この場合も、領域内のそれぞれの画素における前景特徴ベクトルは、統合処理の前に、最初に算出した前景特徴ベクトルを保持しておいて、その前景特徴ベクトルを読み出して使用すればよい。
【0076】
また、予め決められた大きさ(例えば画素数)以上の領域については、種々の色の影響を受けている場合があることから、当該領域の前景特徴ベクトルを用いた統合の判定や統合の処理を行わず、例えば色差を用いた統合の判定と統合の処理など、従来より用いられている方法を使用して統合の判定、統合処理を行ってもよい。
【0077】
図10は、本発明の第2の実施の形態を示す構成図である。この第2の実施の形態では前景特徴ベクトルとしてどのようなベクトルを算出するかという点で上述の第1の実施の形態と異なっている。上述の第1の実施の形態と異なる部分について主に説明してゆく。
【0078】
前景特徴量算出部11は、各領域の平均色を算出するとともに、前景特徴ベクトルを算出する。まだ統合されていない画素については、画素の色が平均色である。前景特徴ベクトルは、対象画素または画素が統合された対象領域に隣接する画素または領域を周辺画素または周辺領域として、それぞれの周辺画素または周辺領域の色から対象画素または対象領域の色(平均色)への色空間における色差ベクトルを求め、その色差ベクトルの平均を前景特徴ベクトルとして算出する。前景ベクトルとしては、さらに周辺領域(周辺画素)の面積や、対象領域(対象画素)と周辺領域(周辺画素)との接続長などを用いて算出してもよい。例えば、
前景特徴ベクトル=(色差ベクトル・面積・接続長)の平均
により前景特徴ベクトルを算出してもよい。周辺領域の大きさや、周辺画素または周辺領域とどの程度接しているか等に応じて色差ベクトルを変更し、変更後の色差ベクトルの平均により前景特徴ベクトルが得られる。なお、色差ベクトルがばらついており、予め設定されている範囲に収まっていない場合には、その旨を統合判定部12に通知する。
【0079】
統合判定部12では、前景特徴量算出部11で算出した前景特徴ベクトルを用いて、二つの統合対象の画素または領域について、統合するか否かを判定する。判定の際に、前景特徴量算出部11から色差ベクトルが予め設定されている範囲に収まっていない画素または領域の組み合わせであることが通知されている場合には、統合しないと判定する。
【0080】
なお、この第2の実施の形態では、領域統合部13では前景特徴ベクトルの更新は行わない。領域統合部13で統合の処理を行い、終了判断部14でさらに処理を繰り返すことを判断した場合には、前景特徴量算出部11へ戻って処理を繰り返す。
【0081】
図11は、本発明の第2の実施の形態における動作の一例を示す流れ図である。上述の第1の実施の形態における動作の一例と異なる処理について主に説明する。S31において、前景特徴量算出部11は、各領域の平均色を算出するとともに、前景特徴ベクトルを算出する。初回では平均色の算出は不要であり、画素の色が平均色である。前景特徴ベクトルは、それぞれの画素を対象画素とし、対象画素に隣接する画素を周辺画素として、周辺画素から対象画素への色空間における色差ベクトルを求める。初回ではこの色差ベクトルを前景特徴ベクトルとしてもよい。2回目以降では統合の処理によって複数の画素からなる領域が生じている。領域については平均色を算出して当該領域の色としておく。そして、対象画素または対象領域に隣接する画素(周辺画素)や領域(周辺領域)の色から対象画素または対象領域の色(平均色)への色差ベクトルをそれぞれ求める。求めた色差ベクトル、あるいはさらに周辺領域(周辺画素)の面積、周辺領域(周辺画素)との接続長などを考慮したベクトルについて、平均を求めて前景特徴ベクトルを算出すればよい。
【0082】
S22において、統合判定部12は、統合対象の二つの画素または領域についての前景特徴ベクトルの類似度に従って、統合の可否を判定する。判定方法については上述の第1の実施の形態で説明した方法を用いればよい。さらに、S31で前景特徴ベクトルを算出する際に用いた色差ベクトルがばらついており、予め設定されている範囲に収まっていない場合には、その旨を統合判定部12から通知を受けて、統合しないと判定する。
【0083】
S23において、領域統合部13は、統合判定部12で統合すると判定された二つの画素または領域を1つの領域に統合する。統合の処理は上述の第1の実施の形態で説明した通りであるが、前景特徴ベクトルの更新は行わない。
【0084】
S24において、終了判断部14は、統合処理が終了したか否かを判定する。終了判定については、上述の第1の実施の形態で説明した通りである。終了条件を満たさなかった場合には、この第2の実施の形態ではS31へ戻って処理を繰り返す。
【0085】
図12は、本発明の第2の実施の形態における動作の具体例の説明図である。図12(A)には、処理対象の画像の部分を示している。この例では、白地に、ある前景色で細線とその一端側の終端部に文字の明朝体で用いるうろこ(セリフ)が存在し、他端側の終端部は細線よりも太い線(太線と称す)と接続されている。この例では、種々の劣化要因によって、細線の部分と、うろこおよび太線の白地の背景との境界部分では、背景の白の影響を受けて元の前景色よりも薄くなっている。図示の都合上、色の違いを斜線の違いとして示している。
【0086】
図11のS31において、前景特徴量算出部11は、それぞれの画素における前景特徴ベクトルを算出する。なお、初回はそれぞれの画素の色が平均色となる。例えば細線の背景と接する画素では、その画素を中心として図12(B)に示す8方向に隣接する画素の色との色差ベクトルを求め、その平均のベクトルを前景特徴ベクトルとする。図12(B)に示す例では、a,b,cとして示した画素が背景色の画素、d,e,f,g,hが背景色による影響を受けた前景色の画素である。これらの画素との色差ベクトルを平均して前景特徴ベクトルを算出する。なお、うろこ、太線の背景との境界部分の画素では、背景色の画素と、背景の影響を受けた前景色の画素との色差ベクトルの平均、あるいはさらに、背景の影響を受けていない前景色の画素との色差ベクトルの平均が前景特徴ベクトルとなる。うろこ、太線の内部については、前景色の画素との色差ベクトルの平均を前景特徴ベクトルとすることになる。なお、背景についても前景色との境界部分では前景色との色差ベクトルを含む平均を前景特徴ベクトルとすることになる。
【0087】
図11のS22における統合判定部12による統合の判定処理では、隣接する画素の組み合わせにより統合を判定すると、細線の部分や、うろこ、太線の背景との境界部分が統合すると判定され、また、うろこ、太線内部が統合すると判定される。これらは図11のS23において領域統合部13により統合される。なお、図11のS24では終了判断部14が終了条件を満たさないと判断して再び図11のS31に戻る。
【0088】
S31では、前景特徴量算出部11は、統合後の各領域について、平均色を求める。統合されずに画素のままのものは、画素の色を平均色とすればよい。そして、各領域および各画素の前景特徴ベクトルを算出する。図12(C)に示す例では、細線の部分、うろこの部分、太線の部分、背景の部分がそれぞれ統合された状態を示している。これらの部分について、それぞれ平均色を求める。そして、それぞれの部分の前景特徴ベクトルを算出する。例えば細線の部分は、図12(C)に示した状態では、細線はうろこの部分、太線の部分、背景部分との接している。従って、これらの部分との色差ベクトルを求めて平均し、前景特徴ベクトルとする。また太線の部分は、細線と背景部分とに接しているので、それぞれの色差ベクトルを求めて平均し、前景特徴ベクトルとする。さらに、うろこの部分は、細線と背景部分とに接しているので、それぞれの色差ベクトルを求めて平均し、前景特徴ベクトルとする。なお、背景についても、太線の部分、細線の部分、うろこの部分に接しており、それぞれとの色差ベクトルを求めて平均し、前景特徴ベクトルを求めることになる。
【0089】
前景特徴ベクトルを算出したら、S22において、統合判定部12により前景特徴ベクトルの類似度を算出して統合するか否かを判定する。図12(C)に示した状態の場合、太線の部分、細線の部分、うろこの部分の前景特徴ベクトルは類似しており、それぞれ統合すると判定される。背景の部分と太線、細線、うろこの各部分との統合の判定では、前景特徴ベクトルの方向が異なり、統合しないと判定される。
【0090】
この判定結果に従い、S23において領域統合部13により太線の部分と細線の部分とうろこの部分とが統合される。これにより、図12(D)に示す統合結果が得られる。S24からS31へ戻って処理が繰り返され、終了条件を満たすと処理が終了する。例えば図12に示す例では、図12(D)に示した統合結果が出力されることになる。
【0091】
図12(A)に示した画像には細線の部分やうろこの背景との境界部分に劣化が生じ、前景色が変化していた。細線については、もとの前景色が残っていない。しかし、統合結果としては太線、細線、うろこの各部分とも統合されており、劣化が生じる前のもとの前景色の部分が抽出されている。この結果から、例えばそれぞれの色領域の色を当該色領域の代表色に置換して限定色化の処理を行ってもよいし、特定の色領域を切り出してもよく、それぞれ後段の処理において利用すればよい。
【0092】
なお、この本発明の第2の実施の形態においても、上述の本発明の第1の実施の形態における第1の変形例として説明した特徴抽出部15を設け、上述の前景特徴ベクトル、前景特徴ベクトルの算出の際に用いた面積、接続長などの特徴以外の種々の特徴量を抽出し、統合判定部12による統合の判定の際に用いるように構成してもよい。また、上述の本発明の第1の実施の形態における第2の変形例として説明した色境界抽出部16を設け、領域統合部13による統合の際に、色境界をまたがないように領域の統合を行う構成としてもよい。もちろん、両者を兼ね備える構成であってもよい。
【0093】
図13は、本発明の各実施の形態およびその変形例で説明した機能をコンピュータプログラムで実現した場合におけるコンピュータプログラム及びそのコンピュータプログラムを格納した記憶媒体とコンピュータの一例の説明図である。図中、41はプログラム、42はコンピュータ、51は光磁気ディスク、52は光ディスク、53は磁気ディスク、54はメモリ、61はCPU、62は内部メモリ、63は読取部、64はハードディスク、65はインタフェース、66は通信部である。
【0094】
上述の本発明の各実施の形態及びその変形例で説明した各部の機能を全部あるいは部分的に、コンピュータが実行するプログラム41によって実現してもよい。その場合、そのプログラム41およびそのプログラムが用いるデータなどは、コンピュータが読み取る記憶媒体に記憶させておけばよい。記憶媒体とは、コンピュータのハードウェア資源に備えられている読取部63に対して、プログラムの記述内容に応じて、磁気、光、電気等のエネルギーの変化状態を引き起こして、それに対応する信号の形式で、読取部63にプログラムの記述内容を伝達するものである。例えば、光磁気ディスク51、光ディスク52(CDやDVDなどを含む)、磁気ディスク53、メモリ54(ICカード、メモリカード、フラッシュメモリなどを含む)等である。もちろんこれらの記憶媒体は、可搬型に限られるものではない。
【0095】
これらの記憶媒体にプログラム41を格納しておき、例えばコンピュータ42の読取部63あるいはインタフェース65にこれらの記憶媒体を装着することによって、コンピュータからプログラム41を読み出し、内部メモリ62またはハードディスク64(磁気ディスクやシリコンディスクなどを含む)に記憶し、CPU61によってプログラム41を実行することによって、上述の本発明の各実施の形態及びその変形例として説明した機能が全部あるいは部分的に実現される。あるいは、通信路を介してプログラム41をコンピュータ42に転送し、コンピュータ42では通信部66でプログラム41を受信して内部メモリ62またはハードディスク64に記憶し、CPU61によってプログラム41を実行することによって実現してもよい。
【0096】
コンピュータ42には、このほかインタフェース65を介して様々な装置と接続してもよい。処理後の領域抽出結果は、他のプログラムに渡してもよいし、ハードディスク64に記憶させ、またはインタフェース65を介して記憶媒体に記憶させ、あるいは通信部66を通じて外部へ転送してもよい。もちろん、部分的にハードウェアによって構成することもできるし、全部をハードウェアで構成してもよい。あるいは、他の構成とともに本発明の各実施の形態及びその変形例で説明した機能の全部あるいは部分的に含めたプログラムとして構成してもよい。もちろん、他の用途に適用する場合には、その用途におけるプログラムと一体化してもよい。
【符号の説明】
【0097】
11…前景特徴量算出部、12…統合判定部、13…領域統合部、14…終了判断部、15…特徴抽出部、16…色境界抽出部、41…プログラム、42…コンピュータ、51…光磁気ディスク、52…光ディスク、53…磁気ディスク、54…メモリ、61…CPU、62…内部メモリ、63…読取部、64…ハードディスク、65…インタフェース、66…通信部。
【技術分野】
【0001】
本発明は、画像処理装置および画像処理プログラムに関するものである。
【背景技術】
【0002】
カラー画像を限定色化する場合や色領域分割する場合などの処理では、ある色範囲にまとまる色の領域を抽出して、その領域の色を代表する色に置換し、あるいはそのような色領域に分割することが行われる。このような処理を行う際に、ある色がもともと使用されていたひとまとまりの領域については、1つの領域として抽出されることが望まれるが、部分的に異なる色の領域として抽出されてしまう場合がある。
【0003】
例えば画像読取装置で読み取った画像では、読取誤差によって色境界には原画像に存在しない色が生じている場合がある。また、離散コサイン変換や離散フーリエ変換などのブロック毎に周波数変換して量子化する方法を用いた符号化方式や圧縮方式を用いて符号化すると高周波成分が失われ、色境界部分で隣接する色の影響を受けた部分が生じることがある。平滑化処理を行った場合にも、色境界部分で隣接する色の影響を受けることがある。これらの一例として、白地に描かれた黒の細線の色は、もともと使用されていた黒よりも薄くなってしまう。さらに、ハイパスフィルタ処理を施した画像では、細線と太線の連結部分で色の違いが生じることがある。
【0004】
これらの劣化が生じている画像から色領域の抽出を行うと、劣化した部分から本来は存在していなかった色の領域が抽出されることがある。この場合、劣化した部分から抽出された領域が別の色領域として分割され、あるいはその領域が本来使用されていなかった色に置換されることになる。
【0005】
例えば特許文献1は連結成分を抽出する方法に関するものであるが、上述のような劣化が生じる色境界を除外して、連結成分の抽出を行っている。この場合、例えば細線や文字の細線部分などは色境界となって除外され、色領域として抽出されることはなく、あるいはそれらが部分的に欠如した連結結果が得られることになる。
【先行技術文献】
【特許文献】
【0006】
【特許文献1】特開2004−102807号公報
【発明の概要】
【発明が解決しようとする課題】
【0007】
本発明は、色の劣化が生じた画像からでも、もともとの色領域を正確に抽出することができる画像処理装置および画像処理プログラムを提供することを目的とするものである。
【課題を解決するための手段】
【0008】
本願請求項1に記載の発明は、それぞれの画素を対象画素として該対象画素を含む予め決められた範囲の画素の色に対する前記対象画素の色の違いを示す特徴ベクトルを前景特徴ベクトルとして算出する算出手段と、統合対象の二つの画素または領域についての前記前景特徴ベクトルの類似度に従って統合の可否を判定する判定手段と、前記判定手段で統合すると判定された二つの画素または領域を統合する統合手段を有することを特徴とする画像処理装置である。
【0009】
本願請求項2に記載の発明は、本願請求項1に記載の発明における前記算出手段が、前記予め決められた範囲の画素の色の平均色から前記対象画素の色への色空間におけるベクトルを前記前景特徴ベクトルとして算出することを特徴とする画像処理装置である。
【0010】
本願請求項3に記載の発明は、本願請求項2に記載の発明における前記算出手段が、色境界から予め定めた範囲の画素を有効領域として、該有効領域の画素について前記前景特徴ベクトルを算出することを特徴とする画像処理装置である。
【0011】
本願請求項4に記載の発明は、本願請求項2に記載の発明における前記算出手段が、統合対象の色の境界から予め定めた範囲の画素を有効領域として、該有効領域の画素について前記前景特徴ベクトルを算出することを特徴とする画像処理装置である。
【0012】
本願請求項5に記載の発明は、本願請求項1から請求項4のいずれか1項に記載の発明における前記算出手段が、前記対象領域の各画素における統合前の前記前景特徴ベクトルが予め設定されている範囲に収まっていない場合には前記判定手段に通知し、判定手段では、前記色差ベクトルが予め設定されている範囲に収まっていない画素または領域の組み合わせについては統合しないと判定することを特徴とする画像処理装置である。
【0013】
本願請求項6に記載の発明は、本願請求項1から請求項5のいずれか1項に記載の発明における前記統合手段が、二つの画素または領域を統合する際に、両者の前記前景特徴ベクトルを用いて統合した領域の前景特徴ベクトルを算出することを特徴とする画像処理装置である。
【0014】
本願請求項7に記載の発明は、本願請求項1に記載の発明における前記算出手段が、前記対象画素または画素が統合された対象領域に隣接する画素または領域を周辺画素または周辺領域としてそれぞれの周辺画素または周辺領域の色から前記対象画素または前記対象領域の色への色空間における色差ベクトルの平均を前記前景特徴ベクトルとして算出することを特徴とする画像処理装置である。
【0015】
本願請求項8に記載の発明は、本願請求項7に記載の発明における前記算出手段が、前記対象画素または前記対象領域と前記周辺画素または前記周辺領域との接続長をさらに用いて前記色差ベクトルの平均を算出し、前記前景特徴ベクトルとすることを特徴とする画像処理装置である。
【0016】
本願請求項9に記載の発明は、本願請求項7または請求項8に記載の発明における前記算出手段が、前記色差ベクトルが予め設定されている範囲に収まっていない場合には前記判定手段に通知し、判定手段では、前記色差ベクトルが予め設定されている範囲に収まっていない画素または領域の組み合わせについては統合しないと判定することを特徴とする画像処理装置である。
【0017】
本願請求項10に記載の発明は、本願請求項1から請求項9のいずれか1項に記載の発明の構成に、さらに、色境界を抽出する抽出手段を有し、前記判定手段が、前記抽出手段で抽出された色境界を跨がない二つの画素または領域を統合対象とすることを特徴とする画像処理装置である。
【0018】
本願請求項11に記載の発明は、コンピュータに、請求項1から請求項10のいずれか1項に記載の画像処理装置の機能を実行させるものであることを特徴とする画像処理プログラムである。
【発明の効果】
【0019】
本願請求項1に記載の発明によれば、本構成を有しない場合に比べ、色の劣化が生じた画像からでも、もともとの色領域を正確に抽出することができるという効果がある。
【0020】
本願請求項2に記載の発明によれば、対象画素における色について背景色からの色の違いの傾向を抽出することができる。
【0021】
本願請求項3に記載の発明によれば、本構成を有しない場合に比べ、より正確に背景色からの色の違いの傾向を抽出して色領域の統合を行うことができる。
【0022】
本願請求項4に記載の発明によれば、本構成を有しない場合に比べ、より正確に色境界における背景色からの色の違いの傾向を抽出して色領域の統合を行うことができる。
【0023】
本願請求項5に記載の発明によれば、本構成を有しない場合に比べ、より正確に周辺画素との色の違いの傾向を抽出して色領域の統合を行うことができる。
【0024】
本願請求項6に記載の発明によれば、本構成を有しない場合に比べ、統合された領域における劣化した色の影響を抑えることができる。
【0025】
本願請求項7に記載の発明によれば、対象画素または対象領域における色について周辺画素または周辺領域の色からの色の違いの傾向を抽出することができる。
【0026】
本願請求項8に記載の発明によれば、対象画素または対象領域の状態を考慮して対象画素と周辺画素の色の違いの傾向を抽出することができる。
【0027】
本願請求項9に記載の発明によれば、本構成を有しない場合に比べ、より正確に周辺画素との色の違いの傾向を抽出して色領域の統合を行うことができる。
【0028】
本願請求項10に記載の発明によれば、色境界を跨いだ統合を防止することができる。
【0029】
本願請求項11に記載の発明によれば、本願請求項1から請求項10のいずれか1項に記載の発明の効果を得ることができる。
【図面の簡単な説明】
【0030】
【図1】本発明の第1の実施の形態を示す構成図である。
【図2】本発明の第1の実施の形態における動作の一例を示す流れ図である。
【図3】本発明の第1の実施の形態における動作の具体例の説明図である。
【図4】本発明の第1の実施の形態における第1の変形例を示す構成図である。
【図5】包括度の一例の説明図である。
【図6】本発明の第1の実施の形態における第2の変形例を示す構成図である。
【図7】本発明の第1の実施の形態における第2の変形例の具体例の説明図である。
【図8】本発明の第1の実施の形態における第3の変形例を示す構成図である。
【図9】本発明の第1の実施の形態における第3の変形例の具体例の説明図である。
【図10】本発明の第2の実施の形態を示す構成図である。
【図11】本発明の第2の実施の形態における動作の一例を示す流れ図である。
【図12】本発明の第2の実施の形態における動作の具体例の説明図である。
【図13】本発明の各実施の形態およびその変形例で説明した機能をコンピュータプログラムで実現した場合におけるコンピュータプログラム及びそのコンピュータプログラムを格納した記憶媒体とコンピュータの一例の説明図である。
【発明を実施するための形態】
【0031】
図1は、本発明の第1の実施の形態を示す構成図である。図中、11は前景特徴量算出部、12は統合判定部、13は領域統合部、14は終了判断部である。前景特徴量算出部11は、それぞれの画素を対象画素として、その対象画素を含む予め決められた範囲の画素の色に対する対象画素の色の違いを示す特徴ベクトルを前景特徴ベクトルとして算出する。ここでは、予め決められた範囲の画素の色の平均色から対象画素の色への色空間におけるベクトルを前景特徴ベクトルとして算出する。平均色を算出する際の画像上の範囲の大きさは、劣化が生じている背景以外の画素を対象画素とした場合に、平均色として背景色が得られる大きさであるとよい。
【0032】
統合判定部12は、統合対象の二つの画素または領域についての前景特徴ベクトルの類似度に従って、統合の可否を判定する。統合対象とする二つの画素または領域は、画像上で隣接している画素または領域(画素同士、複数の画素を含む領域同士、領域と画素)の組み合わせである。その組み合わせのそれぞれについて、統合の可否を判定すればよい。前景特徴ベクトルから類似度を算出するには種々の方法があるが、例えば前景特徴ベクトルは長さと方向を有しているので、前景特徴ベクトルの長さと方向に基づく関数などにより類似度を算出すればよい。もちろん、他の方法であってもよい。得られた類似度を予め設定されている値と比較し、統合の可否を判定すればよい。なお、統合の可否を判定する際には、前景特徴ベクトル以外の特徴量、例えば、領域の太さや幅や長さ、領域や画素の色、位置関係、包括度、面積なども用いて判定してもよい。
【0033】
領域統合部13は、統合判定部12で統合すると判定された二つの画素または領域を1つの領域に統合する。統合する際には、両者の前景特徴ベクトルを用いて統合した領域の前景特徴ベクトルを算出する。例えば画素数により重み付けした平均のベクトルを算出し、新たな前景特徴ベクトルとすればよい。あるいは、統合するいずれかの前景特徴ベクトルを選択して統合後の前景特徴ベクトルとしてもよい。例えば統合する二つの領域のうち画素数の多い方の領域の前景特徴ベクトルを選択してもよい。
【0034】
終了判断部14は、統合処理が終了したか否かを判定する。例えば、領域統合部13で統合した画素または領域が存在しなかった場合に終了と判定すればよい。あるいは、存在する画素または領域の数が予め設定しておいた数以下となったか否かを終了判定の条件としてもよい。もちろん、このほかにも種々の終了条件を設定し、その終了条件により処理の終了を判定してもよい。終了でないと判定される場合には、統合判定部12に戻り、領域統合部13で統合後の領域や画素について統合の可否および統合の処理を繰り返す。終了条件が満たされると、色領域の分離結果を出力する。
【0035】
図2は、本発明の第1の実施の形態における動作の一例を示す流れ図である。S21において、前景特徴量算出部11は、それぞれの画素を対象画素として、その対象画素を含む予め決められた範囲の画素の色に対する対象画素の色の違いを示す特徴ベクトルを前景特徴ベクトルとして算出する。例えば、予め決められた範囲の画素の色の平均色から対象画素の色への色空間におけるベクトルを前景特徴ベクトルとして算出する。
【0036】
S22において、統合判定部12は、統合対象の二つの画素または領域についての前景特徴ベクトルの類似度に従って、統合の可否を判定する。初回は隣接する二つの画素の組み合わせのそれぞれについて、二つの前景特徴ベクトルから類似度を求めて統合の可否を判定する。例えば、二つの前景特徴ベクトルのなす角度θおよび長さの差分Δを用い、類似度を示す評価関数をFとし、
F(θ,Δ)=α・θ+β・Δ
により類似度を求める。この式におけるα,βは定数であり、予め設定しておけばよい。二つの前景特徴ベクトルのなす角度が小さいほど、また長さの差が小さいほど、二つの画素の色が類似していることを示しており、この評価関数Fの値は小さくなる。求めた類似度が予め決めておいた閾値以下であれば、統合すると判定すればよい。もちろん、統合の可否は上述の評価関数Fに限られないことは言うまでもない。
【0037】
S23において、領域統合部13は、統合判定部12で統合すると判定された二つの画素または領域を1つの領域に統合する。統合する際には、両者の前景特徴ベクトルを用いて統合した領域の前景特徴ベクトルを算出しておく。例えば画素数により重み付けした平均のベクトルを算出し、新たな前景特徴ベクトルとすればよい。
【0038】
S24において、終了判断部14は、統合処理が終了したか否かを判定する。例えば、統合判定部12で統合すると判定された統合対象の組み合わせが存在せず、領域統合部13で統合した画素または領域が存在しなかったことを終了条件とし、この終了条件を満たさなかった場合にはS22へ戻って処理を繰り返す。
【0039】
二回目以降のS22における統合判定部12の処理では、領域統合部13によって統合された領域が存在するので、統合対象となるのは隣接する画素と画素、画素と領域、領域と領域の組み合わせとなる。統合された領域については領域統合部13で前景特徴ベクトルが更新されているので、この更新された前景特徴ベクトルを用いて統合の可否を判定する。
【0040】
統合すると判定された画素と画素、画素と領域、領域と領域の組み合わせについては、S23における領域統合部13の処理によって統合され、前景特徴ベクトルが更新される。
【0041】
S24において終了判断部14が終了条件を満たすか否かを判断し、終了条件を満たさなければ再びS22へ戻って統合の判定と統合の処理を繰り返して行う。終了条件を満たすと判断されれば、この処理を終了してそれまでの統合結果を出力する。
【0042】
図3は、本発明の第1の実施の形態における動作の具体例の説明図である。図3(A)には、処理対象の画像の部分を示している。この例では、白地に、ある色(前景色と呼ぶことにする)で細線とその終端部に文字の明朝体で用いるうろこ(セリフ)が存在している。この例では、種々の劣化要因によって、細線の部分は背景の白の影響を受けて元の前景色よりも薄くなっている。また、うろこの部分は、背景との境界部分では背景の白の影響を受けているが、内部は元の前景色が再現されている。なお、図示の都合上、色の違いを斜線の違いとして示している。
【0043】
図2のS21において、前景特徴量算出部11は、それぞれの画素における前景特徴ベクトルを算出する。例えば図3(A)に破線で示す大きさの範囲を、それぞれの画素を中心として設定し、その範囲の画素の色の平均色を求めると、背景色の画素の数がそのほかの色の画素数よりも多いことから、いずれの画素についても平均色は背景色あるいは背景色から色づいた程度の色となる。前景特徴ベクトルは、このような平均色を始点とし、各画素の色を終点とする色空間におけるベクトルとする。
【0044】
このようにして得られた前景特徴ベクトルの一例を図3(B)に示している。図3(B)は、色空間において、ある色相における明度−彩度平面を示している。細線の部分のある画素において得られた前景特徴ベクトルの例と、うろこの内部のある画素において得られた前景特徴ベクトルの例を示している。細線の画素における前景特徴ベクトルとうろこの内部の画素における前景特徴ベクトルとでは、長さは異なるものの、方向はある範囲にまとまっている。なお、背景色の画素についても、平均色から各画素の背景色へのベクトルが前景特徴ベクトルとなるが、これらの前景特徴ベクトルは図3(B)に示す前景特徴ベクトルとは長さ、方向とも異なる。
【0045】
図2のS22における統合判定部12による統合の判定処理では、隣接する画素の組み合わせにより統合を判定すると、細線の部分では前景特徴ベクトルが類似していることから統合すると判定される。また、うろこの内部についても前景特徴ベクトルが類似しており、統合すると判定される。うろこの背景との境界部分では、うろこの内部の画素と隣接しており、うろこの内部の画素との統合の判定を行うことになる。これらの画素の組み合わせでは前景特徴ベクトルは図3(B)に示す関係にあり、前景ベクトルのなす角度はある範囲内となることから、ここでは類似しており統合すると判定するものとしている。
【0046】
図2のS23において領域統合部13は統合判定部12の判定結果に従って統合処理を行う。例えば図3(C)に示すように、細線の部分の画素は統合され、うろこの部分は背景との境界部分の画素と内部の画素が統合されている。なお、背景についても、背景の画素は背景の領域として統合されることになる。統合の際には、統合後の領域の前景特徴ベクトルを得ておく。例えば前景特徴ベクトルに画素数により重み付けした平均のベクトルを算出し、新たな前景特徴ベクトルとすればよい。細線の部分は図3(B)において細線の前景特徴ベクトルとして例示したベクトルに類似した前景特徴ベクトルの平均のベクトルが新たな前景特徴ベクトルとなる。うろこの部分は、図3(B)においてうろこ内部の前景特徴ベクトルとして例示したベクトルから細線の前景特徴ベクトルとして例示したベクトルに平均化した分だけ近づく。あるいはうろこの内部の前景特徴ベクトルを選択して統合後の前景特徴ベクトルとしてもよい。図3(D)に統合した前景特徴ベクトルの一例を示す。
【0047】
再び図2のS22に戻って、統合判定部12による各領域の組み合わせについて統合の判定を行う。細線の領域とうろこの領域とを統合対象として判定すると、図3(D)に示す両者の前景特徴ベクトルがなす角度は、ある範囲内となっており類似しているとして統合すると判定される。このほかの細線と背景、うろこと背景は前景特徴ベクトルが類似していないので統合しないと判定される。
【0048】
この判定結果を受けて、図2のS23で領域統合部13は細線の領域とうろこの領域とを統合する。これにより図3(E)に示すような統合結果が得られる。前景特徴ベクトルを更新して図2のS22へ戻り、統合判定部12によって背景の領域と細線およびうろこの領域との統合判定を行うが、統合しないと判定されて、S24における終了判断部14が統合が生じなかったことで終了条件を満たすとして判断し、処理を終了して図3(E)に示す統合結果が出力されることになる。
【0049】
図3(A)に示した画像には細線の部分やうろこの背景との境界部分に劣化が生じ、前景色が変化しているが、図3(E)に示すように、もともとの前景色の領域が抽出されている。この結果から、例えばそれぞれの色領域の色を当該色領域の代表色に置換して限定色化の処理を行ってもよいし、特定の色領域を切り出してもよく、それぞれ後段の処理において利用すればよい。
【0050】
図4は、本発明の第1の実施の形態における第1の変形例を示す構成図である。図中、15は特徴抽出部である。特徴抽出部15は、統合対象の二つの領域または画素について、前景特徴量算出部11で算出する前景特徴ベクトル以外の種々の特徴量を抽出する。抽出する特徴量としては、例えば、領域の太さや幅や長さ、領域や画素の色、位置関係、包括度、面積などがあり、もちろんこのほかの特徴量であってもよい。
【0051】
例えば抽出する特徴量として太さを抽出する場合には、統合対象となった領域の内側に接する最大の内接円の直径(画素数)を求めればよい。例えば統合対象が画素であれば、太さを1とすればよい。
【0052】
統合判定部12では、統合対象の前景特徴ベクトルとともに、特徴抽出部15で抽出した太さを用いて類似度を算出し、統合の可否を判定すればよい。具体例として、二つの前景特徴ベクトルのなす角度をθ、それぞれの前景特徴ベクトルの長さをD1,D2、それぞれの統合対象の太さをd1,d2とし、fを増加関数として、
類似度=α・θ+β・|Δ|
Δ=D1/f(d1)−D2/f(d2)
などとして類似度を求めればよい。なお、α、βは正の定数であり、予め与えておけばよい。得られた類似度の値が小さいほど類似していることを示している。類似度が予め決められた閾値より小さい場合に、統合すると判定すればよい。
【0053】
この例の場合、例えば図3に示す例では細線の部分の太さd1はうろこの部分の太さd2に比べて太さの値が小さく、d1<d2である。細線の部分における前景特徴ベクトルの長さD1とうろこの部分における前景特徴ベクトルの長さD2とはD1<D2であるが、長さと太さの比率であるD1/f(d1)、D2/f(d2)の値としては類似した値となる。両者の前景特徴ベクトルの方向も類似していることから、上述の式により求めた類似度から両者は類似していることを示すことになる。この例の細線とうろこのように形状が相違し、前景特徴ベクトルの長さが相違する場合でも統合される確率が太さを用いない場合に比べて高くなる。
【0054】
また、例えば抽出する特徴量として、色差、位置関係、包括度、面積を用いる場合には、前景特徴ベクトルから得られる類似度とともにこれらの特徴量を用いた線形関数により類似度を求めるとよい。例えば、前景特徴ベクトルから得られる特徴量を上述のF(θ,Δ)とし、統合対象の色差をG、統合対象の位置関係をH、統合対象のそれぞれの包括度をc1,c2、統合対象のそれぞれの面積をs1,s2とした場合に、
類似度=F(θ,Δ)+γ・G+δ・H−ε・I(c1,c2)+ζ・J(s1,s2)
などとして類似度を求めればよい。なお、γ、δ、ε、ζは正の定数であり、予め与えておけばよい。また、関数Iおよび関数Jは増加関数である。得られた類似度の値が小さいほど類似していることを示しており、類似度の値が予め決められた閾値より小さい場合に、統合すると判定すればよい。
【0055】
ここで、統合対象の色差Gは、統合対象のそれぞれの色の色空間におけるユークリッド距離である。ユークリッド距離が小さいほど類似した色であることを示し、類似度の値は小さくなる。
【0056】
また、統合対象の位置関係Hとしては、統合対象のそれぞれの領域または画素の重心位置の距離/面積和、面積和/隣接部分の長さなどを用いるとよい。統合により領域が大きくなると他の統合対象との重心位置の距離は大きくなるが、面積和によって正規化して類似度に反映している。面積和/隣接部分の長さについては、統合により面積が増加するとその周囲の長さも長くなることから、周囲のどの程度の部分で接しているのかを示すことになる。隣接部分の長さが長いほど類似度の値は小さくなる。
【0057】
包括度c1,c2については、統合対象のそれぞれについて、外接矩形の重なり面積比率を包括度とすればよい。図5は、包括度の一例の説明図である。統合対象のそれぞれの外接矩形を外接矩形1、外接矩形2として示している。外接矩形1については外接矩形2と重なっている面積と重なっていない面積が1:1であるものとしている。この場合、包括度は1/2とすればよい。また、外接矩形2については外接矩形1と重なっている面積と重なっていない面積が2:1であるものとしている。この場合の包括度は2/3とすればよい。包括度が大きいほど両者は関係が強いことを示している。これらの包括度をまとめる増加関数Iを用い、包括度が大きいほど大きな値となるようにしている。類似度に対しては負の項としており、包括度が大きいほど類似度の値が小さくなるようにしている。
【0058】
面積s1,s2については、統合対象のそれぞれの領域の面積(画素数)であり、増加関数Jは、例えば和を求めるなど、種々の関数でよい。面積が小さいほど類似度の値は小さくなり、他の領域や画素と統合されやすくなる。例えば細部の劣化している部分が隣接する領域に統合されるようにしている。
【0059】
なお、上述の太さと組み合わせてもよいことは言うまでもない。また、これらの特徴量のいくつかを選択して用い、あるいはこのほかの種々の特徴量とともに用いて類似度を求めてもよい。このような特徴量を用い、算出される類似度を用いて統合対象についての統合の可否を判定すればよい。
【0060】
図6は、本発明の第1の実施の形態における第2の変形例を示す構成図である。図中、16は色境界抽出部である。前景特徴量算出部11で求める前景特徴ベクトルは、予め決められた範囲の画素の平均色から対象画素の色への色空間におけるベクトルとして求めた。そのため、予め決められた範囲に背景色以外の画素が多くなるほど、平均色として背景色が得られなくなり、前景特徴ベクトルとして背景色から対象画素へのベクトルが得られなくなる。この第2の変形例では、このような場合に対応する例を示している。
【0061】
色境界抽出部16は、画像中の色の違いを検出し、その色の違いの境界を色境界として抽出する。色境界を抽出する方法としては種々の方法が知られており、そのいずれの方法を用いてもよい。
【0062】
前景特徴量算出部11は、色境界抽出部16で抽出した色境界から予め定めた範囲の画素を有効領域として、その有効領域の画素について前景特徴ベクトルを算出する。また統合判定部12は、有効領域における統合対象の二つの画素または領域について、前景特徴ベクトルの類似度に従って統合の可否を判定する。この判定については上述したとおりである。有効領域以外の領域(無効領域)における統合対象の二つの画素または領域、あるいは無効領域の画素または領域と有効領域の画素または領域が統合対象である場合には従来より用いられている方法により統合の可否を判定すればよく、例えば、色差が予め設定されている範囲内であれば統合する、範囲外であれば統合しない、と判定すればよい。さらに、領域統合部13は統合判定部12で統合すると判定された二つの画素または領域を1つの領域に統合するが、統合対象の画素または領域が両者とも有効領域の画素または領域の場合に、両者の前景特徴ベクトルを用いて統合した領域の前景特徴ベクトルを算出する。
【0063】
図6に示した本発明の第1の実施の形態における第2の変形例では、さらに、色境界抽出部16による色境界の抽出結果を、領域統合部13でも用いる。領域統合部13では、統合対象について統合する際に、色境界抽出部16で抽出した色境界を跨いだ統合を行わないようにしている。これにより、過統合が防止される。
【0064】
図7は、本発明の第1の実施の形態における第2の変形例の具体例の説明図である。図7(A)に示した例では、白地に、前景色で矩形が描かれている。この矩形と背景との色境界において、前景色が劣化により変化しており、その状態を図示の都合上、斜線の違いにより示している。
【0065】
破線は、平均色を算出するために予め決められた範囲の一例を示している。この例の場合、破線の範囲には背景色の画素よりも前景色の画素が多く含まれているため、平均色は背景色よりも前景色に近くなる。そのため、前景色内部の画素で得られた前景特徴ベクトルは、色境界部分の画素において得られる前景特徴ベクトルとは方向、長さとも異なったものとなる。
【0066】
この第2の変形例では、色境界抽出部16で抽出された色境界から予め定めた範囲を有効領域とする。この有効領域を図7(B)に斜線を付し、有効領域と示している。有効領域以外は無効領域とする。この有効領域は、色境界からの影響を受けた画素とともに、影響を受けていない画素までが含まれているとよい。有効領域の画素では、前景特徴ベクトルを得る際の平均色として背景色の影響を受けた色が算出されており、上述の前景特徴ベクトルを用いた統合処理が行われることになる。
【0067】
なお、無効領域については従来より用いられている方法、例えば色差が予め設定されている範囲内であるか否かにより統合の可否を判定し、統合すると判定した画素または領域を統合してゆけばよい。
【0068】
上述の説明では、無効領域については前景特徴ベクトルを用いない方法により統合処理を行うものとしているが、例えば無効領域の画素については有効領域と接する画素から有効領域の前景特徴ベクトルをそのまま複写して、無効領域の画素についても前景特徴ベクトルを設定しておき、あるいは、有効領域によって分断される領域ごとに統合された領域として予め前景特徴ベクトルを設定しておいて、無効領域についても前景特徴ベクトルを用いた統合処理を行うようにしてもよい。
【0069】
図8は、本発明の第1の実施の形態における第3の変形例を示す構成図である。統合された領域が種々の色の領域と接している場合、その領域の前景特徴ベクトルは、その領域が接している種々の色の影響を受けている。そのため、当該領域の色と類似する別の領域との統合を判定する際に、誤った判定が行われる場合がある。
【0070】
この第3の変形例では、統合判定部12が二つの領域の統合を判定する際に、前景特徴量算出部11に対して、当該領域の接している色の境界から予め定めた範囲の画素を有効領域として、その有効領域の画素について前景特徴ベクトルを算出し直し、あるいは、最初に算出した前景特徴ベクトルを保持しておいてその前景特徴ベクトルを読み出して、統合判定部12に渡す。統合判定部12では、前景特徴量算出部11から渡された有効領域の前景特徴ベクトルを用いて、統合の可否を判断する。
【0071】
図9は、本発明の第1の実施の形態における第3の変形例の具体例の説明図である。図9に示した例では、ある背景色に、色が異なる3つの図形が描かれている。統合の処理が進み、図中の領域Aと背景部分とが統合対象として選択されているものとする。背景部分は色が異なる3つの図形と接していることから、前景特徴ベクトルはこれらの図形の色の影響を受けている。また、領域Aの前景特徴ベクトルは1色の図形の影響を受けている。従って、そのまま領域Aと背景部分との統合を判定すると、統合しないと判定される場合もある。
【0072】
このような場合に、両者の境界から図中に破線で示した予め定めた範囲を有効領域とし、前景特徴量算出部11から前景特徴ベクトルを取得する。これにより、領域Aと背景領域とも、1色の図形の影響を受けた前景特徴ベクトルに統一され、この前景特徴ベクトルを用いて統合の判定を行うことになる。例えば図9に示した例のように、他の図形に入り込んだ領域についても、本来の領域と統合されることになる。
【0073】
この第3の変形例における有効領域の設定は、いずれの領域同士の統合の際に行うほか、例えば少なくとも一方の領域の大きさが予め決められた大きさ(例えば画素数)以上である場合に、その予め決められた大きさ以上の領域に有効領域を設定してもよい。
【0074】
または、領域内のそれぞれの画素について求めた前景特徴ベクトルが予め決められた範囲に収まっているか否かを判定し、予め決められた範囲に収まっていない場合に、上述の有効領域を設定してもよい。例えば図9に示した例では背景部分に統合された画素でも、3つのそれぞれの図形と接する領域ではそれぞれの図形の色の影響を受けており、前景特徴ベクトルもそれぞれの図形の影響を受けていることになる。そのため、背景部分に統合されてはいるものの、統合前のもとの前景特徴ベクトルは統合後の領域の前景特徴ベクトルとズレが生じており、そのズレは、どの色の図形の影響を受けているかによって異なってくる。このようなズレによる前景特徴ベクトルのばらつきを考慮し、前景特徴ベクトルが予め決められた範囲に収まっているか否かを判定し、予め決められた範囲に収まっていない場合には、当該領域は各種の色の影響を受けた画素の集合であることが考えられるので、上述の有効領域を設定して誤判定を防ぐとよい。予め決められた範囲に収まっていれば、種々の色の影響は考慮しなくてよいものとして、有効領域の設定や有効領域の前景特徴ベクトルの再算出などを行わずに、当該領域の前景特徴ベクトルを用いて統合の判断と統合の処理を行えばよい。なお、領域内のそれぞれの画素における前景特徴ベクトルは、統合処理の前に、最初に算出した前景特徴ベクトルを保持しておいて、その前景特徴ベクトルを読み出して使用すればよい。
【0075】
あるいは、領域内のそれぞれの画素について求めた前景特徴ベクトルが予め決められた範囲に収まっているか否かを判定し、予め決められた範囲に収まっていない場合に、前景特徴ベクトルを用いた統合の判定や統合を行わないとしてもよい。上述したように、領域内の各画素について予め求めた前景特徴ベクトルがばらついている場合には、種々の色の影響を受けていることを示している。そのため、当該領域の前景特徴ベクトルは正確に求められたものではないものとして、前景特徴ベクトルを用いた統合の判定や統合の処理を行わず、例えば、色差が予め設定されている範囲内であれば統合する、範囲外であれば統合しないなど、従来より用いられている方法により統合の可否を判定し、統合の処理を行えばよい。この場合も、領域内のそれぞれの画素における前景特徴ベクトルは、統合処理の前に、最初に算出した前景特徴ベクトルを保持しておいて、その前景特徴ベクトルを読み出して使用すればよい。
【0076】
また、予め決められた大きさ(例えば画素数)以上の領域については、種々の色の影響を受けている場合があることから、当該領域の前景特徴ベクトルを用いた統合の判定や統合の処理を行わず、例えば色差を用いた統合の判定と統合の処理など、従来より用いられている方法を使用して統合の判定、統合処理を行ってもよい。
【0077】
図10は、本発明の第2の実施の形態を示す構成図である。この第2の実施の形態では前景特徴ベクトルとしてどのようなベクトルを算出するかという点で上述の第1の実施の形態と異なっている。上述の第1の実施の形態と異なる部分について主に説明してゆく。
【0078】
前景特徴量算出部11は、各領域の平均色を算出するとともに、前景特徴ベクトルを算出する。まだ統合されていない画素については、画素の色が平均色である。前景特徴ベクトルは、対象画素または画素が統合された対象領域に隣接する画素または領域を周辺画素または周辺領域として、それぞれの周辺画素または周辺領域の色から対象画素または対象領域の色(平均色)への色空間における色差ベクトルを求め、その色差ベクトルの平均を前景特徴ベクトルとして算出する。前景ベクトルとしては、さらに周辺領域(周辺画素)の面積や、対象領域(対象画素)と周辺領域(周辺画素)との接続長などを用いて算出してもよい。例えば、
前景特徴ベクトル=(色差ベクトル・面積・接続長)の平均
により前景特徴ベクトルを算出してもよい。周辺領域の大きさや、周辺画素または周辺領域とどの程度接しているか等に応じて色差ベクトルを変更し、変更後の色差ベクトルの平均により前景特徴ベクトルが得られる。なお、色差ベクトルがばらついており、予め設定されている範囲に収まっていない場合には、その旨を統合判定部12に通知する。
【0079】
統合判定部12では、前景特徴量算出部11で算出した前景特徴ベクトルを用いて、二つの統合対象の画素または領域について、統合するか否かを判定する。判定の際に、前景特徴量算出部11から色差ベクトルが予め設定されている範囲に収まっていない画素または領域の組み合わせであることが通知されている場合には、統合しないと判定する。
【0080】
なお、この第2の実施の形態では、領域統合部13では前景特徴ベクトルの更新は行わない。領域統合部13で統合の処理を行い、終了判断部14でさらに処理を繰り返すことを判断した場合には、前景特徴量算出部11へ戻って処理を繰り返す。
【0081】
図11は、本発明の第2の実施の形態における動作の一例を示す流れ図である。上述の第1の実施の形態における動作の一例と異なる処理について主に説明する。S31において、前景特徴量算出部11は、各領域の平均色を算出するとともに、前景特徴ベクトルを算出する。初回では平均色の算出は不要であり、画素の色が平均色である。前景特徴ベクトルは、それぞれの画素を対象画素とし、対象画素に隣接する画素を周辺画素として、周辺画素から対象画素への色空間における色差ベクトルを求める。初回ではこの色差ベクトルを前景特徴ベクトルとしてもよい。2回目以降では統合の処理によって複数の画素からなる領域が生じている。領域については平均色を算出して当該領域の色としておく。そして、対象画素または対象領域に隣接する画素(周辺画素)や領域(周辺領域)の色から対象画素または対象領域の色(平均色)への色差ベクトルをそれぞれ求める。求めた色差ベクトル、あるいはさらに周辺領域(周辺画素)の面積、周辺領域(周辺画素)との接続長などを考慮したベクトルについて、平均を求めて前景特徴ベクトルを算出すればよい。
【0082】
S22において、統合判定部12は、統合対象の二つの画素または領域についての前景特徴ベクトルの類似度に従って、統合の可否を判定する。判定方法については上述の第1の実施の形態で説明した方法を用いればよい。さらに、S31で前景特徴ベクトルを算出する際に用いた色差ベクトルがばらついており、予め設定されている範囲に収まっていない場合には、その旨を統合判定部12から通知を受けて、統合しないと判定する。
【0083】
S23において、領域統合部13は、統合判定部12で統合すると判定された二つの画素または領域を1つの領域に統合する。統合の処理は上述の第1の実施の形態で説明した通りであるが、前景特徴ベクトルの更新は行わない。
【0084】
S24において、終了判断部14は、統合処理が終了したか否かを判定する。終了判定については、上述の第1の実施の形態で説明した通りである。終了条件を満たさなかった場合には、この第2の実施の形態ではS31へ戻って処理を繰り返す。
【0085】
図12は、本発明の第2の実施の形態における動作の具体例の説明図である。図12(A)には、処理対象の画像の部分を示している。この例では、白地に、ある前景色で細線とその一端側の終端部に文字の明朝体で用いるうろこ(セリフ)が存在し、他端側の終端部は細線よりも太い線(太線と称す)と接続されている。この例では、種々の劣化要因によって、細線の部分と、うろこおよび太線の白地の背景との境界部分では、背景の白の影響を受けて元の前景色よりも薄くなっている。図示の都合上、色の違いを斜線の違いとして示している。
【0086】
図11のS31において、前景特徴量算出部11は、それぞれの画素における前景特徴ベクトルを算出する。なお、初回はそれぞれの画素の色が平均色となる。例えば細線の背景と接する画素では、その画素を中心として図12(B)に示す8方向に隣接する画素の色との色差ベクトルを求め、その平均のベクトルを前景特徴ベクトルとする。図12(B)に示す例では、a,b,cとして示した画素が背景色の画素、d,e,f,g,hが背景色による影響を受けた前景色の画素である。これらの画素との色差ベクトルを平均して前景特徴ベクトルを算出する。なお、うろこ、太線の背景との境界部分の画素では、背景色の画素と、背景の影響を受けた前景色の画素との色差ベクトルの平均、あるいはさらに、背景の影響を受けていない前景色の画素との色差ベクトルの平均が前景特徴ベクトルとなる。うろこ、太線の内部については、前景色の画素との色差ベクトルの平均を前景特徴ベクトルとすることになる。なお、背景についても前景色との境界部分では前景色との色差ベクトルを含む平均を前景特徴ベクトルとすることになる。
【0087】
図11のS22における統合判定部12による統合の判定処理では、隣接する画素の組み合わせにより統合を判定すると、細線の部分や、うろこ、太線の背景との境界部分が統合すると判定され、また、うろこ、太線内部が統合すると判定される。これらは図11のS23において領域統合部13により統合される。なお、図11のS24では終了判断部14が終了条件を満たさないと判断して再び図11のS31に戻る。
【0088】
S31では、前景特徴量算出部11は、統合後の各領域について、平均色を求める。統合されずに画素のままのものは、画素の色を平均色とすればよい。そして、各領域および各画素の前景特徴ベクトルを算出する。図12(C)に示す例では、細線の部分、うろこの部分、太線の部分、背景の部分がそれぞれ統合された状態を示している。これらの部分について、それぞれ平均色を求める。そして、それぞれの部分の前景特徴ベクトルを算出する。例えば細線の部分は、図12(C)に示した状態では、細線はうろこの部分、太線の部分、背景部分との接している。従って、これらの部分との色差ベクトルを求めて平均し、前景特徴ベクトルとする。また太線の部分は、細線と背景部分とに接しているので、それぞれの色差ベクトルを求めて平均し、前景特徴ベクトルとする。さらに、うろこの部分は、細線と背景部分とに接しているので、それぞれの色差ベクトルを求めて平均し、前景特徴ベクトルとする。なお、背景についても、太線の部分、細線の部分、うろこの部分に接しており、それぞれとの色差ベクトルを求めて平均し、前景特徴ベクトルを求めることになる。
【0089】
前景特徴ベクトルを算出したら、S22において、統合判定部12により前景特徴ベクトルの類似度を算出して統合するか否かを判定する。図12(C)に示した状態の場合、太線の部分、細線の部分、うろこの部分の前景特徴ベクトルは類似しており、それぞれ統合すると判定される。背景の部分と太線、細線、うろこの各部分との統合の判定では、前景特徴ベクトルの方向が異なり、統合しないと判定される。
【0090】
この判定結果に従い、S23において領域統合部13により太線の部分と細線の部分とうろこの部分とが統合される。これにより、図12(D)に示す統合結果が得られる。S24からS31へ戻って処理が繰り返され、終了条件を満たすと処理が終了する。例えば図12に示す例では、図12(D)に示した統合結果が出力されることになる。
【0091】
図12(A)に示した画像には細線の部分やうろこの背景との境界部分に劣化が生じ、前景色が変化していた。細線については、もとの前景色が残っていない。しかし、統合結果としては太線、細線、うろこの各部分とも統合されており、劣化が生じる前のもとの前景色の部分が抽出されている。この結果から、例えばそれぞれの色領域の色を当該色領域の代表色に置換して限定色化の処理を行ってもよいし、特定の色領域を切り出してもよく、それぞれ後段の処理において利用すればよい。
【0092】
なお、この本発明の第2の実施の形態においても、上述の本発明の第1の実施の形態における第1の変形例として説明した特徴抽出部15を設け、上述の前景特徴ベクトル、前景特徴ベクトルの算出の際に用いた面積、接続長などの特徴以外の種々の特徴量を抽出し、統合判定部12による統合の判定の際に用いるように構成してもよい。また、上述の本発明の第1の実施の形態における第2の変形例として説明した色境界抽出部16を設け、領域統合部13による統合の際に、色境界をまたがないように領域の統合を行う構成としてもよい。もちろん、両者を兼ね備える構成であってもよい。
【0093】
図13は、本発明の各実施の形態およびその変形例で説明した機能をコンピュータプログラムで実現した場合におけるコンピュータプログラム及びそのコンピュータプログラムを格納した記憶媒体とコンピュータの一例の説明図である。図中、41はプログラム、42はコンピュータ、51は光磁気ディスク、52は光ディスク、53は磁気ディスク、54はメモリ、61はCPU、62は内部メモリ、63は読取部、64はハードディスク、65はインタフェース、66は通信部である。
【0094】
上述の本発明の各実施の形態及びその変形例で説明した各部の機能を全部あるいは部分的に、コンピュータが実行するプログラム41によって実現してもよい。その場合、そのプログラム41およびそのプログラムが用いるデータなどは、コンピュータが読み取る記憶媒体に記憶させておけばよい。記憶媒体とは、コンピュータのハードウェア資源に備えられている読取部63に対して、プログラムの記述内容に応じて、磁気、光、電気等のエネルギーの変化状態を引き起こして、それに対応する信号の形式で、読取部63にプログラムの記述内容を伝達するものである。例えば、光磁気ディスク51、光ディスク52(CDやDVDなどを含む)、磁気ディスク53、メモリ54(ICカード、メモリカード、フラッシュメモリなどを含む)等である。もちろんこれらの記憶媒体は、可搬型に限られるものではない。
【0095】
これらの記憶媒体にプログラム41を格納しておき、例えばコンピュータ42の読取部63あるいはインタフェース65にこれらの記憶媒体を装着することによって、コンピュータからプログラム41を読み出し、内部メモリ62またはハードディスク64(磁気ディスクやシリコンディスクなどを含む)に記憶し、CPU61によってプログラム41を実行することによって、上述の本発明の各実施の形態及びその変形例として説明した機能が全部あるいは部分的に実現される。あるいは、通信路を介してプログラム41をコンピュータ42に転送し、コンピュータ42では通信部66でプログラム41を受信して内部メモリ62またはハードディスク64に記憶し、CPU61によってプログラム41を実行することによって実現してもよい。
【0096】
コンピュータ42には、このほかインタフェース65を介して様々な装置と接続してもよい。処理後の領域抽出結果は、他のプログラムに渡してもよいし、ハードディスク64に記憶させ、またはインタフェース65を介して記憶媒体に記憶させ、あるいは通信部66を通じて外部へ転送してもよい。もちろん、部分的にハードウェアによって構成することもできるし、全部をハードウェアで構成してもよい。あるいは、他の構成とともに本発明の各実施の形態及びその変形例で説明した機能の全部あるいは部分的に含めたプログラムとして構成してもよい。もちろん、他の用途に適用する場合には、その用途におけるプログラムと一体化してもよい。
【符号の説明】
【0097】
11…前景特徴量算出部、12…統合判定部、13…領域統合部、14…終了判断部、15…特徴抽出部、16…色境界抽出部、41…プログラム、42…コンピュータ、51…光磁気ディスク、52…光ディスク、53…磁気ディスク、54…メモリ、61…CPU、62…内部メモリ、63…読取部、64…ハードディスク、65…インタフェース、66…通信部。
【特許請求の範囲】
【請求項1】
それぞれの画素を対象画素として該対象画素を含む予め決められた範囲の画素の色に対する前記対象画素の色の違いを示す特徴ベクトルを前景特徴ベクトルとして算出する算出手段と、統合対象の二つの画素または領域についての前記前景特徴ベクトルの類似度に従って統合の可否を判定する判定手段と、前記判定手段で統合すると判定された二つの画素または領域を統合する統合手段を有することを特徴とする画像処理装置。
【請求項2】
前記算出手段は、前記予め決められた範囲の画素の色の平均色から前記対象画素の色への色空間におけるベクトルを前記前景特徴ベクトルとして算出することを特徴とする請求項1に記載の画像処理装置。
【請求項3】
前記算出手段は、色境界から予め定めた範囲の画素を有効領域として、該有効領域の画素について前記前景特徴ベクトルを算出することを特徴とする請求項2に記載の画像処理装置。
【請求項4】
前記算出手段は、統合対象の色の境界から予め定めた範囲の画素を有効領域として、該有効領域の画素について前記前景特徴ベクトルを算出することを特徴とする請求項2に記載の画像処理装置。
【請求項5】
前記算出手段は、前記対象領域の各画素における統合前の前記前景特徴ベクトルが予め設定されている範囲に収まっていない場合には前記判定手段に通知し、判定手段では、前記色差ベクトルが予め設定されている範囲に収まっていない画素または領域の組み合わせについては統合しないと判定することを特徴とする請求項1から請求項4のいずれか1項に記載の画像処理装置。
【請求項6】
前記統合手段は、二つの画素または領域を統合する際に、両者の前記前景特徴ベクトルを用いて統合した領域の前景特徴ベクトルを算出することを特徴とする請求項1から請求項5のいずれか1項に記載の画像処理装置。
【請求項7】
前記算出手段は、前記対象画素または画素が統合された対象領域に隣接する画素または領域を周辺画素または周辺領域としてそれぞれの周辺画素または周辺領域の色から前記対象画素または前記対象領域の色への色空間における色差ベクトルの平均を前記前景特徴ベクトルとして算出することを特徴とする請求項1に記載の画像処理装置。
【請求項8】
前記算出手段は、前記対象画素または前記対象領域と前記周辺画素または前記周辺領域との接続長をさらに用いて前記色差ベクトルの平均を算出し、前記前景特徴ベクトルとすることを特徴とする請求項7に記載の画像処理装置。
【請求項9】
前記算出手段は、前記色差ベクトルが予め設定されている範囲に収まっていない場合には前記判定手段に通知し、判定手段では、前記色差ベクトルが予め設定されている範囲に収まっていない画素または領域の組み合わせについては統合しないと判定することを特徴とする請求項7または請求項8に記載の画像処理装置。
【請求項10】
さらに、色境界を抽出する抽出手段を有し、前記判定手段は、前記抽出手段で抽出された色境界を跨がない二つの画素または領域を統合対象とすることを特徴とする請求項1から請求項9のいずれか1項に記載の画像処理装置。
【請求項11】
コンピュータに、請求項1から請求項10のいずれか1項に記載の画像処理装置の機能を実行させるものであることを特徴とする画像処理プログラム。
【請求項1】
それぞれの画素を対象画素として該対象画素を含む予め決められた範囲の画素の色に対する前記対象画素の色の違いを示す特徴ベクトルを前景特徴ベクトルとして算出する算出手段と、統合対象の二つの画素または領域についての前記前景特徴ベクトルの類似度に従って統合の可否を判定する判定手段と、前記判定手段で統合すると判定された二つの画素または領域を統合する統合手段を有することを特徴とする画像処理装置。
【請求項2】
前記算出手段は、前記予め決められた範囲の画素の色の平均色から前記対象画素の色への色空間におけるベクトルを前記前景特徴ベクトルとして算出することを特徴とする請求項1に記載の画像処理装置。
【請求項3】
前記算出手段は、色境界から予め定めた範囲の画素を有効領域として、該有効領域の画素について前記前景特徴ベクトルを算出することを特徴とする請求項2に記載の画像処理装置。
【請求項4】
前記算出手段は、統合対象の色の境界から予め定めた範囲の画素を有効領域として、該有効領域の画素について前記前景特徴ベクトルを算出することを特徴とする請求項2に記載の画像処理装置。
【請求項5】
前記算出手段は、前記対象領域の各画素における統合前の前記前景特徴ベクトルが予め設定されている範囲に収まっていない場合には前記判定手段に通知し、判定手段では、前記色差ベクトルが予め設定されている範囲に収まっていない画素または領域の組み合わせについては統合しないと判定することを特徴とする請求項1から請求項4のいずれか1項に記載の画像処理装置。
【請求項6】
前記統合手段は、二つの画素または領域を統合する際に、両者の前記前景特徴ベクトルを用いて統合した領域の前景特徴ベクトルを算出することを特徴とする請求項1から請求項5のいずれか1項に記載の画像処理装置。
【請求項7】
前記算出手段は、前記対象画素または画素が統合された対象領域に隣接する画素または領域を周辺画素または周辺領域としてそれぞれの周辺画素または周辺領域の色から前記対象画素または前記対象領域の色への色空間における色差ベクトルの平均を前記前景特徴ベクトルとして算出することを特徴とする請求項1に記載の画像処理装置。
【請求項8】
前記算出手段は、前記対象画素または前記対象領域と前記周辺画素または前記周辺領域との接続長をさらに用いて前記色差ベクトルの平均を算出し、前記前景特徴ベクトルとすることを特徴とする請求項7に記載の画像処理装置。
【請求項9】
前記算出手段は、前記色差ベクトルが予め設定されている範囲に収まっていない場合には前記判定手段に通知し、判定手段では、前記色差ベクトルが予め設定されている範囲に収まっていない画素または領域の組み合わせについては統合しないと判定することを特徴とする請求項7または請求項8に記載の画像処理装置。
【請求項10】
さらに、色境界を抽出する抽出手段を有し、前記判定手段は、前記抽出手段で抽出された色境界を跨がない二つの画素または領域を統合対象とすることを特徴とする請求項1から請求項9のいずれか1項に記載の画像処理装置。
【請求項11】
コンピュータに、請求項1から請求項10のいずれか1項に記載の画像処理装置の機能を実行させるものであることを特徴とする画像処理プログラム。
【図1】
【図2】
【図3】
【図4】
【図5】
【図6】
【図7】
【図8】
【図9】
【図10】
【図11】
【図12】
【図13】
【図2】
【図3】
【図4】
【図5】
【図6】
【図7】
【図8】
【図9】
【図10】
【図11】
【図12】
【図13】
【公開番号】特開2013−58158(P2013−58158A)
【公開日】平成25年3月28日(2013.3.28)
【国際特許分類】
【出願番号】特願2011−197374(P2011−197374)
【出願日】平成23年9月9日(2011.9.9)
【出願人】(000005496)富士ゼロックス株式会社 (21,908)
【Fターム(参考)】
【公開日】平成25年3月28日(2013.3.28)
【国際特許分類】
【出願日】平成23年9月9日(2011.9.9)
【出願人】(000005496)富士ゼロックス株式会社 (21,908)
【Fターム(参考)】
[ Back to top ]