画像処理装置、画像処理方法、画像処理プログラム及びプログラム記録媒体
【課題】 画像の下地が有彩色か無彩色かを判別する画像処理装置、画像処理方法、画像処理プログラム及びプログラム記録媒体を提供する。
【解決手段】 画像を入力する画像入力部と、前記画像から彩度の最小値フィルタ画像を生成する最小値フィルタ処理部と、前記最小値フィルタ画像から所定の彩度値以下の画素数を計数する計数部と、前記画像の全画素数に占める前記最小値フィルタ画像の所定の彩度値以下の画素数の割合が所定の閾値以上の場合は、前記画像の下地が無彩色、所定の閾値未満の場合は、前記画像の下地が有彩色と判定する判定出力部とを備えることを特徴とする。
【解決手段】 画像を入力する画像入力部と、前記画像から彩度の最小値フィルタ画像を生成する最小値フィルタ処理部と、前記最小値フィルタ画像から所定の彩度値以下の画素数を計数する計数部と、前記画像の全画素数に占める前記最小値フィルタ画像の所定の彩度値以下の画素数の割合が所定の閾値以上の場合は、前記画像の下地が無彩色、所定の閾値未満の場合は、前記画像の下地が有彩色と判定する判定出力部とを備えることを特徴とする。
【発明の詳細な説明】
【技術分野】
【0001】
本発明は、画像処理の技術に関し、画像の下地が有彩色か無彩色かを判別する画像処理装置、画像処理方法、画像処理プログラム、及びプログラム記録媒体に関する。
【背景技術】
【0002】
近年、デジタルカメラの普及に伴い、紙面や名刺などの書類、展示会でのポスター、会議などで使用されたホワイトボードや黒板を撮像してデジタル画像データとして利用するシーンが広がりつつある。これらのデジタル画像データは、撮像時のデジタルノイズや、もともと被写体自体に付着したゴミや汚れなどが原因で、画面や紙面などへ出力した場合に、ノイズとして出力され、画像が汚くなってしまっていた。特に、書類やホワイトボード、黒板などの画像は、文字や図など以外の画像の多くを占める領域(以下、文字や図など以外の画像の多くを占める領域を下地と記載する。)が一様にほぼ同一の無彩色であることが多いため、さらにノイズが強調され、視認性が悪くなっていた。
【0003】
そのため、絵画やポスターなど、下地が一様ではない有彩色の画像と、書類やホワイトボード、黒板などの下地が一様にほぼ同一の無彩色の画像とを自動で判別し、それぞれの下地に適した画像補正を行い、視認性のよい画像を得るために、画像の下地が有彩色か無彩色かを判別する技術が求められる。
【0004】
特許文献1には、読取データを画素単位でカラー画素か白黒画素かを判別し、カラー画素と判別された画素の連続数とその出現数が所定数以上となった場合に原稿はカラー画像と判別する装置が開示されている。
【0005】
また、特許文献2には、画像中において線画に対してエッジ検出を行ってエッジ部分を除くことで線画を除去し、エッジではないと判別され、かつ有彩色であると判別された画素のカウント数としきい値とを比較して、カウント数が少ない場合に原稿をモノクロ画像と判別する装置が開示されている。
【先行技術文献】
【特許文献】
【0006】
【特許文献1】特開平4−282968号公報(平成4年10月8日公開)
【特許文献2】特開2009−5398号公報(平成21年1月8日公開)
【発明の概要】
【発明が解決しようとする課題】
【0007】
しかしながら、上記特許文献1、2の装置はいずれも画像がカラー画像かモノクロ画像かを判別するものであって下地を判別する機能はない。また、特許文献1に記載の装置は、画像全体が有彩色か無彩色かを判別する装置であるため、下地が無彩色であっても文字や図などが有彩色で描かれた場合、下地を正しく無彩色と判定することができない場合があった。さらに、特許文献2に記載の装置では、有彩色であり、かつ、太い線で文字や図形などが描かれた画像や、画像全体に線画の占める割合が大きい画像の場合は、線や図形の中心部分はエッジによる判定から漏れるため、特に有彩色である画素の出現数が多くなり、下地が有彩色か無彩色かを適切に判別することはできなかった。
【0008】
本発明は、上記の問題点に鑑みてなされたものであり、その目的は、画像の下地が有彩色か無彩色かを適切に判別する画像処理装置、画像処理方法、画像処理プログラム及びプログラム記録媒体を提供することを目的としている。
【課題を解決するための手段】
【0009】
本発明に係る画像処理装置は、画像を入力する画像入力部と、前記画像から彩度の最小値フィルタ画像を生成する最小値フィルタ処理部と、前記最小値フィルタ画像から所定の彩度値以下の画素数を計数する計数部と、前記画像の全画素数に占める前記最小値フィルタ画像の所定の彩度値以下の画素数の割合が所定の閾値以上の場合は、前記画像の下地が無彩色、所定の閾値未満の場合は、前記画像の下地が有彩色と判定する判定出力部とを備えることを特徴とする。また、本発明に係る画像処理装置は、前記画像処理装置は、前記所定の彩度値のずれを推定し補正するずれ推定手段を備えることを特徴とする。
【0010】
また、本発明に係る画像処理装置は、前記画像処理装置は、前記画像から縮小画像を生成する縮小画像生成部を備えることを特徴とする。また、本発明に係る画像処理装置は、前記最小値フィルタ処理部は、生成する最小値フィルタ画像の大きさを可変とすることを特徴とする。
【0011】
また、本発明に係る画像処理装置は、前記最小値フィルタ処理部は、前記画像から一定間隔ごとに画素を抽出し、それらの画素に対して、最小値フィルタ処理を行うことを特徴とする。
【0012】
また、本発明に係る画像処理方法は、画像を入力する画像入力ステップと、前記画像から彩度の最小値フィルタ画像を生成する最小値フィルタ処理ステップと、前記最小値フィルタ画像から所定の彩度値以下の画素数を計数する計数ステップと、前記画像の全画素数に占める前記最小値フィルタ画像の所定の彩度値以下の画素数の割合が所定の閾値以上の場合は、前記画像の下地が無彩色、所定の閾値未満の場合は、前記画像の下地が有彩色と判定する判定出力ステップとを備えることを特徴とする。
【0013】
また、本発明に係る画像処理プログラムは、画像を入力する画像入力ステップと、前記画像から彩度の最小値フィルタ画像を生成する最小値フィルタ処理ステップと、前記最小値フィルタ画像から所定の彩度値以下の画素数を計数する計数ステップと、前記画像の全画素数に占める前記最小値フィルタ画像の所定の彩度値以下の画素数の割合が所定の閾値以上の場合は、前記画像の下地が無彩色、所定の閾値未満の場合は、前記画像の下地が有彩色と判定する判定出力ステップとをコンピュータに実行させることを特徴とする。
【0014】
また、本発明に係るプログラム記録媒体は、上記画像処理プログラムを記録したことを特徴とする。
【発明の効果】
【0015】
本発明によれば、有彩色で文字や図などが描かれた画像や、有彩色かつ太い線で文字や図などが書かれた画像であっても、その下地が、有彩色か無彩色かを正しく判別することが可能になる。
【図面の簡単な説明】
【0016】
【図1】本発明に係る画像処理装置の構成を示すブロック図である。
【図2】本発明の第1の実施形態に係る画像処理装置の処理を示すフローチャートである。
【図3】最小値フィルタ処理の具体例を示す図である。
【図4】下地が有彩色である画像から得られるヒストグラムの一例を示す図である。
【図5】下地が無彩色である画像から得られるヒストグラムの一例を示す図である。
【図6】最小値フィルタ処理の例を示す図である。
【図7】最小値フィルタ処理の例を示す図である。
【図8】下地が無彩色、かつ、ホワイトバランスが崩れた画像から得られるヒストグラムの一例を示す図である。
【図9】本発明の第2の実施形態に係る画像処理装置の構成を示すブロック図である。
【図10】本発明の第2の実施形態に係る画像処理装置の処理を示すフローチャートである。
【図11】ホワイトバランスが崩れたことによる彩度値のずれを推定する処理の例を説明するための図である。
【図12】彩度値Cを変更した場合に、下地が無彩色、かつ、ホワイトバランスが崩れた画像から得られるヒストグラムの一例を示す図である。
【図13】本発明の第3の実施形態に係る画像処理装置の構成を示すブロック図である。
【図14】本発明の第3の実施形態に係る画像処理装置の処理を示すフローチャートである。
【発明を実施するための形態】
【0017】
本発明における画像処理装置1の実施形態に関して、図面を用いて以下に説明する。なお、本発明の図面において、同一の参照符号は、同一部分または相当部分を表わすものとする。
【0018】
図1は、画像処理装置1の基本構成を示すブロック図である。本発明の画像処理装置1は、画像入力部11、最小値フィルタ処理部12、計数部13、判定出力部14、メモリ部15、機能制御部16より構成されている。
【0019】
画像入力部11は、CCDカメラやスキャナなどから構成され、書類やポスターなどの画像が入力される。入力される入力画像はカラー画像であれば、例えば、デジタルカメラで撮像された画像や、スキャナで読み込まれた画像など、どのような撮像手段で撮像した画像でもかまわない。
【0020】
最小値フィルタ処理部12は、入力された画像の彩度成分に対して、最小値フィルタ処理を行い、彩度成分の最小値フィルタ画像を生成する。詳細は後述するが、最小値フィルタ処理とは、入力画像の注目画素における画素値を、所定の領域内の画素における画素値の最小値に置き換える処理である。計数部13は、生成された最小値フィルタ画像の全画素数に占める彩度値C以下の画素数の割合Pを計数する。彩度値Cについては、適宜設定すればよい。彩度最小値フィルタ画像の彩度値C以下の画素数から、最小値フィルタ画像の全画素数を除算することで、全画素数に占める彩度値C以下の画素数の割合Pが算出される。
【0021】
判定出力部14は、計数部13にて計数された割合Pが閾値th以上か、閾値th未満かを判定し、閾値th以上の場合には入力画像の下地を無彩色と判定し、閾値th未満の場合には入力画像の下地を有彩色と判定し、判定結果を出力する。メモリ部15は、たとえば、ROM(Read Only Memory)やRAM(Random Access Memory)から構成され、画像処理装置1の動作にかかわるプログラムや作業データを記憶している。機能制御部16は、CPU(Central Processing Unit)および、CPU上で実行されるプログラムによって実現され、画像処理装置1の各構成部分の機能を制御する。
【0022】
(第1の実施形態)
図2に示す本実施形態の全体の処理の流れを示したフローチャートを参照して、画像処理装置1の処理手順について説明する。
【0023】
まず、画像処理装置1を起動し、画像入力部11において紙面をCCDカメラやスキャナなどの電子データに変換して入力する(ステップS101)。次に、最小値フィルタ処理部12において、ステップS101にて入力された入力画像データから、彩度成分の最小値フィルタ画像を作成する(ステップS102)。ここで、彩度成分の最小値フィルタ処理について説明する。彩度成分の最小値フィルタ処理は入力画像の彩度成分に対して最小値フィルタ処理を行い、彩度成分の最小値フィルタ画像を得る処理である。最小値フィルタ処理は、入力画像の注目画素における画素値を、領域内の画素における画素値の最小値に置き換え、出力する。
【0024】
図3は、最小値フィルタ処理の具体例を示している。図3に示す最小値フィルタ処理では、近傍領域内の画素として注目画素Aおよび注目画素Aを囲む8つの画素、すなわち、3×3の画素の領域を採用している。たとえば、図3(a)において、入力画像における注目画素Aは、通常は3×3の画素領域の中心に当たる(45)である。この注目画素Aを囲む8つの画素の彩度は、(129)、(54)、(12)、(7)、(56)、(15)、(128)、(186)であり、この8つの画素と注目画素Aに当たる(45)を含んだ3×3の画素領域のうち、彩度の最小値は(7)である。よって図3(b)に示す出力画像における注目画素Bは(7)となり、入力画像における注目画素Aに対して最小値フィルタ処理を行った場合には、注目画素Bとして(7)が出力される。次に、図3(c)に示すように、注目画素Aを(7)とし、この注目画素Aを囲む8つの画素と注目画素Aに対して最小値フィルタ処理を行うと、図3(d)に示すように、出力画像における注目画素Bは(4)となり、入力画像における注目画素Aに当たる(7)に対して最小値フィルタ処理を行った場合には、注目画素Bとして(4)が出力される。このように、入力画像全体に対して最小値フィルタ処理を行うことで、画像の下地判定結果の精度に影響を与える文字や図などの下地ではない部分の影響を縮小できる。
【0025】
次に、計数部13にて最小値フィルタ画像の彩度値がC以下である画素数から、最小値フィルタ画像の全画素数を除算し、全画素数に占める彩度値C以下の画素数の割合Pを計数する(ステップS103)。割合Pの計数処理については、例えば、単純に画像をラスター走査して計数しても、ヒストグラムを作成してから計数してもよい。
【0026】
次に、判定出力部14にて、上記ステップS103で計数された全画素数に占める彩度値C以下の画素数の割合Pと閾値thを比較し、画像の下地を判定する(ステップS104)。
【0027】
ここで、図4、図5を用いて判定出力部14が全画素数に占める彩度値C以下の画素数の割合Pと閾値thを比較し、画像の下地を判定する処理について説明する。
【0028】
図4は、下地が有彩色である画像のヒストグラムの一例を示した図であり、縦軸は画素数、横軸は彩度値を示している。下地が有彩色である画像は、画像全体の大部分を占める下地が有彩色であるため、彩度値の広い範囲にわたって画素が分布し、全画素数に占める彩度値C以下の画素数(図4の斜線部分)の割合Pは小さくなる。
【0029】
図5は下地が無彩色である画像のヒストグラムの一例を示した図であり、縦軸は画素数、横軸は彩度値を示している。下地が無彩色である画像は、画像全体の大部分を占める下地が無彩色であるため、彩度値が彩度値C以下の範囲にほとんどの画素が分布し、全画素数に占める彩度値C以下の画素数(図5の斜線部分)の割合Pは大きくなる。
【0030】
したがって、画像の下地が無彩色か有彩色か判定する閾値thに適切な値を設定しておくことで、割合Pと閾値thを比較すれば、画像の下地が無彩色か有彩色かを判定することができる。割合Pが閾値th以上の場合は画像の下地を無彩色と判定し(ステップS105)、下地判定結果を出力する(ステップS107)。割合Pが閾値th未満の場合は画像の下地を有彩色と判定し(ステップS106)、下地判定結果を出力する(ステップS107)。このような手順により、入力画像の下地が有彩色か無彩色かを判別することができる。
【0031】
ステップS102において、彩度の最小値フィルタ画像を作成することで、画像の下地判定結果の精度に影響を与える文字や図などの下地ではない部分の影響を小さくできるので、図5に示すようなヒストグラムの示す数値において、彩度の変化に対して顕著な増減が現れ、下地判定の精度を高くすることができる。
【0032】
なお、図3において、ステップS102の最小値フィルタ処理の具体例をとして、近傍領域内の画素として注目画素および注目画素を囲む8つの画素を含めた3×3の画素を用いて説明したが、入力画像のサイズや画像内に含まれる文字や図の線の太さを考慮して、最小値フィルタの大きさを適宜変更することも可能である。
【0033】
また、入力画像から一定間隔ごとに抽出した画素に対して最小値フィルタ処理を行ってもよい。図6は、入力画像から一定間隔ごとに抽出した画素に対して最小値フィルタ処理を行う場合の手順を示している。図6(a)において、入力画像から1画素飛ばしに画素を抽出する。ここで黒い丸が付与された画素が、抽出された画素とする。次に、図6(b)において、注目画素Aを中心とする抽出された画素の3×3の領域内で、最小値フィルタ処理を行うと、図6(c)において注目画素Bが出力される。このように、1画素おきに抽出した画素に対して最小値フィルタ処理を行うことで、対象となる画素数は抽出前と比較すると縦横の画素数はそれぞれ1/2となり、合計の画素数は1/4になる。したがって、フィルタ処理の回数も1/4になり、入力画像の画素数に対する最小値フィルタ画像の画素数は1/4になる。これにより、入力画像から一定間隔ごとに画素を抽出することにより、画像処理装置1の処理負荷および処理時間がかかる最小値フィルタ処理、および、全画素数に占める彩度値C以下の画素数の割合Pの計数処理の負担を削減することができる。
【0034】
また、図7に示すように、入力画像の画素について、注目画素Aを一定間隔ごとに飛ばしてフィルタ処理する方法でもよい。図7(a)において、注目画素Aは、黒い丸の付与された画素である。この注目画素Aについて、ここでは3×3の画素領域に対して最小値フィルタ処理を行い、次に図7(b)に示すように、図7(a)における注目画素Aの位置から、例えば右横の方向に1画素を飛ばした画素を注目画素Aとし、最小値フィルタ処理を行う。次に同様にして、図7(c)に示すように図7(b)の注目画素Aの位置から右横の方向に1画素飛ばした画素を注目画素Aとして最小値フィルタ処理を行う。なお、図7(c)に示すように、入力画像の端の部分は、画素があるものとして同様の処理を行う。このような方法でも、上記同様に、処理負担を軽減することができる。
【0035】
(第2の実施形態)
次に、本発明の第2の実施形態について図面を参照して説明する。本実施形態では、入力画像のホワイトバランスが崩れている場合の処理について説明する。ホワイトバランスが崩れていると肉眼では自然に見えていた色がカメラで撮影すると不自然な色に写るため、これを補正して、正しく下地を判定する方法について以下に説明する。
【0036】
図8は下地が無彩色であって、かつ、ホワイトバランスが崩れた画像のヒストグラムの一例を示した図であり、縦軸は画素数、横軸は彩度値を示している。下地が無彩色の画像であるため、通常は図5のように、彩度値が小さい範囲にほとんどの画素が分布する。しかしながら、ホワイトバランスが崩れていることで、無彩色の部分が薄いシアンやマゼンタなどの薄い有彩色となるため、ホワイトバランスが崩れていない図5のヒストグラムと比較すると、彩度値が大きい側(図8において右側)へシフトしたヒストグラムになる。したがって、全画素数に占める彩度値C以下の画素数(図8の斜線部分)の割合Pは小さくなるため、正確に画像の下地が有彩色か無彩色かを判別できないという問題が生じる。これに対して、ホワイトバランスが崩れたことによる彩度値のずれGに対する処理を行うことで、正しく下地を判定することができる。
【0037】
図9、および図10を参照して、本実施の形態に係る画像処理装置1aの処理手順について説明する。図9は本実施形態における画像処理装置1aの構成を示すブロック図である。また、図10は、本実施形態の全体の処理の流れを示したフローチャートである。本実施形態では、第1の実施形態で示した図2の処理手順に加え、ステップS203、ステップS204の処理が追加されている。以下、ステップS203、ステップS204の処理について詳細に説明する。
【0038】
ずれ推定部17は、ステップS202で作成された彩度値の最小値フィルタ画像に基づいて、ホワイトバランスが崩れたことによる彩度値のずれGを推定する(ステップS203)。
【0039】
ここで、図11を用いて、彩度値のずれGの大きさを推定する処理について説明する。図11は、図8のヒストグラムから彩度値の小さい範囲を拡大した図であり、縦軸は画素数、横軸は彩度値を示している。ホワイトバランスが崩れたことによる彩度値のずれGは、彩度値0から彩度値毎に画素数を計数し、所定の画素数以上となった計数値を有する彩度値のうち最小の彩度値までと推定する。
【0040】
次に所定の彩度値CにステップS203で推定された彩度値のずれGを加算した彩度値を新しい彩度値C’に設定する(ステップS204)。
【0041】
図12は、図8のヒストグラムに対して、図10の処理手順に基づき、彩度値Cの値を彩度値C’に変更した場合の一例を示した図であり、縦軸は画素数、横軸は彩度値を示している。ホワイトバランスが崩れたことによる彩度値のずれGを考慮し、彩度値CをずれGの分だけ図12の横軸において右にずらすことによって、全体画素数に占める彩度値C’以下の画素数(図12の斜線部分)の割合Pは大きくなり、下地が無彩色であると判定される。このように、ホワイトバランスが崩れている場合でも、彩度値のずれGを算出して用いることにより、正確に画像の下地が有彩色か無彩色かを判別することができる。
【0042】
(第3の実施形態)
次に、本発明の第3の実施形態について図面を参照して説明する。本実施形態では、入力された画像から縮小画像を作成し、作成された縮小画像に基づいて最小値フィルタ画像を作成する点で、上記の実施形態とは異なる。
【0043】
図13、および図14を参照して、本実施の形態に係る画像処置装置1bの処理手順について説明する。図13は、本実施形態における画像処理装置1bの構成を示すブロック図である。また、図14は、本実施形態の全体の処理の流れを示したフローチャートである。本実施形態では、第1の実施形態で示した図2の処理手順に加え、ステップS302の処理が追加されている。以下、ステップS302の処理について詳細に説明する。
【0044】
縮小画像生成部18は、ステップS301にて入力された入力画像から縮小画像を作成する(ステップS302)。縮小画像を生成する処理については、たとえば以下のような方法がある。
【0045】
メモリ部15に記憶された入力画像のN×N画素を1画素とする縮小画像を生成するためには、入力画像をN×N画素ごとのマトリクス状に区切り、区切られた各範囲内にある画素の値について彩度ごとに平均値を算出し、その平均値の彩度値により1つの画素を割り当てる。一般的にはNは4〜16程度で入力画像に応じた値を選択することが望ましい。縮小画像を作成することによって、ノイズを削減することができるため、より正確に画像の下地が有彩色か無彩色かを判別できる。また、画像処理装置1bの処理負荷および処理時間がかかる最小値フィルタ処理、および、全画素数に占める彩度値C以下の画素数の割合Pの計数処理の各ステップにおける負担を削減することができる。
【0046】
以上のように、本発明によれば、有彩色で文字や図などが描かれた画像や、有彩色かつ太い線で文字や図などが書かれた画像であっても、その下地が、有彩色か無彩色かを正しく判別することが可能になる。
【産業上の利用可能性】
【0047】
本発明に係る画像処理装置、画像処理方法、画像処理プログラム及びプログラム記録媒体は、例えばデジタルカメラ、プリンタ、携帯電話などに好適に利用できる。
【符号の説明】
【0048】
1、1a、1b 画像処理装置
11 画像入力部
12 最小値フィルタ処理部
13 計数部
14 判定出力部
15 メモリ部
16 機能制御部
17 ずれ推定部
18 縮小画像生成部
【技術分野】
【0001】
本発明は、画像処理の技術に関し、画像の下地が有彩色か無彩色かを判別する画像処理装置、画像処理方法、画像処理プログラム、及びプログラム記録媒体に関する。
【背景技術】
【0002】
近年、デジタルカメラの普及に伴い、紙面や名刺などの書類、展示会でのポスター、会議などで使用されたホワイトボードや黒板を撮像してデジタル画像データとして利用するシーンが広がりつつある。これらのデジタル画像データは、撮像時のデジタルノイズや、もともと被写体自体に付着したゴミや汚れなどが原因で、画面や紙面などへ出力した場合に、ノイズとして出力され、画像が汚くなってしまっていた。特に、書類やホワイトボード、黒板などの画像は、文字や図など以外の画像の多くを占める領域(以下、文字や図など以外の画像の多くを占める領域を下地と記載する。)が一様にほぼ同一の無彩色であることが多いため、さらにノイズが強調され、視認性が悪くなっていた。
【0003】
そのため、絵画やポスターなど、下地が一様ではない有彩色の画像と、書類やホワイトボード、黒板などの下地が一様にほぼ同一の無彩色の画像とを自動で判別し、それぞれの下地に適した画像補正を行い、視認性のよい画像を得るために、画像の下地が有彩色か無彩色かを判別する技術が求められる。
【0004】
特許文献1には、読取データを画素単位でカラー画素か白黒画素かを判別し、カラー画素と判別された画素の連続数とその出現数が所定数以上となった場合に原稿はカラー画像と判別する装置が開示されている。
【0005】
また、特許文献2には、画像中において線画に対してエッジ検出を行ってエッジ部分を除くことで線画を除去し、エッジではないと判別され、かつ有彩色であると判別された画素のカウント数としきい値とを比較して、カウント数が少ない場合に原稿をモノクロ画像と判別する装置が開示されている。
【先行技術文献】
【特許文献】
【0006】
【特許文献1】特開平4−282968号公報(平成4年10月8日公開)
【特許文献2】特開2009−5398号公報(平成21年1月8日公開)
【発明の概要】
【発明が解決しようとする課題】
【0007】
しかしながら、上記特許文献1、2の装置はいずれも画像がカラー画像かモノクロ画像かを判別するものであって下地を判別する機能はない。また、特許文献1に記載の装置は、画像全体が有彩色か無彩色かを判別する装置であるため、下地が無彩色であっても文字や図などが有彩色で描かれた場合、下地を正しく無彩色と判定することができない場合があった。さらに、特許文献2に記載の装置では、有彩色であり、かつ、太い線で文字や図形などが描かれた画像や、画像全体に線画の占める割合が大きい画像の場合は、線や図形の中心部分はエッジによる判定から漏れるため、特に有彩色である画素の出現数が多くなり、下地が有彩色か無彩色かを適切に判別することはできなかった。
【0008】
本発明は、上記の問題点に鑑みてなされたものであり、その目的は、画像の下地が有彩色か無彩色かを適切に判別する画像処理装置、画像処理方法、画像処理プログラム及びプログラム記録媒体を提供することを目的としている。
【課題を解決するための手段】
【0009】
本発明に係る画像処理装置は、画像を入力する画像入力部と、前記画像から彩度の最小値フィルタ画像を生成する最小値フィルタ処理部と、前記最小値フィルタ画像から所定の彩度値以下の画素数を計数する計数部と、前記画像の全画素数に占める前記最小値フィルタ画像の所定の彩度値以下の画素数の割合が所定の閾値以上の場合は、前記画像の下地が無彩色、所定の閾値未満の場合は、前記画像の下地が有彩色と判定する判定出力部とを備えることを特徴とする。また、本発明に係る画像処理装置は、前記画像処理装置は、前記所定の彩度値のずれを推定し補正するずれ推定手段を備えることを特徴とする。
【0010】
また、本発明に係る画像処理装置は、前記画像処理装置は、前記画像から縮小画像を生成する縮小画像生成部を備えることを特徴とする。また、本発明に係る画像処理装置は、前記最小値フィルタ処理部は、生成する最小値フィルタ画像の大きさを可変とすることを特徴とする。
【0011】
また、本発明に係る画像処理装置は、前記最小値フィルタ処理部は、前記画像から一定間隔ごとに画素を抽出し、それらの画素に対して、最小値フィルタ処理を行うことを特徴とする。
【0012】
また、本発明に係る画像処理方法は、画像を入力する画像入力ステップと、前記画像から彩度の最小値フィルタ画像を生成する最小値フィルタ処理ステップと、前記最小値フィルタ画像から所定の彩度値以下の画素数を計数する計数ステップと、前記画像の全画素数に占める前記最小値フィルタ画像の所定の彩度値以下の画素数の割合が所定の閾値以上の場合は、前記画像の下地が無彩色、所定の閾値未満の場合は、前記画像の下地が有彩色と判定する判定出力ステップとを備えることを特徴とする。
【0013】
また、本発明に係る画像処理プログラムは、画像を入力する画像入力ステップと、前記画像から彩度の最小値フィルタ画像を生成する最小値フィルタ処理ステップと、前記最小値フィルタ画像から所定の彩度値以下の画素数を計数する計数ステップと、前記画像の全画素数に占める前記最小値フィルタ画像の所定の彩度値以下の画素数の割合が所定の閾値以上の場合は、前記画像の下地が無彩色、所定の閾値未満の場合は、前記画像の下地が有彩色と判定する判定出力ステップとをコンピュータに実行させることを特徴とする。
【0014】
また、本発明に係るプログラム記録媒体は、上記画像処理プログラムを記録したことを特徴とする。
【発明の効果】
【0015】
本発明によれば、有彩色で文字や図などが描かれた画像や、有彩色かつ太い線で文字や図などが書かれた画像であっても、その下地が、有彩色か無彩色かを正しく判別することが可能になる。
【図面の簡単な説明】
【0016】
【図1】本発明に係る画像処理装置の構成を示すブロック図である。
【図2】本発明の第1の実施形態に係る画像処理装置の処理を示すフローチャートである。
【図3】最小値フィルタ処理の具体例を示す図である。
【図4】下地が有彩色である画像から得られるヒストグラムの一例を示す図である。
【図5】下地が無彩色である画像から得られるヒストグラムの一例を示す図である。
【図6】最小値フィルタ処理の例を示す図である。
【図7】最小値フィルタ処理の例を示す図である。
【図8】下地が無彩色、かつ、ホワイトバランスが崩れた画像から得られるヒストグラムの一例を示す図である。
【図9】本発明の第2の実施形態に係る画像処理装置の構成を示すブロック図である。
【図10】本発明の第2の実施形態に係る画像処理装置の処理を示すフローチャートである。
【図11】ホワイトバランスが崩れたことによる彩度値のずれを推定する処理の例を説明するための図である。
【図12】彩度値Cを変更した場合に、下地が無彩色、かつ、ホワイトバランスが崩れた画像から得られるヒストグラムの一例を示す図である。
【図13】本発明の第3の実施形態に係る画像処理装置の構成を示すブロック図である。
【図14】本発明の第3の実施形態に係る画像処理装置の処理を示すフローチャートである。
【発明を実施するための形態】
【0017】
本発明における画像処理装置1の実施形態に関して、図面を用いて以下に説明する。なお、本発明の図面において、同一の参照符号は、同一部分または相当部分を表わすものとする。
【0018】
図1は、画像処理装置1の基本構成を示すブロック図である。本発明の画像処理装置1は、画像入力部11、最小値フィルタ処理部12、計数部13、判定出力部14、メモリ部15、機能制御部16より構成されている。
【0019】
画像入力部11は、CCDカメラやスキャナなどから構成され、書類やポスターなどの画像が入力される。入力される入力画像はカラー画像であれば、例えば、デジタルカメラで撮像された画像や、スキャナで読み込まれた画像など、どのような撮像手段で撮像した画像でもかまわない。
【0020】
最小値フィルタ処理部12は、入力された画像の彩度成分に対して、最小値フィルタ処理を行い、彩度成分の最小値フィルタ画像を生成する。詳細は後述するが、最小値フィルタ処理とは、入力画像の注目画素における画素値を、所定の領域内の画素における画素値の最小値に置き換える処理である。計数部13は、生成された最小値フィルタ画像の全画素数に占める彩度値C以下の画素数の割合Pを計数する。彩度値Cについては、適宜設定すればよい。彩度最小値フィルタ画像の彩度値C以下の画素数から、最小値フィルタ画像の全画素数を除算することで、全画素数に占める彩度値C以下の画素数の割合Pが算出される。
【0021】
判定出力部14は、計数部13にて計数された割合Pが閾値th以上か、閾値th未満かを判定し、閾値th以上の場合には入力画像の下地を無彩色と判定し、閾値th未満の場合には入力画像の下地を有彩色と判定し、判定結果を出力する。メモリ部15は、たとえば、ROM(Read Only Memory)やRAM(Random Access Memory)から構成され、画像処理装置1の動作にかかわるプログラムや作業データを記憶している。機能制御部16は、CPU(Central Processing Unit)および、CPU上で実行されるプログラムによって実現され、画像処理装置1の各構成部分の機能を制御する。
【0022】
(第1の実施形態)
図2に示す本実施形態の全体の処理の流れを示したフローチャートを参照して、画像処理装置1の処理手順について説明する。
【0023】
まず、画像処理装置1を起動し、画像入力部11において紙面をCCDカメラやスキャナなどの電子データに変換して入力する(ステップS101)。次に、最小値フィルタ処理部12において、ステップS101にて入力された入力画像データから、彩度成分の最小値フィルタ画像を作成する(ステップS102)。ここで、彩度成分の最小値フィルタ処理について説明する。彩度成分の最小値フィルタ処理は入力画像の彩度成分に対して最小値フィルタ処理を行い、彩度成分の最小値フィルタ画像を得る処理である。最小値フィルタ処理は、入力画像の注目画素における画素値を、領域内の画素における画素値の最小値に置き換え、出力する。
【0024】
図3は、最小値フィルタ処理の具体例を示している。図3に示す最小値フィルタ処理では、近傍領域内の画素として注目画素Aおよび注目画素Aを囲む8つの画素、すなわち、3×3の画素の領域を採用している。たとえば、図3(a)において、入力画像における注目画素Aは、通常は3×3の画素領域の中心に当たる(45)である。この注目画素Aを囲む8つの画素の彩度は、(129)、(54)、(12)、(7)、(56)、(15)、(128)、(186)であり、この8つの画素と注目画素Aに当たる(45)を含んだ3×3の画素領域のうち、彩度の最小値は(7)である。よって図3(b)に示す出力画像における注目画素Bは(7)となり、入力画像における注目画素Aに対して最小値フィルタ処理を行った場合には、注目画素Bとして(7)が出力される。次に、図3(c)に示すように、注目画素Aを(7)とし、この注目画素Aを囲む8つの画素と注目画素Aに対して最小値フィルタ処理を行うと、図3(d)に示すように、出力画像における注目画素Bは(4)となり、入力画像における注目画素Aに当たる(7)に対して最小値フィルタ処理を行った場合には、注目画素Bとして(4)が出力される。このように、入力画像全体に対して最小値フィルタ処理を行うことで、画像の下地判定結果の精度に影響を与える文字や図などの下地ではない部分の影響を縮小できる。
【0025】
次に、計数部13にて最小値フィルタ画像の彩度値がC以下である画素数から、最小値フィルタ画像の全画素数を除算し、全画素数に占める彩度値C以下の画素数の割合Pを計数する(ステップS103)。割合Pの計数処理については、例えば、単純に画像をラスター走査して計数しても、ヒストグラムを作成してから計数してもよい。
【0026】
次に、判定出力部14にて、上記ステップS103で計数された全画素数に占める彩度値C以下の画素数の割合Pと閾値thを比較し、画像の下地を判定する(ステップS104)。
【0027】
ここで、図4、図5を用いて判定出力部14が全画素数に占める彩度値C以下の画素数の割合Pと閾値thを比較し、画像の下地を判定する処理について説明する。
【0028】
図4は、下地が有彩色である画像のヒストグラムの一例を示した図であり、縦軸は画素数、横軸は彩度値を示している。下地が有彩色である画像は、画像全体の大部分を占める下地が有彩色であるため、彩度値の広い範囲にわたって画素が分布し、全画素数に占める彩度値C以下の画素数(図4の斜線部分)の割合Pは小さくなる。
【0029】
図5は下地が無彩色である画像のヒストグラムの一例を示した図であり、縦軸は画素数、横軸は彩度値を示している。下地が無彩色である画像は、画像全体の大部分を占める下地が無彩色であるため、彩度値が彩度値C以下の範囲にほとんどの画素が分布し、全画素数に占める彩度値C以下の画素数(図5の斜線部分)の割合Pは大きくなる。
【0030】
したがって、画像の下地が無彩色か有彩色か判定する閾値thに適切な値を設定しておくことで、割合Pと閾値thを比較すれば、画像の下地が無彩色か有彩色かを判定することができる。割合Pが閾値th以上の場合は画像の下地を無彩色と判定し(ステップS105)、下地判定結果を出力する(ステップS107)。割合Pが閾値th未満の場合は画像の下地を有彩色と判定し(ステップS106)、下地判定結果を出力する(ステップS107)。このような手順により、入力画像の下地が有彩色か無彩色かを判別することができる。
【0031】
ステップS102において、彩度の最小値フィルタ画像を作成することで、画像の下地判定結果の精度に影響を与える文字や図などの下地ではない部分の影響を小さくできるので、図5に示すようなヒストグラムの示す数値において、彩度の変化に対して顕著な増減が現れ、下地判定の精度を高くすることができる。
【0032】
なお、図3において、ステップS102の最小値フィルタ処理の具体例をとして、近傍領域内の画素として注目画素および注目画素を囲む8つの画素を含めた3×3の画素を用いて説明したが、入力画像のサイズや画像内に含まれる文字や図の線の太さを考慮して、最小値フィルタの大きさを適宜変更することも可能である。
【0033】
また、入力画像から一定間隔ごとに抽出した画素に対して最小値フィルタ処理を行ってもよい。図6は、入力画像から一定間隔ごとに抽出した画素に対して最小値フィルタ処理を行う場合の手順を示している。図6(a)において、入力画像から1画素飛ばしに画素を抽出する。ここで黒い丸が付与された画素が、抽出された画素とする。次に、図6(b)において、注目画素Aを中心とする抽出された画素の3×3の領域内で、最小値フィルタ処理を行うと、図6(c)において注目画素Bが出力される。このように、1画素おきに抽出した画素に対して最小値フィルタ処理を行うことで、対象となる画素数は抽出前と比較すると縦横の画素数はそれぞれ1/2となり、合計の画素数は1/4になる。したがって、フィルタ処理の回数も1/4になり、入力画像の画素数に対する最小値フィルタ画像の画素数は1/4になる。これにより、入力画像から一定間隔ごとに画素を抽出することにより、画像処理装置1の処理負荷および処理時間がかかる最小値フィルタ処理、および、全画素数に占める彩度値C以下の画素数の割合Pの計数処理の負担を削減することができる。
【0034】
また、図7に示すように、入力画像の画素について、注目画素Aを一定間隔ごとに飛ばしてフィルタ処理する方法でもよい。図7(a)において、注目画素Aは、黒い丸の付与された画素である。この注目画素Aについて、ここでは3×3の画素領域に対して最小値フィルタ処理を行い、次に図7(b)に示すように、図7(a)における注目画素Aの位置から、例えば右横の方向に1画素を飛ばした画素を注目画素Aとし、最小値フィルタ処理を行う。次に同様にして、図7(c)に示すように図7(b)の注目画素Aの位置から右横の方向に1画素飛ばした画素を注目画素Aとして最小値フィルタ処理を行う。なお、図7(c)に示すように、入力画像の端の部分は、画素があるものとして同様の処理を行う。このような方法でも、上記同様に、処理負担を軽減することができる。
【0035】
(第2の実施形態)
次に、本発明の第2の実施形態について図面を参照して説明する。本実施形態では、入力画像のホワイトバランスが崩れている場合の処理について説明する。ホワイトバランスが崩れていると肉眼では自然に見えていた色がカメラで撮影すると不自然な色に写るため、これを補正して、正しく下地を判定する方法について以下に説明する。
【0036】
図8は下地が無彩色であって、かつ、ホワイトバランスが崩れた画像のヒストグラムの一例を示した図であり、縦軸は画素数、横軸は彩度値を示している。下地が無彩色の画像であるため、通常は図5のように、彩度値が小さい範囲にほとんどの画素が分布する。しかしながら、ホワイトバランスが崩れていることで、無彩色の部分が薄いシアンやマゼンタなどの薄い有彩色となるため、ホワイトバランスが崩れていない図5のヒストグラムと比較すると、彩度値が大きい側(図8において右側)へシフトしたヒストグラムになる。したがって、全画素数に占める彩度値C以下の画素数(図8の斜線部分)の割合Pは小さくなるため、正確に画像の下地が有彩色か無彩色かを判別できないという問題が生じる。これに対して、ホワイトバランスが崩れたことによる彩度値のずれGに対する処理を行うことで、正しく下地を判定することができる。
【0037】
図9、および図10を参照して、本実施の形態に係る画像処理装置1aの処理手順について説明する。図9は本実施形態における画像処理装置1aの構成を示すブロック図である。また、図10は、本実施形態の全体の処理の流れを示したフローチャートである。本実施形態では、第1の実施形態で示した図2の処理手順に加え、ステップS203、ステップS204の処理が追加されている。以下、ステップS203、ステップS204の処理について詳細に説明する。
【0038】
ずれ推定部17は、ステップS202で作成された彩度値の最小値フィルタ画像に基づいて、ホワイトバランスが崩れたことによる彩度値のずれGを推定する(ステップS203)。
【0039】
ここで、図11を用いて、彩度値のずれGの大きさを推定する処理について説明する。図11は、図8のヒストグラムから彩度値の小さい範囲を拡大した図であり、縦軸は画素数、横軸は彩度値を示している。ホワイトバランスが崩れたことによる彩度値のずれGは、彩度値0から彩度値毎に画素数を計数し、所定の画素数以上となった計数値を有する彩度値のうち最小の彩度値までと推定する。
【0040】
次に所定の彩度値CにステップS203で推定された彩度値のずれGを加算した彩度値を新しい彩度値C’に設定する(ステップS204)。
【0041】
図12は、図8のヒストグラムに対して、図10の処理手順に基づき、彩度値Cの値を彩度値C’に変更した場合の一例を示した図であり、縦軸は画素数、横軸は彩度値を示している。ホワイトバランスが崩れたことによる彩度値のずれGを考慮し、彩度値CをずれGの分だけ図12の横軸において右にずらすことによって、全体画素数に占める彩度値C’以下の画素数(図12の斜線部分)の割合Pは大きくなり、下地が無彩色であると判定される。このように、ホワイトバランスが崩れている場合でも、彩度値のずれGを算出して用いることにより、正確に画像の下地が有彩色か無彩色かを判別することができる。
【0042】
(第3の実施形態)
次に、本発明の第3の実施形態について図面を参照して説明する。本実施形態では、入力された画像から縮小画像を作成し、作成された縮小画像に基づいて最小値フィルタ画像を作成する点で、上記の実施形態とは異なる。
【0043】
図13、および図14を参照して、本実施の形態に係る画像処置装置1bの処理手順について説明する。図13は、本実施形態における画像処理装置1bの構成を示すブロック図である。また、図14は、本実施形態の全体の処理の流れを示したフローチャートである。本実施形態では、第1の実施形態で示した図2の処理手順に加え、ステップS302の処理が追加されている。以下、ステップS302の処理について詳細に説明する。
【0044】
縮小画像生成部18は、ステップS301にて入力された入力画像から縮小画像を作成する(ステップS302)。縮小画像を生成する処理については、たとえば以下のような方法がある。
【0045】
メモリ部15に記憶された入力画像のN×N画素を1画素とする縮小画像を生成するためには、入力画像をN×N画素ごとのマトリクス状に区切り、区切られた各範囲内にある画素の値について彩度ごとに平均値を算出し、その平均値の彩度値により1つの画素を割り当てる。一般的にはNは4〜16程度で入力画像に応じた値を選択することが望ましい。縮小画像を作成することによって、ノイズを削減することができるため、より正確に画像の下地が有彩色か無彩色かを判別できる。また、画像処理装置1bの処理負荷および処理時間がかかる最小値フィルタ処理、および、全画素数に占める彩度値C以下の画素数の割合Pの計数処理の各ステップにおける負担を削減することができる。
【0046】
以上のように、本発明によれば、有彩色で文字や図などが描かれた画像や、有彩色かつ太い線で文字や図などが書かれた画像であっても、その下地が、有彩色か無彩色かを正しく判別することが可能になる。
【産業上の利用可能性】
【0047】
本発明に係る画像処理装置、画像処理方法、画像処理プログラム及びプログラム記録媒体は、例えばデジタルカメラ、プリンタ、携帯電話などに好適に利用できる。
【符号の説明】
【0048】
1、1a、1b 画像処理装置
11 画像入力部
12 最小値フィルタ処理部
13 計数部
14 判定出力部
15 メモリ部
16 機能制御部
17 ずれ推定部
18 縮小画像生成部
【特許請求の範囲】
【請求項1】
画像を入力する画像入力部と、
前記画像から彩度の最小値フィルタ画像を生成する最小値フィルタ処理部と、
前記最小値フィルタ画像から所定の彩度値以下の画素数を計数する計数部と
前記画像の全画素数に占める前記最小値フィルタ画像の所定の彩度値以下の画素数の割合が所定の閾値以上の場合は、前記画像の下地が無彩色、所定の閾値未満の場合は、前記画像の下地が有彩色と判定する判定出力部とを備えることを特徴とする画像処理装置。
【請求項2】
前記画像処理装置は、前記所定の彩度値のずれを推定し補正するずれ推定手段を備えることを特徴とする請求項1記載の画像処理装置。
【請求項3】
前記画像処理装置は、前記画像から縮小画像を生成する縮小画像生成部を備えることを特徴とする請求項1または2に記載の画像処理装置。
【請求項4】
前記最小値フィルタ処理部は、生成する最小値フィルタ画像の大きさを可変とすることを特徴とする請求項1から3のいずれか1項に記載の画像処理装置。
【請求項5】
前記最小値フィルタ処理部は、前記画像から一定間隔ごとに画素を抽出し、それらの画素に対して、最小値フィルタ処理を行うことを特徴とする請求項1から4のいずれか1項に記載の画像処理装置。
【請求項6】
画像を入力する画像入力ステップと、
前記画像から彩度の最小値フィルタ画像を生成する最小値フィルタ処理ステップと、
前記最小値フィルタ画像から所定の彩度値以下の画素数を計数する計数ステップと、
前記画像の全画素数に占める前記最小値フィルタ画像の所定の彩度値以下の画素数の割合が所定の閾値以上の場合は、前記画像の下地が無彩色、所定の閾値未満の場合は、前記画像の下地が有彩色と判定する判定出力ステップとを備えることを特徴とする画像処理方法。
【請求項7】
画像を入力する画像入力ステップと、
前記画像から彩度の最小値フィルタ画像を生成する最小値フィルタ処理ステップと、
前記最小値フィルタ画像から所定の彩度値以下の画素数を計数する計数ステップと、
前記画像の全画素数に占める前記最小値フィルタ画像の所定の彩度値以下の画素数の割合が所定の閾値以上の場合は、前記画像の下地が無彩色、所定の閾値未満の場合は、前記画像の下地が有彩色と判定する判定出力ステップとをコンピュータに実行させるための画像処理プログラム。
【請求項8】
請求項7に記載の画像処理プログラムを記録したコンピュータ読取可能な記録媒体。
【請求項1】
画像を入力する画像入力部と、
前記画像から彩度の最小値フィルタ画像を生成する最小値フィルタ処理部と、
前記最小値フィルタ画像から所定の彩度値以下の画素数を計数する計数部と
前記画像の全画素数に占める前記最小値フィルタ画像の所定の彩度値以下の画素数の割合が所定の閾値以上の場合は、前記画像の下地が無彩色、所定の閾値未満の場合は、前記画像の下地が有彩色と判定する判定出力部とを備えることを特徴とする画像処理装置。
【請求項2】
前記画像処理装置は、前記所定の彩度値のずれを推定し補正するずれ推定手段を備えることを特徴とする請求項1記載の画像処理装置。
【請求項3】
前記画像処理装置は、前記画像から縮小画像を生成する縮小画像生成部を備えることを特徴とする請求項1または2に記載の画像処理装置。
【請求項4】
前記最小値フィルタ処理部は、生成する最小値フィルタ画像の大きさを可変とすることを特徴とする請求項1から3のいずれか1項に記載の画像処理装置。
【請求項5】
前記最小値フィルタ処理部は、前記画像から一定間隔ごとに画素を抽出し、それらの画素に対して、最小値フィルタ処理を行うことを特徴とする請求項1から4のいずれか1項に記載の画像処理装置。
【請求項6】
画像を入力する画像入力ステップと、
前記画像から彩度の最小値フィルタ画像を生成する最小値フィルタ処理ステップと、
前記最小値フィルタ画像から所定の彩度値以下の画素数を計数する計数ステップと、
前記画像の全画素数に占める前記最小値フィルタ画像の所定の彩度値以下の画素数の割合が所定の閾値以上の場合は、前記画像の下地が無彩色、所定の閾値未満の場合は、前記画像の下地が有彩色と判定する判定出力ステップとを備えることを特徴とする画像処理方法。
【請求項7】
画像を入力する画像入力ステップと、
前記画像から彩度の最小値フィルタ画像を生成する最小値フィルタ処理ステップと、
前記最小値フィルタ画像から所定の彩度値以下の画素数を計数する計数ステップと、
前記画像の全画素数に占める前記最小値フィルタ画像の所定の彩度値以下の画素数の割合が所定の閾値以上の場合は、前記画像の下地が無彩色、所定の閾値未満の場合は、前記画像の下地が有彩色と判定する判定出力ステップとをコンピュータに実行させるための画像処理プログラム。
【請求項8】
請求項7に記載の画像処理プログラムを記録したコンピュータ読取可能な記録媒体。
【図1】
【図2】
【図3】
【図4】
【図5】
【図6】
【図7】
【図8】
【図9】
【図10】
【図11】
【図12】
【図13】
【図14】
【図2】
【図3】
【図4】
【図5】
【図6】
【図7】
【図8】
【図9】
【図10】
【図11】
【図12】
【図13】
【図14】
【公開番号】特開2012−114869(P2012−114869A)
【公開日】平成24年6月14日(2012.6.14)
【国際特許分類】
【出願番号】特願2010−264460(P2010−264460)
【出願日】平成22年11月29日(2010.11.29)
【出願人】(000005049)シャープ株式会社 (33,933)
【Fターム(参考)】
【公開日】平成24年6月14日(2012.6.14)
【国際特許分類】
【出願日】平成22年11月29日(2010.11.29)
【出願人】(000005049)シャープ株式会社 (33,933)
【Fターム(参考)】
[ Back to top ]