画像処理装置および画像処理プログラム
【課題】背景領域で分断されているが1つの領域として扱うべき複数の領域を1つの画像構成要素領域として抽出する。
【解決手段】画像処理装置10は、画像を受け付ける画像受付部11と、画像の背景色を特定する背景色特定部12と、画像の中から、背景色の領域で区画される各領域を、画像構成要素領域として抽出する領域抽出部13と、抽出された画像構成要素領域のうちの少なくとも2つの画像構成要素領域同士の関係が、1つの画像構成要素領域として扱うべき所定の条件を満たす場合に、上記少なくとも2つの画像構成要素領域を1つの画像構成要素領域に統合する領域統合部14とを有する。
【解決手段】画像処理装置10は、画像を受け付ける画像受付部11と、画像の背景色を特定する背景色特定部12と、画像の中から、背景色の領域で区画される各領域を、画像構成要素領域として抽出する領域抽出部13と、抽出された画像構成要素領域のうちの少なくとも2つの画像構成要素領域同士の関係が、1つの画像構成要素領域として扱うべき所定の条件を満たす場合に、上記少なくとも2つの画像構成要素領域を1つの画像構成要素領域に統合する領域統合部14とを有する。
【発明の詳細な説明】
【技術分野】
【0001】
本発明は、画像処理装置および画像処理プログラムに関する。
【背景技術】
【0002】
画像から画像構成要素(画像オブジェクトとも呼ばれる)の領域を抽出する技術が知られている。
【0003】
特許文献1には、文書画像の背景色を特定し、当該背景色を用いて当該文書画像から背景領域以外の画素を抽出し、当該画素を統合して連結成分を生成し、当該連結成分を少なくとも形状特徴を用いて所定の領域に分類して、当該文書画像の領域識別の結果を得る方法が記載されている。
【0004】
特許文献2には、画像内の同色領域を抽出する方法であって、ある一定の大きさの探索ブロックを画像内でラスタスキャンし、当該探索ブロック内の画素の分散を求め、分散がある閾値を下回るときに当該探索ブロックを種ブロックとし、種ブロックを基準に周りの画素が種ブロックと同色領域がどうかを画素単位で判定していき、同色領域を抽出していく方法が記載されている。
【0005】
特許文献3には、入力画像の読み取り情報に基づいて、入力画像の同一とみなす色の範囲を設定し、当該設定された色の範囲の連結画素に同一ラベルを付すことにより、入力画像のラベリングを行う技術が記載されている。ここで、上記入力画像の読み取り情報は、入力画像の色数、読み取り解像度、輝度値、彩度、隣接画素間の色差、色の分散などである。
【0006】
特許文献4には、画像全体を、特徴量の均一性がある部分は領域を大きく、均一性が無い部分は領域を小さくして複数に分割し、当該分割した領域を対象として、その各領域の中で大きな領域を起点領域として選択し、当該起点領域の周辺にある領域でその特徴量が起点領域の特徴量に類似する領域を起点領域に統合して一つの分割領域を形成し、これを未統合の領域を対象として繰り返し行うことで複数の分割領域を形成する方法が記載されている。
【0007】
【特許文献1】特開2001−297303号公報
【特許文献2】特開2000−132680号公報
【特許文献3】特開2000−172849号公報
【特許文献4】特開2002−032763号公報
【発明の開示】
【発明が解決しようとする課題】
【0008】
ところで、画像の中から、背景色の領域で区画される各領域を、画像構成要素領域として抽出する場合、1つの領域として扱うべき複数の領域が別々の画像構成要素領域として抽出されることがある。
【0009】
本発明は、背景領域で分断されているが1つの領域として扱うべき複数の領域を1つの画像構成要素領域として抽出することが可能な画像処理装置および画像処理プログラムを提供することを目的とする。
【課題を解決するための手段】
【0010】
本発明に係る画像処理装置は、画像を受け付ける画像受付手段と、前記画像の背景色を特定する背景色特定手段と、前記画像の中から、前記背景色の領域で区画される各領域を、画像構成要素領域として抽出する領域抽出手段と、前記抽出された画像構成要素領域のうちの少なくとも2つの画像構成要素領域同士の関係が、1つの画像構成要素領域として扱うべき所定の条件を満たす場合に、前記少なくとも2つの画像構成要素領域を1つの画像構成要素領域に統合する領域統合手段と、を有することを特徴とする。
【0011】
本発明の一態様では、前記領域統合手段は、前記抽出された画像構成要素領域のうちある画像構成要素領域(以下、「被包含領域」と称す)の外接矩形が他の画像構成要素領域(以下、「包含領域」と称す)の外接矩形に包含され、かつ前記被包含領域が前記包含領域に所定程度以上近接する場合に、前記包含領域と前記被包含領域とを1つの画像構成要素領域に統合する。
【0012】
また、本発明の一態様では、前記領域統合手段は、前記被包含領域の外接矩形の4辺の各々について、当該辺が前記包含領域と近接するか否かを判定し、所定数の辺が前記包含領域に近接すると判定された場合に、前記被包含領域が前記包含領域に近接すると判定する。
【0013】
また、本発明の一態様では、前記領域統合手段は、前記辺上の各画素について、当該辺に垂直な方向について、当該画素と前記包含領域との間隔が所定間隔以下であるか否かを検査し、当該検査結果に基づき、当該辺が前記包含領域に近接するか否かを判定する。
【0014】
また、本発明の一態様では、前記領域統合手段は、前記辺上の画素のうち前記間隔が所定間隔以下である画素の個数が所定数以上である場合に、当該辺は前記包含領域に近接すると判定する。
【0015】
また、本発明の一態様では、前記領域統合手段は、前記辺上の各画素について、当該辺に垂直な方向について、当該画素と前記包含領域との間隔が所定間隔以下であり、かつ当該画素に対向する前記包含領域の幅が所定幅以上であるか否かを検査し、当該検査結果に基づき、当該辺が前記包含領域に近接するか否かを判定する。
【0016】
また、本発明の一態様では、前記領域統合手段は、前記辺上の画素のうち前記間隔が所定間隔以下であり前記幅が所定幅以上である画素の個数が所定数以上である場合に、当該辺は前記包含領域に近接すると判定する。
【0017】
また、本発明の一態様では、前記領域統合手段は、前記被包含領域の外接矩形が大きくなるほど前記所定間隔が大きくなるように、前記被包含領域の外接矩形の大きさに応じて前記所定間隔を変化させる。
【0018】
また、本発明の一態様では、前記領域統合手段は、前記被包含領域の外接矩形が大きくなるほど前記所定幅が大きくなるように、前記被包含領域の外接矩形の大きさに応じて前記所定幅を変化させる。
【0019】
また、本発明の一態様では、前記領域統合手段は、前記抽出された画像構成要素領域のうちの2つの画像構成要素領域の外接矩形が互いに重複し、かつ前記2つの画像構成要素領域の特徴が互いに所定程度以上類似する場合に、前記2つの画像構成要素領域を1つの画像構成要素領域に統合する。
【0020】
また、本発明の一態様では、前記領域統合手段は、前記抽出された画像構成要素領域のうちの2つの画像構成要素領域の外接矩形が互いに所定程度以上近接し、かつ前記2つの画像構成要素領域の特徴が互いに所定程度以上類似する場合に、前記2つの画像構成要素領域を1つの画像構成要素領域に統合する。
【0021】
本発明に係る画像処理プログラムは、コンピュータに、画像を受け付ける手順と、前記画像の背景色を特定する手順と、前記画像の中から、前記背景色の領域で区画される各領域を、画像構成要素領域として抽出する手順と、前記抽出された画像構成要素領域のうちの少なくとも2つの画像構成要素領域同士の関係が、1つの画像構成要素領域として扱うべき所定の条件を満たす場合に、前記少なくとも2つの画像構成要素領域を1つの画像構成要素領域に統合する手順と、を実行させることを特徴とする。
【0022】
本発明の一態様では、前記統合する手順では、前記抽出された画像構成要素領域のうちある画像構成要素領域(以下、「被包含領域」と称す)の外接矩形が他の画像構成要素領域(以下、「包含領域」と称す)の外接矩形に包含され、かつ前記被包含領域が前記包含領域に所定程度以上近接する場合に、前記包含領域と前記被包含領域とを1つの画像構成要素領域に統合する。
【0023】
また、本発明の一態様では、前記統合する手順では、前記抽出された画像構成要素領域のうちの2つの画像構成要素領域の外接矩形が互いに重複し、かつ前記2つの画像構成要素領域の特徴が互いに所定程度以上類似する場合に、前記2つの画像構成要素領域を1つの画像構成要素領域に統合する。
【0024】
また、本発明の一態様では、前記統合する手順では、前記抽出された画像構成要素領域のうちの2つの画像構成要素領域の外接矩形が互いに所定程度以上近接し、かつ前記2つの画像構成要素領域の特徴が互いに所定程度以上類似する場合に、前記2つの画像構成要素領域を1つの画像構成要素領域に統合する。
【発明の効果】
【0025】
請求項1に記載の発明によれば、背景領域で分断されているが1つの領域として扱うべき複数の領域を1つの画像構成要素領域として抽出することが可能となる。
【0026】
請求項2に記載の発明によれば、背景領域で分断された互いに近接する外周領域と内部領域とを1つの画像構成要素領域として抽出することが可能となる。
【0027】
請求項3に記載の発明によれば、被包含領域の外接矩形の各辺が包含領域に近接するかを判定することにより、被包含領域が包含領域に近接するか否かを簡単に判定することが可能となる。
【0028】
請求項4に記載の発明によれば、辺上の各画素と包含領域との間隔が所定間隔であるか否かを検査することにより、辺が包含領域に近接するか否かを簡単に判定することが可能となる。
【0029】
請求項5に記載の発明によれば、辺上の画素のうち上記間隔が所定間隔以下である画素の個数に応じて、辺が包含領域に近接するか否かを判定することが可能となる。
【0030】
請求項6に記載の発明によれば、辺上の各画素と包含領域との間隔と、辺上の各画素に対向する包含領域の幅とを考慮して、辺が包含領域に近接するか否かを判定することが可能となる。
【0031】
請求項7に記載の発明によれば、辺上の画素のうち上記間隔が所定間隔以下であり上記幅が所定幅以上である画素の個数に応じて、辺が包含領域に近接するか否かを判定することが可能となる。
【0032】
請求項8に記載の発明によれば、被包含領域の大きさに応じた適切な所定間隔を設定することが可能となる。
【0033】
請求項9に記載の発明によれば、被包含領域の大きさに応じた適切な所定幅を設定することが可能となる。
【0034】
請求項10に記載の発明によれば、背景領域で分断された、互いに外接矩形が重複し、かつ互いに特徴が類似する2つの領域を1つの画像構成要素領域として抽出することが可能となる。
【0035】
請求項11に記載の発明によれば、背景領域で分断された、互いに外接矩形が近接し、かつ互いに特徴が類似する2つの領域を1つの画像構成要素領域として抽出することが可能となる。
【0036】
請求項12に記載の発明によれば、背景領域で分断されているが1つの領域として扱うべき複数の領域を1つの画像構成要素領域として抽出することが可能となる。
【0037】
請求項13に記載の発明によれば、背景領域で分断された互いに近接する外周領域と内部領域とを1つの画像構成要素領域として抽出することが可能となる。
【0038】
請求項14に記載の発明によれば、背景領域で分断された、互いに外接矩形が重複し、かつ互いに特徴が類似する2つの領域を1つの画像構成要素領域として抽出することが可能となる。
【0039】
請求項15に記載の発明によれば、背景領域で分断された、互いに外接矩形が近接し、かつ互いに特徴が類似する2つの領域を1つの画像構成要素領域として抽出することが可能となる。
【発明を実施するための最良の形態】
【0040】
以下、本発明の実施の形態を図面に従って説明する。
【0041】
図1は、本実施の形態に係る画像処理装置10の構成の一例を示すブロック図である。この画像処理装置10は、処理対象の画像の中から画像構成要素の領域(すなわち画像構成要素領域)を抽出する装置である。以下の説明では、画像構成要素を「画像オブジェクト」と称し、画像構成要素領域を「画像オブジェクト領域」と称す。
【0042】
画像処理装置10は、一つの態様では、ハードウェア資源とソフトウェアとの協働により実現され、例えばコンピュータである。具体的には、画像処理装置10の機能は、記録媒体に記録された画像処理プログラムがメインメモリに読み出されてCPU(Central Processing Unit)により実行されることによって実現される。上記画像処理プログラムは、CD−ROM等のコンピュータ読み取り可能な記録媒体に記録されて提供されることも可能であるし、データ信号として通信により提供されることも可能である。ただし、画像処理装置10は、ハードウェアのみにより実現されてもよい。また、画像処理装置10は、物理的に1つの装置により実現されてもよいし、複数の装置により実現されてもよい。
【0043】
図1に示されるように、画像処理装置10は、画像受付部11、背景色特定部12、領域抽出部13、領域統合部14、および画像オブジェクト出力部15を有する。
【0044】
画像受付部11は、処理対象の画像(以下、「入力画像」と称す)を受け付ける。入力画像は、一つの態様では、複数の色成分を有するカラー画像であり、例えば、赤(R)、緑(G)、青(B)の3つの色成分を含む。また、入力画像は、例えば、水平方向および垂直方向にマトリクス状に複数の画素が配列されてなる画像データであり、各画素は、各色の階調値を有する。具体的な一態様では、入力画像は、RGB各色8ビットのビットマップ画像データである。入力画像は、例えば、原稿の画像を光学的に読み取る画像読取装置により生成された画像データである。ただし、入力画像は、各種の記録媒体に記録された画像データなどであってもよい。
【0045】
背景色特定部12は、画像受付部11により受け付けられた入力画像の背景色を特定する。背景色特定部12は、特定の1つの色を背景色として特定してもよいし、色空間における特定の範囲の色を背景色として特定してもよい。背景色特定部12は、様々な方法により背景色を特定することができるが、例えば、入力画像において出現頻度が最も高い色、または当該色から所定範囲内の色を背景色として特定する。
【0046】
領域抽出部13は、上記入力画像の中から、上記背景色の領域(すなわち背景領域)で区画される各領域を、画像オブジェクト領域として抽出する。一つの態様では、領域抽出部13は、入力画像の画素を背景色の画素と背景色以外の画素とに分類することにより、入力画像を2値画像に変換する。例えば、領域抽出部13は、背景色の画素の画素値を「0」とし、背景色以外の画素の画素値を「1」として、図2に示されるフルカラーの入力画像から、図3に示される2値画像を生成する。図3では、画素値「0」の領域は白色で表現され、画素値「1」の領域は黒色で表現されている。ついで、領域抽出部13は、上記2値画像中の背景色以外の画素の各連結成分の領域を、画像オブジェクト領域として抽出する。ここで、連結成分とは、2値画像中で、同じ値を持つ画素が互いに連結して一つの塊を形成しているものである。具体的な一態様では、領域抽出部13は、上記2値画像に対してラベリング処理を行って、ラベリング画像を生成する。ここで、ラベリング処理とは、2値画像中の各連結成分の画素に対し、連結成分毎に異なるラベルを割り当てる処理である。例えば、領域抽出部13は、図3の2値画像に対してラベリング処理を行って、図4に示されるラベリング画像を生成する。図4では、各連結成分の画素には、連結成分毎に異なるラベル番号1,2,3,4が割り当てられており、互いに異なるラベル番号が付与された領域は、互いに異なるハッチングで表現されている。同一のラベル番号が割り当てられた画素群の領域が、それぞれ画像オブジェクト領域に対応する。すなわち、図4の例では、ラベル番号1〜4の4つの画像オブジェクト領域が抽出されている。なお、図4において、白抜き文字「D」の外周領域および内部領域は、本来1つの画像オブジェクト領域として扱われるべきであるが、背景領域で分断されてラベル番号3,4の別々の画像オブジェクト領域として抽出されている。このように、領域抽出部13の抽出処理では、白抜き文字の外周領域および内部領域など、背景領域で分断されているが1つの領域として扱うべき領域は、背景色以外の画素が連結しないため、同一領域として抽出されない。
【0047】
領域統合部14は、領域抽出部13により抽出された画像オブジェクト領域のうちの少なくとも2つの画像オブジェクト領域同士の関係が、1つの画像オブジェクト領域として扱うべき所定の条件を満たす場合に、上記少なくとも2つの画像オブジェクト領域を1つの画像オブジェクト領域に統合する。
【0048】
上記所定の条件は、例えば、どのような場合に画像オブジェクト領域を統合すべきかに応じて、また、どのような場合に画像オブジェクト領域を統合すべきでないかに応じて、予め設定される。当該所定の条件は、例えば、画像オブジェクト領域同士の位置関係に関する条件や、画像オブジェクト領域同士の特徴の類似度合いに関する条件などを含む。なお、当該所定の条件の具体例については、後に詳しく説明する。
【0049】
画像オブジェクト領域の統合に関し、一つの態様では、領域統合部14は、少なくとも2つの画像オブジェクト領域を統合する場合、これらの画像オブジェクト領域のラベル番号を共通のラベル番号に統一し、統一後のラベリング画像を処理結果として出力する。例えば、領域統合部14は、図4の白抜き文字「D」の2つの画像オブジェクト領域を統合する場合、ラベル番号4の画素にラベル番号3を振りなおして、図5に示されるラベリング画像を処理結果として出力する。別の態様では、領域統合部14は、少なくとも2つの画像オブジェクト領域を統合する場合、その旨を示す情報を処理結果として出力する。例えば、領域統合部14は、図4の白抜き文字「D」の2つの画像オブジェクト領域を統合する場合、ラベル番号3,4の画像オブジェクト領域を1つの画像オブジェクト領域に統合する旨を示す統合情報を、処理結果として出力する。
【0050】
画像オブジェクト出力部15は、領域抽出部13および領域統合部14の処理結果に基づき、画像オブジェクトまたは画像オブジェクトを生成するための情報を出力する。
【0051】
一つの態様では、画像オブジェクト出力部15は、画像オブジェクトを生成するための情報として、画像オブジェクト毎に、マスク画像および切り取り画像を出力する。ここで、マスク画像は、画像オブジェクト領域の外接矩形で区画され、画像オブジェクトの形状を表す2値画像である。例えば、マスク画像は、背景領域の画素に画素値「0」が付与され、画像オブジェクト領域の画素に画素値「1」が付与された画像である。また、切り取り画像は、画像オブジェクト領域の外接矩形で入力画像を切り取って得られる画像である。例えば、画像オブジェクト出力部15は、図5のラベリング画像から、または図4のラベリング画像と統合情報とから、図6に示される3つのマスク画像21〜23を生成し、図2の入力画像と図5のラベリング画像とから図7に示される3つのフルカラーの切り取り画像31〜33を生成する。
【0052】
別の態様では、画像オブジェクト出力部15は、上記マスク画像および切り取り画像に基づき画像オブジェクトを生成して出力する。具体的には、マスク画像と切り取り画像とのアンドをとり、すなわち切り取り画像をマスク画像でマスクして、画像オブジェクトを生成する。例えば、画像オブジェクト出力部15は、図7の3つの切り取り画像31〜33をそれぞれ図6の3つのマスク画像21〜23でマスクして、図8に示される3つのフルカラーの画像オブジェクト41〜43を生成する。
【0053】
なお、仮に領域統合部14による統合処理が実施されない場合には、例えば、図4に示されるラベリング画像から図9に示される4つのマスク画像51〜54が生成されることになる。すなわち、白抜き文字「D」の外周と内部とは、別々の画像オブジェクトとして抽出されることになる。
【0054】
図10は、本実施の形態に係る画像処理装置10の動作の一例を示すフローチャートである。以下、図10を参照して、画像処理装置10の動作の一例を説明する。
【0055】
画像処理装置10は、入力画像(例えば24ビットフルカラー画像データ)を受け付ける(S1)。
【0056】
ついで、画像処理装置10は、入力画像の背景色を特定する(S2)。
【0057】
ついで、画像処理装置10は、入力画像の中から、背景色の領域で区画される各領域を、画像オブジェクト領域として抽出する(S3)。すなわち、画像処理装置10は、背景上の画像オブジェクト領域を検出する。
【0058】
ついで、画像処理装置10は、上記抽出された画像オブジェクト領域について、画像オブジェクト領域の統合処理を行う(S4)。すなわち、画像処理装置10は、上記抽出された画像オブジェクト領域のうちの少なくとも2つの画像オブジェクト領域同士の関係が、1つの画像オブジェクト領域として扱うべき所定の条件を満たす場合に、当該少なくとも2つの画像オブジェクト領域を1つの画像オブジェクト領域に統合する。
【0059】
そして、画像処理装置10は、ステップS3およびS4の処理結果に基づき、画像オブジェクトまたは画像オブジェクトを生成するための情報を出力する(S5)。
【0060】
以下、領域統合部14の処理、すなわち上記ステップS4の統合処理の具体例として、第1〜第3の具体例を示す。
【0061】
[第1の具体例]
上述のとおり、白抜き文字の外周領域と内部領域は、領域抽出部13により別々の画像オブジェクト領域として抽出される。しかし、白抜き文字の外周と内部とは両方で1つの画像オブジェクトを構成するので、白抜き文字の外周領域と内部領域は、1つの画像オブジェクト領域として抽出されることが望ましい。ここで、白抜き文字において、内部領域の外接矩形は外周領域の外接矩形に包含され、内部領域と外周領域とは互いに近接する。したがって、ある画像オブジェクト領域の外接矩形が他の画像オブジェクト領域の外接矩形に包含され、かつ当該2つの画像オブジェクト領域が互いに近接している場合には、当該2つの画像オブジェクト領域は白抜き文字を構成する可能性が高い。
【0062】
上記の事情等に鑑み、本例では、領域統合部14は、領域抽出部13により抽出された画像オブジェクト領域のうちある画像オブジェクト領域(以下、「被包含領域」と称す)の外接矩形が他の画像オブジェクト領域(以下、「包含領域」と称す)の外接矩形に包含され、かつ被包含領域が包含領域に所定程度以上近接する場合に、包含領域と被包含領域とを1つの画像オブジェクト領域に統合する。
【0063】
具体的には、領域統合部14は、領域抽出部13により抽出された各画像オブジェクト領域の外接矩形を特定し、任意の2つの画像オブジェクト領域の外接矩形の包含関係を調査する。そして、包含関係が成立する場合に、所定の判定基準に従って、当該2つの画像オブジェクト領域同士が近接するか否かを判定し、近接すると判定される場合に、当該2つの画像オブジェクト領域を1つの画像オブジェクト領域に統合する。
【0064】
以下、図11を参照しながら、被包含領域が包含領域に近接するか否かの判定の例を説明する。図11では、白抜き文字「D」の内部領域(被包含領域)51の外接矩形52が、外周領域(包含領域)53の外接矩形54に包囲されている。
【0065】
領域統合部14は、被包含領域51の外接矩形52の4辺の各々について、当該辺が包含領域53と近接するか否かを判定し、所定数の辺が包含領域53に近接すると判定された場合に、被包含領域51が包含領域53に近接すると判定する。
【0066】
ここで、上記所定数は、例えば、アルファベット、数字、漢字など、どのような文字の白抜き文字を考慮するか、図12のような白抜き文字の画像端部Eとの接触を考慮するかなどに応じて適宜に設定されればよい。例えば、白抜き文字である可能性が非常に高い場合に限り統合したい場合には「4」が設定され、白抜き文字の画像端部との接触等を考慮する場合には「3」が設定され、漢字の白抜き文字を考慮する場合には「2」が設定され、出来るだけ漏れなく統合したい場合には「1」が設定される。また、例えば図13に示される漢字「田」などの白抜き文字などを考慮して、具体的な一態様では、領域統合部14は、被包含領域の外接矩形の4辺のうち互いに直交する少なくとも2つの辺が包含領域に近接すると判定された場合に、被包含領域が包含領域に近接すると判定する。すなわち、画像の水平方向に平行な2辺のうち少なくとも1辺が包含領域に近接し、かつ画像の垂直方向に平行な2辺のうち少なくとも1辺が包含領域に近接すると判定された場合に、両領域が近接すると判定する。
【0067】
上記被包含領域の外接矩形の各辺が包含領域に近接するか否かの判定は、適宜の方法で行われればよいが、例えば以下のように行われる。
【0068】
領域統合部14は、外接矩形52の辺上の各画素について、当該辺に垂直な方向について、当該画素と包含領域53との間隔が所定間隔以下であるか否かを検査し、当該検査結果に基づき、当該辺が包含領域53に近接するか否かを判定する。
【0069】
例えば、領域統合部14は、辺上の画素のうち上記間隔が所定間隔以下である画素の個数が所定数以上である場合に、当該辺は包含領域53に近接すると判定する。上記所定数は、辺上の画素の総個数(すなわち辺の長さ)に応じて変化してもよく、例えば、辺上の画素の総個数に所定の割合を乗じて得られる数である。
【0070】
ここで、白抜き文字のサイズが大きいほど、被包含領域51の外接矩形52のサイズは大きくなり、被包含領域51と包含領域53との間隔も大きくなると考えられる。当該事情等を考慮して、一つの態様では、領域統合部14は、被包含領域51の外接矩形52が大きくなるほど上記所定間隔が大きくなるように、被包含領域51の外接矩形52の大きさに応じて上記所定間隔を変化させる。
【0071】
具体的な一態様では、領域統合部14は、図11において破線矢印で示されるように、外接矩形52の辺上の各画素から、当該辺に垂直に被包含領域51から離れる方向に所定画素数分だけ走査し、包含領域53に到達するか否かを検査し、当該検査結果に基づき、当該辺が包含領域53に近接するか否かを判定する。例えば、走査した本数のうち、所定本数(または所定割合)以上が包含領域53に到達した場合に、当該辺が包含領域53に近接すると判定する。領域統合部14は、被包含領域51の外接矩形52の大きさに応じて、上記走査する画素数を変化させる。
【0072】
ところで、入力画像に表が含まれる場合、表の枠と、表の枠内の文字とは、互いに包含関係を有するが、別々の画像オブジェクトとして抽出したい場合がある。すなわち、白抜き文字の外周と内部とは統合したいが、表の枠と枠内の文字とは統合したくない、という要望がある。
【0073】
上記の事情等を考慮して、一つの態様では、領域統合部14は、外接矩形52の辺上の各画素から包含領域53までの間隔と、外接矩形52の辺上の各画素に対向する包含領域53の幅とに基づいて、当該辺が包含領域53に近接するか否かを判定する。具体的には、領域統合部14は、外接矩形52の辺上の各画素について、当該辺に垂直な方向について、当該画素と包含領域53との間隔が所定間隔以下であり、かつ当該画素に対向する包含領域53の幅が所定幅以上であるか否かを検査し、当該検査結果に基づき、当該辺が包含領域53に近接するか否かを判定する。例えば、領域統合部14は、外接矩形52の辺上の画素のうち上記間隔が所定間隔以下であり上記幅が所定幅以上である画素の個数が所定数以上である場合に、当該辺は包含領域53に近接すると判定する。当該態様においても、上記所定数は、辺上の画素の総個数(すなわち辺の長さ)に応じて変化してよく、例えば、辺上の画素の総個数に所定の割合を乗じて得られる数である。また、当該態様においても、領域統合部14は、被包含領域51の外接矩形52が大きくなるほど上記所定間隔が大きくなるように、被包含領域51の外接矩形52の大きさに応じて上記所定間隔を変化させてもよい。
【0074】
表のサイズが大きいほど、枠内の文字の領域である被包含領域の外接矩形のサイズは大きくなり、表の枠線の幅も大きくなると考えられる。当該事情等を考慮して、一つの態様では、領域統合部14は、被包含領域51の外接矩形52が大きくなるほど上記所定幅が大きくなるように、被包含領域51の外接矩形52の大きさに応じて上記所定幅を変化させる。
【0075】
具体的な一態様では、領域統合部14は、図14に示されるように、外接矩形52の辺上の各画素から、当該辺に垂直に被包含領域51から離れる方向に所定画素数分だけ走査し、包含領域53に到達するか否かを検査する。さらに、領域統合部14は、上記各走査において、包含領域53に到達したあと、図14の実線矢印のように、さらに所定画素数分だけ追加走査し、追加走査が包含領域53から抜け出るか否かを検査し、当該検査結果に基づき、当該辺が包含領域53に近接するか否かを判定する。例えば、走査した本数のうち、所定本数(または所定割合)以上が包含領域53に到達し、かつ追加走査が包含領域53から抜け出なかった場合に、当該辺が包含領域53に近接すると判定する。領域統合部14は、被包含領域51の外接矩形52の大きさに応じて、上記最初に走査する画素数と、上記追加走査する画素数とを変化させる。
【0076】
図15は、第1の具体例に係る統合処理の一例を示すフローチャートである。以下、図15を参照して、第1の具体例に係る統合処理の一例を説明する。
【0077】
画像処理装置10は、抽出された各画像オブジェクト領域の外接矩形を特定する(S11)。
【0078】
ついで、画像処理装置10は、抽出された画像オブジェクト領域の中から2つの画像オブジェクト領域を選択し、当該2つの画像オブジェクト領域の外接矩形の間に包含関係があるか否かを判定する(S12)。
【0079】
そして、包含関係があると判定された場合(S12:YES)、画像処理装置10は、被包含領域が包含領域と近接するか否かを判定する(S13)。具体的には、画像処理装置10は、被包含領域の外接矩形の各辺上の各画素から水平方向および垂直方向に走査を行い、被包含領域の外接矩形の各辺が包含領域と近接するか否かを判定し、4辺とも包含領域と近接すると判定された場合には、被包含領域が包含領域と近接すると判定し、そうでない場合には近接しないと判定する。
【0080】
被包含領域が包含領域と近接すると判定された場合(S13:YES)、画像処理装置10は、被包含領域と包含領域とを1つの画像オブジェクト領域に統合し(S14)、処理をステップS15に進める。
【0081】
一方、ステップS12で包含関係がないと判定された場合(S12:NO)、およびステップS13で被包含領域が包含領域と近接しないと判定された場合(S13:NO)、画像所理装置10は、上記統合処理を行うことなく、処理をステップS15に進める。
【0082】
ステップS15では、画像処理装置10は、すべての画像オブジェクト領域の組み合わせについて上記ステップS12〜S14の処理が終了したか否かを判断し、終了していない場合には(S15:NO)、処理をステップS12に戻し、終了している場合には(S15:YES)、処理を終了させる。
【0083】
例えば、図11の例では、被包含領域51の外接矩形52は包含領域53の外接矩形54に包含されており、かつ外接矩形52は4方向で包含領域53に近接しているので、上記統合処理により、被包含領域51と包含領域53とは統合される。
【0084】
一方、図16の例では、円グラフの3つの数値画像の領域の外接矩形61〜63は、円グラフ画像の領域の外接矩形64に包含されているが、外接矩形61〜63は4方向では円グラフ画像の領域に近接していないので、上記統合処理により、3つの数値画像の領域は円グラフ画像の領域に統合されない。
【0085】
[第2の具体例]
図17には、入力画像に含まれる図柄の一例が示されている。図17において、白色の領域は背景領域を表し、白色領域上の35個の灰色の領域は有色領域を表している。当該35個の有色領域は、領域抽出部13により別々の画像オブジェクト領域として抽出される。しかし、図17では、35個の有色領域が集まって1つの画像オブジェクトを構成しているので、当該35個の有色領域は1つの画像オブジェクト領域として抽出されることが望ましい。ここで、図17のような図柄の場合、各領域の外接矩形は隣接する領域の外接矩形と重複し、かつ当該2つの領域の特徴(色など)は互いに類似する。したがって、2つの画像オブジェクト領域の外接矩形が互いに重複し、かつ当該2つの画像オブジェクト領域の特徴が互いに類似する場合には、当該2つの画像オブジェクト領域は1つの画像オブジェクト領域を構成する可能性が高い。
【0086】
上記の事情等に鑑み、本例では、領域統合部14は、領域抽出部13により抽出された画像オブジェクト領域のうちの2つの画像オブジェクト領域の外接矩形が互いに重複し、かつ当該2つの画像オブジェクト領域の特徴が互いに所定程度以上類似する場合に、当該2つの画像オブジェクト領域を1つの画像オブジェクト領域に統合する。
【0087】
具体的には、領域統合部14は、領域抽出部13により抽出された各画像オブジェクト領域の外接矩形を特定し、任意の2つの画像オブジェクト領域の外接矩形について重複関係を調査する。そして、重複関係が成立する場合に、当該2つの画像オブジェクト領域の特徴量を求め、当該2つの特徴量を比較し、当該比較の結果に応じて、当該2つの画像オブジェクト領域を1つの画像オブジェクト領域に統合する。具体的には、領域統合部14は、所定の判定基準に従って、当該2つの特徴量が類似するか否かを判定し、類似すると判定された場合に、当該2つの画像オブジェクト領域を1つの画像オブジェクト領域に統合する。
【0088】
一つの態様では、上記特徴量は、画像オブジェクト領域に係る画像オブジェクトの色情報、画像オブジェクト領域の外接矩形の大きさ、画像オブジェクト領域の形状、画像オブジェクト領域が外接矩形内に占める割合、画像オブジェクト領域に係る画像オブジェクトの属性情報(均一色領域か写真領域かなど)の少なくとも1つである。ただし、特徴量としては、上記以外のものが使用されてもよい。
【0089】
図18は、第2の具体例に係る統合処理の一例を示すフローチャートである。以下、図18を参照して、第2の具体例に係る統合処理の一例を説明する。
【0090】
画像処理装置10は、抽出された各画像オブジェクト領域の外接矩形を特定する(S21)。
【0091】
ついで、画像処理装置10は、抽出された画像オブジェクト領域の中から2つの画像オブジェクト領域を選択し、当該2つの画像オブジェクト領域の外接矩形の間に重複関係があるか否かを判定する(S22)。
【0092】
そして、重複関係があると判定された場合(S22:YES)、画像処理装置10は、当該2つの画像オブジェクト領域の特徴量が互いに類似するか否かを判定する(S23)。
【0093】
特徴量が類似すると判定された場合(S23:YES)、画像処理装置10は、当該2つの画像オブジェクト領域を1つの画像オブジェクト領域に統合し(S24)、処理をステップS25に進める。
【0094】
一方、ステップS22で重複関係がないと判定された場合(S22:NO)、およびステップS23で特徴量が類似しないと判定された場合(S23:NO)、画像所理装置10は、上記統合処理を行うことなく、処理をステップS25に進める。
【0095】
ステップS25では、画像処理装置10は、すべての画像オブジェクト領域の組み合わせについて上記ステップS22〜S24の処理が終了したか否かを判断し、終了していない場合には(S25:NO)、処理をステップS22に戻し、終了している場合には(S25:YES)、処理を終了させる。
【0096】
上記処理により、例えば図17の図柄の35個の画像オブジェクト領域は、1つの画像オブジェクト領域に統合される。
【0097】
[第3の具体例]
図19には、入力画像に含まれる図柄の一例が示されている。図19において、白色の領域は背景領域を表し、白色領域上の5個の灰色領域は有色領域を表している。当該5個の有色領域は、領域抽出部13により別々の画像オブジェクト領域として抽出される。しかし、図19では、5個の有色領域が集まって1つの画像オブジェクトを構成しているので、当該5個の有色領域は1つの画像オブジェクト領域として抽出されることが望ましい。ここで、図19のような図柄の場合、各領域の外接矩形は隣接する領域の外接矩形と近接し、かつ当該2つの領域の特徴(色など)は互いに類似する。したがって、2つの画像オブジェクト領域の外接矩形が互いに近接し、かつ当該2つの画像オブジェクト領域の特徴が互いに類似する場合には、当該2つの画像オブジェクト領域は1つの画像オブジェクト領域を構成する可能性が高い。
【0098】
上記の事情等に鑑み、本例では、領域統合部14は、領域抽出部13により抽出された画像オブジェクト領域のうちの2つの画像オブジェクト領域の外接矩形が互いに所定程度以上近接し、かつ当該2つの画像オブジェクト領域の特徴が互いに所定程度以上類似する場合に、当該2つの画像オブジェクト領域を1つの画像オブジェクト領域に統合する。
【0099】
一つの態様では、領域統合部14は、領域抽出部13により抽出された各画像オブジェクト領域の外接矩形を特定し、任意の2つの画像オブジェクト領域の外接矩形の近接度合いと、当該2つの画像オブジェクト領域の各々の特徴量とを求め、当該近接度合いと特徴量とに応じて、当該2つの画像オブジェクト領域を1つの画像オブジェクト領域に統合する。例えば、領域統合部14は、2つの特徴量の類似度合いを求め、外接矩形の近接度合いXが所定値X1以上であり、かつ特徴量の類似度合いYが所定値Y1以上である場合に、2つの画像オブジェクト領域を統合する。この場合、近接度合いXが大きくなるほど所定値Y1が小さくなるように、近接度合いXに応じて所定値Y1を変化させてもよい。また、類似度合いYが大きくなるほど所定値X1が小さくなるように、類似度合いYに応じて所定値X1を変化させてもよい。また、領域統合部14は、近接度合いXと類似度合いYとの積X・Yが所定値K以上である場合に、2つの画像オブジェクト領域を統合するようにしてもよい。上記近接度合いXは、例えば、水平および垂直方向の外接矩形間の距離、水平および垂直方向の外接矩形の重複幅(または重複の度合い)に基づき算出される。
【0100】
別の態様では、領域統合部14は、領域抽出部13により抽出された各画像オブジェクト領域の外接矩形を特定し、任意の2つの画像オブジェクト領域の外接矩形について所定距離内で近接する近接関係を調査する。そして、近接関係が成立する場合に、当該2つの画像オブジェクト領域の特徴量を求め、当該2つの特徴量を比較し、当該比較の結果に応じて、当該2つの画像オブジェクト領域を1つの画像オブジェクト領域に統合する。具体的には、領域統合部14は、所定の判定基準に従って、当該2つの特徴量が類似するか否かを判定し、類似すると判定された場合に、当該2つの画像オブジェクト領域を1つの画像オブジェクト領域に統合する。当該態様において、領域統合部14は、近接関係が成立する場合に、2つの特徴量を比較するとともに、2つの画像オブジェクト領域の外接矩形の近接度合いを求め、特徴量の比較結果と近接度合いとに応じて、当該2つの画像オブジェクト領域を1つの画像オブジェクト領域に統合してもよい。
【0101】
上記特徴量は、一つの態様では、画像オブジェクト領域に係る画像オブジェクトの色情報、画像オブジェクト領域の外接矩形の大きさ、画像オブジェクト領域の形状、画像オブジェクト領域が外接矩形内に占める割合、画像オブジェクト領域に係る画像オブジェクトの属性情報(均一色領域か写真領域かなど)の少なくとも1つである。ただし、特徴量としては、上記以外のものが使用されてもよい。
【0102】
図20は、第3の具体例に係る統合処理の一例を示すフローチャートである。以下、図20を参照して、第3の具体例に係る統合処理の一例を説明する。
【0103】
画像処理装置10は、抽出された各画像オブジェクト領域の外接矩形を特定する(S31)。
【0104】
ついで、画像処理装置10は、抽出された画像オブジェクト領域の中から2つの画像オブジェクト領域を選択し、当該2つの画像オブジェクト領域の外接矩形の間に近接関係があるか否かを判定する(S32)。例えば、画像処理装置10は、外接矩形間の距離を算出し、当該距離が所定値以下であるか否かを判定する。
【0105】
そして、近接関係があると判定された場合(S32:YES)、画像処理装置10は、当該2つの画像オブジェクト領域の特徴量を求める(S33)。また、画像処理装置10は、当該2つの画像オブジェクト領域の外接矩形の近接度合いを求める(S34)。
【0106】
ついで、画像処理装置10は、上記特徴量と近接度合いとに基づき、当該2つの画像オブジェクト領域を統合すべきか否かを判定する(S35)。例えば、画像処理装置10は、特徴量の類似度合いを算出し、当該類似度合いと近接度合いとの積が所定値以下であるか否かを判定する。
【0107】
そして、統合すべきと判定された場合(S35:YES)、画像処理装置10は、当該2つの画像オブジェクト領域を1つの画像オブジェクト領域に統合し(S36)、処理をステップS37に進める。
【0108】
一方、ステップS32で近接関係がないと判定された場合(S32:NO)、およびステップS35で統合すべきでないと判定された場合(S35:NO)、画像所理装置10は、上記統合処理を行うことなく、処理をステップS37に進める。
【0109】
ステップS37では、画像処理装置10は、すべての画像オブジェクト領域の組み合わせについて上記ステップS32〜S36の処理が終了したか否かを判断し、終了していない場合には(S37:NO)、処理をステップS32に戻し、終了している場合には(S37:YES)、処理を終了させる。
【0110】
上記処理により、例えば図19の図柄の5個の画像オブジェクト領域は、1つの画像オブジェクト領域に統合される。
【0111】
なお、本発明は、上記実施の形態に限定されるものではなく、本発明の要旨を逸脱しない範囲内で種々変更することができる。
【図面の簡単な説明】
【0112】
【図1】実施の形態に係る画像処理装置の構成の一例を示すブロック図である。
【図2】入力画像の一例を示す図である。
【図3】図2の画像を背景色で2値化して得られる2値画像の一例を示す図である。
【図4】図3の画像をラベリング処理して得られるラベリング画像の一例を示す図である。
【図5】図4の画像に統合処理して得られるラベリング画像の一例を示す図である。
【図6】マスク画像の一例を示す図である。
【図7】切り取り画像の一例を示す図である。
【図8】画像オブジェクトの一例を示す図である。
【図9】統合処理が実施されない場合におけるマスク画像の一例を示す図である。
【図10】実施の形態に係る画像処理装置の動作の一例を示すフローチャートである。
【図11】被包含領域が包含領域に近接するか否かの判定の例を説明するための図である。
【図12】白抜き文字の画像端部との接触の一例を示す図である。
【図13】漢字「田」の白抜き文字の一例を示す図である。
【図14】包含領域への走査と追加走査とを説明するための図である。
【図15】第1の具体例に係る統合処理の一例を示すフローチャートである。
【図16】第1の具体例に係る統合処理を説明するための図である。
【図17】第2の具体例を説明するための、入力画像に含まれる図柄の一例を示す図である。
【図18】第2の具体例に係る統合処理の一例を示すフローチャートである。
【図19】第3の具体例を説明するための、入力画像に含まれる図柄の一例を示す図である。
【図20】第3の具体例に係る統合処理の一例を示すフローチャートである。
【符号の説明】
【0113】
10 画像処理装置、11 画像受付部、12 背景色特定部、13 領域抽出部、14 領域統合部、15 画像オブジェクト出力部。
【技術分野】
【0001】
本発明は、画像処理装置および画像処理プログラムに関する。
【背景技術】
【0002】
画像から画像構成要素(画像オブジェクトとも呼ばれる)の領域を抽出する技術が知られている。
【0003】
特許文献1には、文書画像の背景色を特定し、当該背景色を用いて当該文書画像から背景領域以外の画素を抽出し、当該画素を統合して連結成分を生成し、当該連結成分を少なくとも形状特徴を用いて所定の領域に分類して、当該文書画像の領域識別の結果を得る方法が記載されている。
【0004】
特許文献2には、画像内の同色領域を抽出する方法であって、ある一定の大きさの探索ブロックを画像内でラスタスキャンし、当該探索ブロック内の画素の分散を求め、分散がある閾値を下回るときに当該探索ブロックを種ブロックとし、種ブロックを基準に周りの画素が種ブロックと同色領域がどうかを画素単位で判定していき、同色領域を抽出していく方法が記載されている。
【0005】
特許文献3には、入力画像の読み取り情報に基づいて、入力画像の同一とみなす色の範囲を設定し、当該設定された色の範囲の連結画素に同一ラベルを付すことにより、入力画像のラベリングを行う技術が記載されている。ここで、上記入力画像の読み取り情報は、入力画像の色数、読み取り解像度、輝度値、彩度、隣接画素間の色差、色の分散などである。
【0006】
特許文献4には、画像全体を、特徴量の均一性がある部分は領域を大きく、均一性が無い部分は領域を小さくして複数に分割し、当該分割した領域を対象として、その各領域の中で大きな領域を起点領域として選択し、当該起点領域の周辺にある領域でその特徴量が起点領域の特徴量に類似する領域を起点領域に統合して一つの分割領域を形成し、これを未統合の領域を対象として繰り返し行うことで複数の分割領域を形成する方法が記載されている。
【0007】
【特許文献1】特開2001−297303号公報
【特許文献2】特開2000−132680号公報
【特許文献3】特開2000−172849号公報
【特許文献4】特開2002−032763号公報
【発明の開示】
【発明が解決しようとする課題】
【0008】
ところで、画像の中から、背景色の領域で区画される各領域を、画像構成要素領域として抽出する場合、1つの領域として扱うべき複数の領域が別々の画像構成要素領域として抽出されることがある。
【0009】
本発明は、背景領域で分断されているが1つの領域として扱うべき複数の領域を1つの画像構成要素領域として抽出することが可能な画像処理装置および画像処理プログラムを提供することを目的とする。
【課題を解決するための手段】
【0010】
本発明に係る画像処理装置は、画像を受け付ける画像受付手段と、前記画像の背景色を特定する背景色特定手段と、前記画像の中から、前記背景色の領域で区画される各領域を、画像構成要素領域として抽出する領域抽出手段と、前記抽出された画像構成要素領域のうちの少なくとも2つの画像構成要素領域同士の関係が、1つの画像構成要素領域として扱うべき所定の条件を満たす場合に、前記少なくとも2つの画像構成要素領域を1つの画像構成要素領域に統合する領域統合手段と、を有することを特徴とする。
【0011】
本発明の一態様では、前記領域統合手段は、前記抽出された画像構成要素領域のうちある画像構成要素領域(以下、「被包含領域」と称す)の外接矩形が他の画像構成要素領域(以下、「包含領域」と称す)の外接矩形に包含され、かつ前記被包含領域が前記包含領域に所定程度以上近接する場合に、前記包含領域と前記被包含領域とを1つの画像構成要素領域に統合する。
【0012】
また、本発明の一態様では、前記領域統合手段は、前記被包含領域の外接矩形の4辺の各々について、当該辺が前記包含領域と近接するか否かを判定し、所定数の辺が前記包含領域に近接すると判定された場合に、前記被包含領域が前記包含領域に近接すると判定する。
【0013】
また、本発明の一態様では、前記領域統合手段は、前記辺上の各画素について、当該辺に垂直な方向について、当該画素と前記包含領域との間隔が所定間隔以下であるか否かを検査し、当該検査結果に基づき、当該辺が前記包含領域に近接するか否かを判定する。
【0014】
また、本発明の一態様では、前記領域統合手段は、前記辺上の画素のうち前記間隔が所定間隔以下である画素の個数が所定数以上である場合に、当該辺は前記包含領域に近接すると判定する。
【0015】
また、本発明の一態様では、前記領域統合手段は、前記辺上の各画素について、当該辺に垂直な方向について、当該画素と前記包含領域との間隔が所定間隔以下であり、かつ当該画素に対向する前記包含領域の幅が所定幅以上であるか否かを検査し、当該検査結果に基づき、当該辺が前記包含領域に近接するか否かを判定する。
【0016】
また、本発明の一態様では、前記領域統合手段は、前記辺上の画素のうち前記間隔が所定間隔以下であり前記幅が所定幅以上である画素の個数が所定数以上である場合に、当該辺は前記包含領域に近接すると判定する。
【0017】
また、本発明の一態様では、前記領域統合手段は、前記被包含領域の外接矩形が大きくなるほど前記所定間隔が大きくなるように、前記被包含領域の外接矩形の大きさに応じて前記所定間隔を変化させる。
【0018】
また、本発明の一態様では、前記領域統合手段は、前記被包含領域の外接矩形が大きくなるほど前記所定幅が大きくなるように、前記被包含領域の外接矩形の大きさに応じて前記所定幅を変化させる。
【0019】
また、本発明の一態様では、前記領域統合手段は、前記抽出された画像構成要素領域のうちの2つの画像構成要素領域の外接矩形が互いに重複し、かつ前記2つの画像構成要素領域の特徴が互いに所定程度以上類似する場合に、前記2つの画像構成要素領域を1つの画像構成要素領域に統合する。
【0020】
また、本発明の一態様では、前記領域統合手段は、前記抽出された画像構成要素領域のうちの2つの画像構成要素領域の外接矩形が互いに所定程度以上近接し、かつ前記2つの画像構成要素領域の特徴が互いに所定程度以上類似する場合に、前記2つの画像構成要素領域を1つの画像構成要素領域に統合する。
【0021】
本発明に係る画像処理プログラムは、コンピュータに、画像を受け付ける手順と、前記画像の背景色を特定する手順と、前記画像の中から、前記背景色の領域で区画される各領域を、画像構成要素領域として抽出する手順と、前記抽出された画像構成要素領域のうちの少なくとも2つの画像構成要素領域同士の関係が、1つの画像構成要素領域として扱うべき所定の条件を満たす場合に、前記少なくとも2つの画像構成要素領域を1つの画像構成要素領域に統合する手順と、を実行させることを特徴とする。
【0022】
本発明の一態様では、前記統合する手順では、前記抽出された画像構成要素領域のうちある画像構成要素領域(以下、「被包含領域」と称す)の外接矩形が他の画像構成要素領域(以下、「包含領域」と称す)の外接矩形に包含され、かつ前記被包含領域が前記包含領域に所定程度以上近接する場合に、前記包含領域と前記被包含領域とを1つの画像構成要素領域に統合する。
【0023】
また、本発明の一態様では、前記統合する手順では、前記抽出された画像構成要素領域のうちの2つの画像構成要素領域の外接矩形が互いに重複し、かつ前記2つの画像構成要素領域の特徴が互いに所定程度以上類似する場合に、前記2つの画像構成要素領域を1つの画像構成要素領域に統合する。
【0024】
また、本発明の一態様では、前記統合する手順では、前記抽出された画像構成要素領域のうちの2つの画像構成要素領域の外接矩形が互いに所定程度以上近接し、かつ前記2つの画像構成要素領域の特徴が互いに所定程度以上類似する場合に、前記2つの画像構成要素領域を1つの画像構成要素領域に統合する。
【発明の効果】
【0025】
請求項1に記載の発明によれば、背景領域で分断されているが1つの領域として扱うべき複数の領域を1つの画像構成要素領域として抽出することが可能となる。
【0026】
請求項2に記載の発明によれば、背景領域で分断された互いに近接する外周領域と内部領域とを1つの画像構成要素領域として抽出することが可能となる。
【0027】
請求項3に記載の発明によれば、被包含領域の外接矩形の各辺が包含領域に近接するかを判定することにより、被包含領域が包含領域に近接するか否かを簡単に判定することが可能となる。
【0028】
請求項4に記載の発明によれば、辺上の各画素と包含領域との間隔が所定間隔であるか否かを検査することにより、辺が包含領域に近接するか否かを簡単に判定することが可能となる。
【0029】
請求項5に記載の発明によれば、辺上の画素のうち上記間隔が所定間隔以下である画素の個数に応じて、辺が包含領域に近接するか否かを判定することが可能となる。
【0030】
請求項6に記載の発明によれば、辺上の各画素と包含領域との間隔と、辺上の各画素に対向する包含領域の幅とを考慮して、辺が包含領域に近接するか否かを判定することが可能となる。
【0031】
請求項7に記載の発明によれば、辺上の画素のうち上記間隔が所定間隔以下であり上記幅が所定幅以上である画素の個数に応じて、辺が包含領域に近接するか否かを判定することが可能となる。
【0032】
請求項8に記載の発明によれば、被包含領域の大きさに応じた適切な所定間隔を設定することが可能となる。
【0033】
請求項9に記載の発明によれば、被包含領域の大きさに応じた適切な所定幅を設定することが可能となる。
【0034】
請求項10に記載の発明によれば、背景領域で分断された、互いに外接矩形が重複し、かつ互いに特徴が類似する2つの領域を1つの画像構成要素領域として抽出することが可能となる。
【0035】
請求項11に記載の発明によれば、背景領域で分断された、互いに外接矩形が近接し、かつ互いに特徴が類似する2つの領域を1つの画像構成要素領域として抽出することが可能となる。
【0036】
請求項12に記載の発明によれば、背景領域で分断されているが1つの領域として扱うべき複数の領域を1つの画像構成要素領域として抽出することが可能となる。
【0037】
請求項13に記載の発明によれば、背景領域で分断された互いに近接する外周領域と内部領域とを1つの画像構成要素領域として抽出することが可能となる。
【0038】
請求項14に記載の発明によれば、背景領域で分断された、互いに外接矩形が重複し、かつ互いに特徴が類似する2つの領域を1つの画像構成要素領域として抽出することが可能となる。
【0039】
請求項15に記載の発明によれば、背景領域で分断された、互いに外接矩形が近接し、かつ互いに特徴が類似する2つの領域を1つの画像構成要素領域として抽出することが可能となる。
【発明を実施するための最良の形態】
【0040】
以下、本発明の実施の形態を図面に従って説明する。
【0041】
図1は、本実施の形態に係る画像処理装置10の構成の一例を示すブロック図である。この画像処理装置10は、処理対象の画像の中から画像構成要素の領域(すなわち画像構成要素領域)を抽出する装置である。以下の説明では、画像構成要素を「画像オブジェクト」と称し、画像構成要素領域を「画像オブジェクト領域」と称す。
【0042】
画像処理装置10は、一つの態様では、ハードウェア資源とソフトウェアとの協働により実現され、例えばコンピュータである。具体的には、画像処理装置10の機能は、記録媒体に記録された画像処理プログラムがメインメモリに読み出されてCPU(Central Processing Unit)により実行されることによって実現される。上記画像処理プログラムは、CD−ROM等のコンピュータ読み取り可能な記録媒体に記録されて提供されることも可能であるし、データ信号として通信により提供されることも可能である。ただし、画像処理装置10は、ハードウェアのみにより実現されてもよい。また、画像処理装置10は、物理的に1つの装置により実現されてもよいし、複数の装置により実現されてもよい。
【0043】
図1に示されるように、画像処理装置10は、画像受付部11、背景色特定部12、領域抽出部13、領域統合部14、および画像オブジェクト出力部15を有する。
【0044】
画像受付部11は、処理対象の画像(以下、「入力画像」と称す)を受け付ける。入力画像は、一つの態様では、複数の色成分を有するカラー画像であり、例えば、赤(R)、緑(G)、青(B)の3つの色成分を含む。また、入力画像は、例えば、水平方向および垂直方向にマトリクス状に複数の画素が配列されてなる画像データであり、各画素は、各色の階調値を有する。具体的な一態様では、入力画像は、RGB各色8ビットのビットマップ画像データである。入力画像は、例えば、原稿の画像を光学的に読み取る画像読取装置により生成された画像データである。ただし、入力画像は、各種の記録媒体に記録された画像データなどであってもよい。
【0045】
背景色特定部12は、画像受付部11により受け付けられた入力画像の背景色を特定する。背景色特定部12は、特定の1つの色を背景色として特定してもよいし、色空間における特定の範囲の色を背景色として特定してもよい。背景色特定部12は、様々な方法により背景色を特定することができるが、例えば、入力画像において出現頻度が最も高い色、または当該色から所定範囲内の色を背景色として特定する。
【0046】
領域抽出部13は、上記入力画像の中から、上記背景色の領域(すなわち背景領域)で区画される各領域を、画像オブジェクト領域として抽出する。一つの態様では、領域抽出部13は、入力画像の画素を背景色の画素と背景色以外の画素とに分類することにより、入力画像を2値画像に変換する。例えば、領域抽出部13は、背景色の画素の画素値を「0」とし、背景色以外の画素の画素値を「1」として、図2に示されるフルカラーの入力画像から、図3に示される2値画像を生成する。図3では、画素値「0」の領域は白色で表現され、画素値「1」の領域は黒色で表現されている。ついで、領域抽出部13は、上記2値画像中の背景色以外の画素の各連結成分の領域を、画像オブジェクト領域として抽出する。ここで、連結成分とは、2値画像中で、同じ値を持つ画素が互いに連結して一つの塊を形成しているものである。具体的な一態様では、領域抽出部13は、上記2値画像に対してラベリング処理を行って、ラベリング画像を生成する。ここで、ラベリング処理とは、2値画像中の各連結成分の画素に対し、連結成分毎に異なるラベルを割り当てる処理である。例えば、領域抽出部13は、図3の2値画像に対してラベリング処理を行って、図4に示されるラベリング画像を生成する。図4では、各連結成分の画素には、連結成分毎に異なるラベル番号1,2,3,4が割り当てられており、互いに異なるラベル番号が付与された領域は、互いに異なるハッチングで表現されている。同一のラベル番号が割り当てられた画素群の領域が、それぞれ画像オブジェクト領域に対応する。すなわち、図4の例では、ラベル番号1〜4の4つの画像オブジェクト領域が抽出されている。なお、図4において、白抜き文字「D」の外周領域および内部領域は、本来1つの画像オブジェクト領域として扱われるべきであるが、背景領域で分断されてラベル番号3,4の別々の画像オブジェクト領域として抽出されている。このように、領域抽出部13の抽出処理では、白抜き文字の外周領域および内部領域など、背景領域で分断されているが1つの領域として扱うべき領域は、背景色以外の画素が連結しないため、同一領域として抽出されない。
【0047】
領域統合部14は、領域抽出部13により抽出された画像オブジェクト領域のうちの少なくとも2つの画像オブジェクト領域同士の関係が、1つの画像オブジェクト領域として扱うべき所定の条件を満たす場合に、上記少なくとも2つの画像オブジェクト領域を1つの画像オブジェクト領域に統合する。
【0048】
上記所定の条件は、例えば、どのような場合に画像オブジェクト領域を統合すべきかに応じて、また、どのような場合に画像オブジェクト領域を統合すべきでないかに応じて、予め設定される。当該所定の条件は、例えば、画像オブジェクト領域同士の位置関係に関する条件や、画像オブジェクト領域同士の特徴の類似度合いに関する条件などを含む。なお、当該所定の条件の具体例については、後に詳しく説明する。
【0049】
画像オブジェクト領域の統合に関し、一つの態様では、領域統合部14は、少なくとも2つの画像オブジェクト領域を統合する場合、これらの画像オブジェクト領域のラベル番号を共通のラベル番号に統一し、統一後のラベリング画像を処理結果として出力する。例えば、領域統合部14は、図4の白抜き文字「D」の2つの画像オブジェクト領域を統合する場合、ラベル番号4の画素にラベル番号3を振りなおして、図5に示されるラベリング画像を処理結果として出力する。別の態様では、領域統合部14は、少なくとも2つの画像オブジェクト領域を統合する場合、その旨を示す情報を処理結果として出力する。例えば、領域統合部14は、図4の白抜き文字「D」の2つの画像オブジェクト領域を統合する場合、ラベル番号3,4の画像オブジェクト領域を1つの画像オブジェクト領域に統合する旨を示す統合情報を、処理結果として出力する。
【0050】
画像オブジェクト出力部15は、領域抽出部13および領域統合部14の処理結果に基づき、画像オブジェクトまたは画像オブジェクトを生成するための情報を出力する。
【0051】
一つの態様では、画像オブジェクト出力部15は、画像オブジェクトを生成するための情報として、画像オブジェクト毎に、マスク画像および切り取り画像を出力する。ここで、マスク画像は、画像オブジェクト領域の外接矩形で区画され、画像オブジェクトの形状を表す2値画像である。例えば、マスク画像は、背景領域の画素に画素値「0」が付与され、画像オブジェクト領域の画素に画素値「1」が付与された画像である。また、切り取り画像は、画像オブジェクト領域の外接矩形で入力画像を切り取って得られる画像である。例えば、画像オブジェクト出力部15は、図5のラベリング画像から、または図4のラベリング画像と統合情報とから、図6に示される3つのマスク画像21〜23を生成し、図2の入力画像と図5のラベリング画像とから図7に示される3つのフルカラーの切り取り画像31〜33を生成する。
【0052】
別の態様では、画像オブジェクト出力部15は、上記マスク画像および切り取り画像に基づき画像オブジェクトを生成して出力する。具体的には、マスク画像と切り取り画像とのアンドをとり、すなわち切り取り画像をマスク画像でマスクして、画像オブジェクトを生成する。例えば、画像オブジェクト出力部15は、図7の3つの切り取り画像31〜33をそれぞれ図6の3つのマスク画像21〜23でマスクして、図8に示される3つのフルカラーの画像オブジェクト41〜43を生成する。
【0053】
なお、仮に領域統合部14による統合処理が実施されない場合には、例えば、図4に示されるラベリング画像から図9に示される4つのマスク画像51〜54が生成されることになる。すなわち、白抜き文字「D」の外周と内部とは、別々の画像オブジェクトとして抽出されることになる。
【0054】
図10は、本実施の形態に係る画像処理装置10の動作の一例を示すフローチャートである。以下、図10を参照して、画像処理装置10の動作の一例を説明する。
【0055】
画像処理装置10は、入力画像(例えば24ビットフルカラー画像データ)を受け付ける(S1)。
【0056】
ついで、画像処理装置10は、入力画像の背景色を特定する(S2)。
【0057】
ついで、画像処理装置10は、入力画像の中から、背景色の領域で区画される各領域を、画像オブジェクト領域として抽出する(S3)。すなわち、画像処理装置10は、背景上の画像オブジェクト領域を検出する。
【0058】
ついで、画像処理装置10は、上記抽出された画像オブジェクト領域について、画像オブジェクト領域の統合処理を行う(S4)。すなわち、画像処理装置10は、上記抽出された画像オブジェクト領域のうちの少なくとも2つの画像オブジェクト領域同士の関係が、1つの画像オブジェクト領域として扱うべき所定の条件を満たす場合に、当該少なくとも2つの画像オブジェクト領域を1つの画像オブジェクト領域に統合する。
【0059】
そして、画像処理装置10は、ステップS3およびS4の処理結果に基づき、画像オブジェクトまたは画像オブジェクトを生成するための情報を出力する(S5)。
【0060】
以下、領域統合部14の処理、すなわち上記ステップS4の統合処理の具体例として、第1〜第3の具体例を示す。
【0061】
[第1の具体例]
上述のとおり、白抜き文字の外周領域と内部領域は、領域抽出部13により別々の画像オブジェクト領域として抽出される。しかし、白抜き文字の外周と内部とは両方で1つの画像オブジェクトを構成するので、白抜き文字の外周領域と内部領域は、1つの画像オブジェクト領域として抽出されることが望ましい。ここで、白抜き文字において、内部領域の外接矩形は外周領域の外接矩形に包含され、内部領域と外周領域とは互いに近接する。したがって、ある画像オブジェクト領域の外接矩形が他の画像オブジェクト領域の外接矩形に包含され、かつ当該2つの画像オブジェクト領域が互いに近接している場合には、当該2つの画像オブジェクト領域は白抜き文字を構成する可能性が高い。
【0062】
上記の事情等に鑑み、本例では、領域統合部14は、領域抽出部13により抽出された画像オブジェクト領域のうちある画像オブジェクト領域(以下、「被包含領域」と称す)の外接矩形が他の画像オブジェクト領域(以下、「包含領域」と称す)の外接矩形に包含され、かつ被包含領域が包含領域に所定程度以上近接する場合に、包含領域と被包含領域とを1つの画像オブジェクト領域に統合する。
【0063】
具体的には、領域統合部14は、領域抽出部13により抽出された各画像オブジェクト領域の外接矩形を特定し、任意の2つの画像オブジェクト領域の外接矩形の包含関係を調査する。そして、包含関係が成立する場合に、所定の判定基準に従って、当該2つの画像オブジェクト領域同士が近接するか否かを判定し、近接すると判定される場合に、当該2つの画像オブジェクト領域を1つの画像オブジェクト領域に統合する。
【0064】
以下、図11を参照しながら、被包含領域が包含領域に近接するか否かの判定の例を説明する。図11では、白抜き文字「D」の内部領域(被包含領域)51の外接矩形52が、外周領域(包含領域)53の外接矩形54に包囲されている。
【0065】
領域統合部14は、被包含領域51の外接矩形52の4辺の各々について、当該辺が包含領域53と近接するか否かを判定し、所定数の辺が包含領域53に近接すると判定された場合に、被包含領域51が包含領域53に近接すると判定する。
【0066】
ここで、上記所定数は、例えば、アルファベット、数字、漢字など、どのような文字の白抜き文字を考慮するか、図12のような白抜き文字の画像端部Eとの接触を考慮するかなどに応じて適宜に設定されればよい。例えば、白抜き文字である可能性が非常に高い場合に限り統合したい場合には「4」が設定され、白抜き文字の画像端部との接触等を考慮する場合には「3」が設定され、漢字の白抜き文字を考慮する場合には「2」が設定され、出来るだけ漏れなく統合したい場合には「1」が設定される。また、例えば図13に示される漢字「田」などの白抜き文字などを考慮して、具体的な一態様では、領域統合部14は、被包含領域の外接矩形の4辺のうち互いに直交する少なくとも2つの辺が包含領域に近接すると判定された場合に、被包含領域が包含領域に近接すると判定する。すなわち、画像の水平方向に平行な2辺のうち少なくとも1辺が包含領域に近接し、かつ画像の垂直方向に平行な2辺のうち少なくとも1辺が包含領域に近接すると判定された場合に、両領域が近接すると判定する。
【0067】
上記被包含領域の外接矩形の各辺が包含領域に近接するか否かの判定は、適宜の方法で行われればよいが、例えば以下のように行われる。
【0068】
領域統合部14は、外接矩形52の辺上の各画素について、当該辺に垂直な方向について、当該画素と包含領域53との間隔が所定間隔以下であるか否かを検査し、当該検査結果に基づき、当該辺が包含領域53に近接するか否かを判定する。
【0069】
例えば、領域統合部14は、辺上の画素のうち上記間隔が所定間隔以下である画素の個数が所定数以上である場合に、当該辺は包含領域53に近接すると判定する。上記所定数は、辺上の画素の総個数(すなわち辺の長さ)に応じて変化してもよく、例えば、辺上の画素の総個数に所定の割合を乗じて得られる数である。
【0070】
ここで、白抜き文字のサイズが大きいほど、被包含領域51の外接矩形52のサイズは大きくなり、被包含領域51と包含領域53との間隔も大きくなると考えられる。当該事情等を考慮して、一つの態様では、領域統合部14は、被包含領域51の外接矩形52が大きくなるほど上記所定間隔が大きくなるように、被包含領域51の外接矩形52の大きさに応じて上記所定間隔を変化させる。
【0071】
具体的な一態様では、領域統合部14は、図11において破線矢印で示されるように、外接矩形52の辺上の各画素から、当該辺に垂直に被包含領域51から離れる方向に所定画素数分だけ走査し、包含領域53に到達するか否かを検査し、当該検査結果に基づき、当該辺が包含領域53に近接するか否かを判定する。例えば、走査した本数のうち、所定本数(または所定割合)以上が包含領域53に到達した場合に、当該辺が包含領域53に近接すると判定する。領域統合部14は、被包含領域51の外接矩形52の大きさに応じて、上記走査する画素数を変化させる。
【0072】
ところで、入力画像に表が含まれる場合、表の枠と、表の枠内の文字とは、互いに包含関係を有するが、別々の画像オブジェクトとして抽出したい場合がある。すなわち、白抜き文字の外周と内部とは統合したいが、表の枠と枠内の文字とは統合したくない、という要望がある。
【0073】
上記の事情等を考慮して、一つの態様では、領域統合部14は、外接矩形52の辺上の各画素から包含領域53までの間隔と、外接矩形52の辺上の各画素に対向する包含領域53の幅とに基づいて、当該辺が包含領域53に近接するか否かを判定する。具体的には、領域統合部14は、外接矩形52の辺上の各画素について、当該辺に垂直な方向について、当該画素と包含領域53との間隔が所定間隔以下であり、かつ当該画素に対向する包含領域53の幅が所定幅以上であるか否かを検査し、当該検査結果に基づき、当該辺が包含領域53に近接するか否かを判定する。例えば、領域統合部14は、外接矩形52の辺上の画素のうち上記間隔が所定間隔以下であり上記幅が所定幅以上である画素の個数が所定数以上である場合に、当該辺は包含領域53に近接すると判定する。当該態様においても、上記所定数は、辺上の画素の総個数(すなわち辺の長さ)に応じて変化してよく、例えば、辺上の画素の総個数に所定の割合を乗じて得られる数である。また、当該態様においても、領域統合部14は、被包含領域51の外接矩形52が大きくなるほど上記所定間隔が大きくなるように、被包含領域51の外接矩形52の大きさに応じて上記所定間隔を変化させてもよい。
【0074】
表のサイズが大きいほど、枠内の文字の領域である被包含領域の外接矩形のサイズは大きくなり、表の枠線の幅も大きくなると考えられる。当該事情等を考慮して、一つの態様では、領域統合部14は、被包含領域51の外接矩形52が大きくなるほど上記所定幅が大きくなるように、被包含領域51の外接矩形52の大きさに応じて上記所定幅を変化させる。
【0075】
具体的な一態様では、領域統合部14は、図14に示されるように、外接矩形52の辺上の各画素から、当該辺に垂直に被包含領域51から離れる方向に所定画素数分だけ走査し、包含領域53に到達するか否かを検査する。さらに、領域統合部14は、上記各走査において、包含領域53に到達したあと、図14の実線矢印のように、さらに所定画素数分だけ追加走査し、追加走査が包含領域53から抜け出るか否かを検査し、当該検査結果に基づき、当該辺が包含領域53に近接するか否かを判定する。例えば、走査した本数のうち、所定本数(または所定割合)以上が包含領域53に到達し、かつ追加走査が包含領域53から抜け出なかった場合に、当該辺が包含領域53に近接すると判定する。領域統合部14は、被包含領域51の外接矩形52の大きさに応じて、上記最初に走査する画素数と、上記追加走査する画素数とを変化させる。
【0076】
図15は、第1の具体例に係る統合処理の一例を示すフローチャートである。以下、図15を参照して、第1の具体例に係る統合処理の一例を説明する。
【0077】
画像処理装置10は、抽出された各画像オブジェクト領域の外接矩形を特定する(S11)。
【0078】
ついで、画像処理装置10は、抽出された画像オブジェクト領域の中から2つの画像オブジェクト領域を選択し、当該2つの画像オブジェクト領域の外接矩形の間に包含関係があるか否かを判定する(S12)。
【0079】
そして、包含関係があると判定された場合(S12:YES)、画像処理装置10は、被包含領域が包含領域と近接するか否かを判定する(S13)。具体的には、画像処理装置10は、被包含領域の外接矩形の各辺上の各画素から水平方向および垂直方向に走査を行い、被包含領域の外接矩形の各辺が包含領域と近接するか否かを判定し、4辺とも包含領域と近接すると判定された場合には、被包含領域が包含領域と近接すると判定し、そうでない場合には近接しないと判定する。
【0080】
被包含領域が包含領域と近接すると判定された場合(S13:YES)、画像処理装置10は、被包含領域と包含領域とを1つの画像オブジェクト領域に統合し(S14)、処理をステップS15に進める。
【0081】
一方、ステップS12で包含関係がないと判定された場合(S12:NO)、およびステップS13で被包含領域が包含領域と近接しないと判定された場合(S13:NO)、画像所理装置10は、上記統合処理を行うことなく、処理をステップS15に進める。
【0082】
ステップS15では、画像処理装置10は、すべての画像オブジェクト領域の組み合わせについて上記ステップS12〜S14の処理が終了したか否かを判断し、終了していない場合には(S15:NO)、処理をステップS12に戻し、終了している場合には(S15:YES)、処理を終了させる。
【0083】
例えば、図11の例では、被包含領域51の外接矩形52は包含領域53の外接矩形54に包含されており、かつ外接矩形52は4方向で包含領域53に近接しているので、上記統合処理により、被包含領域51と包含領域53とは統合される。
【0084】
一方、図16の例では、円グラフの3つの数値画像の領域の外接矩形61〜63は、円グラフ画像の領域の外接矩形64に包含されているが、外接矩形61〜63は4方向では円グラフ画像の領域に近接していないので、上記統合処理により、3つの数値画像の領域は円グラフ画像の領域に統合されない。
【0085】
[第2の具体例]
図17には、入力画像に含まれる図柄の一例が示されている。図17において、白色の領域は背景領域を表し、白色領域上の35個の灰色の領域は有色領域を表している。当該35個の有色領域は、領域抽出部13により別々の画像オブジェクト領域として抽出される。しかし、図17では、35個の有色領域が集まって1つの画像オブジェクトを構成しているので、当該35個の有色領域は1つの画像オブジェクト領域として抽出されることが望ましい。ここで、図17のような図柄の場合、各領域の外接矩形は隣接する領域の外接矩形と重複し、かつ当該2つの領域の特徴(色など)は互いに類似する。したがって、2つの画像オブジェクト領域の外接矩形が互いに重複し、かつ当該2つの画像オブジェクト領域の特徴が互いに類似する場合には、当該2つの画像オブジェクト領域は1つの画像オブジェクト領域を構成する可能性が高い。
【0086】
上記の事情等に鑑み、本例では、領域統合部14は、領域抽出部13により抽出された画像オブジェクト領域のうちの2つの画像オブジェクト領域の外接矩形が互いに重複し、かつ当該2つの画像オブジェクト領域の特徴が互いに所定程度以上類似する場合に、当該2つの画像オブジェクト領域を1つの画像オブジェクト領域に統合する。
【0087】
具体的には、領域統合部14は、領域抽出部13により抽出された各画像オブジェクト領域の外接矩形を特定し、任意の2つの画像オブジェクト領域の外接矩形について重複関係を調査する。そして、重複関係が成立する場合に、当該2つの画像オブジェクト領域の特徴量を求め、当該2つの特徴量を比較し、当該比較の結果に応じて、当該2つの画像オブジェクト領域を1つの画像オブジェクト領域に統合する。具体的には、領域統合部14は、所定の判定基準に従って、当該2つの特徴量が類似するか否かを判定し、類似すると判定された場合に、当該2つの画像オブジェクト領域を1つの画像オブジェクト領域に統合する。
【0088】
一つの態様では、上記特徴量は、画像オブジェクト領域に係る画像オブジェクトの色情報、画像オブジェクト領域の外接矩形の大きさ、画像オブジェクト領域の形状、画像オブジェクト領域が外接矩形内に占める割合、画像オブジェクト領域に係る画像オブジェクトの属性情報(均一色領域か写真領域かなど)の少なくとも1つである。ただし、特徴量としては、上記以外のものが使用されてもよい。
【0089】
図18は、第2の具体例に係る統合処理の一例を示すフローチャートである。以下、図18を参照して、第2の具体例に係る統合処理の一例を説明する。
【0090】
画像処理装置10は、抽出された各画像オブジェクト領域の外接矩形を特定する(S21)。
【0091】
ついで、画像処理装置10は、抽出された画像オブジェクト領域の中から2つの画像オブジェクト領域を選択し、当該2つの画像オブジェクト領域の外接矩形の間に重複関係があるか否かを判定する(S22)。
【0092】
そして、重複関係があると判定された場合(S22:YES)、画像処理装置10は、当該2つの画像オブジェクト領域の特徴量が互いに類似するか否かを判定する(S23)。
【0093】
特徴量が類似すると判定された場合(S23:YES)、画像処理装置10は、当該2つの画像オブジェクト領域を1つの画像オブジェクト領域に統合し(S24)、処理をステップS25に進める。
【0094】
一方、ステップS22で重複関係がないと判定された場合(S22:NO)、およびステップS23で特徴量が類似しないと判定された場合(S23:NO)、画像所理装置10は、上記統合処理を行うことなく、処理をステップS25に進める。
【0095】
ステップS25では、画像処理装置10は、すべての画像オブジェクト領域の組み合わせについて上記ステップS22〜S24の処理が終了したか否かを判断し、終了していない場合には(S25:NO)、処理をステップS22に戻し、終了している場合には(S25:YES)、処理を終了させる。
【0096】
上記処理により、例えば図17の図柄の35個の画像オブジェクト領域は、1つの画像オブジェクト領域に統合される。
【0097】
[第3の具体例]
図19には、入力画像に含まれる図柄の一例が示されている。図19において、白色の領域は背景領域を表し、白色領域上の5個の灰色領域は有色領域を表している。当該5個の有色領域は、領域抽出部13により別々の画像オブジェクト領域として抽出される。しかし、図19では、5個の有色領域が集まって1つの画像オブジェクトを構成しているので、当該5個の有色領域は1つの画像オブジェクト領域として抽出されることが望ましい。ここで、図19のような図柄の場合、各領域の外接矩形は隣接する領域の外接矩形と近接し、かつ当該2つの領域の特徴(色など)は互いに類似する。したがって、2つの画像オブジェクト領域の外接矩形が互いに近接し、かつ当該2つの画像オブジェクト領域の特徴が互いに類似する場合には、当該2つの画像オブジェクト領域は1つの画像オブジェクト領域を構成する可能性が高い。
【0098】
上記の事情等に鑑み、本例では、領域統合部14は、領域抽出部13により抽出された画像オブジェクト領域のうちの2つの画像オブジェクト領域の外接矩形が互いに所定程度以上近接し、かつ当該2つの画像オブジェクト領域の特徴が互いに所定程度以上類似する場合に、当該2つの画像オブジェクト領域を1つの画像オブジェクト領域に統合する。
【0099】
一つの態様では、領域統合部14は、領域抽出部13により抽出された各画像オブジェクト領域の外接矩形を特定し、任意の2つの画像オブジェクト領域の外接矩形の近接度合いと、当該2つの画像オブジェクト領域の各々の特徴量とを求め、当該近接度合いと特徴量とに応じて、当該2つの画像オブジェクト領域を1つの画像オブジェクト領域に統合する。例えば、領域統合部14は、2つの特徴量の類似度合いを求め、外接矩形の近接度合いXが所定値X1以上であり、かつ特徴量の類似度合いYが所定値Y1以上である場合に、2つの画像オブジェクト領域を統合する。この場合、近接度合いXが大きくなるほど所定値Y1が小さくなるように、近接度合いXに応じて所定値Y1を変化させてもよい。また、類似度合いYが大きくなるほど所定値X1が小さくなるように、類似度合いYに応じて所定値X1を変化させてもよい。また、領域統合部14は、近接度合いXと類似度合いYとの積X・Yが所定値K以上である場合に、2つの画像オブジェクト領域を統合するようにしてもよい。上記近接度合いXは、例えば、水平および垂直方向の外接矩形間の距離、水平および垂直方向の外接矩形の重複幅(または重複の度合い)に基づき算出される。
【0100】
別の態様では、領域統合部14は、領域抽出部13により抽出された各画像オブジェクト領域の外接矩形を特定し、任意の2つの画像オブジェクト領域の外接矩形について所定距離内で近接する近接関係を調査する。そして、近接関係が成立する場合に、当該2つの画像オブジェクト領域の特徴量を求め、当該2つの特徴量を比較し、当該比較の結果に応じて、当該2つの画像オブジェクト領域を1つの画像オブジェクト領域に統合する。具体的には、領域統合部14は、所定の判定基準に従って、当該2つの特徴量が類似するか否かを判定し、類似すると判定された場合に、当該2つの画像オブジェクト領域を1つの画像オブジェクト領域に統合する。当該態様において、領域統合部14は、近接関係が成立する場合に、2つの特徴量を比較するとともに、2つの画像オブジェクト領域の外接矩形の近接度合いを求め、特徴量の比較結果と近接度合いとに応じて、当該2つの画像オブジェクト領域を1つの画像オブジェクト領域に統合してもよい。
【0101】
上記特徴量は、一つの態様では、画像オブジェクト領域に係る画像オブジェクトの色情報、画像オブジェクト領域の外接矩形の大きさ、画像オブジェクト領域の形状、画像オブジェクト領域が外接矩形内に占める割合、画像オブジェクト領域に係る画像オブジェクトの属性情報(均一色領域か写真領域かなど)の少なくとも1つである。ただし、特徴量としては、上記以外のものが使用されてもよい。
【0102】
図20は、第3の具体例に係る統合処理の一例を示すフローチャートである。以下、図20を参照して、第3の具体例に係る統合処理の一例を説明する。
【0103】
画像処理装置10は、抽出された各画像オブジェクト領域の外接矩形を特定する(S31)。
【0104】
ついで、画像処理装置10は、抽出された画像オブジェクト領域の中から2つの画像オブジェクト領域を選択し、当該2つの画像オブジェクト領域の外接矩形の間に近接関係があるか否かを判定する(S32)。例えば、画像処理装置10は、外接矩形間の距離を算出し、当該距離が所定値以下であるか否かを判定する。
【0105】
そして、近接関係があると判定された場合(S32:YES)、画像処理装置10は、当該2つの画像オブジェクト領域の特徴量を求める(S33)。また、画像処理装置10は、当該2つの画像オブジェクト領域の外接矩形の近接度合いを求める(S34)。
【0106】
ついで、画像処理装置10は、上記特徴量と近接度合いとに基づき、当該2つの画像オブジェクト領域を統合すべきか否かを判定する(S35)。例えば、画像処理装置10は、特徴量の類似度合いを算出し、当該類似度合いと近接度合いとの積が所定値以下であるか否かを判定する。
【0107】
そして、統合すべきと判定された場合(S35:YES)、画像処理装置10は、当該2つの画像オブジェクト領域を1つの画像オブジェクト領域に統合し(S36)、処理をステップS37に進める。
【0108】
一方、ステップS32で近接関係がないと判定された場合(S32:NO)、およびステップS35で統合すべきでないと判定された場合(S35:NO)、画像所理装置10は、上記統合処理を行うことなく、処理をステップS37に進める。
【0109】
ステップS37では、画像処理装置10は、すべての画像オブジェクト領域の組み合わせについて上記ステップS32〜S36の処理が終了したか否かを判断し、終了していない場合には(S37:NO)、処理をステップS32に戻し、終了している場合には(S37:YES)、処理を終了させる。
【0110】
上記処理により、例えば図19の図柄の5個の画像オブジェクト領域は、1つの画像オブジェクト領域に統合される。
【0111】
なお、本発明は、上記実施の形態に限定されるものではなく、本発明の要旨を逸脱しない範囲内で種々変更することができる。
【図面の簡単な説明】
【0112】
【図1】実施の形態に係る画像処理装置の構成の一例を示すブロック図である。
【図2】入力画像の一例を示す図である。
【図3】図2の画像を背景色で2値化して得られる2値画像の一例を示す図である。
【図4】図3の画像をラベリング処理して得られるラベリング画像の一例を示す図である。
【図5】図4の画像に統合処理して得られるラベリング画像の一例を示す図である。
【図6】マスク画像の一例を示す図である。
【図7】切り取り画像の一例を示す図である。
【図8】画像オブジェクトの一例を示す図である。
【図9】統合処理が実施されない場合におけるマスク画像の一例を示す図である。
【図10】実施の形態に係る画像処理装置の動作の一例を示すフローチャートである。
【図11】被包含領域が包含領域に近接するか否かの判定の例を説明するための図である。
【図12】白抜き文字の画像端部との接触の一例を示す図である。
【図13】漢字「田」の白抜き文字の一例を示す図である。
【図14】包含領域への走査と追加走査とを説明するための図である。
【図15】第1の具体例に係る統合処理の一例を示すフローチャートである。
【図16】第1の具体例に係る統合処理を説明するための図である。
【図17】第2の具体例を説明するための、入力画像に含まれる図柄の一例を示す図である。
【図18】第2の具体例に係る統合処理の一例を示すフローチャートである。
【図19】第3の具体例を説明するための、入力画像に含まれる図柄の一例を示す図である。
【図20】第3の具体例に係る統合処理の一例を示すフローチャートである。
【符号の説明】
【0113】
10 画像処理装置、11 画像受付部、12 背景色特定部、13 領域抽出部、14 領域統合部、15 画像オブジェクト出力部。
【特許請求の範囲】
【請求項1】
画像を受け付ける画像受付手段と、
前記画像の背景色を特定する背景色特定手段と、
前記画像の中から、前記背景色の領域で区画される各領域を、画像構成要素領域として抽出する領域抽出手段と、
前記抽出された画像構成要素領域のうちの少なくとも2つの画像構成要素領域同士の関係が、1つの画像構成要素領域として扱うべき所定の条件を満たす場合に、前記少なくとも2つの画像構成要素領域を1つの画像構成要素領域に統合する領域統合手段と、
を有することを特徴とする画像処理装置。
【請求項2】
請求項1に記載の画像処理装置であって、
前記領域統合手段は、前記抽出された画像構成要素領域のうちある画像構成要素領域(以下、「被包含領域」と称す)の外接矩形が他の画像構成要素領域(以下、「包含領域」と称す)の外接矩形に包含され、かつ前記被包含領域が前記包含領域に所定程度以上近接する場合に、前記包含領域と前記被包含領域とを1つの画像構成要素領域に統合することを特徴とする画像処理装置。
【請求項3】
請求項2に記載の画像処理装置であって、
前記領域統合手段は、前記被包含領域の外接矩形の4辺の各々について、当該辺が前記包含領域と近接するか否かを判定し、所定数の辺が前記包含領域に近接すると判定された場合に、前記被包含領域が前記包含領域に近接すると判定することを特徴とする画像処理装置。
【請求項4】
請求項3に記載の画像処理装置であって、
前記領域統合手段は、前記辺上の各画素について、当該辺に垂直な方向について、当該画素と前記包含領域との間隔が所定間隔以下であるか否かを検査し、当該検査結果に基づき、当該辺が前記包含領域に近接するか否かを判定することを特徴とする画像処理装置。
【請求項5】
請求項4に記載の画像処理装置であって、
前記領域統合手段は、前記辺上の画素のうち前記間隔が所定間隔以下である画素の個数が所定数以上である場合に、当該辺は前記包含領域に近接すると判定することを特徴とする画像処理装置。
【請求項6】
請求項3に記載の画像処理装置であって、
前記領域統合手段は、前記辺上の各画素について、当該辺に垂直な方向について、当該画素と前記包含領域との間隔が所定間隔以下であり、かつ当該画素に対向する前記包含領域の幅が所定幅以上であるか否かを検査し、当該検査結果に基づき、当該辺が前記包含領域に近接するか否かを判定することを特徴とする画像処理装置。
【請求項7】
請求項6に記載の画像処理装置であって、
前記領域統合手段は、前記辺上の画素のうち前記間隔が所定間隔以下であり前記幅が所定幅以上である画素の個数が所定数以上である場合に、当該辺は前記包含領域に近接すると判定することを特徴とする画像処理装置。
【請求項8】
請求項4から7のいずれか1項に記載の画像処理装置であって、
前記領域統合手段は、前記被包含領域の外接矩形が大きくなるほど前記所定間隔が大きくなるように、前記被包含領域の外接矩形の大きさに応じて前記所定間隔を変化させることを特徴とする画像処理装置。
【請求項9】
請求項6から8のいずれか1項に記載の画像処理装置であって、
前記領域統合手段は、前記被包含領域の外接矩形が大きくなるほど前記所定幅が大きくなるように、前記被包含領域の外接矩形の大きさに応じて前記所定幅を変化させることを特徴とする画像処理装置。
【請求項10】
請求項1に記載の画像処理装置であって、
前記領域統合手段は、前記抽出された画像構成要素領域のうちの2つの画像構成要素領域の外接矩形が互いに重複し、かつ前記2つの画像構成要素領域の特徴が互いに所定程度以上類似する場合に、前記2つの画像構成要素領域を1つの画像構成要素領域に統合することを特徴とする画像処理装置。
【請求項11】
請求項1に記載の画像処理装置であって、
前記領域統合手段は、前記抽出された画像構成要素領域のうちの2つの画像構成要素領域の外接矩形が互いに所定程度以上近接し、かつ前記2つの画像構成要素領域の特徴が互いに所定程度以上類似する場合に、前記2つの画像構成要素領域を1つの画像構成要素領域に統合することを特徴とする画像処理装置。
【請求項12】
コンピュータに、
画像を受け付ける手順と、
前記画像の背景色を特定する手順と、
前記画像の中から、前記背景色の領域で区画される各領域を、画像構成要素領域として抽出する手順と、
前記抽出された画像構成要素領域のうちの少なくとも2つの画像構成要素領域同士の関係が、1つの画像構成要素領域として扱うべき所定の条件を満たす場合に、前記少なくとも2つの画像構成要素領域を1つの画像構成要素領域に統合する手順と、
を実行させることを特徴とする画像処理プログラム。
【請求項13】
請求項12に記載の画像処理プログラムであって、
前記統合する手順では、前記抽出された画像構成要素領域のうちある画像構成要素領域(以下、「被包含領域」と称す)の外接矩形が他の画像構成要素領域(以下、「包含領域」と称す)の外接矩形に包含され、かつ前記被包含領域が前記包含領域に所定程度以上近接する場合に、前記包含領域と前記被包含領域とを1つの画像構成要素領域に統合することを特徴とする画像処理プログラム。
【請求項14】
請求項12に記載の画像処理プログラムであって、
前記統合する手順では、前記抽出された画像構成要素領域のうちの2つの画像構成要素領域の外接矩形が互いに重複し、かつ前記2つの画像構成要素領域の特徴が互いに所定程度以上類似する場合に、前記2つの画像構成要素領域を1つの画像構成要素領域に統合することを特徴とする画像処理プログラム。
【請求項15】
請求項12に記載の画像処理プログラムであって、
前記統合する手順では、前記抽出された画像構成要素領域のうちの2つの画像構成要素領域の外接矩形が互いに所定程度以上近接し、かつ前記2つの画像構成要素領域の特徴が互いに所定程度以上類似する場合に、前記2つの画像構成要素領域を1つの画像構成要素領域に統合することを特徴とする画像処理プログラム。
【請求項1】
画像を受け付ける画像受付手段と、
前記画像の背景色を特定する背景色特定手段と、
前記画像の中から、前記背景色の領域で区画される各領域を、画像構成要素領域として抽出する領域抽出手段と、
前記抽出された画像構成要素領域のうちの少なくとも2つの画像構成要素領域同士の関係が、1つの画像構成要素領域として扱うべき所定の条件を満たす場合に、前記少なくとも2つの画像構成要素領域を1つの画像構成要素領域に統合する領域統合手段と、
を有することを特徴とする画像処理装置。
【請求項2】
請求項1に記載の画像処理装置であって、
前記領域統合手段は、前記抽出された画像構成要素領域のうちある画像構成要素領域(以下、「被包含領域」と称す)の外接矩形が他の画像構成要素領域(以下、「包含領域」と称す)の外接矩形に包含され、かつ前記被包含領域が前記包含領域に所定程度以上近接する場合に、前記包含領域と前記被包含領域とを1つの画像構成要素領域に統合することを特徴とする画像処理装置。
【請求項3】
請求項2に記載の画像処理装置であって、
前記領域統合手段は、前記被包含領域の外接矩形の4辺の各々について、当該辺が前記包含領域と近接するか否かを判定し、所定数の辺が前記包含領域に近接すると判定された場合に、前記被包含領域が前記包含領域に近接すると判定することを特徴とする画像処理装置。
【請求項4】
請求項3に記載の画像処理装置であって、
前記領域統合手段は、前記辺上の各画素について、当該辺に垂直な方向について、当該画素と前記包含領域との間隔が所定間隔以下であるか否かを検査し、当該検査結果に基づき、当該辺が前記包含領域に近接するか否かを判定することを特徴とする画像処理装置。
【請求項5】
請求項4に記載の画像処理装置であって、
前記領域統合手段は、前記辺上の画素のうち前記間隔が所定間隔以下である画素の個数が所定数以上である場合に、当該辺は前記包含領域に近接すると判定することを特徴とする画像処理装置。
【請求項6】
請求項3に記載の画像処理装置であって、
前記領域統合手段は、前記辺上の各画素について、当該辺に垂直な方向について、当該画素と前記包含領域との間隔が所定間隔以下であり、かつ当該画素に対向する前記包含領域の幅が所定幅以上であるか否かを検査し、当該検査結果に基づき、当該辺が前記包含領域に近接するか否かを判定することを特徴とする画像処理装置。
【請求項7】
請求項6に記載の画像処理装置であって、
前記領域統合手段は、前記辺上の画素のうち前記間隔が所定間隔以下であり前記幅が所定幅以上である画素の個数が所定数以上である場合に、当該辺は前記包含領域に近接すると判定することを特徴とする画像処理装置。
【請求項8】
請求項4から7のいずれか1項に記載の画像処理装置であって、
前記領域統合手段は、前記被包含領域の外接矩形が大きくなるほど前記所定間隔が大きくなるように、前記被包含領域の外接矩形の大きさに応じて前記所定間隔を変化させることを特徴とする画像処理装置。
【請求項9】
請求項6から8のいずれか1項に記載の画像処理装置であって、
前記領域統合手段は、前記被包含領域の外接矩形が大きくなるほど前記所定幅が大きくなるように、前記被包含領域の外接矩形の大きさに応じて前記所定幅を変化させることを特徴とする画像処理装置。
【請求項10】
請求項1に記載の画像処理装置であって、
前記領域統合手段は、前記抽出された画像構成要素領域のうちの2つの画像構成要素領域の外接矩形が互いに重複し、かつ前記2つの画像構成要素領域の特徴が互いに所定程度以上類似する場合に、前記2つの画像構成要素領域を1つの画像構成要素領域に統合することを特徴とする画像処理装置。
【請求項11】
請求項1に記載の画像処理装置であって、
前記領域統合手段は、前記抽出された画像構成要素領域のうちの2つの画像構成要素領域の外接矩形が互いに所定程度以上近接し、かつ前記2つの画像構成要素領域の特徴が互いに所定程度以上類似する場合に、前記2つの画像構成要素領域を1つの画像構成要素領域に統合することを特徴とする画像処理装置。
【請求項12】
コンピュータに、
画像を受け付ける手順と、
前記画像の背景色を特定する手順と、
前記画像の中から、前記背景色の領域で区画される各領域を、画像構成要素領域として抽出する手順と、
前記抽出された画像構成要素領域のうちの少なくとも2つの画像構成要素領域同士の関係が、1つの画像構成要素領域として扱うべき所定の条件を満たす場合に、前記少なくとも2つの画像構成要素領域を1つの画像構成要素領域に統合する手順と、
を実行させることを特徴とする画像処理プログラム。
【請求項13】
請求項12に記載の画像処理プログラムであって、
前記統合する手順では、前記抽出された画像構成要素領域のうちある画像構成要素領域(以下、「被包含領域」と称す)の外接矩形が他の画像構成要素領域(以下、「包含領域」と称す)の外接矩形に包含され、かつ前記被包含領域が前記包含領域に所定程度以上近接する場合に、前記包含領域と前記被包含領域とを1つの画像構成要素領域に統合することを特徴とする画像処理プログラム。
【請求項14】
請求項12に記載の画像処理プログラムであって、
前記統合する手順では、前記抽出された画像構成要素領域のうちの2つの画像構成要素領域の外接矩形が互いに重複し、かつ前記2つの画像構成要素領域の特徴が互いに所定程度以上類似する場合に、前記2つの画像構成要素領域を1つの画像構成要素領域に統合することを特徴とする画像処理プログラム。
【請求項15】
請求項12に記載の画像処理プログラムであって、
前記統合する手順では、前記抽出された画像構成要素領域のうちの2つの画像構成要素領域の外接矩形が互いに所定程度以上近接し、かつ前記2つの画像構成要素領域の特徴が互いに所定程度以上類似する場合に、前記2つの画像構成要素領域を1つの画像構成要素領域に統合することを特徴とする画像処理プログラム。
【図1】
【図2】
【図3】
【図4】
【図5】
【図6】
【図7】
【図8】
【図9】
【図10】
【図11】
【図12】
【図13】
【図14】
【図15】
【図16】
【図17】
【図18】
【図19】
【図20】
【図2】
【図3】
【図4】
【図5】
【図6】
【図7】
【図8】
【図9】
【図10】
【図11】
【図12】
【図13】
【図14】
【図15】
【図16】
【図17】
【図18】
【図19】
【図20】
【公開番号】特開2009−271691(P2009−271691A)
【公開日】平成21年11月19日(2009.11.19)
【国際特許分類】
【出願番号】特願2008−120966(P2008−120966)
【出願日】平成20年5月7日(2008.5.7)
【出願人】(000005496)富士ゼロックス株式会社 (21,908)
【Fターム(参考)】
【公開日】平成21年11月19日(2009.11.19)
【国際特許分類】
【出願日】平成20年5月7日(2008.5.7)
【出願人】(000005496)富士ゼロックス株式会社 (21,908)
【Fターム(参考)】
[ Back to top ]