画像処理装置及びコンピュータプログラム
【課題】枠を有する画像を特徴づける特徴量を求めるにあたり、例えば当該画像が回転・平行移動・拡大縮小等による歪みを受けている場合であっても、枠を構成する線分の配置を正しく求め、当該線分の配置に基づいて特徴量を導出すること。
【解決手段】本発明に係る画像処理装置1は、画像に含まれる線分を抽出する線分抽出手段と、抽出された前記線分のうち、予め定められた基準に基づき線分を選別する線分選別手段と、選別された前記線分のうち、前記画像の各端縁にそれぞれ略平行である線分を該各端縁からの距離に基づき選び、前記画像を特徴づける特徴量を導出する特徴量導出手段と、前記特徴量導出手段により選ばれた線分により囲まれる領域の大きさに基づき選定された一の画像の特徴量に他の画像の特徴量を一致させる線形写像を導出する線形写像導出手段と、前記一の画像と、前記線形写像導出手段により導出された線形写像により変換された他の画像とを比較する画像比較手段と、を有する。
【解決手段】本発明に係る画像処理装置1は、画像に含まれる線分を抽出する線分抽出手段と、抽出された前記線分のうち、予め定められた基準に基づき線分を選別する線分選別手段と、選別された前記線分のうち、前記画像の各端縁にそれぞれ略平行である線分を該各端縁からの距離に基づき選び、前記画像を特徴づける特徴量を導出する特徴量導出手段と、前記特徴量導出手段により選ばれた線分により囲まれる領域の大きさに基づき選定された一の画像の特徴量に他の画像の特徴量を一致させる線形写像を導出する線形写像導出手段と、前記一の画像と、前記線形写像導出手段により導出された線形写像により変換された他の画像とを比較する画像比較手段と、を有する。
【発明の詳細な説明】
【技術分野】
【0001】
本発明は、画像処理装置及びコンピュータプログラムに関する。
【背景技術】
【0002】
特許文献1には、入力画像データと、出力プリント画像を測定し、該測定された出力プリント画像データについて画像のエッジ、極大点又は極小点のいずれかによる画像特徴量を算出し、該画像特徴量に基づいて、入力画像データと出力プリント画像データの対応する画像の位置関係及び位置ずれ量を求め、歪み補正式を算出する画像歪み補正方法が記載されている。
【0003】
特許文献2には、罫線を有する帳票の画像A及び画像Bについて、横黒ラン・ヒストグラム及び縦黒ラン・ヒストグラムを作成し、画像Aについての黒ラン・ヒストグラムと画像Bについての黒ラン・ヒストグラムを比較して両者のずれを検出する画像のずれ検出方法が記載されている。
【0004】
特許文献3には、罫線を有する帳票の参照画像及び入力画像について、帳簿上辺の傾き方向を考慮してx軸投影ヒストグラム及びy軸投影ヒストグラムを生成し、それぞれ検出されたピーク値を罫線の存在する座標として検出し、参照画像と入力画像の各々に対する罫線の存在する座標の差が事前に設定したしきい値よりも小さいもの同士を対応付けることにより、両者の位置ずれ量を検出するプレ印刷除去装置が記載されている。同装置は、検出された位置ずれ量に基づいて座標変換を行い、画像を照合する。
【先行技術文献】
【特許文献】
【0005】
【特許文献1】特開2001−186337号公報
【特許文献2】特開平11−120288号公報
【特許文献3】特開2002−57873号公報
【発明の概要】
【発明が解決しようとする課題】
【0006】
本発明は、回転・平行移動・拡大縮小等により互いに変形している複数の画像について、かかる変形の程度がある限度よりも大きい場合に、かかる変形を除去して一の画像と他の画像を比較することができないという問題を解決することを目的とする。
【課題を解決するための手段】
【0007】
上記課題を解決するために、本発明の請求項1に係る画像処理装置は、画像に含まれる線分を抽出する線分抽出手段と、抽出された前記線分のうち、予め定められた基準に基づき線分を選別する線分選別手段と、選別された前記線分のうち、前記画像の各端縁にそれぞれ略平行である線分を該各端縁からの距離に基づき選び、前記画像を特徴づける特徴量を導出する特徴量導出手段と、前記特徴量導出手段により選ばれた線分により囲まれる領域の大きさに基づき選定された一の画像の特徴量に他の画像の特徴量を一致させる線形写像を導出する線形写像導出手段と、前記一の画像と、前記線形写像導出手段により導出された線形写像により変換された他の画像とを比較する画像比較手段と、を有する。
【0008】
また、本発明の請求項2に係る画像処理装置は、請求項1記載の画像処理装置であって、前記画像に含まれる図形の一部分を抽出し、当該一部分を新たに前記画像とする一部分抽出手段を有する。
【0009】
また、本発明の請求項3に係る画像処理装置は、請求項2記載の画像処理装置であって、前記一部分抽出手段は、前記画像の外縁又は外縁近傍の少なくとも一点を起点とする塗りつぶし処理により得られる図形の輪郭を示す図形である輪郭図形を取得する輪郭図形取得手段を有する。
【0010】
また、本発明の請求項4に係る画像処理装置は、請求項2又は3記載の画像処理装置であって、前記一部分抽出手段は、前記画像に含まれる連結した図形である連結図形を識別する連結図形識別手段と、前記連結図形のうち、最大の連結図形である最大連結図形を取得する最大連結図形取得手段と、を有する。
【0011】
また、本発明の請求項5に係る画像処理装置は、請求項1乃至4の何れかに記載の画像処理装置であって、一の前記画像について得られた前記特徴量を記憶する特徴量記憶手段と、前記特徴量記憶手段に記憶された前記特徴量に基づいて、前記線分抽出手段が他の前記画像について線分を抽出する範囲を制限する線分抽出範囲制限手段と、を有する。
【0012】
また、本発明の請求項6に係るコンピュータプログラムは、コンピュータを、画像に含まれる線分を抽出する線分抽出手段と、抽出された前記線分のうち、予め定められた基準に基づき線分を選別する線分選別手段と、選別された前記線分のうち、前記画像の各端縁に略平行である線分を該各端縁からの距離に基づき選び、前記画像を特徴づける特徴量を導出する特徴量導出手段と、前記特徴量導出手段により選ばれた線分により囲まれる領域の大きさに基づき選定された一の画像の特徴量に他の画像の特徴量を一致させる線形写像を導出する線形写像導出手段と、前記一の画像と、前記線形写像導出手段により導出された線形写像により変換された他の画像とを比較する画像比較手段と、として機能させる。
【発明の効果】
【0013】
上記請求項1に係る画像処理装置によれば、回転・平行移動・拡大縮小等により互いに変形している複数の画像について、かかる変形の程度がある限度よりも大きい場合であっても、かかる変形を除去して一の画像と他の画像を比較することができる。
【0014】
また、上記請求項2に係る画像処理装置によれば、本請求項に特定される構成を有しない画像処理装置に比して、線分を抽出する際の計算量を低減できる。
【0015】
また、上記請求項3に係る画像処理装置によれば、枠内部の図形を線分を抽出する対象から除外することができる。
【0016】
また、上記請求項4に係る画像処理装置によれば、枠以外の図形を線分を抽出する対象から除外することができる。
【0017】
また、上記請求項5に係る画像処理装置によれば、一度特徴量を導出した画像と同種の枠を有する画像の特徴量を導出する際に、本請求項に特定される構成を有しない画像処理装置に比して、線分を抽出する際の計算量を低減できる。
【0018】
また、上記請求項6に係るコンピュータプログラムによれば、コンピュータにより回転・平行移動・拡大縮小等により互いに変形している複数の画像について、かかる変形の程度がある限度よりも大きい場合であっても、かかる変形を除去して一の画像と他の画像を比較することができる。
【図面の簡単な説明】
【0019】
【図1】本発明の実施形態の一例である画像処理装置の機能ブロック図である。
【図2】画像特徴量導出部の機能ブロック図である。
【図3】画像受付部によって受け付けられた第1の画像である。
【図4】塗りつぶし処理後の第1の画像を示す図である。
【図5】輪郭取得後の第1の画像を示す図である。
【図6】最大の連結図形のみが残された第1の画像を示す図である。
【図7】最大連結図形取得処理のみを施された第1の画像を示す図である。
【図8】図6の第1の画像をハフ変換して得られるr−θ平面上のプロットの例である。
【図9】線分選別部が第3の基準を採用した場合の、第1の画像の特徴量である交点の位置を示す図である。
【図10】第2の画像を示す図である。
【図11】線分抽出対象外とする領域を示す図である。
【図12】傾き、位置、大きさが修正された第2の画像である。
【図13】差分画像を示す図である。
【発明を実施するための形態】
【0020】
図1は、本発明の実施形態の一例である画像処理装置1の機能ブロック図である。
【0021】
画像処理装置1は、物理的には汎用の情報処理装置である、CPU(Central Processing Unit)、メモリ、入出力インタフェース、モニタ及び外部記憶装置等を有する一般的なコンピュータを用いて実現される。そして、かかるコンピュータ上で、コンピュータを画像処理装置1として動作させるためのコンピュータプログラムを実行することにより、画像処理装置1は仮想的に実現される。コンピュータを画像処理装置1として動作させるためのコンピュータプログラムは、たとえばDVD−ROM(DVD−Read Only Memory)やCD−ROM(Compact Disk Read Only Memory)等の任意の情報記録媒体に記録して提供しても、インターネットに代表される公衆回線等の電気通信回線を介して、コンピュータ読み取り可能な電気信号として提供してもよい。もちろん、画像処理装置1を実現するにあたり、必ずしも汎用の情報処理装置を用いずともよく、専用の装置を製作しても、また、コピー機やファクシミリ等の事務機器に実装あるいは追加されるモジュールとして構成してもよい。
【0022】
なお、図示された画像処理装置1の機能ブロック図は、コンピュータプログラムにより実現される画像処理装置1を、説明の便宜上、その機能に着目して展開し示したものであり、必ずしも各機能ブロックが物理的に存在するとは限らない。
【0023】
画像処理装置1は、画像を受け付ける画像受付部2、第1の画像を記憶する第1の画像記憶部3、第2の画像を記憶する第2の画像記憶部4、受け付けた画像から、その画像の特徴量を導出する画像特徴量導出部5と、得られた特徴量を記憶する第1の特徴量記憶部6及び第2の特徴量記憶部7、線形写像導出部8、画像変換部9、画像比較部10及び差分画像出力部11を有する。
【0024】
なお、ここでいう画像とは、ビットマップ等のいわゆるラスターイメージデータであり、また、その周縁に枠を有しているものであることが好ましい。枠は、概ね矩形であれば足り、厳密に矩形である必要はない。かかる画像の内容は特に限定されないが、そのような画像の代表的な例を挙げると、図面の画像、帳票類の画像、MSDS(Material Safety Data Sheet)等のデータシート類などである。以降の本実施形態の説明では、図面の画像を例として説明するが、これに限定する意図ではない。
【0025】
また、特徴量とは、画像を特徴づける量であり、より詳しくは、画像に含まれる図形が画像内において占める位置、大きさ、回転角度を示す量である。どのような値を特徴量として用いるかは特に限定されないが、一例として、画像に含まれる枠を構成する線分の位置を示す情報は特徴量である。そのような情報は、各線分が画像中に配置される位置や角度を直接示す値であってもよいし、各線分の交点、すなわち、枠の角に当たる点の座標であってもよい。
【0026】
画像受付部2は、外部より画像の電子データを受け付けるインタフェースである。この画像受付部2は、画像を受け付けることができればどのようなものであってもよいが、具体的には、LAN(Local Area Network)やインターネット等の公衆回線を含むWAN(Wide Area Network)に接続された電気通信回線、任意の情報記録媒体読取装置、紙媒体を読み取るスキャナ等が考えられる。
【0027】
画像受付部2により第1の画像が受け付けられると、第1の画像記憶部3に記憶され、画像特徴量導出部5へと受け渡される。また、第2の画像が受け付けられると、第2の画像記憶部4に記憶され、同じく画像特徴量導出部5へと受け渡される。
【0028】
図2は、画像特徴量導出部5の機能ブロック図である。以下、画像特徴量導出部5の動作を具体例を参照しつつ説明する。
【0029】
図3は、画像受付部2(図1参照)によって受け付けられた第1の画像100である。第1の画像100は、紙にプリントアウトされた図面をスキャナで電子データとして取り込んだものである。第1の画像100は、矩形の枠101のほか、図面のタイトル等を記入するタイトル欄102、承認印あるいは署名を記入する承認欄103、部品表等の外枠104、枠101内に描かれた図形105等を含んでいる。もちろん、これは説明のための一例であり、第1の画像をかかる具体例に限定する意図ではない。また、第1の画像100は白色の背景に黒色で枠101等が描かれているものとしているが、これも一例であり、白黒を反転させても、異なる色調を用いてもよい。
【0030】
図2に戻り、画像受付部2で受け付けられた第1の画像100は第1の画像記憶部3より画像補正部12に受け渡され、必要であれば補正を施される。ここでなされる補正は、後述の画像処理を円滑に進めるためのものであり、公知の種々の補正を必要に応じ行ってよい。それらの補正には、グレースケールまたはフルカラーの画像を白黒の2値画像に変換する2値化処理、かすれなどによる画像中の線分の途切れを補償する途切れ補償、画像中のノイズを除去するノイズ除去等様々なものがあるが、本実施形態では、2値化処理を行っている。2値化処理は、ある輝度のしきい値を定め、画像中の各画素の輝度が当該しきい値を下回れば黒、上回れば白とすればよい。
【0031】
続いて第1の画像100は、線分抽出部18が線分を抽出する範囲を制限する線分抽出範囲制限手段として機能する線分抽出範囲制限部13へと渡される。線分抽出範囲制限部13の動作については後ほど詳述する。
【0032】
さらに第1の画像100は、画像に含まれる図形の一部分を抽出し、当該一部分を新たに前記画像とする一部分抽出手段として機能する一部分抽出部14に受け渡される。一部分抽出部14は、画像の外縁又は外縁近傍の少なくとも一点を起点とする塗りつぶし処理により得られる図形の輪郭を示す図形である輪郭図形を取得する輪郭図形取得手段として機能する輪郭図形取得部15、画像に含まれる連結した図形である連結図形を識別する連結図形識別手段として機能する連結図形識別部16、連結図形のうち、最大の連結図形である最大連結図形を取得する最大連結図形取得手段として機能する最大連結図形取得部17を有している。
【0033】
まず、第1の画像100は輪郭図形取得部15に受け渡される。輪郭図形取得部15は、まず、第1の画像100の周辺の少なくとも一点を起点とした塗りつぶし処理を行う。この塗りつぶし処理は周知の手法によってよい。図4は、塗りつぶし処理後の第1の画像106を示しており、図中網掛けで示した部分が塗りつぶし処理された領域である。
【0034】
そして、輪郭図形取得部15は、塗りつぶし処理された領域の輪郭を取得する。輪郭の取得は公知の手法を用いてよく、その一例としては、微分フィルタの適用が挙げられる。図5は、輪郭取得後の第1の画像107を示す図である。図3と比較すると、枠100内部のタイトル欄102や図形105は排除され、枠100と承認欄103の外形及び外枠104が残されている。輪郭図形取得部15は、この画像処理後の第1の図形107を連結図形識別部16へと受け渡す。なお、ここで、塗りつぶし処理された領域の輪郭を取得する前の段階で、画像の白黒を反転してもよい。
【0035】
連結図形識別部16は、第1の画像107に含まれる図形を、連結しているもの毎(すなわち、連結図形毎)に区分し、識別する。この処理は、画像処理において一般にラベリングとして知られている処理であってよい。具体的には、第1の画像107に含まれるある黒色の画素に識別情報を付与し、当該画素に隣接する黒色の画素にさらに同じ識別情報を付与し、という動作を繰り返すことにより、第1の画像107に含まれるすべての黒色画素に対し、連結している図形毎に異なる識別情報を付与する。その結果、図5中に示すように、第1の画像107中の枠101と承認欄103の外形には識別情報「A」が付与され連結図形Aとして、外枠104には識別情報「B」が付与されて連結図形Bとして識別される。
【0036】
続いて最大連結図形取得部17は、第1の画像107に含まれる連結図形のうち、その大きさが最も大きいものを取得する。ここでは、連結図形Aと連結図形Bの大きさ、特に、その幅及び高さを比較して大きい連結図形である連結図形Aを選択する。なお、大きさの比較には種々の方法があり、特段限定されない。幅及び高さを比較する方法にも、その何れかを用いる方法、両者をそれぞれ比較し優先順位をつける方法、幅と高さの和を用いて比較する方法等がある。また、連結図形の面積あるいは連結図形に外接する矩形の面積を用いて比較するようにしてもよい。その結果、図6に示すように、第1の画像108には最大の連結図形である連結図形Aのみが残される。最大連結図形取得部17は、得られた第1の画像108を線分抽出部18へと受け渡す。
【0037】
以上の処理により、第1の画像100(図3参照)からその一部分である連結図形Aが抽出された。本実施形態では、一部分抽出部14において、輪郭図形取得部15による輪郭図形取得処理と、連結図形識別部16及び最大連結図形取得部17による最大連結図形取得処理の両方をこの順で行っているが、この両方は必ずしもなされずとも良く、いずれか一方でもよい。
【0038】
まず、輪郭図形取得部15による輪郭図形取得処理のみをする場合は、図5に示した第1の画像107が線分抽出部18に受け渡されることになる。また、連結図形識別部16及び最大連結図形取得部17による最大連結図形取得処理のみをする場合には、図3に示す第1の画像100に対し上述の最大連結図形取得処理がなされることになる。その結果、図7に示す第1の画像109が得られ、同画像中には、最大の連結図形として、枠101、タイトル欄102及び承認欄103からなる連結図形Cのみが含まれている。
【0039】
続いて、第1の画像108(あるいは、第1の画像107又は109)は画像に含まれる線分を抽出する線分抽出手段として機能する線分抽出部18に受け渡される。
【0040】
線分抽出部18は、受け渡された第1の画像108中に含まれる線分を抽出し、その位置及び長さまたは長さに関連する情報を特定する。この線分を抽出する手法は公知の種々のものを用いることができ、代表的な手法としては、ハフ変換、投影分布(ヒストグラム)、追跡等を挙げることができるが、本実施形態では、ノイズなどによる線分の途切れや、連結図形Aの第1の画像108の外形に対する傾きの影響をあまり受けないことから、ハフ変換を採用する。もちろん、ハフ変換以外の手法を採用することは任意である。
【0041】
ハフ変換により、第1の画像108はr−θ座標に変換され、第1の画像108に含まれる線分は、r−θ平面上の投票数の多い点としてあらわされる。投票数は、線分の長さに関連する量であり、一般に、投票数が多いほど線分の長さは長くなる。r,θの取り方は任意であるが、ここでは、rは第1の画像108の左下の点から線分に対し引いた法線の長さを、θは当該法線の角度を示すものとする。rの範囲は、第1の画像108の横方向長さをX、縦方向の長さをYとすると
0≦r≦√X2+Y2
となる。また、θの範囲は、半周、すなわち180°の範囲を取れば足るが、ここでは一例として、
−45°≦θ<135°とする。
【0042】
得られた結果は、抽出された線分のうち、予め定められた基準に基づき線分を選別する線分選別手段として機能する線分選別部19へと受け渡される。図8は、図6の第1の画像108をハフ変換して得られるr−θ平面上のプロットの例である。図中、黒丸で示した点は、ハフ変換により得られた線分を示す点であり、黒丸の大きさは、その投票数、すなわち、線分の長さを反映している。また、黒丸の脇に記したa〜fのアルファベットは、図6中示したa〜fの各線分に対応したものであることを示している。
【0043】
線分選別部19は、これら得られた線分のうち、予め定められた基準に基づき線分を選別する。この基準の定め方には種々のものが考えられる。
【0044】
第1の基準は、もっとも単純なものであり、縦方向、横方向の線分のうち、それぞれ上位n番目までの長さを持つものを選別する基準である。r−θ平面上では、縦方向の線分はθがおおむね0°近傍の値となるので、適当な範囲、例えば、
−5°<θ<5°
の範囲を縦方向の線分とみなせばよい。n=2とすると、図8の例では、点b及びfが選別される。また、横方向の線分はθがおおむね90°近傍の値となるので、適当な範囲、例えば、
85°<θ<95°
の範囲を横方向の線分とみなせばよい。図8の例では、点a及び点eが選別される。なお、ここで示したθの範囲は一例であり、適宜変更してよいことは言うまでもない。
【0045】
第2の基準は、第1の画像108を、その中心をとおる垂直線において2分し、それぞれの範囲において、第1の画像108の縦の長さに対し一定割合以上の長さを有する縦方向の線分を選別するとともに、第1の画像108を、その中心をとおる水平線において2分し、それぞれの範囲において、第1の画像108の横の長さに対し一定割合以上の長さを有する横方向の線分を選別する基準である。ここで、一例として、一定割合を70%とする。
【0046】
このとき、第1の画像108の左半分は、
0≦r<X/2
であり、同様に右半分は
X/2≦r<X
であって、縦方向の線分は
−5°<θ<5°
となるから、それぞれの範囲内で長さの条件を満たす線分を選別すればよい。図8の例では、点b及び点fが選別されることになる。
【0047】
また、第1の画像の下半分は、
0≦r<Y/2
であり、同様に上半分は
Y/2≦r<Y
であって、縦方向の線分は
85°<θ<95°
となるから、それぞれの範囲内で長さの条件を満たす線分を選別すればよい。図8の例では、点a及び点eが選別されることになる。
【0048】
第3の基準は、第2の基準同様に第1の画像108を、その中心をとおる垂直線において2分し、それぞれの範囲において、最も長い縦方向の線分に対し一定割合以上の長さを有する線分を選別するとともに、第1の画像108を、その中心をとおる水平線において2分し、それぞれの範囲において、最も長い横方向の線分に対し一定割合以上の長さを有する横方向の線分を選別する基準である。ここで、一例として、一定割合を50%とする。
【0049】
上述のとおり、第1の画像108の左半分は、
0≦r<X/2
であり、同様に右半分は
X/2≦r<X
であって、縦方向の線分は
−5°<θ<5°
となるから、それぞれの範囲内で長さの条件を満たす線分を選別すればよい。図8の例では、最も長い縦方向の線分として点b及び点fがそれぞれ選別される。点dは、点bが示す線分の50%の長さに満たないため、選別されない。
【0050】
また、第1の画像の下半分は、
0≦r<Y/2
であり、同様に上半分は
Y/2≦r<Y
であって、縦方向の線分は
85°<θ<95°
となるから、それぞれの範囲内で長さの条件を満たす線分を選別すればよい。図8の例では、最も長い横方向の線分として点a及び点eがそれぞれ選別され、さらに、点cが、点eが示す線分の50%の長さ以上の長さを持つ線分を示すため、選別される。
【0051】
以上説明した基準はいずれを用いてもよいし、これら以外の基準を用いてもよい。第2の基準又は第3の基準を用いると、少なくとも、抽出される縦方向及び横方向の線分が、それぞれ、第1の画像108の中心を挟み両側に位置することになる。
【0052】
抽出された線分は、選別された線分のうち、画像の各端縁にそれぞれ略平行である線分を該各端縁からの距離に基づき選び、画像を特徴づける特徴量を導出する特徴量導出手段として機能する特徴量導出部20へと受け渡される。特徴量導出部20は、第1の画像108の各端縁、すなわち、各辺に対し略平行な線分を各辺からの距離に基づいて、選別された線分から選び出す。本実施形態では、各辺に最も近い線分を選ぶようにしている。すなわち、具体的には、左辺に対しては、図8において、
−5°<θ<5°
の範囲で最もrの小さい点を選ぶ。また、右辺に対しては、同じ範囲で最もrがXに近い点を選ぶ。また、下辺に対しては、
85°<θ<95°
の範囲で最もrの小さい点を選び、上辺に対しては同じ範囲で最もrがYに近い点を選ぶ。
【0053】
なお、選別された線分から各辺に対し略平行な線分を選ぶ際の基準は、各辺に最も近いものに限定されない。たとえば、各辺からの基準となる距離を予め定めておき、当該基準となる距離に最も近い線分を選ぶようにしてもよい。これは、選び出されるべき枠を構成する線分の、各辺からの大まかな距離が予め分かっている場合などに有効である。もちろん、その他の基準に基づき線分を選んでもよい。また、上の説明で、「略平行」とは、画像の歪みを無視した際に実質的に平行と看做してよい関係を意味しており、具体的には、2の線分を延長した際に形成される角の角度が予め定められた値以下である場合に、両者を実質的に平行と看做してよい。
【0054】
この動作の結果を、上述の線分選別部19が採用した基準毎に具体的に説明する。
【0055】
まず、第1の基準が採用された場合及び第2の基準が採用された場合には、選別された線分を示す点は、点a、点b、点e、点fである。これらの点はそれぞれ、第1の画像108の各辺に最も近い線分を示しているので、点a、点b、点e、点fがそのまま選ばれる。図6も併せて参照されたい。
【0056】
また、第3の基準が採用された場合、選別された線分を示す点は、点a、点b、点c、点e、点fである。そして、第1の画像の左辺、右辺、下辺に最も近い線分を示す点はそれぞれ点b、点f、点aであるからこれらが選ばれる。上辺に対しては、最も近い線分を表す点は、点cであるから、この場合は、点cが選ばれる。
【0057】
そして、特徴量導出部20は、選び出した線分に基づいて、第1の画像100の特徴量を導出する。前述したように特徴量が具体的にどのような値であるかは限定されないが、選び出した線分の位置を示す情報、具体的には、各線分のr−θ平面上の位置である(r、θ)の値は特徴量の一つである。あるいは、選び出した線分を延長した直線同士が交わる交点の位置もまた、特徴量の一つである。図9は、線分選別部19が第3の基準を採用した場合の、第1の画像108の特徴量である交点110の位置を示す図である。同図中、線分a,b,c,fを延長した直線は破線で示している。本実施形態では、この交点110の位置を特徴量として用いる。もちろん、他の値を特徴量として用いてもよい。
【0058】
特徴量導出部20により導出された第1の画像100の特徴量である第1の特徴量は、図1に示すように、第1の特徴量記憶部6へと受け渡され、記憶される。
【0059】
また、特徴量導出部20により導出された特徴量は、一の画像について得られた特徴量を記憶する特徴量記憶手段として機能する特徴量記憶部21にも受け渡され、記憶される。
【0060】
続いて、第1の画像100に続いて、さらに第2の画像200が画像処理装置1の画像受付部2により受け付けられたものとする。ここで、第2の画像200は、図10に示すとおりであり、その内容はおおむね第1の画像100(図3参照)と同一である。第2の画像200は、枠201、タイトル欄202、承認欄203、外枠204及び図形205が全体として第2の画像200の外形に対し傾いており、また枠201の位置及び大きさも第1の画像100における枠101と若干異なっている。また、図形205は、第1の画像100中の図形105から修正されている。
【0061】
この第2の画像200に対しても、画像補正部12による補正がなされ、続いて線分抽出範囲制限部13により、特徴量記憶部21に記憶されている特徴量に基づいて線分抽出範囲の制限がされる。この処理は、最終的に特徴量導出部20により第1の画像100において選ばれた線分の近傍の範囲のみを線分抽出部18による線分抽出の対象とし、その他の範囲を線分抽出の対象としないよう制限する。より具体的には、特徴量記憶部21に記憶されている特徴量、本実施形態では、交点110(図9参照)の位置を用いて、各交点を結んで得られる直線を得る。この線分は、矩形を構成する。なお、特徴量が、線分のr−θ平面上の位置を示す(r、θ)の値であれば、矩形を構成する直線は直ちに得られる。そして、得られた直線の近傍、例えば、当該直線からある一定の距離までの範囲を線分抽出対象とし、それ以外の範囲は線分抽出対象外とする。線分抽出対象外とする方法は、例えば、線分抽出対象外の範囲を全て白色で塗りつぶしたり、あるいは、かかる範囲を一部分抽出部14及び線分抽出部18における処理の対象外としたりしてもよい。
【0062】
図11は、線分抽出対象外とする領域を示す図である。同図は、図10に示す第2の画像200上に、第1の画像100について得られた交点110を結んで得られる直線を破線で示している。そして、直線から一定の距離までの範囲の境界は一点鎖線で、線分抽出対象外となるそれ以外の範囲にはハッチングを施した。同図にハッチングで示す領域を線分抽出対象外として制限することで、以降の処理におけるノイズ及び必要な計算量が削減される。
【0063】
なお、線分抽出範囲制限部13による制限は、第1の画像100と第2の画像200がおおむね等しい枠101,201を使用することを前提としている。したがって、第2の画像200が第1の画像100と大きく異なる枠を用いる場合には、線分抽出範囲制限部13による制限は行わない。この選択は、ユーザが適宜画像処理装置1に指示するものとすればよい。また、特徴量記憶部21は、必ずしも直前の処理に係る画像の特徴量のみを記憶するようにしなくともよく、例えば、複数の特徴量を記憶しておき、ユーザがどの特徴量に基づいて線分抽出範囲を制限するか選択するようにしてもよい。
【0064】
これ以降の動作は、第1の画像100について説明したと同様である。その結果、特徴量導出部20により導出された第2の画像200の特徴量である第2の特徴量は、図1に示すように、第2の特徴量記憶部7へと受け渡され、記憶される。
【0065】
そして、第1の特徴量記憶部6及び第2の特徴量記憶部7の双方に特徴量が記憶されると、特徴量導出手段により選ばれた線分により囲まれる領域の大きさに基づき選定された一の画像の特徴量に他の画像の特徴量を一致させる線形写像を導出する線形写像導出手段として機能する線形写像導出部8は、第1の特徴量と第2の特徴量を比較し、各々の特徴量が示す線分により囲まれる領域の大きさに基づき選定された画像に、他の画像の特徴量を一致させる線形写像を求める。本実施形態では、選定の基準の一例として、特徴量が示す線分により囲まれる領域の大きさが大きい画像が選定される。そして、線形写像導出部8により求められる線形写像とは、第1の特徴量と第2の特徴量がそれぞれ矩形を構成する直線の交点の位置であるから、それぞれの交点が形成する矩形が大きい方の一方の交点に、他の交点を一致させるような線形写像となる。このような線形写像には種々のものがあり得るが、ここでは、アフィン変換と呼ばれる線形写像の変換係数である行列を求める。アフィン変換は、2次元平面状において、平行移動、回転、拡大縮小を合成した変換である。なお、アフィン変換の変換係数を求める方法は周知の手法を用いればよく、本明細書ではその詳細な説明は割愛する。
【0066】
なお、本実施形態では、線形写像導出部8は、2の画像に対し線形写像を求めることとしたが、これに限定されず、3以上の画像に対し線形写像を求めることとしてもよい。その場合においても、各画像の特徴量が示す線分により囲まれる領域の大きさに基づき選定された画像に、他の画像の特徴量を一致させる線形写像を求めるとよい。
【0067】
さらに、画像変換部9は、線形写像導出部8により求められた変換係数を用い、第1の画像記憶部3より得た第1の画像又は第2の画像記憶部4より得た第2の画像の一方を変換し、両者を画像比較部10へと受け渡す。
【0068】
画像比較部10は、受け渡された2の画像を比較し、変化のあった場所を特定できる画像を生成する。より具体的には、受け渡された2の画像の差分を取り、得られた画像を差分画像として、差分画像出力部11へと受け渡す。もちろん、比較の方法は差分を取ることに限定はされず、他の手法を用いてもよい。
【0069】
差分画像出力部11は、受け渡された差分画像を出力する。出力の形式は特に問わず、電気通信回線を通して他の情報端末へと送信してもよいし、モニタに表示しても、プリンタにより印刷しても、任意の情報記録媒体に記録するようにしてもよい。
【0070】
ここで、図3に示す第1の画像100及び図10に示す第2の画像200が画像処理装置1に受け渡され、線形写像導出部8が、第2の画像200を変換する変換係数を導出した場合を例として想定する。
【0071】
この場合、画像変換部9により第2の画像200は変換され、図12に示すようにその傾き、位置、大きさが修正された第2の画像206が得られる。
【0072】
そして、画像比較部10により第1の画像100と第2の画像206の差分がとられ、図13に示す差分画像300が得られる。差分画像300は、第1の画像100と第2の画像206との間で、異なっている部分のみを図示する画像である。
【0073】
このように、本実施形態の画像処理装置1は、複数の画像が回転・平行移動・拡大縮小等により互いに変形している場合であっても、画像に含まれる枠を構成する線分の配置を正しく求め、当該線分の配置に基づいて特徴量を導出する。そして、そのようにして導出された特徴量に基づいて得られた線形写像により、複数の画像間の変形が除去されるので、かかる変形の程度がある限度よりも大きい場合であっても、一の画像と他の画像が正しく比較される。
【0074】
以上本実施形態の説明では、画像処理装置1は2つの画像を比較しているが、これに限定されず、3以上の画像を互いに比較するようにしてもよい。その場合、指定された画像に対し他の画像を比較するようにしてよい。
【0075】
また、以上の説明において、画像処理装置1、線形写像導出部8及び画像処理装置1の具体的な機能ブロックの構成は一例として示したものであり、これに限定されない。本発明の技術的範囲は、特許請求の範囲の記載に基づいて定められる。
【符号の説明】
【0076】
1 画像処理装置、2 画像受付部、3 第1の画像記憶部、4 第2の画像記憶部、5 画像特徴量導出部、6 第1の特徴量記憶部、7 第2の特徴量記憶部、8 線形写像導出部、9 画像変換部、10 画像比較部、11 差分画像出力部、12 画像補正部、13 線分抽出範囲制限部、14 一部分抽出部、15 輪郭図形取得部、16 連結図形識別部、17 最大連結図形取得部、18 線分抽出部、19 線分選別部、20 特徴量導出部、21 特徴量記憶部、100 第1の画像、101 枠、102 タイトル欄、103 承認欄、104 外枠、105 図形、106,107,108,109 第1の画像、110 交点、200 第2の画像、201 枠、202 タイトル欄、203 承認欄、204 外枠、205 図形、206 第2の画像、300 差分画像。
【技術分野】
【0001】
本発明は、画像処理装置及びコンピュータプログラムに関する。
【背景技術】
【0002】
特許文献1には、入力画像データと、出力プリント画像を測定し、該測定された出力プリント画像データについて画像のエッジ、極大点又は極小点のいずれかによる画像特徴量を算出し、該画像特徴量に基づいて、入力画像データと出力プリント画像データの対応する画像の位置関係及び位置ずれ量を求め、歪み補正式を算出する画像歪み補正方法が記載されている。
【0003】
特許文献2には、罫線を有する帳票の画像A及び画像Bについて、横黒ラン・ヒストグラム及び縦黒ラン・ヒストグラムを作成し、画像Aについての黒ラン・ヒストグラムと画像Bについての黒ラン・ヒストグラムを比較して両者のずれを検出する画像のずれ検出方法が記載されている。
【0004】
特許文献3には、罫線を有する帳票の参照画像及び入力画像について、帳簿上辺の傾き方向を考慮してx軸投影ヒストグラム及びy軸投影ヒストグラムを生成し、それぞれ検出されたピーク値を罫線の存在する座標として検出し、参照画像と入力画像の各々に対する罫線の存在する座標の差が事前に設定したしきい値よりも小さいもの同士を対応付けることにより、両者の位置ずれ量を検出するプレ印刷除去装置が記載されている。同装置は、検出された位置ずれ量に基づいて座標変換を行い、画像を照合する。
【先行技術文献】
【特許文献】
【0005】
【特許文献1】特開2001−186337号公報
【特許文献2】特開平11−120288号公報
【特許文献3】特開2002−57873号公報
【発明の概要】
【発明が解決しようとする課題】
【0006】
本発明は、回転・平行移動・拡大縮小等により互いに変形している複数の画像について、かかる変形の程度がある限度よりも大きい場合に、かかる変形を除去して一の画像と他の画像を比較することができないという問題を解決することを目的とする。
【課題を解決するための手段】
【0007】
上記課題を解決するために、本発明の請求項1に係る画像処理装置は、画像に含まれる線分を抽出する線分抽出手段と、抽出された前記線分のうち、予め定められた基準に基づき線分を選別する線分選別手段と、選別された前記線分のうち、前記画像の各端縁にそれぞれ略平行である線分を該各端縁からの距離に基づき選び、前記画像を特徴づける特徴量を導出する特徴量導出手段と、前記特徴量導出手段により選ばれた線分により囲まれる領域の大きさに基づき選定された一の画像の特徴量に他の画像の特徴量を一致させる線形写像を導出する線形写像導出手段と、前記一の画像と、前記線形写像導出手段により導出された線形写像により変換された他の画像とを比較する画像比較手段と、を有する。
【0008】
また、本発明の請求項2に係る画像処理装置は、請求項1記載の画像処理装置であって、前記画像に含まれる図形の一部分を抽出し、当該一部分を新たに前記画像とする一部分抽出手段を有する。
【0009】
また、本発明の請求項3に係る画像処理装置は、請求項2記載の画像処理装置であって、前記一部分抽出手段は、前記画像の外縁又は外縁近傍の少なくとも一点を起点とする塗りつぶし処理により得られる図形の輪郭を示す図形である輪郭図形を取得する輪郭図形取得手段を有する。
【0010】
また、本発明の請求項4に係る画像処理装置は、請求項2又は3記載の画像処理装置であって、前記一部分抽出手段は、前記画像に含まれる連結した図形である連結図形を識別する連結図形識別手段と、前記連結図形のうち、最大の連結図形である最大連結図形を取得する最大連結図形取得手段と、を有する。
【0011】
また、本発明の請求項5に係る画像処理装置は、請求項1乃至4の何れかに記載の画像処理装置であって、一の前記画像について得られた前記特徴量を記憶する特徴量記憶手段と、前記特徴量記憶手段に記憶された前記特徴量に基づいて、前記線分抽出手段が他の前記画像について線分を抽出する範囲を制限する線分抽出範囲制限手段と、を有する。
【0012】
また、本発明の請求項6に係るコンピュータプログラムは、コンピュータを、画像に含まれる線分を抽出する線分抽出手段と、抽出された前記線分のうち、予め定められた基準に基づき線分を選別する線分選別手段と、選別された前記線分のうち、前記画像の各端縁に略平行である線分を該各端縁からの距離に基づき選び、前記画像を特徴づける特徴量を導出する特徴量導出手段と、前記特徴量導出手段により選ばれた線分により囲まれる領域の大きさに基づき選定された一の画像の特徴量に他の画像の特徴量を一致させる線形写像を導出する線形写像導出手段と、前記一の画像と、前記線形写像導出手段により導出された線形写像により変換された他の画像とを比較する画像比較手段と、として機能させる。
【発明の効果】
【0013】
上記請求項1に係る画像処理装置によれば、回転・平行移動・拡大縮小等により互いに変形している複数の画像について、かかる変形の程度がある限度よりも大きい場合であっても、かかる変形を除去して一の画像と他の画像を比較することができる。
【0014】
また、上記請求項2に係る画像処理装置によれば、本請求項に特定される構成を有しない画像処理装置に比して、線分を抽出する際の計算量を低減できる。
【0015】
また、上記請求項3に係る画像処理装置によれば、枠内部の図形を線分を抽出する対象から除外することができる。
【0016】
また、上記請求項4に係る画像処理装置によれば、枠以外の図形を線分を抽出する対象から除外することができる。
【0017】
また、上記請求項5に係る画像処理装置によれば、一度特徴量を導出した画像と同種の枠を有する画像の特徴量を導出する際に、本請求項に特定される構成を有しない画像処理装置に比して、線分を抽出する際の計算量を低減できる。
【0018】
また、上記請求項6に係るコンピュータプログラムによれば、コンピュータにより回転・平行移動・拡大縮小等により互いに変形している複数の画像について、かかる変形の程度がある限度よりも大きい場合であっても、かかる変形を除去して一の画像と他の画像を比較することができる。
【図面の簡単な説明】
【0019】
【図1】本発明の実施形態の一例である画像処理装置の機能ブロック図である。
【図2】画像特徴量導出部の機能ブロック図である。
【図3】画像受付部によって受け付けられた第1の画像である。
【図4】塗りつぶし処理後の第1の画像を示す図である。
【図5】輪郭取得後の第1の画像を示す図である。
【図6】最大の連結図形のみが残された第1の画像を示す図である。
【図7】最大連結図形取得処理のみを施された第1の画像を示す図である。
【図8】図6の第1の画像をハフ変換して得られるr−θ平面上のプロットの例である。
【図9】線分選別部が第3の基準を採用した場合の、第1の画像の特徴量である交点の位置を示す図である。
【図10】第2の画像を示す図である。
【図11】線分抽出対象外とする領域を示す図である。
【図12】傾き、位置、大きさが修正された第2の画像である。
【図13】差分画像を示す図である。
【発明を実施するための形態】
【0020】
図1は、本発明の実施形態の一例である画像処理装置1の機能ブロック図である。
【0021】
画像処理装置1は、物理的には汎用の情報処理装置である、CPU(Central Processing Unit)、メモリ、入出力インタフェース、モニタ及び外部記憶装置等を有する一般的なコンピュータを用いて実現される。そして、かかるコンピュータ上で、コンピュータを画像処理装置1として動作させるためのコンピュータプログラムを実行することにより、画像処理装置1は仮想的に実現される。コンピュータを画像処理装置1として動作させるためのコンピュータプログラムは、たとえばDVD−ROM(DVD−Read Only Memory)やCD−ROM(Compact Disk Read Only Memory)等の任意の情報記録媒体に記録して提供しても、インターネットに代表される公衆回線等の電気通信回線を介して、コンピュータ読み取り可能な電気信号として提供してもよい。もちろん、画像処理装置1を実現するにあたり、必ずしも汎用の情報処理装置を用いずともよく、専用の装置を製作しても、また、コピー機やファクシミリ等の事務機器に実装あるいは追加されるモジュールとして構成してもよい。
【0022】
なお、図示された画像処理装置1の機能ブロック図は、コンピュータプログラムにより実現される画像処理装置1を、説明の便宜上、その機能に着目して展開し示したものであり、必ずしも各機能ブロックが物理的に存在するとは限らない。
【0023】
画像処理装置1は、画像を受け付ける画像受付部2、第1の画像を記憶する第1の画像記憶部3、第2の画像を記憶する第2の画像記憶部4、受け付けた画像から、その画像の特徴量を導出する画像特徴量導出部5と、得られた特徴量を記憶する第1の特徴量記憶部6及び第2の特徴量記憶部7、線形写像導出部8、画像変換部9、画像比較部10及び差分画像出力部11を有する。
【0024】
なお、ここでいう画像とは、ビットマップ等のいわゆるラスターイメージデータであり、また、その周縁に枠を有しているものであることが好ましい。枠は、概ね矩形であれば足り、厳密に矩形である必要はない。かかる画像の内容は特に限定されないが、そのような画像の代表的な例を挙げると、図面の画像、帳票類の画像、MSDS(Material Safety Data Sheet)等のデータシート類などである。以降の本実施形態の説明では、図面の画像を例として説明するが、これに限定する意図ではない。
【0025】
また、特徴量とは、画像を特徴づける量であり、より詳しくは、画像に含まれる図形が画像内において占める位置、大きさ、回転角度を示す量である。どのような値を特徴量として用いるかは特に限定されないが、一例として、画像に含まれる枠を構成する線分の位置を示す情報は特徴量である。そのような情報は、各線分が画像中に配置される位置や角度を直接示す値であってもよいし、各線分の交点、すなわち、枠の角に当たる点の座標であってもよい。
【0026】
画像受付部2は、外部より画像の電子データを受け付けるインタフェースである。この画像受付部2は、画像を受け付けることができればどのようなものであってもよいが、具体的には、LAN(Local Area Network)やインターネット等の公衆回線を含むWAN(Wide Area Network)に接続された電気通信回線、任意の情報記録媒体読取装置、紙媒体を読み取るスキャナ等が考えられる。
【0027】
画像受付部2により第1の画像が受け付けられると、第1の画像記憶部3に記憶され、画像特徴量導出部5へと受け渡される。また、第2の画像が受け付けられると、第2の画像記憶部4に記憶され、同じく画像特徴量導出部5へと受け渡される。
【0028】
図2は、画像特徴量導出部5の機能ブロック図である。以下、画像特徴量導出部5の動作を具体例を参照しつつ説明する。
【0029】
図3は、画像受付部2(図1参照)によって受け付けられた第1の画像100である。第1の画像100は、紙にプリントアウトされた図面をスキャナで電子データとして取り込んだものである。第1の画像100は、矩形の枠101のほか、図面のタイトル等を記入するタイトル欄102、承認印あるいは署名を記入する承認欄103、部品表等の外枠104、枠101内に描かれた図形105等を含んでいる。もちろん、これは説明のための一例であり、第1の画像をかかる具体例に限定する意図ではない。また、第1の画像100は白色の背景に黒色で枠101等が描かれているものとしているが、これも一例であり、白黒を反転させても、異なる色調を用いてもよい。
【0030】
図2に戻り、画像受付部2で受け付けられた第1の画像100は第1の画像記憶部3より画像補正部12に受け渡され、必要であれば補正を施される。ここでなされる補正は、後述の画像処理を円滑に進めるためのものであり、公知の種々の補正を必要に応じ行ってよい。それらの補正には、グレースケールまたはフルカラーの画像を白黒の2値画像に変換する2値化処理、かすれなどによる画像中の線分の途切れを補償する途切れ補償、画像中のノイズを除去するノイズ除去等様々なものがあるが、本実施形態では、2値化処理を行っている。2値化処理は、ある輝度のしきい値を定め、画像中の各画素の輝度が当該しきい値を下回れば黒、上回れば白とすればよい。
【0031】
続いて第1の画像100は、線分抽出部18が線分を抽出する範囲を制限する線分抽出範囲制限手段として機能する線分抽出範囲制限部13へと渡される。線分抽出範囲制限部13の動作については後ほど詳述する。
【0032】
さらに第1の画像100は、画像に含まれる図形の一部分を抽出し、当該一部分を新たに前記画像とする一部分抽出手段として機能する一部分抽出部14に受け渡される。一部分抽出部14は、画像の外縁又は外縁近傍の少なくとも一点を起点とする塗りつぶし処理により得られる図形の輪郭を示す図形である輪郭図形を取得する輪郭図形取得手段として機能する輪郭図形取得部15、画像に含まれる連結した図形である連結図形を識別する連結図形識別手段として機能する連結図形識別部16、連結図形のうち、最大の連結図形である最大連結図形を取得する最大連結図形取得手段として機能する最大連結図形取得部17を有している。
【0033】
まず、第1の画像100は輪郭図形取得部15に受け渡される。輪郭図形取得部15は、まず、第1の画像100の周辺の少なくとも一点を起点とした塗りつぶし処理を行う。この塗りつぶし処理は周知の手法によってよい。図4は、塗りつぶし処理後の第1の画像106を示しており、図中網掛けで示した部分が塗りつぶし処理された領域である。
【0034】
そして、輪郭図形取得部15は、塗りつぶし処理された領域の輪郭を取得する。輪郭の取得は公知の手法を用いてよく、その一例としては、微分フィルタの適用が挙げられる。図5は、輪郭取得後の第1の画像107を示す図である。図3と比較すると、枠100内部のタイトル欄102や図形105は排除され、枠100と承認欄103の外形及び外枠104が残されている。輪郭図形取得部15は、この画像処理後の第1の図形107を連結図形識別部16へと受け渡す。なお、ここで、塗りつぶし処理された領域の輪郭を取得する前の段階で、画像の白黒を反転してもよい。
【0035】
連結図形識別部16は、第1の画像107に含まれる図形を、連結しているもの毎(すなわち、連結図形毎)に区分し、識別する。この処理は、画像処理において一般にラベリングとして知られている処理であってよい。具体的には、第1の画像107に含まれるある黒色の画素に識別情報を付与し、当該画素に隣接する黒色の画素にさらに同じ識別情報を付与し、という動作を繰り返すことにより、第1の画像107に含まれるすべての黒色画素に対し、連結している図形毎に異なる識別情報を付与する。その結果、図5中に示すように、第1の画像107中の枠101と承認欄103の外形には識別情報「A」が付与され連結図形Aとして、外枠104には識別情報「B」が付与されて連結図形Bとして識別される。
【0036】
続いて最大連結図形取得部17は、第1の画像107に含まれる連結図形のうち、その大きさが最も大きいものを取得する。ここでは、連結図形Aと連結図形Bの大きさ、特に、その幅及び高さを比較して大きい連結図形である連結図形Aを選択する。なお、大きさの比較には種々の方法があり、特段限定されない。幅及び高さを比較する方法にも、その何れかを用いる方法、両者をそれぞれ比較し優先順位をつける方法、幅と高さの和を用いて比較する方法等がある。また、連結図形の面積あるいは連結図形に外接する矩形の面積を用いて比較するようにしてもよい。その結果、図6に示すように、第1の画像108には最大の連結図形である連結図形Aのみが残される。最大連結図形取得部17は、得られた第1の画像108を線分抽出部18へと受け渡す。
【0037】
以上の処理により、第1の画像100(図3参照)からその一部分である連結図形Aが抽出された。本実施形態では、一部分抽出部14において、輪郭図形取得部15による輪郭図形取得処理と、連結図形識別部16及び最大連結図形取得部17による最大連結図形取得処理の両方をこの順で行っているが、この両方は必ずしもなされずとも良く、いずれか一方でもよい。
【0038】
まず、輪郭図形取得部15による輪郭図形取得処理のみをする場合は、図5に示した第1の画像107が線分抽出部18に受け渡されることになる。また、連結図形識別部16及び最大連結図形取得部17による最大連結図形取得処理のみをする場合には、図3に示す第1の画像100に対し上述の最大連結図形取得処理がなされることになる。その結果、図7に示す第1の画像109が得られ、同画像中には、最大の連結図形として、枠101、タイトル欄102及び承認欄103からなる連結図形Cのみが含まれている。
【0039】
続いて、第1の画像108(あるいは、第1の画像107又は109)は画像に含まれる線分を抽出する線分抽出手段として機能する線分抽出部18に受け渡される。
【0040】
線分抽出部18は、受け渡された第1の画像108中に含まれる線分を抽出し、その位置及び長さまたは長さに関連する情報を特定する。この線分を抽出する手法は公知の種々のものを用いることができ、代表的な手法としては、ハフ変換、投影分布(ヒストグラム)、追跡等を挙げることができるが、本実施形態では、ノイズなどによる線分の途切れや、連結図形Aの第1の画像108の外形に対する傾きの影響をあまり受けないことから、ハフ変換を採用する。もちろん、ハフ変換以外の手法を採用することは任意である。
【0041】
ハフ変換により、第1の画像108はr−θ座標に変換され、第1の画像108に含まれる線分は、r−θ平面上の投票数の多い点としてあらわされる。投票数は、線分の長さに関連する量であり、一般に、投票数が多いほど線分の長さは長くなる。r,θの取り方は任意であるが、ここでは、rは第1の画像108の左下の点から線分に対し引いた法線の長さを、θは当該法線の角度を示すものとする。rの範囲は、第1の画像108の横方向長さをX、縦方向の長さをYとすると
0≦r≦√X2+Y2
となる。また、θの範囲は、半周、すなわち180°の範囲を取れば足るが、ここでは一例として、
−45°≦θ<135°とする。
【0042】
得られた結果は、抽出された線分のうち、予め定められた基準に基づき線分を選別する線分選別手段として機能する線分選別部19へと受け渡される。図8は、図6の第1の画像108をハフ変換して得られるr−θ平面上のプロットの例である。図中、黒丸で示した点は、ハフ変換により得られた線分を示す点であり、黒丸の大きさは、その投票数、すなわち、線分の長さを反映している。また、黒丸の脇に記したa〜fのアルファベットは、図6中示したa〜fの各線分に対応したものであることを示している。
【0043】
線分選別部19は、これら得られた線分のうち、予め定められた基準に基づき線分を選別する。この基準の定め方には種々のものが考えられる。
【0044】
第1の基準は、もっとも単純なものであり、縦方向、横方向の線分のうち、それぞれ上位n番目までの長さを持つものを選別する基準である。r−θ平面上では、縦方向の線分はθがおおむね0°近傍の値となるので、適当な範囲、例えば、
−5°<θ<5°
の範囲を縦方向の線分とみなせばよい。n=2とすると、図8の例では、点b及びfが選別される。また、横方向の線分はθがおおむね90°近傍の値となるので、適当な範囲、例えば、
85°<θ<95°
の範囲を横方向の線分とみなせばよい。図8の例では、点a及び点eが選別される。なお、ここで示したθの範囲は一例であり、適宜変更してよいことは言うまでもない。
【0045】
第2の基準は、第1の画像108を、その中心をとおる垂直線において2分し、それぞれの範囲において、第1の画像108の縦の長さに対し一定割合以上の長さを有する縦方向の線分を選別するとともに、第1の画像108を、その中心をとおる水平線において2分し、それぞれの範囲において、第1の画像108の横の長さに対し一定割合以上の長さを有する横方向の線分を選別する基準である。ここで、一例として、一定割合を70%とする。
【0046】
このとき、第1の画像108の左半分は、
0≦r<X/2
であり、同様に右半分は
X/2≦r<X
であって、縦方向の線分は
−5°<θ<5°
となるから、それぞれの範囲内で長さの条件を満たす線分を選別すればよい。図8の例では、点b及び点fが選別されることになる。
【0047】
また、第1の画像の下半分は、
0≦r<Y/2
であり、同様に上半分は
Y/2≦r<Y
であって、縦方向の線分は
85°<θ<95°
となるから、それぞれの範囲内で長さの条件を満たす線分を選別すればよい。図8の例では、点a及び点eが選別されることになる。
【0048】
第3の基準は、第2の基準同様に第1の画像108を、その中心をとおる垂直線において2分し、それぞれの範囲において、最も長い縦方向の線分に対し一定割合以上の長さを有する線分を選別するとともに、第1の画像108を、その中心をとおる水平線において2分し、それぞれの範囲において、最も長い横方向の線分に対し一定割合以上の長さを有する横方向の線分を選別する基準である。ここで、一例として、一定割合を50%とする。
【0049】
上述のとおり、第1の画像108の左半分は、
0≦r<X/2
であり、同様に右半分は
X/2≦r<X
であって、縦方向の線分は
−5°<θ<5°
となるから、それぞれの範囲内で長さの条件を満たす線分を選別すればよい。図8の例では、最も長い縦方向の線分として点b及び点fがそれぞれ選別される。点dは、点bが示す線分の50%の長さに満たないため、選別されない。
【0050】
また、第1の画像の下半分は、
0≦r<Y/2
であり、同様に上半分は
Y/2≦r<Y
であって、縦方向の線分は
85°<θ<95°
となるから、それぞれの範囲内で長さの条件を満たす線分を選別すればよい。図8の例では、最も長い横方向の線分として点a及び点eがそれぞれ選別され、さらに、点cが、点eが示す線分の50%の長さ以上の長さを持つ線分を示すため、選別される。
【0051】
以上説明した基準はいずれを用いてもよいし、これら以外の基準を用いてもよい。第2の基準又は第3の基準を用いると、少なくとも、抽出される縦方向及び横方向の線分が、それぞれ、第1の画像108の中心を挟み両側に位置することになる。
【0052】
抽出された線分は、選別された線分のうち、画像の各端縁にそれぞれ略平行である線分を該各端縁からの距離に基づき選び、画像を特徴づける特徴量を導出する特徴量導出手段として機能する特徴量導出部20へと受け渡される。特徴量導出部20は、第1の画像108の各端縁、すなわち、各辺に対し略平行な線分を各辺からの距離に基づいて、選別された線分から選び出す。本実施形態では、各辺に最も近い線分を選ぶようにしている。すなわち、具体的には、左辺に対しては、図8において、
−5°<θ<5°
の範囲で最もrの小さい点を選ぶ。また、右辺に対しては、同じ範囲で最もrがXに近い点を選ぶ。また、下辺に対しては、
85°<θ<95°
の範囲で最もrの小さい点を選び、上辺に対しては同じ範囲で最もrがYに近い点を選ぶ。
【0053】
なお、選別された線分から各辺に対し略平行な線分を選ぶ際の基準は、各辺に最も近いものに限定されない。たとえば、各辺からの基準となる距離を予め定めておき、当該基準となる距離に最も近い線分を選ぶようにしてもよい。これは、選び出されるべき枠を構成する線分の、各辺からの大まかな距離が予め分かっている場合などに有効である。もちろん、その他の基準に基づき線分を選んでもよい。また、上の説明で、「略平行」とは、画像の歪みを無視した際に実質的に平行と看做してよい関係を意味しており、具体的には、2の線分を延長した際に形成される角の角度が予め定められた値以下である場合に、両者を実質的に平行と看做してよい。
【0054】
この動作の結果を、上述の線分選別部19が採用した基準毎に具体的に説明する。
【0055】
まず、第1の基準が採用された場合及び第2の基準が採用された場合には、選別された線分を示す点は、点a、点b、点e、点fである。これらの点はそれぞれ、第1の画像108の各辺に最も近い線分を示しているので、点a、点b、点e、点fがそのまま選ばれる。図6も併せて参照されたい。
【0056】
また、第3の基準が採用された場合、選別された線分を示す点は、点a、点b、点c、点e、点fである。そして、第1の画像の左辺、右辺、下辺に最も近い線分を示す点はそれぞれ点b、点f、点aであるからこれらが選ばれる。上辺に対しては、最も近い線分を表す点は、点cであるから、この場合は、点cが選ばれる。
【0057】
そして、特徴量導出部20は、選び出した線分に基づいて、第1の画像100の特徴量を導出する。前述したように特徴量が具体的にどのような値であるかは限定されないが、選び出した線分の位置を示す情報、具体的には、各線分のr−θ平面上の位置である(r、θ)の値は特徴量の一つである。あるいは、選び出した線分を延長した直線同士が交わる交点の位置もまた、特徴量の一つである。図9は、線分選別部19が第3の基準を採用した場合の、第1の画像108の特徴量である交点110の位置を示す図である。同図中、線分a,b,c,fを延長した直線は破線で示している。本実施形態では、この交点110の位置を特徴量として用いる。もちろん、他の値を特徴量として用いてもよい。
【0058】
特徴量導出部20により導出された第1の画像100の特徴量である第1の特徴量は、図1に示すように、第1の特徴量記憶部6へと受け渡され、記憶される。
【0059】
また、特徴量導出部20により導出された特徴量は、一の画像について得られた特徴量を記憶する特徴量記憶手段として機能する特徴量記憶部21にも受け渡され、記憶される。
【0060】
続いて、第1の画像100に続いて、さらに第2の画像200が画像処理装置1の画像受付部2により受け付けられたものとする。ここで、第2の画像200は、図10に示すとおりであり、その内容はおおむね第1の画像100(図3参照)と同一である。第2の画像200は、枠201、タイトル欄202、承認欄203、外枠204及び図形205が全体として第2の画像200の外形に対し傾いており、また枠201の位置及び大きさも第1の画像100における枠101と若干異なっている。また、図形205は、第1の画像100中の図形105から修正されている。
【0061】
この第2の画像200に対しても、画像補正部12による補正がなされ、続いて線分抽出範囲制限部13により、特徴量記憶部21に記憶されている特徴量に基づいて線分抽出範囲の制限がされる。この処理は、最終的に特徴量導出部20により第1の画像100において選ばれた線分の近傍の範囲のみを線分抽出部18による線分抽出の対象とし、その他の範囲を線分抽出の対象としないよう制限する。より具体的には、特徴量記憶部21に記憶されている特徴量、本実施形態では、交点110(図9参照)の位置を用いて、各交点を結んで得られる直線を得る。この線分は、矩形を構成する。なお、特徴量が、線分のr−θ平面上の位置を示す(r、θ)の値であれば、矩形を構成する直線は直ちに得られる。そして、得られた直線の近傍、例えば、当該直線からある一定の距離までの範囲を線分抽出対象とし、それ以外の範囲は線分抽出対象外とする。線分抽出対象外とする方法は、例えば、線分抽出対象外の範囲を全て白色で塗りつぶしたり、あるいは、かかる範囲を一部分抽出部14及び線分抽出部18における処理の対象外としたりしてもよい。
【0062】
図11は、線分抽出対象外とする領域を示す図である。同図は、図10に示す第2の画像200上に、第1の画像100について得られた交点110を結んで得られる直線を破線で示している。そして、直線から一定の距離までの範囲の境界は一点鎖線で、線分抽出対象外となるそれ以外の範囲にはハッチングを施した。同図にハッチングで示す領域を線分抽出対象外として制限することで、以降の処理におけるノイズ及び必要な計算量が削減される。
【0063】
なお、線分抽出範囲制限部13による制限は、第1の画像100と第2の画像200がおおむね等しい枠101,201を使用することを前提としている。したがって、第2の画像200が第1の画像100と大きく異なる枠を用いる場合には、線分抽出範囲制限部13による制限は行わない。この選択は、ユーザが適宜画像処理装置1に指示するものとすればよい。また、特徴量記憶部21は、必ずしも直前の処理に係る画像の特徴量のみを記憶するようにしなくともよく、例えば、複数の特徴量を記憶しておき、ユーザがどの特徴量に基づいて線分抽出範囲を制限するか選択するようにしてもよい。
【0064】
これ以降の動作は、第1の画像100について説明したと同様である。その結果、特徴量導出部20により導出された第2の画像200の特徴量である第2の特徴量は、図1に示すように、第2の特徴量記憶部7へと受け渡され、記憶される。
【0065】
そして、第1の特徴量記憶部6及び第2の特徴量記憶部7の双方に特徴量が記憶されると、特徴量導出手段により選ばれた線分により囲まれる領域の大きさに基づき選定された一の画像の特徴量に他の画像の特徴量を一致させる線形写像を導出する線形写像導出手段として機能する線形写像導出部8は、第1の特徴量と第2の特徴量を比較し、各々の特徴量が示す線分により囲まれる領域の大きさに基づき選定された画像に、他の画像の特徴量を一致させる線形写像を求める。本実施形態では、選定の基準の一例として、特徴量が示す線分により囲まれる領域の大きさが大きい画像が選定される。そして、線形写像導出部8により求められる線形写像とは、第1の特徴量と第2の特徴量がそれぞれ矩形を構成する直線の交点の位置であるから、それぞれの交点が形成する矩形が大きい方の一方の交点に、他の交点を一致させるような線形写像となる。このような線形写像には種々のものがあり得るが、ここでは、アフィン変換と呼ばれる線形写像の変換係数である行列を求める。アフィン変換は、2次元平面状において、平行移動、回転、拡大縮小を合成した変換である。なお、アフィン変換の変換係数を求める方法は周知の手法を用いればよく、本明細書ではその詳細な説明は割愛する。
【0066】
なお、本実施形態では、線形写像導出部8は、2の画像に対し線形写像を求めることとしたが、これに限定されず、3以上の画像に対し線形写像を求めることとしてもよい。その場合においても、各画像の特徴量が示す線分により囲まれる領域の大きさに基づき選定された画像に、他の画像の特徴量を一致させる線形写像を求めるとよい。
【0067】
さらに、画像変換部9は、線形写像導出部8により求められた変換係数を用い、第1の画像記憶部3より得た第1の画像又は第2の画像記憶部4より得た第2の画像の一方を変換し、両者を画像比較部10へと受け渡す。
【0068】
画像比較部10は、受け渡された2の画像を比較し、変化のあった場所を特定できる画像を生成する。より具体的には、受け渡された2の画像の差分を取り、得られた画像を差分画像として、差分画像出力部11へと受け渡す。もちろん、比較の方法は差分を取ることに限定はされず、他の手法を用いてもよい。
【0069】
差分画像出力部11は、受け渡された差分画像を出力する。出力の形式は特に問わず、電気通信回線を通して他の情報端末へと送信してもよいし、モニタに表示しても、プリンタにより印刷しても、任意の情報記録媒体に記録するようにしてもよい。
【0070】
ここで、図3に示す第1の画像100及び図10に示す第2の画像200が画像処理装置1に受け渡され、線形写像導出部8が、第2の画像200を変換する変換係数を導出した場合を例として想定する。
【0071】
この場合、画像変換部9により第2の画像200は変換され、図12に示すようにその傾き、位置、大きさが修正された第2の画像206が得られる。
【0072】
そして、画像比較部10により第1の画像100と第2の画像206の差分がとられ、図13に示す差分画像300が得られる。差分画像300は、第1の画像100と第2の画像206との間で、異なっている部分のみを図示する画像である。
【0073】
このように、本実施形態の画像処理装置1は、複数の画像が回転・平行移動・拡大縮小等により互いに変形している場合であっても、画像に含まれる枠を構成する線分の配置を正しく求め、当該線分の配置に基づいて特徴量を導出する。そして、そのようにして導出された特徴量に基づいて得られた線形写像により、複数の画像間の変形が除去されるので、かかる変形の程度がある限度よりも大きい場合であっても、一の画像と他の画像が正しく比較される。
【0074】
以上本実施形態の説明では、画像処理装置1は2つの画像を比較しているが、これに限定されず、3以上の画像を互いに比較するようにしてもよい。その場合、指定された画像に対し他の画像を比較するようにしてよい。
【0075】
また、以上の説明において、画像処理装置1、線形写像導出部8及び画像処理装置1の具体的な機能ブロックの構成は一例として示したものであり、これに限定されない。本発明の技術的範囲は、特許請求の範囲の記載に基づいて定められる。
【符号の説明】
【0076】
1 画像処理装置、2 画像受付部、3 第1の画像記憶部、4 第2の画像記憶部、5 画像特徴量導出部、6 第1の特徴量記憶部、7 第2の特徴量記憶部、8 線形写像導出部、9 画像変換部、10 画像比較部、11 差分画像出力部、12 画像補正部、13 線分抽出範囲制限部、14 一部分抽出部、15 輪郭図形取得部、16 連結図形識別部、17 最大連結図形取得部、18 線分抽出部、19 線分選別部、20 特徴量導出部、21 特徴量記憶部、100 第1の画像、101 枠、102 タイトル欄、103 承認欄、104 外枠、105 図形、106,107,108,109 第1の画像、110 交点、200 第2の画像、201 枠、202 タイトル欄、203 承認欄、204 外枠、205 図形、206 第2の画像、300 差分画像。
【特許請求の範囲】
【請求項1】
画像に含まれる線分を抽出する線分抽出手段と、
抽出された前記線分のうち、予め定められた基準に基づき線分を選別する線分選別手段と、
選別された前記線分のうち、前記画像の各端縁にそれぞれ略平行である線分を該各端縁からの距離に基づき選び、前記画像を特徴づける特徴量を導出する特徴量導出手段と、
前記特徴量導出手段により選ばれた線分により囲まれる領域の大きさに基づき選定された一の画像の特徴量に他の画像の特徴量を一致させる線形写像を導出する線形写像導出手段と、
前記一の画像と、前記線形写像導出手段により導出された線形写像により変換された他の画像とを比較する画像比較手段と、
を有する画像処理装置。
【請求項2】
前記画像に含まれる図形の一部分を抽出し、当該一部分を新たに前記画像とする一部分抽出手段を有する請求項1記載の画像処理装置。
【請求項3】
前記一部分抽出手段は、前記画像の外縁又は外縁近傍の少なくとも一点を起点とする塗りつぶし処理により得られる図形の輪郭を示す図形である輪郭図形を取得する輪郭図形取得手段を有する請求項2記載の画像処理装置。
【請求項4】
前記一部分抽出手段は、
前記画像に含まれる連結した図形である連結図形を識別する連結図形識別手段と、
前記連結図形のうち、最大の連結図形である最大連結図形を取得する最大連結図形取得手段と、
を有する請求項2又は3記載の画像処理装置。
【請求項5】
一の前記画像について得られた前記特徴量を記憶する特徴量記憶手段と、
前記特徴量記憶手段に記憶された前記特徴量に基づいて、前記線分抽出手段が他の前記画像について線分を抽出する範囲を制限する線分抽出範囲制限手段と、
を有する請求項1乃至4の何れかに記載の画像処理装置。
【請求項6】
コンピュータを、
画像に含まれる線分を抽出する線分抽出手段と、
抽出された前記線分のうち、予め定められた基準に基づき線分を選別する線分選別手段と、
選別された前記線分のうち、前記画像の各端縁に略平行である線分を該各端縁からの距離に基づき選び、前記画像を特徴づける特徴量を導出する特徴量導出手段と、
前記特徴量導出手段により選ばれた線分により囲まれる領域の大きさに基づき選定された一の画像の特徴量に他の画像の特徴量を一致させる線形写像を導出する線形写像導出手段と、
前記一の画像と、前記線形写像導出手段により導出された線形写像により変換された他の画像とを比較する画像比較手段と、
として機能させるコンピュータプログラム。
【請求項1】
画像に含まれる線分を抽出する線分抽出手段と、
抽出された前記線分のうち、予め定められた基準に基づき線分を選別する線分選別手段と、
選別された前記線分のうち、前記画像の各端縁にそれぞれ略平行である線分を該各端縁からの距離に基づき選び、前記画像を特徴づける特徴量を導出する特徴量導出手段と、
前記特徴量導出手段により選ばれた線分により囲まれる領域の大きさに基づき選定された一の画像の特徴量に他の画像の特徴量を一致させる線形写像を導出する線形写像導出手段と、
前記一の画像と、前記線形写像導出手段により導出された線形写像により変換された他の画像とを比較する画像比較手段と、
を有する画像処理装置。
【請求項2】
前記画像に含まれる図形の一部分を抽出し、当該一部分を新たに前記画像とする一部分抽出手段を有する請求項1記載の画像処理装置。
【請求項3】
前記一部分抽出手段は、前記画像の外縁又は外縁近傍の少なくとも一点を起点とする塗りつぶし処理により得られる図形の輪郭を示す図形である輪郭図形を取得する輪郭図形取得手段を有する請求項2記載の画像処理装置。
【請求項4】
前記一部分抽出手段は、
前記画像に含まれる連結した図形である連結図形を識別する連結図形識別手段と、
前記連結図形のうち、最大の連結図形である最大連結図形を取得する最大連結図形取得手段と、
を有する請求項2又は3記載の画像処理装置。
【請求項5】
一の前記画像について得られた前記特徴量を記憶する特徴量記憶手段と、
前記特徴量記憶手段に記憶された前記特徴量に基づいて、前記線分抽出手段が他の前記画像について線分を抽出する範囲を制限する線分抽出範囲制限手段と、
を有する請求項1乃至4の何れかに記載の画像処理装置。
【請求項6】
コンピュータを、
画像に含まれる線分を抽出する線分抽出手段と、
抽出された前記線分のうち、予め定められた基準に基づき線分を選別する線分選別手段と、
選別された前記線分のうち、前記画像の各端縁に略平行である線分を該各端縁からの距離に基づき選び、前記画像を特徴づける特徴量を導出する特徴量導出手段と、
前記特徴量導出手段により選ばれた線分により囲まれる領域の大きさに基づき選定された一の画像の特徴量に他の画像の特徴量を一致させる線形写像を導出する線形写像導出手段と、
前記一の画像と、前記線形写像導出手段により導出された線形写像により変換された他の画像とを比較する画像比較手段と、
として機能させるコンピュータプログラム。
【図1】
【図2】
【図3】
【図4】
【図5】
【図6】
【図7】
【図8】
【図9】
【図10】
【図11】
【図12】
【図13】
【図2】
【図3】
【図4】
【図5】
【図6】
【図7】
【図8】
【図9】
【図10】
【図11】
【図12】
【図13】
【公開番号】特開2011−39896(P2011−39896A)
【公開日】平成23年2月24日(2011.2.24)
【国際特許分類】
【出願番号】特願2009−188157(P2009−188157)
【出願日】平成21年8月14日(2009.8.14)
【出願人】(000005496)富士ゼロックス株式会社 (21,908)
【Fターム(参考)】
【公開日】平成23年2月24日(2011.2.24)
【国際特許分類】
【出願日】平成21年8月14日(2009.8.14)
【出願人】(000005496)富士ゼロックス株式会社 (21,908)
【Fターム(参考)】
[ Back to top ]