画像処理システム、画像処理プログラム
【課題】基準画像と比較画像との差異点をその見つけにくさに応じて適応的に強調した画像情報を生成することを目的とする。
【解決手段】画像処理システムであって、基準画像情報及び比較画像情報を取得する画像情報取得手段と、基準画像情報と比較画像情報の差分である差分画像情報を取得する差分画像情報取得手段と、前記基準画像の特徴量に応じて、該基準画像情報に含まれる各要素の属性情報とともに該各要素の位置情報を取得する要素取得手段と、前記差分画像情報に含まれる差分値を有する各差分画像部分の位置情報及び前記要素取得手段により抽出された前記各要素の位置情報に基づいて、前記各差分画像部分の属性を判定する属性判定手段と、前記属性判定手段により判定された各差分画像部分の属性と、前記差分画像部分に含まれる差分値に応じた値と、に応じた出力画像情報を生成する出力画像情報生成手段と、を有することを特徴とする。
【解決手段】画像処理システムであって、基準画像情報及び比較画像情報を取得する画像情報取得手段と、基準画像情報と比較画像情報の差分である差分画像情報を取得する差分画像情報取得手段と、前記基準画像の特徴量に応じて、該基準画像情報に含まれる各要素の属性情報とともに該各要素の位置情報を取得する要素取得手段と、前記差分画像情報に含まれる差分値を有する各差分画像部分の位置情報及び前記要素取得手段により抽出された前記各要素の位置情報に基づいて、前記各差分画像部分の属性を判定する属性判定手段と、前記属性判定手段により判定された各差分画像部分の属性と、前記差分画像部分に含まれる差分値に応じた値と、に応じた出力画像情報を生成する出力画像情報生成手段と、を有することを特徴とする。
【発明の詳細な説明】
【技術分野】
【０００１】
本発明は、画像処理システム、画像処理プログラムに関する。
【背景技術】
【０００２】
修正前の画像データと修正後の画像データにおける差異点を低解像度のモニタ等で目視にて認識するのは困難である点に鑑み、検出された差異点に相当する画素につき、その周辺画素についても差異点とする、太らせ処理を行った後、解像度を変換する画像データ検査装置が知られている（下記特許文献１参照）。
【先行技術文献】
【特許文献】
【０００３】
【特許文献１】特許第３５９７４０８号公報
【発明の概要】
【発明が解決しようとする課題】
【０００４】
基準画像と比較画像との差異点をその見つけにくさに応じて適応的に強調した画像情報を生成することを目的とする。
【課題を解決するための手段】
【０００５】
請求項１に記載の画像処理システムは、基準画像情報及び比較画像情報を取得する画像情報取得手段と、基準画像情報と比較画像情報の差分である差分画像情報を取得する差分画像情報取得手段と、前記基準画像の特徴量に応じて、該基準画像情報に含まれる各要素の属性情報とともに該各要素の位置情報を取得する要素取得手段と、前記差分画像情報に含まれる差分値を有する各差分画像部分の位置情報及び前記要素取得手段により抽出された前記各要素の位置情報に基づいて、前記各差分画像部分の属性を判定する属性判定手段と、前記属性判定手段により判定された各差分画像部分の属性と、前記差分画像部分に含まれる差分値に応じた値と、に応じた出力画像情報を生成する出力画像情報生成手段と、を有することを特徴とする。
【０００６】
請求項２に記載の画像処理システムは、請求項１記載の画像処理システムにおいて、前記画像処理システムは、更に、前記基準画像情報と前記比較画像情報が重なるように、少なくとも一方の画像情報の位置、角度、及び／またはサイズの補正処理を行う補正手段を有し、前記差分画像情報取得手段は、補正処理が行われた基準画像情報及び／または比較画像情報の差分に基づいて前記差分画像情報を取得することを特徴とする。
【０００７】
請求項３に記載の画像処理システムは、請求項１または２記載の画像処理システムにおいて、前記各差分画像部分の属性は、文字の属性を示す属性、表中の文字の属性を示す表中の文字属性、線の属性を示す線属性、画像の属性を示す画像属性を含むことを特徴とする。
【０００８】
請求項４に記載の画像処理システムは、請求項１乃至３のいずれかに記載の画像処理システムにおいて、前記出力画像生成手段は、前記各差分画像部分の属性及び該各差分画像部分が対応する前記各要素の位置情報に基づいて、前記差分画像部分に含まれる差分値に応じた値を取得する差分値取得手段と、前記差分値に応じた値が該属性毎に定められた閾値以上であるか否かを判定する判定手段と、を有し、前記出力画像情報は、更に、前記判定手段の判定結果に応じた画像情報であることを特徴とする。
【０００９】
請求項５に記載の画像処理システムは、請求項１乃至４のいずれかに記載の画像処理システムにおいて、前記出力画像生成手段は、前記差分画像部分が表中の文字属性であって、かつ、前記差分画像部分の前記表中の文字属性についてあらかじめ定めた閾値以上であると判定された場合には、前記基準画像情報及び前記比較画像情報で表され、前記差分画像部分を含む表全体を識別表示する画像を表す出力画像情報を生成することを特徴とする。
【００１０】
請求項６に記載の画像処理システムは、請求項１乃至５のいずれかに記載の画像処理システムにおいて、前記出力画像生成手段は、前記差分画像部分が表中の文字属性であって、かつ、前記差分画像部分の前記表中の文字属性の閾値より小さいと判定された場合には、前記差分画像部分のうち、前記差分画像部分が対応する表のセルを特定するとともに、当該セルを識別表示する出力画像を生成することを特徴とする。
【００１１】
請求項７に記載の画像処理プログラムは、基準画像情報及び比較画像情報を取得する画像情報取得手段、基準画像情報と比較画像情報の差分である差分画像情報を取得する差分画像情報取得手段、前記基準画像の特徴量に応じて、該基準画像情報に含まれる各要素の属性情報とともに該各要素の位置情報を取得する要素取得手段、前記差分画像情報に含まれる差分値を有する各差分画像部分の位置情報及び前記要素取得手段により抽出された前記各要素の位置情報に基づいて、前記各差分画像部分の属性を判定する属性判定手段、及び、前記属性判定手段により判定された各差分画像部分の属性と、前記差分画像部分に含まれる差分値に応じた値と、に応じた出力画像情報を生成する出力画像情報生成手段、としてコンピュータを機能させることを特徴とする。
【発明の効果】
【００１２】
請求項１、７の発明によれば、取得された差分画像部分の見つけにくさに応じて当該差分画像部分を適応的に識別表示する出力画像情報が生成される。
【００１３】
請求項２の発明によれば、位置合わせしない場合に比べてより正確な差分画像情報が取得される。
【００１４】
請求項３の発明によれば、差分画像部分の属性（文字、表中の文字、線、画像）に応じて、当該差分画像部分を適応的に識別表示する出力画像情報が生成される。
【００１５】
請求項４の発明によれば、差分画像部分の有する差分値の特徴や当該差分画像部分の周辺画像に応じた出力画像情報が生成される。
【００１６】
請求項５の発明によれば、表内で差分画像部分の割合が予め設定された閾値以上である場合には、前記差分画像部分を含む表全体を識別表示する出力画像が生成される。
【００１７】
請求項６の発明によれば、表内で差分画像部分の割合が予め設定された閾値より小さい場合には、当該表のうち当該差分画像部分が含まれるセルを識別表示する出力画像が生成される。
【図面の簡単な説明】
【００１８】
【図１】本発明の実施の形態における画像処理システムの構成の概要について説明するための図である。
【図２】図１に示した画像処理装置の機能的な構成について説明するための図である。
【図３】基準画像及び比較画像の一例を示す図である。
【図４】図３に示した基準画像情報と比較画像情報の差分画像情報を示す図である。
【図５】図３に示した基準画像について、文字要素を抽出した場合の例を示す図である。
【図６】図３に示した基準画像について、線要素及び表要素を抽出した場合の例を示す図である。
【図７】図３に示した基準画像と比較画像に基づいて生成された出力画像の一例を示す図である。
【図８】図２に示した出力画像情報生成部の機能的な構成の一例を示す図である。
【図９】出力画像の一例を説明するための図である。
【図１０】出力画像の他の一例を説明するための図である。
【図１１】出力画像の他の一例を説明するための図である。
【図１２】出力画像の他の一例を説明するための図である。
【図１３】出力画像の他の一例を説明するための図である。
【図１４】画像処理装置の処理のフローの概要を説明するための図である。
【発明を実施するための形態】
【００１９】
以下、本発明の実施形態について、図面を参照しつつ説明する。なお、図面については、同一又は同等の要素には同一の符号を付し、重複する説明は省略する。
【００２０】
図１は、本発明の実施の形態における画像処理システムの構成の概要について説明するための図である。図１に示すように、本実施の形態における画像処理システム１００は、例えば、ネットワーク１３０を介して接続された画像処理装置１１０と端末装置１２０とを有する。
【００２１】
画像処理装置１１０は、例えば、ＣＰＵやメモリ等で構成されるサーバで構成され、例えば、制御部１１１、記憶部１１２、通信部１１３を有する。なお、制御部１１１、記憶部１１２、通信部１１３は、内部バス１１４により互いに接続される。
【００２２】
制御部１１１は、例えば、ＣＰＵ、ＭＰＵ等であって、記憶部１１２に格納されたプログラムに従って動作する。記憶部１１２は、例えば、ＲＯＭやＲＡＭ、ハードディスク等の情報記録媒体で構成され、制御部１１１によって実行されるプログラムを保持する情報記録媒体である。また、記憶部１１２は、制御部１１１のワークメモリとしても動作する。なお、当該プログラムは、例えば、ネットワークを介して、ダウンロードされて提供されてもよいし、または、ＣＤ−ＲＯＭやＤＶＤ−ＲＯＭ等のコンピュータで読み取り可能な各種の情報記録媒体によって提供されてもよい。
【００２３】
通信部１１３は、当該画像処理装置１００を、ネットワーク１３０を介して、後述する端末装置１２０と接続する。
【００２４】
端末装置１２０は、例えば、ＦＡＸ機能やスキャナ機能等を有するいわゆる複合機等であって、図１に示すように、例えば、内部バス１２７により互いに接続された、制御部１２１、記憶部１２２、通信部１２３、操作部１２４、表示部１２５、読み取り部１２６を有する。
【００２５】
操作部１２４は、例えば、複数のボタンやタッチパネル等で構成され、ユーザの指示操作に応じて、当該指示操作の内容を制御部１２１に出力する。表示部１２５は、例えば、液晶ディスプレイ、有機ＥＬディスプレイ等であって、制御部１２１からの指示に従い、情報を表示する。読み取り部１２６は、媒体の表面を撮像センサでスキャンすることにより、媒体の画像を読み取り、画像情報として取得する。なお、制御部１２１、記憶部１２２、通信部１２３については、上記画像処理装置１１０と同様であるので、説明を省略する。
【００２６】
なお、上記画像処理システム１００の構成は、一例であってこれに限定されるものではない。例えば、図１においては、１の端末装置１２０のみを示しているが、その他の数であってもよい。また、図１においては、端末装置１２０のみが、読み取り部１２６を有する場合を示しているが、画像処理装置１１０が操作部１２４、表示部１２５、読み取り部１２６等を有するように構成してもよい。
【００２７】
図２は、画像処理装置の機能的な構成について説明するための図である。図２に示すように画像処理装置１１０は、機能的に、画像情報取得部２０１、位置補正部２０２、差分画像情報取得部２０３、要素取得部２０４、属性判定部２０５、出力画像情報生成部２０６を含む。なお、各部２０１乃至２０６の機能は、例えば、画像処理装置１１０の制御部１１１により実現される。
【００２８】
画像情報取得部２０１は、基準画像情報及び比較画像情報を取得する。当該基準画像を表す基準画像情報や比較画像を表す比較画像情報は、例えば、読み取り部１２６から直接か、ネットワーク１３０を介して取得される。なお、下記においては、説明の簡略化のため、基準画像情報及び比較画像情報として、図３（Ａ）及び（Ｂ）にそれぞれ示した、基準画像及び比較画像が取得された場合を例として説明する。
【００２９】
位置補正部２０２は、基準画像と比較画像の画像が重なるように、画像の位置、角度、サイズ等の補正処理を行う。例えば、基準画像に対して、比較画像の位置を移動、比較画像を回転、比較画像を拡大縮小処理することにより、基準画像と比較画像が最大限重なるように補正する。なお、当該位置補正は、例えば、基準画像及び比較画像にあらかじめ表された基準位置を示す基準位置情報に基づいて、当該基準位置情報が両画像間で合致するように上記位置等を補正してもよいし、または、基準画像と比較画像の差分値の絶対値の総計が最小になるように上記位置等を補正してもよい。
【００３０】
差分画像情報取得部２０３は、基準画像と比較画像の差分である差分画像情報を取得する。図４は、図３に示した基準画像情報と比較画像情報の差分画像情報を示す図である。なお、図４においては、色の濃い部分が基準画像から追加された画像情報（以下、追加画像部分と称する）に相当し、色の薄い部分が基準画像から削除された画像情報（以下、削除画像部分と称する）に相当する。例えば、基準画像及び比較画像において０と１の２値画像で表される場合については、追加画像部分は、差分値が−１を有する部分となり、削除画像部分は差分値が＋１を有する部分となり、他の部分は、差分値が０を有する部分となる。
【００３１】
要素取得部２０４は、基準画像から、例えば、基準画像の特徴量に応じて、各要素の属性情報とともにその領域情報を取得する。ここで、各要素とは、例えば、文字の属性を有する文字要素、表の属性を有する線要素、イラストや写真等の属性を有する画像要素、及びその他の要素に相当する。要素取得部２０４は、当該各属性とともに各属性の要素を含む領域を示す位置情報を取得する。なお、各要素の抽出方法としては、文字要素の抽出には、いわゆるレイアウト解析やラベリング等を用い、線要素の抽出には、いわゆる射影、追跡やフィルタ処理等を用い、また、表要素の抽出には射影処理やラベリング等を用いるが、各要素の抽出処理の詳細については周知であるので説明を省略する。なお、上記においては、要素取得部２０４は、基準画像情報のみから各要素を抽出する場合について説明したが、ユーザの設定により比較画像からも各要素を抽出するように構成してもよい。例えば、ユーザが基準画像と比較画像を見て、相違が大きいと判断した場合には、比較画像及び基準画像の双方から各要素を抽出するように選択し、一方、相違が小さいと判断した場合には、基準画像からのみ各要素を抽出するように選択する等である。
【００３２】
具体的には、図５及び図６に示した例を用いて説明する。図５は、図３に示した基準画像について、文字要素を抽出した場合の例を示す図である。また、図６は、図３に示した基準画像について、線要素及び表要素を抽出した場合の例を示す図である。例えば、図５に示すように、文字要素は、１文字ずつ文字要素として抽出される。なお、図５の各文字要素に外接する矩形領域が各文字要素の領域を示す領域情報に相当し、要素取得部２０４は、当該領域の位置情報、例えば、当該矩形領域の頂点の座標、を取得する。同様に、要素取得部２０４は、線要素については、線の位置を示す位置情報、例えば、線の両端点の座標を取得し、表要素については、表を示すための位置情報、例えば、表を表す矩形領域の頂点の座標や表に含まれるセルを表すためのセル内部の座標を取得する。
【００３３】
属性判定部２０５は、例えば、各差分画像部分の位置情報及び要素取得部２０４により抽出された各要素の位置情報に基づいて、各差分画像部分の属性を判定する。具体的には、図４乃至図６に示した例を用いて説明する。
【００３４】
図４及び図５に示した場合、属性判定部２０５は、例えば、文字要素５０１の領域（位置）に差分画像部分４０１が位置することから、差分画像部分４０１は、文字属性であると判定する。同様に、差分画像部分４０２は、文字要素５０２の領域に差分画像部分４０２が位置することから、文字属性であると判定する。差分画像部分４０３については、文字要素５０３の領域及び表要素６０１の位置に位置することから、表中の文字属性であると判定する等である。
【００３５】
出力画像情報生成部２０６は、各差分画像部分の有する属性とその差分値に応じた値に基づいて、基準画像と比較画像との差が明確になるような出力画像情報を生成する。当該出力画像情報は、例えば、ユーザが操作している端末装置１２０の表示部１２５等に表示される。
【００３６】
ここで、図７を用いて、出力画像の一例について説明する。図７は、図３（Ａ）及び（Ｂ）に示した基準画像と比較画像に基づいて生成された出力画像情報が、例えば、上記ユーザが操作している端末装置１２０の表示部１２５に表示された場合の一例を示す図である。図７からわかるように、出力画像においては、比較画像において基準画像に対して、追加、削除、または、変更等された部分（差分画像部分に相当する）が強調される。例えば、画像に対してサイズの小さい文字の変更部分に相当する差分画像部分４０２は、当該差分画像部分４０２を有する文字が枠づけされる。また、表中の文字に相当する差分画像部分４０３は、当該差分画像部分４０３の属する表のセルが識別表示（例えば、セルが着色される）される。一方、比較的差異が明確である太字の変更部分（差分画像部分４０１）については、基準画像に対して差分画像部分が識別表示（着色等）される等である。なお、図７に示した例は一例であって、本実施の形態はこれに限定されるものではない。
【００３７】
次に、出力画像情報生成部２０６の機能的な構成の一例について説明する。出力画像情報生成部２０６は、図８に示すように、例えば、差分値取得部８０１、判定部８０２、強調画像情報生成部８０３、画像情報合成部８０４を有する。以下、出力画像情報生成部２０６の機能的な構成の一例について、差分画像部分が、文字属性を有する場合、表中の文字属性を有する場合、画像属性を有する場合、その他の場合を例に、順に説明する。なお、下記構成は例示にすぎず、本実施の形態はこれに限定されるものではない。
【００３８】
差分値取得部８０１は、属性判定部２０５により文字属性と判定された差分画像部分については、例えば、対応する文字要素の領域内における差分値の絶対値（例えば、画素数に相当する）の割合や対応する文字要素のフォントサイズ等を算出する。より具体的には、例えば、上記のように差分画像部分４０１は、文字要素５０１の領域に位置していることから、文字要素５０１の領域内（例えば、図５に示した要素取得部２０４により文字要素５０１として抽出された領域）における差分値の絶対値の割合を算出する。
【００３９】
判定部８０２は、当該割合の示す値やフォントサイズが、文字属性に関連付けてあらかじめ定められた閾値以上であるか否かを判定する。判定部８０２が、当該閾値以上であると判定した場合には、画像情報合成部８０４は、基準画像に当該差分画像部分を合成し、当該差分画像部分を識別表示（例えば、着色等）する画像情報を生成する。具体的には、図７に示すように、差分画像部分４０１を識別表示する画像情報を生成する等である。
【００４０】
一方、判定部８０２が閾値より小さいと判定した場合には、強調画像情報生成部８０３は、差分画像部分を含む文字を囲む枠を表す枠画像情報を生成する。この場合、画像情報合成部８０４は、基準画像情報に当該差分画像部分及び枠画像情報で表される枠画像を合成した画像情報を生成する。具体的には、例えば、上記図７に示すように、当該差分画像部分４０２を識別表示（例えば、着色等）するとともに、当該差分画像部分４０２に対応する文字要素５０２を囲む枠を表示する画像情報を生成する。
【００４１】
次に、差分画像部分が表中の文字属性を有する場合について説明する。差分値取得部８０１は、表中の文字の属性と判定された差分画像部分については、例えば、対応する文字要素を含む表中の文字要素の画素数における差分値の絶対値の割合を算出する。具体的には、例えば、上記のように差分画像部分４０３は、文字要素５０３の領域に位置していることから、表要素６０１内の文字要素の画素数における差分値の絶対値の割合を算出する。
【００４２】
判定部８０２は、当該割合の示す値が、表中の文字属性に関連付けてあらかじめ定められた閾値以上であるか否かを判定する。判定部８０２が閾値より小さいと判定した場合には、画像情報合成部８０４は、当該差分画像情報の位置情報に基づいて、当該差分画像部分が属する表の領域情報のうち、当該差分画像が属するセルの領域を特定する。そして、画像情報合成部８０４は、基準画像に当該差分画像部分を合成し、当該差分画像部分を識別表示するとともに、上記特定されたセルを識別表示した画像情報を生成する。具体的には、例えば、図７に示すように、差分画像部分４０３を識別表示（例えば着色等）するとともに、当該差分画像部分４０３が属する表のセルを識別表示（例えば着色等）した画像情報を生成するである。
【００４３】
一方、判定部８０２が閾値以上であると判定した場合には、画像情報合成部８０４は、基準画像と比較画像のうち、当該差分画像部分が属する表及び当該表に属する文字要素を位置を予め定められた距離及び方法にずらして表示する画像情報を生成する。具体的には、例えば、図９に示した場合、図９（Ａ）に示した基準画像の表と図９（Ｂ）に示した比較画像の表から、図９（Ｃ）に示した画像情報を生成する。例えば、基準画像における表等と比較画像における表等を識別表示（例えば、色分けして表示）する。
【００４４】
次に、差分画像部分が線属性を有する場合について説明する。差分値取得部８０１は、線属性と判定された差分画像部分については、例えば、対応する線要素の領域内における差分値の絶対値の割合を算出する。
【００４５】
判定部８０２は、当該割合の示す値が、線属性に関連付けてあらかじめ定められた閾値以上であるか否かを判定する。判定部８０２が、閾値より小さいと判定した場合には、例えば、画像情報合成部８０４は、基準画像に当該差分画像部分を合成した画像情報を生成し、当該差分画像部分と対応する線要素を全体として識別表示する。つまり、この場合は
追加画像部分及び削除画像部分それぞれの識別表示は行わない。具体的には、例えば、基準画像及び比較画像における線要素がそれぞれ図１０（Ａ）及び（Ｂ）に示した場合、図１０（Ｃ）または（Ｄ）のように表示する画像情報を生成する等である。
【００４６】
また、基準画像と比較画像における当該線要素の位置情報に基づいて、当該差分画像部分が、当該差分画像部分が属する線要素の端点であるか否かを認識し、端点に存在すると判断した場合には、当該差分画像部分を識別表示しないように構成してもよい。なお、当該差分画像部分の表示または非表示については、ユーザが設定できるように構成してもよい。具体的には、例えば、基準画像及び比較画像の線要素が図１１（Ａ）及び（Ｂ）に示した場合、図１１（Ｃ）または（Ｄ）のような画像情報を生成する等である。
【００４７】
一方、判定部８０２が閾値以上であると判定した場合には、例えば、強調画像情報生成部８０３は、当該差分画像部分が属する線要素を囲うあらかじめ定められた大きさの領域を識別表示する画像情報を生成し、画像情報合成部８０４は、基準画像に当該画像情報を合成した画像情報を生成するようにしてもよい。この場合、上記差分値取得部８０１は、具体的には、例えば、上記のように差分画像部分４０４の幅か高さの大きい方に対する、画像全体の幅か高さの割合を算出する。図１２（Ａ）または（Ｂ）は、判定部８０２が閾値以上であると判定した場合の例を示す。具体的には、図１２（Ａ）は、例えば、当該線要素を囲む領域が着色して表示された場合を示し、図１２（Ｂ）は、当該線要素を囲む領域がハッチングされて表示された場合を示すものとする。なお、この場合、図７に示すように、例えば、差分画像部分４０４を単に識別表示（例えば、着色等）するように構成してもよい。また、閾値以下の場合は、枠で囲むなどの強調画像を生成するように構成してもよい。また、上記においては、単に線要素の差分値が閾値以上であるか否かに応じて表示方法を異ならせる構成について説明したが、後述するようにその他の値に基づいて表示方法を異ならせてもよい。具体的には、例えば、その他線要素を表す領域における差分画像部分の分散等に基づいて、識別表示方法を異ならせるように構成してもよい。この場合、より差異が発見しにくい場合ほど、より識別して表示されるように構成すればよい。
【００４８】
次に、差分画像部分が画像属性を有する場合の例について説明する。差分値取得部８０１は、画像属性と判定された差分画像部分については、例えば、対応する画像要素の領域内における差分値の絶対値の割合を算出する。判定部８０２は、当該割合の示す値が、画像属性に関連付けてあらかじめ定められた閾値以上であるか否かを判定する。
【００４９】
判定部８０２が閾値以上であると判定した場合には、強調画像情報生成部８０３は、当該画像が差し替えられたことを示す画像情報を生成する。例えば、画像情報合成部８０４は、基準画像に当該差し替えられたことを示す画像情報を生成する。より具体的には、例えば、基準画像及び比較画像の画像要素が図１３（Ａ）及び（Ｂ）に示した場合、図１３（Ｃ）に示すように差し替えられたことを示すために元の画像要素を識別表示（例えば、元の画像要素と異なる色に着色するなど）する等である。一方、判定部８０２が閾値より小さいと判定した場合には、例えば、画像情報合成部８０４は基準画像に差分画像部分を合成し、差分画像部分が識別表示（例えば、枠づけされて表示される等）される画像情報を生成する。
【００５０】
次に、その他の属性を有する場合について説明する。ユーザの設定に応じて、出力画像情報生成部２０６は当該差分画像部分を識別表示または除去した出力画像情報を生成する。例えば、ユーザの設定に応じて、当該差分画像がその他の属性領域からあらかじめ設定された距離以上離れた点（孤立点）や予め設定された面積以下の点の集合等に相当する場合、ノイズとして出力画像情報から除去する。
【００５１】
次に、画像処理装置１１０の処理のフローについて説明する。図１４は、画像処理装置１１０における処理のフローの一例について説明するための図である。
【００５２】
画像情報取得部２０１は、基準画像情報及び比較画像情報を取得する（Ｓ１０１）。位置補正部２０２は、基準画像と比較画像の画像が重なるように、画像の位置、角度、サイズ等の補正処理を行う（Ｓ１０２）。差分画像情報取得部２０３は、基準画像と比較画像の差分である差分画像情報を取得する（Ｓ１０３）。要素取得部２０４は、基準画像から、基準画像の特徴量に応じて、各要素の属性情報とともにその領域情報を抽出する（Ｓ１０４）。
【００５３】
属性判定部２０５は、各差分画像部分の位置情報及び要素取得部２０４により抽出された各要素の位置情報に基づいて、各差分画像部分の属性を判定する（Ｓ１０５）。出力画像情報生成部２０６は、各差分画像部分の有する属性とその差分値に応じた値に基づいて、基準画像と比較画像との差が明確になるような出力画像情報を生成する（Ｓ１０６）。なお、当該出力画像情報は、例えば、端末装置１２５の表示部１２５に表示される。
【００５４】
上記処理のフローは一例にすぎず、上記フローと実質的に同一の構成、同一の作用効果を奏する構成又は同一の目的を達成することができる構成で置き換えてもよい。例えば、Ｓ１０２及びＳ１０３の前にＳ１０４の処理を行ってもよいし、また、Ｓ１０２及びＳ１０３の処理とＳ１０４の処理を並行して行うように構成してもよい。
【００５５】
なお、本発明は、上記実施の形態に限定されるものではなく、上記実施の形態で示した構成と実質的に同一の構成、同一の作用効果を奏する構成又は同一の目的を達成することができる構成で置き換えてもよい。
【００５６】
例えば、出力画像情報生成部２０６は、基準画像と比較画像との差分に基づく差分結果の大きさ（画素数、外接矩形サイズ、縦横の辺の長さ、文字サイズ等）、長さ、太さ、量に相当する値や、要素の種類（文字、罫線内の文字、線画、表罫線、イラスト、写真等）、差分結果に対する周辺画像や周辺画像に対する差分結果の位置関係等に応じて、差分結果が強調してユーザが容易に基準画像と比較画像の相違点を発見できるような出力画像が形成できる限り異なる構成であってもよい。この場合、差分結果の強調方法としては、例えば、差分結果自体の着色や、差分箇所を囲む枠づけ（当該枠づけの枠の太さや間隔、種類を異ならせてもよい）、表のセル内の背景部分の着色やハッチング、差分結果の背景部分の着色、ハッチング、位置をずらす等を用いてもよい。
【００５７】
上記においては、主に、差分画像部分について、対応する要素の領域内における差分値の絶対値の割合を算出する場合を例として説明したが、その他の差分画像部分の特徴（例えば、各領域における分散や画像全体に対する割合）や、差分画像部分の周辺画像の環境やユーザ設定等に基づいて、出力画像情報を生成するように構成してもよい。
【００５８】
具体的には、例えば、差分画像部分が文字属性を有する場合においては、差分の特徴として差分結果が小さく細かいか否か、具体的には、例えば、差分画像部分（差分画像部分に外接する領域）の占める割合に対して差分値を有する割合があらかじめ定められた閾値より小さいか否かを判定し、小さいと判定した場合には、差分画像部分の属する文字要素または隣接する文字要素を含む文字ブロックを識別表示するように構成してもよい。あるいは、差分の特徴として、基準画像において対応する文字と差分画像部分の画素数を比較して、当該差分画像部分の画素数が文字の画素数に応じてあらかじめ定められた閾値よりも大きい場合には、差分画像部分のみを識別表示するように構成してもよい。
【００５９】
差分画像部分が表中の文字の属性を有する場合においては、例えば、差分の特徴として差分結果が小さく細かいか否か、より具体的には、例えば、差分画像部分（差分画像部分に外接する領域）の占める割合に対して差分値を有する割合があらかじめ定められた閾値より小さいか否かを判定し、小さいと判定した場合であって、周囲の環境として当該表の密度が高い場合や、枠付けする場合において枠と表を構成する線が干渉する場合等は、差分画像部分の属するセルを識別表示するように構成してもよい。また、表内に占める差分画像部分の割合があらかじめ設定された閾値よりも大きいか否かを判定し、大きいと判定した場合には、表の差し替えを示す出力画像情報を生成、表示されるように構成してもよい。更に、表の行または列を構成する差分画像部分の割合があらかじめ設定された閾値よりも大きいか否かを判定し、大きいと判定した場合には、当該行または列の差し替えを示す出力画像情報を生成、表示されるように構成してもよい。なお、これらの場合、ユーザの設定により差し替えを示すか否かを決定できるように構成してもよい。
【００６０】
差分画像部分が線属性を有する場合には、差分画像部分の画素数が、例えば、差分の特徴として、対応する線要素の長さや太さ等に応じて決定される等の閾値以上か否かを決定し、当該閾値以下であると判定した場合には、当該差分画像部分が同一線分または直線状に多数存在するか否か、または、当該線分等における位置に応じて、識別表示方法が異なるように構成してもよい。当該表示方法はユーザが設定できるように構成してもよい。一方、閾値より小さいと判定した場合には、標準の識別表示として設定されている強調方法よりも強調度を抑えて表示（例えば、線を含んだ背景が強調される場合には、当該背景領域をより狭くする等）するよう構成してもよい。
【００６１】
差分画像部分がイラストや写真等の属性を有する場合には、例えば、差分画像部分の差分値が大小多種の値を含むことから、当該イラストや写真等の領域内で差分画像部分の占める割合があらかじめ設定された値以上であるか否かに応じて、イラスト等の差し替えとして表示するか否かを決定するように構成してもよい。また、差分画像部分がその他の属性を有する場合であって、差分画像部分の画素数があらかじめ設定された値よりも小さい場合には、基準画像において当該差分画像部分の対応する領域の面積や、同様の面積を有する差分画像部分が存在するか否かに応じて、当該差分画像部分を表示するか否かを決定してもよい。なお、ユーザが表示の要否につき、設定できるように構成してもよい。
【符号の説明】
【００６２】
１００ 画像処理システム、１１０ 画像処理装置、１１１、１２１ 制御部、１１２、１２２ 記憶部、１１３、１２３ 通信部、１２０ 端末装置、１２４ 操作部、１２５ 表示部、１２６ 読み取り部、２０１ 画像情報取得部、２０２ 位置補正部、２０３ 差分画像情報取得部、２０４ 要素取得部、２０５ 属性判定部、２０６ 出力画像情報生成部、８０１ 差分値取得部、８０２ 判定部、８０３ 強調画像情報生成部、８０４ 画像情報合成部。
【技術分野】
【０００１】
本発明は、画像処理システム、画像処理プログラムに関する。
【背景技術】
【０００２】
修正前の画像データと修正後の画像データにおける差異点を低解像度のモニタ等で目視にて認識するのは困難である点に鑑み、検出された差異点に相当する画素につき、その周辺画素についても差異点とする、太らせ処理を行った後、解像度を変換する画像データ検査装置が知られている（下記特許文献１参照）。
【先行技術文献】
【特許文献】
【０００３】
【特許文献１】特許第３５９７４０８号公報
【発明の概要】
【発明が解決しようとする課題】
【０００４】
基準画像と比較画像との差異点をその見つけにくさに応じて適応的に強調した画像情報を生成することを目的とする。
【課題を解決するための手段】
【０００５】
請求項１に記載の画像処理システムは、基準画像情報及び比較画像情報を取得する画像情報取得手段と、基準画像情報と比較画像情報の差分である差分画像情報を取得する差分画像情報取得手段と、前記基準画像の特徴量に応じて、該基準画像情報に含まれる各要素の属性情報とともに該各要素の位置情報を取得する要素取得手段と、前記差分画像情報に含まれる差分値を有する各差分画像部分の位置情報及び前記要素取得手段により抽出された前記各要素の位置情報に基づいて、前記各差分画像部分の属性を判定する属性判定手段と、前記属性判定手段により判定された各差分画像部分の属性と、前記差分画像部分に含まれる差分値に応じた値と、に応じた出力画像情報を生成する出力画像情報生成手段と、を有することを特徴とする。
【０００６】
請求項２に記載の画像処理システムは、請求項１記載の画像処理システムにおいて、前記画像処理システムは、更に、前記基準画像情報と前記比較画像情報が重なるように、少なくとも一方の画像情報の位置、角度、及び／またはサイズの補正処理を行う補正手段を有し、前記差分画像情報取得手段は、補正処理が行われた基準画像情報及び／または比較画像情報の差分に基づいて前記差分画像情報を取得することを特徴とする。
【０００７】
請求項３に記載の画像処理システムは、請求項１または２記載の画像処理システムにおいて、前記各差分画像部分の属性は、文字の属性を示す属性、表中の文字の属性を示す表中の文字属性、線の属性を示す線属性、画像の属性を示す画像属性を含むことを特徴とする。
【０００８】
請求項４に記載の画像処理システムは、請求項１乃至３のいずれかに記載の画像処理システムにおいて、前記出力画像生成手段は、前記各差分画像部分の属性及び該各差分画像部分が対応する前記各要素の位置情報に基づいて、前記差分画像部分に含まれる差分値に応じた値を取得する差分値取得手段と、前記差分値に応じた値が該属性毎に定められた閾値以上であるか否かを判定する判定手段と、を有し、前記出力画像情報は、更に、前記判定手段の判定結果に応じた画像情報であることを特徴とする。
【０００９】
請求項５に記載の画像処理システムは、請求項１乃至４のいずれかに記載の画像処理システムにおいて、前記出力画像生成手段は、前記差分画像部分が表中の文字属性であって、かつ、前記差分画像部分の前記表中の文字属性についてあらかじめ定めた閾値以上であると判定された場合には、前記基準画像情報及び前記比較画像情報で表され、前記差分画像部分を含む表全体を識別表示する画像を表す出力画像情報を生成することを特徴とする。
【００１０】
請求項６に記載の画像処理システムは、請求項１乃至５のいずれかに記載の画像処理システムにおいて、前記出力画像生成手段は、前記差分画像部分が表中の文字属性であって、かつ、前記差分画像部分の前記表中の文字属性の閾値より小さいと判定された場合には、前記差分画像部分のうち、前記差分画像部分が対応する表のセルを特定するとともに、当該セルを識別表示する出力画像を生成することを特徴とする。
【００１１】
請求項７に記載の画像処理プログラムは、基準画像情報及び比較画像情報を取得する画像情報取得手段、基準画像情報と比較画像情報の差分である差分画像情報を取得する差分画像情報取得手段、前記基準画像の特徴量に応じて、該基準画像情報に含まれる各要素の属性情報とともに該各要素の位置情報を取得する要素取得手段、前記差分画像情報に含まれる差分値を有する各差分画像部分の位置情報及び前記要素取得手段により抽出された前記各要素の位置情報に基づいて、前記各差分画像部分の属性を判定する属性判定手段、及び、前記属性判定手段により判定された各差分画像部分の属性と、前記差分画像部分に含まれる差分値に応じた値と、に応じた出力画像情報を生成する出力画像情報生成手段、としてコンピュータを機能させることを特徴とする。
【発明の効果】
【００１２】
請求項１、７の発明によれば、取得された差分画像部分の見つけにくさに応じて当該差分画像部分を適応的に識別表示する出力画像情報が生成される。
【００１３】
請求項２の発明によれば、位置合わせしない場合に比べてより正確な差分画像情報が取得される。
【００１４】
請求項３の発明によれば、差分画像部分の属性（文字、表中の文字、線、画像）に応じて、当該差分画像部分を適応的に識別表示する出力画像情報が生成される。
【００１５】
請求項４の発明によれば、差分画像部分の有する差分値の特徴や当該差分画像部分の周辺画像に応じた出力画像情報が生成される。
【００１６】
請求項５の発明によれば、表内で差分画像部分の割合が予め設定された閾値以上である場合には、前記差分画像部分を含む表全体を識別表示する出力画像が生成される。
【００１７】
請求項６の発明によれば、表内で差分画像部分の割合が予め設定された閾値より小さい場合には、当該表のうち当該差分画像部分が含まれるセルを識別表示する出力画像が生成される。
【図面の簡単な説明】
【００１８】
【図１】本発明の実施の形態における画像処理システムの構成の概要について説明するための図である。
【図２】図１に示した画像処理装置の機能的な構成について説明するための図である。
【図３】基準画像及び比較画像の一例を示す図である。
【図４】図３に示した基準画像情報と比較画像情報の差分画像情報を示す図である。
【図５】図３に示した基準画像について、文字要素を抽出した場合の例を示す図である。
【図６】図３に示した基準画像について、線要素及び表要素を抽出した場合の例を示す図である。
【図７】図３に示した基準画像と比較画像に基づいて生成された出力画像の一例を示す図である。
【図８】図２に示した出力画像情報生成部の機能的な構成の一例を示す図である。
【図９】出力画像の一例を説明するための図である。
【図１０】出力画像の他の一例を説明するための図である。
【図１１】出力画像の他の一例を説明するための図である。
【図１２】出力画像の他の一例を説明するための図である。
【図１３】出力画像の他の一例を説明するための図である。
【図１４】画像処理装置の処理のフローの概要を説明するための図である。
【発明を実施するための形態】
【００１９】
以下、本発明の実施形態について、図面を参照しつつ説明する。なお、図面については、同一又は同等の要素には同一の符号を付し、重複する説明は省略する。
【００２０】
図１は、本発明の実施の形態における画像処理システムの構成の概要について説明するための図である。図１に示すように、本実施の形態における画像処理システム１００は、例えば、ネットワーク１３０を介して接続された画像処理装置１１０と端末装置１２０とを有する。
【００２１】
画像処理装置１１０は、例えば、ＣＰＵやメモリ等で構成されるサーバで構成され、例えば、制御部１１１、記憶部１１２、通信部１１３を有する。なお、制御部１１１、記憶部１１２、通信部１１３は、内部バス１１４により互いに接続される。
【００２２】
制御部１１１は、例えば、ＣＰＵ、ＭＰＵ等であって、記憶部１１２に格納されたプログラムに従って動作する。記憶部１１２は、例えば、ＲＯＭやＲＡＭ、ハードディスク等の情報記録媒体で構成され、制御部１１１によって実行されるプログラムを保持する情報記録媒体である。また、記憶部１１２は、制御部１１１のワークメモリとしても動作する。なお、当該プログラムは、例えば、ネットワークを介して、ダウンロードされて提供されてもよいし、または、ＣＤ−ＲＯＭやＤＶＤ−ＲＯＭ等のコンピュータで読み取り可能な各種の情報記録媒体によって提供されてもよい。
【００２３】
通信部１１３は、当該画像処理装置１００を、ネットワーク１３０を介して、後述する端末装置１２０と接続する。
【００２４】
端末装置１２０は、例えば、ＦＡＸ機能やスキャナ機能等を有するいわゆる複合機等であって、図１に示すように、例えば、内部バス１２７により互いに接続された、制御部１２１、記憶部１２２、通信部１２３、操作部１２４、表示部１２５、読み取り部１２６を有する。
【００２５】
操作部１２４は、例えば、複数のボタンやタッチパネル等で構成され、ユーザの指示操作に応じて、当該指示操作の内容を制御部１２１に出力する。表示部１２５は、例えば、液晶ディスプレイ、有機ＥＬディスプレイ等であって、制御部１２１からの指示に従い、情報を表示する。読み取り部１２６は、媒体の表面を撮像センサでスキャンすることにより、媒体の画像を読み取り、画像情報として取得する。なお、制御部１２１、記憶部１２２、通信部１２３については、上記画像処理装置１１０と同様であるので、説明を省略する。
【００２６】
なお、上記画像処理システム１００の構成は、一例であってこれに限定されるものではない。例えば、図１においては、１の端末装置１２０のみを示しているが、その他の数であってもよい。また、図１においては、端末装置１２０のみが、読み取り部１２６を有する場合を示しているが、画像処理装置１１０が操作部１２４、表示部１２５、読み取り部１２６等を有するように構成してもよい。
【００２７】
図２は、画像処理装置の機能的な構成について説明するための図である。図２に示すように画像処理装置１１０は、機能的に、画像情報取得部２０１、位置補正部２０２、差分画像情報取得部２０３、要素取得部２０４、属性判定部２０５、出力画像情報生成部２０６を含む。なお、各部２０１乃至２０６の機能は、例えば、画像処理装置１１０の制御部１１１により実現される。
【００２８】
画像情報取得部２０１は、基準画像情報及び比較画像情報を取得する。当該基準画像を表す基準画像情報や比較画像を表す比較画像情報は、例えば、読み取り部１２６から直接か、ネットワーク１３０を介して取得される。なお、下記においては、説明の簡略化のため、基準画像情報及び比較画像情報として、図３（Ａ）及び（Ｂ）にそれぞれ示した、基準画像及び比較画像が取得された場合を例として説明する。
【００２９】
位置補正部２０２は、基準画像と比較画像の画像が重なるように、画像の位置、角度、サイズ等の補正処理を行う。例えば、基準画像に対して、比較画像の位置を移動、比較画像を回転、比較画像を拡大縮小処理することにより、基準画像と比較画像が最大限重なるように補正する。なお、当該位置補正は、例えば、基準画像及び比較画像にあらかじめ表された基準位置を示す基準位置情報に基づいて、当該基準位置情報が両画像間で合致するように上記位置等を補正してもよいし、または、基準画像と比較画像の差分値の絶対値の総計が最小になるように上記位置等を補正してもよい。
【００３０】
差分画像情報取得部２０３は、基準画像と比較画像の差分である差分画像情報を取得する。図４は、図３に示した基準画像情報と比較画像情報の差分画像情報を示す図である。なお、図４においては、色の濃い部分が基準画像から追加された画像情報（以下、追加画像部分と称する）に相当し、色の薄い部分が基準画像から削除された画像情報（以下、削除画像部分と称する）に相当する。例えば、基準画像及び比較画像において０と１の２値画像で表される場合については、追加画像部分は、差分値が−１を有する部分となり、削除画像部分は差分値が＋１を有する部分となり、他の部分は、差分値が０を有する部分となる。
【００３１】
要素取得部２０４は、基準画像から、例えば、基準画像の特徴量に応じて、各要素の属性情報とともにその領域情報を取得する。ここで、各要素とは、例えば、文字の属性を有する文字要素、表の属性を有する線要素、イラストや写真等の属性を有する画像要素、及びその他の要素に相当する。要素取得部２０４は、当該各属性とともに各属性の要素を含む領域を示す位置情報を取得する。なお、各要素の抽出方法としては、文字要素の抽出には、いわゆるレイアウト解析やラベリング等を用い、線要素の抽出には、いわゆる射影、追跡やフィルタ処理等を用い、また、表要素の抽出には射影処理やラベリング等を用いるが、各要素の抽出処理の詳細については周知であるので説明を省略する。なお、上記においては、要素取得部２０４は、基準画像情報のみから各要素を抽出する場合について説明したが、ユーザの設定により比較画像からも各要素を抽出するように構成してもよい。例えば、ユーザが基準画像と比較画像を見て、相違が大きいと判断した場合には、比較画像及び基準画像の双方から各要素を抽出するように選択し、一方、相違が小さいと判断した場合には、基準画像からのみ各要素を抽出するように選択する等である。
【００３２】
具体的には、図５及び図６に示した例を用いて説明する。図５は、図３に示した基準画像について、文字要素を抽出した場合の例を示す図である。また、図６は、図３に示した基準画像について、線要素及び表要素を抽出した場合の例を示す図である。例えば、図５に示すように、文字要素は、１文字ずつ文字要素として抽出される。なお、図５の各文字要素に外接する矩形領域が各文字要素の領域を示す領域情報に相当し、要素取得部２０４は、当該領域の位置情報、例えば、当該矩形領域の頂点の座標、を取得する。同様に、要素取得部２０４は、線要素については、線の位置を示す位置情報、例えば、線の両端点の座標を取得し、表要素については、表を示すための位置情報、例えば、表を表す矩形領域の頂点の座標や表に含まれるセルを表すためのセル内部の座標を取得する。
【００３３】
属性判定部２０５は、例えば、各差分画像部分の位置情報及び要素取得部２０４により抽出された各要素の位置情報に基づいて、各差分画像部分の属性を判定する。具体的には、図４乃至図６に示した例を用いて説明する。
【００３４】
図４及び図５に示した場合、属性判定部２０５は、例えば、文字要素５０１の領域（位置）に差分画像部分４０１が位置することから、差分画像部分４０１は、文字属性であると判定する。同様に、差分画像部分４０２は、文字要素５０２の領域に差分画像部分４０２が位置することから、文字属性であると判定する。差分画像部分４０３については、文字要素５０３の領域及び表要素６０１の位置に位置することから、表中の文字属性であると判定する等である。
【００３５】
出力画像情報生成部２０６は、各差分画像部分の有する属性とその差分値に応じた値に基づいて、基準画像と比較画像との差が明確になるような出力画像情報を生成する。当該出力画像情報は、例えば、ユーザが操作している端末装置１２０の表示部１２５等に表示される。
【００３６】
ここで、図７を用いて、出力画像の一例について説明する。図７は、図３（Ａ）及び（Ｂ）に示した基準画像と比較画像に基づいて生成された出力画像情報が、例えば、上記ユーザが操作している端末装置１２０の表示部１２５に表示された場合の一例を示す図である。図７からわかるように、出力画像においては、比較画像において基準画像に対して、追加、削除、または、変更等された部分（差分画像部分に相当する）が強調される。例えば、画像に対してサイズの小さい文字の変更部分に相当する差分画像部分４０２は、当該差分画像部分４０２を有する文字が枠づけされる。また、表中の文字に相当する差分画像部分４０３は、当該差分画像部分４０３の属する表のセルが識別表示（例えば、セルが着色される）される。一方、比較的差異が明確である太字の変更部分（差分画像部分４０１）については、基準画像に対して差分画像部分が識別表示（着色等）される等である。なお、図７に示した例は一例であって、本実施の形態はこれに限定されるものではない。
【００３７】
次に、出力画像情報生成部２０６の機能的な構成の一例について説明する。出力画像情報生成部２０６は、図８に示すように、例えば、差分値取得部８０１、判定部８０２、強調画像情報生成部８０３、画像情報合成部８０４を有する。以下、出力画像情報生成部２０６の機能的な構成の一例について、差分画像部分が、文字属性を有する場合、表中の文字属性を有する場合、画像属性を有する場合、その他の場合を例に、順に説明する。なお、下記構成は例示にすぎず、本実施の形態はこれに限定されるものではない。
【００３８】
差分値取得部８０１は、属性判定部２０５により文字属性と判定された差分画像部分については、例えば、対応する文字要素の領域内における差分値の絶対値（例えば、画素数に相当する）の割合や対応する文字要素のフォントサイズ等を算出する。より具体的には、例えば、上記のように差分画像部分４０１は、文字要素５０１の領域に位置していることから、文字要素５０１の領域内（例えば、図５に示した要素取得部２０４により文字要素５０１として抽出された領域）における差分値の絶対値の割合を算出する。
【００３９】
判定部８０２は、当該割合の示す値やフォントサイズが、文字属性に関連付けてあらかじめ定められた閾値以上であるか否かを判定する。判定部８０２が、当該閾値以上であると判定した場合には、画像情報合成部８０４は、基準画像に当該差分画像部分を合成し、当該差分画像部分を識別表示（例えば、着色等）する画像情報を生成する。具体的には、図７に示すように、差分画像部分４０１を識別表示する画像情報を生成する等である。
【００４０】
一方、判定部８０２が閾値より小さいと判定した場合には、強調画像情報生成部８０３は、差分画像部分を含む文字を囲む枠を表す枠画像情報を生成する。この場合、画像情報合成部８０４は、基準画像情報に当該差分画像部分及び枠画像情報で表される枠画像を合成した画像情報を生成する。具体的には、例えば、上記図７に示すように、当該差分画像部分４０２を識別表示（例えば、着色等）するとともに、当該差分画像部分４０２に対応する文字要素５０２を囲む枠を表示する画像情報を生成する。
【００４１】
次に、差分画像部分が表中の文字属性を有する場合について説明する。差分値取得部８０１は、表中の文字の属性と判定された差分画像部分については、例えば、対応する文字要素を含む表中の文字要素の画素数における差分値の絶対値の割合を算出する。具体的には、例えば、上記のように差分画像部分４０３は、文字要素５０３の領域に位置していることから、表要素６０１内の文字要素の画素数における差分値の絶対値の割合を算出する。
【００４２】
判定部８０２は、当該割合の示す値が、表中の文字属性に関連付けてあらかじめ定められた閾値以上であるか否かを判定する。判定部８０２が閾値より小さいと判定した場合には、画像情報合成部８０４は、当該差分画像情報の位置情報に基づいて、当該差分画像部分が属する表の領域情報のうち、当該差分画像が属するセルの領域を特定する。そして、画像情報合成部８０４は、基準画像に当該差分画像部分を合成し、当該差分画像部分を識別表示するとともに、上記特定されたセルを識別表示した画像情報を生成する。具体的には、例えば、図７に示すように、差分画像部分４０３を識別表示（例えば着色等）するとともに、当該差分画像部分４０３が属する表のセルを識別表示（例えば着色等）した画像情報を生成するである。
【００４３】
一方、判定部８０２が閾値以上であると判定した場合には、画像情報合成部８０４は、基準画像と比較画像のうち、当該差分画像部分が属する表及び当該表に属する文字要素を位置を予め定められた距離及び方法にずらして表示する画像情報を生成する。具体的には、例えば、図９に示した場合、図９（Ａ）に示した基準画像の表と図９（Ｂ）に示した比較画像の表から、図９（Ｃ）に示した画像情報を生成する。例えば、基準画像における表等と比較画像における表等を識別表示（例えば、色分けして表示）する。
【００４４】
次に、差分画像部分が線属性を有する場合について説明する。差分値取得部８０１は、線属性と判定された差分画像部分については、例えば、対応する線要素の領域内における差分値の絶対値の割合を算出する。
【００４５】
判定部８０２は、当該割合の示す値が、線属性に関連付けてあらかじめ定められた閾値以上であるか否かを判定する。判定部８０２が、閾値より小さいと判定した場合には、例えば、画像情報合成部８０４は、基準画像に当該差分画像部分を合成した画像情報を生成し、当該差分画像部分と対応する線要素を全体として識別表示する。つまり、この場合は
追加画像部分及び削除画像部分それぞれの識別表示は行わない。具体的には、例えば、基準画像及び比較画像における線要素がそれぞれ図１０（Ａ）及び（Ｂ）に示した場合、図１０（Ｃ）または（Ｄ）のように表示する画像情報を生成する等である。
【００４６】
また、基準画像と比較画像における当該線要素の位置情報に基づいて、当該差分画像部分が、当該差分画像部分が属する線要素の端点であるか否かを認識し、端点に存在すると判断した場合には、当該差分画像部分を識別表示しないように構成してもよい。なお、当該差分画像部分の表示または非表示については、ユーザが設定できるように構成してもよい。具体的には、例えば、基準画像及び比較画像の線要素が図１１（Ａ）及び（Ｂ）に示した場合、図１１（Ｃ）または（Ｄ）のような画像情報を生成する等である。
【００４７】
一方、判定部８０２が閾値以上であると判定した場合には、例えば、強調画像情報生成部８０３は、当該差分画像部分が属する線要素を囲うあらかじめ定められた大きさの領域を識別表示する画像情報を生成し、画像情報合成部８０４は、基準画像に当該画像情報を合成した画像情報を生成するようにしてもよい。この場合、上記差分値取得部８０１は、具体的には、例えば、上記のように差分画像部分４０４の幅か高さの大きい方に対する、画像全体の幅か高さの割合を算出する。図１２（Ａ）または（Ｂ）は、判定部８０２が閾値以上であると判定した場合の例を示す。具体的には、図１２（Ａ）は、例えば、当該線要素を囲む領域が着色して表示された場合を示し、図１２（Ｂ）は、当該線要素を囲む領域がハッチングされて表示された場合を示すものとする。なお、この場合、図７に示すように、例えば、差分画像部分４０４を単に識別表示（例えば、着色等）するように構成してもよい。また、閾値以下の場合は、枠で囲むなどの強調画像を生成するように構成してもよい。また、上記においては、単に線要素の差分値が閾値以上であるか否かに応じて表示方法を異ならせる構成について説明したが、後述するようにその他の値に基づいて表示方法を異ならせてもよい。具体的には、例えば、その他線要素を表す領域における差分画像部分の分散等に基づいて、識別表示方法を異ならせるように構成してもよい。この場合、より差異が発見しにくい場合ほど、より識別して表示されるように構成すればよい。
【００４８】
次に、差分画像部分が画像属性を有する場合の例について説明する。差分値取得部８０１は、画像属性と判定された差分画像部分については、例えば、対応する画像要素の領域内における差分値の絶対値の割合を算出する。判定部８０２は、当該割合の示す値が、画像属性に関連付けてあらかじめ定められた閾値以上であるか否かを判定する。
【００４９】
判定部８０２が閾値以上であると判定した場合には、強調画像情報生成部８０３は、当該画像が差し替えられたことを示す画像情報を生成する。例えば、画像情報合成部８０４は、基準画像に当該差し替えられたことを示す画像情報を生成する。より具体的には、例えば、基準画像及び比較画像の画像要素が図１３（Ａ）及び（Ｂ）に示した場合、図１３（Ｃ）に示すように差し替えられたことを示すために元の画像要素を識別表示（例えば、元の画像要素と異なる色に着色するなど）する等である。一方、判定部８０２が閾値より小さいと判定した場合には、例えば、画像情報合成部８０４は基準画像に差分画像部分を合成し、差分画像部分が識別表示（例えば、枠づけされて表示される等）される画像情報を生成する。
【００５０】
次に、その他の属性を有する場合について説明する。ユーザの設定に応じて、出力画像情報生成部２０６は当該差分画像部分を識別表示または除去した出力画像情報を生成する。例えば、ユーザの設定に応じて、当該差分画像がその他の属性領域からあらかじめ設定された距離以上離れた点（孤立点）や予め設定された面積以下の点の集合等に相当する場合、ノイズとして出力画像情報から除去する。
【００５１】
次に、画像処理装置１１０の処理のフローについて説明する。図１４は、画像処理装置１１０における処理のフローの一例について説明するための図である。
【００５２】
画像情報取得部２０１は、基準画像情報及び比較画像情報を取得する（Ｓ１０１）。位置補正部２０２は、基準画像と比較画像の画像が重なるように、画像の位置、角度、サイズ等の補正処理を行う（Ｓ１０２）。差分画像情報取得部２０３は、基準画像と比較画像の差分である差分画像情報を取得する（Ｓ１０３）。要素取得部２０４は、基準画像から、基準画像の特徴量に応じて、各要素の属性情報とともにその領域情報を抽出する（Ｓ１０４）。
【００５３】
属性判定部２０５は、各差分画像部分の位置情報及び要素取得部２０４により抽出された各要素の位置情報に基づいて、各差分画像部分の属性を判定する（Ｓ１０５）。出力画像情報生成部２０６は、各差分画像部分の有する属性とその差分値に応じた値に基づいて、基準画像と比較画像との差が明確になるような出力画像情報を生成する（Ｓ１０６）。なお、当該出力画像情報は、例えば、端末装置１２５の表示部１２５に表示される。
【００５４】
上記処理のフローは一例にすぎず、上記フローと実質的に同一の構成、同一の作用効果を奏する構成又は同一の目的を達成することができる構成で置き換えてもよい。例えば、Ｓ１０２及びＳ１０３の前にＳ１０４の処理を行ってもよいし、また、Ｓ１０２及びＳ１０３の処理とＳ１０４の処理を並行して行うように構成してもよい。
【００５５】
なお、本発明は、上記実施の形態に限定されるものではなく、上記実施の形態で示した構成と実質的に同一の構成、同一の作用効果を奏する構成又は同一の目的を達成することができる構成で置き換えてもよい。
【００５６】
例えば、出力画像情報生成部２０６は、基準画像と比較画像との差分に基づく差分結果の大きさ（画素数、外接矩形サイズ、縦横の辺の長さ、文字サイズ等）、長さ、太さ、量に相当する値や、要素の種類（文字、罫線内の文字、線画、表罫線、イラスト、写真等）、差分結果に対する周辺画像や周辺画像に対する差分結果の位置関係等に応じて、差分結果が強調してユーザが容易に基準画像と比較画像の相違点を発見できるような出力画像が形成できる限り異なる構成であってもよい。この場合、差分結果の強調方法としては、例えば、差分結果自体の着色や、差分箇所を囲む枠づけ（当該枠づけの枠の太さや間隔、種類を異ならせてもよい）、表のセル内の背景部分の着色やハッチング、差分結果の背景部分の着色、ハッチング、位置をずらす等を用いてもよい。
【００５７】
上記においては、主に、差分画像部分について、対応する要素の領域内における差分値の絶対値の割合を算出する場合を例として説明したが、その他の差分画像部分の特徴（例えば、各領域における分散や画像全体に対する割合）や、差分画像部分の周辺画像の環境やユーザ設定等に基づいて、出力画像情報を生成するように構成してもよい。
【００５８】
具体的には、例えば、差分画像部分が文字属性を有する場合においては、差分の特徴として差分結果が小さく細かいか否か、具体的には、例えば、差分画像部分（差分画像部分に外接する領域）の占める割合に対して差分値を有する割合があらかじめ定められた閾値より小さいか否かを判定し、小さいと判定した場合には、差分画像部分の属する文字要素または隣接する文字要素を含む文字ブロックを識別表示するように構成してもよい。あるいは、差分の特徴として、基準画像において対応する文字と差分画像部分の画素数を比較して、当該差分画像部分の画素数が文字の画素数に応じてあらかじめ定められた閾値よりも大きい場合には、差分画像部分のみを識別表示するように構成してもよい。
【００５９】
差分画像部分が表中の文字の属性を有する場合においては、例えば、差分の特徴として差分結果が小さく細かいか否か、より具体的には、例えば、差分画像部分（差分画像部分に外接する領域）の占める割合に対して差分値を有する割合があらかじめ定められた閾値より小さいか否かを判定し、小さいと判定した場合であって、周囲の環境として当該表の密度が高い場合や、枠付けする場合において枠と表を構成する線が干渉する場合等は、差分画像部分の属するセルを識別表示するように構成してもよい。また、表内に占める差分画像部分の割合があらかじめ設定された閾値よりも大きいか否かを判定し、大きいと判定した場合には、表の差し替えを示す出力画像情報を生成、表示されるように構成してもよい。更に、表の行または列を構成する差分画像部分の割合があらかじめ設定された閾値よりも大きいか否かを判定し、大きいと判定した場合には、当該行または列の差し替えを示す出力画像情報を生成、表示されるように構成してもよい。なお、これらの場合、ユーザの設定により差し替えを示すか否かを決定できるように構成してもよい。
【００６０】
差分画像部分が線属性を有する場合には、差分画像部分の画素数が、例えば、差分の特徴として、対応する線要素の長さや太さ等に応じて決定される等の閾値以上か否かを決定し、当該閾値以下であると判定した場合には、当該差分画像部分が同一線分または直線状に多数存在するか否か、または、当該線分等における位置に応じて、識別表示方法が異なるように構成してもよい。当該表示方法はユーザが設定できるように構成してもよい。一方、閾値より小さいと判定した場合には、標準の識別表示として設定されている強調方法よりも強調度を抑えて表示（例えば、線を含んだ背景が強調される場合には、当該背景領域をより狭くする等）するよう構成してもよい。
【００６１】
差分画像部分がイラストや写真等の属性を有する場合には、例えば、差分画像部分の差分値が大小多種の値を含むことから、当該イラストや写真等の領域内で差分画像部分の占める割合があらかじめ設定された値以上であるか否かに応じて、イラスト等の差し替えとして表示するか否かを決定するように構成してもよい。また、差分画像部分がその他の属性を有する場合であって、差分画像部分の画素数があらかじめ設定された値よりも小さい場合には、基準画像において当該差分画像部分の対応する領域の面積や、同様の面積を有する差分画像部分が存在するか否かに応じて、当該差分画像部分を表示するか否かを決定してもよい。なお、ユーザが表示の要否につき、設定できるように構成してもよい。
【符号の説明】
【００６２】
１００ 画像処理システム、１１０ 画像処理装置、１１１、１２１ 制御部、１１２、１２２ 記憶部、１１３、１２３ 通信部、１２０ 端末装置、１２４ 操作部、１２５ 表示部、１２６ 読み取り部、２０１ 画像情報取得部、２０２ 位置補正部、２０３ 差分画像情報取得部、２０４ 要素取得部、２０５ 属性判定部、２０６ 出力画像情報生成部、８０１ 差分値取得部、８０２ 判定部、８０３ 強調画像情報生成部、８０４ 画像情報合成部。
【特許請求の範囲】
【請求項１】
基準画像情報及び比較画像情報を取得する画像情報取得手段と、
基準画像情報と比較画像情報の差分である差分画像情報を取得する差分画像情報取得手段と、
前記基準画像の特徴量に応じて、該基準画像情報に含まれる各要素の属性情報とともに該各要素の位置情報を取得する要素取得手段と、
前記差分画像情報に含まれる差分値を有する各差分画像部分の位置情報及び前記要素取得手段により抽出された前記各要素の位置情報に基づいて、前記各差分画像部分の属性を判定する属性判定手段と、
前記属性判定手段により判定された各差分画像部分の属性と、前記差分画像部分に含まれる差分値に応じた値と、に応じた出力画像情報を生成する出力画像情報生成手段と、
を有することを特徴とする画像処理システム。
【請求項２】
前記画像処理システムは、更に、前記基準画像情報と前記比較画像情報が重なるように、少なくとも一方の画像情報の位置、角度、及び／またはサイズの補正処理を行う補正手段を有し、
前記差分画像情報取得手段は、補正処理が行われた基準画像情報及び／または比較画像情報の差分に基づいて前記差分画像情報を取得することを特徴とする請求項１記載の画像処理システム。
【請求項３】
前記各差分画像部分の属性は、文字の属性を示す属性、表中の文字の属性を示す表中の文字属性、線の属性を示す線属性、画像の属性を示す画像属性を含むことを特徴とする請求項１または２記載の画像処理システム。
【請求項４】
前記出力画像生成手段は、
前記各差分画像部分の属性及び該各差分画像部分が対応する前記各要素の位置情報に基づいて、前記差分画像部分に含まれる差分値に応じた値を取得する差分値取得手段と、
前記差分値に応じた値が該属性毎に定められた閾値以上であるか否かを判定する判定手段と、を有し、
前記出力画像情報は、更に、前記判定手段の判定結果に応じた画像情報であることを特徴とする請求項１乃至３のいずれかに記載の画像処理システム。
【請求項５】
前記出力画像生成手段は、前記差分画像部分が表中の文字属性であって、かつ、前記差分画像部分の前記表中の文字属性についてあらかじめ定めた閾値以上であると判定された場合には、前記基準画像情報及び前記比較画像情報で表され、前記差分画像部分を含む表全体を識別表示する画像を表す出力画像情報を生成することを特徴とする請求項１乃至４のいずれかに記載の画像処理システム。
【請求項６】
前記出力画像生成手段は、前記差分画像部分が表中の文字属性であって、かつ、前記差分画像部分の前記表中の文字属性についてあらかじめ定めた閾値より小さいと判定された場合には、前記差分画像部分のうち、前記差分画像部分が対応する表のセルを特定するとともに、当該セルを識別表示する出力画像情報を生成することを特徴とする請求項１乃至５のいずれかに記載の画像処理システム。
【請求項７】
基準画像情報及び比較画像情報を取得する画像情報取得手段、
基準画像情報と比較画像情報の差分である差分画像情報を取得する差分画像情報取得手段、
前記基準画像の特徴量に応じて、該基準画像情報に含まれる各要素の属性情報とともに該各要素の位置情報を取得する要素取得手段、
前記差分画像情報に含まれる差分値を有する各差分画像部分の位置情報及び前記要素取得手段により抽出された前記各要素の位置情報に基づいて、前記各差分画像部分の属性を判定する属性判定手段、及び
前記属性判定手段により判定された各差分画像部分の属性と、前記差分画像部分に含まれる差分値に応じた値と、に応じた出力画像情報を生成する出力画像情報生成手段、
としてコンピュータを機能させるための画像処理プログラム。
【請求項１】
基準画像情報及び比較画像情報を取得する画像情報取得手段と、
基準画像情報と比較画像情報の差分である差分画像情報を取得する差分画像情報取得手段と、
前記基準画像の特徴量に応じて、該基準画像情報に含まれる各要素の属性情報とともに該各要素の位置情報を取得する要素取得手段と、
前記差分画像情報に含まれる差分値を有する各差分画像部分の位置情報及び前記要素取得手段により抽出された前記各要素の位置情報に基づいて、前記各差分画像部分の属性を判定する属性判定手段と、
前記属性判定手段により判定された各差分画像部分の属性と、前記差分画像部分に含まれる差分値に応じた値と、に応じた出力画像情報を生成する出力画像情報生成手段と、
を有することを特徴とする画像処理システム。
【請求項２】
前記画像処理システムは、更に、前記基準画像情報と前記比較画像情報が重なるように、少なくとも一方の画像情報の位置、角度、及び／またはサイズの補正処理を行う補正手段を有し、
前記差分画像情報取得手段は、補正処理が行われた基準画像情報及び／または比較画像情報の差分に基づいて前記差分画像情報を取得することを特徴とする請求項１記載の画像処理システム。
【請求項３】
前記各差分画像部分の属性は、文字の属性を示す属性、表中の文字の属性を示す表中の文字属性、線の属性を示す線属性、画像の属性を示す画像属性を含むことを特徴とする請求項１または２記載の画像処理システム。
【請求項４】
前記出力画像生成手段は、
前記各差分画像部分の属性及び該各差分画像部分が対応する前記各要素の位置情報に基づいて、前記差分画像部分に含まれる差分値に応じた値を取得する差分値取得手段と、
前記差分値に応じた値が該属性毎に定められた閾値以上であるか否かを判定する判定手段と、を有し、
前記出力画像情報は、更に、前記判定手段の判定結果に応じた画像情報であることを特徴とする請求項１乃至３のいずれかに記載の画像処理システム。
【請求項５】
前記出力画像生成手段は、前記差分画像部分が表中の文字属性であって、かつ、前記差分画像部分の前記表中の文字属性についてあらかじめ定めた閾値以上であると判定された場合には、前記基準画像情報及び前記比較画像情報で表され、前記差分画像部分を含む表全体を識別表示する画像を表す出力画像情報を生成することを特徴とする請求項１乃至４のいずれかに記載の画像処理システム。
【請求項６】
前記出力画像生成手段は、前記差分画像部分が表中の文字属性であって、かつ、前記差分画像部分の前記表中の文字属性についてあらかじめ定めた閾値より小さいと判定された場合には、前記差分画像部分のうち、前記差分画像部分が対応する表のセルを特定するとともに、当該セルを識別表示する出力画像情報を生成することを特徴とする請求項１乃至５のいずれかに記載の画像処理システム。
【請求項７】
基準画像情報及び比較画像情報を取得する画像情報取得手段、
基準画像情報と比較画像情報の差分である差分画像情報を取得する差分画像情報取得手段、
前記基準画像の特徴量に応じて、該基準画像情報に含まれる各要素の属性情報とともに該各要素の位置情報を取得する要素取得手段、
前記差分画像情報に含まれる差分値を有する各差分画像部分の位置情報及び前記要素取得手段により抽出された前記各要素の位置情報に基づいて、前記各差分画像部分の属性を判定する属性判定手段、及び
前記属性判定手段により判定された各差分画像部分の属性と、前記差分画像部分に含まれる差分値に応じた値と、に応じた出力画像情報を生成する出力画像情報生成手段、
としてコンピュータを機能させるための画像処理プログラム。
【図１】
【図２】
【図３】
【図４】
【図５】
【図６】
【図７】
【図８】
【図９】
【図１０】
【図１１】
【図１２】
【図１３】
【図１４】
【図２】
【図３】
【図４】
【図５】
【図６】
【図７】
【図８】
【図９】
【図１０】
【図１１】
【図１２】
【図１３】
【図１４】
【公開番号】特開２０１３−２９９８２（Ｐ２０１３−２９９８２Ａ）
【公開日】平成２５年２月７日（２０１３．２．７）
【国際特許分類】
【出願番号】特願２０１１−１６５５１５（Ｐ２０１１−１６５５１５）
【出願日】平成２３年７月２８日（２０１１．７．２８）
【出願人】（０００００５４９６）富士ゼロックス株式会社 (21,908)
【Ｆターム（参考）】
【公開日】平成２５年２月７日（２０１３．２．７）
【国際特許分類】
【出願日】平成２３年７月２８日（２０１１．７．２８）
【出願人】（０００００５４９６）富士ゼロックス株式会社 (21,908)
【Ｆターム（参考）】
[ Back to top ]