画像データ出力処理装置、画像データ出力処理方法、プログラム及び記録媒体
【課題】入力画像データが両面原稿のものであり、出力処理の規制された原稿画像を含んでいる場合は、その出力処理をより確実に規制可能な画像データ出力処理を実現する。
【解決手段】登録処理部36は、登録モード時、登録原稿が両面原稿のものである場合、表面及び裏面の各原稿画像を表すIDに対応付けて、登録原稿を表すDocIDも格納しておく。照合モード時、投票処理/候補リスト作成部33は、照合原稿が両面原稿のものである場合、照合原稿の表面の画像及び裏面の原稿画像毎に、類似するIDと、これに関連するDocIDを抽出して表裏の候補リストを作成する。照合結果補正処理部35は、各リストにおいて、第1候補同士が同じDocIDを有する場合は、これらが類似すると判定し、同じDocIDを有さない場合は、同じDocIDを有する登録画像へと、類似度判定処理部34による判定結果を補正する。
【解決手段】登録処理部36は、登録モード時、登録原稿が両面原稿のものである場合、表面及び裏面の各原稿画像を表すIDに対応付けて、登録原稿を表すDocIDも格納しておく。照合モード時、投票処理/候補リスト作成部33は、照合原稿が両面原稿のものである場合、照合原稿の表面の画像及び裏面の原稿画像毎に、類似するIDと、これに関連するDocIDを抽出して表裏の候補リストを作成する。照合結果補正処理部35は、各リストにおいて、第1候補同士が同じDocIDを有する場合は、これらが類似すると判定し、同じDocIDを有さない場合は、同じDocIDを有する登録画像へと、類似度判定処理部34による判定結果を補正する。
【発明の詳細な説明】
【技術分野】
【0001】
本発明は、入力画像データに対する複写処理や、送信処理、編集処理、或いはファイリング処理等の出力処理を行う画像データ出力処理装置に関し、より詳細には、入力画像データの画像と事前に登録されている登録原稿の画像とを比較して類似性を判定し、その判定結果に基づいて、入力画像データの出力処理を制御する機能を有する画像データ出力処理装置に関するものである。
【背景技術】
【0002】
従来から、スキャナ等で原稿を読み取って得られた原稿の画像データと、事前に登録されている登録原稿の画像データとを比較し、その類似性を判定するといった画像照合技術がある。
【0003】
類似性の判定には、例えば、OCR(Optical Character Reader)などで画像からキーワードを抽出してキーワードによるマッチングを行う方法や、対象画像を罫線のある帳票画像に限定し、罫線の特徴によるマッチングを行う方法(特許文献1参照)、或いは、入力画像と登録原稿の色味分布を基に判定する方法(特許文献2参照)などが知られている。
【0004】
また、特許文献3には、入力文書の特徴からデスクリプタを生成し、このデスクリプタと、デスクリプタを記録しデスクリプタが生成された特徴を含む文書のリストを指し示すデスクリプタデータベースとを用いて、入力文書と文書データベース中の文書とのマッチングを行う技術が開示されている。デスクリプタは、文書のデジタル化により生じる歪みや、入力文書と文書データベース中の整合する文書との間の差異に対して不変となるように選ばれる。
【0005】
この技術では、デスクリプタデータベースがスキャンされるときに、文書データベース中の各文書に対する投票を累積し、最高得票数の1文書または得票数がある閾値を超えた文書を整合文書とするようになっている。
【0006】
さらに、特許文献4には、デジタル画像から複数の特徴点を抽出し、抽出した各特徴点に対して局所的な特徴点の集合を決定し、決定した各集合から特徴点の部分集合を選択し、選択した各部分集合を特徴付ける量として、部分集合中の特徴点の複数の組み合わせに基づいて、幾何学的変換に対する不変量をそれぞれ求め、求めた各不変量を組み合わせて特徴量を計算し、計算した特徴量を有するデータベース中の文書・画像に投票することにより、上記デジタル画像に対応する文書・画像を検索する技術が開示されている。
【0007】
そして、従来、複写機や、ファクシミリ装置、スキャナ装置、或いは複合機などの、入力画像データに対して複写処理や、送信処理、編集処理、或いはファイリング処理等の出力処理を行う画像データ出力処理装置においては、このような原稿照合技術を利用して、入力画像データが登録原稿の画像データに類似する場合、その出力処理を規制するといったことが行われている。
【0008】
例えば、カラー画像形成装置においては、紙幣や有価証券の偽造に対処するため、入力画像データから検出したパターンに基づいて入力画像データが紙幣や有価証券等(登録原稿)の画像データであるかどうかを判断し、登録原稿の画像データである場合には、出力された画像から複写を行った画像形成装置を特定できるように出力される画像に特定のパターンを付加したり、複写画像を塗りつぶしたり、複写動作を禁止したりする技術が知られている。
【特許文献1】特開平8−255236号公報(1996年10月1日公開)
【特許文献2】特開平5−110815号公報(1993年4月30日公開)
【特許文献3】特開平7−282088号公報(1995年10月27日公開)
【特許文献4】国際公開第2006/092957号パンフレット(2006年9月8日公開)
【発明の開示】
【発明が解決しようとする課題】
【0009】
しかしながら、従来の画像データ出力処理装置においては、入力画像データが両面原稿のものであったとしても、両面原稿であることを考慮した判定を行うようにはなっていない。そのため、出力処理を規制されている原稿画像であることを判定することができず、規制すべき出力処理を許可してしまうといった問題がある。
【0010】
これについて、図25を用いて説明する。従来の画像データ出力処理装置においては、基本的に1頁単位で照合を行うようになっている。したがって、図25に示すように、照合原稿が、表裏にそれぞれ原稿画像X,Yをもつ両面原稿Aであっても、表面の原稿画像Xと裏面の原稿画像Yとは、それぞれ独立した1枚の原稿画像として、登録画像に対して個々に類似性が判定され、両面原稿の属性は用いられない。
【0011】
そのため、図25に示すように、表裏の各原稿画像X,Yが共に出力処理が禁止されている両面原稿Aの場合に、表面の原稿画像Xについては登録画像Xに類似すると判定できても、裏面の原稿画像Yについては登録画像Yに類似するとは判定できず、原稿画像Yについて出力処理が許可されてしまうといったことが起こる。
【0012】
ここで、もし、登録画像Xを含む登録原稿は両面原稿であり、その裏面は登録画像Yであるといった情報が事前に予め与えられており、これを加味して判定することができたならば、裏面の原稿画像Yに対する判定を修正して、原稿画像Yの出力処理を禁止することが可能である。
【0013】
本発明は、上記の問題点に鑑みてなされたものであり、その目的は、入力画像データの画像が登録原稿の画像に類似しているか否かを判定し、判定結果に応じて、入力画像データの出力処理を規制する画像データ出力処理装置において、入力画像データが両面原稿のものであり、出力処理の規制された原稿画像を含んでいる場合は、その出力処理をより確実に規制可能な画像データ出力処理装置を実現することにある。
【課題を解決するための手段】
【0014】
本発明のデータ出力処理装置は、上記課題を解決するために、入力画像データに対して出力処理を施すものであり、入力画像データより画像の特徴量を抽出する一方、抽出した該特徴量と予め登録されている登録原稿の画像の特徴量とを比較して、上記入力画像データの画像と登録原稿の画像との類似性を判定する画像照合部と、上記画像照合部の判定結果に基づいて、上記入力画像データに対する出力処理を制御する出力処理制御部とを備えた画像データ出力処理装置において、上記画像照合部は、両面原稿よりなる登録原稿の表面及び裏面の各画像の特徴量を格納すると共に、表面及び裏面の各画像を識別するための指標に対応付けて、当該登録画像を含む両面原稿を識別するための指標が格納されている記憶部に対して、入力画像データの画像を照合させるようになっており、上記入力画像データが両面原稿のものである場合、当該両面原稿の表面の画像及び裏面の画像毎に、上記記憶部より予め定める基準以上の類似性を有する登録画像の指標と、これに関連する登録原稿の指標を抽出して、表面候補リスト及び裏面候補リストを作成する投票処理/候補リスト作成部と、作成された表面候補リスト及び裏面候補リストを参照し、両方の候補リストに同じ登録原稿の指標を有する登録画像が含まれている場合は、同じ登録原稿の指標を有するこれら各登録画像と上記入力画像データの両面原稿の各画像とが類似すると判定する両面原稿判定処理部とを備えることを特徴としている。
【0015】
これによれば、登録原稿が両面原稿である場合、両面原稿である属性が登録原稿の類似性を判定する際の要素の1つに含められ、照合原稿が両面原稿である場合は、照合原稿の両面原稿である属性を含めて、登録画像を判定することが可能となり、両面原稿に対する類似性の判定精度を向上させることができる。
【0016】
即ち、登録原稿が両面原稿である場合、その表面及び裏面の各画像を識別するための指標(一例:後述する画像インデックスIDに相当)に対応付けて、当該登録画像を含む両面原稿を識別するための指標(一例:後述する原稿インデックスDocID)を記憶部に格納される。
【0017】
これにより、両面原稿の表面及び裏面にある各画像は、どの両面原稿に含まれるものであるかを一意に特定可能となる。
【0018】
そして、照合に際しては、投票処理/候補リスト作成部が、照合原稿が両面原稿である場合、当該両面原稿の表面の画像及び裏面の画像毎に、記憶部より予め定める基準以上の類似性を有する登録画像の指標と、これに関連する登録原稿の指標を抽出して候補リストを作成する。
【0019】
このように作成された表面候補リスト及び裏面候補リストには、照合原稿の表面及び裏面の各画像が類似する可能性のある登録画像が、その類似する度合いにもよるが、複数抽出されることとなる。もちろん、登録画像に類似しない場合や、類似する度合いが、1つの登録画像を除いて低い場合などは、候補リストにリストアップされる候補の登録画像数は、無しや1つになったりする場合もある。
【0020】
そして、両面原稿判定処理部は、このように作成された表面候補リスト及び裏面候補リストを参照し、両方の候補リストに同じ登録原稿の指標を有する登録画像が含まれている場合、これら同じ登録原稿の指標を有する各候補リストの各登録画像と、照合モード時に入力された両面原稿の各画像とが類似すると判定する。
【0021】
これにより、照合原稿が両面原稿であり、かつ、登録原稿に類似(一致)する場合に、照合原稿の一方の面の画像のみが登録原稿の一方の面の画像に類似すると判定され、照合原稿のもう一方の面の画像は、登録原稿のもう一方の面の画像とは異なるといった、誤った判定を避けて、照合原稿が両面原稿である場合の判定精度を向上させることができる。
【0022】
本発明の画像データ出力処理装置においては、さらに、上記両面原稿判定処理部は、上記入力画像データの画像が登録画像に類似するか否かを判定し、類似する場合は、類似性の最も高い登録画像が入力画像データの画像であると判定する類似度判定処理部と、上記類似度判定処理部による判定結果を補正する判定結果補正処理部とを含み、上記判定結果補正処理部は、表面候補リスト及び裏面候補リストそれぞれの類似性の最も高い第1候補の登録画像が、互いに同じ登録原稿の指標を有するか否かを判断し、同じ登録原稿の指標を有する場合は、類似度判定処理部の判定結果を補正せず、同じ登録原稿の指標を有さない場合は、表面候補リスト及び裏面候補リストそれぞれの第1候補の登録画像の類似性を比較し、類似性のより高い方に関連する登録原稿を候補原稿とし、該候補原稿と同じ登録原稿の指標をもつ登録画像が、類似性の低い方の候補リストに含まれるか否かを判断し、含まれている場合は、上記類似度判定処理部による類似性の低い方の判定結果を、上記候補原稿と同じ登録原稿の指標をもつ登録画像へと補正する構成とすることもできる。
【0023】
これによれば、判定結果補正処理部が、表面候補リスト及び裏面候補リストの第1候補が異なる登録原稿の指標を有する場合、つまり、同一原稿の表裏にある登録画像の関係に無い場合は、同一原稿の表裏にある登録画像の関係を満足する組み合わせへと、類似度判定処理部の判定結果を補正する。
【0024】
これにより、表面候補リスト及び裏面候補リストに多くの候補の画像がリストアップされたとしても、少ない処理にて確実に、類似の度合いの高い順に、同一の登録原稿がもつ登録画像に類似すると判定することが可能となる。
【0025】
また、類似度判定処理部による判定結果を補正する形式をとるので、類似度判定処理部は、片面原稿に対応した、従来ある1頁ずつ判定する構成をそのまま採用できる。
【0026】
また、本発明の画像データ出力処理装置においては、さらに、上記出力処理制御部は、照合モード時に入力された両面原稿の各画像の少なくとも一方が登録画像に類似する場合、登録画像に類似する画像の入力画像データの出力処理のみならず、当該両面原稿の表裏両面の画像の入力画像データの出力処理を規制する強制モードを有する構成とすることが好ましく、しかも、出力処理の規制は登録画像毎に設定されている場合には、最も優先度の高い規制が選択される構成とすることが好ましい。
【0027】
また、本発明の画像データ出力処理装置としては、出力処理が、入力画像データに基づいて記録材上に画像を形成する画像形成処理であり、記録材上に画像データに基づいて画像を形成する画像形成手段を備えるものや、出力処理が、入力画像データを記憶装置に格納するファイリング処理であり、画像データを記憶装置に格納していくファイリング手段を備えるもの、或いは、出力処理が、入力画像データをネットワークを介して受信装置に送信する送信処理であり、画像データをネットワークを介して受信装置に送信する送信手段を備えるものなどがある。
【0028】
さらに、本発明においては、従来ある画像データ出力処理装置に搭載されることで、本発明の画像データ出力処理装置と同等の機能を付加できる画像データ出力処理装置の制御装置、及び従来ある画像データ出力処理装置に適用することで本発明の画像データ出力装置と同等の機能を付加できる画像データ出力処理方法を含んでいる。
【0029】
また、上記画像データ出力処理装置は、コンピュータによって実現してもよく、この場合には、コンピュータを上記各部として動作させることにより、上記画像データ出力処理装置をコンピュータにて実現させるプログラム、及びそれを記録したコンピュータ読み取り可能な記録媒体も、本発明の範疇に含まれる。
【発明の効果】
【0030】
本発明の画像データ出力処理装置は、以上のように、上記画像照合部は、両面原稿よりなる登録原稿の表面及び裏面の各画像の特徴量を格納すると共に、表面及び裏面の各画像を識別するための指標に対応付けて、当該登録画像を含む両面原稿を識別するための指標が格納されている記憶部に対して、入力画像データの画像を照合させるようになっており、上記入力画像データが両面原稿のものである場合、当該両面原稿の表面の画像及び裏面の画像毎に、上記記憶部より予め定める基準以上の類似性を有する登録画像の指標と、これに関連する登録原稿の指標を抽出して、表面候補リスト及び裏面候補リストを作成する投票処理/候補リスト作成部と、作成された表面候補リスト及び裏面候補リストを参照し、両方の候補リストに同じ登録原稿の指標を有する登録画像が含まれている場合は、同じ登録原稿の指標を有するこれら各登録画像と上記入力画像データの両面原稿の各画像とが類似すると判定する両面原稿判定処理部とを備える構成である。
【0031】
これにより、登録原稿が両面原稿である場合は、両面原稿の属性を含めて、登録画像を判定することが可能となり、両面原稿に対する類似性の判定精度を向上させることができる。
【0032】
それゆえ、入力画像データの画像が登録原稿の画像に類似しているか否かを判定し、判定結果に応じて、入力画像データの出力処理を制御する画像データ出力処理装置において、入力画像データが両面原稿のものであり、出力処理の規制された画像を含んでいる場合は、その出力処理をより確実に規制可能な画像データ出力処理装置を提供できるという効果を奏する。
【発明を実施するための最良の形態】
【0033】
本発明の一実施形態について説明する。なお、本実施形態では、本発明をデジタルカラー複写機に適用する場合の一例について説明する。
【0034】
図2は、本実施形態にかかるデジタルカラー複写機(画像データ出力処理装置)1の概略構成を示すブロック図である。
【0035】
図2に示すように、デジタルカラー複写機1は、カラー画像入力装置2、カラー画像処理装置3、カラー画像出力装置4、及び操作パネル6を備えている。
【0036】
カラー画像入力装置2は、原稿の画像を読み取って画像データを生成するものであり、例えばCCD(Charge Coupled Device )などの光学情報を電気信号に変換するデバイスを備えたスキャナ部(図示せず)より構成されている。ここでは、カラー画像入力装置2は、原稿からの反射光像を、RGB(R:赤・G:緑・B:青)のアナログ信号としてカラー画像処理装置3に出力する。
【0037】
カラー画像処理装置3は、カラー画像入力装置2から入力されたアナログ信号に、種々の処理を施すと共にカラー画像出力装置4が扱える形に変換して、カラー画像出力装置へと出力するものである。
【0038】
カラー画像処理装置3は、入力段にRGBのアナログ信号をデジタル信号に変換するA/D(アナログ/デジタル)変換部11を備えている。カラー画像処理装置3に入力されたアナログ信号の画像データは、このA/D変換部11にてデジタル信号に変換される。
【0039】
デジタル信号に変換されRGB信号は、その後、シェーディング補正部12、文書照合処理部14、入力階調補正部15、領域分離処理部17、色補正部18、黒生成下色除去部19、空間フィルタ処理部20、出力階調補正部21、階調再現処理部22の順で送られ、最終的にはデジタル信号のCMYK信号となる。そして、階調再現処理部22より出力されたデジタル信号のCMYK信号は、メモリ(図示せず)に一旦格納された後、カラー画像出力装置4へと出力される。
【0040】
カラー画像処理装置3を構成する上記各部の処理について説明する。シェーディング補正部12は、A/D変換部11より送られてきたデジタルのRGB信号に対して、カラー画像入力装置2の照明系、結像系、撮像系で生じる各種の歪みを取り除く処理を施すものである。また、シェーディング補正部12は、カラーバランスの調整、及び濃度信号などカラー画像処理装置3に採用されている画像処理システムの扱い易い信号に変換する処理を施すものでもある。
【0041】
シェーディング補正部12にて、各種の歪みが取り除かれ、カラーバランスの調整がなされたRGB信号(RGBの濃度信号)は、文書照合処理部14に出力される。
【0042】
文書照合処理部(類似性判定部・出力処理制御部)14は、シェーディング補正部12より送られてきたRGB信号(入力画像データ)より、特徴点を抽出し、抽出した各特徴点に基づいて入力画像データの画像の特徴量を抽出する機能を有している。
【0043】
文書照合処理部14は、登録モードでは、入力されてくる登録原稿の画像データより画像の特徴量を抽出すると共に、抽出した特徴量を、後述するように、登録画像を表す画像インデックスID、当該登録画像を含む登録原稿を表す原稿インデックスDocID、当該登録画像が登録画像の表面及び裏面の何れにあるかを表す面情報と共に、記憶手段に登録する。
【0044】
また、照合モードでは、入力されてくる照合原稿の画像データより特徴量を抽出すると共に、既に登録されている登録画像の特徴量と比較して、照合原稿の画像(以下、照合画像とも称する)が登録画像に類似しているか否かを判定する類似性判定処理を行う。
【0045】
そして、詳細については後述するが、本実施形態では、照合モードにおいて、照合原稿が両面原稿である場合、上記した登録画像を表す画像インデックスID、当該登録画像を含む登録原稿を表す原稿インデックスDocID、当該登録画像が登録画像の表面及び裏面の何れにあるかを表す面情報を用いて、両面原稿の属性を利用した照合を行うようになっている。
【0046】
また、文書照合処理部14は、出力処理制御部としての機能も有しており、類似性判定処理において、登録原稿に類似していると判定すると、入力画像データに対する出力処理(カラー複写機では画像形成処理)を禁止したりする、制御信号を出力するようになっている。
【0047】
また、文書照合処理部14は、入力信号をそのまま、さらに後段の入力階調補正部15へと出力する。
【0048】
入力階調補正部15は、文書照合処理部14より送られてきたRGB信号に対して、下地色(下地色の濃度成分:下地濃度)の除去やコントラストなどの画質調整処理を施すものである。入力階調補正部15にて画質調整処理が施されたRGB信号は、領域分離処理部17へと送られる。
【0049】
領域分離処理部17は、RGB信号より、入力画像中の各画素を文字領域、網点領域、写真領域のいずれかに分離するものである。領域分離処理部17は、分離結果に基づき、画素がどの領域に属しているかを示す領域識別信号を、色補正部18、黒生成下色除去部19、空間フィルタ処理部20、及び階調再現処理部22へと出力する。また、領域分離処理部17は、入力階調補正部15より出力された入力信号をそのまま後段の色補正部18にも出力する。
【0050】
色補正部18は、色再現の忠実化実現のために、不要吸収成分を含むCMY(C:シアン・M:マゼンタ・Y:イエロー)色材の分光特性に基づいた色濁りを取り除く処理を行うものである。
【0051】
黒生成下色除去部19は、色補正後のCMYの3色信号から黒(K)信号を生成する黒生成、元のCMY信号から黒生成で得たK信号を差し引いて新たなCMY信号を生成する処理を行うものである。これにより、CMYの3色信号はCMYKの4色信号に変換される。
【0052】
空間フィルタ処理部20は、黒生成下色除去部19より入力されるCMYK信号の画像データに対して、領域識別信号を基にデジタルフィルタによる空間フィルタ処理を行い、空間周波数特性を補正する。これにより、出力画像のぼやけや粒状性劣化を軽減することができる。階調再現処理部22も、空間フィルタ処理部20と同様、CMYK信号の画像データに対して領域識別信号を基に所定の処理を施すものである。
【0053】
例えば、領域分離処理部17にて文字に分離された領域は、特に黒文字あるいは色文字の再現性を高めるために、空間フィルタ処理部20による空間フィルタ処理における鮮鋭強調処理で高周波数の強調量が大きくされる。同時に、階調再現処理部22においては、高域周波数の再現に適した高解像度のスクリーンでの二値化または多値化処理が選択される。
【0054】
また、領域分離処理部17にて網点領域に分離された領域に関しては、空間フィルタ処理部20において、入力網点成分を除去するためのローパス・フィルタ処理が施される。そして、出力階調補正部21では、濃度信号などの信号をカラー画像出力装置4の特性値である網点面積率に変換する出力階調補正処理を行った後、階調再現処理部22で、最終的に画像を画素に分離してそれぞれの階調を再現できるように処理する階調再現処理(中間調生成)が施される。領域分離処理部17にて写真に分離された領域に関しては、階調再現性を重視したスクリーンでの二値化または多値化処理が行われる。
【0055】
このようにして各処理が施された画像データは、一旦、図示しないメモリに記憶されたのち、所定のタイミングで読み出されてカラー画像出力装置4に入力される。
【0056】
そして、上記した文書照合処理部14による照合モード時の類似性判定処理にて、登録画像に類似していると判定され、例えば、照合画像の出力処理を禁止する制御信号が出力された場合は、このメモリより画像データを読み出す際に、不可視となるように、当該頁の画像データのデータ値が「0」或いは「255(8ビットの場合)」に置き換えられる。これにより、カラー画像出力装置4より出力される出力物は、頁全体が塗り潰された状態、或いは白紙状態となる。或いは、照合画像の出力処理を禁止する制御信号が出力された場合、出力を停止する(出力しない)ようにしても良い。
【0057】
カラー画像出力装置4は、カラー画像処理装置3から入力された画像データを記録材(例えば紙等)上に出力するものである。カラー画像出力装置4の構成は特に限定されるものではなく、例えば、電子写真方式やインクジェット方式を用いたカラー画像出力装置を用いることができる。
【0058】
操作パネル6は、例えば、液晶ディスプレイなどの表示部と設定ボタンなどより構成され(いずれも図示せず)、デジタルカラー複写機1の主制御部(図示せず)の指示に応じた情報を上記表示部に表示するとともに、上記設定ボタンを介してユーザから入力される情報を上記主制御部に伝達する。ユーザは、操作パネル6を介して入力画像データに対する処理要求、処理枚数などを入力することができる。
【0059】
上記主制御部は、例えばCPU(Central Processing Unit)等からなり、図示しないROM等に格納されたプログラムや各種データ、操作パネル6から入力される情報等に基づいて、デジタルカラー複写機1の各部の動作を制御する。
【0060】
次に、上記カラー画像入力装置2に備えられ、原稿画像を走査して画像情報を画像データとして取り込む、画像読取装置の構成について、図20を用いて説明する。
【0061】
図20は、上記カラー画像入力装置2に備えられた画像読取装置50の構成を示す説明図である。図20に示すように、画像読取装置50は、第2コンタクトガラス52上を走行する原稿の上側の画像を読み取るイメージセンサ部53と、第1コンタクトガラス51に載置されている原稿を走査することにより読み取る読取部54とを備える。
【0062】
これにより、画像読取装置50は、原稿を静止させて画像を読み取る静止読取モード、原稿を搬送させながら画像を読み取る走行読取モード、あるいは、原稿を搬送させながら、原稿における両面の画像を読み取る両面原稿モードにて、原稿に対する画像読み取りを行うことができる。
【0063】
原稿を第2コンタクトガラス52上を走行させる手法としては、例えば、ADF(Auto Document Feeder)がある。ADFなどにより、図の原稿搬送路56に沿って原稿を搬送する場合、整合ローラ対55は、搬送された原稿の先端が、整合ローラ対55のニップ部に付き当たることによって、原稿に所定の撓みを形成し、その後、下流側に原稿を搬送するように回動するものである。この時、整合ローラ対55のニップ部により、原稿の先端が搬送方向に直角となるように整合される。
【0064】
図において、参照符号57は、第1コンタクトガラス51上に載置された原稿を抑える原稿押さえマット57であり、参照符号58は、ADFなどにより搬送される原稿のガイドである。また、参照符号59は、読取部54の光源の光が、イメージセンサ部53に入って、画像が適切な濃度で読み取れなくなるのを防止するための遮光部材である。
【0065】
これらのうち、原稿押さえマット57、整合ローラ対55、原稿搬送路56、イメージセンサ部51、上側原稿搬送ガイド58等が上部筐体(原稿カバー)60を構成し、第1コンタクトガラス53、第2コンタクトガラス52、読取部54、下部筐体61を構成する。そして、上部筐体60は下部筐体61に対して開閉可能に構成されている。
【0066】
上記読取部54は、第1走査ユニット63、第2走査ユニット64、結像レンズ65、CCD(Charge Coupled Device)66よりなる。第1走査ユニット63は、第1コンタクトガラス51に沿って左から右に一定速度Vで移動しながら、原稿を露光するものであり、光源(露光ランプ)62と、原稿の反射光を第2走査ユニット54に導く第1の反射ミラー67とを有している。
【0067】
第2走査ユニット64は、第1走査ユニット63に追随してV/2の速度で移動するようになっており、第1反射ミラー67からの光を結像レンズ65、CCD66に導く第2及び第3反射ミラー68,69を備えている。
【0068】
結像レンズ65は、第3反射ミラー69からの反射光を、CCD66上で結像させるものである。CCD66は、結像レンズ65からの光をアナログの電気信号に変換するものである。なお、この電気信号は、後述する画像処理装置によってデジタルの画像データに変換される。
【0069】
第2コンタクトガラス52は、走行読取モード、両面読取モードで読み取る原稿を載置するための台である。走行読取モード、両面読取モードで原稿を読み取る場合、上記読取部54はホームポジション(図示せず)から、図の第2コンタクトガラス52の位置に移動し、静止読取モードで原稿を読み取る場合は、図のPの位置から図示しない原稿サイズ検出手段で検出された原稿サイズに応じて所定距離だけ移動するようになっている。
【0070】
さらに、両面読取モードで読み取られた場合、例えば、両面原稿の表面が上記読取部54で読み取られるように設定されている場合、上記読取部54で読み取られた画像データが、先ず、画像処理装置に入力され、その後、上記イメージセンサ部53で読み取られた画像データが画像処理装置に入力される。上記読取部54で読み取られた画像データが画像処理装置で処理されている間、上記イメージセンサ部53で読み取られた画像データはメモリに格納されており、上記読取部54で読み取られた画像データの処理が終了した後、メモリより読み出されて処理が施される。
【0071】
なお、原稿サイズ検出手段としては、画像入力装置内に配置されたフォトトランジスタなどの光電変換素子により、原稿台に載置された、主走査方向、副走査方向の原稿サイズを検知する、あるいは、操作パネルよりユーザにより選択された原稿のサイズを検知する(CPU)などの構成が考えられる。
【0072】
次に、文書照合処理部(画像照合部、出力処理制御部)14の詳細について説明する。本実施形態にかかる文書照合処理部14は、まず、入力画像データから複数の特徴点を抽出し、抽出した各特徴点に対して局所的な特徴点の集合を決定する。次に、決定した各集合から特徴点の部分集合を選択し、選択した各部分集合を特徴付ける量として、部分集合中の特徴点に関する複数の組み合わせに基づいて、幾何学的変換に対する不変量をそれぞれ求める。そして、求めた各不変量を組み合わせて特徴点毎に特徴量であるハッシュ値を計算する。
【0073】
そして、入力画像データが登録原稿のものである登録モードでは、算出したハッシュ値を、登録画像を表す画像インデックスIDに対応付けてハッシュテーブル(図示せず)に格納する。さらに、登録する原稿が両面原稿である場合は、その表面及び裏面の各原稿画像を識別する画像インデックスIDに対応付けて、当該登録画像を含む両面原稿を識別するための指標である原稿インデックスDocIDと、登録画像が登録原稿の表裏の何れにあるかを表す面情報とを、両面原稿管理テーブル(図示せず)に格納する。
【0074】
一方、入力画像データが照合原稿のものである照合モードでは、計算したハッシュ値に対応する画像インデックスに投票し、投票が終了すると、投票結果と、原稿インデックス及びその面情報をも考慮して、照合画像と登録原稿との類似性を判定する。
【0075】
また、上記登録原稿及び照合原稿となり得る入力画像データとしては、スキャナにて原稿を読み取り入力される画像データ以外に、コンピュータ(ソフトウェア)を用いて作成される電子データ、例えば、電子データのフォーマットに、コンピュータ(ソフトウェア)を用いて必要事項を入力して作成される電子データの2通りがあり、さらに、実使用を考えた場合、紙ベースのデータを電子化したもの、電子データで直接作成したもの(電子申請など)、2通りが考えられる。
【0076】
図3は、文書照合処理部14の概略構成を示すブロック図である。この図に示すように、文書照合処理部14は、特徴点算出部31、特徴量算出部32、投票処理/候補リスト作成部33、類似度判定処理部34、照合結果補正処理部(判定結果補正処理部)35、登録処理部36、制御部7、メモリ8を備えている。
【0077】
制御部7は、文書照合処理部14の各部の動作を制御する。なお、制御部7は、デジタルカラー複写機1の各部の動作を制御するための主制御部に備えられていてもよく、主制御部とは別に備えられ、主制御部と協同して文書照合処理部14の動作を制御するものであってもよい。
【0078】
制御部7は、文書照合処理部14による類似性判定処理の結果、類似性なしと判定された場合には当該画像データに対する出力処理を許可する制御信号を出力する。一方、制御部7は、類似性ありと判定された場合には、入力画像データに対する出力処理を制御する制御信号を出力する。
【0079】
出力処理を制御(規制)するにあたり、制限の内容は、登録画像毎に定められており、最も優先度の高い厳しい制限は、出力処理の禁止である。また、制御部7は、照合原稿が両面原稿である場合、出力処理の規制のし方として、2つのモードを有している。
【0080】
1つは、両面原稿における表裏2面の原稿画像のうち、登録画像に類似すると判定され原稿画像に対してのみ、出力処理を規制する通常モードである。
【0081】
もう1つは、通常モードよりも厳しい、強制モードである。強制モードでは、両面原稿における表裏2面の原稿画像のうち、一方でも登録画像に類似すると判定された場合は、表裏両面の原稿画像の出力処理に対して、類似すると判定された登録画像に設定されている制限が適用される。さらに、表裏2面の原稿画像がそれぞれ登録画像に類似し、それぞれ規制内容が異なる場合は、最も優先度の高い規制(最も厳しい制限)が選択される。例えば、表裏2面のうちの何れかの面の原稿画像が、出力処理が禁止されている登録画像に類似すると判定されると、両面原稿の表裏2面の原稿画像を共に不可視とする制御信号が出力される。
【0082】
メモリ8は、文書照合処理部14の各部の処理に用いられる各種データ、処理結果等を記憶するものである。後述するハッシュテーブル、両面原稿管理テーブル(記憶部)等は、このメモリ8に設けられる。
【0083】
特徴点算出部31は、入力画像データより、文字列や罫線の連結部分を抽出し、連結部分の重心を特徴点として算出するものである。ここで、入力画像データは、登録モードでは、登録の原稿の画像データであり、類似判定処理においては、照合の原稿の画像データ(以下、照合画像データと称することもある)である。
【0084】
図4は、特徴点算出部31の概略構成を示すブロック図である。なお、図4に示す特徴点算出部31の構成は一例であって、これに限るものではなく、例えば従来から公知の種々の法によって特徴点を算出してもよい。
【0085】
図4に示すように、特徴点算出部31は、無彩化処理部41、解像度変換部42、MTF処理部43、2値化処理部44、重心算出部45を備えている。
【0086】
無彩化処理部41は、シェーディング補正部12から入力された画像データ(RGB信号)がカラー画像であった場合に、この画像データを無彩化して、明度信号もしくは輝度信号に変換するものである。
【0087】
例えば、無彩化処理部41は、下記式(1)によりRGB信号を輝度信号Yに変換する。
【0088】
Yj=0.30Rj+0.59Gj+0.11Bj ・・・(1)
ここで、Yjは各画素の輝度信号であり、Rj,Gj,Bjは各画素のRGB信号における各色成分であり、添え字のjは画素毎に付与された値(jは1以上の整数)である。
【0089】
あるいは、RGB信号をCIE1976L*a*b*信号(CIE:Commission International de l'Eclairage、L*:明度、a*,b*:色度)に変換してもよい。
【0090】
解像度変換部42は、入力画像データに対して変倍処理を行うものである。例えば、入力画像データは、カラー画像入力装置2で光学的に変倍されている場合がある。このような場合に、解像度変換部42は、所定の解像度(以下、デフォルト解像度)になるように、入力画像データを再度変倍する。
【0091】
MTF(modulation transfer function)処理部43は、カラー画像入力装置2の空間周波数特性が機種ごとに異なることを吸収(調整)するために用いられる。CCDの出力する画像信号には、レンズやミラー等の光学部品、CCDの受光面のアパーチャ開口度、転送効率や残像、物理的な走査による積分効果及び操作むら等に起因しMTFの劣化が生じている。このMTFの劣化により、読み込まれた画像がぼやけたものとなっている。
【0092】
MTF処理部43は、適切なフィルタ処理(強調処理)を施すことにより、MTFの劣化により生じるぼやけを修復する処理を行う。また、後段の重心算出部45における特徴点抽出処理に不要な高周波成分を抑制するためにも用いる。すなわち、混合フィルタ(図示せず)を用いて強調及び平滑化処理を行う。なお、図6は、この混合フィルタにおけるフィルタ係数の一例を示している。
【0093】
2値化処理部44は、無彩化された画像データ(輝度値(輝度信号)または明度値(明度信号))と、予め設定された閾値とを比較することにより画像データを二値化する。
【0094】
重心算出部45は、2値化処理部44で2値化された画像データ(例えば、「1」、「0」で表される)に基づいて、各画素に対してラベリング(ラベル付け処理)を行う。そして、同一ラベルが付された画素が連結した連結領域を特定し、特定した連結領域の重心を特徴点として抽出する。ここで、重心である特徴点は、二値画像における座標値(X,Y)にて表すことができる。
【0095】
図7は、入力画像データから抽出された連結領域及びこの連結領域の重心の一例を示す説明図であり、「A」という文字列に対応する連結領域及び重心を示している。また、図8は、入力画像データに含まれる文字列から抽出された複数の連結領域の各重心(特徴点)の一例を示す説明図である。
【0096】
再び、文書照合処理部14の概略構成を示すブロックである図3に戻り、特徴量算出部32は、特徴点算出部31で算出された特徴点を用いて、原稿画像の回転、平行移動、拡大、縮小、平行移動等の幾何学的変形に対して不変な量である特徴量(ハッシュ値及び/または不変量)を算出するものである。
【0097】
図5は、特徴量算出部32の概略構成を示すブロック図である。この図に示すように、特徴量算出部32は、特徴点抽出部32a、不変量算出部32b、ハッシュ値算出部32cを備えている。
【0098】
特徴点抽出部32aは、図9に示すように、1つの特徴点を注目特徴点とし、この注目特徴点の周辺の特徴点を、注目特徴点からの距離が近いものから順に所定数(ここでは4点)だけ周辺特徴点として抽出する。図9の例では、特徴点aを注目特徴点とした場合には特徴点b,c,d,eの4点が周辺特徴点として抽出され、特徴点bを注目特徴点とした場合には特徴点a,c,e,fの4点が周辺特徴点として抽出される。
【0099】
また、特徴点抽出部32aは、上記のように抽出した周辺特徴点4点の中から選択し得る3点の組み合わせを抽出する。例えば、図10(a)〜図10(d)に示すように、図9に示した特徴点aを注目特徴点とした場合、周辺特徴点b,c,d,eのうちの3点の組み合わせ、すなわち、周辺特徴点b,c,d、周辺特徴点b,c,e、周辺特徴点b,d,e、周辺特徴点c,d,eの各組み合わせが抽出される。
【0100】
次に、不変量算出部32bは、抽出した各組み合わせについて、幾何学的変形に対する不変量(特徴量の1つ)Hijを算出する。
【0101】
ここで、iは注目特徴点を示す数(iは1以上の整数)であり、jは周辺特徴点3点の組み合わせを示す数(jは1以上の整数)である。本実施形態では、周辺特徴点同士を結ぶ線分の長さのうちの2つの比を不変量Hijとする。
【0102】
上記線分の長さは、各周辺特徴点の座標値に基づいて算出できる。例えば、図10(a)の例では、特徴点bと特徴点cとを結ぶ線分の長さをA11、特徴点bと特徴点dとを結ぶ線分の長さをB11とすると、不変量H11はH11=A11/B11である。
【0103】
また、図10(b)の例では、特徴点bと特徴点cとを結ぶ線分の長さをA12、特徴点bと特徴点eとを結ぶ線分の長さをB12とすると、不変量H12はH12=A12/B12である。また、図10(c)の例では、特徴点bと特徴点dとを結ぶ線分の長さをA13、特徴点bと特徴点eとを結ぶ線分の長さをB13とすると、不変量H13はH13=A13/B13である。また、図10(d)に示した例では、特徴点cと特徴点dとを結ぶ線分の長さをA14、特徴点cと特徴点eとを結ぶ線分の長さをB14とすると、不変量H14はH14=A14/B14である。このようにして、図10(a)〜図10(d)の例では、不変量H11,H12,H13,H14が算出される。
【0104】
なお、上記の例では、注目特徴点に最も近い周辺特徴点と2番目に近い周辺特徴点とを結ぶ線分をAij、注目特徴点に最も近い周辺特徴点と3番目に近い周辺特徴点とを結ぶ線分をBijとしたが、これに限らず、不変量Hijの算出に用いる線分は任意の方法で選定すればよい。
【0105】
次に、ハッシュ値算出部32cは、次式
Hi=(Hi1×103+Hi2×102+Hi3×101+Hi4×100)/D
における余りの値をハッシュ値(特徴量の1つ)Hiとして算出し、メモリ8に記憶させる。なお、上記Dは余りが取り得る値の範囲をどの程度に設定するかに応じて予め設定される定数である。
【0106】
なお、不変量Hijの算出方法は特に限定されるものではなく、例えば、注目特徴点の近傍5点の複比、近傍n点(nはn≧5の整数)から抽出した5点の複比、近傍n点から抽出したm点(mはm<nかるm≧5の整数)の配置及びm点から抽出した5点の複比に基づいて算出される値などを注目特徴点についての上記不変量Hijとしてもよい。なお、複比とは、直線上の4点または平面上の5点から求められる値であり、幾何学的変換の一種である射影変形に対する不変量として知られている。
【0107】
また、ハッシュ値Hiの算出するための式についても上記式(2)に限るものではなく、他のハッシュ関数(例えば特許文献4に記載されているハッシュ関数のうちのいずれか)を用いてもよい。
【0108】
また、特徴量算出部32の各部は、1つの注目特徴点に対する周辺特徴点の抽出及びハッシュ値Hiの算出が終わると、注目特徴点を他の特徴点に変更して周辺特徴点の抽出及びハッシュ値の算出を行い、全ての特徴点についてのハッシュ値を算出する。
【0109】
図9の例では、特徴点aを注目特徴点とした場合の周辺特徴点及びハッシュ値の抽出が終わると、次に特徴点bを注目特徴点とした場合の周辺特徴点及びハッシュ値の抽出を行う。図9の例では、特徴点bを注目特徴点とした場合、特徴点a,c,e,fの4点が周辺特徴点として抽出される。
【0110】
そして、図11(a)〜図11(d)に示すように、これら周辺特徴点a,c,e,fの中から選択される3点の組み合わせ(周辺特徴点a,e,f、周辺特徴点a,e,c、周辺特徴点a,f,c、周辺特徴点e,f,c)を抽出し、各組み合わせについてハッシュ値Hiを算出し、メモリ8に記憶させる。そして、この処理を各特徴点について繰り返し、各特徴点を注目特徴点とした場合のハッシュ値をそれぞれ求めてメモリ8に記憶させる。
【0111】
なお、特徴量算出部32は、入力画像データを登録画像として登録する処理を行う登録モードでは、上記のように算出した入力画像データの各特徴点についてのハッシュ値(特徴量)を、図3に示す登録処理部36に送る。
【0112】
登録処理部36は、特徴量算出部32が算出した各特徴点についてのハッシュ値と、登録画像を識別するための登録画像を表す画像インデックスID(ID1,ID2…)を、メモリ8に設けられた図示しないハッシュテーブルに順次登録していく(図12(a)参照)。
【0113】
ここで、ハッシュ値がすでに登録されている場合は、当該ハッシュ値に対応付けて画像インデックスを登録する。画像インデックスは重複することなく順次番号が割り当てられる。
【0114】
なお、ハッシュテーブルに登録されている画像の数が所定値(例えば、登録可能な画像の数の80%)より多くなった場合、古い画像インデックスIDを検索して順次消去するようにしてもよい。また、消去された画像インデックスIDは、新たな入力画像データの画像インデックスIDとして再度使用できるようにしてもよい。
【0115】
また、算出されたハッシュ値が同値である場合、図12(b)の例に示すように、これらを1つにまとめてハッシュテーブルに登録してもよい。ここでは、H1=H5として、H1にまとめられている。
【0116】
さらに、登録処理部(両面原稿管理部)36は、登録原稿が両面原稿である場合、画像インデックスIDを登録すると同時に、画像インデックスIDが両面原稿のものであるかどうかを判定するための、原稿インデックスDocIDと面情報とを、画像インデックスIDに対応付けて、両面原稿管理テーブルに登録する(図14参照)。
【0117】
原稿インデックスDocIDは、登録原稿の表面及び裏面の各画像インデックスIDに対して同一の値が設定される。また、面情報は、登録原稿の表面には「1」、裏面には「2」が付けられる。例えば、図20に示した画像読取装置50において、読取部54で原稿の表面、イメージセンサ部54で原稿の裏面を読み取る設定の場合、読取部54が読み取った画像に対して「1」が付けられ、イメージセンサ部53が読み取った画像に対して「2」が付けられる。
【0118】
例えば、図13(a)に示すように、片面のみを登録する場合は、登録原稿1を片面原稿モードで読み込み、図14に示すように、画像インデックスID1について、面情報1と原稿インデックスDocID1とが、原稿管理テーブルに登録される。
【0119】
また、図13(b)に示すように、表面に画像インデックスID2をもち、裏面に画像インデックスID3をもつ、原稿インデックスDocID2で表される両面原稿の登録原稿2を両面原稿モードで読み込んだ場合であれば、図14に示すように、画像インデックスID2について、面情報1と原稿インデックスDocID2とが登録され、画像インデックスID3について、面情報2と原稿インデックスDocID2とが原稿管理テーブル登録される。
【0120】
同様に、図13(c)に示すように、表面に画像インデックスID4をもち、裏面に画像インデックスID5をもつ、原稿インデックスDocID3で表される両面原稿の登録原稿2を両面原稿モードで読み込んだ場合であれば、図14に示すように、画像インデックスID4について、面情報1と原稿インデックスDocID3とが登録され、画像インデックスID5について、面情報2と原稿インデックスDocID3とが登録される。
【0121】
投票処理/候補リスト作成部33は、照合原稿の入力画像データから算出した各特徴点のハッシュ値をハッシュテーブルに登録されているハッシュ値と比較し、同じハッシュ値を有する登録画像に投票する(図15参照)。図15は、画像インデックスID1,ID2,ID3、…、IDXで表される各登録画像に対する得票数の一例を示すグラフである。
【0122】
例えば、前出の図12(a)に示すハッシュテーブルの内容において、照合画像よりハッシュ値H1が算出されると、画像インデックスID1で表される登録画像に1票を投じ、照合画像よりハッシュ値H3が算出されると、画像インデックスID1と画像インデックスID2で表される各登録画像に1票づつ投じる。
【0123】
また、図12(b)に示す例では、H1=H5であり、これらをH1の1つにまとめてハッシュテーブルに登録されているので、照合画像よりハッシュ値H1が算出されると、画像インデックスID1で表される登録画像に2票を投じる。
【0124】
そして、本実施形態では、投票処理/候補リスト作成部33は、照合原稿が両面原稿である場合には、投票が終了した時点で、候補リスト(図16(a)(b)参照)を作成する。
【0125】
ここで、投票処理/候補リスト作成部33は、例えば、操作パネル6を用いて、両面原稿モードが選択された場合に、照合原稿が両面原稿あると判断する。両面原稿モードには、例えば、両面原稿を片面ずつ出力する、あるいは、両面原稿をそのまま両面印刷して出力するなどのモードがある。
【0126】
候補リストとして、表面用と裏面用との2つが作成される。図16(a)は、表面候補リストの内容を示している。裏面候補リストも同様であるが、最大得票数を得た画像インデックスIDを第1候補とし、これに次ぐ第2位以下の画像インデックスIDを第2以降の候補として、それぞれの画像インデックスID、原稿インデックスDocID、面情報、及び得票数が格納される。
【0127】
例えば、図16(a)の例では、最大得票数を得た第1候補は、画像インデックスID4で表される登録画像であり、その登録画像は、原稿インデックスDocID3にて表される原稿の表面にあり、得票数はN1である。第2候補は、画像インデックスID10で表される登録画像であり、その登録画像は、原稿インデックスDocID7にて表される原稿の裏面にあり、得票数はN2である。
【0128】
また、図16(a)の例では、第1〜第3候補までが選出されている。選出される候補数は、投票結果によって決まるものである。第2位以降の候補としては、図15に示すように、最大得票数を得た第1候補(図15の例では画像インデックスID3)との得票数の差が、予め定められた範囲HQ内にあるもののみを選出する。
【0129】
本実施形態では、照合画像に対応する登録画像が候補リストから漏れないように、最大得票数との投票数差が、80%以内のものを、得票数差が小さい物から順に、第2候補、第3候補…としている。
【0130】
図16(b)は、図16(a)に示す表面候補リストと対に作成された裏面候補リストの内容を示している。図16(b)に示す裏面候補リストの例では、最大得票数を得た第1候補は、画像インデックスID5で表される登録画像であり、その登録画像は、原稿インデックスDocID3にて表される原稿の裏面にあり、得票数はn1である。そして、図16(b)の例では、最大得票数を得た第1候補との得票数の差が予め定められた範囲内にあるものが存在せず、第2候補が存在しない。
【0131】
表面候補リスト及び裏面候補リストにおいて、第1候補を含め、候補が存在しない場合には、候補が存在しないことを表す、画像インデックスID0、原稿インデックスDocID0を、面情報を格納する。なお、面情報については、表面候補リストには表面を表す「1」が、裏面候補リストには裏面を表す「2」が格納される。
【0132】
類似度判定処理部(判定処理部)34は、メモリ8より、投票処理結果である各登録画像の画像インデックスID及び各登録画像に対する投票数を読み出し、最大得票数を得た登録画像の画像インデックスIDと、その得票数である最大得票数を抽出する。
【0133】
そして、抽出された最大得票数を類似の度合いを示す類似度として扱い、予め定められている閾値THと比較して類似性(入力画像データが登録画像の画像データであるかどうか)を判定する。つまり、最大得票数が予め定められた閾値TH以上である場合には「類似性あり」と判定し、閾値未満である場合には「類似性なし」と判定する。
【0134】
この判定結果を示す判定信号は制御部7に送られ、制御部7は、類似性ありの場合は、当該入力原稿の画像データに対する出力処理(カラー複写機では画像形成処理)を禁止したり、画質を低下させたりといった、出力処理を規制するための制御信号を出力する。
【0135】
また、類似度判定処理部34が、各登録画像に対する得票数を投票総数(入力画像データから抽出された特徴点の総数)で除算して正規化することで類似度を算出し、この類似度と予め定められている閾値TH(例えば投票総数の80%)との比較を行うことによって類似性を判定してもよい。
【0136】
つまり、算出した類似度が閾値TH以上である場合には「類似性あり」と判定し、閾値TH未満である場合には「類似性なし」と判定すればよい。なお、この場合、入力画像データから抽出されるハッシュ値の総数は上記最大登録数よりも大きくなる場合があるため(特に照合原稿及び/または登録原稿の画像の少なくとも一部に手書き部分がある場合など)、類似度の算出値は100%を超える場合も有り得る。
【0137】
また、類似性を判定する際の閾値THは、各登録原稿について一定に設定されていても、或いは、各登録画像の重要度等に応じて登録画像毎に設定されていてもよい。登録画像の重要度は、例えば、紙幣、有価証券、極秘書類、社外秘の書類等については重要度を最大にし、秘密書類については重要度を紙幣等よりも低くするといったように、登録画像に応じて段階的に設定してもよい。
【0138】
この場合、メモリ8に、登録画像の重要度に応じた重み付け係数を当該登録画像の画像インデックスIDと関連付けて記憶させておき、類似度判定処理部34が、最大得票数を得た登録画像に対応する閾値THを用いて類似性を判定するようにすればよい。
【0139】
また、類似性を判定する際、閾値THは一定にする一方、各登録画像に対する得票数(各登録画像の得票数)に各登録画像の重み係数を掛けて類似性を判定するようにしてもよい。
【0140】
この場合、メモリ8に、各登録画像の重要度に応じた重み付け係数を各登録画像の画像インデックスIDと関連付けて記憶させておき、類似度判定処理部34が、各登録画像の得票数に当該登録画像の重み付け係数を掛けた補正得票数を算出し、この補正得票数に基づいて類似性を判定するようにすればよい。
【0141】
例えば、最大補正得票数と閾値THとを比較してもよく、最大補正得票数を投票総数で正規化したものを閾値THと比較してもよく、最大補正得票数を最大登録数で正規化したものを閾値THと比較してもよい。また、この場合、重み係数は、例えば、1より大きい値であって、かつ登録画像の重要度が高くなるにつれて大きい値になるように設定すればよい。
【0142】
また、本実施形態では、1つの特徴点(注目特徴点)に対して1つのハッシュ値を算出するものとしているが、これに限らず、1つの特徴点(注目特徴点)に対して複数のハッシュ値を算出するようにしてもよい。例えば、注目特徴点の周辺特徴点として6点を抽出し、この6点から5点を抽出した6通りの組み合わせそれぞれについて、5点から3点を抽出して不変量を求めてハッシュ値を算出する方法を用いてもよい。この場合には、1つの特徴点に対して6個のハッシュ値が算出されることになる。
【0143】
照合結果補正処理部35は、照合原稿が両面原稿である場合、投票処理/候補リスト作成部33にて作成された、表面候補リスト及び裏面候補リストを参照して、類似度判定処理部34の照合結果(判定結果)を補正するものである。
【0144】
照合結果補正処理部35は、それぞれのリストにある第1候補の原稿インデックスDocIDが同一であるかどうかを判断し、同一であれば、類似度判定処理部34の判定結果は正しいとして補正処理は行わない。つまり、それぞれのリストにある第1候補の原稿インデックスDocIDが同一である場合は、照合原稿の表面及び裏面の原稿画像は、それぞれの候補リストにおける第1候補の登録画像に類似すると判定する。
【0145】
一方、各第1候補の原稿インデックスDocIDが同一でない場合は、照合結果補正処理部35は、表面及び裏面の各候補リストを参照して、類似度判定処理部34の判定結果は誤りである可能性があるとして、照合結果の補正処理を試みる。
【0146】
補正処理においては、表面及び裏面の各候補リストそれぞれの第1候補の登録画像のうち、類似性のより高い方の登録画像を候補原稿とし、該候補原稿と同じ原稿インデックスDocIDをもつ登録画像が、類似性の低い方の第1候補を含む候補リストに含まれるか否かを判断し、含まれている場合は、照合結果における類似性の低い方の第1候補の登録画像の画像インデックスIDを、当該候補原稿と同じ原稿インデックスDocIDをもつ登録画像の画像インデックスIDへと補正する。つまり、表面及び裏面の各候補リストに同じ原稿インデックスDocIDを有する登録画像が含まれている場合は、たとえ一方が第1候補でなく、第1候補よりも順位の低い候補であったとしても、同一の登録原稿に含まれるという属性が優先され、照合原稿の表面及び裏面の原稿画像は、これら同じ原稿インデックスDocIDを有する各候補リストの各登録画像に類似すると判定する。
【0147】
ここで、照合原稿が両面原稿であった場合の、投票処理/候補リスト作成部33、類似度判定処理部34、及び照合結果補正処理部35による各処理を、図1に示すフロー図を参照しながら説明する。
【0148】
読み取る原稿が両面原稿である場合、操作パネル6より両面原稿モードが選択されるため、制御部7は、このモード選択にて、照合原稿が両面原稿であると判断し、投票処理/候補リスト作成部33にて、候補リストを作成させ、照合結果補正処理部35に、類似度判定処理の結果によっては、照合結果補正処理を行わせる。
【0149】
まず、投票処理/候補リスト作成部33は、読み取られた両面原稿の表面の画像データに対して、投票処理(文書照合処理)を行い(S1)、投票結果に基づいて表面候補リストを作成する(S2)。また、このとき、類似度判定処理部34は、表面候補リストにおける第1候補が、照合原稿の表面の原稿画像に類似すると判定する。
【0150】
続いて、投票処理/候補リスト作成部33は、読み取られた両面原稿の裏面の画像データに対して、投票処理(文書照合処理)を行い(S3)、投票結果に基づいて裏面候補リストを作成する(S4)。同様に、このとき、類似度判定処理部34は、裏面候補リストにおける第1候補が、照合原稿の裏面の原稿画像に類似すると判定する。
【0151】
次に、照合結果補正処理部35は、表面候補リスト及び裏面候補リストを参照して、各候補リストにおいて、最上位の第1候補の原稿インデックスDocIDが同一であり、かつ、面情報が互いに異なるか否かを判断する(S5)。
【0152】
例えば、S2,S4で作成された表面及び裏面の各候補リストが、図16(a)(b)に例示するような内容であった場合は、表面候補リストの第1候補と、裏面候補リストの第1候補とは、何れも原稿インデックスDocID3で一致し、面情報も互いに異なるので、S5ではイエスと判断し、照合結果を補正するS6〜S8をスキップして、S9に移行して、各面に対する判定信号を出力する。
【0153】
図17に、表面及び裏面の各候補リストが図16(a)(b)に例示するような内容であった場合の照合結果を図17に示す。照合原稿の表面の原稿画像は、画像インデックスID4で表される登録画像に類似し、照合原稿の裏面の原稿画像は、画像インデックスID5で表される登録画像に類似するとなっており、補正する必要がない。
【0154】
一方、例えば、S2,S4で作成された表面及び裏面の各候補リストが、図18(a)(b)に例示するような内容であった場合は、表面候補リストの第1候補の原稿インデックスDocIDと、裏面候補リストの第1候補のDocIDとが一致しないため、S5ではノーと判断し、S6において、照合結果補正処理が行われる。
【0155】
照合結果補正処理では、まず、表面候補リスト及び裏面候補リストを参照し、何れか類似度の高い方の候補の原稿インデックスDocIDを、候補原稿のインデックスDocIDとして設定する(S6)。
【0156】
S6において、候補原稿が設定されると、続いて、類似度が低いと判定されたもう一方の候補リストに、設定した候補原稿の原稿インデックスDocIDを有し、かつ、面情報が互いに異なるものがあるか否かを判断する(S7)。そして、S7にてイエスと判断した場合は、S8に移行して照合結果を補正する。
【0157】
例えば、表面及び裏面の各候補リストが図18(a)(b)に例示するような内容であった場合は、表面候補リストの第1候補の得票数N1と表面に対する照合処理における総投票数の比率(得票率)と、裏面候補リストの第1候補の得票数n1と裏面に対する照合処理における総投票数の比率(得票率)とをそれぞれ類似度として算出して、高いほうが選出される。
【0158】
ここで、例えば、図18(a)に示す表面候補リストの第1候補の方が、裏面候補リストの第1候補よりも類似度が高いと判定されたとすると、S6においては、候補原稿として、原稿インデックスDocID10が設定される。そして、S7においては、図18(b)に示す裏面候補リストに、原稿インデックスDocID10を有する候補が含まれているか否かが検索され、この場合であれば、原稿インデックスDocID10が含まれ、かつ、面情報も異なるので、原稿インデックスDocID10の情報を用いて、照合結果が補正される。
【0159】
図19に、表面及び裏面の各候補リストが図18(a)(b)に例示するような内容であった場合の当初の照合結果、及び補正照合結果を示す。補正前の照合結果は、類似度判定処理部34による判定結果に基づいているので、照合原稿の表面の原稿画像は、表面候補リストの第1候補である画像インデックスID15の登録画像に類似し、照合原稿の裏面の原稿画像は、裏面候補リストの第1候補である画像インデックスID21の登録画像に類似する、となっている。
【0160】
補正により、照合原稿の表面の原稿画像は、画像インデックスID15の登録画像に類似し、照合原稿の裏面の原稿画像は、画像インデックスID14の登録画像に類似する、となる。画像インデックスID14,15は何れも、同一の原稿インデックスDocID10で表される登録原稿の表裏の登録画像である。
【0161】
なお、図1のフローチャートにおけるS7にて、ノーと判断した場合は、S9に移行して、照合結果の補正を行うことなく各面に対する判定信号を出力する。
【0162】
以上のように、本実施形態のデジタルカラー複写機1においては、登録処理部36は、登録原稿が両面原稿である場合、その表面及び裏面の各原稿画像を識別するための画像インデックスIDに対応付けて、当該登録画像を含む両面原稿を識別するための原稿インデックスDocIDを記憶部に格納する。これにより、両面原稿の表面及び裏面にある各原稿画像は、どの両面原稿に含まれるものであるかを一意に特定可能となる。
【0163】
ただし、このような登録処理部36は必須ではなく、登録処理部36を、画像データ出力処理装置であるデジタルカラー複写機1から切り離し、複写機1外部で登録処理された記録媒体を、デジタルカラー複写機1に搭載してアクセスする形態や、ネットワーク等の通信手段を介して記録媒体にアクセスする形態等としてもよい。
【0164】
照合に際しては、投票処理/候補リスト作成部33が、照合原稿が両面原稿である場合、当該両面原稿の表面の原稿画像及び裏面の原稿画像毎に、両面原稿管理テーブルより予め定める基準以上の類似性を有する登録画像の画像インデックスと、これに関連する原稿インデックスを抽出して表面及び裏面の各候補リストを作成する。
【0165】
そして、類似度判定処理部34及び照合結果補正処理部35が、作成された表面候補リスト及び裏面候補リストを参照し、両方の候補リストに同じ登録インデックスを有する登録画像が含まれている場合、これら同じ原稿インデックスを有する各候補リストの各登録画像と、照合モード時に入力された両面原稿の各画像とが類似すると判定する。
【0166】
これにより、登録原稿が両面原稿である場合、両面原稿である属性が登録原稿の類似性を判定する際の要素の1つに含められ、照合原稿が両面原稿である場合は、照合原稿の両面原稿である属性を含めて、登録画像を判定することが可能となる。
【0167】
その結果、照合原稿が両面原稿であり、かつ、登録原稿に類似(一致)する場合に、照合原稿の一方の面の画像のみが登録原稿の一方の面の画像に類似すると判定され、照合原稿のもう一方の面の画像は、登録原稿のもう一方の面の画像とは異なるといった、誤った判定を避けて、照合原稿が両面原稿である場合の判定精度を向上させることができる。
【0168】
さらに、本実施形態では、類似度判定処理部34が、入力画像データの画像が登録画像に類似するか否かを判定し、類似する場合は、類似性の最も高い登録画像が入力画像データの画像であると判定し、照合結果補正処理部35が、表面候補リスト及び裏面候補リストそれぞれの類似性の最も高い第1候補の登録画像が、互いに同じ登録原稿を表す原稿インデックスを有するか否かを判断し、同じ原稿インデックス有する場合は、類似度判定処理部34の判定結果を補正せず、同じ原稿インデックスを有さない場合は、表面候補リスト及び裏面候補リストそれぞれの第1候補の登録画像の類似性を比較し、類似性のより高い方に関連する登録原稿を候補原稿とし、該候補原稿と同じ原稿インデックスをもつ登録画像が、類似性の低い方の候補リストに含まれるか否かを判断し、含まれている場合は、類似度判定処理部34による類似性の低い方の判定結果を、上記候補原稿と同じ登録原稿の原稿インデックスをもつ登録画像へと補正するようになっている。
【0169】
つまり、照合結果補正処理部35が、表面候補リスト及び裏面候補リストの第1候補が異なる登録原稿の指標を有する場合、つまり、同一原稿の表裏にある登録画像の関係に無い場合は、同一原稿の表裏にある登録画像の関係を満足する組み合わせへと、類似度判定処理部34の判定結果を補正する。
【0170】
したがって、表面候補リスト及び裏面候補リストに多くの候補の画像がリストアップされたとしても、少ない処理にて確実に、類似の度合いの高い順に、同一の登録原稿がもつ登録画像に類似すると判定することが可能となる。
【0171】
さらに、本実施形態では、画像インデックスに対応付けて、当該登録画像が登録原稿の表面或いは裏面の何れにあるかを表す面情報を両面原稿管理テーブルに格納するようになっており、上記投票処理/候補リスト作成部33は、上記面情報を含めて候補リストを作成し、照合結果補正処理部35は、表面候補リスト及び裏面候補リストに同じ登録原稿の指標を有すると共に、かつ、面情報が互いに異なる登録画像が含まれている場合、これら同じ登録原稿の指標を有する各登録画像と、照合モード時に入力された両面原稿の各画像とが類似すると判定するようになっている。
【0172】
このように、面情報を判定基準に含めることで、例えば、照合原稿の表面及び裏面の画像が類似していて、表面候補リスト及び裏面候補リストに、全く同じ登録画像がリストアップされるといった、登録原稿の指標のみでは判断できない事態が生じても、面情報を用いることで、このような事態を見分けて、より一層精度の高い判定が可能となる。
【0173】
さらに、ここで、図21にフロー図を用いて、本実施形態のデジタルカラー複写機における、類似判定処理後の出力処理を規制する手順を説明する。
【0174】
制御部7は、S31の類似判定処理において、照合原稿の表裏2面ともが、登録画像に類似しないと判定された場合は、S35に進み、制御部7は、判定信号「0」として、出力処理をそのまま許可する制御信号を出力する。
【0175】
一方、S31にて、類似すると判定されると、強制モードが設定されているか否かを判定する(S32)。ここで、強制モードが設定されている場合は、照合原稿の表裏2面の原稿画像に対して、類似すると判定された登録画像に設定されている制限を適用し、かつ、それぞれの制限が異なる場合は、最も優先度の高い規制にて出力処理を規制する制御信号を出力させる(S33)。
【0176】
一方、強制モードが設定されていない場合は、S34に進み、照合原稿に含まれる表裏2面の各原稿画像のうち、登録画像に類似すると判定された面の原稿画像に対してのみ、出力処理を規制する制御信号を出力させる。
【0177】
また、本実施形態では、本発明をデジタルカラー複写機1に適用する場合について説明したが、本発明の適用対象はこれに限るものではなく、例えば、図22に示すように、デジタルカラー複合機(MFP:Multi-Function Printer)100に適用してもよい。このデジタルカラー複合機100は、コピー機能、プリンタ機能、ファクシミリ機能、スキャナ機能、scan to e-mail機能等を有している。
【0178】
なお、図22においては、デジタルカラー複写機1において説明したものと同等の機能を有する部材には、同じ記号を付しており、それらの説明については省略する。
【0179】
ここで、送信装置5は、例えばモデムやネットワークカードより構成される。送信装置5は、ネットワークカード、LANケーブル等を介して、ネットワークに接続された他の装置(例えば、パーソナルコンピュータ、サーバー装置、他のデジタル複合機、ファクシミリ装置等)とデータ通信を行う。
【0180】
送信装置5は、画像データを送信する場合、相手先との送信手続きを行って送信可能な状態が確保されると、所定の形式で圧縮された画像データ(スキャナで読み込まれた画像データ)をメモリから読み出し、圧縮形式の変更など必要な処理を施して、通信回線を介して相手先に順次送信する。
【0181】
また、送信装置5は、画像データを受信する場合、通信手続きを行うとともに、相手先から送信されてくる画像データを受信してカラー画像処理装置3に入力する。受信した画像データは、カラー画像処理装置3で伸張処理、回転処理、解像度変換処理、出力階調補正、階調再現処理などの所定の処理が施され、カラー画像出力装置4によって出力される。なお、受信した画像データを記憶装置(図示せず)に保存し、カラー画像処理装置3が必要に応じて読み出して上記所定の処理を施すようにしてもよい。
【0182】
また、複合機100では、操作パネル6を用いて、ユーザの入力画像データに対する処理要求(例えば処理モード(複写、印刷、送信、編集など)、処理枚数(複写枚数、印刷枚数)、入力画像データの送信先など)を入力することができ、文書照合処理部14に制御部7は、類似ありと判定された場合に、複写処理だけでなく、印刷、送信、編集などの出力処理について制御する。
【0183】
例えば、ファクシミリを送信するモードが選択され、文書照合処理部14において、出力禁止であると判定された場合、メモリに格納されている画像データの消去を行い、ファックスの送信を行わないようにする。あるいは、登録画像ではあっても、ファックス送信が許可されている場合(登録画像を表す画像インデックスIDと送信先を対応付けて、予め格納しておく)は、送信先のデータを参照して送信するようにしても良い。
【0184】
図23を用いて、上記したデジタルカラー複合機100におけるファックス処理について説明する。なお、図23では、処理がスルーとなる処理部を点線で表している。ここでは使用するが、ファックス処理においては、領域分離処理部17は必須ではない。また、ファックス送信の場合、階調再現処理部22の後、解像度変換部、圧縮/伸張処理部で処理が行われる。
【0185】
送信においては、カラー画像入力装置2より読み込まれた、例えば8ビットの入力画像データはカラー画像処理装置3において上記の各処理が施され、入力階調補正部15で、例えば、マトリクス演算等によりRGB信号を輝度信号(図23ではK信号)に変換する。輝度信号に変換された画像データは、領域分離処理部17、空間フィルタ処理部20で所定の処理がなされ、階調再現処理部22において、例えば、誤差拡散処理により2値化される。2値化された画像データは、必要に応じて回転処理がなされ、圧縮/伸張処理部にて、所定の形式で圧縮されて、不図示のメモリに格納される。
【0186】
送信装置(例えば、モデム)5にて相手先との送信手続きを行い送信可能な状態が確保されると、画像データは所定の形式で圧縮された状態で上記メモリから読み出され、圧縮形式の変更など必要な処理が施され、相手先に通信回線を介して順次送信される。
【0187】
一方、受信においては、相手先から通信回線を介して画像が送信されてくると、制御部は、通信手続きを行いながら相手先から送信されてくる画像を受信すると共に、所定の形式に圧縮された状態の受信画像データは、カラー画像処理装置3に入力される。
【0188】
カラー画像処理装置3に入力された受信画像データは、圧縮/伸張処理部での処理により伸張されページ画像として送信されてきた原稿画像が再現される。再現された原稿画像は、カラー画像出力装置の能力に応じて、回転処理がなされ解像度変換部にて解像度変換処理が行なわれる。ページ単位の画像として再現された画像データは、カラー画像出力装置より出力される、
なお、以上では、モノクロの画像データを処理する場合を例として示したが、例えば、領域分離処理部17と空間フィルタ処理部20との間に、カラー画像入力装置2より読み込まれたRGB信号に対し、色再現の忠実化実現のために不要吸収成分を含む、トナーやインクのCMY(C:シアン・M:マゼンタ・Y:イエロー)色材の分光特性に基づいた色濁りを取り除く処理を行う色補正部18、および、色補正後のCMYの3色信号から黒(K)信号を生成する黒生成、元のCMY信号から黒生成で得たK信号を差し引いて新たなCMY信号を生成する黒生成下色除去部を備えたカラー画像処理装置を用いても構わない。
【0189】
また、図22の構成では、類似性判定処理をデジタルカラー複合機100に備えられた文書照合処理部14において行っているが、これに限るものではない。例えば、制御部7及び文書照合処理部14が有する機能の一部または全部を、デジタルカラー複合機100に通信可能に接続された外部装置において実行するようにしてもよい。
【0190】
その他、本発明を、例えば、モノクロの複合機に適用してもよい。また、複合機に限らず、例えば単体のファクシミリ通信装置、複写機、画像読取装置などに適用してもよい。
【0191】
例えば、図24は、本発明をフラットベッドスキャナ101に適用した場合の構成例を示すブロック図である。
【0192】
この図に示すように、フラットベッドスキャナ101は、カラー画像入力装置2とカラー画像処理装置3’とを備えている。カラー画像処理装置3’は、A/D変換部11、シェーディング補正部12、文書照合処理部14、制御部7(図24では図示せず)、メモリ8(図24では図示せず)から構成されており、これに、カラー画像入力装置2が接続され、全体として画像データ出力処理装置を構成している。なお、カラー画像入力装置(画像読取手段)2におけるA/D変換部11、シェーディング補正部12、文書照合処理部14、制御部7、メモリ8の機能は、上述したデジタルカラー複写機1と略同様であるのでここでは説明を省略する。
【0193】
また、上記各実施形態において、デジタルカラー複写機1、複合機100、フラットベッドスキャナ101に備えられる文書照合処理部及び制御部を構成する各部(各ブロック)は、CPU等のプロセッサを用いてソフトウェアによって実現される。すなわち、デジタルカラー複写機1、複合機100、フラットベッドスキャナ101は、各機能を実現する制御プログラムの命令を実行するCPU(central processing unit)、上記プログラムを格納したROM(read only memory)、上記プログラムを展開するRAM(random access memory)、上記プログラム及び各種データを格納するメモリ等の記憶装置(記録媒体)などを備えている。そして、本発明の目的は、上述した機能を実現するソフトウェアであるデジタルカラー複写機1の制御プログラムのプログラムコード(実行形式プログラム、中間コードプログラム、ソースプログラム)をコンピュータで読み取り可能に記録した記録媒体を、デジタルカラー複写機1、複合機100、フラットベッドスキャナ101に供給し、そのコンピュータ(またはCPUやMPU)が記録媒体に記録されているプログラムコードを読み出し実行することによって達成される。
【0194】
上記記録媒体としては、例えば、磁気テープやカセットテープ等のテープ系、フロッピー(登録商標)ディスク/ハードディスク等の磁気ディスクやCD−ROM/MO/MD/DVD/CD−R等の光ディスクを含むディスク系、ICカード(メモリカードを含む)/光カード等のカード系、あるいはマスクROM/EPROM/EEPROM/フラッシュROM等の半導体メモリ系などを用いることができる。
【0195】
また、デジタルカラー複写機1、複合機100、フラットベッドスキャナ101を通信ネットワークと接続可能に構成し、通信ネットワークを介して上記プログラムコードを供給してもよい。この通信ネットワークとしては、特に限定されず、例えば、インターネット、イントラネット、エキストラネット、LAN、ISDN、VAN、CATV通信網、仮想専用網(virtual private network)、電話回線網、移動体通信網、衛星通信網等が利用可能である。また、通信ネットワークを構成する伝送媒体としては、特に限定されず、例えば、IEEE1394、USB、電力線搬送、ケーブルTV回線、電話線、ADSL回線等の有線でも、IrDAやリモコンのような赤外線、Bluetooth(登録商標)、802.11無線、HDR、携帯電話網、衛星回線、地上波デジタル網等の無線でも利用可能である。なお、本発明は、上記プログラムコードが電子的な伝送で具現化された、搬送波に埋め込まれたコンピュータデータ信号の形態でも実現され得る。
【0196】
また、デジタルカラー複写機1、複合機100、フラットベッドスキャナ101の各ブロックは、ソフトウェアを用いて実現されるものに限らず、ハードウェアロジックによって構成されるものであってもよく、処理の一部を行うハードウェアと当該ハードウェアの制御や残余の処理を行うソフトウェアを実行する演算手段とを組み合わせたものであってもよい。
【0197】
本発明のコンピュータシステムは、フラットベッドスキャナ・フィルムスキャナ・デジタルカメラなどの画像入力装置、所定のプログラムがロードされることにより上記類似度算出処理や類似性判定処理など様々な処理が行われるコンピュータ、コンピュータの処理結果を表示するCRTディスプレイ・液晶ディスプレイなどの画像表示装置、及びコンピュータの処理結果を紙などに出力するプリンタ等の画像形成訴追により構成されてもよい。さらには、ネットワークを介してサーバーなどに接続するための通信手段としてのネットワークカードやモデムなどが備えられていてもよい。
【0198】
本発明は上述した実施形態に限定されるものではなく、請求項に示した範囲で種々の変更が可能である。すなわち、請求項に示した範囲で適宜変更した技術的手段を組み合わせて得られる実施形態についても本発明の技術的範囲に含まれる。
【図面の簡単な説明】
【0199】
【図1】本発明の一実施形態にかかるデジタルカラー複写機をなす画像データ出力処理装置に備えられる文書照合処理部における、投票処理/候補リスト作成部、類似度判定処理部、及び照合結果補正処理部の各処理手順を示すフローチャートである。
【図2】本発明の一実施形態にかかるデジタルカラー複写機をなす画像データ出力処理装置の概略構成を示すブロック図である。
【図3】図2に示した画像データ出力処理装置に備えられる文書照合処理部の概略構成を示すブロック図である。
【図4】図2に示した画像データ出力処理装置に備えられる特徴点算出部の概略構成を示すブロック図である。
【図5】図2に示した画像データ出力処理装置に備えられる特徴量算出部の概略構成を示すブロック図である。
【図6】図2に示した画像データ出力処理装置のMTF処理部に備えられる混合フィルタのフィルタ係数の一例を示す説明図である。
【図7】図2に示した画像データ出力処理装置の特徴点算出部によって入力画像データから抽出される連結領域及びこの連結領域の重心の一例を示す説明図である。
【図8】図2に示した画像データ出力処理装置の特徴点算出部によって入力画像データに含まれる文字列から抽出された複数の連結領域の各重心(特徴点)の一例を示す説明図である。
【図9】図2に示した画像データ出力処理装置の特徴量算出部によって特徴量を算出する際に抽出される注目特徴点及び周辺特徴点の一例を示す説明図である。
【図10】(a)〜(c)は、図2に示した画像データ出力処理装置の特徴量算出部によって特徴量を算出する際に抽出される注目特徴点及び周辺特徴点の組み合わせの一例を示す説明図である。
【図11】(a)〜(c)は、図2に示した画像データ出力処理装置の特徴量算出部によって特徴量を算出する際に抽出される注目特徴点及び周辺特徴点の組み合わせの一例を示す説明図である。
【図12】(a)及び(b)は、図2に示した画像データ出力処理装置において、ハッシュテーブルに登録される各特徴点についてのハッシュ値及び入力画像データを表すインデックスの一例を示す説明図である。
【図13】(a)〜(c)共に、両面原稿モードで読み込まれた登録原稿の原稿インデックスDocIDと、含まれる面面及び裏面の各原稿画像の画像インデックスIDとの関係を示す説明図である。
【図14】図2に示した画像データ出力処理装置において、図13(a)〜図13(c)に示す登録原稿が読み取られて格納された両面原稿管理テーブルを示す説明図である。
【図15】図2に示した画像データ出力処理装置の投票処理部における、各登録画像に対する投票数の一例を示すグラフである。
【図16】(a)は、図2に示した画像データ出力処理装置の文書照合処理部に設けられた、投票処理/候補リスト作成部が作成した表面候補リストの一例を示す説明図であり、(b)は、(a)の表面候補リストと対をなす裏面候補リストの一例を示す説明図である。
【図17】図2に示した画像データ出力処理装置の文書照合処理部に設けられた、類似度判定処理部が判定した照合結果の一例を示す説明図であり、図16(a)(b)に示した表面及び裏面の各候補リストの例における照合結果を示している。
【図18】(a)は、図2に示した画像データ出力処理装置の文書照合処理部に設けられた、投票処理/候補リスト作成部が作成した表面候補リストの他の例を示す説明図であり、(b)は、(a)の表面候補リストと対をなす裏面候補リストの一例を示す説明図である。
【図19】図2に示した画像データ出力処理装置の文書照合処理部に設けられた、類似度判定処理部が判定した照合結果を照合結果補正部が補正する例を示す説明図であり、図18(a)(b)に示した表面及び裏面の各候補リストの例における照合結果を示している。
【図20】図2に示した画像データ出力処理装置に備えられるカラー画像入力装置に搭載された画像読取装置の構成を示す説明図である。
【図21】図2に示した画像データ出力処理装置に備えられる文書照合処理部における、出力処理規制処理の手順を示すフローチャートである。
【図22】本発明の他の実施形態にかかるデジタルカラー複合機をなす画像データ出力処理装置の概略構成を示すブロック図である。
【図23】図22に示した画像データ出力処理装置における、ファクス処理時の画像データの流れを示す説明図である。
【図24】本発明のその他の実施形態にかかる画像データ出力処理装置の概略構成を示すブロック図である。
【図25】従来の画像データ出力処理装置における問題点を示す説明図である。
【符号の説明】
【0200】
1 デジタルカラー複写機(画像データ出力処理装置)
100 デジタルカラー複合機(画像データ出力処理装置)
101 フラットベッドスキャナ(画像データ出力処理装置)
2 カラー画像入力装置(入力データ取得部、画像入力装置)
3,3’ カラー画像処理装置
4 カラー画像出力装置
5 送信装置
6 操作パネル
7 制御部
8 メモリ(記憶部)
14 文書照合処理部(画像照合部)
31 特徴点算出部
32 特徴量算出部
32a 特徴点抽出部
32b 不変量算出部
32c ハッシュ値算出部
33 投票処理/候補リスト作成部
34 類似度判定処理部(判定処理部)
35 照合結果補正処理部(判定処理部)
36 登録処理部
【技術分野】
【0001】
本発明は、入力画像データに対する複写処理や、送信処理、編集処理、或いはファイリング処理等の出力処理を行う画像データ出力処理装置に関し、より詳細には、入力画像データの画像と事前に登録されている登録原稿の画像とを比較して類似性を判定し、その判定結果に基づいて、入力画像データの出力処理を制御する機能を有する画像データ出力処理装置に関するものである。
【背景技術】
【0002】
従来から、スキャナ等で原稿を読み取って得られた原稿の画像データと、事前に登録されている登録原稿の画像データとを比較し、その類似性を判定するといった画像照合技術がある。
【0003】
類似性の判定には、例えば、OCR(Optical Character Reader)などで画像からキーワードを抽出してキーワードによるマッチングを行う方法や、対象画像を罫線のある帳票画像に限定し、罫線の特徴によるマッチングを行う方法(特許文献1参照)、或いは、入力画像と登録原稿の色味分布を基に判定する方法(特許文献2参照)などが知られている。
【0004】
また、特許文献3には、入力文書の特徴からデスクリプタを生成し、このデスクリプタと、デスクリプタを記録しデスクリプタが生成された特徴を含む文書のリストを指し示すデスクリプタデータベースとを用いて、入力文書と文書データベース中の文書とのマッチングを行う技術が開示されている。デスクリプタは、文書のデジタル化により生じる歪みや、入力文書と文書データベース中の整合する文書との間の差異に対して不変となるように選ばれる。
【0005】
この技術では、デスクリプタデータベースがスキャンされるときに、文書データベース中の各文書に対する投票を累積し、最高得票数の1文書または得票数がある閾値を超えた文書を整合文書とするようになっている。
【0006】
さらに、特許文献4には、デジタル画像から複数の特徴点を抽出し、抽出した各特徴点に対して局所的な特徴点の集合を決定し、決定した各集合から特徴点の部分集合を選択し、選択した各部分集合を特徴付ける量として、部分集合中の特徴点の複数の組み合わせに基づいて、幾何学的変換に対する不変量をそれぞれ求め、求めた各不変量を組み合わせて特徴量を計算し、計算した特徴量を有するデータベース中の文書・画像に投票することにより、上記デジタル画像に対応する文書・画像を検索する技術が開示されている。
【0007】
そして、従来、複写機や、ファクシミリ装置、スキャナ装置、或いは複合機などの、入力画像データに対して複写処理や、送信処理、編集処理、或いはファイリング処理等の出力処理を行う画像データ出力処理装置においては、このような原稿照合技術を利用して、入力画像データが登録原稿の画像データに類似する場合、その出力処理を規制するといったことが行われている。
【0008】
例えば、カラー画像形成装置においては、紙幣や有価証券の偽造に対処するため、入力画像データから検出したパターンに基づいて入力画像データが紙幣や有価証券等(登録原稿)の画像データであるかどうかを判断し、登録原稿の画像データである場合には、出力された画像から複写を行った画像形成装置を特定できるように出力される画像に特定のパターンを付加したり、複写画像を塗りつぶしたり、複写動作を禁止したりする技術が知られている。
【特許文献1】特開平8−255236号公報(1996年10月1日公開)
【特許文献2】特開平5−110815号公報(1993年4月30日公開)
【特許文献3】特開平7−282088号公報(1995年10月27日公開)
【特許文献4】国際公開第2006/092957号パンフレット(2006年9月8日公開)
【発明の開示】
【発明が解決しようとする課題】
【0009】
しかしながら、従来の画像データ出力処理装置においては、入力画像データが両面原稿のものであったとしても、両面原稿であることを考慮した判定を行うようにはなっていない。そのため、出力処理を規制されている原稿画像であることを判定することができず、規制すべき出力処理を許可してしまうといった問題がある。
【0010】
これについて、図25を用いて説明する。従来の画像データ出力処理装置においては、基本的に1頁単位で照合を行うようになっている。したがって、図25に示すように、照合原稿が、表裏にそれぞれ原稿画像X,Yをもつ両面原稿Aであっても、表面の原稿画像Xと裏面の原稿画像Yとは、それぞれ独立した1枚の原稿画像として、登録画像に対して個々に類似性が判定され、両面原稿の属性は用いられない。
【0011】
そのため、図25に示すように、表裏の各原稿画像X,Yが共に出力処理が禁止されている両面原稿Aの場合に、表面の原稿画像Xについては登録画像Xに類似すると判定できても、裏面の原稿画像Yについては登録画像Yに類似するとは判定できず、原稿画像Yについて出力処理が許可されてしまうといったことが起こる。
【0012】
ここで、もし、登録画像Xを含む登録原稿は両面原稿であり、その裏面は登録画像Yであるといった情報が事前に予め与えられており、これを加味して判定することができたならば、裏面の原稿画像Yに対する判定を修正して、原稿画像Yの出力処理を禁止することが可能である。
【0013】
本発明は、上記の問題点に鑑みてなされたものであり、その目的は、入力画像データの画像が登録原稿の画像に類似しているか否かを判定し、判定結果に応じて、入力画像データの出力処理を規制する画像データ出力処理装置において、入力画像データが両面原稿のものであり、出力処理の規制された原稿画像を含んでいる場合は、その出力処理をより確実に規制可能な画像データ出力処理装置を実現することにある。
【課題を解決するための手段】
【0014】
本発明のデータ出力処理装置は、上記課題を解決するために、入力画像データに対して出力処理を施すものであり、入力画像データより画像の特徴量を抽出する一方、抽出した該特徴量と予め登録されている登録原稿の画像の特徴量とを比較して、上記入力画像データの画像と登録原稿の画像との類似性を判定する画像照合部と、上記画像照合部の判定結果に基づいて、上記入力画像データに対する出力処理を制御する出力処理制御部とを備えた画像データ出力処理装置において、上記画像照合部は、両面原稿よりなる登録原稿の表面及び裏面の各画像の特徴量を格納すると共に、表面及び裏面の各画像を識別するための指標に対応付けて、当該登録画像を含む両面原稿を識別するための指標が格納されている記憶部に対して、入力画像データの画像を照合させるようになっており、上記入力画像データが両面原稿のものである場合、当該両面原稿の表面の画像及び裏面の画像毎に、上記記憶部より予め定める基準以上の類似性を有する登録画像の指標と、これに関連する登録原稿の指標を抽出して、表面候補リスト及び裏面候補リストを作成する投票処理/候補リスト作成部と、作成された表面候補リスト及び裏面候補リストを参照し、両方の候補リストに同じ登録原稿の指標を有する登録画像が含まれている場合は、同じ登録原稿の指標を有するこれら各登録画像と上記入力画像データの両面原稿の各画像とが類似すると判定する両面原稿判定処理部とを備えることを特徴としている。
【0015】
これによれば、登録原稿が両面原稿である場合、両面原稿である属性が登録原稿の類似性を判定する際の要素の1つに含められ、照合原稿が両面原稿である場合は、照合原稿の両面原稿である属性を含めて、登録画像を判定することが可能となり、両面原稿に対する類似性の判定精度を向上させることができる。
【0016】
即ち、登録原稿が両面原稿である場合、その表面及び裏面の各画像を識別するための指標(一例:後述する画像インデックスIDに相当)に対応付けて、当該登録画像を含む両面原稿を識別するための指標(一例:後述する原稿インデックスDocID)を記憶部に格納される。
【0017】
これにより、両面原稿の表面及び裏面にある各画像は、どの両面原稿に含まれるものであるかを一意に特定可能となる。
【0018】
そして、照合に際しては、投票処理/候補リスト作成部が、照合原稿が両面原稿である場合、当該両面原稿の表面の画像及び裏面の画像毎に、記憶部より予め定める基準以上の類似性を有する登録画像の指標と、これに関連する登録原稿の指標を抽出して候補リストを作成する。
【0019】
このように作成された表面候補リスト及び裏面候補リストには、照合原稿の表面及び裏面の各画像が類似する可能性のある登録画像が、その類似する度合いにもよるが、複数抽出されることとなる。もちろん、登録画像に類似しない場合や、類似する度合いが、1つの登録画像を除いて低い場合などは、候補リストにリストアップされる候補の登録画像数は、無しや1つになったりする場合もある。
【0020】
そして、両面原稿判定処理部は、このように作成された表面候補リスト及び裏面候補リストを参照し、両方の候補リストに同じ登録原稿の指標を有する登録画像が含まれている場合、これら同じ登録原稿の指標を有する各候補リストの各登録画像と、照合モード時に入力された両面原稿の各画像とが類似すると判定する。
【0021】
これにより、照合原稿が両面原稿であり、かつ、登録原稿に類似(一致)する場合に、照合原稿の一方の面の画像のみが登録原稿の一方の面の画像に類似すると判定され、照合原稿のもう一方の面の画像は、登録原稿のもう一方の面の画像とは異なるといった、誤った判定を避けて、照合原稿が両面原稿である場合の判定精度を向上させることができる。
【0022】
本発明の画像データ出力処理装置においては、さらに、上記両面原稿判定処理部は、上記入力画像データの画像が登録画像に類似するか否かを判定し、類似する場合は、類似性の最も高い登録画像が入力画像データの画像であると判定する類似度判定処理部と、上記類似度判定処理部による判定結果を補正する判定結果補正処理部とを含み、上記判定結果補正処理部は、表面候補リスト及び裏面候補リストそれぞれの類似性の最も高い第1候補の登録画像が、互いに同じ登録原稿の指標を有するか否かを判断し、同じ登録原稿の指標を有する場合は、類似度判定処理部の判定結果を補正せず、同じ登録原稿の指標を有さない場合は、表面候補リスト及び裏面候補リストそれぞれの第1候補の登録画像の類似性を比較し、類似性のより高い方に関連する登録原稿を候補原稿とし、該候補原稿と同じ登録原稿の指標をもつ登録画像が、類似性の低い方の候補リストに含まれるか否かを判断し、含まれている場合は、上記類似度判定処理部による類似性の低い方の判定結果を、上記候補原稿と同じ登録原稿の指標をもつ登録画像へと補正する構成とすることもできる。
【0023】
これによれば、判定結果補正処理部が、表面候補リスト及び裏面候補リストの第1候補が異なる登録原稿の指標を有する場合、つまり、同一原稿の表裏にある登録画像の関係に無い場合は、同一原稿の表裏にある登録画像の関係を満足する組み合わせへと、類似度判定処理部の判定結果を補正する。
【0024】
これにより、表面候補リスト及び裏面候補リストに多くの候補の画像がリストアップされたとしても、少ない処理にて確実に、類似の度合いの高い順に、同一の登録原稿がもつ登録画像に類似すると判定することが可能となる。
【0025】
また、類似度判定処理部による判定結果を補正する形式をとるので、類似度判定処理部は、片面原稿に対応した、従来ある1頁ずつ判定する構成をそのまま採用できる。
【0026】
また、本発明の画像データ出力処理装置においては、さらに、上記出力処理制御部は、照合モード時に入力された両面原稿の各画像の少なくとも一方が登録画像に類似する場合、登録画像に類似する画像の入力画像データの出力処理のみならず、当該両面原稿の表裏両面の画像の入力画像データの出力処理を規制する強制モードを有する構成とすることが好ましく、しかも、出力処理の規制は登録画像毎に設定されている場合には、最も優先度の高い規制が選択される構成とすることが好ましい。
【0027】
また、本発明の画像データ出力処理装置としては、出力処理が、入力画像データに基づいて記録材上に画像を形成する画像形成処理であり、記録材上に画像データに基づいて画像を形成する画像形成手段を備えるものや、出力処理が、入力画像データを記憶装置に格納するファイリング処理であり、画像データを記憶装置に格納していくファイリング手段を備えるもの、或いは、出力処理が、入力画像データをネットワークを介して受信装置に送信する送信処理であり、画像データをネットワークを介して受信装置に送信する送信手段を備えるものなどがある。
【0028】
さらに、本発明においては、従来ある画像データ出力処理装置に搭載されることで、本発明の画像データ出力処理装置と同等の機能を付加できる画像データ出力処理装置の制御装置、及び従来ある画像データ出力処理装置に適用することで本発明の画像データ出力装置と同等の機能を付加できる画像データ出力処理方法を含んでいる。
【0029】
また、上記画像データ出力処理装置は、コンピュータによって実現してもよく、この場合には、コンピュータを上記各部として動作させることにより、上記画像データ出力処理装置をコンピュータにて実現させるプログラム、及びそれを記録したコンピュータ読み取り可能な記録媒体も、本発明の範疇に含まれる。
【発明の効果】
【0030】
本発明の画像データ出力処理装置は、以上のように、上記画像照合部は、両面原稿よりなる登録原稿の表面及び裏面の各画像の特徴量を格納すると共に、表面及び裏面の各画像を識別するための指標に対応付けて、当該登録画像を含む両面原稿を識別するための指標が格納されている記憶部に対して、入力画像データの画像を照合させるようになっており、上記入力画像データが両面原稿のものである場合、当該両面原稿の表面の画像及び裏面の画像毎に、上記記憶部より予め定める基準以上の類似性を有する登録画像の指標と、これに関連する登録原稿の指標を抽出して、表面候補リスト及び裏面候補リストを作成する投票処理/候補リスト作成部と、作成された表面候補リスト及び裏面候補リストを参照し、両方の候補リストに同じ登録原稿の指標を有する登録画像が含まれている場合は、同じ登録原稿の指標を有するこれら各登録画像と上記入力画像データの両面原稿の各画像とが類似すると判定する両面原稿判定処理部とを備える構成である。
【0031】
これにより、登録原稿が両面原稿である場合は、両面原稿の属性を含めて、登録画像を判定することが可能となり、両面原稿に対する類似性の判定精度を向上させることができる。
【0032】
それゆえ、入力画像データの画像が登録原稿の画像に類似しているか否かを判定し、判定結果に応じて、入力画像データの出力処理を制御する画像データ出力処理装置において、入力画像データが両面原稿のものであり、出力処理の規制された画像を含んでいる場合は、その出力処理をより確実に規制可能な画像データ出力処理装置を提供できるという効果を奏する。
【発明を実施するための最良の形態】
【0033】
本発明の一実施形態について説明する。なお、本実施形態では、本発明をデジタルカラー複写機に適用する場合の一例について説明する。
【0034】
図2は、本実施形態にかかるデジタルカラー複写機(画像データ出力処理装置)1の概略構成を示すブロック図である。
【0035】
図2に示すように、デジタルカラー複写機1は、カラー画像入力装置2、カラー画像処理装置3、カラー画像出力装置4、及び操作パネル6を備えている。
【0036】
カラー画像入力装置2は、原稿の画像を読み取って画像データを生成するものであり、例えばCCD(Charge Coupled Device )などの光学情報を電気信号に変換するデバイスを備えたスキャナ部(図示せず)より構成されている。ここでは、カラー画像入力装置2は、原稿からの反射光像を、RGB(R:赤・G:緑・B:青)のアナログ信号としてカラー画像処理装置3に出力する。
【0037】
カラー画像処理装置3は、カラー画像入力装置2から入力されたアナログ信号に、種々の処理を施すと共にカラー画像出力装置4が扱える形に変換して、カラー画像出力装置へと出力するものである。
【0038】
カラー画像処理装置3は、入力段にRGBのアナログ信号をデジタル信号に変換するA/D(アナログ/デジタル)変換部11を備えている。カラー画像処理装置3に入力されたアナログ信号の画像データは、このA/D変換部11にてデジタル信号に変換される。
【0039】
デジタル信号に変換されRGB信号は、その後、シェーディング補正部12、文書照合処理部14、入力階調補正部15、領域分離処理部17、色補正部18、黒生成下色除去部19、空間フィルタ処理部20、出力階調補正部21、階調再現処理部22の順で送られ、最終的にはデジタル信号のCMYK信号となる。そして、階調再現処理部22より出力されたデジタル信号のCMYK信号は、メモリ(図示せず)に一旦格納された後、カラー画像出力装置4へと出力される。
【0040】
カラー画像処理装置3を構成する上記各部の処理について説明する。シェーディング補正部12は、A/D変換部11より送られてきたデジタルのRGB信号に対して、カラー画像入力装置2の照明系、結像系、撮像系で生じる各種の歪みを取り除く処理を施すものである。また、シェーディング補正部12は、カラーバランスの調整、及び濃度信号などカラー画像処理装置3に採用されている画像処理システムの扱い易い信号に変換する処理を施すものでもある。
【0041】
シェーディング補正部12にて、各種の歪みが取り除かれ、カラーバランスの調整がなされたRGB信号(RGBの濃度信号)は、文書照合処理部14に出力される。
【0042】
文書照合処理部(類似性判定部・出力処理制御部)14は、シェーディング補正部12より送られてきたRGB信号(入力画像データ)より、特徴点を抽出し、抽出した各特徴点に基づいて入力画像データの画像の特徴量を抽出する機能を有している。
【0043】
文書照合処理部14は、登録モードでは、入力されてくる登録原稿の画像データより画像の特徴量を抽出すると共に、抽出した特徴量を、後述するように、登録画像を表す画像インデックスID、当該登録画像を含む登録原稿を表す原稿インデックスDocID、当該登録画像が登録画像の表面及び裏面の何れにあるかを表す面情報と共に、記憶手段に登録する。
【0044】
また、照合モードでは、入力されてくる照合原稿の画像データより特徴量を抽出すると共に、既に登録されている登録画像の特徴量と比較して、照合原稿の画像(以下、照合画像とも称する)が登録画像に類似しているか否かを判定する類似性判定処理を行う。
【0045】
そして、詳細については後述するが、本実施形態では、照合モードにおいて、照合原稿が両面原稿である場合、上記した登録画像を表す画像インデックスID、当該登録画像を含む登録原稿を表す原稿インデックスDocID、当該登録画像が登録画像の表面及び裏面の何れにあるかを表す面情報を用いて、両面原稿の属性を利用した照合を行うようになっている。
【0046】
また、文書照合処理部14は、出力処理制御部としての機能も有しており、類似性判定処理において、登録原稿に類似していると判定すると、入力画像データに対する出力処理(カラー複写機では画像形成処理)を禁止したりする、制御信号を出力するようになっている。
【0047】
また、文書照合処理部14は、入力信号をそのまま、さらに後段の入力階調補正部15へと出力する。
【0048】
入力階調補正部15は、文書照合処理部14より送られてきたRGB信号に対して、下地色(下地色の濃度成分:下地濃度)の除去やコントラストなどの画質調整処理を施すものである。入力階調補正部15にて画質調整処理が施されたRGB信号は、領域分離処理部17へと送られる。
【0049】
領域分離処理部17は、RGB信号より、入力画像中の各画素を文字領域、網点領域、写真領域のいずれかに分離するものである。領域分離処理部17は、分離結果に基づき、画素がどの領域に属しているかを示す領域識別信号を、色補正部18、黒生成下色除去部19、空間フィルタ処理部20、及び階調再現処理部22へと出力する。また、領域分離処理部17は、入力階調補正部15より出力された入力信号をそのまま後段の色補正部18にも出力する。
【0050】
色補正部18は、色再現の忠実化実現のために、不要吸収成分を含むCMY(C:シアン・M:マゼンタ・Y:イエロー)色材の分光特性に基づいた色濁りを取り除く処理を行うものである。
【0051】
黒生成下色除去部19は、色補正後のCMYの3色信号から黒(K)信号を生成する黒生成、元のCMY信号から黒生成で得たK信号を差し引いて新たなCMY信号を生成する処理を行うものである。これにより、CMYの3色信号はCMYKの4色信号に変換される。
【0052】
空間フィルタ処理部20は、黒生成下色除去部19より入力されるCMYK信号の画像データに対して、領域識別信号を基にデジタルフィルタによる空間フィルタ処理を行い、空間周波数特性を補正する。これにより、出力画像のぼやけや粒状性劣化を軽減することができる。階調再現処理部22も、空間フィルタ処理部20と同様、CMYK信号の画像データに対して領域識別信号を基に所定の処理を施すものである。
【0053】
例えば、領域分離処理部17にて文字に分離された領域は、特に黒文字あるいは色文字の再現性を高めるために、空間フィルタ処理部20による空間フィルタ処理における鮮鋭強調処理で高周波数の強調量が大きくされる。同時に、階調再現処理部22においては、高域周波数の再現に適した高解像度のスクリーンでの二値化または多値化処理が選択される。
【0054】
また、領域分離処理部17にて網点領域に分離された領域に関しては、空間フィルタ処理部20において、入力網点成分を除去するためのローパス・フィルタ処理が施される。そして、出力階調補正部21では、濃度信号などの信号をカラー画像出力装置4の特性値である網点面積率に変換する出力階調補正処理を行った後、階調再現処理部22で、最終的に画像を画素に分離してそれぞれの階調を再現できるように処理する階調再現処理(中間調生成)が施される。領域分離処理部17にて写真に分離された領域に関しては、階調再現性を重視したスクリーンでの二値化または多値化処理が行われる。
【0055】
このようにして各処理が施された画像データは、一旦、図示しないメモリに記憶されたのち、所定のタイミングで読み出されてカラー画像出力装置4に入力される。
【0056】
そして、上記した文書照合処理部14による照合モード時の類似性判定処理にて、登録画像に類似していると判定され、例えば、照合画像の出力処理を禁止する制御信号が出力された場合は、このメモリより画像データを読み出す際に、不可視となるように、当該頁の画像データのデータ値が「0」或いは「255(8ビットの場合)」に置き換えられる。これにより、カラー画像出力装置4より出力される出力物は、頁全体が塗り潰された状態、或いは白紙状態となる。或いは、照合画像の出力処理を禁止する制御信号が出力された場合、出力を停止する(出力しない)ようにしても良い。
【0057】
カラー画像出力装置4は、カラー画像処理装置3から入力された画像データを記録材(例えば紙等)上に出力するものである。カラー画像出力装置4の構成は特に限定されるものではなく、例えば、電子写真方式やインクジェット方式を用いたカラー画像出力装置を用いることができる。
【0058】
操作パネル6は、例えば、液晶ディスプレイなどの表示部と設定ボタンなどより構成され(いずれも図示せず)、デジタルカラー複写機1の主制御部(図示せず)の指示に応じた情報を上記表示部に表示するとともに、上記設定ボタンを介してユーザから入力される情報を上記主制御部に伝達する。ユーザは、操作パネル6を介して入力画像データに対する処理要求、処理枚数などを入力することができる。
【0059】
上記主制御部は、例えばCPU(Central Processing Unit)等からなり、図示しないROM等に格納されたプログラムや各種データ、操作パネル6から入力される情報等に基づいて、デジタルカラー複写機1の各部の動作を制御する。
【0060】
次に、上記カラー画像入力装置2に備えられ、原稿画像を走査して画像情報を画像データとして取り込む、画像読取装置の構成について、図20を用いて説明する。
【0061】
図20は、上記カラー画像入力装置2に備えられた画像読取装置50の構成を示す説明図である。図20に示すように、画像読取装置50は、第2コンタクトガラス52上を走行する原稿の上側の画像を読み取るイメージセンサ部53と、第1コンタクトガラス51に載置されている原稿を走査することにより読み取る読取部54とを備える。
【0062】
これにより、画像読取装置50は、原稿を静止させて画像を読み取る静止読取モード、原稿を搬送させながら画像を読み取る走行読取モード、あるいは、原稿を搬送させながら、原稿における両面の画像を読み取る両面原稿モードにて、原稿に対する画像読み取りを行うことができる。
【0063】
原稿を第2コンタクトガラス52上を走行させる手法としては、例えば、ADF(Auto Document Feeder)がある。ADFなどにより、図の原稿搬送路56に沿って原稿を搬送する場合、整合ローラ対55は、搬送された原稿の先端が、整合ローラ対55のニップ部に付き当たることによって、原稿に所定の撓みを形成し、その後、下流側に原稿を搬送するように回動するものである。この時、整合ローラ対55のニップ部により、原稿の先端が搬送方向に直角となるように整合される。
【0064】
図において、参照符号57は、第1コンタクトガラス51上に載置された原稿を抑える原稿押さえマット57であり、参照符号58は、ADFなどにより搬送される原稿のガイドである。また、参照符号59は、読取部54の光源の光が、イメージセンサ部53に入って、画像が適切な濃度で読み取れなくなるのを防止するための遮光部材である。
【0065】
これらのうち、原稿押さえマット57、整合ローラ対55、原稿搬送路56、イメージセンサ部51、上側原稿搬送ガイド58等が上部筐体(原稿カバー)60を構成し、第1コンタクトガラス53、第2コンタクトガラス52、読取部54、下部筐体61を構成する。そして、上部筐体60は下部筐体61に対して開閉可能に構成されている。
【0066】
上記読取部54は、第1走査ユニット63、第2走査ユニット64、結像レンズ65、CCD(Charge Coupled Device)66よりなる。第1走査ユニット63は、第1コンタクトガラス51に沿って左から右に一定速度Vで移動しながら、原稿を露光するものであり、光源(露光ランプ)62と、原稿の反射光を第2走査ユニット54に導く第1の反射ミラー67とを有している。
【0067】
第2走査ユニット64は、第1走査ユニット63に追随してV/2の速度で移動するようになっており、第1反射ミラー67からの光を結像レンズ65、CCD66に導く第2及び第3反射ミラー68,69を備えている。
【0068】
結像レンズ65は、第3反射ミラー69からの反射光を、CCD66上で結像させるものである。CCD66は、結像レンズ65からの光をアナログの電気信号に変換するものである。なお、この電気信号は、後述する画像処理装置によってデジタルの画像データに変換される。
【0069】
第2コンタクトガラス52は、走行読取モード、両面読取モードで読み取る原稿を載置するための台である。走行読取モード、両面読取モードで原稿を読み取る場合、上記読取部54はホームポジション(図示せず)から、図の第2コンタクトガラス52の位置に移動し、静止読取モードで原稿を読み取る場合は、図のPの位置から図示しない原稿サイズ検出手段で検出された原稿サイズに応じて所定距離だけ移動するようになっている。
【0070】
さらに、両面読取モードで読み取られた場合、例えば、両面原稿の表面が上記読取部54で読み取られるように設定されている場合、上記読取部54で読み取られた画像データが、先ず、画像処理装置に入力され、その後、上記イメージセンサ部53で読み取られた画像データが画像処理装置に入力される。上記読取部54で読み取られた画像データが画像処理装置で処理されている間、上記イメージセンサ部53で読み取られた画像データはメモリに格納されており、上記読取部54で読み取られた画像データの処理が終了した後、メモリより読み出されて処理が施される。
【0071】
なお、原稿サイズ検出手段としては、画像入力装置内に配置されたフォトトランジスタなどの光電変換素子により、原稿台に載置された、主走査方向、副走査方向の原稿サイズを検知する、あるいは、操作パネルよりユーザにより選択された原稿のサイズを検知する(CPU)などの構成が考えられる。
【0072】
次に、文書照合処理部(画像照合部、出力処理制御部)14の詳細について説明する。本実施形態にかかる文書照合処理部14は、まず、入力画像データから複数の特徴点を抽出し、抽出した各特徴点に対して局所的な特徴点の集合を決定する。次に、決定した各集合から特徴点の部分集合を選択し、選択した各部分集合を特徴付ける量として、部分集合中の特徴点に関する複数の組み合わせに基づいて、幾何学的変換に対する不変量をそれぞれ求める。そして、求めた各不変量を組み合わせて特徴点毎に特徴量であるハッシュ値を計算する。
【0073】
そして、入力画像データが登録原稿のものである登録モードでは、算出したハッシュ値を、登録画像を表す画像インデックスIDに対応付けてハッシュテーブル(図示せず)に格納する。さらに、登録する原稿が両面原稿である場合は、その表面及び裏面の各原稿画像を識別する画像インデックスIDに対応付けて、当該登録画像を含む両面原稿を識別するための指標である原稿インデックスDocIDと、登録画像が登録原稿の表裏の何れにあるかを表す面情報とを、両面原稿管理テーブル(図示せず)に格納する。
【0074】
一方、入力画像データが照合原稿のものである照合モードでは、計算したハッシュ値に対応する画像インデックスに投票し、投票が終了すると、投票結果と、原稿インデックス及びその面情報をも考慮して、照合画像と登録原稿との類似性を判定する。
【0075】
また、上記登録原稿及び照合原稿となり得る入力画像データとしては、スキャナにて原稿を読み取り入力される画像データ以外に、コンピュータ(ソフトウェア)を用いて作成される電子データ、例えば、電子データのフォーマットに、コンピュータ(ソフトウェア)を用いて必要事項を入力して作成される電子データの2通りがあり、さらに、実使用を考えた場合、紙ベースのデータを電子化したもの、電子データで直接作成したもの(電子申請など)、2通りが考えられる。
【0076】
図3は、文書照合処理部14の概略構成を示すブロック図である。この図に示すように、文書照合処理部14は、特徴点算出部31、特徴量算出部32、投票処理/候補リスト作成部33、類似度判定処理部34、照合結果補正処理部(判定結果補正処理部)35、登録処理部36、制御部7、メモリ8を備えている。
【0077】
制御部7は、文書照合処理部14の各部の動作を制御する。なお、制御部7は、デジタルカラー複写機1の各部の動作を制御するための主制御部に備えられていてもよく、主制御部とは別に備えられ、主制御部と協同して文書照合処理部14の動作を制御するものであってもよい。
【0078】
制御部7は、文書照合処理部14による類似性判定処理の結果、類似性なしと判定された場合には当該画像データに対する出力処理を許可する制御信号を出力する。一方、制御部7は、類似性ありと判定された場合には、入力画像データに対する出力処理を制御する制御信号を出力する。
【0079】
出力処理を制御(規制)するにあたり、制限の内容は、登録画像毎に定められており、最も優先度の高い厳しい制限は、出力処理の禁止である。また、制御部7は、照合原稿が両面原稿である場合、出力処理の規制のし方として、2つのモードを有している。
【0080】
1つは、両面原稿における表裏2面の原稿画像のうち、登録画像に類似すると判定され原稿画像に対してのみ、出力処理を規制する通常モードである。
【0081】
もう1つは、通常モードよりも厳しい、強制モードである。強制モードでは、両面原稿における表裏2面の原稿画像のうち、一方でも登録画像に類似すると判定された場合は、表裏両面の原稿画像の出力処理に対して、類似すると判定された登録画像に設定されている制限が適用される。さらに、表裏2面の原稿画像がそれぞれ登録画像に類似し、それぞれ規制内容が異なる場合は、最も優先度の高い規制(最も厳しい制限)が選択される。例えば、表裏2面のうちの何れかの面の原稿画像が、出力処理が禁止されている登録画像に類似すると判定されると、両面原稿の表裏2面の原稿画像を共に不可視とする制御信号が出力される。
【0082】
メモリ8は、文書照合処理部14の各部の処理に用いられる各種データ、処理結果等を記憶するものである。後述するハッシュテーブル、両面原稿管理テーブル(記憶部)等は、このメモリ8に設けられる。
【0083】
特徴点算出部31は、入力画像データより、文字列や罫線の連結部分を抽出し、連結部分の重心を特徴点として算出するものである。ここで、入力画像データは、登録モードでは、登録の原稿の画像データであり、類似判定処理においては、照合の原稿の画像データ(以下、照合画像データと称することもある)である。
【0084】
図4は、特徴点算出部31の概略構成を示すブロック図である。なお、図4に示す特徴点算出部31の構成は一例であって、これに限るものではなく、例えば従来から公知の種々の法によって特徴点を算出してもよい。
【0085】
図4に示すように、特徴点算出部31は、無彩化処理部41、解像度変換部42、MTF処理部43、2値化処理部44、重心算出部45を備えている。
【0086】
無彩化処理部41は、シェーディング補正部12から入力された画像データ(RGB信号)がカラー画像であった場合に、この画像データを無彩化して、明度信号もしくは輝度信号に変換するものである。
【0087】
例えば、無彩化処理部41は、下記式(1)によりRGB信号を輝度信号Yに変換する。
【0088】
Yj=0.30Rj+0.59Gj+0.11Bj ・・・(1)
ここで、Yjは各画素の輝度信号であり、Rj,Gj,Bjは各画素のRGB信号における各色成分であり、添え字のjは画素毎に付与された値(jは1以上の整数)である。
【0089】
あるいは、RGB信号をCIE1976L*a*b*信号(CIE:Commission International de l'Eclairage、L*:明度、a*,b*:色度)に変換してもよい。
【0090】
解像度変換部42は、入力画像データに対して変倍処理を行うものである。例えば、入力画像データは、カラー画像入力装置2で光学的に変倍されている場合がある。このような場合に、解像度変換部42は、所定の解像度(以下、デフォルト解像度)になるように、入力画像データを再度変倍する。
【0091】
MTF(modulation transfer function)処理部43は、カラー画像入力装置2の空間周波数特性が機種ごとに異なることを吸収(調整)するために用いられる。CCDの出力する画像信号には、レンズやミラー等の光学部品、CCDの受光面のアパーチャ開口度、転送効率や残像、物理的な走査による積分効果及び操作むら等に起因しMTFの劣化が生じている。このMTFの劣化により、読み込まれた画像がぼやけたものとなっている。
【0092】
MTF処理部43は、適切なフィルタ処理(強調処理)を施すことにより、MTFの劣化により生じるぼやけを修復する処理を行う。また、後段の重心算出部45における特徴点抽出処理に不要な高周波成分を抑制するためにも用いる。すなわち、混合フィルタ(図示せず)を用いて強調及び平滑化処理を行う。なお、図6は、この混合フィルタにおけるフィルタ係数の一例を示している。
【0093】
2値化処理部44は、無彩化された画像データ(輝度値(輝度信号)または明度値(明度信号))と、予め設定された閾値とを比較することにより画像データを二値化する。
【0094】
重心算出部45は、2値化処理部44で2値化された画像データ(例えば、「1」、「0」で表される)に基づいて、各画素に対してラベリング(ラベル付け処理)を行う。そして、同一ラベルが付された画素が連結した連結領域を特定し、特定した連結領域の重心を特徴点として抽出する。ここで、重心である特徴点は、二値画像における座標値(X,Y)にて表すことができる。
【0095】
図7は、入力画像データから抽出された連結領域及びこの連結領域の重心の一例を示す説明図であり、「A」という文字列に対応する連結領域及び重心を示している。また、図8は、入力画像データに含まれる文字列から抽出された複数の連結領域の各重心(特徴点)の一例を示す説明図である。
【0096】
再び、文書照合処理部14の概略構成を示すブロックである図3に戻り、特徴量算出部32は、特徴点算出部31で算出された特徴点を用いて、原稿画像の回転、平行移動、拡大、縮小、平行移動等の幾何学的変形に対して不変な量である特徴量(ハッシュ値及び/または不変量)を算出するものである。
【0097】
図5は、特徴量算出部32の概略構成を示すブロック図である。この図に示すように、特徴量算出部32は、特徴点抽出部32a、不変量算出部32b、ハッシュ値算出部32cを備えている。
【0098】
特徴点抽出部32aは、図9に示すように、1つの特徴点を注目特徴点とし、この注目特徴点の周辺の特徴点を、注目特徴点からの距離が近いものから順に所定数(ここでは4点)だけ周辺特徴点として抽出する。図9の例では、特徴点aを注目特徴点とした場合には特徴点b,c,d,eの4点が周辺特徴点として抽出され、特徴点bを注目特徴点とした場合には特徴点a,c,e,fの4点が周辺特徴点として抽出される。
【0099】
また、特徴点抽出部32aは、上記のように抽出した周辺特徴点4点の中から選択し得る3点の組み合わせを抽出する。例えば、図10(a)〜図10(d)に示すように、図9に示した特徴点aを注目特徴点とした場合、周辺特徴点b,c,d,eのうちの3点の組み合わせ、すなわち、周辺特徴点b,c,d、周辺特徴点b,c,e、周辺特徴点b,d,e、周辺特徴点c,d,eの各組み合わせが抽出される。
【0100】
次に、不変量算出部32bは、抽出した各組み合わせについて、幾何学的変形に対する不変量(特徴量の1つ)Hijを算出する。
【0101】
ここで、iは注目特徴点を示す数(iは1以上の整数)であり、jは周辺特徴点3点の組み合わせを示す数(jは1以上の整数)である。本実施形態では、周辺特徴点同士を結ぶ線分の長さのうちの2つの比を不変量Hijとする。
【0102】
上記線分の長さは、各周辺特徴点の座標値に基づいて算出できる。例えば、図10(a)の例では、特徴点bと特徴点cとを結ぶ線分の長さをA11、特徴点bと特徴点dとを結ぶ線分の長さをB11とすると、不変量H11はH11=A11/B11である。
【0103】
また、図10(b)の例では、特徴点bと特徴点cとを結ぶ線分の長さをA12、特徴点bと特徴点eとを結ぶ線分の長さをB12とすると、不変量H12はH12=A12/B12である。また、図10(c)の例では、特徴点bと特徴点dとを結ぶ線分の長さをA13、特徴点bと特徴点eとを結ぶ線分の長さをB13とすると、不変量H13はH13=A13/B13である。また、図10(d)に示した例では、特徴点cと特徴点dとを結ぶ線分の長さをA14、特徴点cと特徴点eとを結ぶ線分の長さをB14とすると、不変量H14はH14=A14/B14である。このようにして、図10(a)〜図10(d)の例では、不変量H11,H12,H13,H14が算出される。
【0104】
なお、上記の例では、注目特徴点に最も近い周辺特徴点と2番目に近い周辺特徴点とを結ぶ線分をAij、注目特徴点に最も近い周辺特徴点と3番目に近い周辺特徴点とを結ぶ線分をBijとしたが、これに限らず、不変量Hijの算出に用いる線分は任意の方法で選定すればよい。
【0105】
次に、ハッシュ値算出部32cは、次式
Hi=(Hi1×103+Hi2×102+Hi3×101+Hi4×100)/D
における余りの値をハッシュ値(特徴量の1つ)Hiとして算出し、メモリ8に記憶させる。なお、上記Dは余りが取り得る値の範囲をどの程度に設定するかに応じて予め設定される定数である。
【0106】
なお、不変量Hijの算出方法は特に限定されるものではなく、例えば、注目特徴点の近傍5点の複比、近傍n点(nはn≧5の整数)から抽出した5点の複比、近傍n点から抽出したm点(mはm<nかるm≧5の整数)の配置及びm点から抽出した5点の複比に基づいて算出される値などを注目特徴点についての上記不変量Hijとしてもよい。なお、複比とは、直線上の4点または平面上の5点から求められる値であり、幾何学的変換の一種である射影変形に対する不変量として知られている。
【0107】
また、ハッシュ値Hiの算出するための式についても上記式(2)に限るものではなく、他のハッシュ関数(例えば特許文献4に記載されているハッシュ関数のうちのいずれか)を用いてもよい。
【0108】
また、特徴量算出部32の各部は、1つの注目特徴点に対する周辺特徴点の抽出及びハッシュ値Hiの算出が終わると、注目特徴点を他の特徴点に変更して周辺特徴点の抽出及びハッシュ値の算出を行い、全ての特徴点についてのハッシュ値を算出する。
【0109】
図9の例では、特徴点aを注目特徴点とした場合の周辺特徴点及びハッシュ値の抽出が終わると、次に特徴点bを注目特徴点とした場合の周辺特徴点及びハッシュ値の抽出を行う。図9の例では、特徴点bを注目特徴点とした場合、特徴点a,c,e,fの4点が周辺特徴点として抽出される。
【0110】
そして、図11(a)〜図11(d)に示すように、これら周辺特徴点a,c,e,fの中から選択される3点の組み合わせ(周辺特徴点a,e,f、周辺特徴点a,e,c、周辺特徴点a,f,c、周辺特徴点e,f,c)を抽出し、各組み合わせについてハッシュ値Hiを算出し、メモリ8に記憶させる。そして、この処理を各特徴点について繰り返し、各特徴点を注目特徴点とした場合のハッシュ値をそれぞれ求めてメモリ8に記憶させる。
【0111】
なお、特徴量算出部32は、入力画像データを登録画像として登録する処理を行う登録モードでは、上記のように算出した入力画像データの各特徴点についてのハッシュ値(特徴量)を、図3に示す登録処理部36に送る。
【0112】
登録処理部36は、特徴量算出部32が算出した各特徴点についてのハッシュ値と、登録画像を識別するための登録画像を表す画像インデックスID(ID1,ID2…)を、メモリ8に設けられた図示しないハッシュテーブルに順次登録していく(図12(a)参照)。
【0113】
ここで、ハッシュ値がすでに登録されている場合は、当該ハッシュ値に対応付けて画像インデックスを登録する。画像インデックスは重複することなく順次番号が割り当てられる。
【0114】
なお、ハッシュテーブルに登録されている画像の数が所定値(例えば、登録可能な画像の数の80%)より多くなった場合、古い画像インデックスIDを検索して順次消去するようにしてもよい。また、消去された画像インデックスIDは、新たな入力画像データの画像インデックスIDとして再度使用できるようにしてもよい。
【0115】
また、算出されたハッシュ値が同値である場合、図12(b)の例に示すように、これらを1つにまとめてハッシュテーブルに登録してもよい。ここでは、H1=H5として、H1にまとめられている。
【0116】
さらに、登録処理部(両面原稿管理部)36は、登録原稿が両面原稿である場合、画像インデックスIDを登録すると同時に、画像インデックスIDが両面原稿のものであるかどうかを判定するための、原稿インデックスDocIDと面情報とを、画像インデックスIDに対応付けて、両面原稿管理テーブルに登録する(図14参照)。
【0117】
原稿インデックスDocIDは、登録原稿の表面及び裏面の各画像インデックスIDに対して同一の値が設定される。また、面情報は、登録原稿の表面には「1」、裏面には「2」が付けられる。例えば、図20に示した画像読取装置50において、読取部54で原稿の表面、イメージセンサ部54で原稿の裏面を読み取る設定の場合、読取部54が読み取った画像に対して「1」が付けられ、イメージセンサ部53が読み取った画像に対して「2」が付けられる。
【0118】
例えば、図13(a)に示すように、片面のみを登録する場合は、登録原稿1を片面原稿モードで読み込み、図14に示すように、画像インデックスID1について、面情報1と原稿インデックスDocID1とが、原稿管理テーブルに登録される。
【0119】
また、図13(b)に示すように、表面に画像インデックスID2をもち、裏面に画像インデックスID3をもつ、原稿インデックスDocID2で表される両面原稿の登録原稿2を両面原稿モードで読み込んだ場合であれば、図14に示すように、画像インデックスID2について、面情報1と原稿インデックスDocID2とが登録され、画像インデックスID3について、面情報2と原稿インデックスDocID2とが原稿管理テーブル登録される。
【0120】
同様に、図13(c)に示すように、表面に画像インデックスID4をもち、裏面に画像インデックスID5をもつ、原稿インデックスDocID3で表される両面原稿の登録原稿2を両面原稿モードで読み込んだ場合であれば、図14に示すように、画像インデックスID4について、面情報1と原稿インデックスDocID3とが登録され、画像インデックスID5について、面情報2と原稿インデックスDocID3とが登録される。
【0121】
投票処理/候補リスト作成部33は、照合原稿の入力画像データから算出した各特徴点のハッシュ値をハッシュテーブルに登録されているハッシュ値と比較し、同じハッシュ値を有する登録画像に投票する(図15参照)。図15は、画像インデックスID1,ID2,ID3、…、IDXで表される各登録画像に対する得票数の一例を示すグラフである。
【0122】
例えば、前出の図12(a)に示すハッシュテーブルの内容において、照合画像よりハッシュ値H1が算出されると、画像インデックスID1で表される登録画像に1票を投じ、照合画像よりハッシュ値H3が算出されると、画像インデックスID1と画像インデックスID2で表される各登録画像に1票づつ投じる。
【0123】
また、図12(b)に示す例では、H1=H5であり、これらをH1の1つにまとめてハッシュテーブルに登録されているので、照合画像よりハッシュ値H1が算出されると、画像インデックスID1で表される登録画像に2票を投じる。
【0124】
そして、本実施形態では、投票処理/候補リスト作成部33は、照合原稿が両面原稿である場合には、投票が終了した時点で、候補リスト(図16(a)(b)参照)を作成する。
【0125】
ここで、投票処理/候補リスト作成部33は、例えば、操作パネル6を用いて、両面原稿モードが選択された場合に、照合原稿が両面原稿あると判断する。両面原稿モードには、例えば、両面原稿を片面ずつ出力する、あるいは、両面原稿をそのまま両面印刷して出力するなどのモードがある。
【0126】
候補リストとして、表面用と裏面用との2つが作成される。図16(a)は、表面候補リストの内容を示している。裏面候補リストも同様であるが、最大得票数を得た画像インデックスIDを第1候補とし、これに次ぐ第2位以下の画像インデックスIDを第2以降の候補として、それぞれの画像インデックスID、原稿インデックスDocID、面情報、及び得票数が格納される。
【0127】
例えば、図16(a)の例では、最大得票数を得た第1候補は、画像インデックスID4で表される登録画像であり、その登録画像は、原稿インデックスDocID3にて表される原稿の表面にあり、得票数はN1である。第2候補は、画像インデックスID10で表される登録画像であり、その登録画像は、原稿インデックスDocID7にて表される原稿の裏面にあり、得票数はN2である。
【0128】
また、図16(a)の例では、第1〜第3候補までが選出されている。選出される候補数は、投票結果によって決まるものである。第2位以降の候補としては、図15に示すように、最大得票数を得た第1候補(図15の例では画像インデックスID3)との得票数の差が、予め定められた範囲HQ内にあるもののみを選出する。
【0129】
本実施形態では、照合画像に対応する登録画像が候補リストから漏れないように、最大得票数との投票数差が、80%以内のものを、得票数差が小さい物から順に、第2候補、第3候補…としている。
【0130】
図16(b)は、図16(a)に示す表面候補リストと対に作成された裏面候補リストの内容を示している。図16(b)に示す裏面候補リストの例では、最大得票数を得た第1候補は、画像インデックスID5で表される登録画像であり、その登録画像は、原稿インデックスDocID3にて表される原稿の裏面にあり、得票数はn1である。そして、図16(b)の例では、最大得票数を得た第1候補との得票数の差が予め定められた範囲内にあるものが存在せず、第2候補が存在しない。
【0131】
表面候補リスト及び裏面候補リストにおいて、第1候補を含め、候補が存在しない場合には、候補が存在しないことを表す、画像インデックスID0、原稿インデックスDocID0を、面情報を格納する。なお、面情報については、表面候補リストには表面を表す「1」が、裏面候補リストには裏面を表す「2」が格納される。
【0132】
類似度判定処理部(判定処理部)34は、メモリ8より、投票処理結果である各登録画像の画像インデックスID及び各登録画像に対する投票数を読み出し、最大得票数を得た登録画像の画像インデックスIDと、その得票数である最大得票数を抽出する。
【0133】
そして、抽出された最大得票数を類似の度合いを示す類似度として扱い、予め定められている閾値THと比較して類似性(入力画像データが登録画像の画像データであるかどうか)を判定する。つまり、最大得票数が予め定められた閾値TH以上である場合には「類似性あり」と判定し、閾値未満である場合には「類似性なし」と判定する。
【0134】
この判定結果を示す判定信号は制御部7に送られ、制御部7は、類似性ありの場合は、当該入力原稿の画像データに対する出力処理(カラー複写機では画像形成処理)を禁止したり、画質を低下させたりといった、出力処理を規制するための制御信号を出力する。
【0135】
また、類似度判定処理部34が、各登録画像に対する得票数を投票総数(入力画像データから抽出された特徴点の総数)で除算して正規化することで類似度を算出し、この類似度と予め定められている閾値TH(例えば投票総数の80%)との比較を行うことによって類似性を判定してもよい。
【0136】
つまり、算出した類似度が閾値TH以上である場合には「類似性あり」と判定し、閾値TH未満である場合には「類似性なし」と判定すればよい。なお、この場合、入力画像データから抽出されるハッシュ値の総数は上記最大登録数よりも大きくなる場合があるため(特に照合原稿及び/または登録原稿の画像の少なくとも一部に手書き部分がある場合など)、類似度の算出値は100%を超える場合も有り得る。
【0137】
また、類似性を判定する際の閾値THは、各登録原稿について一定に設定されていても、或いは、各登録画像の重要度等に応じて登録画像毎に設定されていてもよい。登録画像の重要度は、例えば、紙幣、有価証券、極秘書類、社外秘の書類等については重要度を最大にし、秘密書類については重要度を紙幣等よりも低くするといったように、登録画像に応じて段階的に設定してもよい。
【0138】
この場合、メモリ8に、登録画像の重要度に応じた重み付け係数を当該登録画像の画像インデックスIDと関連付けて記憶させておき、類似度判定処理部34が、最大得票数を得た登録画像に対応する閾値THを用いて類似性を判定するようにすればよい。
【0139】
また、類似性を判定する際、閾値THは一定にする一方、各登録画像に対する得票数(各登録画像の得票数)に各登録画像の重み係数を掛けて類似性を判定するようにしてもよい。
【0140】
この場合、メモリ8に、各登録画像の重要度に応じた重み付け係数を各登録画像の画像インデックスIDと関連付けて記憶させておき、類似度判定処理部34が、各登録画像の得票数に当該登録画像の重み付け係数を掛けた補正得票数を算出し、この補正得票数に基づいて類似性を判定するようにすればよい。
【0141】
例えば、最大補正得票数と閾値THとを比較してもよく、最大補正得票数を投票総数で正規化したものを閾値THと比較してもよく、最大補正得票数を最大登録数で正規化したものを閾値THと比較してもよい。また、この場合、重み係数は、例えば、1より大きい値であって、かつ登録画像の重要度が高くなるにつれて大きい値になるように設定すればよい。
【0142】
また、本実施形態では、1つの特徴点(注目特徴点)に対して1つのハッシュ値を算出するものとしているが、これに限らず、1つの特徴点(注目特徴点)に対して複数のハッシュ値を算出するようにしてもよい。例えば、注目特徴点の周辺特徴点として6点を抽出し、この6点から5点を抽出した6通りの組み合わせそれぞれについて、5点から3点を抽出して不変量を求めてハッシュ値を算出する方法を用いてもよい。この場合には、1つの特徴点に対して6個のハッシュ値が算出されることになる。
【0143】
照合結果補正処理部35は、照合原稿が両面原稿である場合、投票処理/候補リスト作成部33にて作成された、表面候補リスト及び裏面候補リストを参照して、類似度判定処理部34の照合結果(判定結果)を補正するものである。
【0144】
照合結果補正処理部35は、それぞれのリストにある第1候補の原稿インデックスDocIDが同一であるかどうかを判断し、同一であれば、類似度判定処理部34の判定結果は正しいとして補正処理は行わない。つまり、それぞれのリストにある第1候補の原稿インデックスDocIDが同一である場合は、照合原稿の表面及び裏面の原稿画像は、それぞれの候補リストにおける第1候補の登録画像に類似すると判定する。
【0145】
一方、各第1候補の原稿インデックスDocIDが同一でない場合は、照合結果補正処理部35は、表面及び裏面の各候補リストを参照して、類似度判定処理部34の判定結果は誤りである可能性があるとして、照合結果の補正処理を試みる。
【0146】
補正処理においては、表面及び裏面の各候補リストそれぞれの第1候補の登録画像のうち、類似性のより高い方の登録画像を候補原稿とし、該候補原稿と同じ原稿インデックスDocIDをもつ登録画像が、類似性の低い方の第1候補を含む候補リストに含まれるか否かを判断し、含まれている場合は、照合結果における類似性の低い方の第1候補の登録画像の画像インデックスIDを、当該候補原稿と同じ原稿インデックスDocIDをもつ登録画像の画像インデックスIDへと補正する。つまり、表面及び裏面の各候補リストに同じ原稿インデックスDocIDを有する登録画像が含まれている場合は、たとえ一方が第1候補でなく、第1候補よりも順位の低い候補であったとしても、同一の登録原稿に含まれるという属性が優先され、照合原稿の表面及び裏面の原稿画像は、これら同じ原稿インデックスDocIDを有する各候補リストの各登録画像に類似すると判定する。
【0147】
ここで、照合原稿が両面原稿であった場合の、投票処理/候補リスト作成部33、類似度判定処理部34、及び照合結果補正処理部35による各処理を、図1に示すフロー図を参照しながら説明する。
【0148】
読み取る原稿が両面原稿である場合、操作パネル6より両面原稿モードが選択されるため、制御部7は、このモード選択にて、照合原稿が両面原稿であると判断し、投票処理/候補リスト作成部33にて、候補リストを作成させ、照合結果補正処理部35に、類似度判定処理の結果によっては、照合結果補正処理を行わせる。
【0149】
まず、投票処理/候補リスト作成部33は、読み取られた両面原稿の表面の画像データに対して、投票処理(文書照合処理)を行い(S1)、投票結果に基づいて表面候補リストを作成する(S2)。また、このとき、類似度判定処理部34は、表面候補リストにおける第1候補が、照合原稿の表面の原稿画像に類似すると判定する。
【0150】
続いて、投票処理/候補リスト作成部33は、読み取られた両面原稿の裏面の画像データに対して、投票処理(文書照合処理)を行い(S3)、投票結果に基づいて裏面候補リストを作成する(S4)。同様に、このとき、類似度判定処理部34は、裏面候補リストにおける第1候補が、照合原稿の裏面の原稿画像に類似すると判定する。
【0151】
次に、照合結果補正処理部35は、表面候補リスト及び裏面候補リストを参照して、各候補リストにおいて、最上位の第1候補の原稿インデックスDocIDが同一であり、かつ、面情報が互いに異なるか否かを判断する(S5)。
【0152】
例えば、S2,S4で作成された表面及び裏面の各候補リストが、図16(a)(b)に例示するような内容であった場合は、表面候補リストの第1候補と、裏面候補リストの第1候補とは、何れも原稿インデックスDocID3で一致し、面情報も互いに異なるので、S5ではイエスと判断し、照合結果を補正するS6〜S8をスキップして、S9に移行して、各面に対する判定信号を出力する。
【0153】
図17に、表面及び裏面の各候補リストが図16(a)(b)に例示するような内容であった場合の照合結果を図17に示す。照合原稿の表面の原稿画像は、画像インデックスID4で表される登録画像に類似し、照合原稿の裏面の原稿画像は、画像インデックスID5で表される登録画像に類似するとなっており、補正する必要がない。
【0154】
一方、例えば、S2,S4で作成された表面及び裏面の各候補リストが、図18(a)(b)に例示するような内容であった場合は、表面候補リストの第1候補の原稿インデックスDocIDと、裏面候補リストの第1候補のDocIDとが一致しないため、S5ではノーと判断し、S6において、照合結果補正処理が行われる。
【0155】
照合結果補正処理では、まず、表面候補リスト及び裏面候補リストを参照し、何れか類似度の高い方の候補の原稿インデックスDocIDを、候補原稿のインデックスDocIDとして設定する(S6)。
【0156】
S6において、候補原稿が設定されると、続いて、類似度が低いと判定されたもう一方の候補リストに、設定した候補原稿の原稿インデックスDocIDを有し、かつ、面情報が互いに異なるものがあるか否かを判断する(S7)。そして、S7にてイエスと判断した場合は、S8に移行して照合結果を補正する。
【0157】
例えば、表面及び裏面の各候補リストが図18(a)(b)に例示するような内容であった場合は、表面候補リストの第1候補の得票数N1と表面に対する照合処理における総投票数の比率(得票率)と、裏面候補リストの第1候補の得票数n1と裏面に対する照合処理における総投票数の比率(得票率)とをそれぞれ類似度として算出して、高いほうが選出される。
【0158】
ここで、例えば、図18(a)に示す表面候補リストの第1候補の方が、裏面候補リストの第1候補よりも類似度が高いと判定されたとすると、S6においては、候補原稿として、原稿インデックスDocID10が設定される。そして、S7においては、図18(b)に示す裏面候補リストに、原稿インデックスDocID10を有する候補が含まれているか否かが検索され、この場合であれば、原稿インデックスDocID10が含まれ、かつ、面情報も異なるので、原稿インデックスDocID10の情報を用いて、照合結果が補正される。
【0159】
図19に、表面及び裏面の各候補リストが図18(a)(b)に例示するような内容であった場合の当初の照合結果、及び補正照合結果を示す。補正前の照合結果は、類似度判定処理部34による判定結果に基づいているので、照合原稿の表面の原稿画像は、表面候補リストの第1候補である画像インデックスID15の登録画像に類似し、照合原稿の裏面の原稿画像は、裏面候補リストの第1候補である画像インデックスID21の登録画像に類似する、となっている。
【0160】
補正により、照合原稿の表面の原稿画像は、画像インデックスID15の登録画像に類似し、照合原稿の裏面の原稿画像は、画像インデックスID14の登録画像に類似する、となる。画像インデックスID14,15は何れも、同一の原稿インデックスDocID10で表される登録原稿の表裏の登録画像である。
【0161】
なお、図1のフローチャートにおけるS7にて、ノーと判断した場合は、S9に移行して、照合結果の補正を行うことなく各面に対する判定信号を出力する。
【0162】
以上のように、本実施形態のデジタルカラー複写機1においては、登録処理部36は、登録原稿が両面原稿である場合、その表面及び裏面の各原稿画像を識別するための画像インデックスIDに対応付けて、当該登録画像を含む両面原稿を識別するための原稿インデックスDocIDを記憶部に格納する。これにより、両面原稿の表面及び裏面にある各原稿画像は、どの両面原稿に含まれるものであるかを一意に特定可能となる。
【0163】
ただし、このような登録処理部36は必須ではなく、登録処理部36を、画像データ出力処理装置であるデジタルカラー複写機1から切り離し、複写機1外部で登録処理された記録媒体を、デジタルカラー複写機1に搭載してアクセスする形態や、ネットワーク等の通信手段を介して記録媒体にアクセスする形態等としてもよい。
【0164】
照合に際しては、投票処理/候補リスト作成部33が、照合原稿が両面原稿である場合、当該両面原稿の表面の原稿画像及び裏面の原稿画像毎に、両面原稿管理テーブルより予め定める基準以上の類似性を有する登録画像の画像インデックスと、これに関連する原稿インデックスを抽出して表面及び裏面の各候補リストを作成する。
【0165】
そして、類似度判定処理部34及び照合結果補正処理部35が、作成された表面候補リスト及び裏面候補リストを参照し、両方の候補リストに同じ登録インデックスを有する登録画像が含まれている場合、これら同じ原稿インデックスを有する各候補リストの各登録画像と、照合モード時に入力された両面原稿の各画像とが類似すると判定する。
【0166】
これにより、登録原稿が両面原稿である場合、両面原稿である属性が登録原稿の類似性を判定する際の要素の1つに含められ、照合原稿が両面原稿である場合は、照合原稿の両面原稿である属性を含めて、登録画像を判定することが可能となる。
【0167】
その結果、照合原稿が両面原稿であり、かつ、登録原稿に類似(一致)する場合に、照合原稿の一方の面の画像のみが登録原稿の一方の面の画像に類似すると判定され、照合原稿のもう一方の面の画像は、登録原稿のもう一方の面の画像とは異なるといった、誤った判定を避けて、照合原稿が両面原稿である場合の判定精度を向上させることができる。
【0168】
さらに、本実施形態では、類似度判定処理部34が、入力画像データの画像が登録画像に類似するか否かを判定し、類似する場合は、類似性の最も高い登録画像が入力画像データの画像であると判定し、照合結果補正処理部35が、表面候補リスト及び裏面候補リストそれぞれの類似性の最も高い第1候補の登録画像が、互いに同じ登録原稿を表す原稿インデックスを有するか否かを判断し、同じ原稿インデックス有する場合は、類似度判定処理部34の判定結果を補正せず、同じ原稿インデックスを有さない場合は、表面候補リスト及び裏面候補リストそれぞれの第1候補の登録画像の類似性を比較し、類似性のより高い方に関連する登録原稿を候補原稿とし、該候補原稿と同じ原稿インデックスをもつ登録画像が、類似性の低い方の候補リストに含まれるか否かを判断し、含まれている場合は、類似度判定処理部34による類似性の低い方の判定結果を、上記候補原稿と同じ登録原稿の原稿インデックスをもつ登録画像へと補正するようになっている。
【0169】
つまり、照合結果補正処理部35が、表面候補リスト及び裏面候補リストの第1候補が異なる登録原稿の指標を有する場合、つまり、同一原稿の表裏にある登録画像の関係に無い場合は、同一原稿の表裏にある登録画像の関係を満足する組み合わせへと、類似度判定処理部34の判定結果を補正する。
【0170】
したがって、表面候補リスト及び裏面候補リストに多くの候補の画像がリストアップされたとしても、少ない処理にて確実に、類似の度合いの高い順に、同一の登録原稿がもつ登録画像に類似すると判定することが可能となる。
【0171】
さらに、本実施形態では、画像インデックスに対応付けて、当該登録画像が登録原稿の表面或いは裏面の何れにあるかを表す面情報を両面原稿管理テーブルに格納するようになっており、上記投票処理/候補リスト作成部33は、上記面情報を含めて候補リストを作成し、照合結果補正処理部35は、表面候補リスト及び裏面候補リストに同じ登録原稿の指標を有すると共に、かつ、面情報が互いに異なる登録画像が含まれている場合、これら同じ登録原稿の指標を有する各登録画像と、照合モード時に入力された両面原稿の各画像とが類似すると判定するようになっている。
【0172】
このように、面情報を判定基準に含めることで、例えば、照合原稿の表面及び裏面の画像が類似していて、表面候補リスト及び裏面候補リストに、全く同じ登録画像がリストアップされるといった、登録原稿の指標のみでは判断できない事態が生じても、面情報を用いることで、このような事態を見分けて、より一層精度の高い判定が可能となる。
【0173】
さらに、ここで、図21にフロー図を用いて、本実施形態のデジタルカラー複写機における、類似判定処理後の出力処理を規制する手順を説明する。
【0174】
制御部7は、S31の類似判定処理において、照合原稿の表裏2面ともが、登録画像に類似しないと判定された場合は、S35に進み、制御部7は、判定信号「0」として、出力処理をそのまま許可する制御信号を出力する。
【0175】
一方、S31にて、類似すると判定されると、強制モードが設定されているか否かを判定する(S32)。ここで、強制モードが設定されている場合は、照合原稿の表裏2面の原稿画像に対して、類似すると判定された登録画像に設定されている制限を適用し、かつ、それぞれの制限が異なる場合は、最も優先度の高い規制にて出力処理を規制する制御信号を出力させる(S33)。
【0176】
一方、強制モードが設定されていない場合は、S34に進み、照合原稿に含まれる表裏2面の各原稿画像のうち、登録画像に類似すると判定された面の原稿画像に対してのみ、出力処理を規制する制御信号を出力させる。
【0177】
また、本実施形態では、本発明をデジタルカラー複写機1に適用する場合について説明したが、本発明の適用対象はこれに限るものではなく、例えば、図22に示すように、デジタルカラー複合機(MFP:Multi-Function Printer)100に適用してもよい。このデジタルカラー複合機100は、コピー機能、プリンタ機能、ファクシミリ機能、スキャナ機能、scan to e-mail機能等を有している。
【0178】
なお、図22においては、デジタルカラー複写機1において説明したものと同等の機能を有する部材には、同じ記号を付しており、それらの説明については省略する。
【0179】
ここで、送信装置5は、例えばモデムやネットワークカードより構成される。送信装置5は、ネットワークカード、LANケーブル等を介して、ネットワークに接続された他の装置(例えば、パーソナルコンピュータ、サーバー装置、他のデジタル複合機、ファクシミリ装置等)とデータ通信を行う。
【0180】
送信装置5は、画像データを送信する場合、相手先との送信手続きを行って送信可能な状態が確保されると、所定の形式で圧縮された画像データ(スキャナで読み込まれた画像データ)をメモリから読み出し、圧縮形式の変更など必要な処理を施して、通信回線を介して相手先に順次送信する。
【0181】
また、送信装置5は、画像データを受信する場合、通信手続きを行うとともに、相手先から送信されてくる画像データを受信してカラー画像処理装置3に入力する。受信した画像データは、カラー画像処理装置3で伸張処理、回転処理、解像度変換処理、出力階調補正、階調再現処理などの所定の処理が施され、カラー画像出力装置4によって出力される。なお、受信した画像データを記憶装置(図示せず)に保存し、カラー画像処理装置3が必要に応じて読み出して上記所定の処理を施すようにしてもよい。
【0182】
また、複合機100では、操作パネル6を用いて、ユーザの入力画像データに対する処理要求(例えば処理モード(複写、印刷、送信、編集など)、処理枚数(複写枚数、印刷枚数)、入力画像データの送信先など)を入力することができ、文書照合処理部14に制御部7は、類似ありと判定された場合に、複写処理だけでなく、印刷、送信、編集などの出力処理について制御する。
【0183】
例えば、ファクシミリを送信するモードが選択され、文書照合処理部14において、出力禁止であると判定された場合、メモリに格納されている画像データの消去を行い、ファックスの送信を行わないようにする。あるいは、登録画像ではあっても、ファックス送信が許可されている場合(登録画像を表す画像インデックスIDと送信先を対応付けて、予め格納しておく)は、送信先のデータを参照して送信するようにしても良い。
【0184】
図23を用いて、上記したデジタルカラー複合機100におけるファックス処理について説明する。なお、図23では、処理がスルーとなる処理部を点線で表している。ここでは使用するが、ファックス処理においては、領域分離処理部17は必須ではない。また、ファックス送信の場合、階調再現処理部22の後、解像度変換部、圧縮/伸張処理部で処理が行われる。
【0185】
送信においては、カラー画像入力装置2より読み込まれた、例えば8ビットの入力画像データはカラー画像処理装置3において上記の各処理が施され、入力階調補正部15で、例えば、マトリクス演算等によりRGB信号を輝度信号(図23ではK信号)に変換する。輝度信号に変換された画像データは、領域分離処理部17、空間フィルタ処理部20で所定の処理がなされ、階調再現処理部22において、例えば、誤差拡散処理により2値化される。2値化された画像データは、必要に応じて回転処理がなされ、圧縮/伸張処理部にて、所定の形式で圧縮されて、不図示のメモリに格納される。
【0186】
送信装置(例えば、モデム)5にて相手先との送信手続きを行い送信可能な状態が確保されると、画像データは所定の形式で圧縮された状態で上記メモリから読み出され、圧縮形式の変更など必要な処理が施され、相手先に通信回線を介して順次送信される。
【0187】
一方、受信においては、相手先から通信回線を介して画像が送信されてくると、制御部は、通信手続きを行いながら相手先から送信されてくる画像を受信すると共に、所定の形式に圧縮された状態の受信画像データは、カラー画像処理装置3に入力される。
【0188】
カラー画像処理装置3に入力された受信画像データは、圧縮/伸張処理部での処理により伸張されページ画像として送信されてきた原稿画像が再現される。再現された原稿画像は、カラー画像出力装置の能力に応じて、回転処理がなされ解像度変換部にて解像度変換処理が行なわれる。ページ単位の画像として再現された画像データは、カラー画像出力装置より出力される、
なお、以上では、モノクロの画像データを処理する場合を例として示したが、例えば、領域分離処理部17と空間フィルタ処理部20との間に、カラー画像入力装置2より読み込まれたRGB信号に対し、色再現の忠実化実現のために不要吸収成分を含む、トナーやインクのCMY(C:シアン・M:マゼンタ・Y:イエロー)色材の分光特性に基づいた色濁りを取り除く処理を行う色補正部18、および、色補正後のCMYの3色信号から黒(K)信号を生成する黒生成、元のCMY信号から黒生成で得たK信号を差し引いて新たなCMY信号を生成する黒生成下色除去部を備えたカラー画像処理装置を用いても構わない。
【0189】
また、図22の構成では、類似性判定処理をデジタルカラー複合機100に備えられた文書照合処理部14において行っているが、これに限るものではない。例えば、制御部7及び文書照合処理部14が有する機能の一部または全部を、デジタルカラー複合機100に通信可能に接続された外部装置において実行するようにしてもよい。
【0190】
その他、本発明を、例えば、モノクロの複合機に適用してもよい。また、複合機に限らず、例えば単体のファクシミリ通信装置、複写機、画像読取装置などに適用してもよい。
【0191】
例えば、図24は、本発明をフラットベッドスキャナ101に適用した場合の構成例を示すブロック図である。
【0192】
この図に示すように、フラットベッドスキャナ101は、カラー画像入力装置2とカラー画像処理装置3’とを備えている。カラー画像処理装置3’は、A/D変換部11、シェーディング補正部12、文書照合処理部14、制御部7(図24では図示せず)、メモリ8(図24では図示せず)から構成されており、これに、カラー画像入力装置2が接続され、全体として画像データ出力処理装置を構成している。なお、カラー画像入力装置(画像読取手段)2におけるA/D変換部11、シェーディング補正部12、文書照合処理部14、制御部7、メモリ8の機能は、上述したデジタルカラー複写機1と略同様であるのでここでは説明を省略する。
【0193】
また、上記各実施形態において、デジタルカラー複写機1、複合機100、フラットベッドスキャナ101に備えられる文書照合処理部及び制御部を構成する各部(各ブロック)は、CPU等のプロセッサを用いてソフトウェアによって実現される。すなわち、デジタルカラー複写機1、複合機100、フラットベッドスキャナ101は、各機能を実現する制御プログラムの命令を実行するCPU(central processing unit)、上記プログラムを格納したROM(read only memory)、上記プログラムを展開するRAM(random access memory)、上記プログラム及び各種データを格納するメモリ等の記憶装置(記録媒体)などを備えている。そして、本発明の目的は、上述した機能を実現するソフトウェアであるデジタルカラー複写機1の制御プログラムのプログラムコード(実行形式プログラム、中間コードプログラム、ソースプログラム)をコンピュータで読み取り可能に記録した記録媒体を、デジタルカラー複写機1、複合機100、フラットベッドスキャナ101に供給し、そのコンピュータ(またはCPUやMPU)が記録媒体に記録されているプログラムコードを読み出し実行することによって達成される。
【0194】
上記記録媒体としては、例えば、磁気テープやカセットテープ等のテープ系、フロッピー(登録商標)ディスク/ハードディスク等の磁気ディスクやCD−ROM/MO/MD/DVD/CD−R等の光ディスクを含むディスク系、ICカード(メモリカードを含む)/光カード等のカード系、あるいはマスクROM/EPROM/EEPROM/フラッシュROM等の半導体メモリ系などを用いることができる。
【0195】
また、デジタルカラー複写機1、複合機100、フラットベッドスキャナ101を通信ネットワークと接続可能に構成し、通信ネットワークを介して上記プログラムコードを供給してもよい。この通信ネットワークとしては、特に限定されず、例えば、インターネット、イントラネット、エキストラネット、LAN、ISDN、VAN、CATV通信網、仮想専用網(virtual private network)、電話回線網、移動体通信網、衛星通信網等が利用可能である。また、通信ネットワークを構成する伝送媒体としては、特に限定されず、例えば、IEEE1394、USB、電力線搬送、ケーブルTV回線、電話線、ADSL回線等の有線でも、IrDAやリモコンのような赤外線、Bluetooth(登録商標)、802.11無線、HDR、携帯電話網、衛星回線、地上波デジタル網等の無線でも利用可能である。なお、本発明は、上記プログラムコードが電子的な伝送で具現化された、搬送波に埋め込まれたコンピュータデータ信号の形態でも実現され得る。
【0196】
また、デジタルカラー複写機1、複合機100、フラットベッドスキャナ101の各ブロックは、ソフトウェアを用いて実現されるものに限らず、ハードウェアロジックによって構成されるものであってもよく、処理の一部を行うハードウェアと当該ハードウェアの制御や残余の処理を行うソフトウェアを実行する演算手段とを組み合わせたものであってもよい。
【0197】
本発明のコンピュータシステムは、フラットベッドスキャナ・フィルムスキャナ・デジタルカメラなどの画像入力装置、所定のプログラムがロードされることにより上記類似度算出処理や類似性判定処理など様々な処理が行われるコンピュータ、コンピュータの処理結果を表示するCRTディスプレイ・液晶ディスプレイなどの画像表示装置、及びコンピュータの処理結果を紙などに出力するプリンタ等の画像形成訴追により構成されてもよい。さらには、ネットワークを介してサーバーなどに接続するための通信手段としてのネットワークカードやモデムなどが備えられていてもよい。
【0198】
本発明は上述した実施形態に限定されるものではなく、請求項に示した範囲で種々の変更が可能である。すなわち、請求項に示した範囲で適宜変更した技術的手段を組み合わせて得られる実施形態についても本発明の技術的範囲に含まれる。
【図面の簡単な説明】
【0199】
【図1】本発明の一実施形態にかかるデジタルカラー複写機をなす画像データ出力処理装置に備えられる文書照合処理部における、投票処理/候補リスト作成部、類似度判定処理部、及び照合結果補正処理部の各処理手順を示すフローチャートである。
【図2】本発明の一実施形態にかかるデジタルカラー複写機をなす画像データ出力処理装置の概略構成を示すブロック図である。
【図3】図2に示した画像データ出力処理装置に備えられる文書照合処理部の概略構成を示すブロック図である。
【図4】図2に示した画像データ出力処理装置に備えられる特徴点算出部の概略構成を示すブロック図である。
【図5】図2に示した画像データ出力処理装置に備えられる特徴量算出部の概略構成を示すブロック図である。
【図6】図2に示した画像データ出力処理装置のMTF処理部に備えられる混合フィルタのフィルタ係数の一例を示す説明図である。
【図7】図2に示した画像データ出力処理装置の特徴点算出部によって入力画像データから抽出される連結領域及びこの連結領域の重心の一例を示す説明図である。
【図8】図2に示した画像データ出力処理装置の特徴点算出部によって入力画像データに含まれる文字列から抽出された複数の連結領域の各重心(特徴点)の一例を示す説明図である。
【図9】図2に示した画像データ出力処理装置の特徴量算出部によって特徴量を算出する際に抽出される注目特徴点及び周辺特徴点の一例を示す説明図である。
【図10】(a)〜(c)は、図2に示した画像データ出力処理装置の特徴量算出部によって特徴量を算出する際に抽出される注目特徴点及び周辺特徴点の組み合わせの一例を示す説明図である。
【図11】(a)〜(c)は、図2に示した画像データ出力処理装置の特徴量算出部によって特徴量を算出する際に抽出される注目特徴点及び周辺特徴点の組み合わせの一例を示す説明図である。
【図12】(a)及び(b)は、図2に示した画像データ出力処理装置において、ハッシュテーブルに登録される各特徴点についてのハッシュ値及び入力画像データを表すインデックスの一例を示す説明図である。
【図13】(a)〜(c)共に、両面原稿モードで読み込まれた登録原稿の原稿インデックスDocIDと、含まれる面面及び裏面の各原稿画像の画像インデックスIDとの関係を示す説明図である。
【図14】図2に示した画像データ出力処理装置において、図13(a)〜図13(c)に示す登録原稿が読み取られて格納された両面原稿管理テーブルを示す説明図である。
【図15】図2に示した画像データ出力処理装置の投票処理部における、各登録画像に対する投票数の一例を示すグラフである。
【図16】(a)は、図2に示した画像データ出力処理装置の文書照合処理部に設けられた、投票処理/候補リスト作成部が作成した表面候補リストの一例を示す説明図であり、(b)は、(a)の表面候補リストと対をなす裏面候補リストの一例を示す説明図である。
【図17】図2に示した画像データ出力処理装置の文書照合処理部に設けられた、類似度判定処理部が判定した照合結果の一例を示す説明図であり、図16(a)(b)に示した表面及び裏面の各候補リストの例における照合結果を示している。
【図18】(a)は、図2に示した画像データ出力処理装置の文書照合処理部に設けられた、投票処理/候補リスト作成部が作成した表面候補リストの他の例を示す説明図であり、(b)は、(a)の表面候補リストと対をなす裏面候補リストの一例を示す説明図である。
【図19】図2に示した画像データ出力処理装置の文書照合処理部に設けられた、類似度判定処理部が判定した照合結果を照合結果補正部が補正する例を示す説明図であり、図18(a)(b)に示した表面及び裏面の各候補リストの例における照合結果を示している。
【図20】図2に示した画像データ出力処理装置に備えられるカラー画像入力装置に搭載された画像読取装置の構成を示す説明図である。
【図21】図2に示した画像データ出力処理装置に備えられる文書照合処理部における、出力処理規制処理の手順を示すフローチャートである。
【図22】本発明の他の実施形態にかかるデジタルカラー複合機をなす画像データ出力処理装置の概略構成を示すブロック図である。
【図23】図22に示した画像データ出力処理装置における、ファクス処理時の画像データの流れを示す説明図である。
【図24】本発明のその他の実施形態にかかる画像データ出力処理装置の概略構成を示すブロック図である。
【図25】従来の画像データ出力処理装置における問題点を示す説明図である。
【符号の説明】
【0200】
1 デジタルカラー複写機(画像データ出力処理装置)
100 デジタルカラー複合機(画像データ出力処理装置)
101 フラットベッドスキャナ(画像データ出力処理装置)
2 カラー画像入力装置(入力データ取得部、画像入力装置)
3,3’ カラー画像処理装置
4 カラー画像出力装置
5 送信装置
6 操作パネル
7 制御部
8 メモリ(記憶部)
14 文書照合処理部(画像照合部)
31 特徴点算出部
32 特徴量算出部
32a 特徴点抽出部
32b 不変量算出部
32c ハッシュ値算出部
33 投票処理/候補リスト作成部
34 類似度判定処理部(判定処理部)
35 照合結果補正処理部(判定処理部)
36 登録処理部
【特許請求の範囲】
【請求項1】
入力画像データに対して出力処理を施すものであり、入力画像データより画像の特徴量を抽出する一方、抽出した該特徴量と予め登録されている登録原稿の画像の特徴量とを比較して、上記入力画像データの画像と登録原稿の画像との類似性を判定する画像照合部と、上記画像照合部の判定結果に基づいて、上記入力画像データに対する出力処理を制御する出力処理制御部とを備えた画像データ出力処理装置において、
上記画像照合部は、両面原稿よりなる登録原稿の表面及び裏面の各画像の特徴量を格納すると共に、表面及び裏面の各画像を識別するための指標に対応付けて、当該登録画像を含む両面原稿を識別するための指標が格納されている記憶部に対して、入力画像データの画像を照合させるようになっており、
上記入力画像データが両面原稿のものである場合、当該両面原稿の表面の画像及び裏面の画像毎に、上記記憶部より予め定める基準以上の類似性を有する登録画像の指標と、これに関連する登録原稿の指標を抽出して、表面候補リスト及び裏面候補リストを作成する投票処理/候補リスト作成部と、
作成された表面候補リスト及び裏面候補リストを参照し、両方の候補リストに同じ登録原稿の指標を有する登録画像が含まれている場合は、同じ登録原稿の指標を有するこれら各登録画像と上記入力画像データの両面原稿の各画像とが類似すると判定する両面原稿判定処理部とを備えることを特徴とする画像データ出力処理装置。
【請求項2】
上記両面原稿判定処理部は、
上記入力画像データの画像が登録画像に類似するか否かを判定し、類似する場合は、類似性の最も高い登録画像が入力画像データの画像であると判定する類似度判定処理部と、
上記類似度判定処理部による判定結果を補正する判定結果補正処理部とを含み、
上記判定結果補正処理部は、表面候補リスト及び裏面候補リストそれぞれの類似性の最も高い第1候補の登録画像が、互いに同じ登録原稿の指標を有するか否かを判断し、
同じ登録原稿の指標を有する場合は、類似度判定処理部の判定結果を補正せず、
同じ登録原稿の指標を有さない場合は、表面候補リスト及び裏面候補リストそれぞれの第1候補の登録画像の類似性を比較し、類似性のより高い方に関連する登録原稿を候補原稿とし、該候補原稿と同じ登録原稿の指標をもつ登録画像が、類似性の低い方の候補リストに含まれるか否かを判断し、含まれている場合は、上記類似度判定処理部による類似性の低い方の判定結果を、上記候補原稿と同じ登録原稿の指標をもつ登録画像へと補正することを特徴とする請求項1に記載の画像データ出力処理装置。
【請求項3】
上記出力処理規制部は、入力された両面原稿の各画像の少なくとも一方が登録画像に類似する場合、登録画像に類似する画像の入力画像データの出力処理のみならず、当該両面原稿の表裏両面の画像の入力画像データの出力処理を規制する強制モードを有することを特徴とする請求項1又は2に記載の画像データ出力処理装置。
【請求項4】
出力処理の規制は登録画像毎に設定されており、
上記強制モードにおいては、最も優先度の高い規制が選択されることを特徴とする請求項3に記載の画像データ出力処理装置。
【請求項5】
上記出力処理が、上記入力画像データに基づいて記録材上に画像を形成する画像形成処理であり、
記録材上に画像データに基づいて画像を形成する画像形成手段を備えることを特徴とする請求項1〜4の何れか1項に記載の画像データ出力処理装置。
【請求項6】
上記出力処理が、上記入力画像データを記憶装置に格納するファイリング処理であり、
画像データを記憶装置に格納していくファイリング手段を備えることを特徴とする請求項1〜4の何れか1項に記載の画像データ出力処理装置。
【請求項7】
上記出力処理が、上記入力画像データをネットワークを介して受信装置に送信する送信処理であり、
画像データをネットワークを介して受信装置に送信する送信手段を備えることを特徴とする請求項1〜4の何れか1項に記載の画像データ出力処理装置
【請求項8】
入力画像データに対して出力処理を施す画像データ出力処理装置に備えられる制御装置であって、入力画像データより画像の特徴量を抽出する一方、抽出した該特徴量と予め登録されている登録原稿の画像の特徴量とを比較して、上記入力画像データの画像と登録原稿の画像との類似性を判定する画像照合部と、上記画像照合部の判定結果に基づいて、上記入力画像データに対する出力処理を規制する出力処理規制部とを備えた制御装置において、
上記画像照合部は、両面原稿よりなる登録原稿の表面及び裏面の各画像の特徴量を格納すると共に、表面及び裏面の各画像を識別するための指標に対応付けて、当該登録画像を含む両面原稿を識別するための指標が格納されている記憶部に対して、入力画像データの画像を照合させるようになっており、
上記入力画像データが両面原稿のものである場合、当該両面原稿の表面の画像及び裏面の画像毎に、上記記憶部より予め定める基準以上の類似性を有する登録画像の指標と、これに関連する登録原稿の指標を抽出して、表面候補リスト及び裏面候補リストを作成する投票処理/候補リスト作成部と、
作成された表面候補リスト及び裏面候補リストを参照し、両方の候補リストに同じ登録原稿の指標を有する登録画像が含まれている場合は、これら同じ登録原稿の指標を有する各登録画像と上記入力画像データの両面原稿の各画像とが類似すると判定する両面原稿判定処理部とを備えることを特徴とする画像データ出力処理装置の制御装置。
【請求項9】
入力画像データに対して出力処理を施すものであり、入力画像データより画像の特徴量を抽出する一方、抽出した該特徴量と予め登録されている登録原稿の画像の特徴量とを比較して、上記入力画像データの画像と登録原稿の画像との類似性を判定する画像照合工程と、上記画像照合工程の判定結果に基づいて、上記入力画像データに対する出力処理を規制する出力処理規制工程とを含む画像データ出力処理方法において、
上記画像照合工程は、両面原稿よりなる登録原稿の表面及び裏面の各画像の特徴量を格納すると共に、表面及び裏面の各画像を識別するための指標に対応付けて、当該登録画像を含む両面原稿を識別するための指標が格納されている記憶部に対して、入力画像データの画像を照合させるようになっており、
上記入力画像データが両面原稿のものである場合、当該両面原稿の表面の画像及び裏面の画像毎に、上記記憶部より予め定める基準以上の類似性を有する登録画像の指標と、これに関連する登録原稿の指標を抽出して、表面候補リスト及び裏面候補リストを作成する投票処理/候補リスト作成工程と、
作成された表面候補リスト及び裏面候補リストを参照し、両方の候補リストに同じ登録原稿の指標を有する登録画像が含まれている場合は、これら同じ登録原稿の指標を有する各登録画像と上記入力画像データの両面原稿の各画像とが類似すると判定する両面原稿判定処理工程とを含むことを特徴とする画像データ出力処理方法。
【請求項10】
請求項1〜7の何れか1項に記載の画像データ出力処理装置を動作させるプログラムであって、コンピュータを上記の各部として機能させるためのプログラム。
【請求項11】
請求項10に記載のプログラムを記録したコンピュータ読み取り可能な記録媒体。
【請求項1】
入力画像データに対して出力処理を施すものであり、入力画像データより画像の特徴量を抽出する一方、抽出した該特徴量と予め登録されている登録原稿の画像の特徴量とを比較して、上記入力画像データの画像と登録原稿の画像との類似性を判定する画像照合部と、上記画像照合部の判定結果に基づいて、上記入力画像データに対する出力処理を制御する出力処理制御部とを備えた画像データ出力処理装置において、
上記画像照合部は、両面原稿よりなる登録原稿の表面及び裏面の各画像の特徴量を格納すると共に、表面及び裏面の各画像を識別するための指標に対応付けて、当該登録画像を含む両面原稿を識別するための指標が格納されている記憶部に対して、入力画像データの画像を照合させるようになっており、
上記入力画像データが両面原稿のものである場合、当該両面原稿の表面の画像及び裏面の画像毎に、上記記憶部より予め定める基準以上の類似性を有する登録画像の指標と、これに関連する登録原稿の指標を抽出して、表面候補リスト及び裏面候補リストを作成する投票処理/候補リスト作成部と、
作成された表面候補リスト及び裏面候補リストを参照し、両方の候補リストに同じ登録原稿の指標を有する登録画像が含まれている場合は、同じ登録原稿の指標を有するこれら各登録画像と上記入力画像データの両面原稿の各画像とが類似すると判定する両面原稿判定処理部とを備えることを特徴とする画像データ出力処理装置。
【請求項2】
上記両面原稿判定処理部は、
上記入力画像データの画像が登録画像に類似するか否かを判定し、類似する場合は、類似性の最も高い登録画像が入力画像データの画像であると判定する類似度判定処理部と、
上記類似度判定処理部による判定結果を補正する判定結果補正処理部とを含み、
上記判定結果補正処理部は、表面候補リスト及び裏面候補リストそれぞれの類似性の最も高い第1候補の登録画像が、互いに同じ登録原稿の指標を有するか否かを判断し、
同じ登録原稿の指標を有する場合は、類似度判定処理部の判定結果を補正せず、
同じ登録原稿の指標を有さない場合は、表面候補リスト及び裏面候補リストそれぞれの第1候補の登録画像の類似性を比較し、類似性のより高い方に関連する登録原稿を候補原稿とし、該候補原稿と同じ登録原稿の指標をもつ登録画像が、類似性の低い方の候補リストに含まれるか否かを判断し、含まれている場合は、上記類似度判定処理部による類似性の低い方の判定結果を、上記候補原稿と同じ登録原稿の指標をもつ登録画像へと補正することを特徴とする請求項1に記載の画像データ出力処理装置。
【請求項3】
上記出力処理規制部は、入力された両面原稿の各画像の少なくとも一方が登録画像に類似する場合、登録画像に類似する画像の入力画像データの出力処理のみならず、当該両面原稿の表裏両面の画像の入力画像データの出力処理を規制する強制モードを有することを特徴とする請求項1又は2に記載の画像データ出力処理装置。
【請求項4】
出力処理の規制は登録画像毎に設定されており、
上記強制モードにおいては、最も優先度の高い規制が選択されることを特徴とする請求項3に記載の画像データ出力処理装置。
【請求項5】
上記出力処理が、上記入力画像データに基づいて記録材上に画像を形成する画像形成処理であり、
記録材上に画像データに基づいて画像を形成する画像形成手段を備えることを特徴とする請求項1〜4の何れか1項に記載の画像データ出力処理装置。
【請求項6】
上記出力処理が、上記入力画像データを記憶装置に格納するファイリング処理であり、
画像データを記憶装置に格納していくファイリング手段を備えることを特徴とする請求項1〜4の何れか1項に記載の画像データ出力処理装置。
【請求項7】
上記出力処理が、上記入力画像データをネットワークを介して受信装置に送信する送信処理であり、
画像データをネットワークを介して受信装置に送信する送信手段を備えることを特徴とする請求項1〜4の何れか1項に記載の画像データ出力処理装置
【請求項8】
入力画像データに対して出力処理を施す画像データ出力処理装置に備えられる制御装置であって、入力画像データより画像の特徴量を抽出する一方、抽出した該特徴量と予め登録されている登録原稿の画像の特徴量とを比較して、上記入力画像データの画像と登録原稿の画像との類似性を判定する画像照合部と、上記画像照合部の判定結果に基づいて、上記入力画像データに対する出力処理を規制する出力処理規制部とを備えた制御装置において、
上記画像照合部は、両面原稿よりなる登録原稿の表面及び裏面の各画像の特徴量を格納すると共に、表面及び裏面の各画像を識別するための指標に対応付けて、当該登録画像を含む両面原稿を識別するための指標が格納されている記憶部に対して、入力画像データの画像を照合させるようになっており、
上記入力画像データが両面原稿のものである場合、当該両面原稿の表面の画像及び裏面の画像毎に、上記記憶部より予め定める基準以上の類似性を有する登録画像の指標と、これに関連する登録原稿の指標を抽出して、表面候補リスト及び裏面候補リストを作成する投票処理/候補リスト作成部と、
作成された表面候補リスト及び裏面候補リストを参照し、両方の候補リストに同じ登録原稿の指標を有する登録画像が含まれている場合は、これら同じ登録原稿の指標を有する各登録画像と上記入力画像データの両面原稿の各画像とが類似すると判定する両面原稿判定処理部とを備えることを特徴とする画像データ出力処理装置の制御装置。
【請求項9】
入力画像データに対して出力処理を施すものであり、入力画像データより画像の特徴量を抽出する一方、抽出した該特徴量と予め登録されている登録原稿の画像の特徴量とを比較して、上記入力画像データの画像と登録原稿の画像との類似性を判定する画像照合工程と、上記画像照合工程の判定結果に基づいて、上記入力画像データに対する出力処理を規制する出力処理規制工程とを含む画像データ出力処理方法において、
上記画像照合工程は、両面原稿よりなる登録原稿の表面及び裏面の各画像の特徴量を格納すると共に、表面及び裏面の各画像を識別するための指標に対応付けて、当該登録画像を含む両面原稿を識別するための指標が格納されている記憶部に対して、入力画像データの画像を照合させるようになっており、
上記入力画像データが両面原稿のものである場合、当該両面原稿の表面の画像及び裏面の画像毎に、上記記憶部より予め定める基準以上の類似性を有する登録画像の指標と、これに関連する登録原稿の指標を抽出して、表面候補リスト及び裏面候補リストを作成する投票処理/候補リスト作成工程と、
作成された表面候補リスト及び裏面候補リストを参照し、両方の候補リストに同じ登録原稿の指標を有する登録画像が含まれている場合は、これら同じ登録原稿の指標を有する各登録画像と上記入力画像データの両面原稿の各画像とが類似すると判定する両面原稿判定処理工程とを含むことを特徴とする画像データ出力処理方法。
【請求項10】
請求項1〜7の何れか1項に記載の画像データ出力処理装置を動作させるプログラムであって、コンピュータを上記の各部として機能させるためのプログラム。
【請求項11】
請求項10に記載のプログラムを記録したコンピュータ読み取り可能な記録媒体。
【図1】
【図2】
【図3】
【図4】
【図5】
【図6】
【図7】
【図8】
【図9】
【図10】
【図11】
【図12】
【図13】
【図14】
【図15】
【図16】
【図17】
【図18】
【図19】
【図20】
【図21】
【図22】
【図23】
【図24】
【図25】
【図2】
【図3】
【図4】
【図5】
【図6】
【図7】
【図8】
【図9】
【図10】
【図11】
【図12】
【図13】
【図14】
【図15】
【図16】
【図17】
【図18】
【図19】
【図20】
【図21】
【図22】
【図23】
【図24】
【図25】
【公開番号】特開2009−81720(P2009−81720A)
【公開日】平成21年4月16日(2009.4.16)
【国際特許分類】
【出願番号】特願2007−250045(P2007−250045)
【出願日】平成19年9月26日(2007.9.26)
【出願人】(000005049)シャープ株式会社 (33,933)
【Fターム(参考)】
【公開日】平成21年4月16日(2009.4.16)
【国際特許分類】
【出願日】平成19年9月26日(2007.9.26)
【出願人】(000005049)シャープ株式会社 (33,933)
【Fターム(参考)】
[ Back to top ]