説明

画像処理装置、画像形成装置、画像送信装置、画像読取装置、画像処理システム、画像処理方法、画像処理プログラムおよびその記録媒体

【課題】誤判定によって本来は実行を許可されるべき入力画像データに対する画像処理を実行できなくなったり、誤判定によって本来は実行を禁止または制限すべき入力画像データの画像処理が実行されてしまったりする不具合が生じることを防止する。
【解決手段】登録処理部35は、画像処理の実行を許可する登録画像と、画像処理の実行を禁止または制限する登録画像とを識別するための識別情報を例外登録画像リスト103に記憶させる。制御部7は、投票処理部33の算出した類似度の最大値が閾値以上である場合、類似度が最大値である登録画像が画像処理の実行を許可する登録画像であるか、あるいは画像処理の実行を禁止または制限する例外登録画像であるかを判断し、この判断結果に応じて入力画像データに対する画像処理の実行の禁止または制限の要否を決定する。

【発明の詳細な説明】
【技術分野】
【0001】
本発明は、入力画像データと予め登録された登録画像データとの類似度を判定し、判定結果に応じた制御を行う画像処理装置、画像形成装置、画像送信装置、画像読取装置、画像処理システム、画像処理方法、画像処理プログラムおよびその記録媒体に関するものである。
【背景技術】
【0002】
従来より、スキャナで原稿画像を読み取って得られた入力画像データと事前に登録されている登録画像とを比較して両者の類似度を判定し、判定結果に基づいて入力画像データに対する処理(例えば複写、送信、編集等)を制御する技術が用いられている。
【0003】
類似度の判定方法としては、例えば、OCR(Optical Character Reader)などで画像からキーワードを抽出してキーワードによるマッチングを行う方法や、対象画像を罫線のある帳票画像に限定し、罫線の特徴によるマッチングを行う方法(特許文献1参照)、入力画像データおよび登録画像の色味分布に基づいて判定する方法(特許文献2参照)などが知られている。また、特許文献3には、入力文書の特徴から文書のデジタル化により生じる歪みや入力文書と文書データベース中の整合する文書との間の差異に対し不変となるように選ばれるデスクリプタを生成し、このデスクリプタと、デスクリプタを記録しデスクリプタが抽出される特徴を含む文書のリストを指し示すデスクリプタデータベースとを用いて、入力文書と文書データベース中の文書とのマッチングを行う技術が開示されている。この技術では、デスクリプタデータベースがスキャンされるときに、文書データベース中の各文書に対する投票結果を集計し、最高得票数の1文書または得票数がある閾値を超えた文書を整合文書とするようになっている。
【0004】
また、特許文献4には、デジタル画像から複数の特徴点を抽出し、抽出した各特徴点に対して局所的な特徴点の集合を決定し、決定した各集合から特徴点の部分集合を選択し、選択した各部分集合を特徴付ける量として、部分集合中の特徴点の複数の組み合わせに基づいて、幾何学的変換に対する不変量をそれぞれ求め、求めた各不変量を組み合わせて特徴量を計算し、計算した特徴量に基づいてデータベース中の文書・画像に投票することにより、上記デジタル画像に対応する文書・画像を検索する技術が開示されている。
【0005】
また、類似度の判定結果に応じて入力画像データに対する処理を制御する技術として、例えば、カラー画像形成装置による紙幣や有価証券の偽造に対処するため、入力画像データから検出したパターンに基づいて入力画像データが紙幣や有価証券等(登録画像)の画像データであるかどうかを判断し、登録画像の画像データである場合には、出力された画像から複写を行った画像形成装置を特定できるように出力される画像に特定のパターンを付加したり、複写画像を塗りつぶしたり、複写動作を禁止したりする技術が知られている。
【特許文献1】特開平8−255236号公報(1996年10月1日公開)
【特許文献2】特開平5−110815号公報(1993年4月30日公開)
【特許文献3】特開平7−282088号公報(1995年10月27日公開)
【特許文献4】国際公開第2006/092957号パンフレット(2006年9月8日公開)
【発明の開示】
【発明が解決しようとする課題】
【0006】
ところで、入力画像データが登録画像の画像データであるか否かを判定する画像処理装置では、画像の読み取り精度等の制限から、読み取り時の条件によって誤判定が起こりうる。
【0007】
このため、上記従来の技術では、入力画像データが登録画像の画像データであると判定された場合には、特定のパターンを付加したり、複写画像を塗りつぶしたりして処理内容を制限したり、複写動作を禁止したりする処理が行われる。このため、本来は登録画像の画像データではないにもかかわらず、登録画像の画像データであると誤判定された入力画像データに対して、ユーザの所望する処理を実行することができなくなる。
【0008】
また、上記従来の技術とは逆に、登録画像の画像データであると判定した場合には画像処理(例えば、複写、印刷、電子配信、ファクシミリ送信、ファイリング、画像データの補正・編集等)の実行を許可し、登録画像の画像データではないと判定した場合に画像処理の実行を禁止または制限する構成が考えられるが、この構成では、入力画像データが登録画像の画像データであると誤判定された場合、本来は画像処理の実行を禁止または制限すべきであるにもかかわらず画像処理の実行が許可されてしまう。したがって、例えば機密情報の漏洩等のセキュリティ上の問題が生じるおそれがある。
【0009】
本発明は、上記の問題点に鑑みてなされたものであり、その目的は、入力画像データと登録画像との類似性(類似あり/類似なし)を判定し、判定結果に応じて入力画像データに対する画像処理の実行の禁止または制限の要否を決定する画像処理装置において、誤判定によって本来は実行を許可されるべき入力画像データに対する画像処理を実行できなくなったり、誤判定によって本来は実行を禁止または制限すべき入力画像データの画像処理が実行されてしまったりする不具合を防止することにある。
【課題を解決するための手段】
【0010】
本発明の画像処理装置は、上記の課題を解決するために、入力画像データを取得する入力データ取得部と、上記入力画像データの特徴量を抽出する特徴量抽出部と、登録画像の特徴量を記憶した記憶部および通信可能に接続された外部装置から登録画像の特徴量を取得する登録画像取得部のうちの少なくとも一方と、入力画像データの特徴量と登録画像の特徴量とを比較して両画像の類似度を算出する類似度算出部と、上記類似度が予め定められた閾値以上であるか否かに応じて上記入力画像データに対する画像処理の実行の禁止または制限の要否を決定する制御部とを備えた画像処理装置であって、上記登録画像には、画像処理の実行を許可する登録画像である許可登録画像と、画像処理の実行を禁止または制限する登録画像である制限登録画像とがあり、上記許可登録画像と上記制限登録画像とを識別するための識別情報を上記記憶部または上記外部装置から取得する識別情報取得部を備え、上記制御部は、上記類似度算出部の算出した類似度の最大値が上記閾値以上である場合、類似度が最大値である登録画像が許可登録画像である場合には上記入力画像データに対する画像処理の実行を許可し、類似度が最大値である登録画像が制限登録画像である場合には上記入力画像データに対する画像処理の実行を禁止または制限することを特徴としている。
【0011】
なお、上記画像処理は、画像の変形,変換,符号化等の狭義の画像処理に限るものではなく、例えば、複写、印刷、電子配信、ファクシミリ送信、ファイリング、画像データの補正・編集・変換・符号化など、画像データに対するあらゆる処理を含む。また、上記入力データ取得部は、例えばスキャナによって原稿を読み取ることで入力画像データを取得するものであってもよく、電子データのフォーマットにソフトウェアを用いて必要事項を
入力することで作成される入力画像データを取得するものであってもよく、電子データとして直接作成された入力画像データを取得するものであってもよく、画像処理装置に対して通信可能に接続された装置から送信された入力画像データを取得するものであってもよい。
【0012】
上記の構成によれば、特徴量抽出部が入力データ取得部の取得した入力画像データの特徴量を抽出する。そして、類似度算出部は、特徴量抽出部が抽出した入力画像データの特徴量と、記憶部に記憶されている登録画像の特徴量または登録画像取得部が通信可能に接続された外部装置から取得した登録画像の特徴量とを比較して両画像の類似度を算出する。なお、上記登録画像には、画像処理の実行を許可する登録画像である許可登録画像と、画像処理の実行を禁止または制限する登録画像である制限登録画像とが含まれている。そして、識別情報取得部が、許可登録画像と制限登録画像とを識別するための識別情報を記憶部または外部装置から取得し、制御部は、類似度算出部の算出した類似度の最大値が上記閾値以上である場合、類似度が最大値である登録画像が許可登録画像である場合には入力画像データに対する画像処理の実行を許可し、類似度が最大値である登録画像が制限登録画像である場合には入力画像データに対する画像処理の実行を禁止または制限する。
【0013】
これにより、許可登録画像および制限登録画像の両方が登録されているので、類似度算出部の算出した類似度の最大値が上記閾値以上である場合、類似度が最大である登録画像が許可登録画像であるか制限登録画像であるかに応じて画像処理の実行の禁止または制限の要否を決定することができる。したがって、例えば、制限登録画像ではないにもかかわらず、制限登録画像であると誤判定された入力画像データについて、許可登録画像として登録することにより、その後、この入力画像データに対して誤判定が成されることを防止できる。また、これとは逆に、許可登録画像ではないにもかかわらず、許可登録画像であると誤判定された入力画像データについて、制限登録画像として登録することにより、その後、この入力画像データに対して誤判定が成されることを防止できる。
【0014】
本発明の画像処理装置は、入力画像データを取得する入力データ取得部と、上記入力画像データの特徴量を抽出する特徴量抽出部と、画像処理の実行を禁止または制限する制限登録画像の特徴量を記憶した記憶部および通信可能に接続された外部装置から制限登録画像の特徴量を取得する登録画像取得部のうちの少なくとも一方と、入力画像データの特徴量と制限登録画像の特徴量とを比較して両画像の類似度を算出する類似度算出部と、上記類似度が予め定められた閾値以上である場合に、この入力画像データに対する画像処理の実行を禁止または制限する制御部とを備えた画像処理装置であって、画像処理の実行を許可する許可登録画像の特徴量と、上記制限登録画像と上記許可登録画像とを識別するための識別情報とを、上記記憶部または上記外部装置に備えられる第2記憶部に記憶させる登録処理部を備え、上記類似度算出部は、上記入力画像データの上記制限登録画像に対する類似度と、上記入力画像データの上記許可登録画像に対する類似度とを算出し、上記制御部は、上記制限登録画像に対する類似度が上記閾値以上である場合であって、かつ上記許可登録画像に対する類似度が上記制限登録画像に対する類似度よりも大きい場合には、上記入力画像データに対する画像処理の実行を許可する構成としてもよい。
【0015】
上記の構成によれば、特徴量抽出部が入力データ取得部の取得した入力画像データの特徴量を抽出する。そして、類似度算出部は、特徴量抽出部が抽出した入力画像データの特徴量と、記憶部に記憶されている制限登録画像の特徴量または登録画像取得部が通信可能に接続された外部装置から取得した制限登録画像の特徴量とを比較して両画像の類似度を算出し、制御部は、上記類似度が予め定められた閾値以上である場合に、この入力画像データに対する画像処理の実行を禁止または制限する。ただし、画像処理の実行を許可する許可登録画像の特徴量と、制限登録画像と許可登録画像とを識別するための識別情報とを、記憶部または外部装置に備えられる第2記憶部に記憶させる登録処理部を備えており、
類似度算出部は、入力画像データの制限登録画像に対する類似度と、入力画像データの許可登録画像に対する類似度とを算出する。そして、制御部は、制限登録画像に対する類似度が上記閾値以上である場合であっても、許可登録画像に対する類似度が制限登録画像に対する類似度よりも大きい場合には、入力画像データに対する画像処理の実行を許可する。
【0016】
これにより、本来は制限登録画像の画像データではないものの、制限登録画像に対する類似度が閾値以上である入力画像データについて、許可登録画像として登録しておくことにより、この入力画像データに対する画像処理を実行することができる。例えば、制限登録画像ではないにもかかわらず、制限登録画像であると誤判定された入力画像データについて、許可登録画像として登録することにより、その後、この入力画像データに対して誤判定が成されることを防止し、この入力画像データに対する画像処理が不適切に禁止されたり制限されたりすることを防止できる。
【0017】
また、本発明の画像処理装置は、入力画像データを取得する入力データ取得部と、上記入力画像データの特徴量を抽出する特徴量抽出部と、画像処理の実行を許可する許可登録画像の特徴量を記憶した記憶部および通信可能に接続された外部装置から許可登録画像の特徴量を取得する登録画像取得部のうちの少なくとも一方と、入力画像データの特徴量と許可登録画像の特徴量とを比較して両画像の類似度を算出する類似度算出部と、上記類似度が予め定められた閾値以上である場合にこの入力画像データに対する画像処理の実行を許可する画像処理装置であって、画像処理の実行を禁止または制限する制限登録画像の特徴量と、上記許可登録画像と上記制限登録画像とを識別するための識別情報とを、上記記憶部または上記外部装置に備えられる第2記憶部に記憶させる登録処理部を備え、上記類似度算出部は、上記入力画像データの上記許可登録画像に対する類似度と、上記入力画像データの上記制限登録画像に対する類似度とを算出し、上記制御部は、上記許可登録画像に対する類似度が上記閾値以上である場合であって、かつ上記制限登録画像に対する類似度が上記許可登録画像に対する類似度よりも大きい場合には、上記入力画像データに対する画像処理の実行を禁止または制限する構成としてもよい。
【0018】
上記の構成によれば、特徴量抽出部が入力データ取得部の取得した入力画像データの特徴量を抽出する。そして、類似度算出部は、特徴量抽出部が抽出した入力画像データの特徴量と、記憶部に記憶されている許可登録画像の特徴量または登録画像取得部が通信可能に接続された外部装置から取得した許可登録画像の特徴量とを比較して両画像の類似度を算出し、制御部は、上記類似度が予め定められた閾値以上である場合に、この入力画像データに対する画像処理の実行を許可する。ただし、画像処理の実行を禁止または制限する制限登録画像の特徴量と、制限登録画像と許可登録画像とを識別するための識別情報とを、記憶部または外部装置に備えられる第2記憶部に記憶させる登録処理部を備えており、類似度算出部は、入力画像データの許可登録画像に対する類似度と、入力画像データの制限登録画像に対する類似度とを算出する。そして、制御部は、許可登録画像に対する類似度が上記閾値以上である場合であっても、制限登録画像に対する類似度が許可登録画像に対する類似度よりも大きい場合には、入力画像データに対する画像処理の実行を許可する。
【0019】
これにより、本来は許可登録画像の画像データではないものの、許可登録画像に対する類似度が閾値以上である入力画像データについて、制限登録画像として登録しておくことにより、この入力画像データに対する画像処理の実行を禁止または制限させることができる。例えば、許可登録画像ではないにもかかわらず、許可登録画像であると誤判定された入力画像データについて、制限登録画像として登録することにより、その後、この入力画像データに対して誤判定が成されることを防止し、この入力画像データに対する画像処理が許可されることを防止し、この例外登録画像に対するセキュリティ性を向上させること
ができる。例えば、例外登録画像に対して複写,印刷,送信,変換・編集等の画像処理が不当に実行されることを防止できる。
【0020】
また、上記制御部は、上記類似度算出部の算出した類似度が最大値である登録画像が許可登録画像であり、制限登録画像に対する類似度が上記閾値よりも大きい第2閾値以上である場合、あるいは制限登録画像に対する類似度が上記第2閾値以上であってかつ上記最大値と上記制限登録画像に対する類似度との差が所定値以下である場合に、上記入力画像データに対する画像処理の実行を禁止または制限する構成としてもよい。
【0021】
上記の構成によれば、類似度が最大である登録画像が許可登録画像である場合であっても、制限登録画像に対する類似度が上記閾値よりも大きい第2閾値以上である場合、あるいは制限登録画像に対する類似度が上記第2閾値以上であって、かつ許可登録画像に対する類似度と制限登録画像に対する類似度との差が所定値以下である場合には、入力画像データに対する画像処理の実行を禁止または制限する。これにより、制限登録画像に対するセキュリティ性を向上させることができる。
【0022】
また、登録を要求されている画像である登録対象画像についての情報を記憶する仮登録情報記憶部を備え、上記制御部は、上記登録画像として上記登録対象画像を登録する際、上記登録対象画像に仮登録識別子を付与するとともに、上記仮登録識別子と当該登録対象画像から抽出した特徴量とを上記仮登録情報記憶部に記憶させる処理と、上記登録対象画像に対応する原稿を画像読取手段で再読み込みして得られた再読込画像を取得し、この再読込画像から抽出した特徴量に基づいて、上記仮登録情報記憶部に記憶させた上記登録対象画像および既に上記記憶部または上記第2記憶部に登録済みの登録画像に対する類似度を算出し、類似度が予め定めた閾値以上である画像が複数存在するか否かを判断する処理と、複数存在しないと判断した場合に、上記登録処理部によって上記登録対象画像を上記記憶部または上記第2記憶部に登録画像として正式に登録させる処理と、複数存在すると判断した場合に、これら複数の画像に対する上記類似度の差を算出し、この差が所定値以上である場合には上記登録処理部によって上記登録対象画像を上記記憶部または上記第2記憶部に登録画像として正式に登録させる一方、所定値未満である場合には上記登録対象画像の上記記憶部または上記第2記憶部への正式登録を禁止する処理とを行う構成としてもよい。
【0023】
上記の構成によれば、登録対象画像の登録を要求された場合に、この登録対象画像と既に登録済みの登録画像との識別の可否を判断し、識別可能な場合には登録を行う一方、識別不可能な場合にはこの登録対象画像の登録を禁止することができる。したがって、登録済みの登録画像との識別が不可能な画像が新たに登録されることを防止できるので、入力画像が制限登録画像と許可登録画像のいずれに類似しているかを精度よく判定できる。
【0024】
また、上記の差が所定値未満である場合に、上記仮登録情報記憶部に記憶させておいた上記登録対象画像についての情報を削除する登録データ削除部を備えている構成としてもよい。
【0025】
上記の構成によれば、識別不可能な登録対象画像についての情報を仮登録情報記憶部から削除することができるので、この登録対象画像についての情報が漏洩することを防止できる。
【0026】
本発明の画像形成装置は、上記したいずれかの画像処理装置と、入力画像データに応じた画像を記録材上に形成する画像出力部とを備えている。また、本発明の画像送信装置は、上記したいずれかの画像処理装置と、入力画像データを通信可能に接続された他の装置に送信する送信装置とを備えている。また、本発明の画像読取装置は、原稿画像を読み取
って入力画像データを取得する画像入力装置と、上記したいずれかの画像処理装置とを備えている。
【0027】
上記の画像形成装置、画像送信装置、画像読取装置によれば、制限登録画像と許可登録画像の両方が登録されているので、類似度算出部の算出した類似度の最大値が上記閾値以上である場合、類似度が最大である登録画像が許可登録画像であるか制限登録画像であるかに応じて画像処理の実行の禁止または制限の要否を決定することができる。
【0028】
本発明の画像処理方法は、上記の課題を解決するために、入力画像データを取得する入力データ取得工程と、入力画像データの特徴量を抽出する特徴量抽出工程と、登録画像の特徴量を取得する登録データ取得工程と、入力画像データの特徴量と登録画像の特徴量とを比較して両画像の類似度を算出する類似度算出工程と、上記類似度が予め定められた閾値以上であるか否かに応じて上記入力画像データに対する画像処理の実行の禁止または制限の要否を決定する処理制限工程とを含む画像処理方法であって、上記登録画像には、画像処理の実行を許可する登録画像である許可登録画像と、画像処理の実行を禁止または制限する登録画像である制限登録画像とがあり、許可登録画像と制限登録画像とを識別するための識別情報を取得する識別情報取得工程を含み、上記処理制限工程では、上記類似度算出工程で算出した類似度の最大値が上記閾値以上である場合、類似度が最大値である登録画像が許可登録画像である場合には上記入力画像データに対する画像処理の実行を許可し、類似度が最大値である登録画像が制限登録画像である場合には上記入力画像データに対する画像処理の実行を禁止または制限することを特徴としている。
【0029】
上記の方法によれば、入力データ取得工程で取得した入力画像データの特徴量を特徴量抽出工程で抽出する。そして、類似度算出工程では、特徴量抽出工程で抽出した入力画像データの特徴量と、登録データ取得工程で取得した登録画像の特徴量とを比較して両画像の類似度を算出する。なお、上記登録画像には、画像処理の実行を許可する登録画像である許可登録画像と、画像処理の実行を禁止または制限する登録画像である制限登録画像とが含まれている。そして、識別情報取得工程で、許可登録画像と制限登録画像とを識別するための識別情報を記憶部または外部装置から取得し、処理制限工程では、類似度算出工程で算出した類似度の最大値が上記閾値以上である場合、類似度が最大値である登録画像が許可登録画像である場合には入力画像データに対する画像処理の実行を許可し、類似度が最大値である登録画像が制限登録画像である場合には入力画像データに対する画像処理の実行を禁止または制限する。
【0030】
これにより、類似度算出工程で算出した類似度の最大値が上記閾値以上である場合、類似度が最大である登録画像に応じて画像処理の実行の禁止または制限の要否を決定することができる。したがって、例えば、制限登録画像ではないにもかかわらず、制限登録画像であると誤判定された入力画像データについて、許可登録画像として登録することにより、その後、この入力画像データに対して誤判定が成されることを防止できる。また、これとは逆に、許可登録画像ではないにもかかわらず、許可登録画像であると誤判定された入力画像データについて、制限登録画像として登録することにより、その後、この入力画像データに対して誤判定が成されることを防止できる。
【0031】
本発明の画像処理システムは、上記の課題を解決するために、画像処理装置と、この画像処理装置に対して通信可能に接続されたサーバー装置とを備え、入力画像データを取得する入力データ取得部と、登録画像の特徴量を記憶した記憶部と、入力画像データの特徴量と登録画像の特徴量とを比較して両画像の類似度を算出する類似度算出部と、上記類似度が予め定められた閾値以上であるか否かに応じて上記入力画像データに対する画像処理の実行の禁止または制限の要否を決定する制御部とが、上記画像処理装置と上記サーバー装置とに分散して備えられている画像処理システムであって、上記登録画像には、画像処
理の実行を許可する登録画像である許可登録画像と、画像処理の実行を禁止または制限する登録画像である制限登録画像とがあり、上記許可登録画像と上記制限登録画像とを識別するための識別情報を上記記憶部または上記外部装置から取得する識別情報取得部を備え、上記制御部は、上記類似度算出部の算出した類似度の最大値が上記閾値以上である場合であって、類似度が最大値である登録画像が許可登録画像である場合には上記入力画像データに対する画像処理の実行を許可し、類似度が最大値である登録画像が制限登録画像である場合には上記入力画像データに対する画像処理の実行を禁止または制限することを特徴としている。
【0032】
上記の構成によれば、特徴量抽出部が入力データ取得部の取得した入力画像データの特徴量を抽出する。そして、類似度算出部は、特徴量抽出部が抽出した入力画像データの特徴量と、記憶部に記憶されている登録画像の特徴量とを比較して両画像の類似度を算出する。なお、上記登録画像には、画像処理の実行を許可する登録画像である許可登録画像と、画像処理の実行を禁止または制限する登録画像である制限登録画像とが含まれている。そして、識別情報取得部が、許可登録画像と制限登録画像とを識別するための識別情報を記憶部または外部装置から取得し、制御部は、類似度算出部の算出した類似度の最大値が上記閾値以上である場合、類似度が最大値である登録画像が許可登録画像である場合には入力画像データに対する画像処理の実行を許可し、類似度が最大値である登録画像が制限登録画像である場合には入力画像データに対する画像処理の実行を禁止または制限する。
【0033】
これにより、登録画像として許可登録画像および制限登録画像の両方が登録されているので、類似度算出部の算出した類似度の最大値が上記閾値以上である場合、類似度が最大である登録画像が許可登録画像であるか制限登録画像であるかに応じて画像処理の実行の禁止または制限の要否を決定することができる。したがって、例えば、制限登録画像ではないにもかかわらず、制限登録画像であると誤判定された入力画像データについて、許可登録画像として登録することにより、その後、この入力画像データに対して誤判定が成されることを防止できる。また、これとは逆に、許可登録画像ではないにもかかわらず、許可登録画像であると誤判定された入力画像データについて、制限登録画像として登録することにより、その後、この入力画像データに対して誤判定が成されることを防止できる。
【0034】
なお、上記画像処理装置は、コンピュータによって実現してもよく、この場合には、コンピュータを上記各部として動作させることにより、上記画像処理装置をコンピュータにて実現させる画像処理プログラム、およびそれを記録したコンピュータ読み取り可能な記録媒体も、本発明の範疇に含まれる。
【発明の効果】
【0035】
以上のように、本発明の画像処理装置は、制御部が、類似度算出部の算出した類似度の最大値が上記閾値以上である場合、類似度が最大値である登録画像が許可登録画像である場合には入力画像データに対する画像処理の実行を許可し、類似度が最大値である登録画像が制限登録画像である場合には入力画像データに対する画像処理の実行を禁止または制限する。
【0036】
それゆえ、類似度算出部の算出した類似度の最大値が上記閾値以上である場合、類似度が最大である登録画像が許可登録画像であるか制限登録画像であるかに応じて画像処理の実行の禁止または制限の要否を決定することができる。
【発明を実施するための最良の形態】
【0037】
〔実施形態1〕
本発明の一実施形態について説明する。なお、本実施形態では、本発明をデジタルカラー複合機(MFP:Multi-Function Printer)に適用する場合の一例について説明する。
【0038】
(1−1. デジタルカラー複合機1の構成)
図2は、本実施形態にかかるデジタルカラー複合機(画像処理装置、画像形成装置、画像読取装置)1の概略構成を示すブロック図である。このデジタルカラー複合機1は、コピー機能、プリンタ機能、ファクシミリ送信機能、スキャナ機能、scan to e-mail機能等を有している。
【0039】
図2に示すように、デジタルカラー複合機1は、カラー画像入力装置2、カラー画像処理装置3、カラー画像出力装置4、通信装置5、操作パネル6を備えている。
【0040】
カラー画像入力装置(画像読取装置)2は、例えばCCD(Charge Coupled Device )などの光学情報を電気信号に変換するデバイスを備えたスキャナ部(図示せず)より構成され、原稿からの反射光像を、RGB(R:赤・G:緑・B:青)のアナログ信号としてカラー画像処理装置3に出力する。
【0041】
カラー画像処理装置3は、A/D変換部11、シェーディング補正部12、文書照合処理部13、入力階調補正部14、領域分離処理部15、色補正部16、黒生成下色除去部17、空間フィルタ処理部18、出力階調補正部19、および階調再現処理部20を備えている。カラー画像入力装置2からカラー画像処理装置3に出力されたアナログ信号は、カラー画像処理装置3内を、A/D変換部11、シェーディング補正部12、文書照合処理部13、入力階調補正部14、領域分離処理部15、色補正部16、黒生成下色除去部17、空間フィルタ処理部18、出力階調補正部19、階調再現処理部20の順で送られ、CMYKのデジタルカラー信号としてカラー画像出力装置4に出力される。
【0042】
A/D(アナログ/デジタル)変換部11は、RGBのアナログ信号をデジタル信号に変換するものである。
【0043】
シェーディング補正部12は、A/D変換部11より送られてきたデジタルのRGB信号に対して、カラー画像入力装置2の照明系、結像系、撮像系で生じる各種の歪みを取り除く処理を施すものである。また、シェーディング補正部12は、カラーバランスの調整、および濃度信号などカラー画像処理装置3に採用されている画像処理システムの扱い易い信号に変換する処理を施す。
【0044】
文書照合処理部13は、入力画像データと登録画像との類似性の判定((類似あり/類似なしの判定)を行う。また、文書照合処理部13は入力されたRGB信号をそのまま後段の入力階調補正部14へ出力する。なお、文書照合処理部13の詳細については後述する。
【0045】
入力階調補正部14は、シェーディング補正部にて各種の歪みが取り除かれたRGB信号に対して、下地色(下地色の濃度成分:下地濃度)の除去やコントラストなどの画質調整処理を施す。
【0046】
領域分離処理部15は、RGB信号より、入力画像中の各画素を文字領域、網点領域、写真領域のいずれかに分離するものである。領域分離処理部15は、分離結果に基づき、画素がどの領域に属しているかを示す領域識別信号を、色補正部16、黒生成下色除去部17、空間フィルタ処理部18、および階調再現処理部20へと出力するとともに、入力階調補正部14より出力された入力信号をそのまま後段の色補正部16に出力する。
【0047】
色補正部16は、色再現の忠実化実現のために、不要吸収成分を含むCMY(C:シアン・M:マゼンタ・Y:イエロー)色材の分光特性に基づいた色濁りを取り除く処理を行
うものである。
【0048】
黒生成下色除去部17は、色補正後のCMYの3色信号から黒(K)信号を生成する黒生成、元のCMY信号から黒生成で得たK信号を差し引いて新たなCMY信号を生成する処理を行うものである。これにより、CMYの3色信号はCMYKの4色信号に変換される。
【0049】
空間フィルタ処理部18は、黒生成下色除去部17より入力されるCMYK信号の画像データに対して、領域識別信号を基にデジタルフィルタによる空間フィルタ処理を行い、空間周波数特性を補正する。これにより、出力画像のぼやけや粒状性劣化を軽減することができる。階調再現処理部20も、空間フィルタ処理部18と同様、CMYK信号の画像データに対して領域識別信号を基に所定の処理を施すものである。
【0050】
例えば、領域分離処理部15にて文字に分離された領域は、特に黒文字あるいは色文字の再現性を高めるために、空間フィルタ処理部18による空間フィルタ処理における鮮鋭強調処理で高周波数の強調量が大きくされる。同時に、階調再現処理部20においては、高域周波数の再現に適した高解像度のスクリーンでの二値化または多値化処理が選択される。
【0051】
また、領域分離処理部15にて網点領域に分離された領域に関しては、空間フィルタ処理部18において、入力網点成分を除去するためのローパス・フィルタ処理が施される。そして、出力階調補正部19では、濃度信号などの信号をカラー画像出力装置4の特性値である網点面積率に変換する出力階調補正処理を行った後、階調再現処理部20で、最終的に画像を画素に分離してそれぞれの階調を再現できるように処理する階調再現処理(中間調生成)が施される。領域分離処理部15にて写真に分離された領域に関しては、階調再現性を重視したスクリーンでの二値化または多値化処理が行われる。
【0052】
上述した各処理が施された画像データは、いったん記憶装置(図示せず)に記憶され、所定のタイミングで読み出されてカラー画像出力装置4に入力される。
【0053】
カラー画像出力装置4は、カラー画像処理装置3から入力された画像データを記録材(例えば紙等)上に出力するものである。カラー画像出力装置4の構成は特に限定されるものではなく、例えば、電子写真方式やインクジェット方式を用いたカラー画像出力装置を用いることができる。
【0054】
通信装置5は、例えばモデムやネットワークカードより構成される。通信装置5は、ネットワークカード、LANケーブル等を介して、ネットワークに接続された他の装置(例えば、パーソナルコンピュータ、サーバー装置、他のデジタル複合機、ファクシミリ装置等)とデータ通信を行う。
【0055】
なお、通信装置5は、画像データを送信する場合、相手先との送信手続きを行って送信可能な状態が確保されると、所定の形式で圧縮された画像データ(スキャナで読み込まれた画像データ)をメモリから読み出し、圧縮形式の変更など必要な処理を施して、通信回線を介して相手先に順次送信する。
【0056】
また、通信装置5は、画像データを受信する場合、通信手続きを行うとともに、相手先から送信されてくる画像データを受信してカラー画像処理装置3に入力する。受信した画像データは、カラー画像処理装置3で伸張処理、回転処理、解像度変換処理、出力階調補正、階調再現処理などの所定の処理が施され、カラー画像出力装置4によって出力される。なお、受信した画像データを記憶装置(図示せず)に保存し、カラー画像処理装置3が
必要に応じて読み出して上記所定の処理を施すようにしてもよい。
【0057】
操作パネル6は、例えば、液晶ディスプレイなどの表示部と設定ボタンなどより構成され(いずれも図示せず)、デジタルカラー複合機1の主制御部(図示せず)の指示に応じた情報を上記表示部に表示するとともに、上記設定ボタンを介してユーザから入力される情報を上記主制御部に伝達する。ユーザは、操作パネル6を介して入力画像データに対する処理要求(例えば処理モード(複写、印刷、電子配信、ファクシミリ送信、ファイリング、画像データの補正,編集など)、処理枚数(複写枚数、印刷枚数)、入力画像データの送信先など)を入力することができる。上記主制御部は、例えばCPU(Central Processing Unit)等からなり、図示しないROM等に格納されたプログラムや各種データ、操作パネル6から入力される情報等に基づいて、デジタルカラー複合機1の各部の動作を制御する。
【0058】
(1−2. 文書照合処理部の構成)
次に、文書照合処理部13の詳細について説明する。本実施形態にかかる文書照合処理部13は、入力画像データから複数の特徴点を抽出し、抽出した各特徴点に対して局所的な特徴点の集合を決定し、決定した各集合から特徴点の部分集合を選択し、選択した各部分集合を特徴付ける量として、部分集合中の特徴点に関する複数の組み合わせに基づいて、幾何学的変換に対する不変量をそれぞれ求め、求めた各不変量を組み合わせてハッシュ値を計算し、計算したハッシュ値に対応する登録画像に投票することにより、入力画像データに類似する登録画像の検索、当該登録画像に対する類似性の判定処理(類似あり/類似なしの判定)を行う。
【0059】
図1は、文書照合処理部13の概略構成を示すブロック図である。この図に示すように、文書照合処理部13は、特徴点算出部31、特徴量算出部32、投票処理部33、類似度判定処理部34、登録処理部35、制御部7、メモリ8を備えている。
【0060】
制御部7は、文書照合処理部13の各部の動作を制御する。なお、制御部7は、デジタルカラー複合機1の各部の動作を制御するための主制御部に備えられていてもよく、主制御部とは別に備えられ、主制御部と協同して文書照合処理部13の動作を制御するものであってもよい。
【0061】
また、制御部7は、文書照合処理部13による類似性判定処理の結果、類似なし(入力画像データは登録画像の画像データではない)と判定された場合には入力画像データに対する画像処理(複写、印刷、電子配信、ファクシミリ送信、ファイリング、画像データの補正,編集等の処理)の実行を許可する。また、制御部7は、類似あり(入力画像データは登録画像の画像データである)と判定された場合には、類似度の最も高い登録画像が例外登録画像であるか否かを判断する。そして、例外登録画像である場合には、入力画像データに対する画像処理の実行を許可する一方、例外登録画像でない場合には画像処理の実行を禁止または制限する。なお、ここでは、例外登録画像でない場合には画像処理の実行を禁止または制限するものとしているが、これに限らず、例えば画像に特定のパターンを付加する、あるいは画像の一部または全部を塗りつぶすなどの制限を加えてもよい。
【0062】
メモリ8は、文書照合処理部13の各部の処理に用いられる各種データ、処理結果等を記憶するものである。また、メモリ8は、管理者(特定ユーザ;登録画像および例外登録画像の特徴量、類似性判定のための閾値などの登録、編集等を行う権限を有する予め登録された者。例えば、企業,店舗等におけるセキュリティ責任者など)のみが閲覧,編集可能(ただし、制御部7は必要に応じて管理者フォルダ8A内の情報を参照可能)なフォルダ(記憶領域)である管理者フォルダ8Aを備えている。
【0063】
管理者フォルダ8A内には、管理者情報記憶部101、ハッシュテーブル102、例外登録画像リスト103などが備えられている。
【0064】
管理者情報記憶部101は、管理者フォルダ8Aの閲覧,編集を許可する管理者を特定するための情報を記憶する。制御部7は、管理者フォルダ8Aの閲覧,編集が要求された場合、管理者情報記憶部101に基づいて認証処理を行い、閲覧,編集を許可するか否かを判断するようになっている。なお、管理者の認証処理の方法は特に限定されるものではなく、例えば従来から公知の種々の認証処理方法を用いることができる。また、本実施形態では、管理者がデジタルカラー複合機1に対して通信可能に接続された外部装置(コンピュータ、サーバー装置等)から認証に必要な情報をデジタルカラー複合機1に送信することによって認証処理を行うものとするが、これに限るものではなく、例えばデジタルカラー複合機1の操作パネル6を介して認証処理を行うようにしてもよい。
【0065】
ハッシュテーブル102は、登録画像のインデックス(ID)と登録画像の特徴量とが対応付けられて格納されたテーブルである。ハッシュテーブル102の詳細については後述する。
【0066】
例外登録画像リスト103は、入力画像データが登録画像の画像データであると判定された場合であっても、画像処理の実行を許可する登録画像である例外登録画像のリストである。つまり、制御部7は、入力画像データが登録画像の画像データであると判定した場合には、原則としてこの入力画像データに対する画像処理の実行を禁止または制限するが、当該登録画像が例外登録画像である場合には、例外的に画像処理の実行を許可するようになっている。
【0067】
特徴点算出部31は、文字列や罫線の連結部分を抽出し、連結部分の重心を特徴点として算出する。ただし、特徴点算出部31の構成はこれに限るものではなく、例えば従来から公知の種々の法によって特徴点を算出してもよい。
【0068】
図3は、特徴点算出部31の概略構成を示すブロック図である。この図に示すように、特徴点算出部31は、信号処理部(無彩化処理部)41、解像度変換部42、MTF処理部43、2値化処理部44、重心算出部45を備えている。
【0069】
信号処理部41は、シェーディング補正部12から入力された画像データ(RGB信号)がカラー画像であった場合にこの画像データを無彩化して、明度信号もしくは輝度信号に変換するものである。
【0070】
例えば、信号処理部41は、下記式(1)によりRGB信号を輝度信号Yに変換する。
【0071】
Yi=0.30Ri+0.59Gi+0.11Bi ・・・(1)
ここで、Yは各画素の輝度信号であり、R,G,Bは各画素のRGB信号における各色成分であり、添え字のiは画素毎に付与された値(iは1以上の整数)である。
【0072】
あるいは、RGB信号をCIE1976L***信号(CIE:Commission International de l'Eclairage、L*:明度、a*,b*:色度)に変換してもよい。
【0073】
解像度変換部42は、入力画像データを変倍処理する。例えば、解像度変換部42は、入力画像データがカラー画像入力装置2で光学的に変倍されている場合に、所定の解像度になるように入力画像データを再度変倍する。また、解像度変換部42が、後段の各処理部における処理量を軽減するために、カラー画像入力装置2で等倍時に読み込まれる解像度よりも解像度を落とすための解像度変換を行うようにしてもよい(例えば、600dp
i(dot per inch)で読み込まれた画像データを300dpiに変換するなど)。
【0074】
MTF(modulation transfer function)処理部43は、カラー画像入力装置2の空間周波数特性が機種ごとに異なることを吸収(調整)するために用いられる。CCDの出力する画像信号には、レンズやミラー等の光学部品、CCDの受光面のアパーチャ開口度、転送効率や残像、物理的な走査による積分効果及び操作むら等に起因しMTFの劣化が生じている。このMTFの劣化により、読み込まれた画像がぼやけたものとなっている。MTF処理部43は、適切なフィルタ処理(強調処理)を施すことにより、MTFの劣化により生じるぼやけを修復する処理を行う。また、後段の重心算出部45における特徴点抽出処理に不要な高周波成分を抑制するためにも用いる。すなわち、混合フィルタ(図示せず)を用いて強調および平滑化処理を行う。なお、図4は、この混合フィルタにおけるフィルタ係数の一例を示している。
【0075】
2値化処理部44は、無彩化された画像データ(輝度値(輝度信号)または明度値(明度信号))と、予め設定された閾値とを比較することにより画像データを二値化する。
【0076】
重心算出部45は、2値化処理部44で2値化された画像データ(例えば、「1」、「0」で表される)に基づいて、各画素に対してラベリング(ラベル付け処理)を行う。そして、同一ラベルが付された画素が連結した連結領域を特定し、特定した連結領域の重心を特徴点として抽出する。さらに、抽出した特徴点を特徴量算出部32へ出力する。図5は、入力画像データから抽出された連結領域およびこの連結領域の重心の一例を示す説明図であり、「A」という文字列に対応する連結領域および重心を示している。また、図6は、入力画像データに含まれる文字列から抽出された複数の連結領域の各重心(特徴点)の一例を示す説明図である。なお、上記特徴点は、二値画像における座標値(x座標、y座標)で表すことができる。
【0077】
特徴量算出部32は、特徴点抽出部32a、不変量算出部32b、ハッシュ値算出部32cを備えており、特徴点算出部31で算出された特徴点を用いて、原稿画像の回転、平行移動、拡大、縮小、平行移動等の幾何学的変形に対して不変な量である特徴量(ハッシュ値および/または不変量)を算出する。
【0078】
特徴点抽出部32aは、図7に示すように、1つの特徴点を注目特徴点とし、この注目特徴点の周辺の特徴点を、注目特徴点からの距離が近いものから順に所定数(ここでは4点)だけ周辺特徴点として抽出する。図7の例では、特徴点aを注目特徴点とした場合には特徴点b,c,d,eの4点が周辺特徴点として抽出され、特徴点bを注目特徴点とした場合には特徴点a,c,e,fの4点が周辺特徴点として抽出される。
【0079】
また、特徴点抽出部32aは、上記のように抽出した周辺特徴点4点の中から選択しうる3点の組み合わせを抽出する。例えば、図8(a)〜図8(c)に示すように、図7に示した特徴点aを注目特徴点とした場合、周辺特徴点b,c,d,eのうちの3点の組み合わせ、すなわち、周辺特徴点b,c,d、周辺特徴点b,c,e、周辺特徴点b,d,eの各組み合わせが抽出される。
【0080】
次に、不変量算出部32bは、抽出した各組み合わせについて、幾何学的変形に対する不変量(特徴量の1つ)Hijを算出する。ここで、iは注目特徴点を示す数(iは1以上の整数)であり、jは周辺特徴点3点の組み合わせを示す数(jは1以上の整数)である。本実施形態では、周辺特徴点同士を結ぶ線分の長さのうちの2つの比を不変量Hijとする。なお、上記線分の長さは、各周辺特徴点の座標値に基づいて算出すればよい。例えば、図8(a)の例では、特徴点cと特徴点dとを結ぶ線分の長さをA11、特徴点cと特徴点bとを結ぶ線分の長さをB11とすると、不変量H11はH11=A11/B1
1である。また、図8(b)の例では、特徴点cと特徴点bとを結ぶ線分の長さをA12、特徴点bと特徴点eとを結ぶ線分の長さをB12とすると、不変量H12はH12=A12/B12である。また、図8(c)の例では、特徴点dと特徴点bとを結ぶ線分の長さをA13、特徴点bと特徴点eとを結ぶ線分の長さをB13とすると、不変量H13はH13=A13/B13である。このようにして、図8(a)〜図8(c)の例では、不変量H11,H12,H13が算出される。なお、上記の例では、水平方向左側に位置する周辺特徴点と水平方向中央に位置する周辺特徴点とを結ぶ線分をAij、水平方向中央に位置する周辺特徴点と水平方向右側に位置する周辺特徴点とを結ぶ線分をBijとしたが、これに限らず、不変量Hijの算出に用いる線分は任意の方法で選定すればよい。
【0081】
次に、ハッシュ値算出部32cは、(Hi1×10+Hi2×10+Hi3×10)/Dの余りの値をハッシュ値(特徴量の1つ)Hiとして算出し、メモリ8に記憶させる。なお、上記Dは余りが取り得る値の範囲をどの程度に設定するかに応じて予め設定される定数である。
【0082】
なお、不変量Hijの算出方法は特に限定されるものではなく、例えば、注目特徴点の近傍5点の複比、近傍n点(nはn≧5の整数)から抽出した5点の複比、近傍n点から抽出したm点(mはm<nかるm≧5の整数)の配置およびm点から抽出した5点の複比に基づいて算出される値などを注目特徴点についての上記不変量Hijとしてもよい。なお、複比とは、直線上の4点または平面上の5点から求められる値であり、幾何学的変換の一種である射影変形に対する不変量として知られている。
【0083】
また、ハッシュ値Hiの算出するための式についても上記式(2)に限るものではなく、他のハッシュ関数(例えば特許文献4に記載されているハッシュ関数のうちのいずれか)を用いてもよい。
【0084】
また、特徴量算出部32の各部は、1つの注目特徴点に対する周辺特徴点の抽出およびハッシュ値Hiの算出が終わると、注目特徴点を他の特徴点に変更して周辺特徴点の抽出およびハッシュ値の算出を行い、全ての特徴点についてのハッシュ値を算出する。
【0085】
図7の例では、特徴点aを注目特徴点とした場合の周辺特徴点およびハッシュ値の抽出が終わると、次に特徴点bを注目特徴点とした場合の周辺特徴点およびハッシュ値の抽出を行う。図7の例では、特徴点bを注目特徴点とした場合、特徴点a,c,e,fの4点が周辺特徴点として抽出される。そして、図9(a)〜図9(c)に示すように、これら周辺特徴点a,c,e,fの中から選択される3点の組み合わせ(周辺特徴点a,e,f、周辺特徴点c,e,f、周辺特徴点a,c,f)を抽出し、各組み合わせについてハッシュ値Hiを算出し、メモリ8に記憶させる。そして、この処理を各特徴点について繰り返し、各特徴点を注目特徴点とした場合のハッシュ値をそれぞれ求めてメモリ8に記憶させる。
【0086】
なお、特徴点aを注目特徴点としたときの不変量の算出方法は上記の方法に限るものではない。例えば、図20(a)〜図20(d)に示すように、図7に示した特徴点aを注目特徴点とした場合、周辺特徴点b,c,d,eのうちの3点の組み合わせ、すなわち、周辺特徴点b,c,d、周辺特徴点b,c,e、周辺特徴点b,d,e、周辺特徴点c,d,eの各組み合わせを抽出し、抽出した各組み合わせについて、幾何学的変形に対する不変量(特徴量の1つ)Hijを算出するようにしても良い。
【0087】
また、図7に示した特徴点bを注目特徴点とした場合、図21(a)〜図21(d)に示すように、特徴点a,c,e,fの4点の周辺特徴点の中から、ある3点の組み合わせ(周辺特徴点a,e,f、周辺特徴点a,c,e、周辺特徴点a,f,c、周辺特徴点e
,f,c)を抽出し、各組み合わせについて幾何学的変形に対する不変量Hijを算出するようにしてもよい。なお、この場合、(Hi1×10+Hi2×10+Hi3×10+Hi4×10)/Dの余りの値をハッシュ値として算出し、メモリ8に記憶させればよい。
【0088】
また、上記の例では、注目特徴点に最も近い周辺特徴点と2番目に近い周辺特徴点とを結ぶ線分をAij、注目特徴点に最も近い周辺特徴点と3番目に近い周辺特徴点とを結ぶ線分をBijとしたが、これに限らず、周辺特徴点間を結ぶ線分の長さを基準にして選定する等、不変量Hijの算出に用いる線分は任意の方法で選定すればよい。
【0089】
なお、特徴量算出部32は、入力画像データを登録画像として登録する登録処理を行う場合には、上記のように算出した入力画像データの各特徴点についてのハッシュ値(特徴量)を登録処理部35に送る。
【0090】
登録処理部35は、特徴量算出部32が算出した各特徴点についてのハッシュ値と、原稿(登録画像)を表すインデックス(原稿ID)とをメモリ8に設けられたハッシュテーブル102に順次登録していく(図10(a)参照)。ハッシュ値がすでに登録されている場合は、当該ハッシュ値に対応付けて原稿IDを登録する。原稿IDは重複することなく順次番号が割り当てられる。なお、ハッシュテーブル102に登録されている原稿の数が所定値(例えば、登録可能な原稿の数の80%)より多くなった場合、古い原稿IDを検索して順次消去するようにしてもよい。また、消去された原稿IDは、新たな登録画像の原稿IDとして再度使用できるようにしてもよい。また、算出されたハッシュ値が同値である場合(図10(b)の例ではH1=H5)、これらを1つにまとめてハッシュテーブル102に登録してもよい。
【0091】
また、特徴量算出部32は、入力画像データが既に登録されている登録画像の画像データであるかどうかの判定処理(類似性判定処理)を行う場合には、上記のように算出した入力画像データの各特徴点についてのハッシュ値を投票処理部33に送る。
【0092】
投票処理部33は、入力画像データから算出した各特徴点のハッシュ値をハッシュテーブル102に登録されているハッシュ値と比較し、同じハッシュ値を有する登録画像に投票する。言い換えれば、登録画像毎に、登録画像が有するハッシュ値と同じハッシュ値が入力画像データから算出された回数をカウントし、カウント値をメモリ8に記憶させる。図11は、登録画像ID1,ID2,ID3に対する投票数の一例を示すグラフである。
【0093】
類似度判定処理部34は、メモリ8から投票処理部33の投票処理結果(各登録画像のインデックスおよび各登録画像に対する投票数;類似度)を読み出し、最大得票数および最大得票数を得た登録画像のインデックスを抽出する。そして、抽出された最大得票数を予め定められている閾値と比較して類似性(入力画像データが登録画像の画像データであるかどうか)を判定し、判定結果を示す判定信号を制御部7に送る。つまり、最大得票数が予め定められた閾値以上である場合には「類似性あり(入力画像データは登録画像の画像データである)」と判定し、閾値未満である場合には「類似性なし(入力画像データは登録画像の画像データではない)」と判定する。
【0094】
あるいは、類似度判定処理部34が、各登録画像に対する得票数を投票総数(入力画像データから抽出された特徴点の総数)で除算して正規化することで類似度を算出し、この類似度と予め定められている閾値(例えば投票総数の80%)との比較を行うことによって類似度を判定してもよい。
【0095】
また、類似度判定処理部34が、各登録画像に対する得票数を、ハッシュ値の登録数が
最も多い登録画像についてのハッシュ値の登録数(最大登録数)で除算して正規化することで類似度を算出し、この類似度と予め定められている閾値(例えば投票総数の80%)との比較を行うことによって類似性を判定してもよい。つまり、算出した類似度が閾値TH2以上である場合には「類似性あり」と判定し、閾値TH2未満である場合には「類似性なし」と判定すればよい。なお、この場合、入力画像データから抽出されるハッシュ値の総数は上記最大登録数よりも大きくなる場合があるため(特に原稿および/または登録画像の少なくとも一部に手書き部分がある場合など)、類似度の算出値は100%を超える場合も有り得る。
【0096】
また、類似性を判定する際の閾値TH2は、各登録画像について一定であってもよく、あるいは各登録画像の重要度等に応じて登録画像毎に設定されてもよい。登録画像の重要度は、例えば、紙幣、有価証券、極秘書類、社外秘の書類等については重要度を最大にし、秘密書類については重要度を紙幣等よりも低くするといったように、登録画像に応じて段階的に設定してもよい。この場合、メモリ8に、登録画像の重要度に応じた重み付け係数を当該登録画像のインデックスと関連付けて記憶させておき、類似度判定処理部34が、最大得票数を得た登録画像に対応する閾値TH2を用いて類似性を判定するようにすればよい。
【0097】
また、類似性を判定する際、閾値TH2は一定にする一方、各登録画像に対する投票数(各登録画像の得票数)に各登録画像の重み係数を掛けて類似性を判定するようにしてもよい。この場合、メモリ8に、各登録画像の重要度に応じた重み付け係数を各登録画像のインデックスと関連付けて記憶させておき、類似度判定処理部34が、各登録画像の得票数に当該登録画像の重み付け係数を掛けた補正得票数を算出し、この補正得票数に基づいて類似性を判定するようにすればよい。例えば、最大補正得票数と閾値TH2とを比較してもよく、最大補正得票数を投票総数で正規化したものを閾値TH2と比較してもよく、最大補正得票数を最大登録数で正規化したものを閾値TH2と比較してもよい。また、この場合、重み係数は、例えば、1より大きい値であって、かつ登録画像の重要度が高くなるにつれて大きい値になるように設定すればよい。
【0098】
また、本実施形態では、1つの特徴点(注目特徴点)に対して1つのハッシュ値を算出するものとしているが、これに限らず、1つの特徴点(注目特徴点)に対して複数のハッシュ値を算出するようにしてもよい。例えば、注目特徴点の周辺特徴点として6点を抽出し、この6点から5点を抽出した6通りの組み合わせそれぞれについて、5点から3点を抽出して不変量を求めてハッシュ値を算出する方法を用いてもよい。この場合には、1つの特徴点に対して6個のハッシュ値が算出されることになる。
【0099】
(1−3.デジタルカラー複合機1における処理)
次に、デジタルカラー複合機1における処理について、図12に示すフロー図を参照しながら説明する。なお、以下の説明では、管理者情報記憶部101には、管理者情報が予め登録されているものとする。
【0100】
まず、制御部7は、入力画像データ、および、操作パネル6あるいは通信装置5を介してユーザから入力される処理要求(指示入力)を取得する(S1、S2)。なお、入力画像データは、カラー画像入力装置2で原稿画像を読み取ることによって取得してもよく、通信装置5によって外部の装置から送信される入力画像データを取得してもよく、デジタルカラー複合機1に備えられるカードリーダー(図示せず)等を介して各種記録媒体から入力画像データを読み出して取得してもよい。
【0101】
次に、制御部7は、上記処理要求によって要求されている処理が登録処理であるか否かを判断する(S3)。そして、登録処理である場合には、処理を要求しているユーザが管
理者情報記憶部101に登録された管理者であるか否かの認証処理を行う(S4)。例えば、制御部7は、操作パネル6あるいは通信装置5を介してユーザが入力したユーザ情報(ユーザID、パスワード等)を取得し、取得したユーザ情報と管理者情報記憶部101に登録されている管理者情報(管理者のユーザ情報)とを照合することによって認証処理を行う。
【0102】
そして、認証に成功したか否かを判断し(S5)、認証に失敗したと判断した場合には処理を終了する。なお、認証に失敗した場合、所定回数だけユーザによるユーザ情報の再入力を許可し、所定回数だけ認証処理を行えるようにしてもよい。
【0103】
一方、S4において認証処理に成功した場合、制御部7は、文書照合処理部13の各部を制御し、S1で取得した入力データについて特徴点算出処理(S6)および特徴量算出処理(S7)を行わせ、算出した特徴量と原稿ID(登録画像のID)とを対応付けてハッシュテーブル102に登録させる(S8)。
【0104】
次に、制御部7は、上記処理要求によって要求されている処理が登録画像(処理の実行を禁止または制限する画像)の登録処理であるか、例外登録画像(処理の実行を許可する画像)の登録処理であるかを判断する(S9)。
【0105】
そして、例外登録画像の登録処理でない場合、制御部7は処理を終了する。一方、例外登録画像の登録処理である場合、制御部7は、登録処理部35を制御して例外登録画像リスト103に当該画像のIDを登録させ(S10)、処理を終了する。図13は、例外登録画像リスト103の一例を示す説明図である。
【0106】
S3において登録処理ではないと判断した場合、制御部7は、文書照合処理部13の各部を制御し、S1で取得した入力データについて特徴点算出処理(S11)、特徴量算出処理(S12)、投票処理(S13)、類似性判定処理(S14)を行わせる。そして、制御部7は、類似性判定処理の結果、類似ありと判定されたか否かを判断する(S15)。そして、類似なしであると判断した場合、制御部7は、この入力画像データに対する画像処理(複写、電子配信、ファクシミリ送信、ファイリング、画像データの補正,編集等)の実行を許可し(S16)、処理を終了する。
【0107】
一方、S15において、類似ありであると判断した場合、制御部7は、投票処理の結果、最も類似度が高かった登録画像が例外登録画像であるか否かを判断する(S17)。つまり、制御部7は、投票処理の結果、最も類似度が高かった登録画像のIDが、例外登録画像リスト103に登録されているか否かを判断することにより、この登録画像が例外登録画像であるか否かを判断する。ただし、これに限らず、例えば、ハッシュテーブル102に登録画像の特徴量および原稿IDを登録する際、原稿IDにフラグを持たせておき(例えば、例外登録画像である場合フラグ「1」、例外登録画像ではない場合フラグ「0」)、S17の処理において、制御部7がこのフラグを参照することによって例外登録画像であるか否かを判断するようにしてもよい。
【0108】
なお、S15において類似ありと判定され、S17において例外登録画像ではないと判断された入力画像データ(あるいはこの入力画像データを圧縮した圧縮画像データ)を、制御部7が管理者フォルダ8Aに記憶させるようにしてもよい。これにより、管理者が管理者フォルダ8Aに記憶された画像データを後から閲覧することにより、判定結果の適否を容易に確認することができる。
【0109】
一方、S17において例外登録画像ではないと判断した場合、入力画像データに対する画像処理の実行を禁止し(S18)、処理を終了する。一方、S15において例外登録画
像であると判断した場合、入力画像データに対する画像処理の実行を許可し(S16)、処理を終了する。
【0110】
以上のように、本実施形態にかかるデジタルカラー複合機1では、画像処理の実行を禁止または制限する登録画像(制限登録画像)の特徴量と画像処理の実行を許可する登録画像(許可登録画像)の特徴量との両方を記憶している。また、各登録画像が画像処理の実行を許可する登録画像であるか、画像処理の実行を禁止または制限する登録画像であるかを示す情報を記憶している。そして、入力画像データと登録画像との類似性判定処理の結果、類似ありと判定された場合、制御部7が、最も類似度の高い登録画像が画像処理の実行を許可する登録画像であるか、画像処理の実行を禁止または制限する登録画像であるかを判断し、判断結果に応じて画像処理の禁止または制限、あるいは許可を行う。
【0111】
これにより、制御部7に、類似度の最も高い登録画像の登録内容(例外登録画像であるか否か)に応じて画像処理の実行の禁止または制限の要否を判断させることができる。
【0112】
この点について、図14(a)〜図14(c)および図15(a)〜図15(c)を用いてより詳細に説明する。
【0113】
図14(a)〜図14(c)は、それぞれ、画像処理の実行を禁止する登録画像として登録画像IDaが登録されており、例外登録画像が登録されていない場合の、登録画像IDaに対する入力画像データIDa’、IDb’、IDc’の類似度を算出した結果を示すグラフである。なお、入力画像データIDa’は、登録画像IDaをスキャナで読み取って取得した入力画像データである。また、入力画像データIDb’は、登録画像ではないものの、登録画像に対する類似度が比較的高い画像IDbをスキャナで読み取って取得した入力画像データである。また、入力画像データIDc’は、登録画像に対する類似度が比較的低い画像をスキャナで読み取って取得した入力画像データである。
【0114】
図14(a)に示すように、入力画像データIDa’は、実際に登録画像IDaの画像データなので、算出される類似度は高くなる(この図の例では類似度100%)。したがって、この場合、入力画像データIDa’は登録画像IDaの画像データであると判断され、この入力画像データIDa’に対する画像処理の実行は禁止される。
【0115】
また、図14(b)に示すように、入力画像データIDb’は、実際には登録画像の画像データではないが、登録画像に対する類似度が比較的高い画像から読み取ったデータなので、算出される類似度は比較的高い値になる(この図の例では85%)。このため、算出された類似度が類似性判定の閾値(この図の例では80%)よりも高くなり、本来は登録画像の画像データではないにもかかわらず、画像処理の実行が禁止されてしまう場合が生じる。
【0116】
なお、図14(c)に示すように、入力画像データIDc’については、算出される類似度は閾値よりも低くなり、画像処理の実行は許可される。
【0117】
一方、図15(a)〜図15(a)は、画像処理の実行を禁止する登録画像として登録画像IDaが登録されており、例外登録画像(画像処理の実行を許可する登録画像)として登録画像IDbが登録されている場合の、登録画像IDaに対する入力画像データIDa’、IDb’、IDc’の類似度を算出した結果を示すグラフである。
【0118】
図15(a)に示すように、入力画像データIDa’は、実際に登録画像IDaの画像データなので、登録画像IDaに対する類似度が最も高くなる(この図の例では類似度100%)。したがって、この場合、入力画像データIDa’は登録画像IDaの画像デー
タであると判断され、この入力画像データIDa’に対する画像処理の実行は禁止される。
【0119】
図15(b)に示すように、入力画像データIDb’は、実際に登録画像IDbの画像データなので、登録画像IDbに対する類似度が最も高くなる(この図の例では類似度100%)。なお、登録画像IDbと登録画像IDaとはもともと類似度が比較的高いので、入力画像データIDb’の登録画像IDaに対する類似度も比較的高くなる(この図に示す例では85%)。しかしながら、入力画像データIDb’は登録画像IDbを読み取って取得したデータなので、登録画像IDaに対する類似度が登録画像IDbに対する類似度よりも高くなることはない。したがって、入力画像データIDb’は登録画像IDbの画像データであると判断され、画像処理の実行を許可される。
【0120】
なお、図15(c)に示すように、入力画像データIDc’については、算出される類似度は閾値よりも低くなり、画像処理の実行は許可される。
【0121】
したがって、例えば、管理者が、図14(b)のように本来は画像処理の実行を禁止する登録画像の画像データではないにもかかわらず、登録画像の画像データであると誤判定された入力画像データ(入力画像データIDb’)について、例外登録画像として登録することで、その後、この入力画像データに対する画像処理を実行することが可能になる。つまり、誤判定によって画像処理の実行が禁止されたり制限されたりすることを防止できる。
【0122】
なお、図15(b)の例では、登録画像IDbに対する類似度(100%)、および登録画像IDaに対する類似度(85%)の両方が類似性判定の閾値(80%)を超えている。そして、本実施形態では、このように複数の登録画像に対する類似度が類似性判定の閾値を超えている場合、最も類似度の高い登録画像に基づいて(最も類似度の高い登録画像が例外登録画像であるか否かに基づいて)、画像処理の実行の禁止または制限の要否を決定している。しかしながら、これに限らず、例えば、画像処理の実行を禁止または制限する登録画像に対する類似度が類似性判定の閾値よりも高い第2閾値(例えば90%)以上の場合、あるいは画像処理の実行を禁止または制限する登録画像に対する類似度の画像処理の実行を許可する登録画像に対する類似度の最大値に対する割合が所定値(例えば90%)以上である場合、あるいは画像処理の実行を許可する登録画像に対する類似度の最大値と画像処理の実行を禁止または制限する登録画像に対する類似度との差が所定値(例えば5%)未満である場合などには、画像処理の実行を禁止または制限する登録画像に対する類似度が画像処理の実行を許可する登録画像に対する類似度よりも低い場合であっても、画像処理の実行を禁止または制限するようにしてもよい。これにより、画像処理の実行を禁止または制限する登録画像についてのセキュリティ性を向上させることができる。
【0123】
また、本実施形態では、画像処理の実行を禁止または制限する登録画像に対する類似度が類似性判定の閾値以上であっても、この類似度よりも画像処理の実行を許可する例外登録画像に対する類似度の方が大きい場合には、画像処理の実行を全て許可するものとしているが、これに限るものではない。例えば、画像処理の実行を禁止または制限する登録画像に対する類似度が類似性判定の閾値以上であって、この類似度よりも画像処理の実行を許可する例外登録画像に対する類似度の方が大きい場合に、画像処理の実行を許可する内容を設定しておいてもよい(例えば、複写,印刷,ファイリング,画像データの補正,編集のうちの一部の処理については実行を許可するが、残りの処理については実行を許可しないように設定しておくなど)。この場合、例えば、例外登録画像リスト103に、例外登録画像のIDと、画像処理の実行を許可する内容を示す情報とを関連付けて記憶させておき、制御部7が、要求されている画像処理内容と、該当する例外登録画像に対応付けて記憶されている情報とに基づいて、画像処理の実行を許可すべきか禁止すべきかを決定す
ればよい。
【0124】
また、本実施形態では、登録画像に対して類似ありと判定された場合には原則として処理の実行を禁止し、この登録画像が例外登録画像である場合には例外的に処理の実行を許可する構成について説明した。しかしながら、これに限らず、例えば、登録画像に対して類似ありと判定された場合に原則として処理の実行を許可し(類似なしの場合には処理の実行を禁止し)、この登録画像が例外登録画像である場合には例外的に処理の実行を禁止または制限する構成としてもよい。
【0125】
また、本実施形態では、本発明をデジタルカラー複合機1に適用する場合について説明したが、本発明の適用対象はこれに限るものではない。例えば、モノクロの複合機に適用してもよい。また、複合機に限らず、例えば単体のファクシミリ通信装置、複写機、画像読取装置などに適用してもよい。
【0126】
図16は、本発明をフラットベッドスキャナ(画像読取装置、画像処理装置)1’に適用した場合の構成例を示すブロック図である。
【0127】
この図に示すように、フラットベッドスキャナ1’は、カラー画像入力装置2とカラー画像処理装置3’とを備えている。カラー画像処理装置3’は、A/D変換部11、シェーディング補正部12、文書照合処理部13、制御部7(図16では図示せず)、メモリ8(図16では図示せず)から構成されており、これに、カラー画像入力装置2が接続され、全体として画像読取装置1’を構成している。なお、カラー画像入力装置(画像読取手段)2におけるA/D変換部11、シェーディング補正部12、文書照合処理部13、制御部7、メモリ8の機能は、上述したデジタルカラー複合機1と略同様であるのでここでは説明を省略する。
【0128】
また、本実施形態では、管理者フォルダ8Aがデジタルカラー複合機1に備えられているものとしたが、これに限らず、例えばデジタルカラー複合機1に通信可能に接続される外部装置(サーバー装置等)に管理者フォルダ8Aを設けてもよい。
【0129】
図17は、管理者フォルダ8Aを備えたサーバー装置50と、このサーバー装置50にネットワークを介して通信可能に接続された複合機(MFP)A,B,・・・、プリンタA,B,・・・、ファクシミリA,B,・・・、コンピュータA,B,・・・、デジタルカメラA,B,・・・、スキャナA,B,・・・とを備えてなる画像処理システム100の構成を示す説明図である。なお、画像処理システム100の構成はこれに限るものではなく、例えば、サーバー装置50と、複合機、プリンタ(画像形成装置)、ファクシミリ、コンピュータ、デジタルカメラ(画像読取装置)、スキャナ(画像読取装置)のうちのいずれか1つ以上とからなるものであってもよい。
【0130】
上記スキャナは、原稿台、光走査部、CCD(charge coupled device)等を備えており、原稿台に載置された原稿画像を光走査部によって走査することで原稿画像を読み込んで画像データを生成する。また、上記デジタルカメラは、撮像レンズ、CCD等(画像入力装置)を備えており、原稿画像、人物や風景等を撮影して画像データを生成する。なお、上記スキャナおよびデジタルカメラは、画像を適切に再現するために所定の画像処理(例えば各種補正処理等)を施す機能を有していてもよい。上記プリンタは、コンピュータ、スキャナ、デジタルカメラによって生成された画像データに基づく画像をシート(記録用紙)に印刷する。また、上記ファクシミリは、画像入力装置より読み込まれた画像データに対して、2値化処理、解像度変換処理、回転等の処理を行って所定の形式に圧縮した画像データを相手先に送信したり、相手先から送信されてきた画像データを伸張して画像出力装置の性能に応じて回転処理や解像度変換処理、中間調処理を施し、ページ単位の画像
として出力したりする。また、上記複合機は、スキャナ機能、ファクシミリ送信機能、印刷機能(複写機能、プリンタ機能)のうちの少なくとも2つ以上を有するものである。また、上記コンピュータは、スキャナやデジタルカメラにより読み込まれた画像データに対して編集を行ったり、アプリケーションソフトウェアを用いて文書の作成を行ったりする。
【0131】
サーバー装置50にネットワークを介して接続される上記各装置は、それぞれ、制御部7および文書照合処理部13を備えている。そして、類似性判定の結果、類似あり(入力画像データが登録画像の画像データである)と判定した場合、制御部7が入力画像データおよび装置ID等(入力画像データをサーバー装置50に送信した装置を特定するための情報)をサーバー装置50に送信させ、サーバー装置50の制御部(図示せず)がこのサーバー装置50に備えられた管理者フォルダ8Aに受信した情報を格納するようになっている。また、類似ありと判定された場合であって、ユーザが処理の続行を希望し、かつユーザ認証処理の結果、処理の続行を許可した場合には、制御部7が当該入力画像データに対するログおよび装置ID等をサーバー装置50に送信させ、サーバー装置50の制御部(図示せず)がこのサーバー装置50に備えられた管理者フォルダ8Aに受信した情報を格納するようになっている。
【0132】
また、本実施形態では、類似性判定処理をデジタルカラー複合機1に備えられた文書照合処理部13において行っているが、これに限るものではない。例えば、制御部7および文書照合処理部13が有する機能の一部または全部を、デジタルカラー複合機1に通信可能に接続された外部装置において実行するようにしてもよい。
【0133】
図18は、制御部7および文書照合処理部13が有する機能の一部が、サーバー装置50に備えられている場合の構成例を示すブロック図である。
【0134】
図18に示すように、デジタルカラー複合機1のカラー画像処理装置3は、特徴点算出部31および特徴量算出部32を備えた文書照合処理部13aと、文書照合処理部13aの動作を制御する制御部7aと、文書照合処理部13aの処理に必要な情報を記憶するメモリ8aと、外部の装置との通信を行う通信装置5とを備えている。また、サーバー装置50は、外部の装置との通信を行う通信装置51と、投票処理部33、類似度判定処理部34、および登録処理部35を備えた文書照合処理部13bと、文書照合処理部13bを制御する制御部7bと、文書照合処理部13bの処理に必要な情報を記憶するメモリ8bとを備えている。なお、デジタルカラー複合機1に備えられる各機能ブロックとサーバー装置50に備えられる各機能ブロックとの間でデータの送受信が必要な場合には、制御部7aおよび制御部7bが通信装置5および51を制御して適宜データの送受信を行う。その他の機能については上述した構成と同様である。
【0135】
また、図18の例では、特徴量算出部32の全部(特徴点抽出部32a、不変量算出部32b、ハッシュ値算出部32c)がデジタルカラー複合機1に備えられているが、これに限らず、例えば図19に示すように、特徴点抽出部32aおよび不変量算出部32bをデジタルカラー複合機1に備える一方、ハッシュ値算出部32cをサーバー装置50に備えた構成としてもよい。
【0136】
また、特徴量算出部32の各部をサーバー装置50に備えておき、特徴点算出部31の算出した特徴点に関するデータをデジタルカラー複合機1からサーバー装置50に送信し、サーバー装置50に備えられる特徴量算出部32がメモリ8bに格納されているハッシュテーブル102と受信した特徴点のデータとに基づいてハッシュ値を算出するようにしてもよい。また、特徴点算出部31および特徴量算出部32の各部をサーバー装置50に備えておき、デジタルカラー複合機1からサーバー装置50に入力画像データを送信し、
サーバー装置50に備えられる特徴点算出部31および特徴量算出部32がサーバー装置50から受信した入力画像データとメモリ8bに格納されているハッシュテーブル102とに基づいてハッシュ値を算出するようにしてもよい。
【0137】
また、上記の説明では、類似性の判定処理を行う場合の例について説明したが、登録処理を行う場合には、サーバー装置50に備えられる登録処理部35が、デジタルカラー複合機1から受信した原稿IDとハッシュ値(あるいはサーバー装置50に備えられるハッシュ値算出部32cが算出したハッシュ値)とをメモリ8bに設けられたハッシュテーブル102に登録すればよい。なお、類似性判定処理を行うか登録処理を行うかは、デジタルカラー複合機1のユーザが操作パネル6を介して指定し、何れの処理を行うのかを示す信号をサーバー装置50に送信するようにしてもよく、サーバー装置50が類似性判定処理の結果、類似なしと判定した入力画像について登録処理を行うようにしてもよい。
【0138】
なお、ハッシュ値算出部32cをサーバー装置50に備える場合、ハッシュテーブル102に格納されているハッシュ値の算出方法とは異なる方法で(別のハッシュ関数を用いて)ハッシュ値を算出し、算出したハッシュ値を採用してハッシュテーブル102を更新してもよい。これにより、例えば原稿画像の種類等に応じて特徴量(不変量)を参照した適切なハッシュ値をハッシュテーブル102に登録(更新)することができ、それを用いて投票処理を行えるので、照合精度(類似性の判定精度)を向上させることができる。
【0139】
また、本実施形態では、類似性判定の結果、類似ありと判定した場合に、入力画像データを管理者フォルダ8Aに格納するものとしているが、これに加えて、例えばOCR(Optical Character Recognition)処理によって入力画像データから抽出した文字情報を格納するようにしてもよい。この場合、例えば、デジタルカラー複合機1に入力画像データから文字情報(テキストデータ)を抽出するOCR処理部を備えておき、このOCR処理部が抽出したテキストデータを制御部7が管理者フォルダ8Aに格納させるようにすればよい。
【0140】
〔実施形態2〕
本発明の他の実施形態について説明する。なお、説明の便宜上、実施形態で説明した部材と同様の機能を有する部材については同じ符号を付し、その説明を省略する。
【0141】
図22は、本実施形態にかかるデジタルカラー複合機1に備えられる文書照合処理部13bの概略構成を示すブロック図である。なお、本実施形態にかかるデジタルカラー複合機1は、文書照合処理部13に代えて文書照合処理部13bを備えている点以外は実施形態1におけるデジタルカラー複合機1と同様の構成である。
【0142】
文書照合処理部13bは、図22に示すように、実施形態1における文書照合処理部13に加えて、メモリ8内に設けられた仮登録情報記憶部9と登録データ削除部36とを備えている。
【0143】
実施形態1では、類似度判定処理部34が、投票処理部33の投票処理結果に基づいて、各登録画像の得票数を算出し、得票数が閾値以上であって得票数が最高である登録画像に対して類似性ありと判定していた。しかしながら、この判定方法だけでは、登録画像に対する類似性を正確に判定できない場合が起こりうる。
【0144】
この点について、具体例を挙げて詳細に説明する。図23(a)は、入力画像データに含まれる照合対象画像α、登録画像A,B、および投票処理部33による照合対象画像αについての登録画像A,Bに対する投票結果を示す説明図である。なお、照合対象画像αは登録画像Bと同じ画像である。また、図23(b)は、入力画像データに含まれる照合
対象画像α'、登録画像A',B'、および投票処理部33による照合対象画像α'についての登録画像A',B'に対する投票結果を示す説明図である。なお、照合対象画像α'は登録画像B'と同じ画像である。
【0145】
図23(a)に示すように、登録画像AとBとの類似度が低い場合、これら各登録画像および照合対象画像αにおける同一内容部分は画像全体に対して相対的に少なくなり、異なる内容部分は相対的に多くなる。この場合、図23(a)の投票結果に示したように、両登録画像に対する投票結果にノイズによる得票が含まれていたとしても、異なる内容部分に対する得票数の差が大きくなるので、誤判定は比較的生じにくい。
【0146】
一方、図23(b)に示すように、登録画像A’とB’との類似度が高い場合、これら各登録画像および照合対象画像α’における同一内容部分は画像全体に対して相対的に多くなり、異なる内容部分は相対的に少なくなる。この場合、図23(b)の投票結果に示したように、異なる内容部分に対する得票数の差が小さくなるので、両登録画像に対する投票結果にノイズによる得票が含まれていると、誤判定が生じやすい。なお、両登録画像の得票総数の差が、ノイズによる差なのか、実際の画像内容の相違に基づく差なのかを識別することは困難である。
【0147】
そこで、本実施形態では、制限登録画像あるいは許可登録画像を登録する際、まず、新規に登録する画像の仮登録を行い、その後、新規に登録する画像をカラー画像読取装置2で再度読み込んだ画像と、登録済みの登録画像および上記の仮登録した画素との類似度判定を行う。そして、登録済みの登録画像に対する類似度と仮登録した画像に対する類似度との差が予め設定した閾値以上であるには上記の仮登録した画像の登録を行う一方、閾値未満である場合には識別不可と判断して上記の仮登録した画像の登録を行わないようになっている。
【0148】
仮登録情報記憶部9は、上記の仮登録する画像のID(仮登録ID;仮登録識別子)と特徴量とを対応付けて記憶するメモリである。なお、仮登録する画像の特徴量については、ハッシュテーブル102に上記仮登録IDと対応付けて格納してもよく、ハッシュテーブル102とは異なるテーブル(図示せず)に上記仮登録IDと対応付けて格納してもよい。
【0149】
登録データ削除部36は、仮登録した画像について識別不可と判断した場合に、当該画像の仮登録IDおよび特徴量を仮登録情報記憶部9から削除する。なお、特徴量をハッシュテーブル102あるいは他のテーブルに記憶させている場合には、仮登録情報記憶部9から仮登録IDを削除するとともに、ハッシュテーブル102あるいは他のテーブルに記憶している上記特徴量を削除する。
【0150】
図23は、文書照合処理部13bにおける処理の流れを示すフロー図である。
【0151】
まず、制御部7は、実施形態1と同様(図12参照)、入力画像データ、および、操作パネル6あるいは通信装置5を介してユーザから入力される処理要求(指示入力)を取得し(S1、S2)、上記処理要求によって要求されている処理が登録処理であるか否かを判断する(S3)。そして、登録処理ではない場合には、図12におけるS11〜S18の処理を行う。
【0152】
一方、登録処理である場合、制御部7は、処理を要求しているユーザが管理者情報記憶部101に登録された管理者であるか否かの認証処理を行う(S21)。例えば、制御部7は、操作パネル6あるいは通信装置5を介してユーザが入力したユーザ情報(ユーザID、パスワード等)を取得し、取得したユーザ情報と管理者情報記憶部101に登録され
ている管理者情報(管理者のユーザ情報)とを照合することによって認証処理を行う。
【0153】
そして、認証に成功したか否かを判断し(S22)、認証に失敗したと判断した場合には処理を終了する。
【0154】
一方、S21において認証処理に成功した場合、制御部7は、文書照合処理部13の各部を制御し、S1で取得した入力データについて特徴点算出処理(S23)および特徴量算出処理(S24)を行わせ、この原稿についての仮登録IDおよび特徴量を仮登録ID記憶部9に記憶させる(S25)。
【0155】
次に、上記の仮登録する原稿をカラー画像入力装置2で再度読み込んだ画像データを取得し、この再読み込みを行った画像の特徴点および特徴量を算出し、ハッシュテーブル102に登録されている登録画像および仮登録情報記憶部9に記憶させた上記の仮登録画像に対する投票処理(S26)および類似性判定処理(S27)を行わせる。
【0156】
そして、この類似性判定処理の結果、類似性ありと判定された原稿が複数存在するか否かを判断する(S28)。ここで、類似性ありと判定された原稿が複数存在していないと判断した場合、制御部7は、後述するS31以降の処理を行う。
【0157】
一方、類似性ありと判定された原稿が複数存在すると判断した場合、制御部7は、類似性ありと判定された各原稿に対する類似度の差分を算出し(S29)、この差分が予め定めた閾値以上であるか否かを判断する(S30)。なお、本実施形態では、上記の閾値を、得票数が最も大きい原稿の類似度の5%とする。
【0158】
そして、S28で類似性ありと判定された原稿が複数存在していないと判断した場合、およびS30で上記差分が閾値以上であると判断した場合、制御部7は、上記の仮登録原稿について識別可能であると判断し、登録処理部35を制御して上記の仮登録原稿をハッシュテーブル102に正式に登録させる(S31)。例えば、仮登録情報記憶部9に仮登録IDと特徴量とを記憶させている場合には、この特徴量と正式登録用のIDとを対応付けてハッシュテーブル102に登録させればよい。また、ハッシュテーブル102に仮登録IDと特徴量とを対応付けて記憶させている場合には、記憶させている仮登録IDを正式登録用のIDに変更すればよい。また、ハッシュテーブル102への正式登録を行った後、制御部7が、登録データ削除部36を制御して仮登録情報記憶部9に記憶させておいた情報を削除させるようにしてもよい。
【0159】
その後、制御部7は、上記処理要求によって要求されている処理が登録画像(処理の実行を禁止または制限する画像)の登録処理であるか、例外登録画像(処理の実行を許可する画像)の登録処理であるかを判断する(S32)。そして、例外登録画像の登録処理でない場合、制御部7は処理を終了する。一方、例外登録画像の登録処理である場合、制御部7は、登録処理部35を制御して例外登録画像リスト103に当該画像のIDを登録させ(S33)、処理を終了する。
【0160】
一方、S30で上記差分が閾値未満であると判断した場合、制御部7は、上記の仮登録原稿について識別不可能であると判断し、登録できない旨を操作パネル6の表示部に表示させるとともに(S34)、登録データ削除部36を制御して仮登録情報記憶部9に記憶させておいた情報を削除させて処理を終了する。
【0161】
なお、S28において類似性ありと判定された原稿が複数存在すると判断した場合に、これら複数の原稿の中に許可登録画像および制限登録画像の両方が含まれているか否かをさらに判断し、両方が含まれている場合にはS29以降の処理を行う一方、一方のみが含
まれている場合にはS31以降の処理を行うようにしてもよい。
【0162】
また、上記各実施形態において、デジタルカラー複合機1および/またはサーバー装置50に備えられる文書照合処理部および制御部を構成する各部(各ブロック)は、CPU等のプロセッサを用いてソフトウェアによって実現される。すなわち、デジタルカラー複合機1および/またはサーバー装置50は、各機能を実現する制御プログラムの命令を実行するCPU(central processing unit)、上記プログラムを格納したROM(read only memory)、上記プログラムを展開するRAM(random access memory)、上記プログラムおよび各種データを格納するメモリ等の記憶装置(記録媒体)などを備えている。そして、本発明の目的は、上述した機能を実現するソフトウェアであるデジタルカラー複合機1および/またはサーバー装置50の制御プログラムのプログラムコード(実行形式プログラム、中間コードプログラム、ソースプログラム)をコンピュータで読み取り可能に記録した記録媒体を、デジタルカラー複合機1および/またはサーバー装置50に供給し、そのコンピュータ(またはCPUやMPU)が記録媒体に記録されているプログラムコードを読み出し実行することによって達成される。
【0163】
上記記録媒体としては、例えば、磁気テープやカセットテープ等のテープ系、フロッピー(登録商標)ディスク/ハードディスク等の磁気ディスクやCD−ROM/MO/MD/DVD/CD−R等の光ディスクを含むディスク系、ICカード(メモリカードを含む)/光カード等のカード系、あるいはマスクROM/EPROM/EEPROM/フラッシュROM等の半導体メモリ系などを用いることができる。
【0164】
また、デジタルカラー複合機1および/またはサーバー装置50を通信ネットワークと接続可能に構成し、通信ネットワークを介して上記プログラムコードを供給してもよい。この通信ネットワークとしては、特に限定されず、例えば、インターネット、イントラネット、エキストラネット、LAN、ISDN、VAN、CATV通信網、仮想専用網(virtual private network)、電話回線網、移動体通信網、衛星通信網等が利用可能である。また、通信ネットワークを構成する伝送媒体としては、特に限定されず、例えば、IEEE1394、USB、電力線搬送、ケーブルTV回線、電話線、ADSL回線等の有線でも、IrDAやリモコンのような赤外線、Bluetooth(登録商標)、802.11無線、HDR、携帯電話網、衛星回線、地上波デジタル網等の無線でも利用可能である。なお、本発明は、上記プログラムコードが電子的な伝送で具現化された、搬送波に埋め込まれたコンピュータデータ信号の形態でも実現され得る。
【0165】
また、デジタルカラー複合機1および/またはサーバー装置50の各ブロックは、ソフトウェアを用いて実現されるものに限らず、ハードウェアロジックによって構成されるものであってもよく、処理の一部を行うハードウェアと当該ハードウェアの制御や残余の処理を行うソフトウェアを実行する演算手段とを組み合わせたものであってもよい。
【0166】
本発明のコンピュータシステムは、フラットベッドスキャナ・フィルムスキャナ・デジタルカメラなどの画像入力装置、所定のプログラムがロードされることにより上記類似度算出処理や類似性判定処理など様々な処理が行われるコンピュータ、コンピュータの処理結果を表示するCRTディスプレイ・液晶ディスプレイなどの画像表示装置、およびコンピュータの処理結果を紙などに出力するプリンタ等の画像形成訴追により構成されてもよい。さらには、ネットワークを介してサーバーなどに接続するための通信手段としてのネットワークカードやモデムなどが備えられていてもよい。
【0167】
本発明は上述した実施形態に限定されるものではなく、請求項に示した範囲で種々の変更が可能である。すなわち、異なる実施形態にそれぞれ開示された技術的手段や請求項に示した範囲で適宜変更した技術的手段を組み合わせて得られる実施形態についても本発明
の技術的範囲に含まれる。
【産業上の利用可能性】
【0168】
本発明は、入力画像データと予め登録された登録画像との類似度を判定し、判定結果に応じた制御を行う画像処理装置および画像処理方法に適用できる。
【図面の簡単な説明】
【0169】
【図1】本発明の一実施形態にかかる画像処理装置に備えられる文書照合処理部の概略構成を示すブロック図である。
【図2】本発明の一実施形態にかかる画像処理装置の概略構成を示すブロック図である。
【図3】図2に示した画像処理装置に備えられる特徴点算出部の概略構成を示すブロック図である。
【図4】図2に示した画像処理装置のMTF処理部に備えられる混合フィルタのフィルタ係数の一例を示す説明図である。
【図5】図2に示した画像処理装置の特徴点算出部によって入力画像データから抽出される連結領域およびこの連結領域の重心の一例を示す説明図である。
【図6】図2に示した画像処理装置の特徴点算出部によって入力画像データに含まれる文字列から抽出された複数の連結領域の各重心(特徴点)の一例を示す説明図である。
【図7】図2に示した画像処理装置の特徴量算出部によって特徴量を算出する際に抽出される注目特徴点および周辺特徴点の一例を示す説明図である。
【図8】(a)〜(c)は、図2に示した画像処理装置の特徴量算出部によって特徴量を算出する際に抽出される注目特徴点および周辺特徴点の組み合わせの一例を示す説明図である。
【図9】(a)〜(c)は、図2に示した画像処理装置の特徴量算出部によって特徴量を算出する際に抽出される注目特徴点および周辺特徴点の組み合わせの一例を示す説明図である。
【図10】(a)および(b)は、図2に示した画像処理装置において、ハッシュテーブルに登録される各特徴点についてのハッシュ値および入力画像データを表すインデックスの一例を示す説明図である。
【図11】図2に示した画像処理装置の投票処理部における、各登録画像に対する投票数の一例を示すグラフである。
【図12】図2に示した画像処理装置における処理の流れを示すフロー図である。
【図13】図2に示した画像処理装置において用いられる例外登録画像リストの一例を示す説明図である。
【図14】(a)〜(c)は、図2に示した画像処理装置における類似度算出結果の一例を示すグラフである。
【図15】(a)〜(c)は、図2に示した画像処理装置における類似度算出結果の一例を示すグラフである。
【図16】本発明の一実施形態にかかる画像処理装置の変形例を示すブロック図である。
【図17】本発明の一実施形態にかかる画像処理システムの構成を示す説明図である。
【図18】本発明の一実施形態にかかる画像処理システムの一構成例を示すブロック図である。
【図19】本発明の一実施形態にかかる画像処理システムの他の構成例を示すブロック図である。
【図20】(a)〜(d)は、本発明の一実施形態にかかる画像処理装置の特徴量算出部によって特徴量を算出する際に抽出される注目特徴点および周辺特徴点の組み合わせの一例を示す説明図である。
【図21】(a)〜(d)は、本発明の一実施形態にかかる画像処理装置の特徴量算出部によって特徴量を算出する際に抽出される注目特徴点および周辺特徴点の組み合わせの一例を示す説明図である。
【図22】本発明の他の実施形態にかかる画像処理装置に備えられる文書照合処理部の概略構成を示すブロック図である。
【図23】(a)および(b)は、図1に示した文書照合処理部において照合処理を行う照合対象画像、登録画像、および投票結果の一例を示す説明図である。
【図24】図22に示した文書照合処理部における処理の流れを示すフロー図である。
【符号の説明】
【0170】
1 デジタルカラー複合機(画像処理装置、画像形成装置、画像読取装置、画像処理装置)
1’ フラットベッドスキャナ(画像処理装置、画像読取装置)
2 カラー画像入力装置(入力データ取得部、画像入力装置)
3,3’ カラー画像処理装置(画像処理装置)
4 カラー画像出力装置(画像出力部)
5 通信装置(入力データ取得部、送信装置)
6 操作パネル(処理入力部)
7,7a,7b 制御部
8,8a,8b メモリ(記憶部)
8A 管理者フォルダ
9 仮登録情報記憶部
13,13a,13b 文書照合処理部(類似度算出部)
31 特徴点算出部
32 特徴量算出部
32a 特徴点抽出部
32b 不変量算出部
32c ハッシュ値算出部
33 投票処理部(類似度算出部)
34 類似度判定処理部
35 登録処理部
36 登録データ削除部
50 サーバー装置
100 画像処理システム
101 管理者情報記憶部
102 ハッシュテーブル
103 例外登録画像リスト(識別情報)

【特許請求の範囲】
【請求項1】
入力画像データを取得する入力データ取得部と、上記入力画像データの特徴量を抽出する特徴量抽出部と、登録画像の特徴量を記憶した記憶部および通信可能に接続された外部装置から登録画像の特徴量を取得する登録画像取得部のうちの少なくとも一方と、入力画像データの特徴量と登録画像の特徴量とを比較して両画像の類似度を算出する類似度算出部と、上記類似度が予め定められた閾値以上であるか否かに応じて上記入力画像データに対する画像処理の実行の禁止または制限の要否を決定する制御部とを備えた画像処理装置であって、
上記登録画像には、画像処理の実行を許可する登録画像である許可登録画像と、画像処理の実行を禁止または制限する登録画像である制限登録画像とがあり、
上記許可登録画像と上記制限登録画像とを識別するための識別情報を上記記憶部または上記外部装置から取得する識別情報取得部を備え、
上記制御部は、上記類似度算出部の算出した類似度の最大値が上記閾値以上である場合、類似度が最大値である登録画像が許可登録画像である場合には上記入力画像データに対する画像処理の実行を許可し、類似度が最大値である登録画像が制限登録画像である場合には上記入力画像データに対する画像処理の実行を禁止または制限することを特徴とする画像処理装置。
【請求項2】
入力画像データを取得する入力データ取得部と、上記入力画像データの特徴量を抽出する特徴量抽出部と、画像処理の実行を禁止または制限する制限登録画像の特徴量を記憶した記憶部および通信可能に接続された外部装置から制限登録画像の特徴量を取得する登録画像取得部のうちの少なくとも一方と、入力画像データの特徴量と制限登録画像の特徴量とを比較して両画像の類似度を算出する類似度算出部と、上記類似度が予め定められた閾値以上である場合に、この入力画像データに対する画像処理の実行を禁止または制限する制御部とを備えた画像処理装置であって、
画像処理の実行を許可する許可登録画像の特徴量と、上記制限登録画像と上記許可登録画像とを識別するための識別情報とを、上記記憶部または上記外部装置に備えられる第2記憶部に記憶させる登録処理部を備え、
上記類似度算出部は、上記入力画像データの上記制限登録画像に対する類似度と、上記入力画像データの上記許可登録画像に対する類似度とを算出し、
上記制御部は、上記制限登録画像に対する類似度が上記閾値以上である場合であって、かつ上記許可登録画像に対する類似度が上記制限登録画像に対する類似度よりも大きい場合には、上記入力画像データに対する画像処理の実行を許可することを特徴とする画像処理装置。
【請求項3】
入力画像データを取得する入力データ取得部と、上記入力画像データの特徴量を抽出する特徴量抽出部と、画像処理の実行を許可する許可登録画像の特徴量を記憶した記憶部および通信可能に接続された外部装置から許可登録画像の特徴量を取得する登録画像取得部のうちの少なくとも一方と、入力画像データの特徴量と許可登録画像の特徴量とを比較して両画像の類似度を算出する類似度算出部と、上記類似度が予め定められた閾値以上である場合にこの入力画像データに対する画像処理の実行を許可する画像処理装置であって、
画像処理の実行を禁止または制限する制限登録画像の特徴量と、上記許可登録画像と上記制限登録画像とを識別するための識別情報とを、上記記憶部または上記外部装置に備えられる第2記憶部に記憶させる登録処理部を備え、
上記類似度算出部は、上記入力画像データの上記許可登録画像に対する類似度と、上記入力画像データの上記制限登録画像に対する類似度とを算出し、
上記制御部は、上記許可登録画像に対する類似度が上記閾値以上である場合であって、かつ上記制限登録画像に対する類似度が上記許可登録画像に対する類似度よりも大きい場合には、上記入力画像データに対する画像処理の実行を禁止または制限することを特徴と
する画像処理装置。
【請求項4】
上記制御部は、上記類似度算出部の算出した類似度が最大値である登録画像が許可登録画像であり、制限登録画像に対する類似度が上記閾値よりも大きい第2閾値以上である場合、あるいは制限登録画像に対する類似度が上記第2閾値以上であってかつ上記最大値と上記制限登録画像に対する類似度との差が所定値以下である場合に、上記入力画像データに対する画像処理の実行を禁止または制限することを特徴とする請求項1に記載の画像処理装置。
【請求項5】
登録を要求されている画像である登録対象画像についての情報を記憶する仮登録情報記憶部を備え、
上記制御部は、上記登録画像として上記登録対象画像を登録する際、
上記登録対象画像に仮登録識別子を付与するとともに、上記仮登録識別子と当該登録対象画像から抽出した特徴量とを上記仮登録情報記憶部に記憶させる処理と、
上記登録対象画像に対応する原稿を画像読取手段で再読み込みして得られた再読込画像を取得し、この再読込画像から抽出した特徴量に基づいて、上記仮登録情報記憶部に記憶させた上記登録対象画像および既に上記記憶部または上記第2記憶部に登録済みの登録画像に対する類似度を算出し、類似度が予め定めた閾値以上である画像が複数存在するか否かを判断する処理と、
複数存在しないと判断した場合に、上記登録処理部によって上記登録対象画像を上記記憶部または上記第2記憶部に登録画像として正式に登録させる処理と、
複数存在すると判断した場合に、これら複数の画像に対する上記類似度の差を算出し、この差が所定値以上である場合には上記登録処理部によって上記登録対象画像を上記記憶部または上記第2記憶部に登録画像として正式に登録させる一方、所定値未満である場合には上記登録対象画像の上記記憶部または上記第2記憶部への正式登録を禁止する処理とを行うことを特徴とする請求項1から4のいずれか1項に記載の画像処理装置。
【請求項6】
上記の差が所定値未満である場合に、上記仮登録情報記憶部に記憶させておいた上記登録対象画像についての情報を削除する登録データ削除部を備えていることを特徴とする請求項5に記載の画像処理装置。
【請求項7】
請求項1〜6のいずれか1項に記載の画像処理装置と、入力画像データに応じた画像を記録材上に形成する画像出力部とを備えていることを特徴とする画像形成装置。
【請求項8】
請求項1〜6のいずれか1項に記載の画像処理装置と、入力画像データを通信可能に接続された他の装置に送信する送信装置とを備えていることを特徴とする画像送信装置。
【請求項9】
原稿画像を読み取って入力画像データを取得する画像入力装置と、
請求項1〜6のいずれか1項に記載の画像処理装置とを備えていることを特徴とする画像読取装置。
【請求項10】
入力画像データを取得する入力データ取得工程と、入力画像データの特徴量を抽出する特徴量抽出工程と、登録画像の特徴量を取得する登録データ取得工程と、入力画像データの特徴量と登録画像の特徴量とを比較して両画像の類似度を算出する類似度算出工程と、上記類似度が予め定められた閾値以上であるか否かに応じて上記入力画像データに対する画像処理の実行の禁止または制限の要否を決定する処理制限工程とを含む画像処理方法であって、
上記登録画像には、画像処理の実行を許可する登録画像である許可登録画像と、画像処理の実行を禁止または制限する登録画像である制限登録画像とがあり、
許可登録画像と制限登録画像とを識別するための識別情報を取得する識別情報取得工程
を含み、
上記処理制限工程では、上記類似度算出工程で算出した類似度の最大値が上記閾値以上である場合、類似度が最大値である登録画像が許可登録画像である場合には上記入力画像データに対する画像処理の実行を許可し、類似度が最大値である登録画像が制限登録画像である場合には上記入力画像データに対する画像処理の実行を禁止または制限することを特徴とする画像処理方法。
【請求項11】
画像処理装置と、この画像処理装置に対して通信可能に接続されたサーバー装置とを備え、
入力画像データを取得する入力データ取得部と、登録画像の特徴量を記憶した記憶部と、入力画像データの特徴量と登録画像の特徴量とを比較して両画像の類似度を算出する類似度算出部と、上記類似度が予め定められた閾値以上であるか否かに応じて上記入力画像データに対する画像処理の実行の禁止または制限の要否を決定する制御部とが、上記画像処理装置と上記サーバー装置とに分散して備えられている画像処理システムであって、
上記登録画像には、画像処理の実行を許可する登録画像である許可登録画像と、画像処理の実行を禁止または制限する登録画像である制限登録画像とがあり、
上記許可登録画像と上記制限登録画像とを識別するための識別情報を上記記憶部または上記外部装置から取得する識別情報取得部を備え、
上記制御部は、上記類似度算出部の算出した類似度の最大値が上記閾値以上である場合であって、類似度が最大値である登録画像が許可登録画像である場合には上記入力画像データに対する画像処理の実行を許可し、類似度が最大値である登録画像が制限登録画像である場合には上記入力画像データに対する画像処理の実行を禁止または制限することを特徴とする画像処理システム。
【請求項12】
請求項1〜6のいずれか1項に記載の画像処理装置を動作させるプログラムであって、コンピュータを上記各部として機能させるためのプログラム。
【請求項13】
請求項12に記載のプログラムを記録したコンピュータ読み取り可能な記録媒体。

【図1】
image rotate

【図2】
image rotate

【図3】
image rotate

【図4】
image rotate

【図5】
image rotate

【図6】
image rotate

【図7】
image rotate

【図8】
image rotate

【図9】
image rotate

【図10】
image rotate

【図11】
image rotate

【図12】
image rotate

【図13】
image rotate

【図14】
image rotate

【図15】
image rotate

【図16】
image rotate

【図17】
image rotate

【図18】
image rotate

【図19】
image rotate

【図20】
image rotate

【図21】
image rotate

【図22】
image rotate

【図23】
image rotate

【図24】
image rotate


【公開番号】特開2008−269582(P2008−269582A)
【公開日】平成20年11月6日(2008.11.6)
【国際特許分類】
【出願番号】特願2008−58611(P2008−58611)
【出願日】平成20年3月7日(2008.3.7)
【出願人】(000005049)シャープ株式会社 (33,933)
【Fターム(参考)】