画像処理装置、画像形成装置、画像処理システム、画像処理方法、画像処理プログラムおよびその記録媒体
【課題】照合キー画像が変倍画像、割付画像、あるいは低解像度画像であっても、この照合キー画像に類似する照合対象画像を精度よく検索する。
【解決手段】文書照合処理部３１４が、特徴量記憶部３１５に記憶されている第１解像度の照合キー画像から抽出された特徴量と照合対象画像の特徴量とを比較する第１比較処理の結果と、画像データ記憶部３１３に記憶されている第２解像度の照合キー画像から特徴量を抽出し、この抽出した特徴量と特徴量記憶部３１５に記憶されている照合対象画像の特徴量とを比較する第２比較処理の結果とに基づいて類似画像の検索を行う。
【解決手段】文書照合処理部３１４が、特徴量記憶部３１５に記憶されている第１解像度の照合キー画像から抽出された特徴量と照合対象画像の特徴量とを比較する第１比較処理の結果と、画像データ記憶部３１３に記憶されている第２解像度の照合キー画像から特徴量を抽出し、この抽出した特徴量と特徴量記憶部３１５に記憶されている照合対象画像の特徴量とを比較する第２比較処理の結果とに基づいて類似画像の検索を行う。
【発明の詳細な説明】
【技術分野】
【０００１】
本発明は、照合キー画像の特徴量と照合対象画像の特徴量とを比較して両画像の類似判定を行う画像処理装置、画像形成装置、画像処理システム、画像処理方法、画像処理プログラムおよびその記録媒体に関するものである。
【背景技術】
【０００２】
従来より、スキャナで原稿画像を読み取って得られた画像データと事前に登録されている画像データとを比較して両者の類似度を判定する技術が種々提案されている。
【０００３】
類似度の判定方法としては、例えば、文字画像からＯＣＲ（Optical Character Reader）などでキーワードを抽出してマッチングを行う方法や、画像に含まれる罫線の特徴を抽出してマッチングを行う方法、画像データに含まれる文字列等を点（特徴点）に置き換え、これらの点の位置関係に基づいて算出される特徴量を用いてマッチングを行う方法などが提案されている。
【０００４】
また、特許文献１には、入力文書の特徴から文書のデジタル化により生じる歪みや入力文書と文書データベース中の整合する文書との間の差異に対し不変となるように選ばれるデスクリプタを生成し、このデスクリプタと、デスクリプタを記録しデスクリプタが抽出される特徴を含む文書のリストを指し示すデスクリプタデータベースとを用いて、入力文書と文書データベース中の文書とのマッチングを行う技術が開示されている。この技術では、デスクリプタデータベースがスキャンされるときに、文書データベース中の各文書に対する投票結果を集計し、最高得票数の１文書または得票数がある閾値を超えた文書を整合文書とするようになっている。
【０００５】
また、特許文献２には、英文文書における単語の重心、黒画素の連結成分の重心、漢字の閉鎖空間、画像中に繰り返し現れる特定部位などを特徴点として抽出し、抽出された各特徴点に対して局所的な特徴点の集合を決定し、決定された各集合から特徴点の部分集合を選択し、選択された各部分集合を特徴付ける量として部分集合中における特徴点の複数の組み合わせについて幾何学的変換に対する不変量をそれぞれ求め、求めた各不変量を特徴量とし、このように求めた特徴量に基づいて文書照合を行う技術が開示されている。
【特許文献１】特開平７−２８２０８８号公報（１９９５年１０月２７日公開）
【特許文献２】国際公開第ＷＯ２００６／０９２９５７Ａ１号パンフレット（公開日：２００６年９月８日）
【非特許文献１】中居 友弘、黄瀬 浩一、岩村 雅一著、「複比の投票に基づく文書画像検索と射影歪み補正」、画像の認識・理解シンポジウム（ＭＩＲＵ２００５）（情報処理学会 コンピュータビジョンとイメージメディア研究会主催）予稿集、ｐｐ．５３８−ｐｐ．５４５
【発明の開示】
【発明が解決しようとする課題】
【０００６】
しかしながら、上記した従来の技術では、照合キー画像の解像度と照合対象画像の解像度とが異なる場合に、これら両画像の類似性を精度よく判定できないという問題がある。
【０００７】
上記の問題点についてより詳細に説明する。なお、本明細書において、「照合キー画像」とは予め登録された画像に対する照合処理のキーとなる画像であり、「照合対象画像」とは上記照合処理を行う際の検索対象となる画像である。例えば、画像データＡに含まれる原稿画像に類似する画像が予め登録された画像群の中に含まれているか否かを判定する場合、上記画像データＡに含まれる原稿画像が照合キー画像であり、上記画像群に属する画像が照合対象画像となる。また、本明細書において、「登録画像」とは、画像処理装置あるいは画像処理システムに登録されている全ての画像を意味する。したがって、照合キー画像が画像処理装置あるいは画像処理システムに登録された画像である場合にはこの照合対象画像も登録画像に該当する。
【０００８】
画像の特徴量を用いて画像同士の類似性を判定する場合、画像同士の解像度を同じにして照合することで、最も判定精度が良くなる。これは、画像同士の解像度を揃えることで、判定の基準となる特徴量の抽出を同じ条件で行えるためである。
【０００９】
ところが、照合キー画像が変倍原稿や割付原稿を読み取って得られた画像である場合や、ＦＡＸジョブで取得した画像である場合などには、照合キー画像における原稿画像の画像サイズと、この原稿画像のオリジナルの画像サイズとが異なる。特に、読み込まれた原稿を順次登録していく画像ジョブログシステム等においては、一般に、変倍原稿や割付原稿を読み取って得られた画像やＦＡＸジョブで取得した画像を取得時の解像度で蓄積していくので、これらの画像に含まれる原稿画像のサイズが当該原稿画像のオリジナルの画像サイズ（上記原稿画像がデフォルトで処理された際の画像サイズ）と異なる場合が多い。
【００１０】
このため、照合対象画像の特徴量が原稿画像のオリジナルの画像サイズ（原稿画像がデフォルトで処理された際の画像サイズ）に基づいて算出されたものである場合、照合キー原稿を照合対象画像の取得時と同じ解像度（デフォルトの解像度）にて読み取ったとしても実質的な解像度が違ってくる。
【００１１】
そして、照合対象画像と照合キー画像との実質的な解像度が違うと、例えば、実際には互いに連結していない複数の画素連結領域について、高解像度の画像では互いに異なる画素連結領域として認識される一方、低解像度の画像では１つの画素連結領域と認識されてしまうといった不具合が生じる。その結果、類似性の判定精度が低下し、判定結果が異なってしまうという問題が生じる。
【００１２】
一例として、Ａ４サイズの原稿Ａ，Ｂのそれぞれを６００ｄｐｉで読み取った画像データ（照合対象画像）と、Ａ４サイズの上記原稿２枚分（原稿Ａ，Ｂ）の画像がＡ４サイズ１枚に割り付けられた割付原稿を同じく６００ｄｐｉで読み取った画像データ（照合キー画像）とを比較する場合について説明する。
【００１３】
Ａ４サイズの原稿２枚がＡ４サイズ１枚に割り付けられた割付原稿の場合、割り付けられている２つの原稿画像はそれぞれオリジナルのサイズ（Ａ４サイズ）に対して約０．７倍に縮小されている。したがって、この割付原稿に含まれる個々の原稿画像（原稿Ａ，Ｂ）の実質的な解像度は約４２０ｄｐｉとなる。
【００１４】
このため、Ａ４サイズの原稿Ａ，Ｂのそれぞれを６００ｄｐｉで読み取って得られた特徴量と、割付画像を６００ｄｐｉで読み取って得られる特徴量（原稿Ａ，Ｂを約４２０ｄｐｉで読み取って得られる特徴量の組み合わせ）とが比較されることになる。この場合、各原稿についての特徴量の抽出結果が異なってしまい、照合キー画像（原稿Ａ，Ｂの割付画像）と照合対象画像（原稿Ａ，Ｂのオリジナルサイズの画像）との類似性を精度よく判定できない。その結果、例えば原稿Ａ，Ｂのいずれにも類似しないと判定されたり、原稿Ａ，Ｂの一方にのみ類似すると判定されたりするといった誤判定が生じる。
【００１５】
本発明は、上記の問題点に鑑みてなされたものであり、その目的は、照合キー画像が変倍画像、割付画像、あるいは低解像度画像であっても、この照合キー画像と予め登録された照合対象画像との類似性を精度よく判定することにある。
【課題を解決するための手段】
【００１６】
本発明の画像処理装置は、上記の課題を解決するために、画像データからこの画像データに含まれる画像の特徴量を抽出する特徴量抽出部と、登録画像の特徴量とこの登録画像の識別情報とを対応付けて記憶する特徴量記憶手段と、照合キー画像として指定された画像の特徴量と上記特徴量記憶手段に記憶されている登録画像のうち照合対象とする画像である１つ以上の照合対象画像の特徴量とを比較することで上記照合キー画像と上記各照合対象画像との類似度を算出し、算出した類似度に基づいて上記照合キー画像に類似している類似画像を検索する類似画像検索手段とを備えた画像処理装置であって、照合キー画像の解像度を第１解像度と第１解像度とは異なる第２解像度とに変換する解像度変換部を備え、上記類似画像検索手段は、上記特徴量抽出部が上記第１解像度に変換された照合キー画像から抽出した上記照合キー画像の特徴量と、上記特徴量記憶手段に記憶されている上記照合対象画像の特徴量とを比較する第１比較処理の結果と、上記特徴量抽出部が上記第２解像度に変換された照合キー画像から抽出した上記照合キー画像の特徴量と上記特徴量記憶手段に記憶されている上記照合対象画像の特徴量とを比較する第２比較処理の結果とに基づいて類似画像の検索を行うことを特徴としている。
【００１７】
上記の構成によれば、上記特徴量抽出部が上記第１解像度に変換された照合キー画像から抽出した上記照合キー画像の特徴量と、上記特徴量記憶手段に記憶されている上記照合対象画像の特徴量とを比較する第１比較処理の結果と、上記特徴量抽出部が上記第２解像度に変換された照合キー画像から抽出した上記照合キー画像の特徴量と上記特徴量記憶手段に記憶されている上記照合対象画像の特徴量とを比較する第２比較処理の結果とに基づいて類似画像の検索を行う。したがって、照合キー画像についての複数の解像度の画像データに基づいて類似検索処理を行うことができるので、照合キー画像が変倍画像、割付画像、あるいは低解像度画像であっても、この照合キー画像に類似する照合対象画像を精度よく検索することができる。
【００１８】
また、上記類似画像検索部は、上記第１比較処理の結果に基づいて類似画像を検索する第１検索処理を行い、上記第１検索処理では類似画像を特定できなかった場合に、上記第２比較処理の結果に基づいて類似画像を検索する第２検索処理を行う構成としてもよい。
【００１９】
上記の構成によれば、はじめに第１比較処理の結果に基づいて類似画像を検索する第１検索処理を行い、第１検索処理では類似画像を特定できなかった場合に第２比較処理の結果に基づいて類似画像を検索する第２検索処理を行う。それゆえ、第１検索処理のみに基づいて類似画像を特定可能な場合には第２検索処理を行わないので、検索処理に要する時間を短縮できる。
【００２０】
また、上記類似画像検索部は、上記第１比較処理の結果に基づいて上記照合キー画像と上記各照合対象画像との類似度を算出する第１類似度算出処理と、上記第２比較処理の結果に基づいて上記照合キー画像と上記各照合対象画像との類似度を算出する第２類似度算出処理とを行い、上記第１類似度算出処理によって算出された類似度と上記第２類似度算出処理によって算出された類似度とを照合対象画像毎に加算した結果に基づいて類似画像を検索する構成としてもよい。
【００２１】
上記の構成によれば、第１類似度算出処理によって算出された類似度と第２類似度算出処理によって算出された類似度とを照合対象画像毎に加算した結果に基づいて類似画像を検索することにより、類似画像をより精度よく検索できる。
【００２２】
また、上記類似画像検索部は、上記第１比較処理の結果に基づいて上記照合キー画像と上記各照合対象画像との類似度を算出する第１類似度算出処理と、上記第２比較処理の結果に基づいて上記照合キー画像と上記各照合対象画像との類似度を算出する第２類似度算出処理とを行い、上記第１類似度算出処理および上記第２類似度算出処理で算出した類似度のうち最大値を有する類似度に基づいて類似画像を検索する構成としてもよい。
【００２３】
上記の構成によれば、第１類似度算出処理によって算出された類似度および第２類似度算出処理によって算出された類似度のうち最大値を有する類似度、すなわち最も類似性が高い類似度に基づいて類似画像を検索する。これにより、類似画像をより精度よく検索できる。
【００２４】
また、上記登録画像の画像データとこの登録画像の識別情報とを対応付けて記憶する画像データ記憶手段と、上記画像データ記憶手段に記憶されている画像データを表示する表示部と、上記表示部に表示されている画像の中から照合キー画像とする画像を選択するユーザからの選択指示を受け付ける操作入力部と、上記特徴量記憶手段に登録画像の特徴量を記憶させるときに、上記解像度変換部によって第１解像度に変換された上記登録画像の特徴量をこの登録画像の識別情報と対応付けて上記特徴量記憶手段に記憶させ、上記解像度変換部によって第２解像度に変換された上記登録画像の画像データをこの登録画像の識別情報と対応付けて上記画像データ記憶部に記憶させる登録処理部とを備え、上記第１比較処理を行うときに、上記類似画像検索部は、上記特徴量記憶手段に記憶されている上記照合キー画像に対応する第１解像度の画像から抽出された特徴量と、上記特徴量記憶手段に記憶されている上記照合対象画像の特徴量とを比較し、上記第２比較処理を行うときに、上記特徴量抽出部は、上記画像データ記憶手段に記憶されている上記照合キー画像に対応する第２解像度の画像データに基づいて照合キー画像の特徴量の抽出を行い、上記類似画像検索部は、上記特徴量抽出部が上記照合キー画像に対応する第２解像度の画像データから抽出した上記特徴量と上記特徴量記憶手段に記憶されている上記照合対象画像の特徴量とを比較する構成としてもよい。
【００２５】
上記の構成によれば、予め登録しておいた登録画像の中からユーザが照合キー画像を指定し、この指定された照合キー画像に類似する照合対象画像を検索することができる。また、特徴量記憶手段に登録画像の特徴量を記憶させるときには、第１解像度に変換された登録画像の特徴量をこの登録画像の識別情報と対応付けて特徴量記憶手段に記憶させ、第２解像度に変換された登録画像の画像データをこの登録画像の識別情報と対応付けて画像データ記憶部に記憶させておく。これにより、登録画像の画像データを第１解像度および第２解像度の両方について記憶させておく場合に比べて、画像データ記憶手段の記憶容量を低減できる。
【００２６】
また、上記第２解像度は上記第１解像度よりも低い解像度である構成としてもよい。上記の構成によれば、画像データ記憶手段の記憶容量をより低減できる。
【００２７】
本発明の画像形成装置は、上記したいずれかの画像処理装置と、画像データに応じた画像を記録材上に形成する画像出力部とを備えている。
【００２８】
上記の構成によれば、照合キー画像についての複数の解像度の画像データに基づいて類似検索処理を行うことができるので、照合キー画像が変倍画像、割付画像、あるいは低解像度画像であっても、この照合キー画像に類似する照合対象画像を精度よく検索することができる。
【００２９】
また、本発明の画像処理システムは、画像データに対して所定の処理を施す画像処理装置と、この画像処理装置に対して通信可能に接続されたサーバ装置とを備えた画像処理システムであって、画像データからこの画像データに含まれる画像の特徴量を抽出する特徴量抽出部と、登録画像の特徴量とこの登録画像の識別情報とを対応付けて記憶する特徴量記憶手段と、照合キー画像として指定された画像の特徴量と上記特徴量記憶手段に記憶されている登録画像のうち照合対象とする画像である１つ以上の照合対象画像の特徴量とを比較することで上記照合キー画像と上記各照合対象画像との類似度を算出し、算出した類似度に基づいて上記照合キー画像に類似している類似画像を検索する類似画像検索部と、照合キー画像の解像度を第１解像度と第１解像度とは異なる第２解像度とに変換する解像度変換部とが上記画像処理装置または上記サーバ装置に備えられるか、あるいは上記画像処理装置と上記サーバ装置とに分散して備えられており、上記類似画像検索部は、上記特徴量抽出部が上記第１解像度に変換された照合キー画像から抽出した上記照合対象画像の特徴量と上記特徴量記憶手段に記憶されている上記照合対象画像の特徴量とを比較する第１比較処理の結果と、上記特徴量抽出部が上記第２解像度に変換された照合キー画像から抽出した上記照合対象画像の特徴量と上記特徴量記憶手段に記憶されている上記照合対象画像の特徴量とを比較する第２比較処理の結果とに基づいて類似画像の検索を行うことを特徴としている。
【００３０】
上記の構成によれば、照合キー画像についての複数の解像度の画像データに基づいて類似検索処理を行うことができるので、照合キー画像が変倍画像、割付画像、あるいは低解像度画像であっても、この照合キー画像に類似する照合対象画像を精度よく検索することができる。
【００３１】
本発明の画像処理方法は、照合キー画像の特徴量と予め登録されている１つ以上の照合対象画像の特徴量とを比較することで上記照合キー画像と上記各照合対象画像との類似度を算出し、算出した類似度に基づいて上記照合キー画像に類似している類似画像を検索する類似画像検索処理を行う画像処理方法であって、照合キー画像の解像度を第１解像度と第１解像度とは異なる第２解像度とに変換する解像度変換工程と、上記第１解像度に変換された照合キー画像から上記照合キー画像の特徴量を抽出する第１特徴量抽出工程と、上記第２解像度に変換された照合キー画像から上記照合キー画像の特徴量を抽出する第２特徴量抽出工程と、上記第１特徴量抽出工程で抽出した特徴量と上記照合対象画像の特徴量とを比較する第１比較処理の結果と、上記第２特徴量抽出工程で抽出した特徴量と上記照合対象画像の特徴量とを比較する第２比較処理の結果とに基づいて類似画像の検索を行う類似画像検索工程とを含むことを特徴としている。
【００３２】
上記の方法によれば、照合キー画像についての複数の解像度の画像データに基づいて類似検索処理を行うことができるので、照合キー画像が変倍画像、割付画像、あるいは低解像度画像であっても、この照合キー画像に類似する照合対象画像を精度よく検索することができる。
【００３３】
なお、上記画像処理装置は、コンピュータによって実現してもよく、この場合には、コンピュータを上記各部として動作させることにより、上記画像処理装置をコンピュータにて実現させる画像処理プログラム、およびそれを記録したコンピュータ読み取り可能な記録媒体も、本発明の範疇に含まれる。
【発明の効果】
【００３４】
本発明の画像処理装置および画像処理システムでは、上記類似画像検索部は、上記特徴量抽出部が上記第１解像度に変換された照合キー画像から抽出した上記照合キー画像の特徴量と上記特徴量記憶手段に記憶されている上記照合対象画像の特徴量とを比較する第１比較処理の結果と、上記特徴量抽出部が上記第２解像度に変換された照合キー画像から抽出した上記照合キー画像の特徴量と上記特徴量記憶手段に記憶されている上記照合対象画像の特徴量とを比較する第２比較処理の結果とに基づいて類似画像の検索を行う。
【００３５】
また、本発明の画像処理方法は、上記第１解像度に変換された照合キー画像から上記照合キー画像の特徴量を抽出する第１特徴量抽出工程と、上記第２解像度に変換された照合キー画像から上記照合キー画像の特徴量を抽出する第２特徴量抽出工程と、上記第１特徴量抽出工程で抽出した特徴量と上記照合対象画像の特徴量とを比較する第１比較処理の結果と、上記第２特徴量抽出工程で抽出した特徴量と上記照合対象画像の特徴量とを比較する第２比較処理の結果とに基づいて類似画像の検索を行う類似画像検索工程とを含む。
【００３６】
それゆえ、照合キー画像についての複数の解像度の画像データに基づいて類似検索処理を行うことができるので、照合キー画像が変倍画像、割付画像、あるいは低解像度画像であっても、この照合キー画像に類似する照合対象画像を精度よく検索することができる。
【発明を実施するための最良の形態】
【００３７】
本発明の一実施形態について説明する。なお、本実施形態では、主に、複合機において取り扱われる原稿画像の特徴量とこの原稿画像の画像ＩＤとを対応付けてサーバ装置に逐次登録していく画像ジョブログシステム（画像処理システム）に適用する場合について説明する。
【００３８】
図２は、本実施形態にかかる画像処理システム１００の概略構成を示す説明図である。この図に示すように、画像処理システム１００は、複合機２００、サーバ装置（複合機監視サーバ）３００、および端末装置４００を備えており、これら各装置がネットワークを介して通信可能に接続されてなる。なお、本実施形態では、複合機２００とサーバ装置３００とがネットワークを介して接続されている構成について説明するが、これに限らず、サーバ装置３００を複合機２００内に設けてもよい。
【００３９】
複合機２００は、コピー機能、プリンタ機能、ファクシミリ機能、スキャナ機能、scan to e-mail機能等を有している。また、複合機２００は、画像データに対して行った操作の操作内容および操作を行った画像データをサーバ装置３００に送信するようになっている。
【００４０】
サーバ装置３００は、複合機２００から受信した画像データとこの画像データに対して行われた操作の操作内容とを処理画像付きログとして保存する。
【００４１】
端末装置４００は、サーバ装置３００に保存されているログを検索したり閲覧したりするためのものである。また、端末装置４００は、サーバ装置３００に対して照合キー画像に類似する照合登録画像がこの端末装置４００に保存されているか否かの検索を要求する類似画像検索要求を送信する。
端末装置４００としては例えばパーソナルコンピュータ等が用いられる。
【００４２】
図３は、複合機２００の概略構成を示すブロック図である。この図に示すように、複合機２００は、カラー画像入力装置２、カラー画像処理装置３、カラー画像出力装置４、通信装置５、および操作パネル６を備えており、コピー機能、プリンタ機能、ファクシミリ機能、スキャナ機能、scan to e-mail機能等を有している。
【００４３】
カラー画像入力装置２は、原稿の画像を読み取って画像データを生成するものであり、例えばＣＣＤ（Charge Coupled Device ）などの光学情報を電気信号に変換するデバイスを備えたスキャナ部（図示せず）より構成されている。ここでは、カラー画像入力装置２は、原稿からの反射光像を、ＲＧＢ（Ｒ：赤・Ｇ：緑・Ｂ：青）のアナログ信号としてカラー画像処理装置３に出力する。
【００４４】
カラー画像処理装置３は、カラー画像入力装置２から入力されたアナログ信号に、種々の処理を施すと共にカラー画像出力装置４が扱える形に変換して、カラー画像出力装置へと出力するものであり、Ａ／Ｄ（アナログ／デジタル）変換部１１、シェーディング補正部１２、入力階調補正部１３、領域分離処理部１４、色補正部１５、黒生成下色除去部１６、空間フィルタ処理部１７、出力階調補正部１８、および階調再現処理部１９を備えている。カラー画像入力装置２にて読み取られたアナログ信号は、カラー画像処理装置３内を、Ａ／Ｄ変換部１１、シェーディング補正部１２、入力階調補正部１３、領域分離処理部１４、色補正部１５、黒生成下色除去部１６、空間フィルタ処理部１７、出力階調補正部１８、および階調再現処理部１９の順で送られ、最終的にはデジタル信号のＣＭＹＫ信号となる。そして、階調再現処理部１９より出力されたデジタル信号のＣＭＹＫ信号は、図示しないメモリに一旦格納された後、カラー画像出力装置４あるいは通信装置５へと出力される。
【００４５】
Ａ／Ｄ変換部１１は、ＲＧＢのアナログ信号をデジタル信号に変換するものであり、シェーディング補正部１２では、Ａ／Ｄ変換部１１より送られてきたデジタルのＲＧＢ信号に対して、カラー画像入力装置２の照明系、結像系、撮像系で生じる各種の歪みを取り除くための処理を施す。
【００４６】
入力階調補正部１３は、シェーディング補正部１２にて各種の歪みが取り除かれたＲＧＢ信号に対して、カラーバランスの調整および濃度信号などカラー画像処理装置に採用されている画像処理システムの扱い易い信号に変換する処理を行う。
【００４７】
領域分離処理部１４は、ＲＧＢ信号より、入力画像中の各画素を文字領域、網点領域、写真領域のいずれかに分離するものである。領域分離処理部１４は、分離結果に基づき、画素がどの領域に属しているかを示す領域識別信号を、黒生成下色除去部１６、空間フィルタ処理部１７、および階調再現処理部１９へと出力する。また、領域分離処理部１４は、入力階調補正部１３より出力された入力信号をそのまま後段の色補正部１５に出力する。
【００４８】
色補正部１５は、色再現の忠実化実現のために、不要吸収成分を含むＣＭＹ（Ｃ：シアン・Ｍ：マゼンタ・Ｙ：イエロー）色材の分光特性に基づいた色濁りを取り除く処理を行うものである。
【００４９】
黒生成下色除去部１６は、色補正後のＣＭＹの３色信号から黒（Ｋ）信号を生成する黒生成、元のＣＭＹ信号から黒生成で得たＫ信号を差し引いて新たなＣＭＹ信号を生成する処理を行うものである。これにより、ＣＭＹの３色信号はＣＭＹＫの４色信号に変換される。
【００５０】
空間フィルタ処理部１７は、黒生成下色除去部１６より入力されるＣＭＹＫ信号の画像データに対して、領域識別信号を基にデジタルフィルタによる空間フィルタ処理を行い、空間周波数特性を補正する。これにより、出力画像のぼやけや粒状性劣化を軽減することができる。階調再現処理部１９は、空間フィルタ処理部１７と同様、ＣＭＹＫ信号の画像データに対して領域識別信号を基に所定の処理を施すものである。
【００５１】
例えば、領域分離処理部１４にて文字に分離された領域は、文字の再現性を高めるために、空間フィルタ処理部１７において高周波成分の強調量が大きい空間フィルタを用いてフィルタ処理される。また、階調再現処理部１９においては、高域周波成分の再現に適した高解像度のスクリーンによる二値化もしくは多値化処理が実施される。
【００５２】
また、領域分離処理部１４にて網点に分離された領域に関しては、空間フィルタ処理部１７において、入力網点成分を除去するためのローパス・フィルタ処理が施される。そして、出力階調補正部１８では、濃度信号などの信号をカラー画像出力装置４の特性値である網点面積率に変換する出力階調補正処理を行った後、階調再現処理部１９で、最終的に画像を画素に分離してそれぞれの階調を再現できるように処理する階調再現処理が施される。領域分離処理部１４にて写真に分離された領域に関しては、階調再現性を重視したスクリーンでの二値化または多値化処理が行われる。
【００５３】
上述した各処理が施された画像データは、一旦、図示しないメモリに記憶されたのち、所定のタイミングで読み出されてカラー画像出力装置４あるいは通信装置５に入力される。例えば、コピー機能やプリンタ機能を実行する場合には上記画像データはカラー画像出力装置４に送られ、ファクシミリ機能やscan to e-mail機能を実行する場合には上記画像データは通信装置５に送られる。
【００５４】
カラー画像出力装置４は、カラー画像処理装置３から入力された画像データを記録材（例えば紙等）上に出力するものである。カラー画像出力装置４の構成は特に限定されるものではなく、例えば、電子写真方式やインクジェット方式を用いたカラー画像出力装置を用いることができる。
【００５５】
通信装置５は、例えば、モデムやネットワークカードより構成される。ファクシミリの送信を行うときは、モデムにて、相手先との送信手続きを行い送信可能な状態が確保されると、所定の形式で圧縮された画像データ（スキャナで読み込まれた画像データ）をメモリから読み出し、圧縮形式の変更など必要な処理を施して、相手先に通信回線を介して順次送信する。
【００５６】
ファクシミリを受信する場合、ＣＰＵは、通信手続きを行いながら相手先から送信されてくる画像データを受信してカラー画像処理装置３に入力する。カラー画像処理装置３では、受信した画像データに対して不図示の圧縮／伸張処理部で伸張処理を施す。伸張された画像データは、必要に応じて、回転処理や解像度変換処理が行なわれ、出力階調補正、階調再現処理が施され、カラー画像出力装置４より出力される。
【００５７】
また、通信装置５は、scan to e-mail機能を実行する場合には、所定の形式で圧縮された画像データ（スキャナで読み込まれた画像データ）をメモリから読み出し、ｅ−ｍａｉｌに所定のアドレスに送信する。
【００５８】
また、通信装置５は、ネットワークカード、ＬＡＮケーブル等を介してネットワークに接続されたサーバ装置３００、端末装置４００、あるいはその他の各種機器とデータ通信を行う。
【００５９】
操作パネル６は、例えば、液晶ディスプレイなどの表示部と設定ボタンなどより構成され（いずれも図示せず）、複合機２００の主制御部（図示せず）の指示に応じた情報を上記表示部に表示するとともに、上記設定ボタンを介してユーザから入力される情報を上記主制御部に伝達する。ユーザは、操作パネル６を介して入力画像データに対する処理要求、処理枚数などを入力することができる。
【００６０】
上記主制御部は、例えばＣＰＵ（Central Processing Unit）等からなり、図示しないＲＯＭ等に格納されたプログラムや各種データ、操作パネル６から入力される情報等に基づいて、複合機２００の各部の動作を制御する。
【００６１】
また、主制御部は、複合機２００において画像データに対する処理を行う際、この画像データとこの画像データに対する操作ログ情報とを通信装置５を介してサーバ装置３００に送信させる。なお、上記操作ログ情報は、例えば、画像データに対して処理を行った時刻、ユーザ、処理モード、処理の実行結果などを含んでいてもよい。
【００６２】
図１は、サーバ装置３００の概略構成を示すブロック図である。この図に示すように、サーバ装置３００は、データ受信部３１１、解像度変換処理部３１２、画像データ記憶部３１３、文書照合処理部３１４、特徴量記憶部３１５、ジョブ情報記憶部３１６、およびＷｅｂＵＩ３１７、およびサーバ制御部３１８を備えている。
【００６３】
データ受信部３１１は、複合機２００から画像データおよびこの画像データに対する操作ログ情報（時間、ユーザ、処理モード、実行結果等）受信する。
【００６４】
解像度変換処理部３１２は、複合機２００から受信した画像の解像度（例えば６００ｄｐｉ）を所定の第１解像度（例えば３００ｄｐｉ）になるように変倍して文書照合処理部３１４に出力する。また、解像度変換処理部３１２は、文書照合処理部３１４において第１解像度に変倍した画像データに対する特徴量の抽出処理および登録処理が終了すると、第１解像度の上記画像データを第１解像度よりも低い第２解像度（例えば１５０ｄｐｉ）に変倍して画像データ記憶部３１３に記憶させる。なお、第１解像度および第２解像度の値は上記した例に限定されるものではなく、適宜設定すればよい。
【００６５】
解像度の変換方法は、特に限定されるものではないが、例えば例えば、ニアレストネイバー法、バイリニア法、あるいはバイキュービック法などを用いることができる。ニアレストネイバー法とは、補間する画素に一番近い、あるいは、補間する画素に対して所定の位置関係にある既存画素の値をその補間画素の値とする方法である。バイリニア法とは、補間する画素を囲む周囲４点の既存画素の距離に比例した形で重み付けした値の平均を求め、その値をその補間画素とする方法である。バイキュービック法とは、補間する画素を囲む４点に加え、更にそれらを囲む１２点を加えた計１６点の画素の値を用いて、補間演算を行う方法である。
【００６６】
画像データ記憶部３１３は、解像度変換処理部３１２から出力された上記第２解像度の画像データを保存する。なお、画像データ記憶部３１３に保存された画像データは、ユーザあるいはシステムの管理者が操作ログ情報を検索、閲覧する際の表示などに用いられる。
【００６７】
文書照合処理部３１４は、画像の登録処理を行う際には、解像度変換処理部３１２から入力される第１解像度の画像データについての特徴量を算出し、画像ＩＤと対応付けて特徴量記憶部３１５に保存する。また、類似画像の抽出処理を行う際には、画像データ記憶部３１３から入力される第２解像度の画像データについての特徴量を算出し、この第２解像度の画像データから算出した特徴量と、特徴量記憶部３１５に保存されている第１解像度の画像データについて算出された特徴量とを用いて類似画像の抽出処理を行う。文書照合処理部３１４の詳細については後述する。
【００６８】
特徴量記憶部３１５は、文書照合処理部３１４で算出された画像データの特徴量とこの画像データの画像ＩＤとを対応付けて記憶する。
【００６９】
ジョブ情報記憶部３１６は、複合機２００から受信した画像データの画像ＩＤとこの画像データに対する操作ログ情報とを対応付けて記憶する。なお、本実施形態では操作ログ情報を複合機２００でのジョブ単位で記憶する。
【００７０】
ＷｅｂＵＩ３１７は、Ｗｅｂブラウザを介して他の装置と通信を行うためのインターフェースである。本実施形態では、端末装置４００から送信される類似画像検索要求をこのＷｅｂＵＩ３１７で受け付けるとともに、検索結果をＷｅｂＵＩ３１７を介して端末装置４００に返信するようになっている。
【００７１】
サーバ制御部３１８は、サーバ装置３００に備えられる各部の動作を制御する。
【００７２】
図４は、端末装置４００の概略構成を示すブロック図である。この図に示すように、端末装置４００は、制御部４０１、操作入力部４０２、ＷｅｂＵＩ４０３、および表示部４０４を備えている。
【００７３】
操作入力部４０２はユーザからの入力指示を受けるものであり、例えばキーボード、マウス，ペン入力装置等のポインティングデバイス、あるいはタッチパネル等からなる。
【００７４】
ＷｅｂＵＩ４０３は、Ｗｅｂブラウザを介して他の装置と通信を行うためのインターフェースである。
【００７５】
表示部４０４は、ユーザの入力指示操作を支援するための情報や、画像データに応じた画像などを表示するものであり、例えば液晶ディスプレイ、ＣＲＴディスプレイ、プラズマディスプレイ、有機ＥＬディスプレイなどを用いることができる。
【００７６】
制御部４０１は、操作入力部４０２を介して入力されるユーザからの入力指示等に応じて、端末装置４００の各部の動作を制御するものであり、例えばＣＰＵ等によって構成される。
【００７７】
本実施形態では、制御部４０１がＷｅｂＵＩ４０３を介してサーバ装置３００からこのサーバ装置３００の画像データ記憶部３１３に記憶されている第２解像度の画像データを取得して表示部４０４に表示させる。そして、ユーザが操作入力部４０２を介して表示部４０４に表示された第２解像度の画像データに基づいて類似画像の検索処理を行う画像を選択する。そして、この選択指示に基づいて、制御部４０１がサーバ装置３００に検索処理を行う画像（照合キー画像）をサーバ装置３００に通知し、ＷｅｂＵＩ４０３を介して、この照合キー画像に類似する照合対象画像がこの端末装置４００に保存されているか否かの検索を要求する類似画像検索要求を送信する。
【００７８】
次に、文書照合処理部３１４について説明する。図５は、文書照合処理部３１４の一構成例を示すブロック図である。この図に示す文書照合処理部３１４は、特徴点算出部３１、特徴量算出部３２、投票処理部３３、類似度判定処理部３４、登録処理部３５、制御部３６、およびメモリ３７を備えている。
【００７９】
制御部３６は、文書照合処理部３１４の各部の動作およびメモリ３７へのアクセスを制御する。なお、制御部３６は、サーバ装置３００の各部の動作を制御するためのサーバ装置３００の主制御部（図示せず）に備えられていてもよく、この主制御部とは別に備えられ、主制御部と協働して文書照合処理部３１４の動作を制御するものであってもよい。
【００８０】
メモリ３７は、文書照合処理部３１４の各部の処理に用いられる各種データ、処理結果等を記憶するものである。
【００８１】
特徴点算出部３１は、入力画像データ（解像度変換処理部３１２から入力される第１解像度の画像データまたは画像データ記憶部３１３から読み出された第２解像度の画像データ）より、文字列や罫線の連結部分を抽出し、連結部分の重心を特徴点として算出するものである。また、特徴点算出部３１は、各特徴点の座標を算出する。
【００８２】
図６は、特徴点算出部３１の概略構成を示すブロック図である。図６に示すように、特徴点算出部３１は、信号変換処理部（無彩化処理部）４１、ＭＴＦ処理部４２、２値化処理部４３、および重心算出部４４を備えている。
【００８３】
信号変換処理部４１は、解像度変換処理部３１２または画像データ記憶部３１３から入力された画像データ（ＲＧＢ信号）がカラー画像であった場合に、この画像データを無彩化して、明度信号もしくは輝度信号に変換するものである。
【００８４】
例えば、信号変換処理部４１は、下記式（１）によりＲＧＢ信号を輝度信号Ｙに変換する。
【００８５】
Ｙｊ＝０．３０Ｒｊ＋０．５９Ｇｊ＋０．１１Ｂｊ ・・・（１）
ここで、Ｙｊは各画素の輝度信号であり、Ｒｊ，Ｇｊ，Ｂｊは各画素のＲＧＢ信号における各色成分であり、添え字のｊは画素毎に付与された値（ｊは１以上の整数）である。
【００８６】
あるいは、ＲＧＢ信号をＣＩＥ１９７６Ｌ*ａ*ｂ*信号（ＣＩＥ:Commission International de l'Eclairage、Ｌ*：明度、a*,ｂ*:色度）に変換してもよい。
【００８７】
ＭＴＦ（modulation transfer function）処理部４２は、画像入力装置の空間周波数特性が機種ごとに異なることを吸収（調整）するために用いられる。ＣＣＤの出力する画像信号には、レンズやミラー等の光学部品、ＣＣＤの受光面のアパーチャ開口度、転送効率や残像、物理的な走査による積分効果および操作むら等に起因しＭＴＦの劣化が生じている。このＭＴＦの劣化により、読み込まれた画像がぼやけたものとなっている。
【００８８】
ＭＴＦ処理部４２は、適切なフィルタ処理（強調処理）を施すことにより、ＭＴＦの劣化により生じるぼやけを修復する処理、および後段の重心算出部４４における特徴点抽出処理に不要な高周波成分を抑制するため処理を行う。具体的には、混合フィルタ（図示せず）を用いて強調および平滑化処理を行う。なお、図７は、この混合フィルタにおけるフィルタ係数の一例を示している。
【００８９】
２値化処理部４３は、無彩化された画像データ（輝度値（輝度信号）または明度値（明度信号））と、予め設定された閾値とを比較することにより画像データを二値化する。
【００９０】
重心算出部４４は、２値化処理部４３で２値化された画像データ（例えば、「１」、「０」で表される）に基づいて、各画素に対してラベリング（ラベル付け処理）を行う。そして、同一ラベルが付された画素が連結した連結領域を特定し、特定した連結領域の重心を特徴点として抽出する。さらに、抽出した特徴点を特徴量算出部３２へ出力する。なお、上記特徴点は、二値画像における座標値（ｘ座標、ｙ座標）として算出される。
【００９１】
図８は、入力画像データから抽出された連結領域およびこの連結領域の重心の一例を示す説明図であり、「Ａ」という文字列に対応する連結領域および重心を示している。また、図９は、入力画像データに含まれる文字列から抽出された複数の連結領域の各重心（特徴点）の一例を示す説明図である。
【００９２】
特徴量算出部３２は、特徴点算出部３１で算出された特徴点を用いて、原稿画像の回転、拡大、縮小、平行移動等の幾何学的変形に対して不変な量である特徴量（ハッシュ値および／または不変量）を算出するものである。
【００９３】
図１０は、特徴量算出部３２の概略構成を示すブロック図である。この図に示すように、特徴量算出部３２は、特徴点抽出部３２ａ、不変量算出部３２ｂ、ハッシュ値算出部３２ｃを備えている。
【００９４】
特徴点抽出部３２ａは、図１１に示すように、１つの特徴点を注目特徴点とし、この注目特徴点の周辺の特徴点を、注目特徴点からの距離が近いものから順に所定数（ここでは４点）だけ周辺特徴点として抽出する。図１１の例では、特徴点ａを注目特徴点とした場合には特徴点ｂ，ｃ，ｄ，ｅの４点が周辺特徴点として抽出され、特徴点ｂを注目特徴点とした場合には特徴点ａ，ｃ，ｅ，ｆの４点が周辺特徴点として抽出される。
【００９５】
また、特徴点抽出部３２ａは、上記のように抽出した周辺特徴点４点の中から選択し得る３点の組み合わせを抽出する。例えば、図１２（ａ）〜図１２（ｄ）に示すように、図１１に示した特徴点ａを注目特徴点とした場合、周辺特徴点ｂ，ｃ，ｄ，ｅのうちの３点の組み合わせ、すなわち、周辺特徴点ｂ，ｃ，ｄ、周辺特徴点ｂ，ｃ，ｅ、周辺特徴点ｂ，ｄ，ｅ、周辺特徴点ｃ，ｄ，ｅの各組み合わせが抽出される。
【００９６】
次に、不変量算出部３２ｂは、抽出した各組み合わせについて、幾何学的変形に対する不変量（特徴量の１つ）Ｈｉｊを算出する。
【００９７】
ここで、ｉは注目特徴点を示す数（ｉは１以上の整数）であり、ｊは周辺特徴点３点の組み合わせを示す数（ｊは１以上の整数）である。本実施形態では、周辺特徴点同士を結ぶ線分の長さのうちの２つの比を不変量Ｈｉｊとする。
【００９８】
上記線分の長さは、各周辺特徴点の座標値に基づいて算出できる。例えば、図１２（ａ）の例では、特徴点ｂと特徴点ｃとを結ぶ線分の長さをＡ１１、特徴点ｂと特徴点ｄとを結ぶ線分の長さをＢ１１とすると、不変量Ｈ１１はＨ１１＝Ａ１１／Ｂ１１である。
【００９９】
また、図１２（ｂ）の例では、特徴点ｂと特徴点ｃとを結ぶ線分の長さをＡ１２、特徴点ｂと特徴点ｅとを結ぶ線分の長さをＢ１２とすると、不変量Ｈ１２はＨ１２＝Ａ１２／Ｂ１２である。また、図１２（ｃ）の例では、特徴点ｂと特徴点ｄとを結ぶ線分の長さをＡ１３、特徴点ｂと特徴点ｅとを結ぶ線分の長さをＢ１３とすると、不変量Ｈ１３はＨ１３＝Ａ１３／Ｂ１３である。また、図１２（ｄ）に示した例では、特徴点ｃと特徴点ｄとを結ぶ線分の長さをＡ１４、特徴点ｃと特徴点ｅとを結ぶ線分の長さをＢ１４とすると、不変量Ｈ１４はＨ１４＝Ａ１４／Ｂ１４である。このようにして、図１２（ａ）〜図１２（ｄ）の例では、不変量Ｈ１１，Ｈ１２，Ｈ１３，Ｈ１４が算出される。
【０１００】
なお、上記の例では、注目特徴点に最も近い周辺特徴点と２番目に近い周辺特徴点とを結ぶ線分をＡｉｊ、注目特徴点に最も近い周辺特徴点と３番目に近い周辺特徴点とを結ぶ線分をＢｉｊとしたが、これに限らず、不変量Ｈｉｊの算出に用いる線分は任意の方法で選定すればよい。
【０１０１】
次に、ハッシュ値算出部３２ｃは、次式
Ｈｉ＝（Ｈｉ１×１０３＋Ｈｉ２×１０２＋Ｈｉ３×１０１＋Ｈｉ４×１００）／Ｄ
における余りの値をハッシュ値（特徴量の１つ）Ｈｉとして算出し、メモリ３７に記憶させる。なお、上記Ｄは余りが取り得る値の範囲をどの程度に設定するかに応じて予め設定される定数である。
【０１０２】
なお、不変量Ｈｉｊの算出方法は特に限定されるものではなく、例えば、注目特徴点の近傍５点の複比、近傍ｎ点（ｎはｎ≧５の整数）から抽出した５点の複比、近傍ｎ点から抽出したｍ点（ｍはｍ＜ｎかつｍ≧５の整数）の配置およびｍ点から抽出した５点の複比に基づいて算出される値などを注目特徴点についての上記不変量Ｈｉｊとしてもよい。なお、複比とは、直線上の４点または平面上の５点から求められる値であり、幾何学的変換の一種である射影変形に対する不変量として知られている。
【０１０３】
また、ハッシュ値Ｈｉの算出するための式についても上記式に限るものではなく、例えば上記以外の一般的に知られているハッシュ関数を用いてもよい。
【０１０４】
また、特徴量算出部３２の各部は、１つの注目特徴点に対する周辺特徴点の抽出およびハッシュ値Ｈｉの算出が終わると、注目特徴点を他の特徴点に変更して周辺特徴点の抽出およびハッシュ値の算出を行い、全ての特徴点についてのハッシュ値を算出する。
【０１０５】
図１１の例では、特徴点ａを注目特徴点とした場合の周辺特徴点およびハッシュ値の抽出が終わると、次に特徴点ｂを注目特徴点とした場合の周辺特徴点およびハッシュ値の抽出を行う。図１１の例では、特徴点ｂを注目特徴点とした場合、特徴点ａ，ｃ，ｅ，ｆの４点が周辺特徴点として抽出される。
【０１０６】
そして、図１３（ａ）〜図１３（ｄ）に示すように、これら周辺特徴点ａ，ｃ，ｅ，ｆの中から選択される３点の組み合わせ（周辺特徴点ａ，ｅ，ｆ、周辺特徴点ａ，ｅ，ｃ、周辺特徴点ａ，ｆ，ｃ、周辺特徴点ｅ，ｆ，ｃ）を抽出し、各組み合わせについてハッシュ値Ｈｉを算出し、メモリ３７に記憶させる。そして、この処理を各特徴点について繰り返し、各特徴点を注目特徴点とした場合のハッシュ値をそれぞれ求めてメモリ３７に記憶させる。
【０１０７】
また、特徴量算出部３２は、画像データの登録処理を行う場合、すなわち特徴量の抽出を行った画像データが解像度変換処理部３１２から入力された第１解像度の画像データである場合には、上記のように算出した各特徴点についてのハッシュ値（特徴量）と特徴点算出部３１の算出した各特徴点の座標とを登録処理部３５に送る。この場合、投票処理部、類似度判定処理部の処理はスルー（何も処理を行わない）となる。
【０１０８】
また、特徴量算出部３２は、画像データの照合処理を行う場合、すなわち特徴量の抽出を行った画像データが画像データ記憶部３１３から読み出された第２解像度の画像データである場合には、上記のように算出した各特徴点についてのハッシュ値（特徴量）と特徴点算出部３１の算出した各特徴点の座標とを投票処理部３３に送る。
【０１０９】
登録処理部３５は、特徴量算出部３２が算出した各特徴点についてのハッシュ値（特徴量）と、ハッシュ値の算出を行った画像データの画像を表すインデックス（画像ＩＤ）とを対応付けてメモリ３７に登録する（図１４（ａ）参照）。なお、ハッシュ値がすでに登録されている場合は、当該ハッシュ値に対応付けて画像ＩＤを登録する。画像ＩＤは重複することなく順次番号が割り当てられる。
【０１１０】
また、メモリ３７に登録されている画像の数が所定値（例えば、登録可能な画像の数の８０％）より多くなった場合、古い画像ＩＤを検索して順次消去するようにしてもよい。また、消去された画像ＩＤは、新たな画像データの画像ＩＤとして再度使用できるようにしてもよい。また、算出されたハッシュ値が同値である場合（図１４（ｂ）の例ではＨ１＝Ｈ５）、これらを１つにまとめてハッシュテーブルに登録してもよい。
【０１１１】
また、図１４（ｂ）の例では、Ｈ１＝Ｈ５であり、これらをＨ１の１つにまとめてハッシュテーブルに登録されているが、このようなテーブル値において、画像データから算出したハッシュ値にＨ１があった場合は、原稿ＩＤ１には投票処理時には２票投票されることになる。
【０１１２】
また、登録処理部３５は、図１５に示すように、画像データにおける各特徴点の識別記号（特徴点を表すインデックス）とこれら各特徴点の座標とを対応付けてメモリ３７に記憶させる。
【０１１３】
投票処理部３３は、照合キー画像についての各特徴点のハッシュ値をメモリ３７に登録されている登録画像のうち照合キー画像を除く画像（照合対象画像）のハッシュ値と比較し、同じハッシュ値を有する登録画像に投票する。照合判定処理の方法としては、例えば非特許文献１に記載されている方法を用いることができる。なお、上記の照合キー画像は、端末装置４００から受信した類似画像検索要求で指定された画像ＩＤに対応する画像であり、画像データ記憶部３１３に記憶されている第２解像度の画像と特徴量記憶部３１５に特徴量を記憶されている第１解像度の画像とがある。つまり、本実施形態では、類似画像検索要求で指定された画像ＩＤに対応する画像データ記憶部３１３に記憶されている第２解像度の照合キー画像から抽出した特徴量に基づく投票処理と、類似画像検索要求で指定された画像ＩＤに対応する特徴量記憶部３１５に特徴量を記憶されている第１解像度の照合キー画像の特徴量に基づく投票処理とを行う。
【０１１４】
そして、投票処理部３３は、図１６に示すように、照合キー画像における各特徴点ｐ１，ｐ２，・・・について、どの照合対象画像のどの特徴点に投票したのかをメモリ３７に記憶しておく。図１６の例では、照合キー画像の特徴点ｐ１に対して求めた特徴量（ハッシュ値）が照合対象画像ＩＤ１の特徴点ｆ１の特徴量と一致し、照合キー画像の特徴点ｐ２に対して求めた特徴量（ハッシュ値）が照合対象画像ＩＤ３の特徴点ｆ２の特徴量と一致していると判定されている。図１７は、照合対象画像ＩＤ１，ＩＤ２，ＩＤ３に対する投票結果（投票数）の一例を示すグラフである。
【０１１５】
類似度判定処理部３４は、投票処理部３３における上記２種類の投票結果、すなわち第１解像度の照合キー画像の特徴量に基づく投票処理結果と第２解像度の照合キー画像から抽出した特徴量に基づく投票処理結果とに基づいて各照合対象画像に対する類似度を算出する。
【０１１６】
例えば、類似度判定処理部３４は、上記２種類の投票結果に基づいて得票数が多い照合対象画像ほど照合キー画像に対する類似度が高いと判断する。この場合、得票数合計でソートすることで類似度を判定できる。
【０１１７】
あるいは、投票処理部３３の投票結果における照合対象画像の得票数をその照合対象画像が獲得し得る最大得票数で除算して正規化し、この正規化した結果を用いて類似度を判断するようにしてもよい。このように正規化した結果を用いることで、特徴点数の少ない照合対象画像であっても類似度を適切に評価できる。
【０１１８】
なお、上記の最大得票数は、「特徴点の数」×「１つの特徴点（注目特徴点）から算出されるハッシュ値の数」で表される。ここで、本実施形態では、１つの特徴点（注目特徴点）に対して１つのハッシュ値を算出するものとしているが、これに限らず、１つの特徴点（注目特徴点）に対して複数のハッシュ値を算出するようにしてもよい。例えば、注目特徴点の周辺特徴点として６点を抽出し、この６点から５点を抽出した６通りの組み合わせそれぞれについて、５点から３点を抽出して不変量を求めてハッシュ値を算出する方法を用いてもよい。この場合には、１つの特徴点に対して６個のハッシュ値が算出されることになる。
【０１１９】
ところで、Ｎｉｎ１原稿などでは、元の原稿が縮小され、回転されている。そこで、照合対象画像の特徴点と照合キー画像の特徴点との位置合わせを行い、上記の投票処理結果と上記の位置合わせ結果とに基づいて両画像の類似度を判定するようにしてもよい。この場合、例えば、最初に予め定められた所定の得票数以上（例えば、正規化された値で８０％以上）を獲得している画像については類似度が高いと判定し、得票数が低いものについてのみ特徴点同士の位置合わせを行い、類似画像かどうかの判定を行う。これにより、照合キー画像に部分的に一致する画像を精度よくピックアップすることができる。例えば、照合キー画像が照合対象画像における重要データ部分のみを切り抜いてコピーしたものであるような場合であっても、照合処理でこの重要データ部分を含む照合対称画像をピックアップすることができる。
【０１２０】
具体的な処理の方法としては、例えば、投票処理部３３は、図１５に示したように予め登録しておいた照合対象画像の各特徴点の座標を用いて、照合キー画像の特徴点と照合対象画像の特徴点との位置関係を求め、照合対象画像の特徴点の座標系と、照合キー画像の特徴点の座標系とを統一させる処理を行う。
【０１２１】
例えば、図１６に示した例において、照合キー画像が照合対象画像ＩＤ１に類似していると判定された場合、この照合対象画像ＩＤ１における各特徴点についての照合対象画像ＩＤ１の座標系における座標を、照合キー画像の座標系における座標に変換する。表１は、両座標系における特徴点の座標の対応関係を示している。
【０１２２】
【表１】
【０１２３】
照合対象画像の座標系における各特徴点の座標についての行列をＰｉｎ、これら各特徴点の照合キー画像の座標系における座標についての行列をＰｏｕｔ、両行列の変換係数をＡとすると、下記式の関係になる。
【０１２４】
【数１】
【０１２５】
Ｐｏｕｔ＝Ｐｉｎ×Ａ
Ｐｉｎは正方行列ではないので、下記式に示すように、両辺にＰｉｎの転置行列ＰｉｎＴを乗算し、さらにＰｉｎＴＰｉｎの逆行列を乗算する。
ＰｉｎＴＰｏｕｔ＝ＰｉｎＴＰｉｎ×Ａ
（ＰｉｎＴＰｉｎ）−１ＰｉｎＴＰｏｕｔ＝Ａ
このように算出した変換係数Ａを用いて、下記式により、図１８に示すように、照合対象画像の座標系における任意の座標（ｘｉ、ｙｊ）を、照合キー画像の座標系における座標(ｘｉ’,ｙｊ’)に変換できる。
（ｘ’，ｙ’，１）＝（ｘ，ｙ，１）×Ａ
上記のように類似度が高い画像同士では、各々の座標系を相似変換で求めることが可能である。一方、上記のように変換係数Ａを求めることができない場合（例えば変換係数Ａが収束しない場合）、両画像は類似していないと判定することができる。
【０１２６】
なお、投票処理部３３において、外れ点の影響を排除するように座標変換処理を行うようにしてもよい。上記外れ点とは、照合キー画像と照合対象画像との特徴量（ハッシュ値）が一致する特徴点として抽出されたもののうち、誤って特徴量（ハッシュ値）が一致するものとして抽出された特徴点である。
【０１２７】
前述の座標変換処理においては、外れ点が存在した場合、求めた座標変換係数が本来の座標変換係数から大きくずれてしまうことになる。そこで、ロバスト推定など外れ点が含まれる場合に用いられる推定方法を用いて座標変換係数を求めることができる。以下には、ロバスト推定の中でＬＭｅｄＳ基準を用いて座標変換係数を求める例について説明する。
【０１２８】
まず、照合キー画像と照合対象画像との特徴量（ハッシュ値）が一致するものとして抽出された特徴点の組から、３組をランダムに抽出する。この場合、照合キー画像の特徴点の座標についての行列をＰｏｕｔ２、参照画素増の特徴点の座標についての行列をＰｉｎ２、変換係数をＡ２とする。
【０１２９】
【数２】
【０１３０】
そして、変換係数Ａ２と特徴点（Ｐｏｕｔ２，Ｐｉｎ２）との関係を下記式とする。
Ｐｏｕｔ２＝Ｐｉｎ２×Ａ２
これにより、変換係数Ａ２は、次の式により求められる。
Ａ２＝Ｐｉｎ２−１Ｐｏｕｔ２
次に、上記のようにして求めた変換係数Ａ２を使用し、照合キー画像と照合対象画像との特徴量（ハッシュ値）が一致するものとして抽出された全ての特徴点の組について座標変換を行い、その結果から求めた座標値と実際の座標値との誤差を計算する。次に、求めた誤差をその値が大きい順番にソートしたときの中央値を、求めた変換係数Ａ２の評価値とする。なお、上記「求めた座標値」とは、例えば照合対象画像の座標系を照合キー画像の座標系に合わせ込む場合に、照合対象画像の特徴点の座標を変換した値（座標値）であり、「実際の座標値」とはこの座標値に対応する照合キー画像の座標値である。
【０１３１】
上記のように、特徴量（ハッシュ値）が一致する特徴点の組をランダムに抽出し、変換係数を求め、その評価値を決定する処理を複数回繰り返す。そして、求めた評価値が最も小さくなるときの変換係数を求める変換係数とする。
【０１３２】
次に、画像処理システム１００における処理の流れについて説明する。まず、特徴量登録処理を行う場合の処理の流れについて説明する。図１９は特徴量登録処理の流れを示すフローチャートである。
【０１３３】
まず、複合機２００の主制御部は、操作パネル６あるいは通信装置５を介してユーザからのジョブ実行指示を受け付けると（Ｓ１）、ジョブ実行指示に基づいて画像データに対するジョブを実行する（Ｓ２）。そして、複合機２００の主制御部は、実行したジョブの操作ログ情報および画像データをメモリ（図示せず）に記憶させる（Ｓ３）。また、複合機２００の主制御部は、上記の操作ログ情報および画像データをサーバ装置３００に送信する（Ｓ４）。なお、上記操作ログ情報は、例えば、画像データに対して処理を行った時刻、ユーザ、処理モード、処理の実行結果などを含んでいてもよい。
【０１３４】
サーバ制御部（登録処理部）３１８は、複合機２００から送信された操作ログ情報および画像データをデータ受信部３１１が受信すると（Ｓ１１）、受信した画像データに画像ＩＤを割り当て、この画像ＩＤと操作ログ情報とを対応付けてジョブ情報記憶部３１６に記憶させる（Ｓ１２）。
【０１３５】
また、サーバ制御部３１８は、解像度変換処理部３１２を制御してデータ受信部３１１が受信した画像データの解像度を予め設定された第１解像度（ここでは３００ｄｐｉ）に変換させて文書照合処理部３１４に出力させる（Ｓ１３）とともに、上記画像データの解像度を予め設定された第２解像度（ここでは１５０ｄｐｉ）に変換させ、この第２解像度に変換した画像データと上記画像ＩＤとを対応付けて画像データ記憶部３１３に記憶させる（Ｓ１４）。
【０１３６】
次に、サーバ制御部３１８は、文書照合処理部３１４を制御し、上記の第１解像度に変換した画像データに基づいて特徴点および特徴点の座標の算出処理（Ｓ１５）、および特徴量の算出処理（Ｓ１６）を行わせる。そして、Ｓ１５およびＳ１６で算出した特徴量および特徴点の座標を画像ＩＤと対応付けて特徴量記憶部３１５に記憶させ（Ｓ１７）、特徴量登録処理を終了する。
【０１３７】
次に、類似画像検索処理を行う場合の処理の流れについて説明する。図２０は類似画像検索処理の流れを示すフローチャートである。
【０１３８】
端末装置４００の制御部４０１は、操作入力部４０２を介してユーザからの類似画像検索処理モードの選択指示を受け付けると（Ｓ２１）、ＷｅｂＵＩ４０３を介してサーバ装置３００に登録画像データの送信要求を送信する（Ｓ２２）。
【０１３９】
サーバ装置３００のサーバ制御部３１８は、ＷｅｂＵＩ３１７が端末装置４００から登録画像データの送信要求を受信すると（Ｓ３１）、画像データ記憶部３１３に記憶されている第２解像度の各画像データおよび各画像データの画像ＩＤを読み出し、ＷｅｂＵＩ３１７を介して端末装置４００に送信する（Ｓ３２）。
【０１４０】
端末装置４００の制御部４０１は、ＷｅｂＵＩ４０３がサーバ装置３００から画像データおよび画像ＩＤを受信すると（Ｓ２３）、受信した画像データに応じた画像を表示部４０４に表示させる（Ｓ２４）。表示方法は特に限定されるものではなく、例えば画像データを１枚ずつ順に表示させてもよく、複数枚の画像データ毎に表示させてもよく、サムネイル画像を用いた一覧表示を行ってもよい。
【０１４１】
その後、端末装置４００の制御部４０１は、操作入力部４０２を介して入力されるユーザからの画像選択指示を受け付けると（Ｓ２５）、ＷｅｂＵＩ４０３を介して選択された画像の画像ＩＤを指定した類似画像検索要求をサーバ装置３００に送信する（Ｓ２６）。
【０１４２】
サーバ装置３００のサーバ制御部３１８は、ＷｅｂＵＩ３１７が端末装置４００から類似画像検索要求を受信すると（Ｓ３３）、この類似画像検索要求で指定された画像ＩＤに対応する第２解像度の画像データを画像データ記憶部３１３から読み出し（Ｓ３４）、この読み出した画像データに基づいて文書照合処理部３１４に特徴点算出処理（Ｓ３５）、特徴量算出処理（Ｓ３６）、および特徴量記憶部３１５に特徴量を記憶されている各照合対象画像に対する投票処理（Ｓ３７）を行わせる。
【０１４３】
次に、サーバ装置３００のサーバ制御部３１８は、類似画像検索要求で指定された画像ＩＤに対応する第１解像度の画像データに基づいて算出された特徴量を特徴量記憶部３１５から読み出し（Ｓ３８）、文書照合処理部３１４に、読み出した特徴量に基づいて、特徴量記憶部３１５に特徴量を記憶されている各照合対象画像に対する投票処理（Ｓ３９）を行わせる。
【０１４４】
その後、サーバ装置３００のサーバ制御部３１８は、文書照合処理部３１４に、第２解像度の画像データに基づく投票処理結果および第１解像度の画像データから算出された特徴量に基づく投票処理結果に基づく類似判定処理を行わせる（Ｓ４０）。判定方法の一例としては、例えば、第２解像度の画像データに基づく投票数と第１解像度の画像データから算出された特徴量に基づく投票数とを照合対象画像ごとに加算し、加算値が大きいものほど類似性が高いと判断すればよい。そして、ＷｅｂＵＩ３１７を介して類似判定処理の結果を端末装置４００に送信させ（Ｓ４１）、処理を終了する。なお、得票数の最も多い画像データ（あるいは最も類似度が高い画像データ）のみを端末装置４００に通知するようにしてもよく、得票数が所定値以上の画像データ（あるいは類似度が所定値以上の画像データ）を全て端末装置４００に通知するようにしてもよい。
【０１４５】
端末装置４００の制御部４０１は、ＷｅｂＵＩ４０３がサーバ装置３００から類似判定結果を受信すると（Ｓ２７）、この類似判定結果を表示部４０４に表示させ（Ｓ２８）、処理を終了する。
【０１４６】
以上のように、本実施形態にかかる画像処理システム１００では、第１解像度の画像データから算出した特徴量を特徴量記憶部３１５に記憶させておき、この画像データを第１解像度よりも低解像度の第２解像度に変換した画像データを画像データ記憶部３１３に記憶させておく。
【０１４７】
そして、照合キー画像についての類似画像検索要求があったときに、画像データ記憶部３１３から照合キー画像についての第２解像度の画像データを読み出し、この第２解像度の画像データに基づいて特徴点算出処理、特徴量算出処理、および投票処理を行う。さらに、照合キー画像についての第１解像度の画像データに基づいて算出され特徴量を特徴量記憶部３１５から読み出し、この読み出した特徴量に基づく投票処理を行う。そして、第２解像度の画像データに基づく投票処理結果と第１解像度の画像データに基づく投票処理結果とを用いて類似判定処理を行う。
【０１４８】
このように、照合キー画像についての複数種類の解像度の画像データに基づいて類似判定処理を行うことにより、類似判定処理をより精度よく行うことができる。
【０１４９】
また、例えば、複合機２００においてコピー、プリント、スキャン、ＦＡＸ等のジョブを実行した際、そのジョブ情報を処理画像付きログとしてサーバで保存し、いつ、誰がどんなデータを出力または送信したかを管理者が確認可能なシステムにおいて、高解像度（第１解像度）の画像データから抽出した特徴量と、低解像度（第２解像度）の画像データとを保存しておくことにより、必要に応じて類似画像検索時には高解像度の画像データから抽出した特徴量と低解像度の画像データから抽出した特徴量との両方を用いて類似画像検索処理を行うことができる。これにより、照合キー画像あるいは照合対象画像が割付原稿である場合や変倍処理が施された画像である場合であっても、照合処理を精度よく行うことができる。また、低解像度（第２解像度）の画像を記憶させておくことで、画像データの記憶容量を低減するとともに、必要に応じて画像データを実際に見比べるなどして照合結果の適否確認などを行うことができる。
【０１５０】
なお、本実施形態では、第２解像度の画像データに基づく投票処理と第１解像度の画像データに基づく投票処理とを常に行うものとしているが、これに限るものではない。例えば、いずれか一方の解像度の画像データに基づく投票処理を行っても類似画像が抽出されなかった場合に、他方の解像度の画像データに基づく投票処理を行うようにしてもよい。
【０１５１】
また、本実施形態では、画像データ記憶部３１３に第２解像度に変換した画像データを記憶させておくものとしたが、これに限らず、例えばデータ受信部３１１に入力された画像データをそのままの解像度で、あるいは第１解像度の画像データを記憶させておき、類似判定処理を行うときに第２解像度に変換するようにしてもよい。
【０１５２】
また、本実施形態では、まず第２解像度の画像データに基づく投票処理を行った後、第１解像度の画像データに基づく投票処理を行っているが、投票処理の順序はこれに限るものではなく、第１解像度の画像データに基づく投票処理を行った後に第２解像度の画像データに基づく投票処理を行ってもよく、第１解像度の画像データに基づく投票処理と第２解像度の画像データに基づく投票処理とを並行して行ってもよい。
【０１５３】
また、本実施形態では、照合キー画像をサーバ装置３００の画像データ記憶部に記憶されている画像の中から選択する場合について説明したが、これに限るものではなく、例えば端末装置４００あるいは複合機２００が照合キー画像をサーバ装置３００に送信するようにしてもよい。
【０１５４】
例えば、照合キー画像の元原稿（紙の原稿）がユーザの手元ある場合、複合機２００でこの元原稿を読み取らせることで（あるいはこの元原稿に対するジョブを実行させることで）、サーバ装置３００に照合キー画像を取り込ませ、この照合キー画像を第１解像度に変換した画像および第２解像度に変換した画像に基づいて特徴量算出処理、特徴量算出処理、および投票処理を行うようにしてもよい。また、端末装置４００から照合キー画像の画像データをサーバ装置３００に送信し、この照合キー画像を第１解像度に変換した画像および第２解像度に変換した画像に基づいて特徴量算出処理、特徴量算出処理、および投票処理を行うようにしてもよい。
【０１５５】
また、本実施形態では、解像度変換処理部３１２および文書照合処理部３１４をサーバ装置３００に設けているが、これに限らず、これら各部の全部または一部を複合機２００に設けてもよい。例えば、複合機２００に解像度変換処理部３１２および文書照合処理部３１４を設け、ジョブが実行されたときに、操作ログ情報の生成処理、ジョブにかかる画像データを第１解像度に変換して特徴点の座標および特徴量を算出する処理、および上記画像データを第２解像度に変換する処理を複合機２００で行い、操作ログ情報、第１解像度の画像データに基づいて算出した特徴点の座標および特徴量、および第２解像度の画像データをサーバ装置３００に送信する構成としてもよい。この場合、サーバ装置３００では、ネットワークを介して接続された各複合機２００から受信した特徴点の座標および特徴量、および第２解像度の画像データに対して画像ＩＤを付与し、この画像ＩＤと特徴点の座標および特徴量とを対応付けて特徴量記憶部３１５に記憶させ、画像ＩＤと第２解像度の画像データとを対応付けて画像データ記憶部３１３に記憶させる。そして、複合機２００から類似画像検索処理を要求された場合には、特徴量記憶部３１５に記憶させている画像ＩＤと特徴点の座標および特徴量、および画像データ記憶部３１３に記憶させている画像ＩＤと第２解像度の画像データを複合機２００に送信する。これにより、複合機２００に備えられた文書照合処理部３１４によって類似画像検索処理が行われる。
【０１５６】
また、本実施形態では、複合機２００とサーバ装置３００とがネットワークを介して通信可能に接続されている構成について説明したが、これに限らず、例えば、解像度変換処理部３１２、文書照合処理部３１４、画像データ記憶部３１３、特徴量記憶部３１５、およびジョブ情報記憶部３１６を複合機２００に備え、これら各部の動作を複合機２００の主制御部がサーバ制御部３１８と同様に制御するようにしてもよい。
【０１５７】
図２１は、この場合の複合機２００の構成例を示すブロック図である。この図に示す例では、図３に示した構成に加えて、入力階調補正部１３と領域分離処理部１４との間にログ生成・検索処理部３００ｂを備えている。ログ生成・検索処理部３００ｂの構成はサーバ装置３００の構成と略同様なのでここではその説明を省略する。
【０１５８】
複合機２００の主制御部は、複合機２００においてジョブが実行される際、以下の処理を行う。
（１）このジョブに係る画像データに画像ＩＤを付与する。
（２）このジョブに係る操作ログ情報と画像ＩＤとを対応付けてログ生成・検索処理部３００ｂに備えられるジョブ情報記憶部３１６に記憶させる。
（３）このジョブに係る画像データの解像度をログ生成・検索処理部３００ｂに備えられる解像度変換処理部３１２によって第１解像度に変換させ、この第１解像度の画像データに基づいてログ生成・検索処理部３００ｂに備えられる文書照合処理部３１４によって特徴点、特徴点の座標、および特徴量の算出を行わせ、算出した特徴量および特徴点の座標と画像ＩＤとを対応付けてログ生成・検索処理部３００ｂに備えられる特徴量記憶部３１５に記憶させる。
（４）このジョブに係る画像データの解像度をログ生成・検索処理部３００ｂに備えられる解像度変換処理部３１２によって第２解像度に変換させ、画像ＩＤと対応付けてログ生成・検索処理部３００ｂに備えられる画像データ記憶部３１３に記憶させる。
（５）入力階調補正部１３から入力された画像データをそのまま後段の領域分離処理部１４に出力する。
【０１５９】
また、複合機２００の主制御部は、複合機２００の操作パネル６、あるいはネットワークを介して接続された端末装置４００を介してユーザからの類似画像検索要求を受け付けた場合、以下の処理を行う。
（１）画像データ記憶部３１３から照合キー画像の第２解像度の画像データを読み出し、この第２解像度の画像データに基づいて文書照合処理部３１４に特徴点、特徴点の座標、および特徴量を算出させ、特徴量記憶部３１５に特徴量を記憶されている照合対象画像に対して、算出した特徴量に基づいて投票処理を行わせる。
（２）特徴量記憶部３１５から第１解像度の照合キー画像に基づいて算出された特徴量および特徴点の座標を読み出し、特徴量記憶部３１５に特徴量を記憶されている照合対象画像に対して、特徴量記憶部３１５から読み出した上記特徴量に基づいて投票処理を行わせる。
（３）上記（１）の投票処理結果および上記（２）の投票処理結果に基づいて各照合対象画像についての類似判定処理を行う。
（４）類似判定処理結果を端末装置４００に送信、あるいは操作パネル６に備えられる表示部に表示させる。
【０１６０】
また、本実施形態では、特徴量記憶部３１５に特徴量を記憶されている画像データのうち照合キー画像を除く全ての登録画像データを照合対象画像としているが、これに限るものではない。例えば、特徴量記憶部３１５に特徴量を記憶させる際、所定のルール（例えば、ジョブが実行された時期、ジョブを実行したユーザあるいは当該ユーザが属するグループ，部署，役職等、原稿画像の種類、ジョブの実行内容など）に基づいてグループ分けしておき、ユーザが類似画像検索処理を要求する際に検索範囲（照合対象画像の選択）を指定し、指定された条件に合致する画像のみを照合対象画像とするようにしてもよい。
【０１６１】
また、上記実施形態において、複合機２００および／またはサーバ装置３００に備えられる各部（各ブロック）を、ＣＰＵ等のプロセッサを用いてソフトウェアによって実現してもよい。この場合、複合機２００および／またはサーバ装置３００は、各機能を実現する制御プログラムの命令を実行するＣＰＵ（central processing unit）、上記プログラムを格納したＲＯＭ（read only memory）、上記プログラムを展開するＲＡＭ（random access memory）、上記プログラムおよび各種データを格納するメモリ等の記憶装置（記録媒体）などを備えている。そして、本発明の目的は、上述した機能を実現するソフトウェアである複合機２００および／またはサーバ装置３００の制御プログラムのプログラムコード（実行形式プログラム、中間コードプログラム、ソースプログラム）をコンピュータで読み取り可能に記録した記録媒体を、複合機２００および／またはサーバ装置３００に供給し、そのコンピュータ（またはＣＰＵやＭＰＵ）が記録媒体に記録されているプログラムコードを読み出し実行することによって達成される。
【０１６２】
上記記録媒体としては、例えば、磁気テープやカセットテープ等のテープ系、フロッピー（登録商標）ディスク／ハードディスク等の磁気ディスクやＣＤ−ＲＯＭ／ＭＯ／ＭＤ／ＤＶＤ／ＣＤ−Ｒ等の光ディスクを含むディスク系、ＩＣカード（メモリカードを含む）／光カード等のカード系、あるいはマスクＲＯＭ／ＥＰＲＯＭ／ＥＥＰＲＯＭ／フラッシュＲＯＭ等の半導体メモリ系などを用いることができる。
【０１６３】
また、複合機２００および／またはサーバ装置３００を通信ネットワークと接続可能に構成し、通信ネットワークを介して上記プログラムコードを供給してもよい。この通信ネットワークとしては、特に限定されず、例えば、インターネット、イントラネット、エキストラネット、ＬＡＮ、ＩＳＤＮ、ＶＡＮ、ＣＡＴＶ通信網、仮想専用網（virtual private network）、電話回線網、移動体通信網、衛星通信網等が利用可能である。また、通信ネットワークを構成する伝送媒体としては、特に限定されず、例えば、ＩＥＥＥ１３９４、ＵＳＢ、電力線搬送、ケーブルＴＶ回線、電話線、ＡＤＳＬ回線等の有線でも、ＩｒＤＡやリモコンのような赤外線、Ｂｌｕｅｔｏｏｔｈ（登録商標）、８０２．１１無線、ＨＤＲ、携帯電話網、衛星回線、地上波デジタル網等の無線でも利用可能である。なお、本発明は、上記プログラムコードが電子的な伝送で具現化された、搬送波に埋め込まれたコンピュータデータ信号の形態でも実現され得る。
【０１６４】
また、複合機２００および／またはサーバ装置３００の各ブロックは、ソフトウェアを用いて実現されるものに限らず、ハードウェアロジックによって構成されるものであってもよく、処理の一部を行うハードウェアと当該ハードウェアの制御や残余の処理を行うソフトウェアを実行する演算手段とを組み合わせたものであってもよい。
【０１６５】
本発明は上述した実施形態に限定されるものではなく、請求項に示した範囲で種々の変更が可能である。すなわち、請求項に示した範囲で適宜変更した技術的手段を組み合わせて得られる実施形態についても本発明の技術的範囲に含まれる。
【産業上の利用可能性】
【０１６６】
本発明は、照合キー画像の特徴量と照合対象画像の特徴量とを比較して両画像の類似判定を行う画像処理装置および画像処理システムに適用できる。
【図面の簡単な説明】
【０１６７】
【図１】本発明の一実施形態にかかる画像処理システムに備えられるサーバ装置の概略構成を示すブロック図である。
【図２】本発明の一実施形態にかかる画像処理システムの概略構成を示す説明図である。
【図３】本発明の一実施形態にかかる画像処理システムに備えられる複合機の概略構成を示すブロック図である。
【図４】本発明の一実施形態にかかる画像処理システムに備えられる端末装置の概略構成を示すブロック図である。
【図５】図１のサーバ装置に備えられる文書照合処理部の構成を示すブロック図である。
【図６】図５に示した文書照合処理部に備えられる特徴点算出部の構成を示すブロック図である。
【図７】図５に示した特徴点算出部のＭＴＦ処理部で用いられる混合フィルタのフィルタ係数の一例を示す説明図である。
【図８】図５に示した特徴点算出部によって入力画像データから抽出される連結領域およびこの連結領域の重心の一例を示す説明図である。
【図９】図５に示した特徴点算出部によって入力画像データに含まれる文字列から抽出された複数の連結領域の各重心（特徴点）の一例を示す説明図である。
【図１０】図５に示した文書照合処理部に備えられる特徴量算出部の構成を示すブロック図である。
【図１１】図１０に示した特徴量算出部によって特徴量を算出する際に抽出される注目特徴点および周辺特徴点の一例を示す説明図である。
【図１２】（ａ）〜（ｃ）は、図１０に示した特徴量算出部によって特徴量を算出する際に抽出される注目特徴点および周辺特徴点の組み合わせの一例を示す説明図である。
【図１３】（ａ）〜（ｃ）は、図１０に示した特徴量算出部によって特徴量を算出する際に抽出される注目特徴点および周辺特徴点の組み合わせの一例を示す説明図である。
【図１４】（ａ）および（ｂ）は、ハッシュテーブルに登録される各特徴点についてのハッシュ値および入力画像データを表すインデックスの一例を示す説明図である。
【図１５】図５に示した文書照合処理部に備えられる特徴量記憶部に記憶される、各登録画像の原稿ＩＤと、各登録画像の特徴点と、これら各特徴点の座標との関係を示す説明図である。
【図１６】図５に示した文書照合処理部に備えられる投票処理部において行われる投票処理を説明するための説明図である。
【図１７】図５に示した文書照合処理部に備えられる投票処理部における、各照合対象画像に対する投票数の一例を示すグラフである。
【図１８】照合対象画像の特徴点の座標系と照合キー画像の特徴点の座標系とを一致させるための座標変換処理を説明するための説明図である。
【図１９】図１に示したサーバ装置における特徴量登録処理の流れを示すフローチャートである。
【図２０】図１に示したサーバ装置における類似画像検索処理の流れを示すフローチャートである。
【図２１】本発明の一実施形態にかかる画像処理システムの変形例を示す説明図である。
【符号の説明】
【０１６８】
２ カラー画像入力装置
３ カラー画像処理装置
４ カラー画像出力装置
５ 通信装置
６ 操作パネル
３１ 特徴点算出部
３２ 特徴量算出部
３２ａ 特徴点抽出部
３２ｂ 不変量算出部
３２ｃ ハッシュ値算出部
３３ 投票処理部
３４ 類似度判定処理部
３５ 登録処理部
３６ 制御部
３７ メモリ
１００ 画像処理システム
２００ 複合機
３００ サーバ装置
３００ｂ ログ生成・検索処理部
３１１ データ受信部
３１２ 解像度変換処理部
３１３ 画像データ記憶部
３１４ 文書照合処理部
３１５ 特徴量記憶部
３１６ ジョブ情報記憶部
３１８ サーバ制御部（登録処理部）
４００ 端末装置
【技術分野】
【０００１】
本発明は、照合キー画像の特徴量と照合対象画像の特徴量とを比較して両画像の類似判定を行う画像処理装置、画像形成装置、画像処理システム、画像処理方法、画像処理プログラムおよびその記録媒体に関するものである。
【背景技術】
【０００２】
従来より、スキャナで原稿画像を読み取って得られた画像データと事前に登録されている画像データとを比較して両者の類似度を判定する技術が種々提案されている。
【０００３】
類似度の判定方法としては、例えば、文字画像からＯＣＲ（Optical Character Reader）などでキーワードを抽出してマッチングを行う方法や、画像に含まれる罫線の特徴を抽出してマッチングを行う方法、画像データに含まれる文字列等を点（特徴点）に置き換え、これらの点の位置関係に基づいて算出される特徴量を用いてマッチングを行う方法などが提案されている。
【０００４】
また、特許文献１には、入力文書の特徴から文書のデジタル化により生じる歪みや入力文書と文書データベース中の整合する文書との間の差異に対し不変となるように選ばれるデスクリプタを生成し、このデスクリプタと、デスクリプタを記録しデスクリプタが抽出される特徴を含む文書のリストを指し示すデスクリプタデータベースとを用いて、入力文書と文書データベース中の文書とのマッチングを行う技術が開示されている。この技術では、デスクリプタデータベースがスキャンされるときに、文書データベース中の各文書に対する投票結果を集計し、最高得票数の１文書または得票数がある閾値を超えた文書を整合文書とするようになっている。
【０００５】
また、特許文献２には、英文文書における単語の重心、黒画素の連結成分の重心、漢字の閉鎖空間、画像中に繰り返し現れる特定部位などを特徴点として抽出し、抽出された各特徴点に対して局所的な特徴点の集合を決定し、決定された各集合から特徴点の部分集合を選択し、選択された各部分集合を特徴付ける量として部分集合中における特徴点の複数の組み合わせについて幾何学的変換に対する不変量をそれぞれ求め、求めた各不変量を特徴量とし、このように求めた特徴量に基づいて文書照合を行う技術が開示されている。
【特許文献１】特開平７−２８２０８８号公報（１９９５年１０月２７日公開）
【特許文献２】国際公開第ＷＯ２００６／０９２９５７Ａ１号パンフレット（公開日：２００６年９月８日）
【非特許文献１】中居 友弘、黄瀬 浩一、岩村 雅一著、「複比の投票に基づく文書画像検索と射影歪み補正」、画像の認識・理解シンポジウム（ＭＩＲＵ２００５）（情報処理学会 コンピュータビジョンとイメージメディア研究会主催）予稿集、ｐｐ．５３８−ｐｐ．５４５
【発明の開示】
【発明が解決しようとする課題】
【０００６】
しかしながら、上記した従来の技術では、照合キー画像の解像度と照合対象画像の解像度とが異なる場合に、これら両画像の類似性を精度よく判定できないという問題がある。
【０００７】
上記の問題点についてより詳細に説明する。なお、本明細書において、「照合キー画像」とは予め登録された画像に対する照合処理のキーとなる画像であり、「照合対象画像」とは上記照合処理を行う際の検索対象となる画像である。例えば、画像データＡに含まれる原稿画像に類似する画像が予め登録された画像群の中に含まれているか否かを判定する場合、上記画像データＡに含まれる原稿画像が照合キー画像であり、上記画像群に属する画像が照合対象画像となる。また、本明細書において、「登録画像」とは、画像処理装置あるいは画像処理システムに登録されている全ての画像を意味する。したがって、照合キー画像が画像処理装置あるいは画像処理システムに登録された画像である場合にはこの照合対象画像も登録画像に該当する。
【０００８】
画像の特徴量を用いて画像同士の類似性を判定する場合、画像同士の解像度を同じにして照合することで、最も判定精度が良くなる。これは、画像同士の解像度を揃えることで、判定の基準となる特徴量の抽出を同じ条件で行えるためである。
【０００９】
ところが、照合キー画像が変倍原稿や割付原稿を読み取って得られた画像である場合や、ＦＡＸジョブで取得した画像である場合などには、照合キー画像における原稿画像の画像サイズと、この原稿画像のオリジナルの画像サイズとが異なる。特に、読み込まれた原稿を順次登録していく画像ジョブログシステム等においては、一般に、変倍原稿や割付原稿を読み取って得られた画像やＦＡＸジョブで取得した画像を取得時の解像度で蓄積していくので、これらの画像に含まれる原稿画像のサイズが当該原稿画像のオリジナルの画像サイズ（上記原稿画像がデフォルトで処理された際の画像サイズ）と異なる場合が多い。
【００１０】
このため、照合対象画像の特徴量が原稿画像のオリジナルの画像サイズ（原稿画像がデフォルトで処理された際の画像サイズ）に基づいて算出されたものである場合、照合キー原稿を照合対象画像の取得時と同じ解像度（デフォルトの解像度）にて読み取ったとしても実質的な解像度が違ってくる。
【００１１】
そして、照合対象画像と照合キー画像との実質的な解像度が違うと、例えば、実際には互いに連結していない複数の画素連結領域について、高解像度の画像では互いに異なる画素連結領域として認識される一方、低解像度の画像では１つの画素連結領域と認識されてしまうといった不具合が生じる。その結果、類似性の判定精度が低下し、判定結果が異なってしまうという問題が生じる。
【００１２】
一例として、Ａ４サイズの原稿Ａ，Ｂのそれぞれを６００ｄｐｉで読み取った画像データ（照合対象画像）と、Ａ４サイズの上記原稿２枚分（原稿Ａ，Ｂ）の画像がＡ４サイズ１枚に割り付けられた割付原稿を同じく６００ｄｐｉで読み取った画像データ（照合キー画像）とを比較する場合について説明する。
【００１３】
Ａ４サイズの原稿２枚がＡ４サイズ１枚に割り付けられた割付原稿の場合、割り付けられている２つの原稿画像はそれぞれオリジナルのサイズ（Ａ４サイズ）に対して約０．７倍に縮小されている。したがって、この割付原稿に含まれる個々の原稿画像（原稿Ａ，Ｂ）の実質的な解像度は約４２０ｄｐｉとなる。
【００１４】
このため、Ａ４サイズの原稿Ａ，Ｂのそれぞれを６００ｄｐｉで読み取って得られた特徴量と、割付画像を６００ｄｐｉで読み取って得られる特徴量（原稿Ａ，Ｂを約４２０ｄｐｉで読み取って得られる特徴量の組み合わせ）とが比較されることになる。この場合、各原稿についての特徴量の抽出結果が異なってしまい、照合キー画像（原稿Ａ，Ｂの割付画像）と照合対象画像（原稿Ａ，Ｂのオリジナルサイズの画像）との類似性を精度よく判定できない。その結果、例えば原稿Ａ，Ｂのいずれにも類似しないと判定されたり、原稿Ａ，Ｂの一方にのみ類似すると判定されたりするといった誤判定が生じる。
【００１５】
本発明は、上記の問題点に鑑みてなされたものであり、その目的は、照合キー画像が変倍画像、割付画像、あるいは低解像度画像であっても、この照合キー画像と予め登録された照合対象画像との類似性を精度よく判定することにある。
【課題を解決するための手段】
【００１６】
本発明の画像処理装置は、上記の課題を解決するために、画像データからこの画像データに含まれる画像の特徴量を抽出する特徴量抽出部と、登録画像の特徴量とこの登録画像の識別情報とを対応付けて記憶する特徴量記憶手段と、照合キー画像として指定された画像の特徴量と上記特徴量記憶手段に記憶されている登録画像のうち照合対象とする画像である１つ以上の照合対象画像の特徴量とを比較することで上記照合キー画像と上記各照合対象画像との類似度を算出し、算出した類似度に基づいて上記照合キー画像に類似している類似画像を検索する類似画像検索手段とを備えた画像処理装置であって、照合キー画像の解像度を第１解像度と第１解像度とは異なる第２解像度とに変換する解像度変換部を備え、上記類似画像検索手段は、上記特徴量抽出部が上記第１解像度に変換された照合キー画像から抽出した上記照合キー画像の特徴量と、上記特徴量記憶手段に記憶されている上記照合対象画像の特徴量とを比較する第１比較処理の結果と、上記特徴量抽出部が上記第２解像度に変換された照合キー画像から抽出した上記照合キー画像の特徴量と上記特徴量記憶手段に記憶されている上記照合対象画像の特徴量とを比較する第２比較処理の結果とに基づいて類似画像の検索を行うことを特徴としている。
【００１７】
上記の構成によれば、上記特徴量抽出部が上記第１解像度に変換された照合キー画像から抽出した上記照合キー画像の特徴量と、上記特徴量記憶手段に記憶されている上記照合対象画像の特徴量とを比較する第１比較処理の結果と、上記特徴量抽出部が上記第２解像度に変換された照合キー画像から抽出した上記照合キー画像の特徴量と上記特徴量記憶手段に記憶されている上記照合対象画像の特徴量とを比較する第２比較処理の結果とに基づいて類似画像の検索を行う。したがって、照合キー画像についての複数の解像度の画像データに基づいて類似検索処理を行うことができるので、照合キー画像が変倍画像、割付画像、あるいは低解像度画像であっても、この照合キー画像に類似する照合対象画像を精度よく検索することができる。
【００１８】
また、上記類似画像検索部は、上記第１比較処理の結果に基づいて類似画像を検索する第１検索処理を行い、上記第１検索処理では類似画像を特定できなかった場合に、上記第２比較処理の結果に基づいて類似画像を検索する第２検索処理を行う構成としてもよい。
【００１９】
上記の構成によれば、はじめに第１比較処理の結果に基づいて類似画像を検索する第１検索処理を行い、第１検索処理では類似画像を特定できなかった場合に第２比較処理の結果に基づいて類似画像を検索する第２検索処理を行う。それゆえ、第１検索処理のみに基づいて類似画像を特定可能な場合には第２検索処理を行わないので、検索処理に要する時間を短縮できる。
【００２０】
また、上記類似画像検索部は、上記第１比較処理の結果に基づいて上記照合キー画像と上記各照合対象画像との類似度を算出する第１類似度算出処理と、上記第２比較処理の結果に基づいて上記照合キー画像と上記各照合対象画像との類似度を算出する第２類似度算出処理とを行い、上記第１類似度算出処理によって算出された類似度と上記第２類似度算出処理によって算出された類似度とを照合対象画像毎に加算した結果に基づいて類似画像を検索する構成としてもよい。
【００２１】
上記の構成によれば、第１類似度算出処理によって算出された類似度と第２類似度算出処理によって算出された類似度とを照合対象画像毎に加算した結果に基づいて類似画像を検索することにより、類似画像をより精度よく検索できる。
【００２２】
また、上記類似画像検索部は、上記第１比較処理の結果に基づいて上記照合キー画像と上記各照合対象画像との類似度を算出する第１類似度算出処理と、上記第２比較処理の結果に基づいて上記照合キー画像と上記各照合対象画像との類似度を算出する第２類似度算出処理とを行い、上記第１類似度算出処理および上記第２類似度算出処理で算出した類似度のうち最大値を有する類似度に基づいて類似画像を検索する構成としてもよい。
【００２３】
上記の構成によれば、第１類似度算出処理によって算出された類似度および第２類似度算出処理によって算出された類似度のうち最大値を有する類似度、すなわち最も類似性が高い類似度に基づいて類似画像を検索する。これにより、類似画像をより精度よく検索できる。
【００２４】
また、上記登録画像の画像データとこの登録画像の識別情報とを対応付けて記憶する画像データ記憶手段と、上記画像データ記憶手段に記憶されている画像データを表示する表示部と、上記表示部に表示されている画像の中から照合キー画像とする画像を選択するユーザからの選択指示を受け付ける操作入力部と、上記特徴量記憶手段に登録画像の特徴量を記憶させるときに、上記解像度変換部によって第１解像度に変換された上記登録画像の特徴量をこの登録画像の識別情報と対応付けて上記特徴量記憶手段に記憶させ、上記解像度変換部によって第２解像度に変換された上記登録画像の画像データをこの登録画像の識別情報と対応付けて上記画像データ記憶部に記憶させる登録処理部とを備え、上記第１比較処理を行うときに、上記類似画像検索部は、上記特徴量記憶手段に記憶されている上記照合キー画像に対応する第１解像度の画像から抽出された特徴量と、上記特徴量記憶手段に記憶されている上記照合対象画像の特徴量とを比較し、上記第２比較処理を行うときに、上記特徴量抽出部は、上記画像データ記憶手段に記憶されている上記照合キー画像に対応する第２解像度の画像データに基づいて照合キー画像の特徴量の抽出を行い、上記類似画像検索部は、上記特徴量抽出部が上記照合キー画像に対応する第２解像度の画像データから抽出した上記特徴量と上記特徴量記憶手段に記憶されている上記照合対象画像の特徴量とを比較する構成としてもよい。
【００２５】
上記の構成によれば、予め登録しておいた登録画像の中からユーザが照合キー画像を指定し、この指定された照合キー画像に類似する照合対象画像を検索することができる。また、特徴量記憶手段に登録画像の特徴量を記憶させるときには、第１解像度に変換された登録画像の特徴量をこの登録画像の識別情報と対応付けて特徴量記憶手段に記憶させ、第２解像度に変換された登録画像の画像データをこの登録画像の識別情報と対応付けて画像データ記憶部に記憶させておく。これにより、登録画像の画像データを第１解像度および第２解像度の両方について記憶させておく場合に比べて、画像データ記憶手段の記憶容量を低減できる。
【００２６】
また、上記第２解像度は上記第１解像度よりも低い解像度である構成としてもよい。上記の構成によれば、画像データ記憶手段の記憶容量をより低減できる。
【００２７】
本発明の画像形成装置は、上記したいずれかの画像処理装置と、画像データに応じた画像を記録材上に形成する画像出力部とを備えている。
【００２８】
上記の構成によれば、照合キー画像についての複数の解像度の画像データに基づいて類似検索処理を行うことができるので、照合キー画像が変倍画像、割付画像、あるいは低解像度画像であっても、この照合キー画像に類似する照合対象画像を精度よく検索することができる。
【００２９】
また、本発明の画像処理システムは、画像データに対して所定の処理を施す画像処理装置と、この画像処理装置に対して通信可能に接続されたサーバ装置とを備えた画像処理システムであって、画像データからこの画像データに含まれる画像の特徴量を抽出する特徴量抽出部と、登録画像の特徴量とこの登録画像の識別情報とを対応付けて記憶する特徴量記憶手段と、照合キー画像として指定された画像の特徴量と上記特徴量記憶手段に記憶されている登録画像のうち照合対象とする画像である１つ以上の照合対象画像の特徴量とを比較することで上記照合キー画像と上記各照合対象画像との類似度を算出し、算出した類似度に基づいて上記照合キー画像に類似している類似画像を検索する類似画像検索部と、照合キー画像の解像度を第１解像度と第１解像度とは異なる第２解像度とに変換する解像度変換部とが上記画像処理装置または上記サーバ装置に備えられるか、あるいは上記画像処理装置と上記サーバ装置とに分散して備えられており、上記類似画像検索部は、上記特徴量抽出部が上記第１解像度に変換された照合キー画像から抽出した上記照合対象画像の特徴量と上記特徴量記憶手段に記憶されている上記照合対象画像の特徴量とを比較する第１比較処理の結果と、上記特徴量抽出部が上記第２解像度に変換された照合キー画像から抽出した上記照合対象画像の特徴量と上記特徴量記憶手段に記憶されている上記照合対象画像の特徴量とを比較する第２比較処理の結果とに基づいて類似画像の検索を行うことを特徴としている。
【００３０】
上記の構成によれば、照合キー画像についての複数の解像度の画像データに基づいて類似検索処理を行うことができるので、照合キー画像が変倍画像、割付画像、あるいは低解像度画像であっても、この照合キー画像に類似する照合対象画像を精度よく検索することができる。
【００３１】
本発明の画像処理方法は、照合キー画像の特徴量と予め登録されている１つ以上の照合対象画像の特徴量とを比較することで上記照合キー画像と上記各照合対象画像との類似度を算出し、算出した類似度に基づいて上記照合キー画像に類似している類似画像を検索する類似画像検索処理を行う画像処理方法であって、照合キー画像の解像度を第１解像度と第１解像度とは異なる第２解像度とに変換する解像度変換工程と、上記第１解像度に変換された照合キー画像から上記照合キー画像の特徴量を抽出する第１特徴量抽出工程と、上記第２解像度に変換された照合キー画像から上記照合キー画像の特徴量を抽出する第２特徴量抽出工程と、上記第１特徴量抽出工程で抽出した特徴量と上記照合対象画像の特徴量とを比較する第１比較処理の結果と、上記第２特徴量抽出工程で抽出した特徴量と上記照合対象画像の特徴量とを比較する第２比較処理の結果とに基づいて類似画像の検索を行う類似画像検索工程とを含むことを特徴としている。
【００３２】
上記の方法によれば、照合キー画像についての複数の解像度の画像データに基づいて類似検索処理を行うことができるので、照合キー画像が変倍画像、割付画像、あるいは低解像度画像であっても、この照合キー画像に類似する照合対象画像を精度よく検索することができる。
【００３３】
なお、上記画像処理装置は、コンピュータによって実現してもよく、この場合には、コンピュータを上記各部として動作させることにより、上記画像処理装置をコンピュータにて実現させる画像処理プログラム、およびそれを記録したコンピュータ読み取り可能な記録媒体も、本発明の範疇に含まれる。
【発明の効果】
【００３４】
本発明の画像処理装置および画像処理システムでは、上記類似画像検索部は、上記特徴量抽出部が上記第１解像度に変換された照合キー画像から抽出した上記照合キー画像の特徴量と上記特徴量記憶手段に記憶されている上記照合対象画像の特徴量とを比較する第１比較処理の結果と、上記特徴量抽出部が上記第２解像度に変換された照合キー画像から抽出した上記照合キー画像の特徴量と上記特徴量記憶手段に記憶されている上記照合対象画像の特徴量とを比較する第２比較処理の結果とに基づいて類似画像の検索を行う。
【００３５】
また、本発明の画像処理方法は、上記第１解像度に変換された照合キー画像から上記照合キー画像の特徴量を抽出する第１特徴量抽出工程と、上記第２解像度に変換された照合キー画像から上記照合キー画像の特徴量を抽出する第２特徴量抽出工程と、上記第１特徴量抽出工程で抽出した特徴量と上記照合対象画像の特徴量とを比較する第１比較処理の結果と、上記第２特徴量抽出工程で抽出した特徴量と上記照合対象画像の特徴量とを比較する第２比較処理の結果とに基づいて類似画像の検索を行う類似画像検索工程とを含む。
【００３６】
それゆえ、照合キー画像についての複数の解像度の画像データに基づいて類似検索処理を行うことができるので、照合キー画像が変倍画像、割付画像、あるいは低解像度画像であっても、この照合キー画像に類似する照合対象画像を精度よく検索することができる。
【発明を実施するための最良の形態】
【００３７】
本発明の一実施形態について説明する。なお、本実施形態では、主に、複合機において取り扱われる原稿画像の特徴量とこの原稿画像の画像ＩＤとを対応付けてサーバ装置に逐次登録していく画像ジョブログシステム（画像処理システム）に適用する場合について説明する。
【００３８】
図２は、本実施形態にかかる画像処理システム１００の概略構成を示す説明図である。この図に示すように、画像処理システム１００は、複合機２００、サーバ装置（複合機監視サーバ）３００、および端末装置４００を備えており、これら各装置がネットワークを介して通信可能に接続されてなる。なお、本実施形態では、複合機２００とサーバ装置３００とがネットワークを介して接続されている構成について説明するが、これに限らず、サーバ装置３００を複合機２００内に設けてもよい。
【００３９】
複合機２００は、コピー機能、プリンタ機能、ファクシミリ機能、スキャナ機能、scan to e-mail機能等を有している。また、複合機２００は、画像データに対して行った操作の操作内容および操作を行った画像データをサーバ装置３００に送信するようになっている。
【００４０】
サーバ装置３００は、複合機２００から受信した画像データとこの画像データに対して行われた操作の操作内容とを処理画像付きログとして保存する。
【００４１】
端末装置４００は、サーバ装置３００に保存されているログを検索したり閲覧したりするためのものである。また、端末装置４００は、サーバ装置３００に対して照合キー画像に類似する照合登録画像がこの端末装置４００に保存されているか否かの検索を要求する類似画像検索要求を送信する。
端末装置４００としては例えばパーソナルコンピュータ等が用いられる。
【００４２】
図３は、複合機２００の概略構成を示すブロック図である。この図に示すように、複合機２００は、カラー画像入力装置２、カラー画像処理装置３、カラー画像出力装置４、通信装置５、および操作パネル６を備えており、コピー機能、プリンタ機能、ファクシミリ機能、スキャナ機能、scan to e-mail機能等を有している。
【００４３】
カラー画像入力装置２は、原稿の画像を読み取って画像データを生成するものであり、例えばＣＣＤ（Charge Coupled Device ）などの光学情報を電気信号に変換するデバイスを備えたスキャナ部（図示せず）より構成されている。ここでは、カラー画像入力装置２は、原稿からの反射光像を、ＲＧＢ（Ｒ：赤・Ｇ：緑・Ｂ：青）のアナログ信号としてカラー画像処理装置３に出力する。
【００４４】
カラー画像処理装置３は、カラー画像入力装置２から入力されたアナログ信号に、種々の処理を施すと共にカラー画像出力装置４が扱える形に変換して、カラー画像出力装置へと出力するものであり、Ａ／Ｄ（アナログ／デジタル）変換部１１、シェーディング補正部１２、入力階調補正部１３、領域分離処理部１４、色補正部１５、黒生成下色除去部１６、空間フィルタ処理部１７、出力階調補正部１８、および階調再現処理部１９を備えている。カラー画像入力装置２にて読み取られたアナログ信号は、カラー画像処理装置３内を、Ａ／Ｄ変換部１１、シェーディング補正部１２、入力階調補正部１３、領域分離処理部１４、色補正部１５、黒生成下色除去部１６、空間フィルタ処理部１７、出力階調補正部１８、および階調再現処理部１９の順で送られ、最終的にはデジタル信号のＣＭＹＫ信号となる。そして、階調再現処理部１９より出力されたデジタル信号のＣＭＹＫ信号は、図示しないメモリに一旦格納された後、カラー画像出力装置４あるいは通信装置５へと出力される。
【００４５】
Ａ／Ｄ変換部１１は、ＲＧＢのアナログ信号をデジタル信号に変換するものであり、シェーディング補正部１２では、Ａ／Ｄ変換部１１より送られてきたデジタルのＲＧＢ信号に対して、カラー画像入力装置２の照明系、結像系、撮像系で生じる各種の歪みを取り除くための処理を施す。
【００４６】
入力階調補正部１３は、シェーディング補正部１２にて各種の歪みが取り除かれたＲＧＢ信号に対して、カラーバランスの調整および濃度信号などカラー画像処理装置に採用されている画像処理システムの扱い易い信号に変換する処理を行う。
【００４７】
領域分離処理部１４は、ＲＧＢ信号より、入力画像中の各画素を文字領域、網点領域、写真領域のいずれかに分離するものである。領域分離処理部１４は、分離結果に基づき、画素がどの領域に属しているかを示す領域識別信号を、黒生成下色除去部１６、空間フィルタ処理部１７、および階調再現処理部１９へと出力する。また、領域分離処理部１４は、入力階調補正部１３より出力された入力信号をそのまま後段の色補正部１５に出力する。
【００４８】
色補正部１５は、色再現の忠実化実現のために、不要吸収成分を含むＣＭＹ（Ｃ：シアン・Ｍ：マゼンタ・Ｙ：イエロー）色材の分光特性に基づいた色濁りを取り除く処理を行うものである。
【００４９】
黒生成下色除去部１６は、色補正後のＣＭＹの３色信号から黒（Ｋ）信号を生成する黒生成、元のＣＭＹ信号から黒生成で得たＫ信号を差し引いて新たなＣＭＹ信号を生成する処理を行うものである。これにより、ＣＭＹの３色信号はＣＭＹＫの４色信号に変換される。
【００５０】
空間フィルタ処理部１７は、黒生成下色除去部１６より入力されるＣＭＹＫ信号の画像データに対して、領域識別信号を基にデジタルフィルタによる空間フィルタ処理を行い、空間周波数特性を補正する。これにより、出力画像のぼやけや粒状性劣化を軽減することができる。階調再現処理部１９は、空間フィルタ処理部１７と同様、ＣＭＹＫ信号の画像データに対して領域識別信号を基に所定の処理を施すものである。
【００５１】
例えば、領域分離処理部１４にて文字に分離された領域は、文字の再現性を高めるために、空間フィルタ処理部１７において高周波成分の強調量が大きい空間フィルタを用いてフィルタ処理される。また、階調再現処理部１９においては、高域周波成分の再現に適した高解像度のスクリーンによる二値化もしくは多値化処理が実施される。
【００５２】
また、領域分離処理部１４にて網点に分離された領域に関しては、空間フィルタ処理部１７において、入力網点成分を除去するためのローパス・フィルタ処理が施される。そして、出力階調補正部１８では、濃度信号などの信号をカラー画像出力装置４の特性値である網点面積率に変換する出力階調補正処理を行った後、階調再現処理部１９で、最終的に画像を画素に分離してそれぞれの階調を再現できるように処理する階調再現処理が施される。領域分離処理部１４にて写真に分離された領域に関しては、階調再現性を重視したスクリーンでの二値化または多値化処理が行われる。
【００５３】
上述した各処理が施された画像データは、一旦、図示しないメモリに記憶されたのち、所定のタイミングで読み出されてカラー画像出力装置４あるいは通信装置５に入力される。例えば、コピー機能やプリンタ機能を実行する場合には上記画像データはカラー画像出力装置４に送られ、ファクシミリ機能やscan to e-mail機能を実行する場合には上記画像データは通信装置５に送られる。
【００５４】
カラー画像出力装置４は、カラー画像処理装置３から入力された画像データを記録材（例えば紙等）上に出力するものである。カラー画像出力装置４の構成は特に限定されるものではなく、例えば、電子写真方式やインクジェット方式を用いたカラー画像出力装置を用いることができる。
【００５５】
通信装置５は、例えば、モデムやネットワークカードより構成される。ファクシミリの送信を行うときは、モデムにて、相手先との送信手続きを行い送信可能な状態が確保されると、所定の形式で圧縮された画像データ（スキャナで読み込まれた画像データ）をメモリから読み出し、圧縮形式の変更など必要な処理を施して、相手先に通信回線を介して順次送信する。
【００５６】
ファクシミリを受信する場合、ＣＰＵは、通信手続きを行いながら相手先から送信されてくる画像データを受信してカラー画像処理装置３に入力する。カラー画像処理装置３では、受信した画像データに対して不図示の圧縮／伸張処理部で伸張処理を施す。伸張された画像データは、必要に応じて、回転処理や解像度変換処理が行なわれ、出力階調補正、階調再現処理が施され、カラー画像出力装置４より出力される。
【００５７】
また、通信装置５は、scan to e-mail機能を実行する場合には、所定の形式で圧縮された画像データ（スキャナで読み込まれた画像データ）をメモリから読み出し、ｅ−ｍａｉｌに所定のアドレスに送信する。
【００５８】
また、通信装置５は、ネットワークカード、ＬＡＮケーブル等を介してネットワークに接続されたサーバ装置３００、端末装置４００、あるいはその他の各種機器とデータ通信を行う。
【００５９】
操作パネル６は、例えば、液晶ディスプレイなどの表示部と設定ボタンなどより構成され（いずれも図示せず）、複合機２００の主制御部（図示せず）の指示に応じた情報を上記表示部に表示するとともに、上記設定ボタンを介してユーザから入力される情報を上記主制御部に伝達する。ユーザは、操作パネル６を介して入力画像データに対する処理要求、処理枚数などを入力することができる。
【００６０】
上記主制御部は、例えばＣＰＵ（Central Processing Unit）等からなり、図示しないＲＯＭ等に格納されたプログラムや各種データ、操作パネル６から入力される情報等に基づいて、複合機２００の各部の動作を制御する。
【００６１】
また、主制御部は、複合機２００において画像データに対する処理を行う際、この画像データとこの画像データに対する操作ログ情報とを通信装置５を介してサーバ装置３００に送信させる。なお、上記操作ログ情報は、例えば、画像データに対して処理を行った時刻、ユーザ、処理モード、処理の実行結果などを含んでいてもよい。
【００６２】
図１は、サーバ装置３００の概略構成を示すブロック図である。この図に示すように、サーバ装置３００は、データ受信部３１１、解像度変換処理部３１２、画像データ記憶部３１３、文書照合処理部３１４、特徴量記憶部３１５、ジョブ情報記憶部３１６、およびＷｅｂＵＩ３１７、およびサーバ制御部３１８を備えている。
【００６３】
データ受信部３１１は、複合機２００から画像データおよびこの画像データに対する操作ログ情報（時間、ユーザ、処理モード、実行結果等）受信する。
【００６４】
解像度変換処理部３１２は、複合機２００から受信した画像の解像度（例えば６００ｄｐｉ）を所定の第１解像度（例えば３００ｄｐｉ）になるように変倍して文書照合処理部３１４に出力する。また、解像度変換処理部３１２は、文書照合処理部３１４において第１解像度に変倍した画像データに対する特徴量の抽出処理および登録処理が終了すると、第１解像度の上記画像データを第１解像度よりも低い第２解像度（例えば１５０ｄｐｉ）に変倍して画像データ記憶部３１３に記憶させる。なお、第１解像度および第２解像度の値は上記した例に限定されるものではなく、適宜設定すればよい。
【００６５】
解像度の変換方法は、特に限定されるものではないが、例えば例えば、ニアレストネイバー法、バイリニア法、あるいはバイキュービック法などを用いることができる。ニアレストネイバー法とは、補間する画素に一番近い、あるいは、補間する画素に対して所定の位置関係にある既存画素の値をその補間画素の値とする方法である。バイリニア法とは、補間する画素を囲む周囲４点の既存画素の距離に比例した形で重み付けした値の平均を求め、その値をその補間画素とする方法である。バイキュービック法とは、補間する画素を囲む４点に加え、更にそれらを囲む１２点を加えた計１６点の画素の値を用いて、補間演算を行う方法である。
【００６６】
画像データ記憶部３１３は、解像度変換処理部３１２から出力された上記第２解像度の画像データを保存する。なお、画像データ記憶部３１３に保存された画像データは、ユーザあるいはシステムの管理者が操作ログ情報を検索、閲覧する際の表示などに用いられる。
【００６７】
文書照合処理部３１４は、画像の登録処理を行う際には、解像度変換処理部３１２から入力される第１解像度の画像データについての特徴量を算出し、画像ＩＤと対応付けて特徴量記憶部３１５に保存する。また、類似画像の抽出処理を行う際には、画像データ記憶部３１３から入力される第２解像度の画像データについての特徴量を算出し、この第２解像度の画像データから算出した特徴量と、特徴量記憶部３１５に保存されている第１解像度の画像データについて算出された特徴量とを用いて類似画像の抽出処理を行う。文書照合処理部３１４の詳細については後述する。
【００６８】
特徴量記憶部３１５は、文書照合処理部３１４で算出された画像データの特徴量とこの画像データの画像ＩＤとを対応付けて記憶する。
【００６９】
ジョブ情報記憶部３１６は、複合機２００から受信した画像データの画像ＩＤとこの画像データに対する操作ログ情報とを対応付けて記憶する。なお、本実施形態では操作ログ情報を複合機２００でのジョブ単位で記憶する。
【００７０】
ＷｅｂＵＩ３１７は、Ｗｅｂブラウザを介して他の装置と通信を行うためのインターフェースである。本実施形態では、端末装置４００から送信される類似画像検索要求をこのＷｅｂＵＩ３１７で受け付けるとともに、検索結果をＷｅｂＵＩ３１７を介して端末装置４００に返信するようになっている。
【００７１】
サーバ制御部３１８は、サーバ装置３００に備えられる各部の動作を制御する。
【００７２】
図４は、端末装置４００の概略構成を示すブロック図である。この図に示すように、端末装置４００は、制御部４０１、操作入力部４０２、ＷｅｂＵＩ４０３、および表示部４０４を備えている。
【００７３】
操作入力部４０２はユーザからの入力指示を受けるものであり、例えばキーボード、マウス，ペン入力装置等のポインティングデバイス、あるいはタッチパネル等からなる。
【００７４】
ＷｅｂＵＩ４０３は、Ｗｅｂブラウザを介して他の装置と通信を行うためのインターフェースである。
【００７５】
表示部４０４は、ユーザの入力指示操作を支援するための情報や、画像データに応じた画像などを表示するものであり、例えば液晶ディスプレイ、ＣＲＴディスプレイ、プラズマディスプレイ、有機ＥＬディスプレイなどを用いることができる。
【００７６】
制御部４０１は、操作入力部４０２を介して入力されるユーザからの入力指示等に応じて、端末装置４００の各部の動作を制御するものであり、例えばＣＰＵ等によって構成される。
【００７７】
本実施形態では、制御部４０１がＷｅｂＵＩ４０３を介してサーバ装置３００からこのサーバ装置３００の画像データ記憶部３１３に記憶されている第２解像度の画像データを取得して表示部４０４に表示させる。そして、ユーザが操作入力部４０２を介して表示部４０４に表示された第２解像度の画像データに基づいて類似画像の検索処理を行う画像を選択する。そして、この選択指示に基づいて、制御部４０１がサーバ装置３００に検索処理を行う画像（照合キー画像）をサーバ装置３００に通知し、ＷｅｂＵＩ４０３を介して、この照合キー画像に類似する照合対象画像がこの端末装置４００に保存されているか否かの検索を要求する類似画像検索要求を送信する。
【００７８】
次に、文書照合処理部３１４について説明する。図５は、文書照合処理部３１４の一構成例を示すブロック図である。この図に示す文書照合処理部３１４は、特徴点算出部３１、特徴量算出部３２、投票処理部３３、類似度判定処理部３４、登録処理部３５、制御部３６、およびメモリ３７を備えている。
【００７９】
制御部３６は、文書照合処理部３１４の各部の動作およびメモリ３７へのアクセスを制御する。なお、制御部３６は、サーバ装置３００の各部の動作を制御するためのサーバ装置３００の主制御部（図示せず）に備えられていてもよく、この主制御部とは別に備えられ、主制御部と協働して文書照合処理部３１４の動作を制御するものであってもよい。
【００８０】
メモリ３７は、文書照合処理部３１４の各部の処理に用いられる各種データ、処理結果等を記憶するものである。
【００８１】
特徴点算出部３１は、入力画像データ（解像度変換処理部３１２から入力される第１解像度の画像データまたは画像データ記憶部３１３から読み出された第２解像度の画像データ）より、文字列や罫線の連結部分を抽出し、連結部分の重心を特徴点として算出するものである。また、特徴点算出部３１は、各特徴点の座標を算出する。
【００８２】
図６は、特徴点算出部３１の概略構成を示すブロック図である。図６に示すように、特徴点算出部３１は、信号変換処理部（無彩化処理部）４１、ＭＴＦ処理部４２、２値化処理部４３、および重心算出部４４を備えている。
【００８３】
信号変換処理部４１は、解像度変換処理部３１２または画像データ記憶部３１３から入力された画像データ（ＲＧＢ信号）がカラー画像であった場合に、この画像データを無彩化して、明度信号もしくは輝度信号に変換するものである。
【００８４】
例えば、信号変換処理部４１は、下記式（１）によりＲＧＢ信号を輝度信号Ｙに変換する。
【００８５】
Ｙｊ＝０．３０Ｒｊ＋０．５９Ｇｊ＋０．１１Ｂｊ ・・・（１）
ここで、Ｙｊは各画素の輝度信号であり、Ｒｊ，Ｇｊ，Ｂｊは各画素のＲＧＢ信号における各色成分であり、添え字のｊは画素毎に付与された値（ｊは１以上の整数）である。
【００８６】
あるいは、ＲＧＢ信号をＣＩＥ１９７６Ｌ*ａ*ｂ*信号（ＣＩＥ:Commission International de l'Eclairage、Ｌ*：明度、a*,ｂ*:色度）に変換してもよい。
【００８７】
ＭＴＦ（modulation transfer function）処理部４２は、画像入力装置の空間周波数特性が機種ごとに異なることを吸収（調整）するために用いられる。ＣＣＤの出力する画像信号には、レンズやミラー等の光学部品、ＣＣＤの受光面のアパーチャ開口度、転送効率や残像、物理的な走査による積分効果および操作むら等に起因しＭＴＦの劣化が生じている。このＭＴＦの劣化により、読み込まれた画像がぼやけたものとなっている。
【００８８】
ＭＴＦ処理部４２は、適切なフィルタ処理（強調処理）を施すことにより、ＭＴＦの劣化により生じるぼやけを修復する処理、および後段の重心算出部４４における特徴点抽出処理に不要な高周波成分を抑制するため処理を行う。具体的には、混合フィルタ（図示せず）を用いて強調および平滑化処理を行う。なお、図７は、この混合フィルタにおけるフィルタ係数の一例を示している。
【００８９】
２値化処理部４３は、無彩化された画像データ（輝度値（輝度信号）または明度値（明度信号））と、予め設定された閾値とを比較することにより画像データを二値化する。
【００９０】
重心算出部４４は、２値化処理部４３で２値化された画像データ（例えば、「１」、「０」で表される）に基づいて、各画素に対してラベリング（ラベル付け処理）を行う。そして、同一ラベルが付された画素が連結した連結領域を特定し、特定した連結領域の重心を特徴点として抽出する。さらに、抽出した特徴点を特徴量算出部３２へ出力する。なお、上記特徴点は、二値画像における座標値（ｘ座標、ｙ座標）として算出される。
【００９１】
図８は、入力画像データから抽出された連結領域およびこの連結領域の重心の一例を示す説明図であり、「Ａ」という文字列に対応する連結領域および重心を示している。また、図９は、入力画像データに含まれる文字列から抽出された複数の連結領域の各重心（特徴点）の一例を示す説明図である。
【００９２】
特徴量算出部３２は、特徴点算出部３１で算出された特徴点を用いて、原稿画像の回転、拡大、縮小、平行移動等の幾何学的変形に対して不変な量である特徴量（ハッシュ値および／または不変量）を算出するものである。
【００９３】
図１０は、特徴量算出部３２の概略構成を示すブロック図である。この図に示すように、特徴量算出部３２は、特徴点抽出部３２ａ、不変量算出部３２ｂ、ハッシュ値算出部３２ｃを備えている。
【００９４】
特徴点抽出部３２ａは、図１１に示すように、１つの特徴点を注目特徴点とし、この注目特徴点の周辺の特徴点を、注目特徴点からの距離が近いものから順に所定数（ここでは４点）だけ周辺特徴点として抽出する。図１１の例では、特徴点ａを注目特徴点とした場合には特徴点ｂ，ｃ，ｄ，ｅの４点が周辺特徴点として抽出され、特徴点ｂを注目特徴点とした場合には特徴点ａ，ｃ，ｅ，ｆの４点が周辺特徴点として抽出される。
【００９５】
また、特徴点抽出部３２ａは、上記のように抽出した周辺特徴点４点の中から選択し得る３点の組み合わせを抽出する。例えば、図１２（ａ）〜図１２（ｄ）に示すように、図１１に示した特徴点ａを注目特徴点とした場合、周辺特徴点ｂ，ｃ，ｄ，ｅのうちの３点の組み合わせ、すなわち、周辺特徴点ｂ，ｃ，ｄ、周辺特徴点ｂ，ｃ，ｅ、周辺特徴点ｂ，ｄ，ｅ、周辺特徴点ｃ，ｄ，ｅの各組み合わせが抽出される。
【００９６】
次に、不変量算出部３２ｂは、抽出した各組み合わせについて、幾何学的変形に対する不変量（特徴量の１つ）Ｈｉｊを算出する。
【００９７】
ここで、ｉは注目特徴点を示す数（ｉは１以上の整数）であり、ｊは周辺特徴点３点の組み合わせを示す数（ｊは１以上の整数）である。本実施形態では、周辺特徴点同士を結ぶ線分の長さのうちの２つの比を不変量Ｈｉｊとする。
【００９８】
上記線分の長さは、各周辺特徴点の座標値に基づいて算出できる。例えば、図１２（ａ）の例では、特徴点ｂと特徴点ｃとを結ぶ線分の長さをＡ１１、特徴点ｂと特徴点ｄとを結ぶ線分の長さをＢ１１とすると、不変量Ｈ１１はＨ１１＝Ａ１１／Ｂ１１である。
【００９９】
また、図１２（ｂ）の例では、特徴点ｂと特徴点ｃとを結ぶ線分の長さをＡ１２、特徴点ｂと特徴点ｅとを結ぶ線分の長さをＢ１２とすると、不変量Ｈ１２はＨ１２＝Ａ１２／Ｂ１２である。また、図１２（ｃ）の例では、特徴点ｂと特徴点ｄとを結ぶ線分の長さをＡ１３、特徴点ｂと特徴点ｅとを結ぶ線分の長さをＢ１３とすると、不変量Ｈ１３はＨ１３＝Ａ１３／Ｂ１３である。また、図１２（ｄ）に示した例では、特徴点ｃと特徴点ｄとを結ぶ線分の長さをＡ１４、特徴点ｃと特徴点ｅとを結ぶ線分の長さをＢ１４とすると、不変量Ｈ１４はＨ１４＝Ａ１４／Ｂ１４である。このようにして、図１２（ａ）〜図１２（ｄ）の例では、不変量Ｈ１１，Ｈ１２，Ｈ１３，Ｈ１４が算出される。
【０１００】
なお、上記の例では、注目特徴点に最も近い周辺特徴点と２番目に近い周辺特徴点とを結ぶ線分をＡｉｊ、注目特徴点に最も近い周辺特徴点と３番目に近い周辺特徴点とを結ぶ線分をＢｉｊとしたが、これに限らず、不変量Ｈｉｊの算出に用いる線分は任意の方法で選定すればよい。
【０１０１】
次に、ハッシュ値算出部３２ｃは、次式
Ｈｉ＝（Ｈｉ１×１０３＋Ｈｉ２×１０２＋Ｈｉ３×１０１＋Ｈｉ４×１００）／Ｄ
における余りの値をハッシュ値（特徴量の１つ）Ｈｉとして算出し、メモリ３７に記憶させる。なお、上記Ｄは余りが取り得る値の範囲をどの程度に設定するかに応じて予め設定される定数である。
【０１０２】
なお、不変量Ｈｉｊの算出方法は特に限定されるものではなく、例えば、注目特徴点の近傍５点の複比、近傍ｎ点（ｎはｎ≧５の整数）から抽出した５点の複比、近傍ｎ点から抽出したｍ点（ｍはｍ＜ｎかつｍ≧５の整数）の配置およびｍ点から抽出した５点の複比に基づいて算出される値などを注目特徴点についての上記不変量Ｈｉｊとしてもよい。なお、複比とは、直線上の４点または平面上の５点から求められる値であり、幾何学的変換の一種である射影変形に対する不変量として知られている。
【０１０３】
また、ハッシュ値Ｈｉの算出するための式についても上記式に限るものではなく、例えば上記以外の一般的に知られているハッシュ関数を用いてもよい。
【０１０４】
また、特徴量算出部３２の各部は、１つの注目特徴点に対する周辺特徴点の抽出およびハッシュ値Ｈｉの算出が終わると、注目特徴点を他の特徴点に変更して周辺特徴点の抽出およびハッシュ値の算出を行い、全ての特徴点についてのハッシュ値を算出する。
【０１０５】
図１１の例では、特徴点ａを注目特徴点とした場合の周辺特徴点およびハッシュ値の抽出が終わると、次に特徴点ｂを注目特徴点とした場合の周辺特徴点およびハッシュ値の抽出を行う。図１１の例では、特徴点ｂを注目特徴点とした場合、特徴点ａ，ｃ，ｅ，ｆの４点が周辺特徴点として抽出される。
【０１０６】
そして、図１３（ａ）〜図１３（ｄ）に示すように、これら周辺特徴点ａ，ｃ，ｅ，ｆの中から選択される３点の組み合わせ（周辺特徴点ａ，ｅ，ｆ、周辺特徴点ａ，ｅ，ｃ、周辺特徴点ａ，ｆ，ｃ、周辺特徴点ｅ，ｆ，ｃ）を抽出し、各組み合わせについてハッシュ値Ｈｉを算出し、メモリ３７に記憶させる。そして、この処理を各特徴点について繰り返し、各特徴点を注目特徴点とした場合のハッシュ値をそれぞれ求めてメモリ３７に記憶させる。
【０１０７】
また、特徴量算出部３２は、画像データの登録処理を行う場合、すなわち特徴量の抽出を行った画像データが解像度変換処理部３１２から入力された第１解像度の画像データである場合には、上記のように算出した各特徴点についてのハッシュ値（特徴量）と特徴点算出部３１の算出した各特徴点の座標とを登録処理部３５に送る。この場合、投票処理部、類似度判定処理部の処理はスルー（何も処理を行わない）となる。
【０１０８】
また、特徴量算出部３２は、画像データの照合処理を行う場合、すなわち特徴量の抽出を行った画像データが画像データ記憶部３１３から読み出された第２解像度の画像データである場合には、上記のように算出した各特徴点についてのハッシュ値（特徴量）と特徴点算出部３１の算出した各特徴点の座標とを投票処理部３３に送る。
【０１０９】
登録処理部３５は、特徴量算出部３２が算出した各特徴点についてのハッシュ値（特徴量）と、ハッシュ値の算出を行った画像データの画像を表すインデックス（画像ＩＤ）とを対応付けてメモリ３７に登録する（図１４（ａ）参照）。なお、ハッシュ値がすでに登録されている場合は、当該ハッシュ値に対応付けて画像ＩＤを登録する。画像ＩＤは重複することなく順次番号が割り当てられる。
【０１１０】
また、メモリ３７に登録されている画像の数が所定値（例えば、登録可能な画像の数の８０％）より多くなった場合、古い画像ＩＤを検索して順次消去するようにしてもよい。また、消去された画像ＩＤは、新たな画像データの画像ＩＤとして再度使用できるようにしてもよい。また、算出されたハッシュ値が同値である場合（図１４（ｂ）の例ではＨ１＝Ｈ５）、これらを１つにまとめてハッシュテーブルに登録してもよい。
【０１１１】
また、図１４（ｂ）の例では、Ｈ１＝Ｈ５であり、これらをＨ１の１つにまとめてハッシュテーブルに登録されているが、このようなテーブル値において、画像データから算出したハッシュ値にＨ１があった場合は、原稿ＩＤ１には投票処理時には２票投票されることになる。
【０１１２】
また、登録処理部３５は、図１５に示すように、画像データにおける各特徴点の識別記号（特徴点を表すインデックス）とこれら各特徴点の座標とを対応付けてメモリ３７に記憶させる。
【０１１３】
投票処理部３３は、照合キー画像についての各特徴点のハッシュ値をメモリ３７に登録されている登録画像のうち照合キー画像を除く画像（照合対象画像）のハッシュ値と比較し、同じハッシュ値を有する登録画像に投票する。照合判定処理の方法としては、例えば非特許文献１に記載されている方法を用いることができる。なお、上記の照合キー画像は、端末装置４００から受信した類似画像検索要求で指定された画像ＩＤに対応する画像であり、画像データ記憶部３１３に記憶されている第２解像度の画像と特徴量記憶部３１５に特徴量を記憶されている第１解像度の画像とがある。つまり、本実施形態では、類似画像検索要求で指定された画像ＩＤに対応する画像データ記憶部３１３に記憶されている第２解像度の照合キー画像から抽出した特徴量に基づく投票処理と、類似画像検索要求で指定された画像ＩＤに対応する特徴量記憶部３１５に特徴量を記憶されている第１解像度の照合キー画像の特徴量に基づく投票処理とを行う。
【０１１４】
そして、投票処理部３３は、図１６に示すように、照合キー画像における各特徴点ｐ１，ｐ２，・・・について、どの照合対象画像のどの特徴点に投票したのかをメモリ３７に記憶しておく。図１６の例では、照合キー画像の特徴点ｐ１に対して求めた特徴量（ハッシュ値）が照合対象画像ＩＤ１の特徴点ｆ１の特徴量と一致し、照合キー画像の特徴点ｐ２に対して求めた特徴量（ハッシュ値）が照合対象画像ＩＤ３の特徴点ｆ２の特徴量と一致していると判定されている。図１７は、照合対象画像ＩＤ１，ＩＤ２，ＩＤ３に対する投票結果（投票数）の一例を示すグラフである。
【０１１５】
類似度判定処理部３４は、投票処理部３３における上記２種類の投票結果、すなわち第１解像度の照合キー画像の特徴量に基づく投票処理結果と第２解像度の照合キー画像から抽出した特徴量に基づく投票処理結果とに基づいて各照合対象画像に対する類似度を算出する。
【０１１６】
例えば、類似度判定処理部３４は、上記２種類の投票結果に基づいて得票数が多い照合対象画像ほど照合キー画像に対する類似度が高いと判断する。この場合、得票数合計でソートすることで類似度を判定できる。
【０１１７】
あるいは、投票処理部３３の投票結果における照合対象画像の得票数をその照合対象画像が獲得し得る最大得票数で除算して正規化し、この正規化した結果を用いて類似度を判断するようにしてもよい。このように正規化した結果を用いることで、特徴点数の少ない照合対象画像であっても類似度を適切に評価できる。
【０１１８】
なお、上記の最大得票数は、「特徴点の数」×「１つの特徴点（注目特徴点）から算出されるハッシュ値の数」で表される。ここで、本実施形態では、１つの特徴点（注目特徴点）に対して１つのハッシュ値を算出するものとしているが、これに限らず、１つの特徴点（注目特徴点）に対して複数のハッシュ値を算出するようにしてもよい。例えば、注目特徴点の周辺特徴点として６点を抽出し、この６点から５点を抽出した６通りの組み合わせそれぞれについて、５点から３点を抽出して不変量を求めてハッシュ値を算出する方法を用いてもよい。この場合には、１つの特徴点に対して６個のハッシュ値が算出されることになる。
【０１１９】
ところで、Ｎｉｎ１原稿などでは、元の原稿が縮小され、回転されている。そこで、照合対象画像の特徴点と照合キー画像の特徴点との位置合わせを行い、上記の投票処理結果と上記の位置合わせ結果とに基づいて両画像の類似度を判定するようにしてもよい。この場合、例えば、最初に予め定められた所定の得票数以上（例えば、正規化された値で８０％以上）を獲得している画像については類似度が高いと判定し、得票数が低いものについてのみ特徴点同士の位置合わせを行い、類似画像かどうかの判定を行う。これにより、照合キー画像に部分的に一致する画像を精度よくピックアップすることができる。例えば、照合キー画像が照合対象画像における重要データ部分のみを切り抜いてコピーしたものであるような場合であっても、照合処理でこの重要データ部分を含む照合対称画像をピックアップすることができる。
【０１２０】
具体的な処理の方法としては、例えば、投票処理部３３は、図１５に示したように予め登録しておいた照合対象画像の各特徴点の座標を用いて、照合キー画像の特徴点と照合対象画像の特徴点との位置関係を求め、照合対象画像の特徴点の座標系と、照合キー画像の特徴点の座標系とを統一させる処理を行う。
【０１２１】
例えば、図１６に示した例において、照合キー画像が照合対象画像ＩＤ１に類似していると判定された場合、この照合対象画像ＩＤ１における各特徴点についての照合対象画像ＩＤ１の座標系における座標を、照合キー画像の座標系における座標に変換する。表１は、両座標系における特徴点の座標の対応関係を示している。
【０１２２】
【表１】
【０１２３】
照合対象画像の座標系における各特徴点の座標についての行列をＰｉｎ、これら各特徴点の照合キー画像の座標系における座標についての行列をＰｏｕｔ、両行列の変換係数をＡとすると、下記式の関係になる。
【０１２４】
【数１】
【０１２５】
Ｐｏｕｔ＝Ｐｉｎ×Ａ
Ｐｉｎは正方行列ではないので、下記式に示すように、両辺にＰｉｎの転置行列ＰｉｎＴを乗算し、さらにＰｉｎＴＰｉｎの逆行列を乗算する。
ＰｉｎＴＰｏｕｔ＝ＰｉｎＴＰｉｎ×Ａ
（ＰｉｎＴＰｉｎ）−１ＰｉｎＴＰｏｕｔ＝Ａ
このように算出した変換係数Ａを用いて、下記式により、図１８に示すように、照合対象画像の座標系における任意の座標（ｘｉ、ｙｊ）を、照合キー画像の座標系における座標(ｘｉ’,ｙｊ’)に変換できる。
（ｘ’，ｙ’，１）＝（ｘ，ｙ，１）×Ａ
上記のように類似度が高い画像同士では、各々の座標系を相似変換で求めることが可能である。一方、上記のように変換係数Ａを求めることができない場合（例えば変換係数Ａが収束しない場合）、両画像は類似していないと判定することができる。
【０１２６】
なお、投票処理部３３において、外れ点の影響を排除するように座標変換処理を行うようにしてもよい。上記外れ点とは、照合キー画像と照合対象画像との特徴量（ハッシュ値）が一致する特徴点として抽出されたもののうち、誤って特徴量（ハッシュ値）が一致するものとして抽出された特徴点である。
【０１２７】
前述の座標変換処理においては、外れ点が存在した場合、求めた座標変換係数が本来の座標変換係数から大きくずれてしまうことになる。そこで、ロバスト推定など外れ点が含まれる場合に用いられる推定方法を用いて座標変換係数を求めることができる。以下には、ロバスト推定の中でＬＭｅｄＳ基準を用いて座標変換係数を求める例について説明する。
【０１２８】
まず、照合キー画像と照合対象画像との特徴量（ハッシュ値）が一致するものとして抽出された特徴点の組から、３組をランダムに抽出する。この場合、照合キー画像の特徴点の座標についての行列をＰｏｕｔ２、参照画素増の特徴点の座標についての行列をＰｉｎ２、変換係数をＡ２とする。
【０１２９】
【数２】
【０１３０】
そして、変換係数Ａ２と特徴点（Ｐｏｕｔ２，Ｐｉｎ２）との関係を下記式とする。
Ｐｏｕｔ２＝Ｐｉｎ２×Ａ２
これにより、変換係数Ａ２は、次の式により求められる。
Ａ２＝Ｐｉｎ２−１Ｐｏｕｔ２
次に、上記のようにして求めた変換係数Ａ２を使用し、照合キー画像と照合対象画像との特徴量（ハッシュ値）が一致するものとして抽出された全ての特徴点の組について座標変換を行い、その結果から求めた座標値と実際の座標値との誤差を計算する。次に、求めた誤差をその値が大きい順番にソートしたときの中央値を、求めた変換係数Ａ２の評価値とする。なお、上記「求めた座標値」とは、例えば照合対象画像の座標系を照合キー画像の座標系に合わせ込む場合に、照合対象画像の特徴点の座標を変換した値（座標値）であり、「実際の座標値」とはこの座標値に対応する照合キー画像の座標値である。
【０１３１】
上記のように、特徴量（ハッシュ値）が一致する特徴点の組をランダムに抽出し、変換係数を求め、その評価値を決定する処理を複数回繰り返す。そして、求めた評価値が最も小さくなるときの変換係数を求める変換係数とする。
【０１３２】
次に、画像処理システム１００における処理の流れについて説明する。まず、特徴量登録処理を行う場合の処理の流れについて説明する。図１９は特徴量登録処理の流れを示すフローチャートである。
【０１３３】
まず、複合機２００の主制御部は、操作パネル６あるいは通信装置５を介してユーザからのジョブ実行指示を受け付けると（Ｓ１）、ジョブ実行指示に基づいて画像データに対するジョブを実行する（Ｓ２）。そして、複合機２００の主制御部は、実行したジョブの操作ログ情報および画像データをメモリ（図示せず）に記憶させる（Ｓ３）。また、複合機２００の主制御部は、上記の操作ログ情報および画像データをサーバ装置３００に送信する（Ｓ４）。なお、上記操作ログ情報は、例えば、画像データに対して処理を行った時刻、ユーザ、処理モード、処理の実行結果などを含んでいてもよい。
【０１３４】
サーバ制御部（登録処理部）３１８は、複合機２００から送信された操作ログ情報および画像データをデータ受信部３１１が受信すると（Ｓ１１）、受信した画像データに画像ＩＤを割り当て、この画像ＩＤと操作ログ情報とを対応付けてジョブ情報記憶部３１６に記憶させる（Ｓ１２）。
【０１３５】
また、サーバ制御部３１８は、解像度変換処理部３１２を制御してデータ受信部３１１が受信した画像データの解像度を予め設定された第１解像度（ここでは３００ｄｐｉ）に変換させて文書照合処理部３１４に出力させる（Ｓ１３）とともに、上記画像データの解像度を予め設定された第２解像度（ここでは１５０ｄｐｉ）に変換させ、この第２解像度に変換した画像データと上記画像ＩＤとを対応付けて画像データ記憶部３１３に記憶させる（Ｓ１４）。
【０１３６】
次に、サーバ制御部３１８は、文書照合処理部３１４を制御し、上記の第１解像度に変換した画像データに基づいて特徴点および特徴点の座標の算出処理（Ｓ１５）、および特徴量の算出処理（Ｓ１６）を行わせる。そして、Ｓ１５およびＳ１６で算出した特徴量および特徴点の座標を画像ＩＤと対応付けて特徴量記憶部３１５に記憶させ（Ｓ１７）、特徴量登録処理を終了する。
【０１３７】
次に、類似画像検索処理を行う場合の処理の流れについて説明する。図２０は類似画像検索処理の流れを示すフローチャートである。
【０１３８】
端末装置４００の制御部４０１は、操作入力部４０２を介してユーザからの類似画像検索処理モードの選択指示を受け付けると（Ｓ２１）、ＷｅｂＵＩ４０３を介してサーバ装置３００に登録画像データの送信要求を送信する（Ｓ２２）。
【０１３９】
サーバ装置３００のサーバ制御部３１８は、ＷｅｂＵＩ３１７が端末装置４００から登録画像データの送信要求を受信すると（Ｓ３１）、画像データ記憶部３１３に記憶されている第２解像度の各画像データおよび各画像データの画像ＩＤを読み出し、ＷｅｂＵＩ３１７を介して端末装置４００に送信する（Ｓ３２）。
【０１４０】
端末装置４００の制御部４０１は、ＷｅｂＵＩ４０３がサーバ装置３００から画像データおよび画像ＩＤを受信すると（Ｓ２３）、受信した画像データに応じた画像を表示部４０４に表示させる（Ｓ２４）。表示方法は特に限定されるものではなく、例えば画像データを１枚ずつ順に表示させてもよく、複数枚の画像データ毎に表示させてもよく、サムネイル画像を用いた一覧表示を行ってもよい。
【０１４１】
その後、端末装置４００の制御部４０１は、操作入力部４０２を介して入力されるユーザからの画像選択指示を受け付けると（Ｓ２５）、ＷｅｂＵＩ４０３を介して選択された画像の画像ＩＤを指定した類似画像検索要求をサーバ装置３００に送信する（Ｓ２６）。
【０１４２】
サーバ装置３００のサーバ制御部３１８は、ＷｅｂＵＩ３１７が端末装置４００から類似画像検索要求を受信すると（Ｓ３３）、この類似画像検索要求で指定された画像ＩＤに対応する第２解像度の画像データを画像データ記憶部３１３から読み出し（Ｓ３４）、この読み出した画像データに基づいて文書照合処理部３１４に特徴点算出処理（Ｓ３５）、特徴量算出処理（Ｓ３６）、および特徴量記憶部３１５に特徴量を記憶されている各照合対象画像に対する投票処理（Ｓ３７）を行わせる。
【０１４３】
次に、サーバ装置３００のサーバ制御部３１８は、類似画像検索要求で指定された画像ＩＤに対応する第１解像度の画像データに基づいて算出された特徴量を特徴量記憶部３１５から読み出し（Ｓ３８）、文書照合処理部３１４に、読み出した特徴量に基づいて、特徴量記憶部３１５に特徴量を記憶されている各照合対象画像に対する投票処理（Ｓ３９）を行わせる。
【０１４４】
その後、サーバ装置３００のサーバ制御部３１８は、文書照合処理部３１４に、第２解像度の画像データに基づく投票処理結果および第１解像度の画像データから算出された特徴量に基づく投票処理結果に基づく類似判定処理を行わせる（Ｓ４０）。判定方法の一例としては、例えば、第２解像度の画像データに基づく投票数と第１解像度の画像データから算出された特徴量に基づく投票数とを照合対象画像ごとに加算し、加算値が大きいものほど類似性が高いと判断すればよい。そして、ＷｅｂＵＩ３１７を介して類似判定処理の結果を端末装置４００に送信させ（Ｓ４１）、処理を終了する。なお、得票数の最も多い画像データ（あるいは最も類似度が高い画像データ）のみを端末装置４００に通知するようにしてもよく、得票数が所定値以上の画像データ（あるいは類似度が所定値以上の画像データ）を全て端末装置４００に通知するようにしてもよい。
【０１４５】
端末装置４００の制御部４０１は、ＷｅｂＵＩ４０３がサーバ装置３００から類似判定結果を受信すると（Ｓ２７）、この類似判定結果を表示部４０４に表示させ（Ｓ２８）、処理を終了する。
【０１４６】
以上のように、本実施形態にかかる画像処理システム１００では、第１解像度の画像データから算出した特徴量を特徴量記憶部３１５に記憶させておき、この画像データを第１解像度よりも低解像度の第２解像度に変換した画像データを画像データ記憶部３１３に記憶させておく。
【０１４７】
そして、照合キー画像についての類似画像検索要求があったときに、画像データ記憶部３１３から照合キー画像についての第２解像度の画像データを読み出し、この第２解像度の画像データに基づいて特徴点算出処理、特徴量算出処理、および投票処理を行う。さらに、照合キー画像についての第１解像度の画像データに基づいて算出され特徴量を特徴量記憶部３１５から読み出し、この読み出した特徴量に基づく投票処理を行う。そして、第２解像度の画像データに基づく投票処理結果と第１解像度の画像データに基づく投票処理結果とを用いて類似判定処理を行う。
【０１４８】
このように、照合キー画像についての複数種類の解像度の画像データに基づいて類似判定処理を行うことにより、類似判定処理をより精度よく行うことができる。
【０１４９】
また、例えば、複合機２００においてコピー、プリント、スキャン、ＦＡＸ等のジョブを実行した際、そのジョブ情報を処理画像付きログとしてサーバで保存し、いつ、誰がどんなデータを出力または送信したかを管理者が確認可能なシステムにおいて、高解像度（第１解像度）の画像データから抽出した特徴量と、低解像度（第２解像度）の画像データとを保存しておくことにより、必要に応じて類似画像検索時には高解像度の画像データから抽出した特徴量と低解像度の画像データから抽出した特徴量との両方を用いて類似画像検索処理を行うことができる。これにより、照合キー画像あるいは照合対象画像が割付原稿である場合や変倍処理が施された画像である場合であっても、照合処理を精度よく行うことができる。また、低解像度（第２解像度）の画像を記憶させておくことで、画像データの記憶容量を低減するとともに、必要に応じて画像データを実際に見比べるなどして照合結果の適否確認などを行うことができる。
【０１５０】
なお、本実施形態では、第２解像度の画像データに基づく投票処理と第１解像度の画像データに基づく投票処理とを常に行うものとしているが、これに限るものではない。例えば、いずれか一方の解像度の画像データに基づく投票処理を行っても類似画像が抽出されなかった場合に、他方の解像度の画像データに基づく投票処理を行うようにしてもよい。
【０１５１】
また、本実施形態では、画像データ記憶部３１３に第２解像度に変換した画像データを記憶させておくものとしたが、これに限らず、例えばデータ受信部３１１に入力された画像データをそのままの解像度で、あるいは第１解像度の画像データを記憶させておき、類似判定処理を行うときに第２解像度に変換するようにしてもよい。
【０１５２】
また、本実施形態では、まず第２解像度の画像データに基づく投票処理を行った後、第１解像度の画像データに基づく投票処理を行っているが、投票処理の順序はこれに限るものではなく、第１解像度の画像データに基づく投票処理を行った後に第２解像度の画像データに基づく投票処理を行ってもよく、第１解像度の画像データに基づく投票処理と第２解像度の画像データに基づく投票処理とを並行して行ってもよい。
【０１５３】
また、本実施形態では、照合キー画像をサーバ装置３００の画像データ記憶部に記憶されている画像の中から選択する場合について説明したが、これに限るものではなく、例えば端末装置４００あるいは複合機２００が照合キー画像をサーバ装置３００に送信するようにしてもよい。
【０１５４】
例えば、照合キー画像の元原稿（紙の原稿）がユーザの手元ある場合、複合機２００でこの元原稿を読み取らせることで（あるいはこの元原稿に対するジョブを実行させることで）、サーバ装置３００に照合キー画像を取り込ませ、この照合キー画像を第１解像度に変換した画像および第２解像度に変換した画像に基づいて特徴量算出処理、特徴量算出処理、および投票処理を行うようにしてもよい。また、端末装置４００から照合キー画像の画像データをサーバ装置３００に送信し、この照合キー画像を第１解像度に変換した画像および第２解像度に変換した画像に基づいて特徴量算出処理、特徴量算出処理、および投票処理を行うようにしてもよい。
【０１５５】
また、本実施形態では、解像度変換処理部３１２および文書照合処理部３１４をサーバ装置３００に設けているが、これに限らず、これら各部の全部または一部を複合機２００に設けてもよい。例えば、複合機２００に解像度変換処理部３１２および文書照合処理部３１４を設け、ジョブが実行されたときに、操作ログ情報の生成処理、ジョブにかかる画像データを第１解像度に変換して特徴点の座標および特徴量を算出する処理、および上記画像データを第２解像度に変換する処理を複合機２００で行い、操作ログ情報、第１解像度の画像データに基づいて算出した特徴点の座標および特徴量、および第２解像度の画像データをサーバ装置３００に送信する構成としてもよい。この場合、サーバ装置３００では、ネットワークを介して接続された各複合機２００から受信した特徴点の座標および特徴量、および第２解像度の画像データに対して画像ＩＤを付与し、この画像ＩＤと特徴点の座標および特徴量とを対応付けて特徴量記憶部３１５に記憶させ、画像ＩＤと第２解像度の画像データとを対応付けて画像データ記憶部３１３に記憶させる。そして、複合機２００から類似画像検索処理を要求された場合には、特徴量記憶部３１５に記憶させている画像ＩＤと特徴点の座標および特徴量、および画像データ記憶部３１３に記憶させている画像ＩＤと第２解像度の画像データを複合機２００に送信する。これにより、複合機２００に備えられた文書照合処理部３１４によって類似画像検索処理が行われる。
【０１５６】
また、本実施形態では、複合機２００とサーバ装置３００とがネットワークを介して通信可能に接続されている構成について説明したが、これに限らず、例えば、解像度変換処理部３１２、文書照合処理部３１４、画像データ記憶部３１３、特徴量記憶部３１５、およびジョブ情報記憶部３１６を複合機２００に備え、これら各部の動作を複合機２００の主制御部がサーバ制御部３１８と同様に制御するようにしてもよい。
【０１５７】
図２１は、この場合の複合機２００の構成例を示すブロック図である。この図に示す例では、図３に示した構成に加えて、入力階調補正部１３と領域分離処理部１４との間にログ生成・検索処理部３００ｂを備えている。ログ生成・検索処理部３００ｂの構成はサーバ装置３００の構成と略同様なのでここではその説明を省略する。
【０１５８】
複合機２００の主制御部は、複合機２００においてジョブが実行される際、以下の処理を行う。
（１）このジョブに係る画像データに画像ＩＤを付与する。
（２）このジョブに係る操作ログ情報と画像ＩＤとを対応付けてログ生成・検索処理部３００ｂに備えられるジョブ情報記憶部３１６に記憶させる。
（３）このジョブに係る画像データの解像度をログ生成・検索処理部３００ｂに備えられる解像度変換処理部３１２によって第１解像度に変換させ、この第１解像度の画像データに基づいてログ生成・検索処理部３００ｂに備えられる文書照合処理部３１４によって特徴点、特徴点の座標、および特徴量の算出を行わせ、算出した特徴量および特徴点の座標と画像ＩＤとを対応付けてログ生成・検索処理部３００ｂに備えられる特徴量記憶部３１５に記憶させる。
（４）このジョブに係る画像データの解像度をログ生成・検索処理部３００ｂに備えられる解像度変換処理部３１２によって第２解像度に変換させ、画像ＩＤと対応付けてログ生成・検索処理部３００ｂに備えられる画像データ記憶部３１３に記憶させる。
（５）入力階調補正部１３から入力された画像データをそのまま後段の領域分離処理部１４に出力する。
【０１５９】
また、複合機２００の主制御部は、複合機２００の操作パネル６、あるいはネットワークを介して接続された端末装置４００を介してユーザからの類似画像検索要求を受け付けた場合、以下の処理を行う。
（１）画像データ記憶部３１３から照合キー画像の第２解像度の画像データを読み出し、この第２解像度の画像データに基づいて文書照合処理部３１４に特徴点、特徴点の座標、および特徴量を算出させ、特徴量記憶部３１５に特徴量を記憶されている照合対象画像に対して、算出した特徴量に基づいて投票処理を行わせる。
（２）特徴量記憶部３１５から第１解像度の照合キー画像に基づいて算出された特徴量および特徴点の座標を読み出し、特徴量記憶部３１５に特徴量を記憶されている照合対象画像に対して、特徴量記憶部３１５から読み出した上記特徴量に基づいて投票処理を行わせる。
（３）上記（１）の投票処理結果および上記（２）の投票処理結果に基づいて各照合対象画像についての類似判定処理を行う。
（４）類似判定処理結果を端末装置４００に送信、あるいは操作パネル６に備えられる表示部に表示させる。
【０１６０】
また、本実施形態では、特徴量記憶部３１５に特徴量を記憶されている画像データのうち照合キー画像を除く全ての登録画像データを照合対象画像としているが、これに限るものではない。例えば、特徴量記憶部３１５に特徴量を記憶させる際、所定のルール（例えば、ジョブが実行された時期、ジョブを実行したユーザあるいは当該ユーザが属するグループ，部署，役職等、原稿画像の種類、ジョブの実行内容など）に基づいてグループ分けしておき、ユーザが類似画像検索処理を要求する際に検索範囲（照合対象画像の選択）を指定し、指定された条件に合致する画像のみを照合対象画像とするようにしてもよい。
【０１６１】
また、上記実施形態において、複合機２００および／またはサーバ装置３００に備えられる各部（各ブロック）を、ＣＰＵ等のプロセッサを用いてソフトウェアによって実現してもよい。この場合、複合機２００および／またはサーバ装置３００は、各機能を実現する制御プログラムの命令を実行するＣＰＵ（central processing unit）、上記プログラムを格納したＲＯＭ（read only memory）、上記プログラムを展開するＲＡＭ（random access memory）、上記プログラムおよび各種データを格納するメモリ等の記憶装置（記録媒体）などを備えている。そして、本発明の目的は、上述した機能を実現するソフトウェアである複合機２００および／またはサーバ装置３００の制御プログラムのプログラムコード（実行形式プログラム、中間コードプログラム、ソースプログラム）をコンピュータで読み取り可能に記録した記録媒体を、複合機２００および／またはサーバ装置３００に供給し、そのコンピュータ（またはＣＰＵやＭＰＵ）が記録媒体に記録されているプログラムコードを読み出し実行することによって達成される。
【０１６２】
上記記録媒体としては、例えば、磁気テープやカセットテープ等のテープ系、フロッピー（登録商標）ディスク／ハードディスク等の磁気ディスクやＣＤ−ＲＯＭ／ＭＯ／ＭＤ／ＤＶＤ／ＣＤ−Ｒ等の光ディスクを含むディスク系、ＩＣカード（メモリカードを含む）／光カード等のカード系、あるいはマスクＲＯＭ／ＥＰＲＯＭ／ＥＥＰＲＯＭ／フラッシュＲＯＭ等の半導体メモリ系などを用いることができる。
【０１６３】
また、複合機２００および／またはサーバ装置３００を通信ネットワークと接続可能に構成し、通信ネットワークを介して上記プログラムコードを供給してもよい。この通信ネットワークとしては、特に限定されず、例えば、インターネット、イントラネット、エキストラネット、ＬＡＮ、ＩＳＤＮ、ＶＡＮ、ＣＡＴＶ通信網、仮想専用網（virtual private network）、電話回線網、移動体通信網、衛星通信網等が利用可能である。また、通信ネットワークを構成する伝送媒体としては、特に限定されず、例えば、ＩＥＥＥ１３９４、ＵＳＢ、電力線搬送、ケーブルＴＶ回線、電話線、ＡＤＳＬ回線等の有線でも、ＩｒＤＡやリモコンのような赤外線、Ｂｌｕｅｔｏｏｔｈ（登録商標）、８０２．１１無線、ＨＤＲ、携帯電話網、衛星回線、地上波デジタル網等の無線でも利用可能である。なお、本発明は、上記プログラムコードが電子的な伝送で具現化された、搬送波に埋め込まれたコンピュータデータ信号の形態でも実現され得る。
【０１６４】
また、複合機２００および／またはサーバ装置３００の各ブロックは、ソフトウェアを用いて実現されるものに限らず、ハードウェアロジックによって構成されるものであってもよく、処理の一部を行うハードウェアと当該ハードウェアの制御や残余の処理を行うソフトウェアを実行する演算手段とを組み合わせたものであってもよい。
【０１６５】
本発明は上述した実施形態に限定されるものではなく、請求項に示した範囲で種々の変更が可能である。すなわち、請求項に示した範囲で適宜変更した技術的手段を組み合わせて得られる実施形態についても本発明の技術的範囲に含まれる。
【産業上の利用可能性】
【０１６６】
本発明は、照合キー画像の特徴量と照合対象画像の特徴量とを比較して両画像の類似判定を行う画像処理装置および画像処理システムに適用できる。
【図面の簡単な説明】
【０１６７】
【図１】本発明の一実施形態にかかる画像処理システムに備えられるサーバ装置の概略構成を示すブロック図である。
【図２】本発明の一実施形態にかかる画像処理システムの概略構成を示す説明図である。
【図３】本発明の一実施形態にかかる画像処理システムに備えられる複合機の概略構成を示すブロック図である。
【図４】本発明の一実施形態にかかる画像処理システムに備えられる端末装置の概略構成を示すブロック図である。
【図５】図１のサーバ装置に備えられる文書照合処理部の構成を示すブロック図である。
【図６】図５に示した文書照合処理部に備えられる特徴点算出部の構成を示すブロック図である。
【図７】図５に示した特徴点算出部のＭＴＦ処理部で用いられる混合フィルタのフィルタ係数の一例を示す説明図である。
【図８】図５に示した特徴点算出部によって入力画像データから抽出される連結領域およびこの連結領域の重心の一例を示す説明図である。
【図９】図５に示した特徴点算出部によって入力画像データに含まれる文字列から抽出された複数の連結領域の各重心（特徴点）の一例を示す説明図である。
【図１０】図５に示した文書照合処理部に備えられる特徴量算出部の構成を示すブロック図である。
【図１１】図１０に示した特徴量算出部によって特徴量を算出する際に抽出される注目特徴点および周辺特徴点の一例を示す説明図である。
【図１２】（ａ）〜（ｃ）は、図１０に示した特徴量算出部によって特徴量を算出する際に抽出される注目特徴点および周辺特徴点の組み合わせの一例を示す説明図である。
【図１３】（ａ）〜（ｃ）は、図１０に示した特徴量算出部によって特徴量を算出する際に抽出される注目特徴点および周辺特徴点の組み合わせの一例を示す説明図である。
【図１４】（ａ）および（ｂ）は、ハッシュテーブルに登録される各特徴点についてのハッシュ値および入力画像データを表すインデックスの一例を示す説明図である。
【図１５】図５に示した文書照合処理部に備えられる特徴量記憶部に記憶される、各登録画像の原稿ＩＤと、各登録画像の特徴点と、これら各特徴点の座標との関係を示す説明図である。
【図１６】図５に示した文書照合処理部に備えられる投票処理部において行われる投票処理を説明するための説明図である。
【図１７】図５に示した文書照合処理部に備えられる投票処理部における、各照合対象画像に対する投票数の一例を示すグラフである。
【図１８】照合対象画像の特徴点の座標系と照合キー画像の特徴点の座標系とを一致させるための座標変換処理を説明するための説明図である。
【図１９】図１に示したサーバ装置における特徴量登録処理の流れを示すフローチャートである。
【図２０】図１に示したサーバ装置における類似画像検索処理の流れを示すフローチャートである。
【図２１】本発明の一実施形態にかかる画像処理システムの変形例を示す説明図である。
【符号の説明】
【０１６８】
２ カラー画像入力装置
３ カラー画像処理装置
４ カラー画像出力装置
５ 通信装置
６ 操作パネル
３１ 特徴点算出部
３２ 特徴量算出部
３２ａ 特徴点抽出部
３２ｂ 不変量算出部
３２ｃ ハッシュ値算出部
３３ 投票処理部
３４ 類似度判定処理部
３５ 登録処理部
３６ 制御部
３７ メモリ
１００ 画像処理システム
２００ 複合機
３００ サーバ装置
３００ｂ ログ生成・検索処理部
３１１ データ受信部
３１２ 解像度変換処理部
３１３ 画像データ記憶部
３１４ 文書照合処理部
３１５ 特徴量記憶部
３１６ ジョブ情報記憶部
３１８ サーバ制御部（登録処理部）
４００ 端末装置
【特許請求の範囲】
【請求項１】
画像データからこの画像データに含まれる画像の特徴量を抽出する特徴量抽出部と、
登録画像の特徴量とこの登録画像の識別情報とを対応付けて記憶する特徴量記憶手段と、
照合キー画像として指定された画像の特徴量と上記特徴量記憶手段に記憶されている登録画像のうち照合対象とする画像である１つ以上の照合対象画像の特徴量とを比較することで上記照合キー画像と上記各照合対象画像との類似度を算出し、算出した類似度に基づいて上記照合キー画像に類似している類似画像を検索する類似画像検索部とを備えた画像処理装置であって、
照合キー画像の解像度を第１解像度と第１解像度とは異なる第２解像度とに変換する解像度変換部を備え、
上記類似画像検索部は、
上記特徴量抽出部が上記第１解像度に変換された照合キー画像から抽出した上記照合キー画像の特徴量と上記特徴量記憶手段に記憶されている上記照合対象画像の特徴量とを比較する第１比較処理の結果と、上記特徴量抽出部が上記第２解像度に変換された照合キー画像から抽出した上記照合キー画像の特徴量と上記特徴量記憶手段に記憶されている上記照合対象画像の特徴量とを比較する第２比較処理の結果とに基づいて類似画像の検索を行うことを特徴とする画像処理装置。
【請求項２】
上記類似画像検索部は、
上記第１比較処理の結果に基づいて類似画像を検索する第１検索処理を行い、
上記第１検索処理では類似画像を特定できなかった場合に、上記第２比較処理の結果に基づいて類似画像を検索する第２検索処理を行うことを特徴とする請求項１に記載の画像処理装置。
【請求項３】
上記類似画像検索部は、
上記第１比較処理の結果に基づいて上記照合キー画像と上記各照合対象画像との類似度を算出する第１類似度算出処理と、
上記第２比較処理の結果に基づいて上記照合キー画像と上記各照合対象画像との類似度を算出する第２類似度算出処理とを行い、
上記第１類似度算出処理によって算出された類似度と上記第２類似度算出処理によって算出された類似度とを照合対象画像毎に加算した類似度に基づいて類似画像を検索することを特徴とする請求項１に記載の画像処理装置。
【請求項４】
上記類似画像検索部は、
上記第１比較処理の結果に基づいて上記照合キー画像と上記各照合対象画像との類似度を算出する第１類似度算出処理と、
上記第２比較処理の結果に基づいて上記照合キー画像と上記各照合対象画像との類似度を算出する第２類似度算出処理とを行い、
上記第１類似度算出処理および上記第２類似度算出処理で算出した類似度のうち最大値を有する類似度に基づいて類似画像を検索することを特徴とする請求項１に記載の画像処理装置。
【請求項５】
上記登録画像の画像データとこの登録画像の識別情報とを対応付けて記憶する画像データ記憶手段と、
上記画像データ記憶手段に記憶されている画像データを表示する表示部と、
上記表示部に表示されている画像の中から照合キー画像とする画像を選択するユーザからの選択指示を受け付ける操作入力部と、
上記特徴量記憶手段に登録画像の特徴量を記憶させるときに、上記解像度変換部によって第１解像度に変換された上記登録画像の特徴量をこの登録画像の識別情報と対応付けて上記特徴量記憶手段に記憶させ、上記解像度変換部によって第２解像度に変換された上記登録画像の画像データをこの登録画像の識別情報と対応付けて上記画像データ記憶部に記憶させる登録処理部とを備え、
上記第１比較処理を行うときに、
上記類似画像検索部は、上記特徴量記憶手段に記憶されている上記照合キー画像に対応する第１解像度の画像から抽出された特徴量と、上記特徴量記憶手段に記憶されている上記照合対象画像の特徴量とを比較し、
上記第２比較処理を行うときに、
上記特徴量抽出部は、上記画像データ記憶手段に記憶されている上記照合キー画像に対応する第２解像度の画像データに基づいて照合キー画像の特徴量の抽出を行い、
上記類似画像検索部は、上記特徴量抽出部が上記照合キー画像に対応する第２解像度の画像データから抽出した上記特徴量と上記特徴量記憶手段に記憶されている上記照合対象画像の特徴量とを比較することを特徴とする請求項１から４のいずれか１項に記載の画像処理装置。
【請求項６】
上記第２解像度は上記第１解像度よりも低い解像度であることを特徴とする請求項５に記載の画像処理装置。
【請求項７】
請求項１から６のいずれか１項に記載の画像処理装置と、
画像データに応じた画像を記録材上に形成する画像出力部とを備えていることを特徴とする画像形成装置。
【請求項８】
画像データに対して所定の処理を施す画像処理装置と、この画像処理装置に対して通信可能に接続されたサーバ装置とを備えた画像処理システムであって、
画像データからこの画像データに含まれる画像の特徴量を抽出する特徴量抽出部と、
登録画像の特徴量とこの登録画像の識別情報とを対応付けて記憶する特徴量記憶手段と、
照合キー画像として指定された画像の特徴量と上記特徴量記憶手段に記憶されている登録画像のうち照合対象とする画像である１つ以上の照合対象画像の特徴量とを比較することで上記照合キー画像と上記各照合対象画像との類似度を算出し、算出した類似度に基づいて上記照合キー画像に類似している類似画像を検索する類似画像検索部と、
照合キー画像の解像度を第１解像度と第１解像度とは異なる第２解像度とに変換する解像度変換部とが上記画像処理装置または上記サーバ装置に備えられるか、あるいは上記画像処理装置と上記サーバ装置とに分散して備えられており、
上記類似画像検索部は、
上記特徴量抽出部が上記第１解像度に変換された照合キー画像から抽出した上記照合対象画像の特徴量と上記特徴量記憶手段に記憶されている上記照合対象画像の特徴量とを比較する第１比較処理の結果と、上記特徴量抽出部が上記第２解像度に変換された照合キー画像から抽出した上記照合対象画像の特徴量と上記特徴量記憶手段に記憶されている上記照合対象画像の特徴量とを比較する第２比較処理の結果とに基づいて類似画像の検索を行うことを特徴とする画像処理システム。
【請求項９】
照合キー画像の特徴量と予め登録されている１つ以上の照合対象画像の特徴量とを比較することで上記照合キー画像と上記各照合対象画像との類似度を算出し、算出した類似度に基づいて上記照合キー画像に類似している類似画像を検索する類似画像検索処理を行う画像処理方法であって、
照合キー画像の解像度を第１解像度と第１解像度とは異なる第２解像度とに変換する解像度変換工程と、
上記第１解像度に変換された照合キー画像から上記照合キー画像の特徴量を抽出する第１特徴量抽出工程と、
上記第２解像度に変換された照合キー画像から上記照合キー画像の特徴量を抽出する第２特徴量抽出工程と、
上記第１特徴量抽出工程で抽出した特徴量と上記照合対象画像の特徴量とを比較する第１比較処理の結果と、上記第２特徴量抽出工程で抽出した特徴量と上記照合対象画像の特徴量とを比較する第２比較処理の結果とに基づいて類似画像の検索を行う類似画像検索工程とを含むことを特徴とする画像処理方法。
【請求項１０】
請求項１から６のいずれか１項に記載の画像処理装置を動作させるための画像処理プログラムであって、コンピュータを上記各部として機能させるための画像処理プログラム。
【請求項１１】
請求項１０に記載の画像処理プログラムをコンピュータ読み取り可能に格納した記録媒体。
【請求項１】
画像データからこの画像データに含まれる画像の特徴量を抽出する特徴量抽出部と、
登録画像の特徴量とこの登録画像の識別情報とを対応付けて記憶する特徴量記憶手段と、
照合キー画像として指定された画像の特徴量と上記特徴量記憶手段に記憶されている登録画像のうち照合対象とする画像である１つ以上の照合対象画像の特徴量とを比較することで上記照合キー画像と上記各照合対象画像との類似度を算出し、算出した類似度に基づいて上記照合キー画像に類似している類似画像を検索する類似画像検索部とを備えた画像処理装置であって、
照合キー画像の解像度を第１解像度と第１解像度とは異なる第２解像度とに変換する解像度変換部を備え、
上記類似画像検索部は、
上記特徴量抽出部が上記第１解像度に変換された照合キー画像から抽出した上記照合キー画像の特徴量と上記特徴量記憶手段に記憶されている上記照合対象画像の特徴量とを比較する第１比較処理の結果と、上記特徴量抽出部が上記第２解像度に変換された照合キー画像から抽出した上記照合キー画像の特徴量と上記特徴量記憶手段に記憶されている上記照合対象画像の特徴量とを比較する第２比較処理の結果とに基づいて類似画像の検索を行うことを特徴とする画像処理装置。
【請求項２】
上記類似画像検索部は、
上記第１比較処理の結果に基づいて類似画像を検索する第１検索処理を行い、
上記第１検索処理では類似画像を特定できなかった場合に、上記第２比較処理の結果に基づいて類似画像を検索する第２検索処理を行うことを特徴とする請求項１に記載の画像処理装置。
【請求項３】
上記類似画像検索部は、
上記第１比較処理の結果に基づいて上記照合キー画像と上記各照合対象画像との類似度を算出する第１類似度算出処理と、
上記第２比較処理の結果に基づいて上記照合キー画像と上記各照合対象画像との類似度を算出する第２類似度算出処理とを行い、
上記第１類似度算出処理によって算出された類似度と上記第２類似度算出処理によって算出された類似度とを照合対象画像毎に加算した類似度に基づいて類似画像を検索することを特徴とする請求項１に記載の画像処理装置。
【請求項４】
上記類似画像検索部は、
上記第１比較処理の結果に基づいて上記照合キー画像と上記各照合対象画像との類似度を算出する第１類似度算出処理と、
上記第２比較処理の結果に基づいて上記照合キー画像と上記各照合対象画像との類似度を算出する第２類似度算出処理とを行い、
上記第１類似度算出処理および上記第２類似度算出処理で算出した類似度のうち最大値を有する類似度に基づいて類似画像を検索することを特徴とする請求項１に記載の画像処理装置。
【請求項５】
上記登録画像の画像データとこの登録画像の識別情報とを対応付けて記憶する画像データ記憶手段と、
上記画像データ記憶手段に記憶されている画像データを表示する表示部と、
上記表示部に表示されている画像の中から照合キー画像とする画像を選択するユーザからの選択指示を受け付ける操作入力部と、
上記特徴量記憶手段に登録画像の特徴量を記憶させるときに、上記解像度変換部によって第１解像度に変換された上記登録画像の特徴量をこの登録画像の識別情報と対応付けて上記特徴量記憶手段に記憶させ、上記解像度変換部によって第２解像度に変換された上記登録画像の画像データをこの登録画像の識別情報と対応付けて上記画像データ記憶部に記憶させる登録処理部とを備え、
上記第１比較処理を行うときに、
上記類似画像検索部は、上記特徴量記憶手段に記憶されている上記照合キー画像に対応する第１解像度の画像から抽出された特徴量と、上記特徴量記憶手段に記憶されている上記照合対象画像の特徴量とを比較し、
上記第２比較処理を行うときに、
上記特徴量抽出部は、上記画像データ記憶手段に記憶されている上記照合キー画像に対応する第２解像度の画像データに基づいて照合キー画像の特徴量の抽出を行い、
上記類似画像検索部は、上記特徴量抽出部が上記照合キー画像に対応する第２解像度の画像データから抽出した上記特徴量と上記特徴量記憶手段に記憶されている上記照合対象画像の特徴量とを比較することを特徴とする請求項１から４のいずれか１項に記載の画像処理装置。
【請求項６】
上記第２解像度は上記第１解像度よりも低い解像度であることを特徴とする請求項５に記載の画像処理装置。
【請求項７】
請求項１から６のいずれか１項に記載の画像処理装置と、
画像データに応じた画像を記録材上に形成する画像出力部とを備えていることを特徴とする画像形成装置。
【請求項８】
画像データに対して所定の処理を施す画像処理装置と、この画像処理装置に対して通信可能に接続されたサーバ装置とを備えた画像処理システムであって、
画像データからこの画像データに含まれる画像の特徴量を抽出する特徴量抽出部と、
登録画像の特徴量とこの登録画像の識別情報とを対応付けて記憶する特徴量記憶手段と、
照合キー画像として指定された画像の特徴量と上記特徴量記憶手段に記憶されている登録画像のうち照合対象とする画像である１つ以上の照合対象画像の特徴量とを比較することで上記照合キー画像と上記各照合対象画像との類似度を算出し、算出した類似度に基づいて上記照合キー画像に類似している類似画像を検索する類似画像検索部と、
照合キー画像の解像度を第１解像度と第１解像度とは異なる第２解像度とに変換する解像度変換部とが上記画像処理装置または上記サーバ装置に備えられるか、あるいは上記画像処理装置と上記サーバ装置とに分散して備えられており、
上記類似画像検索部は、
上記特徴量抽出部が上記第１解像度に変換された照合キー画像から抽出した上記照合対象画像の特徴量と上記特徴量記憶手段に記憶されている上記照合対象画像の特徴量とを比較する第１比較処理の結果と、上記特徴量抽出部が上記第２解像度に変換された照合キー画像から抽出した上記照合対象画像の特徴量と上記特徴量記憶手段に記憶されている上記照合対象画像の特徴量とを比較する第２比較処理の結果とに基づいて類似画像の検索を行うことを特徴とする画像処理システム。
【請求項９】
照合キー画像の特徴量と予め登録されている１つ以上の照合対象画像の特徴量とを比較することで上記照合キー画像と上記各照合対象画像との類似度を算出し、算出した類似度に基づいて上記照合キー画像に類似している類似画像を検索する類似画像検索処理を行う画像処理方法であって、
照合キー画像の解像度を第１解像度と第１解像度とは異なる第２解像度とに変換する解像度変換工程と、
上記第１解像度に変換された照合キー画像から上記照合キー画像の特徴量を抽出する第１特徴量抽出工程と、
上記第２解像度に変換された照合キー画像から上記照合キー画像の特徴量を抽出する第２特徴量抽出工程と、
上記第１特徴量抽出工程で抽出した特徴量と上記照合対象画像の特徴量とを比較する第１比較処理の結果と、上記第２特徴量抽出工程で抽出した特徴量と上記照合対象画像の特徴量とを比較する第２比較処理の結果とに基づいて類似画像の検索を行う類似画像検索工程とを含むことを特徴とする画像処理方法。
【請求項１０】
請求項１から６のいずれか１項に記載の画像処理装置を動作させるための画像処理プログラムであって、コンピュータを上記各部として機能させるための画像処理プログラム。
【請求項１１】
請求項１０に記載の画像処理プログラムをコンピュータ読み取り可能に格納した記録媒体。
【図１】
【図２】
【図３】
【図４】
【図５】
【図６】
【図７】
【図８】
【図９】
【図１０】
【図１１】
【図１２】
【図１３】
【図１４】
【図１５】
【図１６】
【図１７】
【図１８】
【図１９】
【図２０】
【図２１】
【図２】
【図３】
【図４】
【図５】
【図６】
【図７】
【図８】
【図９】
【図１０】
【図１１】
【図１２】
【図１３】
【図１４】
【図１５】
【図１６】
【図１７】
【図１８】
【図１９】
【図２０】
【図２１】
【公開番号】特開２００９−２７７０４５（Ｐ２００９−２７７０４５Ａ）
【公開日】平成２１年１１月２６日（２００９．１１．２６）
【国際特許分類】
【出願番号】特願２００８−１２８１２８（Ｐ２００８−１２８１２８）
【出願日】平成２０年５月１５日（２００８．５．１５）
【出願人】（０００００５０４９）シャープ株式会社 (33,933)
【Ｆターム（参考）】
【公開日】平成２１年１１月２６日（２００９．１１．２６）
【国際特許分類】
【出願日】平成２０年５月１５日（２００８．５．１５）
【出願人】（０００００５０４９）シャープ株式会社 (33,933)
【Ｆターム（参考）】
[ Back to top ]