画像処理装置、画像処理方法、プログラムおよび記録媒体
【課題】様々な処理を行った複数の画像データに対して、実施された画像処理内容を画像中身やマシンの使用状況などから推定して、画像の変換方法を求め、１つのテンプレートと差分データと変換方法のみで管理することにより、画像記憶装置の容量圧迫を軽減する。
【解決手段】ＣＰＵ１０６は、ＨＤＤ１０５の容量を低減するために、蓄積されている画像Ａ、Ｂを領域分割し、エッジ画像を算出する。ＣＰＵは画像領域間でエッジ画像の第１のマッチング処理を行い、一致した画像領域に対しては、色情報の第２のマッチング処理を行い、一致した共通の画像領域を登録する。第１のマッチング処理で一致しない画像領域に対しては、マシンの使用履歴情報を参照して画像の変換方法を推定し、一方の画像を変換して再度、第１のマッチング処理を行い、一致しない場合、差分情報と、変換方法を登録する。
【解決手段】ＣＰＵ１０６は、ＨＤＤ１０５の容量を低減するために、蓄積されている画像Ａ、Ｂを領域分割し、エッジ画像を算出する。ＣＰＵは画像領域間でエッジ画像の第１のマッチング処理を行い、一致した画像領域に対しては、色情報の第２のマッチング処理を行い、一致した共通の画像領域を登録する。第１のマッチング処理で一致しない画像領域に対しては、マシンの使用履歴情報を参照して画像の変換方法を推定し、一方の画像を変換して再度、第１のマッチング処理を行い、一致しない場合、差分情報と、変換方法を登録する。
【発明の詳細な説明】
【技術分野】
【０００１】
本発明は、画像容量の圧迫を軽減した画像処理装置、画像処理方法、プログラムおよび記録媒体に関する。
【背景技術】
【０００２】
通常、ＭＦＰ（複合機）にはＨＤＤなどの記憶装置が内蔵され、画像データの蓄積が可能であるが、画像データはテキストファイルなどに比べて容量が大きく、大量の原稿画像を蓄積すると記憶装置の容量を圧迫する。
【０００３】
そこで、このような容量不足を回避する方法として、リビジョン（版）管理などで原稿の履歴情報を全て保存する場合に、すべての履歴の画像データを蓄積するのではなく、一つの画像データとその画像データからの差分情報のみを管理するという方法がある（特許文献１を参照）。
【発明の概要】
【発明が解決しようとする課題】
【０００４】
しかし、上記した方法は、元が同一原稿の履歴情報を差分で管理しているので、フォーマットが同一で、その中身が異なる画像（例えばＰＰＴのテンプレート、所定フォーマットの文書など）には適用できず、また、適用した場合でも以下のような問題がある。すなわち、
１．同一フォーマットであっても、フルカラー画像・２色画像・モノクロ画像・ネガポジ画像など、ＭＦＰに蓄積される画像が異なり、また原稿も、特定の色をドロップアウトした原稿、トナーセーブで出力した原稿、カラーユニバーサル（ＣＵＤ）対応した原稿など種々ある。
【０００５】
上記した場合、色に関係のないエッジ情報などは、テンプレートとのマッチングが取れるが、色情報は別プレーンで確保しなければならず、プレーン分の容量が多くなるという問題がある。
２．集約画像、変倍画像、一部をトリミングされた画像（部分コピーした画像）、パンチ穴のある画像などは、マッチングで一致しないので、複数のテンプレートを必要とし、容量が多くなるという問題がある。
【０００６】
本発明は上記した課題に鑑みてなされたもので、
本発明の目的は、様々な処理を行った複数の画像データに対して、実施された画像処理内容を画像中身やマシンの使用状況などから推定して、画像データの変換方法を求め、１つのテンプレートと差分データと変換方法のみで管理することにより、画像記憶装置の容量圧迫を軽減した画像処理装置、画像処理方法、プログラムおよび記録媒体を提供することにある。
【課題を解決するための手段】
【０００７】
本発明は、様々な処理を行った複数の画像データに対して、実施された画像処理内容を画像中身やマシンの使用状況などから推定し、画像データの変換方法を求めることで、１つのテンプレートと差分データと変換方法のみを保存する（複数のテンプレートを持たない）ことを要点とする。
【０００８】
本発明の概要を説明する（図１を参照）。ＨＤＤなどに蓄積されている画像に対して、まず画像領域分割を行う（Ｓ１）。次に、分割された領域ごとに同じテンプレートであるか否かをエッジ成分でパターンマッチングを行う（Ｓ２）。エッジ情報でマッチングが不一致である場合は、マシンの使用履歴情報や画像配置情報をもとに推定を行い、画像を変換してから再度、マッチング処理をトライする（Ｓ４）。Ｓ４→Ｓ２で再マッチングを行っても、エッジ情報のマッチング処理の不一致の回数が、所定の閾値を超える画像領域に対しては、画像領域そのものと画像フレームに対する画像領域の位置座標を蓄積する（Ｓ６、Ｓ１０）。
【０００９】
Ｓ２で一致した画像領域に対しては、エッジ以外でのマッチング処理（例えば対象となる二つの画像の色差でマッチング）を行う（Ｓ３）。Ｓ３で、マッチングが不一致である場合は、マシンの使用履歴情報や色情報などをもとに推定を行い、画像を変換して再度、マッチング処理をトライする（Ｓ５）。
【００１０】
Ｓ３で一致した場合は、共通フォーマットとして一方の画像領域そのものと画像フレームに対するフォーマットの位置座標を蓄積する。また、Ｓ４、Ｓ５で画像変換を行って一致した場合は、その変換内容も併せて記憶する。すなわち、共通フォーマット情報、共通フォーマットへの画像変換方法の情報、共通フォーマット以外の差分情報、画像フレームに対する各々の領域の位置情報が蓄積される（Ｓ９）。
【００１１】
Ｓ５→Ｓ３で再マッチングを行っても、エッジ情報以外のマッチング処理の不一致の回数が、所定の閾値を超える画像領域に対しては、Ｓ３のマッチング処理で最も結果が良かった画像変換後の画像領域で、Ｓ３の基準よりも緩い色情報のマッチング処理を行う（Ｓ７、Ｓ８）。Ｓ８のマッチングでも不一致であれば、比較した２つの画像領域は全く異なった色情報をもっているものとして、エッジ情報のマッチングが不一致の場合と同様に、差分情報として画像領域そのものと画像フレームに対する画像領域の位置座標を蓄積する（Ｓ１０）。また、Ｓ８のマッチングで一致した場合は、おおよそ両者の色情報が合っているので、Ｓ９と同様に共通フォーマットとして一方の画像領域と画像フレームに対するフォーマットの位置座標を蓄積する。ただし、Ｓ９との違いは色情報のマッチングを補助するための補助データも併せて蓄積する（Ｓ１１）。
【発明の効果】
【００１２】
本発明によれば、共通フォーマット情報（テンプレート情報）と変換情報のみを保存することで、編集や加工されているテンプレートなどに対して別々に保存する必要がなくなり、記憶装置の容量圧迫を軽減することができる。
【図面の簡単な説明】
【００１３】
【図１】本発明の実施例の処理フローチャートを示す。
【図２】本発明に係るデジタル画像処理装置（ＭＦＰ）の全体構成を示す。
【図３】第１、第２の画像処理部の構成を示す。
【図４】実施例１の処理を説明する画像例を示す。
【図５】実施例１のマッチング処理を説明する図である。
【図６】画像Ａの色相分布情報の例を示す。
【図７】パラメータによる変換方法を説明する図である。
【図８】ＨＤＤに蓄積する情報を示す。
【図９】実施例２の処理を説明する画像例を示す。
【図１０】マシンの使用履歴情報を示す。
【図１１】実施例２のマッチング処理を説明する図である。
【図１２】画像の一部を切り出して蓄積する処理を説明する図である。
【図１３】ＨＤＤ容量低減動作時の操作表示装置の画面例を示す。
【図１４】実施例３の処理を説明する画像例を示す。
【図１５】色情報に関する編集履歴情報を示す。
【図１６】実施例３のマッチング処理を説明する図である。
【図１７】類似している画像同士をマップ化した例を示す。
【発明を実施するための形態】
【００１４】
以下、発明の実施の形態について図面により詳細に説明する。
【実施例１】
【００１５】
デジタルカラー複写機をベースにＦＡＸ（ファクシミリ）機能、プリンタ機能、スキャナ機能、ドキュメントボックス機能などを複合したＭＦＰ（複合機）に、本発明の画像処理装置を適用した実施例を以下に示す。
【００１６】
図２は、本発明に係るデジタル画像処理装置（ＭＦＰ）の全体構成を示す。ＭＦＰは、図２に示すように、読取り装置１０１と、第１の画像処理部１０２と、バス制御装置１０３と、第２の画像処理部１０４と、ＨＤＤ１０５と、ＣＰＵ１０６と、メモリ１０７と、プロッタＩ／Ｆ装置１０８と、プロッタ装置１０９と、操作表示装置１１０と、回線Ｉ／Ｆ装置１１１と、外部Ｉ／Ｆ装置１１２と、Ｓ．Ｂ．１１３と、ＲＯＭ１１４と、汎用バス１１５等を備えている。このＭＦＰは、外部装置であるＦＡＸ１１６やＰＣ１１７とデータ通信可能に構成されている。
【００１７】
読取り装置１０１は、ＣＣＤ光電変換素子からなるラインセンサとＡ／Ｄコンバータとそれら駆動回路を具備し、セットされた原稿をスキャンして得られる原稿の濃淡情報に基づいて、ＲＧＢ各８ビットのデジタル画像データを生成して第１の画像処理部１０２に出力する。
【００１８】
第１の画像処理部１０２は、読取り装置１０１から入力されるデジタル画像データに対して、予め定めた特性に統一する処理を施して出力する。統一する特性は画像データをＭＦＰ内部に蓄積し、その後再利用する場合に、出力先の変更に適する特性であり、その詳細は後述する。本実施例では上記画像処理をＤＳＰで実行する。
【００１９】
バス制御装置１０３は、画像処理装置内で必要な画像データや制御コマンド等の各種データの送受信を行うデータバスの制御装置であり、複数種のバス規格間のブリッジ機能を有している。本実施例では、バス制御装置１０３は、第１の画像処理部１０２、第２の画像処理部１０４、ＣＰＵ１０６とはＰＣＩ−Ｅｘｐｒｅｓｓバスで接続し、また、ＨＤＤ１０５とはＡＴＡバスで接続してＡＳＩＣ化している。
【００２０】
第２の画像処理部１０４は、第１の画像処理部１０２で予め定めた特性を統一された画像データに対し、ユーザーから指定される出力先に適した画像処理を施して出力する。その詳細は後述する。
【００２１】
ＨＤＤ（蓄積装置）１０５は、デスクトップパソコンにも使用されている電子データを保存するための大型の記憶装置であり、主に画像データを蓄積する。また本実施例では、ＩＤＥを拡張して規格化されているＡＴＡバス接続のハードディスクを使用する。画像データは、通常のテキストファイルなどに比べて大容量であるため、膨大な画像データを蓄積すると、記憶装置の容量が一杯となり、新たに画像データを蓄積できないばかりでなく、マシンのパフォーマンスにも影響を与える。
【００２２】
ＣＰＵ１０６は、デジタル画像処理装置の制御全体を司るマイクロプロセッサである。本実施例では、近年普及してきたＣＰＵコア単体に＋αの機能を追加したＩｎｔｅｇｒａｔｅｄ ＣＰＵを使用し、例えば、ＰＭＣ社のＲＭ１１１００で、汎用規格Ｉ／Ｆとの接続機能や、クロスバースイッチを使ったこれらバス接続機能がインテグレートされたＣＰＵを使用する。
【００２３】
メモリ１０７は、複数種のバス規格間をブリッジする際の速度差や、接続された部品自体の処理速度差を吸収するために、一時的にデータを記憶し、ＣＰＵ１０６が本デジタル画像処理装置の制御を行う際に、プログラムや中間処理データを一時的に記憶する揮発性メモリである。ＣＰＵ１０６は、高速処理が求められるため、通常起動時にＲＯＭ１１４に記憶されたブートプログラムにてシステムを起動し、その後は高速にアクセス可能なメモリに展開されたプログラムによって処理を行う。本実施例では、メモリ１０７として、規格化されパーソナルコンピュータに使用されているＤＩＭＭを使用する。
【００２４】
プロッタＩ／Ｆ装置１０８は、ＣＰＵ１０７にインテグレートされた汎用規格Ｉ／Ｆを経由して送出されてくるＣＭＹＫの画像データを受け取ると、プロッタ装置１０９の専用Ｉ／Ｆに出力するバスブリッジ処理を行う。本実施例では、汎用規格Ｉ／Ｆとして、例えば、ＰＣＩ−Ｅｘｐｒｅｓｓバスを使用する。
【００２５】
プロッタ装置１０９は、ＣＭＹＫからなる画像データを受け取ると、レーザービームを用いた電子写真プロセスを使用して、転写紙に受け取った画像データを出力する。Ｓ．Ｂ．１１３は、パーソナルコンピュータに使用されるチップセットのひとつであり、Ｓｏｕｔｈ Ｂｒｉｄｇｅと呼ばれる汎用の電子デバイスである。Ｓ．Ｂ．１１３は、主にＰＣＩ−ＥｘｐｒｅｓｓとＩＳＡブリッジを含むＣＰＵシステムを構築する際によく使用されるバスのブリッジ機能を汎用回路化したもので、本実施例ではＲＯＭ１１４との間をブリッジしている。ＲＯＭ１１４は、ＣＰＵ１０６が本デジタル画像処理装置の制御を行う際のプログラム（ブートプログラムを含む）が格納されるメモリである。
【００２６】
操作表示装置１１０は、本デジタル画像処理装置とユーザーのインターフェースを行う部分であり、ＬＣＤ（液晶表示装置）とキースイッチから構成され、装置の各種状態や操作方法をＬＣＤに表示し、ユーザーからのキースイッチ入力を検知する。本実施例では、ＰＣＩ−Ｅｘｐｒｅｓｓバスを介してＣＰＵと接続する。回線Ｉ／Ｆ装置１１１は、ＰＣＩ−Ｅｘｐｒｅｓｓバスと電話回線を接続する装置であり、この装置により本デジタル画像処理装置は電話回線を介して各種データのやり取りを行うことが可能になる。外部Ｉ／Ｆ装置１１２は、ＰＣＩ−Ｅｘｐｒｅｓｓバスと外部装置を接続する装置であり、この装置により本デジタル画像処理装置は外部装置と各種データのやり取りを行うことが可能になる。本実施例では、その接続Ｉ／Ｆにネットワーク（イーサネット（登録商標））を使用する。すなわち、本デジタル画像処理装置は、外部Ｉ／Ｆ装置１１２を介してネットワークに接続されている。ＦＡＸ１１６は、通常のファクシミリであり、電話回線を介してＭＦＰと画像データの送受信を行う。ＰＣ１１７はパーソナルコンピュータであり、インストールされたアプリケーションソフトやドライバを介して、ユーザーは本デジタル画像処理装置に対して各種制御や画像データの入出力を行う。
【００２７】
以下に、基本となる通常のコピー動作処理・送信動作（容量低減を行わない場合）を説明し、次いで、容量低減の動作を説明する。
（コピー動作）
ユーザーは原稿を読取り装置１０１にセットし、所望するモード等の設定とコピー開始の入力を操作表示装置１１０により行う。操作表示装置１１０は、ユーザーから入力された情報を、機器内部の制御コマンドデータに変換して発行する。発行された制御コマンドデータは、ＰＣＩ−Ｅｘｐｒｅｓｓバスを介してＣＰＵ１０６に通知される。
【００２８】
ＣＰＵ１０６はコピー開始の制御コマンドデータに従って、コピー動作プロセスのプログラムを実行し、コピー動作に必要な設定や動作を順に実行する。以下に動作プロセスを説明する。
【００２９】
＃１．読取り装置１０１で原稿をスキャンして得られたＲＧＢ各８ビットの画像データは、第１の画像処理部１０２で予め定めた特性に統一され、バス制御装置１０３に送られる。
【００３０】
＃２．バス制御装置１０３は第１の画像処理部１０２からのＲＧＢ画像データを受け取ると、ＣＰＵ１０６を介してメモリ１０７に蓄積する。
【００３１】
＃３．次に、メモリ１０７に蓄積されたＲＧＢ画像データは、ＣＰＵ１０６及びバス制御装置１０３を介して、第２の画像処理部１０４に送られる。
【００３２】
＃４．第２の画像処理部１０４は、受け取ったＲＧＢ画像データを、プロッタ出力用のＣＭＹＫ画像データに変換して出力する。
【００３３】
＃５．バス制御装置１０３は、第２の画像処理部１０４からのＣＭＹＫ画像データを受け取ると、ＣＰＵ１０６を介してメモリ１０７に蓄積する。
【００３４】
＃６．次に、メモリ１０７に蓄積されたＣＭＹＫ画像データは、ＣＰＵ１０６及びプロッタＩ／Ｆ装置１０８を介して、プロッタ装置１０９に送られる。
【００３５】
＃７．プロッタ装置１０９は、受け取ったＣＭＹＫ画像データを転写紙に出力し、原稿のコピーが生成される。
【００３６】
図３（ａ）は、第１の画像処理部１０２の構成を示し、図３（ｂ）は、第２の画像処理部１０４の構成を示す。
【００３７】
図３（ａ）の第１の画像処理部１０２において、像域分離処理部２０１は、読取装置１０１から受け取ったＲＧＢ画像データを１画素ごとに、文字領域であるか、絵柄（網点）領域であるかを判定し、その領域情報を後述のフィルタ処理などで利用する。地肌除去処理部２０２は、読取装置１０１から受け取ったＲＧＢ画像データの地肌部をラインごとに追従しながら算出し、適切な地肌値を除去する処理を行う。通常の白い紙の原稿だけでなく、新聞紙や色紙などの地肌を除去し、白い原稿として出力する効果もある。
【００３８】
γ変換部２０３は、読取り装置１０１から受け取ったＲＧＢ画像データの明るさを予め定めた特性に統一する。本実施例では、明度リニアな特性に変換し、主に階調性の補正、グレーバランスの補正などを行う。孤立点除去処理部２０４は、画像データ中の孤立点を検出し、削除する。
【００３９】
フィルタ処理部２０５は、像域分離処理で得られる像域分離情報に応じて、ＲＧＢ画像データの文字部に対しては、鮮鋭性を向上させる処理を施し、ＲＧＢ画像データの絵柄部（網点部）に対しては平滑処理を行い、滑らかな階調性を重視する処理を施す。
【００４０】
色変換部２０６は、ＲＧＢ画像データの色を予め定めた特性に統一する。本実施例では、色空間がＡｄｏｂｅ（登録商標）−ＲＧＢのような色空間になるように変換する。変倍処理部２０７は、ＲＧＢ画像データのサイズ（解像度）を予め定めた特性に統一する。本実施例では、サイズ（解像度）を６００ｄｐｉに変換する。
【００４１】
図３（ｂ）の第２の画像処理部１０４において、フィルタ処理部３０１は、ＲＧＢ画像データの鮮鋭性を、プロッタ装置１０９に出力する場合の再現性が良くなるように補正する。具体的には所望するモード情報に従って鮮鋭化／平滑化処理を施す。例えば文字モードでは文字をハッキリ／クッキリとするために鮮鋭化処理を施し、写真モードでは滑らかに階調性を表現するため平滑化処理を施す。
【００４２】
色変換部３０２は、ＲＧＢ各８ビットのデータを受け取るとプロッタ装置用の色空間であるＣＭＹＫ各８ビットに変換する。このとき、ユーザーが所望するモード情報に従って彩度もあわせて調整する。変倍処理部３０３は、ＣＭＹＫ画像データのサイズ（解像度）を、プロッタ装置１０９の再現性能に従ってサイズ（解像度）変換を行う。本実施例では、プロッタ１０９の性能が６００ｄｐｉ出力であるため、特に変換は行わない。
【００４３】
階調処理部３０４では、ＣＭＹＫ各８ビットを受け取るとプロッタ装置１０９の階調処理能力に従った階調数変換処理を行う。本実施例では、ＣＭＹＫ各２ビットに疑似中間調処理の一つである誤差拡散法を用いて階調数変換する。マスク処理部３０５では、階調変換したＣＭＹＫデータに対して、原稿の影などを消去するために、画像データの周辺部のデータを白データで上書きする。
【００４４】
図１は、本発明の実施例の処理フローチャートである。以下に、図１を参照して、本発明の特徴である容量圧迫動作を説明する。なお、画像蓄積動作とは、上記したコピー動作の＃１〜＃２までの動作の後、＃２でメモリ１０７に蓄積された画像データをＣＰＵ１０６がバス制御装置１０３を介して、ＨＤＤ１０５に蓄積する動作のことである。
【００４５】
ＨＤＤ１０５の容量を低減するために、画像蓄積動作でＨＤＤ１０５に蓄積された画像Ａと画像Ｂの容量低減を行う場合を説明する。以下説明する容量低減動作のトリガは、ＨＤＤ１０５が所定の容量をオーバーした場合、例えば、容量が５００ＧＢのＨＤＤ１０５を搭載したＭＦＰの場合、使用容量が４８０ＧＢに達すると、容量低減動作が実施される。このような容量低減動作は、特に夜間や休日中などＭＦＰを長時間使用しない場合に行うことが望ましい。
【００４６】
＃１０．ＨＤＤ１０５に蓄積されている画像Ａ、画像Ｂをバス制御装置１０３を介して、メモリ１０７に展開する。
【００４７】
＃１１．ＣＰＵ１０６は画像Ａ、画像Ｂに対して、画像領域分割を行う（Ｓ１）。画像領域を分割する方法としては、特許文献２、３に記載されたレイアウト解析を用いる。画像領域分割された全ての画像領域の左上Ｘ１、Ｙ１座標と、画像領域の右下Ｘ２、Ｙ２座標を、メモリ１０７に記憶する。図４（ａ）は、画像データＡ（フルカラー画像）、（ｂ）は画像データＢ（モノクロ画像）を示し、（ｃ）は、領域分割後の画像データＡ、（ｄ）は領域分割後の画像データＢを示す。
【００４８】
＃１２．さらに、画像データＡ、画像データＢの２値のエッジ画像（輪郭画像）を算出する。この処理は、ＣＰＵ１０６が行っても良いし、メモリ１０７からバス制御装置１０３を介して、第２の画像処理部１０４のフィルタ処理部３０１の機能などを使用してもよい。
【００４９】
ＣＰＵ１０６は、それぞれの画像領域同士でエッジ画像のパターンマッチング処理を総当りにより行う（Ｓ２）。画像データＡ、Ｂは共にスキャナ画像であるので、元のテンプレートが同じであったとしても、完全に一致することはありえない。そのため、画像領域のサイズが例えば±５％以内であれば、変倍処理を行って、二つの画像領域を同じ大きさにしてから、エッジ情報でのマッチングを行う（５％という数値は任意であり、ユーザーが適宜、選択してもよい）。
【００５０】
マッチング処理は、画像領域の総画素数に対して、マッチング不一致の画素数が所定の閾値以内であれば、二つの画像領域は一致したものとする。例えば、１００００画素の２値のエッジ画像領域同士でマッチングを行った結果、そのうちの３００画素がマッチング不一致（お互いの画素が白と黒）であり、所定の閾値が５％であれば、１００００×５％＝５００画素以下であるので、この画像領域同士は一致しているものと判定する。エッジ情報のマッチングで一致した画像領域のみ、＃１３以降の処理を行う。図４（ｅ）、（ｆ）は、エッジ情報で一致した、画像データＡ、Ｂの画像領域を示す。すなわち、画像データＡの絵１１と画像データＢの絵２１が一致し、画像データＡの絵１２と画像データＢの絵２２が一致し、画像データＡの絵１３と画像データＢの絵２３が一致している。
【００５１】
＃１３．前述した＃１２で、エッジ情報が一致した画像領域に対して、ＣＰＵ１０６は、色情報のマッチング処理を行う（Ｓ３）。例えば、画像データＡ、ＢがＡｄｏｂｅ（登録商標）−ＲＧＢの色空間で定義されたＲＧＢデータであれば、ＲＧＢ空間をＬａｂ空間に変換して、色差を比較する。色差は、Ｌａｂ空間における２点間のユークリッド距離であり、人間の見た目の違いと距離にある程度の相関性がある。また、ユークリッド距離に対して、所定の重み付けをして補正を行うΔＥ９４色差で評価しても良い。
【００５２】
色差を比較する２つの画像領域において、１画素毎の色差を求め、その領域内の平均色差・最大色差が所定の閾値以内であれば、２つの画像領域同士の色情報が一致していると判定する。色情報のマッチング処理で平均色差・最大色差が所定の閾値以内で一致した画像領域に対しては、後述する＃１８の処理に進む。
【００５３】
しかし、実際には画像Ａがフルカラー画像であり、画像Ｂがモノクロ画像であるから、単純に色情報を比較しても一致しない。色情報を比較しても一致しない場合は、エッジ情報が一致するため元は同じ色情報であったが、何か画像処理や編集処理を行って色情報が一致しなくなったと判断し、その処理内容を推測して、画像Ａから画像Ｂに変換する方法（もしくは画像Ｂから画像Ａに変換する方法）を推定し、推定処理・画像変換・色情報マッチング処理によるマッチング処理で一致するか、不一致の回数が所定の閾値に達するまで繰り返し行う（Ｓ３、Ｓ５）。
【００５４】
図５は、色情報が一致しないときのマッチング処理を説明する図である。
【００５５】
＃１４．色情報が一致しないときの処理内容を推定する推定処理について説明する。
「色情報推定処理」（Ｓ５の前半処理）
まず、色差の比較情報結果を基に、ＣＰＵ１０６は画像に対する処理内容を調べる。
【００５６】
色相ごとの色差の比較
色相毎に色差の不一致の程度が発生しているか調べる。まず、Ｌａｂ空間で存在する範囲の広い画像Ａに注目して、画像Ａの画像領域の各画素に対して、ａ、ｂ値より例えば６色相に分割し、その１２色相のうち、どの色相で不一致となっているかを確認する。
【００５７】
画像Ａと画像Ｂの場合は、フルカラー画像とモノクロ画像の違いであるので、全色相で色差が異なる。全色相の色差が異なる場合は、両方の画像の色相分布を確認する。そうすると、図６（ａ）、（ｂ）のように、画像Ａでは、全色相でかつ、ある程度の彩度をもった画像が存在するが、画像Ｂでは全画素ともａ、ｂの値が０に近く、低彩度であるので、画像Ａはフルカラー画像であり、画像Ｂはモノクロ画像であると推定できる。
【００５８】
図６に示す色相ごとの画素数は理想的な値であるが、実際にはスキャナで読み取った画像であるので、モノクロ画像であっても低彩度の画素としてカウントされない画素もあり、また、同一の原稿を読み取っても全く同一の画素数分布をとらないことから、所定の閾値を設定し、閾値未満であればモノクロ画像である判定することになる（以下の説明では、全て理想的な場合で示している）。
【００５９】
その他、全色相の色が異なる場合は、２つの画像の色相の分布を基に、種々推定することができる。以下にその一例を示す。
・図６（ａ）、（ｃ）のような補色の関係にある画像に対しては、ネガポジ（白黒）変換を行ったと推定できる。
・図６（ａ）、（ｄ）のように画像Ａに対して、同じ割合ずつ各色相から画素が減少している（色相の多い順番などはかわらない）ので、彩度変換（淡い／濃い）を行っている、原稿が出力される際にトナーセーブされているなどと推定できる（複数の候補のうち、何れか一つの候補に絞る方法は、実施例３で説明する）。
・図６（ａ）、（ｅ）のように色相分布が移動している場合（（ａ）のＲ＝（ｅ）のＹ、（ａ）のＹ＝（ｅ）のＧ）は、色相に関する編集を行っていると推定することができる。
【００６０】
また、全色相ではなく、ある特定の色相のみ色差が異なっている場合も推定可能であり、以下に一例を示す。
・図６（ａ）、（ｆ）のように、画像Ａでは全色相の画素があるのに対し、一方の画像はＲ色相しかない場合は、二色カラー変換していると推定することができる。
・画像Ａでは全色相の画素があるのに対して、一方の画像はある特定の色相が存在しない場合は、ドロップカラー（色消し）処理を行っていると推定することができる。
【００６１】
以上のように、色情報を基に、二つの画像の変換方法を推定する。
【００６２】
＃１５．上記した＃１４で推定した変換方法を用いて画像を変換する（Ｓ５の後半処理）。
【００６３】
画像Ａと画像Ｂの場合では、前述の通り、画像Ａから画像Ｂへは、モノクロ変換を行ったと推定できるので、画像Ａを実際にモノクロ変換する。モノクロ変換は、ＣＰＵ１０６または第２の画像処理部１０４で行う。画像Ａをモノクロ変換した画像を画像Ａ’と呼ぶ。
【００６４】
＃１６．＃１５で変換した画像に対して、色情報のマッチング処理を行う。すなわち、画像Ａ’と画像Ｂのうち、エッジ情報でマッチングした画像領域同士を再度、色情報のマッチング処理を行い、平均色差、最大色差が所定の閾値内である否かを確かめる。ここで、マッチング処理が不一致であれば、さらに＃１４の推定処理、＃１５の変換処理を繰り返し、再度、マッチング処理を行う。そして、不一致の回数が所定の閾値を超えた画像領域では、以下の＃１７の処理を行い、不一致の回数が所定の閾値未満で、色情報のマッチングが一致した画像領域では、＃１８の処理を行う（Ｓ７）。
【００６５】
＃１７．色情報のマッチングが不一致の場合の処理を説明する。まず、平均色差がマッチングの基準よりも大きい（緩い）第二の閾値内にあるか否かを判断する（Ｓ８）。例えば、図４（ｃ）、（ｄ）の画像領域「絵１１」と「絵２１」同士を比較した場合に、画像変換を数回行った内、最も良かった結果が平均色差４．５、最大色差７であり、色情報のマッチングで一致となる基準の閾値が、平均色差で３、最大色差で５であるとする。このときの「絵１１」を画像変換した画像領域を「絵１１’」と呼ぶことにする。この場合、画像領域同士のマッチングでは平均色差、最大色差ともに閾値以上の値であるので、マッチングは不一致となる。不一致の回数が所定の閾値を超えた場合、画像変換を行った中で最も結果の良かった平均色差、最大色差の値と第二の閾値との比較を行う。第二の閾値を平均色差５、最大色差８とすると、画像領域「絵１１」と「絵２１」のマッチングは第二の閾値内である。
【００６６】
第二の閾値を超える場合は、２つの画像領域において、全く色情報が異なり、２つの画像領域間の変換が困難であるため、２つの画像領域の色情報を別々にＨＤＤ１０５に保存することにする。一方、第二の閾値以内であれば、一部の画素の変換が難しいが、多くの画素の変換が可能であると判断し、その一部の画素のみ変換を補助するための情報を合わせてＨＤＤ１０５に保存する。
【００６７】
補助するための情報の具体例として、以下に２例を挙げる。
（１）まず、第一の最大色差の閾値５を超える箇所が許容できない箇所であるので、「絵１１」の画像変換を行った「絵１１’」と「絵２１」の最大色差５以上の画素を抽出する。そして、その最大色差５以下の領域内の画素のみで、平均色差が基準の３以下となるか否かを確認する。
【００６８】
その結果、平均色差が３以下となるのであれば、抽出した最大色差５以上の画素データのみをそのまま別プレーンとして保存し、「絵１１’」と「絵２１」はマッチングしたものとして扱う。３を超えた場合は、色差５以上ではなく、色差４．５以上のものを除いた状態で、再度、平均色差が３以下であるか否かを確認する。それでも平均色差が３を超える場合は、色差４以上、それでも超える場合は、色差３．５以上と徐々に取り除く色差の値を小さくして、平均色差が３以下となるまで上記処理を繰り返す。ただし、第二の閾値をある程度低い値にしておけば、最大色差の閾値（＝５）を取り除けば、平均色差の閾値以内に入るようになる。これは、最大色差の閾値（＝５）を超えている高々、数画素のために、画像領域全体の色情報を別プレーンで保存するよりも最大色差の閾値（＝５）を超えている数画素のみ別プレーンで保存し、それ以外は変換方法のみ保存する場合の方が、ＨＤＤ１０７の容量が小さくなるからである。
【００６９】
例えば、トナーの異なる二つのプリンタで同じ原稿を出力し、その２枚を色情報でマッチング処理する場合、プリンタの再現できるガマットが異なるため、ガマット外の色のみが大きく最大色差を超えてしまい、それにより平均色差が大きな値となることがある。そのような場合は、ガマット外の色域のみを別プレーンで保存しておき、それ以外はマッチングが一致、すなわち共通フォーマットとして保存することで、よりＨＤＤの容量圧迫を低減することが可能となる。
（２）パラメータでの変換方法
（１）と同様に、平均色差を高くしている画素（主に最大色差の閾値（＝５）を超えている画素）を抽出する。その抽出した画素に対して、色相ごとに（例えば１２色相分割の）一次変換式で「絵１１’」から「絵２１」に変換するパラメータを求める。「絵２１」の抽出した画素をそれぞれ目標値とし、それに対応する「絵１１’」のそれぞれの一次変換の入力値として、回帰演算（最小二乗法）などで最適なパラメータを求める。図７は、パラメータでの変換方法を説明する図である。
【００７０】
そのパラメータ（係数）を用いて、「絵１１’」の画素値より一次変換を行った結果と「絵２１」の画素値との色差を求め、その平均色差が閾値３よりも小さく、かつ最大色差が閾値５より小さければ、そのパラメータを補助データとして蓄積する。もし、平均色差が閾値よりも小さい場合であっても、最大色差の閾値を上回っている場合は、最大色差に制約をかけた最適化などを行うことで、平均色差と最大色差の両方の閾値をクリアするようにパラメータを算出する。最大色差に制約をかけた最適化とは、通常、色差を最小にする評価関数として、これを最小にするパラメータを算出するが、この評価関数に最大色差がある閾値を超えるとペナルティを課し、イテレーションで評価関数を小さくするよう最適化を行うことで、最大色差に制約をかけた最適化を行うことができる。この最適化を行っても、平均色差もしくは最大色差のどちらかでも閾値を満たさない場合は、その色相のみ二次変換を行うようにしてもよい。
【００７１】
また、この１次変換は、第１、第２の画像処理部の色変換処理中に、色相分割線形マスキング処理として実行されるので、実際に１次変換のパラメータより絵２１を求める場合は、絵１１’の最大色差が閾値５を超えた画素を、メモリ１０７からバス制御装置１０３を介して、第２の画像処理部１０４に送信する。また、記憶したパラメータも第２の画像処理部１０４の色変換処理のマスキングパラメータのレジスタに設定する。このように第２の画像処理部１０４を用いることで、ＣＰＵ１０６の負荷分散がなされ、処理が高速化する。また、第２の画像処理部１０４がＡＳＩＣなどであれば、ＣＰＵ１０６で処理するよりも圧倒的に処理が早い。
【００７２】
＃１８．色情報のマッチング処理で一致した画像領域については、より情報の多い一方の画像領域のみを共通フォーマットとして、ＨＤＤ１０７に保存する。また、各々の画像領域の位置座標も合わせて記憶する（Ｓ９、Ｓ１１）。さらに、画像変換推定方法により、変換してマッチングを行い一致した場合には、その変換方法も合わせてＨＤＤ１０７に蓄積する。また、＃１７で、色情報をマッチング処理させるために、一部補助データが必要であった場合は、その補助データも共通フォーマットと合わせて蓄積する。色情報のマッチング処理で一致しなかった画像領域については、その画像領域そのものと位置情報を合わせて蓄積する。
【００７３】
図８は、画像Ａ、Ｂの場合に、ＨＤＤに蓄積する情報を示す。画像データＡと画像データＢを蓄積するよりも、図８のように、共通フォーマット情報、差分情報、変換情報を蓄積する方が冗長的なデータがなくなるため、ＨＤＤ１０７の容量圧迫が一層低減される。また、図８のＨＤＤ１０７に蓄積されているデータから画像データＢを作成するには、共通フォーマット情報をまずモノクロ変換したものに、文字２１、文字２２を、記憶した位置座標の箇所に合成することで画像データＢとなる。
【００７４】
本実施例では、画像変換方法を共通フォーマットデータとその差分データに加え、共通フォーマットへの変換方法（及び変換後データに対しての補助データ）を合わせて蓄積することで、従来よりも容量圧迫を低減することが可能となる。また、色情報の変換が不可で、第二のマッチング処理で不一致の箇所がある場合は、不一致箇所のみ補正する情報を合わせて保存することで、テンプレート情報の色情報を別プレーンで保存するよりも容量を小さくすることが可能となる。また、補正情報を変換対象データとの差分データとすることで、容易に補正情報を求めることができ、かつ、必ず所定の不一致の許容範囲に収まることが可能となる。また、補正情報を１次式や２次式の変換式とすることで、不一致箇所の画素数が多い場合には、画像データを持つよりも容量を小さくすることが可能となる。また、色情報を利用することで、色に関する画像変換方法の推定を行うことが可能となる。例えば、２色変換、モノクロ変換、ネガポジ変換、指定色消去変換、ＣＵＤ（カラーユニバーサルデザイン）対応変換、トナーセーブ変換などが挙げられる。さらに、エッジ情報でマッチングするもの、すなわち形状が同一であるものに対して、色情報のマッチングを行うことで、画像変換方法を効率よく推定することが可能となる。
【実施例２】
【００７５】
図９は、実施例２の処理を説明する図である。ＨＤＤ１０５の容量を低減するために、画像蓄積動作でＨＤＤ１０５に蓄積された画像Ｃ（図９（ａ））と画像Ｄ（図９（ｂ））の容量低減を行う処理を説明する。以下、実施例１と相違している処理を中心に説明する。
【００７６】
＃２０．＃２１．実施例１の＃１０、＃１１の処理と同様である。
【００７７】
＃２０．＃２１．実施例１と同様に、エッジ情報でのマッチング処理を行う（Ｓ２）。画像Ｃと画像Ｄの場合は、全ての画像領域で不一致となるため、ＣＰＵ１０６はメモリ１０７にマシンの編集情報や使用履歴情報を呼び出す（１つでも画像領域が一致する場合は、＃２３のステップに進む）。
【００７８】
図１０は、マシンの使用履歴情報を示す。図１０の編集情報のうち、使用している確率の高い編集情報から順に、画像Ｃ、画像Ｄの何れに対して編集を行っているかを推定する。図１０を参照すると、２ｉｎ１の集約印刷とステープルの使用率が高いため、その二つの処理が行われていることを推定する。画像Ｃもしくは画像Ｄが集約印刷を行っているか否かは、画像領域の配置位置（位置情報）・集約画像の境界部の空白・文字の大きさなどの情報から、推定する（例えば、特許文献４を利用する）。そうすると、画像Ｄが２ｉｎ１の集約印刷を行っている可能性が高いことがわかる。
【００７９】
また、ステープルを行っているか否かは、画像の左右、上下の周辺部のみにステープル跡があるか否かを探索すればよい。パンチ穴探索なども同様である。ステープル跡検索を行っても画像Ｃ、画像Ｄにその跡がみられないため、ステープル跡に関する画像変換は行わない。
【００８０】
＃２３．そのため、図１１のように、画像Ｃを１／２変倍して、改めてエッジ情報でのマッチング処理を行う。また、画像Ｃはそのままの大きさで、画像Ｄを２倍に変倍して、マッチング処理を行っても問題ない（何れの処理を行うかは、後述する）。
【００８１】
このように、編集情報と画像領域の位置関係などをヒントに推定を行い、画像変換し、エッジ情報のマッチング処理を繰り返す。このマッチング処理の不一致回数が所定の閾値を超えるような画像領域は、差分情報として、画像領域そのものとその位置座標を保存する（Ｓ６）。また、マッチング処理で一つの画像領域も一致しない場合は、画像Ｃと画像Ｄを組み合わせても容量圧迫の低減に効果がないので、他の画像の組み合わせを行う。図９（ｃ）、（ｄ）のマッチング処理では、絵３１＝絵４１＝絵４４、絵３２＝絵４２＝絵４５、絵３３＝絵４３＝絵４６の結果となる。
【００８２】
上記した処理を採る理由は、入力した原稿は元々、同一のＭＦＰで出力したという想定にあるが、仮に他のＭＦＰで出力したとしても、編集機能の使用履歴が、例えば同一部署内や社内であれば類似している場合が多いためである。
【００８３】
また、本実施例では、編集履歴は出力した際の編集履歴を使用しているが、当然、画像蓄積時の編集設定を利用する場合もある。画像蓄積時には、編集をすることなく、冗長的なデータを蓄積するのが基本であるが、画像のトリミングなどでは削除することが望ましい場合もあり、その場合はトリミング位置などの情報を用いて、マッチング処理を行う。
【００８４】
例えば、図１２のように、画像Ａの一部を抜き出した点線部の画像と画像Ａ自体をエッジ情報でマッチング処理する場合、文字１２、文字１３の画像領域は、エッジ情報でのマッチング処理で一致するが、絵１２の一部は切れているため（絵１２’とする）、エッジ情報でのマッチング処理で一致しない。そこで、点線部の画像蓄積を行う際に、切り抜く箇所の位置座標と切り抜く前の画像サイズを記憶する。そして、容量圧迫の低減動作時に、画像Ａとマッチングをする際に、切り抜いた位置座標を用いて、画像Ａを切り抜くことで、絵１２’とのマッチング処理も一致することが可能となる。
【００８５】
＃２４．以降の処理は、実施例１と同様である。ただし、実施例２では、共通フォーマット情報として、「絵３１、絵３２、絵３３」と「画像Ｄへの変換方法：１／２変倍する」（共通フォーマットＡと呼ぶ）でもよいし、「絵４１（絵４４）、絵４２（絵４５）、絵４３（絵４６）」と「画像Ｃへの変換方法：２倍変倍する」（共通フォーマットＢと呼ぶ）でもよい。
【００８６】
基本は、画像Ｄを２倍にした状態で色情報のマッチング処理を行う。そこで、マッチング処理の判定基準である平均色差・最大色差の閾値で余裕があれば、画像Ｃを１／２にしたものと画像Ｄとで色情報のマッチング処理を行う。そこでも平均色差・最大色差の閾値を満たすのであれば、共通フォーマットとしては、上記したＡ、Ｂの何れでもよい。ただし、共通フォーマットとしては、Ａの方がサイズ（もしくは解像度）が大きいため、Ｂよりも画像情報が多く含まれており、高画質となる。一方、Ｂを選択するとその分、容量の低減化を大きくできる。
【００８７】
また、共通フォーマットＢのとき（画像Ｃを１／２、画像Ｄはそのままのサイズ）の色情報マッチング処理でも、平均色差の閾値、最大色差の閾値よりもあきらかに余裕がある場合は、マッチング処理の結果が平均色差、最大色差の閾値に達するまで、画像Ｃの画像領域の解像度を小さくする（例えば１／４）。そして、その解像度を小さくした画像Ｃの画像領域（解像度１／４のデータ）を共通フォーマットとして蓄積することで、共通フォーマットの容量をできる限り低減化することも可能となる。
【００８８】
図１３は、ＨＤＤ容量低減動作時の操作表示装置の画面例を示し、高画質化と容量の低減化の何れを優先すべきかを、管理者が操作表示装置１１０により選択することができる。また、低画質化を選択するのであれば、平均色差・最大色差の閾値を大きくしてもよい。
【００８９】
本実施例では、容量と画像データの変換精度（マッチング率）とのバランス（トレードオフ）を選択できることで、利便性が向上する。また、容量と画像データの変換精度（マッチング率）とのバランス（トレードオフ）を多段階に選択できることで、利便性が向上する。画像領域の位置情報や大きさなどを利用することで、編集機能に関する画像変換方法の推定を行うことが可能となる。例えば、集約機能（２ｉｎ１、４ｉｎ１など）、変倍機能、トリミング機能、パンチ穴／ステープル跡、ミラー機能などが挙げられる。さらに、画像データを入力する際に、画像データが編集されている場合に効率よく画像変換方法を推定することが可能となる。基本的に、画像変換方法を推定するシステムとしては、できる限り画像処理を施さないで冗長的な画像データのまま画像蓄積手段に保存しておくのが、ベストであるが（すなわち、画像データを入力する際になるべく画像処理を行わない）、例えば画像データのある一部分しか必要でない場合などは、そのほかの余分な部分を保存しておいても容量の無駄遣いであり、セキュリティの観点からもよくないので、編集を行ってから画像データを蓄積したほうがよい。
【実施例３】
【００９０】
図１４は、実施例３の処理を説明する図である。ＨＤＤ１０５の容量を低減するために、画像蓄積動作でＨＤＤ１０５に蓄積された画像Ｅ（図１４（ａ））と画像Ｆ（図１４（ｂ））の容量低減を行う処理を説明する。画像Ｆは、画像Ｅよりも色が薄い（彩度が低く、明度が高い）。＃１４の推定処理以外は、実施例１と同様であるので、実施例３の推定処理のみを以下、説明する。
【００９１】
実施例１のように色相分布のみを比較しても、画像データＥ、Ｆは全色相に画素が分布し、色相分布のみでは、変換処理を推定することができない。そのため、ＣＰＵ１０６はメモリ１０７に色情報に関する編集履歴情報を展開する。
【００９２】
図１５は、色情報に関する編集履歴情報を示す。図１５に示す編集履歴情報の内、使用率の高い処理から順番に、推定処理を行う。図１５より、トナーセーブモードの使用率が最も高いので、一方の画像でトナーセーブを行っていたという観点で、画像Ｅと画像ＦのＬａｂ空間における分布を詳細に見る。
【００９３】
すなわち、トナーセーブを行った原稿では、絵柄部などへのトナーが通常よりも少ないため、低彩度で、白い紙であれば明度が高くなる。画像Ｅと画像Ｆの画素全体で比較すると、画像ＦがＥよりも低彩度で明度も高い傾向にあるため、画像Ｆがトナーセーブモードを行った画像であると推定し、画像ＥをトナーセーブモードのＲＧＢ画像に変換する（図１６を参照）。
【００９４】
具体的には、メモリ１０７に展開されている画像Ｅを、第２の画像処理部１０４にバス制御装置１０３を介して転送し、そこで通常のプロッタ出力用の処理（トナーセーブ処理も含む）を行い、ＣＭＹＫ画像に変換し、再びメモリ１０７に蓄積する。ＣＰＵ１０６は、白い紙に出力されたＣＭＹＫ画像をスキャナで読み込んだときのＲＧＢ値を求め（スキャナ自動キャリブレーション機能などを利用する）、そのＲＧＢ値と画像Ｆとで、色情報のマッチング処理を行う（図１６を参照）。
【００９５】
このマッチング処理で不一致となる場合は、編集履歴のうち、次に使用率の高い処理を候補に挙げる。また、Ｌａｂ空間の画素の比較結果と編集処理での画素の傾向が合致するようであれば、またその画像に変換し、色情報のマッチング処理を行う。この処理ループを、画像領域が一致するか、不一致回数が所定の閾値に達するまで繰り返す。
【００９６】
トナーセーブの次に編集履歴の高いＣＵＤ（Ｃｏｌｏｒ Ｕｎｉｖｅｒｓａｌ Ｄｅｓｉｇｎ）対応は、隣り合った色の組み合わせの視認性が悪い組み合わせである場合に、視認性の良い色へと変換するものである。そこで、画像Ｅと画像Ｆともに、各画素で隣接する色同士の色差を求め、画像ＥとＦの色差の大きさを比較する。極端に色差が大きいところが多いようであれば、ＣＵＤ対応を行っている画像と推定して、ＣＵＤ対応を行っていない画像をＣＵＤ対応に変換を行い、色情報のマッチング処理を行う。
【００９７】
本実施例では、使用者の編集履歴を使用することにより、色情報や位置情報などのみで画像変換方法を推定するよりも効率良く推定を行うことが可能となる。
【実施例４】
【００９８】
実施例１〜３では、すでに選択された二つの画像に対して、共通フォーマットと差分情報に変換する実施例であるが、本実施例では、その二つの画像を選択する方法に関する実施例である。
【００９９】
前述したように、実施例１〜３の動作では、ＨＤＤ１０５に多数の画像データが蓄積され、容量が圧迫気味になったときに実施される。そのため、ＨＤＤ１０５に蓄積されている多数の画像データの中から、共通フォーマットとなりそうな二つの画像を選択することで、ＨＤＤ圧迫低減動作の処理時間が短縮される。以下、画像蓄積時とＨＤＤ圧迫低減動作時に処理を分けて、実施例４を説明する。
【０１００】
（画像蓄積動作時）
前述の通り、コピー動作の＃１、＃２を行う。＃２でメモリ１０７に蓄積された画像データに対して、ＣＰＵ１０６は以下の情報の幾つか（少なくとも１つ以上）をＨＤＤ１０５に併せて記憶させておく。
・作成者情報
操作表示装置１１０により、使用者情報を入力させるようにしても良いし、バイオメトリクス情報を読み取る読取装置などを拡張バスに取り付けて、バイオメトリクス認証で個人を特定しても良い。また、使用者の名前だけでなく、その使用者が所属しているグループ（チームや課・部など）を併せて記憶してもよい。
・画像中の文字情報
メモリ１０７に蓄積されている画像データに対して、前述したレイアウト解析とＯＣＲ処理などを利用して、タイトルやフッダ／ヘッダなどの文字を抽出し、それをキーワードとして、記憶する。
・画像の種類情報
操作表示装置１１０により、写真原稿モードや地図モード、蛍光ペンモードなど蓄積する原稿の種類がある程度特定できる情報を記憶する。また、操作表示装置１１０からの情報でなくても、スキャナから読み取られた、色の使い方（有彩が多いか）、絵柄が多いのか、文字が多いのか、レイアウト情報、空間周波数などの画像がもっている特徴量を用いる。例えば、図１７のように類似している画像同士をマップ化しておく。
【０１０１】
（圧迫低減動作時）
ＨＤＤの容量（使用容量）が９５％を超えるなど、圧迫低減動作のトリガがＣＰＵ１０６に伝えられると、ＣＰＵ１０６は上記したように画像蓄積動作で蓄積した情報をメモリ１０７に展開し、その情報を基に二つの画像を選択する。
・作成者情報
同じ作成者は同一フォーマットを使用している可能性が高いため、作成者が同一である画像同士で圧迫低減動作を行なうことにする。また、同じ作成者だけでなく、同一チームや同一の課でも同様のフォーマットなどを使用する可能性が高いため、それを優先させる。
・画像中の文字情報
タイトルやフッダ・ヘッダなどが同一であれば、その分、同一のフォーマットである可能性が高いので、同一である画像同士で圧迫低減動作を行なうことにする。
・画像の種類情報
画像の種類が類似であるほど、同一フォーマットである可能性が高いので、同一である画像同士で圧迫低減動作を行なうことにする。すなわち、フォーマットが同じであれば、文書の中身も類似しているという可能性が高い。例えば、図１７のように、マップ化していれば、座標の近いもの同士で圧迫低減動作を行なうようにする。ＣＰＵ１０６は、上記した３種類の情報を複数、参照できるのであれば、３種類の内、できるだけ共通点が多い画像同士に対して、優先順位を高くして、圧迫低減動作を行なうようにする。
【０１０２】
画像蓄積手段に蓄積された画像データの数が多い場合、全ての画像データに対して総当り的にマッチング処理を行うと時間がかかる。本実施例では、マッチング処理を行う対象の画像を選択することで、処理時間を短縮することができる。また、タイトルやヘッダ・フッダなどの画像データの文字情報が同じ、もしくは類似語などであれば、同一のテンプレートやフォーマットなどを使用している可能性が高いため、効率良いマッチング処理を行うことが可能となる。また、画像のデータの特徴量が近ければ、同一のテンプレートやフォーマットなどを使用している可能性が高いため、効率よいマッチング処理を行うことが可能となる。さらに、同じ作成者が作成しているドキュメントや、同じグループに所属している人が作成しているファイルであれば、同一のテンプレートやフォーマットなどを使用している可能性が高いため、効率よいマッチング処理を行うことが可能となる。
【０１０３】
本発明は、前述した実施例の機能を実現するソフトウェアのプログラムコードを記録した記憶媒体を、システムあるいは装置に供給し、そのシステムあるいは装置のコンピュータ（ＣＰＵやＭＰＵ）が記憶媒体に格納されたプログラムコードを読出し実行することによっても達成される。この場合、記憶媒体から読出されたプログラムコード自体が前述した実施例の機能を実現することになる。プログラムコードを供給するための記憶媒体としては、例えば、ハードディスク、光ディスク、光磁気ディスク、不揮発性のメモリカード、ＲＯＭなどを用いることができる。また、コンピュータが読出したプログラムコードを実行することにより、前述した実施例の機能が実現されるだけでなく、そのプログラムコードの指示に基づき、コンピュータ上で稼働しているＯＳ（オペレーティングシステム）などが実際の処理の一部または全部を行い、その処理によって前述した実施例の機能が実現される場合も含まれる。さらに、記憶媒体から読出されたプログラムコードが、コンピュータに挿入された機能拡張ボードやコンピュータに接続された機能拡張ユニットに備わるメモリに書込まれた後、そのプログラムコードの指示に基づき、その機能拡張ボードや機能拡張ユニットに備わるＣＰＵなどが実際の処理の一部または全部を行い、その処理によって前述した実施例の機能が実現される場合も含まれる。また、本発明の実施例の機能等を実現するためのプログラムは、ネットワークを介した通信によってサーバから提供されるものでも良い。
【符号の説明】
【０１０４】
１０１ 読取り装置
１０２ 第１の画像処理部
１０３ バス制御装置
１０４ 第２の画像処理部
１０５ ＨＤＤ
１０６ ＣＰＵ
１０７ メモリ
１０８ プロッタＩ／Ｆ装置
１０９ プロッタ装置
１１０ 操作表示装置
１１１ 回線Ｉ／Ｆ装置
１１２ 外部Ｉ／Ｆ装置
１１３ Ｓ．Ｂ．
１１４ ＲＯＭ
１１５ 汎用バス
１１６ ＦＡＸ
１１７ ＰＣ
【先行技術文献】
【特許文献】
【０１０５】
【特許文献１】特開２００８−１４６１０４号公報
【特許文献２】特開２００８−１４６１０４号公報
【特許文献３】特許第３２７８４７１号公報
【特許文献４】特開２００９−７１６３０号公報
【技術分野】
【０００１】
本発明は、画像容量の圧迫を軽減した画像処理装置、画像処理方法、プログラムおよび記録媒体に関する。
【背景技術】
【０００２】
通常、ＭＦＰ（複合機）にはＨＤＤなどの記憶装置が内蔵され、画像データの蓄積が可能であるが、画像データはテキストファイルなどに比べて容量が大きく、大量の原稿画像を蓄積すると記憶装置の容量を圧迫する。
【０００３】
そこで、このような容量不足を回避する方法として、リビジョン（版）管理などで原稿の履歴情報を全て保存する場合に、すべての履歴の画像データを蓄積するのではなく、一つの画像データとその画像データからの差分情報のみを管理するという方法がある（特許文献１を参照）。
【発明の概要】
【発明が解決しようとする課題】
【０００４】
しかし、上記した方法は、元が同一原稿の履歴情報を差分で管理しているので、フォーマットが同一で、その中身が異なる画像（例えばＰＰＴのテンプレート、所定フォーマットの文書など）には適用できず、また、適用した場合でも以下のような問題がある。すなわち、
１．同一フォーマットであっても、フルカラー画像・２色画像・モノクロ画像・ネガポジ画像など、ＭＦＰに蓄積される画像が異なり、また原稿も、特定の色をドロップアウトした原稿、トナーセーブで出力した原稿、カラーユニバーサル（ＣＵＤ）対応した原稿など種々ある。
【０００５】
上記した場合、色に関係のないエッジ情報などは、テンプレートとのマッチングが取れるが、色情報は別プレーンで確保しなければならず、プレーン分の容量が多くなるという問題がある。
２．集約画像、変倍画像、一部をトリミングされた画像（部分コピーした画像）、パンチ穴のある画像などは、マッチングで一致しないので、複数のテンプレートを必要とし、容量が多くなるという問題がある。
【０００６】
本発明は上記した課題に鑑みてなされたもので、
本発明の目的は、様々な処理を行った複数の画像データに対して、実施された画像処理内容を画像中身やマシンの使用状況などから推定して、画像データの変換方法を求め、１つのテンプレートと差分データと変換方法のみで管理することにより、画像記憶装置の容量圧迫を軽減した画像処理装置、画像処理方法、プログラムおよび記録媒体を提供することにある。
【課題を解決するための手段】
【０００７】
本発明は、様々な処理を行った複数の画像データに対して、実施された画像処理内容を画像中身やマシンの使用状況などから推定し、画像データの変換方法を求めることで、１つのテンプレートと差分データと変換方法のみを保存する（複数のテンプレートを持たない）ことを要点とする。
【０００８】
本発明の概要を説明する（図１を参照）。ＨＤＤなどに蓄積されている画像に対して、まず画像領域分割を行う（Ｓ１）。次に、分割された領域ごとに同じテンプレートであるか否かをエッジ成分でパターンマッチングを行う（Ｓ２）。エッジ情報でマッチングが不一致である場合は、マシンの使用履歴情報や画像配置情報をもとに推定を行い、画像を変換してから再度、マッチング処理をトライする（Ｓ４）。Ｓ４→Ｓ２で再マッチングを行っても、エッジ情報のマッチング処理の不一致の回数が、所定の閾値を超える画像領域に対しては、画像領域そのものと画像フレームに対する画像領域の位置座標を蓄積する（Ｓ６、Ｓ１０）。
【０００９】
Ｓ２で一致した画像領域に対しては、エッジ以外でのマッチング処理（例えば対象となる二つの画像の色差でマッチング）を行う（Ｓ３）。Ｓ３で、マッチングが不一致である場合は、マシンの使用履歴情報や色情報などをもとに推定を行い、画像を変換して再度、マッチング処理をトライする（Ｓ５）。
【００１０】
Ｓ３で一致した場合は、共通フォーマットとして一方の画像領域そのものと画像フレームに対するフォーマットの位置座標を蓄積する。また、Ｓ４、Ｓ５で画像変換を行って一致した場合は、その変換内容も併せて記憶する。すなわち、共通フォーマット情報、共通フォーマットへの画像変換方法の情報、共通フォーマット以外の差分情報、画像フレームに対する各々の領域の位置情報が蓄積される（Ｓ９）。
【００１１】
Ｓ５→Ｓ３で再マッチングを行っても、エッジ情報以外のマッチング処理の不一致の回数が、所定の閾値を超える画像領域に対しては、Ｓ３のマッチング処理で最も結果が良かった画像変換後の画像領域で、Ｓ３の基準よりも緩い色情報のマッチング処理を行う（Ｓ７、Ｓ８）。Ｓ８のマッチングでも不一致であれば、比較した２つの画像領域は全く異なった色情報をもっているものとして、エッジ情報のマッチングが不一致の場合と同様に、差分情報として画像領域そのものと画像フレームに対する画像領域の位置座標を蓄積する（Ｓ１０）。また、Ｓ８のマッチングで一致した場合は、おおよそ両者の色情報が合っているので、Ｓ９と同様に共通フォーマットとして一方の画像領域と画像フレームに対するフォーマットの位置座標を蓄積する。ただし、Ｓ９との違いは色情報のマッチングを補助するための補助データも併せて蓄積する（Ｓ１１）。
【発明の効果】
【００１２】
本発明によれば、共通フォーマット情報（テンプレート情報）と変換情報のみを保存することで、編集や加工されているテンプレートなどに対して別々に保存する必要がなくなり、記憶装置の容量圧迫を軽減することができる。
【図面の簡単な説明】
【００１３】
【図１】本発明の実施例の処理フローチャートを示す。
【図２】本発明に係るデジタル画像処理装置（ＭＦＰ）の全体構成を示す。
【図３】第１、第２の画像処理部の構成を示す。
【図４】実施例１の処理を説明する画像例を示す。
【図５】実施例１のマッチング処理を説明する図である。
【図６】画像Ａの色相分布情報の例を示す。
【図７】パラメータによる変換方法を説明する図である。
【図８】ＨＤＤに蓄積する情報を示す。
【図９】実施例２の処理を説明する画像例を示す。
【図１０】マシンの使用履歴情報を示す。
【図１１】実施例２のマッチング処理を説明する図である。
【図１２】画像の一部を切り出して蓄積する処理を説明する図である。
【図１３】ＨＤＤ容量低減動作時の操作表示装置の画面例を示す。
【図１４】実施例３の処理を説明する画像例を示す。
【図１５】色情報に関する編集履歴情報を示す。
【図１６】実施例３のマッチング処理を説明する図である。
【図１７】類似している画像同士をマップ化した例を示す。
【発明を実施するための形態】
【００１４】
以下、発明の実施の形態について図面により詳細に説明する。
【実施例１】
【００１５】
デジタルカラー複写機をベースにＦＡＸ（ファクシミリ）機能、プリンタ機能、スキャナ機能、ドキュメントボックス機能などを複合したＭＦＰ（複合機）に、本発明の画像処理装置を適用した実施例を以下に示す。
【００１６】
図２は、本発明に係るデジタル画像処理装置（ＭＦＰ）の全体構成を示す。ＭＦＰは、図２に示すように、読取り装置１０１と、第１の画像処理部１０２と、バス制御装置１０３と、第２の画像処理部１０４と、ＨＤＤ１０５と、ＣＰＵ１０６と、メモリ１０７と、プロッタＩ／Ｆ装置１０８と、プロッタ装置１０９と、操作表示装置１１０と、回線Ｉ／Ｆ装置１１１と、外部Ｉ／Ｆ装置１１２と、Ｓ．Ｂ．１１３と、ＲＯＭ１１４と、汎用バス１１５等を備えている。このＭＦＰは、外部装置であるＦＡＸ１１６やＰＣ１１７とデータ通信可能に構成されている。
【００１７】
読取り装置１０１は、ＣＣＤ光電変換素子からなるラインセンサとＡ／Ｄコンバータとそれら駆動回路を具備し、セットされた原稿をスキャンして得られる原稿の濃淡情報に基づいて、ＲＧＢ各８ビットのデジタル画像データを生成して第１の画像処理部１０２に出力する。
【００１８】
第１の画像処理部１０２は、読取り装置１０１から入力されるデジタル画像データに対して、予め定めた特性に統一する処理を施して出力する。統一する特性は画像データをＭＦＰ内部に蓄積し、その後再利用する場合に、出力先の変更に適する特性であり、その詳細は後述する。本実施例では上記画像処理をＤＳＰで実行する。
【００１９】
バス制御装置１０３は、画像処理装置内で必要な画像データや制御コマンド等の各種データの送受信を行うデータバスの制御装置であり、複数種のバス規格間のブリッジ機能を有している。本実施例では、バス制御装置１０３は、第１の画像処理部１０２、第２の画像処理部１０４、ＣＰＵ１０６とはＰＣＩ−Ｅｘｐｒｅｓｓバスで接続し、また、ＨＤＤ１０５とはＡＴＡバスで接続してＡＳＩＣ化している。
【００２０】
第２の画像処理部１０４は、第１の画像処理部１０２で予め定めた特性を統一された画像データに対し、ユーザーから指定される出力先に適した画像処理を施して出力する。その詳細は後述する。
【００２１】
ＨＤＤ（蓄積装置）１０５は、デスクトップパソコンにも使用されている電子データを保存するための大型の記憶装置であり、主に画像データを蓄積する。また本実施例では、ＩＤＥを拡張して規格化されているＡＴＡバス接続のハードディスクを使用する。画像データは、通常のテキストファイルなどに比べて大容量であるため、膨大な画像データを蓄積すると、記憶装置の容量が一杯となり、新たに画像データを蓄積できないばかりでなく、マシンのパフォーマンスにも影響を与える。
【００２２】
ＣＰＵ１０６は、デジタル画像処理装置の制御全体を司るマイクロプロセッサである。本実施例では、近年普及してきたＣＰＵコア単体に＋αの機能を追加したＩｎｔｅｇｒａｔｅｄ ＣＰＵを使用し、例えば、ＰＭＣ社のＲＭ１１１００で、汎用規格Ｉ／Ｆとの接続機能や、クロスバースイッチを使ったこれらバス接続機能がインテグレートされたＣＰＵを使用する。
【００２３】
メモリ１０７は、複数種のバス規格間をブリッジする際の速度差や、接続された部品自体の処理速度差を吸収するために、一時的にデータを記憶し、ＣＰＵ１０６が本デジタル画像処理装置の制御を行う際に、プログラムや中間処理データを一時的に記憶する揮発性メモリである。ＣＰＵ１０６は、高速処理が求められるため、通常起動時にＲＯＭ１１４に記憶されたブートプログラムにてシステムを起動し、その後は高速にアクセス可能なメモリに展開されたプログラムによって処理を行う。本実施例では、メモリ１０７として、規格化されパーソナルコンピュータに使用されているＤＩＭＭを使用する。
【００２４】
プロッタＩ／Ｆ装置１０８は、ＣＰＵ１０７にインテグレートされた汎用規格Ｉ／Ｆを経由して送出されてくるＣＭＹＫの画像データを受け取ると、プロッタ装置１０９の専用Ｉ／Ｆに出力するバスブリッジ処理を行う。本実施例では、汎用規格Ｉ／Ｆとして、例えば、ＰＣＩ−Ｅｘｐｒｅｓｓバスを使用する。
【００２５】
プロッタ装置１０９は、ＣＭＹＫからなる画像データを受け取ると、レーザービームを用いた電子写真プロセスを使用して、転写紙に受け取った画像データを出力する。Ｓ．Ｂ．１１３は、パーソナルコンピュータに使用されるチップセットのひとつであり、Ｓｏｕｔｈ Ｂｒｉｄｇｅと呼ばれる汎用の電子デバイスである。Ｓ．Ｂ．１１３は、主にＰＣＩ−ＥｘｐｒｅｓｓとＩＳＡブリッジを含むＣＰＵシステムを構築する際によく使用されるバスのブリッジ機能を汎用回路化したもので、本実施例ではＲＯＭ１１４との間をブリッジしている。ＲＯＭ１１４は、ＣＰＵ１０６が本デジタル画像処理装置の制御を行う際のプログラム（ブートプログラムを含む）が格納されるメモリである。
【００２６】
操作表示装置１１０は、本デジタル画像処理装置とユーザーのインターフェースを行う部分であり、ＬＣＤ（液晶表示装置）とキースイッチから構成され、装置の各種状態や操作方法をＬＣＤに表示し、ユーザーからのキースイッチ入力を検知する。本実施例では、ＰＣＩ−Ｅｘｐｒｅｓｓバスを介してＣＰＵと接続する。回線Ｉ／Ｆ装置１１１は、ＰＣＩ−Ｅｘｐｒｅｓｓバスと電話回線を接続する装置であり、この装置により本デジタル画像処理装置は電話回線を介して各種データのやり取りを行うことが可能になる。外部Ｉ／Ｆ装置１１２は、ＰＣＩ−Ｅｘｐｒｅｓｓバスと外部装置を接続する装置であり、この装置により本デジタル画像処理装置は外部装置と各種データのやり取りを行うことが可能になる。本実施例では、その接続Ｉ／Ｆにネットワーク（イーサネット（登録商標））を使用する。すなわち、本デジタル画像処理装置は、外部Ｉ／Ｆ装置１１２を介してネットワークに接続されている。ＦＡＸ１１６は、通常のファクシミリであり、電話回線を介してＭＦＰと画像データの送受信を行う。ＰＣ１１７はパーソナルコンピュータであり、インストールされたアプリケーションソフトやドライバを介して、ユーザーは本デジタル画像処理装置に対して各種制御や画像データの入出力を行う。
【００２７】
以下に、基本となる通常のコピー動作処理・送信動作（容量低減を行わない場合）を説明し、次いで、容量低減の動作を説明する。
（コピー動作）
ユーザーは原稿を読取り装置１０１にセットし、所望するモード等の設定とコピー開始の入力を操作表示装置１１０により行う。操作表示装置１１０は、ユーザーから入力された情報を、機器内部の制御コマンドデータに変換して発行する。発行された制御コマンドデータは、ＰＣＩ−Ｅｘｐｒｅｓｓバスを介してＣＰＵ１０６に通知される。
【００２８】
ＣＰＵ１０６はコピー開始の制御コマンドデータに従って、コピー動作プロセスのプログラムを実行し、コピー動作に必要な設定や動作を順に実行する。以下に動作プロセスを説明する。
【００２９】
＃１．読取り装置１０１で原稿をスキャンして得られたＲＧＢ各８ビットの画像データは、第１の画像処理部１０２で予め定めた特性に統一され、バス制御装置１０３に送られる。
【００３０】
＃２．バス制御装置１０３は第１の画像処理部１０２からのＲＧＢ画像データを受け取ると、ＣＰＵ１０６を介してメモリ１０７に蓄積する。
【００３１】
＃３．次に、メモリ１０７に蓄積されたＲＧＢ画像データは、ＣＰＵ１０６及びバス制御装置１０３を介して、第２の画像処理部１０４に送られる。
【００３２】
＃４．第２の画像処理部１０４は、受け取ったＲＧＢ画像データを、プロッタ出力用のＣＭＹＫ画像データに変換して出力する。
【００３３】
＃５．バス制御装置１０３は、第２の画像処理部１０４からのＣＭＹＫ画像データを受け取ると、ＣＰＵ１０６を介してメモリ１０７に蓄積する。
【００３４】
＃６．次に、メモリ１０７に蓄積されたＣＭＹＫ画像データは、ＣＰＵ１０６及びプロッタＩ／Ｆ装置１０８を介して、プロッタ装置１０９に送られる。
【００３５】
＃７．プロッタ装置１０９は、受け取ったＣＭＹＫ画像データを転写紙に出力し、原稿のコピーが生成される。
【００３６】
図３（ａ）は、第１の画像処理部１０２の構成を示し、図３（ｂ）は、第２の画像処理部１０４の構成を示す。
【００３７】
図３（ａ）の第１の画像処理部１０２において、像域分離処理部２０１は、読取装置１０１から受け取ったＲＧＢ画像データを１画素ごとに、文字領域であるか、絵柄（網点）領域であるかを判定し、その領域情報を後述のフィルタ処理などで利用する。地肌除去処理部２０２は、読取装置１０１から受け取ったＲＧＢ画像データの地肌部をラインごとに追従しながら算出し、適切な地肌値を除去する処理を行う。通常の白い紙の原稿だけでなく、新聞紙や色紙などの地肌を除去し、白い原稿として出力する効果もある。
【００３８】
γ変換部２０３は、読取り装置１０１から受け取ったＲＧＢ画像データの明るさを予め定めた特性に統一する。本実施例では、明度リニアな特性に変換し、主に階調性の補正、グレーバランスの補正などを行う。孤立点除去処理部２０４は、画像データ中の孤立点を検出し、削除する。
【００３９】
フィルタ処理部２０５は、像域分離処理で得られる像域分離情報に応じて、ＲＧＢ画像データの文字部に対しては、鮮鋭性を向上させる処理を施し、ＲＧＢ画像データの絵柄部（網点部）に対しては平滑処理を行い、滑らかな階調性を重視する処理を施す。
【００４０】
色変換部２０６は、ＲＧＢ画像データの色を予め定めた特性に統一する。本実施例では、色空間がＡｄｏｂｅ（登録商標）−ＲＧＢのような色空間になるように変換する。変倍処理部２０７は、ＲＧＢ画像データのサイズ（解像度）を予め定めた特性に統一する。本実施例では、サイズ（解像度）を６００ｄｐｉに変換する。
【００４１】
図３（ｂ）の第２の画像処理部１０４において、フィルタ処理部３０１は、ＲＧＢ画像データの鮮鋭性を、プロッタ装置１０９に出力する場合の再現性が良くなるように補正する。具体的には所望するモード情報に従って鮮鋭化／平滑化処理を施す。例えば文字モードでは文字をハッキリ／クッキリとするために鮮鋭化処理を施し、写真モードでは滑らかに階調性を表現するため平滑化処理を施す。
【００４２】
色変換部３０２は、ＲＧＢ各８ビットのデータを受け取るとプロッタ装置用の色空間であるＣＭＹＫ各８ビットに変換する。このとき、ユーザーが所望するモード情報に従って彩度もあわせて調整する。変倍処理部３０３は、ＣＭＹＫ画像データのサイズ（解像度）を、プロッタ装置１０９の再現性能に従ってサイズ（解像度）変換を行う。本実施例では、プロッタ１０９の性能が６００ｄｐｉ出力であるため、特に変換は行わない。
【００４３】
階調処理部３０４では、ＣＭＹＫ各８ビットを受け取るとプロッタ装置１０９の階調処理能力に従った階調数変換処理を行う。本実施例では、ＣＭＹＫ各２ビットに疑似中間調処理の一つである誤差拡散法を用いて階調数変換する。マスク処理部３０５では、階調変換したＣＭＹＫデータに対して、原稿の影などを消去するために、画像データの周辺部のデータを白データで上書きする。
【００４４】
図１は、本発明の実施例の処理フローチャートである。以下に、図１を参照して、本発明の特徴である容量圧迫動作を説明する。なお、画像蓄積動作とは、上記したコピー動作の＃１〜＃２までの動作の後、＃２でメモリ１０７に蓄積された画像データをＣＰＵ１０６がバス制御装置１０３を介して、ＨＤＤ１０５に蓄積する動作のことである。
【００４５】
ＨＤＤ１０５の容量を低減するために、画像蓄積動作でＨＤＤ１０５に蓄積された画像Ａと画像Ｂの容量低減を行う場合を説明する。以下説明する容量低減動作のトリガは、ＨＤＤ１０５が所定の容量をオーバーした場合、例えば、容量が５００ＧＢのＨＤＤ１０５を搭載したＭＦＰの場合、使用容量が４８０ＧＢに達すると、容量低減動作が実施される。このような容量低減動作は、特に夜間や休日中などＭＦＰを長時間使用しない場合に行うことが望ましい。
【００４６】
＃１０．ＨＤＤ１０５に蓄積されている画像Ａ、画像Ｂをバス制御装置１０３を介して、メモリ１０７に展開する。
【００４７】
＃１１．ＣＰＵ１０６は画像Ａ、画像Ｂに対して、画像領域分割を行う（Ｓ１）。画像領域を分割する方法としては、特許文献２、３に記載されたレイアウト解析を用いる。画像領域分割された全ての画像領域の左上Ｘ１、Ｙ１座標と、画像領域の右下Ｘ２、Ｙ２座標を、メモリ１０７に記憶する。図４（ａ）は、画像データＡ（フルカラー画像）、（ｂ）は画像データＢ（モノクロ画像）を示し、（ｃ）は、領域分割後の画像データＡ、（ｄ）は領域分割後の画像データＢを示す。
【００４８】
＃１２．さらに、画像データＡ、画像データＢの２値のエッジ画像（輪郭画像）を算出する。この処理は、ＣＰＵ１０６が行っても良いし、メモリ１０７からバス制御装置１０３を介して、第２の画像処理部１０４のフィルタ処理部３０１の機能などを使用してもよい。
【００４９】
ＣＰＵ１０６は、それぞれの画像領域同士でエッジ画像のパターンマッチング処理を総当りにより行う（Ｓ２）。画像データＡ、Ｂは共にスキャナ画像であるので、元のテンプレートが同じであったとしても、完全に一致することはありえない。そのため、画像領域のサイズが例えば±５％以内であれば、変倍処理を行って、二つの画像領域を同じ大きさにしてから、エッジ情報でのマッチングを行う（５％という数値は任意であり、ユーザーが適宜、選択してもよい）。
【００５０】
マッチング処理は、画像領域の総画素数に対して、マッチング不一致の画素数が所定の閾値以内であれば、二つの画像領域は一致したものとする。例えば、１００００画素の２値のエッジ画像領域同士でマッチングを行った結果、そのうちの３００画素がマッチング不一致（お互いの画素が白と黒）であり、所定の閾値が５％であれば、１００００×５％＝５００画素以下であるので、この画像領域同士は一致しているものと判定する。エッジ情報のマッチングで一致した画像領域のみ、＃１３以降の処理を行う。図４（ｅ）、（ｆ）は、エッジ情報で一致した、画像データＡ、Ｂの画像領域を示す。すなわち、画像データＡの絵１１と画像データＢの絵２１が一致し、画像データＡの絵１２と画像データＢの絵２２が一致し、画像データＡの絵１３と画像データＢの絵２３が一致している。
【００５１】
＃１３．前述した＃１２で、エッジ情報が一致した画像領域に対して、ＣＰＵ１０６は、色情報のマッチング処理を行う（Ｓ３）。例えば、画像データＡ、ＢがＡｄｏｂｅ（登録商標）−ＲＧＢの色空間で定義されたＲＧＢデータであれば、ＲＧＢ空間をＬａｂ空間に変換して、色差を比較する。色差は、Ｌａｂ空間における２点間のユークリッド距離であり、人間の見た目の違いと距離にある程度の相関性がある。また、ユークリッド距離に対して、所定の重み付けをして補正を行うΔＥ９４色差で評価しても良い。
【００５２】
色差を比較する２つの画像領域において、１画素毎の色差を求め、その領域内の平均色差・最大色差が所定の閾値以内であれば、２つの画像領域同士の色情報が一致していると判定する。色情報のマッチング処理で平均色差・最大色差が所定の閾値以内で一致した画像領域に対しては、後述する＃１８の処理に進む。
【００５３】
しかし、実際には画像Ａがフルカラー画像であり、画像Ｂがモノクロ画像であるから、単純に色情報を比較しても一致しない。色情報を比較しても一致しない場合は、エッジ情報が一致するため元は同じ色情報であったが、何か画像処理や編集処理を行って色情報が一致しなくなったと判断し、その処理内容を推測して、画像Ａから画像Ｂに変換する方法（もしくは画像Ｂから画像Ａに変換する方法）を推定し、推定処理・画像変換・色情報マッチング処理によるマッチング処理で一致するか、不一致の回数が所定の閾値に達するまで繰り返し行う（Ｓ３、Ｓ５）。
【００５４】
図５は、色情報が一致しないときのマッチング処理を説明する図である。
【００５５】
＃１４．色情報が一致しないときの処理内容を推定する推定処理について説明する。
「色情報推定処理」（Ｓ５の前半処理）
まず、色差の比較情報結果を基に、ＣＰＵ１０６は画像に対する処理内容を調べる。
【００５６】
色相ごとの色差の比較
色相毎に色差の不一致の程度が発生しているか調べる。まず、Ｌａｂ空間で存在する範囲の広い画像Ａに注目して、画像Ａの画像領域の各画素に対して、ａ、ｂ値より例えば６色相に分割し、その１２色相のうち、どの色相で不一致となっているかを確認する。
【００５７】
画像Ａと画像Ｂの場合は、フルカラー画像とモノクロ画像の違いであるので、全色相で色差が異なる。全色相の色差が異なる場合は、両方の画像の色相分布を確認する。そうすると、図６（ａ）、（ｂ）のように、画像Ａでは、全色相でかつ、ある程度の彩度をもった画像が存在するが、画像Ｂでは全画素ともａ、ｂの値が０に近く、低彩度であるので、画像Ａはフルカラー画像であり、画像Ｂはモノクロ画像であると推定できる。
【００５８】
図６に示す色相ごとの画素数は理想的な値であるが、実際にはスキャナで読み取った画像であるので、モノクロ画像であっても低彩度の画素としてカウントされない画素もあり、また、同一の原稿を読み取っても全く同一の画素数分布をとらないことから、所定の閾値を設定し、閾値未満であればモノクロ画像である判定することになる（以下の説明では、全て理想的な場合で示している）。
【００５９】
その他、全色相の色が異なる場合は、２つの画像の色相の分布を基に、種々推定することができる。以下にその一例を示す。
・図６（ａ）、（ｃ）のような補色の関係にある画像に対しては、ネガポジ（白黒）変換を行ったと推定できる。
・図６（ａ）、（ｄ）のように画像Ａに対して、同じ割合ずつ各色相から画素が減少している（色相の多い順番などはかわらない）ので、彩度変換（淡い／濃い）を行っている、原稿が出力される際にトナーセーブされているなどと推定できる（複数の候補のうち、何れか一つの候補に絞る方法は、実施例３で説明する）。
・図６（ａ）、（ｅ）のように色相分布が移動している場合（（ａ）のＲ＝（ｅ）のＹ、（ａ）のＹ＝（ｅ）のＧ）は、色相に関する編集を行っていると推定することができる。
【００６０】
また、全色相ではなく、ある特定の色相のみ色差が異なっている場合も推定可能であり、以下に一例を示す。
・図６（ａ）、（ｆ）のように、画像Ａでは全色相の画素があるのに対し、一方の画像はＲ色相しかない場合は、二色カラー変換していると推定することができる。
・画像Ａでは全色相の画素があるのに対して、一方の画像はある特定の色相が存在しない場合は、ドロップカラー（色消し）処理を行っていると推定することができる。
【００６１】
以上のように、色情報を基に、二つの画像の変換方法を推定する。
【００６２】
＃１５．上記した＃１４で推定した変換方法を用いて画像を変換する（Ｓ５の後半処理）。
【００６３】
画像Ａと画像Ｂの場合では、前述の通り、画像Ａから画像Ｂへは、モノクロ変換を行ったと推定できるので、画像Ａを実際にモノクロ変換する。モノクロ変換は、ＣＰＵ１０６または第２の画像処理部１０４で行う。画像Ａをモノクロ変換した画像を画像Ａ’と呼ぶ。
【００６４】
＃１６．＃１５で変換した画像に対して、色情報のマッチング処理を行う。すなわち、画像Ａ’と画像Ｂのうち、エッジ情報でマッチングした画像領域同士を再度、色情報のマッチング処理を行い、平均色差、最大色差が所定の閾値内である否かを確かめる。ここで、マッチング処理が不一致であれば、さらに＃１４の推定処理、＃１５の変換処理を繰り返し、再度、マッチング処理を行う。そして、不一致の回数が所定の閾値を超えた画像領域では、以下の＃１７の処理を行い、不一致の回数が所定の閾値未満で、色情報のマッチングが一致した画像領域では、＃１８の処理を行う（Ｓ７）。
【００６５】
＃１７．色情報のマッチングが不一致の場合の処理を説明する。まず、平均色差がマッチングの基準よりも大きい（緩い）第二の閾値内にあるか否かを判断する（Ｓ８）。例えば、図４（ｃ）、（ｄ）の画像領域「絵１１」と「絵２１」同士を比較した場合に、画像変換を数回行った内、最も良かった結果が平均色差４．５、最大色差７であり、色情報のマッチングで一致となる基準の閾値が、平均色差で３、最大色差で５であるとする。このときの「絵１１」を画像変換した画像領域を「絵１１’」と呼ぶことにする。この場合、画像領域同士のマッチングでは平均色差、最大色差ともに閾値以上の値であるので、マッチングは不一致となる。不一致の回数が所定の閾値を超えた場合、画像変換を行った中で最も結果の良かった平均色差、最大色差の値と第二の閾値との比較を行う。第二の閾値を平均色差５、最大色差８とすると、画像領域「絵１１」と「絵２１」のマッチングは第二の閾値内である。
【００６６】
第二の閾値を超える場合は、２つの画像領域において、全く色情報が異なり、２つの画像領域間の変換が困難であるため、２つの画像領域の色情報を別々にＨＤＤ１０５に保存することにする。一方、第二の閾値以内であれば、一部の画素の変換が難しいが、多くの画素の変換が可能であると判断し、その一部の画素のみ変換を補助するための情報を合わせてＨＤＤ１０５に保存する。
【００６７】
補助するための情報の具体例として、以下に２例を挙げる。
（１）まず、第一の最大色差の閾値５を超える箇所が許容できない箇所であるので、「絵１１」の画像変換を行った「絵１１’」と「絵２１」の最大色差５以上の画素を抽出する。そして、その最大色差５以下の領域内の画素のみで、平均色差が基準の３以下となるか否かを確認する。
【００６８】
その結果、平均色差が３以下となるのであれば、抽出した最大色差５以上の画素データのみをそのまま別プレーンとして保存し、「絵１１’」と「絵２１」はマッチングしたものとして扱う。３を超えた場合は、色差５以上ではなく、色差４．５以上のものを除いた状態で、再度、平均色差が３以下であるか否かを確認する。それでも平均色差が３を超える場合は、色差４以上、それでも超える場合は、色差３．５以上と徐々に取り除く色差の値を小さくして、平均色差が３以下となるまで上記処理を繰り返す。ただし、第二の閾値をある程度低い値にしておけば、最大色差の閾値（＝５）を取り除けば、平均色差の閾値以内に入るようになる。これは、最大色差の閾値（＝５）を超えている高々、数画素のために、画像領域全体の色情報を別プレーンで保存するよりも最大色差の閾値（＝５）を超えている数画素のみ別プレーンで保存し、それ以外は変換方法のみ保存する場合の方が、ＨＤＤ１０７の容量が小さくなるからである。
【００６９】
例えば、トナーの異なる二つのプリンタで同じ原稿を出力し、その２枚を色情報でマッチング処理する場合、プリンタの再現できるガマットが異なるため、ガマット外の色のみが大きく最大色差を超えてしまい、それにより平均色差が大きな値となることがある。そのような場合は、ガマット外の色域のみを別プレーンで保存しておき、それ以外はマッチングが一致、すなわち共通フォーマットとして保存することで、よりＨＤＤの容量圧迫を低減することが可能となる。
（２）パラメータでの変換方法
（１）と同様に、平均色差を高くしている画素（主に最大色差の閾値（＝５）を超えている画素）を抽出する。その抽出した画素に対して、色相ごとに（例えば１２色相分割の）一次変換式で「絵１１’」から「絵２１」に変換するパラメータを求める。「絵２１」の抽出した画素をそれぞれ目標値とし、それに対応する「絵１１’」のそれぞれの一次変換の入力値として、回帰演算（最小二乗法）などで最適なパラメータを求める。図７は、パラメータでの変換方法を説明する図である。
【００７０】
そのパラメータ（係数）を用いて、「絵１１’」の画素値より一次変換を行った結果と「絵２１」の画素値との色差を求め、その平均色差が閾値３よりも小さく、かつ最大色差が閾値５より小さければ、そのパラメータを補助データとして蓄積する。もし、平均色差が閾値よりも小さい場合であっても、最大色差の閾値を上回っている場合は、最大色差に制約をかけた最適化などを行うことで、平均色差と最大色差の両方の閾値をクリアするようにパラメータを算出する。最大色差に制約をかけた最適化とは、通常、色差を最小にする評価関数として、これを最小にするパラメータを算出するが、この評価関数に最大色差がある閾値を超えるとペナルティを課し、イテレーションで評価関数を小さくするよう最適化を行うことで、最大色差に制約をかけた最適化を行うことができる。この最適化を行っても、平均色差もしくは最大色差のどちらかでも閾値を満たさない場合は、その色相のみ二次変換を行うようにしてもよい。
【００７１】
また、この１次変換は、第１、第２の画像処理部の色変換処理中に、色相分割線形マスキング処理として実行されるので、実際に１次変換のパラメータより絵２１を求める場合は、絵１１’の最大色差が閾値５を超えた画素を、メモリ１０７からバス制御装置１０３を介して、第２の画像処理部１０４に送信する。また、記憶したパラメータも第２の画像処理部１０４の色変換処理のマスキングパラメータのレジスタに設定する。このように第２の画像処理部１０４を用いることで、ＣＰＵ１０６の負荷分散がなされ、処理が高速化する。また、第２の画像処理部１０４がＡＳＩＣなどであれば、ＣＰＵ１０６で処理するよりも圧倒的に処理が早い。
【００７２】
＃１８．色情報のマッチング処理で一致した画像領域については、より情報の多い一方の画像領域のみを共通フォーマットとして、ＨＤＤ１０７に保存する。また、各々の画像領域の位置座標も合わせて記憶する（Ｓ９、Ｓ１１）。さらに、画像変換推定方法により、変換してマッチングを行い一致した場合には、その変換方法も合わせてＨＤＤ１０７に蓄積する。また、＃１７で、色情報をマッチング処理させるために、一部補助データが必要であった場合は、その補助データも共通フォーマットと合わせて蓄積する。色情報のマッチング処理で一致しなかった画像領域については、その画像領域そのものと位置情報を合わせて蓄積する。
【００７３】
図８は、画像Ａ、Ｂの場合に、ＨＤＤに蓄積する情報を示す。画像データＡと画像データＢを蓄積するよりも、図８のように、共通フォーマット情報、差分情報、変換情報を蓄積する方が冗長的なデータがなくなるため、ＨＤＤ１０７の容量圧迫が一層低減される。また、図８のＨＤＤ１０７に蓄積されているデータから画像データＢを作成するには、共通フォーマット情報をまずモノクロ変換したものに、文字２１、文字２２を、記憶した位置座標の箇所に合成することで画像データＢとなる。
【００７４】
本実施例では、画像変換方法を共通フォーマットデータとその差分データに加え、共通フォーマットへの変換方法（及び変換後データに対しての補助データ）を合わせて蓄積することで、従来よりも容量圧迫を低減することが可能となる。また、色情報の変換が不可で、第二のマッチング処理で不一致の箇所がある場合は、不一致箇所のみ補正する情報を合わせて保存することで、テンプレート情報の色情報を別プレーンで保存するよりも容量を小さくすることが可能となる。また、補正情報を変換対象データとの差分データとすることで、容易に補正情報を求めることができ、かつ、必ず所定の不一致の許容範囲に収まることが可能となる。また、補正情報を１次式や２次式の変換式とすることで、不一致箇所の画素数が多い場合には、画像データを持つよりも容量を小さくすることが可能となる。また、色情報を利用することで、色に関する画像変換方法の推定を行うことが可能となる。例えば、２色変換、モノクロ変換、ネガポジ変換、指定色消去変換、ＣＵＤ（カラーユニバーサルデザイン）対応変換、トナーセーブ変換などが挙げられる。さらに、エッジ情報でマッチングするもの、すなわち形状が同一であるものに対して、色情報のマッチングを行うことで、画像変換方法を効率よく推定することが可能となる。
【実施例２】
【００７５】
図９は、実施例２の処理を説明する図である。ＨＤＤ１０５の容量を低減するために、画像蓄積動作でＨＤＤ１０５に蓄積された画像Ｃ（図９（ａ））と画像Ｄ（図９（ｂ））の容量低減を行う処理を説明する。以下、実施例１と相違している処理を中心に説明する。
【００７６】
＃２０．＃２１．実施例１の＃１０、＃１１の処理と同様である。
【００７７】
＃２０．＃２１．実施例１と同様に、エッジ情報でのマッチング処理を行う（Ｓ２）。画像Ｃと画像Ｄの場合は、全ての画像領域で不一致となるため、ＣＰＵ１０６はメモリ１０７にマシンの編集情報や使用履歴情報を呼び出す（１つでも画像領域が一致する場合は、＃２３のステップに進む）。
【００７８】
図１０は、マシンの使用履歴情報を示す。図１０の編集情報のうち、使用している確率の高い編集情報から順に、画像Ｃ、画像Ｄの何れに対して編集を行っているかを推定する。図１０を参照すると、２ｉｎ１の集約印刷とステープルの使用率が高いため、その二つの処理が行われていることを推定する。画像Ｃもしくは画像Ｄが集約印刷を行っているか否かは、画像領域の配置位置（位置情報）・集約画像の境界部の空白・文字の大きさなどの情報から、推定する（例えば、特許文献４を利用する）。そうすると、画像Ｄが２ｉｎ１の集約印刷を行っている可能性が高いことがわかる。
【００７９】
また、ステープルを行っているか否かは、画像の左右、上下の周辺部のみにステープル跡があるか否かを探索すればよい。パンチ穴探索なども同様である。ステープル跡検索を行っても画像Ｃ、画像Ｄにその跡がみられないため、ステープル跡に関する画像変換は行わない。
【００８０】
＃２３．そのため、図１１のように、画像Ｃを１／２変倍して、改めてエッジ情報でのマッチング処理を行う。また、画像Ｃはそのままの大きさで、画像Ｄを２倍に変倍して、マッチング処理を行っても問題ない（何れの処理を行うかは、後述する）。
【００８１】
このように、編集情報と画像領域の位置関係などをヒントに推定を行い、画像変換し、エッジ情報のマッチング処理を繰り返す。このマッチング処理の不一致回数が所定の閾値を超えるような画像領域は、差分情報として、画像領域そのものとその位置座標を保存する（Ｓ６）。また、マッチング処理で一つの画像領域も一致しない場合は、画像Ｃと画像Ｄを組み合わせても容量圧迫の低減に効果がないので、他の画像の組み合わせを行う。図９（ｃ）、（ｄ）のマッチング処理では、絵３１＝絵４１＝絵４４、絵３２＝絵４２＝絵４５、絵３３＝絵４３＝絵４６の結果となる。
【００８２】
上記した処理を採る理由は、入力した原稿は元々、同一のＭＦＰで出力したという想定にあるが、仮に他のＭＦＰで出力したとしても、編集機能の使用履歴が、例えば同一部署内や社内であれば類似している場合が多いためである。
【００８３】
また、本実施例では、編集履歴は出力した際の編集履歴を使用しているが、当然、画像蓄積時の編集設定を利用する場合もある。画像蓄積時には、編集をすることなく、冗長的なデータを蓄積するのが基本であるが、画像のトリミングなどでは削除することが望ましい場合もあり、その場合はトリミング位置などの情報を用いて、マッチング処理を行う。
【００８４】
例えば、図１２のように、画像Ａの一部を抜き出した点線部の画像と画像Ａ自体をエッジ情報でマッチング処理する場合、文字１２、文字１３の画像領域は、エッジ情報でのマッチング処理で一致するが、絵１２の一部は切れているため（絵１２’とする）、エッジ情報でのマッチング処理で一致しない。そこで、点線部の画像蓄積を行う際に、切り抜く箇所の位置座標と切り抜く前の画像サイズを記憶する。そして、容量圧迫の低減動作時に、画像Ａとマッチングをする際に、切り抜いた位置座標を用いて、画像Ａを切り抜くことで、絵１２’とのマッチング処理も一致することが可能となる。
【００８５】
＃２４．以降の処理は、実施例１と同様である。ただし、実施例２では、共通フォーマット情報として、「絵３１、絵３２、絵３３」と「画像Ｄへの変換方法：１／２変倍する」（共通フォーマットＡと呼ぶ）でもよいし、「絵４１（絵４４）、絵４２（絵４５）、絵４３（絵４６）」と「画像Ｃへの変換方法：２倍変倍する」（共通フォーマットＢと呼ぶ）でもよい。
【００８６】
基本は、画像Ｄを２倍にした状態で色情報のマッチング処理を行う。そこで、マッチング処理の判定基準である平均色差・最大色差の閾値で余裕があれば、画像Ｃを１／２にしたものと画像Ｄとで色情報のマッチング処理を行う。そこでも平均色差・最大色差の閾値を満たすのであれば、共通フォーマットとしては、上記したＡ、Ｂの何れでもよい。ただし、共通フォーマットとしては、Ａの方がサイズ（もしくは解像度）が大きいため、Ｂよりも画像情報が多く含まれており、高画質となる。一方、Ｂを選択するとその分、容量の低減化を大きくできる。
【００８７】
また、共通フォーマットＢのとき（画像Ｃを１／２、画像Ｄはそのままのサイズ）の色情報マッチング処理でも、平均色差の閾値、最大色差の閾値よりもあきらかに余裕がある場合は、マッチング処理の結果が平均色差、最大色差の閾値に達するまで、画像Ｃの画像領域の解像度を小さくする（例えば１／４）。そして、その解像度を小さくした画像Ｃの画像領域（解像度１／４のデータ）を共通フォーマットとして蓄積することで、共通フォーマットの容量をできる限り低減化することも可能となる。
【００８８】
図１３は、ＨＤＤ容量低減動作時の操作表示装置の画面例を示し、高画質化と容量の低減化の何れを優先すべきかを、管理者が操作表示装置１１０により選択することができる。また、低画質化を選択するのであれば、平均色差・最大色差の閾値を大きくしてもよい。
【００８９】
本実施例では、容量と画像データの変換精度（マッチング率）とのバランス（トレードオフ）を選択できることで、利便性が向上する。また、容量と画像データの変換精度（マッチング率）とのバランス（トレードオフ）を多段階に選択できることで、利便性が向上する。画像領域の位置情報や大きさなどを利用することで、編集機能に関する画像変換方法の推定を行うことが可能となる。例えば、集約機能（２ｉｎ１、４ｉｎ１など）、変倍機能、トリミング機能、パンチ穴／ステープル跡、ミラー機能などが挙げられる。さらに、画像データを入力する際に、画像データが編集されている場合に効率よく画像変換方法を推定することが可能となる。基本的に、画像変換方法を推定するシステムとしては、できる限り画像処理を施さないで冗長的な画像データのまま画像蓄積手段に保存しておくのが、ベストであるが（すなわち、画像データを入力する際になるべく画像処理を行わない）、例えば画像データのある一部分しか必要でない場合などは、そのほかの余分な部分を保存しておいても容量の無駄遣いであり、セキュリティの観点からもよくないので、編集を行ってから画像データを蓄積したほうがよい。
【実施例３】
【００９０】
図１４は、実施例３の処理を説明する図である。ＨＤＤ１０５の容量を低減するために、画像蓄積動作でＨＤＤ１０５に蓄積された画像Ｅ（図１４（ａ））と画像Ｆ（図１４（ｂ））の容量低減を行う処理を説明する。画像Ｆは、画像Ｅよりも色が薄い（彩度が低く、明度が高い）。＃１４の推定処理以外は、実施例１と同様であるので、実施例３の推定処理のみを以下、説明する。
【００９１】
実施例１のように色相分布のみを比較しても、画像データＥ、Ｆは全色相に画素が分布し、色相分布のみでは、変換処理を推定することができない。そのため、ＣＰＵ１０６はメモリ１０７に色情報に関する編集履歴情報を展開する。
【００９２】
図１５は、色情報に関する編集履歴情報を示す。図１５に示す編集履歴情報の内、使用率の高い処理から順番に、推定処理を行う。図１５より、トナーセーブモードの使用率が最も高いので、一方の画像でトナーセーブを行っていたという観点で、画像Ｅと画像ＦのＬａｂ空間における分布を詳細に見る。
【００９３】
すなわち、トナーセーブを行った原稿では、絵柄部などへのトナーが通常よりも少ないため、低彩度で、白い紙であれば明度が高くなる。画像Ｅと画像Ｆの画素全体で比較すると、画像ＦがＥよりも低彩度で明度も高い傾向にあるため、画像Ｆがトナーセーブモードを行った画像であると推定し、画像ＥをトナーセーブモードのＲＧＢ画像に変換する（図１６を参照）。
【００９４】
具体的には、メモリ１０７に展開されている画像Ｅを、第２の画像処理部１０４にバス制御装置１０３を介して転送し、そこで通常のプロッタ出力用の処理（トナーセーブ処理も含む）を行い、ＣＭＹＫ画像に変換し、再びメモリ１０７に蓄積する。ＣＰＵ１０６は、白い紙に出力されたＣＭＹＫ画像をスキャナで読み込んだときのＲＧＢ値を求め（スキャナ自動キャリブレーション機能などを利用する）、そのＲＧＢ値と画像Ｆとで、色情報のマッチング処理を行う（図１６を参照）。
【００９５】
このマッチング処理で不一致となる場合は、編集履歴のうち、次に使用率の高い処理を候補に挙げる。また、Ｌａｂ空間の画素の比較結果と編集処理での画素の傾向が合致するようであれば、またその画像に変換し、色情報のマッチング処理を行う。この処理ループを、画像領域が一致するか、不一致回数が所定の閾値に達するまで繰り返す。
【００９６】
トナーセーブの次に編集履歴の高いＣＵＤ（Ｃｏｌｏｒ Ｕｎｉｖｅｒｓａｌ Ｄｅｓｉｇｎ）対応は、隣り合った色の組み合わせの視認性が悪い組み合わせである場合に、視認性の良い色へと変換するものである。そこで、画像Ｅと画像Ｆともに、各画素で隣接する色同士の色差を求め、画像ＥとＦの色差の大きさを比較する。極端に色差が大きいところが多いようであれば、ＣＵＤ対応を行っている画像と推定して、ＣＵＤ対応を行っていない画像をＣＵＤ対応に変換を行い、色情報のマッチング処理を行う。
【００９７】
本実施例では、使用者の編集履歴を使用することにより、色情報や位置情報などのみで画像変換方法を推定するよりも効率良く推定を行うことが可能となる。
【実施例４】
【００９８】
実施例１〜３では、すでに選択された二つの画像に対して、共通フォーマットと差分情報に変換する実施例であるが、本実施例では、その二つの画像を選択する方法に関する実施例である。
【００９９】
前述したように、実施例１〜３の動作では、ＨＤＤ１０５に多数の画像データが蓄積され、容量が圧迫気味になったときに実施される。そのため、ＨＤＤ１０５に蓄積されている多数の画像データの中から、共通フォーマットとなりそうな二つの画像を選択することで、ＨＤＤ圧迫低減動作の処理時間が短縮される。以下、画像蓄積時とＨＤＤ圧迫低減動作時に処理を分けて、実施例４を説明する。
【０１００】
（画像蓄積動作時）
前述の通り、コピー動作の＃１、＃２を行う。＃２でメモリ１０７に蓄積された画像データに対して、ＣＰＵ１０６は以下の情報の幾つか（少なくとも１つ以上）をＨＤＤ１０５に併せて記憶させておく。
・作成者情報
操作表示装置１１０により、使用者情報を入力させるようにしても良いし、バイオメトリクス情報を読み取る読取装置などを拡張バスに取り付けて、バイオメトリクス認証で個人を特定しても良い。また、使用者の名前だけでなく、その使用者が所属しているグループ（チームや課・部など）を併せて記憶してもよい。
・画像中の文字情報
メモリ１０７に蓄積されている画像データに対して、前述したレイアウト解析とＯＣＲ処理などを利用して、タイトルやフッダ／ヘッダなどの文字を抽出し、それをキーワードとして、記憶する。
・画像の種類情報
操作表示装置１１０により、写真原稿モードや地図モード、蛍光ペンモードなど蓄積する原稿の種類がある程度特定できる情報を記憶する。また、操作表示装置１１０からの情報でなくても、スキャナから読み取られた、色の使い方（有彩が多いか）、絵柄が多いのか、文字が多いのか、レイアウト情報、空間周波数などの画像がもっている特徴量を用いる。例えば、図１７のように類似している画像同士をマップ化しておく。
【０１０１】
（圧迫低減動作時）
ＨＤＤの容量（使用容量）が９５％を超えるなど、圧迫低減動作のトリガがＣＰＵ１０６に伝えられると、ＣＰＵ１０６は上記したように画像蓄積動作で蓄積した情報をメモリ１０７に展開し、その情報を基に二つの画像を選択する。
・作成者情報
同じ作成者は同一フォーマットを使用している可能性が高いため、作成者が同一である画像同士で圧迫低減動作を行なうことにする。また、同じ作成者だけでなく、同一チームや同一の課でも同様のフォーマットなどを使用する可能性が高いため、それを優先させる。
・画像中の文字情報
タイトルやフッダ・ヘッダなどが同一であれば、その分、同一のフォーマットである可能性が高いので、同一である画像同士で圧迫低減動作を行なうことにする。
・画像の種類情報
画像の種類が類似であるほど、同一フォーマットである可能性が高いので、同一である画像同士で圧迫低減動作を行なうことにする。すなわち、フォーマットが同じであれば、文書の中身も類似しているという可能性が高い。例えば、図１７のように、マップ化していれば、座標の近いもの同士で圧迫低減動作を行なうようにする。ＣＰＵ１０６は、上記した３種類の情報を複数、参照できるのであれば、３種類の内、できるだけ共通点が多い画像同士に対して、優先順位を高くして、圧迫低減動作を行なうようにする。
【０１０２】
画像蓄積手段に蓄積された画像データの数が多い場合、全ての画像データに対して総当り的にマッチング処理を行うと時間がかかる。本実施例では、マッチング処理を行う対象の画像を選択することで、処理時間を短縮することができる。また、タイトルやヘッダ・フッダなどの画像データの文字情報が同じ、もしくは類似語などであれば、同一のテンプレートやフォーマットなどを使用している可能性が高いため、効率良いマッチング処理を行うことが可能となる。また、画像のデータの特徴量が近ければ、同一のテンプレートやフォーマットなどを使用している可能性が高いため、効率よいマッチング処理を行うことが可能となる。さらに、同じ作成者が作成しているドキュメントや、同じグループに所属している人が作成しているファイルであれば、同一のテンプレートやフォーマットなどを使用している可能性が高いため、効率よいマッチング処理を行うことが可能となる。
【０１０３】
本発明は、前述した実施例の機能を実現するソフトウェアのプログラムコードを記録した記憶媒体を、システムあるいは装置に供給し、そのシステムあるいは装置のコンピュータ（ＣＰＵやＭＰＵ）が記憶媒体に格納されたプログラムコードを読出し実行することによっても達成される。この場合、記憶媒体から読出されたプログラムコード自体が前述した実施例の機能を実現することになる。プログラムコードを供給するための記憶媒体としては、例えば、ハードディスク、光ディスク、光磁気ディスク、不揮発性のメモリカード、ＲＯＭなどを用いることができる。また、コンピュータが読出したプログラムコードを実行することにより、前述した実施例の機能が実現されるだけでなく、そのプログラムコードの指示に基づき、コンピュータ上で稼働しているＯＳ（オペレーティングシステム）などが実際の処理の一部または全部を行い、その処理によって前述した実施例の機能が実現される場合も含まれる。さらに、記憶媒体から読出されたプログラムコードが、コンピュータに挿入された機能拡張ボードやコンピュータに接続された機能拡張ユニットに備わるメモリに書込まれた後、そのプログラムコードの指示に基づき、その機能拡張ボードや機能拡張ユニットに備わるＣＰＵなどが実際の処理の一部または全部を行い、その処理によって前述した実施例の機能が実現される場合も含まれる。また、本発明の実施例の機能等を実現するためのプログラムは、ネットワークを介した通信によってサーバから提供されるものでも良い。
【符号の説明】
【０１０４】
１０１ 読取り装置
１０２ 第１の画像処理部
１０３ バス制御装置
１０４ 第２の画像処理部
１０５ ＨＤＤ
１０６ ＣＰＵ
１０７ メモリ
１０８ プロッタＩ／Ｆ装置
１０９ プロッタ装置
１１０ 操作表示装置
１１１ 回線Ｉ／Ｆ装置
１１２ 外部Ｉ／Ｆ装置
１１３ Ｓ．Ｂ．
１１４ ＲＯＭ
１１５ 汎用バス
１１６ ＦＡＸ
１１７ ＰＣ
【先行技術文献】
【特許文献】
【０１０５】
【特許文献１】特開２００８−１４６１０４号公報
【特許文献２】特開２００８−１４６１０４号公報
【特許文献３】特許第３２７８４７１号公報
【特許文献４】特開２００９−７１６３０号公報
【特許請求の範囲】
【請求項１】
画像を入力する画像入力手段と、前記画像を蓄積する画像蓄積手段と、前記画像を複数の領域に分割する領域分割手段と、前記画像蓄積手段に蓄積された複数の画像間における画像の変換方法を推定する推定手段と、前記領域分割手段により分割された画像領域同士をパターンマッチング処理するマッチング処理手段とを備えた画像処理装置において、前記推定手段は、前記蓄積された第１の画像と第２の画像間における画像の変換方法を推定し、前記第１の画像を前記推定された変換方法により変換し、前記マッチング処理手段は、前記推定された変換方法により変換された前記第１の画像の画像領域と、前記第２の画像の画像領域とをマッチング処理し、マッチング処理で一致した共通の画像領域情報、前記共通の画像領域情報以外の差分情報および前記推定された変換情報を前記画像蓄積手段に蓄積することを特徴とする画像処理装置。
【請求項２】
前記マッチング処理手段は、前記第１、第２の画像の第１の要素同士をマッチング処理する第１のマッチング処理と、前記第１のマッチング処理により一致した画像領域に対して、前記第１、第２の画像の第２の要素同士をマッチング処理する第２のマッチング処理を実行し、前記第２のマッチング処理で不一致である場合に、不一致箇所のみを補正するための補正情報を作成し、前記第１のマッチング処理で一致した共通の画像領域情報、前記共通の画像領域情報以外の差分情報、前記推定された変換情報および前記補正情報を前記画像蓄積手段に蓄積することを特徴とする請求項１記載の画像処理装置。
【請求項３】
前記第２のマッチング処理で不一致の場合に、前記推定された変換方法で変換された第１の画像と、前記第２の画像との不一致箇所の差分情報を前記補正情報とすることを特徴とする請求項２記載の画像処理装置。
【請求項４】
前記第２のマッチング処理で不一致の場合に、前記推定された変換方法で変換された第１の画像を、前記第２の画像に変換する変換式のパラメータを前記補正情報とすることを特徴とする請求項２記載の画像処理装置。
【請求項５】
前記マッチング処理手段は、前記第１の画像と第２の画像をマッチング処理した結果に応じて、前記蓄積手段に蓄積する共通の画像領域情報として、前記第１の画像または第２の画像の何れかを選択することを特徴とする請求項１または２記載の画像処理装置。
【請求項６】
前記マッチング処理手段による処理結果において、マッチング許容範囲よりも余裕がある場合に、前記画像蓄積手段に蓄積する前記共通の画像領域情報を、前記許容範囲内に収まる程度に劣化させることにより、前記画像蓄積手段の容量をさらに低減させることを特徴とする請求項１または２記載の画像処理装置。
【請求項７】
前記推定手段は、色情報を利用して画像の変換方法を推定することを特徴とする請求項１記載の画像処理装置。
【請求項８】
前記推定手段は、画像領域の位置および／または大きさを利用して画像の変換方法を推定することを特徴とする請求項１記載の画像処理装置。
【請求項９】
使用者の編集履歴情報を蓄積する編集履歴情報蓄積手段を備え、前記推定手段は、前記蓄積された使用者の編集履歴情報を利用して画像の変換方法を推定することを特徴とする請求項１記載の画像処理装置。
【請求項１０】
前記推定手段は、画像を入力するときの編集情報を利用して画像の変換方法を推定することを特徴とする請求項１記載の画像処理装置。
【請求項１１】
前記第１のマッチング処理は、エッジ情報のマッチング処理であり、前記第２のマッチング処理は、色情報のマッチング処理であることを特徴とする請求項２記載の画像処理装置。
【請求項１２】
前記マッチング処理手段が前記画像蓄積手段に蓄積された画像からマッチング処理対象となる画像を選択する画像選択手段を備えたことを特徴とする請求項１記載の画像処理装置。
【請求項１３】
前記画像選択手段は、画像の一部の文字情報を利用して選択することを特徴とする請求項１２記載の画像処理装置。
【請求項１４】
前記画像選択手段は、画像の原稿種類情報を利用して選択することを特徴とする請求項１２記載の画像処理装置。
【請求項１５】
前記画像選択手段は、画像の作成者情報を利用して選択することを特徴とする請求項１２記載の画像処理装置。
【請求項１６】
画像を入力する画像入力工程と、前記画像を蓄積する画像蓄積工程と、前記画像を複数の領域に分割する領域分割工程と、前記画像蓄積工程に蓄積された複数の画像間における画像の変換方法を推定する推定工程と、前記領域分割工程により分割された画像領域同士をパターンマッチング処理するマッチング処理工程とを備えた画像処理方法において、前記推定工程は、前記蓄積された第１の画像と第２の画像間における画像の変換方法を推定し、前記第１の画像を前記推定された変換方法により変換し、前記マッチング処理工程は、前記推定された変換方法により変換された前記第１の画像の画像領域と、前記第２の画像の画像領域とをマッチング処理し、マッチング処理で一致した共通の画像領域情報、前記共通の画像領域情報以外の差分情報および前記推定された変換情報を前記画像蓄積工程に蓄積することを特徴とする画像処理方法。
【請求項１７】
請求項１６記載の画像処理方法をコンピュータに実現させるためのプログラム。
【請求項１８】
請求項１６記載の画像処理方法をコンピュータに実現させるためのプログラムを記録したコンピュータ読み取り可能な記録媒体。
【請求項１】
画像を入力する画像入力手段と、前記画像を蓄積する画像蓄積手段と、前記画像を複数の領域に分割する領域分割手段と、前記画像蓄積手段に蓄積された複数の画像間における画像の変換方法を推定する推定手段と、前記領域分割手段により分割された画像領域同士をパターンマッチング処理するマッチング処理手段とを備えた画像処理装置において、前記推定手段は、前記蓄積された第１の画像と第２の画像間における画像の変換方法を推定し、前記第１の画像を前記推定された変換方法により変換し、前記マッチング処理手段は、前記推定された変換方法により変換された前記第１の画像の画像領域と、前記第２の画像の画像領域とをマッチング処理し、マッチング処理で一致した共通の画像領域情報、前記共通の画像領域情報以外の差分情報および前記推定された変換情報を前記画像蓄積手段に蓄積することを特徴とする画像処理装置。
【請求項２】
前記マッチング処理手段は、前記第１、第２の画像の第１の要素同士をマッチング処理する第１のマッチング処理と、前記第１のマッチング処理により一致した画像領域に対して、前記第１、第２の画像の第２の要素同士をマッチング処理する第２のマッチング処理を実行し、前記第２のマッチング処理で不一致である場合に、不一致箇所のみを補正するための補正情報を作成し、前記第１のマッチング処理で一致した共通の画像領域情報、前記共通の画像領域情報以外の差分情報、前記推定された変換情報および前記補正情報を前記画像蓄積手段に蓄積することを特徴とする請求項１記載の画像処理装置。
【請求項３】
前記第２のマッチング処理で不一致の場合に、前記推定された変換方法で変換された第１の画像と、前記第２の画像との不一致箇所の差分情報を前記補正情報とすることを特徴とする請求項２記載の画像処理装置。
【請求項４】
前記第２のマッチング処理で不一致の場合に、前記推定された変換方法で変換された第１の画像を、前記第２の画像に変換する変換式のパラメータを前記補正情報とすることを特徴とする請求項２記載の画像処理装置。
【請求項５】
前記マッチング処理手段は、前記第１の画像と第２の画像をマッチング処理した結果に応じて、前記蓄積手段に蓄積する共通の画像領域情報として、前記第１の画像または第２の画像の何れかを選択することを特徴とする請求項１または２記載の画像処理装置。
【請求項６】
前記マッチング処理手段による処理結果において、マッチング許容範囲よりも余裕がある場合に、前記画像蓄積手段に蓄積する前記共通の画像領域情報を、前記許容範囲内に収まる程度に劣化させることにより、前記画像蓄積手段の容量をさらに低減させることを特徴とする請求項１または２記載の画像処理装置。
【請求項７】
前記推定手段は、色情報を利用して画像の変換方法を推定することを特徴とする請求項１記載の画像処理装置。
【請求項８】
前記推定手段は、画像領域の位置および／または大きさを利用して画像の変換方法を推定することを特徴とする請求項１記載の画像処理装置。
【請求項９】
使用者の編集履歴情報を蓄積する編集履歴情報蓄積手段を備え、前記推定手段は、前記蓄積された使用者の編集履歴情報を利用して画像の変換方法を推定することを特徴とする請求項１記載の画像処理装置。
【請求項１０】
前記推定手段は、画像を入力するときの編集情報を利用して画像の変換方法を推定することを特徴とする請求項１記載の画像処理装置。
【請求項１１】
前記第１のマッチング処理は、エッジ情報のマッチング処理であり、前記第２のマッチング処理は、色情報のマッチング処理であることを特徴とする請求項２記載の画像処理装置。
【請求項１２】
前記マッチング処理手段が前記画像蓄積手段に蓄積された画像からマッチング処理対象となる画像を選択する画像選択手段を備えたことを特徴とする請求項１記載の画像処理装置。
【請求項１３】
前記画像選択手段は、画像の一部の文字情報を利用して選択することを特徴とする請求項１２記載の画像処理装置。
【請求項１４】
前記画像選択手段は、画像の原稿種類情報を利用して選択することを特徴とする請求項１２記載の画像処理装置。
【請求項１５】
前記画像選択手段は、画像の作成者情報を利用して選択することを特徴とする請求項１２記載の画像処理装置。
【請求項１６】
画像を入力する画像入力工程と、前記画像を蓄積する画像蓄積工程と、前記画像を複数の領域に分割する領域分割工程と、前記画像蓄積工程に蓄積された複数の画像間における画像の変換方法を推定する推定工程と、前記領域分割工程により分割された画像領域同士をパターンマッチング処理するマッチング処理工程とを備えた画像処理方法において、前記推定工程は、前記蓄積された第１の画像と第２の画像間における画像の変換方法を推定し、前記第１の画像を前記推定された変換方法により変換し、前記マッチング処理工程は、前記推定された変換方法により変換された前記第１の画像の画像領域と、前記第２の画像の画像領域とをマッチング処理し、マッチング処理で一致した共通の画像領域情報、前記共通の画像領域情報以外の差分情報および前記推定された変換情報を前記画像蓄積工程に蓄積することを特徴とする画像処理方法。
【請求項１７】
請求項１６記載の画像処理方法をコンピュータに実現させるためのプログラム。
【請求項１８】
請求項１６記載の画像処理方法をコンピュータに実現させるためのプログラムを記録したコンピュータ読み取り可能な記録媒体。
【図１】
【図２】
【図３】
【図４】
【図５】
【図６】
【図７】
【図８】
【図９】
【図１０】
【図１１】
【図１２】
【図１３】
【図１４】
【図１５】
【図１６】
【図１７】
【図２】
【図３】
【図４】
【図５】
【図６】
【図７】
【図８】
【図９】
【図１０】
【図１１】
【図１２】
【図１３】
【図１４】
【図１５】
【図１６】
【図１７】
【公開番号】特開２０１１−１８０９８４（Ｐ２０１１−１８０９８４Ａ）
【公開日】平成２３年９月１５日（２０１１．９．１５）
【国際特許分類】
【出願番号】特願２０１０−４６６７４（Ｐ２０１０−４６６７４）
【出願日】平成２２年３月３日（２０１０．３．３）
【出願人】（０００００６７４７）株式会社リコー (37,907)
【Ｆターム（参考）】
【公開日】平成２３年９月１５日（２０１１．９．１５）
【国際特許分類】
【出願日】平成２２年３月３日（２０１０．３．３）
【出願人】（０００００６７４７）株式会社リコー (37,907)
【Ｆターム（参考）】
[ Back to top ]