画像処理装置、画像処理方法、プログラム、記憶媒体
【課題】登録対象の画像データから特徴情報を抽出して登録するとともに、当該画像データとともに、特徴情報を抽出する際に用いられた抽出方法を示す識別情報を出力する仕組みを提供することを目的とする。
【解決手段】 登録対象の画像データに基づいて、複数の特徴情報抽出方法のいずれかを選択し、該選択された特徴情報抽出方法を用いて、登録対象の画像データの特徴を示す特徴情報を、登録対象の画像データから抽出する。そして、該抽出された特徴情報を登録するとともに、特徴情報の抽出に用いられた特徴情報抽出方法を示す識別情報とともに、登録対象の画像データを出力する。
【解決手段】 登録対象の画像データに基づいて、複数の特徴情報抽出方法のいずれかを選択し、該選択された特徴情報抽出方法を用いて、登録対象の画像データの特徴を示す特徴情報を、登録対象の画像データから抽出する。そして、該抽出された特徴情報を登録するとともに、特徴情報の抽出に用いられた特徴情報抽出方法を示す識別情報とともに、登録対象の画像データを出力する。
【発明の詳細な説明】
【技術分野】
【0001】
本発明は、画像データの特徴を示す特徴情報を抽出して登録する画像処理装置、画像処理方法、プログラム、記憶媒体に関するものである。
【背景技術】
【0002】
近年、パーソナルコンピュータ等のOA機器が普及し、オフィスで使用される文書もパーソナルコンピュータ上のアプリケーションによって作成されることが多くなっている。また、紙などの記録媒体上に印刷された文書も、スキャナ装置などを用いて読み取ることにより電子的な画像データに変換され、容易に受け渡しすることが可能となっている。
【0003】
このように、電子化された文書が日常的に取り扱われるようになったことに伴い、作成された文書をデータベースに蓄積して管理する文書管理システムが数多く提案されてきている。これらの文書管理システムでは、単に文書を記憶しておくだけでなく、予め文書に対応する画像データに基づいて特徴情報を抽出しておき、この特徴情報を使って文書を検索することも可能となっている。
【0004】
ところで、このような文書管理システムでは、画像データから特徴情報を抽出する際に、画像データに含まれるオブジェクトの属性に応じて、それぞれ異なる抽出方法を用いて特徴情報を抽出する必要がある。
【0005】
例えば、特許文献1記載の方法では、文書を登録する際に、当該文書に含まれるテキストに基づいて抽出されたテキスト特徴情報と、当該文書に含まれるイメージに基づいて抽出されたイメージ特徴情報とをメモリに保持しておく。そして、文書を検索する際には、検索対象の文書のイメージデータに対して文字認識処理を行い、得られたテキストに基づいてテキスト特徴情報を取得するとともに、当該検索対象の文書のイメージ特徴情報も取得し、これらの特徴情報を用いて文書を検索する。
【特許文献1】特開2004−334334号公報
【発明の開示】
【発明が解決しようとする課題】
【0006】
しかしながら、上記特許文献1の文書管理システム例では、文書をデータベースに蓄積して管理する際に、テキスト特徴情報とイメージ特徴情報の2種類の特徴情報を常に抽出する必要がある。
【0007】
このため、特徴情報の抽出のための処理に時間がかかってしまうとともに、文書管理システム自体に負荷がかかってしまうという問題がある。また、文書をデータベースに蓄積して管理する場合に、常に複数種類の特徴情報を登録しなければならず、特徴情報を蓄積するために必要なメモリ容量が増加してしまうという問題がある。
【0008】
一方、上述したように1つの文書に対して複数種類の抽出方法を用いてそれぞれ特徴情報を抽出するのではなく、複数種類の抽出方法のうち、いずれか1つの抽出方法のみを用いて特徴情報を抽出するようにすることも考えられる。
【0009】
しかしながら、この場合、文書を検索しようとしたときに、文書登録時に用いた抽出方法と異なる抽出方法を用いて特徴情報を抽出してしまうと、たとえ同じ文書であっても異なる値の特徴情報が抽出されてしまい、適切に文書の検索を行うことができない。これに対処するためには、文書登録時に用いた抽出方法をユーザが覚えておかなければならず、使い勝手が良くないという問題がある。また、そもそも他人が登録した文書を検索する際には、文書登録時にどの抽出方法が用いられたかを検索者が知るよしもなく、所望の文書を見つけ出すためには複数の抽出方法をそれぞれ用いて特徴情報を抽出し検索する必要があるため、やはり使い勝手が良くない。
【0010】
本発明は、上記の問題点に鑑みなされたものであり、登録対象の画像データから特徴情報を抽出して登録するとともに、当該画像データとともに、特徴情報を抽出する際に用いられた抽出方法を示す識別情報を出力する仕組みを提供することを目的とする。
【課題を解決するための手段】
【0011】
上記の目的を達成するために本発明の画像処理装置は、登録対象の画像データを記憶する記憶手段と、複数の抽出方法のいずれかを選択する第1の選択手段と、前記第1の選択手段により選択された抽出方法を用いて、前記登録対象の画像データの特徴を示す特徴情報を、当該登録対象の画像データから抽出する抽出手段と、前記抽出手段により抽出された特徴情報を登録する登録手段と、前記第1の選択手段により選択された抽出方法を示す識別情報とともに、前記登録対象の画像データを出力する出力手段とを備えることを特徴とする。
【0012】
また、本発明の画像処理方法は、複数の抽出方法のいずれかを選択する第1の選択工程と、前記第1の選択工程で選択された抽出方法を用いて、前記登録対象の画像データの特徴を示す特徴情報を、当該登録対象の画像データから抽出する抽出工程と、前記抽出工程で抽出された特徴情報を登録する登録工程と、前記第1の選択工程で選択された抽出方法を示す識別情報とともに、前記登録対象の画像データを出力する出力工程と、を備えることを特徴とする。
【発明の効果】
【0013】
本発明によれば、登録対象の画像データから特徴情報を抽出して登録するとともに、当該画像データとともに、特徴情報を抽出する際に用いられた抽出方法を示す識別情報を出力することにより、検索時に適切な抽出方法を選択することが可能となる。
【発明を実施するための最良の形態】
【0014】
以下、図面を参照して本発明の実施の形態を詳しく説明する。尚、以下の実施の形態は特許請求の範囲に係る発明を限定するものでなく、また実施の形態で説明されている特徴の組み合わせの全てが発明の解決手段に必須のものとは限らない。
【0015】
(第1の実施形態)
まず、第1の実施形態として説明する文書検索システムにおける画像処理装置の一例としてデジタル複合機の構成例を説明する。
【0016】
図1は、本実施形態の文書検索システムにおける画像処理装置の構成を説明するブロック図である。なお、本例は、スキャナ部とプリンタ部とを備えるMFP(Multi Function Peripheral)の例を示す。また、スキャナ部とプリンタ部は、画像処理装置から分離された他の機器として、画像処理装置と通信可能に接続されて構成されるようにしても構わない。また、本実施形態では、画像処理装置と情報処理装置とがネットワークを介して通信する例を示すが、画像処理装置と情報処理装置とが双方向通信するローカルインタフェースを介して接続される文書検索システムにも本発明を適用可能である。
【0017】
図1において、MFP1000は、大きく分けて、装置全体の動作を司る制御ユニット1031、記録媒体への出力画像の印刷を行うプリンタ部1100、原稿上の画像を読み取って画像データを生成し、装置内部に取り込むスキャナ部1200からなる。
【0018】
なお、プリンタ部1100は、エンジン制御部1101を備える。また、スキャナ部1200は、スキャナ制御部1201を備える。なお、スキャナ部1200は、CCD等のイメージセンサを備えて、走査露光される反射光を受光して、原稿上の画像を読み取る。ここで、原稿には、カラー原稿、モノクロ原稿などが含まれ、原稿上の画像には、イメージ、文字、図形等の属性の異なるオブジェクトが混在している場合がある。
【0019】
入出力部1032は、ネットワーク2000に繋がる通信線1002を介して、ネットワーク上のクライアント端末(PC1501,PC1502)やサーバ端末との間のデータ送受信を司る。
【0020】
1033は入出力バッファで、ネットワーク2000より入力される印刷のための制御コードや各種PDL(Page Description Language)データを含む各種データや装置内の各種データの送受信を行う際に利用される。
【0021】
1034はCPUで、制御ユニット1031全体の動作を制御する。1300はプログラムROMで、CPU1034により実行されるプログラムが格納されている。なお、プログラムROM1300に格納される各モジュールの詳細については後述する。
【0022】
1039はRAMで、上述した制御コードやデータの解釈や、プリンタ部1100による印刷動作やスキャナ部1200により画像の読取動作等に必要な計算、入出力される画像データの処理のためのワークメモリとして利用される。
【0023】
1400はNVRAMで、装置の電源が遮断されても保持しておく必要のある各種設定を含むデータを格納する。なお、RAM1039内には、展開されたビットマップ画像を保持するためのビットマップメモリ領域1500が備えられている。
【0024】
1043は外部メモリで、印刷データや外部より入力された画像データ、印刷装置の各種情報等の保存に利用される。外部メモリ1043はメモリI/F部1044を介して制御ユニット1031と接続されている。
【0025】
プログラムROM1300内の各モジュールはそれぞれ以下の役割を果たす。制御データ解釈部1301は、ホストコンピュータから受信した印刷制御データを解釈する。PDLデータ解釈部1302は、PDLデータを解釈する。画像中間情報生成部1303は、ビットマップに展開される前の各種の画像オブジェクトを生成する。
【0026】
ビットマップ画像展開部1304は、画像オブジェクトをビットマップ画像に展開する。1305は文字コード特徴情報抽出部で、ブロック解析部1309/PDLデータ解析部1308の結果から、登録対象または検索対象の画像データのテキスト領域から文字コードを認識し、文字コード特徴情報として抽出する。
【0027】
1306はイメージ特徴情報抽出部で、登録対象または検索対象の画像データのイメージ領域から色のヒストグラムを抽出し、イメージ特徴情報を抽出する。1307は図形特徴情報抽出部で、登録対象または検索対象の画像データの図形領域から図形のベクトル情報を抽出し、図形特徴情報として抽出する。
【0028】
1308はPDLデータ解析部で、PDLデータに基づく画像データを登録する際に、画像データに含まれる各オブジェクトのそれぞれについて、テキスト、イメージ、図形を判別して抽出する。
【0029】
1309はブロック解析部で、スキャナ部1200で生成されたビットマップ画像から文書内のテキスト、イメージ、図形を判別して抽出する。
【0030】
1310は特徴情報抽出方法選択部で、3種類の特徴情報抽出方法の中からいずれか1つの特徴情報抽出方法を選択する。具体的には、特徴情報抽出方法選択部1310が文字コード特徴情報抽出部1305、イメージ特徴情報抽出部1306、図形特徴情報抽出部1307の中からいずれかを選択する。
【0031】
登録文書管理部1312は、外部メモリ1043内の文書管理テーブル1401に登録されている文書を管理する。登録文書検索部1313は、文書管理テーブル1401に登録されている文書の中から所定の文書を検索する。なお、文書管理テーブル1401には、登録文書に対応する画像データとともに、当該画像データから抽出された、当該画像データの特徴を示す特徴情報が登録されている。
【0032】
1311は特徴情報抽出方法設定部で、登録されている文書を検索するための仕組みとして、対象となる文書の検索に利用する特徴情報を抽出するための抽出方法を複数の特徴情報抽出方法の中から選択し、設定する。
【0033】
1103はビットマップ画像転送部で、ビットマップ画像展開部1304によって展開されたビットマップ画像や、スキャナ部1200より生成されたビットマップ画像等をエンジンI/F部1102を介してプリンタ部1100に転送する。
【0034】
また、1202はスキャナI/F部で、スキャナ部1200と制御ユニット1031とを繋いでいる。1203はビットマップ画像受信部で、スキャナ部1200により生成されたビットマップ画像を取り込む。
【0035】
1041は操作パネル部で、ユーザ毎にコマンドの制限を行う情報の入力や、機器全体の操作、および、エラーや操作ガイドなどの表示を、ユーザインタフェースを介して行う。なお、操作パネル部1041と制御ユニット1031とは、パネルI/F部1042と、システムバス1045とを介して接続されている。システムバス1045は、上記各デバイスとCPU1034とを接続する。
【0036】
図2、図3は、図1に示した操作パネル部1041の構成を説明する平面図である。図2、図3において、操作パネル部1041は、登録されている登録画像や印刷状況等のMFP1000の各種情報を表示する液晶パネル2001を備える。
【0037】
液晶パネル2001はタッチパネルとなっており、ユーザが触れた場合に、その入力を検知して、画面から、文字情報の入力等を行うことが可能となっている。ユーザは、後述する第2の実施形態において、液晶パネル2001を操作することで、画像データを登録する際の特徴情報抽出方法の選択と、画像データを検索する際の特徴情報抽出方法の選択とを行えるように構成されている。
【0038】
また、操作パネル部1041には、コピー等のスタートを指示するスタートキー2002、機器のリセットを行うリセットキー2004、電源のON/OFFを切り替える電源スイッチ2003を備える。
【0039】
また、操作パネル部1041には、コピー枚数等を指定するためのテンキー2005、液晶パネル2001に表示されているカーソルの移動や表示されている機能の選択を行うときに利用するカーソルキーと決定キー2006を備える。さらに、操作パネル部1041は、MFPの各機能を使用する際に選択するコピーキー2007、送信キー2008、文書管理ボタン2009を備える。
【0040】
2020はログインキーで、利用するユーザを識別し、認証する際に押下される。
【0041】
なお、図2に示した文書管理ボタン2009が押下された場合には、図3に示す文書登録ボタン3001及び文書検索ボタン3002が操作パネル部1041に表示される。
【0042】
<文書登録機能>
本機能は、文書に対応する画像データを登録する際に、複数の特徴情報抽出方法のいずれかを選択する第1の選択処理を実行し、選択された特徴情報抽出方法を用いて画像データの特徴情報を抽出し、抽出した特徴情報を画像データとともに登録する機能である。
【0043】
まず、スキャナ1200により原稿上の画像を読み取って生成された画像データを登録する場合の処理について説明する。
【0044】
図4は、本実施形態の画像処理装置における第1のデータ処理手順の一例を示すフローチャートである。本例は、文書登録処理例である。なお、S41〜S45は各ステップを示す。また、各ステップは、CPU1034がROM1300に記憶された制御プログラムをRAM1039にロードして実行することで実現される。また、CPU1034が制御プログラムを実行する際に、外部メモリ1043内の文書管理テーブル1401を参照することもある。
【0045】
まず、ユーザが図2に示した文書管理ボタン2009を押下すると、表示画面が図3に示す画面に切り替わり、タッチパネル上に文書登録と文書検索の選択画面が表示される。ここで、文書登録ボタン3001が押下されると文書登録処理が開始される。
【0046】
S41では、操作パネル部1041のタッチパネルによりユーザがスタートキー2002を押下すると、CPU1034は、スキャナ部1200より、スキャナI/F部1202、ビットマップ画像受信部1203を介して画像情報を読み込む。そして、CPU1034は、読み込んだ画像情報を、RAM1039上のビットマップメモリ領域1500に展開する。
【0047】
次に、S42では、CPU1034は、ブロック解析を行い、公知の像域分離手法を用いて、類似する特徴を持つ領域をそれぞれ分離し、属性が異なる文字、イメージ、図形の3種類の領域(オブジェクト)をブロック解析部1309により抽出する。
【0048】
次に、S43では、CPU1034は、3種類の特徴情報抽出方法である文字コード特徴情報抽出方法、イメージ特徴情報抽出方法、図形特徴情報抽出方法の中から1つの特徴情報抽出方法を選択する。なお、特徴情報抽出方法の選択の処理フローは図5に示す。また、上記文字コード特徴情報抽出方法は、図1に示した文字コード特徴情報抽出部1305に対応する。同様に、イメージ特徴情報抽出方法は、図1に示したイメージ特徴情報抽出部1306に対応する。同様に、図形特徴情報抽出方法は、図1に示した図形特徴情報抽出部1307に対応する。
【0049】
次に、S44で、CPU1034は、S43で選択された特徴情報抽出方法を用いて登録対象の画像データの特徴情報を抽出しする。そして、S45で、CPU1034は、選択された特徴情報抽出方法を用いて抽出された特徴情報と、用いられた特徴情報抽出方法を示す情報と、登録対象の文書に対応する画像データとを文書管理テーブル1401に登録して、本処理を終了する。
【0050】
図5は、本実施形態の画像処理装置における第2のデータ処理手順の一例を示すフローチャートである。本例は、図4に示したS43における特徴情報抽出方法の選択処理例である。なお、S51〜S56は各ステップを示す。
【0051】
また、各ステップは、CPU1034がROM1300に記憶された制御プログラムをRAM1039にロードして実行することで実現される。
【0052】
図4に示したS43で、特徴情報抽出方法の選択処理が開始されると、まず、S51で、CPU1034は、ブロック解析部1309によりブロック解析されたそれぞれのオブジェクトを文字、イメージ、図形のそれぞれの属性毎に分類する。そして、CPU1034は、各属性に含まれるビットマップデータの総バイト数を計算する。
【0053】
次に、S52で、CPU1034は、文字属性を有するオブジェクトの総バイト数と、他の属性を有するオブジェクトの総バイト数とを比較して、文字属性を有するオブジェクトの総バイト数が最も多いか否かを判断する。
【0054】
ここで、CPU1034が文字属性のオブジェクトの総バイト数が最も多いと判断した場合は、S53で、CPU1034は、特徴情報抽出方法として文字コード特徴情報抽出方法を選択して、本処理を終了する。この場合、特徴情報抽出手段として、文字コード特徴情報抽出部1305が選択される。
【0055】
一方、S52で、CPU1034が文字属性を有するオブジェクトの総バイト数が最も多くないと判断した場合は、S54に進む。S54では、イメージ属性を有するオブジェクトの総バイト数と他の属性を有するオブジェクトの総バイト数とを比較して、イメージ属性を有するオブジェクトの総バイト数が最も多いか否かを判断する。
【0056】
ここで、CPU1034がイメージ属性を有するオブジェクトの総バイト数が最も多いと判断した場合は、S55で、CPU1034は、特徴情報抽出方法としてイメージ特徴情報抽出方法を選択して、本処理を終了する。この場合、特徴情報抽出手段として、イメージ特徴情報抽出部1306が選択される。
【0057】
一方、S54で、CPU1034がイメージ属性を有するオブジェクトの総バイト数が最も多くないと判断した場合は、S56で、CPU1034は、特徴情報抽出方法として図形特徴情報抽出方法を選択して、本処理を終了する。この場合、特徴情報抽出手段として、図形特徴情報抽出部1307が選択される。
【0058】
このように本実施形態では、CPU1034による計算に基づいて、文字,イメージ,図形の各属性のうち、その属性を有するオブジェクトの総バイト数が最も大きい値の属性に対応する特徴情報抽出方法を選択して、本処理を終了する。
【0059】
なお、ここで、文字コード特徴情報抽出方法は、ブロック解析部1309のブロック解析によって得られた画像データ中の文字を文字認識処理により文字コードに変換し、得られた各文字コードに基づいて特徴情報を抽出するものである。
【0060】
また、イメージ特徴情報抽出方法は、ブロック解析によって得られたイメージの部分から、横軸に色相を取り、特徴情報を抽出するものである。
【0061】
また、図形特徴情報抽出方法は、ブロック解析によって得られた図形情報から線分をベクトル化して特徴情報を抽出するものである。
【0062】
次に、ユーザにより外部から入力されるPDLデータに基づく画像データを外部メモリ1043に登録する場合の文書登録処理について説明する。
【0063】
図6は、本実施形態の画像処理装置における第3のデータ処理手順の一例を示すフローチャートである。本例は、PDLデータに基づく画像データを外部メモリ1043に登録する処理例である。なお、S61〜S64は各ステップを示す。
【0064】
また、各ステップは、CPU1034がROM1300に記憶された制御プログラムをRAM1039にロードして実行することで実現される。
【0065】
なお、MFP1000は、PDLデータに基づく画像データを登録する場合には、ネットワーク2000を介して接続されたPC1501又はPC1502にインストールされているプリンタドライバからPDLデータを受信して登録する。
【0066】
図7は、本実施形態の情報処理装置の表示装置に表示されるユーザインタフェース(UI)の一例を示す図である。本例は、PC1501、1502にインストールされているプリンタドライバによる文書登録時のUIである。なお、上記PDLデータが圧縮され、暗号化されている場合も本発明を適用することが可能である。
【0067】
図7において、7001はスピンボックスで、ユーザがポインティングデバイス等を操作してカーソルを指示することで、プリンタ名を選択することができる。7002は部数設定部である。7003はプロパティボタンである。7005は印刷ボタンである。
【0068】
なお、本実施形態では、文書登録機能を備えたMFP1000に対して、プリンタ名「プリンタA」が登録されている例とする。
【0069】
ユーザが、ポインティングデバイスを操作して、文書登録ボタン7004を選択すると、プリンタドライバは、登録する画像データをPDLデータとしてMFP1000に送信することで、以下の文書登録処理が開始される。
【0070】
そして、CPU1034は、PC1501あるいはPC1502から送信されるPDLデータを受信するのを待つ。そして、S61で、CPU1034がPC1501あるいはPC1502からPDLデータを受信すると、CPU1034は、入力されたPDLデータをPDLデータ解釈部1302が解釈して、画像中間情報生成部1303が画像中間情報を生成する。
【0071】
次に、S62で、CPU1034は、3種類の特徴情報抽出方法である文字コード特徴情報抽出方法、イメージ特徴情報抽出方法、図形特徴情報抽出方法の中からいずれか1つの特徴情報抽出方法を選択する。なお、特徴情報抽出処理の詳細は、図8において後述する。
【0072】
次に、S63で、CPU1034がいずれか1つの特徴情報抽出方法を選択すると、選択された特徴情報抽出方法により画像データ中の各オブジェクトの特徴情報を抽出する。次に、S64で、CPU1034は、抽出した特徴情報と、抽出に用いられた特徴情報を示す情報と、画像データとを登録文書管理部1312により文書管理テーブル1401に登録して、本処理を終了する。
【0073】
図8は、本実施形態の画像処理装置における第4のデータ処理手順の一例を示すフローチャートである。本例は、特徴情報抽出方法選択部1310が3種類の特徴情報抽出方法である文字コード特徴情報抽出方法、イメージ特徴情報抽出方法、図形特徴情報抽出方法の中から1つの特徴情報抽出方法を選択する処理例である。なお、S81〜S86は各ステップを示す。
【0074】
また、各ステップは、CPU1034がROM1300に記憶された制御プログラムをRAM1039にロードして実行することで実現される。
【0075】
特徴情報抽出方法の選択処理が開始されると、まず、S81で、CPU1034は、画像中間情報生成部1303により画像中間情報に変換されたそれぞれのオブジェクトである文字、イメージ、図形のそれぞれの属性を有するオブジェクトのデータ量を計算する。
【0076】
なお、CPU1034は、画像中間情報のオブジェクト生成時に各オブジェクトのデータ量を計算してオブジェクトの情報としてRAM1039に記憶しておき、この値の総和から文字、イメージ、図形のそれぞれの属性を有するオブジェクトのデータ量を求める。
【0077】
次に、S82で、CPU1034は、各属性に含まれるオブジェクトのデータ量の中で、文字属性を有するオブジェクトのデータ量が最も多いか否かを判断する。ここで、CPU1034が文字属性を有するオブジェクトのデータ量が最も多いと判断した場合は、S83で、CPU1034は、入力されるPDLデータに対して、特徴情報抽出方法として文字コード特徴情報抽出方法を選択して、本処理を終了する。
【0078】
一方、S82で、CPU1034は、各属性に含まれるオブジェクトのデータ量の中で、イメージ属性を有するオブジェクトのデータ量が最も多くないと判断した場合は、S84に進む。そして、S84で、CPU1034は、各属性に含まれるオブジェクトのデータ量の中で、イメージ属性を有するオブジェクトのデータ量が最も多いか否かを判断する。ここで、CPU1034がイメージ属性を有するオブジェクトのデータ量が最も多いと判断した場合は、S85で、CPU1034は入力されたPDLデータに対して、特徴情報抽出方法としてイメージ特徴情報抽出方法を選択して、本処理を終了する。
【0079】
一方、S84で、CPU1034がイメージ属性のオブジェクトのデータ量が最も多くないと判断した場合は、S86で、CPU1034は、入力されたPDLデータに対して、特徴情報抽出方法として図形特徴情報抽出方法を選択して、本処理を終了する。
【0080】
このように、CPU1034は、計算された各属性に含まれるオブジェクトのデータ量のうち最も大きい値の属性に対応する特徴情報抽出方法を選択して、本処理を終了する。
【0081】
なお、登録文書管理部1312により管理される図1に示した文書管理テーブル1401は、特徴情報の抽出に用いられた特徴情報抽出方法を示す情報、抽出された特徴情報、データの種別、登録画像データが、例えば図9に示すように登録されている。
【0082】
例えば、コピー文書で文字領域のビットマップデータのバイト数が最も多い場合には、図9に示す1行目のように特徴情報抽出方法として文字コード特徴情報抽出方法を用いて特徴情報Aが抽出され、ビットマップデータの状態で文書1のデータが登録される。
【0083】
また、PDLデータに基づく画像データを登録した場合であって、イメージ領域のデータ量が最も多い場合には、図9に示す2行目のように特徴情報抽出方法としてイメージ特徴情報抽出方法を用いて特徴情報Bが抽出される。そして、画像中間情報の状態で文書2のデータが登録される。
【0084】
このようにして文書登録処理が終わると、MFP1000は、選択された特徴情報抽出方法を示す情報と抽出された特徴情報とを二次元バーコード情報に変換する。そして、コピーまたはPDLデータで指定されたページの1ページ目の所定位置に、変換された二次元バーコード情報を付加して1ページのみ出力する。ここで、所定位置は、自動的又はユーザが指定した位置として指定することが可能に構成されている。
【0085】
例えば文字領域のビットマップデータのバイト数が最も多く、特徴情報として特徴情報Aが抽出された場合には、図10に示すように、登録対象の画像データに二次元バーコードAの画像データが付加される。この二次元バーコードAには、特徴情報抽出方法を示す識別情報として、文字コード特徴情報抽出方法を示す情報が、また、特徴情報として、特徴情報Aが書き込まれている。
【0086】
<文書検索機能>
図11は、本実施形態の画像処理装置における第5のデータ処理手順の一例を示すフローチャートである。本例は、文書検索機能処理例である。なお、S111〜S117は各ステップを示す。
【0087】
また、各ステップは、CPU1034がROM1300に記憶された制御プログラムをRAM1039にロードして実行することで実現される。
【0088】
ユーザがMFP1000の操作パネル部1041において、図2の文書管理ボタン2009を押すと、CPU1034の表示制御により図3のようにタッチパネル上に文書登録ボタン3001と文書検索ボタン3002を選択するための画面が表示される。
【0089】
ここで、ユーザがタッチパネル上の文書検索ボタン3002を押すと、CPU1034による文書検索処理が開始される。
【0090】
まず、S111で、プリンタ装置1100で印刷された、二次元バーコードAが所定位置に印刷された印刷物上の画像を、スキャナ部1200が読み取る。そして、CPU1034は、読み取られた印刷物上の画像に含まれる二次元バーコードAの内容を認識する。
【0091】
次に、S112で、CPU1034は、画像情報として読み取られる二次元バーコードAの解析によって、画像データを登録する際に用いられた特徴情報抽出方法を認識する。そして、認識した特徴情報抽出方法を、検索対象の画像データの特徴情報を抽出するために用いる特徴情報抽出方法として選択する第2の選択処理を実行する。
【0092】
次に、S113で、CPU1034は、選択された特徴情報抽出方法を用いて、検索対象の画像データから特徴情報を抽出する。更に、S114で、CPU1034は、抽出された特徴情報に基づいて、図1に示した外部メモリ1043に記憶される文書管理テーブル1401を検索し、特徴情報が一致する文書を見つけ出す。次に、S115で、CPU1034は、ユーザが操作パネル部1041で文書を印刷する指示又は文書を送信する指示のいずれの指示を行っているかを判断する。
【0093】
文書を印刷する指示が行われている場合は、S116で、外部メモリ1043に登録されている文書をプリンタ部1100に送信して印刷して、本処理を終了する。
【0094】
具体的には、文書の登録画像がビットマップデータの場合には、CPU1034は、このビットマップデータをビットマップ画像転送部1103、エンジンI/F部1102を介してプリンタ装置1100に送信して印刷を行う。
【0095】
また、文書の登録画像が画像中間情報の場合には、CPU1034は、ビットマップ画像展開部1004により画像中間情報をビットマップ画像に展開する。そして、CPU1034は、展開したビットマップ画像をビットマップ画像転送部1103、エンジンI/F部1102を通してプリンタ部1100に送信して印刷を行う。
【0096】
一方、ユーザにより文書の送信が指示されている場合は、ユーザにタッチパネルから送信先のアドレスを入力させる。そして、CPU1034は、登録画像がビットマップデータの場合には、このビットマップデータを入出力バッファ1033、入出力部1032を介して、ユーザから入力されたアドレスに送信する。なお、CPU1034は、送信するビットマップデータに圧縮処理、暗号化処理を施した後、送信するように構成してもよい。
【0097】
一方、登録画像が画像中間情報の場合には、CPU1034は、ビットマップ画像展開部1004により画像中間情報をビットマップデータに展開する。そして、CPU1034は、展開したビットマップデータを入出力バッファ1033、入出力部1032を介してユーザから入力されたアドレスに送信する。
【0098】
なお、上述の説明では、特徴情報の抽出に用いられた特徴情報抽出方法を示す情報をバーコード情報にして画像データの1ページ目に付加して出力する場合について説明した。
【0099】
これに対して、図10に示したバーコード情報の代わりに、用紙に付加されたRFIDのタグに図9に示す情報を埋め込んだり、文書の中に電子透かしとして図9に示す情報を埋め込んだりするようにしてもよい。
【0100】
上記のように、複数の特徴情報抽出方法の中から1つの特徴情報抽出方法を選択することによって、複数の特徴情報抽出方法をそれぞれ用いて特徴情報を抽出する必要が無くなり、文書の登録又は検索処理を高速化することが可能となる。
【0101】
また、登録する特徴情報を1種類とする事により、外部メモリ1043に保持しておく特徴情報の量を減らすことができる。これにより、外部メモリ1043のメモリ資源を有効に活用することができる。
【0102】
(第2の実施形態)
第1実施形態では、複数の特徴情報抽出方法の中から1つの特徴情報抽出方法を自動的に選択して文書の登録を行ったが、この特徴情報抽出方法の選択をユーザが手動で行うようにすることも可能である。以下、その実施形態について説明する。
【0103】
図12は、本実施形態の画像処理装置における第6のデータ処理手順の一例を示すフローチャートである。本例は、ユーザの指示により、コピーして文書を登録する場合の文書登録処理例である。なお、S121〜S125は各ステップを示す。
【0104】
また、各ステップは、CPU1034がROM1300に記憶された制御プログラムをRAM1039にロードして実行することで実現される。
【0105】
ユーザが操作パネル部1041を操作して、図2に示した文書管理ボタン2009を押すと、CPU1034の表示制御により表示画面が図3に示す表示画面に切り替わる。
【0106】
ここで、ユーザがタッチパネルに表示される文書登録ボタン3001と文書検索ボタン3002のうち、文書登録ボタン3001を選択する指示を行うと、文書登録処理が開始される。
【0107】
まず、図13に示す特徴情報抽出方法の選択を行うためのユーザインタフェースがタッチパネルに表示される。そして、S121で、CPU1034は、タッチパネルに表示される、例えば3つの特徴情報抽出方法の中からいずれかの特徴情報抽出方法をユーザが選択する。
【0108】
図13は、図2に示したタッチパネルに表示されるユーザインタフェースの一例を示す図である。本例は、ユーザが手動で、特徴情報抽出方法を選択するための画面例である。
【0109】
図13において、14001は文字ボタンで、タッチパネルに表示される文字ボタン14001がユーザの操作で選択された場合に、特徴情報抽出方法として文字コード特徴情報抽出方法が選択される。
【0110】
14002はイメージボタンで、タッチパネルに表示されるイメージボタン14002がユーザの操作で選択された場合に、特徴情報抽出方法としてイメージ特徴情報抽出方法が選択される。
【0111】
14003は図形ボタンで、タッチパネルに表示される図形ボタン14003がユーザの操作で選択された場合に、特徴情報抽出方法として図形特徴情報抽出方法が選択される。
【0112】
このようして特徴情報抽出方法が選択された後、ユーザがスタートキー2002を押下すると、S122へ進む。そして、S122で、CPU1034は、スキャナ部1200で原稿上の画像を読み取って画像データを生成させる。そして、スキャナI/F部1202を介してビットマップ画像受信部1203より受信した画像データを、ビットマップメモリ領域1500に展開する。
【0113】
次に、S123で、CPU1034は、ビットマップデータに対してブロック解析部1309によりブロック解析を行う。そして、S124で、CPU1034は、選択された特徴情報抽出方法を用いて特徴情報の抽出を行う。
【0114】
次に、S125で、CPU1034は、S124で抽出した特徴情報とコピー文書の全ビットマップデータを登録文書管理部1312により文書管理テーブル1401に登録して、本処理を終了する。
【0115】
図14は、本実施形態の画像処理装置における第7のデータ処理手順の一例を示すフローチャートである。本例は、S121の特徴情報抽出方法の選択処理例である。なお、S131〜S136は各ステップを示す。
【0116】
また、各ステップは、CPU1034がROM1300に記憶された制御プログラムをRAM1039にロードして実行することで実現される。
【0117】
図12に示すS121で、ユーザは、操作パネル部1041のタッチパネルに表示される図13に示すユーザインタフェースを介して、特徴情報抽出方法の選択処理を開始する。
【0118】
まず、S131で、ユーザが文字ボタン14001、イメージボタン14002、図形ボタン14003のいずれかを選択し、いずれかの特徴情報抽出方法を選択する。次に、S132で、CPU1034は、文字ボタン14001により文字コード特徴情報抽出方法をユーザが選択しているかどうかを判断する。
【0119】
ここで、CPU1034が文字ボタン14001をユーザが選択していると判断した場合は、CPU1034は、S133で、文字コード特徴情報抽出方法を選択して、本処理を終了する。
【0120】
一方、S132で、CPU1034が文字ボタン14001を選択していないと判断した場合は、S134で、CPU1034は、ユーザがイメージボタン14002によりイメージ特徴情報抽出方法を選択しているかどうかを判断する。
【0121】
ここで、CPU1034がユーザがイメージボタン14002を選択していると判断した場合は、CPU1034は、S135で、イメージ特徴情報抽出方法を選択して、本処理を終了する。
【0122】
一方、S134で、ユーザがイメージボタン14002を選択していないと判断した場合は、CPU1034は、ユーザが図形ボタン14003を選択していると判断して、S136で、CPU1034は、図形特徴情報抽出方法を選択して、本処理を終了する。
【0123】
次に、ユーザの指示により、PDLデータとして文書を登録する場合の文書登録処理について説明する。
【0124】
図15は、本実施形態の画像処理装置における第8のデータ処理手順の一例を示すフローチャートである。本例は、PDLデータとして文書を登録する処理例である。なお、S151〜S154は各ステップを示す。
【0125】
また、各ステップは、CPU1034がROM1300に記憶された制御プログラムをRAM1039にロードして実行することで実現される。
【0126】
図2に示した操作パネル部1041において、ユーザが文書管理ボタン2009を押すと、タッチパネルに表示される画面が、CPU1034の制御により図2に示した画面表示から図3に示した画面表示に切り替わる。そして、図3に示す画面において、ユーザの操作で、文書登録ボタン3001と文書検索ボタン3002のいずれかを選択する指示を行う。
【0127】
ここで、ユーザの操作で文書登録ボタン3001が選択された場合に、本文書登録処理が開始される。
【0128】
まず、CPU1034の表示制御により、図13に示した特徴情報抽出方法の選択を行う画面がタッチパネルに表示される。そして、S151で、いずれかの特徴情報抽出方法を選択するため、ユーザがタッチパネルに表示された文字ボタン140001、イメージボタン140002、図形ボタン140003のいずれかを選択する。なお、特徴情報抽出方法の選択は、コピーの場合と同じで、図14で示した通りである。
【0129】
そして、ユーザがタッチパネルにより特徴情報抽出方法の選択が行われると、PC1501、1502等よりネットワーク2000を介してPDLデータを受信するのを待機する。
【0130】
そして、S152で、CPU1034は、PC1501、1502等より受信したPDLデータをPDLデータ解釈部1302により解釈して印刷オブジェクトを画像中間情報生成部1303により画像中間情報を生成する。
【0131】
次に、S153で、CPU1034は、S151でユーザにより選択されたいずれかの特徴情報抽出方法により、生成された画像中間情報から特徴情報を抽出する。
【0132】
なお、具体的には、CPU1034は、ユーザにより選択された特徴情報抽出方法に対応して、ROM1300に記憶された文字コード特徴情報抽出部1305、イメージ特徴情報抽出部1306、図形特徴情報抽出部1307のうちいずれかを実行する。
【0133】
次に、S154で、CPU1034は、S153で抽出した特徴情報と文書の画像中間情報とを、登録文書管理部1312により文書管理テーブル1401に登録して、本処理を終了する。
【0134】
なお、以上のようにして文書登録処理が終わると、MFP1000は、第1の実施形態と同様に、選択された特徴情報抽出方法を示す情報と抽出された特徴情報とを二次元バーコード情報に変換する。そして、コピーまたはPDLデータで指定されたページの1ページ目の所定位置に、変換された二次元バーコード情報を付加して1ページのみ出力する。
【0135】
このように特徴情報抽出方法をユーザが選択することによって、ブロック解析の処理を省くことができ、特徴情報抽出方法の選択処理が短くなり、文書登録時の処理時間を削減することが可能となる。
【0136】
なお、特徴情報抽出方法の選択を自動的に行うか、ユーザに選択させるかをユーザに問い合わせて、ユーザ選択による処理を優先して処理するように制御してもよい。
【0137】
また、特徴情報抽出方法の選択を自動的に行うか、ユーザに選択させるかをモードとしてNVRAM1400に登録し、電源投入時の初期設定で、CPU1034が実行すべき特徴情報抽出方法の選択処理を、切り換え制御してもよい。
【0138】
(第3の実施形態)
第1および第2の実施形態においては、1台のデジタル複合機により文書の登録、検索、管理を行っていたが、特徴情報と文書を管理するサーバを利用したシステムの構築も可能である。以下、その実施形態について説明する。
【0139】
図16は、本実施形態の文書検索システムに適用可能な画像処理装置の構成を説明するブロック図である。なお、本例は、スキャナ部とプリンタ部とを備えるデジタル複合機(MFP(Multi Function Peripheral))の例を示す。なお、図1と同一のものには同じ符号を付してある。また、図16に示すシステム構成は、第1実施形態とほぼ同じであるが、管理サーバにおいて文書を管理するため、登録文書管理部1312、登録文書検索部1313が存在せず、また、外部メモリ1043に文書管理テーブル1401が存在しない点が異なる。
【0140】
図17は、本実施形態の文書検索システムに適用可能なサーバ装置の構成を説明するブロック図である。
【0141】
図17において、2101は管理サーバで、図17に示したデジタル複合機1000とネットワーク2000を介して通信可能に接続されている。
【0142】
1802は制御部で、管理サーバ2101の動作を司る。制御部1802には、コンピュータ全体の動作を制御するCPU1803を備える。
【0143】
1804はプログラムROMで、CPU1803の動作を記述するプログラムが内蔵されている。1806は入出力部で、ネットワーク2000と繋がる通信線1805を介してPC1501,1502とデジタル複合機1000との制御コード、データの送受信を行う。
【0144】
1807は入出力バッファ、ネットワーク2000より入力される各種制御コードや特徴情報の送受信、各種データの送受信を行う際に利用される。
【0145】
1808はRAMで、前記制御コード、データの解釈や印刷に必要な計算、印字データの処理のためのワークメモリに利用される。また、RAM1808には、管理サーバ2101上で動作するアプリケーションソフトやドライバ等の動作を記述するプログラムであるアプリケーションプログラム(APプログラム)1809がロードされる。
【0146】
APプログラム1809には、文書登録時に文書から抽出された特徴情報と特徴情報抽出方法を示す情報を管理する登録文書管理部1810、文書検索時に検索対象の文書の特徴情報に基づいて文書を検索する登録文書検索部1811が存在する。
【0147】
1831はディスプレイコントローラで、管理サーバ2101で処理した画像をユーザに表示するディスプレイ1830を制御する。
【0148】
1833はキーボードコントローラで、ユーザからの命令を受け付けるためのキーボード1832を制御する。
【0149】
1835はメモリI/F部で、印字データや様々なホストコンピュータの情報等の保存に利用されるハードディスクなどの不揮発性メモリである外部メモリ1834を制御する。
【0150】
なお、外部メモリ1834には、受け取った登録文書を、該登録文書の電子データと、抽出された特徴情報、特徴情報抽出方法を示す情報を共に管理しておく文書管理テーブル1850が存在する。
【0151】
1840はシステムバスで、CPU1803と各デバイスとを接続する。
【0152】
以下、管理サーバ2101による文書登録処理について説明する。
【0153】
図18は、本実施形態を示す画像処理装置における第9のデータ処理手順の一例を示すフローチャートである。本例は、管理サーバ2101を利用した場合にユーザの指示により、コピー文書を登録する処理例である。なお、S191〜S195は各ステップを示す。
【0154】
また、各ステップは、CPU1034がROM1300に記憶された制御プログラムをRAM1039にロードして実行することで実現される。
【0155】
さらに、S191〜S194は、図4に示したS41〜S44と同様であるため、その処理の説明は省略する。
【0156】
S195で、CPU1034は、特徴情報と特徴情報抽出方法を示す情報とを電子データの文書を入出力部1032から管理サーバ2101に送信して、文書登録処理を終了する。
【0157】
次に、ユーザの指示により、PDLデータとして文書を登録する場合の文書登録処理について説明する。
【0158】
図19は、本実施形態の画像処理装置における第10のデータ処理手順の一例を示すフローチャートである。本例は、管理サーバ2101を利用した場合にユーザより、コピーして文書を登録する処理例である。なお、S201〜S204は各ステップを示す。
【0159】
また、各ステップは、CPU1034がROM1300に記憶された制御プログラムをRAM1039にロードして実行することで実現される。
【0160】
この場合、S204で、CPU1034は、特徴情報と特徴情報抽出方法と電子データの文書を入出力部1032から管理サーバ2101に送信して、文書登録処理を終了する。
【0161】
管理サーバ2101では、デジタル複合機1000から特徴情報、特徴情報抽出方法を示す情報と電子化された文書を受け取ると、CPU1803が登録文書管理部1810を実行して、文書管理テーブル1850に各データを登録して文書登録処理を完了する。
【0162】
図20は、本実施形態の画像処理装置における第11のデータ処理手順の一例を示すフローチャートである。本例は、管理サーバ2101を利用した場合にユーザの指示により、文書検索機能における処理例である。なお、S211〜S218は各ステップを示す。さらに、本実施形態では、文書検索処理フローにおいて基本的には、図11の処理と同じであるが、特徴情報抽出方法と特徴情報に合致する文書を選択する部分処理であるS113が異なる。
【0163】
本処理においては、特徴情報を抽出した後、S213で、入出力部1032より抽出した特徴情報を管理サーバ2101に送信する。
【0164】
すると、管理サーバ2101では、CPU1803が登録文書検索部1811を実行して、特徴情報抽出方法と特徴情報が合致する文書を文書管理テーブル1850から検索し、入出力部1806からデジタル複合機1000に送信される。
【0165】
次に、S214で、デジタル複合機1000は、特徴情報に合致する文書を管理サーバ2101より受信する。そして、S215〜S218において、図11のS115〜S117と同様の処理を実行して、印刷あるいは送信の処理を行い、文書検索処理を終了する。
【0166】
本実施形態によれば、特徴情報と文書を管理する管理サーバを利用したシステムの構築することによって、各々のデジタル複合機から文書を検索することが可能となる。これにより、個々に文書管理テーブルを用意する必要が無く登録文書の重複管理の防止や登録文書の一元管理を行うことが可能となる。
【0167】
なお、上記第1〜第3の実施形態では、画像の登録時にビットマップデータあるいは画像中間情報を用いているが、登録されている情報の容量を小さくするために圧縮して保持しておくことも可能である。
【0168】
また、上記実施形態では、特徴情報抽出方法として文字コード、イメージのヒストグラム、図形のベクトル化の各特徴情報抽出方法を用いているが、他の特徴情報抽出方法を加えて、あるいは置き換えて利用することも可能である。
【0169】
さらに、複数の特徴情報抽出方法の中から1つの特徴情報抽出方法を選択することによって、特徴情報の計算が1つになり、複数の特徴情報を抽出する必要が無くなり、処理を高速化することができる。
【0170】
また、登録する特徴情報が1種類となる事により、保持しておく特徴情報の量を減らすことができ、登録文書管理部が保存しておくデータの容量を削減することができる。
【0171】
また、特徴情報抽出方法をユーザが選択することによって、ブロック解析の処理を省くことができ、特徴情報抽出方法の選択処理が短くなり、文書登録時の処理時間を削減することができる。
【0172】
また、登録する時に利用した文書をそのまま検索にも利用することによって、余分な検索用のページを印刷することがなく、登録時の文書のみを保持することによって、容易に元の登録文書を検索することができる。
【0173】
また、特徴情報と文書を管理するサーバを利用したシステムの構築することによって、各々のデジタル複合機から文書を検索することを可能とし、個々に文書管理テーブルを用意する必要が無く登録文書の重複管理の防止や登録文書の一元管理を行うことができる。
【0174】
(第4の実施形態)
以下、図21に示すメモリマップを参照して本発明に係る画像処理装置で読み取り可能なデータ処理プログラムの構成について説明する。
【0175】
図21は、本発明に係る画像処理装置で読み取り可能な各種データ処理プログラムを格納する記憶媒体のメモリマップを説明する図である。
【0176】
なお、特に図示しないが、記憶媒体に記憶されるプログラム群を管理する情報、例えばバージョン情報,作成者等も記憶され、かつ、プログラム読み出し側のOS等に依存する情報、例えばプログラムを識別表示するアイコン等も記憶される場合もある。
【0177】
さらに、各種プログラムに従属するデータも上記ディレクトリに管理されている。また、各種プログラムをコンピュータにインストールするためのプログラムや、インストールするプログラムが圧縮されている場合に、解凍するプログラム等も記憶される場合もある。
【0178】
本実施形態における図4〜図6,図8,図11,図12,図14,図15,図18〜図20に示す機能が外部からインストールされるプログラムによって、ホストコンピュータにより遂行されていてもよい。そして、その場合、CD−ROMやフラッシュメモリやFD等の記憶媒体により、あるいはネットワークを介して外部の記憶媒体から、プログラムを含む情報群を出力装置に供給される場合でも本発明は適用されるものである。
【0179】
以上のように、前述した実施形態の機能を実現するソフトウエアのプログラムコードを記録した記憶媒体を、システムあるいは装置に供給する。そして、そのシステムあるいは装置のコンピュータ(またはCPUやMPU)が記憶媒体に格納されたプログラムコードを読出し実行することによっても、本発明の目的が達成されることは言うまでもない。
【0180】
この場合、記憶媒体から読み出されたプログラムコード自体が本発明の新規な機能を実現することになり、そのプログラムコードを記憶した記憶媒体は本発明を構成することになる。
【0181】
従って、プログラムの機能を有していれば、オブジェクトコード、インタプリタにより実行されるプログラム、OSに供給するスクリプトデータ等、プログラムの形態を問わない。
【0182】
プログラムを供給するための記憶媒体としては、例えばフレキシブルディスク、ハードディスク、光ディスク、光磁気ディスク、MO、CD−ROM、CD−R、CD−RW、磁気テープ、不揮発性のメモリカード、ROM、DVDなどを用いることができる。
【0183】
この場合、記憶媒体から読出されたプログラムコード自体が前述した実施形態の機能を実現することになり、そのプログラムコードを記憶した記憶媒体は本発明を構成することになる。
【0184】
その他、プログラムの供給方法としては、クライアントコンピュータのブラウザを用いてインターネットのホームページに接続する。そして、該ホームページから本発明のコンピュータプログラムそのもの、もしくは、圧縮され自動インストール機能を含むファイルをハードディスク等の記録媒体にダウンロードすることによっても供給できる。また、本発明のプログラムを構成するプログラムコードを複数のファイルに分割し、それぞれのファイルを異なるホームページからダウンロードすることによっても実現可能である。つまり、本発明の機能処理をコンピュータで実現するためのプログラムファイルを複数のユーザに対してダウンロードさせるWWWサーバやftpサーバ等も本発明の請求項に含まれるものである。
【0185】
また、本発明のプログラムを暗号化してCD−ROM等の記憶媒体に格納してユーザに配布し、所定の条件をクリアしたユーザに対し、インターネットを介してホームページから暗号化を解く鍵情報をダウンロードさせる。そして、その鍵情報を使用することにより暗号化されたプログラムを実行してコンピュータにインストールさせて実現することも可能である。
【0186】
また、コンピュータが読み出したプログラムコードを実行することにより、前述した実施形態の機能が実現されるだけではない。例えばそのプログラムコードの指示に基づき、コンピュータ上で稼働しているOS(オペレーティングシステム)等が実際の処理の一部または全部を行う。そして、その処理によって前述した実施形態の機能が実現される場合も含まれることは言うまでもない。
【0187】
さらに、記憶媒体から読み出されたプログラムコードが、コンピュータに挿入された機能拡張ボードやコンピュータに接続された機能拡張ユニットに備わるメモリに書き込ませる。その後、そのプログラムコードの指示に基づき、その機能拡張ボードや機能拡張ユニットに備わるCPU等が実際の処理の一部または全部を行い、その処理によって前述した実施形態の機能が実現される場合も含まれることは言うまでもない。
【0188】
本発明は上記実施形態に限定されるものではなく、本発明の趣旨に基づき種々の変形(各実施形態の有機的な組合せを含む)が可能であり、それらを本発明の範囲から除外するものではない。
【0189】
本発明の様々な例と実施形態を示して説明したが、当業者であれば、本発明の趣旨と範囲は、本明細書内の特定の説明に限定されるのではない。
【図面の簡単な説明】
【0190】
【図1】本実施形態の文書検索システムに適用可能な画像処理装置の構成を説明するブロック図である。
【図2】図1に示した操作パネル部の構成を説明する平面図である。
【図3】図1に示した操作パネル部の構成を説明する平面図である。
【図4】本実施形態を示す画像処理装置における第1のデータ処理手順の一例を示すフローチャートである。
【図5】本実施形態を示す画像処理装置における第2のデータ処理手順の一例を示すフローチャートである。
【図6】本実施形態を示す画像処理装置における第3のデータ処理手順の一例を示すフローチャートである。
【図7】本実施形態を示す情報処理装置の表示装置に表示されるユーザインタフェース(UI)の一例を示す図である。
【図8】本実施形態を示す画像処理装置における第4のデータ処理手順の一例を示すフローチャートである。
【図9】図1に示した文書管理テーブルの一例を示す図である。
【図10】図1に示した外部メモリに登録される文書の一例を示す図である。
【図11】本実施形態を示す画像処理装置における第5のデータ処理手順の一例を示すフローチャートである。
【図12】本実施形態を示す画像処理装置における第6のデータ処理手順の一例を示すフローチャートである。
【図13】図2に示したタッチパネルに表示されるユーザインタフェースの一例を示す図である。
【図14】本実施形態を示す画像処理装置における第7のデータ処理手順の一例を示すフローチャートである。
【図15】本実施形態を示す画像処理装置における第8のデータ処理手順の一例を示すフローチャートである。
【図16】本実施形態の文書検索システムに適用可能な画像処理装置の構成を説明するブロック図である。
【図17】本実施形態の文書検索システムに適用可能なサーバ装置の構成を説明するブロック図である。
【図18】本実施形態を示す画像処理装置における第9のデータ処理手順の一例を示すフローチャートである。
【図19】本実施形態を示す画像処理装置における第10のデータ処理手順の一例を示すフローチャートである。
【図20】本実施形態を示す画像処理装置における第11のデータ処理手順の一例を示すフローチャートである。
【図21】本発明に係る画像処理装置で読み取り可能な各種データ処理プログラムを格納する記憶媒体のメモリマップを説明する図である。
【符号の説明】
【0191】
1000 デジタル複合機
1031 制御ユニット
1034 CPU
1039 RAM
1041 操作パネル部
1100 プリンタ部
1200 スキャナ部
【技術分野】
【0001】
本発明は、画像データの特徴を示す特徴情報を抽出して登録する画像処理装置、画像処理方法、プログラム、記憶媒体に関するものである。
【背景技術】
【0002】
近年、パーソナルコンピュータ等のOA機器が普及し、オフィスで使用される文書もパーソナルコンピュータ上のアプリケーションによって作成されることが多くなっている。また、紙などの記録媒体上に印刷された文書も、スキャナ装置などを用いて読み取ることにより電子的な画像データに変換され、容易に受け渡しすることが可能となっている。
【0003】
このように、電子化された文書が日常的に取り扱われるようになったことに伴い、作成された文書をデータベースに蓄積して管理する文書管理システムが数多く提案されてきている。これらの文書管理システムでは、単に文書を記憶しておくだけでなく、予め文書に対応する画像データに基づいて特徴情報を抽出しておき、この特徴情報を使って文書を検索することも可能となっている。
【0004】
ところで、このような文書管理システムでは、画像データから特徴情報を抽出する際に、画像データに含まれるオブジェクトの属性に応じて、それぞれ異なる抽出方法を用いて特徴情報を抽出する必要がある。
【0005】
例えば、特許文献1記載の方法では、文書を登録する際に、当該文書に含まれるテキストに基づいて抽出されたテキスト特徴情報と、当該文書に含まれるイメージに基づいて抽出されたイメージ特徴情報とをメモリに保持しておく。そして、文書を検索する際には、検索対象の文書のイメージデータに対して文字認識処理を行い、得られたテキストに基づいてテキスト特徴情報を取得するとともに、当該検索対象の文書のイメージ特徴情報も取得し、これらの特徴情報を用いて文書を検索する。
【特許文献1】特開2004−334334号公報
【発明の開示】
【発明が解決しようとする課題】
【0006】
しかしながら、上記特許文献1の文書管理システム例では、文書をデータベースに蓄積して管理する際に、テキスト特徴情報とイメージ特徴情報の2種類の特徴情報を常に抽出する必要がある。
【0007】
このため、特徴情報の抽出のための処理に時間がかかってしまうとともに、文書管理システム自体に負荷がかかってしまうという問題がある。また、文書をデータベースに蓄積して管理する場合に、常に複数種類の特徴情報を登録しなければならず、特徴情報を蓄積するために必要なメモリ容量が増加してしまうという問題がある。
【0008】
一方、上述したように1つの文書に対して複数種類の抽出方法を用いてそれぞれ特徴情報を抽出するのではなく、複数種類の抽出方法のうち、いずれか1つの抽出方法のみを用いて特徴情報を抽出するようにすることも考えられる。
【0009】
しかしながら、この場合、文書を検索しようとしたときに、文書登録時に用いた抽出方法と異なる抽出方法を用いて特徴情報を抽出してしまうと、たとえ同じ文書であっても異なる値の特徴情報が抽出されてしまい、適切に文書の検索を行うことができない。これに対処するためには、文書登録時に用いた抽出方法をユーザが覚えておかなければならず、使い勝手が良くないという問題がある。また、そもそも他人が登録した文書を検索する際には、文書登録時にどの抽出方法が用いられたかを検索者が知るよしもなく、所望の文書を見つけ出すためには複数の抽出方法をそれぞれ用いて特徴情報を抽出し検索する必要があるため、やはり使い勝手が良くない。
【0010】
本発明は、上記の問題点に鑑みなされたものであり、登録対象の画像データから特徴情報を抽出して登録するとともに、当該画像データとともに、特徴情報を抽出する際に用いられた抽出方法を示す識別情報を出力する仕組みを提供することを目的とする。
【課題を解決するための手段】
【0011】
上記の目的を達成するために本発明の画像処理装置は、登録対象の画像データを記憶する記憶手段と、複数の抽出方法のいずれかを選択する第1の選択手段と、前記第1の選択手段により選択された抽出方法を用いて、前記登録対象の画像データの特徴を示す特徴情報を、当該登録対象の画像データから抽出する抽出手段と、前記抽出手段により抽出された特徴情報を登録する登録手段と、前記第1の選択手段により選択された抽出方法を示す識別情報とともに、前記登録対象の画像データを出力する出力手段とを備えることを特徴とする。
【0012】
また、本発明の画像処理方法は、複数の抽出方法のいずれかを選択する第1の選択工程と、前記第1の選択工程で選択された抽出方法を用いて、前記登録対象の画像データの特徴を示す特徴情報を、当該登録対象の画像データから抽出する抽出工程と、前記抽出工程で抽出された特徴情報を登録する登録工程と、前記第1の選択工程で選択された抽出方法を示す識別情報とともに、前記登録対象の画像データを出力する出力工程と、を備えることを特徴とする。
【発明の効果】
【0013】
本発明によれば、登録対象の画像データから特徴情報を抽出して登録するとともに、当該画像データとともに、特徴情報を抽出する際に用いられた抽出方法を示す識別情報を出力することにより、検索時に適切な抽出方法を選択することが可能となる。
【発明を実施するための最良の形態】
【0014】
以下、図面を参照して本発明の実施の形態を詳しく説明する。尚、以下の実施の形態は特許請求の範囲に係る発明を限定するものでなく、また実施の形態で説明されている特徴の組み合わせの全てが発明の解決手段に必須のものとは限らない。
【0015】
(第1の実施形態)
まず、第1の実施形態として説明する文書検索システムにおける画像処理装置の一例としてデジタル複合機の構成例を説明する。
【0016】
図1は、本実施形態の文書検索システムにおける画像処理装置の構成を説明するブロック図である。なお、本例は、スキャナ部とプリンタ部とを備えるMFP(Multi Function Peripheral)の例を示す。また、スキャナ部とプリンタ部は、画像処理装置から分離された他の機器として、画像処理装置と通信可能に接続されて構成されるようにしても構わない。また、本実施形態では、画像処理装置と情報処理装置とがネットワークを介して通信する例を示すが、画像処理装置と情報処理装置とが双方向通信するローカルインタフェースを介して接続される文書検索システムにも本発明を適用可能である。
【0017】
図1において、MFP1000は、大きく分けて、装置全体の動作を司る制御ユニット1031、記録媒体への出力画像の印刷を行うプリンタ部1100、原稿上の画像を読み取って画像データを生成し、装置内部に取り込むスキャナ部1200からなる。
【0018】
なお、プリンタ部1100は、エンジン制御部1101を備える。また、スキャナ部1200は、スキャナ制御部1201を備える。なお、スキャナ部1200は、CCD等のイメージセンサを備えて、走査露光される反射光を受光して、原稿上の画像を読み取る。ここで、原稿には、カラー原稿、モノクロ原稿などが含まれ、原稿上の画像には、イメージ、文字、図形等の属性の異なるオブジェクトが混在している場合がある。
【0019】
入出力部1032は、ネットワーク2000に繋がる通信線1002を介して、ネットワーク上のクライアント端末(PC1501,PC1502)やサーバ端末との間のデータ送受信を司る。
【0020】
1033は入出力バッファで、ネットワーク2000より入力される印刷のための制御コードや各種PDL(Page Description Language)データを含む各種データや装置内の各種データの送受信を行う際に利用される。
【0021】
1034はCPUで、制御ユニット1031全体の動作を制御する。1300はプログラムROMで、CPU1034により実行されるプログラムが格納されている。なお、プログラムROM1300に格納される各モジュールの詳細については後述する。
【0022】
1039はRAMで、上述した制御コードやデータの解釈や、プリンタ部1100による印刷動作やスキャナ部1200により画像の読取動作等に必要な計算、入出力される画像データの処理のためのワークメモリとして利用される。
【0023】
1400はNVRAMで、装置の電源が遮断されても保持しておく必要のある各種設定を含むデータを格納する。なお、RAM1039内には、展開されたビットマップ画像を保持するためのビットマップメモリ領域1500が備えられている。
【0024】
1043は外部メモリで、印刷データや外部より入力された画像データ、印刷装置の各種情報等の保存に利用される。外部メモリ1043はメモリI/F部1044を介して制御ユニット1031と接続されている。
【0025】
プログラムROM1300内の各モジュールはそれぞれ以下の役割を果たす。制御データ解釈部1301は、ホストコンピュータから受信した印刷制御データを解釈する。PDLデータ解釈部1302は、PDLデータを解釈する。画像中間情報生成部1303は、ビットマップに展開される前の各種の画像オブジェクトを生成する。
【0026】
ビットマップ画像展開部1304は、画像オブジェクトをビットマップ画像に展開する。1305は文字コード特徴情報抽出部で、ブロック解析部1309/PDLデータ解析部1308の結果から、登録対象または検索対象の画像データのテキスト領域から文字コードを認識し、文字コード特徴情報として抽出する。
【0027】
1306はイメージ特徴情報抽出部で、登録対象または検索対象の画像データのイメージ領域から色のヒストグラムを抽出し、イメージ特徴情報を抽出する。1307は図形特徴情報抽出部で、登録対象または検索対象の画像データの図形領域から図形のベクトル情報を抽出し、図形特徴情報として抽出する。
【0028】
1308はPDLデータ解析部で、PDLデータに基づく画像データを登録する際に、画像データに含まれる各オブジェクトのそれぞれについて、テキスト、イメージ、図形を判別して抽出する。
【0029】
1309はブロック解析部で、スキャナ部1200で生成されたビットマップ画像から文書内のテキスト、イメージ、図形を判別して抽出する。
【0030】
1310は特徴情報抽出方法選択部で、3種類の特徴情報抽出方法の中からいずれか1つの特徴情報抽出方法を選択する。具体的には、特徴情報抽出方法選択部1310が文字コード特徴情報抽出部1305、イメージ特徴情報抽出部1306、図形特徴情報抽出部1307の中からいずれかを選択する。
【0031】
登録文書管理部1312は、外部メモリ1043内の文書管理テーブル1401に登録されている文書を管理する。登録文書検索部1313は、文書管理テーブル1401に登録されている文書の中から所定の文書を検索する。なお、文書管理テーブル1401には、登録文書に対応する画像データとともに、当該画像データから抽出された、当該画像データの特徴を示す特徴情報が登録されている。
【0032】
1311は特徴情報抽出方法設定部で、登録されている文書を検索するための仕組みとして、対象となる文書の検索に利用する特徴情報を抽出するための抽出方法を複数の特徴情報抽出方法の中から選択し、設定する。
【0033】
1103はビットマップ画像転送部で、ビットマップ画像展開部1304によって展開されたビットマップ画像や、スキャナ部1200より生成されたビットマップ画像等をエンジンI/F部1102を介してプリンタ部1100に転送する。
【0034】
また、1202はスキャナI/F部で、スキャナ部1200と制御ユニット1031とを繋いでいる。1203はビットマップ画像受信部で、スキャナ部1200により生成されたビットマップ画像を取り込む。
【0035】
1041は操作パネル部で、ユーザ毎にコマンドの制限を行う情報の入力や、機器全体の操作、および、エラーや操作ガイドなどの表示を、ユーザインタフェースを介して行う。なお、操作パネル部1041と制御ユニット1031とは、パネルI/F部1042と、システムバス1045とを介して接続されている。システムバス1045は、上記各デバイスとCPU1034とを接続する。
【0036】
図2、図3は、図1に示した操作パネル部1041の構成を説明する平面図である。図2、図3において、操作パネル部1041は、登録されている登録画像や印刷状況等のMFP1000の各種情報を表示する液晶パネル2001を備える。
【0037】
液晶パネル2001はタッチパネルとなっており、ユーザが触れた場合に、その入力を検知して、画面から、文字情報の入力等を行うことが可能となっている。ユーザは、後述する第2の実施形態において、液晶パネル2001を操作することで、画像データを登録する際の特徴情報抽出方法の選択と、画像データを検索する際の特徴情報抽出方法の選択とを行えるように構成されている。
【0038】
また、操作パネル部1041には、コピー等のスタートを指示するスタートキー2002、機器のリセットを行うリセットキー2004、電源のON/OFFを切り替える電源スイッチ2003を備える。
【0039】
また、操作パネル部1041には、コピー枚数等を指定するためのテンキー2005、液晶パネル2001に表示されているカーソルの移動や表示されている機能の選択を行うときに利用するカーソルキーと決定キー2006を備える。さらに、操作パネル部1041は、MFPの各機能を使用する際に選択するコピーキー2007、送信キー2008、文書管理ボタン2009を備える。
【0040】
2020はログインキーで、利用するユーザを識別し、認証する際に押下される。
【0041】
なお、図2に示した文書管理ボタン2009が押下された場合には、図3に示す文書登録ボタン3001及び文書検索ボタン3002が操作パネル部1041に表示される。
【0042】
<文書登録機能>
本機能は、文書に対応する画像データを登録する際に、複数の特徴情報抽出方法のいずれかを選択する第1の選択処理を実行し、選択された特徴情報抽出方法を用いて画像データの特徴情報を抽出し、抽出した特徴情報を画像データとともに登録する機能である。
【0043】
まず、スキャナ1200により原稿上の画像を読み取って生成された画像データを登録する場合の処理について説明する。
【0044】
図4は、本実施形態の画像処理装置における第1のデータ処理手順の一例を示すフローチャートである。本例は、文書登録処理例である。なお、S41〜S45は各ステップを示す。また、各ステップは、CPU1034がROM1300に記憶された制御プログラムをRAM1039にロードして実行することで実現される。また、CPU1034が制御プログラムを実行する際に、外部メモリ1043内の文書管理テーブル1401を参照することもある。
【0045】
まず、ユーザが図2に示した文書管理ボタン2009を押下すると、表示画面が図3に示す画面に切り替わり、タッチパネル上に文書登録と文書検索の選択画面が表示される。ここで、文書登録ボタン3001が押下されると文書登録処理が開始される。
【0046】
S41では、操作パネル部1041のタッチパネルによりユーザがスタートキー2002を押下すると、CPU1034は、スキャナ部1200より、スキャナI/F部1202、ビットマップ画像受信部1203を介して画像情報を読み込む。そして、CPU1034は、読み込んだ画像情報を、RAM1039上のビットマップメモリ領域1500に展開する。
【0047】
次に、S42では、CPU1034は、ブロック解析を行い、公知の像域分離手法を用いて、類似する特徴を持つ領域をそれぞれ分離し、属性が異なる文字、イメージ、図形の3種類の領域(オブジェクト)をブロック解析部1309により抽出する。
【0048】
次に、S43では、CPU1034は、3種類の特徴情報抽出方法である文字コード特徴情報抽出方法、イメージ特徴情報抽出方法、図形特徴情報抽出方法の中から1つの特徴情報抽出方法を選択する。なお、特徴情報抽出方法の選択の処理フローは図5に示す。また、上記文字コード特徴情報抽出方法は、図1に示した文字コード特徴情報抽出部1305に対応する。同様に、イメージ特徴情報抽出方法は、図1に示したイメージ特徴情報抽出部1306に対応する。同様に、図形特徴情報抽出方法は、図1に示した図形特徴情報抽出部1307に対応する。
【0049】
次に、S44で、CPU1034は、S43で選択された特徴情報抽出方法を用いて登録対象の画像データの特徴情報を抽出しする。そして、S45で、CPU1034は、選択された特徴情報抽出方法を用いて抽出された特徴情報と、用いられた特徴情報抽出方法を示す情報と、登録対象の文書に対応する画像データとを文書管理テーブル1401に登録して、本処理を終了する。
【0050】
図5は、本実施形態の画像処理装置における第2のデータ処理手順の一例を示すフローチャートである。本例は、図4に示したS43における特徴情報抽出方法の選択処理例である。なお、S51〜S56は各ステップを示す。
【0051】
また、各ステップは、CPU1034がROM1300に記憶された制御プログラムをRAM1039にロードして実行することで実現される。
【0052】
図4に示したS43で、特徴情報抽出方法の選択処理が開始されると、まず、S51で、CPU1034は、ブロック解析部1309によりブロック解析されたそれぞれのオブジェクトを文字、イメージ、図形のそれぞれの属性毎に分類する。そして、CPU1034は、各属性に含まれるビットマップデータの総バイト数を計算する。
【0053】
次に、S52で、CPU1034は、文字属性を有するオブジェクトの総バイト数と、他の属性を有するオブジェクトの総バイト数とを比較して、文字属性を有するオブジェクトの総バイト数が最も多いか否かを判断する。
【0054】
ここで、CPU1034が文字属性のオブジェクトの総バイト数が最も多いと判断した場合は、S53で、CPU1034は、特徴情報抽出方法として文字コード特徴情報抽出方法を選択して、本処理を終了する。この場合、特徴情報抽出手段として、文字コード特徴情報抽出部1305が選択される。
【0055】
一方、S52で、CPU1034が文字属性を有するオブジェクトの総バイト数が最も多くないと判断した場合は、S54に進む。S54では、イメージ属性を有するオブジェクトの総バイト数と他の属性を有するオブジェクトの総バイト数とを比較して、イメージ属性を有するオブジェクトの総バイト数が最も多いか否かを判断する。
【0056】
ここで、CPU1034がイメージ属性を有するオブジェクトの総バイト数が最も多いと判断した場合は、S55で、CPU1034は、特徴情報抽出方法としてイメージ特徴情報抽出方法を選択して、本処理を終了する。この場合、特徴情報抽出手段として、イメージ特徴情報抽出部1306が選択される。
【0057】
一方、S54で、CPU1034がイメージ属性を有するオブジェクトの総バイト数が最も多くないと判断した場合は、S56で、CPU1034は、特徴情報抽出方法として図形特徴情報抽出方法を選択して、本処理を終了する。この場合、特徴情報抽出手段として、図形特徴情報抽出部1307が選択される。
【0058】
このように本実施形態では、CPU1034による計算に基づいて、文字,イメージ,図形の各属性のうち、その属性を有するオブジェクトの総バイト数が最も大きい値の属性に対応する特徴情報抽出方法を選択して、本処理を終了する。
【0059】
なお、ここで、文字コード特徴情報抽出方法は、ブロック解析部1309のブロック解析によって得られた画像データ中の文字を文字認識処理により文字コードに変換し、得られた各文字コードに基づいて特徴情報を抽出するものである。
【0060】
また、イメージ特徴情報抽出方法は、ブロック解析によって得られたイメージの部分から、横軸に色相を取り、特徴情報を抽出するものである。
【0061】
また、図形特徴情報抽出方法は、ブロック解析によって得られた図形情報から線分をベクトル化して特徴情報を抽出するものである。
【0062】
次に、ユーザにより外部から入力されるPDLデータに基づく画像データを外部メモリ1043に登録する場合の文書登録処理について説明する。
【0063】
図6は、本実施形態の画像処理装置における第3のデータ処理手順の一例を示すフローチャートである。本例は、PDLデータに基づく画像データを外部メモリ1043に登録する処理例である。なお、S61〜S64は各ステップを示す。
【0064】
また、各ステップは、CPU1034がROM1300に記憶された制御プログラムをRAM1039にロードして実行することで実現される。
【0065】
なお、MFP1000は、PDLデータに基づく画像データを登録する場合には、ネットワーク2000を介して接続されたPC1501又はPC1502にインストールされているプリンタドライバからPDLデータを受信して登録する。
【0066】
図7は、本実施形態の情報処理装置の表示装置に表示されるユーザインタフェース(UI)の一例を示す図である。本例は、PC1501、1502にインストールされているプリンタドライバによる文書登録時のUIである。なお、上記PDLデータが圧縮され、暗号化されている場合も本発明を適用することが可能である。
【0067】
図7において、7001はスピンボックスで、ユーザがポインティングデバイス等を操作してカーソルを指示することで、プリンタ名を選択することができる。7002は部数設定部である。7003はプロパティボタンである。7005は印刷ボタンである。
【0068】
なお、本実施形態では、文書登録機能を備えたMFP1000に対して、プリンタ名「プリンタA」が登録されている例とする。
【0069】
ユーザが、ポインティングデバイスを操作して、文書登録ボタン7004を選択すると、プリンタドライバは、登録する画像データをPDLデータとしてMFP1000に送信することで、以下の文書登録処理が開始される。
【0070】
そして、CPU1034は、PC1501あるいはPC1502から送信されるPDLデータを受信するのを待つ。そして、S61で、CPU1034がPC1501あるいはPC1502からPDLデータを受信すると、CPU1034は、入力されたPDLデータをPDLデータ解釈部1302が解釈して、画像中間情報生成部1303が画像中間情報を生成する。
【0071】
次に、S62で、CPU1034は、3種類の特徴情報抽出方法である文字コード特徴情報抽出方法、イメージ特徴情報抽出方法、図形特徴情報抽出方法の中からいずれか1つの特徴情報抽出方法を選択する。なお、特徴情報抽出処理の詳細は、図8において後述する。
【0072】
次に、S63で、CPU1034がいずれか1つの特徴情報抽出方法を選択すると、選択された特徴情報抽出方法により画像データ中の各オブジェクトの特徴情報を抽出する。次に、S64で、CPU1034は、抽出した特徴情報と、抽出に用いられた特徴情報を示す情報と、画像データとを登録文書管理部1312により文書管理テーブル1401に登録して、本処理を終了する。
【0073】
図8は、本実施形態の画像処理装置における第4のデータ処理手順の一例を示すフローチャートである。本例は、特徴情報抽出方法選択部1310が3種類の特徴情報抽出方法である文字コード特徴情報抽出方法、イメージ特徴情報抽出方法、図形特徴情報抽出方法の中から1つの特徴情報抽出方法を選択する処理例である。なお、S81〜S86は各ステップを示す。
【0074】
また、各ステップは、CPU1034がROM1300に記憶された制御プログラムをRAM1039にロードして実行することで実現される。
【0075】
特徴情報抽出方法の選択処理が開始されると、まず、S81で、CPU1034は、画像中間情報生成部1303により画像中間情報に変換されたそれぞれのオブジェクトである文字、イメージ、図形のそれぞれの属性を有するオブジェクトのデータ量を計算する。
【0076】
なお、CPU1034は、画像中間情報のオブジェクト生成時に各オブジェクトのデータ量を計算してオブジェクトの情報としてRAM1039に記憶しておき、この値の総和から文字、イメージ、図形のそれぞれの属性を有するオブジェクトのデータ量を求める。
【0077】
次に、S82で、CPU1034は、各属性に含まれるオブジェクトのデータ量の中で、文字属性を有するオブジェクトのデータ量が最も多いか否かを判断する。ここで、CPU1034が文字属性を有するオブジェクトのデータ量が最も多いと判断した場合は、S83で、CPU1034は、入力されるPDLデータに対して、特徴情報抽出方法として文字コード特徴情報抽出方法を選択して、本処理を終了する。
【0078】
一方、S82で、CPU1034は、各属性に含まれるオブジェクトのデータ量の中で、イメージ属性を有するオブジェクトのデータ量が最も多くないと判断した場合は、S84に進む。そして、S84で、CPU1034は、各属性に含まれるオブジェクトのデータ量の中で、イメージ属性を有するオブジェクトのデータ量が最も多いか否かを判断する。ここで、CPU1034がイメージ属性を有するオブジェクトのデータ量が最も多いと判断した場合は、S85で、CPU1034は入力されたPDLデータに対して、特徴情報抽出方法としてイメージ特徴情報抽出方法を選択して、本処理を終了する。
【0079】
一方、S84で、CPU1034がイメージ属性のオブジェクトのデータ量が最も多くないと判断した場合は、S86で、CPU1034は、入力されたPDLデータに対して、特徴情報抽出方法として図形特徴情報抽出方法を選択して、本処理を終了する。
【0080】
このように、CPU1034は、計算された各属性に含まれるオブジェクトのデータ量のうち最も大きい値の属性に対応する特徴情報抽出方法を選択して、本処理を終了する。
【0081】
なお、登録文書管理部1312により管理される図1に示した文書管理テーブル1401は、特徴情報の抽出に用いられた特徴情報抽出方法を示す情報、抽出された特徴情報、データの種別、登録画像データが、例えば図9に示すように登録されている。
【0082】
例えば、コピー文書で文字領域のビットマップデータのバイト数が最も多い場合には、図9に示す1行目のように特徴情報抽出方法として文字コード特徴情報抽出方法を用いて特徴情報Aが抽出され、ビットマップデータの状態で文書1のデータが登録される。
【0083】
また、PDLデータに基づく画像データを登録した場合であって、イメージ領域のデータ量が最も多い場合には、図9に示す2行目のように特徴情報抽出方法としてイメージ特徴情報抽出方法を用いて特徴情報Bが抽出される。そして、画像中間情報の状態で文書2のデータが登録される。
【0084】
このようにして文書登録処理が終わると、MFP1000は、選択された特徴情報抽出方法を示す情報と抽出された特徴情報とを二次元バーコード情報に変換する。そして、コピーまたはPDLデータで指定されたページの1ページ目の所定位置に、変換された二次元バーコード情報を付加して1ページのみ出力する。ここで、所定位置は、自動的又はユーザが指定した位置として指定することが可能に構成されている。
【0085】
例えば文字領域のビットマップデータのバイト数が最も多く、特徴情報として特徴情報Aが抽出された場合には、図10に示すように、登録対象の画像データに二次元バーコードAの画像データが付加される。この二次元バーコードAには、特徴情報抽出方法を示す識別情報として、文字コード特徴情報抽出方法を示す情報が、また、特徴情報として、特徴情報Aが書き込まれている。
【0086】
<文書検索機能>
図11は、本実施形態の画像処理装置における第5のデータ処理手順の一例を示すフローチャートである。本例は、文書検索機能処理例である。なお、S111〜S117は各ステップを示す。
【0087】
また、各ステップは、CPU1034がROM1300に記憶された制御プログラムをRAM1039にロードして実行することで実現される。
【0088】
ユーザがMFP1000の操作パネル部1041において、図2の文書管理ボタン2009を押すと、CPU1034の表示制御により図3のようにタッチパネル上に文書登録ボタン3001と文書検索ボタン3002を選択するための画面が表示される。
【0089】
ここで、ユーザがタッチパネル上の文書検索ボタン3002を押すと、CPU1034による文書検索処理が開始される。
【0090】
まず、S111で、プリンタ装置1100で印刷された、二次元バーコードAが所定位置に印刷された印刷物上の画像を、スキャナ部1200が読み取る。そして、CPU1034は、読み取られた印刷物上の画像に含まれる二次元バーコードAの内容を認識する。
【0091】
次に、S112で、CPU1034は、画像情報として読み取られる二次元バーコードAの解析によって、画像データを登録する際に用いられた特徴情報抽出方法を認識する。そして、認識した特徴情報抽出方法を、検索対象の画像データの特徴情報を抽出するために用いる特徴情報抽出方法として選択する第2の選択処理を実行する。
【0092】
次に、S113で、CPU1034は、選択された特徴情報抽出方法を用いて、検索対象の画像データから特徴情報を抽出する。更に、S114で、CPU1034は、抽出された特徴情報に基づいて、図1に示した外部メモリ1043に記憶される文書管理テーブル1401を検索し、特徴情報が一致する文書を見つけ出す。次に、S115で、CPU1034は、ユーザが操作パネル部1041で文書を印刷する指示又は文書を送信する指示のいずれの指示を行っているかを判断する。
【0093】
文書を印刷する指示が行われている場合は、S116で、外部メモリ1043に登録されている文書をプリンタ部1100に送信して印刷して、本処理を終了する。
【0094】
具体的には、文書の登録画像がビットマップデータの場合には、CPU1034は、このビットマップデータをビットマップ画像転送部1103、エンジンI/F部1102を介してプリンタ装置1100に送信して印刷を行う。
【0095】
また、文書の登録画像が画像中間情報の場合には、CPU1034は、ビットマップ画像展開部1004により画像中間情報をビットマップ画像に展開する。そして、CPU1034は、展開したビットマップ画像をビットマップ画像転送部1103、エンジンI/F部1102を通してプリンタ部1100に送信して印刷を行う。
【0096】
一方、ユーザにより文書の送信が指示されている場合は、ユーザにタッチパネルから送信先のアドレスを入力させる。そして、CPU1034は、登録画像がビットマップデータの場合には、このビットマップデータを入出力バッファ1033、入出力部1032を介して、ユーザから入力されたアドレスに送信する。なお、CPU1034は、送信するビットマップデータに圧縮処理、暗号化処理を施した後、送信するように構成してもよい。
【0097】
一方、登録画像が画像中間情報の場合には、CPU1034は、ビットマップ画像展開部1004により画像中間情報をビットマップデータに展開する。そして、CPU1034は、展開したビットマップデータを入出力バッファ1033、入出力部1032を介してユーザから入力されたアドレスに送信する。
【0098】
なお、上述の説明では、特徴情報の抽出に用いられた特徴情報抽出方法を示す情報をバーコード情報にして画像データの1ページ目に付加して出力する場合について説明した。
【0099】
これに対して、図10に示したバーコード情報の代わりに、用紙に付加されたRFIDのタグに図9に示す情報を埋め込んだり、文書の中に電子透かしとして図9に示す情報を埋め込んだりするようにしてもよい。
【0100】
上記のように、複数の特徴情報抽出方法の中から1つの特徴情報抽出方法を選択することによって、複数の特徴情報抽出方法をそれぞれ用いて特徴情報を抽出する必要が無くなり、文書の登録又は検索処理を高速化することが可能となる。
【0101】
また、登録する特徴情報を1種類とする事により、外部メモリ1043に保持しておく特徴情報の量を減らすことができる。これにより、外部メモリ1043のメモリ資源を有効に活用することができる。
【0102】
(第2の実施形態)
第1実施形態では、複数の特徴情報抽出方法の中から1つの特徴情報抽出方法を自動的に選択して文書の登録を行ったが、この特徴情報抽出方法の選択をユーザが手動で行うようにすることも可能である。以下、その実施形態について説明する。
【0103】
図12は、本実施形態の画像処理装置における第6のデータ処理手順の一例を示すフローチャートである。本例は、ユーザの指示により、コピーして文書を登録する場合の文書登録処理例である。なお、S121〜S125は各ステップを示す。
【0104】
また、各ステップは、CPU1034がROM1300に記憶された制御プログラムをRAM1039にロードして実行することで実現される。
【0105】
ユーザが操作パネル部1041を操作して、図2に示した文書管理ボタン2009を押すと、CPU1034の表示制御により表示画面が図3に示す表示画面に切り替わる。
【0106】
ここで、ユーザがタッチパネルに表示される文書登録ボタン3001と文書検索ボタン3002のうち、文書登録ボタン3001を選択する指示を行うと、文書登録処理が開始される。
【0107】
まず、図13に示す特徴情報抽出方法の選択を行うためのユーザインタフェースがタッチパネルに表示される。そして、S121で、CPU1034は、タッチパネルに表示される、例えば3つの特徴情報抽出方法の中からいずれかの特徴情報抽出方法をユーザが選択する。
【0108】
図13は、図2に示したタッチパネルに表示されるユーザインタフェースの一例を示す図である。本例は、ユーザが手動で、特徴情報抽出方法を選択するための画面例である。
【0109】
図13において、14001は文字ボタンで、タッチパネルに表示される文字ボタン14001がユーザの操作で選択された場合に、特徴情報抽出方法として文字コード特徴情報抽出方法が選択される。
【0110】
14002はイメージボタンで、タッチパネルに表示されるイメージボタン14002がユーザの操作で選択された場合に、特徴情報抽出方法としてイメージ特徴情報抽出方法が選択される。
【0111】
14003は図形ボタンで、タッチパネルに表示される図形ボタン14003がユーザの操作で選択された場合に、特徴情報抽出方法として図形特徴情報抽出方法が選択される。
【0112】
このようして特徴情報抽出方法が選択された後、ユーザがスタートキー2002を押下すると、S122へ進む。そして、S122で、CPU1034は、スキャナ部1200で原稿上の画像を読み取って画像データを生成させる。そして、スキャナI/F部1202を介してビットマップ画像受信部1203より受信した画像データを、ビットマップメモリ領域1500に展開する。
【0113】
次に、S123で、CPU1034は、ビットマップデータに対してブロック解析部1309によりブロック解析を行う。そして、S124で、CPU1034は、選択された特徴情報抽出方法を用いて特徴情報の抽出を行う。
【0114】
次に、S125で、CPU1034は、S124で抽出した特徴情報とコピー文書の全ビットマップデータを登録文書管理部1312により文書管理テーブル1401に登録して、本処理を終了する。
【0115】
図14は、本実施形態の画像処理装置における第7のデータ処理手順の一例を示すフローチャートである。本例は、S121の特徴情報抽出方法の選択処理例である。なお、S131〜S136は各ステップを示す。
【0116】
また、各ステップは、CPU1034がROM1300に記憶された制御プログラムをRAM1039にロードして実行することで実現される。
【0117】
図12に示すS121で、ユーザは、操作パネル部1041のタッチパネルに表示される図13に示すユーザインタフェースを介して、特徴情報抽出方法の選択処理を開始する。
【0118】
まず、S131で、ユーザが文字ボタン14001、イメージボタン14002、図形ボタン14003のいずれかを選択し、いずれかの特徴情報抽出方法を選択する。次に、S132で、CPU1034は、文字ボタン14001により文字コード特徴情報抽出方法をユーザが選択しているかどうかを判断する。
【0119】
ここで、CPU1034が文字ボタン14001をユーザが選択していると判断した場合は、CPU1034は、S133で、文字コード特徴情報抽出方法を選択して、本処理を終了する。
【0120】
一方、S132で、CPU1034が文字ボタン14001を選択していないと判断した場合は、S134で、CPU1034は、ユーザがイメージボタン14002によりイメージ特徴情報抽出方法を選択しているかどうかを判断する。
【0121】
ここで、CPU1034がユーザがイメージボタン14002を選択していると判断した場合は、CPU1034は、S135で、イメージ特徴情報抽出方法を選択して、本処理を終了する。
【0122】
一方、S134で、ユーザがイメージボタン14002を選択していないと判断した場合は、CPU1034は、ユーザが図形ボタン14003を選択していると判断して、S136で、CPU1034は、図形特徴情報抽出方法を選択して、本処理を終了する。
【0123】
次に、ユーザの指示により、PDLデータとして文書を登録する場合の文書登録処理について説明する。
【0124】
図15は、本実施形態の画像処理装置における第8のデータ処理手順の一例を示すフローチャートである。本例は、PDLデータとして文書を登録する処理例である。なお、S151〜S154は各ステップを示す。
【0125】
また、各ステップは、CPU1034がROM1300に記憶された制御プログラムをRAM1039にロードして実行することで実現される。
【0126】
図2に示した操作パネル部1041において、ユーザが文書管理ボタン2009を押すと、タッチパネルに表示される画面が、CPU1034の制御により図2に示した画面表示から図3に示した画面表示に切り替わる。そして、図3に示す画面において、ユーザの操作で、文書登録ボタン3001と文書検索ボタン3002のいずれかを選択する指示を行う。
【0127】
ここで、ユーザの操作で文書登録ボタン3001が選択された場合に、本文書登録処理が開始される。
【0128】
まず、CPU1034の表示制御により、図13に示した特徴情報抽出方法の選択を行う画面がタッチパネルに表示される。そして、S151で、いずれかの特徴情報抽出方法を選択するため、ユーザがタッチパネルに表示された文字ボタン140001、イメージボタン140002、図形ボタン140003のいずれかを選択する。なお、特徴情報抽出方法の選択は、コピーの場合と同じで、図14で示した通りである。
【0129】
そして、ユーザがタッチパネルにより特徴情報抽出方法の選択が行われると、PC1501、1502等よりネットワーク2000を介してPDLデータを受信するのを待機する。
【0130】
そして、S152で、CPU1034は、PC1501、1502等より受信したPDLデータをPDLデータ解釈部1302により解釈して印刷オブジェクトを画像中間情報生成部1303により画像中間情報を生成する。
【0131】
次に、S153で、CPU1034は、S151でユーザにより選択されたいずれかの特徴情報抽出方法により、生成された画像中間情報から特徴情報を抽出する。
【0132】
なお、具体的には、CPU1034は、ユーザにより選択された特徴情報抽出方法に対応して、ROM1300に記憶された文字コード特徴情報抽出部1305、イメージ特徴情報抽出部1306、図形特徴情報抽出部1307のうちいずれかを実行する。
【0133】
次に、S154で、CPU1034は、S153で抽出した特徴情報と文書の画像中間情報とを、登録文書管理部1312により文書管理テーブル1401に登録して、本処理を終了する。
【0134】
なお、以上のようにして文書登録処理が終わると、MFP1000は、第1の実施形態と同様に、選択された特徴情報抽出方法を示す情報と抽出された特徴情報とを二次元バーコード情報に変換する。そして、コピーまたはPDLデータで指定されたページの1ページ目の所定位置に、変換された二次元バーコード情報を付加して1ページのみ出力する。
【0135】
このように特徴情報抽出方法をユーザが選択することによって、ブロック解析の処理を省くことができ、特徴情報抽出方法の選択処理が短くなり、文書登録時の処理時間を削減することが可能となる。
【0136】
なお、特徴情報抽出方法の選択を自動的に行うか、ユーザに選択させるかをユーザに問い合わせて、ユーザ選択による処理を優先して処理するように制御してもよい。
【0137】
また、特徴情報抽出方法の選択を自動的に行うか、ユーザに選択させるかをモードとしてNVRAM1400に登録し、電源投入時の初期設定で、CPU1034が実行すべき特徴情報抽出方法の選択処理を、切り換え制御してもよい。
【0138】
(第3の実施形態)
第1および第2の実施形態においては、1台のデジタル複合機により文書の登録、検索、管理を行っていたが、特徴情報と文書を管理するサーバを利用したシステムの構築も可能である。以下、その実施形態について説明する。
【0139】
図16は、本実施形態の文書検索システムに適用可能な画像処理装置の構成を説明するブロック図である。なお、本例は、スキャナ部とプリンタ部とを備えるデジタル複合機(MFP(Multi Function Peripheral))の例を示す。なお、図1と同一のものには同じ符号を付してある。また、図16に示すシステム構成は、第1実施形態とほぼ同じであるが、管理サーバにおいて文書を管理するため、登録文書管理部1312、登録文書検索部1313が存在せず、また、外部メモリ1043に文書管理テーブル1401が存在しない点が異なる。
【0140】
図17は、本実施形態の文書検索システムに適用可能なサーバ装置の構成を説明するブロック図である。
【0141】
図17において、2101は管理サーバで、図17に示したデジタル複合機1000とネットワーク2000を介して通信可能に接続されている。
【0142】
1802は制御部で、管理サーバ2101の動作を司る。制御部1802には、コンピュータ全体の動作を制御するCPU1803を備える。
【0143】
1804はプログラムROMで、CPU1803の動作を記述するプログラムが内蔵されている。1806は入出力部で、ネットワーク2000と繋がる通信線1805を介してPC1501,1502とデジタル複合機1000との制御コード、データの送受信を行う。
【0144】
1807は入出力バッファ、ネットワーク2000より入力される各種制御コードや特徴情報の送受信、各種データの送受信を行う際に利用される。
【0145】
1808はRAMで、前記制御コード、データの解釈や印刷に必要な計算、印字データの処理のためのワークメモリに利用される。また、RAM1808には、管理サーバ2101上で動作するアプリケーションソフトやドライバ等の動作を記述するプログラムであるアプリケーションプログラム(APプログラム)1809がロードされる。
【0146】
APプログラム1809には、文書登録時に文書から抽出された特徴情報と特徴情報抽出方法を示す情報を管理する登録文書管理部1810、文書検索時に検索対象の文書の特徴情報に基づいて文書を検索する登録文書検索部1811が存在する。
【0147】
1831はディスプレイコントローラで、管理サーバ2101で処理した画像をユーザに表示するディスプレイ1830を制御する。
【0148】
1833はキーボードコントローラで、ユーザからの命令を受け付けるためのキーボード1832を制御する。
【0149】
1835はメモリI/F部で、印字データや様々なホストコンピュータの情報等の保存に利用されるハードディスクなどの不揮発性メモリである外部メモリ1834を制御する。
【0150】
なお、外部メモリ1834には、受け取った登録文書を、該登録文書の電子データと、抽出された特徴情報、特徴情報抽出方法を示す情報を共に管理しておく文書管理テーブル1850が存在する。
【0151】
1840はシステムバスで、CPU1803と各デバイスとを接続する。
【0152】
以下、管理サーバ2101による文書登録処理について説明する。
【0153】
図18は、本実施形態を示す画像処理装置における第9のデータ処理手順の一例を示すフローチャートである。本例は、管理サーバ2101を利用した場合にユーザの指示により、コピー文書を登録する処理例である。なお、S191〜S195は各ステップを示す。
【0154】
また、各ステップは、CPU1034がROM1300に記憶された制御プログラムをRAM1039にロードして実行することで実現される。
【0155】
さらに、S191〜S194は、図4に示したS41〜S44と同様であるため、その処理の説明は省略する。
【0156】
S195で、CPU1034は、特徴情報と特徴情報抽出方法を示す情報とを電子データの文書を入出力部1032から管理サーバ2101に送信して、文書登録処理を終了する。
【0157】
次に、ユーザの指示により、PDLデータとして文書を登録する場合の文書登録処理について説明する。
【0158】
図19は、本実施形態の画像処理装置における第10のデータ処理手順の一例を示すフローチャートである。本例は、管理サーバ2101を利用した場合にユーザより、コピーして文書を登録する処理例である。なお、S201〜S204は各ステップを示す。
【0159】
また、各ステップは、CPU1034がROM1300に記憶された制御プログラムをRAM1039にロードして実行することで実現される。
【0160】
この場合、S204で、CPU1034は、特徴情報と特徴情報抽出方法と電子データの文書を入出力部1032から管理サーバ2101に送信して、文書登録処理を終了する。
【0161】
管理サーバ2101では、デジタル複合機1000から特徴情報、特徴情報抽出方法を示す情報と電子化された文書を受け取ると、CPU1803が登録文書管理部1810を実行して、文書管理テーブル1850に各データを登録して文書登録処理を完了する。
【0162】
図20は、本実施形態の画像処理装置における第11のデータ処理手順の一例を示すフローチャートである。本例は、管理サーバ2101を利用した場合にユーザの指示により、文書検索機能における処理例である。なお、S211〜S218は各ステップを示す。さらに、本実施形態では、文書検索処理フローにおいて基本的には、図11の処理と同じであるが、特徴情報抽出方法と特徴情報に合致する文書を選択する部分処理であるS113が異なる。
【0163】
本処理においては、特徴情報を抽出した後、S213で、入出力部1032より抽出した特徴情報を管理サーバ2101に送信する。
【0164】
すると、管理サーバ2101では、CPU1803が登録文書検索部1811を実行して、特徴情報抽出方法と特徴情報が合致する文書を文書管理テーブル1850から検索し、入出力部1806からデジタル複合機1000に送信される。
【0165】
次に、S214で、デジタル複合機1000は、特徴情報に合致する文書を管理サーバ2101より受信する。そして、S215〜S218において、図11のS115〜S117と同様の処理を実行して、印刷あるいは送信の処理を行い、文書検索処理を終了する。
【0166】
本実施形態によれば、特徴情報と文書を管理する管理サーバを利用したシステムの構築することによって、各々のデジタル複合機から文書を検索することが可能となる。これにより、個々に文書管理テーブルを用意する必要が無く登録文書の重複管理の防止や登録文書の一元管理を行うことが可能となる。
【0167】
なお、上記第1〜第3の実施形態では、画像の登録時にビットマップデータあるいは画像中間情報を用いているが、登録されている情報の容量を小さくするために圧縮して保持しておくことも可能である。
【0168】
また、上記実施形態では、特徴情報抽出方法として文字コード、イメージのヒストグラム、図形のベクトル化の各特徴情報抽出方法を用いているが、他の特徴情報抽出方法を加えて、あるいは置き換えて利用することも可能である。
【0169】
さらに、複数の特徴情報抽出方法の中から1つの特徴情報抽出方法を選択することによって、特徴情報の計算が1つになり、複数の特徴情報を抽出する必要が無くなり、処理を高速化することができる。
【0170】
また、登録する特徴情報が1種類となる事により、保持しておく特徴情報の量を減らすことができ、登録文書管理部が保存しておくデータの容量を削減することができる。
【0171】
また、特徴情報抽出方法をユーザが選択することによって、ブロック解析の処理を省くことができ、特徴情報抽出方法の選択処理が短くなり、文書登録時の処理時間を削減することができる。
【0172】
また、登録する時に利用した文書をそのまま検索にも利用することによって、余分な検索用のページを印刷することがなく、登録時の文書のみを保持することによって、容易に元の登録文書を検索することができる。
【0173】
また、特徴情報と文書を管理するサーバを利用したシステムの構築することによって、各々のデジタル複合機から文書を検索することを可能とし、個々に文書管理テーブルを用意する必要が無く登録文書の重複管理の防止や登録文書の一元管理を行うことができる。
【0174】
(第4の実施形態)
以下、図21に示すメモリマップを参照して本発明に係る画像処理装置で読み取り可能なデータ処理プログラムの構成について説明する。
【0175】
図21は、本発明に係る画像処理装置で読み取り可能な各種データ処理プログラムを格納する記憶媒体のメモリマップを説明する図である。
【0176】
なお、特に図示しないが、記憶媒体に記憶されるプログラム群を管理する情報、例えばバージョン情報,作成者等も記憶され、かつ、プログラム読み出し側のOS等に依存する情報、例えばプログラムを識別表示するアイコン等も記憶される場合もある。
【0177】
さらに、各種プログラムに従属するデータも上記ディレクトリに管理されている。また、各種プログラムをコンピュータにインストールするためのプログラムや、インストールするプログラムが圧縮されている場合に、解凍するプログラム等も記憶される場合もある。
【0178】
本実施形態における図4〜図6,図8,図11,図12,図14,図15,図18〜図20に示す機能が外部からインストールされるプログラムによって、ホストコンピュータにより遂行されていてもよい。そして、その場合、CD−ROMやフラッシュメモリやFD等の記憶媒体により、あるいはネットワークを介して外部の記憶媒体から、プログラムを含む情報群を出力装置に供給される場合でも本発明は適用されるものである。
【0179】
以上のように、前述した実施形態の機能を実現するソフトウエアのプログラムコードを記録した記憶媒体を、システムあるいは装置に供給する。そして、そのシステムあるいは装置のコンピュータ(またはCPUやMPU)が記憶媒体に格納されたプログラムコードを読出し実行することによっても、本発明の目的が達成されることは言うまでもない。
【0180】
この場合、記憶媒体から読み出されたプログラムコード自体が本発明の新規な機能を実現することになり、そのプログラムコードを記憶した記憶媒体は本発明を構成することになる。
【0181】
従って、プログラムの機能を有していれば、オブジェクトコード、インタプリタにより実行されるプログラム、OSに供給するスクリプトデータ等、プログラムの形態を問わない。
【0182】
プログラムを供給するための記憶媒体としては、例えばフレキシブルディスク、ハードディスク、光ディスク、光磁気ディスク、MO、CD−ROM、CD−R、CD−RW、磁気テープ、不揮発性のメモリカード、ROM、DVDなどを用いることができる。
【0183】
この場合、記憶媒体から読出されたプログラムコード自体が前述した実施形態の機能を実現することになり、そのプログラムコードを記憶した記憶媒体は本発明を構成することになる。
【0184】
その他、プログラムの供給方法としては、クライアントコンピュータのブラウザを用いてインターネットのホームページに接続する。そして、該ホームページから本発明のコンピュータプログラムそのもの、もしくは、圧縮され自動インストール機能を含むファイルをハードディスク等の記録媒体にダウンロードすることによっても供給できる。また、本発明のプログラムを構成するプログラムコードを複数のファイルに分割し、それぞれのファイルを異なるホームページからダウンロードすることによっても実現可能である。つまり、本発明の機能処理をコンピュータで実現するためのプログラムファイルを複数のユーザに対してダウンロードさせるWWWサーバやftpサーバ等も本発明の請求項に含まれるものである。
【0185】
また、本発明のプログラムを暗号化してCD−ROM等の記憶媒体に格納してユーザに配布し、所定の条件をクリアしたユーザに対し、インターネットを介してホームページから暗号化を解く鍵情報をダウンロードさせる。そして、その鍵情報を使用することにより暗号化されたプログラムを実行してコンピュータにインストールさせて実現することも可能である。
【0186】
また、コンピュータが読み出したプログラムコードを実行することにより、前述した実施形態の機能が実現されるだけではない。例えばそのプログラムコードの指示に基づき、コンピュータ上で稼働しているOS(オペレーティングシステム)等が実際の処理の一部または全部を行う。そして、その処理によって前述した実施形態の機能が実現される場合も含まれることは言うまでもない。
【0187】
さらに、記憶媒体から読み出されたプログラムコードが、コンピュータに挿入された機能拡張ボードやコンピュータに接続された機能拡張ユニットに備わるメモリに書き込ませる。その後、そのプログラムコードの指示に基づき、その機能拡張ボードや機能拡張ユニットに備わるCPU等が実際の処理の一部または全部を行い、その処理によって前述した実施形態の機能が実現される場合も含まれることは言うまでもない。
【0188】
本発明は上記実施形態に限定されるものではなく、本発明の趣旨に基づき種々の変形(各実施形態の有機的な組合せを含む)が可能であり、それらを本発明の範囲から除外するものではない。
【0189】
本発明の様々な例と実施形態を示して説明したが、当業者であれば、本発明の趣旨と範囲は、本明細書内の特定の説明に限定されるのではない。
【図面の簡単な説明】
【0190】
【図1】本実施形態の文書検索システムに適用可能な画像処理装置の構成を説明するブロック図である。
【図2】図1に示した操作パネル部の構成を説明する平面図である。
【図3】図1に示した操作パネル部の構成を説明する平面図である。
【図4】本実施形態を示す画像処理装置における第1のデータ処理手順の一例を示すフローチャートである。
【図5】本実施形態を示す画像処理装置における第2のデータ処理手順の一例を示すフローチャートである。
【図6】本実施形態を示す画像処理装置における第3のデータ処理手順の一例を示すフローチャートである。
【図7】本実施形態を示す情報処理装置の表示装置に表示されるユーザインタフェース(UI)の一例を示す図である。
【図8】本実施形態を示す画像処理装置における第4のデータ処理手順の一例を示すフローチャートである。
【図9】図1に示した文書管理テーブルの一例を示す図である。
【図10】図1に示した外部メモリに登録される文書の一例を示す図である。
【図11】本実施形態を示す画像処理装置における第5のデータ処理手順の一例を示すフローチャートである。
【図12】本実施形態を示す画像処理装置における第6のデータ処理手順の一例を示すフローチャートである。
【図13】図2に示したタッチパネルに表示されるユーザインタフェースの一例を示す図である。
【図14】本実施形態を示す画像処理装置における第7のデータ処理手順の一例を示すフローチャートである。
【図15】本実施形態を示す画像処理装置における第8のデータ処理手順の一例を示すフローチャートである。
【図16】本実施形態の文書検索システムに適用可能な画像処理装置の構成を説明するブロック図である。
【図17】本実施形態の文書検索システムに適用可能なサーバ装置の構成を説明するブロック図である。
【図18】本実施形態を示す画像処理装置における第9のデータ処理手順の一例を示すフローチャートである。
【図19】本実施形態を示す画像処理装置における第10のデータ処理手順の一例を示すフローチャートである。
【図20】本実施形態を示す画像処理装置における第11のデータ処理手順の一例を示すフローチャートである。
【図21】本発明に係る画像処理装置で読み取り可能な各種データ処理プログラムを格納する記憶媒体のメモリマップを説明する図である。
【符号の説明】
【0191】
1000 デジタル複合機
1031 制御ユニット
1034 CPU
1039 RAM
1041 操作パネル部
1100 プリンタ部
1200 スキャナ部
【特許請求の範囲】
【請求項1】
登録対象の画像データを記憶する記憶手段と、
複数の抽出方法のいずれかを選択する第1の選択手段と、
前記第1の選択手段により選択された抽出方法を用いて、前記登録対象の画像データの特徴を示す特徴情報を、当該登録対象の画像データから抽出する抽出手段と、
前記抽出手段により抽出された特徴情報を登録する登録手段と、
前記第1の選択手段により選択された抽出方法を示す識別情報とともに、前記登録対象の画像データを出力する出力手段と、
を備えることを特徴とする画像処理装置。
【請求項2】
前記出力手段により出力された識別情報に基づいて、前記複数の抽出方法のいずれかを選択する第2の選択手段と、
前記第2の選択手段により選択された抽出方法を用いて、前記抽出手段により検索対象の画像データから抽出された、当該検索対象の画像データの特徴を示す特徴情報に基づいて、前記登録手段により登録されている特徴情報を検索する検索手段と、
を更に備えることを特徴とする請求項1に記載の画像処理装置。
【請求項3】
前記出力手段は、前記登録対象の画像データに前記識別情報に対応する画像データを付加して出力することを特徴とする請求項1または2に記載の画像処理装置。
【請求項4】
前記識別情報に対応する画像データは、当該識別情報を表すバーコード情報であることを特徴とする請求項3に記載の画像処理装置。
【請求項5】
原稿上の画像を読み取って、該画像に対応する画像データを生成する読取手段を更に備え、
前記記憶手段は、前記読取手段により生成された画像データを前記登録対象の画像データとして記憶することを特徴とする請求項1から4のいずれか1項に記載の画像処理装置。
【請求項6】
ネットワークを介して接続された外部装置から画像データを受信する受信手段を更に備え、
前記記憶手段は、前記受信手段により受信された画像データを前記登録対象の画像データとして記憶することを特徴とする請求項1から4のいずれか1項に記載の画像処理装置。
【請求項7】
前記第1の選択手段は、前記登録対象の画像データに含まれるオブジェクトの属性に基づいて、抽出方法を自動的に選択することを特徴とする請求項1から6のいずれか1項に記載の画像処理装置。
【請求項8】
前記第1の選択手段は、ユーザからの指示に基づいて抽出方法を選択することを特徴とする請求項1から6のいずれか1項に記載の画像処理装置。
【請求項9】
前記登録手段は、前記抽出手段により抽出された特徴情報とともに、前記第1の選択手段により選択された抽出方法を示す情報を登録することを特徴とする請求項1から8のいずれか1項に記載の画像処理装置。
【請求項10】
前記複数の抽出方法とは、少なくとも、画像データ中のテキスト領域に基づいてテキスト特徴情報を抽出する方法、画像データ中のイメージ領域に基づいてイメージ特徴情報を抽出する方法、及び画像データ中の図形領域に基づいて図形特徴情報を抽出する方法、のいずれかを含むことを特徴とする請求項1から9のいずれか1項に記載の画像処理装置。
【請求項11】
複数の抽出方法のいずれかを選択する第1の選択工程と、
前記第1の選択工程で選択された抽出方法を用いて、前記登録対象の画像データの特徴を示す特徴情報を、当該登録対象の画像データから抽出する抽出工程と、
前記抽出工程で抽出された特徴情報を登録する登録工程と、
前記第1の選択工程で選択された抽出方法を示す識別情報とともに、前記登録対象の画像データを出力する出力工程と、
を備えることを特徴とする画像処理方法。
【請求項12】
請求項11に記載の画像処理方法をコンピュータに実行させるためのプログラム。
【請求項13】
請求項11に記載の画像処理方法をコンピュータに実行させるためのプログラムを記憶したコンピュータが読み取り可能な記憶媒体。
【請求項1】
登録対象の画像データを記憶する記憶手段と、
複数の抽出方法のいずれかを選択する第1の選択手段と、
前記第1の選択手段により選択された抽出方法を用いて、前記登録対象の画像データの特徴を示す特徴情報を、当該登録対象の画像データから抽出する抽出手段と、
前記抽出手段により抽出された特徴情報を登録する登録手段と、
前記第1の選択手段により選択された抽出方法を示す識別情報とともに、前記登録対象の画像データを出力する出力手段と、
を備えることを特徴とする画像処理装置。
【請求項2】
前記出力手段により出力された識別情報に基づいて、前記複数の抽出方法のいずれかを選択する第2の選択手段と、
前記第2の選択手段により選択された抽出方法を用いて、前記抽出手段により検索対象の画像データから抽出された、当該検索対象の画像データの特徴を示す特徴情報に基づいて、前記登録手段により登録されている特徴情報を検索する検索手段と、
を更に備えることを特徴とする請求項1に記載の画像処理装置。
【請求項3】
前記出力手段は、前記登録対象の画像データに前記識別情報に対応する画像データを付加して出力することを特徴とする請求項1または2に記載の画像処理装置。
【請求項4】
前記識別情報に対応する画像データは、当該識別情報を表すバーコード情報であることを特徴とする請求項3に記載の画像処理装置。
【請求項5】
原稿上の画像を読み取って、該画像に対応する画像データを生成する読取手段を更に備え、
前記記憶手段は、前記読取手段により生成された画像データを前記登録対象の画像データとして記憶することを特徴とする請求項1から4のいずれか1項に記載の画像処理装置。
【請求項6】
ネットワークを介して接続された外部装置から画像データを受信する受信手段を更に備え、
前記記憶手段は、前記受信手段により受信された画像データを前記登録対象の画像データとして記憶することを特徴とする請求項1から4のいずれか1項に記載の画像処理装置。
【請求項7】
前記第1の選択手段は、前記登録対象の画像データに含まれるオブジェクトの属性に基づいて、抽出方法を自動的に選択することを特徴とする請求項1から6のいずれか1項に記載の画像処理装置。
【請求項8】
前記第1の選択手段は、ユーザからの指示に基づいて抽出方法を選択することを特徴とする請求項1から6のいずれか1項に記載の画像処理装置。
【請求項9】
前記登録手段は、前記抽出手段により抽出された特徴情報とともに、前記第1の選択手段により選択された抽出方法を示す情報を登録することを特徴とする請求項1から8のいずれか1項に記載の画像処理装置。
【請求項10】
前記複数の抽出方法とは、少なくとも、画像データ中のテキスト領域に基づいてテキスト特徴情報を抽出する方法、画像データ中のイメージ領域に基づいてイメージ特徴情報を抽出する方法、及び画像データ中の図形領域に基づいて図形特徴情報を抽出する方法、のいずれかを含むことを特徴とする請求項1から9のいずれか1項に記載の画像処理装置。
【請求項11】
複数の抽出方法のいずれかを選択する第1の選択工程と、
前記第1の選択工程で選択された抽出方法を用いて、前記登録対象の画像データの特徴を示す特徴情報を、当該登録対象の画像データから抽出する抽出工程と、
前記抽出工程で抽出された特徴情報を登録する登録工程と、
前記第1の選択工程で選択された抽出方法を示す識別情報とともに、前記登録対象の画像データを出力する出力工程と、
を備えることを特徴とする画像処理方法。
【請求項12】
請求項11に記載の画像処理方法をコンピュータに実行させるためのプログラム。
【請求項13】
請求項11に記載の画像処理方法をコンピュータに実行させるためのプログラムを記憶したコンピュータが読み取り可能な記憶媒体。
【図1】
【図2】
【図3】
【図4】
【図5】
【図6】
【図7】
【図8】
【図9】
【図10】
【図11】
【図12】
【図13】
【図14】
【図15】
【図16】
【図17】
【図18】
【図19】
【図20】
【図21】
【図2】
【図3】
【図4】
【図5】
【図6】
【図7】
【図8】
【図9】
【図10】
【図11】
【図12】
【図13】
【図14】
【図15】
【図16】
【図17】
【図18】
【図19】
【図20】
【図21】
【公開番号】特開2009−271693(P2009−271693A)
【公開日】平成21年11月19日(2009.11.19)
【国際特許分類】
【出願番号】特願2008−120977(P2008−120977)
【出願日】平成20年5月7日(2008.5.7)
【出願人】(000001007)キヤノン株式会社 (59,756)
【Fターム(参考)】
【公開日】平成21年11月19日(2009.11.19)
【国際特許分類】
【出願日】平成20年5月7日(2008.5.7)
【出願人】(000001007)キヤノン株式会社 (59,756)
【Fターム(参考)】
[ Back to top ]