画像処理装置、画像処理方法、プログラム及び記憶媒体
【課題】 Ｎｕｐ印刷された紙文書中の画像のＮページ分のオリジナル電子データを好適に管理することができる画像処理装置、方法、プログラム及び記憶媒体を提供する。
【解決手段】 印刷物を電子的に読み取って得られた画像をＭＦＰ１００に入力し、記憶部１１１に格納する。また、データ処理部１１５は、当該画像中の１又は複数のページ画像を含む処理対象領域の特徴量を抽出する。そして、ＭＦＰ１００では、画像の格納先情報と特徴量と１又は複数のページ画像の構成情報であるページ構成情報とを関連付けて管理する。ここで、新たな印刷物が読み取られた入力された新たな画像の特徴量がデータ処理部１１５で抽出されると、記憶部１１１から当該新たな画像に対応する画像を検索する。
【解決手段】 印刷物を電子的に読み取って得られた画像をＭＦＰ１００に入力し、記憶部１１１に格納する。また、データ処理部１１５は、当該画像中の１又は複数のページ画像を含む処理対象領域の特徴量を抽出する。そして、ＭＦＰ１００では、画像の格納先情報と特徴量と１又は複数のページ画像の構成情報であるページ構成情報とを関連付けて管理する。ここで、新たな印刷物が読み取られた入力された新たな画像の特徴量がデータ処理部１１５で抽出されると、記憶部１１１から当該新たな画像に対応する画像を検索する。
【発明の詳細な説明】
【技術分野】
【０００１】
本発明は、複写機等で紙文書から電子データを入力し、当該電子データに対応するオリジナルの電子データを検索して印刷、配信、蓄積、編集等の処理を行う画像処理技術に関する。
【背景技術】
【０００２】
近年、複写機等の画像入出力装置のデジタル化及びネットワーク化が進んでいる。また、このような画像入出力装置が保有する印刷機能も多様化しており、同一の、或いは、複数の文書に含まれる複数のページを、１枚の紙に配置して印刷することが可能となっている。
【０００３】
例えば、会議等で多用されている配布資料等は、参照用として用いられることが多いため、１枚の紙に１文書の２ページ分、或いは４ページ分をレイアウトするといったように、Ｎページ分の文書を１枚の紙にレイアウトして印刷されたものであることが多い。以降、このような印刷を「Ｎページ印刷」と呼ぶ。また、複数の文書のページを一度に参照する必要があるときは、結合させて印刷する場合もあり得る。以降、このような印刷を「結合印刷」と呼ぶ。さらに、印刷後に２つ折りにして製本することができるように、ページ番号が製本時の順に印刷される場合もあり得る。以降、このような印刷を「製本印刷」と呼ぶ。
【０００４】
尚、以下では、Ｎページ印刷、結合印刷、製本印刷等の１枚の紙にＮページ分の文書をレイアウトして印刷する印刷を総称して、「Ｎｕｐ印刷」と呼ぶ。
【０００５】
一方で、紙文書をスキャナ等で読み取り、読み取られた画像（紙文書画像）に対応するオリジナルの電子データを検索して、紙文書画像からではなく、オリジナルの電子データそのものから印刷したり、ネットワーク内の所望のＰＣ（パーソナルコンピュータ）等の端末へ配信したり、ネットワーク内の所望の蓄積媒体へ保存したり、又は編集したりすることを可能とするシステムが提案されている（例えば、特許文献１、２参照。）。
【０００６】
特許文献１では、紙文書をスキャンしたスキャン電子データと、記憶媒体中の電子データとをビット単位で比較することにより、スキャン電子データのオリジナルの電子データを検索することを可能としている。
【０００７】
また、特許文献２では、書類を電子データにする際に、その電子データに識別コードを付与して、その識別コードを含む印刷物を生成している。これにより、印刷物に対応する電子データを検索したり印刷したりする場合には、その印刷物を読み込んで印刷されている識別コードを認識することで、所望の電子データの検索や印刷が可能である。
【特許文献１】特許第３０１７８５１号公報
【特許文献２】特開２００１−２５７８６２号公報
【発明の開示】
【発明が解決しようとする課題】
【０００８】
しかしながら、上記特許文献１、２では、Ｎｕｐ印刷の文書については何ら考慮されていないので、Ｎｕｐ印刷が使用されるような環境においては、次のような問題が生じる。
【０００９】
すなわち、特許文献１に記載の技術では、Ｎｕｐ印刷された文書をスキャンして得られた電子データは１ページ分と解釈されてしまう。この場合、オリジナルの電子データは、１ページを単位とした電子データで記憶媒体に管理されているため、Ｎｕｐ印刷された文書がスキャンされた電子データは、どのオリジナルの電子データと比較しても高い類似度が得らないものとなり、オリジナルの電子データを検索することができない。
【００１０】
また、特許文献２に記載の技術では、識別コードの印字位置が各ページに対して決まっているので、Ｎｕｐ印刷した際には識別コードの印字位置がずれてしまう。そのため、スキャンされた電子データから識別コードが読み取れなくなってしまい、オリジナルの電子データを検索することができない。
【００１１】
本発明は、このような事情を考慮してなされたものであり、Ｎｕｐ印刷された紙文書中の画像のＮページ分のオリジナル電子データを好適に管理することができる画像処理装置、方法、プログラム及び記憶媒体を提供することを目的とする。
【課題を解決するための手段】
【００１２】
上記課題を解決するために、本発明に係る画像処理装置は、
印刷物を電子的に読み取って得られた画像を入力する入力手段と、
入力された前記画像を格納する格納手段と、
前記画像中の１又は複数のページ画像を含む処理対象領域の特徴量を抽出する抽出手段と、
前記画像の格納先情報と前記特徴量と前記１又は複数のページ画像の構成情報であるページ構成情報とを関連付けて管理する管理手段と
を備えることを特徴とする。
【００１３】
また、本発明に係る上記画像処理装置は、
前記ページ構成情報を指定する指定手段をさらに備え、
前記抽出手段が、前記指定手段で指定された前記ページ構成情報に基づいて決定される前記処理対象領域に含まれるページ画像毎に、該処理対象領域の特徴量を抽出する
ことを特徴とする。
【００１４】
さらに、本発明に係る上記画像処理装置は、
前記画像に複数のページ画像が存在するか否かを判定する判定手段と、
前記画像に複数のページ画像が存在すると判定された場合、該画像に含まれるページ構成情報を推定する推定手段とをさらに備え、
前記抽出手段が、前記推定手段によって推定された前記ページ構成情報に基づいて決定される処理対象領域毎に、該処理対象領域の特徴量を抽出する
ことを特徴とする。
【００１５】
さらにまた、本発明に係る上記画像処理装置は、
前記判定手段が、
前記画像中に含まれるページ番号を検出する手段と、
前記ページ番号が所定の領域内で等間隔に存在しているか否かを判定する手段とを備え、
該ページ番号の間隔の判定結果に基づいて前記画像に複数のページ画像が存在するか否かを判定することを特徴とする。
【００１６】
さらにまた、本発明に係る上記画像処理装置は、
前記判定手段が、
前記画像の最右端余白又は最左端余白と、それ以外の中間余白とを検出する手段と、
検出された前記中間余白が、前記最右端余白又は前記最左端余白よりも大きいか否かを判定する手段とを備え、
前記中間余白と前記最右端余白又は前記最左端余白との大きさの判定結果に基づいて前記画像に複数のページ画像が存在するか否かを判定することを特徴とする。
【００１７】
さらにまた、本発明に係る上記画像処理装置は、
前記判定手段による判定結果を表示する表示手段と、
前記判定結果を修正する修正手段と
をさらに備えることを特徴とする。
【００１８】
さらにまた、本発明に係る上記画像処理装置は、
前記格納手段に格納された前記画像を検索する検索手段をさらに備え、
前記入力手段が、新たな印刷物を電子的に読み取って得られた電子データを新たな画像として入力し、
前記抽出手段が、前記新たな画像の特徴量を抽出し、
前記検索手段が、前記特徴量を用いて、前記新たな画像に対応する画像を前記格納手段から検索する
ことを特徴とする。
【００１９】
さらにまた、本発明に係る上記画像処理装置は、
前記抽出手段が、前記画像又は前記新たな画像に含まれる処理対象領域の画像特徴量及び文字特徴量のいずれか又は両方を抽出することを特徴とする。
【００２０】
さらにまた、本発明に係る上記画像処理装置は、
前記画像特徴量が、色特徴量、輝度特徴量、テクスチャ特徴量、形状特徴量のいずれか１つ、或いは、任意の組み合わせであることを特徴とする。
【００２１】
さらにまた、本発明に係る上記画像処理装置は、前記文字特徴量が、文字コードであることを特徴とする。
【００２２】
さらにまた、本発明に係る上記画像処理装置は、
前記検索手段による検索結果の画像を前記ページ構成情報を用いて表示用に加工する手段と、
前記加工手段によって加工された検索結果の画像結果の画像を表示する表示手段と、
前記検索手段による検索結果として、前記表示手段に複数の画像が表示された場合、該複数の画像から所望の画像を選択する選択手段と
をさらに備えることを特徴とする。
【００２３】
さらにまた、本発明に係る上記画像処理装置は、
前記検索手段によって検索された画像を処理する処理手段と、
前記画像の処理に対する処理の種類を指示する指示手段とをさらに備え、
前記処理の種類が、印刷、配信、蓄積、編集のいずれかであることを特徴とする。
【００２４】
さらにまた、本発明に係る上記画像処理装置は、前記格納手段から検索された前記画像のページ構成情報と前記新たな画像のページ構成情報とが異なる場合、前記画像のページ構成情報を前記新たな画像のページ構成情報と同様になるように再構成する再構成手段をさらに備えることを特徴とする。
【００２５】
さらにまた、本発明に係る上記画像処理装置は、前記処理手段を行う際のページ構成情報を指定する手段と、前記格納手段から検索された前記画像のページ構成情報と前記指定されたページ構成情報とが異なる場合、前記画像のページ構成情報を前記指定されたページ構成情報と同様になるように再構成する再構成手段とをさらに備えることを特徴とする。
【発明の効果】
【００２６】
本発明によれば、Ｎｕｐ印刷された紙文書中の画像のＮページ分のオリジナル電子データを好適に管理することができる。例えば、Ｎページ印刷、結合印刷、製本印刷等の１枚の紙にＮページ分の文書をレイアウトして印刷するＮｕｐ印刷や通常印刷された紙原稿を区別することなく、そのスキャン画像から１又は複数のオリジナル電子データを検索して活用することが可能となる。
【発明を実施するための最良の形態】
【００２７】
以下、図面を参照して、本発明の一実施形態に係る画像処理システムにおける処理について詳細に説明する。
【００２８】
＜第１の実施形態＞
図１は、本発明の第１の実施形態に係る画像処理システムの構成を示すブロック図である。図１に示す画像処理システムは、一例として、オフィス１０とオフィス２０とをインターネット等のネットワーク１０４で接続された環境で実現される。
【００２９】
オフィス１０内に構築されたＬＡＮ１０７には、ＭＦＰ（Ｍｕｌｔｉ Ｆｕｎｃｔｉｏｎ Ｐｅｒｉｐｈｅｒａｌ：ネットワークプリンタとしても使用可能なコピー機）１００と、ＭＦＰ１００を制御するマネージメントＰＣ１０１と、クライアントＰＣ１０２と、文書管理サーバ１０６ａと、そのデータベース１０５ａ及びプロキシサーバ１０３ａが接続されている。また、オフィス２０内に構築されたＬＡＮ１０８には、文書管理サーバ１０６ｂと、そのデータベース１０５ｂ及びプロキシサーバ１０３ｂが接続されている。尚、クライアントＰＣ１０２は、外部記憶部、検索イメージ入力部及び検索結果出力部を備えている。また、ＬＡＮ１０７及びオフィス２０内のＬＡＮ１０８は、プロキシサーバ１０３ａ、１０３ｂを介してインターネット等のネットワーク１０４に接続されている。
【００３０】
ＭＦＰ１００は、本実施形態において紙文書を光学的に読み取って画像信号に変換する画像読み取り処理と、読み取った画像信号に対する画像処理の一部を担当し、また、画像信号をＬＡＮ１０９を用いてマネージメントＰＣ１０１に入力する。尚、マネージメントＰＣ１０１は、通常のＰＣでも実現可能であり、内部に画像記憶部、画像処理部、表示部及び入力部を備える。尚、マネージメントＰＣ１０１は、その一部又は全部の機能をＭＦＰ１００に組み込んで一体化して構成してもよい。
【００３１】
さらに、マネージメントＰＣ１０１には、ＲＡＭ（Ｒａｎｄｏｍ Ａｃｃｅｓｓ Ｍｅｍｏｒｙ）やハードディスク記憶装置等の各種記憶手段が内蔵可能である。これにより、マネージメントＰＣ１０１は、入力された画像データ、当該画像データから生成されたベクトルデータ、或いはベクトル処理を行った結果に関する情報を保持することができる。
【００３２】
尚、ネットワーク１０４は、典型的にはインターネットやＬＡＮやＷＡＮや電話回線、専用デジタル回線、ＡＴＭやフレームリレー回線、通信衛星回線、ケーブルテレビ回線、データ放送用無線回線等のいずれか、又はこれらの組み合わせにより実現されるいわゆる通信ネットワークであり、データの送受信が可能であれば良い。
【００３３】
また、マネージメントＰＣ１０１、クライアントＰＣ１０２、文書管理サーバ等の各種端末はそれぞれ、汎用コンピュータに搭載される標準的な構成要素（例えば、ＣＰＵ、ＲＡＭ、ＲＯＭ、ハードディスク、外部記憶装置、ネットワークインタフェース、ディスプレイ、キーボード、マウス等）を有している。
【００３４】
次に、ＭＦＰ１００の詳細な構成について説明する。図２は、本発明の第１の実施形態に係るＭＦＰ１００の細部構成を示すブロック図である。図２において、原稿台とオートドキュメントフィーダ（ＡＤＦ）を含む画像読取部１１０は、束状の、或いは１枚の原稿画像を光源（不図示）で照射し、原稿反射像をレンズで固体撮像素子上に結像し、固体撮像素子からラスタ状の画像読取信号を所定密度（例えば、６００ＤＰＩ）のラスタ画像として得る。
【００３５】
また、ＭＦＰ１００は、画像読取信号に対応する画像を印刷部１１２で記録媒体に印刷する複写機能を有する。そして、印刷部１１２で原稿画像を１つ複写する場合には、この画像読取信号をデータ処理部１１５で画像処理して記録信号を生成し、これを印刷部１１２によって記録媒体上に印刷させる。一方、原稿画像を複数枚複写する場合には、一旦、記憶部１１１に一つ分の記録信号を記憶保持させた後、これを印刷部１１２に順次出力して記録媒体上に印刷させる。
【００３６】
また、Ｎｕｐ印刷を行う場合は、データ処理部１１５で指定されたページ分の画像信号を縮小し、１枚の紙で印刷可能となるように各ページの画像信号をレイアウトする。その後、印刷部１１２に出力して記録媒体上に印刷させる。
【００３７】
一方、クライアントＰＣ１０２から出力される記録信号は、ＬＡＮ１０７及びネットワークＩＦ１１４を介してデータ処理部１１５が受信する。そして、データ処理部１１５は、その記録信号を印刷部１１２で記録可能なラスターデータに変換した後、印刷部１１２によって記録媒体上に印刷させる。
【００３８】
ＭＦＰ１００への操作者の指示は、ＭＦＰ１００に装備されたキー操作部とマネージメントＰＣ１０１に接続されたキーボード及びマウスからなる入力部１１３から行われる。尚、これらの一連の動作は、データ処理部１１５内の制御部（不図示）で制御される。また、操作入力の状態表示及び処理中の画像データの表示は、表示部１１６で行われる。
【００３９】
ＭＦＰ１００の記憶部１１１は、マネージメントＰＣ１０１からも制御され、ＭＦＰ１００とマネージメントＰＣ１０１とのデータの送受信及び制御は、ネットワークＩＦ１１７及びＬＡＮ１０９を介して行われる。
【００４０】
尚、ＭＦＰ１００では、後述する各種処理を実行するための各種操作・表示をユーザに提供するユーザインタフェースを、表示部１１６及び入力部１１３によって実現している。
【００４１】
本発明の実施形態に係る画像処理システムで実行する処理としては、大きく分けて、画像データを登録する登録処理と、所望の画像データを検索する検索処理の２つがある。
【００４２】
尚、第１の実施形態では、画像処理システム全体の処理効率を向上するために、以下で説明する各種処理を、画像処理システムを構成する各種端末に分散させて実行するようにしているが、１つの端末（例えば、ＭＦＰ１００）上で実行するようにしても構わない。
【００４３】
まず、登録処理について説明する。
【００４４】
［登録処理の概要］
登録対象の画像データの登録方法としては、紙文書をスキャン入力して生成した画像データを登録する場合と、文書作成アプリケーション等で作成された電子文書をラスタ画像に展開した画像データを登録する場合とがある。そこで、オリジナル文書を登録する登録処理の概要について、図３Ａを用いて説明する。
【００４５】
図３Ａは、本発明の第１の実施形態に係る画像処理システムにおける画像データの登録処理を説明するためのフローチャートである。尚、この処理は、画像読取部１１０のＡＤＦに、登録対象の紙文書がセットされ、入力部１１３の登録ボタンが操作された時点で開始される。また、登録対象の紙文書は、１枚でも複数枚でも可能であるが、複数枚の場合は、その紙文書から得られる画像データ群（ページ画像群）を１つのファイルとして管理することになる。
【００４６】
まず、登録対象のオリジナル文書を入力する（ステップＳ３０１０）。また、この入力に伴って、オリジナル文書を管理するための各種情報を生成して記憶部１１１に記憶する。
【００４７】
尚、オリジナル文書を登録する際のオリジナル文書の入力方法には、２種類存在する。
【００４８】
まず、オリジナル文書が電子データである場合は、クライアントＰＣ１０２内のハードディスク内、或いはオフィス１０や２０内の文書管理サーバ１０６内のデータベース１０５内、或いはＭＦＰ１００の記憶部１１１のいずれかに格納されている。そして、これらの記憶元から登録対象のオリジナル文書の電子データを読み出して、ネットワークＩＦ１１４を介してデータ処理部１１５に入力し、データ処理部１１５でその電子データをラスタ画像に変換する。
【００４９】
一方、オリジナル文書が紙文書である場合は、ＭＦＰ１００の画像読取部１１０で、その紙文書をラスタ状に走査しラスタ画像を得る。
【００５０】
このように、第１の実施形態では、登録対象のオリジナル文書に、電子データ或いは紙文書のどちらも扱うことが可能である。その後、ラスタ画像に対してデータ処理部１１５で前処理を施し、記憶部１１１に保存する。尚、これ以降、紙文書の場合には、ラスタ画像がオリジナル文書の電子データとなる。また、この場合、登録対象のオリジナル文書毎に固有の文書ＩＤを発行し、オリジナル文書の電子データのアドレスと対応付けて記憶部１１１にアドレス情報として保存する。
【００５１】
ここで、アドレスとは、ＵＲＬや、サーバ名とディレクトリ、ファイル名からなる電子データの格納先を示すフルパス情報である。図４は、本発明の一実施形態に係るアドレス情報の一例を示す図である。また、アドレス情報の格納先は、データベース１０５や記憶部１１１等が挙げられる。
【００５２】
尚、オリジナル文書が紙文書である場合の電子データのファイル形式は、例えば、ＢＭＰ形式とするが、これに限定されるものではない。例えば、色情報を保存しておくことが可能なファイル形式（例えば、ＧＩＦ、ＪＰＥＧ）であればどのようなものでも良い。一方、オリジナル文書が電子データである場合のその電子データのファイル形式は、その電子データを作成したアプリケーション（例えば、米マイクロソフト社のＭＳ−Ｗｏｒｄ（商標）や、米アドビシステム社のアクロバット（商標）等）で作成されたファイル形式（＊．ｄｏｃや＊．ｐｄｆ）となる。
【００５３】
次に、ステップＳ３０１０で入力された文書の数を入力文書数Ｐに設定する（ステップＳ３０１１）。さらに、処理文書数を示す変数ａと、処理対象の１文書中の論理ページ（文書で規定されているページ）数を示す変数ｂにそれぞれ初期値として１を設定する（ステップＳ３０１２）。そして、当該１文書の物理ページ（紙の枚数でカウントされるページ）数Ｑにａ番目の文書中の紙の枚数に応じたページ数を設定する（ステップＳ３０１３）。
【００５４】
次に、終了判定として、Ｐがａ以上であるか否かを判定する（ステップＳ３０１４）。その結果、Ｐがａ未満である場合（ＮＯ）は処理を終了する。一方、Ｐがａ以上である場合（ＹＥＳ）は未処理の文書が存在するので、処理を続行するためステップＳ３０１５に進む。
【００５５】
ステップＳ３０１５では、文書単位の終了判定として、Ｑがｂ以上であるか否かを判定する。その結果、Ｑがｂ未満である場合（ＮＯ）は、ステップＳ３０３２へ進み、ａを１インクリメントして、ステップＳ３０１３へ戻り、処理対象を次の文書に移す。一方、Ｑがｂ以上である場合（ＹＥＳ）は、未処理のページが存在するため、ステップＳ３１１１に進んで処理を続ける。
【００５６】
ステップＳ３１１１では、ユーザによるＮｕｐ印刷の指定の有無を判定する。その結果、Ｎｕｐ印刷の指定がある場合（ＹＥＳ）は、１枚中のページ数Ｌにユーザが指定した１枚中のページ数を設定する（ステップＳ３１１２）。そして、Ｎｕｐ印刷ＩＤを発行し、１枚のページ数Ｌ（Ｎｕｐ数）と、Ｎｕｐタイプ（Ｎｕｐ印刷の種別）とレイアウト順と、文書ＩＤ、ページ番号と関連付けてＮｕｐ印刷情報（例えば、図２５に示す情報）を記憶する。図２５は、本発明の第１の実施形態におけるＮｕｐ印刷情報の一例を示す図である。
【００５７】
尚、Ｎｕｐ印刷ＩＤは、登録開始時を１として、Ｎｕｐ印刷された文書を登録するたびにインクリメントされた番号が発行される。また、Ｎｕｐタイプは、Ｎｕｐ印刷の種別に対して予め付与された番号（例えば、１：Ｎページ印刷、２：結合印刷、３：製本印刷等）を設定する。さらに、レイアウト順は、１枚の中に各ページがどのような順番にレイアウトされているかを、予め付与された番号（例えば、１：左上から右向き、２：左上から下向き、３：右上向きから左向き、４：右上から下向き等）で設定する。
【００５８】
一方、ステップＳ３１１１でＮｕｐの指定がない場合（ＮＯ）は、１枚中に１ページとみなして、Ｌに１を設定する（ステップＳ３１１５）。
【００５９】
次に、ステップＳ３０１６又はＳ３１１５の処理後、処理対象の１文書中の処理ページ数を示す変数ｃに初期値として１を設定する（ステップＳ３１１３）。次に、終了判定として、Ｌがｃ以上であるか否かを判定する（ステップＳ３１１６）。その結果、ｃ未満である場合（ＮＯ）は、ステップＳ３０３１に進む。ステップ３０３１ではｂの値をインクリメントし、そして、次のページに処理を移すため、ステップＳ３０１５に戻る。一方、ステップＳ３１１６でｃ以上である場合（ＹＥＳ）は、未処理のページが存在するので、処理を続行するためにステップＳ３０２０に進む。
【００６０】
ステップＳ３１２０では、Ｐ番目の文書の論理ページｂページであるラスタ画像中のｃページ目の画像領域に対して、ブロックセレクション（ＢＳ）処理を行う。この処理は、マネージメントＰＣ１０１の制御によって実行する。
【００６１】
図８は、本発明の第１の実施形態における１枚に２ページ分をＮｕｐ印刷した例を示す図である。図８において、８１０は１枚の紙全体の領域であり、８１１と８１２は各ページのページ画像を示している。また、８１３と８１４は各ページのページ番号である。ここで、ｂ＝１である場合、１ページ目のページ画像８１１を含む処理対象領域８１５に対してのみ、ブロックセレクション処理を行うことになる。また、ｂ＝２の場合は、２ページ目のページ画像８１２を含む処理対象領域に対してのみブロックセレクション処理を行うことになる。
【００６２】
具体的には、マネージメントＰＣ１０１のＣＰＵは、記憶部１１１に格納された処理対象のオリジナル文書のラスタ画像を、まず、文字／線画部分とハーフトーン画像部分とに領域分割する。そして、文字／線画部分は、さらに段落で塊として纏まっているブロック毎に、或いは線で構成された表、図形毎に分割する。
【００６３】
一方、ハーフトーン画像部分は、矩形に分離されたブロックの画像部分、背景部分等のブロックに分割する。
【００６４】
また、処理対象領域は、Ｎｕｐ数（Ｌの値）と紙文書の向きに基づいて、１枚の紙文書をＮｕｐ数の領域に分割し、さらにレイアウト順に基づいて決定される。
【００６５】
そして、処理対象のページのページ番号、そのページ中の各ブロックを特定するブロックＩＤを発行し、各ブロックの属性（画像、文字等）、サイズ（１ページに対する相対的なサイズ、オリジナル文書がＮｕｐ印刷されていれば、その中の１ページ分に対する相対的なサイズとなる。）やオリジナル文書内の位置（１ページに対する相対的な座標であり、オリジナル文書がＮｕｐ印刷されていればその中の１ページ分に対する相対的な座標となる。）と各ブロックを関連付けて、記憶部１１１にブロック情報として記憶する。図５は、ブロック情報の一例を示す図である。
【００６６】
次に、ステップＳ３０３０で、データ処理部１１５において、各ブロックの種別に応じて、各ブロックの特徴量情報を抽出する特徴量情報抽出処理を行う。特に、文字ブロックについては、ＯＣＲ処理を施して文字コードを抽出し、これを文字特徴量とする（詳細は後述する）。また、画像ブロックについては、色に関する画像特徴量を抽出する（詳細は後述する）。この際、それぞれのブロックに対応する特徴量をオリジナル文書単位にまとめて、文書ＩＤ、ページ番号及びブロックＩＤに関連付けて、記憶部１１１に特徴量情報として記憶する。図６及び図７は、それぞれ、色特徴量情報及び文字特徴量情報の一例を示す図である。
【００６７】
次に、ステップＳ３１４１で、ｃの値を１インクリメントする。その後、ステップＳ３１１６へ戻って、処理対象を次のページに移す。
【００６８】
［検索処理の概要］
次に、オリジナル文書の電子データを検索する検索処理の概要について説明する。図３Ｂは、本発明の第１の実施形態に係る画像処理システムにおける検索処理の一例を説明するためのフローチャートである。
【００６９】
まず、検索条件となる紙文書の入力を行う（ステップＳ３１１０）。この処理は、前述したステップＳ３０１０の処理と同様であるので説明は省略する。但し、この処理によって生成するラスタ画像は一時保存するだけであり、その紙文書に対するアドレス情報を記憶部１１１に保存しておく必要はない。
【００７０】
次に、Ｎｕｐ印刷の指定の判定を行って、特徴量情報を抽出する(ステップＳ３１１１〜ステップＳ３１３０）。これらの処理は、前述した登録処理と同様であり、全く同じステップについては登録処理と同じステップ番号を付与し、その説明は省略する。但し、ステップＳ３１１６で条件を満たさないときは、そのままステップＳ３１５０へ進むようにする。
【００７１】
尚、ステップＳ３１２０のブロックセレクション処理によって生成する各ブロックの属性、サイズ、位置は一時保存するだけであり、その紙文書に対するブロック情報は記憶部１１１に保存しておく必要はない。
【００７２】
また、処理対象領域は、Ｎｕｐ数（Ｌの値）と紙文書の向きに基づいて、１枚の紙文書をＮｕｐ数の領域に分割し、さらにレイアウト順に基づいて決定される。
【００７３】
尚、ステップＳ３１３０の処理によって生成する各ブロックの特徴量は一時保存するだけであり、その紙文書に対する特徴量情報を記憶部１１１に保存しておく必要はない。
【００７４】
次に、ステップＳ３１４０で、ブロック情報を参照して、登録されたオリジナル文書中の論理ページ毎に、特徴量情報を読み出し、入力した紙文書中のｃページ目の画像（比較元画像）に対する特徴量情報と比較して、その類似度を算出し、その類似度に基づいて、検索結果とするオリジナル文書候補を決定する。この結果をＮｕｐ数分（Ｌ分）、一時保存しておく。
【００７５】
次に、ステップＳ３１４１で、ｃの値を１インクリメントし、ステップＳ３１１６へ戻って、処理対象を次のページに移す。
【００７６】
一方、ステップＳ３１１６において、Ｌがｃ未満である場合（ＮＯ）は、ステップＳ３１５０に進み、ユーザ確認モードであるか否かを判定する。尚、ユーザ確認モードとは、比較処理によって得られたオリジナル文書候補の中から、ユーザが所望するオリジナル文書が検索されたか否かを確認するモードである。具体的には、オリジナル文書候補群を含むユーザインタフェースを表示部１１６、入力部１１３で実現し、このユーザインタフェースによってオリジナル文書候補群の内容をユーザが確認することができるモードである。尚、このユーザインタフェースの構成の詳細については後述する。
【００７７】
ステップＳ３１５０において、ユーザ確認モードでない場合（ＮＯ）は、比較処理で最も類似している判断された文書を自動的に選択してステップＳ３１７０に進む。一方、ユーザ確認モードである場合（ＹＥＳ）は、ステップＳ３１６０に進み、オリジナル文書候補の表示／選択を行う。特に、この選択は、オリジナル文書候補のサムネイル画像を表示部１１６に表示し、複数のオリジナル文書候補の中からユーザが所望のオリジナル文書候補のサムネイル画像を選択させることで実現する。尚、サムネイル画像を表示する際、候補となるオリジナル文書のページがＮｕｐ印刷されたものである場合は、Ｎｕｐ印刷情報を参照することで、候補となるページのみをサムネイルにすることができる（詳細は後述する）。
【００７８】
次に、ステップＳ３１７０では、選択されたオリジナル文書に対し、表示部１１６、入力部１１３で実現されるユーザインタフェースを介したユーザからの操作に基いて、そのオリジナル文書の印刷、配信、蓄積、編集のいずれかの処理を実行する。ここで、例えば印刷の場合、選択されたオリジナル文書がNup印刷されたページを含むものである場合は、Nup印刷情報を参照し、１ページずつ印刷したり、登録時とは異なるレイアウトのNup印刷をしたりすることも可能である（詳細は後述する）。
【００７９】
以上説明したように、登録時にＮｕｐ印刷されたものは、１文書に含まれる各ページ毎に、ブロックセレクション処理、特徴量情報抽出処理を行って、さらにＮｕｐ印刷情報を関連付けて記憶しておくことで、各ページに対応する電子データを全て検索し、所定の条件のレイアウトに従った印刷等、柔軟な電子データの活用を行うことができる。
【００８０】
［各処理の詳細］
以下、各処理の詳細について説明する。
【００８１】
（ブロックセレクション処理）
まず、ステップＳ３０２０及びステップＳ３１２０のブロックセレクション処理の詳細について説明する。図９は、ブロックセレクション処理の具体例について示す図である。
【００８２】
ブロックセレクション処理とは、例えば、図９のラスタ画像９１０を、９２０に示すように、意味のあるブロック毎の塊として認識し、当該ブロック各々の属性（文字（ＴＥＸＴ）／図画（ＰＩＣＴＵＲＥ）／写真（ＰＨＯＴＯ）／線（ＬＩＮＥ）／表（ＴＡＢＬＥ）等）を判定し、異なる属性を持つブロックに分割する処理である。
【００８３】
ブロックセレクション処理の実施形態を以下で説明する。
【００８４】
まず、入力画像を白黒に二値化し、輪郭線追跡を行って黒画素輪郭で囲まれる画素の塊を抽出する。面積の大きい黒画素の塊については、内部にある白画素に対しても輪郭線追跡を行って白画素の塊を抽出、さらに一定面積以上の白画素の塊の内部からは再帰的に黒画素の塊を抽出する。
【００８５】
このようにして得られた黒画素の塊を、大きさ及び形状で分類し、異なる属性を持つブロックへ分類していく。例えば、縦横比が１に近く、大きさが一定の範囲のブロックは文字相当の画素塊とし、さらに近接する文字が整列良くグループ化可能な部分を文字ブロック、扁平な画素塊を線ブロック、一定大きさ以上でかつ矩形の白画素塊を整列よく内包する黒画素塊の占める範囲を表ブロック、不定形の画素塊が散在している領域を写真ブロック、それ以外の任意形状の画素塊を図画ブロックとする。
【００８６】
（特徴量情報抽出処理）
次に、ステップＳ３０３０及びステップＳ３１３０の特徴量情報抽出処理の詳細について説明する。尚、特徴量情報抽出処理は、画像ブロック及び文字ブロックで処理方法が異なるため、それぞれ別に説明する。
【００８７】
ここで、画像ブロックは、図９の９２０に示す例の場合、写真ブロックと図画ブロックとするが、用途や目的に応じて、画像ブロックを写真ブロック及び図画ブロックの少なくとも一方にすることも可能である。
【００８８】
まず、画像ブロックに対する特徴量情報処理について説明する。尚、１文書に複数の画像ブロックが存在する場合は、その総数分だけ、以下で説明する処理を繰り返すことで適用可能である。第１の実施形態では、一例として、画像の色に関する色特徴量を抽出する色特徴量情報処理を行う。
【００８９】
そこで、以下では、色特徴量情報処理の詳細について説明する。図１０は、本発明の第１の実施形態に係る色特徴量情報処理の詳細を説明するためのフローチャートである。尚、この処理では、処理対象画像を複数のメッシュブロックに分割した各メッシュブロックの色ヒストグラム中の最頻色を有する色と各メッシュブロックの位置情報を対応づけた情報を色特徴情報として抽出する。
【００９０】
まず、画像を複数のメッシュブロックに分割する（ステップＳ１０２０）。図１１は、本発明の第１の実施形態における画像のメッシュブロック分割の一例を示す図である。本実施形態では、図１１に示すように、画像を縦横をそれぞれ９メッシュブロックに分割する。尚、第１の実施形態では、表記の都合上、９×９＝８１メッシュブロックに分割している例を示しているが、実際には、１５×１５＝２２５メッシュブロック程度であることが好ましい。
【００９１】
次に、処理対象となる着目メッシュブロックを左上端のブロックに設定する（ステップＳ１０３０）。尚、この着目メッシュブロックの設定は、例えば、図１２に示すように、予め処理順序が決定された順序決定テーブルを参照して行う。すなわち、図１２は、本発明の第１の実施形態における順序決定テーブルの一例を示す図である。
【００９２】
ステップＳ１０３０での設定後、未処理の着目メッシュブロックの有無を判定する（ステップＳ１０４０）。その結果、未処理の着目メッシュブロックがない場合（ＮＯ）は、処理を終了する。一方、未処理の着目メッシュブロックがある場合（ＹＥＳ）は、ステップＳ１０５０に進む。
【００９３】
ステップＳ１０５０では、着目メッシュブロックの全画素の各濃度値を、図１３の色空間を分割して作った部分空間である色ビンへ射影し、色ビンに対する色ヒストグラムを生成する。すなわち、図１３は、本発明の第１の実施形態における色空間上の色ビンの構成の一例を示す図である。
【００９４】
尚、実施形態１では、図１３に示すように、ＲＧＢ色空間を３×３×３＝２７に分割した色ビンへ着目メッシュブロックの全画素の濃度値を射影する場合を示しているが、実際には、ＲＧＢ色空間を６×６×６＝２１６に分割した色ビンへ着目メッシュブロックの全画素の濃度値を射影するほうが好ましい。
【００９５】
次いで、ステップＳ１０６０で、色ヒストグラムの最頻色ビンの色ビンＩＤをその着目メッシュブロックの代表色と決定し、その着目メッシュブロックとその位置に対応づけて記憶部１１１に記憶する。
【００９６】
さらに、ステップＳ１０７０で、図１２の順序決定テーブルを参照して、次の処理対象となる着目メッシュブロックを設定する。その後、ステップＳ１０４０に戻り、未処理の着目メッシュブロックがなくなるまで、前述したステップＳ１０４０〜ステップＳ１０７０の処理を再帰的に繰り返す。
【００９７】
以上の処理によって、処理対象画像（画像ブロック）のメッシュブロック毎の代表色と各メッシュブロックの位置情報が対応付けられた情報を色特徴量情報として抽出することができる。
【００９８】
次に、文字ブロックに対する特徴量情報抽出処理について説明する。尚、１文書に複数の文字ブロックが存在する場合は、その総数分、以下の処理を繰り返す。
【００９９】
文字ブロックに対する文字特徴量情報は、その文字ブロックにＯＣＲ（文字認識）処理を施して得られる文字コードとする。ＯＣＲ（文字認識）処理は、文字ブロックから文字単位で切り出された文字画像に対し、パターンマッチの一手法を用いて文字認識を行い、対応する文字コードを取得する。
【０１００】
この文字認識処理は、文字画像から得られる特徴を数十次元の数値列に変換した観測特徴ベクトルと、あらかじめ字種毎に求められている辞書特徴ベクトルとを比較し、最も距離の近い字種を認識結果とするものである。
【０１０１】
特徴ベクトルの抽出には種々の公知の手法が知られている。例えば、文字をメッシュ状に分割し、各メッシュブロック内の文字線を方向別に線素としてカウントしたメッシュ数次元ベクトルを特徴とする方法がある。
【０１０２】
ブロックセレクション処理（ステップＳ３０２０、或いはステップＳ３１２０）で抽出された文字ブロックに対して文字認識を行う場合は、まず、該当文字ブロックに対し横書き／縦書きの判定を行い、各々対応する方向に文字列を切り出し、その後、文字列から文字を切り出して文字画像を取得する。
【０１０３】
横書き／縦書きの判定は、該当文字ブロック内で画素値に対する水平／垂直の射影を取り、水平射影の分散が大きい場合は横書き、垂直射影の分散が大きい場合は縦書きと判定する。文字列及び文字への分解は、横書きの文字ブロックである場合には、その水平方向の射影を利用して行を切り出し、さらに切り出された行に対する垂直方向の射影から、文字を切り出すことで行う。一方、縦書きの文字ブロックに対しては、水平と垂直を逆にすれば良い。
【０１０４】
（Ｎｕｐ印刷の指定方法）
次に、図３Ａ、図３ＢのステップＳ３１１１のＮｕｐ印刷の指定方法の詳細について説明する。Ｎｕｐ印刷指定は、ユーザが、ＭＦＰ１００のユーザインターフェースを介して、Ｎｕｐ印刷であるか否か、更に、Ｎｕｐ印刷の場合は、１枚の文書に含まれるページ数を指定するものである。
【０１０５】
このユーザインターフェースの一例について、図１４を用いて説明する。図１４は、本発明の第１の実施形態に係るユーザインターフェースの一例を示す図である。
【０１０６】
図１４において、１４１１は表示・操作パネルである。１４１２〜１４１５は各種機能ボタンであり、各機能ボタン１４１２〜１４１５は、処理対象の画像の印刷指示、配信指示、蓄積指示及び編集指示を行うためのものである。
【０１０７】
また、１４１６はスタートボタンであり、押下することで、機能ボタンで選択した機能を実行させることができる。１４２５はテンキーであり、印刷時の枚数の指定や、Ｎｕｐ印刷する場合の１枚の紙に含まれるＮｕｐ数、ページ番号の指定を行うことが可能である。
【０１０８】
１４１７は表示領域であり、タッチパネルで構成され、ユーザが直接画面に触れることで選択指示が可能である。１４１８は紙文書確認用領域であり、画像読取部１１０で読み取った紙文書画像を、領域内に収まるサイズに縮小して表示する。ユーザは紙文書画像の状態を、この領域１４１８で確認することが可能となる。
【０１０９】
１４１９は入力原稿の種類を確認する領域であり、読み取った紙文書の種類の内容を確認することができる。この領域１４１９内において、１４２０は印刷の種類（通常印刷かＮｕｐ印刷であるＮページ印刷、結合印刷、製本印刷等）の指定を行う領域である。尚、特に指定がされなければ、通常印刷が設定（及び表示）される。また、領域１４２０を指定すると、「通常印刷」、「Ｎページ印刷」、「結合印刷」、「製本印刷」等のリストが表示され、この中から選択することで指定できる。また、Ｎｕｐ印刷が指定された場合には、その指定された状態を示すために、その表示形態が、例えば、色付き表示、ブリンク表示、ハイライト表示等の表示形態に変更される。
【０１１０】
領域１４２１は、Ｎｕｐ印刷を指定する場合にのみ表示され、１枚の紙に各ページがどのような順序でレイアウトされているかを指定するものである。これは１４２１の領域を指定すると、「左上から右向き」、「左上から下向き」、「右上から左向き」、「右上から下向き」等のリストが表示され、この中から選択することで指定できる。領域１４２２は、Ｎｕｐ印刷を指定する場合にのみ表示され、１枚の紙に含まれるページ数を指定する領域である。ページ数の指定は、テンキー１４２５を使用する。
【０１１１】
領域１４２３は、Ｎｕｐ印刷を指定する場合にのみ表示され、１枚の紙に含まれる各ページのページ番号を指定する領域である。番号を指定する領域は１４２２で指定されたＮｕｐ数に応じた数が表示される。例えば、領域１４２０で「Ｎページ印刷」、領域１４２１で「左上から右向き」が指定されており、Ｎｕｐ数が２の時に、左のページ番号を１等と指定すると、推測して自動的に右のページ番号が２等というように指定される。また、手動で右のページを修正することも可能である。尚、ページ番号の指定は、テンキー１４２５を使用する。
【０１１２】
このようなユーザインターフェースを構成することで、読み取った紙文書に対するＮｕｐ印刷の指定や、Ｎｕｐ印刷である場合には、Ｎｕｐ印刷の種類、レイアウト順、１枚の紙に何ページ分の文書を含まれるか、各ページのページ番号を、その状態を表示しながら指定することができる。
【０１１３】
（比較処理）
次に、ステップＳ３１４０の比較処理の詳細について、図１５を用いて説明する。図１５は、本発明の第１の実施形態に係る画像処理システムにおける比較処理の詳細を説明するためのフローチャートである。
【０１１４】
まず、アドレス情報を参照して、未比較のオリジナル文書の有無を判定する（ステップＳ１５１０）。その結果、未比較のオリジナル文書がない場合（ＮＯ）は、ステップＳ１５５０に進む。一方、未比較のオリジナル文書がある場合（ＹＥＳ）は、ステップＳ１５２０に進む。
【０１１５】
ステップＳ１５２０においては、レイアウトの比較を行う。ここで、レイアウトとは、ブロック情報にあるブロックの属性、サイズ、位置のことである。その結果、比較元画像（紙文書）と比較先画像（電子データ）のレイアウトが同じである場合（ＹＥＳ）は、ステップＳ１５３０に進む。一方、比較元画像と比較先画像のレイアウトが同じでない場合（ＮＯ）は、ステップＳ１５１０に戻る。
【０１１６】
ステップＳ１５３０では、比較元画像（紙文書）と比較先画像（電子データ）のページ同士の比較を行うページ比較処理を実行する。この比較は、ブロックの属性に合わせ、文字、画像それぞれに応じた特徴量を用いて、複合的に比較を行い、類似度を算出する。この処理の詳細については後述する。
【０１１７】
ページ比較処理（ステップＳ１５３０）の後、比較先の文書ＩＤ、ページ番号に対応させて文書の類似度を記憶部１１１に一時記憶する（ステップＳ１５４０）。そして、ステップＳ１５１０に戻る。
【０１１８】
一方、ステップＳ１５１０において、全ての文書との比較が終了した場合（ＮＯ）は、ステップＳ１５５０に進む。ステップＳ１５５０では、類似度の降順に、文書ＩＤ、ページ番号をソートして出力する。
【０１１９】
次に、ステップＳ１５３０のページ比較処理の詳細について、図１６を用いて説明する。図１６は、本発明の第１の実施形態におけるページ比較処理の詳細を説明するためのフローチャートである。
【０１２０】
まず、ブロック情報を参照し、処理対象となる文書ＩＤ、ページ番号に対応する電子データ中で、未比較のブロックの有無を判定する（ステップＳ１６１０）。その結果、未比較のブロックがない場合（ＮＯ）は、ステップＳ１６７０に進む。一方、未比較のブロックがある場合（ＹＥＳ）は、ステップＳ１６２０に進む。
【０１２１】
次に、ステップＳ１６２０で、比較対象のブロックの属性を判定する。属性が画像ブロックである場合、ステップＳ１６４０へ進む。一方、属性が文字ブロックである場合、ステップＳ１６６０へ進む。
【０１２２】
ステップＳ１６４０では、属性が画像ブロックである場合について、色に関する特徴量情報で比較先ブロックとの類似比較である色特徴量情報比較処理を行う。この処理の詳細については後述する。これによって得られる類似度は、比較先の文書ＩＤ、ページ番号、ブロックＩＤに対応させて記憶部１１１に一時記憶する。
【０１２３】
一方、ステップＳ１６６０では、属性が文字ブロックである場合について、文字の特徴量情報での比較元ブロックと比較先ブロックとの類似比較である文字特徴量情報比較処理を行う。この処理の詳細については後述する。また、これによって得られる類似度は、比較先の文書ＩＤ、ページ番号、ブロックＩＤに対応させて記憶部１１１に一時記憶する。
【０１２４】
ステップＳ１６４０及びＳ１６６０の比較処理の後、ステップＳ１６１０に戻って、全てのブロックとの比較が終了したか否かを判断する。そして、全てのブロックの比較が終了した場合（ＮＯ）は、ステップＳ１６７０に進む。ステップＳ１６７０では、ステップＳ１６４０及びステップＳ１６６０の処理によって記憶部１１１に記憶されている比較先文書（電子データ）のページに含まれる全てのブロックの類似度を統合し、検索条件である紙文書とオリジナル文書中のページとの類似度を算出する統合処理を行う。この処理の詳細については後述する。
【０１２５】
次に、ステップＳ１６４０の色特徴量情報比較処理の詳細について、図１７を用いて説明する。図１７は、本発明の第１の実施形態に係る色特徴量情報比較処理の詳細を説明するためのフローチャートである。
【０１２６】
まず、比較元画像ブロックと比較先画像ブロックの色特徴量を色特徴量情報から読み出す（ステップＳ１７１０）。次に、処理対象とする画像ブロック中の着目メッシュブロックを先頭に設定する（ステップＳ１７２０）。そして、比較元画像ブロックの色特徴量と、比較対象の色特徴量の類似度を示す類似距離を０にリセットする（ステップＳ１７３０）。
【０１２７】
次いで、未比較の着目メッシュブロックの有無を判定する（ステップＳ１７４０）。その結果、未比較の着目メッシュブロックがない場合（ＮＯ）は、ステップＳ１７８０に進む。一方、未比較の着目メッシュブロックがある場合（ＹＥＳ）は、ステップＳ１７５０に進む。
【０１２８】
ステップＳ１７５０では、比較元画像と比較先画像のそれぞれの色特徴量から、それぞれの着目メッシュブロックの色ビンＩＤを取得する。そして、図１８の色ビンペナルティマトリックスを参照して、取得した色ビンＩＤ間に対応する着目メッシュブロックの局所的類似距離を取得し、これを直前の処理で取得している類似距離に累積加算する（ステップＳ１７６０）。尚、この類似距離は、記憶部１１１に記憶する。
【０１２９】
ここで、色ビンペナルティマトリックスについて、図１８を用いて説明する。図１８は、本発明の第１の実施形態における色ビンペナルティマトリックスの構成を示す図である。
【０１３０】
色ビンペナルティマトリックスは、色ビンＩＤ同士の局所的類似距離を管理するマトリックスである。図１８では、色ビンペナルティマトリックスは、同一色ビンＩＤではその類似距離は０となり、色ビンＩＤ同士の差が大きくなるほど、すなわち、類似度が低くなるほど、その類似距離は大きくなるように構成されている。また、同一色ビンＩＤの対角位置は全て、その類似距離は０で、それを境に対象性を持っている。
【０１３１】
このように、第１の実施形態では、色ビンペナルティマトリックスを参照するだけで、色ビンＩＤ同士の類似距離を取得することができるので、処理の高速化を図ることができる。
【０１３２】
上述したようなステップＳ１７６０の処理後、図１２の順序決定テーブルを参照して、次の処理対象となる着目メッシュブロックを設定する（ステップＳ１７７０）。その後、ステップＳ１７４０に戻って上記処理を繰り返す。
【０１３３】
そして、ステップＳ１７４０において未比較の着目メッシュブロックがない場合（ＮＯ）、記憶部１１１に記憶されている類似距離を類似度に変換し、ブロックＩＤと対にして出力する（ステップＳ１７８０）。尚、類似度への変換は、例えば、類似距離が最小値のときを類似度１００％、類似距離が最大値のときを類似度０％として、その範囲内の類似距離に対する類似度は、最小値或いは最大値に対する差に基づいて算出するようにすれば良い。
【０１３４】
次に、ステップＳ１６６０の文字特徴量情報比較処理の詳細について説明する。この処理では、比較元画像と比較先画像中のそれぞれの文字ブロック内の各文字コード同士の比較を行い、その一致度から類似度を算出する。
【０１３５】
尚、検索条件とする紙文書とオリジナル文書との比較である場合、類似度は１００％となるのが理想的であるが、実際には、検索条件となる紙文書中の文字ブロックに対するＯＣＲ処理では誤認識が発生する場合があるので、オリジナル文書との比較であっても、類似度は１００％にならないことはあるが、かなり１００％に近い値となる。
【０１３６】
（統合処理）
次に、ステップＳ１６７０の統合処理の詳細について説明する。統合処理では、比較先画像であるオリジナル文書該当するページ内で占めている割合の大きいブロックの類似度が、オリジナル文書の該当するページ全体の類似度としてより大きく反映されるような、算出されたブロック毎の類似度の統合を行う。
【０１３７】
例えば、オリジナル文書の該当するページ中のブロックＢ１〜Ｂ６に対し、ブロック毎の類似率がｎ１〜ｎ６と算出されたとする。このときオリジナル文書の該当するページ全体の総合類似率Ｎは、以下の式で表現される。
【０１３８】
Ｎ＝ｗ１×ｎ１＋ｗ２×ｎ２＋ｗ３×ｎ３＋ ・・・ ＋ｗ６×ｎ６ （１）
ここで、ｗ１〜Ｗ６は、各ブロックの類似率を評価する重み係数である。重み係数ｗ１〜ｗ６は、ブロックのオリジナル文書の該当するページ内占有率により算出する。例えば、ブロック１〜６のサイズをＳ１〜Ｓ６とすると、ブロック１の占有率ｗ１は、
ｗ１＝Ｓ１／（Ｓ１＋Ｓ２＋・・・＋Ｓ６） （２）
として算出することができる。
【０１３９】
このような占有率を用いた重み付け処理により、オリジナル文書内で大きな領域を占めるブロックの類似度がより、オリジナル文書の該当するページ全体の類似度に反映することができる。
【０１４０】
このようにして得られた類似度と文書ＩＤ、ページ番号を関連付けて、最終的な検索結果として一時保存する。
【０１４１】
（確認モード時の処理）
次に、ステップＳ３１５０及びステップＳ３１６０に示す確認モード時の処理の詳細について説明する。尚、確認モードは、ユーザが予めユーザインタフェースから指定してもよいし、確認モードにするべきか否かを自動で判定しても良い。
【０１４２】
自動判定の方法としては、次の方法がある。例えば、検索されたオリジナル文書候補が１つの場合、又は、１位のオリジナル文書候補と２位以降のオリジナル文書候補のそれぞれ類似度の差が所定値以上で、１位のオリジナル文書候補が、所望とするオリジナル文書である可能性が高い場合は、「非確認モード」としてステップＳ３１７０に進み、そうでない場合は、「確認モード」とする。
【０１４３】
但し、Ｎｕｐ印刷の紙文書をスキャンした場合は、スキャン画像中の各ページに対応するそれぞれの候補について、１つでも上記の条件を満足しない場合は、「確認モード」となり、上記の条件を満足しなかったページのみの確認を行う。
【０１４４】
また、「確認モード」の際は、ＭＦＰ１００の表示部１１６と入力部１１３で実現されるユーザインタフェースに、オリジナル文書候補群を類似度の高い順に表示して、その中から所望のオリジナル文書の選択をユーザに行ってもらう。
【０１４５】
このように、確認モードの実行の有無を自動判定する場合は、ユーザによるオリジナル文書の選択操作が不要となるので、操作工程数を低減することができる。
【０１４６】
ここで、確認モード時のユーザインタフェースの一例について、図１９を用いて説明する。図１９は、本発明の第１の実施形態に係るユーザインタフェースの一例を示す図である。
【０１４７】
図１９において、１９１７は表示領域であり、タッチパネルで構成され、ユーザが直接画面に触れることで選択指示が可能である。尚、この表示領域１９１７は、図１４における表示領域１４１７と同様のものである。また、１９１８はモード表示領域であり、図１９では、確認モードであることを示している。通常は自動判定されたモードを表示する。また、ユーザがこの領域に触れることで、「確認モード」と「非確認モード」をユーザがサイクリックに指定することができる。
【０１４８】
図１９において、１９１９〜１９２８は、検索結果として出力するオリジナル文書候補のサムネイル画像群である。このサムネイル画像の表示は、１９１９から番号順に類似度の高い順で表示されている。
【０１４９】
この例では、最大１０のサムネイル画像が表示され、オリジナル文書候補が１０以上である場合には、上位１０までのサムネイル画像が表示される。そして、このサムネイル画像群１９１９〜１９２８から、所望するサムネイル画像を選択することで、所望のオリジナル文書を選択することが可能であり、その選択したオリジナル文書に対する各種処理を実行することが可能となる。
【０１５０】
また、１９２９はＮｕｐ印刷の紙文書をスキャンした時に表示され、文書中の何ページ目の候補が表示されているかを示すものである。また、これを選択することで、他のページの候補を切り替えて表示させることもできる。
【０１５１】
オリジナル文書候補を表示するときは、一時保存された検索結果を参照してそれぞれの文書ＩＤ、ページ番号に対応する文書のサムネイル画像を表示するが、このとき、Ｎｕｐ印刷情報を参照し、文書ＩＤ、ページ番号が、Ｎｕｐ印刷情報に存在する場合は、オリジナル文書はＮｕｐ印刷されたものである。例えば、表示すべきページ番号が２，３であり、Ｎｕｐ印刷ＩＤがどちらも１等となって同じである場合は、各ページ毎に分けて、２ページ目に対する候補、３ページ目に対する候補として表示してもよいし、そのままオリジナル文書を表示してもよい。
【０１５２】
また、例えば、表示すべきページ番号が２，３であり、Ｎｕｐ印刷ＩＤが１，２等となって異なっている場合は、２ページ、３ページは、オリジナル文書としては別の紙に印刷されたものをスキャンして登録されていることになる。例えば、１，２ページのＮｕｐ印刷と３，４ページのＮｕｐ印刷のものが登録されている。このようなときは、それぞれを分けて、２ページ目に対する候補、３ページ目に対する候補として表示してもよいし、２ページ目と３ページ目を１枚になるように再構成したものを表示するようにしてもよい。
【０１５３】
このように、Ｎｕｐ印刷情報を参照することで、候補対象ではないページ（前記の例では、１、４ページ）を余分に表示させず、ユーザの確認作業を容易にすることが可能となる。
【０１５４】
（印刷／配信／蓄積／編集処理）
次に、ステップＳ３１７０の印刷／配信／蓄積／編集処理の詳細について説明する。
【０１５５】
Ｎｕｐ印刷情報に検索結果の文書ＩＤ、ページ番号が存在するときは、オリジナル文書はＮｕｐ印刷されたページを含んでいる。これらの印刷を行う場合には、その印刷条件として、例えば、それぞれのページを解像度変換し、１枚につき１ページ分を印刷してもよい。また、検索元もＮｕｐ印刷した紙文書をスキャンした場合、オリジナル文書のＮｕｐ印刷とレイアウトが同じでページの構成も同じならば、そのままＮｕｐ印刷を行ってもよいし、もとのＮｕｐ印刷とレイアウトが同じでページの構成が異なるならば、検索元のＮｕｐ印刷と同じなる用に再構成してＮｕｐ印刷を行ってもよい。
【０１５６】
また、検索元のＮｕｐ印刷とはレイアウトを変更したＮｕｐ印刷を行ってもよい。尚、Ｎｕｐ印刷のレイアウトの違いは、検索元のレイアウト（Ｎｕｐタイプ、レイアウト順、Ｎｕｐ数）と、Ｎｕｐ印刷情報上のＮｕｐタイプ、レイアウト順、Ｎｕｐ数を比較することで判定できる。また、１枚の両面にそれぞれのページを解像度変換して印刷するようにしても良いし、各ページを解像度変換して１枚の紙に重ねて（オーバーレイして）印刷するようにしてもよいし、順番を変えて製本印刷するようにしてもよい。また、もちろん、Ｎｕｐ印刷情報を参照することで、ユーザが指定したページのみを解像度変換して１枚の紙に印刷してもよい。
【０１５７】
また、印刷処理以外に、検索結果の全てについて、配信、蓄積、編集等の処理を行うようにしても、ユーザが指定したページのみを配信、蓄積、編集等の処理を行うようにしてもよい。
【０１５８】
以上説明したように、第１の実施形態によれば、Ｎｕｐ印刷した紙文書に含まれる全てのページに対して、オリジナルの電子データを検索することができ、かつその検索した電子データが通常印刷されたものをスキャンした場合はもちろん、Ｎｕｐ印刷されたものをスキャンした場合であっても、その電子データを用いた様々な活用を実現することができる。
【０１５９】
＜第２の実施形態＞
前述した第１の実施形態では、入力する紙文書がＮｕｐ印刷であるか否か、さらに、Ｎｕｐ印刷の場合は、１枚の文書に含まれるページ数の指定をユーザが行う構成とした。これに対し、第２の実施形態では、入力した紙文書の内容を解析して、その解析結果に基づいて、紙文書がＮｕｐ印刷であるか否か、更に、Ｎｕｐ印刷の場合は、１枚の文書に含まれるページ数を自動判定する構成について説明する。また、この自動判定のタイミングは、実施形態１の図３ＡのステップＳ３０１５の後、図３ＢのステップＳ３１１０の紙文書の入力後に実行する。
【０１６０】
以下、第２の実施形態に係る画像処理システムでの登録処理について、図２０Ａを用いて説明する。図２０Ａは、本発明の第２の実施形態に係る画像処理システムにおける登録処理手順を説明するためのフローチャートである。尚、図２０Ａにおいて、第１の実施形態の図３Ａの登録処理と同一の処理ステップには、同一のステップ番号を付加し、その詳細については省略する。
【０１６１】
図２０Ａに示すように、前述した図３Ａのフローチャートと異なる点は、ステップＳ３１１０のＮｕｐ印刷判定処理を有しているかいないかである。尚、Ｎｕｐ印刷判定処理の詳細については後述する。
【０１６２】
次に、第２の実施形態における検索処理について、図２０Ｂを用いて説明する。図２０Ｂは、本発明の第２の実施形態に係る画像処理システムにおける検索処理手順を説明するためのフローチャートである。尚、図２０Ｂにおいて、第１の実施形態の図３Ｂに示す検索処理と同一の処理ステップには、同一のステップ番号を付加し、その詳細については省略する。
【０１６３】
図２０Ｂに示すように、前述した図３Ｂのフローチャートと異なる点は、ステップＳ３１１０のＮｕｐ印刷判定処理を有しているかいないかである。また、当該Ｎｕｐ印刷判定処理（ステップＳ３１１０）は、登録処理と同じである。
【０１６４】
ここで、紙文書に１ページ分の文書が印刷されている通常印刷の場合には、紙文書の上端か下端にページ番号が印刷される。一方、Ｎｕｐ印刷の場合は、紙文書内に複数のページ番号が等間隔に印刷されることになる。そこで、第２の実施形態では、このことを利用して、処理対象のスキャン画像がＮｕｐ印刷であるか否かを判定する。
【０１６５】
例として、図２１に示すような１枚の紙に４ページ分の文書をＮｕｐ印刷した場合について説明する。図２１は、本発明の第２の実施形態に係る画像処理システムにおいて１枚に４ページ分をＮｕｐ印刷した例を示す図である。
【０１６６】
図２１において、２１１０はＮｕｐ印刷時の紙全体の領域を示している。２１１１〜２１１４は各ページのページ画像を示している。２１１５〜２１１８は、各ページに付与されたページ番号である。２１１９と２１２０の太枠内は、後述するページ番号探索領域である。
【０１６７】
次に、ステップＳ３１１０のＮｕｐ印刷判定処理の詳細について、図２１及び図２２を用いて説明する。図２２は、本発明の第２の実施形態に係る画像処理システムにおけるＮｕｐ印刷判定処理の詳細を説明するためのフローチャートである。
【０１６８】
まず、紙全体の領域２１１０の上端と下端の領域に対して、ＯＣＲ処理を施す（ステップＳ２２１０）。次に、ＯＣＲ処理の処理結果として、ページ番号（例えば、アラビア数字、もしくは英数字）が２個所以上、上端領域又は下端領域の所定の領域内（例えば、等間隔の領域）に存在するか否かを判定する（ステップＳ２２２０）。その結果、ページ番号が２個所以上存在しない場合（ＮＯ）は、通常印刷であると判定する（ステップＳ２２６０）。一方、ページ番号が２個所以上存在する場合（ＹＥＳ）は、ステップＳ２２３０に進む。
【０１６９】
例えば、図２１に示す場合では、ページ番号２１１７（「３」）と２１１８（「４」）が下端領域に２箇所検出されることになる。
【０１７０】
ステップＳ２２３０では、検出されたページ番号に基づいて、他のページ番号を探索するためのページ番号探索領域を設定し、その設定したページ番号探索領域に対してＯＣＲ処理を施す。
【０１７１】
図２１に示す例では、ページ番号画像２１１７と２１１８で、それぞれのページ番号を含む紙全体の垂直方向にページ番号探索領域２１１９及び２１２０を設定する。そして、各ページ番号探索領域２１１９、２１２０に対してＯＣＲ処理を施す。
【０１７２】
次に、ステップＳ２２４０で、各ページ番号探索領域でページ番号が検出され、各ページ番号探索領域中のページ番号同士の間隔が同一であるか否かを判断する。そして、ステップＳ２２５０において、ステップＳ２２４０の判断が同一でない場合は、１列のＮｕｐ印刷であると判定し、一方、同一である場合は、マトリックス状のＮｕｐ印刷であると判定する。
【０１７３】
図２１に示す例では、ページ番号探索領域２１１９にページ番号２１１５（「１」）と２１１７（「３」）が検出され、ページ番号探索領域２１２０にページ番号２１１６（「２」）と２１１８（「４」）が検出される。そして、ページ番号探索領域２１１９とページ番号探索領域２１２０中のページ番号の間隔は、同じ間隔となっている。そのため、この場合は、マトリックス状のＮｕｐ印刷と判定される。
【０１７４】
また、この際、ステップＳ２２１０で検出されたページ番号の数と、ステップＳ２２３０の１つのページ番号探索領域で検出されたページ番号の数を乗算することで、１枚に含まれるページ数を算出することができ、このページ数とページ番号を記憶部１１１に一時保存する。
【０１７５】
ステップＳ２２５０でＮｕｐ印刷と判定された後、ページ番号の並びから、レイアウト順序とＮｕｐ印刷のタイプを推定し、記憶部１１１に一時保存する（ステップＳ２２５５）。尚、Ｎｕｐ印刷のタイプはページ番号が番号順になっていなければＮページ印刷と推定し、ページ数が２でページ番号の番号順でなければ製本印刷というように推定できる。
【０１７６】
以上説明したように、第２の実施形態に係る画像処理システムによれば、第１の実施形態で説明した効果に加えて、スキャン画像がＮｕｐ印刷であるか否かを自動的に判定することで、ユーザの手を煩わすことなく、Ｎｕｐ印刷であるか否か、また、Ｎｕｐ印刷である場合に何ページ分含んでいるか、ページ番号、レイアウト順序、Ｎｕｐ印刷のタイプを判定することが可能となる。
【０１７７】
尚、第２の実施形態において、ステップＳ３１１１のＮｕｐ印刷判定処理の処理結果を、ユーザに一旦提示して確認させる構成としても良い。このときは、図１４の紙文書確認用領域１４１８のように判定結果を縮小画像として表示すればよい。また、確認の結果、誤判定である場合には、領域１４１９を用いて判定内容を修正する機会を与えることが可能である。
【０１７８】
このような構成にすることにより、Ｎｕｐ印刷判定判定処理に誤判定があっても、その判定内容を修正することができ、誤ったオリジナルの電子データが出力される、といったことを防止することができる。
【０１７９】
＜第３の実施形態＞
前述した第２の実施形態では、ステップＳ３１１０のＮｕｐ印刷判定処理において、ＯＣＲ処理を用いて、ページ番号を検出する方法について説明したが、これに限定されるものではない。例えば、以下で説明するようにして、ページ番号を検出するようにしても良い。
【０１８０】
ここでは、第３の実施形態として、図２３に示すように、１枚に４ページ分をＮｕｐ印刷した場合について説明する。すなわち、図２３は、本発明の第３の実施形態における１枚に４ページ分をＮｕｐ印刷した例を示す図である。
【０１８１】
尚、２３１０は図２１の２１１０と、以下同様に、２３１１は２１１１と、２３１２は２１１２と、２３１３は２１１３と、２３１４は２１１４と、２３１５は２１１５と、２３１６は２１１６と、２３１７は２１１７と、２３１８は２１１８に対応するので、その説明は省略する。
【０１８２】
図２３において、２３２０は左側の２つのページの左マージン（最左端余白）である。２３２１は右側の２つのページの右マージン（最右端余白）である。２３１９は左側の２つのページと右側の２つのページの中間マージン（中間余白）である。ここで、中間マージン２３１９は、左側の２つのページの右マージンと、右側の２つのページの左マージンとが連続しているので、左マージン２３２０や右マージン２３２１より長くなる。
【０１８３】
そして、この中間マージン２３１９が検出される場合には、Ｎｕｐページ印刷であると判定することができる。尚、図２３では、横方向のマージンに着目して説明したが、縦方向に関しても同様のことが言える。
【０１８４】
次に、より詳細な具体例について、図２４を用いて説明する。すなわち、図２４は、本発明の第３の実施形態におけるＮｕｐ印刷判定処理を説明するための図である。
【０１８５】
図２４において、２４１０は紙全体の領域である。まず、これに対してブロックセレクション処理を行うと、ブロック２４１１〜２４２１が、ブロックセレクション処理結果として得られる。まず、検出されたブロック群の最左端を検出し、紙全体領域の左端２３１０の差分である左マージン２４２２を算出する。そして、この左マージン２４２２が、図２３の左マージン２３２０に相当する。
【０１８６】
同様に、ブロック群の最右端を検出し、紙全体領域の右端２３１０の差分である右マージン２４２３を算出する。そして、この右マージン２４２３が、図２３の右マージン２３２１に相当する。
【０１８７】
その後、各ブロック群の横方向の間隔を求め、中間マージン２３１９の中間マージン候補２４２４、２４２５を算出する。中間マージン候補２４２４、２４２５の中で、左マージン２４２２、右マージン２４２３よりも長い中間マージン候補２４２４を中間マージンとする。
【０１８８】
このようにして検出した中間マージンの数＋１が、横方向のページ数となる。同様の処理を縦方向にも行い、それぞれの結果を乗算することで、ページの総数を算出することができる。
【０１８９】
以上のようにしてＮｕｐ印刷に何ページ含まれているかがわかるので、これから、ページ番号の領域を推定する。その領域にＯＣＲ処理を施すことで、ページ番号を得ることができる。そして、第２の実施形態と同様の方法で、レイアウト順とＮｕｐ印刷タイプを推定することができる。
【０１９０】
以上説明したように、第３の実施形態によれば、第２の実施形態で説明した効果と同様に、ユーザの手を煩わすことなく、Ｎｕｐ印刷であるか否か、また、Ｎｕｐ印刷である場合に何ページ分含んでいるか、ページ番号、レイアウト順序、Ｎｕｐ印刷のタイプを判定することが可能となる。
【０１９１】
＜その他の実施形態＞
また、その他の実施形態として、第１の実施形態において、図１４の紙文書確認用領域１４１８で、ユーザが所望のページが表示されている範囲に触れることで、ページを指定することで、処理対象のページを選択するようにしても構わない。このときは、ステップＳ３１２０からステップＳ３１４０の処理は、指定されたページ領域についてのみ処理が行われる。また、第２、第３の実施形態においても、Ｎｕｐ印刷判定結果をユーザに提示し、同様な手続きを行うことによって、指定されたページ領域についてのみ処理を行うようにしても構わない。このようにすることによって、ユーザはＮｕｐ印刷された紙文書中の特定のページについてのみ登録したり、印刷等の処理を行うことができる。
【０１９２】
また、図１０の色特徴量情報抽出処理では、処理対象画像の最頻色を色特徴情報として抽出する例を説明したが、これに限定されるものではなく、例えば、平均色を色特徴情報として抽出するようにしても良い。
【０１９３】
また、画像特徴量として色特徴量を用いたが、これに限定されるものではなく、例えば、最頻輝度、平均輝度等の輝度特徴量、共起行列、コントラスト、エントロピ、Ｇａｂｏｒ変換等で表現されるテクスチャ特徴量、エッジ、フーリエ記述子等の形状特徴量等の複数種類の画像特徴量を１つ、或いは、任意に組み合わせた画像特徴量を用いても良い。
【０１９４】
また、ブロックセレクション処理を行い、処理対象の文書を文字ブロックと画像ブロックに分割し、これらの各ブロックの特徴量を複合的に用いて検索を行ったが、文書全体を１つの画像とみなし、画像の特徴量のみを用いて検索を行うようにしても構わない。また、精度が許容される範囲ならば、文書中の画像ブロックのみを利用して、オリジナル文書の検索を行うようにしても構わない。
【０１９５】
また、電子データを、一旦、ラスタ画像に変換したが、電子データから直接、文字コードや画像を抜き出して比較してももちろん構わない。
また、文字特徴量としては文字コードを採用したが、例えば、単語辞書とのマッチングを予め行って単語の品詞を抽出しておき、名詞である単語を文字特徴量としても良い。
【０１９６】
また、アドレス情報、ブロック情報、Ｎｕｐ印刷情報、色特徴量情報、文字特徴量情報をバイナリ形式で表現したが、XML(Extensible Markup Language)のようなテキスト形式で記述するようにしても構わない。
【０１９７】
以上、実施形態例を詳述したが、本発明は、例えば、システム、装置、方法、プログラム若しくは記憶媒体（記録媒体）等としての実施態様をとることが可能であり、具体的には、複数の機器から構成されるシステムに適用しても良いし、また、一つの機器からなる装置に適用しても良い。
【０１９８】
尚、本発明は、前述した実施形態の機能を実現するソフトウェアのプログラム（実施形態では図に示すフローチャートに対応したプログラム）を、システムあるいは装置に直接あるいは遠隔から供給し、そのシステムあるいは装置のコンピュータが該供給されたプログラムコードを読み出して実行することによっても達成される場合を含む。
【０１９９】
従って、本発明の機能処理をコンピュータで実現するために、該コンピュータにインストールされるプログラムコード自体も本発明を実現するものである。つまり、本発明は、本発明の機能処理を実現するためのコンピュータプログラム自体も含まれる。
【０２００】
その場合、プログラムの機能を有していれば、オブジェクトコード、インタプリタにより実行されるプログラム、ＯＳに供給するスクリプトデータ等の形態であっても良い。
【０２０１】
プログラムを供給するための記録媒体としては、例えば、フロッピー（登録商標）ディスク、ハードディスク、光ディスク、光磁気ディスク、ＭＯ、ＣＤ−ＲＯＭ、ＣＤ−Ｒ、ＣＤ−ＲＷ、磁気テープ、不揮発性のメモリカード、ＲＯＭ、ＤＶＤ（ＤＶＤ−ＲＯＭ，ＤＶＤ−Ｒ）などがある。
【０２０２】
その他、プログラムの供給方法としては、クライアントコンピュータのブラウザを用いてインターネットのホームページに接続し、該ホームページから本発明のコンピュータプログラムそのもの、もしくは圧縮され自動インストール機能を含むファイルをハードディスク等の記録媒体にダウンロードすることによっても供給できる。また、本発明のプログラムを構成するプログラムコードを複数のファイルに分割し、それぞれのファイルを異なるホームページからダウンロードすることによっても実現可能である。つまり、本発明の機能処理をコンピュータで実現するためのプログラムファイルを複数のユーザに対してダウンロードさせるＷＷＷサーバも、本発明に含まれるものである。
【０２０３】
また、本発明のプログラムを暗号化してＣＤ−ＲＯＭ等の記憶媒体に格納してユーザに配布し、所定の条件をクリアしたユーザに対し、インターネットを介してホームページから暗号化を解く鍵情報をダウンロードさせ、その鍵情報を使用することにより暗号化されたプログラムを実行してコンピュータにインストールさせて実現することも可能である。
【０２０４】
また、コンピュータが、読み出したプログラムを実行することによって、前述した実施形態の機能が実現される他、そのプログラムの指示に基づき、コンピュータ上で稼動しているＯＳなどが、実際の処理の一部または全部を行い、その処理によっても前述した実施形態の機能が実現され得る。
【０２０５】
さらに、記録媒体から読み出されたプログラムが、コンピュータに挿入された機能拡張ボードやコンピュータに接続された機能拡張ユニットに備わるメモリに書き込まれた後、そのプログラムの指示に基づき、その機能拡張ボードや機能拡張ユニットに備わるＣＰＵなどが実際の処理の一部または全部を行い、その処理によっても前述した実施形態の機能が実現される。
【０２０６】
以上説明したように、本発明によれば、通常印刷、Ｎｕｐ印刷の区別無く、紙文書のスキャン画像をオリジナル電子データとして管理することができ、かつ、通常印刷、Ｎｕｐ印刷の区別無く、紙文書からオリジナル電子データの検索と活用を行うことができる。
【図面の簡単な説明】
【０２０７】
【図１】本発明の第１の実施形態に係る画像処理システムの構成を示すブロック図である。
【図２】本発明の第１の実施形態に係るＭＦＰ１００の細部構成を示すブロック図である。
【図３Ａ】本発明の第１の実施形態に係る画像処理システムにおける画像データの登録処理を説明するためのフローチャートである。
【図３Ｂ】本発明の第１の実施形態に係る画像処理システムにおける検索処理の一例を説明するためのフローチャートである。
【図４】本発明の一実施形態に係るアドレス情報の一例を示す図である。
【図５】ブロック情報の一例を示す図である。
【図６】色特徴量情報の一例を示す図である。
【図７】文字特徴量情報の一例を示す図である。
【図８】本発明の第１の実施形態における１枚に２ページ分をＮｕｐ印刷した例を示す図である。
【図９】ブロックセレクション処理の具体例について示す図である。
【図１０】本発明の第１の実施形態に係る色特徴量情報処理の詳細を説明するためのフローチャートである。
【図１１】本発明の第１の実施形態における画像のメッシュブロック分割の一例を示す図である。
【図１２】本発明の第１の実施形態における順序決定テーブルの一例を示す図である。
【図１３】本発明の第１の実施形態における色空間上の色ビンの構成の一例を示す図である。
【図１４】本発明の第１の実施形態に係るユーザインターフェースの一例を示す図である。
【図１５】本発明の第１の実施形態に係る画像処理システムにおける比較処理の詳細を説明するためのフローチャートである。
【図１６】本発明の第１の実施形態におけるページ比較処理の詳細を説明するためのフローチャートである。
【図１７】本発明の第１の実施形態に係る色特徴量情報比較処理の詳細を説明するためのフローチャートである。
【図１８】本発明の第１の実施形態における色ビンペナルティマトリックスの構成を示す図である。
【図１９】本発明の第１の実施形態に係るユーザインタフェースの一例を示す図である。
【図２０Ａ】本発明の第２の実施形態に係る画像処理システムにおける登録処理手順を説明するためのフローチャートである。
【図２０Ｂ】本発明の第２の実施形態に係る画像処理システムにおける検索処理手順を説明するためのフローチャートである。
【図２１】本発明の第２の実施形態に係る画像処理システムにおいて１枚に４ページ分をＮｕｐ印刷した例を示す図である。
【図２２】本発明の第２の実施形態に係る画像処理システムにおけるＮｕｐ印刷判定処理の詳細を説明するためのフローチャートである。
【図２３】本発明の第３の実施形態における１枚に４ページ分をＮｕｐ印刷した例を示す図である。
【図２４】本発明の第３の実施形態におけるＮｕｐ印刷判定処理を説明するための図である。
【図２５】本発明の第１の実施形態におけるＮｕｐ印刷情報の一例を示す図である。
【技術分野】
【０００１】
本発明は、複写機等で紙文書から電子データを入力し、当該電子データに対応するオリジナルの電子データを検索して印刷、配信、蓄積、編集等の処理を行う画像処理技術に関する。
【背景技術】
【０００２】
近年、複写機等の画像入出力装置のデジタル化及びネットワーク化が進んでいる。また、このような画像入出力装置が保有する印刷機能も多様化しており、同一の、或いは、複数の文書に含まれる複数のページを、１枚の紙に配置して印刷することが可能となっている。
【０００３】
例えば、会議等で多用されている配布資料等は、参照用として用いられることが多いため、１枚の紙に１文書の２ページ分、或いは４ページ分をレイアウトするといったように、Ｎページ分の文書を１枚の紙にレイアウトして印刷されたものであることが多い。以降、このような印刷を「Ｎページ印刷」と呼ぶ。また、複数の文書のページを一度に参照する必要があるときは、結合させて印刷する場合もあり得る。以降、このような印刷を「結合印刷」と呼ぶ。さらに、印刷後に２つ折りにして製本することができるように、ページ番号が製本時の順に印刷される場合もあり得る。以降、このような印刷を「製本印刷」と呼ぶ。
【０００４】
尚、以下では、Ｎページ印刷、結合印刷、製本印刷等の１枚の紙にＮページ分の文書をレイアウトして印刷する印刷を総称して、「Ｎｕｐ印刷」と呼ぶ。
【０００５】
一方で、紙文書をスキャナ等で読み取り、読み取られた画像（紙文書画像）に対応するオリジナルの電子データを検索して、紙文書画像からではなく、オリジナルの電子データそのものから印刷したり、ネットワーク内の所望のＰＣ（パーソナルコンピュータ）等の端末へ配信したり、ネットワーク内の所望の蓄積媒体へ保存したり、又は編集したりすることを可能とするシステムが提案されている（例えば、特許文献１、２参照。）。
【０００６】
特許文献１では、紙文書をスキャンしたスキャン電子データと、記憶媒体中の電子データとをビット単位で比較することにより、スキャン電子データのオリジナルの電子データを検索することを可能としている。
【０００７】
また、特許文献２では、書類を電子データにする際に、その電子データに識別コードを付与して、その識別コードを含む印刷物を生成している。これにより、印刷物に対応する電子データを検索したり印刷したりする場合には、その印刷物を読み込んで印刷されている識別コードを認識することで、所望の電子データの検索や印刷が可能である。
【特許文献１】特許第３０１７８５１号公報
【特許文献２】特開２００１−２５７８６２号公報
【発明の開示】
【発明が解決しようとする課題】
【０００８】
しかしながら、上記特許文献１、２では、Ｎｕｐ印刷の文書については何ら考慮されていないので、Ｎｕｐ印刷が使用されるような環境においては、次のような問題が生じる。
【０００９】
すなわち、特許文献１に記載の技術では、Ｎｕｐ印刷された文書をスキャンして得られた電子データは１ページ分と解釈されてしまう。この場合、オリジナルの電子データは、１ページを単位とした電子データで記憶媒体に管理されているため、Ｎｕｐ印刷された文書がスキャンされた電子データは、どのオリジナルの電子データと比較しても高い類似度が得らないものとなり、オリジナルの電子データを検索することができない。
【００１０】
また、特許文献２に記載の技術では、識別コードの印字位置が各ページに対して決まっているので、Ｎｕｐ印刷した際には識別コードの印字位置がずれてしまう。そのため、スキャンされた電子データから識別コードが読み取れなくなってしまい、オリジナルの電子データを検索することができない。
【００１１】
本発明は、このような事情を考慮してなされたものであり、Ｎｕｐ印刷された紙文書中の画像のＮページ分のオリジナル電子データを好適に管理することができる画像処理装置、方法、プログラム及び記憶媒体を提供することを目的とする。
【課題を解決するための手段】
【００１２】
上記課題を解決するために、本発明に係る画像処理装置は、
印刷物を電子的に読み取って得られた画像を入力する入力手段と、
入力された前記画像を格納する格納手段と、
前記画像中の１又は複数のページ画像を含む処理対象領域の特徴量を抽出する抽出手段と、
前記画像の格納先情報と前記特徴量と前記１又は複数のページ画像の構成情報であるページ構成情報とを関連付けて管理する管理手段と
を備えることを特徴とする。
【００１３】
また、本発明に係る上記画像処理装置は、
前記ページ構成情報を指定する指定手段をさらに備え、
前記抽出手段が、前記指定手段で指定された前記ページ構成情報に基づいて決定される前記処理対象領域に含まれるページ画像毎に、該処理対象領域の特徴量を抽出する
ことを特徴とする。
【００１４】
さらに、本発明に係る上記画像処理装置は、
前記画像に複数のページ画像が存在するか否かを判定する判定手段と、
前記画像に複数のページ画像が存在すると判定された場合、該画像に含まれるページ構成情報を推定する推定手段とをさらに備え、
前記抽出手段が、前記推定手段によって推定された前記ページ構成情報に基づいて決定される処理対象領域毎に、該処理対象領域の特徴量を抽出する
ことを特徴とする。
【００１５】
さらにまた、本発明に係る上記画像処理装置は、
前記判定手段が、
前記画像中に含まれるページ番号を検出する手段と、
前記ページ番号が所定の領域内で等間隔に存在しているか否かを判定する手段とを備え、
該ページ番号の間隔の判定結果に基づいて前記画像に複数のページ画像が存在するか否かを判定することを特徴とする。
【００１６】
さらにまた、本発明に係る上記画像処理装置は、
前記判定手段が、
前記画像の最右端余白又は最左端余白と、それ以外の中間余白とを検出する手段と、
検出された前記中間余白が、前記最右端余白又は前記最左端余白よりも大きいか否かを判定する手段とを備え、
前記中間余白と前記最右端余白又は前記最左端余白との大きさの判定結果に基づいて前記画像に複数のページ画像が存在するか否かを判定することを特徴とする。
【００１７】
さらにまた、本発明に係る上記画像処理装置は、
前記判定手段による判定結果を表示する表示手段と、
前記判定結果を修正する修正手段と
をさらに備えることを特徴とする。
【００１８】
さらにまた、本発明に係る上記画像処理装置は、
前記格納手段に格納された前記画像を検索する検索手段をさらに備え、
前記入力手段が、新たな印刷物を電子的に読み取って得られた電子データを新たな画像として入力し、
前記抽出手段が、前記新たな画像の特徴量を抽出し、
前記検索手段が、前記特徴量を用いて、前記新たな画像に対応する画像を前記格納手段から検索する
ことを特徴とする。
【００１９】
さらにまた、本発明に係る上記画像処理装置は、
前記抽出手段が、前記画像又は前記新たな画像に含まれる処理対象領域の画像特徴量及び文字特徴量のいずれか又は両方を抽出することを特徴とする。
【００２０】
さらにまた、本発明に係る上記画像処理装置は、
前記画像特徴量が、色特徴量、輝度特徴量、テクスチャ特徴量、形状特徴量のいずれか１つ、或いは、任意の組み合わせであることを特徴とする。
【００２１】
さらにまた、本発明に係る上記画像処理装置は、前記文字特徴量が、文字コードであることを特徴とする。
【００２２】
さらにまた、本発明に係る上記画像処理装置は、
前記検索手段による検索結果の画像を前記ページ構成情報を用いて表示用に加工する手段と、
前記加工手段によって加工された検索結果の画像結果の画像を表示する表示手段と、
前記検索手段による検索結果として、前記表示手段に複数の画像が表示された場合、該複数の画像から所望の画像を選択する選択手段と
をさらに備えることを特徴とする。
【００２３】
さらにまた、本発明に係る上記画像処理装置は、
前記検索手段によって検索された画像を処理する処理手段と、
前記画像の処理に対する処理の種類を指示する指示手段とをさらに備え、
前記処理の種類が、印刷、配信、蓄積、編集のいずれかであることを特徴とする。
【００２４】
さらにまた、本発明に係る上記画像処理装置は、前記格納手段から検索された前記画像のページ構成情報と前記新たな画像のページ構成情報とが異なる場合、前記画像のページ構成情報を前記新たな画像のページ構成情報と同様になるように再構成する再構成手段をさらに備えることを特徴とする。
【００２５】
さらにまた、本発明に係る上記画像処理装置は、前記処理手段を行う際のページ構成情報を指定する手段と、前記格納手段から検索された前記画像のページ構成情報と前記指定されたページ構成情報とが異なる場合、前記画像のページ構成情報を前記指定されたページ構成情報と同様になるように再構成する再構成手段とをさらに備えることを特徴とする。
【発明の効果】
【００２６】
本発明によれば、Ｎｕｐ印刷された紙文書中の画像のＮページ分のオリジナル電子データを好適に管理することができる。例えば、Ｎページ印刷、結合印刷、製本印刷等の１枚の紙にＮページ分の文書をレイアウトして印刷するＮｕｐ印刷や通常印刷された紙原稿を区別することなく、そのスキャン画像から１又は複数のオリジナル電子データを検索して活用することが可能となる。
【発明を実施するための最良の形態】
【００２７】
以下、図面を参照して、本発明の一実施形態に係る画像処理システムにおける処理について詳細に説明する。
【００２８】
＜第１の実施形態＞
図１は、本発明の第１の実施形態に係る画像処理システムの構成を示すブロック図である。図１に示す画像処理システムは、一例として、オフィス１０とオフィス２０とをインターネット等のネットワーク１０４で接続された環境で実現される。
【００２９】
オフィス１０内に構築されたＬＡＮ１０７には、ＭＦＰ（Ｍｕｌｔｉ Ｆｕｎｃｔｉｏｎ Ｐｅｒｉｐｈｅｒａｌ：ネットワークプリンタとしても使用可能なコピー機）１００と、ＭＦＰ１００を制御するマネージメントＰＣ１０１と、クライアントＰＣ１０２と、文書管理サーバ１０６ａと、そのデータベース１０５ａ及びプロキシサーバ１０３ａが接続されている。また、オフィス２０内に構築されたＬＡＮ１０８には、文書管理サーバ１０６ｂと、そのデータベース１０５ｂ及びプロキシサーバ１０３ｂが接続されている。尚、クライアントＰＣ１０２は、外部記憶部、検索イメージ入力部及び検索結果出力部を備えている。また、ＬＡＮ１０７及びオフィス２０内のＬＡＮ１０８は、プロキシサーバ１０３ａ、１０３ｂを介してインターネット等のネットワーク１０４に接続されている。
【００３０】
ＭＦＰ１００は、本実施形態において紙文書を光学的に読み取って画像信号に変換する画像読み取り処理と、読み取った画像信号に対する画像処理の一部を担当し、また、画像信号をＬＡＮ１０９を用いてマネージメントＰＣ１０１に入力する。尚、マネージメントＰＣ１０１は、通常のＰＣでも実現可能であり、内部に画像記憶部、画像処理部、表示部及び入力部を備える。尚、マネージメントＰＣ１０１は、その一部又は全部の機能をＭＦＰ１００に組み込んで一体化して構成してもよい。
【００３１】
さらに、マネージメントＰＣ１０１には、ＲＡＭ（Ｒａｎｄｏｍ Ａｃｃｅｓｓ Ｍｅｍｏｒｙ）やハードディスク記憶装置等の各種記憶手段が内蔵可能である。これにより、マネージメントＰＣ１０１は、入力された画像データ、当該画像データから生成されたベクトルデータ、或いはベクトル処理を行った結果に関する情報を保持することができる。
【００３２】
尚、ネットワーク１０４は、典型的にはインターネットやＬＡＮやＷＡＮや電話回線、専用デジタル回線、ＡＴＭやフレームリレー回線、通信衛星回線、ケーブルテレビ回線、データ放送用無線回線等のいずれか、又はこれらの組み合わせにより実現されるいわゆる通信ネットワークであり、データの送受信が可能であれば良い。
【００３３】
また、マネージメントＰＣ１０１、クライアントＰＣ１０２、文書管理サーバ等の各種端末はそれぞれ、汎用コンピュータに搭載される標準的な構成要素（例えば、ＣＰＵ、ＲＡＭ、ＲＯＭ、ハードディスク、外部記憶装置、ネットワークインタフェース、ディスプレイ、キーボード、マウス等）を有している。
【００３４】
次に、ＭＦＰ１００の詳細な構成について説明する。図２は、本発明の第１の実施形態に係るＭＦＰ１００の細部構成を示すブロック図である。図２において、原稿台とオートドキュメントフィーダ（ＡＤＦ）を含む画像読取部１１０は、束状の、或いは１枚の原稿画像を光源（不図示）で照射し、原稿反射像をレンズで固体撮像素子上に結像し、固体撮像素子からラスタ状の画像読取信号を所定密度（例えば、６００ＤＰＩ）のラスタ画像として得る。
【００３５】
また、ＭＦＰ１００は、画像読取信号に対応する画像を印刷部１１２で記録媒体に印刷する複写機能を有する。そして、印刷部１１２で原稿画像を１つ複写する場合には、この画像読取信号をデータ処理部１１５で画像処理して記録信号を生成し、これを印刷部１１２によって記録媒体上に印刷させる。一方、原稿画像を複数枚複写する場合には、一旦、記憶部１１１に一つ分の記録信号を記憶保持させた後、これを印刷部１１２に順次出力して記録媒体上に印刷させる。
【００３６】
また、Ｎｕｐ印刷を行う場合は、データ処理部１１５で指定されたページ分の画像信号を縮小し、１枚の紙で印刷可能となるように各ページの画像信号をレイアウトする。その後、印刷部１１２に出力して記録媒体上に印刷させる。
【００３７】
一方、クライアントＰＣ１０２から出力される記録信号は、ＬＡＮ１０７及びネットワークＩＦ１１４を介してデータ処理部１１５が受信する。そして、データ処理部１１５は、その記録信号を印刷部１１２で記録可能なラスターデータに変換した後、印刷部１１２によって記録媒体上に印刷させる。
【００３８】
ＭＦＰ１００への操作者の指示は、ＭＦＰ１００に装備されたキー操作部とマネージメントＰＣ１０１に接続されたキーボード及びマウスからなる入力部１１３から行われる。尚、これらの一連の動作は、データ処理部１１５内の制御部（不図示）で制御される。また、操作入力の状態表示及び処理中の画像データの表示は、表示部１１６で行われる。
【００３９】
ＭＦＰ１００の記憶部１１１は、マネージメントＰＣ１０１からも制御され、ＭＦＰ１００とマネージメントＰＣ１０１とのデータの送受信及び制御は、ネットワークＩＦ１１７及びＬＡＮ１０９を介して行われる。
【００４０】
尚、ＭＦＰ１００では、後述する各種処理を実行するための各種操作・表示をユーザに提供するユーザインタフェースを、表示部１１６及び入力部１１３によって実現している。
【００４１】
本発明の実施形態に係る画像処理システムで実行する処理としては、大きく分けて、画像データを登録する登録処理と、所望の画像データを検索する検索処理の２つがある。
【００４２】
尚、第１の実施形態では、画像処理システム全体の処理効率を向上するために、以下で説明する各種処理を、画像処理システムを構成する各種端末に分散させて実行するようにしているが、１つの端末（例えば、ＭＦＰ１００）上で実行するようにしても構わない。
【００４３】
まず、登録処理について説明する。
【００４４】
［登録処理の概要］
登録対象の画像データの登録方法としては、紙文書をスキャン入力して生成した画像データを登録する場合と、文書作成アプリケーション等で作成された電子文書をラスタ画像に展開した画像データを登録する場合とがある。そこで、オリジナル文書を登録する登録処理の概要について、図３Ａを用いて説明する。
【００４５】
図３Ａは、本発明の第１の実施形態に係る画像処理システムにおける画像データの登録処理を説明するためのフローチャートである。尚、この処理は、画像読取部１１０のＡＤＦに、登録対象の紙文書がセットされ、入力部１１３の登録ボタンが操作された時点で開始される。また、登録対象の紙文書は、１枚でも複数枚でも可能であるが、複数枚の場合は、その紙文書から得られる画像データ群（ページ画像群）を１つのファイルとして管理することになる。
【００４６】
まず、登録対象のオリジナル文書を入力する（ステップＳ３０１０）。また、この入力に伴って、オリジナル文書を管理するための各種情報を生成して記憶部１１１に記憶する。
【００４７】
尚、オリジナル文書を登録する際のオリジナル文書の入力方法には、２種類存在する。
【００４８】
まず、オリジナル文書が電子データである場合は、クライアントＰＣ１０２内のハードディスク内、或いはオフィス１０や２０内の文書管理サーバ１０６内のデータベース１０５内、或いはＭＦＰ１００の記憶部１１１のいずれかに格納されている。そして、これらの記憶元から登録対象のオリジナル文書の電子データを読み出して、ネットワークＩＦ１１４を介してデータ処理部１１５に入力し、データ処理部１１５でその電子データをラスタ画像に変換する。
【００４９】
一方、オリジナル文書が紙文書である場合は、ＭＦＰ１００の画像読取部１１０で、その紙文書をラスタ状に走査しラスタ画像を得る。
【００５０】
このように、第１の実施形態では、登録対象のオリジナル文書に、電子データ或いは紙文書のどちらも扱うことが可能である。その後、ラスタ画像に対してデータ処理部１１５で前処理を施し、記憶部１１１に保存する。尚、これ以降、紙文書の場合には、ラスタ画像がオリジナル文書の電子データとなる。また、この場合、登録対象のオリジナル文書毎に固有の文書ＩＤを発行し、オリジナル文書の電子データのアドレスと対応付けて記憶部１１１にアドレス情報として保存する。
【００５１】
ここで、アドレスとは、ＵＲＬや、サーバ名とディレクトリ、ファイル名からなる電子データの格納先を示すフルパス情報である。図４は、本発明の一実施形態に係るアドレス情報の一例を示す図である。また、アドレス情報の格納先は、データベース１０５や記憶部１１１等が挙げられる。
【００５２】
尚、オリジナル文書が紙文書である場合の電子データのファイル形式は、例えば、ＢＭＰ形式とするが、これに限定されるものではない。例えば、色情報を保存しておくことが可能なファイル形式（例えば、ＧＩＦ、ＪＰＥＧ）であればどのようなものでも良い。一方、オリジナル文書が電子データである場合のその電子データのファイル形式は、その電子データを作成したアプリケーション（例えば、米マイクロソフト社のＭＳ−Ｗｏｒｄ（商標）や、米アドビシステム社のアクロバット（商標）等）で作成されたファイル形式（＊．ｄｏｃや＊．ｐｄｆ）となる。
【００５３】
次に、ステップＳ３０１０で入力された文書の数を入力文書数Ｐに設定する（ステップＳ３０１１）。さらに、処理文書数を示す変数ａと、処理対象の１文書中の論理ページ（文書で規定されているページ）数を示す変数ｂにそれぞれ初期値として１を設定する（ステップＳ３０１２）。そして、当該１文書の物理ページ（紙の枚数でカウントされるページ）数Ｑにａ番目の文書中の紙の枚数に応じたページ数を設定する（ステップＳ３０１３）。
【００５４】
次に、終了判定として、Ｐがａ以上であるか否かを判定する（ステップＳ３０１４）。その結果、Ｐがａ未満である場合（ＮＯ）は処理を終了する。一方、Ｐがａ以上である場合（ＹＥＳ）は未処理の文書が存在するので、処理を続行するためステップＳ３０１５に進む。
【００５５】
ステップＳ３０１５では、文書単位の終了判定として、Ｑがｂ以上であるか否かを判定する。その結果、Ｑがｂ未満である場合（ＮＯ）は、ステップＳ３０３２へ進み、ａを１インクリメントして、ステップＳ３０１３へ戻り、処理対象を次の文書に移す。一方、Ｑがｂ以上である場合（ＹＥＳ）は、未処理のページが存在するため、ステップＳ３１１１に進んで処理を続ける。
【００５６】
ステップＳ３１１１では、ユーザによるＮｕｐ印刷の指定の有無を判定する。その結果、Ｎｕｐ印刷の指定がある場合（ＹＥＳ）は、１枚中のページ数Ｌにユーザが指定した１枚中のページ数を設定する（ステップＳ３１１２）。そして、Ｎｕｐ印刷ＩＤを発行し、１枚のページ数Ｌ（Ｎｕｐ数）と、Ｎｕｐタイプ（Ｎｕｐ印刷の種別）とレイアウト順と、文書ＩＤ、ページ番号と関連付けてＮｕｐ印刷情報（例えば、図２５に示す情報）を記憶する。図２５は、本発明の第１の実施形態におけるＮｕｐ印刷情報の一例を示す図である。
【００５７】
尚、Ｎｕｐ印刷ＩＤは、登録開始時を１として、Ｎｕｐ印刷された文書を登録するたびにインクリメントされた番号が発行される。また、Ｎｕｐタイプは、Ｎｕｐ印刷の種別に対して予め付与された番号（例えば、１：Ｎページ印刷、２：結合印刷、３：製本印刷等）を設定する。さらに、レイアウト順は、１枚の中に各ページがどのような順番にレイアウトされているかを、予め付与された番号（例えば、１：左上から右向き、２：左上から下向き、３：右上向きから左向き、４：右上から下向き等）で設定する。
【００５８】
一方、ステップＳ３１１１でＮｕｐの指定がない場合（ＮＯ）は、１枚中に１ページとみなして、Ｌに１を設定する（ステップＳ３１１５）。
【００５９】
次に、ステップＳ３０１６又はＳ３１１５の処理後、処理対象の１文書中の処理ページ数を示す変数ｃに初期値として１を設定する（ステップＳ３１１３）。次に、終了判定として、Ｌがｃ以上であるか否かを判定する（ステップＳ３１１６）。その結果、ｃ未満である場合（ＮＯ）は、ステップＳ３０３１に進む。ステップ３０３１ではｂの値をインクリメントし、そして、次のページに処理を移すため、ステップＳ３０１５に戻る。一方、ステップＳ３１１６でｃ以上である場合（ＹＥＳ）は、未処理のページが存在するので、処理を続行するためにステップＳ３０２０に進む。
【００６０】
ステップＳ３１２０では、Ｐ番目の文書の論理ページｂページであるラスタ画像中のｃページ目の画像領域に対して、ブロックセレクション（ＢＳ）処理を行う。この処理は、マネージメントＰＣ１０１の制御によって実行する。
【００６１】
図８は、本発明の第１の実施形態における１枚に２ページ分をＮｕｐ印刷した例を示す図である。図８において、８１０は１枚の紙全体の領域であり、８１１と８１２は各ページのページ画像を示している。また、８１３と８１４は各ページのページ番号である。ここで、ｂ＝１である場合、１ページ目のページ画像８１１を含む処理対象領域８１５に対してのみ、ブロックセレクション処理を行うことになる。また、ｂ＝２の場合は、２ページ目のページ画像８１２を含む処理対象領域に対してのみブロックセレクション処理を行うことになる。
【００６２】
具体的には、マネージメントＰＣ１０１のＣＰＵは、記憶部１１１に格納された処理対象のオリジナル文書のラスタ画像を、まず、文字／線画部分とハーフトーン画像部分とに領域分割する。そして、文字／線画部分は、さらに段落で塊として纏まっているブロック毎に、或いは線で構成された表、図形毎に分割する。
【００６３】
一方、ハーフトーン画像部分は、矩形に分離されたブロックの画像部分、背景部分等のブロックに分割する。
【００６４】
また、処理対象領域は、Ｎｕｐ数（Ｌの値）と紙文書の向きに基づいて、１枚の紙文書をＮｕｐ数の領域に分割し、さらにレイアウト順に基づいて決定される。
【００６５】
そして、処理対象のページのページ番号、そのページ中の各ブロックを特定するブロックＩＤを発行し、各ブロックの属性（画像、文字等）、サイズ（１ページに対する相対的なサイズ、オリジナル文書がＮｕｐ印刷されていれば、その中の１ページ分に対する相対的なサイズとなる。）やオリジナル文書内の位置（１ページに対する相対的な座標であり、オリジナル文書がＮｕｐ印刷されていればその中の１ページ分に対する相対的な座標となる。）と各ブロックを関連付けて、記憶部１１１にブロック情報として記憶する。図５は、ブロック情報の一例を示す図である。
【００６６】
次に、ステップＳ３０３０で、データ処理部１１５において、各ブロックの種別に応じて、各ブロックの特徴量情報を抽出する特徴量情報抽出処理を行う。特に、文字ブロックについては、ＯＣＲ処理を施して文字コードを抽出し、これを文字特徴量とする（詳細は後述する）。また、画像ブロックについては、色に関する画像特徴量を抽出する（詳細は後述する）。この際、それぞれのブロックに対応する特徴量をオリジナル文書単位にまとめて、文書ＩＤ、ページ番号及びブロックＩＤに関連付けて、記憶部１１１に特徴量情報として記憶する。図６及び図７は、それぞれ、色特徴量情報及び文字特徴量情報の一例を示す図である。
【００６７】
次に、ステップＳ３１４１で、ｃの値を１インクリメントする。その後、ステップＳ３１１６へ戻って、処理対象を次のページに移す。
【００６８】
［検索処理の概要］
次に、オリジナル文書の電子データを検索する検索処理の概要について説明する。図３Ｂは、本発明の第１の実施形態に係る画像処理システムにおける検索処理の一例を説明するためのフローチャートである。
【００６９】
まず、検索条件となる紙文書の入力を行う（ステップＳ３１１０）。この処理は、前述したステップＳ３０１０の処理と同様であるので説明は省略する。但し、この処理によって生成するラスタ画像は一時保存するだけであり、その紙文書に対するアドレス情報を記憶部１１１に保存しておく必要はない。
【００７０】
次に、Ｎｕｐ印刷の指定の判定を行って、特徴量情報を抽出する(ステップＳ３１１１〜ステップＳ３１３０）。これらの処理は、前述した登録処理と同様であり、全く同じステップについては登録処理と同じステップ番号を付与し、その説明は省略する。但し、ステップＳ３１１６で条件を満たさないときは、そのままステップＳ３１５０へ進むようにする。
【００７１】
尚、ステップＳ３１２０のブロックセレクション処理によって生成する各ブロックの属性、サイズ、位置は一時保存するだけであり、その紙文書に対するブロック情報は記憶部１１１に保存しておく必要はない。
【００７２】
また、処理対象領域は、Ｎｕｐ数（Ｌの値）と紙文書の向きに基づいて、１枚の紙文書をＮｕｐ数の領域に分割し、さらにレイアウト順に基づいて決定される。
【００７３】
尚、ステップＳ３１３０の処理によって生成する各ブロックの特徴量は一時保存するだけであり、その紙文書に対する特徴量情報を記憶部１１１に保存しておく必要はない。
【００７４】
次に、ステップＳ３１４０で、ブロック情報を参照して、登録されたオリジナル文書中の論理ページ毎に、特徴量情報を読み出し、入力した紙文書中のｃページ目の画像（比較元画像）に対する特徴量情報と比較して、その類似度を算出し、その類似度に基づいて、検索結果とするオリジナル文書候補を決定する。この結果をＮｕｐ数分（Ｌ分）、一時保存しておく。
【００７５】
次に、ステップＳ３１４１で、ｃの値を１インクリメントし、ステップＳ３１１６へ戻って、処理対象を次のページに移す。
【００７６】
一方、ステップＳ３１１６において、Ｌがｃ未満である場合（ＮＯ）は、ステップＳ３１５０に進み、ユーザ確認モードであるか否かを判定する。尚、ユーザ確認モードとは、比較処理によって得られたオリジナル文書候補の中から、ユーザが所望するオリジナル文書が検索されたか否かを確認するモードである。具体的には、オリジナル文書候補群を含むユーザインタフェースを表示部１１６、入力部１１３で実現し、このユーザインタフェースによってオリジナル文書候補群の内容をユーザが確認することができるモードである。尚、このユーザインタフェースの構成の詳細については後述する。
【００７７】
ステップＳ３１５０において、ユーザ確認モードでない場合（ＮＯ）は、比較処理で最も類似している判断された文書を自動的に選択してステップＳ３１７０に進む。一方、ユーザ確認モードである場合（ＹＥＳ）は、ステップＳ３１６０に進み、オリジナル文書候補の表示／選択を行う。特に、この選択は、オリジナル文書候補のサムネイル画像を表示部１１６に表示し、複数のオリジナル文書候補の中からユーザが所望のオリジナル文書候補のサムネイル画像を選択させることで実現する。尚、サムネイル画像を表示する際、候補となるオリジナル文書のページがＮｕｐ印刷されたものである場合は、Ｎｕｐ印刷情報を参照することで、候補となるページのみをサムネイルにすることができる（詳細は後述する）。
【００７８】
次に、ステップＳ３１７０では、選択されたオリジナル文書に対し、表示部１１６、入力部１１３で実現されるユーザインタフェースを介したユーザからの操作に基いて、そのオリジナル文書の印刷、配信、蓄積、編集のいずれかの処理を実行する。ここで、例えば印刷の場合、選択されたオリジナル文書がNup印刷されたページを含むものである場合は、Nup印刷情報を参照し、１ページずつ印刷したり、登録時とは異なるレイアウトのNup印刷をしたりすることも可能である（詳細は後述する）。
【００７９】
以上説明したように、登録時にＮｕｐ印刷されたものは、１文書に含まれる各ページ毎に、ブロックセレクション処理、特徴量情報抽出処理を行って、さらにＮｕｐ印刷情報を関連付けて記憶しておくことで、各ページに対応する電子データを全て検索し、所定の条件のレイアウトに従った印刷等、柔軟な電子データの活用を行うことができる。
【００８０】
［各処理の詳細］
以下、各処理の詳細について説明する。
【００８１】
（ブロックセレクション処理）
まず、ステップＳ３０２０及びステップＳ３１２０のブロックセレクション処理の詳細について説明する。図９は、ブロックセレクション処理の具体例について示す図である。
【００８２】
ブロックセレクション処理とは、例えば、図９のラスタ画像９１０を、９２０に示すように、意味のあるブロック毎の塊として認識し、当該ブロック各々の属性（文字（ＴＥＸＴ）／図画（ＰＩＣＴＵＲＥ）／写真（ＰＨＯＴＯ）／線（ＬＩＮＥ）／表（ＴＡＢＬＥ）等）を判定し、異なる属性を持つブロックに分割する処理である。
【００８３】
ブロックセレクション処理の実施形態を以下で説明する。
【００８４】
まず、入力画像を白黒に二値化し、輪郭線追跡を行って黒画素輪郭で囲まれる画素の塊を抽出する。面積の大きい黒画素の塊については、内部にある白画素に対しても輪郭線追跡を行って白画素の塊を抽出、さらに一定面積以上の白画素の塊の内部からは再帰的に黒画素の塊を抽出する。
【００８５】
このようにして得られた黒画素の塊を、大きさ及び形状で分類し、異なる属性を持つブロックへ分類していく。例えば、縦横比が１に近く、大きさが一定の範囲のブロックは文字相当の画素塊とし、さらに近接する文字が整列良くグループ化可能な部分を文字ブロック、扁平な画素塊を線ブロック、一定大きさ以上でかつ矩形の白画素塊を整列よく内包する黒画素塊の占める範囲を表ブロック、不定形の画素塊が散在している領域を写真ブロック、それ以外の任意形状の画素塊を図画ブロックとする。
【００８６】
（特徴量情報抽出処理）
次に、ステップＳ３０３０及びステップＳ３１３０の特徴量情報抽出処理の詳細について説明する。尚、特徴量情報抽出処理は、画像ブロック及び文字ブロックで処理方法が異なるため、それぞれ別に説明する。
【００８７】
ここで、画像ブロックは、図９の９２０に示す例の場合、写真ブロックと図画ブロックとするが、用途や目的に応じて、画像ブロックを写真ブロック及び図画ブロックの少なくとも一方にすることも可能である。
【００８８】
まず、画像ブロックに対する特徴量情報処理について説明する。尚、１文書に複数の画像ブロックが存在する場合は、その総数分だけ、以下で説明する処理を繰り返すことで適用可能である。第１の実施形態では、一例として、画像の色に関する色特徴量を抽出する色特徴量情報処理を行う。
【００８９】
そこで、以下では、色特徴量情報処理の詳細について説明する。図１０は、本発明の第１の実施形態に係る色特徴量情報処理の詳細を説明するためのフローチャートである。尚、この処理では、処理対象画像を複数のメッシュブロックに分割した各メッシュブロックの色ヒストグラム中の最頻色を有する色と各メッシュブロックの位置情報を対応づけた情報を色特徴情報として抽出する。
【００９０】
まず、画像を複数のメッシュブロックに分割する（ステップＳ１０２０）。図１１は、本発明の第１の実施形態における画像のメッシュブロック分割の一例を示す図である。本実施形態では、図１１に示すように、画像を縦横をそれぞれ９メッシュブロックに分割する。尚、第１の実施形態では、表記の都合上、９×９＝８１メッシュブロックに分割している例を示しているが、実際には、１５×１５＝２２５メッシュブロック程度であることが好ましい。
【００９１】
次に、処理対象となる着目メッシュブロックを左上端のブロックに設定する（ステップＳ１０３０）。尚、この着目メッシュブロックの設定は、例えば、図１２に示すように、予め処理順序が決定された順序決定テーブルを参照して行う。すなわち、図１２は、本発明の第１の実施形態における順序決定テーブルの一例を示す図である。
【００９２】
ステップＳ１０３０での設定後、未処理の着目メッシュブロックの有無を判定する（ステップＳ１０４０）。その結果、未処理の着目メッシュブロックがない場合（ＮＯ）は、処理を終了する。一方、未処理の着目メッシュブロックがある場合（ＹＥＳ）は、ステップＳ１０５０に進む。
【００９３】
ステップＳ１０５０では、着目メッシュブロックの全画素の各濃度値を、図１３の色空間を分割して作った部分空間である色ビンへ射影し、色ビンに対する色ヒストグラムを生成する。すなわち、図１３は、本発明の第１の実施形態における色空間上の色ビンの構成の一例を示す図である。
【００９４】
尚、実施形態１では、図１３に示すように、ＲＧＢ色空間を３×３×３＝２７に分割した色ビンへ着目メッシュブロックの全画素の濃度値を射影する場合を示しているが、実際には、ＲＧＢ色空間を６×６×６＝２１６に分割した色ビンへ着目メッシュブロックの全画素の濃度値を射影するほうが好ましい。
【００９５】
次いで、ステップＳ１０６０で、色ヒストグラムの最頻色ビンの色ビンＩＤをその着目メッシュブロックの代表色と決定し、その着目メッシュブロックとその位置に対応づけて記憶部１１１に記憶する。
【００９６】
さらに、ステップＳ１０７０で、図１２の順序決定テーブルを参照して、次の処理対象となる着目メッシュブロックを設定する。その後、ステップＳ１０４０に戻り、未処理の着目メッシュブロックがなくなるまで、前述したステップＳ１０４０〜ステップＳ１０７０の処理を再帰的に繰り返す。
【００９７】
以上の処理によって、処理対象画像（画像ブロック）のメッシュブロック毎の代表色と各メッシュブロックの位置情報が対応付けられた情報を色特徴量情報として抽出することができる。
【００９８】
次に、文字ブロックに対する特徴量情報抽出処理について説明する。尚、１文書に複数の文字ブロックが存在する場合は、その総数分、以下の処理を繰り返す。
【００９９】
文字ブロックに対する文字特徴量情報は、その文字ブロックにＯＣＲ（文字認識）処理を施して得られる文字コードとする。ＯＣＲ（文字認識）処理は、文字ブロックから文字単位で切り出された文字画像に対し、パターンマッチの一手法を用いて文字認識を行い、対応する文字コードを取得する。
【０１００】
この文字認識処理は、文字画像から得られる特徴を数十次元の数値列に変換した観測特徴ベクトルと、あらかじめ字種毎に求められている辞書特徴ベクトルとを比較し、最も距離の近い字種を認識結果とするものである。
【０１０１】
特徴ベクトルの抽出には種々の公知の手法が知られている。例えば、文字をメッシュ状に分割し、各メッシュブロック内の文字線を方向別に線素としてカウントしたメッシュ数次元ベクトルを特徴とする方法がある。
【０１０２】
ブロックセレクション処理（ステップＳ３０２０、或いはステップＳ３１２０）で抽出された文字ブロックに対して文字認識を行う場合は、まず、該当文字ブロックに対し横書き／縦書きの判定を行い、各々対応する方向に文字列を切り出し、その後、文字列から文字を切り出して文字画像を取得する。
【０１０３】
横書き／縦書きの判定は、該当文字ブロック内で画素値に対する水平／垂直の射影を取り、水平射影の分散が大きい場合は横書き、垂直射影の分散が大きい場合は縦書きと判定する。文字列及び文字への分解は、横書きの文字ブロックである場合には、その水平方向の射影を利用して行を切り出し、さらに切り出された行に対する垂直方向の射影から、文字を切り出すことで行う。一方、縦書きの文字ブロックに対しては、水平と垂直を逆にすれば良い。
【０１０４】
（Ｎｕｐ印刷の指定方法）
次に、図３Ａ、図３ＢのステップＳ３１１１のＮｕｐ印刷の指定方法の詳細について説明する。Ｎｕｐ印刷指定は、ユーザが、ＭＦＰ１００のユーザインターフェースを介して、Ｎｕｐ印刷であるか否か、更に、Ｎｕｐ印刷の場合は、１枚の文書に含まれるページ数を指定するものである。
【０１０５】
このユーザインターフェースの一例について、図１４を用いて説明する。図１４は、本発明の第１の実施形態に係るユーザインターフェースの一例を示す図である。
【０１０６】
図１４において、１４１１は表示・操作パネルである。１４１２〜１４１５は各種機能ボタンであり、各機能ボタン１４１２〜１４１５は、処理対象の画像の印刷指示、配信指示、蓄積指示及び編集指示を行うためのものである。
【０１０７】
また、１４１６はスタートボタンであり、押下することで、機能ボタンで選択した機能を実行させることができる。１４２５はテンキーであり、印刷時の枚数の指定や、Ｎｕｐ印刷する場合の１枚の紙に含まれるＮｕｐ数、ページ番号の指定を行うことが可能である。
【０１０８】
１４１７は表示領域であり、タッチパネルで構成され、ユーザが直接画面に触れることで選択指示が可能である。１４１８は紙文書確認用領域であり、画像読取部１１０で読み取った紙文書画像を、領域内に収まるサイズに縮小して表示する。ユーザは紙文書画像の状態を、この領域１４１８で確認することが可能となる。
【０１０９】
１４１９は入力原稿の種類を確認する領域であり、読み取った紙文書の種類の内容を確認することができる。この領域１４１９内において、１４２０は印刷の種類（通常印刷かＮｕｐ印刷であるＮページ印刷、結合印刷、製本印刷等）の指定を行う領域である。尚、特に指定がされなければ、通常印刷が設定（及び表示）される。また、領域１４２０を指定すると、「通常印刷」、「Ｎページ印刷」、「結合印刷」、「製本印刷」等のリストが表示され、この中から選択することで指定できる。また、Ｎｕｐ印刷が指定された場合には、その指定された状態を示すために、その表示形態が、例えば、色付き表示、ブリンク表示、ハイライト表示等の表示形態に変更される。
【０１１０】
領域１４２１は、Ｎｕｐ印刷を指定する場合にのみ表示され、１枚の紙に各ページがどのような順序でレイアウトされているかを指定するものである。これは１４２１の領域を指定すると、「左上から右向き」、「左上から下向き」、「右上から左向き」、「右上から下向き」等のリストが表示され、この中から選択することで指定できる。領域１４２２は、Ｎｕｐ印刷を指定する場合にのみ表示され、１枚の紙に含まれるページ数を指定する領域である。ページ数の指定は、テンキー１４２５を使用する。
【０１１１】
領域１４２３は、Ｎｕｐ印刷を指定する場合にのみ表示され、１枚の紙に含まれる各ページのページ番号を指定する領域である。番号を指定する領域は１４２２で指定されたＮｕｐ数に応じた数が表示される。例えば、領域１４２０で「Ｎページ印刷」、領域１４２１で「左上から右向き」が指定されており、Ｎｕｐ数が２の時に、左のページ番号を１等と指定すると、推測して自動的に右のページ番号が２等というように指定される。また、手動で右のページを修正することも可能である。尚、ページ番号の指定は、テンキー１４２５を使用する。
【０１１２】
このようなユーザインターフェースを構成することで、読み取った紙文書に対するＮｕｐ印刷の指定や、Ｎｕｐ印刷である場合には、Ｎｕｐ印刷の種類、レイアウト順、１枚の紙に何ページ分の文書を含まれるか、各ページのページ番号を、その状態を表示しながら指定することができる。
【０１１３】
（比較処理）
次に、ステップＳ３１４０の比較処理の詳細について、図１５を用いて説明する。図１５は、本発明の第１の実施形態に係る画像処理システムにおける比較処理の詳細を説明するためのフローチャートである。
【０１１４】
まず、アドレス情報を参照して、未比較のオリジナル文書の有無を判定する（ステップＳ１５１０）。その結果、未比較のオリジナル文書がない場合（ＮＯ）は、ステップＳ１５５０に進む。一方、未比較のオリジナル文書がある場合（ＹＥＳ）は、ステップＳ１５２０に進む。
【０１１５】
ステップＳ１５２０においては、レイアウトの比較を行う。ここで、レイアウトとは、ブロック情報にあるブロックの属性、サイズ、位置のことである。その結果、比較元画像（紙文書）と比較先画像（電子データ）のレイアウトが同じである場合（ＹＥＳ）は、ステップＳ１５３０に進む。一方、比較元画像と比較先画像のレイアウトが同じでない場合（ＮＯ）は、ステップＳ１５１０に戻る。
【０１１６】
ステップＳ１５３０では、比較元画像（紙文書）と比較先画像（電子データ）のページ同士の比較を行うページ比較処理を実行する。この比較は、ブロックの属性に合わせ、文字、画像それぞれに応じた特徴量を用いて、複合的に比較を行い、類似度を算出する。この処理の詳細については後述する。
【０１１７】
ページ比較処理（ステップＳ１５３０）の後、比較先の文書ＩＤ、ページ番号に対応させて文書の類似度を記憶部１１１に一時記憶する（ステップＳ１５４０）。そして、ステップＳ１５１０に戻る。
【０１１８】
一方、ステップＳ１５１０において、全ての文書との比較が終了した場合（ＮＯ）は、ステップＳ１５５０に進む。ステップＳ１５５０では、類似度の降順に、文書ＩＤ、ページ番号をソートして出力する。
【０１１９】
次に、ステップＳ１５３０のページ比較処理の詳細について、図１６を用いて説明する。図１６は、本発明の第１の実施形態におけるページ比較処理の詳細を説明するためのフローチャートである。
【０１２０】
まず、ブロック情報を参照し、処理対象となる文書ＩＤ、ページ番号に対応する電子データ中で、未比較のブロックの有無を判定する（ステップＳ１６１０）。その結果、未比較のブロックがない場合（ＮＯ）は、ステップＳ１６７０に進む。一方、未比較のブロックがある場合（ＹＥＳ）は、ステップＳ１６２０に進む。
【０１２１】
次に、ステップＳ１６２０で、比較対象のブロックの属性を判定する。属性が画像ブロックである場合、ステップＳ１６４０へ進む。一方、属性が文字ブロックである場合、ステップＳ１６６０へ進む。
【０１２２】
ステップＳ１６４０では、属性が画像ブロックである場合について、色に関する特徴量情報で比較先ブロックとの類似比較である色特徴量情報比較処理を行う。この処理の詳細については後述する。これによって得られる類似度は、比較先の文書ＩＤ、ページ番号、ブロックＩＤに対応させて記憶部１１１に一時記憶する。
【０１２３】
一方、ステップＳ１６６０では、属性が文字ブロックである場合について、文字の特徴量情報での比較元ブロックと比較先ブロックとの類似比較である文字特徴量情報比較処理を行う。この処理の詳細については後述する。また、これによって得られる類似度は、比較先の文書ＩＤ、ページ番号、ブロックＩＤに対応させて記憶部１１１に一時記憶する。
【０１２４】
ステップＳ１６４０及びＳ１６６０の比較処理の後、ステップＳ１６１０に戻って、全てのブロックとの比較が終了したか否かを判断する。そして、全てのブロックの比較が終了した場合（ＮＯ）は、ステップＳ１６７０に進む。ステップＳ１６７０では、ステップＳ１６４０及びステップＳ１６６０の処理によって記憶部１１１に記憶されている比較先文書（電子データ）のページに含まれる全てのブロックの類似度を統合し、検索条件である紙文書とオリジナル文書中のページとの類似度を算出する統合処理を行う。この処理の詳細については後述する。
【０１２５】
次に、ステップＳ１６４０の色特徴量情報比較処理の詳細について、図１７を用いて説明する。図１７は、本発明の第１の実施形態に係る色特徴量情報比較処理の詳細を説明するためのフローチャートである。
【０１２６】
まず、比較元画像ブロックと比較先画像ブロックの色特徴量を色特徴量情報から読み出す（ステップＳ１７１０）。次に、処理対象とする画像ブロック中の着目メッシュブロックを先頭に設定する（ステップＳ１７２０）。そして、比較元画像ブロックの色特徴量と、比較対象の色特徴量の類似度を示す類似距離を０にリセットする（ステップＳ１７３０）。
【０１２７】
次いで、未比較の着目メッシュブロックの有無を判定する（ステップＳ１７４０）。その結果、未比較の着目メッシュブロックがない場合（ＮＯ）は、ステップＳ１７８０に進む。一方、未比較の着目メッシュブロックがある場合（ＹＥＳ）は、ステップＳ１７５０に進む。
【０１２８】
ステップＳ１７５０では、比較元画像と比較先画像のそれぞれの色特徴量から、それぞれの着目メッシュブロックの色ビンＩＤを取得する。そして、図１８の色ビンペナルティマトリックスを参照して、取得した色ビンＩＤ間に対応する着目メッシュブロックの局所的類似距離を取得し、これを直前の処理で取得している類似距離に累積加算する（ステップＳ１７６０）。尚、この類似距離は、記憶部１１１に記憶する。
【０１２９】
ここで、色ビンペナルティマトリックスについて、図１８を用いて説明する。図１８は、本発明の第１の実施形態における色ビンペナルティマトリックスの構成を示す図である。
【０１３０】
色ビンペナルティマトリックスは、色ビンＩＤ同士の局所的類似距離を管理するマトリックスである。図１８では、色ビンペナルティマトリックスは、同一色ビンＩＤではその類似距離は０となり、色ビンＩＤ同士の差が大きくなるほど、すなわち、類似度が低くなるほど、その類似距離は大きくなるように構成されている。また、同一色ビンＩＤの対角位置は全て、その類似距離は０で、それを境に対象性を持っている。
【０１３１】
このように、第１の実施形態では、色ビンペナルティマトリックスを参照するだけで、色ビンＩＤ同士の類似距離を取得することができるので、処理の高速化を図ることができる。
【０１３２】
上述したようなステップＳ１７６０の処理後、図１２の順序決定テーブルを参照して、次の処理対象となる着目メッシュブロックを設定する（ステップＳ１７７０）。その後、ステップＳ１７４０に戻って上記処理を繰り返す。
【０１３３】
そして、ステップＳ１７４０において未比較の着目メッシュブロックがない場合（ＮＯ）、記憶部１１１に記憶されている類似距離を類似度に変換し、ブロックＩＤと対にして出力する（ステップＳ１７８０）。尚、類似度への変換は、例えば、類似距離が最小値のときを類似度１００％、類似距離が最大値のときを類似度０％として、その範囲内の類似距離に対する類似度は、最小値或いは最大値に対する差に基づいて算出するようにすれば良い。
【０１３４】
次に、ステップＳ１６６０の文字特徴量情報比較処理の詳細について説明する。この処理では、比較元画像と比較先画像中のそれぞれの文字ブロック内の各文字コード同士の比較を行い、その一致度から類似度を算出する。
【０１３５】
尚、検索条件とする紙文書とオリジナル文書との比較である場合、類似度は１００％となるのが理想的であるが、実際には、検索条件となる紙文書中の文字ブロックに対するＯＣＲ処理では誤認識が発生する場合があるので、オリジナル文書との比較であっても、類似度は１００％にならないことはあるが、かなり１００％に近い値となる。
【０１３６】
（統合処理）
次に、ステップＳ１６７０の統合処理の詳細について説明する。統合処理では、比較先画像であるオリジナル文書該当するページ内で占めている割合の大きいブロックの類似度が、オリジナル文書の該当するページ全体の類似度としてより大きく反映されるような、算出されたブロック毎の類似度の統合を行う。
【０１３７】
例えば、オリジナル文書の該当するページ中のブロックＢ１〜Ｂ６に対し、ブロック毎の類似率がｎ１〜ｎ６と算出されたとする。このときオリジナル文書の該当するページ全体の総合類似率Ｎは、以下の式で表現される。
【０１３８】
Ｎ＝ｗ１×ｎ１＋ｗ２×ｎ２＋ｗ３×ｎ３＋ ・・・ ＋ｗ６×ｎ６ （１）
ここで、ｗ１〜Ｗ６は、各ブロックの類似率を評価する重み係数である。重み係数ｗ１〜ｗ６は、ブロックのオリジナル文書の該当するページ内占有率により算出する。例えば、ブロック１〜６のサイズをＳ１〜Ｓ６とすると、ブロック１の占有率ｗ１は、
ｗ１＝Ｓ１／（Ｓ１＋Ｓ２＋・・・＋Ｓ６） （２）
として算出することができる。
【０１３９】
このような占有率を用いた重み付け処理により、オリジナル文書内で大きな領域を占めるブロックの類似度がより、オリジナル文書の該当するページ全体の類似度に反映することができる。
【０１４０】
このようにして得られた類似度と文書ＩＤ、ページ番号を関連付けて、最終的な検索結果として一時保存する。
【０１４１】
（確認モード時の処理）
次に、ステップＳ３１５０及びステップＳ３１６０に示す確認モード時の処理の詳細について説明する。尚、確認モードは、ユーザが予めユーザインタフェースから指定してもよいし、確認モードにするべきか否かを自動で判定しても良い。
【０１４２】
自動判定の方法としては、次の方法がある。例えば、検索されたオリジナル文書候補が１つの場合、又は、１位のオリジナル文書候補と２位以降のオリジナル文書候補のそれぞれ類似度の差が所定値以上で、１位のオリジナル文書候補が、所望とするオリジナル文書である可能性が高い場合は、「非確認モード」としてステップＳ３１７０に進み、そうでない場合は、「確認モード」とする。
【０１４３】
但し、Ｎｕｐ印刷の紙文書をスキャンした場合は、スキャン画像中の各ページに対応するそれぞれの候補について、１つでも上記の条件を満足しない場合は、「確認モード」となり、上記の条件を満足しなかったページのみの確認を行う。
【０１４４】
また、「確認モード」の際は、ＭＦＰ１００の表示部１１６と入力部１１３で実現されるユーザインタフェースに、オリジナル文書候補群を類似度の高い順に表示して、その中から所望のオリジナル文書の選択をユーザに行ってもらう。
【０１４５】
このように、確認モードの実行の有無を自動判定する場合は、ユーザによるオリジナル文書の選択操作が不要となるので、操作工程数を低減することができる。
【０１４６】
ここで、確認モード時のユーザインタフェースの一例について、図１９を用いて説明する。図１９は、本発明の第１の実施形態に係るユーザインタフェースの一例を示す図である。
【０１４７】
図１９において、１９１７は表示領域であり、タッチパネルで構成され、ユーザが直接画面に触れることで選択指示が可能である。尚、この表示領域１９１７は、図１４における表示領域１４１７と同様のものである。また、１９１８はモード表示領域であり、図１９では、確認モードであることを示している。通常は自動判定されたモードを表示する。また、ユーザがこの領域に触れることで、「確認モード」と「非確認モード」をユーザがサイクリックに指定することができる。
【０１４８】
図１９において、１９１９〜１９２８は、検索結果として出力するオリジナル文書候補のサムネイル画像群である。このサムネイル画像の表示は、１９１９から番号順に類似度の高い順で表示されている。
【０１４９】
この例では、最大１０のサムネイル画像が表示され、オリジナル文書候補が１０以上である場合には、上位１０までのサムネイル画像が表示される。そして、このサムネイル画像群１９１９〜１９２８から、所望するサムネイル画像を選択することで、所望のオリジナル文書を選択することが可能であり、その選択したオリジナル文書に対する各種処理を実行することが可能となる。
【０１５０】
また、１９２９はＮｕｐ印刷の紙文書をスキャンした時に表示され、文書中の何ページ目の候補が表示されているかを示すものである。また、これを選択することで、他のページの候補を切り替えて表示させることもできる。
【０１５１】
オリジナル文書候補を表示するときは、一時保存された検索結果を参照してそれぞれの文書ＩＤ、ページ番号に対応する文書のサムネイル画像を表示するが、このとき、Ｎｕｐ印刷情報を参照し、文書ＩＤ、ページ番号が、Ｎｕｐ印刷情報に存在する場合は、オリジナル文書はＮｕｐ印刷されたものである。例えば、表示すべきページ番号が２，３であり、Ｎｕｐ印刷ＩＤがどちらも１等となって同じである場合は、各ページ毎に分けて、２ページ目に対する候補、３ページ目に対する候補として表示してもよいし、そのままオリジナル文書を表示してもよい。
【０１５２】
また、例えば、表示すべきページ番号が２，３であり、Ｎｕｐ印刷ＩＤが１，２等となって異なっている場合は、２ページ、３ページは、オリジナル文書としては別の紙に印刷されたものをスキャンして登録されていることになる。例えば、１，２ページのＮｕｐ印刷と３，４ページのＮｕｐ印刷のものが登録されている。このようなときは、それぞれを分けて、２ページ目に対する候補、３ページ目に対する候補として表示してもよいし、２ページ目と３ページ目を１枚になるように再構成したものを表示するようにしてもよい。
【０１５３】
このように、Ｎｕｐ印刷情報を参照することで、候補対象ではないページ（前記の例では、１、４ページ）を余分に表示させず、ユーザの確認作業を容易にすることが可能となる。
【０１５４】
（印刷／配信／蓄積／編集処理）
次に、ステップＳ３１７０の印刷／配信／蓄積／編集処理の詳細について説明する。
【０１５５】
Ｎｕｐ印刷情報に検索結果の文書ＩＤ、ページ番号が存在するときは、オリジナル文書はＮｕｐ印刷されたページを含んでいる。これらの印刷を行う場合には、その印刷条件として、例えば、それぞれのページを解像度変換し、１枚につき１ページ分を印刷してもよい。また、検索元もＮｕｐ印刷した紙文書をスキャンした場合、オリジナル文書のＮｕｐ印刷とレイアウトが同じでページの構成も同じならば、そのままＮｕｐ印刷を行ってもよいし、もとのＮｕｐ印刷とレイアウトが同じでページの構成が異なるならば、検索元のＮｕｐ印刷と同じなる用に再構成してＮｕｐ印刷を行ってもよい。
【０１５６】
また、検索元のＮｕｐ印刷とはレイアウトを変更したＮｕｐ印刷を行ってもよい。尚、Ｎｕｐ印刷のレイアウトの違いは、検索元のレイアウト（Ｎｕｐタイプ、レイアウト順、Ｎｕｐ数）と、Ｎｕｐ印刷情報上のＮｕｐタイプ、レイアウト順、Ｎｕｐ数を比較することで判定できる。また、１枚の両面にそれぞれのページを解像度変換して印刷するようにしても良いし、各ページを解像度変換して１枚の紙に重ねて（オーバーレイして）印刷するようにしてもよいし、順番を変えて製本印刷するようにしてもよい。また、もちろん、Ｎｕｐ印刷情報を参照することで、ユーザが指定したページのみを解像度変換して１枚の紙に印刷してもよい。
【０１５７】
また、印刷処理以外に、検索結果の全てについて、配信、蓄積、編集等の処理を行うようにしても、ユーザが指定したページのみを配信、蓄積、編集等の処理を行うようにしてもよい。
【０１５８】
以上説明したように、第１の実施形態によれば、Ｎｕｐ印刷した紙文書に含まれる全てのページに対して、オリジナルの電子データを検索することができ、かつその検索した電子データが通常印刷されたものをスキャンした場合はもちろん、Ｎｕｐ印刷されたものをスキャンした場合であっても、その電子データを用いた様々な活用を実現することができる。
【０１５９】
＜第２の実施形態＞
前述した第１の実施形態では、入力する紙文書がＮｕｐ印刷であるか否か、さらに、Ｎｕｐ印刷の場合は、１枚の文書に含まれるページ数の指定をユーザが行う構成とした。これに対し、第２の実施形態では、入力した紙文書の内容を解析して、その解析結果に基づいて、紙文書がＮｕｐ印刷であるか否か、更に、Ｎｕｐ印刷の場合は、１枚の文書に含まれるページ数を自動判定する構成について説明する。また、この自動判定のタイミングは、実施形態１の図３ＡのステップＳ３０１５の後、図３ＢのステップＳ３１１０の紙文書の入力後に実行する。
【０１６０】
以下、第２の実施形態に係る画像処理システムでの登録処理について、図２０Ａを用いて説明する。図２０Ａは、本発明の第２の実施形態に係る画像処理システムにおける登録処理手順を説明するためのフローチャートである。尚、図２０Ａにおいて、第１の実施形態の図３Ａの登録処理と同一の処理ステップには、同一のステップ番号を付加し、その詳細については省略する。
【０１６１】
図２０Ａに示すように、前述した図３Ａのフローチャートと異なる点は、ステップＳ３１１０のＮｕｐ印刷判定処理を有しているかいないかである。尚、Ｎｕｐ印刷判定処理の詳細については後述する。
【０１６２】
次に、第２の実施形態における検索処理について、図２０Ｂを用いて説明する。図２０Ｂは、本発明の第２の実施形態に係る画像処理システムにおける検索処理手順を説明するためのフローチャートである。尚、図２０Ｂにおいて、第１の実施形態の図３Ｂに示す検索処理と同一の処理ステップには、同一のステップ番号を付加し、その詳細については省略する。
【０１６３】
図２０Ｂに示すように、前述した図３Ｂのフローチャートと異なる点は、ステップＳ３１１０のＮｕｐ印刷判定処理を有しているかいないかである。また、当該Ｎｕｐ印刷判定処理（ステップＳ３１１０）は、登録処理と同じである。
【０１６４】
ここで、紙文書に１ページ分の文書が印刷されている通常印刷の場合には、紙文書の上端か下端にページ番号が印刷される。一方、Ｎｕｐ印刷の場合は、紙文書内に複数のページ番号が等間隔に印刷されることになる。そこで、第２の実施形態では、このことを利用して、処理対象のスキャン画像がＮｕｐ印刷であるか否かを判定する。
【０１６５】
例として、図２１に示すような１枚の紙に４ページ分の文書をＮｕｐ印刷した場合について説明する。図２１は、本発明の第２の実施形態に係る画像処理システムにおいて１枚に４ページ分をＮｕｐ印刷した例を示す図である。
【０１６６】
図２１において、２１１０はＮｕｐ印刷時の紙全体の領域を示している。２１１１〜２１１４は各ページのページ画像を示している。２１１５〜２１１８は、各ページに付与されたページ番号である。２１１９と２１２０の太枠内は、後述するページ番号探索領域である。
【０１６７】
次に、ステップＳ３１１０のＮｕｐ印刷判定処理の詳細について、図２１及び図２２を用いて説明する。図２２は、本発明の第２の実施形態に係る画像処理システムにおけるＮｕｐ印刷判定処理の詳細を説明するためのフローチャートである。
【０１６８】
まず、紙全体の領域２１１０の上端と下端の領域に対して、ＯＣＲ処理を施す（ステップＳ２２１０）。次に、ＯＣＲ処理の処理結果として、ページ番号（例えば、アラビア数字、もしくは英数字）が２個所以上、上端領域又は下端領域の所定の領域内（例えば、等間隔の領域）に存在するか否かを判定する（ステップＳ２２２０）。その結果、ページ番号が２個所以上存在しない場合（ＮＯ）は、通常印刷であると判定する（ステップＳ２２６０）。一方、ページ番号が２個所以上存在する場合（ＹＥＳ）は、ステップＳ２２３０に進む。
【０１６９】
例えば、図２１に示す場合では、ページ番号２１１７（「３」）と２１１８（「４」）が下端領域に２箇所検出されることになる。
【０１７０】
ステップＳ２２３０では、検出されたページ番号に基づいて、他のページ番号を探索するためのページ番号探索領域を設定し、その設定したページ番号探索領域に対してＯＣＲ処理を施す。
【０１７１】
図２１に示す例では、ページ番号画像２１１７と２１１８で、それぞれのページ番号を含む紙全体の垂直方向にページ番号探索領域２１１９及び２１２０を設定する。そして、各ページ番号探索領域２１１９、２１２０に対してＯＣＲ処理を施す。
【０１７２】
次に、ステップＳ２２４０で、各ページ番号探索領域でページ番号が検出され、各ページ番号探索領域中のページ番号同士の間隔が同一であるか否かを判断する。そして、ステップＳ２２５０において、ステップＳ２２４０の判断が同一でない場合は、１列のＮｕｐ印刷であると判定し、一方、同一である場合は、マトリックス状のＮｕｐ印刷であると判定する。
【０１７３】
図２１に示す例では、ページ番号探索領域２１１９にページ番号２１１５（「１」）と２１１７（「３」）が検出され、ページ番号探索領域２１２０にページ番号２１１６（「２」）と２１１８（「４」）が検出される。そして、ページ番号探索領域２１１９とページ番号探索領域２１２０中のページ番号の間隔は、同じ間隔となっている。そのため、この場合は、マトリックス状のＮｕｐ印刷と判定される。
【０１７４】
また、この際、ステップＳ２２１０で検出されたページ番号の数と、ステップＳ２２３０の１つのページ番号探索領域で検出されたページ番号の数を乗算することで、１枚に含まれるページ数を算出することができ、このページ数とページ番号を記憶部１１１に一時保存する。
【０１７５】
ステップＳ２２５０でＮｕｐ印刷と判定された後、ページ番号の並びから、レイアウト順序とＮｕｐ印刷のタイプを推定し、記憶部１１１に一時保存する（ステップＳ２２５５）。尚、Ｎｕｐ印刷のタイプはページ番号が番号順になっていなければＮページ印刷と推定し、ページ数が２でページ番号の番号順でなければ製本印刷というように推定できる。
【０１７６】
以上説明したように、第２の実施形態に係る画像処理システムによれば、第１の実施形態で説明した効果に加えて、スキャン画像がＮｕｐ印刷であるか否かを自動的に判定することで、ユーザの手を煩わすことなく、Ｎｕｐ印刷であるか否か、また、Ｎｕｐ印刷である場合に何ページ分含んでいるか、ページ番号、レイアウト順序、Ｎｕｐ印刷のタイプを判定することが可能となる。
【０１７７】
尚、第２の実施形態において、ステップＳ３１１１のＮｕｐ印刷判定処理の処理結果を、ユーザに一旦提示して確認させる構成としても良い。このときは、図１４の紙文書確認用領域１４１８のように判定結果を縮小画像として表示すればよい。また、確認の結果、誤判定である場合には、領域１４１９を用いて判定内容を修正する機会を与えることが可能である。
【０１７８】
このような構成にすることにより、Ｎｕｐ印刷判定判定処理に誤判定があっても、その判定内容を修正することができ、誤ったオリジナルの電子データが出力される、といったことを防止することができる。
【０１７９】
＜第３の実施形態＞
前述した第２の実施形態では、ステップＳ３１１０のＮｕｐ印刷判定処理において、ＯＣＲ処理を用いて、ページ番号を検出する方法について説明したが、これに限定されるものではない。例えば、以下で説明するようにして、ページ番号を検出するようにしても良い。
【０１８０】
ここでは、第３の実施形態として、図２３に示すように、１枚に４ページ分をＮｕｐ印刷した場合について説明する。すなわち、図２３は、本発明の第３の実施形態における１枚に４ページ分をＮｕｐ印刷した例を示す図である。
【０１８１】
尚、２３１０は図２１の２１１０と、以下同様に、２３１１は２１１１と、２３１２は２１１２と、２３１３は２１１３と、２３１４は２１１４と、２３１５は２１１５と、２３１６は２１１６と、２３１７は２１１７と、２３１８は２１１８に対応するので、その説明は省略する。
【０１８２】
図２３において、２３２０は左側の２つのページの左マージン（最左端余白）である。２３２１は右側の２つのページの右マージン（最右端余白）である。２３１９は左側の２つのページと右側の２つのページの中間マージン（中間余白）である。ここで、中間マージン２３１９は、左側の２つのページの右マージンと、右側の２つのページの左マージンとが連続しているので、左マージン２３２０や右マージン２３２１より長くなる。
【０１８３】
そして、この中間マージン２３１９が検出される場合には、Ｎｕｐページ印刷であると判定することができる。尚、図２３では、横方向のマージンに着目して説明したが、縦方向に関しても同様のことが言える。
【０１８４】
次に、より詳細な具体例について、図２４を用いて説明する。すなわち、図２４は、本発明の第３の実施形態におけるＮｕｐ印刷判定処理を説明するための図である。
【０１８５】
図２４において、２４１０は紙全体の領域である。まず、これに対してブロックセレクション処理を行うと、ブロック２４１１〜２４２１が、ブロックセレクション処理結果として得られる。まず、検出されたブロック群の最左端を検出し、紙全体領域の左端２３１０の差分である左マージン２４２２を算出する。そして、この左マージン２４２２が、図２３の左マージン２３２０に相当する。
【０１８６】
同様に、ブロック群の最右端を検出し、紙全体領域の右端２３１０の差分である右マージン２４２３を算出する。そして、この右マージン２４２３が、図２３の右マージン２３２１に相当する。
【０１８７】
その後、各ブロック群の横方向の間隔を求め、中間マージン２３１９の中間マージン候補２４２４、２４２５を算出する。中間マージン候補２４２４、２４２５の中で、左マージン２４２２、右マージン２４２３よりも長い中間マージン候補２４２４を中間マージンとする。
【０１８８】
このようにして検出した中間マージンの数＋１が、横方向のページ数となる。同様の処理を縦方向にも行い、それぞれの結果を乗算することで、ページの総数を算出することができる。
【０１８９】
以上のようにしてＮｕｐ印刷に何ページ含まれているかがわかるので、これから、ページ番号の領域を推定する。その領域にＯＣＲ処理を施すことで、ページ番号を得ることができる。そして、第２の実施形態と同様の方法で、レイアウト順とＮｕｐ印刷タイプを推定することができる。
【０１９０】
以上説明したように、第３の実施形態によれば、第２の実施形態で説明した効果と同様に、ユーザの手を煩わすことなく、Ｎｕｐ印刷であるか否か、また、Ｎｕｐ印刷である場合に何ページ分含んでいるか、ページ番号、レイアウト順序、Ｎｕｐ印刷のタイプを判定することが可能となる。
【０１９１】
＜その他の実施形態＞
また、その他の実施形態として、第１の実施形態において、図１４の紙文書確認用領域１４１８で、ユーザが所望のページが表示されている範囲に触れることで、ページを指定することで、処理対象のページを選択するようにしても構わない。このときは、ステップＳ３１２０からステップＳ３１４０の処理は、指定されたページ領域についてのみ処理が行われる。また、第２、第３の実施形態においても、Ｎｕｐ印刷判定結果をユーザに提示し、同様な手続きを行うことによって、指定されたページ領域についてのみ処理を行うようにしても構わない。このようにすることによって、ユーザはＮｕｐ印刷された紙文書中の特定のページについてのみ登録したり、印刷等の処理を行うことができる。
【０１９２】
また、図１０の色特徴量情報抽出処理では、処理対象画像の最頻色を色特徴情報として抽出する例を説明したが、これに限定されるものではなく、例えば、平均色を色特徴情報として抽出するようにしても良い。
【０１９３】
また、画像特徴量として色特徴量を用いたが、これに限定されるものではなく、例えば、最頻輝度、平均輝度等の輝度特徴量、共起行列、コントラスト、エントロピ、Ｇａｂｏｒ変換等で表現されるテクスチャ特徴量、エッジ、フーリエ記述子等の形状特徴量等の複数種類の画像特徴量を１つ、或いは、任意に組み合わせた画像特徴量を用いても良い。
【０１９４】
また、ブロックセレクション処理を行い、処理対象の文書を文字ブロックと画像ブロックに分割し、これらの各ブロックの特徴量を複合的に用いて検索を行ったが、文書全体を１つの画像とみなし、画像の特徴量のみを用いて検索を行うようにしても構わない。また、精度が許容される範囲ならば、文書中の画像ブロックのみを利用して、オリジナル文書の検索を行うようにしても構わない。
【０１９５】
また、電子データを、一旦、ラスタ画像に変換したが、電子データから直接、文字コードや画像を抜き出して比較してももちろん構わない。
また、文字特徴量としては文字コードを採用したが、例えば、単語辞書とのマッチングを予め行って単語の品詞を抽出しておき、名詞である単語を文字特徴量としても良い。
【０１９６】
また、アドレス情報、ブロック情報、Ｎｕｐ印刷情報、色特徴量情報、文字特徴量情報をバイナリ形式で表現したが、XML(Extensible Markup Language)のようなテキスト形式で記述するようにしても構わない。
【０１９７】
以上、実施形態例を詳述したが、本発明は、例えば、システム、装置、方法、プログラム若しくは記憶媒体（記録媒体）等としての実施態様をとることが可能であり、具体的には、複数の機器から構成されるシステムに適用しても良いし、また、一つの機器からなる装置に適用しても良い。
【０１９８】
尚、本発明は、前述した実施形態の機能を実現するソフトウェアのプログラム（実施形態では図に示すフローチャートに対応したプログラム）を、システムあるいは装置に直接あるいは遠隔から供給し、そのシステムあるいは装置のコンピュータが該供給されたプログラムコードを読み出して実行することによっても達成される場合を含む。
【０１９９】
従って、本発明の機能処理をコンピュータで実現するために、該コンピュータにインストールされるプログラムコード自体も本発明を実現するものである。つまり、本発明は、本発明の機能処理を実現するためのコンピュータプログラム自体も含まれる。
【０２００】
その場合、プログラムの機能を有していれば、オブジェクトコード、インタプリタにより実行されるプログラム、ＯＳに供給するスクリプトデータ等の形態であっても良い。
【０２０１】
プログラムを供給するための記録媒体としては、例えば、フロッピー（登録商標）ディスク、ハードディスク、光ディスク、光磁気ディスク、ＭＯ、ＣＤ−ＲＯＭ、ＣＤ−Ｒ、ＣＤ−ＲＷ、磁気テープ、不揮発性のメモリカード、ＲＯＭ、ＤＶＤ（ＤＶＤ−ＲＯＭ，ＤＶＤ−Ｒ）などがある。
【０２０２】
その他、プログラムの供給方法としては、クライアントコンピュータのブラウザを用いてインターネットのホームページに接続し、該ホームページから本発明のコンピュータプログラムそのもの、もしくは圧縮され自動インストール機能を含むファイルをハードディスク等の記録媒体にダウンロードすることによっても供給できる。また、本発明のプログラムを構成するプログラムコードを複数のファイルに分割し、それぞれのファイルを異なるホームページからダウンロードすることによっても実現可能である。つまり、本発明の機能処理をコンピュータで実現するためのプログラムファイルを複数のユーザに対してダウンロードさせるＷＷＷサーバも、本発明に含まれるものである。
【０２０３】
また、本発明のプログラムを暗号化してＣＤ−ＲＯＭ等の記憶媒体に格納してユーザに配布し、所定の条件をクリアしたユーザに対し、インターネットを介してホームページから暗号化を解く鍵情報をダウンロードさせ、その鍵情報を使用することにより暗号化されたプログラムを実行してコンピュータにインストールさせて実現することも可能である。
【０２０４】
また、コンピュータが、読み出したプログラムを実行することによって、前述した実施形態の機能が実現される他、そのプログラムの指示に基づき、コンピュータ上で稼動しているＯＳなどが、実際の処理の一部または全部を行い、その処理によっても前述した実施形態の機能が実現され得る。
【０２０５】
さらに、記録媒体から読み出されたプログラムが、コンピュータに挿入された機能拡張ボードやコンピュータに接続された機能拡張ユニットに備わるメモリに書き込まれた後、そのプログラムの指示に基づき、その機能拡張ボードや機能拡張ユニットに備わるＣＰＵなどが実際の処理の一部または全部を行い、その処理によっても前述した実施形態の機能が実現される。
【０２０６】
以上説明したように、本発明によれば、通常印刷、Ｎｕｐ印刷の区別無く、紙文書のスキャン画像をオリジナル電子データとして管理することができ、かつ、通常印刷、Ｎｕｐ印刷の区別無く、紙文書からオリジナル電子データの検索と活用を行うことができる。
【図面の簡単な説明】
【０２０７】
【図１】本発明の第１の実施形態に係る画像処理システムの構成を示すブロック図である。
【図２】本発明の第１の実施形態に係るＭＦＰ１００の細部構成を示すブロック図である。
【図３Ａ】本発明の第１の実施形態に係る画像処理システムにおける画像データの登録処理を説明するためのフローチャートである。
【図３Ｂ】本発明の第１の実施形態に係る画像処理システムにおける検索処理の一例を説明するためのフローチャートである。
【図４】本発明の一実施形態に係るアドレス情報の一例を示す図である。
【図５】ブロック情報の一例を示す図である。
【図６】色特徴量情報の一例を示す図である。
【図７】文字特徴量情報の一例を示す図である。
【図８】本発明の第１の実施形態における１枚に２ページ分をＮｕｐ印刷した例を示す図である。
【図９】ブロックセレクション処理の具体例について示す図である。
【図１０】本発明の第１の実施形態に係る色特徴量情報処理の詳細を説明するためのフローチャートである。
【図１１】本発明の第１の実施形態における画像のメッシュブロック分割の一例を示す図である。
【図１２】本発明の第１の実施形態における順序決定テーブルの一例を示す図である。
【図１３】本発明の第１の実施形態における色空間上の色ビンの構成の一例を示す図である。
【図１４】本発明の第１の実施形態に係るユーザインターフェースの一例を示す図である。
【図１５】本発明の第１の実施形態に係る画像処理システムにおける比較処理の詳細を説明するためのフローチャートである。
【図１６】本発明の第１の実施形態におけるページ比較処理の詳細を説明するためのフローチャートである。
【図１７】本発明の第１の実施形態に係る色特徴量情報比較処理の詳細を説明するためのフローチャートである。
【図１８】本発明の第１の実施形態における色ビンペナルティマトリックスの構成を示す図である。
【図１９】本発明の第１の実施形態に係るユーザインタフェースの一例を示す図である。
【図２０Ａ】本発明の第２の実施形態に係る画像処理システムにおける登録処理手順を説明するためのフローチャートである。
【図２０Ｂ】本発明の第２の実施形態に係る画像処理システムにおける検索処理手順を説明するためのフローチャートである。
【図２１】本発明の第２の実施形態に係る画像処理システムにおいて１枚に４ページ分をＮｕｐ印刷した例を示す図である。
【図２２】本発明の第２の実施形態に係る画像処理システムにおけるＮｕｐ印刷判定処理の詳細を説明するためのフローチャートである。
【図２３】本発明の第３の実施形態における１枚に４ページ分をＮｕｐ印刷した例を示す図である。
【図２４】本発明の第３の実施形態におけるＮｕｐ印刷判定処理を説明するための図である。
【図２５】本発明の第１の実施形態におけるＮｕｐ印刷情報の一例を示す図である。
【特許請求の範囲】
【請求項１】
印刷物を電子的に読み取って得られた画像を入力する入力手段と、
入力された前記画像を格納する格納手段と、
前記画像中の１又は複数のページ画像を含む処理対象領域の特徴量を抽出する抽出手段と、
前記画像の格納先情報と前記特徴量と前記１又は複数のページ画像の構成情報であるページ構成情報とを関連付けて管理する管理手段と
を備えることを特徴とする画像処理装置。
【請求項２】
前記ページ構成情報を指定する指定手段をさらに備え、
前記抽出手段が、前記指定手段で指定された前記ページ構成情報に基づいて決定される前記処理対象領域に含まれるページ画像毎に、該処理対象領域の特徴量を抽出する
ことを特徴とする請求項１に記載の画像処理装置。
【請求項３】
前記画像に複数のページ画像が存在するか否かを判定する判定手段と、
前記画像に複数のページ画像が存在すると判定された場合、該画像に含まれるページ構成情報を推定する推定手段とをさらに備え、
前記抽出手段が、前記推定手段によって推定された前記ページ構成情報に基づいて決定される処理対象領域毎に、該処理対象領域の特徴量を抽出する
ことを特徴とする請求項１に記載の画像処理装置。
【請求項４】
前記判定手段が、
前記画像中に含まれるページ番号を検出する手段と、
前記ページ番号が所定の領域内で等間隔に存在しているか否かを判定する手段とを備え、
該ページ番号の間隔の判定結果に基づいて前記画像に複数のページ画像が存在するか否かを判定することを特徴とする請求項３に記載の画像処理装置。
【請求項５】
前記判定手段が、
前記画像の最右端余白又は最左端余白と、それ以外の中間余白とを検出する手段と、
検出された前記中間余白が、前記最右端余白又は前記最左端余白よりも大きいか否かを判定する手段とを備え、
前記中間余白と前記最右端余白又は前記最左端余白との大きさの判定結果に基づいて前記画像に複数のページ画像が存在するか否かを判定することを特徴とする請求項３に記載の画像処理装置。
【請求項６】
前記判定手段による判定結果を表示する表示手段と、
前記判定結果を修正する修正手段と
をさらに備えることを特徴とする請求項３から５までのいずれか１項に記載の画像処理装置。
【請求項７】
前記格納手段に格納された前記画像を検索する検索手段をさらに備え、
前記入力手段が、新たな印刷物を電子的に読み取って得られた電子データを新たな画像として入力し、
前記抽出手段が、前記新たな画像の特徴量を抽出し、
前記検索手段が、前記特徴量を用いて、前記新たな画像に対応する画像を前記格納手段から検索する
ことを特徴とする請求項１に記載の画像処理装置。
【請求項８】
前記抽出手段が、前記画像又は前記新たな画像に含まれる処理対象領域の画像特徴量及び文字特徴量のいずれか又は両方を抽出することを特徴とする請求項７に記載の画像処理装置。
【請求項９】
前記画像特徴量が、色特徴量、輝度特徴量、テクスチャ特徴量、形状特徴量のいずれか１つ、或いは、任意の組み合わせであることを特徴とする請求項８に記載の画像処理装置。
【請求項１０】
前記文字特徴量が、文字コードであることを特徴とする請求項８に記載の画像処理装置。
【請求項１１】
前記検索手段による検索結果の画像を前記ページ構成情報を用いて表示用に加工する手段と、
前記加工手段によって加工された検索結果の画像を表示する表示手段と、
前記検索手段による検索結果として、前記表示手段に複数の画像が表示された場合、該複数の画像から所望の画像を選択する選択手段と
をさらに備えることを特徴とする請求項７に記載の画像処理装置。
【請求項１２】
前記検索手段によって検索された画像を処理する処理手段と、
前記画像の処理に対する処理の種類を指示する指示手段とをさらに備え、
前記処理の種類が、印刷、配信、蓄積、編集のいずれかであることを特徴とする請求項７に記載の画像処理装置。
【請求項１３】
前記格納手段から検索された前記画像のページ構成情報と前記新たな画像のページ構成情報とが異なる場合、前記画像のページ構成情報を前記新たな画像のページ構成情報と同様になるように再構成する再構成手段をさらに備えることを特徴とする請求項７に記載の画像処理装置。
【請求項１４】
前記処理手段を行う際のページ構成情報を指定する手段と、
前記格納手段から検索された前記画像のページ構成情報と前記指定されたページ構成情報とが異なる場合、前記画像のページ構成情報を前記指定されたページ構成情報と同様になるように再構成する再構成手段と
をさらに備えることを特徴とする請求項７に記載の画像処理装置。
【請求項１５】
印刷物を電子的に読み取って得られた画像を入力する入力工程と、
入力された前記画像を格納装置に格納する格納手段と、
前記画像中の１又は複数のページ画像を含む処理対象領域の特徴量を抽出する抽出工程と、
前記画像の格納先情報と前記特徴量と前記１又は複数のページ画像の構成情報であるページ構成情報とを関連付けて管理する管理工程と
を有することを特徴とする画像処理方法。
【請求項１６】
コンピュータに、
印刷物を電子的に読み取って得られた画像を入力する入力手順と、
入力された前記画像を格納装置に格納する格納手順と、
前記画像中の１又は複数のページ画像を含む処理対象領域の特徴量を抽出する抽出手順と、
前記画像の格納先情報と前記特徴量と前記１又は複数のページ画像の構成情報であるページ構成情報とを関連付けて管理する管理手順と
を実行させるためのプログラム。
【請求項１７】
請求項１６に記載のプログラムを格納したことを特徴とするコンピュータ読み取り可能な記憶媒体。
【請求項１】
印刷物を電子的に読み取って得られた画像を入力する入力手段と、
入力された前記画像を格納する格納手段と、
前記画像中の１又は複数のページ画像を含む処理対象領域の特徴量を抽出する抽出手段と、
前記画像の格納先情報と前記特徴量と前記１又は複数のページ画像の構成情報であるページ構成情報とを関連付けて管理する管理手段と
を備えることを特徴とする画像処理装置。
【請求項２】
前記ページ構成情報を指定する指定手段をさらに備え、
前記抽出手段が、前記指定手段で指定された前記ページ構成情報に基づいて決定される前記処理対象領域に含まれるページ画像毎に、該処理対象領域の特徴量を抽出する
ことを特徴とする請求項１に記載の画像処理装置。
【請求項３】
前記画像に複数のページ画像が存在するか否かを判定する判定手段と、
前記画像に複数のページ画像が存在すると判定された場合、該画像に含まれるページ構成情報を推定する推定手段とをさらに備え、
前記抽出手段が、前記推定手段によって推定された前記ページ構成情報に基づいて決定される処理対象領域毎に、該処理対象領域の特徴量を抽出する
ことを特徴とする請求項１に記載の画像処理装置。
【請求項４】
前記判定手段が、
前記画像中に含まれるページ番号を検出する手段と、
前記ページ番号が所定の領域内で等間隔に存在しているか否かを判定する手段とを備え、
該ページ番号の間隔の判定結果に基づいて前記画像に複数のページ画像が存在するか否かを判定することを特徴とする請求項３に記載の画像処理装置。
【請求項５】
前記判定手段が、
前記画像の最右端余白又は最左端余白と、それ以外の中間余白とを検出する手段と、
検出された前記中間余白が、前記最右端余白又は前記最左端余白よりも大きいか否かを判定する手段とを備え、
前記中間余白と前記最右端余白又は前記最左端余白との大きさの判定結果に基づいて前記画像に複数のページ画像が存在するか否かを判定することを特徴とする請求項３に記載の画像処理装置。
【請求項６】
前記判定手段による判定結果を表示する表示手段と、
前記判定結果を修正する修正手段と
をさらに備えることを特徴とする請求項３から５までのいずれか１項に記載の画像処理装置。
【請求項７】
前記格納手段に格納された前記画像を検索する検索手段をさらに備え、
前記入力手段が、新たな印刷物を電子的に読み取って得られた電子データを新たな画像として入力し、
前記抽出手段が、前記新たな画像の特徴量を抽出し、
前記検索手段が、前記特徴量を用いて、前記新たな画像に対応する画像を前記格納手段から検索する
ことを特徴とする請求項１に記載の画像処理装置。
【請求項８】
前記抽出手段が、前記画像又は前記新たな画像に含まれる処理対象領域の画像特徴量及び文字特徴量のいずれか又は両方を抽出することを特徴とする請求項７に記載の画像処理装置。
【請求項９】
前記画像特徴量が、色特徴量、輝度特徴量、テクスチャ特徴量、形状特徴量のいずれか１つ、或いは、任意の組み合わせであることを特徴とする請求項８に記載の画像処理装置。
【請求項１０】
前記文字特徴量が、文字コードであることを特徴とする請求項８に記載の画像処理装置。
【請求項１１】
前記検索手段による検索結果の画像を前記ページ構成情報を用いて表示用に加工する手段と、
前記加工手段によって加工された検索結果の画像を表示する表示手段と、
前記検索手段による検索結果として、前記表示手段に複数の画像が表示された場合、該複数の画像から所望の画像を選択する選択手段と
をさらに備えることを特徴とする請求項７に記載の画像処理装置。
【請求項１２】
前記検索手段によって検索された画像を処理する処理手段と、
前記画像の処理に対する処理の種類を指示する指示手段とをさらに備え、
前記処理の種類が、印刷、配信、蓄積、編集のいずれかであることを特徴とする請求項７に記載の画像処理装置。
【請求項１３】
前記格納手段から検索された前記画像のページ構成情報と前記新たな画像のページ構成情報とが異なる場合、前記画像のページ構成情報を前記新たな画像のページ構成情報と同様になるように再構成する再構成手段をさらに備えることを特徴とする請求項７に記載の画像処理装置。
【請求項１４】
前記処理手段を行う際のページ構成情報を指定する手段と、
前記格納手段から検索された前記画像のページ構成情報と前記指定されたページ構成情報とが異なる場合、前記画像のページ構成情報を前記指定されたページ構成情報と同様になるように再構成する再構成手段と
をさらに備えることを特徴とする請求項７に記載の画像処理装置。
【請求項１５】
印刷物を電子的に読み取って得られた画像を入力する入力工程と、
入力された前記画像を格納装置に格納する格納手段と、
前記画像中の１又は複数のページ画像を含む処理対象領域の特徴量を抽出する抽出工程と、
前記画像の格納先情報と前記特徴量と前記１又は複数のページ画像の構成情報であるページ構成情報とを関連付けて管理する管理工程と
を有することを特徴とする画像処理方法。
【請求項１６】
コンピュータに、
印刷物を電子的に読み取って得られた画像を入力する入力手順と、
入力された前記画像を格納装置に格納する格納手順と、
前記画像中の１又は複数のページ画像を含む処理対象領域の特徴量を抽出する抽出手順と、
前記画像の格納先情報と前記特徴量と前記１又は複数のページ画像の構成情報であるページ構成情報とを関連付けて管理する管理手順と
を実行させるためのプログラム。
【請求項１７】
請求項１６に記載のプログラムを格納したことを特徴とするコンピュータ読み取り可能な記憶媒体。
【図１】
【図２】
【図３Ａ】
【図３Ｂ】
【図４】
【図５】
【図６】
【図７】
【図８】
【図９】
【図１０】
【図１１】
【図１２】
【図１３】
【図１４】
【図１５】
【図１６】
【図１７】
【図１８】
【図１９】
【図２０Ａ】
【図２０Ｂ】
【図２１】
【図２２】
【図２３】
【図２４】
【図２５】
【図２】
【図３Ａ】
【図３Ｂ】
【図４】
【図５】
【図６】
【図７】
【図８】
【図９】
【図１０】
【図１１】
【図１２】
【図１３】
【図１４】
【図１５】
【図１６】
【図１７】
【図１８】
【図１９】
【図２０Ａ】
【図２０Ｂ】
【図２１】
【図２２】
【図２３】
【図２４】
【図２５】
【公開番号】特開２００６−３３３２４８（Ｐ２００６−３３３２４８Ａ）
【公開日】平成１８年１２月７日（２００６．１２．７）
【国際特許分類】
【出願番号】特願２００５−１５６１９４（Ｐ２００５−１５６１９４）
【出願日】平成１７年５月２７日（２００５．５．２７）
【出願人】（０００００１００７）キヤノン株式会社 (59,756)
【Ｆターム（参考）】
【公開日】平成１８年１２月７日（２００６．１２．７）
【国際特許分類】
【出願日】平成１７年５月２７日（２００５．５．２７）
【出願人】（０００００１００７）キヤノン株式会社 (59,756)
【Ｆターム（参考）】
[ Back to top ]