画像処理装置、画像処理方法、及び、画像処理プログラム
【課題】手書きの記入がなされた印刷文書を参照することなく、印刷部分に対する手書きによる記入内容を把握できるサマリ情報を生成することが可能な画像処理装置を提供する。
【解決手段】画像処理装置が搭載されたＭＦＰは、画像データを入力する入力部２１と、入力された画像データから複数の手書部分を特定する特定部２２と、複数の手書部分を互いの距離に基づいてグループ化するグルーピング部２３と、グループ化された手書部分と、該グループ化された手書部分の周囲に位置する印刷部分とを含む切出領域を決定する決定部２４と、決定された切出領域の画像データを含む、手書部分のサマリ情報を生成する生成部２５とを備える。
【解決手段】画像処理装置が搭載されたＭＦＰは、画像データを入力する入力部２１と、入力された画像データから複数の手書部分を特定する特定部２２と、複数の手書部分を互いの距離に基づいてグループ化するグルーピング部２３と、グループ化された手書部分と、該グループ化された手書部分の周囲に位置する印刷部分とを含む切出領域を決定する決定部２４と、決定された切出領域の画像データを含む、手書部分のサマリ情報を生成する生成部２５とを備える。
【発明の詳細な説明】
【技術分野】
【０００１】
本発明は、画像処理装置、画像処理方法、及び、画像処理プログラムに関する。
【背景技術】
【０００２】
一般的に、印刷された文書の校正作業等を行う場合に、文書に手書きで校正内容を記入することがある。こうして得られた原稿は、印刷された部分と手書による部分とが混在している。下記特許文献１には、この種の原稿をスキャナにより読み取って得られた画像データから、手書部分のみを抽出する画像処理の方法が記載されている。特許文献１に記載された画像処理では、手書きの記入がなされる前の原稿をスキャンして得た画像と、手書きの記入がなされた後の原稿をスキャンして得た画像との差分をとることにより、手書部分のみの画像が抽出される。
【先行技術文献】
【特許文献】
【０００３】
【特許文献１】特開２００５−３４６４５９号公報
【発明の概要】
【発明が解決しようとする課題】
【０００４】
上記特許文献１には、手書部分の例として、一部の活字を囲む線、この囲み線に繋がった引き出し線、引き出し線の先に位置する「もっと詳しく」という文字が示されている。この場合に上記の画像処理で抽出されるのは、「もっと詳しく」という文字、囲み線、引き出し線のみである。従って、手書きの記入がなされた原稿を参照する等して、囲み線に囲まれた活字を知り得なければ、抽出された手書部分から「もっと詳しく」すべき対象を把握することは、難しい。このため、手書部分による指示内容、手書きされた意図等、印刷部分に対する手書きによる記入内容を、ユーザが印刷文書を参照することなく把握することは、難しい。
【０００５】
そこで本発明は、手書きの記入がなされた印刷文書を参照することなく、印刷部分に対する手書きによる記入内容を把握できるサマリ情報を生成することが可能な画像処理装置、画像処理方法、及び、画像処理プログラムを提供することを目的とする。
【課題を解決するための手段】
【０００６】
本発明に係る画像処理装置は、印刷文書に手書きによる記入がなされた原稿の画像データに対して画像処理を行う画像処理装置であって、前記画像データを入力する入力手段と、前記入力手段によって入力された画像データから手書部分を特定する特定手段と、前記特定手段によって特定された手書部分と該手書部分の周囲に位置する印刷部分とを含む切出領域を決定する決定手段と、前記決定手段によって決定された切出領域の画像データを含む、前記手書部分のサマリ情報を生成する生成手段とを備えることを特徴とする。
【０００７】
本発明に係る画像処理装置では、入力された画像データから手書部分が特定され、特定された手書部分と該手書部分の周囲に位置する印刷部分とを含む切出領域が決定される。これにより、手書部分と、この手書部分と関連性の高い印刷部分とを含む切出領域が決定される。そして、決定された切出領域の画像データを含む、手書部分のサマリ情報が生成される。このサマリ情報が印刷又は表示されることにより、ユーザは、手書部分、及び、この手書部分と関連性の高い印刷部分を一纏まりで見ることができる。従って、ユーザは、手書きの記入がなされた印刷文書を参照することなく、印刷部分に対する手書きによる記入内容を把握することが可能となる。すなわち、本発明に係る画像処理装置によって、手書きの記入がなされた印刷文書を参照することなく、印刷部分に対する手書きによる記入内容を把握できるサマリ情報を生成することが可能となる。
【０００８】
本発明に係る画像処理装置は、前記特定手段によって特定された複数の手書部分を互いの距離に基づいてグループ化するグルーピング手段を備え、前記決定手段は、前記グルーピング手段によってグループ化された手書部分と該グループ化された手書部分の周囲に位置する印刷部分とを含む前記切出領域を決定することが好ましい。
【０００９】
この好ましい構成によれば、複数の手書部分が、互いの距離に基づいてグループ化される。これにより、関連する手書部分が分断されて特定された場合であっても、関連性の高い手書部分をグループ化することができる。そして、グループ化された手書部分と、該グループ化された手書部分の周囲に位置する印刷部分とを含む切出領域が決定される。この切出領域を含むサマリ情報が印刷又は表示されることにより、ユーザは、グループ化された関連性の高い手書部分と、これらの手書部分と関連性の高い印刷部分とを一纏まりで見ることができる。
【００１０】
本発明に係る画像処理装置では、前記決定手段が、前記切出領域に含まれる印刷部分の画素数が所定以上となるように前記切出領域を決定することが好ましい。
【００１１】
この好ましい構成によれば、切出領域に含まれる印刷部分の画素数が所定以上となるので、一定以上の印刷部分が切出領域に含まれることとなる。従って、手書きで記入された内容を把握するのに必要な分量の印刷部分を含む切出領域を決定することが可能となる。
【００１２】
本発明に係る画像処理装置では、前記決定手段が、前記クループ化された手書部分を含む手書領域を設定する手書領域設定手段と、前記手書領域を含むより大きい領域を前記切出領域の候補領域として設定する候補領域設定手段と、前記候補領域に含まれる印刷部分の画素数が所定以上か否かを判断する判断手段と、を備え、前記判断手段によって前記候補領域に含まれる印刷部分の画素数が所定以上であると判断された場合に、前記決定手段は、前記候補領域を前記切出領域として決定し、前記判断手段によって前記候補領域に含まれる印刷部分の画素数が所定以上でないと判断された場合に、前記候補領域設定手段は、既に設定された候補領域より大きい領域を新たに候補領域として設定することが好ましい。
【００１３】
この好ましい構成によれば、グループ化された手書部分を含む手書領域が設定され、この手書領域を含み、該手書領域より大きい領域が、切出領域の候補領域として設定される。そして、候補領域に含まれる印刷部分の画素数が所定以上か否かが判断され、印刷部分の画素数が所定以上である場合に、候補領域が切出領域として決定される。一方、設定された印刷部分の画素数が所定以上でない場合に、既に設定された候補領域より大きい候補領域が新たに設定される。これにより、少しずつ候補領域を大きくして、含まれる印刷部分の画素数が所定以上となるように切出領域が決定される。従って、適切な分量の印刷部分を含み、かつ、必要以上に領域が大きくならないように、切出領域を決定することが可能となる。
【００１４】
本発明に係る画像処理装置では、前記決定手段が、前記候補領域に含まれる印刷部分の画素数が所定以上でないと前記判断手段によって判断された場合において、前記候補領域の設定された回数が所定回数に達した場合は、最後に設定された候補領域を前記切出領域として決定することが好ましい。
【００１５】
この好ましい構成によれば、候補領域の設定された回数が所定回数に達した場合は、最後に設定された候補領域が、切出領域として決定される。例えば、グループ化された手書部分の周囲に存在する印刷部分が少ない場合に、切出領域が必要以上に大きくならないようにすることができる。また、候補領域の設定処理及び画素数の判断処理が、冗長に繰り返されることを防止することができる。
【００１６】
本発明に係る画像処理装置では、前記生成手段が、複数の前記切出領域の画像データを含み、該複数の切出領域が配列された前記サマリ情報を生成することが好ましい。
【００１７】
この好ましい構成によれば、複数の切出領域が得られた場合に、複数の切出領域が配列されたサマリ情報が生成される。従って、印刷文書の複数箇所に手書きによる記入がなされた場合であっても、ユーザが、手書きで記入された内容を纏めて閲覧することが可能なサマリ情報を生成することができる。
【００１８】
本発明に係る画像処理装置では、前記生成手段が、前記原稿において前記切出領域を含むページを示すページ情報が付加された前記サマリ情報を生成することが好ましい。また、前記生成手段が、前記原稿において前記切出領域が位置するページ内の位置を示すページ内位置情報が付加された前記サマリ情報を生成することも好ましい。
【００１９】
この好ましい構成によれば、サマリ情報が印刷又は表示されることにより、ユーザは、切出領域の画像と共に、ページ情報又は／及びページ内位置情報を見ることができる。従って、印刷文書において切出領域に対応する箇所をユーザが効率良く参照可能なサマリ情報を生成することができる。
【００２０】
本発明に係る画像処理装置では、前記切出領域が所定の画像サイズを超える場合、前記生成手段は、該切出領域を前記所定の画像サイズまで縮小することが好ましい。
【００２１】
この好ましい構成によれば、切出領域が所定の画像サイズより大きい場合に、切出領域が縮小される。従って、切出領域の画像を閲覧し易くすることができる。
【００２２】
本発明に係る画像処理方法は、印刷文書に手書きによる記入がなされた原稿の画像データに対して画像処理を行う画像処理方法であって、画像データを入力する入力ステップと、前記入力ステップにおいて入力された画像データから手書部分を特定する特定ステップと、前記特定ステップにおいて特定された手書部分と該手書部分の周囲に位置する印刷部分とを含む切出領域を決定する決定ステップと、前記決定ステップにおいて決定された切出領域の画像データを含む、前記手書部分のサマリ情報を生成する生成ステップとを含むことを特徴とする。
【００２３】
本発明に係る画像処理方法によれば、上記サマリ情報を生成することができる。すなわち、手書きの記入がなされた印刷文書を参照することなく、印刷部分に対する手書きによる記入内容を把握できるサマリ情報を生成することが可能となる。
【００２４】
本発明に係る画像処理プログラムは、印刷文書に手書きによる記入がなされた原稿の画像データに対して画像処理を行うコンピュータを、画像データを入力する入力手段、前記入力手段によって入力された画像データから手書部分を特定する特定手段、前記特定手段によって特定された手書部分と該手書部分の周囲に位置する印刷部分とを含む切出領域を決定する決定手段、前記決定手段によって決定された切出領域の画像データを含む、前記手書部分のサマリ情報を生成する生成手段として機能させることを特徴とする。
【００２５】
本発明に係る画像処理プログラムによれば、コンピュータを上記画像処理装置として機能させることができる。従って、手書きの記入がなされた印刷文書を参照することなく、印刷部分に対する手書きによる記入内容を把握できるサマリ情報を生成することが可能となる。
【発明の効果】
【００２６】
本発明によれば、手書きの記入がなされた印刷文書を参照することなく、印刷部分に対する手書きによる記入内容を把握できるサマリ情報を生成することが可能となる。
【図面の簡単な説明】
【００２７】
【図１】実施形態に係る画像処理装置が搭載されたＭＦＰの概略構成を示すブロック図である。
【図２】ＭＦＰが備える制御部の構成を示すブロック図である。
【図３】切出領域の決定処理の例（削除の記入例）を説明するための図である。
【図４】切出領域の決定処理の例（追記の記入例）を説明するための図である。
【図５】切出領域の決定処理の例（訂正の記入例）を説明するための図である。
【図６】切出領域の決定処理の例（強調の記入例）を説明するための図である。
【図７】切出領域の決定処理の例（風船書きの記入例）を説明するための図である。
【図８】サマリ情報の例を示す図である。
【図９】サマリ情報の生成処理の処理手順を示すフローチャートである。
【図１０】切出領域の決定処理の処理手順を示すフローチャートである。
【図１１】画像処理プログラムを実行するコンピュータの構成を示すブロック図である。
【図１２】本実施形態に係る画像処理プログラムのモジュール構成を示す図である。
【図１３】サマリ情報の変形例を示す図である。
【発明を実施するための形態】
【００２８】
以下、図面を参照して本発明の好適な実施形態について詳細に説明する。最初に、図１を用いて、実施形態に係る画像処理装置が搭載されたＭＦＰ（Ｍｕｌｔｉｆｕｎｃｔｉｏｎ Ｐｅｒｉｐｈｅｒａｌ）１の概略構成について説明する。図１は、ＭＦＰ１の概略構成を示すブロック図である。
【００２９】
ＭＦＰ１は、プリント機能、スキャン機能、ＦＡＸ（ファクシミリ）機能、及び、ＩＦＡＸ（インターネットＦＡＸ）機能を備えるネットワーク複合機である。このＭＦＰ１は、スキャン機能により原稿を読み取って生成した画像データを処理する機能を有している。画像処理の対象となる画像データとして、印刷部分と手書部分とが混在する原稿の画像データがある。例えば、文書が印刷された後に手書きで校正内容等が記入された原稿の画像データ等が画像処理の対象となる。ＭＦＰ２は、印刷部分と手書部分とが混在する原稿の画像データから、手書部分とその周囲の印刷部分とを含む切出領域を決定し、この切出領域を用いて手書部分のサマリ情報を生成する。
【００３０】
図１に示されるように、ＭＦＰ１は、ユーザが各種の操作をＭＦＰ１に対して行うために、操作部１０と、表示部１１と、ＨＴＴＰサーバ１２とを備える。操作部１０は、各種のファンクションキー等を備える。表示部１１は、ＬＣＤ等を用いた表示装置であり、ＭＦＰ１の動作状態、各種設定内容、及び、生成されたサマリ情報等を表示する。ＨＴＴＰサーバ１２は、ＬＡＮ３を介して接続されたコンピュータ５のディスプレイに各種の操作ページを表示し、コンピュータ５を介してユーザからの操作を受け付ける。また、ＨＴＴＰサーバ１２は、生成されたサマリ情報をコンピュータ５のディスプレイに表示する機能も有する。
【００３１】
また、ＭＦＰ１は、プリンタ１３、スキャナ１４、ＦＡＸ制御部１５、及び、ＩＦＡＸ制御部１６を備えている。プリンタ１３は、コンピュータ５から入力されるＰＤＬデータ、スキャナ１４により生成された画像データ、及び、サマリ情報等を用紙に印刷する。ＦＡＸ制御部１５は、ＭＦＰ１が備えるＮＣＵ（Ｎｅｔｗｏｒｋ Ｃｏｎｔｒｏｌ Ｕｎｉｔ）１７及びモデム１８によって行われるＰＳＴＮ（Ｐｕｂｌｉｃ Ｓｗｉｔｃｈｅｄ Ｔｅｌｅｐｈｏｎｅ Ｎｅｔｗｏｒｋ）７を介したＦＡＸの送受信を制御する。ＩＦＡＸ制御部１６は、ＭＦＰ１が備えるＬＡＮ Ｉ／Ｆ１９を介して行われるＩＦＡＸの送受信を制御する。
【００３２】
ＭＦＰ１が備える制御部２０は、演算を行うマイクロプロセッサ、マイクロプロセッサに各処理を実行させるためのプログラム等を記憶するＲＯＭ、演算結果などの各種データを一時的に記憶するＲＡＭ等により構成されている。制御部２０は、記憶されたプログラムを実行することにより、ＭＦＰ１が備えるハードウエアを統合的に制御する。
【００３３】
図２は、制御部２０の構成を示すブロック図である。制御部２０は、以下に説明する入力部２１、特定部２２、グルーピング部２３、決定部２４、及び、生成部２５としての機能を発揮する。この入力部２１は、特許請求の範囲に記載の入力手段として機能し、特定部２２は特定手段として機能し、グルーピング２３はグルーピング手段として機能し、決定部２４は決定手段として機能し、生成部２５は生成手段として機能する。
【００３４】
入力部２１は、スキャナ１４によって原稿が読み取られることにより生成された画像データを入力する。また、入力部２１は、ＬＡＮ３を介してコンピュータ５から画像データを入力してもよい。特定部２２は、入力部２１によって入力された画像データから手書部分を特定する。グルーピング部２３は、特定部２２によって特定された複数の手書部分を互いの距離に基づいてグループ化する。決定部２４は、グループ化された手書部分とその周囲に位置する印刷部分を含む切出領域を決定する。
【００３５】
図３を参照して、特定部２２、グルーピング部２３、及び決定部２４についてより詳細に説明すると共に、切出領域が決定されるまでの画像処理について具体的に説明する。図３は、切出領域の決定処理の例を説明するための図であり、この例は、削除を示す内容が手書きで記入された原稿３０１の画像データから切出領域を決定する場合の例である。
【００３６】
図３（ａ）は、原稿の一例を示す図である。原稿３０１は、印刷された文書に手書きによる記入がなされている。原稿３０１は、複数の活字「ｐｒｉｎｔｉｎｇ ｔｙｐｅ」が横書き５行に印刷された文書に手書きによる記入がなされた例である。原稿３０１には、活字「ｔｙｐｅ」を削除する旨の削除記号３１が、手書きで記入されている。この削除記号３１は、２本の取り消し線で構成され、活字「ｔｙｐｅ」と重なっている。原稿３０１においては、複数の活字「ｐｒｉｎｔｉｎｇ ｔｙｐｅ」が印刷部分であり、削除記号３１が手書部分である。なお、本例では、印刷部分が活字部分のみであるが、印刷部分は、プリンタ等を用いて用紙に印刷された文字、記号、又は図形等であってもよい。
【００３７】
特定部２２は、原稿３０１の画像データに含まれる手書部分の画素を特定する。まず、原稿３０１の画像データに含まれる１画素又は連続する複数画素を判定単位として、判定単位毎に手書部分か否かを判定する。特定部２２は、手書部分の濃度が印刷された活字の濃度より低いことを利用して、手書部分か否かを判定する。例えば、特定部２２は、空白部分以外の画素を判定対象とし、判定単位に含まれる画素の平均濃度、又は、判定単位に含まれる画素と判定単位の周囲に位置する画素とを合わせた画素の平均濃度が所定の濃度以下であれば、判定単位に含まれる画素を手書部分の画素として特定する。図３（ａ）に示す例では、削除記号３１が、活字「ｔｙｐｅ」と重なっているので、削除記号３１を構成する画素のうち、活字「ｔｙｐｅ」と重なっていない部分の画素が、手書部分として特定される。
【００３８】
図３（ｂ）は、グルーピング部２３によるグルーピング処理を説明するための図である。グルーピング部２３は、互いの距離が一定以内に位置する手書部分の画素を１つのグループに纏める。例えば、グルーピング部２３は、手書部分の画素に該当する位置を「１」で表し、手書部分以外の画素に該当する位置を「０」で表した二値画像において、「１」で表された領域を拡張する画像処理を行う。図３（ｂ）におけるハッチングが施された領域４１が、拡張処理により得られた「１」の領域を示している。
【００３９】
そして、グルーピング部２３は、拡張処理を行った結果、連結した「１」の領域に含まれる手書部分の画素を１つのグループに纏める。このグルーピング処理により、手書きによる連続した線、交わった線、所定の距離内にある線又は点等を示す画素が１つのグループに纏められる。図３（ｂ）に示す例では、削除記号３１を構成する２本の線が１つの手書画素グループとしてグループ化される。
【００４０】
図３（ｃ）は、切出領域の決定処理を説明するための図である。決定部２４は、切出領域を決定するために、手書領域設定部２４１、候補領域設定部２４２、及び、判断部２４３を備える。手書領域設定部２４１は、手書グループ毎に、１つの手書画素グループに属する全ての手書部分の画素を含む手書領域５１を設定する。本実施形態では、手書領域５１は、手書画素グループに属する画素に外接する矩形の領域である。
【００４１】
候補領域設定部２４２は、手書領域５１が設定された後、オーバーラップ処理を行い、候補領域６１を設定する。候補領域６１は、手書領域５１を含むと共に、手書領域５１より大きい領域である。本実施形態では、候補領域設定部２４２は、矩形の手書領域５１を上下左右の四方向に広げるオーバーラップ処理を行うことにより、候補領域６１を設定する。例えば、手書領域５１に含まれる画素より所定の画素数だけ大きい領域、手書領域５１の上下方向及び左右方向の長さに対して所定の割合だけ大きい領域、又は、手書領域５１の面積に対して所定の割合だけ大きい領域を、候補領域６１として設定することができる。
【００４２】
判断部２４３は、設定された候補領域６１に含まれる印刷部分の画素数が所定以上か否かを判断する。判断部２４３は、印刷部分の画素数が所定の画素数以上か否かを判断してもよいし、印刷部分の画素数が候補領域６１に含まれる画素数の所定割合以上か否かを判断してもよい。なお、判断部２４３は、画像データから印刷部分の画素を特定する方法として、任意の方法を利用することができる。例えば、濃度が所定値以上の画素を印刷部分の画素として特定することができる。
【００４３】
判断部２４３によって候補領域６１に含まれる印刷部分の画素数が所定以上であると判断された場合、決定部２４は、候補領域６１を切出領域７１として決定する。判断部２４３によって候補領域６１に含まれる印刷部分の画素数が所定以上でないと判断された場合、候補領域設定部２４２が、既に設定された候補領域６１より大きい領域を新たに候補領域６１として設定する。図３（ｃ）は、新たに候補領域６１が設定された場合を示している。
【００４４】
候補領域設定部２４２は、元の候補領域６１を上下左右の四方向に広げて新たな候補領域６１を設定する。例えば、元の候補領域６１に含まれる画素より所定の画素数だけ大きい領域、元の候補領域６１の上下方向及び左右方向の長さに対して所定の割合だけ大きい領域、又は、元の候補領域６１の面積に対して所定の割合だけ大きい領域を、新たな候補領域６１として設定することができる。その後、判断部２４３は、新たに設定された候補領域６１に含まれる印刷部分の画素数が所定以上か否かを判断する。
【００４５】
候補領域設定部２４２は、候補領域６１に含まれる印刷部分の画素数が所定以上と判定されるまで、設定する候補領域６１を少しずつ大きくしていく。以上の処理を行うことにより、印刷部分の画素数が所定以上となるように切出領域７１を設定することができる。
【００４６】
図３（ｃ）に示す例では、２回目に設定された候補領域６１について、印刷部分の画素数が所定以上と判定され、２回目に設定された候補領域６１が切出領域７１として決定される。切出領域７１内には、削除記号３１と活字部分とが含まれている。活字部分は、削除記号３１を構成する２本の取り消し線と重なる活字「ｔｙｐｅ」である。また、切出領域７１には、活字「ｔｙｐｅ」の周囲の空白部分が含まれている。このため、切出領域７１の画像によれば、活字「ｔｙｐｅ」を削除する指示が、手書部分によって示されていることを把握できる。また、切出領域７１の画像によれば、活字「ｔｙｐｅ」の周囲に手書きで文字が記入されていないので、活字「ｔｙｐｅ」を他の活字に修正する指示は、手書部分に含まれていないことを把握できる。
【００４７】
なお、決定部２４は、候補領域６１の設定回数が所定回数に達した場合、最後に設定された候補領域６１を切出領域として決定する。これは、グループ化された手書部分の周囲が空白で印刷部分が存在しない場合、又は、存在する印刷部分が少ない場合に、処理を冗長に繰り返すことを防止するためである。候補領域６１は回数を重ねる毎に大きく設定されるので、所定回数目の設定で得られる候補領域６１は、グループ化された手書部分の周囲に十分な大きさの空白部分が含まれることになる。従って、最後に設定された候補領域６１を切出領域として設定することにより、切出領域の画像によって、グループ化された手書部分の周囲に存在する印刷部分がない又は少ないことを把握することができる。
【００４８】
引き続いて、図４〜図７を参照して、切出領域が決定されるまでの画像処理について他の例を説明する。図４〜図７は、切出領域の決定処理の例を説明するための図である。図４は、挿入を示す内容が手書きで記入された原稿３０２の画像データから切出領域７２を決定する場合の例を示している。
【００４９】
図４（ａ）に示される原稿３０２は、活字が印刷された文書に、挿入記号３２１及び挿入文字（「ｆｒｏｍ」）３２２が手書きで記入されている。挿入記号３２１及び挿入文字３２２は、活字「ｎｔｉｎｇ」と活字「ｔｙｐｅ」との間に「ｆｒｏｍ」を挿入する旨を示している。この挿入記号３２１及び挿入文字３２２は、活字「ｎｔｉｎｇ」と活字「ｔｙｐｅ」との付近、かつ、活字の行間に配置されている。
【００５０】
図４（ａ）に示す例では、挿入記号３２１及び挿入文字３２２を構成する画素が、手書部分として特定される。また、図４（ｂ）に示すように、拡張処理が行われ、挿入記号３２１及び挿入文字３２２を拡張させた領域４２が得られる。挿入記号３２１及び挿入文字３２２を構成する画素は、互いの距離が一定以内に位置し、１つの領域４２に含まれる。よって、挿入記号３２１及び挿入文字３２２を構成する画素が、一つの手書画素グループとしてグループ化される。
【００５１】
そして、図４（ｃ）に示すように、挿入記号３２１及び挿入文字３２２に外接する矩形の外接領域５２が設定される。その後、外接領域５２を四方に広げた候補領域６２が設定される。図４の例では候補領域６２に含まれる印刷部分の画素数が所定以上でないと判断され、既に設定された候補領域６２より大きい領域が新たな候補領域６２として設定される。そして、新たに設定された候補領域６２に含まれる印刷部分の画素数が所定以上と判断され、新たに設定された候補領域６２が、切出領域７２とされる。
【００５２】
切出領域７２内には、挿入記号３２１、挿入文字３２２、挿入記号３２１及び挿入文字３２２の周囲の空白部分、挿入記号３２１及び挿入文字３２２の周囲の印刷部分「ｔｉｎｇ」「ｔｙｐｅ」が含まれている。このため、切出領域７１の画像によって、活字「ｔｉｎｇ」と活字「ｔｙｐｅ」との間に「ｆｒｏｍ」を挿入するという指示内容が、手書部分によって示されていることを把握できる。
【００５３】
図５は、訂正を示す内容が手書きで記入された原稿３０３の画像データから切出領域７３を決定する場合の例をしている。図５（ａ）に示される原稿３０３は、活字が印刷された文書に、訂正記号３３１及び訂正文字（「ｙ」）３３２が手書きで記入されている。訂正記号３３１及び訂正文字３３２は、活字「ｔｉｐｅ」に含まれる活字「ｉ」を「ｙ」に訂正する旨を示している。訂正記号３３１は、互いに交わった２本の線で構成され、活字「ｉ」と重なる位置に記入されている。訂正文字３３２は、活字「ｉ」の上の余白に記入されている。
【００５４】
図５（ａ）に示す例では、訂正記号３３１及び訂正文字３３２を構成する画素が、手書部分として特定される。また、図５（ｂ）に示すように、拡張処理が行われ、訂正記号３３１及び訂正文字３３２を拡張させた領域４３が得られる。訂正記号３３１及び訂正文字３３２を構成する画素は、互いの距離が一定以内に位置し、一つの領域４３に含まれる。よって、訂正記号３３１及び訂正文字３３２を構成する画素が、一つの手書画素グループとしてグループ化される。
【００５５】
そして、図５（ｃ）に示すように、訂正記号３３１及び訂正文字３３２に外接する矩形の外接領域５３が設定される。その後、外接領域５３を四方に広げた候補領域６３が設定される。図５の例では、１回目及び２回目に設定された候補領域６３に含まれる印刷部分の画素数が所定以上でないと判断され、２回目に設定された候補領域６３より大きい領域が新たな候補領域６３として設定される。そして、３回目に設定された候補領域６３に含まれる印刷部分の画素数が所定以上と判断され、３回目に設定された候補領域６３が切出領域７３に設定される。
【００５６】
切出領域７３内には、訂正記号３３１、訂正文字３３２、訂正記号３３１と重なる活字「ｉ」、訂正記号３３１及び訂正文字３３２の周囲の空白部分、その他、訂正記号３３１及び訂正文字３３２の周囲の印刷部分が含まれている。このため、切出領域７３の画像によれば、活字「ｔｉｐｅ」に含まれる活字「ｉ」を「ｙ」に訂正する指示が、手書部分によって示されていることを把握できる。
【００５７】
図６は、強調を示す内容が手書きで記入された原稿３０４の画像データから切出領域７４，７５を決定する場合の例を示している。図６（ａ）に示される原稿３０４は、活字が印刷された文書に、一行目の活字「ｔｙｐｅ，」を強調する旨の強調記号３４、３行目の活字「ｔｙｐｅ，」を強調する旨の強調記号３５が手書きで記入されている。強調記号３４は、活字「ｔｙｐｅ，」の周囲を楕円状に囲む線である。強調記号３５は、活字「ｔｙｐｅ，」の下側に引かれた波状の線である。
【００５８】
図６（ａ）に示す例では、強調記号３４及び強調記号３５を構成する画素が、手書部分として特定される。次に、図６（ｂ）に示すように、拡張処理が行われ、強調記号３４を拡張させた領域４４と、強調記号３５を拡張させた領域４５とが得られる。強調記号３４を構成する画素は、互いの距離が一定以内に位置し、一つの領域４４に含まれる。また、強調記号３５を構成する画素は、互いの距離が一定以内に位置し、一つの領域４５に含まれる。強調記号３４を構成する画素と強調記号３４を構成する画素とは、互いの距離が一定以内に位置していないので、同じ領域４４，４５内には含まれない。従って、強調記号３４を構成する画素が一つの手書画素グループとしてグループ化され、強調記号３５を構成する画素が一つの手書画素グループとしてグループ化される。
【００５９】
そして、図６（ｃ）に示すように、強調記号３４に外接する矩形の外接領域５４と、強調記号３５に外接する矩形の外接領域５５とがそれぞれ設定される。その後、外接領域５４を四方に広げた候補領域６４が設定され、外接領域５５を四方に広げた候補領域６５がそれぞれ設定される。強調記号３４については、２回目に設定された候補領域６４に含まれる印刷部分の画素数が所定以上と判断され、２回目に設定された候補領域６４が切出領域７４に設定される。強調記号３５については、３回目に設定された候補領域６５に含まれる印刷部分の画素数が所定以上と判断され、３回目に設定された候補領域６５が切出領域７５に設定される。
【００６０】
切出領域７４内には、強調記号３４、強調記号３４に囲まれた活字「ｔｙｐｅ，」、この活字「ｔｙｐｅ，」の左側に位置する活字「ｎｇ」、右側に位置する活字「ｐ」、強調記号３４の周囲の空白部分が含まれている。このため、切出領域７４の画像によれば、活字「ｔｙｐｅ，」を強調する旨が、手書部分によって示されていることを把握できる。一方、切出領域７５内には、強調記号３５、強調記号３５の上に位置する活字「ｔｙｐｅ，」、この活字「ｔｙｐｅ，」の左側に位置する活字「ｎｇ」、右側に位置する活字「ｐｒ」、強調記号４５の周囲の空白部分が含まれている。このため、切出領域７５の画像によれば、活字「ｔｙｐｅ，」を強調する旨が、手書文字によって示されていることを把握できる。
【００６１】
図７は、風船書きを示す内容が手書きで記入された原稿３０５の画像データから切出領域７６を決定する場合の例を示している。なお、訂正又は追記等を行う際に、対象となる活字や図の近くに十分な余白がない場合がある。この場合に、余白に訂正内容又は追記内容を書き込み、対象となる活字や図を線で囲み、その囲み線と内容を記入した部分とを接続する引き出し線を記入する方法がある。本実施形態では、この記入を風船書きとして説明する。
【００６２】
図７（ａ）に示される原稿３０５には、活字が印刷された文書に、２行目の活字「ｐｒｉ」と３行目の「ｎｔｉｎｇ ｔｙｐｅ，」について「ｎｏｔ ｂｙ ｈａｎｄ」を追記する旨の風船記号３６１が手書きで記入されている。また、引き出し線３６２、追記文字（「ｎｏｔ ｂｙ ｈａｎｄ」）３６３が手書きで記入されている。風船記号３６１は、２行目の活字「ｐｒｉ」と３行目の活字「ｎｔｉｎｇ ｔｙｐｅ，」とを囲む線である。引き出し線３６２は、一端が風船記号３６１の付近に位置し、他端が追記文字３６３の付近に位置している。追記文字３６３は、原稿３０５の下側の余白に位置している。
【００６３】
図７（ａ）に示す例では、風船記号３６１、引き出し線３６２、及び追記文字３６３を構成する画素が、手書部分として特定される。そして、図７（ｂ）に示すように、拡張処理が行われ、風船記号３６１、引き出し線３６２、及び追記文字３６３を拡張させた領域４６が得られる。風船記号３６１、引き出し線３６２、及び追記文字３６３を構成する画素は、互いの距離が一定以内に位置し、一つの領域４６に含まれる。よって、風船記号３６１、引き出し線３６２、及び追記文字３６３を構成する画素が、一つの手書画素グループとしてグループ化される。このように、風船記号３６１と追記文字３６３とが離れていても、風船記号３６１と追記文字３６３とを繋ぐ手書部分（引き出し線３６２）が存在すれば、一纏まりとしてグループ化される。
【００６４】
そして、図６（ｃ）に示すように、風船記号３６１、引き出し線３６２、及び追記文字３６３に外接する矩形の外接領域５６が設定される。その後、外接領域５６を四方に広げた候補領域６６が設定される。図６の例では、１回目に設定された候補領域６６に含まれる印刷部分の画素数が所定以上と判断され、１回目に設定された候補領域６６が切出領域７６に設定される。
【００６５】
切出領域７６内には、風船記号３６１、引き出し線３６２、追記文字３６３、風船記号３６１に囲まれた活字、風船記号３６１並びに引き出し線３６２並びに追記文字３６３の周囲の空白部分並びに印刷部分が含まれている。このため、切出領域７６の画像によれば、活字「ｐｒｉ」と活字「ｎｔｉｎｇ ｔｙｐｅ，」とに関して、「ｎｏｔ ｂｙ ｈａｎｄ」が追記された旨が、手書部分によって示されていることを把握できる。
【００６６】
次に、図８を参照して、サマリ情報を生成する生成部２５について説明する。図８は、サマリ情報の例を示す図である。図８は、印刷又は表示されたサマリ情報を示し、図８（ａ）は、１ページ目のサマリ情報８０１を示し、図８（ｂ）は、２ページ目のサマリ情報８０２を示している。
【００６７】
ここでは、上述した原稿３０１〜３０５が一纏まりの原稿である場合について説明する。例えば、原稿３０１〜３０５が、原稿３０１から順に、ＭＦＰ１に搭載されたＡＤＦ（自動給紙装置）によってスキャナ１４へ給紙され、読み取られることにより、原稿３０１〜３０５の画像データ毎にページ情報が付加される。すなわち、原稿３０１の画像データには、１ページ目である旨のページ情報が付加され、同様に、原稿３０２〜３０５の各画像データには、２〜５ページ目である旨のページ情報がそれぞれ付加される。
【００６８】
生成部２５は、切出領域７１〜７６を含むサマリ情報を生成する。本実施形態では、サマリ情報に複数の切出領域７１〜７６が含まれているが、切出領域が１つであってもよい。生成部２５は、所定の画像サイズを超える切出領域７６については所定の画像サイズまで縮小する。そして、生成部２５は、各原稿３０１〜３０５の画像データに付加されたページ情報を参照して、複数の切出領域７１〜７６が原稿のページ順に配列されたサマリ情報を生成する。また、生成部２５は、１つの画像データから複数の切出領域７４，７５を切り出した場合、切出領域７４，７５の座標に基づいて、原稿３０４の上方の切出領域７４から順に配列されるように、サマリ情報を生成する。
【００６９】
また、生成部２５は、ページ情報をサマリ情報に付加する。ページ情報は、原稿３０１〜３０５において切出領域７１〜７６をそれぞれ含むページを示す情報である。更に、生成部２５は、ページ内位置情報をサマリ情報に付加する。ページ内位置情報は、原稿３０１〜３０５において切出領域７１〜７６がそれぞれ位置するページ内の位置を示す情報である。図８に示す例では、１ページ目の原稿３０１の切出領域７１の上に、「１ページ上段中央」を示す文字情報８１が表示されている。この文字情報８１は、ページ情報として「１ページ」、ページ内位置情報として「上段中央」を示す情報を含んでいる。ページ情報及びページ内位置情報は、該当する切出領域７１〜７６の画像データと関連付けてサマリ情報に付加される。
【００７０】
文字情報８１に含まれるページ情報は、画像データに付加されたページ情報を用いることができる。文字情報８１に含まれるページ内位置情報は、例えば、原稿３０１を複数のエリアに分割し、切出領域７１が位置するエリアをページ内位置情報とすることができる。本実施形態では、２次元座標上において、原稿３０１をＹ軸方向に上段、中段、下段と分割し、更に、Ｘ軸方向に左側、中央、右側と分割することにより、原稿３０１を９つのエリアに分割している。そして、切出領域７１が「上段中央」のエリアに位置することから、ページ内位置情報を「上段中央」としている。なお、切出領域７６のように、ページ全体に位置する場合は、「５ページ全体」を示す文字情報８６を生成してもよい。
【００７１】
引き続いて、ＭＦＰ１の動作について説明すると共に、本実施形態に係る画像処理方法について説明する。図９を参照して、サマリ情報の生成処理の処理手順について説明する。図９は、サマリ情報の生成処理の処理手順を示すフローチャートである。このサマリ情報の生成処理は、制御部２０によって行われる。
【００７２】
まず、ステップＳ１０１では、スキャナ１４によって読み取られた原稿３０１〜３０５の画像データが、制御部２０に入力される。すなわち、ステップＳ１０１では、特許請求の範囲に記載の入力ステップの処理が行われる。次に行われるステップＳ１０２では、最初のページである原稿３０１の画像データから手書部分の画素が特定される。すなわち、ステップＳ１０２では、特許請求の範囲に記載の特定ステップの処理が行われる。
【００７３】
ステップＳ１０３では、該当するページの画像データに手書部分の画素が存在するか否かが、判断される。ステップＳ１０３において、該当するページの画像データに手書部分の画素が存在しないと判断された場合は、ステップＳ１０９へ処理が進む。ステップＳ１０３において、該当するページの画像データに手書部分の画素が存在すると判断された場合は、ステップＳ１０４へ処理が進む。ステップＳ１０４では、手書部分の画素について拡張処理が行われ、互いの距離が所定以下である手書部分の画素がグルーピングされる。
【００７４】
次に、ステップＳ１０５では、グルーピングされた各手書画素グループについて、切出領域７１が決定される。すなわち、ステップＳ１０５では、特許請求の範囲に記載の決定ステップの処理が行われる。ここで、図１０を参照して、切出領域の決定処理について説明する。図１０は、切出領域の決定処理の処理手順を示すフローチャートである。
【００７５】
まず、ステップＳ１０５１では、処理対象となる手書画素グループに含まれる手書部分について、外接領域５１が設定される。次に、ステップＳ１０５２では、オーバーラップ処理が行われることにより、候補領域６１が設定される。続くステップＳ１０５３では、設定された候補領域６１に含まれる印刷部分の画素数が所定以上か否かが判断される。
【００７６】
ステップＳ１０５３において、候補領域６１に含まれる印刷部分の画素数が所定以上ではないと判断された場合、処理がステップＳ１０５４へ進む。ステップＳ１０５４では、オーバーラップ処理の回数、すなわち候補領域６１の設定回数が所定回数に到達したか否かが、判断される。ステップＳ１０５４において、オーバーラップ処理の回数が所定回数に到達してないと判断された場合は、ステップＳ１０５２へ処理が戻り、再びオーバーラップ処理が行われ、新たな候補領域６１が設定される。
【００７７】
ステップＳ１０５４において、オーバーラップ処理が所定回数に到達したと判断された場合は、処理がステップＳ１０５５へ進む。また、ステップＳ１０５３において、候補領域６１に含まれる印刷部分の画素数が所定以上ではあると判断された場合、処理がステップＳ１０５５へ進む。ステップＳ１０５５では、最後に設定された候補領域６１が、切出領域７１として決定される。
【００７８】
そして、ステップＳ１０５６では、処理対象となっている画像データの全ての手書画素グループについて切出領域の決定処理が完了したか否かが判断される。ステップＳ１０５６では、未だ切出領域の決定処理が行われていない手書画素グループがある場合、ステップＳ１０５１へ戻り、次の手書画素グループについて、切出領域を決定する処理が行われる。処理対象となっている画像データの全ての手書画素グループについて切出領域の決定処理が完了した場合は、切出領域の決定処理が終了する。そして、図９に示すステップＳ１０６へ処理が移行する。
【００７９】
ステップＳ１０６では、ステップＳ１０５において決定された切出領域のうち、画像サイズが所定サイズを超える切出領域があるか否かが判断される。ステップＳ１０６において、所定サイズを超える切出領域がないと判断された場合は、処理がステップＳ１０８へ進む。ステップＳ１０６において、所定サイズを超える切出領域があると判断された場合は、処理がステップＳ１０７へ進む。ステップＳ１０７では、所定サイズを超える切出領域の画像サイズが所定サイズまで縮小される。
【００８０】
ステップＳ１０８では、該当するページの画像データから切り出した切出領域の画像データ、ページ情報、及びページ内位置情報が記憶される。ステップＳ１０９では、全ページの画像データについて処理が完了したか否かが判断される。ステップＳ１０９で、全ページについて処理が完了していないと判断された場合は、次のページの画像データについて処理を行うために、ステップＳ１０２へ処理が戻る。これにより、原稿３０２〜３０５の全ての画像データについて画像処理が行われる。
【００８１】
ステップＳ１０９において、全ページについて処理が完了したと判定された場合は、処理がステップＳ１１０へ進む。ステップＳ１１０では、原稿３０１〜３０５について記憶された切出領域７１〜７６の画像データ、ページ情報、及びページ内位置情報を含むサマリ情報が生成される。すなわち、ステップＳ１１０では、特許請求の範囲に記載の生成ステップの処理が行われる。以上により、本実施形態に係る画像処理が終了する。
【００８２】
生成されたサマリ情報は、ＭＦＰ１が備えるプリンタ１３又は他のプリンタによって用紙に印刷することができる。また、サマリ情報は、ＭＦＰ１が備える表示部１１又はコンピュータ５において表示することができる。これにより、ユーザは、図８に示すサマリ情報を閲覧することができる。
【００８３】
以上説明したＭＦＰ１では、特定された手書部分、及び、該手書部分の周囲に位置する印刷部分（活字部分）を含む切出領域７１〜７６が決定され、切出領域７１〜７６の画像データを含む、手書部分のサマリ情報が生成される。このサマリ情報が印刷又は表示されることにより、ユーザは、手書部分、及び、この手書部分と関連性の高い印刷部分を一纏まりで見ることができる。従って、ユーザは、手書きの記入がなされた印刷文書を参照することなく、印刷部分に対する手書きによる記入内容を把握することが可能となる。すなわち、ＭＦＰ１によれば、手書きの記入がなされた印刷文書を参照することなく、印刷部分に対する手書きによる記入内容を把握できるサマリ情報を生成することが可能となる。
【００８４】
また、ＭＦＰ１では、複数の手書部分が、互いの距離に基づいてグループ化され、グループ化された手書部分、及び、該グループ化された手書部分の周囲に位置する印刷部分を含む切出領域７１〜７６が決定される。この切出領域７１〜７６を含むサマリ情報が印刷又は表示されることにより、ユーザは、グループ化された関連性の高い手書部分、及び、これらの手書部分と関連性の高い印刷部分を一纏まりで見ることができる。
【００８５】
切出領域７１〜７６には印刷部分の画素数が所定以上含まれるので、一定以上の印刷部分が切出領域に含まれることとなる。従って、手書きで記入された内容を把握するのに適切な分量の印刷部分を含む切出領域を決定することが可能となる。
【００８６】
切出領域の決定処理では、グループ化された手書部分を含む手書領域５１〜５６が設定され、この手書領域５１〜５６を含むと共に該手書領域５１〜５６より大きい領域が、切出領域の候補領域６１〜６６として設定される。そして、候補領域６１〜６６に含まれる印刷部分の画素数が所定以上か否かが判断され、印刷部分の画素数が所定以上である場合に、候補領域６１〜６６が切出領域７１〜７７として決定される。一方、設定された印刷部分の画素数が所定以上でない場合に、既に設定された候補領域より大きい候補領域が新たに設定される。これにより、少しずつ候補領域を大きくして、含まれる印刷部分の画素数が所定以上となるように切出領域７１〜７６が決定される。従って、適切な分量の印刷部分を含み、かつ、必要以上に領域が大きくならないように、切出領域を決定することが可能となる。
【００８７】
また、切出領域の決定処理では、候補領域の設定された回数が所定回数に達した場合は、最後に設定された候補領域が、切出領域として決定される。例えば、グループ化された手書部分の周囲に存在する印刷部分が少ない場合に、切出領域が必要以上に大きくならないようにすることができる。また、候補領域の設定処理及び画素数の判断処理が、冗長に繰り返されることを防止することができる。
【００８８】
また、複数の切出領域７１〜７６が得られた場合に、複数の切出領域７１〜７６が配列された画像を示すサマリ情報が生成される。従って、印刷文書の複数箇所に手書きによる記入がなされた場合であっても、ユーザが、手書きで記入された内容を纏めて閲覧することが可能なサマリ情報を生成することができる。
【００８９】
このサマリ情報を見ることにより、ユーザは、手書部分の内容について、素早く視覚的に把握することができる。例えば、多数ページからなる文書中に手書部分が散在している場合において、サマリ情報を見ることにより、ユーザは、手書部分だけの内容を効率良く確認することができる。従って、印刷文書の校正作業等に用いることで、構成作業の効率を向上させることができる。また、サマリ情報を生成する際に、手書きで記入された文字に対してＯＣＲ処理（文字認識処理）を行わないので、誤って認識された文字が表示されるリスクを回避することができる。
【００９０】
また、サマリ情報には、ページ情報及びページ内位置情報が含まれるので、ユーザは、切出領域の画像と共に、ページ情報又は／及びページ内位置情報を見ることができる。従って、印刷文書において切出領域に対応する箇所をユーザが効率良く参照可能なサマリ情報を生成することできる。
【００９１】
また、ＭＦＰ１では、切出領域７６が所定の画像サイズより大きい場合に、切出領域７６が縮小される。従って、複数の切出領域７１〜７６の画像サイズが一定範囲内となるので、切出領域７１〜７６の画像を閲覧し易くすることができる。
【００９２】
次に、図１１及び図１２を参照して、上述したサマリ情報の生成処理を行う画像処理装置として、コンピュータ９０を機能させるプログラム１００について説明する。図１１は、本実施形態に係るプログラム１００を実行するためのコンピュータ９０の構成を示すブロック図である。図１０は、プログラム１００のモジュール構成を示す図である。
【００９３】
コンピュータ９０は、プログラム１００の実行等を制御する制御部（ＣＰＵ）９１と、プログラム１００等が記憶されたハードディスク９２と、メモリ（ＲＡＭ）９３と、ＣＤ−ＲＯＭ等の記録媒体に記録されたプログラム等を読み取り可能な読取装置９４とを備えている。また、コンピュータ９０は、入力デバイス９５と、ディスプレイ９６と、ＬＡＮ Ｉ／Ｆ９７とを備えている。
【００９４】
プログラム１００は、ＣＤ−ＲＯＭ等の記録媒体に記録されていてもよいし、ネットワークを介してサーバ等からコンピュータ９０に提供されるものであってもよい。プログラム１００は、処理を統括するメインモジュール１０１、入力モジュール１０２、特定モジュール１０３、グルーピングモジュール１０４、決定モジュール１０５、生成モジュール１０６を備える。例えば、読取装置９５により読み取られハードディスク９３に記憶（インストール）されたプログラム１００の各モジュールが実行されることにより、コンピュータ９０が、画像処理装置（制御部２０）を構成する入力部２１、特定部２２、グルーピング部２３、決定部２４、生成部２５として機能する。
【００９５】
本実施形態によれば、プログラム１００が実行されることにより、コンピュータ９０を上述したサマリ情報の生成処理を行う画像処理装置として機能させることができる。従って、手書きの記入がなされた印刷文書を参照することなく、印刷部分に対する手書きによる記入内容を把握できるサマリ情報を生成することが可能となる。
【００９６】
以上、本発明の実施の形態について説明したが、本発明は、上記実施形態に限定されるものではなく種々の変形が可能である。例えば、サマリ情報の表示例は、上記実施形態に限定されるものではなく、サマリ情報には、上述した以外の種々の付加情報を付加してもよい。この場合の例について、図１３を参照して説明する。図１３は、サマリ情報の変形例を示す図である。
【００９７】
図１３に示すサマリ情報は、コンピュータ５のブラウザ機能等を用いてコンピュータ５のディスプレイに表示させることができる。図１３に示す例では、切出領域７１の画像と、該切出領域７１を含む原稿３０１のページ全体の画像とが同時に表示されている。この変形例に係るサマリ情報には、各切出領域７１〜７６を含む原稿３０１〜３０５のページ全体の画像データが含まれている。また、サマリ情報には、切出領域７１〜７６の番号を示す情報と、切出領域７１〜７６の総数、原稿３０１〜３０５毎に切出領域の総数を示す情報が含まれている。
【００９８】
このサマリ情報はコンピュータ５のブラウザ機能等を用いて表示され、ユーザの操作に応じて、切出領域７１〜７６を順に表示させることができる。また、切出領域７１〜７６と同時に、該切出領域７１〜７６を含む原稿３０１〜３０５の画像が表示される。従って、ユーザは、切出領域の画像を見ながら内容を把握し、同時に、印刷文書を見ることが容易となる。また、切出領域７１〜７６と同時に、ページ情報、該当ページにおける切出領域の総数、原稿全体の切出領域の総数、表示中の切出領域の番号、ページ内位置情報等が表示されるので、各切出領域７１〜７６及び原稿３０１〜３０６の画像を閲覧し易くすることができる。
【００９９】
また、上記実施形態では、原稿３０１〜３０５の画像データに含まれる画素の濃度に基づいて、判定単位毎に手書部分の画素を特定したが、手書部分の特定方法はこれに限られず、任意の方法を用いることができる。手書きの記入がなされる前の印刷文書をスキャンして得た画像と、手書きの記入がなされた後の印刷文書をスキャンして得た画像との差分をとることで、手書部分の画素を特定してもよい。
【０１００】
また、上記実施形態では、手書領域５１〜５６を手書部分に外接する矩形領域としたが、手書部分を含む領域であればこれに限られず、外接していなくてもよいし、矩形でなくてもよい。また、上記実施形態では、候補領域６１〜６６を矩形領域としたが、矩形でなくてもよい。また、生成部２５は、表示又は印刷されたサマリ情報の見栄えを良くするために、切出領域７１〜７６の画像サイズ及び位置を調整してもよい。
【符号の説明】
【０１０１】
１ ＭＦＰ
１１ 表示部
１２ ＨＴＴＰサーバ
１３ プリンタ
１４ スキャナ
２０ 制御部
２１ 入力部
２２ 特定部
２３ グルーピング部
２４ 決定部
２４１ 手書領域設定部
２４２ 候補領域設定部
２４３ 判断部
２５ 生成部
【技術分野】
【０００１】
本発明は、画像処理装置、画像処理方法、及び、画像処理プログラムに関する。
【背景技術】
【０００２】
一般的に、印刷された文書の校正作業等を行う場合に、文書に手書きで校正内容を記入することがある。こうして得られた原稿は、印刷された部分と手書による部分とが混在している。下記特許文献１には、この種の原稿をスキャナにより読み取って得られた画像データから、手書部分のみを抽出する画像処理の方法が記載されている。特許文献１に記載された画像処理では、手書きの記入がなされる前の原稿をスキャンして得た画像と、手書きの記入がなされた後の原稿をスキャンして得た画像との差分をとることにより、手書部分のみの画像が抽出される。
【先行技術文献】
【特許文献】
【０００３】
【特許文献１】特開２００５−３４６４５９号公報
【発明の概要】
【発明が解決しようとする課題】
【０００４】
上記特許文献１には、手書部分の例として、一部の活字を囲む線、この囲み線に繋がった引き出し線、引き出し線の先に位置する「もっと詳しく」という文字が示されている。この場合に上記の画像処理で抽出されるのは、「もっと詳しく」という文字、囲み線、引き出し線のみである。従って、手書きの記入がなされた原稿を参照する等して、囲み線に囲まれた活字を知り得なければ、抽出された手書部分から「もっと詳しく」すべき対象を把握することは、難しい。このため、手書部分による指示内容、手書きされた意図等、印刷部分に対する手書きによる記入内容を、ユーザが印刷文書を参照することなく把握することは、難しい。
【０００５】
そこで本発明は、手書きの記入がなされた印刷文書を参照することなく、印刷部分に対する手書きによる記入内容を把握できるサマリ情報を生成することが可能な画像処理装置、画像処理方法、及び、画像処理プログラムを提供することを目的とする。
【課題を解決するための手段】
【０００６】
本発明に係る画像処理装置は、印刷文書に手書きによる記入がなされた原稿の画像データに対して画像処理を行う画像処理装置であって、前記画像データを入力する入力手段と、前記入力手段によって入力された画像データから手書部分を特定する特定手段と、前記特定手段によって特定された手書部分と該手書部分の周囲に位置する印刷部分とを含む切出領域を決定する決定手段と、前記決定手段によって決定された切出領域の画像データを含む、前記手書部分のサマリ情報を生成する生成手段とを備えることを特徴とする。
【０００７】
本発明に係る画像処理装置では、入力された画像データから手書部分が特定され、特定された手書部分と該手書部分の周囲に位置する印刷部分とを含む切出領域が決定される。これにより、手書部分と、この手書部分と関連性の高い印刷部分とを含む切出領域が決定される。そして、決定された切出領域の画像データを含む、手書部分のサマリ情報が生成される。このサマリ情報が印刷又は表示されることにより、ユーザは、手書部分、及び、この手書部分と関連性の高い印刷部分を一纏まりで見ることができる。従って、ユーザは、手書きの記入がなされた印刷文書を参照することなく、印刷部分に対する手書きによる記入内容を把握することが可能となる。すなわち、本発明に係る画像処理装置によって、手書きの記入がなされた印刷文書を参照することなく、印刷部分に対する手書きによる記入内容を把握できるサマリ情報を生成することが可能となる。
【０００８】
本発明に係る画像処理装置は、前記特定手段によって特定された複数の手書部分を互いの距離に基づいてグループ化するグルーピング手段を備え、前記決定手段は、前記グルーピング手段によってグループ化された手書部分と該グループ化された手書部分の周囲に位置する印刷部分とを含む前記切出領域を決定することが好ましい。
【０００９】
この好ましい構成によれば、複数の手書部分が、互いの距離に基づいてグループ化される。これにより、関連する手書部分が分断されて特定された場合であっても、関連性の高い手書部分をグループ化することができる。そして、グループ化された手書部分と、該グループ化された手書部分の周囲に位置する印刷部分とを含む切出領域が決定される。この切出領域を含むサマリ情報が印刷又は表示されることにより、ユーザは、グループ化された関連性の高い手書部分と、これらの手書部分と関連性の高い印刷部分とを一纏まりで見ることができる。
【００１０】
本発明に係る画像処理装置では、前記決定手段が、前記切出領域に含まれる印刷部分の画素数が所定以上となるように前記切出領域を決定することが好ましい。
【００１１】
この好ましい構成によれば、切出領域に含まれる印刷部分の画素数が所定以上となるので、一定以上の印刷部分が切出領域に含まれることとなる。従って、手書きで記入された内容を把握するのに必要な分量の印刷部分を含む切出領域を決定することが可能となる。
【００１２】
本発明に係る画像処理装置では、前記決定手段が、前記クループ化された手書部分を含む手書領域を設定する手書領域設定手段と、前記手書領域を含むより大きい領域を前記切出領域の候補領域として設定する候補領域設定手段と、前記候補領域に含まれる印刷部分の画素数が所定以上か否かを判断する判断手段と、を備え、前記判断手段によって前記候補領域に含まれる印刷部分の画素数が所定以上であると判断された場合に、前記決定手段は、前記候補領域を前記切出領域として決定し、前記判断手段によって前記候補領域に含まれる印刷部分の画素数が所定以上でないと判断された場合に、前記候補領域設定手段は、既に設定された候補領域より大きい領域を新たに候補領域として設定することが好ましい。
【００１３】
この好ましい構成によれば、グループ化された手書部分を含む手書領域が設定され、この手書領域を含み、該手書領域より大きい領域が、切出領域の候補領域として設定される。そして、候補領域に含まれる印刷部分の画素数が所定以上か否かが判断され、印刷部分の画素数が所定以上である場合に、候補領域が切出領域として決定される。一方、設定された印刷部分の画素数が所定以上でない場合に、既に設定された候補領域より大きい候補領域が新たに設定される。これにより、少しずつ候補領域を大きくして、含まれる印刷部分の画素数が所定以上となるように切出領域が決定される。従って、適切な分量の印刷部分を含み、かつ、必要以上に領域が大きくならないように、切出領域を決定することが可能となる。
【００１４】
本発明に係る画像処理装置では、前記決定手段が、前記候補領域に含まれる印刷部分の画素数が所定以上でないと前記判断手段によって判断された場合において、前記候補領域の設定された回数が所定回数に達した場合は、最後に設定された候補領域を前記切出領域として決定することが好ましい。
【００１５】
この好ましい構成によれば、候補領域の設定された回数が所定回数に達した場合は、最後に設定された候補領域が、切出領域として決定される。例えば、グループ化された手書部分の周囲に存在する印刷部分が少ない場合に、切出領域が必要以上に大きくならないようにすることができる。また、候補領域の設定処理及び画素数の判断処理が、冗長に繰り返されることを防止することができる。
【００１６】
本発明に係る画像処理装置では、前記生成手段が、複数の前記切出領域の画像データを含み、該複数の切出領域が配列された前記サマリ情報を生成することが好ましい。
【００１７】
この好ましい構成によれば、複数の切出領域が得られた場合に、複数の切出領域が配列されたサマリ情報が生成される。従って、印刷文書の複数箇所に手書きによる記入がなされた場合であっても、ユーザが、手書きで記入された内容を纏めて閲覧することが可能なサマリ情報を生成することができる。
【００１８】
本発明に係る画像処理装置では、前記生成手段が、前記原稿において前記切出領域を含むページを示すページ情報が付加された前記サマリ情報を生成することが好ましい。また、前記生成手段が、前記原稿において前記切出領域が位置するページ内の位置を示すページ内位置情報が付加された前記サマリ情報を生成することも好ましい。
【００１９】
この好ましい構成によれば、サマリ情報が印刷又は表示されることにより、ユーザは、切出領域の画像と共に、ページ情報又は／及びページ内位置情報を見ることができる。従って、印刷文書において切出領域に対応する箇所をユーザが効率良く参照可能なサマリ情報を生成することができる。
【００２０】
本発明に係る画像処理装置では、前記切出領域が所定の画像サイズを超える場合、前記生成手段は、該切出領域を前記所定の画像サイズまで縮小することが好ましい。
【００２１】
この好ましい構成によれば、切出領域が所定の画像サイズより大きい場合に、切出領域が縮小される。従って、切出領域の画像を閲覧し易くすることができる。
【００２２】
本発明に係る画像処理方法は、印刷文書に手書きによる記入がなされた原稿の画像データに対して画像処理を行う画像処理方法であって、画像データを入力する入力ステップと、前記入力ステップにおいて入力された画像データから手書部分を特定する特定ステップと、前記特定ステップにおいて特定された手書部分と該手書部分の周囲に位置する印刷部分とを含む切出領域を決定する決定ステップと、前記決定ステップにおいて決定された切出領域の画像データを含む、前記手書部分のサマリ情報を生成する生成ステップとを含むことを特徴とする。
【００２３】
本発明に係る画像処理方法によれば、上記サマリ情報を生成することができる。すなわち、手書きの記入がなされた印刷文書を参照することなく、印刷部分に対する手書きによる記入内容を把握できるサマリ情報を生成することが可能となる。
【００２４】
本発明に係る画像処理プログラムは、印刷文書に手書きによる記入がなされた原稿の画像データに対して画像処理を行うコンピュータを、画像データを入力する入力手段、前記入力手段によって入力された画像データから手書部分を特定する特定手段、前記特定手段によって特定された手書部分と該手書部分の周囲に位置する印刷部分とを含む切出領域を決定する決定手段、前記決定手段によって決定された切出領域の画像データを含む、前記手書部分のサマリ情報を生成する生成手段として機能させることを特徴とする。
【００２５】
本発明に係る画像処理プログラムによれば、コンピュータを上記画像処理装置として機能させることができる。従って、手書きの記入がなされた印刷文書を参照することなく、印刷部分に対する手書きによる記入内容を把握できるサマリ情報を生成することが可能となる。
【発明の効果】
【００２６】
本発明によれば、手書きの記入がなされた印刷文書を参照することなく、印刷部分に対する手書きによる記入内容を把握できるサマリ情報を生成することが可能となる。
【図面の簡単な説明】
【００２７】
【図１】実施形態に係る画像処理装置が搭載されたＭＦＰの概略構成を示すブロック図である。
【図２】ＭＦＰが備える制御部の構成を示すブロック図である。
【図３】切出領域の決定処理の例（削除の記入例）を説明するための図である。
【図４】切出領域の決定処理の例（追記の記入例）を説明するための図である。
【図５】切出領域の決定処理の例（訂正の記入例）を説明するための図である。
【図６】切出領域の決定処理の例（強調の記入例）を説明するための図である。
【図７】切出領域の決定処理の例（風船書きの記入例）を説明するための図である。
【図８】サマリ情報の例を示す図である。
【図９】サマリ情報の生成処理の処理手順を示すフローチャートである。
【図１０】切出領域の決定処理の処理手順を示すフローチャートである。
【図１１】画像処理プログラムを実行するコンピュータの構成を示すブロック図である。
【図１２】本実施形態に係る画像処理プログラムのモジュール構成を示す図である。
【図１３】サマリ情報の変形例を示す図である。
【発明を実施するための形態】
【００２８】
以下、図面を参照して本発明の好適な実施形態について詳細に説明する。最初に、図１を用いて、実施形態に係る画像処理装置が搭載されたＭＦＰ（Ｍｕｌｔｉｆｕｎｃｔｉｏｎ Ｐｅｒｉｐｈｅｒａｌ）１の概略構成について説明する。図１は、ＭＦＰ１の概略構成を示すブロック図である。
【００２９】
ＭＦＰ１は、プリント機能、スキャン機能、ＦＡＸ（ファクシミリ）機能、及び、ＩＦＡＸ（インターネットＦＡＸ）機能を備えるネットワーク複合機である。このＭＦＰ１は、スキャン機能により原稿を読み取って生成した画像データを処理する機能を有している。画像処理の対象となる画像データとして、印刷部分と手書部分とが混在する原稿の画像データがある。例えば、文書が印刷された後に手書きで校正内容等が記入された原稿の画像データ等が画像処理の対象となる。ＭＦＰ２は、印刷部分と手書部分とが混在する原稿の画像データから、手書部分とその周囲の印刷部分とを含む切出領域を決定し、この切出領域を用いて手書部分のサマリ情報を生成する。
【００３０】
図１に示されるように、ＭＦＰ１は、ユーザが各種の操作をＭＦＰ１に対して行うために、操作部１０と、表示部１１と、ＨＴＴＰサーバ１２とを備える。操作部１０は、各種のファンクションキー等を備える。表示部１１は、ＬＣＤ等を用いた表示装置であり、ＭＦＰ１の動作状態、各種設定内容、及び、生成されたサマリ情報等を表示する。ＨＴＴＰサーバ１２は、ＬＡＮ３を介して接続されたコンピュータ５のディスプレイに各種の操作ページを表示し、コンピュータ５を介してユーザからの操作を受け付ける。また、ＨＴＴＰサーバ１２は、生成されたサマリ情報をコンピュータ５のディスプレイに表示する機能も有する。
【００３１】
また、ＭＦＰ１は、プリンタ１３、スキャナ１４、ＦＡＸ制御部１５、及び、ＩＦＡＸ制御部１６を備えている。プリンタ１３は、コンピュータ５から入力されるＰＤＬデータ、スキャナ１４により生成された画像データ、及び、サマリ情報等を用紙に印刷する。ＦＡＸ制御部１５は、ＭＦＰ１が備えるＮＣＵ（Ｎｅｔｗｏｒｋ Ｃｏｎｔｒｏｌ Ｕｎｉｔ）１７及びモデム１８によって行われるＰＳＴＮ（Ｐｕｂｌｉｃ Ｓｗｉｔｃｈｅｄ Ｔｅｌｅｐｈｏｎｅ Ｎｅｔｗｏｒｋ）７を介したＦＡＸの送受信を制御する。ＩＦＡＸ制御部１６は、ＭＦＰ１が備えるＬＡＮ Ｉ／Ｆ１９を介して行われるＩＦＡＸの送受信を制御する。
【００３２】
ＭＦＰ１が備える制御部２０は、演算を行うマイクロプロセッサ、マイクロプロセッサに各処理を実行させるためのプログラム等を記憶するＲＯＭ、演算結果などの各種データを一時的に記憶するＲＡＭ等により構成されている。制御部２０は、記憶されたプログラムを実行することにより、ＭＦＰ１が備えるハードウエアを統合的に制御する。
【００３３】
図２は、制御部２０の構成を示すブロック図である。制御部２０は、以下に説明する入力部２１、特定部２２、グルーピング部２３、決定部２４、及び、生成部２５としての機能を発揮する。この入力部２１は、特許請求の範囲に記載の入力手段として機能し、特定部２２は特定手段として機能し、グルーピング２３はグルーピング手段として機能し、決定部２４は決定手段として機能し、生成部２５は生成手段として機能する。
【００３４】
入力部２１は、スキャナ１４によって原稿が読み取られることにより生成された画像データを入力する。また、入力部２１は、ＬＡＮ３を介してコンピュータ５から画像データを入力してもよい。特定部２２は、入力部２１によって入力された画像データから手書部分を特定する。グルーピング部２３は、特定部２２によって特定された複数の手書部分を互いの距離に基づいてグループ化する。決定部２４は、グループ化された手書部分とその周囲に位置する印刷部分を含む切出領域を決定する。
【００３５】
図３を参照して、特定部２２、グルーピング部２３、及び決定部２４についてより詳細に説明すると共に、切出領域が決定されるまでの画像処理について具体的に説明する。図３は、切出領域の決定処理の例を説明するための図であり、この例は、削除を示す内容が手書きで記入された原稿３０１の画像データから切出領域を決定する場合の例である。
【００３６】
図３（ａ）は、原稿の一例を示す図である。原稿３０１は、印刷された文書に手書きによる記入がなされている。原稿３０１は、複数の活字「ｐｒｉｎｔｉｎｇ ｔｙｐｅ」が横書き５行に印刷された文書に手書きによる記入がなされた例である。原稿３０１には、活字「ｔｙｐｅ」を削除する旨の削除記号３１が、手書きで記入されている。この削除記号３１は、２本の取り消し線で構成され、活字「ｔｙｐｅ」と重なっている。原稿３０１においては、複数の活字「ｐｒｉｎｔｉｎｇ ｔｙｐｅ」が印刷部分であり、削除記号３１が手書部分である。なお、本例では、印刷部分が活字部分のみであるが、印刷部分は、プリンタ等を用いて用紙に印刷された文字、記号、又は図形等であってもよい。
【００３７】
特定部２２は、原稿３０１の画像データに含まれる手書部分の画素を特定する。まず、原稿３０１の画像データに含まれる１画素又は連続する複数画素を判定単位として、判定単位毎に手書部分か否かを判定する。特定部２２は、手書部分の濃度が印刷された活字の濃度より低いことを利用して、手書部分か否かを判定する。例えば、特定部２２は、空白部分以外の画素を判定対象とし、判定単位に含まれる画素の平均濃度、又は、判定単位に含まれる画素と判定単位の周囲に位置する画素とを合わせた画素の平均濃度が所定の濃度以下であれば、判定単位に含まれる画素を手書部分の画素として特定する。図３（ａ）に示す例では、削除記号３１が、活字「ｔｙｐｅ」と重なっているので、削除記号３１を構成する画素のうち、活字「ｔｙｐｅ」と重なっていない部分の画素が、手書部分として特定される。
【００３８】
図３（ｂ）は、グルーピング部２３によるグルーピング処理を説明するための図である。グルーピング部２３は、互いの距離が一定以内に位置する手書部分の画素を１つのグループに纏める。例えば、グルーピング部２３は、手書部分の画素に該当する位置を「１」で表し、手書部分以外の画素に該当する位置を「０」で表した二値画像において、「１」で表された領域を拡張する画像処理を行う。図３（ｂ）におけるハッチングが施された領域４１が、拡張処理により得られた「１」の領域を示している。
【００３９】
そして、グルーピング部２３は、拡張処理を行った結果、連結した「１」の領域に含まれる手書部分の画素を１つのグループに纏める。このグルーピング処理により、手書きによる連続した線、交わった線、所定の距離内にある線又は点等を示す画素が１つのグループに纏められる。図３（ｂ）に示す例では、削除記号３１を構成する２本の線が１つの手書画素グループとしてグループ化される。
【００４０】
図３（ｃ）は、切出領域の決定処理を説明するための図である。決定部２４は、切出領域を決定するために、手書領域設定部２４１、候補領域設定部２４２、及び、判断部２４３を備える。手書領域設定部２４１は、手書グループ毎に、１つの手書画素グループに属する全ての手書部分の画素を含む手書領域５１を設定する。本実施形態では、手書領域５１は、手書画素グループに属する画素に外接する矩形の領域である。
【００４１】
候補領域設定部２４２は、手書領域５１が設定された後、オーバーラップ処理を行い、候補領域６１を設定する。候補領域６１は、手書領域５１を含むと共に、手書領域５１より大きい領域である。本実施形態では、候補領域設定部２４２は、矩形の手書領域５１を上下左右の四方向に広げるオーバーラップ処理を行うことにより、候補領域６１を設定する。例えば、手書領域５１に含まれる画素より所定の画素数だけ大きい領域、手書領域５１の上下方向及び左右方向の長さに対して所定の割合だけ大きい領域、又は、手書領域５１の面積に対して所定の割合だけ大きい領域を、候補領域６１として設定することができる。
【００４２】
判断部２４３は、設定された候補領域６１に含まれる印刷部分の画素数が所定以上か否かを判断する。判断部２４３は、印刷部分の画素数が所定の画素数以上か否かを判断してもよいし、印刷部分の画素数が候補領域６１に含まれる画素数の所定割合以上か否かを判断してもよい。なお、判断部２４３は、画像データから印刷部分の画素を特定する方法として、任意の方法を利用することができる。例えば、濃度が所定値以上の画素を印刷部分の画素として特定することができる。
【００４３】
判断部２４３によって候補領域６１に含まれる印刷部分の画素数が所定以上であると判断された場合、決定部２４は、候補領域６１を切出領域７１として決定する。判断部２４３によって候補領域６１に含まれる印刷部分の画素数が所定以上でないと判断された場合、候補領域設定部２４２が、既に設定された候補領域６１より大きい領域を新たに候補領域６１として設定する。図３（ｃ）は、新たに候補領域６１が設定された場合を示している。
【００４４】
候補領域設定部２４２は、元の候補領域６１を上下左右の四方向に広げて新たな候補領域６１を設定する。例えば、元の候補領域６１に含まれる画素より所定の画素数だけ大きい領域、元の候補領域６１の上下方向及び左右方向の長さに対して所定の割合だけ大きい領域、又は、元の候補領域６１の面積に対して所定の割合だけ大きい領域を、新たな候補領域６１として設定することができる。その後、判断部２４３は、新たに設定された候補領域６１に含まれる印刷部分の画素数が所定以上か否かを判断する。
【００４５】
候補領域設定部２４２は、候補領域６１に含まれる印刷部分の画素数が所定以上と判定されるまで、設定する候補領域６１を少しずつ大きくしていく。以上の処理を行うことにより、印刷部分の画素数が所定以上となるように切出領域７１を設定することができる。
【００４６】
図３（ｃ）に示す例では、２回目に設定された候補領域６１について、印刷部分の画素数が所定以上と判定され、２回目に設定された候補領域６１が切出領域７１として決定される。切出領域７１内には、削除記号３１と活字部分とが含まれている。活字部分は、削除記号３１を構成する２本の取り消し線と重なる活字「ｔｙｐｅ」である。また、切出領域７１には、活字「ｔｙｐｅ」の周囲の空白部分が含まれている。このため、切出領域７１の画像によれば、活字「ｔｙｐｅ」を削除する指示が、手書部分によって示されていることを把握できる。また、切出領域７１の画像によれば、活字「ｔｙｐｅ」の周囲に手書きで文字が記入されていないので、活字「ｔｙｐｅ」を他の活字に修正する指示は、手書部分に含まれていないことを把握できる。
【００４７】
なお、決定部２４は、候補領域６１の設定回数が所定回数に達した場合、最後に設定された候補領域６１を切出領域として決定する。これは、グループ化された手書部分の周囲が空白で印刷部分が存在しない場合、又は、存在する印刷部分が少ない場合に、処理を冗長に繰り返すことを防止するためである。候補領域６１は回数を重ねる毎に大きく設定されるので、所定回数目の設定で得られる候補領域６１は、グループ化された手書部分の周囲に十分な大きさの空白部分が含まれることになる。従って、最後に設定された候補領域６１を切出領域として設定することにより、切出領域の画像によって、グループ化された手書部分の周囲に存在する印刷部分がない又は少ないことを把握することができる。
【００４８】
引き続いて、図４〜図７を参照して、切出領域が決定されるまでの画像処理について他の例を説明する。図４〜図７は、切出領域の決定処理の例を説明するための図である。図４は、挿入を示す内容が手書きで記入された原稿３０２の画像データから切出領域７２を決定する場合の例を示している。
【００４９】
図４（ａ）に示される原稿３０２は、活字が印刷された文書に、挿入記号３２１及び挿入文字（「ｆｒｏｍ」）３２２が手書きで記入されている。挿入記号３２１及び挿入文字３２２は、活字「ｎｔｉｎｇ」と活字「ｔｙｐｅ」との間に「ｆｒｏｍ」を挿入する旨を示している。この挿入記号３２１及び挿入文字３２２は、活字「ｎｔｉｎｇ」と活字「ｔｙｐｅ」との付近、かつ、活字の行間に配置されている。
【００５０】
図４（ａ）に示す例では、挿入記号３２１及び挿入文字３２２を構成する画素が、手書部分として特定される。また、図４（ｂ）に示すように、拡張処理が行われ、挿入記号３２１及び挿入文字３２２を拡張させた領域４２が得られる。挿入記号３２１及び挿入文字３２２を構成する画素は、互いの距離が一定以内に位置し、１つの領域４２に含まれる。よって、挿入記号３２１及び挿入文字３２２を構成する画素が、一つの手書画素グループとしてグループ化される。
【００５１】
そして、図４（ｃ）に示すように、挿入記号３２１及び挿入文字３２２に外接する矩形の外接領域５２が設定される。その後、外接領域５２を四方に広げた候補領域６２が設定される。図４の例では候補領域６２に含まれる印刷部分の画素数が所定以上でないと判断され、既に設定された候補領域６２より大きい領域が新たな候補領域６２として設定される。そして、新たに設定された候補領域６２に含まれる印刷部分の画素数が所定以上と判断され、新たに設定された候補領域６２が、切出領域７２とされる。
【００５２】
切出領域７２内には、挿入記号３２１、挿入文字３２２、挿入記号３２１及び挿入文字３２２の周囲の空白部分、挿入記号３２１及び挿入文字３２２の周囲の印刷部分「ｔｉｎｇ」「ｔｙｐｅ」が含まれている。このため、切出領域７１の画像によって、活字「ｔｉｎｇ」と活字「ｔｙｐｅ」との間に「ｆｒｏｍ」を挿入するという指示内容が、手書部分によって示されていることを把握できる。
【００５３】
図５は、訂正を示す内容が手書きで記入された原稿３０３の画像データから切出領域７３を決定する場合の例をしている。図５（ａ）に示される原稿３０３は、活字が印刷された文書に、訂正記号３３１及び訂正文字（「ｙ」）３３２が手書きで記入されている。訂正記号３３１及び訂正文字３３２は、活字「ｔｉｐｅ」に含まれる活字「ｉ」を「ｙ」に訂正する旨を示している。訂正記号３３１は、互いに交わった２本の線で構成され、活字「ｉ」と重なる位置に記入されている。訂正文字３３２は、活字「ｉ」の上の余白に記入されている。
【００５４】
図５（ａ）に示す例では、訂正記号３３１及び訂正文字３３２を構成する画素が、手書部分として特定される。また、図５（ｂ）に示すように、拡張処理が行われ、訂正記号３３１及び訂正文字３３２を拡張させた領域４３が得られる。訂正記号３３１及び訂正文字３３２を構成する画素は、互いの距離が一定以内に位置し、一つの領域４３に含まれる。よって、訂正記号３３１及び訂正文字３３２を構成する画素が、一つの手書画素グループとしてグループ化される。
【００５５】
そして、図５（ｃ）に示すように、訂正記号３３１及び訂正文字３３２に外接する矩形の外接領域５３が設定される。その後、外接領域５３を四方に広げた候補領域６３が設定される。図５の例では、１回目及び２回目に設定された候補領域６３に含まれる印刷部分の画素数が所定以上でないと判断され、２回目に設定された候補領域６３より大きい領域が新たな候補領域６３として設定される。そして、３回目に設定された候補領域６３に含まれる印刷部分の画素数が所定以上と判断され、３回目に設定された候補領域６３が切出領域７３に設定される。
【００５６】
切出領域７３内には、訂正記号３３１、訂正文字３３２、訂正記号３３１と重なる活字「ｉ」、訂正記号３３１及び訂正文字３３２の周囲の空白部分、その他、訂正記号３３１及び訂正文字３３２の周囲の印刷部分が含まれている。このため、切出領域７３の画像によれば、活字「ｔｉｐｅ」に含まれる活字「ｉ」を「ｙ」に訂正する指示が、手書部分によって示されていることを把握できる。
【００５７】
図６は、強調を示す内容が手書きで記入された原稿３０４の画像データから切出領域７４，７５を決定する場合の例を示している。図６（ａ）に示される原稿３０４は、活字が印刷された文書に、一行目の活字「ｔｙｐｅ，」を強調する旨の強調記号３４、３行目の活字「ｔｙｐｅ，」を強調する旨の強調記号３５が手書きで記入されている。強調記号３４は、活字「ｔｙｐｅ，」の周囲を楕円状に囲む線である。強調記号３５は、活字「ｔｙｐｅ，」の下側に引かれた波状の線である。
【００５８】
図６（ａ）に示す例では、強調記号３４及び強調記号３５を構成する画素が、手書部分として特定される。次に、図６（ｂ）に示すように、拡張処理が行われ、強調記号３４を拡張させた領域４４と、強調記号３５を拡張させた領域４５とが得られる。強調記号３４を構成する画素は、互いの距離が一定以内に位置し、一つの領域４４に含まれる。また、強調記号３５を構成する画素は、互いの距離が一定以内に位置し、一つの領域４５に含まれる。強調記号３４を構成する画素と強調記号３４を構成する画素とは、互いの距離が一定以内に位置していないので、同じ領域４４，４５内には含まれない。従って、強調記号３４を構成する画素が一つの手書画素グループとしてグループ化され、強調記号３５を構成する画素が一つの手書画素グループとしてグループ化される。
【００５９】
そして、図６（ｃ）に示すように、強調記号３４に外接する矩形の外接領域５４と、強調記号３５に外接する矩形の外接領域５５とがそれぞれ設定される。その後、外接領域５４を四方に広げた候補領域６４が設定され、外接領域５５を四方に広げた候補領域６５がそれぞれ設定される。強調記号３４については、２回目に設定された候補領域６４に含まれる印刷部分の画素数が所定以上と判断され、２回目に設定された候補領域６４が切出領域７４に設定される。強調記号３５については、３回目に設定された候補領域６５に含まれる印刷部分の画素数が所定以上と判断され、３回目に設定された候補領域６５が切出領域７５に設定される。
【００６０】
切出領域７４内には、強調記号３４、強調記号３４に囲まれた活字「ｔｙｐｅ，」、この活字「ｔｙｐｅ，」の左側に位置する活字「ｎｇ」、右側に位置する活字「ｐ」、強調記号３４の周囲の空白部分が含まれている。このため、切出領域７４の画像によれば、活字「ｔｙｐｅ，」を強調する旨が、手書部分によって示されていることを把握できる。一方、切出領域７５内には、強調記号３５、強調記号３５の上に位置する活字「ｔｙｐｅ，」、この活字「ｔｙｐｅ，」の左側に位置する活字「ｎｇ」、右側に位置する活字「ｐｒ」、強調記号４５の周囲の空白部分が含まれている。このため、切出領域７５の画像によれば、活字「ｔｙｐｅ，」を強調する旨が、手書文字によって示されていることを把握できる。
【００６１】
図７は、風船書きを示す内容が手書きで記入された原稿３０５の画像データから切出領域７６を決定する場合の例を示している。なお、訂正又は追記等を行う際に、対象となる活字や図の近くに十分な余白がない場合がある。この場合に、余白に訂正内容又は追記内容を書き込み、対象となる活字や図を線で囲み、その囲み線と内容を記入した部分とを接続する引き出し線を記入する方法がある。本実施形態では、この記入を風船書きとして説明する。
【００６２】
図７（ａ）に示される原稿３０５には、活字が印刷された文書に、２行目の活字「ｐｒｉ」と３行目の「ｎｔｉｎｇ ｔｙｐｅ，」について「ｎｏｔ ｂｙ ｈａｎｄ」を追記する旨の風船記号３６１が手書きで記入されている。また、引き出し線３６２、追記文字（「ｎｏｔ ｂｙ ｈａｎｄ」）３６３が手書きで記入されている。風船記号３６１は、２行目の活字「ｐｒｉ」と３行目の活字「ｎｔｉｎｇ ｔｙｐｅ，」とを囲む線である。引き出し線３６２は、一端が風船記号３６１の付近に位置し、他端が追記文字３６３の付近に位置している。追記文字３６３は、原稿３０５の下側の余白に位置している。
【００６３】
図７（ａ）に示す例では、風船記号３６１、引き出し線３６２、及び追記文字３６３を構成する画素が、手書部分として特定される。そして、図７（ｂ）に示すように、拡張処理が行われ、風船記号３６１、引き出し線３６２、及び追記文字３６３を拡張させた領域４６が得られる。風船記号３６１、引き出し線３６２、及び追記文字３６３を構成する画素は、互いの距離が一定以内に位置し、一つの領域４６に含まれる。よって、風船記号３６１、引き出し線３６２、及び追記文字３６３を構成する画素が、一つの手書画素グループとしてグループ化される。このように、風船記号３６１と追記文字３６３とが離れていても、風船記号３６１と追記文字３６３とを繋ぐ手書部分（引き出し線３６２）が存在すれば、一纏まりとしてグループ化される。
【００６４】
そして、図６（ｃ）に示すように、風船記号３６１、引き出し線３６２、及び追記文字３６３に外接する矩形の外接領域５６が設定される。その後、外接領域５６を四方に広げた候補領域６６が設定される。図６の例では、１回目に設定された候補領域６６に含まれる印刷部分の画素数が所定以上と判断され、１回目に設定された候補領域６６が切出領域７６に設定される。
【００６５】
切出領域７６内には、風船記号３６１、引き出し線３６２、追記文字３６３、風船記号３６１に囲まれた活字、風船記号３６１並びに引き出し線３６２並びに追記文字３６３の周囲の空白部分並びに印刷部分が含まれている。このため、切出領域７６の画像によれば、活字「ｐｒｉ」と活字「ｎｔｉｎｇ ｔｙｐｅ，」とに関して、「ｎｏｔ ｂｙ ｈａｎｄ」が追記された旨が、手書部分によって示されていることを把握できる。
【００６６】
次に、図８を参照して、サマリ情報を生成する生成部２５について説明する。図８は、サマリ情報の例を示す図である。図８は、印刷又は表示されたサマリ情報を示し、図８（ａ）は、１ページ目のサマリ情報８０１を示し、図８（ｂ）は、２ページ目のサマリ情報８０２を示している。
【００６７】
ここでは、上述した原稿３０１〜３０５が一纏まりの原稿である場合について説明する。例えば、原稿３０１〜３０５が、原稿３０１から順に、ＭＦＰ１に搭載されたＡＤＦ（自動給紙装置）によってスキャナ１４へ給紙され、読み取られることにより、原稿３０１〜３０５の画像データ毎にページ情報が付加される。すなわち、原稿３０１の画像データには、１ページ目である旨のページ情報が付加され、同様に、原稿３０２〜３０５の各画像データには、２〜５ページ目である旨のページ情報がそれぞれ付加される。
【００６８】
生成部２５は、切出領域７１〜７６を含むサマリ情報を生成する。本実施形態では、サマリ情報に複数の切出領域７１〜７６が含まれているが、切出領域が１つであってもよい。生成部２５は、所定の画像サイズを超える切出領域７６については所定の画像サイズまで縮小する。そして、生成部２５は、各原稿３０１〜３０５の画像データに付加されたページ情報を参照して、複数の切出領域７１〜７６が原稿のページ順に配列されたサマリ情報を生成する。また、生成部２５は、１つの画像データから複数の切出領域７４，７５を切り出した場合、切出領域７４，７５の座標に基づいて、原稿３０４の上方の切出領域７４から順に配列されるように、サマリ情報を生成する。
【００６９】
また、生成部２５は、ページ情報をサマリ情報に付加する。ページ情報は、原稿３０１〜３０５において切出領域７１〜７６をそれぞれ含むページを示す情報である。更に、生成部２５は、ページ内位置情報をサマリ情報に付加する。ページ内位置情報は、原稿３０１〜３０５において切出領域７１〜７６がそれぞれ位置するページ内の位置を示す情報である。図８に示す例では、１ページ目の原稿３０１の切出領域７１の上に、「１ページ上段中央」を示す文字情報８１が表示されている。この文字情報８１は、ページ情報として「１ページ」、ページ内位置情報として「上段中央」を示す情報を含んでいる。ページ情報及びページ内位置情報は、該当する切出領域７１〜７６の画像データと関連付けてサマリ情報に付加される。
【００７０】
文字情報８１に含まれるページ情報は、画像データに付加されたページ情報を用いることができる。文字情報８１に含まれるページ内位置情報は、例えば、原稿３０１を複数のエリアに分割し、切出領域７１が位置するエリアをページ内位置情報とすることができる。本実施形態では、２次元座標上において、原稿３０１をＹ軸方向に上段、中段、下段と分割し、更に、Ｘ軸方向に左側、中央、右側と分割することにより、原稿３０１を９つのエリアに分割している。そして、切出領域７１が「上段中央」のエリアに位置することから、ページ内位置情報を「上段中央」としている。なお、切出領域７６のように、ページ全体に位置する場合は、「５ページ全体」を示す文字情報８６を生成してもよい。
【００７１】
引き続いて、ＭＦＰ１の動作について説明すると共に、本実施形態に係る画像処理方法について説明する。図９を参照して、サマリ情報の生成処理の処理手順について説明する。図９は、サマリ情報の生成処理の処理手順を示すフローチャートである。このサマリ情報の生成処理は、制御部２０によって行われる。
【００７２】
まず、ステップＳ１０１では、スキャナ１４によって読み取られた原稿３０１〜３０５の画像データが、制御部２０に入力される。すなわち、ステップＳ１０１では、特許請求の範囲に記載の入力ステップの処理が行われる。次に行われるステップＳ１０２では、最初のページである原稿３０１の画像データから手書部分の画素が特定される。すなわち、ステップＳ１０２では、特許請求の範囲に記載の特定ステップの処理が行われる。
【００７３】
ステップＳ１０３では、該当するページの画像データに手書部分の画素が存在するか否かが、判断される。ステップＳ１０３において、該当するページの画像データに手書部分の画素が存在しないと判断された場合は、ステップＳ１０９へ処理が進む。ステップＳ１０３において、該当するページの画像データに手書部分の画素が存在すると判断された場合は、ステップＳ１０４へ処理が進む。ステップＳ１０４では、手書部分の画素について拡張処理が行われ、互いの距離が所定以下である手書部分の画素がグルーピングされる。
【００７４】
次に、ステップＳ１０５では、グルーピングされた各手書画素グループについて、切出領域７１が決定される。すなわち、ステップＳ１０５では、特許請求の範囲に記載の決定ステップの処理が行われる。ここで、図１０を参照して、切出領域の決定処理について説明する。図１０は、切出領域の決定処理の処理手順を示すフローチャートである。
【００７５】
まず、ステップＳ１０５１では、処理対象となる手書画素グループに含まれる手書部分について、外接領域５１が設定される。次に、ステップＳ１０５２では、オーバーラップ処理が行われることにより、候補領域６１が設定される。続くステップＳ１０５３では、設定された候補領域６１に含まれる印刷部分の画素数が所定以上か否かが判断される。
【００７６】
ステップＳ１０５３において、候補領域６１に含まれる印刷部分の画素数が所定以上ではないと判断された場合、処理がステップＳ１０５４へ進む。ステップＳ１０５４では、オーバーラップ処理の回数、すなわち候補領域６１の設定回数が所定回数に到達したか否かが、判断される。ステップＳ１０５４において、オーバーラップ処理の回数が所定回数に到達してないと判断された場合は、ステップＳ１０５２へ処理が戻り、再びオーバーラップ処理が行われ、新たな候補領域６１が設定される。
【００７７】
ステップＳ１０５４において、オーバーラップ処理が所定回数に到達したと判断された場合は、処理がステップＳ１０５５へ進む。また、ステップＳ１０５３において、候補領域６１に含まれる印刷部分の画素数が所定以上ではあると判断された場合、処理がステップＳ１０５５へ進む。ステップＳ１０５５では、最後に設定された候補領域６１が、切出領域７１として決定される。
【００７８】
そして、ステップＳ１０５６では、処理対象となっている画像データの全ての手書画素グループについて切出領域の決定処理が完了したか否かが判断される。ステップＳ１０５６では、未だ切出領域の決定処理が行われていない手書画素グループがある場合、ステップＳ１０５１へ戻り、次の手書画素グループについて、切出領域を決定する処理が行われる。処理対象となっている画像データの全ての手書画素グループについて切出領域の決定処理が完了した場合は、切出領域の決定処理が終了する。そして、図９に示すステップＳ１０６へ処理が移行する。
【００７９】
ステップＳ１０６では、ステップＳ１０５において決定された切出領域のうち、画像サイズが所定サイズを超える切出領域があるか否かが判断される。ステップＳ１０６において、所定サイズを超える切出領域がないと判断された場合は、処理がステップＳ１０８へ進む。ステップＳ１０６において、所定サイズを超える切出領域があると判断された場合は、処理がステップＳ１０７へ進む。ステップＳ１０７では、所定サイズを超える切出領域の画像サイズが所定サイズまで縮小される。
【００８０】
ステップＳ１０８では、該当するページの画像データから切り出した切出領域の画像データ、ページ情報、及びページ内位置情報が記憶される。ステップＳ１０９では、全ページの画像データについて処理が完了したか否かが判断される。ステップＳ１０９で、全ページについて処理が完了していないと判断された場合は、次のページの画像データについて処理を行うために、ステップＳ１０２へ処理が戻る。これにより、原稿３０２〜３０５の全ての画像データについて画像処理が行われる。
【００８１】
ステップＳ１０９において、全ページについて処理が完了したと判定された場合は、処理がステップＳ１１０へ進む。ステップＳ１１０では、原稿３０１〜３０５について記憶された切出領域７１〜７６の画像データ、ページ情報、及びページ内位置情報を含むサマリ情報が生成される。すなわち、ステップＳ１１０では、特許請求の範囲に記載の生成ステップの処理が行われる。以上により、本実施形態に係る画像処理が終了する。
【００８２】
生成されたサマリ情報は、ＭＦＰ１が備えるプリンタ１３又は他のプリンタによって用紙に印刷することができる。また、サマリ情報は、ＭＦＰ１が備える表示部１１又はコンピュータ５において表示することができる。これにより、ユーザは、図８に示すサマリ情報を閲覧することができる。
【００８３】
以上説明したＭＦＰ１では、特定された手書部分、及び、該手書部分の周囲に位置する印刷部分（活字部分）を含む切出領域７１〜７６が決定され、切出領域７１〜７６の画像データを含む、手書部分のサマリ情報が生成される。このサマリ情報が印刷又は表示されることにより、ユーザは、手書部分、及び、この手書部分と関連性の高い印刷部分を一纏まりで見ることができる。従って、ユーザは、手書きの記入がなされた印刷文書を参照することなく、印刷部分に対する手書きによる記入内容を把握することが可能となる。すなわち、ＭＦＰ１によれば、手書きの記入がなされた印刷文書を参照することなく、印刷部分に対する手書きによる記入内容を把握できるサマリ情報を生成することが可能となる。
【００８４】
また、ＭＦＰ１では、複数の手書部分が、互いの距離に基づいてグループ化され、グループ化された手書部分、及び、該グループ化された手書部分の周囲に位置する印刷部分を含む切出領域７１〜７６が決定される。この切出領域７１〜７６を含むサマリ情報が印刷又は表示されることにより、ユーザは、グループ化された関連性の高い手書部分、及び、これらの手書部分と関連性の高い印刷部分を一纏まりで見ることができる。
【００８５】
切出領域７１〜７６には印刷部分の画素数が所定以上含まれるので、一定以上の印刷部分が切出領域に含まれることとなる。従って、手書きで記入された内容を把握するのに適切な分量の印刷部分を含む切出領域を決定することが可能となる。
【００８６】
切出領域の決定処理では、グループ化された手書部分を含む手書領域５１〜５６が設定され、この手書領域５１〜５６を含むと共に該手書領域５１〜５６より大きい領域が、切出領域の候補領域６１〜６６として設定される。そして、候補領域６１〜６６に含まれる印刷部分の画素数が所定以上か否かが判断され、印刷部分の画素数が所定以上である場合に、候補領域６１〜６６が切出領域７１〜７７として決定される。一方、設定された印刷部分の画素数が所定以上でない場合に、既に設定された候補領域より大きい候補領域が新たに設定される。これにより、少しずつ候補領域を大きくして、含まれる印刷部分の画素数が所定以上となるように切出領域７１〜７６が決定される。従って、適切な分量の印刷部分を含み、かつ、必要以上に領域が大きくならないように、切出領域を決定することが可能となる。
【００８７】
また、切出領域の決定処理では、候補領域の設定された回数が所定回数に達した場合は、最後に設定された候補領域が、切出領域として決定される。例えば、グループ化された手書部分の周囲に存在する印刷部分が少ない場合に、切出領域が必要以上に大きくならないようにすることができる。また、候補領域の設定処理及び画素数の判断処理が、冗長に繰り返されることを防止することができる。
【００８８】
また、複数の切出領域７１〜７６が得られた場合に、複数の切出領域７１〜７６が配列された画像を示すサマリ情報が生成される。従って、印刷文書の複数箇所に手書きによる記入がなされた場合であっても、ユーザが、手書きで記入された内容を纏めて閲覧することが可能なサマリ情報を生成することができる。
【００８９】
このサマリ情報を見ることにより、ユーザは、手書部分の内容について、素早く視覚的に把握することができる。例えば、多数ページからなる文書中に手書部分が散在している場合において、サマリ情報を見ることにより、ユーザは、手書部分だけの内容を効率良く確認することができる。従って、印刷文書の校正作業等に用いることで、構成作業の効率を向上させることができる。また、サマリ情報を生成する際に、手書きで記入された文字に対してＯＣＲ処理（文字認識処理）を行わないので、誤って認識された文字が表示されるリスクを回避することができる。
【００９０】
また、サマリ情報には、ページ情報及びページ内位置情報が含まれるので、ユーザは、切出領域の画像と共に、ページ情報又は／及びページ内位置情報を見ることができる。従って、印刷文書において切出領域に対応する箇所をユーザが効率良く参照可能なサマリ情報を生成することできる。
【００９１】
また、ＭＦＰ１では、切出領域７６が所定の画像サイズより大きい場合に、切出領域７６が縮小される。従って、複数の切出領域７１〜７６の画像サイズが一定範囲内となるので、切出領域７１〜７６の画像を閲覧し易くすることができる。
【００９２】
次に、図１１及び図１２を参照して、上述したサマリ情報の生成処理を行う画像処理装置として、コンピュータ９０を機能させるプログラム１００について説明する。図１１は、本実施形態に係るプログラム１００を実行するためのコンピュータ９０の構成を示すブロック図である。図１０は、プログラム１００のモジュール構成を示す図である。
【００９３】
コンピュータ９０は、プログラム１００の実行等を制御する制御部（ＣＰＵ）９１と、プログラム１００等が記憶されたハードディスク９２と、メモリ（ＲＡＭ）９３と、ＣＤ−ＲＯＭ等の記録媒体に記録されたプログラム等を読み取り可能な読取装置９４とを備えている。また、コンピュータ９０は、入力デバイス９５と、ディスプレイ９６と、ＬＡＮ Ｉ／Ｆ９７とを備えている。
【００９４】
プログラム１００は、ＣＤ−ＲＯＭ等の記録媒体に記録されていてもよいし、ネットワークを介してサーバ等からコンピュータ９０に提供されるものであってもよい。プログラム１００は、処理を統括するメインモジュール１０１、入力モジュール１０２、特定モジュール１０３、グルーピングモジュール１０４、決定モジュール１０５、生成モジュール１０６を備える。例えば、読取装置９５により読み取られハードディスク９３に記憶（インストール）されたプログラム１００の各モジュールが実行されることにより、コンピュータ９０が、画像処理装置（制御部２０）を構成する入力部２１、特定部２２、グルーピング部２３、決定部２４、生成部２５として機能する。
【００９５】
本実施形態によれば、プログラム１００が実行されることにより、コンピュータ９０を上述したサマリ情報の生成処理を行う画像処理装置として機能させることができる。従って、手書きの記入がなされた印刷文書を参照することなく、印刷部分に対する手書きによる記入内容を把握できるサマリ情報を生成することが可能となる。
【００９６】
以上、本発明の実施の形態について説明したが、本発明は、上記実施形態に限定されるものではなく種々の変形が可能である。例えば、サマリ情報の表示例は、上記実施形態に限定されるものではなく、サマリ情報には、上述した以外の種々の付加情報を付加してもよい。この場合の例について、図１３を参照して説明する。図１３は、サマリ情報の変形例を示す図である。
【００９７】
図１３に示すサマリ情報は、コンピュータ５のブラウザ機能等を用いてコンピュータ５のディスプレイに表示させることができる。図１３に示す例では、切出領域７１の画像と、該切出領域７１を含む原稿３０１のページ全体の画像とが同時に表示されている。この変形例に係るサマリ情報には、各切出領域７１〜７６を含む原稿３０１〜３０５のページ全体の画像データが含まれている。また、サマリ情報には、切出領域７１〜７６の番号を示す情報と、切出領域７１〜７６の総数、原稿３０１〜３０５毎に切出領域の総数を示す情報が含まれている。
【００９８】
このサマリ情報はコンピュータ５のブラウザ機能等を用いて表示され、ユーザの操作に応じて、切出領域７１〜７６を順に表示させることができる。また、切出領域７１〜７６と同時に、該切出領域７１〜７６を含む原稿３０１〜３０５の画像が表示される。従って、ユーザは、切出領域の画像を見ながら内容を把握し、同時に、印刷文書を見ることが容易となる。また、切出領域７１〜７６と同時に、ページ情報、該当ページにおける切出領域の総数、原稿全体の切出領域の総数、表示中の切出領域の番号、ページ内位置情報等が表示されるので、各切出領域７１〜７６及び原稿３０１〜３０６の画像を閲覧し易くすることができる。
【００９９】
また、上記実施形態では、原稿３０１〜３０５の画像データに含まれる画素の濃度に基づいて、判定単位毎に手書部分の画素を特定したが、手書部分の特定方法はこれに限られず、任意の方法を用いることができる。手書きの記入がなされる前の印刷文書をスキャンして得た画像と、手書きの記入がなされた後の印刷文書をスキャンして得た画像との差分をとることで、手書部分の画素を特定してもよい。
【０１００】
また、上記実施形態では、手書領域５１〜５６を手書部分に外接する矩形領域としたが、手書部分を含む領域であればこれに限られず、外接していなくてもよいし、矩形でなくてもよい。また、上記実施形態では、候補領域６１〜６６を矩形領域としたが、矩形でなくてもよい。また、生成部２５は、表示又は印刷されたサマリ情報の見栄えを良くするために、切出領域７１〜７６の画像サイズ及び位置を調整してもよい。
【符号の説明】
【０１０１】
１ ＭＦＰ
１１ 表示部
１２ ＨＴＴＰサーバ
１３ プリンタ
１４ スキャナ
２０ 制御部
２１ 入力部
２２ 特定部
２３ グルーピング部
２４ 決定部
２４１ 手書領域設定部
２４２ 候補領域設定部
２４３ 判断部
２５ 生成部
【特許請求の範囲】
【請求項１】
印刷文書に手書きによる記入がなされた原稿の画像データに対して画像処理を行う画像処理装置であって、
前記画像データを入力する入力手段と、
前記入力手段によって入力された画像データから手書部分を特定する特定手段と、
前記特定手段によって特定された手書部分と該手書部分の周囲に位置する印刷部分とを含む切出領域を決定する決定手段と、
前記決定手段によって決定された切出領域の画像データを含む、前記手書部分のサマリ情報を生成する生成手段と、
を備えることを特徴とする画像処理装置。
【請求項２】
前記特定手段によって特定された複数の手書部分を互いの距離に基づいてグループ化するグルーピング手段を備え、
前記決定手段は、前記グルーピング手段によってグループ化された手書部分と該グループ化された手書部分の周囲に位置する印刷部分とを含む前記切出領域を決定することを特徴とする請求項１に記載の画像処理装置。
【請求項３】
前記決定手段は、前記切出領域に含まれる印刷部分の画素数が所定以上となるように前記切出領域を決定することを特徴とする請求項２に記載の画像処理装置。
【請求項４】
前記決定手段は、
前記クループ化された手書部分を含む手書領域を設定する手書領域設定手段と、
前記手書領域を含むより大きい領域を前記切出領域の候補領域として設定する候補領域設定手段と、
前記候補領域に含まれる印刷部分の画素数が所定以上か否かを判断する判断手段と、
を備え、
前記判断手段によって前記候補領域に含まれる印刷部分の画素数が所定以上であると判断された場合に、前記決定手段は、前記候補領域を前記切出領域として決定し、
前記判断手段によって前記候補領域に含まれる印刷部分の画素数が所定以上でないと判断された場合に、前記候補領域設定手段は、既に設定された候補領域より大きい領域を新たに候補領域として設定することを特徴とする請求項３に記載の画像処理装置。
【請求項５】
前記決定手段は、前記候補領域に含まれる印刷部分の画素数が所定以上でないと前記判断手段によって判断された場合において、前記候補領域の設定された回数が所定回数に達した場合は、最後に設定された候補領域を前記切出領域として決定することを特徴とする請求項４に記載の画像処理装置。
【請求項６】
前記生成手段は、複数の前記切出領域の画像データを含み、該複数の切出領域が配列された前記サマリ情報を生成することを特徴とする請求項１〜５のいずれか１項に記載の画像処理装置。
【請求項７】
前記生成手段は、前記原稿において前記切出領域を含むページを示すページ情報が付加された前記サマリ情報を生成することを特徴とする請求項１〜６のいずれか１項に記載の画像処理装置。
【請求項８】
前記生成手段は、前記原稿において前記切出領域が位置するページ内の位置を示すページ内位置情報が付加された前記サマリ情報を生成することを特徴とする請求項１〜７のいずれか１項に記載の画像処理装置。
【請求項９】
前記生成手段は、前記切出領域が所定の画像サイズを超える場合、該切出領域を前記所定の画像サイズまで縮小することを特徴とする請求項１〜８のいずれか１項に記載の画像処理装置。
【請求項１０】
印刷文書に手書きによる記入がなされた原稿の画像データに対して画像処理を行う画像処理方法であって、
画像データを入力する入力ステップと、
前記入力ステップにおいて入力された画像データから手書部分を特定する特定ステップと、
前記特定ステップにおいて特定された手書部分と該手書部分の周囲に位置する印刷部分とを含む切出領域を決定する決定ステップと、
前記決定ステップにおいて決定された切出領域の画像データを含む、前記手書部分のサマリ情報を生成する生成ステップと、
を含むことを特徴とする画像処理方法。
【請求項１１】
印刷文書に手書きによる記入がなされた原稿の画像データに対して画像処理を行うコンピュータを、
画像データを入力する入力手段、
前記入力手段によって入力された画像データから手書部分を特定する特定手段、
前記特定手段によって特定された手書部分と該手書部分の周囲に位置する印刷部分とを含む切出領域を決定する決定手段、
前記決定手段によって決定された切出領域の画像データを含む、前記手書部分のサマリ情報を生成する生成手段、
として機能させることを特徴とする画像処理プログラム。
【請求項１】
印刷文書に手書きによる記入がなされた原稿の画像データに対して画像処理を行う画像処理装置であって、
前記画像データを入力する入力手段と、
前記入力手段によって入力された画像データから手書部分を特定する特定手段と、
前記特定手段によって特定された手書部分と該手書部分の周囲に位置する印刷部分とを含む切出領域を決定する決定手段と、
前記決定手段によって決定された切出領域の画像データを含む、前記手書部分のサマリ情報を生成する生成手段と、
を備えることを特徴とする画像処理装置。
【請求項２】
前記特定手段によって特定された複数の手書部分を互いの距離に基づいてグループ化するグルーピング手段を備え、
前記決定手段は、前記グルーピング手段によってグループ化された手書部分と該グループ化された手書部分の周囲に位置する印刷部分とを含む前記切出領域を決定することを特徴とする請求項１に記載の画像処理装置。
【請求項３】
前記決定手段は、前記切出領域に含まれる印刷部分の画素数が所定以上となるように前記切出領域を決定することを特徴とする請求項２に記載の画像処理装置。
【請求項４】
前記決定手段は、
前記クループ化された手書部分を含む手書領域を設定する手書領域設定手段と、
前記手書領域を含むより大きい領域を前記切出領域の候補領域として設定する候補領域設定手段と、
前記候補領域に含まれる印刷部分の画素数が所定以上か否かを判断する判断手段と、
を備え、
前記判断手段によって前記候補領域に含まれる印刷部分の画素数が所定以上であると判断された場合に、前記決定手段は、前記候補領域を前記切出領域として決定し、
前記判断手段によって前記候補領域に含まれる印刷部分の画素数が所定以上でないと判断された場合に、前記候補領域設定手段は、既に設定された候補領域より大きい領域を新たに候補領域として設定することを特徴とする請求項３に記載の画像処理装置。
【請求項５】
前記決定手段は、前記候補領域に含まれる印刷部分の画素数が所定以上でないと前記判断手段によって判断された場合において、前記候補領域の設定された回数が所定回数に達した場合は、最後に設定された候補領域を前記切出領域として決定することを特徴とする請求項４に記載の画像処理装置。
【請求項６】
前記生成手段は、複数の前記切出領域の画像データを含み、該複数の切出領域が配列された前記サマリ情報を生成することを特徴とする請求項１〜５のいずれか１項に記載の画像処理装置。
【請求項７】
前記生成手段は、前記原稿において前記切出領域を含むページを示すページ情報が付加された前記サマリ情報を生成することを特徴とする請求項１〜６のいずれか１項に記載の画像処理装置。
【請求項８】
前記生成手段は、前記原稿において前記切出領域が位置するページ内の位置を示すページ内位置情報が付加された前記サマリ情報を生成することを特徴とする請求項１〜７のいずれか１項に記載の画像処理装置。
【請求項９】
前記生成手段は、前記切出領域が所定の画像サイズを超える場合、該切出領域を前記所定の画像サイズまで縮小することを特徴とする請求項１〜８のいずれか１項に記載の画像処理装置。
【請求項１０】
印刷文書に手書きによる記入がなされた原稿の画像データに対して画像処理を行う画像処理方法であって、
画像データを入力する入力ステップと、
前記入力ステップにおいて入力された画像データから手書部分を特定する特定ステップと、
前記特定ステップにおいて特定された手書部分と該手書部分の周囲に位置する印刷部分とを含む切出領域を決定する決定ステップと、
前記決定ステップにおいて決定された切出領域の画像データを含む、前記手書部分のサマリ情報を生成する生成ステップと、
を含むことを特徴とする画像処理方法。
【請求項１１】
印刷文書に手書きによる記入がなされた原稿の画像データに対して画像処理を行うコンピュータを、
画像データを入力する入力手段、
前記入力手段によって入力された画像データから手書部分を特定する特定手段、
前記特定手段によって特定された手書部分と該手書部分の周囲に位置する印刷部分とを含む切出領域を決定する決定手段、
前記決定手段によって決定された切出領域の画像データを含む、前記手書部分のサマリ情報を生成する生成手段、
として機能させることを特徴とする画像処理プログラム。
【図１】
【図２】
【図３】
【図４】
【図５】
【図６】
【図７】
【図８】
【図９】
【図１０】
【図１１】
【図１２】
【図１３】
【図２】
【図３】
【図４】
【図５】
【図６】
【図７】
【図８】
【図９】
【図１０】
【図１１】
【図１２】
【図１３】
【公開番号】特開２０１２−３９２３６（Ｐ２０１２−３９２３６Ａ）
【公開日】平成２４年２月２３日（２０１２．２．２３）
【国際特許分類】
【出願番号】特願２０１０−１７５４２７（Ｐ２０１０−１７５４２７）
【出願日】平成２２年８月４日（２０１０．８．４）
【出願人】（０００００６２９７）村田機械株式会社 (4,916)
【Ｆターム（参考）】
【公開日】平成２４年２月２３日（２０１２．２．２３）
【国際特許分類】
【出願日】平成２２年８月４日（２０１０．８．４）
【出願人】（０００００６２９７）村田機械株式会社 (4,916)
【Ｆターム（参考）】
[ Back to top ]