画像処理装置、画像処理システム、画像処理方法、および、プログラム
【課題】印刷物からユーザが所望する特定の部分だけを抽出し、それをユーザが所望する通りに分類してリスト化できる技術を提供する。
【解決手段】印刷物に手書きによる書き込みがなされた書き込み原稿の画像データ６１から手書き部分７を分離し、分離された手書き部分７が、囲み線７１と分類記号７２のどちらであるかを判定する。囲み線７１と判定された手書き部分７により囲まれる画像部分を抽出して抽出画像を取得する。分類記号７２を、それと最も近い位置に書き込まれた囲み線７１と対応付け、抽出画像を、同じグループに属する分類記号７２のいずれかと対応付けられている囲み線７１が取り囲んでいた領域の画像部分同士でグループ化する。そして、抽出画像を、グループ毎にまとめた一覧データを作成する。
【解決手段】印刷物に手書きによる書き込みがなされた書き込み原稿の画像データ６１から手書き部分７を分離し、分離された手書き部分７が、囲み線７１と分類記号７２のどちらであるかを判定する。囲み線７１と判定された手書き部分７により囲まれる画像部分を抽出して抽出画像を取得する。分類記号７２を、それと最も近い位置に書き込まれた囲み線７１と対応付け、抽出画像を、同じグループに属する分類記号７２のいずれかと対応付けられている囲み線７１が取り囲んでいた領域の画像部分同士でグループ化する。そして、抽出画像を、グループ毎にまとめた一覧データを作成する。
【発明の詳細な説明】
【技術分野】
【０００１】
この発明は、画像データの特定部分を抽出してリスト化する技術に関する。
【背景技術】
【０００２】
作業効率向上、文書管理の容易化等といった観点から、印刷物から特定の部分だけを抜粋してリスト化したいという状況が様々な場面で存在する。例えば、印刷物の校正作業においては、印刷された文書等を目視して手直しが必要と思われる部分に印をつけておき、後から印を付けた部分について手直しの要否をじっくりと検討したい場合がある。この際、印を付けた部分だけを抜粋して一覧にする（リスト化する）ことができれば、校正作業を正確かつ効率的に行うことができる。また例えば、論文等の文書作成作業においては、参考となる文献等を読む際に、あとで参照したい部分（例えば、重要と思われる部分、求めるテーマに関する部分、引用したい部分、等）に印を付けておくことが一般に行われる。ここで、印を付けた部分だけを抜粋してリスト化しておくことができれば、後に文献の全体から当該部分を探し出す必要がなく、論文等の文書作成における作業効率を向上させることができる。
【０００３】
さらに、印刷物から抜粋した各部分を、単に元の印刷物に記載された順序通りに抜き出すのではなく、抜粋する各部分の性質に応じて分類してリスト化できれば、さらに便利である。例えば、上記の例において、あるテーマに関する抜粋部分と、別のテーマに関する抜粋部分とが元の印刷物において混在して現れる場合、抜粋部分がテーマ毎に分類されたリストを得ることができれば、後で見直す場合等に非常に便利である。
【０００４】
特許文献１には、文書内にユーザが注記（縦線、星印、丸で囲む、アンダーライン、ハイライト）を書き込んだ場合に、当該注記が書き込まれた付近の文章を自動的に抜き出す構成が開示されている。
【先行技術文献】
【特許文献】
【０００５】
【特許文献１】特開平１１−２１９２４５号公報
【発明の概要】
【発明が解決しようとする課題】
【０００６】
ところで、ユーザが抜粋したいと思う領域は、文章における１個の単語である場合もあれば、複数の文章にわたる場合もある。また、文章と図形（例えば、グラフ）の組み合わせの場合もある。
【０００７】
特許文献１の技術においては、抜粋される領域はシステムが自動に決定する。すなわち、ここでは、システムは、まず、注記事項に関連する最小限の文脈を決定する。一方で、システムは文書に予め区分処理を行っており、最小限の文脈が決定されると、これを近くの区分の全てを含むように拡張し、これを抜粋すべき領域とする。
【０００８】
この構成によると、ユーザが所望するよりも広い領域が抜粋される、あるいは、ユーザが所望するよりも狭い領域が抜粋される、といった不都合が生じる可能性が高い。前者の場合、リスト化されたデータのサイズが不必要に大きくなる、また、リスト化による作業効率の向上の妨げとなる、といった問題が出てくる。一方、後者の場合、ユーザは、結局もう一度元の文書を見直さなくてはならないため、リスト化の意味がない。
【０００９】
この発明は、上記の課題に鑑みてなされたものであり、印刷物からユーザが所望する特定の部分だけを抽出し、それをユーザが所望する通りに分類してリスト化できる技術を提供することを目的としている。
【課題を解決するための手段】
【００１０】
請求項１に記載の発明は、印刷物に手書きによる書き込みがなされた書き込み原稿の画像データから、手書き部分を分離する分離部と、前記手書き部分が、前記印刷物内の対象領域を囲む囲み線と、前記対象領域を分類するための分類記号とのどちらであるかを判定する判定部と、前記分類記号を、それと最も近い位置に書き込まれていた前記囲み線と対応付ける対応付け部と、前記画像データから前記手書き部分が分離された後の分離後データから、前記囲み線により囲まれていた前記対象領域を含む抽出対象領域内の画像部分を抽出する抽出画像取得部と、同じ種類の前記分類記号と対応付けられた１以上の前記囲み線のそれぞれにより取り囲まれた前記画像部分同士をグループ化する画像仕分け部と、抽出された前記画像部分をグループ毎にまとめた一覧データを作成する一覧データ生成部と、を備える。
【００１１】
請求項２に記載の発明は、請求項１に記載の画像処理装置であって、前記手書き部分に外接する外接矩形を設定する外接矩形設定部、を備え、前記判定部が、前記分離後データにおいて、前記手書き部分について設定された前記外接矩形に囲まれる領域に含まれる画素数に基づいて、当該手書き部分が前記囲み線と前記分類記号とのどちらであるかを判定する。
【００１２】
請求項３に記載の発明は、請求項１または２に記載の画像処理装置であって、前記手書き部分に外接する外接矩形を設定する外接矩形設定部、を備え、前記抽出画像取得部が、前記囲み線と当該囲み線に設定された前記外接矩形とに囲まれた領域に、そのサイズが定められた閾値よりも大きい内接矩形を設定可能である場合、前記外接矩形から、そこに設定される前記内接矩形を除いた領域を前記抽出対象領域とし、前記囲み線と当該囲み線に設定された前記外接矩形とに囲まれた領域に前記内接矩形を設定できない場合、前記外接矩形内の領域を前記抽出対象領域とする。
【００１３】
請求項４に記載の発明は、請求項１から３のいずれかに記載の画像処理装置であって、前記手書き部分に外接する外接矩形を設定する外接矩形設定部と、前記手書き部分に設定された前記外接矩形の中心の位置を、当該手書き部分の位置情報として取得する位置情報取得部と、を備え、前記対応付け部が、前記手書き部分のそれぞれの前記位置情報に基づいて、前記分類記号と最も近い位置に書き込まれていた前記囲み線を特定する。
【００１４】
請求項５に記載の発明は、請求項１から４のいずれかに記載された画像処理装置であって、表示装置と、前記一覧データを前記表示装置に表示させる表示制御部と、を備える。
【００１５】
請求項６に記載の発明は、画像処理装置と、前記画像処理装置と通信回線を介して接続された情報処理装置と、を備え、前記画像処理装置が、印刷物に手書きによる書き込みがなされた書き込み原稿の画像データから、手書き部分を分離する分離部と、前記手書き部分が、前記印刷物内の対象領域を囲む囲み線と、前記対象領域を分類するための分類記号とのどちらであるかを判定する判定部と、前記分類記号を、それと最も近い位置に書き込まれていた前記囲み線と対応付ける対応付け部と、前記画像データから前記手書き部分が分離された後の分離後データから、前記囲み線により囲まれていた前記対象領域を含む抽出対象領域内の画像部分を抽出する抽出画像取得部と、同じ種類の前記分類記号と対応付けられた１以上の前記囲み線のそれぞれにより取り囲まれた前記画像部分同士をグループ化する画像仕分け部と、抽出された前記画像部分をグループ毎にまとめた一覧データを作成する一覧データ生成部と、を備え、前記情報処理装置が、表示装置と、前記画像処理装置から前記通信回線を介して取得した前記一覧データを、前記表示装置に表示させる表示制御部と、を備える。
【００１６】
請求項７に記載の発明は、印刷物に手書きによる書き込みがなされた書き込み原稿の画像データから、手書き部分を分離する工程と、前記手書き部分が、前記印刷物内の対象領域を囲む囲み線と、前記対象領域を分類するための分類記号とのどちらであるかを判定する工程と、前記分類記号を、それと最も近い位置に書き込まれていた前記囲み線と対応付ける工程と、前記画像データから前記手書き部分が分離された後の分離後データから、前記囲み線により囲まれていた前記対象領域を含む抽出対象領域内の画像部分を抽出する工程と、同じ種類の前記分類記号と対応付けられた１以上の前記囲み線のそれぞれにより取り囲まれた前記画像部分同士をグループ化する工程と、抽出された前記画像部分をグループ毎にまとめた一覧データを作成する工程と、を備える。
【００１７】
請求項８に記載の発明は、コンピュータが読み取り可能なプログラムであって、前記コンピュータが前記プログラムを読み取り、前記コンピュータのＣＰＵが前記プログラムをメモリにて実行することにより、前記コンピュータを、印刷物に手書きによる書き込みがなされた書き込み原稿の画像データから、手書き部分を分離する分離部と、前記手書き部分が、前記印刷物内の対象領域を囲む囲み線と、前記対象領域を分類するための分類記号とのどちらであるかを判定する判定部と、前記分類記号を、それと最も近い位置に書き込まれていた前記囲み線と対応付ける対応付け部と、前記画像データから前記手書き部分が分離された後の分離後データから、前記囲み線により囲まれていた前記対象領域を含む抽出対象領域内の画像部分を抽出する抽出画像取得部と、同じ種類の前記分類記号と対応付けられた１以上の前記囲み線のそれぞれにより取り囲まれた前記画像部分同士をグループ化する画像仕分け部と、抽出された前記画像部分をグループ毎にまとめた一覧データを作成する一覧データ生成部と、を備える画像処理装置として機能させる。
【発明の効果】
【００１８】
請求項１、７、８に記載の発明によると、画像データから分離された手書き部分が、囲み線と分類記号とのどちらであるかが判定され、囲み線と判定された手書き部分により囲まれていた対象領域を含む抽出対象領域内の画像部分が抽出される。抽出された画像部分は、同じ種類の分類記号と対応付けられた１以上の囲み線のそれぞれにより取り囲まれた画像部分同士でグループ化され、グループ毎にまとめられて一覧データとされる。この構成によると、印刷物からユーザが所望する特定の部分だけを抽出し、それをユーザが所望する通りに分類してリスト化することができる。
【００１９】
請求項２に記載の発明によると、分離後データにおける、手書き部分について設定された外接矩形に囲まれる領域に含まれる画素数に基づいて、当該手書き部分が囲み線、分類記号のどちらであるかを判定する。この構成によると、外接矩形という単純化された形状を用いて手書き部分が囲み線、分類記号のどちらであるのかの判定を行うので、当該判定を簡単かつ正確に行うことができる。
【００２０】
請求項３に記載の発明によると、囲み線と外接矩形とに囲まれた領域に所定サイズ以上の内接矩形を設定可能である場合は、外接矩形から内接矩形を除いた領域の画像部分を抽出対象領域とし、内接矩形を設定できない場合は、外接矩形内の領域を抽出対象領域とする。この構成によると、外接矩形という単純化された形状を用いることによって、ユーザが抽出を希望する領域を簡単かつ正確に特定することができる。
【００２１】
請求項４に記載の発明によると、手書き部分に設定された外接矩形の中心の位置を当該手書き部分の位置情報として取得し、当該位置情報に基づいて、分類記号と最も近い位置に書き込まれていた囲み線を特定する。この構成によると、外接矩形という単純化された形状を用いて各手書き部分の位置を簡単かつ正確に特定することができるので、分類記号と囲み線との対応付けを簡単かつ正確に行うことができる。
【００２２】
請求項５に記載の発明によると、表示装置と、一覧データを当該表示装置に表示させる表示制御部とを備えるので、ユーザは、作成された一覧データを、装置が備える表示装置に表示させることができる。
【００２３】
請求項６に記載の発明によると、画像処理装置と接続された情報処理装置が、表示装置と、一覧データを当該表示装置に表示させる表示制御部とを備えるので、ユーザは、画像処理装置において作成された一覧データを、これとは別の情報処理装置が備える表示装置に表示させることができる。
【図面の簡単な説明】
【００２４】
【図１】デジタル複合機の構成を示す図である。
【図２】書き込み原稿の一例を示す図である。
【図３】デジタル複合機が備える機能構成を示すブロック図である。
【図４】前処理部の機能を説明するための図である。
【図５】抽出画像取得部の機能を説明するための図である。
【図６】抽出画像取得部の機能を説明するための図である。
【図７】抽出画像整理部の機能を説明するための図である。
【図８】一覧データの構成例を示す図である。
【図９】一覧データの構成例を示す図である。
【図１０】前処理の流れを示す図である。
【図１１】手書き部分の判定処理の流れを示す図である。
【図１２】分類記号に対する処理の流れを示す図である。
【図１３】囲み線に対する処理の流れを示す図である。
【図１４】一覧データを生成する処理の流れを示す図である。
【図１５】画像処理システムが備える機能構成を示すブロック図である。
【図１６】表示画面の一例を示す図である。
【発明を実施するための形態】
【００２５】
＜Ａ．第１の実施の形態＞
＜１．デジタル複合機の構成＞
図１は、この発明の実施の形態に係るデジタル複合機１の構成を示す図である。デジタル複合機１は、ＦＡＸ機能、コピー機能、スキャン機能、プリント機能などの複数の機能を有する複合機（ＭＦＰ装置）として構成されている。
【００２６】
デジタル複合機１は、制御部１１と、ＲＯＭ１２と、データメモリ１３と、画像メモリ１４と、操作パネル１５と、画像処理部１６と、画像読取部１７と、画像記録部１８と、大容量蓄積部１９と、通信関係の処理部３１〜３４とを、バスライン１０を介して電気的に接続した構成となっている。
【００２７】
制御部１１は、ＣＰＵで構成されている。制御部１１は、ＲＯＭ１２に記憶されたプログラムＰに基づいて上記のハードウエア各部を制御し、デジタル複合機１の機能を実現する。
【００２８】
ＲＯＭ１２は、デジタル複合機１の制御に必要なプログラムＰ、データ等を予め格納した読み出し専用の記憶装置である。
【００２９】
データメモリ１３は、読み出しと書き込みとが可能な記憶装置であり、画像データ、ＦＡＸ番号、メールアドレスなどの一時的に蓄積される諸データ、制御部１１による演算処理の際に発生するデータ等を一時的に記憶する。データメモリ１３はＳＲＡＭ、フラッシュメモリ等で構成される。
【００３０】
画像メモリ１４は、ＬＡＮＩ／Ｆ３４、あるいは、ＮＣＵ３３を通じて外部装置から受信した画像データ、画像読取部１７において取得された画像データ、画像処理部１６において処理された画像データなどを一時的に記憶するための記憶装置である。画像メモリ１４は、読み出しと書き込みとが可能なＤＲＡＭ等のメモリにより構成される。
【００３１】
操作パネル１５は、ユーザインタフェースとして機能する処理部である。操作パネル１５は、表示部１５１と、操作キー群１５２とを有している。
【００３２】
表示部１５１は、各種の情報を表示するとともにユーザ操作を受け付ける。表示部１５１は、表示パネルと、表示パネルに取り付けられたタッチパネルとを備えている。表示パネルは、デジタル複合機１の動作状態などを表示する装置であり、例えば液晶ディスプレイにより構成される。タッチパネルは、表示パネルの表示画面領域内に指などが触れたことを感知して、その接触情報を取得する。
【００３３】
操作キー群１５２は、文字キー、テンキー、ファンクションキーなどの各種キーによって構成され、コマンド、テキストデータ等の入力といったユーザ操作を受け付ける。操作キー群１５２のユーザ操作は信号として制御部１１に入力される。制御部１１はユーザ操作に基づいて各部の動作を制御する。
【００３４】
画像処理部１６は、受信された画像データ、画像読取部１７から取得した画像データ等にＡ／Ｄ変換、表色系の変換、色調整、画像の合成などの種々の処理を行う処理部である。
【００３５】
画像読取部１７は、原稿上の画像をＣＣＤラインセンサなどの読取素子によって読み取るスキャナである。画像読取部１７は、ガラス台上に載置された原稿の表面を読取素子が走査して画像を読み取るタイプのスキャナであってもよく、原稿の載置台（図示省略）に載置された原稿を、ＡＤＦ（Auto Document Feeder）によって搬送し、搬送される原稿の表面を静止した読取素子によって走査して画像を読み取るタイプのスキャナであってもよい。
【００３６】
画像記録部１８は、画像メモリ１４、大容量蓄積部１９等に格納された画像データなどを記録紙上へ記録するプリンタである。画像記録部１８には、例えば、電子写真方式のプリンタを採用することができる。
【００３７】
大容量蓄積部１９は、ハードディスクなどにより構成される。大容量蓄積部１９は、画像読取部１７により処理された画像データを蓄積することができる。
【００３８】
さらにこのデジタル複合機１には、通信関係の処理部として、画像データ等を複数のプロトコルに対応して符号化/復号化するコーデック（ＣＯＤＥＣ）３１と、送受信データの変調および復調を行うモデム３２と、電話回線の開閉制御を行うＮＣＵ３３と、ＬＡＮ４１とのインターフェイスに相当するＬＡＮＩ／Ｆ３４とが、バスライン１０を介して電気的に接続した構成となっている。
【００３９】
ここで、デジタル複合機１の通信環境について説明する。デジタル複合機１はＬＡＮ４１と接続されている。また、ＬＡＮ４１はルータ４２などを介してインターネット４３に接続されている。これにより、デジタル複合機１は、ＬＡＮ４１を介して接続された情報処理装置４４、あるいは、インターネット４３を介して接続された情報処理装置４５と電子メール通信などを行うことができる。なお、情報処理装置４４，４５は、例えば、パソコン、デジタル複合機１と同様の装置、携帯電話等である。
【００４０】
さらに、デジタル複合機１は、アナログ回線用のデータ通信ネットワークである回線（例えば、ＰＳＴＮ（Public Switched Telephone Network：一般公衆電話網）４６（あるいは、ＩＳＤＮ（Integrated Services Digital Network：サービス総合デジタル網）））と接続されている。これによって、デジタル複合機１は回線４６を介して接続された通信端末装置４７とのＦＡＸ通信を行うことができる。なお、通信端末装置４７は、例えば、モデム接続されたパソコン、デジタル複合機１と同様の装置、固定電話、携帯電話、ＦＡＸ専用機等である。
【００４１】
＜２．画像抽出処理に関する構成＞
デジタル複合機１は、ユーザが印刷物に対して、鉛筆、ボールペン等の筆記具を用いて手書きで書き込みを行ったもの（以下「書き込み原稿」という）６０から、ユーザが所望する部分を抽出（抜粋）し、それをユーザが所望する通りに分類してリスト化する機能（抽出分類機能）を備えている。
【００４２】
＜２−１．書き込み原稿＞
抽出分類機能について具体的に説明する前に、書き込み原稿６０について、図２を参照しながら説明する。図２には、書き込み原稿６０の一例が示されている。
【００４３】
上述したとおり、書き込み原稿６０は、ユーザが印刷物に対して手書きで書き込みを行ったものである。ここで、「印刷物」とは、例えば、記録用紙等の記録媒体に、インク、トナー等を用いて、文字、絵、グラフ等を画像形成したものである。
【００４４】
＜囲み線７１＞
ユーザは、印刷物内に抽出したい部分（以下「対象部分」という）がある場合、対象部分を囲む線（以下「囲み線」という）７１を手書きで記入する。囲み線７１は、閉領域を規定するものであればどのような形状であってもよい。例えば、多角形、角丸の多角形、円形、楕円形、等であってもよい。また、窪んだ部分、あるいは、突き出た部分を含む不規則な形状であってもよい。また、囲み線７１は、印刷物内に何個書き込まれてもよい。ただし、同一ページ内に複数の囲み線７１が書き込まれる場合、各囲み線７１は他の囲み線７１と交差しないように書き込まれる必要がある。
【００４５】
＜分類記号７２＞
ユーザは、対象部分を分類したい場合、囲み線７１の近くに対象部分を分類するための記号（以下「分類記号」という）７２を手書きで記入する。分類記号７２は、識別能力を有するものであればどのようなものであってもよい。例えば、文字（例えば、数字、アルファベット、平仮名、カタカナ、等の１文字、あるいは、複数の文字を組み合わせたもの）、記述記号（例えば、クエスチョンマーク（？）、エクスクラメーションマーク（！）、等）、参照符記号（例えば、米印（※）、アスタリスク（＊）、等）、数学記号（例えば、イコール（＝）、プラス（＋）、マイナス（−）、等）、図形（例えば、丸、三角、四角、あるいは、これらを複数個組み合わせたもの等）、文字等と図形との組み合わせ（例えば、文字を丸で囲んだもの等）を分類記号７２として用いることができる。ただし、分類記号７２は、光学文字認識処理により識別されるため、光学文字認識処理における誤認識を防止するべく、回転によって互いに一致しにくい組み合わせであることが好ましい。
【００４６】
また、分類記号７２は、その最も近い位置にある囲み線７１と対応付けられることになるので、対応させたい囲み線７１とできるだけ近接した位置に書き込むことが好ましい。ただし、分類記号７２は、囲み線７１、および、他の分類記号７２と重ならないように書き込まれる必要がある。また、分類記号７２は、印刷物に印字されている線画と重ならない位置に書き込まれることが好ましい。なお、分類記号７２は必ずしも全ての囲み線７１について記入される必要はなく、分類記号７２なしの囲み線７１が存在しても問題ない。
【００４７】
＜２−２．機能構成＞
抽出分類機能について、図３を参照しながら説明する。図３は、デジタル複合機１が備える機能構成を示すブロック図である。
【００４８】
デジタル複合機１は、上記機能に関する構成として、前処理部１１０と、分類記号仕分け部１２０と、抽出画像取得部１３０と、抽出画像整理部１４０とを備える。これら各機能部は、制御部１１がＲＯＭ１２上のプログラムＰを実行することにより実現される。
【００４９】
＜前処理部１１０＞
前処理部１１０は、書き込み原稿６０を読み取って得られた画像データから、ユーザが手書きにより書き込んだ部分（以下「手書き部分」という）７に関する各種の情報を取得する機能部であり、分離部１１１と、外接矩形設定部１１２と、位置情報取得部１１３と、判定部１１４とを備える。前処理部１１０の機能について、図４を参照しながら説明する。図４は、前処理部１１０の機能を説明するための図である。
【００５０】
分離部１１１は、書き込み原稿６０を読み取って得られた画像データ６１から、手書き部分７（具体的には、囲み線７１、および、分類記号７２）を分離する処理（以下「分離処理」という）を行う。分離処理においては、手書き部分７と、それ以外の部分（すなわち、手書き部分７が記入される前の印刷物に印刷されていた線画の部分であり、以下「印刷部分」という）とが分離されることになる。画像データ６１から手書き部分７が分離されたデータ（すなわち、印刷部分のみが表されたデータ）を以下「分離後データ６２」という。
【００５１】
分離処理は、例えば、画像データ６１に含まれる各オブジェクトの濃度差を利用して行うことができる。すなわち、手書き部分は、印刷部分に比べて濃度が低い部分が多くなる傾向がある。そこで、画像データ６１におけるオブジェクト単位（例えば、連結画素単位）の平均濃度を算出し、平均濃度が所定値以下の部分を手書き部分７と判断して、これを分離することによって、画像データ６１から手書き部分７を分離することができる。また、例えば、分離処理は、画像データ６１に含まれる各オブジェクトの濃度変化を利用して行うことができる。すなわち、手書き部分は、印刷部分に比べて濃度変化が緩やかとなる傾向がある。そこで、画像データ６１におけるオブジェクト単位（例えば、連結画素単位）の平均濃度変化率（隣接する画素間の濃度差の平均値）を算出し、平均濃度変化率が所定値以下の部分を手書き部分７と判断して、これを分離することによって、画像データ６１から手書き部分７を分離することができる。分離処理は、上記に例示したように、画像データ６１における各画素の濃度情報を用いて行うことができる他、公知の各種技術を用いて行うことも可能である。
【００５２】
外接矩形設定部１１２は、画像データ６１から分離された手書き部分７のそれぞれに外接する矩形（以下「外接矩形」という）８１を設定する。
【００５３】
位置情報取得部１１３は、画像データ６１から分離された手書き部分７のそれぞれの位置情報を取得する。具体的には、各手書き部分７について設定された外接矩形８１の中心８２の座標を算出し、得られた座標を当該手書き部分７の位置情報として取得する。例えば、外接矩形８１の頂点座標の平均を中心８２の座標として取得することができる。
【００５４】
判定部１１４は、画像データ６１から分離された手書き部分７のそれぞれが、囲み線７１、分類記号７２、のどちらであるかの判定を行う。判定部１１４は、画素数計数部１１４１と、判定処理部１１４２とを備える。
【００５５】
画素数計数部１１４１は、分離後データ６２において、手書き部分７について設定された外接矩形８１の領域（図中の仮想線領域）に含まれる画素数を計数する。ここで得られる計数結果は、画像データ６１の、手書き部分７が書き込まれた領域の内部における、印刷物の線画由来の画素数と近似的に等しい値となっている。
【００５６】
囲み線７１は、印刷物の線画を囲む記入部分であるため、画像データ６１において、囲み線７１として記入された手書き部分７が書き込まれた領域の内部には、印刷物の線画に由来する画素が比較的多く存在するはずである。これに対し、分類記号７２を印刷物における線画部分と重ならないように書き込むことを予めルール化しておけば、ユーザがルールに従って分類記号７２を書き込む限り、分類記号７２として記入された手書き部分７が書き込まれた領域の内部には、印刷物の線画に由来する画素がほとんど存在しないはずである。そこで、判定処理部１１４２は、画素数計数部１１４１により計数された画素数が定められた閾値Ｗ１より大きいか否かを判定し、画素数が閾値Ｗ１より大きい場合、当該手書き部分７を囲み線７１と判定する。一方、画素数が閾値Ｗ１以下の場合、当該手書き部分７を分類記号７２と判定する。
【００５７】
なお、この判定処理に用いられる閾値Ｗ１は、原理的には「０（ゼロ）」とすることも可能であるが、実際は、分離処理において印刷部分と手書き部分７とが誤認識される可能性もゼロではない。また、ユーザが印刷物の線画と部分的に重なるように分類記号７２を記入する可能性もある。また、ユーザが印刷部分に接近させて分類記号７２を記入した場合、外接矩形８１内に印刷部分が僅かに含まれる可能性もある。そこで、これらの場合にも分類記号７２と囲み線７１とを間違いなく分離できるように、閾値Ｗ１は、「０」より僅かに大きな値とすることが好ましい。
【００５８】
＜分類記号仕分け部１２０＞
再び図３を参照する。分類記号仕分け部１２０は、分類記号７２を、同じ種類の記号同士でグループ化する。具体的には、分類記号仕分け部１２０は、分類記号７２に対して光学文字認識処理（ＯＣＲ（Optical Character Recognition）処理）を行い、認識結果が同じ分類記号７２同士をグループ化し、各グループに識別番号（例えば、グループ番号）を付与する。光学文字認識処理は、例えば、予め登録された複数のパターンとのパターンマッチングを行うことによってなされる。
【００５９】
ただし、分類記号７２が文字認識不能と判断された場合は、当該分類記号７２を定められたグループに分類してもよいし、当該分類記号７２はなかったものとみなして以後の処理を進めてもよい。
【００６０】
なお、ここで、一群の分類記号７２を文字認識処理して得られた識別結果が、順位付けが可能な記号群の場合がある。例えば、識別結果が一群の数字であれば、昇順、あるいは、降順に順位付けることができる。また、識別結果が一群のアルファベットであれば、Ａ、Ｂ、ＣからＺまでの並び順に順位付けることができる。また、識別結果が一群の平仮名、あるいは、一群のカタカナであれば、例えば５０音順に順位付けることができる。このように、識別結果が、順位付けが可能な記号群である場合、分類記号仕分け部１２０は、当該記号の順位と対応したグループ番号を付与する。例えば、一群の分類記号７２を文字認識処理して得られた識別結果が、「Ａ」「Ｂ」「Ｃ」のいずれかである場合、分類記号仕分け部１２０は、識別結果が「Ａ」の分類記号７２が属するグループにグループ番号「１」を付与し、識別結果が「Ｂ」の分類記号７２が属するグループにグループ番号「２」を付与し、識別結果が「Ｃ」の分類記号７２が属するグループにグループ番号「３」を付与する。また、例えば、図２に例示された書き込み原稿６０の場合、一群の分類記号７２を文字認識処理して得られた識別結果が、「１を丸で囲んだもの」「２を丸で囲んだもの」「３を丸で囲んだもの」のいずれかとなる。この場合、分類記号仕分け部１２０は、識別結果が「１を丸で囲んだもの」の分類記号７２が属するグループにグループ番号「１」を付与し、識別結果が「２を丸で囲んだもの」の分類記号７２が属するグループにグループ番号「２」を付与し、識別結果が「３を丸で囲んだもの」の分類記号７２が属するグループにグループ番号「３」を付与する（図７参照）。
【００６１】
＜抽出画像取得部１３０＞
抽出画像取得部１３０は、分離後データ６２から画像部分を抽出する機能部であり、抽出領域特定部１３１と、抽出処理部１３２とを備える。抽出画像取得部１３０の機能について、図５、図６を参照しながら説明する。図５、図６は、抽出画像取得部１３０の機能を説明するための図である。
【００６２】
抽出領域特定部１３１は、分離後データ６２から抽出すべき領域（以下、「抽出対象領域」という）８４を特定する。ただし、抽出対象領域８４は、ユーザが抽出を所望する対象領域（すなわち、囲み線７１により囲まれていた対象領域）を含む領域とされる。具体的には、抽出領域特定部１３１は、図５に示すように、囲み線７１と当該囲み線７１に設定された外接矩形８１とに囲まれた領域に、そのサイズが定められた閾値Ｗ２よりも大きい内接矩形８３を設定可能か否かを判断する。内接矩形８３が設定できない場合（すなわち、囲み線７１と外接矩形８１との間に隙間がほとんど存在しない場合）、抽出領域特定部１３１は外接矩形８１内の領域を抽出対象領域８４とする（ＡＲ１１）。一方、内接矩形８３が１個以上設定できる場合（すなわち、囲み線７１と外接矩形８１との間にある程度大きな隙間が存在する場合）、外接矩形８１から、そこに設定される１以上の内接矩形８３の全てを除いた領域を抽出対象領域８４とする（ＡＲ１２）。
【００６３】
抽出処理部１３２は、図６に示すように、分離後データ６２における抽出対象領域８４内の画像部分を抽出する。抽出された画像部分を以下「抽出画像８５」という。
【００６４】
＜抽出画像整理部１４０＞
再び図３を参照する。抽出画像整理部１４０は、抽出画像８５を分類して一覧データ６３を作成する機能部であり、対応付け部１４１と、画像仕分け部１４２と、一覧データ生成部１４３とを備える。抽出画像整理部１４０の機能について、図７を参照しながら説明する。図７は、抽出画像整理部１４０の機能を説明するための図である。
【００６５】
対応付け部１４１は、各分類記号７２を、当該分類記号７２と最も近い位置に書き込まれた囲み線７１と対応付ける。具体的には、位置情報取得部１１３が各手書き部分７について特定した位置情報を用いて、各分類記号７２と同じページに書き込まれた囲み線７１のうち、当該分類記号７２の中心８２と最も近い位置にその中心８２がある囲み線７１を特定する。そして、当該囲み線７１を、当該分類記号７２と最も近い位置に書き込まれている囲み線７１とみなして、当該分類記号７２と対応付ける（矢印ＡＲ１）。
【００６６】
画像仕分け部１４２は、同じグループに属する（すなわち、同じ種類の）分類記号７２と対応付けられた１以上の囲み線７１のそれぞれにより取り囲まれた画像部分（具体的には、画像部分の抽出画像８５）同士をグループ化する。具体的には、画像仕分け部１４２は、まず、抽出画像８５に係る画像部分を取り囲んでいた囲み線７１が、いずれかの分類記号７２と対応付けられているかを判断する。そして、当該囲み線７１がいずれかの分類記号７２と対応付けられている場合、当該対応付けられた分類記号７２が属するグループのグループ番号を当該抽出画像８５に付与する（矢印ＡＲ２）。一方、抽出画像８５を取り囲んでいた囲み線７１がいずれの分類記号７２とも対応付けられていない場合、当該抽出画像８５に定められたグループ番号（例えば、「グループ番号０」）を付与する。つまり、分類記号７２が付与されていない囲み線７１により取り囲まれた画像部分が存在する場合は、当該画像部分同士を１つのグループにまとめる。
【００６７】
一覧データ生成部１４３は、画像仕分け部１４２においてグループ分けされた抽出画像８５を、グループ毎にまとめるとともに、グループ番号の昇順に並べて、一覧データ６３を作成する。図８、図９には、一覧データ６３の構成例が示されている。図８、図９に示されるように、一覧データ６３においては、各抽出画像８５がグループ毎に分類され、グループ番号の昇順に並べられる。一覧データ６３は、図８に示すように、グループ毎にページ分けされずに一覧表示されてもよいし、図９に示すように、グループ毎にページ分けされていてもよい。
【００６８】
生成された一覧データ６３は、例えば、大容量蓄積部１９に格納される。大容量蓄積部１９に格納された一覧データ６３は、ユーザからの指示に応じて、画像記録部１８において記録紙上へプリントされる。また、ユーザからの指示に応じて、表示部１５１に表示される。
【００６９】
＜３．処理の流れ＞
抽出分類機能に係る一連の処理の流れについて説明する。なお、以下の処理は、ユーザが、画像読取部１７に書き込み原稿６０を読み取らせるとともに、操作パネル１５を介して一覧データ６３の作成指示を入力した場合に開始される。
【００７０】
＜３−１．前処理部１１０における処理＞
はじめに、前処理部１１０によって前処理が行われる。前処理の流れについて、図４、図１０を参照しながら説明する。図１０は、当該処理の流れを示す図である。
【００７１】
画像読取部１７によって書き込み原稿６０の画像データ６１が取得されると、分離部１１１が、当該画像データ６１から手書き部分７を分離する（ステップＳ１１）。なお、ステップＳ１１の処理において手書き部分７が１つも検出されない場合は、処理を終了する。ここでは、ステップＳ１１の処理において１以上の手書き部分７が検出されたとして話を進める。
【００７２】
１以上の手書き部分７が画像データ６１から分離されると、続いて、外接矩形設定部１１２が、画像データ６１から分離された１以上の手書き部分７のそれぞれに外接する外接矩形８１を設定する（ステップＳ１２）。
【００７３】
続いて、位置情報取得部１１３が、画像データ６１から分離された１以上の手書き部分７のそれぞれの位置情報を取得する（ステップＳ１３）。具体的には、各手書き部分７についてステップＳ１２で設定された外接矩形８１の中心８２の座標を算出し、得られた座標を当該手書き部分７の位置情報として取得する。
【００７４】
続いて、判定部１１４が、画像データ６１から分離された１以上の手書き部分７のそれぞれが、囲み線７１、分類記号７２のどちらであるかを判定する（ステップＳ１４）。当該処理の流れについて、図１１を参照しながらより具体的に説明する。図１１は、当該処理の流れを示す図である。
【００７５】
まず、画素数計数部１１４１は、いずれかの手書き部分７を判定対象とし、分離後データ６２において、当該判定対象となる手書き部分７について設定された外接矩形８１の領域に含まれる画素数を計数する（ステップＳ１４１）。
【００７６】
続いて、判定処理部１１４２が、ステップＳ１４１の計数結果が定められた閾値Ｗ１より大きいか否かを判断する（ステップＳ１４２）。ここで、計数結果が定められた閾値Ｗ１より大きいと判断された場合、判定対象となる手書き部分７は囲み線７１であると判定する（ステップＳ１４３）。一方、計数結果が閾値Ｗ１以下の場合、判定対象となる手書き部分７は分類記号７２であると判定する（ステップＳ１４４）。
【００７７】
画像データ６１から分離された１以上の手書き部分７のすべてについて、ステップＳ１４１〜１４４の処理が行われると（ステップＳ１４５でＹＥＳ）、ステップＳ１４の処理は終了する。
【００７８】
ステップＳ１４の処理が終了すれば前処理が終了し、続いて、分類記号７２と判定された手書き部分７と、囲み線７１と判定された手書き部分７とのそれぞれに別の処理が行われる。
【００７９】
＜３−２．分類記号仕分け部１２０における処理＞
分類記号７２と判定された手書き部分７に対して分類記号仕分け部１２０により行われる処理の流れについて、図１２を参照しながら説明する。図１２は、当該処理の流れを示す図である。
【００８０】
まず、分類記号仕分け部１２０は、分類記号７２と判定された全ての手書き部分７のそれぞれに対して光学文字認識処理を行う（ステップＳ２１）。
【００８１】
続いて、ステップＳ２１における認識結果が同じ分類記号７２同士をグループ化し、各グループにグループ番号を付与する（ステップＳ２２）。
【００８２】
＜３−３．抽出画像取得部１３０における処理＞
囲み線７１と判定された手書き部分７に対して抽出画像取得部１３０により行われる処理の流れについて、図５、図６、図１３を参照しながら説明する。図１３は、当該処理の流れを示す図である。
【００８３】
まず、抽出領域特定部１３１は、いずれかの囲み線７１を対象とし、当該囲み線７１と当該囲み線７１に設定された外接矩形８１とに囲まれた領域に、そのサイズが定められた閾値Ｗ２よりも大きい内接矩形８３を設定可能か否かを判断する（ステップＳ３１）。
【００８４】
内接矩形８３を設定できない場合（ステップＳ３１でＮＯ）、抽出領域特定部１３１は外接矩形８１を抽出対象領域８４に決定する（ステップＳ３２）。
【００８５】
一方、内接矩形８３を１個以上設定できる場合（ステップＳ３１でＹＥＳ）、抽出領域特定部１３１は、外接矩形８１から、そこに設定される１以上の内接矩形８３の全てを除いた領域を抽出対象領域８４に決定する（ステップＳ３３）。
【００８６】
続いて、抽出処理部１３２が、分離後データ６２における抽出対象領域８４（すなわち、ステップＳ３２、あるいは、ステップＳ３３において決定された抽出対象領域８４）内の画像部分を抽出して、抽出画像８５として取得する（ステップＳ３４）。
【００８７】
囲み線７１と判定された全ての手書き部分７のすべてに基づく抽出画像８５がそれぞれ取得されると（ステップＳ３５でＹＥＳ）、処理は終了する。
【００８８】
＜３−４．抽出画像整理部１４０における処理＞
分類記号７２と判定された手書き部分７と、囲み線７１と判定された手書き部分７とのそれぞれに対する処理が終了すれば、抽出画像整理部１４０によって、抽出画像８５を分類して一覧データ６３を作成する処理が行われる。当該処理の流れについて、図７〜図９、図１４を参照しながら説明する。図１４は、当該処理の流れを示す図である。
【００８９】
まず、対応付け部１４１が、画像データ６１から分離された全ての分類記号７２を、当該分類記号７２と最も近い位置に書き込まれた囲み線７１と対応付ける（ステップＳ４１）。具体的には、対応付け部１４１は、ステップＳ１３（図１０参照）で取得された各手書き部分７の位置情報を用いて、各分類記号７２と同じページに書き込まれた囲み線７１のうち、当該分類記号７２の中心８２と最も近い位置にその中心８２がある囲み線７１を特定する。そして、当該囲み線７１を、当該分類記号７２と最も近い位置に書き込まれている囲み線７１とみなして、当該分類記号７２と対応付ける。
【００９０】
続いて、画像仕分け部１４２が、取得された全ての抽出画像８５をグループ分けする（ステップＳ４２）。具体的には、同じグループに属する分類記号７２と対応付けられた１以上の囲み線７１のそれぞれにより取り囲まれた画像部分の抽出画像８５同士をグループ化する。また、分類記号７２が付与されていない囲み線７１により取り囲まれた画像部分が存在する場合は、当該画像部分同士を１つのグループにまとめる。
【００９１】
続いて、一覧データ生成部１４３が、ステップＳ４２でグループ分けされた抽出画像８５を、グループ毎にまとめるとともに、グループ番号の昇順に並べて、一覧データ６３を作成する（ステップＳ４３）。
【００９２】
＜４．効果＞
上記の実施の形態によると、画像データ６１から分離された手書き部分７が、囲み線７１と分類記号７２とのどちらであるかが判定され、囲み線７１と判定された手書き部分７により囲まれていた抽出対象領域８４内の画像部分が抽出される。抽出された画像部分は、同じ種類の分類記号７２と対応付けられた１以上の囲み線７１のそれぞれにより取り囲まれた画像部分同士でグループ化され、グループ毎にまとめられて一覧データ６３とされる。この構成によると、印刷物からユーザが所望する特定の部分だけを抽出し、それをユーザが所望する通りに分類してリスト化することができる。
【００９３】
また、上記の実施の形態によると、分離後データ６２における、手書き部分７について設定された外接矩形８１の領域に含まれる画素数に基づいて、当該手書き部分７が囲み線７１、分類記号７２のどちらであるかを判定する。例えば、分離後データ６２における、手書き部分７の領域に含まれる画素数を正確に求めようとした場合、手書き部分７の位置および形状を正確に特定しなければならない。囲み線７１はユーザが手書きで書き入れた不規則な形状である可能性が高いため、この位置および形状を正確に特定しようとした場合、演算量、保持すべき情報量等が非常に多くなる。これに対し、上記の実施の形態においては、手書き部分７に外接する外接矩形８１という単純な形状を利用することによって、手書き部分７が囲み線７１、分類記号７２のどちらであるのかの判定を行うので、当該判定を簡単かつ正確に行うことができる。
【００９４】
また、上記の実施の形態によると、囲み線７１に対して設定された外接矩形８１に基づいて規定される領域を、抽出対象領域８４とする。例えば、囲み線７１内の画像部分をそのまま抽出対象領域とする場合、上述したとおり、手書き部分７の位置および形状を正確に特定しなければならないため、演算量、保持すべき情報量等が非常に多くなる。これに対し、上記の実施の形態においては、外接矩形という単純化された形状を用いることによって、ユーザが抽出を希望する領域を簡単かつ確実に抽出することができる。また、この構成によると、ユーザが書き込んだ囲み線７１が完全に閉じたものでなくとも、ユーザが抽出を希望する領域を問題なく抽出することができるという利点もある。なお、例えばテキストを抜粋する場合等は、ユーザは、囲み線７１の中に含まれる文章が漏れなく抽出されることを求めているだけの可能性が高く、囲み線７１に沿った画像部分をそのまま切り取る必要性は比較的低い。すなわち、囲み線７１内の画像部分を抽出対象領域とせずに、囲み線７１に対して設定された外接矩形８１に基づいて規定される領域を抽出対象領域８４とすることによりユーザが不都合を感じる可能性は低い。
【００９５】
特に、上記の実施の形態においては、囲み線７１と外接矩形８１とに囲まれた領域に所定サイズ以上の内接矩形８３を設定可能である場合は、外接矩形８１から内接矩形８３を除いた領域の画像部分を抽出対象領域８４とし、内接矩形８３を設定できない場合は、外接矩形８１内の領域を抽出対象領域８４とする。この構成によると、ユーザが抽出を所望しない不要な領域が抽出対象領域８４に含まれる割合が低減する。すなわち、ユーザが抽出を希望する領域を簡単かつ正確に特定することができる。
【００９６】
特に、上記の実施の形態においては、手書き部分７に設定された外接矩形８１の中心８２の位置を当該手書き部分７の位置情報として取得し、当該位置情報に基づいて、分類記号７２と最も近い位置に書き込まれていた囲み線７１を特定する。この構成によると、外接矩形８１という単純化された形状を用いて各手書き部分７の位置を簡単かつ正確に特定することができるので、分類記号７２と囲み線７１との対応付けを簡単かつ正確に行うことができる。
【００９７】
＜Ｂ．第２の実施の形態＞
＜１．画像処理システム１００＞
この発明の第２の実施の形態に係る画像処理システム１００について、図１５を参照しながら説明する。図１５は、画像処理システム１００の機能構成を示すブロック図である。
【００９８】
画像処理システム１００は、第１の実施の形態に係るデジタル複合機１と、当該デジタル複合機１と通信回線を介して接続された１以上の情報処理装置とを備える。例えば、デジタル複合機１と、これとＬＡＮ４１を介して接続された情報処理装置（例えば、パソコン）４４とを備える。なお、画像処理システム１００の構成はこれに限るものではなく、例えば、デジタル複合機１とインターネット４３を介して接続された情報処理装置４５をさらに（あるいは、情報処理装置４４に代えて）備える構成としてもよい（図１参照）。
【００９９】
情報処理装置４４は、例えばコンピュータにより構成され、ＣＰＵ、ＲＯＭ、ＲＡＭ等から構成されて情報処理装置４４における各機能を実現する制御部４４１と、ディスプレイ等の表示装置４４２と、オペレータが各種の指示を入力するためのマウス、キーボード等からなる操作部４４３とを備える。さらに、図示は省略するが、情報処理装置４４における各種機能を実現するためのプログラムなどを格納するためのＲＯＭ、ＬＡＮ４１あるいは、インターネット４３等の通信回線を介して接続されたデジタル複合機１等との間でデータの受け渡しを行うためのインターフェイスである通信部、通信回線を介して他の装置から受信した画像データ（例えば、通信部が、ＬＡＮ４１を介してデジタル複合機１から取得した一覧データ６３）等を記憶する記憶装置、等をさらに備える。
【０１００】
画像処理システム１００においては、デジタル複合機１において生成された一覧データ６３を、情報処理装置４４が備える表示装置４４２に表示させることができる。情報処理装置４４は、一覧データ６３の表示処理に関する機能構成として、表示制御部１５０を備える。表示制御部１５０は、制御部４４１がＲＯＭ上のプログラムを実行することにより実現される。
【０１０１】
表示制御部１５０は、デジタル複合機１から受信された一覧データ６３を記憶装置から読み出して表示装置４４２に表示させる。図１６には、一覧データ６３を表示する画面（以下、表示画面９という）の構成例が示されている。
【０１０２】
表示画面９においては、同じグループに属する抽出画像８５が一覧表示される（一覧表示部分９１）。ユーザは、一覧表示部分９１に表示させるグループを、操作部４４３を介して指定することができる。すなわち、ユーザが、操作部４４３を介して、表示させたいグループの指定を入力した場合、表示制御部１５０は、当該入力を受け付けて指定されたグループに属する抽出画像８５を一覧表示部分９１に一覧表示させる。
【０１０３】
また、一覧表示部分９１の隣には、ユーザが書き込みを行った元の印刷物が表示される（オリジナルページ表示部分９２）。すなわち、表示制御部１５０は、デジタル複合機１から一覧データ６３の生成において用いられた分離後データ６２を取得して、取得した分離後データ６２をオリジナルページ表示部分９２に表示させる。一覧データ６３と並べて分離後データ６２が表示されることによって、ユーザは、抽出画像８５が元の印刷物におけるどの位置から抽出されたものであるかを確認することができる。
【０１０４】
なお、オリジナルページ表示部分９２には、一覧表示部分９１に表示されている抽出画像８５と対応する抽出対象領域８４が、例えば色つきの線で示されることが好ましい。この構成によると、ユーザは、一覧表示部分９１に表示されている抽出画像８５が、元の印刷物のどの箇所から抽出された抽出画像８５であるかを一目で認識することができる。
【０１０５】
元の印刷物が複数ページからなる場合、オリジナルページ表示部分９２には、一覧表示部分９１に表示されている抽出画像８５のうち、ユーザが選択した一の抽出画像８５が含まれているページが表示される構成としてもよい。すなわち、ユーザが、操作部４４３を介して、一覧表示部分９１に表示されている抽出画像８５のうちのいずれかを選択した場合、表示制御部１５０は、当該入力を受け付けて、分離後データ６２のうち、選択された抽出画像８５が含まれているページをオリジナルページ表示部分９２に表示させる構成としてもよい。
【０１０６】
また、ユーザが一の抽出画像８５を選択した場合、選択された抽出画像８５が元の印刷物においてどの位置にあるかを示唆する情報（例えば、元の印刷物において抽出画像８５が含まれるページのページ番号、抽出画像８５が当該ページ中の右側、左側のどちらに記載されているか、また、当該ページ中の上側、下側のどちらに記載されているか等を示す情報）が表示されることが好ましい（位置情報表示部分９３）。
【０１０７】
また、表示画面９には、一覧表示部分９１に表示されているグループに属する抽出画像８５が、元の印刷物の全体に何個存在するか、また、オリジナルページ表示部分９２に表示されているページ内に何個存在するか、等の情報が表示される構成としてもよい（個数情報表示部分９４）。
【０１０８】
なお、表示画面９には、画面の表示変更指示等を受け付けるアイコン（例えば、一覧表示部分９１に前のグループを表示させる指示を受け付けるアイコン９５、一覧表示部分９１に次のグループを表示させる指示を受け付けるアイコン９６、一覧データ６３のプリントリストを表示させる指示を受け付けるアイコン９７、表示終了の指示を受け付けるアイコン９８、等）が表示される構成としてもよい。
【０１０９】
＜２．効果＞
上記の実施の形態によると、デジタル複合機１と接続された情報処理装置４４が、表示装置４４２と、一覧データ６３を当該表示装置４４２に表示させる表示制御部１５０とを備えるので、ユーザは、デジタル複合機１において作成された一覧データ６３を、これとは別の情報処理装置４４が備える表示装置４４２に表示させることができる。
【０１１０】
＜Ｃ．変形例＞
上記の実施の形態においては、判定部１１４は、分離後データ６２において、手書き部分７について設定された外接矩形８１の領域に含まれる画素数に基づいて、当該手書き部分７が囲み線７１、分類記号７２のいずれであるかを判定していた。ここで、判定部１１４は、画像データ６１において、手書き部分７について設定された外接矩形８１内部の平均画素密度に基づいて、当該手書き部分７が囲み線７１、分類記号７２のいずれであるかを判定してもよい。すなわち、この場合、平均画素密度（外接矩形８１の領域内部に含まれる画素数を外接矩形８１のサイズで割った値）が、定められた閾値より大きい場合、当該手書き部分７を囲み線７１と判定する。また、定められた閾値以下の場合、当該手書き部分７を分類記号７２と判定する。
【０１１１】
また、第２の実施の形態においては、デジタル複合機１と情報処理装置４４とが、画像処理システム１００を構成しており、デジタル複合機１において生成された一覧データ６３が、情報処理装置４４が備える表示装置４４２に表示されるものとした。ここで、上述したとおり、デジタル複合機１において生成された一覧データ６３は、デジタル複合機１の表示部１５１に表示される構成としてもよい。この場合、上述した表示制御部１５０は、デジタル複合機１においても実現される（具体的には、デジタル複合機１の制御部１１がＲＯＭ１２上のプログラムＰを実行することにより実現される）。この構成によると、ユーザは、デジタル複合機１において作成された一覧データ６３を、デジタル複合機１が備える表示部１５１に表示させることができる。
【０１１２】
また、画像処理システム１００においては、デジタル複合機１において実現されるとした機能部１１０，１２０，１３０，１４０のうちの１以上の機能部が、情報処理装置４４の制御部４４１において実現されてもよい。
【０１１３】
また、上記の実施の形態においては、デジタル複合機１は、画像読取部１７に書き込み原稿６０を読み取らせることによって画像データ６１を取得していたが、画像データ６１を取得する構成はこれに限らない。例えば、ＬＡＮ４１等の通信回線を介して情報処理装置４４，４５から受信してもよい。また、回線４６を介して接続された通信端末装置４７からＦＡＸ受信してもよい。
【０１１４】
また、上記の実施の形態において、デジタル複合機１が行う処理の流れは、上述した順序に限らない。例えば、前処理において、手書き部分７の位置情報を取得する前に、手書き部分７が囲み線７１か分類記号７２かの判定を行ってもよい。また、これらの各処理は並行して行われてもよい。
【符号の説明】
【０１１５】
１ デジタル複合機
７ 手書き部分
９ 表示画面
６３ 一覧データ
７１ 囲み線
７２ 分類記号
８１ 外接矩形
８３ 内接矩形
８４ 抽出対象領域
８５ 抽出画像
１１０ 前処理部
１２０ 分類記号仕分け部
１３０ 抽出画像取得部
１４０ 抽出画像整理部
１５０ 表示制御部
【技術分野】
【０００１】
この発明は、画像データの特定部分を抽出してリスト化する技術に関する。
【背景技術】
【０００２】
作業効率向上、文書管理の容易化等といった観点から、印刷物から特定の部分だけを抜粋してリスト化したいという状況が様々な場面で存在する。例えば、印刷物の校正作業においては、印刷された文書等を目視して手直しが必要と思われる部分に印をつけておき、後から印を付けた部分について手直しの要否をじっくりと検討したい場合がある。この際、印を付けた部分だけを抜粋して一覧にする（リスト化する）ことができれば、校正作業を正確かつ効率的に行うことができる。また例えば、論文等の文書作成作業においては、参考となる文献等を読む際に、あとで参照したい部分（例えば、重要と思われる部分、求めるテーマに関する部分、引用したい部分、等）に印を付けておくことが一般に行われる。ここで、印を付けた部分だけを抜粋してリスト化しておくことができれば、後に文献の全体から当該部分を探し出す必要がなく、論文等の文書作成における作業効率を向上させることができる。
【０００３】
さらに、印刷物から抜粋した各部分を、単に元の印刷物に記載された順序通りに抜き出すのではなく、抜粋する各部分の性質に応じて分類してリスト化できれば、さらに便利である。例えば、上記の例において、あるテーマに関する抜粋部分と、別のテーマに関する抜粋部分とが元の印刷物において混在して現れる場合、抜粋部分がテーマ毎に分類されたリストを得ることができれば、後で見直す場合等に非常に便利である。
【０００４】
特許文献１には、文書内にユーザが注記（縦線、星印、丸で囲む、アンダーライン、ハイライト）を書き込んだ場合に、当該注記が書き込まれた付近の文章を自動的に抜き出す構成が開示されている。
【先行技術文献】
【特許文献】
【０００５】
【特許文献１】特開平１１−２１９２４５号公報
【発明の概要】
【発明が解決しようとする課題】
【０００６】
ところで、ユーザが抜粋したいと思う領域は、文章における１個の単語である場合もあれば、複数の文章にわたる場合もある。また、文章と図形（例えば、グラフ）の組み合わせの場合もある。
【０００７】
特許文献１の技術においては、抜粋される領域はシステムが自動に決定する。すなわち、ここでは、システムは、まず、注記事項に関連する最小限の文脈を決定する。一方で、システムは文書に予め区分処理を行っており、最小限の文脈が決定されると、これを近くの区分の全てを含むように拡張し、これを抜粋すべき領域とする。
【０００８】
この構成によると、ユーザが所望するよりも広い領域が抜粋される、あるいは、ユーザが所望するよりも狭い領域が抜粋される、といった不都合が生じる可能性が高い。前者の場合、リスト化されたデータのサイズが不必要に大きくなる、また、リスト化による作業効率の向上の妨げとなる、といった問題が出てくる。一方、後者の場合、ユーザは、結局もう一度元の文書を見直さなくてはならないため、リスト化の意味がない。
【０００９】
この発明は、上記の課題に鑑みてなされたものであり、印刷物からユーザが所望する特定の部分だけを抽出し、それをユーザが所望する通りに分類してリスト化できる技術を提供することを目的としている。
【課題を解決するための手段】
【００１０】
請求項１に記載の発明は、印刷物に手書きによる書き込みがなされた書き込み原稿の画像データから、手書き部分を分離する分離部と、前記手書き部分が、前記印刷物内の対象領域を囲む囲み線と、前記対象領域を分類するための分類記号とのどちらであるかを判定する判定部と、前記分類記号を、それと最も近い位置に書き込まれていた前記囲み線と対応付ける対応付け部と、前記画像データから前記手書き部分が分離された後の分離後データから、前記囲み線により囲まれていた前記対象領域を含む抽出対象領域内の画像部分を抽出する抽出画像取得部と、同じ種類の前記分類記号と対応付けられた１以上の前記囲み線のそれぞれにより取り囲まれた前記画像部分同士をグループ化する画像仕分け部と、抽出された前記画像部分をグループ毎にまとめた一覧データを作成する一覧データ生成部と、を備える。
【００１１】
請求項２に記載の発明は、請求項１に記載の画像処理装置であって、前記手書き部分に外接する外接矩形を設定する外接矩形設定部、を備え、前記判定部が、前記分離後データにおいて、前記手書き部分について設定された前記外接矩形に囲まれる領域に含まれる画素数に基づいて、当該手書き部分が前記囲み線と前記分類記号とのどちらであるかを判定する。
【００１２】
請求項３に記載の発明は、請求項１または２に記載の画像処理装置であって、前記手書き部分に外接する外接矩形を設定する外接矩形設定部、を備え、前記抽出画像取得部が、前記囲み線と当該囲み線に設定された前記外接矩形とに囲まれた領域に、そのサイズが定められた閾値よりも大きい内接矩形を設定可能である場合、前記外接矩形から、そこに設定される前記内接矩形を除いた領域を前記抽出対象領域とし、前記囲み線と当該囲み線に設定された前記外接矩形とに囲まれた領域に前記内接矩形を設定できない場合、前記外接矩形内の領域を前記抽出対象領域とする。
【００１３】
請求項４に記載の発明は、請求項１から３のいずれかに記載の画像処理装置であって、前記手書き部分に外接する外接矩形を設定する外接矩形設定部と、前記手書き部分に設定された前記外接矩形の中心の位置を、当該手書き部分の位置情報として取得する位置情報取得部と、を備え、前記対応付け部が、前記手書き部分のそれぞれの前記位置情報に基づいて、前記分類記号と最も近い位置に書き込まれていた前記囲み線を特定する。
【００１４】
請求項５に記載の発明は、請求項１から４のいずれかに記載された画像処理装置であって、表示装置と、前記一覧データを前記表示装置に表示させる表示制御部と、を備える。
【００１５】
請求項６に記載の発明は、画像処理装置と、前記画像処理装置と通信回線を介して接続された情報処理装置と、を備え、前記画像処理装置が、印刷物に手書きによる書き込みがなされた書き込み原稿の画像データから、手書き部分を分離する分離部と、前記手書き部分が、前記印刷物内の対象領域を囲む囲み線と、前記対象領域を分類するための分類記号とのどちらであるかを判定する判定部と、前記分類記号を、それと最も近い位置に書き込まれていた前記囲み線と対応付ける対応付け部と、前記画像データから前記手書き部分が分離された後の分離後データから、前記囲み線により囲まれていた前記対象領域を含む抽出対象領域内の画像部分を抽出する抽出画像取得部と、同じ種類の前記分類記号と対応付けられた１以上の前記囲み線のそれぞれにより取り囲まれた前記画像部分同士をグループ化する画像仕分け部と、抽出された前記画像部分をグループ毎にまとめた一覧データを作成する一覧データ生成部と、を備え、前記情報処理装置が、表示装置と、前記画像処理装置から前記通信回線を介して取得した前記一覧データを、前記表示装置に表示させる表示制御部と、を備える。
【００１６】
請求項７に記載の発明は、印刷物に手書きによる書き込みがなされた書き込み原稿の画像データから、手書き部分を分離する工程と、前記手書き部分が、前記印刷物内の対象領域を囲む囲み線と、前記対象領域を分類するための分類記号とのどちらであるかを判定する工程と、前記分類記号を、それと最も近い位置に書き込まれていた前記囲み線と対応付ける工程と、前記画像データから前記手書き部分が分離された後の分離後データから、前記囲み線により囲まれていた前記対象領域を含む抽出対象領域内の画像部分を抽出する工程と、同じ種類の前記分類記号と対応付けられた１以上の前記囲み線のそれぞれにより取り囲まれた前記画像部分同士をグループ化する工程と、抽出された前記画像部分をグループ毎にまとめた一覧データを作成する工程と、を備える。
【００１７】
請求項８に記載の発明は、コンピュータが読み取り可能なプログラムであって、前記コンピュータが前記プログラムを読み取り、前記コンピュータのＣＰＵが前記プログラムをメモリにて実行することにより、前記コンピュータを、印刷物に手書きによる書き込みがなされた書き込み原稿の画像データから、手書き部分を分離する分離部と、前記手書き部分が、前記印刷物内の対象領域を囲む囲み線と、前記対象領域を分類するための分類記号とのどちらであるかを判定する判定部と、前記分類記号を、それと最も近い位置に書き込まれていた前記囲み線と対応付ける対応付け部と、前記画像データから前記手書き部分が分離された後の分離後データから、前記囲み線により囲まれていた前記対象領域を含む抽出対象領域内の画像部分を抽出する抽出画像取得部と、同じ種類の前記分類記号と対応付けられた１以上の前記囲み線のそれぞれにより取り囲まれた前記画像部分同士をグループ化する画像仕分け部と、抽出された前記画像部分をグループ毎にまとめた一覧データを作成する一覧データ生成部と、を備える画像処理装置として機能させる。
【発明の効果】
【００１８】
請求項１、７、８に記載の発明によると、画像データから分離された手書き部分が、囲み線と分類記号とのどちらであるかが判定され、囲み線と判定された手書き部分により囲まれていた対象領域を含む抽出対象領域内の画像部分が抽出される。抽出された画像部分は、同じ種類の分類記号と対応付けられた１以上の囲み線のそれぞれにより取り囲まれた画像部分同士でグループ化され、グループ毎にまとめられて一覧データとされる。この構成によると、印刷物からユーザが所望する特定の部分だけを抽出し、それをユーザが所望する通りに分類してリスト化することができる。
【００１９】
請求項２に記載の発明によると、分離後データにおける、手書き部分について設定された外接矩形に囲まれる領域に含まれる画素数に基づいて、当該手書き部分が囲み線、分類記号のどちらであるかを判定する。この構成によると、外接矩形という単純化された形状を用いて手書き部分が囲み線、分類記号のどちらであるのかの判定を行うので、当該判定を簡単かつ正確に行うことができる。
【００２０】
請求項３に記載の発明によると、囲み線と外接矩形とに囲まれた領域に所定サイズ以上の内接矩形を設定可能である場合は、外接矩形から内接矩形を除いた領域の画像部分を抽出対象領域とし、内接矩形を設定できない場合は、外接矩形内の領域を抽出対象領域とする。この構成によると、外接矩形という単純化された形状を用いることによって、ユーザが抽出を希望する領域を簡単かつ正確に特定することができる。
【００２１】
請求項４に記載の発明によると、手書き部分に設定された外接矩形の中心の位置を当該手書き部分の位置情報として取得し、当該位置情報に基づいて、分類記号と最も近い位置に書き込まれていた囲み線を特定する。この構成によると、外接矩形という単純化された形状を用いて各手書き部分の位置を簡単かつ正確に特定することができるので、分類記号と囲み線との対応付けを簡単かつ正確に行うことができる。
【００２２】
請求項５に記載の発明によると、表示装置と、一覧データを当該表示装置に表示させる表示制御部とを備えるので、ユーザは、作成された一覧データを、装置が備える表示装置に表示させることができる。
【００２３】
請求項６に記載の発明によると、画像処理装置と接続された情報処理装置が、表示装置と、一覧データを当該表示装置に表示させる表示制御部とを備えるので、ユーザは、画像処理装置において作成された一覧データを、これとは別の情報処理装置が備える表示装置に表示させることができる。
【図面の簡単な説明】
【００２４】
【図１】デジタル複合機の構成を示す図である。
【図２】書き込み原稿の一例を示す図である。
【図３】デジタル複合機が備える機能構成を示すブロック図である。
【図４】前処理部の機能を説明するための図である。
【図５】抽出画像取得部の機能を説明するための図である。
【図６】抽出画像取得部の機能を説明するための図である。
【図７】抽出画像整理部の機能を説明するための図である。
【図８】一覧データの構成例を示す図である。
【図９】一覧データの構成例を示す図である。
【図１０】前処理の流れを示す図である。
【図１１】手書き部分の判定処理の流れを示す図である。
【図１２】分類記号に対する処理の流れを示す図である。
【図１３】囲み線に対する処理の流れを示す図である。
【図１４】一覧データを生成する処理の流れを示す図である。
【図１５】画像処理システムが備える機能構成を示すブロック図である。
【図１６】表示画面の一例を示す図である。
【発明を実施するための形態】
【００２５】
＜Ａ．第１の実施の形態＞
＜１．デジタル複合機の構成＞
図１は、この発明の実施の形態に係るデジタル複合機１の構成を示す図である。デジタル複合機１は、ＦＡＸ機能、コピー機能、スキャン機能、プリント機能などの複数の機能を有する複合機（ＭＦＰ装置）として構成されている。
【００２６】
デジタル複合機１は、制御部１１と、ＲＯＭ１２と、データメモリ１３と、画像メモリ１４と、操作パネル１５と、画像処理部１６と、画像読取部１７と、画像記録部１８と、大容量蓄積部１９と、通信関係の処理部３１〜３４とを、バスライン１０を介して電気的に接続した構成となっている。
【００２７】
制御部１１は、ＣＰＵで構成されている。制御部１１は、ＲＯＭ１２に記憶されたプログラムＰに基づいて上記のハードウエア各部を制御し、デジタル複合機１の機能を実現する。
【００２８】
ＲＯＭ１２は、デジタル複合機１の制御に必要なプログラムＰ、データ等を予め格納した読み出し専用の記憶装置である。
【００２９】
データメモリ１３は、読み出しと書き込みとが可能な記憶装置であり、画像データ、ＦＡＸ番号、メールアドレスなどの一時的に蓄積される諸データ、制御部１１による演算処理の際に発生するデータ等を一時的に記憶する。データメモリ１３はＳＲＡＭ、フラッシュメモリ等で構成される。
【００３０】
画像メモリ１４は、ＬＡＮＩ／Ｆ３４、あるいは、ＮＣＵ３３を通じて外部装置から受信した画像データ、画像読取部１７において取得された画像データ、画像処理部１６において処理された画像データなどを一時的に記憶するための記憶装置である。画像メモリ１４は、読み出しと書き込みとが可能なＤＲＡＭ等のメモリにより構成される。
【００３１】
操作パネル１５は、ユーザインタフェースとして機能する処理部である。操作パネル１５は、表示部１５１と、操作キー群１５２とを有している。
【００３２】
表示部１５１は、各種の情報を表示するとともにユーザ操作を受け付ける。表示部１５１は、表示パネルと、表示パネルに取り付けられたタッチパネルとを備えている。表示パネルは、デジタル複合機１の動作状態などを表示する装置であり、例えば液晶ディスプレイにより構成される。タッチパネルは、表示パネルの表示画面領域内に指などが触れたことを感知して、その接触情報を取得する。
【００３３】
操作キー群１５２は、文字キー、テンキー、ファンクションキーなどの各種キーによって構成され、コマンド、テキストデータ等の入力といったユーザ操作を受け付ける。操作キー群１５２のユーザ操作は信号として制御部１１に入力される。制御部１１はユーザ操作に基づいて各部の動作を制御する。
【００３４】
画像処理部１６は、受信された画像データ、画像読取部１７から取得した画像データ等にＡ／Ｄ変換、表色系の変換、色調整、画像の合成などの種々の処理を行う処理部である。
【００３５】
画像読取部１７は、原稿上の画像をＣＣＤラインセンサなどの読取素子によって読み取るスキャナである。画像読取部１７は、ガラス台上に載置された原稿の表面を読取素子が走査して画像を読み取るタイプのスキャナであってもよく、原稿の載置台（図示省略）に載置された原稿を、ＡＤＦ（Auto Document Feeder）によって搬送し、搬送される原稿の表面を静止した読取素子によって走査して画像を読み取るタイプのスキャナであってもよい。
【００３６】
画像記録部１８は、画像メモリ１４、大容量蓄積部１９等に格納された画像データなどを記録紙上へ記録するプリンタである。画像記録部１８には、例えば、電子写真方式のプリンタを採用することができる。
【００３７】
大容量蓄積部１９は、ハードディスクなどにより構成される。大容量蓄積部１９は、画像読取部１７により処理された画像データを蓄積することができる。
【００３８】
さらにこのデジタル複合機１には、通信関係の処理部として、画像データ等を複数のプロトコルに対応して符号化/復号化するコーデック（ＣＯＤＥＣ）３１と、送受信データの変調および復調を行うモデム３２と、電話回線の開閉制御を行うＮＣＵ３３と、ＬＡＮ４１とのインターフェイスに相当するＬＡＮＩ／Ｆ３４とが、バスライン１０を介して電気的に接続した構成となっている。
【００３９】
ここで、デジタル複合機１の通信環境について説明する。デジタル複合機１はＬＡＮ４１と接続されている。また、ＬＡＮ４１はルータ４２などを介してインターネット４３に接続されている。これにより、デジタル複合機１は、ＬＡＮ４１を介して接続された情報処理装置４４、あるいは、インターネット４３を介して接続された情報処理装置４５と電子メール通信などを行うことができる。なお、情報処理装置４４，４５は、例えば、パソコン、デジタル複合機１と同様の装置、携帯電話等である。
【００４０】
さらに、デジタル複合機１は、アナログ回線用のデータ通信ネットワークである回線（例えば、ＰＳＴＮ（Public Switched Telephone Network：一般公衆電話網）４６（あるいは、ＩＳＤＮ（Integrated Services Digital Network：サービス総合デジタル網）））と接続されている。これによって、デジタル複合機１は回線４６を介して接続された通信端末装置４７とのＦＡＸ通信を行うことができる。なお、通信端末装置４７は、例えば、モデム接続されたパソコン、デジタル複合機１と同様の装置、固定電話、携帯電話、ＦＡＸ専用機等である。
【００４１】
＜２．画像抽出処理に関する構成＞
デジタル複合機１は、ユーザが印刷物に対して、鉛筆、ボールペン等の筆記具を用いて手書きで書き込みを行ったもの（以下「書き込み原稿」という）６０から、ユーザが所望する部分を抽出（抜粋）し、それをユーザが所望する通りに分類してリスト化する機能（抽出分類機能）を備えている。
【００４２】
＜２−１．書き込み原稿＞
抽出分類機能について具体的に説明する前に、書き込み原稿６０について、図２を参照しながら説明する。図２には、書き込み原稿６０の一例が示されている。
【００４３】
上述したとおり、書き込み原稿６０は、ユーザが印刷物に対して手書きで書き込みを行ったものである。ここで、「印刷物」とは、例えば、記録用紙等の記録媒体に、インク、トナー等を用いて、文字、絵、グラフ等を画像形成したものである。
【００４４】
＜囲み線７１＞
ユーザは、印刷物内に抽出したい部分（以下「対象部分」という）がある場合、対象部分を囲む線（以下「囲み線」という）７１を手書きで記入する。囲み線７１は、閉領域を規定するものであればどのような形状であってもよい。例えば、多角形、角丸の多角形、円形、楕円形、等であってもよい。また、窪んだ部分、あるいは、突き出た部分を含む不規則な形状であってもよい。また、囲み線７１は、印刷物内に何個書き込まれてもよい。ただし、同一ページ内に複数の囲み線７１が書き込まれる場合、各囲み線７１は他の囲み線７１と交差しないように書き込まれる必要がある。
【００４５】
＜分類記号７２＞
ユーザは、対象部分を分類したい場合、囲み線７１の近くに対象部分を分類するための記号（以下「分類記号」という）７２を手書きで記入する。分類記号７２は、識別能力を有するものであればどのようなものであってもよい。例えば、文字（例えば、数字、アルファベット、平仮名、カタカナ、等の１文字、あるいは、複数の文字を組み合わせたもの）、記述記号（例えば、クエスチョンマーク（？）、エクスクラメーションマーク（！）、等）、参照符記号（例えば、米印（※）、アスタリスク（＊）、等）、数学記号（例えば、イコール（＝）、プラス（＋）、マイナス（−）、等）、図形（例えば、丸、三角、四角、あるいは、これらを複数個組み合わせたもの等）、文字等と図形との組み合わせ（例えば、文字を丸で囲んだもの等）を分類記号７２として用いることができる。ただし、分類記号７２は、光学文字認識処理により識別されるため、光学文字認識処理における誤認識を防止するべく、回転によって互いに一致しにくい組み合わせであることが好ましい。
【００４６】
また、分類記号７２は、その最も近い位置にある囲み線７１と対応付けられることになるので、対応させたい囲み線７１とできるだけ近接した位置に書き込むことが好ましい。ただし、分類記号７２は、囲み線７１、および、他の分類記号７２と重ならないように書き込まれる必要がある。また、分類記号７２は、印刷物に印字されている線画と重ならない位置に書き込まれることが好ましい。なお、分類記号７２は必ずしも全ての囲み線７１について記入される必要はなく、分類記号７２なしの囲み線７１が存在しても問題ない。
【００４７】
＜２−２．機能構成＞
抽出分類機能について、図３を参照しながら説明する。図３は、デジタル複合機１が備える機能構成を示すブロック図である。
【００４８】
デジタル複合機１は、上記機能に関する構成として、前処理部１１０と、分類記号仕分け部１２０と、抽出画像取得部１３０と、抽出画像整理部１４０とを備える。これら各機能部は、制御部１１がＲＯＭ１２上のプログラムＰを実行することにより実現される。
【００４９】
＜前処理部１１０＞
前処理部１１０は、書き込み原稿６０を読み取って得られた画像データから、ユーザが手書きにより書き込んだ部分（以下「手書き部分」という）７に関する各種の情報を取得する機能部であり、分離部１１１と、外接矩形設定部１１２と、位置情報取得部１１３と、判定部１１４とを備える。前処理部１１０の機能について、図４を参照しながら説明する。図４は、前処理部１１０の機能を説明するための図である。
【００５０】
分離部１１１は、書き込み原稿６０を読み取って得られた画像データ６１から、手書き部分７（具体的には、囲み線７１、および、分類記号７２）を分離する処理（以下「分離処理」という）を行う。分離処理においては、手書き部分７と、それ以外の部分（すなわち、手書き部分７が記入される前の印刷物に印刷されていた線画の部分であり、以下「印刷部分」という）とが分離されることになる。画像データ６１から手書き部分７が分離されたデータ（すなわち、印刷部分のみが表されたデータ）を以下「分離後データ６２」という。
【００５１】
分離処理は、例えば、画像データ６１に含まれる各オブジェクトの濃度差を利用して行うことができる。すなわち、手書き部分は、印刷部分に比べて濃度が低い部分が多くなる傾向がある。そこで、画像データ６１におけるオブジェクト単位（例えば、連結画素単位）の平均濃度を算出し、平均濃度が所定値以下の部分を手書き部分７と判断して、これを分離することによって、画像データ６１から手書き部分７を分離することができる。また、例えば、分離処理は、画像データ６１に含まれる各オブジェクトの濃度変化を利用して行うことができる。すなわち、手書き部分は、印刷部分に比べて濃度変化が緩やかとなる傾向がある。そこで、画像データ６１におけるオブジェクト単位（例えば、連結画素単位）の平均濃度変化率（隣接する画素間の濃度差の平均値）を算出し、平均濃度変化率が所定値以下の部分を手書き部分７と判断して、これを分離することによって、画像データ６１から手書き部分７を分離することができる。分離処理は、上記に例示したように、画像データ６１における各画素の濃度情報を用いて行うことができる他、公知の各種技術を用いて行うことも可能である。
【００５２】
外接矩形設定部１１２は、画像データ６１から分離された手書き部分７のそれぞれに外接する矩形（以下「外接矩形」という）８１を設定する。
【００５３】
位置情報取得部１１３は、画像データ６１から分離された手書き部分７のそれぞれの位置情報を取得する。具体的には、各手書き部分７について設定された外接矩形８１の中心８２の座標を算出し、得られた座標を当該手書き部分７の位置情報として取得する。例えば、外接矩形８１の頂点座標の平均を中心８２の座標として取得することができる。
【００５４】
判定部１１４は、画像データ６１から分離された手書き部分７のそれぞれが、囲み線７１、分類記号７２、のどちらであるかの判定を行う。判定部１１４は、画素数計数部１１４１と、判定処理部１１４２とを備える。
【００５５】
画素数計数部１１４１は、分離後データ６２において、手書き部分７について設定された外接矩形８１の領域（図中の仮想線領域）に含まれる画素数を計数する。ここで得られる計数結果は、画像データ６１の、手書き部分７が書き込まれた領域の内部における、印刷物の線画由来の画素数と近似的に等しい値となっている。
【００５６】
囲み線７１は、印刷物の線画を囲む記入部分であるため、画像データ６１において、囲み線７１として記入された手書き部分７が書き込まれた領域の内部には、印刷物の線画に由来する画素が比較的多く存在するはずである。これに対し、分類記号７２を印刷物における線画部分と重ならないように書き込むことを予めルール化しておけば、ユーザがルールに従って分類記号７２を書き込む限り、分類記号７２として記入された手書き部分７が書き込まれた領域の内部には、印刷物の線画に由来する画素がほとんど存在しないはずである。そこで、判定処理部１１４２は、画素数計数部１１４１により計数された画素数が定められた閾値Ｗ１より大きいか否かを判定し、画素数が閾値Ｗ１より大きい場合、当該手書き部分７を囲み線７１と判定する。一方、画素数が閾値Ｗ１以下の場合、当該手書き部分７を分類記号７２と判定する。
【００５７】
なお、この判定処理に用いられる閾値Ｗ１は、原理的には「０（ゼロ）」とすることも可能であるが、実際は、分離処理において印刷部分と手書き部分７とが誤認識される可能性もゼロではない。また、ユーザが印刷物の線画と部分的に重なるように分類記号７２を記入する可能性もある。また、ユーザが印刷部分に接近させて分類記号７２を記入した場合、外接矩形８１内に印刷部分が僅かに含まれる可能性もある。そこで、これらの場合にも分類記号７２と囲み線７１とを間違いなく分離できるように、閾値Ｗ１は、「０」より僅かに大きな値とすることが好ましい。
【００５８】
＜分類記号仕分け部１２０＞
再び図３を参照する。分類記号仕分け部１２０は、分類記号７２を、同じ種類の記号同士でグループ化する。具体的には、分類記号仕分け部１２０は、分類記号７２に対して光学文字認識処理（ＯＣＲ（Optical Character Recognition）処理）を行い、認識結果が同じ分類記号７２同士をグループ化し、各グループに識別番号（例えば、グループ番号）を付与する。光学文字認識処理は、例えば、予め登録された複数のパターンとのパターンマッチングを行うことによってなされる。
【００５９】
ただし、分類記号７２が文字認識不能と判断された場合は、当該分類記号７２を定められたグループに分類してもよいし、当該分類記号７２はなかったものとみなして以後の処理を進めてもよい。
【００６０】
なお、ここで、一群の分類記号７２を文字認識処理して得られた識別結果が、順位付けが可能な記号群の場合がある。例えば、識別結果が一群の数字であれば、昇順、あるいは、降順に順位付けることができる。また、識別結果が一群のアルファベットであれば、Ａ、Ｂ、ＣからＺまでの並び順に順位付けることができる。また、識別結果が一群の平仮名、あるいは、一群のカタカナであれば、例えば５０音順に順位付けることができる。このように、識別結果が、順位付けが可能な記号群である場合、分類記号仕分け部１２０は、当該記号の順位と対応したグループ番号を付与する。例えば、一群の分類記号７２を文字認識処理して得られた識別結果が、「Ａ」「Ｂ」「Ｃ」のいずれかである場合、分類記号仕分け部１２０は、識別結果が「Ａ」の分類記号７２が属するグループにグループ番号「１」を付与し、識別結果が「Ｂ」の分類記号７２が属するグループにグループ番号「２」を付与し、識別結果が「Ｃ」の分類記号７２が属するグループにグループ番号「３」を付与する。また、例えば、図２に例示された書き込み原稿６０の場合、一群の分類記号７２を文字認識処理して得られた識別結果が、「１を丸で囲んだもの」「２を丸で囲んだもの」「３を丸で囲んだもの」のいずれかとなる。この場合、分類記号仕分け部１２０は、識別結果が「１を丸で囲んだもの」の分類記号７２が属するグループにグループ番号「１」を付与し、識別結果が「２を丸で囲んだもの」の分類記号７２が属するグループにグループ番号「２」を付与し、識別結果が「３を丸で囲んだもの」の分類記号７２が属するグループにグループ番号「３」を付与する（図７参照）。
【００６１】
＜抽出画像取得部１３０＞
抽出画像取得部１３０は、分離後データ６２から画像部分を抽出する機能部であり、抽出領域特定部１３１と、抽出処理部１３２とを備える。抽出画像取得部１３０の機能について、図５、図６を参照しながら説明する。図５、図６は、抽出画像取得部１３０の機能を説明するための図である。
【００６２】
抽出領域特定部１３１は、分離後データ６２から抽出すべき領域（以下、「抽出対象領域」という）８４を特定する。ただし、抽出対象領域８４は、ユーザが抽出を所望する対象領域（すなわち、囲み線７１により囲まれていた対象領域）を含む領域とされる。具体的には、抽出領域特定部１３１は、図５に示すように、囲み線７１と当該囲み線７１に設定された外接矩形８１とに囲まれた領域に、そのサイズが定められた閾値Ｗ２よりも大きい内接矩形８３を設定可能か否かを判断する。内接矩形８３が設定できない場合（すなわち、囲み線７１と外接矩形８１との間に隙間がほとんど存在しない場合）、抽出領域特定部１３１は外接矩形８１内の領域を抽出対象領域８４とする（ＡＲ１１）。一方、内接矩形８３が１個以上設定できる場合（すなわち、囲み線７１と外接矩形８１との間にある程度大きな隙間が存在する場合）、外接矩形８１から、そこに設定される１以上の内接矩形８３の全てを除いた領域を抽出対象領域８４とする（ＡＲ１２）。
【００６３】
抽出処理部１３２は、図６に示すように、分離後データ６２における抽出対象領域８４内の画像部分を抽出する。抽出された画像部分を以下「抽出画像８５」という。
【００６４】
＜抽出画像整理部１４０＞
再び図３を参照する。抽出画像整理部１４０は、抽出画像８５を分類して一覧データ６３を作成する機能部であり、対応付け部１４１と、画像仕分け部１４２と、一覧データ生成部１４３とを備える。抽出画像整理部１４０の機能について、図７を参照しながら説明する。図７は、抽出画像整理部１４０の機能を説明するための図である。
【００６５】
対応付け部１４１は、各分類記号７２を、当該分類記号７２と最も近い位置に書き込まれた囲み線７１と対応付ける。具体的には、位置情報取得部１１３が各手書き部分７について特定した位置情報を用いて、各分類記号７２と同じページに書き込まれた囲み線７１のうち、当該分類記号７２の中心８２と最も近い位置にその中心８２がある囲み線７１を特定する。そして、当該囲み線７１を、当該分類記号７２と最も近い位置に書き込まれている囲み線７１とみなして、当該分類記号７２と対応付ける（矢印ＡＲ１）。
【００６６】
画像仕分け部１４２は、同じグループに属する（すなわち、同じ種類の）分類記号７２と対応付けられた１以上の囲み線７１のそれぞれにより取り囲まれた画像部分（具体的には、画像部分の抽出画像８５）同士をグループ化する。具体的には、画像仕分け部１４２は、まず、抽出画像８５に係る画像部分を取り囲んでいた囲み線７１が、いずれかの分類記号７２と対応付けられているかを判断する。そして、当該囲み線７１がいずれかの分類記号７２と対応付けられている場合、当該対応付けられた分類記号７２が属するグループのグループ番号を当該抽出画像８５に付与する（矢印ＡＲ２）。一方、抽出画像８５を取り囲んでいた囲み線７１がいずれの分類記号７２とも対応付けられていない場合、当該抽出画像８５に定められたグループ番号（例えば、「グループ番号０」）を付与する。つまり、分類記号７２が付与されていない囲み線７１により取り囲まれた画像部分が存在する場合は、当該画像部分同士を１つのグループにまとめる。
【００６７】
一覧データ生成部１４３は、画像仕分け部１４２においてグループ分けされた抽出画像８５を、グループ毎にまとめるとともに、グループ番号の昇順に並べて、一覧データ６３を作成する。図８、図９には、一覧データ６３の構成例が示されている。図８、図９に示されるように、一覧データ６３においては、各抽出画像８５がグループ毎に分類され、グループ番号の昇順に並べられる。一覧データ６３は、図８に示すように、グループ毎にページ分けされずに一覧表示されてもよいし、図９に示すように、グループ毎にページ分けされていてもよい。
【００６８】
生成された一覧データ６３は、例えば、大容量蓄積部１９に格納される。大容量蓄積部１９に格納された一覧データ６３は、ユーザからの指示に応じて、画像記録部１８において記録紙上へプリントされる。また、ユーザからの指示に応じて、表示部１５１に表示される。
【００６９】
＜３．処理の流れ＞
抽出分類機能に係る一連の処理の流れについて説明する。なお、以下の処理は、ユーザが、画像読取部１７に書き込み原稿６０を読み取らせるとともに、操作パネル１５を介して一覧データ６３の作成指示を入力した場合に開始される。
【００７０】
＜３−１．前処理部１１０における処理＞
はじめに、前処理部１１０によって前処理が行われる。前処理の流れについて、図４、図１０を参照しながら説明する。図１０は、当該処理の流れを示す図である。
【００７１】
画像読取部１７によって書き込み原稿６０の画像データ６１が取得されると、分離部１１１が、当該画像データ６１から手書き部分７を分離する（ステップＳ１１）。なお、ステップＳ１１の処理において手書き部分７が１つも検出されない場合は、処理を終了する。ここでは、ステップＳ１１の処理において１以上の手書き部分７が検出されたとして話を進める。
【００７２】
１以上の手書き部分７が画像データ６１から分離されると、続いて、外接矩形設定部１１２が、画像データ６１から分離された１以上の手書き部分７のそれぞれに外接する外接矩形８１を設定する（ステップＳ１２）。
【００７３】
続いて、位置情報取得部１１３が、画像データ６１から分離された１以上の手書き部分７のそれぞれの位置情報を取得する（ステップＳ１３）。具体的には、各手書き部分７についてステップＳ１２で設定された外接矩形８１の中心８２の座標を算出し、得られた座標を当該手書き部分７の位置情報として取得する。
【００７４】
続いて、判定部１１４が、画像データ６１から分離された１以上の手書き部分７のそれぞれが、囲み線７１、分類記号７２のどちらであるかを判定する（ステップＳ１４）。当該処理の流れについて、図１１を参照しながらより具体的に説明する。図１１は、当該処理の流れを示す図である。
【００７５】
まず、画素数計数部１１４１は、いずれかの手書き部分７を判定対象とし、分離後データ６２において、当該判定対象となる手書き部分７について設定された外接矩形８１の領域に含まれる画素数を計数する（ステップＳ１４１）。
【００７６】
続いて、判定処理部１１４２が、ステップＳ１４１の計数結果が定められた閾値Ｗ１より大きいか否かを判断する（ステップＳ１４２）。ここで、計数結果が定められた閾値Ｗ１より大きいと判断された場合、判定対象となる手書き部分７は囲み線７１であると判定する（ステップＳ１４３）。一方、計数結果が閾値Ｗ１以下の場合、判定対象となる手書き部分７は分類記号７２であると判定する（ステップＳ１４４）。
【００７７】
画像データ６１から分離された１以上の手書き部分７のすべてについて、ステップＳ１４１〜１４４の処理が行われると（ステップＳ１４５でＹＥＳ）、ステップＳ１４の処理は終了する。
【００７８】
ステップＳ１４の処理が終了すれば前処理が終了し、続いて、分類記号７２と判定された手書き部分７と、囲み線７１と判定された手書き部分７とのそれぞれに別の処理が行われる。
【００７９】
＜３−２．分類記号仕分け部１２０における処理＞
分類記号７２と判定された手書き部分７に対して分類記号仕分け部１２０により行われる処理の流れについて、図１２を参照しながら説明する。図１２は、当該処理の流れを示す図である。
【００８０】
まず、分類記号仕分け部１２０は、分類記号７２と判定された全ての手書き部分７のそれぞれに対して光学文字認識処理を行う（ステップＳ２１）。
【００８１】
続いて、ステップＳ２１における認識結果が同じ分類記号７２同士をグループ化し、各グループにグループ番号を付与する（ステップＳ２２）。
【００８２】
＜３−３．抽出画像取得部１３０における処理＞
囲み線７１と判定された手書き部分７に対して抽出画像取得部１３０により行われる処理の流れについて、図５、図６、図１３を参照しながら説明する。図１３は、当該処理の流れを示す図である。
【００８３】
まず、抽出領域特定部１３１は、いずれかの囲み線７１を対象とし、当該囲み線７１と当該囲み線７１に設定された外接矩形８１とに囲まれた領域に、そのサイズが定められた閾値Ｗ２よりも大きい内接矩形８３を設定可能か否かを判断する（ステップＳ３１）。
【００８４】
内接矩形８３を設定できない場合（ステップＳ３１でＮＯ）、抽出領域特定部１３１は外接矩形８１を抽出対象領域８４に決定する（ステップＳ３２）。
【００８５】
一方、内接矩形８３を１個以上設定できる場合（ステップＳ３１でＹＥＳ）、抽出領域特定部１３１は、外接矩形８１から、そこに設定される１以上の内接矩形８３の全てを除いた領域を抽出対象領域８４に決定する（ステップＳ３３）。
【００８６】
続いて、抽出処理部１３２が、分離後データ６２における抽出対象領域８４（すなわち、ステップＳ３２、あるいは、ステップＳ３３において決定された抽出対象領域８４）内の画像部分を抽出して、抽出画像８５として取得する（ステップＳ３４）。
【００８７】
囲み線７１と判定された全ての手書き部分７のすべてに基づく抽出画像８５がそれぞれ取得されると（ステップＳ３５でＹＥＳ）、処理は終了する。
【００８８】
＜３−４．抽出画像整理部１４０における処理＞
分類記号７２と判定された手書き部分７と、囲み線７１と判定された手書き部分７とのそれぞれに対する処理が終了すれば、抽出画像整理部１４０によって、抽出画像８５を分類して一覧データ６３を作成する処理が行われる。当該処理の流れについて、図７〜図９、図１４を参照しながら説明する。図１４は、当該処理の流れを示す図である。
【００８９】
まず、対応付け部１４１が、画像データ６１から分離された全ての分類記号７２を、当該分類記号７２と最も近い位置に書き込まれた囲み線７１と対応付ける（ステップＳ４１）。具体的には、対応付け部１４１は、ステップＳ１３（図１０参照）で取得された各手書き部分７の位置情報を用いて、各分類記号７２と同じページに書き込まれた囲み線７１のうち、当該分類記号７２の中心８２と最も近い位置にその中心８２がある囲み線７１を特定する。そして、当該囲み線７１を、当該分類記号７２と最も近い位置に書き込まれている囲み線７１とみなして、当該分類記号７２と対応付ける。
【００９０】
続いて、画像仕分け部１４２が、取得された全ての抽出画像８５をグループ分けする（ステップＳ４２）。具体的には、同じグループに属する分類記号７２と対応付けられた１以上の囲み線７１のそれぞれにより取り囲まれた画像部分の抽出画像８５同士をグループ化する。また、分類記号７２が付与されていない囲み線７１により取り囲まれた画像部分が存在する場合は、当該画像部分同士を１つのグループにまとめる。
【００９１】
続いて、一覧データ生成部１４３が、ステップＳ４２でグループ分けされた抽出画像８５を、グループ毎にまとめるとともに、グループ番号の昇順に並べて、一覧データ６３を作成する（ステップＳ４３）。
【００９２】
＜４．効果＞
上記の実施の形態によると、画像データ６１から分離された手書き部分７が、囲み線７１と分類記号７２とのどちらであるかが判定され、囲み線７１と判定された手書き部分７により囲まれていた抽出対象領域８４内の画像部分が抽出される。抽出された画像部分は、同じ種類の分類記号７２と対応付けられた１以上の囲み線７１のそれぞれにより取り囲まれた画像部分同士でグループ化され、グループ毎にまとめられて一覧データ６３とされる。この構成によると、印刷物からユーザが所望する特定の部分だけを抽出し、それをユーザが所望する通りに分類してリスト化することができる。
【００９３】
また、上記の実施の形態によると、分離後データ６２における、手書き部分７について設定された外接矩形８１の領域に含まれる画素数に基づいて、当該手書き部分７が囲み線７１、分類記号７２のどちらであるかを判定する。例えば、分離後データ６２における、手書き部分７の領域に含まれる画素数を正確に求めようとした場合、手書き部分７の位置および形状を正確に特定しなければならない。囲み線７１はユーザが手書きで書き入れた不規則な形状である可能性が高いため、この位置および形状を正確に特定しようとした場合、演算量、保持すべき情報量等が非常に多くなる。これに対し、上記の実施の形態においては、手書き部分７に外接する外接矩形８１という単純な形状を利用することによって、手書き部分７が囲み線７１、分類記号７２のどちらであるのかの判定を行うので、当該判定を簡単かつ正確に行うことができる。
【００９４】
また、上記の実施の形態によると、囲み線７１に対して設定された外接矩形８１に基づいて規定される領域を、抽出対象領域８４とする。例えば、囲み線７１内の画像部分をそのまま抽出対象領域とする場合、上述したとおり、手書き部分７の位置および形状を正確に特定しなければならないため、演算量、保持すべき情報量等が非常に多くなる。これに対し、上記の実施の形態においては、外接矩形という単純化された形状を用いることによって、ユーザが抽出を希望する領域を簡単かつ確実に抽出することができる。また、この構成によると、ユーザが書き込んだ囲み線７１が完全に閉じたものでなくとも、ユーザが抽出を希望する領域を問題なく抽出することができるという利点もある。なお、例えばテキストを抜粋する場合等は、ユーザは、囲み線７１の中に含まれる文章が漏れなく抽出されることを求めているだけの可能性が高く、囲み線７１に沿った画像部分をそのまま切り取る必要性は比較的低い。すなわち、囲み線７１内の画像部分を抽出対象領域とせずに、囲み線７１に対して設定された外接矩形８１に基づいて規定される領域を抽出対象領域８４とすることによりユーザが不都合を感じる可能性は低い。
【００９５】
特に、上記の実施の形態においては、囲み線７１と外接矩形８１とに囲まれた領域に所定サイズ以上の内接矩形８３を設定可能である場合は、外接矩形８１から内接矩形８３を除いた領域の画像部分を抽出対象領域８４とし、内接矩形８３を設定できない場合は、外接矩形８１内の領域を抽出対象領域８４とする。この構成によると、ユーザが抽出を所望しない不要な領域が抽出対象領域８４に含まれる割合が低減する。すなわち、ユーザが抽出を希望する領域を簡単かつ正確に特定することができる。
【００９６】
特に、上記の実施の形態においては、手書き部分７に設定された外接矩形８１の中心８２の位置を当該手書き部分７の位置情報として取得し、当該位置情報に基づいて、分類記号７２と最も近い位置に書き込まれていた囲み線７１を特定する。この構成によると、外接矩形８１という単純化された形状を用いて各手書き部分７の位置を簡単かつ正確に特定することができるので、分類記号７２と囲み線７１との対応付けを簡単かつ正確に行うことができる。
【００９７】
＜Ｂ．第２の実施の形態＞
＜１．画像処理システム１００＞
この発明の第２の実施の形態に係る画像処理システム１００について、図１５を参照しながら説明する。図１５は、画像処理システム１００の機能構成を示すブロック図である。
【００９８】
画像処理システム１００は、第１の実施の形態に係るデジタル複合機１と、当該デジタル複合機１と通信回線を介して接続された１以上の情報処理装置とを備える。例えば、デジタル複合機１と、これとＬＡＮ４１を介して接続された情報処理装置（例えば、パソコン）４４とを備える。なお、画像処理システム１００の構成はこれに限るものではなく、例えば、デジタル複合機１とインターネット４３を介して接続された情報処理装置４５をさらに（あるいは、情報処理装置４４に代えて）備える構成としてもよい（図１参照）。
【００９９】
情報処理装置４４は、例えばコンピュータにより構成され、ＣＰＵ、ＲＯＭ、ＲＡＭ等から構成されて情報処理装置４４における各機能を実現する制御部４４１と、ディスプレイ等の表示装置４４２と、オペレータが各種の指示を入力するためのマウス、キーボード等からなる操作部４４３とを備える。さらに、図示は省略するが、情報処理装置４４における各種機能を実現するためのプログラムなどを格納するためのＲＯＭ、ＬＡＮ４１あるいは、インターネット４３等の通信回線を介して接続されたデジタル複合機１等との間でデータの受け渡しを行うためのインターフェイスである通信部、通信回線を介して他の装置から受信した画像データ（例えば、通信部が、ＬＡＮ４１を介してデジタル複合機１から取得した一覧データ６３）等を記憶する記憶装置、等をさらに備える。
【０１００】
画像処理システム１００においては、デジタル複合機１において生成された一覧データ６３を、情報処理装置４４が備える表示装置４４２に表示させることができる。情報処理装置４４は、一覧データ６３の表示処理に関する機能構成として、表示制御部１５０を備える。表示制御部１５０は、制御部４４１がＲＯＭ上のプログラムを実行することにより実現される。
【０１０１】
表示制御部１５０は、デジタル複合機１から受信された一覧データ６３を記憶装置から読み出して表示装置４４２に表示させる。図１６には、一覧データ６３を表示する画面（以下、表示画面９という）の構成例が示されている。
【０１０２】
表示画面９においては、同じグループに属する抽出画像８５が一覧表示される（一覧表示部分９１）。ユーザは、一覧表示部分９１に表示させるグループを、操作部４４３を介して指定することができる。すなわち、ユーザが、操作部４４３を介して、表示させたいグループの指定を入力した場合、表示制御部１５０は、当該入力を受け付けて指定されたグループに属する抽出画像８５を一覧表示部分９１に一覧表示させる。
【０１０３】
また、一覧表示部分９１の隣には、ユーザが書き込みを行った元の印刷物が表示される（オリジナルページ表示部分９２）。すなわち、表示制御部１５０は、デジタル複合機１から一覧データ６３の生成において用いられた分離後データ６２を取得して、取得した分離後データ６２をオリジナルページ表示部分９２に表示させる。一覧データ６３と並べて分離後データ６２が表示されることによって、ユーザは、抽出画像８５が元の印刷物におけるどの位置から抽出されたものであるかを確認することができる。
【０１０４】
なお、オリジナルページ表示部分９２には、一覧表示部分９１に表示されている抽出画像８５と対応する抽出対象領域８４が、例えば色つきの線で示されることが好ましい。この構成によると、ユーザは、一覧表示部分９１に表示されている抽出画像８５が、元の印刷物のどの箇所から抽出された抽出画像８５であるかを一目で認識することができる。
【０１０５】
元の印刷物が複数ページからなる場合、オリジナルページ表示部分９２には、一覧表示部分９１に表示されている抽出画像８５のうち、ユーザが選択した一の抽出画像８５が含まれているページが表示される構成としてもよい。すなわち、ユーザが、操作部４４３を介して、一覧表示部分９１に表示されている抽出画像８５のうちのいずれかを選択した場合、表示制御部１５０は、当該入力を受け付けて、分離後データ６２のうち、選択された抽出画像８５が含まれているページをオリジナルページ表示部分９２に表示させる構成としてもよい。
【０１０６】
また、ユーザが一の抽出画像８５を選択した場合、選択された抽出画像８５が元の印刷物においてどの位置にあるかを示唆する情報（例えば、元の印刷物において抽出画像８５が含まれるページのページ番号、抽出画像８５が当該ページ中の右側、左側のどちらに記載されているか、また、当該ページ中の上側、下側のどちらに記載されているか等を示す情報）が表示されることが好ましい（位置情報表示部分９３）。
【０１０７】
また、表示画面９には、一覧表示部分９１に表示されているグループに属する抽出画像８５が、元の印刷物の全体に何個存在するか、また、オリジナルページ表示部分９２に表示されているページ内に何個存在するか、等の情報が表示される構成としてもよい（個数情報表示部分９４）。
【０１０８】
なお、表示画面９には、画面の表示変更指示等を受け付けるアイコン（例えば、一覧表示部分９１に前のグループを表示させる指示を受け付けるアイコン９５、一覧表示部分９１に次のグループを表示させる指示を受け付けるアイコン９６、一覧データ６３のプリントリストを表示させる指示を受け付けるアイコン９７、表示終了の指示を受け付けるアイコン９８、等）が表示される構成としてもよい。
【０１０９】
＜２．効果＞
上記の実施の形態によると、デジタル複合機１と接続された情報処理装置４４が、表示装置４４２と、一覧データ６３を当該表示装置４４２に表示させる表示制御部１５０とを備えるので、ユーザは、デジタル複合機１において作成された一覧データ６３を、これとは別の情報処理装置４４が備える表示装置４４２に表示させることができる。
【０１１０】
＜Ｃ．変形例＞
上記の実施の形態においては、判定部１１４は、分離後データ６２において、手書き部分７について設定された外接矩形８１の領域に含まれる画素数に基づいて、当該手書き部分７が囲み線７１、分類記号７２のいずれであるかを判定していた。ここで、判定部１１４は、画像データ６１において、手書き部分７について設定された外接矩形８１内部の平均画素密度に基づいて、当該手書き部分７が囲み線７１、分類記号７２のいずれであるかを判定してもよい。すなわち、この場合、平均画素密度（外接矩形８１の領域内部に含まれる画素数を外接矩形８１のサイズで割った値）が、定められた閾値より大きい場合、当該手書き部分７を囲み線７１と判定する。また、定められた閾値以下の場合、当該手書き部分７を分類記号７２と判定する。
【０１１１】
また、第２の実施の形態においては、デジタル複合機１と情報処理装置４４とが、画像処理システム１００を構成しており、デジタル複合機１において生成された一覧データ６３が、情報処理装置４４が備える表示装置４４２に表示されるものとした。ここで、上述したとおり、デジタル複合機１において生成された一覧データ６３は、デジタル複合機１の表示部１５１に表示される構成としてもよい。この場合、上述した表示制御部１５０は、デジタル複合機１においても実現される（具体的には、デジタル複合機１の制御部１１がＲＯＭ１２上のプログラムＰを実行することにより実現される）。この構成によると、ユーザは、デジタル複合機１において作成された一覧データ６３を、デジタル複合機１が備える表示部１５１に表示させることができる。
【０１１２】
また、画像処理システム１００においては、デジタル複合機１において実現されるとした機能部１１０，１２０，１３０，１４０のうちの１以上の機能部が、情報処理装置４４の制御部４４１において実現されてもよい。
【０１１３】
また、上記の実施の形態においては、デジタル複合機１は、画像読取部１７に書き込み原稿６０を読み取らせることによって画像データ６１を取得していたが、画像データ６１を取得する構成はこれに限らない。例えば、ＬＡＮ４１等の通信回線を介して情報処理装置４４，４５から受信してもよい。また、回線４６を介して接続された通信端末装置４７からＦＡＸ受信してもよい。
【０１１４】
また、上記の実施の形態において、デジタル複合機１が行う処理の流れは、上述した順序に限らない。例えば、前処理において、手書き部分７の位置情報を取得する前に、手書き部分７が囲み線７１か分類記号７２かの判定を行ってもよい。また、これらの各処理は並行して行われてもよい。
【符号の説明】
【０１１５】
１ デジタル複合機
７ 手書き部分
９ 表示画面
６３ 一覧データ
７１ 囲み線
７２ 分類記号
８１ 外接矩形
８３ 内接矩形
８４ 抽出対象領域
８５ 抽出画像
１１０ 前処理部
１２０ 分類記号仕分け部
１３０ 抽出画像取得部
１４０ 抽出画像整理部
１５０ 表示制御部
【特許請求の範囲】
【請求項１】
印刷物に手書きによる書き込みがなされた書き込み原稿の画像データから、手書き部分を分離する分離部と、
前記手書き部分が、前記印刷物内の対象領域を囲む囲み線と、前記対象領域を分類するための分類記号とのどちらであるかを判定する判定部と、
前記分類記号を、それと最も近い位置に書き込まれていた前記囲み線と対応付ける対応付け部と、
前記画像データから前記手書き部分が分離された後の分離後データから、前記囲み線により囲まれていた前記対象領域を含む抽出対象領域内の画像部分を抽出する抽出画像取得部と、
同じ種類の前記分類記号と対応付けられた１以上の前記囲み線のそれぞれにより取り囲まれた前記画像部分同士をグループ化する画像仕分け部と、
抽出された前記画像部分をグループ毎にまとめた一覧データを作成する一覧データ生成部と、
を備える画像処理装置。
【請求項２】
請求項１に記載の画像処理装置であって、
前記手書き部分に外接する外接矩形を設定する外接矩形設定部、
を備え、
前記判定部が、
前記分離後データにおいて、前記手書き部分について設定された前記外接矩形に囲まれる領域に含まれる画素数に基づいて、当該手書き部分が前記囲み線と前記分類記号とのどちらであるかを判定する画像処理装置。
【請求項３】
請求項１または２に記載の画像処理装置であって、
前記手書き部分に外接する外接矩形を設定する外接矩形設定部、
を備え、
前記抽出画像取得部が、
前記囲み線と当該囲み線に設定された前記外接矩形とに囲まれた領域に、そのサイズが定められた閾値よりも大きい内接矩形を設定可能である場合、前記外接矩形から、そこに設定される前記内接矩形を除いた領域を前記抽出対象領域とし、
前記囲み線と当該囲み線に設定された前記外接矩形とに囲まれた領域に前記内接矩形を設定できない場合、前記外接矩形内の領域を前記抽出対象領域とする画像処理装置。
【請求項４】
請求項１から３のいずれかに記載の画像処理装置であって、
前記手書き部分に外接する外接矩形を設定する外接矩形設定部と、
前記手書き部分に設定された前記外接矩形の中心の位置を、当該手書き部分の位置情報として取得する位置情報取得部と、
を備え、
前記対応付け部が、
前記手書き部分のそれぞれの前記位置情報に基づいて、前記分類記号と最も近い位置に書き込まれていた前記囲み線を特定する画像処理装置。
【請求項５】
請求項１から４のいずれかに記載された画像処理装置であって、
表示装置と、
前記一覧データを前記表示装置に表示させる表示制御部と、
を備える画像処理装置。
【請求項６】
画像処理装置と、
前記画像処理装置と通信回線を介して接続された情報処理装置と、
を備え、
前記画像処理装置が、
印刷物に手書きによる書き込みがなされた書き込み原稿の画像データから、手書き部分を分離する分離部と、
前記手書き部分が、前記印刷物内の対象領域を囲む囲み線と、前記対象領域を分類するための分類記号とのどちらであるかを判定する判定部と、
前記分類記号を、それと最も近い位置に書き込まれていた前記囲み線と対応付ける対応付け部と、
前記画像データから前記手書き部分が分離された後の分離後データから、前記囲み線により囲まれていた前記対象領域を含む抽出対象領域内の画像部分を抽出する抽出画像取得部と、
同じ種類の前記分類記号と対応付けられた１以上の前記囲み線のそれぞれにより取り囲まれた前記画像部分同士をグループ化する画像仕分け部と、
抽出された前記画像部分をグループ毎にまとめた一覧データを作成する一覧データ生成部と、
を備え、
前記情報処理装置が、
表示装置と、
前記画像処理装置から前記通信回線を介して取得した前記一覧データを、前記表示装置に表示させる表示制御部と、
を備える画像処理システム。
【請求項７】
印刷物に手書きによる書き込みがなされた書き込み原稿の画像データから、手書き部分を分離する工程と、
前記手書き部分が、前記印刷物内の対象領域を囲む囲み線と、前記対象領域を分類するための分類記号とのどちらであるかを判定する工程と、
前記分類記号を、それと最も近い位置に書き込まれていた前記囲み線と対応付ける工程と、
前記画像データから前記手書き部分が分離された後の分離後データから、前記囲み線により囲まれていた前記対象領域を含む抽出対象領域内の画像部分を抽出する工程と、
同じ種類の前記分類記号と対応付けられた１以上の前記囲み線のそれぞれにより取り囲まれた前記画像部分同士をグループ化する工程と、
抽出された前記画像部分をグループ毎にまとめた一覧データを作成する工程と、
を備える画像処理方法。
【請求項８】
コンピュータが読み取り可能なプログラムであって、
前記コンピュータが前記プログラムを読み取り、前記コンピュータのＣＰＵが前記プログラムをメモリにて実行することにより、前記コンピュータを、
印刷物に手書きによる書き込みがなされた書き込み原稿の画像データから、手書き部分を分離する分離部と、
前記手書き部分が、前記印刷物内の対象領域を囲む囲み線と、前記対象領域を分類するための分類記号とのどちらであるかを判定する判定部と、
前記分類記号を、それと最も近い位置に書き込まれていた前記囲み線と対応付ける対応付け部と、
前記画像データから前記手書き部分が分離された後の分離後データから、前記囲み線により囲まれていた前記対象領域を含む抽出対象領域内の画像部分を抽出する抽出画像取得部と、
同じ種類の前記分類記号と対応付けられた１以上の前記囲み線のそれぞれにより取り囲まれた前記画像部分同士をグループ化する画像仕分け部と、
抽出された前記画像部分をグループ毎にまとめた一覧データを作成する一覧データ生成部と、
を備える画像処理装置として機能させるプログラム。
【請求項１】
印刷物に手書きによる書き込みがなされた書き込み原稿の画像データから、手書き部分を分離する分離部と、
前記手書き部分が、前記印刷物内の対象領域を囲む囲み線と、前記対象領域を分類するための分類記号とのどちらであるかを判定する判定部と、
前記分類記号を、それと最も近い位置に書き込まれていた前記囲み線と対応付ける対応付け部と、
前記画像データから前記手書き部分が分離された後の分離後データから、前記囲み線により囲まれていた前記対象領域を含む抽出対象領域内の画像部分を抽出する抽出画像取得部と、
同じ種類の前記分類記号と対応付けられた１以上の前記囲み線のそれぞれにより取り囲まれた前記画像部分同士をグループ化する画像仕分け部と、
抽出された前記画像部分をグループ毎にまとめた一覧データを作成する一覧データ生成部と、
を備える画像処理装置。
【請求項２】
請求項１に記載の画像処理装置であって、
前記手書き部分に外接する外接矩形を設定する外接矩形設定部、
を備え、
前記判定部が、
前記分離後データにおいて、前記手書き部分について設定された前記外接矩形に囲まれる領域に含まれる画素数に基づいて、当該手書き部分が前記囲み線と前記分類記号とのどちらであるかを判定する画像処理装置。
【請求項３】
請求項１または２に記載の画像処理装置であって、
前記手書き部分に外接する外接矩形を設定する外接矩形設定部、
を備え、
前記抽出画像取得部が、
前記囲み線と当該囲み線に設定された前記外接矩形とに囲まれた領域に、そのサイズが定められた閾値よりも大きい内接矩形を設定可能である場合、前記外接矩形から、そこに設定される前記内接矩形を除いた領域を前記抽出対象領域とし、
前記囲み線と当該囲み線に設定された前記外接矩形とに囲まれた領域に前記内接矩形を設定できない場合、前記外接矩形内の領域を前記抽出対象領域とする画像処理装置。
【請求項４】
請求項１から３のいずれかに記載の画像処理装置であって、
前記手書き部分に外接する外接矩形を設定する外接矩形設定部と、
前記手書き部分に設定された前記外接矩形の中心の位置を、当該手書き部分の位置情報として取得する位置情報取得部と、
を備え、
前記対応付け部が、
前記手書き部分のそれぞれの前記位置情報に基づいて、前記分類記号と最も近い位置に書き込まれていた前記囲み線を特定する画像処理装置。
【請求項５】
請求項１から４のいずれかに記載された画像処理装置であって、
表示装置と、
前記一覧データを前記表示装置に表示させる表示制御部と、
を備える画像処理装置。
【請求項６】
画像処理装置と、
前記画像処理装置と通信回線を介して接続された情報処理装置と、
を備え、
前記画像処理装置が、
印刷物に手書きによる書き込みがなされた書き込み原稿の画像データから、手書き部分を分離する分離部と、
前記手書き部分が、前記印刷物内の対象領域を囲む囲み線と、前記対象領域を分類するための分類記号とのどちらであるかを判定する判定部と、
前記分類記号を、それと最も近い位置に書き込まれていた前記囲み線と対応付ける対応付け部と、
前記画像データから前記手書き部分が分離された後の分離後データから、前記囲み線により囲まれていた前記対象領域を含む抽出対象領域内の画像部分を抽出する抽出画像取得部と、
同じ種類の前記分類記号と対応付けられた１以上の前記囲み線のそれぞれにより取り囲まれた前記画像部分同士をグループ化する画像仕分け部と、
抽出された前記画像部分をグループ毎にまとめた一覧データを作成する一覧データ生成部と、
を備え、
前記情報処理装置が、
表示装置と、
前記画像処理装置から前記通信回線を介して取得した前記一覧データを、前記表示装置に表示させる表示制御部と、
を備える画像処理システム。
【請求項７】
印刷物に手書きによる書き込みがなされた書き込み原稿の画像データから、手書き部分を分離する工程と、
前記手書き部分が、前記印刷物内の対象領域を囲む囲み線と、前記対象領域を分類するための分類記号とのどちらであるかを判定する工程と、
前記分類記号を、それと最も近い位置に書き込まれていた前記囲み線と対応付ける工程と、
前記画像データから前記手書き部分が分離された後の分離後データから、前記囲み線により囲まれていた前記対象領域を含む抽出対象領域内の画像部分を抽出する工程と、
同じ種類の前記分類記号と対応付けられた１以上の前記囲み線のそれぞれにより取り囲まれた前記画像部分同士をグループ化する工程と、
抽出された前記画像部分をグループ毎にまとめた一覧データを作成する工程と、
を備える画像処理方法。
【請求項８】
コンピュータが読み取り可能なプログラムであって、
前記コンピュータが前記プログラムを読み取り、前記コンピュータのＣＰＵが前記プログラムをメモリにて実行することにより、前記コンピュータを、
印刷物に手書きによる書き込みがなされた書き込み原稿の画像データから、手書き部分を分離する分離部と、
前記手書き部分が、前記印刷物内の対象領域を囲む囲み線と、前記対象領域を分類するための分類記号とのどちらであるかを判定する判定部と、
前記分類記号を、それと最も近い位置に書き込まれていた前記囲み線と対応付ける対応付け部と、
前記画像データから前記手書き部分が分離された後の分離後データから、前記囲み線により囲まれていた前記対象領域を含む抽出対象領域内の画像部分を抽出する抽出画像取得部と、
同じ種類の前記分類記号と対応付けられた１以上の前記囲み線のそれぞれにより取り囲まれた前記画像部分同士をグループ化する画像仕分け部と、
抽出された前記画像部分をグループ毎にまとめた一覧データを作成する一覧データ生成部と、
を備える画像処理装置として機能させるプログラム。
【図１】
【図２】
【図３】
【図４】
【図５】
【図６】
【図７】
【図８】
【図９】
【図１０】
【図１１】
【図１２】
【図１３】
【図１４】
【図１５】
【図１６】
【図２】
【図３】
【図４】
【図５】
【図６】
【図７】
【図８】
【図９】
【図１０】
【図１１】
【図１２】
【図１３】
【図１４】
【図１５】
【図１６】
【公開番号】特開２０１２−１５１７２２（Ｐ２０１２−１５１７２２Ａ）
【公開日】平成２４年８月９日（２０１２．８．９）
【国際特許分類】
【出願番号】特願２０１１−９５８８（Ｐ２０１１−９５８８）
【出願日】平成２３年１月２０日（２０１１．１．２０）
【出願人】（０００００６２９７）村田機械株式会社 (4,916)
【Ｆターム（参考）】
【公開日】平成２４年８月９日（２０１２．８．９）
【国際特許分類】
【出願日】平成２３年１月２０日（２０１１．１．２０）
【出願人】（０００００６２９７）村田機械株式会社 (4,916)
【Ｆターム（参考）】
[ Back to top ]