画像処理装置、画像処理システム、画像処理方法、及び画像処理プログラム
【課題】 複数分のページが印刷された紙文書に手書きされた情報と、各ページとの対応関係を判別することができるようにする。
【解決手段】 実施形態によれば、画像処理装置は、印刷制御手段、画像入力手段、抽出手段、差分画像抽出手段、及び判別手段を有する。印刷制御手段は、印刷形態を示す印刷設定情報に応じて複数分のページを1枚の紙媒体に印刷させると共に、前記印刷設定情報を示すコードを前記紙媒体に印刷させる。画像入力手段は、前記紙媒体のスキャン画像を入力する。抽出手段は、前記スキャン画像から前記コードを抽出する。差分画像抽出手段は、前記抽出手段により抽出されたコードが示す印刷設定情報をもとに複数分のページを含む印刷画像を生成し、前記印刷画像と前記スキャン画像との差分画像を抽出する。判別手段は、前記差分画像と前記印刷画像に含まれるページとの対応関係を判別する。
【解決手段】 実施形態によれば、画像処理装置は、印刷制御手段、画像入力手段、抽出手段、差分画像抽出手段、及び判別手段を有する。印刷制御手段は、印刷形態を示す印刷設定情報に応じて複数分のページを1枚の紙媒体に印刷させると共に、前記印刷設定情報を示すコードを前記紙媒体に印刷させる。画像入力手段は、前記紙媒体のスキャン画像を入力する。抽出手段は、前記スキャン画像から前記コードを抽出する。差分画像抽出手段は、前記抽出手段により抽出されたコードが示す印刷設定情報をもとに複数分のページを含む印刷画像を生成し、前記印刷画像と前記スキャン画像との差分画像を抽出する。判別手段は、前記差分画像と前記印刷画像に含まれるページとの対応関係を判別する。
【発明の詳細な説明】
【技術分野】
【0001】
本発明の実施形態は、紙文書に加えられた手書き情報を電子化する画像処理装置、画像処理システム、画像処理方法、及び画像処理プログラムに関する。
【背景技術】
【0002】
文書作成アプリケーションを用いて作成された電子文書を紙媒体に印刷し、この紙媒体に印刷された文書内容についてレビュー(記載内容のチェックや修正など)をする場合がある。この際、紙文書に対して手書きによってコメント等を記載することがある。この手書きされたコメント等は、レビュー終了後に電子化して議事録等として記録する場合がある。
【0003】
紙文書に手書きされたコメント等を電子化するためには、元の電子文書を印刷した紙文書の画像(印刷画像)と、コメントが付加された紙文書の画像とを比較するため、2つの画像を対応付ける必要がある。その方法として、元の電子文書を紙文書として印刷する際、電子文書を一意に表すIDを含むコードを印刷する。そして、印刷した紙文書に手書きによりコメントを加えた後、紙文書をスキャンした際にコードを読み取ってIDを抽出することにより、印刷した元の電子文書とスキャンした文書とを対応付ける。
【0004】
また、印刷画像と、紙文書をスキャンして得られたスキャン画像とを比較して、手書きされたコメント等の差分画像を抽出したり、印刷したりする等の後処理に関する情報を予め印刷画像に含めておくことにより、スキャン後に得られる手書き文字に対する後処理を自動で行う方法がある。
【先行技術文献】
【特許文献】
【0005】
【特許文献1】特開2009−165088号公報
【特許文献2】特開2006−031548号公報
【発明の概要】
【発明が解決しようとする課題】
【0006】
このように従来では、元の電子文書(印刷画像)と紙文書の画像とを、紙文書に印刷したコードをもとに対応付けることができた。
【0007】
しかしながら、近年では、文書を紙媒体に印刷する際に、複数分のページを1枚の紙媒体に印刷する印刷形態、例えば1枚に複数ページ分をまとめて印刷するNin1印刷や両面印刷することも頻繁に行われており、こうした場合には、手書きされたコメント(差分画像)を抽出することは可能だが、抽出したコメントが複数ページの何れに対応するか判別することができなかった。
【0008】
本発明が解決しようとする課題は、複数分のページが印刷された紙文書に手書きされた情報と、各ページとの対応関係を判別することが可能な画像処理装置、画像処理システム、画像処理方法、及び画像処理プログラムを提供することである。
【課題を解決するための手段】
【0009】
実施形態によれば、画像処理装置は、印刷制御手段、画像入力手段、抽出手段、差分画像抽出手段、及び判別手段を有する。印刷制御手段は、印刷形態を示す印刷設定情報に応じて複数分のページを1枚の紙媒体に印刷させると共に、前記印刷設定情報を示すコードを前記紙媒体に印刷させる。画像入力手段は、前記紙媒体のスキャン画像を入力する。抽出手段は、前記スキャン画像から前記コードを抽出する。差分画像抽出手段は、前記抽出手段により抽出されたコードが示す印刷設定情報をもとに複数分のページを含む印刷画像を生成し、前記印刷画像と前記スキャン画像との差分画像を抽出する。判別手段は、前記差分画像と前記印刷画像に含まれるページとの対応関係を判別する。
【図面の簡単な説明】
【0010】
【図1】本実施形態における画像処理システムの構成を示すブロック図。
【図2】本実施形態におけるMFPの構成を示すブロック図。
【図3】本実施形態における文書管理サーバの構成を示すブロック図。
【図4】本実施形態におけるクライアントPCの構成を示すブロック図。
【図5】本実施形態における文書管理サーバの処理を示すフローチャート。
【図6】本実施形態におけるクライアントPCの処理を示すフローチャート。
【図7】本実施形態におけるMFPの処理(印刷処理)を示すフローチャート。
【図8】本実施形態におけるクライアントPCの表示器により表示される印刷設定画面の一例を示す図。
【図9】本実施形態における印字方向項目の設定内容を説明するための図。
【図10】本実施形態におけるコメントが手書きされた印刷文書の例を示す図。
【図11】本実施形態におけるMFPの処理(スキャン処理)を示すフローチャート。
【図12】本実施形態における文書管理サーバの処理を示すフローチャート。
【図13】本実施形態における差分画像の例を示す図。
【図14】本実施形態における印刷設定情報をもとに算出された横長の余白領域の例を示す図。
【図15】本実施形態における印刷設定情報をもとに算出された縦長の余白領域の例を示す図。
【図16】本実施形態におけるコメント領域(差分画像)と印刷画像中のページとの対応関係を判別するための処理を示すフローチャート。
【図17】本実施形態における図13に示す指示線が付加された「コメント2」の差分画像を示す図。
【図18】本実施形態における図13に示す「コメント4」の差分画像を示す図。
【図19】本実施形態における図13に示す「コメント6」の差分画像を示す図。
【図20】本実施形態における図13に示す「コメント5」の差分画像を示す図。
【図21】本実施形態における印刷対象となった文書に各ページと対応付けられたコメントをページ毎に挿入した形態を示す図。
【図22】本実施形態におけるコメントのみをページ毎に分類した形態を示す図。
【図23】本実施形態における印刷対象となった文書に各ページと対応付けられたコメントをそれぞれのページ内に挿入した形態を示す図。
【図24】本実施形態における文書のページ毎に、手書きされたコメントに対する文字認識処理により得られた文字列のデータと共に、コメントの差分画像を記載した形態を示す図。
【図25】本実施形態におけるMFPの処理(スキャン処理)を示すフローチャート。
【図26】本実施形態における文書管理サーバの処理を示すフローチャート。
【発明を実施するための形態】
【0011】
以下、実施の形態について、図面を参照して説明する。
図1は、本実施形態における画像処理システムの構成を示すブロック図である。画像処理システムは、MFP(Multi Function Peripheral)101と、MFP101から画像を取得して画像処理を行う文書管理サーバ102と、操作者からの入力を受け付けるクライアントパーソナルコンピュータ(PC)103とを含む。また、画像処理システムは、MFP101と文書管理サーバ102とクライアントPC103とを接続して、データを相互に送受信可能なネットワーク104も含む。ネットワーク104は、インターネットやLAN(Local Area Network)などである。
【0012】
MFP101は、図2に示すように、データの制御や演算などの処理を行うCPU(Central Processing Unit)201と、CPU201が処理するためのデータを一時的に記憶するRAM(Random Access Memory)202と、処理プログラムなどを記憶するROM(Read Only Memory)203と、ネットワーク104を介してデータを入出力するネットワークインタフェース(I/F)204を含む。また、MFP101は、画像読み取りユニット205、印刷ユニット206、FAXユニット207が設けられ、CPU201の制御のもとで、スキャナ機能、プリンタ機能、FAX機能を提供する。MFP101は、クライアントPC103からの指示に応じて、MFP101に記録された文書をプリンタ機能により印刷することができる。また、MFP101は、スキャナ機能によって、文書等が記録された紙媒体をスキャンして画像データ(スキャン画像)を読み取り、文書管理サーバ102に出力することができる。
【0013】
文書管理サーバ102は、図3に示すように、データの制御や演算などの処理を行うCPU301と、CPU301が処理するためのデータを一時的に記憶するRAM302と、処理プログラムなどを記憶するROM303と、処理プログラムや画像データ、あるいはクライアントPC103等において文書作成アプリケーションによって作成された文書等のファイル等を記憶するためのハードディスク(HD)に対するデータのリード/ライトを制御するハードディスク制御部304と、ネットワーク104を介してデータを入出力するネットワークインタフェース(I/F)305を含む。CPU301は、ROM303あるいはハードディスクに記録された画像処理プログラムを実行することにより、MFP101による印刷の制御やネットワーク104を介してMFP101から入力される画像データ(スキャナ画像)に対する各種の画像処理、さらには文書ファイルの編集処理(議事録作成)等を実行する。
【0014】
クライアントPC103は、図4に示すように、データの制御や演算などの処理を行うCPU401と、CPU401が処理するためのデータを一時的に記憶するRAM402と、処理プログラムなどを記憶するROM403と、プログラムやデータなどを長期的に記憶するためのハードディスク(HD)に対するデータのリード/ライトを制御するハードディスク制御部404と、プログラムなどを記憶しているCD−ROMに対するリードを制御するCD−ROM制御部405とを含む。更にクライアントPC103は、キーボードやマウスなどの入力装置410を制御する入力制御部406と、文書管理サーバ102からの情報(印刷文書選択画面等を含む)を表示する表示器407を制御する表示器制御部408と、ネットワーク104を介してデータを入出力するネットワークインタフェース(I/F)409を含む。
【0015】
本実施形態では、文書管理サーバ102が画像処理プログラムをCPU301により実行することにより画像処理装置として機能する。なお、MFP101と文書管理サーバ102とが協働して画像処理装置を実現することも可能である。また、以下に説明する文書管理サーバ102により実行される処理をMFP101が実行することにより、MFP101を画像処理装置として機能させることも可能である。
【0016】
次に、図5、図6、図7に示すフローチャートを参照しながら、画像処理システムにおいて文書を印刷する場合の処理について説明する。図5は文書管理サーバ102の処理、図6はクライアントPC103の処理、図7はMFP101の処理(印刷処理)をそれぞれ示すフローチャートである。
【0017】
まず、文書管理サーバ102は、ネットワーク104を介して、MFP101及びクライアントPC103と接続されると、クライアントPC103に対して印刷対象とする文書を選択させるための印刷文書選択画面情報を送信する(図5、ステップA1)。印刷文書選択画面情報には、例えば、文書管理サーバ102に保存されている文書のファイル名一覧を表示させるためのデータが含まれている。
【0018】
クライアントPC103は、文書管理サーバ102と接続されると、文書管理サーバ102からの印刷文書選択画面情報の受信待ち状態となる。クライアントPC103は、印刷文書選択画面情報を受信したことを検知すると(図6、ステップB1のYes)、印刷文書選択画面情報に基づいて、表示器407において印刷文書選択画面を表示する(ステップB2)。
【0019】
クライアントPC103は、印刷文書選択画面から印刷対象とする文書を選択する指示が入力されると(ステップB3のYes)、選択された印刷文書を示すデータを文書管理サーバ102に送信する(ステップB4)。
【0020】
文書管理サーバ102は、クライアントPC103から印刷文書を受信すると(ステップA2のYes)、クライアントPC103に対して印刷設定をさせるための印刷設定画面情報を送信する(ステップA3)。
【0021】
クライアントPC103は、印刷設定画面情報を受信したことを検知すると(ステップB5のYes)、印刷設定画面情報に基づいて、表示器407において印刷設定画面を表示する(ステップB6)。
【0022】
図8は、クライアントPC103の表示器407により表示される印刷設定画面の一例を示している。
印刷設定画面には、文書を紙媒体に印刷する際の印刷形態を設定するための複数の印刷設定項目が設けられている。印刷設定項目には、例えば、1枚に複数ページ分(Nページ)をまとめて印刷するNin1印刷を設定するためのNin1設定項目1001、両面印刷と片面印刷の何れかを設定するための印刷面設定項目1002、複数枚のページを1枚の紙媒体に印刷する場合のページの配置を設定する印字方向項目1003、文書を印刷する際のカラーモードを設定するためのカラーモード設定項目1004が設けられている。
【0023】
Nin1設定項目1001では、「Nin1印刷なし」の他、1枚(1面)に印刷する文書のページ数(例えば、2,4,6,8,9,12)の何れかを設定することができる。
【0024】
印刷面設定項目1002では、1枚の紙媒体に対して「片面」と「両面」の何れに印刷するかを設定することができる。また、「両面」の印刷では、紙媒体を横長の向きで印刷するか(短辺とじ)、あるいは縦長の向きで印刷するか(長辺とじ)を設定することができる。
【0025】
印字方向項目1003では、ページの配置として、図9に示すように、「順横方向」(図9(a))、「順縦方向」(図9(b))、「逆横方向」(図9(c))、「逆縦方向」(図9(d))の何れかを設定することができる。
【0026】
カラーモード設定項目1004では、カラーモードとして「フルカラー」「グレースケール」「モノクロ」の何れかを設定することができる。
【0027】
クライアントPC103は、各印刷設定項目1001〜1004についての設定(選択)がされた後、「決定」ボタンに対する指示によって設定完了が指示されると(ステップB7のYes)、設定された内容を示す印刷設定情報を文書管理サーバ102に送信する(ステップB8)。
【0028】
文書管理サーバ102は、クライアントPC103から印刷設定情報を受信すると(ステップA4のYes)、印刷文書について予め設定された文書IDを取得する(ステップA5)。なお、文書IDは、文書管理サーバ102に保存された各文書に対して予め決められた、文書に固有のデータである。
【0029】
文書管理サーバ102は、文書IDとクライアントPC103から受信した印刷設定情報を含むコードパターンを生成する(ステップA6)。コードパターンは、文書が印刷される紙媒体に文書と共に印刷するためのもので、例えば二次元コードが用いられる。以下の説明では、QR(Quick response)コードが用いられるものとして説明する。なお、QRコード以外の二次元コードを用いても良いし、バーコード等の一次元コードや三次元コードなどを用いることも可能である。
【0030】
次に、文書管理サーバ102は、MFP101により印刷させるために、印刷設定情報に応じて、印刷文書に対応する印刷画像を作成する(ステップA7)。すなわち、図8に示す印刷設定画面において、Nin1設定項目1001、印刷面設定項目1002、印字方向項目1003、及びカラーモード設定項目1004においてそれぞれ設定された設定内容に応じた印刷画像を作成する。
【0031】
例えば、Nin1印刷において「4in1」が設定されている場合には、1枚に4ページ分を印刷する印刷画像を作成する。また、「両面(短辺とじ)」が設定されている場合には、紙媒体を横長にした向きで印刷するようにページをレイアウトし、紙媒体の表面用と裏面用のそれぞれ印刷画像を作成する。複数のページを1枚に印刷する際の印字方向として「順横方向」が設定されている場合には、図9(a)に示す順番で各ページを配置する。そして、カラーモードとして「グレースケール」が設定されている場合には、文書中に黒の文字以外に他の色の文字や図形、カラーの絵などが含まれていれば、これらをグレースケールで表現した印刷画像を作成する。
【0032】
また、文書管理サーバ102は、印刷画像に印刷設定情報と文書IDとを含むQRコードの印刷パターンを付与する。本実施形態では、1つのQRコードを紙媒体の予め決められた位置、例えば紙媒体の左上隅の近傍に付与する。
【0033】
なお、印刷設定情報においてNin1印刷が設定されている場合、1枚の紙媒体に印刷される印刷画像には、印刷文書の複数分のページが含まれる。複数分のページを含む印刷画像に対しても、1つのQRコードを付与するものとする。
【0034】
また、QRコードは、少なくとも1枚目の紙媒体の一方の面(例えば表面)に印刷されるように印刷画像が生成されるものとする。印刷文書が複数枚の紙媒体に印刷される場合に、QRコードを1枚目のみに印刷したり、全ての紙媒体のそれぞれに印刷したりすることができる。また、印刷設定情報において「両面」印刷が設定されている場合、QRコードを一方の面にのみに印刷したり、両方の面にそれぞれ印刷したりすることも可能である。QRコードを1枚目のみに印刷する場合には、QRコードの作成が1回で良いため処理負担が軽くて済む。
【0035】
文書管理サーバ102は、印刷実行を指示する印刷命令と印刷画像とを、MFP101に対して送信する(ステップA8)。
【0036】
MFP101は、文書管理サーバ102より印刷命令と印刷画像を受信すると(図7、ステップC1のYes)、印刷ユニット206を用いて印刷を実行する(ステップC2)。MFP101により印刷された印刷文書は、印刷設定情報により指定された形態によって文書が印刷され、また左上隅の近傍に印刷設定情報を含むQRコードが印刷されている。
【0037】
この印刷文書は、例えば、文書内容についてのレビュー等(記載内容のチェックや修正など)をするために使用される。ここで、印刷文書に対しては、修正内容を示す文字列等からなるコメントが手書きによって記入される。
【0038】
図10は、コメントが手書きされた印刷文書の例を示している。図10に示す印刷文書は、例えば、印刷設定情報として、Nin1設定項目1001において「4in1」、印刷面設定項目1002において「片面」、印字方向項目1003において「順横方向」、カラーモード設定項目1004として「モノクロ」が設定された例を示している。
【0039】
図10に示すように、印刷文書の左上隅の近傍には、QRコード1101が印刷されている。また、印刷設定情報に従い、1枚の紙媒体(一方の面)に4ページ分の文書が印刷されている。図10中に示す矩形枠1102,1103,1104,1105は、印刷文書の各ページの内容、例えば文字列が印刷されている範囲を示すものである。印刷文書の内容(文字列)は、手書きされたコメントの記載位置を分かり易くするために、図10において省略している。なお、図10中の破線は各ページの境界を示すもので印刷されるものではない。
【0040】
図10では、分かり易くするために手書き入力された内容を「コメント1」〜「コメント6」と示しているが、実際には、レビューの結果とする修正内容を示す文字列や絵、図形等の意味のある内容がコメントとして手書きされる。
【0041】
本実施形態における画像処理システムでは、印刷文書に対してコメントを手書きする際の記入位置に制約を設けていない。一般には、文書が印刷されていない行間や、印刷ページの周囲に設けられた余白領域に、手書きされることが多い。
【0042】
例えば、「コメント2」「コメント3」「コメント4」は、文書の行間に手書きされた例を示し、「コメント1」「コメント5」「コメント6」は余白領域に手書きされた例を示している。なお、印刷された文書の上に重ねて、コメントを手書きすることも可能である。
【0043】
また、「コメント1」「コメント2」には、コメントの他に、ページとの対応関係を明示するための特定の形状のパターンが手書きされている。図10に示す例では、手書きされたコメントに対応するページを指示するための指示線が手書きされている。指示線は、一端がコメントの近傍にあり、他端がコメントと対応付けるページの領域内にあるように、予め決められた長さ以上(通常の文字を手書きする場合の線よりも十分に長い)となるように手書きされるものとする。指示線は、単純な線であるため、手書きするための負担が少なくて済む。なお、他の形状のパターンを用いることも可能であるが、コメント以外に手書きを必要とするため、負担を増大させないように単純なパターンであることが望ましい。
【0044】
本実施形態では、文書管理サーバ102における画像処理によって、手書きされたコメントの位置と印刷画像の各ページの印刷位置とに基づいて、コメントが何れのページに対するものであるかを判別する。このページとコメントとを対応付けるため画像処理の詳細については後述する。
【0045】
次に、図11、図12に示すフローチャートを参照しながら、印刷文書に手書きされたコメントをページ毎にまとめた議事録を作成するための処理について説明する。図11はMFP101の処理(スキャン処理)、図12は文書管理サーバ102の処理をそれぞれ示すフローチャートである。
【0046】
まず、MFP101は、スキャン命令を受信すると(図11、ステップD1のYes)、画像読み取りユニット205によって原稿(印刷文書)をスキャンして画像データ(スキャン画像)を読み取る(ステップD2)。ここで、MFP101は、ADF(Auto Document Feeder)を用いて原稿のスキャンが実行されるものとする。すなわち、ADFにセットされた原稿について一括してスキャンが実行される。複数枚の原稿がセットされていた場合には、複数枚の原稿についてのスキャン画像が読み取られる。
【0047】
ここでは、例えば複数の原稿(印刷文書)に対して片面印刷され、先頭の原稿にのみQRコードが印刷されているものとする。この場合、複数枚の原稿は正しい向きに正しい順序に揃えられてADFにセットされ、スキャンされるものとする。
【0048】
MFP101は、ADFにセットされた全ての原稿についてのスキャンが完了すると、スキャン画像を文書管理サーバ102に送信する(ステップD3)。
【0049】
文書管理サーバ102は、MFP101からスキャン画像を受信すると(図12、ステップE1のYes)、先頭の原稿から読み取られたスキャン画像からQRコードを読み取る(ステップE2)。QRコードは、原稿の予め決められた位置(左上隅の近傍)に印刷されているため、容易に読み取ることができる。
【0050】
文書管理サーバ102は、スキャン画像から読み取られたQRコードをデコードし(ステップE3)、QRコードに含まれる印刷設定情報と文書IDを抽出する(ステップE4)。
【0051】
文書管理サーバ102は、保存されている複数の文書から文書IDに対応する文書を取得し(ステップE5)、この文書に印刷設定情報を反映した画像、すなわち印刷画像と同等の画像を作成する(ステップE6)。すなわち、印刷時と同様にして、Nin1印刷、印刷面、印字方向、カラーモードについての設定内容に応じた画像を生成する。
【0052】
また、文書管理サーバ102は、文書IDと印刷設定情報を含むQRコード(コードパターン)を生成し、このQRコードを印刷画像に付与する(ステップE7)。これにより、元の印刷文書を印刷する際に生成した時と同じ印刷画像を生成することができる。なお、印刷文書が1枚の紙媒体に印刷できない長さ(ページ数)である場合には、複数枚分の印刷画像が生成される。
【0053】
次に、文書管理サーバ102は、MFP101から受信したスキャン画像について、先頭から順番に以下の処理を実行する。文書管理サーバ102は、N番目(初期値N=1)のスキャン画像とN番目の印刷画像を取得し(ステップE8)、2つの画像の差分を抽出する(ステップE9)。以下、ここで抽出された画像を差分画像と称する。スキャン画像から抽出された文書IDと印刷設定情報に基づいて生成された印刷画像は、スキャン画像のもとになった印刷文書を印刷する際の印刷画像と同じ画像であるため、2つの画像の差分を抽出することにより印刷文書に対して手書きされたコメントのみが差分画像として抽出される。
【0054】
図13は、差分画像の例を示している。図13に示す差分画像は、図10に示すコメントが手書きされた印刷文書に対応するもので、「コメント1」〜「コメント6」のそれぞれが抽出されている。また、「コメント1」「コメント2」には、ページとの対応関係を明示するための特定の形状のパターン(指示線)が付加されている。なお、図13中の破線は各ページの境界を示すもので差分画像には含まれない。
【0055】
次に、文書管理サーバ102は、差分画像のまとまり(グループ)を判別することにより、手書きされたコメント毎に差分画像を分類する。差分画像のまとまり(グループ)は、例えば隣接する画像が予め決められた距離内に存在する画像の集合とする。文書管理サーバ102は、コメント毎に分類した差分画像について、手書きされた範囲を示す領域(以下、コメント領域と称する)を設定して記録する。
【0056】
例えば、コメント領域は、差分画像に外接する矩形によって設定されるものとする。コメント領域の範囲は、スキャン画像に対してXY座標系を定義し、矩形の対角2頂点(例えば、左上、右下)の座標値によって示すものとする。
【0057】
なお、コメントに指示線が付加されている場合には、指示線に相当する差分画像を除いた差分画像のグループを対象としてコメント領域を設定するものとする。指示線による差分画像は、予め決められた長さ以上の線となっており、文字を表す差分画像と容易に区別することができる。指示線に相当する差分画像が抽出された場合には、この差分画像の両端(コメント領域の近傍にある点を始端、他方の点を終端とする)の座標値もコメント領域の座標値と共に記録しておくものとする。
【0058】
また、印刷文書に対するコメントは、図10に示すように、水平方向あるいは垂直方向に手書きされるだけでなく、斜め方向に手書きされる場合もある。こうした場合、矩形の対角2頂点の座標値により示すだけでなく、他の定義の方法によってコメント領域を設定するようにしても良い。また、1文字分の差分画像毎に矩形枠を設定し、複数の矩形枠の集合によって文字列に対応するコメント領域を設定するようにしても良い。
【0059】
次に、文書管理サーバ102は、差分画像に対して文字認識処理を実行することにより、差分画像が表す文字列を抽出する(ステップE11)。
文書管理サーバ102は、既存の文字認識処理の技術を用いるなどして、コメント毎に分類された差分画像を1文字に相当する画像毎に区分する。そして、1文字に相当する画像毎に、予め用意されている文字認識用の辞書データと照合することにより手書きされた文字を判別し、その文字の文字データを記録する。
【0060】
なお、文字認識処理では、印刷設定情報とスキャン画像において設定されたコメント領域の位置を利用して、認識率の向上を図ることができる。すなわち、印刷画像中の余白領域とコメント領域(差分画像)との位置関係を判別し、この位置関係をもとに文字列の方向を設定して文字認識を実行する。
【0061】
例えば、文書管理サーバ102は、印刷設定情報をもとにして、印刷されるページの周辺に設けられた余白領域の範囲を算出することができる。図14には、印刷設定情報をもとに算出された横長の余白領域1401,1402,1403を示し、図15には、同じく縦長の余白領域1501,1502,1503を示している。
【0062】
図14では、横長の余白領域1401にコメントが手書きされた例を示している。図14に示すコメントAのコメント領域は、2点の座標P1,P2により設定されている。文書管理サーバ102は、2点の座標P1,P2が横長の余白領域1401に含まれると判別される場合には、コメントAが横書きされているものと判別する。この場合、差分画像に対して文字認識処理をする際に、横書きされた文字であるものとして処理を実行する。
【0063】
同様にして、図15に示すコメントBのコメント領域は、2点の座標P3,P4により設定されている。文書管理サーバ102は、2点の座標P3,P4が縦長の余白領域1501に含まれると判別される場合には、コメントBが縦書きされているものと判別する。この場合、差分画像に対して文字認識処理をする際に、縦書きされた文字であるものとして処理を実行する。
【0064】
このように、印刷設定情報により算出される余白領域とコメント領域との位置関係を判別し、この位置関係をもとにして手書きされた文字列の方向を設定して差分画像について文字認識処理を実行することで、文字の認識率の向上を期待することができる。
【0065】
なお、図14及び図15では、コメント領域の位置を示す2点の座標が余白領域内にある場合を対象としているが、他の位置関係に基づいて手書きの方向が横書きかあるいは縦書きかを判別するようにしても良い。例えば、コメント領域の位置を示す一方の点が横長の余白領域に含まれ、他方の点が横長の余白領域の近傍にある場合には、横書きされているものとして判別するようにしても良い(縦長の余白領域についても同じ)。さらに、余白領域とコメント領域(差分画像)との位置関係をもとにした別の方法を用いて、手書きされた文字列の方向を判別して文字認識処理に反映するようにしても良い。
【0066】
また、印刷設定情報に文書の文字方向(横書き、縦書き)が含まれている場合に、この文字方向の設定に応じて文字認識処理を実行するようにしても良い。一般に、横書きされた文書に対しては、文書の並びに沿って横書きでコメントの文字列が手書きされる場合が多い。このため、文書の文字方向が「横書き」に設定されている場合には、手書きされた文字列の方向を「横書き」に設定して差分画像について文字認識処理を実行することで、文字の認識率の向上を期待することができる。
【0067】
文書管理サーバ102は、前述したようにして、コメント毎に分類したそれぞれの差分画像について文字認識処理を実行して、コメント毎の文字認識処理の結果(文字列等)を記録する。
【0068】
なお、差分画像を全て文字として認識するだけでなく、図形や絵などのイメージとして記録するようにしても良い。例えば、差分画像に対する文字認識処理において、辞書データの照合において予め設定された基準値より認識率が低い場合には、手書きされたコメントが文字以外の図形や絵などであると見なし、差分画像をそのまま手書きされたコメントとして記録する。
【0069】
また、差分画像について文字認識した結果、文字として認識できた場合(認識率が基準値以上であった場合)であっても、文字認識結果(文字データ)と共に差分画像を対応付けて記録しておくようにしても良い。
【0070】
次に、文書管理サーバ102は、コメント領域(差分画像)が何れのページに対応するかを判別し、該当するページにコメント毎の文字認識処理の結果(文字列等)を振り分ける(ステップE12)。すなわち、文書管理サーバ102は、コメント(文字列等)が何れのページに対して手書きされたかを、差分画像と印刷画像に含まれるページとの対応関係に基づいて判別する。
【0071】
図16は、コメント領域(差分画像)と印刷画像中のページとの対応関係を判別するための処理を示すフローチャートである。文書管理サーバ102は、図16に示す処理を、各コメント領域について実行して、それぞれに対応するページを判別する。
【0072】
文書管理サーバ102は、差分画像(コメント領域)に指示線が付加されている場合(ステップF1のYes)、指示線の終端座標が属するページを対応付けの対象として判別する(ステップF2)。
【0073】
図17は、図13に示す指示線が付加された「コメント2」の差分画像を示している。図17に示すように「コメント2」の差分画像1に対しては、2点の座標P5,P6によりコメント領域が設定されている。このコメント領域には、始端をP7、終端をP8とする指示線(差分画像2)が付加されている。
【0074】
文書管理サーバ102は、印刷設定情報をもとにして、スキャン画像における複数のページのそれぞれの印刷位置を判別することができる。図17では、1〜4ページ目のそれぞれが印刷される位置として、1〜4ページ領域が判別される。従って、文書管理サーバ102は、指示線の終端P8の座標が1ページ領域に含まれることを判別することができる。
【0075】
指示線は、コメント2が手書きされた際に、コメント2と対応付けるページを明示するために意図して付加された特定のパターンである。従って、コメント2が4ページ領域に手書きされていたとしても、コメント2を1ページと対応付けるものと判別する。
【0076】
次に、文書管理サーバ102は、差分画像(コメント領域)に指示線が付加されていない場合(ステップF1のNo)、差分画像(コメント領域)の各ページ領域に含まれる面積を算出し(ステップF3)、差分画像が含まれる面積が最も大きいページ領域を対応付けの対象として判別する(ステップF4)。
【0077】
図18は、図13に示す「コメント4」の差分画像を示している。図18に示すように「コメント4」の差分画像は、2点の座標P9,P10によりコメント領域が設定されている。このコメント領域は、1ページ領域と2ページ領域に含まれている。
【0078】
文書管理サーバ102は、印刷設定情報をもとにして、1ページ領域と2ページ領域の境界を判別することができる。文書管理サーバ102は、座標P9,P10と1ページ領域と2ページ領域の境界とに基づいて、1ページ領域に含まれる「領域1」と2ページ領域に含まれる「領域2」のそれぞれの面積を算出し、何れの領域の面積が大きいかを判別する。なお、図18に示すコメント領域は、2つのページ領域に含まれているが、3つ以上のページ領域にコメント領域が含まれる場合には、3つ以上のページ領域のそれぞれに含まれる面積を算出して比較する。
【0079】
ここで、最も面積が大きいページ領域がちょうど一つだけ存在した場合(ステップF5のYes)、文書管理サーバ102は、コメント領域が含まれる面積が最も大きいページにコメントを対応付ける。図18に示すコメント4は、1ページ領域に含まれる「領域1」の方が「領域2」より面積が大きいため、コメント4を1ページと対応付けるものと判別する。
【0080】
通常、コメントを手書き入力する場合、関連するページ内にコメントを書き込もうとする傾向があるため、コメント領域が含まれる面積に基づいて、コメントに対応付けるページを判別することができる。
【0081】
なお、最も面積が大きいページ領域が二つ以上存在した場合(ステップF5のNo)、文書管理サーバ102は、差分画像の特定の位置が属するページ領域を対応付けの対象として判別する(ステップF6)。ここでは、例えば、差分画像の特定の位置を、コメント領域の位置を示す左上頂点の座標とする。
【0082】
図19は、図13に示す「コメント6」の差分画像、図20は、図13に示す「コメント5」の差分画像をそれぞれ示している。
【0083】
図19と図20に示すように、「コメント6」「コメント5」の差分画像(コメント領域)は、ページ境界上にあり、それぞれのページ領域に含まれる面積が同じとなっている。
【0084】
この場合、文書管理サーバ102は、図19に示す「コメント6」については、左上座標P11が3ページ領域に含まれるため、コメント6を3ページと対応付けるものと判別する。また、文書管理サーバ102は、図20に示す「コメント5」については、左上座標P13が2ページ領域に含まれるため、コメント5を2ページと対応付けるものと判別する。
【0085】
このように、コメントに付加された指示線、コメント領域が含まれる面積、コメントの書き始めの位置(左上座標)の順で優先順位を付けてコメント領域に対応付けるページを判別するので、コメントとページとの対応関係をより確実に決めることができる。従って、コメントを手書きする際の制約を少なくすることができる。
【0086】
こうして、N番目のスキャン画像について全てのコメント領域(差分画像)の処理が完了すると、文書管理サーバ102は、次のスキャン画像が存在すれば(ステップE13のYes)、前述と同様の処理を繰り返して実行する(ステップE8〜E12)。
【0087】
全てのスキャン画像について処理が終了すると(ステップE13のNo)、文書管理サーバ102は、各スキャン画像に対する処理によって記録されたコメント(文字列等)をページ毎にまとめた議事録を作成する(ステップE14)。
【0088】
図21、図22、図23、及び図24には、文書管理サーバ102によって作成される議事録の形態の一例を示している。
図21は、印刷対象となった文書に、各ページと対応付けられたコメントをページ毎に挿入した形態を示している。図21(a)は、文書の1ページ目であり、この1ページ目の後に、図21(b)に示すような1ページと対応付けられた「コメント3」「コメント4」「コメント1」「コメント2」を挿入する。なお、コメントの順番は、差分画像における配置に応じて決定されるものとする。例えば、図21(b)に示す例では、スキャン画像中の上に配置されたコメントから順番に配置した例を示している。図21(c)は、文書の2ページ目と、2ページと対応付けられた「コメント5」を示している。図21(d)は、文書の3ページ目と、3ページと対応付けられた「コメント6」を示している。
【0089】
印刷文書が特定の文書作成用のアプリケーションによって作成されている場合、このアプリケーションにコメントを付加する機能が設けられていれば、この機能を利用して元の文書にコメントデータとして付加することも可能である。
【0090】
図21に示す形態では、文書の各ページと対応付けてコメントが分類されているために、文書本文とコメントとの対応付けを容易にすることができる。
【0091】
図22は、コメントのみをページ毎に分類した形態を示している。図22に示すように、1ページ目に対応付けられた「コメント3」「コメント4」「コメント1」「コメント2」がまとめて記載され、2ページ目と3ページ目にそれぞれ対応付けられた「コメント5」「コメント6」が記載されている。
【0092】
図22に示す形態では、手書きによって追加されたコメントのみをまとめて確認することが容易となる。
図23は、印刷対象となった文書に、各ページと対応付けられたコメントをそれぞれのページ内に挿入した形態を示している。図23(a)(b)は、文書の1ページ目を示しており、1ページ目と対応付けられた「コメント3」「コメント4」「コメント1」「コメント2」がページ内に挿入されている。
【0093】
図23に示す形態が用いられる場合には、コメント領域(差分画像)とページとの対応関係を判別するだけでなく、コメント領域のページにおける位置についても判別しておくものとする。例えば、図13において「コメント3」はページ内の上端から1/3位の位置に存在している。同様にして「コメント4」は、ページ内の上端から1/2位の位置、「コメント1」「コメント2」はページの下端より下に存在している。
【0094】
文書管理サーバ102は、各コメント領域のページにおける位置に応じて、ページ内の該当行の近傍にコメントを挿入する。図23(a)では、ページの先頭から1/3位の行位置に「コメント3」、ページの先頭から1/2位の行位置に「コメント4」、行末に「コメント1」「コメント2」が挿入されている。
【0095】
なお、印刷文書に対するコメントは、厳密に文書の行位置に合わせて手書きされるわけではないので、各コメント領域のページにおける位置や、コメントを挿入する行位置を、必ずしも正確に算出する必要がないものとする。
【0096】
また、印刷文書が特定の文書作成用のアプリケーションによって作成されている場合、このアプリケーションに修正箇所を明示した表示形態(修正履歴表示)で文字等を文書に追加できる機能が設けられていれば、この機能を利用して元の文書にコメントデータとして挿入することも可能である。
図23に示す形態では、文書のページ内にコメントが挿入されるため、文書本文とコメントとの対応付けを容易にすることができる。
【0097】
図24は、文書のページ毎に、手書きされたコメントに対する文字認識処理により得られた文字列のデータと共に、コメントの差分画像を記載した形態を示している。
図24(a)(b)に示す形態では、各ページにおいて読み取られたコメントと、それぞれに対応する差分画像が記載されている。なお、図24(a)(b)に示す例では、全てのコメントに対して差分画像を記載しているが、例えば文字認識処理によって認識率が低かったコメントについてのみ差分画像を記載しても良いし、認識率が低かったコメントについては差分画像のみを掲載するようにしても良い。また、図21や図23に示すように、印刷文書にコメント(文字列)と差分画像(あるいは何れか一方)を挿入するようにしても良い。
【0098】
なお、図21〜図24に示す形態のうち何れの形態の議事録を作成するかは、クライアントPC103から文書管理サーバ102に対して予め任意に設定できるようにしても良いし、何れかの形態に固定されていても良い。
【0099】
こうして、文書管理サーバ102は、印刷文書に手書きされたコメントをページ毎にまとめた議事録を作成すると、この議事録のデータを記録すると共に、クライアントPC103に処理の終了を通知する(ステップE15)。
【0100】
このようにして、本実施形態におけるシステムでは、複数分のページが印刷された印刷文書に手書きされたコメントと、各ページとの対応関係を判別して、コメントをページ毎に分類した議事録を簡単に作成することができる。
【0101】
なお、前述した説明では、(1)「複数の原稿(印刷文書)に対して片面印刷され、先頭の原稿にのみQRコードが印刷されている場合」を例にしているが、(2)「複数の原稿(印刷文書)に対して両面印刷され、先頭の原稿にのみQRコードが印刷されている場合」、(3)「複数の原稿(印刷文書)に対して片面印刷され、全ての原稿にQRコードが印刷されている場合」、(4)「複数の原稿(印刷文書)に対して両面印刷され、全ての原稿にQRコードが印刷されている場合」を対象とすることも可能である。
【0102】
(2)「複数の原稿(印刷文書)に対して両面印刷され、先頭の原稿にのみQRコードが印刷されている場合」については、スキャン処理において原稿(印刷文書)を両面スキャンして画像データ(スキャン画像)を読み取り、各面から読み取ったスキャン画像について前述と同様の処理を実行すれば良い。文書管理サーバ102は、1枚目の原稿の表面のスキャン画像からQRコードを読み取り、このQRコードが示す文書IDと印刷設定情報に基づいて処理を実行する。
【0103】
次に、(3)(4)の「全ての原稿にQRコードが印刷されている場合」について、図25と図26に示すフローチャートを参照しながら説明する。図25はMFP101の処理(スキャン処理)、図26は文書管理サーバ102の処理をそれぞれ示すフローチャートである。なお、全ての原稿にQRコードを印刷する場合、文書IDと印刷設定情報の他に、印刷文書のページに応じたページ番号のデータを含むようにQRコードを生成して印刷画像に付加するものとする。
【0104】
MFP101による印刷処理では、片面印刷と両面印刷の何れかを任意に選択することができるものとする。一方、スキャン処理では、片面印刷あるいは両面印刷された原稿がADFにセットされてスキャン処理が開始されるものとする。
【0105】
全ての原稿(印刷面)にQRコードを印刷する場合には、スキャン画像から検出されるQRコードの位置によって原稿が読み取られた向きを判別して、スキャン画像の向きを補正することができるため、ADFにセットされる複数の原稿の向き(上下左右)はそれぞれ何れであっても良い。また、QRコードにはページ番号のデータが含まれているため、ページ番号をもとにして、各原稿から読み取られた手書きのコメントのデータの順番を整列させることができる。従って、複数枚の原稿を正しい順番に配列させてADFにセットしてスキャンする必要もない。このため、ユーザは、原稿の向きや順番を予め揃えてADFにセットする必要がないため作業負担が軽減される。ただし、片面印刷された原稿については、印刷面がスキャンされるように表裏の向きを揃えてADFにセットする必要があるものとする。
【0106】
まず、MFP101は、スキャン命令を受信すると(図25、ステップG1のYes)、画像読み取りユニット205によって1枚目の原稿(印刷文書)を両面スキャンして、表面と裏面のそれぞれの画像データ(スキャン画像)を読み取る(ステップG2)。
【0107】
MFP101は、1枚目の原稿(印刷文書)を両面スキャンが完了すると、両面のスキャン画像を文書管理サーバ102に送信する(ステップG3)。
【0108】
文書管理サーバ102は、MFP101からスキャン画像を受信すると(図26、ステップH1のYes)、1枚目の原稿から読み取られたスキャン画像からQRコードを読み取る(ステップH2)。QRコードは、原稿の予め決められた位置(左上隅の近傍)に印刷されているため、原稿の向きが何れであっても4隅近傍の何れかにおいて読み取ることができる。ここでは、原稿の表面のスキャン画像からQRコードを読み取る。
【0109】
文書管理サーバ102は、スキャン画像から読み取られたQRコードをデコードし(ステップH3)、QRコードに含まれる印刷面の印刷設定情報を抽出し(ステップH4)、この情報をMFP101に送信する(ステップH5)。
【0110】
文書管理サーバ102は、文書管理サーバ102から印刷面(片面/両面)の印刷設定情報を受信すると(ステップG4のYes)、この情報に応じたスキャン動作を実行する。
【0111】
すなわち、両面印刷が設定されていた場合には、MFP101は、ADFにセットされた残りの原稿について両面スキャンを実行し(ステップG8)、スキャン画像を文書管理サーバ102に送信する(ステップG9)。
【0112】
一方、片面印刷が設定されていた場合には、MFP101は、ADFにセットされた残りの原稿について片面スキャンを実行し(ステップG6)、スキャン画像を文書管理サーバ102に送信する(ステップG7)。片面スキャンは、両面スキャンを実行する場合と比較して1枚の原稿に要する処理時間が短い。従って、1枚目の原稿に記録されたQRコード(印刷設定情報)をもとに片面印刷された原稿であることが判別できた場合に、片面スキャンに処理を特定することで、無駄な処理時間を発生させなくて済む。特に大量の原稿をスキャンする場合には、両面スキャンをする場合より大幅な時間短縮が可能である。
【0113】
文書管理サーバ102は、MFP101から残りのスキャン画像を受信すると(ステップH6のYes)、全てのスキャン画像からQRコードを読み取り、スキャン画像中におけるQRコードの位置をもとにスキャン画像の向きを判別する(ステップH7)。QRコードは、原稿の予め決められた位置(左上隅の近傍)に印刷されているため、原稿の向きが何れであっても4隅近傍の何れかにおいて読み取ることができ、その読み取り位置によってスキャン画像の向きを判別することができる。
【0114】
文書管理サーバ102は、スキャン画像から読み取られたQRコードをデコードし(ステップH8)、QRコードに含まれる印刷設定情報(ページ番号のデータを含む)と文書IDを抽出する(ステップH9)。なお、1枚目の原稿のスキャン画像については、先にQRコードの読み取りを実行しているので(ステップH2,H3)、先の処理のデータを利用するようにしても良い。
【0115】
以下、文書管理サーバ102は、MFP101から受信したスキャン画像について、先頭から順番に以下の処理を実行する。まず、文書管理サーバ102は、QRコードから取得された印刷設定情報をもとにして、スキャン画像との差分画像を抽出するために印刷画像と同等の画像を作成する(ステップH10〜H12)。なお、ステップH10〜H12については、図12に示すE5〜E7の処理と同様に実行されるものとして詳細な説明を省略する。
【0116】
全ての原稿にQRコードが印刷されている場合には、原稿の順番を揃えてADFにセットさせる必要がないものとしているため、文書管理サーバ102は、ステップH9においてQRコードから抽出されたページ番号のデータをもとに、スキャン画像を正しい順番に整列する(ステップH12.5)。
【0117】
文書管理サーバ102は、N番目(初期値N=1)のスキャン画像とN番目の印刷画像を取得し(ステップH13)、スキャン画像についてステップH7において判別された向きに応じて正しい向きに補正した後(ステップH14)、2つの画像の差分を抽出する(ステップH15)。
【0118】
以下、文書管理サーバ102は、差分画像から文字列等を抽出し、文書の対応するページを判別して振り分ける処理を実行する(ステップH16〜H18)。なお、ステップH16〜H18の処理については、図12に示すステップE10〜E12と同様にして実行されるものとして詳細な説明を省略する。
【0119】
こうして、N番目のスキャン画像についての処理が完了すると、文書管理サーバ102は、次のスキャン画像が存在すれば(ステップH19のYes)、前述と同様の処理を繰り返して実行する(ステップH13〜H18)。
【0120】
全てのスキャン画像について処理が終了すると(ステップH19のNo)、文書管理サーバ102は、各スキャン画像に対する処理によって記録されたコメント(文字列等)をページ毎にまとめた議事録を作成する(ステップH20)。
【0121】
こうして、文書管理サーバ102は、印刷文書に手書きされたコメントをページ毎にまとめた議事録を作成すると、この議事録のデータを記録すると共に、クライアントPC103に処理の終了を通知する(ステップH21)。
【0122】
このようにして、全ての原稿にQRコードを印刷することにより、ADFに原稿をセットする際のユーザへの負担を軽減することができる。また、QRコードをもとに片面/両面印刷を判別して、MFP101における片面スキャン/両面スキャンを切り替えて実行するので、無駄な処理時間を発生させなくてすむ。
【0123】
なお、前述した図25及び図26に示す処理では、1枚目の原稿に印刷されたQRコードを読み取って、QRコードが示す片面/両面印刷の設定に応じてMFP101のスキャンを制御しているが、MFP101においてADFにセットされた全ての原稿について両面スキャンを実行するようにしても良い。
【0124】
例えば、MFP101は、ADFにセットされた全ての原稿を両面スキャンして、スキャン画像を文書管理サーバ102に送信する。文書管理サーバ102は、先頭のスキャン画像からQRコードを抽出し、印刷設定情報において両面印刷が設定されていることが判別された場合には、MFP101から受信した全てのスキャン画像について前述と同様の処理を実行する。一方、印刷設定情報において片面印刷が設定されていることが判別された場合には、文書管理サーバ102は、MFP101から受信した全てのスキャン画像のうち偶数ページ(裏面)に該当するスキャン画像を全て削除する。そして、残った奇数ページ(表面)に該当するスキャン画像についてのみ前述と同様の処理を実行する。
【0125】
また、前述した説明では、MFP101においてADFを用いてスキャンを実行するものとしているが、MFP101ではフラットヘッドスキャナのスキャナ面(Glass)にユーザが原稿を1枚毎にセットしてスキャンを実行することができる。MFP101は、スキャン処理によって読み取られたスキャン画像を文書管理サーバ102に送信する際、スキャン処理がADFを用いたスキャン、あるいはスキャナ面(Glass)にユーザが原稿を1枚毎にセットしたスキャン(Glassスキャン)の何れによって実行されたかを文書管理サーバ102に通知する。
【0126】
文書管理サーバ102は、MFP101においてGlassスキャンであることが通知された場合、MFP101から受信された全てのスキャン画像を対象として前述した処理を実行する。すなわち、ユーザが原稿を1枚毎にセットしてスキャンを実行する場合には、印刷面についてのみ読み取りの対象とするためである。従って、文書管理サーバ102は、スキャン画像のQRコードが示す印刷設定情報が片面印刷を示す場合であっても、全てのスキャン画像について処理を実行する。
【0127】
なお、前述した説明では、印刷文書に手書きされたコメントをもとに議事録を作成する場合を例にしているが、議事録以外の各種の文書ファイルを作成することが可能である。
【0128】
また、前記実施形態では、印刷文書の各ページの印刷領域に対して手書き入力された文字列等と各ページの位置関係をもとにして、各ページと手書き文字等との対応関係を判別しているが、他の方法によって対応関係を判別するようにしても良い。例えば、複数のページを1枚の紙媒体に印刷(Nin1印刷)する際に、各ページに対応する手書き入力エリアを設ける。例えば、印刷対象とする本文を縮小印刷することで手書き入力用領域を確保し、この手書き入力用領域を各ページに対応するエリアに分割する。印刷時には、各ページに対応する手書き入力用領域の位置を示すデータを印刷設定情報とし、この情報を含むQRコードを文書と共に印刷する。手書き入力用領域に手書きされた印刷文書をスキャンして得られたスキャン画像に対しては、前述と同様にしてQRコードを検出し、QRコードが示す各ページに対応するエリアと手書き入力された文字等(差分画像)との対応関係を判別する。以下、前述と同様にして、議事録等を作成することができる。
【0129】
また、QRコードを付与して文書を印刷する場合、QRコードによって文書本文(元のデータ)が隠れてしまう可能性がある。これを回避するために、QRコードを印刷するための領域を確保するために、印刷画像を作成する際に文書本文(ページ)を縮小して印刷するようにしても良い。この場合、スキャン画像から差分画像を抽出する際に、印刷時と同じ縮小率で文書本文を縮小した印刷画像を作成するものとする。
【0130】
また、QRコードを付与する印刷文書中における位置を、印刷文書の右下にするなど文書本文が存在しない可能性の高い位置にしても良い。さらに、前述した説明では、1つの印刷面に1つのQRコードを付加するとしているが、複数のQRコードを付加するようにしても良い。
【0131】
なお、本発明は上記実施形態そのままに限定されるものではなく、実施段階ではその要旨を逸脱しない範囲で構成要素を変形して具体化できる。また、上記実施形態に開示されている複数の構成要素の適宜な組み合せにより種々の発明を形成できる。例えば、実施形態に示される全構成要素から幾つかの構成要素を削除してもよい。更に、異なる実施形態に亘る構成要素を適宜組み合せてもよい。
【符号の説明】
【0132】
101…MFP、102…文書管理サーバ、103…クライアントPC。
【技術分野】
【0001】
本発明の実施形態は、紙文書に加えられた手書き情報を電子化する画像処理装置、画像処理システム、画像処理方法、及び画像処理プログラムに関する。
【背景技術】
【0002】
文書作成アプリケーションを用いて作成された電子文書を紙媒体に印刷し、この紙媒体に印刷された文書内容についてレビュー(記載内容のチェックや修正など)をする場合がある。この際、紙文書に対して手書きによってコメント等を記載することがある。この手書きされたコメント等は、レビュー終了後に電子化して議事録等として記録する場合がある。
【0003】
紙文書に手書きされたコメント等を電子化するためには、元の電子文書を印刷した紙文書の画像(印刷画像)と、コメントが付加された紙文書の画像とを比較するため、2つの画像を対応付ける必要がある。その方法として、元の電子文書を紙文書として印刷する際、電子文書を一意に表すIDを含むコードを印刷する。そして、印刷した紙文書に手書きによりコメントを加えた後、紙文書をスキャンした際にコードを読み取ってIDを抽出することにより、印刷した元の電子文書とスキャンした文書とを対応付ける。
【0004】
また、印刷画像と、紙文書をスキャンして得られたスキャン画像とを比較して、手書きされたコメント等の差分画像を抽出したり、印刷したりする等の後処理に関する情報を予め印刷画像に含めておくことにより、スキャン後に得られる手書き文字に対する後処理を自動で行う方法がある。
【先行技術文献】
【特許文献】
【0005】
【特許文献1】特開2009−165088号公報
【特許文献2】特開2006−031548号公報
【発明の概要】
【発明が解決しようとする課題】
【0006】
このように従来では、元の電子文書(印刷画像)と紙文書の画像とを、紙文書に印刷したコードをもとに対応付けることができた。
【0007】
しかしながら、近年では、文書を紙媒体に印刷する際に、複数分のページを1枚の紙媒体に印刷する印刷形態、例えば1枚に複数ページ分をまとめて印刷するNin1印刷や両面印刷することも頻繁に行われており、こうした場合には、手書きされたコメント(差分画像)を抽出することは可能だが、抽出したコメントが複数ページの何れに対応するか判別することができなかった。
【0008】
本発明が解決しようとする課題は、複数分のページが印刷された紙文書に手書きされた情報と、各ページとの対応関係を判別することが可能な画像処理装置、画像処理システム、画像処理方法、及び画像処理プログラムを提供することである。
【課題を解決するための手段】
【0009】
実施形態によれば、画像処理装置は、印刷制御手段、画像入力手段、抽出手段、差分画像抽出手段、及び判別手段を有する。印刷制御手段は、印刷形態を示す印刷設定情報に応じて複数分のページを1枚の紙媒体に印刷させると共に、前記印刷設定情報を示すコードを前記紙媒体に印刷させる。画像入力手段は、前記紙媒体のスキャン画像を入力する。抽出手段は、前記スキャン画像から前記コードを抽出する。差分画像抽出手段は、前記抽出手段により抽出されたコードが示す印刷設定情報をもとに複数分のページを含む印刷画像を生成し、前記印刷画像と前記スキャン画像との差分画像を抽出する。判別手段は、前記差分画像と前記印刷画像に含まれるページとの対応関係を判別する。
【図面の簡単な説明】
【0010】
【図1】本実施形態における画像処理システムの構成を示すブロック図。
【図2】本実施形態におけるMFPの構成を示すブロック図。
【図3】本実施形態における文書管理サーバの構成を示すブロック図。
【図4】本実施形態におけるクライアントPCの構成を示すブロック図。
【図5】本実施形態における文書管理サーバの処理を示すフローチャート。
【図6】本実施形態におけるクライアントPCの処理を示すフローチャート。
【図7】本実施形態におけるMFPの処理(印刷処理)を示すフローチャート。
【図8】本実施形態におけるクライアントPCの表示器により表示される印刷設定画面の一例を示す図。
【図9】本実施形態における印字方向項目の設定内容を説明するための図。
【図10】本実施形態におけるコメントが手書きされた印刷文書の例を示す図。
【図11】本実施形態におけるMFPの処理(スキャン処理)を示すフローチャート。
【図12】本実施形態における文書管理サーバの処理を示すフローチャート。
【図13】本実施形態における差分画像の例を示す図。
【図14】本実施形態における印刷設定情報をもとに算出された横長の余白領域の例を示す図。
【図15】本実施形態における印刷設定情報をもとに算出された縦長の余白領域の例を示す図。
【図16】本実施形態におけるコメント領域(差分画像)と印刷画像中のページとの対応関係を判別するための処理を示すフローチャート。
【図17】本実施形態における図13に示す指示線が付加された「コメント2」の差分画像を示す図。
【図18】本実施形態における図13に示す「コメント4」の差分画像を示す図。
【図19】本実施形態における図13に示す「コメント6」の差分画像を示す図。
【図20】本実施形態における図13に示す「コメント5」の差分画像を示す図。
【図21】本実施形態における印刷対象となった文書に各ページと対応付けられたコメントをページ毎に挿入した形態を示す図。
【図22】本実施形態におけるコメントのみをページ毎に分類した形態を示す図。
【図23】本実施形態における印刷対象となった文書に各ページと対応付けられたコメントをそれぞれのページ内に挿入した形態を示す図。
【図24】本実施形態における文書のページ毎に、手書きされたコメントに対する文字認識処理により得られた文字列のデータと共に、コメントの差分画像を記載した形態を示す図。
【図25】本実施形態におけるMFPの処理(スキャン処理)を示すフローチャート。
【図26】本実施形態における文書管理サーバの処理を示すフローチャート。
【発明を実施するための形態】
【0011】
以下、実施の形態について、図面を参照して説明する。
図1は、本実施形態における画像処理システムの構成を示すブロック図である。画像処理システムは、MFP(Multi Function Peripheral)101と、MFP101から画像を取得して画像処理を行う文書管理サーバ102と、操作者からの入力を受け付けるクライアントパーソナルコンピュータ(PC)103とを含む。また、画像処理システムは、MFP101と文書管理サーバ102とクライアントPC103とを接続して、データを相互に送受信可能なネットワーク104も含む。ネットワーク104は、インターネットやLAN(Local Area Network)などである。
【0012】
MFP101は、図2に示すように、データの制御や演算などの処理を行うCPU(Central Processing Unit)201と、CPU201が処理するためのデータを一時的に記憶するRAM(Random Access Memory)202と、処理プログラムなどを記憶するROM(Read Only Memory)203と、ネットワーク104を介してデータを入出力するネットワークインタフェース(I/F)204を含む。また、MFP101は、画像読み取りユニット205、印刷ユニット206、FAXユニット207が設けられ、CPU201の制御のもとで、スキャナ機能、プリンタ機能、FAX機能を提供する。MFP101は、クライアントPC103からの指示に応じて、MFP101に記録された文書をプリンタ機能により印刷することができる。また、MFP101は、スキャナ機能によって、文書等が記録された紙媒体をスキャンして画像データ(スキャン画像)を読み取り、文書管理サーバ102に出力することができる。
【0013】
文書管理サーバ102は、図3に示すように、データの制御や演算などの処理を行うCPU301と、CPU301が処理するためのデータを一時的に記憶するRAM302と、処理プログラムなどを記憶するROM303と、処理プログラムや画像データ、あるいはクライアントPC103等において文書作成アプリケーションによって作成された文書等のファイル等を記憶するためのハードディスク(HD)に対するデータのリード/ライトを制御するハードディスク制御部304と、ネットワーク104を介してデータを入出力するネットワークインタフェース(I/F)305を含む。CPU301は、ROM303あるいはハードディスクに記録された画像処理プログラムを実行することにより、MFP101による印刷の制御やネットワーク104を介してMFP101から入力される画像データ(スキャナ画像)に対する各種の画像処理、さらには文書ファイルの編集処理(議事録作成)等を実行する。
【0014】
クライアントPC103は、図4に示すように、データの制御や演算などの処理を行うCPU401と、CPU401が処理するためのデータを一時的に記憶するRAM402と、処理プログラムなどを記憶するROM403と、プログラムやデータなどを長期的に記憶するためのハードディスク(HD)に対するデータのリード/ライトを制御するハードディスク制御部404と、プログラムなどを記憶しているCD−ROMに対するリードを制御するCD−ROM制御部405とを含む。更にクライアントPC103は、キーボードやマウスなどの入力装置410を制御する入力制御部406と、文書管理サーバ102からの情報(印刷文書選択画面等を含む)を表示する表示器407を制御する表示器制御部408と、ネットワーク104を介してデータを入出力するネットワークインタフェース(I/F)409を含む。
【0015】
本実施形態では、文書管理サーバ102が画像処理プログラムをCPU301により実行することにより画像処理装置として機能する。なお、MFP101と文書管理サーバ102とが協働して画像処理装置を実現することも可能である。また、以下に説明する文書管理サーバ102により実行される処理をMFP101が実行することにより、MFP101を画像処理装置として機能させることも可能である。
【0016】
次に、図5、図6、図7に示すフローチャートを参照しながら、画像処理システムにおいて文書を印刷する場合の処理について説明する。図5は文書管理サーバ102の処理、図6はクライアントPC103の処理、図7はMFP101の処理(印刷処理)をそれぞれ示すフローチャートである。
【0017】
まず、文書管理サーバ102は、ネットワーク104を介して、MFP101及びクライアントPC103と接続されると、クライアントPC103に対して印刷対象とする文書を選択させるための印刷文書選択画面情報を送信する(図5、ステップA1)。印刷文書選択画面情報には、例えば、文書管理サーバ102に保存されている文書のファイル名一覧を表示させるためのデータが含まれている。
【0018】
クライアントPC103は、文書管理サーバ102と接続されると、文書管理サーバ102からの印刷文書選択画面情報の受信待ち状態となる。クライアントPC103は、印刷文書選択画面情報を受信したことを検知すると(図6、ステップB1のYes)、印刷文書選択画面情報に基づいて、表示器407において印刷文書選択画面を表示する(ステップB2)。
【0019】
クライアントPC103は、印刷文書選択画面から印刷対象とする文書を選択する指示が入力されると(ステップB3のYes)、選択された印刷文書を示すデータを文書管理サーバ102に送信する(ステップB4)。
【0020】
文書管理サーバ102は、クライアントPC103から印刷文書を受信すると(ステップA2のYes)、クライアントPC103に対して印刷設定をさせるための印刷設定画面情報を送信する(ステップA3)。
【0021】
クライアントPC103は、印刷設定画面情報を受信したことを検知すると(ステップB5のYes)、印刷設定画面情報に基づいて、表示器407において印刷設定画面を表示する(ステップB6)。
【0022】
図8は、クライアントPC103の表示器407により表示される印刷設定画面の一例を示している。
印刷設定画面には、文書を紙媒体に印刷する際の印刷形態を設定するための複数の印刷設定項目が設けられている。印刷設定項目には、例えば、1枚に複数ページ分(Nページ)をまとめて印刷するNin1印刷を設定するためのNin1設定項目1001、両面印刷と片面印刷の何れかを設定するための印刷面設定項目1002、複数枚のページを1枚の紙媒体に印刷する場合のページの配置を設定する印字方向項目1003、文書を印刷する際のカラーモードを設定するためのカラーモード設定項目1004が設けられている。
【0023】
Nin1設定項目1001では、「Nin1印刷なし」の他、1枚(1面)に印刷する文書のページ数(例えば、2,4,6,8,9,12)の何れかを設定することができる。
【0024】
印刷面設定項目1002では、1枚の紙媒体に対して「片面」と「両面」の何れに印刷するかを設定することができる。また、「両面」の印刷では、紙媒体を横長の向きで印刷するか(短辺とじ)、あるいは縦長の向きで印刷するか(長辺とじ)を設定することができる。
【0025】
印字方向項目1003では、ページの配置として、図9に示すように、「順横方向」(図9(a))、「順縦方向」(図9(b))、「逆横方向」(図9(c))、「逆縦方向」(図9(d))の何れかを設定することができる。
【0026】
カラーモード設定項目1004では、カラーモードとして「フルカラー」「グレースケール」「モノクロ」の何れかを設定することができる。
【0027】
クライアントPC103は、各印刷設定項目1001〜1004についての設定(選択)がされた後、「決定」ボタンに対する指示によって設定完了が指示されると(ステップB7のYes)、設定された内容を示す印刷設定情報を文書管理サーバ102に送信する(ステップB8)。
【0028】
文書管理サーバ102は、クライアントPC103から印刷設定情報を受信すると(ステップA4のYes)、印刷文書について予め設定された文書IDを取得する(ステップA5)。なお、文書IDは、文書管理サーバ102に保存された各文書に対して予め決められた、文書に固有のデータである。
【0029】
文書管理サーバ102は、文書IDとクライアントPC103から受信した印刷設定情報を含むコードパターンを生成する(ステップA6)。コードパターンは、文書が印刷される紙媒体に文書と共に印刷するためのもので、例えば二次元コードが用いられる。以下の説明では、QR(Quick response)コードが用いられるものとして説明する。なお、QRコード以外の二次元コードを用いても良いし、バーコード等の一次元コードや三次元コードなどを用いることも可能である。
【0030】
次に、文書管理サーバ102は、MFP101により印刷させるために、印刷設定情報に応じて、印刷文書に対応する印刷画像を作成する(ステップA7)。すなわち、図8に示す印刷設定画面において、Nin1設定項目1001、印刷面設定項目1002、印字方向項目1003、及びカラーモード設定項目1004においてそれぞれ設定された設定内容に応じた印刷画像を作成する。
【0031】
例えば、Nin1印刷において「4in1」が設定されている場合には、1枚に4ページ分を印刷する印刷画像を作成する。また、「両面(短辺とじ)」が設定されている場合には、紙媒体を横長にした向きで印刷するようにページをレイアウトし、紙媒体の表面用と裏面用のそれぞれ印刷画像を作成する。複数のページを1枚に印刷する際の印字方向として「順横方向」が設定されている場合には、図9(a)に示す順番で各ページを配置する。そして、カラーモードとして「グレースケール」が設定されている場合には、文書中に黒の文字以外に他の色の文字や図形、カラーの絵などが含まれていれば、これらをグレースケールで表現した印刷画像を作成する。
【0032】
また、文書管理サーバ102は、印刷画像に印刷設定情報と文書IDとを含むQRコードの印刷パターンを付与する。本実施形態では、1つのQRコードを紙媒体の予め決められた位置、例えば紙媒体の左上隅の近傍に付与する。
【0033】
なお、印刷設定情報においてNin1印刷が設定されている場合、1枚の紙媒体に印刷される印刷画像には、印刷文書の複数分のページが含まれる。複数分のページを含む印刷画像に対しても、1つのQRコードを付与するものとする。
【0034】
また、QRコードは、少なくとも1枚目の紙媒体の一方の面(例えば表面)に印刷されるように印刷画像が生成されるものとする。印刷文書が複数枚の紙媒体に印刷される場合に、QRコードを1枚目のみに印刷したり、全ての紙媒体のそれぞれに印刷したりすることができる。また、印刷設定情報において「両面」印刷が設定されている場合、QRコードを一方の面にのみに印刷したり、両方の面にそれぞれ印刷したりすることも可能である。QRコードを1枚目のみに印刷する場合には、QRコードの作成が1回で良いため処理負担が軽くて済む。
【0035】
文書管理サーバ102は、印刷実行を指示する印刷命令と印刷画像とを、MFP101に対して送信する(ステップA8)。
【0036】
MFP101は、文書管理サーバ102より印刷命令と印刷画像を受信すると(図7、ステップC1のYes)、印刷ユニット206を用いて印刷を実行する(ステップC2)。MFP101により印刷された印刷文書は、印刷設定情報により指定された形態によって文書が印刷され、また左上隅の近傍に印刷設定情報を含むQRコードが印刷されている。
【0037】
この印刷文書は、例えば、文書内容についてのレビュー等(記載内容のチェックや修正など)をするために使用される。ここで、印刷文書に対しては、修正内容を示す文字列等からなるコメントが手書きによって記入される。
【0038】
図10は、コメントが手書きされた印刷文書の例を示している。図10に示す印刷文書は、例えば、印刷設定情報として、Nin1設定項目1001において「4in1」、印刷面設定項目1002において「片面」、印字方向項目1003において「順横方向」、カラーモード設定項目1004として「モノクロ」が設定された例を示している。
【0039】
図10に示すように、印刷文書の左上隅の近傍には、QRコード1101が印刷されている。また、印刷設定情報に従い、1枚の紙媒体(一方の面)に4ページ分の文書が印刷されている。図10中に示す矩形枠1102,1103,1104,1105は、印刷文書の各ページの内容、例えば文字列が印刷されている範囲を示すものである。印刷文書の内容(文字列)は、手書きされたコメントの記載位置を分かり易くするために、図10において省略している。なお、図10中の破線は各ページの境界を示すもので印刷されるものではない。
【0040】
図10では、分かり易くするために手書き入力された内容を「コメント1」〜「コメント6」と示しているが、実際には、レビューの結果とする修正内容を示す文字列や絵、図形等の意味のある内容がコメントとして手書きされる。
【0041】
本実施形態における画像処理システムでは、印刷文書に対してコメントを手書きする際の記入位置に制約を設けていない。一般には、文書が印刷されていない行間や、印刷ページの周囲に設けられた余白領域に、手書きされることが多い。
【0042】
例えば、「コメント2」「コメント3」「コメント4」は、文書の行間に手書きされた例を示し、「コメント1」「コメント5」「コメント6」は余白領域に手書きされた例を示している。なお、印刷された文書の上に重ねて、コメントを手書きすることも可能である。
【0043】
また、「コメント1」「コメント2」には、コメントの他に、ページとの対応関係を明示するための特定の形状のパターンが手書きされている。図10に示す例では、手書きされたコメントに対応するページを指示するための指示線が手書きされている。指示線は、一端がコメントの近傍にあり、他端がコメントと対応付けるページの領域内にあるように、予め決められた長さ以上(通常の文字を手書きする場合の線よりも十分に長い)となるように手書きされるものとする。指示線は、単純な線であるため、手書きするための負担が少なくて済む。なお、他の形状のパターンを用いることも可能であるが、コメント以外に手書きを必要とするため、負担を増大させないように単純なパターンであることが望ましい。
【0044】
本実施形態では、文書管理サーバ102における画像処理によって、手書きされたコメントの位置と印刷画像の各ページの印刷位置とに基づいて、コメントが何れのページに対するものであるかを判別する。このページとコメントとを対応付けるため画像処理の詳細については後述する。
【0045】
次に、図11、図12に示すフローチャートを参照しながら、印刷文書に手書きされたコメントをページ毎にまとめた議事録を作成するための処理について説明する。図11はMFP101の処理(スキャン処理)、図12は文書管理サーバ102の処理をそれぞれ示すフローチャートである。
【0046】
まず、MFP101は、スキャン命令を受信すると(図11、ステップD1のYes)、画像読み取りユニット205によって原稿(印刷文書)をスキャンして画像データ(スキャン画像)を読み取る(ステップD2)。ここで、MFP101は、ADF(Auto Document Feeder)を用いて原稿のスキャンが実行されるものとする。すなわち、ADFにセットされた原稿について一括してスキャンが実行される。複数枚の原稿がセットされていた場合には、複数枚の原稿についてのスキャン画像が読み取られる。
【0047】
ここでは、例えば複数の原稿(印刷文書)に対して片面印刷され、先頭の原稿にのみQRコードが印刷されているものとする。この場合、複数枚の原稿は正しい向きに正しい順序に揃えられてADFにセットされ、スキャンされるものとする。
【0048】
MFP101は、ADFにセットされた全ての原稿についてのスキャンが完了すると、スキャン画像を文書管理サーバ102に送信する(ステップD3)。
【0049】
文書管理サーバ102は、MFP101からスキャン画像を受信すると(図12、ステップE1のYes)、先頭の原稿から読み取られたスキャン画像からQRコードを読み取る(ステップE2)。QRコードは、原稿の予め決められた位置(左上隅の近傍)に印刷されているため、容易に読み取ることができる。
【0050】
文書管理サーバ102は、スキャン画像から読み取られたQRコードをデコードし(ステップE3)、QRコードに含まれる印刷設定情報と文書IDを抽出する(ステップE4)。
【0051】
文書管理サーバ102は、保存されている複数の文書から文書IDに対応する文書を取得し(ステップE5)、この文書に印刷設定情報を反映した画像、すなわち印刷画像と同等の画像を作成する(ステップE6)。すなわち、印刷時と同様にして、Nin1印刷、印刷面、印字方向、カラーモードについての設定内容に応じた画像を生成する。
【0052】
また、文書管理サーバ102は、文書IDと印刷設定情報を含むQRコード(コードパターン)を生成し、このQRコードを印刷画像に付与する(ステップE7)。これにより、元の印刷文書を印刷する際に生成した時と同じ印刷画像を生成することができる。なお、印刷文書が1枚の紙媒体に印刷できない長さ(ページ数)である場合には、複数枚分の印刷画像が生成される。
【0053】
次に、文書管理サーバ102は、MFP101から受信したスキャン画像について、先頭から順番に以下の処理を実行する。文書管理サーバ102は、N番目(初期値N=1)のスキャン画像とN番目の印刷画像を取得し(ステップE8)、2つの画像の差分を抽出する(ステップE9)。以下、ここで抽出された画像を差分画像と称する。スキャン画像から抽出された文書IDと印刷設定情報に基づいて生成された印刷画像は、スキャン画像のもとになった印刷文書を印刷する際の印刷画像と同じ画像であるため、2つの画像の差分を抽出することにより印刷文書に対して手書きされたコメントのみが差分画像として抽出される。
【0054】
図13は、差分画像の例を示している。図13に示す差分画像は、図10に示すコメントが手書きされた印刷文書に対応するもので、「コメント1」〜「コメント6」のそれぞれが抽出されている。また、「コメント1」「コメント2」には、ページとの対応関係を明示するための特定の形状のパターン(指示線)が付加されている。なお、図13中の破線は各ページの境界を示すもので差分画像には含まれない。
【0055】
次に、文書管理サーバ102は、差分画像のまとまり(グループ)を判別することにより、手書きされたコメント毎に差分画像を分類する。差分画像のまとまり(グループ)は、例えば隣接する画像が予め決められた距離内に存在する画像の集合とする。文書管理サーバ102は、コメント毎に分類した差分画像について、手書きされた範囲を示す領域(以下、コメント領域と称する)を設定して記録する。
【0056】
例えば、コメント領域は、差分画像に外接する矩形によって設定されるものとする。コメント領域の範囲は、スキャン画像に対してXY座標系を定義し、矩形の対角2頂点(例えば、左上、右下)の座標値によって示すものとする。
【0057】
なお、コメントに指示線が付加されている場合には、指示線に相当する差分画像を除いた差分画像のグループを対象としてコメント領域を設定するものとする。指示線による差分画像は、予め決められた長さ以上の線となっており、文字を表す差分画像と容易に区別することができる。指示線に相当する差分画像が抽出された場合には、この差分画像の両端(コメント領域の近傍にある点を始端、他方の点を終端とする)の座標値もコメント領域の座標値と共に記録しておくものとする。
【0058】
また、印刷文書に対するコメントは、図10に示すように、水平方向あるいは垂直方向に手書きされるだけでなく、斜め方向に手書きされる場合もある。こうした場合、矩形の対角2頂点の座標値により示すだけでなく、他の定義の方法によってコメント領域を設定するようにしても良い。また、1文字分の差分画像毎に矩形枠を設定し、複数の矩形枠の集合によって文字列に対応するコメント領域を設定するようにしても良い。
【0059】
次に、文書管理サーバ102は、差分画像に対して文字認識処理を実行することにより、差分画像が表す文字列を抽出する(ステップE11)。
文書管理サーバ102は、既存の文字認識処理の技術を用いるなどして、コメント毎に分類された差分画像を1文字に相当する画像毎に区分する。そして、1文字に相当する画像毎に、予め用意されている文字認識用の辞書データと照合することにより手書きされた文字を判別し、その文字の文字データを記録する。
【0060】
なお、文字認識処理では、印刷設定情報とスキャン画像において設定されたコメント領域の位置を利用して、認識率の向上を図ることができる。すなわち、印刷画像中の余白領域とコメント領域(差分画像)との位置関係を判別し、この位置関係をもとに文字列の方向を設定して文字認識を実行する。
【0061】
例えば、文書管理サーバ102は、印刷設定情報をもとにして、印刷されるページの周辺に設けられた余白領域の範囲を算出することができる。図14には、印刷設定情報をもとに算出された横長の余白領域1401,1402,1403を示し、図15には、同じく縦長の余白領域1501,1502,1503を示している。
【0062】
図14では、横長の余白領域1401にコメントが手書きされた例を示している。図14に示すコメントAのコメント領域は、2点の座標P1,P2により設定されている。文書管理サーバ102は、2点の座標P1,P2が横長の余白領域1401に含まれると判別される場合には、コメントAが横書きされているものと判別する。この場合、差分画像に対して文字認識処理をする際に、横書きされた文字であるものとして処理を実行する。
【0063】
同様にして、図15に示すコメントBのコメント領域は、2点の座標P3,P4により設定されている。文書管理サーバ102は、2点の座標P3,P4が縦長の余白領域1501に含まれると判別される場合には、コメントBが縦書きされているものと判別する。この場合、差分画像に対して文字認識処理をする際に、縦書きされた文字であるものとして処理を実行する。
【0064】
このように、印刷設定情報により算出される余白領域とコメント領域との位置関係を判別し、この位置関係をもとにして手書きされた文字列の方向を設定して差分画像について文字認識処理を実行することで、文字の認識率の向上を期待することができる。
【0065】
なお、図14及び図15では、コメント領域の位置を示す2点の座標が余白領域内にある場合を対象としているが、他の位置関係に基づいて手書きの方向が横書きかあるいは縦書きかを判別するようにしても良い。例えば、コメント領域の位置を示す一方の点が横長の余白領域に含まれ、他方の点が横長の余白領域の近傍にある場合には、横書きされているものとして判別するようにしても良い(縦長の余白領域についても同じ)。さらに、余白領域とコメント領域(差分画像)との位置関係をもとにした別の方法を用いて、手書きされた文字列の方向を判別して文字認識処理に反映するようにしても良い。
【0066】
また、印刷設定情報に文書の文字方向(横書き、縦書き)が含まれている場合に、この文字方向の設定に応じて文字認識処理を実行するようにしても良い。一般に、横書きされた文書に対しては、文書の並びに沿って横書きでコメントの文字列が手書きされる場合が多い。このため、文書の文字方向が「横書き」に設定されている場合には、手書きされた文字列の方向を「横書き」に設定して差分画像について文字認識処理を実行することで、文字の認識率の向上を期待することができる。
【0067】
文書管理サーバ102は、前述したようにして、コメント毎に分類したそれぞれの差分画像について文字認識処理を実行して、コメント毎の文字認識処理の結果(文字列等)を記録する。
【0068】
なお、差分画像を全て文字として認識するだけでなく、図形や絵などのイメージとして記録するようにしても良い。例えば、差分画像に対する文字認識処理において、辞書データの照合において予め設定された基準値より認識率が低い場合には、手書きされたコメントが文字以外の図形や絵などであると見なし、差分画像をそのまま手書きされたコメントとして記録する。
【0069】
また、差分画像について文字認識した結果、文字として認識できた場合(認識率が基準値以上であった場合)であっても、文字認識結果(文字データ)と共に差分画像を対応付けて記録しておくようにしても良い。
【0070】
次に、文書管理サーバ102は、コメント領域(差分画像)が何れのページに対応するかを判別し、該当するページにコメント毎の文字認識処理の結果(文字列等)を振り分ける(ステップE12)。すなわち、文書管理サーバ102は、コメント(文字列等)が何れのページに対して手書きされたかを、差分画像と印刷画像に含まれるページとの対応関係に基づいて判別する。
【0071】
図16は、コメント領域(差分画像)と印刷画像中のページとの対応関係を判別するための処理を示すフローチャートである。文書管理サーバ102は、図16に示す処理を、各コメント領域について実行して、それぞれに対応するページを判別する。
【0072】
文書管理サーバ102は、差分画像(コメント領域)に指示線が付加されている場合(ステップF1のYes)、指示線の終端座標が属するページを対応付けの対象として判別する(ステップF2)。
【0073】
図17は、図13に示す指示線が付加された「コメント2」の差分画像を示している。図17に示すように「コメント2」の差分画像1に対しては、2点の座標P5,P6によりコメント領域が設定されている。このコメント領域には、始端をP7、終端をP8とする指示線(差分画像2)が付加されている。
【0074】
文書管理サーバ102は、印刷設定情報をもとにして、スキャン画像における複数のページのそれぞれの印刷位置を判別することができる。図17では、1〜4ページ目のそれぞれが印刷される位置として、1〜4ページ領域が判別される。従って、文書管理サーバ102は、指示線の終端P8の座標が1ページ領域に含まれることを判別することができる。
【0075】
指示線は、コメント2が手書きされた際に、コメント2と対応付けるページを明示するために意図して付加された特定のパターンである。従って、コメント2が4ページ領域に手書きされていたとしても、コメント2を1ページと対応付けるものと判別する。
【0076】
次に、文書管理サーバ102は、差分画像(コメント領域)に指示線が付加されていない場合(ステップF1のNo)、差分画像(コメント領域)の各ページ領域に含まれる面積を算出し(ステップF3)、差分画像が含まれる面積が最も大きいページ領域を対応付けの対象として判別する(ステップF4)。
【0077】
図18は、図13に示す「コメント4」の差分画像を示している。図18に示すように「コメント4」の差分画像は、2点の座標P9,P10によりコメント領域が設定されている。このコメント領域は、1ページ領域と2ページ領域に含まれている。
【0078】
文書管理サーバ102は、印刷設定情報をもとにして、1ページ領域と2ページ領域の境界を判別することができる。文書管理サーバ102は、座標P9,P10と1ページ領域と2ページ領域の境界とに基づいて、1ページ領域に含まれる「領域1」と2ページ領域に含まれる「領域2」のそれぞれの面積を算出し、何れの領域の面積が大きいかを判別する。なお、図18に示すコメント領域は、2つのページ領域に含まれているが、3つ以上のページ領域にコメント領域が含まれる場合には、3つ以上のページ領域のそれぞれに含まれる面積を算出して比較する。
【0079】
ここで、最も面積が大きいページ領域がちょうど一つだけ存在した場合(ステップF5のYes)、文書管理サーバ102は、コメント領域が含まれる面積が最も大きいページにコメントを対応付ける。図18に示すコメント4は、1ページ領域に含まれる「領域1」の方が「領域2」より面積が大きいため、コメント4を1ページと対応付けるものと判別する。
【0080】
通常、コメントを手書き入力する場合、関連するページ内にコメントを書き込もうとする傾向があるため、コメント領域が含まれる面積に基づいて、コメントに対応付けるページを判別することができる。
【0081】
なお、最も面積が大きいページ領域が二つ以上存在した場合(ステップF5のNo)、文書管理サーバ102は、差分画像の特定の位置が属するページ領域を対応付けの対象として判別する(ステップF6)。ここでは、例えば、差分画像の特定の位置を、コメント領域の位置を示す左上頂点の座標とする。
【0082】
図19は、図13に示す「コメント6」の差分画像、図20は、図13に示す「コメント5」の差分画像をそれぞれ示している。
【0083】
図19と図20に示すように、「コメント6」「コメント5」の差分画像(コメント領域)は、ページ境界上にあり、それぞれのページ領域に含まれる面積が同じとなっている。
【0084】
この場合、文書管理サーバ102は、図19に示す「コメント6」については、左上座標P11が3ページ領域に含まれるため、コメント6を3ページと対応付けるものと判別する。また、文書管理サーバ102は、図20に示す「コメント5」については、左上座標P13が2ページ領域に含まれるため、コメント5を2ページと対応付けるものと判別する。
【0085】
このように、コメントに付加された指示線、コメント領域が含まれる面積、コメントの書き始めの位置(左上座標)の順で優先順位を付けてコメント領域に対応付けるページを判別するので、コメントとページとの対応関係をより確実に決めることができる。従って、コメントを手書きする際の制約を少なくすることができる。
【0086】
こうして、N番目のスキャン画像について全てのコメント領域(差分画像)の処理が完了すると、文書管理サーバ102は、次のスキャン画像が存在すれば(ステップE13のYes)、前述と同様の処理を繰り返して実行する(ステップE8〜E12)。
【0087】
全てのスキャン画像について処理が終了すると(ステップE13のNo)、文書管理サーバ102は、各スキャン画像に対する処理によって記録されたコメント(文字列等)をページ毎にまとめた議事録を作成する(ステップE14)。
【0088】
図21、図22、図23、及び図24には、文書管理サーバ102によって作成される議事録の形態の一例を示している。
図21は、印刷対象となった文書に、各ページと対応付けられたコメントをページ毎に挿入した形態を示している。図21(a)は、文書の1ページ目であり、この1ページ目の後に、図21(b)に示すような1ページと対応付けられた「コメント3」「コメント4」「コメント1」「コメント2」を挿入する。なお、コメントの順番は、差分画像における配置に応じて決定されるものとする。例えば、図21(b)に示す例では、スキャン画像中の上に配置されたコメントから順番に配置した例を示している。図21(c)は、文書の2ページ目と、2ページと対応付けられた「コメント5」を示している。図21(d)は、文書の3ページ目と、3ページと対応付けられた「コメント6」を示している。
【0089】
印刷文書が特定の文書作成用のアプリケーションによって作成されている場合、このアプリケーションにコメントを付加する機能が設けられていれば、この機能を利用して元の文書にコメントデータとして付加することも可能である。
【0090】
図21に示す形態では、文書の各ページと対応付けてコメントが分類されているために、文書本文とコメントとの対応付けを容易にすることができる。
【0091】
図22は、コメントのみをページ毎に分類した形態を示している。図22に示すように、1ページ目に対応付けられた「コメント3」「コメント4」「コメント1」「コメント2」がまとめて記載され、2ページ目と3ページ目にそれぞれ対応付けられた「コメント5」「コメント6」が記載されている。
【0092】
図22に示す形態では、手書きによって追加されたコメントのみをまとめて確認することが容易となる。
図23は、印刷対象となった文書に、各ページと対応付けられたコメントをそれぞれのページ内に挿入した形態を示している。図23(a)(b)は、文書の1ページ目を示しており、1ページ目と対応付けられた「コメント3」「コメント4」「コメント1」「コメント2」がページ内に挿入されている。
【0093】
図23に示す形態が用いられる場合には、コメント領域(差分画像)とページとの対応関係を判別するだけでなく、コメント領域のページにおける位置についても判別しておくものとする。例えば、図13において「コメント3」はページ内の上端から1/3位の位置に存在している。同様にして「コメント4」は、ページ内の上端から1/2位の位置、「コメント1」「コメント2」はページの下端より下に存在している。
【0094】
文書管理サーバ102は、各コメント領域のページにおける位置に応じて、ページ内の該当行の近傍にコメントを挿入する。図23(a)では、ページの先頭から1/3位の行位置に「コメント3」、ページの先頭から1/2位の行位置に「コメント4」、行末に「コメント1」「コメント2」が挿入されている。
【0095】
なお、印刷文書に対するコメントは、厳密に文書の行位置に合わせて手書きされるわけではないので、各コメント領域のページにおける位置や、コメントを挿入する行位置を、必ずしも正確に算出する必要がないものとする。
【0096】
また、印刷文書が特定の文書作成用のアプリケーションによって作成されている場合、このアプリケーションに修正箇所を明示した表示形態(修正履歴表示)で文字等を文書に追加できる機能が設けられていれば、この機能を利用して元の文書にコメントデータとして挿入することも可能である。
図23に示す形態では、文書のページ内にコメントが挿入されるため、文書本文とコメントとの対応付けを容易にすることができる。
【0097】
図24は、文書のページ毎に、手書きされたコメントに対する文字認識処理により得られた文字列のデータと共に、コメントの差分画像を記載した形態を示している。
図24(a)(b)に示す形態では、各ページにおいて読み取られたコメントと、それぞれに対応する差分画像が記載されている。なお、図24(a)(b)に示す例では、全てのコメントに対して差分画像を記載しているが、例えば文字認識処理によって認識率が低かったコメントについてのみ差分画像を記載しても良いし、認識率が低かったコメントについては差分画像のみを掲載するようにしても良い。また、図21や図23に示すように、印刷文書にコメント(文字列)と差分画像(あるいは何れか一方)を挿入するようにしても良い。
【0098】
なお、図21〜図24に示す形態のうち何れの形態の議事録を作成するかは、クライアントPC103から文書管理サーバ102に対して予め任意に設定できるようにしても良いし、何れかの形態に固定されていても良い。
【0099】
こうして、文書管理サーバ102は、印刷文書に手書きされたコメントをページ毎にまとめた議事録を作成すると、この議事録のデータを記録すると共に、クライアントPC103に処理の終了を通知する(ステップE15)。
【0100】
このようにして、本実施形態におけるシステムでは、複数分のページが印刷された印刷文書に手書きされたコメントと、各ページとの対応関係を判別して、コメントをページ毎に分類した議事録を簡単に作成することができる。
【0101】
なお、前述した説明では、(1)「複数の原稿(印刷文書)に対して片面印刷され、先頭の原稿にのみQRコードが印刷されている場合」を例にしているが、(2)「複数の原稿(印刷文書)に対して両面印刷され、先頭の原稿にのみQRコードが印刷されている場合」、(3)「複数の原稿(印刷文書)に対して片面印刷され、全ての原稿にQRコードが印刷されている場合」、(4)「複数の原稿(印刷文書)に対して両面印刷され、全ての原稿にQRコードが印刷されている場合」を対象とすることも可能である。
【0102】
(2)「複数の原稿(印刷文書)に対して両面印刷され、先頭の原稿にのみQRコードが印刷されている場合」については、スキャン処理において原稿(印刷文書)を両面スキャンして画像データ(スキャン画像)を読み取り、各面から読み取ったスキャン画像について前述と同様の処理を実行すれば良い。文書管理サーバ102は、1枚目の原稿の表面のスキャン画像からQRコードを読み取り、このQRコードが示す文書IDと印刷設定情報に基づいて処理を実行する。
【0103】
次に、(3)(4)の「全ての原稿にQRコードが印刷されている場合」について、図25と図26に示すフローチャートを参照しながら説明する。図25はMFP101の処理(スキャン処理)、図26は文書管理サーバ102の処理をそれぞれ示すフローチャートである。なお、全ての原稿にQRコードを印刷する場合、文書IDと印刷設定情報の他に、印刷文書のページに応じたページ番号のデータを含むようにQRコードを生成して印刷画像に付加するものとする。
【0104】
MFP101による印刷処理では、片面印刷と両面印刷の何れかを任意に選択することができるものとする。一方、スキャン処理では、片面印刷あるいは両面印刷された原稿がADFにセットされてスキャン処理が開始されるものとする。
【0105】
全ての原稿(印刷面)にQRコードを印刷する場合には、スキャン画像から検出されるQRコードの位置によって原稿が読み取られた向きを判別して、スキャン画像の向きを補正することができるため、ADFにセットされる複数の原稿の向き(上下左右)はそれぞれ何れであっても良い。また、QRコードにはページ番号のデータが含まれているため、ページ番号をもとにして、各原稿から読み取られた手書きのコメントのデータの順番を整列させることができる。従って、複数枚の原稿を正しい順番に配列させてADFにセットしてスキャンする必要もない。このため、ユーザは、原稿の向きや順番を予め揃えてADFにセットする必要がないため作業負担が軽減される。ただし、片面印刷された原稿については、印刷面がスキャンされるように表裏の向きを揃えてADFにセットする必要があるものとする。
【0106】
まず、MFP101は、スキャン命令を受信すると(図25、ステップG1のYes)、画像読み取りユニット205によって1枚目の原稿(印刷文書)を両面スキャンして、表面と裏面のそれぞれの画像データ(スキャン画像)を読み取る(ステップG2)。
【0107】
MFP101は、1枚目の原稿(印刷文書)を両面スキャンが完了すると、両面のスキャン画像を文書管理サーバ102に送信する(ステップG3)。
【0108】
文書管理サーバ102は、MFP101からスキャン画像を受信すると(図26、ステップH1のYes)、1枚目の原稿から読み取られたスキャン画像からQRコードを読み取る(ステップH2)。QRコードは、原稿の予め決められた位置(左上隅の近傍)に印刷されているため、原稿の向きが何れであっても4隅近傍の何れかにおいて読み取ることができる。ここでは、原稿の表面のスキャン画像からQRコードを読み取る。
【0109】
文書管理サーバ102は、スキャン画像から読み取られたQRコードをデコードし(ステップH3)、QRコードに含まれる印刷面の印刷設定情報を抽出し(ステップH4)、この情報をMFP101に送信する(ステップH5)。
【0110】
文書管理サーバ102は、文書管理サーバ102から印刷面(片面/両面)の印刷設定情報を受信すると(ステップG4のYes)、この情報に応じたスキャン動作を実行する。
【0111】
すなわち、両面印刷が設定されていた場合には、MFP101は、ADFにセットされた残りの原稿について両面スキャンを実行し(ステップG8)、スキャン画像を文書管理サーバ102に送信する(ステップG9)。
【0112】
一方、片面印刷が設定されていた場合には、MFP101は、ADFにセットされた残りの原稿について片面スキャンを実行し(ステップG6)、スキャン画像を文書管理サーバ102に送信する(ステップG7)。片面スキャンは、両面スキャンを実行する場合と比較して1枚の原稿に要する処理時間が短い。従って、1枚目の原稿に記録されたQRコード(印刷設定情報)をもとに片面印刷された原稿であることが判別できた場合に、片面スキャンに処理を特定することで、無駄な処理時間を発生させなくて済む。特に大量の原稿をスキャンする場合には、両面スキャンをする場合より大幅な時間短縮が可能である。
【0113】
文書管理サーバ102は、MFP101から残りのスキャン画像を受信すると(ステップH6のYes)、全てのスキャン画像からQRコードを読み取り、スキャン画像中におけるQRコードの位置をもとにスキャン画像の向きを判別する(ステップH7)。QRコードは、原稿の予め決められた位置(左上隅の近傍)に印刷されているため、原稿の向きが何れであっても4隅近傍の何れかにおいて読み取ることができ、その読み取り位置によってスキャン画像の向きを判別することができる。
【0114】
文書管理サーバ102は、スキャン画像から読み取られたQRコードをデコードし(ステップH8)、QRコードに含まれる印刷設定情報(ページ番号のデータを含む)と文書IDを抽出する(ステップH9)。なお、1枚目の原稿のスキャン画像については、先にQRコードの読み取りを実行しているので(ステップH2,H3)、先の処理のデータを利用するようにしても良い。
【0115】
以下、文書管理サーバ102は、MFP101から受信したスキャン画像について、先頭から順番に以下の処理を実行する。まず、文書管理サーバ102は、QRコードから取得された印刷設定情報をもとにして、スキャン画像との差分画像を抽出するために印刷画像と同等の画像を作成する(ステップH10〜H12)。なお、ステップH10〜H12については、図12に示すE5〜E7の処理と同様に実行されるものとして詳細な説明を省略する。
【0116】
全ての原稿にQRコードが印刷されている場合には、原稿の順番を揃えてADFにセットさせる必要がないものとしているため、文書管理サーバ102は、ステップH9においてQRコードから抽出されたページ番号のデータをもとに、スキャン画像を正しい順番に整列する(ステップH12.5)。
【0117】
文書管理サーバ102は、N番目(初期値N=1)のスキャン画像とN番目の印刷画像を取得し(ステップH13)、スキャン画像についてステップH7において判別された向きに応じて正しい向きに補正した後(ステップH14)、2つの画像の差分を抽出する(ステップH15)。
【0118】
以下、文書管理サーバ102は、差分画像から文字列等を抽出し、文書の対応するページを判別して振り分ける処理を実行する(ステップH16〜H18)。なお、ステップH16〜H18の処理については、図12に示すステップE10〜E12と同様にして実行されるものとして詳細な説明を省略する。
【0119】
こうして、N番目のスキャン画像についての処理が完了すると、文書管理サーバ102は、次のスキャン画像が存在すれば(ステップH19のYes)、前述と同様の処理を繰り返して実行する(ステップH13〜H18)。
【0120】
全てのスキャン画像について処理が終了すると(ステップH19のNo)、文書管理サーバ102は、各スキャン画像に対する処理によって記録されたコメント(文字列等)をページ毎にまとめた議事録を作成する(ステップH20)。
【0121】
こうして、文書管理サーバ102は、印刷文書に手書きされたコメントをページ毎にまとめた議事録を作成すると、この議事録のデータを記録すると共に、クライアントPC103に処理の終了を通知する(ステップH21)。
【0122】
このようにして、全ての原稿にQRコードを印刷することにより、ADFに原稿をセットする際のユーザへの負担を軽減することができる。また、QRコードをもとに片面/両面印刷を判別して、MFP101における片面スキャン/両面スキャンを切り替えて実行するので、無駄な処理時間を発生させなくてすむ。
【0123】
なお、前述した図25及び図26に示す処理では、1枚目の原稿に印刷されたQRコードを読み取って、QRコードが示す片面/両面印刷の設定に応じてMFP101のスキャンを制御しているが、MFP101においてADFにセットされた全ての原稿について両面スキャンを実行するようにしても良い。
【0124】
例えば、MFP101は、ADFにセットされた全ての原稿を両面スキャンして、スキャン画像を文書管理サーバ102に送信する。文書管理サーバ102は、先頭のスキャン画像からQRコードを抽出し、印刷設定情報において両面印刷が設定されていることが判別された場合には、MFP101から受信した全てのスキャン画像について前述と同様の処理を実行する。一方、印刷設定情報において片面印刷が設定されていることが判別された場合には、文書管理サーバ102は、MFP101から受信した全てのスキャン画像のうち偶数ページ(裏面)に該当するスキャン画像を全て削除する。そして、残った奇数ページ(表面)に該当するスキャン画像についてのみ前述と同様の処理を実行する。
【0125】
また、前述した説明では、MFP101においてADFを用いてスキャンを実行するものとしているが、MFP101ではフラットヘッドスキャナのスキャナ面(Glass)にユーザが原稿を1枚毎にセットしてスキャンを実行することができる。MFP101は、スキャン処理によって読み取られたスキャン画像を文書管理サーバ102に送信する際、スキャン処理がADFを用いたスキャン、あるいはスキャナ面(Glass)にユーザが原稿を1枚毎にセットしたスキャン(Glassスキャン)の何れによって実行されたかを文書管理サーバ102に通知する。
【0126】
文書管理サーバ102は、MFP101においてGlassスキャンであることが通知された場合、MFP101から受信された全てのスキャン画像を対象として前述した処理を実行する。すなわち、ユーザが原稿を1枚毎にセットしてスキャンを実行する場合には、印刷面についてのみ読み取りの対象とするためである。従って、文書管理サーバ102は、スキャン画像のQRコードが示す印刷設定情報が片面印刷を示す場合であっても、全てのスキャン画像について処理を実行する。
【0127】
なお、前述した説明では、印刷文書に手書きされたコメントをもとに議事録を作成する場合を例にしているが、議事録以外の各種の文書ファイルを作成することが可能である。
【0128】
また、前記実施形態では、印刷文書の各ページの印刷領域に対して手書き入力された文字列等と各ページの位置関係をもとにして、各ページと手書き文字等との対応関係を判別しているが、他の方法によって対応関係を判別するようにしても良い。例えば、複数のページを1枚の紙媒体に印刷(Nin1印刷)する際に、各ページに対応する手書き入力エリアを設ける。例えば、印刷対象とする本文を縮小印刷することで手書き入力用領域を確保し、この手書き入力用領域を各ページに対応するエリアに分割する。印刷時には、各ページに対応する手書き入力用領域の位置を示すデータを印刷設定情報とし、この情報を含むQRコードを文書と共に印刷する。手書き入力用領域に手書きされた印刷文書をスキャンして得られたスキャン画像に対しては、前述と同様にしてQRコードを検出し、QRコードが示す各ページに対応するエリアと手書き入力された文字等(差分画像)との対応関係を判別する。以下、前述と同様にして、議事録等を作成することができる。
【0129】
また、QRコードを付与して文書を印刷する場合、QRコードによって文書本文(元のデータ)が隠れてしまう可能性がある。これを回避するために、QRコードを印刷するための領域を確保するために、印刷画像を作成する際に文書本文(ページ)を縮小して印刷するようにしても良い。この場合、スキャン画像から差分画像を抽出する際に、印刷時と同じ縮小率で文書本文を縮小した印刷画像を作成するものとする。
【0130】
また、QRコードを付与する印刷文書中における位置を、印刷文書の右下にするなど文書本文が存在しない可能性の高い位置にしても良い。さらに、前述した説明では、1つの印刷面に1つのQRコードを付加するとしているが、複数のQRコードを付加するようにしても良い。
【0131】
なお、本発明は上記実施形態そのままに限定されるものではなく、実施段階ではその要旨を逸脱しない範囲で構成要素を変形して具体化できる。また、上記実施形態に開示されている複数の構成要素の適宜な組み合せにより種々の発明を形成できる。例えば、実施形態に示される全構成要素から幾つかの構成要素を削除してもよい。更に、異なる実施形態に亘る構成要素を適宜組み合せてもよい。
【符号の説明】
【0132】
101…MFP、102…文書管理サーバ、103…クライアントPC。
【特許請求の範囲】
【請求項1】
印刷形態を示す印刷設定情報に応じて複数分のページを1枚の紙媒体に印刷させると共に、前記印刷設定情報を示すコードを前記紙媒体に印刷させる印刷制御手段と、
前記紙媒体のスキャン画像を入力する画像入力手段と、
前記スキャン画像から前記コードを抽出する抽出手段と、
前記抽出手段により抽出されたコードが示す印刷設定情報をもとに複数分のページを含む印刷画像を生成し、前記印刷画像と前記スキャン画像との差分画像を抽出する差分画像抽出手段と、
前記差分画像と前記印刷画像に含まれるページとの対応関係を判別する判別手段と、
を具備したことを特徴とする画像処理装置。
【請求項2】
前記差分画像について文字認識する文字認識手段をさらに具備したことを特徴とする請求項1記載の画像処理装置。
【請求項3】
前記判別手段は、さらに前記印刷設定情報をもとに前記ページの周辺の余白領域と前記差分画像との位置関係を判別し、
前記文字認識手段は、前記判別手段により判別された前記余白領域と前記差分画像との位置関係をもとに文字列の方向を設定して、前記差分画像について文字認識することを特徴とする請求項2記載の画像処理装置。
【請求項4】
前記文字認識手段は、前記印刷設定情報をもとに文字列の方向を設定して、前記差分画像について文字認識することを特徴とする請求項2記載の画像処理装置。
【請求項5】
前記判別手段は、前記差分画像の前記スキャン画像中の位置と、前記印刷設定情報が示す前記複数のページの印刷位置とに基づいて、前記差分画像と前記ページとの対応関係を判別することを特徴とする請求項1記載の画像処理装置。
【請求項6】
前記判別手段は、前記差分画像に含まれる特定の形状パターンの位置と、前記印刷設定情報が示す前記複数のページの印刷位置とに基づいて、前記差分画像と前記ページとの対応関係を判別することを特徴とする請求項1記載の画像処理装置。
【請求項7】
前記判別手段は、前記印刷設定情報が示す前記複数のページの印刷領域と、前記複数のページの印刷領域に含まれる前記差分画像の面積とに基づいて、前記差分画像と前記ページとの対応関係を判別することを特徴とする請求項1記載の画像処理装置。
【請求項8】
前記印刷制御手段は、複数枚の紙媒体に印刷させる場合に、1枚の紙媒体に対して前記コードを印刷させ、
前記差分画像抽出手段は、前記1枚の紙媒体から抽出された前記コードをもとに、前記複数枚の紙媒体のそれぞれについて、前記印刷画像と前記スキャン画像との差分画像を抽出することを特徴とする請求項1記載の画像処理装置。
【請求項9】
前記印刷制御手段は、複数枚の紙媒体に印刷させる場合に、前記複数枚の紙媒体に対して前記コードを印刷させ、
前記差分画像抽出手段は、前記複数枚の紙媒体のそれぞれについて、前記紙媒体から個々に抽出された前記コードをもとに、前記印刷画像と前記スキャン画像との差分画像を抽出することを特徴とする請求項1記載の画像処理装置。
【請求項10】
前記文字認識手段により認識された文字の文字データを、前記判別手段により判別された対応関係に応じて、前記ページ毎に分類した文書を作成する文書作成手段をさらに具備したことを特徴とする請求項2記載の画像処理装置。
【請求項11】
前記文字認識手段により認識された文字の文字データを、前記判別手段により判別された対応関係に応じて、前記ページのそれぞれに付加した文書を作成する文書作成手段をさらに具備したことを特徴とする請求項2記載の画像処理装置。
【請求項12】
前記文書作成手段は、前記判別手段により判別された対応関係に応じて、前記差分画像を前記ページと対応付けた文書を作成することを特徴とする請求項11記載の画像処理装置。
【請求項13】
紙媒体のスキャン画像を読み取る画像読み取り機能と印刷機能とを備えた入出力装置と、前記入出力装置と接続された文書管理サーバとを含む画像処理システムであって、
前記文書管理サーバは、
前記入出力装置に対して、印刷形態を示す印刷設定情報に応じて複数分のページを1枚の紙媒体に印刷させると共に、前記印刷設定情報を示すコードを前記紙媒体に印刷させる印刷制御手段と、
前記入出力装置の画像入力読み取り機能により読み取られた前記紙媒体のスキャン画像を入力する画像入力手段と、
前記スキャン画像から前記コードを抽出する抽出手段と、
前記抽出手段により抽出されたコードが示す印刷設定情報をもとに複数分のページを含む印刷画像を生成し、前記印刷画像と前記スキャン画像との差分画像を抽出する差分画像抽出手段と、
前記差分画像と前記印刷画像に含まれるページとの対応関係を判別する判別手段とを具備したことを特徴とする画像処理システム。
【請求項14】
印刷形態を示す印刷設定情報に応じて複数分のページを1枚の紙媒体に印刷させると共に、前記印刷設定情報を示すコードを前記紙媒体に印刷させ、
前記紙媒体のスキャン画像を入力し、
前記スキャン画像から前記コードを抽出し、
この抽出されたコードが示す印刷設定情報をもとに複数分のページを含む印刷画像を生成し、
前記印刷画像と前記スキャン画像との差分画像を抽出し、
前記差分画像と前記印刷画像に含まれるページとの対応関係を判別する画像処理方法。
【請求項15】
コンピュータを、
印刷形態を示す印刷設定情報に応じて複数分のページを1枚の紙媒体に印刷させると共に、前記印刷設定情報を示すコードを前記紙媒体に印刷させる印刷制御手段と、
前記紙媒体のスキャン画像を入力する画像入力手段と、
前記スキャン画像から前記コードを抽出する抽出手段と、
前記抽出手段により抽出されたコードが示す印刷設定情報をもとに複数分のページを含む印刷画像を生成し、前記印刷画像と前記スキャン画像との差分画像を抽出する差分画像抽出手段と、
前記差分画像と前記印刷画像に含まれるページとの対応関係を判別する判別手段として機能させるための画像処理プログラム。
【請求項1】
印刷形態を示す印刷設定情報に応じて複数分のページを1枚の紙媒体に印刷させると共に、前記印刷設定情報を示すコードを前記紙媒体に印刷させる印刷制御手段と、
前記紙媒体のスキャン画像を入力する画像入力手段と、
前記スキャン画像から前記コードを抽出する抽出手段と、
前記抽出手段により抽出されたコードが示す印刷設定情報をもとに複数分のページを含む印刷画像を生成し、前記印刷画像と前記スキャン画像との差分画像を抽出する差分画像抽出手段と、
前記差分画像と前記印刷画像に含まれるページとの対応関係を判別する判別手段と、
を具備したことを特徴とする画像処理装置。
【請求項2】
前記差分画像について文字認識する文字認識手段をさらに具備したことを特徴とする請求項1記載の画像処理装置。
【請求項3】
前記判別手段は、さらに前記印刷設定情報をもとに前記ページの周辺の余白領域と前記差分画像との位置関係を判別し、
前記文字認識手段は、前記判別手段により判別された前記余白領域と前記差分画像との位置関係をもとに文字列の方向を設定して、前記差分画像について文字認識することを特徴とする請求項2記載の画像処理装置。
【請求項4】
前記文字認識手段は、前記印刷設定情報をもとに文字列の方向を設定して、前記差分画像について文字認識することを特徴とする請求項2記載の画像処理装置。
【請求項5】
前記判別手段は、前記差分画像の前記スキャン画像中の位置と、前記印刷設定情報が示す前記複数のページの印刷位置とに基づいて、前記差分画像と前記ページとの対応関係を判別することを特徴とする請求項1記載の画像処理装置。
【請求項6】
前記判別手段は、前記差分画像に含まれる特定の形状パターンの位置と、前記印刷設定情報が示す前記複数のページの印刷位置とに基づいて、前記差分画像と前記ページとの対応関係を判別することを特徴とする請求項1記載の画像処理装置。
【請求項7】
前記判別手段は、前記印刷設定情報が示す前記複数のページの印刷領域と、前記複数のページの印刷領域に含まれる前記差分画像の面積とに基づいて、前記差分画像と前記ページとの対応関係を判別することを特徴とする請求項1記載の画像処理装置。
【請求項8】
前記印刷制御手段は、複数枚の紙媒体に印刷させる場合に、1枚の紙媒体に対して前記コードを印刷させ、
前記差分画像抽出手段は、前記1枚の紙媒体から抽出された前記コードをもとに、前記複数枚の紙媒体のそれぞれについて、前記印刷画像と前記スキャン画像との差分画像を抽出することを特徴とする請求項1記載の画像処理装置。
【請求項9】
前記印刷制御手段は、複数枚の紙媒体に印刷させる場合に、前記複数枚の紙媒体に対して前記コードを印刷させ、
前記差分画像抽出手段は、前記複数枚の紙媒体のそれぞれについて、前記紙媒体から個々に抽出された前記コードをもとに、前記印刷画像と前記スキャン画像との差分画像を抽出することを特徴とする請求項1記載の画像処理装置。
【請求項10】
前記文字認識手段により認識された文字の文字データを、前記判別手段により判別された対応関係に応じて、前記ページ毎に分類した文書を作成する文書作成手段をさらに具備したことを特徴とする請求項2記載の画像処理装置。
【請求項11】
前記文字認識手段により認識された文字の文字データを、前記判別手段により判別された対応関係に応じて、前記ページのそれぞれに付加した文書を作成する文書作成手段をさらに具備したことを特徴とする請求項2記載の画像処理装置。
【請求項12】
前記文書作成手段は、前記判別手段により判別された対応関係に応じて、前記差分画像を前記ページと対応付けた文書を作成することを特徴とする請求項11記載の画像処理装置。
【請求項13】
紙媒体のスキャン画像を読み取る画像読み取り機能と印刷機能とを備えた入出力装置と、前記入出力装置と接続された文書管理サーバとを含む画像処理システムであって、
前記文書管理サーバは、
前記入出力装置に対して、印刷形態を示す印刷設定情報に応じて複数分のページを1枚の紙媒体に印刷させると共に、前記印刷設定情報を示すコードを前記紙媒体に印刷させる印刷制御手段と、
前記入出力装置の画像入力読み取り機能により読み取られた前記紙媒体のスキャン画像を入力する画像入力手段と、
前記スキャン画像から前記コードを抽出する抽出手段と、
前記抽出手段により抽出されたコードが示す印刷設定情報をもとに複数分のページを含む印刷画像を生成し、前記印刷画像と前記スキャン画像との差分画像を抽出する差分画像抽出手段と、
前記差分画像と前記印刷画像に含まれるページとの対応関係を判別する判別手段とを具備したことを特徴とする画像処理システム。
【請求項14】
印刷形態を示す印刷設定情報に応じて複数分のページを1枚の紙媒体に印刷させると共に、前記印刷設定情報を示すコードを前記紙媒体に印刷させ、
前記紙媒体のスキャン画像を入力し、
前記スキャン画像から前記コードを抽出し、
この抽出されたコードが示す印刷設定情報をもとに複数分のページを含む印刷画像を生成し、
前記印刷画像と前記スキャン画像との差分画像を抽出し、
前記差分画像と前記印刷画像に含まれるページとの対応関係を判別する画像処理方法。
【請求項15】
コンピュータを、
印刷形態を示す印刷設定情報に応じて複数分のページを1枚の紙媒体に印刷させると共に、前記印刷設定情報を示すコードを前記紙媒体に印刷させる印刷制御手段と、
前記紙媒体のスキャン画像を入力する画像入力手段と、
前記スキャン画像から前記コードを抽出する抽出手段と、
前記抽出手段により抽出されたコードが示す印刷設定情報をもとに複数分のページを含む印刷画像を生成し、前記印刷画像と前記スキャン画像との差分画像を抽出する差分画像抽出手段と、
前記差分画像と前記印刷画像に含まれるページとの対応関係を判別する判別手段として機能させるための画像処理プログラム。
【図1】
【図2】
【図3】
【図4】
【図5】
【図6】
【図7】
【図8】
【図9】
【図10】
【図11】
【図12】
【図13】
【図14】
【図15】
【図16】
【図17】
【図18】
【図19】
【図20】
【図21】
【図22】
【図23】
【図24】
【図25】
【図26】
【図2】
【図3】
【図4】
【図5】
【図6】
【図7】
【図8】
【図9】
【図10】
【図11】
【図12】
【図13】
【図14】
【図15】
【図16】
【図17】
【図18】
【図19】
【図20】
【図21】
【図22】
【図23】
【図24】
【図25】
【図26】
【公開番号】特開2012−199698(P2012−199698A)
【公開日】平成24年10月18日(2012.10.18)
【国際特許分類】
【出願番号】特願2011−61717(P2011−61717)
【出願日】平成23年3月18日(2011.3.18)
【公序良俗違反の表示】
(特許庁注:以下のものは登録商標)
1.QRコード
【出願人】(000003562)東芝テック株式会社 (5,631)
【Fターム(参考)】
【公開日】平成24年10月18日(2012.10.18)
【国際特許分類】
【出願日】平成23年3月18日(2011.3.18)
【公序良俗違反の表示】
(特許庁注:以下のものは登録商標)
1.QRコード
【出願人】(000003562)東芝テック株式会社 (5,631)
【Fターム(参考)】
[ Back to top ]