説明

画像読取装置、画像形成装置、画像読取方法、プログラムおよびその記録媒体

【課題】文字認識処理を精度よく行う。
【解決手段】原稿を読み取って当該原稿の画像データを取得する画像読取工程(S2)と、上記画像データに基づいて上記原稿に含まれる文字の文字認識処理を行う文字認識工程(S25)と、上記文字認識処理の文字認識精度を算出する認識精度算出工程(S25)と、上記認識精度算出工程によって算出された文字認識精度が所定値以下である原稿について、文字認識精度を改善するために推奨される当該原稿の再読取時の設定条件である推奨設定条件を検出する推奨設定検出工程(S10)と、上記推奨設定条件を表示する表示工程(S11)とを行う。

【発明の詳細な説明】
【技術分野】
【0001】
本発明は、原稿を読み取って画像データを取得するとともに、この画像データに基づいて上記原稿に記載されている文字の文字認識処理を行う画像読取装置および画像読取方法に関するものである。
【背景技術】
【0002】
従来から、紙媒体の原稿に記載されている情報をスキャナで読み取って上記原稿の画像データを取得し、当該画像データに対して文字認識処理(OCR(Optical Character Recognition)処理)を施して上記原稿に含まれる文字に関するテキストデータを作成し、上記画像データと上記テキストデータとを対応付けた画像ファイルを作成する技術がある。
【0003】
例えば、特許文献1には、紙媒体に記載されている情報をスキャナで読み取って文字認識処理を行い、認識できない文字の数を行単位でカウントし、このカウント値が設定値以上になった場合にその行を読取解像度を上げて再読取して文字認識しなおすことにより、常用読取速度を低下させることなく認識精度の低下を抑制する技術が開示されている。
【先行技術文献】
【特許文献】
【0004】
【特許文献1】特開昭63−143683号公報(昭和63年6月15日公開)
【特許文献2】特開平7−192086号公報(平成7年7月28日公開)
【特許文献3】特開平6−189083号公報(平成6年7月8日公開)
【発明の概要】
【発明が解決しようとする課題】
【0005】
しかしながら、上記特許文献1の技術では、当初の読取解像度が低かったために文字を認識できなかった場合には解像度を高くして再読取を行うことによって当該文字を正しく認識できるが、その他の理由に起因して文字を認識できなかった場合には解像度を高くして再読取を行っても文字を正しく認識できない場合がある。例えば、原稿が正規の読取位置に対して傾いた状態で読み取られた場合などには、この原稿の傾きを改善して再読取を行う必要があり、解像度を高くして再読取を行うだけでは文字を正しく認識できない。
【0006】
本発明は、上記の問題点に鑑みてなされたものであり、その目的は、文字認識処理を精度よく行うことのできる画像読取装置および画像読取方法を提供することにある。
【課題を解決するための手段】
【0007】
本発明の画像読取装置は、上記の課題を解決するために、原稿を読み取って当該原稿の画像データを取得する画像読取部と、上記画像データに基づいて上記原稿に含まれる文字の文字認識処理を行うとともに当該文字認識処理の認識精度を算出する文字認識部を有する画像処理部とを備えた画像読取装置であって、上記文字認識部によって算出された文字認識精度が所定値以下である原稿について、文字認識精度を改善するために推奨される当該原稿の再読取時の設定条件である推奨設定条件を検出する推奨設定検出部と、上記推奨設定条件を表示する表示部とを備えていることを特徴としている。
【0008】
本発明の画像読取方法は、上記の課題を解決するために、原稿を読み取って当該原稿の画像データを取得する画像読取工程と、上記画像データに基づいて上記原稿に含まれる文字の文字認識処理を行う文字認識工程と、上記文字認識処理の文字認識精度を算出する認識精度算出工程とを含む画像読取方法であって、上記認識精度算出工程によって算出された文字認識精度が所定値以下である原稿について、文字認識精度を改善するために推奨される当該原稿の再読取時の設定条件である推奨設定条件を検出する推奨設定検出工程と、上記推奨設定条件を表示する表示工程とを含むことを特徴としている。
【0009】
上記の画像読取装置および画像読取方法によれば、文字認識精度が所定値以下である原稿について、文字認識精度を改善するために推奨される当該原稿の再読取時の設定条件である推奨設定条件を検出し、その推奨設定条件を表示する。これにより、ユーザに文字認識精度を改善するために推奨される再読取時の設定条件を提示することができるので、再読取によって文字認識処理により適した画像データを取得することができ、文字認識精度を向上させることができる。
【0010】
また、上記画像読取部は、原稿を搬送する原稿自動搬送装置と、搬送されている原稿を読み取って原稿の画像データを取得する第1読取手段とを備えており、上記第1読取手段による原稿読み取り時の原稿の正規の配置位置に対する上記原稿を読み取ったときの傾き角度を上記画像データに基づいて算出する原稿傾き検知部を備え、上記推奨設定検出部は、上記文字認識部によって算出された文字認識精度が所定値以下であり、かつ上記傾き角度が所定角度以上である原稿について、上記原稿自動搬送装置による搬送時の上記原稿の向きを変更して再読取を行うことを上記推奨設定条件として検出する構成としてもよい。
【0011】
上記の構成によれば、再読取時における原稿自動搬送装置によって搬送される原稿の向きを変更することで、原稿の傾きを抑制することができる。これにより、原稿の傾きが抑制された画像データに基づいて文字認識処理を行えるので、文字認識精度を向上させることができる。
【0012】
例えば、原稿の傷みの少ない辺(例えば、ホッチキス(ステープラー)で止められていた箇所とは反対側の辺、あるいはパンチ穴が空けてある側とは反対側の辺)を搬送方向の先頭側にして原稿を搬送することにより、原稿の傾きの頻度および程度を低減することができる。
【0013】
なお、文字認識処理を行う場合には、一般に、原稿の画像データを2値画像データに変換し、この2値画像データに基づいて文字認識処理が行われる。ところが、2値画像データに対して原稿の傾き補正処理を施すと、傾き補正後の形状にジャギーが生じたり、文字がつぶれてしまったり、網点領域にモアレが生じてしまったりする場合があるので、傾き補正によってかえって文字認識精度が低下してしまう場合がある。これに対して、原稿の読取時に原稿の傾きを抑制して読み取ることにより、これらの不具合を抑制して文字認識精度を向上さえることができる。また、画像データに対して傾き補正処理を行う場合、座標変換処理を行う必要があるので、処理時間が長くなるという問題もあるが、原稿の読取時に原稿の傾きを抑制して読み取ることにより、傾き補正処理を行う場合に比べて処理時間を短縮できる。
【0014】
また、上記画像読取部は、原稿を搬送する原稿自動搬送装置と、搬送されている原稿を読み取って原稿の画像データを取得する第1読取手段とを備えており、上記第1読取手段による原稿読み取り時の原稿の正規の配置位置に対する上記原稿を読み取ったときの傾き角度を上記画像データに基づいて算出する原稿傾き検知部を備え、上記推奨設定検出部は、上記文字認識部によって算出された文字認識精度が所定値以下であり、かつ上記傾き角度が所定角度以上である原稿について、上記原稿自動搬送装置による上記原稿の搬送速度を変更して再読取を行うことを上記推奨設定条件として検出する構成としてもよい。
【0015】
上記の構成によれば、再読取時の原稿の搬送速度を変更することにより、原稿搬送時の原稿の傾きを抑制することができる。これにより、原稿の傾きが抑制された画像データに基づいて文字認識処理を行えるので、文字認識精度を向上させることができる。
【0016】
また、上記画像読取部は、原稿を搬送する原稿自動搬送装置と、搬送されている原稿を読み取って原稿の画像データを取得する第1読取手段とを備えており、上記第1読取手段による原稿読み取り時の原稿の正規の配置位置に対する上記原稿を読み取ったときの傾き角度を上記画像データに基づいて算出する原稿傾き検知部を備え、上記推奨設定検出部は、上記文字認識部によって算出された文字認識精度が所定値以下であり、かつ上記傾き角度が所定角度以上である原稿について、上記原稿自動搬送装置による搬送時の上記原稿の向き、および上記原稿自動搬送装置による上記原稿の搬送速度のうちのいずれか一方を変更して再読取を行うことを上記推奨設定条件として検出し、上記推奨設定条件に基づいて上記原稿を再読取して取得した画像データに対する上記文字認識部による文字認識処理の文字認識精度が上記所定値以下であって、かつ当該画像データに基づいて上記原稿傾き検知部が算出した傾き角度が上記所定角度以上である場合に、上記推奨設定検出部は、上記原稿自動搬送装置による搬送時の上記原稿の向き、および上記原稿自動搬送装置による上記原稿の搬送速度のうちの他方または両方を変更して再読取を行うことを上記推奨設定条件として検出する構成としてもよい。
【0017】
上記の構成によれば、上記文字認識部によって算出された文字認識精度が所定値以下であり、かつ上記傾き角度が所定角度以上である原稿について、まず、原稿自動搬送装置による搬送時の原稿の向き、および原稿自動搬送装置による原稿の搬送速度のうちのいずれか一方を変更して再読取を行う。そして、再読取を行っても文字認識精度が所定値より高くならない場合には、原稿自動搬送装置による搬送時の原稿の向き、および原稿自動搬送装置による原稿の搬送速度のうちの他方または両方を変更して再読取を行う。これにより、原稿の傾きをより適切に抑制することができ、原稿の傾きが抑制された画像データに基づいて文字認識処理を行えるので、文字認識精度を向上させることができる。
【0018】
また、上記画像読取部は、上記原稿自動搬送装置および上記第1読取手段に加えて、原稿を静止させた状態で載置する原稿載置台と、上記原稿載置台に載置された原稿を読み取って原稿の画像データを取得する第2読取手段とを備えており、上記推奨設定検出部は、上記原稿自動搬送装置を用いた上記原稿の再読取を所定回数行っても当該原稿についての上記文字認識部による文字認識処理の文字認識精度が上記所定値よりも高くならない場合に、上記原稿を上記原稿載置台に載置して再読取を行うことを上記推奨設定条件として検出する構成としてもよい。
【0019】
上記の構成によれば、原稿自動搬送装置による搬送時の原稿の傾きを抑制することが困難な場合であっても、第2読取手段によって原稿載置台上に載置された原稿を読み取ることにより、原稿の傾きが抑制された画像データを取得できる。したがって、原稿の傾きが抑制された画像データに基づいて文字認識処理を行えるので、文字認識精度を向上させることができる。
【0020】
また、上記画像読取部における原稿読み取り時の原稿の正規の配置位置に対する上記原稿を読み取ったときの傾き角度を上記画像データに基づいて算出する原稿傾き検知部を備え、上記推奨設定検出部は、上記文字認識部によって算出された文字認識精度が所定値以下であり、かつ上記傾き角度が所定角度未満である場合に、上記画像読取部における読取解像度を変更して再読取を行うことを上記推奨設定条件として検出する構成としてもよい。
【0021】
上記の構成によれば、例えば文字認識精度が所定値以下であった理由が文字サイズである場合などに、読取解像度を変更して再読取を行い、再読取後の画像データに基づいて文字認識処理を行うことで、文字認識精度を向上させることができる。
【0022】
また、上記画像読取部は、原稿を搬送する原稿自動搬送装置と、搬送されている原稿を読み取って原稿の画像データを取得する第1読取手段とを備え、複数枚の原稿を上記原稿自動搬送装置によって連続的に搬送するページ一括処理モードを有しており、上記ページ一括処理モードによって上記原稿の再読取を行う場合に、連続的に搬送される複数枚の原稿のうち、前回の読取時に文字認識精度が所定値以下であった原稿について再読取を行う一方、文字認識精度が所定値よりも高かった原稿については再読取を行わずに搬送のみを行う構成としてもよい。
【0023】
上記の構成によれば、複数枚の原稿を連続して読み取った後、文字認識精度が所定値以下であった原稿の再読取を行う場合に、ユーザが複数枚の原稿の中から再読取を行う原稿を抽出する処理を行う必要がない。したがって、ユーザの利便性を向上させることができる。また、全ての原稿について再読取を行う場合に比べて、再読取の処理時間を短縮できる。また、全ての原稿について再読取を行うことによって前回の読取時には所定値以上の文字認識精度が得られていた原稿の文字認識精度が低下してしまうといった不具合(例えば、大きな文字で構成される頁と小さな文字で構成される頁が混在している原稿の場合、小さな文字の認識率が低い場合に、解像度を上げると、大きな文字の頁の認識率が低下するといった不具合)が生じることを防止できる。
【0024】
また、上記画像データが複数枚の原稿からなる画像データである場合に、上記文字認識部は原稿毎に文字認識精度を算出し、上記推奨設定検出部は文字認識精度が所定値以下である各原稿について原稿毎に上記推奨設定条件を検出し、前回の読取時に取得した複数枚の原稿の画像データのうち、文字認識精度が所定値以下であった原稿の画像データを、再読取によって取得した当該原稿の画像データに置換する画像合成部を備えている構成としてもよい。
【0025】
上記の構成によれば、複数前の原稿からなる画像データについて、原稿毎に再読取時の推奨設定条件を検出してユーザに提示することができる。また、前回の読取時に取得した複数枚の原稿の画像データのうち、文字認識精度が所定値以下であった原稿の画像データを、再読取によって取得した当該原稿の画像データに置換することができる。したがって、文字認識精度が所定値以下であった原稿の文字認識精度を向上させることができる。
【0026】
また、原稿から読み取って取得した画像データに対して、読み取り時の原稿の傾きを補正する原稿傾き補正処理、読み取り時の原稿の向きを90度単位で補正する天地方向補正処理、原稿の下地領域を検知して下地除去を行う下地検知除去処理、および解像度変換処理のうちのいずれか1つ以上の処理を行う補正処理部と、上記原稿が複数ページを1枚の原稿に割り付けた割付原稿である場合に、当該原稿の画像データを当該原稿に含まれるページ毎に分割する画像分割部とを備え、上記補正処理部は、上記画像分割部によって分割された上記各ページの画像データに対してページ毎に上記処理を行い、上記文字認識部は、上記画像分割部によって上記処理が施された上記各ページの画像データに基づいてページ毎に文字認識処理を行う構成としてもよい。
【0027】
上記の構成によれば、原稿が複数ページを1枚の原稿に割り付けた割付原稿である場合に、当該割付原稿をページ毎に分割し、分割後の各ページに対して必要に応じて原稿傾き補正処理、天地方向補正処理、下地検知除去処理、および解像度変換処理のうちのいずれか1つ以上の処理を施してから文字認識処理を行うことができる。これにより、各ページに対する文字認識精度を向上させることができる。
【0028】
また、上記画像読取部は、上記割付原稿の再読取を行う場合に、読取解像度を前回の読取解像度よりも高い解像度に変更して再読取を行い、上記画像分割部は、前回の読取解像度よりも高い解像度で再読取された上記割付原稿の画像データを当該割付原稿に含まれるページ毎に分割する構成としてもよい。
【0029】
上記の構成によれば、分割によって各ページの画像データの解像度が低下することを抑制し、分割に伴う解像度の低下によって文字認識精度が低下することを防止できる。
【0030】
本発明の画像形成装置は、上記したいずれかの画像読取装置と、上記画像読取装置によって読み取られた画像データに応じた画像を記録材上に形成する画像形成部とを備えていることを特徴としている。
【0031】
上記の構成によれば、原稿から取得した画像データに基づいて文字認識処理を精度よく行うとともに、上記画像データに応じた画像を記録材上に形成することができる。
【0032】
なお、上記画像読取装置は、コンピュータによって実現してもよく、この場合には、コンピュータを上記各部として動作させることにより、上記画像処理装置をコンピュータにて実現させるプログラム、およびそれを記録したコンピュータ読み取り可能な記録媒体も、本発明の範疇に含まれる。
【発明の効果】
【0033】
以上のように、本発明の画像読取装置は、上記文字認識部によって算出された文字認識精度が所定値以下である原稿について、文字認識精度を改善するために推奨される当該原稿の再読取時の設定条件である推奨設定条件を検出する推奨設定検出部と、上記推奨設定条件を表示する表示部とを備えている。
【0034】
また、本発明の画像読取方法は、上記認識精度算出工程によって算出された文字認識精度が所定値以下である原稿について、文字認識精度を改善するために推奨される当該原稿の再読取時の設定条件である推奨設定条件を検出する推奨設定検出工程と、上記推奨設定条件を表示する表示工程とを含む。
【0035】
それゆえ、ユーザに文字認識精度を改善するために推奨される再読取時の設定条件を提示することができるので、再読取によって文字認識処理により適した画像データを取得することができ、文字認識精度を向上させることができる。
【図面の簡単な説明】
【0036】
【図1】(a)は本発明の一実施形態にかかる画像処理装置において行われる画像送信モード(ページ単位処理モード)の処理の流れを示すフローチャートであり、(b)は(a)の処理において行われる画像読取処理の流れを示すフローチャートである。
【図2】本発明の一実施形態にかかる画像処理装置を備えた画像形成装置の構成、および画像形成モードにおけるデータの流れを示すブロック図である。
【図3】本発明の一実施形態にかかる画像処理装置を備えた画像形成装置の構成、および画像送信モードにおけるデータの流れを示すブロック図である。
【図4】図2および図3の画像形成装置に備えられる画像入力装置の構成を示す説明図である。
【図5】図2および図3の画像形成装置に備えられる下地判定処理部において生成されるヒストグラムの一例を示す説明図である。
【図6】図2および図3の画像形成装置に備えられる露光処理部において用いられるLUT(ルックアップテーブル)の概要を示す説明図である。
【図7】本発明の一実施形態にかかる画像処理装置に備えられる原稿検知部の構成を示すブロック図である。
【図8】図7に示した原稿検知部に備えられるレイアウト解析部におけるレイアウト解析方法を示す説明図である。
【図9】図2および図3に示した画像形成装置における文字認識部、再読取処理部、表示画像データ生成部、およびPDFファイル生成部の構成を示すブロック図である。
【図10】図2および図3に示した画像形成装置における原稿画像データの文字と文字認識結果に応じた文字との重畳方法を示す説明図である。
【図11】(a)〜(d)は、図2および図3に示した画像形成装置において表示されるサムネイル画像の一覧の例を示す説明図である。
【図12】(a)および(b)は図2および図3に示した画像形成装置において表示される、原稿画像データの文字と文字認識結果に応じた文字とを重畳させた重畳画像の例を示す説明図である。
【図13】図2および図3に示した画像形成装置において行われる推奨条件検出処理の流れを示すフローチャートである。
【図14】(a)は図2および図3に示した画像形成装置に表示される再読取設定画面の一例を示す説明図であり、(b)は(a)に示した再読取設定画面においてユーザが選択可能な内容を示す説明図である。
【図15】(a)〜(d)は図2および図3に示した画像形成装置に表示される、再読取前の重畳画像と再読取後の重畳画像とを並べて表示した表示画面の例を示す説明図である。
【図16】図2および図3に示した画像処理装置において行われる画像送信モード(ページ一括処理モード)の処理の流れを示すフローチャートである。
【図17】(a)および(b)は図2および図3に示した画像形成装置において表示されるサムネイル画像の一覧の例を示す説明図である。
【図18】図2および図3に示した画像形成装置において行われる推奨条件検出処理の流れを示すフローチャートである。
【図19】図2および図3に示した画像形成装置において表示される表示画面の一例を示す説明図である。
【図20】図2および図3に示した画像形成装置において表示される表示画面の一例を示す説明図である。
【図21】(a)〜(e)は、図2および図3に示した画像形成装置における再読取時の画像データおよびテキストデータの更新方法を示す説明図である。
【図22】(a)および(b)は図2および図3に示した画像形成装置において表示される表示画面の一例を示す説明図である。
【図23】(a)〜(c)は、図2および図3に示した画像形成装置において表示される表示画面の一例を示す説明図である。
【図24】(a)〜(d)は、複数ページの原稿が割り付けられた割付原稿の例を示す説明図である。
【図25】図2および図3に示した画像形成装置において1ページの原稿を複数ページに分割する場合の分割数と分割後の各ページの補正倍率との関係を示す説明図である。
【図26】(a)〜(d)は図2および図3に示した画像形成装置において表示されるサムネイル画像の一覧の例を示す説明図である。
【図27】図2および図3に示した画像形成装置において1ページの原稿を複数ページに分割する場合の分割後の各ページの順序を示す説明図である。
【図28】図2および図3に示した画像形成装置の変形例を示すブロック図である。
【図29】図2および図3に示した画像形成装置の変形例を示すブロック図である。
【図30】本発明の一実施形態にかかる画像処理装置を備えた画像読取装置の構成例を示すブロック図である。
【発明を実施するための形態】
【0037】
本発明の一実施形態について説明する。なお、本実施形態では、本発明をデジタルカラー複合機(コピア機能、スキャナ機能、プリンタ機能、ファクシミリ送信機能、scan to e-mail機能等を備える複合機)に適用する場合の実施例について主に説明する。
【0038】
(1−1.デジタルカラー複合機1の全体構成)
図2および図3は、本実施形態にかかる画像処理装置を備えたデジタルカラー複合機(画像読取装置、画像形成装置)1の概略構成を示すブロック図である。これら各図に示すように、デジタルカラー複合機1は、画像入力装置(画像読取部)2、画像処理装置(画像処理部)3、画像出力装置4、通信装置5、記憶部6、制御部7、および操作パネル8を備えている。
【0039】
また、このデジタルカラー複合機1は、(1)画像入力装置2で読み取った画像データまたは通信装置5によって外部から受信した画像データに応じた画像を画像出力装置4によって記録材上に形成(印刷)する画像形成モード、および(2)画像入力装置2で読み取った画像データとこの画像データに対する文字認識処理結果に基づくテキストデータとを対応付けた画像ファイルを生成して通信装置5により外部装置に送信する画像送信モードを備えている。図2は画像形成モードにおけるデータの流れを示しており、図3は画像送信モードにおけるデータの流れを示している。
【0040】
画像入力装置2は、原稿の画像を読み取って画像データ(原稿画像データ)を生成するものであり、例えばCCD(Charge Coupled Device )ラインセンサなどの光学情報を電気信号に変換するデバイス(光電変換手段)を備えたスキャナ部より構成されている。本実施形態では、画像入力装置2は、原稿からの反射光像を、RGB(R:赤・G:緑・B:青)のアナログ信号として画像処理装置3に出力する。また、画像入力装置2は、画像処理装置3に出力する画像データの解像度(読取解像度)を複数段階に変更可能になっている。画像入力装置2の詳細については後述する。
【0041】
画像処理装置3は、画像形成モードでは、画像入力装置2から入力された画像データに種々の画像処理を施して得られるCMYKの画像データを画像出力装置4に出力する。また、画像送信モードでは、画像入力装置2から入力された画像データに種々の画像処理を施し、ユーザによって指定されたファイル形式の画像ファイル(出力ファイル)を生成して通信装置5に出力する。なお、本実施形態では、上記出力ファイルとして、画像データとこの画像データに対する文字認識処理結果に基づいて生成されるテキストデータとを対応付けた画像ファイルを生成して通信装置5に出力するようになっている。画像処理装置3の詳細については後述する。
【0042】
画像出力装置(画像出力部)4は、画像処理装置3から入力された画像データを記録材(例えば紙等)上に出力するものである。画像出力装置4の構成は特に限定されるものではなく、例えば、電子写真方式あるいはインクジェット方式を用いた画像出力装置を用いることができる。
【0043】
通信装置5は、例えばモデムやネットワークカードより構成される。通信装置5は、ネットワークカード、LANケーブル等を介して、ネットワークに接続された他の装置(例えば、パーソナルコンピュータ、サーバ装置、表示装置、他のデジタル複合機、ファクシミリ装置等)とデータ通信を行う。
【0044】
操作パネル8は、制御部7の指示に応じた画像を表示する表示部8aと、ユーザからの指示入力を受け付けて制御部7に伝達する操作入力部8bとを備えている。なお、本実施形態では、表示部8aと操作入力部8bとが一体化されたタッチパネルを操作パネル8として用い、ユーザが表示部8aの表示画面における所望する選択項目の画像が表示されている領域に触れることによって指示入力を行う場合について主に説明する。ただし、これに限らず、例えば表示部8aと操作入力部8bとを別々に設けてもよい。この場合、表示部8aとしては、例えば、液晶表示装置、プラズマディスプレイ、有機ELディスプレイなどの従来から公知の表示装置を用いることができる。また、操作入力部8bとしては、例えば、キーボード、マウス、操作ボタン、ペン入力装置などの従来から公知の入力手段を用いることができる。
【0045】
記憶部6は、画像処理装置3で扱われる各種データ(画像データ、帳票の登録情報等)を記憶する記憶手段である。記憶部6の構成は特に限定されるものではないが、例えばハードディスクなどを用いることができる。
【0046】
制御部7は、例えばCPU(Central Processing Unit)等からなり、図示しないROM等に格納されたプログラムや各種データ、操作パネル8から入力される情報、画像入力装置2あるいは画像出力装置4に備えられる各種センサの検知結果等に基づいて、デジタルカラー複合機1の各部の動作を制御する。
【0047】
(1−2.画像入力装置2の構成)
図4は、画像入力装置2の構成を示す説明図である。この図に示すように、画像入力装置2は、原稿自動搬送装置(ADF(Auto Document Feeder))50と、原稿自動搬送装置50によって第2コンタクトガラス52上を搬送される原稿のおもて面側の画像を読み取るイメージセンサ部(第1読取手段)53と、第2コンタクトガラス52上を搬送される原稿の裏面側の画像を読み取る機能、および第1コンタクトガラス(原稿載置台)51上に載置されている原稿を走査することによりこの原稿の下面側を読み取る機能を有する読取部(第1読取手段、第2読取手段)54とを備えている。これにより、画像入力装置2は、原稿を静止させて画像を読み取る静止読取モード、原稿を搬送させながら原稿を読み取る走行読取モードを実行できるようになっている。また、走行読取モードでは、搬送されている原稿の片面の画像を読み取る片面読取モードおよび両面の画像を読み取る両面読取モードを実行できるようになっている。
【0048】
原稿自動搬送装置50は、図4に示すように整合ローラ対55を備えている。整合ローラ対55は、搬送されてきた原稿の先端が整合ローラ対55のニップ部に突き当たるように配置されている。そして、原稿が上記ニップ部に突き当たることによって原稿に所定の撓みが形成された後、整合ローラ対55が回動することによってこの原稿を下流側の原稿搬送路56に搬送することで、原稿の先端を搬送方向に垂直になるように原稿の向きを整合させるようになっている。
【0049】
また、原稿自動搬送装置50における第1コンタクトガラス51との対向面には第1コンタクトガラス51上に載置された原稿を抑える原稿押さえマット57が備えられており、原稿自動搬送装置50における第2コンタクトガラス52との対向面には原稿の搬送方向を規制するためのガイド58が備えられている。また、第2コンタクトガラス52におけるイメージセンサ部53との対向面とは反対側の面には、読取部54の光源62から照射される光がイメージセンサ部53に入射してイメージセンサ部53が画像を適切な濃度で読み取れなくなるのを防止するための遮光部材59が配置されている。
【0050】
なお、上記した各部材のうち、原稿押さえマット57、整合ローラ対55、原稿搬送路56、イメージセンサ部53、および上側原稿搬送ガイド58等が上部筐体(原稿カバー)60に備えられ、第1コンタクトガラス51、第2コンタクトガラス52、および読取部54が下部筐体61に備えられている。また、上部筐体60は下部筐体61に対して開閉可能に構成されている。
【0051】
読取部54は、第1走査ユニット63、第2走査ユニット64、結像レンズ65、およびCCD(Charge Coupled Device)66を備えている。第1走査ユニット63は、第1コンタクトガラス51に沿って(図4の左から右に向かって)一定速度Vで移動しながら原稿を露光するものであり、光源(露光ランプ)62と、原稿の反射光を第2走査ユニット64に導く第1反射ミラー67とを有している。
【0052】
第2走査ユニット64は、第1走査ユニット63に追随してV/2の速度で移動するようになっており、第1反射ミラー67からの光を結像レンズ65に導くための第2反射ミラー68および第3反射ミラー69を備えている。
【0053】
結像レンズ65は、第3反射ミラー69からの反射光をCCD66上で結像させるものである。CCD66は結像レンズ65からの光をアナログの電気信号に変換するものである。なお、このアナログの電気信号は、後述する画像処理装置3によってデジタルの画像データに変換される。
【0054】
走行読取モード(片面読取モード、両面読取モード)で原稿を読み取る場合、読取部54は、ホームポジション(図示せず)から、図4に示したように第2コンタクトガラス52に対向する位置に移動する。また、静止読取モードで原稿を読み取る場合、読取部54は、図4に示した位置Pから原稿サイズ検出手段(図示せず)で検出された原稿サイズに応じた距離だけ第1コンタクトガラス51に沿った方向に移動するようになっている。上記原稿サイズ検出手段は、例えば、画像入力装置2内に配置されたフォトトランジスタなどの光電変換素子により第1コンタクトガラス51上に載置された原稿の主走査方向および副走査方向の原稿サイズを検知するものであってもよく、あるいは、操作パネル8を介してユーザが選択した原稿のサイズを検知するものであってもよい。
【0055】
なお、両面読取モードで原稿を読み取った場合、例えば、原稿の表面が読取部54で読み取られるように設定されている場合には読取部54で読み取られた画像データがまず画像処理装置3に出力され、その後、イメージセンサ部53で読み取られた原稿の裏面の画像データが画像処理装置3に入力されるようになっている。なお、読取部54で読み取られた画像データが画像処理装置3で処理されている間、イメージセンサ部53で読み取られた画像データは後述する記憶部6に格納され、読取部54で読み取られた画像データの画像処理が終了した後(あるいは読取部54で読み取られた画像データに対する画像処理の進行状況に応じて)、記憶部6から読み出されて画像処理が施される。
【0056】
また、画像入力装置2は、画像処理装置3に出力する画像データの解像度である読取解像度を制御部7の指示に応じて複数段階に変更できるようになっている。例えば、解像度の異なる複数のCCD66、および解像度の異なる複数のイメージセンサ部53を備えておき、制御部7の指示に応じて原稿の読み取りに使用するCCD66あるいはイメージセンサ部53を切り替えるようにしてもよい。あるいは、CCD66によって読み取られた画像データ、およびイメージセンサ部53によって読み取られた画像データの解像度を変換する解像度変換部(図示せず)を備え、この解像度変換部が、CCD66によって読み取られた画像データ、およびイメージセンサ部53によって読み取られた画像データの解像度を制御部7からの指示に応じた解像度に変換して画像処理装置3に出力するようにしてもよい。本実施形態では、読取解像度を600dpi、400dpi、300dpi、200dpi、および100dpiの5段階に切り替え可能になっている。なお、デフォルトでは300dpiに設定されている。
【0057】
また、本実施形態では、原稿自動搬送装置50における原稿の搬送速度は可変になっている。具体的には、原稿自動搬送装置50における原稿の搬送速度は「通常」および「低速」の2段階に切り替え可能になっている。なお、原稿の搬送速度はデフォルトでは「通常」に設定されており、制御部7の指示に応じて「低速」に切り替えられる。
【0058】
(1−3.画像処理装置3の構成および画像形成モードの動作)
次に、画像処理装置3の構成および動作について説明する。まず、画像形成モードの場合の動作について説明する。
【0059】
画像処理装置3は、図2に示したように、A/D変換部11、シェーディング補正部12、入力処理部13、下地判定処理部(補正処理部)26、露光処理部(補正処理部)27、原稿検知部14、原稿補正部(補正処理部)15、色補正部16、黒生成下色除去部17、空間フィルタ部18、出力階調補正部19、中間調生成部(中間調生成部)20、領域分離部21、文字認識部22、再読取処理部23、表示画像データ生成部24、およびPDFファイル生成部25を備えている。
【0060】
画像形成モードの場合、まず、A/D変換部11が、画像入力装置2から入力されたRGBのアナログ信号をデジタル信号に変換してシェーディング補正部12に出力する。
【0061】
シェーディング補正部12は、A/D変換部11から送られてきたデジタルのRGB信号に対して、画像入力装置2の照明系、結像系、撮像系で生じる各種の歪みを取り除く処理を施し、入力処理部13に出力する。
【0062】
入力処理部(入力階調補正部)13は、シェーディング補正部12にて各種の歪みが取り除かれたRGB信号に対して、カラーバランスを整えると同時に、濃度信号など画像処理装置3に採用されている画像処理システムの扱い易い信号に変換する処理を施し、下地判定処理部26に出力する。また、コントラストなどの画質調整処理を行う。
【0063】
下地判定処理部26は、原稿における下地の輝度レベルが閾値以上であるか否かを判定し、判定結果を露光処理部27に出力する。また、下地判定処理部26は、入力された画像データを露光処理部27にそのまま出力する。
【0064】
具体的には、下地判定処理部26は、RGB(R:Red(赤)、G:Green(緑)、B:Blue(青))信号からなる入力画像データを、Yi=0.30Ri+0.59Gi+0.11Biを演算することにより輝度信号Yに変換する。ここで、Yは各画素の輝度信号であり、R,G,Bは各画素のRGB信号における各色成分であり、添え字のiは画素毎に付与された値(iは1以上の整数)である。あるいは、RGB信号をCIE1976L*a*b*信号(CIE:Commission International de l'Eclairage、L*:明度、a*,b*:色度)に変換してもよく、G信号を用いてもよい。
【0065】
さらに、下地判定処理部26は、上記のようにして求めた輝度信号もしくは、明度信号に基づいて画像全体でヒストグラムを作成する。図5は下地判定処理部26において生成されるヒストグラムの一例を示す説明図である。
【0066】
そして、下地判定処理部26は、作成したヒストグラムにおいて最も頻度が高く、度数が閾値th1以上の輝度(あるいは明度)に対応する領域を下地領域と判定する。そして、下地領域と判定された領域の輝度(あるいは明度)と閾値th2とを比較し、その比較結果を露光処理部27に出力する。なお、閾値th1および閾値th2は、種々の原稿を用いて予め実験を行い、下地が適切に判断できる値を設定すればよい。
【0067】
露光処理部27は、画像データにおける、下地判定処理部26において下地領域と判定され、かつ輝度(あるいは明度)が閾値th2以上であると判定された領域に対して下地除去処理を行う。
【0068】
具体的には、図6に示すように、入力画像データの輝度(あるいは明度)と下地除去レベルとを対応付けた複数種類のLUTを記憶部6に予め記憶しており、露光処理部27はこれら複数種類のLUTの中からユーザの指示に応じたLUTを選択し、選択したLUTと入力画像データの輝度(あるいは明度)とに基づいて下地除去レベルを決定し、決定した下地除去レベルに応じて下地除去処理を行う。なお、図6の例では2種類のLUT(補正強および補正弱)を備えている場合を示しているが、さらに多種類のLUTを備えていてもよい。また、図6に示すように各LUTの特性を示すグラフ(補正曲線)を表示部8aに表示させてユーザが所望するLUTを選択できるようにしてもよく、各LUTの特性を示すインデックス(補正強、補正弱等)、あるいは各LUTの番号などを表示部8aに表示させ、ユーザが所望するLUTのインデックス、あるいは番号を選択するようにしてもよい。
【0069】
原稿検知部14は、露光処理部27によって上記の処理が施された画像データに基づいて原稿画像の傾き角度、および天地方向を検出し、その検出結果を原稿補正部15に出力する。また、原稿検知部14は、画像送信モードでは、原稿に含まれる文字列が縦書きであるか横書きであるかを検出するレイアウト解析処理を行い、その結果を文字認識部22に出力する。
【0070】
図7は、原稿検知部14の構成を示すブロック図である。この図に示すように、原稿検知部14は、信号変換部31、解像度変換部32、2値化処理部33、原稿傾き検知部34、レイアウト解析部35、および天地方向判定部36を備えている。
【0071】
信号変換部31は、露光処理部27によって上記各処理が施された画像データがカラー画像である場合にこの画像データを無彩化して、明度信号もしくは輝度信号に変換し、解像度変換部32に出力する。
【0072】
例えば、信号変換部31は、Yi=0.30Ri+0.59Gi+0.11Biを演算することによりRGB信号を輝度信号Yに変換する。ここで、Yは各画素の輝度信号であり、R,G,Bは各画素のRGB信号における各色成分であり、添え字のiは画素毎に付与された値(iは1以上の整数)である。あるいは、RGB信号をCIE1976L*a*b*信号(CIE:Commission International de l'Eclairage、L*:明度、a*,b*:色度)に変換してもよく、G信号を用いてもよい。
【0073】
解像度変換部32は、信号変換部31から入力された画像データの解像度を制御部7からの指示に応じた解像度に変換し、2値化処理部33に出力する。解像度変換の方法は特に限定されるものではなく、例えば、公知のニアレストネイバー法、バイリニア法、バイキュービック法、平均値法などを用いることができる。
【0074】
本実施形態では、解像度変換部32は、デフォルトでは信号変換部31から入力された画像データの解像度を第1解像度(例えば300dpi)に変換した画像データと、第1解像度よりも低い第2解像度(例えば75dpi)の画像データをそれぞれ作成するようになっている。そして、後述するレイアウト解析部35の処理では第2解像度の画像データに基づいて2値化処理部33で生成される2値画像データを用い、後述する原稿傾き検知部34、天地方向判定部36、および文字認識部22における処理では第1解像度の画像データに基づいて2値化処理部33で生成される2値画像データを用いるようになっている。つまり、レイアウト解析部35ではレイアウトの概要を認識できればよく、必ずしも高精細な画像データは必要でないことから、原稿傾き検知部34、天地方向判定部36、および文字認識部22における処理よりも低解像度の画像データを用いるようになっている。
【0075】
2値化処理部33は、解像度変換部32によって解像度変換された画像データを2値化して2値画像データを生成し、原稿傾き検知部34に出力する。具体的には、画像データにおける各画素の濃度(画素値)と予め設定された閾値とを比較することにより各画素の画素値を2値化する。例えば、画像データが8ビットである場合、上記閾値を128とする。あるいは、複数の画素(例えば5画素×5画素)からなるブロックにおける濃度(画素値)の平均値を閾値とする。
【0076】
原稿傾き検知部34は、2値化処理部33から入力される画像データに基づいて、画像読取時の正規の原稿位置に対する原稿の傾き角度を検知し、検知した傾き角度を原稿補正部15に出力する。つまり、原稿傾き検知部34は、画像入力装置2における正規の原稿位置に対して、画像読取時における原稿の位置が傾いていた場合に、この傾き角度を検知し、原稿補正部15に出力する。また、原稿傾き検知部34は、2値化処理部33から入力された2値画像データをレイアウト解析部35に出力する。
【0077】
原稿傾き検知部34における傾き角度の検知方法は特に限定されるものではなく、従来から公知の方法を用いることができる。例えば、特許文献2に記載されている方法を用いてもよい。この方法では、2値化された画像データからを黒画素と白画素との境界点(例えば各文字の上端における白/黒の境界点の座標)を複数個抽出し、各境界点の点列の座標データを求める。黒画素と白画素の境界については、例えば、各文字の上端における白/黒境界点の座標を求める。そして、この点列の座標データに基づいて回帰直線を求め、その回帰係数bを下記式(1)に基づいて算出する。
【0078】
b=Sxy/Sx ・・・(1)
なお、Sx,Syはそれぞれ変量x,yの残差平方和であり、Sxyはxの残差とyの残差の積の和である。すなわち、Sx,Sy,Sxyは下記式(2)〜(4)で表わされる。
【0079】
【数1】

【0080】
そして、上記のように算出した回帰係数bより、下記式(5)に基づいて傾き角度θを算出する。
【0081】
tanθ=b ・・・(5)
レイアウト解析部35は、画像送信モードが選択されている場合に、2値画像データに基づいて、画像データに含まれる文字の方向が縦書きであるか横書きであるかを解析するレイアウト解析処理を行い、レイアウト解析結果を文字認識部22に出力する。また、レイアウト解析部35は、原稿傾き検知部34から入力された2値画像データをそのまま天地方向判定部に出力する。なお、レイアウト解析部35は、画像形成モードではレイアウト解析処理は行わず、原稿傾き検知部34から入力された2値画像データをそのまま天地方向判定部に出力する。
【0082】
レイアウト解析部35は、レイアウト解析処理を行う場合、図8に示すように文字の外接矩形を求め、外接矩形間の距離に基づいて縦書きか横書きであるかを判定する。文字の外接矩形については以下に示す(1)〜(4)の処理によって求める。
(1)最初のライン(1番上のライン)を注目ラインとし、黒画素にラベリングを行う。
(2)注目ラインを一つ下のラインにずらし、黒画素について上記ラインとは異なるラベルをセットする。
(3)注目ラインとその1つ上のラインの黒画素の連結状態を判定し、連結している場合は画素が繋がっていると判断し、1つ上のラインにおける連結している黒画素と同じラベルに置換する。
(4)上記処理を各ラインについて順次行い、各ラインのラベル付け結果に基づいて文字の抽出を行う。抽出した文字における上端、下端、左端および右端の画素位置(画素の座標)を基に外接矩形を抽出する。なお、画素の座標は、読み込まれた画像データの左端かつ上端の位置を原点として求める。
【0083】
天地方向判定部36は、レイアウト解析部35から入力される2値画像データに基づいて、画像読取時の原稿の天地方向(原稿方向)を検知し、検知結果を原稿補正部15に出力する。また、天地方向判定部36は、レイアウト解析部35から入力された2値画像データを文字認識部22に出力する。
【0084】
天地方向の検知方法は特に限定されるものではなく、従来から公知の方法を用いることができる。例えば、特許文献3に記載されている方法を用いてもよい。この方法では、以下の(1)〜(6)の処理により原稿の天地方向を検知する。
(1)原稿内の文字を文字毎に切り出して各文字をパターン化して文字パターンを生成する。
(2)文字パターンには文字以外のノイズも含まれるため、文字の可能性が高い文字パターン(例えば、縦横比が1:2〜2:1である文字パターン)を選別する。
(3)文字パターンの特徴とデータベース化された文字パターン情報とを比較(マッチング)する。例えば、データベース化された文字パターンに切り出された文字パターン(入力パターン)を重ね合わせ、画素ごとの白黒を比較する。そして、データベース化された文字パターンの中に全ての画素が合致する文字パターンが存在する場合には当該文字パターンに対応する文字を入力パターンの文字であると判別する。また、全ての画素が合致する文字パターンが存在しない場合、合致する画素の数が所定のマッチング割合に達しているか否かを判断し、達していない場合にはその文字パターンは判別不能と判断する。一方、所定のマッチング割合に達している場合には、合致する画素が最も多い文字パターンに対応する文字を入力パターンの文字であると判別する。
(4)切り出された文字パターンを90°、180°、270°回転させ、上記(2)および(3)の処理を繰り返す。
(5)上記各回転角(0°、90°、180°、270°)について、上記(2),(3)によって判別可能であった文字の数を比較し、判別可能な文字数が最も多い回転角を原稿の文字方向として原稿の天地方向を判定する。
(6)天地方向の判定結果として0°、90°、180°、および270°のうちのいずれかを出力する。
【0085】
原稿補正部15は、原稿検知部14の検知結果(原稿傾き検知部34による傾き検知結果および天地方向検知部35による天地方向検知結果)に基づいて、露光処理部27によって上述の処理が施された画像データに原稿傾き補正処理および天地方向補正処理を行う。
【0086】
なお、原稿補正部15が原稿検知部14の傾き検知結果に基づいて原稿傾き補正処理を行い、原稿傾き補正後の画像データを原稿検知部14に再入力し、この再入力された画像データに基づいて原稿検知部14が天地方向検知処理を行い、天地判定結果に基づいて原稿補正部15が天地方向補正処理を行うようにしてもよい。また、画像送信モード(文字認識処理を行うモード)が選択されている場合には、原稿補正部15によって原稿傾き補正および天地方向補正が行われた画像データに基づいて作成した画像データを原稿検知部14に再入力し、原稿検知部14が、この再入力された画像データに基づいて生成された2値画像データ、および当該2値画像データに基づいてレイアウト解析処理(文字の方向が縦書きであるか横書きであるかを解析する処理)を行った結果を文字認識部22に出力するようにしてもよい。
【0087】
また、原稿補正部15によって原稿傾き補正処理および天地方向補正処理が施された画像データをファイリングデータとして管理するようにしてもよい。この場合、上記画像データは、例えば、JPEG圧縮アルゴリズムに基づいてJPEGコードに圧縮されて記憶部6に格納される。そして、この画像データに対するコピー出力動作やプリント出力動作が指示された場合には、記憶部6からJPEGコードが引き出されて不図示のJPEG伸張部に引き渡され、復号化処理が施されてRGBデータに変換される。また、上記の画像データに対して送信動作が指示された場合には、記憶部6からJPEGコードが引き出され、ネットワーク網や通信回線を介して通信装置5から外部装置へ送信される。
【0088】
色補正部16は、原稿補正部15によって原稿傾き補正処理および天地方向補正処理が施された画像データを記憶部6から読み出し、読み出した画像データをRGB信号の補色であるCMY(C:シアン・M:マゼンタ・Y:イエロー)信号に変換するとともに、色再現性を高める処理を行う。
【0089】
黒生成下色除去部17は、色補正後のCMYの3色信号から黒(K)信号を生成する黒生成、元のCMY信号から黒生成で得たK信号を差し引いて新たなCMY信号を生成する処理を行うものである。これにより、CMYの3色信号はCMYKの4色信号に変換される。
【0090】
空間フィルタ部18は、黒生成下色除去部17より入力されるCMYK信号の画像データに対して、領域識別信号を基にデジタルフィルタによる空間フィルタ処理(強調処理および/または平滑化処理)を行い、空間周波数特性を補正する。これにより、出力画像のぼやけや粒状性劣化を軽減することができる。
【0091】
出力階調補正部19は、用紙等の記録材に出力するための出力γ補正処理を行い、出力γ補正処理後の画像データを中間調生成部20に出力する。
【0092】
中間調生成部20は、最終的に画像を画素に分離してそれぞれの階調を再現できるように処理する階調再現処理(中間調生成)を施す。
【0093】
領域分離部21は、RGB信号より、入力画像中の各画素を黒文字領域、色文字領域、網点領域、印画紙写真(連続階調領域)領域の何れかに分離するものである。領域分離部21は、分離結果に基づき、画素がどの領域に属しているかを示す領域分離信号を、黒生成下色除去部17、空間フィルタ部18、および中間調生成部20へと出力する。黒生成下色除去部17、空間フィルタ部18、および中間調生成部20では、入力された領域分離信号に基づいて、各領域に適した処理が行われる。領域分離処理の方法は特に限定されるものではなく、従来から公知の方法を用いることができる。
【0094】
文字認識部(OCRエンジン)22、再読取処理部23、表示画像データ生成部24、およびPDFファイル生成部25は、画像形成モードでは動作を行わない。これら各部の詳細については後述する。
【0095】
上述した各処理が施されて中間調生成部20から出力された画像データは、一旦、記憶部6あるいは他のメモリ(図示せず)に記憶されたのち、所定のタイミングで読み出されて画像出力装置4に出力される。
【0096】
(1−4.画像処理装置3の構成、および画像送信モードの動作)
(1−4−1.ページ単位処理モード)
次に、画像送信モードにおける画像処理装置3の動作、および文字認識部22、再読取処理部23、表示画像データ生成部24、およびPDFファイル生成部25の構成について説明する。
【0097】
図1(a)は画像送信モードにおける画像処理装置3の処理の流れを示すフローチャートである。また、図9は、文字認識部22、再読取処理部23、表示画像データ生成部24、およびPDFファイル生成部25の構成を示すブロック図である。図9に示すように、再読取処理部23は、推奨設定検出部41、画像合成部42、およびテキスト合成部43を備えている。また、表示画像データ生成部24は、有彩色テキスト生成部44、重畳画像データ生成部45、サムネイル生成部46、およびプレビュー画像データ生成部47を備えている。また、PDFファイル生成部25は、描画コマンド生成部71およびフォーマット化処理部72を備えている。
【0098】
図1(a)に示すように、制御部7は、画像入力装置2に原稿がセットされ、操作入力部8bがユーザからの原稿読取の開始指示を受け付けたこと検知すると(S1)、デジタルカラー複合機1の各部を制御して読取処理を行わせる(S2)。
【0099】
図1(b)は読取処理の流れを示すフローチャートである。この図に示すように、制御部7は、画像入力装置2を制御して原稿を読み取らせ、原稿の画像データを取得させる(S21)。また、制御部7は、画像処理装置3の各部を制御し、原稿傾き検知処理(S22)、レイアウト解析処理(S23)、および原稿方向(天地方向)検知処理(S24)を行わせる。具体的には、画像入力装置2から画像処理装置3に入力される画像データに対して、A/D変換部11、シェーディング補正部12、入力処理部13、下地判定処理部26、露光処理部27、信号変換部31、解像度変換部32、および2値化処理部33に上述した各処理を行わせ、原稿の2値画像データを生成させる。そして、この2値画像データに基づいて、原稿傾き検知部34に原稿傾き検知処理を行わせ、レイアウト解析部35にレイアウト解析処理を行わせ、天地方向判定部36に原稿方向検知処理を行わせる。また、制御部7は、原稿傾き検知処理、レイアウト解析処理、および原稿方向検知処理の結果を記憶部6に一旦記憶させる。
【0100】
次に、制御部7は、文字認識部22を制御し、S21で取得した画像データに基づいて生成された2値画像データ、およびS21で取得した画像データに対するレイアウト解析処理の結果に基づいて文字認識処理(OCR処理)を行わせるとともに、文字認識に関する付帯情報(各ページに含まれる文字の総文字数、各文字についての認識精度、各ページについての高精度文字数、低精度文字数、高精度率、および低精度率など)を算出させる(S25)。そして、文字認識情報(文字認識結果を示すテキストデータおよび文字認識に関する付帯情報)を表示画像データ生成部24に出力させるとともに、記憶部6に一旦記憶させる。
【0101】
具体的には、文字認識部22は、原稿検知部14から入力された2値画像データおよびレイアウト解析結果に基づいて画像データに含まれる文字の特徴量を抽出し、抽出結果を辞書データに含まれる文字の特徴量と比較して文字認識処理を行い、類似する文字に対応する文字コードを検出する。そして、文字コードの検出結果に基づいてテキストデータを生成する。
【0102】
また、各文字について、文字毎に辞書データに含まれる文字との一致度を算出し、一致度が閾値以上である文字を高精度文字、閾値未満である文字を低精度文字とする。上記閾値は特に限定されるものではないが、例えば、画像データから抽出した文字の特徴量と辞書データに含まれる文字の特徴量とが完全に一致する場合の一致度を1、全く一致しない場合の一致度を0とすると、0.7に設定する。また、各ページに含まれる文字の総数(総文字数)を検出し、総文字数に対する高精度文字数の割合(高精度率)、および総文字数に対する低精度文字数の割合(低精度率)をページ毎に算出する。また、低精度文字数の割合が所定値(例えば10%以上)のページを低精度ページとし、所定値未満のページを高精度ページとする。
【0103】
次に、制御部7は、表示画像データ生成部24の有彩色テキスト生成部44を制御し、S25における文字認識処理に基づいて生成したテキストデータに対応するカラーテキストデータ(有彩色テキストデータ)を生成させ(S26)、記憶部6に一旦記憶させる。なお、上記カラーデータの色は、デフォルトで設定しておいてもよく、ユーザが任意に指定するようにしてもよい。ただし、画像データに応じて表示される文字の色(原稿における文字の色)と識別しやすい色であることが好ましい。なお、画像データに基づいて原稿中の文字色を検出する文字色検出部(図示せず)を設け、検出した原稿中の文字色に応じて、カラーテキストデータの色を原稿中の文字色と識別しやすい色に設定するようにしてもよい。また、原稿中の文字については2値画像データに基づいて黒で表示し、カラーテキストデータについては黒以外の有彩色で表示するようにしてもよい。本実施形態では、原稿における文字を黒とし、カラーテキストデータの文字を赤とするようになっている。
【0104】
次に、制御部7は、表示画像データ生成部24の重畳画像データ生成部45を制御し、入力処理部13において上述した処理が施された画像データとS26で生成したカラーテキストデータとを重畳させた重畳画像データを生成させ(S27)、記憶部6に一旦記憶させる。図10は、原稿の画像データ(原稿画像データ)とカラーテキストデータとの重畳方法を示す説明図である。この図に示すように、本実施形態では、表示画像データ生成部24は、原稿画像データの文字の一部と、それに対応するカラーテキストデータの文字(文字認識処理結果を示す文字)の一部とが重なるように表示させるように重畳画像データを生成する。ただし、必ずしもこれら両文字の一部を重ねる必要はなく、カラーテキストデータの文字を対応する原稿画像データの文字の近傍に配置すればよい。
【0105】
また、制御部7は、表示画像データ生成部24のサムネイル生成部46を制御してS27で生成した重畳画像データのサムネイル画像データを生成させ(S28)、記憶部6に一旦記憶させる。なお、本実施形態では重畳画像データのサムネイル画像データを生成するものとしているが、これに限らず、例えば原稿画像データのサムネイル画像を生成するようにしてもよい。
【0106】
なお、図1(a)および図1(b)には示していないが、制御部7は、原稿補正部15、色補正部16、黒生成下色除去部17、空間フィルタ部18、出力階調補正部19、中間調生成部20、および領域分離部21を制御し、原稿から読み取った画像データに対して出力ファイルの形式に応じた画像データにするための処理を行わせる。
【0107】
具体的には、制御部7は、原稿補正部15を制御し、原稿検知部14における原稿傾き検知結果、および原稿方向検知結果に応じて原稿傾き補正および天地方向補正を行わせる。また、色補正部16を制御し、出力ファイルのカラータイプに応じた画像データに色変換させる。例えば、色補正部16は、原稿補正部15から入力される画像入力装置2の画像読取特性に依存したR,G,Bの画像データを、一般に普及している表示装置の表示特性に適合したR’G’B’の画像データ(例えば、sRGBデータ)に変換させる。
【0108】
また、制御部7は、画像送信モードでは黒生成下色除去部17および中間調生成部20には処理を行わせず、黒生成下色除去部17および中間調生成部20については前段の処理部から入力された画像データをそのまま次段の処理部に出力(スルー)させる。
【0109】
また、制御部7は、空間フィルタ部18を制御し、領域分離信号に基づいてデジタルフィルタによる空間フィルタ処理(強調処理,平滑化処理)を行わせる。また、制御部7は、出力階調補正部19を制御し、所定の出力階調補正処理を行わせ、出力階調補正処理後の画像データを記憶部6に一旦記憶させる。
【0110】
S2において読取処理を行った後、制御部7は、読み取り処理が完了していない原稿が残っているか否かを判断し(S3)、残っている場合には未読取ページに対して上述した読取処理を行う。
【0111】
一方、S3において全ての原稿の読み取り処理が完了したと判断した場合、制御部7は、表示画像データ生成部24によって生成された各原稿についてのサムネイル画像データに基づいて、操作パネル8の表示部8aにサムネイル画像の一覧を表示させる(S4)。
【0112】
図11(a)はS4において表示部8aに表示される表示画面の一例を示している。この図に示す例では、各原稿についてのサムネイル画像の一覧と、「表示モード切り替え」、「処理モードページ単位」、「完了」、「拡大」、および「縮小」の各ボタンと、原稿の総ページ数(総枚数)、および低精度ページ数が表示されている。低精度ページ数とは、S26で算出した低精度率が所定値以上である原稿の数である。「拡大」ボタンおよび「縮小」ボタンは、各サムネイル画像の表示サイズを拡大あるいは縮小させるための指示を行うボタンである。「処理モードページ単位」ボタンは、再読取時に、再読取対象として選択した原稿のみを画像入力装置2の原稿自動搬送装置50または第1コンタクトガラス(原稿載置台)51上にセットして読み取りを行うモード(ページ単位処理モード)が選択されていることを示している。「処理モードページ単位」ボタンが操作されると、再読取時に全原稿を画像入力装置2の原稿自動搬送装置50にセットして読み取りを行うモード(ページ一括処理モード)に切り替えられ、後述する図17(a)の表示画面に移行するようになっている。
【0113】
また、「表示モード切り替え」ボタンは、全原稿のサムネイル画像の一覧を表示させるか、低精度率が所定値以上である原稿(再読取を推奨する原稿)のサムネイル画像の一覧を表示させるかを切り替えるための指示を行うボタンである。図11(a)の表示画面において、「表示モード切り替え」ボタンが操作されると、制御部7は、図11(b)に示すように低精度率が所定値以上である原稿のサムネイル画像の一覧を表示させる。なお、図11(b)の表示画面では、各サムネイル画像の近傍に、当該サムネイル画像に対応するページについての低精度率(低精度文字率)を表示させるようになっている。
【0114】
また、図11(a)に示したように、本実施形態では、全原稿のサムネイル画像の一覧を表示させる際、低精度率が所定値未満である原稿と、所定値以上である原稿とを識別可能に表示させるようになっている。識別可能に表示させるための方法は特に限定されるものではないが、サムネイル画像の枠部の色や太さを異ならせる方法などを用いることができる。本実施形態では、低精度率が所定値未満である原稿のサムネイル画像の枠部を赤色で強調表示するようになっている。これにより、低精度率が所定値未満である原稿をユーザに認識させ、再読取を行うか否かを確認することを奨めることができる。
【0115】
また、本実施形態では、サムネイル画像の一覧を表示させるものとしているが、これに限らず、各原稿の画像を順次表示させるようにしてもよい。
【0116】
次に、制御部7は、S4で表示させた表示画面に対して原稿の選択指示(ページ選択指示)が行われたか否かを判断する(S5)。なお、本実施形態では、サムネイル画像の一覧が表示されている表示画面においてユーザがいずれかのサムネイル画像に触れることにより、そのサムネイル画像に対応する原稿を選択して当該原稿についての詳細情報の表示を選択できるようになっている。また、「完了」ボタンが操作された場合、制御部7は、原稿の選択指示が行われなかったと判断する。
【0117】
S5において原稿の選択指示が行われなかったと判断した場合、制御部7は、後述するS18の処理に移る。
【0118】
一方、S5においてページの選択指示が行われたと判断した場合、制御部7は、選択された原稿についての詳細情報を表示させる(S6)。
【0119】
図12(a)はS6において表示される表示画面の一例を示す説明図である。この図に示すように、制御部7は、S5において選択された原稿についてのS27で生成された重畳画像データを記憶部6から読み出して表示部8aに表示させる。また、この図に示す例では、重畳画像データに加えて、「表示モード切り替え」、「前ページ」、「OK」、「再読取」、「次ページ」、「手動補正」、「拡大」、および「縮小」の各ボタンと、このページに含まれる文字の総文字数、高精度文字数、高精度率、および傾きの有無が表示されている。なお、傾きの有無については、S22の原稿傾き検知処理において検出された原稿の傾き向き角度が所定角度(例えば2度)以上である原稿については傾きあり、所定角度未満である原稿については傾きなしとして表示する。なお、高精度文字数および高精度率に代えて(あるいは高精度文字数および高精度率に加えて)、低精度文字数および低精度率を表示させてもよい。
【0120】
「前ページ」ボタン、および「次ページ」ボタンは、詳細情報を表示させる原稿を1つ前または1つ後のページに切り替えるための指示を行うボタンである。「拡大」および「縮小」ボタンは表示させる重畳画像の拡大または縮小を指示するためのボタンである。「OK」ボタンは再読取を行わない旨の指示を行うボタンであり、「再読取」ボタンは再読取処理を行う旨の指示を行うボタンである。「手動補正」ボタンは手動補正処理を行う旨の指示を行うボタンである。
【0121】
図12(a)の表示画面において「表示モード切り替え」ボタンが操作されると、制御部7は、図12(b)に示すように、重畳画像データ生成部45を制御して低精度文字についてのみカラーテキストデータに応じた文字を表示させ、高精度文字についてはカラーテキストデータを表示させないようにした重畳画像データを生成させて表示部8aに表示させる。なお、S27の処理において全ての文字についてカラーテキストデータに応じた文字を重畳させた重畳画像データ、および低精度文字についてのみカラーテキストデータに応じた文字を重畳させた重畳画像データの両方を生成して記憶部6に記憶させておいてもよい。
【0122】
次に、制御部7は、手動補正処理を行うか否かを判断する(S7)。具体的には、制御部7は、S6の表示画面において「手動補正」ボタンが操作された場合には手動補正処理を行うと判断し、「OK」ボタン、または「再読取」ボタンが操作された場合には手動補正処理を行わないと判断する。
【0123】
そして、S7において手動補正処理を行うと判断した場合、手動補正処理を行う(S8)。手動補正処理とは、ユーザがマニュアルで補正内容を指示して画像データを補正する処理である。手動補正処理の詳細については後述する。
【0124】
一方、S7において手動補正処理を行わないと判断した場合、制御部7は、再読取を行うか否かを判断する(S9)。具体的には、制御部7は、S6の表示画面において「OK」ボタンが操作された場合には再読取を行わないと判断し、「再読取」ボタンが操作された場合には再読取を行わないと判断する。
【0125】
そして、S9において再読取を行わないと判断した場合、制御部7は、S4の処理に戻って再びサムネイル画像のリストを表示させる。この際、図11(b)および図11(c)に示したように、再読取の要否を確認したページのサムネイル画像に、当該ページを確認済みであることを示す記号(例えば「レ」印)を付加して表示させるようにしてもよい。
【0126】
一方、S9において再読取を行うと判断した場合、制御部7は、再読取処理部23の推奨設定検出部41を制御し、推奨する再読取条件(推奨条件)を検出する推奨条件検出処理を行わせる(S10)。
【0127】
図13は、推奨設定検出部41における推奨条件検出処理の流れを示すフローチャートである。
【0128】
まず、推奨設定検出部41は、S22における原稿傾き検知処理の結果に基づいて、原稿の傾きの有無を判断する(S31)。例えば、S22の原稿傾き検知処理において検出された原稿の傾き向き角度が所定角度(例えば2度)以上であるページについては傾きあり、所定角度未満であるページについては傾きなしと判断する。
【0129】
そして、傾きなしと判断した場合、推奨設定検出部41は、読取解像度の変更を推奨条件とする(S32)。例えば、前回の読取解像度(例えば300dpi)よりも高い読取解像度(例えば600dpi)への変更を推奨条件とする。原稿の文字サイズが小さいために文字認識精度が低くなってしまっていたような場合などには、読取解像度を高くして再読取を行うことで文字認識精度を向上させることができる。
【0130】
S31において傾きありと判断した場合、推奨設定検出部41は、前回の読取処理が原稿自動搬送装置50を用いて行われたか否かを判断する(S33)。そして、前回の読取処理が原稿自動搬送装置50を用いていないと判断した場合、すなわち第1コンタクトガラス51上に載置された原稿を読み取ったと判断した場合は、推奨設定検出部41は、原稿を第1コンタクトガラス51上に原稿を再セットして再読取処理を行うことを推奨条件とする(S34)。
【0131】
また、S33において前回の読取処理が原稿自動搬送装置50を用いて行われたと判断した場合、推奨設定検出部41は、その原稿についての原稿自動搬送装置50を用いた読取回数が1回であるか否かを判断する(S35)。すなわち、次に行う原稿自動搬送装置50を用いた再読取処理が、原稿自動搬送装置50を用いた初回の再読取処理であるか否かを判断する。
【0132】
そして、S35において原稿自動搬送装置50を用いた読取回数が1回であると判断した場合、推奨設定検出部41は、低速読取を推奨条件とする(S36)。すなわち、画像読取時の原稿の傾きを抑制するために、原稿自動搬送装置50による原稿の搬送速度を低速に設定して再読取を行うことを推奨する。
【0133】
また、S35において原稿自動搬送装置50を用いた読取回数が1回ではないと判断した場合、推奨設定検出部41は、その原稿についての原稿自動搬送装置50を用いた読取回数が2回であるか否かを判断する(S37)。すなわち、次に行う原稿自動搬送装置50を用いた再読取処理が、原稿自動搬送装置50を用いた2回目の再読取処理であるか否かを判断する。
【0134】
そして、S37において原稿自動搬送装置50を用いた読取回数が2回であると判断した場合、推奨設定検出部41は、原稿自動搬送装置50に対する原稿セット方向の変更、および低速読取を推奨条件とする(S38)。例えば、複数枚の原稿がパンチ穴やホッチキスなどで綴じられていた場合、あるいは製本された書籍を裁断して得られた複数枚の原稿である場合などには、原稿同士が綴じられていた部分でくっついていたり、原稿に傷や型がついていたりする場合があり、それに起因して原稿搬送時に原稿が傾いてしまうときがある。このため、原稿自動搬送装置50に対する原稿セット方向を変更することで、画像読取時の原稿の傾きを抑制できる。なお、推奨設定検出部41が画像データに基づいてパンチ穴、ホッチキスの跡、裁断跡などを検出し、原稿におけるこれらの箇所(パンチ穴、ホッチキスの跡、裁断跡など)が存在しない辺を原稿送り方向の先頭側にするように原稿のセット方向を推奨してもよい。
【0135】
一方、S37において原稿自動搬送装置50を用いた読取回数が2回ではないと判断した場合、すなわち3回目以上であると判断した場合、推奨設定検出部41は、原稿自動搬送装置50を用いず、第1コンタクトガラス51上に原稿を載置して読取処理を行うことを推奨条件とする。
【0136】
なお、図13に示した例は、推奨条件の決定方法の一例であり、これに限るものではない。例えば、図13に示した推奨条件の決定順序を並び替えてもよい。また、他の推奨条件とその決定方法を組み合わせてもよい。例えば、S36では搬送速度の変更または原稿セット方向の変更のいずれか一方を推奨し、S38では上記両条件の他方を推奨するようにしてもよい。また、S36では搬送速度の変更または原稿セット方向の変更のいずれか一方を推奨し、S38では上記両条件の他方を推奨し、S38で推奨した条件に基づいて再読取を行っても文字認識精度が改善しなかった場合に搬送速度の変更および原稿セット方向の変更の両方を推奨するようにしてもよい。
【0137】
その後、制御部7は、S10で検出した推奨する再読取条件を反映させた再読取設定画面を表示部8aに表示させる(S11)。
【0138】
図14(a)は表示部8aに表示される再読取設定画面の一例を示す説明図である。この図に示す例では、「設定完了」ボタン、「戻る」ボタン、原稿画像、および読取モード設定画像が表示されている。また、読取モード設定画像には、設定変更可能な項目として、原稿セット方向、原稿読取方法、読取解像度、原稿送り速度、および下地除去レベルの各項目と、これら各項目の設定を変更するための画像とが表示されている。上記原稿画像としては、例えば、プレビュー画像データ生成部47が記憶部6に記憶されている画像データに基づいて生成した画像を用いることができる。
【0139】
図14(b)は、上記各項目についての設定可能な条件の一例を示している。原稿セット方向は、原稿自動搬送装置50に対する原稿のセット方向、すなわち原稿送り方向を示しており、上向き、下向き、左向き、および右向きの中から選択可能になっている。原稿読取方法としては、原稿自動搬送装置(ADF)50を用いて読取処理を行うか、あるいは第1コンタクトガラス51上に原稿を載置して読取処理を行うかを選択可能になっている。読取解像度としては、上述したように、600dpi、400dpi、300dpi、200dpi、および100dpiの5段階の中から選択できるようになっている。原稿送り速度については、通常または低速から選択できるようになっている。下地除去レベルについては、弱、中、強の中から選択できるようになっている。
【0140】
なお、図14(a)に示した例では、再読取設定画面の表示を開始した時点では上記各項目の設定値はS10で検出した再読取条件に応じた設定値に設定されており、その後、ユーザが任意に変更できるようになっている。例えば、傾きを最も抑制できる原稿セット方向をユーザが認識している場合などには、ユーザは「原稿セット方向」を推奨設定から任意に変更できる。また、原稿自動搬送装置50では原稿の傾きが生じやすい場合などには、ユーザは「原稿読取方法」として原稿台(第1コンタクトガラス51上への原稿載置)を指定することができる。また、原稿の文字が小さい場合などには、ユーザが「読取解像度」をデフォルトよりも高い任意の解像度に設定することができる。また、下地の濃い原稿の場合などには、ユーザが「下地除去レベル」を任意に変更できる。
【0141】
「設定完了」ボタンは、上記の各項目についての再読取時に適用する条件の設定が完了した旨を入力するためのボタンである。「戻る」ボタンはS6の詳細情報の表示画面に戻る旨を入力するためのボタンである。
【0142】
次に、制御部7は、再読取を実行するか否かを判断する(S12)。具体的には、再読取設定画面において「設定完了」ボタンが操作された場合に再読取を実行すると判断し、「戻る」ボタンが操作された場合には再読取を実行しないと判断する。
【0143】
そして、再読取を実行しないと判断した場合、制御部7は、S6に戻って選択されている原稿の詳細情報を表示部8aに表示させる。
【0144】
一方、再読取を実行すると判断した場合、制御部7は、その時点で設定されている再読取条件に基づいて読取処理(再読取処理)を行う(S13)。読取処理方法は図1(b)に示した方法と同様である。ただし、ユーザは再読取設定画面に対する設定条件に応じて原稿を原稿自動搬送装置50あるいは第1コンタクトガラス51上にセットし、制御部7は再読取設定画面に対する設定条件に応じて読取処理を行わせる。また、制御部7は、再読取処理を実行する際、再読取に適用した読取条件、再読取回数、およびページ番号(原稿番号)を対応付けて記憶部6に記憶させる。
【0145】
次に、制御部7は、再読取前の重畳画像データに応じた画像と、再読取後の重畳画像データに応じた画像とを表示部8aに並べて表示させる(S14)。
【0146】
図15(a)はS14における表示画面の一例を示す説明図である。この図に示す例では、S6で表示させた詳細情報が前回データとして表示され、再読取によって取得した重畳画像データ、総文字数、高精度文字数、高精度率、および傾きの有無が今回データとして表示される。なお、S6と同様、「表示モード切り替え」ボタンが操作されると、制御部7は、図15(b)に示すように、低精度文字のカラーテキストデータのみを原稿の文字画像に重畳させた重畳画像データを表示させる。
【0147】
なお、図15(a),図15(b)の表示画面において再読取結果に対応する重畳画像の表示領域にユーザが触れると再読取結果を選択した状態になり、図15(c),図15(d)に示すように再読取結果に対応する重畳画像の枠線が太線で強調表示される。また、図15(c),図15(d)の表示画面において再読取結果に対応する重畳画像の表示領域にユーザが触れると再読取前の結果を選択した状態になり、図15(a),図15(b)に示すように再読取前の重畳画像の枠線が太線で強調表示される。
【0148】
その後、制御部7は、再読取をもう一度行うか否かを判断する(S15)。具体的には、制御部7は、図15(a)〜図15(d)の何れかの表示画面において「再読取」ボタンが操作された場合には再読取を行うと判断し、「OK」ボタンが選択された場合には再読取を行わないと判断する。
【0149】
S15において再読取を行うと判断した場合、制御部7は、S10の処理に戻る。なお、図15(a)〜図15(d)における今回データ(再読取結果に対応する重畳画像)が選択された状態で「再読取」ボタンが操作された場合にはその今回データを次に行う再読取処理後の前回データとし、図15(a)〜図15(d)における前回データ(再読取前の重畳画像)が選択された状態で「再読取」ボタンが操作された場合にはその前回データを次に行う再読取処理後も前回データとする。
【0150】
S15において再読取を行わないと判断した場合、制御部7は、再読取結果を採用するか否かを判断する(S16)。具体的には、制御部7は、図15(a)〜図15(d)の何れかの表示画面において「OK」ボタンが操作されたときに、前回データが選択されていた場合には再読取結果を採用しないと判断し、今回データが選択されていた場合には再読取結果を採用すると判断する。
【0151】
そして、再読取結果を採用しないと判断した場合、制御部7は、S4の処理に戻る。
【0152】
一方、再読取結果を採用すると判断した場合、制御部7は、再読取結果に応じて画像データおよびテキストデータを更新し(S17)、S4の処理に戻る。
【0153】
具体的には、制御部7は、画像合成部42を制御し、記憶部6に記憶されている画像データ(原稿から読み取った画像データに対して画像処理装置3の各部で上述の処理が施され、中間調生成部20から出力されて記憶部6に記憶されている画像データ)のうち、再読取を行った原稿の画像データを再読取後の画像データに置換させる。また、テキスト合成部43を制御し、記憶部6に記憶されている文字認識結果に応じたテキストデータのうち、再読取を行った原稿についてのテキストデータを再読取後の文字認識結果に応じたテキストデータに置換させる。
【0154】
なお、再読取処理後にサムネイル画像の一覧を表示させる場合、例えば図11(d)に示すように、再読取処理によって文字認識精度が低精度ページから高精度ページに改善された原稿のサムネイル画像と、再読取処理後も低精度ページのままの原稿(精度が改善していない原稿、および改善していても低精度ページのままの原稿)のサムネイル画像とを識別可能に表示してもよい。図11(d)の例では、高精度ページに改善された原稿のサムネイル画像の枠線を緑色で強調表示し、再読取処理後も低精度ページのままの原稿のサムネイル画像の枠線を赤色で強調表示している。これにより、各原稿について再読取処理を行うべきか否かを容易に確認できる。また、精度が改善していない原稿の再読取をユーザに奨めることができる。
【0155】
また、S5の処理において、原稿の選択指示が行われなかったと判断した場合、すなわち、S5の表示画面において「完了」ボタンが操作された場合、制御部7は、描画コマンド生成部71を制御し、原稿の画像データに対する文字認識処理によって取得したテキストデータに対応する透明テキストを画像ファイル内に配置させるためのテキスト配置コマンドを生成させる(S18)。ここで、透明テキストとは、認識された文字(あるいは、文字および単語)をテキスト情報として見掛け上は見えない形で画像データに重ね合わせる(あるいは埋め込む)ためのデータである。例えば、PDFファイルでは、画像データに透明テキストを付加した画像ファイルが一般に使用されている。
【0156】
なお、S5の表示画面において「完了」ボタンが操作されたときに、制御部7がプレビュー画像データ生成部47を制御して原稿のプレビュー画像を生成させて表示部8aに表示させ、この画像データを出力ファイルの生成に用いる画像データとして確定するか否かをユーザに問い合わせるようにしてもよい。また、プレビュー画像を表示させる際、表示対象の原稿の全体が表示部8aに表示されるように、プレビュー画像データ生成部47が、表示部8aの画面サイズおよび解像度に応じて画像データに対して画素を間引く等の処理を施すようにしてもよい。画素を間引く方法としては、例えば、(1)補間する画素に一番近い、あるいは、補間する画素に対して所定の位置関係にある既存画素の値をその補間画素の値とするニアレストネイバー法、(2)補間する画素を囲む周囲4点の既存画素の距離に比例した形で重み付けした値の平均を求め、その値をその補間画素の値とするバイリニア法、(3)補間する画素を囲む周囲4点に加えて、それら4点を囲む12点を加えた計16点の画素の値を用いて補間計算を行う。また、プレビュー画像を表示させる際、プレビュー画像データ生成部47が、表示部8aの表示特性に応じて画像データにγ補正を施すようにしてもよい。
【0157】
なお、上述した重畳画像データやサムネイル画像についてもプレビュー画像と同様、重畳画像データ生成部45あるいはサムネイル生成部46が間引き処理やγ補正を施すようにしてもよい。
【0158】
次に、制御部7は、フォーマット化処理部72を制御し、中間調生成部20から出力された画像データと、S18で生成したテキスト配置コマンドとに基づいて、画像データに透明テキストを埋め込んだ出力ファイルを生成(フォーマット化)させ(S19)、処理を終了する。
【0159】
(1−4−2.ページ一括処理モード)
上述したように、S13において再読取処理を行う際、再読取の対象とする原稿のみを画像入力装置2にセットして読み取らせてもよく、全原稿を画像入力装置2の原稿自動搬送装置50にセットして読み取らせてもよい。
【0160】
図16は、全ページを画像入力装置2の原稿自動搬送装置50にセットして読み取らせる場合の処理(ページ一括処理モード)の流れを示すフローチャートである。
【0161】
図16に示すように、制御部7は、図1(a)の場合と同様、画像入力装置2に原稿がセットされ、操作入力部8bがユーザからの原稿読取の開始指示を受け付けたこと検知すると(S1)、デジタルカラー複合機1の各部を制御して読取処理を行わせる(S2)。また、S2において読取処理を行った後、制御部7は、読取処理が完了していない原稿が残っているか否かを判断し(S3)、残っている場合には未読み取りの原稿に対して読取処理を行う。
【0162】
S3において全ての原稿の読取処理が完了したと判断した場合、制御部7は、表示画像データ生成部24によって生成された各原稿についてのサムネイル画像データに基づいて、操作パネル8の表示部8aにサムネイル画像の一覧を表示させる(S51)。
【0163】
図17(a)はS41において表示部8aに表示される表示画面の一例を示している。この図に示す例では、各ページの原稿についてのサムネイル画像が一覧と、「表示モード切り替え」、「処理モード一括」、「完了」、「拡大」、および「縮小」の各ボタンと、原稿の総ページ数、および低精度ページ数が表示されている。低精度ページ数とは、S26で算出した低精度率が所定値以上である原稿の数(あるいは、S4で算出した高精度率が所定値未満である原稿の数)である。「拡大」ボタンおよび「縮小」ボタンは、各サムネイル画像の表示サイズを拡大あるいは縮小させるための指示を行うボタンである。「処理モード一括」ボタンは、再読取時に全原稿を画像入力装置2の原稿自動搬送装置50にセットして読取処理を行うモード(ページ一括処理モード)が選択されていることを示している。「処理モード一括」ボタンが操作されると、再読取対象の原稿として選択した原稿のみを画像入力装置2の原稿自動搬送装置50または第1コンタクトガラス51上にセットして読取処理を行うモード(ページ単位処理モード)に切り替えられ、上述した図11(a)の表示画面に移行するようになっている。
【0164】
次に、制御部7は、S51で表示させた表示画面に対して原稿の選択指示が行われたか否かを判断する(S52)。なお、本実施形態では、サムネイル画像の一覧が表示されている表示画面においてユーザがいずれかのサムネイル画像に触れることにより、そのサムネイル画像に対応する原稿を選択して当該ページについての詳細情報の表示を選択できるようになっている。また、「完了」ボタンが操作された場合、制御部7は、原稿の選択指示が行われなかったと判断する。
【0165】
S52において原稿の選択指示が行われなかったと判断した場合、制御部7は、後述するS61の処理に移る。
【0166】
一方、S52において原稿の選択指示が行われたと判断した場合、制御部7は、選択された原稿についての詳細情報を表示させる(S53)。詳細情報としては、図12(a)と同様の表示を用いることができる。
【0167】
次に、制御部7は、手動補正処理を行うか否かを判断する(S54)。具体的には、制御部7は、S53の表示画面において「手動補正」ボタンが操作された場合には手動補正処理を行うと判断し、「OK」ボタン、または「再読取」ボタンが操作された場合には手動補正処理を行わないと判断する。
【0168】
そして、S54において手動補正処理を行うと判断した場合、手動補正処理を行う(S55)。手動補正処理とは、ユーザがマニュアルで補正内容を指示して画像データを補正する処理である。手動補正処理の詳細については後述する。
【0169】
一方、S54において手動補正処理を行わないと判断した場合、制御部7は、再読取を行うか否かを判断する(S56)。具体的には、制御部7は、S53の表示画面において「OK」ボタンが操作された場合には再読取を行わないと判断し、「再読取」ボタンが操作された場合には再読取を行わないと判断する。
【0170】
そして、S56において再読取を行わないと判断した場合、制御部7は、S51の処理に戻って再びサムネイル画像のリストを表示させる。この際、図11(b)および図11(c)と同様、再読取の要否を確認した原稿のサムネイル画像に、当該原稿を確認済みであることを示す記号(例えば「レ」印)を付加して表示させるようにしてもよい。
【0171】
一方、S56において再読取を行うと判断した場合、制御部7は、再読取処理部23の推奨設定検出部41を制御し、推奨する再読取条件(推奨条件)を検出する推奨条件検出処理を行わせる(S57)。
【0172】
図18は、推奨設定検出部41における推奨条件検出処理の流れを示すフローチャートである。
【0173】
まず、推奨設定検出部41は、前回読取時の原稿傾き検知処理の結果に基づいて、原稿の傾きの有無を判断する(S81)。例えば、原稿傾き検知処理において検出された原稿の傾き向き角度が所定角度(例えば2度)以上である原稿については傾きあり、所定角度未満である原稿については傾きなしと判断する。
【0174】
そして、傾きなしと判断した場合、推奨設定検出部41は、読取解像度の変更を推奨条件とする(S82)。例えば、前回の読取解像度(例えば300dpi)よりも高い読取解像度(例えば600dpi)への変更を推奨条件とする。原稿の文字サイズが小さいために文字認識精度が低くなってしまっていたような場合などには、この条件により文字認識精度を向上させることができる。
【0175】
S81において傾きありと判断した場合、選択されている原稿についての原稿自動搬送装置50を用いた読取回数が1回であるか否かを判断する(S83)。すなわち、次に行う原稿自動搬送装置50を用いた再読取処理が、原稿自動搬送装置50を用いた初回の再読取処理であるか否かを判断する。
【0176】
そして、S83において原稿自動搬送装置50を用いた読取回数が1回であると判断した場合、推奨設定検出部41は、低速読取を推奨条件とする(S84)。
【0177】
また、S83において原稿自動搬送装置50を用いた読取回数が1回ではないと判断した場合、推奨設定検出部41は、その原稿についての原稿自動搬送装置50を用いた読取回数が2回であるか否かを判断する(S85)。すなわち、次に行う原稿自動搬送装置50を用いた再読取処理が、原稿自動搬送装置50を用いた2回目の再読取処理であるか否かを判断する。
【0178】
そして、S85において原稿自動搬送装置50を用いた読取回数が2回であると判断した場合、推奨設定検出部41は、再読取対象として予約されている原稿があるか否かを判断する(S86)。すなわち、後述するS59において再読取条件が確定された原稿は再読取対象として予約設定されるようになっており、S86では既に予約されている原稿があるか否かを判断する。
【0179】
S86において予約されている原稿がないと判断した場合、推奨設定検出部41は、原稿自動搬送装置50に対する原稿セット方向の変更、および低速読取を推奨条件とする(S87)。
【0180】
一方、S86において予約されている原稿があると判断した場合、推奨設定検出部41は、低速読取を推奨条件とする(S84)。すなわち、「原稿セット方向」は原稿の全原稿で共通設定のため、原稿内で最初に再読取設定をする場合には自由に選択できるが、2番目以降に設定する原稿では最初に設定した原稿の内容に設定する。なお、ユーザが「原稿セット方向」の内容を推奨設定から変更しようとした場合には、例えば図19に示すように、原稿セット方向を変更すると全原稿の原稿セット方向を変更することになる旨のメッセージを表示し、変更するか否かをユーザに再確認するようにしてもよい。
【0181】
また、S85において原稿自動搬送装置50を用いた読取回数が2回ではないと判断した場合、すなわち3回目以上であると判断した場合、推奨設定検出部41は、原稿自動搬送装置50を用いず、第1コンタクトガラス51上に原稿を載置して読取処理を行うことを推奨条件とする。
【0182】
なお、図18に示した例は、推奨条件の決定方法の一例であり、これに限るものではない。例えば、図18に示した推奨条件の決定順序を並び替えてもよい。また、他の推奨条件とその決定方法を組み合わせてもよい。
【0183】
その後、制御部7は、S57で検出した推奨する再読取条件を反映させた再読取設定画面を表示部8aに表示させる(S58)。再読取設定画面としては、例えば図14(a)と同様の画面を用いることができる。
【0184】
次に、制御部7は、再読取条件を確定するか否かを判断する(S59)。具体的には、再読取設定画面において「設定完了」ボタンが操作された場合に再読取条件を確定すると判断し、「戻る」ボタンが操作された場合には再読取条件を確定しないと判断する。
【0185】
そして、再読取条件を確定しないと判断した場合、制御部7は、S53に戻って選択されている原稿の詳細情報を表示部8aに表示させる。
【0186】
一方、再読取条件を確定すると判断した場合、制御部7は、当該原稿のページ番号(原稿番号)と、当該原稿についてその時点で設定されている再読取条件とを対応付けて記憶部6に記憶させ、当該原稿を再読取対象として予約し(S60)、S51に戻る。
【0187】
S52において原稿の選択指示が行われなかったと判断した場合、すなわちS52の表示画面において「完了」ボタンが操作された場合、制御部7は、再読取を行う原稿があるか否か、すなわち再読取対象として予約されている原稿があるか否かを判断する(S61)。
【0188】
そして、S61において再読取を行う原稿があると判断した場合、制御部7は、原稿の全原稿を原稿自動搬送装置50にセットするようにユーザに促すための画面を表示させる(S62)。図20はS62において表示される表示画面の一例を示す説明図である。この図に示す例では、原稿を示すイラスト(画像)が原稿自動搬送装置50に対するセット方向(原稿送り方向)に応じた向きで表示され、このイラストの向きにセットすべき旨を示すメッセージが表示されている。また、再読取の開始を指示するための「スタート」ボタンが表示されている。これにより、ユーザは表示画面を参照しながら原稿を原稿自動搬送装置50にセットし、セット後に「スタート」ボタンを操作することで再読取処理の開始を指示できるようになっている。
【0189】
その後、ユーザからの再読取処理の開始指示を受け付けると(S63)、制御部7は、原稿自動搬送装置50で原稿搬送を行う各原稿について、当該原稿が再読取を行う原稿であるか否かを判断する(S64)。そして、再読取を行う原稿についてはS59で設定された再読取条件に基づいて読取処理を行い(S65)、再読取を行わない原稿については読取処理を行わずに搬送のみ(空送)を行う(S66)。そして、制御部7は、未搬送の原稿が残っているか否かを判断し(S67)、残っている場合にはS64〜S66の処理を繰り返す。なお、制御部7は、再読取処理を実行した場合に、再読取時に適用した読取条件、再読取回数、およびページ番号(原稿番号)を対応付けて記憶部6に記憶させる。
【0190】
S67において未搬送の原稿が残っていないと判断した場合、制御部7は、再読取を行った原稿について、再読取前の重畳画像データに応じた画像と、再読取後の重畳画像データに応じた画像とを表示部8aに並べて表示させる(S68)。表示方法は、図15(a)〜図15(d)と同様である。
【0191】
なお、本実施形態では、再読取を行った後、再読取結果を採用するか否かの判断をまだ行っていないページのうち、ページ番号が最も小さい原稿から順に表示させるようになっている。ただし、これに限らず、全原稿または再読取を行った原稿のサムネイル画像の一覧を表示させ、ユーザが選択したサムネイル画像に対応する原稿を表示させるようにしてもよい。
【0192】
図17(b)は、全原稿のサムネイル画像の一覧を表示させる場合の表示画面の例を示している。この図に示す例では、再読取を行った原稿のサムネイル画像が再読取を行っていない原稿のサムネイル画像と識別可能に表示されている。また、再読取を行った原稿のサムネイル画像のうち、もう一度再読取を行うか否かを確認済みの原稿のサムネイル画像にはチェック済みであることを示す記号(「レ」印)、またはもう一度再読取を行うことが予約されていることを示す記号(「Re」印)が付されている。すなわち、確認済みの原稿のうち、もう一度再読取を行う原稿のサムネイル画像には「Re」印が付され、再読取をこれ以上行わない原稿のサムネイル画像には「レ」印が付されている。
【0193】
次に、制御部7は、詳細情報を表示している原稿について、再読取をもう一度行うか否かを判断する(S69)。具体的には、制御部7は、図15(a)〜図15(d)の何れかの表示画面において「再読取」ボタンが操作された場合には再読取を行うと判断し、「OK」ボタンが選択された場合には再読取を行わないと判断する。
【0194】
S69において再読取を行うと判断した場合、制御部7は、再読取処理部23の推奨設定検出部41を制御し、前回の再読取で取得したデータに基づいて推奨する再読取条件(推奨条件)を検出する推奨条件検出処理を行わせる(S70)。推奨条件検出処理の方法は図18に示した方法と同様である。
【0195】
その後、制御部7は、S70で検出した推奨する再読取条件を反映させた再読取設定画面を表示部8aに表示させる(S71)。再読取設定画面としては、例えば図14(a)と同様の画面を用いることができる。
【0196】
次に、制御部7は、再読取条件を確定するか否かを判断する(S72)。具体的には、再読取設定画面において「設定完了」ボタンが操作された場合に再読取条件を確定すると判断し、「戻る」ボタンが操作された場合には再読取条件を確定しないと判断する。
【0197】
そして、再読取条件を確定しないと判断した場合、制御部7は、S68に戻って選択されている原稿の詳細情報を表示部8aに表示させる。
【0198】
一方、再読取条件を確定すると判断した場合、制御部7は、当該原稿のページ番号と、当該原稿についてその時点で設定されている再読取条件とを対応付けて記憶部6に記憶させ、当該原稿を再読取対象として予約し(S73)、S76の処理に進む。
【0199】
S69において再読取を行うと判断した場合、制御部7は、再読取結果を採用するか否かを判断する(S74)。具体的には、制御部7は、図15(a)〜図15(d)の何れかの表示画面において「OK」ボタンが操作されたときに、前回データが選択されていた場合には再読取結果を採用しないと判断し、今回データが選択されていた場合には再読取結果を採用すると判断する。
【0200】
そして、再読取結果を採用しないと判断した場合、制御部7は、S76の処理に進む。
【0201】
一方、再読取結果を採用すると判断した場合、制御部7は、再読取結果に応じて画像データおよびテキストデータを更新し(S75)、S76の処理に進む。
【0202】
図21(a)〜図21(e)は、画像データおよびテキストデータの更新方法を示す説明図である。
【0203】
まず、制御部7は、図21(a)に示すように、初回の読取処理で取得した画像データに対して画像処理装置3の各部が上述した処理を施した画像データ(中間調生成部20から出力される画像データ)、および初回の読取処理で取得した画像データに対する文字認識処理によって文字認識部22が生成したテキストデータを、原稿毎に記憶部6における元データ格納エリアA1に格納する。なお、図21(a)では、初回の読取処理で取得された原稿のデータ(画像データおよびテキストデータ)のうち、1ページ目から6ページ目までの原稿のデータが符号P1,P2,P3,・・・,P6で示されている。
【0204】
その後、再読取処理が行われると、制御部7は、図21(b)に示すように、再読取処理で取得した画像データに対して画像処理装置3の各部が上述した処理を施した画像データ(中間調生成部20から出力される画像データ)、および再読取処理で取得した画像データに対する文字認識処理によって文字認識部22が生成したテキストデータを、記憶部6における再読取データ格納領域A2に格納する。なお、図21(b)の例では、2ページ目および4ページ目の原稿の再読取が行われた場合を示しており、再読取によって取得したこれら各原稿のデータ(画像データおよびテキストデータ)は符号P2’,P4’で示されている。再読取を行っていない原稿については読取処理が行われずに空送されるので、再読取データは存在しない。ただし、これに限らず、全原稿について再読取を行い、再読取によって取得したデータを再読取データ格納領域A2に格納するようにしてもよい。
【0205】
次に、制御部7は、図21(c)に示すように、S74におけるユーザからの指示に応じて、再読取を行った各原稿について、再読取前のデータを採用するか、再読取後のデータを採用するかを選択する。図21(c)の例では、2ページ目については再読取後のデータP2’が採用され、4ページ目については再読取前のデータP4が採用されている。
【0206】
次に、制御部7は、画像合成部42およびテキスト合成部43を制御し、図21(d)に示すように、元データ格納エリアA1に格納されている各原稿のデータ(画像データおよびテキストデータ)のうち、再読取後のデータを採用することが選択された原稿のデータ(画像データおよびテキストデータ)を、再読取後のデータに置換させる。図21(d)の例では、元データ格納エリアA1における初回の読取処理で取得された2ページ目の読取データP2が、再読取後の読取データP2’に置換されている。
【0207】
なお、図21(e)に示すように、元データ格納エリアA1および再読取データ格納領域A2に格納した各読取データを削除したり上書きしたりせず、いずれの格納エリアのデータを採用するかを示す採用番号を原稿毎に付与して管理するようにしてもよい。この場合、再読取を行った回数に応じて再読取データ格納領域A3,A4,・・・(図示せず)が順次追加されていく。
【0208】
S76において、制御部7は、再読取を行った全原稿についての確認(もう一度再読取を行うか否かの確認、および再読取結果を採用するか否かの確認)を行ったか否かを判断する。
【0209】
S76において全原稿の確認が完了していないと判断した場合、制御部7は、S68に戻って未確認の原稿についての重畳画像データを表示させる。一方、S76において全原稿の確認が完了したと判断した場合、制御部7は、S61の処理に戻る。
【0210】
S61の処理において再読取を行う原稿がないと判断した場合、制御部7は、描画コマンド生成部71を制御し、文字認識処理によって取得したテキストデータに対応する透明テキストを画像ファイル内に配置させるためのテキスト配置コマンドを生成させる(S76)。
【0211】
また、制御部7は、フォーマット化処理部72を制御し、中間調生成部20から出力された画像データと、S76で生成したテキスト配置コマンドとに基づいて、画像データに透明テキストを埋め込んだ出力ファイルを生成(フォーマット化)させ(S77)、処理を終了する。
【0212】
(1−4−3.手動補正処理)
次に、図1(a)のS8における手動補正処理(ページ単位処理モードにおける手動補正処理)について説明する。
【0213】
図22(a)は図1(a)のS8において「手動補正」ボタンが操作されたときに表示部8aに表示される表示画面の一例を示す説明図である。この図に示すように、「手動補正」ボタンが操作されると、重畳画像が表示されている領域の周囲に、「手動補正」ボタンに代えて、「分割」ボタン、「左回転」ボタン、および「右回転」ボタンが表示される。
【0214】
そして、「左回転」ボタン、または「右回転」ボタンが操作された場合、制御部7は、重畳画像データ生成部45を制御して重畳画像データを操作されたボタンに応じた方向にボタンが操作された回数に応じて90度単位で回転(ボタン操作回数×90度回転)させた画像データを生成させ、表示部8aに表示させる。図22(b)は、図22(a)に示した表示画面において「左回転」ボタンが1回操作された場合に表示される表示画面を示している。そして、「OK」ボタンが操作された場合、制御部7は原稿補正部15を制御して原稿の画像データを指示に応じた方向に指示に応じた角度回転させ、記憶部6に記憶している画像データを更新させる。さらに、制御部7は、更新後の画像データに基づいて文字認識処理を行わせ、文字認識結果に応じて記憶部6に記憶しているテキストデータを更新させる。
【0215】
これにより、例えば、図22(a)に示したような文字が含まれていない原稿や文字数が少ない原稿(例えば10文字以下の原稿)などの場合には天地方向が精度よく検出されない場合があるが、ユーザが手動補正によって原稿方向を正しく補正することができる。これにより、文字認識精度を向上させることができる。
【0216】
また、「分割」ボタンが操作された場合、制御部(画像分割部)7は、1枚の原稿の画像データを複数枚の原稿の画像データに分割する。なお、画像処理装置3に1枚の原稿の画像データを複数枚の原稿の画像データに分割する画像分割部(図示せず)を設け、制御部7が指示された分割数に応じて画像分割部を制御し、画像データの分割を行わせるようにしてもよい。
【0217】
図23(a)はS8において「手動補正」ボタンが操作されたときに表示部8aに表示される表示画面の一例を示す説明図であり、2ページ分の原稿が1枚の原稿に割り付けられた原稿(いわゆる2in1原稿)の重畳画像データを表示している場合の例を示している。
【0218】
割付原稿(複数ページを1枚の原稿に割り付けて作成された原稿。集約原稿、Nin1、あるいはN-upとも呼ばれる。)の時には、割付原稿から読み取った画像データにおける当該割付原稿に割り付けられているページ毎に、天地方向(図24(a)参照)、傾き(図24(b)参照)、下地濃度(図24(c)参照)、文字サイズ(図24(d)参照)などが異なる場合があり、原稿1枚単位の一律な画像読み取りでは、文字認識の精度が低下してしまう場合がある。
【0219】
例えば、図23(a)に示した例の場合、左半分に配置されているページについては高精度に文字認識できても、右半分に配置されているページについては文字方向が異なるために文字認識の精度が低下してしまう。
【0220】
そこで、本実施形態では、「手動補正」において「分割」ボタンを押すことにより、1枚の原稿を分割して複数枚の原稿として処理できるようになっている。
【0221】
具体的には、図23(a)の表示画面において「分割」ボタンを1回操作すると、分割数が2に設定され、図23(b)に示すように1枚の原稿を2枚の原稿に分割し、分割後の各原稿の重畳画像が表示部8aに表示される。なお、「分割」ボタンを2回操作すると、分割数が4に設定され、図23(c)に示すように1枚の原稿が4枚の原稿に分割され、分割後の各原稿の重畳画像が表示部8aに表示される。また、「分割」ボタンを3回操作すると分割数が8に設定され、「分割」ボタンを4回操作すると分割前の状態(図23(a)の状態)に戻るようになっている。また、分割数が2、4、または8に設定されている場合には、図23(b),図23(c)に示すように、「再読取」ボタンに代えて「分割実行」ボタンが表示される。
【0222】
そして、「分割実行」ボタンが操作されると、制御部7は、設定された分割数、および分割後の画像データに基づいて再読取処理部23の推奨設定検出部41を制御し、分割された原稿毎に推奨する再読取条件(推奨条件)を検出する推奨条件検出処理を行わせる。
【0223】
例えば、割付原稿は作成時(割付時)に縮小されているため、割付原稿ではない原稿と同じように解像度変換すると、想定より低い解像度で文字認識処理が施されることになる。そこで、割付数に応じて読取解像度および解像度変換部32における変倍率を切り替える。具体的には、解像度変換部32による変倍率を、図25に示すように、分割数が2の場合には分割前の141%、分割数が4の場合には分割前の200%、分割数が8の場合には分割前の283%に設定する。また、読取解像度を、解像度変換部32による変倍後の解像度よりも高い解像度に設定する。例えば、分割数が2の場合(2in1原稿の場合)、割付原稿に含まれる各ページはオリジナルの約0.71倍に変倍されているので、解像度変換部32によるデフォルトの出力解像度(分割されていない場合の解像度)が300dpiの場合には、再読取後の解像度変換部32の出力解像度を300×141%=423dpiに設定する。また、読取解像度を432dpiよりも高い解像度(例えば600dpi)に設定する。
【0224】
そして、制御部7は、画像入力装置2および画像処理装置3の各部を制御し、推奨条件を参照してユーザが設定した再読取条件に基づいて原稿の再読取を行わせ、再読取によって取得した画像データを設定された分割数に応じて分割し、分割後の画像データに基づいて図1(a)のS10〜S17の処理を行わせる。
【0225】
すなわち、設定された再読取条件に基づいて原稿の再読取を行わせ、読み取った画像データを分割し、分割後の各画像データについて図1(b)のS21〜S28の処理を行わせる。そして、分割後の原稿毎に再読取前および再読取後の重畳画像データを図15(a)〜図15(d)と同様の方法で表示部8aに表示させ、分割された各原稿について、再読取前のデータを採用するか、再読取後のデータを採用するか、あるいはもう一度再読取を行うかをユーザに選択させる。そして、再読取後のデータを採用する場合には、記憶部6に記憶されている画像データおよびテキストデータを更新する。なお、この際、分割前の当該原稿の画像データおよびテキストデータに代えて、分割後の各原稿の画像データおよびテキストデータを記憶させる。なお、ユーザが原稿の再セットを行う前に、原稿を示すイラスト(画像)をセット方向(原稿送り方向)に応じた向きで表示させ、このイラストの向きにセットすべき旨を示すメッセージを表示させるようにしてもよい(図20参照)。
【0226】
図26(a)は分割処理前にS4において表示されるサムネイル画像の一覧の例を示す説明図であり、図26(b)は分割処理後にS4の処理に戻ったときに表示されるサムネイル画像の一覧の例を示す説明図である。これら各図に示す例では、分割前のページ番号15の原稿が2分割されてページ番号15aおよび15bの画像データが生成されている。なお、分割した各画像データの配置順序は、分割数に応じて図27(a)〜図27(c)に示すように設定される。
【0227】
なお、手動補正による補正内容が、天地方向の補正や下地濃度の除去レベルなど、原稿の再読取処理を行わなくても前回の読取処理によって取得した画像データを用いて行える処理である場合には、原稿の再読取処理を行わずに前回の読取処理によって取得した画像データを用いて処理するようにしてもよい。
【0228】
次に、図16のS55における手動補正処理(ページ一括処理モードにおける手動補正処理)について説明する。
【0229】
図16のS6の表示画面において「手動補正」ボタンが操作されると、制御部7は、上述した図22(a)および図23(a)と同様の表示画面を表示部8aに表示させる。そして、「左回転」ボタン、または「右回転」ボタンが操作された場合にはページ単位処理モードの場合と同様の処理を行った後、S51の画面処理に戻る。
【0230】
また、「分割」ボタンが操作された後、「分割実行」ボタンが操作されると、制御部7は、サムネイル画像生成部46を制御して分割後の画像データに対応するサムネイル画像を生成させ、S51の処理に戻って分割前の原稿のサムネイル画像を分割後の複数枚の原稿のサムネイル画像に置換したサムネイル画像の一覧を表示部8aに表示させる。図26(c)は分割処理前にS51において表示されるサムネイル画像の一覧の例を示す説明図であり、図26(d)は分割処理後にS51の処理に戻ったときに表示されるサムネイル画像の一覧の例を示す説明図である。その後、分割された各原稿を分割前の各原稿と同様に扱って原稿毎に再読取の要否、再読取条件および再読取の条件設定を行う。
【0231】
なお、前回の原稿読取処理によって取得した原稿の画像データを分割して得られる各原稿の画像データを用いて、当該各原稿について原稿傾き補正、原稿方向補正、下地除去レベルの調整等を行ってから文字認識処理を行い、この文字認識処理結果に基づく重畳画像データを表示部8aに表示させて当該文字認識処理の結果を採用するか否かをユーザに判断させてからS51の処理に戻るようにしてもよい。また、この場合、分割された各原稿についての重畳画像データを表示部8aに表示させ、分割された原稿毎に文字認識結果を採用するか否かをユーザに判断させるようにしてもよい。
【0232】
このように、原稿を分割して処理を行うことにより、例えば、図24(a)に示したように割付原稿に含まれるページ毎に文字方向が異なる場合に、各ページの文字方向に応じて文字認識処理を行うことで、文字認識精度を向上させることができる。また、図24(b)に示すように、割付原稿に含まれるページ毎に原稿傾き角度が異なる場合に、ページ毎に原稿傾き補正を行ってから文字認識処理を行うことができるので、文字認識精度を向上させることができる。また、図24(c)に示すように、割付原稿に含まれるページ毎に下地濃度が異なる場合に、ページ毎に下地濃度の除去レベルを設定することで、文字認識精度を向上させることができる。また、図24(d)に示すように、割付原稿に含まれるページ毎に文字サイズが異なる場合に、ページ毎に読取解像度を設定し、文字サイズが小さいページに対する読取解像度を高くすることにより、文字認識精度を向上させることができる。
【0233】
なお、図24(a)〜図24(d)では、文字方向、原稿傾き角度、下地濃度、および文字サイズのうちのいずれか1つの条件が割付原稿に含まれるページ毎に異なる場合を示しているが、複数の条件がページ毎に異なる場合には、それら各条件に起因する文字認識精度の低下を抑制するように当該各条件に応じた処理を組み合わせて行えばよい。
【0234】
以上のように、本実施形態にかかるデジタルカラー複合機1は、画像データと文字認識結果に応じたテキストデータとを含む画像ファイルを出力する前に、再読取時に推奨する読取条件である推奨設定条件を再読取処理におけるデフォルト設定として表示部8aに表示させ、再読取の要否をユーザに確認し、再読取が必要な場合にはユーザからの指示に応じて再読取処理に適用する条件を上記のデフォルト設定から適宜変更してから再読取を行う。これにより、読取条件を適切に設定して再読取処理を行うことができ、文字認識精度を高めることができる。
【0235】
なお、本実施形態では、文字認識部22が原稿検知部14から入力される2値化画像データおよびレイアウト解析結果に基づいて文字認識処理を施すものとしているが、これに限るものではない。例えば、図28に示すように、領域分離部21から出力される領域分離信号を文字認識部22に入力させ、文字認識部22がこの領域分離信号に基づいて文字領域(文字エッジと判定された画素からなる画像領域)を示すテキストマップを生成し、原稿検知部14から入力される2値化画像データにおける文字領域に対してのみレイアウト解析結果を考慮して文字認識処理を行うようにしてもよい。
【0236】
また、図29に示すように、画像データに基づいて原稿の種別を判別する原稿種別自動判別部28を設け、この原稿種別自動判別部28から出力される原稿種別判別信号を文字認識部22に入力させ、原稿種別判別信号が文字を含む原稿(例えば文字原稿、文字印刷写真原稿、文字印画紙写真原稿など)であることを示す場合にのみ、文字認識部22が原稿検知部14から入力される2値化画像データおよびレイアウト解析結果に基づいて文字認識処理を行うようにしてもよい。原稿種別自動判別部28における原稿種別の判別方法は、少なくとも文字を含む原稿と文字を含まない原稿とを判別できる方法であれば特に限定されるものではなく、従来から公知の種々の方法を用いることができる。
【0237】
また、本実施形態では、本発明をデジタルカラー複合機1に適用する場合について説明したが、本発明の適用対象はこれに限るものではない。例えば、デジタルカラー複合機1が有する上記各機能(コピア機能、スキャナ機能、プリンタ機能、ファクシミリ送信機能、scan to e-mail機能)のうちの一部のみを有する装置(例えば複写機、スキャナなど)に適用することもできる。また、外部から取得した画像データに対して文字認識処理を施す画像処理装置(例えばパーソナルコンピュータ、サーバ装置等に備えられる画像処理装置)に適用することもできる。
【0238】
図30は、本発明をカラースキャナ(画像読取装置)1bに適用する場合の構成例を示すブロック図である。なお、デジタルカラー複合機1に備えられる各部材と同様の機能を有する部材については同じ符号を付している。
【0239】
図30に示すように、カラースキャナ1bは、画像入力装置2、画像処理装置(画像処理部)3b、記憶部6、制御部7、および操作パネル8を備えている。また、画像処理装置3bは、A/D変換部11、シェーディング補正部12、入力処理部13、下地判定処理部26、露光処理部27、原稿検知部14、原稿補正部15、色補正部16、文字認識部22、再読取処理部23、表示画像データ生成部24、およびPDFファイル生成部25を備えている。これにより、カラースキャナ1bでは、デジタルカラー複合機1における画像送信モードの処理と同様の処理が行われる。なお、PDFファイル生成部25において所定のフォーマットに変換された画像ファイルを、例えばコンピュータやサーバ等へ出力するようにしてもよい。
【0240】
また、本実施形態では、PDFファイル生成部25が、文字認識結果に応じた透明テキストデータを画像データに埋め込んだ画像ファイルを生成するものとしたが、これに限るものではない。例えば、文字認識処理結果に応じたテキストデータを透明テキストとは異なる方法で画像データに対応付けた画像ファイルを生成してもよい。また、文字認識処理結果に応じたテキストファイルを画像データが格納される画像ファイルとは別に生成するようにしてもよい。
【0241】
また、本実施形態では、画像入力装置2と画像処理装置3,3bとが、同じ筐体内に備えられている構成について説明したが、これに限るものではない。例えば、画像入力装置2と画像処理装置3,3bとは通信ネットワーク等を介して通信可能に接続されている構成であってもよい。
【0242】
また、本実施形態において、デジタルカラー複合機1およびカラースキャナ1bに備えられる各部(各ブロック)を、CPU等のプロセッサを用いてソフトウェアによって実現してもよい。この場合、デジタルカラー複合機1およびカラースキャナ1bは、各機能を実現する制御プログラムの命令を実行するCPU(central processing unit)、上記プログラムを格納したROM(read only memory)、上記プログラムを展開するRAM(random access memory)、上記プログラムおよび各種データを格納するメモリ等の記憶装置(記録媒体)などを備えている。そして、本発明の目的は、上述した機能を実現するソフトウェアであるデジタルカラー複合機1およびカラースキャナ1bの制御プログラムのプログラムコード(実行形式プログラム、中間コードプログラム、ソースプログラム)をコンピュータで読み取り可能に記録した記録媒体を、デジタルカラー複合機1およびカラースキャナ1bに供給し、そのコンピュータ(またはCPUやMPU)が記録媒体に記録されているプログラムコードを読み出し実行することによって達成される。
【0243】
上記記録媒体としては、例えば、磁気テープやカセットテープ等のテープ系、フロッピー(登録商標)ディスク/ハードディスク等の磁気ディスクやCD−ROM/MO/MD/DVD/CD−R等の光ディスクを含むディスク系、ICカード(メモリカードを含む)/光カード等のカード系、あるいはマスクROM/EPROM/EEPROM/フラッシュROM等の半導体メモリ系などを用いることができる。
【0244】
また、デジタルカラー複合機1およびカラースキャナ1bを通信ネットワークと接続可能に構成し、通信ネットワークを介して上記プログラムコードを供給してもよい。この通信ネットワークとしては、特に限定されず、例えば、インターネット、イントラネット、エキストラネット、LAN、ISDN、VAN、CATV通信網、仮想専用網(virtual private network)、電話回線網、移動体通信網、衛星通信網等が利用可能である。また、通信ネットワークを構成する伝送媒体としては、特に限定されず、例えば、IEEE1394、USB、電力線搬送、ケーブルTV回線、電話線、ADSL回線等の有線でも、IrDAやリモコンのような赤外線、Bluetooth(登録商標)、802.11無線、HDR、携帯電話網、衛星回線、地上波デジタル網等の無線でも利用可能である。なお、本発明は、上記プログラムコードが電子的な伝送で具現化された、搬送波に埋め込まれたコンピュータデータ信号の形態でも実現され得る。
【0245】
また、デジタルカラー複合機1およびカラースキャナ1bの各ブロックは、ソフトウェアを用いて実現されるものに限らず、ハードウェアロジックによって構成されるものであってもよく、処理の一部を行うハードウェアと当該ハードウェアの制御や残余の処理を行うソフトウェアを実行する演算手段とを組み合わせたものであってもよい。
【0246】
本発明は上述した実施形態に限定されるものではなく、請求項に示した範囲で種々の変更が可能である。すなわち、請求項に示した範囲で適宜変更した技術的手段を組み合わせて得られる実施形態についても本発明の技術的範囲に含まれる。
【産業上の利用可能性】
【0247】
本発明は、原稿を読み取って取得した画像データに基づいて上記原稿に記載されている文字の文字認識処理を行う画像処理装置および画像処理方法に適用できる。
【符号の説明】
【0248】
1 デジタルカラー複合機(画像読取装置、画像形成装置)
1b カラースキャナ(画像読取装置)
2 画像入力装置(画像読取部)
3、3b 画像処理装置(画像処理部)
4 画像出力装置(画像形成部)
5 通信装置
6 記憶部
7 制御部(画像分割部)
8 操作パネル
8a 表示部
8b 操作入力部
14 原稿検知部
15 原稿補正部(補正処理部)
21 領域分離部
22 文字認識部
23 再読取処理部
24 表示画像データ生成部
25 PDFファイル生成部
26 下地判定処理部(補正処理部)
27 露光処理部(補正処理部)
28 原稿種別自動判別部
31 信号変換部
32 解像度変換部(補正処理部)
33 2値化処理部
34 原稿傾き検知部
35 レイアウト解析部
36 サムネイル画像生成部
36 天地方向判定部
41 推奨設定検出部
42 画像合成部
43 テキスト合成部
44 有彩色テキスト生成部
45 重畳画像データ生成部
46 サムネイル生成部
47 プレビュー画像データ生成部
50 原稿自動搬送装置
51 第1コンタクトガラス(原稿載置台)
53 イメージセンサ部(第1読取手段)
54 読取部(第1読取手段、第2読取手段)
71 描画コマンド生成部
72 フォーマット化処理部



【特許請求の範囲】
【請求項1】
原稿を読み取って当該原稿の画像データを取得する画像読取部と、上記画像データに基づいて上記原稿に含まれる文字の文字認識処理を行うとともに当該文字認識処理の認識精度を算出する文字認識部を有する画像処理部とを備えた画像読取装置であって、
上記文字認識部によって算出された文字認識精度が所定値以下である原稿について、文字認識精度を改善するために推奨される当該原稿の再読取時の設定条件である推奨設定条件を検出する推奨設定検出部と、
上記推奨設定条件を表示する表示部とを備えていることを特徴とする画像読取装置。
【請求項2】
上記画像読取部は、原稿を搬送する原稿自動搬送装置と、搬送されている原稿を読み取って原稿の画像データを取得する第1読取手段とを備えており、
上記第1読取手段による原稿読み取り時の原稿の正規の配置位置に対する上記原稿を読み取ったときの傾き角度を上記画像データに基づいて算出する原稿傾き検知部を備え、
上記推奨設定検出部は、上記文字認識部によって算出された文字認識精度が所定値以下であり、かつ上記傾き角度が所定角度以上である原稿について、上記原稿自動搬送装置による搬送時の上記原稿の向きを変更して再読取を行うことを上記推奨設定条件として検出することを特徴とする請求項1に記載の画像読取装置。
【請求項3】
上記画像読取部は、原稿を搬送する原稿自動搬送装置と、搬送されている原稿を読み取って原稿の画像データを取得する第1読取手段とを備えており、
上記第1読取手段による原稿読み取り時の原稿の正規の配置位置に対する上記原稿を読み取ったときの傾き角度を上記画像データに基づいて算出する原稿傾き検知部を備え、
上記推奨設定検出部は、上記文字認識部によって算出された文字認識精度が所定値以下であり、かつ上記傾き角度が所定角度以上である原稿について、上記原稿自動搬送装置による上記原稿の搬送速度を変更して再読取を行うことを上記推奨設定条件として検出することを特徴とする請求項1に記載の画像読取装置。
【請求項4】
上記画像読取部は、原稿を搬送する原稿自動搬送装置と、搬送されている原稿を読み取って原稿の画像データを取得する第1読取手段とを備えており、
上記第1読取手段による原稿読み取り時の原稿の正規の配置位置に対する上記原稿を読み取ったときの傾き角度を上記画像データに基づいて算出する原稿傾き検知部を備え、
上記推奨設定検出部は、上記文字認識部によって算出された文字認識精度が所定値以下であり、かつ上記傾き角度が所定角度以上である原稿について、上記原稿自動搬送装置による搬送時の上記原稿の向き、および上記原稿自動搬送装置による上記原稿の搬送速度のうちのいずれか一方を変更して再読取を行うことを上記推奨設定条件として検出し、
上記推奨設定条件に基づいて上記原稿を再読取して取得した画像データに対する上記文字認識部による文字認識処理の文字認識精度が上記所定値以下であって、かつ当該画像データに基づいて上記原稿傾き検知部が算出した傾き角度が上記所定角度以上である場合に、上記推奨設定検出部は、上記原稿自動搬送装置による搬送時の上記原稿の向き、および上記原稿自動搬送装置による上記原稿の搬送速度のうちの他方または両方を変更して再読取を行うことを上記推奨設定条件として検出することを特徴とする請求項1に記載の画像読取装置。
【請求項5】
上記画像読取部は、原稿を静止させた状態で載置する原稿載置台と、上記原稿載置台に載置された原稿を読み取って原稿の画像データを取得する第2読取手段とを備えており、
上記推奨設定検出部は、上記原稿自動搬送装置を用いた上記原稿の再読取を所定回数行っても当該原稿についての上記文字認識部による文字認識処理の文字認識精度が上記所定値よりも高くならない場合に、上記原稿を上記原稿載置台に載置して再読取を行うことを上記推奨設定条件として検出することを特徴とする請求項2から4のいずれか1項に記載の画像読取装置。
【請求項6】
上記画像読取部における原稿読み取り時の原稿の正規の配置位置に対する上記原稿を読み取ったときの傾き角度を上記画像データに基づいて算出する原稿傾き検知部を備え、
上記推奨設定検出部は、上記文字認識部によって算出された文字認識精度が所定値以下であり、かつ上記傾き角度が所定角度未満である場合に、上記画像読取部における読取解像度を変更して再読取を行うことを上記推奨設定条件として検出することを特徴とする請求項1に記載の画像読取装置。
【請求項7】
上記画像読取部は、
原稿を搬送する原稿自動搬送装置と、搬送されている原稿を読み取って原稿の画像データを取得する第1読取手段とを備え、
複数枚の原稿を上記原稿自動搬送装置によって連続的に搬送するページ一括処理モードを有しており、
上記ページ一括処理モードによって上記原稿の再読取を行う場合に、連続的に搬送される複数枚の原稿のうち、前回の読取時に文字認識精度が所定値以下であった原稿について再読取を行う一方、文字認識精度が所定値よりも高かった原稿については再読取を行わずに搬送のみを行うことを特徴とする請求項1から6のいずれか1項に記載の画像読取装置。
【請求項8】
上記画像データが複数枚の原稿からなる画像データである場合に、上記文字認識部は原稿毎に文字認識精度を算出し、上記推奨設定検出部は文字認識精度が所定値以下である各原稿について原稿毎に上記推奨設定条件を検出し、
前回の読取時に取得した複数枚の原稿の画像データのうち、文字認識精度が所定値以下であった原稿の画像データを、再読取によって取得した当該原稿の画像データに置換する画像合成部を備えていることを特徴とする請求項1から7のいずれか1項に記載の画像読取装置。
【請求項9】
原稿から読み取って取得した画像データに対して、読み取り時の原稿の傾きを補正する原稿傾き補正処理、読み取り時の原稿の向きを90度単位で補正する天地方向補正処理、原稿の下地領域を検知して下地除去を行う下地検知除去処理、および解像度変換処理のうちのいずれか1つ以上の処理を行う補正処理部と、
上記原稿が複数ページを1枚の原稿に割り付けた割付原稿である場合に、当該原稿の画像データを当該原稿に含まれるページ毎に分割する画像分割部とを備え、
上記補正処理部は、上記画像分割部によって分割された上記各ページの画像データに対してページ毎に上記処理を行い、
上記文字認識部は、上記画像分割部によって上記処理が施された上記各ページの画像データに基づいてページ毎に文字認識処理を行うことを特徴とする請求項1から8のいずれか1項に記載の画像読取装置。
【請求項10】
上記画像読取部は、上記割付原稿の再読取を行う場合に、読取解像度を前回の読取解像度よりも高い解像度に変更して再読取を行い、
上記画像分割部は、前回の読取解像度よりも高い解像度で再読取された上記割付原稿の画像データを当該割付原稿に含まれるページ毎に分割することを特徴とする請求項9に記載の画像読取装置。
【請求項11】
請求項1から10のいずれか1項に記載の画像読取装置と、
上記画像読取装置によって読み取られた画像データに応じた画像を記録材上に形成する画像形成部とを備えていることを特徴とする画像形成装置。
【請求項12】
原稿を読み取って当該原稿の画像データを取得する画像読取工程と、上記画像データに基づいて上記原稿に含まれる文字の文字認識処理を行う文字認識工程と、上記文字認識処理の文字認識精度を算出する認識精度算出工程とを含む画像読取方法であって、
上記認識精度算出工程によって算出された文字認識精度が所定値以下である原稿について、文字認識精度を改善するために推奨される当該原稿の再読取時の設定条件である推奨設定条件を検出する推奨設定検出工程と、
上記推奨設定条件を表示する表示工程とを含むことを特徴とする画像読取方法。
【請求項13】
請求項1から9のいずれか1項に記載の画像読取装置を動作させるプログラムであって、コンピュータを上記各部として機能させるためのプログラム。
【請求項14】
請求項13に記載のプログラムを記録したコンピュータ読み取り可能な記録媒体。


【図1】
image rotate

【図2】
image rotate

【図3】
image rotate

【図4】
image rotate

【図5】
image rotate

【図6】
image rotate

【図7】
image rotate

【図8】
image rotate

【図9】
image rotate

【図10】
image rotate

【図11】
image rotate

【図12】
image rotate

【図13】
image rotate

【図14】
image rotate

【図15】
image rotate

【図16】
image rotate

【図17】
image rotate

【図18】
image rotate

【図19】
image rotate

【図20】
image rotate

【図21】
image rotate

【図22】
image rotate

【図23】
image rotate

【図24】
image rotate

【図25】
image rotate

【図26】
image rotate

【図27】
image rotate

【図28】
image rotate

【図29】
image rotate

【図30】
image rotate


【公開番号】特開2012−118863(P2012−118863A)
【公開日】平成24年6月21日(2012.6.21)
【国際特許分類】
【出願番号】特願2010−269360(P2010−269360)
【出願日】平成22年12月2日(2010.12.2)
【出願人】(000005049)シャープ株式会社 (33,933)
【Fターム(参考)】