画像処理装置、画像処理方法、およびプログラム
【課題】手書き文字のＯＣＲ処理結果を、人が修正または確認を行う際に、修正漏れおよび確認漏れが生じにくい画像処理装置を提供する。
【解決手段】表示部と、画像データから文字候補領域を認識し、文字候補領域の文字が手書き文字であるかを判定して、手書き文字と判定した場合に判定結果を手書き文字判定結果として出力する文字判定部と、文字判定部に判定された手書き文字を文字認識候補の文字パターンと関連付けて、関連付けの結果を手書き文字認識結果として出力する文字データ処理部と、画像データを表示部の第１画面領域に表示させ、手書き文字判定結果を表示部の第２画面領域に表示させ、手書き文字認識結果の文字パターンを表示部の第３画面領域に表示させる表示制御部と、ユーザからの修正の指示に基づいて、第３画面領域に表示された文字パターンの修正を受け付けて、文字パターンの変更を行う修正部とを備える。
【解決手段】表示部と、画像データから文字候補領域を認識し、文字候補領域の文字が手書き文字であるかを判定して、手書き文字と判定した場合に判定結果を手書き文字判定結果として出力する文字判定部と、文字判定部に判定された手書き文字を文字認識候補の文字パターンと関連付けて、関連付けの結果を手書き文字認識結果として出力する文字データ処理部と、画像データを表示部の第１画面領域に表示させ、手書き文字判定結果を表示部の第２画面領域に表示させ、手書き文字認識結果の文字パターンを表示部の第３画面領域に表示させる表示制御部と、ユーザからの修正の指示に基づいて、第３画面領域に表示された文字パターンの修正を受け付けて、文字パターンの変更を行う修正部とを備える。
【発明の詳細な説明】
【技術分野】
【０００１】
本発明は、手書き文字および活字の文字認識を行う画像処理装置、画像処理方法、およびプログラムに関するものである。
【背景技術】
【０００２】
従来、画像データから手書き文字と活字とを認識する画像処理、いわゆる光学文字認識（ＯＣＲ：Ｏｐｔｉｃａｌ Ｃｈａｒａｃｔｅｒ Ｒｅｃｏｇｎｉｔｉｏｎ）処理がある。手書き文字に対するＯＣＲ処理の精度は、人ごとに筆跡が異なるために、活字文字の場合よりも大幅に悪い。そこで、特許文献１の技術では、手書き文字と活字とを区別して認識させることにより、手書き文字の検索精度の向上を図っている。
【０００３】
しかしながら、特許文献１のように手書き文字のＯＣＲ処理として活字のＯＣＲ処理とは異なる処理を行わせると、一つの手書き文字に対して複数のＯＣＲ処理結果を候補として記憶しておく必要があり、手書き文字ごとに記憶されるＯＣＲ処理結果の量が膨大になる。また、手書き文字の文字パターンとして多くのパターンを記憶させることにより手書き文字の認識精度を向上させると、手書き文字の文字パターンを多く記憶しておく必要があるため文字パターンを参照する処理の量が膨大になる。このように、手書き文字に対してＯＣＲ処理精度を向上させようとする場合に、ＯＣＲ処理にかかる負荷が膨大になり、処理時間が長くなってしまう。また、ＯＣＲ処理にかかる時間が少ない画像処理装置を製造しようとする場合に、演算速度の速い中央処理装置（ＣＰＵ：Ｃｅｎｔｒａｌ Ｐｒｏｃｅｓｓｉｎｇ Ｕｎｉｔ）、または、容量の大きいメモリを採用する必要がある。このため、これを実現するのに、製造コストが多くかかってしまうという問題がある。
【０００４】
また、特に手書き文字の割合が多い原稿に対して文字認識処理を行わせる場合に、多くの処理負荷がかかることになり、このような原稿に対してＯＣＲ処理装置を導入して効率化を図ってもほとんど効果がない。例えば、手書き文字の割合が多い原稿には、元の活字の書類に対して手書きで修正の指示（原稿の校正など）を書きこむ場合がある。このように手書き文字の割合が多い原稿に対してＯＣＲ処理装置を導入する際に、手書き文字のＯＣＲ処理結果に対しては人による確認または修正を行うことは有効であり、そのニーズはある。
【先行技術文献】
【特許文献】
【０００５】
【特許文献１】特開２００２−３１２３９８号公報
【発明の概要】
【発明が解決しようとする課題】
【０００６】
ところが、手書き文字のＯＣＲ処理結果について人が確認および修正を行うことになると、手書き文字の量が多くなるほど確認漏れまたは修正漏れが生じやすくなるという問題が生じる。
【０００７】
そこで、本発明は、このような状況に鑑みてなされたものであり、手書き文字のＯＣＲ処理結果を、人が修正または確認を行う際に、修正漏れおよび確認漏れが生じにくい画像処理装置を提供することを目的とする。
【課題を解決するための手段】
【０００８】
上記目的を達成するために、本発明の一形態に係る画像処理装置は、文書を光学的に読み取って得られる画像データに対して処理を行う画像処理装置であって、表示部と、前記画像データから文字候補領域を認識して、前記文字候補領域に含まれる文字が手書き文字であるか否かを判定して、手書き文字と判定した場合に当該判定の結果を手書き文字判定結果として出力する文字判定部と、前記文字判定部により手書き文字であると判定された文字を文字認識の候補となる文字パターンと関連付けて、当該関連付けた結果を手書き文字認識結果として出力する文字データ処理部と、前記画像データを前記表示部の第１画面領域に表示させ、前記文字判定部により出力された手書き文字判定結果を前記第１画面領域とは異なる前記表示部の第２画面領域に表示させ、前記第２画面領域においてユーザに選択された前記手書き文字判定結果に対応する前記手書き文字認識結果のうちで前記文字データ処理部により関連付けられた文字パターンを前記表示部の第３画面領域に表示させる表示制御部と、ユーザからの修正の指示に基づいて、前記第３画面領域に表示された前記文字パターンの修正を受け付けて、前記手書き文字認識結果のうちで前記文字データ処理部により関連付けられた文字パターンの変更を行う修正部とを備える。
【０００９】
これによれば、文書を光学的に読み取って得られた画像データから認識された手書き文字を抽出して、認識された手書き文字判定結果を、画像データが表示される第１画面領域とは異なる第２画面領域に表示させる。そして、修正部が、ユーザからの修正の指示に基づいて、第３画面領域に表示される文字データ処理部により関連付けられた文字パターン（いわゆる、ＯＣＲ処理結果）の変更を行う。
【００１０】
このため、ユーザが、手書き文字認識結果と元の画像データの中の手書き文字とを見比べて修正することができる。また、誤認識が発生しやすい手書き文字のみを抽出して第２画面領域に表示させるため、誤認識されたＯＣＲ処理結果の確認漏れまたは修正漏れを防ぐことができる。これにより、ユーザは、ＯＣＲ処理結果を修正する際に効率よく作業することができる。
【００１１】
また、好ましくは、前記文字判定部は、さらに、前記文字候補領域に含まれる文字が、活字であるか否かを判定して、活字であると判定した場合に当該判定の結果を活字判定結果として出力し、前記文字データ処理部は、さらに、前記文字判定部により判定された活字を前記文字パターンと関連付けて、当該関連付けた結果を活字認識結果として出力し、前記表示制御部は、さらに、前記文字判定部により出力された活字判定結果を前記第２画面領域に表示させ、前記活字認識結果のうちで前記文字データ処理部により関連付けられた文字パターンを前記第３画面領域に表示させる。
【００１２】
これによれば、文字判定部が活字の文字候補領域に対しても活字判定結果を出力し、また、文字データ処理部が活字認識結果を出力している。つまり、画像処理装置は、活字に対してもＯＣＲ処理を行う。
【００１３】
このため、抽出された活字判定結果は、手書き文字判定結果と選択可能な状態で表示させることができる。また、例えば、修正部が、ユーザからの修正の指示に基づいて、活字認識結果のうちで活字のＯＣＲ処理結果の修正を行っても良い。このように、ユーザは、活字に対しても、ＯＣＲ処理結果を確認または修正することができる。
【００１４】
また、好ましくは、画像処理装置はさらに、第１画像データに基づいて前記文字判定部により判定された第１活字判定結果と前記文字パターンとが前記文字データ処理部により関連付けられた第１活字認識結果と、第２画像データに基づいて前記文字判定部により判定された第２活字判定結果と前記文字パターンとが前記文字データ処理部により関連付けられた第２活字認識結果とが、所定の割合以上で一致するか否かを判定する活字一致判定部と、前記第１活字認識結果と前記第２活字認識結果とが前記所定の割合以上で一致すると前記活字一致判定部が判定した場合に、前記第１画像データに基づいて前記文字判定部により判定された第１手書き文字と前記文字パターンとが前記文字データ処理部により関連付けられた第１手書き文字認識結果と、第２画像データに基づいて前記文字判定部により判定された第２手書き文字と前記文字パターンとが前記文字データ処理部により関連付けられた第２手書き文字認識結果とを統合させて統合手書き文字認識結果として出力するデータ統合部と、を備え、前記表示制御部は、前記統合手書き文字認識結果を前記第２画面領域に表示させ、前記第２画面領域においてユーザに選択された前記統合手書き文字認識結果のうちで前記文字データ処理部により関連付けられた文字パターンを前記第３画面領域に表示させ、前記修正部は、ユーザからの修正指示に基づいて、前記第１手書き文字認識結果のうちで前記文字データ処理部により関連付けられた第１文字パターンの修正を受け付けて、前記統合手書き文字認識結果のうちで前記文字データ処理部により関連付けられた前記第１文字パターンの変更を行う、または、前記第２手書き文字認識結果のうちで前記文字データ処理部により関連付けられた第２文字パターンの修正を受け付けて、前記統合手書き文字認識結果のうちで前記文字データ処理部により関連付けられた前記第２文字パターンの変更を行う。
【００１５】
手書き文字を書類に書き込む修正者には、文章の内容のみを修正する修正者もいれば、誤字脱字のみを修正する修正者もいる。このように、修正者が複数人いる場合に、同一の書類を複数印刷し、複数人の修正者がそれぞれの書類に対して手書きで修正する場合に、一部の書類を複数人の修正者で使い回して修正するよりも効率が良い。
【００１６】
複数の書類毎に手書き修正箇所（手書き文字の文字列）が抽出されると、ユーザは、同一の書類であるのに、複数の書類毎に処理された結果に基づいてＯＣＲ処理結果の確認または修正を行わなくてはならず、作業効率が悪い。また、修正者が複数人いると、画像データも修正者の数だけ作成されることになるため、複数の画像データの保存先が画像データ毎に異なってしまう可能性があり、例えばある一人の修正者の修正すべてを反映できなくなるなどのリスクを伴う。さらに、同一の書類に対して画像データを複数作成することになるため、画像処理後のデータが記憶される容量を多く消費してしまう。
【００１７】
この課題を解決するためになされたものであり、複数の画像データに対する複数の活字認識結果が所定の割合以上で一致する場合に、文字データ処理部により出力された複数の画像データに対する複数の手書き文字認識結果を統合する。つまり、画像処理装置は、活字のＯＣＲ処理結果が所定の割合以上で一致する場合に、複数の画像データが同一の書類に対して修正が行われたものであるとみなして、手書き文字のＯＣＲ処理結果を統合する。そして、表示制御部は、統合された統合手書き文字認識結果を、表示部の第２画面領域に表示させる。
【００１８】
これにより、修正者が複数いるような場合であっても、ユーザは、統合手書き文字認識結果と元の画像データの中の手書き文字とを見比べて修正することができる。また、誤認識が発生しやすい手書き文字のみを抽出して第２画面領域に表示させるため、誤認識されたＯＣＲ処理結果の確認漏れまたは修正漏れを防ぐことができる。これにより、ユーザは、ＯＣＲ処理結果を修正する際に効率よく作業することができる。また、複数の修正者による手書きの書き込みを統合して表示させることができるため、１つの書類に対する作業効率を向上させることができる。
【００１９】
また、好ましくは、前記第３画面領域は、前記第１画面領域および前記第２画面領域とは異なる画面領域である。
【００２０】
これによれば、第２画面領域に表示された手書き文字判定結果に対応するＯＣＲ処理結果の修正状況を表示させる画面領域としてさらに別の画面領域である第３画面領域に表示させる。これにより、ユーザは、元の画像データによる手書き文字を参照しながら、手書き文字のＯＣＲ処理結果の確認または修正を行うことができる。
【００２１】
また、好ましくは、前記表示制御部は、前記第１手書き文字認識結果を第１表示形態により前記第２画面領域に表示させ、前記第２手書き文字認識結果を前記第１表示形態とは異なる第２表示形態により前記第２画面領域に表示させる。
【００２２】
これによれば、表示制御部は、例えば複数の修正者が書き込んだ手書き文字である、第１手書き文字判定結果と第２手書き文字判定結果とを異なる表示形態により第２画面領域に表示させる。このため、例えば複数の修正者が、上述したような文章の内容の修正、誤字脱字の修正等のように修正の内容の種別毎に役割分担されている場合に、役割毎の手書き文字による修正をユーザは把握できる。これにより、例えば、ユーザは、手書き文字のＯＣＲ処理結果の修正を行う時間が限られるなどの制限がある場合に、優先度の高い役割と認識された手書き文字による修正を選んで手書き文字のＯＣＲ処理結果の修正を行うことができる。
【００２３】
また、好ましくは、前記文字判定部は、前記手書き文字判定結果としてさらに、手書き文字が含まれると判定された文字候補領域の表示位置および表示範囲を出力する。
【００２４】
これによれば、文字判定部は、文字候補領域の表示位置および表示範囲を手書き文字判定結果として出力する。このため、例えば、ユーザが、第２画面領域において表示される文字判定結果を選択したときに、選択された文字判定結果に対応する文字候補領域の表示形態を変更するなどの処理に利用することができる。
【００２５】
また、好ましくは、前記文字判定部は、さらに、前記文字候補領域に含まれる文字が、活字であるか否かを判定して、活字であると判定した場合に当該判定の結果を前記画像データにおける活字の表示位置および活字の表示範囲とともに活字判定結果として出力し、前記表示制御部は、前記手書き文字判定結果および前記活字判定結果に基づいて、前記文字判定部により活字が含まれると判定された文字候補領域を第３表示形態により前記第１画面領域に表示させ、前記文字判定部により手書き文字が含まれると判定された文字候補領域を前記第３表示形態とは異なる第４表示形態により前記第１画面領域に表示させる。
【００２６】
これによれば、表示制御部は、表示される活字の文字候補領域の表示形態と手書き文字の文字候補領域の表示形態とを異なる表示形態で第１画面領域に表示させる。このため、ユーザは、第１画面領域において、画像データにおける活字の文字候補領域と手書きの文字候補領域とを瞬時に見分けることができる。
【００２７】
また、好ましくは、前記表示制御部は、前記第２画面領域に表示される手書き文字判定結果に対して第１の選択をユーザが行った場合に、前記第１の選択の対象となった手書き文字判定結果に対応する文字候補領域を第５表示形態により前記第１画面領域に表示させる。
【００２８】
これによれば、第２画面領域において表示される手書き文字判定結果に対して、第１の選択をユーザが行った場合に、第１の選択が行われた手書き文字判定結果に対応する文字候補領域を第５表示形態により第１画面領域に表示させる。具体的には、ユーザが、第２画面領域に表示される手書き文字判定結果の中から修正部によって第１の選択として、例えば、手書き文字判定結果に対応するチェックボックスにチェックを入れる。この場合に、表示制御部は、チェックされた手書き文字判定結果に対応する文字候補領域の表示形態を変更して第１画面領域に表示させる。
【００２９】
このため、ユーザは、例えば、ＯＣＲ処理結果の確認または修正が終了した手書き文字判定結果に対して第１の選択を行うことにより、第１の選択が行われた文字候補領域の表示を変更することができる。これにより、ユーザは、ＯＣＲ処理結果の確認または修正が終了した手書き文字判定結果に対応する文字候補領域を瞬時に見分けることができ、誤認識されたＯＣＲ処理結果の確認漏れまたは修正漏れを防ぐことができる。このため、ユーザは、ＯＣＲ処理結果を修正する際に効率よく作業することができる。
【００３０】
また、好ましくは、前記表示制御部は、さらに、前記第２画面領域に表示される手書き文字判定結果に対して第２の選択をユーザが行った場合に、部前記第２の選択の対象となった手書き文字判定結果に対応する文字候補領域を前記第５表示形態とは異なる第６表示形態により前記第１画面領域に表示させる。
【００３１】
これによれば、第２画面領域において表示される手書き文字判定結果に対して、第２の選択をユーザが行った場合に、第２の選択が行われた手書き文字判定結果に対応する文字候補領域を第５表示形態とは異なる第６表示形態により第１画面領域に表示させる。具体的には、ユーザが、第２画面領域に表示される手書き文字判定結果の中から修正部によって第２の選択として、例えば、手書き文字判定結果をマウスなどのポインティングデバイスでクリックして反転表示させる。この場合に、表示制御部は、反転表示された手書き文字判定結果に対応する文字候補領域の表示を第５表示形態とは異なるものにさらに変更して第１表示領域に表示させる。
【００３２】
このため、ユーザは、例えば、手書き文字判定結果をマウスなどのポインティングデバイスをクリックするなどして選択することにより、当該選択された手書き文字判定結果に対応する文字候補領域を、第１画面領域において瞬時に見分けることができる。これにより、ユーザは、ＯＣＲ処理結果を修正する際に効率よく作業することができる。
【００３３】
また、好ましくは、画像処理装置はさらに、文書から光学的に前記画像データを取得する画像取得部を備える。
【００３４】
これによれば、画像取得部をさらに備えるため、スキャナまたはデジタルカメラなどの画像取得装置を別に用意しなくとも、単独で書類から画像データを取得することができ請求項１から請求項９に対応する処理を行うことができる。
【００３５】
また、好ましくは、画像処理装置はさらに、前記文字パターンを記憶している記憶部を備える。
【００３６】
これによれば、記憶部をさらに備えるため、ハードディスクまたはメモリなどの記憶装置を別に用意しなくとも、単独でＯＣＲ処理を行うことができ請求項１から請求項１０に対応する処理を行うことができる。
【００３７】
また、本発明は、このような画像処理装置として実現できるだけでなく、画像処理装置が備える特徴的な処理部のそれぞれの動作をステップとして方法として実現することもでき、また、本発明は、各処理部の処理を行う集積回路として実現することもできる。さらに、本発明は、コンピュータに上記各ステップを実行させるためのプログラムとして実現することもできる。そのようなプログラムは、ＣＤ−ＲＯＭ等の記録媒体またはインターネット等の伝送媒体を介して配信することもできる。また、本発明は、このような画像処理装置を内蔵するネットワーク複合機として実現することもできる。
【発明の効果】
【００３８】
本発明に係る画像処理装置によれば、ユーザは、誤認識されたＯＣＲ処理結果の確認漏れまたは修正漏れを防ぐことができ、ＯＣＲ処理結果を修正する際に効率よく作業することができる。
【図面の簡単な説明】
【００３９】
【図１】本発明の一実施形態における画像処理装置を含むワークフローシステムの構成を示す図である。
【図２】本発明の一実施形態におけるネットワーク複合機のハードウェア構成を示すブロック図である。
【図３】本発明の一実施形態における端末装置のハードウェア構成を示すブロック図である。
【図４】本発明の一実施形態における画像処理装置の画像処理に係る機能構成を示すブロック図である。
【図５】本発明の一実施形態における文字認識結果データの一例を示す図である。
【図６】本発明の一実施形態におけるワークフローシステムによる画像データの画像処理における処理手順を示すフローチャートである。
【図７】本発明の一実施形態における修正作業画面の一例を示す図である。
【図８】本発明の一実施形態におけるユーザが文字認識結果データを修正する際の修正作業の作業手順の一例を示すフローチャートである。
【図９】本発明の一実施形態における画像処理装置の統合処理に係る機能構成を示すブロック図である。
【図１０】本実施の一実施形態におけるワークフローシステムにおける文字認識結果データの統合処理における処理手順を示すフローチャートである。
【図１１】本発明の他の実施形態における画像処理装置の画像処理に係る機能構成を示すブロック図である。
【発明を実施するための形態】
【００４０】
以下、本発明の実施の形態について、図面を用いて詳細に説明する。
【００４１】
まず、図１および図２を用いて、本発明の実施の形態における画像処理装置を備えるワークフローシステムの構成の概要について説明する。
【００４２】
このワークフローシステムには、作成者と、修正者と、作成者と修正者とを補助する補助者とが介在する。作成者は、ＰＣやワードプロセッサなどにより印字された書類（以下、印字書類とする）を作成する。修正者は、作成者により作成された印字書類を手書きで修正する。このとき修正者により修正された書類を修正書類とする。補助者は、修正者により作成された手書き文字を含む修正書類を、ネットワーク複合機１、２のスキャナ機能やデジタルカメラ７を利用して画像ファイルを取得し、本願の画像処理装置によりＯＣＲ処理を行う。補助者は、書類をＯＣＲ処理することにより、誤認識されやすい手書き文字の認識処理結果が元の書類に書きこまれた内容と合致しているか否かを確認し、合致していなければ手書き文字の認識処理結果を修正する。つまり、本実施形態のワークフローシステムは補助者が主に利用するため、以下からは補助者をユーザとして説明する。
【００４３】
図１は、本実施の形態における画像処理装置を含むワークフローシステムの構成の一例を示す図である。
【００４４】
同図に示すように、このワークフローシステムは、ネットワーク複合機１および２、端末装置３および４、ＰＳＴＮ（Ｐｕｂｌｉｃ Ｓｗｉｔｃｈｅｄ Ｔｅｌｅｐｈｏｎｅ Ｎｅｔｗｏｒｋｓ：公衆電話交換回線網）５、並びにＬＡＮ（Ｌｏｃａｌ Ａｒｅａ Ｎｅｔｗｏｒｋ）６から構成される。このワークフローシステムは、ネットワーク複合機１、２あるいはデジタルカメラ７から取得された書類の画像データ５３のＯＣＲ処理を行うことが可能なシステムである。
【００４５】
端末装置３、４は、本実施の形態における画像処理装置として機能するコンピュータである。端末装置３、４は、本実施の形態では、ネットワーク複合機１、２を利用するユーザ（主に、補助者）が使用するパーソナルコンピュータである。
【００４６】
ネットワーク複合機１は、スキャナで読み取った書類を、例えば、ＰＳＴＮ５を介してネットワーク複合機２へファクシミリ送信すること、ＬＡＮ６を介して端末装置３および４へ送信すること、内蔵されるプリンタでプリントアウトすること等ができる。
【００４７】
図２は、本実施の形態におけるネットワーク複合機１のハードウェア構成を示すブロック図である。
【００４８】
同図に示すように、ネットワーク複合機１は、ＣＰＵ（Ｃｅｎｔｒａｌ Ｐｒｏｃｅｓｓｉｎｇ Ｕｎｉｔ）１０、ＲＯＭ（Ｒｅａｄ Ｏｎｌｙ Ｍｅｍｏｒｙ）１１、ＲＡＭ（Ｒａｎｄｏｍ Ａｃｃｅｓｓ Ｍｅｍｏｒｙ）１２、モデム１３、ＮＣＵ（Ｎｅｔｗｏｒｋ Ｃｏｎｔｒｏｌ Ｕｎｉｔ）１４、操作パネル１５、ディスプレイ１６、スキャナ１７、プリンタ１８、およびＬＡＮＩ／Ｆ（ＬＡＮ Ｉｎｔｅｒｆａｃｅ）１９を備えている。
【００４９】
ＣＰＵ１０は、ＲＯＭ１１に格納された制御プログラム５０を実行することにより、ネットワーク複合機１の全体を制御する。
【００５０】
ＲＯＭ１１は、ＣＰＵ１０が実行する制御プログラム５０を保持する読み出し専用メモリである。
【００５１】
ＲＡＭ１２は、ＣＰＵ１０が制御プログラム５０を実行する際に用いられるワークデータ、およびスキャナ１７から得られた画像データ等を保持する読み書き可能なメモリである。
【００５２】
モデム１３は、ＲＡＭ１２に保持された画像データ等をファクシミリ信号に変調して送信し、また外部から受信されたファクシミリ信号をラインデータに復調する。モデム１３は、例えばＧ３規格に準拠したファックスモデムである。
【００５３】
ＮＣＵ１４は、モデム１３とＰＳＴＮ５との接続を制御する網制御装置である。
【００５４】
操作パネル１５は、ユーザからの操作を受け付けるタッチパネルである。
【００５５】
ディスプレイ１６は、ユーザへの操作ガイド、またはネットワーク複合機１の動作状態を表示する表示装置であり、例えばＬＣＤ（Ｌｉｑｕｉｔ Ｃｒｙｓｔａｌ Ｄｉｓｐｌａｙ：液晶表示装置）である。
【００５６】
スキャナ１７は、画像読み取り装置であり、ＣＰＵ１０の制御下で、ＣＣＤを用いて原稿を光学的に読み取ることによって画像データを生成する。
【００５７】
プリンタ１８は、印刷装置であり、ＣＰＵ１０の制御下で、例えばＲＡＭ１２に保持された画像データによって表される画像イメージを印刷出力する。
【００５８】
ＬＡＮＩ／Ｆ１９は、ネットワーク複合機１とＬＡＮ６とを接続する通信アダプタであり、ＣＰＵ１０の制御下で、例えばＲＡＭ１２に保持された画像データを端末装置３等へ送信する。
【００５９】
図３は、本実施の形態のおける端末装置３、４のハードウェア構成を示すブロック図である。
【００６０】
端末装置３は、図３に示されるように、主に、ＣＰＵ２０、ハードディスク２１、ＲＡＭ２２、入力装置２３、ディスプレイ２４、ＬＡＮＩ／Ｆ２５、およびＵＳＢＩ／Ｆ（Ｕｎｉｖｅｒｓａｌ Ｓｅｒｉａｌ Ｂｕｓ Ｉｎｔｅｒｆａｃｅ）２６から構成される。なお、ここでは端末装置３についてのみ説明するが、端末装置４についても同様の構成となる。
【００６１】
ＣＰＵ２０は、ハードディスク２１に格納されたアプリケーションプログラムを実行することにより、端末装置３の全体を制御する。
【００６２】
ハードディスク２１は、画像処理プログラム５１等のプログラム、文字パターンデータ５２、スキャナまたはデジタルカメラから得られた画像データ５３、文字判定結果データ５４、文字認識結果データ５５、統合文字認識結果データ６０統合文字認識結果データ６０等が格納されている。
【００６３】
なお、「画像処理プログラム５１」とは、画像データに対して後述する画像処理を行うアプリケーションプログラムである。また、「文字パターンデータ５２」とは、手書き文字または活字のＯＣＲ処理を行うための文字認識の候補となる文字パターンのデータである。「文字パターンデータ５２」には、図示しないが手書き文字のＯＣＲ処理を行うための手書き文字パターンと、活字のＯＣＲ処理を行うための活字パターンとがある。すなわち、活字のＯＣＲ処理と手書き文字のＯＣＲ処理とは、異なる文字パターンを用いて行われる。また、「画像データ５３」とは、ネットワーク複合機１のスキャナ１７またはデジタルカメラ７等の画像取得装置により書類から取得される画像データである。また、「文字認識結果データ５５」とは、後述する文字データ処理部３２によって画像処理中に作成されるデータである。また、「統合文字認識結果データ６０」とは、後述するデータ統合部３８によって統合処理中に作成されるデータである。
【００６４】
ＲＡＭ２２は、ＣＰＵ２０がハードディスク２１に格納されているプログラムを実行する際に用いられる文字判定結果データ５４、一致データテーブル５９等、およびスキャナ１７から得られた画像データ５３を一時的に保持する読み書き可能なメモリである。なお、「文字判定結果データ５４」は、後述する文字判定部３１によって画像処理中に作成されるデータである。また、「一致データテーブル５９」とは、後述する活字一致判定部３７により作成されるデータである。
【００６５】
入力装置２３は、ユーザからの操作を受け付ける装置であって、キーボードあるいは、マウスやタッチパネル等のポインティングデバイス等である。
【００６６】
ディスプレイ２４は、ＲＡＭ２２から送信されてきたデータを文字や画像として表示するためのＣＲＴディスプレイ、液晶ディスプレイ、プラズマディスプレイ、あるいは有機ＥＬディスプレイ等である。
【００６７】
ＬＡＮＩ／Ｆ２５は、端末装置３とＬＡＮ６とを接続する通信アダプタである。ＬＡＮＩ／Ｆ２５は、ＣＰＵ２０の制御下で、例えば端末装置のハードディスク２１に保持された画像データ５３、文字認識結果データ５５、または統合文字認識結果データ６０を端末装置４に送信する。ＬＡＮＩ／Ｆ２５はまた、端末装置４およびネットワーク複合機１から端末装置３に送信されてきた画像データ５３、文字認識結果データ５５等を受信する。
【００６８】
ＵＳＢＩ／Ｆ２６は、端末装置３とデジタルカメラ７等とを接続する通信アダプタである。ＵＳＢＩ／Ｆ２６を介することにより、例えばデジタルカメラ７により取得された画像データ５３を端末装置３が受信しハードディスク２１に記憶させる。
【００６９】
図４は、本実施の形態における画像処理装置１００の画像処理に係る機能構成を示すブロック図である。つまり、図２および図３に示されるハードウェア構成によって発揮されるネットワーク複合機１および端末装置３、４の機能のうち、主に本実施の形態の画像処理装置１００の画像処理に関わる機能の構成を示すブロック図である。
【００７０】
画像処理装置１００は、機能的には、記憶部３０と、文字判定部３１と、文字データ処理部３２と、表示制御部３３と、修正部３４と、入力部３５と、表示部３６とを備え、画像取得装置１１０としてのネットワーク複合機１またはデジタルカメラ７と通信可能な状態（例えば、ＬＡＮ、ＵＳＢ等）で接続されている。
【００７１】
記憶部３０は、図３におけるハードディスク２１、ＲＡＭ２２等によって実現される。記憶部３０は、文字パターンデータ５２を記憶している。記憶部３０はまた、画像取得装置１１０から送信されてきた画像データ５３、後述する文字判定部３１により出力される文字判定結果データ５４、文字データ処理部３２により出力される文字認識結果データ５５等を記憶する。
【００７２】
文字判定部３１は、図３におけるＣＰＵ２０、プログラム等によって実現される判定部である。文字判定部３１は、記憶部３０に記憶されている画像データ５３に基づいて、部分領域切出処理と、手活判定処理とを行う。部分領域切出処理は、画像データから文字候補領域を認識する処理であって、例えば一行等の文字の塊である部分領域毎に画像データ５３の文字候補領域を分解して、画像データにおける部分領域の位置および範囲を認識する処理である。手活判定処理は、部分領域切出処理によって分解された部分領域に含まれる文字が手書き文字であるか活字であるかを判定し、手書き文字と判定した場合に手書き文字判定結果データとして出力し、活字であると判定した場合に活字判定結果データとして出力する処理である。以下、部分領域切出処理によって分解された部分領域に含まれる文字のようなＯＣＲ処理前の画像として表示される文字のことを「文字画像」と呼ぶ。
【００７３】
なお、文字判定部３１によって出力される手書き文字判定結果データと活字判定結果データとは、文字判定結果データ５４として出力される。つまり、文字判定結果データ５４には、図示しないが、手書き文字の文字画像を含む部分領域に対して文字判定部３１が出力した手書き文字判定結果データと、活字の文字画像を含む部分領域に対して文字判定部３１が出力した活字判定結果データとがある。文字判定部３１は、判定された部分領域に対して手書き文字の属性データまたは活字の属性データを追加し、その結果を文字判定結果データ５４として出力する。なお、ここで出力される文字判定結果データ５４とは、元の画像データ５３に対して、部分領域切出処理によって導出された部分領域の位置および範囲の情報と、手書き文字の属性データまたは活字の属性データとが追加されたデータである。
【００７４】
文字データ処理部３２は、図３におけるＣＰＵ２０、プログラム等によって実現される処理部である。文字データ処理部３２は、記憶部３０に格納されている文字パターンデータ５２と、文字判定部３１により出力された文字判定結果データ５４とに基づいて、文字パターン関連付け処理を行う。文字パターン関連付け処理は、文字判定結果データ５４の各部分領域に含まれる文字画像に対して文字パターンデータ５２を関連付ける処理である。文字パターン関連付け処理では、部分領域毎に処理が行われ、各部分領域に含まれる文字画像に対応する文字列が文字パターンデータから抽出され、文字列データとして各部分領域に含まれる文字画像に関連付けられる。つまり、文字列データは、いわゆるＯＣＲ処理である。文字データ処理部３２は、文字パターン関連付け処理の結果を文字認識結果データ５５として出力する。なお、ここで出力される文字認識結果データ５５とは、文字判定結果データ５４に対して、文字パターン関連付け処理によって関連付けられた文字列データが追加されたデータである。
【００７５】
文字認識結果データ５５は、図５に示されるように、部分領域ＩＤ、部分領域のデータサイズ、部分領域の位置情報、部分領域の属性データ、部分領域の文字数、および、部分領域に関連付けられた文字列データを保持する。なお、「部分領域ＩＤ」とは、Ｓ１０において区別された部分領域を識別するための識別子である。「部分領域ＩＤ」は、位置情報の数値に基づいて所定の演算により算出される値が小さい順に決定される番号である。本実施形態では例えば、位置情報の開始座標の内でＹ座標が小さいものから順番に決定され、Ｙ座標が同じものではＸ座標が小さいものから順番に降順に番号が振られることになる。また、「位置情報」とは、画像データにおいて当該部分領域が表示される位置および範囲を示すデータであり、図４に示すように例えば座標データである。座標データは、開始座標と終了座標とにより囲まれる領域をＸ座標とＹ座標により数値化されて、位置情報として表している。座標データは、例えば具体的には画素単位で導きだされる数値である。また、「文字列データ」とは、部分領域に含まれる文字画像に対して、文字パターンデータに基づいて関連付けられた文字列である。なお、文字認識結果データ５５には、図示しないが、手書き文字について文字パターン関連付け処理を行った手書き文字認識結果データと、活字について文字パターン関連付け処理を行った活字認識結果データとがある。図５に示す文字認識結果データ５５は、手書き文字認識結果データと活字認識結果データとが統合されたものである。
【００７６】
表示制御部３３は、図３におけるＣＰＵ２０、プログラム等によって実現される処理部である。表示制御部３３は、画像データを表示部３６の第１画面領域４０に表示させる。また、表示制御部３３は、文字データ処理部３２により出力された文字認識結果データ５５を表示部３６の第２画面領域４１に表示させる。また、表示制御部３３は、第２画面領域４１においてユーザが入力部３５を操作することにより選択した文字認識結果データ５５に対応する文字列データを表示部３６の第３画面領域４２に表示させる。なお、第１画面領域４０と、第２画面領域４１と、第３画面領域４２とは、表示部３６において表示される画面領域であって、図７に示すように表示部３６の画面内の別々の領域である。
【００７７】
修正部３４は、ユーザが入力部３５を操作することにより送信される入力信号に基づいて、第３画面領域４２に表示された文字列データの修正を受け付けて、文字認識結果データ５５の各部分領域に関連付けられた文字列データの変更を行う。例えば、画像データから抽出された文字候補領域の各部分領域に含まれる文字画像に対して関連付けられた文字列データが、誤認識によって本来意図していた文字とは異なる文字列データとなる場合がある。このような場合に、修正部３４は、ユーザが入力部３５を操作することにより、文字認識結果データ５５を読み込んで、誤って関連付けられた文字パターンを正しい文字パターンに修正することができる。なお、修正された文字認識結果データ５５は、記憶部３０に上書き保存される。
【００７８】
入力部３５は、図３における入力装置２３によって実現される。入力部３５は、上述したように、ユーザに操作されることにより、表示制御部３３または修正部３４に対して入力信号を送信して、文字認識結果データ５５の文字列データを修正することができる。
【００７９】
表示部３６は、図３におけるディスプレイ２４によって実現される。表示部３６は、表示制御部３３を介して文字認識結果データ５５を表示する。すなわち、表示部３６は、入力部３５によって修正される前の文字認識結果データ５５、入力部３５によって修正中である文字認識結果データ５５などを表示することにより、ユーザによる文字列データの修正を支援する。表示部３６はまた、上述したように、文字認識結果データ５５の文字画像と文字列データとを、第１画面領域４０と、第２画面領域４１と、第３画面領域４２とに分けて表示する。
【００８０】
次に、以上のように構成された本実施の形態における画像処理の処理手順について説明する。
【００８１】
図６は、本実施の形態におけるワークフローシステムによる画像データ５３の画像処理における処理手順を示すフローチャートである。
【００８２】
図６に示すように、文字判定部３１は、記憶部３０に記憶されている画像データ５３が文字判定部３１に入力されると画像処理を開始する。文字判定部３１は、入力された画像データ５３のページ毎に部分領域切出処理を行う（Ｓ１０）。
【００８３】
次に、文字判定部３１は、分解した部分領域毎に、部分領域ＩＤと、位置情報とを追加する（Ｓ１１）。
【００８４】
そして、文字判定部３１は、部分領域に含まれる文字画像に対して手活判定処理を行う（Ｓ１２）。
【００８５】
手活判定処理において文字判定部３１により手書き文字であると判定された部分領域には、手書き文字の属性データが追加される（Ｓ１３）。文字判定部３１は、手書き文字の属性データが追加された部分領域を手書き文字判定結果データとして出力する。文字判定部３１により出力された手書き文字判定結果データは、記憶部３０にバッファされる。
【００８６】
そして、文字データ処理部３２は、記憶部３０に格納されている文字パターンデータ５２のうちの手書き文字パターンデータと、文字判定部３１により出力された手書き文字判定結果データとに基づいて、手書き文字パターン関連付け処理を行う（Ｓ１４）。なお、この手書き文字パターン関連付け処理とは、いわゆる、手書き文字の部分領域用のＯＣＲ処理である。文字データ処理部３２により出力された手書き文字認識結果データは、記憶部３０にバッファされる。
【００８７】
一方、手活判定処理において文字判定部３１により活字であると判定された部分領域には、活字の属性データが追加される（Ｓ１５）。文字判定部３１は、活字の属性データが追加された部分領域を活字判定結果データとして出力する。文字判定部３１により出力された活字判定結果データは、記憶部３０にバッファされる。
【００８８】
そして、文字データ処理部３２は、記憶部３０に格納されている文字パターンデータ５２のうちの活字パターンデータと、文字判定部３１により出力された活字判定結果データとに基づいて、活字パターン関連付け処理を行う（Ｓ１６）。なお、この活字パターン関連付け処理とは、いわゆる、活字の部分領域用のＯＣＲ処理である。文字データ処理部３２により出力された活字認識結果データは、記憶部３０にバッファされる。
【００８９】
文字判定部３１は、手書き文字関連付け処理または活字関連付け処理が行われていない未処理の部分領域があるか否かを判定する（Ｓ１７）。未処理の部分領域がある場合には、再度、未処理の部分領域に対して画像処理（Ｓ１１〜Ｓ１６）を行う。
【００９０】
文字データ処理部３２は、未処理の部分領域がない場合に、文字パターン関連付け処理が終了したページの画像データに属する全ての部分領域に対応する手書き文字認識結果データと活字認識結果データとを統合する（Ｓ１８）。
【００９１】
文字データ処理部３２は、文字パターン関連付け処理が終了していないページがあるか否かを確認する（Ｓ１９）。ここで、未処理の画像データのページがある場合には、再度、画像処理（Ｓ１０〜Ｓ１８）を行う。
【００９２】
文字データ処理部３２は、未処理の画像データのページがない場合には画像データの全てのページに対して処理が終了したと判断し、全てのページに対して行った画像処理（Ｓ１０〜Ｓ１８）の結果を文字認識結果データ５５として出力する（Ｓ２０）。出力された文字認識結果データ５５は、記憶部３０に記憶されるこの画像処理を終了する。
【００９３】
記憶部３０に記憶された文字認識結果データ５５は、ユーザが入力部３５を操作することにより修正部３４を動作させると、修正部３４に読み込まれて表示部３６に表示される。修正部３４は、文字認識結果データ５５に基づいて、元の画像データ５３の部分領域に含まれる文字画像と、当該文字画像に関連付けられた文字列データとを別々に表示部３６に表示させる。修正部３４はまた、入力部３５からの入力信号に基づいて各部分領域に関連付けられた文字列データの修正を受け付ける。
【００９４】
以下に、図７に基づいて、具体的な修正部３４の処理によって表示部３６に表示される画面について説明する。
【００９５】
表示部３６に表示される画面は、主に第１画面領域４０と、第２画面領域４１と、第３画面領域４２の３つの画面領域に分けられる。
【００９６】
第１画面領域４０は、メインの画面領域であり、主に元の画像データ５３に基づいた表示を行う画像データ表示領域である。第１画面領域４０には、元の画像データ５３の他に、各部分領域を示す罫線と、各部分領域の部分領域ＩＤとが表示される。すなわち、第１画面領域４０には、文字判定部３１によって分解された部分領域が、可視化された状態で表示されることになる。また、第１画面領域４０では、手書き文字の属性データが追加された部分領域と、活字の属性データが追加された部分領域とにおいて、その表示形態を異なるものとして表示される。本実施の形態では、図７のように、第１画面領域４０において表示される手書き属性の文字候補領域を赤色（図７ではグレー表示）で、第１画面領域４０において表示される活字属性の文字候補領域を黒色で表示する。
【００９７】
第２画面領域４１は、第１画面領域４０の右側において縦長に表示（サイド表示）される画面領域であり、文字認識結果データ５５の文字列データが表示される。第２画面領域４１には、第１画面領域４０に表示されるページの画像データに含まれる各部分領域に対して関連付けられた文字列データが当該部分領域の部分領域ＩＤと共に表示される。
【００９８】
また、第２画面領域４１においては、第１画面領域４０に表示されるページの画像データに含まれる全ての部分領域に関連付けられている文字列データが表示され、これらの文字列データは部分領域の属性データごとに表示される。例えば、図６においては、プルダウンリスト４３において「文字列全て」と、「手書きのみ」と、「活字のみ」とを選択可能である。ユーザが、「文字列全て」をプルダウンリスト４３から選択する場合に、複数の文字列データのうちで手書き文字または活字のいずれかの属性データをもつ文字列データが表示されることになり、第２画面領域４１において全ての文字パターンが表示される。また、ユーザが、「手書きのみ」をプルダウンリスト４３から選択する場合に、複数の文字列データのうちで手書き文字の属性データを有する文字列データのみが第２画面領域４１において表示される。また、ユーザが、「活字のみ」をプルダウンリスト４３から選択する場合に、複数の文字列データのうちで活字の属性データを有する文字列データのみが第２画面領域４１において表示される。
【００９９】
また、第２画面領域４１においては、表示される文字列データの左側にチェックボックス４４が表示される。ユーザは、このチェックボックス４４には、ポインティングデバイス等の入力装置２３によって選択することによりチェックマークを入力することができるようになっている。そして、チェックボックス４４にチェックマークが入力された文字列データに対応する部分領域は、第１画面領域４０における表示に取り消し線が表示される。具体的には、図７のように、第２画面領域４１の「２：追加！！」のチェックボックス４４にチェックマークを入力する場合に、対応する第１画面領域４０の「２：追加！！」の表示部分に取り消し線が表示される事になる。
【０１００】
また、第２画面領域４１においては、表示される複数の文字列データの文字部分を入力部３５（具体的にはマウスなどのポインティングデバイス）により選択する場合に図７に示すように白黒が反転表示される。このように反転表示されることにより選択された文字列データに対応する文字列データが第３画面領域４２に修正可能な状態で表示される。具体的には、図７に示すように、第２画面領域４１の「６：この部分の・・・」を選択して反転表示させると、該当する文字列データが修正可能な状態で第３画面領域４２に表示される。さらに、第１画面領域４０において、第２画面領域４１において選択して反転表示させた文字列データに対応する「６：この部分の図、」で表示される部分領域を示す罫線の枠が太枠で表示されることになる。
【０１０１】
第３画面領域４２は、上述したように、第２画面領域４１において入力部３５（具体的にはマウスなどのポインティングデバイス）により選択されて反転表示された文字列データが表示される。そして、第３画面領域４２においては、入力部３５（具体的にはキーボードなどの文字入力装置）によって第２画面領域４１において選択された文字列データの修正を受け付ける。すなわち、実際の部分領域に含まれる文字画像と、関連付けられた文字列データとが誤認識により異なる結果となった場合に、ユーザは、第３画面領域４２において誤りを含む文字列データを正しい文字列データに修正することができる。
【０１０２】
図８は、ユーザが文字認識結果データを修正する際の修正作業の作業手順の一例を示すフローチャートである。
【０１０３】
まず、ユーザが端末装置３、４によって文字認識結果データ５５を読み込むと、図７に示すような画像がディスプレイに表示される（Ｓ３０）。
【０１０４】
ユーザは、入力部３５を操作することにより、プルダウンリスト４３から「手書きのみ」を選択して、第２画面領域４１において手書き文字の属性データが追加された文字列データのみを表示させる（Ｓ３１）。
【０１０５】
ユーザは、入力部３５を操作することにより、読み込まれた文字認識結果データ５５から第２画面領域４１に抽出された複数の文字列データの一つを選択して、反転表示させる（Ｓ３２）。
【０１０６】
そして、第２画面領域４１において選択されて反転表示となった文字列データは、修正部３４により、ユーザの入力部３５の操作による修正を受け付ける状態で第３画面領域４２に表示される。それと共に、第１画面領域４０において、第２画面領域４１において選択されて反転表示となった文字列データに対応する部分領域の罫線の枠が太枠で表示される（Ｓ３３）。
【０１０７】
ユーザは、第１画面領域４０において罫線の枠が太枠で表示される部分領域に表示される文字画像を視認しながら、当該部分領域に関連付けられた文字列データが正しいか否かを第３画面領域４２に表示される文字列データと当該文字画像とを比較することにより判定する（Ｓ３４）。
【０１０８】
ユーザは、当該部分領域に関連付けられた文字列データが正しいと判定する場合に、第３画面領域４２において修正入力を行わずにチェックボックス４４にチェックマークを入力する（Ｓ３５）。
【０１０９】
ユーザは、当該部分領域に関連付けられた文字列データが誤っていると判定する場合に、第３画面領域４２において修正入力を行って正しい文字列データに修正した上でチェックボックス４４にチェックマークを入力する（Ｓ３６）。
【０１１０】
ユーザは、第２画面領域４１において表示される文字列データに対応するチェックボックス４４の全てにチェックマークが入力されているか否かを判定する（Ｓ３７）。ここで、ユーザは、全てにチェックマークが入力されていない場合に、チェックマークが未入力のチェックボックス４４に対応する文字列データの修正作業（Ｓ３１〜Ｓ３６）を繰り返す。
【０１１１】
ユーザは、全てのチェックボックス４４にチェックマークが入力されている場合に、当該ページの修正作業が終了したと判断して、全てのページにおいて修正作業が行われたか否かを確認する（Ｓ３８）。ユーザは、未修正のページがある場合には、未修正のページに対して修正作業（Ｓ３１〜Ｓ３７）を繰り返す。
【０１１２】
ユーザは、全てのページに対して修正作業が行われていれば修正作業を終了する。
【０１１３】
本実施の形態における画像処理装置１００は、上記の画像処理として統合処理をさらに行う。統合処理は、同一の書類に対して複数の修正者が手書きで修正した場合に読み込まれた複数の画像データに対して行われるものであって、書類の活字部分が共通する場合に、ＯＣＲ処理結果を統合する処理である。
【０１１４】
図９は、本実施の形態における画像処理装置１００の統合処理に係る機能構成を示すブロック図である。つまり、図２および図３に示されるハードウェア構成によって発揮されるネットワーク複合機１および端末装置３、４の機能のうち、画像処理装置１００の統合処理に関わる機能の構成を示すブロック図である。
【０１１５】
画像処理装置１００は、機能的には、記憶部３０と、文字判定部３１と、文字データ処理部３２と、表示制御部３３と、修正部３４と、入力部３５と、表示部３６と、活字一致判定部３７と、データ統合部３８とを備える。以下、画像処理に係る機能構成の説明と異なる処理部である活字一致判定部３７およびデータ統合部３８のみについて説明する。
【０１１６】
活字一致判定部３７は、図３におけるＣＰＵ、プログラム等によって実現される判定部である。活字一致判定部３７は、第１活字認識結果データと第２活字認識結果データとが所定の割合（例えば９０％）以上で一致するか否かを判定する。第１活字判定結果データとは、第１画像データに基づいて文字判定部３１により判定された第１活字判定結果データと文字パターンとが文字データ処理部３２により関連付けられたデータである。第２活字認識結果データとは、第２画像データに基づいて文字判定部３１により判定された第２活字判定結果と文字パターンとが文字データ処理部３２により関連付けられたデータである。具体的には、活字一致判定部３７は、新たに記憶された文字認識結果データ５５（以下、新文字認識結果データ５６）の活字認識結果データ（以下、新活字認識結果データとする）に基づいて、既に記憶部３０に記憶されている複数の文字認識結果データ５５（以下、文字認識結果データ群５７とする）に含まれる全ての活字認識結果データを照合する。すなわち、新活字認識結果データは、上述の第１活字認識結果データに該当する。そして、活字一致判定部３７は、文字認識結果データ群５７の中から、新活字認識結果データと一致する活字認識結果データを含む文字認識結果データ５５があるか否かを判定する活字一致判定処理を行う。すなわち、文字認識結果データ群５７のそれぞれの活字認識結果データが上述の第２活字認識結果データに該当する。
【０１１７】
なお、活字一致判定処理では、活字認識結果データ同士が所定の割合以上で一致する場合に、一致すると判定する。例えば、活字一致判定処理では、活字の属性データを有する各部分領域の位置情報が一致することと、当該各部分領域に関連付けられた文字列データが一致することの少なくとも２つの要素で判定される。これにより、２つの文字認識結果データの活字認識結果データが一致すると判定される。
【０１１８】
そして、活字一致判定部３７は、活字一致判定処理において一致すると判定された文字認識結果データ５５（以下、被一致文字認識結果データ５８とする）と新文字認識結果データ５６とを関連付けるための一致データテーブル５９を出力する。なお、この場合に、被一致文字認識結果データ５８が複数ある場合には、全ての被一致文字認識結果データ５８と新文字認識結果データ５６とが関連付けられるための一致データテーブル５９が出力される。
【０１１９】
データ統合部３８は、図３におけるＣＰＵ２０、プログラム等によって実現される処理部である。データ統合部３８は、第１活字認識結果と第２活字認識結果とが所定の割合以上で一致すると活字一致判定部が判定した場合に、第１手書き文字認識結果データと第２手書き文字認識結果データとを統合させて統合手書き文字認識結果データとして出力する。第１手書き文字認識結果データは、第１画像データに基づいて文字判定部３１により判定された第１手書き文字と文字パターンとが文字データ処理部３２により関連付けられたデータである。第２手書き文字認識結果データは、第２画像データに基づいて文字判定部３１により判定された第２手書き文字と文字パターンとが文字データ処理部３２により関連付けられたデータである。具体的には、データ統合部３８は、記憶部３０に格納されている一致データテーブル５９に基づいて、活字一致判定部が一致すると判定した新文字認識結果データ５６と被一致文字認識結果データ５８とを記憶部３０から抽出する。そして、データ統合部３８は、抽出した新文字認識結果データ５６に含まれる手書き文字認識結果データと、被一致文字認識結果データ５８に含まれる手書き文字認識結果データとを統合して、統合した結果を統合文字認識結果データ６０として出力する。ここで、新文字認識結果データ５６に含まれる手書き文字認識結果データは、上述の第１手書き文字認識結果データに該当する。また、被一致文字認識結果データ５８に含まれる手書き文字認識結果データは、上述の第２手書き文字認識結果に該当する。統合文字認識結果データ６０は、基本的には図５に示す文字認識結果データ５５と同じであるが、部分領域の属性データが異なる。統合文字認識結果データ６０の部分領域の属性データでは、統合前の手書き文字認識結果データ別に部分領域の属性データが分類される。これについては、例えば第１の文字認識結果データ５５と第２の文字認識結果データ５５とが統合される場合で説明する。第１の文字認識結果データ５５に属する第１手書き文字認識結果データに対応する部分領域の属性データは「第１手書き文字」に分類され、第２の文字認識結果データ５５に属する第２手書き文字認識結果データに対応する部分領域の属性データは「第２手書き文字」に分類される。このように、統合文字認識結果データ６０では、元の文字認識結果データ５５毎に手書き文字認識結果データの部分領域の属性データが分類される。
【０１２０】
なお、記憶部３０は、画像処理に係る機能構成において説明したものと同様であり、さらに、活字一致判定部３７により出力される一致データテーブル５９と、データ統合部３８により出力される統合文字認識結果データ６０とを記憶する。
【０１２１】
また、表示制御部３３は、画像処理に係る機能構成において説明したものと同様であり、統合文字認識結果データ６０の部分領域に含まれる文字画像と、当該文字画像に関連付けられた文字列データとを別々に表示部３６に表示される。
【０１２２】
修正部３４はユーザが入力部３５を操作することにより送信される入力信号に基づいて、第３画面領域４２に表示された文字列データの修正を受け付けて、統合文字認識結果データ６０の各部分領域に関連付けられた文字列データの変更を行う。
【０１２３】
次に、以上のように構成された本実施の形態における統合処理の処理手順について説明する。
【０１２４】
図１０は、本実施の形態におけるワークフローシステムにおける文字認識結果データ５５の統合処理における処理手順を示すフローチャートである。
【０１２５】
図１０に示すように、統合処理は、文字データ処理部３２が新文字認識結果データ５６を出力した時（画像処理終了時）に開始される。
【０１２６】
活字一致判定部３７は、新文字認識結果データ５６が入力されると、記憶部３０に文字認識結果データ群５７が記憶されているか否かを確認する（Ｓ４０）。
【０１２７】
活字一致判定部３７は、文字認識結果データ群５７がある場合に、記憶部３０から新文字認識結果データ５６と文字認識結果データ群５７とを読み込んで、活字一致判定処理を行う（Ｓ４１）。
【０１２８】
活字一致判定部３７は一方で、記憶部３０に文字認識結果データ群５７が記憶されていない場合に、読み込んだ新文字認識結果データ５６を文字認識結果データ群５７とするための情報を追加する。当該情報を追加された文字認識結果データ５５は、文字認識結果データ群５７として記憶部３０に格納される（Ｓ４２）。そして、この統合処理を終了する。
【０１２９】
活字一致判定部３７は、活字一致判定処理（Ｓ４１）において新活字認識結果データと一致する活字認識結果データがあると判定した場合に、被一致文字認識結果データ５８と新文字認識結果データ５６とを関連付ける（Ｓ４３）。活字一致判定部３７は、当該関連付け処理の結果を一致データテーブル５９として出力する。活字一致判定部３７により出力された一致データテーブル５９は、記憶部３０にバッファされる。なお、当該関連付け処理が行われた新文字認識結果データ５６には、文字認識結果データ群５７とするための情報が追加され、当該情報が追加された文字認識結果データ５５は文字認識結果データ群５７として記憶部３０に格納される。
【０１３０】
一方、活字一致判定部３７は、活字一致判定処理（Ｓ４１）において新活字認識結果データと一致する活字認識結果データがないと判定した場合に、読み込んだ新文字認識結果データ５６を文字認識結果データ群５７とするための情報を追加する。当該情報を追加された文字認識結果データ５５は、文字認識結果データ群５７として記憶部３０に格納される（Ｓ４４）。そして、この統合処理を終了する。
【０１３１】
そして、データ統合部３８は、活字一致判定部３７により出力された一致データテーブル５９に基づいて、関連付け処理が行われた複数の文字認識結果データ５５を記憶部３０から抽出する。データ統合部３８は、抽出した複数の文字認識結果データ５５（すなわち、新文字認識結果データ５６および被一致文字認識結果データ５８）の各手書き文字認識結果データを統合して、統合した結果を統合文字認識結果データ６０として出力する（Ｓ４５）。データ統合部３８に出力された統合文字認識結果データ６０は、記憶部に格納されて、統合処理は終了する。
【０１３２】
表示制御部３３は、統合文字認識結果データ６０を表示部３６に表示させる場合に、次のように表示部３６を制御する。統合文字認識結果データ６０は、部分領域の属性データが、文字認識結果データ５５では「手書き文字」と「活字」との２種類であったのが、「第１手書き文字」、「第２手書き文字」、「活字」の３種類もしくはそれを超える。部分領域の属性データが３種類を超える場合には、活字データが同一と判断される書類の数に応じて異なり、当該書類の数と手書き文字の属性の数とが一致するように増加する。例えば活字データが同一と判断される書類の数が３つであれば、部分領域の属性データは、「第１手書き文字」、「第２手書き文字」、「第３手書き文字」、「活字」の４種類となる。
【０１３３】
部分領域の属性データが３種類となる場合には、文字認識結果データのプルダウンリスト４３の表示は、統合文字認識結果データ６０では、「文字列全て」、「手書きのみ」、「手書き１のみ」、「手書き２のみ」、「活字のみ」となる。ここで、「手書きのみ」が選択された場合に、部分領域の属性データが第１手書き文字または第２手書き文字にかかわらず、全ての手書き文字が第２画面領域４１において表示される。「手書き１のみ」が選択された場合に、部分領域の属性データが第１手書き文字のみの文字列データが第２画面領域４１において表示される。「手書き２のみ」が選択された場合に、部分領域の属性データが第２手書き文字のみの文字列データが第２画面領域４１において表示される。
【０１３４】
さらに、第１画面領域４０において表示される文字の色についても、第１手書き文字は赤色、第２手書き文字は青色、活字は黒色に表示される。また、第２画面領域において表示される文字の色についても同様である。ただし、これに限定するものではなく、第１手書き文字、第２手書き文字に関わらず手書き文字全般が赤色で表示されるようにしても良い。
【０１３５】
以上のように本実施形態の画像処理装置１００によれば、文書を光学的に読み取って得られた画像データ５３から認識された手書き文字認識結果データを抽出して、手書き文字認識結果データの文字列データを元の画像データ５３が表示される第１画面領域４０とは異なる第２画面領域４１に表示させる。そして、修正部３４ユーザからの修正の指示に基づいて、第３画面領域４２に表示される文字データ処理部３２により関連付けられた文字列データの変更を行う。
【０１３６】
このため、ユーザが、手書き文字認識結果データと、元の画像データ５３の中の手書き文字の属性データを有する文字画像とを見比べて修正することができる。また、誤認識が発生しやすい手書き文字認識結果データのみを抽出して第２画面領域４１に表示させるため、手書き文字のＯＣＲ処理結果の確認漏れまたは修正漏れを防ぐことができる。これにより、ユーザは、ＯＣＲ処理結果を修正する際に、効率よく作業することができる。
【０１３７】
また、本実施形態に係る画像処理装置１００によれば、活字の文字候補領域に対してもＯＣＲ処理を行なっている。このため、表示制御部３３は、活字を抽出して手書き文字と選択可能な状態で表示させることができる。また、修正部３４は、ユーザからの修正の指示に基づいて、活字のＯＣＲ処理結果に対しても、修正を受け付けて、文字列データの変更を行う。このため、ユーザは、活字に対してもＯＣＲ処理結果を修正することができる。
【０１３８】
また、本実施形態に係る画像処理装置１００によれば、複数の画像データ５３に対する活字認識結果データが所定の割合以上で一致する場合に、複数の画像データ５３が同一の書類に対して修正が行われたものであるとみなす。そして、当該複数の画像データ５３に係る複数の手書き文字認識結果データを統合する。統合された統合手書き文字認識結果は、第２画面領域４１に表示される。
【０１３９】
これにより、修正者が複数いるような場合であっても、ユーザは、第２画面領域４１に表示される手書き文字認識結果データと第１画面領域４０において表示される元の画像データ５３の中の部分領域に含まれる文字画像とを見比べて修正することができる。また、誤認識が発生しやすい手書き文字のみを抽出して第２画面領域４１に表示させるため、誤認識されたＯＣＲ処理結果の確認漏れまたは修正漏れを防ぐことができる。これにより、ユーザは、ＯＣＲ処理結果を修正する際に効率よく作業することができる。また、複数の修正者による手書きの書き込みを統合して表示させることができるため、１つの原稿に対する作業効率を向上させることができる。
【０１４０】
また、本実施形態に係る画像処理装置１００によれば、第２画面領域４１に表示された手書き文字認識結果データの文字列データ（すなわち手書き文字のＯＣＲ処理結果）を修正可能なフィールドをさらに別の第３画面領域４２に表示させる。これにより、ユーザは、元の画像データ５３による手書き文字を参照しながら、手書き文字のＯＣＲ処理結果の確認または修正を行うことができる。
【０１４１】
また、本実施形態に係る画像処理装置１００によれば、第１画面領域４０において、第１手書き文字認識結果データに対応する文字画像が赤色で表示され、第２手書き文字認識結果データに対応する文字画像が青色で表示される。このことは、第２画面領域４１において表示される文字の色についても同様である。
【０１４２】
このため、複数の修正者が、例えば文章の内容の修正、誤字脱字の修正等の役割毎に分けられている場合に、役割毎の手書き文字による修正をユーザは把握できる。これにより、例えばユーザが手書き文字のＯＣＲ処理結果の修正を行う時間が限られるなどの制限がある場合に、優先度の高い役割と認識された手書き文字による修正を選んで手書き文字のＯＣＲ処理結果の修正を行うことができる。
【０１４３】
また、本実施形態に係る画像処理装置１００によれば、文字判定部３１は、各部分領域の表示位置および表示範囲を文字判定結果データ５４として出力する。このため、ユーザが、例えば第２画面領域４１において抽出された文字列データを選択したときに、選択された文字列データに対応する部分領域の表示を変更できる。
【０１４４】
また、本実施形態に係る画像処理装置１００によれば、第１画面領域４０において、表示される活字の属性データを有する部分領域の文字画像が黒色で表示され、手書き文字の属性データを有する部分領域の文字画像が赤色で表示される。このため、ユーザは、第１画面領域４０において、画像データ５３における活字の文字画像と手書きの文字画像とを瞬時に見分けることができる。
【０１４５】
また、本実施形態に係る画像処理装置１００によれば、ユーザが、第２画面領域４１に表示される文字列データに対応するチェックボックスにチェックを入れると、チェックされた文字列データに対応する部分領域の文字画像の上に取り消し線が表示される。
【０１４６】
このため、ユーザは、例えばＯＣＲ処理結果の確認または修正が終了した文字列データに対応するチェックボックスにチェックを入れることにより、当該文字列データに対応する部分領域の文字画像の表示を変更することができる。これにより、ユーザは、ＯＣＲ処理結果の確認または修正が終了した文字列データに対応する部分領域の文字画像を瞬時に見分けることができ、誤認識されたＯＣＲ処理結果の確認漏れまたは修正漏れを防ぐことができる。これにより、ユーザは、ＯＣＲ処理結果を修正する際に効率よく作業することができる。
【０１４７】
また、本実施形態に係る画像処理装置１００によれば、ユーザが、第２画面領域４１に表示される文字列データをマウスなどのポインティングデバイスでクリックして反転表示させると、反転表示された文字列データに対応する部分領域の文字画像が反転表示される。
【０１４８】
このため、ユーザは、上述のような選択を第２画面領域４１の文字列データに対して行うことにより、当該選択された文字列データに対応する部分領域の文字画像を第１画面領域４０において瞬時に見分けることができる。これにより、ユーザは、ＯＣＲ処理結果を修正する際に効率よく作業することができる。
【０１４９】
また、本発明は、このような画像処理装置として実現できるだけでなく、画像処理装置が備える特徴的な処理部のそれぞれの動作をステップとして方法として実現することもでき、また、本発明は、各処理部の処理を行う集積回路として実現することもできる。さらに、本発明は、コンピュータに上記各ステップを実行させるためのプログラムとして実現することもできる。そのようなプログラムは、ＣＤ−ＲＯＭ等の記録媒体またはインターネット等の伝送媒体を介して配信することもできる。また、本発明は、このような画像処理装置を内蔵するネットワーク複合機として実現することもできる。
【０１５０】
以上、本発明に係る画像処理装置について、実施の形態に基づいて説明したが、本発明は、この実施の形態に限定されるものではない。
【０１５１】
つまり、今回開示された実施の形態はすべての点で例示であって制限的なものではないと考えられるべきである。本発明の範囲は上記した説明ではなくて特許請求の範囲によって示され、特許請求の範囲と均等の意味および範囲内でのすべての変更が含まれることが意図される。
【０１５２】
例えば、上記実施の形態では、第１画面領域において表示される手書き文字の属性データに対応する部分領域の色が赤色で表示され、第１画面領域において表示される活字の属性データに対応する部分領域の色が黒色で表示される。このように、手書き文字の属性データに対応する部分領域と活字の属性データに対応する部分領域との表示形態を異なるものとしているが、これに限らない。例えば、手書き文字の属性データに対応する部分領域を囲う罫線の枠が太線の実線で表示され、活字の属性データに対応する部分領域を囲う罫線の枠が点線で表示されるように、文字候補領域を囲う罫線の枠の表示形態を異なるものとしても良い。また、例えば、手書き文字の属性データに対応する部分領域の文字が斜体表示され、活字の属性データに対応する部分領域の文字が元の画像データ５３のままで表示されように、文字のフォントを異なるものとしても良い。
【０１５３】
また、上記実施の形態では、画像処理装置１００には画像取得部３９が含まれていないが、これに限らずに図１１に示すように、画像取得部３９が含まれる構成の画像処理装置２００であっても良い。この画像処理装置２００によれば、画像取得部３９をさらに備えるため、スキャナまたはデジタルカメラなどの画像取得装置を別に用意しなくとも、上述の画像処理を行うことができる。
【０１５４】
また、本実施の形態では、文字判定部３１が文字候補領域の切出処理と手活判定処理とを行っており、文字データ処理部３２が文字パターン関連付け処理を行っているが、これに限らない。文字候補領域の切出処理と、手活判定処理と、文字パターン関連付け処理とは、これらの３つの処理を３つの異なる処理部が単独により行っても良いし、１つの処理部が一括して行っても良いし、３つの処理のうちの２つの処理を１つの処理部が行い残りの１つの処理を別の１つの処理部が行っても良い。
【０１５５】
また、上記実施の形態では、画像処理装置１００として端末装置３、４を構成するハードウェアが機能しているが、これに限らずに、ネットワーク複合機１が画像処理装置１００として機能しても良い。なお、この場合に、記憶部３０は、図２におけるＲＡＭ１２等によって実現される。文字判定部３１、文字データ処理部３２、表示制御部３３、および修正部３４は、図２におけるＣＰＵ１０、制御プログラム５０等によって実現される。入力部３５は、図２における操作パネル１５によって実現される。表示部３６は、図２におけるディスプレイ１６によって実現される。また、ネットワーク複合機１が文字認識結果データ５５を作成するまでの処理を行い、その後の修正部３４による処理を端末装置３、４が行うようにしても良い。
【０１５６】
また、上記実施の形態では、ユーザのワークフロー処理のステップＳ２１において、ユーザはプルダウンリスト４３から「手書きのみ」を選択しているが、これに限らずに、ユーザの必要に応じて「文字列全て」を選択しても良いし、「活字のみ」を選択しても良い。
【０１５７】
また、上記実施の形態では、統合処理において新文字認識結果データ５６が生じると自動的に統合処理が行われているが、これに限らずに、ユーザが選択した複数の文字認識結果データ５５に関してのみ統合処理を行うようにしても良い。また、統合処理を行うデータとしては、文字認識結果データに限らずに画像データであっても良く、この場合には、ユーザは画像データを複数選択し画像処理（Ｓ１０〜Ｓ２０）の結果として出力される文字認識結果データが利用されることになる。
【０１５８】
これにより、この場合の画像処理装置は、活字一致判定部３７が選択された文字認識結果データ５５のみに対して活字一致判定処理を行うこととなる。このため、この場合の画像処理装置は、既に記憶部３０に記憶されている全ての文字認識結果データ５５に対して活字一致判定処理を行わなくとも良くなり、システムに係る負荷を軽減させることができる。
【０１５９】
また、上記実施の形態では、各処理部において作成されるデータは、記憶部３０（すなわちハードディスク）に記憶されるようにしているが、これに限らずに、例えば記憶部３０にバッファされるものについてはＲＡＭ２２に記憶されるようにしても良い。
【０１６０】
また、上記実施の形態では、修正部３４は、ユーザがプルダウンリスト４３から属性データの区分を選択することにより、選択的に手書き文字または活字のいずれかの属性データを有する部分領域の文字列データを表示部３６に表示させている。しかし、これに限らず、プルダウンリスト４３が無くとも良く、自動的に手書き文字の属性データを有する部分領域の文字列データを表示させても良い。このように、少なくとも手書き文字の属性データを有する部分領域の文字列データを表示させることにより、ＯＣＲ処理の認識精度が低い手書き文字のＯＣＲ処理結果を修正できるため、十分に誤認識されたＯＣＲ処理結果の確認漏れまたは修正漏れを防ぐ効果を得ることができる。
【０１６１】
また、上記実施の形態では、表示制御部３３は、部分領域の文字列データを抽出して第２画面領域４１に表示させているが、第２画面領域４１に表示させるのは文字列データに限らない。例えば、文字判定部３１が部分領域切出処理を行うことにより画像データ５３から分解された部分領域の文字画像を表示させても良い。すなわち、文字判定部３１によって処理された文字判定結果データ５４に基づいて、第２画面領域４１に手書き文字の部分領域に関する文字情報（文字画像）を抽出して表示すれば良く、上記実施の形態のように文字判定結果データ５４がさらに文字データ処理部３２によって処理された文字認識結果データ５５に基づいて、第２画面領域４１に手書き文字の部分領域に関する文字情報（すなわち、文字画像）が抽出されて表示されてもよいし、文字列データが抽出されて表示されても良い。
【０１６２】
また、上記実施の形態では、修正部３４は、ユーザからの修正の指示に基づいて、第３画面領域４２において部分領域の文字列データの修正を受け付けて、文字列データの変更を行っているが、この表示を行う画面領域は第３画面領域４２に限らない。例えば、ユーザからの文字列データの修正状況を表示する画面領域は、第１画面領域４０であってもよいし第２画面領域４１であっても良い。
【産業上の利用可能性】
【０１６３】
本発明は、誤認識されたＯＣＲ処理結果の確認漏れまたは修正漏れを防ぐことができる画像処理装置または当該画像処理装置を内蔵したネットワーク複合機等として利用することができる。
【符号の説明】
【０１６４】
１、２ ネットワーク複合機
３、４ 端末装置
５ ＰＳＴＮ
６ ＬＡＮ
７ デジタルカメラ
１０ ＣＰＵ
１１ ＲＯＭ
１２ ＲＡＭ
１３ モデム
１４ ＮＣＵ
１５ 操作パネル
１６ ディスプレイ
１７ スキャナ
１８ プリンタ
１９ ＬＡＮＩ／Ｆ
２０ ＣＰＵ
２１ ハードディスク
２２ ＲＡＭ
２３ 入力装置
２４ ディスプレイ
２５ ＬＡＮＩ／Ｆ
２６ ＵＳＢＩ／Ｆ
３０ 記憶部
３１ 文字判定部
３２ 文字データ処理部
３３ 表示制御部
３４ 修正部
３５ 入力部
３６ 表示部
３７ 活字一致判定部
３８ データ統合部
３９ 画像取得部
４０ 第１画面領域
４１ 第２画面領域
４２ 第３画面領域
４３ プルダウンリスト
４４ チェックボックス
５０ 制御プログラム
５１ 画像処理プログラム
５２ 文字パターンデータ
５３ 画像データ
５４ 文字判定結果データ
５５ 文字認識結果データ
５６ 新文字認識結果データ
５７ 文字認識結果データ群
５８ 被一致文字認識結果データ
５９ 一致データテーブル
６０ 統合文字認識結果データ
１００ 画像処理装置
１１０ 画像取得装置
２００ 画像処理装置
【技術分野】
【０００１】
本発明は、手書き文字および活字の文字認識を行う画像処理装置、画像処理方法、およびプログラムに関するものである。
【背景技術】
【０００２】
従来、画像データから手書き文字と活字とを認識する画像処理、いわゆる光学文字認識（ＯＣＲ：Ｏｐｔｉｃａｌ Ｃｈａｒａｃｔｅｒ Ｒｅｃｏｇｎｉｔｉｏｎ）処理がある。手書き文字に対するＯＣＲ処理の精度は、人ごとに筆跡が異なるために、活字文字の場合よりも大幅に悪い。そこで、特許文献１の技術では、手書き文字と活字とを区別して認識させることにより、手書き文字の検索精度の向上を図っている。
【０００３】
しかしながら、特許文献１のように手書き文字のＯＣＲ処理として活字のＯＣＲ処理とは異なる処理を行わせると、一つの手書き文字に対して複数のＯＣＲ処理結果を候補として記憶しておく必要があり、手書き文字ごとに記憶されるＯＣＲ処理結果の量が膨大になる。また、手書き文字の文字パターンとして多くのパターンを記憶させることにより手書き文字の認識精度を向上させると、手書き文字の文字パターンを多く記憶しておく必要があるため文字パターンを参照する処理の量が膨大になる。このように、手書き文字に対してＯＣＲ処理精度を向上させようとする場合に、ＯＣＲ処理にかかる負荷が膨大になり、処理時間が長くなってしまう。また、ＯＣＲ処理にかかる時間が少ない画像処理装置を製造しようとする場合に、演算速度の速い中央処理装置（ＣＰＵ：Ｃｅｎｔｒａｌ Ｐｒｏｃｅｓｓｉｎｇ Ｕｎｉｔ）、または、容量の大きいメモリを採用する必要がある。このため、これを実現するのに、製造コストが多くかかってしまうという問題がある。
【０００４】
また、特に手書き文字の割合が多い原稿に対して文字認識処理を行わせる場合に、多くの処理負荷がかかることになり、このような原稿に対してＯＣＲ処理装置を導入して効率化を図ってもほとんど効果がない。例えば、手書き文字の割合が多い原稿には、元の活字の書類に対して手書きで修正の指示（原稿の校正など）を書きこむ場合がある。このように手書き文字の割合が多い原稿に対してＯＣＲ処理装置を導入する際に、手書き文字のＯＣＲ処理結果に対しては人による確認または修正を行うことは有効であり、そのニーズはある。
【先行技術文献】
【特許文献】
【０００５】
【特許文献１】特開２００２−３１２３９８号公報
【発明の概要】
【発明が解決しようとする課題】
【０００６】
ところが、手書き文字のＯＣＲ処理結果について人が確認および修正を行うことになると、手書き文字の量が多くなるほど確認漏れまたは修正漏れが生じやすくなるという問題が生じる。
【０００７】
そこで、本発明は、このような状況に鑑みてなされたものであり、手書き文字のＯＣＲ処理結果を、人が修正または確認を行う際に、修正漏れおよび確認漏れが生じにくい画像処理装置を提供することを目的とする。
【課題を解決するための手段】
【０００８】
上記目的を達成するために、本発明の一形態に係る画像処理装置は、文書を光学的に読み取って得られる画像データに対して処理を行う画像処理装置であって、表示部と、前記画像データから文字候補領域を認識して、前記文字候補領域に含まれる文字が手書き文字であるか否かを判定して、手書き文字と判定した場合に当該判定の結果を手書き文字判定結果として出力する文字判定部と、前記文字判定部により手書き文字であると判定された文字を文字認識の候補となる文字パターンと関連付けて、当該関連付けた結果を手書き文字認識結果として出力する文字データ処理部と、前記画像データを前記表示部の第１画面領域に表示させ、前記文字判定部により出力された手書き文字判定結果を前記第１画面領域とは異なる前記表示部の第２画面領域に表示させ、前記第２画面領域においてユーザに選択された前記手書き文字判定結果に対応する前記手書き文字認識結果のうちで前記文字データ処理部により関連付けられた文字パターンを前記表示部の第３画面領域に表示させる表示制御部と、ユーザからの修正の指示に基づいて、前記第３画面領域に表示された前記文字パターンの修正を受け付けて、前記手書き文字認識結果のうちで前記文字データ処理部により関連付けられた文字パターンの変更を行う修正部とを備える。
【０００９】
これによれば、文書を光学的に読み取って得られた画像データから認識された手書き文字を抽出して、認識された手書き文字判定結果を、画像データが表示される第１画面領域とは異なる第２画面領域に表示させる。そして、修正部が、ユーザからの修正の指示に基づいて、第３画面領域に表示される文字データ処理部により関連付けられた文字パターン（いわゆる、ＯＣＲ処理結果）の変更を行う。
【００１０】
このため、ユーザが、手書き文字認識結果と元の画像データの中の手書き文字とを見比べて修正することができる。また、誤認識が発生しやすい手書き文字のみを抽出して第２画面領域に表示させるため、誤認識されたＯＣＲ処理結果の確認漏れまたは修正漏れを防ぐことができる。これにより、ユーザは、ＯＣＲ処理結果を修正する際に効率よく作業することができる。
【００１１】
また、好ましくは、前記文字判定部は、さらに、前記文字候補領域に含まれる文字が、活字であるか否かを判定して、活字であると判定した場合に当該判定の結果を活字判定結果として出力し、前記文字データ処理部は、さらに、前記文字判定部により判定された活字を前記文字パターンと関連付けて、当該関連付けた結果を活字認識結果として出力し、前記表示制御部は、さらに、前記文字判定部により出力された活字判定結果を前記第２画面領域に表示させ、前記活字認識結果のうちで前記文字データ処理部により関連付けられた文字パターンを前記第３画面領域に表示させる。
【００１２】
これによれば、文字判定部が活字の文字候補領域に対しても活字判定結果を出力し、また、文字データ処理部が活字認識結果を出力している。つまり、画像処理装置は、活字に対してもＯＣＲ処理を行う。
【００１３】
このため、抽出された活字判定結果は、手書き文字判定結果と選択可能な状態で表示させることができる。また、例えば、修正部が、ユーザからの修正の指示に基づいて、活字認識結果のうちで活字のＯＣＲ処理結果の修正を行っても良い。このように、ユーザは、活字に対しても、ＯＣＲ処理結果を確認または修正することができる。
【００１４】
また、好ましくは、画像処理装置はさらに、第１画像データに基づいて前記文字判定部により判定された第１活字判定結果と前記文字パターンとが前記文字データ処理部により関連付けられた第１活字認識結果と、第２画像データに基づいて前記文字判定部により判定された第２活字判定結果と前記文字パターンとが前記文字データ処理部により関連付けられた第２活字認識結果とが、所定の割合以上で一致するか否かを判定する活字一致判定部と、前記第１活字認識結果と前記第２活字認識結果とが前記所定の割合以上で一致すると前記活字一致判定部が判定した場合に、前記第１画像データに基づいて前記文字判定部により判定された第１手書き文字と前記文字パターンとが前記文字データ処理部により関連付けられた第１手書き文字認識結果と、第２画像データに基づいて前記文字判定部により判定された第２手書き文字と前記文字パターンとが前記文字データ処理部により関連付けられた第２手書き文字認識結果とを統合させて統合手書き文字認識結果として出力するデータ統合部と、を備え、前記表示制御部は、前記統合手書き文字認識結果を前記第２画面領域に表示させ、前記第２画面領域においてユーザに選択された前記統合手書き文字認識結果のうちで前記文字データ処理部により関連付けられた文字パターンを前記第３画面領域に表示させ、前記修正部は、ユーザからの修正指示に基づいて、前記第１手書き文字認識結果のうちで前記文字データ処理部により関連付けられた第１文字パターンの修正を受け付けて、前記統合手書き文字認識結果のうちで前記文字データ処理部により関連付けられた前記第１文字パターンの変更を行う、または、前記第２手書き文字認識結果のうちで前記文字データ処理部により関連付けられた第２文字パターンの修正を受け付けて、前記統合手書き文字認識結果のうちで前記文字データ処理部により関連付けられた前記第２文字パターンの変更を行う。
【００１５】
手書き文字を書類に書き込む修正者には、文章の内容のみを修正する修正者もいれば、誤字脱字のみを修正する修正者もいる。このように、修正者が複数人いる場合に、同一の書類を複数印刷し、複数人の修正者がそれぞれの書類に対して手書きで修正する場合に、一部の書類を複数人の修正者で使い回して修正するよりも効率が良い。
【００１６】
複数の書類毎に手書き修正箇所（手書き文字の文字列）が抽出されると、ユーザは、同一の書類であるのに、複数の書類毎に処理された結果に基づいてＯＣＲ処理結果の確認または修正を行わなくてはならず、作業効率が悪い。また、修正者が複数人いると、画像データも修正者の数だけ作成されることになるため、複数の画像データの保存先が画像データ毎に異なってしまう可能性があり、例えばある一人の修正者の修正すべてを反映できなくなるなどのリスクを伴う。さらに、同一の書類に対して画像データを複数作成することになるため、画像処理後のデータが記憶される容量を多く消費してしまう。
【００１７】
この課題を解決するためになされたものであり、複数の画像データに対する複数の活字認識結果が所定の割合以上で一致する場合に、文字データ処理部により出力された複数の画像データに対する複数の手書き文字認識結果を統合する。つまり、画像処理装置は、活字のＯＣＲ処理結果が所定の割合以上で一致する場合に、複数の画像データが同一の書類に対して修正が行われたものであるとみなして、手書き文字のＯＣＲ処理結果を統合する。そして、表示制御部は、統合された統合手書き文字認識結果を、表示部の第２画面領域に表示させる。
【００１８】
これにより、修正者が複数いるような場合であっても、ユーザは、統合手書き文字認識結果と元の画像データの中の手書き文字とを見比べて修正することができる。また、誤認識が発生しやすい手書き文字のみを抽出して第２画面領域に表示させるため、誤認識されたＯＣＲ処理結果の確認漏れまたは修正漏れを防ぐことができる。これにより、ユーザは、ＯＣＲ処理結果を修正する際に効率よく作業することができる。また、複数の修正者による手書きの書き込みを統合して表示させることができるため、１つの書類に対する作業効率を向上させることができる。
【００１９】
また、好ましくは、前記第３画面領域は、前記第１画面領域および前記第２画面領域とは異なる画面領域である。
【００２０】
これによれば、第２画面領域に表示された手書き文字判定結果に対応するＯＣＲ処理結果の修正状況を表示させる画面領域としてさらに別の画面領域である第３画面領域に表示させる。これにより、ユーザは、元の画像データによる手書き文字を参照しながら、手書き文字のＯＣＲ処理結果の確認または修正を行うことができる。
【００２１】
また、好ましくは、前記表示制御部は、前記第１手書き文字認識結果を第１表示形態により前記第２画面領域に表示させ、前記第２手書き文字認識結果を前記第１表示形態とは異なる第２表示形態により前記第２画面領域に表示させる。
【００２２】
これによれば、表示制御部は、例えば複数の修正者が書き込んだ手書き文字である、第１手書き文字判定結果と第２手書き文字判定結果とを異なる表示形態により第２画面領域に表示させる。このため、例えば複数の修正者が、上述したような文章の内容の修正、誤字脱字の修正等のように修正の内容の種別毎に役割分担されている場合に、役割毎の手書き文字による修正をユーザは把握できる。これにより、例えば、ユーザは、手書き文字のＯＣＲ処理結果の修正を行う時間が限られるなどの制限がある場合に、優先度の高い役割と認識された手書き文字による修正を選んで手書き文字のＯＣＲ処理結果の修正を行うことができる。
【００２３】
また、好ましくは、前記文字判定部は、前記手書き文字判定結果としてさらに、手書き文字が含まれると判定された文字候補領域の表示位置および表示範囲を出力する。
【００２４】
これによれば、文字判定部は、文字候補領域の表示位置および表示範囲を手書き文字判定結果として出力する。このため、例えば、ユーザが、第２画面領域において表示される文字判定結果を選択したときに、選択された文字判定結果に対応する文字候補領域の表示形態を変更するなどの処理に利用することができる。
【００２５】
また、好ましくは、前記文字判定部は、さらに、前記文字候補領域に含まれる文字が、活字であるか否かを判定して、活字であると判定した場合に当該判定の結果を前記画像データにおける活字の表示位置および活字の表示範囲とともに活字判定結果として出力し、前記表示制御部は、前記手書き文字判定結果および前記活字判定結果に基づいて、前記文字判定部により活字が含まれると判定された文字候補領域を第３表示形態により前記第１画面領域に表示させ、前記文字判定部により手書き文字が含まれると判定された文字候補領域を前記第３表示形態とは異なる第４表示形態により前記第１画面領域に表示させる。
【００２６】
これによれば、表示制御部は、表示される活字の文字候補領域の表示形態と手書き文字の文字候補領域の表示形態とを異なる表示形態で第１画面領域に表示させる。このため、ユーザは、第１画面領域において、画像データにおける活字の文字候補領域と手書きの文字候補領域とを瞬時に見分けることができる。
【００２７】
また、好ましくは、前記表示制御部は、前記第２画面領域に表示される手書き文字判定結果に対して第１の選択をユーザが行った場合に、前記第１の選択の対象となった手書き文字判定結果に対応する文字候補領域を第５表示形態により前記第１画面領域に表示させる。
【００２８】
これによれば、第２画面領域において表示される手書き文字判定結果に対して、第１の選択をユーザが行った場合に、第１の選択が行われた手書き文字判定結果に対応する文字候補領域を第５表示形態により第１画面領域に表示させる。具体的には、ユーザが、第２画面領域に表示される手書き文字判定結果の中から修正部によって第１の選択として、例えば、手書き文字判定結果に対応するチェックボックスにチェックを入れる。この場合に、表示制御部は、チェックされた手書き文字判定結果に対応する文字候補領域の表示形態を変更して第１画面領域に表示させる。
【００２９】
このため、ユーザは、例えば、ＯＣＲ処理結果の確認または修正が終了した手書き文字判定結果に対して第１の選択を行うことにより、第１の選択が行われた文字候補領域の表示を変更することができる。これにより、ユーザは、ＯＣＲ処理結果の確認または修正が終了した手書き文字判定結果に対応する文字候補領域を瞬時に見分けることができ、誤認識されたＯＣＲ処理結果の確認漏れまたは修正漏れを防ぐことができる。このため、ユーザは、ＯＣＲ処理結果を修正する際に効率よく作業することができる。
【００３０】
また、好ましくは、前記表示制御部は、さらに、前記第２画面領域に表示される手書き文字判定結果に対して第２の選択をユーザが行った場合に、部前記第２の選択の対象となった手書き文字判定結果に対応する文字候補領域を前記第５表示形態とは異なる第６表示形態により前記第１画面領域に表示させる。
【００３１】
これによれば、第２画面領域において表示される手書き文字判定結果に対して、第２の選択をユーザが行った場合に、第２の選択が行われた手書き文字判定結果に対応する文字候補領域を第５表示形態とは異なる第６表示形態により第１画面領域に表示させる。具体的には、ユーザが、第２画面領域に表示される手書き文字判定結果の中から修正部によって第２の選択として、例えば、手書き文字判定結果をマウスなどのポインティングデバイスでクリックして反転表示させる。この場合に、表示制御部は、反転表示された手書き文字判定結果に対応する文字候補領域の表示を第５表示形態とは異なるものにさらに変更して第１表示領域に表示させる。
【００３２】
このため、ユーザは、例えば、手書き文字判定結果をマウスなどのポインティングデバイスをクリックするなどして選択することにより、当該選択された手書き文字判定結果に対応する文字候補領域を、第１画面領域において瞬時に見分けることができる。これにより、ユーザは、ＯＣＲ処理結果を修正する際に効率よく作業することができる。
【００３３】
また、好ましくは、画像処理装置はさらに、文書から光学的に前記画像データを取得する画像取得部を備える。
【００３４】
これによれば、画像取得部をさらに備えるため、スキャナまたはデジタルカメラなどの画像取得装置を別に用意しなくとも、単独で書類から画像データを取得することができ請求項１から請求項９に対応する処理を行うことができる。
【００３５】
また、好ましくは、画像処理装置はさらに、前記文字パターンを記憶している記憶部を備える。
【００３６】
これによれば、記憶部をさらに備えるため、ハードディスクまたはメモリなどの記憶装置を別に用意しなくとも、単独でＯＣＲ処理を行うことができ請求項１から請求項１０に対応する処理を行うことができる。
【００３７】
また、本発明は、このような画像処理装置として実現できるだけでなく、画像処理装置が備える特徴的な処理部のそれぞれの動作をステップとして方法として実現することもでき、また、本発明は、各処理部の処理を行う集積回路として実現することもできる。さらに、本発明は、コンピュータに上記各ステップを実行させるためのプログラムとして実現することもできる。そのようなプログラムは、ＣＤ−ＲＯＭ等の記録媒体またはインターネット等の伝送媒体を介して配信することもできる。また、本発明は、このような画像処理装置を内蔵するネットワーク複合機として実現することもできる。
【発明の効果】
【００３８】
本発明に係る画像処理装置によれば、ユーザは、誤認識されたＯＣＲ処理結果の確認漏れまたは修正漏れを防ぐことができ、ＯＣＲ処理結果を修正する際に効率よく作業することができる。
【図面の簡単な説明】
【００３９】
【図１】本発明の一実施形態における画像処理装置を含むワークフローシステムの構成を示す図である。
【図２】本発明の一実施形態におけるネットワーク複合機のハードウェア構成を示すブロック図である。
【図３】本発明の一実施形態における端末装置のハードウェア構成を示すブロック図である。
【図４】本発明の一実施形態における画像処理装置の画像処理に係る機能構成を示すブロック図である。
【図５】本発明の一実施形態における文字認識結果データの一例を示す図である。
【図６】本発明の一実施形態におけるワークフローシステムによる画像データの画像処理における処理手順を示すフローチャートである。
【図７】本発明の一実施形態における修正作業画面の一例を示す図である。
【図８】本発明の一実施形態におけるユーザが文字認識結果データを修正する際の修正作業の作業手順の一例を示すフローチャートである。
【図９】本発明の一実施形態における画像処理装置の統合処理に係る機能構成を示すブロック図である。
【図１０】本実施の一実施形態におけるワークフローシステムにおける文字認識結果データの統合処理における処理手順を示すフローチャートである。
【図１１】本発明の他の実施形態における画像処理装置の画像処理に係る機能構成を示すブロック図である。
【発明を実施するための形態】
【００４０】
以下、本発明の実施の形態について、図面を用いて詳細に説明する。
【００４１】
まず、図１および図２を用いて、本発明の実施の形態における画像処理装置を備えるワークフローシステムの構成の概要について説明する。
【００４２】
このワークフローシステムには、作成者と、修正者と、作成者と修正者とを補助する補助者とが介在する。作成者は、ＰＣやワードプロセッサなどにより印字された書類（以下、印字書類とする）を作成する。修正者は、作成者により作成された印字書類を手書きで修正する。このとき修正者により修正された書類を修正書類とする。補助者は、修正者により作成された手書き文字を含む修正書類を、ネットワーク複合機１、２のスキャナ機能やデジタルカメラ７を利用して画像ファイルを取得し、本願の画像処理装置によりＯＣＲ処理を行う。補助者は、書類をＯＣＲ処理することにより、誤認識されやすい手書き文字の認識処理結果が元の書類に書きこまれた内容と合致しているか否かを確認し、合致していなければ手書き文字の認識処理結果を修正する。つまり、本実施形態のワークフローシステムは補助者が主に利用するため、以下からは補助者をユーザとして説明する。
【００４３】
図１は、本実施の形態における画像処理装置を含むワークフローシステムの構成の一例を示す図である。
【００４４】
同図に示すように、このワークフローシステムは、ネットワーク複合機１および２、端末装置３および４、ＰＳＴＮ（Ｐｕｂｌｉｃ Ｓｗｉｔｃｈｅｄ Ｔｅｌｅｐｈｏｎｅ Ｎｅｔｗｏｒｋｓ：公衆電話交換回線網）５、並びにＬＡＮ（Ｌｏｃａｌ Ａｒｅａ Ｎｅｔｗｏｒｋ）６から構成される。このワークフローシステムは、ネットワーク複合機１、２あるいはデジタルカメラ７から取得された書類の画像データ５３のＯＣＲ処理を行うことが可能なシステムである。
【００４５】
端末装置３、４は、本実施の形態における画像処理装置として機能するコンピュータである。端末装置３、４は、本実施の形態では、ネットワーク複合機１、２を利用するユーザ（主に、補助者）が使用するパーソナルコンピュータである。
【００４６】
ネットワーク複合機１は、スキャナで読み取った書類を、例えば、ＰＳＴＮ５を介してネットワーク複合機２へファクシミリ送信すること、ＬＡＮ６を介して端末装置３および４へ送信すること、内蔵されるプリンタでプリントアウトすること等ができる。
【００４７】
図２は、本実施の形態におけるネットワーク複合機１のハードウェア構成を示すブロック図である。
【００４８】
同図に示すように、ネットワーク複合機１は、ＣＰＵ（Ｃｅｎｔｒａｌ Ｐｒｏｃｅｓｓｉｎｇ Ｕｎｉｔ）１０、ＲＯＭ（Ｒｅａｄ Ｏｎｌｙ Ｍｅｍｏｒｙ）１１、ＲＡＭ（Ｒａｎｄｏｍ Ａｃｃｅｓｓ Ｍｅｍｏｒｙ）１２、モデム１３、ＮＣＵ（Ｎｅｔｗｏｒｋ Ｃｏｎｔｒｏｌ Ｕｎｉｔ）１４、操作パネル１５、ディスプレイ１６、スキャナ１７、プリンタ１８、およびＬＡＮＩ／Ｆ（ＬＡＮ Ｉｎｔｅｒｆａｃｅ）１９を備えている。
【００４９】
ＣＰＵ１０は、ＲＯＭ１１に格納された制御プログラム５０を実行することにより、ネットワーク複合機１の全体を制御する。
【００５０】
ＲＯＭ１１は、ＣＰＵ１０が実行する制御プログラム５０を保持する読み出し専用メモリである。
【００５１】
ＲＡＭ１２は、ＣＰＵ１０が制御プログラム５０を実行する際に用いられるワークデータ、およびスキャナ１７から得られた画像データ等を保持する読み書き可能なメモリである。
【００５２】
モデム１３は、ＲＡＭ１２に保持された画像データ等をファクシミリ信号に変調して送信し、また外部から受信されたファクシミリ信号をラインデータに復調する。モデム１３は、例えばＧ３規格に準拠したファックスモデムである。
【００５３】
ＮＣＵ１４は、モデム１３とＰＳＴＮ５との接続を制御する網制御装置である。
【００５４】
操作パネル１５は、ユーザからの操作を受け付けるタッチパネルである。
【００５５】
ディスプレイ１６は、ユーザへの操作ガイド、またはネットワーク複合機１の動作状態を表示する表示装置であり、例えばＬＣＤ（Ｌｉｑｕｉｔ Ｃｒｙｓｔａｌ Ｄｉｓｐｌａｙ：液晶表示装置）である。
【００５６】
スキャナ１７は、画像読み取り装置であり、ＣＰＵ１０の制御下で、ＣＣＤを用いて原稿を光学的に読み取ることによって画像データを生成する。
【００５７】
プリンタ１８は、印刷装置であり、ＣＰＵ１０の制御下で、例えばＲＡＭ１２に保持された画像データによって表される画像イメージを印刷出力する。
【００５８】
ＬＡＮＩ／Ｆ１９は、ネットワーク複合機１とＬＡＮ６とを接続する通信アダプタであり、ＣＰＵ１０の制御下で、例えばＲＡＭ１２に保持された画像データを端末装置３等へ送信する。
【００５９】
図３は、本実施の形態のおける端末装置３、４のハードウェア構成を示すブロック図である。
【００６０】
端末装置３は、図３に示されるように、主に、ＣＰＵ２０、ハードディスク２１、ＲＡＭ２２、入力装置２３、ディスプレイ２４、ＬＡＮＩ／Ｆ２５、およびＵＳＢＩ／Ｆ（Ｕｎｉｖｅｒｓａｌ Ｓｅｒｉａｌ Ｂｕｓ Ｉｎｔｅｒｆａｃｅ）２６から構成される。なお、ここでは端末装置３についてのみ説明するが、端末装置４についても同様の構成となる。
【００６１】
ＣＰＵ２０は、ハードディスク２１に格納されたアプリケーションプログラムを実行することにより、端末装置３の全体を制御する。
【００６２】
ハードディスク２１は、画像処理プログラム５１等のプログラム、文字パターンデータ５２、スキャナまたはデジタルカメラから得られた画像データ５３、文字判定結果データ５４、文字認識結果データ５５、統合文字認識結果データ６０統合文字認識結果データ６０等が格納されている。
【００６３】
なお、「画像処理プログラム５１」とは、画像データに対して後述する画像処理を行うアプリケーションプログラムである。また、「文字パターンデータ５２」とは、手書き文字または活字のＯＣＲ処理を行うための文字認識の候補となる文字パターンのデータである。「文字パターンデータ５２」には、図示しないが手書き文字のＯＣＲ処理を行うための手書き文字パターンと、活字のＯＣＲ処理を行うための活字パターンとがある。すなわち、活字のＯＣＲ処理と手書き文字のＯＣＲ処理とは、異なる文字パターンを用いて行われる。また、「画像データ５３」とは、ネットワーク複合機１のスキャナ１７またはデジタルカメラ７等の画像取得装置により書類から取得される画像データである。また、「文字認識結果データ５５」とは、後述する文字データ処理部３２によって画像処理中に作成されるデータである。また、「統合文字認識結果データ６０」とは、後述するデータ統合部３８によって統合処理中に作成されるデータである。
【００６４】
ＲＡＭ２２は、ＣＰＵ２０がハードディスク２１に格納されているプログラムを実行する際に用いられる文字判定結果データ５４、一致データテーブル５９等、およびスキャナ１７から得られた画像データ５３を一時的に保持する読み書き可能なメモリである。なお、「文字判定結果データ５４」は、後述する文字判定部３１によって画像処理中に作成されるデータである。また、「一致データテーブル５９」とは、後述する活字一致判定部３７により作成されるデータである。
【００６５】
入力装置２３は、ユーザからの操作を受け付ける装置であって、キーボードあるいは、マウスやタッチパネル等のポインティングデバイス等である。
【００６６】
ディスプレイ２４は、ＲＡＭ２２から送信されてきたデータを文字や画像として表示するためのＣＲＴディスプレイ、液晶ディスプレイ、プラズマディスプレイ、あるいは有機ＥＬディスプレイ等である。
【００６７】
ＬＡＮＩ／Ｆ２５は、端末装置３とＬＡＮ６とを接続する通信アダプタである。ＬＡＮＩ／Ｆ２５は、ＣＰＵ２０の制御下で、例えば端末装置のハードディスク２１に保持された画像データ５３、文字認識結果データ５５、または統合文字認識結果データ６０を端末装置４に送信する。ＬＡＮＩ／Ｆ２５はまた、端末装置４およびネットワーク複合機１から端末装置３に送信されてきた画像データ５３、文字認識結果データ５５等を受信する。
【００６８】
ＵＳＢＩ／Ｆ２６は、端末装置３とデジタルカメラ７等とを接続する通信アダプタである。ＵＳＢＩ／Ｆ２６を介することにより、例えばデジタルカメラ７により取得された画像データ５３を端末装置３が受信しハードディスク２１に記憶させる。
【００６９】
図４は、本実施の形態における画像処理装置１００の画像処理に係る機能構成を示すブロック図である。つまり、図２および図３に示されるハードウェア構成によって発揮されるネットワーク複合機１および端末装置３、４の機能のうち、主に本実施の形態の画像処理装置１００の画像処理に関わる機能の構成を示すブロック図である。
【００７０】
画像処理装置１００は、機能的には、記憶部３０と、文字判定部３１と、文字データ処理部３２と、表示制御部３３と、修正部３４と、入力部３５と、表示部３６とを備え、画像取得装置１１０としてのネットワーク複合機１またはデジタルカメラ７と通信可能な状態（例えば、ＬＡＮ、ＵＳＢ等）で接続されている。
【００７１】
記憶部３０は、図３におけるハードディスク２１、ＲＡＭ２２等によって実現される。記憶部３０は、文字パターンデータ５２を記憶している。記憶部３０はまた、画像取得装置１１０から送信されてきた画像データ５３、後述する文字判定部３１により出力される文字判定結果データ５４、文字データ処理部３２により出力される文字認識結果データ５５等を記憶する。
【００７２】
文字判定部３１は、図３におけるＣＰＵ２０、プログラム等によって実現される判定部である。文字判定部３１は、記憶部３０に記憶されている画像データ５３に基づいて、部分領域切出処理と、手活判定処理とを行う。部分領域切出処理は、画像データから文字候補領域を認識する処理であって、例えば一行等の文字の塊である部分領域毎に画像データ５３の文字候補領域を分解して、画像データにおける部分領域の位置および範囲を認識する処理である。手活判定処理は、部分領域切出処理によって分解された部分領域に含まれる文字が手書き文字であるか活字であるかを判定し、手書き文字と判定した場合に手書き文字判定結果データとして出力し、活字であると判定した場合に活字判定結果データとして出力する処理である。以下、部分領域切出処理によって分解された部分領域に含まれる文字のようなＯＣＲ処理前の画像として表示される文字のことを「文字画像」と呼ぶ。
【００７３】
なお、文字判定部３１によって出力される手書き文字判定結果データと活字判定結果データとは、文字判定結果データ５４として出力される。つまり、文字判定結果データ５４には、図示しないが、手書き文字の文字画像を含む部分領域に対して文字判定部３１が出力した手書き文字判定結果データと、活字の文字画像を含む部分領域に対して文字判定部３１が出力した活字判定結果データとがある。文字判定部３１は、判定された部分領域に対して手書き文字の属性データまたは活字の属性データを追加し、その結果を文字判定結果データ５４として出力する。なお、ここで出力される文字判定結果データ５４とは、元の画像データ５３に対して、部分領域切出処理によって導出された部分領域の位置および範囲の情報と、手書き文字の属性データまたは活字の属性データとが追加されたデータである。
【００７４】
文字データ処理部３２は、図３におけるＣＰＵ２０、プログラム等によって実現される処理部である。文字データ処理部３２は、記憶部３０に格納されている文字パターンデータ５２と、文字判定部３１により出力された文字判定結果データ５４とに基づいて、文字パターン関連付け処理を行う。文字パターン関連付け処理は、文字判定結果データ５４の各部分領域に含まれる文字画像に対して文字パターンデータ５２を関連付ける処理である。文字パターン関連付け処理では、部分領域毎に処理が行われ、各部分領域に含まれる文字画像に対応する文字列が文字パターンデータから抽出され、文字列データとして各部分領域に含まれる文字画像に関連付けられる。つまり、文字列データは、いわゆるＯＣＲ処理である。文字データ処理部３２は、文字パターン関連付け処理の結果を文字認識結果データ５５として出力する。なお、ここで出力される文字認識結果データ５５とは、文字判定結果データ５４に対して、文字パターン関連付け処理によって関連付けられた文字列データが追加されたデータである。
【００７５】
文字認識結果データ５５は、図５に示されるように、部分領域ＩＤ、部分領域のデータサイズ、部分領域の位置情報、部分領域の属性データ、部分領域の文字数、および、部分領域に関連付けられた文字列データを保持する。なお、「部分領域ＩＤ」とは、Ｓ１０において区別された部分領域を識別するための識別子である。「部分領域ＩＤ」は、位置情報の数値に基づいて所定の演算により算出される値が小さい順に決定される番号である。本実施形態では例えば、位置情報の開始座標の内でＹ座標が小さいものから順番に決定され、Ｙ座標が同じものではＸ座標が小さいものから順番に降順に番号が振られることになる。また、「位置情報」とは、画像データにおいて当該部分領域が表示される位置および範囲を示すデータであり、図４に示すように例えば座標データである。座標データは、開始座標と終了座標とにより囲まれる領域をＸ座標とＹ座標により数値化されて、位置情報として表している。座標データは、例えば具体的には画素単位で導きだされる数値である。また、「文字列データ」とは、部分領域に含まれる文字画像に対して、文字パターンデータに基づいて関連付けられた文字列である。なお、文字認識結果データ５５には、図示しないが、手書き文字について文字パターン関連付け処理を行った手書き文字認識結果データと、活字について文字パターン関連付け処理を行った活字認識結果データとがある。図５に示す文字認識結果データ５５は、手書き文字認識結果データと活字認識結果データとが統合されたものである。
【００７６】
表示制御部３３は、図３におけるＣＰＵ２０、プログラム等によって実現される処理部である。表示制御部３３は、画像データを表示部３６の第１画面領域４０に表示させる。また、表示制御部３３は、文字データ処理部３２により出力された文字認識結果データ５５を表示部３６の第２画面領域４１に表示させる。また、表示制御部３３は、第２画面領域４１においてユーザが入力部３５を操作することにより選択した文字認識結果データ５５に対応する文字列データを表示部３６の第３画面領域４２に表示させる。なお、第１画面領域４０と、第２画面領域４１と、第３画面領域４２とは、表示部３６において表示される画面領域であって、図７に示すように表示部３６の画面内の別々の領域である。
【００７７】
修正部３４は、ユーザが入力部３５を操作することにより送信される入力信号に基づいて、第３画面領域４２に表示された文字列データの修正を受け付けて、文字認識結果データ５５の各部分領域に関連付けられた文字列データの変更を行う。例えば、画像データから抽出された文字候補領域の各部分領域に含まれる文字画像に対して関連付けられた文字列データが、誤認識によって本来意図していた文字とは異なる文字列データとなる場合がある。このような場合に、修正部３４は、ユーザが入力部３５を操作することにより、文字認識結果データ５５を読み込んで、誤って関連付けられた文字パターンを正しい文字パターンに修正することができる。なお、修正された文字認識結果データ５５は、記憶部３０に上書き保存される。
【００７８】
入力部３５は、図３における入力装置２３によって実現される。入力部３５は、上述したように、ユーザに操作されることにより、表示制御部３３または修正部３４に対して入力信号を送信して、文字認識結果データ５５の文字列データを修正することができる。
【００７９】
表示部３６は、図３におけるディスプレイ２４によって実現される。表示部３６は、表示制御部３３を介して文字認識結果データ５５を表示する。すなわち、表示部３６は、入力部３５によって修正される前の文字認識結果データ５５、入力部３５によって修正中である文字認識結果データ５５などを表示することにより、ユーザによる文字列データの修正を支援する。表示部３６はまた、上述したように、文字認識結果データ５５の文字画像と文字列データとを、第１画面領域４０と、第２画面領域４１と、第３画面領域４２とに分けて表示する。
【００８０】
次に、以上のように構成された本実施の形態における画像処理の処理手順について説明する。
【００８１】
図６は、本実施の形態におけるワークフローシステムによる画像データ５３の画像処理における処理手順を示すフローチャートである。
【００８２】
図６に示すように、文字判定部３１は、記憶部３０に記憶されている画像データ５３が文字判定部３１に入力されると画像処理を開始する。文字判定部３１は、入力された画像データ５３のページ毎に部分領域切出処理を行う（Ｓ１０）。
【００８３】
次に、文字判定部３１は、分解した部分領域毎に、部分領域ＩＤと、位置情報とを追加する（Ｓ１１）。
【００８４】
そして、文字判定部３１は、部分領域に含まれる文字画像に対して手活判定処理を行う（Ｓ１２）。
【００８５】
手活判定処理において文字判定部３１により手書き文字であると判定された部分領域には、手書き文字の属性データが追加される（Ｓ１３）。文字判定部３１は、手書き文字の属性データが追加された部分領域を手書き文字判定結果データとして出力する。文字判定部３１により出力された手書き文字判定結果データは、記憶部３０にバッファされる。
【００８６】
そして、文字データ処理部３２は、記憶部３０に格納されている文字パターンデータ５２のうちの手書き文字パターンデータと、文字判定部３１により出力された手書き文字判定結果データとに基づいて、手書き文字パターン関連付け処理を行う（Ｓ１４）。なお、この手書き文字パターン関連付け処理とは、いわゆる、手書き文字の部分領域用のＯＣＲ処理である。文字データ処理部３２により出力された手書き文字認識結果データは、記憶部３０にバッファされる。
【００８７】
一方、手活判定処理において文字判定部３１により活字であると判定された部分領域には、活字の属性データが追加される（Ｓ１５）。文字判定部３１は、活字の属性データが追加された部分領域を活字判定結果データとして出力する。文字判定部３１により出力された活字判定結果データは、記憶部３０にバッファされる。
【００８８】
そして、文字データ処理部３２は、記憶部３０に格納されている文字パターンデータ５２のうちの活字パターンデータと、文字判定部３１により出力された活字判定結果データとに基づいて、活字パターン関連付け処理を行う（Ｓ１６）。なお、この活字パターン関連付け処理とは、いわゆる、活字の部分領域用のＯＣＲ処理である。文字データ処理部３２により出力された活字認識結果データは、記憶部３０にバッファされる。
【００８９】
文字判定部３１は、手書き文字関連付け処理または活字関連付け処理が行われていない未処理の部分領域があるか否かを判定する（Ｓ１７）。未処理の部分領域がある場合には、再度、未処理の部分領域に対して画像処理（Ｓ１１〜Ｓ１６）を行う。
【００９０】
文字データ処理部３２は、未処理の部分領域がない場合に、文字パターン関連付け処理が終了したページの画像データに属する全ての部分領域に対応する手書き文字認識結果データと活字認識結果データとを統合する（Ｓ１８）。
【００９１】
文字データ処理部３２は、文字パターン関連付け処理が終了していないページがあるか否かを確認する（Ｓ１９）。ここで、未処理の画像データのページがある場合には、再度、画像処理（Ｓ１０〜Ｓ１８）を行う。
【００９２】
文字データ処理部３２は、未処理の画像データのページがない場合には画像データの全てのページに対して処理が終了したと判断し、全てのページに対して行った画像処理（Ｓ１０〜Ｓ１８）の結果を文字認識結果データ５５として出力する（Ｓ２０）。出力された文字認識結果データ５５は、記憶部３０に記憶されるこの画像処理を終了する。
【００９３】
記憶部３０に記憶された文字認識結果データ５５は、ユーザが入力部３５を操作することにより修正部３４を動作させると、修正部３４に読み込まれて表示部３６に表示される。修正部３４は、文字認識結果データ５５に基づいて、元の画像データ５３の部分領域に含まれる文字画像と、当該文字画像に関連付けられた文字列データとを別々に表示部３６に表示させる。修正部３４はまた、入力部３５からの入力信号に基づいて各部分領域に関連付けられた文字列データの修正を受け付ける。
【００９４】
以下に、図７に基づいて、具体的な修正部３４の処理によって表示部３６に表示される画面について説明する。
【００９５】
表示部３６に表示される画面は、主に第１画面領域４０と、第２画面領域４１と、第３画面領域４２の３つの画面領域に分けられる。
【００９６】
第１画面領域４０は、メインの画面領域であり、主に元の画像データ５３に基づいた表示を行う画像データ表示領域である。第１画面領域４０には、元の画像データ５３の他に、各部分領域を示す罫線と、各部分領域の部分領域ＩＤとが表示される。すなわち、第１画面領域４０には、文字判定部３１によって分解された部分領域が、可視化された状態で表示されることになる。また、第１画面領域４０では、手書き文字の属性データが追加された部分領域と、活字の属性データが追加された部分領域とにおいて、その表示形態を異なるものとして表示される。本実施の形態では、図７のように、第１画面領域４０において表示される手書き属性の文字候補領域を赤色（図７ではグレー表示）で、第１画面領域４０において表示される活字属性の文字候補領域を黒色で表示する。
【００９７】
第２画面領域４１は、第１画面領域４０の右側において縦長に表示（サイド表示）される画面領域であり、文字認識結果データ５５の文字列データが表示される。第２画面領域４１には、第１画面領域４０に表示されるページの画像データに含まれる各部分領域に対して関連付けられた文字列データが当該部分領域の部分領域ＩＤと共に表示される。
【００９８】
また、第２画面領域４１においては、第１画面領域４０に表示されるページの画像データに含まれる全ての部分領域に関連付けられている文字列データが表示され、これらの文字列データは部分領域の属性データごとに表示される。例えば、図６においては、プルダウンリスト４３において「文字列全て」と、「手書きのみ」と、「活字のみ」とを選択可能である。ユーザが、「文字列全て」をプルダウンリスト４３から選択する場合に、複数の文字列データのうちで手書き文字または活字のいずれかの属性データをもつ文字列データが表示されることになり、第２画面領域４１において全ての文字パターンが表示される。また、ユーザが、「手書きのみ」をプルダウンリスト４３から選択する場合に、複数の文字列データのうちで手書き文字の属性データを有する文字列データのみが第２画面領域４１において表示される。また、ユーザが、「活字のみ」をプルダウンリスト４３から選択する場合に、複数の文字列データのうちで活字の属性データを有する文字列データのみが第２画面領域４１において表示される。
【００９９】
また、第２画面領域４１においては、表示される文字列データの左側にチェックボックス４４が表示される。ユーザは、このチェックボックス４４には、ポインティングデバイス等の入力装置２３によって選択することによりチェックマークを入力することができるようになっている。そして、チェックボックス４４にチェックマークが入力された文字列データに対応する部分領域は、第１画面領域４０における表示に取り消し線が表示される。具体的には、図７のように、第２画面領域４１の「２：追加！！」のチェックボックス４４にチェックマークを入力する場合に、対応する第１画面領域４０の「２：追加！！」の表示部分に取り消し線が表示される事になる。
【０１００】
また、第２画面領域４１においては、表示される複数の文字列データの文字部分を入力部３５（具体的にはマウスなどのポインティングデバイス）により選択する場合に図７に示すように白黒が反転表示される。このように反転表示されることにより選択された文字列データに対応する文字列データが第３画面領域４２に修正可能な状態で表示される。具体的には、図７に示すように、第２画面領域４１の「６：この部分の・・・」を選択して反転表示させると、該当する文字列データが修正可能な状態で第３画面領域４２に表示される。さらに、第１画面領域４０において、第２画面領域４１において選択して反転表示させた文字列データに対応する「６：この部分の図、」で表示される部分領域を示す罫線の枠が太枠で表示されることになる。
【０１０１】
第３画面領域４２は、上述したように、第２画面領域４１において入力部３５（具体的にはマウスなどのポインティングデバイス）により選択されて反転表示された文字列データが表示される。そして、第３画面領域４２においては、入力部３５（具体的にはキーボードなどの文字入力装置）によって第２画面領域４１において選択された文字列データの修正を受け付ける。すなわち、実際の部分領域に含まれる文字画像と、関連付けられた文字列データとが誤認識により異なる結果となった場合に、ユーザは、第３画面領域４２において誤りを含む文字列データを正しい文字列データに修正することができる。
【０１０２】
図８は、ユーザが文字認識結果データを修正する際の修正作業の作業手順の一例を示すフローチャートである。
【０１０３】
まず、ユーザが端末装置３、４によって文字認識結果データ５５を読み込むと、図７に示すような画像がディスプレイに表示される（Ｓ３０）。
【０１０４】
ユーザは、入力部３５を操作することにより、プルダウンリスト４３から「手書きのみ」を選択して、第２画面領域４１において手書き文字の属性データが追加された文字列データのみを表示させる（Ｓ３１）。
【０１０５】
ユーザは、入力部３５を操作することにより、読み込まれた文字認識結果データ５５から第２画面領域４１に抽出された複数の文字列データの一つを選択して、反転表示させる（Ｓ３２）。
【０１０６】
そして、第２画面領域４１において選択されて反転表示となった文字列データは、修正部３４により、ユーザの入力部３５の操作による修正を受け付ける状態で第３画面領域４２に表示される。それと共に、第１画面領域４０において、第２画面領域４１において選択されて反転表示となった文字列データに対応する部分領域の罫線の枠が太枠で表示される（Ｓ３３）。
【０１０７】
ユーザは、第１画面領域４０において罫線の枠が太枠で表示される部分領域に表示される文字画像を視認しながら、当該部分領域に関連付けられた文字列データが正しいか否かを第３画面領域４２に表示される文字列データと当該文字画像とを比較することにより判定する（Ｓ３４）。
【０１０８】
ユーザは、当該部分領域に関連付けられた文字列データが正しいと判定する場合に、第３画面領域４２において修正入力を行わずにチェックボックス４４にチェックマークを入力する（Ｓ３５）。
【０１０９】
ユーザは、当該部分領域に関連付けられた文字列データが誤っていると判定する場合に、第３画面領域４２において修正入力を行って正しい文字列データに修正した上でチェックボックス４４にチェックマークを入力する（Ｓ３６）。
【０１１０】
ユーザは、第２画面領域４１において表示される文字列データに対応するチェックボックス４４の全てにチェックマークが入力されているか否かを判定する（Ｓ３７）。ここで、ユーザは、全てにチェックマークが入力されていない場合に、チェックマークが未入力のチェックボックス４４に対応する文字列データの修正作業（Ｓ３１〜Ｓ３６）を繰り返す。
【０１１１】
ユーザは、全てのチェックボックス４４にチェックマークが入力されている場合に、当該ページの修正作業が終了したと判断して、全てのページにおいて修正作業が行われたか否かを確認する（Ｓ３８）。ユーザは、未修正のページがある場合には、未修正のページに対して修正作業（Ｓ３１〜Ｓ３７）を繰り返す。
【０１１２】
ユーザは、全てのページに対して修正作業が行われていれば修正作業を終了する。
【０１１３】
本実施の形態における画像処理装置１００は、上記の画像処理として統合処理をさらに行う。統合処理は、同一の書類に対して複数の修正者が手書きで修正した場合に読み込まれた複数の画像データに対して行われるものであって、書類の活字部分が共通する場合に、ＯＣＲ処理結果を統合する処理である。
【０１１４】
図９は、本実施の形態における画像処理装置１００の統合処理に係る機能構成を示すブロック図である。つまり、図２および図３に示されるハードウェア構成によって発揮されるネットワーク複合機１および端末装置３、４の機能のうち、画像処理装置１００の統合処理に関わる機能の構成を示すブロック図である。
【０１１５】
画像処理装置１００は、機能的には、記憶部３０と、文字判定部３１と、文字データ処理部３２と、表示制御部３３と、修正部３４と、入力部３５と、表示部３６と、活字一致判定部３７と、データ統合部３８とを備える。以下、画像処理に係る機能構成の説明と異なる処理部である活字一致判定部３７およびデータ統合部３８のみについて説明する。
【０１１６】
活字一致判定部３７は、図３におけるＣＰＵ、プログラム等によって実現される判定部である。活字一致判定部３７は、第１活字認識結果データと第２活字認識結果データとが所定の割合（例えば９０％）以上で一致するか否かを判定する。第１活字判定結果データとは、第１画像データに基づいて文字判定部３１により判定された第１活字判定結果データと文字パターンとが文字データ処理部３２により関連付けられたデータである。第２活字認識結果データとは、第２画像データに基づいて文字判定部３１により判定された第２活字判定結果と文字パターンとが文字データ処理部３２により関連付けられたデータである。具体的には、活字一致判定部３７は、新たに記憶された文字認識結果データ５５（以下、新文字認識結果データ５６）の活字認識結果データ（以下、新活字認識結果データとする）に基づいて、既に記憶部３０に記憶されている複数の文字認識結果データ５５（以下、文字認識結果データ群５７とする）に含まれる全ての活字認識結果データを照合する。すなわち、新活字認識結果データは、上述の第１活字認識結果データに該当する。そして、活字一致判定部３７は、文字認識結果データ群５７の中から、新活字認識結果データと一致する活字認識結果データを含む文字認識結果データ５５があるか否かを判定する活字一致判定処理を行う。すなわち、文字認識結果データ群５７のそれぞれの活字認識結果データが上述の第２活字認識結果データに該当する。
【０１１７】
なお、活字一致判定処理では、活字認識結果データ同士が所定の割合以上で一致する場合に、一致すると判定する。例えば、活字一致判定処理では、活字の属性データを有する各部分領域の位置情報が一致することと、当該各部分領域に関連付けられた文字列データが一致することの少なくとも２つの要素で判定される。これにより、２つの文字認識結果データの活字認識結果データが一致すると判定される。
【０１１８】
そして、活字一致判定部３７は、活字一致判定処理において一致すると判定された文字認識結果データ５５（以下、被一致文字認識結果データ５８とする）と新文字認識結果データ５６とを関連付けるための一致データテーブル５９を出力する。なお、この場合に、被一致文字認識結果データ５８が複数ある場合には、全ての被一致文字認識結果データ５８と新文字認識結果データ５６とが関連付けられるための一致データテーブル５９が出力される。
【０１１９】
データ統合部３８は、図３におけるＣＰＵ２０、プログラム等によって実現される処理部である。データ統合部３８は、第１活字認識結果と第２活字認識結果とが所定の割合以上で一致すると活字一致判定部が判定した場合に、第１手書き文字認識結果データと第２手書き文字認識結果データとを統合させて統合手書き文字認識結果データとして出力する。第１手書き文字認識結果データは、第１画像データに基づいて文字判定部３１により判定された第１手書き文字と文字パターンとが文字データ処理部３２により関連付けられたデータである。第２手書き文字認識結果データは、第２画像データに基づいて文字判定部３１により判定された第２手書き文字と文字パターンとが文字データ処理部３２により関連付けられたデータである。具体的には、データ統合部３８は、記憶部３０に格納されている一致データテーブル５９に基づいて、活字一致判定部が一致すると判定した新文字認識結果データ５６と被一致文字認識結果データ５８とを記憶部３０から抽出する。そして、データ統合部３８は、抽出した新文字認識結果データ５６に含まれる手書き文字認識結果データと、被一致文字認識結果データ５８に含まれる手書き文字認識結果データとを統合して、統合した結果を統合文字認識結果データ６０として出力する。ここで、新文字認識結果データ５６に含まれる手書き文字認識結果データは、上述の第１手書き文字認識結果データに該当する。また、被一致文字認識結果データ５８に含まれる手書き文字認識結果データは、上述の第２手書き文字認識結果に該当する。統合文字認識結果データ６０は、基本的には図５に示す文字認識結果データ５５と同じであるが、部分領域の属性データが異なる。統合文字認識結果データ６０の部分領域の属性データでは、統合前の手書き文字認識結果データ別に部分領域の属性データが分類される。これについては、例えば第１の文字認識結果データ５５と第２の文字認識結果データ５５とが統合される場合で説明する。第１の文字認識結果データ５５に属する第１手書き文字認識結果データに対応する部分領域の属性データは「第１手書き文字」に分類され、第２の文字認識結果データ５５に属する第２手書き文字認識結果データに対応する部分領域の属性データは「第２手書き文字」に分類される。このように、統合文字認識結果データ６０では、元の文字認識結果データ５５毎に手書き文字認識結果データの部分領域の属性データが分類される。
【０１２０】
なお、記憶部３０は、画像処理に係る機能構成において説明したものと同様であり、さらに、活字一致判定部３７により出力される一致データテーブル５９と、データ統合部３８により出力される統合文字認識結果データ６０とを記憶する。
【０１２１】
また、表示制御部３３は、画像処理に係る機能構成において説明したものと同様であり、統合文字認識結果データ６０の部分領域に含まれる文字画像と、当該文字画像に関連付けられた文字列データとを別々に表示部３６に表示される。
【０１２２】
修正部３４はユーザが入力部３５を操作することにより送信される入力信号に基づいて、第３画面領域４２に表示された文字列データの修正を受け付けて、統合文字認識結果データ６０の各部分領域に関連付けられた文字列データの変更を行う。
【０１２３】
次に、以上のように構成された本実施の形態における統合処理の処理手順について説明する。
【０１２４】
図１０は、本実施の形態におけるワークフローシステムにおける文字認識結果データ５５の統合処理における処理手順を示すフローチャートである。
【０１２５】
図１０に示すように、統合処理は、文字データ処理部３２が新文字認識結果データ５６を出力した時（画像処理終了時）に開始される。
【０１２６】
活字一致判定部３７は、新文字認識結果データ５６が入力されると、記憶部３０に文字認識結果データ群５７が記憶されているか否かを確認する（Ｓ４０）。
【０１２７】
活字一致判定部３７は、文字認識結果データ群５７がある場合に、記憶部３０から新文字認識結果データ５６と文字認識結果データ群５７とを読み込んで、活字一致判定処理を行う（Ｓ４１）。
【０１２８】
活字一致判定部３７は一方で、記憶部３０に文字認識結果データ群５７が記憶されていない場合に、読み込んだ新文字認識結果データ５６を文字認識結果データ群５７とするための情報を追加する。当該情報を追加された文字認識結果データ５５は、文字認識結果データ群５７として記憶部３０に格納される（Ｓ４２）。そして、この統合処理を終了する。
【０１２９】
活字一致判定部３７は、活字一致判定処理（Ｓ４１）において新活字認識結果データと一致する活字認識結果データがあると判定した場合に、被一致文字認識結果データ５８と新文字認識結果データ５６とを関連付ける（Ｓ４３）。活字一致判定部３７は、当該関連付け処理の結果を一致データテーブル５９として出力する。活字一致判定部３７により出力された一致データテーブル５９は、記憶部３０にバッファされる。なお、当該関連付け処理が行われた新文字認識結果データ５６には、文字認識結果データ群５７とするための情報が追加され、当該情報が追加された文字認識結果データ５５は文字認識結果データ群５７として記憶部３０に格納される。
【０１３０】
一方、活字一致判定部３７は、活字一致判定処理（Ｓ４１）において新活字認識結果データと一致する活字認識結果データがないと判定した場合に、読み込んだ新文字認識結果データ５６を文字認識結果データ群５７とするための情報を追加する。当該情報を追加された文字認識結果データ５５は、文字認識結果データ群５７として記憶部３０に格納される（Ｓ４４）。そして、この統合処理を終了する。
【０１３１】
そして、データ統合部３８は、活字一致判定部３７により出力された一致データテーブル５９に基づいて、関連付け処理が行われた複数の文字認識結果データ５５を記憶部３０から抽出する。データ統合部３８は、抽出した複数の文字認識結果データ５５（すなわち、新文字認識結果データ５６および被一致文字認識結果データ５８）の各手書き文字認識結果データを統合して、統合した結果を統合文字認識結果データ６０として出力する（Ｓ４５）。データ統合部３８に出力された統合文字認識結果データ６０は、記憶部に格納されて、統合処理は終了する。
【０１３２】
表示制御部３３は、統合文字認識結果データ６０を表示部３６に表示させる場合に、次のように表示部３６を制御する。統合文字認識結果データ６０は、部分領域の属性データが、文字認識結果データ５５では「手書き文字」と「活字」との２種類であったのが、「第１手書き文字」、「第２手書き文字」、「活字」の３種類もしくはそれを超える。部分領域の属性データが３種類を超える場合には、活字データが同一と判断される書類の数に応じて異なり、当該書類の数と手書き文字の属性の数とが一致するように増加する。例えば活字データが同一と判断される書類の数が３つであれば、部分領域の属性データは、「第１手書き文字」、「第２手書き文字」、「第３手書き文字」、「活字」の４種類となる。
【０１３３】
部分領域の属性データが３種類となる場合には、文字認識結果データのプルダウンリスト４３の表示は、統合文字認識結果データ６０では、「文字列全て」、「手書きのみ」、「手書き１のみ」、「手書き２のみ」、「活字のみ」となる。ここで、「手書きのみ」が選択された場合に、部分領域の属性データが第１手書き文字または第２手書き文字にかかわらず、全ての手書き文字が第２画面領域４１において表示される。「手書き１のみ」が選択された場合に、部分領域の属性データが第１手書き文字のみの文字列データが第２画面領域４１において表示される。「手書き２のみ」が選択された場合に、部分領域の属性データが第２手書き文字のみの文字列データが第２画面領域４１において表示される。
【０１３４】
さらに、第１画面領域４０において表示される文字の色についても、第１手書き文字は赤色、第２手書き文字は青色、活字は黒色に表示される。また、第２画面領域において表示される文字の色についても同様である。ただし、これに限定するものではなく、第１手書き文字、第２手書き文字に関わらず手書き文字全般が赤色で表示されるようにしても良い。
【０１３５】
以上のように本実施形態の画像処理装置１００によれば、文書を光学的に読み取って得られた画像データ５３から認識された手書き文字認識結果データを抽出して、手書き文字認識結果データの文字列データを元の画像データ５３が表示される第１画面領域４０とは異なる第２画面領域４１に表示させる。そして、修正部３４ユーザからの修正の指示に基づいて、第３画面領域４２に表示される文字データ処理部３２により関連付けられた文字列データの変更を行う。
【０１３６】
このため、ユーザが、手書き文字認識結果データと、元の画像データ５３の中の手書き文字の属性データを有する文字画像とを見比べて修正することができる。また、誤認識が発生しやすい手書き文字認識結果データのみを抽出して第２画面領域４１に表示させるため、手書き文字のＯＣＲ処理結果の確認漏れまたは修正漏れを防ぐことができる。これにより、ユーザは、ＯＣＲ処理結果を修正する際に、効率よく作業することができる。
【０１３７】
また、本実施形態に係る画像処理装置１００によれば、活字の文字候補領域に対してもＯＣＲ処理を行なっている。このため、表示制御部３３は、活字を抽出して手書き文字と選択可能な状態で表示させることができる。また、修正部３４は、ユーザからの修正の指示に基づいて、活字のＯＣＲ処理結果に対しても、修正を受け付けて、文字列データの変更を行う。このため、ユーザは、活字に対してもＯＣＲ処理結果を修正することができる。
【０１３８】
また、本実施形態に係る画像処理装置１００によれば、複数の画像データ５３に対する活字認識結果データが所定の割合以上で一致する場合に、複数の画像データ５３が同一の書類に対して修正が行われたものであるとみなす。そして、当該複数の画像データ５３に係る複数の手書き文字認識結果データを統合する。統合された統合手書き文字認識結果は、第２画面領域４１に表示される。
【０１３９】
これにより、修正者が複数いるような場合であっても、ユーザは、第２画面領域４１に表示される手書き文字認識結果データと第１画面領域４０において表示される元の画像データ５３の中の部分領域に含まれる文字画像とを見比べて修正することができる。また、誤認識が発生しやすい手書き文字のみを抽出して第２画面領域４１に表示させるため、誤認識されたＯＣＲ処理結果の確認漏れまたは修正漏れを防ぐことができる。これにより、ユーザは、ＯＣＲ処理結果を修正する際に効率よく作業することができる。また、複数の修正者による手書きの書き込みを統合して表示させることができるため、１つの原稿に対する作業効率を向上させることができる。
【０１４０】
また、本実施形態に係る画像処理装置１００によれば、第２画面領域４１に表示された手書き文字認識結果データの文字列データ（すなわち手書き文字のＯＣＲ処理結果）を修正可能なフィールドをさらに別の第３画面領域４２に表示させる。これにより、ユーザは、元の画像データ５３による手書き文字を参照しながら、手書き文字のＯＣＲ処理結果の確認または修正を行うことができる。
【０１４１】
また、本実施形態に係る画像処理装置１００によれば、第１画面領域４０において、第１手書き文字認識結果データに対応する文字画像が赤色で表示され、第２手書き文字認識結果データに対応する文字画像が青色で表示される。このことは、第２画面領域４１において表示される文字の色についても同様である。
【０１４２】
このため、複数の修正者が、例えば文章の内容の修正、誤字脱字の修正等の役割毎に分けられている場合に、役割毎の手書き文字による修正をユーザは把握できる。これにより、例えばユーザが手書き文字のＯＣＲ処理結果の修正を行う時間が限られるなどの制限がある場合に、優先度の高い役割と認識された手書き文字による修正を選んで手書き文字のＯＣＲ処理結果の修正を行うことができる。
【０１４３】
また、本実施形態に係る画像処理装置１００によれば、文字判定部３１は、各部分領域の表示位置および表示範囲を文字判定結果データ５４として出力する。このため、ユーザが、例えば第２画面領域４１において抽出された文字列データを選択したときに、選択された文字列データに対応する部分領域の表示を変更できる。
【０１４４】
また、本実施形態に係る画像処理装置１００によれば、第１画面領域４０において、表示される活字の属性データを有する部分領域の文字画像が黒色で表示され、手書き文字の属性データを有する部分領域の文字画像が赤色で表示される。このため、ユーザは、第１画面領域４０において、画像データ５３における活字の文字画像と手書きの文字画像とを瞬時に見分けることができる。
【０１４５】
また、本実施形態に係る画像処理装置１００によれば、ユーザが、第２画面領域４１に表示される文字列データに対応するチェックボックスにチェックを入れると、チェックされた文字列データに対応する部分領域の文字画像の上に取り消し線が表示される。
【０１４６】
このため、ユーザは、例えばＯＣＲ処理結果の確認または修正が終了した文字列データに対応するチェックボックスにチェックを入れることにより、当該文字列データに対応する部分領域の文字画像の表示を変更することができる。これにより、ユーザは、ＯＣＲ処理結果の確認または修正が終了した文字列データに対応する部分領域の文字画像を瞬時に見分けることができ、誤認識されたＯＣＲ処理結果の確認漏れまたは修正漏れを防ぐことができる。これにより、ユーザは、ＯＣＲ処理結果を修正する際に効率よく作業することができる。
【０１４７】
また、本実施形態に係る画像処理装置１００によれば、ユーザが、第２画面領域４１に表示される文字列データをマウスなどのポインティングデバイスでクリックして反転表示させると、反転表示された文字列データに対応する部分領域の文字画像が反転表示される。
【０１４８】
このため、ユーザは、上述のような選択を第２画面領域４１の文字列データに対して行うことにより、当該選択された文字列データに対応する部分領域の文字画像を第１画面領域４０において瞬時に見分けることができる。これにより、ユーザは、ＯＣＲ処理結果を修正する際に効率よく作業することができる。
【０１４９】
また、本発明は、このような画像処理装置として実現できるだけでなく、画像処理装置が備える特徴的な処理部のそれぞれの動作をステップとして方法として実現することもでき、また、本発明は、各処理部の処理を行う集積回路として実現することもできる。さらに、本発明は、コンピュータに上記各ステップを実行させるためのプログラムとして実現することもできる。そのようなプログラムは、ＣＤ−ＲＯＭ等の記録媒体またはインターネット等の伝送媒体を介して配信することもできる。また、本発明は、このような画像処理装置を内蔵するネットワーク複合機として実現することもできる。
【０１５０】
以上、本発明に係る画像処理装置について、実施の形態に基づいて説明したが、本発明は、この実施の形態に限定されるものではない。
【０１５１】
つまり、今回開示された実施の形態はすべての点で例示であって制限的なものではないと考えられるべきである。本発明の範囲は上記した説明ではなくて特許請求の範囲によって示され、特許請求の範囲と均等の意味および範囲内でのすべての変更が含まれることが意図される。
【０１５２】
例えば、上記実施の形態では、第１画面領域において表示される手書き文字の属性データに対応する部分領域の色が赤色で表示され、第１画面領域において表示される活字の属性データに対応する部分領域の色が黒色で表示される。このように、手書き文字の属性データに対応する部分領域と活字の属性データに対応する部分領域との表示形態を異なるものとしているが、これに限らない。例えば、手書き文字の属性データに対応する部分領域を囲う罫線の枠が太線の実線で表示され、活字の属性データに対応する部分領域を囲う罫線の枠が点線で表示されるように、文字候補領域を囲う罫線の枠の表示形態を異なるものとしても良い。また、例えば、手書き文字の属性データに対応する部分領域の文字が斜体表示され、活字の属性データに対応する部分領域の文字が元の画像データ５３のままで表示されように、文字のフォントを異なるものとしても良い。
【０１５３】
また、上記実施の形態では、画像処理装置１００には画像取得部３９が含まれていないが、これに限らずに図１１に示すように、画像取得部３９が含まれる構成の画像処理装置２００であっても良い。この画像処理装置２００によれば、画像取得部３９をさらに備えるため、スキャナまたはデジタルカメラなどの画像取得装置を別に用意しなくとも、上述の画像処理を行うことができる。
【０１５４】
また、本実施の形態では、文字判定部３１が文字候補領域の切出処理と手活判定処理とを行っており、文字データ処理部３２が文字パターン関連付け処理を行っているが、これに限らない。文字候補領域の切出処理と、手活判定処理と、文字パターン関連付け処理とは、これらの３つの処理を３つの異なる処理部が単独により行っても良いし、１つの処理部が一括して行っても良いし、３つの処理のうちの２つの処理を１つの処理部が行い残りの１つの処理を別の１つの処理部が行っても良い。
【０１５５】
また、上記実施の形態では、画像処理装置１００として端末装置３、４を構成するハードウェアが機能しているが、これに限らずに、ネットワーク複合機１が画像処理装置１００として機能しても良い。なお、この場合に、記憶部３０は、図２におけるＲＡＭ１２等によって実現される。文字判定部３１、文字データ処理部３２、表示制御部３３、および修正部３４は、図２におけるＣＰＵ１０、制御プログラム５０等によって実現される。入力部３５は、図２における操作パネル１５によって実現される。表示部３６は、図２におけるディスプレイ１６によって実現される。また、ネットワーク複合機１が文字認識結果データ５５を作成するまでの処理を行い、その後の修正部３４による処理を端末装置３、４が行うようにしても良い。
【０１５６】
また、上記実施の形態では、ユーザのワークフロー処理のステップＳ２１において、ユーザはプルダウンリスト４３から「手書きのみ」を選択しているが、これに限らずに、ユーザの必要に応じて「文字列全て」を選択しても良いし、「活字のみ」を選択しても良い。
【０１５７】
また、上記実施の形態では、統合処理において新文字認識結果データ５６が生じると自動的に統合処理が行われているが、これに限らずに、ユーザが選択した複数の文字認識結果データ５５に関してのみ統合処理を行うようにしても良い。また、統合処理を行うデータとしては、文字認識結果データに限らずに画像データであっても良く、この場合には、ユーザは画像データを複数選択し画像処理（Ｓ１０〜Ｓ２０）の結果として出力される文字認識結果データが利用されることになる。
【０１５８】
これにより、この場合の画像処理装置は、活字一致判定部３７が選択された文字認識結果データ５５のみに対して活字一致判定処理を行うこととなる。このため、この場合の画像処理装置は、既に記憶部３０に記憶されている全ての文字認識結果データ５５に対して活字一致判定処理を行わなくとも良くなり、システムに係る負荷を軽減させることができる。
【０１５９】
また、上記実施の形態では、各処理部において作成されるデータは、記憶部３０（すなわちハードディスク）に記憶されるようにしているが、これに限らずに、例えば記憶部３０にバッファされるものについてはＲＡＭ２２に記憶されるようにしても良い。
【０１６０】
また、上記実施の形態では、修正部３４は、ユーザがプルダウンリスト４３から属性データの区分を選択することにより、選択的に手書き文字または活字のいずれかの属性データを有する部分領域の文字列データを表示部３６に表示させている。しかし、これに限らず、プルダウンリスト４３が無くとも良く、自動的に手書き文字の属性データを有する部分領域の文字列データを表示させても良い。このように、少なくとも手書き文字の属性データを有する部分領域の文字列データを表示させることにより、ＯＣＲ処理の認識精度が低い手書き文字のＯＣＲ処理結果を修正できるため、十分に誤認識されたＯＣＲ処理結果の確認漏れまたは修正漏れを防ぐ効果を得ることができる。
【０１６１】
また、上記実施の形態では、表示制御部３３は、部分領域の文字列データを抽出して第２画面領域４１に表示させているが、第２画面領域４１に表示させるのは文字列データに限らない。例えば、文字判定部３１が部分領域切出処理を行うことにより画像データ５３から分解された部分領域の文字画像を表示させても良い。すなわち、文字判定部３１によって処理された文字判定結果データ５４に基づいて、第２画面領域４１に手書き文字の部分領域に関する文字情報（文字画像）を抽出して表示すれば良く、上記実施の形態のように文字判定結果データ５４がさらに文字データ処理部３２によって処理された文字認識結果データ５５に基づいて、第２画面領域４１に手書き文字の部分領域に関する文字情報（すなわち、文字画像）が抽出されて表示されてもよいし、文字列データが抽出されて表示されても良い。
【０１６２】
また、上記実施の形態では、修正部３４は、ユーザからの修正の指示に基づいて、第３画面領域４２において部分領域の文字列データの修正を受け付けて、文字列データの変更を行っているが、この表示を行う画面領域は第３画面領域４２に限らない。例えば、ユーザからの文字列データの修正状況を表示する画面領域は、第１画面領域４０であってもよいし第２画面領域４１であっても良い。
【産業上の利用可能性】
【０１６３】
本発明は、誤認識されたＯＣＲ処理結果の確認漏れまたは修正漏れを防ぐことができる画像処理装置または当該画像処理装置を内蔵したネットワーク複合機等として利用することができる。
【符号の説明】
【０１６４】
１、２ ネットワーク複合機
３、４ 端末装置
５ ＰＳＴＮ
６ ＬＡＮ
７ デジタルカメラ
１０ ＣＰＵ
１１ ＲＯＭ
１２ ＲＡＭ
１３ モデム
１４ ＮＣＵ
１５ 操作パネル
１６ ディスプレイ
１７ スキャナ
１８ プリンタ
１９ ＬＡＮＩ／Ｆ
２０ ＣＰＵ
２１ ハードディスク
２２ ＲＡＭ
２３ 入力装置
２４ ディスプレイ
２５ ＬＡＮＩ／Ｆ
２６ ＵＳＢＩ／Ｆ
３０ 記憶部
３１ 文字判定部
３２ 文字データ処理部
３３ 表示制御部
３４ 修正部
３５ 入力部
３６ 表示部
３７ 活字一致判定部
３８ データ統合部
３９ 画像取得部
４０ 第１画面領域
４１ 第２画面領域
４２ 第３画面領域
４３ プルダウンリスト
４４ チェックボックス
５０ 制御プログラム
５１ 画像処理プログラム
５２ 文字パターンデータ
５３ 画像データ
５４ 文字判定結果データ
５５ 文字認識結果データ
５６ 新文字認識結果データ
５７ 文字認識結果データ群
５８ 被一致文字認識結果データ
５９ 一致データテーブル
６０ 統合文字認識結果データ
１００ 画像処理装置
１１０ 画像取得装置
２００ 画像処理装置
【特許請求の範囲】
【請求項１】
文書を光学的に読み取って得られる画像データに対して処理を行う画像処理装置であって、
表示部と、
前記画像データから文字候補領域を認識して、前記文字候補領域に含まれる文字が手書き文字であるか否かを判定して、手書き文字と判定した場合に当該判定の結果を手書き文字判定結果として出力する文字判定部と、
前記文字判定部により手書き文字であると判定された文字を文字認識の候補となる文字パターンと関連付けて、当該関連付けた結果を手書き文字認識結果として出力する文字データ処理部と、
前記画像データを前記表示部の第１画面領域に表示させ、前記文字判定部により出力された手書き文字判定結果を前記第１画面領域とは異なる前記表示部の第２画面領域に表示させ、前記第２画面領域においてユーザに選択された前記手書き文字判定結果に対応する前記手書き文字認識結果のうちで前記文字データ処理部により関連付けられた文字パターンを前記表示部の第３画面領域に表示させる表示制御部と、
ユーザからの修正の指示に基づいて、前記第３画面領域に表示された前記文字パターンの修正を受け付けて、前記手書き文字認識結果のうちで前記文字データ処理部により関連付けられた文字パターンの変更を行う修正部と
を備える画像処理装置。
【請求項２】
前記文字判定部は、さらに、前記文字候補領域に含まれる文字が、活字であるか否かを判定して、活字であると判定した場合に当該判定の結果を活字判定結果として出力し、
前記文字データ処理部は、さらに、前記文字判定部により判定された活字を前記文字パターンと関連付けて、当該関連付けた結果を活字認識結果として出力し、
前記表示制御部は、さらに、前記文字判定部により出力された活字判定結果を前記第２画面領域に表示させ、前記活字認識結果のうちで前記文字データ処理部により関連付けられた文字パターンを前記第３画面領域に表示させる
請求項１に記載の画像処理装置。
【請求項３】
さらに、
第１画像データに基づいて前記文字判定部により判定された第１活字判定結果と前記文字パターンとが前記文字データ処理部により関連付けられた第１活字認識結果と、第２画像データに基づいて前記文字判定部により判定された第２活字判定結果と前記文字パターンとが前記文字データ処理部により関連付けられた第２活字認識結果とが、所定の割合以上で一致するか否かを判定する活字一致判定部と、
前記第１活字認識結果と前記第２活字認識結果とが前記所定の割合以上で一致すると前記活字一致判定部が判定した場合に、前記第１画像データに基づいて前記文字判定部により判定された第１手書き文字と前記文字パターンとが前記文字データ処理部により関連付けられた第１手書き文字認識結果と、第２画像データに基づいて前記文字判定部により判定された第２手書き文字と前記文字パターンとが前記文字データ処理部により関連付けられた第２手書き文字認識結果とを統合させて統合手書き文字認識結果として出力するデータ統合部と
を備え、
前記表示制御部は、前記統合手書き文字認識結果を前記第２画面領域に表示させ、前記第２画面領域においてユーザに選択された前記統合手書き文字認識結果のうちで前記文字データ処理部により関連付けられた文字パターンを前記第３画面領域に表示させ、
前記修正部は、ユーザからの修正指示に基づいて、前記第１手書き文字認識結果のうちで前記文字データ処理部により関連付けられた第１文字パターンの修正を受け付けて、前記統合手書き文字認識結果のうちで前記文字データ処理部により関連付けられた前記第１文字パターンの変更を行う、または、前記第２手書き文字認識結果のうちで前記文字データ処理部により関連付けられた第２文字パターンの修正を受け付けて、前記統合手書き文字認識結果のうちで前記文字データ処理部により関連付けられた前記第２文字パターンの変更を行う
請求項２に記載の画像処理装置。
【請求項４】
前記第３画面領域は、前記第１画面領域および前記第２画面領域とは異なる画面領域である
請求項１から３のいずれか１項に記載の画像処理装置。
【請求項５】
前記表示制御部は、前記第１手書き文字認識結果を第１表示形態により前記第２画面領域に表示させ、前記第２手書き文字認識結果を前記第１表示形態とは異なる第２表示形態により前記第２画面領域に表示させる
請求項４に記載の画像処理装置。
【請求項６】
前記文字判定部は、前記手書き文字判定結果としてさらに、手書き文字が含まれると判定された文字候補領域の表示位置および表示範囲を出力する
請求項１から５のいずれか１項に記載の画像処理装置。
【請求項７】
前記文字判定部は、さらに、前記文字候補領域に含まれる文字が、活字であるか否かを判定して、活字であると判定した場合に当該判定の結果を前記画像データにおける活字の表示位置および活字の表示範囲とともに活字判定結果として出力し、
前記表示制御部は、前記手書き文字判定結果および前記活字判定結果に基づいて、前記文字判定部により活字が含まれると判定された文字候補領域を第３表示形態により前記第１画面領域に表示させ、前記文字判定部により手書き文字が含まれると判定された文字候補領域を前記第３表示形態とは異なる第４表示形態により前記第１画面領域に表示させる
請求項６に記載の画像処理装置。
【請求項８】
前記表示制御部は、前記第２画面領域に表示される手書き文字判定結果に対して第１の選択をユーザが行った場合に、前記第１の選択の対象となった手書き文字判定結果に対応する文字候補領域を第５表示形態により前記第１画面領域に表示させる
請求項６または７に記載の画像処理装置。
【請求項９】
前記表示制御部は、さらに、前記第２画面領域に表示される手書き文字判定結果に対して第２の選択をユーザが行った場合に、部前記第２の選択の対象となった手書き文字判定結果に対応する文字候補領域を前記第５表示形態とは異なる第６表示形態により前記第１画面領域に表示させる
請求項８に記載の画像処理装置。
【請求項１０】
さらに、
文書から光学的に前記画像データを取得する画像取得部を備える
請求項１から９のいずれか１項に記載の画像処理装置。
【請求項１１】
さらに、
前記文字パターンを記憶している記憶部を備える
請求項１から１０のいずれか１項に記載の画像処理装置。
【請求項１２】
文書を光学的に読み取って得られる画像データに対して処理を行う画像処理方法であって、
前記画像データから文字候補領域を認識して、前記文字候補領域に含まれる文字が手書き文字であるか否かを判定して、手書き文字と判定した場合に当該判定の結果を手書き文字判定結果として出力する文字判定ステップと、
前記文字判定ステップにより判定された手書き文字を文字認識の候補となる文字パターンと関連付けて、当該関連付けた結果を手書き文字認識結果として出力する文字データ処理ステップと、
前記画像データを表示部の第１画面領域に表示させ、前記文字判定ステップにより出力された手書き文字判定結果を前記第１画面領域とは異なる前記表示部の第２画面領域に表示させ、前記第２画面領域においてユーザに選択された前記手書き文字判定結果に対応する前記手書き文字認識結果のうちで前記文字データ処理部により関連付けられた文字パターンを前記表示部の第３画面領域に表示させる表示制御ステップと、
ユーザからの修正の指示に基づいて、前記第３画面領域に表示された前記文字パターンの修正を受け付けて、前記手書き文字認識結果のうちで前記文字データ処理部により関連付けられた文字パターンの変更を行う修正ステップと
を備える画像処理方法。
【請求項１３】
請求項１２に記載の画像処理方法に含まれるステップをコンピュータに実行させるためのプログラム。
【請求項１】
文書を光学的に読み取って得られる画像データに対して処理を行う画像処理装置であって、
表示部と、
前記画像データから文字候補領域を認識して、前記文字候補領域に含まれる文字が手書き文字であるか否かを判定して、手書き文字と判定した場合に当該判定の結果を手書き文字判定結果として出力する文字判定部と、
前記文字判定部により手書き文字であると判定された文字を文字認識の候補となる文字パターンと関連付けて、当該関連付けた結果を手書き文字認識結果として出力する文字データ処理部と、
前記画像データを前記表示部の第１画面領域に表示させ、前記文字判定部により出力された手書き文字判定結果を前記第１画面領域とは異なる前記表示部の第２画面領域に表示させ、前記第２画面領域においてユーザに選択された前記手書き文字判定結果に対応する前記手書き文字認識結果のうちで前記文字データ処理部により関連付けられた文字パターンを前記表示部の第３画面領域に表示させる表示制御部と、
ユーザからの修正の指示に基づいて、前記第３画面領域に表示された前記文字パターンの修正を受け付けて、前記手書き文字認識結果のうちで前記文字データ処理部により関連付けられた文字パターンの変更を行う修正部と
を備える画像処理装置。
【請求項２】
前記文字判定部は、さらに、前記文字候補領域に含まれる文字が、活字であるか否かを判定して、活字であると判定した場合に当該判定の結果を活字判定結果として出力し、
前記文字データ処理部は、さらに、前記文字判定部により判定された活字を前記文字パターンと関連付けて、当該関連付けた結果を活字認識結果として出力し、
前記表示制御部は、さらに、前記文字判定部により出力された活字判定結果を前記第２画面領域に表示させ、前記活字認識結果のうちで前記文字データ処理部により関連付けられた文字パターンを前記第３画面領域に表示させる
請求項１に記載の画像処理装置。
【請求項３】
さらに、
第１画像データに基づいて前記文字判定部により判定された第１活字判定結果と前記文字パターンとが前記文字データ処理部により関連付けられた第１活字認識結果と、第２画像データに基づいて前記文字判定部により判定された第２活字判定結果と前記文字パターンとが前記文字データ処理部により関連付けられた第２活字認識結果とが、所定の割合以上で一致するか否かを判定する活字一致判定部と、
前記第１活字認識結果と前記第２活字認識結果とが前記所定の割合以上で一致すると前記活字一致判定部が判定した場合に、前記第１画像データに基づいて前記文字判定部により判定された第１手書き文字と前記文字パターンとが前記文字データ処理部により関連付けられた第１手書き文字認識結果と、第２画像データに基づいて前記文字判定部により判定された第２手書き文字と前記文字パターンとが前記文字データ処理部により関連付けられた第２手書き文字認識結果とを統合させて統合手書き文字認識結果として出力するデータ統合部と
を備え、
前記表示制御部は、前記統合手書き文字認識結果を前記第２画面領域に表示させ、前記第２画面領域においてユーザに選択された前記統合手書き文字認識結果のうちで前記文字データ処理部により関連付けられた文字パターンを前記第３画面領域に表示させ、
前記修正部は、ユーザからの修正指示に基づいて、前記第１手書き文字認識結果のうちで前記文字データ処理部により関連付けられた第１文字パターンの修正を受け付けて、前記統合手書き文字認識結果のうちで前記文字データ処理部により関連付けられた前記第１文字パターンの変更を行う、または、前記第２手書き文字認識結果のうちで前記文字データ処理部により関連付けられた第２文字パターンの修正を受け付けて、前記統合手書き文字認識結果のうちで前記文字データ処理部により関連付けられた前記第２文字パターンの変更を行う
請求項２に記載の画像処理装置。
【請求項４】
前記第３画面領域は、前記第１画面領域および前記第２画面領域とは異なる画面領域である
請求項１から３のいずれか１項に記載の画像処理装置。
【請求項５】
前記表示制御部は、前記第１手書き文字認識結果を第１表示形態により前記第２画面領域に表示させ、前記第２手書き文字認識結果を前記第１表示形態とは異なる第２表示形態により前記第２画面領域に表示させる
請求項４に記載の画像処理装置。
【請求項６】
前記文字判定部は、前記手書き文字判定結果としてさらに、手書き文字が含まれると判定された文字候補領域の表示位置および表示範囲を出力する
請求項１から５のいずれか１項に記載の画像処理装置。
【請求項７】
前記文字判定部は、さらに、前記文字候補領域に含まれる文字が、活字であるか否かを判定して、活字であると判定した場合に当該判定の結果を前記画像データにおける活字の表示位置および活字の表示範囲とともに活字判定結果として出力し、
前記表示制御部は、前記手書き文字判定結果および前記活字判定結果に基づいて、前記文字判定部により活字が含まれると判定された文字候補領域を第３表示形態により前記第１画面領域に表示させ、前記文字判定部により手書き文字が含まれると判定された文字候補領域を前記第３表示形態とは異なる第４表示形態により前記第１画面領域に表示させる
請求項６に記載の画像処理装置。
【請求項８】
前記表示制御部は、前記第２画面領域に表示される手書き文字判定結果に対して第１の選択をユーザが行った場合に、前記第１の選択の対象となった手書き文字判定結果に対応する文字候補領域を第５表示形態により前記第１画面領域に表示させる
請求項６または７に記載の画像処理装置。
【請求項９】
前記表示制御部は、さらに、前記第２画面領域に表示される手書き文字判定結果に対して第２の選択をユーザが行った場合に、部前記第２の選択の対象となった手書き文字判定結果に対応する文字候補領域を前記第５表示形態とは異なる第６表示形態により前記第１画面領域に表示させる
請求項８に記載の画像処理装置。
【請求項１０】
さらに、
文書から光学的に前記画像データを取得する画像取得部を備える
請求項１から９のいずれか１項に記載の画像処理装置。
【請求項１１】
さらに、
前記文字パターンを記憶している記憶部を備える
請求項１から１０のいずれか１項に記載の画像処理装置。
【請求項１２】
文書を光学的に読み取って得られる画像データに対して処理を行う画像処理方法であって、
前記画像データから文字候補領域を認識して、前記文字候補領域に含まれる文字が手書き文字であるか否かを判定して、手書き文字と判定した場合に当該判定の結果を手書き文字判定結果として出力する文字判定ステップと、
前記文字判定ステップにより判定された手書き文字を文字認識の候補となる文字パターンと関連付けて、当該関連付けた結果を手書き文字認識結果として出力する文字データ処理ステップと、
前記画像データを表示部の第１画面領域に表示させ、前記文字判定ステップにより出力された手書き文字判定結果を前記第１画面領域とは異なる前記表示部の第２画面領域に表示させ、前記第２画面領域においてユーザに選択された前記手書き文字判定結果に対応する前記手書き文字認識結果のうちで前記文字データ処理部により関連付けられた文字パターンを前記表示部の第３画面領域に表示させる表示制御ステップと、
ユーザからの修正の指示に基づいて、前記第３画面領域に表示された前記文字パターンの修正を受け付けて、前記手書き文字認識結果のうちで前記文字データ処理部により関連付けられた文字パターンの変更を行う修正ステップと
を備える画像処理方法。
【請求項１３】
請求項１２に記載の画像処理方法に含まれるステップをコンピュータに実行させるためのプログラム。
【図１】
【図２】
【図３】
【図４】
【図５】
【図６】
【図７】
【図８】
【図９】
【図１０】
【図１１】
【図２】
【図３】
【図４】
【図５】
【図６】
【図７】
【図８】
【図９】
【図１０】
【図１１】
【公開番号】特開２０１２−１９０３５７（Ｐ２０１２−１９０３５７Ａ）
【公開日】平成２４年１０月４日（２０１２．１０．４）
【国際特許分類】
【出願番号】特願２０１１−５４７５２（Ｐ２０１１−５４７５２）
【出願日】平成２３年３月１１日（２０１１．３．１１）
【出願人】（０００００６２９７）村田機械株式会社 (4,916)
【Ｆターム（参考）】
【公開日】平成２４年１０月４日（２０１２．１０．４）
【国際特許分類】
【出願日】平成２３年３月１１日（２０１１．３．１１）
【出願人】（０００００６２９７）村田機械株式会社 (4,916)
【Ｆターム（参考）】
[ Back to top ]