帳票認識方法および帳票認識装置
【課題】 文字や罫線の色が不定で、かつ文字色に濃淡や色の変動がある状況において、文字の画素のみを残し、その他の色の画素をドロップアウトする。
【解決手段】 入力された画像の画素を色クラスタリングして、クラスタ内の画素数から背景と文字の色を求める。画像中の色の分布から文字色の代表値を検出し、文字色の変動幅を考慮して文字色の画素を選択することにより、２値画像を生成する。また、文字の色以外の罫線などのノイズがある場合には、文字とノイズとを弁別して、ノイズをドロップアウトした文字の２値画像を生成する。２つのドロップアウト画像を用いて文字認識を行い、認識スコアが高い方を出力する。２つのドロップアウト方法による２値画像に対して文字認識することで、色むらがある場合と、罫線などのノイズがある場合の両方に対して、認識精度を向上することができる。
【解決手段】 入力された画像の画素を色クラスタリングして、クラスタ内の画素数から背景と文字の色を求める。画像中の色の分布から文字色の代表値を検出し、文字色の変動幅を考慮して文字色の画素を選択することにより、２値画像を生成する。また、文字の色以外の罫線などのノイズがある場合には、文字とノイズとを弁別して、ノイズをドロップアウトした文字の２値画像を生成する。２つのドロップアウト画像を用いて文字認識を行い、認識スコアが高い方を出力する。２つのドロップアウト方法による２値画像に対して文字認識することで、色むらがある場合と、罫線などのノイズがある場合の両方に対して、認識精度を向上することができる。
【発明の詳細な説明】
【技術分野】
【０００１】
本発明は、ＯＣＲ（Ｏｐｔｉｃａｌ Ｃｈａｒａｃｔｅｒ Ｒｅａｄｅｒ：光学式文字読取装置）等の画像の処理技術に関し、特に文字の色に濃淡差があり、除去対象の色が文字色と同系色の場合などに、文字の色のみを残すドロップアウト技術に関する。
【背景技術】
【０００２】
カラー画像から白黒２値画像を生成する２値化処理は、帳票OCRの前処理として基本的な処理である。帳票にはプレ印刷と呼ばれる予め印刷された罫線や文字があり、読取対象の文字を認識する際の障害となる。したがって、帳票画像の２値化処理でプレ印刷部分を消去、すなわち白化する処理は、読取の精度向上のために必須の機能である。色情報を用いたプレ印刷の白化はカラードロップアウトと呼ばれる。
【０００３】
カラードロップアウト処理の代表的な従来技術として、特許文献１には、カラー画像を撮像し、ＲＢＧの３つの色のうち、ノイズ成分の輝度が最も高くなる色を選択した後、その色における画素の濃淡値を用いて２値化する方式が記載されている。また、特許文献２には、帳票ごとに異なる押印色とプレ印刷色に対応するため、押印の文字色を推定した後、文字色のみを抽出する方式が記載されている。また、その他の方法として、ノイズ成分として赤系もしくは青系のいずれかを指定し、ノイズ成分と同系色の光源で撮像した画像を文字認識に用いる方法がある。例えば、文字が黒で罫線が赤い帳票を赤系の光源で撮像すると、罫線部分が画像に現れなくなる。青系でも同様である。
【先行技術文献】
【特許文献】
【０００４】
【特許文献１】特開２００３−１９６５９２号公報
【特許文献２】特開２０１０−２４４３７２号公報
【発明の概要】
【発明が解決しようとする課題】
【０００５】
カラードロップアウト処理が必要な帳票の例として、領収伝票がある。領収伝票には罫線や文字等のプレ印刷があり、活字文字や手書き文字が記載され、入出金の証明として日付印が押印されている。このうち、日付印の文字を読取るには、カラードロップアウト処理において通常の記載文字とは異なる課題がある。日付印のインク色は帳票ごとに赤や青、黒など異なるうえ、多様な色や形状のプレ印刷との交差が多く発生する。
【０００６】
さらに、日付印のインクの付け方や押し方の影響により、日付印内の文字は、帳票に記載される通常の文字に比べて濃淡差が大きい。そのうえ、日付印はプレ印刷と同系色のインクで押印されることも多い。文字の濃淡差と同系色のプレ印刷は二律背反の関係にある。通常、文字色の濃淡差を許容するには、文字の薄い箇所を抽出するために、ドロップアウトの閾値を下げる。これはノイズ成分なども同時に抽出する可能性があるため、プレ印刷との分離を困難にする。一方、同系色のプレ印刷をドロップアウトするには、閾値を厳しくすることになり、濃淡差が大きな文字を抽出できない。
【０００７】
特許文献１に記載の方法では、文字とプレ印刷が異なる色であることを前提としているため、文字とプレ印刷が同系色の場合には適用できない。また、特許文献２に記載の方法では、ドロップアウトの閾値を動的に求めているものの、濃淡差が大きな文字と同系色の罫線が混在する場合には対応できない。また、ノイズ成分として赤系もしくは青系のいずれかを指定し、ノイズ成分と同系色の光源で撮像した画像を文字認識に用いる方法では、押印色やプレ印刷色が異なる帳票が混在する場合には適用できない。
【０００８】
上述したような従来技術における問題点に鑑み、本発明の目的は、色むらが大きい場合に対するドロップアウトにおいて、インクの量が薄い画素の文字を正しく抽出すること、さらに、文字の周辺にプレ印刷が存在する帳票と、文字の濃淡差が大きな帳票が混在しても、適切にドロップアウトして文字認識することにある。
【０００９】
ここで「色むら」とは、例えば日付印を帳票等に押印する際に、文字等の色がインクの量や力の加減等により、滲んだりかすれたりして、濃淡差が大きい状態をいう。
【課題を解決するための手段】
【００１０】
本発明に係る画像処理方法では、処理対象画像から文字成分のみ残すドロップアウトの画像処理方法であって、処理対象画像を入力するステップと、処理対象画像の画素を色クラスタリングするステップと、色クラスタリングに基づいて背景色を選択するステップと、処理対象画像の画素から押印色を選択するステップと、処理対象画像の画素を色空間変換するステップと、処理対象画像の画素から色むら対応用の濃淡画像生成するステップと、濃淡画像の傾きを補正するステップと、傾き補正した濃淡画像を２値化するステップを有する。
【発明の効果】
【００１１】
本発明における、文字成分色とノイズ成分色が不定である帳票に対するドロップアウトでは、色むらが大きい場合でも、正しく文字色を残すことができる。このため、日付文字列も正しく抽出することができる。
【図面の簡単な説明】
【００１２】
【図１】本発明の実施形態の画像処理装置の構成図である。
【図２】従来の実施形態のドロップアウト処理の概略を示す図である。
【図３】本発明の実施形態のドロップアウト処理の概略を示す図である。
【図４】本発明の実施形態の押印日付読取りの処理の一例を示す図である。
【図５】本発明の実施形態の色むら対応用２値画像を出力するドロップアウト処理を示すフローチャートである。
【図６】本発明の実施形態の押印色選択処理を示すフローチャートである。
【図７】従来の押印色選択におけるドロップアウト処理により日付印がドロップアウトしてしまう例を示す図である。
【図８】本発明の実施形態の円周色選択処理を示すフローチャートである。
【図９】本発明の実施形態の押印色決定処理を示すフローチャート。
【図１０】本発明の実施形態の色むら対応用の濃淡画像生成処理を示すフローチャートである。
【図１１】日付印の色相頻度分布と日付印色相許容範囲の概略を示す図である。
【図１２】本発明の実施形態の押印色が無彩色の場合の注目する画素における色むら対応用画素分類の判定処理を示すフローチャートである。
【図１３】本発明の実施形態の押印色が有彩色の場合の注目する画素における色むら対応用画素分類の判定処理を示すフローチャートである。
【図１４】本発明の実施形態の２値化処理の概略を示す図である。
【図１５】本発明の実施形態の押印日付読取りの第２の処理を示すフローチャートである。
【図１６】本発明の実施形態のプレ印刷・地紋除去用２値画像を出力するドロップアウト処理を示すフローチャートである。
【図１７】本発明の実施形態のプレ印刷・地紋除去用の濃淡画像生成処理を示すフローチャートである。
【図１８】本発明の実施形態の押印色が無彩色の場合の注目する画素におけるプレ印刷・地紋除去用画素分類の判定処理を示すフローチャートである。
【図１９】本発明の実施形態の押印色が有彩色の場合の注目する画素におけるプレ印刷・地紋除去用画素分類の判定処理を示すフローチャートである。
【図２０】本発明の実施形態の日付印が同系色の罫線の上に押印した場合の罫線除去有無による２値画像出力結果の概略を示す図である。
【図２１】本発明の実施形態の押印日付読取りの第３の処理を示すフローチャートである。
【図２２】本発明の実施形態の色むら対応用２値画像およびプレ印刷・地紋除去用２値画像の２つの２値画像を出力するドロップアウト処理を示すフローチャートである。
【図２３】本発明の実施形態の押印日付読取りの第４の処理を示すフローチャートである。
【図２４】本発明の実施形態の押印日付読取りの第５の処理を示すフローチャートである。
【図２５】本発明の実施形態の押印日付読取りの第６の処理を示すフローチャートである。
【図２６】本発明の実施形態の押印日付読取りの第７の処理を示すフローチャートである。
【図２７】本発明の実施形態の押印日付読取りの第８の処理を示すフローチャートである。
【図２８】本発明の実施形態の押印日付読取り結果の確認および修正するユーザーインタフェースの第１の例を示す図である。
【図２９】本発明の実施形態の押印日付読取り結果の確認および修正するユーザーインタフェースの第２の例を示す図である。
【図３０】本発明の実施形態の押印日付読取り結果の確認および修正するユーザーインタフェースの第３の例を示す図である。
【発明を実施するための形態】
【００１３】
＜第一の実施形態＞
本発明の実施形態を、図面を用いて説明する。なお、本発明は、以下の説明によって限定されるものではない。
【００１４】
図１は、本発明の実施形態の帳票認識システムの構成を示す図である。帳票認識システムは、入力装置１０、画像入力装置２０、画像処理装置３０、辞書４０、表示装置５０、及び画像データベース（ＤＢ）６０を備える。入力装置１０は、画像処理装置３０にコマンド及びコードデータ等を入力するためのキーボード及びマウス等の装置である。画像入力装置２０は、帳票を画像データとして、画像処理装置３０に入力するためのスキャナ等の装置である。画像処理装置３０は、画像入力装置２０によって入力された帳票の読み取り領域を検出してドロップアウト処理をする計算機であって、図示しないＣＰＵ、メモリ、及び記憶装置を備える。画像処理装置では、ドロップアウト画像の文字認識などの処理も実行することができる。辞書４０は、画像処理装置３０が帳票を認識する際に参照する辞書データベースである。辞書４０は、具体的には、画像処理装置３０が文字認識する際に参照する文字認識辞書や、文字列照合を行う際に参照する知識辞書や、帳票の読み取り領域を検出する際に参照する帳票情報等を格納する。表示装置５０は、画像処理装置３０によって帳票が認識された結果を表示するディスプレイ等の装置である。画像ＤＢ６０は、画像入力装置２０によって画像処理装置３０に入力された画像データを格納する。また、画像ＤＢ６０には、画像入力装置２０によって画像処理装置３０が認識する対象となる画像データが予め格納されていてもよい。
【００１５】
なお、本発明は、画像処理装置３０と同じ機能を備えるソフトウェアによって通常の計算機に実装されてもよい。
【００１６】
本発明で実現するドロップアウト方式の具体例を示す前に、従来のドロップアウトの処理結果の概要を図２に、本発明の色むら対応の処理結果の概要を図３にそれぞれ示す。
【００１７】
図２は，例えば特許文献２に示すような従来のドロップアウトの処理結果の概要を示す図である。図２（ａ）はプレ印刷の上に色むらがほぼなく一様に押印された入力画像である。２０１は処理対象の領域、２０２は色むらがなく一様に押された日付印、２０３は帳票上の罫線等のプレ印刷や地紋を表す。図２（ａ）の入力画像から押印色以外のプレ印刷や地紋の色をドロップアウトすることにより、押印の色成分２０４のみが残ったカラードロップアウト画像（図２（ｂ））が生成される。図２（ｂ）のカラードロップアウト画像から傾き等の画像補正、２値化、日付行抽出を行うと、日付行成分２０５のみの日付行２値画像（図２（ｃ））が生成される。
【００１８】
図２（ｄ）は色むらがある入力画像である。処理対象領域２０６内の日付印２０７は薄い画素２０８や濃い画素２０９があり，日付印全体としては色むらが大きい。この図２（ｄ）の入力画像に対してドロップアウトを行うと，薄い画素が押印色でないと判定されるため，薄い画素がドロップアウトされて濃い画素２１０のみが残ったカラードロップアウト画像（図２（ｅ））が生成される。図２（ｅ）のカラードロップアウト画像から傾き等の画像補正、２値化、日付行抽出を行うと、日付の一部が欠落した日付行成分２１１のみの日付行２値画像（図２（ｆ））が生成される。
【００１９】
このように、従来のドロップアウトでは、色むらが大きい場合に文字成分が欠落してしまうという問題があった。ここで、本発明の第１の課題は、このような色むらが大きい場合に対してもドロップアウトによって成分が欠落することなく正しく日付文字行を抽出することである。これを実現するために、本発明における課題の解決策についての概要を説明する。詳細については図４以降で説明する。
【００２０】
（１）押印色選択：従来方式では、背景色の次に多い画素数のクラスタを押印色とするため，処理対象領域に対してプレ印刷や地紋色の画素数が日付印色の画素数より多い場合に，プレ印刷や地紋色を押印色としてしまうことがある。本発明では、まず、日付印の円周付近の画素の色のみで色クラスタリングを行い、背景色とは近くなく、最も頻度が多いクラスタを円周色として選択する。次に、押印の中の領域で色クラスタリングを行い、この結果のクラスタの中で、ある程度の頻度があり、かつ円周色に最も近いクラスタの色を押印色とする。この方法により、プレ印刷や地紋の色を押印色に誤選択しないようにできる。
【００２１】
（２）カラードロップアウト：従来方式では、画素のＲＧＢ情報だけなくＨＳＶ色空間も用いてプレ印刷や地紋をドロップアウトするための閾値が厳しいため、色むらが大きい場合には押印のインク色が薄い個所の画素がドロップアウトして欠落してしまう。本発明では、処理対象領域内の色相の頻度分布からＲＧＢ情報とこれを変換したＨＳＹ色空間において、色相や彩度や輝度の許容範囲を動的に求めることで、色むらが大きい場合であっても、文字色を残すことができる。
【００２２】
（３）２値化：従来方式では、色むらが大きい場合には，押印のインク色が薄い個所の画素が白画素となり欠落してしまい，文字がかすれたりする。本発明では、日付行領域内の部分領域ごとに２値化閾値を求めて２値化すると，押印のインク色が薄い画素が多い部分領域においては，薄い画素も黒画素化することができ、部分領域ごとに２値化した全ての２値画像の論理和の２値画像を生成することで日付行領域の２値画像は，色むらが大きい場合であっても，文字の欠落を抑制できる。
【００２３】
図３は、本発明の色むら対応のドロップアウトの処理結果の概要を示す図である。図３（ａ）は，図２（ｄ）と同じ色むらがある入力画像である。色むら対応のカラードロップアウトでは，薄い画素３０２もドロップアウトせず残ったカラードロップアウト画像（図３（ｂ））が生成される。図３（ｂ）のカラードロップアウト画像から傾き等の画像補正、色むら対応の２値化、日付行抽出を行うと、文字成分が欠落しない日付行成分３０２日付行２値画像（図３（ｃ））が生成される。
【００２４】
図３（ｄ）は図２（ａ）と同じプレ印刷の上に色むらがほぼなく一様に押印された入力画像である。この図３（ｄ）の入力画像に色むら対応のカラードロップアウトを行うと，プレ印刷の罫線や文字３０３も残ったカラードロップアウト画像（図３（ｅ））が生成される。図３（ｅ）のカラードロップアウト画像から傾き等の画像補正、色むら対応の２値化、日付行抽出を行うと、プレ印刷の罫線や文字成分３０５が残った日付行成分３０４の日付行２値画像（図３（ｆ））が生成される。
【００２５】
このように、色むらに対応することで、従来ドロップアウトにて除去していた罫線や地紋成分が残ってしまうという問題がある。ここで、本発明における第２の課題は、色むらが大きい場合や同系色のプレ印刷・地紋がある場合が混在して入力されても、どちらの場合でも正しく日付文字行を抽出することである。これを実現するために、本発明では以下のような方式をとる。第１の方式は、ドロップアウトを、色むら対応用ドロップアウトとプレ印刷・地紋除去用のドロップアウトを状況により選択して日付文字行２値画像を出力することである。第２の方式は、ドロップアウトは、色むら対応用とプレ印刷・地紋除去用の２種類の日付文字行２値画像を出力することである。詳細については、図１５以降で説明する。
【００２６】
以下、本発明を適用した押印日付読取り方法および押印日付読取り装置の一実施形態について説明する。これは、日付印の押印に色むらが大きい場合においても、押印のインク色が薄い個所の画素が残すことができる。
【００２７】
図４は、本発明である色むら対応のカラードロップアウトを適用した押印日付読取りの処理フローを示す図である。これは、画像処理装置（ＣＰＵ）３０にて実行される。通常はＣＰＵで実行されるプログラムとして実現され、このようなプログラムは各種記録媒体に格納することができ、メモリに格納されてＣＰＵで実行される。
【００２８】
画像入力４０１において対象のカラー画像を入力し、日付印検知４０２において日付印の領域を検出する。
【００２９】
日付印検知４０２にて検出した日付印の数だけ４０３は、４０４〜４０６を繰り返す。色むら対応用２値画像を出力するカラードロップアウト４０４において、注目する日付印の領域を含めた処理対象領域から、日付行２値画像を抽出し、日付文字列認識４０５において辞書４０に含まれる文字識別辞書および日付表記辞書等により日付文字列認識を行う。４０５において日付文字列認識結果を４０６にてセットして注目する日付印の読取り処理を終える。４０３において検出した全ての日付印の読取を終えたら、４０７にて結果を出力し、押印日付読取り処理を終了する。色むら対応用２値画像を出力するカラードロップアウト４０４について、図５で説明する。
【００３０】
図５は、本発明である色むら対応用２値画像を出力するカラードロップアウト処理のフローを示す図である。このカラードロップアウトの処理は、処理対象領域から押印色のみを残した濃淡画像を生成して、これを２値化して２値画像を生成する。
【００３１】
処理領域選択処理５０１は、画像中から読取り対象の日付印を含む領域を選択する処理である。この処理領域は、日付印検知４０２で求めた日付印の中心座標と半径を用いて決定する。
【００３２】
色クラスタリング処理５０２は、処理領域中の各画素を色クラスタリングする処理である。色クラスタリングは、画像中の各画素を色空間上にマッピングした後、あらかじめ決められた基準に基づいて近い色同士を同じクラスタとする。色クラスタリングの具体的な例としては、特許文献２の方式などを使うことができる。以降の処理を容易にするために、色クラスタリングの結果は、クラスタの画素数が多い順番にソートしてもよい。
【００３３】
背景色選択処理５０３は色クラスタリングした結果から、背景色を選択する処理である。背景色は色クラスタリングした結果の中で、最も画素数（頻度）が多い色を背景色とする。背景色を含むクラスタの選択基準の一例としては、最も画素数が多いクラスタを採用する。この理由は、処理対象領域内では、日付印、罫線、ノイズ、背景の中で、一般的には背景の面積が最も多いからである。背景色を含むクラスタの選択基準の他の例としては、最も輝度が高いクラスタを選択することである。この理由は、紙の色は日付印の色に比べて輝度が高いためである。クラスタの輝度としては、クラスタに含まれる画素の平均の輝度や、分布のピークまたは中心の輝度を用いることができる。輝度ＹはＲＧＢの各色に異なる重みを付けており、Ｙ＝0.29891Ｒ＋0.58661Ｇ＋0.11448Ｂとして計算する。一方、日付印内の背景色を含むクラスタより、日付印の色を含むクラスタの頻度の方が多い場合、上記の方式では日付印の色を背景色と誤判定することがある。これを防ぐため、日付印の領域の外側の画素のみを色クラスタリングした結果から上記の基準例に従って背景色を選択してもよい。
【００３４】
日付印の押印色選択処理５０４は色クラスタリングした結果から、日付印の押印色を選択する処理である。押印色選択処理については図６〜図９で説明する。
【００３５】
色空間変換処理５０５は、色むら対応濃淡画像生成処理５０６に利用するために、処理対象の画素を入力装置から得られるＲＧＢ色空間からＨＳＹ空間に変換する処理である。ＨＳＹ空間とは、色の種類の指標である色相（Ｈ）と鮮やかさの指標である彩度（Ｓ）、および明るさの指標である輝度（Ｙ）で色を表現するものである。ＨとＳについては、広く利用されているＨＳＶ色空間と同じ計算式で算出する。本発明でＨＳＹ色空間を用いた理由は、一般に、色相、彩度、明るさ用いた色の表現は、ＲＧＢを用いる表現に比べて人間の色の知覚方法と類似しているためである。明るさの指標として、明度（Ｖ）ではなく輝度（Ｙ）を用いた理由は、輝度の方が人間の明るさの知覚方法に近いためである。なお、色空間の変換はＨＳＶやＨＳＹだけでなく、ＨＳＶ色空間やＨＳＬ色空間などを用いてもよい。その他にも、印刷の過程で利用する減法混色の表現であるＣＭＹ色空間やＣＭＹＫ色空間などを利用してもよい。
【００３６】
このように、ＲＧＢ以外の次元を用いることにより、後述する画素分類処理や等の処理が高精度となる。上記の例では、一括して色空間の変換を行ってから、次の処理を行ったが、色空間の変換は、画素を利用する際にその都度、ＲＧＢからＨやＳ等を計算して処理を行ってもよい。
【００３７】
色むら対応用濃淡画像生成処理５０６は、押印色選択５０４によって選択した押印色に対して処理対象領域から色むらに適した色のみを残し、濃淡画像を生成する。色むら対応用濃淡画像生成処理については、図１０〜図１３で説明する。
【００３８】
傾き補正５０７は、濃淡画像生成処理５０６によって生成された濃淡画像に対して、日付領域の上限にある線を検知して傾きを求め、この傾きを正立するように補正する。傾き補正をここで行うメリットは、２値化後の画像に比べて濃淡画像では傾き補正後に量子化誤差が発生しにくいことである。具体的には、斜めの線や曲線を含む画像を補正した際に、線上にギザギザが発生しにくくなる。傾き補正手法の例としては、バイナリア法やバイキュービック法を利用することができる。なお、傾き補正のためには、傾きを検出する必要がある。これは、例えば日付行の上下にある線を検知して求めることができるが、他の方法で求めてもよい。また傾きの検出は、傾き補正５０７内で検出も、他の処理で検出してもよい。
【００３９】
２値化処理５０８は、傾き補正５０７で傾き補正した濃淡画像から日付行の領域のみ２値化し、２値画像を生成する。２値化処理５０７は図１４で説明する。
【００４０】
押印色選択処理５０４について図６〜図９を用いて説明する。図６は押印色選択の処理フローである。押印色選択は、プレ印刷や地紋の色に誤って押印色としないために、まず円周色選択処理６０１によって円周色を選択し、次に押印色決定処理６０２によって押印色を決定する。従来の方式では、背景色の次に多い画素数のクラスタを押印色とするため，処理対象領域に対してプレ印刷や地紋色の画素数が日付印色の画素数より多い場合に，プレ印刷や地紋色を押印色としてしまうことがある。この理由を図７で後述する。本発明では、まず、日付印の円周付近の画素の色のみで色クラスタリングを行い、背景色とは近くなく、最も頻度が多いクラスタを円周色として選択する。円周付近の画素を用いる理由は、円周付近が最も押印色に近い色が密にあるためである。次に、押印の中の領域で色クラスタリングを行い、この結果のクラスタの中で、ある程度の頻度があり、かつ円周色に最も近いクラスタの色を押印色とする。この方法により、プレ印刷や地紋の色を押印色に誤選択しないようにできる。円周色選択処理６０１を図８に、押印色決定処理６０２を図９で説明する。
【００４１】
図７は、押印色がプレ印刷や地紋の色に間違う例を示す。図７の入力画像（ａ）はカラー画像から対象領域選択処理５０１によって選択された領域である。例えば、日付印７０１は輝度の高い緑色、プレ印刷７０２は輝度が低い茶色、地紋７０３は輝度が高い茶色であるとする。また、色クラスタリングした結果の中で、日付印の緑色のクラスタより、プレ印刷や地紋の茶色のクラスタの頻度が多い場合がある。この場合、押印色は色クラスタリングの結果の中で、背景色以外で最も頻度が高いクラスタの色とするため、プレ印刷７０２や地紋７０３の色を押印色として間違ってしまう。以降の処理である画素判定では、この間違った押印色を中心とした色のみを残し、これを元に濃淡画像を生成すると図７（ｂ）のようになり、濃淡画像はプレ印刷７０４および地紋７０５の濃淡画素のみが残る。この濃淡画像を２値化および日付行抽出を行った結果、プレ印刷や地紋７０６の画素が黒画素としてのこった日付文字行２値画像図７（ｃ）が生成される。以上のように、押印色を間違って選択すると、日付印がドロップアウトされてしまう。
【００４２】
図８は、円周色選択の処理フローを示す図である。ステップ８０１は半径ｒにマージンαを持たせた大きさを指定する。ｒinは半径rよりα小さく、routは半径rよりα大きく設定する。これは、日付印検知によって要られた半径ｒの値および中心座標が押印の歪みや量子化誤差等によりずれ、また、日付印の外側の縁の幅の分を考慮している。ステップ８０２は対象領域のｙ座標分、ステップ８０３は対象領域のｘ座標分の繰り返しを行い、対象領域の画素を走査する。ステップ８０４は対象領域の座標の中で、画素が日付印の半径にマージンを持たせた範囲であれば、この画素の色をステップ８０５にて円周色リストへ追加する。対象領域の中で日付印の半径にマージンを持たせた範囲の画素の色を全て登録し終わったら、ステップ８０６にて円周色リストに対して色クラスタリングを行う。ステップ８０７において、色クラスタリングの結果から最も頻度が多いクラスタの代表色を円周色の初期値としてセットする。ステップ８０８において、この色クラスタリングの結果のクラスタ数分かつ円周色と背景色の色距離が閾値未満の場合、ステップ８０９において、注目するクラスタの代表色を選択し、ステップ８１０において、円周色は注目するクラスタの代表色に置き換える。
【００４３】
このようにして選択した円周色を押印色としない理由は、日付印は押印の仕方によって色むらが生じる場合がある。日付印全体で最も円周色に近い色を押印色とするためである。
【００４４】
図９は、押印色決定の処理フローを示す図である。ステップ９０１は対象領域のｙ座標分、ステップ９０２は対象領域のｘ座標分の繰り返しを行い、対象領域の画素を走査する。ステップ９０３において、座標ｘ、ｙが日付印の半径内
であれば、この座標の画素の色を押印色リストへ追加する。この時、背景色に近い色であれば押印色リストへ追加せずに次の座標に移動するという処理を加えてもよい。これは、押印色は背景色とは異なるため、押印色リストへ登録する必要がないためである。
【００４５】
対象領域を全て走査して得られた押印色リストに対して、ステップ９０５において色クラスタリングを行う。ステップ９０６において、この色クラスタリングの結果から最も頻度が多いクラスタの色を押印色の初期値としてセットする。ステップ９０７において、押印色の色リストのクラスタリングのクラスタ数分、ステップ９０８〜９１２を繰り返す。ステップ９０８は注目するクラスタの代表色を選択する。ステップ９０９において、注目するクラスタの画素数が閾値より少ない場合は、ステップ９１０においてループ脱出する。クラスタの画素数が閾値より少ないというのは、日付印の色とは異なるためである。ステップ９１０は、色クラスタリングの結果がクラスタの画素数によってソートされている場合にはループ脱出するが、ソートされていなければ次のクラスタに移動する。ステップ９１１において、注目するクラスタの代表色と円周色選択６０１で得られた円周色との距離が、現在セットしている押印色と円周色との距離未満であれば、押印色は注目するクラスタの代表色に置き換える。以上の処理で押印色を決定する。
【００４６】
次に色むら対応用の濃淡画像生成処理５０６について、図１０〜図１３で説明する。
【００４７】
図１０は、色むら対応用濃淡画像生成の処理フローを示す図である。従来の方式では、画素のＲＧＢ情報だけなくＨＳＶ色空間も用いてプレ印刷や地紋をドロップアウトするための閾値が厳しいため、色むらが大きい場合には押印のインク色が薄い個所の画素がドロップアウトして欠落してしまう。本発明では、処理対象領域内の色相の頻度分布からＲＧＢ情報とこれを変換したＨＳＹ色空間において、色相や彩度や輝度の許容範囲を動的に求めることで、色むらが大きい場合であっても、文字色を残すことができる。この処理では、押印色が無彩色か有彩色かで処理を切り替える。無彩色とは、彩度値が低い色であり、白や灰色、黒などの色を指す。有彩色とは彩度が一定値以上の色を指す。無彩色と有彩色とに分ける理由は、無彩色と有彩色とでは色の判別の基準が異なるためである。無彩色の識別では輝度と彩度を基準とする。これに対し、有彩色では色相が最も優先度が高く、輝度や彩度がそれに続く基準となる。
【００４８】
まず１００１において、押印色をＨＳＹ色空間変換する。以降の処理では、押印色のＲＧＢ値とＨＳＹ色空間によって処理を行う。判定１００２において、押印色が有彩色か無彩色かの判定を行う。
【００４９】
有彩色か無彩色かの判定は、押印色の彩度がスライド彩度閾値未満であれば無彩色とする（１００３）。押印色の彩度がスライド彩度閾値以上であれば有彩色とする（１００５）。ここでスライド彩度閾値とは、輝度によって彩度の閾値を変更する閾値設定である。一般的に輝度が低い場合より輝度が高い場合の方が同じ彩度であっても色の変化が大きく見える。このため、輝度が高くなるにつれて彩度の閾値は低くするように設定する。
【００５０】
押印の半径内の各画素について色むら対応用の画素分類（無彩色用）１００４において、押印の半径内の各画素について、ドロップアウトする画素等を分類する。画素分類処理とは、ドロップアウトを目的として領域内の各画素を押印色や背景色との距離に応じて４種類に分類する処理である。従来の画素分類処理は特許文献２に記載されているとおりである。本発明における、無彩色用の画素分類１００４については図１２で説明する。
【００５１】
色むら対応用の色相許容範囲計算処理１００６は、画素分類の判別基準である色相の許容範囲を計算する。有彩色の押印色の判別であるため、判別基準に色相を用いる。押印領域内にプレ印刷がある場合と、色むらがある場合とで色相の許容範囲を変えなければならない。この理由を、図１１を用いて説明する。
【００５２】
図１１（ａ）はプレ印刷・地紋がある場合の色相の頻度分布である。カラー画像中で画素の色相の頻度分布をとると、日付印は、押印色の色相１１０１を中心に頻度分布１１０２のように色相が広がり、プレ印刷・地紋は色相１１０３を中心に頻度分布１１０４のようになるとする。プレ印刷・地紋等を日付印と分離するには、押印色の色相１１０１を中心に許容範囲１１０５で区切る必要がある。１１０５の許容範囲の計算の一例として、頻度分布１１０２は色相１１０１を中心とした正規分布と扱い、偏差βσ以内（例えばβ＝１）となる色相までを許容範囲としてもよい。また計算量を削減するために、色相１１０１の頻度から頻度が１／ｍ（例えばｍ＝２）以下になるまでを許容範囲としてもよい。
【００５３】
一方、図１１（ｂ）は色むらがある場合の色相の頻度分布である。色むらがある場合の頻度分布１１０６において日付印の一部は色相１１０３付近にも固まってある場合がある。範囲１１０５では、色相１１０３付近に固まってある成分はドロップアウトされることになる。そのために、色むらがある場合には許容範囲を１１０７まで広げる。許容範囲の広げ方の一例として、頻度分布１１０６は色相１１０１を中心とした正規分布と扱い、偏差ασ以内（例えばα＝３）となる色相までを許容範囲としてもよい。また計算量を削減するために、色相１１０１の頻度から頻度が１／ｎ（例えばｎ＝１０）以下になるまでを許容範囲としてもよい。これらの許容範囲の計算において、色相１１０１と色相１１０３の間に頻度が０または色相１１０１の頻度から頻度が１／ｎ（例えばｎ＝１０）以下になる色相がある場合もあるため、頻度分布１１０６は移動平均等で馴らしてもよい。
【００５４】
図１０の押印の半径内の各画素について色むら対応用の画素分類（有彩色用）１００７において、押印の半径内の各画素について、ドロップアウトする画素等を分類する。有彩色用の画素分類１００７については図１３で説明する。濃淡値変換処理１００８は、画素分類１００４または１００７によって分類された各画素について特許文献２の図８〜図１１の説明で示す方法により、画素の輝度値に基づく濃淡値画像を生成する。この濃淡値画像では、押印色以外の色をドロップアウトしやすくするため、背景およびプレ印刷と判断される画素の輝度値が、入力画像の輝度地よりも高い値になる。押印色以外であるとの判定には、押印色と背景色との距離、および隣接画素との関係を用いている。
【００５５】
図１２と図１３は、画素分類の判定フローを示す図であり、図１２が無彩色の場合、図１３が有彩色の場合を示している。画素分類は、対象領域内の画素を、背景色や押印色との距離などを基準に、「背景」、「文字」、「除去候補」、「文字候補」の４種類に分類する。このうち、除去候補は、プレ印刷や地紋などを想定しており、明らかに押印とは異なる色を指す。文字候補は、押印と同系色のプレ印刷などを想定しており、押印色と近いために、この段階では文字か除去候補かを決定できない色を指す。この分類結果は、後段の濃淡画像生成に利用される。
【００５６】
図１２は、押印色が無彩色の場合の色むら対応用の画素分類の判定フローである。押印半径内の各画素について、この判定フローに従い画素分類を行う。画素の色と押印色との距離が閾値以上または画素の輝度が背景色の輝度より高いと判定（１２０１）した場合は、この画素について背景フラグをセット（１２０２）して戻る（１２０３）。画素の色と押印色との距離が閾値より近いと判定（１２０４）した場合は、この画素について文字フラグをセット（１２０５）して戻る（１２０６）。画素の彩度が画素のスライド彩度閾値以下でかつ押印色との輝度差が色むら対応用の輝度差の閾値以下と判定（１２０７）した場合も、この画素について文字フラグをセット（１２０８）して戻る（１２０９）。これらの判定以外の場合は、この画素について除去候補フラグをセット（１２１０）して終了する。
【００５７】
図１３は、押印色が有彩色の場合の色むら対応用の画素分類の判定フローである。押印半径内の各画素について、この判定フローに従い画素分類を行う。画素の色と押印色との距離が閾値以上または画素の輝度が背景色の輝度より高いと判定（１３０１）した場合は、この画素について背景フラグをセット（１３０２）して戻る（１３０３）。画素の色と押印色との距離が閾値より近いと判定（１３０４）した場合は、この画素について文字フラグをセット（１３０５）して戻る（１３０６）。画素の色相が色むら対応用の色相許容範囲計算処理１００５によって得られた許容範囲と判定（１３０６）した場合、画素と押印色の彩度差によって分類する（１３０７）して戻る（１３１１）。押印色との彩度差が色むら対応用の閾値より低い場合は文字フラグをセット（１３０８）する。押印色との彩度差が色むら対応用の閾値の一定範囲内の場合は文字候補フラグをセット（１３０９）する。彩度差が一定範囲より大きい場合は除外候補フラグをセット（１３１０）する。画素と押印色の距離が閾値以内または色相が閾値以内と判定（１３１２）した場合は、文字候補フラグをセット（１３１３）して戻る（１３１４）。これら判定以外の場合は、この画素について除去候補フラグをセット（１３１５）して終了する。
【００５８】
図１４は、２値化処理の概要図である。図１４（ａ）は、日付行の全領域に対する２値化の例である。２値化の手法としては、固定閾値を用いる方法や、動的に閾値を変える手法など多くの手法が提案されている。代表的な手法としては、大津の２値化手法がある。この手法では、濃淡画像に対して、各画素が２つのクラス（白化画素と黒化画素）のどちらに属するかを判別するための閾値を、判別分析法を用いて算出する。閾値は、クラス内分散最小、かつクラス間分散最大となる値とする。傾き補正処理５０７によって補正された濃淡画像１４０１の日付領域１４０２を大津の２値化手法で２値化すると日付領域２値画像１４０３が生成される。しかし、色むらがある日付領域全体に対する大津の２値化では、輝度が高い画素は閾値によって白化画素となる場合があるという問題がある。この問題を解決するための方法として、本発明では、日付領域内の複数の部分領域で２値化し、複数の部分領域の２値画像の論理和によって日付領域全体の２値画像とする。部分領域にする理由は、その部分領域の文字成分の輝度が高い画素は、大津の２値化を用いた場合でも２値化閾値が高くなるため、黒画素化とすることができる。
【００５９】
図１４（ｂ）は、本発明である複数の部分領域論理和を用いた２値化の例である。部分領域１４０４は日付領域の左端から指定の大きさをとった領域で、この部分領域のみを例えば大津の２値化を用いて２値化すると２値画像２値画像１４０５になる。部分領域の取り方はこの方法に限らない。また、２値化の方法も大津の２値化に限る必要はない。２値画像１４０６は日付領域全体の２値画像になるが、ここではまだ部分領域１４０４に対してのみ２値化しただけのため、２値画像１４０５と同じである。部分領域１４０７は部分領域１４０４の幅の１／２だけＸ座標にずらした領域である。部分領域１４０７を同様に２値化した結果、２値画像１４０８となる。日付領域全体の２値画像は、日付領域全体２値画像１４０６と２値画像１４０８の論理和（１４０９）である２値画像１４１０となる。同様に部分領域をまた１／２だけＸ座標にずらした部分領域１４１１に対して２値化する。日付領域の右端に到達するまで部分領域１４１２をずらすことを繰り返し、日付領域全体の２値画像１４１３を得る。
【００６０】
以上のようにして得られた２値画像に対して、文字列認識処理４０５を行う。
＜第二の実施形態＞
次に、本発明を適用した押印日付読取り方法および押印日付読取り装置の第２の実施形態について説明する。本実施形態では、ドロップアウトの方法を、色むら対応用とプレ印刷・地紋除去用のいずれかに指定することができる。入力される画像の押印が、色むらが大きい場合は色むら対応用を、プレ印刷や地紋が多い場合はプレ印刷・地紋除去用のドロップアウトを用いることで、どちらの場合にでも対応できる。
【００６１】
図１５は、本発明である色むら対応のカラードロップアウトを適用した押印日付読取りの第２の実施形態の処理フローを示す別の図である。図４と同じ番号がついている処理は図４と同じである。この例では、カラードロップアウトの方式指定処理１５０１において、カラードロップアウトの方式を指定する。カラードロップアウトの方式の判定１５０２において、方式指定処理１５０１で指定した方式が、色むら対応用であれば、色むら対応用２値画像を出力するカラードロップアウト処理４０４を行う。その他の場合は、プレ印刷・地紋除去２値画像を出力するカラードロップアウト１５０３を行う。なお１５０１の処理はこの位置に限らない。プレ印刷・地紋除去２値画像を出力するカラードロップアウト１５０３について、図１６で説明する。
【００６２】
図１６は、本発明であるプレ印刷・地紋除去用２値画像を出力するカラードロップアウト処理のフローを示す図である。図５と同じ番号がついている処理は図５と同じである。このカラードロップアウトの処理は、処理対象領域からプレ印刷や地紋を正しく除去し、押印色のみを残した濃淡画像を生成して、これを２値化して２値画像を生成する。図５との違いは、色むら対応用濃淡画像生成処理５０６が、プレ印刷・地紋除去用濃淡画像生成処理１６０１に置き換わっている。プレ印刷・地紋除去用濃淡画像生成処理１６０１を図１７で説明する。
【００６３】
図１７は、プレ印刷・地紋除去用濃淡画像生成処理のフローを示す図である。図１０と同じ番号が付いている処理は、図１０と同じである。押印の半径内の各画素についてプレ印刷・地紋除去用の画素分類（無彩色用）１７０１は、図１８で説明する。プレ印刷・地紋除去用の色相許容閾値計算１７０２では、例えば、図１１の許容範囲１１０５を用いる。プレ印刷・地紋除去用の許容範囲の計算の一例として、頻度分布１１０２は色相１１０１を中心とした正規分布と扱い、偏差βσ以内（例えばβ＝１）となる色相までを許容範囲としてもよい。また計算量を削減するために、色相１１０１の頻度から頻度が１／ｍ（例えばｍ＝２）以下になるまでを許容範囲としてもよい。
プレ印刷・地紋除去用の画素分類（有彩色用） １７０３は、図１９で説明する。
【００６４】
プレ印刷の罫線等が押印色と同系色である場合や罫線付近に偽色が発生して押印色と同系色になる場合に、画素分類１７０１または１７０３において文字フラグとして残る場合がある。これに対して罫線除去１７０４を行う。罫線除去１７０４を図２０で説明する。なお、罫線除去１７０４は図１０の１００５と１００６の間に入れてもよい。
【００６５】
図１８は、押印色が無彩色の場合のプレ印刷・地紋除去用の画素分類の判定フローである。図１２と同じ番号については、図１２と同じである。図１２との違いは、判定（１２０７）が判定（１８０１）に代わっている。判定（１８０１）は画素の彩度が画素のスライド彩度閾値以下でかつ押印色との輝度差がプレ印刷・地紋除去用の輝度差の閾値以下でかつ輝度が押印色の輝度より低い場合に文字フラグセット（１２０５）して戻る（１２０６）。
【００６６】
図１９は、押印色が有彩色の場合のプレ印刷・地紋除去用の画素分類の判定フローである。図１３と同じ番号については、図１３と同じである。押印色との距離が閾値より近いと判定（１９０１）した場合は、文字フラグをセット（１９０２）して戻る（１９０３）。押印色との色相差が閾値より近いかつ輝度が押印色の輝度より低いと判定（１９０４）した場合は、文字フラグをセット（１９０５）して戻る（１９０６）。色相がプレ印刷・地紋除去用の色相許容範囲内であると判定（１９０７）した場合、彩度差による判定（１９０８）を行う。判定（１９０８）において、彩度差がプレ印刷・地紋除去用の閾値より低い場合は文字フラグをセット（１９０９）する。彩度差がプレ印刷・地紋除去用の一定の閾値範囲内の場合は文字候補フラグをセット（１９１０）する。それ以外は除去候補フラグをセット（１９１１）して戻る（１９１２）。
【００６７】
図２０は、罫線除去の概要を示す。上記の画素判定によって、プレ印刷の罫線等が押印色と同系色である場合や罫線付近に偽色が発生して押印色と同系色になる場合に、これらが文字フラグとしてセットされ、ドロップアウトされない場合がある。この場合、２値化によっても罫線成分が残ってしまう可能性があり、罫線が混入した日付行となる。これを解決するために、例えば３×３画素のフィルタリング処理を行い、細い縦線および横線を罫線成分を除去する。
【００６８】
図２０（ａ）は入力画像であり、日付印２００１は罫線２００２の上に押印されているとする。罫線２００２が日付印の押印色と同系色である場合に、濃淡画像を生成した結果が図２０（ｂ）のようになり、図２０（ｃ）の２値化および日付行抽出結果は罫線ノイズ２００３が残る。罫線除去を行う方法の一例として、横・縦罫線検出フィルタリング処理２００４を行う。画素分類１７０１または１７０３において分類された画素のフラグが文字フラグの場合に、この画素を中心とした８近傍の３×３画素を生成する。各画素のフラグにおいて、文字フラグ２００５と、それ以外のフラグ２００６とした３×３画素が、横罫線２００７か縦罫線２００８のフィルタと一致する画素の座標のフラグを、文字フラグから除去候補フラグもしくは文字候補フラグに変換する。
【００６９】
全ての画素において上記の横・縦罫線検出フィルタリング処理を行って濃淡画像を生成した結果が図２０（ｄ）のようになり、図２０（ｅ）の２値化および日付行抽出結果は罫線が除去された日付文字行となる。
＜第三の実施形態＞
次に、本発明を適用した押印日付読取り方法および押印日付読取り装置の第３の実施形態について説明する。本実施形態では、ドロップアウトにおいて、色むら対応用とプレ印刷・地紋除去用の両方のドロップアウト画像を生成することで、色むらが大きい場合は色むら対応用の２値画像で、プレ印刷や地紋が多い場合はプレ印刷・地紋除去用の２値画像で、どちらかが正しい日付文字行を抽出できるため、入力画像に依存しないで、日付文字列読取りができる。
【００７０】
図２１は、本発明である色むら対応のカラードロップアウトを適用した押印日付読取りの第３の実施形態の処理フローを示す別の図である。図４と同じ番号がついている処理は図４と同じである。色むら対応用２値画像およびプレ印刷・地紋除去用２値画像の２つの２値画像を出力するカラードロップアウト処理２１０１において、色むら対応用２値画像およびプレ印刷・地紋除去用２値画像の２つの２値画像を出力する。色むら対応用２値画像およびプレ印刷・地紋除去用２値画像の２つの２値画像を出力するカラードロップアウト処理２１０１については図２２で説明する。１つ目の２値画像に対する日付文字列認識処理２１０２で、１つ目の２値画像に対して日付文字列認識を行う。２つ目の２値画像に対する日付文字列認識処理２１０２で、２つ目の２値画像に対して日付文字列認識を行う。２つの日付文字列認識結果においてスコアが高い認識結果を２１０４にてセットする。色むら対応用の２値画像と、プレ印刷・地紋除去用の２値画像の、どちらを１つ目とするかは特に決まりはない。
【００７１】
図２２は、むら対応用２値画像およびプレ印刷・地紋除去用２値画像の２つの２値画像を出力するカラードロップアウトの処理フローを示す図である。図４および図１６と同じ番号がついている処理は図４および図１６と同じである。ここでは、色むら対応用とプレ印刷・地紋除去用で共通の処理５０１〜５０５を行った後に、まず色むら対応用の２値画像を生成する（５０６〜５０８）。次にプレ印刷・地紋除去用の２値画像を生成する（１６０１、５０７〜５０８）この２つの２値画像を出力する。
＜第四の実施形態＞
次に、本発明を適用した押印日付読取り方法および押印日付読取り装置の第４の実施形態について説明する。本実施形態では、ドロップアウトにおいて、色むら対応用とプレ印刷・地紋除去用の両方のドロップアウト画像を生成することで、色むらが大きい場合は色むら対応用の２値画像で、プレ印刷や地紋が多い場合はプレ印刷・地紋除去用の２値画像で、どちらかが正しい日付文字行を抽出できるため、入力画像に依存しないで、日付文字列読取りができる。１つ目の２値画像に対する日付文字列読取が成功すれば、その時点で注目する日付印の読取を終わらせることで、第３の実施形態に比べて処理時間の削減ができる。
【００７２】
図２３は、本発明である色むら対応のカラードロップアウトを適用した押印日付読取りの第４の実施形態の処理フローを示す別の図である。図４および図２１と同じ番号がついている処理は図４および図２１と同じである。図２１との違いは、１つ目の２値画像に対する日付文字列認識処理２１０２の後に、１つ目の２値画像に対する日付文字列認識処理２１０２の結果において、認識結果のスコアが閾値以上であると判定（２３０１）した場合に、認識結果をセット（２３０２）して、次の日付印へ処理を戻す（２３０３）。
＜第五の実施形態＞
次に、本発明を適用した押印日付読取り方法および押印日付読取り装置の第５の実施形態について説明する。本実施形態では、ドロップアウトを、色むら対応用とプレ印刷・地紋除去用で個別に行い、それぞれのドロップアウト後に日付文字列認識を行う方法である。
【００７３】
図２４は、本発明である色むら対応のカラードロップアウトを適用した押印日付読取りの第５の実施形態の処理フローを示す別の図である。図４、図１５、図２１と同じ番号がついている処理は図４、図１５、図２１と同じである。ここでは、色むら対応用の２値画像を生成するカラードロップアウト処理４０４を行い、これを１つ目の２値画像として日付文字列認識処理２１０２を行い、次に、プレ印刷・地紋除去用２値画像を出力するカラードロップアウト処理１５０３を行い、これを２つ目の２値画像として日付文字列認識処理２１０３を行い、スコアが高い認識結果をセット（２１０４）する。なお、図２４の中の４０４と１５０３は入れ替えてもよい。
＜第六の実施形態＞
次に、本発明を適用した押印日付読取り方法および押印日付読取り装置の第６の実施形態について説明する。本実施形態では、ドロップアウトを、色むら対応用とプレ印刷・地紋除去用で個別に行い、それぞれのドロップアウト後に日付文字列読取りを行う。一つ目のドロップアウトによる日付文字列認識の結果が得られれば、その時点で注目する日付印の読取を終わらせることで、第５の実施形態に比べて、カラードロップの処理時間と日付文字列認識の処理時間が削減できる。
【００７４】
図２５は、本発明である色むら対応のカラードロップアウトを適用した押印日付読取りの第６の実施形態の処理フローを示す別の図である。図４、図１５、図２１、図２３と同じ番号がついている処理は図４、図１５、図２１、図２３と同じである。図２４との違いは、１つ目の２値画像に対する日付文字列認識処理２１０２の後に、１つ目の２値画像に対する日付文字列認識処理２１０２の結果において、認識結果のスコアが閾値以上であると判定（２３０１）した場合に、認識結果をセット（２３０２）して、次の日付印へ処理を戻す（２３０３）。
＜第七の実施形態＞
次に、本発明を適用した押印日付読取り方法および押印日付読取り装置の第７の実施形態について説明する。本実施形態では、カラードロップアウトを様々な閾値で行い、それに基づいた複数の２値画像を生成し、日付文字列認識することにより、正しく認識できる２値画像があることを期待できる。
【００７５】
図２６は、複数の２値画像を出力するカラードロップアウトを適用した押印日付読取りの第７の実施形態の処理フローを示す別の図である。図４、図２３と同じ番号がついている処理は図４、図２３と同じである。複数の２値画像を出力するカラードロップアウト処理２６０１は図５〜図１９にある様々な閾値を段階的に変動させた２値画像を生成し、２値画像の数だけ（２６０２）、日付文字列認識処理４０５を行い、認識結果のスコアが以上と判定（２３０１）すれば、認識結果をセット（２３０２）して次の日付印へ処理を戻す（２３０３）。
＜第八の実施形態＞
次に、本発明を適用した押印日付読取り方法および押印日付読取り装置の第８の実施形態について説明する。本実施形態では、カラードロップアウトを様々な閾値で行い、それに基づいた複数の２値画像を生成し、全ての２値画像に対して日付文字列認識し、最も精度が高い結果を得ることができる。
【００７６】
図２７は、複数の２値画像を出力するカラードロップアウトを適用した押印日付読取りの第８の実施形態の処理フローを示す別の図である。図４、図２６と同じ番号がついている処理は図４、図２６と同じである。図２６との違いは、２６０２にて全ての２値画像に対して日付文字列認識４０５を行った後で、全ての認識結果の中でスコアが最も高い認識結果をセット（２７０１）する。また、２７０１の代わりに、全ての認識結果の中で認識した日付文字列の多数決を取って、最も多い認識結果をセットしてもよい。
【００７７】
次に、本発明を適用した押印日付読取り方法および押印日付読取り装置による認識結果の確認・修正を行う表示画面について説明する。なお、表示する内容は以下の説明によって限定されるものではない。
【００７８】
図２８は、図２１、図２３、図２４、図２５の日付印読取処理の結果を確認および修正する画面の表示例である。表示装置５０は画面２８０１を表示する。日付印読取処理の結果・確認を２８０２で表示するウィンドウである。入力画像表示ウィンドウ２８０３はカラー画像２８０４を表示する。日付印検知により検知した日付印２８０５を含む日付印読取処理の処理対象領域２８０６を表示する。帳票ＩＤを２８０７にて表示する。現在確認・修正を行っているカラー画像が全処理カラー画像中の何番目かを示す番号を２８０８にて表示する。２８０９は本発明である色むら対応用とプレ印刷・地紋除去用それぞれのカラードロップアウト処理内の濃淡画像生成結果を表示する。２８１０に２値化および日付行抽出を行った結果の２値画像を色むら対応用とプレ印刷・地紋除去用のそれぞれを表示する。２８１２に日付読取りの結果の日付文字列を表示する。２８１３は日付読取り結果の修正を行うエディタである。２８１４および２８１５は同じカラー画像中に別の日付印があれば、別の日付印の認識結果等の表示に切り替えるボタンである。２８１６は別のカラー画像に対する日付印の認識結果等の表示に切り替えるスクロールバーである。
【００７９】
図２９は、図４または図１５の日付印読取処理の結果を確認および修正する画面の別の表示例である。この表示は、日付印読取結果が不読等の結果の場合に、カラードロップアウト等の様々な閾値を変動した際に読取結果が得られるかを確認する。または、カラードロップアウト等の様々な閾値を自動で変動して、読取結果が得られるまで調整することで、日付印読取結果が不読等の結果の場合の修正も自動で行える。表示装置５０は画面２９０１を表示する。日付印読取処理の結果・確認を２９０２で表示するウィンドウである。入力画像表示ウィンドウ２９０３はカラー画像２９０４を表示する。日付印検知により検知した日付印２９０５を含む日付印読取処理の処理対象領域２９０６を表示する。帳票ＩＤを２９０７にて表示する。現在確認・修正を行っているカラー画像が全処理カラー画像中の何番目かを示す番号を２９０８にて表示する。２９０９は処理対象領域２９０６をカラー画像から抽出した日付印領域画像である。２９１０は図４または図１５の処理においてカラードロップアウト処理内の濃淡画像生成結果と、２値化および日付行抽出を行った結果の２値画像と、日付読取りの結果の日付文字列を表示する。２９１１は２９１２および２９１３のタイトルである。２９１２は２９１０の認識結果が不読等の場合に、カラードロップアウトの処理における様々な閾値を手動または自動で変更し、その閾値を用いた図４または図５の処理を行い、日付読取り結果が得られるかを調整する。２９１３は２９１２の閾値調整の調整変更による図４または図５の処理結果を表示する。２９１４および２９１５は同じカラー画像中に別の日付印があれば、別の日付印の認識結果等の表示に切り替えるボタンである。２９１６は別のカラー画像に対する日付印の認識結果等の表示に切り替えるスクロールバーである。
【００８０】
図３０は、図２６または図２７の日付印読取処理の結果を確認および修正する画面の別の表示例である。表示装置５０は画面３００１を表示する。日付印読取処理の結果・確認を３００２で表示するウィンドウである。入力画像表示ウィンドウ３００３はカラー画像２９０４を表示する。日付印検知により検知した日付印３００５を含む日付印読取処理の処理対象領域３００６を表示する。帳票ＩＤを３００７にて表示する。現在確認・修正を行っているカラー画像が全処理カラー画像中の何番目かを示す番号を３００８にて表示する。３００９は、図２６または図２７のカラードロップアウトの処理結果で得られる複数の、カラードロップアウト処理内の濃淡画像生成結果または２値化および日付行抽出を行った結果の２値画像またはその両方を、全てないし一部を表示する。３０１０は、日付読取り結果でアクセプトした画像に対して強調枠を表示する。３０１１は入力装置等で選択した画像に対するカラードロップアウト等のパラメータの値を表示するウィンドウである。３０１２は日付読取り結果の修正を行うエディタである。３０１３および３０１４は同じカラー画像中に別の日付印があれば、別の日付印の認識結果等の表示に切り替えるボタンである。３０１５は別のカラー画像に対する日付印の認識結果等の表示に切り替えるスクロールバーである。
【００８１】
続いて、前述した各実施の形態によって得られるネットワーク制御システムの特徴的な構成について、以下に列記する。
【００８２】
（１）日付印が押印されたカラー画像からの押印日付読取り方法であって、
上記カラー画像を入力するステップと、
上記カラー画像から日付印を検知するステップと、
ドロップアウト方法を指定するステップと、
上記指定したドロップアウト方法が色むら対応用であるかプレ印刷・地紋除去用であるか判定するステップと、
上記指定したドロップアウト方法が色むら対応用であれば、上記検知した日付印に対して日付文字行２値画像を出力する請求項１の画像処理方法と、
上記指定したドロップアウト方法が色むら対応用以外であれば、上記検知した日付印に対して日付文字行２値画像を出力する請求項２の画像処理方法と
２値画像に対して日付文字列を認識するステップと、
上記認識結果をセットするステップと、
結果を出力するステップを有する第２の押印日付読取り方法。
【００８３】
（２）処理対象画像から文字成分のみ残すドロップアウトの画像処理方法であって、
上記処理対象画像を入力するステップと、
上記処理対象画像の画素を色クラスタリングするステップと、上記色クラスタリングに基づいて背景色を選択するステップと、
上記処理対象画像の画素から押印色を選択するステップと、
上記処理対象画像の画素を色空間変換するステップと、
上記処理対象画像の画素から色むら対応用の濃淡画像生成するステップと、
上記色むら対応用の濃淡画像の傾きを補正するステップと、
上記色むら対応用の濃淡画像を傾き補正した濃淡画像を２値化するステップと、
上記処理対象画像の画素からプレ印刷・地紋除去用の濃淡画像生成するステップと、
上記プレ印刷・地紋除去用の濃淡画像を傾き補正するステップと、
上記プレ印刷・地紋除去用の濃淡画像を傾き補正した濃淡画像を２値化するステップを有する第３の画像処理方法。
【００８４】
（３）日付印が押印されたカラー画像からの押印日付読取り方法であって、
上記カラー画像を入力するステップと、
上記カラー画像から日付印を検知するステップと、
上記検知した日付印に対して、色むら対応用２値画像およびプレ印刷除去用２値画像の２つの２値画像を出力する請求項１６の画像処理方法と、
１つ目の２値画像に対して日付文字列を認識するステップと、
２つ目の２値画像に対して日付文字列を認識するステップと、
上記２つの認識結果のスコアが高い方の認識結果をセットするステップと、
結果を出力するステップを有する第３の押印日付読取り方法。
【００８５】
（４）日付印が押印されたカラー画像からの押印日付読取り方法であって、
上記カラー画像を入力するステップと、
上記カラー画像から日付印を検知するステップと、
上記検知した日付印に対して、色むら対応用２値画像およびプレ印刷・地紋除去用２値画像の２つの２値画像を出力する請求項１６の画像処理方法と、
上記１つ目の２値画像に対して日付文字列を認識するステップと、
上記１つ目の２値画像に対する日付文字列結果のスコアを判定するステップと、
上記判定でスコアが閾値以上の場合に認識結果をセットするステップと、
上記判定でスコアが閾値以上の場合に認識結果をセットした後に次の日付印へ処理を移動するステップと、
２つ目の２値画像に対して日付文字列を認識するステップと、
上記２つの認識結果のスコアが高い方の認識結果をセットするステップと、
結果を出力するステップを有する第４の押印日付読取り方法。
【００８６】
（５）日付印が押印されたカラー画像からの押印日付読取り方法であって、
上記カラー画像を入力するステップと、
上記カラー画像から日付印を検知するステップと、
上記検知した日付印に対して、色むら対応用２値画像を出力する請求項１の画像処理方法と、
上記出力した２値画像に対して、１つ目の２値画像に対して日付文字列を認識するステップと
上記検知した日付印に対して、プレ印刷・地紋除去用２値画像を出力する請求項１０の画像処理方法と、
上記出力した２値画像に対して、２つ目の２値画像に対して日付文字列を認識するステップと
上記２つの認識結果のスコアが高い方の認識結果をセットするステップと、
結果を出力するステップを有する第５の押印日付読取り方法。
【００８７】
（６）前記（５）記載のドロップアウトの順番は、色むら対応用とプレ印刷・地紋除去用は順不同であることを特徴とする請求項１９の押印日付読取り方法。
【００８８】
（７）日付印が押印されたカラー画像からの押印日付読取り方法であって、
上記カラー画像を入力するステップと、
上記カラー画像から日付印を検知するステップと、
上記検知した日付印に対して、色むら対応用２値画像を出力する請求項１の画像処理方法と、
上記出力した２値画像に対して、１つ目の２値画像に対して日付文字列を認識するステップと
上記１つ目の２値画像に対する日付文字列結果のスコアを判定するステップと、
上記判定でスコアが閾値以上の場合に認識結果をセットするステップと、
上記判定でスコアが閾値以上の場合に認識結果をセットした後に次の日付印へ処理を移動するステップと、
上記検知した日付印に対して、プレ印刷・地紋除去用２値画像を出力する請求項１０の画像処理方法と、
上記出力した２値画像に対して、２つ目の２値画像に対して日付文字列を認識するステップと
上記２つの認識結果のスコアが高い方の認識結果をセットするステップと、
結果を出力するステップを有する第６の押印日付読取り方法。
【００８９】
（７）前記（６）記載のドロップアウトの順番は、色むら対応用とプレ印刷・地紋除去用は順不同であることを特徴とする請求項２１の押印日付読取り方法。
【００９０】
（８）日付印が押印されたカラー画像からの押印日付読取り方法であって、
上記カラー画像を入力するステップと、
上記カラー画像から日付印を検知するステップと、
上記検知した日付印に対して、複数の２値画像を出力するカラードロップアウトを行うステップと、
上記出力した２値画像に対して、日付文字列を認識するステップと
上記２値画像に対する日付文字列の認識結果のスコアを判定するステップと、
上記判定でスコアが閾値以上の場合に認識結果をセットするステップと、
上記判定でスコアが閾値以上の場合に認識結果をセットした後に次の日付印へ処理を移動するステップと、
結果を出力するステップを有する第７の押印日付読取り方法。
【００９１】
（９）日付印が押印されたカラー画像からの押印日付読取り方法であって、
上記カラー画像を入力するステップと、
上記カラー画像から日付印を検知するステップと、
上記検知した日付印に対して、複数の２値画像を出力するカラードロップアウトを行うステップと、
上記出力した全ての２値画像に対して、日付文字列を認識するステップと
上記全ての２値画像に対する日付文字列認識の結果の中で、最もスコアが高い認識結果をセットするステップと、
結果を出力するステップを有する第８の押印日付読取り方法。
【００９２】
（１０）前記（９）記載の認識結果をセットするステップにおいて、認識結果の文字列の頻度を数えて、最も頻度が多い認識文字列を認識結果としてセットすることも可能な請求項２４の押印日付読取り方法。
【符号の説明】
【００９３】
１０…入力装置、２０…画像入力装置、３０…ＣＰＵ、４０…辞書、５０…表示装置、６０…画像ＤＢ、２１０…色むら対応用カラードロップアウト２値画像、４０４…色むら対応用２値画像を出力するカラードロップアウト処理、４０５、日付文字列認識処理、５０２…カラークラスタリング処理、５０３…背景色選択処理、５０４、押印色選択処理、５０６…色むら対応用濃淡画像生成処理、５０７…傾き補正処理、５０８…２値化処理、１５０３…プレ印刷・地紋除去用２値画像を出力するカラードロップアウト処理、１６０１…プレ印刷・地紋除去用濃淡画像生成処理、２１０１…色むら対応用２値画像およびプレ印刷・地紋除去用２値画像の２つの２値画像を出力するカラードロップアウト処理
【技術分野】
【０００１】
本発明は、ＯＣＲ（Ｏｐｔｉｃａｌ Ｃｈａｒａｃｔｅｒ Ｒｅａｄｅｒ：光学式文字読取装置）等の画像の処理技術に関し、特に文字の色に濃淡差があり、除去対象の色が文字色と同系色の場合などに、文字の色のみを残すドロップアウト技術に関する。
【背景技術】
【０００２】
カラー画像から白黒２値画像を生成する２値化処理は、帳票OCRの前処理として基本的な処理である。帳票にはプレ印刷と呼ばれる予め印刷された罫線や文字があり、読取対象の文字を認識する際の障害となる。したがって、帳票画像の２値化処理でプレ印刷部分を消去、すなわち白化する処理は、読取の精度向上のために必須の機能である。色情報を用いたプレ印刷の白化はカラードロップアウトと呼ばれる。
【０００３】
カラードロップアウト処理の代表的な従来技術として、特許文献１には、カラー画像を撮像し、ＲＢＧの３つの色のうち、ノイズ成分の輝度が最も高くなる色を選択した後、その色における画素の濃淡値を用いて２値化する方式が記載されている。また、特許文献２には、帳票ごとに異なる押印色とプレ印刷色に対応するため、押印の文字色を推定した後、文字色のみを抽出する方式が記載されている。また、その他の方法として、ノイズ成分として赤系もしくは青系のいずれかを指定し、ノイズ成分と同系色の光源で撮像した画像を文字認識に用いる方法がある。例えば、文字が黒で罫線が赤い帳票を赤系の光源で撮像すると、罫線部分が画像に現れなくなる。青系でも同様である。
【先行技術文献】
【特許文献】
【０００４】
【特許文献１】特開２００３−１９６５９２号公報
【特許文献２】特開２０１０−２４４３７２号公報
【発明の概要】
【発明が解決しようとする課題】
【０００５】
カラードロップアウト処理が必要な帳票の例として、領収伝票がある。領収伝票には罫線や文字等のプレ印刷があり、活字文字や手書き文字が記載され、入出金の証明として日付印が押印されている。このうち、日付印の文字を読取るには、カラードロップアウト処理において通常の記載文字とは異なる課題がある。日付印のインク色は帳票ごとに赤や青、黒など異なるうえ、多様な色や形状のプレ印刷との交差が多く発生する。
【０００６】
さらに、日付印のインクの付け方や押し方の影響により、日付印内の文字は、帳票に記載される通常の文字に比べて濃淡差が大きい。そのうえ、日付印はプレ印刷と同系色のインクで押印されることも多い。文字の濃淡差と同系色のプレ印刷は二律背反の関係にある。通常、文字色の濃淡差を許容するには、文字の薄い箇所を抽出するために、ドロップアウトの閾値を下げる。これはノイズ成分なども同時に抽出する可能性があるため、プレ印刷との分離を困難にする。一方、同系色のプレ印刷をドロップアウトするには、閾値を厳しくすることになり、濃淡差が大きな文字を抽出できない。
【０００７】
特許文献１に記載の方法では、文字とプレ印刷が異なる色であることを前提としているため、文字とプレ印刷が同系色の場合には適用できない。また、特許文献２に記載の方法では、ドロップアウトの閾値を動的に求めているものの、濃淡差が大きな文字と同系色の罫線が混在する場合には対応できない。また、ノイズ成分として赤系もしくは青系のいずれかを指定し、ノイズ成分と同系色の光源で撮像した画像を文字認識に用いる方法では、押印色やプレ印刷色が異なる帳票が混在する場合には適用できない。
【０００８】
上述したような従来技術における問題点に鑑み、本発明の目的は、色むらが大きい場合に対するドロップアウトにおいて、インクの量が薄い画素の文字を正しく抽出すること、さらに、文字の周辺にプレ印刷が存在する帳票と、文字の濃淡差が大きな帳票が混在しても、適切にドロップアウトして文字認識することにある。
【０００９】
ここで「色むら」とは、例えば日付印を帳票等に押印する際に、文字等の色がインクの量や力の加減等により、滲んだりかすれたりして、濃淡差が大きい状態をいう。
【課題を解決するための手段】
【００１０】
本発明に係る画像処理方法では、処理対象画像から文字成分のみ残すドロップアウトの画像処理方法であって、処理対象画像を入力するステップと、処理対象画像の画素を色クラスタリングするステップと、色クラスタリングに基づいて背景色を選択するステップと、処理対象画像の画素から押印色を選択するステップと、処理対象画像の画素を色空間変換するステップと、処理対象画像の画素から色むら対応用の濃淡画像生成するステップと、濃淡画像の傾きを補正するステップと、傾き補正した濃淡画像を２値化するステップを有する。
【発明の効果】
【００１１】
本発明における、文字成分色とノイズ成分色が不定である帳票に対するドロップアウトでは、色むらが大きい場合でも、正しく文字色を残すことができる。このため、日付文字列も正しく抽出することができる。
【図面の簡単な説明】
【００１２】
【図１】本発明の実施形態の画像処理装置の構成図である。
【図２】従来の実施形態のドロップアウト処理の概略を示す図である。
【図３】本発明の実施形態のドロップアウト処理の概略を示す図である。
【図４】本発明の実施形態の押印日付読取りの処理の一例を示す図である。
【図５】本発明の実施形態の色むら対応用２値画像を出力するドロップアウト処理を示すフローチャートである。
【図６】本発明の実施形態の押印色選択処理を示すフローチャートである。
【図７】従来の押印色選択におけるドロップアウト処理により日付印がドロップアウトしてしまう例を示す図である。
【図８】本発明の実施形態の円周色選択処理を示すフローチャートである。
【図９】本発明の実施形態の押印色決定処理を示すフローチャート。
【図１０】本発明の実施形態の色むら対応用の濃淡画像生成処理を示すフローチャートである。
【図１１】日付印の色相頻度分布と日付印色相許容範囲の概略を示す図である。
【図１２】本発明の実施形態の押印色が無彩色の場合の注目する画素における色むら対応用画素分類の判定処理を示すフローチャートである。
【図１３】本発明の実施形態の押印色が有彩色の場合の注目する画素における色むら対応用画素分類の判定処理を示すフローチャートである。
【図１４】本発明の実施形態の２値化処理の概略を示す図である。
【図１５】本発明の実施形態の押印日付読取りの第２の処理を示すフローチャートである。
【図１６】本発明の実施形態のプレ印刷・地紋除去用２値画像を出力するドロップアウト処理を示すフローチャートである。
【図１７】本発明の実施形態のプレ印刷・地紋除去用の濃淡画像生成処理を示すフローチャートである。
【図１８】本発明の実施形態の押印色が無彩色の場合の注目する画素におけるプレ印刷・地紋除去用画素分類の判定処理を示すフローチャートである。
【図１９】本発明の実施形態の押印色が有彩色の場合の注目する画素におけるプレ印刷・地紋除去用画素分類の判定処理を示すフローチャートである。
【図２０】本発明の実施形態の日付印が同系色の罫線の上に押印した場合の罫線除去有無による２値画像出力結果の概略を示す図である。
【図２１】本発明の実施形態の押印日付読取りの第３の処理を示すフローチャートである。
【図２２】本発明の実施形態の色むら対応用２値画像およびプレ印刷・地紋除去用２値画像の２つの２値画像を出力するドロップアウト処理を示すフローチャートである。
【図２３】本発明の実施形態の押印日付読取りの第４の処理を示すフローチャートである。
【図２４】本発明の実施形態の押印日付読取りの第５の処理を示すフローチャートである。
【図２５】本発明の実施形態の押印日付読取りの第６の処理を示すフローチャートである。
【図２６】本発明の実施形態の押印日付読取りの第７の処理を示すフローチャートである。
【図２７】本発明の実施形態の押印日付読取りの第８の処理を示すフローチャートである。
【図２８】本発明の実施形態の押印日付読取り結果の確認および修正するユーザーインタフェースの第１の例を示す図である。
【図２９】本発明の実施形態の押印日付読取り結果の確認および修正するユーザーインタフェースの第２の例を示す図である。
【図３０】本発明の実施形態の押印日付読取り結果の確認および修正するユーザーインタフェースの第３の例を示す図である。
【発明を実施するための形態】
【００１３】
＜第一の実施形態＞
本発明の実施形態を、図面を用いて説明する。なお、本発明は、以下の説明によって限定されるものではない。
【００１４】
図１は、本発明の実施形態の帳票認識システムの構成を示す図である。帳票認識システムは、入力装置１０、画像入力装置２０、画像処理装置３０、辞書４０、表示装置５０、及び画像データベース（ＤＢ）６０を備える。入力装置１０は、画像処理装置３０にコマンド及びコードデータ等を入力するためのキーボード及びマウス等の装置である。画像入力装置２０は、帳票を画像データとして、画像処理装置３０に入力するためのスキャナ等の装置である。画像処理装置３０は、画像入力装置２０によって入力された帳票の読み取り領域を検出してドロップアウト処理をする計算機であって、図示しないＣＰＵ、メモリ、及び記憶装置を備える。画像処理装置では、ドロップアウト画像の文字認識などの処理も実行することができる。辞書４０は、画像処理装置３０が帳票を認識する際に参照する辞書データベースである。辞書４０は、具体的には、画像処理装置３０が文字認識する際に参照する文字認識辞書や、文字列照合を行う際に参照する知識辞書や、帳票の読み取り領域を検出する際に参照する帳票情報等を格納する。表示装置５０は、画像処理装置３０によって帳票が認識された結果を表示するディスプレイ等の装置である。画像ＤＢ６０は、画像入力装置２０によって画像処理装置３０に入力された画像データを格納する。また、画像ＤＢ６０には、画像入力装置２０によって画像処理装置３０が認識する対象となる画像データが予め格納されていてもよい。
【００１５】
なお、本発明は、画像処理装置３０と同じ機能を備えるソフトウェアによって通常の計算機に実装されてもよい。
【００１６】
本発明で実現するドロップアウト方式の具体例を示す前に、従来のドロップアウトの処理結果の概要を図２に、本発明の色むら対応の処理結果の概要を図３にそれぞれ示す。
【００１７】
図２は，例えば特許文献２に示すような従来のドロップアウトの処理結果の概要を示す図である。図２（ａ）はプレ印刷の上に色むらがほぼなく一様に押印された入力画像である。２０１は処理対象の領域、２０２は色むらがなく一様に押された日付印、２０３は帳票上の罫線等のプレ印刷や地紋を表す。図２（ａ）の入力画像から押印色以外のプレ印刷や地紋の色をドロップアウトすることにより、押印の色成分２０４のみが残ったカラードロップアウト画像（図２（ｂ））が生成される。図２（ｂ）のカラードロップアウト画像から傾き等の画像補正、２値化、日付行抽出を行うと、日付行成分２０５のみの日付行２値画像（図２（ｃ））が生成される。
【００１８】
図２（ｄ）は色むらがある入力画像である。処理対象領域２０６内の日付印２０７は薄い画素２０８や濃い画素２０９があり，日付印全体としては色むらが大きい。この図２（ｄ）の入力画像に対してドロップアウトを行うと，薄い画素が押印色でないと判定されるため，薄い画素がドロップアウトされて濃い画素２１０のみが残ったカラードロップアウト画像（図２（ｅ））が生成される。図２（ｅ）のカラードロップアウト画像から傾き等の画像補正、２値化、日付行抽出を行うと、日付の一部が欠落した日付行成分２１１のみの日付行２値画像（図２（ｆ））が生成される。
【００１９】
このように、従来のドロップアウトでは、色むらが大きい場合に文字成分が欠落してしまうという問題があった。ここで、本発明の第１の課題は、このような色むらが大きい場合に対してもドロップアウトによって成分が欠落することなく正しく日付文字行を抽出することである。これを実現するために、本発明における課題の解決策についての概要を説明する。詳細については図４以降で説明する。
【００２０】
（１）押印色選択：従来方式では、背景色の次に多い画素数のクラスタを押印色とするため，処理対象領域に対してプレ印刷や地紋色の画素数が日付印色の画素数より多い場合に，プレ印刷や地紋色を押印色としてしまうことがある。本発明では、まず、日付印の円周付近の画素の色のみで色クラスタリングを行い、背景色とは近くなく、最も頻度が多いクラスタを円周色として選択する。次に、押印の中の領域で色クラスタリングを行い、この結果のクラスタの中で、ある程度の頻度があり、かつ円周色に最も近いクラスタの色を押印色とする。この方法により、プレ印刷や地紋の色を押印色に誤選択しないようにできる。
【００２１】
（２）カラードロップアウト：従来方式では、画素のＲＧＢ情報だけなくＨＳＶ色空間も用いてプレ印刷や地紋をドロップアウトするための閾値が厳しいため、色むらが大きい場合には押印のインク色が薄い個所の画素がドロップアウトして欠落してしまう。本発明では、処理対象領域内の色相の頻度分布からＲＧＢ情報とこれを変換したＨＳＹ色空間において、色相や彩度や輝度の許容範囲を動的に求めることで、色むらが大きい場合であっても、文字色を残すことができる。
【００２２】
（３）２値化：従来方式では、色むらが大きい場合には，押印のインク色が薄い個所の画素が白画素となり欠落してしまい，文字がかすれたりする。本発明では、日付行領域内の部分領域ごとに２値化閾値を求めて２値化すると，押印のインク色が薄い画素が多い部分領域においては，薄い画素も黒画素化することができ、部分領域ごとに２値化した全ての２値画像の論理和の２値画像を生成することで日付行領域の２値画像は，色むらが大きい場合であっても，文字の欠落を抑制できる。
【００２３】
図３は、本発明の色むら対応のドロップアウトの処理結果の概要を示す図である。図３（ａ）は，図２（ｄ）と同じ色むらがある入力画像である。色むら対応のカラードロップアウトでは，薄い画素３０２もドロップアウトせず残ったカラードロップアウト画像（図３（ｂ））が生成される。図３（ｂ）のカラードロップアウト画像から傾き等の画像補正、色むら対応の２値化、日付行抽出を行うと、文字成分が欠落しない日付行成分３０２日付行２値画像（図３（ｃ））が生成される。
【００２４】
図３（ｄ）は図２（ａ）と同じプレ印刷の上に色むらがほぼなく一様に押印された入力画像である。この図３（ｄ）の入力画像に色むら対応のカラードロップアウトを行うと，プレ印刷の罫線や文字３０３も残ったカラードロップアウト画像（図３（ｅ））が生成される。図３（ｅ）のカラードロップアウト画像から傾き等の画像補正、色むら対応の２値化、日付行抽出を行うと、プレ印刷の罫線や文字成分３０５が残った日付行成分３０４の日付行２値画像（図３（ｆ））が生成される。
【００２５】
このように、色むらに対応することで、従来ドロップアウトにて除去していた罫線や地紋成分が残ってしまうという問題がある。ここで、本発明における第２の課題は、色むらが大きい場合や同系色のプレ印刷・地紋がある場合が混在して入力されても、どちらの場合でも正しく日付文字行を抽出することである。これを実現するために、本発明では以下のような方式をとる。第１の方式は、ドロップアウトを、色むら対応用ドロップアウトとプレ印刷・地紋除去用のドロップアウトを状況により選択して日付文字行２値画像を出力することである。第２の方式は、ドロップアウトは、色むら対応用とプレ印刷・地紋除去用の２種類の日付文字行２値画像を出力することである。詳細については、図１５以降で説明する。
【００２６】
以下、本発明を適用した押印日付読取り方法および押印日付読取り装置の一実施形態について説明する。これは、日付印の押印に色むらが大きい場合においても、押印のインク色が薄い個所の画素が残すことができる。
【００２７】
図４は、本発明である色むら対応のカラードロップアウトを適用した押印日付読取りの処理フローを示す図である。これは、画像処理装置（ＣＰＵ）３０にて実行される。通常はＣＰＵで実行されるプログラムとして実現され、このようなプログラムは各種記録媒体に格納することができ、メモリに格納されてＣＰＵで実行される。
【００２８】
画像入力４０１において対象のカラー画像を入力し、日付印検知４０２において日付印の領域を検出する。
【００２９】
日付印検知４０２にて検出した日付印の数だけ４０３は、４０４〜４０６を繰り返す。色むら対応用２値画像を出力するカラードロップアウト４０４において、注目する日付印の領域を含めた処理対象領域から、日付行２値画像を抽出し、日付文字列認識４０５において辞書４０に含まれる文字識別辞書および日付表記辞書等により日付文字列認識を行う。４０５において日付文字列認識結果を４０６にてセットして注目する日付印の読取り処理を終える。４０３において検出した全ての日付印の読取を終えたら、４０７にて結果を出力し、押印日付読取り処理を終了する。色むら対応用２値画像を出力するカラードロップアウト４０４について、図５で説明する。
【００３０】
図５は、本発明である色むら対応用２値画像を出力するカラードロップアウト処理のフローを示す図である。このカラードロップアウトの処理は、処理対象領域から押印色のみを残した濃淡画像を生成して、これを２値化して２値画像を生成する。
【００３１】
処理領域選択処理５０１は、画像中から読取り対象の日付印を含む領域を選択する処理である。この処理領域は、日付印検知４０２で求めた日付印の中心座標と半径を用いて決定する。
【００３２】
色クラスタリング処理５０２は、処理領域中の各画素を色クラスタリングする処理である。色クラスタリングは、画像中の各画素を色空間上にマッピングした後、あらかじめ決められた基準に基づいて近い色同士を同じクラスタとする。色クラスタリングの具体的な例としては、特許文献２の方式などを使うことができる。以降の処理を容易にするために、色クラスタリングの結果は、クラスタの画素数が多い順番にソートしてもよい。
【００３３】
背景色選択処理５０３は色クラスタリングした結果から、背景色を選択する処理である。背景色は色クラスタリングした結果の中で、最も画素数（頻度）が多い色を背景色とする。背景色を含むクラスタの選択基準の一例としては、最も画素数が多いクラスタを採用する。この理由は、処理対象領域内では、日付印、罫線、ノイズ、背景の中で、一般的には背景の面積が最も多いからである。背景色を含むクラスタの選択基準の他の例としては、最も輝度が高いクラスタを選択することである。この理由は、紙の色は日付印の色に比べて輝度が高いためである。クラスタの輝度としては、クラスタに含まれる画素の平均の輝度や、分布のピークまたは中心の輝度を用いることができる。輝度ＹはＲＧＢの各色に異なる重みを付けており、Ｙ＝0.29891Ｒ＋0.58661Ｇ＋0.11448Ｂとして計算する。一方、日付印内の背景色を含むクラスタより、日付印の色を含むクラスタの頻度の方が多い場合、上記の方式では日付印の色を背景色と誤判定することがある。これを防ぐため、日付印の領域の外側の画素のみを色クラスタリングした結果から上記の基準例に従って背景色を選択してもよい。
【００３４】
日付印の押印色選択処理５０４は色クラスタリングした結果から、日付印の押印色を選択する処理である。押印色選択処理については図６〜図９で説明する。
【００３５】
色空間変換処理５０５は、色むら対応濃淡画像生成処理５０６に利用するために、処理対象の画素を入力装置から得られるＲＧＢ色空間からＨＳＹ空間に変換する処理である。ＨＳＹ空間とは、色の種類の指標である色相（Ｈ）と鮮やかさの指標である彩度（Ｓ）、および明るさの指標である輝度（Ｙ）で色を表現するものである。ＨとＳについては、広く利用されているＨＳＶ色空間と同じ計算式で算出する。本発明でＨＳＹ色空間を用いた理由は、一般に、色相、彩度、明るさ用いた色の表現は、ＲＧＢを用いる表現に比べて人間の色の知覚方法と類似しているためである。明るさの指標として、明度（Ｖ）ではなく輝度（Ｙ）を用いた理由は、輝度の方が人間の明るさの知覚方法に近いためである。なお、色空間の変換はＨＳＶやＨＳＹだけでなく、ＨＳＶ色空間やＨＳＬ色空間などを用いてもよい。その他にも、印刷の過程で利用する減法混色の表現であるＣＭＹ色空間やＣＭＹＫ色空間などを利用してもよい。
【００３６】
このように、ＲＧＢ以外の次元を用いることにより、後述する画素分類処理や等の処理が高精度となる。上記の例では、一括して色空間の変換を行ってから、次の処理を行ったが、色空間の変換は、画素を利用する際にその都度、ＲＧＢからＨやＳ等を計算して処理を行ってもよい。
【００３７】
色むら対応用濃淡画像生成処理５０６は、押印色選択５０４によって選択した押印色に対して処理対象領域から色むらに適した色のみを残し、濃淡画像を生成する。色むら対応用濃淡画像生成処理については、図１０〜図１３で説明する。
【００３８】
傾き補正５０７は、濃淡画像生成処理５０６によって生成された濃淡画像に対して、日付領域の上限にある線を検知して傾きを求め、この傾きを正立するように補正する。傾き補正をここで行うメリットは、２値化後の画像に比べて濃淡画像では傾き補正後に量子化誤差が発生しにくいことである。具体的には、斜めの線や曲線を含む画像を補正した際に、線上にギザギザが発生しにくくなる。傾き補正手法の例としては、バイナリア法やバイキュービック法を利用することができる。なお、傾き補正のためには、傾きを検出する必要がある。これは、例えば日付行の上下にある線を検知して求めることができるが、他の方法で求めてもよい。また傾きの検出は、傾き補正５０７内で検出も、他の処理で検出してもよい。
【００３９】
２値化処理５０８は、傾き補正５０７で傾き補正した濃淡画像から日付行の領域のみ２値化し、２値画像を生成する。２値化処理５０７は図１４で説明する。
【００４０】
押印色選択処理５０４について図６〜図９を用いて説明する。図６は押印色選択の処理フローである。押印色選択は、プレ印刷や地紋の色に誤って押印色としないために、まず円周色選択処理６０１によって円周色を選択し、次に押印色決定処理６０２によって押印色を決定する。従来の方式では、背景色の次に多い画素数のクラスタを押印色とするため，処理対象領域に対してプレ印刷や地紋色の画素数が日付印色の画素数より多い場合に，プレ印刷や地紋色を押印色としてしまうことがある。この理由を図７で後述する。本発明では、まず、日付印の円周付近の画素の色のみで色クラスタリングを行い、背景色とは近くなく、最も頻度が多いクラスタを円周色として選択する。円周付近の画素を用いる理由は、円周付近が最も押印色に近い色が密にあるためである。次に、押印の中の領域で色クラスタリングを行い、この結果のクラスタの中で、ある程度の頻度があり、かつ円周色に最も近いクラスタの色を押印色とする。この方法により、プレ印刷や地紋の色を押印色に誤選択しないようにできる。円周色選択処理６０１を図８に、押印色決定処理６０２を図９で説明する。
【００４１】
図７は、押印色がプレ印刷や地紋の色に間違う例を示す。図７の入力画像（ａ）はカラー画像から対象領域選択処理５０１によって選択された領域である。例えば、日付印７０１は輝度の高い緑色、プレ印刷７０２は輝度が低い茶色、地紋７０３は輝度が高い茶色であるとする。また、色クラスタリングした結果の中で、日付印の緑色のクラスタより、プレ印刷や地紋の茶色のクラスタの頻度が多い場合がある。この場合、押印色は色クラスタリングの結果の中で、背景色以外で最も頻度が高いクラスタの色とするため、プレ印刷７０２や地紋７０３の色を押印色として間違ってしまう。以降の処理である画素判定では、この間違った押印色を中心とした色のみを残し、これを元に濃淡画像を生成すると図７（ｂ）のようになり、濃淡画像はプレ印刷７０４および地紋７０５の濃淡画素のみが残る。この濃淡画像を２値化および日付行抽出を行った結果、プレ印刷や地紋７０６の画素が黒画素としてのこった日付文字行２値画像図７（ｃ）が生成される。以上のように、押印色を間違って選択すると、日付印がドロップアウトされてしまう。
【００４２】
図８は、円周色選択の処理フローを示す図である。ステップ８０１は半径ｒにマージンαを持たせた大きさを指定する。ｒinは半径rよりα小さく、routは半径rよりα大きく設定する。これは、日付印検知によって要られた半径ｒの値および中心座標が押印の歪みや量子化誤差等によりずれ、また、日付印の外側の縁の幅の分を考慮している。ステップ８０２は対象領域のｙ座標分、ステップ８０３は対象領域のｘ座標分の繰り返しを行い、対象領域の画素を走査する。ステップ８０４は対象領域の座標の中で、画素が日付印の半径にマージンを持たせた範囲であれば、この画素の色をステップ８０５にて円周色リストへ追加する。対象領域の中で日付印の半径にマージンを持たせた範囲の画素の色を全て登録し終わったら、ステップ８０６にて円周色リストに対して色クラスタリングを行う。ステップ８０７において、色クラスタリングの結果から最も頻度が多いクラスタの代表色を円周色の初期値としてセットする。ステップ８０８において、この色クラスタリングの結果のクラスタ数分かつ円周色と背景色の色距離が閾値未満の場合、ステップ８０９において、注目するクラスタの代表色を選択し、ステップ８１０において、円周色は注目するクラスタの代表色に置き換える。
【００４３】
このようにして選択した円周色を押印色としない理由は、日付印は押印の仕方によって色むらが生じる場合がある。日付印全体で最も円周色に近い色を押印色とするためである。
【００４４】
図９は、押印色決定の処理フローを示す図である。ステップ９０１は対象領域のｙ座標分、ステップ９０２は対象領域のｘ座標分の繰り返しを行い、対象領域の画素を走査する。ステップ９０３において、座標ｘ、ｙが日付印の半径内
であれば、この座標の画素の色を押印色リストへ追加する。この時、背景色に近い色であれば押印色リストへ追加せずに次の座標に移動するという処理を加えてもよい。これは、押印色は背景色とは異なるため、押印色リストへ登録する必要がないためである。
【００４５】
対象領域を全て走査して得られた押印色リストに対して、ステップ９０５において色クラスタリングを行う。ステップ９０６において、この色クラスタリングの結果から最も頻度が多いクラスタの色を押印色の初期値としてセットする。ステップ９０７において、押印色の色リストのクラスタリングのクラスタ数分、ステップ９０８〜９１２を繰り返す。ステップ９０８は注目するクラスタの代表色を選択する。ステップ９０９において、注目するクラスタの画素数が閾値より少ない場合は、ステップ９１０においてループ脱出する。クラスタの画素数が閾値より少ないというのは、日付印の色とは異なるためである。ステップ９１０は、色クラスタリングの結果がクラスタの画素数によってソートされている場合にはループ脱出するが、ソートされていなければ次のクラスタに移動する。ステップ９１１において、注目するクラスタの代表色と円周色選択６０１で得られた円周色との距離が、現在セットしている押印色と円周色との距離未満であれば、押印色は注目するクラスタの代表色に置き換える。以上の処理で押印色を決定する。
【００４６】
次に色むら対応用の濃淡画像生成処理５０６について、図１０〜図１３で説明する。
【００４７】
図１０は、色むら対応用濃淡画像生成の処理フローを示す図である。従来の方式では、画素のＲＧＢ情報だけなくＨＳＶ色空間も用いてプレ印刷や地紋をドロップアウトするための閾値が厳しいため、色むらが大きい場合には押印のインク色が薄い個所の画素がドロップアウトして欠落してしまう。本発明では、処理対象領域内の色相の頻度分布からＲＧＢ情報とこれを変換したＨＳＹ色空間において、色相や彩度や輝度の許容範囲を動的に求めることで、色むらが大きい場合であっても、文字色を残すことができる。この処理では、押印色が無彩色か有彩色かで処理を切り替える。無彩色とは、彩度値が低い色であり、白や灰色、黒などの色を指す。有彩色とは彩度が一定値以上の色を指す。無彩色と有彩色とに分ける理由は、無彩色と有彩色とでは色の判別の基準が異なるためである。無彩色の識別では輝度と彩度を基準とする。これに対し、有彩色では色相が最も優先度が高く、輝度や彩度がそれに続く基準となる。
【００４８】
まず１００１において、押印色をＨＳＹ色空間変換する。以降の処理では、押印色のＲＧＢ値とＨＳＹ色空間によって処理を行う。判定１００２において、押印色が有彩色か無彩色かの判定を行う。
【００４９】
有彩色か無彩色かの判定は、押印色の彩度がスライド彩度閾値未満であれば無彩色とする（１００３）。押印色の彩度がスライド彩度閾値以上であれば有彩色とする（１００５）。ここでスライド彩度閾値とは、輝度によって彩度の閾値を変更する閾値設定である。一般的に輝度が低い場合より輝度が高い場合の方が同じ彩度であっても色の変化が大きく見える。このため、輝度が高くなるにつれて彩度の閾値は低くするように設定する。
【００５０】
押印の半径内の各画素について色むら対応用の画素分類（無彩色用）１００４において、押印の半径内の各画素について、ドロップアウトする画素等を分類する。画素分類処理とは、ドロップアウトを目的として領域内の各画素を押印色や背景色との距離に応じて４種類に分類する処理である。従来の画素分類処理は特許文献２に記載されているとおりである。本発明における、無彩色用の画素分類１００４については図１２で説明する。
【００５１】
色むら対応用の色相許容範囲計算処理１００６は、画素分類の判別基準である色相の許容範囲を計算する。有彩色の押印色の判別であるため、判別基準に色相を用いる。押印領域内にプレ印刷がある場合と、色むらがある場合とで色相の許容範囲を変えなければならない。この理由を、図１１を用いて説明する。
【００５２】
図１１（ａ）はプレ印刷・地紋がある場合の色相の頻度分布である。カラー画像中で画素の色相の頻度分布をとると、日付印は、押印色の色相１１０１を中心に頻度分布１１０２のように色相が広がり、プレ印刷・地紋は色相１１０３を中心に頻度分布１１０４のようになるとする。プレ印刷・地紋等を日付印と分離するには、押印色の色相１１０１を中心に許容範囲１１０５で区切る必要がある。１１０５の許容範囲の計算の一例として、頻度分布１１０２は色相１１０１を中心とした正規分布と扱い、偏差βσ以内（例えばβ＝１）となる色相までを許容範囲としてもよい。また計算量を削減するために、色相１１０１の頻度から頻度が１／ｍ（例えばｍ＝２）以下になるまでを許容範囲としてもよい。
【００５３】
一方、図１１（ｂ）は色むらがある場合の色相の頻度分布である。色むらがある場合の頻度分布１１０６において日付印の一部は色相１１０３付近にも固まってある場合がある。範囲１１０５では、色相１１０３付近に固まってある成分はドロップアウトされることになる。そのために、色むらがある場合には許容範囲を１１０７まで広げる。許容範囲の広げ方の一例として、頻度分布１１０６は色相１１０１を中心とした正規分布と扱い、偏差ασ以内（例えばα＝３）となる色相までを許容範囲としてもよい。また計算量を削減するために、色相１１０１の頻度から頻度が１／ｎ（例えばｎ＝１０）以下になるまでを許容範囲としてもよい。これらの許容範囲の計算において、色相１１０１と色相１１０３の間に頻度が０または色相１１０１の頻度から頻度が１／ｎ（例えばｎ＝１０）以下になる色相がある場合もあるため、頻度分布１１０６は移動平均等で馴らしてもよい。
【００５４】
図１０の押印の半径内の各画素について色むら対応用の画素分類（有彩色用）１００７において、押印の半径内の各画素について、ドロップアウトする画素等を分類する。有彩色用の画素分類１００７については図１３で説明する。濃淡値変換処理１００８は、画素分類１００４または１００７によって分類された各画素について特許文献２の図８〜図１１の説明で示す方法により、画素の輝度値に基づく濃淡値画像を生成する。この濃淡値画像では、押印色以外の色をドロップアウトしやすくするため、背景およびプレ印刷と判断される画素の輝度値が、入力画像の輝度地よりも高い値になる。押印色以外であるとの判定には、押印色と背景色との距離、および隣接画素との関係を用いている。
【００５５】
図１２と図１３は、画素分類の判定フローを示す図であり、図１２が無彩色の場合、図１３が有彩色の場合を示している。画素分類は、対象領域内の画素を、背景色や押印色との距離などを基準に、「背景」、「文字」、「除去候補」、「文字候補」の４種類に分類する。このうち、除去候補は、プレ印刷や地紋などを想定しており、明らかに押印とは異なる色を指す。文字候補は、押印と同系色のプレ印刷などを想定しており、押印色と近いために、この段階では文字か除去候補かを決定できない色を指す。この分類結果は、後段の濃淡画像生成に利用される。
【００５６】
図１２は、押印色が無彩色の場合の色むら対応用の画素分類の判定フローである。押印半径内の各画素について、この判定フローに従い画素分類を行う。画素の色と押印色との距離が閾値以上または画素の輝度が背景色の輝度より高いと判定（１２０１）した場合は、この画素について背景フラグをセット（１２０２）して戻る（１２０３）。画素の色と押印色との距離が閾値より近いと判定（１２０４）した場合は、この画素について文字フラグをセット（１２０５）して戻る（１２０６）。画素の彩度が画素のスライド彩度閾値以下でかつ押印色との輝度差が色むら対応用の輝度差の閾値以下と判定（１２０７）した場合も、この画素について文字フラグをセット（１２０８）して戻る（１２０９）。これらの判定以外の場合は、この画素について除去候補フラグをセット（１２１０）して終了する。
【００５７】
図１３は、押印色が有彩色の場合の色むら対応用の画素分類の判定フローである。押印半径内の各画素について、この判定フローに従い画素分類を行う。画素の色と押印色との距離が閾値以上または画素の輝度が背景色の輝度より高いと判定（１３０１）した場合は、この画素について背景フラグをセット（１３０２）して戻る（１３０３）。画素の色と押印色との距離が閾値より近いと判定（１３０４）した場合は、この画素について文字フラグをセット（１３０５）して戻る（１３０６）。画素の色相が色むら対応用の色相許容範囲計算処理１００５によって得られた許容範囲と判定（１３０６）した場合、画素と押印色の彩度差によって分類する（１３０７）して戻る（１３１１）。押印色との彩度差が色むら対応用の閾値より低い場合は文字フラグをセット（１３０８）する。押印色との彩度差が色むら対応用の閾値の一定範囲内の場合は文字候補フラグをセット（１３０９）する。彩度差が一定範囲より大きい場合は除外候補フラグをセット（１３１０）する。画素と押印色の距離が閾値以内または色相が閾値以内と判定（１３１２）した場合は、文字候補フラグをセット（１３１３）して戻る（１３１４）。これら判定以外の場合は、この画素について除去候補フラグをセット（１３１５）して終了する。
【００５８】
図１４は、２値化処理の概要図である。図１４（ａ）は、日付行の全領域に対する２値化の例である。２値化の手法としては、固定閾値を用いる方法や、動的に閾値を変える手法など多くの手法が提案されている。代表的な手法としては、大津の２値化手法がある。この手法では、濃淡画像に対して、各画素が２つのクラス（白化画素と黒化画素）のどちらに属するかを判別するための閾値を、判別分析法を用いて算出する。閾値は、クラス内分散最小、かつクラス間分散最大となる値とする。傾き補正処理５０７によって補正された濃淡画像１４０１の日付領域１４０２を大津の２値化手法で２値化すると日付領域２値画像１４０３が生成される。しかし、色むらがある日付領域全体に対する大津の２値化では、輝度が高い画素は閾値によって白化画素となる場合があるという問題がある。この問題を解決するための方法として、本発明では、日付領域内の複数の部分領域で２値化し、複数の部分領域の２値画像の論理和によって日付領域全体の２値画像とする。部分領域にする理由は、その部分領域の文字成分の輝度が高い画素は、大津の２値化を用いた場合でも２値化閾値が高くなるため、黒画素化とすることができる。
【００５９】
図１４（ｂ）は、本発明である複数の部分領域論理和を用いた２値化の例である。部分領域１４０４は日付領域の左端から指定の大きさをとった領域で、この部分領域のみを例えば大津の２値化を用いて２値化すると２値画像２値画像１４０５になる。部分領域の取り方はこの方法に限らない。また、２値化の方法も大津の２値化に限る必要はない。２値画像１４０６は日付領域全体の２値画像になるが、ここではまだ部分領域１４０４に対してのみ２値化しただけのため、２値画像１４０５と同じである。部分領域１４０７は部分領域１４０４の幅の１／２だけＸ座標にずらした領域である。部分領域１４０７を同様に２値化した結果、２値画像１４０８となる。日付領域全体の２値画像は、日付領域全体２値画像１４０６と２値画像１４０８の論理和（１４０９）である２値画像１４１０となる。同様に部分領域をまた１／２だけＸ座標にずらした部分領域１４１１に対して２値化する。日付領域の右端に到達するまで部分領域１４１２をずらすことを繰り返し、日付領域全体の２値画像１４１３を得る。
【００６０】
以上のようにして得られた２値画像に対して、文字列認識処理４０５を行う。
＜第二の実施形態＞
次に、本発明を適用した押印日付読取り方法および押印日付読取り装置の第２の実施形態について説明する。本実施形態では、ドロップアウトの方法を、色むら対応用とプレ印刷・地紋除去用のいずれかに指定することができる。入力される画像の押印が、色むらが大きい場合は色むら対応用を、プレ印刷や地紋が多い場合はプレ印刷・地紋除去用のドロップアウトを用いることで、どちらの場合にでも対応できる。
【００６１】
図１５は、本発明である色むら対応のカラードロップアウトを適用した押印日付読取りの第２の実施形態の処理フローを示す別の図である。図４と同じ番号がついている処理は図４と同じである。この例では、カラードロップアウトの方式指定処理１５０１において、カラードロップアウトの方式を指定する。カラードロップアウトの方式の判定１５０２において、方式指定処理１５０１で指定した方式が、色むら対応用であれば、色むら対応用２値画像を出力するカラードロップアウト処理４０４を行う。その他の場合は、プレ印刷・地紋除去２値画像を出力するカラードロップアウト１５０３を行う。なお１５０１の処理はこの位置に限らない。プレ印刷・地紋除去２値画像を出力するカラードロップアウト１５０３について、図１６で説明する。
【００６２】
図１６は、本発明であるプレ印刷・地紋除去用２値画像を出力するカラードロップアウト処理のフローを示す図である。図５と同じ番号がついている処理は図５と同じである。このカラードロップアウトの処理は、処理対象領域からプレ印刷や地紋を正しく除去し、押印色のみを残した濃淡画像を生成して、これを２値化して２値画像を生成する。図５との違いは、色むら対応用濃淡画像生成処理５０６が、プレ印刷・地紋除去用濃淡画像生成処理１６０１に置き換わっている。プレ印刷・地紋除去用濃淡画像生成処理１６０１を図１７で説明する。
【００６３】
図１７は、プレ印刷・地紋除去用濃淡画像生成処理のフローを示す図である。図１０と同じ番号が付いている処理は、図１０と同じである。押印の半径内の各画素についてプレ印刷・地紋除去用の画素分類（無彩色用）１７０１は、図１８で説明する。プレ印刷・地紋除去用の色相許容閾値計算１７０２では、例えば、図１１の許容範囲１１０５を用いる。プレ印刷・地紋除去用の許容範囲の計算の一例として、頻度分布１１０２は色相１１０１を中心とした正規分布と扱い、偏差βσ以内（例えばβ＝１）となる色相までを許容範囲としてもよい。また計算量を削減するために、色相１１０１の頻度から頻度が１／ｍ（例えばｍ＝２）以下になるまでを許容範囲としてもよい。
プレ印刷・地紋除去用の画素分類（有彩色用） １７０３は、図１９で説明する。
【００６４】
プレ印刷の罫線等が押印色と同系色である場合や罫線付近に偽色が発生して押印色と同系色になる場合に、画素分類１７０１または１７０３において文字フラグとして残る場合がある。これに対して罫線除去１７０４を行う。罫線除去１７０４を図２０で説明する。なお、罫線除去１７０４は図１０の１００５と１００６の間に入れてもよい。
【００６５】
図１８は、押印色が無彩色の場合のプレ印刷・地紋除去用の画素分類の判定フローである。図１２と同じ番号については、図１２と同じである。図１２との違いは、判定（１２０７）が判定（１８０１）に代わっている。判定（１８０１）は画素の彩度が画素のスライド彩度閾値以下でかつ押印色との輝度差がプレ印刷・地紋除去用の輝度差の閾値以下でかつ輝度が押印色の輝度より低い場合に文字フラグセット（１２０５）して戻る（１２０６）。
【００６６】
図１９は、押印色が有彩色の場合のプレ印刷・地紋除去用の画素分類の判定フローである。図１３と同じ番号については、図１３と同じである。押印色との距離が閾値より近いと判定（１９０１）した場合は、文字フラグをセット（１９０２）して戻る（１９０３）。押印色との色相差が閾値より近いかつ輝度が押印色の輝度より低いと判定（１９０４）した場合は、文字フラグをセット（１９０５）して戻る（１９０６）。色相がプレ印刷・地紋除去用の色相許容範囲内であると判定（１９０７）した場合、彩度差による判定（１９０８）を行う。判定（１９０８）において、彩度差がプレ印刷・地紋除去用の閾値より低い場合は文字フラグをセット（１９０９）する。彩度差がプレ印刷・地紋除去用の一定の閾値範囲内の場合は文字候補フラグをセット（１９１０）する。それ以外は除去候補フラグをセット（１９１１）して戻る（１９１２）。
【００６７】
図２０は、罫線除去の概要を示す。上記の画素判定によって、プレ印刷の罫線等が押印色と同系色である場合や罫線付近に偽色が発生して押印色と同系色になる場合に、これらが文字フラグとしてセットされ、ドロップアウトされない場合がある。この場合、２値化によっても罫線成分が残ってしまう可能性があり、罫線が混入した日付行となる。これを解決するために、例えば３×３画素のフィルタリング処理を行い、細い縦線および横線を罫線成分を除去する。
【００６８】
図２０（ａ）は入力画像であり、日付印２００１は罫線２００２の上に押印されているとする。罫線２００２が日付印の押印色と同系色である場合に、濃淡画像を生成した結果が図２０（ｂ）のようになり、図２０（ｃ）の２値化および日付行抽出結果は罫線ノイズ２００３が残る。罫線除去を行う方法の一例として、横・縦罫線検出フィルタリング処理２００４を行う。画素分類１７０１または１７０３において分類された画素のフラグが文字フラグの場合に、この画素を中心とした８近傍の３×３画素を生成する。各画素のフラグにおいて、文字フラグ２００５と、それ以外のフラグ２００６とした３×３画素が、横罫線２００７か縦罫線２００８のフィルタと一致する画素の座標のフラグを、文字フラグから除去候補フラグもしくは文字候補フラグに変換する。
【００６９】
全ての画素において上記の横・縦罫線検出フィルタリング処理を行って濃淡画像を生成した結果が図２０（ｄ）のようになり、図２０（ｅ）の２値化および日付行抽出結果は罫線が除去された日付文字行となる。
＜第三の実施形態＞
次に、本発明を適用した押印日付読取り方法および押印日付読取り装置の第３の実施形態について説明する。本実施形態では、ドロップアウトにおいて、色むら対応用とプレ印刷・地紋除去用の両方のドロップアウト画像を生成することで、色むらが大きい場合は色むら対応用の２値画像で、プレ印刷や地紋が多い場合はプレ印刷・地紋除去用の２値画像で、どちらかが正しい日付文字行を抽出できるため、入力画像に依存しないで、日付文字列読取りができる。
【００７０】
図２１は、本発明である色むら対応のカラードロップアウトを適用した押印日付読取りの第３の実施形態の処理フローを示す別の図である。図４と同じ番号がついている処理は図４と同じである。色むら対応用２値画像およびプレ印刷・地紋除去用２値画像の２つの２値画像を出力するカラードロップアウト処理２１０１において、色むら対応用２値画像およびプレ印刷・地紋除去用２値画像の２つの２値画像を出力する。色むら対応用２値画像およびプレ印刷・地紋除去用２値画像の２つの２値画像を出力するカラードロップアウト処理２１０１については図２２で説明する。１つ目の２値画像に対する日付文字列認識処理２１０２で、１つ目の２値画像に対して日付文字列認識を行う。２つ目の２値画像に対する日付文字列認識処理２１０２で、２つ目の２値画像に対して日付文字列認識を行う。２つの日付文字列認識結果においてスコアが高い認識結果を２１０４にてセットする。色むら対応用の２値画像と、プレ印刷・地紋除去用の２値画像の、どちらを１つ目とするかは特に決まりはない。
【００７１】
図２２は、むら対応用２値画像およびプレ印刷・地紋除去用２値画像の２つの２値画像を出力するカラードロップアウトの処理フローを示す図である。図４および図１６と同じ番号がついている処理は図４および図１６と同じである。ここでは、色むら対応用とプレ印刷・地紋除去用で共通の処理５０１〜５０５を行った後に、まず色むら対応用の２値画像を生成する（５０６〜５０８）。次にプレ印刷・地紋除去用の２値画像を生成する（１６０１、５０７〜５０８）この２つの２値画像を出力する。
＜第四の実施形態＞
次に、本発明を適用した押印日付読取り方法および押印日付読取り装置の第４の実施形態について説明する。本実施形態では、ドロップアウトにおいて、色むら対応用とプレ印刷・地紋除去用の両方のドロップアウト画像を生成することで、色むらが大きい場合は色むら対応用の２値画像で、プレ印刷や地紋が多い場合はプレ印刷・地紋除去用の２値画像で、どちらかが正しい日付文字行を抽出できるため、入力画像に依存しないで、日付文字列読取りができる。１つ目の２値画像に対する日付文字列読取が成功すれば、その時点で注目する日付印の読取を終わらせることで、第３の実施形態に比べて処理時間の削減ができる。
【００７２】
図２３は、本発明である色むら対応のカラードロップアウトを適用した押印日付読取りの第４の実施形態の処理フローを示す別の図である。図４および図２１と同じ番号がついている処理は図４および図２１と同じである。図２１との違いは、１つ目の２値画像に対する日付文字列認識処理２１０２の後に、１つ目の２値画像に対する日付文字列認識処理２１０２の結果において、認識結果のスコアが閾値以上であると判定（２３０１）した場合に、認識結果をセット（２３０２）して、次の日付印へ処理を戻す（２３０３）。
＜第五の実施形態＞
次に、本発明を適用した押印日付読取り方法および押印日付読取り装置の第５の実施形態について説明する。本実施形態では、ドロップアウトを、色むら対応用とプレ印刷・地紋除去用で個別に行い、それぞれのドロップアウト後に日付文字列認識を行う方法である。
【００７３】
図２４は、本発明である色むら対応のカラードロップアウトを適用した押印日付読取りの第５の実施形態の処理フローを示す別の図である。図４、図１５、図２１と同じ番号がついている処理は図４、図１５、図２１と同じである。ここでは、色むら対応用の２値画像を生成するカラードロップアウト処理４０４を行い、これを１つ目の２値画像として日付文字列認識処理２１０２を行い、次に、プレ印刷・地紋除去用２値画像を出力するカラードロップアウト処理１５０３を行い、これを２つ目の２値画像として日付文字列認識処理２１０３を行い、スコアが高い認識結果をセット（２１０４）する。なお、図２４の中の４０４と１５０３は入れ替えてもよい。
＜第六の実施形態＞
次に、本発明を適用した押印日付読取り方法および押印日付読取り装置の第６の実施形態について説明する。本実施形態では、ドロップアウトを、色むら対応用とプレ印刷・地紋除去用で個別に行い、それぞれのドロップアウト後に日付文字列読取りを行う。一つ目のドロップアウトによる日付文字列認識の結果が得られれば、その時点で注目する日付印の読取を終わらせることで、第５の実施形態に比べて、カラードロップの処理時間と日付文字列認識の処理時間が削減できる。
【００７４】
図２５は、本発明である色むら対応のカラードロップアウトを適用した押印日付読取りの第６の実施形態の処理フローを示す別の図である。図４、図１５、図２１、図２３と同じ番号がついている処理は図４、図１５、図２１、図２３と同じである。図２４との違いは、１つ目の２値画像に対する日付文字列認識処理２１０２の後に、１つ目の２値画像に対する日付文字列認識処理２１０２の結果において、認識結果のスコアが閾値以上であると判定（２３０１）した場合に、認識結果をセット（２３０２）して、次の日付印へ処理を戻す（２３０３）。
＜第七の実施形態＞
次に、本発明を適用した押印日付読取り方法および押印日付読取り装置の第７の実施形態について説明する。本実施形態では、カラードロップアウトを様々な閾値で行い、それに基づいた複数の２値画像を生成し、日付文字列認識することにより、正しく認識できる２値画像があることを期待できる。
【００７５】
図２６は、複数の２値画像を出力するカラードロップアウトを適用した押印日付読取りの第７の実施形態の処理フローを示す別の図である。図４、図２３と同じ番号がついている処理は図４、図２３と同じである。複数の２値画像を出力するカラードロップアウト処理２６０１は図５〜図１９にある様々な閾値を段階的に変動させた２値画像を生成し、２値画像の数だけ（２６０２）、日付文字列認識処理４０５を行い、認識結果のスコアが以上と判定（２３０１）すれば、認識結果をセット（２３０２）して次の日付印へ処理を戻す（２３０３）。
＜第八の実施形態＞
次に、本発明を適用した押印日付読取り方法および押印日付読取り装置の第８の実施形態について説明する。本実施形態では、カラードロップアウトを様々な閾値で行い、それに基づいた複数の２値画像を生成し、全ての２値画像に対して日付文字列認識し、最も精度が高い結果を得ることができる。
【００７６】
図２７は、複数の２値画像を出力するカラードロップアウトを適用した押印日付読取りの第８の実施形態の処理フローを示す別の図である。図４、図２６と同じ番号がついている処理は図４、図２６と同じである。図２６との違いは、２６０２にて全ての２値画像に対して日付文字列認識４０５を行った後で、全ての認識結果の中でスコアが最も高い認識結果をセット（２７０１）する。また、２７０１の代わりに、全ての認識結果の中で認識した日付文字列の多数決を取って、最も多い認識結果をセットしてもよい。
【００７７】
次に、本発明を適用した押印日付読取り方法および押印日付読取り装置による認識結果の確認・修正を行う表示画面について説明する。なお、表示する内容は以下の説明によって限定されるものではない。
【００７８】
図２８は、図２１、図２３、図２４、図２５の日付印読取処理の結果を確認および修正する画面の表示例である。表示装置５０は画面２８０１を表示する。日付印読取処理の結果・確認を２８０２で表示するウィンドウである。入力画像表示ウィンドウ２８０３はカラー画像２８０４を表示する。日付印検知により検知した日付印２８０５を含む日付印読取処理の処理対象領域２８０６を表示する。帳票ＩＤを２８０７にて表示する。現在確認・修正を行っているカラー画像が全処理カラー画像中の何番目かを示す番号を２８０８にて表示する。２８０９は本発明である色むら対応用とプレ印刷・地紋除去用それぞれのカラードロップアウト処理内の濃淡画像生成結果を表示する。２８１０に２値化および日付行抽出を行った結果の２値画像を色むら対応用とプレ印刷・地紋除去用のそれぞれを表示する。２８１２に日付読取りの結果の日付文字列を表示する。２８１３は日付読取り結果の修正を行うエディタである。２８１４および２８１５は同じカラー画像中に別の日付印があれば、別の日付印の認識結果等の表示に切り替えるボタンである。２８１６は別のカラー画像に対する日付印の認識結果等の表示に切り替えるスクロールバーである。
【００７９】
図２９は、図４または図１５の日付印読取処理の結果を確認および修正する画面の別の表示例である。この表示は、日付印読取結果が不読等の結果の場合に、カラードロップアウト等の様々な閾値を変動した際に読取結果が得られるかを確認する。または、カラードロップアウト等の様々な閾値を自動で変動して、読取結果が得られるまで調整することで、日付印読取結果が不読等の結果の場合の修正も自動で行える。表示装置５０は画面２９０１を表示する。日付印読取処理の結果・確認を２９０２で表示するウィンドウである。入力画像表示ウィンドウ２９０３はカラー画像２９０４を表示する。日付印検知により検知した日付印２９０５を含む日付印読取処理の処理対象領域２９０６を表示する。帳票ＩＤを２９０７にて表示する。現在確認・修正を行っているカラー画像が全処理カラー画像中の何番目かを示す番号を２９０８にて表示する。２９０９は処理対象領域２９０６をカラー画像から抽出した日付印領域画像である。２９１０は図４または図１５の処理においてカラードロップアウト処理内の濃淡画像生成結果と、２値化および日付行抽出を行った結果の２値画像と、日付読取りの結果の日付文字列を表示する。２９１１は２９１２および２９１３のタイトルである。２９１２は２９１０の認識結果が不読等の場合に、カラードロップアウトの処理における様々な閾値を手動または自動で変更し、その閾値を用いた図４または図５の処理を行い、日付読取り結果が得られるかを調整する。２９１３は２９１２の閾値調整の調整変更による図４または図５の処理結果を表示する。２９１４および２９１５は同じカラー画像中に別の日付印があれば、別の日付印の認識結果等の表示に切り替えるボタンである。２９１６は別のカラー画像に対する日付印の認識結果等の表示に切り替えるスクロールバーである。
【００８０】
図３０は、図２６または図２７の日付印読取処理の結果を確認および修正する画面の別の表示例である。表示装置５０は画面３００１を表示する。日付印読取処理の結果・確認を３００２で表示するウィンドウである。入力画像表示ウィンドウ３００３はカラー画像２９０４を表示する。日付印検知により検知した日付印３００５を含む日付印読取処理の処理対象領域３００６を表示する。帳票ＩＤを３００７にて表示する。現在確認・修正を行っているカラー画像が全処理カラー画像中の何番目かを示す番号を３００８にて表示する。３００９は、図２６または図２７のカラードロップアウトの処理結果で得られる複数の、カラードロップアウト処理内の濃淡画像生成結果または２値化および日付行抽出を行った結果の２値画像またはその両方を、全てないし一部を表示する。３０１０は、日付読取り結果でアクセプトした画像に対して強調枠を表示する。３０１１は入力装置等で選択した画像に対するカラードロップアウト等のパラメータの値を表示するウィンドウである。３０１２は日付読取り結果の修正を行うエディタである。３０１３および３０１４は同じカラー画像中に別の日付印があれば、別の日付印の認識結果等の表示に切り替えるボタンである。３０１５は別のカラー画像に対する日付印の認識結果等の表示に切り替えるスクロールバーである。
【００８１】
続いて、前述した各実施の形態によって得られるネットワーク制御システムの特徴的な構成について、以下に列記する。
【００８２】
（１）日付印が押印されたカラー画像からの押印日付読取り方法であって、
上記カラー画像を入力するステップと、
上記カラー画像から日付印を検知するステップと、
ドロップアウト方法を指定するステップと、
上記指定したドロップアウト方法が色むら対応用であるかプレ印刷・地紋除去用であるか判定するステップと、
上記指定したドロップアウト方法が色むら対応用であれば、上記検知した日付印に対して日付文字行２値画像を出力する請求項１の画像処理方法と、
上記指定したドロップアウト方法が色むら対応用以外であれば、上記検知した日付印に対して日付文字行２値画像を出力する請求項２の画像処理方法と
２値画像に対して日付文字列を認識するステップと、
上記認識結果をセットするステップと、
結果を出力するステップを有する第２の押印日付読取り方法。
【００８３】
（２）処理対象画像から文字成分のみ残すドロップアウトの画像処理方法であって、
上記処理対象画像を入力するステップと、
上記処理対象画像の画素を色クラスタリングするステップと、上記色クラスタリングに基づいて背景色を選択するステップと、
上記処理対象画像の画素から押印色を選択するステップと、
上記処理対象画像の画素を色空間変換するステップと、
上記処理対象画像の画素から色むら対応用の濃淡画像生成するステップと、
上記色むら対応用の濃淡画像の傾きを補正するステップと、
上記色むら対応用の濃淡画像を傾き補正した濃淡画像を２値化するステップと、
上記処理対象画像の画素からプレ印刷・地紋除去用の濃淡画像生成するステップと、
上記プレ印刷・地紋除去用の濃淡画像を傾き補正するステップと、
上記プレ印刷・地紋除去用の濃淡画像を傾き補正した濃淡画像を２値化するステップを有する第３の画像処理方法。
【００８４】
（３）日付印が押印されたカラー画像からの押印日付読取り方法であって、
上記カラー画像を入力するステップと、
上記カラー画像から日付印を検知するステップと、
上記検知した日付印に対して、色むら対応用２値画像およびプレ印刷除去用２値画像の２つの２値画像を出力する請求項１６の画像処理方法と、
１つ目の２値画像に対して日付文字列を認識するステップと、
２つ目の２値画像に対して日付文字列を認識するステップと、
上記２つの認識結果のスコアが高い方の認識結果をセットするステップと、
結果を出力するステップを有する第３の押印日付読取り方法。
【００８５】
（４）日付印が押印されたカラー画像からの押印日付読取り方法であって、
上記カラー画像を入力するステップと、
上記カラー画像から日付印を検知するステップと、
上記検知した日付印に対して、色むら対応用２値画像およびプレ印刷・地紋除去用２値画像の２つの２値画像を出力する請求項１６の画像処理方法と、
上記１つ目の２値画像に対して日付文字列を認識するステップと、
上記１つ目の２値画像に対する日付文字列結果のスコアを判定するステップと、
上記判定でスコアが閾値以上の場合に認識結果をセットするステップと、
上記判定でスコアが閾値以上の場合に認識結果をセットした後に次の日付印へ処理を移動するステップと、
２つ目の２値画像に対して日付文字列を認識するステップと、
上記２つの認識結果のスコアが高い方の認識結果をセットするステップと、
結果を出力するステップを有する第４の押印日付読取り方法。
【００８６】
（５）日付印が押印されたカラー画像からの押印日付読取り方法であって、
上記カラー画像を入力するステップと、
上記カラー画像から日付印を検知するステップと、
上記検知した日付印に対して、色むら対応用２値画像を出力する請求項１の画像処理方法と、
上記出力した２値画像に対して、１つ目の２値画像に対して日付文字列を認識するステップと
上記検知した日付印に対して、プレ印刷・地紋除去用２値画像を出力する請求項１０の画像処理方法と、
上記出力した２値画像に対して、２つ目の２値画像に対して日付文字列を認識するステップと
上記２つの認識結果のスコアが高い方の認識結果をセットするステップと、
結果を出力するステップを有する第５の押印日付読取り方法。
【００８７】
（６）前記（５）記載のドロップアウトの順番は、色むら対応用とプレ印刷・地紋除去用は順不同であることを特徴とする請求項１９の押印日付読取り方法。
【００８８】
（７）日付印が押印されたカラー画像からの押印日付読取り方法であって、
上記カラー画像を入力するステップと、
上記カラー画像から日付印を検知するステップと、
上記検知した日付印に対して、色むら対応用２値画像を出力する請求項１の画像処理方法と、
上記出力した２値画像に対して、１つ目の２値画像に対して日付文字列を認識するステップと
上記１つ目の２値画像に対する日付文字列結果のスコアを判定するステップと、
上記判定でスコアが閾値以上の場合に認識結果をセットするステップと、
上記判定でスコアが閾値以上の場合に認識結果をセットした後に次の日付印へ処理を移動するステップと、
上記検知した日付印に対して、プレ印刷・地紋除去用２値画像を出力する請求項１０の画像処理方法と、
上記出力した２値画像に対して、２つ目の２値画像に対して日付文字列を認識するステップと
上記２つの認識結果のスコアが高い方の認識結果をセットするステップと、
結果を出力するステップを有する第６の押印日付読取り方法。
【００８９】
（７）前記（６）記載のドロップアウトの順番は、色むら対応用とプレ印刷・地紋除去用は順不同であることを特徴とする請求項２１の押印日付読取り方法。
【００９０】
（８）日付印が押印されたカラー画像からの押印日付読取り方法であって、
上記カラー画像を入力するステップと、
上記カラー画像から日付印を検知するステップと、
上記検知した日付印に対して、複数の２値画像を出力するカラードロップアウトを行うステップと、
上記出力した２値画像に対して、日付文字列を認識するステップと
上記２値画像に対する日付文字列の認識結果のスコアを判定するステップと、
上記判定でスコアが閾値以上の場合に認識結果をセットするステップと、
上記判定でスコアが閾値以上の場合に認識結果をセットした後に次の日付印へ処理を移動するステップと、
結果を出力するステップを有する第７の押印日付読取り方法。
【００９１】
（９）日付印が押印されたカラー画像からの押印日付読取り方法であって、
上記カラー画像を入力するステップと、
上記カラー画像から日付印を検知するステップと、
上記検知した日付印に対して、複数の２値画像を出力するカラードロップアウトを行うステップと、
上記出力した全ての２値画像に対して、日付文字列を認識するステップと
上記全ての２値画像に対する日付文字列認識の結果の中で、最もスコアが高い認識結果をセットするステップと、
結果を出力するステップを有する第８の押印日付読取り方法。
【００９２】
（１０）前記（９）記載の認識結果をセットするステップにおいて、認識結果の文字列の頻度を数えて、最も頻度が多い認識文字列を認識結果としてセットすることも可能な請求項２４の押印日付読取り方法。
【符号の説明】
【００９３】
１０…入力装置、２０…画像入力装置、３０…ＣＰＵ、４０…辞書、５０…表示装置、６０…画像ＤＢ、２１０…色むら対応用カラードロップアウト２値画像、４０４…色むら対応用２値画像を出力するカラードロップアウト処理、４０５、日付文字列認識処理、５０２…カラークラスタリング処理、５０３…背景色選択処理、５０４、押印色選択処理、５０６…色むら対応用濃淡画像生成処理、５０７…傾き補正処理、５０８…２値化処理、１５０３…プレ印刷・地紋除去用２値画像を出力するカラードロップアウト処理、１６０１…プレ印刷・地紋除去用濃淡画像生成処理、２１０１…色むら対応用２値画像およびプレ印刷・地紋除去用２値画像の２つの２値画像を出力するカラードロップアウト処理
【特許請求の範囲】
【請求項１】
処理対象画像から文字成分のみ残すドロップアウトの画像処理方法であって、
上記処理対象画像を入力するステップと、
上記処理対象画像の画素を色クラスタリングするステップと、上記色クラスタリングに基づいて背景色を選択するステップと、
上記処理対象画像の画素から押印色を選択するステップと、
上記処理対象画像の画素を色空間変換するステップと、
上記処理対象画像の画素から色むら対応用の濃淡画像生成するステップと、
上記濃淡画像の傾きを補正するステップと、
上記傾き補正した濃淡画像を２値化するステップを有する第１の画像処理方法。
【請求項２】
上記押印色を選択するステップにおいて、
上記処理対象画像の押印の円周付近の画素の円周色を選択する手段と、
上記処理対象画像の押印の領域内の画素から上記選択された円周色に最も近い色を押印色として決定する手段により押印色を選択することを特徴とする請求項１記載の画像処理方法。
【請求項３】
上記色むら対応用の濃淡画像生成ステップにおいて、
上記押印色を色空間変換する手段と、
上記色空間変換によって得た押印色の彩度と輝度から無彩色か有彩色に判定する手段と、
上記判定結果で無彩色である場合は、無彩色用の色むら対応用の画素分類を行う手段と、
上記判定結果で有彩色である場合は、色むら対応用の色相許容範囲計算する手段と、
有彩色用の色むら対応用の画素分類を行う手段と、
画素分類の結果から濃淡値に変換する手段を有する請求項１記載の画像処理方法。
【請求項４】
上記無彩色用の色むら対応用の画素分類手段において、
上記処理対象画像内の各画素を、上記選択された押印色、背景色、当該画素の彩度および輝度を用いて、背景、文字、および除去候補に弁別する請求項３記載の画像処理方法。
【請求項５】
上記色むら対応用の色相許容範囲計算手段において、
請求項３記載の色空間変換した押印色の色相と、請求項１記載の色空間変換による上記処理対象画像の画素の色相の頻度分布を用いて、頻度分布は押印色の色相を中心とした正規分布として扱い、偏差ασになるまでの色相範囲を色むら用の色相許容範囲とする請求項３の画像処理方法。
【請求項６】
上記色むら対応用の色相許容範囲計算手段において、
請求項３記載の色空間変換した押印色の色相と、請求項１記載の色空間変換による上記処理対象画像の画素の色相の頻度分布を用いて、頻度分布において押印色の色相の頻度の所定閾値以下になるまでの色相範囲を色むら用の色相許容範囲とする請求項３の画像処理方法。
【請求項７】
上記有彩色用の色むら対応用の画素分類手段において、
上記処理対象画像内の各画素を、上記選択された押印色、背景色、当該画素の色相および彩度を用いて、背景、文字、文字候補、および除去候補に弁別する請求項３記載の画像処理方法。
【請求項８】
上記２値化するステップにおいて、
２値化は上記傾き補正した濃淡画像における日付領域の部分領域を、それぞれの部分領域の２値化閾値に従って２値化して２値画像を生成し、それぞれの部分領域２値画像の論理和をとることで、日付領域の２値画像とすることを特徴とする請求項１の画像処理方法。
【請求項９】
日付印が押印されたカラー画像からの押印日付読取り方法であって、
上記カラー画像を入力するステップと、
上記カラー画像から日付印を検知するステップと、
上記検知した日付印に対して日付文字行２値画像を出力する請求項１の画像処理方法と、
２値画像に対して日付文字列を認識するステップと、
上記認識結果をセットするステップと、
結果を出力するステップを有する第１の押印日付読取り方法。
【請求項１０】
処理対象画像から文字成分のみ残すドロップアウトの画像処理方法であって、
上記処理対象画像を入力するステップと、
上記処理対象画像の画素を色クラスタリングするステップと、上記色クラスタリングに基づいて背景色を選択するステップと、
上記処理対象画像の画素から押印色を選択するステップと、
上記処理対象画像の画素を色空間変換するステップと、
上記処理対象画像の画素からプレ印刷・地紋除去用の濃淡画像生成するステップと、
上記濃淡画像の傾きを補正するステップと、
上記傾き補正した濃淡画像を２値化するステップを有する第２の画像処理方法。
【請求項１１】
上記プレ印刷・地紋除去用の濃淡画像生成ステップにおいて、
上記押印色を色空間変換する手段と、
上記色空間変換によって得た押印色の彩度と輝度から無彩色か有彩色に判定する手段と、
上記判定結果で無彩色である場合は、無彩色用のプレ印刷・地紋除去用の画素分類を行う手段と、
上記判定結果で有彩色である場合は、プレ印刷・地紋除去用の色相許容範囲計算する手段と、
有彩色用のプレ印刷・地紋除去用の画素分類を行う手段と、
画素分離の結果から罫線を除去する手段と、
画素分類の結果から濃淡値に変換する手段を有する請求項１０記載の画像処理方法。
【請求項１２】
上記無彩色用のプレ印刷・地紋除去用の画素分類手段において、
上記処理対象画像内の各画素を、上記選択された押印色、背景色、当該画素の彩度および輝度を用いて、背景、文字、および除去候補に弁別する請求項１１記載の画像処理方法。
【請求項１３】
上記プレ印刷・地紋除去用の色相許容範囲計算手段において、
請求項１１記載の色空間変換した押印色の色相と、請求項１０記載の色空間変換による上記処理対象画像の画素の色相の頻度分布を用いて、頻度分布は押印色の色相を中心とした正規分布として扱い、偏差βσになるまでの色相範囲を色むら用の色相許容範囲とする請求項１１の画像処理方法。
【請求項１４】
上記有彩色用のプレ印刷・地紋除去用の画素分類手段において、
上記処理対象画像内の各画素を、上記選択された押印色、背景色、当該画素の色相および彩度を用いて、背景、文字、文字候補、および除去候補に弁別する請求項１１記載の画像処理方法。
【請求項１５】
上記罫線を除去する手段において、
画素分類で文字に弁別された画素において、８近傍の弁別された画素で３×３画素のフィルタリングを行うことを特徴とした請求項１１記載の画像処理方法。
【請求項１】
処理対象画像から文字成分のみ残すドロップアウトの画像処理方法であって、
上記処理対象画像を入力するステップと、
上記処理対象画像の画素を色クラスタリングするステップと、上記色クラスタリングに基づいて背景色を選択するステップと、
上記処理対象画像の画素から押印色を選択するステップと、
上記処理対象画像の画素を色空間変換するステップと、
上記処理対象画像の画素から色むら対応用の濃淡画像生成するステップと、
上記濃淡画像の傾きを補正するステップと、
上記傾き補正した濃淡画像を２値化するステップを有する第１の画像処理方法。
【請求項２】
上記押印色を選択するステップにおいて、
上記処理対象画像の押印の円周付近の画素の円周色を選択する手段と、
上記処理対象画像の押印の領域内の画素から上記選択された円周色に最も近い色を押印色として決定する手段により押印色を選択することを特徴とする請求項１記載の画像処理方法。
【請求項３】
上記色むら対応用の濃淡画像生成ステップにおいて、
上記押印色を色空間変換する手段と、
上記色空間変換によって得た押印色の彩度と輝度から無彩色か有彩色に判定する手段と、
上記判定結果で無彩色である場合は、無彩色用の色むら対応用の画素分類を行う手段と、
上記判定結果で有彩色である場合は、色むら対応用の色相許容範囲計算する手段と、
有彩色用の色むら対応用の画素分類を行う手段と、
画素分類の結果から濃淡値に変換する手段を有する請求項１記載の画像処理方法。
【請求項４】
上記無彩色用の色むら対応用の画素分類手段において、
上記処理対象画像内の各画素を、上記選択された押印色、背景色、当該画素の彩度および輝度を用いて、背景、文字、および除去候補に弁別する請求項３記載の画像処理方法。
【請求項５】
上記色むら対応用の色相許容範囲計算手段において、
請求項３記載の色空間変換した押印色の色相と、請求項１記載の色空間変換による上記処理対象画像の画素の色相の頻度分布を用いて、頻度分布は押印色の色相を中心とした正規分布として扱い、偏差ασになるまでの色相範囲を色むら用の色相許容範囲とする請求項３の画像処理方法。
【請求項６】
上記色むら対応用の色相許容範囲計算手段において、
請求項３記載の色空間変換した押印色の色相と、請求項１記載の色空間変換による上記処理対象画像の画素の色相の頻度分布を用いて、頻度分布において押印色の色相の頻度の所定閾値以下になるまでの色相範囲を色むら用の色相許容範囲とする請求項３の画像処理方法。
【請求項７】
上記有彩色用の色むら対応用の画素分類手段において、
上記処理対象画像内の各画素を、上記選択された押印色、背景色、当該画素の色相および彩度を用いて、背景、文字、文字候補、および除去候補に弁別する請求項３記載の画像処理方法。
【請求項８】
上記２値化するステップにおいて、
２値化は上記傾き補正した濃淡画像における日付領域の部分領域を、それぞれの部分領域の２値化閾値に従って２値化して２値画像を生成し、それぞれの部分領域２値画像の論理和をとることで、日付領域の２値画像とすることを特徴とする請求項１の画像処理方法。
【請求項９】
日付印が押印されたカラー画像からの押印日付読取り方法であって、
上記カラー画像を入力するステップと、
上記カラー画像から日付印を検知するステップと、
上記検知した日付印に対して日付文字行２値画像を出力する請求項１の画像処理方法と、
２値画像に対して日付文字列を認識するステップと、
上記認識結果をセットするステップと、
結果を出力するステップを有する第１の押印日付読取り方法。
【請求項１０】
処理対象画像から文字成分のみ残すドロップアウトの画像処理方法であって、
上記処理対象画像を入力するステップと、
上記処理対象画像の画素を色クラスタリングするステップと、上記色クラスタリングに基づいて背景色を選択するステップと、
上記処理対象画像の画素から押印色を選択するステップと、
上記処理対象画像の画素を色空間変換するステップと、
上記処理対象画像の画素からプレ印刷・地紋除去用の濃淡画像生成するステップと、
上記濃淡画像の傾きを補正するステップと、
上記傾き補正した濃淡画像を２値化するステップを有する第２の画像処理方法。
【請求項１１】
上記プレ印刷・地紋除去用の濃淡画像生成ステップにおいて、
上記押印色を色空間変換する手段と、
上記色空間変換によって得た押印色の彩度と輝度から無彩色か有彩色に判定する手段と、
上記判定結果で無彩色である場合は、無彩色用のプレ印刷・地紋除去用の画素分類を行う手段と、
上記判定結果で有彩色である場合は、プレ印刷・地紋除去用の色相許容範囲計算する手段と、
有彩色用のプレ印刷・地紋除去用の画素分類を行う手段と、
画素分離の結果から罫線を除去する手段と、
画素分類の結果から濃淡値に変換する手段を有する請求項１０記載の画像処理方法。
【請求項１２】
上記無彩色用のプレ印刷・地紋除去用の画素分類手段において、
上記処理対象画像内の各画素を、上記選択された押印色、背景色、当該画素の彩度および輝度を用いて、背景、文字、および除去候補に弁別する請求項１１記載の画像処理方法。
【請求項１３】
上記プレ印刷・地紋除去用の色相許容範囲計算手段において、
請求項１１記載の色空間変換した押印色の色相と、請求項１０記載の色空間変換による上記処理対象画像の画素の色相の頻度分布を用いて、頻度分布は押印色の色相を中心とした正規分布として扱い、偏差βσになるまでの色相範囲を色むら用の色相許容範囲とする請求項１１の画像処理方法。
【請求項１４】
上記有彩色用のプレ印刷・地紋除去用の画素分類手段において、
上記処理対象画像内の各画素を、上記選択された押印色、背景色、当該画素の色相および彩度を用いて、背景、文字、文字候補、および除去候補に弁別する請求項１１記載の画像処理方法。
【請求項１５】
上記罫線を除去する手段において、
画素分類で文字に弁別された画素において、８近傍の弁別された画素で３×３画素のフィルタリングを行うことを特徴とした請求項１１記載の画像処理方法。
【図１】
【図４】
【図５】
【図６】
【図８】
【図９】
【図１０】
【図１２】
【図１３】
【図１５】
【図１６】
【図１７】
【図１８】
【図１９】
【図２０】
【図２１】
【図２２】
【図２３】
【図２４】
【図２５】
【図２６】
【図２７】
【図２】
【図３】
【図７】
【図１１】
【図１４】
【図２８】
【図２９】
【図３０】
【図４】
【図５】
【図６】
【図８】
【図９】
【図１０】
【図１２】
【図１３】
【図１５】
【図１６】
【図１７】
【図１８】
【図１９】
【図２０】
【図２１】
【図２２】
【図２３】
【図２４】
【図２５】
【図２６】
【図２７】
【図２】
【図３】
【図７】
【図１１】
【図１４】
【図２８】
【図２９】
【図３０】
【公開番号】特開２０１３−８４０７１（Ｐ２０１３−８４０７１Ａ）
【公開日】平成２５年５月９日（２０１３．５．９）
【国際特許分類】
【出願番号】特願２０１１−２２２４５２（Ｐ２０１１−２２２４５２）
【出願日】平成２３年１０月７日（２０１１．１０．７）
【出願人】（０００２３３０３３）日立コンピュータ機器株式会社 (253)
【Ｆターム（参考）】
【公開日】平成２５年５月９日（２０１３．５．９）
【国際特許分類】
【出願日】平成２３年１０月７日（２０１１．１０．７）
【出願人】（０００２３３０３３）日立コンピュータ機器株式会社 (253)
【Ｆターム（参考）】
[ Back to top ]