文書イメージ処理システムおよび文書イメージ処理方法
【課題】文書イメージの取り込みに際して、背景に対して文字イメージを強化する。
【解決手段】４分木法によりイメージを矩形領域に分割し、大きな矩形領域においてヒストグラムにより、画素の光度分布から、
大きな片の明るい背景を有する状況、多くの前景物件を有する状況、及び突出した明部および暗部のピーク値がない時、背景が徐々に変化する辺縁の状況に属し、該矩形は再び細分化(subdivide)が必要な状況、とに分類し、
第１の状況に対してそのまま、第２の状況に対して背景情報の補強、第３の状況に対して更に４つの小さなセルに分割し、上記ステップに基づき、ヒストグラムを再計算し、
さらにこれらの背景に応じたフィルター処理によって前景イメージを補強し、処理を完了する。
【解決手段】４分木法によりイメージを矩形領域に分割し、大きな矩形領域においてヒストグラムにより、画素の光度分布から、
大きな片の明るい背景を有する状況、多くの前景物件を有する状況、及び突出した明部および暗部のピーク値がない時、背景が徐々に変化する辺縁の状況に属し、該矩形は再び細分化(subdivide)が必要な状況、とに分類し、
第１の状況に対してそのまま、第２の状況に対して背景情報の補強、第３の状況に対して更に４つの小さなセルに分割し、上記ステップに基づき、ヒストグラムを再計算し、
さらにこれらの背景に応じたフィルター処理によって前景イメージを補強し、処理を完了する。
【発明の詳細な説明】
【技術分野】
【０００１】
本発明は、文書イメージ（document images）処理システムおよび方法に関し、特に、文書イメージに対してイメージ増強（image enhancement）行い、オリジナル文書イメージの背景色彩を均一にし、文字内容のストロークを増強して筆跡を明晰かつシャープにするシステムおよび方法に関する。
【背景技術】
【０００２】
デジタルカメラおよびカメラ付携帯電話の普及によって、多くの人が、携帯しているデジタルカメラまたはカメラ付携帯電話でホワイトボード上の会議記録、手元にあってもプリントが間に合わない書類または名刺およびその他の書類を撮影している。しかし、光線等の撮影条件により通常は理想の状態ではなく、撮影の結果は、通常、プリントまたはスキャンした結果のように色彩が鮮明、シャープな白地に黒文字の色彩の図にはならず、よく見られる結果は、灰色地とぼやけた筆跡である。使用者がデジタルカメラで文書を撮影する場合、通常、撮影の結果が鮮明な白地に黒文字の文字、図形を期待するが、現行のデジタルカメラ技術は、通常良好な結果は得られない。重要な会議記録で、往々にして撮影後に露光不足で暗くなり、筆跡が過度にぼやけるため、可解読性が低く、直接会議記録として発送できず、ただ会議の付属図面となるだけである。
【０００３】
もう一つのよく見られる状況は、顧客の名刺を手に取って撮影してカメラ付き携帯電話に保存する場合である。使用者は、撮影した名詞の文字を直接解読でき、そのまま顧客データとしてパソコンの電話帳に保存でき、一文字ずつ打ち直して入力する必要がないようにすることを期待するが、携帯電話のイメージ品質は、現在一般のデジタルカメラよりも低く、撮影した結果は、イメージ品質上の制限を受け、携帯電話に実装されている文字判別システム（OCR＝optical character recognition）でも、往々にして文字を正確に判別できないことがある。
【０００４】
また、ホワイトボード、書類または名詞のいずれを撮影するかに関わらず、使用者は、しばしば撮影した文書をプリントする必要があるが、撮影して得た文書の背景色は、変色した灰色を帯びて純白にならず、プリントする時、全体の灰色領域がプリンタのインクを消耗するだけでなく、プリントの結果がパソコンや携帯電話の画面上で見るよりも可解読性が低くなる。
【０００５】
図１および図２は、市販の携帯電話で撮影したホワイトボードのイメージ処理の結果を説明するものである。
【０００６】
公知技術において、一般的なイメージ処理技術は、二種類の異なる方法であって、１つは、セル配列法（cell sorting）であり、もう１つは、中央荷重法（central weighting）である。
【０００７】
この二種類の方法の共通点は、光源環境等に関する各種問題に起因して、１つの平面物件のイメージを取得する時、均一な色彩の平面物件であっても、イメージ中の色彩が通常均一にならない。原因は、スタジオに精密に配備された光源による照明によらず、日常生活の撮影環境下では、イメージ中の各画素の受光状況が異なり、更にカメラセンサー(camera sensor)プロセスの特性により、各画素(pixel)の露光量(exposure level)も異なることにある。したがって、白一色とはいえない背景を一定の白色に変えることは、１つの固定された背景色の誤差値を測定し、各画素に加えるだけで完成できるものではない。以下の数種の調整方式は、良好な結果を得ることができず、例えば：固定背景レベルの低減（background leveling）、コントラストの直接調整（contrast adjustment）およびヒストグラム正規化（histogram normalization）である。図３中のイメージはイメージ処理を熟知した美術設計者が、市販のイメージ処理ソフトウェアで固定背景レベルの低減、コントラストの直接調整およびヒストグラム正規化を行い、得た出力結果であるが、期待する品質を達成できていない。
【０００８】
一般的に、イメージが均一な灰色を有することはなく、陰影を遮蔽できない状況下では相接する画素間では、照明による露光度の変化が通常は連続的である。したがって、公知技術では、如何にイメージを小さな領域に分割し、その小さな領域が代表する背景色彩値を取り、その色彩値と理想値との誤差を計算して、その誤差で小さな領域内の画素色彩を補正するかを議論している。しかしながらこれらの問題は、市販のイメージ処理ソフトウェアの編集機能で達成することができず、特殊な計算プログラムのサポートを得なければ、その目的を達成することができない。
【０００９】
前記したセル配列法および中央荷重法の主な違いは、領域の分割方式にある。また、この二種類の処理方法は、背景値の誤差を検出した後、画素に関連する色彩補正方法についても違いがある。それぞれ以下のとおり説明する：
【００１０】
セル配列法は、一枚のイメージを一定の大きさのセルに分割、例えば、各画素が１５×１５個の画素からなるセルに分割する。セルの大きさは文書上の字の平均サイズにより決定し、前記処理方法は、1つの文字が包含するイメージ領域に予め同一の背景色を持たせる必要がある。但し、前記方法は、文字の位置を予め測定しないので、「1つの文字の大きさを参考にしてセルの大きさを決定する」設定は、経験的判断基準に過ぎず、「同じ文字が包含するイメージ領域が同じ背景色を有する」保証はない。この方法は、各分割された小さなセルに、全ての画素の光度(intensity)を配列し、予め設けられた経験的判断基準「領域内に一定の背景画素を含み、最も明るい幾つかの画素が前記領域の背景色を代表する」を適用する。それらは、配列後の最も明るい幾つかの画素の光度値を取り、例えば、光度配列が２５％までの各画素を平均して、この領域の背景値の代表とする。その上でこれらの代表的背景値により、セル内のその他の画素の値を修正する。この値を判断基準とし、この値よりも暗いものは、前景（foreground）即ち、本文ストローク（筆跡情報）の画素でもある、とし、この値よりも明るいかまたは等しいものは、背景とし、前記画素の値は、１つの前記背景値で換算された比率を掛けて、光度を向上させて、それを更に白く明るくする。
【００１１】
中央荷重法は、それぞれイメージ中の各画素に対して、前記画素が対応する背景値を検出するものである。各画素の対応背景値は、いずれも新たに計算されるものである。各画素の対応背景値(reference background color)は、前記画素を中心として隣接する、対称な米字形に配列される８個の画素合計４対の対角をそれぞれ平均して４つの値をとり、この５個の値のうち、最大値を検出して背景の臨界値(threshold value)とする。必要により、５０％×５０％の縮小図に対して、更にもう一度上記動作を行い、比較する。
【００１２】
中央荷重法は、セル配列法と異なり背景値を有するだけでなく、各画素がいずれも一定のノイズ値(noise revel)を有する。統計方式を利用し、ノイズ臨界値を計算する。個別の画素の背景パラメータとノイズ臨界値を計算した後、前記画素の値とこれらの臨界値に特定の加減法操作を行って前記画素の新たな値を算出する。中央荷重法は、白地に黒文字および黒地に白文字に対して加減および正負反対の判断基準と計算を用いてそれぞれホワイトボードイメージおよびブラックボードイメージを処理することができる。但し、ブラックボードまたはホワイトボードのイメージの判断を自動化できず、この部分は、手動選択で処理している。セル配列法および中央荷重法の欠点を以下のように説明する：
【００１３】
セル配列法は、一定の大きさのセルによって1回で処理し、個別に画素一つ一つを処理するのではないので、速度が速いという長所がある。更に、光度で判断し、多数のイメージフォーム中で光度は、取得が容易で、多くの想定外の計算を必要としない色彩次元であるので、演算処理が容易である。但し、その速度の利点も、視覚欠陥の主な要因でもある。幾つかのイメージ品質に不利な欠陥は、以下のとおりである：
【００１４】
（１）セルが起こすモザイク効果：背景臨界値がセル単位で処理されるので、セルとセルの境界で、不連続な色彩変化が出現し、この不連続な誤差が大きい時、肉眼でその差異を識別され、文書が本来は有していないモザイク模様となって現れる（図４参照）。
（２）明るい色彩のストロークを白くプリントし易い：前記演算法は、光度に基づき計算するので、特定の色彩のストロークに対して、全体の光度も相当高いものであるので、背景として判断されて直接白くプリント（wash out）され易い。即ち、明るい色の文字前景は、誤って背景として判断され、その結果、直接白くプリント処理され、本来解読できる文字（図５参照）が消失する（図６参照）。この現象は特に、青緑色元素を含むホワイトボードに記載された筆跡に対して表れ易い。白くプリントされる問題が発生する時、多くの筆跡線が消失し、または非常に細くなる。
（３）ストロークが細くなる問題：図面全体に同一の光度配列判断基準（例えば、２５％までを背景とする）を採用するので、露光が弱い領域に対して、誤って前景として判断して処理されるため、全体的に灰色な背景となって文字が判別し難くなる。また、露光が強い箇所は、前景が誤って背景として判断され、白くプリントされるため文字が消え易い。白くプリントされる図において、筆跡も細くなることが多い（図６参照）。
（４）反射光点（reflective highlight spots）の判断誤り：文書イメージ上面に明らかな反射光点がある時、判断誤りが起こり易い。実際のホワイトボードのイメージを撮影する時、ホワイトボード表面に時々、照明環境中の光源を反映し（図７参照）、例えば、天井のライトまたはカメラのフラッシュの反射があると、これらの光点が分割したセルの大きさに対して一定の程度である時、セル全体の半分以上の色彩が白色になり、その他の領域は、相対的に前景として判断され、明るい光点の外枠に明らかな暗色の領域が残される。但し、隣接するが光点を含まないセルが背景の比較を正常に処理できる場合は、１ブロックの深い色のセルに１つの白色の点を有する状況が発生し、領域が１つのセルよりも大きな反射光点に対して、同様に視覚の障害(visual defect)も出現し（図８参照）、これらの特定な状況では、更に顕著に表れる。
（５）特定の色ブロックで、セルの大部分の領域をストロークが覆っていない場合、該方法は、正確な背景色を効果的に判断する情報がなく、実際上セル全体の大部分が前景であり、明るさを調整する必要がない背景である。但し、前記方法は、近隣セルの背景臨界値を取り内部に挿入する方法を採用するため、これらの臨界値は、よく一部の前景が誤って判断され、色ブロックを壊すことがある。
【００１５】
中央荷重法による場合は、背景臨界値を各画素を単位として計算するので、中央荷重法ではセル配列法のようなモザイク効果は発生しない。但し、中央荷重法も以下の欠点を有している：
（１）処理速度が比較的遅い：各画素がそれぞれ臨界値を計算し、必要時は、更に反復計算（iterations）し、速度が比較的遅くなる。且つ臨界値の精度を補強するため、更に縮小図(thumbnail)による反復計算が必要であり、縮小図が必要とする時間以外に、上記反復計算も各画素毎に計算する。前記方法は、更に精度を良好にするには、その計算量が膨大になり、その応用範囲が限定される。
（２）背景が比較的均一ではない：それが採用する領域の一回の反復計算（重複度合い）は、３×３の範囲にあり、縮小図の反復計算の包含する範囲は最多で６×６までである。比較的大きなブロックの平均した背景色に対して、これらの反復計算は、余計であり、また、小さな領域の極値であるので、斑点効果を起こす。オリジナル文書の露光度が不均一な小領域に対して、この方法の適応性はセル配列法よりも優れている。
（３）メモリーの消費：縮小図の計算が必要であるという前提によれば、想定外のメモリーの消費要求が生じる。
（４）断線の問題：ノイズを１つの臨界値とし色彩に対してフィルタリング検出を行い、ノイズとして判断された時、前記点のノイズ成分を消去する。判断エラーによって容易にストロークが不均一に断線する。
（５）その他の欠点：中央荷重法は、セル配列法と同様にストロークが細くなり、反射光点の判断エラーが起こる。
【特許文献１】特開２００７−７９９４３号公報
【特許文献２】特表２００２−５３５８９６号公報
【特許文献３】特許第３７８５３０６号公報
【発明の開示】
【発明が解決しようとする課題】
【００１６】
本発明の目的は、特殊なイメージ処理方法を使用し、文書イメージの可解読性の必要に対して、イメージの増強を行い、更に、オリジナル文書イメージの背景色を均一にし、文字内容のストロークを増強し、筆跡を明晰でシャープにする文書イメージ処理方法を提供することにある。
【００１７】
本発明のもう一つの目的は、白地に黒字の色彩図の文書イメージに対して極めて良好な増強効果を有する以外に、増強前後に色彩空間の転換を補い、更に本発明を各種色彩の前景の書類別イメージの増強に適用できる文書イメージ処理方法を提供することにある。
【課題を解決するための手段】
【００１８】
本発明の文書イメージ処理方法は、以下のステップからなる：
（j）文書イメージを出力し；
（k）４分木法により前記イメージ全部を複数の一定な大きさの矩形領域に均一分割 し；
（l）前記各矩形領域に対してＹ成分の正規化ヒストグラムを作り出し；
（m）各矩形のヒストグラム分布状況に基づき処理の判断を行い；
（n）ステップ（d）中の判断の結果に対して関連する処理を行い；
（o）正規化ヒストグラム中の明部の最も明るいピーク値領域の下縁を背景臨界値と して検出し、前景と背景を分割し；
（p）前景として判断した画素の位置に基づき、前景マスクを生成し、それぞれＹ， Ｃｒ，Ｃｂの三成分のマスクを生成し；
（q）前景イメージを増強処理し；
（r）処理が完了した前景を白色背景上に合成し、文書イメージの処理プロセスの全 てを完成する。
【発明の効果】
【００１９】
本発明は、特殊なイメージ処理方法を使用し、文書イメージの可解読性の必要に対して、イメージの増強を行い、更に、オリジナル文書イメージの背景色を均一にし、文字内容のストロークを増強し、筆跡を明晰でシャープにする文書イメージ処理方法を提供する。
【００２０】
本発明は、白地に黒字の色彩図の文書イメージに対して極めて良好な増強効果を有する以外に、増強前後に色彩空間の転換を補い、更に本発明を各種色彩の前景の書類別イメージの増強に運用できる文書イメージ処理方法を提供する。
【発明を実施するための最良の形態】
【００２１】
本発明の特徴、目的および機能を更に具体的に理解できるように、以下に図面とともに説明する：図９、図１０、図１１および図１２において、図９は、本発明のイメージ処理プロセスに対する説明図であり、図９から分かるように、本発明は先ず４分木方法を採用して１つの入力イメージ全部を一定の大きさの複数個の矩形領域に均等に分割する（ステップＳ６２）（図１１参照）。
次に、各矩形領域に対してＹ成分の正規化ヒストグラム（normalized histogram）をとり（ステップＳ６３）、それは更に、以下のステップに分け（図９参照）、ステップＳ６３１：ヒストグラム（histogram）の加速は以下のようにする；Ｙ成分の５ｂｉｔ（ｓ）までのヒストグラムを作成し、３２個の要素(element)の陳列（array）を使用し演算を完成する。ステップＳ６３２：正規化の加速は以下のようにする；前記３２個の要素の陳列を新たに合併し８個の要素の正規化ヒストグラムにする。続いて、ステップＳ６４中、各矩形(rectangle)のヒストグラム分布(distribution)状況に基づき以下の判断を行う：
（１）７５％の画素が５０％以上の光度(intensity)を有し、光度７５％以上の領域内に少なくとも１つのピーク値(peak value)を有する場合、大きな片の明るい背景を有する状況に属する。
（２）７５％の画素は５０％以下の光度を有し、光度２５％以下の領域内に少なくとも１つのピーク値を有する場合、比較的多くの前景物件を有する状況に属する。
（３）明部(brighter region)および暗部(darker region)の画素数が等しく、突出した明部および暗部のピーク値がない時、背景が徐々に変化する辺縁の状況に属し、該矩形は再び細分化(subdivide)が必要な状況となる。
以上の判断の結果に対して以下の関連する処理を行う（ステップＳ６４）
（１）維持（keep）：大きな片の明部の背景の矩形に対して、理想的な背景を取得できる臨界値(threshold)を判定し、前記矩形の大きさを維持する。
（２）収集（merge）：比較的多い前景物件を有する矩形に対して、背景値の情報が不足していると判断し、背景臨界値は４分木の親物件の背景臨界値を基準とする。親物件の背景臨界値が前記矩形の４倍の大きさの矩形を包含し上記ステップに基づき、新たにヒストグラムを計算する。
（３）拡充（subdivide）：背景が徐々に変化する辺縁に位置する矩形は、更に４つの小さなセルに分割し、上記ステップに基づき、ヒストグラムを再計算する。
【００２２】
続いて、ステップＳ６５中、正規ヒストグラム中の明部の最も明るいピーク値領域の下縁(the lower bound of the brightest peak value) を検出して背景臨界値とし、前景および背景に分割(segmenting)する。ステップＳ６６：前景として判断した画素の位置に基づき前景マスク(mask)を生成し、それぞれＹ，Ｃｒ，Ｃｂの３成分のマスクを生成する。次に、ステップＳ６７中、以下の３つのステップにより前景イメージを増強処理する：フィルターにより前景マスクに厚みを加える（thickening）（blur filter採用）。フィルターによりノイズを除去(reduce noise)する（median filter採用）。フィルターにより前景マスクに深さを加える（darkening）（min-filter採用）。最後に、ステップＳ６８で、処理を完了した前景を白色背景上に合成(merge)し全体の文書イメージの処理プロセスを完成する。
【００２３】
実験の結果に基づき、本発明が開示する文書イメージ処理システムおよび方法は以下の長所を具備する：
【００２４】
（ａ）４分木の設計は、適性(adaptive, adaptively)に応じてより適切な領域に分割でき、全体的に均一な背景に対して、直接大きな片で処理し、必ずしも１文字が包含する面積の大きさに分割する必要はない。色彩変化の辺縁に位置する領域に対して、４分木継続分割し、単一の矩形領域内の露光度を更に一致させ、背景臨界値の精度を向上させる。全片が明るすぎるかまたは暗すぎる領域に対して、４分木構造は、少ない演算で親の数値を参考にし、反射光点または塗色した色ブロック(color filled block)の判断エラーの状況を回避することができる。
（ｂ）簡易化したヒストグラム構築(build)および正規化(normalize)動作を採用し、演算量を少なくし、速度を早くする。但し、得られる色彩分布情報は、純粋配列または極値(extreme value)を取るより多いので、領域が収集または拡充が必要か否かを効率的に判断でき、更に精確な判断ができる。
（ｃ）公知技術は、いずれも光度を判断の対象としているが、本発明は、Ｙ値を判断の基礎とする。Ｙ値自身は、光度情報が含まれる以外に、更に多くのイメージ詳細情報を含み、例えば、高飽和度の純色前景ストロークに対して、効率的に前景と判断でき、その他の方法のように容易に背景として判断してしまうことがない。また、ＹＣｒＣｂの色彩領域（color domain）処理により、カメラセンサー装置のＲＧＢ色彩領域と区別し、色温(color temperature)およびホワイトバランス(white balance)により特定の色が比較的鋭敏でなくなる問題を回避することができ、例えば、明るい緑色のホワイトボードペンは、本発明の処理効果が非常に良好である。
（ｄ）現在多数のデジタルカメラおよびカメラ付携帯が使用するファイル形式はＪＰＥＧが主流であり、ＪＰＥＧを解凍する過程はＹＣｒＣｂ色彩領域を経過する必要があり、ＲＧＢ色彩領域は、かえって一層多く転換が必要になり、演算性能を消耗する。処理が終了した色彩は、ＪＰＥＧに圧縮することもＲＧＢからＹＣｒＣｂの計算を１回省略することができる。
（ｅ）ＹＣｒＣｂ三次元がイメージ詳細および色彩にそれぞれ異なる意義を表すので、ストローク増強の処理において、３枚のマスクがそれぞれその特性に基づいて増強を行い、イメージの明晰度および色彩の飽和度に対する制御は、いずれもＲＧＢ色彩領域で同フィルター処理を行うよりも優れている。更に、ストローク増強(stroke enhancement)は前景マスクに基づいて行い、背景に対して、再度フィルターを行う必要がなく、大幅に演算時間を短縮できる。
（ｆ）公知の技術が前景の色彩に対して、新たにテーブル(table lookup)を参照し飽和度(saturation)を対応させるか、または特定の臨界値を加減し、色彩を増強する。本発明は、特にストロークに対してイメージ処理モジュールを構成する：ストロークに深さを加えること、ストロークに厚さを加えること、ノイズ点を消去(despeckle)することに対して、いずれも個別の処理を有し、それぞれ、異なるフィルターおよび強度(strongth)により前景のＹＣｒＣｂ三次元に用い、公知技術よりも効果が優れている。
（ｇ）本発明は、色彩変換の前後処理で補助する場合、非白色背景のイメージに対して増強を行うことができる。例えば、黒板のイメージを白く反転し、処理を加えた後、元の色彩に戻し、黒地に白文字の増強効果を望むことができる。緑色の黒板、赤地に金文字のお祝い用紙等の異なる色彩も対応して行うことができる。図１３、図１４、図１５、図１６は、本発明の文書イメージ処理の結果である。
【００２５】
図１７は、本発明の文書イメージを処理するシステム構造図である。図１７から分かるように、本発明の文書イメージを処理するシステム１００は、文書イメージの入力に用いるイメージ入力モジュール１０１と、前記イメージを４分木法で複数の矩形領域に分割することに用いるイメージ分割モジュール１０２と、（ａ）イメージヒストグラムを計算し、（ｂ）ヒストグラムの分布状況に基づき、イメージを前景、背景または辺縁条件として分類する。分割モジュールに分割する回数を決定させ、（ｃ）ヒストグラムの分布状況に基づいて、各ピーク値および臨界判断値を検出するヒストグラムプロセスモジュール１０３と、臨界判断値に基づいて、前景マスクを生成するマスク生成モジュール１０４と、加厚、ノイズ除去、加深等のフィルターを含むイメージ増強モジュール１０５と、各マスクを全く新たな背景図に合成し、前記合成が完成したイメージを出力するイメージ合成モジュール１０６とを含む。
【００２６】
以下に数個の具体的な実施例を挙げ、更に本発明が開示する文書イメージ処理方法を応用する態様を説明する。最も簡単な応用を例にとれば、図１８に示すように、文書イメージ１１１は本発明が開示する文書イメージ処理方法１１２の処理を経過した後、出力文書１１３を得ることができる。図１９に示すように、前記文書イメージ１１１は、イメージ取得装置１１４を経由して取得することもできる。図２０に示すように、前記文書イメージ１１はストレージ装置１１５に保存したイメージであることができる。図２１に示されるように、前記出力文書１１３は、更に、ストレージ装置１１６に保存することができる。
【００２７】
その他の実施例は、更に比較的複雑な応用を含むことができ、図２２に示すように、文書イメージ１２１は、発信装置１２２に保存した本発明が開示する文書イメージ処理方法１２３を経由して処理した後、前記出力文書１２４になり、図２３に示すように、前記出力文書１２４は、更に受信装置１２５に伝送できる。
【００２８】
図２４に示すように、発信装置１３１は、文書イメージ１３２を発信し、処理サーバー１３３に保存した本発明が開示する文書イメージ処理方法１２４の処理を経由した後、出力文書１３５を得ることでき、図２５に示すように、前記出力文書１３５は、更に受信装置に伝送することができる。
【００２９】
なお、本発明では好ましい実施例を前述の通り開示したが、これらは決して本発明に限定するものではなく、当該技術を熟知する者なら誰でも、本発明の精神と領域を脱しない均等の範囲内で各種の変動や潤色を加えることができることは勿論である。
【図面の簡単な説明】
【００３０】
【図１】公知技術の文書イメージ処理方式の実施例の説明図である。
【図２】公知技術の文書イメージ処理方式の実施例の説明図である。
【図３】公知技術の文書イメージ処理方式の他の実施例の説明図である。
【図４】公知技術の文書イメージ処理方式の他の実施例の説明図である。
【図５】公知技術の文書イメージ処理方式の他の実施例の説明図である。
【図６】公知技術の文書イメージ処理方式の他の実施例の説明図である。
【図７】公知技術の文書イメージ処理方式の他の実施例の説明図である。
【図８】公知技術の文書イメージ処理方式の他の実施例の説明図である。
【図９】本発明の文書イメージ処理プロセスの説明図である。
【図１０】本発明の文書イメージ処理プロセスの他の説明図である。
【図１１】本発明の文書イメージ処理プロセスの公的な実施例の説明図である。
【図１２】本発明の文書イメージ処理プロセスの公的な実施例の説明図である。
【図１３】本発明の文書イメージ処理プロセスの公的な実施例の説明図である。
【図１４】本発明の文書イメージ処理プロセスの公的な実施例の説明図である。
【図１５】本発明の文書イメージ処理プロセスの公的な他の実施例の説明図である。
【図１６】本発明の文書イメージ処理プロセスの公的な他の実施例の説明図である。
【図１７】本発明の文書イメージを処理するシステム構造図である。
【図１８】本発明の文書イメージを処理するシステム構造図である。
【図１９】本発明の文書イメージを処理するシステム構造図である。
【図２０】本発明の文書イメージを処理するシステム構造図である。
【図２１】本発明の文書イメージ処理方法を異なる状況に応用した実施例。
【図２２】本発明の文書イメージ処理方法を異なる状況に応用した実施例。
【図２３】本発明の文書イメージ処理方法を異なる状況に応用した他の実施例。
【図２４】本発明の文書イメージ処理方法を異なる状況に応用した他の実施例。
【図２５】本発明の文書イメージ処理方法を異なる状況に応用した他の実施例。
【符号の説明】
【００３１】
Ｓ６１〜Ｓ６８，Ｓ６３１，Ｓ６３２ プロセスステップ
１０１ イメージ入力モジュール
１０２ イメージ分割モジュール
１０３ ヒストグラムプロセスモジュール
１０４ マスク生成モジュール
１０５ イメージ増強モジュール
１０６ イメージ合成モジュール
１１１ オリジナルイメージ
１１２ 文書イメージ処理方法
１１３ 出力文書イメージ
１１４ イメージ取得装置
１１５ ストレージ装置
１１６ ストレージ装置
１２１ 文書イメージ
１２２ 発信装置
１２３ 文書イメージ処理方法
１２４ 出力文書イメージ
１２５ 受信装置
１３１ 発信装置
１３２ オリジナルイメージ
１３３ イメージ処理サーバー
１３４ 文書イメージ処理方法
１３５ 出力文書イメージ
１３６ 受信装置
【技術分野】
【０００１】
本発明は、文書イメージ（document images）処理システムおよび方法に関し、特に、文書イメージに対してイメージ増強（image enhancement）行い、オリジナル文書イメージの背景色彩を均一にし、文字内容のストロークを増強して筆跡を明晰かつシャープにするシステムおよび方法に関する。
【背景技術】
【０００２】
デジタルカメラおよびカメラ付携帯電話の普及によって、多くの人が、携帯しているデジタルカメラまたはカメラ付携帯電話でホワイトボード上の会議記録、手元にあってもプリントが間に合わない書類または名刺およびその他の書類を撮影している。しかし、光線等の撮影条件により通常は理想の状態ではなく、撮影の結果は、通常、プリントまたはスキャンした結果のように色彩が鮮明、シャープな白地に黒文字の色彩の図にはならず、よく見られる結果は、灰色地とぼやけた筆跡である。使用者がデジタルカメラで文書を撮影する場合、通常、撮影の結果が鮮明な白地に黒文字の文字、図形を期待するが、現行のデジタルカメラ技術は、通常良好な結果は得られない。重要な会議記録で、往々にして撮影後に露光不足で暗くなり、筆跡が過度にぼやけるため、可解読性が低く、直接会議記録として発送できず、ただ会議の付属図面となるだけである。
【０００３】
もう一つのよく見られる状況は、顧客の名刺を手に取って撮影してカメラ付き携帯電話に保存する場合である。使用者は、撮影した名詞の文字を直接解読でき、そのまま顧客データとしてパソコンの電話帳に保存でき、一文字ずつ打ち直して入力する必要がないようにすることを期待するが、携帯電話のイメージ品質は、現在一般のデジタルカメラよりも低く、撮影した結果は、イメージ品質上の制限を受け、携帯電話に実装されている文字判別システム（OCR＝optical character recognition）でも、往々にして文字を正確に判別できないことがある。
【０００４】
また、ホワイトボード、書類または名詞のいずれを撮影するかに関わらず、使用者は、しばしば撮影した文書をプリントする必要があるが、撮影して得た文書の背景色は、変色した灰色を帯びて純白にならず、プリントする時、全体の灰色領域がプリンタのインクを消耗するだけでなく、プリントの結果がパソコンや携帯電話の画面上で見るよりも可解読性が低くなる。
【０００５】
図１および図２は、市販の携帯電話で撮影したホワイトボードのイメージ処理の結果を説明するものである。
【０００６】
公知技術において、一般的なイメージ処理技術は、二種類の異なる方法であって、１つは、セル配列法（cell sorting）であり、もう１つは、中央荷重法（central weighting）である。
【０００７】
この二種類の方法の共通点は、光源環境等に関する各種問題に起因して、１つの平面物件のイメージを取得する時、均一な色彩の平面物件であっても、イメージ中の色彩が通常均一にならない。原因は、スタジオに精密に配備された光源による照明によらず、日常生活の撮影環境下では、イメージ中の各画素の受光状況が異なり、更にカメラセンサー(camera sensor)プロセスの特性により、各画素(pixel)の露光量(exposure level)も異なることにある。したがって、白一色とはいえない背景を一定の白色に変えることは、１つの固定された背景色の誤差値を測定し、各画素に加えるだけで完成できるものではない。以下の数種の調整方式は、良好な結果を得ることができず、例えば：固定背景レベルの低減（background leveling）、コントラストの直接調整（contrast adjustment）およびヒストグラム正規化（histogram normalization）である。図３中のイメージはイメージ処理を熟知した美術設計者が、市販のイメージ処理ソフトウェアで固定背景レベルの低減、コントラストの直接調整およびヒストグラム正規化を行い、得た出力結果であるが、期待する品質を達成できていない。
【０００８】
一般的に、イメージが均一な灰色を有することはなく、陰影を遮蔽できない状況下では相接する画素間では、照明による露光度の変化が通常は連続的である。したがって、公知技術では、如何にイメージを小さな領域に分割し、その小さな領域が代表する背景色彩値を取り、その色彩値と理想値との誤差を計算して、その誤差で小さな領域内の画素色彩を補正するかを議論している。しかしながらこれらの問題は、市販のイメージ処理ソフトウェアの編集機能で達成することができず、特殊な計算プログラムのサポートを得なければ、その目的を達成することができない。
【０００９】
前記したセル配列法および中央荷重法の主な違いは、領域の分割方式にある。また、この二種類の処理方法は、背景値の誤差を検出した後、画素に関連する色彩補正方法についても違いがある。それぞれ以下のとおり説明する：
【００１０】
セル配列法は、一枚のイメージを一定の大きさのセルに分割、例えば、各画素が１５×１５個の画素からなるセルに分割する。セルの大きさは文書上の字の平均サイズにより決定し、前記処理方法は、1つの文字が包含するイメージ領域に予め同一の背景色を持たせる必要がある。但し、前記方法は、文字の位置を予め測定しないので、「1つの文字の大きさを参考にしてセルの大きさを決定する」設定は、経験的判断基準に過ぎず、「同じ文字が包含するイメージ領域が同じ背景色を有する」保証はない。この方法は、各分割された小さなセルに、全ての画素の光度(intensity)を配列し、予め設けられた経験的判断基準「領域内に一定の背景画素を含み、最も明るい幾つかの画素が前記領域の背景色を代表する」を適用する。それらは、配列後の最も明るい幾つかの画素の光度値を取り、例えば、光度配列が２５％までの各画素を平均して、この領域の背景値の代表とする。その上でこれらの代表的背景値により、セル内のその他の画素の値を修正する。この値を判断基準とし、この値よりも暗いものは、前景（foreground）即ち、本文ストローク（筆跡情報）の画素でもある、とし、この値よりも明るいかまたは等しいものは、背景とし、前記画素の値は、１つの前記背景値で換算された比率を掛けて、光度を向上させて、それを更に白く明るくする。
【００１１】
中央荷重法は、それぞれイメージ中の各画素に対して、前記画素が対応する背景値を検出するものである。各画素の対応背景値は、いずれも新たに計算されるものである。各画素の対応背景値(reference background color)は、前記画素を中心として隣接する、対称な米字形に配列される８個の画素合計４対の対角をそれぞれ平均して４つの値をとり、この５個の値のうち、最大値を検出して背景の臨界値(threshold value)とする。必要により、５０％×５０％の縮小図に対して、更にもう一度上記動作を行い、比較する。
【００１２】
中央荷重法は、セル配列法と異なり背景値を有するだけでなく、各画素がいずれも一定のノイズ値(noise revel)を有する。統計方式を利用し、ノイズ臨界値を計算する。個別の画素の背景パラメータとノイズ臨界値を計算した後、前記画素の値とこれらの臨界値に特定の加減法操作を行って前記画素の新たな値を算出する。中央荷重法は、白地に黒文字および黒地に白文字に対して加減および正負反対の判断基準と計算を用いてそれぞれホワイトボードイメージおよびブラックボードイメージを処理することができる。但し、ブラックボードまたはホワイトボードのイメージの判断を自動化できず、この部分は、手動選択で処理している。セル配列法および中央荷重法の欠点を以下のように説明する：
【００１３】
セル配列法は、一定の大きさのセルによって1回で処理し、個別に画素一つ一つを処理するのではないので、速度が速いという長所がある。更に、光度で判断し、多数のイメージフォーム中で光度は、取得が容易で、多くの想定外の計算を必要としない色彩次元であるので、演算処理が容易である。但し、その速度の利点も、視覚欠陥の主な要因でもある。幾つかのイメージ品質に不利な欠陥は、以下のとおりである：
【００１４】
（１）セルが起こすモザイク効果：背景臨界値がセル単位で処理されるので、セルとセルの境界で、不連続な色彩変化が出現し、この不連続な誤差が大きい時、肉眼でその差異を識別され、文書が本来は有していないモザイク模様となって現れる（図４参照）。
（２）明るい色彩のストロークを白くプリントし易い：前記演算法は、光度に基づき計算するので、特定の色彩のストロークに対して、全体の光度も相当高いものであるので、背景として判断されて直接白くプリント（wash out）され易い。即ち、明るい色の文字前景は、誤って背景として判断され、その結果、直接白くプリント処理され、本来解読できる文字（図５参照）が消失する（図６参照）。この現象は特に、青緑色元素を含むホワイトボードに記載された筆跡に対して表れ易い。白くプリントされる問題が発生する時、多くの筆跡線が消失し、または非常に細くなる。
（３）ストロークが細くなる問題：図面全体に同一の光度配列判断基準（例えば、２５％までを背景とする）を採用するので、露光が弱い領域に対して、誤って前景として判断して処理されるため、全体的に灰色な背景となって文字が判別し難くなる。また、露光が強い箇所は、前景が誤って背景として判断され、白くプリントされるため文字が消え易い。白くプリントされる図において、筆跡も細くなることが多い（図６参照）。
（４）反射光点（reflective highlight spots）の判断誤り：文書イメージ上面に明らかな反射光点がある時、判断誤りが起こり易い。実際のホワイトボードのイメージを撮影する時、ホワイトボード表面に時々、照明環境中の光源を反映し（図７参照）、例えば、天井のライトまたはカメラのフラッシュの反射があると、これらの光点が分割したセルの大きさに対して一定の程度である時、セル全体の半分以上の色彩が白色になり、その他の領域は、相対的に前景として判断され、明るい光点の外枠に明らかな暗色の領域が残される。但し、隣接するが光点を含まないセルが背景の比較を正常に処理できる場合は、１ブロックの深い色のセルに１つの白色の点を有する状況が発生し、領域が１つのセルよりも大きな反射光点に対して、同様に視覚の障害(visual defect)も出現し（図８参照）、これらの特定な状況では、更に顕著に表れる。
（５）特定の色ブロックで、セルの大部分の領域をストロークが覆っていない場合、該方法は、正確な背景色を効果的に判断する情報がなく、実際上セル全体の大部分が前景であり、明るさを調整する必要がない背景である。但し、前記方法は、近隣セルの背景臨界値を取り内部に挿入する方法を採用するため、これらの臨界値は、よく一部の前景が誤って判断され、色ブロックを壊すことがある。
【００１５】
中央荷重法による場合は、背景臨界値を各画素を単位として計算するので、中央荷重法ではセル配列法のようなモザイク効果は発生しない。但し、中央荷重法も以下の欠点を有している：
（１）処理速度が比較的遅い：各画素がそれぞれ臨界値を計算し、必要時は、更に反復計算（iterations）し、速度が比較的遅くなる。且つ臨界値の精度を補強するため、更に縮小図(thumbnail)による反復計算が必要であり、縮小図が必要とする時間以外に、上記反復計算も各画素毎に計算する。前記方法は、更に精度を良好にするには、その計算量が膨大になり、その応用範囲が限定される。
（２）背景が比較的均一ではない：それが採用する領域の一回の反復計算（重複度合い）は、３×３の範囲にあり、縮小図の反復計算の包含する範囲は最多で６×６までである。比較的大きなブロックの平均した背景色に対して、これらの反復計算は、余計であり、また、小さな領域の極値であるので、斑点効果を起こす。オリジナル文書の露光度が不均一な小領域に対して、この方法の適応性はセル配列法よりも優れている。
（３）メモリーの消費：縮小図の計算が必要であるという前提によれば、想定外のメモリーの消費要求が生じる。
（４）断線の問題：ノイズを１つの臨界値とし色彩に対してフィルタリング検出を行い、ノイズとして判断された時、前記点のノイズ成分を消去する。判断エラーによって容易にストロークが不均一に断線する。
（５）その他の欠点：中央荷重法は、セル配列法と同様にストロークが細くなり、反射光点の判断エラーが起こる。
【特許文献１】特開２００７−７９９４３号公報
【特許文献２】特表２００２−５３５８９６号公報
【特許文献３】特許第３７８５３０６号公報
【発明の開示】
【発明が解決しようとする課題】
【００１６】
本発明の目的は、特殊なイメージ処理方法を使用し、文書イメージの可解読性の必要に対して、イメージの増強を行い、更に、オリジナル文書イメージの背景色を均一にし、文字内容のストロークを増強し、筆跡を明晰でシャープにする文書イメージ処理方法を提供することにある。
【００１７】
本発明のもう一つの目的は、白地に黒字の色彩図の文書イメージに対して極めて良好な増強効果を有する以外に、増強前後に色彩空間の転換を補い、更に本発明を各種色彩の前景の書類別イメージの増強に適用できる文書イメージ処理方法を提供することにある。
【課題を解決するための手段】
【００１８】
本発明の文書イメージ処理方法は、以下のステップからなる：
（j）文書イメージを出力し；
（k）４分木法により前記イメージ全部を複数の一定な大きさの矩形領域に均一分割 し；
（l）前記各矩形領域に対してＹ成分の正規化ヒストグラムを作り出し；
（m）各矩形のヒストグラム分布状況に基づき処理の判断を行い；
（n）ステップ（d）中の判断の結果に対して関連する処理を行い；
（o）正規化ヒストグラム中の明部の最も明るいピーク値領域の下縁を背景臨界値と して検出し、前景と背景を分割し；
（p）前景として判断した画素の位置に基づき、前景マスクを生成し、それぞれＹ， Ｃｒ，Ｃｂの三成分のマスクを生成し；
（q）前景イメージを増強処理し；
（r）処理が完了した前景を白色背景上に合成し、文書イメージの処理プロセスの全 てを完成する。
【発明の効果】
【００１９】
本発明は、特殊なイメージ処理方法を使用し、文書イメージの可解読性の必要に対して、イメージの増強を行い、更に、オリジナル文書イメージの背景色を均一にし、文字内容のストロークを増強し、筆跡を明晰でシャープにする文書イメージ処理方法を提供する。
【００２０】
本発明は、白地に黒字の色彩図の文書イメージに対して極めて良好な増強効果を有する以外に、増強前後に色彩空間の転換を補い、更に本発明を各種色彩の前景の書類別イメージの増強に運用できる文書イメージ処理方法を提供する。
【発明を実施するための最良の形態】
【００２１】
本発明の特徴、目的および機能を更に具体的に理解できるように、以下に図面とともに説明する：図９、図１０、図１１および図１２において、図９は、本発明のイメージ処理プロセスに対する説明図であり、図９から分かるように、本発明は先ず４分木方法を採用して１つの入力イメージ全部を一定の大きさの複数個の矩形領域に均等に分割する（ステップＳ６２）（図１１参照）。
次に、各矩形領域に対してＹ成分の正規化ヒストグラム（normalized histogram）をとり（ステップＳ６３）、それは更に、以下のステップに分け（図９参照）、ステップＳ６３１：ヒストグラム（histogram）の加速は以下のようにする；Ｙ成分の５ｂｉｔ（ｓ）までのヒストグラムを作成し、３２個の要素(element)の陳列（array）を使用し演算を完成する。ステップＳ６３２：正規化の加速は以下のようにする；前記３２個の要素の陳列を新たに合併し８個の要素の正規化ヒストグラムにする。続いて、ステップＳ６４中、各矩形(rectangle)のヒストグラム分布(distribution)状況に基づき以下の判断を行う：
（１）７５％の画素が５０％以上の光度(intensity)を有し、光度７５％以上の領域内に少なくとも１つのピーク値(peak value)を有する場合、大きな片の明るい背景を有する状況に属する。
（２）７５％の画素は５０％以下の光度を有し、光度２５％以下の領域内に少なくとも１つのピーク値を有する場合、比較的多くの前景物件を有する状況に属する。
（３）明部(brighter region)および暗部(darker region)の画素数が等しく、突出した明部および暗部のピーク値がない時、背景が徐々に変化する辺縁の状況に属し、該矩形は再び細分化(subdivide)が必要な状況となる。
以上の判断の結果に対して以下の関連する処理を行う（ステップＳ６４）
（１）維持（keep）：大きな片の明部の背景の矩形に対して、理想的な背景を取得できる臨界値(threshold)を判定し、前記矩形の大きさを維持する。
（２）収集（merge）：比較的多い前景物件を有する矩形に対して、背景値の情報が不足していると判断し、背景臨界値は４分木の親物件の背景臨界値を基準とする。親物件の背景臨界値が前記矩形の４倍の大きさの矩形を包含し上記ステップに基づき、新たにヒストグラムを計算する。
（３）拡充（subdivide）：背景が徐々に変化する辺縁に位置する矩形は、更に４つの小さなセルに分割し、上記ステップに基づき、ヒストグラムを再計算する。
【００２２】
続いて、ステップＳ６５中、正規ヒストグラム中の明部の最も明るいピーク値領域の下縁(the lower bound of the brightest peak value) を検出して背景臨界値とし、前景および背景に分割(segmenting)する。ステップＳ６６：前景として判断した画素の位置に基づき前景マスク(mask)を生成し、それぞれＹ，Ｃｒ，Ｃｂの３成分のマスクを生成する。次に、ステップＳ６７中、以下の３つのステップにより前景イメージを増強処理する：フィルターにより前景マスクに厚みを加える（thickening）（blur filter採用）。フィルターによりノイズを除去(reduce noise)する（median filter採用）。フィルターにより前景マスクに深さを加える（darkening）（min-filter採用）。最後に、ステップＳ６８で、処理を完了した前景を白色背景上に合成(merge)し全体の文書イメージの処理プロセスを完成する。
【００２３】
実験の結果に基づき、本発明が開示する文書イメージ処理システムおよび方法は以下の長所を具備する：
【００２４】
（ａ）４分木の設計は、適性(adaptive, adaptively)に応じてより適切な領域に分割でき、全体的に均一な背景に対して、直接大きな片で処理し、必ずしも１文字が包含する面積の大きさに分割する必要はない。色彩変化の辺縁に位置する領域に対して、４分木継続分割し、単一の矩形領域内の露光度を更に一致させ、背景臨界値の精度を向上させる。全片が明るすぎるかまたは暗すぎる領域に対して、４分木構造は、少ない演算で親の数値を参考にし、反射光点または塗色した色ブロック(color filled block)の判断エラーの状況を回避することができる。
（ｂ）簡易化したヒストグラム構築(build)および正規化(normalize)動作を採用し、演算量を少なくし、速度を早くする。但し、得られる色彩分布情報は、純粋配列または極値(extreme value)を取るより多いので、領域が収集または拡充が必要か否かを効率的に判断でき、更に精確な判断ができる。
（ｃ）公知技術は、いずれも光度を判断の対象としているが、本発明は、Ｙ値を判断の基礎とする。Ｙ値自身は、光度情報が含まれる以外に、更に多くのイメージ詳細情報を含み、例えば、高飽和度の純色前景ストロークに対して、効率的に前景と判断でき、その他の方法のように容易に背景として判断してしまうことがない。また、ＹＣｒＣｂの色彩領域（color domain）処理により、カメラセンサー装置のＲＧＢ色彩領域と区別し、色温(color temperature)およびホワイトバランス(white balance)により特定の色が比較的鋭敏でなくなる問題を回避することができ、例えば、明るい緑色のホワイトボードペンは、本発明の処理効果が非常に良好である。
（ｄ）現在多数のデジタルカメラおよびカメラ付携帯が使用するファイル形式はＪＰＥＧが主流であり、ＪＰＥＧを解凍する過程はＹＣｒＣｂ色彩領域を経過する必要があり、ＲＧＢ色彩領域は、かえって一層多く転換が必要になり、演算性能を消耗する。処理が終了した色彩は、ＪＰＥＧに圧縮することもＲＧＢからＹＣｒＣｂの計算を１回省略することができる。
（ｅ）ＹＣｒＣｂ三次元がイメージ詳細および色彩にそれぞれ異なる意義を表すので、ストローク増強の処理において、３枚のマスクがそれぞれその特性に基づいて増強を行い、イメージの明晰度および色彩の飽和度に対する制御は、いずれもＲＧＢ色彩領域で同フィルター処理を行うよりも優れている。更に、ストローク増強(stroke enhancement)は前景マスクに基づいて行い、背景に対して、再度フィルターを行う必要がなく、大幅に演算時間を短縮できる。
（ｆ）公知の技術が前景の色彩に対して、新たにテーブル(table lookup)を参照し飽和度(saturation)を対応させるか、または特定の臨界値を加減し、色彩を増強する。本発明は、特にストロークに対してイメージ処理モジュールを構成する：ストロークに深さを加えること、ストロークに厚さを加えること、ノイズ点を消去(despeckle)することに対して、いずれも個別の処理を有し、それぞれ、異なるフィルターおよび強度(strongth)により前景のＹＣｒＣｂ三次元に用い、公知技術よりも効果が優れている。
（ｇ）本発明は、色彩変換の前後処理で補助する場合、非白色背景のイメージに対して増強を行うことができる。例えば、黒板のイメージを白く反転し、処理を加えた後、元の色彩に戻し、黒地に白文字の増強効果を望むことができる。緑色の黒板、赤地に金文字のお祝い用紙等の異なる色彩も対応して行うことができる。図１３、図１４、図１５、図１６は、本発明の文書イメージ処理の結果である。
【００２５】
図１７は、本発明の文書イメージを処理するシステム構造図である。図１７から分かるように、本発明の文書イメージを処理するシステム１００は、文書イメージの入力に用いるイメージ入力モジュール１０１と、前記イメージを４分木法で複数の矩形領域に分割することに用いるイメージ分割モジュール１０２と、（ａ）イメージヒストグラムを計算し、（ｂ）ヒストグラムの分布状況に基づき、イメージを前景、背景または辺縁条件として分類する。分割モジュールに分割する回数を決定させ、（ｃ）ヒストグラムの分布状況に基づいて、各ピーク値および臨界判断値を検出するヒストグラムプロセスモジュール１０３と、臨界判断値に基づいて、前景マスクを生成するマスク生成モジュール１０４と、加厚、ノイズ除去、加深等のフィルターを含むイメージ増強モジュール１０５と、各マスクを全く新たな背景図に合成し、前記合成が完成したイメージを出力するイメージ合成モジュール１０６とを含む。
【００２６】
以下に数個の具体的な実施例を挙げ、更に本発明が開示する文書イメージ処理方法を応用する態様を説明する。最も簡単な応用を例にとれば、図１８に示すように、文書イメージ１１１は本発明が開示する文書イメージ処理方法１１２の処理を経過した後、出力文書１１３を得ることができる。図１９に示すように、前記文書イメージ１１１は、イメージ取得装置１１４を経由して取得することもできる。図２０に示すように、前記文書イメージ１１はストレージ装置１１５に保存したイメージであることができる。図２１に示されるように、前記出力文書１１３は、更に、ストレージ装置１１６に保存することができる。
【００２７】
その他の実施例は、更に比較的複雑な応用を含むことができ、図２２に示すように、文書イメージ１２１は、発信装置１２２に保存した本発明が開示する文書イメージ処理方法１２３を経由して処理した後、前記出力文書１２４になり、図２３に示すように、前記出力文書１２４は、更に受信装置１２５に伝送できる。
【００２８】
図２４に示すように、発信装置１３１は、文書イメージ１３２を発信し、処理サーバー１３３に保存した本発明が開示する文書イメージ処理方法１２４の処理を経由した後、出力文書１３５を得ることでき、図２５に示すように、前記出力文書１３５は、更に受信装置に伝送することができる。
【００２９】
なお、本発明では好ましい実施例を前述の通り開示したが、これらは決して本発明に限定するものではなく、当該技術を熟知する者なら誰でも、本発明の精神と領域を脱しない均等の範囲内で各種の変動や潤色を加えることができることは勿論である。
【図面の簡単な説明】
【００３０】
【図１】公知技術の文書イメージ処理方式の実施例の説明図である。
【図２】公知技術の文書イメージ処理方式の実施例の説明図である。
【図３】公知技術の文書イメージ処理方式の他の実施例の説明図である。
【図４】公知技術の文書イメージ処理方式の他の実施例の説明図である。
【図５】公知技術の文書イメージ処理方式の他の実施例の説明図である。
【図６】公知技術の文書イメージ処理方式の他の実施例の説明図である。
【図７】公知技術の文書イメージ処理方式の他の実施例の説明図である。
【図８】公知技術の文書イメージ処理方式の他の実施例の説明図である。
【図９】本発明の文書イメージ処理プロセスの説明図である。
【図１０】本発明の文書イメージ処理プロセスの他の説明図である。
【図１１】本発明の文書イメージ処理プロセスの公的な実施例の説明図である。
【図１２】本発明の文書イメージ処理プロセスの公的な実施例の説明図である。
【図１３】本発明の文書イメージ処理プロセスの公的な実施例の説明図である。
【図１４】本発明の文書イメージ処理プロセスの公的な実施例の説明図である。
【図１５】本発明の文書イメージ処理プロセスの公的な他の実施例の説明図である。
【図１６】本発明の文書イメージ処理プロセスの公的な他の実施例の説明図である。
【図１７】本発明の文書イメージを処理するシステム構造図である。
【図１８】本発明の文書イメージを処理するシステム構造図である。
【図１９】本発明の文書イメージを処理するシステム構造図である。
【図２０】本発明の文書イメージを処理するシステム構造図である。
【図２１】本発明の文書イメージ処理方法を異なる状況に応用した実施例。
【図２２】本発明の文書イメージ処理方法を異なる状況に応用した実施例。
【図２３】本発明の文書イメージ処理方法を異なる状況に応用した他の実施例。
【図２４】本発明の文書イメージ処理方法を異なる状況に応用した他の実施例。
【図２５】本発明の文書イメージ処理方法を異なる状況に応用した他の実施例。
【符号の説明】
【００３１】
Ｓ６１〜Ｓ６８，Ｓ６３１，Ｓ６３２ プロセスステップ
１０１ イメージ入力モジュール
１０２ イメージ分割モジュール
１０３ ヒストグラムプロセスモジュール
１０４ マスク生成モジュール
１０５ イメージ増強モジュール
１０６ イメージ合成モジュール
１１１ オリジナルイメージ
１１２ 文書イメージ処理方法
１１３ 出力文書イメージ
１１４ イメージ取得装置
１１５ ストレージ装置
１１６ ストレージ装置
１２１ 文書イメージ
１２２ 発信装置
１２３ 文書イメージ処理方法
１２４ 出力文書イメージ
１２５ 受信装置
１３１ 発信装置
１３２ オリジナルイメージ
１３３ イメージ処理サーバー
１３４ 文書イメージ処理方法
１３５ 出力文書イメージ
１３６ 受信装置
【特許請求の範囲】
【請求項１】
文書イメージ処理方法であって：
（a）文書イメージを出力し；
（b）４分木法により前記イメージ全部を複数の一定な大きさの矩形領域に均一分割 し；
（c）前記各矩形領域に対してＹ成分の正規化ヒストグラムを作成し；
（d）各矩形のヒストグラム分布状況に基づき処理の判断を行い；
（e）ステップ（d）中の判断の結果に対して関連する処理を行い；
（f）正規化ヒストグラム中の明部の最も明るいピーク値領域の下縁を背景臨界値と して検出し、前景と背景を分割し；
（g）前景として判断した画素の位置に基づき、前景マスクを生成し、それぞれＹ， Ｃｒ，Ｃｂの三成分のマスクを生成し；
（h）前景イメージを増強処理し；
（i）処理が完了した前景を白色背景上に合成し、文書イメージの処理プロセスを完 了する
以上のステップによる文書イメージ処理方法。
【請求項２】
前記ステップ（c）が以下のステップ：
（c1）ヒストグラムの加速として；Ｙ成分の５ｂｉｔまででヒストグラムを作成し、３２ｂｉｔの配列を使用して演算を行い
（c2）正規化の加速として；前記３２ｂｉｔの配列を８ｂｉｔの正規化ヒストグラムに新たに合成する
からなる請求項１記載の文書イメージ処理方法。
【請求項３】
前記ステップ（d）中の処理の判断条件が：
（１）７５％の画素が５０％以上の光度を有し、光度７５％以上の領域内に少なくとも１つのピーク値を有する場合、大きな片の明るい背景を有する状況に属する。
（２）７５％の画素は５０％以下の光度を有し、光度２５％以下の領域内に少なくとも１つのピーク値を有する場合、比較的多くの前景物件を有する状況に属する。
（３）明部および暗部の画素数が等しく、突出した明部および暗部のピーク値がない時、背景が徐々に変化する辺縁の状況に属する。
である請求項１記載の文書イメージ処理方法。
【請求項４】
前記ステップ（e）中の関連する処理が：
（e１）維持：大きな片の明部の背景の矩形に対して、理想的な背景を取得できる臨界値を判定し、前記矩形の大きさを維持する。
（e２）収集：比較的多い前景物件を有する矩形に対して、背景値の情報が不足していると判断し、背景臨界値は４分木の親物件の背景臨界値を基準とする。親物件の背景臨界値が前記矩形の４倍の大きさの矩形を包含し、上記ステップに基づき、新たにヒストグラムを計算する。
（e３）拡充：背景が徐々に変化する辺縁に位置する矩形は、更に４つの小さなセルに分割し、上記ステップに基づき、ヒストグラムを再計算する。
である請求項１記載の文書イメージ処理方法。
【請求項５】
前記ステップ（h）がさらに、以下のステップ：
（h1）フィルターにより前景マスクを加厚する（blur filter採用）；
（h2）フィルターによりノイズを除去する（median filter採用）；
（h3）フィルターにより前景マスクを加深する（min-filter採用）；
である請求項１記載の文書イメージ処理方法。
【請求項６】
前記文書イメージを出力した後、イメージの背景を黒色とし、色彩変換を即実行し、前記イメージの背景色を灰白範囲に対応させ、原色彩に反転を行う請求項１記載の文書イメージ処理方法。
【請求項７】
前記方法が文書イメージ処理ソフトウェアモジュールとして使用される請求項１記載の文書イメージ処理方法。
【請求項８】
前記方法が文書イメージ処理ハードウェアモジュールとして使用される請求項１記載の文書イメージ処理方法。
【請求項９】
前記文書イメージが前記方法の処理を経た後に出力文書となる請求項１記載の文書イメージ処理方法。
【請求項１０】
前記文書イメージがイメージ取得装置を経由して取得することができる請求項９記載の文書イメージ処理方法。
【請求項１１】
前記文書イメージがストレージ装置を経由して取得できる請求項９記載の文書イメージ処理方法。
【請求項１２】
前記出力文書がストレージ装置に保存できる請求項１０記載の文書イメージ処理方法。
【請求項１３】
前記出力文書がストレージ装置に保存できる請求項１１記載の文書イメージ処理方法。
【請求項１４】
前記文書イメージが発信装置に保存された前記方法を経由して処理された後、前記出力文書となり、前記出力文書が再度前記発信装置を経由して受信装置に伝送される請求項９記載の文書イメージ処理方法。
【請求項１５】
前記文書イメージが発信装置に保存された前記方法を経由して処理された後、前記出力文書となり、前記出力文書が再度前記発信装置を経由して受信装置に伝送される請求項１０記載の文書イメージ処理方法。
【請求項１６】
前記文書イメージが発信装置に保存された前記方法を経由して処理された後、前記出力文書となり、前記出力文書が再度前記発信装置を経由して受信装置に伝送される請求項１１記載の文書イメージ処理方法。
【請求項１７】
前記文書イメージが発信装置に保存された前記方法を経由して処理された後、前記出力文書となり、前記出力文書が再度前記発信装置を経由して受信装置に伝送される請求項１２記載の文書イメージ処理方法。
【請求項１８】
前記文書イメージが発信装置に保存された前記方法を経由して処理された後、前記出力文書となり、前記出力文書が再度前記発信装置を経由して受信装置に伝送される請求項１３記載の文書イメージ処理方法。
【請求項１９】
前記文書イメージが発信装置を経由して発送された後、処理サーバーに保存され、前記処理サーバーに保存された前記方法を経由して処理された後、前記出力文書となり、前記出力文書が更に受信装置に伝送されることができる請求項９記載の文書イメージ処理方法。
【請求項２０】
前記文書イメージが発信装置を経由して発送された後、処理サーバーに保存され、前記処理サーバーに保存された前記方法を経由して処理された後、前記出力文書となり、前記出力文書が更に受信装置に伝送されることができる請求項１１記載の文書イメージ処理方法。
【請求項２１】
前記文書イメージが発信装置を経由して発送された後、処理サーバーに保存され、前記処理サーバーに保存された前記方法を経由して処理された後、前記出力文書となり、前記出力文書が更に受信装置に伝送されることができる請求項１３記載の文書イメージ処理方法。
【請求項２２】
文書イメージ処理システムであって、
文書イメージの入力に用いるイメージ入力モジュールと、
前記イメージを４分木方式で複数のヒストグラムに分割することに用いるイメージ分割モジュールと、
（ａ）イメージヒストグラムを計算し；
（ｂ）ヒストグラム分布状況に基づき、イメージを前景、背景または辺縁条件として分類する。分割モジュールに分割する回数を決定させ；
（ｃ）ヒストグラム分布状況に基づき、各ピーク値および臨界判断値を検出する
ことに用いるヒストグラムプロセスモジュールと、
臨界判断値に基づき、前景マスクを生成するマスク生成モジュールと、
加厚、ノイズ除去、加深等のフィルターを含むイメージ増強モジュールと、
各マスクを新たな背景図に合成し、前記合成を完了したイメージを出力するイメージ合成モジュールと
からなる文書イメージ処理システム。
【請求項１】
文書イメージ処理方法であって：
（a）文書イメージを出力し；
（b）４分木法により前記イメージ全部を複数の一定な大きさの矩形領域に均一分割 し；
（c）前記各矩形領域に対してＹ成分の正規化ヒストグラムを作成し；
（d）各矩形のヒストグラム分布状況に基づき処理の判断を行い；
（e）ステップ（d）中の判断の結果に対して関連する処理を行い；
（f）正規化ヒストグラム中の明部の最も明るいピーク値領域の下縁を背景臨界値と して検出し、前景と背景を分割し；
（g）前景として判断した画素の位置に基づき、前景マスクを生成し、それぞれＹ， Ｃｒ，Ｃｂの三成分のマスクを生成し；
（h）前景イメージを増強処理し；
（i）処理が完了した前景を白色背景上に合成し、文書イメージの処理プロセスを完 了する
以上のステップによる文書イメージ処理方法。
【請求項２】
前記ステップ（c）が以下のステップ：
（c1）ヒストグラムの加速として；Ｙ成分の５ｂｉｔまででヒストグラムを作成し、３２ｂｉｔの配列を使用して演算を行い
（c2）正規化の加速として；前記３２ｂｉｔの配列を８ｂｉｔの正規化ヒストグラムに新たに合成する
からなる請求項１記載の文書イメージ処理方法。
【請求項３】
前記ステップ（d）中の処理の判断条件が：
（１）７５％の画素が５０％以上の光度を有し、光度７５％以上の領域内に少なくとも１つのピーク値を有する場合、大きな片の明るい背景を有する状況に属する。
（２）７５％の画素は５０％以下の光度を有し、光度２５％以下の領域内に少なくとも１つのピーク値を有する場合、比較的多くの前景物件を有する状況に属する。
（３）明部および暗部の画素数が等しく、突出した明部および暗部のピーク値がない時、背景が徐々に変化する辺縁の状況に属する。
である請求項１記載の文書イメージ処理方法。
【請求項４】
前記ステップ（e）中の関連する処理が：
（e１）維持：大きな片の明部の背景の矩形に対して、理想的な背景を取得できる臨界値を判定し、前記矩形の大きさを維持する。
（e２）収集：比較的多い前景物件を有する矩形に対して、背景値の情報が不足していると判断し、背景臨界値は４分木の親物件の背景臨界値を基準とする。親物件の背景臨界値が前記矩形の４倍の大きさの矩形を包含し、上記ステップに基づき、新たにヒストグラムを計算する。
（e３）拡充：背景が徐々に変化する辺縁に位置する矩形は、更に４つの小さなセルに分割し、上記ステップに基づき、ヒストグラムを再計算する。
である請求項１記載の文書イメージ処理方法。
【請求項５】
前記ステップ（h）がさらに、以下のステップ：
（h1）フィルターにより前景マスクを加厚する（blur filter採用）；
（h2）フィルターによりノイズを除去する（median filter採用）；
（h3）フィルターにより前景マスクを加深する（min-filter採用）；
である請求項１記載の文書イメージ処理方法。
【請求項６】
前記文書イメージを出力した後、イメージの背景を黒色とし、色彩変換を即実行し、前記イメージの背景色を灰白範囲に対応させ、原色彩に反転を行う請求項１記載の文書イメージ処理方法。
【請求項７】
前記方法が文書イメージ処理ソフトウェアモジュールとして使用される請求項１記載の文書イメージ処理方法。
【請求項８】
前記方法が文書イメージ処理ハードウェアモジュールとして使用される請求項１記載の文書イメージ処理方法。
【請求項９】
前記文書イメージが前記方法の処理を経た後に出力文書となる請求項１記載の文書イメージ処理方法。
【請求項１０】
前記文書イメージがイメージ取得装置を経由して取得することができる請求項９記載の文書イメージ処理方法。
【請求項１１】
前記文書イメージがストレージ装置を経由して取得できる請求項９記載の文書イメージ処理方法。
【請求項１２】
前記出力文書がストレージ装置に保存できる請求項１０記載の文書イメージ処理方法。
【請求項１３】
前記出力文書がストレージ装置に保存できる請求項１１記載の文書イメージ処理方法。
【請求項１４】
前記文書イメージが発信装置に保存された前記方法を経由して処理された後、前記出力文書となり、前記出力文書が再度前記発信装置を経由して受信装置に伝送される請求項９記載の文書イメージ処理方法。
【請求項１５】
前記文書イメージが発信装置に保存された前記方法を経由して処理された後、前記出力文書となり、前記出力文書が再度前記発信装置を経由して受信装置に伝送される請求項１０記載の文書イメージ処理方法。
【請求項１６】
前記文書イメージが発信装置に保存された前記方法を経由して処理された後、前記出力文書となり、前記出力文書が再度前記発信装置を経由して受信装置に伝送される請求項１１記載の文書イメージ処理方法。
【請求項１７】
前記文書イメージが発信装置に保存された前記方法を経由して処理された後、前記出力文書となり、前記出力文書が再度前記発信装置を経由して受信装置に伝送される請求項１２記載の文書イメージ処理方法。
【請求項１８】
前記文書イメージが発信装置に保存された前記方法を経由して処理された後、前記出力文書となり、前記出力文書が再度前記発信装置を経由して受信装置に伝送される請求項１３記載の文書イメージ処理方法。
【請求項１９】
前記文書イメージが発信装置を経由して発送された後、処理サーバーに保存され、前記処理サーバーに保存された前記方法を経由して処理された後、前記出力文書となり、前記出力文書が更に受信装置に伝送されることができる請求項９記載の文書イメージ処理方法。
【請求項２０】
前記文書イメージが発信装置を経由して発送された後、処理サーバーに保存され、前記処理サーバーに保存された前記方法を経由して処理された後、前記出力文書となり、前記出力文書が更に受信装置に伝送されることができる請求項１１記載の文書イメージ処理方法。
【請求項２１】
前記文書イメージが発信装置を経由して発送された後、処理サーバーに保存され、前記処理サーバーに保存された前記方法を経由して処理された後、前記出力文書となり、前記出力文書が更に受信装置に伝送されることができる請求項１３記載の文書イメージ処理方法。
【請求項２２】
文書イメージ処理システムであって、
文書イメージの入力に用いるイメージ入力モジュールと、
前記イメージを４分木方式で複数のヒストグラムに分割することに用いるイメージ分割モジュールと、
（ａ）イメージヒストグラムを計算し；
（ｂ）ヒストグラム分布状況に基づき、イメージを前景、背景または辺縁条件として分類する。分割モジュールに分割する回数を決定させ；
（ｃ）ヒストグラム分布状況に基づき、各ピーク値および臨界判断値を検出する
ことに用いるヒストグラムプロセスモジュールと、
臨界判断値に基づき、前景マスクを生成するマスク生成モジュールと、
加厚、ノイズ除去、加深等のフィルターを含むイメージ増強モジュールと、
各マスクを新たな背景図に合成し、前記合成を完了したイメージを出力するイメージ合成モジュールと
からなる文書イメージ処理システム。
【図１】
【図２】
【図３】
【図４】
【図５】
【図６】
【図７】
【図８】
【図９】
【図１０】
【図１１】
【図１２】
【図１３】
【図１４】
【図１５】
【図１６】
【図１７】
【図１８】
【図１９】
【図２０】
【図２１】
【図２２】
【図２３】
【図２４】
【図２５】
【図２】
【図３】
【図４】
【図５】
【図６】
【図７】
【図８】
【図９】
【図１０】
【図１１】
【図１２】
【図１３】
【図１４】
【図１５】
【図１６】
【図１７】
【図１８】
【図１９】
【図２０】
【図２１】
【図２２】
【図２３】
【図２４】
【図２５】
【公開番号】特開２００７−３３４８７６（Ｐ２００７−３３４８７６Ａ）
【公開日】平成１９年１２月２７日（２００７．１２．２７）
【国際特許分類】
【出願番号】特願２００７−１３５５２８（Ｐ２００７−１３５５２８）
【出願日】平成１９年５月２２日（２００７．５．２２）
【出願人】（５０３０２１０６５）甲尚股▲ふん▼有限公司 (4)
【Ｆターム（参考）】
【公開日】平成１９年１２月２７日（２００７．１２．２７）
【国際特許分類】
【出願日】平成１９年５月２２日（２００７．５．２２）
【出願人】（５０３０２１０６５）甲尚股▲ふん▼有限公司 (4)
【Ｆターム（参考）】
[ Back to top ]