文字色判別装置、文字色判別方法、およびコンピュータプログラム
【課題】スキャナなどで入力した文字画像の表わす文字の色を正確に判別する。
【解決手段】画像形成装置１に、スキャンした入力画像に表れる文字の線図形の中央線およびその付近の領域である中央領域を、その入力画像の細線化画像を生成することによって検出する細線化画像生成部３０２と、その中央領域を複数の文字色候補領域ＲＣに分割する文字画像分割部３０３と、小領域ごとに、その小領域に属する画素の中から所定の条件に合う画素を近似色画素として検出する近似色画素選出部３０４と、入力画像に表れる文字の色を各小領域の条件合致画素の色情報に基づいて判別する文字色決定部３０６と、を設ける。
【解決手段】画像形成装置１に、スキャンした入力画像に表れる文字の線図形の中央線およびその付近の領域である中央領域を、その入力画像の細線化画像を生成することによって検出する細線化画像生成部３０２と、その中央領域を複数の文字色候補領域ＲＣに分割する文字画像分割部３０３と、小領域ごとに、その小領域に属する画素の中から所定の条件に合う画素を近似色画素として検出する近似色画素選出部３０４と、入力画像に表れる文字の色を各小領域の条件合致画素の色情報に基づいて判別する文字色決定部３０６と、を設ける。
【発明の詳細な説明】
【技術分野】
【０００１】
本発明は、スキャナなどの画像入力装置で入力した画像に含まれる文字の色を判別する装置および方法などに関する。
【背景技術】
【０００２】
用紙に描かれている画像をスキャナでスキャンし電子データとして保存する技術が普及している。通常、高品質な画像の電子データを得るために、スキャンした画像に対してその特性に応じた画像処理を施すことが多い。例えば、文字を表わす文字画像が含まれる領域に対しては、文字の識別性を高くするための画像処理を施す。つまり、その文字画像が何の文字を表わしているのかが明確に分かるようにするための画像処理を施す。
【０００３】
スキャンした文字領域に対する画像処理の方法として、特許文献１に記載されるような方法が提案されている。この方法によると、カラー画像より文字領域の二値画像を生成し、前記文字領域の二値画像に対し文字矩形を作成し、前記文字矩形の単色判定を行い、非単色の文字矩形が複数種の単色文字集合であることを判定し、上記判定矩形内を文字切りする。これにより、文字色および文字領域の情報を抽出することができる。
【０００４】
また、特許文献２に記載される方法によると、文書画像をカラーデジタル画像として入力し、該文書画像の背景色を特定し、該背景色を用いて該文書画像から背景領域以外の画素を抽出し、該画素を統合して連結成分を生成し、該連結成分を形状特徴と色特徴から文字／罫線／図／写真などの領域に分類し、識別する。識別された領域である文字領域として文字矩形データを取得し、該文字矩形内の背景色に相当する画素を除去して残った画素の画素値に基づいて代表色を算出し、該代表色をその文字矩形の文字色とする。
【０００５】
そのほか、特許文献３には、入力した画像の中から写真の領域、色文字の領域、および黒文字の領域を判定する方法が開示されている。入力された画像の色信号から、色判定部で各画素が色画素か否かを判定する。色判定補正部で、色判定部で色画素と判定された領域に対し、第１の膨張処理部での膨張処理で色文字の切れをつなぎ、収縮処理部での収縮処理で黒文字部の色画素を除去し、第２の膨張処理部で色文字の部分を包含するように色画素の領域を膨張処理する。これにより、黒文字部の色画素判定が除去され、色文字部の色画素でないと判定された部分も色画素となる。一方、構造抽出部で写真構造、文字構造が抽出され、写真・文字判定部で、色判定補正部で補正された色判定結果とともに論理演算により写真、色文字、黒文字の各領域を判定する。
【特許文献１】特開２００４−２４２０７５号公報
【特許文献２】特開２００２−２３６９２１号公報
【特許文献３】特開平１１−４３４４号公報
【発明の開示】
【発明が解決しようとする課題】
【０００６】
ところで、通常、スキャンした文字画像のエッジの部分つまり文字の背景の画像（背景画像）との境界付近の画素は、背景画像の色と混じり合い、文字画像の色が滲んでしまうことがよくある。背景画像から離れている画素は、滲みが少なく、文字の本来の色が明確に表れている。
【０００７】
文字画像の表わす文字の線が太い場合は、背景画像から離れている画素を多く選出することができるので、上に述べたような従来の方法を用いても文字の色をある程度正確に判別することができる。
【０００８】
しかし、文字画像の表わす文字の線が細い場合は、文字画像の多くの画素は、背景画像との境界付近に位置するので、その色が滲んでしまっている。つまり、文字の線が太い文字画像と比較して、本来の色が明確に表れている画素が少ない。したがって、従来の方法では、判別した色の正確性が乏しい。
【０００９】
本発明は、このような問題点に鑑み、スキャナなどで入力した文字画像の表わす文字の色を従来よりも正確に判別することを目的とする。
【課題を解決するための手段】
【００１０】
本発明に係る文字色判別装置は、画像入力装置によって入力された入力画像に表れる文字の線図形の中央線またはその付近の領域である中央領域を検出する中央領域検出手段と、複数の画素からなる複数の小領域を前記中央領域から抽出する小領域抽出手段と、前記小領域ごとに、当該小領域に属する画素の中から所定の条件に合う画素を条件合致画素として検出する条件合致画素検出手段と、前記入力画像に表れる文字の色を前記各小領域の前記条件合致画素の色情報に基づいて判別する色判別手段と、を有することを特徴とする。
【００１１】
好ましくは、前記中央領域検出手段は、前記入力画像に対して細線化処理を施すことによって検出した細線またはその付近の領域を、前記中央領域として検出し、前記所定の条件とは、明度が最も低いことであり、前記色判別手段は、原色ごとに、前記条件合致画素の当該原色の階調のピークを算出し、当該各原色の当該ピークによって表わされる色を、前記入力画像に表れる文字の色であると判別する。
【００１２】
なお、本発明では、「文字」には、漢字、平仮名、片仮名、およびアルファベットなどのほか、「０」〜「９」の数字および演算子などの符号も含まれるものとする。
【発明の効果】
【００１３】
本発明によると、スキャナなどで入力した文字画像の表わす文字の色を従来よりも正確に判別することができる。
【発明を実施するための最良の形態】
【００１４】
図１は本発明に係る画像形成装置１を有するシステム構成の例を示す図、図２は画像形成装置１のハードウェア構成の例を示す図、図３は画像形成装置１の機能的構成の例を示す図である。
【００１５】
図１に示す画像形成装置１は、コピー、スキャナ、ファックス、ネットワークプリンティング、ドキュメントサーバ、およびファイル転送などの様々な機能を集約した画像処理装置である。複合機またはＭＦＰ（Multi Function Peripherals）などと呼ばれることもある。
【００１６】
この画像形成装置１は、役所または企業などのオフィス、学校または図書館などの公共施設、コンビニエンスストアなどの店舗、その他種々の場所に設置され、複数のユーザによって共用することができる。また、パーソナルコンピュータまたはワークステーションなどの端末装置２と通信回線３を介して接続可能である。通信回線３として、インターネット、ＬＡＮ、公衆回線、または専用線などが用いられる。
【００１７】
画像形成装置１は、図２に示すように、ＣＰＵ１０ａ、ＲＡＭ１０ｂ、ＲＯＭ１０ｃ、ハードディスク１０ｄ、制御用回路１０ｅ、操作パネル１０ｆ、スキャナユニット１０ｇ、印刷ユニット１０ｈ、モデム１０ｊ、およびネットワークインタフェース１０ｋなどによって構成される。
【００１８】
スキャナユニット１０ｇは、原稿の用紙（以下、単に「原稿」と記載する。）に描かれている写真、文字、絵、図表などの画像を光学的に読み取って電子データ化する装置である。読み取られた画像のデータはＲＡＭ１０ｂに記憶され、後に説明するように、様々な処理が施されてファイル化される。本実施形態では、カラースキャナが用いられる。
【００１９】
印刷ユニット１０ｈは、スキャナユニット１０ｇで読み取られた画像または端末装置２などから送信されてきた画像を、イエロー、マゼンタ、シアン、およびブラックの４色のトナーを使用して用紙に印刷する装置である。
【００２０】
操作パネル１０ｆは、操作部および表示部によって構成される。操作部としてテンキーなどが用いられ、表示部として液晶ディスプレイなどが用いられる。ユーザは、操作部を操作することによって、画像形成装置１に対して、処理の実行開始または中断などの指令を与え、データの宛先、スキャン条件、または画像ファイルフォーマットなどの処理条件を指定し、その他種々の事項を指定することができる。表示部には、ユーザに対してメッセージまたは指示を与えるための画面、ユーザが所望する処理の種類および処理条件を入力するための画面、および画像形成装置１で実行された処理の結果を示す画面などが表示される。操作パネル１０ｆとしてタッチパネルを用いた場合は、タッチパネルが操作部および表示部の両方を兼ねる。このように、操作パネル１０ｆは、画像形成装置１を操作するユーザのためのユーザインタフェースの役割を果たしている。なお、端末装置２には、画像形成装置１に対して指令を与えるためのアプリケーションプログラムおよびドライバがインストールされている。したがって、ユーザは、端末装置２によって画像形成装置１を遠隔的に操作することができる。
【００２１】
モデム１０ｊは、ＮＣＵ（Network Control Unit）が内蔵されており、アナログの公衆回線を介して他のファックス端末と接続し、ファクシミリプロトコルに基づくデータ制御およびファックスデータの変復調などを行う。ネットワークインタフェース１０ｋは、ＮＩＣ（Network Interface Card）であって、ＬＡＮまたはインターネットなどを介して端末装置２などへの接続を行い、ファイルの送受信などを行う。
【００２２】
制御用回路１０ｅは、ハードディスク１０ｄ、操作パネル１０ｆ、スキャナユニット１０ｇ、印刷ユニット１０ｈ、モデム１０ｊ、およびネットワークインタフェース１０ｋなどの装置を制御するための回路である。
【００２３】
ハードディスク１０ｄには、図３に示すような前処理部１０１、非文字領域処理部１０２、文字領域処理部１０３、およびＰＤＦファイル生成部１０４などの機能を実現するためのプログラムおよびデータなどが格納されている。これらのプログラムは必要に応じてＲＡＭ１０ｂに読み出され、ＣＰＵ１０ａによってプログラムが実行される。これらのプログラムまたはデータの一部または全部を、ＲＯＭ１０ｃに記憶させておいてもよい。または、図３の機能の一部または全部を、制御用回路１０ｅによって実現するようにしてもよい。
【００２４】
図４は原稿画像ＧＡ０、ＧＡ０’の例を示す図、図５は非文字領域処理部１０２の構成の例を示す図である。
【００２５】
次に、図３に示す画像形成装置１の各部の機能および処理内容などについて説明する。
【００２６】
前処理部１０１は、スキャナユニット１０ｇによって入力された原稿の画像（以下、「原稿画像ＧＡ０」と記載する。）に対して、非文字領域処理部１０２以降の処理に対応した解像度に変換する処理（解像度変換処理）を施し、さらに、原稿画像ＧＡ０の下地部分の色などを除去する処理（下地除去処理）を施す。「原稿画像ＧＡ０の下地部分」とは、コンテンツ（オブジェクト）が何もない領域のことを意味する。例えば、図４に示すような原稿画像ＧＡ０である場合は、「新・デジタルＭＦＰ ２５５２５５」という文字列の画像のある矩形領域、「デジタル機の価格差は…期待できます。」という文字列の画像のある矩形領域、およびＭＦＰの写真が中央に配置された矩形領域の合計３つの矩形領域以外の部分が、原稿画像ＧＡ０の下地部分である。
【００２７】
原稿画像ＧＡ０には、文字の画像、写真の画像、または背景の画像など、様々な種類のオブジェクトの画像が含まれている。以下、文字画像が含まれる領域を「文字領域ＲＭ」と記載し、文字画像以外のオブジェクトの画像しか含まれない領域を「非文字領域ＲＨ」と記載する。例えば、図４の原稿画像ＧＡ０は、２つの文字領域ＲＭおよび１つの非文字領域ＲＨを有している。また、解像度変換処理および下地除去処理が施された原稿画像ＧＡ０を「原稿画像ＧＡ０’」と記載する。
【００２８】
文字領域ＲＭには、文字を表わす線の画像およびその線の背景の画像が含まれている。以下、前者を「文字画像」と記載し、後者を「文字背景画像」と記載する。例えば、白色の用紙に赤色の文字が書かれている原稿をスキャンした場合は、文字領域ＲＭのうち、赤色の画素群が文字画像となり、白色の画素群が文字背景画像となる。ただし、文字の線と背景との境界付近は、色滲みのために色の区別が付かないことがある。この問題については、後に順次説明する処理によって対処する。
【００２９】
非文字領域処理部１０２は、図５に示すように、明度算出部１２１、写真背景等抽出部１２２、階調等補正部１２３、および非文字再現用データ生成部１２４などによって構成され、原稿画像ＧＡ０’のうちの非文字領域ＲＨつまり写真および背景などの領域に対する画像処理などを行う。
【００３０】
明度算出部１２１は、前処理された原稿画像ＧＡ０つまり原稿画像ＧＡ０’の各画素の明度を算出することによって、明度画像ＧＡ１を生成する。例えば、フルカラー（つまり、２４ビット）の原稿画像ＧＡ０が入力された場合は、次のような方法で明度を算出する。
【００３１】
前処理によって得られた原稿画像ＧＡ０’のＲ（赤）、Ｇ（緑）、およびＢ（青）の各原色の階調の値を８ビットの階調に落とす。そして、これらの値を次の（１）式のような公知の計算式に代入する。
Ｙ＝０．３×Ｒ＋０．６×Ｇ＋０．１×Ｂ …… （１）
ただし、Ｙは明度、ＲはＲ成分の階調の値、ＧはＧ成分の階調の値、ＢはＢ成分の階調の値である。
【００３２】
なお、必要に応じて、スムージング処理を施し、明度画像ＧＡ１のノイズの除去および輪郭の補正などを行ってもよい。
【００３３】
写真背景等抽出部１２２は、明度画像ＧＡ１に対してラベリング処理を施すことによって、原稿画像ＧＡ０’に含まれる写真または背景などの画像つまり文字以外の画像の領域（非文字領域ＲＨ）の位置を判別し、非文字領域ＲＨを抽出する。一般に、写真などの画像に対してラベリング処理を施すと白または黒の大きな塊が出現し、文字画像に対してラベリング処理を施すと不規則な細い線が多く出現しする。このような特徴に基づいて、非文字領域ＲＨの位置を判別する。そして、その判別結果を示す非文字領域位置データ８１を生成する。図４の場合は、非文字領域ＲＨａの位置を示す非文字領域位置データ８１を生成する。
【００３４】
階調等補正部１２３は、必要に応じて、写真背景等抽出部１２２によって抽出された非文字領域ＲＨの中の画像の階調などの補正を、公知の方法を用いて行う。
【００３５】
非文字再現用データ生成部１２４は、各非文字領域ＲＨの、階調等補正部１２３によって補正された画像（以下、「非文字画像ＧＣ」と記載する。）の画像データおよび非文字領域位置データ８１を統合することによって非文字領域画像再現用データ７１を生成する。
【００３６】
以上のような非文字領域処理部１０２を構成する各部の処理によって、原稿画像ＧＡ０’に含まれる各非文字領域ＲＨの位置に関する情報および好適な画像データ（イメージデータ）が得られる。以下、非文字領域処理部１０２による画像処理の結果得られた、非文字領域ＲＨの画像データを、「非文字領域画像再現用データ７１」と記載する。
【００３７】
図６は文字領域処理部１０３の構成の例を示す図、図７は複数のブロックＢＲに分割した文字領域ＲＭの例を示す図、図８は原稿文字色判別部１３５の構成の例を示す図、図９は細線化画像ＧＳの生成方法の例を説明するための図、図１０は文字の線図形の中央線の位置の例を示す図、図１１は文字の線図形の中央線およびその付近の領域を複数の文字色候補領域ＲＣに分割する方法の例を説明するための図、図１２は近似色画素選出処理の流れの例を説明するためのフローチャート、図１３は各原色の階調の分布の例を示す図である。
【００３８】
図３に戻って、文字領域処理部１０３は、図６に示すように、明度算出部１３１、文字領域抽出部１３２、文字領域分割部１３３、二値化処理部１３４、原稿文字色判別部１３５、文字背景処理部１３６、および文字再現用データ生成部１３７などによって構成され、文字画像を含む領域つまり文字領域ＲＭに対する画像処理などを行う。
【００３９】
明度算出部１３１は、図５の明度算出部１２１と同様に、原稿画像ＧＡ０’の各画素の明度を算出することによって、明度画像ＧＡ１を生成する。
【００４０】
文字領域抽出部１３２は、明度画像ＧＡ１に対してラベリング処理を施し、その処理結果の特徴に基づいて原稿画像ＧＡ０’に含まれる文字領域ＲＭの位置を判別し、文字領域ＲＭを抽出する。そして、その判別結果を示す文字領域位置データ８０を生成する。図４の場合は、２つの文字領域ＲＭａ、ＲＭｂそれぞれについて、各位置を示す文字領域位置データ８０が生成される。
【００４１】
なお、明度算出部１３１と明度算出部１２１とを共通化し、文字領域抽出部１３２と写真背景等抽出部１２２とを共通化してもよい。つまり、１つの明度算出部によって得られた明度画像を、以降の処理において各部が共通に使用するようにしてもよい。また、文字領域抽出部１３２および写真背景等抽出部１２２を１つの領域抽出部として共通化し、１回のラベリング処理の結果に基づいて原稿画像ＧＡ０’の中から文字領域ＲＭおよび非文字領域ＲＨの両方を抽出し、それぞれの位置を示す文字領域位置データ８０および非文字領域位置データ８１を生成するようにしてもよい。
【００４２】
文字領域分割部１３３は、文字領域画像ＧＭに多数の文字が表れている場合に、左右方向または上下方向に並ぶ複数個の文字をグループ化する。例えば、１〜１０個程度の文字をグループ化する。英文などの場合は、単語ごと（つまり、スペースとスペースとの間にある文字群ごと）にグループ化してもよい。横書きの場合は左右方向に並ぶ文字をグループ化し、縦書きの場合は上下方向に並ぶ文字をグループ化する。横書きであるか縦書きであるかは、文字画像の並び方の特徴に基づいて判別することができる。そして、グループ化した各文字の文字画像を含む部分を、文字領域ＲＭからブロックＢＲとして抽出する。これにより、文字領域ＲＭは複数のブロックＢＲに分割される。例えば、文字領域ＲＭｂ（図４参照）を、図７に示すように複数のブロックＢＲ（ＢＲ１、ＢＲ２、…）に分割する。また、各ブロックＢＲについて、文字領域ＲＭにおけるその位置を示すブロック位置データ８２を生成しておく。
【００４３】
二値化処理部１３４は、文字領域分割部１３３によって得られた文字領域ＲＭの各ブロックＢＲの二値画像ＧＮを生成する。本実施形態では、ブロックＢＲの二値画像ＧＮを次のように生成する。ブロックＢＲの画像の各画素の濃度を算出する。本実施形態では、濃度は８ビットで表されるものとする。算出した濃度が、濃度閾値β以上であればその画素の値を「１」とし、濃度閾値β未満であればその画素の値を「０」とする。このように各画素の値を「０」または「１」のいずれかに変換することによって、二値画像ＧＮが生成される。
【００４４】
生成した二値画像によると、原稿画像ＧＡ０’および明度画像ＧＡ１などにそれぞれ含まれる文字領域ＲＭの文字画像の部分と文字背景画像の部分とを区別することができる。つまり、「１」である画素が文字画像の部分を示し、「０」である画素が文字背景画像の部分を示しているものとする。
【００４５】
原稿文字色判別部１３５は、図８に示すように、低解像度画像生成部３０１、細線化画像生成部３０２、文字画像分割部３０３、近似色画素選出部３０４、文字色成分取得部３０５、および文字色決定部３０６などによって構成され、原稿に描かれていた文字の色（以下、「原稿文字色」と記載する。）を判別する。本実施形態では、ブロックＢＲごとに、原稿文字色を判別する。ここで、原稿文字色を判別する処理の内容について、図９に示すような「２５５２５５」という文字群を表す文字画像を含むブロックＢＲｘが処理対象である場合を例に説明する。
【００４６】
図９（ａ）は、元の原稿画像ＧＡ０’のうちのブロックＢＲｘに対応する部分（以下、「ブロック原稿画像ＧＡ０ｘ」と記載する。）を示している。図９（ｂ）は、原稿画像ＧＡ０’の明度画像ＧＡ１のうちのブロックＢＲｘに対応する部分（以下、「ブロック明度画像ＧＡ１ｘ」と記載する。）を示している。図９（ｃ）は、ブロックＢＲｘの二値画像ＧＮである。
【００４７】
図８の低解像度画像生成部３０１は、ブロックＢＲｘの二値画像ＧＮの解像度を落とすことによって図９（ｄ）に示すような低解像度画像ＧＴを生成する。本実施形態では、原稿画像ＧＡ０、ＧＡ０’、ブロック原稿画像ＧＡ０ｘ、および二値画像ＧＮの解像度が３００ｄｐｉであるものとし、低解像度画像生成部３０１は７５ｄｐｉの低解像度画像ＧＴを生成するものとする。
【００４８】
細線化画像生成部３０２は、低解像度画像ＧＴに対して公知の細線化処理を施すことによって、図９（ｅ）のような細線化画像ＧＳを生成する。すなわち、低解像度画像ＧＴに表れている太さ１ピクセル（画素）以上の線図形から中心線を検出することによって低解像度画像ＧＴを生成する。例えば「２」という文字の線図形からは、図１０に示すような中央線が検出される。本実施形態では、太さ１ピクセル（画素）の細線を表わす細線化画像ＧＳを生成する。なお、細線化画像ＧＳの解像度は、低解像度画像ＧＴの解像度と同じであり、７５ｄｐｉである。細線化画像生成部３０２の処理によって、文字の線図形の中央線およびその付近に位置する画素群（領域）を見つけることができる。
【００４９】
文字画像分割部３０３は、細線化画像ＧＳに基づいて、ブロック原稿画像ＧＡ０ｘに含まれる文字画像が表わす文字の線図形の中央線およびその付近を複数の文字色候補領域ＲＣに分割する。文字色候補領域ＲＣに分割する処理は、例えば次のような方法で行う。
【００５０】
細線化画像ＧＳの細線上の１つの画素は、ブロック原稿画像ＧＡ０ｘの中の文字画像のうちの複数個の画素に相当する。つまり、例えば図１１（ａ）において円形の点線枠で示す細線化画像ＧＳの中の細線上の１つの画素ＰＸは、図１１（ｂ）において矩形の点線枠で示す元のブロック原稿画像ＧＡ０ｘの文字の線上の複数個の画素に相当する。文字画像分割部３０３は、これらの画素の塊を文字色候補領域ＲＣとして抽出する。本実施形態では、細線化画像ＧＳおよびブロック原稿画像ＧＡ０ｘのそれぞれの解像度の関係から、図１１（ｃ）に示すように、４×４画素の文字色候補領域ＲＣが抽出される。同様に、細線上の他の画素に対応する画素の塊を抽出することによって、ブロック原稿画像ＧＡ０ｘの文字画像が表わす文字の線図形の中央線およびその付近を複数の文字色候補領域ＲＣに分割することができる。文字画像分割部３０３の処理によって複数の文字色候補領域ＲＣが抽出される。
【００５１】
近似色画素選出部３０４は、文字画像分割部３０３によって得られた各文字色候補領域ＲＣの中から、原稿文字色に最も近い色を表わしていると考えられる画素（以下、「近似色画素ＰＫ」と記載する。）を、図１２に示すような手順で選出する。
【００５２】
１つの文字色候補領域ＲＣに注目し、その文字色候補領域ＲＣを構成する４×４個の画素のうち上下左右の端に位置する画素（例えば、図１１（ｃ）において太線枠の外側に位置する１２個の画素）を候補から除外する（図１２の＃４０２）。これらの画素は、太線枠の内側に位置する画素よりも文字背景画像に近いので、色滲みが発生している可能性が高く信頼性が低いからである。
【００５３】
除外されずに残った画素つまり図１１（ｃ）において太線枠の内側に位置する２×２個の画素のそれぞれの明度を算出する。そして、明度が最も低い画素（つまり、濃度が最も高い画素）を、原稿文字色に最も近い色を表わしている画素つまり近似色画素ＰＫとして選出する（＃４０３）。明度は、図６の明度算出部１３１によって生成した明度画像ＧＡ１を参照しても構わない。
【００５４】
他の文字色候補領域ＲＣについても同様にステップ＃４０２、＃４０３の処理を実行し、近似色画素ＰＫを選出する。
【００５５】
以上の処理によって、１つのブロックＢＲについて多数の近似色画素ＰＫが選出される。具体的には、そのブロックＢＲの細線化画像ＧＳ（図９（ｅ）参照）の細線を構成する画素の個数分の近似色画素ＰＫが選出される。
【００５６】
図８の文字色成分取得部３０５は、近似色画素選出部３０４によって選出された各近似色画素ＰＫについて、ブロックＢＲの文字画像の中のその近似色画素ＰＫの、ＲＧＢの各原色の階調の値を取得する。係る画素値は、元の原稿画像ＧＡ０’のうちのブロックＢＲに対応する部分を検索し、そのブロックＢＲの中のその近似色画素ＰＫの位置の画素値を参照することによって取得することができる。取得した各原色の階調の値は、例えば、図１３に示すヒストグラムのような分布になる。
【００５７】
文字色決定部３０６は、文字色成分取得部３０５によって取得された各原色の階調の値の分布に基づいて、ブロックＢＲの文字画像が表わす文字の色を、例えば次のような方法で決定する。
【００５８】
文字色成分取得部３０５によって取得された各原色の階調の値の分布のそれぞれについて、ピークの値を求める。これは、公知の方法によって求められる。例えば、最も個数の多い画素値をピークの値として選出してもよいし、公知の演算方法によって求めてもよい。このようにして求められたＲ、Ｇ、Ｂそれぞれのピークの値によって再現される色を、ブロックＢＲの文字画像が表わす文字の色に決定する。そして、これを、ブロックＢＲの文字画像が表わす文字の色であると判別する。
【００５９】
以上のような原稿文字色判別部１３５を構成する各部の処理によって、ブロックＢＲそれぞれの文字画像が表わす文字の色が決定する。そして、決定した色を、ブロックＢＲにおける原稿文字色であると判別する。また、原稿文字色判別部１３５は、ブロックＢＲごとに、判別した原稿文字色を示す文字色データ８３を生成する。
【００６０】
図６に戻って、文字背景処理部１３６は、原稿画像ＧＡ０’の中の各文字領域ＲＭの各ブロックＢＲの画像から文字画像を削除することによって、文字の背景部分だけの画像つまり文字背景画像の画像データを生成する。以下、文字背景処理部１３６によって得られた文字背景画像を「文字背景画像ＧＨ」と記載する。文字背景画像ＧＨの削除された画素の部分は、白抜けの状態になる。なお、文字画像の位置は、二値画像ＧＮを参照すればよい。つまり、二値画像ＧＮの中の画素値が「１」である画素の位置に対応する部分をブロックＢＲの画像から削除することによって、文字背景画像ＧＨを生成することができる。
【００６１】
文字再現用データ生成部１３７は、各文字領域ＲＭの画像を再現するための文字領域再現用データ７０を生成する。この文字領域再現用データ７０は、各文字領域ＲＭの各ブロックＢＲのブロック位置データ８２、二値画像ＧＮすなわち文字画像の線図形の画像データ（イメージデータ）、文字色データ８３、および文字背景画像ＧＨの画像データ（イメージデータ）と、各文字領域ＲＭの文字領域位置データ８０とを統合することによって生成される。
【００６２】
以上のような文字領域処理部１０３を構成する各部の処理によって、文字領域ＲＭに対する画像処理がなされ、文字領域再現用データ７０が生成される。
【００６３】
図１４は原稿再現用ファイルＦＬの構造の例を示す図である。図３に戻って、ＰＤＦファイル生成部１０４は、非文字領域処理部１０２によって生成された非文字領域位置データ８１および文字領域処理部１０３によって生成された文字領域位置データ８０などを用いて、スキャナユニット１０ｇによって入力された原稿の画像を再現するための原稿再現用ファイルＦＬを、例えば次のような手順で生成する。
【００６４】
文字領域再現用データ７０に含まれる二値画像ＧＮ（文字画像の線図形）の画像データおよび文字背景画像ＧＨの画像データを圧縮する。前者は二値データなので、Ｇ４圧縮方式（ＭＭＲ圧縮方式）で圧縮するのが望ましい。後者は、色または模様の画像データなので、ＧＩＦまたはＪＰＥＧなどの圧縮方式で圧縮するのが望ましい。
【００６５】
二値画像ＧＮおよび文字背景画像ＧＨの圧縮処理と並行してまたは前後して、非文字領域画像再現用データ７１に含まれる非文字画像ＧＣの画像データを圧縮する。非文字領域ＲＨには写真などの大きなサイズの画像が配置されているので、ＪＰＥＧのような、非可逆の圧縮方式によってサイズが小さくなるように圧縮する。または、非文字画像ＧＣごとに画像のタイプを判別し、ＪＰＥＧまたはＧＩＦなどの圧縮方式を使い分けるようにしてもよい。
【００６６】
さらに、生成する原稿再現用ファイルＦＬの属性（ファイル名、サイズ、作成者など）を示すファイル属性データ７２を生成する。属性の一部（例えばファイル名など）は、ユーザに指定させるようにしてもよい。
【００６７】
そして、圧縮処理を施した各文字領域ＲＭの文字領域再現用データ７０および各非文字領域ＲＨの非文字領域画像再現用データ７１と生成したファイル属性データ７２とを統合しファイル化する。このようにして、原稿再現用ファイルＦＬが生成される。例えば、図４のような原稿画像ＧＡ０がスキャナユニット１０ｇによって入力され、その原稿画像ＧＡ０に対して図３の各部が処理を実行すると、図１４に示すようなデータ構造の原稿再現用ファイルＦＬが生成される。
【００６８】
なお、同じ種類のオブジェクトの領域が複数個ある場合は、これらの領域を１つに統合し、全体のオブジェクト数を減らす処理を行ってもよい。
【００６９】
生成された原稿再現用ファイルＦＬは、ハードディスク１０ｄに保存される。または、電子メールまたはＦＴＰなどによって通信回線３を介して端末装置２などに転送される。原稿再現用ファイルＦＬを、アクロバット社のＰＤＦなどの既存のフォーマットに従って生成してもよい。ＰＤＦに関しては、例えば、次の公知技術文献１に記載されている。
【００７０】
〔公知技術文献１〕”Ａｄｏｂｅ ＰＤＦってなに？−ＰＤＦ初級編”、アドビシステムズ社、平成１７年５月１４日検索、インターネット＜ＵＲＬ：http://www.adobe.co.jp/products/acrobat/adobepdf13.html＞
生成された原稿再現用ファイルＦＬを使用することによって、原稿の画像を再現することができる。ここで、原稿の画像の再現の手順について説明する。
【００７１】
画像形成装置１または端末装置２は、原稿再現用ファイルＦＬに対応したアプリケーションソフト（例えば、原稿再現用ファイルＦＬがＰＤＦファイルである場合はアドビシステムズ社のアクロバットリーダなど）を起動し、原稿再現用ファイルＦＬをＲＡＭにロードする。圧縮されているデータは、適宜解凍する。
【００７２】
文字領域ＲＭの画像を、その文字領域ＲＭに係る文字領域再現用データ７０に基づいて次のような手順で再現する。文字領域ＲＭを構成する各ブロックＢＲについて、文字背景画像ＧＨを再現するとともに、文字画像の線図形を再現する。その文字画像の線図形には、そのブロックＢＲに係る文字色データ８３に示される原稿文字色を着色する。着色した文字画像の線図形を文字背景画像ＧＨに嵌め込んでブロックＢＲ全体の画像を再現し、これをブロック位置データ８２に示される位置に配置することによって、文字領域ＲＭ全体の画像を再現する。文字領域ＲＭが複数存在する場合つまり原稿再現用ファイルＦＬの中に複数の文字領域再現用データ７０が含まれている場合は、文字領域ＲＭごとに本処理を実行する。
【００７３】
文字領域ＲＭ全体の画像を再現する処理と前後してまたは並行して、非文字領域ＲＨ全体の画像つまり非文字画像ＧＣを、その非文字領域ＲＨに係る非文字領域画像再現用データ７１に基づいて再現する。非文字領域ＲＨが複数存在する場合つまり原稿再現用ファイルＦＬの中に複数の非文字領域画像再現用データ７１が含まれている場合は、非文字領域ＲＨごとに本処理を実行する。
【００７４】
そして、再現された文字領域ＲＭ全体の画像を、それに対応する文字領域位置データ８０に示される位置に配置する。また、再現された非文字領域ＲＨ全体の画像を、それに対応する非文字領域位置データ８１に示される位置に配置する。これにより、原稿再現用ファイルＦＬに係る画像が再現される。
【００７５】
再現された画像は、用紙に印刷しまたはディスプレイに表示することによって、ユーザに対して出力することができる。
【００７６】
図１５は画像形成装置１の全体的な処理の流れの例を説明するためのフローチャート、図１６は非文字領域処理の流れの例を説明するためのフローチャート、図１７は文字領域処理の流れの例を説明するためのフローチャートである。
【００７７】
次に、原稿の画像をスキャンし原稿再現用ファイルＦＬを生成する一連の処理の流れを、フローチャートを参照して説明する。
【００７８】
図１５において、画像形成装置１は、ファイル化の対象である原稿の画像をスキャンし（＃１）、得られた画像に対して解像度変換処理および下地除去処理などの前処理を施す（＃２）。
【００７９】
原稿の画像の中の、文字以外のオブジェクト（写真など）が描かれている領域つまり非文字領域ＲＨに対して図１６に示すような処理を行うことによって、非文字領域ＲＨの非文字領域画像再現用データ７１を生成する（＃３）。
【００８０】
すなわち、原稿の画像の各画素の明度を算出し（図１６の＃１１）、ラベリング処理を実行することによって非文字領域ＲＨを抽出する（＃１２）。その際に、各非文字領域ＲＨの位置情報（非文字領域位置データ８１）も取得しておく。
【００８１】
そして、非文字領域ＲＨの画像の階調などの補正処理を必要に応じて行い（＃１３）、その画像のデータおよび非文字領域位置データ８１などに基づいて非文字領域画像再現用データ７１を生成する（＃１４）。
【００８２】
図１５に戻って、ステップ＃３の処理と前後してまたは並行して、原稿の画像の中の、文字が描かれている領域つまり文字領域ＲＭに対して図１７に示すような処理を施すことによって、文字領域ＲＭの文字領域再現用データ７０を生成する。
【００８３】
すなわち、原稿の画像の各画素の明度を算出し（図１７の＃２１）、ラベリング処理を実行することによって文字領域ＲＭを抽出する（＃２２）。その際に、各文字領域ＲＭの位置情報（文字領域位置データ８０）も抽出しておく。なお、明度の算出の処理およびラベリングの処理は、図１６のステップ＃１１、＃１２の処理と共通に行ってもよい。
【００８４】
文字領域ＲＭに多くの文字が示されている場合は、これを複数のブロックＢＲに分割し（＃２３）、ブロックＢＲごとに二値画像ＧＮを生成する（＃２４）。この二値画像ＧＮによってブロックＢＲの中の文字画像と文字背景画像とを分けることができる。
【００８５】
各ブロックＢＲの文字画像が表わす文字の色を判別する処理を行う。すなわち、原稿に書かれている文字の本来の色に近い画素（近似色画素ＰＫ）を選び出し（＃２５）、それらの画素値に基づいて原稿文字色を判別する（＃２６）。なお、近似色画素ＰＫの選出方法は、前に図１２で説明した通りである。ステップ＃２５の処理と前後してまたは並行して、文字背景画像ＧＨのデータを生成する（＃２７）。
【００８６】
そして、各ブロックＢＲの二値画像ＧＮのデータ、文字色データ８３、文字背景画像ＧＨのデータ、およびブロック位置データ８２と文字領域ＲＭの文字領域位置データ８０とに基づいて文字領域再現用データ７０を生成する（＃２８）。
【００８７】
図１５に戻って、原稿再現用ファイルＦＬに関する属性を示すファイル属性データ７２を生成する（＃５）。そして、ステップ＃３、＃４の処理によって得られた原稿の画像中の各非文字領域ＲＨの非文字領域画像再現用データ７１および各文字領域ＲＭの文字領域再現用データ７０を圧縮し（＃６）、圧縮したデータとファイル属性データ７２とを統合することによって原稿再現用ファイルＦＬを生成する（＃７）。
【００８８】
本実施形態によると、文字の線図形の中央線にできるだけ近い画素を参照することによって原稿文字色を判別する。よって、色滲みの影響を低減し、従来よりも正確に原稿文字色を判別することができる。
【００８９】
また、本実施形態によると、解像度を落とした二値画像ＧＮおよび細線化画像ＧＳを用いて原稿文字色の判別のための処理を行うので、処理に要する時間を短縮することができる。
【００９０】
図１８は近似色画素選出処理の流れの変形例を説明するためのフローチャート、図１９はテンプレートＴＭＰおよび参照画素位置フレームＳＧＰの例を示す図である。
【００９１】
本実施形態では、文字画像が表わす色を判別する処理（図１７のステップ＃２５）を、図１１および図１２などで説明した方法で行った。つまり、図１１（ａ）のような細線化画像ＧＳの細線上の各画素に対応する文字色候補領域ＲＣを原稿画像ＧＡ０’の中から抽出し、抽出したそれぞれの文字色候補領域ＲＣから近似色画素ＰＫを１つずつ選出し、そして、それらの近似色画素ＰＫのＲＧＢの各原色の階調の値に基づいて原稿文字色を判別した。しかし、文字色候補領域ＲＣ以外から近似色画素ＰＫを選出してもよい。例えば、図１８に示すような方法で、近似色画素ＰＫを選出してもよい。
【００９２】
図１９（ａ）〜（ｄ）に示すようなテンプレートＴＭＰ（ＴＭＰ１〜ＴＭＰ４）を予め用意しておく。これらのテンプレートＴＭＰには、それぞれ、図中の右側に示すような、参照画素の位置を求めるための参照画素位置フレームＳＧＰ（ＳＧＰ１〜ＳＧＰ４）を対応付けておく。なお、テンプレートＴＭＰ１〜ＴＭＰ４の１つのセルは、細線化画像ＧＳの解像度（７５ｄｐｉ）における１画素に対応する。一方、参照画素位置フレームＳＧＰ１〜ＳＧＰ４の１つのセルは、原稿画像ＧＡ０’の解像度（３００ｄｐｉ）における１画素に対応する。
【００９３】
まず、細線化画像ＧＳの細線上の各画素に対応する文字色候補領域ＲＣから１つずつ近似色画素ＰＫを選出する（図１８の＃５０１〜＃５０３）。この処理の内容は、前に図１２で説明した処理の内容と同様である。つまり、文字色候補領域ＲＣの端を除いた中央部分から明度の最も低い画素を近似色画素ＰＫとして選出する。
【００９４】
テンプレートＴＭＰ１〜ＴＭＰ４を次のように使用して、さらに近似色画素ＰＫを選出する。細線化画像ＧＳの中の、細線に隣接する画素に注目し、その注目した画素（以下、「注目画素」と記載する。）にテンプレートＴＭＰ１の中心つまり図１９（ａ）の太線枠で示すセルを合わせるようにして、テンプレートＴＭＰ１を重ねる（＃５０６）。
【００９５】
このとき、テンプレートＴＭＰの灰色で示す所定のセルのいずれかに細線化画像ＧＳの細線が重なったら（＃５０７でＹｅｓ）、テンプレートＴＭＰ１に対応する参照画素位置フレームＳＧＰ１を用いて、近似色画素ＰＫの候補として参照すべき画素を、次のように決定する（＃５０８）。すなわち、原稿画像ＧＡ０’の中の、その注目画素に対応する４×４個の画素に、その参照画素位置フレームＳＧＰ１を重ねる。参照画素位置フレームＳＧＰ１の中の太線枠のセルと重なった画素を、参照すべき画素に決定する。
【００９６】
そして、これらの参照すべき画素の中から明度の最も低いものを、近似色画素ＰＫとして選出する（＃５０９）。
【００９７】
ステップ＃５０６〜＃５０９の処理を、細線化画像ＧＳの細線に隣接する他の画素についても実行する。さらに、テンプレートＴＭＰ２〜ＴＭＰ４を使用して同様の処理を実行する。以上のようにして、近似色画素ＰＫが追加される。
【００９８】
近似色画素ＰＫを選出した後に実行する処理は、本実施形態で説明した通りである。つまり、選出した近似色画素ＰＫのＲＧＢ成分ごとのヒストグラムを求め（図１３参照）、ピークの値を求ることによって、原稿文字色を決定する。
【００９９】
本実施形態では、文字色候補領域ＲＣ（図１１（ｃ）参照）の中央の４つの画素の中から１つだけ近似色画素ＰＫを選出したが、複数選出してもよい。例えば、中央の４つの画素すべてを選出してもよい。同様に、図１８で説明した選出方法においても、参照画素位置フレームＳＧＰ（図１９参照）の太線枠のセルに重なった３つの画素の中から１つだけを近似色画素ＰＫとして選出するのではなく、２つまたは３つを選出するようにしてもよい。
【０１００】
本実施形態では、原稿の画像を読み取る機能、画像を補正する機能、および画像データのファイル化を行う機能などがすべて画像形成装置１に備わっている場合を例に説明したが、これらの機能を複数の装置に分散して実現することも可能である。例えば、原稿の画像を読み取る機能をパーソナルコンピュータ用のスキャナで実現し、それ以外の機能をパーソナルコンピュータによって実現するようにしてもよい。この場合は、パーソナルコンピュータには、図３の各部の機能を実現するためのプログラムなどをインストールしておく。または、画像形成装置１で読み取った原稿画像ＧＡ０の画像データを端末装置２に転送し、端末装置２が図３の各部の処理を実行するようにしてもよい。
【０１０１】
本実施形態では、スキャナで読み取った原稿の画像をファイル化する場合を例に説明したが、本発明は、それ以外の種類の画像読取装置で取得した画像をファイル化する場合にも適用可能である。例えば、デジタルカメラで撮影した原稿の画像をファイル化するためにも適用することができる。
【０１０２】
文字領域ＲＭを再現するためのデータとしてリッチテキストフォーマットのデータを生成してもよい。
【０１０３】
文字領域ＲＭの文字画像よりも文字背景画像の色のほうが濃い場合、つまり、いわゆる白抜き文字が描かれている場合は、画像形成装置１の各部は、次のように処理内容を変更する。図６の二値化処理部１３４は、ブロックＢＲの各画素の濃度を算出し、算出した濃度が濃度閾値β未満であればその画素の値を「１」とし、濃度閾値β以上であればその画素の値を「０」とする。つまり、濃度が低いほうの画素を、文字画像を構成する画素であるものとする。図８の近似色画素選出部３０４は、文字色候補領域ＲＣ（図１１（ｃ）参照）の中央の４つの画素の中から明度が最も高い画素つまり濃度が最も低い画素を近似色画素ＰＫとして選出する。
【０１０４】
本実施形態では、ブロックＢＲの画像よりも低解像度の細線化画像ＧＳを生成することによって文字の線図形の中央線およびその付近の領域を抽出したが、解像度を落とさずに細線化画像を生成し、これに基づいて抽出してもよい。この場合は、この細線化画像とブロックＢＲの画像とを重ね合わせることによって、中央線およびその付近の領域を知ることができる。そして、その領域から図１１（ｃ）に示すような４×４の画素の領域を複数個選び出し、それ以降の処理を行うようにすればよい。
【０１０５】
その他、画像形成装置１の全体または各部の構成、処理内容、処理順序、テーブルの内容などは、本発明の趣旨に沿って適宜変更することができる。
【図面の簡単な説明】
【０１０６】
【図１】本発明に係る画像形成装置を有するシステム構成の例を示す図である。
【図２】画像形成装置のハードウェア構成の例を示す図である。
【図３】画像形成装置の機能的構成の例を示す図である。
【図４】原稿画像の例を示す図である。
【図５】非文字領域処理部の構成の例を示す図である。
【図６】文字領域処理部の構成の例を示す図である。
【図７】複数のブロックに分割した文字領域ＲＭの例を示す図である。
【図８】文字色判別部の構成の例を示す図である。
【図９】細線化画像の生成方法の例を説明するための図である。
【図１０】文字の線図形の中央線の位置の例を示す図である。
【図１１】文字の線図形の中央線およびその付近の領域を複数の文字色候補領域に分割する方法の例を説明するための図である。
【図１２】近似色画素選出処理の流れの例を説明するためのフローチャートである。
【図１３】各原色の階調の分布の例を示す図である。
【図１４】原稿再現用ファイルの構造の例を示す図である。
【図１５】画像形成装置の全体的な処理の流れの例を説明するためのフローチャートである。
【図１６】非文字領域処理の流れの例を説明するためのフローチャートである。
【図１７】文字領域処理の流れの例を説明するためのフローチャートである。
【図１８】近似色画素選出処理の流れの変形例を説明するためのフローチャートである。
【図１９】テンプレートおよび参照画素位置フレームの例を示す図である。
【符号の説明】
【０１０７】
１ 画像形成装置（文字色判別装置）
３０２ 細線化画像生成部（中央領域検出手段）
３０３ 文字画像分割部（小領域抽出手段）
３０４ 近似色画素選出部（条件合致画素検出手段）
３０６ 文字色決定部（色判別手段）
ＲＣ 文字色候補領域（小領域）
ＰＫ 近似色画素（条件合致画素）
【技術分野】
【０００１】
本発明は、スキャナなどの画像入力装置で入力した画像に含まれる文字の色を判別する装置および方法などに関する。
【背景技術】
【０００２】
用紙に描かれている画像をスキャナでスキャンし電子データとして保存する技術が普及している。通常、高品質な画像の電子データを得るために、スキャンした画像に対してその特性に応じた画像処理を施すことが多い。例えば、文字を表わす文字画像が含まれる領域に対しては、文字の識別性を高くするための画像処理を施す。つまり、その文字画像が何の文字を表わしているのかが明確に分かるようにするための画像処理を施す。
【０００３】
スキャンした文字領域に対する画像処理の方法として、特許文献１に記載されるような方法が提案されている。この方法によると、カラー画像より文字領域の二値画像を生成し、前記文字領域の二値画像に対し文字矩形を作成し、前記文字矩形の単色判定を行い、非単色の文字矩形が複数種の単色文字集合であることを判定し、上記判定矩形内を文字切りする。これにより、文字色および文字領域の情報を抽出することができる。
【０００４】
また、特許文献２に記載される方法によると、文書画像をカラーデジタル画像として入力し、該文書画像の背景色を特定し、該背景色を用いて該文書画像から背景領域以外の画素を抽出し、該画素を統合して連結成分を生成し、該連結成分を形状特徴と色特徴から文字／罫線／図／写真などの領域に分類し、識別する。識別された領域である文字領域として文字矩形データを取得し、該文字矩形内の背景色に相当する画素を除去して残った画素の画素値に基づいて代表色を算出し、該代表色をその文字矩形の文字色とする。
【０００５】
そのほか、特許文献３には、入力した画像の中から写真の領域、色文字の領域、および黒文字の領域を判定する方法が開示されている。入力された画像の色信号から、色判定部で各画素が色画素か否かを判定する。色判定補正部で、色判定部で色画素と判定された領域に対し、第１の膨張処理部での膨張処理で色文字の切れをつなぎ、収縮処理部での収縮処理で黒文字部の色画素を除去し、第２の膨張処理部で色文字の部分を包含するように色画素の領域を膨張処理する。これにより、黒文字部の色画素判定が除去され、色文字部の色画素でないと判定された部分も色画素となる。一方、構造抽出部で写真構造、文字構造が抽出され、写真・文字判定部で、色判定補正部で補正された色判定結果とともに論理演算により写真、色文字、黒文字の各領域を判定する。
【特許文献１】特開２００４−２４２０７５号公報
【特許文献２】特開２００２−２３６９２１号公報
【特許文献３】特開平１１−４３４４号公報
【発明の開示】
【発明が解決しようとする課題】
【０００６】
ところで、通常、スキャンした文字画像のエッジの部分つまり文字の背景の画像（背景画像）との境界付近の画素は、背景画像の色と混じり合い、文字画像の色が滲んでしまうことがよくある。背景画像から離れている画素は、滲みが少なく、文字の本来の色が明確に表れている。
【０００７】
文字画像の表わす文字の線が太い場合は、背景画像から離れている画素を多く選出することができるので、上に述べたような従来の方法を用いても文字の色をある程度正確に判別することができる。
【０００８】
しかし、文字画像の表わす文字の線が細い場合は、文字画像の多くの画素は、背景画像との境界付近に位置するので、その色が滲んでしまっている。つまり、文字の線が太い文字画像と比較して、本来の色が明確に表れている画素が少ない。したがって、従来の方法では、判別した色の正確性が乏しい。
【０００９】
本発明は、このような問題点に鑑み、スキャナなどで入力した文字画像の表わす文字の色を従来よりも正確に判別することを目的とする。
【課題を解決するための手段】
【００１０】
本発明に係る文字色判別装置は、画像入力装置によって入力された入力画像に表れる文字の線図形の中央線またはその付近の領域である中央領域を検出する中央領域検出手段と、複数の画素からなる複数の小領域を前記中央領域から抽出する小領域抽出手段と、前記小領域ごとに、当該小領域に属する画素の中から所定の条件に合う画素を条件合致画素として検出する条件合致画素検出手段と、前記入力画像に表れる文字の色を前記各小領域の前記条件合致画素の色情報に基づいて判別する色判別手段と、を有することを特徴とする。
【００１１】
好ましくは、前記中央領域検出手段は、前記入力画像に対して細線化処理を施すことによって検出した細線またはその付近の領域を、前記中央領域として検出し、前記所定の条件とは、明度が最も低いことであり、前記色判別手段は、原色ごとに、前記条件合致画素の当該原色の階調のピークを算出し、当該各原色の当該ピークによって表わされる色を、前記入力画像に表れる文字の色であると判別する。
【００１２】
なお、本発明では、「文字」には、漢字、平仮名、片仮名、およびアルファベットなどのほか、「０」〜「９」の数字および演算子などの符号も含まれるものとする。
【発明の効果】
【００１３】
本発明によると、スキャナなどで入力した文字画像の表わす文字の色を従来よりも正確に判別することができる。
【発明を実施するための最良の形態】
【００１４】
図１は本発明に係る画像形成装置１を有するシステム構成の例を示す図、図２は画像形成装置１のハードウェア構成の例を示す図、図３は画像形成装置１の機能的構成の例を示す図である。
【００１５】
図１に示す画像形成装置１は、コピー、スキャナ、ファックス、ネットワークプリンティング、ドキュメントサーバ、およびファイル転送などの様々な機能を集約した画像処理装置である。複合機またはＭＦＰ（Multi Function Peripherals）などと呼ばれることもある。
【００１６】
この画像形成装置１は、役所または企業などのオフィス、学校または図書館などの公共施設、コンビニエンスストアなどの店舗、その他種々の場所に設置され、複数のユーザによって共用することができる。また、パーソナルコンピュータまたはワークステーションなどの端末装置２と通信回線３を介して接続可能である。通信回線３として、インターネット、ＬＡＮ、公衆回線、または専用線などが用いられる。
【００１７】
画像形成装置１は、図２に示すように、ＣＰＵ１０ａ、ＲＡＭ１０ｂ、ＲＯＭ１０ｃ、ハードディスク１０ｄ、制御用回路１０ｅ、操作パネル１０ｆ、スキャナユニット１０ｇ、印刷ユニット１０ｈ、モデム１０ｊ、およびネットワークインタフェース１０ｋなどによって構成される。
【００１８】
スキャナユニット１０ｇは、原稿の用紙（以下、単に「原稿」と記載する。）に描かれている写真、文字、絵、図表などの画像を光学的に読み取って電子データ化する装置である。読み取られた画像のデータはＲＡＭ１０ｂに記憶され、後に説明するように、様々な処理が施されてファイル化される。本実施形態では、カラースキャナが用いられる。
【００１９】
印刷ユニット１０ｈは、スキャナユニット１０ｇで読み取られた画像または端末装置２などから送信されてきた画像を、イエロー、マゼンタ、シアン、およびブラックの４色のトナーを使用して用紙に印刷する装置である。
【００２０】
操作パネル１０ｆは、操作部および表示部によって構成される。操作部としてテンキーなどが用いられ、表示部として液晶ディスプレイなどが用いられる。ユーザは、操作部を操作することによって、画像形成装置１に対して、処理の実行開始または中断などの指令を与え、データの宛先、スキャン条件、または画像ファイルフォーマットなどの処理条件を指定し、その他種々の事項を指定することができる。表示部には、ユーザに対してメッセージまたは指示を与えるための画面、ユーザが所望する処理の種類および処理条件を入力するための画面、および画像形成装置１で実行された処理の結果を示す画面などが表示される。操作パネル１０ｆとしてタッチパネルを用いた場合は、タッチパネルが操作部および表示部の両方を兼ねる。このように、操作パネル１０ｆは、画像形成装置１を操作するユーザのためのユーザインタフェースの役割を果たしている。なお、端末装置２には、画像形成装置１に対して指令を与えるためのアプリケーションプログラムおよびドライバがインストールされている。したがって、ユーザは、端末装置２によって画像形成装置１を遠隔的に操作することができる。
【００２１】
モデム１０ｊは、ＮＣＵ（Network Control Unit）が内蔵されており、アナログの公衆回線を介して他のファックス端末と接続し、ファクシミリプロトコルに基づくデータ制御およびファックスデータの変復調などを行う。ネットワークインタフェース１０ｋは、ＮＩＣ（Network Interface Card）であって、ＬＡＮまたはインターネットなどを介して端末装置２などへの接続を行い、ファイルの送受信などを行う。
【００２２】
制御用回路１０ｅは、ハードディスク１０ｄ、操作パネル１０ｆ、スキャナユニット１０ｇ、印刷ユニット１０ｈ、モデム１０ｊ、およびネットワークインタフェース１０ｋなどの装置を制御するための回路である。
【００２３】
ハードディスク１０ｄには、図３に示すような前処理部１０１、非文字領域処理部１０２、文字領域処理部１０３、およびＰＤＦファイル生成部１０４などの機能を実現するためのプログラムおよびデータなどが格納されている。これらのプログラムは必要に応じてＲＡＭ１０ｂに読み出され、ＣＰＵ１０ａによってプログラムが実行される。これらのプログラムまたはデータの一部または全部を、ＲＯＭ１０ｃに記憶させておいてもよい。または、図３の機能の一部または全部を、制御用回路１０ｅによって実現するようにしてもよい。
【００２４】
図４は原稿画像ＧＡ０、ＧＡ０’の例を示す図、図５は非文字領域処理部１０２の構成の例を示す図である。
【００２５】
次に、図３に示す画像形成装置１の各部の機能および処理内容などについて説明する。
【００２６】
前処理部１０１は、スキャナユニット１０ｇによって入力された原稿の画像（以下、「原稿画像ＧＡ０」と記載する。）に対して、非文字領域処理部１０２以降の処理に対応した解像度に変換する処理（解像度変換処理）を施し、さらに、原稿画像ＧＡ０の下地部分の色などを除去する処理（下地除去処理）を施す。「原稿画像ＧＡ０の下地部分」とは、コンテンツ（オブジェクト）が何もない領域のことを意味する。例えば、図４に示すような原稿画像ＧＡ０である場合は、「新・デジタルＭＦＰ ２５５２５５」という文字列の画像のある矩形領域、「デジタル機の価格差は…期待できます。」という文字列の画像のある矩形領域、およびＭＦＰの写真が中央に配置された矩形領域の合計３つの矩形領域以外の部分が、原稿画像ＧＡ０の下地部分である。
【００２７】
原稿画像ＧＡ０には、文字の画像、写真の画像、または背景の画像など、様々な種類のオブジェクトの画像が含まれている。以下、文字画像が含まれる領域を「文字領域ＲＭ」と記載し、文字画像以外のオブジェクトの画像しか含まれない領域を「非文字領域ＲＨ」と記載する。例えば、図４の原稿画像ＧＡ０は、２つの文字領域ＲＭおよび１つの非文字領域ＲＨを有している。また、解像度変換処理および下地除去処理が施された原稿画像ＧＡ０を「原稿画像ＧＡ０’」と記載する。
【００２８】
文字領域ＲＭには、文字を表わす線の画像およびその線の背景の画像が含まれている。以下、前者を「文字画像」と記載し、後者を「文字背景画像」と記載する。例えば、白色の用紙に赤色の文字が書かれている原稿をスキャンした場合は、文字領域ＲＭのうち、赤色の画素群が文字画像となり、白色の画素群が文字背景画像となる。ただし、文字の線と背景との境界付近は、色滲みのために色の区別が付かないことがある。この問題については、後に順次説明する処理によって対処する。
【００２９】
非文字領域処理部１０２は、図５に示すように、明度算出部１２１、写真背景等抽出部１２２、階調等補正部１２３、および非文字再現用データ生成部１２４などによって構成され、原稿画像ＧＡ０’のうちの非文字領域ＲＨつまり写真および背景などの領域に対する画像処理などを行う。
【００３０】
明度算出部１２１は、前処理された原稿画像ＧＡ０つまり原稿画像ＧＡ０’の各画素の明度を算出することによって、明度画像ＧＡ１を生成する。例えば、フルカラー（つまり、２４ビット）の原稿画像ＧＡ０が入力された場合は、次のような方法で明度を算出する。
【００３１】
前処理によって得られた原稿画像ＧＡ０’のＲ（赤）、Ｇ（緑）、およびＢ（青）の各原色の階調の値を８ビットの階調に落とす。そして、これらの値を次の（１）式のような公知の計算式に代入する。
Ｙ＝０．３×Ｒ＋０．６×Ｇ＋０．１×Ｂ …… （１）
ただし、Ｙは明度、ＲはＲ成分の階調の値、ＧはＧ成分の階調の値、ＢはＢ成分の階調の値である。
【００３２】
なお、必要に応じて、スムージング処理を施し、明度画像ＧＡ１のノイズの除去および輪郭の補正などを行ってもよい。
【００３３】
写真背景等抽出部１２２は、明度画像ＧＡ１に対してラベリング処理を施すことによって、原稿画像ＧＡ０’に含まれる写真または背景などの画像つまり文字以外の画像の領域（非文字領域ＲＨ）の位置を判別し、非文字領域ＲＨを抽出する。一般に、写真などの画像に対してラベリング処理を施すと白または黒の大きな塊が出現し、文字画像に対してラベリング処理を施すと不規則な細い線が多く出現しする。このような特徴に基づいて、非文字領域ＲＨの位置を判別する。そして、その判別結果を示す非文字領域位置データ８１を生成する。図４の場合は、非文字領域ＲＨａの位置を示す非文字領域位置データ８１を生成する。
【００３４】
階調等補正部１２３は、必要に応じて、写真背景等抽出部１２２によって抽出された非文字領域ＲＨの中の画像の階調などの補正を、公知の方法を用いて行う。
【００３５】
非文字再現用データ生成部１２４は、各非文字領域ＲＨの、階調等補正部１２３によって補正された画像（以下、「非文字画像ＧＣ」と記載する。）の画像データおよび非文字領域位置データ８１を統合することによって非文字領域画像再現用データ７１を生成する。
【００３６】
以上のような非文字領域処理部１０２を構成する各部の処理によって、原稿画像ＧＡ０’に含まれる各非文字領域ＲＨの位置に関する情報および好適な画像データ（イメージデータ）が得られる。以下、非文字領域処理部１０２による画像処理の結果得られた、非文字領域ＲＨの画像データを、「非文字領域画像再現用データ７１」と記載する。
【００３７】
図６は文字領域処理部１０３の構成の例を示す図、図７は複数のブロックＢＲに分割した文字領域ＲＭの例を示す図、図８は原稿文字色判別部１３５の構成の例を示す図、図９は細線化画像ＧＳの生成方法の例を説明するための図、図１０は文字の線図形の中央線の位置の例を示す図、図１１は文字の線図形の中央線およびその付近の領域を複数の文字色候補領域ＲＣに分割する方法の例を説明するための図、図１２は近似色画素選出処理の流れの例を説明するためのフローチャート、図１３は各原色の階調の分布の例を示す図である。
【００３８】
図３に戻って、文字領域処理部１０３は、図６に示すように、明度算出部１３１、文字領域抽出部１３２、文字領域分割部１３３、二値化処理部１３４、原稿文字色判別部１３５、文字背景処理部１３６、および文字再現用データ生成部１３７などによって構成され、文字画像を含む領域つまり文字領域ＲＭに対する画像処理などを行う。
【００３９】
明度算出部１３１は、図５の明度算出部１２１と同様に、原稿画像ＧＡ０’の各画素の明度を算出することによって、明度画像ＧＡ１を生成する。
【００４０】
文字領域抽出部１３２は、明度画像ＧＡ１に対してラベリング処理を施し、その処理結果の特徴に基づいて原稿画像ＧＡ０’に含まれる文字領域ＲＭの位置を判別し、文字領域ＲＭを抽出する。そして、その判別結果を示す文字領域位置データ８０を生成する。図４の場合は、２つの文字領域ＲＭａ、ＲＭｂそれぞれについて、各位置を示す文字領域位置データ８０が生成される。
【００４１】
なお、明度算出部１３１と明度算出部１２１とを共通化し、文字領域抽出部１３２と写真背景等抽出部１２２とを共通化してもよい。つまり、１つの明度算出部によって得られた明度画像を、以降の処理において各部が共通に使用するようにしてもよい。また、文字領域抽出部１３２および写真背景等抽出部１２２を１つの領域抽出部として共通化し、１回のラベリング処理の結果に基づいて原稿画像ＧＡ０’の中から文字領域ＲＭおよび非文字領域ＲＨの両方を抽出し、それぞれの位置を示す文字領域位置データ８０および非文字領域位置データ８１を生成するようにしてもよい。
【００４２】
文字領域分割部１３３は、文字領域画像ＧＭに多数の文字が表れている場合に、左右方向または上下方向に並ぶ複数個の文字をグループ化する。例えば、１〜１０個程度の文字をグループ化する。英文などの場合は、単語ごと（つまり、スペースとスペースとの間にある文字群ごと）にグループ化してもよい。横書きの場合は左右方向に並ぶ文字をグループ化し、縦書きの場合は上下方向に並ぶ文字をグループ化する。横書きであるか縦書きであるかは、文字画像の並び方の特徴に基づいて判別することができる。そして、グループ化した各文字の文字画像を含む部分を、文字領域ＲＭからブロックＢＲとして抽出する。これにより、文字領域ＲＭは複数のブロックＢＲに分割される。例えば、文字領域ＲＭｂ（図４参照）を、図７に示すように複数のブロックＢＲ（ＢＲ１、ＢＲ２、…）に分割する。また、各ブロックＢＲについて、文字領域ＲＭにおけるその位置を示すブロック位置データ８２を生成しておく。
【００４３】
二値化処理部１３４は、文字領域分割部１３３によって得られた文字領域ＲＭの各ブロックＢＲの二値画像ＧＮを生成する。本実施形態では、ブロックＢＲの二値画像ＧＮを次のように生成する。ブロックＢＲの画像の各画素の濃度を算出する。本実施形態では、濃度は８ビットで表されるものとする。算出した濃度が、濃度閾値β以上であればその画素の値を「１」とし、濃度閾値β未満であればその画素の値を「０」とする。このように各画素の値を「０」または「１」のいずれかに変換することによって、二値画像ＧＮが生成される。
【００４４】
生成した二値画像によると、原稿画像ＧＡ０’および明度画像ＧＡ１などにそれぞれ含まれる文字領域ＲＭの文字画像の部分と文字背景画像の部分とを区別することができる。つまり、「１」である画素が文字画像の部分を示し、「０」である画素が文字背景画像の部分を示しているものとする。
【００４５】
原稿文字色判別部１３５は、図８に示すように、低解像度画像生成部３０１、細線化画像生成部３０２、文字画像分割部３０３、近似色画素選出部３０４、文字色成分取得部３０５、および文字色決定部３０６などによって構成され、原稿に描かれていた文字の色（以下、「原稿文字色」と記載する。）を判別する。本実施形態では、ブロックＢＲごとに、原稿文字色を判別する。ここで、原稿文字色を判別する処理の内容について、図９に示すような「２５５２５５」という文字群を表す文字画像を含むブロックＢＲｘが処理対象である場合を例に説明する。
【００４６】
図９（ａ）は、元の原稿画像ＧＡ０’のうちのブロックＢＲｘに対応する部分（以下、「ブロック原稿画像ＧＡ０ｘ」と記載する。）を示している。図９（ｂ）は、原稿画像ＧＡ０’の明度画像ＧＡ１のうちのブロックＢＲｘに対応する部分（以下、「ブロック明度画像ＧＡ１ｘ」と記載する。）を示している。図９（ｃ）は、ブロックＢＲｘの二値画像ＧＮである。
【００４７】
図８の低解像度画像生成部３０１は、ブロックＢＲｘの二値画像ＧＮの解像度を落とすことによって図９（ｄ）に示すような低解像度画像ＧＴを生成する。本実施形態では、原稿画像ＧＡ０、ＧＡ０’、ブロック原稿画像ＧＡ０ｘ、および二値画像ＧＮの解像度が３００ｄｐｉであるものとし、低解像度画像生成部３０１は７５ｄｐｉの低解像度画像ＧＴを生成するものとする。
【００４８】
細線化画像生成部３０２は、低解像度画像ＧＴに対して公知の細線化処理を施すことによって、図９（ｅ）のような細線化画像ＧＳを生成する。すなわち、低解像度画像ＧＴに表れている太さ１ピクセル（画素）以上の線図形から中心線を検出することによって低解像度画像ＧＴを生成する。例えば「２」という文字の線図形からは、図１０に示すような中央線が検出される。本実施形態では、太さ１ピクセル（画素）の細線を表わす細線化画像ＧＳを生成する。なお、細線化画像ＧＳの解像度は、低解像度画像ＧＴの解像度と同じであり、７５ｄｐｉである。細線化画像生成部３０２の処理によって、文字の線図形の中央線およびその付近に位置する画素群（領域）を見つけることができる。
【００４９】
文字画像分割部３０３は、細線化画像ＧＳに基づいて、ブロック原稿画像ＧＡ０ｘに含まれる文字画像が表わす文字の線図形の中央線およびその付近を複数の文字色候補領域ＲＣに分割する。文字色候補領域ＲＣに分割する処理は、例えば次のような方法で行う。
【００５０】
細線化画像ＧＳの細線上の１つの画素は、ブロック原稿画像ＧＡ０ｘの中の文字画像のうちの複数個の画素に相当する。つまり、例えば図１１（ａ）において円形の点線枠で示す細線化画像ＧＳの中の細線上の１つの画素ＰＸは、図１１（ｂ）において矩形の点線枠で示す元のブロック原稿画像ＧＡ０ｘの文字の線上の複数個の画素に相当する。文字画像分割部３０３は、これらの画素の塊を文字色候補領域ＲＣとして抽出する。本実施形態では、細線化画像ＧＳおよびブロック原稿画像ＧＡ０ｘのそれぞれの解像度の関係から、図１１（ｃ）に示すように、４×４画素の文字色候補領域ＲＣが抽出される。同様に、細線上の他の画素に対応する画素の塊を抽出することによって、ブロック原稿画像ＧＡ０ｘの文字画像が表わす文字の線図形の中央線およびその付近を複数の文字色候補領域ＲＣに分割することができる。文字画像分割部３０３の処理によって複数の文字色候補領域ＲＣが抽出される。
【００５１】
近似色画素選出部３０４は、文字画像分割部３０３によって得られた各文字色候補領域ＲＣの中から、原稿文字色に最も近い色を表わしていると考えられる画素（以下、「近似色画素ＰＫ」と記載する。）を、図１２に示すような手順で選出する。
【００５２】
１つの文字色候補領域ＲＣに注目し、その文字色候補領域ＲＣを構成する４×４個の画素のうち上下左右の端に位置する画素（例えば、図１１（ｃ）において太線枠の外側に位置する１２個の画素）を候補から除外する（図１２の＃４０２）。これらの画素は、太線枠の内側に位置する画素よりも文字背景画像に近いので、色滲みが発生している可能性が高く信頼性が低いからである。
【００５３】
除外されずに残った画素つまり図１１（ｃ）において太線枠の内側に位置する２×２個の画素のそれぞれの明度を算出する。そして、明度が最も低い画素（つまり、濃度が最も高い画素）を、原稿文字色に最も近い色を表わしている画素つまり近似色画素ＰＫとして選出する（＃４０３）。明度は、図６の明度算出部１３１によって生成した明度画像ＧＡ１を参照しても構わない。
【００５４】
他の文字色候補領域ＲＣについても同様にステップ＃４０２、＃４０３の処理を実行し、近似色画素ＰＫを選出する。
【００５５】
以上の処理によって、１つのブロックＢＲについて多数の近似色画素ＰＫが選出される。具体的には、そのブロックＢＲの細線化画像ＧＳ（図９（ｅ）参照）の細線を構成する画素の個数分の近似色画素ＰＫが選出される。
【００５６】
図８の文字色成分取得部３０５は、近似色画素選出部３０４によって選出された各近似色画素ＰＫについて、ブロックＢＲの文字画像の中のその近似色画素ＰＫの、ＲＧＢの各原色の階調の値を取得する。係る画素値は、元の原稿画像ＧＡ０’のうちのブロックＢＲに対応する部分を検索し、そのブロックＢＲの中のその近似色画素ＰＫの位置の画素値を参照することによって取得することができる。取得した各原色の階調の値は、例えば、図１３に示すヒストグラムのような分布になる。
【００５７】
文字色決定部３０６は、文字色成分取得部３０５によって取得された各原色の階調の値の分布に基づいて、ブロックＢＲの文字画像が表わす文字の色を、例えば次のような方法で決定する。
【００５８】
文字色成分取得部３０５によって取得された各原色の階調の値の分布のそれぞれについて、ピークの値を求める。これは、公知の方法によって求められる。例えば、最も個数の多い画素値をピークの値として選出してもよいし、公知の演算方法によって求めてもよい。このようにして求められたＲ、Ｇ、Ｂそれぞれのピークの値によって再現される色を、ブロックＢＲの文字画像が表わす文字の色に決定する。そして、これを、ブロックＢＲの文字画像が表わす文字の色であると判別する。
【００５９】
以上のような原稿文字色判別部１３５を構成する各部の処理によって、ブロックＢＲそれぞれの文字画像が表わす文字の色が決定する。そして、決定した色を、ブロックＢＲにおける原稿文字色であると判別する。また、原稿文字色判別部１３５は、ブロックＢＲごとに、判別した原稿文字色を示す文字色データ８３を生成する。
【００６０】
図６に戻って、文字背景処理部１３６は、原稿画像ＧＡ０’の中の各文字領域ＲＭの各ブロックＢＲの画像から文字画像を削除することによって、文字の背景部分だけの画像つまり文字背景画像の画像データを生成する。以下、文字背景処理部１３６によって得られた文字背景画像を「文字背景画像ＧＨ」と記載する。文字背景画像ＧＨの削除された画素の部分は、白抜けの状態になる。なお、文字画像の位置は、二値画像ＧＮを参照すればよい。つまり、二値画像ＧＮの中の画素値が「１」である画素の位置に対応する部分をブロックＢＲの画像から削除することによって、文字背景画像ＧＨを生成することができる。
【００６１】
文字再現用データ生成部１３７は、各文字領域ＲＭの画像を再現するための文字領域再現用データ７０を生成する。この文字領域再現用データ７０は、各文字領域ＲＭの各ブロックＢＲのブロック位置データ８２、二値画像ＧＮすなわち文字画像の線図形の画像データ（イメージデータ）、文字色データ８３、および文字背景画像ＧＨの画像データ（イメージデータ）と、各文字領域ＲＭの文字領域位置データ８０とを統合することによって生成される。
【００６２】
以上のような文字領域処理部１０３を構成する各部の処理によって、文字領域ＲＭに対する画像処理がなされ、文字領域再現用データ７０が生成される。
【００６３】
図１４は原稿再現用ファイルＦＬの構造の例を示す図である。図３に戻って、ＰＤＦファイル生成部１０４は、非文字領域処理部１０２によって生成された非文字領域位置データ８１および文字領域処理部１０３によって生成された文字領域位置データ８０などを用いて、スキャナユニット１０ｇによって入力された原稿の画像を再現するための原稿再現用ファイルＦＬを、例えば次のような手順で生成する。
【００６４】
文字領域再現用データ７０に含まれる二値画像ＧＮ（文字画像の線図形）の画像データおよび文字背景画像ＧＨの画像データを圧縮する。前者は二値データなので、Ｇ４圧縮方式（ＭＭＲ圧縮方式）で圧縮するのが望ましい。後者は、色または模様の画像データなので、ＧＩＦまたはＪＰＥＧなどの圧縮方式で圧縮するのが望ましい。
【００６５】
二値画像ＧＮおよび文字背景画像ＧＨの圧縮処理と並行してまたは前後して、非文字領域画像再現用データ７１に含まれる非文字画像ＧＣの画像データを圧縮する。非文字領域ＲＨには写真などの大きなサイズの画像が配置されているので、ＪＰＥＧのような、非可逆の圧縮方式によってサイズが小さくなるように圧縮する。または、非文字画像ＧＣごとに画像のタイプを判別し、ＪＰＥＧまたはＧＩＦなどの圧縮方式を使い分けるようにしてもよい。
【００６６】
さらに、生成する原稿再現用ファイルＦＬの属性（ファイル名、サイズ、作成者など）を示すファイル属性データ７２を生成する。属性の一部（例えばファイル名など）は、ユーザに指定させるようにしてもよい。
【００６７】
そして、圧縮処理を施した各文字領域ＲＭの文字領域再現用データ７０および各非文字領域ＲＨの非文字領域画像再現用データ７１と生成したファイル属性データ７２とを統合しファイル化する。このようにして、原稿再現用ファイルＦＬが生成される。例えば、図４のような原稿画像ＧＡ０がスキャナユニット１０ｇによって入力され、その原稿画像ＧＡ０に対して図３の各部が処理を実行すると、図１４に示すようなデータ構造の原稿再現用ファイルＦＬが生成される。
【００６８】
なお、同じ種類のオブジェクトの領域が複数個ある場合は、これらの領域を１つに統合し、全体のオブジェクト数を減らす処理を行ってもよい。
【００６９】
生成された原稿再現用ファイルＦＬは、ハードディスク１０ｄに保存される。または、電子メールまたはＦＴＰなどによって通信回線３を介して端末装置２などに転送される。原稿再現用ファイルＦＬを、アクロバット社のＰＤＦなどの既存のフォーマットに従って生成してもよい。ＰＤＦに関しては、例えば、次の公知技術文献１に記載されている。
【００７０】
〔公知技術文献１〕”Ａｄｏｂｅ ＰＤＦってなに？−ＰＤＦ初級編”、アドビシステムズ社、平成１７年５月１４日検索、インターネット＜ＵＲＬ：http://www.adobe.co.jp/products/acrobat/adobepdf13.html＞
生成された原稿再現用ファイルＦＬを使用することによって、原稿の画像を再現することができる。ここで、原稿の画像の再現の手順について説明する。
【００７１】
画像形成装置１または端末装置２は、原稿再現用ファイルＦＬに対応したアプリケーションソフト（例えば、原稿再現用ファイルＦＬがＰＤＦファイルである場合はアドビシステムズ社のアクロバットリーダなど）を起動し、原稿再現用ファイルＦＬをＲＡＭにロードする。圧縮されているデータは、適宜解凍する。
【００７２】
文字領域ＲＭの画像を、その文字領域ＲＭに係る文字領域再現用データ７０に基づいて次のような手順で再現する。文字領域ＲＭを構成する各ブロックＢＲについて、文字背景画像ＧＨを再現するとともに、文字画像の線図形を再現する。その文字画像の線図形には、そのブロックＢＲに係る文字色データ８３に示される原稿文字色を着色する。着色した文字画像の線図形を文字背景画像ＧＨに嵌め込んでブロックＢＲ全体の画像を再現し、これをブロック位置データ８２に示される位置に配置することによって、文字領域ＲＭ全体の画像を再現する。文字領域ＲＭが複数存在する場合つまり原稿再現用ファイルＦＬの中に複数の文字領域再現用データ７０が含まれている場合は、文字領域ＲＭごとに本処理を実行する。
【００７３】
文字領域ＲＭ全体の画像を再現する処理と前後してまたは並行して、非文字領域ＲＨ全体の画像つまり非文字画像ＧＣを、その非文字領域ＲＨに係る非文字領域画像再現用データ７１に基づいて再現する。非文字領域ＲＨが複数存在する場合つまり原稿再現用ファイルＦＬの中に複数の非文字領域画像再現用データ７１が含まれている場合は、非文字領域ＲＨごとに本処理を実行する。
【００７４】
そして、再現された文字領域ＲＭ全体の画像を、それに対応する文字領域位置データ８０に示される位置に配置する。また、再現された非文字領域ＲＨ全体の画像を、それに対応する非文字領域位置データ８１に示される位置に配置する。これにより、原稿再現用ファイルＦＬに係る画像が再現される。
【００７５】
再現された画像は、用紙に印刷しまたはディスプレイに表示することによって、ユーザに対して出力することができる。
【００７６】
図１５は画像形成装置１の全体的な処理の流れの例を説明するためのフローチャート、図１６は非文字領域処理の流れの例を説明するためのフローチャート、図１７は文字領域処理の流れの例を説明するためのフローチャートである。
【００７７】
次に、原稿の画像をスキャンし原稿再現用ファイルＦＬを生成する一連の処理の流れを、フローチャートを参照して説明する。
【００７８】
図１５において、画像形成装置１は、ファイル化の対象である原稿の画像をスキャンし（＃１）、得られた画像に対して解像度変換処理および下地除去処理などの前処理を施す（＃２）。
【００７９】
原稿の画像の中の、文字以外のオブジェクト（写真など）が描かれている領域つまり非文字領域ＲＨに対して図１６に示すような処理を行うことによって、非文字領域ＲＨの非文字領域画像再現用データ７１を生成する（＃３）。
【００８０】
すなわち、原稿の画像の各画素の明度を算出し（図１６の＃１１）、ラベリング処理を実行することによって非文字領域ＲＨを抽出する（＃１２）。その際に、各非文字領域ＲＨの位置情報（非文字領域位置データ８１）も取得しておく。
【００８１】
そして、非文字領域ＲＨの画像の階調などの補正処理を必要に応じて行い（＃１３）、その画像のデータおよび非文字領域位置データ８１などに基づいて非文字領域画像再現用データ７１を生成する（＃１４）。
【００８２】
図１５に戻って、ステップ＃３の処理と前後してまたは並行して、原稿の画像の中の、文字が描かれている領域つまり文字領域ＲＭに対して図１７に示すような処理を施すことによって、文字領域ＲＭの文字領域再現用データ７０を生成する。
【００８３】
すなわち、原稿の画像の各画素の明度を算出し（図１７の＃２１）、ラベリング処理を実行することによって文字領域ＲＭを抽出する（＃２２）。その際に、各文字領域ＲＭの位置情報（文字領域位置データ８０）も抽出しておく。なお、明度の算出の処理およびラベリングの処理は、図１６のステップ＃１１、＃１２の処理と共通に行ってもよい。
【００８４】
文字領域ＲＭに多くの文字が示されている場合は、これを複数のブロックＢＲに分割し（＃２３）、ブロックＢＲごとに二値画像ＧＮを生成する（＃２４）。この二値画像ＧＮによってブロックＢＲの中の文字画像と文字背景画像とを分けることができる。
【００８５】
各ブロックＢＲの文字画像が表わす文字の色を判別する処理を行う。すなわち、原稿に書かれている文字の本来の色に近い画素（近似色画素ＰＫ）を選び出し（＃２５）、それらの画素値に基づいて原稿文字色を判別する（＃２６）。なお、近似色画素ＰＫの選出方法は、前に図１２で説明した通りである。ステップ＃２５の処理と前後してまたは並行して、文字背景画像ＧＨのデータを生成する（＃２７）。
【００８６】
そして、各ブロックＢＲの二値画像ＧＮのデータ、文字色データ８３、文字背景画像ＧＨのデータ、およびブロック位置データ８２と文字領域ＲＭの文字領域位置データ８０とに基づいて文字領域再現用データ７０を生成する（＃２８）。
【００８７】
図１５に戻って、原稿再現用ファイルＦＬに関する属性を示すファイル属性データ７２を生成する（＃５）。そして、ステップ＃３、＃４の処理によって得られた原稿の画像中の各非文字領域ＲＨの非文字領域画像再現用データ７１および各文字領域ＲＭの文字領域再現用データ７０を圧縮し（＃６）、圧縮したデータとファイル属性データ７２とを統合することによって原稿再現用ファイルＦＬを生成する（＃７）。
【００８８】
本実施形態によると、文字の線図形の中央線にできるだけ近い画素を参照することによって原稿文字色を判別する。よって、色滲みの影響を低減し、従来よりも正確に原稿文字色を判別することができる。
【００８９】
また、本実施形態によると、解像度を落とした二値画像ＧＮおよび細線化画像ＧＳを用いて原稿文字色の判別のための処理を行うので、処理に要する時間を短縮することができる。
【００９０】
図１８は近似色画素選出処理の流れの変形例を説明するためのフローチャート、図１９はテンプレートＴＭＰおよび参照画素位置フレームＳＧＰの例を示す図である。
【００９１】
本実施形態では、文字画像が表わす色を判別する処理（図１７のステップ＃２５）を、図１１および図１２などで説明した方法で行った。つまり、図１１（ａ）のような細線化画像ＧＳの細線上の各画素に対応する文字色候補領域ＲＣを原稿画像ＧＡ０’の中から抽出し、抽出したそれぞれの文字色候補領域ＲＣから近似色画素ＰＫを１つずつ選出し、そして、それらの近似色画素ＰＫのＲＧＢの各原色の階調の値に基づいて原稿文字色を判別した。しかし、文字色候補領域ＲＣ以外から近似色画素ＰＫを選出してもよい。例えば、図１８に示すような方法で、近似色画素ＰＫを選出してもよい。
【００９２】
図１９（ａ）〜（ｄ）に示すようなテンプレートＴＭＰ（ＴＭＰ１〜ＴＭＰ４）を予め用意しておく。これらのテンプレートＴＭＰには、それぞれ、図中の右側に示すような、参照画素の位置を求めるための参照画素位置フレームＳＧＰ（ＳＧＰ１〜ＳＧＰ４）を対応付けておく。なお、テンプレートＴＭＰ１〜ＴＭＰ４の１つのセルは、細線化画像ＧＳの解像度（７５ｄｐｉ）における１画素に対応する。一方、参照画素位置フレームＳＧＰ１〜ＳＧＰ４の１つのセルは、原稿画像ＧＡ０’の解像度（３００ｄｐｉ）における１画素に対応する。
【００９３】
まず、細線化画像ＧＳの細線上の各画素に対応する文字色候補領域ＲＣから１つずつ近似色画素ＰＫを選出する（図１８の＃５０１〜＃５０３）。この処理の内容は、前に図１２で説明した処理の内容と同様である。つまり、文字色候補領域ＲＣの端を除いた中央部分から明度の最も低い画素を近似色画素ＰＫとして選出する。
【００９４】
テンプレートＴＭＰ１〜ＴＭＰ４を次のように使用して、さらに近似色画素ＰＫを選出する。細線化画像ＧＳの中の、細線に隣接する画素に注目し、その注目した画素（以下、「注目画素」と記載する。）にテンプレートＴＭＰ１の中心つまり図１９（ａ）の太線枠で示すセルを合わせるようにして、テンプレートＴＭＰ１を重ねる（＃５０６）。
【００９５】
このとき、テンプレートＴＭＰの灰色で示す所定のセルのいずれかに細線化画像ＧＳの細線が重なったら（＃５０７でＹｅｓ）、テンプレートＴＭＰ１に対応する参照画素位置フレームＳＧＰ１を用いて、近似色画素ＰＫの候補として参照すべき画素を、次のように決定する（＃５０８）。すなわち、原稿画像ＧＡ０’の中の、その注目画素に対応する４×４個の画素に、その参照画素位置フレームＳＧＰ１を重ねる。参照画素位置フレームＳＧＰ１の中の太線枠のセルと重なった画素を、参照すべき画素に決定する。
【００９６】
そして、これらの参照すべき画素の中から明度の最も低いものを、近似色画素ＰＫとして選出する（＃５０９）。
【００９７】
ステップ＃５０６〜＃５０９の処理を、細線化画像ＧＳの細線に隣接する他の画素についても実行する。さらに、テンプレートＴＭＰ２〜ＴＭＰ４を使用して同様の処理を実行する。以上のようにして、近似色画素ＰＫが追加される。
【００９８】
近似色画素ＰＫを選出した後に実行する処理は、本実施形態で説明した通りである。つまり、選出した近似色画素ＰＫのＲＧＢ成分ごとのヒストグラムを求め（図１３参照）、ピークの値を求ることによって、原稿文字色を決定する。
【００９９】
本実施形態では、文字色候補領域ＲＣ（図１１（ｃ）参照）の中央の４つの画素の中から１つだけ近似色画素ＰＫを選出したが、複数選出してもよい。例えば、中央の４つの画素すべてを選出してもよい。同様に、図１８で説明した選出方法においても、参照画素位置フレームＳＧＰ（図１９参照）の太線枠のセルに重なった３つの画素の中から１つだけを近似色画素ＰＫとして選出するのではなく、２つまたは３つを選出するようにしてもよい。
【０１００】
本実施形態では、原稿の画像を読み取る機能、画像を補正する機能、および画像データのファイル化を行う機能などがすべて画像形成装置１に備わっている場合を例に説明したが、これらの機能を複数の装置に分散して実現することも可能である。例えば、原稿の画像を読み取る機能をパーソナルコンピュータ用のスキャナで実現し、それ以外の機能をパーソナルコンピュータによって実現するようにしてもよい。この場合は、パーソナルコンピュータには、図３の各部の機能を実現するためのプログラムなどをインストールしておく。または、画像形成装置１で読み取った原稿画像ＧＡ０の画像データを端末装置２に転送し、端末装置２が図３の各部の処理を実行するようにしてもよい。
【０１０１】
本実施形態では、スキャナで読み取った原稿の画像をファイル化する場合を例に説明したが、本発明は、それ以外の種類の画像読取装置で取得した画像をファイル化する場合にも適用可能である。例えば、デジタルカメラで撮影した原稿の画像をファイル化するためにも適用することができる。
【０１０２】
文字領域ＲＭを再現するためのデータとしてリッチテキストフォーマットのデータを生成してもよい。
【０１０３】
文字領域ＲＭの文字画像よりも文字背景画像の色のほうが濃い場合、つまり、いわゆる白抜き文字が描かれている場合は、画像形成装置１の各部は、次のように処理内容を変更する。図６の二値化処理部１３４は、ブロックＢＲの各画素の濃度を算出し、算出した濃度が濃度閾値β未満であればその画素の値を「１」とし、濃度閾値β以上であればその画素の値を「０」とする。つまり、濃度が低いほうの画素を、文字画像を構成する画素であるものとする。図８の近似色画素選出部３０４は、文字色候補領域ＲＣ（図１１（ｃ）参照）の中央の４つの画素の中から明度が最も高い画素つまり濃度が最も低い画素を近似色画素ＰＫとして選出する。
【０１０４】
本実施形態では、ブロックＢＲの画像よりも低解像度の細線化画像ＧＳを生成することによって文字の線図形の中央線およびその付近の領域を抽出したが、解像度を落とさずに細線化画像を生成し、これに基づいて抽出してもよい。この場合は、この細線化画像とブロックＢＲの画像とを重ね合わせることによって、中央線およびその付近の領域を知ることができる。そして、その領域から図１１（ｃ）に示すような４×４の画素の領域を複数個選び出し、それ以降の処理を行うようにすればよい。
【０１０５】
その他、画像形成装置１の全体または各部の構成、処理内容、処理順序、テーブルの内容などは、本発明の趣旨に沿って適宜変更することができる。
【図面の簡単な説明】
【０１０６】
【図１】本発明に係る画像形成装置を有するシステム構成の例を示す図である。
【図２】画像形成装置のハードウェア構成の例を示す図である。
【図３】画像形成装置の機能的構成の例を示す図である。
【図４】原稿画像の例を示す図である。
【図５】非文字領域処理部の構成の例を示す図である。
【図６】文字領域処理部の構成の例を示す図である。
【図７】複数のブロックに分割した文字領域ＲＭの例を示す図である。
【図８】文字色判別部の構成の例を示す図である。
【図９】細線化画像の生成方法の例を説明するための図である。
【図１０】文字の線図形の中央線の位置の例を示す図である。
【図１１】文字の線図形の中央線およびその付近の領域を複数の文字色候補領域に分割する方法の例を説明するための図である。
【図１２】近似色画素選出処理の流れの例を説明するためのフローチャートである。
【図１３】各原色の階調の分布の例を示す図である。
【図１４】原稿再現用ファイルの構造の例を示す図である。
【図１５】画像形成装置の全体的な処理の流れの例を説明するためのフローチャートである。
【図１６】非文字領域処理の流れの例を説明するためのフローチャートである。
【図１７】文字領域処理の流れの例を説明するためのフローチャートである。
【図１８】近似色画素選出処理の流れの変形例を説明するためのフローチャートである。
【図１９】テンプレートおよび参照画素位置フレームの例を示す図である。
【符号の説明】
【０１０７】
１ 画像形成装置（文字色判別装置）
３０２ 細線化画像生成部（中央領域検出手段）
３０３ 文字画像分割部（小領域抽出手段）
３０４ 近似色画素選出部（条件合致画素検出手段）
３０６ 文字色決定部（色判別手段）
ＲＣ 文字色候補領域（小領域）
ＰＫ 近似色画素（条件合致画素）
【特許請求の範囲】
【請求項１】
画像入力装置によって入力された入力画像に表れる文字の線図形の中央線またはその付近の領域である中央領域を検出する中央領域検出手段と、
複数の画素からなる複数の小領域を前記中央領域から抽出する小領域抽出手段と、
前記小領域ごとに、当該小領域に属する画素の中から所定の条件に合う画素を条件合致画素として検出する条件合致画素検出手段と、
前記入力画像に表れる文字の色を前記各小領域の前記条件合致画素の色情報に基づいて判別する色判別手段と、
を有することを特徴とする文字色判別装置。
【請求項２】
前記中央領域検出手段は、前記入力画像に対して細線化処理を施すことによって検出した細線またはその付近の領域を、前記中央領域として検出し、
前記所定の条件とは、明度が最も低いことであり、
前記色判別手段は、原色ごとに、前記条件合致画素の当該原色の階調のピークを算出し、当該各原色の当該ピークによって表わされる色を、前記入力画像に表れる文字の色であると判別する、
請求項１記載の文字色判別装置。
【請求項３】
前記小領域抽出手段は、前記小領域を、前記中央線が当該小領域の中央を通るように抽出する、
請求項１または請求項２記載の文字色判別装置。
【請求項４】
前記条件合致画素検出手段は、前記中央線が通らない前記小領域については、当該小領域に属する、前記中央線に近い側の所定の位置の画素の中から、前記条件合致画素を検出する、
請求項１または請求項２記載の文字色判別装置。
【請求項５】
画像入力装置によって入力された入力画像に表れる文字の線図形の中央線またはその付近の領域である中央領域を検出し、
複数の画素からなる複数の小領域を前記中央領域から抽出し、
前記小領域ごとに、当該小領域に属する画素の中から所定の条件に合う画素を条件合致画素として検出し、
前記入力画像に表れる文字の色を前記各小領域の前記条件合致画素の色情報に基づいて判別する、
ことを特徴とする文字色判別方法。
【請求項６】
画像入力装置によって入力された入力画像を取り扱うコンピュータに用いられるコンピュータプログラムであって、
前記入力画像に表れる文字の線図形の中央線またはその付近の領域である中央領域を検出する処理と、
複数の画素からなる複数の小領域を前記中央領域から抽出する処理と、
前記小領域ごとに、当該小領域に属する画素の中から所定の条件に合う画素を条件合致画素として検出する処理と、
前記入力画像に表れる文字の色を前記各小領域の前記条件合致画素の色情報に基づいて判別する処理と、
をコンピュータに実行させるためのコンピュータプログラム。
【請求項１】
画像入力装置によって入力された入力画像に表れる文字の線図形の中央線またはその付近の領域である中央領域を検出する中央領域検出手段と、
複数の画素からなる複数の小領域を前記中央領域から抽出する小領域抽出手段と、
前記小領域ごとに、当該小領域に属する画素の中から所定の条件に合う画素を条件合致画素として検出する条件合致画素検出手段と、
前記入力画像に表れる文字の色を前記各小領域の前記条件合致画素の色情報に基づいて判別する色判別手段と、
を有することを特徴とする文字色判別装置。
【請求項２】
前記中央領域検出手段は、前記入力画像に対して細線化処理を施すことによって検出した細線またはその付近の領域を、前記中央領域として検出し、
前記所定の条件とは、明度が最も低いことであり、
前記色判別手段は、原色ごとに、前記条件合致画素の当該原色の階調のピークを算出し、当該各原色の当該ピークによって表わされる色を、前記入力画像に表れる文字の色であると判別する、
請求項１記載の文字色判別装置。
【請求項３】
前記小領域抽出手段は、前記小領域を、前記中央線が当該小領域の中央を通るように抽出する、
請求項１または請求項２記載の文字色判別装置。
【請求項４】
前記条件合致画素検出手段は、前記中央線が通らない前記小領域については、当該小領域に属する、前記中央線に近い側の所定の位置の画素の中から、前記条件合致画素を検出する、
請求項１または請求項２記載の文字色判別装置。
【請求項５】
画像入力装置によって入力された入力画像に表れる文字の線図形の中央線またはその付近の領域である中央領域を検出し、
複数の画素からなる複数の小領域を前記中央領域から抽出し、
前記小領域ごとに、当該小領域に属する画素の中から所定の条件に合う画素を条件合致画素として検出し、
前記入力画像に表れる文字の色を前記各小領域の前記条件合致画素の色情報に基づいて判別する、
ことを特徴とする文字色判別方法。
【請求項６】
画像入力装置によって入力された入力画像を取り扱うコンピュータに用いられるコンピュータプログラムであって、
前記入力画像に表れる文字の線図形の中央線またはその付近の領域である中央領域を検出する処理と、
複数の画素からなる複数の小領域を前記中央領域から抽出する処理と、
前記小領域ごとに、当該小領域に属する画素の中から所定の条件に合う画素を条件合致画素として検出する処理と、
前記入力画像に表れる文字の色を前記各小領域の前記条件合致画素の色情報に基づいて判別する処理と、
をコンピュータに実行させるためのコンピュータプログラム。
【図１】
【図２】
【図３】
【図４】
【図５】
【図６】
【図７】
【図８】
【図９】
【図１０】
【図１１】
【図１２】
【図１３】
【図１４】
【図１５】
【図１６】
【図１７】
【図１８】
【図１９】
【図２】
【図３】
【図４】
【図５】
【図６】
【図７】
【図８】
【図９】
【図１０】
【図１１】
【図１２】
【図１３】
【図１４】
【図１５】
【図１６】
【図１７】
【図１８】
【図１９】
【公開番号】特開２００７−２４９７７４（Ｐ２００７−２４９７７４Ａ）
【公開日】平成１９年９月２７日（２００７．９．２７）
【国際特許分類】
【出願番号】特願２００６−７４５０７（Ｐ２００６−７４５０７）
【出願日】平成１８年３月１７日（２００６．３．１７）
【出願人】（３０３０００３７２）コニカミノルタビジネステクノロジーズ株式会社 (12,802)
【Ｆターム（参考）】
【公開日】平成１９年９月２７日（２００７．９．２７）
【国際特許分類】
【出願日】平成１８年３月１７日（２００６．３．１７）
【出願人】（３０３０００３７２）コニカミノルタビジネステクノロジーズ株式会社 (12,802)
【Ｆターム（参考）】
[ Back to top ]