画像処理装置及びプログラム
【課題】文字が混在している構成要素を含む文書を画像として読み取ることで得られた画像データから、文書データとして、文字やその周辺の見栄えが維持され文字コードデータの利用性も確保されたデータを生成する。
【解決手段】文書を画像として読み取り、文書を構成する個々のオブジェクト(写真や文字、ＣＧ等)をオブジェクト種に応じた形式のデータで文書ファイルを生成するにあたり、文字が混在しているオブジェクトに対し、当該文字混在オブジェクトと混在している文字を表示する文字ボックスの何れを前面に配置するかを、文字混在オブジェクトに混在している文字に対する文字認識の確度(98,100)、文字のサイズ(102〜106)、文字混在オブジェクト内の文字数及び行数(108〜112)、文字の明度(114,116)、文字背景色の明度及び明度の分散(118〜122)の各々を対応する判定閾値(th1〜th8の何れか)と比較することで判定する。
【解決手段】文書を画像として読み取り、文書を構成する個々のオブジェクト(写真や文字、ＣＧ等)をオブジェクト種に応じた形式のデータで文書ファイルを生成するにあたり、文字が混在しているオブジェクトに対し、当該文字混在オブジェクトと混在している文字を表示する文字ボックスの何れを前面に配置するかを、文字混在オブジェクトに混在している文字に対する文字認識の確度(98,100)、文字のサイズ(102〜106)、文字混在オブジェクト内の文字数及び行数(108〜112)、文字の明度(114,116)、文字背景色の明度及び明度の分散(118〜122)の各々を対応する判定閾値(th1〜th8の何れか)と比較することで判定する。
【発明の詳細な説明】
【技術分野】
【０００１】
本発明は画像処理装置及び画像処理プログラムに関する。
【背景技術】
【０００２】
特許文献１には、文書処理において、文字を含む入力多値画像データから２値画像データを作成し、作成した２値画像データから文字コードと文字位置を認識し、認識した文字の位置データを用いて多値画像から文字を除去し、文字を除去した画像データとコード化された文字データとを重ねて配置した合成画像を出力する技術が開示されている。
【先行技術文献】
【特許文献】
【０００３】
【特許文献１】特開２００１−３５８９２５号公報
【発明の概要】
【発明が解決しようとする課題】
【０００４】
本発明は、文字が混在している構成要素を含む文書を画像として読み取ることで得られた画像データから、前記文書を表す文書データとして、文字やその周辺の見栄えが維持され文字コードデータの利用性も確保されたデータを生成できる画像処理装置及び画像処理プログラムを得ることが目的である。
【課題を解決するための手段】
【０００５】
上記目的を達成するために請求項１記載の発明に係る画像処理装置は、文字が混在している構成要素を含む文書を画像として読み取ることで得られた画像データに基づき、前記構成要素に混在している前記文字に対して文字認識を行う文字認識手段と、前記文書を表し、前記文字が混在している状態の前記構成要素を表す第１データと、前記文字認識手段によって認識された文字の文字コードデータを含み、当該文字コードデータが表す前記文字を表示する文字ブロックを表す第２データと、を含んだ文書データの生成にあたり、当該文書データが表す文書が表示される際に、前記第２データが表す文字ブロックを前記第１データが表す前記構成要素の背面に隠蔽させるか、前記第２データが表す文字ブロックを前記第１データが表す前記構成要素の前面に表示させるかを、前記構成要素のうち前記文字の周囲の背景領域の明度又は明度の分散、前記構成要素中の前記文字の文字数又は行数、前記構成要素のうち前記文字の領域の明度、前記文字認識手段による前記文字認識の確度、前記構成要素中の前記文字の大きさ、及び、前記構成要素の種別の少なくとも１つに基づいて判定する判定手段と、前記判定手段による判定結果に従って、前記文書が表示される際の前記文字ブロックと前記構成要素との表示の前後関係を設定した前記文書データを生成する生成手段と、を含んで構成されている。
【０００６】
請求項２記載の発明は、請求項１記載の発明において、前記判定手段は、前記構成要素のうち前記文字の周囲の背景領域の明度が第１閾値未満、又は、前記文字の周囲の背景領域の明度の分散が第２閾値以上の場合に、前記文字ブロックを前記構成要素の背面に隠蔽させると判定する。
【０００７】
請求項３記載の発明は、請求項１又は請求項２記載の発明において、前記判定手段は、前記構成要素中の前記文字の文字数が第３閾値以上、又は、前記構成要素中の前記文字の行数が第４閾値以上の場合に、前記文字ブロックを前記構成要素の背面に隠蔽させると判定する。
【０００８】
請求項４記載の発明は、請求項１〜請求項３の何れかに記載の発明において、前記判定手段は、前記構成要素のうち前記文字の領域の明度が第５閾値以上の場合に、前記文字ブロックを前記構成要素の前面に表示させると判定する。
【０００９】
請求項５記載の発明は、請求項１〜請求項４の何れかに記載の発明において、前記判定手段は、前記文字認識手段による前記文字認識の確度が第６閾値未満の場合に、前記文字ブロックを前記構成要素の背面に隠蔽させると判定する。
【００１０】
請求項６記載の発明は、請求項１〜請求項５の何れかに記載の発明において、前記判定手段は、前記構成要素中の前記文字の大きさが第７閾値以上の場合に、前記文字ブロックを前記構成要素の背面に隠蔽させると判定する。
【００１１】
請求項７記載の発明は、請求項１〜請求項６の何れかに記載の発明において、前記判定手段は、前記構成要素の種別が、前記文字ブロックを隠蔽させる種別として設定された種別である場合に、前記文字ブロックを前記構成要素の背面に隠蔽させると判定する。
【００１２】
請求項８記載の発明は、請求項１〜請求項６の何れかに記載の発明において、前記判定手段は、前記構成要素中の前記文字の周囲の背景領域の明度又は明度の分散、前記構成要素中の前記文字の文字数又は行数、前記構成要素中の前記文字の領域の明度、前記文字認識手段による前記文字認識の確度、及び、前記構成要素中の前記文字の大きさの少なくとも１つを閾値と比較した結果に基づいて、前記文字ブロックを前記構成要素の背面に隠蔽させるか、前記文字ブロックを前記構成要素の前面に表示させるかを判定すると共に、前記構成要素の種別が前記文字ブロックを隠蔽させる種別として設定された種別である場合に、前記構成要素の種別が前記文字ブロックを隠蔽させる種別として設定された種別でない場合よりも、前記文字ブロックを前記構成要素の背面に隠蔽させると判定する確率が高くなるように前記閾値を予め変更する。
【００１３】
請求項９記載の発明は、請求項１〜請求項８の何れかに記載の発明において、前記判定手段は、前記構成要素中の前記文字の周囲の背景領域の明度又は明度の分散、前記構成要素中の前記文字の文字数又は行数、前記構成要素中の前記文字の領域の明度、前記文字認識手段による前記文字認識の確度、前記構成要素中の前記文字の大きさ、及び、前記構成要素の種別の少なくとも１つを、記憶手段に記憶された閾値又は設定情報と比較し、比較結果に基づいて、前記文字ブロックを前記構成要素の背面に隠蔽させるか、前記文字ブロックを前記構成要素の前面に表示させるかを判定し、利用者から指示手段を介して前記閾値又は前記設定情報の変更が指示された場合に、利用者からの指示に応じて、記憶手段に記憶された前記閾値又は前記設定情報を変更する第１変更手段を更に備えている。
【００１４】
請求項１０記載の発明は、請求項１〜請求項９の何れかに記載の発明において、前記生成手段は、前記判定手段により前記文字ブロックを前記構成要素の背面に隠蔽させると判定された場合には、前記第２データとして、前記文字コードデータが表す前記文字及び前記文字の周囲の背景領域を予め指定された文字色、背景色で各々表示する文字ブロックを表すデータを生成し、前記判定手段により前記文字ブロックを前記構成要素の前面に表示させると判定された場合には、前記第２データとして、前記文字コードデータが表す前記文字及び前記文字の周囲の背景領域を、前記構成要素に混在している状態での前記文字の文字色又は前記背景領域の背景色と同一又は類似の色で各々表示する文字ブロックを表すデータを生成する。
【００１５】
請求項１１記載の発明は、請求項１０記載の発明において、前記判定手段により前記文字ブロックを前記構成要素の背面に隠蔽させると判定された場合の前記文字ブロックの前記文字色及び前記背景色を指定する色指定情報が記憶手段に予め記憶されており、前記判定手段により前記文字ブロックを前記構成要素の背面に隠蔽させると判定された場合の前記文字ブロックの前記文字色及び前記背景色の少なくとも一方の変更が指示手段を介して利用者から指示された場合に、利用者からの指示に応じて前記色指定情報を変更する第２変更手段を更に備えている。
【００１６】
請求項１２記載の発明は、請求項１〜請求項１１の何れかに記載の発明において、利用者からの、前記判定手段による判定結果が特定の判定結果のときに、前記文書データからの前記第２データの除去を指示する除去指示情報の入力を受け付ける入力受付手段を更に備え、前記生成手段は、前記入力受付手段によって前記除去指示情報の入力が受け付けされ、かつ前記判定手段による判定結果が前記除去指示情報に規定された特定の判定結果に合致した場合には、前記文書データとして前記第２データを除去したデータを生成する。
【００１７】
請求項１３記載の発明は、請求項１２記載の発明において、前記生成手段は、前記文書データとして前記第２データを除去したデータを生成する場合、前記構成要素に混在している状態での前記文字を画像として表す文字画像データを生成し、前記文書データとして、生成した前記文字画像データを含み、前記文書が表示される際に前記文字画像データが表す文字画像が前記構成要素の前面に表示されるように、前記文書が表示される際の前記文字画像と前記構成要素との表示の前後関係を設定したデータを生成する。
【００１８】
請求項１４記載の発明は、請求項１〜請求項１３の何れかに記載の発明において、少なくとも前記第１データは、任意の情報を前記構成要素の属性情報として設定可能なフォーマットであり、前記文字認識手段によって認識された文字の文字コードデータを前記構成要素の属性情報として前記第１データに設定する属性設定手段を更に備えている。
【００１９】
請求項１５記載の発明に係る画像処理プログラムは、コンピュータを、文字が混在している構成要素を含む文書を画像として読み取ることで得られた画像データに基づき、前記構成要素に混在している前記文字に対して文字認識を行う文字認識手段、前記文書を表し、前記文字が混在している状態の前記構成要素を表す第１データと、前記文字認識手段による文字認識で認識された文字の文字コードデータを含み当該文字コードデータが表す前記文字を表示する文字ブロックを表す第２データと、を含んだ文書データの生成にあたり、当該文書データが表す文書が表示される際に、前記第２データが表す文字ブロックを前記第１データが表す前記構成要素の背面に隠蔽させるか、前記第２データが表す文字ブロックを前記第１データが表す前記構成要素の前面に表示させるかを、前記構成要素のうち前記文字の周囲の背景領域の明度又は明度の分散、前記構成要素中の前記文字の文字数又は行数、前記構成要素のうち前記文字の領域の明度、前記文字認識手段による前記文字認識の確度、前記構成要素中の前記文字の大きさ、及び、前記構成要素の種別の少なくとも１つに基づいて判定する判定手段、及び、前記判定手段による判定結果に従って前記文書が表示される際の前記文字ブロックと前記構成要素との表示の前後関係を設定した前記文書データを生成する生成手段として機能させる。
【発明の効果】
【００２０】
請求項１,１５記載の発明は、文字が混在している構成要素を含む文書を画像として読み取ることで得られた画像データから、前記文書を表す文書データとして、文字やその周辺の見栄えが維持され文字コードデータの利用性も確保されたデータを生成できる、という効果を有する。
【００２１】
請求項２〜７記載の発明は、本構成を有していない場合と比較して、文書データが表す文書が表示される際の、文字ブロックと文字が混在している状態の構成要素との表示の前後関係を、簡単な判定により適正に決定できる、という効果を有する。
【００２２】
請求項８記載の発明は、文書データが表す文書が表示される際の、文字ブロックと文字が混在している状態の構成要素との表示の前後関係の判定に、構成要素の種別とそれ以外のパラメータを併用する場合に、簡易な処理により、構成要素の種別に基づく前後関係の判断を、それ以外のパラメータに基づく前後関係の判断に反映させることができる、という効果を有する。
【００２３】
請求項９記載の発明は、文書データが表す文書が表示される際の、文字ブロックと文字が混在している状態の構成要素との表示の前後関係の判定の基準を、利用者の好みに応じて変更調整することが可能になる、という効果を有する。
【００２４】
請求項１０記載の発明は、文書データが表す文書が表示される際に、文字ブロックが構成要素の背面に隠蔽される場合及び文字ブロックが構成要素の前面に表示される場合の各々について、文字ブロックの文字色及び背景色を最適化できる、という効果を有する。
【００２５】
請求項１１記載の発明は、文書データが表す文書が表示される際に、文字ブロックが構成要素の背面に隠蔽される場合の文字ブロックの文字色及び背景色を、利用者の好みに応じて変更することが可能になる、という効果を有する。
【００２６】
請求項１２記載の発明は、文書データが表す文書が表示される際の、文字ブロックと文字が混在している状態の構成要素との表示の前後関係が特定の関係のときに、文字ブロックを表す第２データを含まない文書データを生成させることを、利用者が指示することが可能となる、という効果を有する。
【００２７】
請求項１３記載の発明は、利用者の指示により、文字ブロックを表す第２データを含まない文書データを生成する場合に、文字コードデータに代えて利用者による文字画像データの利用が可能になる、という効果を有する。
【００２８】
請求項１４記載の発明は、第１データが任意の情報を構成要素の属性情報として設定可能なフォーマットである場合に、第２データに含まれる文字コードデータに代えて、構成要素の属性情報として第１データに設定された文字コードデータを利用することが可能になる、という効果を有する。
【図面の簡単な説明】
【００２９】
【図１】実施形態に係るコンピュータ・システムの概略構成を示すブロック図である。
【図２】読取・ファイル化処理の内容を示すフローチャートである。
【図３】前後判定処理の内容を示すフローチャートである。
【図４】文書ファイル生成処理の内容を示すフローチャートである。
【図５】設定変更処理の内容を示すフローチャートである。
【図６】文字認識処理における文字色及び背景色の判別を説明するためのイメージ図である。
【図７】文字混在オブジェクトのオブジェクト種に基づく文字ボックスの前面／背面判定(閾値変更)を説明するための概念図である。
【図８】文字認識の確度に基づく文字ボックスの前面／背面判定を説明するための概念図である。
【図９】文字のフォントサイズに基づく文字ボックスの前面／背面判定を説明するための概念図である。
【図１０】文字の文字数・行数に基づく文字ボックスの前面／背面判定を説明するための概念図である。
【図１１】文字の明度に基づく文字ボックスの前面／背面判定を説明するための概念図である。
【図１２】文字の背景色の明度及び背景明度の分散に基づく文字ボックスの前面／背面判定を説明するための概念図である。
【発明を実施するための形態】
【００３０】
以下、図面を参照して本発明の実施形態の一例を詳細に説明する。図１には、本実施形態に係るコンピュータ・システム１０の概略構成が示されている。コンピュータ・システム１０は、ＬＡＮ等から成るネットワーク１２に、画像読取印刷装置１４と、ＰＣ(Personal Computer：パーソナル・コンピュータ)等から成る複数台の端末装置２４と、が各々接続されて構成されている。
【００３１】
画像読取印刷装置１４は、複写機としての機能や、プリンタとしての機能、スキャナとしての機能を兼ね備えた装置で構成することができ、マイクロコンピュータ等から成りＣＰＵ１６Ａ、メモリ１６Ｂ、ＨＤＤ(Hard Disk Drive)やフラッシュメモリ等から成る不揮発性の記憶部１６Ｃ及びネットワークＩ／Ｆ（インタフェース）部１６Ｄを内蔵した本体制御部１６を備えている。また本体制御部１６には、セットされた読取対象の文書(紙原稿)を光学的に読み取って読取画像データを出力する画像読取部１８、入力された印刷画像データが表す画像を記録用紙に印刷する画像印刷部２０、及び、ＬＣＤ等から成る表示部２２Ａ及びテンキーやタッチパネル等から成る操作部２２Ｂが設けられた操作パネル２２が各々接続されている。
【００３２】
本体制御部１６のネットワークＩ／Ｆ部１６Ｄはネットワーク１２に接続され、端末装置２４とのネットワーク１２経由での通信を司る。また本体制御部１６の記憶部１６Ｃには、ＣＰＵ１６Ａによって実行されるプログラムとして、画像読取印刷装置１４の各部の動作を制御して利用者（ユーザ）に各種のサービス(例えば文書の複写、プリント(端末装置２４から受信した文書データが表す文書の印刷)、を提供するための本体制御プログラムと、ＣＰＵ１６Ａによって後述する読取・ファイル化処理を行うための読取・ファイル化プログラムが各々インストールされている。
【００３３】
なお、上記の読取・ファイル化プログラムは本発明に係る画像処理プログラムの一例であり、本実施形態では、画像読取印刷装置１４の本体制御部１６のＣＰＵ１６Ａによって上記の読取・ファイル化プログラムが実行されることで、画像読取印刷装置１４が本発明に係る画像処理装置として機能する。
【００３４】
また、個々の端末装置２４はＣＰＵ２４Ａ、メモリ２４Ｂ、ＨＤＤやフラッシュメモリ等から成る不揮発性の記憶部２４Ｃ、ネットワークＩ／Ｆ部２４Ｄを備えており、ネットワークＩ／Ｆ部２４Ｄを介してネットワーク１２に接続されている。また、端末装置２４には、ディスプレイ２６、キーボード２８及びマウス３０が各々接続されている。
【００３５】
次に本実施形態の作用として、画像読取印刷装置１４の本体制御部１６のＣＰＵ１６Ａによって読取・ファイル化プログラムが実行されることで実現される読取・ファイル化処理について、図２を参照して説明する。なお、この読取・ファイル化処理は、画像読取部１８に読取対象の原稿(文書)がセットされた状態で、操作パネル２２の操作部２２Ｂを介し、原稿(文書)の読み取り、及び、読取結果に基づく原稿(文書)の文書ファイルの生成・出力(「スキャンtoファイル」サービスの実行)が利用者から指示されると実行される。
【００３６】
読取・ファイル出力処理では、まずステップ４０において、画像読取部１８にセットされた原稿(文書)が画像読取部１８により画像として読み取られ、当該読み取りによって得られた文書の読取結果を表す画像データ(例えばビットマップ形式の画像データ)が記憶部１６Ｃに記憶される。次のステップ４２では、記憶部１６Ｃに記憶された画像データに基づき、読取文書の画像を、文字や写真、イラスト(ＣＧ)、表、線画等の各種オブジェクト(構成要素)に分離・抽出するオブジェクト分離処理を行う。
【００３７】
このオブジェクト分離処理は、例えば特開２００６−２０３５８２号公報や特開２００６−２０３５８３号公報等に開示されているように、画像を複数個のブロックに分割し、各ブロック毎に作成したＬ*ａ*ｂ*色空間でのＬ*,ａ*,ｂ*のヒストグラムの形状、或いは、各ブロック毎のＬ*,ａ*,ｂ*の分散値や平均値等に基づいて、各ブロックを複数のカテゴリ(例えば「カラー絵柄ブロック」「カラー文字及び周辺の下地ブロック」「モノクロ絵柄ブロック」「モノクロ文字及び周辺の下地ブロック」「モノクロ下地ブロック」及び「属性不明ブロック」等)の何れかに分類し、同一のカテゴリに分類した隣り合うブロックを単一の領域に統合する技術を適用することで、読取文書の画像を互いにカテゴリの異なる複数の領域(構成要素)に分離することで実現することができる。
【００３８】
ステップ４４では、ステップ４２のオブジェクト分離処理によって読取文書の画像から個々のオブジェクトを対象として、オブジェクト中に存在している文字を探索し、当該探索で抽出された文字に対してパターンマッチングを行う等により、抽出された文字の文字コードデータやフォント種、フォントサイズ、位置等を判別する文字認識処理を行う。これにより、オブジェクト種が「文字」のオブジェクト(文字のみから成るオブジェクト)のオブジェクト種が「文字」中に存在している文字のみならず、「写真」や「ＣＧ」「表」等のように「文字」以外のオブジェクト種のオブジェクトの中に混在している文字に対しても文字認識が行われ、文字コードデータやフォント種、フォントサイズ等が判別されることになる。また、例として図６に示すように、上記の文字認識処理では、文字の色及び背景領域の色(個々の文字を囲む矩形領域内のうち文字以外の領域の色)も個々の文字毎に判別される。
【００３９】
ステップ４６では、ステップ４４における文字認識処理の結果に基づき、読取文書の画像の中に、オブジェクト種が「文字」以外でかつ文字が混在しているオブジェクト(文字認識処理で文字が抽出されたオブジェクト)が存在していたか否か判定する。この判定が否定された場合はステップ５０へ移行するが、また、ステップ４６の判定が肯定された場合はステップ４８へ移行し、文書ファイルが表す文書が表示されたときに、文字が混在しているオブジェクトと、文字認識処理で認識された文字を表示する文字ボックス(本発明に係る文字ブロックの一例)の何れを前面に配置するかを判定する前後判定処理を行った後にステップ５０へ移行する。なお、上記の前後判定処理については後述する。またステップ５０では、読取文書を表す文書ファイルを生成する文書ファイル生成処理を行うが、この文書ファイル生成処理についても後述する。そしてステップ５２では、文書ファイル生成処理で生成された文書ファイルを利用者から予め指定された転送先(例えば利用者が操作する端末装置２４)へ転送したり、電子メールに添付して送信する等によって出力し、読取・ファイル出力処理を終了する。
【００４０】
ところで、特許文献１に記載の技術では、画像中に混在している文字に対して文字認識を行うと共に前記文字を画像から除去し、文字を除去した画像の前面に、文字認識で認識された文字コードが表す文字を配置した合成画像を出力している。しかし、この技術では、文字を除去した部分の画像(文字混在オブジェクト)が写真画像であった場合、文字を除去した部分の色や濃度を、写真画像に不自然さが生じないように設定することは困難であるので、文字混在オブジェクト(写真画像)の利用性が低下する。また、画像(文字混在オブジェクト)中に混在している文字のサイズや文字数、行数、或いは前記文字に対する文字認識の確度等によっては、文字混在オブジェクト(写真画像)の前面に配置する文字と、文字混在オブジェクト(写真画像)の文字を除去した部分とに位置ずれが生ずる。
【００４１】
本実施形態に係る前後判定処理は、文書ファイルが表す文書が表示されたときに、文字混在オブジェクトと文字ボックスの何れを前面に配置するかを、上記を考慮して判定するものであり、以下、図３を参照して本実施形態に係る前後判定処理を説明すると、まずステップ９０では、読取・ファイル化処理(図２)のステップ４２のオブジェクト分離処理で読取文書から分離抽出されたオブジェクトの中から、文字混在オブジェクト(ファイル化処理(図２)のステップ４４の文字認識処理で文字が抽出されたオブジェクト)であり、かつ次のステップ９０以降の処理が未処理の単一のオブジェクトを、処理対象の文字混在オブジェクトとして選択する。
【００４２】
次のステップ９２では、処理対象の文字混在オブジェクトが、文字ボックス隠蔽対象のオブジェクト種か否か判定する。本実施形態では、前後判定処理における前後判定(文字混在オブジェクトと文字ボックスの何れを前面に配置するかの判定)で用いる判定基準を表す判定基準情報が記憶部１６Ｃに記憶されているが、この判定基準情報の中には、文字ボックスの配置位置が文字混在オブジェクトの背面と前面の何れが望ましいかを個々のオブジェクト種毎に規定する配置規定情報が含まれている。ステップ９２の判定は、処理対象の文字混在オブジェクトのオブジェクト種を配置規定情報と照合し、処理対象の文字混在オブジェクトのオブジェクト種に対する文字ボックスの望ましい配置位置が「背面」か否かを判断することで実現される。
【００４３】
なお、例として図７に示すように、オブジェクト種が「ＣＧ」の文字混在オブジェクトは文字の背景色が単一の色であることが多く、この種の文字混在オブジェクトの前面に文字ブロック(例えば図７に示すように「2008/08/12」なる文字列を表示する文字ブロックや、「Today's Topic」なる文字列を表示する文字ブロック)を配置しても見栄えが悪化することはなく、文字ブロックを前面に配置することで文字ブロックに表示されている文字列の文字コードデータの再利用性が向上する。一方、同じく図７に示すように、オブジェクト種が「写真」の文字混在オブジェクトは文字の背景色が様々な色・明度(濃度)から成り、この種の文字混在オブジェクトの前面に文字ブロック(例えば図７に示すように「8月11日 庭で撮影」なる文字列を表示する文字ブロック)を配置すると、見栄えが悪化することになる。
【００４４】
このため、配置規定情報は、例えばオブジェクト種が「ＣＧ」の文字混在オブジェクトに対しては、文字ボックスの望ましい配置位置が「前面」となり、オブジェクト種が「写真」の文字混在オブジェクトに対しては、文字ボックスの望ましい配置位置が「背面」となるように初期値(デフォルト)が設定されている。なお、本実施形態では配置規定情報の内容を利用者が変更可能とされている(詳細は後述)。
【００４５】
前述の判定基準情報には８種類の判定閾値th1〜th8が含まれており、ステップ９２の判定が否定された場合はステップ９４へ移行し、記憶部１６Ｃから判定閾値th1〜th8を読み出してメモリ１６Ｂに記憶させ、ステップ９８へ移行する。一方、ステップ９２の判定が肯定された場合はステップ９６へ移行し、記憶部１６Ｃから判定閾値th1〜th8を読み出してメモリ１６Ｂに記憶させた後に、判定閾値th1〜th8のうち、或るパラメータの値が判定閾値以上の場合に「背面」と判定される判定閾値については値を減少させる一方、或るパラメータの値が判定閾値未満の場合に「背面」と判定される判定閾値については値を増加させ、ステップ９８へ移行する。これにより、ステップ９２の判定が否定された場合よりも、文字ボックスが処理対象の文字混在オブジェクトの背面に隠蔽される確率が高くなるように判定閾値th1〜th8の値が変更される。
【００４６】
なお、上記のステップ９２〜ステップ９６は請求項８に記載の判定手段による処理の一例である。また、上記のステップ９４,９６の処理に代えて、配置規定情報に規定されている文字ボックスの望ましい配置位置が「背面」の場合は記憶部１６Ｃに記憶されている判定閾値th1〜th8をそのまま用い、配置規定情報に規定されている文字ボックスの望ましい配置位置が「前面」の場合は、記憶部１６Ｃに記憶されている判定閾値th1〜th8の値を、文字ボックスが処理対象の文字混在オブジェクトの前面に配置される確率が高くなるように変更してもよいし、配置規定情報に規定されている文字ボックスの望ましい配置位置が「背面」の場合及び「前面」の場合に、記憶部１６Ｃに記憶されている判定閾値th1〜th8の値を各々変更する(逆方向へ変更する)ようにしてもよい。
【００４７】
ステップ９８では、処理対象の文字混在オブジェクトに混在している文字に対する文字認識処理(図２のステップ４４)で算出された文字認識の確度を取得する。なお、文字認識の確度は個々の文字毎に算出されるので、ステップ９８では、処理対象の文字混在オブジェクトに混在している全ての文字について文字認識の確度を各々取得し、処理対象の文字混在オブジェクトに対する文字認識の確度として、取得した確度の平均値を演算するか、又は、取得した確度の最小値を演算する。次のステップ１００では、ステップ９８で取得した処理対象の文字混在オブジェクトに対する文字認識の確度が、メモリ１６Ｂに記憶されている８種類の判定閾値th1〜th8のうちの文字認識の確度に関する判定閾値th6未満か否か判定する。なお、本実施形態では判定閾値th6についても利用者が任意に変更可能とされている(詳細は後述)。
【００４８】
文字ブロックには文字認識処理で認識された文字コードデータが表す文字(列)が表示されるが、ステップ１００の判定が否定された場合、例として図８(Ｂ)に示すように、文字ブロックに表示されている文字(列)が処理対象の文字混在オブジェクトに混在している文字(列)と相違している可能性がある(例えば図８(Ｂ)に示す例では、処理対象の文字混在オブジェクトに文字列「あいうえお」が混在しているのに対し、文字ブロックには文字列「ありうえあ」が表示されており、両者は相違している)。このため、ステップ１００の判定が肯定された場合はステップ１２４へ移行し、文字ボックスの配置位置を処理対象の文字混在オブジェクトの「背面」と判定し、ステップ１２８へ移行する。
【００４９】
一方、ステップ１００の判定が肯定された場合は、例として図８(Ａ)に示すように、文字ブロックに表示されている文字(列)が処理対象の文字混在オブジェクトに混在している文字(列)と一致している可能性が高いので、文字ボックスの配置位置を処理対象の文字混在オブジェクトの「背面」と判定することなくステップ１２４へ移行する。なお、上記のステップ９８,１００は請求項５に記載の判定手段による処理の一例である。
【００５０】
ステップ１０２では、処理対象の文字混在オブジェクトに混在している文字に対する文字認識処理(図２のステップ４４)で認識された文字のサイズを取得する。なお、文字のサイズについても個々の文字毎に算出されるので、ステップ１０２では、処理対象の文字混在オブジェクトに混在している全ての文字について文字のサイズを各々取得し、処理対象の文字混在オブジェクトに混在している文字のサイズとして、取得したサイズの最大値を演算する。次のステップ１０４では、ステップ１０２で取得した処理対象の文字混在オブジェクトに混在している文字のサイズが、メモリ１６Ｂに記憶されている８種類の判定閾値th1〜th8のうち文字のサイズに関する判定閾値(大サイズ側の判定閾値)th7以上か否か判定する。
【００５１】
例として図９にも示すように、処理対象の文字混在オブジェクトに混在している文字のサイズが大きい場合(一例として18pt以上の場合)、文字認識処理における認識結果の若干のずれやフォント種の違いにより、処理対象の文字混在オブジェクトに混在している文字(列)に対して文字ブロックに表示されている文字(列)のずれが生じ易い。このため、ステップ１０４の判定が肯定された場合はステップ１２４へ移行し、文字ボックスの配置位置を処理対象の文字混在オブジェクトの「背面」と判定し、ステップ１２８へ移行する。なお、ステップ１０４は請求項６に記載の判定手段による処理の一例である。
【００５２】
また、ステップ１０４の判定が否定された場合はステップ１０６へ移行し、ステップ１０２で取得した処理対象の文字混在オブジェクトに混在している文字のサイズが、メモリ１６Ｂに記憶されている８種類の判定閾値th1〜th8のうち文字のサイズに関する判定閾値(小サイズ側の判定閾値)th8未満か否か判定する。例として図９にも示すように、処理対象の文字混在オブジェクトに混在している文字のサイズが何れも小さい場合(一例として6pt以下の場合)、処理対象の文字混在オブジェクトに混在している文字(列)に対して文字ブロックに表示されている文字(列)のずれは生じ難いので、ステップ１０６の判定が肯定された場合はステップ１２６へ移行し、文字ボックスの配置位置を処理対象の文字混在オブジェクトの「前面」と判定し、ステップ１２８へ移行する。
【００５３】
また、ステップ１０４,１０６の判定が何れも否定された場合はステップ１０８へ移行する。なお、本実施形態では上記の判定閾値th7,th8についても利用者が変更可能とされている(詳細は後述)。また、上記のステップ１０２〜１０６は請求項６に記載の判定手段による処理の一例である。
【００５４】
ステップ１０８では、文字認識処理(図２のステップ４４)で認識された、処理対象の文字混在オブジェクトに混在している文字の文字数及び行数を取得する。次のステップ１１０では、ステップ１０８で取得した処理対象の文字混在オブジェクトに混在している文字の文字数が、メモリ１６Ｂに記憶されている８種類の判定閾値th1〜th8のうち文字数に関する判定閾値th3以上か否か判定する。また、ステップ１１０の判定が否定された場合はステップ１１２へ移行し、ステップ１０８で取得した処理対象の文字混在オブジェクトに混在している文字の行数が、メモリ１６Ｂに記憶されている８種類の判定閾値th1〜th8のうち行数に関する判定閾値th4以上か否か判定する。
【００５５】
例として図１０(Ａ)にも示すように、処理対象の文字混在オブジェクトに混在している文字の文字数や行数が多い場合(例えば文字数が５０文字以上や行数が５行以上の場合)、フォントサイズや行間、フォント種の僅かな相違の影響で、処理対象の文字混在オブジェクトに混在している文字列に対して文字ブロックに表示されている文字列の行幅や文字幅がずれ易く、このずれにより、文字ブロックが処理対象の文字混在オブジェクトの範囲から逸脱して他のオブジェクトと一部重なる等の見栄えの悪化が生ずる。このため、ステップ１１０,１１２の何れかの判定が肯定された場合はステップ１２４へ移行し、文字ボックスの配置位置を処理対象の文字混在オブジェクトの「背面」と判定し(図１０(Ｂ)も参照)、ステップ１２８へ移行する。
【００５６】
なお、ステップ１１０,１１２の判定が何れも否定された場合はステップ１１４へ移行する。本実施形態では上記の判定閾値th3,th4についても利用者が変更可能とされている(詳細は後述)。また、上記のステップ１０８〜１１２は請求項３に記載の判定手段による処理の一例である。
【００５７】
ステップ１１４では、処理対象の文字混在オブジェクトに混在している文字に対する文字認識処理(図２のステップ４４)で判別された文字色を取得し、取得した文字色に基づいて、処理対象の文字混在オブジェクトに混在している文字色の明度を演算する。なお、文字色の明度は個々の文字毎に相違している可能性があるので、ステップ１１４では、処理対象の文字混在オブジェクトに混在している全ての文字について文字色の明度を各々演算し、処理対象の文字混在オブジェクトに混在している文字色の明度として、各文字毎に演算した明度の平均値を演算する。次のステップ１１６では、ステップ１１４で演算した処理対象の文字混在オブジェクトに混在している文字色の明度が、メモリ１６Ｂに記憶されている８種類の判定閾値th1〜th8のうち文字の明度に関する判定閾値th5以上か否か判定する。
【００５８】
オブジェクト種がＣＧのオブジェクトに混在している文字のベクトル化において、文字が背景よりも明度が高い場合には、例として図１１に示すように、文字のエッジがギザギザになっている等のように、文字のエッジの再現性が損なわれて見栄えが悪化していることが多い。文字認識で明度の高い文字が認識されるのは、当該文字の背景色が単色の場合、すなわち文字混在オブジェクトのオブジェクト種が「ＣＧ」の場合であり、ステップ１１６の判定が肯定された場合は文字混在オブジェクトに混在している文字のエッジの再現性が損なわれている可能性が高いと判断できる。このため、ステップ１１６の判定が肯定された場合はステップ１２６へ移行し、文字ボックスの配置位置を処理対象の文字混在オブジェクトの「前面」と判定し、ステップ１２８へ移行する。
【００５９】
なお、ステップ１１６の判定が否定された場合はステップ１１８へ移行する。本実施形態では判定閾値th5についても利用者が任意に変更可能とされている(詳細は後述)。また、上記のステップ１１４,１１６は請求項４に記載の判定手段による処理の一例である。
【００６０】
ステップ１１８では、処理対象の文字混在オブジェクトに混在している文字に対する文字認識処理(図２のステップ４４)で判別された背景色を取得し、取得した背景色に基づいて、処理対象の文字混在オブジェクトに混在している文字の背景色の明度及びその分散を各々演算する。なお、背景色の明度についても個々の文字毎に相違している可能性があるので、ステップ１１８では、処理対象の文字混在オブジェクトに混在している全ての文字について背景色の明度を各々演算し、処理対象の文字混在オブジェクトに混在している文字の背景色の明度として、各文字毎に演算した背景色の明度の中央値(各文字毎の背景色の明度を昇順又は降順に並べ替えたときに、順位が中央の明度値)を求める。なお、上記の中央値に代えて平均値を用いてもよい。また、背景色の明度の分散は、例えば次の(１)式を用いて算出することができる。
【００６１】
【数１】
【００６２】
但し、ｎは処理対象の文字混在オブジェクトに混在している文字の総数、Ｂiはｉ番目の文字の背景色の明度、Ｂ0は処理対象の文字混在オブジェクトに混在している文字の背景色の明度の平均値である。
【００６３】
次のステップ１２０では、ステッップ１１８で演算した処理対象の文字混在オブジェクトに混在している文字の背景色の明度が、メモリ１６Ｂに記憶されている８種類の判定閾値th1〜th8のうち背景色の明度に関する判定閾値th1未満か否か判定する。また、ステップ１２０の判定が否定された場合はステップ１２２へ移行し、ステップ１１８で演算した処理対象の文字混在オブジェクトに混在している文字の背景色の明度の分散が、メモリ１６Ｂに記憶されている８種類の判定閾値th1〜th8のうち背景色の明度の分散に関する判定閾値th2以上か否か判定する。
【００６４】
処理対象の文字混在オブジェクトに混在している文字の背景色の明度が低い場合や、背景色の明度の分散が大きい場合は、例として図１２(Ａ)にも示すように、処理対象の文字混在オブジェクトは「写真」やそれに近いオブジェクトと判断できるが、この種のオブジェクトの前面に、背景色として或る色を設定した文字ブロックを配置したとすると、例として図１２(Ｂ)に示すように、文字ブロックの背景色と文字混在オブジェクトの色が相違していることで見栄えが悪化する。また、「写真」やそれに近いオブジェクトの前面に背景を透明に設定した文字ブロックを配置した場合にも、例として図１２(Ｃ)に示すように、フォント種やフォントサイズの相違により、処理対象の文字混在オブジェクトに混在している文字(列)に対して文字ブロックに表示されている文字(列)にずれが生じ、見栄えの悪化が生ずる。
【００６５】
このため、ステップ１２０,１２２の何れかの判定が肯定された場合はステップ１２４へ移行し、文字ボックスの配置位置を処理対象の文字混在オブジェクトの「背面」と判定し(図１２(Ｄ)も参照)、ステップ１２８へ移行する。また、ステップ１２０,１２２の判定が何れも否定された場合はステップ１２６へ移行し、文字ボックスの配置位置を処理対象の文字混在オブジェクトの「前面」と判定し、ステップ１２８へ移行する。なお、ステップ１１８〜ステップ１２２は請求項２に記載の判定手段による処理の一例である。
【００６６】
ステップ１２８では、読取文書から分離抽出された全ての文字混在オブジェクトに対してステップ９０以降の処理を行ったか否か判定する。判定が否定された場合はステップ９０に戻り、ステップ１２８の判定が肯定される迄ステップ９０〜ステップ１２８を繰り返す。これにより、読取文書から分離抽出された全ての文字混在オブジェクトに対して上記の前後判定が各々行われる。そして、読取文書から分離抽出された全ての文字混在オブジェクトに対して上記の前後判定を行うと、ステップ１２８の判定が肯定されて前後判定処理を終了する。
【００６７】
次に、文書ファイル生成処理について図４を参照して説明する。文書ファイル生成処理では、まずステップ１４０において、読取・ファイル化処理(図２)のステップ４２のオブジェクト分離処理で読取文書から分離抽出されたオブジェクトの中から、処理対象のオブジェクトとして単一のオブジェクトのデータを取り出す。ステップ１４２では、ステップ１４０でデータを取り出した処理対象のオブジェクトのデータに基づき、処理対象のオブジェクトを表し、処理対象のオブジェクトのオブジェクト種に応じたフォーマットのオブジェクトデータ(例えばオブジェクト種が「文字」であれば文字コードデータを含み文書処理ソフトで取扱可能な形式の文書データ、オブジェクト種が「写真」や「イラスト(ＣＧ)」であれば画像編集ソフトで取扱可能な形式の画像データ、オブジェクト種が「表」であれば表計算ソフト等で取扱可能な形式の表データ、オブジェクト種が「線画」であれば図形描画ソフト等で取扱可能な形式のベクトルデータ)を生成する。
【００６８】
次のステップ１４４では、処理対象のオブジェクトが文字混在オブジェクトか否か判定する。判定が否定された場合はステップ１６６へ移行するが、判定が肯定された場合はステップ１４６へ移行し、処理対象の文字混在オブジェクトに混在している文字に対する文字認識処理(図２のステップ４４)の処理結果を取得する。またステップ１４８では、処理対象の文字混在オブジェクトに混在している文字に対して行われた前後判定処理(図３)による判定結果(処理対象の文字混在オブジェクトと文字ボックスの何れを前面に配置するかを判定した結果：前後関係の判定結果)を取得する。
【００６９】
次のステップ１５０では、記憶部１６Ｃに記憶されている設定情報を参照し、参照した設定情報に文字ボックスの削除条件が設定されているか否か判定する。本実施形態では、文字混在オブジェクトに対し、或る削除条件(「文字ボックスを文字混在オブジェクトの前面に配置」「文字ボックスを文字混在オブジェクトの背面に隠蔽」「文字ボックスを文字混在オブジェクトの前面又は背面に配置」の何れか)を満たしたときに対応する文字ボックスを削除することを、利用者が事前に指示することが可能とされており、利用者によって前記指示が入力された場合は、利用者の指示が削除条件情報として設定情報に設定される。ステップ１５０の判定は、設定情報に削除条件情報が設定されているか否かを判断することによって成される。ステップ１５０の判定が否定された場合はステップ１５４へ移行するが、ステップ１５０の判定が肯定された場合はステップ１５２へ移行し、前後判定処理(図３)における処理対象の文字混在オブジェクトと文字ボックスの前後関係の判定結果が、削除条件情報に規定されている削除条件に合致しているか否か判定する。
【００７０】
ステップ１５２の判定が否定された場合はステップ１５４へ移行し、文字ブロックの文字色・背景色の情報として、前後判定処理(図３)における前後関係の判定結果に応じた文字色・背景色の情報を取得する。すなわち、本実施形態では、記憶部１６Ｃに記憶されている設定情報の中に、前後関係の判定結果が「背面(文字ボックスを文字混在オブジェクトの背面に隠蔽)」の場合の文字色・背景色を規定する文字色・背景色情報が含まれており(当該文字色・背景色情報は、初期値(デフォルト)として、文字色が黒、背景色が透明に設定されている)、前後判定処理(図３)における前後関係の判定結果が「背面」の場合、ステップ１５４では記憶部１６Ｃに記憶されている設定情報の中から上記の文字色・背景色情報を抽出する。なお、この文字色・背景色情報は請求項１１に記載の色指定情報の一例である。また、前後判定処理(図３)における前後関係の判定結果が「前面(文字ボックスを文字混在オブジェクトの前面に配置)」の場合、ステップ１５４では、処理対象の文字混在オブジェクトに混在している文字に対する文字認識処理(図２のステップ４４)で判別された文字色・背景色を取得する。上記のように、前後判定処理(図３)における前後関係の判定結果に応じて文字ボックスの文字色・背景色を切り替えることは、請求項１０に記載の生成手段による処理の一例である。
【００７１】
次のステップ１５６では、処理対象の文字混在オブジェクトに混在している文字に対する文字認識処理(図２のステップ４４)で判別された文字コードデータやフォント種、フォントサイズ、位置等の情報を取得し、取得した文字コードデータが表す文字(列)を、取得したフォント種・サイズ、ステップ１５４で取得した文字色で表示すると共に、背景領域をステップ１５４で取得した背景領域で着色した文字ボックスのデータを生成する。この文字ボックスのデータには、文字認識処理で判別された文字コードデータも含まれており、当該文字ボックスを含む文書がディスプレイ等に表示されている状態で、文字ボックスを選択する操作が行われた場合に、文字ボックスに表示されている文字(列)の文字コードデータを複写(コピー)することが可能になる(更にコピーした文字コードデータを貼り付ける(ペースト)も可能になる)と共に、文字(列)を検索する操作が行われた場合、文字ボックスに表示されている文字(列)も検索の対象となる。
【００７２】
ステップ１５８では、ステップ１５６で取得した処理対象の文字混在オブジェクト内の文字の位置を表す情報に基づき、ステップ１５６でデータを生成した文字ボックスの文書上での配置位置として、文字ボックスに表示される文字が処理対象のオブジェクトに混在している文字と重なる位置を設定する。またステップ１６０では、処理対象の文字混在オブジェクトとステップ１５６でデータを生成した文字ボックスとの前後関係を規定する情報を、前後判定処理(図３)における前後関係の判定結果に従って設定し、ステップ１６６へ移行する。
【００７３】
一方、先のステップ１５０,１５２の判定が各々肯定された場合(文字ボックスの削除条件が設定されており、かつ前後判定処理(図３)における前後関係の判定結果が削除条件に合致した場合)には、ステップ１５２からステップ１６２へ移行する。この場合、文字ボックス(のデータ)の生成は行われず、前述の文字ボックスを利用した文字コードデータのコピー／ペーストや文字の検索が不可となる。
【００７４】
このため、ステップ１６２では、処理対象の文字混在オブジェクトに混在している文字に対する文字認識処理(図２のステップ４４)で判別された文字コードデータを取得し、取得した文字コードデータを処理対象の文字混在オブジェクトのオブジェクトデータに属性情報として設定する。これにより、処理対象の文字混在オブジェクトを含む文書がディスプレイ等に表示されている状態で、文字混在オブジェクトの属性情報を表示させる操作が行われた場合、表示された属性情報を利用して、文字コードデータのコピー／ペーストを行うことが可能となる。なお、上記のステップ１６２は請求項１４に記載の属性設定手段による処理の一例である。
【００７５】
次のステップ１６４では、処理対象の文字混在オブジェクトのビットマップデータ等に基づいて、処理対象の文字混在オブジェクトに混在している状態での文字の領域を画像として表す文字画像データ(例えばpng等の形式の画像データ)を生成し、生成した文字画像データと処理対象の文字混在オブジェクトとの前後関係を、文字画像データが処理対象の文字混在オブジェクトの前面に表示されるように設定し、ステップ１６６へ以降する。この場合、処理対象の文字混在オブジェクトを含む文書がディスプレイ等に表示されている状態で、文字コードデータに代えて文字画像データを利用する(コピー／ペースト等)ことが可能となる。なお、png等の形式の文字画像データに代えて、文字をベクトル形式で表すベクトルデータを用いるようにしてもよい。
【００７６】
なお、上記のステップ１６４は請求項１３に記載の生成手段による処理の一例である。また、ステップ１５２の判定が肯定された場合にステップ１６２,１６４のみ行う(文字ボックスのデータの生成を行わない)ことは、請求項１２に記載の生成手段による処理の一例である。
【００７７】
ステップ１６６では、オブジェクト分離処理(図２のステップ４２)で読取文書から分離抽出された全てのオブジェクトに対して上記処理を行ったか否か判定する。判定が否定された場合はステップ１６６へ戻り、ステップ１６６の判定が肯定される迄ステップ１４０〜ステップ１６６を繰り返す。これにより、読取文書から分離抽出された全てのオブジェクトに対して少なくともオブジェクトデータの生成(ステップ１４２)が各々行われ、文字混在オブジェクトに対しては、更にステップ１４６以降の処理も各々行われる。ステップ１６６の判定が肯定されるとステップ１６８へ移行し、上記処理で生成した全データ(各オブジェクトのオブジェクトデータやステップ１５６で生成した文字ボックスのデータ、ステップ１６４で生成した文字画像データ)を含む文書ファイルを生成し、文書ファイル生成処理を終了する。
【００７８】
続いて、操作パネル２２の操作部２２Ｂを介し、前後判定処理で参照される判定基準情報や、文書ファイル生成処理で参照される設定情報の変更が利用者から指示された場合に実行される設定変更処理について、図５を参照して説明する。
【００７９】
この設定変更処理では、まずステップ６０において、利用者によって指定された変更対象が前後判定処理で参照される判定基準情報か否か判定する。この判定が肯定された場合はステップ６２へ移行し、判定基準情報に含まれる配置規定情報や判定閾値th1〜th8の変更を指示可能な判定基準変更画面を操作パネル２２の表示部２２Ａに表示させる。次のステップ６４では利用者による入力が完了したか否か判定し、判定が肯定される迄ステップ６４を繰り返す。利用者による入力が完了すると、ステップ６４の判定が肯定されてステップ６６へ移行し、判定基準情報を構成する各情報のうち、操作パネル２２の表示部２２Ａに表示させた判定基準変更画面を介して利用者から変更が指示された情報を、判定基準変更画面を介して利用者から指示された値(内容)へ変更し、設定変更処理を終了する。なお、上記のステップ６２〜ステップ６６は、請求項９に記載の第１変更手段による処理の一例である。
【００８０】
また、ステップ６０の判定が否定された場合はステップ６８へ移行し、利用者によって指定された変更対象が、文書ファイル生成処理で参照される設定情報に含まれる文字色・背景色情報か否か判定する。判定が肯定された場合はステップ７０へ移行し、文字色・背景色情報の変更を指示可能な文字色・背景色変更画面を操作パネル２２の表示部２２Ａに表示させる。次のステップ７２では利用者による入力が完了したか否か判定し、判定が肯定される迄ステップ７２を繰り返す。利用者による入力が完了すると、ステップ７２の判定が肯定されてステップ７４へ移行し、設定情報に含まれる文字色・背景色情報を、操作パネル２２の表示部２２Ａに表示させた文字色・背景色変更画面を介して利用者から指示された値(内容)へ変更し、設定変更処理を終了する。なお、上記のステップ７０〜ステップ７４は、請求項１１に記載の第２変更手段による処理の一例である。
【００８１】
また、ステップ６８の判定が否定された場合、利用者が文字ブロックに対する削除条件の設定を所望していると判断し、ステップ７６へ移行して、文字ブロックに対する削除条件の設定を指示可能な削除条件設定画面を操作パネル２２の表示部２２Ａに表示させる。次のステップ７８では利用者による削除条件の設定入力が完了したか否か判定し、判定が肯定される迄ステップ７８を繰り返す。利用者による設定入力が完了すると、ステップ７８の判定が肯定されてステップ８０へ移行し、設定情報に含まれる削除条件情報を、操作パネル２２の表示部２２Ａに表示させた削除条件設定画面を介して利用者から指示された内容へ変更し、設定変更処理を終了する。
【００８２】
また、上記では判定閾値th1〜th8を全て用いると共に、文字混在オブジェクトのオブジェクト種も用いて前後判定を行う態様を説明したが、本発明はこれに限定されるものではなく、判定閾値th1〜th8と文字混在オブジェクトのオブジェクト種の一部(少なくとも１つ)を用いて前後判定を行う態様も本発明の権利範囲に含まれることは言うまでもない。
【００８３】
また、上記では文字混在オブジェクトのオブジェクト種が文字ボックス隠蔽対象か否かに基づいて、判定閾値th1〜th8の値を切り替える態様を説明したが、本発明はこれに限定されるものではなく、上記でも述べたように、文字混在オブジェクトのオブジェクト種を単独で用い、文字混在オブジェクトと文字ボックスの何れを前面に配置するかを、文字混在オブジェクトのオブジェクト種に基づいて判定するようにしてもよい。この態様は請求項７記載の発明に対応している。
【００８４】
また、上記では本発明に係る文字ブロックとして矩形状の文字ボックスを例示したが、本発明はこれに限定されるものではなく、本発明に係る文字ブロックは矩形状以外の外形形状であってもよいことは言うまでもない。
【００８５】
また、上記では本発明に係る画像処理プログラムとしての読取・ファイル化プログラムが画像読取印刷装置１４の本体制御部１６の記憶部１６Ｃに予め記憶（インストール）されている態様を説明したが、本発明に係る画像処理プログラムは、ＣＤ−ＲＯＭやＤＶＤ−ＲＯＭ等の記録媒体に記録されている形態で提供することも可能である。また、上記では画像処理プログラムとしての読取・ファイル化プログラムが画像読取印刷装置１４の本体制御部１６の記憶部１６Ｃで実行される態様を説明したが、これに限定されるものではなく、端末装置２４等の他の電子機器で実行されるように構成してもよい。
【符号の説明】
【００８６】
１０ コンピュータ・システム
１４ 画像読取印刷装置
１６ 本体制御部
１８ 画像読取部
２２ 操作パネル
２４ 端末装置
【技術分野】
【０００１】
本発明は画像処理装置及び画像処理プログラムに関する。
【背景技術】
【０００２】
特許文献１には、文書処理において、文字を含む入力多値画像データから２値画像データを作成し、作成した２値画像データから文字コードと文字位置を認識し、認識した文字の位置データを用いて多値画像から文字を除去し、文字を除去した画像データとコード化された文字データとを重ねて配置した合成画像を出力する技術が開示されている。
【先行技術文献】
【特許文献】
【０００３】
【特許文献１】特開２００１−３５８９２５号公報
【発明の概要】
【発明が解決しようとする課題】
【０００４】
本発明は、文字が混在している構成要素を含む文書を画像として読み取ることで得られた画像データから、前記文書を表す文書データとして、文字やその周辺の見栄えが維持され文字コードデータの利用性も確保されたデータを生成できる画像処理装置及び画像処理プログラムを得ることが目的である。
【課題を解決するための手段】
【０００５】
上記目的を達成するために請求項１記載の発明に係る画像処理装置は、文字が混在している構成要素を含む文書を画像として読み取ることで得られた画像データに基づき、前記構成要素に混在している前記文字に対して文字認識を行う文字認識手段と、前記文書を表し、前記文字が混在している状態の前記構成要素を表す第１データと、前記文字認識手段によって認識された文字の文字コードデータを含み、当該文字コードデータが表す前記文字を表示する文字ブロックを表す第２データと、を含んだ文書データの生成にあたり、当該文書データが表す文書が表示される際に、前記第２データが表す文字ブロックを前記第１データが表す前記構成要素の背面に隠蔽させるか、前記第２データが表す文字ブロックを前記第１データが表す前記構成要素の前面に表示させるかを、前記構成要素のうち前記文字の周囲の背景領域の明度又は明度の分散、前記構成要素中の前記文字の文字数又は行数、前記構成要素のうち前記文字の領域の明度、前記文字認識手段による前記文字認識の確度、前記構成要素中の前記文字の大きさ、及び、前記構成要素の種別の少なくとも１つに基づいて判定する判定手段と、前記判定手段による判定結果に従って、前記文書が表示される際の前記文字ブロックと前記構成要素との表示の前後関係を設定した前記文書データを生成する生成手段と、を含んで構成されている。
【０００６】
請求項２記載の発明は、請求項１記載の発明において、前記判定手段は、前記構成要素のうち前記文字の周囲の背景領域の明度が第１閾値未満、又は、前記文字の周囲の背景領域の明度の分散が第２閾値以上の場合に、前記文字ブロックを前記構成要素の背面に隠蔽させると判定する。
【０００７】
請求項３記載の発明は、請求項１又は請求項２記載の発明において、前記判定手段は、前記構成要素中の前記文字の文字数が第３閾値以上、又は、前記構成要素中の前記文字の行数が第４閾値以上の場合に、前記文字ブロックを前記構成要素の背面に隠蔽させると判定する。
【０００８】
請求項４記載の発明は、請求項１〜請求項３の何れかに記載の発明において、前記判定手段は、前記構成要素のうち前記文字の領域の明度が第５閾値以上の場合に、前記文字ブロックを前記構成要素の前面に表示させると判定する。
【０００９】
請求項５記載の発明は、請求項１〜請求項４の何れかに記載の発明において、前記判定手段は、前記文字認識手段による前記文字認識の確度が第６閾値未満の場合に、前記文字ブロックを前記構成要素の背面に隠蔽させると判定する。
【００１０】
請求項６記載の発明は、請求項１〜請求項５の何れかに記載の発明において、前記判定手段は、前記構成要素中の前記文字の大きさが第７閾値以上の場合に、前記文字ブロックを前記構成要素の背面に隠蔽させると判定する。
【００１１】
請求項７記載の発明は、請求項１〜請求項６の何れかに記載の発明において、前記判定手段は、前記構成要素の種別が、前記文字ブロックを隠蔽させる種別として設定された種別である場合に、前記文字ブロックを前記構成要素の背面に隠蔽させると判定する。
【００１２】
請求項８記載の発明は、請求項１〜請求項６の何れかに記載の発明において、前記判定手段は、前記構成要素中の前記文字の周囲の背景領域の明度又は明度の分散、前記構成要素中の前記文字の文字数又は行数、前記構成要素中の前記文字の領域の明度、前記文字認識手段による前記文字認識の確度、及び、前記構成要素中の前記文字の大きさの少なくとも１つを閾値と比較した結果に基づいて、前記文字ブロックを前記構成要素の背面に隠蔽させるか、前記文字ブロックを前記構成要素の前面に表示させるかを判定すると共に、前記構成要素の種別が前記文字ブロックを隠蔽させる種別として設定された種別である場合に、前記構成要素の種別が前記文字ブロックを隠蔽させる種別として設定された種別でない場合よりも、前記文字ブロックを前記構成要素の背面に隠蔽させると判定する確率が高くなるように前記閾値を予め変更する。
【００１３】
請求項９記載の発明は、請求項１〜請求項８の何れかに記載の発明において、前記判定手段は、前記構成要素中の前記文字の周囲の背景領域の明度又は明度の分散、前記構成要素中の前記文字の文字数又は行数、前記構成要素中の前記文字の領域の明度、前記文字認識手段による前記文字認識の確度、前記構成要素中の前記文字の大きさ、及び、前記構成要素の種別の少なくとも１つを、記憶手段に記憶された閾値又は設定情報と比較し、比較結果に基づいて、前記文字ブロックを前記構成要素の背面に隠蔽させるか、前記文字ブロックを前記構成要素の前面に表示させるかを判定し、利用者から指示手段を介して前記閾値又は前記設定情報の変更が指示された場合に、利用者からの指示に応じて、記憶手段に記憶された前記閾値又は前記設定情報を変更する第１変更手段を更に備えている。
【００１４】
請求項１０記載の発明は、請求項１〜請求項９の何れかに記載の発明において、前記生成手段は、前記判定手段により前記文字ブロックを前記構成要素の背面に隠蔽させると判定された場合には、前記第２データとして、前記文字コードデータが表す前記文字及び前記文字の周囲の背景領域を予め指定された文字色、背景色で各々表示する文字ブロックを表すデータを生成し、前記判定手段により前記文字ブロックを前記構成要素の前面に表示させると判定された場合には、前記第２データとして、前記文字コードデータが表す前記文字及び前記文字の周囲の背景領域を、前記構成要素に混在している状態での前記文字の文字色又は前記背景領域の背景色と同一又は類似の色で各々表示する文字ブロックを表すデータを生成する。
【００１５】
請求項１１記載の発明は、請求項１０記載の発明において、前記判定手段により前記文字ブロックを前記構成要素の背面に隠蔽させると判定された場合の前記文字ブロックの前記文字色及び前記背景色を指定する色指定情報が記憶手段に予め記憶されており、前記判定手段により前記文字ブロックを前記構成要素の背面に隠蔽させると判定された場合の前記文字ブロックの前記文字色及び前記背景色の少なくとも一方の変更が指示手段を介して利用者から指示された場合に、利用者からの指示に応じて前記色指定情報を変更する第２変更手段を更に備えている。
【００１６】
請求項１２記載の発明は、請求項１〜請求項１１の何れかに記載の発明において、利用者からの、前記判定手段による判定結果が特定の判定結果のときに、前記文書データからの前記第２データの除去を指示する除去指示情報の入力を受け付ける入力受付手段を更に備え、前記生成手段は、前記入力受付手段によって前記除去指示情報の入力が受け付けされ、かつ前記判定手段による判定結果が前記除去指示情報に規定された特定の判定結果に合致した場合には、前記文書データとして前記第２データを除去したデータを生成する。
【００１７】
請求項１３記載の発明は、請求項１２記載の発明において、前記生成手段は、前記文書データとして前記第２データを除去したデータを生成する場合、前記構成要素に混在している状態での前記文字を画像として表す文字画像データを生成し、前記文書データとして、生成した前記文字画像データを含み、前記文書が表示される際に前記文字画像データが表す文字画像が前記構成要素の前面に表示されるように、前記文書が表示される際の前記文字画像と前記構成要素との表示の前後関係を設定したデータを生成する。
【００１８】
請求項１４記載の発明は、請求項１〜請求項１３の何れかに記載の発明において、少なくとも前記第１データは、任意の情報を前記構成要素の属性情報として設定可能なフォーマットであり、前記文字認識手段によって認識された文字の文字コードデータを前記構成要素の属性情報として前記第１データに設定する属性設定手段を更に備えている。
【００１９】
請求項１５記載の発明に係る画像処理プログラムは、コンピュータを、文字が混在している構成要素を含む文書を画像として読み取ることで得られた画像データに基づき、前記構成要素に混在している前記文字に対して文字認識を行う文字認識手段、前記文書を表し、前記文字が混在している状態の前記構成要素を表す第１データと、前記文字認識手段による文字認識で認識された文字の文字コードデータを含み当該文字コードデータが表す前記文字を表示する文字ブロックを表す第２データと、を含んだ文書データの生成にあたり、当該文書データが表す文書が表示される際に、前記第２データが表す文字ブロックを前記第１データが表す前記構成要素の背面に隠蔽させるか、前記第２データが表す文字ブロックを前記第１データが表す前記構成要素の前面に表示させるかを、前記構成要素のうち前記文字の周囲の背景領域の明度又は明度の分散、前記構成要素中の前記文字の文字数又は行数、前記構成要素のうち前記文字の領域の明度、前記文字認識手段による前記文字認識の確度、前記構成要素中の前記文字の大きさ、及び、前記構成要素の種別の少なくとも１つに基づいて判定する判定手段、及び、前記判定手段による判定結果に従って前記文書が表示される際の前記文字ブロックと前記構成要素との表示の前後関係を設定した前記文書データを生成する生成手段として機能させる。
【発明の効果】
【００２０】
請求項１,１５記載の発明は、文字が混在している構成要素を含む文書を画像として読み取ることで得られた画像データから、前記文書を表す文書データとして、文字やその周辺の見栄えが維持され文字コードデータの利用性も確保されたデータを生成できる、という効果を有する。
【００２１】
請求項２〜７記載の発明は、本構成を有していない場合と比較して、文書データが表す文書が表示される際の、文字ブロックと文字が混在している状態の構成要素との表示の前後関係を、簡単な判定により適正に決定できる、という効果を有する。
【００２２】
請求項８記載の発明は、文書データが表す文書が表示される際の、文字ブロックと文字が混在している状態の構成要素との表示の前後関係の判定に、構成要素の種別とそれ以外のパラメータを併用する場合に、簡易な処理により、構成要素の種別に基づく前後関係の判断を、それ以外のパラメータに基づく前後関係の判断に反映させることができる、という効果を有する。
【００２３】
請求項９記載の発明は、文書データが表す文書が表示される際の、文字ブロックと文字が混在している状態の構成要素との表示の前後関係の判定の基準を、利用者の好みに応じて変更調整することが可能になる、という効果を有する。
【００２４】
請求項１０記載の発明は、文書データが表す文書が表示される際に、文字ブロックが構成要素の背面に隠蔽される場合及び文字ブロックが構成要素の前面に表示される場合の各々について、文字ブロックの文字色及び背景色を最適化できる、という効果を有する。
【００２５】
請求項１１記載の発明は、文書データが表す文書が表示される際に、文字ブロックが構成要素の背面に隠蔽される場合の文字ブロックの文字色及び背景色を、利用者の好みに応じて変更することが可能になる、という効果を有する。
【００２６】
請求項１２記載の発明は、文書データが表す文書が表示される際の、文字ブロックと文字が混在している状態の構成要素との表示の前後関係が特定の関係のときに、文字ブロックを表す第２データを含まない文書データを生成させることを、利用者が指示することが可能となる、という効果を有する。
【００２７】
請求項１３記載の発明は、利用者の指示により、文字ブロックを表す第２データを含まない文書データを生成する場合に、文字コードデータに代えて利用者による文字画像データの利用が可能になる、という効果を有する。
【００２８】
請求項１４記載の発明は、第１データが任意の情報を構成要素の属性情報として設定可能なフォーマットである場合に、第２データに含まれる文字コードデータに代えて、構成要素の属性情報として第１データに設定された文字コードデータを利用することが可能になる、という効果を有する。
【図面の簡単な説明】
【００２９】
【図１】実施形態に係るコンピュータ・システムの概略構成を示すブロック図である。
【図２】読取・ファイル化処理の内容を示すフローチャートである。
【図３】前後判定処理の内容を示すフローチャートである。
【図４】文書ファイル生成処理の内容を示すフローチャートである。
【図５】設定変更処理の内容を示すフローチャートである。
【図６】文字認識処理における文字色及び背景色の判別を説明するためのイメージ図である。
【図７】文字混在オブジェクトのオブジェクト種に基づく文字ボックスの前面／背面判定(閾値変更)を説明するための概念図である。
【図８】文字認識の確度に基づく文字ボックスの前面／背面判定を説明するための概念図である。
【図９】文字のフォントサイズに基づく文字ボックスの前面／背面判定を説明するための概念図である。
【図１０】文字の文字数・行数に基づく文字ボックスの前面／背面判定を説明するための概念図である。
【図１１】文字の明度に基づく文字ボックスの前面／背面判定を説明するための概念図である。
【図１２】文字の背景色の明度及び背景明度の分散に基づく文字ボックスの前面／背面判定を説明するための概念図である。
【発明を実施するための形態】
【００３０】
以下、図面を参照して本発明の実施形態の一例を詳細に説明する。図１には、本実施形態に係るコンピュータ・システム１０の概略構成が示されている。コンピュータ・システム１０は、ＬＡＮ等から成るネットワーク１２に、画像読取印刷装置１４と、ＰＣ(Personal Computer：パーソナル・コンピュータ)等から成る複数台の端末装置２４と、が各々接続されて構成されている。
【００３１】
画像読取印刷装置１４は、複写機としての機能や、プリンタとしての機能、スキャナとしての機能を兼ね備えた装置で構成することができ、マイクロコンピュータ等から成りＣＰＵ１６Ａ、メモリ１６Ｂ、ＨＤＤ(Hard Disk Drive)やフラッシュメモリ等から成る不揮発性の記憶部１６Ｃ及びネットワークＩ／Ｆ（インタフェース）部１６Ｄを内蔵した本体制御部１６を備えている。また本体制御部１６には、セットされた読取対象の文書(紙原稿)を光学的に読み取って読取画像データを出力する画像読取部１８、入力された印刷画像データが表す画像を記録用紙に印刷する画像印刷部２０、及び、ＬＣＤ等から成る表示部２２Ａ及びテンキーやタッチパネル等から成る操作部２２Ｂが設けられた操作パネル２２が各々接続されている。
【００３２】
本体制御部１６のネットワークＩ／Ｆ部１６Ｄはネットワーク１２に接続され、端末装置２４とのネットワーク１２経由での通信を司る。また本体制御部１６の記憶部１６Ｃには、ＣＰＵ１６Ａによって実行されるプログラムとして、画像読取印刷装置１４の各部の動作を制御して利用者（ユーザ）に各種のサービス(例えば文書の複写、プリント(端末装置２４から受信した文書データが表す文書の印刷)、を提供するための本体制御プログラムと、ＣＰＵ１６Ａによって後述する読取・ファイル化処理を行うための読取・ファイル化プログラムが各々インストールされている。
【００３３】
なお、上記の読取・ファイル化プログラムは本発明に係る画像処理プログラムの一例であり、本実施形態では、画像読取印刷装置１４の本体制御部１６のＣＰＵ１６Ａによって上記の読取・ファイル化プログラムが実行されることで、画像読取印刷装置１４が本発明に係る画像処理装置として機能する。
【００３４】
また、個々の端末装置２４はＣＰＵ２４Ａ、メモリ２４Ｂ、ＨＤＤやフラッシュメモリ等から成る不揮発性の記憶部２４Ｃ、ネットワークＩ／Ｆ部２４Ｄを備えており、ネットワークＩ／Ｆ部２４Ｄを介してネットワーク１２に接続されている。また、端末装置２４には、ディスプレイ２６、キーボード２８及びマウス３０が各々接続されている。
【００３５】
次に本実施形態の作用として、画像読取印刷装置１４の本体制御部１６のＣＰＵ１６Ａによって読取・ファイル化プログラムが実行されることで実現される読取・ファイル化処理について、図２を参照して説明する。なお、この読取・ファイル化処理は、画像読取部１８に読取対象の原稿(文書)がセットされた状態で、操作パネル２２の操作部２２Ｂを介し、原稿(文書)の読み取り、及び、読取結果に基づく原稿(文書)の文書ファイルの生成・出力(「スキャンtoファイル」サービスの実行)が利用者から指示されると実行される。
【００３６】
読取・ファイル出力処理では、まずステップ４０において、画像読取部１８にセットされた原稿(文書)が画像読取部１８により画像として読み取られ、当該読み取りによって得られた文書の読取結果を表す画像データ(例えばビットマップ形式の画像データ)が記憶部１６Ｃに記憶される。次のステップ４２では、記憶部１６Ｃに記憶された画像データに基づき、読取文書の画像を、文字や写真、イラスト(ＣＧ)、表、線画等の各種オブジェクト(構成要素)に分離・抽出するオブジェクト分離処理を行う。
【００３７】
このオブジェクト分離処理は、例えば特開２００６−２０３５８２号公報や特開２００６−２０３５８３号公報等に開示されているように、画像を複数個のブロックに分割し、各ブロック毎に作成したＬ*ａ*ｂ*色空間でのＬ*,ａ*,ｂ*のヒストグラムの形状、或いは、各ブロック毎のＬ*,ａ*,ｂ*の分散値や平均値等に基づいて、各ブロックを複数のカテゴリ(例えば「カラー絵柄ブロック」「カラー文字及び周辺の下地ブロック」「モノクロ絵柄ブロック」「モノクロ文字及び周辺の下地ブロック」「モノクロ下地ブロック」及び「属性不明ブロック」等)の何れかに分類し、同一のカテゴリに分類した隣り合うブロックを単一の領域に統合する技術を適用することで、読取文書の画像を互いにカテゴリの異なる複数の領域(構成要素)に分離することで実現することができる。
【００３８】
ステップ４４では、ステップ４２のオブジェクト分離処理によって読取文書の画像から個々のオブジェクトを対象として、オブジェクト中に存在している文字を探索し、当該探索で抽出された文字に対してパターンマッチングを行う等により、抽出された文字の文字コードデータやフォント種、フォントサイズ、位置等を判別する文字認識処理を行う。これにより、オブジェクト種が「文字」のオブジェクト(文字のみから成るオブジェクト)のオブジェクト種が「文字」中に存在している文字のみならず、「写真」や「ＣＧ」「表」等のように「文字」以外のオブジェクト種のオブジェクトの中に混在している文字に対しても文字認識が行われ、文字コードデータやフォント種、フォントサイズ等が判別されることになる。また、例として図６に示すように、上記の文字認識処理では、文字の色及び背景領域の色(個々の文字を囲む矩形領域内のうち文字以外の領域の色)も個々の文字毎に判別される。
【００３９】
ステップ４６では、ステップ４４における文字認識処理の結果に基づき、読取文書の画像の中に、オブジェクト種が「文字」以外でかつ文字が混在しているオブジェクト(文字認識処理で文字が抽出されたオブジェクト)が存在していたか否か判定する。この判定が否定された場合はステップ５０へ移行するが、また、ステップ４６の判定が肯定された場合はステップ４８へ移行し、文書ファイルが表す文書が表示されたときに、文字が混在しているオブジェクトと、文字認識処理で認識された文字を表示する文字ボックス(本発明に係る文字ブロックの一例)の何れを前面に配置するかを判定する前後判定処理を行った後にステップ５０へ移行する。なお、上記の前後判定処理については後述する。またステップ５０では、読取文書を表す文書ファイルを生成する文書ファイル生成処理を行うが、この文書ファイル生成処理についても後述する。そしてステップ５２では、文書ファイル生成処理で生成された文書ファイルを利用者から予め指定された転送先(例えば利用者が操作する端末装置２４)へ転送したり、電子メールに添付して送信する等によって出力し、読取・ファイル出力処理を終了する。
【００４０】
ところで、特許文献１に記載の技術では、画像中に混在している文字に対して文字認識を行うと共に前記文字を画像から除去し、文字を除去した画像の前面に、文字認識で認識された文字コードが表す文字を配置した合成画像を出力している。しかし、この技術では、文字を除去した部分の画像(文字混在オブジェクト)が写真画像であった場合、文字を除去した部分の色や濃度を、写真画像に不自然さが生じないように設定することは困難であるので、文字混在オブジェクト(写真画像)の利用性が低下する。また、画像(文字混在オブジェクト)中に混在している文字のサイズや文字数、行数、或いは前記文字に対する文字認識の確度等によっては、文字混在オブジェクト(写真画像)の前面に配置する文字と、文字混在オブジェクト(写真画像)の文字を除去した部分とに位置ずれが生ずる。
【００４１】
本実施形態に係る前後判定処理は、文書ファイルが表す文書が表示されたときに、文字混在オブジェクトと文字ボックスの何れを前面に配置するかを、上記を考慮して判定するものであり、以下、図３を参照して本実施形態に係る前後判定処理を説明すると、まずステップ９０では、読取・ファイル化処理(図２)のステップ４２のオブジェクト分離処理で読取文書から分離抽出されたオブジェクトの中から、文字混在オブジェクト(ファイル化処理(図２)のステップ４４の文字認識処理で文字が抽出されたオブジェクト)であり、かつ次のステップ９０以降の処理が未処理の単一のオブジェクトを、処理対象の文字混在オブジェクトとして選択する。
【００４２】
次のステップ９２では、処理対象の文字混在オブジェクトが、文字ボックス隠蔽対象のオブジェクト種か否か判定する。本実施形態では、前後判定処理における前後判定(文字混在オブジェクトと文字ボックスの何れを前面に配置するかの判定)で用いる判定基準を表す判定基準情報が記憶部１６Ｃに記憶されているが、この判定基準情報の中には、文字ボックスの配置位置が文字混在オブジェクトの背面と前面の何れが望ましいかを個々のオブジェクト種毎に規定する配置規定情報が含まれている。ステップ９２の判定は、処理対象の文字混在オブジェクトのオブジェクト種を配置規定情報と照合し、処理対象の文字混在オブジェクトのオブジェクト種に対する文字ボックスの望ましい配置位置が「背面」か否かを判断することで実現される。
【００４３】
なお、例として図７に示すように、オブジェクト種が「ＣＧ」の文字混在オブジェクトは文字の背景色が単一の色であることが多く、この種の文字混在オブジェクトの前面に文字ブロック(例えば図７に示すように「2008/08/12」なる文字列を表示する文字ブロックや、「Today's Topic」なる文字列を表示する文字ブロック)を配置しても見栄えが悪化することはなく、文字ブロックを前面に配置することで文字ブロックに表示されている文字列の文字コードデータの再利用性が向上する。一方、同じく図７に示すように、オブジェクト種が「写真」の文字混在オブジェクトは文字の背景色が様々な色・明度(濃度)から成り、この種の文字混在オブジェクトの前面に文字ブロック(例えば図７に示すように「8月11日 庭で撮影」なる文字列を表示する文字ブロック)を配置すると、見栄えが悪化することになる。
【００４４】
このため、配置規定情報は、例えばオブジェクト種が「ＣＧ」の文字混在オブジェクトに対しては、文字ボックスの望ましい配置位置が「前面」となり、オブジェクト種が「写真」の文字混在オブジェクトに対しては、文字ボックスの望ましい配置位置が「背面」となるように初期値(デフォルト)が設定されている。なお、本実施形態では配置規定情報の内容を利用者が変更可能とされている(詳細は後述)。
【００４５】
前述の判定基準情報には８種類の判定閾値th1〜th8が含まれており、ステップ９２の判定が否定された場合はステップ９４へ移行し、記憶部１６Ｃから判定閾値th1〜th8を読み出してメモリ１６Ｂに記憶させ、ステップ９８へ移行する。一方、ステップ９２の判定が肯定された場合はステップ９６へ移行し、記憶部１６Ｃから判定閾値th1〜th8を読み出してメモリ１６Ｂに記憶させた後に、判定閾値th1〜th8のうち、或るパラメータの値が判定閾値以上の場合に「背面」と判定される判定閾値については値を減少させる一方、或るパラメータの値が判定閾値未満の場合に「背面」と判定される判定閾値については値を増加させ、ステップ９８へ移行する。これにより、ステップ９２の判定が否定された場合よりも、文字ボックスが処理対象の文字混在オブジェクトの背面に隠蔽される確率が高くなるように判定閾値th1〜th8の値が変更される。
【００４６】
なお、上記のステップ９２〜ステップ９６は請求項８に記載の判定手段による処理の一例である。また、上記のステップ９４,９６の処理に代えて、配置規定情報に規定されている文字ボックスの望ましい配置位置が「背面」の場合は記憶部１６Ｃに記憶されている判定閾値th1〜th8をそのまま用い、配置規定情報に規定されている文字ボックスの望ましい配置位置が「前面」の場合は、記憶部１６Ｃに記憶されている判定閾値th1〜th8の値を、文字ボックスが処理対象の文字混在オブジェクトの前面に配置される確率が高くなるように変更してもよいし、配置規定情報に規定されている文字ボックスの望ましい配置位置が「背面」の場合及び「前面」の場合に、記憶部１６Ｃに記憶されている判定閾値th1〜th8の値を各々変更する(逆方向へ変更する)ようにしてもよい。
【００４７】
ステップ９８では、処理対象の文字混在オブジェクトに混在している文字に対する文字認識処理(図２のステップ４４)で算出された文字認識の確度を取得する。なお、文字認識の確度は個々の文字毎に算出されるので、ステップ９８では、処理対象の文字混在オブジェクトに混在している全ての文字について文字認識の確度を各々取得し、処理対象の文字混在オブジェクトに対する文字認識の確度として、取得した確度の平均値を演算するか、又は、取得した確度の最小値を演算する。次のステップ１００では、ステップ９８で取得した処理対象の文字混在オブジェクトに対する文字認識の確度が、メモリ１６Ｂに記憶されている８種類の判定閾値th1〜th8のうちの文字認識の確度に関する判定閾値th6未満か否か判定する。なお、本実施形態では判定閾値th6についても利用者が任意に変更可能とされている(詳細は後述)。
【００４８】
文字ブロックには文字認識処理で認識された文字コードデータが表す文字(列)が表示されるが、ステップ１００の判定が否定された場合、例として図８(Ｂ)に示すように、文字ブロックに表示されている文字(列)が処理対象の文字混在オブジェクトに混在している文字(列)と相違している可能性がある(例えば図８(Ｂ)に示す例では、処理対象の文字混在オブジェクトに文字列「あいうえお」が混在しているのに対し、文字ブロックには文字列「ありうえあ」が表示されており、両者は相違している)。このため、ステップ１００の判定が肯定された場合はステップ１２４へ移行し、文字ボックスの配置位置を処理対象の文字混在オブジェクトの「背面」と判定し、ステップ１２８へ移行する。
【００４９】
一方、ステップ１００の判定が肯定された場合は、例として図８(Ａ)に示すように、文字ブロックに表示されている文字(列)が処理対象の文字混在オブジェクトに混在している文字(列)と一致している可能性が高いので、文字ボックスの配置位置を処理対象の文字混在オブジェクトの「背面」と判定することなくステップ１２４へ移行する。なお、上記のステップ９８,１００は請求項５に記載の判定手段による処理の一例である。
【００５０】
ステップ１０２では、処理対象の文字混在オブジェクトに混在している文字に対する文字認識処理(図２のステップ４４)で認識された文字のサイズを取得する。なお、文字のサイズについても個々の文字毎に算出されるので、ステップ１０２では、処理対象の文字混在オブジェクトに混在している全ての文字について文字のサイズを各々取得し、処理対象の文字混在オブジェクトに混在している文字のサイズとして、取得したサイズの最大値を演算する。次のステップ１０４では、ステップ１０２で取得した処理対象の文字混在オブジェクトに混在している文字のサイズが、メモリ１６Ｂに記憶されている８種類の判定閾値th1〜th8のうち文字のサイズに関する判定閾値(大サイズ側の判定閾値)th7以上か否か判定する。
【００５１】
例として図９にも示すように、処理対象の文字混在オブジェクトに混在している文字のサイズが大きい場合(一例として18pt以上の場合)、文字認識処理における認識結果の若干のずれやフォント種の違いにより、処理対象の文字混在オブジェクトに混在している文字(列)に対して文字ブロックに表示されている文字(列)のずれが生じ易い。このため、ステップ１０４の判定が肯定された場合はステップ１２４へ移行し、文字ボックスの配置位置を処理対象の文字混在オブジェクトの「背面」と判定し、ステップ１２８へ移行する。なお、ステップ１０４は請求項６に記載の判定手段による処理の一例である。
【００５２】
また、ステップ１０４の判定が否定された場合はステップ１０６へ移行し、ステップ１０２で取得した処理対象の文字混在オブジェクトに混在している文字のサイズが、メモリ１６Ｂに記憶されている８種類の判定閾値th1〜th8のうち文字のサイズに関する判定閾値(小サイズ側の判定閾値)th8未満か否か判定する。例として図９にも示すように、処理対象の文字混在オブジェクトに混在している文字のサイズが何れも小さい場合(一例として6pt以下の場合)、処理対象の文字混在オブジェクトに混在している文字(列)に対して文字ブロックに表示されている文字(列)のずれは生じ難いので、ステップ１０６の判定が肯定された場合はステップ１２６へ移行し、文字ボックスの配置位置を処理対象の文字混在オブジェクトの「前面」と判定し、ステップ１２８へ移行する。
【００５３】
また、ステップ１０４,１０６の判定が何れも否定された場合はステップ１０８へ移行する。なお、本実施形態では上記の判定閾値th7,th8についても利用者が変更可能とされている(詳細は後述)。また、上記のステップ１０２〜１０６は請求項６に記載の判定手段による処理の一例である。
【００５４】
ステップ１０８では、文字認識処理(図２のステップ４４)で認識された、処理対象の文字混在オブジェクトに混在している文字の文字数及び行数を取得する。次のステップ１１０では、ステップ１０８で取得した処理対象の文字混在オブジェクトに混在している文字の文字数が、メモリ１６Ｂに記憶されている８種類の判定閾値th1〜th8のうち文字数に関する判定閾値th3以上か否か判定する。また、ステップ１１０の判定が否定された場合はステップ１１２へ移行し、ステップ１０８で取得した処理対象の文字混在オブジェクトに混在している文字の行数が、メモリ１６Ｂに記憶されている８種類の判定閾値th1〜th8のうち行数に関する判定閾値th4以上か否か判定する。
【００５５】
例として図１０(Ａ)にも示すように、処理対象の文字混在オブジェクトに混在している文字の文字数や行数が多い場合(例えば文字数が５０文字以上や行数が５行以上の場合)、フォントサイズや行間、フォント種の僅かな相違の影響で、処理対象の文字混在オブジェクトに混在している文字列に対して文字ブロックに表示されている文字列の行幅や文字幅がずれ易く、このずれにより、文字ブロックが処理対象の文字混在オブジェクトの範囲から逸脱して他のオブジェクトと一部重なる等の見栄えの悪化が生ずる。このため、ステップ１１０,１１２の何れかの判定が肯定された場合はステップ１２４へ移行し、文字ボックスの配置位置を処理対象の文字混在オブジェクトの「背面」と判定し(図１０(Ｂ)も参照)、ステップ１２８へ移行する。
【００５６】
なお、ステップ１１０,１１２の判定が何れも否定された場合はステップ１１４へ移行する。本実施形態では上記の判定閾値th3,th4についても利用者が変更可能とされている(詳細は後述)。また、上記のステップ１０８〜１１２は請求項３に記載の判定手段による処理の一例である。
【００５７】
ステップ１１４では、処理対象の文字混在オブジェクトに混在している文字に対する文字認識処理(図２のステップ４４)で判別された文字色を取得し、取得した文字色に基づいて、処理対象の文字混在オブジェクトに混在している文字色の明度を演算する。なお、文字色の明度は個々の文字毎に相違している可能性があるので、ステップ１１４では、処理対象の文字混在オブジェクトに混在している全ての文字について文字色の明度を各々演算し、処理対象の文字混在オブジェクトに混在している文字色の明度として、各文字毎に演算した明度の平均値を演算する。次のステップ１１６では、ステップ１１４で演算した処理対象の文字混在オブジェクトに混在している文字色の明度が、メモリ１６Ｂに記憶されている８種類の判定閾値th1〜th8のうち文字の明度に関する判定閾値th5以上か否か判定する。
【００５８】
オブジェクト種がＣＧのオブジェクトに混在している文字のベクトル化において、文字が背景よりも明度が高い場合には、例として図１１に示すように、文字のエッジがギザギザになっている等のように、文字のエッジの再現性が損なわれて見栄えが悪化していることが多い。文字認識で明度の高い文字が認識されるのは、当該文字の背景色が単色の場合、すなわち文字混在オブジェクトのオブジェクト種が「ＣＧ」の場合であり、ステップ１１６の判定が肯定された場合は文字混在オブジェクトに混在している文字のエッジの再現性が損なわれている可能性が高いと判断できる。このため、ステップ１１６の判定が肯定された場合はステップ１２６へ移行し、文字ボックスの配置位置を処理対象の文字混在オブジェクトの「前面」と判定し、ステップ１２８へ移行する。
【００５９】
なお、ステップ１１６の判定が否定された場合はステップ１１８へ移行する。本実施形態では判定閾値th5についても利用者が任意に変更可能とされている(詳細は後述)。また、上記のステップ１１４,１１６は請求項４に記載の判定手段による処理の一例である。
【００６０】
ステップ１１８では、処理対象の文字混在オブジェクトに混在している文字に対する文字認識処理(図２のステップ４４)で判別された背景色を取得し、取得した背景色に基づいて、処理対象の文字混在オブジェクトに混在している文字の背景色の明度及びその分散を各々演算する。なお、背景色の明度についても個々の文字毎に相違している可能性があるので、ステップ１１８では、処理対象の文字混在オブジェクトに混在している全ての文字について背景色の明度を各々演算し、処理対象の文字混在オブジェクトに混在している文字の背景色の明度として、各文字毎に演算した背景色の明度の中央値(各文字毎の背景色の明度を昇順又は降順に並べ替えたときに、順位が中央の明度値)を求める。なお、上記の中央値に代えて平均値を用いてもよい。また、背景色の明度の分散は、例えば次の(１)式を用いて算出することができる。
【００６１】
【数１】
【００６２】
但し、ｎは処理対象の文字混在オブジェクトに混在している文字の総数、Ｂiはｉ番目の文字の背景色の明度、Ｂ0は処理対象の文字混在オブジェクトに混在している文字の背景色の明度の平均値である。
【００６３】
次のステップ１２０では、ステッップ１１８で演算した処理対象の文字混在オブジェクトに混在している文字の背景色の明度が、メモリ１６Ｂに記憶されている８種類の判定閾値th1〜th8のうち背景色の明度に関する判定閾値th1未満か否か判定する。また、ステップ１２０の判定が否定された場合はステップ１２２へ移行し、ステップ１１８で演算した処理対象の文字混在オブジェクトに混在している文字の背景色の明度の分散が、メモリ１６Ｂに記憶されている８種類の判定閾値th1〜th8のうち背景色の明度の分散に関する判定閾値th2以上か否か判定する。
【００６４】
処理対象の文字混在オブジェクトに混在している文字の背景色の明度が低い場合や、背景色の明度の分散が大きい場合は、例として図１２(Ａ)にも示すように、処理対象の文字混在オブジェクトは「写真」やそれに近いオブジェクトと判断できるが、この種のオブジェクトの前面に、背景色として或る色を設定した文字ブロックを配置したとすると、例として図１２(Ｂ)に示すように、文字ブロックの背景色と文字混在オブジェクトの色が相違していることで見栄えが悪化する。また、「写真」やそれに近いオブジェクトの前面に背景を透明に設定した文字ブロックを配置した場合にも、例として図１２(Ｃ)に示すように、フォント種やフォントサイズの相違により、処理対象の文字混在オブジェクトに混在している文字(列)に対して文字ブロックに表示されている文字(列)にずれが生じ、見栄えの悪化が生ずる。
【００６５】
このため、ステップ１２０,１２２の何れかの判定が肯定された場合はステップ１２４へ移行し、文字ボックスの配置位置を処理対象の文字混在オブジェクトの「背面」と判定し(図１２(Ｄ)も参照)、ステップ１２８へ移行する。また、ステップ１２０,１２２の判定が何れも否定された場合はステップ１２６へ移行し、文字ボックスの配置位置を処理対象の文字混在オブジェクトの「前面」と判定し、ステップ１２８へ移行する。なお、ステップ１１８〜ステップ１２２は請求項２に記載の判定手段による処理の一例である。
【００６６】
ステップ１２８では、読取文書から分離抽出された全ての文字混在オブジェクトに対してステップ９０以降の処理を行ったか否か判定する。判定が否定された場合はステップ９０に戻り、ステップ１２８の判定が肯定される迄ステップ９０〜ステップ１２８を繰り返す。これにより、読取文書から分離抽出された全ての文字混在オブジェクトに対して上記の前後判定が各々行われる。そして、読取文書から分離抽出された全ての文字混在オブジェクトに対して上記の前後判定を行うと、ステップ１２８の判定が肯定されて前後判定処理を終了する。
【００６７】
次に、文書ファイル生成処理について図４を参照して説明する。文書ファイル生成処理では、まずステップ１４０において、読取・ファイル化処理(図２)のステップ４２のオブジェクト分離処理で読取文書から分離抽出されたオブジェクトの中から、処理対象のオブジェクトとして単一のオブジェクトのデータを取り出す。ステップ１４２では、ステップ１４０でデータを取り出した処理対象のオブジェクトのデータに基づき、処理対象のオブジェクトを表し、処理対象のオブジェクトのオブジェクト種に応じたフォーマットのオブジェクトデータ(例えばオブジェクト種が「文字」であれば文字コードデータを含み文書処理ソフトで取扱可能な形式の文書データ、オブジェクト種が「写真」や「イラスト(ＣＧ)」であれば画像編集ソフトで取扱可能な形式の画像データ、オブジェクト種が「表」であれば表計算ソフト等で取扱可能な形式の表データ、オブジェクト種が「線画」であれば図形描画ソフト等で取扱可能な形式のベクトルデータ)を生成する。
【００６８】
次のステップ１４４では、処理対象のオブジェクトが文字混在オブジェクトか否か判定する。判定が否定された場合はステップ１６６へ移行するが、判定が肯定された場合はステップ１４６へ移行し、処理対象の文字混在オブジェクトに混在している文字に対する文字認識処理(図２のステップ４４)の処理結果を取得する。またステップ１４８では、処理対象の文字混在オブジェクトに混在している文字に対して行われた前後判定処理(図３)による判定結果(処理対象の文字混在オブジェクトと文字ボックスの何れを前面に配置するかを判定した結果：前後関係の判定結果)を取得する。
【００６９】
次のステップ１５０では、記憶部１６Ｃに記憶されている設定情報を参照し、参照した設定情報に文字ボックスの削除条件が設定されているか否か判定する。本実施形態では、文字混在オブジェクトに対し、或る削除条件(「文字ボックスを文字混在オブジェクトの前面に配置」「文字ボックスを文字混在オブジェクトの背面に隠蔽」「文字ボックスを文字混在オブジェクトの前面又は背面に配置」の何れか)を満たしたときに対応する文字ボックスを削除することを、利用者が事前に指示することが可能とされており、利用者によって前記指示が入力された場合は、利用者の指示が削除条件情報として設定情報に設定される。ステップ１５０の判定は、設定情報に削除条件情報が設定されているか否かを判断することによって成される。ステップ１５０の判定が否定された場合はステップ１５４へ移行するが、ステップ１５０の判定が肯定された場合はステップ１５２へ移行し、前後判定処理(図３)における処理対象の文字混在オブジェクトと文字ボックスの前後関係の判定結果が、削除条件情報に規定されている削除条件に合致しているか否か判定する。
【００７０】
ステップ１５２の判定が否定された場合はステップ１５４へ移行し、文字ブロックの文字色・背景色の情報として、前後判定処理(図３)における前後関係の判定結果に応じた文字色・背景色の情報を取得する。すなわち、本実施形態では、記憶部１６Ｃに記憶されている設定情報の中に、前後関係の判定結果が「背面(文字ボックスを文字混在オブジェクトの背面に隠蔽)」の場合の文字色・背景色を規定する文字色・背景色情報が含まれており(当該文字色・背景色情報は、初期値(デフォルト)として、文字色が黒、背景色が透明に設定されている)、前後判定処理(図３)における前後関係の判定結果が「背面」の場合、ステップ１５４では記憶部１６Ｃに記憶されている設定情報の中から上記の文字色・背景色情報を抽出する。なお、この文字色・背景色情報は請求項１１に記載の色指定情報の一例である。また、前後判定処理(図３)における前後関係の判定結果が「前面(文字ボックスを文字混在オブジェクトの前面に配置)」の場合、ステップ１５４では、処理対象の文字混在オブジェクトに混在している文字に対する文字認識処理(図２のステップ４４)で判別された文字色・背景色を取得する。上記のように、前後判定処理(図３)における前後関係の判定結果に応じて文字ボックスの文字色・背景色を切り替えることは、請求項１０に記載の生成手段による処理の一例である。
【００７１】
次のステップ１５６では、処理対象の文字混在オブジェクトに混在している文字に対する文字認識処理(図２のステップ４４)で判別された文字コードデータやフォント種、フォントサイズ、位置等の情報を取得し、取得した文字コードデータが表す文字(列)を、取得したフォント種・サイズ、ステップ１５４で取得した文字色で表示すると共に、背景領域をステップ１５４で取得した背景領域で着色した文字ボックスのデータを生成する。この文字ボックスのデータには、文字認識処理で判別された文字コードデータも含まれており、当該文字ボックスを含む文書がディスプレイ等に表示されている状態で、文字ボックスを選択する操作が行われた場合に、文字ボックスに表示されている文字(列)の文字コードデータを複写(コピー)することが可能になる(更にコピーした文字コードデータを貼り付ける(ペースト)も可能になる)と共に、文字(列)を検索する操作が行われた場合、文字ボックスに表示されている文字(列)も検索の対象となる。
【００７２】
ステップ１５８では、ステップ１５６で取得した処理対象の文字混在オブジェクト内の文字の位置を表す情報に基づき、ステップ１５６でデータを生成した文字ボックスの文書上での配置位置として、文字ボックスに表示される文字が処理対象のオブジェクトに混在している文字と重なる位置を設定する。またステップ１６０では、処理対象の文字混在オブジェクトとステップ１５６でデータを生成した文字ボックスとの前後関係を規定する情報を、前後判定処理(図３)における前後関係の判定結果に従って設定し、ステップ１６６へ移行する。
【００７３】
一方、先のステップ１５０,１５２の判定が各々肯定された場合(文字ボックスの削除条件が設定されており、かつ前後判定処理(図３)における前後関係の判定結果が削除条件に合致した場合)には、ステップ１５２からステップ１６２へ移行する。この場合、文字ボックス(のデータ)の生成は行われず、前述の文字ボックスを利用した文字コードデータのコピー／ペーストや文字の検索が不可となる。
【００７４】
このため、ステップ１６２では、処理対象の文字混在オブジェクトに混在している文字に対する文字認識処理(図２のステップ４４)で判別された文字コードデータを取得し、取得した文字コードデータを処理対象の文字混在オブジェクトのオブジェクトデータに属性情報として設定する。これにより、処理対象の文字混在オブジェクトを含む文書がディスプレイ等に表示されている状態で、文字混在オブジェクトの属性情報を表示させる操作が行われた場合、表示された属性情報を利用して、文字コードデータのコピー／ペーストを行うことが可能となる。なお、上記のステップ１６２は請求項１４に記載の属性設定手段による処理の一例である。
【００７５】
次のステップ１６４では、処理対象の文字混在オブジェクトのビットマップデータ等に基づいて、処理対象の文字混在オブジェクトに混在している状態での文字の領域を画像として表す文字画像データ(例えばpng等の形式の画像データ)を生成し、生成した文字画像データと処理対象の文字混在オブジェクトとの前後関係を、文字画像データが処理対象の文字混在オブジェクトの前面に表示されるように設定し、ステップ１６６へ以降する。この場合、処理対象の文字混在オブジェクトを含む文書がディスプレイ等に表示されている状態で、文字コードデータに代えて文字画像データを利用する(コピー／ペースト等)ことが可能となる。なお、png等の形式の文字画像データに代えて、文字をベクトル形式で表すベクトルデータを用いるようにしてもよい。
【００７６】
なお、上記のステップ１６４は請求項１３に記載の生成手段による処理の一例である。また、ステップ１５２の判定が肯定された場合にステップ１６２,１６４のみ行う(文字ボックスのデータの生成を行わない)ことは、請求項１２に記載の生成手段による処理の一例である。
【００７７】
ステップ１６６では、オブジェクト分離処理(図２のステップ４２)で読取文書から分離抽出された全てのオブジェクトに対して上記処理を行ったか否か判定する。判定が否定された場合はステップ１６６へ戻り、ステップ１６６の判定が肯定される迄ステップ１４０〜ステップ１６６を繰り返す。これにより、読取文書から分離抽出された全てのオブジェクトに対して少なくともオブジェクトデータの生成(ステップ１４２)が各々行われ、文字混在オブジェクトに対しては、更にステップ１４６以降の処理も各々行われる。ステップ１６６の判定が肯定されるとステップ１６８へ移行し、上記処理で生成した全データ(各オブジェクトのオブジェクトデータやステップ１５６で生成した文字ボックスのデータ、ステップ１６４で生成した文字画像データ)を含む文書ファイルを生成し、文書ファイル生成処理を終了する。
【００７８】
続いて、操作パネル２２の操作部２２Ｂを介し、前後判定処理で参照される判定基準情報や、文書ファイル生成処理で参照される設定情報の変更が利用者から指示された場合に実行される設定変更処理について、図５を参照して説明する。
【００７９】
この設定変更処理では、まずステップ６０において、利用者によって指定された変更対象が前後判定処理で参照される判定基準情報か否か判定する。この判定が肯定された場合はステップ６２へ移行し、判定基準情報に含まれる配置規定情報や判定閾値th1〜th8の変更を指示可能な判定基準変更画面を操作パネル２２の表示部２２Ａに表示させる。次のステップ６４では利用者による入力が完了したか否か判定し、判定が肯定される迄ステップ６４を繰り返す。利用者による入力が完了すると、ステップ６４の判定が肯定されてステップ６６へ移行し、判定基準情報を構成する各情報のうち、操作パネル２２の表示部２２Ａに表示させた判定基準変更画面を介して利用者から変更が指示された情報を、判定基準変更画面を介して利用者から指示された値(内容)へ変更し、設定変更処理を終了する。なお、上記のステップ６２〜ステップ６６は、請求項９に記載の第１変更手段による処理の一例である。
【００８０】
また、ステップ６０の判定が否定された場合はステップ６８へ移行し、利用者によって指定された変更対象が、文書ファイル生成処理で参照される設定情報に含まれる文字色・背景色情報か否か判定する。判定が肯定された場合はステップ７０へ移行し、文字色・背景色情報の変更を指示可能な文字色・背景色変更画面を操作パネル２２の表示部２２Ａに表示させる。次のステップ７２では利用者による入力が完了したか否か判定し、判定が肯定される迄ステップ７２を繰り返す。利用者による入力が完了すると、ステップ７２の判定が肯定されてステップ７４へ移行し、設定情報に含まれる文字色・背景色情報を、操作パネル２２の表示部２２Ａに表示させた文字色・背景色変更画面を介して利用者から指示された値(内容)へ変更し、設定変更処理を終了する。なお、上記のステップ７０〜ステップ７４は、請求項１１に記載の第２変更手段による処理の一例である。
【００８１】
また、ステップ６８の判定が否定された場合、利用者が文字ブロックに対する削除条件の設定を所望していると判断し、ステップ７６へ移行して、文字ブロックに対する削除条件の設定を指示可能な削除条件設定画面を操作パネル２２の表示部２２Ａに表示させる。次のステップ７８では利用者による削除条件の設定入力が完了したか否か判定し、判定が肯定される迄ステップ７８を繰り返す。利用者による設定入力が完了すると、ステップ７８の判定が肯定されてステップ８０へ移行し、設定情報に含まれる削除条件情報を、操作パネル２２の表示部２２Ａに表示させた削除条件設定画面を介して利用者から指示された内容へ変更し、設定変更処理を終了する。
【００８２】
また、上記では判定閾値th1〜th8を全て用いると共に、文字混在オブジェクトのオブジェクト種も用いて前後判定を行う態様を説明したが、本発明はこれに限定されるものではなく、判定閾値th1〜th8と文字混在オブジェクトのオブジェクト種の一部(少なくとも１つ)を用いて前後判定を行う態様も本発明の権利範囲に含まれることは言うまでもない。
【００８３】
また、上記では文字混在オブジェクトのオブジェクト種が文字ボックス隠蔽対象か否かに基づいて、判定閾値th1〜th8の値を切り替える態様を説明したが、本発明はこれに限定されるものではなく、上記でも述べたように、文字混在オブジェクトのオブジェクト種を単独で用い、文字混在オブジェクトと文字ボックスの何れを前面に配置するかを、文字混在オブジェクトのオブジェクト種に基づいて判定するようにしてもよい。この態様は請求項７記載の発明に対応している。
【００８４】
また、上記では本発明に係る文字ブロックとして矩形状の文字ボックスを例示したが、本発明はこれに限定されるものではなく、本発明に係る文字ブロックは矩形状以外の外形形状であってもよいことは言うまでもない。
【００８５】
また、上記では本発明に係る画像処理プログラムとしての読取・ファイル化プログラムが画像読取印刷装置１４の本体制御部１６の記憶部１６Ｃに予め記憶（インストール）されている態様を説明したが、本発明に係る画像処理プログラムは、ＣＤ−ＲＯＭやＤＶＤ−ＲＯＭ等の記録媒体に記録されている形態で提供することも可能である。また、上記では画像処理プログラムとしての読取・ファイル化プログラムが画像読取印刷装置１４の本体制御部１６の記憶部１６Ｃで実行される態様を説明したが、これに限定されるものではなく、端末装置２４等の他の電子機器で実行されるように構成してもよい。
【符号の説明】
【００８６】
１０ コンピュータ・システム
１４ 画像読取印刷装置
１６ 本体制御部
１８ 画像読取部
２２ 操作パネル
２４ 端末装置
【特許請求の範囲】
【請求項１】
文字が混在している構成要素を含む文書を画像として読み取ることで得られた画像データに基づき、前記構成要素に混在している前記文字に対して文字認識を行う文字認識手段と、
前記文書を表し、前記文字が混在している状態の前記構成要素を表す第１データと、前記文字認識手段によって認識された文字の文字コードデータを含み、当該文字コードデータが表す前記文字を表示する文字ブロックを表す第２データと、を含んだ文書データの生成にあたり、当該文書データが表す文書が表示される際に、前記第２データが表す文字ブロックを前記第１データが表す前記構成要素の背面に隠蔽させるか、前記第２データが表す文字ブロックを前記第１データが表す前記構成要素の前面に表示させるかを、前記構成要素のうち前記文字の周囲の背景領域の明度又は明度の分散、前記構成要素中の前記文字の文字数又は行数、前記構成要素のうち前記文字の領域の明度、前記文字認識手段による前記文字認識の確度、前記構成要素中の前記文字の大きさ、及び、前記構成要素の種別の少なくとも１つに基づいて判定する判定手段と、
前記判定手段による判定結果に従って、前記文書が表示される際の前記文字ブロックと前記構成要素との表示の前後関係を設定した前記文書データを生成する生成手段と、
を含む画像処理装置。
【請求項２】
前記判定手段は、前記構成要素のうち前記文字の周囲の背景領域の明度が第１閾値未満、又は、前記文字の周囲の背景領域の明度の分散が第２閾値以上の場合に、前記文字ブロックを前記構成要素の背面に隠蔽させると判定する請求項１記載の画像処理装置。
【請求項３】
前記判定手段は、前記構成要素中の前記文字の文字数が第３閾値以上、又は、前記構成要素中の前記文字の行数が第４閾値以上の場合に、前記文字ブロックを前記構成要素の背面に隠蔽させると判定する請求項１又は請求項２記載の画像処理装置。
【請求項４】
前記判定手段は、前記構成要素のうち前記文字の領域の明度が第５閾値以上の場合に、前記文字ブロックを前記構成要素の前面に表示させると判定する請求項１〜請求項３の何れか１項記載の画像処理装置。
【請求項５】
前記判定手段は、前記文字認識手段による前記文字認識の確度が第６閾値未満の場合に、前記文字ブロックを前記構成要素の背面に隠蔽させると判定する請求項１〜請求項４の何れか１項記載の画像処理装置。
【請求項６】
前記判定手段は、前記構成要素中の前記文字の大きさが第７閾値以上の場合に、前記文字ブロックを前記構成要素の背面に隠蔽させると判定する請求項１〜請求項５の何れか１項記載の画像処理装置。
【請求項７】
前記判定手段は、前記構成要素の種別が、前記文字ブロックを隠蔽させる種別として設定された種別である場合に、前記文字ブロックを前記構成要素の背面に隠蔽させると判定する請求項１〜請求項６の何れか１項記載の画像処理装置。
【請求項８】
前記判定手段は、前記構成要素中の前記文字の周囲の背景領域の明度又は明度の分散、前記構成要素中の前記文字の文字数又は行数、前記構成要素中の前記文字の領域の明度、前記文字認識手段による前記文字認識の確度、及び、前記構成要素中の前記文字の大きさの少なくとも１つを閾値と比較した結果に基づいて、前記文字ブロックを前記構成要素の背面に隠蔽させるか、前記文字ブロックを前記構成要素の前面に表示させるかを判定すると共に、前記構成要素の種別が前記文字ブロックを隠蔽させる種別として設定された種別である場合に、前記構成要素の種別が前記文字ブロックを隠蔽させる種別として設定された種別でない場合よりも、前記文字ブロックを前記構成要素の背面に隠蔽させると判定する確率が高くなるように前記閾値を予め変更する請求項１〜請求項６の何れか１項記載の画像処理装置。
【請求項９】
前記判定手段は、前記構成要素中の前記文字の周囲の背景領域の明度又は明度の分散、前記構成要素中の前記文字の文字数又は行数、前記構成要素中の前記文字の領域の明度、前記文字認識手段による前記文字認識の確度、前記構成要素中の前記文字の大きさ、及び、前記構成要素の種別の少なくとも１つを、記憶手段に記憶された閾値又は設定情報と比較し、比較結果に基づいて、前記文字ブロックを前記構成要素の背面に隠蔽させるか、前記文字ブロックを前記構成要素の前面に表示させるかを判定し、
利用者から指示手段を介して前記閾値又は前記設定情報の変更が指示された場合に、利用者からの指示に応じて、記憶手段に記憶された前記閾値又は前記設定情報を変更する第１変更手段を更に備えた請求項１〜請求項８の何れか１項記載の画像処理装置。
【請求項１０】
前記生成手段は、前記判定手段により前記文字ブロックを前記構成要素の背面に隠蔽させると判定された場合には、前記第２データとして、前記文字コードデータが表す前記文字及び前記文字の周囲の背景領域を予め指定された文字色、背景色で各々表示する文字ブロックを表すデータを生成し、前記判定手段により前記文字ブロックを前記構成要素の前面に表示させると判定された場合には、前記第２データとして、前記文字コードデータが表す前記文字及び前記文字の周囲の背景領域を、前記構成要素に混在している状態での前記文字の文字色又は前記背景領域の背景色と同一又は類似の色で各々表示する文字ブロックを表すデータを生成する請求項１〜請求項９の何れか１項記載の画像処理装置。
【請求項１１】
前記判定手段により前記文字ブロックを前記構成要素の背面に隠蔽させると判定された場合の前記文字ブロックの前記文字色及び前記背景色を指定する色指定情報が記憶手段に予め記憶されており、
前記判定手段により前記文字ブロックを前記構成要素の背面に隠蔽させると判定された場合の前記文字ブロックの前記文字色及び前記背景色の少なくとも一方の変更が指示手段を介して利用者から指示された場合に、利用者からの指示に応じて前記色指定情報を変更する第２変更手段を更に備えた請求項１０記載の画像処理装置。
【請求項１２】
利用者からの、前記判定手段による判定結果が特定の判定結果のときに、前記文書データからの前記第２データの除去を指示する除去指示情報の入力を受け付ける入力受付手段を更に備え、
前記生成手段は、前記入力受付手段によって前記除去指示情報の入力が受け付けされ、かつ前記判定手段による判定結果が前記除去指示情報に規定された特定の判定結果に合致した場合には、前記文書データとして前記第２データを除去したデータを生成する請求項１〜請求項１１の何れか１項記載の画像処理装置。
【請求項１３】
前記生成手段は、前記文書データとして前記第２データを除去したデータを生成する場合、前記構成要素に混在している状態での前記文字を画像として表す文字画像データを生成し、前記文書データとして、生成した前記文字画像データを含み、前記文書が表示される際に前記文字画像データが表す文字画像が前記構成要素の前面に表示されるように、前記文書が表示される際の前記文字画像と前記構成要素との表示の前後関係を設定したデータを生成する請求項１２記載の画像処理装置。
【請求項１４】
少なくとも前記第１データは、任意の情報を前記構成要素の属性情報として設定可能なフォーマットであり、
前記文字認識手段によって認識された文字の文字コードデータを前記構成要素の属性情報として前記第１データに設定する属性設定手段を更に備えた請求項１〜請求項１３の何れか１項記載の画像処理装置。
【請求項１５】
コンピュータを、
文字が混在している構成要素を含む文書を画像として読み取ることで得られた画像データに基づき、前記構成要素に混在している前記文字に対して文字認識を行う文字認識手段、
前記文書を表し、前記文字が混在している状態の前記構成要素を表す第１データと、前記文字認識手段による文字認識で認識された文字の文字コードデータを含み当該文字コードデータが表す前記文字を表示する文字ブロックを表す第２データと、を含んだ文書データの生成にあたり、当該文書データが表す文書が表示される際に、前記第２データが表す文字ブロックを前記第１データが表す前記構成要素の背面に隠蔽させるか、前記第２データが表す文字ブロックを前記第１データが表す前記構成要素の前面に表示させるかを、前記構成要素のうち前記文字の周囲の背景領域の明度又は明度の分散、前記構成要素中の前記文字の文字数又は行数、前記構成要素のうち前記文字の領域の明度、前記文字認識手段による前記文字認識の確度、前記構成要素中の前記文字の大きさ、及び、前記構成要素の種別の少なくとも１つに基づいて判定する判定手段、
及び、前記判定手段による判定結果に従って前記文書が表示される際の前記文字ブロックと前記構成要素との表示の前後関係を設定した前記文書データを生成する生成手段
として機能させるための画像処理プログラム。
【請求項１】
文字が混在している構成要素を含む文書を画像として読み取ることで得られた画像データに基づき、前記構成要素に混在している前記文字に対して文字認識を行う文字認識手段と、
前記文書を表し、前記文字が混在している状態の前記構成要素を表す第１データと、前記文字認識手段によって認識された文字の文字コードデータを含み、当該文字コードデータが表す前記文字を表示する文字ブロックを表す第２データと、を含んだ文書データの生成にあたり、当該文書データが表す文書が表示される際に、前記第２データが表す文字ブロックを前記第１データが表す前記構成要素の背面に隠蔽させるか、前記第２データが表す文字ブロックを前記第１データが表す前記構成要素の前面に表示させるかを、前記構成要素のうち前記文字の周囲の背景領域の明度又は明度の分散、前記構成要素中の前記文字の文字数又は行数、前記構成要素のうち前記文字の領域の明度、前記文字認識手段による前記文字認識の確度、前記構成要素中の前記文字の大きさ、及び、前記構成要素の種別の少なくとも１つに基づいて判定する判定手段と、
前記判定手段による判定結果に従って、前記文書が表示される際の前記文字ブロックと前記構成要素との表示の前後関係を設定した前記文書データを生成する生成手段と、
を含む画像処理装置。
【請求項２】
前記判定手段は、前記構成要素のうち前記文字の周囲の背景領域の明度が第１閾値未満、又は、前記文字の周囲の背景領域の明度の分散が第２閾値以上の場合に、前記文字ブロックを前記構成要素の背面に隠蔽させると判定する請求項１記載の画像処理装置。
【請求項３】
前記判定手段は、前記構成要素中の前記文字の文字数が第３閾値以上、又は、前記構成要素中の前記文字の行数が第４閾値以上の場合に、前記文字ブロックを前記構成要素の背面に隠蔽させると判定する請求項１又は請求項２記載の画像処理装置。
【請求項４】
前記判定手段は、前記構成要素のうち前記文字の領域の明度が第５閾値以上の場合に、前記文字ブロックを前記構成要素の前面に表示させると判定する請求項１〜請求項３の何れか１項記載の画像処理装置。
【請求項５】
前記判定手段は、前記文字認識手段による前記文字認識の確度が第６閾値未満の場合に、前記文字ブロックを前記構成要素の背面に隠蔽させると判定する請求項１〜請求項４の何れか１項記載の画像処理装置。
【請求項６】
前記判定手段は、前記構成要素中の前記文字の大きさが第７閾値以上の場合に、前記文字ブロックを前記構成要素の背面に隠蔽させると判定する請求項１〜請求項５の何れか１項記載の画像処理装置。
【請求項７】
前記判定手段は、前記構成要素の種別が、前記文字ブロックを隠蔽させる種別として設定された種別である場合に、前記文字ブロックを前記構成要素の背面に隠蔽させると判定する請求項１〜請求項６の何れか１項記載の画像処理装置。
【請求項８】
前記判定手段は、前記構成要素中の前記文字の周囲の背景領域の明度又は明度の分散、前記構成要素中の前記文字の文字数又は行数、前記構成要素中の前記文字の領域の明度、前記文字認識手段による前記文字認識の確度、及び、前記構成要素中の前記文字の大きさの少なくとも１つを閾値と比較した結果に基づいて、前記文字ブロックを前記構成要素の背面に隠蔽させるか、前記文字ブロックを前記構成要素の前面に表示させるかを判定すると共に、前記構成要素の種別が前記文字ブロックを隠蔽させる種別として設定された種別である場合に、前記構成要素の種別が前記文字ブロックを隠蔽させる種別として設定された種別でない場合よりも、前記文字ブロックを前記構成要素の背面に隠蔽させると判定する確率が高くなるように前記閾値を予め変更する請求項１〜請求項６の何れか１項記載の画像処理装置。
【請求項９】
前記判定手段は、前記構成要素中の前記文字の周囲の背景領域の明度又は明度の分散、前記構成要素中の前記文字の文字数又は行数、前記構成要素中の前記文字の領域の明度、前記文字認識手段による前記文字認識の確度、前記構成要素中の前記文字の大きさ、及び、前記構成要素の種別の少なくとも１つを、記憶手段に記憶された閾値又は設定情報と比較し、比較結果に基づいて、前記文字ブロックを前記構成要素の背面に隠蔽させるか、前記文字ブロックを前記構成要素の前面に表示させるかを判定し、
利用者から指示手段を介して前記閾値又は前記設定情報の変更が指示された場合に、利用者からの指示に応じて、記憶手段に記憶された前記閾値又は前記設定情報を変更する第１変更手段を更に備えた請求項１〜請求項８の何れか１項記載の画像処理装置。
【請求項１０】
前記生成手段は、前記判定手段により前記文字ブロックを前記構成要素の背面に隠蔽させると判定された場合には、前記第２データとして、前記文字コードデータが表す前記文字及び前記文字の周囲の背景領域を予め指定された文字色、背景色で各々表示する文字ブロックを表すデータを生成し、前記判定手段により前記文字ブロックを前記構成要素の前面に表示させると判定された場合には、前記第２データとして、前記文字コードデータが表す前記文字及び前記文字の周囲の背景領域を、前記構成要素に混在している状態での前記文字の文字色又は前記背景領域の背景色と同一又は類似の色で各々表示する文字ブロックを表すデータを生成する請求項１〜請求項９の何れか１項記載の画像処理装置。
【請求項１１】
前記判定手段により前記文字ブロックを前記構成要素の背面に隠蔽させると判定された場合の前記文字ブロックの前記文字色及び前記背景色を指定する色指定情報が記憶手段に予め記憶されており、
前記判定手段により前記文字ブロックを前記構成要素の背面に隠蔽させると判定された場合の前記文字ブロックの前記文字色及び前記背景色の少なくとも一方の変更が指示手段を介して利用者から指示された場合に、利用者からの指示に応じて前記色指定情報を変更する第２変更手段を更に備えた請求項１０記載の画像処理装置。
【請求項１２】
利用者からの、前記判定手段による判定結果が特定の判定結果のときに、前記文書データからの前記第２データの除去を指示する除去指示情報の入力を受け付ける入力受付手段を更に備え、
前記生成手段は、前記入力受付手段によって前記除去指示情報の入力が受け付けされ、かつ前記判定手段による判定結果が前記除去指示情報に規定された特定の判定結果に合致した場合には、前記文書データとして前記第２データを除去したデータを生成する請求項１〜請求項１１の何れか１項記載の画像処理装置。
【請求項１３】
前記生成手段は、前記文書データとして前記第２データを除去したデータを生成する場合、前記構成要素に混在している状態での前記文字を画像として表す文字画像データを生成し、前記文書データとして、生成した前記文字画像データを含み、前記文書が表示される際に前記文字画像データが表す文字画像が前記構成要素の前面に表示されるように、前記文書が表示される際の前記文字画像と前記構成要素との表示の前後関係を設定したデータを生成する請求項１２記載の画像処理装置。
【請求項１４】
少なくとも前記第１データは、任意の情報を前記構成要素の属性情報として設定可能なフォーマットであり、
前記文字認識手段によって認識された文字の文字コードデータを前記構成要素の属性情報として前記第１データに設定する属性設定手段を更に備えた請求項１〜請求項１３の何れか１項記載の画像処理装置。
【請求項１５】
コンピュータを、
文字が混在している構成要素を含む文書を画像として読み取ることで得られた画像データに基づき、前記構成要素に混在している前記文字に対して文字認識を行う文字認識手段、
前記文書を表し、前記文字が混在している状態の前記構成要素を表す第１データと、前記文字認識手段による文字認識で認識された文字の文字コードデータを含み当該文字コードデータが表す前記文字を表示する文字ブロックを表す第２データと、を含んだ文書データの生成にあたり、当該文書データが表す文書が表示される際に、前記第２データが表す文字ブロックを前記第１データが表す前記構成要素の背面に隠蔽させるか、前記第２データが表す文字ブロックを前記第１データが表す前記構成要素の前面に表示させるかを、前記構成要素のうち前記文字の周囲の背景領域の明度又は明度の分散、前記構成要素中の前記文字の文字数又は行数、前記構成要素のうち前記文字の領域の明度、前記文字認識手段による前記文字認識の確度、前記構成要素中の前記文字の大きさ、及び、前記構成要素の種別の少なくとも１つに基づいて判定する判定手段、
及び、前記判定手段による判定結果に従って前記文書が表示される際の前記文字ブロックと前記構成要素との表示の前後関係を設定した前記文書データを生成する生成手段
として機能させるための画像処理プログラム。
【図１】
【図２】
【図３】
【図４】
【図５】
【図７】
【図１２】
【図６】
【図８】
【図９】
【図１０】
【図１１】
【図２】
【図３】
【図４】
【図５】
【図７】
【図１２】
【図６】
【図８】
【図９】
【図１０】
【図１１】
【公開番号】特開２０１２−４４２５７（Ｐ２０１２−４４２５７Ａ）
【公開日】平成２４年３月１日（２０１２．３．１）
【国際特許分類】
【出願番号】特願２０１０−１８０９８４（Ｐ２０１０−１８０９８４）
【出願日】平成２２年８月１２日（２０１０．８．１２）
【出願人】（０００００５４９６）富士ゼロックス株式会社 (21,908)
【Ｆターム（参考）】
【公開日】平成２４年３月１日（２０１２．３．１）
【国際特許分類】
【出願日】平成２２年８月１２日（２０１０．８．１２）
【出願人】（０００００５４９６）富士ゼロックス株式会社 (21,908)
【Ｆターム（参考）】
[ Back to top ]