画像処理装置、画像処理方法、プログラムおよび記憶媒体
【課題】本発明の課題は、電子ファイルの高圧縮性と高画質性とを両立させて、電子ファイルの利便性を高めることである。
【解決手段】上記課題を解決するために、本発明に係る画像処理装置は、入力画像を領域解析し、領域解析の結果に基づいて、文字領域ベクトル化手段による処理と図画領域ベクトル化手段による処理とのいずれを先に行うかを決定する。このとき、文字領域の文字の画素が図画領域の図画に重なっていると判断した場合、前記図画領域ベクトル化手段による処理を先に行うように制御し、重なっていないと判断した場合、前記文字領域ベクトル化手段による処理を先に行うように制御する。
【解決手段】上記課題を解決するために、本発明に係る画像処理装置は、入力画像を領域解析し、領域解析の結果に基づいて、文字領域ベクトル化手段による処理と図画領域ベクトル化手段による処理とのいずれを先に行うかを決定する。このとき、文字領域の文字の画素が図画領域の図画に重なっていると判断した場合、前記図画領域ベクトル化手段による処理を先に行うように制御し、重なっていないと判断した場合、前記文字領域ベクトル化手段による処理を先に行うように制御する。
【発明の詳細な説明】
【技術分野】
【０００１】
本発明は、紙文書を電子化する画像処理装置、画像処理方法、プログラムおよび記憶媒体に関する。
【背景技術】
【０００２】
近年、情報の電子化が進み、紙の文書をそのまま保存するのではなく、スキャナにより紙の文書をスキャンして電子化し、電子ファイルとして保存し、その電子ファイルを他の装置に送信するシステムが普及している。
【０００３】
このように電子ファイルを他装置に送信するシステムでは、送信コストを削減するため、文書を電子化して得られた電子ファイルには、高圧縮性が要求される。
【０００４】
また、電子ファイルには、電子ファイルを部分的に編集できる再利用性と、電子ファイルを拡大しても縮小しても画質が落ちない高画質性とが要求される。
【０００５】
ところが、電子ファイルに文字領域や図画領域（写真などの領域）が混在する場合には、以下のような問題がある。すなわち、電子ファイルの文字領域に適した圧縮（ＭＭＲ圧縮などの可逆圧縮）を行うと、文字領域の画質が良好となるが、電子ファイルの圧縮率が低くなる。また、電子ファイルの図画領域に適した圧縮（ＪＰＥＧ圧縮などの非可逆圧縮）を行うと、電子ファイルの圧縮率が高くなるが、文字が劣化してしまう。
【０００６】
そこで、以下のような手法が特許文献１に開示されている。特許文献１に係る手法では、電子ファイルが文字領域や線画領域、図画領域等に分離され、文字領域や線画領域がベクトルデータに変換される。そして、容易にはベクトル化（ベクトルデータへの変換）で再現できない領域等がＪＰＥＧで圧縮され、各領域の圧縮結果が合成して出力される。
【先行技術文献】
【特許文献】
【０００７】
【特許文献１】特開２００７−２７２６０１号公報
【特許文献２】国際特許公開ＷＯ２００６／０６６３２５号公報
【特許文献３】特開２００６−３４４０６９号公報
【発明の概要】
【発明が解決しようとする課題】
【０００８】
しかしながら、電子ファイルの文字領域のベクトル化が常に行われると、電子ファイルの図画領域内に文字領域があった場合にも、文字領域のベクトル化が行われてしまう。そして、文字領域のベクトル化が行われた部分に関して、文字領域の背景となる図画領域の圧縮率を高めるために穴埋め処理が行われる。このため、図画領域の画質が落ちてしまう場合がある。
【０００９】
また、特許文献１に係る手法では、領域の分離処理が行われるときに、各領域を矩形で定義することにより、領域の切り出しが簡単に行えるようになっている。しかし、矩形で切り出して処理を行う場合に、図画領域が文字領域を含んでしまう場合がある。このような場合、図画領域をベクトル化して得られたベクトルデータが劣化する場合がある。これは、文字領域をベクトルデータに変換する処理と、図画領域をベクトルデータに変換する処理とでは変換処理の方法が異なるためである。
【００１０】
上記の課題に関して、図１９を用いて説明を行う。図１９（ａ）は、入力画像から切り出された矩形の図画領域を示している。図１９（ｂ）は、図１９（ａ）の図画領域に含まれる文字領域がベクトルデータに変換された後の状態を示している。図１９（ｂ）では、穴埋め処理された図画領域の上にベクトルデータに変換された文字領域が重ねて表示されている。図１９（ｃ）は、図１９（ｂ）の図画領域から文字領域を含まない図画領域のみを取り出したもので、ベクトルデータに変換された文字領域の部分は、例えば文字領域の近傍画素の平均値等で穴埋め処理されているものとする。このとき図画領域の画質が劣化する場合がある。例えば、文字領域近傍の背景に柄があるような場合、穴埋めされた部分はその周辺との差異が顕著になりやすく、画質が劣化しやすくなる。図１９（ｄ）は、図１９（ａ）から取り出した文字領域をベクトルデータに変換したものであり、図１９（ｂ）の文字領域に相当するものである。図１９（ｃ）に示されているように、図画領域内の文字領域を穴埋め処理すると、図画領域の画質が劣化してしまう場合がある。
【００１１】
本発明は、上記のような問題点を鑑みなされたものであり、文字領域および図画領域を含んだ電子ファイルの高圧縮性と高画質性とを両立させることを目的とする。
【課題を解決するための手段】
【００１２】
上記課題を解決するために、本発明に係る画像処理装置は、入力画像を領域解析する領域解析手段と、文字領域のベクトル化を行う文字領域ベクトル化手段と、図画領域のベクトル化を行う図画領域ベクトル化手段と、前記領域解析手段による領域解析の結果に基づいて、前記文字領域ベクトル化手段による処理と前記図画領域ベクトル化手段による処理とのいずれを先に行うかを決定する決定手段と、を備える画像処理装置であって、前記決定手段は、前記文字領域の文字の画素が前記図画領域の図画に重なっていると判断した場合、前記図画領域ベクトル化手段による処理を先に行うように制御し、重なっていないと判断した場合、前記文字領域ベクトル化手段による処理を先に行うように制御することを特徴とする。
【発明の効果】
【００１３】
本発明によれば、電子ファイルの高圧縮性と高画質性とを両立させて、電子ファイルの利便性を高めることができる。
【図面の簡単な説明】
【００１４】
【図１】本発明に係る画像処理装置を示すブロック図である。
【図２】図１のＭＦＰ１００の詳細を示すブロック図である。
【図３】実施形態１に係る処理を実行する構成を説明するためのブロック図である。
【図４】ベクトル化を説明する図である。
【図５】太さをもった線に対するベクトル化を説明する図である。
【図６】図画領域に対する処理を決定するためのフロー図である。
【図７】図画領域ベクトル化処理を説明するブロックフロー図である。
【図８】図画領域穴埋め処理を説明するフロー図である。
【図９】ページ描画情報生成処理で生成されたデータの一例を示す図である。
【図１０】ＸＭＬフォーマットに従って作られた電子ファイルの一例を示す図である。
【図１１】図画領域を含んでいる画像の一例を示す図である。
【図１２】画像を示す図である。
【図１３】木構造を示す図である。
【図１４】領域解析の結果の一例を示す図である。
【図１５】領域解析の結果の一例を示す図である。
【図１６】処理方法決定部３０５が実行するフローチャートである。
【図１７】実施形態２に係る処理を実行する構成を説明するためのブロック図である。
【図１８】処理方法決定部３０５が実行するフローチャートである。
【図１９】課題の一例を示す図である。
【図２０】効果の一例を示す図である。
【発明を実施するための形態】
【００１５】
＜実施形態１＞
以下、図面を参照して実施形態１を詳細に説明する。
【００１６】
図１は、本発明に係る画像処理装置を示すブロック図である。図１に示されているように、オフィス１０とオフィス２０とがインターネット１０４で接続されている。
【００１７】
オフィス１０内に構築されたＬＡＮ１０７には、ＭＦＰ（複合機）１００、ＭＦＰ１００を制御するマネージメントＰＣ１０１、ローカルＰＣ１０２ａ、文書管理サーバ１０６ａ、文書管理サーバ１０６ａのためのデータベース１０５ａが接続されている。
【００１８】
オフィス２０内に構築されたＬＡＮ１０８には、文書管理サーバ１０６ｂ、および文書管理サーバ１０６ｂのためのデータベース１０５ｂが接続されている。
【００１９】
ＬＡＮ１０７にはプロキシサーバ１０３ａが接続され、ＬＡＮ１０７は、プロキシサーバ１０３ａを介してインターネット１０４に接続される。
【００２０】
ＬＡＮ１０８にはプロキシサーバ１０３ｂが接続され、ＬＡＮ１０８はプロキシサーバ１０３ｂを介してインターネット１０４に接続される。
【００２１】
ＭＦＰ１００は、紙の文書を読み取り、画像処理を行い、画像処理結果を、ＬＡＮ１０９を経由してマネージメントＰＣ１０１に送信したり、ＬＡＮ１０７を経由してローカルＰＣ１０２ａ、又は不図示の汎用ＰＣに送信したりする機能を有する。また、ＭＦＰ１００は、ローカルＰＣ１０２ａ、又は不図示の汎用ＰＣから送信されるＰａｇｅ Ｄｉｓｃｒｉｐｔｉｏｎ Ｌａｎｇｕａｇｅ（ＰＤＬ）を解釈して、印刷出力する機能も有する。さらに、ＭＦＰ１００は、紙の文書を読み取り、複写用の画像処理を行って印刷出力するコピー機能を有してもよい。
【００２２】
マネージメントＰＣ１０１は、通常のコンピュータである。なお、本実施形態では、マネージメントＰＣ１０１を介してデータベース１０５ａにおいて、後述する登録処理などの処理が実行されるものとするが、マネージメントＰＣ１０１で行われる処理が、ＭＦＰ１００で実行されても良い。
【００２３】
さらに、図１に示されているように、ＭＦＰ１００は、ＬＡＮ１０９によってマネージメントＰＣ１０１に直接接続されている。
【００２４】
図２は、図１のＭＦＰ１００の詳細を示すブロック図である。
【００２５】
図２において、ＭＦＰ１００は、不図示のAuto Document Feeder（ADF）を有する画像読み取り部１１０を有する。画像読み取り部１１０は、原稿を光源で照射し、反射画像をレンズで固体撮像素子上に結像する。固体撮像素子は、所定解像度（例えば６００ｄｐｉ）および所定輝度レベル（例えば８ビット）の画像読み取り信号を生成し、画像読み取り信号からラスターデータよりなる画像が生成される。
【００２６】
ＭＦＰ１００は、さらに、記憶装置（ＢＯＸ）１１１および記録装置１１２を有し、通常の複写機能を実行する際には、画像をデータ処理装置１１５によって、複写用に画像処理して記録信号に変換する。ＭＦＰ１００が、複数枚複写する場合には、１頁分の記録信号を一旦ＢＯＸ１１１に記憶保持した後、記録装置１１２に順次出力して、記録紙上に記録画像を形成する。
【００２７】
ＭＦＰ１００は、さらに、図１のＬＡＮ１０７との接続のためのネットワークＩ／Ｆ（インターフェース）１１４を有する。ＭＦＰ１００は、ネットワークＩ／Ｆ１１４を経由して、ローカルＰＣ１０２ａ、又は他の不図示の汎用ＰＣのドライバーを利用して、ＭＦＰ１００が出力するＰＤＬデータを、記録装置１１２に記録できる。ローカルＰＣ１０２ａのドライバーを経由して出力されるＰＤＬデータは、ＬＡＮ１０７からネットワークＩ／Ｆ１１４を経てデータ処理装置１１５で、記録可能な記録信号に変換される。その後、ＭＦＰ１００において、記録紙上に記録信号が記録される。
【００２８】
ＢＯＸ１１１は、画像読み取り部１１０からのデータやローカルＰＣ１０２ａからドライバーを経由して出力されるＰＤＬデータをレンダリングしたデータを、保存できる。
【００２９】
ＭＦＰ１００は、ＭＦＰ１００に設けられたキー操作部（入力装置１１３）、あるいはマネージメントＰＣ１０１の入力装置（キーボード、ポインティングデバイス等）を通じて操作される。データ処理装置１１５ は、これらの操作のための制御を実行する。
【００３０】
ＭＦＰ１００は、さらに表示装置１１６を有し、これらの操作による入力の状態と、処理すべき画像とを、表示装置１１６によって表示する。
【００３１】
マネージメントＰＣ１０１は、ネットワークＩ／Ｆ１１７を介して、ＢＯＸ１１１を直接制御することができる。ＬＡＮ１０９は、ＭＦＰ１００と、マネージメントＰＣ１０１との間のデータの授受、制御信号授受に用いられる。
【００３２】
図２に示されているように、データ処理装置１１５には、画像読み取り部１１０、記憶装置１１１および記録装置１１２が接続されている。また、データ処理装置１１５には、表示装置１１６、ネットワークＩ／Ｆ１１４、ネットワークＩ／Ｆ１１７および入力装置１１３が接続されている。
【００３３】
図３は、実施形態１に係る処理を実行するＭＦＰ１００の有する構成を説明するためのブロック図である。
【００３４】
以下で、図３に示されている構成について、詳細に説明する。
【００３５】
まず、入力画像処理部３０２は、画像入力を受け付ける。そして、入力画像処理部３０２には、画像が入力される。そして、入力画像処理部３０２は、入力画像に対して、入力画像に応じた周知の画像処理を行う。ここで、周知の画像処理は、例えば、色変換やフィルタ処理などであり、色変換やフィルタ処理以外の他の画像処理でも良い。
【００３６】
領域解析部３０３は、入力画像処理部３０２から、画像処理後の画像を受け取り、この画像に対して領域解析を実行し、画像中の文字領域、図画領域等を判別し、複数の領域に分割する。ここで、領域解析部３０３は、例えば、特許文献２に開示されているような公知のカラー画像を領域分割する技術を用いても良い。
【００３７】
そして、領域解析部３０３は、カラー連結成分、文字、線画、写真、表、枠、ページ背景などの属性情報と位置情報をもち、領域同士の関係が木構造で表される領域情報を生成する。ここで、画像内の領域ごとの画像処理結果も領域情報に記録される。
【００３８】
処理方法決定部３０５は、前述した領域の木構造の状態に基づいて、画像処理の処理方法を決定する。処理方法決定部３０５が実行する処理の詳細に関しては、後述する。
【００３９】
文字領域ベクトル化処理部３０６は、入力画像処理部３０２から受け取った画像を、輝度情報のＹのみを取り出したグレースケール、解像度６００ｄｐｉに変換する。そして、文字領域ベクトル化処理部３０６は、文字領域ベクトル化処理用の画像（文字領域ベクトル化処理用画像）を生成し、文字領域ベクトル化処理を実行する。
【００４０】
以下で、文字領域ベクトル化処理について詳細を説明する。
【００４１】
まず、文字領域の２値化処理を行い、２値画像を生成する。領域解析部３０３により生成された領域情報から、文字領域内の黒画素の連結成分（黒画素塊）が取り出され、まず、黒画素連結成分の外側の輪郭（外輪郭）がベクトルデータに変換される。
【００４２】
具体的には、まず、文字領域の連結成分を直線および／または曲線の組み合わせにより表現するために、輪郭線を複数の区間（画素列）に区切る「角」が検出される。ここで、「角」とは、曲率が極大となる点である。例えば、図４の曲線上の画素Ｐｉが、角か否かの判断は以下のように行われる。
【００４３】
まず、Ｐｉを起点とし、曲線に沿ってＰｉから両方向に所定画素（例えば、ｋ個の画素）ずつ離れた画素Ｐｉ−ｋ、Ｐｉ＋ｋを線分Ｌで結ぶ。次に、画素Ｐｉ−ｋ、Ｐｉ＋k間の距離をｄ１、線分Ｌと画素Ｐｉとの距離をｄ２、曲線の画素Ｐｉ−ｋ、Ｐｉ＋ｋ間の弧の長さをＡとする。そして、ｄ２が極大となるとき、あるいは比（ｄ１／Ａ）が閾値以下となるときに画素Ｐｉが角と判断される。
【００４４】
角によって分割された画素列は、直線あるいは曲線で近似される。直線への近似は最小二乗法等により実行され、曲線への近似は３次スプライン関数などが用いられる。ここで、画素列を分割する角の画素は近似直線あるいは近似直線における、始端または終端となる。
【００４５】
連結成分の外輪郭をベクトル化した後、更に、ベクトル化された輪郭内に白画素塊の内輪郭が存在するか否かが判断される。そして、内輪郭が存在すると判断されたときはその輪郭がベクトル化され、内部の輪郭に基づくベクトルデータが得られる。更に、内輪郭の内輪郭というように、再帰的に反転画素の内輪郭がベクトル化される。
【００４６】
以上のように、連結成分の輪郭の区分線近似を用いて、文字領域のアウトラインがベクトル化される。なお、このとき黒画素塊の位置に対応する入力画像上の画素値に基づいて、文字の色情報（文字色）を取得する。また、線画も同様の手法でベクトルデータへ変換することが可能である。
【００４７】
また、図５に示されているように、ある注目区間で外輪郭ＰＲｊと、内輪郭ＰＲｊ＋１あるいは別の外輪郭が近接している場合、２個あるいは複数の輪郭線をひとまとめにし、太さを持った線として表現することができる。例えば、輪郭ＰＲｊ＋１の各画素Ｐｉから輪郭ＰＲｊ上で最短距離となる画素Ｑｉまでの距離ＰｉＱｉを算出し、ＰＱｉのばらつきがわずかである場合には、注目区間を画素Ｐｉ、Ｑｉの中点Ｍｉの点列に沿った直線または曲線で近似し得る。このとき、近似直線、近似曲線の太さを、例えば距離ＰＱｉの平均値とすることができる。
【００４８】
また、線や線の集合体である表罫線は、太さを持つ線の集合とすることにより、効率よくベクトル化される。
【００４９】
このようにして変換されたベクトルデータと連結成分の色情報を合わせた文字ベクトルが領域情報に記録される。
【００５０】
また、文字領域について、文字領域ベクトル化処理部３０６は、文字領域穴埋め処理を実行する。
【００５１】
本実施形態では、文字領域穴埋め処理として、文字領域を文字領域の周囲の画素の平均色で塗る公知の方法が用いられる。以下で、文字領域穴埋め処理について説明する。
【００５２】
まず、領域情報から文字領域の画素連結成分が取り出され、文字領域穴埋めメモリに画像として展開される。次に、文字領域穴埋めメモリに展開された画像の画素位置と、図画領域ベクトル化処理用画像の位置とが重ね合わされて、図画領域ベクトル化処理用画像における文字領域が特定される。
【００５３】
次に、図画領域ベクトル化処理用画像における文字領域の周辺画素の平均色が算出される。
【００５４】
最後に、図画領域ベクトル化処理用画像における文字領域が当該算出した平均色で塗りつぶされる。これにより、文字領域が、周辺の背景色で塗りつぶされた、文字がない図画領域ベクトル化処理用画像が生成される。
【００５５】
図画領域ベクトル化処理部３０８が、上記の図画領域ベクトル化処理用画像を生成する。図画領域を処理する際には色の情報が重要となるので、図画領域ベクトル化処理用画像には、カラーで中解像度の画像が適している。
【００５６】
図画領域ベクトル化処理部３０８は、入力画像を、Ｙ：Ｃｒ：Ｃｂ＝４：１：１の形式で解像度３００ｄｐｉに変換し、図画領域ベクトル化処理用画像を生成し、その図画領域をベクトル化する。
【００５７】
図画領域のベクトル化の処理について、図６を参照して以下で説明する。
【００５８】
まず、図６のステップＳ７０１で、図画領域ベクトル化処理部３０８は、図画領域の領域情報を基に、該当する領域の図画領域ベクトル化処理用画像がベクトル化処理可能かを判定する。
【００５９】
ステップＳ７０１で、ベクトル化処理が可能であると判定された場合には、ステップＳ７０２へ処理が進む。ステップＳ７０１で、ベクトル化処理が可能ではないと判定された場合には、ステップＳ７０３へ処理が進む。
【００６０】
具体的には、例えば、ステップＳ７０１では、図画領域の領域情報の属性が参照され、当該属性が、線画、クリップアート（色数（例えば３２色）が限られたイラスト）、表であればベクトル化処理が可能であると判断されても良い。
【００６１】
また、例えば、ステップＳ７０１では、ベクトル化の計算量と処理速度を考慮して、色量子化結果が過分割と判断された図画領域の面積が一定値以上である場合に、ベクトル化処理が可能ではないと判定されても良い。
【００６２】
ステップＳ７０２では図画領域ベクトル化処理が行われる。ステップＳ７０２で実行される図画領域ベクトル化処理の一例として、特許文献３に開示されている処理を、図７を用いて以下で説明する。
【００６３】
図７のステップＳ７０２１〜Ｓ７０２４は、図６のステップＳ７０２で実行される図画領域ベクトル化処理の詳細な処理を示している。
【００６４】
まず、ステップＳ７０２１で、複数の色成分のうちの少なくとも１つ以上の色成分の解像度が粗い画像が、入力画像のもつ解像度と等しい解像度の画像に戻される。
【００６５】
本実施形態では、一例として、図画領域ベクトル化処理用画像２０４は、Ｙ：Ｃｂ：Ｃｒ＝４：１：１の画像であり、これが、ステップＳ７０２１において、高解像度なＲＧＢ画像２１２に変換される。
【００６６】
次に、ステップＳ７０２２で、図画領域にある各画素が、色の特徴に基づき、複数の領域に分割される。
【００６７】
次に、ステップＳ７０２３で、ステップＳ７０２２における図画領域の分割結果に基づいて、図画領域の背景部分と背景色が同定される。
【００６８】
次に、ステップＳ７０２４で、ステップ７０２３で実行された処理による同定結果に基づき、図画領域のうち背景以外の部分がベクトル化され、図画領域ベクトル２０７が生成される。
【００６９】
図７の中間情報２１５には、ステップＳ７０２２とステップＳ７０２３との処理の途中で生成される各種の情報が保持されている。例えば、中間情報２１５には、ステップＳ７０２３の同定処理の結果得られる図画領域の背景領域情報２１４が含まれる。また、例えば、中間情報２１５には、ステップＳ７０２３の同定処理の結果得られる図画領域の背景色２１３が含まれる。
【００７０】
なお、中間情報２１５には、背景領域情報２１４と図画領域の背景色２１３以外の情報が含まれても良い。
【００７１】
背景領域情報２１４および図画領域の背景色２１３は、後述する図８に示されている図画領域穴うめ処理Ｓ８０で使用される。図画領域穴うめ処理では、後述するように、図画領域のうち、図画ベクトル化された領域に相当する個所が穴埋め処理される。
【００７２】
一方、図６のステップＳ７０３では、画像切り出し処理が実行される。すなわち、ステップＳ７０３では、図画領域ベクトル化処理用画像２０４から、矩形画像が切り出される。
【００７３】
ステップＳ７０２４で生成された図画領域ベクトル２０７と、ステップＳ７０３で切り出された矩形画像は、領域情報として、記憶装置１１１に記録される。
【００７４】
以下、図画領域がベクトル化された場合の穴埋め処理Ｓ８０の詳細について、図８、１１を主に参照して説明する。
【００７５】
図１１（ａ）は、一例として、図画領域を含んでいる画像１１００を表している。
【００７６】
図１１（ｂ）は、ベクトル化の対象として抽出された図画領域を含むオブジェクト外接矩形８１を表している。また、背景領域８３は、図画領域を色の類似度により複数の領域に領域分割した結果から同定された背景領域である。
【００７７】
図１１（ａ），（ｂ）において、図画領域内背景８２は、図画領域内の背景を示している。
【００７８】
図１１（ｃ）は、図画領域における、背景領域８３以外のオブジェクト８７のみを示す図である。図１１（ｃ）において、境界部１（８５）は、オブジェクト８７と画像１１００の下地８４との境界である。また、図１１（ｃ）において、境界部２（８６）は、オブジェクト８７と背景領域８３との境界である。
【００７９】
図８は、図画領域穴埋め処理のフローチャートを示す図である。以下、図８について詳細に説明する。例えば、図８に示されている穴埋め処理を、図１１に一例として示されている図画領域を含んでいる画像１１００に適用することができる。
【００８０】
まず図８の、ステップＳ８０００で、初期化の処理が行われる。ステップＳ８０００の初期化の処理では、まず背景領域情報２１４から背景マスク画像が生成され、中間情報２１５に保持される。
【００８１】
ここで、背景マスク画像とは、高解像度化された１画素１ビットで生成された２値画像としてのビットマップとして生成され、図画領域における背景領域８２とそれ以外の領域とを、画素値がそれぞれ１か０かで判別できる画像である。
【００８２】
また、ステップＳ８０００では、画像１１００の図画領域の背景色２１３が中間情報２１５に確保される。
【００８３】
この際、画像１１００の図画領域に対応する画像のラスター走査順での処理を行なう準備のための一連の初期化処理が行われる。
【００８４】
ステップＳ８０００の初期化の処理が終了すると、ステップＳ８０１０へ処理が進む。
【００８５】
ステップＳ８０１０で、ラスター走査順に、画像１１００の図画領域に対応する部分画像の穴埋め処理が開始される。
【００８６】
まず、ステップＳ８０１０で、図画領域ベクトル化処理用画像２０４のＣｂデータがラスター走査される。そして、その時点でのラスター走査順の注目位置における画素が、図１１の境界部１（８５）でもなくかつ境界部２（８６）でもない図画領域内背景８２にある画素か否かが判定される。
【００８７】
図画領域ベクトル化処理用画像２０４とラスター走査順の注目位置における１画素は、ステップＳ８０００で生成された背景マスク画像の対応部分の２×２画素分に対応する。
【００８８】
そのため、ステップＳ８０１０では、例えば、背景マスク画像の対応部分の２×２画素の４画素の全てが図画領域内背景８２にある画素か否かが判定されても良い。
【００８９】
ステップＳ８０１０で、注目位置における画素が、図画領域内背景８２にある画素であると判定された場合には、ステップＳ８０５０に処理が進む。すなわち、図画領域内背景８２の画素値はそのまま保持される。
【００９０】
ステップＳ８０１０で、注目位置における画素が、図画領域内背景８２にある画素ではないと判定された場合には、ステップＳ８０２０に処理が進む。
【００９１】
ステップＳ８０２０では、この注目画素が図１１の境界部２（８６）の画素であるか否かが判定される。
【００９２】
ステップＳ８０２０では、以下の処理が実行されても良い。すなわち、ラスター走査順の注目位置の注目画素である背景マスク画像の２×２（＝４）画素のうち、いずれかの画素が図画領域内背景８２で、かつ、４画素中の残る画素がすべて図画領域内背景８２以外の領域の画素であるか否かが判定されても良い。
【００９３】
ステップＳ８０２０で、注目画素が境界部２（８６）の画素であると判定された場合には、ステップＳ８０７１に処理が進む。ステップＳ８０２０で、注目画素が境界部２（８６）の画素でないと判定された場合には、ステップＳ８０３０に処理が進む。
【００９４】
ステップＳ８０３０では、注目画素が図１１の境界部１（８５）の画素であるか否かが判定される。
【００９５】
ステップＳ８０３０では、以下の処理が実行されても良い。すなわち、ラスター走査順の注目位置の注目画素である背景マスク画像の２×２（＝４）画素のうち、いずれかの画素がオブジェクト８７の画素で、かつ、４画素中の残る画素のいずれかが下地８４の画素であるか否かが判定されても良い。
【００９６】
ステップＳ８０３０で、注目画素が境界部１（８５）の画素であると判定された場合には、ステップＳ８０８０に処理が進む。ステップＳ８０３０で、注目画素が境界部１（８５）の画素でないと判定された場合には、ステップＳ８０４１に処理が進む。
【００９７】
次に、ステップＳ８０４１で、中間情報から図画領域の背景色２１３が取得される。ここで、図画領域の背景色２１３には、ＲＧＢデータが保持されていても良い。
【００９８】
次に、ステップＳ８０４２で、図画領域の背景色２１３が変換される。ここで、例えば、ＲＧＢデータがＹＣｒＣｂデータに変換される。
【００９９】
次に、ステップＳ８０４３で、注目画素のＣｂデータ、Ｃｒデータ、及び、Ｙデータの全てが置き換えられる。
【０１００】
次に、ステップＳ８０５０で、図画領域のラスター走査順での処理が図画領域の最終画素まで進んだか否かが判定される。
【０１０１】
ステップＳ８０５０で、最終画素まで進んだと判定された場合には、処理が終了する。
【０１０２】
ステップＳ８０５０で、最終画素まで進んでいないと判定された場合には、ステップＳ８０６０に処理が進む。
【０１０３】
ステップＳ８０６０で、図画領域ベクトル化処理用画像２０４のＣｂデータ上での、その時点でのラスター走査順の注目位置が次の位置に進められて変更され、ステップＳ８０１０に処理が進む。
【０１０４】
また、Ｓ８０７１では、中間情報から図画領域の背景色２１３が取得される。ここで、図画領域の背景色２１３には、ＲＧＢデータが保持されていても良い。
【０１０５】
次に、ステップＳ８０７２で、図画領域の背景色２１３が変換される。ここで、例えば、ＲＧＢデータがＹＣｒＣｂデータに変換される。
【０１０６】
次に、ステップＳ８０７３で、注目画素のＣｂデータ、Ｃｒデータのみが置き換えられる。
【０１０７】
ステップＳ８０７３の処理が終了すると、ステップＳ８０５０へ処理が進む。
【０１０８】
また、ステップＳ８０８０では、図画領域ベクトル化処理用画像２０４上での、その時点でのラスター走査順の注目位置における注目画素のＹデータ、Ｃｂデータ、Ｃｒデータは、置き換えられず、そのままの値として残される。
【０１０９】
ステップＳ８０８０の処理が終了すると、ステップＳ８０５０へ処理が進む。
【０１１０】
以上で、本発明に係る画像処理装置を用いた図画領域の穴埋め処理に関する説明を終了する。
【０１１１】
図３のページ描画情報生成部３１０は、例えば、図９に示されているページ描画情報を生成する。
【０１１２】
図９は、ページ描画情報生成部３１０で生成されたデータの一例を示している。
【０１１３】
図９において、ページ描画情報２１００は、ページ描画情報生成部３１０で生成されるデータの全体構成例である。
【０１１４】
図９において、文字オブジェクト２１０１は、図３の領域解析部３０３が文字と判断した領域のベクトル変換結果と画像中の位置情報を保持する。同様に、写真オブジェクト２１０２、図画オブジェクト２１０３、背景オブジェクト２１０４は、それぞれ写真、図画、ページの背景と判断された領域のベクトル変換結果と画像中の位置情報を保持する。
【０１１５】
図９の書誌情報２１０５は、入力データの書誌情報を保持する。例えば、書誌情報２１０５は、ページ数、ページサイズ、入力機器情報、タイムスタンプを保持する。
【０１１６】
ページ描画情報生成部３１０は、生成したページ描画情報を、電子ファイルに変換する。
【０１１７】
ここで、例えば、ページ描画情報生成部３１０は、生成したページ描画情報を、図１のローカルＰＣ１０２ａ、１０２ｂで再生、編集が可能な電子ファイルへ変換しても良い。
【０１１８】
図１０は、本実施形態で用いることができるＸＭＬフォーマットに従って作られた電子ファイルの一例である電子ファイル２１１０を示す図である。
【０１１９】
図１０の記述２１１１は、図９の背景オブジェクト２１０４の画像を１ページ全体に描画する、ＸＭＬフォーマットによる記述である。
【０１２０】
図１０の記述２１１２は、図９の写真オブジェクト２１０２をページ内の指定箇所に描画する、ＸＭＬフォーマットによる記述である。
【０１２１】
図１０の記述２１１３は、図画オブジェクト２１０３をページ内の指定箇所に描画する、ＸＭＬフォーマットによる記述である。
【０１２２】
図１０の記述２１１４は、文字オブジェクト２１０１をページ内の指定箇所に描画する、ＸＭＬフォーマットによる記述である。
【０１２３】
図１０の電子ファイルを受けとった図１のローカルＰＣ１０２ａ、１０２ｂでは、記述２１１１〜２１１４に記述された情報を順に描画することができる。これにより、図１のローカルＰＣ１０２ａ、１０２ｂは、背景、写真、図画のベクトル、文字のベクトルを重ねあわせて元の文書と同等の外観を有すページを構成できる。また、記述２１１１〜２１１４の記述それぞれをオブジェクトとして編集用途に供することもできる。
【０１２４】
なお、図１０に示されている電子ファイル２１１０は、あくまで一例であって、他の一般に公開された記述形式が電子ファイルの記述に用いられてもよい。例えば、PDF、XPS、SVGなどのグラフィックページ記述、Office Open XML、Open Document Format などのページ編集データ記述などが、電子ファイルの記述に用いられてもよい。
【０１２５】
次に、図１２、１３を参照して、領域同士の関係を示す木構造に関して、以下で説明する。図１２は、領域同士の関係を示す木構造の生成処理の対象となる画像を領域分割した結果の例を示す。図１３は、領域同士の関係を示す木構造を示す。
【０１２６】
図１２の例では、最上部で、矩形ブロックＴ１、Ｔ２が横方向に並列されている。矩形ブロックＴ１、Ｔ２の下には横方向セパレータＳ１が存在し、横方向セパレータＳ１の下に矩形ブロックＴ３、Ｔ４、Ｔ５、Ｔ６、Ｔ７が存在する。
【０１２７】
図１２の矩形ブロックＴ３、Ｔ４、Ｔ５は、横方向セパレータＳ１下側の領域における左半部において上から下に、縦方向に配列され、矩形ブロックＴ６、Ｔ７は、横方向セパレータＳ１下側の領域における右半部において上下に配列されている。
【０１２８】
以上の処理結果は図１３の領域情報木構造として登録される。
【０１２９】
図１３において、入力画像Ｖ０は、最上位階層にグループＨ１、Ｈ２、セパレータＳ１を有し、グループＨ１には第２階層の矩形ブロックＴ１、Ｔ２が属する。
【０１３０】
グループＨ２には、第２階層のグループＶ１、Ｖ２が属し、グループＶ１には、第３階層の矩形ブロックＴ３、Ｔ４、Ｔ５が属し、グループＶ２には、第３階層の矩形ブロックＴ６、Ｔ７が属する。
【０１３１】
次に、図３の処理方法決定部３０５に関して、図１４〜１６を用いて説明をする。
【０１３２】
図１４の画像の領域解析の結果１４０１には、図画領域と文字領域が存在している。木構造１４０２は、画像の領域解析の結果１４０１の領域同士の関係を示している。図１４に示されている例では、図画領域と文字領域が重なっている。
【０１３３】
図３の処理方法決定部３０５は、木構造を解析して、領域同士が重なっているかそうでないかを判定する。図１４に示されている例では、図画領域内に文字領域が存在している。この場合に、図画領域の画素と文字領域の画素が混在しているので、処理方法決定部３０５は、図画領域と文字領域を含む領域の画像に対しては、文字領域の部分に対しても図画領域ベクトル化処理を行うようにする。
【０１３４】
図１５は、文字領域と図画領域の重なり方が図１４と異なる場合の画像の領域解析の結果１５０１を示している。木構造１５０２は、画像の領域解析の結果１５０１の領域同士の関係を示している。ここで、木構造１５０２から、画像の領域解析の結果１５０１において、文字領域と図画領域が重なっていることはわかる。ただし、図１５に示されている例では、画像の領域解析の結果１５０１は矩形で表しているので、実際の図画領域が存在する部分が矩形でない場合には、実際の図画領域でない部分も図画領域として扱われ、文字領域と重なっていると判定されている。図１５に示されている例では、文字領域は、木構造１５０２からは、図画領域と重なっていると判断されるが、図１４の場合と異なり、文字領域の画素と、実際の図画が存在する画素とを独立に扱うことができる。これは、領域情報の中に文字領域に関しては、文字領域を構成する画素の位置情報が入っているので、文字領域の画素と図画領域の画素とを区別して扱うことが可能であるからである。この場合には、文字領域の画像に対しては文字領域ベクトル化処理が行われ、その後、図画領域の画像に対して図画領域ベクトル化処理が行われる。
【０１３５】
図１６は、前述した処理方法決定部３０５が実行するフローチャートを示している。
【０１３６】
まず、図１６のステップＳ１６０２で、領域情報の取得が行われる。ここでは、図１４、１５に示されているような領域の木構造の情報が取得される。
【０１３７】
次に、ステップＳ１６０３で、ステップＳ１６０２で取得された木構造を解析して、領域同士の関係が解析され、ステップＳ１６０４で、領域が重なり合っているか否かが判定される。具体的には、文字領域と図画領域に重なりがあるかないかが判定される。
【０１３８】
ステップＳ１６０４で、文字領域と図画領域の重なりがないと判定された場合には、ステップＳ１６１２に処理が進む。ステップＳ１６０４で、文字領域と図画領域の重なりがあると判定された場合には、ステップＳ１６０５に処理が進む。
【０１３９】
ステップＳ１６０５では、文字領域に含まれる文字の画素と、実際の図画が存在する図画領域とについて、画素の重なりがあるか否かが判定される。例えば、図１５に示されているように、文字の画素が図画に直接重なっていないと判定された場合には、ステップＳ１６１２に処理が進む。一方、図１４のように、文字領域に含まれる文字の画素が実際の図画領域に重なっていると判定された場合には、ステップＳ１６０６に処理が進む。
【０１４０】
ステップＳ１６０６では、図画領域と文字領域とを含む画像から図画領域ベクトル化処理用画像が生成される。
【０１４１】
次に、ステップＳ１６０７で、ステップＳ１６０６で生成された図画領域ベクトル化処理用画像に対して、図画領域ベクトル化処理が行われる。すなわち、図画と文字とが重なっている場合は、文字の穴埋め処理を行われていない状態で、図画領域のベクトル化処理が行われ、図画領域のベクトルデータが生成される。
【０１４２】
次に、ステップＳ１６０８で、文字領域のみの画像から文字領域ベクトル化処理用画像が生成される。
【０１４３】
次に、ステップＳ１６０９で、ステップＳ１６０８で生成された文字領域ベクトル化処理用画像に対して文字ベクトル化処理が行われ、文字のベクトルデータが生成される。
【０１４４】
一方、ステップＳ１６１２では、文字領域のみの画像から文字領域ベクトル化処理用画像が生成される。
【０１４５】
次に、ステップＳ１６１３で、ステップＳ１６１２で生成された文字領域ベクトル化処理用画像に対して、文字領域ベクトル化処理が行われ、文字のベクトルデータが生成される。このとき、矩形の図画領域において、文字の画素があった部分に対しては穴埋め処理が行われる。
【０１４６】
次に、ステップＳ１６１４で、文字穴埋め処理後の矩形の図画領域の画像から図画領域ベクトル化処理用画像が生成される。
【０１４７】
次に、ステップＳ１６１５で、ステップＳ１６１４で生成された図画領域ベクトル化処理用画像に対して、図画領域ベクトル化処理が行われる。そして、ステップＳ１６１０に処理が進む。
【０１４８】
ステップＳ１６１０で、ページ描画情報がベクトルデータを用いて生成される。ステップＳ１６１０で、用いられるベクトルデータには、ステップＳ１６０７で生成された図画領域のベクトルデータとステップＳ１６０９で生成された文字領域のベクトルデータが含まれる。また、ステップＳ１６１０で、用いられるベクトルデータには、ステップＳ１６１３で生成された文字領域のベクトルデータとステップＳ１６１５で生成された図画領域のベクトルデータが含まれる。
【０１４９】
次に、ステップＳ１６１１で、ステップＳ１６１０で生成されたページ描画情報が変換されて電子ファイルが生成される。
【０１５０】
すなわち、文字と図画が重なっている場合、先に文字のベクトル化処理を行って文字部分の穴埋め処理を行った後に、図画のベクトル化処理を行うと、文字の穴埋め処理による画質劣化の影響で、図画部分の画質が悪くなる場合がある。そこで、上述したように、本実施形態では、文字と図画が重なっている場合は、先に図画領域のベクトル化処理を行うように構成している。
【０１５１】
＜実施形態２＞
以下、実施形態２について図１７を用いて説明する。
【０１５２】
図１７は、実施形態２に係る処理を実行するＭＦＰ１００の有する構成を説明するためのブロック図である。
【０１５３】
以下で、図１７に示されている構成について、詳細に説明する。
【０１５４】
まず、入力画像処理部１７０２は、画像入力を受け付ける。そして、入力画像処理部１７０２には、画像が入力される。そして、入力画像処理部１７０２は、入力画像に対して、入力画像に応じた周知の画像処理を行う。ここで、周知の画像処理は、例えば、色変換やフィルタ処理などであり、色変換やフィルタ処理以外の他の画像処理でも良い。
【０１５５】
領域解析部１７０３は、入力画像処理部１７０２から、画像処理後の画像を受け取り、この画像に対して領域解析を実行し、画像中の文字領域、図画領域等を判別し、領域を分割する。ここで、領域解析部１７０３は、例えば、特許文献２に開示されているような公知のカラー画像を領域分割する技術を用いても良い。
【０１５６】
そして、領域会席部１７０３は、カラー連結成分、文字、線画、写真、表、枠、ページ背景などの属性情報と位置情報をもち、領域同士の関係が木構造で表される領域情報を生成する。ここで、画像内の領域ごとの画像処理結果も領域情報に記録される。
【０１５７】
処理方法決定部１７０５は、前述した領域の木構造の状態に基づいて、画像処理の処理方法を決定する。処理方法決定部１７０５が実行する処理の詳細に関しては、後述する。
【０１５８】
文字領域ベクトル化処理部１７０６は、入力画像処理部１７０２から受け取った画像を、輝度情報のＹのみを取り出したグレースケール、解像度６００ｄｐｉに変換する。そして、文字領域ベクトル化処理部１７０６は、文字領域ベクトル化処理用の画像（文字領域ベクトル化処理用画像）を生成し、文字領域ベクトル化処理を実行する。文字領域ベクトル化処理については、例えば、図４、５を用いて既に説明した通りに行われる。
【０１５９】
また、文字領域について、文字領域ベクトル化処理部１７０６は、文字領域穴埋め処理を実行する。
【０１６０】
本実施形態では、文字領域穴埋め処理として、文字領域を文字領域の周囲の画素の平均色で塗る公知の方法が用いられる。
【０１６１】
ＯＣＲ処理部１７１３は、文字領域ベクトル化処理部から文字領域ベクトル化処理用画像を受け取り、この文字領域ベクトル化処理用画像をＯＣＲ処理（文字認識処理）する。
【０１６２】
図画領域ベクトル化処理部１７０８は、入力画像処理部１７０２により入力された画像を変換して、図画領域ベクトル化処理に適した図画領域ベクトル化処理用画像を生成する。図画領域を処理する際には色の情報が重要となるので、図画領域ベクトル化処理用画像には、カラー中解像度の画像が適している。
【０１６３】
図画領域ベクトル化処理部１７０８は、入力画像を、Ｙ：Ｃｒ：Ｃｂ＝４：１：１の形式で解像度３００ｄｐｉに変換し、図画領域ベクトル化処理用画像を生成し、その図画領域をベクトル化する。
【０１６４】
図画領域ベクトル化処理部１７０８が実行するベクトル化処理は、実施形態１に係る図画領域ベクトル化処理部３０８により実行されるベクトル化処理と同様であっても良い。
【０１６５】
ページ描画情報生成部１７１０は、例えば、図９に示されているページ描画情報を生成する。
【０１６６】
図１７の処理方法決定部１７０５が実行する処理に関して、図１８を用いて、以下で詳細に説明する。
【０１６７】
図１８は、前述した処理方法決定部１７０５が実行するフローチャートを示している。
【０１６８】
まず、図１８のステップＳ１８０２で、領域情報の取得が行われる。ここでは、図１４、１５に示されているような領域の木構造の情報が取得される。
【０１６９】
次に、ステップＳ１８０３で、ステップＳ１８０２で取得された木構造を解析して、領域同士の関係が解析される。例えば、図１４、１５に示したような解析が行われる。
【０１７０】
次に、ステップＳ１８０４で、領域が重なり合っているか否かが判定される。具体的には、文字領域と図画領域に重なりがあるかないかが判定される。
【０１７１】
ステップＳ１８０４で、文字領域と図画領域の重なりがないと判定された場合には、ステップＳ１８１２に処理が進む。ステップＳ１８０４で、文字領域と図画領域の重なりがあると判定された場合には、ステップＳ１８０５に処理が進む。
【０１７２】
ステップＳ１８０５では、文字領域に含まれる文字の画素と、実際の図画が存在する図画領域とについて、画素の重なりがあるか否かが判定される。例えば、図１５に示されているように、文字の画素が図画に直接重なっていないと判定された場合には、ステップＳ１８１２に処理が進む。一方、図１４のように、文字領域に含まれる文字の画素が実際の図画領域に重なっていると判定された場合には、ステップＳ１８０６に処理が進む。
【０１７３】
ステップＳ１８１２では、文字領域のみの画像から文字領域ベクトル化処理用画像が生成される。
【０１７４】
次に、ステップＳ１８１３で、ステップＳ１８１２で生成された文字領域ベクトル化処理用画像に対して、文字領域ベクトル化処理が行われ、文字のベクトルデータが生成される。このとき、矩形の図画領域において、文字の画素があった部分に対しては穴埋め処理が行われる。
【０１７５】
ステップＳ１８１４では、文字穴埋め処理後の矩形の図画領域の画像から図画領域ベクトル化処理用画像が生成される。
【０１７６】
次に、ステップＳ１８１５で、ステップＳ１８１４で生成された図画領域ベクトル化処理用画像に対して、図画領域ベクトル化処理が行われる。
【０１７７】
また、ステップＳ１８１３〜Ｓ１８１５の処理とは別に、ステップＳ１８１９で、ステップＳ１８１２で生成された文字領域ベクトル化処理用画像に対して公知のＯＣＲ（文字コード化）処理が行われる。そして、ステップＳ１８１３で得た文字のベクトルデータと、ステップＳ１８１５の処理によって生成された図画のベクトルデータと、ステップＳ１８１９の処理によって生成されたＯＣＲデータは、後述するステップＳ１８１０で用いられる。
【０１７８】
一方、ステップＳ１８０６では、図画領域と文字領域とを含む画像から図画領域ベクトル化処理用画像が生成される。
【０１７９】
次に、ステップＳ１８０７で、ステップＳ１８０６で生成された図画領域ベクトル化処理用画像に対して、図画領域ベクトル化処理が行われる。すなわち、図画と文字とが重なっている場合は、文字の穴埋め処理を行われていない状態で、図画領域のベクトル化処理が行われ、図画領域のベクトルデータが生成される。
【０１８０】
次に、ステップＳ１８０８で、文字領域のみの画像から文字領域ベクトル化処理用画像が生成される。
【０１８１】
次に、ステップＳ１８１７で、ステップＳ１８０８で生成された文字領域ベクトル化処理用画像に対してＯＣＲ（文字コード化）処理が行われる。
【０１８２】
次に、ステップＳ１８１８で、文字領域をベクトル化するか否かの判定が行われる。
ステップＳ１８１８の判定は、例えば、文字領域をベクトル化するか否かが設定されたパラメータが予め記憶されたレジスタを参照することにより実行することができる。
【０１８３】
ステップＳ１８１８で、文字領域をベクトル化すると判定された場合には、ステップＳ１８０９で、文字領域のベクトル化処理が行われ、ステップＳ１８１０へ処理が進む。
【０１８４】
ステップＳ１８１８で、文字領域をベクトル化しないと判定された場合には、ステップＳ１８１０へ処理が進む。
【０１８５】
ステップＳ１８１０では、ベクトルデータに基づいて、ページ描画情報が生成される。ステップＳ１８１０で用いられるベクトルデータには、ステップＳ１８１３で生成された文字のベクトルデータとステップＳ１８１５で生成された図画のベクトルデータとステップＳ１８１９で生成されたＯＣＲ結果の文字コードデータが含まれる。また、ステップＳ１８１０で用いられるベクトルデータには、ステップＳ１８０７で生成された図画のベクトルデータとステップＳ１８０９で生成された文字のベクトルデータとステップＳ１８１７で生成されたＯＣＲ結果の文字コードデータが含まれる。
【０１８６】
次に、ステップＳ１８１１で、ステップＳ１８１０で生成されたページ描画情報が変換されて電子ファイルが生成される。このときＯＣＲ結果の文字コードデータは、メタデータとして電子ファイルに付加される。
【０１８７】
以上説明したように、領域解析の結果、文字領域と図画領域の関係を考慮することによって、画像処理の処理方法を適応的に切り替えることができる。
【０１８８】
図２０は、実施形態１、２によって得られる効果の一例を示している。図２０（ａ）は、図画領域を切り出したものである。図２０（ｂ）は、実施形態１、２が適用された処理結果の一例を示しており、文字が図画に重なっている場合に、図画領域内の文字の穴埋め処理を行わずに、図画領域ベクトル化処理のみが行われ、１つの図画ベクトルデータに変換された画像である。図２０（ｃ）は、図画領域内の文字をＯＣＲして認識した文字コードを示しており、この文字コードは、図画領域に対するメタデータとして、実施形態２において生成される電子ファイルに付与される。これによって、高圧縮性と高画質性とを両立させて、利便性が高められた電子ファイルが提供される。
【０１８９】
＜その他の実施形態＞
本発明は、さらに、複数の機器（例えばコンピュータ、インターフェース機器、リーダ、プリンタなど）から構成されるシステムに適用することも、一つの機器からなる装置（複合機、プリンタ、ファクシミリ装置など）に適用することも可能である。
【０１９０】
また本発明の目的は、上述した実施形態で示したフローチャートの手順を実現するプログラムコードを記憶した記憶媒体から、システムあるいは装置のコンピュータ（またはＣＰＵやＭＰＵ）が、そのプログラムコードを読出し実行することによっても達成される。この場合、記憶媒体から読み出されたプログラムコード自体が上述した実施形態の機能を実現することになる。そのため、このプログラムコード及びプログラムコードを記憶／記録したコンピュータ読み取り可能な記憶媒体も本発明の一つを構成することになる。
【０１９１】
プログラムコードを供給するための記憶媒体としては、例えば、フロッピー（登録商標）ディスク、ハードディスク、光ディスク、光磁気ディスク、ＣＤ−ＲＯＭ、ＣＤ−Ｒ、磁気テープ、不揮発性のメモリカード、ＲＯＭなどを用いることができる。
【０１９２】
また、前述した実施形態の機能は、コンピュータが、読み出したプログラムを実行することによって実現される。また、このプログラムの実行とは、そのプログラムの指示に基づき、コンピュータ上で稼動しているＯＳなどが、実際の処理の一部または全部を行う場合も含まれる。
【０１９３】
さらに、前述した実施形態の機能は、コンピュータに挿入された機能拡張ボードやコンピュータに接続された機能拡張ユニットによっても実現することもできる。この場合、まず、記憶媒体から読み出されたプログラムが、コンピュータに挿入された機能拡張ボードやコンピュータに接続された機能拡張ユニットに備わるメモリに書き込まれる。その後、そのプログラムの指示に基づき、その機能拡張ボードや機能拡張ユニットに備わるＣＰＵなどが実際の処理の一部または全部を行う。こうした機能拡張ボードや機能拡張ユニットによる処理によっても前述した実施形態の機能が実現される。
【技術分野】
【０００１】
本発明は、紙文書を電子化する画像処理装置、画像処理方法、プログラムおよび記憶媒体に関する。
【背景技術】
【０００２】
近年、情報の電子化が進み、紙の文書をそのまま保存するのではなく、スキャナにより紙の文書をスキャンして電子化し、電子ファイルとして保存し、その電子ファイルを他の装置に送信するシステムが普及している。
【０００３】
このように電子ファイルを他装置に送信するシステムでは、送信コストを削減するため、文書を電子化して得られた電子ファイルには、高圧縮性が要求される。
【０００４】
また、電子ファイルには、電子ファイルを部分的に編集できる再利用性と、電子ファイルを拡大しても縮小しても画質が落ちない高画質性とが要求される。
【０００５】
ところが、電子ファイルに文字領域や図画領域（写真などの領域）が混在する場合には、以下のような問題がある。すなわち、電子ファイルの文字領域に適した圧縮（ＭＭＲ圧縮などの可逆圧縮）を行うと、文字領域の画質が良好となるが、電子ファイルの圧縮率が低くなる。また、電子ファイルの図画領域に適した圧縮（ＪＰＥＧ圧縮などの非可逆圧縮）を行うと、電子ファイルの圧縮率が高くなるが、文字が劣化してしまう。
【０００６】
そこで、以下のような手法が特許文献１に開示されている。特許文献１に係る手法では、電子ファイルが文字領域や線画領域、図画領域等に分離され、文字領域や線画領域がベクトルデータに変換される。そして、容易にはベクトル化（ベクトルデータへの変換）で再現できない領域等がＪＰＥＧで圧縮され、各領域の圧縮結果が合成して出力される。
【先行技術文献】
【特許文献】
【０００７】
【特許文献１】特開２００７−２７２６０１号公報
【特許文献２】国際特許公開ＷＯ２００６／０６６３２５号公報
【特許文献３】特開２００６−３４４０６９号公報
【発明の概要】
【発明が解決しようとする課題】
【０００８】
しかしながら、電子ファイルの文字領域のベクトル化が常に行われると、電子ファイルの図画領域内に文字領域があった場合にも、文字領域のベクトル化が行われてしまう。そして、文字領域のベクトル化が行われた部分に関して、文字領域の背景となる図画領域の圧縮率を高めるために穴埋め処理が行われる。このため、図画領域の画質が落ちてしまう場合がある。
【０００９】
また、特許文献１に係る手法では、領域の分離処理が行われるときに、各領域を矩形で定義することにより、領域の切り出しが簡単に行えるようになっている。しかし、矩形で切り出して処理を行う場合に、図画領域が文字領域を含んでしまう場合がある。このような場合、図画領域をベクトル化して得られたベクトルデータが劣化する場合がある。これは、文字領域をベクトルデータに変換する処理と、図画領域をベクトルデータに変換する処理とでは変換処理の方法が異なるためである。
【００１０】
上記の課題に関して、図１９を用いて説明を行う。図１９（ａ）は、入力画像から切り出された矩形の図画領域を示している。図１９（ｂ）は、図１９（ａ）の図画領域に含まれる文字領域がベクトルデータに変換された後の状態を示している。図１９（ｂ）では、穴埋め処理された図画領域の上にベクトルデータに変換された文字領域が重ねて表示されている。図１９（ｃ）は、図１９（ｂ）の図画領域から文字領域を含まない図画領域のみを取り出したもので、ベクトルデータに変換された文字領域の部分は、例えば文字領域の近傍画素の平均値等で穴埋め処理されているものとする。このとき図画領域の画質が劣化する場合がある。例えば、文字領域近傍の背景に柄があるような場合、穴埋めされた部分はその周辺との差異が顕著になりやすく、画質が劣化しやすくなる。図１９（ｄ）は、図１９（ａ）から取り出した文字領域をベクトルデータに変換したものであり、図１９（ｂ）の文字領域に相当するものである。図１９（ｃ）に示されているように、図画領域内の文字領域を穴埋め処理すると、図画領域の画質が劣化してしまう場合がある。
【００１１】
本発明は、上記のような問題点を鑑みなされたものであり、文字領域および図画領域を含んだ電子ファイルの高圧縮性と高画質性とを両立させることを目的とする。
【課題を解決するための手段】
【００１２】
上記課題を解決するために、本発明に係る画像処理装置は、入力画像を領域解析する領域解析手段と、文字領域のベクトル化を行う文字領域ベクトル化手段と、図画領域のベクトル化を行う図画領域ベクトル化手段と、前記領域解析手段による領域解析の結果に基づいて、前記文字領域ベクトル化手段による処理と前記図画領域ベクトル化手段による処理とのいずれを先に行うかを決定する決定手段と、を備える画像処理装置であって、前記決定手段は、前記文字領域の文字の画素が前記図画領域の図画に重なっていると判断した場合、前記図画領域ベクトル化手段による処理を先に行うように制御し、重なっていないと判断した場合、前記文字領域ベクトル化手段による処理を先に行うように制御することを特徴とする。
【発明の効果】
【００１３】
本発明によれば、電子ファイルの高圧縮性と高画質性とを両立させて、電子ファイルの利便性を高めることができる。
【図面の簡単な説明】
【００１４】
【図１】本発明に係る画像処理装置を示すブロック図である。
【図２】図１のＭＦＰ１００の詳細を示すブロック図である。
【図３】実施形態１に係る処理を実行する構成を説明するためのブロック図である。
【図４】ベクトル化を説明する図である。
【図５】太さをもった線に対するベクトル化を説明する図である。
【図６】図画領域に対する処理を決定するためのフロー図である。
【図７】図画領域ベクトル化処理を説明するブロックフロー図である。
【図８】図画領域穴埋め処理を説明するフロー図である。
【図９】ページ描画情報生成処理で生成されたデータの一例を示す図である。
【図１０】ＸＭＬフォーマットに従って作られた電子ファイルの一例を示す図である。
【図１１】図画領域を含んでいる画像の一例を示す図である。
【図１２】画像を示す図である。
【図１３】木構造を示す図である。
【図１４】領域解析の結果の一例を示す図である。
【図１５】領域解析の結果の一例を示す図である。
【図１６】処理方法決定部３０５が実行するフローチャートである。
【図１７】実施形態２に係る処理を実行する構成を説明するためのブロック図である。
【図１８】処理方法決定部３０５が実行するフローチャートである。
【図１９】課題の一例を示す図である。
【図２０】効果の一例を示す図である。
【発明を実施するための形態】
【００１５】
＜実施形態１＞
以下、図面を参照して実施形態１を詳細に説明する。
【００１６】
図１は、本発明に係る画像処理装置を示すブロック図である。図１に示されているように、オフィス１０とオフィス２０とがインターネット１０４で接続されている。
【００１７】
オフィス１０内に構築されたＬＡＮ１０７には、ＭＦＰ（複合機）１００、ＭＦＰ１００を制御するマネージメントＰＣ１０１、ローカルＰＣ１０２ａ、文書管理サーバ１０６ａ、文書管理サーバ１０６ａのためのデータベース１０５ａが接続されている。
【００１８】
オフィス２０内に構築されたＬＡＮ１０８には、文書管理サーバ１０６ｂ、および文書管理サーバ１０６ｂのためのデータベース１０５ｂが接続されている。
【００１９】
ＬＡＮ１０７にはプロキシサーバ１０３ａが接続され、ＬＡＮ１０７は、プロキシサーバ１０３ａを介してインターネット１０４に接続される。
【００２０】
ＬＡＮ１０８にはプロキシサーバ１０３ｂが接続され、ＬＡＮ１０８はプロキシサーバ１０３ｂを介してインターネット１０４に接続される。
【００２１】
ＭＦＰ１００は、紙の文書を読み取り、画像処理を行い、画像処理結果を、ＬＡＮ１０９を経由してマネージメントＰＣ１０１に送信したり、ＬＡＮ１０７を経由してローカルＰＣ１０２ａ、又は不図示の汎用ＰＣに送信したりする機能を有する。また、ＭＦＰ１００は、ローカルＰＣ１０２ａ、又は不図示の汎用ＰＣから送信されるＰａｇｅ Ｄｉｓｃｒｉｐｔｉｏｎ Ｌａｎｇｕａｇｅ（ＰＤＬ）を解釈して、印刷出力する機能も有する。さらに、ＭＦＰ１００は、紙の文書を読み取り、複写用の画像処理を行って印刷出力するコピー機能を有してもよい。
【００２２】
マネージメントＰＣ１０１は、通常のコンピュータである。なお、本実施形態では、マネージメントＰＣ１０１を介してデータベース１０５ａにおいて、後述する登録処理などの処理が実行されるものとするが、マネージメントＰＣ１０１で行われる処理が、ＭＦＰ１００で実行されても良い。
【００２３】
さらに、図１に示されているように、ＭＦＰ１００は、ＬＡＮ１０９によってマネージメントＰＣ１０１に直接接続されている。
【００２４】
図２は、図１のＭＦＰ１００の詳細を示すブロック図である。
【００２５】
図２において、ＭＦＰ１００は、不図示のAuto Document Feeder（ADF）を有する画像読み取り部１１０を有する。画像読み取り部１１０は、原稿を光源で照射し、反射画像をレンズで固体撮像素子上に結像する。固体撮像素子は、所定解像度（例えば６００ｄｐｉ）および所定輝度レベル（例えば８ビット）の画像読み取り信号を生成し、画像読み取り信号からラスターデータよりなる画像が生成される。
【００２６】
ＭＦＰ１００は、さらに、記憶装置（ＢＯＸ）１１１および記録装置１１２を有し、通常の複写機能を実行する際には、画像をデータ処理装置１１５によって、複写用に画像処理して記録信号に変換する。ＭＦＰ１００が、複数枚複写する場合には、１頁分の記録信号を一旦ＢＯＸ１１１に記憶保持した後、記録装置１１２に順次出力して、記録紙上に記録画像を形成する。
【００２７】
ＭＦＰ１００は、さらに、図１のＬＡＮ１０７との接続のためのネットワークＩ／Ｆ（インターフェース）１１４を有する。ＭＦＰ１００は、ネットワークＩ／Ｆ１１４を経由して、ローカルＰＣ１０２ａ、又は他の不図示の汎用ＰＣのドライバーを利用して、ＭＦＰ１００が出力するＰＤＬデータを、記録装置１１２に記録できる。ローカルＰＣ１０２ａのドライバーを経由して出力されるＰＤＬデータは、ＬＡＮ１０７からネットワークＩ／Ｆ１１４を経てデータ処理装置１１５で、記録可能な記録信号に変換される。その後、ＭＦＰ１００において、記録紙上に記録信号が記録される。
【００２８】
ＢＯＸ１１１は、画像読み取り部１１０からのデータやローカルＰＣ１０２ａからドライバーを経由して出力されるＰＤＬデータをレンダリングしたデータを、保存できる。
【００２９】
ＭＦＰ１００は、ＭＦＰ１００に設けられたキー操作部（入力装置１１３）、あるいはマネージメントＰＣ１０１の入力装置（キーボード、ポインティングデバイス等）を通じて操作される。データ処理装置１１５ は、これらの操作のための制御を実行する。
【００３０】
ＭＦＰ１００は、さらに表示装置１１６を有し、これらの操作による入力の状態と、処理すべき画像とを、表示装置１１６によって表示する。
【００３１】
マネージメントＰＣ１０１は、ネットワークＩ／Ｆ１１７を介して、ＢＯＸ１１１を直接制御することができる。ＬＡＮ１０９は、ＭＦＰ１００と、マネージメントＰＣ１０１との間のデータの授受、制御信号授受に用いられる。
【００３２】
図２に示されているように、データ処理装置１１５には、画像読み取り部１１０、記憶装置１１１および記録装置１１２が接続されている。また、データ処理装置１１５には、表示装置１１６、ネットワークＩ／Ｆ１１４、ネットワークＩ／Ｆ１１７および入力装置１１３が接続されている。
【００３３】
図３は、実施形態１に係る処理を実行するＭＦＰ１００の有する構成を説明するためのブロック図である。
【００３４】
以下で、図３に示されている構成について、詳細に説明する。
【００３５】
まず、入力画像処理部３０２は、画像入力を受け付ける。そして、入力画像処理部３０２には、画像が入力される。そして、入力画像処理部３０２は、入力画像に対して、入力画像に応じた周知の画像処理を行う。ここで、周知の画像処理は、例えば、色変換やフィルタ処理などであり、色変換やフィルタ処理以外の他の画像処理でも良い。
【００３６】
領域解析部３０３は、入力画像処理部３０２から、画像処理後の画像を受け取り、この画像に対して領域解析を実行し、画像中の文字領域、図画領域等を判別し、複数の領域に分割する。ここで、領域解析部３０３は、例えば、特許文献２に開示されているような公知のカラー画像を領域分割する技術を用いても良い。
【００３７】
そして、領域解析部３０３は、カラー連結成分、文字、線画、写真、表、枠、ページ背景などの属性情報と位置情報をもち、領域同士の関係が木構造で表される領域情報を生成する。ここで、画像内の領域ごとの画像処理結果も領域情報に記録される。
【００３８】
処理方法決定部３０５は、前述した領域の木構造の状態に基づいて、画像処理の処理方法を決定する。処理方法決定部３０５が実行する処理の詳細に関しては、後述する。
【００３９】
文字領域ベクトル化処理部３０６は、入力画像処理部３０２から受け取った画像を、輝度情報のＹのみを取り出したグレースケール、解像度６００ｄｐｉに変換する。そして、文字領域ベクトル化処理部３０６は、文字領域ベクトル化処理用の画像（文字領域ベクトル化処理用画像）を生成し、文字領域ベクトル化処理を実行する。
【００４０】
以下で、文字領域ベクトル化処理について詳細を説明する。
【００４１】
まず、文字領域の２値化処理を行い、２値画像を生成する。領域解析部３０３により生成された領域情報から、文字領域内の黒画素の連結成分（黒画素塊）が取り出され、まず、黒画素連結成分の外側の輪郭（外輪郭）がベクトルデータに変換される。
【００４２】
具体的には、まず、文字領域の連結成分を直線および／または曲線の組み合わせにより表現するために、輪郭線を複数の区間（画素列）に区切る「角」が検出される。ここで、「角」とは、曲率が極大となる点である。例えば、図４の曲線上の画素Ｐｉが、角か否かの判断は以下のように行われる。
【００４３】
まず、Ｐｉを起点とし、曲線に沿ってＰｉから両方向に所定画素（例えば、ｋ個の画素）ずつ離れた画素Ｐｉ−ｋ、Ｐｉ＋ｋを線分Ｌで結ぶ。次に、画素Ｐｉ−ｋ、Ｐｉ＋k間の距離をｄ１、線分Ｌと画素Ｐｉとの距離をｄ２、曲線の画素Ｐｉ−ｋ、Ｐｉ＋ｋ間の弧の長さをＡとする。そして、ｄ２が極大となるとき、あるいは比（ｄ１／Ａ）が閾値以下となるときに画素Ｐｉが角と判断される。
【００４４】
角によって分割された画素列は、直線あるいは曲線で近似される。直線への近似は最小二乗法等により実行され、曲線への近似は３次スプライン関数などが用いられる。ここで、画素列を分割する角の画素は近似直線あるいは近似直線における、始端または終端となる。
【００４５】
連結成分の外輪郭をベクトル化した後、更に、ベクトル化された輪郭内に白画素塊の内輪郭が存在するか否かが判断される。そして、内輪郭が存在すると判断されたときはその輪郭がベクトル化され、内部の輪郭に基づくベクトルデータが得られる。更に、内輪郭の内輪郭というように、再帰的に反転画素の内輪郭がベクトル化される。
【００４６】
以上のように、連結成分の輪郭の区分線近似を用いて、文字領域のアウトラインがベクトル化される。なお、このとき黒画素塊の位置に対応する入力画像上の画素値に基づいて、文字の色情報（文字色）を取得する。また、線画も同様の手法でベクトルデータへ変換することが可能である。
【００４７】
また、図５に示されているように、ある注目区間で外輪郭ＰＲｊと、内輪郭ＰＲｊ＋１あるいは別の外輪郭が近接している場合、２個あるいは複数の輪郭線をひとまとめにし、太さを持った線として表現することができる。例えば、輪郭ＰＲｊ＋１の各画素Ｐｉから輪郭ＰＲｊ上で最短距離となる画素Ｑｉまでの距離ＰｉＱｉを算出し、ＰＱｉのばらつきがわずかである場合には、注目区間を画素Ｐｉ、Ｑｉの中点Ｍｉの点列に沿った直線または曲線で近似し得る。このとき、近似直線、近似曲線の太さを、例えば距離ＰＱｉの平均値とすることができる。
【００４８】
また、線や線の集合体である表罫線は、太さを持つ線の集合とすることにより、効率よくベクトル化される。
【００４９】
このようにして変換されたベクトルデータと連結成分の色情報を合わせた文字ベクトルが領域情報に記録される。
【００５０】
また、文字領域について、文字領域ベクトル化処理部３０６は、文字領域穴埋め処理を実行する。
【００５１】
本実施形態では、文字領域穴埋め処理として、文字領域を文字領域の周囲の画素の平均色で塗る公知の方法が用いられる。以下で、文字領域穴埋め処理について説明する。
【００５２】
まず、領域情報から文字領域の画素連結成分が取り出され、文字領域穴埋めメモリに画像として展開される。次に、文字領域穴埋めメモリに展開された画像の画素位置と、図画領域ベクトル化処理用画像の位置とが重ね合わされて、図画領域ベクトル化処理用画像における文字領域が特定される。
【００５３】
次に、図画領域ベクトル化処理用画像における文字領域の周辺画素の平均色が算出される。
【００５４】
最後に、図画領域ベクトル化処理用画像における文字領域が当該算出した平均色で塗りつぶされる。これにより、文字領域が、周辺の背景色で塗りつぶされた、文字がない図画領域ベクトル化処理用画像が生成される。
【００５５】
図画領域ベクトル化処理部３０８が、上記の図画領域ベクトル化処理用画像を生成する。図画領域を処理する際には色の情報が重要となるので、図画領域ベクトル化処理用画像には、カラーで中解像度の画像が適している。
【００５６】
図画領域ベクトル化処理部３０８は、入力画像を、Ｙ：Ｃｒ：Ｃｂ＝４：１：１の形式で解像度３００ｄｐｉに変換し、図画領域ベクトル化処理用画像を生成し、その図画領域をベクトル化する。
【００５７】
図画領域のベクトル化の処理について、図６を参照して以下で説明する。
【００５８】
まず、図６のステップＳ７０１で、図画領域ベクトル化処理部３０８は、図画領域の領域情報を基に、該当する領域の図画領域ベクトル化処理用画像がベクトル化処理可能かを判定する。
【００５９】
ステップＳ７０１で、ベクトル化処理が可能であると判定された場合には、ステップＳ７０２へ処理が進む。ステップＳ７０１で、ベクトル化処理が可能ではないと判定された場合には、ステップＳ７０３へ処理が進む。
【００６０】
具体的には、例えば、ステップＳ７０１では、図画領域の領域情報の属性が参照され、当該属性が、線画、クリップアート（色数（例えば３２色）が限られたイラスト）、表であればベクトル化処理が可能であると判断されても良い。
【００６１】
また、例えば、ステップＳ７０１では、ベクトル化の計算量と処理速度を考慮して、色量子化結果が過分割と判断された図画領域の面積が一定値以上である場合に、ベクトル化処理が可能ではないと判定されても良い。
【００６２】
ステップＳ７０２では図画領域ベクトル化処理が行われる。ステップＳ７０２で実行される図画領域ベクトル化処理の一例として、特許文献３に開示されている処理を、図７を用いて以下で説明する。
【００６３】
図７のステップＳ７０２１〜Ｓ７０２４は、図６のステップＳ７０２で実行される図画領域ベクトル化処理の詳細な処理を示している。
【００６４】
まず、ステップＳ７０２１で、複数の色成分のうちの少なくとも１つ以上の色成分の解像度が粗い画像が、入力画像のもつ解像度と等しい解像度の画像に戻される。
【００６５】
本実施形態では、一例として、図画領域ベクトル化処理用画像２０４は、Ｙ：Ｃｂ：Ｃｒ＝４：１：１の画像であり、これが、ステップＳ７０２１において、高解像度なＲＧＢ画像２１２に変換される。
【００６６】
次に、ステップＳ７０２２で、図画領域にある各画素が、色の特徴に基づき、複数の領域に分割される。
【００６７】
次に、ステップＳ７０２３で、ステップＳ７０２２における図画領域の分割結果に基づいて、図画領域の背景部分と背景色が同定される。
【００６８】
次に、ステップＳ７０２４で、ステップ７０２３で実行された処理による同定結果に基づき、図画領域のうち背景以外の部分がベクトル化され、図画領域ベクトル２０７が生成される。
【００６９】
図７の中間情報２１５には、ステップＳ７０２２とステップＳ７０２３との処理の途中で生成される各種の情報が保持されている。例えば、中間情報２１５には、ステップＳ７０２３の同定処理の結果得られる図画領域の背景領域情報２１４が含まれる。また、例えば、中間情報２１５には、ステップＳ７０２３の同定処理の結果得られる図画領域の背景色２１３が含まれる。
【００７０】
なお、中間情報２１５には、背景領域情報２１４と図画領域の背景色２１３以外の情報が含まれても良い。
【００７１】
背景領域情報２１４および図画領域の背景色２１３は、後述する図８に示されている図画領域穴うめ処理Ｓ８０で使用される。図画領域穴うめ処理では、後述するように、図画領域のうち、図画ベクトル化された領域に相当する個所が穴埋め処理される。
【００７２】
一方、図６のステップＳ７０３では、画像切り出し処理が実行される。すなわち、ステップＳ７０３では、図画領域ベクトル化処理用画像２０４から、矩形画像が切り出される。
【００７３】
ステップＳ７０２４で生成された図画領域ベクトル２０７と、ステップＳ７０３で切り出された矩形画像は、領域情報として、記憶装置１１１に記録される。
【００７４】
以下、図画領域がベクトル化された場合の穴埋め処理Ｓ８０の詳細について、図８、１１を主に参照して説明する。
【００７５】
図１１（ａ）は、一例として、図画領域を含んでいる画像１１００を表している。
【００７６】
図１１（ｂ）は、ベクトル化の対象として抽出された図画領域を含むオブジェクト外接矩形８１を表している。また、背景領域８３は、図画領域を色の類似度により複数の領域に領域分割した結果から同定された背景領域である。
【００７７】
図１１（ａ），（ｂ）において、図画領域内背景８２は、図画領域内の背景を示している。
【００７８】
図１１（ｃ）は、図画領域における、背景領域８３以外のオブジェクト８７のみを示す図である。図１１（ｃ）において、境界部１（８５）は、オブジェクト８７と画像１１００の下地８４との境界である。また、図１１（ｃ）において、境界部２（８６）は、オブジェクト８７と背景領域８３との境界である。
【００７９】
図８は、図画領域穴埋め処理のフローチャートを示す図である。以下、図８について詳細に説明する。例えば、図８に示されている穴埋め処理を、図１１に一例として示されている図画領域を含んでいる画像１１００に適用することができる。
【００８０】
まず図８の、ステップＳ８０００で、初期化の処理が行われる。ステップＳ８０００の初期化の処理では、まず背景領域情報２１４から背景マスク画像が生成され、中間情報２１５に保持される。
【００８１】
ここで、背景マスク画像とは、高解像度化された１画素１ビットで生成された２値画像としてのビットマップとして生成され、図画領域における背景領域８２とそれ以外の領域とを、画素値がそれぞれ１か０かで判別できる画像である。
【００８２】
また、ステップＳ８０００では、画像１１００の図画領域の背景色２１３が中間情報２１５に確保される。
【００８３】
この際、画像１１００の図画領域に対応する画像のラスター走査順での処理を行なう準備のための一連の初期化処理が行われる。
【００８４】
ステップＳ８０００の初期化の処理が終了すると、ステップＳ８０１０へ処理が進む。
【００８５】
ステップＳ８０１０で、ラスター走査順に、画像１１００の図画領域に対応する部分画像の穴埋め処理が開始される。
【００８６】
まず、ステップＳ８０１０で、図画領域ベクトル化処理用画像２０４のＣｂデータがラスター走査される。そして、その時点でのラスター走査順の注目位置における画素が、図１１の境界部１（８５）でもなくかつ境界部２（８６）でもない図画領域内背景８２にある画素か否かが判定される。
【００８７】
図画領域ベクトル化処理用画像２０４とラスター走査順の注目位置における１画素は、ステップＳ８０００で生成された背景マスク画像の対応部分の２×２画素分に対応する。
【００８８】
そのため、ステップＳ８０１０では、例えば、背景マスク画像の対応部分の２×２画素の４画素の全てが図画領域内背景８２にある画素か否かが判定されても良い。
【００８９】
ステップＳ８０１０で、注目位置における画素が、図画領域内背景８２にある画素であると判定された場合には、ステップＳ８０５０に処理が進む。すなわち、図画領域内背景８２の画素値はそのまま保持される。
【００９０】
ステップＳ８０１０で、注目位置における画素が、図画領域内背景８２にある画素ではないと判定された場合には、ステップＳ８０２０に処理が進む。
【００９１】
ステップＳ８０２０では、この注目画素が図１１の境界部２（８６）の画素であるか否かが判定される。
【００９２】
ステップＳ８０２０では、以下の処理が実行されても良い。すなわち、ラスター走査順の注目位置の注目画素である背景マスク画像の２×２（＝４）画素のうち、いずれかの画素が図画領域内背景８２で、かつ、４画素中の残る画素がすべて図画領域内背景８２以外の領域の画素であるか否かが判定されても良い。
【００９３】
ステップＳ８０２０で、注目画素が境界部２（８６）の画素であると判定された場合には、ステップＳ８０７１に処理が進む。ステップＳ８０２０で、注目画素が境界部２（８６）の画素でないと判定された場合には、ステップＳ８０３０に処理が進む。
【００９４】
ステップＳ８０３０では、注目画素が図１１の境界部１（８５）の画素であるか否かが判定される。
【００９５】
ステップＳ８０３０では、以下の処理が実行されても良い。すなわち、ラスター走査順の注目位置の注目画素である背景マスク画像の２×２（＝４）画素のうち、いずれかの画素がオブジェクト８７の画素で、かつ、４画素中の残る画素のいずれかが下地８４の画素であるか否かが判定されても良い。
【００９６】
ステップＳ８０３０で、注目画素が境界部１（８５）の画素であると判定された場合には、ステップＳ８０８０に処理が進む。ステップＳ８０３０で、注目画素が境界部１（８５）の画素でないと判定された場合には、ステップＳ８０４１に処理が進む。
【００９７】
次に、ステップＳ８０４１で、中間情報から図画領域の背景色２１３が取得される。ここで、図画領域の背景色２１３には、ＲＧＢデータが保持されていても良い。
【００９８】
次に、ステップＳ８０４２で、図画領域の背景色２１３が変換される。ここで、例えば、ＲＧＢデータがＹＣｒＣｂデータに変換される。
【００９９】
次に、ステップＳ８０４３で、注目画素のＣｂデータ、Ｃｒデータ、及び、Ｙデータの全てが置き換えられる。
【０１００】
次に、ステップＳ８０５０で、図画領域のラスター走査順での処理が図画領域の最終画素まで進んだか否かが判定される。
【０１０１】
ステップＳ８０５０で、最終画素まで進んだと判定された場合には、処理が終了する。
【０１０２】
ステップＳ８０５０で、最終画素まで進んでいないと判定された場合には、ステップＳ８０６０に処理が進む。
【０１０３】
ステップＳ８０６０で、図画領域ベクトル化処理用画像２０４のＣｂデータ上での、その時点でのラスター走査順の注目位置が次の位置に進められて変更され、ステップＳ８０１０に処理が進む。
【０１０４】
また、Ｓ８０７１では、中間情報から図画領域の背景色２１３が取得される。ここで、図画領域の背景色２１３には、ＲＧＢデータが保持されていても良い。
【０１０５】
次に、ステップＳ８０７２で、図画領域の背景色２１３が変換される。ここで、例えば、ＲＧＢデータがＹＣｒＣｂデータに変換される。
【０１０６】
次に、ステップＳ８０７３で、注目画素のＣｂデータ、Ｃｒデータのみが置き換えられる。
【０１０７】
ステップＳ８０７３の処理が終了すると、ステップＳ８０５０へ処理が進む。
【０１０８】
また、ステップＳ８０８０では、図画領域ベクトル化処理用画像２０４上での、その時点でのラスター走査順の注目位置における注目画素のＹデータ、Ｃｂデータ、Ｃｒデータは、置き換えられず、そのままの値として残される。
【０１０９】
ステップＳ８０８０の処理が終了すると、ステップＳ８０５０へ処理が進む。
【０１１０】
以上で、本発明に係る画像処理装置を用いた図画領域の穴埋め処理に関する説明を終了する。
【０１１１】
図３のページ描画情報生成部３１０は、例えば、図９に示されているページ描画情報を生成する。
【０１１２】
図９は、ページ描画情報生成部３１０で生成されたデータの一例を示している。
【０１１３】
図９において、ページ描画情報２１００は、ページ描画情報生成部３１０で生成されるデータの全体構成例である。
【０１１４】
図９において、文字オブジェクト２１０１は、図３の領域解析部３０３が文字と判断した領域のベクトル変換結果と画像中の位置情報を保持する。同様に、写真オブジェクト２１０２、図画オブジェクト２１０３、背景オブジェクト２１０４は、それぞれ写真、図画、ページの背景と判断された領域のベクトル変換結果と画像中の位置情報を保持する。
【０１１５】
図９の書誌情報２１０５は、入力データの書誌情報を保持する。例えば、書誌情報２１０５は、ページ数、ページサイズ、入力機器情報、タイムスタンプを保持する。
【０１１６】
ページ描画情報生成部３１０は、生成したページ描画情報を、電子ファイルに変換する。
【０１１７】
ここで、例えば、ページ描画情報生成部３１０は、生成したページ描画情報を、図１のローカルＰＣ１０２ａ、１０２ｂで再生、編集が可能な電子ファイルへ変換しても良い。
【０１１８】
図１０は、本実施形態で用いることができるＸＭＬフォーマットに従って作られた電子ファイルの一例である電子ファイル２１１０を示す図である。
【０１１９】
図１０の記述２１１１は、図９の背景オブジェクト２１０４の画像を１ページ全体に描画する、ＸＭＬフォーマットによる記述である。
【０１２０】
図１０の記述２１１２は、図９の写真オブジェクト２１０２をページ内の指定箇所に描画する、ＸＭＬフォーマットによる記述である。
【０１２１】
図１０の記述２１１３は、図画オブジェクト２１０３をページ内の指定箇所に描画する、ＸＭＬフォーマットによる記述である。
【０１２２】
図１０の記述２１１４は、文字オブジェクト２１０１をページ内の指定箇所に描画する、ＸＭＬフォーマットによる記述である。
【０１２３】
図１０の電子ファイルを受けとった図１のローカルＰＣ１０２ａ、１０２ｂでは、記述２１１１〜２１１４に記述された情報を順に描画することができる。これにより、図１のローカルＰＣ１０２ａ、１０２ｂは、背景、写真、図画のベクトル、文字のベクトルを重ねあわせて元の文書と同等の外観を有すページを構成できる。また、記述２１１１〜２１１４の記述それぞれをオブジェクトとして編集用途に供することもできる。
【０１２４】
なお、図１０に示されている電子ファイル２１１０は、あくまで一例であって、他の一般に公開された記述形式が電子ファイルの記述に用いられてもよい。例えば、PDF、XPS、SVGなどのグラフィックページ記述、Office Open XML、Open Document Format などのページ編集データ記述などが、電子ファイルの記述に用いられてもよい。
【０１２５】
次に、図１２、１３を参照して、領域同士の関係を示す木構造に関して、以下で説明する。図１２は、領域同士の関係を示す木構造の生成処理の対象となる画像を領域分割した結果の例を示す。図１３は、領域同士の関係を示す木構造を示す。
【０１２６】
図１２の例では、最上部で、矩形ブロックＴ１、Ｔ２が横方向に並列されている。矩形ブロックＴ１、Ｔ２の下には横方向セパレータＳ１が存在し、横方向セパレータＳ１の下に矩形ブロックＴ３、Ｔ４、Ｔ５、Ｔ６、Ｔ７が存在する。
【０１２７】
図１２の矩形ブロックＴ３、Ｔ４、Ｔ５は、横方向セパレータＳ１下側の領域における左半部において上から下に、縦方向に配列され、矩形ブロックＴ６、Ｔ７は、横方向セパレータＳ１下側の領域における右半部において上下に配列されている。
【０１２８】
以上の処理結果は図１３の領域情報木構造として登録される。
【０１２９】
図１３において、入力画像Ｖ０は、最上位階層にグループＨ１、Ｈ２、セパレータＳ１を有し、グループＨ１には第２階層の矩形ブロックＴ１、Ｔ２が属する。
【０１３０】
グループＨ２には、第２階層のグループＶ１、Ｖ２が属し、グループＶ１には、第３階層の矩形ブロックＴ３、Ｔ４、Ｔ５が属し、グループＶ２には、第３階層の矩形ブロックＴ６、Ｔ７が属する。
【０１３１】
次に、図３の処理方法決定部３０５に関して、図１４〜１６を用いて説明をする。
【０１３２】
図１４の画像の領域解析の結果１４０１には、図画領域と文字領域が存在している。木構造１４０２は、画像の領域解析の結果１４０１の領域同士の関係を示している。図１４に示されている例では、図画領域と文字領域が重なっている。
【０１３３】
図３の処理方法決定部３０５は、木構造を解析して、領域同士が重なっているかそうでないかを判定する。図１４に示されている例では、図画領域内に文字領域が存在している。この場合に、図画領域の画素と文字領域の画素が混在しているので、処理方法決定部３０５は、図画領域と文字領域を含む領域の画像に対しては、文字領域の部分に対しても図画領域ベクトル化処理を行うようにする。
【０１３４】
図１５は、文字領域と図画領域の重なり方が図１４と異なる場合の画像の領域解析の結果１５０１を示している。木構造１５０２は、画像の領域解析の結果１５０１の領域同士の関係を示している。ここで、木構造１５０２から、画像の領域解析の結果１５０１において、文字領域と図画領域が重なっていることはわかる。ただし、図１５に示されている例では、画像の領域解析の結果１５０１は矩形で表しているので、実際の図画領域が存在する部分が矩形でない場合には、実際の図画領域でない部分も図画領域として扱われ、文字領域と重なっていると判定されている。図１５に示されている例では、文字領域は、木構造１５０２からは、図画領域と重なっていると判断されるが、図１４の場合と異なり、文字領域の画素と、実際の図画が存在する画素とを独立に扱うことができる。これは、領域情報の中に文字領域に関しては、文字領域を構成する画素の位置情報が入っているので、文字領域の画素と図画領域の画素とを区別して扱うことが可能であるからである。この場合には、文字領域の画像に対しては文字領域ベクトル化処理が行われ、その後、図画領域の画像に対して図画領域ベクトル化処理が行われる。
【０１３５】
図１６は、前述した処理方法決定部３０５が実行するフローチャートを示している。
【０１３６】
まず、図１６のステップＳ１６０２で、領域情報の取得が行われる。ここでは、図１４、１５に示されているような領域の木構造の情報が取得される。
【０１３７】
次に、ステップＳ１６０３で、ステップＳ１６０２で取得された木構造を解析して、領域同士の関係が解析され、ステップＳ１６０４で、領域が重なり合っているか否かが判定される。具体的には、文字領域と図画領域に重なりがあるかないかが判定される。
【０１３８】
ステップＳ１６０４で、文字領域と図画領域の重なりがないと判定された場合には、ステップＳ１６１２に処理が進む。ステップＳ１６０４で、文字領域と図画領域の重なりがあると判定された場合には、ステップＳ１６０５に処理が進む。
【０１３９】
ステップＳ１６０５では、文字領域に含まれる文字の画素と、実際の図画が存在する図画領域とについて、画素の重なりがあるか否かが判定される。例えば、図１５に示されているように、文字の画素が図画に直接重なっていないと判定された場合には、ステップＳ１６１２に処理が進む。一方、図１４のように、文字領域に含まれる文字の画素が実際の図画領域に重なっていると判定された場合には、ステップＳ１６０６に処理が進む。
【０１４０】
ステップＳ１６０６では、図画領域と文字領域とを含む画像から図画領域ベクトル化処理用画像が生成される。
【０１４１】
次に、ステップＳ１６０７で、ステップＳ１６０６で生成された図画領域ベクトル化処理用画像に対して、図画領域ベクトル化処理が行われる。すなわち、図画と文字とが重なっている場合は、文字の穴埋め処理を行われていない状態で、図画領域のベクトル化処理が行われ、図画領域のベクトルデータが生成される。
【０１４２】
次に、ステップＳ１６０８で、文字領域のみの画像から文字領域ベクトル化処理用画像が生成される。
【０１４３】
次に、ステップＳ１６０９で、ステップＳ１６０８で生成された文字領域ベクトル化処理用画像に対して文字ベクトル化処理が行われ、文字のベクトルデータが生成される。
【０１４４】
一方、ステップＳ１６１２では、文字領域のみの画像から文字領域ベクトル化処理用画像が生成される。
【０１４５】
次に、ステップＳ１６１３で、ステップＳ１６１２で生成された文字領域ベクトル化処理用画像に対して、文字領域ベクトル化処理が行われ、文字のベクトルデータが生成される。このとき、矩形の図画領域において、文字の画素があった部分に対しては穴埋め処理が行われる。
【０１４６】
次に、ステップＳ１６１４で、文字穴埋め処理後の矩形の図画領域の画像から図画領域ベクトル化処理用画像が生成される。
【０１４７】
次に、ステップＳ１６１５で、ステップＳ１６１４で生成された図画領域ベクトル化処理用画像に対して、図画領域ベクトル化処理が行われる。そして、ステップＳ１６１０に処理が進む。
【０１４８】
ステップＳ１６１０で、ページ描画情報がベクトルデータを用いて生成される。ステップＳ１６１０で、用いられるベクトルデータには、ステップＳ１６０７で生成された図画領域のベクトルデータとステップＳ１６０９で生成された文字領域のベクトルデータが含まれる。また、ステップＳ１６１０で、用いられるベクトルデータには、ステップＳ１６１３で生成された文字領域のベクトルデータとステップＳ１６１５で生成された図画領域のベクトルデータが含まれる。
【０１４９】
次に、ステップＳ１６１１で、ステップＳ１６１０で生成されたページ描画情報が変換されて電子ファイルが生成される。
【０１５０】
すなわち、文字と図画が重なっている場合、先に文字のベクトル化処理を行って文字部分の穴埋め処理を行った後に、図画のベクトル化処理を行うと、文字の穴埋め処理による画質劣化の影響で、図画部分の画質が悪くなる場合がある。そこで、上述したように、本実施形態では、文字と図画が重なっている場合は、先に図画領域のベクトル化処理を行うように構成している。
【０１５１】
＜実施形態２＞
以下、実施形態２について図１７を用いて説明する。
【０１５２】
図１７は、実施形態２に係る処理を実行するＭＦＰ１００の有する構成を説明するためのブロック図である。
【０１５３】
以下で、図１７に示されている構成について、詳細に説明する。
【０１５４】
まず、入力画像処理部１７０２は、画像入力を受け付ける。そして、入力画像処理部１７０２には、画像が入力される。そして、入力画像処理部１７０２は、入力画像に対して、入力画像に応じた周知の画像処理を行う。ここで、周知の画像処理は、例えば、色変換やフィルタ処理などであり、色変換やフィルタ処理以外の他の画像処理でも良い。
【０１５５】
領域解析部１７０３は、入力画像処理部１７０２から、画像処理後の画像を受け取り、この画像に対して領域解析を実行し、画像中の文字領域、図画領域等を判別し、領域を分割する。ここで、領域解析部１７０３は、例えば、特許文献２に開示されているような公知のカラー画像を領域分割する技術を用いても良い。
【０１５６】
そして、領域会席部１７０３は、カラー連結成分、文字、線画、写真、表、枠、ページ背景などの属性情報と位置情報をもち、領域同士の関係が木構造で表される領域情報を生成する。ここで、画像内の領域ごとの画像処理結果も領域情報に記録される。
【０１５７】
処理方法決定部１７０５は、前述した領域の木構造の状態に基づいて、画像処理の処理方法を決定する。処理方法決定部１７０５が実行する処理の詳細に関しては、後述する。
【０１５８】
文字領域ベクトル化処理部１７０６は、入力画像処理部１７０２から受け取った画像を、輝度情報のＹのみを取り出したグレースケール、解像度６００ｄｐｉに変換する。そして、文字領域ベクトル化処理部１７０６は、文字領域ベクトル化処理用の画像（文字領域ベクトル化処理用画像）を生成し、文字領域ベクトル化処理を実行する。文字領域ベクトル化処理については、例えば、図４、５を用いて既に説明した通りに行われる。
【０１５９】
また、文字領域について、文字領域ベクトル化処理部１７０６は、文字領域穴埋め処理を実行する。
【０１６０】
本実施形態では、文字領域穴埋め処理として、文字領域を文字領域の周囲の画素の平均色で塗る公知の方法が用いられる。
【０１６１】
ＯＣＲ処理部１７１３は、文字領域ベクトル化処理部から文字領域ベクトル化処理用画像を受け取り、この文字領域ベクトル化処理用画像をＯＣＲ処理（文字認識処理）する。
【０１６２】
図画領域ベクトル化処理部１７０８は、入力画像処理部１７０２により入力された画像を変換して、図画領域ベクトル化処理に適した図画領域ベクトル化処理用画像を生成する。図画領域を処理する際には色の情報が重要となるので、図画領域ベクトル化処理用画像には、カラー中解像度の画像が適している。
【０１６３】
図画領域ベクトル化処理部１７０８は、入力画像を、Ｙ：Ｃｒ：Ｃｂ＝４：１：１の形式で解像度３００ｄｐｉに変換し、図画領域ベクトル化処理用画像を生成し、その図画領域をベクトル化する。
【０１６４】
図画領域ベクトル化処理部１７０８が実行するベクトル化処理は、実施形態１に係る図画領域ベクトル化処理部３０８により実行されるベクトル化処理と同様であっても良い。
【０１６５】
ページ描画情報生成部１７１０は、例えば、図９に示されているページ描画情報を生成する。
【０１６６】
図１７の処理方法決定部１７０５が実行する処理に関して、図１８を用いて、以下で詳細に説明する。
【０１６７】
図１８は、前述した処理方法決定部１７０５が実行するフローチャートを示している。
【０１６８】
まず、図１８のステップＳ１８０２で、領域情報の取得が行われる。ここでは、図１４、１５に示されているような領域の木構造の情報が取得される。
【０１６９】
次に、ステップＳ１８０３で、ステップＳ１８０２で取得された木構造を解析して、領域同士の関係が解析される。例えば、図１４、１５に示したような解析が行われる。
【０１７０】
次に、ステップＳ１８０４で、領域が重なり合っているか否かが判定される。具体的には、文字領域と図画領域に重なりがあるかないかが判定される。
【０１７１】
ステップＳ１８０４で、文字領域と図画領域の重なりがないと判定された場合には、ステップＳ１８１２に処理が進む。ステップＳ１８０４で、文字領域と図画領域の重なりがあると判定された場合には、ステップＳ１８０５に処理が進む。
【０１７２】
ステップＳ１８０５では、文字領域に含まれる文字の画素と、実際の図画が存在する図画領域とについて、画素の重なりがあるか否かが判定される。例えば、図１５に示されているように、文字の画素が図画に直接重なっていないと判定された場合には、ステップＳ１８１２に処理が進む。一方、図１４のように、文字領域に含まれる文字の画素が実際の図画領域に重なっていると判定された場合には、ステップＳ１８０６に処理が進む。
【０１７３】
ステップＳ１８１２では、文字領域のみの画像から文字領域ベクトル化処理用画像が生成される。
【０１７４】
次に、ステップＳ１８１３で、ステップＳ１８１２で生成された文字領域ベクトル化処理用画像に対して、文字領域ベクトル化処理が行われ、文字のベクトルデータが生成される。このとき、矩形の図画領域において、文字の画素があった部分に対しては穴埋め処理が行われる。
【０１７５】
ステップＳ１８１４では、文字穴埋め処理後の矩形の図画領域の画像から図画領域ベクトル化処理用画像が生成される。
【０１７６】
次に、ステップＳ１８１５で、ステップＳ１８１４で生成された図画領域ベクトル化処理用画像に対して、図画領域ベクトル化処理が行われる。
【０１７７】
また、ステップＳ１８１３〜Ｓ１８１５の処理とは別に、ステップＳ１８１９で、ステップＳ１８１２で生成された文字領域ベクトル化処理用画像に対して公知のＯＣＲ（文字コード化）処理が行われる。そして、ステップＳ１８１３で得た文字のベクトルデータと、ステップＳ１８１５の処理によって生成された図画のベクトルデータと、ステップＳ１８１９の処理によって生成されたＯＣＲデータは、後述するステップＳ１８１０で用いられる。
【０１７８】
一方、ステップＳ１８０６では、図画領域と文字領域とを含む画像から図画領域ベクトル化処理用画像が生成される。
【０１７９】
次に、ステップＳ１８０７で、ステップＳ１８０６で生成された図画領域ベクトル化処理用画像に対して、図画領域ベクトル化処理が行われる。すなわち、図画と文字とが重なっている場合は、文字の穴埋め処理を行われていない状態で、図画領域のベクトル化処理が行われ、図画領域のベクトルデータが生成される。
【０１８０】
次に、ステップＳ１８０８で、文字領域のみの画像から文字領域ベクトル化処理用画像が生成される。
【０１８１】
次に、ステップＳ１８１７で、ステップＳ１８０８で生成された文字領域ベクトル化処理用画像に対してＯＣＲ（文字コード化）処理が行われる。
【０１８２】
次に、ステップＳ１８１８で、文字領域をベクトル化するか否かの判定が行われる。
ステップＳ１８１８の判定は、例えば、文字領域をベクトル化するか否かが設定されたパラメータが予め記憶されたレジスタを参照することにより実行することができる。
【０１８３】
ステップＳ１８１８で、文字領域をベクトル化すると判定された場合には、ステップＳ１８０９で、文字領域のベクトル化処理が行われ、ステップＳ１８１０へ処理が進む。
【０１８４】
ステップＳ１８１８で、文字領域をベクトル化しないと判定された場合には、ステップＳ１８１０へ処理が進む。
【０１８５】
ステップＳ１８１０では、ベクトルデータに基づいて、ページ描画情報が生成される。ステップＳ１８１０で用いられるベクトルデータには、ステップＳ１８１３で生成された文字のベクトルデータとステップＳ１８１５で生成された図画のベクトルデータとステップＳ１８１９で生成されたＯＣＲ結果の文字コードデータが含まれる。また、ステップＳ１８１０で用いられるベクトルデータには、ステップＳ１８０７で生成された図画のベクトルデータとステップＳ１８０９で生成された文字のベクトルデータとステップＳ１８１７で生成されたＯＣＲ結果の文字コードデータが含まれる。
【０１８６】
次に、ステップＳ１８１１で、ステップＳ１８１０で生成されたページ描画情報が変換されて電子ファイルが生成される。このときＯＣＲ結果の文字コードデータは、メタデータとして電子ファイルに付加される。
【０１８７】
以上説明したように、領域解析の結果、文字領域と図画領域の関係を考慮することによって、画像処理の処理方法を適応的に切り替えることができる。
【０１８８】
図２０は、実施形態１、２によって得られる効果の一例を示している。図２０（ａ）は、図画領域を切り出したものである。図２０（ｂ）は、実施形態１、２が適用された処理結果の一例を示しており、文字が図画に重なっている場合に、図画領域内の文字の穴埋め処理を行わずに、図画領域ベクトル化処理のみが行われ、１つの図画ベクトルデータに変換された画像である。図２０（ｃ）は、図画領域内の文字をＯＣＲして認識した文字コードを示しており、この文字コードは、図画領域に対するメタデータとして、実施形態２において生成される電子ファイルに付与される。これによって、高圧縮性と高画質性とを両立させて、利便性が高められた電子ファイルが提供される。
【０１８９】
＜その他の実施形態＞
本発明は、さらに、複数の機器（例えばコンピュータ、インターフェース機器、リーダ、プリンタなど）から構成されるシステムに適用することも、一つの機器からなる装置（複合機、プリンタ、ファクシミリ装置など）に適用することも可能である。
【０１９０】
また本発明の目的は、上述した実施形態で示したフローチャートの手順を実現するプログラムコードを記憶した記憶媒体から、システムあるいは装置のコンピュータ（またはＣＰＵやＭＰＵ）が、そのプログラムコードを読出し実行することによっても達成される。この場合、記憶媒体から読み出されたプログラムコード自体が上述した実施形態の機能を実現することになる。そのため、このプログラムコード及びプログラムコードを記憶／記録したコンピュータ読み取り可能な記憶媒体も本発明の一つを構成することになる。
【０１９１】
プログラムコードを供給するための記憶媒体としては、例えば、フロッピー（登録商標）ディスク、ハードディスク、光ディスク、光磁気ディスク、ＣＤ−ＲＯＭ、ＣＤ−Ｒ、磁気テープ、不揮発性のメモリカード、ＲＯＭなどを用いることができる。
【０１９２】
また、前述した実施形態の機能は、コンピュータが、読み出したプログラムを実行することによって実現される。また、このプログラムの実行とは、そのプログラムの指示に基づき、コンピュータ上で稼動しているＯＳなどが、実際の処理の一部または全部を行う場合も含まれる。
【０１９３】
さらに、前述した実施形態の機能は、コンピュータに挿入された機能拡張ボードやコンピュータに接続された機能拡張ユニットによっても実現することもできる。この場合、まず、記憶媒体から読み出されたプログラムが、コンピュータに挿入された機能拡張ボードやコンピュータに接続された機能拡張ユニットに備わるメモリに書き込まれる。その後、そのプログラムの指示に基づき、その機能拡張ボードや機能拡張ユニットに備わるＣＰＵなどが実際の処理の一部または全部を行う。こうした機能拡張ボードや機能拡張ユニットによる処理によっても前述した実施形態の機能が実現される。
【特許請求の範囲】
【請求項１】
入力画像を領域解析する領域解析手段と、
文字領域のベクトル化を行う文字領域ベクトル化手段と、
図画領域のベクトル化を行う図画領域ベクトル化手段と、
前記領域解析手段による領域解析の結果に基づいて、前記文字領域ベクトル化手段による処理と前記図画領域ベクトル化手段による処理とのいずれを先に行うかを決定する決定手段と、を備える画像処理装置であって、
前記決定手段は、前記文字領域の文字の画素が前記図画領域の図画に重なっていると判断した場合、前記図画領域ベクトル化手段による処理を先に行うように制御し、重なっていないと判断した場合、前記文字領域ベクトル化手段による処理を先に行うように制御することを特徴とする画像処理装置。
【請求項２】
前記図画領域ベクトル化手段は、前記図画領域をベクトル化処理可能か否か判断し、ベクトル化処理可能であると判断した場合に、当該図画領域のベクトル化処理を行ってベクトルデータを生成することを特徴とする請求項１に記載の画像処理装置。
【請求項３】
前記図画領域ベクトル化手段は、前記図画領域がベクトル化処理可能でないと判断した場合は、当該図画領域を画像として切り出すことを特徴とする請求項２に記載の画像処理装置。
【請求項４】
更に、前記文字領域を文字認識処理して文字コードを生成する文字認識手段を備えることを特徴とする請求項１乃至３のいずれかに記載の画像処理装置。
【請求項５】
前記文字領域ベクトル化手段で生成されるベクトルデータと、前記図画領域ベクトル化手段で生成されるベクトルデータとを含む電子ファイルを生成する電子ファイルの変換手段を更に備えることを特徴とする請求項１乃至４のいずれかに記載の画像処理装置。
【請求項６】
前記文字領域ベクトル化手段は、前記文字領域内の文字の輪郭に基づいてベクトルデータを生成するとともに、当該文字の部分の穴埋め処理を行うことを特徴とする請求項１乃至５のいずれかに記載の画像処理装置。
【請求項７】
領域解析手段が、入力画像を領域解析する領域解析ステップと、
決定手段が、前記領域解析ステップでの領域解析の結果に基づいて、文字領域ベクトル化手段による処理と図画領域ベクトル化手段による処理とのいずれを先に行うかを決定する決定ステップと、
前記文字領域ベクトル化手段が、文字領域のベクトル化を行う文字領域ベクトル化ステップと、
前記図画領域ベクトル化手段が、図画領域のベクトル化を行う図画領域ベクトル化ステップと、を備える画像処理装置であって、
前記決定ステップでは、前記文字領域の文字の画素が前記図画領域の図画に重なっていると判断した場合、前記図画領域ベクトル化手段による処理を先に行うように制御し、重なっていないと判断した場合、前記文字領域ベクトル化手段による処理を先に行うように制御することを特徴とする画像処理方法。
【請求項８】
コンピュータを、
入力画像を領域解析する領域解析手段、
文字領域のベクトル化を行う文字領域ベクトル化手段、
図画領域のベクトル化を行う図画領域ベクトル化手段、
前記領域解析手段による領域解析の結果に基づいて、前記文字領域ベクトル化手段による処理と前記図画領域ベクトル化手段による処理とのいずれを先に行うかを決定する決定手段、として機能させるためのプログラムであって、
前記決定手段では、前記文字領域の文字の画素が前記図画領域の図画に重なっていると判断した場合、前記図画領域ベクトル化手段による処理を先に行うように制御し、重なっていないと判断した場合、前記文字領域ベクトル化手段による処理を先に行うように制御することを特徴とするプログラム。
【請求項９】
請求項８に記載のプログラムを記憶した、コンピュータ読み取り可能な記憶媒体。
【請求項１】
入力画像を領域解析する領域解析手段と、
文字領域のベクトル化を行う文字領域ベクトル化手段と、
図画領域のベクトル化を行う図画領域ベクトル化手段と、
前記領域解析手段による領域解析の結果に基づいて、前記文字領域ベクトル化手段による処理と前記図画領域ベクトル化手段による処理とのいずれを先に行うかを決定する決定手段と、を備える画像処理装置であって、
前記決定手段は、前記文字領域の文字の画素が前記図画領域の図画に重なっていると判断した場合、前記図画領域ベクトル化手段による処理を先に行うように制御し、重なっていないと判断した場合、前記文字領域ベクトル化手段による処理を先に行うように制御することを特徴とする画像処理装置。
【請求項２】
前記図画領域ベクトル化手段は、前記図画領域をベクトル化処理可能か否か判断し、ベクトル化処理可能であると判断した場合に、当該図画領域のベクトル化処理を行ってベクトルデータを生成することを特徴とする請求項１に記載の画像処理装置。
【請求項３】
前記図画領域ベクトル化手段は、前記図画領域がベクトル化処理可能でないと判断した場合は、当該図画領域を画像として切り出すことを特徴とする請求項２に記載の画像処理装置。
【請求項４】
更に、前記文字領域を文字認識処理して文字コードを生成する文字認識手段を備えることを特徴とする請求項１乃至３のいずれかに記載の画像処理装置。
【請求項５】
前記文字領域ベクトル化手段で生成されるベクトルデータと、前記図画領域ベクトル化手段で生成されるベクトルデータとを含む電子ファイルを生成する電子ファイルの変換手段を更に備えることを特徴とする請求項１乃至４のいずれかに記載の画像処理装置。
【請求項６】
前記文字領域ベクトル化手段は、前記文字領域内の文字の輪郭に基づいてベクトルデータを生成するとともに、当該文字の部分の穴埋め処理を行うことを特徴とする請求項１乃至５のいずれかに記載の画像処理装置。
【請求項７】
領域解析手段が、入力画像を領域解析する領域解析ステップと、
決定手段が、前記領域解析ステップでの領域解析の結果に基づいて、文字領域ベクトル化手段による処理と図画領域ベクトル化手段による処理とのいずれを先に行うかを決定する決定ステップと、
前記文字領域ベクトル化手段が、文字領域のベクトル化を行う文字領域ベクトル化ステップと、
前記図画領域ベクトル化手段が、図画領域のベクトル化を行う図画領域ベクトル化ステップと、を備える画像処理装置であって、
前記決定ステップでは、前記文字領域の文字の画素が前記図画領域の図画に重なっていると判断した場合、前記図画領域ベクトル化手段による処理を先に行うように制御し、重なっていないと判断した場合、前記文字領域ベクトル化手段による処理を先に行うように制御することを特徴とする画像処理方法。
【請求項８】
コンピュータを、
入力画像を領域解析する領域解析手段、
文字領域のベクトル化を行う文字領域ベクトル化手段、
図画領域のベクトル化を行う図画領域ベクトル化手段、
前記領域解析手段による領域解析の結果に基づいて、前記文字領域ベクトル化手段による処理と前記図画領域ベクトル化手段による処理とのいずれを先に行うかを決定する決定手段、として機能させるためのプログラムであって、
前記決定手段では、前記文字領域の文字の画素が前記図画領域の図画に重なっていると判断した場合、前記図画領域ベクトル化手段による処理を先に行うように制御し、重なっていないと判断した場合、前記文字領域ベクトル化手段による処理を先に行うように制御することを特徴とするプログラム。
【請求項９】
請求項８に記載のプログラムを記憶した、コンピュータ読み取り可能な記憶媒体。
【図１】
【図２】
【図３】
【図４】
【図５】
【図６】
【図７】
【図８】
【図９】
【図１０】
【図１１】
【図１２】
【図１３】
【図１４】
【図１５】
【図１６】
【図１７】
【図１８】
【図１９】
【図２０】
【図２】
【図３】
【図４】
【図５】
【図６】
【図７】
【図８】
【図９】
【図１０】
【図１１】
【図１２】
【図１３】
【図１４】
【図１５】
【図１６】
【図１７】
【図１８】
【図１９】
【図２０】
【公開番号】特開２０１０−１８６２３６（Ｐ２０１０−１８６２３６Ａ）
【公開日】平成２２年８月２６日（２０１０．８．２６）
【国際特許分類】
【出願番号】特願２００９−２８５８３（Ｐ２００９−２８５８３）
【出願日】平成２１年２月１０日（２００９．２．１０）
【出願人】（０００００１００７）キヤノン株式会社 (59,756)
【Ｆターム（参考）】
【公開日】平成２２年８月２６日（２０１０．８．２６）
【国際特許分類】
【出願日】平成２１年２月１０日（２００９．２．１０）
【出願人】（０００００１００７）キヤノン株式会社 (59,756)
【Ｆターム（参考）】
[ Back to top ]