画像処理装置、画像処理方法及びプログラム
【課題】入力画像が撮像画像か純電子画像かを判別する。
【解決手段】画像処理装置は、画像データの入力処理を行う画像データ入力手段２０１と、前記画像データから文字矩形の抽出処理をする文字矩形抽出処理手段２０２と、前記文字矩形抽出処理手段２０２によって得られた文字矩形から文字要素をクラスタリングする文字クラスタリング処理手段２０３と、前記文字クラスタリング処理手段２０３によってクラスタリングされた文字要素に対して、重ね合わせをして差分を算出する差分算出手段２０４と、算出された差分値に基づいて差分値が所定の閾値以上か否かにより、光学的に読み込んだ画像データを示す撮像画像であるか否かを判断する画像種類判断手段２０５を備えている。
【解決手段】画像処理装置は、画像データの入力処理を行う画像データ入力手段２０１と、前記画像データから文字矩形の抽出処理をする文字矩形抽出処理手段２０２と、前記文字矩形抽出処理手段２０２によって得られた文字矩形から文字要素をクラスタリングする文字クラスタリング処理手段２０３と、前記文字クラスタリング処理手段２０３によってクラスタリングされた文字要素に対して、重ね合わせをして差分を算出する差分算出手段２０４と、算出された差分値に基づいて差分値が所定の閾値以上か否かにより、光学的に読み込んだ画像データを示す撮像画像であるか否かを判断する画像種類判断手段２０５を備えている。
【発明の詳細な説明】
【技術分野】
【０００１】
本発明は入力画像が撮像画像か純電子画像かを判別する画像処理装置、画像処理方法及びプログラムに関する。
【背景技術】
【０００２】
画像データは、従来から、例えば、ＰＤＦ（Portable Document Format）に格納されている画像を、再度ＯＣＲ（Optical Character Reader）などで画像処理を行ったり、文字認識したデータや、領域識別したデータを別の用途に再利用するなど、多様な用途に用いられている。
この画像データは、一般にスキャナ、ＣＣＤカメラなどで撮像した撮像画像と、文書アプリケーションや画像作成アプリケーションから直接ＰＤＦや画像に落とした画像データ（以下「純電子画像データ」と云う）の２種類に分類され、その処理は画像データの種類に応じて適不適がある。
【０００３】
即ち、画像が撮像画像であれば、通常の画像と同じ処理を行うことができるが、純電子画像の場合は、アナログ変換を通らないことで、ノイズレス、色のぶれなどもない高画質な画像となるはずのところ、ノイズなどが入っていることが前提の従来の認識系のパラメータ処理を行うと、画質が低下したり、処理時間が長くなるという問題がある。
ここで、認識系のパラメータ処理としては、例えばスキュー補正、ノイズ除去、天地識別処理などで画像データを補正する処理が挙げられる。しかし、純電子画像データではこれらの処理は不要であるだけではなく、それを行うと画質の低下や、無駄な処理時間を要することになる。
そのため、撮像画像と純電子画像データを区別して制御することが必要であり、そのためには、処理対象画像が撮像画像か否かを知る必要がある。
【０００４】
この点については、既に処理対象画像が撮像画像か否かを知るための装置及び方法が提案されている（特許文献１参照）。
即ち、特許文献１には、入力された画像データが撮像画像か純電子画像かを自動的に判定する画像処理装置が記載されており、この画像処理装置では、入力された画像データについて、処理対象となる領域としてその背景領域を特定し、特定した背景領域の画素値に着目して、例えば背景色のＲＧＢが一様であるか、ばらつきがあるかについて画素値の分散値を取得し、分散値が閾値以上か未満かによって、閾値以上であれば撮像画像と判断し、閾値未満であれば純電子画像と判断している。
【０００５】
しかしながら、特許文献１に記載された画像処理装置では、処理対象画像が撮像画像か否かの判断にあたり、その前提として文字矩形の抽出を行っていないために、文字認識のための処理に時間がかかるだけではなく、メモリも大きなものが必要となっている。
【発明の概要】
【発明が解決しようとする課題】
【０００６】
本発明は、前記従来の問題に鑑みてなされてものであって、その目的は画像データからそれが撮像画像か純電子画像データかの判別を、従来よりも短時間で行うことができ、かつメモリ量も低減できる画像処理装置等を提供することである。
【課題を解決するための手段】
【０００７】
請求項１の発明は、画像データの入力処理を行う画像データ入力手段と、前記画像データから、文字矩形の抽出処理をする文字矩形抽出処理手段と、前記文字矩形抽出処理手段によって得られた少なくとも１つ以上の文字矩形から文字要素をクラスタリングする文字クラスタリング処理手段と、前記文字クラスタリング処理手段によってクラスタリングされた文字要素に対して、重ね合わせをして差分を算出する差分算出手段と、前記差分算出手段によって算出された差分値に基づいて、前記差分値が所定の閾値以上か否かにより、光学的に読み込んだ画像データを示す撮像画像であるか、純電子画像であるかを判断する画像種類判断手段と、を備えた画像処理装置である。
請求項２の発明は、請求項１に記載された画像処理装置において、さらに、前記画像種類判断手段の判断に基づいて、前記画像データに対する画像処理を、撮像画像用又は純電子画像用の画像処理に切り換える手段を備えた画像処理装置である。
請求項３の発明は、画像処理装置における、画像データの入力処理を行う画像データ入力ステップと、前記画像データから、文字矩形抽出処理をする文字矩形抽出処理ステップと、前記文字矩形抽出処理ステップで得られた少なくとも１つ以上の文字矩形から文字要素をクラスタリングする文字クラスタリング処理ステップと、前記文字クラスタリング処理ステップによってクラスタリングされた文字要素に対して、重ね合わせをして差分を算出する差分算出ステップと、前記差分算出ステップによって算出された差分値に基づいて、前記差分値が所定の閾値以上か否かにより、光学的に読み込んだ画像データを示す撮像画像であるか純電子画像であるかを判断する画像種類判断ステップと、を有することを特徴とする画像処理方法である。
請求項４の発明は、請求項３に記載された画像処理方法において、さらに、前記画像種類判断ステップにおける判断に基づいて、前記画像データに対する画像処理を、撮像画像用又は純電子画像用の画像処理に切り換えるステップを有することを特徴とする画像処理方法である。
請求項５の発明は、コンピュータを、画像データの入力処理を行う画像データ入力手段、前記画像データから文字矩形抽出処理をする文字矩形抽出処理手段、前記文字矩形抽出処理手段によって得られた少なくとも１つ以上の文字矩形から文字要素をクラスタリングする文字クラスタリング処理手段、前記文字クラスタリング処理手段によってクラスタリングされた文字要素に対して、重ね合わせをして差分を算出する差分算出手段、前記差分算出手段によって算出された差分値に基づいて、所定の閾値以上か否かにより、光学的に読み込んだ画像データを示す撮像画像であるか純電子画像であるかを判断する画像種類判断手段、として機能させる画像処理プログラムである。
請求項６の発明は、請求項５に記載された画像処理プログラムにおいて、コンピュータを、さらに、前記画像種類判断手段の判断に基づいて、前記画像データに対する画像処理を、撮像画像又は純電子画像用の画像処理に切り換える手段として機能させる画像処理プログラムである。
【発明の効果】
【０００８】
本発明によれば、入力画像データから撮像画像と純電子画像を判別する際に、入力画像の文字矩形抽出を行い、抽出した文字矩形を用いて判別処理を行うため、従来の判別処理に比して処理時間の高速化、省メモリ化ができる。
また、入力画像の解像度に関係なく判別処理が可能であると共に、判別処理後においても、文字認識処理など文字矩形を利用して別の処理ができるため、その点からも無駄な処理やメモリを低減することができる。
【図面の簡単な説明】
【０００９】
【図１】本発明の実施形態に係る画像処理装置の構成図である。
【図２】図１の画像処理部の内部構成を示す図である。
【図３】前記画像処理部の処理手順を示すフロー図である。
【図４】図３のフローにおけるサブルーチンを示すフロー図である。
【図５】差分算出手段と画像種類判定手段での処理の具体例を説明する図である。
【発明を実施するための形態】
【００１０】
本発明の実施形態について図面を参照して説明する。
図１は、本発明の実施形態に係る画像処理装置の構成図である。
本画像処理装置は、全体の制御を行うＣＰＵ（Central Processing Unit）１０１と、原稿などを読み取るスキャナ部１０２と、ハードディスクやＣＤ／ＤＶＤ／メモリカードなどの外部記憶部１０３と、外部記憶部１０３から原稿ファイルを読み取った入力画像を記憶する入力画像メモリ部１０４と、入力画像をプレビュー表示する表示部１０５と、ユーザが領域を指定するための操作を行うパネル部１０６と、パネル部１０６において指定された領域情報を格納する領域情報格納部１０７と、文字認識をはじめとする画像処理を行う画像処理部１０８と、ネットワーク網１１０から入力画像を取得したり、外部記憶部１０３に記憶された処理結果の情報を配達する通信制御部１０９と、から成っている。
【００１１】
図２は、図１の画像処理部１０８の内部構成を示す図である。
この画像処理部１０８は、図示のように、画像データ入力手段２０１と、文字矩形抽出処理手段２０２と、文字クラスタリング処理手段２０３と、差分算出手段２０４と、画像種類判断手段２０５と、画像処理手段２０６とから成っている。
画像処理部１０８の前記各手段はいずれも、図示しない内部メモリ（ＲＯＭ（Read
Only Memory））に格納されたプログラムによって実現される機能実現手段である。そのプログラムはコンピュータ読取可能な周知の記録媒体に記録される。また、コンピュータはＣＰＵ１０１と図示しないＲＡＭ（Random Access Memory）及びＲＯＭで構成してもよいし、或いは画像処理部１０８専用のコンピュータであってもよい。
【００１２】
画像データ入力手段２０１は、スキャナ、デジタルカメラ、ネットワークなどにより、画像を取得する処理を行う。
文字矩形抽出処理手段２０２は、画像データ入力手段２０１で取得した画像データから文字矩形を抽出する処理を行う。この文字矩形の抽出は任意の方法でよいが、例えば、生成された文書画像の黒ランに基づいて、黒ランの外接矩形を求め、求めた黒ランの外接矩形から文字と見なせる矩形を抽出する処理を行うことで文字矩形の抽出を行う。文字要素と思われる矩形の判定は、例えばＯＣＲ処理可能な文字のサイズ制限に基づいて、矩形サイズを制限することにより実行可能である。
【００１３】
文字クラスタリング処理手段２０３は、文字矩形抽出処理手段２０２で抽出した文字矩形データから、文字要素である同一字形の文字データにクラスタリングする（切り分ける）処理を行う。即ち、文字には「撥ね」、「偏」、「旁」などの特徴があるので、ここでは、文字字形の「撥ね」、「偏」、「旁」などの特徴をクラスタリングする。
ここで、文字矩形をクラスタリングする具体的方法については、例えば、特開平１０−２０８０４０号公報に記載された「処理対象画像より、参照画像中のパターンと形状および色の両方が同一のパターンを抽出する」方法を用いる。
【００１４】
この方法は、例えば、パターンの形状と色の同一性を別々に判断する。まず、比較すべき文字矩形の二つのパターンの色相違度Ｄｃを、ＲＧＢ毎の入力画像と参照画像の差（の自乗）を矩形内の全画素にわたって加算して算出し、算出された色相違度が所定の閾値以下であるとき同一と判断し、次に、公知のパターンマッチング方法（例えば米国特許第５３０３３１３号明細書）で文字矩形のパターンの形状の同一性判断を行うものである。例えば、各パターンの各画素のＲＧＢ各濃度値から明度値を計算し、各パターンの明度のデータを用いてパターンマッチング処理を行い、このパターンマッチング処理で同一と判断された場合に、当該二つのパターンを同一のパターンと判断する。
【００１５】
また、パターンの形状と色の同一性を同時に判断する公知のパターンマッチング処理（例えば、米国特許第５３０３３１３号明細書に記載されたパターンマッチング処理）をＲＧＢの各色毎に行い、全てのパターンマッチングで同一と判断されたとき、当該パターンを形状及び色が同一と判断する方法でもよい。
なお、文字画像のクラスタリングは、次に示す既に公知の方法によってもよい。
特開２００７−０５８８８２「パターン認識装置」、
特開２００１−３３８２６４「文字認識パターン辞書作成装置、文字認識パターン辞書作成方法および記録媒体」、
特開平５−１７４１９３「文字認識方法」、
特開平４−１２３２８３「認識辞書作成方法」。
【００１６】
差分算出手段２０４は、文字クラスタリング処理手段２０３でクラスタリングされたデータを重ね合わせて、差分を算出する処理を行う。
その上で、クラスタリングした文字データ同士を重ねて差分を算出する。この場合、クラスタリングされた文字データに対して、クラスタリングした文字データ全てについて、もしくはその一部だけについて、差分を算出する。
具体的には、文字を示す画素で構成される文字領域単位で、図５に示すように、「あ」（図中左の「あ」（要素１）は黄色、中間の「あ」（要素２）は赤、右の「あ」（要素３）は緑に着色されているものとする）という文字画像の撥ね、偏、旁などの特徴をクラスタリングして、別の「あ」という文字画像をクラスタリングした特徴についてのデータベースを参照して、その特徴の全て、もしくは一部の特徴に対しての差分を算出する。
【００１７】
画像種類判断手段２０５は、差分算出手段２０４で算出した差分値と予め定めた閾値を比較し、その差分が閾値未満であれば純電子画像、閾値以上であれば撮像画像と判断する。つまり、例えば、クラスタリングした数値が一定の基準値内に入っているときは、差分が少ないとみなし、純電子画像と判断する。
図５の例では、データベースの要素１の別の「あ」（黄色）とクラスタリングした要素２の「あ」（赤）との差分値での判断結果は「一致度が低い」であり、前記要素１とクラスタリングした要素３の「あ」（緑）との差分値での判断結果は「一致度が高い」である。
【００１８】
画像処理手段２０６は、画像種類判断手段２０５で判断した判断結果にしたがって画像処理を切り換える手段を備え、それによって、判断された画像に適した処理を行うことができる。画像処理手段２０６の画像処理には、撮像画像に対するスキュー補正、ノイズ除去、天地識別などの画像データを補正処理や、純電子画像ではこれらの処理を省略する処理など画像に適した処理以外に、文字矩形を利用した処理も含まれる。
【００１９】
図３は前記画像処理部１０８の処理手順を示すフロー図である。
図３において、本画像処理部１０８に画像データが入力されると（Ｓ１０１）、続いて画像判定を行い（Ｓ１０２）、画像判定後、その判定結果に基づきそれに応じた画像処理、或いは文字矩形データを利用した文字認識などの処理を行う（Ｓ１０３）。
【００２０】
図４は図３のステップＳ１０２、Ｓ１０３の画像判定処理のサブルーチンである。
図４において、画像データ入力手段２０１がスキャナ、デジタルカメラ、ネットワークなどにより、画像を取得すると（Ｓ２０１）、文字矩形抽出処理手段２０２は、画像データ入力手段２０１で取得した画像データから文字矩形を抽出する（Ｓ２０２）。
続いて、文字クラスタリング処理手段２０３は、文字矩形抽出処理手段２０２で抽出した文字矩形データから、同一字形の文字データにクラスタリングを行い（Ｓ２０３）、差分算出手段２０４は、文字クラスタリング処理手段２０３でクラスタリングされたデータを重ね合わせて、その差分を算出する（Ｓ２０４）。
【００２１】
画像種類判断手段２０５は、差分算出手段２０４で算出した差分値から前記重ね合わせた文字矩形データの一致度を判断し（Ｓ２０５）、一致度が低い、つまり差分値が予め設定した閾値未満であれば、撮像画像と判定し、撮像画像を想定した制御を行い、或いは撮像画像を特定するパラメータを設定し（Ｓ２０６）、差分値が設定した閾値以上であれば純電子画像と判定し、純電子画像を想定した制御を行うか、或いは純電子画像を特定するパラメータを設定して（Ｓ２０７）、ルーチンを終了する。
【００２２】
以上のように、本実施形態では、入力画像から文字矩形を抽出し、その文字矩形をクラスタリングする。クラスタリングされた矩形に対して、その文字矩形の中のビットマップの一致度を見る。一致度を見るための方法には、クラスタリングされた文字の字形を重ね合わせて差分を見て、差分が少ない、即ち一致度が高い要素が多ければ、純電子画像として判別する（図５はこの処理のイメージを示したものである）。これらの処理は入力画像の解像度に関係なく行うことができる。
【００２３】
以上説明したように、本実施形態によれば、画像入力と同時に、その画像を入力した手段（画像読取によるものか、文書アプリケーションによるものか）をパラメータとして取得することで、その画像に応じた処理を行う（例えば、純電子画像であれば、文字コード情報は画像情報からＯＣＲなどの手法を用いて取得するよりも、もともとの電子情報から抽出が可能であればその方が精度の良いデータが得られる。これに対し撮像画像であれば、ＯＣＲを利用することで文字コードデータを得ることができる）。
【００２４】
また、この処理によって得られた文字矩形は、次の画像処理手段２０６にて用いることもできる。次の画像処理手段２０６には、文字や写真、表という領域を識別する処理や、文字認識処理などをはじめとする画像処理を行うことができる。
また、本画像処理方法は、上記画像データのカテゴリごとに文字認識する技術と組み合わせて、ＯＣＲを高速化することもできるなどの応用例を追加する（効果を挙げる）ことができる。
【００２５】
つまり、既に述べたように、撮像画像であれば、通常の画像と同じ処理で扱ってよいが、純電子画像であれば、アナログ変換が通らないため、ノイズなどが入っていることが前提となる従来の認識系のパラメータ処理を行うと、画質が低下したり、処理時間が長くなるという問題がある。
これに対し、本実施形態では、撮像画像と純電子画像データを区別して制御する、つまり文字矩形の中にある画素の一致度を見て、判定を行い、その結果から撮像画像か否かを判定して、その画像に適した処理を行うため、例えば純電子画像データはスキュー補正、ノイズ除去、天地識別などの画像データを補正する処理を省略することができ、処理時間の高速化、省メモリ化の効果がある。
【符号の説明】
【００２６】
１０１・・・ＣＰＵ、１０２・・スキャナ部、１０３・・・外部記憶部、１０４・・・入力画像メモリ部、１０５・・・表示部、１０６・・・パネル部、１０７・・・領域情報格納部、１０８・・・画像処理部、１０９・・・通信制御部、１１０・・・ネットワーク網、２０１・・・画像データ入力手段、２０２・・・文字矩形抽出処理手段、２０３・・・文字クラスタリング処理手段、２０４・・・差分算出手段、２０５・・・画像種類判断手段、２０６・・・画像処理手段。
【先行技術文献】
【特許文献】
【００２７】
【特許文献１】特開２００８−２５２８６２号公報
【技術分野】
【０００１】
本発明は入力画像が撮像画像か純電子画像かを判別する画像処理装置、画像処理方法及びプログラムに関する。
【背景技術】
【０００２】
画像データは、従来から、例えば、ＰＤＦ（Portable Document Format）に格納されている画像を、再度ＯＣＲ（Optical Character Reader）などで画像処理を行ったり、文字認識したデータや、領域識別したデータを別の用途に再利用するなど、多様な用途に用いられている。
この画像データは、一般にスキャナ、ＣＣＤカメラなどで撮像した撮像画像と、文書アプリケーションや画像作成アプリケーションから直接ＰＤＦや画像に落とした画像データ（以下「純電子画像データ」と云う）の２種類に分類され、その処理は画像データの種類に応じて適不適がある。
【０００３】
即ち、画像が撮像画像であれば、通常の画像と同じ処理を行うことができるが、純電子画像の場合は、アナログ変換を通らないことで、ノイズレス、色のぶれなどもない高画質な画像となるはずのところ、ノイズなどが入っていることが前提の従来の認識系のパラメータ処理を行うと、画質が低下したり、処理時間が長くなるという問題がある。
ここで、認識系のパラメータ処理としては、例えばスキュー補正、ノイズ除去、天地識別処理などで画像データを補正する処理が挙げられる。しかし、純電子画像データではこれらの処理は不要であるだけではなく、それを行うと画質の低下や、無駄な処理時間を要することになる。
そのため、撮像画像と純電子画像データを区別して制御することが必要であり、そのためには、処理対象画像が撮像画像か否かを知る必要がある。
【０００４】
この点については、既に処理対象画像が撮像画像か否かを知るための装置及び方法が提案されている（特許文献１参照）。
即ち、特許文献１には、入力された画像データが撮像画像か純電子画像かを自動的に判定する画像処理装置が記載されており、この画像処理装置では、入力された画像データについて、処理対象となる領域としてその背景領域を特定し、特定した背景領域の画素値に着目して、例えば背景色のＲＧＢが一様であるか、ばらつきがあるかについて画素値の分散値を取得し、分散値が閾値以上か未満かによって、閾値以上であれば撮像画像と判断し、閾値未満であれば純電子画像と判断している。
【０００５】
しかしながら、特許文献１に記載された画像処理装置では、処理対象画像が撮像画像か否かの判断にあたり、その前提として文字矩形の抽出を行っていないために、文字認識のための処理に時間がかかるだけではなく、メモリも大きなものが必要となっている。
【発明の概要】
【発明が解決しようとする課題】
【０００６】
本発明は、前記従来の問題に鑑みてなされてものであって、その目的は画像データからそれが撮像画像か純電子画像データかの判別を、従来よりも短時間で行うことができ、かつメモリ量も低減できる画像処理装置等を提供することである。
【課題を解決するための手段】
【０００７】
請求項１の発明は、画像データの入力処理を行う画像データ入力手段と、前記画像データから、文字矩形の抽出処理をする文字矩形抽出処理手段と、前記文字矩形抽出処理手段によって得られた少なくとも１つ以上の文字矩形から文字要素をクラスタリングする文字クラスタリング処理手段と、前記文字クラスタリング処理手段によってクラスタリングされた文字要素に対して、重ね合わせをして差分を算出する差分算出手段と、前記差分算出手段によって算出された差分値に基づいて、前記差分値が所定の閾値以上か否かにより、光学的に読み込んだ画像データを示す撮像画像であるか、純電子画像であるかを判断する画像種類判断手段と、を備えた画像処理装置である。
請求項２の発明は、請求項１に記載された画像処理装置において、さらに、前記画像種類判断手段の判断に基づいて、前記画像データに対する画像処理を、撮像画像用又は純電子画像用の画像処理に切り換える手段を備えた画像処理装置である。
請求項３の発明は、画像処理装置における、画像データの入力処理を行う画像データ入力ステップと、前記画像データから、文字矩形抽出処理をする文字矩形抽出処理ステップと、前記文字矩形抽出処理ステップで得られた少なくとも１つ以上の文字矩形から文字要素をクラスタリングする文字クラスタリング処理ステップと、前記文字クラスタリング処理ステップによってクラスタリングされた文字要素に対して、重ね合わせをして差分を算出する差分算出ステップと、前記差分算出ステップによって算出された差分値に基づいて、前記差分値が所定の閾値以上か否かにより、光学的に読み込んだ画像データを示す撮像画像であるか純電子画像であるかを判断する画像種類判断ステップと、を有することを特徴とする画像処理方法である。
請求項４の発明は、請求項３に記載された画像処理方法において、さらに、前記画像種類判断ステップにおける判断に基づいて、前記画像データに対する画像処理を、撮像画像用又は純電子画像用の画像処理に切り換えるステップを有することを特徴とする画像処理方法である。
請求項５の発明は、コンピュータを、画像データの入力処理を行う画像データ入力手段、前記画像データから文字矩形抽出処理をする文字矩形抽出処理手段、前記文字矩形抽出処理手段によって得られた少なくとも１つ以上の文字矩形から文字要素をクラスタリングする文字クラスタリング処理手段、前記文字クラスタリング処理手段によってクラスタリングされた文字要素に対して、重ね合わせをして差分を算出する差分算出手段、前記差分算出手段によって算出された差分値に基づいて、所定の閾値以上か否かにより、光学的に読み込んだ画像データを示す撮像画像であるか純電子画像であるかを判断する画像種類判断手段、として機能させる画像処理プログラムである。
請求項６の発明は、請求項５に記載された画像処理プログラムにおいて、コンピュータを、さらに、前記画像種類判断手段の判断に基づいて、前記画像データに対する画像処理を、撮像画像又は純電子画像用の画像処理に切り換える手段として機能させる画像処理プログラムである。
【発明の効果】
【０００８】
本発明によれば、入力画像データから撮像画像と純電子画像を判別する際に、入力画像の文字矩形抽出を行い、抽出した文字矩形を用いて判別処理を行うため、従来の判別処理に比して処理時間の高速化、省メモリ化ができる。
また、入力画像の解像度に関係なく判別処理が可能であると共に、判別処理後においても、文字認識処理など文字矩形を利用して別の処理ができるため、その点からも無駄な処理やメモリを低減することができる。
【図面の簡単な説明】
【０００９】
【図１】本発明の実施形態に係る画像処理装置の構成図である。
【図２】図１の画像処理部の内部構成を示す図である。
【図３】前記画像処理部の処理手順を示すフロー図である。
【図４】図３のフローにおけるサブルーチンを示すフロー図である。
【図５】差分算出手段と画像種類判定手段での処理の具体例を説明する図である。
【発明を実施するための形態】
【００１０】
本発明の実施形態について図面を参照して説明する。
図１は、本発明の実施形態に係る画像処理装置の構成図である。
本画像処理装置は、全体の制御を行うＣＰＵ（Central Processing Unit）１０１と、原稿などを読み取るスキャナ部１０２と、ハードディスクやＣＤ／ＤＶＤ／メモリカードなどの外部記憶部１０３と、外部記憶部１０３から原稿ファイルを読み取った入力画像を記憶する入力画像メモリ部１０４と、入力画像をプレビュー表示する表示部１０５と、ユーザが領域を指定するための操作を行うパネル部１０６と、パネル部１０６において指定された領域情報を格納する領域情報格納部１０７と、文字認識をはじめとする画像処理を行う画像処理部１０８と、ネットワーク網１１０から入力画像を取得したり、外部記憶部１０３に記憶された処理結果の情報を配達する通信制御部１０９と、から成っている。
【００１１】
図２は、図１の画像処理部１０８の内部構成を示す図である。
この画像処理部１０８は、図示のように、画像データ入力手段２０１と、文字矩形抽出処理手段２０２と、文字クラスタリング処理手段２０３と、差分算出手段２０４と、画像種類判断手段２０５と、画像処理手段２０６とから成っている。
画像処理部１０８の前記各手段はいずれも、図示しない内部メモリ（ＲＯＭ（Read
Only Memory））に格納されたプログラムによって実現される機能実現手段である。そのプログラムはコンピュータ読取可能な周知の記録媒体に記録される。また、コンピュータはＣＰＵ１０１と図示しないＲＡＭ（Random Access Memory）及びＲＯＭで構成してもよいし、或いは画像処理部１０８専用のコンピュータであってもよい。
【００１２】
画像データ入力手段２０１は、スキャナ、デジタルカメラ、ネットワークなどにより、画像を取得する処理を行う。
文字矩形抽出処理手段２０２は、画像データ入力手段２０１で取得した画像データから文字矩形を抽出する処理を行う。この文字矩形の抽出は任意の方法でよいが、例えば、生成された文書画像の黒ランに基づいて、黒ランの外接矩形を求め、求めた黒ランの外接矩形から文字と見なせる矩形を抽出する処理を行うことで文字矩形の抽出を行う。文字要素と思われる矩形の判定は、例えばＯＣＲ処理可能な文字のサイズ制限に基づいて、矩形サイズを制限することにより実行可能である。
【００１３】
文字クラスタリング処理手段２０３は、文字矩形抽出処理手段２０２で抽出した文字矩形データから、文字要素である同一字形の文字データにクラスタリングする（切り分ける）処理を行う。即ち、文字には「撥ね」、「偏」、「旁」などの特徴があるので、ここでは、文字字形の「撥ね」、「偏」、「旁」などの特徴をクラスタリングする。
ここで、文字矩形をクラスタリングする具体的方法については、例えば、特開平１０−２０８０４０号公報に記載された「処理対象画像より、参照画像中のパターンと形状および色の両方が同一のパターンを抽出する」方法を用いる。
【００１４】
この方法は、例えば、パターンの形状と色の同一性を別々に判断する。まず、比較すべき文字矩形の二つのパターンの色相違度Ｄｃを、ＲＧＢ毎の入力画像と参照画像の差（の自乗）を矩形内の全画素にわたって加算して算出し、算出された色相違度が所定の閾値以下であるとき同一と判断し、次に、公知のパターンマッチング方法（例えば米国特許第５３０３３１３号明細書）で文字矩形のパターンの形状の同一性判断を行うものである。例えば、各パターンの各画素のＲＧＢ各濃度値から明度値を計算し、各パターンの明度のデータを用いてパターンマッチング処理を行い、このパターンマッチング処理で同一と判断された場合に、当該二つのパターンを同一のパターンと判断する。
【００１５】
また、パターンの形状と色の同一性を同時に判断する公知のパターンマッチング処理（例えば、米国特許第５３０３３１３号明細書に記載されたパターンマッチング処理）をＲＧＢの各色毎に行い、全てのパターンマッチングで同一と判断されたとき、当該パターンを形状及び色が同一と判断する方法でもよい。
なお、文字画像のクラスタリングは、次に示す既に公知の方法によってもよい。
特開２００７−０５８８８２「パターン認識装置」、
特開２００１−３３８２６４「文字認識パターン辞書作成装置、文字認識パターン辞書作成方法および記録媒体」、
特開平５−１７４１９３「文字認識方法」、
特開平４−１２３２８３「認識辞書作成方法」。
【００１６】
差分算出手段２０４は、文字クラスタリング処理手段２０３でクラスタリングされたデータを重ね合わせて、差分を算出する処理を行う。
その上で、クラスタリングした文字データ同士を重ねて差分を算出する。この場合、クラスタリングされた文字データに対して、クラスタリングした文字データ全てについて、もしくはその一部だけについて、差分を算出する。
具体的には、文字を示す画素で構成される文字領域単位で、図５に示すように、「あ」（図中左の「あ」（要素１）は黄色、中間の「あ」（要素２）は赤、右の「あ」（要素３）は緑に着色されているものとする）という文字画像の撥ね、偏、旁などの特徴をクラスタリングして、別の「あ」という文字画像をクラスタリングした特徴についてのデータベースを参照して、その特徴の全て、もしくは一部の特徴に対しての差分を算出する。
【００１７】
画像種類判断手段２０５は、差分算出手段２０４で算出した差分値と予め定めた閾値を比較し、その差分が閾値未満であれば純電子画像、閾値以上であれば撮像画像と判断する。つまり、例えば、クラスタリングした数値が一定の基準値内に入っているときは、差分が少ないとみなし、純電子画像と判断する。
図５の例では、データベースの要素１の別の「あ」（黄色）とクラスタリングした要素２の「あ」（赤）との差分値での判断結果は「一致度が低い」であり、前記要素１とクラスタリングした要素３の「あ」（緑）との差分値での判断結果は「一致度が高い」である。
【００１８】
画像処理手段２０６は、画像種類判断手段２０５で判断した判断結果にしたがって画像処理を切り換える手段を備え、それによって、判断された画像に適した処理を行うことができる。画像処理手段２０６の画像処理には、撮像画像に対するスキュー補正、ノイズ除去、天地識別などの画像データを補正処理や、純電子画像ではこれらの処理を省略する処理など画像に適した処理以外に、文字矩形を利用した処理も含まれる。
【００１９】
図３は前記画像処理部１０８の処理手順を示すフロー図である。
図３において、本画像処理部１０８に画像データが入力されると（Ｓ１０１）、続いて画像判定を行い（Ｓ１０２）、画像判定後、その判定結果に基づきそれに応じた画像処理、或いは文字矩形データを利用した文字認識などの処理を行う（Ｓ１０３）。
【００２０】
図４は図３のステップＳ１０２、Ｓ１０３の画像判定処理のサブルーチンである。
図４において、画像データ入力手段２０１がスキャナ、デジタルカメラ、ネットワークなどにより、画像を取得すると（Ｓ２０１）、文字矩形抽出処理手段２０２は、画像データ入力手段２０１で取得した画像データから文字矩形を抽出する（Ｓ２０２）。
続いて、文字クラスタリング処理手段２０３は、文字矩形抽出処理手段２０２で抽出した文字矩形データから、同一字形の文字データにクラスタリングを行い（Ｓ２０３）、差分算出手段２０４は、文字クラスタリング処理手段２０３でクラスタリングされたデータを重ね合わせて、その差分を算出する（Ｓ２０４）。
【００２１】
画像種類判断手段２０５は、差分算出手段２０４で算出した差分値から前記重ね合わせた文字矩形データの一致度を判断し（Ｓ２０５）、一致度が低い、つまり差分値が予め設定した閾値未満であれば、撮像画像と判定し、撮像画像を想定した制御を行い、或いは撮像画像を特定するパラメータを設定し（Ｓ２０６）、差分値が設定した閾値以上であれば純電子画像と判定し、純電子画像を想定した制御を行うか、或いは純電子画像を特定するパラメータを設定して（Ｓ２０７）、ルーチンを終了する。
【００２２】
以上のように、本実施形態では、入力画像から文字矩形を抽出し、その文字矩形をクラスタリングする。クラスタリングされた矩形に対して、その文字矩形の中のビットマップの一致度を見る。一致度を見るための方法には、クラスタリングされた文字の字形を重ね合わせて差分を見て、差分が少ない、即ち一致度が高い要素が多ければ、純電子画像として判別する（図５はこの処理のイメージを示したものである）。これらの処理は入力画像の解像度に関係なく行うことができる。
【００２３】
以上説明したように、本実施形態によれば、画像入力と同時に、その画像を入力した手段（画像読取によるものか、文書アプリケーションによるものか）をパラメータとして取得することで、その画像に応じた処理を行う（例えば、純電子画像であれば、文字コード情報は画像情報からＯＣＲなどの手法を用いて取得するよりも、もともとの電子情報から抽出が可能であればその方が精度の良いデータが得られる。これに対し撮像画像であれば、ＯＣＲを利用することで文字コードデータを得ることができる）。
【００２４】
また、この処理によって得られた文字矩形は、次の画像処理手段２０６にて用いることもできる。次の画像処理手段２０６には、文字や写真、表という領域を識別する処理や、文字認識処理などをはじめとする画像処理を行うことができる。
また、本画像処理方法は、上記画像データのカテゴリごとに文字認識する技術と組み合わせて、ＯＣＲを高速化することもできるなどの応用例を追加する（効果を挙げる）ことができる。
【００２５】
つまり、既に述べたように、撮像画像であれば、通常の画像と同じ処理で扱ってよいが、純電子画像であれば、アナログ変換が通らないため、ノイズなどが入っていることが前提となる従来の認識系のパラメータ処理を行うと、画質が低下したり、処理時間が長くなるという問題がある。
これに対し、本実施形態では、撮像画像と純電子画像データを区別して制御する、つまり文字矩形の中にある画素の一致度を見て、判定を行い、その結果から撮像画像か否かを判定して、その画像に適した処理を行うため、例えば純電子画像データはスキュー補正、ノイズ除去、天地識別などの画像データを補正する処理を省略することができ、処理時間の高速化、省メモリ化の効果がある。
【符号の説明】
【００２６】
１０１・・・ＣＰＵ、１０２・・スキャナ部、１０３・・・外部記憶部、１０４・・・入力画像メモリ部、１０５・・・表示部、１０６・・・パネル部、１０７・・・領域情報格納部、１０８・・・画像処理部、１０９・・・通信制御部、１１０・・・ネットワーク網、２０１・・・画像データ入力手段、２０２・・・文字矩形抽出処理手段、２０３・・・文字クラスタリング処理手段、２０４・・・差分算出手段、２０５・・・画像種類判断手段、２０６・・・画像処理手段。
【先行技術文献】
【特許文献】
【００２７】
【特許文献１】特開２００８−２５２８６２号公報
【特許請求の範囲】
【請求項１】
画像データの入力処理を行う画像データ入力手段と、前記画像データから、文字矩形の抽出処理をする文字矩形抽出処理手段と、前記文字矩形抽出処理手段によって得られた少なくとも１つ以上の文字矩形から文字要素をクラスタリングする文字クラスタリング処理手段と、前記文字クラスタリング処理手段によってクラスタリングされた文字要素に対して、重ね合わせをして差分を算出する差分算出手段と、前記差分算出手段によって算出された差分値に基づいて、前記差分値が所定の閾値以上か否かにより、光学的に読み込んだ画像データを示す撮像画像であるか純電子画像であるかを判断する画像種類判断手段と、を備えた画像処理装置。
【請求項２】
請求項１に記載された画像処理装置において、
さらに、前記画像種類判断手段の判断に基づいて、前記画像データに対する画像処理を、撮像画像用又は純電子画像用の画像処理に切り換える手段を備えた画像処理装置。
【請求項３】
画像処理装置における、画像データの入力処理を行う画像データ入力ステップと、前記画像データから、文字矩形抽出処理をする文字矩形抽出処理ステップと、前記文字矩形抽出処理ステップで得られた少なくとも１つ以上の文字矩形から文字要素をクラスタリングする文字クラスタリング処理ステップと、前記文字クラスタリング処理ステップによってクラスタリングされた文字要素に対して、重ね合わせをして差分を算出する差分算出ステップと、前記差分算出ステップによって算出された差分値に基づいて、前記差分値が所定の閾値以上か否かにより、光学的に読み込んだ画像データを示す撮像画像であるか純電子画像であるかを判断する画像種類判断ステップと、を有することを特徴とする画像処理方法。
【請求項４】
請求項３に記載された画像処理方法において、
さらに、前記画像種類判断ステップにおける判断に基づいて、前記画像データに対する画像処理を、撮像画像用又は純電子画像用の画像処理に切り換えるステップを有することを特徴とする画像処理方法。
【請求項５】
コンピュータを、画像データの入力処理を行う画像データ入力手段、前記画像データから文字矩形抽出処理をする文字矩形抽出処理手段、前記文字矩形抽出処理手段によって得られた少なくとも１つ以上の文字矩形から文字要素をクラスタリングする文字クラスタリング処理手段、前記文字クラスタリング処理手段によってクラスタリングされた文字要素に対して、重ね合わせをして差分を算出する差分算出手段、前記差分算出手段によって算出された差分値に基づいて、所定の閾値以上か否かにより、光学的に読み込んだ画像データを示す撮像画像であるか純電子画像であるかを判断する画像種類判断手段、として機能させる画像処理プログラム。
【請求項６】
請求項５に記載された画像処理プログラムにおいて、
コンピュータを、さらに、前記画像種類判断手段の判断に基づいて、前記画像データに対する画像処理を、撮像画像用又は純電子画像用の画像処理に切り換える手段として機能させる画像処理プログラム。
【請求項１】
画像データの入力処理を行う画像データ入力手段と、前記画像データから、文字矩形の抽出処理をする文字矩形抽出処理手段と、前記文字矩形抽出処理手段によって得られた少なくとも１つ以上の文字矩形から文字要素をクラスタリングする文字クラスタリング処理手段と、前記文字クラスタリング処理手段によってクラスタリングされた文字要素に対して、重ね合わせをして差分を算出する差分算出手段と、前記差分算出手段によって算出された差分値に基づいて、前記差分値が所定の閾値以上か否かにより、光学的に読み込んだ画像データを示す撮像画像であるか純電子画像であるかを判断する画像種類判断手段と、を備えた画像処理装置。
【請求項２】
請求項１に記載された画像処理装置において、
さらに、前記画像種類判断手段の判断に基づいて、前記画像データに対する画像処理を、撮像画像用又は純電子画像用の画像処理に切り換える手段を備えた画像処理装置。
【請求項３】
画像処理装置における、画像データの入力処理を行う画像データ入力ステップと、前記画像データから、文字矩形抽出処理をする文字矩形抽出処理ステップと、前記文字矩形抽出処理ステップで得られた少なくとも１つ以上の文字矩形から文字要素をクラスタリングする文字クラスタリング処理ステップと、前記文字クラスタリング処理ステップによってクラスタリングされた文字要素に対して、重ね合わせをして差分を算出する差分算出ステップと、前記差分算出ステップによって算出された差分値に基づいて、前記差分値が所定の閾値以上か否かにより、光学的に読み込んだ画像データを示す撮像画像であるか純電子画像であるかを判断する画像種類判断ステップと、を有することを特徴とする画像処理方法。
【請求項４】
請求項３に記載された画像処理方法において、
さらに、前記画像種類判断ステップにおける判断に基づいて、前記画像データに対する画像処理を、撮像画像用又は純電子画像用の画像処理に切り換えるステップを有することを特徴とする画像処理方法。
【請求項５】
コンピュータを、画像データの入力処理を行う画像データ入力手段、前記画像データから文字矩形抽出処理をする文字矩形抽出処理手段、前記文字矩形抽出処理手段によって得られた少なくとも１つ以上の文字矩形から文字要素をクラスタリングする文字クラスタリング処理手段、前記文字クラスタリング処理手段によってクラスタリングされた文字要素に対して、重ね合わせをして差分を算出する差分算出手段、前記差分算出手段によって算出された差分値に基づいて、所定の閾値以上か否かにより、光学的に読み込んだ画像データを示す撮像画像であるか純電子画像であるかを判断する画像種類判断手段、として機能させる画像処理プログラム。
【請求項６】
請求項５に記載された画像処理プログラムにおいて、
コンピュータを、さらに、前記画像種類判断手段の判断に基づいて、前記画像データに対する画像処理を、撮像画像用又は純電子画像用の画像処理に切り換える手段として機能させる画像処理プログラム。
【図１】
【図２】
【図３】
【図４】
【図５】
【図２】
【図３】
【図４】
【図５】
【公開番号】特開２０１２−１２８６３５（Ｐ２０１２−１２８６３５Ａ）
【公開日】平成２４年７月５日（２０１２．７．５）
【国際特許分類】
【出願番号】特願２０１０−２７９１６１（Ｐ２０１０−２７９１６１）
【出願日】平成２２年１２月１５日（２０１０．１２．１５）
【出願人】（０００００６７４７）株式会社リコー (37,907)
【Ｆターム（参考）】
【公開日】平成２４年７月５日（２０１２．７．５）
【国際特許分類】
【出願日】平成２２年１２月１５日（２０１０．１２．１５）
【出願人】（０００００６７４７）株式会社リコー (37,907)
【Ｆターム（参考）】
[ Back to top ]