画像処理装置および画像処理方法
【課題】文字画像から文字を認識する精度を向上する。
【解決手段】この画像処理装置は、文書画像が記憶されたメモリと、メモリから読み出した文書画像に対して所定の画像処理を施して文字画像を生成する前処理部と、文字画像に対して所定の画像処理を行うことで複数の異なる文字パターンを生成するパターン生成部と、複数の文字パターンからそれぞれの特徴データを抽出する特徴抽出部と、複数の特徴データと認識辞書に格納されている文字の特徴データとの類似度を計算し、類似度の高い文字を認識辞書から選出する類似度計算部とを備える。
【解決手段】この画像処理装置は、文書画像が記憶されたメモリと、メモリから読み出した文書画像に対して所定の画像処理を施して文字画像を生成する前処理部と、文字画像に対して所定の画像処理を行うことで複数の異なる文字パターンを生成するパターン生成部と、複数の文字パターンからそれぞれの特徴データを抽出する特徴抽出部と、複数の特徴データと認識辞書に格納されている文字の特徴データとの類似度を計算し、類似度の高い文字を認識辞書から選出する類似度計算部とを備える。
【発明の詳細な説明】
【技術分野】
【０００１】
本発明は、画像処理装置および画像処理方法に関する。
【背景技術】
【０００２】
画像処理装置として、例えば画像に含まれる文字を認識する文字認識装置がある。文字認識装置において、複数の特徴量を用いて文字認識を行う技術の一つとして相互部分空間法という認識技術が提唱されている。この認識技術は１枚の文字画像の多様な特徴に着目して認識を行うものである（例えば非特許文献１参照）。
【０００３】
一方、文字画像には、１枚ごとに位置ずれや角度などによる変動要因が存在する。これに対応してパターン認識を行うための一つの手法として部分空間法という技術が公開されているが、その対応能力は必ずしも完全とはいえない（例えば非特許文献２参照）。
【先行技術文献】
【非特許文献】
【０００４】
【非特許文献１】前田賢一、渡辺貞一「局所的構造を導入したパターン・マッチング法」、電子通信学会論文誌Vol.J68-D, No.3, 1985.
【非特許文献２】石井健一郎ほか「わかりやすいパターン認識」(1998)、オーム社
【発明の概要】
【発明が解決しようとする課題】
【０００５】
部分空間法では、例えば学習パターンの中に上述した変動要因が多く含まれていなければ、実用上は必ずしも大きな対応能力を発揮しないこともあり得る。また入力画像の変動が余りにも大きい場合、部分空間法といえども対応できず、認識精度が低下する。
【０００６】
本発明はこのような課題を解決するためになされたもので、文字画像から文字を認識する精度を向上することのできる画像処理装置および画像処理方法を提供することを目的とする。
【課題を解決するための手段】
【０００７】
上記の課題を解決するために、本発明の画像処理装置は、文書画像が記憶されたメモリと、文字とその特徴データが対応して格納された認識辞書と、前記メモリから読み出した文書画像に対して所定の前処理を施して文字画像を生成する前処理部と、前記前処理部より生成された文字画像に対して所定の画像加工処理を行うことで複数の異なる文字パターンを生成するパターン生成部と、前記パターン生成部により生成された複数の文字パターンからそれぞれの特徴データを抽出する特徴抽出部と、前記複数の特徴データと前記認識辞書に格納されている文字の特徴データとの類似度を計算し、類似度の高い文字を前記認識辞書から選出する類似度計算部とを具備することを特徴とする。
【０００８】
本発明の画像処理方法は、文書画像が記憶されたメモリ、文字とその特徴データが対応して格納された認識辞書、前処理部、パターン生成部、特徴抽出部、類似度計算部を有する画像処理装置による画像処理方法において、前記メモリから文書画像を前記前処理部が読み出し、読み出した前記文書画像に対して所定の前処理を施して文字画像を生成するステップと、前記文字画像に対して前記パターン生成部が所定の画像加工処理を行うことで複数の異なる文字パターンを生成するパターン生成部と、前記複数の文字パターンからそれぞれの特徴データを前記特徴抽出部が抽出するステップと、前記複数の特徴データと、前記認識辞書の文字の特徴データとの類似度を前記類似度計算部が計算し、類似度の高い文字を前記認識辞書から選出するステップとを有することを特徴とする。
【発明の効果】
【０００９】
本発明によれば、文字画像から文字を認識する精度を向上することができる。
【図面の簡単な説明】
【００１０】
【図１】本発明の一実施形態の画像処理装置の構成を示す図である。
【図２】画像処理装置の動作を示すフローチャートである。
【図３】４近傍ガウシアンフィルタを説明するための図である。
【図４】８近傍ガウシアンフィルタを説明するための図である。
【発明を実施するための形態】
【００１１】
以下、図面を参照して、本発明の一つの実施の形態の画像処理装置を詳細に説明する。図１は画像処理装置の構成を示す図である。
【００１２】
図１に示すように、この実施形態の画像処理装置は、入力部１、コンピュータ２（以下「ＰＣ２」と称す）、出力部３などを有している。
【００１３】
入力部１は、カメラ・スキャナなどの外部入力装置であり、紙の文書(書類)からＣＣＤセンサなどにより光学的に読み取った文書画像をＰＣ２に入力する。表示部３は、例えばモニタなどの表示装置、プリンタなどの印刷装置であり、ＰＣ２から出力された認識結果のデータを出力（表示または印刷）する。
【００１４】
ＰＣ２は、メモリ１０、前処理部１１、パターン生成部１２、特徴抽出部１３、認識辞書１４、類似度計算部１５などを有している。これら各部はコンピュータのソフトウェアのモジュールとして実現される。なお、これら各部はハードウェアで構成しても良い。
【００１５】
メモリ１０は、オペレーティングシステム（ＯＳ）などのコンピュータ制御プログラムが読み込まれる領域として利用される他、上記各部の処理用の記憶領域として利用される。メモリ１０には例えば比較処理のための画像データや処理結果のデータなどが記憶される。
【００１６】
前処理部１１は、文字認識に使用する画像(文字画像)の部分的な切り出し、二値化、ノイズ除去、輪郭強調などの所定の前処理を行う。前処理部１１は、所定の前処理として、文字画像の部分的な切り出し、二値化、ノイズ除去、輪郭強調などのうちの少なくとも一つを行うものとする。これら個々の画像処理技術については、既知の技術のため詳細な説明は省略する。
【００１７】
パターン生成部１２は、前処理部１１で前処理済みの画像を拡張・収縮・回転・移動・ぼかし・手ぶれ・透視変換するなどの所定の画像加工処理を行って、元の文字画像を変動（変形または変質）させた新たな画像を生成する。パターン生成部１２は、所定の画像加工処理として、拡張・収縮・回転・移動・ぼかし・手ぶれ・透視変換のうちの少なくとも一つを行うものとする。
【００１８】
特徴抽出部１３は、パターン生成部１２により生成された個々の画像の特徴量（以下特徴データと称す）を抽出する。認識辞書１４には、予め複数（多く）の文字とその特徴データが対応して格納されている。
【００１９】
類似度計算部１５は、特徴抽出部１３により抽出された複数の特徴データと認識辞書１４に格納されている文字の特徴データとの類似度を演算により求める。演算とは、メモリ１０に記憶されている計算式（関数）にデータを入れる計算することをいう。
【００２０】
以下、図２のフローチャートおよび図３，図４を参照してこの画像処理装置の動作を説明する。
【００２１】
認識対象の文書をカメラ・スキャナなどの入力部１にセットして、デジタルカメラであれば撮影操作、またスキャナであればスキャン操作を行うと、入力部１により文書の画像が読み取られてＰＣ２へデジタル画像（これを「文書画像２１」と称す）として出力される。
【００２２】
入力部１から出力された文書画像２１がＰＣ２に入力されると、その文書画像２１は、前処理部１１により一旦、メモリ１０に記憶される（図２のステップＳ１０１）。
【００２３】
文書画像２１をメモリ１０に記憶した後、前処理部１１は、メモリ１０から文書画像２１を読み出し、読み出した文書画像２１に対して所定の前処理を施して文字画像２２を生成し（ステップＳ１０２）、メモリ１０に記憶する。所定の前処理とは、画像の部分切り出し、二値化、ノイズ除去、輪郭強調などの画像処理のうち，予め決められた処理である。
【００２４】
パターン生成部１２は、メモリ１０から文字画像２２を読み出し、読み出した文字画像２２（前処理済みの画像）に対して所定の画像加工処理を行うことで複数個の異なる文字パターン（図１の文字パターン２３〜２６）を生成し（ステップＳ１０３）、メモリ１０に記憶する。所定の画像加工処理とは、画像の拡張・収縮・回転・移動・ぼかし・手ぶれ・透視変換などの処理のうち予め決められた処理である。
【００２５】
特徴抽出部１３は、メモリ１０から複数の文字パターン２３〜２６を読み出し、読み出した文字パターン２３〜２６からそれぞれの特徴データを抽出し（ステップＳ１０４）、メモリ１０に記憶する。
【００２６】
類似度計算部１５は、メモリ１０から複数の特徴データを読み出し、読み出した複数の特徴データと認識辞書１４から読み出した文字２７の特徴データとを用いて類似度を計算し（ステップＳ１０５）、類似度の高い文字を認識辞書１４から選出（ステップＳ１０６）、つまりパターン認識処理を行い、認識結果の文字（テキストデータおよび認識元の文字画像２２）を表示部３へ出力し、表示部３の画面に表示する。
【００２７】
ここで、パターン生成部１２が行う文字パターンの生成処理（画像処理）について説明する。
【００２８】
パターン生成部１２は、前処理部１１で前処理済みの画像を拡張・収縮・回転・移動・ぼかし・手ぶれ・透視変換するなどの所定の画像加工処理を行って、元の文字画像２２を切り出し範囲内で変動（変形または変質）させて新たな画像を生成する。
【００２９】
画像拡張処理の一例として、例えば各画素について、その画素または上下左右４画素のうち１つ以上が黒ならばその画素も黒とするといった処理を行う。
【００３０】
画像収縮処理の一例として、例えば各画素について、その画素または上下左右４画素のうち１つ以上が白ならばその画素も白とする（収縮）といった処理を行う。
【００３１】
画像の回転および移動については、前処理済みの画像において座標ｘの画素値をｆ（ｘ）で表したとき、
【数１】
で表されるＲｕ［ｆ］，Ｓｓ［ｆ］をそれぞれ、回転行列Ｕおよび移動量ｓをパラメータとする回転済み、または移動済み画像とすることができる。この処理によって、座標Ｕ-1ｘ,（ｘ−ｓ）にあった黒点がｘにそれぞれ回転・平行移動する。
【００３２】
画像の回転については、例えば１０度刻みに９０度までといったようにして回転する。また画像の移動については、例えば前処理済画像の辺や対角線の長さを基準に、例えば１／４などといった比率を用いて移動する。
【００３３】
画像のぼかし、手ぶれ処理については、これらを実現する点拡がり関数（ＰＳＦ）を準備し、前処理済みの画像に畳み込み、それを再度二値化する。
【００３４】
ぼかしに対応するＰＳＦは、図３に示すように、中心画素とその周囲８方向に隣接する画素とを配置した９画素モデルにおいて、中心の画素を「２」としたときに、その上下左右の画素を「１」とし、斜め方向の画素を「０」とする４近傍ガウシアンフィルタがある。
【００３５】
また、この他、図４に示すように、中心画素とその周囲８方向に隣接する画素とを配置した９画素モデルにおいて、中心の画素を「４」としたときに、その上下左右の画素を「２」とし、斜め方向の画素を「１」とする８近傍ガウシアンフィルタなどを用いる。
【００３６】
手ぶれに対応するＰＳＦとしては、原点Ｏの近傍に一点Ｐを選び、
【数２】
として作ることができる。ＰＳＦとして１（ｙ）を原画像ｆ（ｘ）に畳み込む処理は、
【数３】
と表せる。上記ｈ（ｘ）が畳み込み処理後の画像である。
【００３７】
透視変換は、射影変換の名で広く知られており、一般的な射影幾何学の文献、例えば川又雄二郎「射影空間の幾何学（講座数学の考え方11）」(2001)、朝倉書店等に開示されている射影変換の技術を利用するものとする。
【００３８】
特徴抽出部１３が前処理済みの画像から特徴量を抽出する処理については以下に示す。
【００３９】
例えば、画像に前述の方法でぼかし処理を施した上で、ぼかし処理した画像を、画素値を成分とするベクトルとみなしてそのまま特徴量とする方法がある。
【００４０】
また、類似度計算部１５がパターン認識処理を行う方法および認識辞書１４の作成方法としては、ＣＬＡＦＩＣ法に基づいて認識辞書１４を作成した上で、複数の生成パターンの特徴量と、認識辞書１４に登録済の文字種との類似度を、相互部分空間法などを用いて計算する方法がある。
【００４１】
また、相互部分空間法を用いた類似度の計算方法としては、例えば特徴抽出部１３から入力された複数の特徴ベクトルｘ１，…，Ｘｍから行列
【数４】
を計算し、その固有ベクトルをｕ１，ｕｍとした上で、０≦ｐ≦ｍ，０≦ｑ≦ｎとなる整数ｐ、ｑを選んだ上で、行列Ｕｐ＝（ｕ１，…ｕｐ），Ｖｑ＝（ｖ１…ｖｑ）を用いて定義される
【数５】
の最大固有値ρ(1)を求め、このρ(1)を類似度とする方法がある。ただし、左肩のtは転置を表す。このときρ(1)は、累乗法などの既存の方法を用いて計算することができる。ただし、ｖ1 ，ｖn は辞書データであり、これは各文字種毎に予め準備した学習パターンｙ1，…，ｙnを用いて行列
【数６】
を計算し、その固有ベクトルをｖ1 ，ｖn とすることで計算できる。
【００４２】
別の類似度計算方法として、特徴ベクトルを正規化したベクトル
【数７】
から、個別類似度
【数８】
を計算し、類似度統合関数σを用いて
【数９】
と定まるρ(2)を類似度とすることができる。このとき、辞書の作成方法は上と同様でよい。
【００４３】
また類似度統合関数σの定め方としては、個別類似度のうち最大のものを選ぶ方法、個別類似度が大きい順にいくつかを選びこれを平均する方法、個別類似度全体の平均を取る方法などがある。また、選択した個別類似度に直接平均操作を施す代わりに、一度、単調増加関数を用いて個別類似度の差を強調してもよい。
【００４４】
そのためには、単調増加関数τを用いて、
【数１０】
などとする方法がある。ただし、ｒは１≦ｒ≦ｍとなる整数であり、ρt(s)は、ρ1，…，ρmのうち大きいものからs番目の値である。さらに、τの例としては、
【数１１】
などが挙げられる。ただし、ρ0 ，βは定数として適当なものを別途選ぶ。
【００４５】
類似度が顕著に高い文字種が存在しない場合、類似度計算部１５において、結果不明と判定し、これをリジェクトしてもよい。
【００４６】
このようにこの実施形態の画像処理装置によれば、認識対象の文字画像の文字（黒画素）について積極的に部分的な変動（黒画素を所定のルールでずらしたり太くしたりする等）を起こさせた複数の異なる文字パターンを生成し、これら文字パターンの特徴データの全体と認識辞書１４の特徴データとの類似度を計算する。つまり、元の文字画像からいくつかの変形文字パターンを作成した上で、それらが全体として持つ性質に着目して認識を行うので、文字認識精度を向上することができる。
【００４７】
なお、本願発明は、上記実施形態のみに限定されるものではなく、実施段階ではその要旨を逸脱しない範囲で構成要素を変形してもよい。例えば各構成要素を、コンピュータのハードディスク装置などのストレージにインストールしたプログラムで実現しても良い。
また上記プログラムを、コンピュータ読取可能なＣＤ−ＲＯＭなどの記憶媒体に記憶しておき、プログラムを記憶媒体からコンピュータに読み取らせることで実現してもよい。さらに、ネットワークを介して接続した異なるコンピュータに構成要素を分散して記憶し、各構成要素を機能させたコンピュータ間で通信することで実現しても良い。
【符号の説明】
【００４８】
１…入力部、２…コンピュータ（ＰＣ）、３…表示部、１１…パターン生成部、１０…メモリ、１１…前処理部、１２…パターン生成部、１３…特徴抽出部、１４…認識辞書、１５…類似度計算部。
【技術分野】
【０００１】
本発明は、画像処理装置および画像処理方法に関する。
【背景技術】
【０００２】
画像処理装置として、例えば画像に含まれる文字を認識する文字認識装置がある。文字認識装置において、複数の特徴量を用いて文字認識を行う技術の一つとして相互部分空間法という認識技術が提唱されている。この認識技術は１枚の文字画像の多様な特徴に着目して認識を行うものである（例えば非特許文献１参照）。
【０００３】
一方、文字画像には、１枚ごとに位置ずれや角度などによる変動要因が存在する。これに対応してパターン認識を行うための一つの手法として部分空間法という技術が公開されているが、その対応能力は必ずしも完全とはいえない（例えば非特許文献２参照）。
【先行技術文献】
【非特許文献】
【０００４】
【非特許文献１】前田賢一、渡辺貞一「局所的構造を導入したパターン・マッチング法」、電子通信学会論文誌Vol.J68-D, No.3, 1985.
【非特許文献２】石井健一郎ほか「わかりやすいパターン認識」(1998)、オーム社
【発明の概要】
【発明が解決しようとする課題】
【０００５】
部分空間法では、例えば学習パターンの中に上述した変動要因が多く含まれていなければ、実用上は必ずしも大きな対応能力を発揮しないこともあり得る。また入力画像の変動が余りにも大きい場合、部分空間法といえども対応できず、認識精度が低下する。
【０００６】
本発明はこのような課題を解決するためになされたもので、文字画像から文字を認識する精度を向上することのできる画像処理装置および画像処理方法を提供することを目的とする。
【課題を解決するための手段】
【０００７】
上記の課題を解決するために、本発明の画像処理装置は、文書画像が記憶されたメモリと、文字とその特徴データが対応して格納された認識辞書と、前記メモリから読み出した文書画像に対して所定の前処理を施して文字画像を生成する前処理部と、前記前処理部より生成された文字画像に対して所定の画像加工処理を行うことで複数の異なる文字パターンを生成するパターン生成部と、前記パターン生成部により生成された複数の文字パターンからそれぞれの特徴データを抽出する特徴抽出部と、前記複数の特徴データと前記認識辞書に格納されている文字の特徴データとの類似度を計算し、類似度の高い文字を前記認識辞書から選出する類似度計算部とを具備することを特徴とする。
【０００８】
本発明の画像処理方法は、文書画像が記憶されたメモリ、文字とその特徴データが対応して格納された認識辞書、前処理部、パターン生成部、特徴抽出部、類似度計算部を有する画像処理装置による画像処理方法において、前記メモリから文書画像を前記前処理部が読み出し、読み出した前記文書画像に対して所定の前処理を施して文字画像を生成するステップと、前記文字画像に対して前記パターン生成部が所定の画像加工処理を行うことで複数の異なる文字パターンを生成するパターン生成部と、前記複数の文字パターンからそれぞれの特徴データを前記特徴抽出部が抽出するステップと、前記複数の特徴データと、前記認識辞書の文字の特徴データとの類似度を前記類似度計算部が計算し、類似度の高い文字を前記認識辞書から選出するステップとを有することを特徴とする。
【発明の効果】
【０００９】
本発明によれば、文字画像から文字を認識する精度を向上することができる。
【図面の簡単な説明】
【００１０】
【図１】本発明の一実施形態の画像処理装置の構成を示す図である。
【図２】画像処理装置の動作を示すフローチャートである。
【図３】４近傍ガウシアンフィルタを説明するための図である。
【図４】８近傍ガウシアンフィルタを説明するための図である。
【発明を実施するための形態】
【００１１】
以下、図面を参照して、本発明の一つの実施の形態の画像処理装置を詳細に説明する。図１は画像処理装置の構成を示す図である。
【００１２】
図１に示すように、この実施形態の画像処理装置は、入力部１、コンピュータ２（以下「ＰＣ２」と称す）、出力部３などを有している。
【００１３】
入力部１は、カメラ・スキャナなどの外部入力装置であり、紙の文書(書類)からＣＣＤセンサなどにより光学的に読み取った文書画像をＰＣ２に入力する。表示部３は、例えばモニタなどの表示装置、プリンタなどの印刷装置であり、ＰＣ２から出力された認識結果のデータを出力（表示または印刷）する。
【００１４】
ＰＣ２は、メモリ１０、前処理部１１、パターン生成部１２、特徴抽出部１３、認識辞書１４、類似度計算部１５などを有している。これら各部はコンピュータのソフトウェアのモジュールとして実現される。なお、これら各部はハードウェアで構成しても良い。
【００１５】
メモリ１０は、オペレーティングシステム（ＯＳ）などのコンピュータ制御プログラムが読み込まれる領域として利用される他、上記各部の処理用の記憶領域として利用される。メモリ１０には例えば比較処理のための画像データや処理結果のデータなどが記憶される。
【００１６】
前処理部１１は、文字認識に使用する画像(文字画像)の部分的な切り出し、二値化、ノイズ除去、輪郭強調などの所定の前処理を行う。前処理部１１は、所定の前処理として、文字画像の部分的な切り出し、二値化、ノイズ除去、輪郭強調などのうちの少なくとも一つを行うものとする。これら個々の画像処理技術については、既知の技術のため詳細な説明は省略する。
【００１７】
パターン生成部１２は、前処理部１１で前処理済みの画像を拡張・収縮・回転・移動・ぼかし・手ぶれ・透視変換するなどの所定の画像加工処理を行って、元の文字画像を変動（変形または変質）させた新たな画像を生成する。パターン生成部１２は、所定の画像加工処理として、拡張・収縮・回転・移動・ぼかし・手ぶれ・透視変換のうちの少なくとも一つを行うものとする。
【００１８】
特徴抽出部１３は、パターン生成部１２により生成された個々の画像の特徴量（以下特徴データと称す）を抽出する。認識辞書１４には、予め複数（多く）の文字とその特徴データが対応して格納されている。
【００１９】
類似度計算部１５は、特徴抽出部１３により抽出された複数の特徴データと認識辞書１４に格納されている文字の特徴データとの類似度を演算により求める。演算とは、メモリ１０に記憶されている計算式（関数）にデータを入れる計算することをいう。
【００２０】
以下、図２のフローチャートおよび図３，図４を参照してこの画像処理装置の動作を説明する。
【００２１】
認識対象の文書をカメラ・スキャナなどの入力部１にセットして、デジタルカメラであれば撮影操作、またスキャナであればスキャン操作を行うと、入力部１により文書の画像が読み取られてＰＣ２へデジタル画像（これを「文書画像２１」と称す）として出力される。
【００２２】
入力部１から出力された文書画像２１がＰＣ２に入力されると、その文書画像２１は、前処理部１１により一旦、メモリ１０に記憶される（図２のステップＳ１０１）。
【００２３】
文書画像２１をメモリ１０に記憶した後、前処理部１１は、メモリ１０から文書画像２１を読み出し、読み出した文書画像２１に対して所定の前処理を施して文字画像２２を生成し（ステップＳ１０２）、メモリ１０に記憶する。所定の前処理とは、画像の部分切り出し、二値化、ノイズ除去、輪郭強調などの画像処理のうち，予め決められた処理である。
【００２４】
パターン生成部１２は、メモリ１０から文字画像２２を読み出し、読み出した文字画像２２（前処理済みの画像）に対して所定の画像加工処理を行うことで複数個の異なる文字パターン（図１の文字パターン２３〜２６）を生成し（ステップＳ１０３）、メモリ１０に記憶する。所定の画像加工処理とは、画像の拡張・収縮・回転・移動・ぼかし・手ぶれ・透視変換などの処理のうち予め決められた処理である。
【００２５】
特徴抽出部１３は、メモリ１０から複数の文字パターン２３〜２６を読み出し、読み出した文字パターン２３〜２６からそれぞれの特徴データを抽出し（ステップＳ１０４）、メモリ１０に記憶する。
【００２６】
類似度計算部１５は、メモリ１０から複数の特徴データを読み出し、読み出した複数の特徴データと認識辞書１４から読み出した文字２７の特徴データとを用いて類似度を計算し（ステップＳ１０５）、類似度の高い文字を認識辞書１４から選出（ステップＳ１０６）、つまりパターン認識処理を行い、認識結果の文字（テキストデータおよび認識元の文字画像２２）を表示部３へ出力し、表示部３の画面に表示する。
【００２７】
ここで、パターン生成部１２が行う文字パターンの生成処理（画像処理）について説明する。
【００２８】
パターン生成部１２は、前処理部１１で前処理済みの画像を拡張・収縮・回転・移動・ぼかし・手ぶれ・透視変換するなどの所定の画像加工処理を行って、元の文字画像２２を切り出し範囲内で変動（変形または変質）させて新たな画像を生成する。
【００２９】
画像拡張処理の一例として、例えば各画素について、その画素または上下左右４画素のうち１つ以上が黒ならばその画素も黒とするといった処理を行う。
【００３０】
画像収縮処理の一例として、例えば各画素について、その画素または上下左右４画素のうち１つ以上が白ならばその画素も白とする（収縮）といった処理を行う。
【００３１】
画像の回転および移動については、前処理済みの画像において座標ｘの画素値をｆ（ｘ）で表したとき、
【数１】
で表されるＲｕ［ｆ］，Ｓｓ［ｆ］をそれぞれ、回転行列Ｕおよび移動量ｓをパラメータとする回転済み、または移動済み画像とすることができる。この処理によって、座標Ｕ-1ｘ,（ｘ−ｓ）にあった黒点がｘにそれぞれ回転・平行移動する。
【００３２】
画像の回転については、例えば１０度刻みに９０度までといったようにして回転する。また画像の移動については、例えば前処理済画像の辺や対角線の長さを基準に、例えば１／４などといった比率を用いて移動する。
【００３３】
画像のぼかし、手ぶれ処理については、これらを実現する点拡がり関数（ＰＳＦ）を準備し、前処理済みの画像に畳み込み、それを再度二値化する。
【００３４】
ぼかしに対応するＰＳＦは、図３に示すように、中心画素とその周囲８方向に隣接する画素とを配置した９画素モデルにおいて、中心の画素を「２」としたときに、その上下左右の画素を「１」とし、斜め方向の画素を「０」とする４近傍ガウシアンフィルタがある。
【００３５】
また、この他、図４に示すように、中心画素とその周囲８方向に隣接する画素とを配置した９画素モデルにおいて、中心の画素を「４」としたときに、その上下左右の画素を「２」とし、斜め方向の画素を「１」とする８近傍ガウシアンフィルタなどを用いる。
【００３６】
手ぶれに対応するＰＳＦとしては、原点Ｏの近傍に一点Ｐを選び、
【数２】
として作ることができる。ＰＳＦとして１（ｙ）を原画像ｆ（ｘ）に畳み込む処理は、
【数３】
と表せる。上記ｈ（ｘ）が畳み込み処理後の画像である。
【００３７】
透視変換は、射影変換の名で広く知られており、一般的な射影幾何学の文献、例えば川又雄二郎「射影空間の幾何学（講座数学の考え方11）」(2001)、朝倉書店等に開示されている射影変換の技術を利用するものとする。
【００３８】
特徴抽出部１３が前処理済みの画像から特徴量を抽出する処理については以下に示す。
【００３９】
例えば、画像に前述の方法でぼかし処理を施した上で、ぼかし処理した画像を、画素値を成分とするベクトルとみなしてそのまま特徴量とする方法がある。
【００４０】
また、類似度計算部１５がパターン認識処理を行う方法および認識辞書１４の作成方法としては、ＣＬＡＦＩＣ法に基づいて認識辞書１４を作成した上で、複数の生成パターンの特徴量と、認識辞書１４に登録済の文字種との類似度を、相互部分空間法などを用いて計算する方法がある。
【００４１】
また、相互部分空間法を用いた類似度の計算方法としては、例えば特徴抽出部１３から入力された複数の特徴ベクトルｘ１，…，Ｘｍから行列
【数４】
を計算し、その固有ベクトルをｕ１，ｕｍとした上で、０≦ｐ≦ｍ，０≦ｑ≦ｎとなる整数ｐ、ｑを選んだ上で、行列Ｕｐ＝（ｕ１，…ｕｐ），Ｖｑ＝（ｖ１…ｖｑ）を用いて定義される
【数５】
の最大固有値ρ(1)を求め、このρ(1)を類似度とする方法がある。ただし、左肩のtは転置を表す。このときρ(1)は、累乗法などの既存の方法を用いて計算することができる。ただし、ｖ1 ，ｖn は辞書データであり、これは各文字種毎に予め準備した学習パターンｙ1，…，ｙnを用いて行列
【数６】
を計算し、その固有ベクトルをｖ1 ，ｖn とすることで計算できる。
【００４２】
別の類似度計算方法として、特徴ベクトルを正規化したベクトル
【数７】
から、個別類似度
【数８】
を計算し、類似度統合関数σを用いて
【数９】
と定まるρ(2)を類似度とすることができる。このとき、辞書の作成方法は上と同様でよい。
【００４３】
また類似度統合関数σの定め方としては、個別類似度のうち最大のものを選ぶ方法、個別類似度が大きい順にいくつかを選びこれを平均する方法、個別類似度全体の平均を取る方法などがある。また、選択した個別類似度に直接平均操作を施す代わりに、一度、単調増加関数を用いて個別類似度の差を強調してもよい。
【００４４】
そのためには、単調増加関数τを用いて、
【数１０】
などとする方法がある。ただし、ｒは１≦ｒ≦ｍとなる整数であり、ρt(s)は、ρ1，…，ρmのうち大きいものからs番目の値である。さらに、τの例としては、
【数１１】
などが挙げられる。ただし、ρ0 ，βは定数として適当なものを別途選ぶ。
【００４５】
類似度が顕著に高い文字種が存在しない場合、類似度計算部１５において、結果不明と判定し、これをリジェクトしてもよい。
【００４６】
このようにこの実施形態の画像処理装置によれば、認識対象の文字画像の文字（黒画素）について積極的に部分的な変動（黒画素を所定のルールでずらしたり太くしたりする等）を起こさせた複数の異なる文字パターンを生成し、これら文字パターンの特徴データの全体と認識辞書１４の特徴データとの類似度を計算する。つまり、元の文字画像からいくつかの変形文字パターンを作成した上で、それらが全体として持つ性質に着目して認識を行うので、文字認識精度を向上することができる。
【００４７】
なお、本願発明は、上記実施形態のみに限定されるものではなく、実施段階ではその要旨を逸脱しない範囲で構成要素を変形してもよい。例えば各構成要素を、コンピュータのハードディスク装置などのストレージにインストールしたプログラムで実現しても良い。
また上記プログラムを、コンピュータ読取可能なＣＤ−ＲＯＭなどの記憶媒体に記憶しておき、プログラムを記憶媒体からコンピュータに読み取らせることで実現してもよい。さらに、ネットワークを介して接続した異なるコンピュータに構成要素を分散して記憶し、各構成要素を機能させたコンピュータ間で通信することで実現しても良い。
【符号の説明】
【００４８】
１…入力部、２…コンピュータ（ＰＣ）、３…表示部、１１…パターン生成部、１０…メモリ、１１…前処理部、１２…パターン生成部、１３…特徴抽出部、１４…認識辞書、１５…類似度計算部。
【特許請求の範囲】
【請求項１】
文書画像が記憶されたメモリと、
文字とその特徴データが対応して格納された認識辞書と、
前記メモリから読み出した文書画像に対して所定の前処理を施して文字画像を生成する前処理部と、
前記前処理部より生成された文字画像に対して所定の画像加工処理を行うことで複数の異なる文字パターンを生成するパターン生成部と、
前記パターン生成部により生成された複数の文字パターンからそれぞれの特徴データを抽出する特徴抽出部と、
前記複数の特徴データと前記認識辞書に格納されている文字の特徴データとの類似度を計算し、類似度の高い文字を前記認識辞書から選出する類似度計算部と
を具備することを特徴とする画像処理装置。
【請求項２】
請求項１記載の画像処理装置において、
前記前処理部は、
所定の前処理として、前記文字画像の部分的な切り出し、二値化、ノイズ除去、輪郭強調などのうちの少なくとも一つを行うことを特徴とする。
【請求項３】
請求項１記載の画像処理装置において、
前記パターン生成部は、
所定の画像加工処理として、拡張・収縮・回転・移動・ぼかし・手ぶれ・透視変換のうちの少なくとも一つを行うことを特徴とする。
【請求項４】
文書画像が記憶されたメモリ、文字とその特徴データが対応して格納された認識辞書、前処理部、パターン生成部、特徴抽出部、類似度計算部を有する画像処理装置による画像処理方法において、
前記メモリから文書画像を前記前処理部が読み出し、読み出した前記文書画像に対して所定の前処理を施して文字画像を生成するステップと、
前記文字画像に対して前記パターン生成部が所定の画像加工処理を行うことで複数の異なる文字パターンを生成するパターン生成部と、
前記複数の文字パターンからそれぞれの特徴データを前記特徴抽出部が抽出するステップと、
前記複数の特徴データと、前記認識辞書の文字の特徴データとの類似度を前記類似度計算部が計算し、類似度の高い文字を前記認識辞書から選出するステップと
を有することを特徴とする画像処理方法。
【請求項１】
文書画像が記憶されたメモリと、
文字とその特徴データが対応して格納された認識辞書と、
前記メモリから読み出した文書画像に対して所定の前処理を施して文字画像を生成する前処理部と、
前記前処理部より生成された文字画像に対して所定の画像加工処理を行うことで複数の異なる文字パターンを生成するパターン生成部と、
前記パターン生成部により生成された複数の文字パターンからそれぞれの特徴データを抽出する特徴抽出部と、
前記複数の特徴データと前記認識辞書に格納されている文字の特徴データとの類似度を計算し、類似度の高い文字を前記認識辞書から選出する類似度計算部と
を具備することを特徴とする画像処理装置。
【請求項２】
請求項１記載の画像処理装置において、
前記前処理部は、
所定の前処理として、前記文字画像の部分的な切り出し、二値化、ノイズ除去、輪郭強調などのうちの少なくとも一つを行うことを特徴とする。
【請求項３】
請求項１記載の画像処理装置において、
前記パターン生成部は、
所定の画像加工処理として、拡張・収縮・回転・移動・ぼかし・手ぶれ・透視変換のうちの少なくとも一つを行うことを特徴とする。
【請求項４】
文書画像が記憶されたメモリ、文字とその特徴データが対応して格納された認識辞書、前処理部、パターン生成部、特徴抽出部、類似度計算部を有する画像処理装置による画像処理方法において、
前記メモリから文書画像を前記前処理部が読み出し、読み出した前記文書画像に対して所定の前処理を施して文字画像を生成するステップと、
前記文字画像に対して前記パターン生成部が所定の画像加工処理を行うことで複数の異なる文字パターンを生成するパターン生成部と、
前記複数の文字パターンからそれぞれの特徴データを前記特徴抽出部が抽出するステップと、
前記複数の特徴データと、前記認識辞書の文字の特徴データとの類似度を前記類似度計算部が計算し、類似度の高い文字を前記認識辞書から選出するステップと
を有することを特徴とする画像処理方法。
【図１】
【図２】
【図３】
【図４】
【図２】
【図３】
【図４】
【公開番号】特開２０１０−１８２１６６（Ｐ２０１０−１８２１６６Ａ）
【公開日】平成２２年８月１９日（２０１０．８．１９）
【国際特許分類】
【出願番号】特願２００９−２６１０３（Ｐ２００９−２６１０３）
【出願日】平成２１年２月６日（２００９．２．６）
【出願人】（０００００３０７８）株式会社東芝 (54,554)
【出願人】（３０１０６３４９６）東芝ソリューション株式会社 (1,478)
【Ｆターム（参考）】
【公開日】平成２２年８月１９日（２０１０．８．１９）
【国際特許分類】
【出願日】平成２１年２月６日（２００９．２．６）
【出願人】（０００００３０７８）株式会社東芝 (54,554)
【出願人】（３０１０６３４９６）東芝ソリューション株式会社 (1,478)
【Ｆターム（参考）】
[ Back to top ]