画像ブロックにおける文字の方向を認識する方法及び装置
【課題】画像ブロックにおける文字の方向を認識する方法及び装置を提供する。
【解決手段】かかる方法は、各所定文字方向におけるサブ画像ブロック、該サブ画像ブロックに対応する認識文字、及び該認識文字の正確性評価指標値を取得し、互いが１８０°の関係を有する二つの所定文字方向におけるサブ画像ブロックから最小マッチングペアを検索し、該二つの所定文字方向に一つのサブ画像ブロックがそれぞれあり且つ該二つのサブ画像ブロックに対応する認識文字が同一の回転不変文字である又は同一の回転不変文字ペアに属する時に、該二つのサブ画像ブロックに対応する正確性評価指標値を同一の数値に調整し、調整後の正確性評価指標値に基づいて各所定文字方向における累積正確性評価指標値を計算し、及び累積正確性評価指標値に基づいて画像ブロックにおける文字の方向を認識するステップを含む。
【解決手段】かかる方法は、各所定文字方向におけるサブ画像ブロック、該サブ画像ブロックに対応する認識文字、及び該認識文字の正確性評価指標値を取得し、互いが１８０°の関係を有する二つの所定文字方向におけるサブ画像ブロックから最小マッチングペアを検索し、該二つの所定文字方向に一つのサブ画像ブロックがそれぞれあり且つ該二つのサブ画像ブロックに対応する認識文字が同一の回転不変文字である又は同一の回転不変文字ペアに属する時に、該二つのサブ画像ブロックに対応する正確性評価指標値を同一の数値に調整し、調整後の正確性評価指標値に基づいて各所定文字方向における累積正確性評価指標値を計算し、及び累積正確性評価指標値に基づいて画像ブロックにおける文字の方向を認識するステップを含む。
【発明の詳細な説明】
【技術分野】
【０００１】
本発明は、文書画像処理に関し、具体的には、画像ブロックにおける文字の方向を認識する方法及び装置に関する。
【背景技術】
【０００２】
ユーザがスキャナなどの設備を用いて各々が複数ページを有する複数文書をスキャニングする時に、理想的なインプットとしては、各文書の各ページが全て正方向（例えば、連続してインプットする時の文書ページの進行方向と水平又は垂直である方向）に置かれている。文書を正方向に置く時に、ユーザは、簡単に該文書を読むことができ、また、スキャニングされた文書画像は、ユーザが方向を調整することを要せずに閲覧され得る。しかし、実際に使用する場合、ユーザは、しばしば、スキャニングしたい文書を正方向０°、逆方向１８０°、横方向９０°及び２７０°で交代して積み重ねる。そのため、スキャニング時にユーザにより文書の置き方向をページ毎にチェック及び調整する必要があれば、その作業は、繁雑で時間のかかるものである。よって、スキャナには、文書画像方向を自動的に判別する機能が用意されている。スキャニングされた文書画像は、文書画像方向を自動的に判別する機能に基づいて正方向に調整され得る。これにより、ユーザの負担を軽減し、スキャナの使用効率を向上することができる。
【０００３】
従来の文書画像方向自動判別方法の一つとしては、文書画像におけるテキスト行を見つけ出し、四つの所定方向にＯＣＲ(Optical Character Recognition)処理をそれぞれ行うことによってこの四つの所定方向に認識された認識文字（Character〔キャラクタ〕）及びそれらに対応する信頼度（Degree of Confidence）又は認識距離を取得し、テキスト行の平均信頼度又は平均認識距離を計算することによるものである。平均信頼度が最大である又は平均認識距離が最小である方向が、テキスト行の方向として判別される。さらに、テキスト行の方向に基づいて文書画像の方向を判断する。ここで、テキスト行の方向とは、テキスト行の正方向を指し、文書画像の方向とは、文書画像の正方向を指す。なお、以下は、文字方向又は文字の方向とは、文字の正方向を指す。
【０００４】
次に、図１及び図２を参照して、上述の従来の文書画像方向自動判別方法における問題点を説明する。
【０００５】
図１は、テキスト行の画像ブロックをＯＣＲ処理した後に得られた０°及び１８０°方向におけるサブ画像ブロック、認識文字及びその信頼度を示す図である。図２は、テキスト行の画像ブロックをＯＣＲ処理した後に得られた０°及び１８０°方向におけるサブ画像ブロック、認識文字及びその認識距離を示す図である。
【０００６】
図１に示すように、テキスト行“TIP AMOUNT”の画像ブロックが入力される。このテキスト行の方向は０°方向とする。また、このテキスト行の画像ブロックを１８０°回転することによって１８０°方向のテキスト行の画像ブロックが得られる。なお、９０°及び２７０°方向の処理は０°及び１８０°方向の処理と同様であるので、ここでは、０°及び１８０°方向のみを例として説明する。また、０°及び１８０°方向においてテキスト行の画像ブロックに対してＯＣＲ処理をそれぞれ行うことにより、この２つの方向におけるサブ画像ブロック、サブ画像ブロックに対応する認識文字及びその信頼度を取得することができる。同様に、図２に示すように、０°及び１８０°方向におけるサブ画像ブロック、サブ画像ブロックに対応する認識文字及びその認識距離を取得することもできる。
【０００７】
上述の従来の方法により、図１に示す０°方向における認識文字の平均信頼度は、(0.59+0.36+0.53+0.61+0.61+0.61+0.53+0.72)/8=0.57となり、１８０°方向における認識文字の平均信頼度は、(0.62+0.58+0.65+0.67+0.60+0.46+0.50+0.58)/8=0.5825となる。0.57は0.5825よりも小さいため、この従来の方法では、１８０°方向（即ち、平均信頼度が高い方向）がテキスト行の画像ブロックにおける文字の方向であると誤って判断してしまう。また、図２に示す０°及び１８０°方向における認識文字の平均距離による判断結果も同様である。
【０００８】
上述の誤りが生じる原因の一つとしては、１８０°方向の画像は０°方向の画像を１８０°回転することによって得られたものであるということがある。認識文字の中には、「回転されても変わらない文字」又は「回転されても変わらない文字ペア」（以下、それぞれ「回転不変文字」又は「回転不変文字ペア」という）、例えば、N、0、p-d、U-nが多く存在する。同一の画像の正、逆方向における認識結果が同一の回転不変文字である又は同一の回転不変文字ペアに属するのであれば、実際には、対応する信頼度又は認識距離は一致すべきである。なぜなら、正、逆方向における認識結果とも同一の形状による正確な認識結果だからである。言い換えると、平均信頼度又は平均認識距離を利用してテキスト行の方向を判断する従来の方法では、「回転されても変わらない」即ち「回転不変」という特性を考慮しないため、パフォーマンスの低下を引き起こしてしまう。
【０００９】
なお、回転不変文字は、１８０°自己回転対称性を有する文字を含む。１８０°自己回転対称性とは、文字が１８０°回転された後に依然としてそれ自身であることを指し、例えば、“I”、“0”、“Z”、“N”、“S”又は“%”などのような文字〔キャラクタ〕である。このような回転不変文字は、１８０°回転不変文字とも称される。
【００１０】
また、回転不変文字ペアは、２つの文字を含み、且つこの２つの文字のうち何れか一つは１８０°回転された後にもう一つと一致し又は高い形状相似度〔類似性〕を有し、例えば、“W-M”、“U-n”又は“P-d”などのような文字である。このような回転不変文字ペアは、１８０°回転不変文字ペアとも称される。
【発明の概要】
【発明が解決しようとする課題】
【００１１】
本発明の目的は、上述の従来技術の問題点に鑑み、画像ブロックにおける文字の方向を正確に認識することができる方法及び装置を提供することにある。
【課題を解決するための手段】
【００１２】
かかる方法は、異なる方向を複数の所定文字方向として前記画像ブロックに対して光学式文字認識処理を行い、前記複数の所定文字方向の各々におけるサブ画像ブロック、前記サブ画像ブロックに対応する認識文字、及び前記認識文字の正確性評価指標値を取得するステップと、互いが１８０°の関係を有する二つの所定文字方向におけるサブ画像ブロックから、サブ画像ブロックの最小マッチングペアを検索するステップであって、前記最小マッチングペアは、互いが１８０°の関係を有する前記二つの所定文字方向において位置が対応し、大小〔サイズ〕が同じであり、最小個数のサブ画像ブロックを含む二つのサブ画像ブロックの集合である、ステップと、最小マッチングペアに対応する二つの所定文字方向に一つのサブ画像ブロックがそれぞれあり、且つ前記最小マッチングペアに属する二つのサブ画像ブロックに対応する認識文字が同一の回転不変文字である又は同一の回転不変文字ペアに属する時に、前記二つのサブ画像ブロックに対応する正確性評価指標値を同一の数値に調整するステップと、前記調整後のサブ画像ブロックに対応する正確性評価指標値に基づいて前記複数の所定文字方向の各々における累積正確性評価指標値を計算するステップと、前記累積正確性評価指標値に基づいて前記画像ブロックにおける文字の方向を認識するステップと、を含む。
【図面の簡単な説明】
【００１３】
【図１】テキスト行の画像ブロックをＯＣＲ処理した後に得られた０°及び１８０°方向におけるサブ画像ブロック、認識文字及びその信頼度を示す図である。
【図２】テキスト行の画像ブロックをＯＣＲ処理した後に得られた０°及び１８０°方向におけるサブ画像ブロック、認識文字及びその認識距離を示す図である。
【図３】第一実施例による、画像ブロックにおける文字の方向を認識する方法のフローチャートである。
【図４】第二実施例による、画像ブロックにおける文字の方向を認識する方法のフローチャートである。
【図５】一実施例による、画像ブロックにおける文字の方向を認識する装置のブロック図である。
【図６】かかる方法及び装置を実現するためのコンピュータのブロック図である。
【発明を実施するための形態】
【００１４】
以下、添付した図面を参照しながら、本発明の好適な実施形態を詳細に説明する。
【００１５】
図３及び図４を参照して、第一及び第二実施例による、画像ブロックにおける文字の方向を認識する方法のフローチャートを説明する。図３及び図４に示す第一及び第二実施例による、画像ブロックにおける文字の方向を認識する方法は、例えば図６に示すコンピュータ６００により行われてもよい。
【００１６】
なお、本開示では、文書画像からテキスト行を既に見つけ出しており、また、文書画像からこのテキスト行を含む画像ブロックを既に分割していると仮定する。言い換えると、本開示の重点は、文書画像においてテキスト行の位置を如何に見出すかでなく、テキスト行を含む画像ブロックにおける文字の方向を如何に正確に認識するかである。
【００１７】
また、ここでは、主に四つの主要方向が所定文字方向として考慮される。この四つの主要方向は、画像ブロックそのものの方向（０°方向）、画像ブロックを１８０°回転した後の方向、画像ブロックを９０°回転した後の方向、及び画像ブロックを２７０°回転した後の方向である。この四つの主要方向は、画像ブロックの横向きにおける２つの方向及び縦向きにおける２つの方向とも称される。９０°及び２７０°方向は、主に中国語、日本語などのような縦書き可能な文字の場合に用いられる。なお、０°及び１８０°方向と、９０°及び２７０°方向との処理は同様であるので、ここでは、０°及び１８０°方向のみを例として説明する。
【００１８】
図３を参照して、第一実施例による、画像ブロックにおける文字の方向を認識する方法のフローチャートを説明する。
【００１９】
第一実施例では、認識結果に信頼度が含まれている場合を例として説明する。まず、０°及び１８０°方向を所定文字方向として画像ブロックに対してＯＣＲ処理を行うことにより、０°及び１８０°方向におけるサブ画像ブロック、サブ画像ブロックに対応する認識文字及びその信頼度を取得する（ステップＳ３０１）。図１には、０°及び１８０°方向におけるサブ画像ブロック、認識文字及びその信頼度の例が示されており、また、各サブ画像ブロックには、順番号が付けられている。ＯＣＲ処理による認識結果は、一般的に、分割されているサブ画像ブロック、サブ画像ブロックに対応する認識文字、及び認識文字の正確性評価指標値を含む。正確性評価指標値は、認識文字の正確さの度合いを反映し、通常は、信頼度又は認識距離である。信頼度が大きれば大きいほど、認識文字の正確性が大きく、信頼度が小さければ小さいほど、認識文字の正確性が小さい。
【００２０】
続いて、０°及び１８０°方向におけるサブ画像ブロックから、サブ画像ブロックの最小マッチングペアを検索する（ステップＳ３０２）。最小マッチングペアとは、互いが１８０°の関係を有する二つの所定文字方向において、位置が対応し、大小〔サイズ〕が同じであり、最小個数のサブ画像ブロックを含む２つのサブ画像ブロックの集合を指す。具体的には、最小マッチングペアは、２つのサブ画像ブロックの集合を含み、この２つのサブ画像ブロックの集合に含まれているサブ画像ブロックは、それぞれ、互いが１８０°の関係を有する２つの所定文字方向に位置し、且つ、この２つのサブ画像ブロックの集合は、位置が対応し、大小が同じであり、即ち、この２つのサブ画像ブロックの集合のうち何れか一つのサブ画像ブロックの集合は、その所在するテキスト行が１８０°回転された後に、同最小マッチングペアに属するもう一つのサブ画像ブロックの集合と重なり合うことができる。この２つのサブ画像ブロックの集合に含まれているサブ画像ブロックの個数が最小である時に、この２つのサブ画像ブロックの集合は最小マッチングペアを構成していると称される。例えば、図１では、Ｐ１及びＮ８は、最小マッチングペアを構成する。同様に、Ｐ２及びＮ７、Ｐ３及びＮ６、Ｐ４及びＮ５、Ｐ５及びＮ４、Ｐ６及びＮ３、Ｐ７及びＮ２、Ｐ８及びＮ１は、それぞれ、最小マッチングペアを構成する。最小マッチングペアの検索方法としては、いろいろあるが、例えば、最小マッチングペアの定義に基づいて２つの方向の対応側から最小マッチングペアを順に探してもよい。具体的には、図１に示すように、０°方向の最左側及び１８０°方向の最右側において一つ目のサブ画像ブロックＰ１及びＮ８をそれぞれ見つけ出し、それから、この２つのサブ画像ブロックの大小〔サイズ〕が同じであるかを判断し、もし両者の大小が同じであると判断すれば、Ｐ１及びＮ８は最小マッチングペアであると確定する。続いて、上述の２つの方向に沿って次のサブ画像ブロックＰ２及びＮ７を見つけ出し、それから、この２つのサブ画像ブロックの大小が同じであるかを判断し、もし両者の大小が同じであると判断すれば、Ｐ２及びＮ７は最小マッチングペアであると確定する。これによって類推し、互いが１８０°の関係を有する２つの所定文字方向におけるすべての最小マッチングペアが見つかるまで上述の処理を行う。
【００２１】
上述のように、誤りが現れる原因の一つとしては、文字の回転不変という特性を考慮せず、同一の回転不変文字である又は同一の回転不変文字ペアに属する２つの方向における認識結果に異なる信頼度を与えたことがある。なお、上述のステップＳ３０２にて見つかった最小マッチングペアはテキスト行の画像ブロックを更に細分化した結果であると見なしてもよい。
【００２２】
よって、ステップＳ３０３では、最小マッチングペアにおいて、対応する２つの所定文字方向にそれぞれ一つのサブ画像ブロックがあり、且つ、この最小マッチングペアに属する２つのサブ画像ブロックに対応する認識文字が同一の回転不変文字である又は同一の回転不変文字ペアに属するかどうかを判断する。なお、既知の回転不変文字及び回転不変文字ペアを記録する回転不変文字辞書（データベース）を予め定義してもよい。このような辞書を利用することにより、ステップＳ３０３中の判断を行うことができる。ステップＳ３０３の判断結果が「いいえ」であれば、最小マッチングペア中のサブ画像ブロックに対応する信頼度に対して調整を行う必要がなく、ステップＳ３０５に直接進んで後続の処理を行う。ステップＳ３０３の判断結果が「はい」であれば、ステップＳ３０４に進み、最小マッチングペア中のサブ画像ブロックに対応する信頼度に対して調整を行う。
【００２３】
最小マッチングペア中のサブ画像ブロックに対応する信頼度についての調整は、主に、回転不変文字及び回転不変文字ペアの回転不変という特性を考慮することにより行われる。具体的には、ステップＳ３０４では、最小マッチングペア中の２つのサブ画像ブロックに対応する信頼度を同一の数値に調整する。なお、同一の数値の取り方は、いろいろあるが、ここでは、いくつかの例示的な実施方式を挙げる。
【００２４】
〔方式１〕
最小マッチングペア中の２つのサブ画像ブロックに対応する信頼度は、この２つのサブ画像ブロックに対応する信頼度の平均値に調整する。
【００２５】
図１に示すように、回転不変文字又は回転不変文字ペアは、Ｐ１−Ｎ８、Ｐ２−Ｎ７、Ｐ５−Ｎ４、Ｐ７−Ｎ２を含む。よって、Ｐ１、Ｎ８の信頼度は(0.59+0.58)/2=0.585に、Ｐ２、Ｎ７の信頼度は(0.36+0.50)/2=0.43に、Ｐ５、Ｎ４の信頼度は(0.61+0.67)/2=0.64に、Ｐ７、Ｎ２の信頼度は(0.53+0.58)/2=0.555にそれぞれ調整してもよい
〔方式２〕
最小マッチングペア中の２つのサブ画像ブロックに対応する信頼度は、この２つのサブ画像ブロックに対応する信頼度のうち何れか一つに調整する。
【００２６】
例えば、図１の場合、Ｐ１、Ｎ８の信頼度は0.59に、Ｐ２、Ｎ７の信頼度は0.36に、Ｐ５、Ｎ４の信頼度は0.61に、Ｐ７、Ｎ２の信頼度は0.53にそれぞれ調整してもよい。
【００２７】
ステップＳ３０４では、２つの所定文字方向にそれぞれ一つのサブ画像ブロックがあり、且つ、この２つのサブ画像ブロックに対応する認識文字が同一の回転不変文字である又は同一の回転不変文字ペアに属する最小マッチングペア中の２つのサブ画像ブロックに対応する信頼度を調整し、調整後の信頼度を取得した。その後、処理は、ステップＳ３０５に進み、調整後の信頼度に基づいて各所定文字方向における累積信頼度を計算し、また、算出された累積信頼度に基づいてテキスト行の画像ブロックにおける文字の方向を認識する。
【００２８】
累積信頼度は、一つの方向においてテキスト行の画像ブロックの認識結果全体の正確性評価指標値を表すために用いられる。累積信頼度を計算する方式は通常２つある。一つは、一つの所定文字方向における全てのサブ画像ブロックに対応する信頼度の和をこの方向における累積信頼度とする方式である。もう一つは、一つの所定文字方向における全てのサブ画像ブロックに対応する信頼度の算術平均値をこの方向における累積信頼度とする方式である。累積信頼度が高ければ高いほど、その対応する方向における認識結果の正確さが高い。
【００２９】
上述のステップＳ３０４では、方式１及び方式２の目的は、ともに、最小マッチングペアの信頼度を調整することにより、文字の回転不変という特性を有する認識文字に、より合理的な信頼度を与えることにある。調整後の結果としては、ともに、最小マッチングペア全体の信頼度が更に合理的になるのである。累積信頼度の計算方法はいろいろあるが、ステップＳ３０５では、例示としては、一つの所定文字方向における全ての信頼度の和を累積信頼度とする方法、又は、一つの所定文字方向における平均信頼度を累積信頼度とする方法を採用してもよい。平均信頼度を計算する時に、好ましくは、一つの所定文字方向における最小マッチングペアの数を分母とし、一つの文字方向における全ての信頼度の和を分子とする。この物理的意味は、最小マッチングペア中のサブ画像ブロックの集合を、テキスト行の画像ブロックの分割後に得られた結果の基本単位とし、最小マッチングペア中の２つのサブ画像ブロックの集合全体の信頼度を調整したことであり、理解すべきは、この時に、最小マッチングペアの数を、平均信頼度を計算する時の分母とする方が適切であるということである。もちろん、一つの所定文字方向における全ての信頼度の和を分子とし、一つの所定文字方向におけるサブ画像ブロックの個数を分母とし、平均信頼度を計算してもよい。この場合、各所定文字方向におけるサブ画像ブロックの個数が異なるとすれば、好ましくは、各所定文字方向における平均信頼度を計算する時に、同じ一つの所定文字方向におけるサブ画像ブロックの個数を同じ分母とする。
【００３０】
各所定文字方向のうち累積信頼度が最も高い所定文字方向を、正確な認識結果が所在する方向であると判定すべきことは、明らかである。
【００３１】
一つの所定文字方向における全ての信頼度の平均信頼度を累積信頼度とするものを例とし、上述のステップＳ３０４における方式１及び方式２を採用して計算した累積信頼度は、それぞれ次の通りである。
【００３２】
〔方式１〕
０°方向の累積信頼度は、(0.585+0.43+0.53+0.61+0.64+0.61+0.555+0.72)/8=0.585である。
【００３３】
１８０°方向の累積信頼度は、(0.62+0.555+0.65+0.64+0.60+0.46+0.43+0.585)/8=0.5675である。
【００３４】
〔方式２〕
０°方向の累積信頼度は、(0.59+0.36+0.53+0.61+0.61+0.61+0.53+0.72)/8=0.57である。
【００３５】
１８０°方向の累積信頼度は、(0.62+0.53+0.65+0.61+0.60+0.46+0.36+0.59)/8=0.5525である。
【００３６】
してみると、上述の２つの方式を採用して信頼度を調整した後には、ともに、０°方向の累積信頼度は１８０°方向の累積信頼度よりも大きいことが分かる。これにより、より正確な判断結果を得たことがわかる。
【００３７】
図４を参照して、本発明の第二実施例による、画像ブロックにおける文字の方向を認識する方法のフローチャートを説明する。
【００３８】
第二実施例では、認識結果に認識距離が含まれている場合を例として説明する。上述のように、ＯＣＲ認識結果は、一般的に、分割されているサブ画像ブロック、サブ画像ブロックに対応する認識文字、及び認識文字の正確性評価指標値を含む。正確性評価指標値は、認識文字の正確さの度合いを反映し、通常、信頼度又は認識距離である。上述の第一実施例では、認識結果に信頼度が含まれている場合を例として説明を行ったが、この第二実施例では、認識結果に認識距離が含まれている場合について説明を行う。図２には、０°及び１８０°方向におけるサブ画像ブロック、認識文字、及び認識距離の例が示されており、また、各サブ画像ブロックには順番号が付けられている。
【００３９】
図２では、従来の方法を採用して計算した０°方向における認識文字の平均認識距離は、(828+1279+934+774+778+940+595)/8=864.625であり、１８０°方向における認識文字の平均認識距離は、(759+840+704+669+802+1087+1005+790)/8=832である。832は864.625よりも小さいため、従来の方法では、１８０°方向（即ち、平均認識距離が小さい方向）がテキスト行の画像ブロック中の文字方向であると誤って判断してしまう。このような誤りが生じる原因の一つとしては、文字の回転不変という特性を考慮せず、同一の回転不変文字である又は同一の回転不変文字ペアに属する２つの方向における認識結果に異なる認識距離を与えたことである。
【００４０】
このような問題が生じる原因の一つは、文字の回転不変という特性を考慮しないことにあるが、本開示の実施例が採用する方法は、回転不変文字又は回転不変文字ペアの正確性評価指標値を同一の数値に調整することであるので、上述の第一実施例に述べた思想は、認識結果に信頼度でなく認識距離が含まれている場合にも同様に適用される。即ち、第二実施例による方法は、第一実施例による方法と同様である。
【００４１】
まず、０°及び１８０°方向を所定文字方向として画像ブロックに対してＯＣＲ処理を行い、これにより、０°及び１８０°方向におけるサブ画像ブロック、サブ画像ブロックに対応する認識文字及びその認識距離を取得する（ステップＳ４０１）。
【００４２】
続いて、０°及び１８０°方向におけるサブ画像ブロックから、サブ画像ブロックの最小マッチングペアを検索する（ステップＳ４０２）。例えば、図２には、Ｐ１及びＮ８は最小マッチングペアを構成する。同様に、Ｐ２及びＮ７、Ｐ３及びＮ６、Ｐ４及びＮ５、Ｐ５及びＮ４、Ｐ６及びＮ３、Ｐ７及びＮ２、Ｐ８及びＮ１は、それぞれ、最小マッチングペアを構成する。
【００４３】
ステップＳ４０３では、最小マッチングペアに対応する２つの所定文字方向にそれぞれ一つのサブ画像ブロックがあり、且つ、この最小マッチングペアに属する２つのサブ画像ブロックに対応する認識文字が同一の回転不変文字である又は同一の回転不変文字ペアに属するかどうかを判断する。なお、既知の回転不変文字及び回転不変文字ペアを記録する回転不変文字辞書（データベース）を予め定義してもよい。このような辞書を利用することにより、ステップＳ４０３中の判断を行うことができる。判断結果が「いいえ」であれば、最小マッチングペア中のサブ画像ブロックに対応する認識距離について調整を行う必要がなく、処理はステップＳ４０５に直接進んで後続の処理を行う。判断結果が「はい」であれば、処理はステップＳ４０４に進み、最小マッチングペア中のサブ画像ブロックに対応する認識距離について調整を行う。
【００４４】
最小マッチングペア中のサブ画像ブロックに対応する認識距離についての調整は、主に、回転不変文字及び回転不変文字ペアの回転不変という特性を考慮することにより行われる。具体的には、最小マッチングペア中の２つのサブ画像ブロックに対応する認識距離を同一の数値に調整する。同一の数値の取り方はいろいろあるが、ここでは、いくつかの例示的な実施方式を挙げる。
【００４５】
〔方式１〕
最小マッチングペア中の２つのサブ画像ブロックに対応する認識距離は、この２つのサブ画像ブロックに対応する認識距離の平均値に調整する。
【００４６】
図２に示すように、回転不変文字又は回転不変文字ペアは、Ｐ１−Ｎ８、Ｐ２−Ｎ７、Ｐ５−Ｎ４、Ｐ７−Ｎ２を含む。そのため、Ｐ１、Ｎ８の認識距離は(828+790)/2=809に、Ｐ２、Ｎ７の認識距離は(1279+1005)/2=1142に、Ｐ５、Ｎ４の認識距離は(778+669)/2=723.5に、Ｐ７、Ｎ２の認識距離は(940+840)/2=890に調整してもよい。
【００４７】
〔方式２〕
最小マッチングペア中の２つのサブ画像ブロックに対応する認識距離は、この２つのサブ画像ブロックに対応する認識距離のうち何れか一つに調整する。
【００４８】
例えば、図２の場合、Ｐ１、Ｎ８の認識距離は828に、Ｐ２、Ｎ７の認識距離は1279に、Ｐ５、Ｎ４の認識距離は778に、Ｐ７、Ｎ２の認識距離は940にそれぞれ調整してもよい。
【００４９】
ステップＳ４０４では、２つの所定文字方向にそれぞれ一つのサブ画像ブロックがあり、且つ、この２つのサブ画像ブロックに対応する認識文字が同一の回転不変文字である又は同一の回転不変文字ペアに属する最小マッチングペア中の２つのサブ画像ブロックに対応する認識距離を調整し、調整後の認識距離を取得した。その後、処理は、ステップＳ４０５に進み、調整後の認識距離に基づいて各所定文字方向における累積認識距離を計算し、また、算出された累積認識距離に基づいてテキスト行の画像ブロックにおける文字の方向を認識する。
【００５０】
累積認識距離は、一つの方向においてテキスト行の画像ブロックの認識結果全体の正確性評価指標値を表すために用いられる。累積認識距離を計算する方式は通常２つある。一つは、一つの文字方向における全てのサブ画像ブロックに対応する認識距離の和をこの方向における累積認識距離とする方式である。もう一つは、一つの文字方向における全てのサブ画像ブロックに対応する認識距離の算術平均値をこの方向における累積認識距離とする方式である。累積認識距離が小さければ小さいほど、その対応する方向における認識結果の正確さが高い。
【００５１】
上述のステップＳ４０４では、方式１及び方式２の目的は、ともに、最小マッチングペアの認識距離を調整することにより、文字の回転不変という特性を有する認識文字に、より合理的な認識距離を与えることにある。調整後の結果としては、ともに、最小マッチングペア全体の認識距離が更に合理的になるのである。ステップＳ４０５では、累積認識距離の計算方法はいろいろあるが、例示としては、一つの文字方向における全ての認識距離の和を累積認識距離とする方法、又は、一つの文字方向における平均認識距離を累積認識距離とする方法を採用してもよい。平均認識距離を計算する時に、好ましくは、一つの文字方向における最小マッチングペアの数を分母とし、一つの文字方向における全ての認識距離の和を分子とする。この物理的意味は、最小マッチングペア中のサブ画像ブロックの集合を、テキスト行の画像ブロックの分割後に得られた結果の基本単位とし、最小マッチングペア中の２つのサブ画像ブロックの集合全体の信頼度を調整したことである。理解すべきは、この時に、最小マッチングペアの数を、平均認識距離を計算する時の分母とする方が適切であるということである。
【００５２】
各所定文字方向のうち累積認識距離が最も小さい文字方向を、正確な認識結果が所在する方向であると判定すべきことは、明らかである。
【００５３】
一つの所定文字方向における平均認識距離を累積認識距離とするものを例とし、上述のステップＳ４０４における方式１及び方式２を採用して計算した累積認識距離は、それぞれ次の通りである。
【００５４】
〔方式１〕
０°方向の累積認識距離は、(809+1142+934+774+723.5+789+890+595)/8=832.0625である。
【００５５】
１８０°方向の累積認識距離は、(759+890+704+723.5+802+1087+1142+809)/8=864.5625である。
【００５６】
〔方式２〕
０°方向の累積認識距離は、(828+1279+934+774+778+789+940+595)/8=864.625である。
【００５７】
１８０°方向の累積認識距離は、(759+940+704+778+802+1087+1279+828)/8=897.125である。
【００５８】
してみると、上述の２つの方式を採用して認識距離を調整した後には、ともに、０°方向の累積認識距離は１８０°方向の累積認識距離よりも小さいことが分かる。これにより、より正確な判断結果を得たことがわかる。
【００５９】
次に、図５を参照しながら、一実施例による、画像ブロックにおける文字の方向を認識する装置の構造を説明する。
【００６０】
図５に示すように、本実施例による、画像ブロックにおける文字の方向を認識する装置５００は、異なる方向を複数の所定文字方向として画像ブロックに対して光学式文字認識処理を行うことにより、各所定文字方向におけるサブ画像ブロック、サブ画像ブロックに対応する認識文字及びその正確性評価指標値を取得するように構成される光学式文字認識処理ユニット５０１と、互いが１８０°の関係を有する２つの所定文字方向におけるサブ画像ブロックから、サブ画像ブロックの最小マッチングペアを検索するように構成される最小マッチングペア検索ユニット５０２であって、最小マッチングペアは、互いが１８０°の関係を有する２つの所定文字方向において位置が対応し、大小〔サイズ〕が同じであり、最小個数のサブ画像ブロックを含む２つのサブ画像ブロックの集合である、最小マッチングペア検索ユニット５０２と、最小マッチングペアに対応する２つの所定文字方向にそれぞれ一つのサブ画像ブロックがあり且つこの最小マッチングペアに属する２つのサブ画像ブロックに対応する認識文字が同一の回転不変文字である又は同一の回転不変文字ペアに属する場合に、この２つのサブ画像ブロックに対応する正確性評価指標値を同一の数値に調整するように構成される正確性評価指標値調整ユニット５０３と、調整後のサブ画像ブロックに対応する正確性評価指標値に基づいて各所定文字方向における累積正確性評価指標値（累積信頼度又は累積認識距離）を計算するように構成される累積正確性評価指標値計算ユニット５０４と、算出した累積正確性評価指標値に基づいて画像ブロックにおける文字の方向を認識するように構成される文字方向認識ユニット５０５と、を含む。
【００６１】
本実施例による認識装置５００が有する光学式文字認識処理ユニット５０１、最小マッチングペア検索ユニット５０２、正確性評価指標値調整ユニット５０３、累積正確性評価指標値計算ユニット５４０及び文字方向認識ユニット５０５中の処理は、上述の方法におけるステップＳ３０１−Ｓ３０５、Ｓ４０１−Ｓ４０５中の処理とそれぞれ同様であるので、ここでは、簡潔のために、これらのユニット中の処理についての説明を省略する。
【００６２】
なお、上述の方法及び装置を構成する各モジュール（ステップ）及び各ユニットは、ソフトウェア、ファームウェア、ハードウェア又はそれらの組合せにより実現しもよい。実現するために使用可能な具体的な手段又は方式は、当業者にとって周知であるため、ここでは、その説明を省略する。また、ソフトウェア又はファームウェアにより実現する場合、記憶媒体又はネットワークから専用ハードウェア構造を有するコンピュータ（例えば、図６に示す汎用コンピュータ６００）にこのソフトウェア又はファームウェアを構成するプログラムをインストールすることができ、コンピュータは、各種のプログラムがインストールされているときに、対応する各種の機能などを実行することができる。
【００６３】
上述の実施例による方法及び装置によれば、文字の回転不変という特性を考慮し、またこの特性に基づいて認識文字に対応する正確性評価指標値（信頼度又は認識距離）を調整することにより、文書画像の方向を自動的に判別する正確率を向上することができる。
【００６４】
次に、図６を参照して、かかる実施例による方法及び装置を実現するためのコンピュータ６００の構造を説明する。
【００６５】
図６に示すように、中央処理ユニット（ＣＰＵ）６０１が、リードオンリーメモリ（ＲＯＭ）６０２に記憶されているプログラム、又は、記憶部６０８からランダムアクセスメモリ（ＲＡＭ）６０３にロードされているプログラムに基づいて各種の処理を行う。ＲＡＭ６０３は、ニーズに応じて、ＣＰＵ６０１が各種の処理などを実行するときに必要なデータを記憶してもよい。ＣＰＵ６０１、ＲＯＭ６０２及びＲＡＭ６０３は、バス６０４を経由して互いに接続される。また、入力／出力インターフェース６０５もバス６０４に接続される。
【００６６】
入力／出力インターフェース６０５には、入力部６０６（キーボード、マウスなどを含む。）、出力部分６０７（表示器例えばＣＲＴ、ＬＣＤ、スピーカーなどを含む。）、記憶部６０８（ハードディスクなどを含む。）、及び通信部６０９（ネットワーク接続カード例えばＬＡＮカード、モデムなどを含む。）が接続される。通信部６０９は、ネットワーク例えばインターネットを経由して通信処理を行う。駆動器〔ドライブ〕６１０がニーズに応じて入力／出力インターフェース６０５に接続されてもよい。また、ニーズに応じて、取り外し可能な媒体６１１例えば磁気ディスク、光ディスク、光磁気ディスク、半導体メモリなどを駆動器〔ドライブ〕６１０にセットすることにより、その中から読み出したコンピュータプログラムを記憶部６０８にインストールしてもよい。
【００６７】
ソフトウェアにより上述の一連の処理を実現する場合は、ネットワーク例えばインターネット、又は記憶媒体例えば取り外し可能な媒体６１１から、このソフトウェアを構成するプログラムをインストールしてもよい。
【００６８】
なお、当業者が理解すべきは、このような記憶媒体は、中にプログラムが記憶されており、ユーザにプログラムを提供するよう装置と独立して配られる図６に示すような取り外し可能な媒体６１１に限定されないということである。取り外し可能な媒体６１１の例としては、磁気ディスク（フロッピー（登録商標）ディスクを含む。）、光ディスク（ＣＤ−ＲＯＭ及びＤＶＤを含む。）、光磁気ディスク（ＭＤ（登録商標）を含む。）、及び半導体メモリを含む。或いは、記憶媒体はＲＯＭ６０２、記憶部６０８に含まれるハードディスクなどであってもよく、それらにはプログラムが記憶されており、且つそれらを含む装置とともにユーザに配られてもよい。
【００６９】
また、本発明は、マシン（例えば、コンピュータ）読取可能な命令コードからなるプログラムプロダクトにも関する。この命令コードは、マシンに読み取られて実行されるときに、上述の実施例による方法を実行することができる。
【００７０】
さらに、上述のマシン読取可能な命令コードからなるプログラムプロダクトを記憶している記憶媒体も本開示に含まれている。このような記憶媒体は、磁気ディスク（フロッピーディスク）、光ディスク、光磁気ディスク、メモリカード、メモリメモリスティックなどを含むが、これらに限定されない。
【００７１】
上述の実施例に記載の画像ブロックにおける文字の方向を認識する方法及び装置並びに関連するプログラムプロダクトは、スキャナなどの画像スキャニング装置に用い、スキャニングされた文書画像における文字の方向を認識するために使用されてもよい。
【００７２】
また、上述の各実施例を含む実施形態に関し、更に以下の付記を開示する。
【００７３】
（付記１）
画像ブロックにおける文字の方向を認識する方法であって、
異なる方向を複数の所定文字方向として前記画像ブロックに対して光学式文字認識処理を行い、前記複数の所定文字方向の各々におけるサブ画像ブロック、前記サブ画像ブロックに対応する認識文字、及び前記認識文字の正確性評価指標値を取得するステップと、
互いが１８０°の関係を有する二つの所定文字方向におけるサブ画像ブロックから、サブ画像ブロックの最小マッチングペアを検索するステップであって、前記最小マッチングペアは、互いが１８０°の関係を有する前記二つの所定文字方向において位置が対応し、サイズが同じであり、最小個数のサブ画像ブロックを含む二つのサブ画像ブロックの集合であるステップと、
最小マッチングペアに、二つの所定文字方向においてそれぞれ一つのサブ画像ブロックが属し、且つ前記最小マッチングペアに属する二つのサブ画像ブロックに対応する認識文字が同一の回転不変文字である又は同一の回転不変文字ペアに属する場合に、前記二つのサブ画像ブロックに対応する正確性評価指標値を同一の数値に調整するステップと、
前記調整後のサブ画像ブロックに対応する正確性評価指標値に基づいて前記複数の所定文字方向の各々における累積正確性評価指標値を計算するステップと、
前記累積正確性評価指標値に基づいて前記画像ブロックにおける文字の方向を認識するステップと、を含む方法。
（付記２）
前記回転不変文字は、１８０°自己回転対称性を有する文字を含み、１８０°自己回転対称性とは、文字が１８０°回転された後に依然としてそれ自身であることを指し、
前記回転不変文字ペアは、二つの文字を含み、且つ前記二つの文字のうち何れか一つは、１８０°回転された後にもう一つと一致し又は高い形状相似度を有する、付記１に記載の方法。
（付記３）
前記二つのサブ画像ブロックに対応する正確性評価指標値を同一の数値に調整することは、前記二つのサブ画像ブロックに対応する正確性評価指標値を、前記二つのサブ画像ブロックに対応する正確性評価指標値の平均値に調整することを含む、付記１に記載の方法。
（付記４）、
前記二つのサブ画像ブロックに対応する正確性評価指標値を同一の数値に調整することは、前記二つのサブ画像ブロックに対応する正確性評価指標値を、前記二つのサブ画像ブロックに対応する正確性評価指標値のうち何れか一つに調整することを含む、付記１に記載の方法。
（付記５）
前記正確性評価指標値は、信頼度及び認識距離を含み、
前記異なる方向は、前記画像ブロックの横向きにおける二つの方向及び縦向きにおける二つの方向を含む、付記１ないし４の何れか一つに記載の方法。
（付記６）
前記調整後のサブ画像ブロックに対応する正確性評価指標値に基づいて前記複数の所定文字方向の各々における累積正確性評価指標値を計算するステップは、
前記複数の所定文字方向の各々における調整後のサブ画像ブロックに対応する正確性評価指標値の和を、対応する所定文字方向における最小マッチングペアの数で割った結果を、対応する所定文字方向における累積正確性評価指標値にすることを含む、付記１ないし４の何れか一つに記載の方法。
（付記７）
画像ブロックにおける文字の方向を認識する装置であって、
異なる方向を複数の所定文字方向として前記画像ブロックに対して光学式文字認識処理を行い、前記複数の所定文字方向の各々におけるサブ画像ブロック、前記サブ画像ブロックに対応する認識文字、及び前記認識文字の正確性評価指標値を取得する光学式文字認識処理ユニットと、
互いが１８０°の関係を有する二つの所定文字方向におけるサブ画像ブロックから、サブ画像ブロックの最小マッチングペアを検索する最小マッチングペア検索ユニットであって、前記最小マッチングペアは、互いが１８０°の関係を有する前記二つの所定文字方向において位置が対応し、サイズが同じであり、最小個数のサブ画像ブロックを含む二つのサブ画像ブロックの集合である最小マッチングペア検索ユニットと、
最小マッチングペアに、二つの所定文字方向においてそれぞれ一つのサブ画像ブロックが属し、且つ前記最小マッチングペアに属する二つのサブ画像ブロックに対応する認識文字が同一の回転不変文字である又は同一の回転不変文字ペアに属する場合に、前記二つのサブ画像ブロックに対応する正確性評価指標値を同一の数値に調整する正確性評価指標値調整ユニットと、
前記調整後のサブ画像ブロックに対応する正確性評価指標値に基づいて前記複数の所定文字方向の各々における累積正確性評価指標値を計算する累積正確性評価指標値計算ユニットと、
前記累積正確性評価指標値に基づいて前記画像ブロックにおける文字の方向を認識する文字方向認識ユニットと、を含む装置。
（付記８）
前記正確性評価指標値調整ユニットでは、
最小マッチングペアに、二つの所定文字方向においてそれぞれ一つのサブ画像ブロックが属し、且つ前記最小マッチングペアに属する二つのサブ画像ブロックに対応する認識文字が同一の回転不変文字である又は同一の回転不変文字ペアに属する場合に、前記二つのサブ画像ブロックに対応する正確性評価指標値を、前記二つのサブ画像ブロックに対応する正確性評価指標値の平均値に調整する、付記７に記載の装置。
（付記９）
前記正確性評価指標値調整ユニットでは、
最小マッチングペアに、二つの所定文字方向においてそれぞれ一つのサブ画像ブロックが属し、且つ前記最小マッチングペアに属する二つのサブ画像ブロックに対応する認識文字が同一の回転不変文字である又は同一の回転不変文字ペアに属する場合に、前記二つのサブ画像ブロックに対応する正確性評価指標値を、前記二つのサブ画像ブロックに対応する正確性評価指標値のうち何れか一つに調整する、付記７に記載の装置。
（付記１０）
前記累積正確性評価指標値計算ユニットでは、
前記複数の所定文字方向の各々における調整後のサブ画像ブロックに対応する正確性評価指標値の和を、対応する所定文字方向における最小マッチングペアの数で割った結果を、対応する所定文字方向における累積正確性評価指標値にする、付記７に記載の装置。
（付記１１）
付記７ないし１０の何れか一つに記載の装置を含むスキャナ。
（付記１２）
コンピュータに、付記１に記載の各ステップを実行させるためのプログラム。
（付記１３）
付記１２に記載のプログラムを記憶しているコンピュータ読み出し可能な記憶媒体。
【００７４】
以上、本発明の好ましい実施形態を説明したが、本発明はこの実施形態に限定されず、本発明の趣旨を離脱しない限り、本発明に対するあらゆる変更は本発明の技術範囲に属する。
【技術分野】
【０００１】
本発明は、文書画像処理に関し、具体的には、画像ブロックにおける文字の方向を認識する方法及び装置に関する。
【背景技術】
【０００２】
ユーザがスキャナなどの設備を用いて各々が複数ページを有する複数文書をスキャニングする時に、理想的なインプットとしては、各文書の各ページが全て正方向（例えば、連続してインプットする時の文書ページの進行方向と水平又は垂直である方向）に置かれている。文書を正方向に置く時に、ユーザは、簡単に該文書を読むことができ、また、スキャニングされた文書画像は、ユーザが方向を調整することを要せずに閲覧され得る。しかし、実際に使用する場合、ユーザは、しばしば、スキャニングしたい文書を正方向０°、逆方向１８０°、横方向９０°及び２７０°で交代して積み重ねる。そのため、スキャニング時にユーザにより文書の置き方向をページ毎にチェック及び調整する必要があれば、その作業は、繁雑で時間のかかるものである。よって、スキャナには、文書画像方向を自動的に判別する機能が用意されている。スキャニングされた文書画像は、文書画像方向を自動的に判別する機能に基づいて正方向に調整され得る。これにより、ユーザの負担を軽減し、スキャナの使用効率を向上することができる。
【０００３】
従来の文書画像方向自動判別方法の一つとしては、文書画像におけるテキスト行を見つけ出し、四つの所定方向にＯＣＲ(Optical Character Recognition)処理をそれぞれ行うことによってこの四つの所定方向に認識された認識文字（Character〔キャラクタ〕）及びそれらに対応する信頼度（Degree of Confidence）又は認識距離を取得し、テキスト行の平均信頼度又は平均認識距離を計算することによるものである。平均信頼度が最大である又は平均認識距離が最小である方向が、テキスト行の方向として判別される。さらに、テキスト行の方向に基づいて文書画像の方向を判断する。ここで、テキスト行の方向とは、テキスト行の正方向を指し、文書画像の方向とは、文書画像の正方向を指す。なお、以下は、文字方向又は文字の方向とは、文字の正方向を指す。
【０００４】
次に、図１及び図２を参照して、上述の従来の文書画像方向自動判別方法における問題点を説明する。
【０００５】
図１は、テキスト行の画像ブロックをＯＣＲ処理した後に得られた０°及び１８０°方向におけるサブ画像ブロック、認識文字及びその信頼度を示す図である。図２は、テキスト行の画像ブロックをＯＣＲ処理した後に得られた０°及び１８０°方向におけるサブ画像ブロック、認識文字及びその認識距離を示す図である。
【０００６】
図１に示すように、テキスト行“TIP AMOUNT”の画像ブロックが入力される。このテキスト行の方向は０°方向とする。また、このテキスト行の画像ブロックを１８０°回転することによって１８０°方向のテキスト行の画像ブロックが得られる。なお、９０°及び２７０°方向の処理は０°及び１８０°方向の処理と同様であるので、ここでは、０°及び１８０°方向のみを例として説明する。また、０°及び１８０°方向においてテキスト行の画像ブロックに対してＯＣＲ処理をそれぞれ行うことにより、この２つの方向におけるサブ画像ブロック、サブ画像ブロックに対応する認識文字及びその信頼度を取得することができる。同様に、図２に示すように、０°及び１８０°方向におけるサブ画像ブロック、サブ画像ブロックに対応する認識文字及びその認識距離を取得することもできる。
【０００７】
上述の従来の方法により、図１に示す０°方向における認識文字の平均信頼度は、(0.59+0.36+0.53+0.61+0.61+0.61+0.53+0.72)/8=0.57となり、１８０°方向における認識文字の平均信頼度は、(0.62+0.58+0.65+0.67+0.60+0.46+0.50+0.58)/8=0.5825となる。0.57は0.5825よりも小さいため、この従来の方法では、１８０°方向（即ち、平均信頼度が高い方向）がテキスト行の画像ブロックにおける文字の方向であると誤って判断してしまう。また、図２に示す０°及び１８０°方向における認識文字の平均距離による判断結果も同様である。
【０００８】
上述の誤りが生じる原因の一つとしては、１８０°方向の画像は０°方向の画像を１８０°回転することによって得られたものであるということがある。認識文字の中には、「回転されても変わらない文字」又は「回転されても変わらない文字ペア」（以下、それぞれ「回転不変文字」又は「回転不変文字ペア」という）、例えば、N、0、p-d、U-nが多く存在する。同一の画像の正、逆方向における認識結果が同一の回転不変文字である又は同一の回転不変文字ペアに属するのであれば、実際には、対応する信頼度又は認識距離は一致すべきである。なぜなら、正、逆方向における認識結果とも同一の形状による正確な認識結果だからである。言い換えると、平均信頼度又は平均認識距離を利用してテキスト行の方向を判断する従来の方法では、「回転されても変わらない」即ち「回転不変」という特性を考慮しないため、パフォーマンスの低下を引き起こしてしまう。
【０００９】
なお、回転不変文字は、１８０°自己回転対称性を有する文字を含む。１８０°自己回転対称性とは、文字が１８０°回転された後に依然としてそれ自身であることを指し、例えば、“I”、“0”、“Z”、“N”、“S”又は“%”などのような文字〔キャラクタ〕である。このような回転不変文字は、１８０°回転不変文字とも称される。
【００１０】
また、回転不変文字ペアは、２つの文字を含み、且つこの２つの文字のうち何れか一つは１８０°回転された後にもう一つと一致し又は高い形状相似度〔類似性〕を有し、例えば、“W-M”、“U-n”又は“P-d”などのような文字である。このような回転不変文字ペアは、１８０°回転不変文字ペアとも称される。
【発明の概要】
【発明が解決しようとする課題】
【００１１】
本発明の目的は、上述の従来技術の問題点に鑑み、画像ブロックにおける文字の方向を正確に認識することができる方法及び装置を提供することにある。
【課題を解決するための手段】
【００１２】
かかる方法は、異なる方向を複数の所定文字方向として前記画像ブロックに対して光学式文字認識処理を行い、前記複数の所定文字方向の各々におけるサブ画像ブロック、前記サブ画像ブロックに対応する認識文字、及び前記認識文字の正確性評価指標値を取得するステップと、互いが１８０°の関係を有する二つの所定文字方向におけるサブ画像ブロックから、サブ画像ブロックの最小マッチングペアを検索するステップであって、前記最小マッチングペアは、互いが１８０°の関係を有する前記二つの所定文字方向において位置が対応し、大小〔サイズ〕が同じであり、最小個数のサブ画像ブロックを含む二つのサブ画像ブロックの集合である、ステップと、最小マッチングペアに対応する二つの所定文字方向に一つのサブ画像ブロックがそれぞれあり、且つ前記最小マッチングペアに属する二つのサブ画像ブロックに対応する認識文字が同一の回転不変文字である又は同一の回転不変文字ペアに属する時に、前記二つのサブ画像ブロックに対応する正確性評価指標値を同一の数値に調整するステップと、前記調整後のサブ画像ブロックに対応する正確性評価指標値に基づいて前記複数の所定文字方向の各々における累積正確性評価指標値を計算するステップと、前記累積正確性評価指標値に基づいて前記画像ブロックにおける文字の方向を認識するステップと、を含む。
【図面の簡単な説明】
【００１３】
【図１】テキスト行の画像ブロックをＯＣＲ処理した後に得られた０°及び１８０°方向におけるサブ画像ブロック、認識文字及びその信頼度を示す図である。
【図２】テキスト行の画像ブロックをＯＣＲ処理した後に得られた０°及び１８０°方向におけるサブ画像ブロック、認識文字及びその認識距離を示す図である。
【図３】第一実施例による、画像ブロックにおける文字の方向を認識する方法のフローチャートである。
【図４】第二実施例による、画像ブロックにおける文字の方向を認識する方法のフローチャートである。
【図５】一実施例による、画像ブロックにおける文字の方向を認識する装置のブロック図である。
【図６】かかる方法及び装置を実現するためのコンピュータのブロック図である。
【発明を実施するための形態】
【００１４】
以下、添付した図面を参照しながら、本発明の好適な実施形態を詳細に説明する。
【００１５】
図３及び図４を参照して、第一及び第二実施例による、画像ブロックにおける文字の方向を認識する方法のフローチャートを説明する。図３及び図４に示す第一及び第二実施例による、画像ブロックにおける文字の方向を認識する方法は、例えば図６に示すコンピュータ６００により行われてもよい。
【００１６】
なお、本開示では、文書画像からテキスト行を既に見つけ出しており、また、文書画像からこのテキスト行を含む画像ブロックを既に分割していると仮定する。言い換えると、本開示の重点は、文書画像においてテキスト行の位置を如何に見出すかでなく、テキスト行を含む画像ブロックにおける文字の方向を如何に正確に認識するかである。
【００１７】
また、ここでは、主に四つの主要方向が所定文字方向として考慮される。この四つの主要方向は、画像ブロックそのものの方向（０°方向）、画像ブロックを１８０°回転した後の方向、画像ブロックを９０°回転した後の方向、及び画像ブロックを２７０°回転した後の方向である。この四つの主要方向は、画像ブロックの横向きにおける２つの方向及び縦向きにおける２つの方向とも称される。９０°及び２７０°方向は、主に中国語、日本語などのような縦書き可能な文字の場合に用いられる。なお、０°及び１８０°方向と、９０°及び２７０°方向との処理は同様であるので、ここでは、０°及び１８０°方向のみを例として説明する。
【００１８】
図３を参照して、第一実施例による、画像ブロックにおける文字の方向を認識する方法のフローチャートを説明する。
【００１９】
第一実施例では、認識結果に信頼度が含まれている場合を例として説明する。まず、０°及び１８０°方向を所定文字方向として画像ブロックに対してＯＣＲ処理を行うことにより、０°及び１８０°方向におけるサブ画像ブロック、サブ画像ブロックに対応する認識文字及びその信頼度を取得する（ステップＳ３０１）。図１には、０°及び１８０°方向におけるサブ画像ブロック、認識文字及びその信頼度の例が示されており、また、各サブ画像ブロックには、順番号が付けられている。ＯＣＲ処理による認識結果は、一般的に、分割されているサブ画像ブロック、サブ画像ブロックに対応する認識文字、及び認識文字の正確性評価指標値を含む。正確性評価指標値は、認識文字の正確さの度合いを反映し、通常は、信頼度又は認識距離である。信頼度が大きれば大きいほど、認識文字の正確性が大きく、信頼度が小さければ小さいほど、認識文字の正確性が小さい。
【００２０】
続いて、０°及び１８０°方向におけるサブ画像ブロックから、サブ画像ブロックの最小マッチングペアを検索する（ステップＳ３０２）。最小マッチングペアとは、互いが１８０°の関係を有する二つの所定文字方向において、位置が対応し、大小〔サイズ〕が同じであり、最小個数のサブ画像ブロックを含む２つのサブ画像ブロックの集合を指す。具体的には、最小マッチングペアは、２つのサブ画像ブロックの集合を含み、この２つのサブ画像ブロックの集合に含まれているサブ画像ブロックは、それぞれ、互いが１８０°の関係を有する２つの所定文字方向に位置し、且つ、この２つのサブ画像ブロックの集合は、位置が対応し、大小が同じであり、即ち、この２つのサブ画像ブロックの集合のうち何れか一つのサブ画像ブロックの集合は、その所在するテキスト行が１８０°回転された後に、同最小マッチングペアに属するもう一つのサブ画像ブロックの集合と重なり合うことができる。この２つのサブ画像ブロックの集合に含まれているサブ画像ブロックの個数が最小である時に、この２つのサブ画像ブロックの集合は最小マッチングペアを構成していると称される。例えば、図１では、Ｐ１及びＮ８は、最小マッチングペアを構成する。同様に、Ｐ２及びＮ７、Ｐ３及びＮ６、Ｐ４及びＮ５、Ｐ５及びＮ４、Ｐ６及びＮ３、Ｐ７及びＮ２、Ｐ８及びＮ１は、それぞれ、最小マッチングペアを構成する。最小マッチングペアの検索方法としては、いろいろあるが、例えば、最小マッチングペアの定義に基づいて２つの方向の対応側から最小マッチングペアを順に探してもよい。具体的には、図１に示すように、０°方向の最左側及び１８０°方向の最右側において一つ目のサブ画像ブロックＰ１及びＮ８をそれぞれ見つけ出し、それから、この２つのサブ画像ブロックの大小〔サイズ〕が同じであるかを判断し、もし両者の大小が同じであると判断すれば、Ｐ１及びＮ８は最小マッチングペアであると確定する。続いて、上述の２つの方向に沿って次のサブ画像ブロックＰ２及びＮ７を見つけ出し、それから、この２つのサブ画像ブロックの大小が同じであるかを判断し、もし両者の大小が同じであると判断すれば、Ｐ２及びＮ７は最小マッチングペアであると確定する。これによって類推し、互いが１８０°の関係を有する２つの所定文字方向におけるすべての最小マッチングペアが見つかるまで上述の処理を行う。
【００２１】
上述のように、誤りが現れる原因の一つとしては、文字の回転不変という特性を考慮せず、同一の回転不変文字である又は同一の回転不変文字ペアに属する２つの方向における認識結果に異なる信頼度を与えたことがある。なお、上述のステップＳ３０２にて見つかった最小マッチングペアはテキスト行の画像ブロックを更に細分化した結果であると見なしてもよい。
【００２２】
よって、ステップＳ３０３では、最小マッチングペアにおいて、対応する２つの所定文字方向にそれぞれ一つのサブ画像ブロックがあり、且つ、この最小マッチングペアに属する２つのサブ画像ブロックに対応する認識文字が同一の回転不変文字である又は同一の回転不変文字ペアに属するかどうかを判断する。なお、既知の回転不変文字及び回転不変文字ペアを記録する回転不変文字辞書（データベース）を予め定義してもよい。このような辞書を利用することにより、ステップＳ３０３中の判断を行うことができる。ステップＳ３０３の判断結果が「いいえ」であれば、最小マッチングペア中のサブ画像ブロックに対応する信頼度に対して調整を行う必要がなく、ステップＳ３０５に直接進んで後続の処理を行う。ステップＳ３０３の判断結果が「はい」であれば、ステップＳ３０４に進み、最小マッチングペア中のサブ画像ブロックに対応する信頼度に対して調整を行う。
【００２３】
最小マッチングペア中のサブ画像ブロックに対応する信頼度についての調整は、主に、回転不変文字及び回転不変文字ペアの回転不変という特性を考慮することにより行われる。具体的には、ステップＳ３０４では、最小マッチングペア中の２つのサブ画像ブロックに対応する信頼度を同一の数値に調整する。なお、同一の数値の取り方は、いろいろあるが、ここでは、いくつかの例示的な実施方式を挙げる。
【００２４】
〔方式１〕
最小マッチングペア中の２つのサブ画像ブロックに対応する信頼度は、この２つのサブ画像ブロックに対応する信頼度の平均値に調整する。
【００２５】
図１に示すように、回転不変文字又は回転不変文字ペアは、Ｐ１−Ｎ８、Ｐ２−Ｎ７、Ｐ５−Ｎ４、Ｐ７−Ｎ２を含む。よって、Ｐ１、Ｎ８の信頼度は(0.59+0.58)/2=0.585に、Ｐ２、Ｎ７の信頼度は(0.36+0.50)/2=0.43に、Ｐ５、Ｎ４の信頼度は(0.61+0.67)/2=0.64に、Ｐ７、Ｎ２の信頼度は(0.53+0.58)/2=0.555にそれぞれ調整してもよい
〔方式２〕
最小マッチングペア中の２つのサブ画像ブロックに対応する信頼度は、この２つのサブ画像ブロックに対応する信頼度のうち何れか一つに調整する。
【００２６】
例えば、図１の場合、Ｐ１、Ｎ８の信頼度は0.59に、Ｐ２、Ｎ７の信頼度は0.36に、Ｐ５、Ｎ４の信頼度は0.61に、Ｐ７、Ｎ２の信頼度は0.53にそれぞれ調整してもよい。
【００２７】
ステップＳ３０４では、２つの所定文字方向にそれぞれ一つのサブ画像ブロックがあり、且つ、この２つのサブ画像ブロックに対応する認識文字が同一の回転不変文字である又は同一の回転不変文字ペアに属する最小マッチングペア中の２つのサブ画像ブロックに対応する信頼度を調整し、調整後の信頼度を取得した。その後、処理は、ステップＳ３０５に進み、調整後の信頼度に基づいて各所定文字方向における累積信頼度を計算し、また、算出された累積信頼度に基づいてテキスト行の画像ブロックにおける文字の方向を認識する。
【００２８】
累積信頼度は、一つの方向においてテキスト行の画像ブロックの認識結果全体の正確性評価指標値を表すために用いられる。累積信頼度を計算する方式は通常２つある。一つは、一つの所定文字方向における全てのサブ画像ブロックに対応する信頼度の和をこの方向における累積信頼度とする方式である。もう一つは、一つの所定文字方向における全てのサブ画像ブロックに対応する信頼度の算術平均値をこの方向における累積信頼度とする方式である。累積信頼度が高ければ高いほど、その対応する方向における認識結果の正確さが高い。
【００２９】
上述のステップＳ３０４では、方式１及び方式２の目的は、ともに、最小マッチングペアの信頼度を調整することにより、文字の回転不変という特性を有する認識文字に、より合理的な信頼度を与えることにある。調整後の結果としては、ともに、最小マッチングペア全体の信頼度が更に合理的になるのである。累積信頼度の計算方法はいろいろあるが、ステップＳ３０５では、例示としては、一つの所定文字方向における全ての信頼度の和を累積信頼度とする方法、又は、一つの所定文字方向における平均信頼度を累積信頼度とする方法を採用してもよい。平均信頼度を計算する時に、好ましくは、一つの所定文字方向における最小マッチングペアの数を分母とし、一つの文字方向における全ての信頼度の和を分子とする。この物理的意味は、最小マッチングペア中のサブ画像ブロックの集合を、テキスト行の画像ブロックの分割後に得られた結果の基本単位とし、最小マッチングペア中の２つのサブ画像ブロックの集合全体の信頼度を調整したことであり、理解すべきは、この時に、最小マッチングペアの数を、平均信頼度を計算する時の分母とする方が適切であるということである。もちろん、一つの所定文字方向における全ての信頼度の和を分子とし、一つの所定文字方向におけるサブ画像ブロックの個数を分母とし、平均信頼度を計算してもよい。この場合、各所定文字方向におけるサブ画像ブロックの個数が異なるとすれば、好ましくは、各所定文字方向における平均信頼度を計算する時に、同じ一つの所定文字方向におけるサブ画像ブロックの個数を同じ分母とする。
【００３０】
各所定文字方向のうち累積信頼度が最も高い所定文字方向を、正確な認識結果が所在する方向であると判定すべきことは、明らかである。
【００３１】
一つの所定文字方向における全ての信頼度の平均信頼度を累積信頼度とするものを例とし、上述のステップＳ３０４における方式１及び方式２を採用して計算した累積信頼度は、それぞれ次の通りである。
【００３２】
〔方式１〕
０°方向の累積信頼度は、(0.585+0.43+0.53+0.61+0.64+0.61+0.555+0.72)/8=0.585である。
【００３３】
１８０°方向の累積信頼度は、(0.62+0.555+0.65+0.64+0.60+0.46+0.43+0.585)/8=0.5675である。
【００３４】
〔方式２〕
０°方向の累積信頼度は、(0.59+0.36+0.53+0.61+0.61+0.61+0.53+0.72)/8=0.57である。
【００３５】
１８０°方向の累積信頼度は、(0.62+0.53+0.65+0.61+0.60+0.46+0.36+0.59)/8=0.5525である。
【００３６】
してみると、上述の２つの方式を採用して信頼度を調整した後には、ともに、０°方向の累積信頼度は１８０°方向の累積信頼度よりも大きいことが分かる。これにより、より正確な判断結果を得たことがわかる。
【００３７】
図４を参照して、本発明の第二実施例による、画像ブロックにおける文字の方向を認識する方法のフローチャートを説明する。
【００３８】
第二実施例では、認識結果に認識距離が含まれている場合を例として説明する。上述のように、ＯＣＲ認識結果は、一般的に、分割されているサブ画像ブロック、サブ画像ブロックに対応する認識文字、及び認識文字の正確性評価指標値を含む。正確性評価指標値は、認識文字の正確さの度合いを反映し、通常、信頼度又は認識距離である。上述の第一実施例では、認識結果に信頼度が含まれている場合を例として説明を行ったが、この第二実施例では、認識結果に認識距離が含まれている場合について説明を行う。図２には、０°及び１８０°方向におけるサブ画像ブロック、認識文字、及び認識距離の例が示されており、また、各サブ画像ブロックには順番号が付けられている。
【００３９】
図２では、従来の方法を採用して計算した０°方向における認識文字の平均認識距離は、(828+1279+934+774+778+940+595)/8=864.625であり、１８０°方向における認識文字の平均認識距離は、(759+840+704+669+802+1087+1005+790)/8=832である。832は864.625よりも小さいため、従来の方法では、１８０°方向（即ち、平均認識距離が小さい方向）がテキスト行の画像ブロック中の文字方向であると誤って判断してしまう。このような誤りが生じる原因の一つとしては、文字の回転不変という特性を考慮せず、同一の回転不変文字である又は同一の回転不変文字ペアに属する２つの方向における認識結果に異なる認識距離を与えたことである。
【００４０】
このような問題が生じる原因の一つは、文字の回転不変という特性を考慮しないことにあるが、本開示の実施例が採用する方法は、回転不変文字又は回転不変文字ペアの正確性評価指標値を同一の数値に調整することであるので、上述の第一実施例に述べた思想は、認識結果に信頼度でなく認識距離が含まれている場合にも同様に適用される。即ち、第二実施例による方法は、第一実施例による方法と同様である。
【００４１】
まず、０°及び１８０°方向を所定文字方向として画像ブロックに対してＯＣＲ処理を行い、これにより、０°及び１８０°方向におけるサブ画像ブロック、サブ画像ブロックに対応する認識文字及びその認識距離を取得する（ステップＳ４０１）。
【００４２】
続いて、０°及び１８０°方向におけるサブ画像ブロックから、サブ画像ブロックの最小マッチングペアを検索する（ステップＳ４０２）。例えば、図２には、Ｐ１及びＮ８は最小マッチングペアを構成する。同様に、Ｐ２及びＮ７、Ｐ３及びＮ６、Ｐ４及びＮ５、Ｐ５及びＮ４、Ｐ６及びＮ３、Ｐ７及びＮ２、Ｐ８及びＮ１は、それぞれ、最小マッチングペアを構成する。
【００４３】
ステップＳ４０３では、最小マッチングペアに対応する２つの所定文字方向にそれぞれ一つのサブ画像ブロックがあり、且つ、この最小マッチングペアに属する２つのサブ画像ブロックに対応する認識文字が同一の回転不変文字である又は同一の回転不変文字ペアに属するかどうかを判断する。なお、既知の回転不変文字及び回転不変文字ペアを記録する回転不変文字辞書（データベース）を予め定義してもよい。このような辞書を利用することにより、ステップＳ４０３中の判断を行うことができる。判断結果が「いいえ」であれば、最小マッチングペア中のサブ画像ブロックに対応する認識距離について調整を行う必要がなく、処理はステップＳ４０５に直接進んで後続の処理を行う。判断結果が「はい」であれば、処理はステップＳ４０４に進み、最小マッチングペア中のサブ画像ブロックに対応する認識距離について調整を行う。
【００４４】
最小マッチングペア中のサブ画像ブロックに対応する認識距離についての調整は、主に、回転不変文字及び回転不変文字ペアの回転不変という特性を考慮することにより行われる。具体的には、最小マッチングペア中の２つのサブ画像ブロックに対応する認識距離を同一の数値に調整する。同一の数値の取り方はいろいろあるが、ここでは、いくつかの例示的な実施方式を挙げる。
【００４５】
〔方式１〕
最小マッチングペア中の２つのサブ画像ブロックに対応する認識距離は、この２つのサブ画像ブロックに対応する認識距離の平均値に調整する。
【００４６】
図２に示すように、回転不変文字又は回転不変文字ペアは、Ｐ１−Ｎ８、Ｐ２−Ｎ７、Ｐ５−Ｎ４、Ｐ７−Ｎ２を含む。そのため、Ｐ１、Ｎ８の認識距離は(828+790)/2=809に、Ｐ２、Ｎ７の認識距離は(1279+1005)/2=1142に、Ｐ５、Ｎ４の認識距離は(778+669)/2=723.5に、Ｐ７、Ｎ２の認識距離は(940+840)/2=890に調整してもよい。
【００４７】
〔方式２〕
最小マッチングペア中の２つのサブ画像ブロックに対応する認識距離は、この２つのサブ画像ブロックに対応する認識距離のうち何れか一つに調整する。
【００４８】
例えば、図２の場合、Ｐ１、Ｎ８の認識距離は828に、Ｐ２、Ｎ７の認識距離は1279に、Ｐ５、Ｎ４の認識距離は778に、Ｐ７、Ｎ２の認識距離は940にそれぞれ調整してもよい。
【００４９】
ステップＳ４０４では、２つの所定文字方向にそれぞれ一つのサブ画像ブロックがあり、且つ、この２つのサブ画像ブロックに対応する認識文字が同一の回転不変文字である又は同一の回転不変文字ペアに属する最小マッチングペア中の２つのサブ画像ブロックに対応する認識距離を調整し、調整後の認識距離を取得した。その後、処理は、ステップＳ４０５に進み、調整後の認識距離に基づいて各所定文字方向における累積認識距離を計算し、また、算出された累積認識距離に基づいてテキスト行の画像ブロックにおける文字の方向を認識する。
【００５０】
累積認識距離は、一つの方向においてテキスト行の画像ブロックの認識結果全体の正確性評価指標値を表すために用いられる。累積認識距離を計算する方式は通常２つある。一つは、一つの文字方向における全てのサブ画像ブロックに対応する認識距離の和をこの方向における累積認識距離とする方式である。もう一つは、一つの文字方向における全てのサブ画像ブロックに対応する認識距離の算術平均値をこの方向における累積認識距離とする方式である。累積認識距離が小さければ小さいほど、その対応する方向における認識結果の正確さが高い。
【００５１】
上述のステップＳ４０４では、方式１及び方式２の目的は、ともに、最小マッチングペアの認識距離を調整することにより、文字の回転不変という特性を有する認識文字に、より合理的な認識距離を与えることにある。調整後の結果としては、ともに、最小マッチングペア全体の認識距離が更に合理的になるのである。ステップＳ４０５では、累積認識距離の計算方法はいろいろあるが、例示としては、一つの文字方向における全ての認識距離の和を累積認識距離とする方法、又は、一つの文字方向における平均認識距離を累積認識距離とする方法を採用してもよい。平均認識距離を計算する時に、好ましくは、一つの文字方向における最小マッチングペアの数を分母とし、一つの文字方向における全ての認識距離の和を分子とする。この物理的意味は、最小マッチングペア中のサブ画像ブロックの集合を、テキスト行の画像ブロックの分割後に得られた結果の基本単位とし、最小マッチングペア中の２つのサブ画像ブロックの集合全体の信頼度を調整したことである。理解すべきは、この時に、最小マッチングペアの数を、平均認識距離を計算する時の分母とする方が適切であるということである。
【００５２】
各所定文字方向のうち累積認識距離が最も小さい文字方向を、正確な認識結果が所在する方向であると判定すべきことは、明らかである。
【００５３】
一つの所定文字方向における平均認識距離を累積認識距離とするものを例とし、上述のステップＳ４０４における方式１及び方式２を採用して計算した累積認識距離は、それぞれ次の通りである。
【００５４】
〔方式１〕
０°方向の累積認識距離は、(809+1142+934+774+723.5+789+890+595)/8=832.0625である。
【００５５】
１８０°方向の累積認識距離は、(759+890+704+723.5+802+1087+1142+809)/8=864.5625である。
【００５６】
〔方式２〕
０°方向の累積認識距離は、(828+1279+934+774+778+789+940+595)/8=864.625である。
【００５７】
１８０°方向の累積認識距離は、(759+940+704+778+802+1087+1279+828)/8=897.125である。
【００５８】
してみると、上述の２つの方式を採用して認識距離を調整した後には、ともに、０°方向の累積認識距離は１８０°方向の累積認識距離よりも小さいことが分かる。これにより、より正確な判断結果を得たことがわかる。
【００５９】
次に、図５を参照しながら、一実施例による、画像ブロックにおける文字の方向を認識する装置の構造を説明する。
【００６０】
図５に示すように、本実施例による、画像ブロックにおける文字の方向を認識する装置５００は、異なる方向を複数の所定文字方向として画像ブロックに対して光学式文字認識処理を行うことにより、各所定文字方向におけるサブ画像ブロック、サブ画像ブロックに対応する認識文字及びその正確性評価指標値を取得するように構成される光学式文字認識処理ユニット５０１と、互いが１８０°の関係を有する２つの所定文字方向におけるサブ画像ブロックから、サブ画像ブロックの最小マッチングペアを検索するように構成される最小マッチングペア検索ユニット５０２であって、最小マッチングペアは、互いが１８０°の関係を有する２つの所定文字方向において位置が対応し、大小〔サイズ〕が同じであり、最小個数のサブ画像ブロックを含む２つのサブ画像ブロックの集合である、最小マッチングペア検索ユニット５０２と、最小マッチングペアに対応する２つの所定文字方向にそれぞれ一つのサブ画像ブロックがあり且つこの最小マッチングペアに属する２つのサブ画像ブロックに対応する認識文字が同一の回転不変文字である又は同一の回転不変文字ペアに属する場合に、この２つのサブ画像ブロックに対応する正確性評価指標値を同一の数値に調整するように構成される正確性評価指標値調整ユニット５０３と、調整後のサブ画像ブロックに対応する正確性評価指標値に基づいて各所定文字方向における累積正確性評価指標値（累積信頼度又は累積認識距離）を計算するように構成される累積正確性評価指標値計算ユニット５０４と、算出した累積正確性評価指標値に基づいて画像ブロックにおける文字の方向を認識するように構成される文字方向認識ユニット５０５と、を含む。
【００６１】
本実施例による認識装置５００が有する光学式文字認識処理ユニット５０１、最小マッチングペア検索ユニット５０２、正確性評価指標値調整ユニット５０３、累積正確性評価指標値計算ユニット５４０及び文字方向認識ユニット５０５中の処理は、上述の方法におけるステップＳ３０１−Ｓ３０５、Ｓ４０１−Ｓ４０５中の処理とそれぞれ同様であるので、ここでは、簡潔のために、これらのユニット中の処理についての説明を省略する。
【００６２】
なお、上述の方法及び装置を構成する各モジュール（ステップ）及び各ユニットは、ソフトウェア、ファームウェア、ハードウェア又はそれらの組合せにより実現しもよい。実現するために使用可能な具体的な手段又は方式は、当業者にとって周知であるため、ここでは、その説明を省略する。また、ソフトウェア又はファームウェアにより実現する場合、記憶媒体又はネットワークから専用ハードウェア構造を有するコンピュータ（例えば、図６に示す汎用コンピュータ６００）にこのソフトウェア又はファームウェアを構成するプログラムをインストールすることができ、コンピュータは、各種のプログラムがインストールされているときに、対応する各種の機能などを実行することができる。
【００６３】
上述の実施例による方法及び装置によれば、文字の回転不変という特性を考慮し、またこの特性に基づいて認識文字に対応する正確性評価指標値（信頼度又は認識距離）を調整することにより、文書画像の方向を自動的に判別する正確率を向上することができる。
【００６４】
次に、図６を参照して、かかる実施例による方法及び装置を実現するためのコンピュータ６００の構造を説明する。
【００６５】
図６に示すように、中央処理ユニット（ＣＰＵ）６０１が、リードオンリーメモリ（ＲＯＭ）６０２に記憶されているプログラム、又は、記憶部６０８からランダムアクセスメモリ（ＲＡＭ）６０３にロードされているプログラムに基づいて各種の処理を行う。ＲＡＭ６０３は、ニーズに応じて、ＣＰＵ６０１が各種の処理などを実行するときに必要なデータを記憶してもよい。ＣＰＵ６０１、ＲＯＭ６０２及びＲＡＭ６０３は、バス６０４を経由して互いに接続される。また、入力／出力インターフェース６０５もバス６０４に接続される。
【００６６】
入力／出力インターフェース６０５には、入力部６０６（キーボード、マウスなどを含む。）、出力部分６０７（表示器例えばＣＲＴ、ＬＣＤ、スピーカーなどを含む。）、記憶部６０８（ハードディスクなどを含む。）、及び通信部６０９（ネットワーク接続カード例えばＬＡＮカード、モデムなどを含む。）が接続される。通信部６０９は、ネットワーク例えばインターネットを経由して通信処理を行う。駆動器〔ドライブ〕６１０がニーズに応じて入力／出力インターフェース６０５に接続されてもよい。また、ニーズに応じて、取り外し可能な媒体６１１例えば磁気ディスク、光ディスク、光磁気ディスク、半導体メモリなどを駆動器〔ドライブ〕６１０にセットすることにより、その中から読み出したコンピュータプログラムを記憶部６０８にインストールしてもよい。
【００６７】
ソフトウェアにより上述の一連の処理を実現する場合は、ネットワーク例えばインターネット、又は記憶媒体例えば取り外し可能な媒体６１１から、このソフトウェアを構成するプログラムをインストールしてもよい。
【００６８】
なお、当業者が理解すべきは、このような記憶媒体は、中にプログラムが記憶されており、ユーザにプログラムを提供するよう装置と独立して配られる図６に示すような取り外し可能な媒体６１１に限定されないということである。取り外し可能な媒体６１１の例としては、磁気ディスク（フロッピー（登録商標）ディスクを含む。）、光ディスク（ＣＤ−ＲＯＭ及びＤＶＤを含む。）、光磁気ディスク（ＭＤ（登録商標）を含む。）、及び半導体メモリを含む。或いは、記憶媒体はＲＯＭ６０２、記憶部６０８に含まれるハードディスクなどであってもよく、それらにはプログラムが記憶されており、且つそれらを含む装置とともにユーザに配られてもよい。
【００６９】
また、本発明は、マシン（例えば、コンピュータ）読取可能な命令コードからなるプログラムプロダクトにも関する。この命令コードは、マシンに読み取られて実行されるときに、上述の実施例による方法を実行することができる。
【００７０】
さらに、上述のマシン読取可能な命令コードからなるプログラムプロダクトを記憶している記憶媒体も本開示に含まれている。このような記憶媒体は、磁気ディスク（フロッピーディスク）、光ディスク、光磁気ディスク、メモリカード、メモリメモリスティックなどを含むが、これらに限定されない。
【００７１】
上述の実施例に記載の画像ブロックにおける文字の方向を認識する方法及び装置並びに関連するプログラムプロダクトは、スキャナなどの画像スキャニング装置に用い、スキャニングされた文書画像における文字の方向を認識するために使用されてもよい。
【００７２】
また、上述の各実施例を含む実施形態に関し、更に以下の付記を開示する。
【００７３】
（付記１）
画像ブロックにおける文字の方向を認識する方法であって、
異なる方向を複数の所定文字方向として前記画像ブロックに対して光学式文字認識処理を行い、前記複数の所定文字方向の各々におけるサブ画像ブロック、前記サブ画像ブロックに対応する認識文字、及び前記認識文字の正確性評価指標値を取得するステップと、
互いが１８０°の関係を有する二つの所定文字方向におけるサブ画像ブロックから、サブ画像ブロックの最小マッチングペアを検索するステップであって、前記最小マッチングペアは、互いが１８０°の関係を有する前記二つの所定文字方向において位置が対応し、サイズが同じであり、最小個数のサブ画像ブロックを含む二つのサブ画像ブロックの集合であるステップと、
最小マッチングペアに、二つの所定文字方向においてそれぞれ一つのサブ画像ブロックが属し、且つ前記最小マッチングペアに属する二つのサブ画像ブロックに対応する認識文字が同一の回転不変文字である又は同一の回転不変文字ペアに属する場合に、前記二つのサブ画像ブロックに対応する正確性評価指標値を同一の数値に調整するステップと、
前記調整後のサブ画像ブロックに対応する正確性評価指標値に基づいて前記複数の所定文字方向の各々における累積正確性評価指標値を計算するステップと、
前記累積正確性評価指標値に基づいて前記画像ブロックにおける文字の方向を認識するステップと、を含む方法。
（付記２）
前記回転不変文字は、１８０°自己回転対称性を有する文字を含み、１８０°自己回転対称性とは、文字が１８０°回転された後に依然としてそれ自身であることを指し、
前記回転不変文字ペアは、二つの文字を含み、且つ前記二つの文字のうち何れか一つは、１８０°回転された後にもう一つと一致し又は高い形状相似度を有する、付記１に記載の方法。
（付記３）
前記二つのサブ画像ブロックに対応する正確性評価指標値を同一の数値に調整することは、前記二つのサブ画像ブロックに対応する正確性評価指標値を、前記二つのサブ画像ブロックに対応する正確性評価指標値の平均値に調整することを含む、付記１に記載の方法。
（付記４）、
前記二つのサブ画像ブロックに対応する正確性評価指標値を同一の数値に調整することは、前記二つのサブ画像ブロックに対応する正確性評価指標値を、前記二つのサブ画像ブロックに対応する正確性評価指標値のうち何れか一つに調整することを含む、付記１に記載の方法。
（付記５）
前記正確性評価指標値は、信頼度及び認識距離を含み、
前記異なる方向は、前記画像ブロックの横向きにおける二つの方向及び縦向きにおける二つの方向を含む、付記１ないし４の何れか一つに記載の方法。
（付記６）
前記調整後のサブ画像ブロックに対応する正確性評価指標値に基づいて前記複数の所定文字方向の各々における累積正確性評価指標値を計算するステップは、
前記複数の所定文字方向の各々における調整後のサブ画像ブロックに対応する正確性評価指標値の和を、対応する所定文字方向における最小マッチングペアの数で割った結果を、対応する所定文字方向における累積正確性評価指標値にすることを含む、付記１ないし４の何れか一つに記載の方法。
（付記７）
画像ブロックにおける文字の方向を認識する装置であって、
異なる方向を複数の所定文字方向として前記画像ブロックに対して光学式文字認識処理を行い、前記複数の所定文字方向の各々におけるサブ画像ブロック、前記サブ画像ブロックに対応する認識文字、及び前記認識文字の正確性評価指標値を取得する光学式文字認識処理ユニットと、
互いが１８０°の関係を有する二つの所定文字方向におけるサブ画像ブロックから、サブ画像ブロックの最小マッチングペアを検索する最小マッチングペア検索ユニットであって、前記最小マッチングペアは、互いが１８０°の関係を有する前記二つの所定文字方向において位置が対応し、サイズが同じであり、最小個数のサブ画像ブロックを含む二つのサブ画像ブロックの集合である最小マッチングペア検索ユニットと、
最小マッチングペアに、二つの所定文字方向においてそれぞれ一つのサブ画像ブロックが属し、且つ前記最小マッチングペアに属する二つのサブ画像ブロックに対応する認識文字が同一の回転不変文字である又は同一の回転不変文字ペアに属する場合に、前記二つのサブ画像ブロックに対応する正確性評価指標値を同一の数値に調整する正確性評価指標値調整ユニットと、
前記調整後のサブ画像ブロックに対応する正確性評価指標値に基づいて前記複数の所定文字方向の各々における累積正確性評価指標値を計算する累積正確性評価指標値計算ユニットと、
前記累積正確性評価指標値に基づいて前記画像ブロックにおける文字の方向を認識する文字方向認識ユニットと、を含む装置。
（付記８）
前記正確性評価指標値調整ユニットでは、
最小マッチングペアに、二つの所定文字方向においてそれぞれ一つのサブ画像ブロックが属し、且つ前記最小マッチングペアに属する二つのサブ画像ブロックに対応する認識文字が同一の回転不変文字である又は同一の回転不変文字ペアに属する場合に、前記二つのサブ画像ブロックに対応する正確性評価指標値を、前記二つのサブ画像ブロックに対応する正確性評価指標値の平均値に調整する、付記７に記載の装置。
（付記９）
前記正確性評価指標値調整ユニットでは、
最小マッチングペアに、二つの所定文字方向においてそれぞれ一つのサブ画像ブロックが属し、且つ前記最小マッチングペアに属する二つのサブ画像ブロックに対応する認識文字が同一の回転不変文字である又は同一の回転不変文字ペアに属する場合に、前記二つのサブ画像ブロックに対応する正確性評価指標値を、前記二つのサブ画像ブロックに対応する正確性評価指標値のうち何れか一つに調整する、付記７に記載の装置。
（付記１０）
前記累積正確性評価指標値計算ユニットでは、
前記複数の所定文字方向の各々における調整後のサブ画像ブロックに対応する正確性評価指標値の和を、対応する所定文字方向における最小マッチングペアの数で割った結果を、対応する所定文字方向における累積正確性評価指標値にする、付記７に記載の装置。
（付記１１）
付記７ないし１０の何れか一つに記載の装置を含むスキャナ。
（付記１２）
コンピュータに、付記１に記載の各ステップを実行させるためのプログラム。
（付記１３）
付記１２に記載のプログラムを記憶しているコンピュータ読み出し可能な記憶媒体。
【００７４】
以上、本発明の好ましい実施形態を説明したが、本発明はこの実施形態に限定されず、本発明の趣旨を離脱しない限り、本発明に対するあらゆる変更は本発明の技術範囲に属する。
【特許請求の範囲】
【請求項１】
画像ブロックにおける文字の方向を認識する方法であって、
異なる方向を複数の所定文字方向として前記画像ブロックに対して光学式文字認識処理を行い、前記複数の所定文字方向の各々におけるサブ画像ブロック、前記サブ画像ブロックに対応する認識文字、及び前記認識文字の正確性評価指標値を取得するステップと、
互いが１８０°の関係を有する二つの所定文字方向におけるサブ画像ブロックから、サブ画像ブロックの最小マッチングペアを検索するステップであって、前記最小マッチングペアは、互いが１８０°の関係を有する前記二つの所定文字方向において位置が対応し、サイズが同じであり、最小個数のサブ画像ブロックを含む二つのサブ画像ブロックの集合である、ステップと、
最小マッチングペアに、二つの所定文字方向においてそれぞれ一つのサブ画像ブロックが属し、且つ前記最小マッチングペアに属する二つのサブ画像ブロックに対応する認識文字が同一の回転不変文字である又は同一の回転不変文字ペアに属する場合に、前記二つのサブ画像ブロックに対応する正確性評価指標値を同一の数値に調整するステップと、
前記調整後のサブ画像ブロックに対応する正確性評価指標値に基づいて前記複数の所定文字方向の各々における累積正確性評価指標値を計算するステップと、
前記累積正確性評価指標値に基づいて前記画像ブロックにおける文字の方向を認識するステップと、を含む方法。
【請求項２】
前記回転不変文字は、１８０°自己回転対称性を有する文字を含み、１８０°自己回転対称性とは、文字が１８０°回転された後に依然としてそれ自身であることを指し、
前記回転不変文字ペアは、二つの文字を含み、且つ前記二つの文字のうち何れか一つは、１８０°回転された後にもう一つと一致し又は高い形状相似度を有する、請求項１に記載の方法。
【請求項３】
前記二つのサブ画像ブロックに対応する正確性評価指標値を同一の数値に調整することは、前記二つのサブ画像ブロックに対応する正確性評価指標値を、前記二つのサブ画像ブロックに対応する正確性評価指標値の平均値に調整することを含む、請求項１に記載の方法。
【請求項４】
前記二つのサブ画像ブロックに対応する正確性評価指標値を同一の数値に調整することは、前記二つのサブ画像ブロックに対応する正確性評価指標値を、前記二つのサブ画像ブロックに対応する正確性評価指標値のうち何れか一つに調整することを含む、請求項１に記載の方法。
【請求項５】
前記調整後のサブ画像ブロックに対応する正確性評価指標値に基づいて前記複数の所定文字方向の各々における累積正確性評価指標値を計算するステップは、
前記複数の所定文字方向の各々における調整後のサブ画像ブロックに対応する正確性評価指標値の和を、対応する所定文字方向における最小マッチングペアの数で割った結果を、対応する所定文字方向における累積正確性評価指標値にすることを含む、請求項１に記載の方法。
【請求項６】
画像ブロックにおける文字の方向を認識する装置であって、
異なる方向を複数の所定文字方向として前記画像ブロックに対して光学式文字認識処理を行い、前記複数の所定文字方向の各々におけるサブ画像ブロック、前記サブ画像ブロックに対応する認識文字、及び前記認識文字の正確性評価指標値を取得する光学式文字認識処理ユニットと、
互いが１８０°の関係を有する二つの所定文字方向におけるサブ画像ブロックから、サブ画像ブロックの最小マッチングペアを検索する最小マッチングペア検索ユニットであって、前記最小マッチングペアは、互いが１８０°の関係を有する前記二つの所定文字方向において位置が対応し、サイズが同じであり、最小個数のサブ画像ブロックを含む二つのサブ画像ブロックの集合である、最小マッチングペア検索ユニットと、
最小マッチングペアに、二つの所定文字方向においてそれぞれ一つのサブ画像ブロックが属し、且つ前記最小マッチングペアに属する二つのサブ画像ブロックに対応する認識文字が同一の回転不変文字である又は同一の回転不変文字ペアに属する場合に、前記二つのサブ画像ブロックに対応する正確性評価指標値を同一の数値に調整する正確性評価指標値調整ユニットと、
前記調整後のサブ画像ブロックに対応する正確性評価指標値に基づいて前記複数の所定文字方向の各々における累積正確性評価指標値を計算する累積正確性評価指標値計算ユニットと、
前記累積正確性評価指標値に基づいて前記画像ブロックにおける文字の方向を認識する文字方向認識ユニットと、を含む装置。
【請求項７】
前記正確性評価指標値調整ユニットでは、
最小マッチングペアに、二つの所定文字方向においてそれぞれ一つのサブ画像ブロックが属し、且つ前記最小マッチングペアに属する二つのサブ画像ブロックに対応する認識文字が同一の回転不変文字である又は同一の回転不変文字ペアに属する場合に、前記二つのサブ画像ブロックに対応する正確性評価指標値を、前記二つのサブ画像ブロックに対応する正確性評価指標値の平均値に調整する、請求項６に記載の装置。
【請求項８】
前記正確性評価指標値調整ユニットでは、
最小マッチングペアに、二つの所定文字方向においてそれぞれ一つのサブ画像ブロックが属し、且つ前記最小マッチングペアに属する二つのサブ画像ブロックに対応する認識文字が同一の回転不変文字である又は同一の回転不変文字ペアに属する場合に、前記二つのサブ画像ブロックに対応する正確性評価指標値を、前記二つのサブ画像ブロックに対応する正確性評価指標値のうち何れか一つに調整する、請求項６に記載の装置。
【請求項９】
前記累積正確性評価指標値計算ユニットでは、
前記複数の所定文字方向の各々における調整後のサブ画像ブロックに対応する正確性評価指標値の和を、対応する所定文字方向における最小マッチングペアの数で割った結果を、対応する所定文字方向における累積正確性評価指標値にする、請求項６に記載の装置。
【請求項１０】
請求項６ないし９の何れか一つに記載の装置を含むスキャナ。
【請求項１】
画像ブロックにおける文字の方向を認識する方法であって、
異なる方向を複数の所定文字方向として前記画像ブロックに対して光学式文字認識処理を行い、前記複数の所定文字方向の各々におけるサブ画像ブロック、前記サブ画像ブロックに対応する認識文字、及び前記認識文字の正確性評価指標値を取得するステップと、
互いが１８０°の関係を有する二つの所定文字方向におけるサブ画像ブロックから、サブ画像ブロックの最小マッチングペアを検索するステップであって、前記最小マッチングペアは、互いが１８０°の関係を有する前記二つの所定文字方向において位置が対応し、サイズが同じであり、最小個数のサブ画像ブロックを含む二つのサブ画像ブロックの集合である、ステップと、
最小マッチングペアに、二つの所定文字方向においてそれぞれ一つのサブ画像ブロックが属し、且つ前記最小マッチングペアに属する二つのサブ画像ブロックに対応する認識文字が同一の回転不変文字である又は同一の回転不変文字ペアに属する場合に、前記二つのサブ画像ブロックに対応する正確性評価指標値を同一の数値に調整するステップと、
前記調整後のサブ画像ブロックに対応する正確性評価指標値に基づいて前記複数の所定文字方向の各々における累積正確性評価指標値を計算するステップと、
前記累積正確性評価指標値に基づいて前記画像ブロックにおける文字の方向を認識するステップと、を含む方法。
【請求項２】
前記回転不変文字は、１８０°自己回転対称性を有する文字を含み、１８０°自己回転対称性とは、文字が１８０°回転された後に依然としてそれ自身であることを指し、
前記回転不変文字ペアは、二つの文字を含み、且つ前記二つの文字のうち何れか一つは、１８０°回転された後にもう一つと一致し又は高い形状相似度を有する、請求項１に記載の方法。
【請求項３】
前記二つのサブ画像ブロックに対応する正確性評価指標値を同一の数値に調整することは、前記二つのサブ画像ブロックに対応する正確性評価指標値を、前記二つのサブ画像ブロックに対応する正確性評価指標値の平均値に調整することを含む、請求項１に記載の方法。
【請求項４】
前記二つのサブ画像ブロックに対応する正確性評価指標値を同一の数値に調整することは、前記二つのサブ画像ブロックに対応する正確性評価指標値を、前記二つのサブ画像ブロックに対応する正確性評価指標値のうち何れか一つに調整することを含む、請求項１に記載の方法。
【請求項５】
前記調整後のサブ画像ブロックに対応する正確性評価指標値に基づいて前記複数の所定文字方向の各々における累積正確性評価指標値を計算するステップは、
前記複数の所定文字方向の各々における調整後のサブ画像ブロックに対応する正確性評価指標値の和を、対応する所定文字方向における最小マッチングペアの数で割った結果を、対応する所定文字方向における累積正確性評価指標値にすることを含む、請求項１に記載の方法。
【請求項６】
画像ブロックにおける文字の方向を認識する装置であって、
異なる方向を複数の所定文字方向として前記画像ブロックに対して光学式文字認識処理を行い、前記複数の所定文字方向の各々におけるサブ画像ブロック、前記サブ画像ブロックに対応する認識文字、及び前記認識文字の正確性評価指標値を取得する光学式文字認識処理ユニットと、
互いが１８０°の関係を有する二つの所定文字方向におけるサブ画像ブロックから、サブ画像ブロックの最小マッチングペアを検索する最小マッチングペア検索ユニットであって、前記最小マッチングペアは、互いが１８０°の関係を有する前記二つの所定文字方向において位置が対応し、サイズが同じであり、最小個数のサブ画像ブロックを含む二つのサブ画像ブロックの集合である、最小マッチングペア検索ユニットと、
最小マッチングペアに、二つの所定文字方向においてそれぞれ一つのサブ画像ブロックが属し、且つ前記最小マッチングペアに属する二つのサブ画像ブロックに対応する認識文字が同一の回転不変文字である又は同一の回転不変文字ペアに属する場合に、前記二つのサブ画像ブロックに対応する正確性評価指標値を同一の数値に調整する正確性評価指標値調整ユニットと、
前記調整後のサブ画像ブロックに対応する正確性評価指標値に基づいて前記複数の所定文字方向の各々における累積正確性評価指標値を計算する累積正確性評価指標値計算ユニットと、
前記累積正確性評価指標値に基づいて前記画像ブロックにおける文字の方向を認識する文字方向認識ユニットと、を含む装置。
【請求項７】
前記正確性評価指標値調整ユニットでは、
最小マッチングペアに、二つの所定文字方向においてそれぞれ一つのサブ画像ブロックが属し、且つ前記最小マッチングペアに属する二つのサブ画像ブロックに対応する認識文字が同一の回転不変文字である又は同一の回転不変文字ペアに属する場合に、前記二つのサブ画像ブロックに対応する正確性評価指標値を、前記二つのサブ画像ブロックに対応する正確性評価指標値の平均値に調整する、請求項６に記載の装置。
【請求項８】
前記正確性評価指標値調整ユニットでは、
最小マッチングペアに、二つの所定文字方向においてそれぞれ一つのサブ画像ブロックが属し、且つ前記最小マッチングペアに属する二つのサブ画像ブロックに対応する認識文字が同一の回転不変文字である又は同一の回転不変文字ペアに属する場合に、前記二つのサブ画像ブロックに対応する正確性評価指標値を、前記二つのサブ画像ブロックに対応する正確性評価指標値のうち何れか一つに調整する、請求項６に記載の装置。
【請求項９】
前記累積正確性評価指標値計算ユニットでは、
前記複数の所定文字方向の各々における調整後のサブ画像ブロックに対応する正確性評価指標値の和を、対応する所定文字方向における最小マッチングペアの数で割った結果を、対応する所定文字方向における累積正確性評価指標値にする、請求項６に記載の装置。
【請求項１０】
請求項６ないし９の何れか一つに記載の装置を含むスキャナ。
【図１】
【図２】
【図３】
【図４】
【図５】
【図６】
【図２】
【図３】
【図４】
【図５】
【図６】
【公開番号】特開２０１３−２５８００（Ｐ２０１３−２５８００Ａ）
【公開日】平成２５年２月４日（２０１３．２．４）
【国際特許分類】
【出願番号】特願２０１２−１５０２５９（Ｐ２０１２−１５０２５９）
【出願日】平成２４年７月４日（２０１２．７．４）
【出願人】（０００００５２２３）富士通株式会社 (25,993)
【Ｆターム（参考）】
【公開日】平成２５年２月４日（２０１３．２．４）
【国際特許分類】
【出願日】平成２４年７月４日（２０１２．７．４）
【出願人】（０００００５２２３）富士通株式会社 (25,993)
【Ｆターム（参考）】
[ Back to top ]