文字列認識装置、文字列認識方法及び文字列認識プログラム
【課題】複雑な背景に文字が重畳された場合でも高速に文字が認識できる技術を提供する。
【解決手段】文字列矩形推定部１２により、文字らしさを表す特徴量を用いて文字列の位置と大きさを推定し、代表文字認識部１４により、推定した文字列の位置と大きさから代表的な文字の認識を行い、個別文字認識部１６により、代表文字の認識結果から文字の探索範囲を適切に設定して各文字の認識を行う。これにより、複雑な背景に文字が重畳された場合でも高速に文字を認識することができる。
【解決手段】文字列矩形推定部１２により、文字らしさを表す特徴量を用いて文字列の位置と大きさを推定し、代表文字認識部１４により、推定した文字列の位置と大きさから代表的な文字の認識を行い、個別文字認識部１６により、代表文字の認識結果から文字の探索範囲を適切に設定して各文字の認識を行う。これにより、複雑な背景に文字が重畳された場合でも高速に文字を認識することができる。
【発明の詳細な説明】
【技術分野】
【０００１】
本発明は、画像中の文字を認識する技術に関する。
【背景技術】
【０００２】
画像中の文字を認識する従来技術として、画像中の文字領域を切り出し、切り出された文字領域に対して辞書との照合を行うことで各文字の認識を行う方法がある。文字領域を切り出す方法として画像の領域分割を行う方法が一般的である。非特許文献１では、入力画像のエッジ分布から文字領域を推定し、推定した文字領域内の輝度画像を高輝度領域と低輝度領域に分割する２値化処理を行っている。
【０００３】
また、画像から文字領域を切り出すことなく、画像全体に対し、文字の照合を行う方法もある。非特許文献２では、画像中のすべての位置について、文字の大きさを変えながら順次辞書との照合を行い、照合結果としての距離がしきい値以内であれば文字であると認識する全探索により文字認識を行っている。
【先行技術文献】
【非特許文献】
【０００４】
【非特許文献１】平松、外４名、「テロップ認識のための領域配置情報を用いた文字領域抽出」、電子情報通信学会総合大会講演論文集、２００８年３月５日、D-12-70、p.201
【非特許文献２】草地、外４名、「景観画像中の文字候補群による画像インデクシング及び検索技術」、電子情報通信学会論文誌、２００７年、Vol.90、No.2、p.2562-2572
【発明の概要】
【発明が解決しようとする課題】
【０００５】
非特許文献１の方法では、白い背景上の黒色の文字のように、文字領域が背景と異なる色や輝度になっているときには、適切に文字の認識が行える。しかし、複雑な背景に文字が重畳されている場合には文字領域を精度良く切り出すことが困難であるという問題があった。
【０００６】
非特許文献２の方法では、画像全体の位置や想定される文字の大きさについて全探索を行うので処理時間がかかるという問題があった。
【０００７】
本発明は、上記に鑑みてなされたものであり、画像中の文字列の各文字を認識する技術において、複雑な背景に文字が重畳された場合でも高速に文字が認識できる技術を提供することを目的とする。
【課題を解決するための手段】
【０００８】
第１の本発明に係る文字列認識装置は、文字列を含む画像を入力する画像入力手段と、前記画像から文字らしさを表す特徴量を抽出し、前記特徴量を画素値とする特徴量抽出画像における局所領域内での前記特徴量の密集度から文字列領域を推定する文字列領域推定手段と、前記文字列領域の位置と大きさに基づいて文字の第１の探索範囲を設定し、前記画像における前記第１の探索範囲内の部分画像と文字認識辞書データとの照合を行って代表的な文字を認識する代表文字認識手段と、前記代表的な文字の位置と大きさに基づいて第２の文字探索範囲を設定し、前記画像における前記第２の文字探索範囲内の部分画像と文字認識辞書データとの照合を行って前記画像に含まれる各文字を認識する個別文字認識手段と、を有することを特徴とする。
【０００９】
上記文字列認識装置において、前記文字列領域推定手段は、文字列方向に延び、認識対象の文字の大きさの定数倍の線分を前記局所領域とすることを特徴とする。
【００１０】
上記文字列認識装置において、前記文字認識辞書データは複数の属性別辞書データで構成されるものであって、前記代表文字認識手段は、前記文字認識辞書データを構成する全ての属性別辞書データを利用して前記代表的な文字の照合を行い、前記個別文字認識手段は、前記代表文字認識手段が前記代表的な文字を認識した際に用いた前記属性別辞書データのみを利用して照合を行うことを特徴とする。
【００１１】
第２の本発明に係る文字列認識方法は、文字列を含む画像を入力するステップと、前記画像から文字らしさを表す特徴量を抽出し、前記特徴量を画素値とする特徴量抽出画像における局所領域内での前記特徴量の密集度から文字列領域を推定するステップと、前記文字列領域の位置と大きさに基づいて第１の文字探索範囲を設定し、前記画像における前記第１の文字探索範囲内の部分画像と文字認識辞書データとの照合を行って代表的な文字を認識するステップと、前記代表的な文字の位置と大きさに基づいて第２の文字探索範囲を設定し、前記画像における前記第２の文字探索範囲内の部分画像と文字認識辞書データとの照合を行って前記画像に含まれる各文字を認識するステップと、を有することを特徴とする。
【００１２】
第３の本発明に係る文字列認識プログラムは、上記文字列認識方法をコンピュータに実行させることを特徴とする。
【発明の効果】
【００１３】
本発明によれば、画像中の文字列の各文字を認識する技術において、複雑な背景に文字が重畳された場合でも高速に文字が認識できる技術を提供することができる。
【図面の簡単な説明】
【００１４】
【図１】本実施の形態における文字列認識装置の構成を示す機能ブロック図である。
【図２】文字列の位置と大きさを推定する処理を説明するための図である。
【図３】代表文字を認識する処理を説明するための図である。
【図４】本実施の形態における文字列認識装置の処理の流れを示すフローチャートである。
【図５】処理対象画像から文字列を認識する様子を示す図である。
【発明を実施するための形態】
【００１５】
以下、本発明の実施の形態について図面を用いて説明する。
【００１６】
図１は、本実施の形態における文字列認識装置の構成を示す機能ブロック図である。同図に示す文字列認識装置１は、画像取得部１１、文字列矩形推定部１２、画像管理部１３、代表文字認識部１４、辞書データ管理部１５、および個別文字認識部１６を備える。文字列認識装置１が備える各部は、演算処理装置、記憶装置等を備えたコンピュータにより構成して、各部の処理がプログラムによって実行されるものとしてもよい。このプログラムは文字列認識装置１が備える記憶装置に記憶されており、磁気ディスク、光ディスク、半導体メモリ等の記録媒体に記録することも、ネットワークを通して提供することも可能である。以下、各部について説明する。
【００１７】
画像取得部１１は、文字列を含む処理対象画像を取得して文字列矩形推定部１２に出力する。
【００１８】
文字列矩形推定部１２は、処理対象画像から文字らしさを表す特徴量を抽出し、その特徴量を画素値とする特徴量抽出結果画像における局所領域内での特徴量の密集度から文字列の位置と大きさを推定する。そして、処理対象画像を画像管理部１３に、推定した文字列の位置と大きさを代表文字認識部１４にそれぞれ出力する。文字らしさを表す特徴量としては、下記の参考文献のペアエッジを用いる方法が有効である。なお、文字列の位置と大きさを推定する処理の詳細については後述する。
【００１９】
［参考文献］長尾、嶌田、谷口、「映像インデクシングのためのテロップレイアウト情報抽出法」、第１４回画像センシングシンポジウム、２００８年、ＩＮ４−１１
画像管理部１３は、処理対象画像を管理し、代表文字認識部１４および個別文字認識部１６からの要求に応じて処理対象画像を転送する。
【００２０】
代表文字認識部１４は、代表文字探索範囲設定部１４１と代表文字認識処理部１４２を備え、代表文字探索範囲設定部１４１が文字列の位置と大きさに基づいて文字の探索範囲を設定し、代表文字認識処理部１４２が代表的な文字の認識を行うことで、処理対象画像中の代表的な１文字を認識する。
【００２１】
代表文字探索範囲設定部１４１は、文字列矩形推定部１２から、処理対象画像中の文字列の位置と大きさとして、文字列の垂直方向の中心位置Ｙ０、文字列の高さＨ０、および文字列の水平方向の両端の位置Ｘｓ，Ｘｅを受け取り、その中心位置Ｙ０と高さＨ０から文字の探索範囲である位置、高さ、幅の範囲をいくつか設定する。例えば、垂直方向の位置としてＹ０＋６，Ｙ０＋４，Ｙ０＋２，Ｙ０，Ｙ０−２，Ｙ０−４，Ｙ０−６の７通り、高さとしてＨ０＋１０，Ｈ０＋５，Ｈ０，Ｈ０−５，Ｈ０−１０の５通り、幅として高さの１．４倍、１．２倍、等倍、０．８倍、０．６倍の５通りの文字の探索範囲を設定する。
【００２２】
代表文字認識処理部１４２は、代表文字探索範囲設定部１４１から文字の探索範囲を受け取ると、画像管理部１３から処理対象画像を読み出し、辞書データ管理部１５から全ての辞書データを取得して、文字の探索範囲を文字列の方向（水平方向）にずらしつつ、探索範囲内の画像と辞書データとを照合して文字列のなかの代表的な文字（代表文字）の認識を行う。照合には非特許文献２で用いられている濃度勾配の加重方向ヒストグラムを部分画像から求める方法が有効である。探索範囲内の部分画像と辞書データとの照合距離を求め、照合距離がしきい値以下の場合に、探索範囲内の部分画像を代表文字として認識する。代表文字認識処理部１４２が代表文字を認識すると、認識した代表文字の垂直方向の位置Ｙ１と代表文字の高さＨ１、照合した辞書データ（例えばゴシック系辞書）、および文字列の水平方向の両端の位置Ｘｓ，Ｘｅを個別文字認識部１６に出力する。
【００２３】
辞書データ管理部１５は、文字認識を行うための字形を登録した辞書を管理し、代表文字認識処理部１４２や文字認識処理部１６２からの要求に応じて辞書データを出力する。辞書データ管理部１５に文字フォントや文字飾りに対応した辞書データを管理しておくことも有効である。本実施の形態では、辞書データ管理部１５にゴシック系と明朝系の２種類の辞書データを管理しておくものとする。代表文字の認識の際には、辞書データ管理部１５に登録した全ての辞書、つまりゴシック系と明朝系のいずれの辞書データとも照合される。
【００２４】
個別文字認識部１６は、文字探索範囲設定部１６１と文字認識処理部１６２を備え、文字探索範囲設定部１６１が代表文字に基づいて文字の探索範囲を設定し、文字認識処理部１６２が文字列の各文字の認識を行うことで、処理対象画像中の各文字を認識する。
【００２５】
文字探索範囲設定部１６１は、代表文字の垂直方向の位置Ｙ１と高さＨ１を受け取り、代表文字の位置Ｙ１と高さＨ１から文字の探索範囲である位置、高さ、幅の範囲をいくつか設定する。例えば、垂直方向の位置としてＹ１＋２，Ｙ１，Ｙ１−２の３通り、高さとしてＨ１＋５，Ｈ１，Ｈ１−５の３通り、幅として高さの１．４倍、１．２倍、等倍、０．８倍、０．６倍の５通りの文字の探索範囲を設定する。
【００２６】
文字認識処理部１６２は、文字探索範囲設定部１６１から文字の探索範囲を受け取ると、画像管理部１３から処理対象画像を読み出し、辞書データ管理部１５から代表文字が照合された辞書データを取得して、文字の探索範囲の水平方向の位置を変えながら、文字の探索範囲内の部分画像と辞書データとの照合距離を求め、照合距離がしきい値以下の場合に探索範囲内の部分画像を文字として認識し、処理対象画像内の各文字を認識する。水平方向の位置を変える際には、ＸｓからＸｅまで順次スキャンすることを基本とするが、文字が認識できた後、探索範囲の幅だけ飛ばしたところを始点として次の文字を認識する方法や、ＸｓからＸｅの範囲外として高さＨ１の定数倍だけ外側をスキャンする方法などが有効である。
【００２７】
なお、文字が垂直方向に並んだ文字列の場合は、処理対象画像中の文字列の位置と大きさとして、文字列の水平方向の中心位置、文字列の幅、および文字列の垂直方向の両端の位置を用い、代表文字、各文字の照合の際には探索範囲を垂直方向に変えながら処理を行う。
【００２８】
次に、文字列の位置と大きさを推定する処理について説明する。本実施の形態では、文字らしさを表す特徴量としてペアエッジを用い、線分上のペアエッジ数を計数して文字列の位置と大きさを推定する。
【００２９】
図２は、文字列矩形推定部１２が文字列の位置と大きさを推定する処理を説明するための図である。
【００３０】
まず、文字列矩形推定部１２は、図２（ａ）に示す文字列を含む処理対象画像を処理し、図２（ｂ）に示すエッジ画像を得る。
【００３１】
エッジ画像で水平、垂直方向にしきい値より小さい距離でペアとなるペアエッジを残して図２（ｃ）に示すペアエッジ画像を得る。図２（ｃ）に示すように、ペアエッジ画像では、線図形の文字のエッジは残るが、円や長方形のエッジはペアとなるエッジが存在しないため削除される。
【００３２】
続いて、ペアエッジ画像の各画素を計測点として、計測点を中心に文字列方向に延ばした線分を配置し、線分上のペアエッジの数を計数する。なお、線分の方向と長さは処理対象画像が含む文字列の方向や文字の大きさに応じて事前に設定しておく。縦書き、横書きの文字列が想定される場合は文字列方向に、水平方向、垂直方向の線分を設定しておけばよい。図２（ｄ）では、計測点Ａに、水平方向に延びる、想定される文字の３倍程度の長さの線分を配置した様子を示す。例えば、文字の大きさが６０×６０画素程度で、水平方向に文字が並ぶ横書きの文字列を想定している場合は、線分として、水平方向が１２１画素で垂直方向が３画素の矩形を設定すればよい。このように設定した線分上に存在するペアエッジの数を計数し、計測点毎に記録しておく。
【００３３】
そして、計測した線分上のペアエッジの数がしきい値以上の計測点を文字列エリア画素として求め、文字列エリア画素を線分方向に射影したヒストグラムを算出し、文字列の位置と大きさを推定する。図２（ｅ）に文字列エリア画素をプロットした図を示す。図２（ｅ）の文字列エリア画像の右側に示したヒストグラムの凸部の中心を文字列の中心位置Ｙ０、幅を文字列の高さＨ０とする。ここで、文字の高さに相当する範囲を事前に設定しておき、推定した高さＨ０が範囲内であれば文字列エリア、範囲外であればノイズとする。また、文字列エリアの画素の連結領域から文字列の水平方向の両端の位置Ｘｓ，Ｘｅを推定する。
【００３４】
次に、代表文字を認識する処理について説明する。
【００３５】
図３は、代表文字認識処理部１４２が代表文字を認識する処理を説明するための図である。図３に示す例の文字の探索範囲は、垂直方向の位置Ｙ０−４、高さＨ０＋５、幅が高さの０．６倍であり、処理対象画像の座標（Ｘ，Ｙ０−４）に文字照合矩形（高さＨ０＋５，幅０．６×（Ｈ０＋５））を当てはめた様子が図示されている。処理対象画像に文字照合矩形を当てはめた部分が文字の探索範囲となる。
【００３６】
代表文字認識処理部１４２は、探索範囲の中心位置（Ｘ，Ｙ０−４）の水平方向の位置ＸをＸｓからＸｅの範囲で適当に変えながら、探索範囲内の部分画像と辞書データとを照合する。例えば、探索範囲の水平方向の位置ＸをＸｓとＸｅの中点からＸｓとＸｅに向けて交互に、（Ｘｓ＋Ｘｅ）／２，（２ｋ＋（Ｘｓ＋Ｘｅ））／２，（−２ｋ＋（Ｘｓ＋Ｘｅ））／２，ｋ＝１，２，・・・の順でずらして照合を行う。また、探索範囲の水平方向の位置ＸをＸｓからＸｅへ順次スキャンしてもよい。さらに、探索範囲の水平方向の位置Ｘをスキャンする別の実施例として、文字の存在する可能性の高いところからスキャンする方法も有効である。例えば、中心位置の水平方向の位置がＸで垂直方向の位置がＹ０、高さと幅がＨ０の矩形を設定し、矩形の中心の水平方向の位置Ｘを、Ｘｓ＋Ｈ０／２からＸｅ−Ｈ０／２まで２画素間隔で変化させたときに各Ｘでの矩形内のペアエッジ数を計数し、ペアエッジ数が多い順にＸをスキャンする。
【００３７】
なお、処理対象画像の文字列の各文字を認識するときも上記と同様に、文字の探索範囲を設定し、探索範囲を変えながら、探索範囲内の部分画像と辞書データとを照合する。
【００３８】
次に、本実施の形態における文字列認識装置の処理の流れについて説明する。
【００３９】
図４は、本実施の形態における文字列認識装置の処理の流れを示すフローチャートである。
【００４０】
まず、画像取得部１１が処理対象画像を取得して文字列矩形推定部１２に出力する（ステップＳ１０１）。図５（ａ）に処理対象画像の例を示す。
【００４１】
続いて、文字列矩形推定部１２が処理対象画像中の文字列の位置と大きさを推定する（ステップＳ１０２）。図５（ａ）の処理対象画像から文字列の位置と大きさを推定した結果を図５（ｂ）に示す。本実施の形態では、ペアエッジの密集度判定に線分を用いることで文字列の上方にある図形の影響を受けることなく文字列の位置と大きさを推定できた。文字列の垂直方向の中心位置Ｙ０、文字列の高さＨ０、および文字列の水平方向の両端の位置Ｘｓ，Ｘｅが推定結果として代表文字探索範囲設定部１４１に出力される。
【００４２】
代表文字探索範囲設定部１４１は、文字列矩形推定部１２が推定した文字列の位置や大きさに基づいて代表文字を認識するための文字の探索範囲を設定し、設定した文字の探索範囲を代表文字認識処理部１４２に出力する（ステップＳ１０３）。
【００４３】
代表文字認識処理部１４２は、画像管理部１３から処理対象画像を読み出し、辞書データ管理部１５からゴシック系と明朝系の全ての辞書データを読み出し、代表文字探索範囲設定部１４１から受け取った文字の探索範囲を用いて、文字の探索範囲を水平方向にずらしつつ、文字の探索範囲内の部分画像と全ての辞書データとの照合距離を求めて、照合距離がしきい値以下の場合を代表文字の認識結果とする（ステップＳ１０４）。図５（ｃ）に、代表文字の認識結果を示す。同図では、ゴシック系の辞書データとの照合結果である「字」が認識され、代表文字の垂直方向の位置Ｙ１と代表文字の高さＨ１が求められた。図５（ｂ）で示した文字列矩形推定部１２が推定した文字列の高さＨ０は実際の文字列の高さより小さい値となっているが、図５（ｃ）で示した代表文字認識処理部１４２が求めた代表文字の高さＨ１は文字認識を行っているので実際の文字列の高さと等しくなっている。認識した代表文字の垂直方向の位置Ｙ１、代表文字の高さＨ１、照合した辞書データ（ゴシック系辞書）、および文字列の水平方向の両端の位置Ｘｓ，Ｘｅを文字探索範囲設定部１６１に出力する。
【００４４】
文字探索範囲設定部１６１は、代表文字認識処理部１４２が認識した代表文字の位置や大きさに基づいて処理対象画像中の各文字を認識するための文字の探索範囲を設定し、設定した文字の探索範囲を文字認識処理部１６２に出力する（ステップＳ１０５）。
【００４５】
文字認識処理部１６２は、画像管理部１３から処理対象画像を読み出し、辞書データ管理部１５から代表文字が照合された辞書データを読み出し、文字探索範囲設定部１６１から受け取った文字の探索範囲を用いて、文字の探索範囲を水平方向にずらしつつ、文字の探索範囲内の部分画像と読み出した辞書データとの照合距離を求めて、照合距離がしきい値以下の場合を文字として認識する（ステップＳ１０６）。代表文字の位置を（Ｘ１，Ｙ１）とすると、文字の探索範囲の水平方向の位置は、Ｘ１＋０．５Ｈ１からＸｅ＋Ｈ１まで、Ｘ１−０．５Ｈ１からＸｓ−Ｈ１までそれぞれを一定間隔で変化させると有効である。図５（ｄ）の網掛け部分が文字の探索範囲内の部分画像と辞書データとを照合する照合エリアとなる。
【００４６】
以上説明したように、本実施の形態によれば、文字列矩形推定部１２により、文字らしさを表す特徴量を用いて文字列の位置と大きさを推定し、代表文字認識部１４により、推定した文字列の位置と大きさから代表的な文字の認識を行い、個別文字認識部１６により、代表文字の認識結果から文字の探索範囲を適切に設定して各文字の認識を行うので、複雑な背景に文字が重畳された場合でも高速に文字を認識することができる。
【符号の説明】
【００４７】
１…文字列認識装置
１１…画像取得部
１２…文字列矩形推定部
１３…画像管理部
１４…代表文字認識部
１４１…代表文字探索範囲設定部
１４２…代表文字認識処理部
１５…辞書データ管理部
１６…個別文字認識部
１６１…文字探索範囲設定部
１６２…文字認識処理部
【技術分野】
【０００１】
本発明は、画像中の文字を認識する技術に関する。
【背景技術】
【０００２】
画像中の文字を認識する従来技術として、画像中の文字領域を切り出し、切り出された文字領域に対して辞書との照合を行うことで各文字の認識を行う方法がある。文字領域を切り出す方法として画像の領域分割を行う方法が一般的である。非特許文献１では、入力画像のエッジ分布から文字領域を推定し、推定した文字領域内の輝度画像を高輝度領域と低輝度領域に分割する２値化処理を行っている。
【０００３】
また、画像から文字領域を切り出すことなく、画像全体に対し、文字の照合を行う方法もある。非特許文献２では、画像中のすべての位置について、文字の大きさを変えながら順次辞書との照合を行い、照合結果としての距離がしきい値以内であれば文字であると認識する全探索により文字認識を行っている。
【先行技術文献】
【非特許文献】
【０００４】
【非特許文献１】平松、外４名、「テロップ認識のための領域配置情報を用いた文字領域抽出」、電子情報通信学会総合大会講演論文集、２００８年３月５日、D-12-70、p.201
【非特許文献２】草地、外４名、「景観画像中の文字候補群による画像インデクシング及び検索技術」、電子情報通信学会論文誌、２００７年、Vol.90、No.2、p.2562-2572
【発明の概要】
【発明が解決しようとする課題】
【０００５】
非特許文献１の方法では、白い背景上の黒色の文字のように、文字領域が背景と異なる色や輝度になっているときには、適切に文字の認識が行える。しかし、複雑な背景に文字が重畳されている場合には文字領域を精度良く切り出すことが困難であるという問題があった。
【０００６】
非特許文献２の方法では、画像全体の位置や想定される文字の大きさについて全探索を行うので処理時間がかかるという問題があった。
【０００７】
本発明は、上記に鑑みてなされたものであり、画像中の文字列の各文字を認識する技術において、複雑な背景に文字が重畳された場合でも高速に文字が認識できる技術を提供することを目的とする。
【課題を解決するための手段】
【０００８】
第１の本発明に係る文字列認識装置は、文字列を含む画像を入力する画像入力手段と、前記画像から文字らしさを表す特徴量を抽出し、前記特徴量を画素値とする特徴量抽出画像における局所領域内での前記特徴量の密集度から文字列領域を推定する文字列領域推定手段と、前記文字列領域の位置と大きさに基づいて文字の第１の探索範囲を設定し、前記画像における前記第１の探索範囲内の部分画像と文字認識辞書データとの照合を行って代表的な文字を認識する代表文字認識手段と、前記代表的な文字の位置と大きさに基づいて第２の文字探索範囲を設定し、前記画像における前記第２の文字探索範囲内の部分画像と文字認識辞書データとの照合を行って前記画像に含まれる各文字を認識する個別文字認識手段と、を有することを特徴とする。
【０００９】
上記文字列認識装置において、前記文字列領域推定手段は、文字列方向に延び、認識対象の文字の大きさの定数倍の線分を前記局所領域とすることを特徴とする。
【００１０】
上記文字列認識装置において、前記文字認識辞書データは複数の属性別辞書データで構成されるものであって、前記代表文字認識手段は、前記文字認識辞書データを構成する全ての属性別辞書データを利用して前記代表的な文字の照合を行い、前記個別文字認識手段は、前記代表文字認識手段が前記代表的な文字を認識した際に用いた前記属性別辞書データのみを利用して照合を行うことを特徴とする。
【００１１】
第２の本発明に係る文字列認識方法は、文字列を含む画像を入力するステップと、前記画像から文字らしさを表す特徴量を抽出し、前記特徴量を画素値とする特徴量抽出画像における局所領域内での前記特徴量の密集度から文字列領域を推定するステップと、前記文字列領域の位置と大きさに基づいて第１の文字探索範囲を設定し、前記画像における前記第１の文字探索範囲内の部分画像と文字認識辞書データとの照合を行って代表的な文字を認識するステップと、前記代表的な文字の位置と大きさに基づいて第２の文字探索範囲を設定し、前記画像における前記第２の文字探索範囲内の部分画像と文字認識辞書データとの照合を行って前記画像に含まれる各文字を認識するステップと、を有することを特徴とする。
【００１２】
第３の本発明に係る文字列認識プログラムは、上記文字列認識方法をコンピュータに実行させることを特徴とする。
【発明の効果】
【００１３】
本発明によれば、画像中の文字列の各文字を認識する技術において、複雑な背景に文字が重畳された場合でも高速に文字が認識できる技術を提供することができる。
【図面の簡単な説明】
【００１４】
【図１】本実施の形態における文字列認識装置の構成を示す機能ブロック図である。
【図２】文字列の位置と大きさを推定する処理を説明するための図である。
【図３】代表文字を認識する処理を説明するための図である。
【図４】本実施の形態における文字列認識装置の処理の流れを示すフローチャートである。
【図５】処理対象画像から文字列を認識する様子を示す図である。
【発明を実施するための形態】
【００１５】
以下、本発明の実施の形態について図面を用いて説明する。
【００１６】
図１は、本実施の形態における文字列認識装置の構成を示す機能ブロック図である。同図に示す文字列認識装置１は、画像取得部１１、文字列矩形推定部１２、画像管理部１３、代表文字認識部１４、辞書データ管理部１５、および個別文字認識部１６を備える。文字列認識装置１が備える各部は、演算処理装置、記憶装置等を備えたコンピュータにより構成して、各部の処理がプログラムによって実行されるものとしてもよい。このプログラムは文字列認識装置１が備える記憶装置に記憶されており、磁気ディスク、光ディスク、半導体メモリ等の記録媒体に記録することも、ネットワークを通して提供することも可能である。以下、各部について説明する。
【００１７】
画像取得部１１は、文字列を含む処理対象画像を取得して文字列矩形推定部１２に出力する。
【００１８】
文字列矩形推定部１２は、処理対象画像から文字らしさを表す特徴量を抽出し、その特徴量を画素値とする特徴量抽出結果画像における局所領域内での特徴量の密集度から文字列の位置と大きさを推定する。そして、処理対象画像を画像管理部１３に、推定した文字列の位置と大きさを代表文字認識部１４にそれぞれ出力する。文字らしさを表す特徴量としては、下記の参考文献のペアエッジを用いる方法が有効である。なお、文字列の位置と大きさを推定する処理の詳細については後述する。
【００１９】
［参考文献］長尾、嶌田、谷口、「映像インデクシングのためのテロップレイアウト情報抽出法」、第１４回画像センシングシンポジウム、２００８年、ＩＮ４−１１
画像管理部１３は、処理対象画像を管理し、代表文字認識部１４および個別文字認識部１６からの要求に応じて処理対象画像を転送する。
【００２０】
代表文字認識部１４は、代表文字探索範囲設定部１４１と代表文字認識処理部１４２を備え、代表文字探索範囲設定部１４１が文字列の位置と大きさに基づいて文字の探索範囲を設定し、代表文字認識処理部１４２が代表的な文字の認識を行うことで、処理対象画像中の代表的な１文字を認識する。
【００２１】
代表文字探索範囲設定部１４１は、文字列矩形推定部１２から、処理対象画像中の文字列の位置と大きさとして、文字列の垂直方向の中心位置Ｙ０、文字列の高さＨ０、および文字列の水平方向の両端の位置Ｘｓ，Ｘｅを受け取り、その中心位置Ｙ０と高さＨ０から文字の探索範囲である位置、高さ、幅の範囲をいくつか設定する。例えば、垂直方向の位置としてＹ０＋６，Ｙ０＋４，Ｙ０＋２，Ｙ０，Ｙ０−２，Ｙ０−４，Ｙ０−６の７通り、高さとしてＨ０＋１０，Ｈ０＋５，Ｈ０，Ｈ０−５，Ｈ０−１０の５通り、幅として高さの１．４倍、１．２倍、等倍、０．８倍、０．６倍の５通りの文字の探索範囲を設定する。
【００２２】
代表文字認識処理部１４２は、代表文字探索範囲設定部１４１から文字の探索範囲を受け取ると、画像管理部１３から処理対象画像を読み出し、辞書データ管理部１５から全ての辞書データを取得して、文字の探索範囲を文字列の方向（水平方向）にずらしつつ、探索範囲内の画像と辞書データとを照合して文字列のなかの代表的な文字（代表文字）の認識を行う。照合には非特許文献２で用いられている濃度勾配の加重方向ヒストグラムを部分画像から求める方法が有効である。探索範囲内の部分画像と辞書データとの照合距離を求め、照合距離がしきい値以下の場合に、探索範囲内の部分画像を代表文字として認識する。代表文字認識処理部１４２が代表文字を認識すると、認識した代表文字の垂直方向の位置Ｙ１と代表文字の高さＨ１、照合した辞書データ（例えばゴシック系辞書）、および文字列の水平方向の両端の位置Ｘｓ，Ｘｅを個別文字認識部１６に出力する。
【００２３】
辞書データ管理部１５は、文字認識を行うための字形を登録した辞書を管理し、代表文字認識処理部１４２や文字認識処理部１６２からの要求に応じて辞書データを出力する。辞書データ管理部１５に文字フォントや文字飾りに対応した辞書データを管理しておくことも有効である。本実施の形態では、辞書データ管理部１５にゴシック系と明朝系の２種類の辞書データを管理しておくものとする。代表文字の認識の際には、辞書データ管理部１５に登録した全ての辞書、つまりゴシック系と明朝系のいずれの辞書データとも照合される。
【００２４】
個別文字認識部１６は、文字探索範囲設定部１６１と文字認識処理部１６２を備え、文字探索範囲設定部１６１が代表文字に基づいて文字の探索範囲を設定し、文字認識処理部１６２が文字列の各文字の認識を行うことで、処理対象画像中の各文字を認識する。
【００２５】
文字探索範囲設定部１６１は、代表文字の垂直方向の位置Ｙ１と高さＨ１を受け取り、代表文字の位置Ｙ１と高さＨ１から文字の探索範囲である位置、高さ、幅の範囲をいくつか設定する。例えば、垂直方向の位置としてＹ１＋２，Ｙ１，Ｙ１−２の３通り、高さとしてＨ１＋５，Ｈ１，Ｈ１−５の３通り、幅として高さの１．４倍、１．２倍、等倍、０．８倍、０．６倍の５通りの文字の探索範囲を設定する。
【００２６】
文字認識処理部１６２は、文字探索範囲設定部１６１から文字の探索範囲を受け取ると、画像管理部１３から処理対象画像を読み出し、辞書データ管理部１５から代表文字が照合された辞書データを取得して、文字の探索範囲の水平方向の位置を変えながら、文字の探索範囲内の部分画像と辞書データとの照合距離を求め、照合距離がしきい値以下の場合に探索範囲内の部分画像を文字として認識し、処理対象画像内の各文字を認識する。水平方向の位置を変える際には、ＸｓからＸｅまで順次スキャンすることを基本とするが、文字が認識できた後、探索範囲の幅だけ飛ばしたところを始点として次の文字を認識する方法や、ＸｓからＸｅの範囲外として高さＨ１の定数倍だけ外側をスキャンする方法などが有効である。
【００２７】
なお、文字が垂直方向に並んだ文字列の場合は、処理対象画像中の文字列の位置と大きさとして、文字列の水平方向の中心位置、文字列の幅、および文字列の垂直方向の両端の位置を用い、代表文字、各文字の照合の際には探索範囲を垂直方向に変えながら処理を行う。
【００２８】
次に、文字列の位置と大きさを推定する処理について説明する。本実施の形態では、文字らしさを表す特徴量としてペアエッジを用い、線分上のペアエッジ数を計数して文字列の位置と大きさを推定する。
【００２９】
図２は、文字列矩形推定部１２が文字列の位置と大きさを推定する処理を説明するための図である。
【００３０】
まず、文字列矩形推定部１２は、図２（ａ）に示す文字列を含む処理対象画像を処理し、図２（ｂ）に示すエッジ画像を得る。
【００３１】
エッジ画像で水平、垂直方向にしきい値より小さい距離でペアとなるペアエッジを残して図２（ｃ）に示すペアエッジ画像を得る。図２（ｃ）に示すように、ペアエッジ画像では、線図形の文字のエッジは残るが、円や長方形のエッジはペアとなるエッジが存在しないため削除される。
【００３２】
続いて、ペアエッジ画像の各画素を計測点として、計測点を中心に文字列方向に延ばした線分を配置し、線分上のペアエッジの数を計数する。なお、線分の方向と長さは処理対象画像が含む文字列の方向や文字の大きさに応じて事前に設定しておく。縦書き、横書きの文字列が想定される場合は文字列方向に、水平方向、垂直方向の線分を設定しておけばよい。図２（ｄ）では、計測点Ａに、水平方向に延びる、想定される文字の３倍程度の長さの線分を配置した様子を示す。例えば、文字の大きさが６０×６０画素程度で、水平方向に文字が並ぶ横書きの文字列を想定している場合は、線分として、水平方向が１２１画素で垂直方向が３画素の矩形を設定すればよい。このように設定した線分上に存在するペアエッジの数を計数し、計測点毎に記録しておく。
【００３３】
そして、計測した線分上のペアエッジの数がしきい値以上の計測点を文字列エリア画素として求め、文字列エリア画素を線分方向に射影したヒストグラムを算出し、文字列の位置と大きさを推定する。図２（ｅ）に文字列エリア画素をプロットした図を示す。図２（ｅ）の文字列エリア画像の右側に示したヒストグラムの凸部の中心を文字列の中心位置Ｙ０、幅を文字列の高さＨ０とする。ここで、文字の高さに相当する範囲を事前に設定しておき、推定した高さＨ０が範囲内であれば文字列エリア、範囲外であればノイズとする。また、文字列エリアの画素の連結領域から文字列の水平方向の両端の位置Ｘｓ，Ｘｅを推定する。
【００３４】
次に、代表文字を認識する処理について説明する。
【００３５】
図３は、代表文字認識処理部１４２が代表文字を認識する処理を説明するための図である。図３に示す例の文字の探索範囲は、垂直方向の位置Ｙ０−４、高さＨ０＋５、幅が高さの０．６倍であり、処理対象画像の座標（Ｘ，Ｙ０−４）に文字照合矩形（高さＨ０＋５，幅０．６×（Ｈ０＋５））を当てはめた様子が図示されている。処理対象画像に文字照合矩形を当てはめた部分が文字の探索範囲となる。
【００３６】
代表文字認識処理部１４２は、探索範囲の中心位置（Ｘ，Ｙ０−４）の水平方向の位置ＸをＸｓからＸｅの範囲で適当に変えながら、探索範囲内の部分画像と辞書データとを照合する。例えば、探索範囲の水平方向の位置ＸをＸｓとＸｅの中点からＸｓとＸｅに向けて交互に、（Ｘｓ＋Ｘｅ）／２，（２ｋ＋（Ｘｓ＋Ｘｅ））／２，（−２ｋ＋（Ｘｓ＋Ｘｅ））／２，ｋ＝１，２，・・・の順でずらして照合を行う。また、探索範囲の水平方向の位置ＸをＸｓからＸｅへ順次スキャンしてもよい。さらに、探索範囲の水平方向の位置Ｘをスキャンする別の実施例として、文字の存在する可能性の高いところからスキャンする方法も有効である。例えば、中心位置の水平方向の位置がＸで垂直方向の位置がＹ０、高さと幅がＨ０の矩形を設定し、矩形の中心の水平方向の位置Ｘを、Ｘｓ＋Ｈ０／２からＸｅ−Ｈ０／２まで２画素間隔で変化させたときに各Ｘでの矩形内のペアエッジ数を計数し、ペアエッジ数が多い順にＸをスキャンする。
【００３７】
なお、処理対象画像の文字列の各文字を認識するときも上記と同様に、文字の探索範囲を設定し、探索範囲を変えながら、探索範囲内の部分画像と辞書データとを照合する。
【００３８】
次に、本実施の形態における文字列認識装置の処理の流れについて説明する。
【００３９】
図４は、本実施の形態における文字列認識装置の処理の流れを示すフローチャートである。
【００４０】
まず、画像取得部１１が処理対象画像を取得して文字列矩形推定部１２に出力する（ステップＳ１０１）。図５（ａ）に処理対象画像の例を示す。
【００４１】
続いて、文字列矩形推定部１２が処理対象画像中の文字列の位置と大きさを推定する（ステップＳ１０２）。図５（ａ）の処理対象画像から文字列の位置と大きさを推定した結果を図５（ｂ）に示す。本実施の形態では、ペアエッジの密集度判定に線分を用いることで文字列の上方にある図形の影響を受けることなく文字列の位置と大きさを推定できた。文字列の垂直方向の中心位置Ｙ０、文字列の高さＨ０、および文字列の水平方向の両端の位置Ｘｓ，Ｘｅが推定結果として代表文字探索範囲設定部１４１に出力される。
【００４２】
代表文字探索範囲設定部１４１は、文字列矩形推定部１２が推定した文字列の位置や大きさに基づいて代表文字を認識するための文字の探索範囲を設定し、設定した文字の探索範囲を代表文字認識処理部１４２に出力する（ステップＳ１０３）。
【００４３】
代表文字認識処理部１４２は、画像管理部１３から処理対象画像を読み出し、辞書データ管理部１５からゴシック系と明朝系の全ての辞書データを読み出し、代表文字探索範囲設定部１４１から受け取った文字の探索範囲を用いて、文字の探索範囲を水平方向にずらしつつ、文字の探索範囲内の部分画像と全ての辞書データとの照合距離を求めて、照合距離がしきい値以下の場合を代表文字の認識結果とする（ステップＳ１０４）。図５（ｃ）に、代表文字の認識結果を示す。同図では、ゴシック系の辞書データとの照合結果である「字」が認識され、代表文字の垂直方向の位置Ｙ１と代表文字の高さＨ１が求められた。図５（ｂ）で示した文字列矩形推定部１２が推定した文字列の高さＨ０は実際の文字列の高さより小さい値となっているが、図５（ｃ）で示した代表文字認識処理部１４２が求めた代表文字の高さＨ１は文字認識を行っているので実際の文字列の高さと等しくなっている。認識した代表文字の垂直方向の位置Ｙ１、代表文字の高さＨ１、照合した辞書データ（ゴシック系辞書）、および文字列の水平方向の両端の位置Ｘｓ，Ｘｅを文字探索範囲設定部１６１に出力する。
【００４４】
文字探索範囲設定部１６１は、代表文字認識処理部１４２が認識した代表文字の位置や大きさに基づいて処理対象画像中の各文字を認識するための文字の探索範囲を設定し、設定した文字の探索範囲を文字認識処理部１６２に出力する（ステップＳ１０５）。
【００４５】
文字認識処理部１６２は、画像管理部１３から処理対象画像を読み出し、辞書データ管理部１５から代表文字が照合された辞書データを読み出し、文字探索範囲設定部１６１から受け取った文字の探索範囲を用いて、文字の探索範囲を水平方向にずらしつつ、文字の探索範囲内の部分画像と読み出した辞書データとの照合距離を求めて、照合距離がしきい値以下の場合を文字として認識する（ステップＳ１０６）。代表文字の位置を（Ｘ１，Ｙ１）とすると、文字の探索範囲の水平方向の位置は、Ｘ１＋０．５Ｈ１からＸｅ＋Ｈ１まで、Ｘ１−０．５Ｈ１からＸｓ−Ｈ１までそれぞれを一定間隔で変化させると有効である。図５（ｄ）の網掛け部分が文字の探索範囲内の部分画像と辞書データとを照合する照合エリアとなる。
【００４６】
以上説明したように、本実施の形態によれば、文字列矩形推定部１２により、文字らしさを表す特徴量を用いて文字列の位置と大きさを推定し、代表文字認識部１４により、推定した文字列の位置と大きさから代表的な文字の認識を行い、個別文字認識部１６により、代表文字の認識結果から文字の探索範囲を適切に設定して各文字の認識を行うので、複雑な背景に文字が重畳された場合でも高速に文字を認識することができる。
【符号の説明】
【００４７】
１…文字列認識装置
１１…画像取得部
１２…文字列矩形推定部
１３…画像管理部
１４…代表文字認識部
１４１…代表文字探索範囲設定部
１４２…代表文字認識処理部
１５…辞書データ管理部
１６…個別文字認識部
１６１…文字探索範囲設定部
１６２…文字認識処理部
【特許請求の範囲】
【請求項１】
文字列を含む画像を入力する画像入力手段と、
前記画像から文字らしさを表す特徴量を抽出し、前記特徴量を画素値とする特徴量抽出画像における局所領域内での前記特徴量の密集度から文字列領域を推定する文字列領域推定手段と、
前記文字列領域の位置と大きさに基づいて第１の文字探索範囲を設定し、前記画像における前記第１の文字探索範囲内の部分画像と文字認識辞書データとの照合を行って代表的な文字を認識する代表文字認識手段と、
前記代表的な文字の位置と大きさに基づいて第２の文字探索範囲を設定し、前記画像における前記第２の文字探索範囲内の部分画像と文字認識辞書データとの照合を行って前記画像に含まれる各文字を認識する個別文字認識手段と、
を有することを特徴とする文字列認識装置。
【請求項２】
前記文字列領域推定手段は、文字列方向に延び、認識対象の文字の大きさの定数倍の線分を前記局所領域とすることを特徴とする請求項１記載の文字列認識装置。
【請求項３】
前記文字認識辞書データは複数の属性別辞書データで構成されるものであって、
前記代表文字認識手段は、前記文字認識辞書データを構成する全ての属性別辞書データを利用して前記代表的な文字の照合を行い、
前記個別文字認識手段は、前記代表文字認識手段が前記代表的な文字を認識した際に用いた前記属性別辞書データのみを利用して照合を行うことを特徴とする請求項１又は２記載の文字列認識装置。
【請求項４】
文字列を含む画像を入力するステップと、
前記画像から文字らしさを表す特徴量を抽出し、前記特徴量を画素値とする特徴量抽出画像における局所領域内での前記特徴量の密集度から文字列領域を推定するステップと、
前記文字列領域の位置と大きさに基づいて第１の文字探索範囲を設定し、前記画像における前記第１の文字探索範囲内の部分画像と文字認識辞書データとの照合を行って代表的な文字を認識するステップと、
前記代表的な文字の位置と大きさに基づいて第２の文字探索範囲を設定し、前記画像における前記第２の文字探索範囲内の部分画像と文字認識辞書データとの照合を行って前記画像に含まれる各文字を認識するステップと、
を有することを特徴とする文字列認識方法。
【請求項５】
前記文字列領域を推定するステップは、文字列方向に延び、認識対象の文字の大きさの定数倍の線分を前記局所領域とすることを特徴とする請求項４記載の文字列認識方法。
【請求項６】
前記文字認識辞書データは複数の属性別辞書データで構成されるものであって、
前記代表的な文字を認識するステップは、前記文字認識辞書データを構成する全ての属性別辞書データを利用して前記代表的な文字の照合を行い、
前記各文字を認識するステップは、前記代表的な文字を認識するステップにおいて前記代表的な文字を認識した際に用いた前記属性別辞書データのみを利用して照合を行うことを特徴とする請求項４又は５記載の文字列認識方法。
【請求項７】
請求項４乃至６のいずれかに記載の文字列認識方法をコンピュータに実行させることを特徴とする文字列認識プログラム。
【請求項１】
文字列を含む画像を入力する画像入力手段と、
前記画像から文字らしさを表す特徴量を抽出し、前記特徴量を画素値とする特徴量抽出画像における局所領域内での前記特徴量の密集度から文字列領域を推定する文字列領域推定手段と、
前記文字列領域の位置と大きさに基づいて第１の文字探索範囲を設定し、前記画像における前記第１の文字探索範囲内の部分画像と文字認識辞書データとの照合を行って代表的な文字を認識する代表文字認識手段と、
前記代表的な文字の位置と大きさに基づいて第２の文字探索範囲を設定し、前記画像における前記第２の文字探索範囲内の部分画像と文字認識辞書データとの照合を行って前記画像に含まれる各文字を認識する個別文字認識手段と、
を有することを特徴とする文字列認識装置。
【請求項２】
前記文字列領域推定手段は、文字列方向に延び、認識対象の文字の大きさの定数倍の線分を前記局所領域とすることを特徴とする請求項１記載の文字列認識装置。
【請求項３】
前記文字認識辞書データは複数の属性別辞書データで構成されるものであって、
前記代表文字認識手段は、前記文字認識辞書データを構成する全ての属性別辞書データを利用して前記代表的な文字の照合を行い、
前記個別文字認識手段は、前記代表文字認識手段が前記代表的な文字を認識した際に用いた前記属性別辞書データのみを利用して照合を行うことを特徴とする請求項１又は２記載の文字列認識装置。
【請求項４】
文字列を含む画像を入力するステップと、
前記画像から文字らしさを表す特徴量を抽出し、前記特徴量を画素値とする特徴量抽出画像における局所領域内での前記特徴量の密集度から文字列領域を推定するステップと、
前記文字列領域の位置と大きさに基づいて第１の文字探索範囲を設定し、前記画像における前記第１の文字探索範囲内の部分画像と文字認識辞書データとの照合を行って代表的な文字を認識するステップと、
前記代表的な文字の位置と大きさに基づいて第２の文字探索範囲を設定し、前記画像における前記第２の文字探索範囲内の部分画像と文字認識辞書データとの照合を行って前記画像に含まれる各文字を認識するステップと、
を有することを特徴とする文字列認識方法。
【請求項５】
前記文字列領域を推定するステップは、文字列方向に延び、認識対象の文字の大きさの定数倍の線分を前記局所領域とすることを特徴とする請求項４記載の文字列認識方法。
【請求項６】
前記文字認識辞書データは複数の属性別辞書データで構成されるものであって、
前記代表的な文字を認識するステップは、前記文字認識辞書データを構成する全ての属性別辞書データを利用して前記代表的な文字の照合を行い、
前記各文字を認識するステップは、前記代表的な文字を認識するステップにおいて前記代表的な文字を認識した際に用いた前記属性別辞書データのみを利用して照合を行うことを特徴とする請求項４又は５記載の文字列認識方法。
【請求項７】
請求項４乃至６のいずれかに記載の文字列認識方法をコンピュータに実行させることを特徴とする文字列認識プログラム。
【図１】
【図２】
【図３】
【図４】
【図５】
【図２】
【図３】
【図４】
【図５】
【公開番号】特開２０１３−９７７５９（Ｐ２０１３−９７７５９Ａ）
【公開日】平成２５年５月２０日（２０１３．５．２０）
【国際特許分類】
【出願番号】特願２０１１−２４３１２３（Ｐ２０１１−２４３１２３）
【出願日】平成２３年１１月７日（２０１１．１１．７）
【出願人】（０００００４２２６）日本電信電話株式会社 (13,992)
【Ｆターム（参考）】
【公開日】平成２５年５月２０日（２０１３．５．２０）
【国際特許分類】
【出願日】平成２３年１１月７日（２０１１．１１．７）
【出願人】（０００００４２２６）日本電信電話株式会社 (13,992)
【Ｆターム（参考）】
[ Back to top ]