文字認識装置及び文字認識方法
【課題】複数文字が連結して見える場合にも、正確に文字の切り出し処理を行い、文字認識の精度を向上させることを目的とする。
【解決手段】記憶手段２４に記憶された文字を認識するために該文字の大きさの基準となる参照文字サイズに基づいて、推定文字サイズ算出手段２５により、文字の大きさを推定した推定文字サイズを複数パターン算出し、文字切り出し手段２６により、複数パターンの推定文字サイズに基づいて、推定文字サイズ毎に画像データから文字を文字領域として切り出す。そして、文字認識手段２７により、推定文字サイズ毎に切り出された各文字領域に対して文字認識処理を施すと共に文字類似度を算出し、判定手段２８により、算出された文字類似度に基づいて、文字類似度が最も高い文字領域を判断し、これを真の文字領域と判定する。
【解決手段】記憶手段２４に記憶された文字を認識するために該文字の大きさの基準となる参照文字サイズに基づいて、推定文字サイズ算出手段２５により、文字の大きさを推定した推定文字サイズを複数パターン算出し、文字切り出し手段２６により、複数パターンの推定文字サイズに基づいて、推定文字サイズ毎に画像データから文字を文字領域として切り出す。そして、文字認識手段２７により、推定文字サイズ毎に切り出された各文字領域に対して文字認識処理を施すと共に文字類似度を算出し、判定手段２８により、算出された文字類似度に基づいて、文字類似度が最も高い文字領域を判断し、これを真の文字領域と判定する。
【発明の詳細な説明】
【技術分野】
【０００１】
本発明は、例えば、車両番号等の文字列を認識する文字認識装置に係り、特に、隣接する文字が連結しており、各文字の領域を正しく切り出すことが困難な文字列に対しても、高精度に文字の認識を行うことができる文字認識装置に関するものである。
【背景技術】
【０００２】
従来、車両のナンバープレートに記載された車両番号などの記載内容を自動認識する装置が知られている。ナンバープレートの記載内容を認識するには、画像処理技術を用いた文字認識手法が用いられている。このような文字認識手法は、一般には、対象の文字画像を入力した後、文字と背景を分離するために文字線を強調し（２値化）、文字であると判断できる領域を抽出する（文字切り出し処理）。文字切り出し処理がなされた領域において、文字の形状特徴（例えば輪郭線の方向特徴など）を抽出し、パターン認識により文字を認識する。ここで、文字切り出し処理は、認識対象の文字画像に含まれる複数の文字や、ナンバープレートを固定するボルト等の周辺構造物が夫々分離しており、各文字間又は文字と周辺構造物との間にある程度の隙間があることが前提となっている。
【０００３】
ところで、ナンバープレートは、その形状、大きさ、記載される文字列等が各国毎に相違する。すなわち、例えば、認識対象の文字画像に含まれる各文字間が近接し、文字同士が連結して見えたり、ナンバープレートを車両に固定するボルト等の周辺構造物と文字とが近接し、文字と周辺構造物とが連結して見えるようなナンバープレートも散見される。このような場合には、従来の文字認識装置では、正しい文字の切り出し処理を行うことができず、正しい認識結果が得られないこととなる。
そこで、特許文献１には、２値化された画像データの輪郭プロファイルを利用して、記載される文字列が日英混在する文書である際にも認識精度を維持する技術が開示されている。
【先行技術文献】
【特許文献】
【０００４】
【特許文献１】特開２００１−２２８８５号公報
【発明の概要】
【発明が解決しようとする課題】
【０００５】
しかしながら、特許文献１に記載された技術では、認識対象の文字列の垂直方向に文字や周辺構造物が近接して、文字同士又は文字と周辺構造物とが連結して見える場合には、連結箇所を特定するのが難しく、文字の連結箇所を正しく分離できないために文字認識の精度が低下するという問題があった。
【０００６】
本発明は、上記問題を解決するためになされたもので、複数文字が連結して見える場合にも、正確に文字の切り出し処理を行い、文字認識の精度を向上させた文字認識装置を提供することを目的とする。
【課題を解決するための手段】
【０００７】
上記課題を解決するために、本発明は以下の手段を採用する。
【０００８】
本発明は、文字列を撮像した画像データを入力して、該画像データの文字列に含まれる各文字を認識する文字認識装置であって、前記文字を認識するために該文字の大きさの基準となる参照文字サイズを記憶した記憶手段と、前記参照文字サイズに基づいて、前記文字の大きさを推定した推定文字サイズを複数パターン算出する推定文字サイズ算出手段と、前記複数パターンの推定文字サイズに基づいて、前記推定文字サイズ毎に前記画像データから前記文字を文字領域として切り出す文字切り出し手段と、前記推定文字サイズ毎に切り出された各文字領域に対して文字認識処理を施すと共に文字類似度を算出する文字認識手段と、前記文字認識手段により算出された文字類似度に基づいて、該文字類似度が最も高い文字領域を判断し、これを真の文字領域と判定する判定手段と、を備えたことを特徴とする文字認識装置を提供する。
【０００９】
本発明によれば、まず、画像データに含まれる文字列の各文字を認識するに際して、記憶手段に記憶された参照文字サイズに基づいて、推定文字サイズを複数パターン算出する。ここで、参照文字サイズは、例えば、文字の高さＨと幅Ｗとからなる情報とすることができる。文字の高さＨと幅Ｗは、認識対象の文字のフォントや、文字列を撮影するカメラの解像度、カメラと撮影対象の文字との間の距離などに基づいて定められる。例えば、認識対象の文字がナンバープレートに記載された文字である場合、ナンバープレートは、国毎に文字の大きさ、フォント等が異なるため、文字認識装置を採用する国に応じて、参照文字サイズを定めることが好ましい。
【００１０】
このように、記憶手段には参照文字サイズが記憶されているものの、画像データの文字のサイズが必ずしも参照文字サイズと一致しない場合がある。すなわち、例えば、画像データを撮影するカメラの解像度に起因する場合や、画像データがカメラに対して傾いて撮影された場合などには、撮影された画像データの文字が参照文字サイズと一致しないことがある。特に、車両に取り付けられたナンバープレートの文字を認識する場合は、ナンバープレートを撮影するカメラとナンバープレートとの距離や、カメラに対するナンバープレートの角度は、ナンバープレートの車両に対する取付け位置や、カメラを通過する車両の速度等に依存するため、撮影された画像データの文字のサイズが必ずしも参照文字サイズと合致しない。このため、参照文字サイズに基づいて推定文字サイズを複数パターン算出することで、画像データに含まれる文字列における各文字間の境界である分割候補点を推定することができる。
【００１１】
そして、算出された複数パターンの推定文字サイズに基づいて、これらの推定文字サイズ毎に画像データから文字を文字領域として切り出し、推定文字サイズ毎に切り出された各文字領域に対して文字認識処理を施すと共に文字類似度を算出する。さらに、各文字領域に対する文字類似度に基づいて、文字類似度が最も高い文字領域を判断し、これを真の文字領域と判定する。このようにすることで、複数文字が連結して各文字の参照文字サイズが不明確な場合であっても、複数の文字サイズを推定することで、適切な文字サイズを探索し決定するため、正確に文字の切り出し処理を行うことができ、文字認識精度が向上する。
【００１２】
上記した文字認識装置は、前記文字列の分割候補点を算出する分割候補点算出手段を備え、前記推定文字サイズ算出手段は、前記分割候補点と前記参照文字サイズとに基づいて、前記文字の大きさを推定した推定文字サイズを複数パターン算出することが好ましい。
【００１３】
本発明によれば、文字列の分割候補点を算出する分割候補点により、文字認識に先立って、例えば、文字の輪郭線の輝度勾配などに基づいて文字の分割候補点を決定する。そして、参照文字サイズに加えてこの分割候補点に基づいて推定文字サイズを算出するので、算出すべき推定文字サイズのパターン数を少なくすることができ、演算量を抑制しながら、文字認識精度を向上させることができる。
【００１４】
ここで、分割候補点算出手段は、例えば、前記画像データから微分フィルタを用いて前記文字列の輪郭線を抽出する輪郭線抽出手段と、前記抽出された輪郭線のうち垂直輪郭線及び水平輪郭線を構成する各画素について、前記微分フィルタによる微分値の符号を算出する符号算出手段と、前記符号が算出された画素から１つの画素を注目画素として選択し、該注目画素を含む第１の領域を前記画像データから順次抽出し、前記第１の領域に含まれる画素について、前記符号算出手段により算出された符号に基づいて、前記注目画素の符号と異符号を示す画素があるか否かを判定し、前記画像データから抽出された第１の領域のうち異符号を示す画素があると判定された第１の領域の数を算出する符号変化算出手段と、異符号を示す画素があると判定された前記第１の領域を、前記注目画素が＋符号を示す領域と注目画素が−符号を示す領域とに分別し、分別した結果、より数の少ない領域を前記文字列の分割点とする分割点決定手段と、を備える構成とすることができる。
【００１５】
このように構成することで、画像データから微分フィルタを用いて前記文字列の輪郭線を抽出し、この輪郭線のうち垂直輪郭線及び水平輪郭線を構成する各画素について、前記微分フィルタによる微分値の符号を算出するので、垂直輪郭線及び水平輪郭線の双方について輝度勾配を把握することができる。そして、符号が算出された画素から１つの画素を注目画素として選択し、該注目画素を含む第１の領域を画像データから順次抽出する。すなわち、画像データの最上段から順に、符号が算出された画素のうち１つの画素を注目画素として選択し、注目画素を基準とする第１の領域を抽出する。ここで、第１の領域は、認識対象の文字の大きさ、太さ等に基づいて定められ、認識対象の文字が、例えば、車両のナンバープレートに記載される文字であった場合には４〜５画素程度の領域に定めることが好ましい。そして、この第１の領域に含まれる画素について、先に算出された符号に基づいて、注目画素の符号と異符号を示す画素があるか否かを判定し、前記画像データから抽出された第１の領域のうち異符号を示す画素があると判定された第１の領域の数を算出する。この処理を画像データ全体から順次抽出された第１の領域全てに対して行う。このようにすることで、第１の領域内において、注目画素に対する符号の変化を把握することができ、この算出結果に基づいて前記第１の領域の明暗を判定することができる。明暗の判定に際しては、符号を示す画素があると判定された前記第１の領域を、前記注目画素がプラスの領域と注目画素がマイナスの領域とに分別し、分別した結果、より数の少ない領域を前記文字列の分割点とする。すなわち、注目画素が＋符号であるのに対し領域内に画素に−符号の画素がある領域と、注目画素が−符号であるのに対し領域内に＋符号の画素がある領域との数を比較し、より多い領域が文字線を捉えた領域であり、少ない領域が背景を捉えた領域として文字列の分割点となる。
【００１６】
また、上記した文字認識装置は、前記判定手段により文字類似度が最も高いと判定された文字領域に対応する推定文字サイズを、前記画像データに対する第一の参照文字サイズと定め、前記画像データのうち、真の文字領域が未だ判定されていない文字に対して、前記推定文字サイズ算出手段により、前記第一の参照文字サイズに基づいて前記文字の大きさを推定した推定文字サイズを複数パターン算出することが好ましい。
【００１７】
本発明によれば、前記判定手段により文字類似度が最も高いと判定された文字領域に対応する推定文字サイズがある場合には、これを前記画像データに対する第一の参照文字サイズと定める。同一の画像データに対する認識結果が既に存在する場合には、この画像データに含まれる文字は同一の条件で撮影されていることが明らかであるため、この推定文字サイズをこの画像データに含まれる他の文字に対する文字認識処理に用いることが好ましい。従って、前記画像データのうち、真の文字領域が未だ判定されていない文字に対して、第一の参照文字サイズに基づいて、前記文字の大きさを推定した推定文字サイズを複数パターン算出することで、文字認識精度がより向上する。
【００１８】
さらに、上記した文字認識装置は、前記判定手段により文字類似度が最も高いと判定された文字領域に対応する推定文字サイズが複数ある場合に、これらの複数の推定文字サイズの平均値を前記画像データに対する第二の参照文字サイズと定め、前記画像データのうち、真の文字領域が未だ判定されていない文字に対して、前記推定文字サイズ算出手段により、前記第二の参照文字サイズに基づいて前記文字の大きさを推定した推定文字サイズを複数パターン算出することが好ましい。
【００１９】
本発明によれば、前記判定手段により文字類似度が最も高いと判定された文字領域に対応する推定文字サイズが複数ある場合には、これらの複数の推定文字サイズの平均値を前記画像データに対する第二の参照文字サイズと定める。具体的には、複数の推定文字サイズの文字高さ及び文字幅の平均値をそれぞれ算出し、平均文字高さ及び平均文字幅を第二の参照文字サイズとする。同一の画像データに対する複数の認識結果が既に存在する場合には、この画像データに含まれる文字は同一の条件で撮影されていることが明らかであるため、認識結果に基づく推定文字サイズをこの画像データに含まれる他の文字に対する文字認識処理に用いることが好ましい。従って、前記画像データのうち、真の文字領域が未だ判定されていない文字に対して、第二の参照文字サイズに基づいて、前記文字の大きさを推定した推定文字サイズを複数パターン算出することで、文字認識精度がより向上する。
【００２０】
さらにまた、上記した文字認識装置は、前記判定手段により文字類似度が最も高いと判定された文字領域に対応する推定文字サイズを、前記画像データに含まれる文字列の他の文字の文字サイズとし、該文字サイズに基づいて、文字認識処理を行うことができる。
【００２１】
本発明によれば、前記判定手段により文字類似度が最も高いと判定された文字領域に対応する推定文字サイズがある場合には、すなわち、同一の画像データに対する認識結果が既に存在する場合には、この画像データに含まれる文字は同一の条件で撮影されていることが明らかであるため、この推定文字サイズをこの画像データに含まれる他の文字に対する文字認識処理に用いることが好ましい。このため、画像データのうち、未だ文字認識処理がなされていない文字に対しては、文字類似度が最も高いと判定された文字領域に対応する推定文字サイズをそのまま利用して、文字切り出し処理及び文字認識処理を行うことができる。また、この際、推定文字サイズが１つであるため、演算量を削減することができる。
【００２２】
本発明は、文字列を撮像した画像データを入力して、該画像データの文字列に含まれる各文字を認識する文字認識方法であって、前記文字を認識するために該文字の大きさの基準となる参照文字サイズを記憶したステップと、前記参照文字サイズに基づいて、前記文字の大きさを推定した推定文字サイズを複数パターン算出するステップと、前記複数パターンの推定文字サイズに基づいて、前記推定文字サイズ毎に前記画像データから前記文字を文字領域として切り出すステップと、前記推定文字サイズ毎に切り出された各文字領域に対して文字認識処理を施すと共に文字類似度を算出するステップと、前記文字認識手段により算出された文字類似度に基づいて、該文字類似度が最も高い文字領域を判断し、これを真の文字領域と判定するステップと、を備えたことを特徴とする文字認識方法を提供する。
【発明の効果】
【００２３】
このように、本発明によれば、複数文字が連結して見える場合にも、正確に文字の切り出し処理を行い、文字認識の精度を向上させることができる。
【図面の簡単な説明】
【００２４】
【図１】本発明の第１の実施形態にかかる文字認識装置の概略構成を示すブロック図である。
【図２】本発明の第１の実施形態にかかる文字認識装置における文字認識処理の過程を示すフローチャートである。
【図３】文字認識処理の過程を示した説明図であり、（ａ）は、撮影された画像データ（連結ラベル）を、（ｂ）は、推定文字サイズのイメージを、（ｃ）は、認識処理後の文字と文字サイズを、夫々示す。
【図４】本発明の第２の実施形態にかかる文字認識装置の概略構成を示すブロック図である。
【図５】本発明の第２の実施形態にかかる文字認識処理の過程を示すフローチャートである。
【図６】文字認識処理の過程を示した説明図であり、（ａ）は撮影された画像データ（連結ラベル）を、（ｂ）は、輪郭線強調処理後の画像データを、（ｃ）は、画像データと参照文字サイズとの関係を、（ｄ）は、推定文字サイズのイメージを、（ｅ）は、認識処理後の文字と文字サイズを、夫々示す。
【図７】本発明の第２の実施形態にかかる文字認識処理における分割候補点決定処理の過程を示すフローチャートである。
【発明を実施するための形態】
【００２５】
以下に、本発明に係る文字認識装置の実施形態について、図面を参照して説明する。
〔第１の実施形態〕
図１は、本発明の第１の実施形態に係る文字認識装置の概略構成を示したブロック図である。本実施形態において、本発明の文字認識装置は車両のナンバープレートの文字を認識する例を説明する。
【００２６】
本発明における文字認識装置１０は、車両のナンバープレートを撮影して画像データを得るカメラ１１と、カメラ１１で撮影した画像データの入力を受ける画像入力部１２と、画像入力部１２に入力された画像データに基づいて文字認識処理を実行する認識処理部１３と、認識処理部１３での認識結果を出力する認識結果出力部１４を備えている。
【００２７】
認識処理部１３は、文字認識処理を実行するための演算を行うものであり、文字認識処理に関する各種演算処理を実行するＣＰＵ（中央演算処理装置）２１、文字認識処理にかかるプログラム等を記憶する読み出し専用のメモリであるＲＯＭ（Read Only Memory）２２、ＣＰＵ２１の作業領域として機能する読み書き自在のメモリであるＲＡＭ（Random Access Memory）２３、及び文字認識処理にかかるプログラムに基づく文字認識処理を実行するに際して必要となる種々のデータが格納された記憶装置（記憶手段）２４を備えている。ここで、記憶装置２４には、文字認識処理の際に認識対象の文字の大きさの基準となる参照文字サイズが記憶されている。参照文字サイズは、文字の高さＨと幅Ｗとからなる情報であり、認識対象の文字のフォントや、文字列を撮影するカメラの解像度、カメラと文字との間の距離などに基づいて定められる。例えば、ナンバープレートは、国毎に文字の大きさ、フォントが異なるため、文字認識装置を用いる国に応じて、参照文字サイズを定めて予め記憶装置２４に記憶しておくことが好ましい。
【００２８】
また、認識処理部１３は、推定文字サイズ算出部（推定文字サイズ算出手段）２５、文字切り出し処理部（文字切り出し手段）２６、文字認識処理部（文字認識手段）２７及び類似度判定部（判定手段）２８を備えている。
【００２９】
推定文字サイズ算出部２５は、記憶装置２４に記憶された参照文字サイズに基づいて、文字の大きさを推定した推定文字サイズを複数パターン算出する。例えば、ナンバープレートに含まれる文字列の読み取りを複数回行う場合、ナンバープレートを撮影するカメラとナンバープレートとの距離や、カメラに対するナンバープレートの角度は、ナンバープレートの車両に対する取付け位置や、カメラを通過する車両の速度等に依存するため、必ずしも毎回同じ距離や同じ角度にはならない。また、国によっては、ナンバープレートに記載された文字列に含まれる各文字の大きさが均一でない場合もある。このため、記憶装置２４に記憶された参照文字サイズが、全ての画像データの文字のサイズと必ずしも合致せず、画一的に参照文字サイズに基づいて文字認識処理を行うと誤認識が生じる場合がある。そこで、入力された画像データに含まれる文字列に対して、参照文字サイズに基づいて、フォントなどに応じて推定文字サイズを複数パターン算出する。推定文字サイズは、参照文字サイズと比較して、その文字高さＨのみ若しくは文字幅Ｗのみ又は文字高さＨ及び文字幅Ｗの双方を適宜変更することにより、複数パターンの推定文字サイズを算出することができる。特に、参照文字サイズを１．０とした場合に、例えば、０．７倍〜２．０倍の大きさの相似形のものを０．１倍のピッチなどで複数パターン算出することが好ましい。
【００３０】
文字切り出し部２６は、推定文字サイズ算出部２５で算出された複数パターンの推定文字サイズに基づいて、これらの推定文字サイズ毎に画像データから文字を文字領域として切り出す。すなわち、推定文字サイズに基づいて、入力された画像データに含まれる文字列における各文字間の境界である分割候補点を推定し、推定文字サイズ毎に、画像データに含まれる文字列から認識対象の文字の文字領域を切り出す。
【００３１】
文字認識処理部２７は、推定文字サイズ毎に切り出された各文字領域に対して文字認識処理を施すと共に文字類似度を算出する。文字認識処理部２７は、文字認識処理として、例えば、マッチング処理、すなわち、認識対象の文字と予め備えられたパターンとの比較により文字を認識すると共に、認識対象の文字と予め備えられたパターンとの文字類似度を算出する。なお、マッチング処理の比較対照となるパターンは、予め記憶装置２４などに記憶しておくことが好ましい。
【００３２】
類似度判定部２８は、文字認識処理部２７により算出された各文字領域に対する文字類似度に基づいて、文字類似度が最も高い文字領域を判断し、これを真の文字領域と判定する。
【００３３】
上記した推定文字サイズ算出部２５、文字切り出し処理部２６、文字認識処理部２７、及び類似度判定部２８は、いずれもＣＰＵ２１が所定のＲＯＭ２２に格納された処理プログラムをＲＡＭ２３に展開し、展開したプログラムを実行することによって実現される処理部である。
【００３４】
以下、本実施形態における文字認識処理について図２、図３を参照して説明する。図２は、本実施形態の文字認識装置における文字認識処理の過程を示すフローチャートである。ここでは、図３に示す各文字が連結された文字列（以下、「連結ラベル」という）を含む画像データが入力された場合の文字認識処理について説明する。
【００３５】
図２に示すように、カメラ１１で撮影されたナンバープレートの画像は、画像データとして画像入力部１２に入力され、画像入力部１２に入力された画像データに対して、認識処理部１３によりステップＳ１０１〜ステップＳ１０５で所定の文字認識処理がなされる。
【００３６】
まず、推定文字サイズ算出部２５により、記憶装置２４から参照文字サイズが読み出され、ステップＳ１０１で、読み出した参照文字サイズに基づいて、図３（ａ）の連結ラベルに含まれる文字「５」を認識するため、推定誤差を考慮して複数パターンの推定文字サイズを算出する。このとき、図３（ｂ）に示すように、算出する推定文字サイズの文字高さＨ及び文字幅Ｗの始点座標は固定されており、参照文字サイズと比較して、文字高さＨ及び文字幅Ｗの終点座標を適宜変更することで複数パターンの推定文字サイズを算出する。
【００３７】
次のステップＳ１０２では、先のステップＳ１０１において、推定文字サイズ算出部２５により算出された複数パターンの推定文字サイズに基づいて、これらの推定文字サイズ毎に画像データから文字を文字領域として切り出す。すなわち、推定文字サイズに基づいて、入力された画像データのうち、認識対象である文字「５」と、この「５」に隣り合う文字「９」との境界である分割候補点を推定しつつ、推定文字サイズ毎に、連結ラベルから認識対象の文字「５」の文字領域を切り出す。そして、切り出された各文字領域に対して、文字認識処理部２７により、マッチング処理（文字認識処理）、すなわち、認識対象の文字である「５」と予め備えられたパターンとの比較により文字を認識する。また、この際、認識結果の全てに対して、認識対象の文字「５」と予め備えられたパターンとの文字類似度を算出する。
【００３８】
続いて、ステップＳ１０３では、文字認識処理部２７により算出された各文字領域に対する文字類似度に基づいて、文字類似度が最も高い文字領域、すなわち、各文字領域のうち予め備えられたパターンに最も近い文字領域が何れであるかを判断し、この文字領域を真の文字領域と判定する。より具体的には、図３（ｂ）のように複数パターンの推定文字サイズに基づいて文字切り出し処理及び文字認識処理を施し、この結果、図３（ｃ）に示すように、認識された文字が予め備えられたパターンに最も類似する文字領域を真の文字領域として判定する。
【００３９】
ステップＳ１０４では、真の文字領域と判定された文字領域の文字高さＨ及び文字幅Ｗを（図３（ｃ）参照）、この画像データの文字認識に対する参照文字サイズとする。すなわち、記憶装置２４に記憶された参照文字サイズは、デフォルトの参照文字サイズとして記憶したままとする。一方、ある連結ラベルの文字認識処理に対して、この連結ラベルに含まれる一つの文字の認識処理が終了した場合に、認識結果に対応する推定文字サイズをこの連結ラベルに対する参照文字サイズとして記憶し、これをこの連結ラベルに含まれる他の文字に対する文字認識処理に利用する。
【００４０】
より具体的には、図３に示す連結ラベルのうち文字「５」の認識に際しては、記憶装置２４に記憶された参照文字サイズに基づいて推定文字サイズの算出等所定の処理を行う。この際、文字「５」の次の認識対象である文字「９」を認識する際には、文字「５」の認識結果に基づく推定文字サイズ（文字高さＨ及び文字幅Ｗ）を第一の参照文字サイズとして、この第一の参照文字サイズに基づいて推定文字サイズを算出し、以降の処理を行う。次の文字「６」及び「７」についても同様に、直前の認識結果に基づく推定文字サイズ（文字高さＨ及び文字幅Ｗ）又はこのナンバープレートの最初の文字である「５」の認識結果に基づく推定文字サイズ（文字高さＨ及び文字幅Ｗ）を第一の参照文字サイズとして、複数の推定文字サイズを算出し、以降の処理を行う。そして、この連結ラベル又はナンバープレートに対する文字認識処理が終了し、次の連結ラベル又はナンバープレートに対する文字認識処理を行う場合には、再度、記憶装置２４に記憶されたデフォルトの参照文字サイズに基づいて各処理を行う。
【００４１】
ステップＳ１０５では、連結ラベル又はこのナンバープレートに文字認識処理が終了していない領域があるか否かを判断し、文字認識処理が終了していない領域がある場合には、ステップＳ１０１に戻り上記した処理を繰り返す。従って、文字「５」に対する文字認識処理が終了した場合、この連結ラベルには、未だ「９」、「６」、「７」の文字認識処理が終了していない領域があるので、ステップＳ１０１に戻ってこれらの文字の認識処理が終了するまでステップＳ１０２からステップＳ１０４までの処理を繰り返す。文字認識処理が終了していない領域がない、すなわち、文字認識処理が全て終了している場合には、この連結ラベルに対する文字認識処理が完了したとして、本ルーチンを終了する。
【００４２】
このように、本実施形態によれば、複数文字が連結して各文字の参照文字サイズが不明確な場合であっても、複数の文字サイズを推定することで、適切な文字サイズを探索し決定するため、正確に文字の切り出し処理を行うことができ、文字認識精度が向上する。
【００４３】
〔第２の実施形態〕
次に、本発明の第２の実施形態について、図面を用いて説明する。
【００４４】
本実施形態の文字認識処理が上述した第１の実施形態と異なる点は、第１の実施形態における推定文字サイズ算出に先立って、ナンバープレートに含まれる文字列の各文字間の分割候補点を求め、分割候補点と参照文字サイズとに基づいて、推定文字サイズを算出する点である。従って、図４に示すように、本実施形態における文字認識装置２０は、第１の実施形態における文字認識装置の各構成に加え、更に、輪郭線抽出部３５、符号算出部３６、符号変化算出部３７及び分割点決定部３８を備えている。以下、本実施形態の文字認識処理について、第１の実施形態と共通する点については説明を省略し、異なる点について説明する。
【００４５】
図４に示すように、認識処理部１３は、輪郭線抽出部３５、符号算出部３６、符号変化算出部３７、及び分割点決定部３８を更に備えている。
【００４６】
輪郭線抽出部３５は、画像入力部１２により入力された画像データに対して、Ｓｏｂｅｌ微分などの１次微分フィルタを用いて画像データの空間１次微分を計算し、画像データの中の文字の輪郭線を抽出する（輪郭線強調処理）。また、輪郭線強調処理がなされた画像データに対して、非極大輪郭画素を抑制することで輪郭線を細線化する（輪郭線細線化処理）。符号算出部３６は、輪郭線抽出処理及び輪郭線細線化処理がなされた画像データが入力され、処理後の画像データに対し、垂直輪郭線及び水平輪郭線を構成する画素、すなわち、左右方向または上下方向に勾配がある画素について輪郭線の微分値の符号（＋または−）を求める。符号変化算出部３７は、符号算出部３６により算出された符号に基づいて、画像データから文字の太さに相当する第一の領域としての局所領域を抽出し、この局所領域における画素の微分値の符号の変化を算出する。分割点決定部３８は、符号変化算出部３７により算出された符号の変化に基づいて、ナンバープレートの背景色に対して文字の明暗を判定し、文字の明暗と反対の符号変化をしている局所領域の中心を求め、この中心を分割点として算出する。
【００４７】
輪郭線抽出部３５、符号算出部３６、符号変化算出部３７、及び分割点決定部３８は、いずれもＣＰＵ２１が所定のＲＯＭ２２に格納された処理プログラムをＲＡＭ２３に展開し、展開したプログラムを実行することによって実現される処理部である。
【００４８】
以下、本実施形態における文字認識処理について図５〜図７を参照して説明する。図５は、本実施形態の文字認識装置における文字認識処理の過程を示すフローチャートである。ここでは、図６に示す各文字が連結された文字列（以下、「連結ラベル」という）を含む画像データが入力された場合の文字認識処理について説明する。
【００４９】
図５に示すように、カメラ１１で撮影されたナンバープレートの画像（図６（ａ）参照）は、画像データとして画像入力部１２に入力され、画像入力部１２に入力された画像データに対して、認識処理部１３によりステップＳ２０１〜ステップＳ２０６で所定の文字認識処理がなされる。ステップＳ２０３〜ステップＳ２０６における処理は、上述した第１の実施形態におけるステップＳ１０２〜ステップＳ１０５の処理と同様の処理であるのでその説明を省略する。
【００５０】
まず、認識処理部１３には、ナンバープレートの画像データ及び記憶装置２４に記憶された参照文字サイズが入力される（図６（ｃ）参照）。ステップＳ２０１で、ナンバープレートの画像データに基づいて、連結ラベルの各文字間の分割候補点を算出する（分割候補点の算出処理の過程については後述する）。続いて、ステップＳ２０２では、決定された分割候補点と、記憶装置２４から入力された参照文字サイズとに基づいて、推定文字サイズを複数パターン算出する（図６（ｄ）参照）。ここで、分割候補点が既に算出されているため、この分割候補点に基づいて文字高さＨ及び文字幅Ｗを推定し、推定文字サイズを算出する。このため、上述した第１の実施形態における推定文字サイズ算出処理に比して、算出する推定文字サイズのパターン数を少なくすることができる。従って、参照文字サイズの大きさを１．０としたとき、例えば、分割候補点の文字幅が参照文字サイズの幅の１．２倍であった場合には、この１．２倍の大きさの推定文字サイズに加えて、前後の大きさである参照文字サイズの１．１５倍及び１．２５倍の推定文字サイズを算出することができる。
【００５１】
ステップＳ２０３以降では、ステップＳ２０２において算出された推定文字サイズに基づいて、推定文字サイズ毎に画像データから文字を文字領域として切り出し、切り出された文字領域に対する文字認識処理を行い、認識された文字が予め備えられたパターンに最も類似する文字領域を真の文字領域として判定する（図６（ｅ）参照）。さらに、真の文字領域と判定された文字領域の文字高さＨ及び文字幅Ｗを（図６（ｅ）参照）この連結ラベルの文字認識に対する参照文字サイズとして、連結ラベルの未だ文字認識が終了していない領域に対して、ステップＳ２０２に戻り上記した処理を繰り返す。
【００５２】
次に、連結ラベルの分割候補点決定処理について、図７を参照して説明する。図７は、分割候補点決定処理の過程を示すフローチャートである。
【００５３】
図７に示すように、カメラ１１で撮影されたナンバープレートの画像は、図６（ａ）に示す画像データとして画像入力部１２に入力され、認識処理部１３は、ステップＳ３０１及びステップＳ３０２で所定の処理を行う。すなわち、ステップＳ３０１では、輪郭線抽出部３５が、入力された画像データに対して、Ｓｏｂｅｌフィルタ等の微分フィルタにより画像データの空間１次微分を計算し、図６（ｂ）に示すように、画像データの中の文字の輪郭線を抽出する（輪郭線強調処理）。また、ステップＳ３０２では、ステップＳ３０１において輪郭線強調処理がなされた画像データに対して、輪郭線抽出部３５が、非極大輪郭画素を抑制することで輪郭線を細線化する（輪郭線細線化処理）。
【００５４】
すなわち、ステップＳ３０１で輪郭線強調処理がなされた画像データに対して、水平方向に勾配がある画素を抽出して輪郭線の方向を算出し（垂直エッジ画像生成）、輪郭線に垂直な方向で輪郭線輝度値がピーク値となる点（極大点）を探索し、これを真の輪郭線上の点として抽出する。また同様に、ステップＳ３０１で輪郭線強調処理がなされた画像データに対して、垂直方向に勾配がある画素を抽出して輪郭線の方向を算出し（水平エッジ画像生成）、輪郭線に垂直な方向で輪郭線輝度値がピーク値となる点（極大点）を探索し、これを真の輪郭線上の点として抽出する。
【００５５】
続いて、ステップＳ３０３では、輪郭線強調処理及び輪郭線細線化処理がなされた画像データに対して、認識処理部１３の符号算出部３６が、水平方向または垂直方向に勾配がある画素について輪郭線の微分値の符号を求める。より具体的には、符号算出部３６は、輪郭線強調処理及び輪郭線細線化処理がなされた画像データのうち、抽出された輪郭線の各画素について輪郭線の勾配方向に注目し、水平方向に勾配がある画素、すなわち、垂直輪郭線について微分フィルタの垂直輪郭線の微分値の符号を算出する。同様に、垂直方向に勾配がある画素、すなわち、水平輪郭線について微分フィルタの水平輪郭線の微分値の符号を算出する。
【００５６】
ステップＳ３０４では、符号変化算出部３７が、ステップＳ３０３で算出した各画素における微分値の符号に基づいて、注目画素を中心として文字の太さに相当する局所領域を抽出し、この局所領域に含まれる画素の符号を注目画素の符号と比較して変化しているか否かを算出する。具体的には、まず、ステップＳ３０３で微分値の符号が算出された画像データに対して、左上方の画素から右方向に１行づつ順次スキャンして微分値が算出されている画素を抽出する。そして、スキャンした１行に含まれる画素のうち、微分値が算出されている画素を注目画素として、この注目画素から右方向に文字太さ相当の画素からなる所定の局所領域を抽出する。続いて、この局所領域の中で注目画素と反対の符号の画素があるかを検索して、注目画素と反対の符号を示す画素がある場合には、注目画素に対して符号が変化している画素がある領域として、その画素の座標と符号変化の方向の情報（注目画素＋符号に対して−符号、又は注目画素−符号に対して＋符号）とを記憶する。この処理をスキャンされた１行に亘って行い、この１行に対する処理が終了したら、次の行の処理を開始する。上記処理を１行毎に順次行うことで、画像データ全体に対して処理が終わるまで繰り返す。
【００５７】
そして、算出された符号の変化から、注目画素に対して符号が変化している画素がある領域数を、符号変化の方向の情報毎に算出する。すなわち、注目画素が＋符号であった場合の−符号へ変化している画素がある領域と、注目画素が−符号であった場合の＋符号へ変化している画素がある領域の数をそれぞれ算出する。
【００５８】
なお、ここで、文字太さ相当とは、４〜５画素程度に相当する領域であることが多く、局所領域の範囲は、認識対象のナンバープレートに記載される文字の大きさ、太さ等を考慮して定められたデータとして予め記憶装置２４に記憶しておく。また、水平方向の分割点を算出する場合には、水平方向で局所領域を定めて符号の変化を算出し、垂直方向の分割点を算出する場合には垂直方向で局所領域を定めて符号の変化を算出する。
【００５９】
ステップＳ３０５では、分割点決定部３８が、ステップＳ３０３での算出結果から局所領域の背景に対する明暗、すなわち、局所領域が文字線部分にかかる領域であるか、背景部分にかかる領域であるかを判定する。具体的には、注目画素＋符号に対して−符号へ変化している画素がある領域数と、注目画素−に対して＋へ変化している画素がある領域数とを比較してより多い方の局所領域について文字線部を捉えた局所領域と判定する。例えば、注目画素＋符号に対して−符号へ変化している画素がある領域数よりも、注目画素−符号に対して＋符号へ変化している画素がある領域数が多い場合には、注目画素−符号に対して＋符号へ変化している画素がある領域を文字線部分とし、注目画素＋符号に対して−符号へ変化している画素がある領域を背景部分と判定する。
【００６０】
そして、次のステップＳ３０６において、分割点決定部３８により、局所領域内で分割点を決定する。具体的には、分割点決定部３８は、ステップＳ３０５で判定された文字線部分にかかる局所領域と背景部分にかかる局所領域との判定結果、及び、ステップＳ３０４で算出した局所領域内の注目画素に対して符号が変化している画素の座標と符号変化の方向の情報とに基づいて、背景部分と判定された局所領域を全て抽出する。そして、抽出された局所領域の中心画素を分割候補点と決定する。
【００６１】
このように、本実施形態によれば、複数文字が連結して各文字の参照文字サイズが不明確な場合であっても、複数の文字サイズを推定することで、適切な文字サイズを探索し決定するため、正確に文字の切り出し処理を行うことができ、文字認識精度が向上する。特に、文字サイズを推定する際に、文字の輪郭線の輝度勾配などに基づいて決定した文字の分割候補点を用いるので、推定する文字サイズのパターン数を少なくすることができ、演算量を抑制しながら、文字認識精度を向上させることができる。
【００６２】
なお、上記した第１及び第２の実施形態では、連結ラベルに含まれる全ての文字について順次複数の推定文字サイズを算出して、文字の切り出し及び文字認識処理を行う構成としたが、１文字目の認識結果を利用して、例えば、１文字目の認識結果の推定文字サイズの文字高さＨ及び文字幅Ｗを用いて２文字目以降の文字切り出し及び文字認識処理を行う構成とすることもできる。
【００６３】
また、連結ラベルのうち認識対象の文字が３文字目以降の場合に、それまでに文字認識処理が終了している文字の認識結果に基づく推定文字サイズの文字高さＨ及び文字幅の平均値を第一の参照文字サイズとして３文字目以降の文字切り出し及び文字認識処理を行う構成とすることもできる。すなわち、認識対象の文字が２文字目である場合には、既に認識処理が終了した文字は１つであるため、１つ目の文字の認識結果に基づく推定文字サイズを第一の参照文字サイズとして、２文字目の文字領域を切り出すために推定文字サイズを複数パターン算出し、以降の処理を行う。認識対象の文字が３文字目以降である場合には、既に認識処理が終了した文字が複数あるため、これらの複数の文字の認識結果に基づく推定文字サイズの文字高さＨ及び文字幅Ｗからそれぞれ平均値を求め、平均文字高さＨ及び平均文字幅Ｗからなる文字サイズを第二の参照文字サイズとする。そして、平均値から算出された第二の参照文字サイズを基準として、３文字目以降の文字領域を切り出すために推定文字サイズを複数パターン算出し、以降の処理を行う。
【符号の説明】
【００６４】
１０ 文字認識装置
１１ カメラ
１２ 画像入力部
１３ 認識処理部
１４ 認識結果出力部
２０ 文字認識装置
２５ 推定文字サイズ算出部
２６ 文字切り出し処理部
２７ 文字認識処理部
２８ 類似度判定部
３５ 輪郭線抽出部
３６ 符号算出部
３７ 符号変化算出部
３８ 分割点決定部
【技術分野】
【０００１】
本発明は、例えば、車両番号等の文字列を認識する文字認識装置に係り、特に、隣接する文字が連結しており、各文字の領域を正しく切り出すことが困難な文字列に対しても、高精度に文字の認識を行うことができる文字認識装置に関するものである。
【背景技術】
【０００２】
従来、車両のナンバープレートに記載された車両番号などの記載内容を自動認識する装置が知られている。ナンバープレートの記載内容を認識するには、画像処理技術を用いた文字認識手法が用いられている。このような文字認識手法は、一般には、対象の文字画像を入力した後、文字と背景を分離するために文字線を強調し（２値化）、文字であると判断できる領域を抽出する（文字切り出し処理）。文字切り出し処理がなされた領域において、文字の形状特徴（例えば輪郭線の方向特徴など）を抽出し、パターン認識により文字を認識する。ここで、文字切り出し処理は、認識対象の文字画像に含まれる複数の文字や、ナンバープレートを固定するボルト等の周辺構造物が夫々分離しており、各文字間又は文字と周辺構造物との間にある程度の隙間があることが前提となっている。
【０００３】
ところで、ナンバープレートは、その形状、大きさ、記載される文字列等が各国毎に相違する。すなわち、例えば、認識対象の文字画像に含まれる各文字間が近接し、文字同士が連結して見えたり、ナンバープレートを車両に固定するボルト等の周辺構造物と文字とが近接し、文字と周辺構造物とが連結して見えるようなナンバープレートも散見される。このような場合には、従来の文字認識装置では、正しい文字の切り出し処理を行うことができず、正しい認識結果が得られないこととなる。
そこで、特許文献１には、２値化された画像データの輪郭プロファイルを利用して、記載される文字列が日英混在する文書である際にも認識精度を維持する技術が開示されている。
【先行技術文献】
【特許文献】
【０００４】
【特許文献１】特開２００１−２２８８５号公報
【発明の概要】
【発明が解決しようとする課題】
【０００５】
しかしながら、特許文献１に記載された技術では、認識対象の文字列の垂直方向に文字や周辺構造物が近接して、文字同士又は文字と周辺構造物とが連結して見える場合には、連結箇所を特定するのが難しく、文字の連結箇所を正しく分離できないために文字認識の精度が低下するという問題があった。
【０００６】
本発明は、上記問題を解決するためになされたもので、複数文字が連結して見える場合にも、正確に文字の切り出し処理を行い、文字認識の精度を向上させた文字認識装置を提供することを目的とする。
【課題を解決するための手段】
【０００７】
上記課題を解決するために、本発明は以下の手段を採用する。
【０００８】
本発明は、文字列を撮像した画像データを入力して、該画像データの文字列に含まれる各文字を認識する文字認識装置であって、前記文字を認識するために該文字の大きさの基準となる参照文字サイズを記憶した記憶手段と、前記参照文字サイズに基づいて、前記文字の大きさを推定した推定文字サイズを複数パターン算出する推定文字サイズ算出手段と、前記複数パターンの推定文字サイズに基づいて、前記推定文字サイズ毎に前記画像データから前記文字を文字領域として切り出す文字切り出し手段と、前記推定文字サイズ毎に切り出された各文字領域に対して文字認識処理を施すと共に文字類似度を算出する文字認識手段と、前記文字認識手段により算出された文字類似度に基づいて、該文字類似度が最も高い文字領域を判断し、これを真の文字領域と判定する判定手段と、を備えたことを特徴とする文字認識装置を提供する。
【０００９】
本発明によれば、まず、画像データに含まれる文字列の各文字を認識するに際して、記憶手段に記憶された参照文字サイズに基づいて、推定文字サイズを複数パターン算出する。ここで、参照文字サイズは、例えば、文字の高さＨと幅Ｗとからなる情報とすることができる。文字の高さＨと幅Ｗは、認識対象の文字のフォントや、文字列を撮影するカメラの解像度、カメラと撮影対象の文字との間の距離などに基づいて定められる。例えば、認識対象の文字がナンバープレートに記載された文字である場合、ナンバープレートは、国毎に文字の大きさ、フォント等が異なるため、文字認識装置を採用する国に応じて、参照文字サイズを定めることが好ましい。
【００１０】
このように、記憶手段には参照文字サイズが記憶されているものの、画像データの文字のサイズが必ずしも参照文字サイズと一致しない場合がある。すなわち、例えば、画像データを撮影するカメラの解像度に起因する場合や、画像データがカメラに対して傾いて撮影された場合などには、撮影された画像データの文字が参照文字サイズと一致しないことがある。特に、車両に取り付けられたナンバープレートの文字を認識する場合は、ナンバープレートを撮影するカメラとナンバープレートとの距離や、カメラに対するナンバープレートの角度は、ナンバープレートの車両に対する取付け位置や、カメラを通過する車両の速度等に依存するため、撮影された画像データの文字のサイズが必ずしも参照文字サイズと合致しない。このため、参照文字サイズに基づいて推定文字サイズを複数パターン算出することで、画像データに含まれる文字列における各文字間の境界である分割候補点を推定することができる。
【００１１】
そして、算出された複数パターンの推定文字サイズに基づいて、これらの推定文字サイズ毎に画像データから文字を文字領域として切り出し、推定文字サイズ毎に切り出された各文字領域に対して文字認識処理を施すと共に文字類似度を算出する。さらに、各文字領域に対する文字類似度に基づいて、文字類似度が最も高い文字領域を判断し、これを真の文字領域と判定する。このようにすることで、複数文字が連結して各文字の参照文字サイズが不明確な場合であっても、複数の文字サイズを推定することで、適切な文字サイズを探索し決定するため、正確に文字の切り出し処理を行うことができ、文字認識精度が向上する。
【００１２】
上記した文字認識装置は、前記文字列の分割候補点を算出する分割候補点算出手段を備え、前記推定文字サイズ算出手段は、前記分割候補点と前記参照文字サイズとに基づいて、前記文字の大きさを推定した推定文字サイズを複数パターン算出することが好ましい。
【００１３】
本発明によれば、文字列の分割候補点を算出する分割候補点により、文字認識に先立って、例えば、文字の輪郭線の輝度勾配などに基づいて文字の分割候補点を決定する。そして、参照文字サイズに加えてこの分割候補点に基づいて推定文字サイズを算出するので、算出すべき推定文字サイズのパターン数を少なくすることができ、演算量を抑制しながら、文字認識精度を向上させることができる。
【００１４】
ここで、分割候補点算出手段は、例えば、前記画像データから微分フィルタを用いて前記文字列の輪郭線を抽出する輪郭線抽出手段と、前記抽出された輪郭線のうち垂直輪郭線及び水平輪郭線を構成する各画素について、前記微分フィルタによる微分値の符号を算出する符号算出手段と、前記符号が算出された画素から１つの画素を注目画素として選択し、該注目画素を含む第１の領域を前記画像データから順次抽出し、前記第１の領域に含まれる画素について、前記符号算出手段により算出された符号に基づいて、前記注目画素の符号と異符号を示す画素があるか否かを判定し、前記画像データから抽出された第１の領域のうち異符号を示す画素があると判定された第１の領域の数を算出する符号変化算出手段と、異符号を示す画素があると判定された前記第１の領域を、前記注目画素が＋符号を示す領域と注目画素が−符号を示す領域とに分別し、分別した結果、より数の少ない領域を前記文字列の分割点とする分割点決定手段と、を備える構成とすることができる。
【００１５】
このように構成することで、画像データから微分フィルタを用いて前記文字列の輪郭線を抽出し、この輪郭線のうち垂直輪郭線及び水平輪郭線を構成する各画素について、前記微分フィルタによる微分値の符号を算出するので、垂直輪郭線及び水平輪郭線の双方について輝度勾配を把握することができる。そして、符号が算出された画素から１つの画素を注目画素として選択し、該注目画素を含む第１の領域を画像データから順次抽出する。すなわち、画像データの最上段から順に、符号が算出された画素のうち１つの画素を注目画素として選択し、注目画素を基準とする第１の領域を抽出する。ここで、第１の領域は、認識対象の文字の大きさ、太さ等に基づいて定められ、認識対象の文字が、例えば、車両のナンバープレートに記載される文字であった場合には４〜５画素程度の領域に定めることが好ましい。そして、この第１の領域に含まれる画素について、先に算出された符号に基づいて、注目画素の符号と異符号を示す画素があるか否かを判定し、前記画像データから抽出された第１の領域のうち異符号を示す画素があると判定された第１の領域の数を算出する。この処理を画像データ全体から順次抽出された第１の領域全てに対して行う。このようにすることで、第１の領域内において、注目画素に対する符号の変化を把握することができ、この算出結果に基づいて前記第１の領域の明暗を判定することができる。明暗の判定に際しては、符号を示す画素があると判定された前記第１の領域を、前記注目画素がプラスの領域と注目画素がマイナスの領域とに分別し、分別した結果、より数の少ない領域を前記文字列の分割点とする。すなわち、注目画素が＋符号であるのに対し領域内に画素に−符号の画素がある領域と、注目画素が−符号であるのに対し領域内に＋符号の画素がある領域との数を比較し、より多い領域が文字線を捉えた領域であり、少ない領域が背景を捉えた領域として文字列の分割点となる。
【００１６】
また、上記した文字認識装置は、前記判定手段により文字類似度が最も高いと判定された文字領域に対応する推定文字サイズを、前記画像データに対する第一の参照文字サイズと定め、前記画像データのうち、真の文字領域が未だ判定されていない文字に対して、前記推定文字サイズ算出手段により、前記第一の参照文字サイズに基づいて前記文字の大きさを推定した推定文字サイズを複数パターン算出することが好ましい。
【００１７】
本発明によれば、前記判定手段により文字類似度が最も高いと判定された文字領域に対応する推定文字サイズがある場合には、これを前記画像データに対する第一の参照文字サイズと定める。同一の画像データに対する認識結果が既に存在する場合には、この画像データに含まれる文字は同一の条件で撮影されていることが明らかであるため、この推定文字サイズをこの画像データに含まれる他の文字に対する文字認識処理に用いることが好ましい。従って、前記画像データのうち、真の文字領域が未だ判定されていない文字に対して、第一の参照文字サイズに基づいて、前記文字の大きさを推定した推定文字サイズを複数パターン算出することで、文字認識精度がより向上する。
【００１８】
さらに、上記した文字認識装置は、前記判定手段により文字類似度が最も高いと判定された文字領域に対応する推定文字サイズが複数ある場合に、これらの複数の推定文字サイズの平均値を前記画像データに対する第二の参照文字サイズと定め、前記画像データのうち、真の文字領域が未だ判定されていない文字に対して、前記推定文字サイズ算出手段により、前記第二の参照文字サイズに基づいて前記文字の大きさを推定した推定文字サイズを複数パターン算出することが好ましい。
【００１９】
本発明によれば、前記判定手段により文字類似度が最も高いと判定された文字領域に対応する推定文字サイズが複数ある場合には、これらの複数の推定文字サイズの平均値を前記画像データに対する第二の参照文字サイズと定める。具体的には、複数の推定文字サイズの文字高さ及び文字幅の平均値をそれぞれ算出し、平均文字高さ及び平均文字幅を第二の参照文字サイズとする。同一の画像データに対する複数の認識結果が既に存在する場合には、この画像データに含まれる文字は同一の条件で撮影されていることが明らかであるため、認識結果に基づく推定文字サイズをこの画像データに含まれる他の文字に対する文字認識処理に用いることが好ましい。従って、前記画像データのうち、真の文字領域が未だ判定されていない文字に対して、第二の参照文字サイズに基づいて、前記文字の大きさを推定した推定文字サイズを複数パターン算出することで、文字認識精度がより向上する。
【００２０】
さらにまた、上記した文字認識装置は、前記判定手段により文字類似度が最も高いと判定された文字領域に対応する推定文字サイズを、前記画像データに含まれる文字列の他の文字の文字サイズとし、該文字サイズに基づいて、文字認識処理を行うことができる。
【００２１】
本発明によれば、前記判定手段により文字類似度が最も高いと判定された文字領域に対応する推定文字サイズがある場合には、すなわち、同一の画像データに対する認識結果が既に存在する場合には、この画像データに含まれる文字は同一の条件で撮影されていることが明らかであるため、この推定文字サイズをこの画像データに含まれる他の文字に対する文字認識処理に用いることが好ましい。このため、画像データのうち、未だ文字認識処理がなされていない文字に対しては、文字類似度が最も高いと判定された文字領域に対応する推定文字サイズをそのまま利用して、文字切り出し処理及び文字認識処理を行うことができる。また、この際、推定文字サイズが１つであるため、演算量を削減することができる。
【００２２】
本発明は、文字列を撮像した画像データを入力して、該画像データの文字列に含まれる各文字を認識する文字認識方法であって、前記文字を認識するために該文字の大きさの基準となる参照文字サイズを記憶したステップと、前記参照文字サイズに基づいて、前記文字の大きさを推定した推定文字サイズを複数パターン算出するステップと、前記複数パターンの推定文字サイズに基づいて、前記推定文字サイズ毎に前記画像データから前記文字を文字領域として切り出すステップと、前記推定文字サイズ毎に切り出された各文字領域に対して文字認識処理を施すと共に文字類似度を算出するステップと、前記文字認識手段により算出された文字類似度に基づいて、該文字類似度が最も高い文字領域を判断し、これを真の文字領域と判定するステップと、を備えたことを特徴とする文字認識方法を提供する。
【発明の効果】
【００２３】
このように、本発明によれば、複数文字が連結して見える場合にも、正確に文字の切り出し処理を行い、文字認識の精度を向上させることができる。
【図面の簡単な説明】
【００２４】
【図１】本発明の第１の実施形態にかかる文字認識装置の概略構成を示すブロック図である。
【図２】本発明の第１の実施形態にかかる文字認識装置における文字認識処理の過程を示すフローチャートである。
【図３】文字認識処理の過程を示した説明図であり、（ａ）は、撮影された画像データ（連結ラベル）を、（ｂ）は、推定文字サイズのイメージを、（ｃ）は、認識処理後の文字と文字サイズを、夫々示す。
【図４】本発明の第２の実施形態にかかる文字認識装置の概略構成を示すブロック図である。
【図５】本発明の第２の実施形態にかかる文字認識処理の過程を示すフローチャートである。
【図６】文字認識処理の過程を示した説明図であり、（ａ）は撮影された画像データ（連結ラベル）を、（ｂ）は、輪郭線強調処理後の画像データを、（ｃ）は、画像データと参照文字サイズとの関係を、（ｄ）は、推定文字サイズのイメージを、（ｅ）は、認識処理後の文字と文字サイズを、夫々示す。
【図７】本発明の第２の実施形態にかかる文字認識処理における分割候補点決定処理の過程を示すフローチャートである。
【発明を実施するための形態】
【００２５】
以下に、本発明に係る文字認識装置の実施形態について、図面を参照して説明する。
〔第１の実施形態〕
図１は、本発明の第１の実施形態に係る文字認識装置の概略構成を示したブロック図である。本実施形態において、本発明の文字認識装置は車両のナンバープレートの文字を認識する例を説明する。
【００２６】
本発明における文字認識装置１０は、車両のナンバープレートを撮影して画像データを得るカメラ１１と、カメラ１１で撮影した画像データの入力を受ける画像入力部１２と、画像入力部１２に入力された画像データに基づいて文字認識処理を実行する認識処理部１３と、認識処理部１３での認識結果を出力する認識結果出力部１４を備えている。
【００２７】
認識処理部１３は、文字認識処理を実行するための演算を行うものであり、文字認識処理に関する各種演算処理を実行するＣＰＵ（中央演算処理装置）２１、文字認識処理にかかるプログラム等を記憶する読み出し専用のメモリであるＲＯＭ（Read Only Memory）２２、ＣＰＵ２１の作業領域として機能する読み書き自在のメモリであるＲＡＭ（Random Access Memory）２３、及び文字認識処理にかかるプログラムに基づく文字認識処理を実行するに際して必要となる種々のデータが格納された記憶装置（記憶手段）２４を備えている。ここで、記憶装置２４には、文字認識処理の際に認識対象の文字の大きさの基準となる参照文字サイズが記憶されている。参照文字サイズは、文字の高さＨと幅Ｗとからなる情報であり、認識対象の文字のフォントや、文字列を撮影するカメラの解像度、カメラと文字との間の距離などに基づいて定められる。例えば、ナンバープレートは、国毎に文字の大きさ、フォントが異なるため、文字認識装置を用いる国に応じて、参照文字サイズを定めて予め記憶装置２４に記憶しておくことが好ましい。
【００２８】
また、認識処理部１３は、推定文字サイズ算出部（推定文字サイズ算出手段）２５、文字切り出し処理部（文字切り出し手段）２６、文字認識処理部（文字認識手段）２７及び類似度判定部（判定手段）２８を備えている。
【００２９】
推定文字サイズ算出部２５は、記憶装置２４に記憶された参照文字サイズに基づいて、文字の大きさを推定した推定文字サイズを複数パターン算出する。例えば、ナンバープレートに含まれる文字列の読み取りを複数回行う場合、ナンバープレートを撮影するカメラとナンバープレートとの距離や、カメラに対するナンバープレートの角度は、ナンバープレートの車両に対する取付け位置や、カメラを通過する車両の速度等に依存するため、必ずしも毎回同じ距離や同じ角度にはならない。また、国によっては、ナンバープレートに記載された文字列に含まれる各文字の大きさが均一でない場合もある。このため、記憶装置２４に記憶された参照文字サイズが、全ての画像データの文字のサイズと必ずしも合致せず、画一的に参照文字サイズに基づいて文字認識処理を行うと誤認識が生じる場合がある。そこで、入力された画像データに含まれる文字列に対して、参照文字サイズに基づいて、フォントなどに応じて推定文字サイズを複数パターン算出する。推定文字サイズは、参照文字サイズと比較して、その文字高さＨのみ若しくは文字幅Ｗのみ又は文字高さＨ及び文字幅Ｗの双方を適宜変更することにより、複数パターンの推定文字サイズを算出することができる。特に、参照文字サイズを１．０とした場合に、例えば、０．７倍〜２．０倍の大きさの相似形のものを０．１倍のピッチなどで複数パターン算出することが好ましい。
【００３０】
文字切り出し部２６は、推定文字サイズ算出部２５で算出された複数パターンの推定文字サイズに基づいて、これらの推定文字サイズ毎に画像データから文字を文字領域として切り出す。すなわち、推定文字サイズに基づいて、入力された画像データに含まれる文字列における各文字間の境界である分割候補点を推定し、推定文字サイズ毎に、画像データに含まれる文字列から認識対象の文字の文字領域を切り出す。
【００３１】
文字認識処理部２７は、推定文字サイズ毎に切り出された各文字領域に対して文字認識処理を施すと共に文字類似度を算出する。文字認識処理部２７は、文字認識処理として、例えば、マッチング処理、すなわち、認識対象の文字と予め備えられたパターンとの比較により文字を認識すると共に、認識対象の文字と予め備えられたパターンとの文字類似度を算出する。なお、マッチング処理の比較対照となるパターンは、予め記憶装置２４などに記憶しておくことが好ましい。
【００３２】
類似度判定部２８は、文字認識処理部２７により算出された各文字領域に対する文字類似度に基づいて、文字類似度が最も高い文字領域を判断し、これを真の文字領域と判定する。
【００３３】
上記した推定文字サイズ算出部２５、文字切り出し処理部２６、文字認識処理部２７、及び類似度判定部２８は、いずれもＣＰＵ２１が所定のＲＯＭ２２に格納された処理プログラムをＲＡＭ２３に展開し、展開したプログラムを実行することによって実現される処理部である。
【００３４】
以下、本実施形態における文字認識処理について図２、図３を参照して説明する。図２は、本実施形態の文字認識装置における文字認識処理の過程を示すフローチャートである。ここでは、図３に示す各文字が連結された文字列（以下、「連結ラベル」という）を含む画像データが入力された場合の文字認識処理について説明する。
【００３５】
図２に示すように、カメラ１１で撮影されたナンバープレートの画像は、画像データとして画像入力部１２に入力され、画像入力部１２に入力された画像データに対して、認識処理部１３によりステップＳ１０１〜ステップＳ１０５で所定の文字認識処理がなされる。
【００３６】
まず、推定文字サイズ算出部２５により、記憶装置２４から参照文字サイズが読み出され、ステップＳ１０１で、読み出した参照文字サイズに基づいて、図３（ａ）の連結ラベルに含まれる文字「５」を認識するため、推定誤差を考慮して複数パターンの推定文字サイズを算出する。このとき、図３（ｂ）に示すように、算出する推定文字サイズの文字高さＨ及び文字幅Ｗの始点座標は固定されており、参照文字サイズと比較して、文字高さＨ及び文字幅Ｗの終点座標を適宜変更することで複数パターンの推定文字サイズを算出する。
【００３７】
次のステップＳ１０２では、先のステップＳ１０１において、推定文字サイズ算出部２５により算出された複数パターンの推定文字サイズに基づいて、これらの推定文字サイズ毎に画像データから文字を文字領域として切り出す。すなわち、推定文字サイズに基づいて、入力された画像データのうち、認識対象である文字「５」と、この「５」に隣り合う文字「９」との境界である分割候補点を推定しつつ、推定文字サイズ毎に、連結ラベルから認識対象の文字「５」の文字領域を切り出す。そして、切り出された各文字領域に対して、文字認識処理部２７により、マッチング処理（文字認識処理）、すなわち、認識対象の文字である「５」と予め備えられたパターンとの比較により文字を認識する。また、この際、認識結果の全てに対して、認識対象の文字「５」と予め備えられたパターンとの文字類似度を算出する。
【００３８】
続いて、ステップＳ１０３では、文字認識処理部２７により算出された各文字領域に対する文字類似度に基づいて、文字類似度が最も高い文字領域、すなわち、各文字領域のうち予め備えられたパターンに最も近い文字領域が何れであるかを判断し、この文字領域を真の文字領域と判定する。より具体的には、図３（ｂ）のように複数パターンの推定文字サイズに基づいて文字切り出し処理及び文字認識処理を施し、この結果、図３（ｃ）に示すように、認識された文字が予め備えられたパターンに最も類似する文字領域を真の文字領域として判定する。
【００３９】
ステップＳ１０４では、真の文字領域と判定された文字領域の文字高さＨ及び文字幅Ｗを（図３（ｃ）参照）、この画像データの文字認識に対する参照文字サイズとする。すなわち、記憶装置２４に記憶された参照文字サイズは、デフォルトの参照文字サイズとして記憶したままとする。一方、ある連結ラベルの文字認識処理に対して、この連結ラベルに含まれる一つの文字の認識処理が終了した場合に、認識結果に対応する推定文字サイズをこの連結ラベルに対する参照文字サイズとして記憶し、これをこの連結ラベルに含まれる他の文字に対する文字認識処理に利用する。
【００４０】
より具体的には、図３に示す連結ラベルのうち文字「５」の認識に際しては、記憶装置２４に記憶された参照文字サイズに基づいて推定文字サイズの算出等所定の処理を行う。この際、文字「５」の次の認識対象である文字「９」を認識する際には、文字「５」の認識結果に基づく推定文字サイズ（文字高さＨ及び文字幅Ｗ）を第一の参照文字サイズとして、この第一の参照文字サイズに基づいて推定文字サイズを算出し、以降の処理を行う。次の文字「６」及び「７」についても同様に、直前の認識結果に基づく推定文字サイズ（文字高さＨ及び文字幅Ｗ）又はこのナンバープレートの最初の文字である「５」の認識結果に基づく推定文字サイズ（文字高さＨ及び文字幅Ｗ）を第一の参照文字サイズとして、複数の推定文字サイズを算出し、以降の処理を行う。そして、この連結ラベル又はナンバープレートに対する文字認識処理が終了し、次の連結ラベル又はナンバープレートに対する文字認識処理を行う場合には、再度、記憶装置２４に記憶されたデフォルトの参照文字サイズに基づいて各処理を行う。
【００４１】
ステップＳ１０５では、連結ラベル又はこのナンバープレートに文字認識処理が終了していない領域があるか否かを判断し、文字認識処理が終了していない領域がある場合には、ステップＳ１０１に戻り上記した処理を繰り返す。従って、文字「５」に対する文字認識処理が終了した場合、この連結ラベルには、未だ「９」、「６」、「７」の文字認識処理が終了していない領域があるので、ステップＳ１０１に戻ってこれらの文字の認識処理が終了するまでステップＳ１０２からステップＳ１０４までの処理を繰り返す。文字認識処理が終了していない領域がない、すなわち、文字認識処理が全て終了している場合には、この連結ラベルに対する文字認識処理が完了したとして、本ルーチンを終了する。
【００４２】
このように、本実施形態によれば、複数文字が連結して各文字の参照文字サイズが不明確な場合であっても、複数の文字サイズを推定することで、適切な文字サイズを探索し決定するため、正確に文字の切り出し処理を行うことができ、文字認識精度が向上する。
【００４３】
〔第２の実施形態〕
次に、本発明の第２の実施形態について、図面を用いて説明する。
【００４４】
本実施形態の文字認識処理が上述した第１の実施形態と異なる点は、第１の実施形態における推定文字サイズ算出に先立って、ナンバープレートに含まれる文字列の各文字間の分割候補点を求め、分割候補点と参照文字サイズとに基づいて、推定文字サイズを算出する点である。従って、図４に示すように、本実施形態における文字認識装置２０は、第１の実施形態における文字認識装置の各構成に加え、更に、輪郭線抽出部３５、符号算出部３６、符号変化算出部３７及び分割点決定部３８を備えている。以下、本実施形態の文字認識処理について、第１の実施形態と共通する点については説明を省略し、異なる点について説明する。
【００４５】
図４に示すように、認識処理部１３は、輪郭線抽出部３５、符号算出部３６、符号変化算出部３７、及び分割点決定部３８を更に備えている。
【００４６】
輪郭線抽出部３５は、画像入力部１２により入力された画像データに対して、Ｓｏｂｅｌ微分などの１次微分フィルタを用いて画像データの空間１次微分を計算し、画像データの中の文字の輪郭線を抽出する（輪郭線強調処理）。また、輪郭線強調処理がなされた画像データに対して、非極大輪郭画素を抑制することで輪郭線を細線化する（輪郭線細線化処理）。符号算出部３６は、輪郭線抽出処理及び輪郭線細線化処理がなされた画像データが入力され、処理後の画像データに対し、垂直輪郭線及び水平輪郭線を構成する画素、すなわち、左右方向または上下方向に勾配がある画素について輪郭線の微分値の符号（＋または−）を求める。符号変化算出部３７は、符号算出部３６により算出された符号に基づいて、画像データから文字の太さに相当する第一の領域としての局所領域を抽出し、この局所領域における画素の微分値の符号の変化を算出する。分割点決定部３８は、符号変化算出部３７により算出された符号の変化に基づいて、ナンバープレートの背景色に対して文字の明暗を判定し、文字の明暗と反対の符号変化をしている局所領域の中心を求め、この中心を分割点として算出する。
【００４７】
輪郭線抽出部３５、符号算出部３６、符号変化算出部３７、及び分割点決定部３８は、いずれもＣＰＵ２１が所定のＲＯＭ２２に格納された処理プログラムをＲＡＭ２３に展開し、展開したプログラムを実行することによって実現される処理部である。
【００４８】
以下、本実施形態における文字認識処理について図５〜図７を参照して説明する。図５は、本実施形態の文字認識装置における文字認識処理の過程を示すフローチャートである。ここでは、図６に示す各文字が連結された文字列（以下、「連結ラベル」という）を含む画像データが入力された場合の文字認識処理について説明する。
【００４９】
図５に示すように、カメラ１１で撮影されたナンバープレートの画像（図６（ａ）参照）は、画像データとして画像入力部１２に入力され、画像入力部１２に入力された画像データに対して、認識処理部１３によりステップＳ２０１〜ステップＳ２０６で所定の文字認識処理がなされる。ステップＳ２０３〜ステップＳ２０６における処理は、上述した第１の実施形態におけるステップＳ１０２〜ステップＳ１０５の処理と同様の処理であるのでその説明を省略する。
【００５０】
まず、認識処理部１３には、ナンバープレートの画像データ及び記憶装置２４に記憶された参照文字サイズが入力される（図６（ｃ）参照）。ステップＳ２０１で、ナンバープレートの画像データに基づいて、連結ラベルの各文字間の分割候補点を算出する（分割候補点の算出処理の過程については後述する）。続いて、ステップＳ２０２では、決定された分割候補点と、記憶装置２４から入力された参照文字サイズとに基づいて、推定文字サイズを複数パターン算出する（図６（ｄ）参照）。ここで、分割候補点が既に算出されているため、この分割候補点に基づいて文字高さＨ及び文字幅Ｗを推定し、推定文字サイズを算出する。このため、上述した第１の実施形態における推定文字サイズ算出処理に比して、算出する推定文字サイズのパターン数を少なくすることができる。従って、参照文字サイズの大きさを１．０としたとき、例えば、分割候補点の文字幅が参照文字サイズの幅の１．２倍であった場合には、この１．２倍の大きさの推定文字サイズに加えて、前後の大きさである参照文字サイズの１．１５倍及び１．２５倍の推定文字サイズを算出することができる。
【００５１】
ステップＳ２０３以降では、ステップＳ２０２において算出された推定文字サイズに基づいて、推定文字サイズ毎に画像データから文字を文字領域として切り出し、切り出された文字領域に対する文字認識処理を行い、認識された文字が予め備えられたパターンに最も類似する文字領域を真の文字領域として判定する（図６（ｅ）参照）。さらに、真の文字領域と判定された文字領域の文字高さＨ及び文字幅Ｗを（図６（ｅ）参照）この連結ラベルの文字認識に対する参照文字サイズとして、連結ラベルの未だ文字認識が終了していない領域に対して、ステップＳ２０２に戻り上記した処理を繰り返す。
【００５２】
次に、連結ラベルの分割候補点決定処理について、図７を参照して説明する。図７は、分割候補点決定処理の過程を示すフローチャートである。
【００５３】
図７に示すように、カメラ１１で撮影されたナンバープレートの画像は、図６（ａ）に示す画像データとして画像入力部１２に入力され、認識処理部１３は、ステップＳ３０１及びステップＳ３０２で所定の処理を行う。すなわち、ステップＳ３０１では、輪郭線抽出部３５が、入力された画像データに対して、Ｓｏｂｅｌフィルタ等の微分フィルタにより画像データの空間１次微分を計算し、図６（ｂ）に示すように、画像データの中の文字の輪郭線を抽出する（輪郭線強調処理）。また、ステップＳ３０２では、ステップＳ３０１において輪郭線強調処理がなされた画像データに対して、輪郭線抽出部３５が、非極大輪郭画素を抑制することで輪郭線を細線化する（輪郭線細線化処理）。
【００５４】
すなわち、ステップＳ３０１で輪郭線強調処理がなされた画像データに対して、水平方向に勾配がある画素を抽出して輪郭線の方向を算出し（垂直エッジ画像生成）、輪郭線に垂直な方向で輪郭線輝度値がピーク値となる点（極大点）を探索し、これを真の輪郭線上の点として抽出する。また同様に、ステップＳ３０１で輪郭線強調処理がなされた画像データに対して、垂直方向に勾配がある画素を抽出して輪郭線の方向を算出し（水平エッジ画像生成）、輪郭線に垂直な方向で輪郭線輝度値がピーク値となる点（極大点）を探索し、これを真の輪郭線上の点として抽出する。
【００５５】
続いて、ステップＳ３０３では、輪郭線強調処理及び輪郭線細線化処理がなされた画像データに対して、認識処理部１３の符号算出部３６が、水平方向または垂直方向に勾配がある画素について輪郭線の微分値の符号を求める。より具体的には、符号算出部３６は、輪郭線強調処理及び輪郭線細線化処理がなされた画像データのうち、抽出された輪郭線の各画素について輪郭線の勾配方向に注目し、水平方向に勾配がある画素、すなわち、垂直輪郭線について微分フィルタの垂直輪郭線の微分値の符号を算出する。同様に、垂直方向に勾配がある画素、すなわち、水平輪郭線について微分フィルタの水平輪郭線の微分値の符号を算出する。
【００５６】
ステップＳ３０４では、符号変化算出部３７が、ステップＳ３０３で算出した各画素における微分値の符号に基づいて、注目画素を中心として文字の太さに相当する局所領域を抽出し、この局所領域に含まれる画素の符号を注目画素の符号と比較して変化しているか否かを算出する。具体的には、まず、ステップＳ３０３で微分値の符号が算出された画像データに対して、左上方の画素から右方向に１行づつ順次スキャンして微分値が算出されている画素を抽出する。そして、スキャンした１行に含まれる画素のうち、微分値が算出されている画素を注目画素として、この注目画素から右方向に文字太さ相当の画素からなる所定の局所領域を抽出する。続いて、この局所領域の中で注目画素と反対の符号の画素があるかを検索して、注目画素と反対の符号を示す画素がある場合には、注目画素に対して符号が変化している画素がある領域として、その画素の座標と符号変化の方向の情報（注目画素＋符号に対して−符号、又は注目画素−符号に対して＋符号）とを記憶する。この処理をスキャンされた１行に亘って行い、この１行に対する処理が終了したら、次の行の処理を開始する。上記処理を１行毎に順次行うことで、画像データ全体に対して処理が終わるまで繰り返す。
【００５７】
そして、算出された符号の変化から、注目画素に対して符号が変化している画素がある領域数を、符号変化の方向の情報毎に算出する。すなわち、注目画素が＋符号であった場合の−符号へ変化している画素がある領域と、注目画素が−符号であった場合の＋符号へ変化している画素がある領域の数をそれぞれ算出する。
【００５８】
なお、ここで、文字太さ相当とは、４〜５画素程度に相当する領域であることが多く、局所領域の範囲は、認識対象のナンバープレートに記載される文字の大きさ、太さ等を考慮して定められたデータとして予め記憶装置２４に記憶しておく。また、水平方向の分割点を算出する場合には、水平方向で局所領域を定めて符号の変化を算出し、垂直方向の分割点を算出する場合には垂直方向で局所領域を定めて符号の変化を算出する。
【００５９】
ステップＳ３０５では、分割点決定部３８が、ステップＳ３０３での算出結果から局所領域の背景に対する明暗、すなわち、局所領域が文字線部分にかかる領域であるか、背景部分にかかる領域であるかを判定する。具体的には、注目画素＋符号に対して−符号へ変化している画素がある領域数と、注目画素−に対して＋へ変化している画素がある領域数とを比較してより多い方の局所領域について文字線部を捉えた局所領域と判定する。例えば、注目画素＋符号に対して−符号へ変化している画素がある領域数よりも、注目画素−符号に対して＋符号へ変化している画素がある領域数が多い場合には、注目画素−符号に対して＋符号へ変化している画素がある領域を文字線部分とし、注目画素＋符号に対して−符号へ変化している画素がある領域を背景部分と判定する。
【００６０】
そして、次のステップＳ３０６において、分割点決定部３８により、局所領域内で分割点を決定する。具体的には、分割点決定部３８は、ステップＳ３０５で判定された文字線部分にかかる局所領域と背景部分にかかる局所領域との判定結果、及び、ステップＳ３０４で算出した局所領域内の注目画素に対して符号が変化している画素の座標と符号変化の方向の情報とに基づいて、背景部分と判定された局所領域を全て抽出する。そして、抽出された局所領域の中心画素を分割候補点と決定する。
【００６１】
このように、本実施形態によれば、複数文字が連結して各文字の参照文字サイズが不明確な場合であっても、複数の文字サイズを推定することで、適切な文字サイズを探索し決定するため、正確に文字の切り出し処理を行うことができ、文字認識精度が向上する。特に、文字サイズを推定する際に、文字の輪郭線の輝度勾配などに基づいて決定した文字の分割候補点を用いるので、推定する文字サイズのパターン数を少なくすることができ、演算量を抑制しながら、文字認識精度を向上させることができる。
【００６２】
なお、上記した第１及び第２の実施形態では、連結ラベルに含まれる全ての文字について順次複数の推定文字サイズを算出して、文字の切り出し及び文字認識処理を行う構成としたが、１文字目の認識結果を利用して、例えば、１文字目の認識結果の推定文字サイズの文字高さＨ及び文字幅Ｗを用いて２文字目以降の文字切り出し及び文字認識処理を行う構成とすることもできる。
【００６３】
また、連結ラベルのうち認識対象の文字が３文字目以降の場合に、それまでに文字認識処理が終了している文字の認識結果に基づく推定文字サイズの文字高さＨ及び文字幅の平均値を第一の参照文字サイズとして３文字目以降の文字切り出し及び文字認識処理を行う構成とすることもできる。すなわち、認識対象の文字が２文字目である場合には、既に認識処理が終了した文字は１つであるため、１つ目の文字の認識結果に基づく推定文字サイズを第一の参照文字サイズとして、２文字目の文字領域を切り出すために推定文字サイズを複数パターン算出し、以降の処理を行う。認識対象の文字が３文字目以降である場合には、既に認識処理が終了した文字が複数あるため、これらの複数の文字の認識結果に基づく推定文字サイズの文字高さＨ及び文字幅Ｗからそれぞれ平均値を求め、平均文字高さＨ及び平均文字幅Ｗからなる文字サイズを第二の参照文字サイズとする。そして、平均値から算出された第二の参照文字サイズを基準として、３文字目以降の文字領域を切り出すために推定文字サイズを複数パターン算出し、以降の処理を行う。
【符号の説明】
【００６４】
１０ 文字認識装置
１１ カメラ
１２ 画像入力部
１３ 認識処理部
１４ 認識結果出力部
２０ 文字認識装置
２５ 推定文字サイズ算出部
２６ 文字切り出し処理部
２７ 文字認識処理部
２８ 類似度判定部
３５ 輪郭線抽出部
３６ 符号算出部
３７ 符号変化算出部
３８ 分割点決定部
【特許請求の範囲】
【請求項１】
文字列を撮像した画像データを入力して、該画像データの文字列に含まれる各文字を認識する文字認識装置であって、
前記文字を認識するために該文字の大きさの基準となる参照文字サイズを記憶した記憶手段と、
前記参照文字サイズに基づいて、前記文字の大きさを推定した推定文字サイズを複数パターン算出する推定文字サイズ算出手段と、
前記複数パターンの推定文字サイズに基づいて、前記推定文字サイズ毎に前記画像データから前記文字を文字領域として切り出す文字切り出し手段と、
前記推定文字サイズ毎に切り出された各文字領域に対して文字認識処理を施すと共に文字類似度を算出する文字認識手段と、
前記文字認識手段により算出された文字類似度に基づいて、該文字類似度が最も高い文字領域を判断し、これを真の文字領域と判定する判定手段と、
を備えたことを特徴とする文字認識装置。
【請求項２】
前記文字列の分割候補点を算出する分割候補点算出手段を備え、
前記推定文字サイズ算出手段は、前記分割候補点と前記参照文字サイズとに基づいて、前記文字の大きさを推定した推定文字サイズを複数パターン算出することを特徴とする請求項１に記載の文字認識装置。
【請求項３】
前記判定手段により文字類似度が最も高いと判定された文字領域に対応する推定文字サイズを、前記画像データに対する第一の参照文字サイズと定め、
前記画像データのうち、真の文字領域が未だ判定されていない文字に対して、
前記推定文字サイズ算出手段により、前記第一の参照文字サイズに基づいて前記文字の大きさを推定した推定文字サイズを複数パターン算出することを特徴とする請求項１又は請求項２に記載の文字認識装置。
【請求項４】
前記判定手段により文字類似度が最も高いと判定された文字領域に対応する推定文字サイズが複数ある場合に、これらの複数の推定文字サイズの平均値を前記画像データに対する第二の参照文字サイズと定め、
前記画像データのうち、真の文字領域が未だ判定されていない文字に対して、
前記推定文字サイズ算出手段により、前記第二の参照文字サイズに基づいて前記文字の大きさを推定した推定文字サイズを複数パターン算出することを特徴とする請求項１又は請求項２に記載の文字認識装置。
【請求項５】
前記判定手段により文字類似度が最も高いと判定された文字領域に対応する推定文字サイズを、前記画像データに含まれる文字列の他の文字の文字サイズとし、該文字サイズに基づいて、文字認識処理を行う請求項１又は請求項２に記載の文字認識装置。
【請求項６】
文字列を撮像した画像データを入力して、該画像データの文字列に含まれる各文字を認識する文字認識方法であって、
前記文字を認識するために該文字の大きさの基準となる参照文字サイズを記憶したステップと、
前記参照文字サイズに基づいて、前記文字の大きさを推定した推定文字サイズを複数パターン算出するステップと、
前記複数パターンの推定文字サイズに基づいて、前記推定文字サイズ毎に前記画像データから前記文字を文字領域として切り出すステップと、
前記推定文字サイズ毎に切り出された各文字領域に対して文字認識処理を施すと共に文字類似度を算出するステップと、
前記文字認識手段により算出された文字類似度に基づいて、該文字類似度が最も高い文字領域を判断し、これを真の文字領域と判定するステップと、
を備えたことを特徴とする文字認識方法。
【請求項１】
文字列を撮像した画像データを入力して、該画像データの文字列に含まれる各文字を認識する文字認識装置であって、
前記文字を認識するために該文字の大きさの基準となる参照文字サイズを記憶した記憶手段と、
前記参照文字サイズに基づいて、前記文字の大きさを推定した推定文字サイズを複数パターン算出する推定文字サイズ算出手段と、
前記複数パターンの推定文字サイズに基づいて、前記推定文字サイズ毎に前記画像データから前記文字を文字領域として切り出す文字切り出し手段と、
前記推定文字サイズ毎に切り出された各文字領域に対して文字認識処理を施すと共に文字類似度を算出する文字認識手段と、
前記文字認識手段により算出された文字類似度に基づいて、該文字類似度が最も高い文字領域を判断し、これを真の文字領域と判定する判定手段と、
を備えたことを特徴とする文字認識装置。
【請求項２】
前記文字列の分割候補点を算出する分割候補点算出手段を備え、
前記推定文字サイズ算出手段は、前記分割候補点と前記参照文字サイズとに基づいて、前記文字の大きさを推定した推定文字サイズを複数パターン算出することを特徴とする請求項１に記載の文字認識装置。
【請求項３】
前記判定手段により文字類似度が最も高いと判定された文字領域に対応する推定文字サイズを、前記画像データに対する第一の参照文字サイズと定め、
前記画像データのうち、真の文字領域が未だ判定されていない文字に対して、
前記推定文字サイズ算出手段により、前記第一の参照文字サイズに基づいて前記文字の大きさを推定した推定文字サイズを複数パターン算出することを特徴とする請求項１又は請求項２に記載の文字認識装置。
【請求項４】
前記判定手段により文字類似度が最も高いと判定された文字領域に対応する推定文字サイズが複数ある場合に、これらの複数の推定文字サイズの平均値を前記画像データに対する第二の参照文字サイズと定め、
前記画像データのうち、真の文字領域が未だ判定されていない文字に対して、
前記推定文字サイズ算出手段により、前記第二の参照文字サイズに基づいて前記文字の大きさを推定した推定文字サイズを複数パターン算出することを特徴とする請求項１又は請求項２に記載の文字認識装置。
【請求項５】
前記判定手段により文字類似度が最も高いと判定された文字領域に対応する推定文字サイズを、前記画像データに含まれる文字列の他の文字の文字サイズとし、該文字サイズに基づいて、文字認識処理を行う請求項１又は請求項２に記載の文字認識装置。
【請求項６】
文字列を撮像した画像データを入力して、該画像データの文字列に含まれる各文字を認識する文字認識方法であって、
前記文字を認識するために該文字の大きさの基準となる参照文字サイズを記憶したステップと、
前記参照文字サイズに基づいて、前記文字の大きさを推定した推定文字サイズを複数パターン算出するステップと、
前記複数パターンの推定文字サイズに基づいて、前記推定文字サイズ毎に前記画像データから前記文字を文字領域として切り出すステップと、
前記推定文字サイズ毎に切り出された各文字領域に対して文字認識処理を施すと共に文字類似度を算出するステップと、
前記文字認識手段により算出された文字類似度に基づいて、該文字類似度が最も高い文字領域を判断し、これを真の文字領域と判定するステップと、
を備えたことを特徴とする文字認識方法。
【図１】
【図２】
【図３】
【図４】
【図５】
【図６】
【図７】
【図２】
【図３】
【図４】
【図５】
【図６】
【図７】
【公開番号】特開２０１１−１８１７５（Ｐ２０１１−１８１７５Ａ）
【公開日】平成２３年１月２７日（２０１１．１．２７）
【国際特許分類】
【出願番号】特願２００９−１６１９４４（Ｐ２００９−１６１９４４）
【出願日】平成２１年７月８日（２００９．７．８）
【出願人】（０００００６２０８）三菱重工業株式会社 (10,378)
【Ｆターム（参考）】
【公開日】平成２３年１月２７日（２０１１．１．２７）
【国際特許分類】
【出願日】平成２１年７月８日（２００９．７．８）
【出願人】（０００００６２０８）三菱重工業株式会社 (10,378)
【Ｆターム（参考）】
[ Back to top ]