文字読取装置
【課題】 台形状に歪んだ領域を長方形に補正でき、至近距離から撮像された画像の文字を読み取ることのできる文字読取装置を得る。
【解決手段】 入力画像内の文字の傾き量を求める傾き量計測手段と、前記傾き量計測手段の求めた文字の傾き量とその文字の位置座標から、位置座標と傾き量との関係を表す関係式を求める傾き量算式決定手段と、前記傾き量算式決定手段の求めた関係式に基づいて台形状の領域を求め、当該台形状の領域を長方形に変換する歪み補正手段と、前記歪み補正手段の補正した領域の画像から文字パターンを抽出して認識する文字認識手段とを備える。
【解決手段】 入力画像内の文字の傾き量を求める傾き量計測手段と、前記傾き量計測手段の求めた文字の傾き量とその文字の位置座標から、位置座標と傾き量との関係を表す関係式を求める傾き量算式決定手段と、前記傾き量算式決定手段の求めた関係式に基づいて台形状の領域を求め、当該台形状の領域を長方形に変換する歪み補正手段と、前記歪み補正手段の補正した領域の画像から文字パターンを抽出して認識する文字認識手段とを備える。
【発明の詳細な説明】
【技術分野】
【０００１】
この発明は、歪んで変形して見える画像から、自動的に文字を読み取る文字読取装置に関するものである。
【背景技術】
【０００２】
カメラで斜め方向からナンバープレートを撮像すると、長方形であるナンバープレートが画像中では歪んで変形して見えるため、この歪みを補正してから読み取りを行う必要がある。歪み補正を伴う従来の読み取り技術としては、例えば、特開平８−３２０９９０号公報（特許文献１）に示されるものがある。この技術では、検出したナンバープレートの一連番号（大きな４桁の数字）から回帰直線を算出し、その傾きからアフィン変換マトリックスを求めることで、平行四辺形に歪んだナンバープレート画像を補正し、読み取りを行う。
【０００３】
また、歪み補正に関する他の従来技術としては、特開平１１−７３５１４号公報（特許文献２）に示されるものがあり、この技術では、画像から四角形を検出して各辺の傾きを求め、対辺が平行となるように画像変換することで、任意の四角形を長方形に補正する。
【０００４】
【特許文献１】特開平８−３２０９９０号公報（段落番号［００１７］から［００２２］、図１）
【特許文献２】特開平１１−７３５１４号公報（段落番号［０００５］から［０００６］）
【発明の開示】
【発明が解決しようとする課題】
【０００５】
しかしながら、前記特許文献１に示された従来のナンバープレート読取装置では、平行四辺形の歪みにしか対応していないため、至近距離から撮像して台形状に歪んだナンバープレートは適正に補正することができないという課題があった。前記特許文献２の歪み補正法を用いれば台形状の歪みも補正できるが、車両とナンバープレートが同じような色の場合や、影がかかっている場合など、画像から直接ナンバープレートの各辺を求めることが難しいケースも多く、このような場合には適正に補正できない。
【０００６】
この発明は、前記のような課題を解決するためになされたものであり、ナンバープレート等の領域の各辺が画像から検出できない場合でも、台形状に歪んだ領域を長方形に補正でき、至近距離から撮像された画像の文字を読み取ることのできる文字読取装置を得ることを目的としている。
【課題を解決するための手段】
【０００７】
この発明に係る文字読取装置は、入力画像内の文字の傾き量を求める傾き量計測手段と、前記傾き量計測手段の求めた文字の傾き量とその文字の位置座標から、位置座標と傾き量との関係を表す関係式を求める傾き量算式決定手段と、前記傾き量算式決定手段の求めた関係式に基づいて台形状の領域を求め、当該台形状の領域を長方形に変換する歪み補正手段と、前記歪み補正手段の補正した領域の画像から文字パターンを抽出して認識する文字認識手段とを備えたものである。
【発明の効果】
【０００８】
この発明によれば、位置座標と傾き量との関係を表す関係式に基づいて台形状の領域を求め、当該台形状の領域を長方形に変換するようにしたので、画像中で台形状に歪んだ領域を長方形に補正でき、当該領域の文字を確実に読み取ることができる効果がある。
【発明を実施するための最良の形態】
【０００９】
実施の形態１．
以下、この発明の実施の形態１について説明する。
まず、本実施の形態の構成について説明する。図１は、この発明の実施の形態１の構成を示す概略構成図である。図において、１は、撮像された画像を入力する画像入力手段である。２は、前記画像入力手段１によって入力された入力画像からナンバープレートを検出するナンバープレート検出手段である。３は、入力画像内の文字の傾き量を求める傾き量計測手段であり、ここでは、前記ナンバープレート検出手段２で入力画像から検出されたナンバープレート内の文字の傾き量を求める。４は、前記傾き量計測手段３の求めた文字の傾き量とその文字の位置座標から、位置座標と傾き量との関係を表す関係式を求める傾き量算式決定手段であり、ここでは、前記傾き量計測手段３の求めた複数文字の各文字の傾き量とその文字の位置座標から、ナンバープレート内における傾き量と位置座標との関係式を求める。５は、前記傾き量算式決定手段４の求めた関係式に基づいて台形状の領域を求め、当該台形状の領域を長方形に変換する歪み補正手段である。６は、前記歪み補正手段５の補正した領域の画像から文字パターンを抽出して認識する文字認識手段であり、ここでは、前記歪み補正手段５の補正したナンバープレート領域の画像からナンバープレートの文字パターンを抽出して認識するナンバープレート認識手段である。
【００１０】
次に、図２から図１０までを用いて動作を説明する。図２は、本実施の形態の処理の流れを示す処理フロー図である。図３は、入力画像の例を示す説明図であり、８が入力画像、９がナンバープレート、１０が一連番号を示す。図４、は検出した一連番号のパターンに所定の傾きを加えた例を示す説明図であり、１１が検出したパターン、１２から１５までが検出パターン１１を傾けたパターンである。図５と図６は、各一連番号の傾き量の計測方法を説明するための説明図であり、１６から２０までが各パターンの幅、２１から２５までが各パターンの垂直投影データである。図７は、傾き量算式決定手段４の動作を説明するための説明図であり、２６から２９までが各一連番号の中心のX座標と傾き量を示す点であり、３０が近似直線である。図８と図９は、歪み補正手段５の動作を説明するための説明図であり、３１と３２がナンバープレート左右端の推定位置、３３から３６までがナンバープレートの歪み補正の基準位置、３７が歪み補正対象領域の外接矩形を示す。図１０は、歪み補正手段５の処理結果を示す説明図である。
【００１１】
まず、画像入力手段１が撮像された画像を入力し（ステップＳ１）、ナンバープレート検出手段２が入力画像中のナンバープレートを検出する（ステップＳ２）。ここで、画像の入力は例えばカメラ等を用いて行い、ナンバープレートの検出は、例えば、三菱電機技報 Ｖｏｌ．６２ Ｎｏ．２ ｐｐ．９−１２ 「ナンバープレート認識技術」の４章「ナンバープレート抽出と下段文字切出し」に記載の方法を用いる。この結果、図３の入力画像からはナンバープレート９の一連番号１０の各パターンが検出され、それぞれの位置座標が得られる。なお、今後の説明において、位置座標は、図３に示す通り、入力画像の左上を原点とし、垂直座標をY軸、水平座標をX軸で表現する。
【００１２】
次に、傾き量計測手段３が一連番号の各パターンの傾き量を求める（ステップＳ３）。この傾き量は、図４に示すように、検出した一連番号パターン１１をそれぞれ異なる所定の角度傾けて複数パターン作成し、この中で傾きの最も小さいパターンを選択することで求める。例えば、パターン１１を−１０度傾けてパターン１２を作成し、同様に、−２０度傾けてパターン１３を、１０度傾けてパターン１４を、２０度傾けてパターン１５を作成する。この時、傾きのないパターンとしてパターン１２が選択できれば、−１０度傾けたものが傾きなしパターンであるのだから、元のパターン１１は逆に１０度傾いたパターンであると判断できる。なお、傾き量計測手段３の出力する傾き量は、前記傾き角度の正接関数値とする。すなわち、傾き角度１０度であれば傾き量はｔａｎ（１０）とする。
【００１３】
傾き角度の異なる複数パターンから傾き最小パターンを選択する方法としては、例えば、パターン幅を評価値として、この値が最も小さいものを選択する方法がある。図５がこの例であり、パターン１１〜１５の幅１６〜２０のうち最小となるのは幅１８であり、対応するパターン１２が傾き最小のパターンとなる。あるいは、各パターンの形状と、事前に保持しておいた一連番号（０〜９すべて）の傾きなしの形状データとを比較し、その差を評価値として、評価値最小のものを選択するという方法もある。この形状データとは、例えば、文字パターンそのものであり、パターンの幅・高さを所定サイズに合わせた後、画素毎に比較して、値の異なる画素の数をカウントし、当該カウント値を評価値にする。また、形状データの他の例としては、より高速に照合可能な文字パターンの垂直投影データも考えられ、この場合は、図６に示すように、パターン１１〜１５から垂直投影データ２１〜２５をそれぞれ作成し、データ長（幅）を所定サイズに拡大・縮小した後、事前に保持しておいた垂直投影データと比較し、差の絶対値の総和を評価値として、評価値最小のものを選択する。
【００１４】
その後、傾き量算式決定手段４は、傾き量計測手段３の求めた各一連番号の傾き量と各一連番号の位置座標からナンバープレート内における傾き量と位置座標との関係式を求める（ステップＳ４）。例えば関係式を１次式とすると、一連番号の傾き量をｍ、一連番号の中心位置のX座標をＸとして、下記の式１で表わせ、本式における定数ａとｂを求めることで、関係式が得られる。これは、図７に示すように、各一連番号の中心X座標と傾き量を示す点２６〜２９から、その近似直線３０を求めることに相当する。
【００１５】
ｍ＝ａ×Ｘ＋ｂ … （式１）
【００１６】
定数ａとｂを求める方法としては、例えば、共立出版発行 金谷健一著「これなら分かる応用数学教室」ｐｐ．１−２に記載の最小二乗法が使用できる。あるいは、新技術コミュニケーションズ発行 「コンピュータビジョン：技術評論と将来展望」ｐｐ．１９８−２００に記載されたロバスト統計に基づく推定法を使用すれば、計測値に大きな誤差が含まれるような場合でも適正な関係式を求めることができる。
【００１７】
なお、一連番号の中心位置のＹ座標が大きく異なる場合は、このＹ座標差の影響を除外するため、上記の式１のＸをｎに置き換えた下記の式２を用いても良い。
【００１８】
ｍ＝ａ×ｎ＋ｂ … （式２）
【００１９】
ただし、ｎはＹ座標差の影響を除外するため一連番号の中心位置のX座標を傾き量で補正した値（以下、補正後Ｘ座標と呼ぶ）であり、一連番号各桁の補正後Ｘ座標は下記の式３で計算できる。
【００２０】
ｎｉ＝Ｘｉ＋（Ｙｉ−Ｙ´）×ｍｉ … （式３）
【００２１】
ここで、ｎｉ、Ｘｉ、Ｙｉは一連番号ｉ桁目の座標情報であり、ｎｉが補正後Ｘ座標、Ｘｉが補正前のＸ座標（中心位置のＸ座標）、Ｙｉが中心位置のＹ座標である。また、ｍｉはステップＳ３において一連番号ｉ桁目から求めた傾き量であり、Ｙ´は式３における補正の基準となるＹ座標（以下、補正基準Ｙ座標と呼ぶ）である。この補正基準Ｙ座標は、一連番号の存在領域内であればどんな値でも良く、例えば、一連番号中心位置のＹ座標の平均値が使用できる。
【００２２】
次に、歪み補正手段５が、ナンバープレートの左右端位置と当該位置における傾き量を推定する（ステップＳ５）。この際、まずはナンバープレートの左右端位置を求めるが、車両のナンバープレートの様式（大きさや文字の配置）は、交文社発行 「自動車登録関係通達・情報集」ｐｐ．１１０１−１１０３に記載のように法令で定められており、この様式情報と検出した一連番号の座標から求められる。例えば、左右端のX座標は以下の式４と式５で算出できる。
【００２３】
ＸＬ＝Ｘ１−ＣＬ×（Ｘ４−Ｘ１）÷Ｄ … （式４）
ＸＲ＝Ｘ４＋ＣＲ×（Ｘ４−Ｘ１）÷Ｄ … （式５）
【００２４】
ここで、ＸＬとＸＲとＸ１とＸ４は画像中のＸ座標であり、ＸＬがナンバープレート左端、ＸＲがナンバープレート右端、Ｘ１が一連番号の１桁目中心位置、Ｘ４が４桁目中心位置である。また、ＣＬとＣＲとＤは様式情報における水平方向（Ｘ軸方向）の距離であり、ＣＬはナンバープレート左端と一連番号の１桁目中心位置との距離、ＣＲは一連番号の４桁目中心位置とナンバープレート右端との距離、Ｄは一連番号の１桁目中心位置と４桁目中心位置との距離を示す。
【００２５】
左右端のＹ座標については、前記ステップＳ４で式２を用いた場合は、左端も右端も補正基準Ｙ座標の値とする。式２を用いなかった場合は、例えば、最も近い一連番号（左端なら１桁目、右端なら４桁目）の中心位置のＹ座標を用いる。図８の例で説明すると、ここまでの処理により、ナンバープレート９の左端位置３１と右端位置３２の位置座標が決定できる。ナンバープレート左右端の位置座標が決まった後、それぞれの傾き量を、傾き量算式決定手段４の決定した算式に基づいて計算する。
【００２６】
その後、歪み補正手段５は、ナンバープレート左右端の位置と傾き量から、歪み補正の基準とする位置座標を決定する（ステップＳ６）。この際、まずナンバープレートを含む領域の上端と下端のＹ座標を定める。これは、例えば、以下の式６と式７で計算できる。
【００２７】
ＹＵ＝Ｍｉｎ（Ｙ１，Ｙ４）−ＤＵ×ＨＡ÷ＨＦ … （式６）
ＹＤ＝Ｍａｘ（Ｙ１，Ｙ４）＋ＤＤ×ＨＡ÷ＨＦ … （式７）
【００２８】
ここで、ＹＵは上端Ｙ座標、ＹＤは下端Ｙ座標、Ｙ１は一連番号１桁目の、Ｙ４は４桁目の中心位置のＹ座標である。Ｍｉｎは最小値をとる演算子、Ｍａｘは最大値をとる演算子であり、ＨＡは一連番号の中で最も高さが大きいものの高さの値である。ＤＵ、ＤＤ、ＨＦは前述のナンバープレート様式情報で規定される数値であり、ＤＵは一連番号中心位置とナンバープレート上端との垂直方向距離、ＤＤは一連番号中心位置とナンバープレート下端との垂直方向距離、ＨＦは一連番号の数字の高さである。図９に示すような、ナンバープレートの垂直方向の傾きがない画像であれば、ＹＵはナンバープレート上辺のＹ座標に、ＹＤは下辺のＹ座標と概ね同じ位置となる。
【００２９】
次に、ステップＳ５で求めたナンバープレート左右端位置から、それぞれの傾き量に従って上下方向に伸ばした直線が上記の上端・下端Ｙ座標で通る点を求め、これを歪み補正基準位置とする。この歪み補正基準位置で特定される領域が、歪み補正の対象となる台形状のナンバープレート領域である。ナンバープレート左右端位置が実際のプレート左辺・右辺上にあり、かつ上端Ｙ座標と下端Ｙ座標が実際のプレート上辺・下辺に一致している場合は、図８に示すように、歪み補正基準位置３３〜３６はナンバープレートの四隅と一致する。なお、この歪み補正基準位置は必ずしもナンバープレートの四隅の点である必要はなく、内部にナンバープレートを含む位置の点であれば良いので、確実にナンバープレートの全領域が含まれるように、歪み補正基準位置を外側にずらすための定数項を式４〜７に加えても良い。
【００３０】
さらに歪み補正手段５は、ステップＳ６で求めた基準位置に基づき、台形を長方形とする画像変換を行う（ステップＳ７）。図９の例で説明すると、歪み補正基準位置３３〜３６を頂点とする台形の領域（台形状のナンバープレート領域）を歪み補正対象とし、当該領域の外接矩形３７を求め、歪み補正対象領域の水平ラインがそれぞれ外接矩形３７の幅いっぱいになるように、水平ライン毎に拡大する。この画像変換の結果、図１０に示す画像が得られる。
【００３１】
この画像変換を行うと一連番号の位置もずれてしまうため、歪み補正手段５は、画像変換後、ステップＳ２で得た各一連番号の座標を補正し、変換後画像における一連番号位置を求め直す（ステップＳ８）。図９における外接矩形３７の左上の点（歪み補正基準位置３３）を原点として座標系をとりなおすと、基準位置３３が基準位置３５より左にあり、かつ基準位置３４が基準位置３６より右にある場合、画像変換後の座標（ＯＸ，ＯＹ）と画像変換前の座標（Ｘ，Ｙ）は式８〜９の関係にある。このため、ステップＳ８では、例えば、補正前の一連番号の座標（外接矩形の四隅の座標）に対応した画像変換後の座標を式８〜９で計算した後、当該座標に対応した変換後画像の領域から一連番号と見なせる連結領域を検出し、当該連結領域の位置座標を補正後の一連番号の座標とする。
【００３２】
ＯＸ＝（Ｘ＋ＭＬ×Ｙ）×Ｗ÷（Ｗ−Ｙ×（ＭＲ−ＭＬ）） … （式８）
ＯＹ＝Ｙ … （式９）
【００３３】
ここで、ＭＬはナンバープレート左端の傾き量、ＭＲはナンバープレート右端の傾き量、Ｗは外接矩形３７の幅である。基準位置３３と基準位置３５の位置関係からＭＬ≦０で、基準位置３４と基準位置３６の位置関係からＭＲ≧０となる。
【００３４】
最後に、ナンバープレート認識手段６が、ステップＳ８で補正した一連番号の位置座標を用い、歪み補正後の画像を対象として、一連番号以外の文字の検出と、全文字の認識を行う（ステップＳ９）。ここでは、例えば、前記三菱電機技報における「ナンバープレート認識技術」の５章「上段文字切出し」と６章「文字認識」に記載の方法を用いる。
【００３５】
この実施の形態では、以上の工程を経ることで、位置座標と傾き量との関係を表す関係式に基づいて台形状の領域を求め、当該台形状の領域を長方形に変換するようにしたので、画像中で台形状に歪んだ領域、ここではナンバープレートの領域を長方形に補正でき、当該領域（ナンバープレートの領域）の文字を確実に読み取ることができる。また、大きく安定した一連番号の位置と傾き量からナンバープレート左右端を含む任意の位置の傾き量を推定できるようにしたので、ナンバープレートの各辺が画像から直接検出できない場合でも、歪み補正を実行できる。
【００３６】
なお、本実施の形態では、一連番号の位置と傾き量からナンバープレート左右端の位置と傾き量を推定し、歪み補正基準位置を求めるようにしたが、歪み補正基準位置をナンバープレートの四隅の点の近辺にするのでなければ、ナンバープレート左右端の位置と傾き量を求める必要はなく、一連番号の位置と傾き量から歪み補正基準位置を直接求めるようにしても良い。また、歪み補正はナンバープレート全体が含まれる画像領域を対象に行ったが、これは、画像領域をより細かく分け、文字の存在する可能性のある領域だけを選んで実施しても良い。あるいは、ナンバープレート上の文字をすべて検出した後、当該検出パターンを対象に歪み補正する手順にしても良い。また、ナンバープレートの検出や認識の方法として文献記載の方法を用いたが、これは別の方法でも良く、ナンバープレートの検出で一連番号が検出できれば良い。また、傾き角度の異なる複数パターンから傾き最小パターンを選択する方法を３種類説明したが、これは別の方法でも良く、複数の方法を組み合わせても良い。また、ナンバープレート内における傾き量と位置座標との関係式を１次式としたが、これは２次以上の式にしても良い。
【００３７】
実施の形態２．
以下、この発明の実施の形態２について説明する。
まず、本実施の形態の構成について説明する。図１１は、この発明の実施の形態２の構成を示す概略構成図である。前述の図と同一又は相当部分に同一符号を付し、説明を省略する。図において、７は、垂直方向の歪み補正を行う垂直方向歪み補正手段である。なお、歪み補正手段５は、ナンバープレート領域を長方形に変換した後、水平方向に拡大・縮小するように構成されている。
【００３８】
次に、図１２から図１６までを用いて動作を説明する。図１２は、本実施の形態の処理の流れを示す処理フロー図である。図１３は、ナンバープレートが垂直方向に傾いている入力画像の例を示す説明図であり、３８が入力画像である。図１４と図１５は、垂直方向歪み補正手段７の動作を説明するための説明図であり、３９は一連番号中心位置を結ぶ直線、４０は垂直方向歪み補正後の画像の例である。図１６は、歪み補正手段５の水平方向拡大・縮小の動作を説明するための説明図であり、４１は台形→長方形の画像変換後のプレート領域画像、４２から４５までは一連番号中心位置のＸ座標、４６から４８までは隣接する一連番号の中心位置間の水平方向距離である。
【００３９】
まず、実施の形態１と同様の手順で、画像入力手段１が撮像された画像を入力し（ステップＴ１）、ナンバープレート検出手段２が入力画像中のナンバープレートを検出する（ステップＴ２）。この実施の形態では、画像入力の際、ナンバープレートの左上方の至近距離から角度をつけて撮像したものとする。この場合、図１３の入力画像３８のように、画像中のナンバープレートには垂直方向の大きな傾きが加わる。また、撮像倍率も不均一となり、同じナンバープレートの内部でも、カメラに近い部分は大きく、遠い部分は小さく写る。
【００４０】
次に、垂直方向歪み補正手段７が、垂直方向の傾き量を計測し（ステップＴ３）、この傾きがなくなるように画像変換を行う（ステップＴ４）。このうち傾き量計測では、例えば、実施の形態１で説明した最小二乗法等を用い、検出した一連番号の中心位置を結ぶ直線を求めて、この直線の傾きを垂直方向の傾きとする。図１４の直線３９がこの例である。垂直方向の画像変換では、ステップＴ３で求めた垂直方向の傾き量と逆方向に画像をずらし、垂直方向の歪み補正後画像を得る。図１４の画像３８に対する垂直方向歪み補正後画像が図１５の画像４０である。
【００４１】
さらに垂直方向歪み補正手段７は、ステップＴ２で得た一連番号の位置を補正し、垂直方向の歪み補正後の画像に対応した一連番号の位置情報を得る（ステップＴ５）。本ステップの基本的な処理内容は、実施の形態１におけるステップＳ８と同様であり、補正前の一連番号の座標に対応した画像変換後の座標を求めた後、当該座標に対応した変換後画像の領域から一連番号と見なせる連結領域を検出し、当該連結領域の位置座標を一連番号の座標とする。
【００４２】
以降のステップＴ６〜Ｔ１１は実施の形態１におけるステップＳ３〜Ｓ８と同様であり、傾き量計測手段３が一連番号の傾き量を求め（ステップＴ６）、傾き量算式決定手段４がナンバープレート内における傾き量と位置座標との関係式を求める（ステップＴ７）。さらに歪み補正手段５が、ナンバープレート左右端の位置・傾き量を推定し（ステップＴ８）、歪み補正の基準位置を決定し（ステップＴ９）、台形を長方形とする画像変換を行って（ステップＴ１０）、この画像変換に伴う一連番号の位置座標のずれを補正する（ステップＴ１１）。
【００４３】
その後、歪み補正手段５は、歪み補正後画像を水平方向に拡大・縮小する（ステップＴ１２）。これは前述の撮像倍率の不均一性を補正するために行うものであり、大きく写っている部分を縮小すると共に、小さく写っている部分を拡大し、全体として同等の倍率になるようにする。ナンバープレートは横長の形状であるため、垂直方向よりも水平方向の方が撮像倍率の不均一性は大きく、従って拡大・縮小は水平方向に行う。実現方法としては、例えば、実施の形態１で説明したナンバープレートの様式情報に基づいて隣接する一連番号間の水平方向距離の標準値をあらかじめ定めておき、画像中の距離と当該標準値との比率に基づいて拡大・縮小する。この動作を図１６で説明する。図１６において、例えば、プレート領域画像４１における水平方向距離４６が３０画素、水平方向距離４７が４２画素、水平方向距離４８が２４画素であったとする。前記水平方向距離の標準値として、一連番号１桁目と２桁目の中心間を２７画素、２桁目と３桁目の中心間を４２画素、３桁目と４桁目の中心間を２７画素と定めておいた場合、Ｘ座標４２より左側の領域とＸ座標４２〜４３の領域は約０．９倍（２７÷３０）に縮小し、Ｘ座標４３〜４４の領域は標準値に一致するので拡大・縮小せず、Ｘ座標４４〜４５の領域とＸ座標４５より右側の領域は約１．１倍（２７÷２４）に拡大する。
【００４４】
さらに歪み補正手段５は、ステップＴ１１で補正した一連番号の位置座標を、ステップＴ１２で拡大・縮小した後の画像に合わせて、再度補正する（ステップＴ１３）。水平方向の拡大・縮小では斜めに傾ける画像変換は行われないので、本ステップの座標補正では、画像から連結領域を検出するような動作は必要なく、補正前の一連番号の座標値と拡大・縮小の比率から計算により求められる。最後に、ナンバープレート認識手段６が、実施の形態1と同様に、歪み補正後の画像を対象として、一連番号以外の文字の検出と、全文字の認識を行う（ステップＴ１４）。
【００４５】
この実施の形態では、以上の工程を経ることで、画像中のナンバープレートに垂直方向の大きな傾きが加わっている場合でも、垂直方向の歪み補正を行うようにしたので、台形状の領域を適正に長方形に補正でき、当該ナンバープレートの文字をより確実に読み取ることができる。
【００４６】
また、歪み補正の後に、例えば、ナンバープレート内の文字の間隔に基づいて、水平方向の拡大・縮小を行うことで、ナンバープレート内の撮像倍率の不均一性を補正でき、至近距離から斜めに撮った画像のナンバープレートも読み取ることができる。
【００４７】
なお、本実施の形態では、垂直方向歪み補正を行った後の画像に対して台形→長方形変換を行ったが、この両方の画像変換を同時に行うようにしても良い。また、垂直方向の傾き量計測と画像変換の方法として、一連番号の中心位置を結ぶ直線の傾きを垂直方向の傾きとし、この直線が水平になるように画像変換する方法を用いたが、これは別の方法でも良く、例えば、特開２００２−７９６１号公報の図２及びｐｐ．５−６に記載の補正方法を用いても良い。この方法を用いれば、プレートの上辺と下辺が平行でない画像が入力された場合でも、上辺と下辺の両方が水平になるように変換できる。また、水平方向の拡大・縮小において、ナンバープレート領域を三つの部分に分け、それぞれ異なる倍率で拡大・縮小したが、これはもっと多くの部分に分けても良い。
【００４８】
実施の形態３．
以下、この発明の実施の形態３について説明する。
概略構成図は実施の形態１と同じく図１である。ただし、傾き量計測手段３は、入力画像内の文字の傾き量に加え、文字が所定プレート上に配置された入力画像から、当該入力画像内の所定プレートの左辺部分と右辺部分の傾き量を求めるように構成されている。ここでは、ナンバープレートの左辺部分と右辺部分の傾き量を求める。また、傾き量算式決定手段４は、文字の傾き量とその文字の位置座標に加え、前記所定プレートの左辺部分と右辺部分の傾き量とその左辺部分と右辺部分の位置座標から、位置座標と傾き量との関係を表す関係式を求めるように構成されている。ここでは、一連番号とナンバープレート左辺・右辺の位置座標と傾き量から、ナンバープレート内における傾き量と位置座標との関係式を求める。
【００４９】
次に、図３と図１７から図１９を用いて動作を説明する。
図１７は、本実施の形態の処理の流れを示す処理フロー図である。図１８は、傾き量計測手段３が処理対象とするナンバープレート左辺部分と右辺部分を説明するための説明図であり、４９が左辺の検出対象領域、５０が右辺の検出対象領域である。図１９は、傾き量算式決定手段４の動作を説明するための説明図であり、５１がナンバープレート左辺のX座標と傾き量を示す点、５２がナンバープレート右辺のX座標と傾き量を示す点、５３が近似直線である。
【００５０】
まず、実施の形態１におけるステップＳ１〜Ｓ３と同様に、画像入力手段１が画像を入力し（ステップＵ１）、ナンバープレート検出手段２が入力画像中のナンバープレートを検出し（ステップＵ２）、傾き量計測手段３が一連番号の各パターンの傾き量を求める（ステップＵ３）。
【００５１】
その後、傾き量計測手段３は、入力画像からナンバープレートの左辺と右辺を検出すると共に、その傾き量を計測する（ステップＵ４）。まず、ナンバープレートの左辺と右辺の大まかな位置は、実施の形態１における式４と式５で計算できるので、この位置を中心とした所定サイズの領域を左辺・右辺の検出対象領域とする。例えば、図３の入力画像８については、図１８の破線枠４９が左辺の検出対象領域、破線枠５０が右辺の検出対象領域となる。この検出対象領域から左辺・右辺を検出する方法としては、例えば、電子情報通信学会論文誌 Ｖｏｌ．Ｊ７０−Ｄ Ｎｏ．７ ｐｐ．１３８３−１３８９ 「ピラミッド階層化高速ハフ変換を用いたナンバプレート領域抽出」の６．１節に記載された垂直線の抽出法を用いる。これは、ナンバープレートの左辺と右辺を直線として検出するもので、この方法により、左辺・右辺の位置と傾き量が得られる。
【００５２】
そして、傾き量算式決定手段４は、一連番号とナンバープレート左辺・右辺の位置座標と傾き量から、ナンバープレート内における傾き量と位置座標との関係式を求める（ステップＵ５）。この実現方法としては、例えば、実施の形態１と同様に、関係式を１次式として定数を求める。これは、図１９に示すように、各一連番号の中心X座標と傾き量を示す点２６〜２９に、さらに左辺のＸ座標と傾き量を表わす点５１と、右辺のＸ座標と傾き量を表わす点５２を加えて、近似直線５３を求めることに相当する。用いる点の数が増えることで、より精度の良い関係式が求められる。また、例えばステップＵ２で一連番号４桁のうち１桁しか検出できなかった場合、一連番号の情報だけでは関係式を求めることができないが、左辺と右辺の情報を加えることで、関係式が求められるようになる。
【００５３】
以降のステップＵ６〜Ｕ１０は実施の形態１におけるステップＳ５〜Ｓ９と同一であり、歪み補正手段５が、ナンバープレート左右端の位置・傾き量を推定し（ステップＵ６）、歪み補正の基準位置を決定し（ステップＵ７）、台形を長方形とする画像変換を行い（ステップＵ８）、この画像変換に伴う一連番号の位置座標のずれを補正して（ステップＵ９）、最後にナンバープレート認識手段６が文字検出・認識を行う（ステップＵ１０）。
【００５４】
この実施の形態では、以上の工程を経ることで、一連番号とナンバープレート左辺・右辺の位置座標と傾き量から、ナンバープレート内における傾き量と位置座標との関係式を求めるようにしたので、ナンバープレート内における傾き量と位置座標との関係式がより精度良く求められると共に、一連番号の多くが検出できなかった場合でも、適正に歪み補正が行える。
【００５５】
実施の形態４．
以下、この発明の実施の形態４について説明する。
概略構成図は実施の形態１と同じく図１である。ただし、傾き量算式決定手段４は、平行四辺形状の歪みに対応した関係式と、台形状の歪みに対応した関係式の二つを求めた後、所定の評価基準に従ってどちらかを選択するように構成されている。
【００５６】
次に、図２０から図２２を用いて動作を説明する。
図２０は、本実施の形態の処理の流れを示す処理フロー図である。図２１と図２２は、傾き量算式決定手段４の動作を説明するための説明図であり、５４〜５７が一連番号中心位置のX座標と傾き量を示す点、５８が台形→長方形変換に対応した関係式を示す直線、５９が平行四辺形→長方形変換に対応した関係式を示す直線である。
【００５７】
まず、実施の形態１におけるステップＳ１〜Ｓ３と同様に、画像入力手段１が画像を入力し（ステップＶ１）、ナンバープレート検出手段２が入力画像中のナンバープレートを検出し（ステップＶ２）、傾き量計測手段３が一連番号の各パターンの傾き量を求める（ステップＶ３）。そして、傾き量算式決定手段４が、一連番号の位置座標と傾き量から、ナンバープレート内における傾き量と位置座標との関係式を推定する（ステップＶ４）。この推定では、実施の形態１におけるステップＳ４の方法で求める関係式（以下、これを台形対応関係式と呼ぶ）と、ナンバープレートが平行四辺形状に歪んでいることを仮定した関係式（以下、これを平行四辺形対応関係式と呼ぶ）の二つを求める。平行四辺形状の歪みの場合は、位置座標にかかわらず傾き量が一定となるので、平行四辺形対応関係式は例えば下記の式１０で表わせる。この関係式を図で表現したものが図２１と図２２であり、一連番号の中心位置のX座標と傾き量を示す点５４〜５７から求めた台形対応関係式を求めると図２１の直線５８となり、平行四辺形対応関係式を求めると図２２の直線５９となる。
【００５８】
ｍ＝ｃ … （式１０）
【００５９】
ただし、ｍは傾き量、ｃは定数。ｃは、例えば、各一連番号から求めた傾き量を平均して求める
【００６０】
次に、傾き量算式決定手段４は、所定の評価基準に従ってステップＶ４で求めた二つの関係式のどちらかを選択する（ステップＶ５）。本実施の形態では、式１１と式１２で関係式の評価値を求め、この評価値が小さい方を選択するものとする。
【００６１】
ＥＶ１＝ＥＲ１ … （式１１）
ＥＶ２＝ＥＲ２−ｄ … （式１２）
【００６２】
ただし、ＥＶ１は台形対応関係式の評価値、ＥＶ２は平行四辺形対応関係式の評価値、ｄは調整用の定数である。また、ＥＲ１とＥＲ２は関係式の当てはまり度合いを示す誤差値であり、例えば、ＥＲ１は図２１における点５４〜５７のそれぞれと直線５８との垂直距離の２乗和、ＥＲ２は図２２における点５４〜５７のそれぞれと直線５９との垂直距離の２乗和である。
【００６３】
台形対応関係式は、台形状の歪みに対応できるものの、一連番号から求めた傾き量の誤差が大きい場合は、かえって悪影響を及ぼす可能性がある。一方、平行四辺形対応関係式は、平行四辺形状の歪みにしか対応できないが、一連番号すべてから一つの傾き量を求めれば良いので、台形対応関係式に比べて入力値の誤差に対する耐性が強い。ステップＶ５における関係式の選択は、この両者の良いところを取り入れるために行うもので、入力画像におけるナンバープレートが平行四辺形に近い形状であれば、誤差の影響を受けにくい平行四辺形対応関係式を選択し、平行四辺形からかけ離れた形状なら台形対応関係式を選択することになる。
【００６４】
以降のステップＶ６〜Ｖ１０は、ステップＶ５で選択した関係式を使うことを除き、実施の形態１におけるステップＳ５〜Ｓ９と同一であり、歪み補正手段５が、ナンバープレート左右端の位置・傾き量を推定し（ステップＶ６）、歪み補正の基準位置を決定し（ステップＶ７）、台形を長方形とする画像変換を行い（ステップＶ８）、この画像変換に伴う一連番号の位置座標のずれを補正して（ステップＶ９）、最後にナンバープレート認識手段６が文字検出・認識を行う（ステップＶ１０）。なお、ステップＶ８では常に台形を長方形とする画像変換が行われることになるが、平行四辺形は台形に含まれるので、同じ処理で台形対応関係式にも平行四辺形対応関係式にも対応でき、問題ない。
【００６５】
この実施の形態では、以上の工程を経ることで、平行四辺形状の歪みに対応した関係式と、台形状の歪みに対応した関係式の二つを求めた後、所定の評価基準に従ってどちらかを選択するようにしたので、平行四辺形の歪みを安定して補正できると同時に、台形の歪みも補正することができ、歪みの形状によらず、ナンバープレートの文字を確実に読み取ることができる。
【００６６】
なお、本実施の形態では、関係式の評価値として式１１と式１２を用いたが、これは両者を比較できるものなら、別の式を用いても良い。
【００６７】
なお、実施の形態１〜４では、普通自動車のナンバープレートを読み取る場合で説明したが、これは、プレート上に刻印または印刷された文字の大きさ・配置などの様式情報が定められたプレートであれば、普通自動車以外のナンバープレートでも良く、あるいは、他のプレートでも良い。また、実施の形態１〜４の各構成を適宜組み合わせて用いても良い。
【図面の簡単な説明】
【００６８】
【図１】実施の形態１、３、４による文字読取装置の構成を示す概略構成図である。
【図２】実施の形態１の処理の流れを示す処理フロー図である。
【図３】入力画像の例を示す説明図である。
【図４】一連番号のパターンに所定の傾きを加えた例を示す説明図である。
【図５】各一連番号の傾き量の計測方法を説明するための説明図である。
【図６】各一連番号の傾き量の計測方法を説明するための説明図である。
【図７】傾き量算式決定手段４の動作を説明するための説明図である。
【図８】歪み補正手段５の動作を説明するための説明図である。
【図９】歪み補正手段５の動作を説明するための説明図である。
【図１０】歪み補正手段５の処理結果を示す説明図である。
【図１１】実施の形態２による文字読取装置の構成を示す概略構成図である。
【図１２】実施の形態２の処理の流れを示す処理フロー図である。
【図１３】ナンバープレートが垂直方向に傾いている入力画像の例を示す説明図である。
【図１４】垂直方向歪み補正手段７の動作を説明するための説明図である。
【図１５】垂直方向歪み補正手段７の動作を説明するための説明図である。
【図１６】歪み補正手段５の水平方向拡大・縮小の動作を説明するための説明図である。
【図１７】実施の形態３の処理の流れを示す処理フロー図である。
【図１８】ナンバープレート左辺部分と右辺部分を説明するための説明図である。
【図１９】傾き量算式決定手段４の動作を説明するための説明図である。
【図２０】実施の形態４の処理の流れを示す処理フロー図である。
【図２１】傾き量算式決定手段４の動作を説明するための説明図である。
【図２２】傾き量算式決定手段４の動作を説明するための説明図である。
【符号の説明】
【００６９】
１ 画像入力手段、２ ナンバープレート検出手段、３ 傾き量計測手段、４ 傾き量算式決定手段、５ 歪み補正手段、６ ナンバープレート認識手段、７ 垂直方向歪み補正手段。
【技術分野】
【０００１】
この発明は、歪んで変形して見える画像から、自動的に文字を読み取る文字読取装置に関するものである。
【背景技術】
【０００２】
カメラで斜め方向からナンバープレートを撮像すると、長方形であるナンバープレートが画像中では歪んで変形して見えるため、この歪みを補正してから読み取りを行う必要がある。歪み補正を伴う従来の読み取り技術としては、例えば、特開平８−３２０９９０号公報（特許文献１）に示されるものがある。この技術では、検出したナンバープレートの一連番号（大きな４桁の数字）から回帰直線を算出し、その傾きからアフィン変換マトリックスを求めることで、平行四辺形に歪んだナンバープレート画像を補正し、読み取りを行う。
【０００３】
また、歪み補正に関する他の従来技術としては、特開平１１−７３５１４号公報（特許文献２）に示されるものがあり、この技術では、画像から四角形を検出して各辺の傾きを求め、対辺が平行となるように画像変換することで、任意の四角形を長方形に補正する。
【０００４】
【特許文献１】特開平８−３２０９９０号公報（段落番号［００１７］から［００２２］、図１）
【特許文献２】特開平１１−７３５１４号公報（段落番号［０００５］から［０００６］）
【発明の開示】
【発明が解決しようとする課題】
【０００５】
しかしながら、前記特許文献１に示された従来のナンバープレート読取装置では、平行四辺形の歪みにしか対応していないため、至近距離から撮像して台形状に歪んだナンバープレートは適正に補正することができないという課題があった。前記特許文献２の歪み補正法を用いれば台形状の歪みも補正できるが、車両とナンバープレートが同じような色の場合や、影がかかっている場合など、画像から直接ナンバープレートの各辺を求めることが難しいケースも多く、このような場合には適正に補正できない。
【０００６】
この発明は、前記のような課題を解決するためになされたものであり、ナンバープレート等の領域の各辺が画像から検出できない場合でも、台形状に歪んだ領域を長方形に補正でき、至近距離から撮像された画像の文字を読み取ることのできる文字読取装置を得ることを目的としている。
【課題を解決するための手段】
【０００７】
この発明に係る文字読取装置は、入力画像内の文字の傾き量を求める傾き量計測手段と、前記傾き量計測手段の求めた文字の傾き量とその文字の位置座標から、位置座標と傾き量との関係を表す関係式を求める傾き量算式決定手段と、前記傾き量算式決定手段の求めた関係式に基づいて台形状の領域を求め、当該台形状の領域を長方形に変換する歪み補正手段と、前記歪み補正手段の補正した領域の画像から文字パターンを抽出して認識する文字認識手段とを備えたものである。
【発明の効果】
【０００８】
この発明によれば、位置座標と傾き量との関係を表す関係式に基づいて台形状の領域を求め、当該台形状の領域を長方形に変換するようにしたので、画像中で台形状に歪んだ領域を長方形に補正でき、当該領域の文字を確実に読み取ることができる効果がある。
【発明を実施するための最良の形態】
【０００９】
実施の形態１．
以下、この発明の実施の形態１について説明する。
まず、本実施の形態の構成について説明する。図１は、この発明の実施の形態１の構成を示す概略構成図である。図において、１は、撮像された画像を入力する画像入力手段である。２は、前記画像入力手段１によって入力された入力画像からナンバープレートを検出するナンバープレート検出手段である。３は、入力画像内の文字の傾き量を求める傾き量計測手段であり、ここでは、前記ナンバープレート検出手段２で入力画像から検出されたナンバープレート内の文字の傾き量を求める。４は、前記傾き量計測手段３の求めた文字の傾き量とその文字の位置座標から、位置座標と傾き量との関係を表す関係式を求める傾き量算式決定手段であり、ここでは、前記傾き量計測手段３の求めた複数文字の各文字の傾き量とその文字の位置座標から、ナンバープレート内における傾き量と位置座標との関係式を求める。５は、前記傾き量算式決定手段４の求めた関係式に基づいて台形状の領域を求め、当該台形状の領域を長方形に変換する歪み補正手段である。６は、前記歪み補正手段５の補正した領域の画像から文字パターンを抽出して認識する文字認識手段であり、ここでは、前記歪み補正手段５の補正したナンバープレート領域の画像からナンバープレートの文字パターンを抽出して認識するナンバープレート認識手段である。
【００１０】
次に、図２から図１０までを用いて動作を説明する。図２は、本実施の形態の処理の流れを示す処理フロー図である。図３は、入力画像の例を示す説明図であり、８が入力画像、９がナンバープレート、１０が一連番号を示す。図４、は検出した一連番号のパターンに所定の傾きを加えた例を示す説明図であり、１１が検出したパターン、１２から１５までが検出パターン１１を傾けたパターンである。図５と図６は、各一連番号の傾き量の計測方法を説明するための説明図であり、１６から２０までが各パターンの幅、２１から２５までが各パターンの垂直投影データである。図７は、傾き量算式決定手段４の動作を説明するための説明図であり、２６から２９までが各一連番号の中心のX座標と傾き量を示す点であり、３０が近似直線である。図８と図９は、歪み補正手段５の動作を説明するための説明図であり、３１と３２がナンバープレート左右端の推定位置、３３から３６までがナンバープレートの歪み補正の基準位置、３７が歪み補正対象領域の外接矩形を示す。図１０は、歪み補正手段５の処理結果を示す説明図である。
【００１１】
まず、画像入力手段１が撮像された画像を入力し（ステップＳ１）、ナンバープレート検出手段２が入力画像中のナンバープレートを検出する（ステップＳ２）。ここで、画像の入力は例えばカメラ等を用いて行い、ナンバープレートの検出は、例えば、三菱電機技報 Ｖｏｌ．６２ Ｎｏ．２ ｐｐ．９−１２ 「ナンバープレート認識技術」の４章「ナンバープレート抽出と下段文字切出し」に記載の方法を用いる。この結果、図３の入力画像からはナンバープレート９の一連番号１０の各パターンが検出され、それぞれの位置座標が得られる。なお、今後の説明において、位置座標は、図３に示す通り、入力画像の左上を原点とし、垂直座標をY軸、水平座標をX軸で表現する。
【００１２】
次に、傾き量計測手段３が一連番号の各パターンの傾き量を求める（ステップＳ３）。この傾き量は、図４に示すように、検出した一連番号パターン１１をそれぞれ異なる所定の角度傾けて複数パターン作成し、この中で傾きの最も小さいパターンを選択することで求める。例えば、パターン１１を−１０度傾けてパターン１２を作成し、同様に、−２０度傾けてパターン１３を、１０度傾けてパターン１４を、２０度傾けてパターン１５を作成する。この時、傾きのないパターンとしてパターン１２が選択できれば、−１０度傾けたものが傾きなしパターンであるのだから、元のパターン１１は逆に１０度傾いたパターンであると判断できる。なお、傾き量計測手段３の出力する傾き量は、前記傾き角度の正接関数値とする。すなわち、傾き角度１０度であれば傾き量はｔａｎ（１０）とする。
【００１３】
傾き角度の異なる複数パターンから傾き最小パターンを選択する方法としては、例えば、パターン幅を評価値として、この値が最も小さいものを選択する方法がある。図５がこの例であり、パターン１１〜１５の幅１６〜２０のうち最小となるのは幅１８であり、対応するパターン１２が傾き最小のパターンとなる。あるいは、各パターンの形状と、事前に保持しておいた一連番号（０〜９すべて）の傾きなしの形状データとを比較し、その差を評価値として、評価値最小のものを選択するという方法もある。この形状データとは、例えば、文字パターンそのものであり、パターンの幅・高さを所定サイズに合わせた後、画素毎に比較して、値の異なる画素の数をカウントし、当該カウント値を評価値にする。また、形状データの他の例としては、より高速に照合可能な文字パターンの垂直投影データも考えられ、この場合は、図６に示すように、パターン１１〜１５から垂直投影データ２１〜２５をそれぞれ作成し、データ長（幅）を所定サイズに拡大・縮小した後、事前に保持しておいた垂直投影データと比較し、差の絶対値の総和を評価値として、評価値最小のものを選択する。
【００１４】
その後、傾き量算式決定手段４は、傾き量計測手段３の求めた各一連番号の傾き量と各一連番号の位置座標からナンバープレート内における傾き量と位置座標との関係式を求める（ステップＳ４）。例えば関係式を１次式とすると、一連番号の傾き量をｍ、一連番号の中心位置のX座標をＸとして、下記の式１で表わせ、本式における定数ａとｂを求めることで、関係式が得られる。これは、図７に示すように、各一連番号の中心X座標と傾き量を示す点２６〜２９から、その近似直線３０を求めることに相当する。
【００１５】
ｍ＝ａ×Ｘ＋ｂ … （式１）
【００１６】
定数ａとｂを求める方法としては、例えば、共立出版発行 金谷健一著「これなら分かる応用数学教室」ｐｐ．１−２に記載の最小二乗法が使用できる。あるいは、新技術コミュニケーションズ発行 「コンピュータビジョン：技術評論と将来展望」ｐｐ．１９８−２００に記載されたロバスト統計に基づく推定法を使用すれば、計測値に大きな誤差が含まれるような場合でも適正な関係式を求めることができる。
【００１７】
なお、一連番号の中心位置のＹ座標が大きく異なる場合は、このＹ座標差の影響を除外するため、上記の式１のＸをｎに置き換えた下記の式２を用いても良い。
【００１８】
ｍ＝ａ×ｎ＋ｂ … （式２）
【００１９】
ただし、ｎはＹ座標差の影響を除外するため一連番号の中心位置のX座標を傾き量で補正した値（以下、補正後Ｘ座標と呼ぶ）であり、一連番号各桁の補正後Ｘ座標は下記の式３で計算できる。
【００２０】
ｎｉ＝Ｘｉ＋（Ｙｉ−Ｙ´）×ｍｉ … （式３）
【００２１】
ここで、ｎｉ、Ｘｉ、Ｙｉは一連番号ｉ桁目の座標情報であり、ｎｉが補正後Ｘ座標、Ｘｉが補正前のＸ座標（中心位置のＸ座標）、Ｙｉが中心位置のＹ座標である。また、ｍｉはステップＳ３において一連番号ｉ桁目から求めた傾き量であり、Ｙ´は式３における補正の基準となるＹ座標（以下、補正基準Ｙ座標と呼ぶ）である。この補正基準Ｙ座標は、一連番号の存在領域内であればどんな値でも良く、例えば、一連番号中心位置のＹ座標の平均値が使用できる。
【００２２】
次に、歪み補正手段５が、ナンバープレートの左右端位置と当該位置における傾き量を推定する（ステップＳ５）。この際、まずはナンバープレートの左右端位置を求めるが、車両のナンバープレートの様式（大きさや文字の配置）は、交文社発行 「自動車登録関係通達・情報集」ｐｐ．１１０１−１１０３に記載のように法令で定められており、この様式情報と検出した一連番号の座標から求められる。例えば、左右端のX座標は以下の式４と式５で算出できる。
【００２３】
ＸＬ＝Ｘ１−ＣＬ×（Ｘ４−Ｘ１）÷Ｄ … （式４）
ＸＲ＝Ｘ４＋ＣＲ×（Ｘ４−Ｘ１）÷Ｄ … （式５）
【００２４】
ここで、ＸＬとＸＲとＸ１とＸ４は画像中のＸ座標であり、ＸＬがナンバープレート左端、ＸＲがナンバープレート右端、Ｘ１が一連番号の１桁目中心位置、Ｘ４が４桁目中心位置である。また、ＣＬとＣＲとＤは様式情報における水平方向（Ｘ軸方向）の距離であり、ＣＬはナンバープレート左端と一連番号の１桁目中心位置との距離、ＣＲは一連番号の４桁目中心位置とナンバープレート右端との距離、Ｄは一連番号の１桁目中心位置と４桁目中心位置との距離を示す。
【００２５】
左右端のＹ座標については、前記ステップＳ４で式２を用いた場合は、左端も右端も補正基準Ｙ座標の値とする。式２を用いなかった場合は、例えば、最も近い一連番号（左端なら１桁目、右端なら４桁目）の中心位置のＹ座標を用いる。図８の例で説明すると、ここまでの処理により、ナンバープレート９の左端位置３１と右端位置３２の位置座標が決定できる。ナンバープレート左右端の位置座標が決まった後、それぞれの傾き量を、傾き量算式決定手段４の決定した算式に基づいて計算する。
【００２６】
その後、歪み補正手段５は、ナンバープレート左右端の位置と傾き量から、歪み補正の基準とする位置座標を決定する（ステップＳ６）。この際、まずナンバープレートを含む領域の上端と下端のＹ座標を定める。これは、例えば、以下の式６と式７で計算できる。
【００２７】
ＹＵ＝Ｍｉｎ（Ｙ１，Ｙ４）−ＤＵ×ＨＡ÷ＨＦ … （式６）
ＹＤ＝Ｍａｘ（Ｙ１，Ｙ４）＋ＤＤ×ＨＡ÷ＨＦ … （式７）
【００２８】
ここで、ＹＵは上端Ｙ座標、ＹＤは下端Ｙ座標、Ｙ１は一連番号１桁目の、Ｙ４は４桁目の中心位置のＹ座標である。Ｍｉｎは最小値をとる演算子、Ｍａｘは最大値をとる演算子であり、ＨＡは一連番号の中で最も高さが大きいものの高さの値である。ＤＵ、ＤＤ、ＨＦは前述のナンバープレート様式情報で規定される数値であり、ＤＵは一連番号中心位置とナンバープレート上端との垂直方向距離、ＤＤは一連番号中心位置とナンバープレート下端との垂直方向距離、ＨＦは一連番号の数字の高さである。図９に示すような、ナンバープレートの垂直方向の傾きがない画像であれば、ＹＵはナンバープレート上辺のＹ座標に、ＹＤは下辺のＹ座標と概ね同じ位置となる。
【００２９】
次に、ステップＳ５で求めたナンバープレート左右端位置から、それぞれの傾き量に従って上下方向に伸ばした直線が上記の上端・下端Ｙ座標で通る点を求め、これを歪み補正基準位置とする。この歪み補正基準位置で特定される領域が、歪み補正の対象となる台形状のナンバープレート領域である。ナンバープレート左右端位置が実際のプレート左辺・右辺上にあり、かつ上端Ｙ座標と下端Ｙ座標が実際のプレート上辺・下辺に一致している場合は、図８に示すように、歪み補正基準位置３３〜３６はナンバープレートの四隅と一致する。なお、この歪み補正基準位置は必ずしもナンバープレートの四隅の点である必要はなく、内部にナンバープレートを含む位置の点であれば良いので、確実にナンバープレートの全領域が含まれるように、歪み補正基準位置を外側にずらすための定数項を式４〜７に加えても良い。
【００３０】
さらに歪み補正手段５は、ステップＳ６で求めた基準位置に基づき、台形を長方形とする画像変換を行う（ステップＳ７）。図９の例で説明すると、歪み補正基準位置３３〜３６を頂点とする台形の領域（台形状のナンバープレート領域）を歪み補正対象とし、当該領域の外接矩形３７を求め、歪み補正対象領域の水平ラインがそれぞれ外接矩形３７の幅いっぱいになるように、水平ライン毎に拡大する。この画像変換の結果、図１０に示す画像が得られる。
【００３１】
この画像変換を行うと一連番号の位置もずれてしまうため、歪み補正手段５は、画像変換後、ステップＳ２で得た各一連番号の座標を補正し、変換後画像における一連番号位置を求め直す（ステップＳ８）。図９における外接矩形３７の左上の点（歪み補正基準位置３３）を原点として座標系をとりなおすと、基準位置３３が基準位置３５より左にあり、かつ基準位置３４が基準位置３６より右にある場合、画像変換後の座標（ＯＸ，ＯＹ）と画像変換前の座標（Ｘ，Ｙ）は式８〜９の関係にある。このため、ステップＳ８では、例えば、補正前の一連番号の座標（外接矩形の四隅の座標）に対応した画像変換後の座標を式８〜９で計算した後、当該座標に対応した変換後画像の領域から一連番号と見なせる連結領域を検出し、当該連結領域の位置座標を補正後の一連番号の座標とする。
【００３２】
ＯＸ＝（Ｘ＋ＭＬ×Ｙ）×Ｗ÷（Ｗ−Ｙ×（ＭＲ−ＭＬ）） … （式８）
ＯＹ＝Ｙ … （式９）
【００３３】
ここで、ＭＬはナンバープレート左端の傾き量、ＭＲはナンバープレート右端の傾き量、Ｗは外接矩形３７の幅である。基準位置３３と基準位置３５の位置関係からＭＬ≦０で、基準位置３４と基準位置３６の位置関係からＭＲ≧０となる。
【００３４】
最後に、ナンバープレート認識手段６が、ステップＳ８で補正した一連番号の位置座標を用い、歪み補正後の画像を対象として、一連番号以外の文字の検出と、全文字の認識を行う（ステップＳ９）。ここでは、例えば、前記三菱電機技報における「ナンバープレート認識技術」の５章「上段文字切出し」と６章「文字認識」に記載の方法を用いる。
【００３５】
この実施の形態では、以上の工程を経ることで、位置座標と傾き量との関係を表す関係式に基づいて台形状の領域を求め、当該台形状の領域を長方形に変換するようにしたので、画像中で台形状に歪んだ領域、ここではナンバープレートの領域を長方形に補正でき、当該領域（ナンバープレートの領域）の文字を確実に読み取ることができる。また、大きく安定した一連番号の位置と傾き量からナンバープレート左右端を含む任意の位置の傾き量を推定できるようにしたので、ナンバープレートの各辺が画像から直接検出できない場合でも、歪み補正を実行できる。
【００３６】
なお、本実施の形態では、一連番号の位置と傾き量からナンバープレート左右端の位置と傾き量を推定し、歪み補正基準位置を求めるようにしたが、歪み補正基準位置をナンバープレートの四隅の点の近辺にするのでなければ、ナンバープレート左右端の位置と傾き量を求める必要はなく、一連番号の位置と傾き量から歪み補正基準位置を直接求めるようにしても良い。また、歪み補正はナンバープレート全体が含まれる画像領域を対象に行ったが、これは、画像領域をより細かく分け、文字の存在する可能性のある領域だけを選んで実施しても良い。あるいは、ナンバープレート上の文字をすべて検出した後、当該検出パターンを対象に歪み補正する手順にしても良い。また、ナンバープレートの検出や認識の方法として文献記載の方法を用いたが、これは別の方法でも良く、ナンバープレートの検出で一連番号が検出できれば良い。また、傾き角度の異なる複数パターンから傾き最小パターンを選択する方法を３種類説明したが、これは別の方法でも良く、複数の方法を組み合わせても良い。また、ナンバープレート内における傾き量と位置座標との関係式を１次式としたが、これは２次以上の式にしても良い。
【００３７】
実施の形態２．
以下、この発明の実施の形態２について説明する。
まず、本実施の形態の構成について説明する。図１１は、この発明の実施の形態２の構成を示す概略構成図である。前述の図と同一又は相当部分に同一符号を付し、説明を省略する。図において、７は、垂直方向の歪み補正を行う垂直方向歪み補正手段である。なお、歪み補正手段５は、ナンバープレート領域を長方形に変換した後、水平方向に拡大・縮小するように構成されている。
【００３８】
次に、図１２から図１６までを用いて動作を説明する。図１２は、本実施の形態の処理の流れを示す処理フロー図である。図１３は、ナンバープレートが垂直方向に傾いている入力画像の例を示す説明図であり、３８が入力画像である。図１４と図１５は、垂直方向歪み補正手段７の動作を説明するための説明図であり、３９は一連番号中心位置を結ぶ直線、４０は垂直方向歪み補正後の画像の例である。図１６は、歪み補正手段５の水平方向拡大・縮小の動作を説明するための説明図であり、４１は台形→長方形の画像変換後のプレート領域画像、４２から４５までは一連番号中心位置のＸ座標、４６から４８までは隣接する一連番号の中心位置間の水平方向距離である。
【００３９】
まず、実施の形態１と同様の手順で、画像入力手段１が撮像された画像を入力し（ステップＴ１）、ナンバープレート検出手段２が入力画像中のナンバープレートを検出する（ステップＴ２）。この実施の形態では、画像入力の際、ナンバープレートの左上方の至近距離から角度をつけて撮像したものとする。この場合、図１３の入力画像３８のように、画像中のナンバープレートには垂直方向の大きな傾きが加わる。また、撮像倍率も不均一となり、同じナンバープレートの内部でも、カメラに近い部分は大きく、遠い部分は小さく写る。
【００４０】
次に、垂直方向歪み補正手段７が、垂直方向の傾き量を計測し（ステップＴ３）、この傾きがなくなるように画像変換を行う（ステップＴ４）。このうち傾き量計測では、例えば、実施の形態１で説明した最小二乗法等を用い、検出した一連番号の中心位置を結ぶ直線を求めて、この直線の傾きを垂直方向の傾きとする。図１４の直線３９がこの例である。垂直方向の画像変換では、ステップＴ３で求めた垂直方向の傾き量と逆方向に画像をずらし、垂直方向の歪み補正後画像を得る。図１４の画像３８に対する垂直方向歪み補正後画像が図１５の画像４０である。
【００４１】
さらに垂直方向歪み補正手段７は、ステップＴ２で得た一連番号の位置を補正し、垂直方向の歪み補正後の画像に対応した一連番号の位置情報を得る（ステップＴ５）。本ステップの基本的な処理内容は、実施の形態１におけるステップＳ８と同様であり、補正前の一連番号の座標に対応した画像変換後の座標を求めた後、当該座標に対応した変換後画像の領域から一連番号と見なせる連結領域を検出し、当該連結領域の位置座標を一連番号の座標とする。
【００４２】
以降のステップＴ６〜Ｔ１１は実施の形態１におけるステップＳ３〜Ｓ８と同様であり、傾き量計測手段３が一連番号の傾き量を求め（ステップＴ６）、傾き量算式決定手段４がナンバープレート内における傾き量と位置座標との関係式を求める（ステップＴ７）。さらに歪み補正手段５が、ナンバープレート左右端の位置・傾き量を推定し（ステップＴ８）、歪み補正の基準位置を決定し（ステップＴ９）、台形を長方形とする画像変換を行って（ステップＴ１０）、この画像変換に伴う一連番号の位置座標のずれを補正する（ステップＴ１１）。
【００４３】
その後、歪み補正手段５は、歪み補正後画像を水平方向に拡大・縮小する（ステップＴ１２）。これは前述の撮像倍率の不均一性を補正するために行うものであり、大きく写っている部分を縮小すると共に、小さく写っている部分を拡大し、全体として同等の倍率になるようにする。ナンバープレートは横長の形状であるため、垂直方向よりも水平方向の方が撮像倍率の不均一性は大きく、従って拡大・縮小は水平方向に行う。実現方法としては、例えば、実施の形態１で説明したナンバープレートの様式情報に基づいて隣接する一連番号間の水平方向距離の標準値をあらかじめ定めておき、画像中の距離と当該標準値との比率に基づいて拡大・縮小する。この動作を図１６で説明する。図１６において、例えば、プレート領域画像４１における水平方向距離４６が３０画素、水平方向距離４７が４２画素、水平方向距離４８が２４画素であったとする。前記水平方向距離の標準値として、一連番号１桁目と２桁目の中心間を２７画素、２桁目と３桁目の中心間を４２画素、３桁目と４桁目の中心間を２７画素と定めておいた場合、Ｘ座標４２より左側の領域とＸ座標４２〜４３の領域は約０．９倍（２７÷３０）に縮小し、Ｘ座標４３〜４４の領域は標準値に一致するので拡大・縮小せず、Ｘ座標４４〜４５の領域とＸ座標４５より右側の領域は約１．１倍（２７÷２４）に拡大する。
【００４４】
さらに歪み補正手段５は、ステップＴ１１で補正した一連番号の位置座標を、ステップＴ１２で拡大・縮小した後の画像に合わせて、再度補正する（ステップＴ１３）。水平方向の拡大・縮小では斜めに傾ける画像変換は行われないので、本ステップの座標補正では、画像から連結領域を検出するような動作は必要なく、補正前の一連番号の座標値と拡大・縮小の比率から計算により求められる。最後に、ナンバープレート認識手段６が、実施の形態1と同様に、歪み補正後の画像を対象として、一連番号以外の文字の検出と、全文字の認識を行う（ステップＴ１４）。
【００４５】
この実施の形態では、以上の工程を経ることで、画像中のナンバープレートに垂直方向の大きな傾きが加わっている場合でも、垂直方向の歪み補正を行うようにしたので、台形状の領域を適正に長方形に補正でき、当該ナンバープレートの文字をより確実に読み取ることができる。
【００４６】
また、歪み補正の後に、例えば、ナンバープレート内の文字の間隔に基づいて、水平方向の拡大・縮小を行うことで、ナンバープレート内の撮像倍率の不均一性を補正でき、至近距離から斜めに撮った画像のナンバープレートも読み取ることができる。
【００４７】
なお、本実施の形態では、垂直方向歪み補正を行った後の画像に対して台形→長方形変換を行ったが、この両方の画像変換を同時に行うようにしても良い。また、垂直方向の傾き量計測と画像変換の方法として、一連番号の中心位置を結ぶ直線の傾きを垂直方向の傾きとし、この直線が水平になるように画像変換する方法を用いたが、これは別の方法でも良く、例えば、特開２００２−７９６１号公報の図２及びｐｐ．５−６に記載の補正方法を用いても良い。この方法を用いれば、プレートの上辺と下辺が平行でない画像が入力された場合でも、上辺と下辺の両方が水平になるように変換できる。また、水平方向の拡大・縮小において、ナンバープレート領域を三つの部分に分け、それぞれ異なる倍率で拡大・縮小したが、これはもっと多くの部分に分けても良い。
【００４８】
実施の形態３．
以下、この発明の実施の形態３について説明する。
概略構成図は実施の形態１と同じく図１である。ただし、傾き量計測手段３は、入力画像内の文字の傾き量に加え、文字が所定プレート上に配置された入力画像から、当該入力画像内の所定プレートの左辺部分と右辺部分の傾き量を求めるように構成されている。ここでは、ナンバープレートの左辺部分と右辺部分の傾き量を求める。また、傾き量算式決定手段４は、文字の傾き量とその文字の位置座標に加え、前記所定プレートの左辺部分と右辺部分の傾き量とその左辺部分と右辺部分の位置座標から、位置座標と傾き量との関係を表す関係式を求めるように構成されている。ここでは、一連番号とナンバープレート左辺・右辺の位置座標と傾き量から、ナンバープレート内における傾き量と位置座標との関係式を求める。
【００４９】
次に、図３と図１７から図１９を用いて動作を説明する。
図１７は、本実施の形態の処理の流れを示す処理フロー図である。図１８は、傾き量計測手段３が処理対象とするナンバープレート左辺部分と右辺部分を説明するための説明図であり、４９が左辺の検出対象領域、５０が右辺の検出対象領域である。図１９は、傾き量算式決定手段４の動作を説明するための説明図であり、５１がナンバープレート左辺のX座標と傾き量を示す点、５２がナンバープレート右辺のX座標と傾き量を示す点、５３が近似直線である。
【００５０】
まず、実施の形態１におけるステップＳ１〜Ｓ３と同様に、画像入力手段１が画像を入力し（ステップＵ１）、ナンバープレート検出手段２が入力画像中のナンバープレートを検出し（ステップＵ２）、傾き量計測手段３が一連番号の各パターンの傾き量を求める（ステップＵ３）。
【００５１】
その後、傾き量計測手段３は、入力画像からナンバープレートの左辺と右辺を検出すると共に、その傾き量を計測する（ステップＵ４）。まず、ナンバープレートの左辺と右辺の大まかな位置は、実施の形態１における式４と式５で計算できるので、この位置を中心とした所定サイズの領域を左辺・右辺の検出対象領域とする。例えば、図３の入力画像８については、図１８の破線枠４９が左辺の検出対象領域、破線枠５０が右辺の検出対象領域となる。この検出対象領域から左辺・右辺を検出する方法としては、例えば、電子情報通信学会論文誌 Ｖｏｌ．Ｊ７０−Ｄ Ｎｏ．７ ｐｐ．１３８３−１３８９ 「ピラミッド階層化高速ハフ変換を用いたナンバプレート領域抽出」の６．１節に記載された垂直線の抽出法を用いる。これは、ナンバープレートの左辺と右辺を直線として検出するもので、この方法により、左辺・右辺の位置と傾き量が得られる。
【００５２】
そして、傾き量算式決定手段４は、一連番号とナンバープレート左辺・右辺の位置座標と傾き量から、ナンバープレート内における傾き量と位置座標との関係式を求める（ステップＵ５）。この実現方法としては、例えば、実施の形態１と同様に、関係式を１次式として定数を求める。これは、図１９に示すように、各一連番号の中心X座標と傾き量を示す点２６〜２９に、さらに左辺のＸ座標と傾き量を表わす点５１と、右辺のＸ座標と傾き量を表わす点５２を加えて、近似直線５３を求めることに相当する。用いる点の数が増えることで、より精度の良い関係式が求められる。また、例えばステップＵ２で一連番号４桁のうち１桁しか検出できなかった場合、一連番号の情報だけでは関係式を求めることができないが、左辺と右辺の情報を加えることで、関係式が求められるようになる。
【００５３】
以降のステップＵ６〜Ｕ１０は実施の形態１におけるステップＳ５〜Ｓ９と同一であり、歪み補正手段５が、ナンバープレート左右端の位置・傾き量を推定し（ステップＵ６）、歪み補正の基準位置を決定し（ステップＵ７）、台形を長方形とする画像変換を行い（ステップＵ８）、この画像変換に伴う一連番号の位置座標のずれを補正して（ステップＵ９）、最後にナンバープレート認識手段６が文字検出・認識を行う（ステップＵ１０）。
【００５４】
この実施の形態では、以上の工程を経ることで、一連番号とナンバープレート左辺・右辺の位置座標と傾き量から、ナンバープレート内における傾き量と位置座標との関係式を求めるようにしたので、ナンバープレート内における傾き量と位置座標との関係式がより精度良く求められると共に、一連番号の多くが検出できなかった場合でも、適正に歪み補正が行える。
【００５５】
実施の形態４．
以下、この発明の実施の形態４について説明する。
概略構成図は実施の形態１と同じく図１である。ただし、傾き量算式決定手段４は、平行四辺形状の歪みに対応した関係式と、台形状の歪みに対応した関係式の二つを求めた後、所定の評価基準に従ってどちらかを選択するように構成されている。
【００５６】
次に、図２０から図２２を用いて動作を説明する。
図２０は、本実施の形態の処理の流れを示す処理フロー図である。図２１と図２２は、傾き量算式決定手段４の動作を説明するための説明図であり、５４〜５７が一連番号中心位置のX座標と傾き量を示す点、５８が台形→長方形変換に対応した関係式を示す直線、５９が平行四辺形→長方形変換に対応した関係式を示す直線である。
【００５７】
まず、実施の形態１におけるステップＳ１〜Ｓ３と同様に、画像入力手段１が画像を入力し（ステップＶ１）、ナンバープレート検出手段２が入力画像中のナンバープレートを検出し（ステップＶ２）、傾き量計測手段３が一連番号の各パターンの傾き量を求める（ステップＶ３）。そして、傾き量算式決定手段４が、一連番号の位置座標と傾き量から、ナンバープレート内における傾き量と位置座標との関係式を推定する（ステップＶ４）。この推定では、実施の形態１におけるステップＳ４の方法で求める関係式（以下、これを台形対応関係式と呼ぶ）と、ナンバープレートが平行四辺形状に歪んでいることを仮定した関係式（以下、これを平行四辺形対応関係式と呼ぶ）の二つを求める。平行四辺形状の歪みの場合は、位置座標にかかわらず傾き量が一定となるので、平行四辺形対応関係式は例えば下記の式１０で表わせる。この関係式を図で表現したものが図２１と図２２であり、一連番号の中心位置のX座標と傾き量を示す点５４〜５７から求めた台形対応関係式を求めると図２１の直線５８となり、平行四辺形対応関係式を求めると図２２の直線５９となる。
【００５８】
ｍ＝ｃ … （式１０）
【００５９】
ただし、ｍは傾き量、ｃは定数。ｃは、例えば、各一連番号から求めた傾き量を平均して求める
【００６０】
次に、傾き量算式決定手段４は、所定の評価基準に従ってステップＶ４で求めた二つの関係式のどちらかを選択する（ステップＶ５）。本実施の形態では、式１１と式１２で関係式の評価値を求め、この評価値が小さい方を選択するものとする。
【００６１】
ＥＶ１＝ＥＲ１ … （式１１）
ＥＶ２＝ＥＲ２−ｄ … （式１２）
【００６２】
ただし、ＥＶ１は台形対応関係式の評価値、ＥＶ２は平行四辺形対応関係式の評価値、ｄは調整用の定数である。また、ＥＲ１とＥＲ２は関係式の当てはまり度合いを示す誤差値であり、例えば、ＥＲ１は図２１における点５４〜５７のそれぞれと直線５８との垂直距離の２乗和、ＥＲ２は図２２における点５４〜５７のそれぞれと直線５９との垂直距離の２乗和である。
【００６３】
台形対応関係式は、台形状の歪みに対応できるものの、一連番号から求めた傾き量の誤差が大きい場合は、かえって悪影響を及ぼす可能性がある。一方、平行四辺形対応関係式は、平行四辺形状の歪みにしか対応できないが、一連番号すべてから一つの傾き量を求めれば良いので、台形対応関係式に比べて入力値の誤差に対する耐性が強い。ステップＶ５における関係式の選択は、この両者の良いところを取り入れるために行うもので、入力画像におけるナンバープレートが平行四辺形に近い形状であれば、誤差の影響を受けにくい平行四辺形対応関係式を選択し、平行四辺形からかけ離れた形状なら台形対応関係式を選択することになる。
【００６４】
以降のステップＶ６〜Ｖ１０は、ステップＶ５で選択した関係式を使うことを除き、実施の形態１におけるステップＳ５〜Ｓ９と同一であり、歪み補正手段５が、ナンバープレート左右端の位置・傾き量を推定し（ステップＶ６）、歪み補正の基準位置を決定し（ステップＶ７）、台形を長方形とする画像変換を行い（ステップＶ８）、この画像変換に伴う一連番号の位置座標のずれを補正して（ステップＶ９）、最後にナンバープレート認識手段６が文字検出・認識を行う（ステップＶ１０）。なお、ステップＶ８では常に台形を長方形とする画像変換が行われることになるが、平行四辺形は台形に含まれるので、同じ処理で台形対応関係式にも平行四辺形対応関係式にも対応でき、問題ない。
【００６５】
この実施の形態では、以上の工程を経ることで、平行四辺形状の歪みに対応した関係式と、台形状の歪みに対応した関係式の二つを求めた後、所定の評価基準に従ってどちらかを選択するようにしたので、平行四辺形の歪みを安定して補正できると同時に、台形の歪みも補正することができ、歪みの形状によらず、ナンバープレートの文字を確実に読み取ることができる。
【００６６】
なお、本実施の形態では、関係式の評価値として式１１と式１２を用いたが、これは両者を比較できるものなら、別の式を用いても良い。
【００６７】
なお、実施の形態１〜４では、普通自動車のナンバープレートを読み取る場合で説明したが、これは、プレート上に刻印または印刷された文字の大きさ・配置などの様式情報が定められたプレートであれば、普通自動車以外のナンバープレートでも良く、あるいは、他のプレートでも良い。また、実施の形態１〜４の各構成を適宜組み合わせて用いても良い。
【図面の簡単な説明】
【００６８】
【図１】実施の形態１、３、４による文字読取装置の構成を示す概略構成図である。
【図２】実施の形態１の処理の流れを示す処理フロー図である。
【図３】入力画像の例を示す説明図である。
【図４】一連番号のパターンに所定の傾きを加えた例を示す説明図である。
【図５】各一連番号の傾き量の計測方法を説明するための説明図である。
【図６】各一連番号の傾き量の計測方法を説明するための説明図である。
【図７】傾き量算式決定手段４の動作を説明するための説明図である。
【図８】歪み補正手段５の動作を説明するための説明図である。
【図９】歪み補正手段５の動作を説明するための説明図である。
【図１０】歪み補正手段５の処理結果を示す説明図である。
【図１１】実施の形態２による文字読取装置の構成を示す概略構成図である。
【図１２】実施の形態２の処理の流れを示す処理フロー図である。
【図１３】ナンバープレートが垂直方向に傾いている入力画像の例を示す説明図である。
【図１４】垂直方向歪み補正手段７の動作を説明するための説明図である。
【図１５】垂直方向歪み補正手段７の動作を説明するための説明図である。
【図１６】歪み補正手段５の水平方向拡大・縮小の動作を説明するための説明図である。
【図１７】実施の形態３の処理の流れを示す処理フロー図である。
【図１８】ナンバープレート左辺部分と右辺部分を説明するための説明図である。
【図１９】傾き量算式決定手段４の動作を説明するための説明図である。
【図２０】実施の形態４の処理の流れを示す処理フロー図である。
【図２１】傾き量算式決定手段４の動作を説明するための説明図である。
【図２２】傾き量算式決定手段４の動作を説明するための説明図である。
【符号の説明】
【００６９】
１ 画像入力手段、２ ナンバープレート検出手段、３ 傾き量計測手段、４ 傾き量算式決定手段、５ 歪み補正手段、６ ナンバープレート認識手段、７ 垂直方向歪み補正手段。
【特許請求の範囲】
【請求項１】
入力画像内の文字の傾き量を求める傾き量計測手段と、
前記傾き量計測手段の求めた文字の傾き量とその文字の位置座標から、位置座標と傾き量との関係を表す関係式を求める傾き量算式決定手段と、
前記傾き量算式決定手段の求めた関係式に基づいて台形状の領域を求め、当該台形状の領域を長方形に変換する歪み補正手段と、
前記歪み補正手段の補正した領域の画像から文字パターンを抽出して認識する文字認識手段と
を備えたことを特徴とする文字読取装置。
【請求項２】
垂直方向の歪み補正を行う垂直方向歪み補正手段を備え、
前記傾き量計測手段は、前記垂直方向歪み補正手段が垂直方向の歪み補正を行った入力画像内の文字の傾き量を求めるように構成されたことを特徴とする請求項１に記載の文字読取装置。
【請求項３】
前記歪み補正手段は、台形状の領域を長方形に変換した後、水平方向に拡大・縮小するように構成されたことを特徴とする請求項１に記載の文字読取装置。
【請求項４】
前記傾き量計測手段は、入力画像内の文字の傾き量に加え、文字が所定プレート上に配置された入力画像から、当該入力画像内の所定プレートの左辺部分と右辺部分の傾き量を求め、
前記傾き量算式決定手段は、文字の傾き量とその文字の位置座標に加え、前記所定プレートの左辺部分と右辺部分の傾き量とその左辺部分と右辺部分の位置座標から、位置座標と傾き量との関係を表す関係式を求めるように構成されたことを特徴とする請求項１に記載の文字読取装置。
【請求項５】
前記傾き量算式決定手段は、平行四辺形状の歪みに対応した関係式と、台形状の歪みに対応した関係式の二つを求めた後、所定の評価基準に従ってどちらかを選択するように構成されたことを特徴とする請求項１に記載の文字読取装置。
【請求項１】
入力画像内の文字の傾き量を求める傾き量計測手段と、
前記傾き量計測手段の求めた文字の傾き量とその文字の位置座標から、位置座標と傾き量との関係を表す関係式を求める傾き量算式決定手段と、
前記傾き量算式決定手段の求めた関係式に基づいて台形状の領域を求め、当該台形状の領域を長方形に変換する歪み補正手段と、
前記歪み補正手段の補正した領域の画像から文字パターンを抽出して認識する文字認識手段と
を備えたことを特徴とする文字読取装置。
【請求項２】
垂直方向の歪み補正を行う垂直方向歪み補正手段を備え、
前記傾き量計測手段は、前記垂直方向歪み補正手段が垂直方向の歪み補正を行った入力画像内の文字の傾き量を求めるように構成されたことを特徴とする請求項１に記載の文字読取装置。
【請求項３】
前記歪み補正手段は、台形状の領域を長方形に変換した後、水平方向に拡大・縮小するように構成されたことを特徴とする請求項１に記載の文字読取装置。
【請求項４】
前記傾き量計測手段は、入力画像内の文字の傾き量に加え、文字が所定プレート上に配置された入力画像から、当該入力画像内の所定プレートの左辺部分と右辺部分の傾き量を求め、
前記傾き量算式決定手段は、文字の傾き量とその文字の位置座標に加え、前記所定プレートの左辺部分と右辺部分の傾き量とその左辺部分と右辺部分の位置座標から、位置座標と傾き量との関係を表す関係式を求めるように構成されたことを特徴とする請求項１に記載の文字読取装置。
【請求項５】
前記傾き量算式決定手段は、平行四辺形状の歪みに対応した関係式と、台形状の歪みに対応した関係式の二つを求めた後、所定の評価基準に従ってどちらかを選択するように構成されたことを特徴とする請求項１に記載の文字読取装置。
【図１】
【図２】
【図３】
【図４】
【図５】
【図６】
【図７】
【図８】
【図９】
【図１０】
【図１１】
【図１２】
【図１３】
【図１４】
【図１５】
【図１６】
【図１７】
【図１８】
【図１９】
【図２０】
【図２１】
【図２２】
【図２】
【図３】
【図４】
【図５】
【図６】
【図７】
【図８】
【図９】
【図１０】
【図１１】
【図１２】
【図１３】
【図１４】
【図１５】
【図１６】
【図１７】
【図１８】
【図１９】
【図２０】
【図２１】
【図２２】
【公開番号】特開２００７−１７２２２７（Ｐ２００７−１７２２２７Ａ）
【公開日】平成１９年７月５日（２００７．７．５）
【国際特許分類】
【出願番号】特願２００５−３６８００４（Ｐ２００５−３６８００４）
【出願日】平成１７年１２月２１日（２００５．１２．２１）
【出願人】（０００００６０１３）三菱電機株式会社 (33,312)
【Ｆターム（参考）】
【公開日】平成１９年７月５日（２００７．７．５）
【国際特許分類】
【出願日】平成１７年１２月２１日（２００５．１２．２１）
【出願人】（０００００６０１３）三菱電機株式会社 (33,312)
【Ｆターム（参考）】
[ Back to top ]