ナンバプレート認識方法およびナンバプレート認識装置
【課題】屋外に設置された場合において外光の影響を低減でき、ナンバプレート上の文字を精度よく認識することができるナンバプレート認識方法およびナンバプレート認識装置を提供する。
【解決手段】車両から取得したナンバプレートを含む画像を閾値で２値化して文字部分の座標を抽出し、抽出した文字部分の座標および車種情報に基づきナンバプレート上の文字が存在する領域を推定し、推定した文字存在領域内に影が存在するか否かを検出し、影が存在する場合、上記閾値とは異なる閾値を決定し、上記推定した文字存在領域内において、上記決定した閾値で２値化することで文字候補ラベルを抽出し、複数の文字候補ラベルが抽出された場合、当該複数の文字候補ラベルを統合し、統合した文字候補ラベルに対し文字認識処理を行なう。
【解決手段】車両から取得したナンバプレートを含む画像を閾値で２値化して文字部分の座標を抽出し、抽出した文字部分の座標および車種情報に基づきナンバプレート上の文字が存在する領域を推定し、推定した文字存在領域内に影が存在するか否かを検出し、影が存在する場合、上記閾値とは異なる閾値を決定し、上記推定した文字存在領域内において、上記決定した閾値で２値化することで文字候補ラベルを抽出し、複数の文字候補ラベルが抽出された場合、当該複数の文字候補ラベルを統合し、統合した文字候補ラベルに対し文字認識処理を行なう。
【発明の詳細な説明】
【技術分野】
【０００１】
本発明は、たとえば、道路を走行する車両に装着されたナンバプレートを撮像することにより、ナンバプレート上に記載された文字を認識するナンバプレート認識方法およびナンバプレート認識装置に関する。
【背景技術】
【０００２】
一般に、この種のナンバプレート認識装置にあっては、カメラを用いて車両から少なくともナンバプレートを含む画像を撮像し、この撮像した車両の画像を所定の閾値で２値化し、この２値化された画像からナンバプレート領域の画像を抽出し、この抽出したナンバプレート領域の画像に対して文字の切出しや文字認識、単語認識などを行なっている。
【０００３】
このようなナンバプレート認識装置が屋外に設置された場合、たとえば、車両のナンバプレートに対し、鮮明にその文字情報を読取るためには、ナンバプレートに対する物体の影や光反射による輝度情報の変化に応じて、前処理（２値化）パラメータ（閾値）を適切に設定する必要がある。
【０００４】
この方法として、背景の輝度の変化を２次曲面で近似し、前述の関数で取得した輝度との差分を使用して文字のラベル情報を取得する方法も効果的と考えられる。しかし、対象をナンバプレートに限定した場合においては、影のかかる典型例を列挙し、その問題を限定して解いた方が性能確保には効果的であり、計算コストも少なく抑えられると考えられる。
【０００５】
このような問題を解決するものとして、ナンバプレートを含む車両の画像を２値化し、この２値化された画像から文字候補を抽出し、この文字候補の水平および垂直投影像からナンバプレート領域を特定し、ナンバプレート領域内のみにて車両の画像より再度２値化を行なうことでナンバプレート領域を抽出するようにした技術が公知である（たとえば、特許文献１参照）。
【特許文献１】特開２０００−３５７２８７号公報
【発明の開示】
【発明が解決しようとする課題】
【０００６】
一般に、屋外設置のカメラを使用してナンバプレートの認識を行なう際に問題となるのは、照度環境によって影の問題を解決する必要がある。たとえば、ナンバプレートの認識については、ナンバプレートの設置箇所が車両の車体中央とは限らず、特に大型車では車両の陰に隠れて設置されているケースが多い。そのような場合においては、太陽光と対象物と遮蔽物との位置関係によって影の問題が避けられない。
【０００７】
具体的にいうと、ナンバプレートが車体の陰に隠れている場合においては、太陽の位置（緯度、照射方向）の影響をもろに受けてしまい、輝度情報に大きな変化が起こり、ナンバプレート領域のある部分は、直射光の影響を受けて輝度が高くなるものの、残りの部分については影が付いて輝度が低く抑えられてしまう。
【０００８】
よくあるケースとしては、陸運支局名の部分が影で隠れてしまうケースが多発し、そのため解像度としても抑えられてしまうため、文字認識性能が大きく劣化してしまう現象が容易に起こり得る。
【０００９】
したがって、照度や対象物によらず安定して認識することが難しい。要約すると、太陽光については緯度や方向が時間ごとに変化し、車両のナンバプレート設置位置により、照明と対象物の位置関係が変化するため、その結果として画像に現れる輝度情報の中から対象文字を正確に抽出することが困難となる。
【００１０】
そこで、本発明は、屋外に設置された場合において外光の影響を低減でき、ナンバプレート上の文字を精度よく認識することができるナンバプレート認識方法およびナンバプレート認識装置を提供することを目的とする。
【課題を解決するための手段】
【００１１】
本発明のナンバプレート認識方法は、車両から少なくともナンバプレートを含む画像を取得する第１のステップと、この第１のステップにより取得された画像を所定の閾値で２値化し、この２値化された画像から文字部分の座標を抽出する第２のステップと、この第２のステップにより抽出された文字部分の座標および車種情報に基づき、前記ナンバプレート上の陸運支局名、用途コード、分類番号等を示す文字が存在する領域を推定する第３のステップと、この第３のステップにより推定された文字存在領域内に影が存在するか否かを検出する第４のステップと、この第４のステップにより文字存在領域内に影が存在すると検出された場合、前記第２のステップで用いた閾値とは異なる閾値を決定する第５のステップと、前記第３のステップにより推定された文字存在領域内において、前記第５のステップにより決定された閾値で２値化することにより文字候補ラベルを抽出する第６のステップと、この第６のステップにより複数の文字候補ラベルが抽出された場合、当該複数の文字候補ラベルを統合する第７のステップと、この第７のステップにより統合された文字候補ラベルに対し文字認識処理を行なう第８のステップとを具備している。
【００１２】
また、本発明のナンバプレート認識装置は、車両から少なくともナンバプレートを含む画像を取得する画像取得手段と、この画像取得手段により取得された画像を所定の閾値で２値化し、この２値化された画像から文字部分の座標を抽出する文字部分抽出手段と、この文字部分抽出手段により抽出された文字部分の座標および車種情報に基づき、前記ナンバプレート上の陸運支局名、用途コード、分類番号等を示す文字が存在する領域を推定する文字存在領域推定手段と、この文字存在領域推定手段により推定された文字存在領域内に影が存在するか否かを検出する影検出手段と、この影検出手段により文字存在領域内に影が存在すると検出された場合、前記文字部分抽出手段で用いた閾値とは異なる閾値を決定する閾値決定手段と、前記文字存在領域推定手段により推定された文字存在領域内において、前記閾値決定手段により決定された閾値で２値化することにより文字候補ラベルを抽出する文字候補ラベル抽出手段と、この文字候補ラベル抽出手段により複数の文字候補ラベルが抽出された場合、当該複数の文字候補ラベルを統合する文字候補ラベル統合手段と、この文字候補ラベル統合手段により統合された文字候補ラベルに対し文字認識処理を行なう文字認識手段とを具備している
【発明の効果】
【００１３】
本発明によれば、屋外に設置された場合において外光の影響を低減でき、ナンバプレート上の文字を精度よく認識することができるナンバプレート認識方法およびナンバプレート認識装置を提供できる。
【発明を実施するための最良の形態】
【００１４】
以下、本発明の実施の形態について図面を参照して説明する。
図１は、本発明に係るナンバプレート認識装置の構成を模式的に示すものである。このナンバプレート認識装置は、道路を走行する車両１１から少なくともナンバプレート１２（図１では図示せず）を含む画像を撮像する画像取得手段としてのカメラ１３、および、カメラ１３から得られる画像を処理することによりナンバプレート１２上の文字を認識する画像処理部１４を有して構成される。
【００１５】
カメラ１２は、たとえば、道路を走行する車両１１の前方から少なくともナンバプレート１２を含む画像を撮像するもので、ビデオカメラ（以降、単にカメラと略称する）および被写体を照明する照明装置などから構成される。
【００１６】
カメラ１２は、あらかじめピント調整がなされている距離において、車両１１が所定の位置に進入した時点でナンバプレート１２を含む画像を撮像する。この際、動きぶれ等の問題を解消した複数枚の画像を取得することも考えられる。なお、ナンバプレート１２上の文字のサイズは、あらかじめ想定されているサイズであるとする。また、ナンバプレート１２上の文字部の輝度変化については、画像の量子化によって埋もれていないことを前提とする。
【００１７】
画像処理部１４は、たとえば、ＣＰＵ（セントラル・プロセッシング・ユニット）などを主体に構成されていて、カメラ１３から得られる画像に対し、たとえば、ノイズ成分を低減する目的でガウスフィルタ処理あるいは照度の偏りを低減する処理（ＳｅｌｆＱｕｏｔｉｅｎｔＦｉｌｔｅｒ）等の前処理を行なった後、後述するような画像処理を行なうことによりナンバプレート１２上の文字を認識するもので、その詳細は以下に説明する。
【００１８】
次に、このような構成において、本発明の第１の実施の形態に係るナンバプレート認識処理について図２に示すフローチャートを参照して説明する。
第１の実施の形態は、たとえば、図３に示すように、ナンバプレート１２の上端にのみ影１５がかかっていて、陸運支局名部の全体または一部分が覆われている場合の認識処理である。
【００１９】
まず、カメラ１２は、道路を走行する車両１１の前方から少なくともナンバプレート１２を含む画像を撮像し、入力する（ステップＳ１）。次に、ステップＳ１で入力された車両１１の画像を所定の閾値で２値化し、この２値化された画像からナンバプレート１２の一連番号部分の座標を抽出する（ステップＳ２）。
なお、入力画像から、一連番号部分を抽出する処理については、たとえば、４桁の文字スコアおよび間隔を事後確率を考慮して抽出する方法等が知られている。
【００２０】
次に、ステップＳ２で抽出された一連番号部分の座標および車種情報に基づき、ナンバプレートの陸運支局名、用途コード、分類番号等を示す文字が存在する領域を推定し、座標推定値を取得する（ステップＳ３）。
【００２１】
次に、ステップＳ３で取得された座標推定値で推定される文字存在領域内に影が存在するか否かを検出する（ステップＳ４）。すなわち、一連番号部分の位置および車種に関する情報が決まっている場合においては、陸運支局名や分類番号等の位置情報が取得できる。そこで、上記影検出処理においては、上記文字存在領域を着目領域として、たとえば、陸運支局名部と一連番号部の輝度ヒストグラムの分布により、背景／文字部分の輝度の相違を影として検出する。
【００２２】
次に、ステップＳ４で文字存在領域（着目領域）内に影が存在すると検出された場合、ステップＳ２で用いた閾値とは異なる閾値（３値化含む）を決定する（ステップＳ５）。次に、ステップＳ３で推定された文字存在領域内において、ステップＳ５で決定された閾値で２値化することにより文字候補ラベルを抽出する（ステップＳ６）。
【００２３】
次に、ステップＳ６で複数の文字候補ラベルが抽出された場合、当該複数の文字候補ラベルを統合する（ステップＳ７）。
陸運支局名等の着目領域内に影が存在する場合においては、その着目領域内において新たな閾値を設定して再び２値化処理を行ない、文字候補連結画素ラベル（文字候補ラベル）が単数の閾値で取得できる場合は、そのまま文字認識処理へと進み、複数の閾値でないと取得できない場合は、その処理により得られた複数の文字候補連結画素ラベルを候補とし、これら複数の文字候補連結画素ラベルを統合する。
【００２４】
次に、ステップＳ７で統合された文字候補連結画素ラベルに対し文字認識処理を行ない、その後、陸運支局名等の単語認識処理を行なう（ステップＳ８）。次に、ステップＳ８における認識処理の結果を統合し（ステップＳ９）、処理を終了する。
【００２５】
なお、影のかかり方が陸運支局名部の全体または一部分を覆う場合によって、文字候補連結画素ラベルの統合処理が必要となる。複数の文字候補連結画素ラベルを統合する必要のない単純なケースにおいては、ラベル統合処理の必要なしの特殊形として操作することも可能である。
【００２６】
以上の処理により、車両を撮像するカメラ１３を屋外に設置した場合で、日照条件の影響により影のかかったナンバプレート上の輝度の変化に適応することが可能となり、認識対象位置の周辺の輝度ヒストグラムを適切に処理してナンバプレート上の文字を精度よく抽出し認識することが可能となる。
【００２７】
次に、本発明の第２の実施の形態に係るナンバプレート認識処理について図４に示すフローチャートを参照して説明する。
第２の実施の形態は、たとえば、図５に示すように、ナンバプレート１２上の一連番号部分の情報のみ取得でき、陸運支局名部等の車種に関する情報の全体が影１６，１７で覆われていて不明である場合の認識処理である。
【００２８】
まず、カメラ１２は、道路を走行する車両１１の前方から少なくともナンバプレート１２を含む画像を撮像し、入力する（ステップＳ１１）。次に、ステップＳ１１で入力された車両１１の画像を所定の閾値で２値化し、この２値化された画像からナンバプレート１２の一連番号部分の座標を抽出する（ステップＳ１２）。
次に、ステップＳ２で抽出された一連番号部分の座標と、あらかじめ車種情報が格納されている車種テンプレートデータベースに基づき、たとえば、ナンバプレートの大板、中板、小板（つまり車種）ごとに、ナンバプレートの陸運支局名、用途コード、分類番号等を示す文字が存在する領域を推定し、座標推定値を取得する（ステップＳ１３）。
【００２９】
次に、ステップＳ１３で取得された座標推定値で推定される大板の文字存在領域内に影が存在するか否かを検出する（ステップＳ１４）。次に、ステップＳ１４で文字存在領域（着目領域）内に影が存在すると検出された場合、ステップＳ１２で用いた閾値とは異なる閾値を車種ごとに決定する（ステップＳ１５）。
【００３０】
次に、ステップＳ１３で推定された大板の文字存在領域内において、ステップＳ１５で決定された閾値で３値化することにより文字候補連結画素ラベルを抽出する（ステップＳ１６，Ｓ１７）。
【００３１】
すなわち、ステップＳ１３の時点では、どの領域に文字が含まれているかが不鮮明であるため、影の中に文字の輝度が含まれていることを前提として、文字候補連結画素ラベルが取得できるよう、一連番号部分を取得した際とは異なる新たな閾値を設定して、その領域について文字候補連結画素ラベルの抽出を行なう。
【００３２】
次に、ステップＳ１７で抽出された文字候補連結画素ラベルに対し文字認識処理を行ない、その後、陸運支局名等の単語認識処理を行なう（ステップＳ１８）。
【００３３】
以上のステップＳ１３〜Ｓ１８の処理を繰返すことにより、次に中板について行ない、それが終了すると再度同様な処理を繰返すことにより小板について行なう。
次に、ステップＳ１８における大板、中板、小板（車種）ごとの認識処理の結果を統合し（ステップＳ１９）、その統合結果から適正な処理結果と思われる車種を判定して車種情報を出力し（ステップＳ２０）、処理を終了する。
【００３４】
なお、車種テンプレートデータベースから認識位置（着目領域）を考慮すると、文字のラベル以外のものを統合して認識してしまう誤認識を防ぐことも可能となる。具体的には、ナンバプレート１２が車両１１の車体の陰に隠れてしまっている例においては、着目領域においていかに閾値を設定しても文字候補連結画素ラベルは出てこないため、リジェクトすべき対象についての信頼度を高める結果となり、陰の影響で文字候補連結画素ラベルが抽出できないのか、それとは別の遮蔽物に文字情報が隠れてしまっているのかを正確に判別することが可能となる。
【００３５】
以上の処理により、車両を撮像するカメラ１３を屋外に設置した場合で、日照条件の影響により影のかかったナンバプレート、あるいは、輝度変化が顕著で車種の情報も不鮮明である状況下においても適応することが可能となり、認識対象位置の周辺の輝度ヒストグラムを適切に処理してナンバプレート上の文字を精度よく抽出し認識することが可能となる。
【００３６】
次に、本発明の第３の実施の形態に係るナンバプレート認識処理について図６に示すフローチャートを参照して説明する。
第３の実施の形態は、たとえば、図７に示すように、ナンバプレート１２上の文字部の一部または文字部全体が縦方向の影または遮蔽物１８，１９，２０で覆われている場合であり、特に車体周辺の影に隠れるというよりは、別の要因でナンバプレート１２の一部を覆ってしまう場合の認識処理である。
【００３７】
まず、カメラ１２は、道路を走行する車両１１の前方から少なくともナンバプレート１２を含む画像を撮像し、入力する（ステップＳ２１）。次に、ステップＳ２１で入力された車両１１の画像を所定の閾値で２値化し、この２値化された画像からナンバプレート１２の一連番号部分の座標を抽出する（ステップＳ２２）。
次に、ステップＳ２２で抽出された一連番号部分の座標および車種情報に基づき、ナンバプレートの陸運支局名、用途コード、分類番号等を示す文字が存在する領域を推定し、座標推定値を取得する（ステップＳ２３）。
【００３８】
次に、ステップＳ２３で取得された座標推定値で推定される文字存在領域内に影が存在するか否かを検出する（ステップＳ２４）。次に、ステップＳ２４で文字存在領域（着目領域）内に影が存在すると検出された場合、その影の方向と位置を検出する（ステップＳ２５）。
具体的には、たとえば、ナンバプレート１２の背景の輝度分布を抽出し、輝度勾配等を測定することで影の方向と位置を検出する。
【００３９】
次に、ステップＳ２３で推定された文字存在領域内のステップＳ２５で検出された影と位置の方向において、ステップＳ２２で用いた閾値とは異なる閾値を決定し、この決定された閾値で３値化することにより文字候補ラベルを抽出する（ステップＳ２６，Ｓ２７）。
【００４０】
次に、ステップＳ２７で複数の文字候補連結画素ラベルが抽出された場合、当該複数の文字候補連結画素ラベルを統合する（ステップＳ２８）。
次に、ステップＳ２８で統合された文字候補連結画素ラベルに対し文字認識処理を行ない、その後、陸運支局名等の単語認識処理を行なう（ステップＳ２９）。次に、ステップＳ２９における認識処理の結果を統合し（ステップＳ３０）、処理を終了する。
【００４１】
なお、影の方向が下方向に伸びるだけでなく、左右方向にも検出された場合においては、その分布から影の位置を測定し、影が検出された部分において３値化処理を別途行なうことにより、異なる閾値によって得られた文字候補連結画素ラベルを抽出し、それらを組合わせる統合処理によって、文字を構成する文字候補連結画素ラベルを生成する。
【００４２】
以上の処理により、車両を撮像するカメラ１３を屋外に設置した場合で、日照条件およびナンバプレート周辺の遮蔽物の影響により不均一に影のかかったナンバプレート上の輝度の変化に適応することが可能となり、認識対象位置の周辺の輝度ヒストグラムを適切に処理してナンバプレート上の文字を精度よく抽出し認識することが可能となる。
【図面の簡単な説明】
【００４３】
【図１】本発明に係るナンバプレート認識装置の構成を概略的に示す模式図。
【図２】本発明の第１の実施の形態に係るナンバプレート認識処理について説明するフローチャート。
【図３】ナンバプレートの上端に影がかかっている例を説明する模式図。
【図４】本発明の第２実施の形態に係るナンバプレート認識処理について説明するフローチャート。
【図５】ナンバプレート内で一連番号以外の情報が不明の場合のサンプル例を説明する模式図。
【図６】本発明の第３実施の形態に係るナンバプレート認識処理について説明するフローチャート。
【図７】ナンバプレート内の影が縦方向に部分的にかかるサンプル例を説明する模式図。
【符号の説明】
【００４４】
１１…車両、１２…ナンバプレート、１３…カメラ（画像取得手段）、１４…画像処理部、１５，１６，１７，１８，１９，２０…影。
【技術分野】
【０００１】
本発明は、たとえば、道路を走行する車両に装着されたナンバプレートを撮像することにより、ナンバプレート上に記載された文字を認識するナンバプレート認識方法およびナンバプレート認識装置に関する。
【背景技術】
【０００２】
一般に、この種のナンバプレート認識装置にあっては、カメラを用いて車両から少なくともナンバプレートを含む画像を撮像し、この撮像した車両の画像を所定の閾値で２値化し、この２値化された画像からナンバプレート領域の画像を抽出し、この抽出したナンバプレート領域の画像に対して文字の切出しや文字認識、単語認識などを行なっている。
【０００３】
このようなナンバプレート認識装置が屋外に設置された場合、たとえば、車両のナンバプレートに対し、鮮明にその文字情報を読取るためには、ナンバプレートに対する物体の影や光反射による輝度情報の変化に応じて、前処理（２値化）パラメータ（閾値）を適切に設定する必要がある。
【０００４】
この方法として、背景の輝度の変化を２次曲面で近似し、前述の関数で取得した輝度との差分を使用して文字のラベル情報を取得する方法も効果的と考えられる。しかし、対象をナンバプレートに限定した場合においては、影のかかる典型例を列挙し、その問題を限定して解いた方が性能確保には効果的であり、計算コストも少なく抑えられると考えられる。
【０００５】
このような問題を解決するものとして、ナンバプレートを含む車両の画像を２値化し、この２値化された画像から文字候補を抽出し、この文字候補の水平および垂直投影像からナンバプレート領域を特定し、ナンバプレート領域内のみにて車両の画像より再度２値化を行なうことでナンバプレート領域を抽出するようにした技術が公知である（たとえば、特許文献１参照）。
【特許文献１】特開２０００−３５７２８７号公報
【発明の開示】
【発明が解決しようとする課題】
【０００６】
一般に、屋外設置のカメラを使用してナンバプレートの認識を行なう際に問題となるのは、照度環境によって影の問題を解決する必要がある。たとえば、ナンバプレートの認識については、ナンバプレートの設置箇所が車両の車体中央とは限らず、特に大型車では車両の陰に隠れて設置されているケースが多い。そのような場合においては、太陽光と対象物と遮蔽物との位置関係によって影の問題が避けられない。
【０００７】
具体的にいうと、ナンバプレートが車体の陰に隠れている場合においては、太陽の位置（緯度、照射方向）の影響をもろに受けてしまい、輝度情報に大きな変化が起こり、ナンバプレート領域のある部分は、直射光の影響を受けて輝度が高くなるものの、残りの部分については影が付いて輝度が低く抑えられてしまう。
【０００８】
よくあるケースとしては、陸運支局名の部分が影で隠れてしまうケースが多発し、そのため解像度としても抑えられてしまうため、文字認識性能が大きく劣化してしまう現象が容易に起こり得る。
【０００９】
したがって、照度や対象物によらず安定して認識することが難しい。要約すると、太陽光については緯度や方向が時間ごとに変化し、車両のナンバプレート設置位置により、照明と対象物の位置関係が変化するため、その結果として画像に現れる輝度情報の中から対象文字を正確に抽出することが困難となる。
【００１０】
そこで、本発明は、屋外に設置された場合において外光の影響を低減でき、ナンバプレート上の文字を精度よく認識することができるナンバプレート認識方法およびナンバプレート認識装置を提供することを目的とする。
【課題を解決するための手段】
【００１１】
本発明のナンバプレート認識方法は、車両から少なくともナンバプレートを含む画像を取得する第１のステップと、この第１のステップにより取得された画像を所定の閾値で２値化し、この２値化された画像から文字部分の座標を抽出する第２のステップと、この第２のステップにより抽出された文字部分の座標および車種情報に基づき、前記ナンバプレート上の陸運支局名、用途コード、分類番号等を示す文字が存在する領域を推定する第３のステップと、この第３のステップにより推定された文字存在領域内に影が存在するか否かを検出する第４のステップと、この第４のステップにより文字存在領域内に影が存在すると検出された場合、前記第２のステップで用いた閾値とは異なる閾値を決定する第５のステップと、前記第３のステップにより推定された文字存在領域内において、前記第５のステップにより決定された閾値で２値化することにより文字候補ラベルを抽出する第６のステップと、この第６のステップにより複数の文字候補ラベルが抽出された場合、当該複数の文字候補ラベルを統合する第７のステップと、この第７のステップにより統合された文字候補ラベルに対し文字認識処理を行なう第８のステップとを具備している。
【００１２】
また、本発明のナンバプレート認識装置は、車両から少なくともナンバプレートを含む画像を取得する画像取得手段と、この画像取得手段により取得された画像を所定の閾値で２値化し、この２値化された画像から文字部分の座標を抽出する文字部分抽出手段と、この文字部分抽出手段により抽出された文字部分の座標および車種情報に基づき、前記ナンバプレート上の陸運支局名、用途コード、分類番号等を示す文字が存在する領域を推定する文字存在領域推定手段と、この文字存在領域推定手段により推定された文字存在領域内に影が存在するか否かを検出する影検出手段と、この影検出手段により文字存在領域内に影が存在すると検出された場合、前記文字部分抽出手段で用いた閾値とは異なる閾値を決定する閾値決定手段と、前記文字存在領域推定手段により推定された文字存在領域内において、前記閾値決定手段により決定された閾値で２値化することにより文字候補ラベルを抽出する文字候補ラベル抽出手段と、この文字候補ラベル抽出手段により複数の文字候補ラベルが抽出された場合、当該複数の文字候補ラベルを統合する文字候補ラベル統合手段と、この文字候補ラベル統合手段により統合された文字候補ラベルに対し文字認識処理を行なう文字認識手段とを具備している
【発明の効果】
【００１３】
本発明によれば、屋外に設置された場合において外光の影響を低減でき、ナンバプレート上の文字を精度よく認識することができるナンバプレート認識方法およびナンバプレート認識装置を提供できる。
【発明を実施するための最良の形態】
【００１４】
以下、本発明の実施の形態について図面を参照して説明する。
図１は、本発明に係るナンバプレート認識装置の構成を模式的に示すものである。このナンバプレート認識装置は、道路を走行する車両１１から少なくともナンバプレート１２（図１では図示せず）を含む画像を撮像する画像取得手段としてのカメラ１３、および、カメラ１３から得られる画像を処理することによりナンバプレート１２上の文字を認識する画像処理部１４を有して構成される。
【００１５】
カメラ１２は、たとえば、道路を走行する車両１１の前方から少なくともナンバプレート１２を含む画像を撮像するもので、ビデオカメラ（以降、単にカメラと略称する）および被写体を照明する照明装置などから構成される。
【００１６】
カメラ１２は、あらかじめピント調整がなされている距離において、車両１１が所定の位置に進入した時点でナンバプレート１２を含む画像を撮像する。この際、動きぶれ等の問題を解消した複数枚の画像を取得することも考えられる。なお、ナンバプレート１２上の文字のサイズは、あらかじめ想定されているサイズであるとする。また、ナンバプレート１２上の文字部の輝度変化については、画像の量子化によって埋もれていないことを前提とする。
【００１７】
画像処理部１４は、たとえば、ＣＰＵ（セントラル・プロセッシング・ユニット）などを主体に構成されていて、カメラ１３から得られる画像に対し、たとえば、ノイズ成分を低減する目的でガウスフィルタ処理あるいは照度の偏りを低減する処理（ＳｅｌｆＱｕｏｔｉｅｎｔＦｉｌｔｅｒ）等の前処理を行なった後、後述するような画像処理を行なうことによりナンバプレート１２上の文字を認識するもので、その詳細は以下に説明する。
【００１８】
次に、このような構成において、本発明の第１の実施の形態に係るナンバプレート認識処理について図２に示すフローチャートを参照して説明する。
第１の実施の形態は、たとえば、図３に示すように、ナンバプレート１２の上端にのみ影１５がかかっていて、陸運支局名部の全体または一部分が覆われている場合の認識処理である。
【００１９】
まず、カメラ１２は、道路を走行する車両１１の前方から少なくともナンバプレート１２を含む画像を撮像し、入力する（ステップＳ１）。次に、ステップＳ１で入力された車両１１の画像を所定の閾値で２値化し、この２値化された画像からナンバプレート１２の一連番号部分の座標を抽出する（ステップＳ２）。
なお、入力画像から、一連番号部分を抽出する処理については、たとえば、４桁の文字スコアおよび間隔を事後確率を考慮して抽出する方法等が知られている。
【００２０】
次に、ステップＳ２で抽出された一連番号部分の座標および車種情報に基づき、ナンバプレートの陸運支局名、用途コード、分類番号等を示す文字が存在する領域を推定し、座標推定値を取得する（ステップＳ３）。
【００２１】
次に、ステップＳ３で取得された座標推定値で推定される文字存在領域内に影が存在するか否かを検出する（ステップＳ４）。すなわち、一連番号部分の位置および車種に関する情報が決まっている場合においては、陸運支局名や分類番号等の位置情報が取得できる。そこで、上記影検出処理においては、上記文字存在領域を着目領域として、たとえば、陸運支局名部と一連番号部の輝度ヒストグラムの分布により、背景／文字部分の輝度の相違を影として検出する。
【００２２】
次に、ステップＳ４で文字存在領域（着目領域）内に影が存在すると検出された場合、ステップＳ２で用いた閾値とは異なる閾値（３値化含む）を決定する（ステップＳ５）。次に、ステップＳ３で推定された文字存在領域内において、ステップＳ５で決定された閾値で２値化することにより文字候補ラベルを抽出する（ステップＳ６）。
【００２３】
次に、ステップＳ６で複数の文字候補ラベルが抽出された場合、当該複数の文字候補ラベルを統合する（ステップＳ７）。
陸運支局名等の着目領域内に影が存在する場合においては、その着目領域内において新たな閾値を設定して再び２値化処理を行ない、文字候補連結画素ラベル（文字候補ラベル）が単数の閾値で取得できる場合は、そのまま文字認識処理へと進み、複数の閾値でないと取得できない場合は、その処理により得られた複数の文字候補連結画素ラベルを候補とし、これら複数の文字候補連結画素ラベルを統合する。
【００２４】
次に、ステップＳ７で統合された文字候補連結画素ラベルに対し文字認識処理を行ない、その後、陸運支局名等の単語認識処理を行なう（ステップＳ８）。次に、ステップＳ８における認識処理の結果を統合し（ステップＳ９）、処理を終了する。
【００２５】
なお、影のかかり方が陸運支局名部の全体または一部分を覆う場合によって、文字候補連結画素ラベルの統合処理が必要となる。複数の文字候補連結画素ラベルを統合する必要のない単純なケースにおいては、ラベル統合処理の必要なしの特殊形として操作することも可能である。
【００２６】
以上の処理により、車両を撮像するカメラ１３を屋外に設置した場合で、日照条件の影響により影のかかったナンバプレート上の輝度の変化に適応することが可能となり、認識対象位置の周辺の輝度ヒストグラムを適切に処理してナンバプレート上の文字を精度よく抽出し認識することが可能となる。
【００２７】
次に、本発明の第２の実施の形態に係るナンバプレート認識処理について図４に示すフローチャートを参照して説明する。
第２の実施の形態は、たとえば、図５に示すように、ナンバプレート１２上の一連番号部分の情報のみ取得でき、陸運支局名部等の車種に関する情報の全体が影１６，１７で覆われていて不明である場合の認識処理である。
【００２８】
まず、カメラ１２は、道路を走行する車両１１の前方から少なくともナンバプレート１２を含む画像を撮像し、入力する（ステップＳ１１）。次に、ステップＳ１１で入力された車両１１の画像を所定の閾値で２値化し、この２値化された画像からナンバプレート１２の一連番号部分の座標を抽出する（ステップＳ１２）。
次に、ステップＳ２で抽出された一連番号部分の座標と、あらかじめ車種情報が格納されている車種テンプレートデータベースに基づき、たとえば、ナンバプレートの大板、中板、小板（つまり車種）ごとに、ナンバプレートの陸運支局名、用途コード、分類番号等を示す文字が存在する領域を推定し、座標推定値を取得する（ステップＳ１３）。
【００２９】
次に、ステップＳ１３で取得された座標推定値で推定される大板の文字存在領域内に影が存在するか否かを検出する（ステップＳ１４）。次に、ステップＳ１４で文字存在領域（着目領域）内に影が存在すると検出された場合、ステップＳ１２で用いた閾値とは異なる閾値を車種ごとに決定する（ステップＳ１５）。
【００３０】
次に、ステップＳ１３で推定された大板の文字存在領域内において、ステップＳ１５で決定された閾値で３値化することにより文字候補連結画素ラベルを抽出する（ステップＳ１６，Ｓ１７）。
【００３１】
すなわち、ステップＳ１３の時点では、どの領域に文字が含まれているかが不鮮明であるため、影の中に文字の輝度が含まれていることを前提として、文字候補連結画素ラベルが取得できるよう、一連番号部分を取得した際とは異なる新たな閾値を設定して、その領域について文字候補連結画素ラベルの抽出を行なう。
【００３２】
次に、ステップＳ１７で抽出された文字候補連結画素ラベルに対し文字認識処理を行ない、その後、陸運支局名等の単語認識処理を行なう（ステップＳ１８）。
【００３３】
以上のステップＳ１３〜Ｓ１８の処理を繰返すことにより、次に中板について行ない、それが終了すると再度同様な処理を繰返すことにより小板について行なう。
次に、ステップＳ１８における大板、中板、小板（車種）ごとの認識処理の結果を統合し（ステップＳ１９）、その統合結果から適正な処理結果と思われる車種を判定して車種情報を出力し（ステップＳ２０）、処理を終了する。
【００３４】
なお、車種テンプレートデータベースから認識位置（着目領域）を考慮すると、文字のラベル以外のものを統合して認識してしまう誤認識を防ぐことも可能となる。具体的には、ナンバプレート１２が車両１１の車体の陰に隠れてしまっている例においては、着目領域においていかに閾値を設定しても文字候補連結画素ラベルは出てこないため、リジェクトすべき対象についての信頼度を高める結果となり、陰の影響で文字候補連結画素ラベルが抽出できないのか、それとは別の遮蔽物に文字情報が隠れてしまっているのかを正確に判別することが可能となる。
【００３５】
以上の処理により、車両を撮像するカメラ１３を屋外に設置した場合で、日照条件の影響により影のかかったナンバプレート、あるいは、輝度変化が顕著で車種の情報も不鮮明である状況下においても適応することが可能となり、認識対象位置の周辺の輝度ヒストグラムを適切に処理してナンバプレート上の文字を精度よく抽出し認識することが可能となる。
【００３６】
次に、本発明の第３の実施の形態に係るナンバプレート認識処理について図６に示すフローチャートを参照して説明する。
第３の実施の形態は、たとえば、図７に示すように、ナンバプレート１２上の文字部の一部または文字部全体が縦方向の影または遮蔽物１８，１９，２０で覆われている場合であり、特に車体周辺の影に隠れるというよりは、別の要因でナンバプレート１２の一部を覆ってしまう場合の認識処理である。
【００３７】
まず、カメラ１２は、道路を走行する車両１１の前方から少なくともナンバプレート１２を含む画像を撮像し、入力する（ステップＳ２１）。次に、ステップＳ２１で入力された車両１１の画像を所定の閾値で２値化し、この２値化された画像からナンバプレート１２の一連番号部分の座標を抽出する（ステップＳ２２）。
次に、ステップＳ２２で抽出された一連番号部分の座標および車種情報に基づき、ナンバプレートの陸運支局名、用途コード、分類番号等を示す文字が存在する領域を推定し、座標推定値を取得する（ステップＳ２３）。
【００３８】
次に、ステップＳ２３で取得された座標推定値で推定される文字存在領域内に影が存在するか否かを検出する（ステップＳ２４）。次に、ステップＳ２４で文字存在領域（着目領域）内に影が存在すると検出された場合、その影の方向と位置を検出する（ステップＳ２５）。
具体的には、たとえば、ナンバプレート１２の背景の輝度分布を抽出し、輝度勾配等を測定することで影の方向と位置を検出する。
【００３９】
次に、ステップＳ２３で推定された文字存在領域内のステップＳ２５で検出された影と位置の方向において、ステップＳ２２で用いた閾値とは異なる閾値を決定し、この決定された閾値で３値化することにより文字候補ラベルを抽出する（ステップＳ２６，Ｓ２７）。
【００４０】
次に、ステップＳ２７で複数の文字候補連結画素ラベルが抽出された場合、当該複数の文字候補連結画素ラベルを統合する（ステップＳ２８）。
次に、ステップＳ２８で統合された文字候補連結画素ラベルに対し文字認識処理を行ない、その後、陸運支局名等の単語認識処理を行なう（ステップＳ２９）。次に、ステップＳ２９における認識処理の結果を統合し（ステップＳ３０）、処理を終了する。
【００４１】
なお、影の方向が下方向に伸びるだけでなく、左右方向にも検出された場合においては、その分布から影の位置を測定し、影が検出された部分において３値化処理を別途行なうことにより、異なる閾値によって得られた文字候補連結画素ラベルを抽出し、それらを組合わせる統合処理によって、文字を構成する文字候補連結画素ラベルを生成する。
【００４２】
以上の処理により、車両を撮像するカメラ１３を屋外に設置した場合で、日照条件およびナンバプレート周辺の遮蔽物の影響により不均一に影のかかったナンバプレート上の輝度の変化に適応することが可能となり、認識対象位置の周辺の輝度ヒストグラムを適切に処理してナンバプレート上の文字を精度よく抽出し認識することが可能となる。
【図面の簡単な説明】
【００４３】
【図１】本発明に係るナンバプレート認識装置の構成を概略的に示す模式図。
【図２】本発明の第１の実施の形態に係るナンバプレート認識処理について説明するフローチャート。
【図３】ナンバプレートの上端に影がかかっている例を説明する模式図。
【図４】本発明の第２実施の形態に係るナンバプレート認識処理について説明するフローチャート。
【図５】ナンバプレート内で一連番号以外の情報が不明の場合のサンプル例を説明する模式図。
【図６】本発明の第３実施の形態に係るナンバプレート認識処理について説明するフローチャート。
【図７】ナンバプレート内の影が縦方向に部分的にかかるサンプル例を説明する模式図。
【符号の説明】
【００４４】
１１…車両、１２…ナンバプレート、１３…カメラ（画像取得手段）、１４…画像処理部、１５，１６，１７，１８，１９，２０…影。
【特許請求の範囲】
【請求項１】
車両から少なくともナンバプレートを含む画像を取得する第１のステップと、
この第１のステップにより取得された画像を所定の閾値で２値化し、この２値化された画像から文字部分の座標を抽出する第２のステップと、
この第２のステップにより抽出された文字部分の座標および車種情報に基づき、前記ナンバプレート上の陸運支局名、用途コード、分類番号等を示す文字が存在する領域を推定する第３のステップと、
この第３のステップにより推定された文字存在領域内に影が存在するか否かを検出する第４のステップと、
この第４のステップにより文字存在領域内に影が存在すると検出された場合、前記第２のステップで用いた閾値とは異なる閾値を決定する第５のステップと、
前記第３のステップにより推定された文字存在領域内において、前記第５のステップにより決定された閾値で２値化することにより文字候補ラベルを抽出する第６のステップと、
この第６のステップにより複数の文字候補ラベルが抽出された場合、当該複数の文字候補ラベルを統合する第７のステップと、
この第７のステップにより統合された文字候補ラベルに対し文字認識処理を行なう第８のステップと、
を具備したことを特徴とするナンバプレート認識方法。
【請求項２】
車両から少なくともナンバプレートを含む画像を取得する第１のステップと、
この第１のステップにより取得された画像を所定の閾値で２値化し、この２値化された画像から文字部分の座標を抽出する第２のステップと、
この第２のステップにより抽出された文字部分の座標と、あらかじめ車種情報が格納されている車種テンプレートに基づき、前記ナンバプレート上の陸運支局名、用途コード、分類番号等を示す文字が存在する領域を車種ごとに推定する第３のステップと、
この第３のステップにより推定された車種ごとの文字存在領域内に影が存在するか否かを検出する第４のステップと、
この第４のステップにより車種ごとの文字存在領域内に影が存在すると検出された場合、前記第２のステップで用いた閾値とは異なる閾値を車種ごとに決定する第５のステップと、
前記第３のステップにより推定された車種ごとの文字存在領域内において、それぞれ前記第５のステップにより決定された車種ごとの閾値で２値化することにより文字候補ラベルを抽出する第６のステップと、
この第６のステップにより抽出された車種ごとの文字候補ラベルに対しそれぞれ文字認識処理を行なう第７のステップと、
この第７のステップにより行なわれた車種ごとの文字認識処理の結果を統合する第８のステップと、
を具備したことを特徴とするナンバプレート認識方法。
【請求項３】
車両から少なくともナンバプレートを含む画像を取得する第１のステップと、
この第１のステップにより取得された画像を所定の閾値で２値化し、この２値化された画像から文字部分の座標を抽出する第２のステップと、
この第２のステップにより抽出された文字部分の座標および車種情報に基づき、前記ナンバプレート上の陸運支局名、用途コード、分類番号等を示す文字が存在する領域を推定する第３のステップと、
この第３のステップにより推定された文字存在領域内に影が存在するか否かを検出する第４のステップと、
この第４のステップにより文字存在領域内に影が存在すると検出された場合、その影の方向を検出する第５のステップと、
前記第３のステップにより推定された文字存在領域内の前記第５のステップにより検出された影の方向において、前記第２のステップで用いた閾値とは異なる閾値を決定し、この決定された閾値で２値化することにより文字候補ラベルを抽出するする第６のステップと、
この第６のステップにより複数の文字候補ラベルが抽出された場合、当該複数の文字候補ラベルを統合する第７のステップと、
この第７のステップにより統合された文字候補ラベルに対し文字認識処理を行なう第８のステップと、
を具備したことを特徴とするナンバプレート認識方法。
【請求項４】
車両から少なくともナンバプレートを含む画像を取得する画像取得手段と、
この画像取得手段により取得された画像を所定の閾値で２値化し、この２値化された画像から文字部分の座標を抽出する文字部分抽出手段と、
この文字部分抽出手段により抽出された文字部分の座標および車種情報に基づき、前記ナンバプレート上の陸運支局名、用途コード、分類番号等を示す文字が存在する領域を推定する文字存在領域推定手段と、
この文字存在領域推定手段により推定された文字存在領域内に影が存在するか否かを検出する影検出手段と、
この影検出手段により文字存在領域内に影が存在すると検出された場合、前記文字部分抽出手段で用いた閾値とは異なる閾値を決定する閾値決定手段と、
前記文字存在領域推定手段により推定された文字存在領域内において、前記閾値決定手段により決定された閾値で２値化することにより文字候補ラベルを抽出する文字候補ラベル抽出手段と、
この文字候補ラベル抽出手段により複数の文字候補ラベルが抽出された場合、当該複数の文字候補ラベルを統合する文字候補ラベル統合手段と、
この文字候補ラベル統合手段により統合された文字候補ラベルに対し文字認識処理を行なう文字認識手段と、
を具備したことを特徴とするナンバプレート認識装置。
【請求項５】
車両から少なくともナンバプレートを含む画像を取得する画像取得手段と、
この画像取得手段により取得された画像を所定の閾値で２値化し、この２値化された画像から文字部分の座標を抽出する文字部分抽出手段と、
この文字部分抽出手段により抽出された文字部分の座標と、あらかじめ車種情報が格納されている車種テンプレートに基づき、前記ナンバプレート上の陸運支局名、用途コード、分類番号等を示す文字が存在する領域を車種ごとに推定する文字存在領域推定手段と、
この文字存在領域推定手段により推定された車種ごとの文字存在領域内に影が存在するか否かを検出する影検出手段と、
この影検出手段により車種ごとの文字存在領域内に影が存在すると検出された場合、前記文字部分抽出手段で用いた閾値とは異なる閾値を車種ごとに決定する閾値決定手段と、
前記文字存在領域推定手段により推定された車種ごとの文字存在領域内において、それぞれ前記閾値決定手段により決定された車種ごとの閾値で２値化することにより文字候補ラベルを抽出する文字候補ラベル抽出手段と、
この文字候補ラベル抽出手段により抽出された車種ごとの文字候補ラベルに対しそれぞれ文字認識処理を行なう文字認識手段と、
この文字認識手段により行なわれた車種ごとの文字認識処理の結果を統合する統合手段と、
を具備したことを特徴とするナンバプレート認識装置。
【請求項６】
車両から少なくともナンバプレートを含む画像を取得する画像取得手段と、
この画像取得手段により取得された画像を所定の閾値で２値化し、この２値化された画像から文字部分の座標を抽出する文字部分抽出手段と、
この文字部分抽出手段により抽出された文字部分の座標および車種情報に基づき、前記ナンバプレート上の陸運支局名、用途コード、分類番号等を示す文字が存在する領域を推定する文字存在領域推定手段と、
この文字存在領域推定手段により推定された文字存在領域内に影が存在するか否かを検出する影検出手段と、
この影検出手段により文字存在領域内に影が存在すると検出された場合、その影の方向を検出する影方向検出手段と、
前記文字存在領域推定手段により推定された文字存在領域内の前記影方向検出手段により検出された影の方向において、前記文字部分抽出手段で用いた閾値とは異なる閾値を決定し、この決定された閾値で２値化することにより文字候補ラベルを抽出するする文字候補ラベル抽出手段と、
この文字候補ラベル抽出手段により複数の文字候補ラベルが抽出された場合、当該複数の文字候補ラベルを統合する文字候補ラベル統合手段と、
この文字候補ラベル統合手段手段により統合された文字候補ラベルに対し文字認識処理を行なう文字認識手段と、
を具備したことを特徴とするナンバプレート認識装置。
【請求項１】
車両から少なくともナンバプレートを含む画像を取得する第１のステップと、
この第１のステップにより取得された画像を所定の閾値で２値化し、この２値化された画像から文字部分の座標を抽出する第２のステップと、
この第２のステップにより抽出された文字部分の座標および車種情報に基づき、前記ナンバプレート上の陸運支局名、用途コード、分類番号等を示す文字が存在する領域を推定する第３のステップと、
この第３のステップにより推定された文字存在領域内に影が存在するか否かを検出する第４のステップと、
この第４のステップにより文字存在領域内に影が存在すると検出された場合、前記第２のステップで用いた閾値とは異なる閾値を決定する第５のステップと、
前記第３のステップにより推定された文字存在領域内において、前記第５のステップにより決定された閾値で２値化することにより文字候補ラベルを抽出する第６のステップと、
この第６のステップにより複数の文字候補ラベルが抽出された場合、当該複数の文字候補ラベルを統合する第７のステップと、
この第７のステップにより統合された文字候補ラベルに対し文字認識処理を行なう第８のステップと、
を具備したことを特徴とするナンバプレート認識方法。
【請求項２】
車両から少なくともナンバプレートを含む画像を取得する第１のステップと、
この第１のステップにより取得された画像を所定の閾値で２値化し、この２値化された画像から文字部分の座標を抽出する第２のステップと、
この第２のステップにより抽出された文字部分の座標と、あらかじめ車種情報が格納されている車種テンプレートに基づき、前記ナンバプレート上の陸運支局名、用途コード、分類番号等を示す文字が存在する領域を車種ごとに推定する第３のステップと、
この第３のステップにより推定された車種ごとの文字存在領域内に影が存在するか否かを検出する第４のステップと、
この第４のステップにより車種ごとの文字存在領域内に影が存在すると検出された場合、前記第２のステップで用いた閾値とは異なる閾値を車種ごとに決定する第５のステップと、
前記第３のステップにより推定された車種ごとの文字存在領域内において、それぞれ前記第５のステップにより決定された車種ごとの閾値で２値化することにより文字候補ラベルを抽出する第６のステップと、
この第６のステップにより抽出された車種ごとの文字候補ラベルに対しそれぞれ文字認識処理を行なう第７のステップと、
この第７のステップにより行なわれた車種ごとの文字認識処理の結果を統合する第８のステップと、
を具備したことを特徴とするナンバプレート認識方法。
【請求項３】
車両から少なくともナンバプレートを含む画像を取得する第１のステップと、
この第１のステップにより取得された画像を所定の閾値で２値化し、この２値化された画像から文字部分の座標を抽出する第２のステップと、
この第２のステップにより抽出された文字部分の座標および車種情報に基づき、前記ナンバプレート上の陸運支局名、用途コード、分類番号等を示す文字が存在する領域を推定する第３のステップと、
この第３のステップにより推定された文字存在領域内に影が存在するか否かを検出する第４のステップと、
この第４のステップにより文字存在領域内に影が存在すると検出された場合、その影の方向を検出する第５のステップと、
前記第３のステップにより推定された文字存在領域内の前記第５のステップにより検出された影の方向において、前記第２のステップで用いた閾値とは異なる閾値を決定し、この決定された閾値で２値化することにより文字候補ラベルを抽出するする第６のステップと、
この第６のステップにより複数の文字候補ラベルが抽出された場合、当該複数の文字候補ラベルを統合する第７のステップと、
この第７のステップにより統合された文字候補ラベルに対し文字認識処理を行なう第８のステップと、
を具備したことを特徴とするナンバプレート認識方法。
【請求項４】
車両から少なくともナンバプレートを含む画像を取得する画像取得手段と、
この画像取得手段により取得された画像を所定の閾値で２値化し、この２値化された画像から文字部分の座標を抽出する文字部分抽出手段と、
この文字部分抽出手段により抽出された文字部分の座標および車種情報に基づき、前記ナンバプレート上の陸運支局名、用途コード、分類番号等を示す文字が存在する領域を推定する文字存在領域推定手段と、
この文字存在領域推定手段により推定された文字存在領域内に影が存在するか否かを検出する影検出手段と、
この影検出手段により文字存在領域内に影が存在すると検出された場合、前記文字部分抽出手段で用いた閾値とは異なる閾値を決定する閾値決定手段と、
前記文字存在領域推定手段により推定された文字存在領域内において、前記閾値決定手段により決定された閾値で２値化することにより文字候補ラベルを抽出する文字候補ラベル抽出手段と、
この文字候補ラベル抽出手段により複数の文字候補ラベルが抽出された場合、当該複数の文字候補ラベルを統合する文字候補ラベル統合手段と、
この文字候補ラベル統合手段により統合された文字候補ラベルに対し文字認識処理を行なう文字認識手段と、
を具備したことを特徴とするナンバプレート認識装置。
【請求項５】
車両から少なくともナンバプレートを含む画像を取得する画像取得手段と、
この画像取得手段により取得された画像を所定の閾値で２値化し、この２値化された画像から文字部分の座標を抽出する文字部分抽出手段と、
この文字部分抽出手段により抽出された文字部分の座標と、あらかじめ車種情報が格納されている車種テンプレートに基づき、前記ナンバプレート上の陸運支局名、用途コード、分類番号等を示す文字が存在する領域を車種ごとに推定する文字存在領域推定手段と、
この文字存在領域推定手段により推定された車種ごとの文字存在領域内に影が存在するか否かを検出する影検出手段と、
この影検出手段により車種ごとの文字存在領域内に影が存在すると検出された場合、前記文字部分抽出手段で用いた閾値とは異なる閾値を車種ごとに決定する閾値決定手段と、
前記文字存在領域推定手段により推定された車種ごとの文字存在領域内において、それぞれ前記閾値決定手段により決定された車種ごとの閾値で２値化することにより文字候補ラベルを抽出する文字候補ラベル抽出手段と、
この文字候補ラベル抽出手段により抽出された車種ごとの文字候補ラベルに対しそれぞれ文字認識処理を行なう文字認識手段と、
この文字認識手段により行なわれた車種ごとの文字認識処理の結果を統合する統合手段と、
を具備したことを特徴とするナンバプレート認識装置。
【請求項６】
車両から少なくともナンバプレートを含む画像を取得する画像取得手段と、
この画像取得手段により取得された画像を所定の閾値で２値化し、この２値化された画像から文字部分の座標を抽出する文字部分抽出手段と、
この文字部分抽出手段により抽出された文字部分の座標および車種情報に基づき、前記ナンバプレート上の陸運支局名、用途コード、分類番号等を示す文字が存在する領域を推定する文字存在領域推定手段と、
この文字存在領域推定手段により推定された文字存在領域内に影が存在するか否かを検出する影検出手段と、
この影検出手段により文字存在領域内に影が存在すると検出された場合、その影の方向を検出する影方向検出手段と、
前記文字存在領域推定手段により推定された文字存在領域内の前記影方向検出手段により検出された影の方向において、前記文字部分抽出手段で用いた閾値とは異なる閾値を決定し、この決定された閾値で２値化することにより文字候補ラベルを抽出するする文字候補ラベル抽出手段と、
この文字候補ラベル抽出手段により複数の文字候補ラベルが抽出された場合、当該複数の文字候補ラベルを統合する文字候補ラベル統合手段と、
この文字候補ラベル統合手段手段により統合された文字候補ラベルに対し文字認識処理を行なう文字認識手段と、
を具備したことを特徴とするナンバプレート認識装置。
【図１】
【図２】
【図３】
【図４】
【図５】
【図６】
【図７】
【図２】
【図３】
【図４】
【図５】
【図６】
【図７】
【公開番号】特開２０１０−７３０５１（Ｐ２０１０−７３０５１Ａ）
【公開日】平成２２年４月２日（２０１０．４．２）
【国際特許分類】
【出願番号】特願２００８−２４１４６５（Ｐ２００８−２４１４６５）
【出願日】平成２０年９月１９日（２００８．９．１９）
【出願人】（０００００３０７８）株式会社東芝 (54,554)
【Ｆターム（参考）】
【公開日】平成２２年４月２日（２０１０．４．２）
【国際特許分類】
【出願日】平成２０年９月１９日（２００８．９．１９）
【出願人】（０００００３０７８）株式会社東芝 (54,554)
【Ｆターム（参考）】
[ Back to top ]