ナンバー認識装置およびナンバー認識方法
【課題】車両が写された画像から、先頭ノイズの影響を受ける読み取り方法によりナンバープレートの文字情報を読み取ってナンバー認識処理を行う際に、信頼性の高いナンバー認識を行う。
【解決手段】車両が写された車両画像からナンバープレート部分を切り出し、切り出したプレート画像の２値化処理を行って２値化画像を生成し、生成した２値化画像から順方向に読み取った文字情報と、逆方向に読み取った文字情報とに基づいて、車両のナンバーを認識する。
【解決手段】車両が写された車両画像からナンバープレート部分を切り出し、切り出したプレート画像の２値化処理を行って２値化画像を生成し、生成した２値化画像から順方向に読み取った文字情報と、逆方向に読み取った文字情報とに基づいて、車両のナンバーを認識する。
【発明の詳細な説明】
【技術分野】
【０００１】
本発明は、車両が撮像された画像から、その車両のナンバープレートに記されたナンバーを認識するナンバー認識装置およびナンバー認識方法に関する。
【背景技術】
【０００２】
従来、撮像された車両の画像から、その車両のナンバープレートに記されたナンバーを認識するナンバー認識装置が利用されており、例えば、有料道路の料金所などで撮像した通行車両の画像から、その車両のナンバーを認識する処理が行われる。
図７は、従来技術によるナンバー認識処理の例を示すフローチャートである。従来のナンバー認識処理では、まず、図８の（ａ）に示されるような車両画像を読み込むと（ステップＳ２１）、読み込んだ車両画像から、図８の（ｂ）に示されるようなプレート部分をプレート画像として切り出すプレート切り出し処理を行う（ステップＳ２２）。そして、切り出されたナンバープレート画像を、その画像中の各画素の輝度に応じて分析し、各画素を黒色と白色との２値に変換する２値化処理を行って図８の（ｃ）に示されるような２値化画像を生成する（ステップＳ２３）。そして、生成された２値化画像に含まれる文字を予め記憶されたテンプレート文字と比較して文字を判定するＤＰマッチングを行い、文字情報を読み取る。ナンバー認識装置は、このようなナンバー認識処理により、入力される車両画像から、図８の（ｄ）に示されるような、文字情報（「ＳＢＬ３７４３Ｈ」）をナンバーとして読み取る（ステップＳ２４）。
【０００３】
特許文献１には、撮像した車両の画像から、ナンバープレートの画像部分を切り出す技術が記載されている。特許文献２および特許文献３には、切り出されたナンバープレート画像の２値化処理を行う技術が記載されている。特許文献４には、ＤＰマッチングにより文字情報を読み取る技術が示されている。
【特許文献１】特開２００１−１２６０２７号公報
【特許文献２】特開平１１−６６２９３号公報
【特許文献３】特開平５−８３７１５号公報
【特許文献４】特開平７−２３９９１２号公報
【発明の開示】
【発明が解決しようとする課題】
【０００４】
しかしながら、ＤＰマッチングによる文字情報読み取り処理では、ナンバープレートの枠や、ナンバープレートのナンバー付近に付着しているゴミなどを文字として読み取る場合があり、このような場合に正しい読み取り結果が得られない。特に、ＤＰマッチングによる文字情報読み取り処理では、先頭ノイズの影響が強く、読み込みの先頭にゴミなどが存在する場合に、誤読の可能性が高い。例えば、図８の（ｃ）に示したような画像のナンバー読み取りを順方向に行う場合、左端のプレート枠を、先頭ノイズの影響により数字の「１」と読み取り、「１ＳＢＬ３７４３Ｈ」として読み取る場合があった。このような誤読の対処法として、予め定められたナンバープレートの桁数や文字並びの規則性などを考慮したノイズチェック処理を行う方法も考えられる。ただし、この方法でも先頭ノイズが残り誤読する場合はある。また文字並びの規則性を考慮する場合には、国や、自動車や二輪自動車などの車種毎に異なる規則性に応じて特化した処理を行わなければならず、ナンバー読み取り処理に汎用性がなくなる。また、判定対象のナンバープレートの桁数や文字並びに統一された規則がない場合には、誤読を防ぐことができない。
【０００５】
本発明は、このような状況に鑑みてなされたもので、車両が写された画像から、先頭ノイズの影響を受ける読み取り方法によりナンバープレートの文字情報を読み取ってナンバー認識処理を行う際に、信頼性の高いナンバー認識を行うナンバー認識装置およびナンバー認識方法を提供する。
【課題を解決するための手段】
【０００６】
上述の課題を解決するために、本発明は、車両が撮像された車両画像から、車両のナンバープレート部分をプレート画像として切り出すプレート画像切り出し部と、プレート画像抽出部が生成したプレート画像の２値化処理を行い、２値化画像を生成する２値化処理部と、２値化処理部が生成した２値化画像に含まれる文字情報を、先頭ノイズの影響を受ける読み取り方法によって読み取る際、順方向および逆方向に読み取る文字情報読み取り部と、文字情報読み取り部が読み取った複数の文字情報に基づいて、車両のナンバーを認識するナンバー認識部と、を備えることを特徴とする。
【０００７】
また、本発明は、上述の２値化処理部が、異なる２値化方法により複数の２値化画像を生成することを特徴とする。
【０００８】
また、本発明は、上述の文字情報読み取り部が、２値化処理部が生成した複数の２値化画像のそれぞれに含まれる文字情報を、読み取り方法によりそれぞれ順方向および逆方向に読み取り、ナンバー認識部は、文字情報読み取り部が読み取った複数の文字情報に基づいて、統計的方法により車両のナンバーを認識することを特徴とする。
【０００９】
また、本発明は、上述の文字情報読み取り部が、２値化画像から読み取り方法により順方向に読み取った文字情報と、逆方向に読み取った文字情報とを比較して一致するか否かを判定し、一致する場合、文字情報を車両のナンバーと判定することを特徴とする。
【００１０】
また、本発明は、上述のプレート画像抽出部が、同一の車両が写された複数の車両画像のそれぞれから、車両のナンバープレート部分を抽出してプレート画像を生成することを特徴とする。
【００１１】
また、本発明は、ナンバー認識装置の、プレート画像切り出し部が、車両が撮像された車両画像から、車両のナンバープレート部分をプレート画像として切り出すステップと、２値化処理部が、プレート画像抽出部が生成したプレート画像の２値化処理を行い、２値化画像を生成するステップと、文字情報読み取り部が、２値化処理部が生成した２値化画像に含まれる文字情報を、先頭ノイズの影響を受ける読み取り方法によって読み取る際、順方向および逆方向に読み取るステップ、ナンバー認識部が、文字情報読み取り部が読み取った複数の文字情報に基づいて、車両のナンバーを認識するステップと、を備えることを特徴とする。
【発明の効果】
【００１２】
以上説明したように、本発明によれば、車両が写された車両画像からナンバープレート部分を切り出し、切り出したプレート画像の２値化処理を行って２値化画像を生成し、生成した２値化画像から順方向に読み取った文字情報と、逆方向に読み取った文字情報とに基づいて、車両のナンバーを認識するようにしたので、先頭ノイズの影響を受ける読み取り方法により文字情報を読み取る際に、順方向と逆方向との双方向から読み取った文字情報に基づいてナンバーを認識することで、より信頼性の高いナンバー認識を行うことが可能となる。
【発明を実施するための最良の形態】
【００１３】
以下、本発明の一実施形態について、図面を参照して説明する。
図１は、本実施形態によるナンバー認識装置１０の構成を示すブロック図である。本実施形態によるナンバー認識装置１０は、プレート画像切り出し部１１と、２値化処理部１２と、文字情報読み取り部１３と、ナンバー認識部１４とを備えている。
【００１４】
プレート画像切り出し部１１は、撮像された車両の画像から、車両のナンバープレート部分を切り出してプレート画像を生成する。例えば、プレート画像切り出し部１１は、車両画像中の領域から、一定の枠内に連続する複数の文字情報が存在する領域を抽出し、その文字情報の周辺をプレート領域として切り出したプレート画像を生成する。
【００１５】
２値化処理部１２は、プレート画像切り出し部１１によって生成されたプレート画像のコントラスト強度に応じて２値化処理を行い、２値化画像を生成する。２値化処理部１２は、複数の２値化方法によって複数の２値化画像の生成が可能である。適用する２値化方法として、例えば、２値化処理対象の画像に含まれる画素のうち、予め定められた閾値より輝度の高い画素は白、輝度の低い画素は黒として２値化を行う判別閾値法がある。他の２値化方法として、画像全体の色の分布を表すヒストグラムを生成し、生成したヒストグラムに基づいて、画像全体に占める背景色の割合に応じて閾値を算出し、算出した閾値に基づいて画素の白黒変換を行う方法がある。さらに、他の２値化方法として、定められた閾値によって画素毎に白黒変換を行う際、変換前データと変換後データとの画素値の誤差を算出し、順に判定する隣接画素の画素値に誤差を割り振って閾値判定を行うことで、擬似的な階調パターンを生成して白黒変換を行い、画像全体としての誤差を少なくする誤差分散法がある。２値化処理部１２は、このような複数の２値化方法を用いて２値化処理を行う。
【００１６】
文字情報読み取り部１３は、２値化処理部１２に生成された２値化画像に含まれる文字情報を、先頭ノイズの影響を受ける読み取り方法によって、読み取り対象画像の左端から右端に向かって順方向に文字を読み取り、かつ、右端から左端に向かって逆方向に文字を読み取る。この際、文字情報読み取り部１３は、２値化処理部１２に生成された２値化画像に含まれる文字と、予め定められ記憶されたテンプレート文字とを比較して、認識するナンバーとして最適な文字を読み取る。例えば、文字情報読み取り部１３は、２値化画像の輝度を縦方向に射影して文字領域を検出し、検出した文字領域に含まれる文字と予め記憶された複数のテンプレート文字とを文字毎に比較し、各文字同士の類似の度合いを評価値として算出する。そして、２値化画像に含まれる文字と比較されたテンプレート文字のうち、最も大きい評価値が算出されたテンプレート文字を、最適な文字として判定する。２値化画像に含まれるそれぞれの文字についてこのような動的計画法(Dynamic Programming)によるマッチング手法(ＤＰマッチング)を行うことで、２値化画像に含まれる文字情報を読み取ることができる。
【００１７】
ナンバー認識部１４は、文字情報読み取り部１３が読み取った複数の文字情報に基づいて、統計的方法により車両のナンバーを認識する。
ここで、図２を参照して、ナンバー認識部１４が、文字情報読み取り部１３が読み取った複数の文字情報に基づいてナンバーを認識する統計的手法のうち、多数決方法によるナンバー認識処理を説明する。例えば、車両のナンバーが「ＳＢＬ３７４３Ｈ」であるとき、文字情報読み取り部１３が、図２の（ａ）に示されるように、第１の文字情報「ＳＢＬ３７４３？」と、第２の文字情報「Ｓ？Ｌ３７４３Ｈ」との文字列を読み取ったとする。「？」は、文字情報読み取り部１３がなんらかの射影を読み取ったが、その射影に対応する最適なテンプレート文字が検出できず、不明文字であることを示す。ここで、「ＳＢＬ３７４３？」と「Ｓ？Ｌ３７４３Ｈ」とをマージして、例えば第１の文字情報で不明文字となっている文字「？」を、読み取った第２の文字情報の文字で置き換える。すなわち、第１の文字情報の「？」を、第２の文字情報で読み取った「Ｈ」に置き換えることで、「ＳＢＬ３７４３Ｈ」の文字列を認識することが可能である。
【００１８】
次に、ナンバー認識部１４が行う多数決方法のナンバー認識処理において、文字情報読み取り部１３が異なる桁数の文字情報を読み取った場合の処理を説明する。このときは、桁数が小さい方の文字情報を、一桁ずつずらしながら桁数が大きい方の文字情報と比較し、類似度の高い文字情報を判定する。この際、比較する文字情報が一致した文字のみを出力する。例えば、文字情報読み取り部１３が、図２の（ｂ）に示されるように、第１の文字情報「ＳＢＬ３７４３Ｈ１」と、第２の文字情報「ＳＢＬ３７４３Ｈ」とを読み取ったとする。このとき、ナンバー認識部１４は、第１の文字情報の１文字目を先頭として、第１の文字情報に含まれる文字と第２の文字情報に含まれる文字とを文字毎に順に比較し、一致か不一致かを判定する。このとき、第１の文字情報に含まれる９文字のうち、８文字が第２の文字情報と一致する。さらに、図２の（ｃ）に示されるように、ナンバー認識部１４は、第１の文字情報の２文字目を先頭として、順番に第２の文字情報との文字比較を行う。このとき、第１の文字情報に含まれる９文字中のうち、０文字が第２の文字情報と一致する。このようにして、文字情報読み取り部１３は、一致する文字の数が多く類似の度合いの高い８文字（ＳＢＬ３７４３Ｈ）をナンバーとして判定する。
【００１９】
次に、図３および図４を参照して、ナンバー認識装置１０が車両のナンバー認識を行う動作例を説明する。
図３は、ナンバー認識装置１０によるナンバー認識処理を示すフローチャートである。ナンバー認識装置１０に、図４の（ａ）に示すような車両画像が入力されると（ステップＳ１）、プレート画像切り出し部１１が、入力された車両画像から、図４の（ｂ）に示されるようなプレート画像の切り出しを行う（ステップＳ２）。そして、２値化処理部１２は、ステップＳ２で切り出されたプレート画像について、複数の２値化手法により、図４の（ｃ−１）、（ｃ−２）、（ｃ−３）に示されるような複数の２値化画像を生成する（ステップＳ３）。
【００２０】
そして、文字情報読み取り部１３は、ステップＳ３で生成された複数の２値化画像のそれぞれについて、ＤＰマッチングにより順方向と逆方向との文字情報を読み取る。ここでは、図４に示されるように、（ｃ−１）のプレート画像から、（ｄ−１）と（ｄ−２）とに示される文字情報が、（ｃ−２）のプレート画像から、（ｄ−３）と（ｄ−４）とに示される文字情報が、（ｃ−３）のプレート画像から、（ｄ−５）と（ｄ−６）とに示される文字情報が、それぞれ読み取られる。
【００２１】
次に、ナンバー認識部１４が、文字情報読み取り部１３によって読み取られた複数の文字情報を、上述の多数決方法により統合し、最適なナンバーを認識する。ここでは、（ｄ−１）〜（ｄ−６）までの文字情報が統合され、図４の（ｅ）に示されるような「ＳＢＬ３７４３Ｈ」の文字情報がナンバーとして認識される（ステップＳ５）。
【００２２】
なお、ナンバー認識部１４が、文字情報読み取り部１３が読み取った複数の文字情報に基づいてナンバーを認識する統計的手法は、複数の文字情報から最適なナンバーを判定すするものであれば、上述のような多数決方法とは異なる統計的手法を適用しても良い。以下、図５および図６を参照して、ナンバー認識部１４による統計的手法として、あいまい検索法によるナンバー認識処理を説明する。
【００２３】
あいまい検索法では、ナンバー認識部１４は、文字情報読み取り部１３が読み取った文字列に含まれる文字に基づいてマトリックスを作成し、あいまい性を持たせた評価値投票処理を行うことにより、読み取った複数の文字列に文字や文字数のバラツキがある場合にも、各文字列を適切に統合してナンバーを認識する。図５は、ナンバー認識部１４が行う、あいまい検索法によるナンバー認識処理を示すフローチャートである。
【００２４】
あいまい検索法では、文字情報読み取り部１３のＤＰマッチングによる認識結果の文字列数と、認識結果の文字列と、各文字列に対応するＤＰマッチングの評価値とがパラメータとして入力される。本例では、図６の（ａ）に示されるように、認識結果の文字列が５種類存在するため、認識結果の文字列数として「５」が入力される。認識結果の文字列として、第１の文字列「ＢＬ３？？」と、第２の文字列「ＳＢＬ３？４３Ｈ」と、第３の文字列「、Ｂ？？７４」と、第４の文字列「ＳＢＧ？３４３Ｈ」と、第５の文字列「ＳＢＬ？７４３Ｈ」との５種類の文字列が入力される。
【００２５】
ナンバー認識部１４は、これらの文字列から、投票順序を決定する（ステップＳ１１）。例えば、入力される各文字列に含まれる文字に対応するＤＰマッチングの評価値の合計値、文字数などを比較して、信頼値の高い順に投票順序を設定する。以下、最も評価値が高く、信頼後の高い文字列を、基準結果という。本例では、図６の（ｂ）に示されるように、投票順序が決定される。ここでは、第５の文字列「ＳＢＬ？７４３」が基準結果として設定され、第２の文字列「ＳＢＬ３？４３Ｈ」、第４の文字列「ＳＢＧ３？４３Ｈ」・・・というようにＤＰマッチングの評価値に沿って順序が決定される。
【００２６】
そして、ナンバー認識部１４は、認識結果の文字列に含まれる文字に応じた列と、基準結果の文字数に応じた行とから構成されるテーブルを生成する。そして、認識結果のそれぞれの文字列に対応する投票位置と、投票先とを決定する（ステップＳ１２）。ここでは、認識結果の文字列のそれぞれについて、その文字列に含まれる文字の、基準結果に対応する文字位置を、あいまい性を考慮して推定し、推定された文字位置を投票位置とする。このとき、基準結果に対して文字数の少ない文字列は、文字情報読み取り部１３による文字情報読み取り処理において文字の欠落があったとして、基準結果と比較することにより最適な投票位置を決定する。また、認識結果の文字列中に同じ文字が複数存在する場合は、基準結果と比較することにより最適な投票位置を決定する。
【００２７】
次に、ステップＳ１１で設定された投票順序に沿って、認識結果の文字列毎にテーブルへの投票処理を行う。ここでは、投票対象の文字列に含まれる文字毎に、その文字に対応するテーブルの文字の列を投票先文字として検出し（ステップＳ１３）、検出した文字に、評価値を得点として投票する（ステップＳ１４）。ステップＳ１３とステップＳ１４との処理は、全ての文字列について投票処理が終了するまでループ処理を行う（図５の（ａ）〜（ｂ））。そして、全ての投票処理が終了し、図６の（ｃ）に示されるように、評価値が投票されたテーブルが生成される。そして、ナンバー認識部１４は、推定文字位置毎に、最も得点の高い文字を検出し、その文字の組み合わせを最適解として推定し、統合結果として出力する（ステップＳ１５）。ここでは、「ＳＢＬ３７４３Ｈ」が統合結果として出力される。
【００２８】
また、上述のステップＳ１でナンバー認識装置１０に入力される車両画像として、時系列に撮像した複数の車両画像を入力し、入力されるそれぞれの車両画像について、ステップＳ２のプレート切り出し処理、ステップＳ３の２値化処理、ステップＳ４の文字情報読み取り処理を行い、複数の車両画像からそれぞれ読み出された複数の文字情報に基づいて、ステップＳ５の統合処理を行って最適なナンバーを認識するようにしても良い。
【００２９】
なお、本発明における処理部の機能を実現するためのプログラムをコンピュータ読み取り可能な記録媒体に記録して、この記録媒体に記録されたプログラムをコンピュータシステムに読み込ませ、実行することによりナンバー認識を行ってもよい。なお、ここでいう「コンピュータシステム」とは、ＯＳや周辺機器等のハードウェアを含むものとする。また、「コンピュータシステム」は、ホームページ提供環境（あるいは表示環境）を備えたＷＷＷシステムも含むものとする。また、「コンピュータ読み取り可能な記録媒体」とは、フレキシブルディスク、光磁気ディスク、ＲＯＭ、ＣＤ−ＲＯＭ等の可搬媒体、コンピュータシステムに内蔵されるハードディスク等の記憶装置のことをいう。さらに「コンピュータ読み取り可能な記録媒体」とは、インターネット等のネットワークや電話回線等の通信回線を介してプログラムが送信された場合のサーバやクライアントとなるコンピュータシステム内部の揮発性メモリ（ＲＡＭ）のように、一定時間プログラムを保持しているものも含むものとする。
【００３０】
また、上記プログラムは、このプログラムを記憶装置等に格納したコンピュータシステムから、伝送媒体を介して、あるいは、伝送媒体中の伝送波により他のコンピュータシステムに伝送されてもよい。ここで、プログラムを伝送する「伝送媒体」は、インターネット等のネットワーク（通信網）や電話回線等の通信回線（通信線）のように情報を伝送する機能を有する媒体のことをいう。また、上記プログラムは、前述した機能の一部を実現するためのものであっても良い。さらに、前述した機能をコンピュータシステムにすでに記録されているプログラムとの組み合わせで実現できるもの、いわゆる差分ファイル（差分プログラム）であっても良い。
【図面の簡単な説明】
【００３１】
【図１】本発明の一実施形態によるナンバー認識装置の構成を示すブロック図である。
【図２】本発明の一実施形態による多数決方法によるナンバー認識処理の概念を示す図である。
【図３】本発明の一実施形態によるナンバー認識装置の動作例を示すフローチャートである。
【図４】本発明の一実施形態によるナンバー認識装置により認識されるナンバーを示す図である。
【図５】本発明の一実施形態によるあいまい検索法によるナンバー認識処理を示すフローチャートである。
【図６】本発明の一実施形態によるあいまい検索法により統合されるナンバーを示す図である。
【図７】従来技術によるナンバー認識装置の動作例を示すフローチャートである。
【図８】従来技術によるナンバー認識装置により認識されるナンバーを示す図である。
【符号の説明】
【００３２】
１０ ナンバー認識装置
１１ プレート画像切り出し部
１２ ２値化処理部
１３ 文字情報読み取り部
１４ ナンバー認識部
【技術分野】
【０００１】
本発明は、車両が撮像された画像から、その車両のナンバープレートに記されたナンバーを認識するナンバー認識装置およびナンバー認識方法に関する。
【背景技術】
【０００２】
従来、撮像された車両の画像から、その車両のナンバープレートに記されたナンバーを認識するナンバー認識装置が利用されており、例えば、有料道路の料金所などで撮像した通行車両の画像から、その車両のナンバーを認識する処理が行われる。
図７は、従来技術によるナンバー認識処理の例を示すフローチャートである。従来のナンバー認識処理では、まず、図８の（ａ）に示されるような車両画像を読み込むと（ステップＳ２１）、読み込んだ車両画像から、図８の（ｂ）に示されるようなプレート部分をプレート画像として切り出すプレート切り出し処理を行う（ステップＳ２２）。そして、切り出されたナンバープレート画像を、その画像中の各画素の輝度に応じて分析し、各画素を黒色と白色との２値に変換する２値化処理を行って図８の（ｃ）に示されるような２値化画像を生成する（ステップＳ２３）。そして、生成された２値化画像に含まれる文字を予め記憶されたテンプレート文字と比較して文字を判定するＤＰマッチングを行い、文字情報を読み取る。ナンバー認識装置は、このようなナンバー認識処理により、入力される車両画像から、図８の（ｄ）に示されるような、文字情報（「ＳＢＬ３７４３Ｈ」）をナンバーとして読み取る（ステップＳ２４）。
【０００３】
特許文献１には、撮像した車両の画像から、ナンバープレートの画像部分を切り出す技術が記載されている。特許文献２および特許文献３には、切り出されたナンバープレート画像の２値化処理を行う技術が記載されている。特許文献４には、ＤＰマッチングにより文字情報を読み取る技術が示されている。
【特許文献１】特開２００１−１２６０２７号公報
【特許文献２】特開平１１−６６２９３号公報
【特許文献３】特開平５−８３７１５号公報
【特許文献４】特開平７−２３９９１２号公報
【発明の開示】
【発明が解決しようとする課題】
【０００４】
しかしながら、ＤＰマッチングによる文字情報読み取り処理では、ナンバープレートの枠や、ナンバープレートのナンバー付近に付着しているゴミなどを文字として読み取る場合があり、このような場合に正しい読み取り結果が得られない。特に、ＤＰマッチングによる文字情報読み取り処理では、先頭ノイズの影響が強く、読み込みの先頭にゴミなどが存在する場合に、誤読の可能性が高い。例えば、図８の（ｃ）に示したような画像のナンバー読み取りを順方向に行う場合、左端のプレート枠を、先頭ノイズの影響により数字の「１」と読み取り、「１ＳＢＬ３７４３Ｈ」として読み取る場合があった。このような誤読の対処法として、予め定められたナンバープレートの桁数や文字並びの規則性などを考慮したノイズチェック処理を行う方法も考えられる。ただし、この方法でも先頭ノイズが残り誤読する場合はある。また文字並びの規則性を考慮する場合には、国や、自動車や二輪自動車などの車種毎に異なる規則性に応じて特化した処理を行わなければならず、ナンバー読み取り処理に汎用性がなくなる。また、判定対象のナンバープレートの桁数や文字並びに統一された規則がない場合には、誤読を防ぐことができない。
【０００５】
本発明は、このような状況に鑑みてなされたもので、車両が写された画像から、先頭ノイズの影響を受ける読み取り方法によりナンバープレートの文字情報を読み取ってナンバー認識処理を行う際に、信頼性の高いナンバー認識を行うナンバー認識装置およびナンバー認識方法を提供する。
【課題を解決するための手段】
【０００６】
上述の課題を解決するために、本発明は、車両が撮像された車両画像から、車両のナンバープレート部分をプレート画像として切り出すプレート画像切り出し部と、プレート画像抽出部が生成したプレート画像の２値化処理を行い、２値化画像を生成する２値化処理部と、２値化処理部が生成した２値化画像に含まれる文字情報を、先頭ノイズの影響を受ける読み取り方法によって読み取る際、順方向および逆方向に読み取る文字情報読み取り部と、文字情報読み取り部が読み取った複数の文字情報に基づいて、車両のナンバーを認識するナンバー認識部と、を備えることを特徴とする。
【０００７】
また、本発明は、上述の２値化処理部が、異なる２値化方法により複数の２値化画像を生成することを特徴とする。
【０００８】
また、本発明は、上述の文字情報読み取り部が、２値化処理部が生成した複数の２値化画像のそれぞれに含まれる文字情報を、読み取り方法によりそれぞれ順方向および逆方向に読み取り、ナンバー認識部は、文字情報読み取り部が読み取った複数の文字情報に基づいて、統計的方法により車両のナンバーを認識することを特徴とする。
【０００９】
また、本発明は、上述の文字情報読み取り部が、２値化画像から読み取り方法により順方向に読み取った文字情報と、逆方向に読み取った文字情報とを比較して一致するか否かを判定し、一致する場合、文字情報を車両のナンバーと判定することを特徴とする。
【００１０】
また、本発明は、上述のプレート画像抽出部が、同一の車両が写された複数の車両画像のそれぞれから、車両のナンバープレート部分を抽出してプレート画像を生成することを特徴とする。
【００１１】
また、本発明は、ナンバー認識装置の、プレート画像切り出し部が、車両が撮像された車両画像から、車両のナンバープレート部分をプレート画像として切り出すステップと、２値化処理部が、プレート画像抽出部が生成したプレート画像の２値化処理を行い、２値化画像を生成するステップと、文字情報読み取り部が、２値化処理部が生成した２値化画像に含まれる文字情報を、先頭ノイズの影響を受ける読み取り方法によって読み取る際、順方向および逆方向に読み取るステップ、ナンバー認識部が、文字情報読み取り部が読み取った複数の文字情報に基づいて、車両のナンバーを認識するステップと、を備えることを特徴とする。
【発明の効果】
【００１２】
以上説明したように、本発明によれば、車両が写された車両画像からナンバープレート部分を切り出し、切り出したプレート画像の２値化処理を行って２値化画像を生成し、生成した２値化画像から順方向に読み取った文字情報と、逆方向に読み取った文字情報とに基づいて、車両のナンバーを認識するようにしたので、先頭ノイズの影響を受ける読み取り方法により文字情報を読み取る際に、順方向と逆方向との双方向から読み取った文字情報に基づいてナンバーを認識することで、より信頼性の高いナンバー認識を行うことが可能となる。
【発明を実施するための最良の形態】
【００１３】
以下、本発明の一実施形態について、図面を参照して説明する。
図１は、本実施形態によるナンバー認識装置１０の構成を示すブロック図である。本実施形態によるナンバー認識装置１０は、プレート画像切り出し部１１と、２値化処理部１２と、文字情報読み取り部１３と、ナンバー認識部１４とを備えている。
【００１４】
プレート画像切り出し部１１は、撮像された車両の画像から、車両のナンバープレート部分を切り出してプレート画像を生成する。例えば、プレート画像切り出し部１１は、車両画像中の領域から、一定の枠内に連続する複数の文字情報が存在する領域を抽出し、その文字情報の周辺をプレート領域として切り出したプレート画像を生成する。
【００１５】
２値化処理部１２は、プレート画像切り出し部１１によって生成されたプレート画像のコントラスト強度に応じて２値化処理を行い、２値化画像を生成する。２値化処理部１２は、複数の２値化方法によって複数の２値化画像の生成が可能である。適用する２値化方法として、例えば、２値化処理対象の画像に含まれる画素のうち、予め定められた閾値より輝度の高い画素は白、輝度の低い画素は黒として２値化を行う判別閾値法がある。他の２値化方法として、画像全体の色の分布を表すヒストグラムを生成し、生成したヒストグラムに基づいて、画像全体に占める背景色の割合に応じて閾値を算出し、算出した閾値に基づいて画素の白黒変換を行う方法がある。さらに、他の２値化方法として、定められた閾値によって画素毎に白黒変換を行う際、変換前データと変換後データとの画素値の誤差を算出し、順に判定する隣接画素の画素値に誤差を割り振って閾値判定を行うことで、擬似的な階調パターンを生成して白黒変換を行い、画像全体としての誤差を少なくする誤差分散法がある。２値化処理部１２は、このような複数の２値化方法を用いて２値化処理を行う。
【００１６】
文字情報読み取り部１３は、２値化処理部１２に生成された２値化画像に含まれる文字情報を、先頭ノイズの影響を受ける読み取り方法によって、読み取り対象画像の左端から右端に向かって順方向に文字を読み取り、かつ、右端から左端に向かって逆方向に文字を読み取る。この際、文字情報読み取り部１３は、２値化処理部１２に生成された２値化画像に含まれる文字と、予め定められ記憶されたテンプレート文字とを比較して、認識するナンバーとして最適な文字を読み取る。例えば、文字情報読み取り部１３は、２値化画像の輝度を縦方向に射影して文字領域を検出し、検出した文字領域に含まれる文字と予め記憶された複数のテンプレート文字とを文字毎に比較し、各文字同士の類似の度合いを評価値として算出する。そして、２値化画像に含まれる文字と比較されたテンプレート文字のうち、最も大きい評価値が算出されたテンプレート文字を、最適な文字として判定する。２値化画像に含まれるそれぞれの文字についてこのような動的計画法(Dynamic Programming)によるマッチング手法(ＤＰマッチング)を行うことで、２値化画像に含まれる文字情報を読み取ることができる。
【００１７】
ナンバー認識部１４は、文字情報読み取り部１３が読み取った複数の文字情報に基づいて、統計的方法により車両のナンバーを認識する。
ここで、図２を参照して、ナンバー認識部１４が、文字情報読み取り部１３が読み取った複数の文字情報に基づいてナンバーを認識する統計的手法のうち、多数決方法によるナンバー認識処理を説明する。例えば、車両のナンバーが「ＳＢＬ３７４３Ｈ」であるとき、文字情報読み取り部１３が、図２の（ａ）に示されるように、第１の文字情報「ＳＢＬ３７４３？」と、第２の文字情報「Ｓ？Ｌ３７４３Ｈ」との文字列を読み取ったとする。「？」は、文字情報読み取り部１３がなんらかの射影を読み取ったが、その射影に対応する最適なテンプレート文字が検出できず、不明文字であることを示す。ここで、「ＳＢＬ３７４３？」と「Ｓ？Ｌ３７４３Ｈ」とをマージして、例えば第１の文字情報で不明文字となっている文字「？」を、読み取った第２の文字情報の文字で置き換える。すなわち、第１の文字情報の「？」を、第２の文字情報で読み取った「Ｈ」に置き換えることで、「ＳＢＬ３７４３Ｈ」の文字列を認識することが可能である。
【００１８】
次に、ナンバー認識部１４が行う多数決方法のナンバー認識処理において、文字情報読み取り部１３が異なる桁数の文字情報を読み取った場合の処理を説明する。このときは、桁数が小さい方の文字情報を、一桁ずつずらしながら桁数が大きい方の文字情報と比較し、類似度の高い文字情報を判定する。この際、比較する文字情報が一致した文字のみを出力する。例えば、文字情報読み取り部１３が、図２の（ｂ）に示されるように、第１の文字情報「ＳＢＬ３７４３Ｈ１」と、第２の文字情報「ＳＢＬ３７４３Ｈ」とを読み取ったとする。このとき、ナンバー認識部１４は、第１の文字情報の１文字目を先頭として、第１の文字情報に含まれる文字と第２の文字情報に含まれる文字とを文字毎に順に比較し、一致か不一致かを判定する。このとき、第１の文字情報に含まれる９文字のうち、８文字が第２の文字情報と一致する。さらに、図２の（ｃ）に示されるように、ナンバー認識部１４は、第１の文字情報の２文字目を先頭として、順番に第２の文字情報との文字比較を行う。このとき、第１の文字情報に含まれる９文字中のうち、０文字が第２の文字情報と一致する。このようにして、文字情報読み取り部１３は、一致する文字の数が多く類似の度合いの高い８文字（ＳＢＬ３７４３Ｈ）をナンバーとして判定する。
【００１９】
次に、図３および図４を参照して、ナンバー認識装置１０が車両のナンバー認識を行う動作例を説明する。
図３は、ナンバー認識装置１０によるナンバー認識処理を示すフローチャートである。ナンバー認識装置１０に、図４の（ａ）に示すような車両画像が入力されると（ステップＳ１）、プレート画像切り出し部１１が、入力された車両画像から、図４の（ｂ）に示されるようなプレート画像の切り出しを行う（ステップＳ２）。そして、２値化処理部１２は、ステップＳ２で切り出されたプレート画像について、複数の２値化手法により、図４の（ｃ−１）、（ｃ−２）、（ｃ−３）に示されるような複数の２値化画像を生成する（ステップＳ３）。
【００２０】
そして、文字情報読み取り部１３は、ステップＳ３で生成された複数の２値化画像のそれぞれについて、ＤＰマッチングにより順方向と逆方向との文字情報を読み取る。ここでは、図４に示されるように、（ｃ−１）のプレート画像から、（ｄ−１）と（ｄ−２）とに示される文字情報が、（ｃ−２）のプレート画像から、（ｄ−３）と（ｄ−４）とに示される文字情報が、（ｃ−３）のプレート画像から、（ｄ−５）と（ｄ−６）とに示される文字情報が、それぞれ読み取られる。
【００２１】
次に、ナンバー認識部１４が、文字情報読み取り部１３によって読み取られた複数の文字情報を、上述の多数決方法により統合し、最適なナンバーを認識する。ここでは、（ｄ−１）〜（ｄ−６）までの文字情報が統合され、図４の（ｅ）に示されるような「ＳＢＬ３７４３Ｈ」の文字情報がナンバーとして認識される（ステップＳ５）。
【００２２】
なお、ナンバー認識部１４が、文字情報読み取り部１３が読み取った複数の文字情報に基づいてナンバーを認識する統計的手法は、複数の文字情報から最適なナンバーを判定すするものであれば、上述のような多数決方法とは異なる統計的手法を適用しても良い。以下、図５および図６を参照して、ナンバー認識部１４による統計的手法として、あいまい検索法によるナンバー認識処理を説明する。
【００２３】
あいまい検索法では、ナンバー認識部１４は、文字情報読み取り部１３が読み取った文字列に含まれる文字に基づいてマトリックスを作成し、あいまい性を持たせた評価値投票処理を行うことにより、読み取った複数の文字列に文字や文字数のバラツキがある場合にも、各文字列を適切に統合してナンバーを認識する。図５は、ナンバー認識部１４が行う、あいまい検索法によるナンバー認識処理を示すフローチャートである。
【００２４】
あいまい検索法では、文字情報読み取り部１３のＤＰマッチングによる認識結果の文字列数と、認識結果の文字列と、各文字列に対応するＤＰマッチングの評価値とがパラメータとして入力される。本例では、図６の（ａ）に示されるように、認識結果の文字列が５種類存在するため、認識結果の文字列数として「５」が入力される。認識結果の文字列として、第１の文字列「ＢＬ３？？」と、第２の文字列「ＳＢＬ３？４３Ｈ」と、第３の文字列「、Ｂ？？７４」と、第４の文字列「ＳＢＧ？３４３Ｈ」と、第５の文字列「ＳＢＬ？７４３Ｈ」との５種類の文字列が入力される。
【００２５】
ナンバー認識部１４は、これらの文字列から、投票順序を決定する（ステップＳ１１）。例えば、入力される各文字列に含まれる文字に対応するＤＰマッチングの評価値の合計値、文字数などを比較して、信頼値の高い順に投票順序を設定する。以下、最も評価値が高く、信頼後の高い文字列を、基準結果という。本例では、図６の（ｂ）に示されるように、投票順序が決定される。ここでは、第５の文字列「ＳＢＬ？７４３」が基準結果として設定され、第２の文字列「ＳＢＬ３？４３Ｈ」、第４の文字列「ＳＢＧ３？４３Ｈ」・・・というようにＤＰマッチングの評価値に沿って順序が決定される。
【００２６】
そして、ナンバー認識部１４は、認識結果の文字列に含まれる文字に応じた列と、基準結果の文字数に応じた行とから構成されるテーブルを生成する。そして、認識結果のそれぞれの文字列に対応する投票位置と、投票先とを決定する（ステップＳ１２）。ここでは、認識結果の文字列のそれぞれについて、その文字列に含まれる文字の、基準結果に対応する文字位置を、あいまい性を考慮して推定し、推定された文字位置を投票位置とする。このとき、基準結果に対して文字数の少ない文字列は、文字情報読み取り部１３による文字情報読み取り処理において文字の欠落があったとして、基準結果と比較することにより最適な投票位置を決定する。また、認識結果の文字列中に同じ文字が複数存在する場合は、基準結果と比較することにより最適な投票位置を決定する。
【００２７】
次に、ステップＳ１１で設定された投票順序に沿って、認識結果の文字列毎にテーブルへの投票処理を行う。ここでは、投票対象の文字列に含まれる文字毎に、その文字に対応するテーブルの文字の列を投票先文字として検出し（ステップＳ１３）、検出した文字に、評価値を得点として投票する（ステップＳ１４）。ステップＳ１３とステップＳ１４との処理は、全ての文字列について投票処理が終了するまでループ処理を行う（図５の（ａ）〜（ｂ））。そして、全ての投票処理が終了し、図６の（ｃ）に示されるように、評価値が投票されたテーブルが生成される。そして、ナンバー認識部１４は、推定文字位置毎に、最も得点の高い文字を検出し、その文字の組み合わせを最適解として推定し、統合結果として出力する（ステップＳ１５）。ここでは、「ＳＢＬ３７４３Ｈ」が統合結果として出力される。
【００２８】
また、上述のステップＳ１でナンバー認識装置１０に入力される車両画像として、時系列に撮像した複数の車両画像を入力し、入力されるそれぞれの車両画像について、ステップＳ２のプレート切り出し処理、ステップＳ３の２値化処理、ステップＳ４の文字情報読み取り処理を行い、複数の車両画像からそれぞれ読み出された複数の文字情報に基づいて、ステップＳ５の統合処理を行って最適なナンバーを認識するようにしても良い。
【００２９】
なお、本発明における処理部の機能を実現するためのプログラムをコンピュータ読み取り可能な記録媒体に記録して、この記録媒体に記録されたプログラムをコンピュータシステムに読み込ませ、実行することによりナンバー認識を行ってもよい。なお、ここでいう「コンピュータシステム」とは、ＯＳや周辺機器等のハードウェアを含むものとする。また、「コンピュータシステム」は、ホームページ提供環境（あるいは表示環境）を備えたＷＷＷシステムも含むものとする。また、「コンピュータ読み取り可能な記録媒体」とは、フレキシブルディスク、光磁気ディスク、ＲＯＭ、ＣＤ−ＲＯＭ等の可搬媒体、コンピュータシステムに内蔵されるハードディスク等の記憶装置のことをいう。さらに「コンピュータ読み取り可能な記録媒体」とは、インターネット等のネットワークや電話回線等の通信回線を介してプログラムが送信された場合のサーバやクライアントとなるコンピュータシステム内部の揮発性メモリ（ＲＡＭ）のように、一定時間プログラムを保持しているものも含むものとする。
【００３０】
また、上記プログラムは、このプログラムを記憶装置等に格納したコンピュータシステムから、伝送媒体を介して、あるいは、伝送媒体中の伝送波により他のコンピュータシステムに伝送されてもよい。ここで、プログラムを伝送する「伝送媒体」は、インターネット等のネットワーク（通信網）や電話回線等の通信回線（通信線）のように情報を伝送する機能を有する媒体のことをいう。また、上記プログラムは、前述した機能の一部を実現するためのものであっても良い。さらに、前述した機能をコンピュータシステムにすでに記録されているプログラムとの組み合わせで実現できるもの、いわゆる差分ファイル（差分プログラム）であっても良い。
【図面の簡単な説明】
【００３１】
【図１】本発明の一実施形態によるナンバー認識装置の構成を示すブロック図である。
【図２】本発明の一実施形態による多数決方法によるナンバー認識処理の概念を示す図である。
【図３】本発明の一実施形態によるナンバー認識装置の動作例を示すフローチャートである。
【図４】本発明の一実施形態によるナンバー認識装置により認識されるナンバーを示す図である。
【図５】本発明の一実施形態によるあいまい検索法によるナンバー認識処理を示すフローチャートである。
【図６】本発明の一実施形態によるあいまい検索法により統合されるナンバーを示す図である。
【図７】従来技術によるナンバー認識装置の動作例を示すフローチャートである。
【図８】従来技術によるナンバー認識装置により認識されるナンバーを示す図である。
【符号の説明】
【００３２】
１０ ナンバー認識装置
１１ プレート画像切り出し部
１２ ２値化処理部
１３ 文字情報読み取り部
１４ ナンバー認識部
【特許請求の範囲】
【請求項１】
車両が撮像された車両画像から、前記車両のナンバープレート部分をプレート画像として切り出すプレート画像切り出し部と、
前記プレート画像抽出部が生成した前記プレート画像の２値化処理を行い、２値化画像を生成する２値化処理部と、
前記２値化処理部が生成した前記２値化画像に含まれる文字情報を、先頭ノイズの影響を受ける読み取り方法によって読み取る際、順方向および逆方向に読み取る文字情報読み取り部と、
前記文字情報読み取り部が読み取った複数の文字情報に基づいて、前記車両のナンバーを認識するナンバー認識部と、
を備えることを特徴とするナンバー認識装置。
【請求項２】
前記２値化処理部は、異なる２値化方法により複数の２値化画像を生成する
ことを特徴とする請求項１に記載のナンバー認識装置。
【請求項３】
前記文字情報読み取り部は、前記２値化処理部が生成した複数の前記２値化画像のそれぞれに含まれる文字情報を、前記読み取り方法によりそれぞれ順方向および逆方向に読み取り、
前記ナンバー認識部は、前記文字情報読み取り部が読み取った複数の文字情報に基づいて、統計的方法により前記車両のナンバーを認識する
ことを特徴とする請求項１または請求項２に記載のナンバー認識装置。
【請求項４】
前記ナンバー認識部は、前記文字情報読み取り部が、前記２値化画像から前記読み取り方法により順方向に読み取った文字情報と、逆方向に読み取った文字情報とを比較して一致するか否かを判定し、一致する場合、当該文字情報を前記車両のナンバーと判定する
ことを特徴とする請求項１に記載のナンバー認識装置。
【請求項５】
前記プレート画像抽出部は、同一の車両が写された複数の車両画像のそれぞれから、前記車両のナンバープレート部分を抽出してプレート画像を生成する
ことを特徴とする請求項１から請求項４までのいずれか１項に記載のナンバー認識装置。
【請求項６】
ナンバー認識装置の、
プレート画像切り出し部が、車両が撮像された車両画像から、前記車両のナンバープレート部分をプレート画像として切り出すステップと、
２値化処理部が、前記プレート画像抽出部が生成した前記プレート画像の２値化処理を行い、２値化画像を生成するステップと、
文字情報読み取り部が、前記２値化処理部が生成した前記２値化画像に含まれる文字情報を、先頭ノイズの影響を受ける読み取り方法によって読み取る際、順方向および逆方向に読み取るステップ、
ナンバー認識部が、前記文字情報読み取り部が読み取った複数の文字情報に基づいて、前記車両のナンバーを認識するステップと、
を備えることを特徴とするナンバー認識方法。
【請求項１】
車両が撮像された車両画像から、前記車両のナンバープレート部分をプレート画像として切り出すプレート画像切り出し部と、
前記プレート画像抽出部が生成した前記プレート画像の２値化処理を行い、２値化画像を生成する２値化処理部と、
前記２値化処理部が生成した前記２値化画像に含まれる文字情報を、先頭ノイズの影響を受ける読み取り方法によって読み取る際、順方向および逆方向に読み取る文字情報読み取り部と、
前記文字情報読み取り部が読み取った複数の文字情報に基づいて、前記車両のナンバーを認識するナンバー認識部と、
を備えることを特徴とするナンバー認識装置。
【請求項２】
前記２値化処理部は、異なる２値化方法により複数の２値化画像を生成する
ことを特徴とする請求項１に記載のナンバー認識装置。
【請求項３】
前記文字情報読み取り部は、前記２値化処理部が生成した複数の前記２値化画像のそれぞれに含まれる文字情報を、前記読み取り方法によりそれぞれ順方向および逆方向に読み取り、
前記ナンバー認識部は、前記文字情報読み取り部が読み取った複数の文字情報に基づいて、統計的方法により前記車両のナンバーを認識する
ことを特徴とする請求項１または請求項２に記載のナンバー認識装置。
【請求項４】
前記ナンバー認識部は、前記文字情報読み取り部が、前記２値化画像から前記読み取り方法により順方向に読み取った文字情報と、逆方向に読み取った文字情報とを比較して一致するか否かを判定し、一致する場合、当該文字情報を前記車両のナンバーと判定する
ことを特徴とする請求項１に記載のナンバー認識装置。
【請求項５】
前記プレート画像抽出部は、同一の車両が写された複数の車両画像のそれぞれから、前記車両のナンバープレート部分を抽出してプレート画像を生成する
ことを特徴とする請求項１から請求項４までのいずれか１項に記載のナンバー認識装置。
【請求項６】
ナンバー認識装置の、
プレート画像切り出し部が、車両が撮像された車両画像から、前記車両のナンバープレート部分をプレート画像として切り出すステップと、
２値化処理部が、前記プレート画像抽出部が生成した前記プレート画像の２値化処理を行い、２値化画像を生成するステップと、
文字情報読み取り部が、前記２値化処理部が生成した前記２値化画像に含まれる文字情報を、先頭ノイズの影響を受ける読み取り方法によって読み取る際、順方向および逆方向に読み取るステップ、
ナンバー認識部が、前記文字情報読み取り部が読み取った複数の文字情報に基づいて、前記車両のナンバーを認識するステップと、
を備えることを特徴とするナンバー認識方法。
【図１】
【図２】
【図３】
【図４】
【図５】
【図６】
【図７】
【図８】
【図２】
【図３】
【図４】
【図５】
【図６】
【図７】
【図８】
【公開番号】特開２００９−２９４７０４（Ｐ２００９−２９４７０４Ａ）
【公開日】平成２１年１２月１７日（２００９．１２．１７）
【国際特許分類】
【出願番号】特願２００８−１４４７８３（Ｐ２００８−１４４７８３）
【出願日】平成２０年６月２日（２００８．６．２）
【出願人】（０００００６２０８）三菱重工業株式会社 (10,378)
【Ｆターム（参考）】
【公開日】平成２１年１２月１７日（２００９．１２．１７）
【国際特許分類】
【出願日】平成２０年６月２日（２００８．６．２）
【出願人】（０００００６２０８）三菱重工業株式会社 (10,378)
【Ｆターム（参考）】
[ Back to top ]