説明

ナンバープレート認識装置、ナンバープレート認識方法、ナンバープレート認識プログラム

【課題】特定のカメラにおいて撮像条件が低下してしまっても認識精度の低下を低減することができるナンバープレート認識装置を提供する。
【解決手段】進入する車両のナンバープレートを撮像する複数のカメラと、前記複数のカメラのそれぞれのカメラによって撮像された撮像結果からナンバープレートの文字列をカメラ毎に認識する第1の文字列認識部と、前記第1の文字列認識部によって得られた認識結果に基づき、前記複数のカメラのうち異なるカメラの撮像結果から得られる複数の認識結果を参照し、これら複数の認識結果から得られる文字列を補完して認識結果として出力する第2の文字列認識部とを有する。

【発明の詳細な説明】
【技術分野】
【0001】
本発明は、車両のナンバープレートの文字列を認識するナンバープレート認識装置、ナンバープレート認識方法、ナンバープレート認識プログラムに関する。
【背景技術】
【0002】
従来から、有料道路や駐車場等において、進入する車両のナンバープレートをカメラで撮像し、撮像結果からナンバープレートの文字列を認識するナンバープレート認識装置が提供されている。ここでは、同じ車両のナンバープレートを異なるタイミングで撮像して、複数の画像を得て、これらの画像のそれぞれに対してナンバープレートの文字列の認識を行って複数の認識結果を得る。そして、この複数の認識結果から、最終的な文字列の認識結果を得るものがある(例えば、特許文献1)。
【特許文献1】特許第3917252号
【発明の開示】
【発明が解決しようとする課題】
【0003】
しかしながら、特許文献1に示すナンバープレート認識装置にあっては、カメラの設置位置や撮像状況、ナンバープレートの取り付け位置等によっては、異なるタイミングでナンバープレートを撮像しても、光の反射が生じたり、カメラとナンバープレートの間に障害物等が入り込んだりする場合が発生してしまう。そうすると、ナンバープレート全体あるいはナンバープレートの特定の文字を撮像する撮像条件が悪くなり、これにより、ナンバープレートの文字列の認識精度が低下してしまう場合があった。
【0004】
本発明は、このような事情に鑑みてなされたもので、その目的は、特定のカメラにおいて撮像条件が低下してしまっても認識精度の低下を低減することができるナンバープレート認識装置、ナンバープレート認識方法、ナンバープレート認識プログラムを提供することにある。
【課題を解決するための手段】
【0005】
上述した課題を解決するために、本発明は、進入する車両のナンバープレートを撮像する複数のカメラと、前記複数のカメラのそれぞれのカメラによって撮像された撮像結果からナンバープレートの文字列をカメラ毎に認識する第1の文字列認識部と、前記第1の文字列認識部によって得られた認識結果に基づき、前記複数のカメラのうち異なるカメラの撮像結果から得られる複数の認識結果を参照し、これら複数の認識結果から得られる文字列を補完して認識結果として出力する第2の文字列認識部とを有することを特徴とする。
【0006】
この発明によれば、複数のカメラのそれぞれが車両の撮像を行い、カメラ毎の撮像結果をそれぞれ文字列の認識を行う。そして、カメラ毎に得られる文字列の認識結果を用いて文字列の補完処理を行うようにした。これにより、同一の車両について複数のカメラから得られる撮像結果を利用した補完処理を行うことができるので、いずれかのカメラにおいて車両の撮像状態が悪かったとしても、他のカメラで撮像して文字認識した結果を用いて補完することができるようになり、文字列の認識精度が低減してしまうことを防止することができる。
【0007】
また、本発明は、前記第1の文字列認識部は、カメラから得られる複数の撮像結果をそれぞれ文字認識を行い、得られる複数の文字認識結果の補完を行い、認識結果として第2の文字列認識部に出力することを特徴とする。
【0008】
また、本発明は、前記複数のカメラのうち少なくとも2つが、撮像範囲が重複していることを特徴とする。
【0009】
また、本発明は、進入する車両のナンバープレートをカメラによって撮像するステップと、前記複数のカメラのそれぞれのカメラによって撮像された撮像結果からナンバープレートの文字列をカメラ毎に認識する第1の文字列認識ステップと、前記第1の文字列認識ステップによって得られた認識結果に基づき、前記複数のカメラのうち異なるカメラの撮像結果から得られる複数の認識結果を参照し、これら複数の認識結果から得られる文字列を補完して認識結果として出力する第2の文字列認識ステップと、を有すること特徴とする。
【0010】
また、本発明は、コンピュータを、進入する車両のナンバープレートをカメラによって撮像する手段、前記複数のカメラのそれぞれのカメラによって撮像された撮像結果からナンバープレートの文字列をカメラ毎に認識する第1の文字列認識手段、前記第1の文字列認識手段によって得られた認識結果に基づき、前記複数のカメラのうち異なるカメラの撮像結果から得られる複数の認識結果を参照し、これら複数の認識結果から得られる文字列を補完して認識結果として出力する第2の文字列認識手段、として機能させるためのナンバープレート認識プログラムである。
【0011】
以上の発明によれば、カメラの撮像結果から精度良くナンバープレートの文字認識を行うことができるので、文字認識の結果を参照することにより車両の同定を行うこともできるようになり、車両の同定に、車両検知器を用いる必要もなくなる。
また、同一車両を複数のカメラで撮像することができればよいので、例えば、車両が車線変更などにより隣接カメラの視野内に入ることがあれば、同一の車両を複数のカメラで撮像することが可能であるので、複数のカメラの視野が必ずしも重複していなくてもよい。
【発明の効果】
【0012】
以上説明したように、この発明によれば、複数のカメラでナンバープレートの撮像を行い、それぞれのカメラの撮像結果から文字認識を行うことで、異なるカメラで撮像された複数の認識結果を得ることができ、この複数の認識結果をもとに、文字認識を行うようにしたので、いずれかのカメラにおける撮像状況が悪く、ナンバープレートの良好な撮像結果が得られなくても、他のカメラで撮像された撮像結果から得られた認識結果を利用して最終的な文字認識を行うことができ、文字認識精度が低減してしまうことを防止することができる。また、一つのカメラでの撮像結果から得られる文字認識結果に比べて、複数のカメラで撮像された結果をもとに、文字認識結果を補完することができるので、従来に比べて認識精度を向上させることができる。
【発明を実施するための最良の形態】
【0013】
以下、本発明の一実施形態によるナンバープレート認識装置について図面を参照して説明する。図1は、この発明の一実施形態によるナンバープレート認識装置の構成を示す概略ブロック図である。
この図において、複数のカメラ1、カメラ2、・・・カメラNは、例えば料金所や駐車場等の車両が通過する場所に設置され、通過ポイントに進入する車両のナンバープレートを撮像する。この各カメラの撮像範囲は、少なくとも、異なるカメラの撮像範囲の一部が重なっており、その重複範囲において車両のナンバープレートを撮像できるようになっていればよい。例えば、料金所において、カメラ1が、第1の走行レーンと第2の走行レーンを撮像し、カメラ2が第2の走行レーンと第3の走行レーンを撮像するようにすることにより、第2の走行レーンについては、撮像対象に対し、異なる方向から撮像することによって、同じ時刻に撮像したとしても、異なる撮像結果を得ることができる。
【0014】
コントローラ101、コントローラ102、コントローラ10M(ただし、M=N)は、それぞれ、異なる1台のカメラに接続されており、この接続されたカメラから得られる撮像結果から、ナンバープレートの文字列を認識し、認識結果を出力する。このコントローラ101、コントローラ102、コントローラ10Mが、上述の第1の文字認識部に相当する。
コントローラ201は、コントローラ101、コントローラ102、コントローラ10Mに接続されており、これらのコントローラから出力されるそれぞれの認識結果に基づいて、文字列の補完をする処理を行い、認識結果を出力する。この出力先としては、例えば、カメラが設けられた料金所や駐車場等を監視する監視装置である。
【0015】
次に、コントローラ101の処理について図面を用いて説明する。ここでは、コントローラ101の処理について説明するが、他のコントローラにおいても同様の処理が行われる。
図2は、コントローラ101の処理を説明するフローチャートである。ここでは、動画像をキャプチャすることにより、1台の車両がカメラ視野を通過する間に同一車両を数フレーム分得ることになる。従って、同一車両の数フレームについて、ナンバープレートの認識処理を行い、認識結果となる文字列の一部に不明文字(例えば、認識結果が‘?’として得られた文字)が混在している場合に、複数のフレームによって得られた認識結果を用いて相互に補間する。これにより、1枚のフレームから得られた認識結果よりも認識ができる文字列の数を増やすことができ、全ての文字列、あるいは全ての文字列に近い数の文字列についての認識結果を導き出す(マージ処理)。これにより、1枚のみ撮像する方式に比べ、文字列の認識率を向上することが可能である。
まず、コントローラは、自身に接続されたカメラ1からの動画像をフレーム単位でキャプチャしてナンバープレートの認識処理を開始すると(ステップS1)、キャプチャしたフレームから、車両が検出されたか否かを判定する(ステップS2)。車両が検出された場合、即ち、キャプチャしたフレームからナンバープレートの文字列があることが検出された場合、同一車両であるか否かを判定する(ステップS3)。この同一車両であるか否かの判定は、キャプチャしたフレームよりも前に得られた数フレーム分のフレームから得られた文字列の一部が一致するか否かに基づいて行われる。
同一車両であると判定されると、コントローラ101は、その認識結果を記憶部に記憶する。
【0016】
一方、同一車両ではないと判定された場合、コントローラ101は、前回までに記憶部に蓄積されたフレームの認識結果を同一車両の認識結果と見なし、補完処理を行い、不要画像を削除する処理を行う。すなわち、ここでは、自身の記憶部を参照し(ステップS6)、過去の蓄積結果に同一車両と見なせるナンバープレートの認識結果と今回得られた認識結果に基づいて補完処理を行い、認識結果を上位であるコントローラ201に認識結果を出力する(ステップS7)。この認識結果を出力した後は、この同一車両と見なされた認識結果を記憶部から削除する。ここでは、この認識結果が得られた元の画像についても削除される。
【0017】
一方、ステップS2において、車両が検出されなかった場合は、一定時間が経過したか否かを判定し(ステップS)、一定時間が経過していなければ、ステップS1に移行し、一定時間が経過していれば、コントローラ101は、前回までに記憶部に蓄積されたフレームの認識結果を同一車両の認識結果と見なし、補完処理を行い、不要画像を削除する処理を行う。すなわち、ここでは、自身の記憶部を参照し、過去の蓄積結果に同一車両と見なせるナンバープレートの認識結果と今回得られた認識結果に基づいて補完処理を行い(ステップS9)、認識結果を上位であるコントローラ201に認識結果を出力する(ステップS10)。この認識結果を出力した後は、この同一車両と見なされた認識結果を記憶部から削除する。ここでは、この認識結果が得られた元の画像についても削除される。
【0018】
次に、ステップS4における同一車両の判定処理について説明する。
図3は、同一車両の判定処理について説明するフローチャートである。
まず、車両が検出された場合に(ステップS20)、同一車両か別車両かの判定処理を開始する(ステップS21)。ここでは、キャプチャしたフレームの過去数フレームを参照し、それらのフレームの認識結果と比較して、ナンバープレート位置を検出し、そのナンバープレートの位置が予め設定されている位置よりも下であるか否かを判定し(ステップS22)、予め決められた位置よりも下であると判定された場合に、ナンバープレートの色を検出し、今回得られたフレームと過去のフレーム間で同じ色であるか否かを判定する(ステップS23)。
【0019】
ナンバープレートの色がおなじであることが検出されると、ナンバープレートを撮像の段数を検出し、今回得られたフレームの段数と過去のフレームで得られた段数とが同じ段数であるか否かを判定する(ステップS24)。ここでいう段数は、例えば、ナンバープレートが複数段設けられる場合もあるからである。
【0020】
ナンバープレートの段数が同じであると判定されると、前回車両を検出してから一定時間内であるか否かを判定する(ステップS25)。ここでは、例えば、カメラの撮像結果から1秒間に何枚のフレームを得るのか、その間隔によって決められる。例えば、前回車両が検出されたフレームから3枚分のフレームが得られた時間が経過したか否かを検出することにより、一定時間が経過したか否かを判定する。
【0021】
ここで、一定時間内であると判定された場合には、同一車両として判定し、図2のステップ5に移行する。ここで、ステップS22からステップS25において、NOと判定された場合には、別車両として判定される(ステップS27)。
【0022】
次に、補完処理について、図面を用いて説明する。
この補完処理を行うにあたり、まずは、得られた認識結果のうち、2つの認識結果が同じ桁数(文字数)であるか否かを検出する。2つの桁数が同じである場合には、図4に示すように、同じ桁に同じ文字がある場合は補間可能と判定し、いずれの桁においてもそれぞれ対応する同じ桁に同じ文字がない場合(全ての文字が一致しない場合)は、補間不可能と判定する。
ここで、補完可能と判定された場合において、一方の認識結果の文字が不明を示す特定の文字(例えば、‘?’)であって、もう一方の認識結果の文字が‘?’ではない場合には、補完する。すなわち、‘?’を、もう一方の認識結果で得られた文字として認識結果を更新する。図4の上段の図では、「?HC8029E」と「S?C8029E」の認識結果を元に補完処理行い、「SHC8029E」なる文字列として認識結果が得られている。
ここで、2つの認識結果において、一部異なる文字が存在する場合には、その桁の文字を認識結果‘?’として得る。例えば、図4の下段においては、「SHC?029E」と「?HC8028E」なる認識結果を元に補完処理を行い、「SHC802?E」なる結果が得られている。
【0023】
一方、2つの認識結果が異なる桁数の場合には、図5に示すように、桁数の小さい方の認識結果を文字の先頭位置を変えて(ずらして)2回行う。対応する桁がない部分は、桁数の大きいほうの認識結果を採用する。先頭位置を変えた両方で補間可能な場合は2つとも認識結果として得る。図5においては、「SHC?029E」と「HC8029E」との認識結果から、‘H’の文字の桁の位置を合わせることにより、「SHC8029E」なる認識結果がえられている。
【0024】
このようにして、得られた認識結果から、補完結果を得る。例えば、図6に示すように、画像から得られた文字列の全ての組み合わせにおいて補完を行い、その補完結果において同じ結果となった個数をカウントするとともに、認識結果と同じものが候補に登録されていないとき(まだ得られていない認識結果が得られた場合)は、新たな候補として一時保存し、カウント対象とする。そして、カウント数が最も大きい認識結果を補完結果として出力をする。なお、単独1位のカウント結果がない場合には、認識結果が不明として出力する。
【0025】
なお、補完処理は、図4から図6を用いて説明した補完処理の手法に限られるものではなく、複数の認識結果から補完処理を行うことができれば、図4から図6において説明した補完処理以外の手法の補完処理を適用するようにしてもよい。
【0026】
次に、各コントローラ(コントローラ101、102、・・・・10N)において認識結果から行うマージ処理について説明する。ここでは、各コントローラ(コントローラ101、102、・・・・10N)から出力された結果は、例えば、図7に示すように、コントローラ201内のメモリ領域の予め決められた先頭アドレスから順に記憶されていき、不要となった認識結果については、順次削除される。
【0027】
図8は、複数のカメラから得られた認識結果を用いてコントローラ201が行うマージ処理を説明するフローチャートである。このマージ処理においては、複数のカメラ間で同一車両の認識結果の重複の有無を判定し、重複している場合はマージ処理を行って、不要画像を削除して単一の認識結果と車両画像を監視装置等に出力するものである。
まず、各カメラから受信して一時的にメモリ領域(図7)内に蓄積されている認識結果の先頭データを読み出し(ステップS30)、後続データがメモリ領域内に格納される時間に応じて予め決められた設定された時間分ウエイトし(ステップS31)、先頭データの次のデータ(認識結果)を読み出す(ステップS32)。ここで、後続データが存在するか否かに基づいて、正しく読み出されたか否かを判定し(ステップS33)、後続データがあれば、認識時刻差が予め決められた時間内(例えば3秒以内)に撮像されたフレームから得られたデータがあるか否かを判定する(ステップS34)。
【0028】
所定の時間内のデータがあれば、取り出したデータがX(Xは、例えば10など、予め決められた数)件目のデータであるか否かを判定し、X件目のデータである場合には、その先頭データと後続のデータとが、それぞれ隣接されたカメラによって撮像された結果から得られたデータであるか否かを判定する。この判定は、例えば、データに付与されている、文字認識されたコントローラの識別番号に基づき、設置位置が隣接するカメラであるか否かの判定を行う。ここでは、各コントローラの識別番号と当該識別番号が隣接するかを示す情報を予め記憶したテーブルを参照して判定するようにしてもよい。また、カメラは、必ずしも隣接設置されたものではなく、同一車両を撮像する可能性がある位置に配置されているか否かを判定するようにすることも可能である。
【0029】
そして、カメラが隣接設置されたものであると判定された場合に、文字認識されたナンバープレートの色が同じであるか否かを判定し(ステップS37)、同じである場合に、ナンバープレートの段数を判定し(ステップS38)、同じである場合には、先頭データと後続データとを用いて補完処理を行い(ステップS39)、補完処理結果のデータを先頭データと置き換える。ここで行われる補完処理は、上述した補完処理(例えば、図4〜図6)と同様の手法が適用可能である。
そして、補完処理が行われると、先頭データと同一車両のデータである後続データについて、メモリ領域内(図7)から削除し、補完処理結果を最終的に補完する別のメモリ領域である補完結果記憶領域に移動し(ステップS41)、カウントアップしたデータの件数をリセットする。
【0030】
これにより、先頭データと同一車両についてのデータがメモリ領域(図7)から削除され、補完された後の先頭データが補完結果記憶領域に移動され、先頭データの領域が空きとなるので、別の車両である後続データが先頭データとして繰り上がり、引き続き、ステップS30からの処理が行われる。
【0031】
ここで、ステップS33、S34、S35において、NOであると判定された場合には、ステップS41に移行する。すなわち、一定時間ウエイトしても後続データがない場合や、認識時刻差が所定時間以内のデータが無い場合には、同一車両のデータが得られる見込みが無い(先頭データしかない)ものとして処理される。また、取り込んだデータの件数をカウントしていき、X件目のデータに達した場合には、同一車両のデータそのものが存在しないものとして処理を行い、ループ回数を制限する。
【0032】
また、ステップS36、S37、S38においてNOを判断された場合には、ステップS32に移行し、今回読み取ったデータの次の後続データを読み出し、読み出したデータの件数をカウントアップして保持する。
【0033】
以上説明した実施形態においては、ステップS39においてマージ処理を行うようにしたので、同一の車両について、1つの認識結果のみを残すことができるので、同じ車両のデータを重複して保存することがなくなり、メモリ領域の利用効率を向上させることができる。
また、前段のコントローラとコントローラ201とを組み合わせるようにしたので、前段のコントローラで予め補完処理を行っておき上位機器(コントローラ201)に精度の良い認識結果を渡すことができ、上位のコントローラにおいては、車両1台につき1枚のみの付帯画像(キャプチャ画像)を残すことが可能である。
【0034】
また、ステップS31において、先頭データを取り出したのち、ウエイト時間を設けるようにしたので、まだメモリ領域に格納されていないが、前段のコントローラにて認識処理されたデータが取り込まれないままになってしまうことを回避することができる。
【0035】
また、ステップS36において、隣接するカメラ同士のデータを用いるようにしたので、例えば、カメラ視野端を通過する車両を撮像した隣接カメラにおいて同一車両の画像が得られていた場合には、その認識結果も利用した文字認識を行うことができる。
【0036】
また、図1におけるコントローラ201の機能を実現するためのプログラムをコンピュータ読み取り可能な記録媒体に記録して、この記録媒体に記録されたプログラムをコンピュータシステムに読み込ませ、実行することによりナンバープレート認識処理を行ってもよい。なお、ここでいう「コンピュータシステム」とは、OSや周辺機器等のハードウェアを含むものとする。
【0037】
また、「コンピュータシステム」は、WWWシステムを利用している場合であれば、ホームページ提供環境(あるいは表示環境)も含むものとする。
また、「コンピュータ読み取り可能な記録媒体」とは、フレキシブルディスク、光磁気ディスク、ROM、CD−ROM等の可搬媒体、コンピュータシステムに内蔵されるハードディスク等の記憶装置のことをいう。さらに「コンピュータ読み取り可能な記録媒体」とは、インターネット等のネットワークや電話回線等の通信回線を介してプログラムを送信する場合の通信線のように、短時間の間、動的にプログラムを保持するもの、その場合のサーバやクライアントとなるコンピュータシステム内部の揮発性メモリのように、一定時間プログラムを保持しているものも含むものとする。また上記プログラムは、前述した機能の一部を実現するためのものであっても良く、さらに前述した機能をコンピュータシステムにすでに記録されているプログラムとの組み合わせで実現できるものであってもよい。
【0038】
以上、この発明の実施形態について図面を参照して詳述してきたが、具体的な構成はこの実施形態に限られるものではなく、この発明の要旨を逸脱しない範囲の設計等も含まれる。
【図面の簡単な説明】
【0039】
【図1】この発明の一実施形態によるナンバープレート認識装置の構成を示す概略ブロック図である。
【図2】コントローラ101の処理を説明するフローチャートである。
【図3】同一車両の判定処理について説明するフローチャートである。
【図4】補完処理について説明する図面である。
【図5】補完処理について説明する図面である。
【図6】補完処理について説明する図面である。
【図7】メモリ領域に記憶されるデータの一例を示す図である。
【図8】複数のカメラから得られた認識結果を用いてコントローラ201が行うマージ処理を説明するフローチャートである。
【符号の説明】
【0040】
1、2、N カメラ
101、102、10N、201、コントローラ

【特許請求の範囲】
【請求項1】
進入する車両のナンバープレートを撮像する複数のカメラと、
前記複数のカメラのそれぞれのカメラによって撮像された撮像結果からナンバープレートの文字列をカメラ毎に認識する第1の文字列認識部と、
前記第1の文字列認識部によって得られた認識結果に基づき、前記複数のカメラのうち異なるカメラの撮像結果から得られる複数の認識結果を参照し、これら複数の認識結果から得られる文字列を補完して認識結果として出力する第2の文字列認識部と
を有することを特徴とするナンバープレート認識装置。
【請求項2】
前記第1の文字列認識部は、カメラから得られる複数の撮像結果をそれぞれ文字認識を行い、得られる複数の文字認識結果の補完を行い、認識結果として第2の文字列認識部に出力する
ことを特徴とする請求項1記載のナンバープレート認識装置。
【請求項3】
前記複数のカメラのうち少なくとも2つが、撮像範囲が重複している
ことを特徴とする請求項1または請求項2記載のナンバープレート認識装置。
【請求項4】
進入する車両のナンバープレートをカメラによって撮像するステップと、
前記複数のカメラのそれぞれのカメラによって撮像された撮像結果からナンバープレートの文字列をカメラ毎に認識する第1の文字列認識ステップと、
前記第1の文字列認識ステップによって得られた認識結果に基づき、前記複数のカメラのうち異なるカメラの撮像結果から得られる複数の認識結果を参照し、これら複数の認識結果から得られる文字列を補完して認識結果として出力する第2の文字列認識ステップと、
を有すること特徴とするナンバープレート認識方法。
【請求項5】
コンピュータを、
進入する車両のナンバープレートをカメラによって撮像する手段、
前記複数のカメラのそれぞれのカメラによって撮像された撮像結果からナンバープレートの文字列をカメラ毎に認識する第1の文字列認識手段、
前記第1の文字列認識手段によって得られた認識結果に基づき、前記複数のカメラのうち異なるカメラの撮像結果から得られる複数の認識結果を参照し、これら複数の認識結果から得られる文字列を補完して認識結果として出力する第2の文字列認識手段、
として機能させるためのナンバープレート認識プログラム。

【図1】
image rotate

【図2】
image rotate

【図3】
image rotate

【図4】
image rotate

【図5】
image rotate

【図6】
image rotate

【図7】
image rotate

【図8】
image rotate


【公開番号】特開2009−169827(P2009−169827A)
【公開日】平成21年7月30日(2009.7.30)
【国際特許分類】
【出願番号】特願2008−9250(P2008−9250)
【出願日】平成20年1月18日(2008.1.18)
【出願人】(000006208)三菱重工業株式会社 (10,378)
【Fターム(参考)】