説明

ナンバープレート読み取り装置

【課題】撮像手段の設置位置の自由度が高く、かつ、設置に伴う作業負担を軽減できるナンバープレート読み取り装置を提供することを目的とする。
【解決手段】撮像部101は、車両Vの前面部Fを斜め前方から撮像するように設置される。そして、撮像部101が撮像した画像からナンバープレート領域を検出し、初めて検出したナンバープレート領域画像を基準画像とした平面射影変換を行い、より近くで撮像した幾何学的歪みのより大きなナンバープレート領域画像の歪みを補正する。更に、平面射影変換にスケーリング(拡大率)パラメータを導入して、平面射影変換によって解像度が失われることを抑制する。

【発明の詳細な説明】
【技術分野】
【0001】
本発明は、車両を、当該車両の進行方向に対して斜めから撮像し、撮像した画像からナンバープレートの文字を認識するナンバープレート読み取り装置に関する。
【背景技術】
【0002】
従来、この種のナンバープレート読み取り装置として、例えば、特許文献1に記載されるような装置があった。
このナンバープレート読み取り装置では、撮像機で撮像した画像データに対して、車両を斜め前方から撮像することにより生ずるナンバープレート画像の幾何学的な歪みを、撮像機の設置条件(設置位置)に基づくパラメータに従って補正することで、ナンバープレート読み取りの認識率を向上させている。
【先行技術文献】
【特許文献】
【0003】
【特許文献1】特開平6−274788号公報
【発明の概要】
【発明が解決しようとする課題】
【0004】
しかし、従来のように、撮像機(カメラ)の設置条件(設置位置)に基づき、幾何学的な歪み補正のパラメータを決定する場合、例えば、撮像機の設置条件を固定とすれば、共通の補正パラメータを用いることができるが、実際的には設置条件を満たすように撮像機を設置することが困難な場合があった。一方、設置条件に合わせ、個々に補正パラメータを決定するようにした場合、異なる設置条件毎に補正パラメータを再算出することが必要になる。
このように、従来装置では、撮像機の設置条件が限定されたり、設置条件の変更に対して補正パラメータの再計算が必要になったりするため、ナンバープレート読み取り装置の設置位置の自由度が低く、また、設置に伴う作業負担が大きいという問題があった。
【0005】
本発明は上記問題点に着目してなされたものであり、撮像手段の設置位置の自由度が高く、かつ、設置に伴う作業負担を軽減できるナンバープレート読み取り装置を提供することを目的とする。
【課題を解決するための手段】
【0006】
このため、請求項1に係る発明は、車両を、当該車両の進行方向に対して斜めから撮像する撮像手段と、前記撮像手段が撮像した画像からナンバープレート領域を検出するナンバープレート検出手段と、前記ナンバープレート検出手段が検出したナンバープレート領域の幾何学的歪み補正を行う歪み補正手段と、前記歪み補正手段が幾何学的歪み補正を行ったナンバープレート領域の文字を認識する文字認識手段と、を含み、前記歪み補正手段が、補正対象の画像よりも遠方で撮像した画像のナンバープレート領域を基準画像として、幾何学的歪み補正を行うようにした。
【0007】
係る構成では、撮像手段が、車両を、当該車両の進行方向に対して斜めから撮像するから、近くで撮像した画像は、解像度が高いものの幾何学的歪みが大きく、遠くで撮像した画像は、解像度が低いものの幾何学的歪みが小さいので、幾何学的歪みが小さいより遠方で撮像した画像を基準画像とし、より近くで撮像し幾何学的歪みが大きな画像の幾何学的歪みを補正する。
【0008】
上記請求項1の構成において、請求項2のように、前記歪み補正手段が、前記領域検出手段が検出したナンバープレート領域のうちで車両毎に最も遠い位置での画像を基準画像とすることができる。
係る構成では、ナンバープレート領域を検出することができた最も遠い位置での画像を基準として、より近い位置で撮像し、より幾何学的歪みが大きな画像について、幾何学的歪みを補正する。
【0009】
また、上記請求項1の構成において、請求項3のように、前記撮像手段から設定距離だけ離れた位置で車両を検知する車両検知手段を備え、前記歪み補正手段が、前記車両検知手段によって車両を検知したときに前記撮像手段が撮像した画像のナンバープレート領域を基準画像とすることができる。
係る構成では、撮像手段から一定の距離に車両が位置していることを車両検知手段が検知すると、そのときの画像を基準画像とし、車両がより近い状態で撮像した幾何学的歪みが大きな画像について、幾何学的歪みを補正する。
【0010】
上記請求項1〜3のいずれか1つに記載の構成において、請求項4のように、前記歪み補正手段が、拡大しながら幾何学的な変換を行うことができる。
係る構成では、解像度が比較的低い基準画像を用いた幾何学的歪みの補正において、拡大しながら幾何学的な変換を行うことで、補正後の画像の解像度をナンバー認識に適したレベルとする。
【0011】
上記請求項4の構成において、請求項5のように、前記歪み補正手段が、幾何学的歪み補正後のナンバープレート領域が一定以上の大きさになるように、前記基準画像の大きさに応じて拡大率を設定することができる。
係る構成では、基準画像の大きさ(解像度)が小さい場合には、拡大補正なしで得られる歪み補正後の画像の大きさ(解像度)が小さくなってしまうので、基準画像の大きさ(解像度)に応じて拡大率を設定することで、基準画像の大きさ(解像度)が異なっても、一定以上の大きさ(ナンバー認識に適した解像度)に拡大できるようにする。
【0012】
上記請求項1〜5のいずれか1つに記載の構成において、請求項6のように、前記歪み補正手段が、幾何学的歪み補正を行った同一車両における複数のナンバープレート領域の画像から高解像度画像を生成し、前記文字認識手段が、前記高解像度画像から文字を認識するようにできる。
係る構成では、幾何学的歪み補正を施した複数の画像から対象画像の解像力を高める補正を行い、解像力を高めた高解像力画像(超解像度画像)について文字認識を行う。
【発明の効果】
【0013】
本願発明に係るナンバープレート読み取り装置によれば、撮像手段が実際に撮像した画像を基準画像として用いて、幾何学的歪みの補正を行うので、撮像手段の設置位置に適合する補正パラメータを予め設定しておく必要がなく、また、設置位置の変更に伴って補正パラメータを再計算する必要がなく、撮像手段の設置位置の自由度を高め、かつ、設置に伴う作業負担を軽減できる。
【図面の簡単な説明】
【0014】
【図1】本願発明に係るナンバープレート読み取り装置の第1実施形態を示すブロック図
【図2】上記第1実施形態のナンバープレート読み取り装置を適用する車両入退場管理システムを示す概略図
【図3】上記第1実施形態におけるナンバープレート領域画像の特性を説明するための図
【図4】上記第1実施形態における読み取り処理の手順を示すフローチャート
【図5】上記第1実施形態における複数のナンバープレート領域についての読み取り処理の手順を示すフローチャート
【図6】超解像処理を用いるナンバープレート読み取り装置の第2実施形態を示すブロック図
【図7】上記第2実施形態における読み取り処理の手順を示すフローチャート
【図8】上記第2実施形態における超解像処理の手順を示すフローチャート
【図9】上記第2実施形態における複数のナンバープレート領域についての読み取り処理の手順を示すフローチャート
【発明を実施するための形態】
【0015】
以下、本発明の実施の形態を図面に基づいて説明する。
図1は、本発明に係るナンバープレート読み取り装置の実施形態を示すブロック図である。
ナンバープレート読み取り装置100は、車両を撮像する撮像部(ビデオカメラ、撮像手段)101と、撮像部101が撮像した車両の画像からナンバープレート領域を検出するナンバープレート検出部(ナンバープレート検出手段)102と、該ナンバープレート検出部102におけるナンバープレート領域の検出に用いるナンバープレート検出用データを記憶するナンバープレート検出用データ記憶部103と、ナンバープレート検出部102が検出したナンバープレート領域の位置情報を記憶する位置情報記憶部104a及び撮像部101が撮像した画像を記憶する画像記憶部104bとを含む画像情報記憶部104と、ナンバープレート画像間における対応位置を算出するナンバープレート対応位置算出部105と、ナンバープレート領域の幾何学的歪みを補正する幾何学的歪み補正部(歪み補正手段)106と、ナンバープレート領域画像から文字を認識する文字認識部(文字認識手段)107と、該文字認識部107における文字認識に用いる文字認識用データを記憶する文字認識用データ記憶部108とを備える。
【0016】
上記構成のナンバープレート読み取り装置100は、例えば、図2に示すように、車両のナンバーを識別し、登録車両の入退場管理を行う車両入退場管理システムに用いる。
図2に示す車両入退場管理システムは、入場側の道路L1を走行してくる車両V1を撮像するための撮像部101aと、退場側の道路L2を走行してくる車両V2を撮像するための撮像部101bとを備え、各撮像部101a,101bが撮像した画像は、ナンバープレート認識装置120に送られる。
【0017】
ナンバープレート認識装置120は、図1に示したナンバープレート検出部102、ナンバープレート検出用データ記憶部103、画像情報記憶部104、ナンバープレート対応位置算出部105、幾何学的歪み補正部106、文字認識部107、文字認識用データ記憶部108を含んで構成される。
そして、ナンバープレート認識装置120は、各撮像部101a,101bが撮像した画像から認識した車両V1,V2のナンバーが、車両ナンバー管理サーバ130に予め登録されているか否かの情報(ゲート開閉指示信号)を、各道路L1,L2のゲート140a,140bを開閉するゲート制御装置150a,150bに送る。ゲート制御装置150a,150bは、例えば、予め登録されているナンバーの車両であった場合に、ゲート140a,140bを開いて入退場を許可する。
【0018】
撮像部101a,101bは、相互に平行に延びる道路L1,L2の間に配置され、各撮像部101a,101bが、車両V1,V2の前面部Fを斜め前方から撮像するように、換言すれば、車両の進行方向に対して斜めから撮像するように、撮像方向D1,D2を設定してある。
尚、図2に示す実施形態では、撮像部101を車道Lの脇に設置し、撮像部101の撮像方向を水平方向に振って、車両V1,V2の前面部Fを斜め前方から撮像するようにしたが、例えば、車道Lを跨ぐゲートを設け、該ゲートの略中央に、車両V1,V2の前面部Fを上方から斜めに撮像するように、撮像部101をその撮像方向が斜め下方を向くように設置することもでき、撮像部101の設置位置は適宜変更できる。
【0019】
図1に示したナンバープレート検出部102は、テンプレートマッチングや文献:「Paul Viola et al. Rapid Object Detection using a Boosted Cascade of Simple Features. Proc of IEEE CVPR,2001.」に開示される物体検出方法などによって、撮像部101が撮像した画像から車両のナンバープレートに相当する領域(画素)を検出する。
ナンバープレート検出部102がテンプレートマッチングによってナンバープレート領域を検出する場合、ナンバープレート検出用データ記憶部103にはナンバープレート領域のデンプレートを予め登録する。そして、ナンバープレート検出部102は、記憶部103に登録してあるテンプレート画像を、撮像部101が撮像した画像中から探索して、ナンバープレート領域を検出する。
【0020】
また、ナンバープレート検出部102が、前記文献に開示される物体検出方法でナンバープレート領域を検出する場合、ナンバープレート検出用データ記憶部103には、予め算出したナンバープレート検出用パラメータを登録する。そして、ナンバープレート検出部102は、記憶部103に登録してあるパラメータを用いて、撮像部101が撮像した画像中からナンバープレート領域を検出する。
尚、ナンバープレート検出部102におけるナンバープレート領域の検出方法としては、前記テンプレートマッチング,物体検出方法の他、公知の種々の方法を適宜採用できる。
【0021】
位置情報記憶部104aは、ナンバープレート検出部102が検出したナンバープレート領域の位置情報を記憶し、画像記憶部104bは、撮像部101が撮像した画像のデータを記憶する。
そして、ナンバープレート対応位置算出部105は、画像情報記憶部104が記憶するナンバープレート領域の位置情報及び画像データに基づき、ナンバープレート画像間における対応位置を算出する。
【0022】
対応位置の算出においては、ブロックマッチング法やLucas-Kanade法(Simon Baker et al. Lucas-Kanade 20 Years On: A Unifying Framework. International Journal of Computer Vision, Vol.56,No.3,2004.)などを利用し、ナンバープレート領域の特徴点(特異点)が一時的に隠れたりして途切れても、途切れた軌跡を延長し、特徴点の追跡(トラッキング)が行えるようにする。
また、ナンバープレート領域における特徴点(特異点)は、例えば、Harris,Stephens,Plesseyのコーナー検出アルゴリズムなどのコーナー検出法(特異点検出法)を用いて、ナンバープレート画像における数字の角などを特徴点(特異点)として検出し、この特徴点(特異点)をナンバープレート画像間における対応点とする。
【0023】
幾何学的歪み補正部106は、ナンバープレート対応位置算出部105が算出した、ナンバープレート画像間における対応位置(特徴点)の情報に基づき、補正対象のナンバープレート領域の幾何学的歪みを補正する。
前述のように、撮像部101は、車両Vの前面部Fを斜め前方から撮像するので、本来長方形であるナンバープレート領域が、図3に示すように幾何学的に歪んで撮像され、この歪み(変形)は、撮像部101から車両Vまでの距離が近いほど大きく、車両Vまでの距離が遠くなるほど小さくなる。
【0024】
ナンバープレート領域の画像が同じ解像度(画素数、大きさ)であれば、歪み(変形)が小さいほど文字の認識精度は高くなるが、遠い位置で撮像したナンバープレート領域は、解像度が低く(画素数・大きさが小さく)、文字認識に適さないことになってしまう。
そこで、幾何学的歪み補正部106は、歪みが大きな画像(近くで撮像した画像)を、歪みが小さい画像に変換する平面射影変換を行って、歪み(変形)が充分に小さい画像を生成する幾何学的歪み補正を実施し、該歪み補正後の画像から文字を認識させる。
【0025】
ここで、平面射影変換においては、補正対象のナンバープレート画像よりも遠くで撮像され、補正対象のナンバープレート画像よりも幾何学的歪みが小さい画像を基本画像とし、補正対象画像を前記基本画像に貼り付けるような変換を行うことで、補正対象画像の歪みをより小さくする。
前記平面射影変換のパラメータは、3×3の行列で表され、基本画像と補正対象画像との間における4組以上の対応点から算出することができ、変換前の座標をx,y、変換後の座標をx’,y’とすると、数1で表される。
【0026】
【数1】

但し、基本画像は、補正対象画像よりも遠い位置で撮像した画像であって、解像度が低い(ナンバープレートの画像領域が小さい)から、そのままの変換パラメータを用いて変換すると、補正対象画像の幾何学的歪みは補正されるものの、補正対象画像の解像度よりも補正後の画像の解像度が低下し、補正対象画像の解像度が失われてしまう。
【0027】
そこで、平面射影変換にスケーリング(拡大率)パラメータを導入して、平面射影変換によって解像度が失われることを抑制する。
スケーリング(拡大率)パラメータは、補正対象画像におけるナンバープレート領域の大きさ(幅方向・高さ方向の画素数)と、文字認識に用いたい任意のナンバープレート領域の大きさ(幅方向・高さ方向の画素数)とから算出することができる。例えば、基本画像におけるナンバープレート領域の幅が40画素で表されていて、文字認識に用いたいナンバープレート領域の幅が200画素である場合、幅方向のスケーリングパラメータは5となる。
【0028】
前記スケーリングパラメータを導入した幾何学的歪み補正(平面射影変換)は、幅方向及び高さ方向のスケーリングパラメータをSx,Syとしたときに、数2で表される。
【数2】

尚、幅方向のスケーリングパラメータSxと、高さ方向のスケーリングパラメータSyとを、同じ値に設定してもよい。
【0029】
ここで、補正対象画像よりも遠くで撮像され、幾何学的歪みが補正対象画像よりも小さい基本画像としては、車両毎に初めてナンバープレート領域を検出した画像、即ち、当該車両において、最も遠くでナンバープレート領域を検出した画像、換言すれば、ナンバープレート領域の移動の追跡(トラッキング)を開始した時点の画像とすることができる。
この場合、車両毎に初めてナンバープレート領域を検出すると、そのときのナンバープレート領域を基本画像として設定し、次回の画像から順次この基本画像に補正対象画像を貼り付けるように平面射影変換を行って、幾何学的歪みとして基本画像の歪みを有する補正画像を生成し、補正した画像について文字認識を行わせる。
【0030】
尚、初めてナンバープレート領域を検出した画像を、基本画像の決定基準点とし、例えば、その時点から設定画像数後(設定フレーム数後)の画像を基本画像としてもよい。
また、図2に示すように、ナンバープレート領域の検出が安定的に可能な距離内であって、撮像部101からなるべく遠い位置に車両Vが位置していることを検出する車両検知センサ(車両検知手段)160を設け、この車両検知センサ160が車両Vを検知すると、そのときに撮像部101が撮像した画像からナンバープレート領域を検出し、これを基本画像として、その後に撮像した画像について、幾何学的歪みを補正する処理を施すことができる。
【0031】
また、ナンバープレートの移動を追跡(トラッキング)している途中で、ナンバープレート領域の大きさ(解像度)が設定値になった画像を基本画像に設定し、その後に撮像した画像について、幾何学的歪みを補正する処理を施すことができる。
更に、補正対象画像から遡って基準画像を設定することも可能であり、遡る基準として、補正対象画像の解像度に対して所定割合(<100%)の解像度であったナンバープレート領域画像を基本画像として選択したり、補正対象画像との間において平面射影変換に必要な対応点を特定できた最も遠い位置でも画像を基準画像としたり、補正対象画像から設定画像(フレーム)数,設定時間,設定距離だけ遡った画像を基本画像とすることも可能である。
【0032】
幾何学的歪み補正部106で幾何学的歪み補正を施したナンバープレート領域の画像は、文字認識部107に送られ、文字認識部107では、ナンバープレート領域の文字、即ち、車両ナンバーを読み取る。
文字認識部107は、例えば、デンプレートマッチングなどの方法によって、類似度が最も高いテンプレートの文字コードを算出する。この場合、文字認識用データ記憶部108には、文字認識用データとして、ナンバープレートに使用される文字のテンプレートとその文字コードが登録される。
【0033】
図4は、上記ナンバープレート読み取り装置100における読み取り処理の手順を示すフローチャートである。
まず、ステップS201では、撮像部101による撮像を行い、車両Vの前面部Fを斜め前方から撮像した画像を得る。
【0034】
ステップS202では、トラッキング中のナンバープレート情報(処理中のナンバープレート情報)があるか否かを判断する。
そして、トラッキング中のナンバープレート情報がない場合には、ステップS203へ進んで、今回撮像した画像中からナンバープレート領域の検出を行う。
【0035】
ステップS204では、ナンバープレート領域を検出したか否かを判断し、ナンバープレート領域を検出した場合には、ステップS205へ進み、検出したナンバープレート領域の位置情報を記憶し、当該ナンバープレート領域のトラッキングを開始させる。
これにより、ステップS202に戻ったときに、トラッキング中のナンバープレート情報があると判断し、ステップS206へ進むようになる。
【0036】
ステップS206では、ナンバープレート領域画像間の対応位置を算出して、ナンバープレート領域中の特徴点の動きを追跡し、ステップS207では、前記対応位置の情報と、基本画像の解像度(大きさ)の情報とから、平面射影変換におけるパラメータ(スケーリングパラメータを含む)を算出して、補正対象のナンバープレート領域画像について幾何学的歪みを補正する処理(平面射影変換)を実行する。
そして、次のステップS208では、幾何学的歪み補正を施したナンバープレート領域の画像について、文字を認識する処理を行って、車両ナンバーを読み取る。
【0037】
図2に示す車両入退場管理システムにおいては、読み取った車両ナンバーと予め登録されているナンバーと照合し、照合結果に基づきゲート開閉を制御する。
上記実施形態のナンバープレート読み取り装置100によると、補正対象画像よりも遠い位置で撮像した、より幾何学的歪みが小さい画像を基準画像とし、この基準画像と補正対象画像との対応位置情報に基づき、補正対象画像を基準画像側に貼り付けるような変換を行って、ナンバープレート領域の幾何学的歪みを補正する。
【0038】
従って、予め撮像部101の設置位置を特定して、補正パラメータを算出しておく必要がないため、撮像部101の設置位置の自由度を高くでき、また、補正パラメータの適合負担を軽減できる。
また、撮像部101から離れた位置で撮像した画像は、撮像部101から離れるほど幾何学的歪みは小さくなるが解像度は低くなってしまうため、係る画像を基準画像として幾何学的歪みを補正した場合、補正後の画像の解像度が低くなり、歪みはより小さく補正できても解像度の低下によって文字の認識率が低下してしまう。これに対し、本実施形態では、幾何学的歪み補正(平面射影変換)において、スケーリング(拡大率)パラメータを導入することで、文字認識に適した解像度でかつ幾何学的歪みが小さく補正された画像を得ることができ、文字の認識率を維持できる。
【0039】
尚、車両Vの後面部を斜め後方から撮像し、車両Vの後面部に取り付けられたナンバープレートを読み取る構成において、幾何学的歪みを補正する補正対象画像よりも、離れた位置で撮像した画像(時間的に後で撮像した画像)を基準画像とし、幾何学的歪み補正を実施させることができる。この場合、基準画像を後から取得することになり、基準画像を特定した後で、先に撮像した画像について遡って幾何学的歪み補正を実施することになる。
また、撮像部101の撮像領域内に複数の車両Vが存在し、複数のナンバープレート領域を検出した場合には、ナンバープレート毎に個別にトラッキングし、それぞれに補正対象画像よりも遠い位置で撮像した画像を基本画像として、幾何学的歪み補正を行わせ、補正後の画像からナンバーを読み取るようにすることができる。
【0040】
図5のフローチャートは、撮像領域内で複数のナンバープレート領域を検出して、それぞれのナンバープレート領域についてナンバー読み取りを行う場合の処理手順を示す。
まず、ステップS301では、撮像部101による撮像を行い、車両Vの前面部Fを斜め前方から撮像した画像を得る。
ステップS302では、トラッキング中のナンバープレート情報があるか否かを判断する。
【0041】
そして、トラッキング中のナンバープレート情報がない場合には、ステップS303へ進んで、撮像した画像中からナンバープレート領域の検出を行う。
ステップS304では、ナンバープレート領域を検出したか否かを判断し、ナンバープレート領域を検出した場合には、ステップS305へ進み、検出したナンバープレート領域の位置情報を記憶し、当該ナンバープレート領域のトラッキングを開始させる。
【0042】
これにより、ステップS302に戻ったときに、トラッキング中のナンバープレート情報があると判断するようになる。
ステップS302でトラッキング中のナンバープレート情報があると判断した場合、ステップS306〜ステップS309の処理(ナンバー読み取り処理)と、ステップS311〜ステップS314の処理(新たなナンバープレート領域の探索)とを並行して実施する。
【0043】
ステップS306では、ナンバープレート領域画像間の対応位置を算出して、ナンバープレート領域中の特徴点の動きを追跡し、ステップS307では、前記対応位置の情報と、基本画像の解像度(大きさ)の情報とから、平面射影変換におけるパラメータ(スケーリングパラメータを含む)を算出して、補正対象のナンバープレート領域画像について幾何学的歪みを補正する処理(平面射影変換)を実行する。
そして、次のステップS308では、幾何学的歪み補正を施したナンバープレート領域について、文字認識を行って車両ナンバーを読み取る。
【0044】
ステップS309では、トラッキング中のナンバープレート領域全てについて、幾何学的歪み補正を施して文字認識を行ったか否かを判断し、トラッキング中のナンバープレート領域が複数存在し、幾何学的歪み補正・文字認識を行っていないナンバープレート領域がある場合(別の車両のナンバープレートが撮像部101の撮像領域内に存在する場合)には、ステップS306に戻って、処理済みでないナンバープレート領域について、対応位置の算出・幾何学的歪みの補正・文字認識の処理を実施する。
そして、ステップS309で、幾何学的歪み補正・文字認識を行っていないナンバープレート領域がないと判断した場合、換言すれば、トラッキング中のナンバープレート領域の全てについて幾何学的歪み補正・文字認識を行った場合には、ステップS301に戻る。
【0045】
また、ステップS311では、撮像画像中からナンバープレート領域を検出し、ステップS312では、ナンバープレート領域を検出したか否かを判別し、ナンバープレート領域を検出した場合、ステップS313へ進む。
ステップS313では、トラッキング中のナンバープレート領域とは別のナンバープレート領域を検出したか否かを判別し、新たに別のナンバープレート領域を検出した場合には、ステップS314へ進み、そのナンバープレート領域の位置情報を記憶し、当該ナンバープレート領域について個別にトラッキングを開始させる。
上記の処理によって、撮像部101が複数のナンバープレートを撮像している場合には、ナンバープレート領域毎にトラッキングして、それぞれのナンバープレートの文字(車両ナンバー)を読み取ることができる。
【0046】
ところで、上記実施形態のように、解像度を保ったまま幾何学的歪みを補正することで、車両ナンバーの認識率を向上させることができるが、更に、認識率を向上させる処理として、超解像処理を併用することができる。
超解像処理とは、複数の入力画像からより解像力の高い高解像力画像(超解像度画像)を再構成する画像処理技術であり、本実施形態の場合、幾何学的歪みを補正した画像を時系列的に複数生成するので、これらの歪み補正済みの複数の画像から、より解像力の高い画像を生成し、この超解像度画像から文字を認識させるようにすれば、文字の認識率を更に向上させることが可能である。
【0047】
尚、超解像処理としては、公知の種々の方法を用いることができ、例えば、特開2008−109375号公報に開示される、複数の入力画像間の位置ずれ情報と、複数の入力画像とに基づき、未定義画素を含む平均画像及び重み画像を生成し、平均画像に含まれている未定義画素の画素値を推定することによって、超解像度画像を生成する方法の他、ML(Maximum-likelihood)法、MAP(Maximum A Posterior)法、POCS(Projection On to Convex Sets)法などの方法を、適宜採用することができる。
【0048】
図6は、超解像処理を実施するナンバープレート読み取り装置100の構成を示すブロック図である。尚、図6のブロック図において、図1と同一要素には同一符号を付してある。
図6において、ナンバープレート読み取り装置100は、車両を撮像する撮像部(ビデオカメラ、撮像手段)101と、撮像部101が撮像した画像からナンバープレート領域を検出するナンバープレート検出部(ナンバープレート検出手段)102と、該ナンバープレート検出部102におけるナンバープレート領域の検出に用いるナンバープレート検出用データを記憶するナンバープレート検出用データ記憶部103と、画像情報記憶部104と、ナンバープレート画像間の対応位置を算出するナンバープレート対応位置算出部105と、ナンバープレート領域の幾何学的歪みを補正する幾何学的歪み補正部(歪み補正手段)106と、ナンバープレート領域の文字を認識する文字認識部(文字認識手段)107と、該文字認識部107における文字認識に用いる文字認識用データを記憶する文字認識用データ記憶部108と、幾何学的歪みが補正された複数の画像から、超解像度画像を生成する超解像処理部109とを備える。
【0049】
画像情報記憶部104は、ナンバープレート検出部102が検出したナンバープレート領域の位置情報を記憶する位置情報記憶部104aと、撮像部101が撮像した画像を記憶する画像記憶部104bと、幾何学的歪み補正部106が幾何学的歪みを補正した画像を記憶する歪み補正画像記憶部104dとを備える。
そして、超解像処理部109は、歪み補正画像記憶部104dが記憶する複数の歪み補正済みの画像から、歪み補正済みの画像よりも解像力の高い超解像度画像を生成し、文字認識部107は、超解像処理部109が生成した超解像度画像から文字を認識する。
【0050】
図7のフローチャートは、超解像処理を実施するナンバープレート読み取り装置100における読み取り処理の手順を示すフローチャートである。
まず、ステップS401では、撮像部101による撮像を行い、車両Vの前面部Fを斜め前方から撮像した画像を得るようにする。
【0051】
ステップS402では、トラッキング中のナンバープレート情報があるか否かを判断する。
そして、トラッキング中のナンバープレート情報がない場合には、ステップS403へ進んで、撮像画像中からナンバープレート領域の検出を行う。
【0052】
ステップS404では、ナンバープレート領域を検出したか否かを判断し、ナンバープレート領域を検出した場合には、ステップS405へ進み、検出したナンバープレート領域の位置情報を記憶し、当該ナンバープレート領域のトラッキングを開始させる。
これにより、ステップS402に戻ったときに、トラッキング中のナンバープレート情報があると判断し、ステップS406へ進むようになる。
【0053】
ステップS406では、ナンバープレート領域画像間の対応位置を算出して、ナンバープレート領域中の特徴点の動きを追跡する。
ステップS407では、前記対応位置の情報と、基本画像の解像度(大きさ)の情報とから、平面射影変換におけるパラメータ(スケーリングパラメータを含む)を算出して、補正対象のナンバープレート領域画像について幾何学的歪みを補正する処理(平面射影変換)を実行する。
【0054】
ステップS408では、幾何学的歪みを補正した画像を記憶する。
そして、ステップS409では、それまでに歪み補正を施した複数のナンバープレート領域画像から、より解像力の高い超解像度画像を生成する超解像処理を実施する。
図8のフローチャートは、ステップS409における超解像処理の手順を示す。
まず、ステップS601では、歪み補正を施した複数のナンバープレート領域画像から、平均画像及び重み画像を生成する。次いで、ステップS602では、MAP(Maximum A Posterior)法に基づき、超解像度画像を生成する。
【0055】
ステップS410では、ステップS409で生成した超解像度画像を参照して、文字を認識し、車両ナンバーを読み取る。
前述の超解像処理は、複数のナンバープレート領域を並行して追跡する場合にも適用でき、その場合の読み取り処理の手順を、図9のフローチャートに従って説明する。
【0056】
まず、ステップS501では、撮像部101による撮像を行い、車両Vの前面部Fを斜め前方から撮像した画像を得るようにする。
ステップS502では、トラッキング中のナンバープレート情報があるか否かを判断する。
そして、トラッキング中のナンバープレート情報がない場合には、ステップS503へ進んで、撮像画像からナンバープレート領域の検出を行う。
【0057】
ステップS504では、ナンバープレート領域を検出したか否かを判断し、ナンバープレート領域を検出した場合には、ステップS505へ進み、検出したナンバープレート領域の位置情報を記憶し、当該ナンバープレート領域のトラッキングを開始させる。
これにより、ステップS502に戻ったときに、トラッキング中のナンバープレート情報があると判断するようになる。
【0058】
ステップS502でトラッキング中のナンバープレート情報があると判断した場合、ステップS506〜ステップS512の処理(ナンバー読み取り処理)と、ステップS521〜ステップS524の処理(新たなナンバープレート領域の探索)とを並行して実施する。
ステップS506では、ナンバープレート領域画像間の対応位置を算出して、ナンバープレート領域中の特徴点の動きを追跡する。
【0059】
ステップS507では、前記対応位置の情報と、基本画像の解像度(大きさ)の情報とから、平面射影変換におけるパラメータ(スケーリングパラメータを含む)を算出して、補正対象のナンバープレート領域画像について幾何学的歪みを補正する処理(平面射影変換)を実行する。
ステップS508では、幾何学的歪みを補正した画像を記憶する。
そして、ステップS509では、それまでに歪み補正を施した複数のナンバープレート領域画像から、より解像力の高い超解像度画像を生成する。係る超解像処理は、既述した図8のフローチャートに示す手順で行われる。
【0060】
ステップS510では、ステップS509で生成した超解像度画像を参照して、文字を認識し、車両ナンバーを読み取る。
ステップS511では、トラッキング中のナンバープレート領域全てについて、超解像度画像の生成を行って文字認識を行ったか否かを判断し、トラッキング中のナンバープレート領域が複数存在し、超解像度画像を生成しての文字認識を行っていないナンバープレート領域がある場合(別の車両のナンバープレートが撮像部101の撮像領域内に存在する場合)には、ステップS506に戻って、処理済みでないナンバープレート領域について、対応位置の算出・幾何学的歪みの補正・超解像処理・文字認識の処理を実施する。
【0061】
そして、ステップS511で、超解像度画像を生成しての文字認識を行っていないナンバープレート領域がないと判断した場合、換言すれば、トラッキング中のナンバープレート領域の全てについて超解像度画像を生成して文字認識を行った場合には、ステップS501に戻る。
また、ステップS521では、ナンバープレート領域を検出し、ステップS522では、ナンバープレート領域を検出したか否かを判別し、ナンバープレート領域を検出した場合、ステップS523へ進む。
【0062】
ステップS523では、トラッキング中のナンバープレート領域とは別のナンバープレート領域を検出したか否かを判別し、新たに別のナンバープレート領域を検出した場合には、ステップS524へ進み、そのナンバープレート領域の位置情報を記憶し、当該ナンバープレート領域について個別にトラッキングを開始させる。
上記の処理によって、撮像部101が複数のナンバープレートを撮像している場合には、ナンバープレート領域毎にトラッキングして、それぞれのナンバープレートの文字(車両ナンバー)を、超解像処理を施した画像から読み取ることができる。
【0063】
以上、好ましい実施例を参照して本発明の内容を具体的に説明したが、本発明の基本的技術思想及び教示に基づいて、当業者であれば、種々の変形態様を採り得ることは自明である。
例えば、車両検知センサ160を備える場合に、地下駐車場などの暗い環境の場合や夜間での撮影用の照明を、車両検知センサ160が車両を検知したときに点灯させ、点灯に伴って撮像部101による撮像を開始させるようにし、ゲート通過(ゲート開閉)に伴って撮影用の照明を消灯させることができる。
また、図2に示した構成では、撮像部101とナンバープレート認識装置120とを別体としたが、一体化して設置させることができ、これによって、コンパクトなシステムを実現できる。
【符号の説明】
【0064】
100 ナンバープレート読み取り装置
101 撮像部(撮像手段)
102 ナンバープレート検出部(ナンバープレート検出手段)
103 ナンバープレート検出用データ記憶部
104 画像情報記憶部
105 ナンバープレート対応位置算出部
106 幾何学的歪み補正部(歪み補正手段)
107 文字認識部(文字認識手段)
108 文字認識用データ記憶部
109 超解像処理部

【特許請求の範囲】
【請求項1】
車両を、当該車両の進行方向に対して斜めから撮像する撮像手段と、
前記撮像手段が撮像した画像からナンバープレート領域を検出するナンバープレート検出手段と、
前記ナンバープレート検出手段が検出したナンバープレート領域の幾何学的歪み補正を行う歪み補正手段と、
前記歪み補正手段が幾何学的歪み補正を行ったナンバープレート領域の文字を認識する文字認識手段と、を含み、
前記歪み補正手段が、補正対象の画像よりも遠方で撮像した画像のナンバープレート領域を基準画像として、幾何学的歪み補正を行うナンバープレート読み取り装置。
【請求項2】
前記歪み補正手段が、前記領域検出手段が検出したナンバープレート領域のうちで車両毎に最も遠い位置での画像を基準画像とする請求項1記載のナンバープレート読み取り装置。
【請求項3】
前記撮像手段から設定距離だけ離れた位置で車両を検知する車両検知手段を備え、
前記歪み補正手段が、前記車両検知手段によって車両を検知したときに前記撮像手段が撮像した画像のナンバープレート領域を基準画像とする請求項1記載のナンバープレート読み取り装置。
【請求項4】
前記歪み補正手段が、拡大しながら幾何学的な変換を行う請求項1〜3のいずれか1つに記載のナンバープレート読み取り装置。
【請求項5】
前記歪み補正手段が、幾何学的歪み補正後のナンバープレート領域が一定以上の大きさになるように、前記基準画像の大きさに応じて拡大率を設定する請求項4記載のナンバープレート読み取り装置。
【請求項6】
前記歪み補正手段が、幾何学的歪み補正を行った同一車両における複数のナンバープレート領域の画像から高解像度画像を生成し、前記文字認識手段が、前記高解像度画像から文字を認識する請求項1〜5のいずれか1つに記載のナンバープレート読み取り装置。

【図1】
image rotate

【図2】
image rotate

【図3】
image rotate

【図4】
image rotate

【図5】
image rotate

【図6】
image rotate

【図7】
image rotate

【図8】
image rotate

【図9】
image rotate


【公開番号】特開2012−63869(P2012−63869A)
【公開日】平成24年3月29日(2012.3.29)
【国際特許分類】
【出願番号】特願2010−205957(P2010−205957)
【出願日】平成22年9月14日(2010.9.14)
【出願人】(000004651)日本信号株式会社 (720)
【Fターム(参考)】