ナンバー読取装置

【課題】 読取率の高いナンバー読取装置を提供する。
【解決手段】 近赤外域の波長の光を前記車両に向けて照射する照明部と、近赤外域の波長の光に感度を有し、前記照明部の照射と同期して前記車両を撮影して当該車両のグレースケール画像を出力する近赤外カメラと、可視域の波長の光に感度を有し、前記車両を撮影して当該車両のカラー画像を出力するカラーカメラと、前記グレースケール画像の画像処理により前記車番の読み取りを行い、読み取りのできない車番がある場合に当該読み取りのできない車番を前記カラー画像の画像処理により読み取った車番で補完する統合処理部とを備える。

【発明の詳細な説明】
【技術分野】
【0001】
この発明は、道路上を通過する車両を撮影し、撮影した車両のナンバープレートを画像処理により読み取るナンバー読取装置に関するものである。特に、画像処理によるナンバー読取が難しい条件であっても、画像の補完によって読取を可能とするナンバー読取装置に関するものである。
【背景技術】
【0002】
従来から、道路を走行する車両を撮影してナンバープレートの番号や文字を自動認識するナンバー読取装置が開発されている。ナンバー読取装置は通常、ナンバー読取が安定して行えるように昼夜に関わらず近赤外のストロボ光を照射し、カメラで車両の撮影を行う。このため、例えばナンバープレートに近赤外光を遮断する特性をもつカバーが装着されている場合においてはナンバーの読み取り精度が劣化する。
ナンバープレートに近赤外光を遮断するカバーが装着された車両を監視する装置として、例えば、特定波長の光(例えば、波長が850nm付近の近赤外光)を照射したときに路上の車両を撮影した撮影画像の所定領域(例えば、車頭の周辺の領域)内に車番を構成する文字が含まれているか否かを判定し、文字が含まれていないと判定した場合には、この撮影画像が遮断部材を装着した車両の撮影画像であると判定し、この撮影画像を目視して車番を認識するようにした監視装置が開示されている(例えば、特許文献1参照)。
【先行技術文献】
【特許文献】
【0003】
【特許文献1】特開2008−41017号公報(図1)
【発明の概要】
【発明が解決しようとする課題】
【0004】
このように従来、ナンバープレートに遮断部材が装着されていると判定した場合には、オペレータが目視により撮影画像を確認し、車番を認識することがなされていたが、オペレータが処理できる件数には限度があり、一度に多くの車両のナンバーを読取ることはできないという課題があった。
【0005】
この発明は係る課題を解決するためになされたものであり、ナンバープレートに特定波長を遮断する遮断部材が装着される等によって通常の画像処理ではナンバー読取が難しい条件であってもナンバー読取が可能な、読取率の高いナンバー読取装置を提供することを目的とする。
【課題を解決するための手段】
【0006】
この発明に係るナンバー読取装置は、道路を走行する車両を撮影し、前記車両が搭載するナンバープレートの車番を画像処理により読取るナンバー読取装置であって、近赤外域の波長の光を前記車両に向けて照射する照明部と、近赤外域の波長の光に感度を有し、前記照明部の照射と同期して前記車両を撮影して当該車両のグレースケール画像あるいは白黒画像を出力する近赤外カメラと、可視域の波長の光に感度を有し、前記車両を撮影して当該車両のカラー画像を出力するカラーカメラと、前記グレースケール画像あるいは白黒画像の画像処理により前記車番の読み取りを行い、読み取りのできない車番がある場合に、当該読み取りのできない車番を前記カラー画像の画像処理により読み取った車番で補完する統合処理部とを備える。
【発明の効果】
【0007】
この発明のナンバー読取装置によれば、特定波長の遮断部材を装着したような車両であってもナンバープレートを読取ることができ、高い読取率で、道路上を走行して通過する車両のナンバープレート情報を取得することができる。
【図面の簡単な説明】
【0008】
【図1】本発明の実施の形態1によるナンバー読取装置の概要を説明する模式図である。
【図2】本発明の実施の形態1によるナンバー読取装置の構成を示すブロック図である。
【図3】本発明の実施の形態1によるナンバー読取装置の外観図である。
【図4】(a)本発明の実施の形態1によるナンバー読取装置の読取動作を示すフローチャートである。(b)近赤外カメラ2とカラーカメラ3の撮影タイミングを示した図である。
【図5】本発明の実施の形態1によるナンバー読取装置の統合処理部が実行する統合処理の動作を説明するフローチャートである。
【図6】本発明の実施の形態1によるナンバー読取装置の統合処理部が実行する具体的処理の一例を示す図である。
【図7】本発明の実施の形態1による近赤外カメラとカラーカメラの撮影エリアを説明する図である。
【発明を実施するための形態】
【0009】
実施の形態1.
以下、図面を参照しながら実施の形態1に係るナンバー読取装置について説明する。
図1はナンバー読取装置の概要を説明する模式図である。図1において、ナンバー読取装置100は、近赤外カメラ2とカラーカメラ3と近赤外照明4を内蔵する。ナンバー読取装置100は、道路脇に立設されたポール20の上部で道路上に張り出すように略水平方向に設置されたアーム21に取り付けられている。近赤外カメラ2とカラーカメラ3と近赤外照明4とは道路の所定のエリアを撮影するように向きが調整されて設置されている。詳しくは、矢印11の方向で走行してくる車両30の前面のナンバープレートが撮影できるような取付位置で、近赤外カメラ2とカラーカメラ3と近赤外照明4は取り付けられる。
【0010】
図2は、本発明の実施の形態1に係るナンバー読取装置の構成を示すブロック図である。ナンバー読取装置100は、近赤外カメラ2と、カラーカメラ3と、近赤外照明4と、統合処理部7と、伝送部8から構成される。
統合処理部7は、近赤外画像処理ユニット5と、カラー画像処理ユニット6と、統合処理ユニット10からなる。
【0011】
近赤外カメラ2は近赤外波長域での感度が高いカメラであり、被写体の近赤外波長域の反射、吸収の特性により、濃淡のついた画像を出力する。近赤外カメラ2は近赤外照明4が周期的に照射するストロボ光と同期して車両を撮影する。近赤外波長域の照明を用いることで、車のドライバーに対して不要な幻惑を与えることなく、昼夜を問わず安定して車両を撮影することができる。
近赤外照明4は、例えば、多数のLED(Light Emitting Diode)を内部に有して所定の間隔でパルス発光を行う。近赤外カメラ2が撮影する画像はグレースケール画像(以下では、白黒画像の場合もある)であり、カラーではないが、一般的にカラー画像よりも解像度の高い画像が得られる。この画像を画像処理することで、ナンバープレートに印された運輸支局、車種、用途、一連番号などの文字や番号(以下、これらの文字や番号のことを「車番」という)を認識することができる。
なお、近赤外カメラ2内にはカメラの動作を制御するカメラ制御部や近赤外用のレンズ等が含まれているが説明を省略する。
【0012】
カラーカメラ3は撮像素子にカラーCCDを備え、所定の間隔で撮影を行う。撮影した画像にはカラー情報が付加されている。
車両に取り付けられるナンバープレートの色には、白色/黄色/緑色/黒色の4種類があり、それぞれ意味をもつ。近赤外カメラ2のようなモノクロカメラで撮像した画像はグレースケールの画像であるため、近赤外カメラ2が撮影した画像でナンバープレートの色を判別しようとすると、輝度値の高い黄色/白色のナンバープレートは白色であり、輝度値の低い緑色、黒色のナンバープレートは黒色となって、二種類の色でしかナンバープレートの色を判別することが出来ない。しかしながら、カラーカメラを使用することで、4種類のナンバープレートの色を判別することができる。
一般に、カラーカメラ3は近赤外カメラ2と比較して可視光波長域での感度は高い。このため、ナンバープレートに近赤外光を遮断する遮断部材が装着されている場合であっても、カラーカメラ3によればナンバープレートの番号や文字を撮影することが可能である。しかしながら、画像の解像度では近赤外カメラ2に劣る。
なお、カラーカメラ3には同様にカメラの動作を制御する制御部やレンズ等が含まれているが説明は省略する。
【0013】
統合処理部7は、近赤外カメラ2が撮影したグレースケール画像とカラーカメラ3が撮影したカラー画像を入力し、各々の画像に基き得られる認識結果を処理することにより、より認識精度の高いナンバープレート読取結果を取得する。統合処理部7の具体的な処理内容については後述する。
【0014】
伝送部8は、統合処理部7で画像処理した読取結果を回線を通して中央装置9に伝送する。また、伝送部8は中央装置9から保守情報や撮影条件などを受信して、ナンバー読取装置100の各構成に伝達する。
なお、中央装置9は、複数の場所に配置されたナンバー読取装置100と、それぞれ有線あるいは無線回線を介して接続されており、ナンバー読取装置100が配置されたエリア内を走行する走行車両の監視が行えるようになっている。
【0015】
図3は、ナンバー読取装置100の外観を表わした概略図である。近赤外カメラ2と、カラーカメラ3と、近赤外照明4が筐体20に収納され、筐体20は更にフード23で覆われる構造となっている。このように、近赤外カメラ2とカラーカメラ3と近赤外照明4は筐体20に収められ、近赤外カメラ2とカラーカメラ3とは共通のカメラ制御部により動作が制御される。
筐体20は支柱22を介して道路上方のアーム21に固定される。
【0016】
近赤外カメラ2とカラーカメラ3は筐体20の下部分で左右に並べられて配置される。近赤外カメラ2とカラーカメラ3の上のひさし21は、カメラ開口部を外光から保護するひさしの役割を果たしている。ひさし21は板状のものだけでなく、カメラ開口部を覆うような一体型のカメラフードであってもよい。
近赤外照明4は、近赤外カメラ2とカラーカメラ3の上側に設けられる。照明部(近赤外照明4)を筐体上部に配置することにより、照明が発する発熱を筐体20の上部空間へ逃がし易くして、筐体下部に位置する近赤外カメラ2とカラーカメラ3への熱の影響を低減する効果をもつ。また、照明部を筐体上部とすることで照明が故障したときの交換も容易に行うことができる。
【0017】
なお、近赤外カメラ2とカラーカメラ3と近赤外照明4の配置関係はこれに限られるものではない。例えば、近赤外カメラ2とカラーカメラ3を上下関係にして筐体右側に配置し、近赤外照明4を筐体左側に配置するような構成であってもよいし、また、近赤外カメラ2とカラーカメラ3を筐体上部に配置し、筐体下部を排熱を容易とする構造にして照明部を筐体下部に配置するようにしてもよい。
図3の例では、ナンバー読取装置100の筐体20には、近赤外カメラ2と、カラーカメラ3と、近赤外照明4と、統合処理部7と、伝送部8が一体となって内部に収められている例を示しているが、伝送部8を別筐体に移して道路脇に設置する構成であってもよい。あるいは、ナンバー読取装置100の筐体20には近赤外カメラ2とカラーカメラ3と近赤外照明4のみが実装されており、統合処理部7と伝送部8を別筐体に移して道路脇などに設置する構成としてもよい。
【0018】
次に、本実施の形態に係るナンバー読取装置100の動作を説明する。
図4(a)は実施の形態1のナンバー読取装置の動作フローである。図4(b)は撮影タイミングを示した図である。
図4(a)において、近赤外照明4は、車両の有無にかかわらず周期的に近赤外光を発光しており、走行してきた車両に対してはその車両前面に向けて近赤外光を照射する(ステップS01。以下、S01とする)。
近赤外カメラ2は、近赤外照明4による発光と同期して近赤外光が照射された車両の近赤外画像(グレースケール画像)を撮影する(S02)。撮影した画像は所定の周期で統合処理部7に出力していく。
一方、カラーカメラ3は、近赤外照明4の発光に僅か(t1)に遅れたタイミングで、近赤外カメラ2が撮影した車両と同じ車両を対象に撮影を行う(S03)。撮影したカラー画像を所定の周期で統合処理部7に出力する。
このように、近赤外カメラ2は近赤外照明4の発光と同期して車両前面のグレースケール画像を撮影し、カラーカメラ3は近赤外照明4の発光から僅かに遅れたタイミングで車両前面のカラー画像を撮影するようにした。カラーカメラ3は近赤外波長域にも感度を有していることから、近赤外照明4のストロボ発光のタイミングをずらすことで近赤外波長域の画像映りを低減することができる。
【0019】
近赤外カメラ2とカラーカメラ3は、各々撮影した画像を統合処理部7に出力する。近赤外カメラ2とカラーカメラ3は所定の周期で繰返し撮影を行い、撮影した画像を順次、統合処理部7に出力する。
【0020】
統合処理部7は、近赤外カメラ2とカラーカメラ3から画像を入力し、統合処理を実行する(S04)。
統合処理部7は、統合処理(S04)により得られたナンバープレートの読取結果を伝送部8を経由して中央装置9に出力する(S05)。
S01〜S05の処理を、終了時間まで繰返し実行する(S06)。
【0021】
次に、統合処理部7が実行する統合処理(S04)の動作について、図を用いて説明する。
図5は統合処理(S04)の処理内容を説明するフローチャートであり、以下、図5のフローに従って統合処理の内容について説明する。
【0022】
近赤外カメラ2は周期的に撮影をしており、近赤外カメラ2は同一の車両について通常、車両の写っている位置が異なる複数枚の画像を撮影する。
統合処理部7の近赤外用画像処理ユニット5は、近赤外カメラ2から撮影画像を順次受け取り、各々の画像について画像認識処理により車両のナンバープレートの文字、番号を読み取る(S701)。撮影画像から車両のナンバープレートの文字、番号を読み取る方法としては、例えば特開平8−98553号公報などに開示がされており、ここでは説明を省略する。近赤外用画像処理ユニット5は、画像処理の結果を統合処理ユニット10に出力する。
【0023】
一方、カラーカメラ3も周期的に撮影をしており(図4(b)参照)、カラーカメラ3は同一の車両について通常、車両の写っている位置が異なる複数枚の画像を撮影する。
統合処理部7のカラー用画像処理ユニット6は、カラーカメラ3から撮影画像を順次受け取り、各々の画像について画像認識処理により車両のナンバープレートの文字、番号を読み取る(S701)。カラー用画像処理ユニット6は、画像処理の結果を統合処理ユニット10に出力する。
【0024】
次に、統合処理ユニット10は、近赤外用画像処理ユニット5から受け取った画像処理の結果のうち、ナンバープレートが最も手前位置にあって大きなサイズで写っている画像の画像処理結果を抽出し、車番の全ての文字、番号が認識できている(以下、全文字認識という)かを判定する(S702)。文字、番号を全文字認識できたか否かについては、例えば、所定の認識基準による評価値などを用いることにより判定することができる。認識基準や評価値についての詳細は省略するが、全体に対して認識(読み取り)できた文字数や番号の割合によりその画像についての認識に関する評価値を算出する。
ここで、全文字認識できている場合、統合処理ユニット10は処理を完了する(S702)。
一方、全文字認識できていない場合には遡り認識処理を行う(S703)。遡り認識処理では、近赤外用画像処理ユニット5から受け取った画像処理結果のうち、同一車両のナンバープレートが撮影されている画像処理結果を抽出して、抽出した画像処理結果の各々について全文字認識できているか否かを判定していく。全文字認識できている画像があれば、統合処理ユニット10は処理を完了する(S704)。
しかしながら近赤外用画像処理ユニット5から受け取った画像処理結果の全てについて、全文字認識できている画像が無かった場合、次に、統合処理ユニット10は、カラー用画像処理ユニット6から受け取った画像処理の結果について、全文字認識できているかを順次判定する(S703、S704)。
近赤外用画像処理ユニット5から受け取った画像処理結果について先に全文字認識の判定を行い、次にカラー用画像処理ユニット6から受け取った画像処理結果について全文字認識の判定を行うのは、先に説明したように、近赤外カメラ2の撮影画像(グレースケール画像)は、カラーカメラ3の撮影画像(カラー画像)よりも一般的に解像度が高く、認識精度も高くなるためである。
【0025】
S703〜S705により、カラー用画像処理ユニット6から受け取った画像処理の結果についても、全文字認識できている画像処理結果が無かった場合、次のS706に移る。
【0026】
S706では、近赤外用画像処理ユニット5から受け取った画像処理結果とカラー用画像処理ユニット6から受け取った画像処理結果を、評価値の高い順にソートする。
【0027】
次に、統合処理ユニット10は、評価値の最も高い、言い換えれば最も読取率(読み取りできた割合。認識率ともいう)の高い画像処理結果について、どの部分の文字が認識できていない(認識否)かを判定する。そして認識否の部分の文字について、その他の画像処理結果で認識できている画像処理結果がないかを順次調べていく。認識できている画像処理結果があれば、認識できた文字で先の認識できなかった部分の文字を入れ換える。
【0028】
このように本発明に係るナンバー読取装置では、画像処理により認識できなかった文字を、他の画像処理結果で認識できた文字で補完していくことにより、全体として、車両ナンバーの読取率を向上させることができる。
【0029】
例えば、運輸支局の認識結果が「否」であった場合に、他の結果で運輸支局の認識結果が「可」のものがあれば、結果を入れ換える(S707)。
また、用途の認識結果が「否」であった場合に、他の結果で用途の認識結果が「可」のものがあれば、結果を入れ換える(S708)。
また、車種の認識結果が「否」であった場合に、他の結果で車種の認識結果が「可」のものがあれば、結果を入れ換える(S709)。
また、一連番号の認識結果が「否」であった場合に、他の結果で一連番号の認識結果が「可」のものがあれば、結果を入れ換える(S710)。
【0030】
統合処理ユニット10は入れ換え後の結果を出力し(S711)、統合処理を終了する(S712)。
【0031】
このように本発明に係るナンバー読取装置では、画像処理により認識できなかった文字を、他の画像処理結果で認識できた文字で補完していくことにより、全体として車両ナンバーの読取率を向上させることができるが、特に、近赤外カメラ2が撮影する画像と、カラーカメラ3が撮影する画像を併用することで、車両ナンバーの読取率を向上させることができる。
すなわち、近赤外カメラ2は近赤外波長域での感度が高いカメラであり、解像度の高い画像が得られる。しかしながら、近赤外波長域ではナンバープレートの画像の映りがよくない場合があり、このときは、可視光波長域で感度の高いカラーカメラ3が撮影する画像を用いるようにする。
これにより、例えば特定波長の遮断部材を装着したような車両であってもナンバープレートを読取ることができ、高い読取率で、道路上を走行して通過する車両のナンバープレート情報を取得することができる。
【0032】
図6は、統合処理部7が実行した統合処理の具体例を示した図である。
図6(a)の例は、近赤外カメラ画像により文字認識を実行した結果202において、運輸支局の認識結果は「可」(運輸支局認識結果=湘南)、車種結果は「可」(車種認識結果=97)、用途結果は「否」(用途不明)、一連番号結果は「可」(一連番号認識結果=4249)であった場合を表わしている。運輸支局、車種、一連番号について文字認識できたが、用途について精度の高い認識が出来なかったことから、統合処理部7は、カラー画像を用いた文字認識を試みる。カラー画像により文字認識を実行した結果203において、運輸支局の認識結果は「可」(運輸支局認識結果=湘南)、車種結果は「可」(車種認識結果=97)、用途結果は「可」(用途=ん)、一連番号結果は「否」(一連番号認識結果=42(不明)9)であった場合を表わしている。
この場合、統合処理ユニット10は、カラーカメラ画像を用いた文字認識によってナンバープレートの用途の文字認識ができている(「可」判定)であることから、近赤外カメラ画像により文字認識を実行した結果202において用途の認識結果を入れ替え、統合処理結果204を、運輸支局が「湘南」、車種が「97」、用途が「ん」、一連番号結果が「4249」であると判断して、その結果を伝送部8に出力する。
【0033】
このように統合処理ユニット10は、近赤外カメラ画像による文字認識結果で、読み取れなかった部分をカラー画像による文字認識結果で補完をすることで、ナンバープレートに記載された文字情報を精度よく取得することができ、結果として読取率が向上する。
【0034】
また、図6(b)の例では、近赤外カメラ画像により文字認識を実行した結果202において、運輸支局の認識結果は「可」(運輸支局認識結果=湘南)、車種結果は「可」(車種認識結果=97)、用途結果は「可」(用途=ん)、一連番号結果は「可」(一連番号認識結果=4249)であり、カラーカメラ画像により文字認識を実行した結果203において、運輸支局の認識結果は「可」(運輸支局認識結果=湘南)、車種結果は「可」(車種認識結果=97)、用途結果は「可」(用途=ん)、一連番号結果は「可」(一連番号認識結果=4249)であった場合を表わしている。
このように近赤外カメラ画像により文字認識を実行した結果202とカラーカメラ画像により文字認識を実行した結果203とが異なる場合、処理ユニット10は、近赤外カメラ画像により文字認識を実行した結果202を正として、その結果を伝送部8に出力する。
ただし、より正確を期す場合には、統合処理ユニット10は、一連番号の認識結果を「否」として、一連番号認識結果=424?(読み取り不可)として、その結果を伝送部8に出力するようにしてもよい。
【0035】
以下において、本発明に係るナンバー読取装置100の近赤外カメラ2とカラーカメラ3が撮影する撮影エリアについて、説明する。
図7は、近赤外カメラ2の撮影エリア2aと、カラーカメラ3の撮影エリア3aを示した図である。図7に示すように、車両の進行方向11の手前側に近赤外カメラ2の撮影エリア2aがあり、その奥側にカラーカメラ3の撮影エリア3aがくるように、近赤外カメラ2とカラーカメラ3の向きを設置する。走行してくる車両に対して、最初に近赤外照明の発光に同期して近赤外カメラ2が車両前面を撮影し、その後、僅かにタイミングが遅れてカラーカメラ3が同車両前面を撮影するが、このように近赤外カメラ2とカラーカメラ3で予め撮影エリアをずらしておくことにより、近赤外カメラ2が撮影した画像中のナンバープレートの位置とカラーカメラ3が撮影した画像中のナンバープレートの位置をほぼ同じ位置に写すことができる。これにより、画像中のナンバープレートの位置認識が早くなり、結果として、ナンバープレートの文字認識を早く完了させることができる。
【符号の説明】
【0036】
2 近赤外カメラ、2a 近赤外カメラの撮影エリア、3 カラーカメラ、3a カラーカメラの撮影エリア、4 近赤外照明、5 近赤外画像処理ユニット、6 カラー画像処理ユニット、7 統合処理部、8 伝送部、9 中央装置、10 統合処理ユニット、11 車両進行方向、20 筐体、21 ひさし、22 支柱、23 フード、30 車両、100 ナンバー読取装置。

【特許請求の範囲】
【請求項1】
道路を走行する車両を撮影し、前記車両が搭載するナンバープレートの車番を画像処理により読取るナンバー読取装置であって、
近赤外域の波長の光を前記車両に向けて照射する照明部と、
近赤外域の波長の光に感度を有し、前記照明部の照射と同期して前記車両を撮影して当該車両のグレースケール画像あるいは白黒画像を出力する近赤外カメラと、
可視域の波長の光に感度を有し、前記車両を撮影して当該車両のカラー画像を出力するカラーカメラと、
前記グレースケール画像あるいは白黒画像の画像処理により前記車番の読み取りを行い、読み取りのできない車番がある場合に、当該読み取りのできない車番を前記カラー画像の画像処理により読み取った車番で補完する統合処理部と、
を備えることを特徴とするナンバー読取装置。
【請求項2】
前記カラーカメラは、前記照明部の照射タイミングから所定の時間だけ遅れて撮影を開始することを特徴とする請求項1記載のナンバー読取装置。
【請求項3】
前記照明部と前記近赤外カメラと前記カラーカメラは同一の筐体に収納され、前記近赤外カメラと前記カラーカメラは前記筐体の下部分に収納され、前記照明部は前記筐体の上部分に収納されていることを特徴とする請求項1、2いずれか記載のナンバー読取装置。
【請求項4】
道路を走行する車両を撮影し、前記車両が搭載するナンバープレートの車番を画像処理により読取るナンバー読取装置であって、
近赤外域の波長の光を前記車両に向けて照射する照明部と、
近赤外域の波長の光に感度を有し、前記照明部の照射と同期して前記車両を撮影して当該車両のグレースケール画像あるいは白黒画像を出力する近赤外カメラと、
可視域の波長の光に感度を有し、前記車両を撮影して当該車両のカラー画像を出力するカラーカメラと、
前記グレースケール画像あるいは白黒画像の画像処理により前記車番の読み取りを行い、前記カラー画像の画像処理により前記車番の読み取りを行い、前記グレースケール画像あるいは白黒画像で読み取られた車番と前記カラー画像で読み取られた車番とを比較して異なる場合に、異なる部分の車番を読み取り不可であると判断することを特徴とするナンバー読取装置。

【図1】
image rotate

【図2】
image rotate

【図3】
image rotate

【図4】
image rotate

【図5】
image rotate

【図6】
image rotate

【図7】
image rotate