ナンバープレート認識装置及び方法

【課題】
進行方向が切替わる交互通行道路において、上りと下りの２台のナンバープレート認識装置を、１台で実施できるナンバープレート認識装置を提供する。
【解決手段】
車両の画像を撮影する車番認識用カメラ１と、車番認識用カメラ１で撮影された画像を画像処理する画像処理プロセッサ１３を有する画像処理装置２を備え、画像処理装置２により車番認識用カメラ１で撮影された２つフレームの画像投影間の像投影差分からテンプレート４６を算出し、時間経過後の２つのフレームの画像投影間の画像投影差分からテンプレート４６とマッチした領域を検索し、テンプレート４６とマッチした領域から移動ベクトル５０を計算して前面ナンバープレート認識処理と後面ナンバープレート認識処理を切替える。

【発明の詳細な説明】
【技術分野】
【０００１】
本発明は、道路などに設置されるカメラを用いたナンバープレート認識装置に係り、特に交互通行の道路において進行方向が変更された場合でも車両のナンバープレートを認識するのに好適なナンバープレート認識装置に関する。
【背景技術】
【０００２】
ナンバープレートを自動認識するシステム、いわゆる車番認識装置が各地に設置されている。この車番認識装置は、複数地点で同一番号のナンバープレートを検出し、地点間を走行した車両の旅行時間を計測して表示盤に表示する、予め登録しているナンバープレートの番号と一致した車両を検出して盗難車，犯罪車両を検出する等に用いられている。
【０００３】
このような車番認識装置としては、〔特許文献１〕に記載のように、ニューラルネットワークを用いたものがある。
【０００４】
ところで、道路の効率的な運用を行うため、時間帯によって上り用の車線数と下り用の車線数を変更させるため、上りと下りを切替える交互通行道路（リバーシブルレーンともいう）がある。このような交互通行道路における車番認識は、車両の前面ナンバープレートと車両の後面のナンバープレートの認識アルゴリズムが異なるため、従来は交互通行道路に上り用と下り用の車番認識装置を２台設置し、進行方向が変わった時点でユーザの切替指示により２つの車番認識装置を切替えて車両のナンバープレート認識を行っていた。
【０００５】
【特許文献１】特開平６−２１５２９３号公報
【発明の開示】
【発明が解決しようとする課題】
【０００６】
上記従来の技術は、進行方向が変わった時点でその都度ユーザが切替指示を与えないと車番認識装置を切替えられないため、ユーザが切替指示しないと適切なナンバープレート認識が行えないという問題があった。
【０００７】
本発明の目的は、１台の車番認識装置で車両の進行方向を検知して自動的に交互通行道路のナンバープレート認識が行えるナンバープレート認識装置及び方法を提供することにある。
【０００８】
本発明の他の目的は、前面ナンバープレートの車番認識か後面ナンバープレートの車番認識を区別することなく設置することができるナンバープレート認識装置及び方法を提供することにある。
【課題を解決するための手段】
【０００９】
上記目的を達成するために、本発明のナンバープレート認識装置及び方法は、車番認識用カメラにより複数フレームの車両の画像を撮影し、画像処理装置により撮影された２つのフレーム画像投影間の第１画像投影差分からテンプレートを算出し、その２つのフレームから時間経過後の２つのフレームの画像投影間の第２画像投影差分を計算し、計算された第２画像投影差分と前記テンプレートのパターンマッチングによりテンプレートとマッチした領域を検索し、テンプレートとマッチした領域から移動ベクトルを計算して前面ナンバープレート認識処理と後面ナンバープレート認識処理を切替えるものである。
【発明の効果】
【００１０】
本発明によれば、上りと下りのナンバープレート認識処理が１台のナンバープレート認識処理装置で実現できる。又、前面ナンバープレートの車番認識か後面ナンバープレートの車番認識を区別することなく設置することができる。
【発明を実施するための最良の形態】
【００１１】
本発明の一実施例を図１から図１０により説明する。図１はナンバープレート認識装置の構成図、図２は画像処理装置の構成図、図３は前面ナンバープレートと後面ナンバープレートの認識処理の自動切替えを行う流れ図である。
【００１２】
図１に示すように、ナンバープレート認識装置は、時間帯により上りと下りの車線数を変更する交互通行道路５（リバーシブルレーン５ともいう）を走行する車両を撮影するための車番認識用カメラ１と、車番認識用カメラ１で撮影した画像を入力して画像処理を行う画像処理装置２と、画像処理装置２にネットワーク４を介して接続される中央処理装置３で構成される。なお、図１では、交互通行道路５に車番認識用カメラ１を設ける例を示しているが、一方向に車両が走行する道路６にも車番認識用カメラ１が設置される。車番認識用カメラ１の視野はカメラの種類によって変化はするが、一般には文字認識するための領域は２〜３ｍの幅，２〜３ｍの高さ程度であり、時間帯により上り方向と下り方向の車線数を変更するための交互通行道路５を撮影できるように設置して、車の前面画像は図４に示す画像２１のように撮影され、車の後面画像は、図５に示す画像２２のように撮影される。通常は、図４，図５に示すように側方から側写撮影される。
【００１３】
画像処理装置２は、図２に示すように、画像処理部１０と制御部１６で構成され、画像処理部１０と制御部１６とはバス２０で接続されている。画像処理部１０は、車番認識用カメラ１から映像を入力し、アナログ信号をディジタルに変換するＡ／Ｄ変換器１１，Ａ／Ｄ変換器１１により変換されたディジタル信号を格納し、画像処理プロセッサ１３で画像処理された画像を記憶する画像メモリ１２，画像メモリ１２に格納された画像の画像処理する画像処理プロセッサ１３，画像メモリ１２に記憶され画像処理プロセッサ１３で画像処理された画像を必要に応じて表示するためにディジタル信号をアナログ信号に変換するＤ／Ａ変換器１４，Ｄ／Ａ変換器１４で変換された画像信号を表示するモニタ１５で構成される。
【００１４】
制御部１６は、画像処理部１０及び通信部を制御するＣＰＵ１７，プログラムを格納しているＲＡＭ１８，ネットワーク４を介して中央処理装置３とデータの送受信を行う通信部１９で構成される。中央処理装置３では、通信部１９，ネットワーク４を介して送信される画像処理結果を蓄積して、地点間を走行した車両の旅行時間を計測する、予め登録しているナンバープレートの番号と一致した車両を検出して盗難車，犯罪車両を検出する等の処理を行う。
【００１５】
このように構成されたナンバープレート認識装置の前面ナンバープレートと後面ナンバープレートの認識処理及びその切替えは、図３に示す流れ図のように行われる。
【００１６】
ステップ３１で各領域の設定を行う。図６に示すように、車番認識用カメラ１からの入力画像４０の横軸をＸ軸、縦軸をＹ軸とし、入力画像４０の大きさをＸ０，Ｙ０としたとき、Ｙ軸のＹ０／２を中心として前面ナンバープレートと後面ナンバープレートの切換判定領域４１，パターンマッチングのサーチ領域４２を設定する。又、後述するテンプレート領域を設定する。
【００１７】
ステップ３２で、フレーム間投影差分特徴算出の処理を行う。図７に示すように、車番認識用カメラ１で撮影した１フレーム目の画像投影４３と、２フレーム目の画像投影４４を算出し、１フレーム目の画像投影４３と２フレーム目の画像投影２６との投影差分４５を算出する。このフレーム間の投影差分４５で画像投影の濃度値の分布に差が大きい領域を算出して、その領域をテンプレート４６として登録する。
【００１８】
ステップ３３で、テンプレート４６を用いてパターンマッチングを行う。パターンマッチングでは、図８に示すように、車番認識用カメラ１で撮影した２フレーム目の画像投影４４と、３フレーム目の画像投影４７との投影差分４８を算出する。算出された投影差分４８とテンプレート４６の投影差分を比較し、投影が重なり、２つの投影差分間の差が一番小さくなる領域４９を検索する。領域４９をマッチした領域と呼ぶ。
【００１９】
なお、１フレーム目，２フレーム目，３フレーム目の画像投影で説明したが、これらの各フレームは、時系列的に撮影されたフレームを使用することができる。例えば、テンプレートを登録するために、１フレーム目と３フレーム目を使用し、パターンマッチングのために５フレームと７フレーム目といったフレームを使用することができる。
【００２０】
マッチした領域が検索されると、ステップ３４で移動ベクトルの算出，加算処理を行う。図９に示すように、登録されたテンプレート４６の特定の位置、例えばテンプレート
４６の最上部である始点位置と、マッチした領域４９の登録されたテンプレート４６の特定の位置に相当する位置を算出する。算出されたテンプレート４６の特定の位置とマッチした領域４９の特定の位置から、その移動方向と移動距離を計算して移動ベクトル５０を計算する。移動ベクトル５０は、図９で下方向を正とした場合、マッチした領域４９がテンプレート４６より下側にある場合は、移動ベクトル５０は正であり、車両は前向きで通過していると判断する。
【００２１】
又、マッチした領域４９の特定の位置がテンプレート４６の特定の位置より上方にある場合は、移動ベクトル５０は負となり、車両は後ろ向き、すなわち車両の後ろ側を撮影していると判断する。
【００２２】
このようにして算出される移動ベクトルは、車両通過の時刻と紐付けされてネットワーク４を介して中央処理装置３へ送信され、記憶される。図１０は、移動ベクトルの加算処理を行った場合の一例を、横軸に時間、縦軸に移動ベクトルの累計値をとって示している。
【００２３】
図１０中の符号５６及び５５は、それぞれ前面ナンバープレートと後面ナンバープレートの切替判定を行うための正の切替判定閾値と負の切替判定閾値である。図１０に示す例では、時刻０では移動ベクトルの累積値はリセットされ０の状態であり、前向きの車両が連続して通過するので、累積値は正の領域で増大する。水平部分５１は、累積値が変化しない部分で車両が通過していないことを意味する。後面ナンバープレート認識処理中に累積値が正の切替判定閾値に到達５２した場合は、前向きの車両が通過していることを意味しており、前面ナンバープレート認識処理に切替えて累積値をリセットする。その後も前向きの車両が通過しているので、累積値は正の領域を増加して正の切替判定閾値５６を超えるが、この場合は移動ベクトルを加算しない処理をし、累積値を正の切替判定閾値５６の一定５３とする。このように、前面ナンバープレート認識処理又は後面ナンバープレート認識処理に切替えた後に同方向の累積値が切替判定閾値を超える場合は、移動ベクトルを加算しないようにして、移動ベクトルの累積値は正の切替判定閾値５６と負の切替判定閾値５５の範囲内で推移させるようにしている。
【００２４】
後向きの車両が通過するようになると、累積値は減少して負の切替判定閾値５５に到達５４した場合は、後向きの車両が通過していると判定し、後面ナンバープレート認識処理に切替えて累積値がリセットされる。
【００２５】
ステップ３５では、上述したように、現状が前面ナンバープレート認識処理か後面ナンバープレート認識処理かを判別し、正の切替判定閾値５６に到達したか負の切替判定閾値５５に到達したかを判定して認識方向切替判定を行う。認識方向切替判定が前向きと判断された場合は、ステップ３６で前面ナンバープレート認識処理を行い、認識方向切替判定が後向きと判断された場合は、ステップ３７で後面ナンバープレート認識処理を行う。ここで、認識方向切替判定に累積値を用いる方法を説明したが、単位時間に連続して同方向に車両が通過している場合は、その方向の認識方向切替判定を行うようにしてもよい。
【００２６】
ナンバープレートの認識処理は次のようにして行う。実際にはプレートの折れ，曲がりなどにより文字領域を正確には特定できないため、まず、濃淡画像からの文字認識処理が行われる。文字認識処理では、（１）背景差分処理，（２）文字領域の詳細座標抽出，
（３）濃淡特徴量抽出，（４）認識の順に行われる。
【００２７】
（１）背景差分処理では、プレートの明るさ変化や、プレートの色変化に対応できるように、例えば、処理対象画像の文字が背景に比べ暗い場合は、局所最大値フィルタを数回実行し、同じく局所最小値フィルタ処理を数回実行して背景画像を作成し、この背景画像から処理対象画像を差し引いて、文字線の画像情報だけを抽出した背景差分画像を作成する。
【００２８】
（２）文字領域の詳細座標抽出では、背景差分画像をそのまま認識処理したのでは、文字の位置ずれなどのため誤認識が発生しやすくなるので、背景差分処理画像に対し垂直方向，水平方向にそれぞれ濃度の累積投影分布を求め、この頻度が所定のしきい値を越えた座標を各方向毎に求め、文字領域の座標を求め、背景差分画像を用いて認識のための漢字領域の詳細座標を算出する。
【００２９】
（３）濃淡特徴量抽出では、文字領域が小さいため詳細領域の濃度データ全てを特徴量として用いる、あるいは詳細領域の画像からｍ×ｎ個の特徴量を抽出する（モザイク化）などにより、漢字領域の詳細座標が領域として求まった後は、認識するための特徴量を求める。
【００３０】
（４）認識では、濃淡の特徴量データが求まれば、ニューラルネットワークでの学習，認識処理を行う。これにより、撮影されたプレート内の一連番号，抽出された一連番号の座標から陸運支局コード，車種コード，用途コードが認識される。
【００３１】
本実施例によれば、上りと下りのナンバープレート認識処理が１台のナンバープレート認識処理装置で実現できる。また、交互通行道路に限らず駐車場の出入り口のように車両が互いに逆方向に通過する場合でも同様の効果がある。
【００３２】
又、本実施例では、１台のナンバープレート認識処理装置で前面ナンバープレートと後面ナンバープレートの認識が行えるため、一般の道路に設置する場合、前面ナンバープレートの車番認識か後面ナンバープレートの車番認識を区別することなく設置することができる。この場合、反対車線からの追い越し車両や、緊急車両等の一時的な異常走行，交通規制等により片側交互通行になった道路においても自動的に前面ナンバープレート認識と後面ナンバープレート認識の切替えが行われナンバープレート認識が行える。
【００３３】
又、本実施例によれば、２フレーム間の投影差分の中から濃度値の分布差が大きい領域をテンプレートとして、その後に撮影した２フレーム間の投影差分からテンプレートにマッチする領域を検索して移動ベクトルを算出しているので、車両の進行方向に関わらずカメラの視野内にナンバープレートが入って来た車両のナンバープレートの認識が可能である。
【００３４】
図１１は、本発明の他の実施例で、カメラの視野を上り車線と下り車線の全車線とする、上り車線が２車線とする等の複数車線で前面ナンバープレートと後面ナンバープレートの車番認識を行えるように構成したナンバープレート認識処理装置である。
【００３５】
このように構成することにより、カメラ視野を図１１に示すように全車線としているので、上り車線の車両と下り車線の車両を判定しそれぞれの車線のナンバープレート認識が可能である。又、前面ナンバープレートの車番認識か後面ナンバープレートの車番認識を区別することなく設置することができ、ナンバープレート認識処理装置の設置が簡単に行える。
【図面の簡単な説明】
【００３６】
【図１】本発明の一実施例であるナンバープレート認識処理装置の構成図である。
【図２】本実施例の画像処理装置の構成図である。
【図３】本実施例の前面ナンバープレートと後面ナンバープレートの認識処理の自動切替えを行う流れ図である。
【図４】前面ナンバープレート認識時のカメラの視野を示す図である。
【図５】後面ナンバープレート認識時のカメラの視野を示す図である。
【図６】切替判定領域とテンプレートサーチ領域の設定例を示す図である。
【図７】２フレーム間の投影差分の特徴算出処理を説明する図である。
【図８】パターンマッチング処理を示した図である。
【図９】移動ベクトルの算出処理を示した図である。
【図１０】移動ベクトルの累計値の変化を示した図である。
【図１１】本発明の他の実施例であるナンバープレート認識処理装置の構成図である。
【符号の説明】
【００３７】
１…車番認識用カメラ、２…画像処理装置、３…中央処理装置、４…ネットワーク、５…交互通行道路、６…道路、１０…画像処理部、１１…Ａ／Ｄ変換器、１２…画像メモリ、１３…画像処理プロセッサ、１４…Ｄ／Ａ変換器、１５…モニタ。

【特許請求の範囲】
【請求項１】
車両の画像を撮影する車番認識用カメラと、該車番認識用カメラで撮影された画像を画像処理する画像処理プロセッサを有する画像処理装置を備え、該画像処理装置により前記車番認識用カメラで撮影された２つフレームの画像投影間の第１画像投影差分からテンプレートを算出し、時間経過後の２つのフレームの画像投影間の第２画像投影差分から前記テンプレートとマッチした領域を検索し、前記テンプレートとマッチした領域から移動ベクトルを計算して前面ナンバープレート認識処理と後面ナンバープレート認識処理を切替えるナンバープレート認識装置。
【請求項２】
車番認識用カメラにより複数フレームの車両の画像を撮影し、画像処理装置により撮影された２つのフレーム画像投影間の第１画像投影差分からテンプレートを算出し、前記２つのフレームから時間経過後の２つのフレームの画像投影間の第２画像投影差分を計算し、計算された前記第２画像投影差分と前記テンプレートのパターンマッチングにより前記テンプレートとマッチした領域を検索し、前記テンプレートとマッチした領域から移動ベクトルを計算して前面ナンバープレート認識処理と後面ナンバープレート認識処理を切替えるナンバープレート認識方法。
【請求項３】
前記第１画像投影差分の画像投影の濃度値の分布差が大きい領域をテンプレートとする請求項１に記載のナンバープレート認識装置。
【請求項４】
前記車番認識用カメラが交互通行道路に設置されている請求項１に記載のナンバープレート認識装置。
【請求項５】
前記前面ナンバープレート認識処理と後面ナンバープレート認識処理の切替えを前記移動ベクトルの累積値と閾値で判定する、あるいは単位時間当たりの移動ベクトルの方向により判定する請求項２のナンバープレート認識方法。

【図１】