画像処理装置、車両処理システム、画像処理方法、及びプログラム
【課題】文字列認識による認識の漏れと特徴領域の抽出による認識の漏れを互いに補い、かつ車両情報の精度を高める。
【解決手段】文字列認識部２０２は、撮像装置１００が撮像した画像から文字列を認識し、当該文字列及び当該文字列の座標を出力する。領域抽出部２０５は、撮像装置１００が撮像した画像から当該画像に含まれる車両の特徴部分を示す特徴領域を抽出する。判定部２０７は、文字列と特徴領域との組のうち同一の車両を示す組を１つの車両情報に統合する。更新部２１１は、判定部２０７が出力した車両情報のうち記憶部２０８が記憶する車両情報と同一の車両を示す車両情報を用いて記憶部２０８が記憶する車両情報を更新する。
【解決手段】文字列認識部２０２は、撮像装置１００が撮像した画像から文字列を認識し、当該文字列及び当該文字列の座標を出力する。領域抽出部２０５は、撮像装置１００が撮像した画像から当該画像に含まれる車両の特徴部分を示す特徴領域を抽出する。判定部２０７は、文字列と特徴領域との組のうち同一の車両を示す組を１つの車両情報に統合する。更新部２１１は、判定部２０７が出力した車両情報のうち記憶部２０８が記憶する車両情報と同一の車両を示す車両情報を用いて記憶部２０８が記憶する車両情報を更新する。
【発明の詳細な説明】
【技術分野】
【０００１】
本発明は、連続撮像された画像から、車両を示す車両情報を抽出して出力する画像処理装置、車両処理システム、画像処理方法、及びプログラムに関する。
【背景技術】
【０００２】
有料道路における料金収受では、車両固有の登録情報の特定が重要となる。また、違反車両の特定においても、車両固有の登録情報の特定が重要となる。これらの登録情報を特定する方法としては、従来、車載器と路側アンテナの通信により取得する方法や、ＯＣＲなどの画像処理技術をもってナンバープレートを認識し、その登録情報より取得する方法などを用いている。また、画像により車種を判定する手法（例えば４輪車と２輪車の判定）も種々開発されている。
【０００３】
ここで、特許文献１には、車両の特徴部分を抽出する方法とＯＣＲ処理を実行する方法の両方を用いて車両を認識する方法が記載されている。具体的には、まず車両のナンバープレートを示す特徴部分を抽出し、次に、当該特徴部分を対象にＯＣＲ処理を行う。
【先行技術文献】
【特許文献】
【０００４】
【特許文献１】特開２００９−１５５１５号公報
【発明の概要】
【発明が解決しようとする課題】
【０００５】
車両の認識は、漏れがないように行うことが好ましい。そのため、車両の認識に当たって特徴部分の抽出とＯＣＲ処理との両方を実行することで、それぞれの認識の漏れを補うことができると考えられる。しかしながら、単に両方の処理を行うと、同一の車両が重複して検出されてしまうという問題がある。また、特許文献１に記載の発明を用いた場合、ナンバープレートの抽出に失敗すると、当該部分が車両と認識されないこととなるため、認識の漏れを補うことができない。また、画像によっては車両の映りが悪くＯＣＲによる文字列認識の精度が低い場合があり、必ずしも料金収受に十分な精度を確保できるとは限らないという問題がある。
【課題を解決するための手段】
【０００６】
本発明は上記の課題を解決するためになされたものであり、連続撮像された画像から、車両を示す車両情報を抽出して出力する画像処理装置であって、前記連続撮像された画像の各フレームから文字列を認識し、当該文字列を前記車両情報として出力する文字列認識部と、前記連続撮像された画像の各フレームから当該画像に含まれる車両の特徴部分を示す特徴領域を抽出し、当該特徴領域を前記車両情報として出力する領域抽出部と、前記連続撮像された画像の現在のフレームにおいて前記文字列認識部が出力した車両情報と前記特徴抽出部が抽出した車両情報とのうち同一車両を示すものを１つの車両情報に統合する統合部と、前記連続撮像された画像の過去のフレームにおいて抽出された車両情報を記憶する記憶部と、前記統合部によって統合された車両情報及び統合されなかった車両情報の中から、前記記憶部が記憶する車両情報と同一車両を示すものを更新候補として抽出する候補抽出部と、前記記憶部が記憶する車両情報を、前記候補抽出部が抽出した更新候補に更新する更新部と、前記記憶部が記憶する車両情報を出力する出力部とを備えることを特徴とする。
【０００７】
また、本発明においては、前記文字列認識部は、前記文字列に加えて当該文字列の座標及び当該文字列が示す車両の車種を車両情報として出力し、前記領域抽出部は、前記領域情報に加えて当該領域情報の座標及び当該領域情報が示す車両の車種を車両情報として出力し、前記統合部は、前記文字列認識部が出力した車両情報と前記領域抽出部が出力した車両情報との車種が一致し、かつ座標同士の距離が所定の閾値以内である場合に、同一車両を示すものと判定することが好ましい。
【０００８】
また、本発明においては、前記統合部は、前記統合された車両情報及び前記統合されなかった車両情報のそれぞれに、車両情報が抽出されたフレームのフレーム番号を関連付け、前記出力部は、前記記憶部が記憶する車両情報と、当該車両情報に関連付けられたフレーム番号が示すフレームの画像を出力することが好ましい。
【０００９】
また、本発明においては、前記候補抽出部は、前記統合部が出力した車両情報に文字列が含まれ、かつ当該文字列が前記記憶部が記憶する車両情報に含まれる文字列と類似する場合、及び／または前記統合部が出力した車両情報が示す座標と前記記憶部が記憶する車両情報が示す座標とがなす角が所定の角度範囲以内である場合に、前記車両情報を更新候補として抽出することが好ましい。
【００１０】
また、本発明においては、前記文字列認識部は、前記文字列に加えて当該文字列の抽出尤度を車両情報として出力し、前記更新部は、前記前記記憶部が記憶する車両情報の抽出尤度より、前記候補抽出部が抽出した更新候補の抽出粒度が高い場合に、前記前記記憶部が記憶する車両情報を前記更新候補に更新することが好ましい。
【００１１】
また、本発明は、上記画像処理装置が出力した車両情報が示す車両に対して料金収受処理を実行することを特徴とする。
【００１２】
また、本発明は、連続撮像された画像から、車両を示す車両情報を抽出して出力する画像処理装置を用いた画像処理方法であって、文字列認識部は、前記連続撮像された画像の各フレームから文字列を認識し、当該文字列を前記車両情報として出力し、領域抽出部は、前記連続撮像された画像の各フレームから当該画像に含まれる車両の特徴部分を示す特徴領域を抽出し、当該特徴領域を前記車両情報として出力し、統合部は、前記連続撮像された画像の現在のフレームにおいて前記文字列認識部が出力した車両情報と前記特徴抽出部が抽出した車両情報とのうち同一車両を示すものを１つの車両情報に統合し、候補抽出部は、前記統合部によって統合された車両情報及び統合されなかった車両情報の中から、前記連続撮像された画像の過去のフレームにおいて抽出された車両情報を記憶する記憶部が記憶する車両情報と同一車両を示すものを更新候補として抽出し、更新部は前記記憶部が記憶する車両情報を、前記候補抽出部が抽出した更新候補に更新し、出力部は、前記記憶部が記憶する車両情報を出力することを特徴とする。
【００１３】
また、本発明は、連続撮像された画像から、車両を示す車両情報を抽出して出力する画像処理装置を、前記連続撮像された画像の各フレームから文字列を認識し、当該文字列を前記車両情報として出力する文字列認識部、前記連続撮像された画像の各フレームから当該画像に含まれる車両の特徴部分を示す特徴領域を抽出し、当該特徴領域を前記車両情報として出力する領域抽出部、前記連続撮像された画像の現在のフレームにおいて前記文字列認識部が出力した車両情報と前記特徴抽出部が抽出した車両情報とのうち同一車両を示すものを１つの車両情報に統合する統合部、前記統合部によって統合された車両情報及び統合されなかった車両情報の中から、前記連続撮像された画像の過去のフレームにおいて抽出された車両情報を記憶する記憶部が記憶する車両情報と同一車両を示すものを更新候補として抽出する候補抽出部、前記記憶部が記憶する車両情報を、前記候補抽出部が抽出した更新候補に更新する更新部、前記記憶部が記憶する車両情報を出力する出力部として機能させるためのプログラムである。
【発明の効果】
【００１４】
本発明によれば、文字列認識と領域抽出の２つの方法によって車両を抽出することで認識の漏れを補うことができ、かつ複数のフレームから車両情報を抽出して同一の車両に対する車両情報を更新することで、車両情報の精度を高くすることができる。
【図面の簡単な説明】
【００１５】
【図１】本発明の一実施形態による料金収受システムの構成を示す概略ブロック図である。
【図２】判定部が出力する車両情報のデータ構成を示す図である。
【図３】記憶部が記憶するテーブルの情報を示す図である。
【図４】本実施形態による画像処理装置の動作を示すフローチャートである。
【図５】フレーム内統合処理の処理を示すフローチャートである。
【図６】フレーム間統合処理の処理を示す第１のフローチャートである。
【図７】ナンバープレートの座標を推定する方法を示す図である。
【図８】フレーム間統合処理の処理を示す第２のフローチャートである。
【発明を実施するための形態】
【００１６】
以下、図面を参照しながら本発明の実施形態について詳しく説明する。
図１は、本発明の一実施形態による料金収受システムの構成を示す概略ブロック図である。
料金収受システム（車両処理システム）は、有料道路を通行する車両に対して通行料金の収受を行うシステムであり、撮像装置１００、画像処理装置２００、料金収受装置３００を備える。
撮像装置１００は、有料道路の路側に設けられ、有料道路を通過する車両を撮像する。
画像処理装置２００は、撮像装置１００が撮像した画像から、有料道路を通過した車両が写っているフレームの画像を抽出し、当該車両のナンバープレートの文字列と共に料金収受装置３００に出力する。
料金収受装置３００は、画像処理装置２００から出力された画像及び文字列に基づいて料金収受を行う。
【００１７】
画像処理装置２００は、入力部２０１、文字列認識部２０２、文字列判別部２０３、文字列情報出力部２０４、領域抽出部２０５、比較値算出部２０６、判定部２０７（統合部）、記憶部２０８、候補抽出部２０９、記録部２１０、更新部２１１、出力部２１２、削除部２１３を備える。
【００１８】
入力部２０１は、撮像装置１００から画像情報の入力を受け付ける。なお、撮像装置１００は所定のフレーム間隔で連続して撮像を行っており、画像情報には、撮像開始時から昇順に割り振られるフレームＩＤが含まれる。
文字列認識部２０２は、入力部２０１が受け付けた画像情報に対してＯＣＲ処理を実行することで文字列の認識を行い、認識した文字列、当該文字列の座標、及び当該文字列の認識尤度を、文字列判別部２０３及び文字列情報出力部２０４に出力する。
文字列判別部２０３は、文字列認識部２０２から入力された文字列と所定のパターン情報とを比較することで、当該文字列が示すナンバープレートを備える車両の車種を判別する。車種としては、二輪車、一段プレートの四輪車、二段プレートの四輪車が挙げられる。ここで、一段プレートの四輪車とは、一段構えに表示されるナンバープレートが設置された四輪車である。同様に、二段プレートの四輪車とは、二段構えに表示されるナンバープレートが設置された四輪車である。
文字列情報出力部２０４は、文字列認識部２０２の出力と文字列判別部２０３による判別結果とを関連付け、認識した文字列、当該文字列の座標、当該文字列の認識尤度、及び車種を、比較値算出部２０６及び判定部２０７に出力する。
【００１９】
領域抽出部２０５は、入力部２０１が受け付けた画像情報から二輪車の特徴部分に類似する領域と四輪車の特徴部分に類似する領域とを抽出する。本実施形態では、二輪車の特徴部分として運転者の頭から肩にかけての領域、すなわち運転者のヘルメットを用いる。また、四輪車の特徴部分として四輪車のナンバープレート（一段プレート、二段プレート）を用いる。
二輪車の特徴部分としてナンバープレートでなくヘルメットを用いる理由は、二輪車のナンバープレートは設置の自由度が高く、画像に写る角度が様々であることから、ナンバープレートよりヘルメットの方がより高い精度で抽出することができるためである。特徴部分の抽出は、予め特徴部分の特徴量について機械学習を行った判別プログラムに画像情報のある領域を入力し、入力した領域の特徴量と特徴部分の特徴量との類似度が高いものを抽出することで行う。特徴量としては、例えばＨＯＧ（Ｈｉｓｔｏｇｒａｍｓ ｏｆ Ｏｒｉｅｎｔｅｄ Ｇｒａｄｉｅｎｔｓ）を用い、判別プログラムとしては、例えばＳＶＭ（Ｓｕｐｐｏｒｔ Ｖｅｃｔｏｒ Ｍａｃｈｉｎｅ）を用いることができる。
領域抽出部２０５は、特徴部分に類似する領域を抽出すると、検知領域座標（左上及び右下の座標）、特徴量評価値、及び車種（二輪車、四輪一段、又は四輪二段）を含む領域情報を出力する。
【００２０】
比較値算出部２０６は、文字列情報出力部２０４の出力と領域抽出部２０５の出力とに基づいて、同一の車種に関連付けられた文字列の座標と特徴領域の座標との間の距離をそれぞれ算出する。また、比較値算出部２０６は、車種が二輪車を示す場合、文字列の座標と特徴領域の座標とを結ぶ線分の角度を算出する。
判定部２０７は、比較値算出部２０６が算出した距離が所定の閾値以内であるか否かに基づいて、文字列情報出力部２０４が出力した情報と領域抽出部２０５が出力した情報とが、同一の車両を示すものであるか否かを判定する。判定部２０７は、文字列情報出力部２０４が出力した情報と領域抽出部２０５が出力した情報とが、同一の車両を示すものであると判定した場合、これらを関連付けて候補抽出部２０９に出力する。すなわち、判定部２０７は、文字列情報出力部２０４が出力した情報と領域抽出部２０５が出力した情報とを１つの情報に統合する。他方、判定部２０７は、文字列情報出力部２０４が出力した情報のうち領域抽出部２０５が出力した何れの情報とも関連付けられない情報と、領域抽出部２０５が出力した情報のうち文字列情報出力部２０４が出力した何れの情報とも関連付けられない情報とを、候補抽出部２０９にそれぞれ別個に出力する。以下、判定部２０７が出力した情報を、車両情報と呼ぶ。
【００２１】
図２は、判定部２０７が出力する車両情報のデータ構成を示す図である。
車両情報は、文字列、車種、評価値、フレームＩＤ、及び車両位置座標を要素に持つ情報である。ここで、評価値とは、文字列の認識尤度または特徴領域の特徴量評価値を示すものである。評価値には、文字列認識部２０２によって認識された文字列が存在する場合に、当該文字列の認識尤度が適用され、文字列認識部２０２によって認識された文字列が存在しない場合に、特徴領域の特徴量評価値が適用される。
【００２２】
図３は、記憶部２０８が記憶するテーブルの情報を示す図である。
記憶部２０８は、車両ＩＤ、文字列、車種、最大評価値、最大評価値のフレームＩＤ、車両ベクトルの始点のフレームＩＤ及び座標（始点座標）、車両ベクトルの終点のフレームＩＤ及び座標（終点座標）、並びに車両ベクトルの角度を、それぞれ関連付けたテーブルを記憶する。
ここで、車両ＩＤとは、記憶部２０８が記憶する情報を識別するＩＤである。また、最大評価値とは、現在のフレームまでにおける文字列の認識尤度または特徴量評価値の最大値を示す。車両ベクトルとは、異なるフレームＩＤの画像情報間における車両の移動を示すベクトルである。なお、車両ベクトルの終点は、車両情報が抽出された最後のフレームにおける当該車両情報の座標であり、車両ベクトルの始点は、終点の座標より前のフレームにおける車両情報の座標である。
【００２３】
候補抽出部２０９は、判定部２０７が出力する車両情報の中から記憶部２０８が記憶する情報の更新候補となる車両情報を抽出する。具体的には、文字列を含む車両情報である場合、当該文字列が記憶部２０８に記憶されたある文字列（更新対象）に類似するものを更新候補として抽出する。また、文字列を含まない車両情報、または記憶部２０８に記憶された何れの文字列にも類似しない文字列を含む車両情報である場合、更新対象文字列の始点座標と終点座標とを結ぶベクトルと、更新対象文字列の終点座標と当該車両情報の座標とを結ぶベクトルとがなす角が所定の角度以下となる車両情報を、更新候補として抽出する。
【００２４】
記録部２１０は、判定部２０７が出力した車両情報のうち候補抽出部２０９によって更新候補として抽出されなかった車両情報を、新たに記憶部２０８に記録する。
更新部２１１は、候補抽出部２０９が抽出した更新候補の認識尤度が、更新対象文字列の認識尤度より高い場合に、記憶部２０８が記憶する更新対象文字列を候補文字列に書き換える。このとき、更新部２１１は、画像情報のフレームＩＤ、始点座標、終点座標を最新の情報に更新する。
【００２５】
出力部２１２は、記憶部２０８が記憶する車両情報に関連付けられたフレームＩＤと入力部２０１が受け付けた画像情報のフレームＩＤとの差が所定の閾値以上となる場合に、当該フレームＩＤが示す画像情報及び文字列を料金収受装置３００に出力する。
削除部２１３は、出力部２１２が出力した車両情報を記憶部２０８から削除する。
【００２６】
上記構成を備えることで、画像処理装置２００は、以下の処理を実行することができる。すなわち、文字列認識部２０２は、撮像装置１００が撮像した画像から文字列を認識し、当該文字列及び当該文字列の座標を出力する。領域抽出部２０５は、撮像装置１００が撮像した画像から当該画像に含まれる車両の特徴部分を示す特徴領域を抽出する。距離算出部は、文字列認識部２０２が出力した各文字列の座標と前記領域抽出部２０５が抽出した各特徴領域の座標との間の距離をそれぞれ算出する。判定部２０７は、文字列と特徴領域との組のうち、距離算出部が算出した距離と所定の基準距離との差が所定の閾値以内である組を、同一の車両におけるナンバープレートと特徴部分との組であると判定する。
これにより、画像処理装置２００は、文字列認識部２０２と領域抽出部２０５の認識の漏れを補うことができ、かつ同一の車両の文字列と特徴領域とを関連付けておくことができる。
【００２７】
次に、本実施形態による画像処理装置２００の動作について説明する。
図４は、本実施形態による画像処理装置２００の動作を示すフローチャートである。
まず、画像処理装置２００の入力部２０１は、撮像装置１００が撮像した画像情報の入力を受け付ける（ステップＳ１）。次に、文字列認識部２０２は、入力部２０１が受け付けた画像情報に対してＯＣＲ処理を実行し、文字列の認識を行う（ステップＳ２）。このとき、文字列認識部２０２は、文字列認識の認識尤度、及び文字列の座標を算出する。
【００２８】
次に、文字列判定部２０７は、文字列認識部２０２が識別した文字列と所定のパターン情報とを比較することで、当該文字列が示すナンバープレートを備える車両の車種を判別する（ステップＳ３）。次に、文字列情報取得部は、文字列認識部２０２が出力する情報と文字列判定部２０７による判定結果を関連付けて比較値算出部２０６及び判定部２０７に出力する。
【００２９】
他方、ステップＳ１で入力部２０１が画像情報の入力を受け付けると、領域抽出部２０５は、ＳＶＭ等を用いて、入力部２０１が受け付けた画像情報から、二輪車の特徴領域、及び一段プレート並びに二段プレートの四輪車の特徴領域をそれぞれ抽出し、当該特徴領域の情報を比較値算出部２０６及び判定部２０７に出力する（ステップＳ４）。このとき、領域抽出部２０５は、抽出した特徴領域のそれぞれに対して、当該特徴領域が二輪車の特徴領域であるか、四輪車の特徴領域であるかを示す種別情報を付与する。
【００３０】
次に、画像処理装置２００は、１フレームの画像情報から抽出した文字列と特徴領域とを関連付けるフレーム内統合処理を実行する（ステップＳ５）。
図５は、フレーム内統合処理の処理を示すフローチャートである。
判定部２０７は、領域抽出部２０５から受け付けた情報の中に、特徴領域が１つ以上存在するか否かを判定する（ステップＳ５０１）。判定部２０７は、特徴領域が存在すると判定した場合（ステップＳ５０１：ＹＥＳ）、文字列情報出力部２０４から受け付けた情報の中に、文字列が１つ以上存在するか否かを判定する（ステップＳ５０２）。
【００３１】
判定部２０７が受け付けた情報の中に、文字列が存在すると判定した場合（ステップＳ５０２：ＹＥＳ）、比較値算出部２０６は、文字列情報出力部２０４から出力された文字列の車種（四輪一段、四輪二段、二輪）毎に（ステップＳ５０３）、当該車種に関連付けられた文字列それぞれについて、以下に示すステップＳ５０５〜ステップＳ５０７の処理を実行する（ステップＳ５０４）。
【００３２】
まず、比較値算出部２０６は、領域抽出部２０５から出力された特徴領域のうち、ステップＳ５０３で選択された車種に関連付けられたものを抽出する。次に、比較値算出部２０６は、抽出した特徴領域とステップＳ５０４で選択した文字列との間の距離をそれぞれ算出する（ステップＳ５０５）。次に、判定部２０７は、比較値算出部２０６が距離を算出した文字列と特徴領域の組の中に、当該距離がｄｖｅｈ−ｄｔｈ以上かつｄｖｅｈ＋ｄｔｈ以下であるもの（但し、ｄｖｅｈ−ｄｔｈが負数になる場合はｄｖｅｈ−ｄｔｈを零数とみなす）が存在するか否かを判定する（ステップＳ５０６）。ここで、ｄｖｅｈとは、画像に写ったときのナンバープレートと特徴部分との標準的な距離を示す。つまり、四輪二段、四輪一段においては特徴部分がナンバープレートであるため、ｄｖｅｈは０である。また、二輪の場合、ｄｖｅｈは、画像に写ったときのナンバープレートとヘルメットとの標準的な距離である。なおｄｔｈは、距離の誤差の許容範囲を示す所定の閾値である。
【００３３】
比較値算出部２０６が距離を算出した文字列と特徴領域の組の中に、当該距離がｄｖｅｈ−ｄｔｈ以上かつｄｖｅｈ＋ｄｔｈ以下であるものが存在する場合（ステップＳ５０６：ＹＥＳ）、判定部２０７は、当該文字列と特徴領域とを同一の車両を示すものであるか否かを判定し、それぞれを互いに関連付ける（ステップＳ５０７）。他方、比較値算出部２０６が距離を算出した文字列と特徴領域の組の中に、当該距離がｄｖｅｈ−ｄｔｈ以上かつｄｖｅｈ−ｄｔｈ以下であるものが存在しない場合（ステップＳ５０６：ＮＯ）、ステップＳ５０４で選択した文字列に、特徴領域を関連付けない。
【００３４】
各車種に対して上記ステップＳ５０４〜ステップＳ５０７の処理を実行すると、判定部２０７は、入力部２０１から画像情報のフレームＩＤを読み出し、ステップＳ５０３〜ステップＳ５０７で関連付けた特徴領域と文字列の組に、当該フレームＩＤを関連付ける（ステップＳ５０８）。次に、判定部２０７は、ステップＳ５０３〜ステップＳ５０７において関連付けられなかった特徴領域及び文字列のそれぞれに、当該フレームＩＤを関連付け（ステップＳ５０９）、フレーム内統合処理を終了する。なお、本実施形態では文字列と特徴領域の組の距離の判定に基づいて関連付けを行う場合を説明したが、例えば二輪車の関連付けにおいては、距離の判定に加え、文字列の座標と特徴領域の座標とを結ぶ線分の角度が所定の角度範囲内にあるか否かの判定を行うことで、関連付けの許否を決定するようにしても良い。なお、ここで所定の角度範囲とは、画像に写ったときのナンバープレートと特徴部分とを結ぶ線分の標準的な角度範囲である。
【００３５】
また、ステップＳ５０１で判定部２０７が、領域抽出部２０５から受け付けた情報の中に特徴領域が存在しないと判定した場合（ステップＳ５０１：ＮＯ）、判定部２０７は、文字列情報出力部２０４から受け付けた情報の中に、文字列が１つ以上存在するか否かを判定する（ステップＳ５１０）。判定部２０７は、文字列情報出力部２０４から受け付けた情報の中に文字列が存在しないと判定した場合（ステップＳ５１０：ＮＯ）、画像情報中に車両が存在しないと判定し、処理を行わずにフレーム内統合処理を終了する。
【００３６】
また、ステップＳ５０２で判定部２０７が、文字列情報出力部２０４から受け付けた情報の中に文字列が存在しないと判定した場合（ステップＳ５０２：ＮＯ）、すなわち特徴領域のみ抽出され、文字列が認識されなかった場合、及びステップＳ５１０で判定部２０７が文字列情報出力部２０４から受け付けた情報の中に文字列が存在しないと判定した場合（ステップＳ５１０：ＮＯ）、すなわち文字列のみ認識され、特徴領域が抽出されなかった場合、文字列と特徴領域との組が存在しないため、ステップＳ５０３からステップＳ５０８の処理を実行せずに、特徴領域及び文字列のそれぞれに、当該フレームＩＤを関連付け（ステップＳ５０９）、フレーム内統合処理を終了する。
【００３７】
図４に戻り、ステップＳ５によるフレーム内統合処理を終了すると、判定部２０７は、フレーム内統合処理でフレームＩＤに関連付けた情報（車両情報）を、候補抽出部２０９に出力する。次に、画像処理装置２００は、複数のフレームの画像情報から抽出した車両情報同士を関連付けるフレーム間統合処理を実行する（ステップＳ６）。
図６は、フレーム間統合処理の処理を示す第１のフローチャートである。
まず候補抽出部２０９は、現在のフレームにおいて判定部２０７から受け付けた車両情報が存在するか否かを判定する（ステップＳ６０１）。現在のフレームにおいて判定部２０７から受け付けた車両情報が存在しない場合は（ステップＳ６０１：ＮＯ）、記憶部２０８が記憶する情報に統合する情報がないため、処理を行わずにフレーム間統合処理を終了する。他方、現在のフレームにおいて判定部２０７から受け付けた車両情報が存在する場合（ステップＳ６０１：ＹＥＳ）、候補抽出部２０９は、判定部２０７から出力された全ての車両情報のそれぞれについて、以下に示すステップＳ６０３〜ステップＳ６１６の処理を実行する（ステップＳ６０２）。
【００３８】
まず、候補抽出部２０９は、ステップＳ６０２で選択した車両情報に、文字列認識部２０２によって認識された文字列が存在するか否かを判定する（ステップＳ６０３）。車両情報に文字列が存在する場合（ステップＳ６０３：ＹＥＳ）、候補抽出部２０９は、当該車両情報に含まれる文字列の座標を、車両の位置を示す座標である車両位置座標とする（ステップＳ６０４）。次に、候補抽出部２０９は、記憶部２０８が記憶するテーブルのレコードのそれぞれについて、以下に示すステップＳ６０６〜ステップＳ６１２の処理を実行する（ステップＳ６０５）。
【００３９】
まず、候補抽出部２０９は、ステップＳ６０２で選択した車両情報が示す車両とステップＳ６０５で選択したレコードが示す車両とが同一の車両であるか否かを判別する別車判定処理を実行する（ステップＳ６０７）。別車両判定の例としては、例えば、ナンバープレート文字の色が同一であり、かつ文字列同士の編集距離が所定の閾値以下である場合に、同一の車両であると判定する方法が挙げられる。
【００４０】
別車判定処理を終了すると、候補抽出部２０９は、別車判定処理においてステップＳ６０２で選択した車両情報が示す車両とステップＳ６０５で選択したレコードが示す車両とが同一の車両であると判定したか否かを判定する（ステップＳ６０７）。候補抽出部２０９が、ステップＳ９０７で異なる車両であると判定した場合（ステップＳ６０７：ＮＯ）、ステップＳ６０５に戻り、記憶部２０８が記憶する他のレコードの選択を行う。
【００４１】
他方、候補抽出部２０９は、ステップＳ９０６で同一の車両であると判定した場合（ステップＳ６０７：ＹＥＳ）、ステップＳ６０２で選択した車両情報を、ステップＳ６０５で選択したレコードを更新対象とする更新候補として抽出し、当該車両情報とレコードの車両ＩＤとを更新部２１１に出力する（ステップＳ６０８）。
【００４２】
更新部２１１は、更新対象のレコードの車両ＩＤに関連付けられたレコードを記憶部２０８から読み出し、当該レコードにおける車両ベクトルの始点のフレームＩＤ及び座標を、当該車両ベクトルの終点のフレームＩＤ及び座標に書き換える。また、更新部２１１は、当該レコードにおける車両ベクトルの終点のフレームＩＤ及び座標を、更新候補の車両情報のフレームＩＤ及び座標に書き換える（ステップＳ６０９）。次に、更新部２１１は、ステップＳ６０９で書き換えたレコードにおける車両ベクトルの始点及び終点の座標から当該車両ベクトルの角度を算出し、当該レコードにおける車両ベクトルの角度を書き換える（ステップＳ６１０）。
【００４３】
次に、更新部２１１は、更新候補の車両情報の文字列認識尤度が、更新対象のレコードの文字列認識尤度以上であるか否かを判定する（ステップＳ６１１）。更新部２１１は、更新候補の車両情報の文字列認識尤度が、更新対象のレコードの文字列認識尤度以上であると判定した場合（ステップＳ６１１：ＹＥＳ）、更新対象のレコードにおける文字列認識尤度及び最大評価値のフレームＩＤを、更新候補の車両情報の文字列認識尤度及びフレームＩＤに書き換え（ステップＳ６１２）、ステップＳ６０５に戻り、記憶部２０８が記憶する他のレコードの選択を行う。
【００４４】
他方、更新部２１１は、更新候補の車両情報の文字列認識尤度が、更新対象のレコードの文字列認識尤度未満であると判定した場合（ステップＳ６１１：ＮＯ）、文字列及び文字列認識尤度の更新を行わずに、ステップＳ６０５に戻り、記憶部２０８が記憶する他のレコードの選択を行う。
【００４５】
記憶部２０８が記憶する全てのレコードに対して上記ステップＳ６０６〜ステップＳ６１２の処理を実行すると、ステップＳ６０２に戻り、現在フレームの他の車両情報の選択を行う。
【００４６】
また、候補抽出部２０９は、ステップＳ６０３において車両情報に文字列が存在しないと判定した場合（ステップＳ６０３：ＮＯ）、当該車両情報の車種が二輪であるか否かを判定する（ステップＳ６１３）。候補抽出部２０９は、車両情報の車種が二輪であると判定した場合（ステップＳ６１３：ＹＥＳ）、車両情報に含まれる特徴領域の座標からナンバープレートの座標を推定する（ステップＳ６１４）。
【００４７】
図７は、ナンバープレートの座標を推定する方法を示す図である。
候補抽出部２０９は図７に示すように、特徴領域の座標から距離ｄｂｉｋｅ、角度１８０°＋θｂｉｋｅとなる点を、ナンバープレートの座標と推定する。ここで、距離ｄｂｉｋｅは、画像に写ったときの二輪プレートと特徴部分との標準的な距離である。また、角度θｂｉｋｅは、画像に写ったときの二輪プレートと特徴部分とを結ぶ線分のレーン毎の標準的な角度である。
候補抽出部２０９は、ステップＳ６１４でナンバープレートの座標を推定すると、当該推定した座標を車両位置座標として（ステップＳ６１５）、ステップＳ６０２に戻り、現在フレームの他の車両情報の選択を行う。
【００４８】
また、候補抽出部２０９は、ステップＳ６１３において、車両情報の車種が二輪でないと判定した場合（ステップＳ６１３：ＮＯ）、当該車両情報に含まれる特徴領域の座標を車両位置座標として（ステップＳ６１６）、ステップＳ６０２に戻り、現在フレームの他の車両情報の選択を行う。
【００４９】
図８は、フレーム間統合処理の処理を示す第２のフローチャートである。
判定部２０７が出力した全ての車両情報に対して上記ステップＳ６０３〜ステップＳ６１６の処理を実行すると、候補抽出部２０９は、判定部２０７が出力した全ての車両情報がステップＳ６０８において更新候補となったか否かを判定する（ステップＳ６１７）。全ての車両情報が更新候補になった場合は（ステップＳ６１７：ＹＥＳ）、これ以上統合する情報がないため、処理を行わずにフレーム間統合処理を終了する。
【００５０】
他方、更新候補として抽出されなかった車両情報が存在する場合（ステップＳ６１７：ＮＯ）、候補抽出部２０９は、記憶部２０８が記憶するレコードのそれぞれについて、以下に示すステップＳ６１９〜ステップＳ６３１の処理を実行する（ステップＳ６１８）。
【００５１】
まず、候補抽出部２０９は、ステップＳ６１８で選択されたレコードの車両ベクトルの終点座標を始点とし、ステップＳ６０８において更新候補として抽出されなかった車両情報の車両位置座標を終点とする未関連車両ベクトルの角度を算出する（ステップＳ６１９）。次に、候補抽出部２０９は、ステップＳ６１９で算出した未関連車両ベクトルの中に、角度が所定の角度θｍＸｎＹ−δｖｅｈ以上であるものが存在するか否かを判定する（ステップＳ６２０）。ここで、θｍＸｎＹとは、選択されたレコードにおける車両ベクトルの角度であり、δｖｅｈとは、車両の操舵により前回の進行方向に対して１フレームの間に変化し得る角度である。なお、前回の処理においてレコードが新たに記録された場合、当該レコードには車両ベクトルの角度θｍＸｎＹが存在しない。この場合は、θｍＸｎＹに代えて、画像情報における車両の進行方向のレーン毎の標準的な角度であるθｖｅｈを用いて計算する。
【００５２】
ステップＳ６１９で算出した未関連車両ベクトルの中に、角度が所定の角度θｍＸｎＹ−δｖｅｈ以上であるものが存在する場合（ステップＳ６２０：ＹＥＳ）、候補抽出部２０９は、角度がθｍＸｎＹ−δｖｅｈ以上であると判定された未関連車両ベクトルの中に、当該角度が所定の角度θｍＸｎＹ＋δｖｅｈ以下であるものが存在するか否かを判定する（ステップＳ６２１）。なお、ステップＳ６２０、ステップＳ６２１の処理は、ステップＳ６１８で選択したレコードに記憶された車両ベクトルとステップＳ６１９で算出したベクトルとがなす角が、所定の角度δｖｅｈ以下となっているか否かを判定する処理と等価である。
【００５３】
角度がθｍＸｎＹ−δｖｅｈ以上であると判定された未関連車両ベクトルの中に、当該角度がθｍＸｎＹ＋δｖｅｈ以下であるものが存在する場合（ステップＳ６２１：ＹＥＳ）、候補抽出部２０９は、その未関連車両ベクトルのうち、角度が最もθｍＸｎＹに近いものを抽出する。そして、抽出した未関連車両ベクトルの終点を示す車両情報を、ステップＳ６１３で選択したレコードを更新対象とする更新候補として抽出し、当該車両情報とレコードの車両ＩＤとを更新部２１１に出力する（ステップＳ６２２）。
なお、ステップＳ６１９で算出した未関連車両ベクトルの中に、角度が所定の角度θｍＸｎＹ−δｖｅｈ以上であるものが存在しない場合（ステップＳ６２０：ＮＯ）、及びステップＳ６１９で算出した未関連車両ベクトルの中に、角度が所定の角度θｍＸｎＹ＋δｖｅｈ以下であるものが存在しない場合（ステップＳ６２１：ＮＯ）、ステップＳ６１３で選択したレコードが示す車両に相当する車両情報が存在しないため、ステップＳ６１８に戻り、他のレコードを選択する。
【００５４】
ステップＳ６２２で候補抽出部２０９が更新候補の車両情報及び更新対象のレコードの車両ＩＤを出力すると、更新部２１１は、候補抽出部２０９から受け付けた車両ＩＤに関連付けられたレコードを記憶部２０８から読み出し、当該レコードにおける車両ベクトルの始点のフレームＩＤ及び座標を、当該車両ベクトルの終点のフレームＩＤ及び座標に書き換える。また、更新部２１１は、当該レコードにおける車両ベクトルの終点のフレームＩＤ及び座標を、候補抽出部２０９から受け付けた車両情報のフレームＩＤ及び座標に書き換える（ステップＳ６２３）。次に、更新部２１１は、ステップＳ６２７で書き換えたレコードにおける車両ベクトルの始点及び終点の座標から当該車両ベクトルの角度を算出し、当該レコードにおける車両ベクトルの角度を書き換える（ステップＳ６２４）。
【００５５】
次に、更新部２１１は、更新対象のレコードに文字列が含まれるか否かを判定する（ステップＳ６２５）。レコードに文字列が含まれない場合（ステップＳ６２５：ＮＯ）、更新部２１１は、更新候補の車両情報の特徴量評価値が、更新対象のレコードの特徴量評価値以上であるか否かを判定する（ステップＳ６２６）。更新部２１１は、更新候補の車両情報の特徴量評価値が、更新対象のレコードの特徴量評価値以上であると判定した場合（ステップＳ６２６：ＹＥＳ）、更新対象のレコードにおける特徴量評価値及び最大評価値のフレームＩＤを、更新候補の車両情報の特徴量評価値及びフレームＩＤに書き換え（ステップＳ６２７）、ステップＳ６１８に戻り、記憶部２０８が記憶する他のレコードの選択を行う。
【００５６】
他方、更新部２１１は、更新対象のレコードに文字列が含まれる場合（ステップＳ６２５：ＹＥＳ）、または更新候補の車両情報の特徴量評価値が、更新対象のレコードの文字列認識尤度未満であると判定した場合（ステップＳ６２６：ＮＯ）、文字列及び文字列認識尤度の更新を行わずに、ステップＳ６１８に戻り、記憶部２０８が記憶する他のレコードの選択を行う。
そして、記録部２１０は、更新候補として抽出されなかった車両情報のうち、特徴量評価値が所定の閾値以上である車両情報を、新規車両として新たに記憶部２０８に記録し（ステップＳ６２８）、フレーム間統合処理を終了する。
【００５７】
図４に戻り、ステップＳ６によるフレーム間統合処理を終了すると、出力部２１２は、入力部２０１から現在のフレームＩＤを取得する。次に、出力部２１２は、記憶部２０８が記憶するレコードの中に、車両ベクトルの終点のフレームＩＤと現在のフレームＩＤとの差が所定フレーム以上となるものがあるか否かを判定する（ステップＳ７）。出力部２１２は、記憶部２０８が記憶するレコードの中に、車両ベクトルの終点のフレームＩＤと現在のフレームＩＤとの差が所定フレーム以上となるものがないと判定した場合（ステップＳ７：ＮＯ）、処理を終了する。
【００５８】
他方、出力部２１２は、記憶部２０８が記憶するレコードの中に、車両ベクトルの終点のフレームＩＤと現在のフレームＩＤとの差が所定フレーム以上となるものがあると判定した場合（ステップＳ７：ＹＥＳ）、終点のフレームＩＤと現在のフレームＩＤとの差が所定フレーム以上となるレコードの、最大評価値のフレームＩＤが示すフレームの画像情報及び文字列を、料金収受装置３００に出力する（ステップＳ８）。また、削除部２１３は、出力部２１２が出力したレコードを記憶部２０８から削除し（ステップＳ９）、処理を終了する。
以降、入力部２０１が画像情報を受け付ける度に、ステップＳ１からステップＳ９の処理を実行する。
【００５９】
なお、料金収受装置３００は、ステップＳ８において画像処理装置２００から出力された文字列及び画像情報に基づいて、料金収受処理を行う。例えば、料金収受装置３００は、ナンバープレートの文字列と料金収受対象のクレジットカード番号とを関連付けて記憶しておき、画像処理装置２００から受け付けた文字列に関連付けられたクレジットカード番号に対して課金処理を行う方法が挙げられる。また例えば、料金収受装置３００は、予め料金の支払があった車両のナンバープレートの文字列を記憶しておき、画像処理装置から受け付けた文字列のうち、予め記憶していない文字列が示す車両に対して課金処理を行う方法も挙げられる。また、文字列の認識尤度が低い場合は、画像処理装置から受け付けた画像を目視により確認することが好ましい。
【００６０】
このように、本実施形態によれば、文字列認識と領域抽出の２つの方法によって車両を抽出することで認識の漏れを補うことができ、かつ複数のフレームから車両情報を抽出して同一の車両に対する車両情報を更新することで、車両情報の精度を高くすることができる。
【００６１】
以上、図面を参照してこの発明の一実施形態について詳しく説明してきたが、具体的な構成は上述のものに限られることはなく、この発明の要旨を逸脱しない範囲内において様々な設計変更等をすることが可能である。
例えば、本実施形態では、二輪車の特徴部分としてヘルメットを用い、四輪車の特徴部分としてナンバープレートを用いる場合を説明したが、これに限られず、その他の特徴部分を用いても、同様の処理を行うことができる。
【００６２】
また、本実施形態では、四輪車のナンバープレートの種類として一段プレートと二段プレートとがある場合を用いて説明したが、これに限られず、１種類または３種類以上のナンバープレートがある場合にも適用することができる。
【００６３】
また、本実施形態では、画像処理装置２００が出力した車両情報に基づいて有料道路を通行する車両に対して通行料金の収受を行う料金収受システムに適用する場合について説明したが、これに限られない。例えば、車両情報に基づいて違反車特定処理を実行する違反車特定システムに画像処理装置２００を備えるようにしても良い。この場合、料金収受装置３００に代えて画像処理装置２００から出力された画像及び文字列に基づいて違反車特定処理を行う違反者特定装置を備えることとなる。
【００６４】
上述の画像処理装置２００は内部に、コンピュータシステムを有している。そして、上述した各処理部の動作は、プログラムの形式でコンピュータ読み取り可能な記録媒体に記憶されており、このプログラムをコンピュータが読み出して実行することによって、上記処理が行われる。ここでコンピュータ読み取り可能な記録媒体とは、磁気ディスク、光磁気ディスク、ＣＤ−ＲＯＭ、ＤＶＤ−ＲＯＭ、半導体メモリ等をいう。また、このコンピュータプログラムを通信回線によってコンピュータに配信し、この配信を受けたコンピュータが当該プログラムを実行するようにしても良い。
【００６５】
また、上記プログラムは、前述した機能の一部を実現するためのものであっても良い。さらに、前述した機能をコンピュータシステムにすでに記録されているプログラムとの組み合わせで実現できるもの、いわゆる差分ファイル（差分プログラム）であっても良い。
【符号の説明】
【００６６】
１００…撮像装置 ２００…画像処理装置 ２０１…入力部 ２０２…文字列認識部 ２０３…文字列判別部 ２０４…文字列情報出力部 ２０５…領域抽出部 ２０６…比較値算出部 ２０７…判定部 ２０８…記憶部 ２０９…候補抽出部 ２１０…記録部 ２１１…更新部 ２１２…出力部 ２１３…削除部 ３００…料金収受装置
【技術分野】
【０００１】
本発明は、連続撮像された画像から、車両を示す車両情報を抽出して出力する画像処理装置、車両処理システム、画像処理方法、及びプログラムに関する。
【背景技術】
【０００２】
有料道路における料金収受では、車両固有の登録情報の特定が重要となる。また、違反車両の特定においても、車両固有の登録情報の特定が重要となる。これらの登録情報を特定する方法としては、従来、車載器と路側アンテナの通信により取得する方法や、ＯＣＲなどの画像処理技術をもってナンバープレートを認識し、その登録情報より取得する方法などを用いている。また、画像により車種を判定する手法（例えば４輪車と２輪車の判定）も種々開発されている。
【０００３】
ここで、特許文献１には、車両の特徴部分を抽出する方法とＯＣＲ処理を実行する方法の両方を用いて車両を認識する方法が記載されている。具体的には、まず車両のナンバープレートを示す特徴部分を抽出し、次に、当該特徴部分を対象にＯＣＲ処理を行う。
【先行技術文献】
【特許文献】
【０００４】
【特許文献１】特開２００９−１５５１５号公報
【発明の概要】
【発明が解決しようとする課題】
【０００５】
車両の認識は、漏れがないように行うことが好ましい。そのため、車両の認識に当たって特徴部分の抽出とＯＣＲ処理との両方を実行することで、それぞれの認識の漏れを補うことができると考えられる。しかしながら、単に両方の処理を行うと、同一の車両が重複して検出されてしまうという問題がある。また、特許文献１に記載の発明を用いた場合、ナンバープレートの抽出に失敗すると、当該部分が車両と認識されないこととなるため、認識の漏れを補うことができない。また、画像によっては車両の映りが悪くＯＣＲによる文字列認識の精度が低い場合があり、必ずしも料金収受に十分な精度を確保できるとは限らないという問題がある。
【課題を解決するための手段】
【０００６】
本発明は上記の課題を解決するためになされたものであり、連続撮像された画像から、車両を示す車両情報を抽出して出力する画像処理装置であって、前記連続撮像された画像の各フレームから文字列を認識し、当該文字列を前記車両情報として出力する文字列認識部と、前記連続撮像された画像の各フレームから当該画像に含まれる車両の特徴部分を示す特徴領域を抽出し、当該特徴領域を前記車両情報として出力する領域抽出部と、前記連続撮像された画像の現在のフレームにおいて前記文字列認識部が出力した車両情報と前記特徴抽出部が抽出した車両情報とのうち同一車両を示すものを１つの車両情報に統合する統合部と、前記連続撮像された画像の過去のフレームにおいて抽出された車両情報を記憶する記憶部と、前記統合部によって統合された車両情報及び統合されなかった車両情報の中から、前記記憶部が記憶する車両情報と同一車両を示すものを更新候補として抽出する候補抽出部と、前記記憶部が記憶する車両情報を、前記候補抽出部が抽出した更新候補に更新する更新部と、前記記憶部が記憶する車両情報を出力する出力部とを備えることを特徴とする。
【０００７】
また、本発明においては、前記文字列認識部は、前記文字列に加えて当該文字列の座標及び当該文字列が示す車両の車種を車両情報として出力し、前記領域抽出部は、前記領域情報に加えて当該領域情報の座標及び当該領域情報が示す車両の車種を車両情報として出力し、前記統合部は、前記文字列認識部が出力した車両情報と前記領域抽出部が出力した車両情報との車種が一致し、かつ座標同士の距離が所定の閾値以内である場合に、同一車両を示すものと判定することが好ましい。
【０００８】
また、本発明においては、前記統合部は、前記統合された車両情報及び前記統合されなかった車両情報のそれぞれに、車両情報が抽出されたフレームのフレーム番号を関連付け、前記出力部は、前記記憶部が記憶する車両情報と、当該車両情報に関連付けられたフレーム番号が示すフレームの画像を出力することが好ましい。
【０００９】
また、本発明においては、前記候補抽出部は、前記統合部が出力した車両情報に文字列が含まれ、かつ当該文字列が前記記憶部が記憶する車両情報に含まれる文字列と類似する場合、及び／または前記統合部が出力した車両情報が示す座標と前記記憶部が記憶する車両情報が示す座標とがなす角が所定の角度範囲以内である場合に、前記車両情報を更新候補として抽出することが好ましい。
【００１０】
また、本発明においては、前記文字列認識部は、前記文字列に加えて当該文字列の抽出尤度を車両情報として出力し、前記更新部は、前記前記記憶部が記憶する車両情報の抽出尤度より、前記候補抽出部が抽出した更新候補の抽出粒度が高い場合に、前記前記記憶部が記憶する車両情報を前記更新候補に更新することが好ましい。
【００１１】
また、本発明は、上記画像処理装置が出力した車両情報が示す車両に対して料金収受処理を実行することを特徴とする。
【００１２】
また、本発明は、連続撮像された画像から、車両を示す車両情報を抽出して出力する画像処理装置を用いた画像処理方法であって、文字列認識部は、前記連続撮像された画像の各フレームから文字列を認識し、当該文字列を前記車両情報として出力し、領域抽出部は、前記連続撮像された画像の各フレームから当該画像に含まれる車両の特徴部分を示す特徴領域を抽出し、当該特徴領域を前記車両情報として出力し、統合部は、前記連続撮像された画像の現在のフレームにおいて前記文字列認識部が出力した車両情報と前記特徴抽出部が抽出した車両情報とのうち同一車両を示すものを１つの車両情報に統合し、候補抽出部は、前記統合部によって統合された車両情報及び統合されなかった車両情報の中から、前記連続撮像された画像の過去のフレームにおいて抽出された車両情報を記憶する記憶部が記憶する車両情報と同一車両を示すものを更新候補として抽出し、更新部は前記記憶部が記憶する車両情報を、前記候補抽出部が抽出した更新候補に更新し、出力部は、前記記憶部が記憶する車両情報を出力することを特徴とする。
【００１３】
また、本発明は、連続撮像された画像から、車両を示す車両情報を抽出して出力する画像処理装置を、前記連続撮像された画像の各フレームから文字列を認識し、当該文字列を前記車両情報として出力する文字列認識部、前記連続撮像された画像の各フレームから当該画像に含まれる車両の特徴部分を示す特徴領域を抽出し、当該特徴領域を前記車両情報として出力する領域抽出部、前記連続撮像された画像の現在のフレームにおいて前記文字列認識部が出力した車両情報と前記特徴抽出部が抽出した車両情報とのうち同一車両を示すものを１つの車両情報に統合する統合部、前記統合部によって統合された車両情報及び統合されなかった車両情報の中から、前記連続撮像された画像の過去のフレームにおいて抽出された車両情報を記憶する記憶部が記憶する車両情報と同一車両を示すものを更新候補として抽出する候補抽出部、前記記憶部が記憶する車両情報を、前記候補抽出部が抽出した更新候補に更新する更新部、前記記憶部が記憶する車両情報を出力する出力部として機能させるためのプログラムである。
【発明の効果】
【００１４】
本発明によれば、文字列認識と領域抽出の２つの方法によって車両を抽出することで認識の漏れを補うことができ、かつ複数のフレームから車両情報を抽出して同一の車両に対する車両情報を更新することで、車両情報の精度を高くすることができる。
【図面の簡単な説明】
【００１５】
【図１】本発明の一実施形態による料金収受システムの構成を示す概略ブロック図である。
【図２】判定部が出力する車両情報のデータ構成を示す図である。
【図３】記憶部が記憶するテーブルの情報を示す図である。
【図４】本実施形態による画像処理装置の動作を示すフローチャートである。
【図５】フレーム内統合処理の処理を示すフローチャートである。
【図６】フレーム間統合処理の処理を示す第１のフローチャートである。
【図７】ナンバープレートの座標を推定する方法を示す図である。
【図８】フレーム間統合処理の処理を示す第２のフローチャートである。
【発明を実施するための形態】
【００１６】
以下、図面を参照しながら本発明の実施形態について詳しく説明する。
図１は、本発明の一実施形態による料金収受システムの構成を示す概略ブロック図である。
料金収受システム（車両処理システム）は、有料道路を通行する車両に対して通行料金の収受を行うシステムであり、撮像装置１００、画像処理装置２００、料金収受装置３００を備える。
撮像装置１００は、有料道路の路側に設けられ、有料道路を通過する車両を撮像する。
画像処理装置２００は、撮像装置１００が撮像した画像から、有料道路を通過した車両が写っているフレームの画像を抽出し、当該車両のナンバープレートの文字列と共に料金収受装置３００に出力する。
料金収受装置３００は、画像処理装置２００から出力された画像及び文字列に基づいて料金収受を行う。
【００１７】
画像処理装置２００は、入力部２０１、文字列認識部２０２、文字列判別部２０３、文字列情報出力部２０４、領域抽出部２０５、比較値算出部２０６、判定部２０７（統合部）、記憶部２０８、候補抽出部２０９、記録部２１０、更新部２１１、出力部２１２、削除部２１３を備える。
【００１８】
入力部２０１は、撮像装置１００から画像情報の入力を受け付ける。なお、撮像装置１００は所定のフレーム間隔で連続して撮像を行っており、画像情報には、撮像開始時から昇順に割り振られるフレームＩＤが含まれる。
文字列認識部２０２は、入力部２０１が受け付けた画像情報に対してＯＣＲ処理を実行することで文字列の認識を行い、認識した文字列、当該文字列の座標、及び当該文字列の認識尤度を、文字列判別部２０３及び文字列情報出力部２０４に出力する。
文字列判別部２０３は、文字列認識部２０２から入力された文字列と所定のパターン情報とを比較することで、当該文字列が示すナンバープレートを備える車両の車種を判別する。車種としては、二輪車、一段プレートの四輪車、二段プレートの四輪車が挙げられる。ここで、一段プレートの四輪車とは、一段構えに表示されるナンバープレートが設置された四輪車である。同様に、二段プレートの四輪車とは、二段構えに表示されるナンバープレートが設置された四輪車である。
文字列情報出力部２０４は、文字列認識部２０２の出力と文字列判別部２０３による判別結果とを関連付け、認識した文字列、当該文字列の座標、当該文字列の認識尤度、及び車種を、比較値算出部２０６及び判定部２０７に出力する。
【００１９】
領域抽出部２０５は、入力部２０１が受け付けた画像情報から二輪車の特徴部分に類似する領域と四輪車の特徴部分に類似する領域とを抽出する。本実施形態では、二輪車の特徴部分として運転者の頭から肩にかけての領域、すなわち運転者のヘルメットを用いる。また、四輪車の特徴部分として四輪車のナンバープレート（一段プレート、二段プレート）を用いる。
二輪車の特徴部分としてナンバープレートでなくヘルメットを用いる理由は、二輪車のナンバープレートは設置の自由度が高く、画像に写る角度が様々であることから、ナンバープレートよりヘルメットの方がより高い精度で抽出することができるためである。特徴部分の抽出は、予め特徴部分の特徴量について機械学習を行った判別プログラムに画像情報のある領域を入力し、入力した領域の特徴量と特徴部分の特徴量との類似度が高いものを抽出することで行う。特徴量としては、例えばＨＯＧ（Ｈｉｓｔｏｇｒａｍｓ ｏｆ Ｏｒｉｅｎｔｅｄ Ｇｒａｄｉｅｎｔｓ）を用い、判別プログラムとしては、例えばＳＶＭ（Ｓｕｐｐｏｒｔ Ｖｅｃｔｏｒ Ｍａｃｈｉｎｅ）を用いることができる。
領域抽出部２０５は、特徴部分に類似する領域を抽出すると、検知領域座標（左上及び右下の座標）、特徴量評価値、及び車種（二輪車、四輪一段、又は四輪二段）を含む領域情報を出力する。
【００２０】
比較値算出部２０６は、文字列情報出力部２０４の出力と領域抽出部２０５の出力とに基づいて、同一の車種に関連付けられた文字列の座標と特徴領域の座標との間の距離をそれぞれ算出する。また、比較値算出部２０６は、車種が二輪車を示す場合、文字列の座標と特徴領域の座標とを結ぶ線分の角度を算出する。
判定部２０７は、比較値算出部２０６が算出した距離が所定の閾値以内であるか否かに基づいて、文字列情報出力部２０４が出力した情報と領域抽出部２０５が出力した情報とが、同一の車両を示すものであるか否かを判定する。判定部２０７は、文字列情報出力部２０４が出力した情報と領域抽出部２０５が出力した情報とが、同一の車両を示すものであると判定した場合、これらを関連付けて候補抽出部２０９に出力する。すなわち、判定部２０７は、文字列情報出力部２０４が出力した情報と領域抽出部２０５が出力した情報とを１つの情報に統合する。他方、判定部２０７は、文字列情報出力部２０４が出力した情報のうち領域抽出部２０５が出力した何れの情報とも関連付けられない情報と、領域抽出部２０５が出力した情報のうち文字列情報出力部２０４が出力した何れの情報とも関連付けられない情報とを、候補抽出部２０９にそれぞれ別個に出力する。以下、判定部２０７が出力した情報を、車両情報と呼ぶ。
【００２１】
図２は、判定部２０７が出力する車両情報のデータ構成を示す図である。
車両情報は、文字列、車種、評価値、フレームＩＤ、及び車両位置座標を要素に持つ情報である。ここで、評価値とは、文字列の認識尤度または特徴領域の特徴量評価値を示すものである。評価値には、文字列認識部２０２によって認識された文字列が存在する場合に、当該文字列の認識尤度が適用され、文字列認識部２０２によって認識された文字列が存在しない場合に、特徴領域の特徴量評価値が適用される。
【００２２】
図３は、記憶部２０８が記憶するテーブルの情報を示す図である。
記憶部２０８は、車両ＩＤ、文字列、車種、最大評価値、最大評価値のフレームＩＤ、車両ベクトルの始点のフレームＩＤ及び座標（始点座標）、車両ベクトルの終点のフレームＩＤ及び座標（終点座標）、並びに車両ベクトルの角度を、それぞれ関連付けたテーブルを記憶する。
ここで、車両ＩＤとは、記憶部２０８が記憶する情報を識別するＩＤである。また、最大評価値とは、現在のフレームまでにおける文字列の認識尤度または特徴量評価値の最大値を示す。車両ベクトルとは、異なるフレームＩＤの画像情報間における車両の移動を示すベクトルである。なお、車両ベクトルの終点は、車両情報が抽出された最後のフレームにおける当該車両情報の座標であり、車両ベクトルの始点は、終点の座標より前のフレームにおける車両情報の座標である。
【００２３】
候補抽出部２０９は、判定部２０７が出力する車両情報の中から記憶部２０８が記憶する情報の更新候補となる車両情報を抽出する。具体的には、文字列を含む車両情報である場合、当該文字列が記憶部２０８に記憶されたある文字列（更新対象）に類似するものを更新候補として抽出する。また、文字列を含まない車両情報、または記憶部２０８に記憶された何れの文字列にも類似しない文字列を含む車両情報である場合、更新対象文字列の始点座標と終点座標とを結ぶベクトルと、更新対象文字列の終点座標と当該車両情報の座標とを結ぶベクトルとがなす角が所定の角度以下となる車両情報を、更新候補として抽出する。
【００２４】
記録部２１０は、判定部２０７が出力した車両情報のうち候補抽出部２０９によって更新候補として抽出されなかった車両情報を、新たに記憶部２０８に記録する。
更新部２１１は、候補抽出部２０９が抽出した更新候補の認識尤度が、更新対象文字列の認識尤度より高い場合に、記憶部２０８が記憶する更新対象文字列を候補文字列に書き換える。このとき、更新部２１１は、画像情報のフレームＩＤ、始点座標、終点座標を最新の情報に更新する。
【００２５】
出力部２１２は、記憶部２０８が記憶する車両情報に関連付けられたフレームＩＤと入力部２０１が受け付けた画像情報のフレームＩＤとの差が所定の閾値以上となる場合に、当該フレームＩＤが示す画像情報及び文字列を料金収受装置３００に出力する。
削除部２１３は、出力部２１２が出力した車両情報を記憶部２０８から削除する。
【００２６】
上記構成を備えることで、画像処理装置２００は、以下の処理を実行することができる。すなわち、文字列認識部２０２は、撮像装置１００が撮像した画像から文字列を認識し、当該文字列及び当該文字列の座標を出力する。領域抽出部２０５は、撮像装置１００が撮像した画像から当該画像に含まれる車両の特徴部分を示す特徴領域を抽出する。距離算出部は、文字列認識部２０２が出力した各文字列の座標と前記領域抽出部２０５が抽出した各特徴領域の座標との間の距離をそれぞれ算出する。判定部２０７は、文字列と特徴領域との組のうち、距離算出部が算出した距離と所定の基準距離との差が所定の閾値以内である組を、同一の車両におけるナンバープレートと特徴部分との組であると判定する。
これにより、画像処理装置２００は、文字列認識部２０２と領域抽出部２０５の認識の漏れを補うことができ、かつ同一の車両の文字列と特徴領域とを関連付けておくことができる。
【００２７】
次に、本実施形態による画像処理装置２００の動作について説明する。
図４は、本実施形態による画像処理装置２００の動作を示すフローチャートである。
まず、画像処理装置２００の入力部２０１は、撮像装置１００が撮像した画像情報の入力を受け付ける（ステップＳ１）。次に、文字列認識部２０２は、入力部２０１が受け付けた画像情報に対してＯＣＲ処理を実行し、文字列の認識を行う（ステップＳ２）。このとき、文字列認識部２０２は、文字列認識の認識尤度、及び文字列の座標を算出する。
【００２８】
次に、文字列判定部２０７は、文字列認識部２０２が識別した文字列と所定のパターン情報とを比較することで、当該文字列が示すナンバープレートを備える車両の車種を判別する（ステップＳ３）。次に、文字列情報取得部は、文字列認識部２０２が出力する情報と文字列判定部２０７による判定結果を関連付けて比較値算出部２０６及び判定部２０７に出力する。
【００２９】
他方、ステップＳ１で入力部２０１が画像情報の入力を受け付けると、領域抽出部２０５は、ＳＶＭ等を用いて、入力部２０１が受け付けた画像情報から、二輪車の特徴領域、及び一段プレート並びに二段プレートの四輪車の特徴領域をそれぞれ抽出し、当該特徴領域の情報を比較値算出部２０６及び判定部２０７に出力する（ステップＳ４）。このとき、領域抽出部２０５は、抽出した特徴領域のそれぞれに対して、当該特徴領域が二輪車の特徴領域であるか、四輪車の特徴領域であるかを示す種別情報を付与する。
【００３０】
次に、画像処理装置２００は、１フレームの画像情報から抽出した文字列と特徴領域とを関連付けるフレーム内統合処理を実行する（ステップＳ５）。
図５は、フレーム内統合処理の処理を示すフローチャートである。
判定部２０７は、領域抽出部２０５から受け付けた情報の中に、特徴領域が１つ以上存在するか否かを判定する（ステップＳ５０１）。判定部２０７は、特徴領域が存在すると判定した場合（ステップＳ５０１：ＹＥＳ）、文字列情報出力部２０４から受け付けた情報の中に、文字列が１つ以上存在するか否かを判定する（ステップＳ５０２）。
【００３１】
判定部２０７が受け付けた情報の中に、文字列が存在すると判定した場合（ステップＳ５０２：ＹＥＳ）、比較値算出部２０６は、文字列情報出力部２０４から出力された文字列の車種（四輪一段、四輪二段、二輪）毎に（ステップＳ５０３）、当該車種に関連付けられた文字列それぞれについて、以下に示すステップＳ５０５〜ステップＳ５０７の処理を実行する（ステップＳ５０４）。
【００３２】
まず、比較値算出部２０６は、領域抽出部２０５から出力された特徴領域のうち、ステップＳ５０３で選択された車種に関連付けられたものを抽出する。次に、比較値算出部２０６は、抽出した特徴領域とステップＳ５０４で選択した文字列との間の距離をそれぞれ算出する（ステップＳ５０５）。次に、判定部２０７は、比較値算出部２０６が距離を算出した文字列と特徴領域の組の中に、当該距離がｄｖｅｈ−ｄｔｈ以上かつｄｖｅｈ＋ｄｔｈ以下であるもの（但し、ｄｖｅｈ−ｄｔｈが負数になる場合はｄｖｅｈ−ｄｔｈを零数とみなす）が存在するか否かを判定する（ステップＳ５０６）。ここで、ｄｖｅｈとは、画像に写ったときのナンバープレートと特徴部分との標準的な距離を示す。つまり、四輪二段、四輪一段においては特徴部分がナンバープレートであるため、ｄｖｅｈは０である。また、二輪の場合、ｄｖｅｈは、画像に写ったときのナンバープレートとヘルメットとの標準的な距離である。なおｄｔｈは、距離の誤差の許容範囲を示す所定の閾値である。
【００３３】
比較値算出部２０６が距離を算出した文字列と特徴領域の組の中に、当該距離がｄｖｅｈ−ｄｔｈ以上かつｄｖｅｈ＋ｄｔｈ以下であるものが存在する場合（ステップＳ５０６：ＹＥＳ）、判定部２０７は、当該文字列と特徴領域とを同一の車両を示すものであるか否かを判定し、それぞれを互いに関連付ける（ステップＳ５０７）。他方、比較値算出部２０６が距離を算出した文字列と特徴領域の組の中に、当該距離がｄｖｅｈ−ｄｔｈ以上かつｄｖｅｈ−ｄｔｈ以下であるものが存在しない場合（ステップＳ５０６：ＮＯ）、ステップＳ５０４で選択した文字列に、特徴領域を関連付けない。
【００３４】
各車種に対して上記ステップＳ５０４〜ステップＳ５０７の処理を実行すると、判定部２０７は、入力部２０１から画像情報のフレームＩＤを読み出し、ステップＳ５０３〜ステップＳ５０７で関連付けた特徴領域と文字列の組に、当該フレームＩＤを関連付ける（ステップＳ５０８）。次に、判定部２０７は、ステップＳ５０３〜ステップＳ５０７において関連付けられなかった特徴領域及び文字列のそれぞれに、当該フレームＩＤを関連付け（ステップＳ５０９）、フレーム内統合処理を終了する。なお、本実施形態では文字列と特徴領域の組の距離の判定に基づいて関連付けを行う場合を説明したが、例えば二輪車の関連付けにおいては、距離の判定に加え、文字列の座標と特徴領域の座標とを結ぶ線分の角度が所定の角度範囲内にあるか否かの判定を行うことで、関連付けの許否を決定するようにしても良い。なお、ここで所定の角度範囲とは、画像に写ったときのナンバープレートと特徴部分とを結ぶ線分の標準的な角度範囲である。
【００３５】
また、ステップＳ５０１で判定部２０７が、領域抽出部２０５から受け付けた情報の中に特徴領域が存在しないと判定した場合（ステップＳ５０１：ＮＯ）、判定部２０７は、文字列情報出力部２０４から受け付けた情報の中に、文字列が１つ以上存在するか否かを判定する（ステップＳ５１０）。判定部２０７は、文字列情報出力部２０４から受け付けた情報の中に文字列が存在しないと判定した場合（ステップＳ５１０：ＮＯ）、画像情報中に車両が存在しないと判定し、処理を行わずにフレーム内統合処理を終了する。
【００３６】
また、ステップＳ５０２で判定部２０７が、文字列情報出力部２０４から受け付けた情報の中に文字列が存在しないと判定した場合（ステップＳ５０２：ＮＯ）、すなわち特徴領域のみ抽出され、文字列が認識されなかった場合、及びステップＳ５１０で判定部２０７が文字列情報出力部２０４から受け付けた情報の中に文字列が存在しないと判定した場合（ステップＳ５１０：ＮＯ）、すなわち文字列のみ認識され、特徴領域が抽出されなかった場合、文字列と特徴領域との組が存在しないため、ステップＳ５０３からステップＳ５０８の処理を実行せずに、特徴領域及び文字列のそれぞれに、当該フレームＩＤを関連付け（ステップＳ５０９）、フレーム内統合処理を終了する。
【００３７】
図４に戻り、ステップＳ５によるフレーム内統合処理を終了すると、判定部２０７は、フレーム内統合処理でフレームＩＤに関連付けた情報（車両情報）を、候補抽出部２０９に出力する。次に、画像処理装置２００は、複数のフレームの画像情報から抽出した車両情報同士を関連付けるフレーム間統合処理を実行する（ステップＳ６）。
図６は、フレーム間統合処理の処理を示す第１のフローチャートである。
まず候補抽出部２０９は、現在のフレームにおいて判定部２０７から受け付けた車両情報が存在するか否かを判定する（ステップＳ６０１）。現在のフレームにおいて判定部２０７から受け付けた車両情報が存在しない場合は（ステップＳ６０１：ＮＯ）、記憶部２０８が記憶する情報に統合する情報がないため、処理を行わずにフレーム間統合処理を終了する。他方、現在のフレームにおいて判定部２０７から受け付けた車両情報が存在する場合（ステップＳ６０１：ＹＥＳ）、候補抽出部２０９は、判定部２０７から出力された全ての車両情報のそれぞれについて、以下に示すステップＳ６０３〜ステップＳ６１６の処理を実行する（ステップＳ６０２）。
【００３８】
まず、候補抽出部２０９は、ステップＳ６０２で選択した車両情報に、文字列認識部２０２によって認識された文字列が存在するか否かを判定する（ステップＳ６０３）。車両情報に文字列が存在する場合（ステップＳ６０３：ＹＥＳ）、候補抽出部２０９は、当該車両情報に含まれる文字列の座標を、車両の位置を示す座標である車両位置座標とする（ステップＳ６０４）。次に、候補抽出部２０９は、記憶部２０８が記憶するテーブルのレコードのそれぞれについて、以下に示すステップＳ６０６〜ステップＳ６１２の処理を実行する（ステップＳ６０５）。
【００３９】
まず、候補抽出部２０９は、ステップＳ６０２で選択した車両情報が示す車両とステップＳ６０５で選択したレコードが示す車両とが同一の車両であるか否かを判別する別車判定処理を実行する（ステップＳ６０７）。別車両判定の例としては、例えば、ナンバープレート文字の色が同一であり、かつ文字列同士の編集距離が所定の閾値以下である場合に、同一の車両であると判定する方法が挙げられる。
【００４０】
別車判定処理を終了すると、候補抽出部２０９は、別車判定処理においてステップＳ６０２で選択した車両情報が示す車両とステップＳ６０５で選択したレコードが示す車両とが同一の車両であると判定したか否かを判定する（ステップＳ６０７）。候補抽出部２０９が、ステップＳ９０７で異なる車両であると判定した場合（ステップＳ６０７：ＮＯ）、ステップＳ６０５に戻り、記憶部２０８が記憶する他のレコードの選択を行う。
【００４１】
他方、候補抽出部２０９は、ステップＳ９０６で同一の車両であると判定した場合（ステップＳ６０７：ＹＥＳ）、ステップＳ６０２で選択した車両情報を、ステップＳ６０５で選択したレコードを更新対象とする更新候補として抽出し、当該車両情報とレコードの車両ＩＤとを更新部２１１に出力する（ステップＳ６０８）。
【００４２】
更新部２１１は、更新対象のレコードの車両ＩＤに関連付けられたレコードを記憶部２０８から読み出し、当該レコードにおける車両ベクトルの始点のフレームＩＤ及び座標を、当該車両ベクトルの終点のフレームＩＤ及び座標に書き換える。また、更新部２１１は、当該レコードにおける車両ベクトルの終点のフレームＩＤ及び座標を、更新候補の車両情報のフレームＩＤ及び座標に書き換える（ステップＳ６０９）。次に、更新部２１１は、ステップＳ６０９で書き換えたレコードにおける車両ベクトルの始点及び終点の座標から当該車両ベクトルの角度を算出し、当該レコードにおける車両ベクトルの角度を書き換える（ステップＳ６１０）。
【００４３】
次に、更新部２１１は、更新候補の車両情報の文字列認識尤度が、更新対象のレコードの文字列認識尤度以上であるか否かを判定する（ステップＳ６１１）。更新部２１１は、更新候補の車両情報の文字列認識尤度が、更新対象のレコードの文字列認識尤度以上であると判定した場合（ステップＳ６１１：ＹＥＳ）、更新対象のレコードにおける文字列認識尤度及び最大評価値のフレームＩＤを、更新候補の車両情報の文字列認識尤度及びフレームＩＤに書き換え（ステップＳ６１２）、ステップＳ６０５に戻り、記憶部２０８が記憶する他のレコードの選択を行う。
【００４４】
他方、更新部２１１は、更新候補の車両情報の文字列認識尤度が、更新対象のレコードの文字列認識尤度未満であると判定した場合（ステップＳ６１１：ＮＯ）、文字列及び文字列認識尤度の更新を行わずに、ステップＳ６０５に戻り、記憶部２０８が記憶する他のレコードの選択を行う。
【００４５】
記憶部２０８が記憶する全てのレコードに対して上記ステップＳ６０６〜ステップＳ６１２の処理を実行すると、ステップＳ６０２に戻り、現在フレームの他の車両情報の選択を行う。
【００４６】
また、候補抽出部２０９は、ステップＳ６０３において車両情報に文字列が存在しないと判定した場合（ステップＳ６０３：ＮＯ）、当該車両情報の車種が二輪であるか否かを判定する（ステップＳ６１３）。候補抽出部２０９は、車両情報の車種が二輪であると判定した場合（ステップＳ６１３：ＹＥＳ）、車両情報に含まれる特徴領域の座標からナンバープレートの座標を推定する（ステップＳ６１４）。
【００４７】
図７は、ナンバープレートの座標を推定する方法を示す図である。
候補抽出部２０９は図７に示すように、特徴領域の座標から距離ｄｂｉｋｅ、角度１８０°＋θｂｉｋｅとなる点を、ナンバープレートの座標と推定する。ここで、距離ｄｂｉｋｅは、画像に写ったときの二輪プレートと特徴部分との標準的な距離である。また、角度θｂｉｋｅは、画像に写ったときの二輪プレートと特徴部分とを結ぶ線分のレーン毎の標準的な角度である。
候補抽出部２０９は、ステップＳ６１４でナンバープレートの座標を推定すると、当該推定した座標を車両位置座標として（ステップＳ６１５）、ステップＳ６０２に戻り、現在フレームの他の車両情報の選択を行う。
【００４８】
また、候補抽出部２０９は、ステップＳ６１３において、車両情報の車種が二輪でないと判定した場合（ステップＳ６１３：ＮＯ）、当該車両情報に含まれる特徴領域の座標を車両位置座標として（ステップＳ６１６）、ステップＳ６０２に戻り、現在フレームの他の車両情報の選択を行う。
【００４９】
図８は、フレーム間統合処理の処理を示す第２のフローチャートである。
判定部２０７が出力した全ての車両情報に対して上記ステップＳ６０３〜ステップＳ６１６の処理を実行すると、候補抽出部２０９は、判定部２０７が出力した全ての車両情報がステップＳ６０８において更新候補となったか否かを判定する（ステップＳ６１７）。全ての車両情報が更新候補になった場合は（ステップＳ６１７：ＹＥＳ）、これ以上統合する情報がないため、処理を行わずにフレーム間統合処理を終了する。
【００５０】
他方、更新候補として抽出されなかった車両情報が存在する場合（ステップＳ６１７：ＮＯ）、候補抽出部２０９は、記憶部２０８が記憶するレコードのそれぞれについて、以下に示すステップＳ６１９〜ステップＳ６３１の処理を実行する（ステップＳ６１８）。
【００５１】
まず、候補抽出部２０９は、ステップＳ６１８で選択されたレコードの車両ベクトルの終点座標を始点とし、ステップＳ６０８において更新候補として抽出されなかった車両情報の車両位置座標を終点とする未関連車両ベクトルの角度を算出する（ステップＳ６１９）。次に、候補抽出部２０９は、ステップＳ６１９で算出した未関連車両ベクトルの中に、角度が所定の角度θｍＸｎＹ−δｖｅｈ以上であるものが存在するか否かを判定する（ステップＳ６２０）。ここで、θｍＸｎＹとは、選択されたレコードにおける車両ベクトルの角度であり、δｖｅｈとは、車両の操舵により前回の進行方向に対して１フレームの間に変化し得る角度である。なお、前回の処理においてレコードが新たに記録された場合、当該レコードには車両ベクトルの角度θｍＸｎＹが存在しない。この場合は、θｍＸｎＹに代えて、画像情報における車両の進行方向のレーン毎の標準的な角度であるθｖｅｈを用いて計算する。
【００５２】
ステップＳ６１９で算出した未関連車両ベクトルの中に、角度が所定の角度θｍＸｎＹ−δｖｅｈ以上であるものが存在する場合（ステップＳ６２０：ＹＥＳ）、候補抽出部２０９は、角度がθｍＸｎＹ−δｖｅｈ以上であると判定された未関連車両ベクトルの中に、当該角度が所定の角度θｍＸｎＹ＋δｖｅｈ以下であるものが存在するか否かを判定する（ステップＳ６２１）。なお、ステップＳ６２０、ステップＳ６２１の処理は、ステップＳ６１８で選択したレコードに記憶された車両ベクトルとステップＳ６１９で算出したベクトルとがなす角が、所定の角度δｖｅｈ以下となっているか否かを判定する処理と等価である。
【００５３】
角度がθｍＸｎＹ−δｖｅｈ以上であると判定された未関連車両ベクトルの中に、当該角度がθｍＸｎＹ＋δｖｅｈ以下であるものが存在する場合（ステップＳ６２１：ＹＥＳ）、候補抽出部２０９は、その未関連車両ベクトルのうち、角度が最もθｍＸｎＹに近いものを抽出する。そして、抽出した未関連車両ベクトルの終点を示す車両情報を、ステップＳ６１３で選択したレコードを更新対象とする更新候補として抽出し、当該車両情報とレコードの車両ＩＤとを更新部２１１に出力する（ステップＳ６２２）。
なお、ステップＳ６１９で算出した未関連車両ベクトルの中に、角度が所定の角度θｍＸｎＹ−δｖｅｈ以上であるものが存在しない場合（ステップＳ６２０：ＮＯ）、及びステップＳ６１９で算出した未関連車両ベクトルの中に、角度が所定の角度θｍＸｎＹ＋δｖｅｈ以下であるものが存在しない場合（ステップＳ６２１：ＮＯ）、ステップＳ６１３で選択したレコードが示す車両に相当する車両情報が存在しないため、ステップＳ６１８に戻り、他のレコードを選択する。
【００５４】
ステップＳ６２２で候補抽出部２０９が更新候補の車両情報及び更新対象のレコードの車両ＩＤを出力すると、更新部２１１は、候補抽出部２０９から受け付けた車両ＩＤに関連付けられたレコードを記憶部２０８から読み出し、当該レコードにおける車両ベクトルの始点のフレームＩＤ及び座標を、当該車両ベクトルの終点のフレームＩＤ及び座標に書き換える。また、更新部２１１は、当該レコードにおける車両ベクトルの終点のフレームＩＤ及び座標を、候補抽出部２０９から受け付けた車両情報のフレームＩＤ及び座標に書き換える（ステップＳ６２３）。次に、更新部２１１は、ステップＳ６２７で書き換えたレコードにおける車両ベクトルの始点及び終点の座標から当該車両ベクトルの角度を算出し、当該レコードにおける車両ベクトルの角度を書き換える（ステップＳ６２４）。
【００５５】
次に、更新部２１１は、更新対象のレコードに文字列が含まれるか否かを判定する（ステップＳ６２５）。レコードに文字列が含まれない場合（ステップＳ６２５：ＮＯ）、更新部２１１は、更新候補の車両情報の特徴量評価値が、更新対象のレコードの特徴量評価値以上であるか否かを判定する（ステップＳ６２６）。更新部２１１は、更新候補の車両情報の特徴量評価値が、更新対象のレコードの特徴量評価値以上であると判定した場合（ステップＳ６２６：ＹＥＳ）、更新対象のレコードにおける特徴量評価値及び最大評価値のフレームＩＤを、更新候補の車両情報の特徴量評価値及びフレームＩＤに書き換え（ステップＳ６２７）、ステップＳ６１８に戻り、記憶部２０８が記憶する他のレコードの選択を行う。
【００５６】
他方、更新部２１１は、更新対象のレコードに文字列が含まれる場合（ステップＳ６２５：ＹＥＳ）、または更新候補の車両情報の特徴量評価値が、更新対象のレコードの文字列認識尤度未満であると判定した場合（ステップＳ６２６：ＮＯ）、文字列及び文字列認識尤度の更新を行わずに、ステップＳ６１８に戻り、記憶部２０８が記憶する他のレコードの選択を行う。
そして、記録部２１０は、更新候補として抽出されなかった車両情報のうち、特徴量評価値が所定の閾値以上である車両情報を、新規車両として新たに記憶部２０８に記録し（ステップＳ６２８）、フレーム間統合処理を終了する。
【００５７】
図４に戻り、ステップＳ６によるフレーム間統合処理を終了すると、出力部２１２は、入力部２０１から現在のフレームＩＤを取得する。次に、出力部２１２は、記憶部２０８が記憶するレコードの中に、車両ベクトルの終点のフレームＩＤと現在のフレームＩＤとの差が所定フレーム以上となるものがあるか否かを判定する（ステップＳ７）。出力部２１２は、記憶部２０８が記憶するレコードの中に、車両ベクトルの終点のフレームＩＤと現在のフレームＩＤとの差が所定フレーム以上となるものがないと判定した場合（ステップＳ７：ＮＯ）、処理を終了する。
【００５８】
他方、出力部２１２は、記憶部２０８が記憶するレコードの中に、車両ベクトルの終点のフレームＩＤと現在のフレームＩＤとの差が所定フレーム以上となるものがあると判定した場合（ステップＳ７：ＹＥＳ）、終点のフレームＩＤと現在のフレームＩＤとの差が所定フレーム以上となるレコードの、最大評価値のフレームＩＤが示すフレームの画像情報及び文字列を、料金収受装置３００に出力する（ステップＳ８）。また、削除部２１３は、出力部２１２が出力したレコードを記憶部２０８から削除し（ステップＳ９）、処理を終了する。
以降、入力部２０１が画像情報を受け付ける度に、ステップＳ１からステップＳ９の処理を実行する。
【００５９】
なお、料金収受装置３００は、ステップＳ８において画像処理装置２００から出力された文字列及び画像情報に基づいて、料金収受処理を行う。例えば、料金収受装置３００は、ナンバープレートの文字列と料金収受対象のクレジットカード番号とを関連付けて記憶しておき、画像処理装置２００から受け付けた文字列に関連付けられたクレジットカード番号に対して課金処理を行う方法が挙げられる。また例えば、料金収受装置３００は、予め料金の支払があった車両のナンバープレートの文字列を記憶しておき、画像処理装置から受け付けた文字列のうち、予め記憶していない文字列が示す車両に対して課金処理を行う方法も挙げられる。また、文字列の認識尤度が低い場合は、画像処理装置から受け付けた画像を目視により確認することが好ましい。
【００６０】
このように、本実施形態によれば、文字列認識と領域抽出の２つの方法によって車両を抽出することで認識の漏れを補うことができ、かつ複数のフレームから車両情報を抽出して同一の車両に対する車両情報を更新することで、車両情報の精度を高くすることができる。
【００６１】
以上、図面を参照してこの発明の一実施形態について詳しく説明してきたが、具体的な構成は上述のものに限られることはなく、この発明の要旨を逸脱しない範囲内において様々な設計変更等をすることが可能である。
例えば、本実施形態では、二輪車の特徴部分としてヘルメットを用い、四輪車の特徴部分としてナンバープレートを用いる場合を説明したが、これに限られず、その他の特徴部分を用いても、同様の処理を行うことができる。
【００６２】
また、本実施形態では、四輪車のナンバープレートの種類として一段プレートと二段プレートとがある場合を用いて説明したが、これに限られず、１種類または３種類以上のナンバープレートがある場合にも適用することができる。
【００６３】
また、本実施形態では、画像処理装置２００が出力した車両情報に基づいて有料道路を通行する車両に対して通行料金の収受を行う料金収受システムに適用する場合について説明したが、これに限られない。例えば、車両情報に基づいて違反車特定処理を実行する違反車特定システムに画像処理装置２００を備えるようにしても良い。この場合、料金収受装置３００に代えて画像処理装置２００から出力された画像及び文字列に基づいて違反車特定処理を行う違反者特定装置を備えることとなる。
【００６４】
上述の画像処理装置２００は内部に、コンピュータシステムを有している。そして、上述した各処理部の動作は、プログラムの形式でコンピュータ読み取り可能な記録媒体に記憶されており、このプログラムをコンピュータが読み出して実行することによって、上記処理が行われる。ここでコンピュータ読み取り可能な記録媒体とは、磁気ディスク、光磁気ディスク、ＣＤ−ＲＯＭ、ＤＶＤ−ＲＯＭ、半導体メモリ等をいう。また、このコンピュータプログラムを通信回線によってコンピュータに配信し、この配信を受けたコンピュータが当該プログラムを実行するようにしても良い。
【００６５】
また、上記プログラムは、前述した機能の一部を実現するためのものであっても良い。さらに、前述した機能をコンピュータシステムにすでに記録されているプログラムとの組み合わせで実現できるもの、いわゆる差分ファイル（差分プログラム）であっても良い。
【符号の説明】
【００６６】
１００…撮像装置 ２００…画像処理装置 ２０１…入力部 ２０２…文字列認識部 ２０３…文字列判別部 ２０４…文字列情報出力部 ２０５…領域抽出部 ２０６…比較値算出部 ２０７…判定部 ２０８…記憶部 ２０９…候補抽出部 ２１０…記録部 ２１１…更新部 ２１２…出力部 ２１３…削除部 ３００…料金収受装置
【特許請求の範囲】
【請求項１】
連続撮像された画像から、車両を示す車両情報を抽出して出力する画像処理装置であって、
前記連続撮像された画像の各フレームから文字列を認識し、当該文字列を前記車両情報として出力する文字列認識部と、
前記連続撮像された画像の各フレームから当該画像に含まれる車両の特徴部分を示す特徴領域を抽出し、当該特徴領域を前記車両情報として出力する領域抽出部と、
前記連続撮像された画像の現在のフレームにおいて前記文字列認識部が出力した車両情報と前記特徴抽出部が抽出した車両情報とのうち同一車両を示すものを１つの車両情報に統合する統合部と、
前記連続撮像された画像の過去のフレームにおいて抽出された車両情報を記憶する記憶部と、
前記統合部によって統合された車両情報及び統合されなかった車両情報の中から、前記記憶部が記憶する車両情報と同一車両を示すものを更新候補として抽出する候補抽出部と、
前記記憶部が記憶する車両情報を、前記候補抽出部が抽出した更新候補に更新する更新部と、
前記記憶部が記憶する車両情報を出力する出力部と
を備えることを特徴とする画像処理装置。
【請求項２】
前記文字列認識部は、前記文字列に加えて当該文字列の座標及び当該文字列が示す車両の車種を車両情報として出力し、
前記領域抽出部は、前記領域情報に加えて当該領域情報の座標及び当該領域情報が示す車両の車種を車両情報として出力し、
前記統合部は、前記文字列認識部が出力した車両情報と前記領域抽出部が出力した車両情報との車種が一致し、かつ座標同士の距離が所定の閾値以内である場合に、同一車両を示すものと判定する
ことを特徴とする請求項１に記載の画像処理装置。
【請求項３】
前記統合部は、前記統合された車両情報及び前記統合されなかった車両情報のそれぞれに、車両情報が抽出されたフレームのフレーム番号を関連付け、
前記出力部は、前記記憶部が記憶する車両情報と、当該車両情報に関連付けられたフレーム番号が示すフレームの画像を出力する
ことを特徴とする請求項１または請求項２に記載の画像処理装置。
【請求項４】
前記候補抽出部は、
前記統合部が出力した車両情報に文字列が含まれ、かつ当該文字列が前記記憶部が記憶する車両情報に含まれる文字列と類似する場合、及び／または前記統合部が出力した車両情報が示す座標と前記記憶部が記憶する車両情報が示す座標とがなす角が所定の角度範囲以内である場合に、前記車両情報を更新候補として抽出する
ことを特徴とする請求項２に記載の画像処理装置。
【請求項５】
前記文字列認識部は、前記文字列に加えて当該文字列の抽出尤度を車両情報として出力し、
前記更新部は、前記前記記憶部が記憶する車両情報の抽出尤度より、前記候補抽出部が抽出した更新候補の抽出粒度が高い場合に、前記前記記憶部が記憶する車両情報を前記更新候補に更新する
ことを特徴とする請求項１から請求項４の何れか１項に記載の画像処理装置。
【請求項６】
請求項１から請求項５の何れか１項に記載の画像処理装置が出力した車両情報に基づいて、当該車両情報が示す車両に対する料金収受処理、または違反車特定処理を実行することを特徴とする車両処理システム。
【請求項７】
連続撮像された画像から、車両を示す車両情報を抽出して出力する画像処理装置を用いた画像処理方法であって、
文字列認識部は、前記連続撮像された画像の各フレームから文字列を認識し、当該文字列を前記車両情報として出力し、
領域抽出部は、前記連続撮像された画像の各フレームから当該画像に含まれる車両の特徴部分を示す特徴領域を抽出し、当該特徴領域を前記車両情報として出力し、
統合部は、前記連続撮像された画像の現在のフレームにおいて前記文字列認識部が出力した車両情報と前記特徴抽出部が抽出した車両情報とのうち同一車両を示すものを１つの車両情報に統合し、
候補抽出部は、前記統合部によって統合された車両情報及び統合されなかった車両情報の中から、前記連続撮像された画像の過去のフレームにおいて抽出された車両情報を記憶する記憶部が記憶する車両情報と同一車両を示すものを更新候補として抽出し、
更新部は前記記憶部が記憶する車両情報を、前記候補抽出部が抽出した更新候補に更新し、
出力部は、前記記憶部が記憶する車両情報を出力する
ことを特徴とする画像処理方法。
【請求項８】
連続撮像された画像から、車両を示す車両情報を抽出して出力する画像処理装置を、
前記連続撮像された画像の各フレームから文字列を認識し、当該文字列を前記車両情報として出力する文字列認識部、
前記連続撮像された画像の各フレームから当該画像に含まれる車両の特徴部分を示す特徴領域を抽出し、当該特徴領域を前記車両情報として出力する領域抽出部、
前記連続撮像された画像の現在のフレームにおいて前記文字列認識部が出力した車両情報と前記特徴抽出部が抽出した車両情報とのうち同一車両を示すものを１つの車両情報に統合する統合部、
前記統合部によって統合された車両情報及び統合されなかった車両情報の中から、前記連続撮像された画像の過去のフレームにおいて抽出された車両情報を記憶する記憶部が記憶する車両情報と同一車両を示すものを更新候補として抽出する候補抽出部、
前記記憶部が記憶する車両情報を、前記候補抽出部が抽出した更新候補に更新する更新部、
前記記憶部が記憶する車両情報を出力する出力部
として機能させるためのプログラム。
【請求項１】
連続撮像された画像から、車両を示す車両情報を抽出して出力する画像処理装置であって、
前記連続撮像された画像の各フレームから文字列を認識し、当該文字列を前記車両情報として出力する文字列認識部と、
前記連続撮像された画像の各フレームから当該画像に含まれる車両の特徴部分を示す特徴領域を抽出し、当該特徴領域を前記車両情報として出力する領域抽出部と、
前記連続撮像された画像の現在のフレームにおいて前記文字列認識部が出力した車両情報と前記特徴抽出部が抽出した車両情報とのうち同一車両を示すものを１つの車両情報に統合する統合部と、
前記連続撮像された画像の過去のフレームにおいて抽出された車両情報を記憶する記憶部と、
前記統合部によって統合された車両情報及び統合されなかった車両情報の中から、前記記憶部が記憶する車両情報と同一車両を示すものを更新候補として抽出する候補抽出部と、
前記記憶部が記憶する車両情報を、前記候補抽出部が抽出した更新候補に更新する更新部と、
前記記憶部が記憶する車両情報を出力する出力部と
を備えることを特徴とする画像処理装置。
【請求項２】
前記文字列認識部は、前記文字列に加えて当該文字列の座標及び当該文字列が示す車両の車種を車両情報として出力し、
前記領域抽出部は、前記領域情報に加えて当該領域情報の座標及び当該領域情報が示す車両の車種を車両情報として出力し、
前記統合部は、前記文字列認識部が出力した車両情報と前記領域抽出部が出力した車両情報との車種が一致し、かつ座標同士の距離が所定の閾値以内である場合に、同一車両を示すものと判定する
ことを特徴とする請求項１に記載の画像処理装置。
【請求項３】
前記統合部は、前記統合された車両情報及び前記統合されなかった車両情報のそれぞれに、車両情報が抽出されたフレームのフレーム番号を関連付け、
前記出力部は、前記記憶部が記憶する車両情報と、当該車両情報に関連付けられたフレーム番号が示すフレームの画像を出力する
ことを特徴とする請求項１または請求項２に記載の画像処理装置。
【請求項４】
前記候補抽出部は、
前記統合部が出力した車両情報に文字列が含まれ、かつ当該文字列が前記記憶部が記憶する車両情報に含まれる文字列と類似する場合、及び／または前記統合部が出力した車両情報が示す座標と前記記憶部が記憶する車両情報が示す座標とがなす角が所定の角度範囲以内である場合に、前記車両情報を更新候補として抽出する
ことを特徴とする請求項２に記載の画像処理装置。
【請求項５】
前記文字列認識部は、前記文字列に加えて当該文字列の抽出尤度を車両情報として出力し、
前記更新部は、前記前記記憶部が記憶する車両情報の抽出尤度より、前記候補抽出部が抽出した更新候補の抽出粒度が高い場合に、前記前記記憶部が記憶する車両情報を前記更新候補に更新する
ことを特徴とする請求項１から請求項４の何れか１項に記載の画像処理装置。
【請求項６】
請求項１から請求項５の何れか１項に記載の画像処理装置が出力した車両情報に基づいて、当該車両情報が示す車両に対する料金収受処理、または違反車特定処理を実行することを特徴とする車両処理システム。
【請求項７】
連続撮像された画像から、車両を示す車両情報を抽出して出力する画像処理装置を用いた画像処理方法であって、
文字列認識部は、前記連続撮像された画像の各フレームから文字列を認識し、当該文字列を前記車両情報として出力し、
領域抽出部は、前記連続撮像された画像の各フレームから当該画像に含まれる車両の特徴部分を示す特徴領域を抽出し、当該特徴領域を前記車両情報として出力し、
統合部は、前記連続撮像された画像の現在のフレームにおいて前記文字列認識部が出力した車両情報と前記特徴抽出部が抽出した車両情報とのうち同一車両を示すものを１つの車両情報に統合し、
候補抽出部は、前記統合部によって統合された車両情報及び統合されなかった車両情報の中から、前記連続撮像された画像の過去のフレームにおいて抽出された車両情報を記憶する記憶部が記憶する車両情報と同一車両を示すものを更新候補として抽出し、
更新部は前記記憶部が記憶する車両情報を、前記候補抽出部が抽出した更新候補に更新し、
出力部は、前記記憶部が記憶する車両情報を出力する
ことを特徴とする画像処理方法。
【請求項８】
連続撮像された画像から、車両を示す車両情報を抽出して出力する画像処理装置を、
前記連続撮像された画像の各フレームから文字列を認識し、当該文字列を前記車両情報として出力する文字列認識部、
前記連続撮像された画像の各フレームから当該画像に含まれる車両の特徴部分を示す特徴領域を抽出し、当該特徴領域を前記車両情報として出力する領域抽出部、
前記連続撮像された画像の現在のフレームにおいて前記文字列認識部が出力した車両情報と前記特徴抽出部が抽出した車両情報とのうち同一車両を示すものを１つの車両情報に統合する統合部、
前記統合部によって統合された車両情報及び統合されなかった車両情報の中から、前記連続撮像された画像の過去のフレームにおいて抽出された車両情報を記憶する記憶部が記憶する車両情報と同一車両を示すものを更新候補として抽出する候補抽出部、
前記記憶部が記憶する車両情報を、前記候補抽出部が抽出した更新候補に更新する更新部、
前記記憶部が記憶する車両情報を出力する出力部
として機能させるためのプログラム。
【図１】
【図２】
【図３】
【図４】
【図５】
【図６】
【図７】
【図８】
【図２】
【図３】
【図４】
【図５】
【図６】
【図７】
【図８】
【公開番号】特開２０１３−３７６７（Ｐ２０１３−３７６７Ａ）
【公開日】平成２５年１月７日（２０１３．１．７）
【国際特許分類】
【出願番号】特願２０１１−１３３１５８（Ｐ２０１１−１３３１５８）
【出願日】平成２３年６月１５日（２０１１．６．１５）
【出願人】（０００００６２０８）三菱重工業株式会社 (10,378)
【Ｆターム（参考）】
【公開日】平成２５年１月７日（２０１３．１．７）
【国際特許分類】
【出願日】平成２３年６月１５日（２０１１．６．１５）
【出願人】（０００００６２０８）三菱重工業株式会社 (10,378)
【Ｆターム（参考）】
[ Back to top ]