車両識別装置、車両識別方法、及びプログラム
【課題】文字列認識による認識の漏れと特徴領域の抽出による認識の漏れを互いに補い、かつ同一の車両の文字列と特徴領域とを関連付ける。
【解決手段】文字列認識部２０２は、撮像装置１００が撮像した画像から文字列を認識し、当該文字列及び当該文字列の座標を出力する。領域抽出部２０５は、撮像装置１００が撮像した画像から当該画像に含まれる車両の特徴部分を示す特徴領域を抽出する。距離算出部は、文字列認識部２０２が出力した各文字列の座標と領域抽出部２０５が抽出した各特徴領域の座標との間の距離をそれぞれ算出する。判定部２０７は、文字列と特徴領域との組のうち、距離算出部が算出した距離と所定の基準距離との差が所定の閾値以内である組を、同一の車両におけるナンバープレートと特徴部分との組であると判定する。
【解決手段】文字列認識部２０２は、撮像装置１００が撮像した画像から文字列を認識し、当該文字列及び当該文字列の座標を出力する。領域抽出部２０５は、撮像装置１００が撮像した画像から当該画像に含まれる車両の特徴部分を示す特徴領域を抽出する。距離算出部は、文字列認識部２０２が出力した各文字列の座標と領域抽出部２０５が抽出した各特徴領域の座標との間の距離をそれぞれ算出する。判定部２０７は、文字列と特徴領域との組のうち、距離算出部が算出した距離と所定の基準距離との差が所定の閾値以内である組を、同一の車両におけるナンバープレートと特徴部分との組であると判定する。
【発明の詳細な説明】
【技術分野】
【０００１】
本発明は、車線に設けられた撮像装置が撮像した画像に含まれる車両を識別する車両識別装置、車両識別方法、及びプログラムに関する。
【背景技術】
【０００２】
有料道路における料金収受では、車両固有の登録情報の特定が重要となる。また、違反車両の特定においても、車両固有の登録情報の特定が重要となる。これらの登録情報を特定する方法としては、従来、車載器と路側アンテナの通信により取得する方法や、ＯＣＲなどの画像処理技術をもってナンバープレートを認識し、その登録情報より取得する方法などを用いている。また、画像により車種を判定する手法（例えば４輪車と２輪車の判定）も種々開発されている。
【０００３】
ここで、特許文献１には、車両の特徴部分を抽出する方法とＯＣＲ処理を実行する方法の両方を用いて車両を認識する方法が記載されている。具体的には、まず車両のナンバープレートを示す特徴部分を抽出し、次に、当該特徴部分を対象にＯＣＲ処理を行う。
【先行技術文献】
【特許文献】
【０００４】
【特許文献１】特開２００９−１５５１５号公報
【発明の概要】
【発明が解決しようとする課題】
【０００５】
車両の認識は、漏れがないように行うことが好ましい。そのため、車両の認識に当たって特徴部分の抽出とＯＣＲ処理との両方を実行することで、それぞれの認識の漏れを補うことができると考えられる。しかしながら、単に両方の処理を行うと、同一の車両が重複して検出されてしまうという問題がある。また、特許文献１に記載の発明を用いた場合、ナンバープレートの抽出に失敗すると、当該部分が車両と認識されないこととなるため、認識の漏れを補うことができない。
【課題を解決するための手段】
【０００６】
本発明は上記の課題を解決するためになされたものであり、車線に設けられた撮像装置が撮像した画像に含まれる車両を識別する車両識別装置であって、前記撮像装置が撮像した画像から文字列を認識し、当該文字列及び当該文字列の座標を出力する文字列認識部と、前記撮像装置が撮像した画像から当該画像に含まれる車両の特徴部分を示す特徴領域を抽出する領域抽出部と、前記文字列認識部が出力した各文字列の座標と前記領域抽出部が抽出した各特徴領域の座標との間の距離をそれぞれ算出する距離算出部と、前記文字列と前記特徴領域との組のうち、前記距離算出部が算出した距離と所定の基準距離との差が所定の閾値以内である組を、同一の車両におけるナンバープレートと特徴部分との組であると判定する判定部とを備えることを特徴とする。
【０００７】
また、本発明においては、前記文字列認識部が出力した文字列のパターンに基づいて、当該文字列を有する車両の車種を判別する文字列判別部を備え、前記領域抽出部は、前記車両の車種毎に特徴領域を抽出し、前記判定部は、前記文字列と前記特徴領域との組の車種が一致する場合に、当該組が同一の車両におけるナンバープレートと特徴部分との組であるか否かの判定を実行することが好ましい。
【０００８】
また、本発明においては、前記基準距離は、画像に写ったときのナンバープレートと特徴部分との標準的な距離であることが好ましい。
【０００９】
また、本発明においては、前記特徴領域がナンバープレートでない場合に、前記文字列認識部が出力した文字列の座標と前記領域抽出部が抽出した特徴領域の座標とを結ぶ線分の角度を算出する角度算出部を備え、前記判定部は、距離算出部が算出した距離と前記基準距離との差が所定の閾値以内であり、かつ角度算出部が算出した角度と所定の基準角度との差が所定の閾値以内である場合に、前記文字列と前記特徴領域との組を、同一の車両におけるナンバープレートと特徴部分との組であると判定することが好ましい。
【００１０】
また、本発明においては、前記基準角度は、画像に写ったときのナンバープレートの座標と特徴領域の座標とを結ぶ線分の標準的な角度であることが好ましい。
【００１１】
また、本発明は、車線に設けられた撮像装置が撮像した画像に含まれる車両を識別する車両識別装置を用いた車両識別方法であって、文字列認識部は、前記撮像装置が撮像した画像から文字列を認識し、当該文字列及び当該文字列の座標を出力し、領域抽出部は、前記撮像装置が撮像した画像から当該画像に含まれる車両の特徴部分を示す特徴領域を抽出し、距離算出部は、前記文字列認識部が出力した各文字列の座標と前記領域抽出部が抽出した各特徴領域の座標との間の距離をそれぞれ算出し、判定部は、前記文字列と前記特徴領域との組のうち、前記距離算出部が算出した距離と所定の基準距離との差が所定の閾値以内である組を、同一の車両におけるナンバープレートと特徴部分との組であると判定することを特徴とする。
【００１２】
また、本発明は、車線に設けられた撮像装置が撮像した画像に含まれる車両を識別する車両識別装置を、前記撮像装置が撮像した画像から文字列を認識し、当該文字列及び当該文字列の座標を出力する文字列認識部、前記撮像装置が撮像した画像から当該画像に含まれる車両の特徴部分を示す特徴領域を抽出する領域抽出部、前記文字列認識部が出力した各文字列の座標と前記領域抽出部が抽出した各特徴領域の座標との間の距離をそれぞれ算出する距離算出部、前記文字列と前記特徴領域との組のうち、前記距離算出部が算出した距離と所定の基準距離との差が所定の閾値以内である組を、同一の車両におけるナンバープレートと特徴部分との組であると判定する判定部として機能させるためのプログラムである。
【発明の効果】
【００１３】
本発明によれば、文字列認識部が認識した文字列の座標と、領域抽出部が抽出した特徴領域の座標との間の距離に基づいて、当該文字列と特徴領域とが同一の車両であるか否かを判定する。これにより、文字列認識部と領域抽出部の認識の漏れを補うことができ、かつ同一の車両の文字列と特徴領域とを関連付けておくことができる。
【図面の簡単な説明】
【００１４】
【図１】本発明の一実施形態による車両識別装置の構成を示す概略ブロック図である。
【図２】判定部が出力する車両情報のデータ構成を示す図である。
【図３】本実施形態による車両識別装置の動作を示すフローチャートである。
【図４】フレーム内統合処理の処理を示す第１のフローチャートである。
【図５】フレーム内統合処理の処理を示す第２のフローチャートである。
【図６】特徴領域の座標と文字列の座標とを結ぶ線分を示す図である。
【発明を実施するための形態】
【００１５】
以下、図面を参照しながら本発明の実施形態について詳しく説明する。
図１は、本発明の一実施形態による車両識別装置２００の構成を示す概略ブロック図である。
車両識別装置２００は、撮像装置１００が撮像する画像情報の入力を順次受け付け、当該画像情報から車両のナンバープレート情報を抽出して出力する装置であり、入力部２０１、文字列認識部２０２、文字列判別部２０３、文字列情報出力部２０４、領域抽出部２０５、比較値算出部２０６（距離算出部、角度算出部）、判定部２０７、出力部２０８を備える。
【００１６】
入力部２０１は、撮像装置１００から画像情報の入力を受け付ける。なお、撮像装置１００は所定のフレーム間隔で連続して撮像を行っており、画像情報には、撮像開始時から昇順に割り振られるフレームＩＤが含まれる。
文字列認識部２０２は、入力部２０１が受け付けた画像情報に対してＯＣＲ処理を実行することで文字列の認識を行い、認識した文字列、当該文字列の座標、及び当該文字列の認識尤度を、文字列判別部２０３及び文字列情報出力部２０４に出力する。
文字列判別部２０３は、文字列認識部２０２から入力された文字列と所定のパターン情報とを比較することで、当該文字列が示すナンバープレートを備える車両の車種を判別する。車種としては、二輪車、一段プレートの四輪車、二段プレートの四輪車が挙げられる。ここで、一段プレートの四輪車とは、一段構えに表示されるナンバープレートが設置された四輪車である。同様に、二段プレートの四輪車とは、二段構えに表示されるナンバープレートが設置された四輪車である。
文字列情報出力部２０４は、文字列認識部２０２の出力と文字列判別部２０３による判別結果とを関連付け、認識した文字列、当該文字列の座標、当該文字列の認識尤度、及び車種を、比較値算出部２０６及び判定部２０７に出力する。
【００１７】
領域抽出部２０５は、入力部２０１が受け付けた画像情報から二輪車の特徴部分に類似する領域と四輪車の特徴部分に類似する領域とを抽出する。本実施形態では、二輪車の特徴部分として運転者の頭から肩にかけての領域、すなわち運転者のヘルメットを用いる。また、四輪車の特徴部分として四輪車のナンバープレート（一段プレート、二段プレート）を用いる。
二輪車の特徴部分としてナンバープレートでなくヘルメットを用いる理由は、二輪車のナンバープレートは設置の自由度が高く、画像に写る角度が様々であることから、ナンバープレートよりヘルメットの方がより高い精度で抽出することができるためである。特徴部分の抽出は、予め特徴部分の特徴量について機械学習を行った判別プログラムに画像情報のある領域を入力し、入力した領域の特徴量と特徴部分の特徴量との類似度が高いものを抽出することで行う。特徴量としては、例えばＨＯＧ（Ｈｉｓｔｏｇｒａｍｓ ｏｆ Ｏｒｉｅｎｔｅｄ Ｇｒａｄｉｅｎｔｓ）を用い、判別プログラムとしては、例えばＳＶＭ（Ｓｕｐｐｏｒｔ Ｖｅｃｔｏｒ Ｍａｃｈｉｎｅ）を用いることができる。
領域抽出部２０５は、特徴部分に類似する領域を抽出すると、検知領域座標（左上及び右下の座標）、特徴量評価値（類似度）、及び車種（二輪車、四輪一段、又は四輪二段）を含む領域情報を出力する。
【００１８】
比較値算出部２０６は、文字列情報出力部２０４の出力と領域抽出部２０５の出力とに基づいて、同一の車種に関連付けられた文字列の座標と特徴領域の座標との間の距離をそれぞれ算出する。また、比較値算出部２０６は、車種が二輪車を示す場合、文字列の座標と特徴領域の座標とを結ぶ線分の角度を算出する。
判定部２０７は、比較値算出部２０６が算出した距離が所定の閾値以内であるか否かに基づいて、文字列情報出力部２０４が出力した情報と領域抽出部２０５が出力した情報とが、同一の車両を示すものであるか否かを判定する。判定部２０７は、文字列情報出力部２０４が出力した情報と領域抽出部２０５が出力した情報とが、同一の車両を示すものであると判定した場合、これらを関連付けて出力部２０８に出力する。他方、判定部２０７は、文字列情報出力部２０４が出力した情報のうち領域抽出部２０５が出力した何れの情報とも関連付けられない情報と、領域抽出部２０５が出力した情報のうち文字列情報出力部２０４が出力した何れの情報とも関連付けられない情報とを、出力部２０８にそれぞれ別個に出力する。以下、判定部２０７が出力した情報を、車両情報と呼ぶ。
出力部２０８は、判定部２０７が出力した車両情報を外部装置に出力する。
【００１９】
図２は、判定部２０７が出力する車両情報のデータ構成を示す図である。
車両情報は、文字列、車種、評価値、フレームＩＤ、及び車両位置座標を要素に持つ情報である。ここで、評価値とは、文字列の認識尤度または特徴領域の特徴量評価値を示すものである。評価値には、文字列認識部２０２によって認識された文字列が存在する場合に、当該文字列の認識尤度が適用され、文字列認識部２０２によって認識された文字列が存在しない場合に、特徴領域の特徴量評価値が適用される。
【００２０】
上記構成を備えることで、車両識別装置２００は、以下の処理を実行することができる。すなわち、文字列認識部２０２は、撮像装置１００が撮像した画像から文字列を認識し、当該文字列及び当該文字列の座標を出力する。領域抽出部２０５は、撮像装置１００が撮像した画像から当該画像に含まれる車両の特徴部分を示す特徴領域を抽出する。距離算出部は、文字列認識部２０２が出力した各文字列の座標と前記領域抽出部２０５が抽出した各特徴領域の座標との間の距離をそれぞれ算出する。判定部２０７は、文字列と特徴領域との組のうち、距離算出部が算出した距離と所定の基準距離との差が所定の閾値以内である組を、同一の車両におけるナンバープレートと特徴部分との組であると判定する。
これにより、車両識別装置２００は、文字列認識部２０２と領域抽出部２０５の認識の漏れを補うことができ、かつ同一の車両の文字列と特徴領域とを関連付けておくことができる。
【００２１】
次に、本実施形態による車両識別装置２００の動作について説明する。
図３は、本実施形態による車両識別装置２００の動作を示すフローチャートである。
まず、車両識別装置２００の入力部２０１は、撮像装置１００が撮像した画像情報の入力を受け付ける（ステップＳ１）。次に、文字列認識部２０２は、入力部２０１が受け付けた画像情報に対してＯＣＲ処理を実行し、文字列の認識を行う（ステップＳ２）。このとき、文字列認識部２０２は、文字列認識の認識尤度、及び文字列の座標を算出する。
【００２２】
次に、文字列判定部２０７は、文字列認識部２０２が識別した文字列と所定のパターン情報とを比較することで、当該文字列が示すナンバープレートを備える車両の車種を判別する（ステップＳ３）。次に、文字列情報取得部は、文字列認識部２０２が出力する情報と文字列判定部２０７による判定結果を関連付けて比較値算出部２０６及び判定部２０７に出力する。
【００２３】
他方、ステップＳ１で入力部２０１が画像情報の入力を受け付けると、領域抽出部２０５は、ＳＶＭ等を用いて、入力部２０１が受け付けた画像情報から、二輪車の特徴領域、及び一段プレート並びに二段プレートの四輪車の特徴領域をそれぞれ抽出し、当該特徴領域の情報を比較値算出部２０６及び判定部２０７に出力する（ステップＳ４）。このとき、領域抽出部２０５は、抽出した特徴領域のそれぞれに対して、当該特徴領域が二輪車の特徴領域であるか、四輪車の特徴領域であるかを示す種別情報を付与する。
【００２４】
次に、車両識別装置２００は、１フレームの画像情報から抽出した文字列と特徴領域とを関連付けるフレーム内統合処理を実行する（ステップＳ５）。
図４は、フレーム内統合処理の処理を示す第１のフローチャートである。
判定部２０７は、領域抽出部２０５から受け付けた情報の中に、特徴領域が１つ以上存在するか否かを判定する（ステップＳ５０１）。判定部２０７は、特徴領域が存在すると判定した場合（ステップＳ５０１：ＹＥＳ）、文字列情報出力部２０４から受け付けた情報の中に、文字列が１つ以上存在するか否かを判定する（ステップＳ５０２）。
【００２５】
判定部２０７が受け付けた情報の中に、文字列が存在すると判定した場合（ステップＳ５０２：ＹＥＳ）、比較値算出部２０６は、文字列情報出力部２０４から出力された文字列のうち、車種が二段プレートの四輪車であるもののそれぞれについて、以下に示すステップＳ５０４〜ステップＳ５０６の処理を実行する（ステップＳ５０３）。
【００２６】
まず、比較値算出部２０６は、領域抽出部２０５から出力された特徴領域のうち、車種が二段プレートの四輪車であるものを抽出する。次に、比較値算出部２０６は、抽出した特徴領域とステップＳ５０３で選択した文字列との間の距離をそれぞれ算出する（ステップＳ５０４）。次に、判定部２０７は、比較値算出部２０６が距離を算出した文字列と特徴領域の組の中に、当該距離が所定の閾値ｄ２以下であるものが存在するか否かを判定する（ステップＳ５０５）。なお、閾値ｄ２としては、例えば四輪二段プレートの幅の半分の値を用いると良い。
比較値算出部２０６が距離を算出した文字列と特徴領域の組の中に、当該距離が所定の閾値ｄ２以下であるものが存在する場合（ステップＳ５０５：ＹＥＳ）、判定部２０７は、当該文字列と特徴領域とを同一の車両を示すものであるか否かを判定し、それぞれを互いに関連付ける（ステップＳ５０６）。他方、比較値算出部２０６が距離を算出した文字列と特徴領域の組の中に、当該距離が所定の閾値ｄ２以下であるものが存在しない場合（ステップＳ５０５：ＮＯ）、ステップＳ５０３で選択した文字列に、特徴領域を関連付けない。
【００２７】
なお、本発明において判定部２０７は、比較値算出部２０６が算出した距離と所定の基準距離との差が所定の閾値ｄ２以内である組を、同一の車両におけるナンバープレートと特徴部分との組であると判定するものである。基準距離とは、画像に写ったときのナンバープレートと特徴部分との標準的な距離であり、四輪車の特徴部分はナンバープレートであるため基準距離として０を用いている。
【００２８】
二段プレートの四輪車を示す文字列全てに対して上記ステップＳ５０４〜ステップＳ５０６の処理を実行すると、次に、比較値算出部２０６は、文字列情報出力部２０４から出力された文字列のうち、車種が一段プレートの四輪車であるもののそれぞれについて、以下に示すステップＳ５０８〜ステップＳ５１０の処理を実行する（ステップＳ５０７）。
【００２９】
まず、比較値算出部２０６は、領域抽出部２０５から出力された特徴領域のうち、車種が一段プレートの四輪車であるものを抽出する。次に、比較値算出部２０６は、抽出した特徴領域とステップＳ５０７で選択した文字列との間の距離をそれぞれ算出する（ステップＳ５０８）。次に、判定部２０７は、比較値算出部２０６が距離を算出した文字列と特徴領域の組の中に、当該距離が所定の閾値ｄ１以下であるものが存在するか否かを判定する（ステップＳ５０９）。なお、閾値ｄ１としては、例えば四輪一段プレートの幅の半分の値を用いると良い。
比較値算出部２０６が距離を算出した文字列と特徴領域の組の中に、当該距離が所定の閾値ｄ１以下であるものが存在する場合（ステップＳ５０９：ＹＥＳ）、判定部２０７は、当該文字列と特徴領域とが同一の車両を示すものであると判定し、それぞれを互いに関連付ける（ステップＳ５１０）。他方、比較値算出部２０６が距離を算出した文字列と特徴領域の組の中に、当該距離が所定の閾値ｄ１以下であるものが存在しない場合（ステップＳ５０９：ＮＯ）、ステップＳ５０７で選択した文字列に、特徴領域を関連付けない。
【００３０】
図５は、フレーム内統合処理の処理を示す第２のフローチャートである。
一段プレートの四輪車を示す文字列全てに対して上記ステップＳ５０８〜ステップＳ５１０の処理を実行すると、次に、比較値算出部２０６は、文字列情報出力部２０４から出力された文字列のうち、車種が二輪車であるもののそれぞれについて、以下に示すステップＳ５１２〜ステップＳ５１８の処理を実行する（ステップＳ５１１）。
【００３１】
まず、比較値算出部２０６は、領域抽出部２０５から出力された特徴領域のうち、車種が二輪車であるものを抽出する。次に、比較値算出部２０６は、抽出した特徴領域とステップＳ５１１で選択した文字列との間の距離をそれぞれ算出する（ステップＳ５１２）。次に、判定部２０７は、比較値算出部２０６が距離を算出した文字列と特徴領域の組の中に、当該距離が所定の距離ｄｂｉｋｅ−Δｂｉｋｅ以上であるものが存在するか否かを判定する（ステップＳ５１３）。なお、距離ｄｂｉｋｅとは、画像に写ったときの二輪プレートと特徴部分との標準的な距離である。また、Δｂｉｋｅは、ｄｂｉｋｅに対する誤差の最大値である。
【００３２】
比較値算出部２０６が距離を算出した文字列と特徴領域の組の中に、当該距離が所定の閾値ｄｂｉｋｅ−Δｂｉｋｅ以上であるものが存在する場合（ステップＳ５１３：ＹＥＳ）、判定部２０７は、距離がｄｂｉｋｅ−Δｂｉｋｅ以上であると判定された文字列と特徴領域の組の中に、当該距離が所定の距離ｄｂｉｋｅ＋Δｂｉｋｅ以下であるものが存在するか否かを判定する（ステップＳ５１４）。
【００３３】
図６は、特徴領域の座標と文字列の座標とを結ぶ線分を示す図である。
距離がｄｂｉｋｅ−Δｂｉｋｅ以上であると判定された文字列と特徴領域の組の中に、当該距離がｄｂｉｋｅ＋Δｂｉｋｅ以下であるものが存在する場合（ステップＳ５１４：ＹＥＳ）、比較値算出部２０６は、ステップＳ５１１で選択した文字列との距離がｄｂｉｋｅ＋Δｂｉｋｅ以下であると判定された特徴領域の座標と、ステップＳ５１１で選択した文字列の座標とを結ぶ線分（図６を参照）の角度をそれぞれ算出する（ステップＳ５１５）。
次に、判定部２０７は、比較値算出部２０６が角度を算出した文字列と特徴領域の組の中に、当該角度が、所定の角度θｂｉｋｅ−δｂｉｋｅ以上であるものが存在するか否かを判定する（ステップＳ５１６）。なお、角度θｂｉｋｅとは、画像に写ったときの二輪プレートと特徴部分とを結ぶ線分のレーン毎の標準的な角度である。また、δｂｉｋｅは、θｂｉｋｅに対する誤差の最大値である。
【００３４】
比較値算出部２０６が距離を算出した文字列と特徴領域の組の中に、当該角度が所定の閾値θｂｉｋｅ−δｂｉｋｅ以上であるものが存在する場合（ステップＳ５１６：ＹＥＳ）、判定部２０７は、角度がθｂｉｋｅ−δｂｉｋｅ以上であると判定された文字列と特徴領域の組の中に、当該角度が所定の角度θｂｉｋｅ＋δｂｉｋｅ以下であるものが存在するか否かを判定する（ステップＳ５１７）。
【００３５】
角度がθｂｉｋｅ−δｂｉｋｅ以上であると判定された文字列と特徴領域の組の中に、当該角度がθｂｉｋｅ＋δｂｉｋｅ以下であるものが存在する場合（ステップＳ５１７：ＹＥＳ）、判定部２０７は、当該文字列と特徴領域とを同一の車両を示すものであるか否かを判定し、それぞれを互いに関連付ける（ステップＳ５１０）。他方、ステップＳ５１３、ステップＳ５１４、ステップＳ５１６、ステップＳ５１７の条件を満たす組が存在しない場合は（ステップＳ５１３、ステップＳ５１４、ステップＳ５１６、ステップＳ５１７：ＮＯ）、ステップＳ５０７で選択した文字列に、特徴領域を関連付けない。
【００３６】
二輪車を示す文字列全てに対して上記ステップＳ５１２〜ステップＳ５１８の処理を実行すると、判定部２０７は、入力部２０１から画像情報のフレームＩＤを読み出し、ステップＳ５０３〜ステップＳ５１８で関連付けた特徴領域と文字列の組に、当該フレームＩＤを関連付ける（ステップＳ５１９）。次に、判定部２０７は、ステップＳ５０３〜ステップＳ５１８において関連付けられなかった特徴領域及び文字列のそれぞれに、当該フレームＩＤを関連付け（ステップＳ５２０）、フレーム内統合処理を終了する。
【００３７】
また、ステップＳ５０１で判定部２０７が、領域抽出部２０５から受け付けた情報の中に特徴領域が存在しないと判定した場合（ステップＳ５０１：ＮＯ）、判定部２０７は、文字列情報出力部２０４から受け付けた情報の中に、文字列が１つ以上存在するか否かを判定する（ステップＳ５２１）。判定部２０７は、文字列情報出力部２０４から受け付けた情報の中に文字列が存在しないと判定した場合（ステップＳ５２１：ＮＯ）、画像情報中に車両が存在しないと判定し、処理を行わずにフレーム内統合処理を終了する。
【００３８】
また、ステップＳ５０２で判定部２０７が、文字列情報出力部２０４から受け付けた情報の中に文字列が存在しないと判定した場合（ステップＳ５０２：ＮＯ）、すなわち特徴領域のみ抽出され、文字列が認識されなかった場合、及びステップＳ５２１で判定部２０７が文字列情報出力部２０４から受け付けた情報の中に文字列が存在しないと判定した場合（ステップＳ５２１：ＮＯ）、すなわち文字列のみ認識され、特徴領域が抽出されなかった場合、文字列と特徴領域との組が存在しないため、ステップＳ５０３からステップＳ５１９の処理を実行せずに、特徴領域及び文字列のそれぞれに、当該フレームＩＤを関連付け（ステップＳ５２０）、フレーム内統合処理を終了する。
【００３９】
図３に戻り、ステップＳ５によるフレーム内統合処理を終了すると、出力部２０８は、判定部２０７がフレーム内統合処理でフレームＩＤに関連付けた情報（車両情報）を、外部装置に出力し（ステップＳ６）、処理を終了する。
【００４０】
このように、本実施形態によれば、文字列認識部２０２が認識した文字列の座標と、領域抽出部２０５が抽出した特徴領域の座標との間の距離に基づいて、当該文字列と特徴領域とが同一の車両であるか否かを判定する。これにより、文字列認識部２０２と領域抽出部２０５の認識の漏れを補うことができ、かつ同一の車両の文字列と特徴領域とを関連付けておくことができる。
【００４１】
また、本実施形態では、文字列が示す車種と特徴領域が示す車種とが一致するものに対して、関連付けの判定処理を実行している。これにより、判定対象の数を減らして処理を高速化させることができ、また異なる車種の文字列と特徴領域とを関連付けてしまう誤判定を防ぐことができる。
【００４２】
以上、図面を参照してこの発明の一実施形態について詳しく説明してきたが、具体的な構成は上述のものに限られることはなく、この発明の要旨を逸脱しない範囲内において様々な設計変更等をすることが可能である。
例えば、本実施形態では、二輪車の特徴部分としてヘルメットを用い、四輪車の特徴部分としてナンバープレートを用いる場合を説明したが、これに限られず、その他の特徴部分を用いても、同様の処理を行うことができる。
【００４３】
また、本実施形態では、四輪車のナンバープレートの種類として一段プレートと二段プレートとがある場合を用いて説明したが、これに限られず、１種類または３種類以上のナンバープレートがある場合にも適用することができる。
【００４４】
上述の車両識別装置２００は内部に、コンピュータシステムを有している。そして、上述した各処理部の動作は、プログラムの形式でコンピュータ読み取り可能な記録媒体に記憶されており、このプログラムをコンピュータが読み出して実行することによって、上記処理が行われる。ここでコンピュータ読み取り可能な記録媒体とは、磁気ディスク、光磁気ディスク、ＣＤ−ＲＯＭ、ＤＶＤ−ＲＯＭ、半導体メモリ等をいう。また、このコンピュータプログラムを通信回線によってコンピュータに配信し、この配信を受けたコンピュータが当該プログラムを実行するようにしても良い。
【００４５】
また、上記プログラムは、前述した機能の一部を実現するためのものであっても良い。さらに、前述した機能をコンピュータシステムにすでに記録されているプログラムとの組み合わせで実現できるもの、いわゆる差分ファイル（差分プログラム）であっても良い。
【符号の説明】
【００４６】
１００…撮像装置 ２００…車両識別装置 ２０１…入力部 ２０２…文字列認識部 ２０３…文字列判別部 ２０４…文字列情報出力部 ２０５…領域抽出部 ２０６…比較値算出部 ２０７…判定部 ２０８…出力部
【技術分野】
【０００１】
本発明は、車線に設けられた撮像装置が撮像した画像に含まれる車両を識別する車両識別装置、車両識別方法、及びプログラムに関する。
【背景技術】
【０００２】
有料道路における料金収受では、車両固有の登録情報の特定が重要となる。また、違反車両の特定においても、車両固有の登録情報の特定が重要となる。これらの登録情報を特定する方法としては、従来、車載器と路側アンテナの通信により取得する方法や、ＯＣＲなどの画像処理技術をもってナンバープレートを認識し、その登録情報より取得する方法などを用いている。また、画像により車種を判定する手法（例えば４輪車と２輪車の判定）も種々開発されている。
【０００３】
ここで、特許文献１には、車両の特徴部分を抽出する方法とＯＣＲ処理を実行する方法の両方を用いて車両を認識する方法が記載されている。具体的には、まず車両のナンバープレートを示す特徴部分を抽出し、次に、当該特徴部分を対象にＯＣＲ処理を行う。
【先行技術文献】
【特許文献】
【０００４】
【特許文献１】特開２００９−１５５１５号公報
【発明の概要】
【発明が解決しようとする課題】
【０００５】
車両の認識は、漏れがないように行うことが好ましい。そのため、車両の認識に当たって特徴部分の抽出とＯＣＲ処理との両方を実行することで、それぞれの認識の漏れを補うことができると考えられる。しかしながら、単に両方の処理を行うと、同一の車両が重複して検出されてしまうという問題がある。また、特許文献１に記載の発明を用いた場合、ナンバープレートの抽出に失敗すると、当該部分が車両と認識されないこととなるため、認識の漏れを補うことができない。
【課題を解決するための手段】
【０００６】
本発明は上記の課題を解決するためになされたものであり、車線に設けられた撮像装置が撮像した画像に含まれる車両を識別する車両識別装置であって、前記撮像装置が撮像した画像から文字列を認識し、当該文字列及び当該文字列の座標を出力する文字列認識部と、前記撮像装置が撮像した画像から当該画像に含まれる車両の特徴部分を示す特徴領域を抽出する領域抽出部と、前記文字列認識部が出力した各文字列の座標と前記領域抽出部が抽出した各特徴領域の座標との間の距離をそれぞれ算出する距離算出部と、前記文字列と前記特徴領域との組のうち、前記距離算出部が算出した距離と所定の基準距離との差が所定の閾値以内である組を、同一の車両におけるナンバープレートと特徴部分との組であると判定する判定部とを備えることを特徴とする。
【０００７】
また、本発明においては、前記文字列認識部が出力した文字列のパターンに基づいて、当該文字列を有する車両の車種を判別する文字列判別部を備え、前記領域抽出部は、前記車両の車種毎に特徴領域を抽出し、前記判定部は、前記文字列と前記特徴領域との組の車種が一致する場合に、当該組が同一の車両におけるナンバープレートと特徴部分との組であるか否かの判定を実行することが好ましい。
【０００８】
また、本発明においては、前記基準距離は、画像に写ったときのナンバープレートと特徴部分との標準的な距離であることが好ましい。
【０００９】
また、本発明においては、前記特徴領域がナンバープレートでない場合に、前記文字列認識部が出力した文字列の座標と前記領域抽出部が抽出した特徴領域の座標とを結ぶ線分の角度を算出する角度算出部を備え、前記判定部は、距離算出部が算出した距離と前記基準距離との差が所定の閾値以内であり、かつ角度算出部が算出した角度と所定の基準角度との差が所定の閾値以内である場合に、前記文字列と前記特徴領域との組を、同一の車両におけるナンバープレートと特徴部分との組であると判定することが好ましい。
【００１０】
また、本発明においては、前記基準角度は、画像に写ったときのナンバープレートの座標と特徴領域の座標とを結ぶ線分の標準的な角度であることが好ましい。
【００１１】
また、本発明は、車線に設けられた撮像装置が撮像した画像に含まれる車両を識別する車両識別装置を用いた車両識別方法であって、文字列認識部は、前記撮像装置が撮像した画像から文字列を認識し、当該文字列及び当該文字列の座標を出力し、領域抽出部は、前記撮像装置が撮像した画像から当該画像に含まれる車両の特徴部分を示す特徴領域を抽出し、距離算出部は、前記文字列認識部が出力した各文字列の座標と前記領域抽出部が抽出した各特徴領域の座標との間の距離をそれぞれ算出し、判定部は、前記文字列と前記特徴領域との組のうち、前記距離算出部が算出した距離と所定の基準距離との差が所定の閾値以内である組を、同一の車両におけるナンバープレートと特徴部分との組であると判定することを特徴とする。
【００１２】
また、本発明は、車線に設けられた撮像装置が撮像した画像に含まれる車両を識別する車両識別装置を、前記撮像装置が撮像した画像から文字列を認識し、当該文字列及び当該文字列の座標を出力する文字列認識部、前記撮像装置が撮像した画像から当該画像に含まれる車両の特徴部分を示す特徴領域を抽出する領域抽出部、前記文字列認識部が出力した各文字列の座標と前記領域抽出部が抽出した各特徴領域の座標との間の距離をそれぞれ算出する距離算出部、前記文字列と前記特徴領域との組のうち、前記距離算出部が算出した距離と所定の基準距離との差が所定の閾値以内である組を、同一の車両におけるナンバープレートと特徴部分との組であると判定する判定部として機能させるためのプログラムである。
【発明の効果】
【００１３】
本発明によれば、文字列認識部が認識した文字列の座標と、領域抽出部が抽出した特徴領域の座標との間の距離に基づいて、当該文字列と特徴領域とが同一の車両であるか否かを判定する。これにより、文字列認識部と領域抽出部の認識の漏れを補うことができ、かつ同一の車両の文字列と特徴領域とを関連付けておくことができる。
【図面の簡単な説明】
【００１４】
【図１】本発明の一実施形態による車両識別装置の構成を示す概略ブロック図である。
【図２】判定部が出力する車両情報のデータ構成を示す図である。
【図３】本実施形態による車両識別装置の動作を示すフローチャートである。
【図４】フレーム内統合処理の処理を示す第１のフローチャートである。
【図５】フレーム内統合処理の処理を示す第２のフローチャートである。
【図６】特徴領域の座標と文字列の座標とを結ぶ線分を示す図である。
【発明を実施するための形態】
【００１５】
以下、図面を参照しながら本発明の実施形態について詳しく説明する。
図１は、本発明の一実施形態による車両識別装置２００の構成を示す概略ブロック図である。
車両識別装置２００は、撮像装置１００が撮像する画像情報の入力を順次受け付け、当該画像情報から車両のナンバープレート情報を抽出して出力する装置であり、入力部２０１、文字列認識部２０２、文字列判別部２０３、文字列情報出力部２０４、領域抽出部２０５、比較値算出部２０６（距離算出部、角度算出部）、判定部２０７、出力部２０８を備える。
【００１６】
入力部２０１は、撮像装置１００から画像情報の入力を受け付ける。なお、撮像装置１００は所定のフレーム間隔で連続して撮像を行っており、画像情報には、撮像開始時から昇順に割り振られるフレームＩＤが含まれる。
文字列認識部２０２は、入力部２０１が受け付けた画像情報に対してＯＣＲ処理を実行することで文字列の認識を行い、認識した文字列、当該文字列の座標、及び当該文字列の認識尤度を、文字列判別部２０３及び文字列情報出力部２０４に出力する。
文字列判別部２０３は、文字列認識部２０２から入力された文字列と所定のパターン情報とを比較することで、当該文字列が示すナンバープレートを備える車両の車種を判別する。車種としては、二輪車、一段プレートの四輪車、二段プレートの四輪車が挙げられる。ここで、一段プレートの四輪車とは、一段構えに表示されるナンバープレートが設置された四輪車である。同様に、二段プレートの四輪車とは、二段構えに表示されるナンバープレートが設置された四輪車である。
文字列情報出力部２０４は、文字列認識部２０２の出力と文字列判別部２０３による判別結果とを関連付け、認識した文字列、当該文字列の座標、当該文字列の認識尤度、及び車種を、比較値算出部２０６及び判定部２０７に出力する。
【００１７】
領域抽出部２０５は、入力部２０１が受け付けた画像情報から二輪車の特徴部分に類似する領域と四輪車の特徴部分に類似する領域とを抽出する。本実施形態では、二輪車の特徴部分として運転者の頭から肩にかけての領域、すなわち運転者のヘルメットを用いる。また、四輪車の特徴部分として四輪車のナンバープレート（一段プレート、二段プレート）を用いる。
二輪車の特徴部分としてナンバープレートでなくヘルメットを用いる理由は、二輪車のナンバープレートは設置の自由度が高く、画像に写る角度が様々であることから、ナンバープレートよりヘルメットの方がより高い精度で抽出することができるためである。特徴部分の抽出は、予め特徴部分の特徴量について機械学習を行った判別プログラムに画像情報のある領域を入力し、入力した領域の特徴量と特徴部分の特徴量との類似度が高いものを抽出することで行う。特徴量としては、例えばＨＯＧ（Ｈｉｓｔｏｇｒａｍｓ ｏｆ Ｏｒｉｅｎｔｅｄ Ｇｒａｄｉｅｎｔｓ）を用い、判別プログラムとしては、例えばＳＶＭ（Ｓｕｐｐｏｒｔ Ｖｅｃｔｏｒ Ｍａｃｈｉｎｅ）を用いることができる。
領域抽出部２０５は、特徴部分に類似する領域を抽出すると、検知領域座標（左上及び右下の座標）、特徴量評価値（類似度）、及び車種（二輪車、四輪一段、又は四輪二段）を含む領域情報を出力する。
【００１８】
比較値算出部２０６は、文字列情報出力部２０４の出力と領域抽出部２０５の出力とに基づいて、同一の車種に関連付けられた文字列の座標と特徴領域の座標との間の距離をそれぞれ算出する。また、比較値算出部２０６は、車種が二輪車を示す場合、文字列の座標と特徴領域の座標とを結ぶ線分の角度を算出する。
判定部２０７は、比較値算出部２０６が算出した距離が所定の閾値以内であるか否かに基づいて、文字列情報出力部２０４が出力した情報と領域抽出部２０５が出力した情報とが、同一の車両を示すものであるか否かを判定する。判定部２０７は、文字列情報出力部２０４が出力した情報と領域抽出部２０５が出力した情報とが、同一の車両を示すものであると判定した場合、これらを関連付けて出力部２０８に出力する。他方、判定部２０７は、文字列情報出力部２０４が出力した情報のうち領域抽出部２０５が出力した何れの情報とも関連付けられない情報と、領域抽出部２０５が出力した情報のうち文字列情報出力部２０４が出力した何れの情報とも関連付けられない情報とを、出力部２０８にそれぞれ別個に出力する。以下、判定部２０７が出力した情報を、車両情報と呼ぶ。
出力部２０８は、判定部２０７が出力した車両情報を外部装置に出力する。
【００１９】
図２は、判定部２０７が出力する車両情報のデータ構成を示す図である。
車両情報は、文字列、車種、評価値、フレームＩＤ、及び車両位置座標を要素に持つ情報である。ここで、評価値とは、文字列の認識尤度または特徴領域の特徴量評価値を示すものである。評価値には、文字列認識部２０２によって認識された文字列が存在する場合に、当該文字列の認識尤度が適用され、文字列認識部２０２によって認識された文字列が存在しない場合に、特徴領域の特徴量評価値が適用される。
【００２０】
上記構成を備えることで、車両識別装置２００は、以下の処理を実行することができる。すなわち、文字列認識部２０２は、撮像装置１００が撮像した画像から文字列を認識し、当該文字列及び当該文字列の座標を出力する。領域抽出部２０５は、撮像装置１００が撮像した画像から当該画像に含まれる車両の特徴部分を示す特徴領域を抽出する。距離算出部は、文字列認識部２０２が出力した各文字列の座標と前記領域抽出部２０５が抽出した各特徴領域の座標との間の距離をそれぞれ算出する。判定部２０７は、文字列と特徴領域との組のうち、距離算出部が算出した距離と所定の基準距離との差が所定の閾値以内である組を、同一の車両におけるナンバープレートと特徴部分との組であると判定する。
これにより、車両識別装置２００は、文字列認識部２０２と領域抽出部２０５の認識の漏れを補うことができ、かつ同一の車両の文字列と特徴領域とを関連付けておくことができる。
【００２１】
次に、本実施形態による車両識別装置２００の動作について説明する。
図３は、本実施形態による車両識別装置２００の動作を示すフローチャートである。
まず、車両識別装置２００の入力部２０１は、撮像装置１００が撮像した画像情報の入力を受け付ける（ステップＳ１）。次に、文字列認識部２０２は、入力部２０１が受け付けた画像情報に対してＯＣＲ処理を実行し、文字列の認識を行う（ステップＳ２）。このとき、文字列認識部２０２は、文字列認識の認識尤度、及び文字列の座標を算出する。
【００２２】
次に、文字列判定部２０７は、文字列認識部２０２が識別した文字列と所定のパターン情報とを比較することで、当該文字列が示すナンバープレートを備える車両の車種を判別する（ステップＳ３）。次に、文字列情報取得部は、文字列認識部２０２が出力する情報と文字列判定部２０７による判定結果を関連付けて比較値算出部２０６及び判定部２０７に出力する。
【００２３】
他方、ステップＳ１で入力部２０１が画像情報の入力を受け付けると、領域抽出部２０５は、ＳＶＭ等を用いて、入力部２０１が受け付けた画像情報から、二輪車の特徴領域、及び一段プレート並びに二段プレートの四輪車の特徴領域をそれぞれ抽出し、当該特徴領域の情報を比較値算出部２０６及び判定部２０７に出力する（ステップＳ４）。このとき、領域抽出部２０５は、抽出した特徴領域のそれぞれに対して、当該特徴領域が二輪車の特徴領域であるか、四輪車の特徴領域であるかを示す種別情報を付与する。
【００２４】
次に、車両識別装置２００は、１フレームの画像情報から抽出した文字列と特徴領域とを関連付けるフレーム内統合処理を実行する（ステップＳ５）。
図４は、フレーム内統合処理の処理を示す第１のフローチャートである。
判定部２０７は、領域抽出部２０５から受け付けた情報の中に、特徴領域が１つ以上存在するか否かを判定する（ステップＳ５０１）。判定部２０７は、特徴領域が存在すると判定した場合（ステップＳ５０１：ＹＥＳ）、文字列情報出力部２０４から受け付けた情報の中に、文字列が１つ以上存在するか否かを判定する（ステップＳ５０２）。
【００２５】
判定部２０７が受け付けた情報の中に、文字列が存在すると判定した場合（ステップＳ５０２：ＹＥＳ）、比較値算出部２０６は、文字列情報出力部２０４から出力された文字列のうち、車種が二段プレートの四輪車であるもののそれぞれについて、以下に示すステップＳ５０４〜ステップＳ５０６の処理を実行する（ステップＳ５０３）。
【００２６】
まず、比較値算出部２０６は、領域抽出部２０５から出力された特徴領域のうち、車種が二段プレートの四輪車であるものを抽出する。次に、比較値算出部２０６は、抽出した特徴領域とステップＳ５０３で選択した文字列との間の距離をそれぞれ算出する（ステップＳ５０４）。次に、判定部２０７は、比較値算出部２０６が距離を算出した文字列と特徴領域の組の中に、当該距離が所定の閾値ｄ２以下であるものが存在するか否かを判定する（ステップＳ５０５）。なお、閾値ｄ２としては、例えば四輪二段プレートの幅の半分の値を用いると良い。
比較値算出部２０６が距離を算出した文字列と特徴領域の組の中に、当該距離が所定の閾値ｄ２以下であるものが存在する場合（ステップＳ５０５：ＹＥＳ）、判定部２０７は、当該文字列と特徴領域とを同一の車両を示すものであるか否かを判定し、それぞれを互いに関連付ける（ステップＳ５０６）。他方、比較値算出部２０６が距離を算出した文字列と特徴領域の組の中に、当該距離が所定の閾値ｄ２以下であるものが存在しない場合（ステップＳ５０５：ＮＯ）、ステップＳ５０３で選択した文字列に、特徴領域を関連付けない。
【００２７】
なお、本発明において判定部２０７は、比較値算出部２０６が算出した距離と所定の基準距離との差が所定の閾値ｄ２以内である組を、同一の車両におけるナンバープレートと特徴部分との組であると判定するものである。基準距離とは、画像に写ったときのナンバープレートと特徴部分との標準的な距離であり、四輪車の特徴部分はナンバープレートであるため基準距離として０を用いている。
【００２８】
二段プレートの四輪車を示す文字列全てに対して上記ステップＳ５０４〜ステップＳ５０６の処理を実行すると、次に、比較値算出部２０６は、文字列情報出力部２０４から出力された文字列のうち、車種が一段プレートの四輪車であるもののそれぞれについて、以下に示すステップＳ５０８〜ステップＳ５１０の処理を実行する（ステップＳ５０７）。
【００２９】
まず、比較値算出部２０６は、領域抽出部２０５から出力された特徴領域のうち、車種が一段プレートの四輪車であるものを抽出する。次に、比較値算出部２０６は、抽出した特徴領域とステップＳ５０７で選択した文字列との間の距離をそれぞれ算出する（ステップＳ５０８）。次に、判定部２０７は、比較値算出部２０６が距離を算出した文字列と特徴領域の組の中に、当該距離が所定の閾値ｄ１以下であるものが存在するか否かを判定する（ステップＳ５０９）。なお、閾値ｄ１としては、例えば四輪一段プレートの幅の半分の値を用いると良い。
比較値算出部２０６が距離を算出した文字列と特徴領域の組の中に、当該距離が所定の閾値ｄ１以下であるものが存在する場合（ステップＳ５０９：ＹＥＳ）、判定部２０７は、当該文字列と特徴領域とが同一の車両を示すものであると判定し、それぞれを互いに関連付ける（ステップＳ５１０）。他方、比較値算出部２０６が距離を算出した文字列と特徴領域の組の中に、当該距離が所定の閾値ｄ１以下であるものが存在しない場合（ステップＳ５０９：ＮＯ）、ステップＳ５０７で選択した文字列に、特徴領域を関連付けない。
【００３０】
図５は、フレーム内統合処理の処理を示す第２のフローチャートである。
一段プレートの四輪車を示す文字列全てに対して上記ステップＳ５０８〜ステップＳ５１０の処理を実行すると、次に、比較値算出部２０６は、文字列情報出力部２０４から出力された文字列のうち、車種が二輪車であるもののそれぞれについて、以下に示すステップＳ５１２〜ステップＳ５１８の処理を実行する（ステップＳ５１１）。
【００３１】
まず、比較値算出部２０６は、領域抽出部２０５から出力された特徴領域のうち、車種が二輪車であるものを抽出する。次に、比較値算出部２０６は、抽出した特徴領域とステップＳ５１１で選択した文字列との間の距離をそれぞれ算出する（ステップＳ５１２）。次に、判定部２０７は、比較値算出部２０６が距離を算出した文字列と特徴領域の組の中に、当該距離が所定の距離ｄｂｉｋｅ−Δｂｉｋｅ以上であるものが存在するか否かを判定する（ステップＳ５１３）。なお、距離ｄｂｉｋｅとは、画像に写ったときの二輪プレートと特徴部分との標準的な距離である。また、Δｂｉｋｅは、ｄｂｉｋｅに対する誤差の最大値である。
【００３２】
比較値算出部２０６が距離を算出した文字列と特徴領域の組の中に、当該距離が所定の閾値ｄｂｉｋｅ−Δｂｉｋｅ以上であるものが存在する場合（ステップＳ５１３：ＹＥＳ）、判定部２０７は、距離がｄｂｉｋｅ−Δｂｉｋｅ以上であると判定された文字列と特徴領域の組の中に、当該距離が所定の距離ｄｂｉｋｅ＋Δｂｉｋｅ以下であるものが存在するか否かを判定する（ステップＳ５１４）。
【００３３】
図６は、特徴領域の座標と文字列の座標とを結ぶ線分を示す図である。
距離がｄｂｉｋｅ−Δｂｉｋｅ以上であると判定された文字列と特徴領域の組の中に、当該距離がｄｂｉｋｅ＋Δｂｉｋｅ以下であるものが存在する場合（ステップＳ５１４：ＹＥＳ）、比較値算出部２０６は、ステップＳ５１１で選択した文字列との距離がｄｂｉｋｅ＋Δｂｉｋｅ以下であると判定された特徴領域の座標と、ステップＳ５１１で選択した文字列の座標とを結ぶ線分（図６を参照）の角度をそれぞれ算出する（ステップＳ５１５）。
次に、判定部２０７は、比較値算出部２０６が角度を算出した文字列と特徴領域の組の中に、当該角度が、所定の角度θｂｉｋｅ−δｂｉｋｅ以上であるものが存在するか否かを判定する（ステップＳ５１６）。なお、角度θｂｉｋｅとは、画像に写ったときの二輪プレートと特徴部分とを結ぶ線分のレーン毎の標準的な角度である。また、δｂｉｋｅは、θｂｉｋｅに対する誤差の最大値である。
【００３４】
比較値算出部２０６が距離を算出した文字列と特徴領域の組の中に、当該角度が所定の閾値θｂｉｋｅ−δｂｉｋｅ以上であるものが存在する場合（ステップＳ５１６：ＹＥＳ）、判定部２０７は、角度がθｂｉｋｅ−δｂｉｋｅ以上であると判定された文字列と特徴領域の組の中に、当該角度が所定の角度θｂｉｋｅ＋δｂｉｋｅ以下であるものが存在するか否かを判定する（ステップＳ５１７）。
【００３５】
角度がθｂｉｋｅ−δｂｉｋｅ以上であると判定された文字列と特徴領域の組の中に、当該角度がθｂｉｋｅ＋δｂｉｋｅ以下であるものが存在する場合（ステップＳ５１７：ＹＥＳ）、判定部２０７は、当該文字列と特徴領域とを同一の車両を示すものであるか否かを判定し、それぞれを互いに関連付ける（ステップＳ５１０）。他方、ステップＳ５１３、ステップＳ５１４、ステップＳ５１６、ステップＳ５１７の条件を満たす組が存在しない場合は（ステップＳ５１３、ステップＳ５１４、ステップＳ５１６、ステップＳ５１７：ＮＯ）、ステップＳ５０７で選択した文字列に、特徴領域を関連付けない。
【００３６】
二輪車を示す文字列全てに対して上記ステップＳ５１２〜ステップＳ５１８の処理を実行すると、判定部２０７は、入力部２０１から画像情報のフレームＩＤを読み出し、ステップＳ５０３〜ステップＳ５１８で関連付けた特徴領域と文字列の組に、当該フレームＩＤを関連付ける（ステップＳ５１９）。次に、判定部２０７は、ステップＳ５０３〜ステップＳ５１８において関連付けられなかった特徴領域及び文字列のそれぞれに、当該フレームＩＤを関連付け（ステップＳ５２０）、フレーム内統合処理を終了する。
【００３７】
また、ステップＳ５０１で判定部２０７が、領域抽出部２０５から受け付けた情報の中に特徴領域が存在しないと判定した場合（ステップＳ５０１：ＮＯ）、判定部２０７は、文字列情報出力部２０４から受け付けた情報の中に、文字列が１つ以上存在するか否かを判定する（ステップＳ５２１）。判定部２０７は、文字列情報出力部２０４から受け付けた情報の中に文字列が存在しないと判定した場合（ステップＳ５２１：ＮＯ）、画像情報中に車両が存在しないと判定し、処理を行わずにフレーム内統合処理を終了する。
【００３８】
また、ステップＳ５０２で判定部２０７が、文字列情報出力部２０４から受け付けた情報の中に文字列が存在しないと判定した場合（ステップＳ５０２：ＮＯ）、すなわち特徴領域のみ抽出され、文字列が認識されなかった場合、及びステップＳ５２１で判定部２０７が文字列情報出力部２０４から受け付けた情報の中に文字列が存在しないと判定した場合（ステップＳ５２１：ＮＯ）、すなわち文字列のみ認識され、特徴領域が抽出されなかった場合、文字列と特徴領域との組が存在しないため、ステップＳ５０３からステップＳ５１９の処理を実行せずに、特徴領域及び文字列のそれぞれに、当該フレームＩＤを関連付け（ステップＳ５２０）、フレーム内統合処理を終了する。
【００３９】
図３に戻り、ステップＳ５によるフレーム内統合処理を終了すると、出力部２０８は、判定部２０７がフレーム内統合処理でフレームＩＤに関連付けた情報（車両情報）を、外部装置に出力し（ステップＳ６）、処理を終了する。
【００４０】
このように、本実施形態によれば、文字列認識部２０２が認識した文字列の座標と、領域抽出部２０５が抽出した特徴領域の座標との間の距離に基づいて、当該文字列と特徴領域とが同一の車両であるか否かを判定する。これにより、文字列認識部２０２と領域抽出部２０５の認識の漏れを補うことができ、かつ同一の車両の文字列と特徴領域とを関連付けておくことができる。
【００４１】
また、本実施形態では、文字列が示す車種と特徴領域が示す車種とが一致するものに対して、関連付けの判定処理を実行している。これにより、判定対象の数を減らして処理を高速化させることができ、また異なる車種の文字列と特徴領域とを関連付けてしまう誤判定を防ぐことができる。
【００４２】
以上、図面を参照してこの発明の一実施形態について詳しく説明してきたが、具体的な構成は上述のものに限られることはなく、この発明の要旨を逸脱しない範囲内において様々な設計変更等をすることが可能である。
例えば、本実施形態では、二輪車の特徴部分としてヘルメットを用い、四輪車の特徴部分としてナンバープレートを用いる場合を説明したが、これに限られず、その他の特徴部分を用いても、同様の処理を行うことができる。
【００４３】
また、本実施形態では、四輪車のナンバープレートの種類として一段プレートと二段プレートとがある場合を用いて説明したが、これに限られず、１種類または３種類以上のナンバープレートがある場合にも適用することができる。
【００４４】
上述の車両識別装置２００は内部に、コンピュータシステムを有している。そして、上述した各処理部の動作は、プログラムの形式でコンピュータ読み取り可能な記録媒体に記憶されており、このプログラムをコンピュータが読み出して実行することによって、上記処理が行われる。ここでコンピュータ読み取り可能な記録媒体とは、磁気ディスク、光磁気ディスク、ＣＤ−ＲＯＭ、ＤＶＤ−ＲＯＭ、半導体メモリ等をいう。また、このコンピュータプログラムを通信回線によってコンピュータに配信し、この配信を受けたコンピュータが当該プログラムを実行するようにしても良い。
【００４５】
また、上記プログラムは、前述した機能の一部を実現するためのものであっても良い。さらに、前述した機能をコンピュータシステムにすでに記録されているプログラムとの組み合わせで実現できるもの、いわゆる差分ファイル（差分プログラム）であっても良い。
【符号の説明】
【００４６】
１００…撮像装置 ２００…車両識別装置 ２０１…入力部 ２０２…文字列認識部 ２０３…文字列判別部 ２０４…文字列情報出力部 ２０５…領域抽出部 ２０６…比較値算出部 ２０７…判定部 ２０８…出力部
【特許請求の範囲】
【請求項１】
車線に設けられた撮像装置が撮像した画像に含まれる車両を識別する車両識別装置であって、
前記撮像装置が撮像した画像から文字列を認識し、当該文字列及び当該文字列の座標を出力する文字列認識部と、
前記撮像装置が撮像した画像から当該画像に含まれる車両の特徴部分を示す特徴領域を抽出する領域抽出部と、
前記文字列認識部が出力した各文字列の座標と前記領域抽出部が抽出した各特徴領域の座標との間の距離をそれぞれ算出する距離算出部と、
前記文字列と前記特徴領域との組のうち、前記距離算出部が算出した距離と所定の基準距離との差が所定の閾値以内である組を、同一の車両におけるナンバープレートと特徴部分との組であると判定する判定部と
を備えることを特徴とする車両識別装置。
【請求項２】
前記文字列認識部が出力した文字列のパターンに基づいて、当該文字列を有する車両の車種を判別する文字列判別部を備え、
前記領域抽出部は、前記車両の車種毎に特徴領域を抽出し、
前記判定部は、前記文字列と前記特徴領域との組の車種が一致する場合に、当該組が同一の車両におけるナンバープレートと特徴部分との組であるか否かの判定を実行する
ことを特徴とする請求項１に記載の車両識別装置。
【請求項３】
前記基準距離は、画像に写ったときのナンバープレートと特徴部分との標準的な距離であることを特徴とする請求項１または請求項２に記載の車両識別装置。
【請求項４】
前記特徴領域がナンバープレートでない場合に、前記文字列認識部が出力した文字列の座標と前記領域抽出部が抽出した特徴領域の座標とを結ぶ線分の角度を算出する角度算出部を備え、
前記判定部は、距離算出部が算出した距離と前記基準距離との差が所定の閾値以内であり、かつ角度算出部が算出した角度と所定の基準角度との差が所定の閾値以内である場合に、前記文字列と前記特徴領域との組を、同一の車両におけるナンバープレートと特徴部分との組であると判定する
ことを特徴とする請求項１から請求項３の何れか１項に記載の車両識別装置。
【請求項５】
前記基準角度は、画像に写ったときのナンバープレートの座標と特徴領域の座標とを結ぶ線分の標準的な角度であることを特徴とする請求項４に記載の車両識別装置。
【請求項６】
車線に設けられた撮像装置が撮像した画像に含まれる車両を識別する車両識別装置を用いた車両識別方法であって、
文字列認識部は、前記撮像装置が撮像した画像から文字列を認識し、当該文字列及び当該文字列の座標を出力し、
領域抽出部は、前記撮像装置が撮像した画像から当該画像に含まれる車両の特徴部分を示す特徴領域を抽出し、
距離算出部は、前記文字列認識部が出力した各文字列の座標と前記領域抽出部が抽出した各特徴領域の座標との間の距離をそれぞれ算出し、
判定部は、前記文字列と前記特徴領域との組のうち、前記距離算出部が算出した距離と所定の基準距離との差が所定の閾値以内である組を、同一の車両におけるナンバープレートと特徴部分との組であると判定する
ことを特徴とする車両識別方法。
【請求項７】
車線に設けられた撮像装置が撮像した画像に含まれる車両を識別する車両識別装置を、
前記撮像装置が撮像した画像から文字列を認識し、当該文字列及び当該文字列の座標を出力する文字列認識部、
前記撮像装置が撮像した画像から当該画像に含まれる車両の特徴部分を示す特徴領域を抽出する領域抽出部、
前記文字列認識部が出力した各文字列の座標と前記領域抽出部が抽出した各特徴領域の座標との間の距離をそれぞれ算出する距離算出部、
前記文字列と前記特徴領域との組のうち、前記距離算出部が算出した距離と所定の基準距離との差が所定の閾値以内である組を、同一の車両におけるナンバープレートと特徴部分との組であると判定する判定部
として機能させるためのプログラム。
【請求項１】
車線に設けられた撮像装置が撮像した画像に含まれる車両を識別する車両識別装置であって、
前記撮像装置が撮像した画像から文字列を認識し、当該文字列及び当該文字列の座標を出力する文字列認識部と、
前記撮像装置が撮像した画像から当該画像に含まれる車両の特徴部分を示す特徴領域を抽出する領域抽出部と、
前記文字列認識部が出力した各文字列の座標と前記領域抽出部が抽出した各特徴領域の座標との間の距離をそれぞれ算出する距離算出部と、
前記文字列と前記特徴領域との組のうち、前記距離算出部が算出した距離と所定の基準距離との差が所定の閾値以内である組を、同一の車両におけるナンバープレートと特徴部分との組であると判定する判定部と
を備えることを特徴とする車両識別装置。
【請求項２】
前記文字列認識部が出力した文字列のパターンに基づいて、当該文字列を有する車両の車種を判別する文字列判別部を備え、
前記領域抽出部は、前記車両の車種毎に特徴領域を抽出し、
前記判定部は、前記文字列と前記特徴領域との組の車種が一致する場合に、当該組が同一の車両におけるナンバープレートと特徴部分との組であるか否かの判定を実行する
ことを特徴とする請求項１に記載の車両識別装置。
【請求項３】
前記基準距離は、画像に写ったときのナンバープレートと特徴部分との標準的な距離であることを特徴とする請求項１または請求項２に記載の車両識別装置。
【請求項４】
前記特徴領域がナンバープレートでない場合に、前記文字列認識部が出力した文字列の座標と前記領域抽出部が抽出した特徴領域の座標とを結ぶ線分の角度を算出する角度算出部を備え、
前記判定部は、距離算出部が算出した距離と前記基準距離との差が所定の閾値以内であり、かつ角度算出部が算出した角度と所定の基準角度との差が所定の閾値以内である場合に、前記文字列と前記特徴領域との組を、同一の車両におけるナンバープレートと特徴部分との組であると判定する
ことを特徴とする請求項１から請求項３の何れか１項に記載の車両識別装置。
【請求項５】
前記基準角度は、画像に写ったときのナンバープレートの座標と特徴領域の座標とを結ぶ線分の標準的な角度であることを特徴とする請求項４に記載の車両識別装置。
【請求項６】
車線に設けられた撮像装置が撮像した画像に含まれる車両を識別する車両識別装置を用いた車両識別方法であって、
文字列認識部は、前記撮像装置が撮像した画像から文字列を認識し、当該文字列及び当該文字列の座標を出力し、
領域抽出部は、前記撮像装置が撮像した画像から当該画像に含まれる車両の特徴部分を示す特徴領域を抽出し、
距離算出部は、前記文字列認識部が出力した各文字列の座標と前記領域抽出部が抽出した各特徴領域の座標との間の距離をそれぞれ算出し、
判定部は、前記文字列と前記特徴領域との組のうち、前記距離算出部が算出した距離と所定の基準距離との差が所定の閾値以内である組を、同一の車両におけるナンバープレートと特徴部分との組であると判定する
ことを特徴とする車両識別方法。
【請求項７】
車線に設けられた撮像装置が撮像した画像に含まれる車両を識別する車両識別装置を、
前記撮像装置が撮像した画像から文字列を認識し、当該文字列及び当該文字列の座標を出力する文字列認識部、
前記撮像装置が撮像した画像から当該画像に含まれる車両の特徴部分を示す特徴領域を抽出する領域抽出部、
前記文字列認識部が出力した各文字列の座標と前記領域抽出部が抽出した各特徴領域の座標との間の距離をそれぞれ算出する距離算出部、
前記文字列と前記特徴領域との組のうち、前記距離算出部が算出した距離と所定の基準距離との差が所定の閾値以内である組を、同一の車両におけるナンバープレートと特徴部分との組であると判定する判定部
として機能させるためのプログラム。
【図１】
【図２】
【図３】
【図４】
【図５】
【図６】
【図２】
【図３】
【図４】
【図５】
【図６】
【公開番号】特開２０１３−３７６６（Ｐ２０１３−３７６６Ａ）
【公開日】平成２５年１月７日（２０１３．１．７）
【国際特許分類】
【出願番号】特願２０１１−１３３１５６（Ｐ２０１１−１３３１５６）
【出願日】平成２３年６月１５日（２０１１．６．１５）
【出願人】（０００００６２０８）三菱重工業株式会社 (10,378)
【Ｆターム（参考）】
【公開日】平成２５年１月７日（２０１３．１．７）
【国際特許分類】
【出願日】平成２３年６月１５日（２０１１．６．１５）
【出願人】（０００００６２０８）三菱重工業株式会社 (10,378)
【Ｆターム（参考）】
[ Back to top ]