車両識別装置、車両識別方法、及びプログラム
【課題】あるフレームにおいて車両の検出に失敗した場合に、当該フレームの前と当該フレームの後の同一車両を異なる車両として認識することを防ぐ。
【解決手段】候補抽出部２０９は、文字列認識部２０２が出力した文字列のうち記憶部２０８が記憶する更新対象の文字列に類似する文字列を、更新候補として抽出し、更新部２１１は、更新対象の文字列を更新候補の文字列に書き換える。ここで、記憶部２０８が記憶する文字列は、文字列認識部２０２が同一の車両から抽出した文字列である。
【解決手段】候補抽出部２０９は、文字列認識部２０２が出力した文字列のうち記憶部２０８が記憶する更新対象の文字列に類似する文字列を、更新候補として抽出し、更新部２１１は、更新対象の文字列を更新候補の文字列に書き換える。ここで、記憶部２０８が記憶する文字列は、文字列認識部２０２が同一の車両から抽出した文字列である。
【発明の詳細な説明】
【技術分野】
【０００１】
本発明は、車線に設けられた撮像装置が撮像した画像に含まれる車両を識別する車両識別装置、車両識別方法、及びプログラムに関する。
【背景技術】
【０００２】
有料道路における料金収受では、車両固有の登録情報の特定が重要となる。また、違反車両の特定においても、車両固有の登録情報の特定が重要となる。これらの登録情報を特定する方法としては、従来、車載器と路側アンテナの通信により取得する方法や、ＯＣＲなどの画像処理技術をもってナンバープレートを認識し、その登録情報より取得する方法などを用いている。また、画像により車種を判定（例えば４輪車と２輪車の判定）も種々開発されている。
【０００３】
ここで、特許文献１には、画像情報からナンバープレートの候補となる文字列を抽出し、文字列の少なくとも一部を確認し、その結果を用いてフレーム間で車両を関連付ける方法が記載されている。本方法を用いることで、カメラが撮影した複数のフレームにおいて検出される同一の車両をそれぞれ関連付けることができる。
【先行技術文献】
【特許文献】
【０００４】
【特許文献１】特開２００９−４８２２５号公報
【発明の概要】
【発明が解決しようとする課題】
【０００５】
しかしながら、特許文献１に記載の方法を用いた場合、ナンバープレートの文字列の抽出に失敗したフレームが存在する場合、当該フレームの前と当該フレームの後の同一車両を異なる車両として認識してしまうおそれがある。特許文献１によれば、無線通信によってナンバー情報を取得し、当該情報を用いてフレーム間で車両の関連付けを行うこととなるが、車両の関連付けを行うために無線通信装置が必須となってしまうという問題がある。
【課題を解決するための手段】
【０００６】
本発明は上記の課題を解決するためになされたものであり、車線に設けられた撮像装置が撮像した画像に含まれる車両を識別する車両識別装置であって、前記撮像装置が撮像した画像から車両の特徴を示す車両情報を抽出する車両情報抽出部と、前記車両情報抽出部が抽出した車両情報を車両毎に記憶する記憶部と、前記車両情報抽出部が出力した車両情報のうち、前記記憶部に記憶されたある車両情報である更新対象車両情報と同一の車両を示す車両情報を、当該更新対象車両情報の更新候補である候補車両情報として抽出する候補車両情報抽出部と、前記記憶部が記憶する更新対象車両情報を前記候補車両情報に書き換える更新部と、前記車両情報抽出部が出力した文字列のうち、前記候補車両情報として抽出されなかった車両情報を、前記記憶部に新たに記録する記録部とを備えることを特徴とする。
【０００７】
また、本発明においては、前記車両情報は車両に含まれる文字列であって、前記候補車両情報抽出部は、前記車両情報抽出部が出力した車両情報と、前記更新対象車両情報とがそれぞれ類似する文字列である場合に、前記車両情報抽出部が出力した車両情報と前記更新対象車両情報とが同一の車両を示すと判定することが好ましい。
【０００８】
また、本発明においては、前記車両情報抽出部は、前記撮像装置が撮像した画像に含まれる車両情報とともに、当該車両情報が示す文字列の認識尤度を出力するものであり、前記記憶部は、前記車両情報抽出部が抽出した車両情報と当該車両情報の認識尤度とを関連付けて記憶するものであり、前記更新部は、前記候補車両情報抽出部が抽出した候補車両情報の認識尤度が、前記更新対象車両情報の認識尤度より高い場合に、前記記憶部が記憶する更新対象車両情報を前記候補車両情報に書き換えることが好ましい。
【０００９】
また、本発明においては、前記記憶部は、前記車両情報に関連付けて前記撮像装置が撮像した画像のフレーム番号を記憶するものであり、前記更新部は、前記記憶部が記憶する車両情報に加えて前記フレーム番号を更新するものであり、前記記録部は、前記車両情報に加えて前記フレーム番号を前記記憶部に記録するものであり、前記記憶部が記憶する車両情報に関連付けられたフレーム番号と前記撮像装置が今回撮像した画像のフレーム番号との差が所定の閾値以上となる場合に、当該フレーム番号に関連付けられた情報を出力する出力部と、前記出力部が出力した車両情報を前記記憶部から削除する削除部とを備えることが好ましい。
【００１０】
また、本発明においては、前記車両情報抽出部は、前記撮像装置が撮像した画像から車両情報である文字列を認識する際に当該文字列の座標を特定し、前記車両情報と共に前記座標を出力するものであり、前記記憶部は、前記車両情報に関連付けて、当該車両情報が抽出された最後のフレームにおける当該車両情報の座標である終点座標と、前記終点座標より前のフレームにおける前記車両情報の座標である始点座標とを記憶するものであり、前記更新部は、前記記憶部が記憶する車両情報に加えて、前記終点座標及び前記始点座標も更新するものであり、前記記録部は、前記車両情報に加えて、前記終点座標を前記記憶部に記録するものであり、前記候補車両情報抽出部は、前記車両情報抽出部が出力した車両情報のうち、前記記憶部が記憶する何れの車両情報が示す文字列にも類似せず、かつ前記記憶部に記憶されたある車両情報である更新対象車両情報の始点座標と終点座標とを結ぶベクトルと、前記更新対象車両情報の終点座標と当該車両情報の座標とを結ぶベクトルとがなす角が所定の角度以下となる車両情報を、前記更新対象車両情報の更新候補である候補車両情報として抽出することが好ましい。
【００１１】
また、本発明においては、前記撮像装置が撮像した画像から当該画像に含まれる車両の特徴部分を示す特徴領域を抽出する特徴抽出部と、前記車両情報抽出部が認識した車両情報と前記特徴抽出部が抽出した特徴領域とのうち、同一の車両を示すものを相互に関連付ける関連付け部と、前記特徴抽出部が抽出した特徴領域のうち、前記関連付け部によって前記車両情報との関連付けがなされず、かつ前記記憶部に記憶されたある車両情報である更新対象車両情報の始点座標と終点座標とを結ぶベクトルと、前記更新対象車両情報の終点座標と当該特徴領域の座標とを結ぶベクトルとがなす角が所定の角度以下となる特徴領域を、前記更新対象車両情報の終点座標の更新候補である候補領域として抽出する候補領域抽出部とを備え、前記更新部は、前記記憶部が記憶する更新対象車両情報の終点座標を、前記候補領域抽出部によって抽出された候補領域の座標に書き換えることが好ましい。
【００１２】
また、本発明においては、前記車両情報抽出部が出力した車両情報のパターンに基づいて、当該車両情報を有する車両の車種を判別する車両情報判別部を備え、前記特徴抽出部は、前記車両の車種毎に特徴領域を抽出し、前記候補領域抽出部は、前記更新対象車両情報が示す車種と前記特徴抽出部が抽出した特徴領域が示す車種とが一致しない場合、当該特徴領域を候補領域として抽出しないことが好ましい。
【００１３】
また、本発明においては、前記車両情報は、車両の特徴部分を示す特徴領域と当該特徴領域の座標を示す情報であって、前記候補車両情報抽出部は、前記車両情報抽出部が出力した車両情報が示す座標と、前記更新対象車両情報が示す座標とを結ぶベクトルの角度が所定の角度範囲以内である場合に、前記車両情報抽出部が出力した車両情報と前記更新対象車両情報とが同一の車両を示すと判定することが好ましい。
【００１４】
また、本発明は、車線に設けられた撮像装置が撮像した画像に含まれる車両を識別する車両識別装置を用いた車両識別方法であって、車両情報抽出部は、前記撮像装置が撮像した画像から車両の特徴を示す車両情報を抽出し、候補車両情報抽出部は、前記車両情報抽出部が出力した車両情報のうち、前記車両情報抽出部が抽出した車両情報を車両毎に記憶する記憶部に記憶されたある車両情報である更新対象車両情報と同一の車両を示す車両情報を、当該更新対象車両情報の更新候補である候補車両情報として抽出し、更新部は、前記記憶部が記憶する更新対象車両情報を前記候補車両情報に書き換え、記録部は、前記車両情報抽出部が出力した文字列のうち、前記候補車両情報として抽出されなかった車両情報を、前記記憶部に新たに記録することを特徴とする。
【００１５】
また、本発明は、車線に設けられた撮像装置が撮像した画像に含まれる車両を識別する車両識別装置を、前記撮像装置が撮像した画像から車両の特徴を示す車両情報を抽出する車両情報抽出部、前記車両情報抽出部が出力した車両情報のうち、前記車両情報抽出部が抽出した車両情報を車両毎に記憶する記憶部に記憶されたある車両情報である更新対象車両情報と同一の車両を示す車両情報を、当該更新対象車両情報の更新候補である候補車両情報として抽出する候補車両情報抽出部、前記記憶部が記憶する更新対象車両情報を前記候補車両情報に書き換える更新部、前記車両情報抽出部が出力した文字列のうち、前記候補車両情報として抽出されなかった車両情報を、前記記憶部に新たに記録する記録部として機能させるためのプログラムである。
【発明の効果】
【００１６】
本発明によれば、候補文字列抽出部は、文字列認識部が出力した文字列のうち記憶部が記憶する更新対象文字列に類似する文字列を、候補文字列として抽出し、更新部は、更新対象文字列を候補文字列に書き換える。ここで、記憶部が記憶する文字列は、文字列認識部が同一の車両から抽出した文字列である。したがって、あるフレームにおいて車両の検出に失敗した場合にも、記憶部には当該フレーム以前の車両の文字列が記憶されているため、当該フレームの前と当該フレームの後の同一車両を異なる車両として認識することを防ぐことができる。
【図面の簡単な説明】
【００１７】
【図１】本発明の一実施形態による車両識別装置の構成を示す概略ブロック図である。
【図２】判定部が出力する車両情報のデータ構成を示す図である。
【図３】記憶部が記憶するテーブルの情報を示す図である。
【図４】本実施形態による車両識別装置の動作を示すフローチャートである。
【図５】フレーム間統合処理の処理を示す第１のフローチャートである。
【図６】別車判定処理の処理を示すフローチャートである。
【図７】ナンバープレートの座標を推定する方法を示す図である。
【図８】フレーム間統合処理の処理を示す第２のフローチャートである。
【図９】フレーム間統合処理の処理を示す第３のフローチャートである。
【発明を実施するための形態】
【００１８】
以下、図面を参照しながら本発明の実施形態について詳しく説明する。
図１は、本発明の一実施形態による車両識別装置２００の構成を示す概略ブロック図である。
車両識別装置２００は、撮像装置１００が撮像する画像情報の入力を順次受け付け、当該画像情報から車両のナンバープレート情報を抽出して出力する装置であり、入力部２０１、文字列認識部２０２（車両情報抽出部）、文字列判別部２０３（車両情報判別部）、文字列情報出力部２０４、領域抽出部２０５（車両情報抽出部）、比較値算出部２０６、判定部２０７（関連付け部）、記憶部２０８、候補抽出部２０９（候補車両情報抽出部、候補領域抽出部）、記録部２１０、更新部２１１、出力部２１２、削除部２１３を備える。
【００１９】
入力部２０１は、撮像装置１００から画像情報の入力を受け付ける。なお、撮像装置１００は所定のフレーム間隔で連続して撮像を行っており、画像情報には、撮像開始時から昇順に割り振られるフレームＩＤが含まれる。
文字列認識部２０２は、入力部２０１が受け付けた画像情報に対してＯＣＲ処理を実行することで文字列の認識を行い、認識した文字列、当該文字列の座標、及び当該文字列の認識尤度を、文字列判別部２０３及び文字列情報出力部２０４に出力する。
文字列判別部２０３は、文字列認識部２０２から入力された文字列と所定のパターン情報とを比較することで、当該文字列が示すナンバープレートを備える車両の車種を判別する。車種としては、二輪車、一段プレートの四輪車、二段プレートの四輪車が挙げられる。ここで、一段プレートの四輪車とは、一段構えに表示されるナンバープレートが設置された四輪車である。同様に、二段プレートの四輪車とは、二段構えに表示されるナンバープレートが設置された四輪車である。
文字列情報出力部２０４は、文字列認識部２０２の出力と文字列判別部２０３による判別結果とを関連付け、認識した文字列、当該文字列の座標、当該文字列の認識尤度、及び車種を、比較値算出部２０６及び判定部２０７に出力する。
【００２０】
領域抽出部２０５は、入力部２０１が受け付けた画像情報から二輪車の特徴部分に類似する領域と四輪車の特徴部分に類似する領域とを抽出する。本実施形態では、二輪車の特徴部分として運転者の頭から肩にかけての領域、すなわち運転者のヘルメットを用いる。また、四輪車の特徴部分として四輪車のナンバープレート（一段プレート、二段プレート）を用いる。
二輪車の特徴部分としてナンバープレートでなくヘルメットを用いる理由は、二輪車のナンバープレートは設置の自由度が高く、画像に写る角度が様々であることから、ナンバープレートよりヘルメットの方がより高い精度で抽出することができるためである。特徴部分の抽出は、予め特徴部分の特徴量について機械学習を行った判別プログラムに画像情報のある領域を入力し、入力した領域の特徴量と特徴部分の特徴量との類似度が高いものを抽出することで行う。特徴量としては、例えばＨＯＧ（Ｈｉｓｔｏｇｒａｍｓ ｏｆ Ｏｒｉｅｎｔｅｄ Ｇｒａｄｉｅｎｔｓ）を用い、判別プログラムとしては、例えばＳＶＭ（Ｓｕｐｐｏｒｔ Ｖｅｃｔｏｒ Ｍａｃｈｉｎｅ）を用いることができる。
領域抽出部２０５は、特徴部分に類似する領域を抽出すると、検知領域座標（左上及び右下の座標）、特徴量評価値（類似度）、及び車種（二輪車、四輪一段、又は四輪二段）を含む領域情報を出力する。
【００２１】
比較値算出部２０６は、文字列情報出力部２０４の出力と領域抽出部２０５の出力とに基づいて、同一の車種に関連付けられた文字列の座標と特徴領域の座標との間の距離をそれぞれ算出する。また、比較値算出部２０６は、車種が二輪車を示す場合、文字列の座標と特徴領域の座標とを結ぶ線分の角度を算出する。
判定部２０７は、比較値算出部２０６が算出した距離が所定の閾値以内であるか否かに基づいて、文字列情報出力部２０４が出力した情報と領域抽出部２０５が出力した情報とが、同一の車両を示すものであるか否かを判定する。判定部２０７は、文字列情報出力部２０４が出力した情報と領域抽出部２０５が出力した情報とが、同一の車両を示すものであると判定した場合、これらを関連付けて候補抽出部２０９に出力する。他方、判定部２０７は、文字列情報出力部２０４が出力した情報のうち領域抽出部２０５が出力した何れの情報とも関連付けられない情報と、領域抽出部２０５が出力した情報のうち文字列情報出力部２０４が出力した何れの情報とも関連付けられない情報とを、候補抽出部２０９にそれぞれ別個に出力する。以下、判定部２０７が出力した情報を、車両情報と呼ぶ。
【００２２】
図２は、判定部２０７が出力する車両情報のデータ構成を示す図である。
車両情報は、文字列、車種、評価値、フレームＩＤ、及び車両位置座標を要素に持つ情報である。ここで、評価値とは、文字列の認識尤度または特徴領域の特徴量評価値を示すものである。評価値には、文字列認識部２０２によって認識された文字列が存在する場合に、当該文字列の認識尤度が適用され、文字列認識部２０２によって認識された文字列が存在しない場合に、特徴領域の特徴量評価値が適用される。
【００２３】
図３は、記憶部２０８が記憶するテーブルの情報を示す図である。
記憶部２０８は、車両ＩＤ、文字列、車種、最大評価値、最大評価値のフレームＩＤ、車両ベクトルの始点のフレームＩＤ及び座標（始点座標）、車両ベクトルの終点のフレームＩＤ及び座標（終点座標）、並びに車両ベクトルの角度を、それぞれ関連付けたテーブルを記憶する。
ここで、車両ＩＤとは、記憶部２０８が記憶する情報を識別するＩＤである。また、最大評価値とは、現在のフレームまでにおける文字列の認識尤度または特徴量評価値の最大値を示す。車両ベクトルとは、異なるフレームＩＤの画像情報間における車両の移動を示すベクトルである。なお、車両ベクトルの終点は、車両情報が抽出された最後のフレームにおける当該車両情報の座標であり、車両ベクトルの始点は、終点の座標より前のフレームにおける車両情報の座標である。
【００２４】
候補抽出部２０９は、判定部２０７が出力する車両情報の中から記憶部２０８が記憶する情報の更新候補となる車両情報を抽出する。具体的には、文字列を含む車両情報である場合、当該文字列が記憶部２０８に記憶されたある文字列（更新対象文字列）に類似するものを更新候補として抽出する。また、文字列を含まない車両情報、または記憶部２０８に記憶された何れの文字列にも類似しない文字列を含む車両情報である場合、更新対象文字列の始点座標と終点座標とを結ぶベクトルと、更新対象文字列の終点座標と当該車両情報の座標とを結ぶベクトルとがなす角が所定の角度以下となる車両情報を、更新候補として抽出する。
【００２５】
記録部２１０は、判定部２０７が出力した車両情報のうち候補抽出部２０９によって更新候補として抽出されなかった車両情報を、新たに記憶部２０８に記録する。
更新部２１１は、候補抽出部２０９が抽出した更新候補の認識尤度が、更新対象文字列の認識尤度より高い場合に、記憶部２０８が記憶する更新対象文字列を候補文字列に書き換える。このとき、更新部２１１は、画像情報のフレームＩＤ、始点座標、終点座標を最新の情報に更新する。
【００２６】
出力部２１２は、記憶部２０８が記憶する車両情報に関連付けられたフレームＩＤと入力部２０１が受け付けた画像情報のフレームＩＤとの差が所定の閾値以上となる場合に、当該フレームＩＤが示す画像情報を出力する。
削除部２１３は、出力部２１２が出力した車両情報を記憶部２０８から削除する。
【００２７】
上記構成を備えることで、車両識別装置２００は、以下の処理を実行することができる。すなわち、文字列認識部２０２は、撮像装置１００が撮像した画像に含まれる文字列を認識する。候補抽出部２０９は、文字列認識部２０２が出力した文字列のうち、文字列認識部２０２が同一の車両から抽出した文字列を記憶する記憶部２０８に記憶された更新対象の文字列に類似する文字列を、当該更新対象の更新候補として抽出する。更新部２１１は、記憶部２０８が記憶する更新対象を更新候補の文字列に書き換える。記録部２１０は、文字列認識部２０２が出力した文字列のうち、更新候補として抽出されなかった文字列を、記憶部２０８に新たに記録する。
これにより、車両識別装置２００は、あるフレームにおいて車両の検出に失敗した場合にも、当該フレームの前と当該フレームの後の同一車両を異なる車両として認識することを防ぐことができる。
【００２８】
次に、本実施形態による車両識別装置２００の動作について説明する。
図４は、本実施形態による車両識別装置２００の動作を示すフローチャートである。
まず、車両識別装置２００の入力部２０１は、撮像装置１００が撮像した画像情報の入力を受け付ける（ステップＳ１）。次に、文字列認識部２０２は、入力部２０１が受け付けた画像情報に対してＯＣＲ処理を実行し、文字列の認識を行う（ステップＳ２）。このとき、文字列認識部２０２は、文字列認識の認識尤度、及び文字列の座標を算出する。
【００２９】
次に、文字列判定部２０７は、文字列認識部２０２が識別した文字列と所定のパターン情報とを比較することで、当該文字列が示すナンバープレートを備える車両の車種を判別する（ステップＳ３）。次に、文字列情報取得部は、文字列認識部２０２が出力する情報と文字列判定部２０７による判定結果を関連付けて比較値算出部２０６及び判定部２０７に出力する。
【００３０】
他方、ステップＳ１で入力部２０１が画像情報の入力を受け付けると、領域抽出部２０５は、ＳＶＭ等を用いて、入力部２０１が受け付けた画像情報から、二輪車の特徴領域、及び一段プレート並びに二段プレートの四輪車の特徴領域をそれぞれ抽出し、当該特徴領域の情報を比較値算出部２０６及び判定部２０７に出力する（ステップＳ４）。このとき、領域抽出部２０５は、抽出した特徴領域のそれぞれに対して、当該特徴領域が二輪車の特徴領域であるか、四輪車の特徴領域であるかを示す種別情報を付与する。
【００３１】
次に、判別部２０７は、１フレームの画像情報から抽出した文字列と特徴領域とフレームＩＤとを関連付けるフレーム内統合処理を実行する（ステップＳ５）。判別部２０７は、フレーム内統合処理を実行することで、同一の車両を示す文字列と特徴領域と当該画像情報のフレームＩＤとを関連付けた情報である車両情報を生成する。なお、判別部２０７は、同一の車両を示す文字列と特徴領域とに基づいて、文字列と特徴領域とフレームＩＤとを含む車両情報を生成する。また、判別部２０７は、対応する特徴領域がない文字列に基づいて、文字列とフレームＩＤとを含む車両情報、すなわち特徴領域を含まない車両情報を生成する。また、判別部２０７は、対応する文字列がない特徴領域に基づいて、特徴領域とフレームＩＤとを含む車両情報、すなわち文字列を含まない車両情報を生成する。
【００３２】
フレーム内統合処理を終了すると、判定部２０７は、車両情報を候補抽出部２０９に出力する。次に、車両識別装置２００は、複数のフレームの画像情報から抽出した車両情報同士を関連付けるフレーム間統合処理を実行する（ステップＳ６）。
図５は、フレーム間統合処理の処理を示す第１のフローチャートである。
まず候補抽出部２０９は、現在のフレームにおいて判定部２０７から受け付けた車両情報が存在するか否かを判定する（ステップＳ６０１）。現在のフレームにおいて判定部２０７から受け付けた車両情報が存在しない場合は（ステップＳ６０１：ＮＯ）、記憶部２０８が記憶する情報に統合する情報がないため、処理を行わずにフレーム間統合処理を終了する。他方、現在のフレームにおいて判定部２０７から受け付けた車両情報が存在する場合（ステップＳ６０１：ＹＥＳ）、候補抽出部２０９は、判定部２０７から出力された全ての車両情報のそれぞれについて、以下に示すステップＳ６０３〜ステップＳ６１６の処理を実行する（ステップＳ６０２）。
【００３３】
まず、候補抽出部２０９は、ステップＳ６０２で選択した車両情報に、文字列認識部２０２によって認識された文字列が存在するか否かを判定する（ステップＳ６０３）。車両情報に文字列が存在する場合（ステップＳ６０３：ＹＥＳ）、候補抽出部２０９は、当該車両情報に含まれる文字列の座標を、車両の位置を示す座標である車両位置座標とする（ステップＳ６０４）。次に、候補抽出部２０９は、記憶部２０８が記憶するテーブルのレコードのそれぞれについて、以下に示すステップＳ６０６〜ステップＳ６１２の処理を実行する（ステップＳ６０５）。
【００３４】
まず、候補抽出部２０９は、ステップＳ６０２で選択した車両情報が示す車両とステップＳ６０５で選択したレコードが示す車両とが同一の車両であるか否かを判別する別車判定処理を実行する（ステップＳ６０７）。
図６は、別車判定処理の処理を示すフローチャートである。
候補抽出部２０９は、まずステップＳ６０４で特定した車両位置座標が、ステップＳ６０５で選択したレコードの車両ベクトルの終点座標に対して前方にあるか否かを判定する（ステップＳ９０１）。
【００３５】
車両位置座標が前方にある場合（ステップＳ９０１：ＹＥＳ）、候補抽出部２０９は、次にステップＳ６０２で選択した車両情報が示す車両のナンバープレート文字の色がステップＳ６０５で選択したレコードが示す車両のナンバープレート文字の色と一致するか否かを判定する（ステップＳ９０２）。なお、ステップＳ９０２では、色が完全に一致している場合に限られず、多少の誤差が有った場合にも一致していると判定する。例えば、色相や明度、彩度の差が全て所定の閾値未満である場合に色が一致していると判定する。
【００３６】
ナンバープレート文字の色が一致する場合（ステップＳ９０２：ＹＥＳ）、候補抽出部２０９は、次にステップＳ６０２で選択した車両情報が示す車両のナンバープレートの段数がステップＳ６０５で選択したレコードが示す車両のナンバープレートの段数と一致するか否かを判定する（ステップＳ９０３）。
【００３７】
ナンバープレートの段数が一致する場合（ステップＳ９０３：ＹＥＳ）、候補抽出部２０９は、次にステップＳ６０２で選択した車両情報が示す車両の検出時刻が、ステップＳ６０５で選択したレコードが示す車両の前回の検出時刻から一定時間内であるか否かを判定する（ステップＳ９０４）。今回の車両検出が前回の車両検出から一定時間内であるか否かの判定方法としては、例えばステップＳ６０２で選択した車両情報のフレームＩＤとステップＳ６０５で選択したレコードの終点ベクトルのフレームＩＤとの差が所定の閾値以内であるか否かを判定する方法が挙げられる。
【００３８】
今回の車両検出が前回の車両検出から一定時間内である場合（ステップＳ９０４：ＹＥＳ）、候補抽出部２０９は、次にステップＳ６０２で選択した車両情報の文字列と、ステップＳ６０５で選択したレコードの文字列との差が所定の閾値（例えば２文字）以下であるか否かを判定する（ステップＳ９０５）。すなわち、候補抽出部２０９は、ステップＳ６０２で選択した車両情報の文字列が、ステップＳ６０５で選択したレコードの文字列と類似しているか否かを判定する。
ここで文字列の差とは、２つの文字列における同じ桁の文字の組のうち、互いに異なる組の個数のことを示す。例えば、車両情報の文字列が「ＳＢＤ５６５５＃」であり、レコードの文字列が「Ｓ＃Ｄ５６５５Ｃ」であった場合（ここで、「＃」は判別できなかった文字を示す）、同じ桁における異なる文字の組は、２桁目と８桁目であるため、文字列の差は「２」である。
また、２つの文字列の桁数が異なる場合は、桁数の小さい方の文字列をずらして、それぞれに対して文字列の差を判定し、差が小さいものを採用する。例えば、車両情報の文字列が「ＳＢＤ５６５５＃」であり、レコードの文字列が「ＢＤ５６５５Ｃ」であった場合、「ＳＢＤ５６５５＃」に対して、桁数の小さい文字列である「ＢＤ５６５５Ｃ」を前にずらした「ＢＤ５６５５Ｃ＃」と後ろにずらした「＃ＢＤ５６５５Ｃ」とのそれぞれと比較を行う。この場合、「ＳＢＤ５６５５＃」と「ＢＤ５６５５Ｃ＃」との差が７であり、「ＳＢＤ５６５５＃」と「＃ＢＤ５６５５Ｃ」との差が２であることから、「ＳＢＤ５６５５＃」と「ＢＤ５６５５Ｃ」との差は２となる。
【００３９】
ステップＳ９０５で文字列の差が所定の閾値以内であると判定された場合（ステップＳ９０６）、候補抽出部２０９は、ステップＳ６０２で選択した車両情報が示す車両とステップＳ６０５で選択したレコードが示す車両とが同一の車両であると判定し（ステップＳ９０６）、別車判定処理を終了する。
【００４０】
他方、車両位置座標が前方にないと判定された場合（ステップＳ９０１：ＮＯ）、ナンバープレート文字の色が異なると判定された場合（ステップＳ９０２：ＮＯ）、ナンバープレートの段数が異なると判定された場合（ステップＳ９０３：ＮＯ）、前回の車両検出から一定時間以上経過していると判定された場合（ステップＳ９０４：ＮＯ）、または文字列の差が所定の閾値を超えていると判定された場合（ステップＳ９０５：ＮＯ）、候補抽出部２０９は、ステップＳ６０２で選択した車両情報が示す車両とステップＳ６０５で選択したレコードが示す車両とが異なる車両であると判定し（ステップＳ９０７）、別車判定処理を終了する。
【００４１】
図５に戻り、ステップＳ６０６による別車判定処理を終了すると、候補抽出部２０９は、別車判定処理においてステップＳ６０２で選択した車両情報が示す車両とステップＳ６０５で選択したレコードが示す車両とが同一の車両であると判定したか否かを判定する（ステップＳ６０７）。候補抽出部２０９が、ステップＳ９０７で異なる車両であると判定した場合（ステップＳ６０７：ＮＯ）、ステップＳ６０５に戻り、記憶部２０８が記憶する他のレコードの選択を行う。
【００４２】
他方、候補抽出部２０９は、ステップＳ９０６で同一の車両であると判定した場合（ステップＳ６０７：ＹＥＳ）、ステップＳ６０２で選択した車両情報を、ステップＳ６０５で選択したレコードを更新対象とする更新候補として抽出し、当該車両情報とレコードの車両ＩＤとを更新部２１１に出力する（ステップＳ６０８）。
【００４３】
更新部２１１は、更新対象のレコードの車両ＩＤに関連付けられたレコードを記憶部２０８から読み出し、当該レコードにおける車両ベクトルの始点のフレームＩＤ及び座標を、当該車両ベクトルの終点のフレームＩＤ及び座標に書き換える。また、更新部２１１は、当該レコードにおける車両ベクトルの終点のフレームＩＤ及び座標を、更新候補の車両情報のフレームＩＤ及び座標に書き換える（ステップＳ６０９）。次に、更新部２１１は、ステップＳ６０９で書き換えたレコードにおける車両ベクトルの始点及び終点の座標から当該車両ベクトルの角度を算出し、当該レコードにおける車両ベクトルの角度を書き換える（ステップＳ６１０）。
【００４４】
次に、更新部２１１は、更新候補の車両情報の文字列認識尤度が、更新対象のレコードの文字列認識尤度以上であるか否かを判定する（ステップＳ６１１）。更新部２１１は、更新候補の車両情報の文字列認識尤度が、更新対象のレコードの文字列認識尤度以上であると判定した場合（ステップＳ６１１：ＹＥＳ）、更新対象のレコードにおける文字列認識尤度及び最大評価値のフレームＩＤを、更新候補の車両情報の文字列認識尤度及びフレームＩＤに書き換え（ステップＳ６１２）、ステップＳ６０５に戻り、記憶部２０８が記憶する他のレコードの選択を行う。
【００４５】
他方、更新部２１１は、更新候補の車両情報の文字列認識尤度が、更新対象のレコードの文字列認識尤度未満であると判定した場合（ステップＳ６１１：ＮＯ）、文字列及び文字列認識尤度の更新を行わずに、ステップＳ６０５に戻り、記憶部２０８が記憶する他のレコードの選択を行う。
【００４６】
記憶部２０８が記憶する全てのレコードに対して上記ステップＳ６０６〜ステップＳ６１２の処理を実行すると、ステップＳ６０２に戻り、現在フレームの他の車両情報の選択を行う。
【００４７】
また、候補抽出部２０９は、ステップＳ６０３において車両情報に文字列が存在しないと判定した場合（ステップＳ６０３：ＮＯ）、当該車両情報の車種が二輪であるか否かを判定する（ステップＳ６１３）。候補抽出部２０９は、車両情報の車種が二輪であると判定した場合（ステップＳ６１３：ＹＥＳ）、車両情報に含まれる特徴領域の座標からナンバープレートの座標を推定する（ステップＳ６１４）。
【００４８】
図７は、ナンバープレートの座標を推定する方法を示す図である。
候補抽出部２０９は図７に示すように、特徴領域の座標から距離ｄｂｉｋｅ、角度１８０°＋θｂｉｋｅとなる点を、ナンバープレートの座標と推定する。ここで、距離ｄｂｉｋｅは、ステップＳ５１３で用いた、画像に写ったときの二輪プレートと特徴部分との標準的な距離である。また、角度θｂｉｋｅは、ステップＳ５１６で用いた、画像に写ったときの二輪プレートと特徴部分とを結ぶ線分のレーン毎の標準的な角度である。
候補抽出部２０９は、ステップＳ６１４でナンバープレートの座標を推定すると、当該推定した座標を車両位置座標として（ステップＳ６１５）、ステップＳ６０２に戻り、現在フレームの他の車両情報の選択を行う。
【００４９】
また、候補抽出部２０９は、ステップＳ６１３において、車両情報の車種が二輪でないと判定した場合（ステップＳ６１３：ＮＯ）、当該車両情報に含まれる特徴領域の座標を車両位置座標として（ステップＳ６１６）、ステップＳ６０２に戻り、現在フレームの他の車両情報の選択を行う。
【００５０】
図８は、フレーム間統合処理の処理を示す第２のフローチャートである。
判定部２０７が出力した全ての車両情報に対して上記ステップＳ６０３〜ステップＳ６１６の処理を実行すると、候補抽出部２０９は、判定部２０７が出力した全ての車両情報がステップＳ６０８において更新候補となったか否かを判定する（ステップＳ６１７）。全ての車両情報が更新候補になった場合は（ステップＳ６１７：ＹＥＳ）、これ以上統合する情報がないため、処理を行わずにフレーム間統合処理を終了する。
【００５１】
他方、更新候補として抽出されなかった車両情報が存在する場合（ステップＳ６１７：ＮＯ）、候補抽出部２０９は、記憶部２０８が記憶するレコードのそれぞれについて、以下に示すステップＳ６１９〜ステップＳ６３１の処理を実行する（ステップＳ６１８）。
【００５２】
まず、候補抽出部２０９は、ステップＳ６１８で選択されたレコードの車両ベクトルの終点座標を始点とし、ステップＳ６０８において更新候補として抽出されなかった車両情報の車両位置座標を終点とする未関連車両ベクトルの角度を算出する（ステップＳ６１９）。次に、候補抽出部２０９は、ステップＳ６１９で選択した未関連車両ベクトルの始点となったレコードに、車両ベクトルの角度θｍＸｎＹが存在するか否かを判定する（ステップＳ６２０）。ここで、車両ベクトルの角度θｍＸｎＹが存在しない場合とは、前回の処理において新たに記録されたために車両ベクトルの始点が存在しない場合である。
【００５３】
車両ベクトルに角度が存在する場合（ステップＳ６２０：ＹＥＳ）、候補抽出部２０９は、ステップＳ６１９で算出した未関連車両ベクトルの中に、角度が所定の角度θｍＸｎＹ−δｖｅｈ以上であるものが存在するか否かを判定する（ステップＳ６２１）。ここで、δｖｅｈとは、車両の操舵により前回の進行方向に対して１フレームの間に変化し得る角度である。
【００５４】
ステップＳ６１９で算出した未関連車両ベクトルの中に、角度が所定の角度θｍＸｎＹ−δｖｅｈ以上であるものが存在する場合（ステップＳ６２１：ＹＥＳ）、候補抽出部２０９は、角度がθｍＸｎＹ−δｖｅｈ以上であると判定された未関連車両ベクトルの中に、当該角度が所定の角度θｍＸｎＹ＋δｖｅｈ以下であるものが存在するか否かを判定する（ステップＳ６２２）。なお、ステップＳ６２１、ステップＳ６２２の処理は、ステップＳ６１８で選択したレコードに記憶された車両ベクトルとステップＳ６１９で算出したベクトルとがなす角が、所定の角度δｖｅｈ以下となっているか否かを判定する処理と等価である。
【００５５】
角度がθｍＸｎＹ−δｖｅｈ以上であると判定された未関連車両ベクトルの中に、当該角度がθｍＸｎＹ＋δｖｅｈ以下であるものが存在する場合（ステップＳ６２２：ＹＥＳ）、候補抽出部２０９は、その未関連車両ベクトルのうち、角度が最もθｍＸｎＹに近いものを抽出する。そして、抽出した未関連車両ベクトルの終点を示す車両情報を、ステップＳ６１３で選択したレコードを更新対象とする更新候補として抽出し、当該車両情報とレコードの車両ＩＤとを更新部２１１に出力する（ステップＳ６２３）。
なお、ステップＳ６１９で算出した未関連車両ベクトルの中に、角度が所定の角度θｍＸｎＹ−δｖｅｈ以上であるものが存在しない場合（ステップＳ６２１：ＮＯ）、及びステップＳ６１９で算出した未関連車両ベクトルの中に、角度が所定の角度θｍＸｎＹ＋δｖｅｈ以下であるものが存在しない場合（ステップＳ６２２：ＮＯ）、ステップＳ６１３で選択したレコードが示す車両に相当する車両情報が存在しないため、ステップＳ６１８に戻り、他のレコードを選択する。
【００５６】
他方、ステップＳ６１８で選択したレコードの車両ベクトルに角度が存在しない場合（ステップＳ６２０：ＮＯ）、候補抽出部２０９は、ステップＳ６１９で算出した未関連車両ベクトルの中に、角度が所定の角度θｖｅｈ−δｖｅｈ以上であるものが存在するか否かを判定する（ステップＳ６２１）。ここで、θｖｅｈとは、画像情報における車両の進行方向のレーン毎の標準的な角度である。
【００５７】
ステップＳ６１９で算出した未関連車両ベクトルの中に、角度が所定の角度θｖｅｈ−δｖｅｈ以上であるものが存在する場合（ステップＳ６２４：ＹＥＳ）、候補抽出部２０９は、角度がθｖｅｈ−δｖｅｈ以上であると判定された未関連車両ベクトルの中に、当該角度が所定の角度θｖｅｈ＋δｖｅｈ以下であるものが存在するか否かを判定する（ステップＳ６２５）。
【００５８】
角度がθｖｅｈ−δｖｅｈ以上であると判定された未関連車両ベクトルの中に、当該角度がθｖｅｈ＋δｖｅｈ以下であるものが存在する場合（ステップＳ６２５：ＹＥＳ）、候補抽出部２０９は、その未関連車両ベクトルのうち、角度が最もθｖｅｈに近いものを抽出する。そして、抽出した未関連車両ベクトルの終点を示す車両情報を、ステップＳ６１３で選択したレコードを更新対象とする更新候補として抽出し、当該車両情報とレコードの車両ＩＤとを更新部２１１に出力する（ステップＳ６２６）。
なお、ステップＳ６１９で算出した未関連車両ベクトルの中に、角度が所定の角度θｖｅｈ−δｖｅｈ以上であるものが存在しない場合（ステップＳ６２４：ＮＯ）、及びステップＳ６１９で算出した未関連車両ベクトルの中に、角度が所定の角度θｖｅｈ＋δｖｅｈ以下であるものが存在しない場合（ステップＳ６２５：ＮＯ）、ステップＳ６１３で選択したレコードが示す車両に相当する車両情報が存在しないため、ステップＳ６１８に戻り、他のレコードを選択する。
【００５９】
ステップＳ６２３またはステップＳ６２６で候補抽出部２０９が更新候補の車両情報及び更新対象のレコードの車両ＩＤを出力すると、更新部２１１は、候補抽出部２０９から受け付けた車両ＩＤに関連付けられたレコードを記憶部２０８から読み出し、当該レコードにおける車両ベクトルの始点のフレームＩＤ及び座標を、当該車両ベクトルの終点のフレームＩＤ及び座標に書き換える。また、更新部２１１は、当該レコードにおける車両ベクトルの終点のフレームＩＤ及び座標を、候補抽出部２０９から受け付けた車両情報のフレームＩＤ及び座標に書き換える（ステップＳ６２７）。次に、更新部２１１は、ステップＳ６２７で書き換えたレコードにおける車両ベクトルの始点及び終点の座標から当該車両ベクトルの角度を算出し、当該レコードにおける車両ベクトルの角度を書き換える（ステップＳ６２８）。
【００６０】
次に、更新部２１１は、更新対象のレコードに文字列が含まれるか否かを判定する（ステップＳ６２９）。レコードに文字列が含まれない場合（ステップＳ６２９：ＮＯ）、更新部２１１は、更新候補の車両情報の特徴量評価値が、更新対象のレコードの特徴量評価値以上であるか否かを判定する（ステップＳ６３０）。更新部２１１は、更新候補の車両情報の特徴量評価値が、更新対象のレコードの特徴量評価値以上であると判定した場合（ステップＳ６３０：ＹＥＳ）、更新対象のレコードにおける特徴量評価値及び最大評価値のフレームＩＤを、更新候補の車両情報の特徴量評価値及びフレームＩＤに書き換え（ステップＳ６３１）、ステップＳ６１８に戻り、記憶部２０８が記憶する他のレコードの選択を行う。
【００６１】
他方、更新部２１１は、更新対象のレコードに文字列が含まれる場合（ステップＳ６２９：ＹＥＳ）、または更新候補の車両情報の特徴量評価値が、更新対象のレコードの文字列認識尤度未満であると判定した場合（ステップＳ６３０：ＮＯ）、文字列及び文字列認識尤度の更新を行わずに、ステップＳ６１８に戻り、記憶部２０８が記憶する他のレコードの選択を行う。
【００６２】
図９は、フレーム間統合処理の処理を示す第３のフローチャートである。
記憶部２０８が記憶する全てのレコードに対して上記ステップＳ６１９〜ステップＳ６３１の処理を実行すると、候補抽出部２０９は、判定部２０７が出力した全ての車両情報がステップＳ６０８、ステップＳ６２３、またはステップＳ６２６において更新候補となったか否かを判定する（ステップＳ６３２）。全ての車両情報が更新候補になった場合は（ステップＳ６３２：ＹＥＳ）、これ以上統合する情報がないため、処理を行わずにフレーム間統合処理を終了する。
【００６３】
他方、更新候補として抽出されなかった車両情報が存在する場合（ステップＳ６３２：ＮＯ）、候補抽出部２０９は、更新候補として抽出されなかった車両情報のそれぞれについて、以下に示すステップＳ６３４〜ステップＳ６３６の処理を実行する（ステップＳ６３３）。
【００６４】
まず、候補抽出部２０９は、ステップＳ６３３で選択した車両情報の特徴量評価値が所定の閾値以上であるか否かを判定する（ステップＳ６３４）。特徴量評価値が所定の閾値以上である場合（ステップＳ６３４：ＹＥＳ）、記録部２１０は、当該車両情報を、新規車両として新たに記憶部２０８に記録する（ステップＳ６３５）。他方、特徴量評価値が所定の閾値未満である場合（ステップＳ６３４：ＮＯ）、候補抽出部２０９は、当該車両情報を記録せずに破棄する（ステップＳ６３６）。
更新候補として抽出されなかった全ての車両情報に対して上記ステップＳ６３４〜ステップＳ６３６の処理を実行すると、フレーム間統合処理を終了する。
【００６５】
図４に戻り、ステップＳ６によるフレーム間統合処理を終了すると、出力部２１２は、入力部２０１から現在のフレームＩＤを取得する。次に、出力部２１２は、記憶部２０８が記憶するレコードの中に、車両ベクトルの終点のフレームＩＤと現在のフレームＩＤとの差が所定フレーム以上となるものがあるか否かを判定する（ステップＳ７）。出力部２１２は、記憶部２０８が記憶するレコードの中に、車両ベクトルの終点のフレームＩＤと現在のフレームＩＤとの差が所定フレーム以上となるものがないと判定した場合（ステップＳ７：ＮＯ）、処理を終了する。
【００６６】
他方、出力部２１２は、記憶部２０８が記憶するレコードの中に、車両ベクトルの終点のフレームＩＤと現在のフレームＩＤとの差が所定フレーム以上となるものがあると判定した場合（ステップＳ７：ＹＥＳ）、終点のフレームＩＤと現在のフレームＩＤとの差が所定フレーム以上となるレコードの、最大評価値のフレームＩＤが示すフレームの画像情報を、外部装置に出力する（ステップＳ８）。また、削除部２１３は、出力部２１２が出力したレコードを記憶部２０８から削除し（ステップＳ９）、処理を終了する。
以降、入力部２０１が画像情報を受け付ける度に、ステップＳ１からステップＳ９の処理を実行する。
【００６７】
このように、本実施形態によれば、候補抽出部２０９は、文字列認識部２０２が出力した文字列のうち記憶部２０８が記憶する更新対象の文字列に類似する文字列を、更新候補として抽出し、更新部２１１は、更新対象の文字列を更新候補の文字列に書き換える。ここで、記憶部２０８が記憶する文字列は、文字列認識部２０２が同一の車両から抽出した文字列である。したがって、あるフレームにおいて車両の検出に失敗した場合にも、記憶部２０８には当該フレーム以前の車両の文字列が記憶されている。そのため、車両識別装置２００は、当該フレームの前と当該フレームの後の同一車両を異なる車両として認識することを防ぐことができる。
【００６８】
また、本実施形態では、更新部２１１は、候補抽出部２０９が抽出した更新候補の文字列認識尤度が、更新対象のレコードの文字列認識尤度より高い場合に、記憶部２０８が記憶するレコードの文字列を、更新候補の文字列に書き換える。これにより、記憶部２０８は、最も認識尤度が高い文字列を記憶しておくことができる。
【００６９】
また、本実施形態では、出力部２１２は、記憶部２０８が記憶するレコードにおける車両ベクトルの終点のフレーム番号と、撮像装置１００が今回撮像した画像情報のフレーム番号との差が所定の閾値以上となる場合に、当該フレーム番号が示す画像情報を出力する。これにより、車両識別装置２００は、撮像装置１００の撮像範囲外に出た車両を示す画像情報を出力することができる。
【００７０】
また、本実施形態では、候補抽出部２０９は、文字列認識部２０２が出力した文字列のうち、記憶部２０８が記憶する何れの文字列にも類似せず、かつ記憶部２０８に記憶された更新対象のレコードの車両ベクトルと、更新対象の車両ベクトルの終点座標と、文字列認識部２０２が出力した文字列の座標とを結ぶベクトルとがなす角が、所定の角度δｖｅｈ以下となる文字列を、更新候補として抽出する。これにより、車両識別装置は、文字列の認識に失敗した場合にも、前回までの車両の進行方向に基づいて、記憶部２０８が記憶するレコードを更新することができる。
【００７１】
また、本実施形態では、候補抽出部２０９は、特徴抽出部２０５が抽出した特徴領域のうち、判定部２０７によって文字列情報出力部２０４が出力した文字列との関連付けがなされず、かつ記憶部２０８に記憶された更新対象の車両ベクトルと、当該車両ベクトルの終点座標と当該特徴領域の座標とを結ぶベクトルとがなす角が所定の角度δｖｅｈ以下となる特徴領域を、更新対象の終点座標の更新候補として抽出する。これにより、車両識別装置は、文字列の認識に失敗した場合にも、前回までの車両の進行方向に基づいて、記憶部２０８が記憶するレコードを更新することができる。
【００７２】
以上、図面を参照してこの発明の一実施形態について詳しく説明してきたが、具体的な構成は上述のものに限られることはなく、この発明の要旨を逸脱しない範囲内において様々な設計変更等をすることが可能である。
例えば、本実施形態では、二輪車の特徴部分としてヘルメットを用い、四輪車の特徴部分としてナンバープレートを用いる場合を説明したが、これに限られず、その他の特徴部分を用いても、同様の処理を行うことができる。
【００７３】
また、本実施形態では、四輪車のナンバープレートの種類として一段プレートと二段プレートとがある場合を用いて説明したが、これに限られず、１種類または３種類以上のナンバープレートがある場合にも適用することができる。
【００７４】
上述の車両識別装置２００は内部に、コンピュータシステムを有している。そして、上述した各処理部の動作は、プログラムの形式でコンピュータ読み取り可能な記録媒体に記憶されており、このプログラムをコンピュータが読み出して実行することによって、上記処理が行われる。ここでコンピュータ読み取り可能な記録媒体とは、磁気ディスク、光磁気ディスク、ＣＤ−ＲＯＭ、ＤＶＤ−ＲＯＭ、半導体メモリ等をいう。また、このコンピュータプログラムを通信回線によってコンピュータに配信し、この配信を受けたコンピュータが当該プログラムを実行するようにしても良い。
【００７５】
また、上記プログラムは、前述した機能の一部を実現するためのものであっても良い。さらに、前述した機能をコンピュータシステムにすでに記録されているプログラムとの組み合わせで実現できるもの、いわゆる差分ファイル（差分プログラム）であっても良い。
【符号の説明】
【００７６】
１００…撮像装置 ２００…車両識別装置 ２０１…入力部 ２０２…文字列認識部 ２０３…文字列判別部 ２０４…文字列情報出力部 ２０５…領域抽出部 ２０６…比較値算出部 ２０７…判定部 ２０８…記憶部 ２０９…候補抽出部 ２１０…記録部 ２１１…更新部 ２１２…出力部 ２１３…削除部
【技術分野】
【０００１】
本発明は、車線に設けられた撮像装置が撮像した画像に含まれる車両を識別する車両識別装置、車両識別方法、及びプログラムに関する。
【背景技術】
【０００２】
有料道路における料金収受では、車両固有の登録情報の特定が重要となる。また、違反車両の特定においても、車両固有の登録情報の特定が重要となる。これらの登録情報を特定する方法としては、従来、車載器と路側アンテナの通信により取得する方法や、ＯＣＲなどの画像処理技術をもってナンバープレートを認識し、その登録情報より取得する方法などを用いている。また、画像により車種を判定（例えば４輪車と２輪車の判定）も種々開発されている。
【０００３】
ここで、特許文献１には、画像情報からナンバープレートの候補となる文字列を抽出し、文字列の少なくとも一部を確認し、その結果を用いてフレーム間で車両を関連付ける方法が記載されている。本方法を用いることで、カメラが撮影した複数のフレームにおいて検出される同一の車両をそれぞれ関連付けることができる。
【先行技術文献】
【特許文献】
【０００４】
【特許文献１】特開２００９−４８２２５号公報
【発明の概要】
【発明が解決しようとする課題】
【０００５】
しかしながら、特許文献１に記載の方法を用いた場合、ナンバープレートの文字列の抽出に失敗したフレームが存在する場合、当該フレームの前と当該フレームの後の同一車両を異なる車両として認識してしまうおそれがある。特許文献１によれば、無線通信によってナンバー情報を取得し、当該情報を用いてフレーム間で車両の関連付けを行うこととなるが、車両の関連付けを行うために無線通信装置が必須となってしまうという問題がある。
【課題を解決するための手段】
【０００６】
本発明は上記の課題を解決するためになされたものであり、車線に設けられた撮像装置が撮像した画像に含まれる車両を識別する車両識別装置であって、前記撮像装置が撮像した画像から車両の特徴を示す車両情報を抽出する車両情報抽出部と、前記車両情報抽出部が抽出した車両情報を車両毎に記憶する記憶部と、前記車両情報抽出部が出力した車両情報のうち、前記記憶部に記憶されたある車両情報である更新対象車両情報と同一の車両を示す車両情報を、当該更新対象車両情報の更新候補である候補車両情報として抽出する候補車両情報抽出部と、前記記憶部が記憶する更新対象車両情報を前記候補車両情報に書き換える更新部と、前記車両情報抽出部が出力した文字列のうち、前記候補車両情報として抽出されなかった車両情報を、前記記憶部に新たに記録する記録部とを備えることを特徴とする。
【０００７】
また、本発明においては、前記車両情報は車両に含まれる文字列であって、前記候補車両情報抽出部は、前記車両情報抽出部が出力した車両情報と、前記更新対象車両情報とがそれぞれ類似する文字列である場合に、前記車両情報抽出部が出力した車両情報と前記更新対象車両情報とが同一の車両を示すと判定することが好ましい。
【０００８】
また、本発明においては、前記車両情報抽出部は、前記撮像装置が撮像した画像に含まれる車両情報とともに、当該車両情報が示す文字列の認識尤度を出力するものであり、前記記憶部は、前記車両情報抽出部が抽出した車両情報と当該車両情報の認識尤度とを関連付けて記憶するものであり、前記更新部は、前記候補車両情報抽出部が抽出した候補車両情報の認識尤度が、前記更新対象車両情報の認識尤度より高い場合に、前記記憶部が記憶する更新対象車両情報を前記候補車両情報に書き換えることが好ましい。
【０００９】
また、本発明においては、前記記憶部は、前記車両情報に関連付けて前記撮像装置が撮像した画像のフレーム番号を記憶するものであり、前記更新部は、前記記憶部が記憶する車両情報に加えて前記フレーム番号を更新するものであり、前記記録部は、前記車両情報に加えて前記フレーム番号を前記記憶部に記録するものであり、前記記憶部が記憶する車両情報に関連付けられたフレーム番号と前記撮像装置が今回撮像した画像のフレーム番号との差が所定の閾値以上となる場合に、当該フレーム番号に関連付けられた情報を出力する出力部と、前記出力部が出力した車両情報を前記記憶部から削除する削除部とを備えることが好ましい。
【００１０】
また、本発明においては、前記車両情報抽出部は、前記撮像装置が撮像した画像から車両情報である文字列を認識する際に当該文字列の座標を特定し、前記車両情報と共に前記座標を出力するものであり、前記記憶部は、前記車両情報に関連付けて、当該車両情報が抽出された最後のフレームにおける当該車両情報の座標である終点座標と、前記終点座標より前のフレームにおける前記車両情報の座標である始点座標とを記憶するものであり、前記更新部は、前記記憶部が記憶する車両情報に加えて、前記終点座標及び前記始点座標も更新するものであり、前記記録部は、前記車両情報に加えて、前記終点座標を前記記憶部に記録するものであり、前記候補車両情報抽出部は、前記車両情報抽出部が出力した車両情報のうち、前記記憶部が記憶する何れの車両情報が示す文字列にも類似せず、かつ前記記憶部に記憶されたある車両情報である更新対象車両情報の始点座標と終点座標とを結ぶベクトルと、前記更新対象車両情報の終点座標と当該車両情報の座標とを結ぶベクトルとがなす角が所定の角度以下となる車両情報を、前記更新対象車両情報の更新候補である候補車両情報として抽出することが好ましい。
【００１１】
また、本発明においては、前記撮像装置が撮像した画像から当該画像に含まれる車両の特徴部分を示す特徴領域を抽出する特徴抽出部と、前記車両情報抽出部が認識した車両情報と前記特徴抽出部が抽出した特徴領域とのうち、同一の車両を示すものを相互に関連付ける関連付け部と、前記特徴抽出部が抽出した特徴領域のうち、前記関連付け部によって前記車両情報との関連付けがなされず、かつ前記記憶部に記憶されたある車両情報である更新対象車両情報の始点座標と終点座標とを結ぶベクトルと、前記更新対象車両情報の終点座標と当該特徴領域の座標とを結ぶベクトルとがなす角が所定の角度以下となる特徴領域を、前記更新対象車両情報の終点座標の更新候補である候補領域として抽出する候補領域抽出部とを備え、前記更新部は、前記記憶部が記憶する更新対象車両情報の終点座標を、前記候補領域抽出部によって抽出された候補領域の座標に書き換えることが好ましい。
【００１２】
また、本発明においては、前記車両情報抽出部が出力した車両情報のパターンに基づいて、当該車両情報を有する車両の車種を判別する車両情報判別部を備え、前記特徴抽出部は、前記車両の車種毎に特徴領域を抽出し、前記候補領域抽出部は、前記更新対象車両情報が示す車種と前記特徴抽出部が抽出した特徴領域が示す車種とが一致しない場合、当該特徴領域を候補領域として抽出しないことが好ましい。
【００１３】
また、本発明においては、前記車両情報は、車両の特徴部分を示す特徴領域と当該特徴領域の座標を示す情報であって、前記候補車両情報抽出部は、前記車両情報抽出部が出力した車両情報が示す座標と、前記更新対象車両情報が示す座標とを結ぶベクトルの角度が所定の角度範囲以内である場合に、前記車両情報抽出部が出力した車両情報と前記更新対象車両情報とが同一の車両を示すと判定することが好ましい。
【００１４】
また、本発明は、車線に設けられた撮像装置が撮像した画像に含まれる車両を識別する車両識別装置を用いた車両識別方法であって、車両情報抽出部は、前記撮像装置が撮像した画像から車両の特徴を示す車両情報を抽出し、候補車両情報抽出部は、前記車両情報抽出部が出力した車両情報のうち、前記車両情報抽出部が抽出した車両情報を車両毎に記憶する記憶部に記憶されたある車両情報である更新対象車両情報と同一の車両を示す車両情報を、当該更新対象車両情報の更新候補である候補車両情報として抽出し、更新部は、前記記憶部が記憶する更新対象車両情報を前記候補車両情報に書き換え、記録部は、前記車両情報抽出部が出力した文字列のうち、前記候補車両情報として抽出されなかった車両情報を、前記記憶部に新たに記録することを特徴とする。
【００１５】
また、本発明は、車線に設けられた撮像装置が撮像した画像に含まれる車両を識別する車両識別装置を、前記撮像装置が撮像した画像から車両の特徴を示す車両情報を抽出する車両情報抽出部、前記車両情報抽出部が出力した車両情報のうち、前記車両情報抽出部が抽出した車両情報を車両毎に記憶する記憶部に記憶されたある車両情報である更新対象車両情報と同一の車両を示す車両情報を、当該更新対象車両情報の更新候補である候補車両情報として抽出する候補車両情報抽出部、前記記憶部が記憶する更新対象車両情報を前記候補車両情報に書き換える更新部、前記車両情報抽出部が出力した文字列のうち、前記候補車両情報として抽出されなかった車両情報を、前記記憶部に新たに記録する記録部として機能させるためのプログラムである。
【発明の効果】
【００１６】
本発明によれば、候補文字列抽出部は、文字列認識部が出力した文字列のうち記憶部が記憶する更新対象文字列に類似する文字列を、候補文字列として抽出し、更新部は、更新対象文字列を候補文字列に書き換える。ここで、記憶部が記憶する文字列は、文字列認識部が同一の車両から抽出した文字列である。したがって、あるフレームにおいて車両の検出に失敗した場合にも、記憶部には当該フレーム以前の車両の文字列が記憶されているため、当該フレームの前と当該フレームの後の同一車両を異なる車両として認識することを防ぐことができる。
【図面の簡単な説明】
【００１７】
【図１】本発明の一実施形態による車両識別装置の構成を示す概略ブロック図である。
【図２】判定部が出力する車両情報のデータ構成を示す図である。
【図３】記憶部が記憶するテーブルの情報を示す図である。
【図４】本実施形態による車両識別装置の動作を示すフローチャートである。
【図５】フレーム間統合処理の処理を示す第１のフローチャートである。
【図６】別車判定処理の処理を示すフローチャートである。
【図７】ナンバープレートの座標を推定する方法を示す図である。
【図８】フレーム間統合処理の処理を示す第２のフローチャートである。
【図９】フレーム間統合処理の処理を示す第３のフローチャートである。
【発明を実施するための形態】
【００１８】
以下、図面を参照しながら本発明の実施形態について詳しく説明する。
図１は、本発明の一実施形態による車両識別装置２００の構成を示す概略ブロック図である。
車両識別装置２００は、撮像装置１００が撮像する画像情報の入力を順次受け付け、当該画像情報から車両のナンバープレート情報を抽出して出力する装置であり、入力部２０１、文字列認識部２０２（車両情報抽出部）、文字列判別部２０３（車両情報判別部）、文字列情報出力部２０４、領域抽出部２０５（車両情報抽出部）、比較値算出部２０６、判定部２０７（関連付け部）、記憶部２０８、候補抽出部２０９（候補車両情報抽出部、候補領域抽出部）、記録部２１０、更新部２１１、出力部２１２、削除部２１３を備える。
【００１９】
入力部２０１は、撮像装置１００から画像情報の入力を受け付ける。なお、撮像装置１００は所定のフレーム間隔で連続して撮像を行っており、画像情報には、撮像開始時から昇順に割り振られるフレームＩＤが含まれる。
文字列認識部２０２は、入力部２０１が受け付けた画像情報に対してＯＣＲ処理を実行することで文字列の認識を行い、認識した文字列、当該文字列の座標、及び当該文字列の認識尤度を、文字列判別部２０３及び文字列情報出力部２０４に出力する。
文字列判別部２０３は、文字列認識部２０２から入力された文字列と所定のパターン情報とを比較することで、当該文字列が示すナンバープレートを備える車両の車種を判別する。車種としては、二輪車、一段プレートの四輪車、二段プレートの四輪車が挙げられる。ここで、一段プレートの四輪車とは、一段構えに表示されるナンバープレートが設置された四輪車である。同様に、二段プレートの四輪車とは、二段構えに表示されるナンバープレートが設置された四輪車である。
文字列情報出力部２０４は、文字列認識部２０２の出力と文字列判別部２０３による判別結果とを関連付け、認識した文字列、当該文字列の座標、当該文字列の認識尤度、及び車種を、比較値算出部２０６及び判定部２０７に出力する。
【００２０】
領域抽出部２０５は、入力部２０１が受け付けた画像情報から二輪車の特徴部分に類似する領域と四輪車の特徴部分に類似する領域とを抽出する。本実施形態では、二輪車の特徴部分として運転者の頭から肩にかけての領域、すなわち運転者のヘルメットを用いる。また、四輪車の特徴部分として四輪車のナンバープレート（一段プレート、二段プレート）を用いる。
二輪車の特徴部分としてナンバープレートでなくヘルメットを用いる理由は、二輪車のナンバープレートは設置の自由度が高く、画像に写る角度が様々であることから、ナンバープレートよりヘルメットの方がより高い精度で抽出することができるためである。特徴部分の抽出は、予め特徴部分の特徴量について機械学習を行った判別プログラムに画像情報のある領域を入力し、入力した領域の特徴量と特徴部分の特徴量との類似度が高いものを抽出することで行う。特徴量としては、例えばＨＯＧ（Ｈｉｓｔｏｇｒａｍｓ ｏｆ Ｏｒｉｅｎｔｅｄ Ｇｒａｄｉｅｎｔｓ）を用い、判別プログラムとしては、例えばＳＶＭ（Ｓｕｐｐｏｒｔ Ｖｅｃｔｏｒ Ｍａｃｈｉｎｅ）を用いることができる。
領域抽出部２０５は、特徴部分に類似する領域を抽出すると、検知領域座標（左上及び右下の座標）、特徴量評価値（類似度）、及び車種（二輪車、四輪一段、又は四輪二段）を含む領域情報を出力する。
【００２１】
比較値算出部２０６は、文字列情報出力部２０４の出力と領域抽出部２０５の出力とに基づいて、同一の車種に関連付けられた文字列の座標と特徴領域の座標との間の距離をそれぞれ算出する。また、比較値算出部２０６は、車種が二輪車を示す場合、文字列の座標と特徴領域の座標とを結ぶ線分の角度を算出する。
判定部２０７は、比較値算出部２０６が算出した距離が所定の閾値以内であるか否かに基づいて、文字列情報出力部２０４が出力した情報と領域抽出部２０５が出力した情報とが、同一の車両を示すものであるか否かを判定する。判定部２０７は、文字列情報出力部２０４が出力した情報と領域抽出部２０５が出力した情報とが、同一の車両を示すものであると判定した場合、これらを関連付けて候補抽出部２０９に出力する。他方、判定部２０７は、文字列情報出力部２０４が出力した情報のうち領域抽出部２０５が出力した何れの情報とも関連付けられない情報と、領域抽出部２０５が出力した情報のうち文字列情報出力部２０４が出力した何れの情報とも関連付けられない情報とを、候補抽出部２０９にそれぞれ別個に出力する。以下、判定部２０７が出力した情報を、車両情報と呼ぶ。
【００２２】
図２は、判定部２０７が出力する車両情報のデータ構成を示す図である。
車両情報は、文字列、車種、評価値、フレームＩＤ、及び車両位置座標を要素に持つ情報である。ここで、評価値とは、文字列の認識尤度または特徴領域の特徴量評価値を示すものである。評価値には、文字列認識部２０２によって認識された文字列が存在する場合に、当該文字列の認識尤度が適用され、文字列認識部２０２によって認識された文字列が存在しない場合に、特徴領域の特徴量評価値が適用される。
【００２３】
図３は、記憶部２０８が記憶するテーブルの情報を示す図である。
記憶部２０８は、車両ＩＤ、文字列、車種、最大評価値、最大評価値のフレームＩＤ、車両ベクトルの始点のフレームＩＤ及び座標（始点座標）、車両ベクトルの終点のフレームＩＤ及び座標（終点座標）、並びに車両ベクトルの角度を、それぞれ関連付けたテーブルを記憶する。
ここで、車両ＩＤとは、記憶部２０８が記憶する情報を識別するＩＤである。また、最大評価値とは、現在のフレームまでにおける文字列の認識尤度または特徴量評価値の最大値を示す。車両ベクトルとは、異なるフレームＩＤの画像情報間における車両の移動を示すベクトルである。なお、車両ベクトルの終点は、車両情報が抽出された最後のフレームにおける当該車両情報の座標であり、車両ベクトルの始点は、終点の座標より前のフレームにおける車両情報の座標である。
【００２４】
候補抽出部２０９は、判定部２０７が出力する車両情報の中から記憶部２０８が記憶する情報の更新候補となる車両情報を抽出する。具体的には、文字列を含む車両情報である場合、当該文字列が記憶部２０８に記憶されたある文字列（更新対象文字列）に類似するものを更新候補として抽出する。また、文字列を含まない車両情報、または記憶部２０８に記憶された何れの文字列にも類似しない文字列を含む車両情報である場合、更新対象文字列の始点座標と終点座標とを結ぶベクトルと、更新対象文字列の終点座標と当該車両情報の座標とを結ぶベクトルとがなす角が所定の角度以下となる車両情報を、更新候補として抽出する。
【００２５】
記録部２１０は、判定部２０７が出力した車両情報のうち候補抽出部２０９によって更新候補として抽出されなかった車両情報を、新たに記憶部２０８に記録する。
更新部２１１は、候補抽出部２０９が抽出した更新候補の認識尤度が、更新対象文字列の認識尤度より高い場合に、記憶部２０８が記憶する更新対象文字列を候補文字列に書き換える。このとき、更新部２１１は、画像情報のフレームＩＤ、始点座標、終点座標を最新の情報に更新する。
【００２６】
出力部２１２は、記憶部２０８が記憶する車両情報に関連付けられたフレームＩＤと入力部２０１が受け付けた画像情報のフレームＩＤとの差が所定の閾値以上となる場合に、当該フレームＩＤが示す画像情報を出力する。
削除部２１３は、出力部２１２が出力した車両情報を記憶部２０８から削除する。
【００２７】
上記構成を備えることで、車両識別装置２００は、以下の処理を実行することができる。すなわち、文字列認識部２０２は、撮像装置１００が撮像した画像に含まれる文字列を認識する。候補抽出部２０９は、文字列認識部２０２が出力した文字列のうち、文字列認識部２０２が同一の車両から抽出した文字列を記憶する記憶部２０８に記憶された更新対象の文字列に類似する文字列を、当該更新対象の更新候補として抽出する。更新部２１１は、記憶部２０８が記憶する更新対象を更新候補の文字列に書き換える。記録部２１０は、文字列認識部２０２が出力した文字列のうち、更新候補として抽出されなかった文字列を、記憶部２０８に新たに記録する。
これにより、車両識別装置２００は、あるフレームにおいて車両の検出に失敗した場合にも、当該フレームの前と当該フレームの後の同一車両を異なる車両として認識することを防ぐことができる。
【００２８】
次に、本実施形態による車両識別装置２００の動作について説明する。
図４は、本実施形態による車両識別装置２００の動作を示すフローチャートである。
まず、車両識別装置２００の入力部２０１は、撮像装置１００が撮像した画像情報の入力を受け付ける（ステップＳ１）。次に、文字列認識部２０２は、入力部２０１が受け付けた画像情報に対してＯＣＲ処理を実行し、文字列の認識を行う（ステップＳ２）。このとき、文字列認識部２０２は、文字列認識の認識尤度、及び文字列の座標を算出する。
【００２９】
次に、文字列判定部２０７は、文字列認識部２０２が識別した文字列と所定のパターン情報とを比較することで、当該文字列が示すナンバープレートを備える車両の車種を判別する（ステップＳ３）。次に、文字列情報取得部は、文字列認識部２０２が出力する情報と文字列判定部２０７による判定結果を関連付けて比較値算出部２０６及び判定部２０７に出力する。
【００３０】
他方、ステップＳ１で入力部２０１が画像情報の入力を受け付けると、領域抽出部２０５は、ＳＶＭ等を用いて、入力部２０１が受け付けた画像情報から、二輪車の特徴領域、及び一段プレート並びに二段プレートの四輪車の特徴領域をそれぞれ抽出し、当該特徴領域の情報を比較値算出部２０６及び判定部２０７に出力する（ステップＳ４）。このとき、領域抽出部２０５は、抽出した特徴領域のそれぞれに対して、当該特徴領域が二輪車の特徴領域であるか、四輪車の特徴領域であるかを示す種別情報を付与する。
【００３１】
次に、判別部２０７は、１フレームの画像情報から抽出した文字列と特徴領域とフレームＩＤとを関連付けるフレーム内統合処理を実行する（ステップＳ５）。判別部２０７は、フレーム内統合処理を実行することで、同一の車両を示す文字列と特徴領域と当該画像情報のフレームＩＤとを関連付けた情報である車両情報を生成する。なお、判別部２０７は、同一の車両を示す文字列と特徴領域とに基づいて、文字列と特徴領域とフレームＩＤとを含む車両情報を生成する。また、判別部２０７は、対応する特徴領域がない文字列に基づいて、文字列とフレームＩＤとを含む車両情報、すなわち特徴領域を含まない車両情報を生成する。また、判別部２０７は、対応する文字列がない特徴領域に基づいて、特徴領域とフレームＩＤとを含む車両情報、すなわち文字列を含まない車両情報を生成する。
【００３２】
フレーム内統合処理を終了すると、判定部２０７は、車両情報を候補抽出部２０９に出力する。次に、車両識別装置２００は、複数のフレームの画像情報から抽出した車両情報同士を関連付けるフレーム間統合処理を実行する（ステップＳ６）。
図５は、フレーム間統合処理の処理を示す第１のフローチャートである。
まず候補抽出部２０９は、現在のフレームにおいて判定部２０７から受け付けた車両情報が存在するか否かを判定する（ステップＳ６０１）。現在のフレームにおいて判定部２０７から受け付けた車両情報が存在しない場合は（ステップＳ６０１：ＮＯ）、記憶部２０８が記憶する情報に統合する情報がないため、処理を行わずにフレーム間統合処理を終了する。他方、現在のフレームにおいて判定部２０７から受け付けた車両情報が存在する場合（ステップＳ６０１：ＹＥＳ）、候補抽出部２０９は、判定部２０７から出力された全ての車両情報のそれぞれについて、以下に示すステップＳ６０３〜ステップＳ６１６の処理を実行する（ステップＳ６０２）。
【００３３】
まず、候補抽出部２０９は、ステップＳ６０２で選択した車両情報に、文字列認識部２０２によって認識された文字列が存在するか否かを判定する（ステップＳ６０３）。車両情報に文字列が存在する場合（ステップＳ６０３：ＹＥＳ）、候補抽出部２０９は、当該車両情報に含まれる文字列の座標を、車両の位置を示す座標である車両位置座標とする（ステップＳ６０４）。次に、候補抽出部２０９は、記憶部２０８が記憶するテーブルのレコードのそれぞれについて、以下に示すステップＳ６０６〜ステップＳ６１２の処理を実行する（ステップＳ６０５）。
【００３４】
まず、候補抽出部２０９は、ステップＳ６０２で選択した車両情報が示す車両とステップＳ６０５で選択したレコードが示す車両とが同一の車両であるか否かを判別する別車判定処理を実行する（ステップＳ６０７）。
図６は、別車判定処理の処理を示すフローチャートである。
候補抽出部２０９は、まずステップＳ６０４で特定した車両位置座標が、ステップＳ６０５で選択したレコードの車両ベクトルの終点座標に対して前方にあるか否かを判定する（ステップＳ９０１）。
【００３５】
車両位置座標が前方にある場合（ステップＳ９０１：ＹＥＳ）、候補抽出部２０９は、次にステップＳ６０２で選択した車両情報が示す車両のナンバープレート文字の色がステップＳ６０５で選択したレコードが示す車両のナンバープレート文字の色と一致するか否かを判定する（ステップＳ９０２）。なお、ステップＳ９０２では、色が完全に一致している場合に限られず、多少の誤差が有った場合にも一致していると判定する。例えば、色相や明度、彩度の差が全て所定の閾値未満である場合に色が一致していると判定する。
【００３６】
ナンバープレート文字の色が一致する場合（ステップＳ９０２：ＹＥＳ）、候補抽出部２０９は、次にステップＳ６０２で選択した車両情報が示す車両のナンバープレートの段数がステップＳ６０５で選択したレコードが示す車両のナンバープレートの段数と一致するか否かを判定する（ステップＳ９０３）。
【００３７】
ナンバープレートの段数が一致する場合（ステップＳ９０３：ＹＥＳ）、候補抽出部２０９は、次にステップＳ６０２で選択した車両情報が示す車両の検出時刻が、ステップＳ６０５で選択したレコードが示す車両の前回の検出時刻から一定時間内であるか否かを判定する（ステップＳ９０４）。今回の車両検出が前回の車両検出から一定時間内であるか否かの判定方法としては、例えばステップＳ６０２で選択した車両情報のフレームＩＤとステップＳ６０５で選択したレコードの終点ベクトルのフレームＩＤとの差が所定の閾値以内であるか否かを判定する方法が挙げられる。
【００３８】
今回の車両検出が前回の車両検出から一定時間内である場合（ステップＳ９０４：ＹＥＳ）、候補抽出部２０９は、次にステップＳ６０２で選択した車両情報の文字列と、ステップＳ６０５で選択したレコードの文字列との差が所定の閾値（例えば２文字）以下であるか否かを判定する（ステップＳ９０５）。すなわち、候補抽出部２０９は、ステップＳ６０２で選択した車両情報の文字列が、ステップＳ６０５で選択したレコードの文字列と類似しているか否かを判定する。
ここで文字列の差とは、２つの文字列における同じ桁の文字の組のうち、互いに異なる組の個数のことを示す。例えば、車両情報の文字列が「ＳＢＤ５６５５＃」であり、レコードの文字列が「Ｓ＃Ｄ５６５５Ｃ」であった場合（ここで、「＃」は判別できなかった文字を示す）、同じ桁における異なる文字の組は、２桁目と８桁目であるため、文字列の差は「２」である。
また、２つの文字列の桁数が異なる場合は、桁数の小さい方の文字列をずらして、それぞれに対して文字列の差を判定し、差が小さいものを採用する。例えば、車両情報の文字列が「ＳＢＤ５６５５＃」であり、レコードの文字列が「ＢＤ５６５５Ｃ」であった場合、「ＳＢＤ５６５５＃」に対して、桁数の小さい文字列である「ＢＤ５６５５Ｃ」を前にずらした「ＢＤ５６５５Ｃ＃」と後ろにずらした「＃ＢＤ５６５５Ｃ」とのそれぞれと比較を行う。この場合、「ＳＢＤ５６５５＃」と「ＢＤ５６５５Ｃ＃」との差が７であり、「ＳＢＤ５６５５＃」と「＃ＢＤ５６５５Ｃ」との差が２であることから、「ＳＢＤ５６５５＃」と「ＢＤ５６５５Ｃ」との差は２となる。
【００３９】
ステップＳ９０５で文字列の差が所定の閾値以内であると判定された場合（ステップＳ９０６）、候補抽出部２０９は、ステップＳ６０２で選択した車両情報が示す車両とステップＳ６０５で選択したレコードが示す車両とが同一の車両であると判定し（ステップＳ９０６）、別車判定処理を終了する。
【００４０】
他方、車両位置座標が前方にないと判定された場合（ステップＳ９０１：ＮＯ）、ナンバープレート文字の色が異なると判定された場合（ステップＳ９０２：ＮＯ）、ナンバープレートの段数が異なると判定された場合（ステップＳ９０３：ＮＯ）、前回の車両検出から一定時間以上経過していると判定された場合（ステップＳ９０４：ＮＯ）、または文字列の差が所定の閾値を超えていると判定された場合（ステップＳ９０５：ＮＯ）、候補抽出部２０９は、ステップＳ６０２で選択した車両情報が示す車両とステップＳ６０５で選択したレコードが示す車両とが異なる車両であると判定し（ステップＳ９０７）、別車判定処理を終了する。
【００４１】
図５に戻り、ステップＳ６０６による別車判定処理を終了すると、候補抽出部２０９は、別車判定処理においてステップＳ６０２で選択した車両情報が示す車両とステップＳ６０５で選択したレコードが示す車両とが同一の車両であると判定したか否かを判定する（ステップＳ６０７）。候補抽出部２０９が、ステップＳ９０７で異なる車両であると判定した場合（ステップＳ６０７：ＮＯ）、ステップＳ６０５に戻り、記憶部２０８が記憶する他のレコードの選択を行う。
【００４２】
他方、候補抽出部２０９は、ステップＳ９０６で同一の車両であると判定した場合（ステップＳ６０７：ＹＥＳ）、ステップＳ６０２で選択した車両情報を、ステップＳ６０５で選択したレコードを更新対象とする更新候補として抽出し、当該車両情報とレコードの車両ＩＤとを更新部２１１に出力する（ステップＳ６０８）。
【００４３】
更新部２１１は、更新対象のレコードの車両ＩＤに関連付けられたレコードを記憶部２０８から読み出し、当該レコードにおける車両ベクトルの始点のフレームＩＤ及び座標を、当該車両ベクトルの終点のフレームＩＤ及び座標に書き換える。また、更新部２１１は、当該レコードにおける車両ベクトルの終点のフレームＩＤ及び座標を、更新候補の車両情報のフレームＩＤ及び座標に書き換える（ステップＳ６０９）。次に、更新部２１１は、ステップＳ６０９で書き換えたレコードにおける車両ベクトルの始点及び終点の座標から当該車両ベクトルの角度を算出し、当該レコードにおける車両ベクトルの角度を書き換える（ステップＳ６１０）。
【００４４】
次に、更新部２１１は、更新候補の車両情報の文字列認識尤度が、更新対象のレコードの文字列認識尤度以上であるか否かを判定する（ステップＳ６１１）。更新部２１１は、更新候補の車両情報の文字列認識尤度が、更新対象のレコードの文字列認識尤度以上であると判定した場合（ステップＳ６１１：ＹＥＳ）、更新対象のレコードにおける文字列認識尤度及び最大評価値のフレームＩＤを、更新候補の車両情報の文字列認識尤度及びフレームＩＤに書き換え（ステップＳ６１２）、ステップＳ６０５に戻り、記憶部２０８が記憶する他のレコードの選択を行う。
【００４５】
他方、更新部２１１は、更新候補の車両情報の文字列認識尤度が、更新対象のレコードの文字列認識尤度未満であると判定した場合（ステップＳ６１１：ＮＯ）、文字列及び文字列認識尤度の更新を行わずに、ステップＳ６０５に戻り、記憶部２０８が記憶する他のレコードの選択を行う。
【００４６】
記憶部２０８が記憶する全てのレコードに対して上記ステップＳ６０６〜ステップＳ６１２の処理を実行すると、ステップＳ６０２に戻り、現在フレームの他の車両情報の選択を行う。
【００４７】
また、候補抽出部２０９は、ステップＳ６０３において車両情報に文字列が存在しないと判定した場合（ステップＳ６０３：ＮＯ）、当該車両情報の車種が二輪であるか否かを判定する（ステップＳ６１３）。候補抽出部２０９は、車両情報の車種が二輪であると判定した場合（ステップＳ６１３：ＹＥＳ）、車両情報に含まれる特徴領域の座標からナンバープレートの座標を推定する（ステップＳ６１４）。
【００４８】
図７は、ナンバープレートの座標を推定する方法を示す図である。
候補抽出部２０９は図７に示すように、特徴領域の座標から距離ｄｂｉｋｅ、角度１８０°＋θｂｉｋｅとなる点を、ナンバープレートの座標と推定する。ここで、距離ｄｂｉｋｅは、ステップＳ５１３で用いた、画像に写ったときの二輪プレートと特徴部分との標準的な距離である。また、角度θｂｉｋｅは、ステップＳ５１６で用いた、画像に写ったときの二輪プレートと特徴部分とを結ぶ線分のレーン毎の標準的な角度である。
候補抽出部２０９は、ステップＳ６１４でナンバープレートの座標を推定すると、当該推定した座標を車両位置座標として（ステップＳ６１５）、ステップＳ６０２に戻り、現在フレームの他の車両情報の選択を行う。
【００４９】
また、候補抽出部２０９は、ステップＳ６１３において、車両情報の車種が二輪でないと判定した場合（ステップＳ６１３：ＮＯ）、当該車両情報に含まれる特徴領域の座標を車両位置座標として（ステップＳ６１６）、ステップＳ６０２に戻り、現在フレームの他の車両情報の選択を行う。
【００５０】
図８は、フレーム間統合処理の処理を示す第２のフローチャートである。
判定部２０７が出力した全ての車両情報に対して上記ステップＳ６０３〜ステップＳ６１６の処理を実行すると、候補抽出部２０９は、判定部２０７が出力した全ての車両情報がステップＳ６０８において更新候補となったか否かを判定する（ステップＳ６１７）。全ての車両情報が更新候補になった場合は（ステップＳ６１７：ＹＥＳ）、これ以上統合する情報がないため、処理を行わずにフレーム間統合処理を終了する。
【００５１】
他方、更新候補として抽出されなかった車両情報が存在する場合（ステップＳ６１７：ＮＯ）、候補抽出部２０９は、記憶部２０８が記憶するレコードのそれぞれについて、以下に示すステップＳ６１９〜ステップＳ６３１の処理を実行する（ステップＳ６１８）。
【００５２】
まず、候補抽出部２０９は、ステップＳ６１８で選択されたレコードの車両ベクトルの終点座標を始点とし、ステップＳ６０８において更新候補として抽出されなかった車両情報の車両位置座標を終点とする未関連車両ベクトルの角度を算出する（ステップＳ６１９）。次に、候補抽出部２０９は、ステップＳ６１９で選択した未関連車両ベクトルの始点となったレコードに、車両ベクトルの角度θｍＸｎＹが存在するか否かを判定する（ステップＳ６２０）。ここで、車両ベクトルの角度θｍＸｎＹが存在しない場合とは、前回の処理において新たに記録されたために車両ベクトルの始点が存在しない場合である。
【００５３】
車両ベクトルに角度が存在する場合（ステップＳ６２０：ＹＥＳ）、候補抽出部２０９は、ステップＳ６１９で算出した未関連車両ベクトルの中に、角度が所定の角度θｍＸｎＹ−δｖｅｈ以上であるものが存在するか否かを判定する（ステップＳ６２１）。ここで、δｖｅｈとは、車両の操舵により前回の進行方向に対して１フレームの間に変化し得る角度である。
【００５４】
ステップＳ６１９で算出した未関連車両ベクトルの中に、角度が所定の角度θｍＸｎＹ−δｖｅｈ以上であるものが存在する場合（ステップＳ６２１：ＹＥＳ）、候補抽出部２０９は、角度がθｍＸｎＹ−δｖｅｈ以上であると判定された未関連車両ベクトルの中に、当該角度が所定の角度θｍＸｎＹ＋δｖｅｈ以下であるものが存在するか否かを判定する（ステップＳ６２２）。なお、ステップＳ６２１、ステップＳ６２２の処理は、ステップＳ６１８で選択したレコードに記憶された車両ベクトルとステップＳ６１９で算出したベクトルとがなす角が、所定の角度δｖｅｈ以下となっているか否かを判定する処理と等価である。
【００５５】
角度がθｍＸｎＹ−δｖｅｈ以上であると判定された未関連車両ベクトルの中に、当該角度がθｍＸｎＹ＋δｖｅｈ以下であるものが存在する場合（ステップＳ６２２：ＹＥＳ）、候補抽出部２０９は、その未関連車両ベクトルのうち、角度が最もθｍＸｎＹに近いものを抽出する。そして、抽出した未関連車両ベクトルの終点を示す車両情報を、ステップＳ６１３で選択したレコードを更新対象とする更新候補として抽出し、当該車両情報とレコードの車両ＩＤとを更新部２１１に出力する（ステップＳ６２３）。
なお、ステップＳ６１９で算出した未関連車両ベクトルの中に、角度が所定の角度θｍＸｎＹ−δｖｅｈ以上であるものが存在しない場合（ステップＳ６２１：ＮＯ）、及びステップＳ６１９で算出した未関連車両ベクトルの中に、角度が所定の角度θｍＸｎＹ＋δｖｅｈ以下であるものが存在しない場合（ステップＳ６２２：ＮＯ）、ステップＳ６１３で選択したレコードが示す車両に相当する車両情報が存在しないため、ステップＳ６１８に戻り、他のレコードを選択する。
【００５６】
他方、ステップＳ６１８で選択したレコードの車両ベクトルに角度が存在しない場合（ステップＳ６２０：ＮＯ）、候補抽出部２０９は、ステップＳ６１９で算出した未関連車両ベクトルの中に、角度が所定の角度θｖｅｈ−δｖｅｈ以上であるものが存在するか否かを判定する（ステップＳ６２１）。ここで、θｖｅｈとは、画像情報における車両の進行方向のレーン毎の標準的な角度である。
【００５７】
ステップＳ６１９で算出した未関連車両ベクトルの中に、角度が所定の角度θｖｅｈ−δｖｅｈ以上であるものが存在する場合（ステップＳ６２４：ＹＥＳ）、候補抽出部２０９は、角度がθｖｅｈ−δｖｅｈ以上であると判定された未関連車両ベクトルの中に、当該角度が所定の角度θｖｅｈ＋δｖｅｈ以下であるものが存在するか否かを判定する（ステップＳ６２５）。
【００５８】
角度がθｖｅｈ−δｖｅｈ以上であると判定された未関連車両ベクトルの中に、当該角度がθｖｅｈ＋δｖｅｈ以下であるものが存在する場合（ステップＳ６２５：ＹＥＳ）、候補抽出部２０９は、その未関連車両ベクトルのうち、角度が最もθｖｅｈに近いものを抽出する。そして、抽出した未関連車両ベクトルの終点を示す車両情報を、ステップＳ６１３で選択したレコードを更新対象とする更新候補として抽出し、当該車両情報とレコードの車両ＩＤとを更新部２１１に出力する（ステップＳ６２６）。
なお、ステップＳ６１９で算出した未関連車両ベクトルの中に、角度が所定の角度θｖｅｈ−δｖｅｈ以上であるものが存在しない場合（ステップＳ６２４：ＮＯ）、及びステップＳ６１９で算出した未関連車両ベクトルの中に、角度が所定の角度θｖｅｈ＋δｖｅｈ以下であるものが存在しない場合（ステップＳ６２５：ＮＯ）、ステップＳ６１３で選択したレコードが示す車両に相当する車両情報が存在しないため、ステップＳ６１８に戻り、他のレコードを選択する。
【００５９】
ステップＳ６２３またはステップＳ６２６で候補抽出部２０９が更新候補の車両情報及び更新対象のレコードの車両ＩＤを出力すると、更新部２１１は、候補抽出部２０９から受け付けた車両ＩＤに関連付けられたレコードを記憶部２０８から読み出し、当該レコードにおける車両ベクトルの始点のフレームＩＤ及び座標を、当該車両ベクトルの終点のフレームＩＤ及び座標に書き換える。また、更新部２１１は、当該レコードにおける車両ベクトルの終点のフレームＩＤ及び座標を、候補抽出部２０９から受け付けた車両情報のフレームＩＤ及び座標に書き換える（ステップＳ６２７）。次に、更新部２１１は、ステップＳ６２７で書き換えたレコードにおける車両ベクトルの始点及び終点の座標から当該車両ベクトルの角度を算出し、当該レコードにおける車両ベクトルの角度を書き換える（ステップＳ６２８）。
【００６０】
次に、更新部２１１は、更新対象のレコードに文字列が含まれるか否かを判定する（ステップＳ６２９）。レコードに文字列が含まれない場合（ステップＳ６２９：ＮＯ）、更新部２１１は、更新候補の車両情報の特徴量評価値が、更新対象のレコードの特徴量評価値以上であるか否かを判定する（ステップＳ６３０）。更新部２１１は、更新候補の車両情報の特徴量評価値が、更新対象のレコードの特徴量評価値以上であると判定した場合（ステップＳ６３０：ＹＥＳ）、更新対象のレコードにおける特徴量評価値及び最大評価値のフレームＩＤを、更新候補の車両情報の特徴量評価値及びフレームＩＤに書き換え（ステップＳ６３１）、ステップＳ６１８に戻り、記憶部２０８が記憶する他のレコードの選択を行う。
【００６１】
他方、更新部２１１は、更新対象のレコードに文字列が含まれる場合（ステップＳ６２９：ＹＥＳ）、または更新候補の車両情報の特徴量評価値が、更新対象のレコードの文字列認識尤度未満であると判定した場合（ステップＳ６３０：ＮＯ）、文字列及び文字列認識尤度の更新を行わずに、ステップＳ６１８に戻り、記憶部２０８が記憶する他のレコードの選択を行う。
【００６２】
図９は、フレーム間統合処理の処理を示す第３のフローチャートである。
記憶部２０８が記憶する全てのレコードに対して上記ステップＳ６１９〜ステップＳ６３１の処理を実行すると、候補抽出部２０９は、判定部２０７が出力した全ての車両情報がステップＳ６０８、ステップＳ６２３、またはステップＳ６２６において更新候補となったか否かを判定する（ステップＳ６３２）。全ての車両情報が更新候補になった場合は（ステップＳ６３２：ＹＥＳ）、これ以上統合する情報がないため、処理を行わずにフレーム間統合処理を終了する。
【００６３】
他方、更新候補として抽出されなかった車両情報が存在する場合（ステップＳ６３２：ＮＯ）、候補抽出部２０９は、更新候補として抽出されなかった車両情報のそれぞれについて、以下に示すステップＳ６３４〜ステップＳ６３６の処理を実行する（ステップＳ６３３）。
【００６４】
まず、候補抽出部２０９は、ステップＳ６３３で選択した車両情報の特徴量評価値が所定の閾値以上であるか否かを判定する（ステップＳ６３４）。特徴量評価値が所定の閾値以上である場合（ステップＳ６３４：ＹＥＳ）、記録部２１０は、当該車両情報を、新規車両として新たに記憶部２０８に記録する（ステップＳ６３５）。他方、特徴量評価値が所定の閾値未満である場合（ステップＳ６３４：ＮＯ）、候補抽出部２０９は、当該車両情報を記録せずに破棄する（ステップＳ６３６）。
更新候補として抽出されなかった全ての車両情報に対して上記ステップＳ６３４〜ステップＳ６３６の処理を実行すると、フレーム間統合処理を終了する。
【００６５】
図４に戻り、ステップＳ６によるフレーム間統合処理を終了すると、出力部２１２は、入力部２０１から現在のフレームＩＤを取得する。次に、出力部２１２は、記憶部２０８が記憶するレコードの中に、車両ベクトルの終点のフレームＩＤと現在のフレームＩＤとの差が所定フレーム以上となるものがあるか否かを判定する（ステップＳ７）。出力部２１２は、記憶部２０８が記憶するレコードの中に、車両ベクトルの終点のフレームＩＤと現在のフレームＩＤとの差が所定フレーム以上となるものがないと判定した場合（ステップＳ７：ＮＯ）、処理を終了する。
【００６６】
他方、出力部２１２は、記憶部２０８が記憶するレコードの中に、車両ベクトルの終点のフレームＩＤと現在のフレームＩＤとの差が所定フレーム以上となるものがあると判定した場合（ステップＳ７：ＹＥＳ）、終点のフレームＩＤと現在のフレームＩＤとの差が所定フレーム以上となるレコードの、最大評価値のフレームＩＤが示すフレームの画像情報を、外部装置に出力する（ステップＳ８）。また、削除部２１３は、出力部２１２が出力したレコードを記憶部２０８から削除し（ステップＳ９）、処理を終了する。
以降、入力部２０１が画像情報を受け付ける度に、ステップＳ１からステップＳ９の処理を実行する。
【００６７】
このように、本実施形態によれば、候補抽出部２０９は、文字列認識部２０２が出力した文字列のうち記憶部２０８が記憶する更新対象の文字列に類似する文字列を、更新候補として抽出し、更新部２１１は、更新対象の文字列を更新候補の文字列に書き換える。ここで、記憶部２０８が記憶する文字列は、文字列認識部２０２が同一の車両から抽出した文字列である。したがって、あるフレームにおいて車両の検出に失敗した場合にも、記憶部２０８には当該フレーム以前の車両の文字列が記憶されている。そのため、車両識別装置２００は、当該フレームの前と当該フレームの後の同一車両を異なる車両として認識することを防ぐことができる。
【００６８】
また、本実施形態では、更新部２１１は、候補抽出部２０９が抽出した更新候補の文字列認識尤度が、更新対象のレコードの文字列認識尤度より高い場合に、記憶部２０８が記憶するレコードの文字列を、更新候補の文字列に書き換える。これにより、記憶部２０８は、最も認識尤度が高い文字列を記憶しておくことができる。
【００６９】
また、本実施形態では、出力部２１２は、記憶部２０８が記憶するレコードにおける車両ベクトルの終点のフレーム番号と、撮像装置１００が今回撮像した画像情報のフレーム番号との差が所定の閾値以上となる場合に、当該フレーム番号が示す画像情報を出力する。これにより、車両識別装置２００は、撮像装置１００の撮像範囲外に出た車両を示す画像情報を出力することができる。
【００７０】
また、本実施形態では、候補抽出部２０９は、文字列認識部２０２が出力した文字列のうち、記憶部２０８が記憶する何れの文字列にも類似せず、かつ記憶部２０８に記憶された更新対象のレコードの車両ベクトルと、更新対象の車両ベクトルの終点座標と、文字列認識部２０２が出力した文字列の座標とを結ぶベクトルとがなす角が、所定の角度δｖｅｈ以下となる文字列を、更新候補として抽出する。これにより、車両識別装置は、文字列の認識に失敗した場合にも、前回までの車両の進行方向に基づいて、記憶部２０８が記憶するレコードを更新することができる。
【００７１】
また、本実施形態では、候補抽出部２０９は、特徴抽出部２０５が抽出した特徴領域のうち、判定部２０７によって文字列情報出力部２０４が出力した文字列との関連付けがなされず、かつ記憶部２０８に記憶された更新対象の車両ベクトルと、当該車両ベクトルの終点座標と当該特徴領域の座標とを結ぶベクトルとがなす角が所定の角度δｖｅｈ以下となる特徴領域を、更新対象の終点座標の更新候補として抽出する。これにより、車両識別装置は、文字列の認識に失敗した場合にも、前回までの車両の進行方向に基づいて、記憶部２０８が記憶するレコードを更新することができる。
【００７２】
以上、図面を参照してこの発明の一実施形態について詳しく説明してきたが、具体的な構成は上述のものに限られることはなく、この発明の要旨を逸脱しない範囲内において様々な設計変更等をすることが可能である。
例えば、本実施形態では、二輪車の特徴部分としてヘルメットを用い、四輪車の特徴部分としてナンバープレートを用いる場合を説明したが、これに限られず、その他の特徴部分を用いても、同様の処理を行うことができる。
【００７３】
また、本実施形態では、四輪車のナンバープレートの種類として一段プレートと二段プレートとがある場合を用いて説明したが、これに限られず、１種類または３種類以上のナンバープレートがある場合にも適用することができる。
【００７４】
上述の車両識別装置２００は内部に、コンピュータシステムを有している。そして、上述した各処理部の動作は、プログラムの形式でコンピュータ読み取り可能な記録媒体に記憶されており、このプログラムをコンピュータが読み出して実行することによって、上記処理が行われる。ここでコンピュータ読み取り可能な記録媒体とは、磁気ディスク、光磁気ディスク、ＣＤ−ＲＯＭ、ＤＶＤ−ＲＯＭ、半導体メモリ等をいう。また、このコンピュータプログラムを通信回線によってコンピュータに配信し、この配信を受けたコンピュータが当該プログラムを実行するようにしても良い。
【００７５】
また、上記プログラムは、前述した機能の一部を実現するためのものであっても良い。さらに、前述した機能をコンピュータシステムにすでに記録されているプログラムとの組み合わせで実現できるもの、いわゆる差分ファイル（差分プログラム）であっても良い。
【符号の説明】
【００７６】
１００…撮像装置 ２００…車両識別装置 ２０１…入力部 ２０２…文字列認識部 ２０３…文字列判別部 ２０４…文字列情報出力部 ２０５…領域抽出部 ２０６…比較値算出部 ２０７…判定部 ２０８…記憶部 ２０９…候補抽出部 ２１０…記録部 ２１１…更新部 ２１２…出力部 ２１３…削除部
【特許請求の範囲】
【請求項１】
車線に設けられた撮像装置が撮像した画像に含まれる車両を識別する車両識別装置であって、
前記撮像装置が撮像した画像から車両の特徴を示す車両情報を抽出する車両情報抽出部と、
前記車両情報抽出部が抽出した車両情報を車両毎に記憶する記憶部と、
前記車両情報抽出部が出力した車両情報のうち、前記記憶部に記憶されたある車両情報である更新対象車両情報と同一の車両を示す車両情報を、当該更新対象車両情報の更新候補である候補車両情報として抽出する候補車両情報抽出部と、
前記記憶部が記憶する更新対象車両情報を前記候補車両情報に書き換える更新部と、
前記車両情報抽出部が出力した文字列のうち、前記候補車両情報として抽出されなかった車両情報を、前記記憶部に新たに記録する記録部と
を備えることを特徴とする車両識別装置。
【請求項２】
前記車両情報は車両に含まれる文字列であって、
前記候補車両情報抽出部は、前記車両情報抽出部が出力した車両情報と、前記更新対象車両情報とがそれぞれ類似する文字列である場合に、前記車両情報抽出部が出力した車両情報と前記更新対象車両情報とが同一の車両を示すと判定する
ことを特徴とする請求項１に記載の車両識別装置。
【請求項３】
前記車両情報抽出部は、前記撮像装置が撮像した画像に含まれる車両情報とともに、当該車両情報が示す文字列の認識尤度を出力するものであり、
前記記憶部は、前記車両情報抽出部が抽出した車両情報と当該車両情報の認識尤度とを関連付けて記憶するものであり、
前記更新部は、前記候補車両情報抽出部が抽出した候補車両情報の認識尤度が、前記更新対象車両情報の認識尤度より高い場合に、前記記憶部が記憶する更新対象車両情報を前記候補車両情報に書き換える
ことを特徴とする請求項２に記載の車両識別装置。
【請求項４】
前記記憶部は、前記車両情報に関連付けて前記撮像装置が撮像した画像のフレーム番号を記憶するものであり、
前記更新部は、前記記憶部が記憶する車両情報に加えて前記フレーム番号を更新するものであり、
前記記録部は、前記車両情報に加えて前記フレーム番号を前記記憶部に記録するものであり、
前記記憶部が記憶する車両情報に関連付けられたフレーム番号と前記撮像装置が今回撮像した画像のフレーム番号との差が所定の閾値以上となる場合に、当該フレーム番号に関連付けられた情報を出力する出力部と、
前記出力部が出力した車両情報を前記記憶部から削除する削除部と
を備えることを特徴とする請求項２または請求項３に記載の車両識別装置。
【請求項５】
前記車両情報抽出部は、前記撮像装置が撮像した画像から車両情報である文字列を認識する際に当該文字列の座標を特定し、前記車両情報と共に前記座標を出力するものであり、
前記記憶部は、前記車両情報に関連付けて、当該車両情報が抽出された最後のフレームにおける当該車両情報の座標である終点座標と、前記終点座標より前のフレームにおける前記車両情報の座標である始点座標とを記憶するものであり、
前記更新部は、前記記憶部が記憶する車両情報に加えて、前記終点座標及び前記始点座標も更新するものであり、
前記記録部は、前記車両情報に加えて、前記終点座標を前記記憶部に記録するものであり、
前記候補車両情報抽出部は、前記車両情報抽出部が出力した車両情報のうち、前記記憶部が記憶する何れの車両情報が示す文字列にも類似せず、かつ前記記憶部に記憶されたある車両情報である更新対象車両情報の始点座標と終点座標とを結ぶベクトルと、前記更新対象車両情報の終点座標と当該車両情報の座標とを結ぶベクトルとがなす角が所定の角度以下となる車両情報を、前記更新対象車両情報の更新候補である候補車両情報として抽出する
ことを特徴とする請求項２から請求項４の何れか１項に記載の車両識別装置。
【請求項６】
前記撮像装置が撮像した画像から当該画像に含まれる車両の特徴部分を示す特徴領域を抽出する特徴抽出部と、
前記車両情報抽出部が認識した車両情報と前記特徴抽出部が抽出した特徴領域とのうち、同一の車両を示すものを相互に関連付ける関連付け部と、
前記特徴抽出部が抽出した特徴領域のうち、前記関連付け部によって前記車両情報との関連付けがなされず、かつ前記記憶部に記憶されたある車両情報である更新対象車両情報の始点座標と終点座標とを結ぶベクトルと、前記更新対象車両情報の終点座標と当該特徴領域の座標とを結ぶベクトルとがなす角が所定の角度以下となる特徴領域を、前記更新対象車両情報の終点座標の更新候補である候補領域として抽出する候補領域抽出部と
を備え、
前記更新部は、前記記憶部が記憶する更新対象車両情報の終点座標を、前記候補領域抽出部によって抽出された候補領域の座標に書き換える
ことを特徴とする請求項５に記載の車両識別装置。
【請求項７】
前記車両情報抽出部が出力した車両情報のパターンに基づいて、当該車両情報を有する車両の車種を判別する車両情報判別部を備え、
前記特徴抽出部は、前記車両の車種毎に特徴領域を抽出し、
前記候補領域抽出部は、前記更新対象車両情報が示す車種と前記特徴抽出部が抽出した特徴領域が示す車種とが一致しない場合、当該特徴領域を候補領域として抽出しない
ことを特徴とする請求項６に記載の車両識別装置。
【請求項８】
前記車両情報は、車両の特徴部分を示す特徴領域と当該特徴領域の座標を示す情報であって、
前記候補車両情報抽出部は、前記車両情報抽出部が出力した車両情報が示す座標と、前記更新対象車両情報が示す座標とを結ぶベクトルの角度が所定の角度範囲以内である場合に、前記車両情報抽出部が出力した車両情報と前記更新対象車両情報とが同一の車両を示すと判定する
ことを特徴とする請求項１に記載の車両識別装置。
【請求項９】
車線に設けられた撮像装置が撮像した画像に含まれる車両を識別する車両識別装置を用いた車両識別方法であって、
車両情報抽出部は、前記撮像装置が撮像した画像から車両の特徴を示す車両情報を抽出し、
候補車両情報抽出部は、前記車両情報抽出部が出力した車両情報のうち、前記車両情報抽出部が抽出した車両情報を車両毎に記憶する記憶部に記憶されたある車両情報である更新対象車両情報と同一の車両を示す車両情報を、当該更新対象車両情報の更新候補である候補車両情報として抽出し、
更新部は、前記記憶部が記憶する更新対象車両情報を前記候補車両情報に書き換え、
記録部は、前記車両情報抽出部が出力した文字列のうち、前記候補車両情報として抽出されなかった車両情報を、前記記憶部に新たに記録する
ことを特徴とする車両識別方法。
【請求項１０】
車線に設けられた撮像装置が撮像した画像に含まれる車両を識別する車両識別装置を、
前記撮像装置が撮像した画像から車両の特徴を示す車両情報を抽出する車両情報抽出部、
前記車両情報抽出部が出力した車両情報のうち、前記車両情報抽出部が抽出した車両情報を車両毎に記憶する記憶部に記憶されたある車両情報である更新対象車両情報と同一の車両を示す車両情報を、当該更新対象車両情報の更新候補である候補車両情報として抽出する候補車両情報抽出部、
前記記憶部が記憶する更新対象車両情報を前記候補車両情報に書き換える更新部、
前記車両情報抽出部が出力した文字列のうち、前記候補車両情報として抽出されなかった車両情報を、前記記憶部に新たに記録する記録部
として機能させるためのプログラム。
【請求項１】
車線に設けられた撮像装置が撮像した画像に含まれる車両を識別する車両識別装置であって、
前記撮像装置が撮像した画像から車両の特徴を示す車両情報を抽出する車両情報抽出部と、
前記車両情報抽出部が抽出した車両情報を車両毎に記憶する記憶部と、
前記車両情報抽出部が出力した車両情報のうち、前記記憶部に記憶されたある車両情報である更新対象車両情報と同一の車両を示す車両情報を、当該更新対象車両情報の更新候補である候補車両情報として抽出する候補車両情報抽出部と、
前記記憶部が記憶する更新対象車両情報を前記候補車両情報に書き換える更新部と、
前記車両情報抽出部が出力した文字列のうち、前記候補車両情報として抽出されなかった車両情報を、前記記憶部に新たに記録する記録部と
を備えることを特徴とする車両識別装置。
【請求項２】
前記車両情報は車両に含まれる文字列であって、
前記候補車両情報抽出部は、前記車両情報抽出部が出力した車両情報と、前記更新対象車両情報とがそれぞれ類似する文字列である場合に、前記車両情報抽出部が出力した車両情報と前記更新対象車両情報とが同一の車両を示すと判定する
ことを特徴とする請求項１に記載の車両識別装置。
【請求項３】
前記車両情報抽出部は、前記撮像装置が撮像した画像に含まれる車両情報とともに、当該車両情報が示す文字列の認識尤度を出力するものであり、
前記記憶部は、前記車両情報抽出部が抽出した車両情報と当該車両情報の認識尤度とを関連付けて記憶するものであり、
前記更新部は、前記候補車両情報抽出部が抽出した候補車両情報の認識尤度が、前記更新対象車両情報の認識尤度より高い場合に、前記記憶部が記憶する更新対象車両情報を前記候補車両情報に書き換える
ことを特徴とする請求項２に記載の車両識別装置。
【請求項４】
前記記憶部は、前記車両情報に関連付けて前記撮像装置が撮像した画像のフレーム番号を記憶するものであり、
前記更新部は、前記記憶部が記憶する車両情報に加えて前記フレーム番号を更新するものであり、
前記記録部は、前記車両情報に加えて前記フレーム番号を前記記憶部に記録するものであり、
前記記憶部が記憶する車両情報に関連付けられたフレーム番号と前記撮像装置が今回撮像した画像のフレーム番号との差が所定の閾値以上となる場合に、当該フレーム番号に関連付けられた情報を出力する出力部と、
前記出力部が出力した車両情報を前記記憶部から削除する削除部と
を備えることを特徴とする請求項２または請求項３に記載の車両識別装置。
【請求項５】
前記車両情報抽出部は、前記撮像装置が撮像した画像から車両情報である文字列を認識する際に当該文字列の座標を特定し、前記車両情報と共に前記座標を出力するものであり、
前記記憶部は、前記車両情報に関連付けて、当該車両情報が抽出された最後のフレームにおける当該車両情報の座標である終点座標と、前記終点座標より前のフレームにおける前記車両情報の座標である始点座標とを記憶するものであり、
前記更新部は、前記記憶部が記憶する車両情報に加えて、前記終点座標及び前記始点座標も更新するものであり、
前記記録部は、前記車両情報に加えて、前記終点座標を前記記憶部に記録するものであり、
前記候補車両情報抽出部は、前記車両情報抽出部が出力した車両情報のうち、前記記憶部が記憶する何れの車両情報が示す文字列にも類似せず、かつ前記記憶部に記憶されたある車両情報である更新対象車両情報の始点座標と終点座標とを結ぶベクトルと、前記更新対象車両情報の終点座標と当該車両情報の座標とを結ぶベクトルとがなす角が所定の角度以下となる車両情報を、前記更新対象車両情報の更新候補である候補車両情報として抽出する
ことを特徴とする請求項２から請求項４の何れか１項に記載の車両識別装置。
【請求項６】
前記撮像装置が撮像した画像から当該画像に含まれる車両の特徴部分を示す特徴領域を抽出する特徴抽出部と、
前記車両情報抽出部が認識した車両情報と前記特徴抽出部が抽出した特徴領域とのうち、同一の車両を示すものを相互に関連付ける関連付け部と、
前記特徴抽出部が抽出した特徴領域のうち、前記関連付け部によって前記車両情報との関連付けがなされず、かつ前記記憶部に記憶されたある車両情報である更新対象車両情報の始点座標と終点座標とを結ぶベクトルと、前記更新対象車両情報の終点座標と当該特徴領域の座標とを結ぶベクトルとがなす角が所定の角度以下となる特徴領域を、前記更新対象車両情報の終点座標の更新候補である候補領域として抽出する候補領域抽出部と
を備え、
前記更新部は、前記記憶部が記憶する更新対象車両情報の終点座標を、前記候補領域抽出部によって抽出された候補領域の座標に書き換える
ことを特徴とする請求項５に記載の車両識別装置。
【請求項７】
前記車両情報抽出部が出力した車両情報のパターンに基づいて、当該車両情報を有する車両の車種を判別する車両情報判別部を備え、
前記特徴抽出部は、前記車両の車種毎に特徴領域を抽出し、
前記候補領域抽出部は、前記更新対象車両情報が示す車種と前記特徴抽出部が抽出した特徴領域が示す車種とが一致しない場合、当該特徴領域を候補領域として抽出しない
ことを特徴とする請求項６に記載の車両識別装置。
【請求項８】
前記車両情報は、車両の特徴部分を示す特徴領域と当該特徴領域の座標を示す情報であって、
前記候補車両情報抽出部は、前記車両情報抽出部が出力した車両情報が示す座標と、前記更新対象車両情報が示す座標とを結ぶベクトルの角度が所定の角度範囲以内である場合に、前記車両情報抽出部が出力した車両情報と前記更新対象車両情報とが同一の車両を示すと判定する
ことを特徴とする請求項１に記載の車両識別装置。
【請求項９】
車線に設けられた撮像装置が撮像した画像に含まれる車両を識別する車両識別装置を用いた車両識別方法であって、
車両情報抽出部は、前記撮像装置が撮像した画像から車両の特徴を示す車両情報を抽出し、
候補車両情報抽出部は、前記車両情報抽出部が出力した車両情報のうち、前記車両情報抽出部が抽出した車両情報を車両毎に記憶する記憶部に記憶されたある車両情報である更新対象車両情報と同一の車両を示す車両情報を、当該更新対象車両情報の更新候補である候補車両情報として抽出し、
更新部は、前記記憶部が記憶する更新対象車両情報を前記候補車両情報に書き換え、
記録部は、前記車両情報抽出部が出力した文字列のうち、前記候補車両情報として抽出されなかった車両情報を、前記記憶部に新たに記録する
ことを特徴とする車両識別方法。
【請求項１０】
車線に設けられた撮像装置が撮像した画像に含まれる車両を識別する車両識別装置を、
前記撮像装置が撮像した画像から車両の特徴を示す車両情報を抽出する車両情報抽出部、
前記車両情報抽出部が出力した車両情報のうち、前記車両情報抽出部が抽出した車両情報を車両毎に記憶する記憶部に記憶されたある車両情報である更新対象車両情報と同一の車両を示す車両情報を、当該更新対象車両情報の更新候補である候補車両情報として抽出する候補車両情報抽出部、
前記記憶部が記憶する更新対象車両情報を前記候補車両情報に書き換える更新部、
前記車両情報抽出部が出力した文字列のうち、前記候補車両情報として抽出されなかった車両情報を、前記記憶部に新たに記録する記録部
として機能させるためのプログラム。
【図１】
【図２】
【図３】
【図４】
【図５】
【図６】
【図７】
【図８】
【図９】
【図２】
【図３】
【図４】
【図５】
【図６】
【図７】
【図８】
【図９】
【公開番号】特開２０１３−３７６５（Ｐ２０１３−３７６５Ａ）
【公開日】平成２５年１月７日（２０１３．１．７）
【国際特許分類】
【出願番号】特願２０１１−１３３１５５（Ｐ２０１１−１３３１５５）
【出願日】平成２３年６月１５日（２０１１．６．１５）
【出願人】（０００００６２０８）三菱重工業株式会社 (10,378)
【Ｆターム（参考）】
【公開日】平成２５年１月７日（２０１３．１．７）
【国際特許分類】
【出願日】平成２３年６月１５日（２０１１．６．１５）
【出願人】（０００００６２０８）三菱重工業株式会社 (10,378)
【Ｆターム（参考）】
[ Back to top ]