車両認識装置及び車両認識方法
【課題】様々なタイプの移動車両を精度よく認識する技術を提供すること。
【解決手段】車両認識装置は、複数車両の無線通信器と交信し設定識別情報を読み取る第１の読取手段と、車両通行エリアを連続撮影する撮影手段と、連続撮影により取得された複数フレームの各々から複数の車両候補領域を抽出する第１の抽出手段と、複数の車両候補領域の各々から識別情報候補領域を抽出する第２の抽出手段と、識別情報候補領域中の表示識別情報の少なくとも一部を読み取る第２の読取手段と、複数フレームの各々に含まれる複数の車両候補領域の移動を追跡し、車両通行エリア内に進入している各車両を特定するとともに、各車両に対応する少なくとも一部の表示識別情報の読取結果を統合し、各車両に対応する表示識別情報を認識する情報処理手段と、設定識別情報及び表示識別情報を対応付けて各車両を認識する車両認識手段とを備える。
【解決手段】車両認識装置は、複数車両の無線通信器と交信し設定識別情報を読み取る第１の読取手段と、車両通行エリアを連続撮影する撮影手段と、連続撮影により取得された複数フレームの各々から複数の車両候補領域を抽出する第１の抽出手段と、複数の車両候補領域の各々から識別情報候補領域を抽出する第２の抽出手段と、識別情報候補領域中の表示識別情報の少なくとも一部を読み取る第２の読取手段と、複数フレームの各々に含まれる複数の車両候補領域の移動を追跡し、車両通行エリア内に進入している各車両を特定するとともに、各車両に対応する少なくとも一部の表示識別情報の読取結果を統合し、各車両に対応する表示識別情報を認識する情報処理手段と、設定識別情報及び表示識別情報を対応付けて各車両を認識する車両認識手段とを備える。
【発明の詳細な説明】
【技術分野】
【０００１】
本発明は、例えば無線通信を利用して通行料金を決済するＥＴＣシステム（ノンストップ自動料金収受システム：Electronic Toll Collection system）に適用可能な車両認識技術に関する。
【背景技術】
【０００２】
近年、有料道路等においてＥＴＣシステムが大幅に普及している。ＥＴＣシステムとは、車両側の通信端末（車載機）と料金所側の無線装置（路側無線装置）との間の無線通信を利用して車載機に挿入されたＩＣカードより自動的に通行料金を徴収するシステムである。これは、車両の前面やフロントガラス等に車載機を取り付け、路側無線装置を通じて車両機（ＩＣカード）より必要な通行料金等を引き去るもので、料金を現金や回数券により手渡しで支払うために車両を止める必要もなく、料金徴収の円滑化および省力化を促進するシステムである。
【０００３】
ＥＴＣシステムの運用には、不正防止及び安全性等の観点から、車両を正確に認識する技術が不可欠である。例えば、車両検知および画像処理等により、二輪車や特殊大型車のように４輪でない車両の通過が認識され、さらにはこれら車両からナンバープレートが認識される。具体的には、センサ等を使用して車両の通過時点を検知し、その瞬間の映像を記録保存するシステムが提案されている（特許文献１、２参照）。
【０００４】
ただし、上記のような特殊大型車においては、対象車両毎に画角や焦点の調整位置が一般車両と異なるため、取得した画像からナンバープレートを認識できないことが有り得る。
【０００５】
これに対して、二輪車用及び特殊大型車用にセンサを別途設置し、センシングすべき対象物・焦点調整位置を別途想定する方法が考えられる。例えば、一般車両よりも車両長さが短い二輪車であればシャッターを切るタイミングを早め、逆に一般車両よりも車両長さが長い大型車であればシャッターをきるタイミングを遅延させる。
【特許文献１】特開平６−２４２２５９号公報
【特許文献２】特開２００３−２８１６８９号公報
【発明の開示】
【発明が解決しようとする課題】
【０００６】
上記したような別途設置のセンサからの情報を用いれば、二輪車及び特殊大型車等の対象車両の通過検知は正確となる。しかしながら、対象車両を画像処理に適した焦点位置へ導くことは依然として難しい。例えば、二輪車の場合、走行レーンの中央を走行するケース、中央より内側を走行するケース、中央より外側を走行するケースなどが予想される。その結果、カメラからの位置が自在に変化する対象車両の撮像画面からナンバープレート情報等を抽出しようとすると、焦点位置調整が不十分なため、撮像画像の一部がぼやけるなどの現象が容易に起こり得る。
【０００７】
従って、車両のバリエーションが増えるに従い調整すべきパラメータが増え、安定した車両認識が難しくなる。その結果として、同様の車両タイプについては誤検出及び誤認識が定常的に起きることが予測される。
【０００８】
本発明の目的は、様々なタイプの移動車両を精度よく認識する技術を提供することにある。
【課題を解決するための手段】
【０００９】
この発明の一実施形態に係る車両認識装置は、１又は複数車両の無線通信器と交信し、１又は複数車両に対して設定されている設定識別情報を読み取る第１の読取手段と、車両通行エリアを連続撮影する撮影手段と、前記撮影手段の所定期間の連続撮影により取得された複数フレームの各々から１又は複数の車両候補領域を抽出する第１の抽出手段と、前記第１の抽出手段により抽出された１又は複数の車両候補領域の各々から識別情報候補領域を抽出する第２の抽出手段と、前記第２の抽出手段により抽出された識別情報候補領域に表示されている表示識別情報の少なくとも一部を読み取る第２の読取手段と、前記複数フレームの各々に含まれる１又は複数の車両候補領域の移動を追跡し、前記車両通行エリア内に進入している各車両を特定するとともに、各車両に対応する少なくとも一部の表示識別情報の読取結果を統合し、各車両に対応する表示識別情報を認識する情報処理手段と、前記無線通信により得られた前記設定識別情報及び前記統合処理により得られた前記表示識別情報を対応付けて、車両通行エリア内に進入している各車両を認識する車両認識手段とを備えている。
【００１０】
また、この発明の一実施形態に係る車両認識方法は、１又は複数車両の無線通信器と交信し、１又は複数車両に対して設定されている設定識別情報を読み取り、車両通行エリアを連続撮影し、所定期間の連続撮影により取得された複数フレームの各々から１又は複数の車両候補領域を抽出し、前記抽出された１又は複数の車両候補領域の各々から識別情報候補領域を抽出し、前記抽出された識別情報候補領域に表示されている表示識別情報の少なくとも一部を読み取り、前記複数フレームの各々に含まれる１又は複数の車両候補領域の移動を追跡し、前記車両通行エリア内に進入している各車両を特定するとともに、各車両に対応する少なくとも一部の表示識別情報の読取結果を統合し、各車両に対応する表示識別情報を認識し、前記無線通信により得られた前記設定識別情報及び前記統合処理により得られた前記表示識別情報を対応付けて、車両通行エリア内に進入している各車両を認識する。
【発明の効果】
【００１１】
本発明によれば、様々なタイプの移動車両を精度よく認識する技術を提供できる。
【発明を実施するための最良の形態】
【００１２】
以下、図面を参照し、本発明の実施形態について説明する。つまり、１又は複数の走行車両との無線通信により識別情報を取得するとともに、１又は複数の走行車両を連続的に撮影して得られる動画像を解析し、１又は複数の走行車両から識別情報（ナンバー）を読み取り、各車両の走行状態（並行走行、追い越し、車両隠れ）を検出し、無線通信により読み取った識別情報と光学的に読み取った識別情報とを対応付けて、各車両の走行履歴を正確に収集する技術について説明する。
【００１３】
図１は、本発明の一実施形態に係る車両認識装置の概略構成を示すブロック図である。図１に示すように、車両認識装置は、カメラ１、画像入力部２、車両（輪郭）抽出部３、ナンバー候補領域抽出部４、ナンバー認識部５、フレーム間統合部６、車両間統合部７、対応関係確認部８、ナンバー情報読取部９を備えている。
【００１４】
ナンバー情報読取部９は、例えば無線通信器である。ナンバー情報読取部９は、車両に搭載された無線通信器と交信し、車両に対して設定されている識別情報（車両所有者ＩＤ、車両使用者ＩＤ、ナンバーなど）を読み取る。車両に対して設定されている識別情報とは、車両に搭載された無線通信器に記憶された情報である。なお、ナンバー情報読取部９は、図２に示すように所定の車両通行エリアを走行する１又は複数車両の夫々に搭載された無線通信器と交信することができ、その結果、１又は複数車両の夫々に対して設定されている識別情報を読み取ることができる。例えば、所定の車両通行エリアを１台の無線通信器非搭載車両と２台の無線通信器搭載車両とが走行する場合、ナンバー情報読取部９は、２台の無線通信器搭載車両に対して設定されている識別情報を取得することになる。
【００１５】
カメラ１は、上記した所定の車両通行エリア（所定区間）を連続撮影する。入力部２は、カメラ１の連続撮影により取得された複数フレームにより構成される動画像を入力する。入力部２は、例えば画像中の照明等の影響を低減させることを目的とした前処理を実行する。前処理を実行する手段の一例として、ノイズ成分及び光源濃度の照度の偏りを低減するSelf Quotient Filterが挙げられる。
【００１６】
車両抽出部３は、カメラ１の連続撮影により取得された複数フレームの各々から１又は複数の車両候補領域を抽出する。なお、車両抽出部３は、人物輪郭領域の抽出とあわせて、車両候補領域を抽出することもできる。つまり、二輪車を想定した場合、ドライバーの輪郭（人物輪郭）の抽出結果を利用することにより、より効果的に車両候補領域を抽出することができる。
【００１７】
なお、車両候補領域の抽出の前提として車両進入検知が必要となる。例えば次のようにして車両進入は検知される。まずフレーム毎のエッジ情報を求め、着目すべき特徴ベクトルを複数用意する。車両が進入していない場合は、フレーム間で特徴ベクトルは移動することなく比較的安定する。一方で車両が進入した場合は、フレーム間での特徴ベクトルが顕著に移動する。また特徴ベクトルの移動方向も特定できる。このため、動きがある物体検出は比較的容易である。動き方向を特定する手段としてはオプティカルフロー等の動き検知ベクトル情報を活用する。これにより、車両の進入、退出が確認出来る。車両及び人物の夫々の検知ベクトル情報を管理することにより、車両及び人物の位置関係を把握できる。なお、車両認識装置は、上記したように特徴ベクトル等を求める構成の替わりに、外部センサから車両の進入情報を受信する構成を備えていてもよい。
【００１８】
ナンバー候補領域抽出部４は、車両抽出部３により抽出された１又は複数の車両候補領域の各々からナンバー候補領域を抽出する。例えば、ナンバー候補領域を抽出する方法として、テンプレートマッチング法が挙げられる。
【００１９】
ナンバー認識部５は、ナンバー候補領域に表示されている少なくとも一部のナンバーを認識する。ナンバー認識部５により、ナンバー候補領域に表示されているナンバー全てが認識されることが好ましいが、ナンバーの一部しか認識できない場合でも、その認識結果を保存する。例えば、多数決評価などの方法を用いてナンバー認識結果を導出する。
【００２０】
フレーム間統合部６は、複数フレーム内の車両候補領域の時間変化を測定し、複数フレームの各々に含まれる１又は複数の車両候補領域の移動を追跡し、車両通行エリア内に進入している各車両を特定するとともに、各車両に対応する少なくとも一部のナンバー認識結果を統合し、各車両に対応するナンバーを認識する。さらに、フレーム間統合部６は、は、複数フレームの各々に含まれる１又は複数の車両候補領域の移動を追跡し、車両通行エリア内における車両の追い越しを検出することもできる。
【００２１】
例えば、第１フレーム内の第１の車両候補領域から第１のナンバー候補領域が抽出され、第１のナンバー候補領域からナンバーの上３桁（例えば１２３？）が認識され、第１フレーム内の第２の車両候補領域から第２のナンバー候補領域が抽出され、第２のナンバー候補領域からナンバーの下２桁（例えば？？７８）が認識されたとする。さらに、第２フレーム内の第１の車両候補領域から第１のナンバー候補領域が抽出され、第１のナンバー候補領域からナンバーの下３桁（例えば？２３４）が認識され、第２フレーム内の第２の車両候補領域から第２のナンバー候補領域が抽出され、第２のナンバー候補領域からナンバーの上３桁（例えば５６７？）が認識され、さらに、第２フレーム内の第３の車両候補領域から第３のナンバー候補領域が抽出され、第３のナンバー候補領域からナンバーの全桁（例えば４３２１）が認識されたとする。フレーム間統合部６は、ナンバー認識結果を統合し、第１の車両候補領域の第１の車両に対応するナンバー１２３４を認識し、第２の車両候補領域の第２の車両に対応するナンバー５６７８を認識する。さらに、フレーム間統合部６は、第１フレームにおいて車両の隠れを認識し、第２フレームで抽出された第３の車両候補領域の第３の車両に対応するナンバー４３２１についても認識する。
【００２２】
車両間統合部７は、ナンバー情報読取部９により読み取られた識別情報と、フレーム間統合部６により統合されたナンバー認識結果とをさらに統合し、車両通行エリア内に進入している各車両を認識する。例えば、ナンバー情報読取部９によりナンバー１２３４、ナンバー５６７８、ナンバー４３２１が読み取られていると仮定する。また、フレーム間統合部６の統合により、ナンバー１２３４、ナンバー５６７８、ナンバー４３２１が認識されているとする。この場合、一対一での対応付けが完了する。一対一での対応付けが完了しない場合には、無線通信器を搭載していない車両の通過、或いは無線通信器を搭載していたが他の車両に隠れたままの車両の通過を検出することができる。
【００２３】
以下に、車両の並走状態及び追い越し状態の検出例について説明する。
【００２４】
ナンバー情報読取部９により読み取られた複数車両の識別情報（ナンバー含む）、車両抽出部３により抽出された複数車両の車両候補領域、及びナンバー認識部５により認識された複数車両のナンバーを対応付けるとともに、各フレームにおける各車両候補領域の位置関係を評価する。例えば、各フレームにおける各車両候補領域の重なりを検出し並走状態を把握し、各々の車両を特定する。
【００２５】
同様に、ナンバー情報読取部９により読み取られた複数車両の識別情報、車両抽出部３により抽出された複数車両の車両候補領域、及びナンバー認識部５により認識された複数車両のナンバーを対応付けるとともに、各フレームにおける各車両候補領域の位置関係を評価する。例えば、複数のフレームにおける第１の車両候補領域が第２の車両候補領域を追い越す関係を確認し、各々の車両を特定する。
【００２６】
以上により、屋外に設置したカメラ１の連続撮影により取得された動画像から、車両の進入を検知し、フレーム毎に各車両のナンバー等の情報を対応付けることにより、１フレーム内に複数車両が存在する場合であってもナンバー等の情報と車両を対応付けることが可能となり、車両間の位置関係を判断することができ、並走状態や追い越しが起こったかどうかを判定することができる。
【００２７】
続いて、抽出対象車両の一部がその他の対象によって隠れているケースを想定し、このようなケースにおける抽出対象車両の抽出について説明する。例えば、このようなケースでは、抽出対象車両の初期特徴（例えばエッジ特徴）の時系列変化の領域を観測し、前後の対応点をとりながら、各初期特徴の時系列推移を画像内のx方向y方向について時間微分（１次および２次）をとり、進入対象物か否かの分類を行う。
【００２８】
車両抽出部３は、上記したように車両候補領域を抽出する。フレーム間統合部６は、車両候補領域の抽出に使用した初期特徴抽出結果を用いて、その時系列変化を観測し、前フレームとの特徴点間の対応をとり、画像のx方向y方向について時間微分（１次および２次）をとり、対象物の分類を行う。特徴点の移動に関しては２次微分変化量まで観測して特徴点群の分類を行う。例えば、カメラ１の画角に対し、カメラ１より遠い車両のナンバープレートが隠れるような陣形で通路内に侵入してきた車両を挙げた。この場合、車両検出情報の出力には、複数車両の存在を示す情報が含まれる。撮影画像内ではナンバープレートを探索しても、実在する車両台数分のナンバープレートが見つからない、あるいはナンバープレートの一部が隠れており実在する車両台数分のナンバーが認識できない。これに対して、ナンバー情報読取部９は１又は複数車両台数分の識別情報を読み取る。その結果、検出された車両台数、ナンバーが認識された車両台数、及び識別情報が読み取られた車両台数が、一致しなくなる。一例として、二輪等が集団で通路内に侵入してくる場合は、ナンバーの一部が見える/見えないといった状態が、ある一定時間続くことから、正確な車両台数を検出することができないことがある。このような状態を検知した場合は、対応関係確認部８は、警告を発し、作業者の注意を引く。
【００２９】
以上により屋外に設置したカメラ１により取得された動画像から、車両の進入および退出時間を求め、そのシーン中において車両領域の隠れを検知し、ナンバー情報読取部９からの識別情報とシーン内の認識結果を対応させることが出来なかった場合、警告を鳴らし、不正通行、通行時の記録の不備について知らせることが可能となる。
【００３０】
例えば図３に示すように、ナンバー情報読取部９により２台の車両から識別情報が読み取られ、画像処理により２台の車両の進入が検知され、また画像処理により１台の識別情報（ナンバー）が認識されるケースでは、進入した２台の車両を特定することができる。つまり、画像処理により１台の識別情報の認識に失敗していても、ナンバー情報読取部９により読み取られた識別情報により、画像処理により認識できなかった識別情報を特定することができる。
【００３１】
また、例えば、図４に示すように、ナンバー情報読取部９により３台の車両から識別情報が読み取られ、画像処理により２台の車両の進入が検知され、また画像処理により１台の識別情報が認識され、別の１台の識別情報が一部認識されるケースでも、各走行車両を追跡し、識別情報の一部認識結果を統合することにより、進入した３台の車両を特定できる可能性は高い。
【００３２】
以下、本実施形態についてまとめる。
【００３３】
本実施形態に係る車両認識装置は、動画像を解析し各車両の識別情報を検出するとともに各車両の動きを検出し、無線通信により受信した各車両の識別情報と、画像解析により取得された各車両の識別情報との対応を取り、確実に車両の通過を把握し、車両の通過履歴を保存する。これにより、様々なタイプの複数車両が同時に車両通行エリアに進入した場合であっても、また、車両通行エリア内で並行走行、追い越し走行があっても、移動車両を高精度に認識することが可能となる。
【００３４】
なお、本願発明は、上記実施形態に限定されるものではなく、実施段階ではその要旨を逸脱しない範囲で種々に変形することが可能である。また、各実施形態は可能な限り適宜組み合わせて実施してもよく、その場合組み合わせた効果が得られる。更に、上記実施形態には種々の段階の発明が含まれており、開示される複数の構成要件における適当な組み合わせにより種々の発明が抽出され得る。例えば、実施形態に示される全構成要件からいくつかの構成要件が削除されても、発明が解決しようとする課題の欄で述べた課題が解決でき、発明の効果の欄で述べられている効果が得られる場合には、この構成要件が削除された構成が発明として抽出され得る。
【図面の簡単な説明】
【００３５】
【図１】本発明の一実施形態に係る車両認識装置の概略構成を示すブロック図である。
【図２】並行走行の一例を示す図である。
【図３】並行走行により一部車両のナンバープレートが隠れるケースを説明するための図である。
【図４】集団走行により一部車両のナンバープレートが隠れるケースを説明するための図である。
【符号の説明】
【００３６】
１…カメラ、２…画像入力部、３…車両（輪郭）抽出部、４…ナンバー候補領域抽出部、５…ナンバー認識部、６…フレーム間統合部、７…車両間統合部、８…対応関係確認部、９…ナンバー情報読取部
【技術分野】
【０００１】
本発明は、例えば無線通信を利用して通行料金を決済するＥＴＣシステム（ノンストップ自動料金収受システム：Electronic Toll Collection system）に適用可能な車両認識技術に関する。
【背景技術】
【０００２】
近年、有料道路等においてＥＴＣシステムが大幅に普及している。ＥＴＣシステムとは、車両側の通信端末（車載機）と料金所側の無線装置（路側無線装置）との間の無線通信を利用して車載機に挿入されたＩＣカードより自動的に通行料金を徴収するシステムである。これは、車両の前面やフロントガラス等に車載機を取り付け、路側無線装置を通じて車両機（ＩＣカード）より必要な通行料金等を引き去るもので、料金を現金や回数券により手渡しで支払うために車両を止める必要もなく、料金徴収の円滑化および省力化を促進するシステムである。
【０００３】
ＥＴＣシステムの運用には、不正防止及び安全性等の観点から、車両を正確に認識する技術が不可欠である。例えば、車両検知および画像処理等により、二輪車や特殊大型車のように４輪でない車両の通過が認識され、さらにはこれら車両からナンバープレートが認識される。具体的には、センサ等を使用して車両の通過時点を検知し、その瞬間の映像を記録保存するシステムが提案されている（特許文献１、２参照）。
【０００４】
ただし、上記のような特殊大型車においては、対象車両毎に画角や焦点の調整位置が一般車両と異なるため、取得した画像からナンバープレートを認識できないことが有り得る。
【０００５】
これに対して、二輪車用及び特殊大型車用にセンサを別途設置し、センシングすべき対象物・焦点調整位置を別途想定する方法が考えられる。例えば、一般車両よりも車両長さが短い二輪車であればシャッターを切るタイミングを早め、逆に一般車両よりも車両長さが長い大型車であればシャッターをきるタイミングを遅延させる。
【特許文献１】特開平６−２４２２５９号公報
【特許文献２】特開２００３−２８１６８９号公報
【発明の開示】
【発明が解決しようとする課題】
【０００６】
上記したような別途設置のセンサからの情報を用いれば、二輪車及び特殊大型車等の対象車両の通過検知は正確となる。しかしながら、対象車両を画像処理に適した焦点位置へ導くことは依然として難しい。例えば、二輪車の場合、走行レーンの中央を走行するケース、中央より内側を走行するケース、中央より外側を走行するケースなどが予想される。その結果、カメラからの位置が自在に変化する対象車両の撮像画面からナンバープレート情報等を抽出しようとすると、焦点位置調整が不十分なため、撮像画像の一部がぼやけるなどの現象が容易に起こり得る。
【０００７】
従って、車両のバリエーションが増えるに従い調整すべきパラメータが増え、安定した車両認識が難しくなる。その結果として、同様の車両タイプについては誤検出及び誤認識が定常的に起きることが予測される。
【０００８】
本発明の目的は、様々なタイプの移動車両を精度よく認識する技術を提供することにある。
【課題を解決するための手段】
【０００９】
この発明の一実施形態に係る車両認識装置は、１又は複数車両の無線通信器と交信し、１又は複数車両に対して設定されている設定識別情報を読み取る第１の読取手段と、車両通行エリアを連続撮影する撮影手段と、前記撮影手段の所定期間の連続撮影により取得された複数フレームの各々から１又は複数の車両候補領域を抽出する第１の抽出手段と、前記第１の抽出手段により抽出された１又は複数の車両候補領域の各々から識別情報候補領域を抽出する第２の抽出手段と、前記第２の抽出手段により抽出された識別情報候補領域に表示されている表示識別情報の少なくとも一部を読み取る第２の読取手段と、前記複数フレームの各々に含まれる１又は複数の車両候補領域の移動を追跡し、前記車両通行エリア内に進入している各車両を特定するとともに、各車両に対応する少なくとも一部の表示識別情報の読取結果を統合し、各車両に対応する表示識別情報を認識する情報処理手段と、前記無線通信により得られた前記設定識別情報及び前記統合処理により得られた前記表示識別情報を対応付けて、車両通行エリア内に進入している各車両を認識する車両認識手段とを備えている。
【００１０】
また、この発明の一実施形態に係る車両認識方法は、１又は複数車両の無線通信器と交信し、１又は複数車両に対して設定されている設定識別情報を読み取り、車両通行エリアを連続撮影し、所定期間の連続撮影により取得された複数フレームの各々から１又は複数の車両候補領域を抽出し、前記抽出された１又は複数の車両候補領域の各々から識別情報候補領域を抽出し、前記抽出された識別情報候補領域に表示されている表示識別情報の少なくとも一部を読み取り、前記複数フレームの各々に含まれる１又は複数の車両候補領域の移動を追跡し、前記車両通行エリア内に進入している各車両を特定するとともに、各車両に対応する少なくとも一部の表示識別情報の読取結果を統合し、各車両に対応する表示識別情報を認識し、前記無線通信により得られた前記設定識別情報及び前記統合処理により得られた前記表示識別情報を対応付けて、車両通行エリア内に進入している各車両を認識する。
【発明の効果】
【００１１】
本発明によれば、様々なタイプの移動車両を精度よく認識する技術を提供できる。
【発明を実施するための最良の形態】
【００１２】
以下、図面を参照し、本発明の実施形態について説明する。つまり、１又は複数の走行車両との無線通信により識別情報を取得するとともに、１又は複数の走行車両を連続的に撮影して得られる動画像を解析し、１又は複数の走行車両から識別情報（ナンバー）を読み取り、各車両の走行状態（並行走行、追い越し、車両隠れ）を検出し、無線通信により読み取った識別情報と光学的に読み取った識別情報とを対応付けて、各車両の走行履歴を正確に収集する技術について説明する。
【００１３】
図１は、本発明の一実施形態に係る車両認識装置の概略構成を示すブロック図である。図１に示すように、車両認識装置は、カメラ１、画像入力部２、車両（輪郭）抽出部３、ナンバー候補領域抽出部４、ナンバー認識部５、フレーム間統合部６、車両間統合部７、対応関係確認部８、ナンバー情報読取部９を備えている。
【００１４】
ナンバー情報読取部９は、例えば無線通信器である。ナンバー情報読取部９は、車両に搭載された無線通信器と交信し、車両に対して設定されている識別情報（車両所有者ＩＤ、車両使用者ＩＤ、ナンバーなど）を読み取る。車両に対して設定されている識別情報とは、車両に搭載された無線通信器に記憶された情報である。なお、ナンバー情報読取部９は、図２に示すように所定の車両通行エリアを走行する１又は複数車両の夫々に搭載された無線通信器と交信することができ、その結果、１又は複数車両の夫々に対して設定されている識別情報を読み取ることができる。例えば、所定の車両通行エリアを１台の無線通信器非搭載車両と２台の無線通信器搭載車両とが走行する場合、ナンバー情報読取部９は、２台の無線通信器搭載車両に対して設定されている識別情報を取得することになる。
【００１５】
カメラ１は、上記した所定の車両通行エリア（所定区間）を連続撮影する。入力部２は、カメラ１の連続撮影により取得された複数フレームにより構成される動画像を入力する。入力部２は、例えば画像中の照明等の影響を低減させることを目的とした前処理を実行する。前処理を実行する手段の一例として、ノイズ成分及び光源濃度の照度の偏りを低減するSelf Quotient Filterが挙げられる。
【００１６】
車両抽出部３は、カメラ１の連続撮影により取得された複数フレームの各々から１又は複数の車両候補領域を抽出する。なお、車両抽出部３は、人物輪郭領域の抽出とあわせて、車両候補領域を抽出することもできる。つまり、二輪車を想定した場合、ドライバーの輪郭（人物輪郭）の抽出結果を利用することにより、より効果的に車両候補領域を抽出することができる。
【００１７】
なお、車両候補領域の抽出の前提として車両進入検知が必要となる。例えば次のようにして車両進入は検知される。まずフレーム毎のエッジ情報を求め、着目すべき特徴ベクトルを複数用意する。車両が進入していない場合は、フレーム間で特徴ベクトルは移動することなく比較的安定する。一方で車両が進入した場合は、フレーム間での特徴ベクトルが顕著に移動する。また特徴ベクトルの移動方向も特定できる。このため、動きがある物体検出は比較的容易である。動き方向を特定する手段としてはオプティカルフロー等の動き検知ベクトル情報を活用する。これにより、車両の進入、退出が確認出来る。車両及び人物の夫々の検知ベクトル情報を管理することにより、車両及び人物の位置関係を把握できる。なお、車両認識装置は、上記したように特徴ベクトル等を求める構成の替わりに、外部センサから車両の進入情報を受信する構成を備えていてもよい。
【００１８】
ナンバー候補領域抽出部４は、車両抽出部３により抽出された１又は複数の車両候補領域の各々からナンバー候補領域を抽出する。例えば、ナンバー候補領域を抽出する方法として、テンプレートマッチング法が挙げられる。
【００１９】
ナンバー認識部５は、ナンバー候補領域に表示されている少なくとも一部のナンバーを認識する。ナンバー認識部５により、ナンバー候補領域に表示されているナンバー全てが認識されることが好ましいが、ナンバーの一部しか認識できない場合でも、その認識結果を保存する。例えば、多数決評価などの方法を用いてナンバー認識結果を導出する。
【００２０】
フレーム間統合部６は、複数フレーム内の車両候補領域の時間変化を測定し、複数フレームの各々に含まれる１又は複数の車両候補領域の移動を追跡し、車両通行エリア内に進入している各車両を特定するとともに、各車両に対応する少なくとも一部のナンバー認識結果を統合し、各車両に対応するナンバーを認識する。さらに、フレーム間統合部６は、は、複数フレームの各々に含まれる１又は複数の車両候補領域の移動を追跡し、車両通行エリア内における車両の追い越しを検出することもできる。
【００２１】
例えば、第１フレーム内の第１の車両候補領域から第１のナンバー候補領域が抽出され、第１のナンバー候補領域からナンバーの上３桁（例えば１２３？）が認識され、第１フレーム内の第２の車両候補領域から第２のナンバー候補領域が抽出され、第２のナンバー候補領域からナンバーの下２桁（例えば？？７８）が認識されたとする。さらに、第２フレーム内の第１の車両候補領域から第１のナンバー候補領域が抽出され、第１のナンバー候補領域からナンバーの下３桁（例えば？２３４）が認識され、第２フレーム内の第２の車両候補領域から第２のナンバー候補領域が抽出され、第２のナンバー候補領域からナンバーの上３桁（例えば５６７？）が認識され、さらに、第２フレーム内の第３の車両候補領域から第３のナンバー候補領域が抽出され、第３のナンバー候補領域からナンバーの全桁（例えば４３２１）が認識されたとする。フレーム間統合部６は、ナンバー認識結果を統合し、第１の車両候補領域の第１の車両に対応するナンバー１２３４を認識し、第２の車両候補領域の第２の車両に対応するナンバー５６７８を認識する。さらに、フレーム間統合部６は、第１フレームにおいて車両の隠れを認識し、第２フレームで抽出された第３の車両候補領域の第３の車両に対応するナンバー４３２１についても認識する。
【００２２】
車両間統合部７は、ナンバー情報読取部９により読み取られた識別情報と、フレーム間統合部６により統合されたナンバー認識結果とをさらに統合し、車両通行エリア内に進入している各車両を認識する。例えば、ナンバー情報読取部９によりナンバー１２３４、ナンバー５６７８、ナンバー４３２１が読み取られていると仮定する。また、フレーム間統合部６の統合により、ナンバー１２３４、ナンバー５６７８、ナンバー４３２１が認識されているとする。この場合、一対一での対応付けが完了する。一対一での対応付けが完了しない場合には、無線通信器を搭載していない車両の通過、或いは無線通信器を搭載していたが他の車両に隠れたままの車両の通過を検出することができる。
【００２３】
以下に、車両の並走状態及び追い越し状態の検出例について説明する。
【００２４】
ナンバー情報読取部９により読み取られた複数車両の識別情報（ナンバー含む）、車両抽出部３により抽出された複数車両の車両候補領域、及びナンバー認識部５により認識された複数車両のナンバーを対応付けるとともに、各フレームにおける各車両候補領域の位置関係を評価する。例えば、各フレームにおける各車両候補領域の重なりを検出し並走状態を把握し、各々の車両を特定する。
【００２５】
同様に、ナンバー情報読取部９により読み取られた複数車両の識別情報、車両抽出部３により抽出された複数車両の車両候補領域、及びナンバー認識部５により認識された複数車両のナンバーを対応付けるとともに、各フレームにおける各車両候補領域の位置関係を評価する。例えば、複数のフレームにおける第１の車両候補領域が第２の車両候補領域を追い越す関係を確認し、各々の車両を特定する。
【００２６】
以上により、屋外に設置したカメラ１の連続撮影により取得された動画像から、車両の進入を検知し、フレーム毎に各車両のナンバー等の情報を対応付けることにより、１フレーム内に複数車両が存在する場合であってもナンバー等の情報と車両を対応付けることが可能となり、車両間の位置関係を判断することができ、並走状態や追い越しが起こったかどうかを判定することができる。
【００２７】
続いて、抽出対象車両の一部がその他の対象によって隠れているケースを想定し、このようなケースにおける抽出対象車両の抽出について説明する。例えば、このようなケースでは、抽出対象車両の初期特徴（例えばエッジ特徴）の時系列変化の領域を観測し、前後の対応点をとりながら、各初期特徴の時系列推移を画像内のx方向y方向について時間微分（１次および２次）をとり、進入対象物か否かの分類を行う。
【００２８】
車両抽出部３は、上記したように車両候補領域を抽出する。フレーム間統合部６は、車両候補領域の抽出に使用した初期特徴抽出結果を用いて、その時系列変化を観測し、前フレームとの特徴点間の対応をとり、画像のx方向y方向について時間微分（１次および２次）をとり、対象物の分類を行う。特徴点の移動に関しては２次微分変化量まで観測して特徴点群の分類を行う。例えば、カメラ１の画角に対し、カメラ１より遠い車両のナンバープレートが隠れるような陣形で通路内に侵入してきた車両を挙げた。この場合、車両検出情報の出力には、複数車両の存在を示す情報が含まれる。撮影画像内ではナンバープレートを探索しても、実在する車両台数分のナンバープレートが見つからない、あるいはナンバープレートの一部が隠れており実在する車両台数分のナンバーが認識できない。これに対して、ナンバー情報読取部９は１又は複数車両台数分の識別情報を読み取る。その結果、検出された車両台数、ナンバーが認識された車両台数、及び識別情報が読み取られた車両台数が、一致しなくなる。一例として、二輪等が集団で通路内に侵入してくる場合は、ナンバーの一部が見える/見えないといった状態が、ある一定時間続くことから、正確な車両台数を検出することができないことがある。このような状態を検知した場合は、対応関係確認部８は、警告を発し、作業者の注意を引く。
【００２９】
以上により屋外に設置したカメラ１により取得された動画像から、車両の進入および退出時間を求め、そのシーン中において車両領域の隠れを検知し、ナンバー情報読取部９からの識別情報とシーン内の認識結果を対応させることが出来なかった場合、警告を鳴らし、不正通行、通行時の記録の不備について知らせることが可能となる。
【００３０】
例えば図３に示すように、ナンバー情報読取部９により２台の車両から識別情報が読み取られ、画像処理により２台の車両の進入が検知され、また画像処理により１台の識別情報（ナンバー）が認識されるケースでは、進入した２台の車両を特定することができる。つまり、画像処理により１台の識別情報の認識に失敗していても、ナンバー情報読取部９により読み取られた識別情報により、画像処理により認識できなかった識別情報を特定することができる。
【００３１】
また、例えば、図４に示すように、ナンバー情報読取部９により３台の車両から識別情報が読み取られ、画像処理により２台の車両の進入が検知され、また画像処理により１台の識別情報が認識され、別の１台の識別情報が一部認識されるケースでも、各走行車両を追跡し、識別情報の一部認識結果を統合することにより、進入した３台の車両を特定できる可能性は高い。
【００３２】
以下、本実施形態についてまとめる。
【００３３】
本実施形態に係る車両認識装置は、動画像を解析し各車両の識別情報を検出するとともに各車両の動きを検出し、無線通信により受信した各車両の識別情報と、画像解析により取得された各車両の識別情報との対応を取り、確実に車両の通過を把握し、車両の通過履歴を保存する。これにより、様々なタイプの複数車両が同時に車両通行エリアに進入した場合であっても、また、車両通行エリア内で並行走行、追い越し走行があっても、移動車両を高精度に認識することが可能となる。
【００３４】
なお、本願発明は、上記実施形態に限定されるものではなく、実施段階ではその要旨を逸脱しない範囲で種々に変形することが可能である。また、各実施形態は可能な限り適宜組み合わせて実施してもよく、その場合組み合わせた効果が得られる。更に、上記実施形態には種々の段階の発明が含まれており、開示される複数の構成要件における適当な組み合わせにより種々の発明が抽出され得る。例えば、実施形態に示される全構成要件からいくつかの構成要件が削除されても、発明が解決しようとする課題の欄で述べた課題が解決でき、発明の効果の欄で述べられている効果が得られる場合には、この構成要件が削除された構成が発明として抽出され得る。
【図面の簡単な説明】
【００３５】
【図１】本発明の一実施形態に係る車両認識装置の概略構成を示すブロック図である。
【図２】並行走行の一例を示す図である。
【図３】並行走行により一部車両のナンバープレートが隠れるケースを説明するための図である。
【図４】集団走行により一部車両のナンバープレートが隠れるケースを説明するための図である。
【符号の説明】
【００３６】
１…カメラ、２…画像入力部、３…車両（輪郭）抽出部、４…ナンバー候補領域抽出部、５…ナンバー認識部、６…フレーム間統合部、７…車両間統合部、８…対応関係確認部、９…ナンバー情報読取部
【特許請求の範囲】
【請求項１】
１又は複数車両の無線通信器と交信し、１又は複数車両に対して設定されている設定識別情報を読み取る第１の読取手段と、
車両通行エリアを連続撮影する撮影手段と、
前記撮影手段の所定期間の連続撮影により取得された複数フレームの各々から１又は複数の車両候補領域を抽出する第１の抽出手段と、
前記第１の抽出手段により抽出された１又は複数の車両候補領域の各々から識別情報候補領域を抽出する第２の抽出手段と、
前記第２の抽出手段により抽出された識別情報候補領域に表示されている表示識別情報の少なくとも一部を読み取る第２の読取手段と、
前記複数フレームの各々に含まれる１又は複数の車両候補領域の移動を追跡し、前記車両通行エリア内に進入している各車両を特定するとともに、各車両に対応する少なくとも一部の表示識別情報の読取結果を統合し、各車両に対応する表示識別情報を認識する情報処理手段と、
前記無線通信により得られた前記設定識別情報及び前記統合処理により得られた前記表示識別情報を対応付けて、車両通行エリア内に進入している各車両を認識する車両認識手段と、
を備えた車両認識装置。
【請求項２】
前記情報処理手段は、前記複数フレームの各々に含まれる１又は複数の車両候補領域の移動を追跡し、前記車両通行エリア内における車両の追い越しを検出する請求項１に記載の車両認識装置。
【請求項３】
前記情報処理手段は、前記複数フレーム中の連続する所定数のフレームにおける前記設定識別情報及び前記表示識別情報の対応付け成否に基づき、車両隠れを検出する請求項１に記載の車両認識装置。
【請求項４】
前記車両隠れ検出に基づく警告を出力する出力手段をさらに備えた請求項３に記載の車両認識装置。
【請求項５】
１又は複数車両の無線通信器と交信し、１又は複数車両に対して設定されている設定識別情報を読み取り、
車両通行エリアを連続撮影し、
所定期間の連続撮影により取得された複数フレームの各々から１又は複数の車両候補領域を抽出し、
前記抽出された１又は複数の車両候補領域の各々から識別情報候補領域を抽出し、
前記抽出された識別情報候補領域に表示されている表示識別情報の少なくとも一部を読み取り、
前記複数フレームの各々に含まれる１又は複数の車両候補領域の移動を追跡し、前記車両通行エリア内に進入している各車両を特定するとともに、各車両に対応する少なくとも一部の表示識別情報の読取結果を統合し、各車両に対応する表示識別情報を認識し、
前記無線通信により得られた前記設定識別情報及び前記統合処理により得られた前記表示識別情報を対応付けて、車両通行エリア内に進入している各車両を認識することを特徴とする車両認識方法。
【請求項１】
１又は複数車両の無線通信器と交信し、１又は複数車両に対して設定されている設定識別情報を読み取る第１の読取手段と、
車両通行エリアを連続撮影する撮影手段と、
前記撮影手段の所定期間の連続撮影により取得された複数フレームの各々から１又は複数の車両候補領域を抽出する第１の抽出手段と、
前記第１の抽出手段により抽出された１又は複数の車両候補領域の各々から識別情報候補領域を抽出する第２の抽出手段と、
前記第２の抽出手段により抽出された識別情報候補領域に表示されている表示識別情報の少なくとも一部を読み取る第２の読取手段と、
前記複数フレームの各々に含まれる１又は複数の車両候補領域の移動を追跡し、前記車両通行エリア内に進入している各車両を特定するとともに、各車両に対応する少なくとも一部の表示識別情報の読取結果を統合し、各車両に対応する表示識別情報を認識する情報処理手段と、
前記無線通信により得られた前記設定識別情報及び前記統合処理により得られた前記表示識別情報を対応付けて、車両通行エリア内に進入している各車両を認識する車両認識手段と、
を備えた車両認識装置。
【請求項２】
前記情報処理手段は、前記複数フレームの各々に含まれる１又は複数の車両候補領域の移動を追跡し、前記車両通行エリア内における車両の追い越しを検出する請求項１に記載の車両認識装置。
【請求項３】
前記情報処理手段は、前記複数フレーム中の連続する所定数のフレームにおける前記設定識別情報及び前記表示識別情報の対応付け成否に基づき、車両隠れを検出する請求項１に記載の車両認識装置。
【請求項４】
前記車両隠れ検出に基づく警告を出力する出力手段をさらに備えた請求項３に記載の車両認識装置。
【請求項５】
１又は複数車両の無線通信器と交信し、１又は複数車両に対して設定されている設定識別情報を読み取り、
車両通行エリアを連続撮影し、
所定期間の連続撮影により取得された複数フレームの各々から１又は複数の車両候補領域を抽出し、
前記抽出された１又は複数の車両候補領域の各々から識別情報候補領域を抽出し、
前記抽出された識別情報候補領域に表示されている表示識別情報の少なくとも一部を読み取り、
前記複数フレームの各々に含まれる１又は複数の車両候補領域の移動を追跡し、前記車両通行エリア内に進入している各車両を特定するとともに、各車両に対応する少なくとも一部の表示識別情報の読取結果を統合し、各車両に対応する表示識別情報を認識し、
前記無線通信により得られた前記設定識別情報及び前記統合処理により得られた前記表示識別情報を対応付けて、車両通行エリア内に進入している各車両を認識することを特徴とする車両認識方法。
【図１】
【図２】
【図３】
【図４】
【図２】
【図３】
【図４】
【公開番号】特開２００９−４８２２５（Ｐ２００９−４８２２５Ａ）
【公開日】平成２１年３月５日（２００９．３．５）
【国際特許分類】
【出願番号】特願２００７−２１０８８２（Ｐ２００７−２１０８８２）
【出願日】平成１９年８月１３日（２００７．８．１３）
【出願人】（０００００３０７８）株式会社東芝 (54,554)
【Ｆターム（参考）】
【公開日】平成２１年３月５日（２００９．３．５）
【国際特許分類】
【出願日】平成１９年８月１３日（２００７．８．１３）
【出願人】（０００００３０７８）株式会社東芝 (54,554)
【Ｆターム（参考）】
[ Back to top ]