番号標検出装置、コンピュータプログラム及び番号標検出方法
【課題】車両の番号標を精度良く検出することができる番号標検出装置、コンピュータプログラム及び番号標検出方法を提供する。
【解決手段】文字領域候補特定部１３は、撮像画像に基づいて文字領域の候補である文字領域候補を特定する。番号標位置推定部１５は、記憶した位置ベクトルに基づいて、文字領域候補特定部１３で特定した文字領域候補毎に当該文字領域候補の位置に対応するナンバープレートの中心の位置の候補を推定する。番号標位置特定部１６は、複数の文字領域候補により推定された任意の位置の候補が、例えば、撮像画像上で一致する場合、あるいは撮像画像上で所定の範囲内にある場合、当該任意の位置の候補をナンバープレートの中心位置として特定する。
【解決手段】文字領域候補特定部１３は、撮像画像に基づいて文字領域の候補である文字領域候補を特定する。番号標位置推定部１５は、記憶した位置ベクトルに基づいて、文字領域候補特定部１３で特定した文字領域候補毎に当該文字領域候補の位置に対応するナンバープレートの中心の位置の候補を推定する。番号標位置特定部１６は、複数の文字領域候補により推定された任意の位置の候補が、例えば、撮像画像上で一致する場合、あるいは撮像画像上で所定の範囲内にある場合、当該任意の位置の候補をナンバープレートの中心位置として特定する。
【発明の詳細な説明】
【技術分野】
【０００１】
本発明は、道路を走行する車両を撮像して得られた撮像画像に基づいて該車両の番号標を検出する番号標検出装置、該番号標検出装置を実現するためのコンピュータプログラム及び番号標検出方法に関する。
【背景技術】
【０００２】
近年、交通監視などの分野において、特定の車両を抽出する技術の１つとして車両のナンバープレート（番号標）を検出する技術が開発されている。例えば、ナンバープレートなどの予め文字（パターン）の配置情報が既知であるパターン列を抽出するものとして、蓄積辞書（パターン認識のために用いられる基準パターン）を用いて、ずらしマッチング法によりパターン列を抽出する方法が開示されている（特許文献１参照）。
【０００３】
また、ナンバープレートの地色と文字色との白黒階調差を利用して、原画像データから生成された文字抽出用データ内に存在する処理対象領域（明部または暗部）について文字列を抽出して文字認識を行う車両ナンバープレート認識装置が開示されている（特許文献２参照）。
【先行技術文献】
【特許文献】
【０００４】
【特許文献１】特許第３７６２１８９号公報
【特許文献２】特許第３４５５４５４号公報
【発明の概要】
【発明が解決しようとする課題】
【０００５】
しかしながら、従来のパターン列抽出、文字列抽出方法にあっては、明暗のパターンから文字と思われる枠を抽出し、抽出した枠の配置に基づいてナンバープレートを検出するため、ナンバープレートを検出するためには、まず文字認識のための処理を行う必要がある。ナンバープレート内の文字を認識することが前提となっているので、例えば、ナンバープレートの一部が撮像画像から欠落している場合、ナンバープレートが傾いた状態で撮像された場合に、文字を正しく認識することができないという課題が存在するのみならず、文字認識処理に要する計算コストが大きくなるという課題があった。また、従来の方法にあっては、撮像画像上での文字候補枠の配置が重要なので、撮像装置（カメラ）を取り付ける際の取付け位置又は取付け角度（例えば、レンズの光軸方向）などの調整が必要であるため取付け作業に多くの手間を要した。
【０００６】
本発明は、斯かる事情に鑑みてなされたものであり、車両の番号標を精度良く検出することができる番号標検出装置、該番号標検出装置を実現するためのコンピュータプログラム及び番号標検出方法を提供することを目的とする。
【課題を解決するための手段】
【０００７】
第１発明に係る番号標検出装置は、撮像部で道路を走行する車両を撮像して得られた撮像画像に基づいて該車両の番号標を検出する番号標検出装置において、車両の番号標の任意の位置と該番号標内の文字領域の位置との対応関係を示す対応情報を予め複数記憶する記憶手段と、撮像画像に基づいて少なくとも２つの文字領域候補を特定する候補領域特定手段と、該候補領域特定手段で特定した文字領域候補及び前記記憶手段に記憶した対応情報に基づいて前記撮像画像上の番号標の任意の位置を特定する位置特定手段と、該位置特定手段で特定した任意の位置に基づいて番号標を検出する検出手段とを備えることを特徴とする。
【０００８】
第２発明に係る番号標検出装置は、第１発明において、前記記憶手段に記憶した対応情報に基づいて前記候補領域特定手段で特定した文字領域候補毎に該文字領域候補の位置に対応する番号標の任意の位置の候補を推定する推定手段を備え、前記位置特定手段は、前記撮像画像上の所定の画素数で構成される画素ブロック内に存在する前記候補の数が所定値以上である場合、前記候補を前記任意の位置として特定するように構成してあることを特徴とする。
【０００９】
第３発明に係る番号標検出装置は、第１発明又は第２発明において、前記候補領域特定手段は、番号標の任意の位置が予め特定された番号標画像に基づいて文字領域候補を特定するようにしてあり、前記候補領域特定手段で特定した文字領域候補及び予め特定された任意の位置に基づいて前記対応情報を複数生成する対応情報生成手段を備え、該対応情報生成手段で生成した対応情報を前記記憶手段に記憶するように構成してあることを特徴とする。
【００１０】
第４発明に係る番号標検出装置は、第３発明において、前記候補領域特定手段は、撮像画像上での番号標画像の傾きが異なる複数の番号標画像に基づいて文字領域候補を特定するように構成してあることを特徴とする。
【００１１】
第５発明に係る番号標検出装置は、第１発明乃至第４発明のいずれか１つにおいて、前記記憶手段は、前記文字領域の大小に応じて区分けされた文字領域毎に対応情報を予め複数記憶してあり、前記位置特定手段は、前記候補領域特定手段で特定した文字領域候補及び該文字領域候補の大小に応じた対応情報に基づいて、前記撮像画像上の番号標の前記任意の位置を特定するように構成してあることを特徴とする。
【００１２】
第６発明に係る番号標検出装置は、第１発明乃至第５発明のいずれか１つにおいて、前記対応情報は、車両の番号標の任意の位置と該番号標内の文字領域の位置とで決定される撮像画像上の位置ベクトルであることを特徴とする。
【００１３】
第７発明に係るコンピュータプログラムは、コンピュータに、撮像部で道路を走行する車両を撮像して得られた撮像画像に基づいて該車両の番号標を検出するステップを実行させるためのコンピュータプログラムにおいて、コンピュータに、撮像画像に基づいて少なくとも２つの文字領域候補を特定するステップと、特定した文字領域候補及び車両の番号標の任意の位置と該番号標内の文字領域の位置との対応関係を示す対応情報に基づいて前記撮像画像上の番号標の任意の位置を特定するステップと、特定した任意の位置に基づいて番号標を検出するステップとを実行させることを特徴とする。
【００１４】
第８発明に係る番号標検出方法は、撮像部で道路を走行する車両を撮像して得られた撮像画像に基づいて該車両の番号標を検出する番号標検出装置による番号標検出方法おいて、車両の番号標の任意の位置と該番号標内の文字領域の位置との対応関係を示す対応情報を予め複数記憶しておき、撮像画像に基づいて少なくとも２つの文字領域候補を特定するステップと、特定された文字領域候補及び記憶した対応情報に基づいて前記撮像画像上の番号標の任意の位置を特定するステップと、特定された任意の位置に基づいて番号標を検出するステップとを含むことを特徴とする。
【００１５】
第１発明、第７発明及び第８発明にあっては、車両の番号標（ナンバープレート）の任意の位置と当該番号標内の文字領域の位置との対応関係を示す対応情報を予め複数記憶しておく。番号標の任意の位置とは、例えば、番号標の中心の位置、番号標の四隅のいずれかの位置などである。文字領域とは、ナンバープレートに記載されている文字（数字、平仮名、漢字など）で表される陸運支局、分類番号、用途番号、一連番号などを含む（囲む）領域である。文字領域の位置は、例えば、文字領域の中心、文字領域を矩形状とした場合に、四隅のいずれかの位置などとすることができる。対応情報は、例えば、位置の対応関係を示すベクトル（位置ベクトル）である。
【００１６】
撮像画像に基づいて少なくとも２つの文字領域候補を特定し、特定した文字領域候補及び記憶した対応情報に基づいて撮像画像上の番号標の任意の位置を特定する。文字領域候補は、例えば、撮像画像に対して水平方向及び／又は垂直方向エッジ検出フィルタを施してエッジの集合を特定して二値化し、二値化されたエッジ画像を囲む矩形領域を文字領域候補として特定することができる。１つ目の文字領域候補が特定された場合、当該文字領域候補に対する番号標の任意の位置の候補を対応情報に基づいて複数推定する。また２つ目以降の文字領域候補が特定された場合にも、同様に当該文字領域候補に対する番号標の任意の位置の候補を対応情報に基づいて複数推定する。そして、複数の文字領域候補により推定された任意の位置の候補が、例えば、撮像画像上で一致する場合、あるいは撮像画像上で所定の範囲内にある場合、当該任意の位置の候補を番号標の任意の位置を特定する。撮像画像上の番号標の任意の位置（例えば、中心又は四隅の１つ等）が分かれば、撮像画像上の番号標の寸法（大きさ）に基づいて、番号標を検出する。
【００１７】
従来、文字を認識しなければ車両の番号標を検出することができなかったのに対し、本発明にあっては、番号標を検出するために文字列又はパターン列を抽出して文字を認識する処理を必要とせず、文字領域候補を特定することにより、ナンバープレートの一部が撮像画像から欠落して一部の文字を認識することができない場合であっても番号標の任意の位置を特定して番号標を精度よく検出することができる。
【００１８】
第２発明にあっては、記憶した対応情報に基づいて、特定した文字領域候補毎に当該文字領域候補の位置に対応する番号標の任意の位置の候補を推定する。そして、撮像画像上の所定の画素数で構成される画素ブロック（例えば、２×２画素、３×３画素など）内に存在する候補の数が所定値以上である場合、当該候補を番号標の任意の位置として特定する。すなわち、文字領域候補毎に対応情報に基づいた複数の候補を推定して候補に投票する。推定された候補（すなわち、投票された候補）の数が所定値（例えば、２、３など）以上である場合、当該候補を番号標の任意の位置として特定する。これにより、少なくとも２つの文字領域候補を特定することができれば、番号標の任意の位置を特定して番号標を検出することができる。また、特定した文字領域候補の数が増えれば、番号標の任意の位置の特定の精度を向上させることができる。
【００１９】
第３発明にあっては、番号標の任意の位置が予め特定された番号標画像に基づいて文字領域候補を特定し、特定した文字領域候補及び予め特定された任意の位置に基づいて対応情報を複数生成し、生成した対応情報を記憶する。番号標画像に基づいて番号標の任意の位置と文字領域候補の位置との対応関係を示す対応情報を生成して記憶することにより、文字領域候補の位置に対する番号標の任意の位置を学習して番号標を正確に検出することができる。
【００２０】
第４発明にあっては、撮像画像上での番号標画像の傾きが異なる複数の番号標画像に基づいて文字領域候補を特定する。撮像画像上で予め傾いた番号標画像を用いて文字領域候補を特定し、番号標の任意の位置と特定した文字領域候補の位置との対応関係を示す対応情報を生成して記憶することにより、番号標が傾斜して取り付けられた車両を撮像した場合であっても、番号標を精度よく検出することができる。
【００２１】
第５発明にあっては、文字領域の大小に応じて区分けされた文字領域毎に対応情報を予め複数記憶しておく。文字領域の大小とは、ナンバープレートに記載されている陸運支局、分類番号、用途番号、一連番号（２桁目と３桁目との間のハイフン、空白桁を示すドットを含む）の各文字の大小である。特定した文字領域候補及び当該文字領域候補の大小に応じた対応情報に基づいて、撮像画像上の番号標の任意の位置を特定する。例えば、番号標の数字部分、漢字部分、平仮名部分、ハイフン部分又はドット部分毎に個別の対応情報を記憶しておき、特定した文字領域候補の大小に応じて別々に番号標の任意の位置を特定することにより、番号標に記載されたいずれの文字であっても文字領域候補として特定することができ、番号標の検出精度を高めることができる。
【００２２】
第６発明にあっては、対応情報は、車両の番号標の任意の位置と当該番号標内の文字領域の位置とで決定される撮像画像上の位置ベクトルである。例えば、位置ベクトルは、撮像画像上の文字領域の中心を始点とし、番号標の中心を終点とするベクトルとすることができる。これにより、文字領域候補を特定することができれば、番号標の任意の位置を特定することができる。
【発明の効果】
【００２３】
本発明によれば、文字領域候補を特定することにより、ナンバープレートの一部が撮像画像から欠落して一部の文字を認識することができない場合であっても番号標の任意の位置を特定して番号標を精度よく検出することができる。
【図面の簡単な説明】
【００２４】
【図１】本実施の形態の番号標検出装置の構成の一例を示すブロック図である。
【図２】ナンバープレートの一例を示す模式図である。
【図３】位置ベクトルの一例を示す模式図である。
【図４】位置ベクトルに基づいてナンバープレートの中心位置を推定する方法の一例を示す説明図である。
【図５】複数の文字領域候補に基づいてナンバープレートの中心位置を推定する方法の一例を示す説明図である。
【図６】ナンバープレートの検出の一例を示す説明図である。
【図７】位置ベクトルの他の例を示す模式図である。
【図８】位置ベクトルに基づいてナンバープレートの中心位置を推定する方法の他の例を示す説明図である。
【図９】本実施の形態の番号標検出装置による位置関係データの生成処理の手順を示すフローチャートである。
【図１０】本実施の形態の番号標検出装置によるナンバープレート検出処理の手順を示すフローチャートである。
【発明を実施するための形態】
【００２５】
以下、本発明を実施の形態を示す図面に基づいて説明する。図１は本実施の形態の番号標検出装置１００の構成の一例を示すブロック図である。番号標検出装置１００には、撮像部としての撮像装置２００を接続してある。なお、撮像装置２００は、番号標検出装置１００に内蔵する構成であってもよい。
【００２６】
撮像装置２００は、照明部、カメラ（不図示）などを備えている。照明部は、複数のＬＥＤを備え、カメラで車両を撮像するタイミング（例えば、３３ｍｓの都度）に併せて近赤外光を、道路を走行する車両に対して照射する。これにより、例えば、夜間においても、カメラで車両を撮像することができる。
【００２７】
撮像装置２００は、道路を走行する車両を撮像し、撮像して得られた画像データを番号標検出装置１００へ出力する。撮像装置２００で撮像して得られる撮像画像は、車両のナンバープレート（番号標）を検出することができる程度の解像度を有する。
【００２８】
番号標検出装置１００は、装置内の各部を制御する制御部１０、画像入力部１１、画像メモリ１２、候補領域特定手段としての文字領域候補特定部１３、記憶手段としての記憶部１４、推定手段としての番号標位置推定部１５、位置特定手段及び検出手段としての番号標位置特定部１６、車番判定部１７、対応情報生成手段としての対応情報生成部１８などを備える。なお、本実施の形態において、車両の番号標（例えば、ナンバープレート）を検出するとは、撮像画像上でどの領域がナンバープレートの領域であるかを検出することを含む。
【００２９】
画像入力部１１は、撮像装置２００で撮像して得られた画像データを取得し、取得した画像データをフレーム単位に撮像時刻に対応付けて画像メモリ１２に記憶する。
【００３０】
文字領域候補特定部１３は、撮像画像（画像データ）に基づいて文字領域の候補である文字領域候補を特定する。文字領域とは、ナンバープレートに記載されている文字（数字、平仮名、漢字など）で表される陸運支局、分類番号、用途番号、一連番号などを含む（囲む）領域である。文字領域候補特定部１３は、特定した文字領域候補の大きさに基づいて、当該文字領域候補の中心位置も特定する。
【００３１】
文字領域候補は、例えば、撮像画像に対して水平方向及び／又は垂直方向エッジ検出フィルタを施してエッジの集合を特定して二値化し、二値化されたエッジ画像を囲む矩形領域を文字領域候補として特定することができる。なお、文字領域候補の特定は、他の公知の方法を用いることができる。
【００３２】
図２はナンバープレート５０の一例を示す模式図である。図２に示すように、ナンバープレート５０は、「大阪」などの漢字等で表した陸運支局の各文字を囲む（含む）文字領域５２、１〜３桁の数字で表した分類番号の各文字を囲む文字領域５３、平仮名等で表した用途番号を囲む文字領域５４、４桁の数字で表した一連番号の各文字を囲む５５、一連番号の２桁目と３桁目との間にある区切り符号であるハイフン（「‐」）を囲む文字領域５６、一連番号の空白桁を表す符号であるドット（「・」）を囲む文字領域（不図示）などを有する。
【００３３】
文字領域５２〜５６は、矩形状をなすが、文字領域の形状は矩形状に限定されるものではない。また、５１はナンバープレート５０の中心（任意の位置）である。なお、ナンバープレート５０の任意の位置は、中心に限定されるものではなく、矩形状のナンバープレート５０の四隅のいずれか１つであってもよい。また、文字領域５２〜５６の位置は、文字領域５２〜５６の中心であるが、これに限定されるものではなく、矩形状の文字領域の四隅のいずれか１つであってもよい。
【００３４】
記憶部１４は、車両のナンバープレート（番号標）の任意の位置（例えば、ナンバープレートの中心）と当該ナンバープレート内の文字領域の位置（例えば、文字領域の中心）との対応関係を示す対応情報を予め複数記憶してある。対応情報は、ナンバープレートの任意の位置（中心）と当該ナンバープレート内の文字領域の位置（中心）とで決定される撮像画像上の位置ベクトルである。例えば、位置ベクトルは、撮像画像上の文字領域の中心を始点とし、ナンバープレートの中心を終点とするベクトルとすることができる。
【００３５】
図３は位置ベクトルの一例を示す模式図である。図３は車両のナンバープレート５０（番号標）の任意の位置（中心）と当該ナンバープレート５０内の文字領域５２〜５６の位置（中心位置）との対応関係を示す対応情報としての位置ベクトルを示す。
【００３６】
位置ベクトルは、撮像画像上の文字領域の中心を始点とし、ナンバープレート５０の中心を終点とするベクトルである。例えば、ナンバープレート５０の一連番号の各数字を囲む４つの文字領域５５では、文字領域毎に位置ベクトルＶ５５ａ、Ｖ５５ｂ、Ｖ５５ｃ、Ｖ５５ｄが存在する。また、陸運支局の各文字を囲む２つの文字領域５２では、文字領域毎に位置ベクトルＶ５２ａ、Ｖ５２ｂが存在する。また、分類番号の各文字を囲む３つの文字領域５３では、文字領域毎に位置ベクトルＶ５３ａ、Ｖ５３ｂ、Ｖ５３ｃが存在する。また、用途番号を囲む文字領域５４では、位置ベクトルＶ５４ａが存在する。また、一連番号の２桁目と３桁目との間にある区切り符号であるハイフン（「‐」）を囲む文字領域５６では、位置ベクトルＶ５６ａが存在する。
【００３７】
記憶部１４には、複数のナンバープレートについて、それぞれのナンバープレート内の文字領域毎の位置ベクトルを学習データとして記憶してある。便宜上、位置ベクトルＶは、Ｖ（Δｘ１、Δｙ１）〜（ΔｘＮ、ΔｙＮ）と表すことができる。ここで、Ｎは、ナンバープレート内の文字領域の数が同じであるとすれば、ナンバープレート内の文字領域の数にナンバープレートの数を乗算した数である。すなわち、記憶部１４には、位置ベクトル（Δｘｉ、Δｙｉ）（ｉ＝１〜Ｎ）の頻度分布ｆ（Δｘ、Δｙ）が後述の投票の基礎となる位置関係データ（学習データ）として記憶してある。
【００３８】
番号標位置推定部１５は、記憶した位置ベクトル（対応情報）に基づいて、文字領域候補特定部１３で特定した文字領域候補毎に当該文字領域候補の位置に対応するナンバープレートの中心の位置の候補を推定する。
【００３９】
図４は位置ベクトルに基づいてナンバープレートの中心位置を推定する方法の一例を示す説明図である。図４では、簡略化のため、位置ベクトルは、ナンバープレートの４つの一連番号それぞれに対応する文字領域毎に存在するものとする。すなわち、ナンバープレートの中心の位置の候補を推定する位置ベクトル（位置関係データ）は４つ存在するものとする。また、撮像画像上（座標ｘ、ｙ）で文字領域候補５５１が特定されたとする。
【００４０】
この場合、番号標位置推定部１５は、図４に示すように、文字領域候補５５１の中心位置の座標（ｘ０１、ｙ０１）を始点とする４つの位置ベクトルＶ５５ａ〜Ｖ５５ｄ（Δｘｉ、Δｙｉ）で示す終点位置（ｘ０１＋Δｘｉ、ｙ０１＋Δｙｉ）をナンバープレートの中心の位置の候補を推定して、各終点位置に投票する。すなわち、位置ベクトルが４つ存在する場合、１つの文字領域候補を特定することにより、ナンバープレートの中心位置の候補が４つ推定（投票）されることになる。
【００４１】
図５は複数の文字領域候補に基づいてナンバープレートの中心位置を推定する方法の一例を示す説明図である。図５の例は、図４の例において、文字領域候補５５１に加えて、２つ目の文字領域候補５５２を特定した場合を示す。図４の例と同様に、番号標位置推定部１５は、文字領域候補５５２の中心位置の座標（ｘ０２、ｙ０２）を始点とする４つの位置ベクトルＶ５５ａ〜Ｖ５５ｄ（Δｘｉ、Δｙｉ）で示す終点位置（ｘ０２＋Δｘｉ、ｙ０２＋Δｙｉ）をナンバープレートの中心の位置の候補を推定して、各終点位置に投票する。
【００４２】
番号標位置特定部１６は、撮像画像に基づいて少なくとも２つの文字領域候補及び記憶部１４に記憶した位置ベクトル（対応情報）に基づいて撮像画像上のナンバープレートの中心（任意の位置）を特定する。
【００４３】
より具体的には、図５に示すように、番号標位置特定部１６は、１つ目の文字領域候補５５１が特定された場合、当該文字領域候補５５１に対するナンバープレートの中心（任意の位置）の候補を位置ベクトル（対応情報）Ｖ５５ａ〜Ｖ５５ｄに基づいて複数推定する。また２つ目以降の文字領域候補５５２が特定された場合にも、同様に当該文字領域候補に対するナンバープレートの中心（任意の位置）の候補を位置ベクトル（対応情報）Ｖ５５ａ〜Ｖ５５ｄに基づいて複数推定する。そして、複数の文字領域候補５５１、５５２により推定された任意の位置の候補が、例えば、撮像画像上で一致する場合、あるいは撮像画像上で所定の範囲（図５の符号６０で例示）内にある場合、当該任意の位置の候補をナンバープレートの中心（任意の位置）として特定する。
【００４４】
上述の所定の範囲とは、例えば、撮像画像上の所定の画素数で構成される画素ブロック（例えば、２×２画素、３×３画素など）とすることができる。画素ブロックを構成する画素数は、ナンバープレートの検出精度に応じて適宜設定することができる。すなわち、検出精度を上げる必要がある場合には、画素ブロックの画素数を少なくすればよい。
【００４５】
また、ナンバープレートの中心（任意の位置）を特定する場合、画素ブロック内に存在する候補の数が所定値以上であるときに、当該候補をナンバープレートの中心として特定することができる。すなわち、番号標位置推定部１５は、文字領域候補毎に位置ベクトルに基づいた複数の候補を推定して候補に投票する。そして、番号標位置特定部１６は、推定された候補（すなわち、投票された候補）の数が所定値（例えば、２、３など）以上である場合、当該候補をナンバープレートの中心として特定する。なお、所定値は、特定する文字領域候補の数以下の数値とすることができる。例えば、２つの文字領域候補を特定する場合には、所定値は２とすることができる。また、３つの文字領域候補を特定する場合には、所定値は２、３とすることができる。
【００４６】
図６はナンバープレートの検出の一例を示す説明図である。番号標位置特定部１６は、特定したナンバープレートの中心（任意の位置）に基づいて、ナンバープレートを検出する。図６に示すように、撮像画像上のナンバープレートの任意の位置（例えば、中心又は四隅の１つ等）が分かれば、撮像画像上のナンバープレートの寸法（例えば、中心から水平方向にそれぞれｍ画素、垂直方向にそれぞれｎ画素の大きさ）に基づいて、ナンバープレートを検出することができる。
【００４７】
車番判定部１７は、番号標位置特定部１６で検出されたナンバープレートのプレート画像に対して、文字の認識処理を行って、陸運支局、分類番号、用途番号、一連番号などの車両番号（車番）を判定する。なお、車番判定部１７は、番号標検出装置１００に備える構成の他、他の外部の装置に具備することにより、番号標検出装置１００に具備しない構成でもよい。
【００４８】
上述のように、従来であれば、ナンバープレートの文字を認識しなければナンバープレートを検出することができなかったのに対し、本実施の形態にあっては、ナンバープレートを検出するために文字列又はパターン列を抽出して文字を認識する処理を必要とせず、ナンバープレートの一部が撮像画像から欠落して一部の文字を認識することができない場合であっても、文字領域候補を特定するだけでナンバープレートの任意の位置を特定してナンバープレートを精度よく検出することができる。これにより、文字領域候補を特定することができれば、ナンバープレートの任意の位置を特定することができる。
【００４９】
また、本実施の形態にあっては、少なくとも２つの文字領域候補を特定することができれば、学習データ（位置ベクトルのデータ、位置ベクトルの分布データ）に基づいて、ナンバープレートの任意の位置を特定してナンバープレートを検出することができる。さらに、特定した文字領域候補の数が増えれば、ナンバープレートの任意の位置の特定の精度を向上させることができる。
【００５０】
図４、図５の例では、一連番号に対応する文字領域について説明したが、図３に示すように文字領域５２〜５６の大きさは異なる。文字領域は、ナンバープレートに記載されている陸運支局、分類番号、用途番号、一連番号（２桁目と３桁目との間のハイフン、空白桁を示すドットを含む）の各文字の大小に応じて大きさが異なる。そこで、文字領域の大小に応じて区分けされた文字領域毎に位置ベクトル（対応情報）を予め複数記憶しておく。
【００５１】
特定した文字領域候補及び当該文字領域候補の大小に応じた位置ベクトルに基づいて、撮像画像上のナンバープレートの中心（任意の位置）を特定することもできる。例えば、ナンバープレートの数字部分、漢字部分、平仮名部分、ハイフン部分又はドット部分毎に個別の位置ベクトル（対応情報）を記憶しておき、特定した文字領域候補の大小に応じて別々にナンバープレートの中心を特定することにより、ナンバープレートに記載されたいずれの文字であっても文字領域候補として特定することができ、ナンバープレートの検出精度を高めることができる。
【００５２】
また、文字領域の大きさに応じて、重み付け係数を付与しておき、ナンバープレートの中心を推定（投票）する際の投票数に重み付け係数を付けることもできる。例えば、数字などの一連番号に対する文字領域には、重み付け係数２を付与し、ハイフン又はドットなどの符号に対する文字領域には、重み付け係数１を付与し、数字の文字領域に基づいてナンバープレートの中心の候補を推定（投票）する際には、投票数を２倍（重み付け係数２）し、符号の文字領域に基づいてナンバープレートの中心の候補を推定（投票）する際には、投票数を１倍（重み付け係数１）として、得票数が所定値（例えば、２、３など）以上の候補をナンバープレートの中心として特定することができる。これにより、文字領域候補の位置（中心又は四隅など）の特定の難易度又は精度に応じて重み付けを付与することにより、ナンバープレートの中心の特定の精度を向上させることができる。
【００５３】
また、上述の例では、ナンバープレートの中心を推定する場合に、候補の得票数（画素ブロック内の候補の数）が所定値以上であれば、ナンバープレートの中心として特定する構成であったが、これに限定されるものではなく、得票数が最大又は極大となる候補をナンバープレートの中心として特定することもできる。
【００５４】
対応情報生成部１８は、ナンバープレートの任意の位置（中心）が予め特定されたナンバープレート画像に基づいて文字領域候補特定部１３で特定した文字領域候補及び予め特定されたナンバープレートの中心に基づいて位置ベクトル（対応情報）を複数生成し、生成した位置ベクトルのデータ（位置関係データ）を学習データとして記憶部１４に記憶する。予め中心位置が分かっているナンバープレート画像に基づいてナンバープレートの中心位置と文字領域候補の位置（例えば、中心）との対応関係を示す位置ベクトルを生成して記憶することにより、文字領域候補の位置に対するナンバープレートの任意の位置を学習してナンバープレートを正確に検出することができる。
【００５５】
図３の例では、位置ベクトルは、車両のナンバープレート５０が撮像画像上で傾いていない場合を想定していた。しかし、ナンバープレートを傾けて車両に設置される場合もある。そこで、ナンバープレートが傾けて取り付けられた場合でも、ナンバープレートの中心を精度良く特定する方法について説明する。
【００５６】
図７は位置ベクトルの他の例を示す模式図である。図７は車両のナンバープレート５０（番号標）の任意の位置（中心）と当該ナンバープレート５０内の文字領域５２〜５６の位置（中心位置）との対応関係を示す対応情報としての位置ベクトルを示す。図３との相違点は、ナンバープレート５０が、角度θだけ傾いている点、文字領域５２、５３の中心を結ぶ仮想直線、また文字領域５４、５５、５６の中心を結ぶ仮想直線が水平方向に対してナンバープレート５０の傾斜角θだけ傾いている点などである。
【００５７】
図７の場合も図３と同様、位置ベクトルは、撮像画像上の文字領域の中心を始点とし、ナンバープレート５０の中心を終点とするベクトルである。例えば、ナンバープレート５０の一連番号の各数字を囲む４つの文字領域５５では、文字領域毎に位置ベクトルＶ５５ｐ、Ｖ５５ｑ、Ｖ５５ｒ、Ｖ５５ｓが存在する。また、陸運支局の各文字を囲む２つの文字領域５２では、文字領域毎に位置ベクトルＶ５２ｐ、Ｖ５２ｑが存在する。また、分類番号の各文字を囲む３つの文字領域５３では、文字領域毎に位置ベクトルＶ５３ｐ、Ｖ５３ｑ、Ｖ５３ｒが存在する。また、用途番号を囲む文字領域５４では、位置ベクトルＶ５４ｐが存在する。また、一連番号の２桁目と３桁目との間にある区切り符号であるハイフン（「‐」）を囲む文字領域５６では、位置ベクトルＶ５６ｐが存在する。
【００５８】
記憶部１４には、角度θ（例えば、１５度など）だけ傾いた複数のナンバープレートについて、それぞれのナンバープレート内の文字領域毎の位置ベクトルを学習データとして記憶してある。なお、角度θとしては、１５度に限らす他の複数の値を設定することができる。
【００５９】
図８は位置ベクトルに基づいてナンバープレートの中心位置を推定する方法の他の例を示す説明図である。図８は、図７の角度θだけ傾いたナンバープレート画像に基づいて生成された位置ベクトルを用いてナンバープレートの中心位置を推定する場合を示す。図４に示す位置ベクトルが、文字領域候補５５１の中心位置の座標（ｘ０１、ｙ０１）を始点とする４つの位置ベクトルＶ５５ａ〜Ｖ５５ｄ（Δｘｉ、Δｙｉ）であるのに対し、図８の例では、ナンバープレート画像が角度θだけ傾いているので、文字領域候補５５１の中心位置の座標（ｘ０１、ｙ０１）を始点とする４つの位置ベクトルＶ５５ｐ〜Ｖ５５ｓ（Δｘｉ、Δｙｉ）が異なる。具体的には、各位置ベクトルの先がナンバープレート５０の傾斜角θだけ水平方向に対して傾いた仮想直線上にある。
【００６０】
ナンバープレートが傾いて取り付けられた車両を撮像して得られた撮像画像に基づいて文字領域候補を少なくとも２つ特定した場合には、図５の例と同様に、例えば、複数の文字領域候補５５１、５５２により推定された任意の位置の候補が、撮像画像上で一致するとき、あるいは撮像画像上で所定の範囲（図５の符号６０と同様）内にあるとき、当該任意の位置の候補をナンバープレートの中心（任意の位置）として特定する。図５の場合との違いは、特定されたナンバープレートの中心が、ナンバープレートの傾きθに応じて図５の場合と比較してずれている点である。このことは、撮像画像に基づいて文字領域候補を特定することにより、ナンバープレートが傾いて取り付けられていることが分かるということである。
【００６１】
すなわち、図８の例の場合も、文字領域候補特定部１３は、撮像画像上でのナンバープレート画像の傾きが異なる複数のナンバープレート画像に基づいて文字領域候補を特定する。撮像画像上で予め傾いたナンバープレート画像を用いて文字領域候補を特定し、ナンバープレートの任意の位置と特定した文字領域候補の位置との対応関係を示す位置ベクトル（対応情報）を対応情報生成部１８で生成して記憶することにより、ナンバープレートが傾斜して取り付けられた車両を撮像した場合であっても、ナンバープレートを精度よく検出することができる。また、ナンバープレートの中心の推定処理（投票処理）での得票数（画素ブロック内の候補の数）が所定値以上、最大又は極大となった文字領域候補に対応する位置ベクトルが分かるので、当該位置ベクトルを生成した際のナンバープレート画像の傾きから、車両に設置されたナンバープレートの傾きも特定することができる。
【００６２】
図１の例では、対応情報生成部１８を備える構成であったが、学習データ（位置ベクトルのデータ）を外部の別の装置で生成するようにしてもよい。この場合、番号標検出装置１００は、位置ベクトルのデータ（学習データ）を自身で生成する必要はなく、外部の装置から取得して記憶部１４に記憶しておけばよい。
【００６３】
次に、本実施の形態の番号標検出装置１００の動作について説明する。図９は本実施の形態の番号標検出装置１００による位置関係データの生成処理の手順を示すフローチャートである。位置関係データは、学習データであり、予め任意の位置（例えば、中心位置）がわかっているナンバープレート画像を複数用いて、ナンバープレートの中心位置と文字領域候補の位置（例えば、中心）との対応関係を示す位置ベクトルを求め、位置ベクトルのデータを収集して得られた位置ベクトルの分布データである。
【００６４】
制御部１０は、予め中心（任意の位置）が特定されたナンバープレート画像を取得し（Ｓ１１）、文字領域候補特定部１３を制御して、取得したナンバープレート画像上で文字領域候補を特定する（Ｓ１２）。
【００６５】
制御部１０は、対応情報生成部１８を制御して、特定した文字領域候補の位置（例えば、中心）を始点とし、ナンバープレートの任意の位置（例えば、中心）を終点とする位置ベクトルを算出する（Ｓ１３）。
【００６６】
制御部１０は、他の文字領域候補の有無を判定し（Ｓ１４）、他の文字領域候補がある場合（Ｓ１４でＹＥＳ）、ステップＳ１３の処理を繰り返す。
【００６７】
制御部１０は、他の文字領域候補がない場合（Ｓ１４でＮＯ）、他のナンバープレート画像の有無を判定し（Ｓ１５）、他のナンバープレート画像がある場合（Ｓ１５でＹＥＳ）、ステップＳ１１以降の処理を繰り返す。
【００６８】
制御部１０は、他のナンバープレート画像がない場合（Ｓ１５でＮＯ）、算出した位置ベクトルの分布を求め、位置関係データ（対応情報）を生成し（Ｓ１６）、処理を終了する。なお、生成した位置関係データは、記憶部１４に記憶する。また、位置関係データは、文字領域候補の大小に応じて区別して記憶することができる。
【００６９】
図１０は本実施の形態の番号標検出装置１００によるナンバープレート検出処理の手順を示すフローチャートである。制御部１０は、撮像装置２００で撮像した撮像画像を取得し（Ｓ３１）、文字領域候補特定部１３を制御して、取得した撮像画像に基づいて文字領域候補を特定する（Ｓ３２）。
【００７０】
制御部１０は、文字領域候補の大小に応じた位置関係データを読み出し（Ｓ３３）、特定した文字領域候補と位置関係データ（対応情報）に基づいて、ナンバープレートの中心（任意の位置）の候補を推定（投票）する（Ｓ３４）。
【００７１】
制御部１０は、他の文字領域候補の有無を判定し（Ｓ３５）、他の文字領域候補がある場合（Ｓ３５でＹＥＳ）、ステップＳ３４の処理を繰り返す。
【００７２】
制御部１０は、他の文字領域候補がない場合（Ｓ３５でＮＯ）、所定の画素数で構成される画素ブロック内に存在する候補の数（投票した結果の得票数）を算出する（Ｓ３６）。
【００７３】
制御部１０は、候補の数が所定値（例えば、２、３など）以上であるか否かを判定し（Ｓ３７）、候補の数が所定値以上である場合（Ｓ３７でＹＥＳ）、候補をナンバープレートの中心位置として特定する（Ｓ３８）。
【００７４】
制御部１０は、特定した中心位置に基づいてナンバープレート領域を検出し（Ｓ３９）、車番（例えば、陸運支局、分類番号、用途番号、一連番号など）を判定し（Ｓ４０）、処理を終了する。候補の数が所定値未である場合（Ｓ３７でＮＯ）、制御部１０は、処理を終了する。
【００７５】
本実施の形態の番号標検出装置１００は、ＣＰＵ、ＲＡＭなどを備えた汎用コンピュータを用いて実現することもできる。すなわち、図９及び図１０に示すような、各処理手順を定めたプログラムコードをコンピュータに備えられたＲＡＭにロードし、プログラムコードをＣＰＵで実行することにより、コンピュータ上で番号標検出装置１００を実現することができる。
【００７６】
上述のように、本実施の形態の番号標検出装置は、撮像画像上の文字領域候補を特定し、学習データである位置関係データを用いることにより、ナンバープレートの任意の位置（例えば、中心位置）を特定することができるので、ナンバープレートの部分的な隠れ、あるいはナンバープレートの傾きがある場合であっても、ロバストかつ正確にナンバープレートを検出することができる。
【００７７】
また、本実施の形態であれば、文字領域候補を特定することができればよいので、すでに設置しているモノクロ（白黒）カメラで撮像した撮像画像を用いることができる。また、文字認識などの前処理が不要であるので、計算コストを抑制することができる。また、撮像画像上での文字候補枠の配置は特に重要ではないので、ナンバープレートを撮像することができるのであれば、撮像装置（カメラ）を取り付ける際の取付け位置又は取付け角度（例えば、レンズの光軸方向）などの調整が不要であるため撮像装置の取付け作業が容易になる。
【００７８】
開示された実施の形態は、すべての点で例示であって制限的なものではないと考えられるべきである。本発明の範囲は上記した説明ではなくて特許請求の範囲によって示され、特許請求の範囲と均等の意味及び範囲内でのすべての変更が含まれることが意図される。
【符号の説明】
【００７９】
１０ 制御部
１１ 画像入力部
１２ 画像メモリ
１３ 文字領域候補特定部（候補領域特定手段）
１４ 記憶部（記憶手段）
１５ 番号標位置推定部（推定手段）
１６ 番号標位置特定部（位置特定手段、検出手段）
１７ 車番判定部
１８ 対応情報生成部（対応情報生成手段）
【技術分野】
【０００１】
本発明は、道路を走行する車両を撮像して得られた撮像画像に基づいて該車両の番号標を検出する番号標検出装置、該番号標検出装置を実現するためのコンピュータプログラム及び番号標検出方法に関する。
【背景技術】
【０００２】
近年、交通監視などの分野において、特定の車両を抽出する技術の１つとして車両のナンバープレート（番号標）を検出する技術が開発されている。例えば、ナンバープレートなどの予め文字（パターン）の配置情報が既知であるパターン列を抽出するものとして、蓄積辞書（パターン認識のために用いられる基準パターン）を用いて、ずらしマッチング法によりパターン列を抽出する方法が開示されている（特許文献１参照）。
【０００３】
また、ナンバープレートの地色と文字色との白黒階調差を利用して、原画像データから生成された文字抽出用データ内に存在する処理対象領域（明部または暗部）について文字列を抽出して文字認識を行う車両ナンバープレート認識装置が開示されている（特許文献２参照）。
【先行技術文献】
【特許文献】
【０００４】
【特許文献１】特許第３７６２１８９号公報
【特許文献２】特許第３４５５４５４号公報
【発明の概要】
【発明が解決しようとする課題】
【０００５】
しかしながら、従来のパターン列抽出、文字列抽出方法にあっては、明暗のパターンから文字と思われる枠を抽出し、抽出した枠の配置に基づいてナンバープレートを検出するため、ナンバープレートを検出するためには、まず文字認識のための処理を行う必要がある。ナンバープレート内の文字を認識することが前提となっているので、例えば、ナンバープレートの一部が撮像画像から欠落している場合、ナンバープレートが傾いた状態で撮像された場合に、文字を正しく認識することができないという課題が存在するのみならず、文字認識処理に要する計算コストが大きくなるという課題があった。また、従来の方法にあっては、撮像画像上での文字候補枠の配置が重要なので、撮像装置（カメラ）を取り付ける際の取付け位置又は取付け角度（例えば、レンズの光軸方向）などの調整が必要であるため取付け作業に多くの手間を要した。
【０００６】
本発明は、斯かる事情に鑑みてなされたものであり、車両の番号標を精度良く検出することができる番号標検出装置、該番号標検出装置を実現するためのコンピュータプログラム及び番号標検出方法を提供することを目的とする。
【課題を解決するための手段】
【０００７】
第１発明に係る番号標検出装置は、撮像部で道路を走行する車両を撮像して得られた撮像画像に基づいて該車両の番号標を検出する番号標検出装置において、車両の番号標の任意の位置と該番号標内の文字領域の位置との対応関係を示す対応情報を予め複数記憶する記憶手段と、撮像画像に基づいて少なくとも２つの文字領域候補を特定する候補領域特定手段と、該候補領域特定手段で特定した文字領域候補及び前記記憶手段に記憶した対応情報に基づいて前記撮像画像上の番号標の任意の位置を特定する位置特定手段と、該位置特定手段で特定した任意の位置に基づいて番号標を検出する検出手段とを備えることを特徴とする。
【０００８】
第２発明に係る番号標検出装置は、第１発明において、前記記憶手段に記憶した対応情報に基づいて前記候補領域特定手段で特定した文字領域候補毎に該文字領域候補の位置に対応する番号標の任意の位置の候補を推定する推定手段を備え、前記位置特定手段は、前記撮像画像上の所定の画素数で構成される画素ブロック内に存在する前記候補の数が所定値以上である場合、前記候補を前記任意の位置として特定するように構成してあることを特徴とする。
【０００９】
第３発明に係る番号標検出装置は、第１発明又は第２発明において、前記候補領域特定手段は、番号標の任意の位置が予め特定された番号標画像に基づいて文字領域候補を特定するようにしてあり、前記候補領域特定手段で特定した文字領域候補及び予め特定された任意の位置に基づいて前記対応情報を複数生成する対応情報生成手段を備え、該対応情報生成手段で生成した対応情報を前記記憶手段に記憶するように構成してあることを特徴とする。
【００１０】
第４発明に係る番号標検出装置は、第３発明において、前記候補領域特定手段は、撮像画像上での番号標画像の傾きが異なる複数の番号標画像に基づいて文字領域候補を特定するように構成してあることを特徴とする。
【００１１】
第５発明に係る番号標検出装置は、第１発明乃至第４発明のいずれか１つにおいて、前記記憶手段は、前記文字領域の大小に応じて区分けされた文字領域毎に対応情報を予め複数記憶してあり、前記位置特定手段は、前記候補領域特定手段で特定した文字領域候補及び該文字領域候補の大小に応じた対応情報に基づいて、前記撮像画像上の番号標の前記任意の位置を特定するように構成してあることを特徴とする。
【００１２】
第６発明に係る番号標検出装置は、第１発明乃至第５発明のいずれか１つにおいて、前記対応情報は、車両の番号標の任意の位置と該番号標内の文字領域の位置とで決定される撮像画像上の位置ベクトルであることを特徴とする。
【００１３】
第７発明に係るコンピュータプログラムは、コンピュータに、撮像部で道路を走行する車両を撮像して得られた撮像画像に基づいて該車両の番号標を検出するステップを実行させるためのコンピュータプログラムにおいて、コンピュータに、撮像画像に基づいて少なくとも２つの文字領域候補を特定するステップと、特定した文字領域候補及び車両の番号標の任意の位置と該番号標内の文字領域の位置との対応関係を示す対応情報に基づいて前記撮像画像上の番号標の任意の位置を特定するステップと、特定した任意の位置に基づいて番号標を検出するステップとを実行させることを特徴とする。
【００１４】
第８発明に係る番号標検出方法は、撮像部で道路を走行する車両を撮像して得られた撮像画像に基づいて該車両の番号標を検出する番号標検出装置による番号標検出方法おいて、車両の番号標の任意の位置と該番号標内の文字領域の位置との対応関係を示す対応情報を予め複数記憶しておき、撮像画像に基づいて少なくとも２つの文字領域候補を特定するステップと、特定された文字領域候補及び記憶した対応情報に基づいて前記撮像画像上の番号標の任意の位置を特定するステップと、特定された任意の位置に基づいて番号標を検出するステップとを含むことを特徴とする。
【００１５】
第１発明、第７発明及び第８発明にあっては、車両の番号標（ナンバープレート）の任意の位置と当該番号標内の文字領域の位置との対応関係を示す対応情報を予め複数記憶しておく。番号標の任意の位置とは、例えば、番号標の中心の位置、番号標の四隅のいずれかの位置などである。文字領域とは、ナンバープレートに記載されている文字（数字、平仮名、漢字など）で表される陸運支局、分類番号、用途番号、一連番号などを含む（囲む）領域である。文字領域の位置は、例えば、文字領域の中心、文字領域を矩形状とした場合に、四隅のいずれかの位置などとすることができる。対応情報は、例えば、位置の対応関係を示すベクトル（位置ベクトル）である。
【００１６】
撮像画像に基づいて少なくとも２つの文字領域候補を特定し、特定した文字領域候補及び記憶した対応情報に基づいて撮像画像上の番号標の任意の位置を特定する。文字領域候補は、例えば、撮像画像に対して水平方向及び／又は垂直方向エッジ検出フィルタを施してエッジの集合を特定して二値化し、二値化されたエッジ画像を囲む矩形領域を文字領域候補として特定することができる。１つ目の文字領域候補が特定された場合、当該文字領域候補に対する番号標の任意の位置の候補を対応情報に基づいて複数推定する。また２つ目以降の文字領域候補が特定された場合にも、同様に当該文字領域候補に対する番号標の任意の位置の候補を対応情報に基づいて複数推定する。そして、複数の文字領域候補により推定された任意の位置の候補が、例えば、撮像画像上で一致する場合、あるいは撮像画像上で所定の範囲内にある場合、当該任意の位置の候補を番号標の任意の位置を特定する。撮像画像上の番号標の任意の位置（例えば、中心又は四隅の１つ等）が分かれば、撮像画像上の番号標の寸法（大きさ）に基づいて、番号標を検出する。
【００１７】
従来、文字を認識しなければ車両の番号標を検出することができなかったのに対し、本発明にあっては、番号標を検出するために文字列又はパターン列を抽出して文字を認識する処理を必要とせず、文字領域候補を特定することにより、ナンバープレートの一部が撮像画像から欠落して一部の文字を認識することができない場合であっても番号標の任意の位置を特定して番号標を精度よく検出することができる。
【００１８】
第２発明にあっては、記憶した対応情報に基づいて、特定した文字領域候補毎に当該文字領域候補の位置に対応する番号標の任意の位置の候補を推定する。そして、撮像画像上の所定の画素数で構成される画素ブロック（例えば、２×２画素、３×３画素など）内に存在する候補の数が所定値以上である場合、当該候補を番号標の任意の位置として特定する。すなわち、文字領域候補毎に対応情報に基づいた複数の候補を推定して候補に投票する。推定された候補（すなわち、投票された候補）の数が所定値（例えば、２、３など）以上である場合、当該候補を番号標の任意の位置として特定する。これにより、少なくとも２つの文字領域候補を特定することができれば、番号標の任意の位置を特定して番号標を検出することができる。また、特定した文字領域候補の数が増えれば、番号標の任意の位置の特定の精度を向上させることができる。
【００１９】
第３発明にあっては、番号標の任意の位置が予め特定された番号標画像に基づいて文字領域候補を特定し、特定した文字領域候補及び予め特定された任意の位置に基づいて対応情報を複数生成し、生成した対応情報を記憶する。番号標画像に基づいて番号標の任意の位置と文字領域候補の位置との対応関係を示す対応情報を生成して記憶することにより、文字領域候補の位置に対する番号標の任意の位置を学習して番号標を正確に検出することができる。
【００２０】
第４発明にあっては、撮像画像上での番号標画像の傾きが異なる複数の番号標画像に基づいて文字領域候補を特定する。撮像画像上で予め傾いた番号標画像を用いて文字領域候補を特定し、番号標の任意の位置と特定した文字領域候補の位置との対応関係を示す対応情報を生成して記憶することにより、番号標が傾斜して取り付けられた車両を撮像した場合であっても、番号標を精度よく検出することができる。
【００２１】
第５発明にあっては、文字領域の大小に応じて区分けされた文字領域毎に対応情報を予め複数記憶しておく。文字領域の大小とは、ナンバープレートに記載されている陸運支局、分類番号、用途番号、一連番号（２桁目と３桁目との間のハイフン、空白桁を示すドットを含む）の各文字の大小である。特定した文字領域候補及び当該文字領域候補の大小に応じた対応情報に基づいて、撮像画像上の番号標の任意の位置を特定する。例えば、番号標の数字部分、漢字部分、平仮名部分、ハイフン部分又はドット部分毎に個別の対応情報を記憶しておき、特定した文字領域候補の大小に応じて別々に番号標の任意の位置を特定することにより、番号標に記載されたいずれの文字であっても文字領域候補として特定することができ、番号標の検出精度を高めることができる。
【００２２】
第６発明にあっては、対応情報は、車両の番号標の任意の位置と当該番号標内の文字領域の位置とで決定される撮像画像上の位置ベクトルである。例えば、位置ベクトルは、撮像画像上の文字領域の中心を始点とし、番号標の中心を終点とするベクトルとすることができる。これにより、文字領域候補を特定することができれば、番号標の任意の位置を特定することができる。
【発明の効果】
【００２３】
本発明によれば、文字領域候補を特定することにより、ナンバープレートの一部が撮像画像から欠落して一部の文字を認識することができない場合であっても番号標の任意の位置を特定して番号標を精度よく検出することができる。
【図面の簡単な説明】
【００２４】
【図１】本実施の形態の番号標検出装置の構成の一例を示すブロック図である。
【図２】ナンバープレートの一例を示す模式図である。
【図３】位置ベクトルの一例を示す模式図である。
【図４】位置ベクトルに基づいてナンバープレートの中心位置を推定する方法の一例を示す説明図である。
【図５】複数の文字領域候補に基づいてナンバープレートの中心位置を推定する方法の一例を示す説明図である。
【図６】ナンバープレートの検出の一例を示す説明図である。
【図７】位置ベクトルの他の例を示す模式図である。
【図８】位置ベクトルに基づいてナンバープレートの中心位置を推定する方法の他の例を示す説明図である。
【図９】本実施の形態の番号標検出装置による位置関係データの生成処理の手順を示すフローチャートである。
【図１０】本実施の形態の番号標検出装置によるナンバープレート検出処理の手順を示すフローチャートである。
【発明を実施するための形態】
【００２５】
以下、本発明を実施の形態を示す図面に基づいて説明する。図１は本実施の形態の番号標検出装置１００の構成の一例を示すブロック図である。番号標検出装置１００には、撮像部としての撮像装置２００を接続してある。なお、撮像装置２００は、番号標検出装置１００に内蔵する構成であってもよい。
【００２６】
撮像装置２００は、照明部、カメラ（不図示）などを備えている。照明部は、複数のＬＥＤを備え、カメラで車両を撮像するタイミング（例えば、３３ｍｓの都度）に併せて近赤外光を、道路を走行する車両に対して照射する。これにより、例えば、夜間においても、カメラで車両を撮像することができる。
【００２７】
撮像装置２００は、道路を走行する車両を撮像し、撮像して得られた画像データを番号標検出装置１００へ出力する。撮像装置２００で撮像して得られる撮像画像は、車両のナンバープレート（番号標）を検出することができる程度の解像度を有する。
【００２８】
番号標検出装置１００は、装置内の各部を制御する制御部１０、画像入力部１１、画像メモリ１２、候補領域特定手段としての文字領域候補特定部１３、記憶手段としての記憶部１４、推定手段としての番号標位置推定部１５、位置特定手段及び検出手段としての番号標位置特定部１６、車番判定部１７、対応情報生成手段としての対応情報生成部１８などを備える。なお、本実施の形態において、車両の番号標（例えば、ナンバープレート）を検出するとは、撮像画像上でどの領域がナンバープレートの領域であるかを検出することを含む。
【００２９】
画像入力部１１は、撮像装置２００で撮像して得られた画像データを取得し、取得した画像データをフレーム単位に撮像時刻に対応付けて画像メモリ１２に記憶する。
【００３０】
文字領域候補特定部１３は、撮像画像（画像データ）に基づいて文字領域の候補である文字領域候補を特定する。文字領域とは、ナンバープレートに記載されている文字（数字、平仮名、漢字など）で表される陸運支局、分類番号、用途番号、一連番号などを含む（囲む）領域である。文字領域候補特定部１３は、特定した文字領域候補の大きさに基づいて、当該文字領域候補の中心位置も特定する。
【００３１】
文字領域候補は、例えば、撮像画像に対して水平方向及び／又は垂直方向エッジ検出フィルタを施してエッジの集合を特定して二値化し、二値化されたエッジ画像を囲む矩形領域を文字領域候補として特定することができる。なお、文字領域候補の特定は、他の公知の方法を用いることができる。
【００３２】
図２はナンバープレート５０の一例を示す模式図である。図２に示すように、ナンバープレート５０は、「大阪」などの漢字等で表した陸運支局の各文字を囲む（含む）文字領域５２、１〜３桁の数字で表した分類番号の各文字を囲む文字領域５３、平仮名等で表した用途番号を囲む文字領域５４、４桁の数字で表した一連番号の各文字を囲む５５、一連番号の２桁目と３桁目との間にある区切り符号であるハイフン（「‐」）を囲む文字領域５６、一連番号の空白桁を表す符号であるドット（「・」）を囲む文字領域（不図示）などを有する。
【００３３】
文字領域５２〜５６は、矩形状をなすが、文字領域の形状は矩形状に限定されるものではない。また、５１はナンバープレート５０の中心（任意の位置）である。なお、ナンバープレート５０の任意の位置は、中心に限定されるものではなく、矩形状のナンバープレート５０の四隅のいずれか１つであってもよい。また、文字領域５２〜５６の位置は、文字領域５２〜５６の中心であるが、これに限定されるものではなく、矩形状の文字領域の四隅のいずれか１つであってもよい。
【００３４】
記憶部１４は、車両のナンバープレート（番号標）の任意の位置（例えば、ナンバープレートの中心）と当該ナンバープレート内の文字領域の位置（例えば、文字領域の中心）との対応関係を示す対応情報を予め複数記憶してある。対応情報は、ナンバープレートの任意の位置（中心）と当該ナンバープレート内の文字領域の位置（中心）とで決定される撮像画像上の位置ベクトルである。例えば、位置ベクトルは、撮像画像上の文字領域の中心を始点とし、ナンバープレートの中心を終点とするベクトルとすることができる。
【００３５】
図３は位置ベクトルの一例を示す模式図である。図３は車両のナンバープレート５０（番号標）の任意の位置（中心）と当該ナンバープレート５０内の文字領域５２〜５６の位置（中心位置）との対応関係を示す対応情報としての位置ベクトルを示す。
【００３６】
位置ベクトルは、撮像画像上の文字領域の中心を始点とし、ナンバープレート５０の中心を終点とするベクトルである。例えば、ナンバープレート５０の一連番号の各数字を囲む４つの文字領域５５では、文字領域毎に位置ベクトルＶ５５ａ、Ｖ５５ｂ、Ｖ５５ｃ、Ｖ５５ｄが存在する。また、陸運支局の各文字を囲む２つの文字領域５２では、文字領域毎に位置ベクトルＶ５２ａ、Ｖ５２ｂが存在する。また、分類番号の各文字を囲む３つの文字領域５３では、文字領域毎に位置ベクトルＶ５３ａ、Ｖ５３ｂ、Ｖ５３ｃが存在する。また、用途番号を囲む文字領域５４では、位置ベクトルＶ５４ａが存在する。また、一連番号の２桁目と３桁目との間にある区切り符号であるハイフン（「‐」）を囲む文字領域５６では、位置ベクトルＶ５６ａが存在する。
【００３７】
記憶部１４には、複数のナンバープレートについて、それぞれのナンバープレート内の文字領域毎の位置ベクトルを学習データとして記憶してある。便宜上、位置ベクトルＶは、Ｖ（Δｘ１、Δｙ１）〜（ΔｘＮ、ΔｙＮ）と表すことができる。ここで、Ｎは、ナンバープレート内の文字領域の数が同じであるとすれば、ナンバープレート内の文字領域の数にナンバープレートの数を乗算した数である。すなわち、記憶部１４には、位置ベクトル（Δｘｉ、Δｙｉ）（ｉ＝１〜Ｎ）の頻度分布ｆ（Δｘ、Δｙ）が後述の投票の基礎となる位置関係データ（学習データ）として記憶してある。
【００３８】
番号標位置推定部１５は、記憶した位置ベクトル（対応情報）に基づいて、文字領域候補特定部１３で特定した文字領域候補毎に当該文字領域候補の位置に対応するナンバープレートの中心の位置の候補を推定する。
【００３９】
図４は位置ベクトルに基づいてナンバープレートの中心位置を推定する方法の一例を示す説明図である。図４では、簡略化のため、位置ベクトルは、ナンバープレートの４つの一連番号それぞれに対応する文字領域毎に存在するものとする。すなわち、ナンバープレートの中心の位置の候補を推定する位置ベクトル（位置関係データ）は４つ存在するものとする。また、撮像画像上（座標ｘ、ｙ）で文字領域候補５５１が特定されたとする。
【００４０】
この場合、番号標位置推定部１５は、図４に示すように、文字領域候補５５１の中心位置の座標（ｘ０１、ｙ０１）を始点とする４つの位置ベクトルＶ５５ａ〜Ｖ５５ｄ（Δｘｉ、Δｙｉ）で示す終点位置（ｘ０１＋Δｘｉ、ｙ０１＋Δｙｉ）をナンバープレートの中心の位置の候補を推定して、各終点位置に投票する。すなわち、位置ベクトルが４つ存在する場合、１つの文字領域候補を特定することにより、ナンバープレートの中心位置の候補が４つ推定（投票）されることになる。
【００４１】
図５は複数の文字領域候補に基づいてナンバープレートの中心位置を推定する方法の一例を示す説明図である。図５の例は、図４の例において、文字領域候補５５１に加えて、２つ目の文字領域候補５５２を特定した場合を示す。図４の例と同様に、番号標位置推定部１５は、文字領域候補５５２の中心位置の座標（ｘ０２、ｙ０２）を始点とする４つの位置ベクトルＶ５５ａ〜Ｖ５５ｄ（Δｘｉ、Δｙｉ）で示す終点位置（ｘ０２＋Δｘｉ、ｙ０２＋Δｙｉ）をナンバープレートの中心の位置の候補を推定して、各終点位置に投票する。
【００４２】
番号標位置特定部１６は、撮像画像に基づいて少なくとも２つの文字領域候補及び記憶部１４に記憶した位置ベクトル（対応情報）に基づいて撮像画像上のナンバープレートの中心（任意の位置）を特定する。
【００４３】
より具体的には、図５に示すように、番号標位置特定部１６は、１つ目の文字領域候補５５１が特定された場合、当該文字領域候補５５１に対するナンバープレートの中心（任意の位置）の候補を位置ベクトル（対応情報）Ｖ５５ａ〜Ｖ５５ｄに基づいて複数推定する。また２つ目以降の文字領域候補５５２が特定された場合にも、同様に当該文字領域候補に対するナンバープレートの中心（任意の位置）の候補を位置ベクトル（対応情報）Ｖ５５ａ〜Ｖ５５ｄに基づいて複数推定する。そして、複数の文字領域候補５５１、５５２により推定された任意の位置の候補が、例えば、撮像画像上で一致する場合、あるいは撮像画像上で所定の範囲（図５の符号６０で例示）内にある場合、当該任意の位置の候補をナンバープレートの中心（任意の位置）として特定する。
【００４４】
上述の所定の範囲とは、例えば、撮像画像上の所定の画素数で構成される画素ブロック（例えば、２×２画素、３×３画素など）とすることができる。画素ブロックを構成する画素数は、ナンバープレートの検出精度に応じて適宜設定することができる。すなわち、検出精度を上げる必要がある場合には、画素ブロックの画素数を少なくすればよい。
【００４５】
また、ナンバープレートの中心（任意の位置）を特定する場合、画素ブロック内に存在する候補の数が所定値以上であるときに、当該候補をナンバープレートの中心として特定することができる。すなわち、番号標位置推定部１５は、文字領域候補毎に位置ベクトルに基づいた複数の候補を推定して候補に投票する。そして、番号標位置特定部１６は、推定された候補（すなわち、投票された候補）の数が所定値（例えば、２、３など）以上である場合、当該候補をナンバープレートの中心として特定する。なお、所定値は、特定する文字領域候補の数以下の数値とすることができる。例えば、２つの文字領域候補を特定する場合には、所定値は２とすることができる。また、３つの文字領域候補を特定する場合には、所定値は２、３とすることができる。
【００４６】
図６はナンバープレートの検出の一例を示す説明図である。番号標位置特定部１６は、特定したナンバープレートの中心（任意の位置）に基づいて、ナンバープレートを検出する。図６に示すように、撮像画像上のナンバープレートの任意の位置（例えば、中心又は四隅の１つ等）が分かれば、撮像画像上のナンバープレートの寸法（例えば、中心から水平方向にそれぞれｍ画素、垂直方向にそれぞれｎ画素の大きさ）に基づいて、ナンバープレートを検出することができる。
【００４７】
車番判定部１７は、番号標位置特定部１６で検出されたナンバープレートのプレート画像に対して、文字の認識処理を行って、陸運支局、分類番号、用途番号、一連番号などの車両番号（車番）を判定する。なお、車番判定部１７は、番号標検出装置１００に備える構成の他、他の外部の装置に具備することにより、番号標検出装置１００に具備しない構成でもよい。
【００４８】
上述のように、従来であれば、ナンバープレートの文字を認識しなければナンバープレートを検出することができなかったのに対し、本実施の形態にあっては、ナンバープレートを検出するために文字列又はパターン列を抽出して文字を認識する処理を必要とせず、ナンバープレートの一部が撮像画像から欠落して一部の文字を認識することができない場合であっても、文字領域候補を特定するだけでナンバープレートの任意の位置を特定してナンバープレートを精度よく検出することができる。これにより、文字領域候補を特定することができれば、ナンバープレートの任意の位置を特定することができる。
【００４９】
また、本実施の形態にあっては、少なくとも２つの文字領域候補を特定することができれば、学習データ（位置ベクトルのデータ、位置ベクトルの分布データ）に基づいて、ナンバープレートの任意の位置を特定してナンバープレートを検出することができる。さらに、特定した文字領域候補の数が増えれば、ナンバープレートの任意の位置の特定の精度を向上させることができる。
【００５０】
図４、図５の例では、一連番号に対応する文字領域について説明したが、図３に示すように文字領域５２〜５６の大きさは異なる。文字領域は、ナンバープレートに記載されている陸運支局、分類番号、用途番号、一連番号（２桁目と３桁目との間のハイフン、空白桁を示すドットを含む）の各文字の大小に応じて大きさが異なる。そこで、文字領域の大小に応じて区分けされた文字領域毎に位置ベクトル（対応情報）を予め複数記憶しておく。
【００５１】
特定した文字領域候補及び当該文字領域候補の大小に応じた位置ベクトルに基づいて、撮像画像上のナンバープレートの中心（任意の位置）を特定することもできる。例えば、ナンバープレートの数字部分、漢字部分、平仮名部分、ハイフン部分又はドット部分毎に個別の位置ベクトル（対応情報）を記憶しておき、特定した文字領域候補の大小に応じて別々にナンバープレートの中心を特定することにより、ナンバープレートに記載されたいずれの文字であっても文字領域候補として特定することができ、ナンバープレートの検出精度を高めることができる。
【００５２】
また、文字領域の大きさに応じて、重み付け係数を付与しておき、ナンバープレートの中心を推定（投票）する際の投票数に重み付け係数を付けることもできる。例えば、数字などの一連番号に対する文字領域には、重み付け係数２を付与し、ハイフン又はドットなどの符号に対する文字領域には、重み付け係数１を付与し、数字の文字領域に基づいてナンバープレートの中心の候補を推定（投票）する際には、投票数を２倍（重み付け係数２）し、符号の文字領域に基づいてナンバープレートの中心の候補を推定（投票）する際には、投票数を１倍（重み付け係数１）として、得票数が所定値（例えば、２、３など）以上の候補をナンバープレートの中心として特定することができる。これにより、文字領域候補の位置（中心又は四隅など）の特定の難易度又は精度に応じて重み付けを付与することにより、ナンバープレートの中心の特定の精度を向上させることができる。
【００５３】
また、上述の例では、ナンバープレートの中心を推定する場合に、候補の得票数（画素ブロック内の候補の数）が所定値以上であれば、ナンバープレートの中心として特定する構成であったが、これに限定されるものではなく、得票数が最大又は極大となる候補をナンバープレートの中心として特定することもできる。
【００５４】
対応情報生成部１８は、ナンバープレートの任意の位置（中心）が予め特定されたナンバープレート画像に基づいて文字領域候補特定部１３で特定した文字領域候補及び予め特定されたナンバープレートの中心に基づいて位置ベクトル（対応情報）を複数生成し、生成した位置ベクトルのデータ（位置関係データ）を学習データとして記憶部１４に記憶する。予め中心位置が分かっているナンバープレート画像に基づいてナンバープレートの中心位置と文字領域候補の位置（例えば、中心）との対応関係を示す位置ベクトルを生成して記憶することにより、文字領域候補の位置に対するナンバープレートの任意の位置を学習してナンバープレートを正確に検出することができる。
【００５５】
図３の例では、位置ベクトルは、車両のナンバープレート５０が撮像画像上で傾いていない場合を想定していた。しかし、ナンバープレートを傾けて車両に設置される場合もある。そこで、ナンバープレートが傾けて取り付けられた場合でも、ナンバープレートの中心を精度良く特定する方法について説明する。
【００５６】
図７は位置ベクトルの他の例を示す模式図である。図７は車両のナンバープレート５０（番号標）の任意の位置（中心）と当該ナンバープレート５０内の文字領域５２〜５６の位置（中心位置）との対応関係を示す対応情報としての位置ベクトルを示す。図３との相違点は、ナンバープレート５０が、角度θだけ傾いている点、文字領域５２、５３の中心を結ぶ仮想直線、また文字領域５４、５５、５６の中心を結ぶ仮想直線が水平方向に対してナンバープレート５０の傾斜角θだけ傾いている点などである。
【００５７】
図７の場合も図３と同様、位置ベクトルは、撮像画像上の文字領域の中心を始点とし、ナンバープレート５０の中心を終点とするベクトルである。例えば、ナンバープレート５０の一連番号の各数字を囲む４つの文字領域５５では、文字領域毎に位置ベクトルＶ５５ｐ、Ｖ５５ｑ、Ｖ５５ｒ、Ｖ５５ｓが存在する。また、陸運支局の各文字を囲む２つの文字領域５２では、文字領域毎に位置ベクトルＶ５２ｐ、Ｖ５２ｑが存在する。また、分類番号の各文字を囲む３つの文字領域５３では、文字領域毎に位置ベクトルＶ５３ｐ、Ｖ５３ｑ、Ｖ５３ｒが存在する。また、用途番号を囲む文字領域５４では、位置ベクトルＶ５４ｐが存在する。また、一連番号の２桁目と３桁目との間にある区切り符号であるハイフン（「‐」）を囲む文字領域５６では、位置ベクトルＶ５６ｐが存在する。
【００５８】
記憶部１４には、角度θ（例えば、１５度など）だけ傾いた複数のナンバープレートについて、それぞれのナンバープレート内の文字領域毎の位置ベクトルを学習データとして記憶してある。なお、角度θとしては、１５度に限らす他の複数の値を設定することができる。
【００５９】
図８は位置ベクトルに基づいてナンバープレートの中心位置を推定する方法の他の例を示す説明図である。図８は、図７の角度θだけ傾いたナンバープレート画像に基づいて生成された位置ベクトルを用いてナンバープレートの中心位置を推定する場合を示す。図４に示す位置ベクトルが、文字領域候補５５１の中心位置の座標（ｘ０１、ｙ０１）を始点とする４つの位置ベクトルＶ５５ａ〜Ｖ５５ｄ（Δｘｉ、Δｙｉ）であるのに対し、図８の例では、ナンバープレート画像が角度θだけ傾いているので、文字領域候補５５１の中心位置の座標（ｘ０１、ｙ０１）を始点とする４つの位置ベクトルＶ５５ｐ〜Ｖ５５ｓ（Δｘｉ、Δｙｉ）が異なる。具体的には、各位置ベクトルの先がナンバープレート５０の傾斜角θだけ水平方向に対して傾いた仮想直線上にある。
【００６０】
ナンバープレートが傾いて取り付けられた車両を撮像して得られた撮像画像に基づいて文字領域候補を少なくとも２つ特定した場合には、図５の例と同様に、例えば、複数の文字領域候補５５１、５５２により推定された任意の位置の候補が、撮像画像上で一致するとき、あるいは撮像画像上で所定の範囲（図５の符号６０と同様）内にあるとき、当該任意の位置の候補をナンバープレートの中心（任意の位置）として特定する。図５の場合との違いは、特定されたナンバープレートの中心が、ナンバープレートの傾きθに応じて図５の場合と比較してずれている点である。このことは、撮像画像に基づいて文字領域候補を特定することにより、ナンバープレートが傾いて取り付けられていることが分かるということである。
【００６１】
すなわち、図８の例の場合も、文字領域候補特定部１３は、撮像画像上でのナンバープレート画像の傾きが異なる複数のナンバープレート画像に基づいて文字領域候補を特定する。撮像画像上で予め傾いたナンバープレート画像を用いて文字領域候補を特定し、ナンバープレートの任意の位置と特定した文字領域候補の位置との対応関係を示す位置ベクトル（対応情報）を対応情報生成部１８で生成して記憶することにより、ナンバープレートが傾斜して取り付けられた車両を撮像した場合であっても、ナンバープレートを精度よく検出することができる。また、ナンバープレートの中心の推定処理（投票処理）での得票数（画素ブロック内の候補の数）が所定値以上、最大又は極大となった文字領域候補に対応する位置ベクトルが分かるので、当該位置ベクトルを生成した際のナンバープレート画像の傾きから、車両に設置されたナンバープレートの傾きも特定することができる。
【００６２】
図１の例では、対応情報生成部１８を備える構成であったが、学習データ（位置ベクトルのデータ）を外部の別の装置で生成するようにしてもよい。この場合、番号標検出装置１００は、位置ベクトルのデータ（学習データ）を自身で生成する必要はなく、外部の装置から取得して記憶部１４に記憶しておけばよい。
【００６３】
次に、本実施の形態の番号標検出装置１００の動作について説明する。図９は本実施の形態の番号標検出装置１００による位置関係データの生成処理の手順を示すフローチャートである。位置関係データは、学習データであり、予め任意の位置（例えば、中心位置）がわかっているナンバープレート画像を複数用いて、ナンバープレートの中心位置と文字領域候補の位置（例えば、中心）との対応関係を示す位置ベクトルを求め、位置ベクトルのデータを収集して得られた位置ベクトルの分布データである。
【００６４】
制御部１０は、予め中心（任意の位置）が特定されたナンバープレート画像を取得し（Ｓ１１）、文字領域候補特定部１３を制御して、取得したナンバープレート画像上で文字領域候補を特定する（Ｓ１２）。
【００６５】
制御部１０は、対応情報生成部１８を制御して、特定した文字領域候補の位置（例えば、中心）を始点とし、ナンバープレートの任意の位置（例えば、中心）を終点とする位置ベクトルを算出する（Ｓ１３）。
【００６６】
制御部１０は、他の文字領域候補の有無を判定し（Ｓ１４）、他の文字領域候補がある場合（Ｓ１４でＹＥＳ）、ステップＳ１３の処理を繰り返す。
【００６７】
制御部１０は、他の文字領域候補がない場合（Ｓ１４でＮＯ）、他のナンバープレート画像の有無を判定し（Ｓ１５）、他のナンバープレート画像がある場合（Ｓ１５でＹＥＳ）、ステップＳ１１以降の処理を繰り返す。
【００６８】
制御部１０は、他のナンバープレート画像がない場合（Ｓ１５でＮＯ）、算出した位置ベクトルの分布を求め、位置関係データ（対応情報）を生成し（Ｓ１６）、処理を終了する。なお、生成した位置関係データは、記憶部１４に記憶する。また、位置関係データは、文字領域候補の大小に応じて区別して記憶することができる。
【００６９】
図１０は本実施の形態の番号標検出装置１００によるナンバープレート検出処理の手順を示すフローチャートである。制御部１０は、撮像装置２００で撮像した撮像画像を取得し（Ｓ３１）、文字領域候補特定部１３を制御して、取得した撮像画像に基づいて文字領域候補を特定する（Ｓ３２）。
【００７０】
制御部１０は、文字領域候補の大小に応じた位置関係データを読み出し（Ｓ３３）、特定した文字領域候補と位置関係データ（対応情報）に基づいて、ナンバープレートの中心（任意の位置）の候補を推定（投票）する（Ｓ３４）。
【００７１】
制御部１０は、他の文字領域候補の有無を判定し（Ｓ３５）、他の文字領域候補がある場合（Ｓ３５でＹＥＳ）、ステップＳ３４の処理を繰り返す。
【００７２】
制御部１０は、他の文字領域候補がない場合（Ｓ３５でＮＯ）、所定の画素数で構成される画素ブロック内に存在する候補の数（投票した結果の得票数）を算出する（Ｓ３６）。
【００７３】
制御部１０は、候補の数が所定値（例えば、２、３など）以上であるか否かを判定し（Ｓ３７）、候補の数が所定値以上である場合（Ｓ３７でＹＥＳ）、候補をナンバープレートの中心位置として特定する（Ｓ３８）。
【００７４】
制御部１０は、特定した中心位置に基づいてナンバープレート領域を検出し（Ｓ３９）、車番（例えば、陸運支局、分類番号、用途番号、一連番号など）を判定し（Ｓ４０）、処理を終了する。候補の数が所定値未である場合（Ｓ３７でＮＯ）、制御部１０は、処理を終了する。
【００７５】
本実施の形態の番号標検出装置１００は、ＣＰＵ、ＲＡＭなどを備えた汎用コンピュータを用いて実現することもできる。すなわち、図９及び図１０に示すような、各処理手順を定めたプログラムコードをコンピュータに備えられたＲＡＭにロードし、プログラムコードをＣＰＵで実行することにより、コンピュータ上で番号標検出装置１００を実現することができる。
【００７６】
上述のように、本実施の形態の番号標検出装置は、撮像画像上の文字領域候補を特定し、学習データである位置関係データを用いることにより、ナンバープレートの任意の位置（例えば、中心位置）を特定することができるので、ナンバープレートの部分的な隠れ、あるいはナンバープレートの傾きがある場合であっても、ロバストかつ正確にナンバープレートを検出することができる。
【００７７】
また、本実施の形態であれば、文字領域候補を特定することができればよいので、すでに設置しているモノクロ（白黒）カメラで撮像した撮像画像を用いることができる。また、文字認識などの前処理が不要であるので、計算コストを抑制することができる。また、撮像画像上での文字候補枠の配置は特に重要ではないので、ナンバープレートを撮像することができるのであれば、撮像装置（カメラ）を取り付ける際の取付け位置又は取付け角度（例えば、レンズの光軸方向）などの調整が不要であるため撮像装置の取付け作業が容易になる。
【００７８】
開示された実施の形態は、すべての点で例示であって制限的なものではないと考えられるべきである。本発明の範囲は上記した説明ではなくて特許請求の範囲によって示され、特許請求の範囲と均等の意味及び範囲内でのすべての変更が含まれることが意図される。
【符号の説明】
【００７９】
１０ 制御部
１１ 画像入力部
１２ 画像メモリ
１３ 文字領域候補特定部（候補領域特定手段）
１４ 記憶部（記憶手段）
１５ 番号標位置推定部（推定手段）
１６ 番号標位置特定部（位置特定手段、検出手段）
１７ 車番判定部
１８ 対応情報生成部（対応情報生成手段）
【特許請求の範囲】
【請求項１】
撮像部で道路を走行する車両を撮像して得られた撮像画像に基づいて該車両の番号標を検出する番号標検出装置において、
車両の番号標の任意の位置と該番号標内の文字領域の位置との対応関係を示す対応情報を予め複数記憶する記憶手段と、
撮像画像に基づいて少なくとも２つの文字領域候補を特定する候補領域特定手段と、
該候補領域特定手段で特定した文字領域候補及び前記記憶手段に記憶した対応情報に基づいて前記撮像画像上の番号標の任意の位置を特定する位置特定手段と、
該位置特定手段で特定した任意の位置に基づいて番号標を検出する検出手段と
を備えることを特徴とする番号標検出装置。
【請求項２】
前記記憶手段に記憶した対応情報に基づいて前記候補領域特定手段で特定した文字領域候補毎に該文字領域候補の位置に対応する番号標の任意の位置の候補を推定する推定手段を備え、
前記位置特定手段は、
前記撮像画像上の所定の画素数で構成される画素ブロック内に存在する前記候補の数が所定値以上である場合、前記候補を前記任意の位置として特定するように構成してあることを特徴とする請求項１に記載の番号標検出装置。
【請求項３】
前記候補領域特定手段は、
番号標の任意の位置が予め特定された番号標画像に基づいて文字領域候補を特定するようにしてあり、
前記候補領域特定手段で特定した文字領域候補及び予め特定された任意の位置に基づいて前記対応情報を複数生成する対応情報生成手段を備え、
該対応情報生成手段で生成した対応情報を前記記憶手段に記憶するように構成してあることを特徴とする請求項１又は請求項２に記載の番号標検出装置。
【請求項４】
前記候補領域特定手段は、
撮像画像上での番号標画像の傾きが異なる複数の番号標画像に基づいて文字領域候補を特定するように構成してあることを特徴とする請求項３に記載の番号標検出装置。
【請求項５】
前記記憶手段は、
前記文字領域の大小に応じて区分けされた文字領域毎に対応情報を予め複数記憶してあり、
前記位置特定手段は、
前記候補領域特定手段で特定した文字領域候補及び該文字領域候補の大小に応じた対応情報に基づいて、前記撮像画像上の番号標の前記任意の位置を特定するように構成してあることを特徴とする請求項１乃至請求項４のいずれか１項に記載の番号標検出装置。
【請求項６】
前記対応情報は、
車両の番号標の任意の位置と該番号標内の文字領域の位置とで決定される撮像画像上の位置ベクトルであることを特徴とする請求項１乃至請求項５のいずれか１項に記載の番号標検出装置。
【請求項７】
コンピュータに、撮像部で道路を走行する車両を撮像して得られた撮像画像に基づいて該車両の番号標を検出するステップを実行させるためのコンピュータプログラムにおいて、
コンピュータに、
撮像画像に基づいて少なくとも２つの文字領域候補を特定するステップと、
特定した文字領域候補及び車両の番号標の任意の位置と該番号標内の文字領域の位置との対応関係を示す対応情報に基づいて前記撮像画像上の番号標の任意の位置を特定するステップと、
特定した任意の位置に基づいて番号標を検出するステップと
を実行させることを特徴とするコンピュータプログラム。
【請求項８】
撮像部で道路を走行する車両を撮像して得られた撮像画像に基づいて該車両の番号標を検出する番号標検出装置による番号標検出方法おいて、
車両の番号標の任意の位置と該番号標内の文字領域の位置との対応関係を示す対応情報を予め複数記憶しておき、
撮像画像に基づいて少なくとも２つの文字領域候補を特定するステップと、
特定された文字領域候補及び記憶した対応情報に基づいて前記撮像画像上の番号標の任意の位置を特定するステップと、
特定された任意の位置に基づいて番号標を検出するステップと
を含むことを特徴とする番号標検出方法。
【請求項１】
撮像部で道路を走行する車両を撮像して得られた撮像画像に基づいて該車両の番号標を検出する番号標検出装置において、
車両の番号標の任意の位置と該番号標内の文字領域の位置との対応関係を示す対応情報を予め複数記憶する記憶手段と、
撮像画像に基づいて少なくとも２つの文字領域候補を特定する候補領域特定手段と、
該候補領域特定手段で特定した文字領域候補及び前記記憶手段に記憶した対応情報に基づいて前記撮像画像上の番号標の任意の位置を特定する位置特定手段と、
該位置特定手段で特定した任意の位置に基づいて番号標を検出する検出手段と
を備えることを特徴とする番号標検出装置。
【請求項２】
前記記憶手段に記憶した対応情報に基づいて前記候補領域特定手段で特定した文字領域候補毎に該文字領域候補の位置に対応する番号標の任意の位置の候補を推定する推定手段を備え、
前記位置特定手段は、
前記撮像画像上の所定の画素数で構成される画素ブロック内に存在する前記候補の数が所定値以上である場合、前記候補を前記任意の位置として特定するように構成してあることを特徴とする請求項１に記載の番号標検出装置。
【請求項３】
前記候補領域特定手段は、
番号標の任意の位置が予め特定された番号標画像に基づいて文字領域候補を特定するようにしてあり、
前記候補領域特定手段で特定した文字領域候補及び予め特定された任意の位置に基づいて前記対応情報を複数生成する対応情報生成手段を備え、
該対応情報生成手段で生成した対応情報を前記記憶手段に記憶するように構成してあることを特徴とする請求項１又は請求項２に記載の番号標検出装置。
【請求項４】
前記候補領域特定手段は、
撮像画像上での番号標画像の傾きが異なる複数の番号標画像に基づいて文字領域候補を特定するように構成してあることを特徴とする請求項３に記載の番号標検出装置。
【請求項５】
前記記憶手段は、
前記文字領域の大小に応じて区分けされた文字領域毎に対応情報を予め複数記憶してあり、
前記位置特定手段は、
前記候補領域特定手段で特定した文字領域候補及び該文字領域候補の大小に応じた対応情報に基づいて、前記撮像画像上の番号標の前記任意の位置を特定するように構成してあることを特徴とする請求項１乃至請求項４のいずれか１項に記載の番号標検出装置。
【請求項６】
前記対応情報は、
車両の番号標の任意の位置と該番号標内の文字領域の位置とで決定される撮像画像上の位置ベクトルであることを特徴とする請求項１乃至請求項５のいずれか１項に記載の番号標検出装置。
【請求項７】
コンピュータに、撮像部で道路を走行する車両を撮像して得られた撮像画像に基づいて該車両の番号標を検出するステップを実行させるためのコンピュータプログラムにおいて、
コンピュータに、
撮像画像に基づいて少なくとも２つの文字領域候補を特定するステップと、
特定した文字領域候補及び車両の番号標の任意の位置と該番号標内の文字領域の位置との対応関係を示す対応情報に基づいて前記撮像画像上の番号標の任意の位置を特定するステップと、
特定した任意の位置に基づいて番号標を検出するステップと
を実行させることを特徴とするコンピュータプログラム。
【請求項８】
撮像部で道路を走行する車両を撮像して得られた撮像画像に基づいて該車両の番号標を検出する番号標検出装置による番号標検出方法おいて、
車両の番号標の任意の位置と該番号標内の文字領域の位置との対応関係を示す対応情報を予め複数記憶しておき、
撮像画像に基づいて少なくとも２つの文字領域候補を特定するステップと、
特定された文字領域候補及び記憶した対応情報に基づいて前記撮像画像上の番号標の任意の位置を特定するステップと、
特定された任意の位置に基づいて番号標を検出するステップと
を含むことを特徴とする番号標検出方法。
【図１】
【図２】
【図３】
【図４】
【図５】
【図６】
【図７】
【図８】
【図９】
【図１０】
【図２】
【図３】
【図４】
【図５】
【図６】
【図７】
【図８】
【図９】
【図１０】
【公開番号】特開２０１２−１３３４７５（Ｐ２０１２−１３３４７５Ａ）
【公開日】平成２４年７月１２日（２０１２．７．１２）
【国際特許分類】
【出願番号】特願２０１０−２８３３８４（Ｐ２０１０−２８３３８４）
【出願日】平成２２年１２月２０日（２０１０．１２．２０）
【出願人】（０００００２１３０）住友電気工業株式会社 (12,747)
【Ｆターム（参考）】
【公開日】平成２４年７月１２日（２０１２．７．１２）
【国際特許分類】
【出願日】平成２２年１２月２０日（２０１０．１２．２０）
【出願人】（０００００２１３０）住友電気工業株式会社 (12,747)
【Ｆターム（参考）】
[ Back to top ]