車両認識装置

【課題】普通車などに取り付けられた標準プレート、および標準プレート以外のプレート(特殊プレート)を高い認識率で認識することのできる車両認識装置を提供する。
【解決手段】車両のナンバプレートを照射する光源2と、前記車両および車両のナンバプレートを撮影するカメラ1−A,1−Bと、前記カメラで撮影した画像からナンバプレートの候補を検出するプレート検出部6と、検出したナンバプレートの候補の画像から文字情報を認識するプレート認識部12と、前記カメラで撮影した画像からナンバプレートの文字情報以外の車両の特徴を抽出する車両特徴抽出部14を備えた。

【発明の詳細な説明】
【技術分野】
【0001】
本発明は、車両認識装置に係り、とくにカメラでナンバープレートを撮影して文字を読み取って車両を認識する車両認識装置に関する。
【背景技術】
【0002】
近年、車番認識装置が普及してきた。この装置は道路上にカメラを設置し、通過する車両のナンバープレート(以下単にプレートと称することがある)の番号などを自動認識する装置である。このような装置は駐車場などの入出門管理、旅行時間計測、犯罪車両検知などに利用されている。車番認識装置は、一般的にはカメラ、近赤外照明、画像処理装置で構成される。
【0003】
ところで、日本のナンバープレートには字光式(文字が背後からの照明によって光る)タイプがある。この字光式プレートは近赤外光を照射すると文字部がハレーションを起し、文字認識できない場合がある。
【0004】
また、一般車両のナンバープレート(標準プレートと称する)とは別に、自衛隊用のプレート、外交官用のプレート、回送車用のプレートなどがあるが、従来の装置ではこれらのプレートは認識対象外として扱うことが多い。
【0005】
図30は、従来の車番認識装置の基本構成を示す図である。夜間も撮影可能なようにカメラ1としては近赤外感度の高いカメラを用いる。LED照明2はカメラのシャッタ開放タイミングに合わせて点灯する。カメラ1の映像信号は画像処理装置3に伝送され、A/D変換器4を介して画像メモリ5に格納される。画像メモリ5は各種画像処理のため、数十枚の画像を記憶できるように構成されている。画像メモリ5に格納されたカメラ映像を画像処理し、プレート検出部6で画像内におけるナンバープレートの位置を検出し、プレート認識部7でプレート領域の文字を抽出し、車番を認識する。なお、プレート検出部6、プレート認識部7はCPU8によりで制御される。
【0006】
認識した結果は、通信部10を介して上位システムに送信される。また、LEDとカメラの同期を合わせるための同期信号発生回路11備えている。
【0007】
このような、従来の車番認識装置は、一般的なナンバープレートを認識するための構成であり、字光式プレート、近赤外カットフィルタを装着したプレート、自衛隊用プレート、外交官用プレートなどの特殊プレートに対する認識は前述のように除外されることが多い。
【0008】
しかしながら、近年、ナンバープレート認識システムへの性能要求は高まる傾向にあり、種々のナンバープレートを認識することが望まれている。また、プレートの文字情報以外の車両の特徴を認識することも望まれている。
【0009】
なお、字光式ナンバープレートを認識する従来技術としては特許文献1が知られている。この文献では極めて大きな光パワーを有する照明設備を点灯し、該設備による発光波長の光だけをカメラで受光して字光式プレートを読み取ることが示されている。また、特許文献2には、何らかのセンサで字光式プレートか否かを判定し、字光式プレートの場合は照明を消して撮影することが示されている。
【0010】
なお、赤外カットプレート、自衛隊用プレートなどの認識についての文献は見当たらない。また、特許文献3には、ナンバープレートの文字を全て読み取ることが示されている。また、非特許文献1には、文字が欠けている場合の対応方式が示されている。また、非特許文献2には、文字が欠けている場合に文字列の配列規則を用いて対応することが示されている。
【特許文献1】特開平11−339176号公報
【特許文献2】特開平7−121794号公報
【特許文献3】特開平6−215293号公報
【非特許文献1】「環境の明るさの変化にロバストな走行車両のナンバープレート認識」:電子通信学会論文誌D-IIVol.J81-D-IINo.9(1998)
【非特許文献2】「部分文字列の配置規則を考慮したナンバープレート領域抽出」:電子通信学会論文誌D-IIVol.J81-D-IINo.10(1998)
【発明の開示】
【発明が解決しようとする課題】
【0011】
前記特許文献1および2は、字光式プレートに限定した技術である。また、特許文献1に示される技術では、前述のように、様々な波長成分の光を放射する字光式プレートの照明に勝る前記照明設備に膨大な光パワーが必要とされる。このため照明設備が大型化し高価格となる。
【0012】
また、前記特許文献2に示される技術では、字光式と判断するために、光センサなどを必要とするため高速で走行する車両に対して反応できない場合がある。
【0013】
また、従来技術では字光式ナンバープレートの照明用のランプ切れを考慮していないため、十分な認識率が得られないことがある。更に、ナンバープレートに近赤外線カットフィルタを装着したプレート、自衛隊用プレート、外交官用プレートなどを認識することができない。
【0014】
また、非特許文献1に示す文字抽出方法は、ナンバープレートの汚れ、あるいは影で文字が欠けた場合に、一連番号の周辺文字の存在度合いを評価し補正することが記載されている。しかしながら、一般に一連番号以外の文字は非常に小さく見えるため、一連番号を検出してからでなければ周囲の文字領域を正確には定めることができない。このため、ノイズなどの影響を受けやすい。また、字光式のようなプレートに対応できる方法ではない。 非特許文献2においては、得られた一連番号の候補文字のある文字をナンバープレートの所定桁の文字と仮定し(例えば右端の文字)、その左にある理想ピッチ間隔と、実際の物体の間隔を求め、候補を選択する手法が記載されている。この方式の場合、ひらがな(用途コード)の情報を用いて欠損した一連番号の位置を強制的に設定しているが、ひらがな文字は一連番号に比べ小さな文字であるとともに、例えば、文字「あ」と「つ」では文字高さの差が大きい。また、「い」のように文字が分離するなどの問題があり、常に精度良く抽出できる方式ではない。
【0015】
本発明は、これらの問題点に鑑みてなされたもので、一連番号の文字を正確に切り出すとともに、普通車などに取り付けられた標準プレート、および標準プレート以外のプレート、すなわち字光式プレート、近赤外カットプレート、自衛隊用プレート、外交官用プレート、回送車用プレート等の特殊プレートを高い認識率で認識することのできる車両認識装置を提供するものである。また、ナンバープレートの文字情報以外の特徴(ナンバープレートのさび、車両の色など)を認識し、より高度な車両認識情報を得ることのできる車両認識装置を提供するものである。
【課題を解決するための手段】
【0016】
本発明は上記課題を解決するため、次のような手段を採用した。
【0017】
車両のナンバプレートを照射する光源と、前記車両および車両のナンバプレートを撮影するカメラと、前記カメラで撮影した画像からナンバプレートの候補を検出するプレート検出部と、検出したナンバプレートの候補の画像から文字情報を認識するプレート認識部と、前記カメラで撮影した画像からナンバプレートの文字情報以外の車両の特徴を抽出する車両特徴抽出部を備えた。
【発明の効果】
【0018】
本発明は、以上の構成を備えるため、一連番号の文字を正確に切り出すとともに、標準プレートおよび標準プレート以外の特殊プレートを高い認識率で認識することのできる車両認識装置を提供することができる。また、ナンバープレートの文字情報以外の特徴を認識し、より高度な車両認識情報を得ることのできる車両認識装置を提供することができる。
【発明を実施するための最良の形態】
【0019】
以下、最良の実施形態を添付図面を参照しながら説明する。図1は、標準プレートおよび特殊プレートを認識可能な車両認識装置を説明する図である。図1において、1−Aは近赤外カメラ、1−Bはカラーあるいはモノクロの可視カメラ、2は人間に見えない波長の近赤外光を照射するLED照明装置である。
【0020】
3は画像処理装置であり、A/D変換器4−A,4−B、複数の画像メモリ5、画像メモリ5のデータを処理してプレート領域を切り出すプレート検出部6、プレート領域から一連番号を切り出してプレート(標準プレートを含む特殊プレート)を文字認識する特殊プレート認識部12、一連番号が切り出せなかった場合に近赤外、可視カメラの画像を相互に切り替えて処理するカメラ画像切り替え制御部13、車両の特徴を求める車両特徴抽出部14から構成されている。なお、図1において図30に示される部分と同一部分については同一符号を付して説明を省略する。
【0021】
プレート検出部6は、図2のように入力画像を処理してプレート候補を抽出するもので、縦エッジ強調処理などによりプレート候補を作成し、最もプレートの形状に類似している物体位置を検出する。プレート候補に抽出には多種多様な方式があるが、本発明には直接関与しないため詳細は省略する。
【0022】
図3は、特殊プレート認識部の詳細を説明する図である。特殊プレート認識部12は、図3に示すように4つの機能を備える。プレート領域2値化部20はプレート領域を所定のしきい値で2値化する。一連番号抽出部21は、2値画像から一連番号の候補を抽出する。文字領域算出部22は得られた一連番号の候補が標準プレートの場合は一連番号の位置座標から相対的に陸運支局コード、車種コード、用途コードの位置を算出する。文字認識部23は、各領域を切り出しパターンマッチングあるいはニューラルネットワークなどの識別器を用いて文字認識する。
【0023】
図4は、プレート領域画像の取得から各文字領域算出までの処理例を示す図である。なお、図中で陸運支局コードの画像を意図的に消しているのはプライバシー対応であり、本来は漢字やひらがなが表示されている。以下同様にプレート部の一部を消した画像を示す。
【0024】
図5は、字光式プレートにおいて左側のランプが消えている場合の一連番号抽出例を示す図である。ランプが消えると文字が白文字と黒文字の2通りになるため、プレート領域を2値化したときに、黒い文字を検出することができない。
【0025】
図6は、このような場合にも対応できる一連番号抽出部21を説明する図である。図に示すように特殊プレート認識部12の一連番号抽出部21を構成する。すなわち、プレート2値化画像30を対象に文字候補を抽出し31、抽出した文字候補画像に対してピッチ誤差最小文字抽出処理32を実行する。
【0026】
前記プレート2値化画像だけでは一連番号が検出できない場合は、ドット画像2値化画像33からドット候補を抽出し34、抽出したドット候補画像に対してピッチ誤差最小文字抽出処理32を実行する。ドット画像2値化画像33から一連番号が検出できない場合は、エッジ2値化画像35から文字候補を抽出し、抽出した画像36を対象にピッチ誤差最小文字抽出処理32を実行する。
【0027】
次に、文字抽出処理の処理概要を、まずは一般のプレートを対象とする例で説明する。
【0028】
図7は、図6のピッチ誤差最小文字抽出処理32の処理例を説明する図である。文字候補が4つある場合に、例として文字「8」を基準とする。この文字「8」が4桁の一連番号の先頭文字か、2番目かなどを順次仮定し、1番目とすると図7の(1)のように理想位置が文字「8」の右に3文字分設定され、その理想位置と実際の文字座標とのずれを誤差として求める。右の2桁分の理想位置には該当する物体が無いため誤差が大きくなる。また、文字「8」が2桁目と仮定すると、図7(2)のように理想位置と実際の文字位置がずれているためやはり誤差が大きくなる。文字「8」が3桁目と仮定すると理想位置と実際の文字位置はほぼ一致するため誤差が小さくなる。同様に文字「8」が4桁目と仮定する処理を実行する。このような処理を文字候補数分繰り返し実行し、最も誤差が小さい条件で処理したときに各理想位置に近い物体を切り出すことで、一連番号を正確に抽出することが可能となる。
【0029】
なお、日本車には中型プレートおよび大型プレートの2種類のプレートサイズがあるため、2種類の基準ピッチで実行する。また、プレートが傾いている場合もあるため、所定の角度に対応した基準位置を算出し、誤差を計算する。
【0030】
図8は、一連番号抽出処理を説明する図である。まず、一連番号の候補サイズを算出する(ステップS40)。候補サイズは日本車の場合、中型プレートは80mm×40mm、大型プレートは120mm×60mmであるが、プレートの傾きなどを考慮し高さ40mm相当から140mm相当までの画素サイズで算出する。
【0031】
一般にカメラは固定されているため、このサイズは一意に決まる場合もあるが、ナンバープレートが撮影される画面の位置によって大きさが多少変動する(画面の上になるほど文字が小さく見える)ため、プレートの撮影位置によって可変することが望ましい。
【0032】
求めた文字サイズに該当する物体をプレートの2値画像から選択し(画像処理で一般的なラベリング処理、ラベル毎の領域抽出後、物体の大きさがしきい値以内のラベルのみを抽出する処理)、その物体の位置座標(X最小/最大、Y最小/最大座標)を求める(ステップS41)。その後に、文字数分ループ(図8では4個分)(ステップS42)、基準位置数ループ(日本車の標準プレートの場合は4桁分)(ステップS43)、中型/大型ループ(ステップS44)、傾き−θ度、0度、+θ(θは5度程度)度ループを行い(ステップS45)、理想位置算出を実行する(ステップS46)。なお、理想位置は図9のように中型、大型、およびそれらの傾きに応じて算出する。
【0033】
誤差の算出(ステップS47)は、理想位置の中心X,Y座標と、抽出した文字候補の中心座標との差を累積するもので次式によって算出する。
【数1】

【0034】
ここで、nは理想位置の文字桁番号(0〜3:基準文字を除く)、jは理想位置nに最も近い物体の番号であり、obj_xcjは選択した物体jの中心X座標。同様にobj_ycjは選択した物体jの中心Y座標を示す。st_xcnは理想位置nの中心X座標、st_ycnは理想位置nの中心Y座標である。また、αは係数で1〜2の値をあらかじめ設定する。
【0035】
基準文字が先頭桁の場合は、nが1〜3桁目の理想位置とそれぞれ近い物体の中心座標との差の絶対値を累積する。
【0036】
ここで、図10は、理想位置からの誤差算出処理を説明する図である。この処理では理想位置の中心座標と各物体の座標誤差が最も小さい物体を探す処理を実行する。図10では理想位置nに最も近い物体は物体3であり、そのときの誤差は4となる(数式1のjは3になる)。なお、理想位置から所定距離内に物体が無い場合は、誤差を1000とおく。
【0037】
以上の各処理を繰り返すと、条件毎に誤差と理想位置それぞれに最も近い位置にある物体の番号、座標が求まるのでこれを格納し、全ての条件での処理を実行する(ステップS48)。全ての処理が終了すると、誤差が最も小さい組み合わせを選択する(ステップS49)。なお、図7は中型プレートだけの例であるが、3番目に実行した誤差が最も小さいことから、そのときの理想位置に近い物体4つを選択することになる。
【0038】
以上の処理(ステップS42〜S49)が標準プレート(中型プレート)の一連番号選択処理(ステップS50)である。
【0039】
ところで、理想位置との誤差を検出するだけでは一連番号を選択できない。すなわち、日本車にはドットを含む1〜4桁の文字が存在するため、文字の有無だけでなくドットの有無をチェックする必要がある。
【0040】
図11は、2桁のナンバープレートの例を示す図である。このナンバープレートでは、基準文字は2文字であり、理想位置に文字が無い場合が2箇所存在する。理想位置の周辺に文字が無い場合は、前述の例では誤差が1000になる。しかし、このような場合には、図11(4)のように、あらかじめドット画像からドットの位置座標(中心X,Y座標)を求めておき、その位置と理想位置との差が所定以内にあれば、そのドット位置と理想位置の差を誤差として求める。これによりドットを含む1〜4桁の場合に対応することができる。
【0041】
図12は、字光式プレートにおいて、文字が右側しか切り出せない場合(左側のランプが切れた場合)を説明する図である。このような場合には、理想位置の近傍に文字が無い箇所が2箇所発生する。そのうち1箇所はドットもなく誤差が1000となり、一連番号の選択が不可能になる。このため、図12の(4)のようにあらかじめエッジ画像を2値化し文字の大きさに相当する物体を切り出しておき、その物体の位置座標(中心X,Y座標)と理想位置との誤差を求め、所定以内にあればその物体を文字候補とする。
【0042】
エッジ画像は文字色によらず候補が抽出できるので、ドット画像、エッジ画像を併用することで、字光式プレートでも認識可能となる。ただし、エッジ画像はノイズに敏感であるため、必ずしも文字候補を正確に抽出できない場合があるが、従来の全く抽出できない状態に比べると認識率は格段に向上する。
【0043】
また、エッジ画像を2値化し文字候補を抽出する他に、プレートを2値化する場合の抽出色を反転して候補を選択することもできる。すなわち、図12(1)では白文字を抽出しているが、黒文字を抽出する処理をエッジ画像での一連番号候補抽出の代用とすることができる。
【0044】
図13は、図13に示すような4桁以外の文字あるいは欠損文字に対応可能な一連番号抽出処理処理を説明する図である。ドット画像から候補物体を抽出しその座標を記憶するドット画像の候補抽出処理(ステップS55)、エッジ画像から文字候補を抽出しその座標を記憶するエッジ画像での一連番号候補抽出(ステップS56)、およびドット、エッジ併用誤差算出処理(ステップS57)を備える点で図8における処理とは異なる。
【0045】
図14は、前記ドット、エッジ併用誤差算出処理(ステップS57)を説明する図である。ドット、エッジ併用誤差算出処理57は、図14に示すように文字候補との誤差算出60の誤差がしきい値より大きければ、ドット候補との誤差算出62を実行し、誤差がしきい値より大きければ、エッジ候補との誤差算出64を実行することで実現する。エッジ画像での一連番号抽出処理(ステップS56)は、反転文字抽出にしてもよい。
【0046】
図13に示す処理方式は、非特許文献2に類似した手法であるが、非特許文献2では文字が欠損しない場合(4桁ある)と3桁の場合は文字ピッチの比率の比較のみを利用している。また、2文字以上欠損した場合は文字ピッチが求められないため文字高さとピッチの比率を利用している。これに対し、本実施形態ではプレートのドット情報およびエッジ画像からの文字抽出を併用し、最も一連番号の配列に類似している文字候補を選択する手法であり、正確に一連番号を選択することが可能である。
【0047】
また、ひらがな(用途コード)の情報も不要であり、正確な判断が可能である。また、非特許文献2は文字の桁を仮決めしたときに、左側に存在する文字だけを評価対象としているが、本実施形態では、基準文字が1桁目のときは右の3文字分の理想位置との誤差、4桁目のときは左3文字分の誤差というように基準文字が1〜4桁全てのケースを仮定し、かつ、文字候補が10個あれば全ての文字候補を基準として誤差を求めているため字光式プレートの場合は特に明るさの影響で文字が太くなったり細くなったりしても正確に一連番号候補を選択することが可能である。
【0048】
以上説明したように本実施形態によれば一連番号を正確に切り出せるとともに、ランプ切れが発生した字光式ナンバープレートのように一部の文字が不鮮明でも切り出すことが可能となり、認識率が大幅に向上する。
【0049】
以上、標準プレートから一連番号を選択する方法を説明した。次に、自衛隊用ナンバープレート、外交官用ナンバープレート、回送車用ナンバープレート等の特殊プレートに対する認識処理について説明する。
【0050】
図15は、特殊プレートの例を示す図である。自衛隊用プレートは6桁であり、左2桁と右4桁が離れている構成、外交官用プレートは4桁であり、文字は等ピッチで並んでいる構成、回送車用プレートは3〜4桁で中心にドットがある構成となっている。
【0051】
図16は、特殊プレートを含むプレートに対する一連番号抽出処理を説明する図である。自衛隊用プレートの左4文字だけを見ると、ほとんど標準プレートと同じ配列であるため、処理の流れとしては、図16に示すように実行する。
【0052】
この処理は図8のステップS50の処理(一連番号抽出処理)に相当するので、図13の一連番号の候補抽出処理(ステップS41)、ドット画像の候補抽出処理(ステップS55)、エッジ画像での一連番号候補抽出(ステップS56)の処理後に実行する。
【0053】
図16において、まず、文字候補が5文字以上かをチェックし(ステップS70)、5文字以上の場合(文字候補数は図8の一連番号の候補抽出処理(ステップS41)で求まっている)には自衛隊配列でピッチ誤差最小文字抽出を実行し71、誤差が所定値以内であれば、自衛隊用プレート認識領域算出処理73を実行し、文字認識処理74を実行する。自衛隊用プレートの場合は文字桁が6桁であるため、図13の基準位置ループ処理(ステップS43)のnは0〜5の6回になる。
【0054】
また、誤差が大きい場合、あるいは文字候補が4文字以下の場合は標準プレートの配列でピッチ誤差最小文字抽出を実行し(ステップS75)、誤差が所定値以内であれば、標準/回送プレート判定(ステップS77)を実行し、標準プレートの場合は標準プレート認識領域算出処理(ステップS79)を実行し、回送プレートの場合は、回送プレート認識領域算出処理(ステップS80)を実行し、文字認識処理(ステップS84)を実行する。
【0055】
また、標準プレートでの配列チェック(ステップS75)でNGと判定された場合は、外交官用プレートの配列でピッチ誤差最小文字抽出処理を実行し(ステップS81)、誤差が所定値以内であれば、外交官用プレート認識領域算出処理83を実行し、文字認識処理(ステップS84)を実行する。
【0056】
このように処理することにより、特殊プレートに対しても柔軟に認識処理を施すことが可能になる。
【0057】
図17は、標準プレートと回送車用プレートの判定処理を説明する図である。回送車用プレートは3文字以上であるため、2文字以下かをチェックし(ステップS90)、2文字以下の場合は標準プレートと判断する(ステップS94)。文字が3桁以上の場合は、文字が4桁かをチェックする(ステップS91)。4桁の場合は標準/回送プレートともにハイフンが常にセンタにドットとして存在するため、周辺の陸運支局、車種領域に文字があるがをチェックし、文字があれば標準プレートと判断し(ステップS94)、なければ回送車用プレートと判定する(ステップS95)。また、3桁の場合は中央にドットがあるかをチェックし、無ければ標準プレートと判定し(ステップS94)、ドットがあれば回送車用プレートと判定する(ステップS95)。
【0058】
ここで、図18は自衛隊用プレートにおける認識領域設定例を示す図、図19は標準プレートにおける認識領域設定例を示す図、図20は外交官用プレートにおける認識領域設定例を示す図、図21は回送車用プレートにおける認識領域設定例を示す図、図22外交官用プレート(中国)における認識領域設定例を示す図である。
【0059】
図16に示す自衛隊プレート認識領域算出処理(ステップS73)では、図18に示すように、プレートに数字しかないので検出した文字候補の領域をそのまま設定する。標準プレート認識領域算出処理(ステップS79)では、図19に示すように陸運支局コード、車種コード、用途コードの位置を一連番号からの相対位置a〜dなどの値で設定する。外交官用プレート認識領域算出処理(ステップS83)では、図20に示すように、一連番号から相対的に漢字領域までの距離aで設定する。また、回送プレート認識領域算出処理(ステップS80)では、図21に示すように一連番号から相対的に漢字領域までの距離aで設定する(3桁と4桁でaの値を変える)。
【0060】
また、中国外交官用プレートの場合であれば、図22に示すように配列が決まるので、その配列でのピッチ誤差最小文字抽出を実行すれば、容易に中国外交官用プレートを認識することが可能となる。なお、中国外交官用プレートの場合、先頭文字は漢字であり、一連番号のサイズにならないことが多いため、基準文字位置は先頭を除く2〜7桁目と仮定し誤差を算出すればよい。以上により、図1に示す特殊プレート認識部12を構成することができる。
【0061】
次に、図1に示すカメラ画像切り替え制御部13の詳細を説明する。
【0062】
図23は、近赤外カメラ1−Aおよび可視カメラ1−Bを併用した認識処理を説明する図である。近赤外カットプレートを装着したナンバープレートの場合、図23に示すように近赤外カメラではプレートを認識することができない。しかし、可視カメラではコントラストは低下するもののプレートを読み取ることが可能である。
【0063】
このため、図23に示すように、画像メモリ5に近赤外カメラ1−Aおよび可視カメラ1−Bで取得した画像を取り込んでおき、まず、近赤外カメラで認識処理を実行し、認識できたか否かを判断する(ステップS100,101)。認識できた場合は次の車両を認識、認識できない場合は、可視カメラの映像に切り替え認識する(ステップS102)。
【0064】
図24は、近赤外カメラ1−Aおよび可視カメラ1−Bを併用した認識処理(近赤外カットプレートを装着したナンバープレートを考慮)を説明する図である
まず、画像メモリ5に近赤外カメラ1−Aおよび可視カメラ1−Bで取得した画像を取り込んでおき、近赤外カメラで認識処理を実行し、認識できたか否かを判断する(ステップS100,101)。近赤外カメラの映像で認識できない場合は、特殊プレート判定を実行し(ステップS105)、赤外カットプレートを装着したナンバープレートであると判定した場合は感度補正を実行し(ステップS107)、その後可視カメラの映像で認識処理を実行する(ステップS192)。
【0065】
特殊プレート判定(ステップS105)は、近赤外カメラの映像で認識できない場合に、画像中に黒い四角の物体があるか否かを判定するもので、所定しきい値より暗い濃度を抽出する2値化処理を実行し、得られた物体の形状をチェックすることで実現する。なお、赤外カットプレートを装着しているナンバープレートの場合は、夜間は可視カメラでも撮影することは困難である。このため、認識処理を中止し、赤外カットプレートを装着したナンバープレートである旨を通知するのみとしてもよい。
【0066】
なお、図1に示すプレート検出部6は、処理の対象領域がプレートの形状に近いかどうかを判定し、対象領域毎に優先順位を計算している。図2ではプレート候補を1個示しているだけであるが、実際には図25に示すようにプレート候補の優先順位に従ってプレート2値化、文字抽出を実行する。近赤外カメラと可視カメラを併用した場合、各画像のプレート候補優先順位はそれぞれ図26のようになる。
【0067】
なお、近赤外カメラにプレートが映っていなくても、画像処理において、文字が無いと判断することは難しい。このため、近赤外の候補の数だけ2値化、文字抽出処理を実行し、プレートの文字がなければ可視カメラのプレート候補の優先順位に従って処理することになる。
【0068】
しかしながら、このように処理すると処理時間が大幅に増加する。このため、予め近赤外カメラおよび可視カメラでプレート候補を作成し、それぞれの優先順位を求めるのでなく、図27に示すように、近赤外カメラおよび可視カメラの両画像を比較して優先順位を定める。この処理により、プレート形状に類似する順番に処理が進むため、2カメラ併用方式でも高速にプレートを認識することが可能となる。なお、優先順位の求め方は、種々あるが、例えば標準プレートのX幅、Y幅をあらかじめ設定し、このサイズと各プレート候補のサイズの誤差が小さい順に順位付けするなどがある。
【0069】
図28は、近赤外カメラ1−Aおよび可視カメラ1−Bを併用し、設定されたプレート候補優先順位に従って行う認識処理を説明する図である。なお、図において図24に示される部分と同一部分については同一符号を付して説明を省略する。
【0070】
図28において、まず、特殊プレート判定を実行し(ステップS105)、赤外カットプレートを装着したナンバープレートであると判定した場合は感度補正を実行し(ステップS107)。次に、プレート優先順位を1に設定し、その候補が近赤外カメラの映像であるか否かをチェックし(ステップS111)、近赤外カメラの画像である場合は、近赤外カメラの画像に対し認識処理を実行する(ステップS100)。可視カメラの画像の場合は可視カメラ画像に対して認識処理を実行する(ステップS102)。
【0071】
前記認識処理の結果がOKであるか否かを判定し(ステップS103)、OKの場合は終了し、NGの場合は、他に候補があるか否かを判断し(ステップS113)、他に候補がある場合には優先番号を更新して(ステップS114)、再処理を実行する。
【0072】
次に、図1に示す車両特徴抽出部14の処理の詳細を説明する。車両特徴抽出部14は、以下の機能を有する。
【0073】
(1) 字光式プレート、赤外線カットプレートを判定
近赤外カメラの映像と可視カメラの映像をチェックすることにより、両プレートを判別することができる。例えば、近赤外カメラ画像に黒い四角の物体あるいは凸形状の物体があれば、赤外線カットプレートと判定する。また、文字認識できたプレート領域についてカラーカメラで色をチェックし、緑色成分があれば字光式と判定する。
【0074】
(2)車両かそれ以外
近赤外画像、可視画像ともに全く認識できない場合は、車両のフロント画像であるか否かをチェックし、車両以外であれば、その情報を通信部を介して上位システムに伝送する。例えば、路面の画像、バイクなどの二輪車を判定する。車両を撮影した画像の場合は長い水平エッジがほとんどの場合存在するが、二輪車の場合は水平エッジより縦エッジの方が多い。このため、エッジの縦、横成分の比率によって、二輪車か車両かを判定することができる。また、路面を撮影した画像の場合は、濃度値が画面においてほぼ一定となる。このため、濃度の分散値が所定値以下であれば路面と判定することができる。
【0075】
(3)ヘッドライトの点灯状態
夜間では、プレート認識したときのプレート領域を基準として、その近傍に高輝度の領域が2つあるか否かを判定し、1個しかない場合は、片目ランプ車両、何も無い場合は無灯火車両と判定する。具体的処理としては、プレート位置の上部に処理領域を設定し、その領域に対して所定しきい値より明るい物体を検出する2値化処理を実行し、所定サイズより大きな物体の数をカウントすればよい。なお、画面より外れる場合があるが、見つけた高輝度物体の中心座標から所定の幅(プレートの中型/大型車両の判定がプレート認識時に終了しているので中型プレートの場合なら1.5〜1.8m程度の幅)が画面にあるかをチェックすれば、片目ランプ車両の判定精度を向上することができる。
【0076】
(4)ナンバープレートの状態
ナンバープレートを取り付ける止めねじが錆びていると、その下にある陸運支局コード、車種コードの認識に悪影響を与える。このため、錆の有無をカラーカメラでチェックし、チェック結果を上位システムに伝送する。これにより、錆びている場合は、認識結果を手動で確認するなどの対応が可能となる。また、封印に取付けられているアクセサリの有無をチェックする。また、プレート全体が汚れているかを茶色成分の検出によって判定する。
【0077】
(5)エンブレムなどの画像抽出
近赤外カメラの画像に対し、プレートの近傍にある、エッジの強い領域で所定サイズの大きさの領域を抽出し、この画像を上位システムに伝送することにより車種等を特定することができる。例えば、あらかじめエンブレムのパターンを複数登録しておき、パターンマッチングによりエンブレムを認識することができる。また、あらかじめエンブレムパターンを学習しておき、その学習データによりニューラルネットワークなどの識別器を用いてパターン認識することによりし、エンブレムを認識することができる。これにより、例えば、「xx」のマークがある車といった検索が可能となる。また、カラーカメラの場合は、赤、青など指定の色の物体の所定サイズの領域を切り出すことにより車両の色を認識することができる。
【0078】
以上、近赤外カメラと可視カメラを併用する例を説明したが、紫外カメラと可視カメラを併用することもできる。
【0079】
近年、紫外領域に高い感度を有するCCDを用いた紫外カメラが普及し、また紫外LEDも市販されるようになった。この紫外カメラと紫外LEDを用いることで、赤外カットプレート、字光式プレートを認識することが可能となる。
【0080】
また、中国外交官用プレートでは、プレートに青色の塗料が背景として塗布されている。この塗料は近赤外を反射する特性である。このため、近赤外カメラで撮影すると、文字の白色と背景の青色が同じように白く見えるため認識できないことが多い。このため、前記紫外カメラでの撮影は有効である。
【0081】
図29は、紫外カメラを用いた車両認識装置の例を説明する図である。この例では、図1におけるカメラおよび照明を、紫外カメラ200および紫外LED201に変更している。紫外LEDは赤外LEDに比して照射パワーが小さいため、カメラ入力画像に対し明るさを補正する感度補正回路202を付加する。なお、図1に示すカメラ画像切り替え制御部13は紫外カメラを単体で使用する場合には不要である。その他の構成要素は図1と同じである。
【0082】
可視カメラ(カラーカメラ)を装着して車両特徴抽出部においてカラー情報による判定を実行することができる。このように、紫外カメラ200および紫外LED201を用いることにより、字光式プレート、赤外カットプレート、赤外反射プレートを共に認識することが可能となる。
【0083】
また、紫外カメラの感度が不足する場合は、紫外カメラ200と近赤外カメラあるいは、可視カメラ(カラー、モノクロ)とを併用し、少なくとも昼間だけは赤外カット、赤外反射プレートを紫外カメラで認識し、夜間は近赤外あるいは可視カメラで認識する構成としてもよい。なお、近赤外カメラと併用する場合は、LED照明に近赤外LED、紫外LEDを装着するすることになる。この場合各カメラによってシャッター開放タイミングが異なるので、同期信号発生回路はそれぞれのカメラのタイミングに合わせるため2つ設けることになる。
【0084】
以上説明したように、本実施形態によれば、標準プレートの外に、字光式、自衛隊用、外交官用、あるいは回送車用、あるいは赤外カットプレートなどの特殊プレートを認識することが可能となり、車両の認識率の大幅な向上が可能となる。これにより、入出門管理、犯罪車両検知などにおける運用効率が向上する。
【図面の簡単な説明】
【0085】
【図1】標準プレートおよび特殊プレートを認識可能な車両認識装置を説明する図である。
【図2】プレート検出部の処理例を説明する図である。
【図3】特殊プレート認識部の詳細を説明する図である。
【図4】プレート領域画像の取得から各文字領域算出までの処理例を示す図である。
【図5】字光式プレートにおいて左側のランプが消えている場合の一連番号抽出例を示す図である。
【図6】一連番号抽出部21の詳細を説明する図である。
【図7】図6のピッチ誤差最小文字抽出処理32の処理例を説明する図である。
【図8】一連番号抽出処理を説明する図である。
【図9】理想位置の設定例を示す図である。
【図10】理想位置からの誤差算出処理を説明する図である。
【図11】2桁のナンバープレートの例を示す図である。
【図12】字光式プレートにおいて、文字が右側しか切り出せない場合を説明する図である。
【図13】4桁以外の文字あるいは欠損文字に対応可能な一連番号抽出処理処理を説明する図である。
【図14】ドット、エッジ併用誤差算出処理(ステップS57)を説明する図である。
【図15】特殊プレートの例を示す図である。
【図16】特殊プレートを含むプレートに対する一連番号抽出処理を説明する図である。
【図17】標準プレートと回送車用プレートの判定処理を説明する図である。
【図18】自衛隊用プレートにおける認識領域設定例を示す図である。
【図19】標準プレートにおける認識領域設定例を示す図である。
【図20】外交官用プレートにおける認識領域設定例を示す図である。
【図21】回送車用プレートにおける認識領域設定例を示す図である。
【図22】外交官用プレート(中国)における認識領域設定例を示す図である。
【図23】近赤外カメラおよび可視カメラを併用した認識処理を説明する図である。
【図24】近赤外カメラおよび可視カメラを併用した認識処理(近赤外カットプレートを装着したナンバープレートを考慮)を説明する図である。
【図25】プレート候補の優先順位を説明する図である。
【図26】複数カメラの場合のプレート候補優先順位を説明する図である。
【図27】複数カメラの場合のプレート候補優先順位を説明する図である。
【図28】近赤外カメラおよび可視カメラを併用し、設定されたプレート候補優先順位に従って行う認識処理を説明する図である。
【図29】紫外カメラを用いた車両認識装置の例を説明する図である。
【図30】従来の車番認識装置の基本構成を示す図である。
【符号の説明】
【0086】
1−A 近赤外カメラ
1−B 可視カメラ
2 LED照明
3 画像処理装置
4A、4B A/D変換器
5 画像メモリ
6 プレート検出部
8 CPU
9 RAM
10 通信部
11 同期信号発生開路
12 特殊プレート認識部
13 カメラ画像切り替え制御部
14 車両特徴抽出部
200 紫外カメラ
201 紫外LED

【特許請求の範囲】
【請求項1】
車両のナンバプレートを照射する光源と、
前記車両および車両のナンバプレートを撮影するカメラと、
前記カメラで撮影した画像からナンバプレートの候補を検出するプレート検出部と、
検出したナンバプレートの候補の画像から文字情報を認識するプレート認識部と、
前記カメラで撮影した画像からナンバプレートの文字情報以外の車両の特徴を抽出する車両特徴抽出部を備えたことを特徴とする車両認識装置。
【請求項2】
請求項1記載の車両認識装置において、
前記車両のナンバプレートを照射する光源は近赤外光を照射する光源であり、前記車両のナンバプレートを撮影するカメラは可視光を撮像する可視カメラおよび近赤外光を撮像する近赤外カメラであることを特徴とする車両認識装置。
【請求項3】
請求項2記載の車両認識装置において、
近赤外カメラで撮影した画像からナンバープレートの文字情報が認識できないときナンバプレートを撮影するカメラを可視カメラに切り替え、可視カメラで撮影した画像からナンバープレートの文字情報が認識できないときナンバプレートを撮影するカメラを近赤外カメラに切り替えるカメラ画像切り替え制御部を備えたことを特徴とする車両認識装置。
【請求項4】
請求項1記載の車両認識装置において、
プレート検出部は、前記近赤外カメラで撮影した画像および可視カメラで撮影した画像からそれぞれナンバプレートの候補を抽出し、抽出した2種類の候補画像に対してナンバプレートの形状に類似している順に優先順位を付与し、付与した優先順位にしたがってナンバプレートの文字情報を認識することを特徴とする車両認識装置。
【請求項5】
請求項1記載の車両認識装置において、
前記プレート認識部は、撮影した画像を2値化して文字候補を抽出する一連番号候補検出部および車両の用途毎に割り当てられたナンバプレートにおける文字配列を記憶した記憶部を備え、該記憶部に記憶した配列の中から、最も類似する配列にしたがって一連番号を選択することを特徴とする車両認識装置。
【請求項6】
請求項1記載の車両認識装置において、
プレート認識部は、撮影した画像を2値化して文字候補を抽出する一連番号候補検出部および少なくとも標準プレートの文字配列を記憶した記憶部を備え、プレート領域を2値化処理して一連番号の文字候補を抽出するとともに、抽出した文字候補の一文字を選択して基準文字に設定し、該基準文字位置を規準に、あらかじめ設定しているプレートの一連番号配列規則に応じ理想位置を設定し、この理想位置に最も近い物体を選択するとともに、理想位置と物体の位置の誤差を累積し、さらに前記基準文字を文字候補数分入れ替えて、前記誤差の累積を求め、最も誤差の累積が小さい基準文字および選択した文字を一連番号候補として抽出することを特徴とする車両認識装置。
【請求項7】
請求項1記載の車両認識装置において、
前記プレート認識部は、前記画像を2値化して文字候補を抽出する一連番号候補検出部、ナンバプレートのドットを検出するドット検出部、エッジ画像あるいは一連番号候補検出部の反転画像から文字候補を検出する反転一連番号候補検出部を備え、予め記憶しているナンバプレートの文字配列情報にしたがった理想位置に、一連番号候補検出部の候補としての文字候補がない場合、前記理想位置の近傍を探索して文字候補あるいはドット候補を選択することを特徴とする車両認識装置。
【請求項8】
請求項1記載の車両認識装置において、
車両特徴抽出部は、近赤外カメラで撮影した画像中に黒い四角形あるいは凸型の画像があることを検出したとき、ナンバプレートが赤外線カットプレートであると判定することを特徴とする車両認識装置。
【請求項9】
請求項1記載の車両認識装置において、
車両特徴抽出部は、可視カメラで撮影したプレート領域に緑色成分があるとき、ナンバプレートが字光式プレートであると判定することを特徴とする車両認識装置。
【請求項10】
車両のナンバプレートを照射する紫外光光源と、
前記車両および車両のナンバプレートを撮影する紫外カメラと、
前記カメラで撮影した画像からナンバプレートの候補を検出するプレート検出部と、
検出したナンバプレートの候補から文字情報を認識するプレート認識部と、
前記カメラで撮影した画像からナンバプレートの文字情報以外の車両の特徴を抽出する車両特徴抽出部を備えたことを特徴とする車両認識装置。
【請求項11】
車両のナンバプレートを照射する近赤外光および紫外光の光源と、
前記車両および車両のナンバプレートを可視光、近赤外光および紫外光でそれぞれ撮影するカメラと、
撮影するカメラを切り替えるカメラ画像切り替え制御部と、
前記カメラで撮影した画像からナンバプレートの候補を検出するプレート検出部と、
検出したナンバプレートの候補から文字情報を認識するプレート認識部と、
前記カメラで撮影した画像からナンバプレートの文字情報以外の車両の特徴を抽出する車両特徴抽出部を備えたことを特徴とする車両認識装置。

【図1】
image rotate

【図3】
image rotate

【図6】
image rotate

【図7】
image rotate

【図8】
image rotate

【図9】
image rotate

【図10】
image rotate

【図13】
image rotate

【図14】
image rotate

【図16】
image rotate

【図17】
image rotate

【図28】
image rotate

【図29】
image rotate

【図30】
image rotate

【図2】
image rotate

【図4】
image rotate

【図5】
image rotate

【図11】
image rotate

【図12】
image rotate

【図15】
image rotate

【図18】
image rotate

【図19】
image rotate

【図20】
image rotate

【図21】
image rotate

【図22】
image rotate

【図23】
image rotate

【図24】
image rotate

【図25】
image rotate

【図26】
image rotate

【図27】
image rotate


【公開番号】特開2008−108063(P2008−108063A)
【公開日】平成20年5月8日(2008.5.8)
【国際特許分類】
【出願番号】特願2006−290212(P2006−290212)
【出願日】平成18年10月25日(2006.10.25)
【出願人】(000005108)株式会社日立製作所 (27,607)
【Fターム(参考)】