物体認識装置、ナンバープレート認識装置および物体の色判定装置
【課題】昼夜を問わずボディや、プレートの色判定が可能な物体認識装置、ナンバープレート認識装置および物体の色判定装置を提供する。
【解決手段】一つの光学レンズと、その光学レンズの光を二つの光に分光する分光器と、その分光器で分光された光のそれぞれをカラー用固体撮像素子とモノクロ用固体撮像素子で受光し、モノクロ用固体撮像素子に、近赤外の照明を同期させて点灯させ、昼間は、モノクロ用またはカラー用固体撮像素子の映像でナンバープレートを認識し、カラー用固体撮像素子でボディまたはナンバープレートの色を判定するものである。また、モノクロ用固体撮像素子のシャッター速度を設定値に固定し、絞りをプレートの明るさに応じ制御し、カラー用固体撮像素子のシャッター速度をカラーのプレートの明るさに応じ制御することで、昼夜ボディや、プレートの色判定が可能となる。
【解決手段】一つの光学レンズと、その光学レンズの光を二つの光に分光する分光器と、その分光器で分光された光のそれぞれをカラー用固体撮像素子とモノクロ用固体撮像素子で受光し、モノクロ用固体撮像素子に、近赤外の照明を同期させて点灯させ、昼間は、モノクロ用またはカラー用固体撮像素子の映像でナンバープレートを認識し、カラー用固体撮像素子でボディまたはナンバープレートの色を判定するものである。また、モノクロ用固体撮像素子のシャッター速度を設定値に固定し、絞りをプレートの明るさに応じ制御し、カラー用固体撮像素子のシャッター速度をカラーのプレートの明るさに応じ制御することで、昼夜ボディや、プレートの色判定が可能となる。
【発明の詳細な説明】
【技術分野】
【0001】
本発明は道路などに適用されるカメラでナンバープレートを撮影して文字を読み取り、更に車両のボディ色などを認識するのに好適な物体認識装置、ナンバープレート認識装置および物体の色判定装置に関する。
【背景技術】
【0002】
車番認識装置が普及している。この車番認識装置は道路上にカメラを設置し、通過する車両の番号などを自動認識するものである。このようなシステムは駐車場などの入出門管理、旅行時間計測、犯罪車両検知などに利用されているが、一般的には、カメラ、近赤外照明、画像処理装置で構成されている。
【0003】
〔特許文献1〕の図1に示されているように、従来のカラーカメラ、モノクロカメラを利用した車番認識装置の基本構成は、次のようになっている。
【0004】
夜間も撮影可能なようにカメラは、近赤外感度の高いカメラが使用され、カメラのシャッター開放タイミングに合わせLED照明を点灯する。近赤外カメラの映像信号は、画像処理装置のA/D変換器を介して、各種画像処理のため、数十枚の複数画像で構成されている画像メモリに格納される。
【0005】
画像メモリに格納されたカメラ映像に画像処理をして、プレート検出部でプレートの位置を検出し、プレート認識部でプレート領域の文字を認識する。認識された結果は、通信部により上位システムへ送信される。また、LEDと近赤外カメラの同期をとるため、同期信号発生回路が設けられている。
【0006】
また、カラーカメラが設けられ、カラーカメラの映像信号は、A/D変換器を介して画像メモリに格納され、車両のボディ色の認識や、字光式プレートの認識のためにプレート認識に用いられる。
【0007】
この場合のモノクロカメラ、カラーカメラの認識処理は、モノクロカメラで認識できなければ、カラーカメラで認識するように構成されている。カメラの切り替えは、カメラ画像切り替え制御部で制御され、ボディの色などの特徴抽出する車両特徴抽出部が設けられている。この構成により、モノクロ画像、カラー画像を併用して字光式ナンバープレートなどを認識可能となっている。
【0008】
〔特許文献1〕に記載の車番認識装置では、受光素子(CMOSやCCDなど)それぞれにレンズが設けられており、車番認識装置の設置時には、それぞれのレンズのフォーカス、ズーム倍率の設定が必要であり、十分に調整できたとしても、モノクロ画像、カラーの画像では、まったく同じに対象物を撮影することはできない。
【0009】
これを改善するための従来の技術としては、〔特許文献2〕に記載のように、一つのレンズで受光した光を分離し、2つの受光素子で受光する方式がある。モノクロCCDとカラーCCDで構成することも記載されている。しかし、車番認識装置でこの構成を使用するためには、モノクロ、カラーの感度の相違を考慮した制御が必要であるが、この点については配慮されていない。
【0010】
また、〔特許文献3〕には、カラーカメラでナンバープレートを認識するとともに、車両の色を判定し、更に、プレートの輝度情報とカラー情報でアイリスを制御することが記載されている。
【0011】
また、車両のボディ色を判定することが記載されているが、照度が暗くなると、シャッター速度が遅くなり、カラーの画像はぶれてしまう問題がある。〔非特許文献1〕には、ナンバープレートのぶれ補正技術が記載されている。
【先行技術文献】
【特許文献】
【0012】
【特許文献1】特開2008−108063号公報
【特許文献2】特開平11−122536号公報
【特許文献3】特開2001−222680号公報
【非特許文献】
【0013】
【非特許文献1】走行車両ナンバープレート画像のぶれ補正:電気学会論文誌C、117巻6号、平成9年
【発明の概要】
【発明が解決しようとする課題】
【0014】
〔特許文献1〕に記載の従来の技術では、2つのカメラにそれぞれレンズが具備されており、それぞれのレンズの調整作業が必要であり、調整コストが高くなる問題がある。また、カメラのシャッター速度については配慮がなされていないため、カラーカメラの映像は夜間、真っ暗な映像になり、カラー認識できる時間帯が昼間に限定されるという問題がある。
【0015】
また、〔特許文献2〕に記載の従来技術のように、モノクロ、カラーCCDを1つのレンズで受光する方式でナンバープレートを撮影する場合、モノクロCCDとカラーCCDでは感度が異なるため、移動物体(走行する車両)を撮影するためには、シャッター速度を短く設定する必要があるが、シャッター速度を短く設定した場合、夜間になるとカラーカメラ用の照明がないので、十分な明るさの画像を得ることができなくなる問題がある。
【0016】
ナンバープレート認識装置は、屋内に設置される場合は別として、屋外に設置される場合でも、昼夜を問わず認識することが望ましい。可視の照明は一般には取り付けできないため、〔特許文献3〕に記載の従来技術のように、カラーカメラだけでは、夜間の認識ができないという問題がある。
【0017】
また、〔非特許文献1〕に記載のぶれ補正は、ナンバープレートの認識をするための方式であるが、ぶれている画像から移動画素(移動量)を算出するのが困難であり、補正が十分にできているとは言えないという問題がある。
【0018】
本発明の目的は、1つのレンズを介して2つの異なる受光素子に光を受光し、移動物体をぶれなく撮影できるシャッター速度で、明るさを適切に制御して、ナンバープレートの認識、およびボディの色またはプレートの色を認識できる物体認識装置、ナンバープレート認識装置および物体の色判定装置を提供することにある。
【0019】
本発明の他の目的は、1レンズ、2つの撮像素子で構成し、2つの撮像素子のシャッター速度を制御することで昼夜を問わずボディや、プレートの色判定が可能な物体認識装置、ナンバープレート認識装置および物体の色判定装置を提供することにある。
【課題を解決するための手段】
【0020】
上記目的を達成するために、本発明は、一つの光学レンズと、その光学レンズの光を二つの光に分光する分光器と、その分光器で分光された光のそれぞれをカラー用固体撮像素子とモノクロ用固体撮像素子で受光し、モノクロ用固体撮像素子に、近赤外の照明を同期させて点灯させ、昼間は、モノクロ用またはカラー用固体撮像素子の映像でナンバープレートを認識し、カラー用固体撮像素子でボディまたはナンバープレートの色を判定するものである。
【0021】
また、モノクロ用固体撮像素子のシャッター速度を少なくとも設定された速度以下にならないようにプレートの濃度を用いてレンズの絞りとシャッター速度を制御し、カラー用固体撮像素子のシャッター速度をモノクロ用のプレート濃度、カラー用固体撮像素子で検出したプレート濃度で制御するものである。
【発明の効果】
【0022】
本発明によれば、昼夜を問わず、ナンバープレートの認識が良好に実行でき、夜間でもボディ色またはプレートの色判定が可能となる。
【図面の簡単な説明】
【0023】
【図1】本発明の実施例1であるナンバープレート認識装置の全体構成を示す図である。
【図2】ナンバープレート認識部の構成図である。
【図3】プレート検出の概念を示す図である。
【図4】プレートの文字を認識する流れを示す図である。
【図5】プレートの文字の認識例を示す図である。
【図6】照度とシャッター速度の関係を示す図である。
【図7】プレート認識、色認識および絞り制御、シャッター制御のフロー図である。
【図8】絞り制御、シャッター速度制御のフロー図である。
【図9】モノクロのシャッター速度を固定にした場合の絞り制御、カラーCCDのシャッター制御のフロー図である。
【図10】カラーCCDのシャッター制御のフロー図である。
【図11】プレート認識できた場合のボディ色判定領域を示す図である。
【図12】色空間をブロックに分けた図である。
【図13】色空間の各ブロックに相当する画素数を頻度分布例を示す図である。
【図14】プレート認識できない場合のボディ色判定領域を示す図である。
【図15】プレートの色情報を求める領域を示す図である。
【図16】プレートの位置から移動画素を求める手法を説明する図である。
【図17】人物監視を例にしたカラー認識を説明する図である。
【発明を実施するための形態】
【0024】
本発明の各実施例について図面を用いて説明する。
【実施例1】
【0025】
本発明の実施例1を図1から図17により説明する。図1は、本実施例のナンバープレート認識装置10の構成図である。
【0026】
ナンバープレート認識装置10は、カメラ部20と、ナンバープレート認識部30と、LED照明部40で構成されている。ここで、後述する人物等を認識する場合は、ナンバープレート認識部30を物体認識部といい、ナンバープレートの代わりに物体を認識する。
【0027】
カメラ部20は、レンズ1の光軸上に配置されるフィルタ8−1と、フィルタ8−1のレンズ1側とは反対の側に配置されるカラーCCD3−1と、カラーCCD3−1に接続されるドライバ回路7−1と、レンズ1とフィルタ8−1の間に配置されるハーフミラーと、レンズ1の光軸と直交する方向に配置されるフィルタ8−2と、フィルタ8−2のレンズ1側とは反対の側に配置されるモノクロCCD3−2と、モノクロCCD3−2に接続されるドライバ回路7−2とで構成される。ここで、ハーフミラーは、プリズムでもよい。ハーフミラーやプリズムを含めて分光器2という。フィルタ8−1は、近赤外カット(可視透過)であり、フィルタ8−2は、可視カット(近赤外透過)である。これらのフィルタ8−1、8−2は、各素子の映像を適切に撮影するために用いられるが、必須のものではない。
【0028】
カラ−CCD3−1はドライバ回路7−1によって駆動され、モノクロCCD3−2はドライバ回路7−2によって駆動される。
【0029】
各CCDの映像信号4−1、4−2は、ナンバープレート認識部30に入力され、ナンバープレートの認識を実行する。ナンバープレート認識部30から各CCDのドライバ回路7−1、7−2へは、各CCDのシャッター速度制御信号5−1、5−2が入力され、各CCDのシャッター速度を制御する。ナンバープレート認識部30からカメラ部20には、レンズの絞り制御信号6が入力され、レンズ1の絞りを制御している。
【0030】
ナンバープレート認識部30からLED照明40へは、モノクロCCD3−2のシャッター開放タイミングに合わせるための、同期信号9が入力され、LED照明40の点灯制御が行われる。なお、図1では、電源線などは省略して示している。
【0031】
なお、本実施例では受光素子にCCDを適用した場合を説明するが、CMOSを適用することもできる。カラー用のCCDやCMOSを含めてカラー用固体撮像素子といい、モノクロ用のCCDやCMOSを含めてモノクロ用固体撮像素子という。
【0032】
図2にナンバープレート認識部30の構成を示す。ナンバープレート認識部30は、映像信号4−1を受信する映像信号入力部11−1、映像信号4−2を受信する映像信号入力部11−2、映像信号入力部11−1に接続された画像メモリ12−1、映像信号入力部11−2に接続された画像メモリ12−2、画像メモリ12−1、12−2とバスを介して接続されるプレート検出部13、プレート認識部14、色認識部15、シャッター速度制御部16、絞り制御部17、LED同期信号発生部18、通信制御部19で構成されている。
【0033】
映像信号入力部10−1、10−2でそれぞれ受信された映像信号4−1、4−2は、画像メモリ11−1、11−2に入力される。この画像メモリに記録された画像信号を、プレート検出部13、プレート認識部14、色認識部15で画像処理してナンバープレートを読み取る。
【0034】
プレート検出部13は、入力された映像信号の中からプレート部の領域(プレート領域という)を検出する処理である。プレート認識部14は、プレート検出部13で検出されたプレート領域の中から文字を抽出し、漢字、ひらがな、数字を認識する処理である。色認識部15は、プレート領域あるいは、プレートより上部のボディ領域のカラー情報から、ナンバープレートあるいはボディの色を認識する処理である。
【0035】
プレート検出部13は、図3に示すように、入力されたカメラ画像から、プレート候補を抽出する。プレート認識部14は、図4に示すように、プレート領域を2値化処理するプレート領域2値化部41、一連番号を抽出する一連番号抽出部42、文字領域を算出する文字領域算出部43、文字認識する文字認識部44で構成されている。
【0036】
例えば図5に示すように、プレート領域画像からプレート領域2値化部41で2値化画像が、一連番号抽出部42で一連番号が抽出され、文字領域算出部43で文字領域が算出される。
【0037】
図1に示すナンバープレート認識装置10で、車両のナンバープレートを撮影した場合、モノクロCCD3−2とカラーCCD3−1では感度が異なる。昼間は、可視領域の光をすべて受光しているカラーCCD3−1の映像が明るくなり、逆に、夜間は、近赤外照明を受光しているモノクロCCD3−2の映像が明るくなる。このため、モノクロCCD3−2とカラーCCD3−1の2つのCCDのシャッター速度を同一にして、絞りを制御する方式では、どちらかの画像がオーバーフローあるいはアンダーフローして、認識に適さない画像となる。
【0038】
そこで、図2に示すシャッター速度制御部16、絞り制御部17を用いて、適切な明るさの映像が取得できるように制御する。この制御の詳細は後述する。
【0039】
LED同期信号発生部18は、モノクロCCD3−2のシャッター開放タイミングに合わせ、LED照明40を点灯するためのパルス信号を発生する。図1に示すモノクロCCD3−2から同期信号を与えることも可能であるが、本実施例では、ナンバープレート認識部30により同期信号を発生している。これにより、同期信号を発生できないCCDにも対応することができる。
【0040】
通信制御部19は、認識した結果を上位制御装置に送信する、あるいはパラメータを受信するなどに使用するが、設けなくてもよい。各処理部は、一般的なCPU、RAM、ROMなどで構成されている。
【0041】
(シャッター速度制御部、絞り制御部の動作)
図2に示すシャッター速度制御部16と絞り制御部17の動作について説明する。人間の目に見えない近赤外のLEDに感度を有するモノクロCCD3−2が設置されているので、昼夜を問わずナンバープレートを認識するために、モノクロCCD3−2のシャッター速度は、例えば設定値1/1000秒のシャッター速度より早い速度とし、モノクロCCD3−2のシャッター速度とカラーCCD3−1のシャッター速度の比率を予め設定しておき、その比率のシャッター速度でカラーCCD3−1を制御している。
【0042】
例えば、モノクロCCD3−2の方がカラーCCD3−1に比べ感度が高い場合の照度とシャッター速度の関係を図6(a)に示す。図6(a)に示すように、照度が明るい範囲では、モノクロCCD3−2は非常に早いシャッター速度で動作し、カラーCCD3−1は低い比率のシャッター速度としているので、ぶれのない状態になる。
【0043】
照度が暗くなると、絞りが徐々に開いてくる。完全にOPEN状態になると、モノクロCCD3−2は、シャッターを設定値のシャッター速度になるまでシャッターの時間を伸ばし、カラーCCD3−1は、シャッター速度が下限の速度(30フレームの場合、33ms程度)まで徐々に遅くする。ここで、蓄積型のカラーCCDの場合は、更にシャッター
速度を伸ばすことができる。
【0044】
カラー映像では、シャッター速度が設定値より遅くなると、移動物体はぶれてくるので、文字認識ができない状態となるが、モノクロでは、ぶれのない画像を得ることができる。
【0045】
また、車輌の不通過時にも継続して安定なアイリス制御を行い車番の認識を正確に行えることが必要である。このアイリス制御については、特開2001−202591号公報に記載のようになっている。
【0046】
すなわち、アイリス制御を行う設定時間における道路面濃度(照度)の変化量から車番板濃度(照度)を推定し、推定された車番板濃度に基づきカメラのアイリスを制御するようにしている。車輌の不通過時間が実用的な時間内であれば、路面照度の変化割合と車輌の車番板照度の変化割合は比例するので、路面照度の変化量から推定する推定車番板照度によりアイリス制御を十分な精度で安定に行うことができる。
【0047】
ナンバープレート認識装置30は、画像処理を行い、車番板部分を抽出して車番を読み取る。屋外での画像取り込みであり、昼間でも天候によっては照度が変化し、特に朝夕等は一定の割合で照度の連続的に変化する。照度の変化に対しては、絞り制御部17によりカメラのアイリスを制御し、映像(画像)の輝度(カメラの受光量)が一定となるようにする。
【0048】
レンズの絞りの程度を表現するためにアイリスレベルという数値列を定義している。例えば、アイリスレベルとは、レンズの絞りの程度を16段階に分けてレベル数字で表現する。レンズの絞りを全開にしたときにレベル1とし、レンズの絞りを全閉にしたときレベル16とする。その間を16等分(例えばレンズの開部面積の比率等による)する。このようにして、絞りの程度を1〜16段階のレベル値で表現する。
【0049】
通常の実用範囲では、画像濃度Gと照度(カメラ入力値)Lは近似的に比例する。車番板の照度Lが環境条件で変化したときに、画像に取り込んだ時の車番板の輝度すなわち濃度Gが、車番板の目標値濃度Gtに一定に保たれるようにアイリスレベルiを制御する。
【0050】
照度Lは対象物の明るさであり、ナンバープレート認識装置30では直接計測できないが、画像として取り込んだ画像濃度Gkとして観測される。このような制御を行うことにより、画像中の車番の濃度は、目標値Gt付近に保持されるので、画像処理による車番の検知は確実に行われる。
【0051】
また、時刻t=t0において車輌通過後に不通過が発生したとする。車輌不通過時には、不通過時間計により連続して不通過となった時間Δtをカウントする。車輌不通過時間Δtが設定時間(一定時間)になっても車番板を検知しない場合には、車番板濃度推定により時刻t0+Δtに車輌が通過したと仮定した場合に車番板を計測したときに推定される車番板の画像濃度Gv(t0+Δt)を計算する。
【0052】
まず、時刻t0+Δtにおける車番板以外の路面の画像濃度Gd(t0+Δt)を路面濃度検知部により検知する。車番板濃度推定により車番板の画像濃度Gv(t0+Δt)を数1により推定計算する。
【0053】
【数1】
【0054】
この計算値Gv(t0+Δt)が、目標値Gtの範囲に入るようにアイリス制御部により通常のアイリス制御と同じように制御を行う。車輌不通過時の車番板の濃度による制御を、その濃度値は実測値ではなく、上述の計算値により行うことができる。
【0055】
ここで、プレート濃度は、プレート領域の濃度ヒストグラムを求め、文字が黒いときは、背景が明るいので、平均濃度より明るい濃度値の平均とすることで背景濃度を求めることができる。
【0056】
このように、絞り制御を行うことで、少なくともモノクロCCD3−2では、ぶれのない鮮明な映像が得られ、カラーCCD3−1も照度がある場合は、ぶれのない映像を得ることができる。
【0057】
なお、カラーCCD3−1は、ぶれが発生しても、色判定には十分使用できるし、対象車両が遅い場合は、ぶれのない画像が得られるので、文字認識にも使用可能な場合もある。
【0058】
また、カラーCCD3−1の方がモノクロCCD3−2に比べ感度が高い場合の照度とシャッター速度の関係を図6(b)に示す。
【0059】
図6(b)に示すように、昼間、カラーCCD3−1の感度がモノクロCCD3−2より高い場合は、モノクロCCD3−2のシャッター速度を一定にし、プレートの濃度に応じた絞り制御を実行し、カラーCCD3−1のシャッター速度を上限から、照度に応じて徐々に遅くしていく方法もある。この場合は、カラーCCD3−1のシャッター速度は、モノクロ画像で認識したプレート領域の濃度と同じとなるように、カラー画像のプレート領域の濃度に応じてシャッター速度を制御していく。
【0060】
図7に全体処理フローを示す。ステップ70で、モノクロ画像と、カラーカメラの画像を入力し、ステップ71で、モノクロ画像でプレートを認識する。ステップ72で、プレートを認識できたかを判定し、できない場合は、近赤外照明をカットするプレートカバー装着車両の可能性があるので、ステップ73で、カラーカメラの画像でプレート認識する。ステップ74で、プレートを認識できたかを判定し、プレート認識できた場合は、ボディの領域は通常プレートより上にあるので、ステップ76で、ボディ色判定領域算出1を実行する。
【0061】
ステップ74で、プレート認識できない場合、すなわちカラー、モノクロの両方の画像でプレート認識できなかった場合は、ステップ77で、ボディ色判定領域算出2を実行する。色の判定は、プレート認識できなかった場合でもできるので、図14に示すように、移動領域全体の例えば2/3(予め設定)の領域を色判定領域として算出する。ステップ77で、ボディ色判定領域算出2により決定した領域について色判定を実行する。その後、ステップ78で、絞りとシャッター速度の制御を後述する方法で制御する。
【0062】
なお、ステップ73のカラーカメラ画像でプレート認識する処理は、カラーCCD3−1のシャッター速度が設定された値より高速な場合に行うように限定することで、全体の処理時間向上を図ることができる。
【0063】
図7に示すステップ78の絞り制御、シャッター制御のフローの詳細を図8に示す。図8は、モノクロCCD3−2の映像でプレート認識できた場合のフローを示している。
【0064】
ステップ121で、モノクロ画像のプレート濃度を計測する。この計測では、プレートの一連番号領域近傍の、白濃度(文字の背景)の平均濃度を求める。
【0065】
ステップ122で、この平均濃度と予め定めた目標値とを比較し、目標値と一致度が高い場合は、処理を終了する。一致度の判定は、例えば平均濃度が予め定めた数値範囲にあるか否かで行う。
【0066】
目標値より明るい場合は、ステップ123で、シャッター速度が可変中か否かを判定し、シャッター速度が可変中でなく固定の場合は、ステップ125で、絞りがCloseでなければ絞りを一段絞る。可変中の場合は、シャッターをできるだけ速くしたいので、ステップ126で、シャッターを一段高速化し、シャッターが上限の場合は、ステップ128で、シャッター固定モードに設定する。上限でない場合は、ステップ129で、可変モードに設定する。
【0067】
一方、目標より暗い場合は、ステップ130で、絞りが開放かを調べ、開放でない場合は、ステップ132で、絞りを1段開ける。開放の場合は、シャッター速度を遅くしていくことになるが、シャッター速度が下限(例えば1/1000秒)でなければ、ステップ133で、シッターを1段低速化し、ステップ134で、シャッター可変モードに設定する。シャッター速度が下限の場合は、その状態を維持する。
【0068】
ステップ135で、モノクロCCD3−2のシャッター速度に応じ、カラーCCD3−1のシャッター速度制御を実行する。具体的には、例えば、モノクロCCD3−2のシャッター速度が1/3000秒で、比率が0.8倍であれば、カラーCCD3−1のシャッター速度を1/2400秒に設定する。この他に、プレート領域がモノクロ画像で求まっているので、カラー画像の同一領域の濃度を求め、目標値に応じ、シャッター速度を制御することもできる。
【0069】
次に、図6(b)に示すように、モノクロCCD3−2のシャッター速度を設定値に固定する場合の制御方法のフローを図9に示す。この場合、モノクロCCD3−2のシャッター速度は固定であるので、ステップ140で、モノクロ画像のプレート濃度を算出し、プレート濃度が目標値より明るい場合は、絞りがCloseでなければ、ステップ145で、絞りを1段絞る。プレート濃度が目標値より暗い場合は、絞りが開放でなければ、ステップ143で、絞りを1段開ける。
【0070】
ステップ146で、カラーCCDのシャッター速度制御を実行する。具体的には、図10に示すフローのように、モノクロ、あるいはカラーカメラで認識したプレート領域について、ステップ150で、カラー画像のプレート濃度を求め、プレート濃度が目標濃度より暗い場合は、シャッター速度が下限でなければ、ステップ153で、シャッターを1段低速化する。プレート濃度が目標濃度より明るい場合は、シャッター速度が上限でなければ、ステップ155で、シャッターを1段高速化する。
【0071】
次に、カラーカメラ、モノクロカメラを使った絞り制御、シャッター速度制御方法を次の(1)〜(3)の場合について説明する。
(1)モノクロカメラだけが認識できた場合
カラーCCD3−1の映像からプレート認識できない場合は、図8に示す制御フローの中で、絞り制御だけであれば、その状態を維持し、シャッター速度制御があれば、予め定めている比率に応じ、モノクロCCD3−2のシャッター速度に比率を乗じた速度にカラーCCD3−1のシャッター速度を設定する。または、モノクロ画像で認識できたプレート領域と同一の領域についてカラー画像の濃度を求めて制御する。
(2)カラーカメラだけ認識できた場合
図8に示すステップ121のモノクロ画像のプレート濃度を求める処理を、カラーCCD3−1の映像からプレート濃度を求める処理に変更し、図8に示す制御フローの中で、絞り制御だけであれば、モノクロカメラの制御は行わず、シャッター速度制御があれば、予め定めている比率に応じ、カラーCCDのシャッター速度に比率を乗じた速度にモノクロCCDのシャッター速度を設定する。または、カラー画像で認識できたプレート領域と同一の領域についてモノクロ画像の濃度を求めて制御する。
(3)両方とも認識できないとき
設定されている時間アイリス制御を実行していない場合で、かつ路面の濃度が目標濃度とかけ離れている場合は、図8に示す制御フローのステップ121のモノクロ画像のプレート濃度を求める処理を、路面の濃度を求める処理とし、ステップ122の目標濃度を、予め定めている路面の目標濃度と比較し、絞り速度、シャッター速度の制御を図8に示す制御フローにより実行する。
【0072】
(色判定方法)
図2に示す色認識部15の動作について説明する。ボディ色判定を行うために、計測領域を決定する。図7に示すステップ76のボディ色判定領域算出1は、プレートを認識できた場合の領域で行われる。ボディ色判定領域算出1は、図11に示すように、プレート領域より上で、かつ移動領域を色判定領域とする。ここで、移動領域は、複数の画像を入力し、フレーム間差分処理で求められる。
【0073】
カラーの画像をYUV空間で入力した場合、図12に示すUVの空間で色が定まることになる。このUV空間をn×m分割した領域を予め定めておき、図12の例では3×3分割の9色を示しているが、色判定領域1のUV値がどのブロックにあるかの頻度分布を図13に示すように求め、最大頻度となるブロックの色を出力して色判定する方式をとる。なお、UV空間の中央付近は無彩色に相当する。
【0074】
または、最大頻度と2番目に頻度の大きい第2頻度の色を出力する。このような処理で、部分的にペイントされた車両でも正確にボディの色を判定することができる。
【0075】
色の判定は、プレート認識できなかった場合でもできるので、図7のステップ77のボディ色判定領域算出2で算出された領域、すなわち、図14に示すように、移動領域全体の例えば2/3(予め設定)の領域を色判定領域と設定する。
【0076】
なお、RGB空間など色空間には種々の空間があるが、領域を正しく定めれば、どのようなカラー空間でも適用可能である。
【0077】
軽自動車の判定には、プレートのカラー認識が必要である。この場合、ナンバープレートが認識できている場合は、図15に示すように、プレート領域160についてカラー画像の色分布を調べる。日本の車両で使用されるプレートには白、緑、黄色、黒しかないので、前述の色空間を緑と黄色が分離しやすいブロックに分ければ良い。なお、海外の車両で使用されるプレート認識の場合や、日本の外交団プレートを認識する場合は青色が追加される。
【0078】
前述のように、絞り制御、シャッター速度制御は色判定の後に実行しているので、白背景のプレートを基準として、緑ナンバー、黄色ナンバーの場合は絞り、シャッター速度の制御を実行しないようにすることで、適切な明るさに制御できる。
【0079】
(ぶれ補正方法)
カラーカメラの映像は、照度が暗くなると、可視の照明が無いためシャッター速度が遅くなり、ぶれがある画像となる。しかし、前述のようにモノクロカメラは、シャッター速度が最低限の速度を確保するように制御しているので、ぶれの無い画像を取得できる。このため、図16に示すように、時間差Δtで撮影した複数枚の画像170、171を入力し、それぞれの画像からナンバープレートの位置(X1、Y1)と位置(X2、Y2)を算出し、移動量(Y2−Y1)を計測することにより、対象物体の速度を求めることができる。
【0080】
従来のように、ぶれた映像からぶれの大きさ、方向を求めるのは非常に難しく、プレートの認識をするためのぶれ補正であるため、精度が要求される。
【0081】
これに対し、本実施例では、カラー画像からプレートの文字を認識するための補正で無く、色判定のための補正であること、およびモノクロCCD3−2、カラーCCD3−1の二つを備えているので、容易にカラー画像のぶれを補正可能である。この補正は、図示していないぶれ量算出部で行う。
【0082】
本実施例では、移動量からぶれを補正する。補正の手法は一般的なウィナーフィルタを用いる。ウィナーフィルタについては、例えば画像解析ハンドブック:東京大学出版会、pp.399−402に記載されている。
【0083】
ウィナーフィルタは、原画像と平均二乗誤差を最小とする画像を与える復元作用素であり、具体的には、数2による周波数空間で補正を実行する。ここで、F(u、v)は補正画像、G(u、v)はぶれ画像であり、H(u、v)は点広がり関数であり、αは定数であり、予め実験により定める。
【0084】
【数2】
【0085】
H(u、v)は数3によって求めることができる。
【0086】
【数3】
【0087】
数3のVは、移動の大きさであり、位置(X1、Y1)と位置(X2、Y2)から求まる移動の大きさy=(Y2−Y1)は、1フレームの移動の大きさであるので、カラーCCD3−1のシャッター速度がOFF状態であれば、数3のVはyとなり、シャッター速度が16msであれば、y/2が、8msであれば、y/4がVに相当する。
【0088】
すなわち、Vは数4で計算する。yは移動の大きさ(画素)、SはカラーCCD3−1のシャッター速度(ms)、Tは1フレームの時間(通常、約33ms)である。
【0089】
【数4】
【0090】
カラーCCD3−1のシャッター速度が分かっているので、ぶれに相当する移動の大きさはこのようにして算出可能であり、色認識するのに十分な補正を実行することができる。なお、厳密なぶれ補正を実施するためには、移動の方向も考慮する必要があるが、色認識が目的であるため、移動の大きさだけで十分な補正が可能である。
【0091】
なお、プレート認識できない場合は、ぶれの補正はできないが、ボディの領域が大きければ、ぶれてもカラー情報が残るので、ボディ色判定は可能である。逆に白、黒のようにまだらになっている場合にぶれが補正できない場合は、中間色になるため、色判定精度は低下するが、通常、プレートの検出率はほぼ100%であるので、特に問題にはならない。
【0092】
また、上述した例ではプレートの位置を求めてぶれ量を算出しているが、2枚のモノクロ画像のオプティカルフローから求める方式や、図16に示すF(t)の画像の特徴点を定め、その点の画像がF(t+Δt)の画像でどこにあるかをマッチング処理で検出する方式を用いても良い。
【実施例2】
【0093】
1レンズ、2つのCCDの場合に、それぞれのCCDの位置を0.5画素上下、左右にずらして配置することで、高解像度の映像を取得可能である。
【0094】
カラーCCD3−1のシャッター速度が十分速いときに、輝度情報を、モノクロカメラと補間合成することで、解像度を見かけ上高めることが可能である。カラーCCDのシャッター速度が遅い場合は、合成できない。補間は画素があるところはそのまま適用し、無いところは、モノクロとカラーの画素値の4点補間あるいは16点補間処理によって補間可能である。
【0095】
これにより、文字認識精度を更に向上させることが可能となる。
【0096】
各実施例の説明では、1レンズ、2つのCCD(モノクロ、カラー)について記載したが、レンズの調整コストを無視できるならば、それぞれのCCDにレンズを装着し、それぞれのレンズの絞り、およびシャッター速度を制御することも可能である。但し、調整コスト、レンズが2台必要なことから小型化には不向きである。
【産業上の利用可能性】
【0097】
ナンバープレート認識を例にとり各実施例を説明したが、一般の監視システムである人物検出と服装の色検出にも1レンズ、2つのCCDのシステムが適用可能である。図17のモノクロカメラ映像180とカラーカメラ映像181に示すように、人物182をモノクロカメラで検出し、カラーカメラで人物領域183の色情報を求める。この場合も、モノクロCCD、カラーCCDの感度が異なるので、シャッター速度の制御が必要である。
【0098】
ナンバープレート認識の場合は、プレートの濃度を用いて制御していたが、一般の監視の場合は、モノクロのシャッター速度を一定にし、絞りを画面全体の濃度を目標値に合わせるように制御する。カラーCCDの場合は、シャッター速度を画面全体の濃度を目標値に合わせるように制御する。色抽出の処理は、人物の場合は、上下に分けて計測することで、上着、ズボンの色をそれぞれ計測することが可能である。夜間のカラー画像のぶれ補正の方式は、ナンバープレート認識と同様に、検出した物体の移動画素から補正することができる。
【0099】
本発明の各実施例によれば、昼夜を問わず、ナンバープレートの認識が良好に実行でき、夜間でもボディ色またはプレートの色判定が可能となる。また、レンズが1つであるため、設置調整コストの低減を図ることが可能である。また、2つのCCDの輝度情報を複合することで擬似的な超高解像度画像を得ることが可能となり、安価なカメラで認識率の高いナンバープレート認識装置を提供することが可能となる。
【符号の説明】
【0100】
1 レンズ
2 分光器
3−1 カラーCCD
3−2 モノクロCCD
4 映像信号
5 シャッター速度制御信号
12 画像メモリ
13 プレート検出部
14 プレート認識部
15 色認識部
16 シャッター速度制御部
17 絞り制御部
18 LED同期信号発生部
20 カメラ部
30 ナンバープレート認識部
40 LED照明
【技術分野】
【0001】
本発明は道路などに適用されるカメラでナンバープレートを撮影して文字を読み取り、更に車両のボディ色などを認識するのに好適な物体認識装置、ナンバープレート認識装置および物体の色判定装置に関する。
【背景技術】
【0002】
車番認識装置が普及している。この車番認識装置は道路上にカメラを設置し、通過する車両の番号などを自動認識するものである。このようなシステムは駐車場などの入出門管理、旅行時間計測、犯罪車両検知などに利用されているが、一般的には、カメラ、近赤外照明、画像処理装置で構成されている。
【0003】
〔特許文献1〕の図1に示されているように、従来のカラーカメラ、モノクロカメラを利用した車番認識装置の基本構成は、次のようになっている。
【0004】
夜間も撮影可能なようにカメラは、近赤外感度の高いカメラが使用され、カメラのシャッター開放タイミングに合わせLED照明を点灯する。近赤外カメラの映像信号は、画像処理装置のA/D変換器を介して、各種画像処理のため、数十枚の複数画像で構成されている画像メモリに格納される。
【0005】
画像メモリに格納されたカメラ映像に画像処理をして、プレート検出部でプレートの位置を検出し、プレート認識部でプレート領域の文字を認識する。認識された結果は、通信部により上位システムへ送信される。また、LEDと近赤外カメラの同期をとるため、同期信号発生回路が設けられている。
【0006】
また、カラーカメラが設けられ、カラーカメラの映像信号は、A/D変換器を介して画像メモリに格納され、車両のボディ色の認識や、字光式プレートの認識のためにプレート認識に用いられる。
【0007】
この場合のモノクロカメラ、カラーカメラの認識処理は、モノクロカメラで認識できなければ、カラーカメラで認識するように構成されている。カメラの切り替えは、カメラ画像切り替え制御部で制御され、ボディの色などの特徴抽出する車両特徴抽出部が設けられている。この構成により、モノクロ画像、カラー画像を併用して字光式ナンバープレートなどを認識可能となっている。
【0008】
〔特許文献1〕に記載の車番認識装置では、受光素子(CMOSやCCDなど)それぞれにレンズが設けられており、車番認識装置の設置時には、それぞれのレンズのフォーカス、ズーム倍率の設定が必要であり、十分に調整できたとしても、モノクロ画像、カラーの画像では、まったく同じに対象物を撮影することはできない。
【0009】
これを改善するための従来の技術としては、〔特許文献2〕に記載のように、一つのレンズで受光した光を分離し、2つの受光素子で受光する方式がある。モノクロCCDとカラーCCDで構成することも記載されている。しかし、車番認識装置でこの構成を使用するためには、モノクロ、カラーの感度の相違を考慮した制御が必要であるが、この点については配慮されていない。
【0010】
また、〔特許文献3〕には、カラーカメラでナンバープレートを認識するとともに、車両の色を判定し、更に、プレートの輝度情報とカラー情報でアイリスを制御することが記載されている。
【0011】
また、車両のボディ色を判定することが記載されているが、照度が暗くなると、シャッター速度が遅くなり、カラーの画像はぶれてしまう問題がある。〔非特許文献1〕には、ナンバープレートのぶれ補正技術が記載されている。
【先行技術文献】
【特許文献】
【0012】
【特許文献1】特開2008−108063号公報
【特許文献2】特開平11−122536号公報
【特許文献3】特開2001−222680号公報
【非特許文献】
【0013】
【非特許文献1】走行車両ナンバープレート画像のぶれ補正:電気学会論文誌C、117巻6号、平成9年
【発明の概要】
【発明が解決しようとする課題】
【0014】
〔特許文献1〕に記載の従来の技術では、2つのカメラにそれぞれレンズが具備されており、それぞれのレンズの調整作業が必要であり、調整コストが高くなる問題がある。また、カメラのシャッター速度については配慮がなされていないため、カラーカメラの映像は夜間、真っ暗な映像になり、カラー認識できる時間帯が昼間に限定されるという問題がある。
【0015】
また、〔特許文献2〕に記載の従来技術のように、モノクロ、カラーCCDを1つのレンズで受光する方式でナンバープレートを撮影する場合、モノクロCCDとカラーCCDでは感度が異なるため、移動物体(走行する車両)を撮影するためには、シャッター速度を短く設定する必要があるが、シャッター速度を短く設定した場合、夜間になるとカラーカメラ用の照明がないので、十分な明るさの画像を得ることができなくなる問題がある。
【0016】
ナンバープレート認識装置は、屋内に設置される場合は別として、屋外に設置される場合でも、昼夜を問わず認識することが望ましい。可視の照明は一般には取り付けできないため、〔特許文献3〕に記載の従来技術のように、カラーカメラだけでは、夜間の認識ができないという問題がある。
【0017】
また、〔非特許文献1〕に記載のぶれ補正は、ナンバープレートの認識をするための方式であるが、ぶれている画像から移動画素(移動量)を算出するのが困難であり、補正が十分にできているとは言えないという問題がある。
【0018】
本発明の目的は、1つのレンズを介して2つの異なる受光素子に光を受光し、移動物体をぶれなく撮影できるシャッター速度で、明るさを適切に制御して、ナンバープレートの認識、およびボディの色またはプレートの色を認識できる物体認識装置、ナンバープレート認識装置および物体の色判定装置を提供することにある。
【0019】
本発明の他の目的は、1レンズ、2つの撮像素子で構成し、2つの撮像素子のシャッター速度を制御することで昼夜を問わずボディや、プレートの色判定が可能な物体認識装置、ナンバープレート認識装置および物体の色判定装置を提供することにある。
【課題を解決するための手段】
【0020】
上記目的を達成するために、本発明は、一つの光学レンズと、その光学レンズの光を二つの光に分光する分光器と、その分光器で分光された光のそれぞれをカラー用固体撮像素子とモノクロ用固体撮像素子で受光し、モノクロ用固体撮像素子に、近赤外の照明を同期させて点灯させ、昼間は、モノクロ用またはカラー用固体撮像素子の映像でナンバープレートを認識し、カラー用固体撮像素子でボディまたはナンバープレートの色を判定するものである。
【0021】
また、モノクロ用固体撮像素子のシャッター速度を少なくとも設定された速度以下にならないようにプレートの濃度を用いてレンズの絞りとシャッター速度を制御し、カラー用固体撮像素子のシャッター速度をモノクロ用のプレート濃度、カラー用固体撮像素子で検出したプレート濃度で制御するものである。
【発明の効果】
【0022】
本発明によれば、昼夜を問わず、ナンバープレートの認識が良好に実行でき、夜間でもボディ色またはプレートの色判定が可能となる。
【図面の簡単な説明】
【0023】
【図1】本発明の実施例1であるナンバープレート認識装置の全体構成を示す図である。
【図2】ナンバープレート認識部の構成図である。
【図3】プレート検出の概念を示す図である。
【図4】プレートの文字を認識する流れを示す図である。
【図5】プレートの文字の認識例を示す図である。
【図6】照度とシャッター速度の関係を示す図である。
【図7】プレート認識、色認識および絞り制御、シャッター制御のフロー図である。
【図8】絞り制御、シャッター速度制御のフロー図である。
【図9】モノクロのシャッター速度を固定にした場合の絞り制御、カラーCCDのシャッター制御のフロー図である。
【図10】カラーCCDのシャッター制御のフロー図である。
【図11】プレート認識できた場合のボディ色判定領域を示す図である。
【図12】色空間をブロックに分けた図である。
【図13】色空間の各ブロックに相当する画素数を頻度分布例を示す図である。
【図14】プレート認識できない場合のボディ色判定領域を示す図である。
【図15】プレートの色情報を求める領域を示す図である。
【図16】プレートの位置から移動画素を求める手法を説明する図である。
【図17】人物監視を例にしたカラー認識を説明する図である。
【発明を実施するための形態】
【0024】
本発明の各実施例について図面を用いて説明する。
【実施例1】
【0025】
本発明の実施例1を図1から図17により説明する。図1は、本実施例のナンバープレート認識装置10の構成図である。
【0026】
ナンバープレート認識装置10は、カメラ部20と、ナンバープレート認識部30と、LED照明部40で構成されている。ここで、後述する人物等を認識する場合は、ナンバープレート認識部30を物体認識部といい、ナンバープレートの代わりに物体を認識する。
【0027】
カメラ部20は、レンズ1の光軸上に配置されるフィルタ8−1と、フィルタ8−1のレンズ1側とは反対の側に配置されるカラーCCD3−1と、カラーCCD3−1に接続されるドライバ回路7−1と、レンズ1とフィルタ8−1の間に配置されるハーフミラーと、レンズ1の光軸と直交する方向に配置されるフィルタ8−2と、フィルタ8−2のレンズ1側とは反対の側に配置されるモノクロCCD3−2と、モノクロCCD3−2に接続されるドライバ回路7−2とで構成される。ここで、ハーフミラーは、プリズムでもよい。ハーフミラーやプリズムを含めて分光器2という。フィルタ8−1は、近赤外カット(可視透過)であり、フィルタ8−2は、可視カット(近赤外透過)である。これらのフィルタ8−1、8−2は、各素子の映像を適切に撮影するために用いられるが、必須のものではない。
【0028】
カラ−CCD3−1はドライバ回路7−1によって駆動され、モノクロCCD3−2はドライバ回路7−2によって駆動される。
【0029】
各CCDの映像信号4−1、4−2は、ナンバープレート認識部30に入力され、ナンバープレートの認識を実行する。ナンバープレート認識部30から各CCDのドライバ回路7−1、7−2へは、各CCDのシャッター速度制御信号5−1、5−2が入力され、各CCDのシャッター速度を制御する。ナンバープレート認識部30からカメラ部20には、レンズの絞り制御信号6が入力され、レンズ1の絞りを制御している。
【0030】
ナンバープレート認識部30からLED照明40へは、モノクロCCD3−2のシャッター開放タイミングに合わせるための、同期信号9が入力され、LED照明40の点灯制御が行われる。なお、図1では、電源線などは省略して示している。
【0031】
なお、本実施例では受光素子にCCDを適用した場合を説明するが、CMOSを適用することもできる。カラー用のCCDやCMOSを含めてカラー用固体撮像素子といい、モノクロ用のCCDやCMOSを含めてモノクロ用固体撮像素子という。
【0032】
図2にナンバープレート認識部30の構成を示す。ナンバープレート認識部30は、映像信号4−1を受信する映像信号入力部11−1、映像信号4−2を受信する映像信号入力部11−2、映像信号入力部11−1に接続された画像メモリ12−1、映像信号入力部11−2に接続された画像メモリ12−2、画像メモリ12−1、12−2とバスを介して接続されるプレート検出部13、プレート認識部14、色認識部15、シャッター速度制御部16、絞り制御部17、LED同期信号発生部18、通信制御部19で構成されている。
【0033】
映像信号入力部10−1、10−2でそれぞれ受信された映像信号4−1、4−2は、画像メモリ11−1、11−2に入力される。この画像メモリに記録された画像信号を、プレート検出部13、プレート認識部14、色認識部15で画像処理してナンバープレートを読み取る。
【0034】
プレート検出部13は、入力された映像信号の中からプレート部の領域(プレート領域という)を検出する処理である。プレート認識部14は、プレート検出部13で検出されたプレート領域の中から文字を抽出し、漢字、ひらがな、数字を認識する処理である。色認識部15は、プレート領域あるいは、プレートより上部のボディ領域のカラー情報から、ナンバープレートあるいはボディの色を認識する処理である。
【0035】
プレート検出部13は、図3に示すように、入力されたカメラ画像から、プレート候補を抽出する。プレート認識部14は、図4に示すように、プレート領域を2値化処理するプレート領域2値化部41、一連番号を抽出する一連番号抽出部42、文字領域を算出する文字領域算出部43、文字認識する文字認識部44で構成されている。
【0036】
例えば図5に示すように、プレート領域画像からプレート領域2値化部41で2値化画像が、一連番号抽出部42で一連番号が抽出され、文字領域算出部43で文字領域が算出される。
【0037】
図1に示すナンバープレート認識装置10で、車両のナンバープレートを撮影した場合、モノクロCCD3−2とカラーCCD3−1では感度が異なる。昼間は、可視領域の光をすべて受光しているカラーCCD3−1の映像が明るくなり、逆に、夜間は、近赤外照明を受光しているモノクロCCD3−2の映像が明るくなる。このため、モノクロCCD3−2とカラーCCD3−1の2つのCCDのシャッター速度を同一にして、絞りを制御する方式では、どちらかの画像がオーバーフローあるいはアンダーフローして、認識に適さない画像となる。
【0038】
そこで、図2に示すシャッター速度制御部16、絞り制御部17を用いて、適切な明るさの映像が取得できるように制御する。この制御の詳細は後述する。
【0039】
LED同期信号発生部18は、モノクロCCD3−2のシャッター開放タイミングに合わせ、LED照明40を点灯するためのパルス信号を発生する。図1に示すモノクロCCD3−2から同期信号を与えることも可能であるが、本実施例では、ナンバープレート認識部30により同期信号を発生している。これにより、同期信号を発生できないCCDにも対応することができる。
【0040】
通信制御部19は、認識した結果を上位制御装置に送信する、あるいはパラメータを受信するなどに使用するが、設けなくてもよい。各処理部は、一般的なCPU、RAM、ROMなどで構成されている。
【0041】
(シャッター速度制御部、絞り制御部の動作)
図2に示すシャッター速度制御部16と絞り制御部17の動作について説明する。人間の目に見えない近赤外のLEDに感度を有するモノクロCCD3−2が設置されているので、昼夜を問わずナンバープレートを認識するために、モノクロCCD3−2のシャッター速度は、例えば設定値1/1000秒のシャッター速度より早い速度とし、モノクロCCD3−2のシャッター速度とカラーCCD3−1のシャッター速度の比率を予め設定しておき、その比率のシャッター速度でカラーCCD3−1を制御している。
【0042】
例えば、モノクロCCD3−2の方がカラーCCD3−1に比べ感度が高い場合の照度とシャッター速度の関係を図6(a)に示す。図6(a)に示すように、照度が明るい範囲では、モノクロCCD3−2は非常に早いシャッター速度で動作し、カラーCCD3−1は低い比率のシャッター速度としているので、ぶれのない状態になる。
【0043】
照度が暗くなると、絞りが徐々に開いてくる。完全にOPEN状態になると、モノクロCCD3−2は、シャッターを設定値のシャッター速度になるまでシャッターの時間を伸ばし、カラーCCD3−1は、シャッター速度が下限の速度(30フレームの場合、33ms程度)まで徐々に遅くする。ここで、蓄積型のカラーCCDの場合は、更にシャッター
速度を伸ばすことができる。
【0044】
カラー映像では、シャッター速度が設定値より遅くなると、移動物体はぶれてくるので、文字認識ができない状態となるが、モノクロでは、ぶれのない画像を得ることができる。
【0045】
また、車輌の不通過時にも継続して安定なアイリス制御を行い車番の認識を正確に行えることが必要である。このアイリス制御については、特開2001−202591号公報に記載のようになっている。
【0046】
すなわち、アイリス制御を行う設定時間における道路面濃度(照度)の変化量から車番板濃度(照度)を推定し、推定された車番板濃度に基づきカメラのアイリスを制御するようにしている。車輌の不通過時間が実用的な時間内であれば、路面照度の変化割合と車輌の車番板照度の変化割合は比例するので、路面照度の変化量から推定する推定車番板照度によりアイリス制御を十分な精度で安定に行うことができる。
【0047】
ナンバープレート認識装置30は、画像処理を行い、車番板部分を抽出して車番を読み取る。屋外での画像取り込みであり、昼間でも天候によっては照度が変化し、特に朝夕等は一定の割合で照度の連続的に変化する。照度の変化に対しては、絞り制御部17によりカメラのアイリスを制御し、映像(画像)の輝度(カメラの受光量)が一定となるようにする。
【0048】
レンズの絞りの程度を表現するためにアイリスレベルという数値列を定義している。例えば、アイリスレベルとは、レンズの絞りの程度を16段階に分けてレベル数字で表現する。レンズの絞りを全開にしたときにレベル1とし、レンズの絞りを全閉にしたときレベル16とする。その間を16等分(例えばレンズの開部面積の比率等による)する。このようにして、絞りの程度を1〜16段階のレベル値で表現する。
【0049】
通常の実用範囲では、画像濃度Gと照度(カメラ入力値)Lは近似的に比例する。車番板の照度Lが環境条件で変化したときに、画像に取り込んだ時の車番板の輝度すなわち濃度Gが、車番板の目標値濃度Gtに一定に保たれるようにアイリスレベルiを制御する。
【0050】
照度Lは対象物の明るさであり、ナンバープレート認識装置30では直接計測できないが、画像として取り込んだ画像濃度Gkとして観測される。このような制御を行うことにより、画像中の車番の濃度は、目標値Gt付近に保持されるので、画像処理による車番の検知は確実に行われる。
【0051】
また、時刻t=t0において車輌通過後に不通過が発生したとする。車輌不通過時には、不通過時間計により連続して不通過となった時間Δtをカウントする。車輌不通過時間Δtが設定時間(一定時間)になっても車番板を検知しない場合には、車番板濃度推定により時刻t0+Δtに車輌が通過したと仮定した場合に車番板を計測したときに推定される車番板の画像濃度Gv(t0+Δt)を計算する。
【0052】
まず、時刻t0+Δtにおける車番板以外の路面の画像濃度Gd(t0+Δt)を路面濃度検知部により検知する。車番板濃度推定により車番板の画像濃度Gv(t0+Δt)を数1により推定計算する。
【0053】
【数1】
【0054】
この計算値Gv(t0+Δt)が、目標値Gtの範囲に入るようにアイリス制御部により通常のアイリス制御と同じように制御を行う。車輌不通過時の車番板の濃度による制御を、その濃度値は実測値ではなく、上述の計算値により行うことができる。
【0055】
ここで、プレート濃度は、プレート領域の濃度ヒストグラムを求め、文字が黒いときは、背景が明るいので、平均濃度より明るい濃度値の平均とすることで背景濃度を求めることができる。
【0056】
このように、絞り制御を行うことで、少なくともモノクロCCD3−2では、ぶれのない鮮明な映像が得られ、カラーCCD3−1も照度がある場合は、ぶれのない映像を得ることができる。
【0057】
なお、カラーCCD3−1は、ぶれが発生しても、色判定には十分使用できるし、対象車両が遅い場合は、ぶれのない画像が得られるので、文字認識にも使用可能な場合もある。
【0058】
また、カラーCCD3−1の方がモノクロCCD3−2に比べ感度が高い場合の照度とシャッター速度の関係を図6(b)に示す。
【0059】
図6(b)に示すように、昼間、カラーCCD3−1の感度がモノクロCCD3−2より高い場合は、モノクロCCD3−2のシャッター速度を一定にし、プレートの濃度に応じた絞り制御を実行し、カラーCCD3−1のシャッター速度を上限から、照度に応じて徐々に遅くしていく方法もある。この場合は、カラーCCD3−1のシャッター速度は、モノクロ画像で認識したプレート領域の濃度と同じとなるように、カラー画像のプレート領域の濃度に応じてシャッター速度を制御していく。
【0060】
図7に全体処理フローを示す。ステップ70で、モノクロ画像と、カラーカメラの画像を入力し、ステップ71で、モノクロ画像でプレートを認識する。ステップ72で、プレートを認識できたかを判定し、できない場合は、近赤外照明をカットするプレートカバー装着車両の可能性があるので、ステップ73で、カラーカメラの画像でプレート認識する。ステップ74で、プレートを認識できたかを判定し、プレート認識できた場合は、ボディの領域は通常プレートより上にあるので、ステップ76で、ボディ色判定領域算出1を実行する。
【0061】
ステップ74で、プレート認識できない場合、すなわちカラー、モノクロの両方の画像でプレート認識できなかった場合は、ステップ77で、ボディ色判定領域算出2を実行する。色の判定は、プレート認識できなかった場合でもできるので、図14に示すように、移動領域全体の例えば2/3(予め設定)の領域を色判定領域として算出する。ステップ77で、ボディ色判定領域算出2により決定した領域について色判定を実行する。その後、ステップ78で、絞りとシャッター速度の制御を後述する方法で制御する。
【0062】
なお、ステップ73のカラーカメラ画像でプレート認識する処理は、カラーCCD3−1のシャッター速度が設定された値より高速な場合に行うように限定することで、全体の処理時間向上を図ることができる。
【0063】
図7に示すステップ78の絞り制御、シャッター制御のフローの詳細を図8に示す。図8は、モノクロCCD3−2の映像でプレート認識できた場合のフローを示している。
【0064】
ステップ121で、モノクロ画像のプレート濃度を計測する。この計測では、プレートの一連番号領域近傍の、白濃度(文字の背景)の平均濃度を求める。
【0065】
ステップ122で、この平均濃度と予め定めた目標値とを比較し、目標値と一致度が高い場合は、処理を終了する。一致度の判定は、例えば平均濃度が予め定めた数値範囲にあるか否かで行う。
【0066】
目標値より明るい場合は、ステップ123で、シャッター速度が可変中か否かを判定し、シャッター速度が可変中でなく固定の場合は、ステップ125で、絞りがCloseでなければ絞りを一段絞る。可変中の場合は、シャッターをできるだけ速くしたいので、ステップ126で、シャッターを一段高速化し、シャッターが上限の場合は、ステップ128で、シャッター固定モードに設定する。上限でない場合は、ステップ129で、可変モードに設定する。
【0067】
一方、目標より暗い場合は、ステップ130で、絞りが開放かを調べ、開放でない場合は、ステップ132で、絞りを1段開ける。開放の場合は、シャッター速度を遅くしていくことになるが、シャッター速度が下限(例えば1/1000秒)でなければ、ステップ133で、シッターを1段低速化し、ステップ134で、シャッター可変モードに設定する。シャッター速度が下限の場合は、その状態を維持する。
【0068】
ステップ135で、モノクロCCD3−2のシャッター速度に応じ、カラーCCD3−1のシャッター速度制御を実行する。具体的には、例えば、モノクロCCD3−2のシャッター速度が1/3000秒で、比率が0.8倍であれば、カラーCCD3−1のシャッター速度を1/2400秒に設定する。この他に、プレート領域がモノクロ画像で求まっているので、カラー画像の同一領域の濃度を求め、目標値に応じ、シャッター速度を制御することもできる。
【0069】
次に、図6(b)に示すように、モノクロCCD3−2のシャッター速度を設定値に固定する場合の制御方法のフローを図9に示す。この場合、モノクロCCD3−2のシャッター速度は固定であるので、ステップ140で、モノクロ画像のプレート濃度を算出し、プレート濃度が目標値より明るい場合は、絞りがCloseでなければ、ステップ145で、絞りを1段絞る。プレート濃度が目標値より暗い場合は、絞りが開放でなければ、ステップ143で、絞りを1段開ける。
【0070】
ステップ146で、カラーCCDのシャッター速度制御を実行する。具体的には、図10に示すフローのように、モノクロ、あるいはカラーカメラで認識したプレート領域について、ステップ150で、カラー画像のプレート濃度を求め、プレート濃度が目標濃度より暗い場合は、シャッター速度が下限でなければ、ステップ153で、シャッターを1段低速化する。プレート濃度が目標濃度より明るい場合は、シャッター速度が上限でなければ、ステップ155で、シャッターを1段高速化する。
【0071】
次に、カラーカメラ、モノクロカメラを使った絞り制御、シャッター速度制御方法を次の(1)〜(3)の場合について説明する。
(1)モノクロカメラだけが認識できた場合
カラーCCD3−1の映像からプレート認識できない場合は、図8に示す制御フローの中で、絞り制御だけであれば、その状態を維持し、シャッター速度制御があれば、予め定めている比率に応じ、モノクロCCD3−2のシャッター速度に比率を乗じた速度にカラーCCD3−1のシャッター速度を設定する。または、モノクロ画像で認識できたプレート領域と同一の領域についてカラー画像の濃度を求めて制御する。
(2)カラーカメラだけ認識できた場合
図8に示すステップ121のモノクロ画像のプレート濃度を求める処理を、カラーCCD3−1の映像からプレート濃度を求める処理に変更し、図8に示す制御フローの中で、絞り制御だけであれば、モノクロカメラの制御は行わず、シャッター速度制御があれば、予め定めている比率に応じ、カラーCCDのシャッター速度に比率を乗じた速度にモノクロCCDのシャッター速度を設定する。または、カラー画像で認識できたプレート領域と同一の領域についてモノクロ画像の濃度を求めて制御する。
(3)両方とも認識できないとき
設定されている時間アイリス制御を実行していない場合で、かつ路面の濃度が目標濃度とかけ離れている場合は、図8に示す制御フローのステップ121のモノクロ画像のプレート濃度を求める処理を、路面の濃度を求める処理とし、ステップ122の目標濃度を、予め定めている路面の目標濃度と比較し、絞り速度、シャッター速度の制御を図8に示す制御フローにより実行する。
【0072】
(色判定方法)
図2に示す色認識部15の動作について説明する。ボディ色判定を行うために、計測領域を決定する。図7に示すステップ76のボディ色判定領域算出1は、プレートを認識できた場合の領域で行われる。ボディ色判定領域算出1は、図11に示すように、プレート領域より上で、かつ移動領域を色判定領域とする。ここで、移動領域は、複数の画像を入力し、フレーム間差分処理で求められる。
【0073】
カラーの画像をYUV空間で入力した場合、図12に示すUVの空間で色が定まることになる。このUV空間をn×m分割した領域を予め定めておき、図12の例では3×3分割の9色を示しているが、色判定領域1のUV値がどのブロックにあるかの頻度分布を図13に示すように求め、最大頻度となるブロックの色を出力して色判定する方式をとる。なお、UV空間の中央付近は無彩色に相当する。
【0074】
または、最大頻度と2番目に頻度の大きい第2頻度の色を出力する。このような処理で、部分的にペイントされた車両でも正確にボディの色を判定することができる。
【0075】
色の判定は、プレート認識できなかった場合でもできるので、図7のステップ77のボディ色判定領域算出2で算出された領域、すなわち、図14に示すように、移動領域全体の例えば2/3(予め設定)の領域を色判定領域と設定する。
【0076】
なお、RGB空間など色空間には種々の空間があるが、領域を正しく定めれば、どのようなカラー空間でも適用可能である。
【0077】
軽自動車の判定には、プレートのカラー認識が必要である。この場合、ナンバープレートが認識できている場合は、図15に示すように、プレート領域160についてカラー画像の色分布を調べる。日本の車両で使用されるプレートには白、緑、黄色、黒しかないので、前述の色空間を緑と黄色が分離しやすいブロックに分ければ良い。なお、海外の車両で使用されるプレート認識の場合や、日本の外交団プレートを認識する場合は青色が追加される。
【0078】
前述のように、絞り制御、シャッター速度制御は色判定の後に実行しているので、白背景のプレートを基準として、緑ナンバー、黄色ナンバーの場合は絞り、シャッター速度の制御を実行しないようにすることで、適切な明るさに制御できる。
【0079】
(ぶれ補正方法)
カラーカメラの映像は、照度が暗くなると、可視の照明が無いためシャッター速度が遅くなり、ぶれがある画像となる。しかし、前述のようにモノクロカメラは、シャッター速度が最低限の速度を確保するように制御しているので、ぶれの無い画像を取得できる。このため、図16に示すように、時間差Δtで撮影した複数枚の画像170、171を入力し、それぞれの画像からナンバープレートの位置(X1、Y1)と位置(X2、Y2)を算出し、移動量(Y2−Y1)を計測することにより、対象物体の速度を求めることができる。
【0080】
従来のように、ぶれた映像からぶれの大きさ、方向を求めるのは非常に難しく、プレートの認識をするためのぶれ補正であるため、精度が要求される。
【0081】
これに対し、本実施例では、カラー画像からプレートの文字を認識するための補正で無く、色判定のための補正であること、およびモノクロCCD3−2、カラーCCD3−1の二つを備えているので、容易にカラー画像のぶれを補正可能である。この補正は、図示していないぶれ量算出部で行う。
【0082】
本実施例では、移動量からぶれを補正する。補正の手法は一般的なウィナーフィルタを用いる。ウィナーフィルタについては、例えば画像解析ハンドブック:東京大学出版会、pp.399−402に記載されている。
【0083】
ウィナーフィルタは、原画像と平均二乗誤差を最小とする画像を与える復元作用素であり、具体的には、数2による周波数空間で補正を実行する。ここで、F(u、v)は補正画像、G(u、v)はぶれ画像であり、H(u、v)は点広がり関数であり、αは定数であり、予め実験により定める。
【0084】
【数2】
【0085】
H(u、v)は数3によって求めることができる。
【0086】
【数3】
【0087】
数3のVは、移動の大きさであり、位置(X1、Y1)と位置(X2、Y2)から求まる移動の大きさy=(Y2−Y1)は、1フレームの移動の大きさであるので、カラーCCD3−1のシャッター速度がOFF状態であれば、数3のVはyとなり、シャッター速度が16msであれば、y/2が、8msであれば、y/4がVに相当する。
【0088】
すなわち、Vは数4で計算する。yは移動の大きさ(画素)、SはカラーCCD3−1のシャッター速度(ms)、Tは1フレームの時間(通常、約33ms)である。
【0089】
【数4】
【0090】
カラーCCD3−1のシャッター速度が分かっているので、ぶれに相当する移動の大きさはこのようにして算出可能であり、色認識するのに十分な補正を実行することができる。なお、厳密なぶれ補正を実施するためには、移動の方向も考慮する必要があるが、色認識が目的であるため、移動の大きさだけで十分な補正が可能である。
【0091】
なお、プレート認識できない場合は、ぶれの補正はできないが、ボディの領域が大きければ、ぶれてもカラー情報が残るので、ボディ色判定は可能である。逆に白、黒のようにまだらになっている場合にぶれが補正できない場合は、中間色になるため、色判定精度は低下するが、通常、プレートの検出率はほぼ100%であるので、特に問題にはならない。
【0092】
また、上述した例ではプレートの位置を求めてぶれ量を算出しているが、2枚のモノクロ画像のオプティカルフローから求める方式や、図16に示すF(t)の画像の特徴点を定め、その点の画像がF(t+Δt)の画像でどこにあるかをマッチング処理で検出する方式を用いても良い。
【実施例2】
【0093】
1レンズ、2つのCCDの場合に、それぞれのCCDの位置を0.5画素上下、左右にずらして配置することで、高解像度の映像を取得可能である。
【0094】
カラーCCD3−1のシャッター速度が十分速いときに、輝度情報を、モノクロカメラと補間合成することで、解像度を見かけ上高めることが可能である。カラーCCDのシャッター速度が遅い場合は、合成できない。補間は画素があるところはそのまま適用し、無いところは、モノクロとカラーの画素値の4点補間あるいは16点補間処理によって補間可能である。
【0095】
これにより、文字認識精度を更に向上させることが可能となる。
【0096】
各実施例の説明では、1レンズ、2つのCCD(モノクロ、カラー)について記載したが、レンズの調整コストを無視できるならば、それぞれのCCDにレンズを装着し、それぞれのレンズの絞り、およびシャッター速度を制御することも可能である。但し、調整コスト、レンズが2台必要なことから小型化には不向きである。
【産業上の利用可能性】
【0097】
ナンバープレート認識を例にとり各実施例を説明したが、一般の監視システムである人物検出と服装の色検出にも1レンズ、2つのCCDのシステムが適用可能である。図17のモノクロカメラ映像180とカラーカメラ映像181に示すように、人物182をモノクロカメラで検出し、カラーカメラで人物領域183の色情報を求める。この場合も、モノクロCCD、カラーCCDの感度が異なるので、シャッター速度の制御が必要である。
【0098】
ナンバープレート認識の場合は、プレートの濃度を用いて制御していたが、一般の監視の場合は、モノクロのシャッター速度を一定にし、絞りを画面全体の濃度を目標値に合わせるように制御する。カラーCCDの場合は、シャッター速度を画面全体の濃度を目標値に合わせるように制御する。色抽出の処理は、人物の場合は、上下に分けて計測することで、上着、ズボンの色をそれぞれ計測することが可能である。夜間のカラー画像のぶれ補正の方式は、ナンバープレート認識と同様に、検出した物体の移動画素から補正することができる。
【0099】
本発明の各実施例によれば、昼夜を問わず、ナンバープレートの認識が良好に実行でき、夜間でもボディ色またはプレートの色判定が可能となる。また、レンズが1つであるため、設置調整コストの低減を図ることが可能である。また、2つのCCDの輝度情報を複合することで擬似的な超高解像度画像を得ることが可能となり、安価なカメラで認識率の高いナンバープレート認識装置を提供することが可能となる。
【符号の説明】
【0100】
1 レンズ
2 分光器
3−1 カラーCCD
3−2 モノクロCCD
4 映像信号
5 シャッター速度制御信号
12 画像メモリ
13 プレート検出部
14 プレート認識部
15 色認識部
16 シャッター速度制御部
17 絞り制御部
18 LED同期信号発生部
20 カメラ部
30 ナンバープレート認識部
40 LED照明
【特許請求の範囲】
【請求項1】
一つの光学レンズと、該光学レンズの光を二つの光に分光する分光器と、該分光器で分光された光の一方を受光し電気信号に変換するカラー用固体撮像素子と、前記分光器で分光された光の他方を受光し電気信号に変換するモノクロ用固体撮像素子と、前記カラー用固体撮像素子およびモノクロ用固体撮像素子からの電気信号を処理して物体を認識する物体認識部と、該物体認識部で認識された物体の画像濃度に基づいて前記光学レンズの絞りを制御する絞り制御部と、前記各個体撮像素子のシャッター速度を個別に制御するシャッター速度制御部を備えた物体認識装置。
【請求項2】
一つの光学レンズと、該光学レンズの光を二つの光に分光する分光器と、該分光器で分光された光の一方を受光し電気信号に変換するカラー用固体撮像素子と、前記分光器で分光された光の他方を受光し電気信号に変換するモノクロ用固体撮像素子と、前記カラー用固体撮像素子およびモノクロ用固体撮像素子からの電気信号を処理してナンバープレートを認識するナンバープレート認識部と、ボディあるいはナンバープレートの色を判定する色判定部と、前記ナンバープレート認識部で認識されたナンバープレートの画像濃度に基づいて前記光学レンズの絞りを制御する絞り制御部と、前記各個体撮像素子のシャッター速度を個別に制御するシャッター速度制御部を備えたナンバープレート認識装置。
【請求項3】
前記色判定部は、前記ナンバープレート認識部で認識したナンバープレートの位置から定まるボディ領域を算出し、算出されたボディ領域の色またはナンバープレートの色を認識する請求項2に記載のナンバープレート認識装置。
【請求項4】
前記色判定部は、前記モノクロ用固体撮像素子で撮影した少なくとも2枚の画像を連続して取り込み、取り込んだ複数の画像から移動画素を算出し、算出された移動画素からカラー用固体撮像素子のシャッター速度に応じたぶれ量を算出するぶれ量算出部と、該ぶれ量算出部で算出されたぶれ量に基づいて、前記カラー用固体撮像素子で撮影されたカラー画像のぶれ補正処理し、該補正処理されたカラー画像を用いてボディまたはプレートの色を認識する請求項2に記載のナンバープレート認識装置。
【請求項5】
前記ぶれ量算出部は、前記モノクロ用固体撮像素子で撮影した複数の画像における各プレートの位置を前記ナンバープレート認識部で認識し、各プレートの位置の差で前記ぶれ量を算出する請求項4に記載のナンバープレート認識装置。
【請求項6】
前記シャッター速度制御部は、前記各固体撮像素子のシャッター速度と前記光学レンズの絞りを、モノクロ用固体撮像素子またはカラー用固体撮像素子で撮影したプレートの濃度値を用いて制御する請求項2に記載のナンバープレート認識装置。
【請求項7】
前記シャッター速度制御部は、前記ナンバープレートの濃度に応じて前記モノクロ用固体撮像素子のシャッター速度が設定された速度より遅くならない範囲で制御する請求項3に記載のナンバープレート認識装置。
【請求項8】
前記シャッター速度制御部は、前記モノクロ用固体撮像素子のシャッター速度を設定値に固定し、前記モノクロ用固体撮像素子で撮影した画像からナンバープレート領域を切り出し、切り出されたプレート領域の濃度値を算出し、算出された濃度値が目標濃度に近づくようにレンズの絞りを制御し、前記カラー用固体撮像素子のシャッター速度を、カラー画像におけるプレート領域の濃度値が目標濃度に近づくように制御する請求項2に記載のナンバープレート認識装置。
【請求項9】
前記シャッター速度制御部は、前記色判定部で判定されたプレートの色が白色の場合には、レンズ絞り、シャッター速度を制御する請求項2に記載のナンバープレート認識装置。
【請求項10】
一つの光学レンズと、該光学レンズの光を二つの光に分光する分光器と、該分光器で分光された光の一方を受光し電気信号に変換するカラー用固体撮像素子と、前記分光器で分光された光の他方を受光し電気信号に変換するモノクロ用固体撮像素子と、前記モノクロ用固体撮像素子からの電気信号を処理して移動物体を検出する物体認識部と、前記物体認識部で検出した移動物体の位置から色判定を行う領域を算出し、該算出されたこの領域の色を前記カラー用固体撮像素子からの電気信号を用いて認識する色判定部とを備えた移動物体の色判定装置。
【請求項1】
一つの光学レンズと、該光学レンズの光を二つの光に分光する分光器と、該分光器で分光された光の一方を受光し電気信号に変換するカラー用固体撮像素子と、前記分光器で分光された光の他方を受光し電気信号に変換するモノクロ用固体撮像素子と、前記カラー用固体撮像素子およびモノクロ用固体撮像素子からの電気信号を処理して物体を認識する物体認識部と、該物体認識部で認識された物体の画像濃度に基づいて前記光学レンズの絞りを制御する絞り制御部と、前記各個体撮像素子のシャッター速度を個別に制御するシャッター速度制御部を備えた物体認識装置。
【請求項2】
一つの光学レンズと、該光学レンズの光を二つの光に分光する分光器と、該分光器で分光された光の一方を受光し電気信号に変換するカラー用固体撮像素子と、前記分光器で分光された光の他方を受光し電気信号に変換するモノクロ用固体撮像素子と、前記カラー用固体撮像素子およびモノクロ用固体撮像素子からの電気信号を処理してナンバープレートを認識するナンバープレート認識部と、ボディあるいはナンバープレートの色を判定する色判定部と、前記ナンバープレート認識部で認識されたナンバープレートの画像濃度に基づいて前記光学レンズの絞りを制御する絞り制御部と、前記各個体撮像素子のシャッター速度を個別に制御するシャッター速度制御部を備えたナンバープレート認識装置。
【請求項3】
前記色判定部は、前記ナンバープレート認識部で認識したナンバープレートの位置から定まるボディ領域を算出し、算出されたボディ領域の色またはナンバープレートの色を認識する請求項2に記載のナンバープレート認識装置。
【請求項4】
前記色判定部は、前記モノクロ用固体撮像素子で撮影した少なくとも2枚の画像を連続して取り込み、取り込んだ複数の画像から移動画素を算出し、算出された移動画素からカラー用固体撮像素子のシャッター速度に応じたぶれ量を算出するぶれ量算出部と、該ぶれ量算出部で算出されたぶれ量に基づいて、前記カラー用固体撮像素子で撮影されたカラー画像のぶれ補正処理し、該補正処理されたカラー画像を用いてボディまたはプレートの色を認識する請求項2に記載のナンバープレート認識装置。
【請求項5】
前記ぶれ量算出部は、前記モノクロ用固体撮像素子で撮影した複数の画像における各プレートの位置を前記ナンバープレート認識部で認識し、各プレートの位置の差で前記ぶれ量を算出する請求項4に記載のナンバープレート認識装置。
【請求項6】
前記シャッター速度制御部は、前記各固体撮像素子のシャッター速度と前記光学レンズの絞りを、モノクロ用固体撮像素子またはカラー用固体撮像素子で撮影したプレートの濃度値を用いて制御する請求項2に記載のナンバープレート認識装置。
【請求項7】
前記シャッター速度制御部は、前記ナンバープレートの濃度に応じて前記モノクロ用固体撮像素子のシャッター速度が設定された速度より遅くならない範囲で制御する請求項3に記載のナンバープレート認識装置。
【請求項8】
前記シャッター速度制御部は、前記モノクロ用固体撮像素子のシャッター速度を設定値に固定し、前記モノクロ用固体撮像素子で撮影した画像からナンバープレート領域を切り出し、切り出されたプレート領域の濃度値を算出し、算出された濃度値が目標濃度に近づくようにレンズの絞りを制御し、前記カラー用固体撮像素子のシャッター速度を、カラー画像におけるプレート領域の濃度値が目標濃度に近づくように制御する請求項2に記載のナンバープレート認識装置。
【請求項9】
前記シャッター速度制御部は、前記色判定部で判定されたプレートの色が白色の場合には、レンズ絞り、シャッター速度を制御する請求項2に記載のナンバープレート認識装置。
【請求項10】
一つの光学レンズと、該光学レンズの光を二つの光に分光する分光器と、該分光器で分光された光の一方を受光し電気信号に変換するカラー用固体撮像素子と、前記分光器で分光された光の他方を受光し電気信号に変換するモノクロ用固体撮像素子と、前記モノクロ用固体撮像素子からの電気信号を処理して移動物体を検出する物体認識部と、前記物体認識部で検出した移動物体の位置から色判定を行う領域を算出し、該算出されたこの領域の色を前記カラー用固体撮像素子からの電気信号を用いて認識する色判定部とを備えた移動物体の色判定装置。
【図1】
【図2】
【図3】
【図4】
【図5】
【図6】
【図7】
【図8】
【図9】
【図10】
【図11】
【図12】
【図13】
【図14】
【図15】
【図16】
【図17】
【図2】
【図3】
【図4】
【図5】
【図6】
【図7】
【図8】
【図9】
【図10】
【図11】
【図12】
【図13】
【図14】
【図15】
【図16】
【図17】
【公開番号】特開2010−250710(P2010−250710A)
【公開日】平成22年11月4日(2010.11.4)
【国際特許分類】
【出願番号】特願2009−101534(P2009−101534)
【出願日】平成21年4月20日(2009.4.20)
【出願人】(000005108)株式会社日立製作所 (27,607)
【出願人】(000153443)株式会社日立情報制御ソリューションズ (359)
【Fターム(参考)】
【公開日】平成22年11月4日(2010.11.4)
【国際特許分類】
【出願日】平成21年4月20日(2009.4.20)
【出願人】(000005108)株式会社日立製作所 (27,607)
【出願人】(000153443)株式会社日立情報制御ソリューションズ (359)
【Fターム(参考)】
[ Back to top ]