車両撮像装置
【課題】従来の車両撮像装置は、ナンバープレート検出ができなかった時、画像の平均明るさや路面の輝度情報で、カメラの絞りやシャッタ速度を調整するため、明るさに変化なくてもカメラ視野内情景が変わると、カメラ制御が誤り、極端に明るいか暗いナンバープレート画像しか得られず、ナンバープレート検出ができない。
【解決手段】カメラが撮影した入力画像からナンバープレート検出手段で車両のナンバープレートを検出し、検出ナンバープレートの画像領域からナンバープレート輝度抽出手段で輝度情報を抽出し、車両検出手段で入力画像から検出した車両の画像領域から輝度情報を車両輝度抽出手段で抽出し、前記ナンバープレート輝度抽出手段の抽出した輝度情報と前記車両輝度抽出手段の抽出した輝度情報の両者を用いてカメラの撮影条件の制御を行うカメラ制御手段とを備える。
【解決手段】カメラが撮影した入力画像からナンバープレート検出手段で車両のナンバープレートを検出し、検出ナンバープレートの画像領域からナンバープレート輝度抽出手段で輝度情報を抽出し、車両検出手段で入力画像から検出した車両の画像領域から輝度情報を車両輝度抽出手段で抽出し、前記ナンバープレート輝度抽出手段の抽出した輝度情報と前記車両輝度抽出手段の抽出した輝度情報の両者を用いてカメラの撮影条件の制御を行うカメラ制御手段とを備える。
【発明の詳細な説明】
【技術分野】
【0001】
この発明は、走行中の車両をカメラにて撮影して入力画像を得、その入力画像からナンバープレートの番号や文字を認識するためナンバープレートを鮮明に写す車両撮像装置に関する。
【背景技術】
【0002】
車両の前面、特にナンバープレートが鮮明に写った画像を取得するものとしては、例えば、特開平11−175882号公報や特開2001−60295号公報に示されるものがある。これらの技術では、ナンバープレートが検出できた場合はナンバープレートの明るさの情報(輝度情報)を用い、検出できない場合は、画像の平均的な明るさ(平均測光値)や路面の輝度情報を用いて、カメラの絞りやシャッタ速度を制御する。
【0003】
【特許文献1】特開平11−175882号公報
【特許文献2】特開2001−60295号公報
【発明の開示】
【発明が解決しようとする課題】
【0004】
従来の車両撮像装置では、ナンバープレートが検出できない時、カメラの絞りやシャッタ速度の制御に、画像の平均的な明るさや路面の輝度情報を用いるため、明るさに変化がないにもかかわらずカメラ視野内の情景が変わってしまった場合(渋滞時に複数車両がナンバープレートの隠れるような位置関係においてカメラ視野内で停止した場合や、車両が通過しない間に雨が降り出して路面が濡れた場合など)、カメラの絞りやシャッタ速度等の撮影条件の制御を誤ってしまい、鮮明な画像が得られないという課題があった。さらに、カメラの撮影条件制御を誤った結果として、カメラの絞りやシャッタ速度に適正値と大きく異なる値が設定されてしまった場合は、極端に明るい又は暗いナンバープレートの画像しか得られなくなり、ナンバープレートの検出ができなくなり、かつ、ナンバープレートの検出時のナンバープレートの明るさで、カメラの絞りやシャッタ速度の制御をしているので、カメラの適正な絞りやシャッタ速度に復帰することが困難になるという課題があった。
【0005】
この発明は、前記のような課題を解決するためになされたものであり、渋滞時などのカメラ視野内の情景変化に影響を受けにくく、また、カメラの絞りやシャッタ速度が適正値からずれた場合も、早期に適正値に復帰することのできる車両撮像装置を得ることを目的としている。
【課題を解決するための手段】
【0006】
この発明に係る車両撮像装置は
撮影して撮影画像を入力するカメラと、入力画像から車両のナンバープレートを検出するナンバープレート検出手段と、検出したナンバープレートの画像領域から輝度情報を抽出するナンバープレート輝度抽出手段と、入力画像から車両を検出する車両検出手段と、検出した車両の画像領域から輝度情報を抽出する車両輝度抽出手段と、前記ナンバープレート輝度抽出手段の抽出した輝度情報と前記車両輝度抽出手段の抽出した輝度情報の両者を用いてカメラの撮影条件の制御を行うカメラ制御手段とを備える。
【発明の効果】
【0007】
この発明に係る車両撮像装置によれば、ナンバープレート検出手段で検出したナンバープレートの画像領域からナンバープレート輝度抽出手段で輝度情報を抽出するとともに車両検出手段で検出した車両の画像領域から車両輝度抽出手段で輝度情報を抽出し、ナンバープレートと車両の輝度情報を用いてカメラの絞り等の撮影条件の制御を行うので、カメラの絞り等の撮影条件が適正値から大きくはずれ、ナンバープレートが検出できない状態になった場合でも、車両の通過に伴って補正することが可能となり、早期に適正値に復帰することができる。また、ナンバープレートや車両が明確に検出できたときの輝度情報を用いるため、雨によって路面が濡れる等の情景変化には影響されず、カメラを適正に制御して、鮮明な画像を取得できる。
【発明を実施するための最良の形態】
【0008】
実施の形態1.
以下、この発明の実施の形態1を図について説明する。図1はこの発明の実施の形態1を示す概略構成図である。図において、1は走行中の車両などを撮像し、その撮像画像を入力するカメラ、2はカメラ1の入力画像からナンバープレートを検出するナンバープレート検出手段、3は検出したナンバープレートの画像領域から輝度情報を抽出するナンバープレート輝度抽出手段、4はカメラ1の入力画像から車両部分を検出する車両検出手段、5は検出した車両の画像領域から輝度情報を抽出する車両輝度抽出手段、6はナンバープレート輝度抽出手段3の抽出した輝度情報と車両輝度抽出手段5の抽出した輝度情報の両者を用いてカメラの撮影条件の制御を行うカメラ制御手段である。
【0009】
次に動作を図により説明する。図2がこの発明の処理フロー図である。ここでは、図2を基に、図3から図5までを用いて動作を説明する。図3はナンバープレートの例であり、7は自家用ナンバープレート、8は業務用ナンバープレートである。図4は車両検出結果の例であり、9は入力画像、10は検出した車両領域、11はナンバープレートである。図5は車両輝度抽出手段5の動作を説明するための図であり、12は注目領域を示す矩形である。
【0010】
まず、カメラ1が画像を入力し(ステップS1)、ナンバープレート検出手段2が入力画像中のナンバープレートを検出する(ステップS2)。本実施の形態では、入力画像は1画素8ビットの白黒画像であり、真っ黒で0、真っ白で255の画素値をとるものとする。ナンバープレートの検出方法は、例えば、三菱電機技報 Vol.62 No.2 pp.9−12 「ナンバープレート認識技術」の4章「ナンバープレート抽出と下段文字切出し」に記載の方法を用いる。
【0011】
そして、ナンバープレート輝度抽出手段3は、ステップS2の処理でナンバープレートが検出できたかを判定し(ステップS3)、検出できている場合は、ナンバープレートの輝度を抽出する(ステップS4)。ナンバープレートには、文字が地の部分より黒っぽい自家用ナンバープレート7と、文字が地の部分より白っぽい業務用ナンバープレート8の2種類あり、この両方に対応する必要がある。このため、輝度抽出の方法としては、例えば、検出したナンバープレート領域内の画素を値の大きい順(白い順)に並べ、上位n%(nはあらかじめ定めた定数)の画素の平均画素値をナンバープレートの輝度とする。
【0012】
次に、車両検出手段4が車両検出を行なう(ステップS5)。車両検出の方法としては、例えば、特開2005−209097号公報に記載の方法を用いる。
なお、ステップS3でナンバープレートが検出でき無かった場合は、ステップS4のナンバープレートの輝度抽出工程を跳ばして、ステップS5に進む。
車両検出の結果、例えば、図4の入力画像9に対しては、車両領域10が得られる。なお、図4のナンバープレート11では、小さな漢字などが消失し、大きな数字もひどくかすれているが、これはカメラの絞りを開きすぎると発生する現象である。このようにカメラの設定がずれてしまうと、ナンバープレートの検出も困難になってしまうが、細い文字線で構成されるナンバープレートに比べ、車体には太いパターンも多いので、車両検出は可能である。
【0013】
その後、車両輝度抽出手段5が、車両前面が検出されたか判定する(ステップS6)。車両を初めて検出した場合、当該車両がカメラの視野内に進入してきたものと判断でき、この時の画像には車両前面の写っている可能性が極めて高い。このため、例えば、一定時間以上車両が検出できなかった後に初めて車両を検出した場合に、車両前面が検出できたと判定する。
【0014】
さらに車両輝度抽出手段5は、ステップS6において車両前面が検出されたと判定した場合、車両前面の輝度を抽出する(ステップS7)。本ステップの動作例を図5で説明すると、所定の大きさ(通常ナンバープレートが写る大きさよりも一回り小さい程度が望ましい)の注目領域12を車両領域10の中に設定し、この中に含まれる画素に対して、ステップS4で説明した輝度抽出処理と同じ処理を行い、得られた輝度を当該位置の輝度とする。そして、この注目領域12を車両領域10内で少しずつずらしながら処理を繰り返し、得られた中で最も大きい(白い)輝度を車両前面輝度とする。このように処理を行うと、仮に車体が黒い車両であっても、注目領域12がナンバープレート位置に来たときには適正な輝度を得ることができる。また、車体が白い車両の場合には、ナンバープレートが隠れているなどの要因でナンバープレート位置の輝度がとれなくても、車体の白い部分で概ね適正な輝度が得られるため、より安定した結果を得ることができる。
【0015】
最後に、カメラ制御手段6は、ナンバープレート輝度と車両前面輝度を用いて、カメラの撮影条件制御を行う(ステップS8)。例えば、目標とする輝度値をあらかじめ定めておき、ナンバープレート輝度が得られていたらこれを目標値と比較し、ナンバープレート輝度が得られておらず車両前面輝度が得られている場合は、車両前面輝度を目標値と比較する。そして、目標値より一定以上小さければ(暗すぎれば)絞りを開く方向に、一定以上大きければ(明るすぎれば)絞りを閉じる方向に制御を行う。
なお、ステップS6において車両前面が検出されなかった時は、ステップS8に進む。
【0016】
この実施の形態では、以上の工程を経ることで、カメラの絞りが適正値から大きくはずれ、ナンバープレートが検出できない状態になった場合でも、車両の通過に伴って補正することが可能となり、早期に適正値に復帰することができる。また、ナンバープレートや車両が明確に検出できたときの輝度情報を用いるため、雨によって路面が濡れる等の情景変化には影響されず、カメラを適正に制御して、鮮明な画像を取得できる。
【0017】
なお、ナンバープレート検出手段2の検出方法として文献(三菱電機技報 Vol.62 No.2 pp.9−12 「ナンバープレート認識技術」)記載の方法を用い、車両検出手段4の検出方法として特許公報記載の方法を用いたが、これは他の方法を使っても良い。また、ナンバープレート輝度や注目領域内の輝度の抽出方法として、画素を値の大きい順に並べて上位n%の平均画素値をとる方法を用いたが、これは、領域内の白い画素の値を取得できる方法であれば、別の方法でもよい。
【0018】
また、車両前面検出の判定方法として、一定時間以上車両が検出できなかった後に初めて車両を検出することを条件とする例で説明したが、これはヘッドライトなど車両前面に存在する特徴的なパターンの有無を判定するような方法を用いてもよい。
さらに、車両輝度抽出手段5が車両前面輝度を抽出する対象領域として、車両検出手段4が検出した車両領域をそのまま用いる例で説明したが、これは路面等の車体以外の部分をできるだけ含まないように、より限定した領域(例えば、車両領域内部の一回り小さい範囲)を対象としてもよい。
【0019】
実施の形態2.
以下、この発明の実施の形態2を図について説明する。概略構成図は図6である。図において、13は路面の輝度を抽出する路面輝度抽出手段である。その他の構成は図1に示す実施の形態1と同様であり説明を省略する。この実施の形態では、実施の形態1で用いたナンバープレート輝度と車両前面輝度に加えて、路面輝度を用いる例を説明する。本実施の形態の処理フローは図7である。
【0020】
まず、この実施の形態2おいても、実施の形態1のステップS1〜S7と同様な動作を行う。すなわち、カメラ1が画像を入力し(ステップT1)、ナンバープレート検出手段2がナンバープレートの検出処理を行って(ステップT2)、ナンバープレートが検出できれば(ステップT3)、ナンバープレート輝度抽出手段3がナンバープレートの輝度を抽出する(ステップT4)。続いて、車両検出手段4が車両検出を行ない(ステップT5)、車両が検出できれば(ステップT6)、車両輝度抽出手段5が車両前面の輝度を抽出する(ステップT7)。
なお、ステップT3でナンバープレートが検出でき無かった場合は、実施の形態1と同様にステップT4のナンバープレートの輝度抽出工程を跳ばして、ステップT5に進む。
【0021】
その後、路面輝度抽出手段13が、路面輝度の抽出を行う(ステップT8)。例えば、入力画像中で路面が占める領域をあらかじめ定めておき、この領域の平均画素値をとって路面輝度とする。本実施の形態では、過去の路面輝度抽出値を参照できるよう、路面輝度は常に保存しておくものとする。なお、ステップT6において車両前面が検出されなかった時は、ステップT8に進む。
【0022】
そして、最後にカメラ制御手段6は、ナンバープレート輝度と車両前面輝度と路面輝度を用いて、カメラの撮影条件の制御を行う(ステップT9)。例えば、ナンバープレート輝度と車両輝度のどちらかが得られていたら、実施の形態1と同様のカメラ制御を行うと共に、所定時間だけ過去(車両進入直前)の路面輝度を比較対象値として保存しておく。そして、一定時間以上ナンバープレート輝度も車両輝度も得られなかった場合には、抽出した路面輝度を前記の比較対象値と比べて、一定以上小さければ(路面輝度保存時より暗くなったら)絞りを開く方向に、一定以上大きければ(路面輝度保存時より明るくなっていたら)絞りを閉じる方向に制御を行う。
【0023】
この実施の形態では、以上の工程を経ることで、車両が通過しない場合でも明るさの変化に追随できる制御が行える一方、絞り値が望ましい値から大きくはずれることを防止できる。なお、路面輝度の抽出方法として、入力画像中のあらかじめ定めた領域の平均輝度をとる方法で説明したが、これは、ナンバープレート輝度の抽出で用いている、対象領域内の画素の中から所定割合の白いものを選択して平均画素値を求める方法など、別の方法を用いてもよい。
【0024】
実施の形態3.
以下、この発明の実施の形態3を図について説明する。概略構成図は図8である。図において14はフロントガラスを検出すると共にその輝度情報を抽出するフロントガラス検出・輝度抽出手段である。その他の構成は図6に示す実施の形態2と同様であり説明を省略する。
次に動作を図により説明する。図9が本実施の形態の処理フロー図である。ここでは図10を用いて動作を説明する。図10はフロントガラス検出の例を示す図であり、15は入力画像、16〜19はフロントガラスの上下左右における境界エッジである。
【0025】
まず、実施の形態2のステップT1〜T8と同様な動作を行う。すなわち、カメラ1が画像を入力し(ステップU1)、ナンバープレート検出手段2がナンバープレートの検出処理を行って(ステップU2)、ナンバープレートが検出できれば(ステップU3)、ナンバープレート輝度抽出手段3がナンバープレートの輝度を抽出する(ステップU4)。続いて、車両検出手段4が車両検出を行ない(ステップU5)、車両が検出できれば(ステップU6)、車両輝度抽出手段5が車両前面の輝度を抽出する(ステップU7)。そして、路面輝度抽出手段13が、路面輝度の抽出を行う(ステップU8)。
なお、ステップU3でナンバープレートが検出でき無かった場合は、ステップU5に進み、ステップU6で車両前面が検出されなかった時は、ステップU8に進む。
【0026】
その後、フロントガラス検出・輝度抽出手段14は、入力画像からフロントガラスの検出を行う(ステップU9)。検出方法としては、例えば、入力画像から所定範囲の長さを持つ水平エッジと垂直エッジを検出し、それぞれ2本ずつを組み合わせて構成される領域の大きさを求め、これが所定範囲内であれば、当該領域をフロントガラスとする。図10の例では、入力画像15から水平エッジ16,17と垂直エッジ18,19を境界とする領域がフロントガラスとして検出される。なお、入力画像中にフロントガラスが含まれるのは、ステップU6で車両前面ありと判定された時点か、その直後の一定時間内となるので、これを条件として、ステップU9の動作を行うか否か決定するようにしてもよい。
【0027】
さらにフロントガラス検出・輝度抽出手段14は、ステップU9でフロントガラスが検出された場合(ステップU10)、フロントガラス部分の輝度を抽出する(ステップU11)。例えば、フロントガラスとして検出した領域の平均輝度を計算し、これをフロントガラス部分の輝度とする。
【0028】
最後にカメラ制御手段6は、ナンバープレート輝度と車両前面輝度と路面輝度とフロントガラスの輝度を用いて、カメラの撮影条件の制御を行う(ステップU12)。例えば、実施の形態2と同様に手順でナンバープレート輝度と車両前面輝度と路面輝度から絞り変化の有無を決定し、この処理で絞り変化不要と判断された場合に、フロントガラスの輝度をあらかじめ定めた目標値と比較し、目標値より一定以上小さければ絞りを開く方向に、一定以上大きければ絞りを閉じる方向に制御を行う。
なお、ステップU10でフロントガラスが検出されなかった場合ステップU12に進む。
【0029】
この実施の形態では、以上の工程を経ることで、車両前面とフロントガラス部分の両方が鮮明な画像を取得することができる。なお、本実施の形態では、フロントガラスを4本のエッジの組合せで求め、これを境界とする領域の平均輝度をフロントガラスの輝度とする例で説明したが、これはフロントガラス部分の輝度を抽出または推定できる方法であれば、別の方法でもよい。また、カメラの制御において、ナンバープレート輝度と車両前面輝度と路面輝度の三者をフロントガラスの輝度よりも優先させる形態としたが、これはフロントガラスの輝度の方を優先させるようにしてもよい。
【0030】
実施の形態4.
以下、この発明の実施の形態4を図について説明する。概略構成図は実施の形態2と同様に図6であり説明を省略するが、本実施の形態では実施の形態2とカメラ制御手段6の動作が異なる。図11が本実施の形態の処理フロー図である。
【0031】
まず、実施の形態2のステップT1〜T8と同様な動作を行う。すなわち、カメラ1が画像を入力し(ステップV1)、ナンバープレート検出手段2がナンバープレートの検出処理を行って(ステップV2)、ナンバープレートが検出できれば(ステップV3)、ナンバープレート輝度抽出手段3がナンバープレートの輝度を抽出する(ステップV4)。続いて、車両検出手段4が車両検出を行ない(ステップV5)、車両が検出できれば(ステップV6)、車両輝度抽出手段5が車両前面の輝度を抽出する(ステップV7)。そして、路面輝度抽出手段13が、路面輝度の抽出を行う(ステップV8)。本実施の形態では、過去の路面輝度抽出値を参照できるよう、路面輝度は常に保存しておくものとする。
なお、ステップV3でナンバープレートが検出でき無かった場合は、ステップV5に進み、ステップV6で車両前面が検出されなかった時は、ステップV8に進む。
【0032】
その後、カメラ制御手段6は、ナンバープレート輝度または車両前面輝度と、路面輝度を比較して、逆光判定を行う(ステップV9)。例えば、ナンバープレート輝度が得られている場合は、その値と、所定時間だけ過去の路面輝度(車両に路面が隠される前に取得した値)とを比較し、路面輝度に比べてナンバープレート輝度が一定以上小さい(暗い)場合に逆光と判定する。ナンバープレート輝度が得られず、車両前面輝度が得られている場合は、ナンバープレート輝度の代わりに車両前面輝度を用い、同じ判定処理を行う。なお、この輝度比較によって逆光と判定した場合、その後の所定時間は逆光状態にあるものと見なす。
【0033】
最後に、カメラ制御手段6は、ナンバープレート輝度と車両前面輝度と路面輝度の各輝度情報と、逆光情報に基づいて、カメラの制御を行う(ステップV10)。例えば、実施の形態3と同様に、ナンバープレート輝度と車両輝度のどちらかが得られていた場合は、これを目標値と比較して一定以上小さければ絞りを開く方向に、一定以上大きければ閉じる方向に制御を行い、ナンバープレート輝度も車両輝度も得られなかった場合には、抽出した路面輝度を比較対象値と比べて、一定以上小さければ絞りを開く方向に、一定以上大きければ閉じる方向に制御を行うが、この“一定以上大きい・小さい”を判定するための閾値を、逆光状態と非逆光状態で切り替えるものとする。逆光状態では、路面輝度に比べて車両前面の輝度はかなり小さいため、例えば、路面が若干暗くなっても、絞りは非逆光状態に比べてあまり閉じないような閾値とする。
【0034】
この実施の形態では、以上の工程を経ることで、逆光になってしまった場合でも、鮮明な画像を取得し続けることができる。
【0035】
なお、実施の形態1〜4では、カメラ制御の方法として、絞りを変える例を説明したが、これはシャッタ速度を切り替える、あるいは、絞りとシャッタ速度の両者を切り替える制御を行ってもよい。シャッタ速度は、遅くすると明るい画像が得られ、速くすると暗い画像が得られるため、絞りを変える場合と同等な制御が可能である。また、絞りを変える方法として、得られた輝度を目標値や過去の値と比較することで、絞りを開いたり閉じたりする例を説明したが、これは、輝度の値ごとにあらかじめ定義された処理を実行するなど、別の方法を用いても良い。また、絞り制御における判定(絞りを開く、閉じる、維持する、のどれにするかの判定)や逆光判定について、一度の判定結果に基づいて対応する処理を行う(絞りを開く・閉じる、閾値を切り替える)例を説明したが、これは、例えば複数回連続して同じ判定結果が得られたら対応する処理を行うような動作としてもよい。この場合、条件変化への追随速度は若干低下するが、一時的な誤判定に影響されない安定した動作が行える。
【産業上の利用可能性】
【0036】
この発明による車両撮像装置は、車両のナンバープレート文字を読み取る装置に適用され利用可能である。
【図面の簡単な説明】
【0037】
【図1】この発明の実施の形態1を示す概略構成図である。
【図2】実施の形態1における処理フロー図である。
【図3】ナンバープレートの例を示す説明図である。
【図4】車両検出結果の例を示す説明図である。
【図5】車両輝度抽出手段の動作説明用の図である。
【図6】この発明の実施の形態2における概略構成図である。
【図7】実施の形態2における処理フロー図である。
【図8】この発明の実施の形態3における概略構成図である。
【図9】実施の形態3における処理フロー図である。
【図10】フロントガラス検出例を示す説明図である。
【図11】実施の形態4における処理フロー図である。
【符号の説明】
【0038】
1;カメラ、2;ナンバープレート検出手段、3;ナンバープレート輝度抽出手段、4;車両検出手段、5;車両輝度抽出手段、6;カメラ制御手段、13;路面輝度抽出手段、14;フロントガラス検出・輝度抽出手段。
【技術分野】
【0001】
この発明は、走行中の車両をカメラにて撮影して入力画像を得、その入力画像からナンバープレートの番号や文字を認識するためナンバープレートを鮮明に写す車両撮像装置に関する。
【背景技術】
【0002】
車両の前面、特にナンバープレートが鮮明に写った画像を取得するものとしては、例えば、特開平11−175882号公報や特開2001−60295号公報に示されるものがある。これらの技術では、ナンバープレートが検出できた場合はナンバープレートの明るさの情報(輝度情報)を用い、検出できない場合は、画像の平均的な明るさ(平均測光値)や路面の輝度情報を用いて、カメラの絞りやシャッタ速度を制御する。
【0003】
【特許文献1】特開平11−175882号公報
【特許文献2】特開2001−60295号公報
【発明の開示】
【発明が解決しようとする課題】
【0004】
従来の車両撮像装置では、ナンバープレートが検出できない時、カメラの絞りやシャッタ速度の制御に、画像の平均的な明るさや路面の輝度情報を用いるため、明るさに変化がないにもかかわらずカメラ視野内の情景が変わってしまった場合(渋滞時に複数車両がナンバープレートの隠れるような位置関係においてカメラ視野内で停止した場合や、車両が通過しない間に雨が降り出して路面が濡れた場合など)、カメラの絞りやシャッタ速度等の撮影条件の制御を誤ってしまい、鮮明な画像が得られないという課題があった。さらに、カメラの撮影条件制御を誤った結果として、カメラの絞りやシャッタ速度に適正値と大きく異なる値が設定されてしまった場合は、極端に明るい又は暗いナンバープレートの画像しか得られなくなり、ナンバープレートの検出ができなくなり、かつ、ナンバープレートの検出時のナンバープレートの明るさで、カメラの絞りやシャッタ速度の制御をしているので、カメラの適正な絞りやシャッタ速度に復帰することが困難になるという課題があった。
【0005】
この発明は、前記のような課題を解決するためになされたものであり、渋滞時などのカメラ視野内の情景変化に影響を受けにくく、また、カメラの絞りやシャッタ速度が適正値からずれた場合も、早期に適正値に復帰することのできる車両撮像装置を得ることを目的としている。
【課題を解決するための手段】
【0006】
この発明に係る車両撮像装置は
撮影して撮影画像を入力するカメラと、入力画像から車両のナンバープレートを検出するナンバープレート検出手段と、検出したナンバープレートの画像領域から輝度情報を抽出するナンバープレート輝度抽出手段と、入力画像から車両を検出する車両検出手段と、検出した車両の画像領域から輝度情報を抽出する車両輝度抽出手段と、前記ナンバープレート輝度抽出手段の抽出した輝度情報と前記車両輝度抽出手段の抽出した輝度情報の両者を用いてカメラの撮影条件の制御を行うカメラ制御手段とを備える。
【発明の効果】
【0007】
この発明に係る車両撮像装置によれば、ナンバープレート検出手段で検出したナンバープレートの画像領域からナンバープレート輝度抽出手段で輝度情報を抽出するとともに車両検出手段で検出した車両の画像領域から車両輝度抽出手段で輝度情報を抽出し、ナンバープレートと車両の輝度情報を用いてカメラの絞り等の撮影条件の制御を行うので、カメラの絞り等の撮影条件が適正値から大きくはずれ、ナンバープレートが検出できない状態になった場合でも、車両の通過に伴って補正することが可能となり、早期に適正値に復帰することができる。また、ナンバープレートや車両が明確に検出できたときの輝度情報を用いるため、雨によって路面が濡れる等の情景変化には影響されず、カメラを適正に制御して、鮮明な画像を取得できる。
【発明を実施するための最良の形態】
【0008】
実施の形態1.
以下、この発明の実施の形態1を図について説明する。図1はこの発明の実施の形態1を示す概略構成図である。図において、1は走行中の車両などを撮像し、その撮像画像を入力するカメラ、2はカメラ1の入力画像からナンバープレートを検出するナンバープレート検出手段、3は検出したナンバープレートの画像領域から輝度情報を抽出するナンバープレート輝度抽出手段、4はカメラ1の入力画像から車両部分を検出する車両検出手段、5は検出した車両の画像領域から輝度情報を抽出する車両輝度抽出手段、6はナンバープレート輝度抽出手段3の抽出した輝度情報と車両輝度抽出手段5の抽出した輝度情報の両者を用いてカメラの撮影条件の制御を行うカメラ制御手段である。
【0009】
次に動作を図により説明する。図2がこの発明の処理フロー図である。ここでは、図2を基に、図3から図5までを用いて動作を説明する。図3はナンバープレートの例であり、7は自家用ナンバープレート、8は業務用ナンバープレートである。図4は車両検出結果の例であり、9は入力画像、10は検出した車両領域、11はナンバープレートである。図5は車両輝度抽出手段5の動作を説明するための図であり、12は注目領域を示す矩形である。
【0010】
まず、カメラ1が画像を入力し(ステップS1)、ナンバープレート検出手段2が入力画像中のナンバープレートを検出する(ステップS2)。本実施の形態では、入力画像は1画素8ビットの白黒画像であり、真っ黒で0、真っ白で255の画素値をとるものとする。ナンバープレートの検出方法は、例えば、三菱電機技報 Vol.62 No.2 pp.9−12 「ナンバープレート認識技術」の4章「ナンバープレート抽出と下段文字切出し」に記載の方法を用いる。
【0011】
そして、ナンバープレート輝度抽出手段3は、ステップS2の処理でナンバープレートが検出できたかを判定し(ステップS3)、検出できている場合は、ナンバープレートの輝度を抽出する(ステップS4)。ナンバープレートには、文字が地の部分より黒っぽい自家用ナンバープレート7と、文字が地の部分より白っぽい業務用ナンバープレート8の2種類あり、この両方に対応する必要がある。このため、輝度抽出の方法としては、例えば、検出したナンバープレート領域内の画素を値の大きい順(白い順)に並べ、上位n%(nはあらかじめ定めた定数)の画素の平均画素値をナンバープレートの輝度とする。
【0012】
次に、車両検出手段4が車両検出を行なう(ステップS5)。車両検出の方法としては、例えば、特開2005−209097号公報に記載の方法を用いる。
なお、ステップS3でナンバープレートが検出でき無かった場合は、ステップS4のナンバープレートの輝度抽出工程を跳ばして、ステップS5に進む。
車両検出の結果、例えば、図4の入力画像9に対しては、車両領域10が得られる。なお、図4のナンバープレート11では、小さな漢字などが消失し、大きな数字もひどくかすれているが、これはカメラの絞りを開きすぎると発生する現象である。このようにカメラの設定がずれてしまうと、ナンバープレートの検出も困難になってしまうが、細い文字線で構成されるナンバープレートに比べ、車体には太いパターンも多いので、車両検出は可能である。
【0013】
その後、車両輝度抽出手段5が、車両前面が検出されたか判定する(ステップS6)。車両を初めて検出した場合、当該車両がカメラの視野内に進入してきたものと判断でき、この時の画像には車両前面の写っている可能性が極めて高い。このため、例えば、一定時間以上車両が検出できなかった後に初めて車両を検出した場合に、車両前面が検出できたと判定する。
【0014】
さらに車両輝度抽出手段5は、ステップS6において車両前面が検出されたと判定した場合、車両前面の輝度を抽出する(ステップS7)。本ステップの動作例を図5で説明すると、所定の大きさ(通常ナンバープレートが写る大きさよりも一回り小さい程度が望ましい)の注目領域12を車両領域10の中に設定し、この中に含まれる画素に対して、ステップS4で説明した輝度抽出処理と同じ処理を行い、得られた輝度を当該位置の輝度とする。そして、この注目領域12を車両領域10内で少しずつずらしながら処理を繰り返し、得られた中で最も大きい(白い)輝度を車両前面輝度とする。このように処理を行うと、仮に車体が黒い車両であっても、注目領域12がナンバープレート位置に来たときには適正な輝度を得ることができる。また、車体が白い車両の場合には、ナンバープレートが隠れているなどの要因でナンバープレート位置の輝度がとれなくても、車体の白い部分で概ね適正な輝度が得られるため、より安定した結果を得ることができる。
【0015】
最後に、カメラ制御手段6は、ナンバープレート輝度と車両前面輝度を用いて、カメラの撮影条件制御を行う(ステップS8)。例えば、目標とする輝度値をあらかじめ定めておき、ナンバープレート輝度が得られていたらこれを目標値と比較し、ナンバープレート輝度が得られておらず車両前面輝度が得られている場合は、車両前面輝度を目標値と比較する。そして、目標値より一定以上小さければ(暗すぎれば)絞りを開く方向に、一定以上大きければ(明るすぎれば)絞りを閉じる方向に制御を行う。
なお、ステップS6において車両前面が検出されなかった時は、ステップS8に進む。
【0016】
この実施の形態では、以上の工程を経ることで、カメラの絞りが適正値から大きくはずれ、ナンバープレートが検出できない状態になった場合でも、車両の通過に伴って補正することが可能となり、早期に適正値に復帰することができる。また、ナンバープレートや車両が明確に検出できたときの輝度情報を用いるため、雨によって路面が濡れる等の情景変化には影響されず、カメラを適正に制御して、鮮明な画像を取得できる。
【0017】
なお、ナンバープレート検出手段2の検出方法として文献(三菱電機技報 Vol.62 No.2 pp.9−12 「ナンバープレート認識技術」)記載の方法を用い、車両検出手段4の検出方法として特許公報記載の方法を用いたが、これは他の方法を使っても良い。また、ナンバープレート輝度や注目領域内の輝度の抽出方法として、画素を値の大きい順に並べて上位n%の平均画素値をとる方法を用いたが、これは、領域内の白い画素の値を取得できる方法であれば、別の方法でもよい。
【0018】
また、車両前面検出の判定方法として、一定時間以上車両が検出できなかった後に初めて車両を検出することを条件とする例で説明したが、これはヘッドライトなど車両前面に存在する特徴的なパターンの有無を判定するような方法を用いてもよい。
さらに、車両輝度抽出手段5が車両前面輝度を抽出する対象領域として、車両検出手段4が検出した車両領域をそのまま用いる例で説明したが、これは路面等の車体以外の部分をできるだけ含まないように、より限定した領域(例えば、車両領域内部の一回り小さい範囲)を対象としてもよい。
【0019】
実施の形態2.
以下、この発明の実施の形態2を図について説明する。概略構成図は図6である。図において、13は路面の輝度を抽出する路面輝度抽出手段である。その他の構成は図1に示す実施の形態1と同様であり説明を省略する。この実施の形態では、実施の形態1で用いたナンバープレート輝度と車両前面輝度に加えて、路面輝度を用いる例を説明する。本実施の形態の処理フローは図7である。
【0020】
まず、この実施の形態2おいても、実施の形態1のステップS1〜S7と同様な動作を行う。すなわち、カメラ1が画像を入力し(ステップT1)、ナンバープレート検出手段2がナンバープレートの検出処理を行って(ステップT2)、ナンバープレートが検出できれば(ステップT3)、ナンバープレート輝度抽出手段3がナンバープレートの輝度を抽出する(ステップT4)。続いて、車両検出手段4が車両検出を行ない(ステップT5)、車両が検出できれば(ステップT6)、車両輝度抽出手段5が車両前面の輝度を抽出する(ステップT7)。
なお、ステップT3でナンバープレートが検出でき無かった場合は、実施の形態1と同様にステップT4のナンバープレートの輝度抽出工程を跳ばして、ステップT5に進む。
【0021】
その後、路面輝度抽出手段13が、路面輝度の抽出を行う(ステップT8)。例えば、入力画像中で路面が占める領域をあらかじめ定めておき、この領域の平均画素値をとって路面輝度とする。本実施の形態では、過去の路面輝度抽出値を参照できるよう、路面輝度は常に保存しておくものとする。なお、ステップT6において車両前面が検出されなかった時は、ステップT8に進む。
【0022】
そして、最後にカメラ制御手段6は、ナンバープレート輝度と車両前面輝度と路面輝度を用いて、カメラの撮影条件の制御を行う(ステップT9)。例えば、ナンバープレート輝度と車両輝度のどちらかが得られていたら、実施の形態1と同様のカメラ制御を行うと共に、所定時間だけ過去(車両進入直前)の路面輝度を比較対象値として保存しておく。そして、一定時間以上ナンバープレート輝度も車両輝度も得られなかった場合には、抽出した路面輝度を前記の比較対象値と比べて、一定以上小さければ(路面輝度保存時より暗くなったら)絞りを開く方向に、一定以上大きければ(路面輝度保存時より明るくなっていたら)絞りを閉じる方向に制御を行う。
【0023】
この実施の形態では、以上の工程を経ることで、車両が通過しない場合でも明るさの変化に追随できる制御が行える一方、絞り値が望ましい値から大きくはずれることを防止できる。なお、路面輝度の抽出方法として、入力画像中のあらかじめ定めた領域の平均輝度をとる方法で説明したが、これは、ナンバープレート輝度の抽出で用いている、対象領域内の画素の中から所定割合の白いものを選択して平均画素値を求める方法など、別の方法を用いてもよい。
【0024】
実施の形態3.
以下、この発明の実施の形態3を図について説明する。概略構成図は図8である。図において14はフロントガラスを検出すると共にその輝度情報を抽出するフロントガラス検出・輝度抽出手段である。その他の構成は図6に示す実施の形態2と同様であり説明を省略する。
次に動作を図により説明する。図9が本実施の形態の処理フロー図である。ここでは図10を用いて動作を説明する。図10はフロントガラス検出の例を示す図であり、15は入力画像、16〜19はフロントガラスの上下左右における境界エッジである。
【0025】
まず、実施の形態2のステップT1〜T8と同様な動作を行う。すなわち、カメラ1が画像を入力し(ステップU1)、ナンバープレート検出手段2がナンバープレートの検出処理を行って(ステップU2)、ナンバープレートが検出できれば(ステップU3)、ナンバープレート輝度抽出手段3がナンバープレートの輝度を抽出する(ステップU4)。続いて、車両検出手段4が車両検出を行ない(ステップU5)、車両が検出できれば(ステップU6)、車両輝度抽出手段5が車両前面の輝度を抽出する(ステップU7)。そして、路面輝度抽出手段13が、路面輝度の抽出を行う(ステップU8)。
なお、ステップU3でナンバープレートが検出でき無かった場合は、ステップU5に進み、ステップU6で車両前面が検出されなかった時は、ステップU8に進む。
【0026】
その後、フロントガラス検出・輝度抽出手段14は、入力画像からフロントガラスの検出を行う(ステップU9)。検出方法としては、例えば、入力画像から所定範囲の長さを持つ水平エッジと垂直エッジを検出し、それぞれ2本ずつを組み合わせて構成される領域の大きさを求め、これが所定範囲内であれば、当該領域をフロントガラスとする。図10の例では、入力画像15から水平エッジ16,17と垂直エッジ18,19を境界とする領域がフロントガラスとして検出される。なお、入力画像中にフロントガラスが含まれるのは、ステップU6で車両前面ありと判定された時点か、その直後の一定時間内となるので、これを条件として、ステップU9の動作を行うか否か決定するようにしてもよい。
【0027】
さらにフロントガラス検出・輝度抽出手段14は、ステップU9でフロントガラスが検出された場合(ステップU10)、フロントガラス部分の輝度を抽出する(ステップU11)。例えば、フロントガラスとして検出した領域の平均輝度を計算し、これをフロントガラス部分の輝度とする。
【0028】
最後にカメラ制御手段6は、ナンバープレート輝度と車両前面輝度と路面輝度とフロントガラスの輝度を用いて、カメラの撮影条件の制御を行う(ステップU12)。例えば、実施の形態2と同様に手順でナンバープレート輝度と車両前面輝度と路面輝度から絞り変化の有無を決定し、この処理で絞り変化不要と判断された場合に、フロントガラスの輝度をあらかじめ定めた目標値と比較し、目標値より一定以上小さければ絞りを開く方向に、一定以上大きければ絞りを閉じる方向に制御を行う。
なお、ステップU10でフロントガラスが検出されなかった場合ステップU12に進む。
【0029】
この実施の形態では、以上の工程を経ることで、車両前面とフロントガラス部分の両方が鮮明な画像を取得することができる。なお、本実施の形態では、フロントガラスを4本のエッジの組合せで求め、これを境界とする領域の平均輝度をフロントガラスの輝度とする例で説明したが、これはフロントガラス部分の輝度を抽出または推定できる方法であれば、別の方法でもよい。また、カメラの制御において、ナンバープレート輝度と車両前面輝度と路面輝度の三者をフロントガラスの輝度よりも優先させる形態としたが、これはフロントガラスの輝度の方を優先させるようにしてもよい。
【0030】
実施の形態4.
以下、この発明の実施の形態4を図について説明する。概略構成図は実施の形態2と同様に図6であり説明を省略するが、本実施の形態では実施の形態2とカメラ制御手段6の動作が異なる。図11が本実施の形態の処理フロー図である。
【0031】
まず、実施の形態2のステップT1〜T8と同様な動作を行う。すなわち、カメラ1が画像を入力し(ステップV1)、ナンバープレート検出手段2がナンバープレートの検出処理を行って(ステップV2)、ナンバープレートが検出できれば(ステップV3)、ナンバープレート輝度抽出手段3がナンバープレートの輝度を抽出する(ステップV4)。続いて、車両検出手段4が車両検出を行ない(ステップV5)、車両が検出できれば(ステップV6)、車両輝度抽出手段5が車両前面の輝度を抽出する(ステップV7)。そして、路面輝度抽出手段13が、路面輝度の抽出を行う(ステップV8)。本実施の形態では、過去の路面輝度抽出値を参照できるよう、路面輝度は常に保存しておくものとする。
なお、ステップV3でナンバープレートが検出でき無かった場合は、ステップV5に進み、ステップV6で車両前面が検出されなかった時は、ステップV8に進む。
【0032】
その後、カメラ制御手段6は、ナンバープレート輝度または車両前面輝度と、路面輝度を比較して、逆光判定を行う(ステップV9)。例えば、ナンバープレート輝度が得られている場合は、その値と、所定時間だけ過去の路面輝度(車両に路面が隠される前に取得した値)とを比較し、路面輝度に比べてナンバープレート輝度が一定以上小さい(暗い)場合に逆光と判定する。ナンバープレート輝度が得られず、車両前面輝度が得られている場合は、ナンバープレート輝度の代わりに車両前面輝度を用い、同じ判定処理を行う。なお、この輝度比較によって逆光と判定した場合、その後の所定時間は逆光状態にあるものと見なす。
【0033】
最後に、カメラ制御手段6は、ナンバープレート輝度と車両前面輝度と路面輝度の各輝度情報と、逆光情報に基づいて、カメラの制御を行う(ステップV10)。例えば、実施の形態3と同様に、ナンバープレート輝度と車両輝度のどちらかが得られていた場合は、これを目標値と比較して一定以上小さければ絞りを開く方向に、一定以上大きければ閉じる方向に制御を行い、ナンバープレート輝度も車両輝度も得られなかった場合には、抽出した路面輝度を比較対象値と比べて、一定以上小さければ絞りを開く方向に、一定以上大きければ閉じる方向に制御を行うが、この“一定以上大きい・小さい”を判定するための閾値を、逆光状態と非逆光状態で切り替えるものとする。逆光状態では、路面輝度に比べて車両前面の輝度はかなり小さいため、例えば、路面が若干暗くなっても、絞りは非逆光状態に比べてあまり閉じないような閾値とする。
【0034】
この実施の形態では、以上の工程を経ることで、逆光になってしまった場合でも、鮮明な画像を取得し続けることができる。
【0035】
なお、実施の形態1〜4では、カメラ制御の方法として、絞りを変える例を説明したが、これはシャッタ速度を切り替える、あるいは、絞りとシャッタ速度の両者を切り替える制御を行ってもよい。シャッタ速度は、遅くすると明るい画像が得られ、速くすると暗い画像が得られるため、絞りを変える場合と同等な制御が可能である。また、絞りを変える方法として、得られた輝度を目標値や過去の値と比較することで、絞りを開いたり閉じたりする例を説明したが、これは、輝度の値ごとにあらかじめ定義された処理を実行するなど、別の方法を用いても良い。また、絞り制御における判定(絞りを開く、閉じる、維持する、のどれにするかの判定)や逆光判定について、一度の判定結果に基づいて対応する処理を行う(絞りを開く・閉じる、閾値を切り替える)例を説明したが、これは、例えば複数回連続して同じ判定結果が得られたら対応する処理を行うような動作としてもよい。この場合、条件変化への追随速度は若干低下するが、一時的な誤判定に影響されない安定した動作が行える。
【産業上の利用可能性】
【0036】
この発明による車両撮像装置は、車両のナンバープレート文字を読み取る装置に適用され利用可能である。
【図面の簡単な説明】
【0037】
【図1】この発明の実施の形態1を示す概略構成図である。
【図2】実施の形態1における処理フロー図である。
【図3】ナンバープレートの例を示す説明図である。
【図4】車両検出結果の例を示す説明図である。
【図5】車両輝度抽出手段の動作説明用の図である。
【図6】この発明の実施の形態2における概略構成図である。
【図7】実施の形態2における処理フロー図である。
【図8】この発明の実施の形態3における概略構成図である。
【図9】実施の形態3における処理フロー図である。
【図10】フロントガラス検出例を示す説明図である。
【図11】実施の形態4における処理フロー図である。
【符号の説明】
【0038】
1;カメラ、2;ナンバープレート検出手段、3;ナンバープレート輝度抽出手段、4;車両検出手段、5;車両輝度抽出手段、6;カメラ制御手段、13;路面輝度抽出手段、14;フロントガラス検出・輝度抽出手段。
【特許請求の範囲】
【請求項1】
撮影して撮影画像を入力するカメラと、入力画像から車両のナンバープレートを検出するナンバープレート検出手段と、検出したナンバープレートの画像領域から輝度情報を抽出するナンバープレート輝度抽出手段と、入力画像から車両を検出する車両検出手段と、検出した車両の画像領域から輝度情報を抽出する車両輝度抽出手段と、前記ナンバープレート輝度抽出手段の抽出した輝度情報と前記車両輝度抽出手段の抽出した輝度情報の両者を用いてカメラの撮影条件の制御を行うカメラ制御手段とを備えた車両撮像装置。
【請求項2】
入力画像の路面の画像領域から輝度情報を抽出する路面輝度抽出手段をさらに備え、前記カメラ制御手段は、ナンバープレート輝度抽出手段の抽出した輝度情報と車両輝度抽出手段の抽出した輝度情報と路面輝度抽出手段の抽出した輝度情報を用いてカメラの撮影条件の制御を行うことを特徴とする請求項1記載の車両撮像装置。
【請求項3】
入力画像から車両のフロントガラスを検出すると共にその輝度情報を抽出するフロントガラス検出・輝度抽出手段をさらに備え、前記カメラ制御手段は、ナンバープレート輝度抽出手段の抽出した輝度情報と車両輝度抽出手段の抽出した輝度情報とフロントガラス検出・輝度抽出手段の抽出した輝度情報を用いてカメラの撮影条件の制御を行うことを特徴とする請求項1記載の車両撮像装置。
【請求項4】
前記カメラ制御手段は、ナンバープレート輝度抽出手段の抽出した輝度情報または車両輝度抽出手段の抽出した輝度情報と、路面輝度抽出手段の抽出した輝度情報を用いて逆光状態の判定を行い、この判定結果に基づいてカメラの撮影条件の制御を行うことを特徴とする請求項2記載の車両撮像装置。
【請求項1】
撮影して撮影画像を入力するカメラと、入力画像から車両のナンバープレートを検出するナンバープレート検出手段と、検出したナンバープレートの画像領域から輝度情報を抽出するナンバープレート輝度抽出手段と、入力画像から車両を検出する車両検出手段と、検出した車両の画像領域から輝度情報を抽出する車両輝度抽出手段と、前記ナンバープレート輝度抽出手段の抽出した輝度情報と前記車両輝度抽出手段の抽出した輝度情報の両者を用いてカメラの撮影条件の制御を行うカメラ制御手段とを備えた車両撮像装置。
【請求項2】
入力画像の路面の画像領域から輝度情報を抽出する路面輝度抽出手段をさらに備え、前記カメラ制御手段は、ナンバープレート輝度抽出手段の抽出した輝度情報と車両輝度抽出手段の抽出した輝度情報と路面輝度抽出手段の抽出した輝度情報を用いてカメラの撮影条件の制御を行うことを特徴とする請求項1記載の車両撮像装置。
【請求項3】
入力画像から車両のフロントガラスを検出すると共にその輝度情報を抽出するフロントガラス検出・輝度抽出手段をさらに備え、前記カメラ制御手段は、ナンバープレート輝度抽出手段の抽出した輝度情報と車両輝度抽出手段の抽出した輝度情報とフロントガラス検出・輝度抽出手段の抽出した輝度情報を用いてカメラの撮影条件の制御を行うことを特徴とする請求項1記載の車両撮像装置。
【請求項4】
前記カメラ制御手段は、ナンバープレート輝度抽出手段の抽出した輝度情報または車両輝度抽出手段の抽出した輝度情報と、路面輝度抽出手段の抽出した輝度情報を用いて逆光状態の判定を行い、この判定結果に基づいてカメラの撮影条件の制御を行うことを特徴とする請求項2記載の車両撮像装置。
【図1】
【図2】
【図3】
【図4】
【図5】
【図6】
【図7】
【図8】
【図9】
【図10】
【図11】
【図2】
【図3】
【図4】
【図5】
【図6】
【図7】
【図8】
【図9】
【図10】
【図11】
【公開番号】特開2009−212810(P2009−212810A)
【公開日】平成21年9月17日(2009.9.17)
【国際特許分類】
【出願番号】特願2008−53624(P2008−53624)
【出願日】平成20年3月4日(2008.3.4)
【出願人】(000006013)三菱電機株式会社 (33,312)
【Fターム(参考)】
【公開日】平成21年9月17日(2009.9.17)
【国際特許分類】
【出願日】平成20年3月4日(2008.3.4)
【出願人】(000006013)三菱電機株式会社 (33,312)
【Fターム(参考)】
[ Back to top ]