車両判別装置及び方法
【課題】車両に付けられているエンブレムを検出して識別することにより、車両を判別する。
【解決手段】カメラ２により、道路を撮影し、前記カメラで撮影した画像内に車両が検出された場合に（Ｓ１）、その車両の範囲を抽出し（Ｓ３）、１又は複数のテンプレートを用意して、その車両の範囲内に存在するエンブレムを探索し、前記探索の結果、特定の種類のエンブレムが照合されたときに（Ｓ４）、その照合されたエンブレムに基づいて、当該車両を判別する（Ｓ５）。
【解決手段】カメラ２により、道路を撮影し、前記カメラで撮影した画像内に車両が検出された場合に（Ｓ１）、その車両の範囲を抽出し（Ｓ３）、１又は複数のテンプレートを用意して、その車両の範囲内に存在するエンブレムを探索し、前記探索の結果、特定の種類のエンブレムが照合されたときに（Ｓ４）、その照合されたエンブレムに基づいて、当該車両を判別する（Ｓ５）。
【発明の詳細な説明】
【技術分野】
【０００１】
本発明は、車両に付いているエンブレムを認識することによって、車両を判別する機能を持った、車両判別装置及び方法に関するものである。この車両判別装置は、犯罪捜査向けのＡＶＩ(Automatic Vehicle Identification)装置などに用いられる。
【背景技術】
【０００２】
事故対応や犯罪捜査のために、詳細な車両情報の提供が求められている。車両情報として、ナンバープレートの番号（車番という）がある。道路にカメラを設置して、走行車両の車番を読み取る装置は多く開発されているが、日射条件や天候などの影響で、番号認識を誤ることがあり、常に車番読み取り装置に頼るわけにはいかない。
一方、目撃者の情報は、車番よりも、通称名（製造業者が車式／車型とは別に付与した通称名のことをいう（ニックネームの類を含む））であることが多い。
【特許文献１】特開平４−３５４１００号公報
【非特許文献１】「多値テンプレートマッチングを用いたナンバープレート認識法−雑音抑制フィルタと文字配置規則の効果的利用」大塚ほか,電子情報通信学会論文誌,D-II,Vol.J87-D-II,No.7,pp.1451-1461(2004年7月)
【発明の開示】
【発明が解決しようとする課題】
【０００３】
そこで、通称名に直接結び付く車両情報を自動的に検出できる装置があれば、目撃者の情報との照合ができる。したがって、車番の一部しか読み取れなくても、効率よく対象となる車両候補の絞り込み（リストアップ）ができる。
本発明者は、車両に付けられているエンブレムに注目した。
本発明の目的は、車両に付けられているエンブレムを検出して識別することにより、車両を判別することができる車両判別装置及び方法を提供することにある。
【課題を解決するための手段】
【０００４】
本発明の車両判別装置は、カメラにより、車両が移動する場所を撮影し、前記カメラで撮影した画像内に車両が存在するかどうかを検出し、画像内に車両が検出された場合に、その車両の範囲を抽出し、１又は複数のテンプレートを用意して、その車両の範囲内に存在するエンブレムを探索し、前記探索の結果、特定の種類のエンブレムが照合されたときに、その照合されたエンブレムに基づいて、当該車両のメーカー、通称名、車式／車型、車種、あるいは特定のグレードを判別する装置である（請求項１）。
【０００５】
ここで、エンブレムについて述べる。エンブレムとは、広くは、『デザインされた装飾品』のような意味で用いられるが、本明細書では、「自動車のメーカー、通称名、車式／車型、車種、あるいは特定のグレードのためにデザインされたマーク」のことを指す。車式／車型とは「自動車を識別するために、その製造業者などが体系的に定めた記号等」をいう。車種とは、普通自動車、小型自動車、軽自動車などの区別をいう。グレードとは、メーカーが、販促やブランドイメージなどのために、メーカー独自に行った分類、または、その分類にあたる車種／車式のことである。
【０００６】
エンブレムには、ボンネット上に印刷されたものや図柄を透明板で加工したもの以外に、立体的に成形されたものもある。それらは、角度によって、エンブレム自身の起伏による影や、遮蔽されるエンブレム中の部分が変化することがある。
エンブレムの例として、輸入車のあるメーカーを表すスリーポインテッドスターや、日本車のあるメーカーを表す「Ｈ」のマーク、日本車のある通称名もしくは車式／車型を表す「Ｃ」のマークなどがあげられる。
【０００７】
この装置によれば、あらかじめ用意したテンプレートを用いて、車両の範囲内に存在するエンブレムを探索し、前記探索の結果、そのテンプレートに一致するエンブレムが照合されたときに、その照合されたエンブレムに基づいて、メーカー名、通称名、車式／車型、車種などを特定することができる。テンプレートを用いるとよいのは、通常使用されるエンブレムの形状は有限であるからである。テンプレートには、立体的なエンブレムに合わせて、立体的な起伏のデータを持たせておいてもよい。
【０００８】
特に、マイナーチェンジなど世代が変わると、通称名は変わらないが、車式／車型と共にエンブレムが変わる可能性があるので、エンブレムと通称名と車式／車型との対応テーブルを持てば、通称名の入力からエンブレム検索によって対象車両の絞り込みができる。
したがって、目撃者の情報に近い条件検索がしやすくなり、効率よく対象となる車両候補の絞り込み（リストアップ）ができる。
【０００９】
前記エンブレムが探索される車両の範囲は、フロントマスクもしくはボンネットまたはリアマスクとすればよい。通常、この範囲にエンブレムが付されているからである（請求項２）。
前記エンブレムとテンプレートとの照合に、パターン・マッチングの手法を用いることが有効である（請求項３）。
【００１０】
本発明の車両判別装置は、検出した車両の車番を読み取る車番読み取り手段をさらに備えるものであってもよい（請求項４）。この場合、車両判別装置は、車番読み取り装置としても機能する。
この車番読み取り手段をさらに備えることにより、車番を構成する一部、あるいは全部の番号や文字が認識できなくても、判別した「当該車両のメーカー、通称名、車式／車型、車種、あるいは特定のグレード」から目的の車両の車番を特定できる可能性がある（請求項５）。
【００１１】
また、本発明の車両判別方法は、請求項１記載の発明と同一発明にかかる方法である（請求項６）。
【発明を実施するための最良の形態】
【００１２】
以下、本発明の実施の形態を、添付図面を参照しながら詳細に説明する。
図１は、道路を走行する車両のエンブレムを検出するための本発明の車両判別装置の構成図を示す。
道路上方から道路面を俯瞰するように、カメラ２を所定の高さに設置している。カメラ２の視野範囲５は、道路の一つの車線上にある。
【００１３】
カメラ２の撮影画像は、映像ケーブル３を通して計測装置４に入力される。計測装置４は、通信手段を持ち、計測結果を遠隔地の処理センターに提供することができる。
図２に、カメラ２で撮影した撮影画像の例を示す。
カメラ２の視野範囲５は、図２のように車両のフロントマスク（ヘッドライトなどが装備されている車両の前面のこと）又はボンネットにマークされているエンブレムを探索できるような大きさの視野（左右方向２〜３ｍ、上下方向２〜３ｍ程度）とする。
【００１４】
なお、カメラ２を反対方向に向けて、走行する車両のリアマスク（テールライトなどが装備されている車両の後面のこと）を撮影するという実施形態をとることもできる。
図３は、計測装置４の構成例を示す図である。
計測装置４は、カメラ２の画像を取り込んで２次元写像変換し、カメラ２の画面内でエンブレム検出用の計測範囲をスキャンしてテンプレートとのパターン・マッチングを行い、エンブレムを特定する等の演算処理を実行する。
【００１５】
計測装置４は、図３に示すように、画像入力部４１、Ａ／Ｄ変換部４２、画像メモリ４３、演算部４４、通信部４５を有する。
画像入力部４１は、カメラ２の画像を取り込むためのインターフェイスを提供する。Ａ／Ｄ変換部４２は、画像信号をデジタル変換する。画像メモリ４３は、デジタル変換した画像データを一時的に格納する。演算部４４は、２次元写像変換、テンプレートとのパターン・マッチング、エンブレムの特定等の演算処理を実行する。通信部４５は、処理センター等との通信を行って、エンブレムの情報を伝える。
【００１６】
また、詳しい構成は説明しないが、演算部４４は、公知の車番読み取り機能（特開平03-265999号公報、特開平03-276069号公報、特開平03-276379号公報など参照）も備えており、通信部４５は、読み取った車番の情報を処理センター等に伝える。
なお、前記カメラ２と前記計測装置４は一体型としても良い。
図４は、計測装置４の行う車両判別処理方法を示すフローチャートである。
【００１７】
演算部４４は、画像入力部４１を通して画像を取り込み、画像メモリ４３に記憶させる。画像の取り込み間隔は、例えば１秒間に３０枚とする。
まず、画面の中に車両が存在するかどうかを検出する（ステップＳ１）。
この検出方法は、例えば、予め車両が存在しない場合の路面画像（以下、背景画像と呼ぶ）を作成しておき、取り込んだ画像（以下、入力画像と呼ぶ）との明るさの差を算出し、閾値以上の変化が検出された場合を車両有りとし、閾値以下の変化の場合は車両なしとする。
【００１８】
あるいは、路面模様の明るさ変化のある部分（以下、エッジと呼ぶ）の位置を予め記憶しておき、入力画像についてもエッジを算出し、それらのエッジの鋭さの差を算出し、閾値以上の差が検出された場合を車両有りとし、閾値以下の変化の場合は車両なしとすることもできる。
車両ありと判定された場合、公知の方法で車番の読み取りを行う（ステップＳ２）。
【００１９】
次に、エンブレム探索範囲の決定を行う（ステップＳ３）。
エンブレム探索範囲の決定は、次のようにして行う。
まず、画素ごとに、前時刻と現時刻の明るさの差を算出し、その差が閾値以上ある場合、時間差分変化ありとする。これは、路面標示等の動かない路面のエッジを消すためである。
【００２０】
次に、時間差分変化ありの画素について、水平エッジの有無を算出する。これは例えば、注目画素及びその周辺画素の画素に対して、空間フィルタ処理を行えばよい。
次に、時間差分変化があり、水平エッジを構成する画素に対して、好ましくは細線化処理をする。これは、近接するエッジを除去し、特徴ラインを抽出しやすくするための処理である。例えば、Hilditchの細線化アルゴリズム（「画像の処理と認識」、安居院他、昭晃堂参照）を用いて、水平エッジ画像を細線化する。
【００２１】
次に、この画面の水平方向に水平エッジ数を算出して、車両走行方向に沿って、ヒストグラムをつくる。
このヒストグラムに基づいて、水平エッジの始まるラインを抽出する。これは、その水平ラインの上下に隣接する水平ラインと比較して閾値以上大きくなるラインを抽出する。これで車頭が検出できたことになる。
【００２２】
この車頭の位置から所定画素数までの範囲を切り取る。この範囲は、フロントマスク又はボンネットの範囲とほぼ一致するように、前記「所定画素数」を決めておく。
次に、前記フロントマスク又はボンネットの範囲の中からエンブレムを探索する。しかし、前記フロントマスク又はボンネットの範囲は、エンブレムを一度に探索するには広すぎるので、このフロントマスク又はボンネットの範囲の中から所定の大きさの部分を選択し、この「所定の大きさ」は、後述するテンプレート画面の大きさと一致するように設定する。これを「エンブレム探索範囲」とする。
【００２３】
このエンブレム探索範囲を、上下左右にわたって移動させながら、用意したテンプレートに基づいてエンブレムの照合を行う（ステップＳ４）。
この処理を、図５に基づいて詳しく説明する。
図５は、エンブレムの照合処理を説明するための詳細フローチャートである。まず、現存する車両のメーカー、車両の通称名、車式／車型、車種、あるいは特定のグレード（以下代表して「車式／車型」という）に対応するエンブレムのテンプレートを用意する（ステップＴ１）。
【００２４】
次に、エンブレム探索範囲の画面に対して２次元写像変換処理（アフィン変換）を行う（ステップＴ２）。この処理は、実空間上の３次元座標を、２次元画面の座標に対応させるための座標変換処理である。
車両のフロントマスク又はボンネットに取り付けられているエンブレムに対して、できるだけ正対した角度で観察できる画面となるように座標変換を行う。
【００２５】
なお、カメラに対する車両の進行角度や大きさにあわせて、マッチングするテンプレート自身を変形させても同様の効果が得られる
例えば、平面的なエンブレムがボンネットに取り付けられている場合、車両の正面を斜め上から見下ろすような角度を選ぶことが適切である。また、立体的なエンブレムがボンネットに取り付けられている場合であれば車両を正面から水平に見る角度が適切である。これにより、画面に写ったエンブレムの実空間上での形が正確に把握できるようになる。そこで、実際には、複数の角度を設定して、それぞれの角度に対応した複数の画面を取得することが好ましい。
【００２６】
次に、エンブレム探索範囲の画面に対して、各テンプレート・エンブレムを当てはめて、もっとも形の似ているエンブレムを認識する。このため、本発明の実施の形態では、パターン・マッチングの手法により、どのエンブレムが似ているかを判定する。
パターン・マッチングには、パターンを上下左右に動かして両パターンの重ね合わせの残差が最小になるようにする残差マッチング法、後述する正規化相関法、両パターンをフーリエ変換しフーリエ変換面で位相限定処理を行い、マッチング点を算出するマッチドフィルタ法、隣接輝度値の増分の一致度合に基づく増分符号相関法、両パターンに複数の雑音抑制処理を行って相関係数が最も大きくなる点を求めるＬＤＭ相関法などの手法が知られている。上記以外にも、幾何マッチング法、ベクトル相関法、一般化ハフ変換など図形の幾何学的な特徴を利用した方法がある。さらに輝度勾配情報を用いたエッジスピン相関法(F.Saitou)も提案されている。
【００２７】
本発明の実施の形態では、上記のうち、正規化相関法を例にする。
エンブレム探索範囲中のエンブレムを含む画像（入力画像という）と、テンプレート・エンブレムとの正規化相関係数Ｎcrは、次の(1)式で表される。ここで、入力画像の画素、テンプレートの画素をあらわす添え字をｉとする。
【００２８】
【数１】
【００２９】
総和Σは、テンプレートについては、テンプレート画面全体にわたってとる。入力画像については、エンブレム探索範囲にわたってとる（前述したように、両者は同じ大きさである）。
エンブレム探索範囲は、フロントマスク又はボンネットの範囲の中を上下左右に移動させる。正規化相関係数Ｎcrは、エンブレム探索範囲の位置ごとに求まることになる。
【００３０】
なお、画像の輝度ｘ，ｙは0〜255の限られた範囲の値をとる。
前記相関係数Ｎcrは、値が１に近いほど入力画像とテンプレートとで相関があることを意味し、値が小さくなるほど相関がない。値が小さければ、入力画像はテンプレートと異なるパターンであるということになる。
一般的な相関係数の目安として以下の（ａ）〜（ｃ）ように考えられる。
【００３１】
（ａ）1.0〜0.8・・・強い相関がある
（ｂ）0.8〜0.6・・・相関がある可能性がある
（ｃ）0.6〜0.0・・・相関がない
なお、正規化相関を計算する前に、次のような前処理を行っておくことが望ましい。
正規化相関法は、局所的な輝度変化に弱いことが知られている。局所的な輝度変化に対しては、正規化相関係数を求める前に、入力画像のノイズ除去やコントラストの補正を行うことが有効である。例えば、 低コントラストの状況下でも安定した精度が保つことができるようにするためには、対数変換を行って、低コントラスト部分を補正しておけば効果があるといわれている。
【００３２】
対数変換による補正式は、以下の式で表される。
【００３３】
【数２】
【００３４】
対数変換を行うと、変換前の入力画像の輝度の低い部分の輝度値も、高い部分の輝度値も、ともに上昇するが、入力画像の輝度値が低いところで、特に、輝度は大幅に上昇する。
この対数変換の様子を図６のグラフに示す。図６では、変換前の入力画像の最大輝度が150,250の場合の、変換曲線をそれぞれ示している。
【００３５】
図７のグラフは、テンプレートの輝度と入力画像との輝度との対応を対数変換前後でプロットした一例を示す。このグラフからわかるように、対数変換後の方が、両画像の輝度の分布が近づいており、入力画像のエンブレムとテンプレートのエンブレムとの相関が高くなっていることがわかる。さらに、対数変換後に微分処理を施すと、得られた値は反射率と反射率の勾配の比に近似するので、影によるノイズ低減可能なことがＬＤＭ法の論文［非特許文献１］に示されている。
【００３６】
以上のような相関演算の結果、最も大きな相関係数の値が得られたエンブレムと、その場合のエンブレム探索範囲の位置（マッチング位置）が求まる（ステップＴ４）。
以上の処理では、１つのテンプレートを用いて、入力画像との相関を求めたので、次にテンプレートを変えていって同じ処理を行う（ステップＴ５）。
用意した全てのテンプレートについて照合が終われば、各テンプレートのうち、一番大きな相関係数が得られたテンプレートを特定し、そのときのエンブレム探索範囲（マッチング位置）を特定する（ステップＴ６）。
【００３７】
これにより、当該車両のエンブレムを特定することができるので、当該車両のメーカー名、エンブレムが通称名に対応したものであれば通称名、エンブレムが車式／車型に対応したものであれば車式／車型を割り出すことができる（ステップＳ５，Ｓ６）。
実際、車式／車型、又はグレードのわかっている車両について、その車式／車型、又はグレードのエンブレムのテンプレートと、間違ったテンプレートとを適用して、それぞれ相関係数を求めた。その結果、正しいテンプレートでは相関係数は０．９１となり、マッチングした。間違ったテンプレートでは相関係数は０．４５となり、マッチングしなかった。しかも、間違ったケースでは、エンブレム探索範囲の位置は、ヘッドライトやフロントグリルの位置であった。これは、画面に写ったヘッドライトやフロントグリルの輝きをエンブレムと誤認したことによる。
【００３８】
次に、車式／車型の情報とステップＳ２で読み取った車番情報との連係機能について説明する。
読み取った車番情報から、一部、あるいは全部の番号や文字が認識できなくても、判別した「車式／車型」の情報を用いて、車番が特定できることがある。
例えば、車番情報を構成する数字や文字の一部が特定できない場合、公的な登録機関に登録されている登録車番情報を参照すれば、判別した「車式／車型」から、数字や文字が特定できることがある。
【００３９】
また、登録車番情報を参照しなくても、車番情報のうち、車種に関わる数字（例えば大型車を表す１、普通車を表す３など）が不明であった場合、エンブレムから車式／車型が特定できれば、その不明の数字を絞り込めることがある。例えば、大型車を製造していないメーカーであることが分かった場合、大型車を表す数字でないことが判明する。
以上で、本発明の実施の形態を説明したが、本発明の実施は、前記の形態に限定されるものではなく、本発明の範囲内で種々の変更を施すことが可能である。例えば今までの説明では、本発明の車両判別装置は、地上に設置されていたが、車両に搭載して、当該車両の前後を走行する他車両の判別を行うようにしてもよい。
【図面の簡単な説明】
【００４０】
【図１】車両判別装置の構成図である。
【図２】撮影画像例を示す図である。
【図３】計測装置４の構成例を示すブロック図である。
【図４】車両判別方法を示すフローチャートである。
【図５】エンブレムの照合処理を説明するための詳細フローチャートである。
【図６】対数変換曲線を示すグラフである。
【図７】テンプレートの輝度と入力画像との輝度との対応を対数変換前後でプロットした一例を示すグラフである。
【符号の説明】
【００４１】
２ カメラ
３ 映像ケーブル
４ 計測装置
５ カメラの視野範囲
４１ 画像入力部
４２ Ａ／Ｄ変換部
４３ 画像メモリ
４４ 演算部
４５ 通信部
【技術分野】
【０００１】
本発明は、車両に付いているエンブレムを認識することによって、車両を判別する機能を持った、車両判別装置及び方法に関するものである。この車両判別装置は、犯罪捜査向けのＡＶＩ(Automatic Vehicle Identification)装置などに用いられる。
【背景技術】
【０００２】
事故対応や犯罪捜査のために、詳細な車両情報の提供が求められている。車両情報として、ナンバープレートの番号（車番という）がある。道路にカメラを設置して、走行車両の車番を読み取る装置は多く開発されているが、日射条件や天候などの影響で、番号認識を誤ることがあり、常に車番読み取り装置に頼るわけにはいかない。
一方、目撃者の情報は、車番よりも、通称名（製造業者が車式／車型とは別に付与した通称名のことをいう（ニックネームの類を含む））であることが多い。
【特許文献１】特開平４−３５４１００号公報
【非特許文献１】「多値テンプレートマッチングを用いたナンバープレート認識法−雑音抑制フィルタと文字配置規則の効果的利用」大塚ほか,電子情報通信学会論文誌,D-II,Vol.J87-D-II,No.7,pp.1451-1461(2004年7月)
【発明の開示】
【発明が解決しようとする課題】
【０００３】
そこで、通称名に直接結び付く車両情報を自動的に検出できる装置があれば、目撃者の情報との照合ができる。したがって、車番の一部しか読み取れなくても、効率よく対象となる車両候補の絞り込み（リストアップ）ができる。
本発明者は、車両に付けられているエンブレムに注目した。
本発明の目的は、車両に付けられているエンブレムを検出して識別することにより、車両を判別することができる車両判別装置及び方法を提供することにある。
【課題を解決するための手段】
【０００４】
本発明の車両判別装置は、カメラにより、車両が移動する場所を撮影し、前記カメラで撮影した画像内に車両が存在するかどうかを検出し、画像内に車両が検出された場合に、その車両の範囲を抽出し、１又は複数のテンプレートを用意して、その車両の範囲内に存在するエンブレムを探索し、前記探索の結果、特定の種類のエンブレムが照合されたときに、その照合されたエンブレムに基づいて、当該車両のメーカー、通称名、車式／車型、車種、あるいは特定のグレードを判別する装置である（請求項１）。
【０００５】
ここで、エンブレムについて述べる。エンブレムとは、広くは、『デザインされた装飾品』のような意味で用いられるが、本明細書では、「自動車のメーカー、通称名、車式／車型、車種、あるいは特定のグレードのためにデザインされたマーク」のことを指す。車式／車型とは「自動車を識別するために、その製造業者などが体系的に定めた記号等」をいう。車種とは、普通自動車、小型自動車、軽自動車などの区別をいう。グレードとは、メーカーが、販促やブランドイメージなどのために、メーカー独自に行った分類、または、その分類にあたる車種／車式のことである。
【０００６】
エンブレムには、ボンネット上に印刷されたものや図柄を透明板で加工したもの以外に、立体的に成形されたものもある。それらは、角度によって、エンブレム自身の起伏による影や、遮蔽されるエンブレム中の部分が変化することがある。
エンブレムの例として、輸入車のあるメーカーを表すスリーポインテッドスターや、日本車のあるメーカーを表す「Ｈ」のマーク、日本車のある通称名もしくは車式／車型を表す「Ｃ」のマークなどがあげられる。
【０００７】
この装置によれば、あらかじめ用意したテンプレートを用いて、車両の範囲内に存在するエンブレムを探索し、前記探索の結果、そのテンプレートに一致するエンブレムが照合されたときに、その照合されたエンブレムに基づいて、メーカー名、通称名、車式／車型、車種などを特定することができる。テンプレートを用いるとよいのは、通常使用されるエンブレムの形状は有限であるからである。テンプレートには、立体的なエンブレムに合わせて、立体的な起伏のデータを持たせておいてもよい。
【０００８】
特に、マイナーチェンジなど世代が変わると、通称名は変わらないが、車式／車型と共にエンブレムが変わる可能性があるので、エンブレムと通称名と車式／車型との対応テーブルを持てば、通称名の入力からエンブレム検索によって対象車両の絞り込みができる。
したがって、目撃者の情報に近い条件検索がしやすくなり、効率よく対象となる車両候補の絞り込み（リストアップ）ができる。
【０００９】
前記エンブレムが探索される車両の範囲は、フロントマスクもしくはボンネットまたはリアマスクとすればよい。通常、この範囲にエンブレムが付されているからである（請求項２）。
前記エンブレムとテンプレートとの照合に、パターン・マッチングの手法を用いることが有効である（請求項３）。
【００１０】
本発明の車両判別装置は、検出した車両の車番を読み取る車番読み取り手段をさらに備えるものであってもよい（請求項４）。この場合、車両判別装置は、車番読み取り装置としても機能する。
この車番読み取り手段をさらに備えることにより、車番を構成する一部、あるいは全部の番号や文字が認識できなくても、判別した「当該車両のメーカー、通称名、車式／車型、車種、あるいは特定のグレード」から目的の車両の車番を特定できる可能性がある（請求項５）。
【００１１】
また、本発明の車両判別方法は、請求項１記載の発明と同一発明にかかる方法である（請求項６）。
【発明を実施するための最良の形態】
【００１２】
以下、本発明の実施の形態を、添付図面を参照しながら詳細に説明する。
図１は、道路を走行する車両のエンブレムを検出するための本発明の車両判別装置の構成図を示す。
道路上方から道路面を俯瞰するように、カメラ２を所定の高さに設置している。カメラ２の視野範囲５は、道路の一つの車線上にある。
【００１３】
カメラ２の撮影画像は、映像ケーブル３を通して計測装置４に入力される。計測装置４は、通信手段を持ち、計測結果を遠隔地の処理センターに提供することができる。
図２に、カメラ２で撮影した撮影画像の例を示す。
カメラ２の視野範囲５は、図２のように車両のフロントマスク（ヘッドライトなどが装備されている車両の前面のこと）又はボンネットにマークされているエンブレムを探索できるような大きさの視野（左右方向２〜３ｍ、上下方向２〜３ｍ程度）とする。
【００１４】
なお、カメラ２を反対方向に向けて、走行する車両のリアマスク（テールライトなどが装備されている車両の後面のこと）を撮影するという実施形態をとることもできる。
図３は、計測装置４の構成例を示す図である。
計測装置４は、カメラ２の画像を取り込んで２次元写像変換し、カメラ２の画面内でエンブレム検出用の計測範囲をスキャンしてテンプレートとのパターン・マッチングを行い、エンブレムを特定する等の演算処理を実行する。
【００１５】
計測装置４は、図３に示すように、画像入力部４１、Ａ／Ｄ変換部４２、画像メモリ４３、演算部４４、通信部４５を有する。
画像入力部４１は、カメラ２の画像を取り込むためのインターフェイスを提供する。Ａ／Ｄ変換部４２は、画像信号をデジタル変換する。画像メモリ４３は、デジタル変換した画像データを一時的に格納する。演算部４４は、２次元写像変換、テンプレートとのパターン・マッチング、エンブレムの特定等の演算処理を実行する。通信部４５は、処理センター等との通信を行って、エンブレムの情報を伝える。
【００１６】
また、詳しい構成は説明しないが、演算部４４は、公知の車番読み取り機能（特開平03-265999号公報、特開平03-276069号公報、特開平03-276379号公報など参照）も備えており、通信部４５は、読み取った車番の情報を処理センター等に伝える。
なお、前記カメラ２と前記計測装置４は一体型としても良い。
図４は、計測装置４の行う車両判別処理方法を示すフローチャートである。
【００１７】
演算部４４は、画像入力部４１を通して画像を取り込み、画像メモリ４３に記憶させる。画像の取り込み間隔は、例えば１秒間に３０枚とする。
まず、画面の中に車両が存在するかどうかを検出する（ステップＳ１）。
この検出方法は、例えば、予め車両が存在しない場合の路面画像（以下、背景画像と呼ぶ）を作成しておき、取り込んだ画像（以下、入力画像と呼ぶ）との明るさの差を算出し、閾値以上の変化が検出された場合を車両有りとし、閾値以下の変化の場合は車両なしとする。
【００１８】
あるいは、路面模様の明るさ変化のある部分（以下、エッジと呼ぶ）の位置を予め記憶しておき、入力画像についてもエッジを算出し、それらのエッジの鋭さの差を算出し、閾値以上の差が検出された場合を車両有りとし、閾値以下の変化の場合は車両なしとすることもできる。
車両ありと判定された場合、公知の方法で車番の読み取りを行う（ステップＳ２）。
【００１９】
次に、エンブレム探索範囲の決定を行う（ステップＳ３）。
エンブレム探索範囲の決定は、次のようにして行う。
まず、画素ごとに、前時刻と現時刻の明るさの差を算出し、その差が閾値以上ある場合、時間差分変化ありとする。これは、路面標示等の動かない路面のエッジを消すためである。
【００２０】
次に、時間差分変化ありの画素について、水平エッジの有無を算出する。これは例えば、注目画素及びその周辺画素の画素に対して、空間フィルタ処理を行えばよい。
次に、時間差分変化があり、水平エッジを構成する画素に対して、好ましくは細線化処理をする。これは、近接するエッジを除去し、特徴ラインを抽出しやすくするための処理である。例えば、Hilditchの細線化アルゴリズム（「画像の処理と認識」、安居院他、昭晃堂参照）を用いて、水平エッジ画像を細線化する。
【００２１】
次に、この画面の水平方向に水平エッジ数を算出して、車両走行方向に沿って、ヒストグラムをつくる。
このヒストグラムに基づいて、水平エッジの始まるラインを抽出する。これは、その水平ラインの上下に隣接する水平ラインと比較して閾値以上大きくなるラインを抽出する。これで車頭が検出できたことになる。
【００２２】
この車頭の位置から所定画素数までの範囲を切り取る。この範囲は、フロントマスク又はボンネットの範囲とほぼ一致するように、前記「所定画素数」を決めておく。
次に、前記フロントマスク又はボンネットの範囲の中からエンブレムを探索する。しかし、前記フロントマスク又はボンネットの範囲は、エンブレムを一度に探索するには広すぎるので、このフロントマスク又はボンネットの範囲の中から所定の大きさの部分を選択し、この「所定の大きさ」は、後述するテンプレート画面の大きさと一致するように設定する。これを「エンブレム探索範囲」とする。
【００２３】
このエンブレム探索範囲を、上下左右にわたって移動させながら、用意したテンプレートに基づいてエンブレムの照合を行う（ステップＳ４）。
この処理を、図５に基づいて詳しく説明する。
図５は、エンブレムの照合処理を説明するための詳細フローチャートである。まず、現存する車両のメーカー、車両の通称名、車式／車型、車種、あるいは特定のグレード（以下代表して「車式／車型」という）に対応するエンブレムのテンプレートを用意する（ステップＴ１）。
【００２４】
次に、エンブレム探索範囲の画面に対して２次元写像変換処理（アフィン変換）を行う（ステップＴ２）。この処理は、実空間上の３次元座標を、２次元画面の座標に対応させるための座標変換処理である。
車両のフロントマスク又はボンネットに取り付けられているエンブレムに対して、できるだけ正対した角度で観察できる画面となるように座標変換を行う。
【００２５】
なお、カメラに対する車両の進行角度や大きさにあわせて、マッチングするテンプレート自身を変形させても同様の効果が得られる
例えば、平面的なエンブレムがボンネットに取り付けられている場合、車両の正面を斜め上から見下ろすような角度を選ぶことが適切である。また、立体的なエンブレムがボンネットに取り付けられている場合であれば車両を正面から水平に見る角度が適切である。これにより、画面に写ったエンブレムの実空間上での形が正確に把握できるようになる。そこで、実際には、複数の角度を設定して、それぞれの角度に対応した複数の画面を取得することが好ましい。
【００２６】
次に、エンブレム探索範囲の画面に対して、各テンプレート・エンブレムを当てはめて、もっとも形の似ているエンブレムを認識する。このため、本発明の実施の形態では、パターン・マッチングの手法により、どのエンブレムが似ているかを判定する。
パターン・マッチングには、パターンを上下左右に動かして両パターンの重ね合わせの残差が最小になるようにする残差マッチング法、後述する正規化相関法、両パターンをフーリエ変換しフーリエ変換面で位相限定処理を行い、マッチング点を算出するマッチドフィルタ法、隣接輝度値の増分の一致度合に基づく増分符号相関法、両パターンに複数の雑音抑制処理を行って相関係数が最も大きくなる点を求めるＬＤＭ相関法などの手法が知られている。上記以外にも、幾何マッチング法、ベクトル相関法、一般化ハフ変換など図形の幾何学的な特徴を利用した方法がある。さらに輝度勾配情報を用いたエッジスピン相関法(F.Saitou)も提案されている。
【００２７】
本発明の実施の形態では、上記のうち、正規化相関法を例にする。
エンブレム探索範囲中のエンブレムを含む画像（入力画像という）と、テンプレート・エンブレムとの正規化相関係数Ｎcrは、次の(1)式で表される。ここで、入力画像の画素、テンプレートの画素をあらわす添え字をｉとする。
【００２８】
【数１】
【００２９】
総和Σは、テンプレートについては、テンプレート画面全体にわたってとる。入力画像については、エンブレム探索範囲にわたってとる（前述したように、両者は同じ大きさである）。
エンブレム探索範囲は、フロントマスク又はボンネットの範囲の中を上下左右に移動させる。正規化相関係数Ｎcrは、エンブレム探索範囲の位置ごとに求まることになる。
【００３０】
なお、画像の輝度ｘ，ｙは0〜255の限られた範囲の値をとる。
前記相関係数Ｎcrは、値が１に近いほど入力画像とテンプレートとで相関があることを意味し、値が小さくなるほど相関がない。値が小さければ、入力画像はテンプレートと異なるパターンであるということになる。
一般的な相関係数の目安として以下の（ａ）〜（ｃ）ように考えられる。
【００３１】
（ａ）1.0〜0.8・・・強い相関がある
（ｂ）0.8〜0.6・・・相関がある可能性がある
（ｃ）0.6〜0.0・・・相関がない
なお、正規化相関を計算する前に、次のような前処理を行っておくことが望ましい。
正規化相関法は、局所的な輝度変化に弱いことが知られている。局所的な輝度変化に対しては、正規化相関係数を求める前に、入力画像のノイズ除去やコントラストの補正を行うことが有効である。例えば、 低コントラストの状況下でも安定した精度が保つことができるようにするためには、対数変換を行って、低コントラスト部分を補正しておけば効果があるといわれている。
【００３２】
対数変換による補正式は、以下の式で表される。
【００３３】
【数２】
【００３４】
対数変換を行うと、変換前の入力画像の輝度の低い部分の輝度値も、高い部分の輝度値も、ともに上昇するが、入力画像の輝度値が低いところで、特に、輝度は大幅に上昇する。
この対数変換の様子を図６のグラフに示す。図６では、変換前の入力画像の最大輝度が150,250の場合の、変換曲線をそれぞれ示している。
【００３５】
図７のグラフは、テンプレートの輝度と入力画像との輝度との対応を対数変換前後でプロットした一例を示す。このグラフからわかるように、対数変換後の方が、両画像の輝度の分布が近づいており、入力画像のエンブレムとテンプレートのエンブレムとの相関が高くなっていることがわかる。さらに、対数変換後に微分処理を施すと、得られた値は反射率と反射率の勾配の比に近似するので、影によるノイズ低減可能なことがＬＤＭ法の論文［非特許文献１］に示されている。
【００３６】
以上のような相関演算の結果、最も大きな相関係数の値が得られたエンブレムと、その場合のエンブレム探索範囲の位置（マッチング位置）が求まる（ステップＴ４）。
以上の処理では、１つのテンプレートを用いて、入力画像との相関を求めたので、次にテンプレートを変えていって同じ処理を行う（ステップＴ５）。
用意した全てのテンプレートについて照合が終われば、各テンプレートのうち、一番大きな相関係数が得られたテンプレートを特定し、そのときのエンブレム探索範囲（マッチング位置）を特定する（ステップＴ６）。
【００３７】
これにより、当該車両のエンブレムを特定することができるので、当該車両のメーカー名、エンブレムが通称名に対応したものであれば通称名、エンブレムが車式／車型に対応したものであれば車式／車型を割り出すことができる（ステップＳ５，Ｓ６）。
実際、車式／車型、又はグレードのわかっている車両について、その車式／車型、又はグレードのエンブレムのテンプレートと、間違ったテンプレートとを適用して、それぞれ相関係数を求めた。その結果、正しいテンプレートでは相関係数は０．９１となり、マッチングした。間違ったテンプレートでは相関係数は０．４５となり、マッチングしなかった。しかも、間違ったケースでは、エンブレム探索範囲の位置は、ヘッドライトやフロントグリルの位置であった。これは、画面に写ったヘッドライトやフロントグリルの輝きをエンブレムと誤認したことによる。
【００３８】
次に、車式／車型の情報とステップＳ２で読み取った車番情報との連係機能について説明する。
読み取った車番情報から、一部、あるいは全部の番号や文字が認識できなくても、判別した「車式／車型」の情報を用いて、車番が特定できることがある。
例えば、車番情報を構成する数字や文字の一部が特定できない場合、公的な登録機関に登録されている登録車番情報を参照すれば、判別した「車式／車型」から、数字や文字が特定できることがある。
【００３９】
また、登録車番情報を参照しなくても、車番情報のうち、車種に関わる数字（例えば大型車を表す１、普通車を表す３など）が不明であった場合、エンブレムから車式／車型が特定できれば、その不明の数字を絞り込めることがある。例えば、大型車を製造していないメーカーであることが分かった場合、大型車を表す数字でないことが判明する。
以上で、本発明の実施の形態を説明したが、本発明の実施は、前記の形態に限定されるものではなく、本発明の範囲内で種々の変更を施すことが可能である。例えば今までの説明では、本発明の車両判別装置は、地上に設置されていたが、車両に搭載して、当該車両の前後を走行する他車両の判別を行うようにしてもよい。
【図面の簡単な説明】
【００４０】
【図１】車両判別装置の構成図である。
【図２】撮影画像例を示す図である。
【図３】計測装置４の構成例を示すブロック図である。
【図４】車両判別方法を示すフローチャートである。
【図５】エンブレムの照合処理を説明するための詳細フローチャートである。
【図６】対数変換曲線を示すグラフである。
【図７】テンプレートの輝度と入力画像との輝度との対応を対数変換前後でプロットした一例を示すグラフである。
【符号の説明】
【００４１】
２ カメラ
３ 映像ケーブル
４ 計測装置
５ カメラの視野範囲
４１ 画像入力部
４２ Ａ／Ｄ変換部
４３ 画像メモリ
４４ 演算部
４５ 通信部
【特許請求の範囲】
【請求項１】
車両が移動する場所を撮影するカメラと、
撮影した画像内に車両が存在するかどうかを検出する車両検出手段と、
車両が検出された場合に、その車両の範囲を抽出する範囲抽出手段と、
１又は複数のテンプレートを用意して、その車両の範囲内に存在するエンブレムを探索する探索手段と、
前記探索の結果、特定の種類のエンブレムが照合されたときに、その照合されたエンブレムに基づいて、当該車両のメーカー、通称名、車式／車型、車種、あるいは特定のグレードを判別する判別手段とを備えることを特徴とする車両判別装置。
【請求項２】
前記エンブレムが探索される車両の範囲は、車両のフロントマスクもしくはボンネット又はリアマスクである請求項１記載の車両判別装置。
【請求項３】
前記エンブレムとテンプレートとの照合に、パターン・マッチングの手法を用いる請求項１記載の車両判別装置。
【請求項４】
検出した車両の車番を読み取る車番読み取り手段をさらに備える請求項１記載の車両判別装置。
【請求項５】
前記車番を構成する一部又は全部の番号又は文字が認識できなくても、判別した「当該車両のメーカー、通称名、車式／車型、車種、あるいは特定のグレード」から目的の車両の車番を特定する手段をさらに備える請求項１記載の車両判別装置。
【請求項６】
カメラにより、車両が移動する場所を撮影し、
前記カメラで撮影した画像内に車両が存在するかどうかを検出し、
画像内に車両が検出された場合に、その車両の範囲を抽出し、
１又は複数のテンプレートを用意して、その車両の範囲内に存在するエンブレムを探索し、
前記探索の結果、特定の種類のエンブレムが照合されたときに、その照合されたエンブレムに基づいて、当該車両のメーカー、通称名、車式／車型、車種、あるいは特定のグレードを判別することを特徴とする車両判別方法。
【請求項１】
車両が移動する場所を撮影するカメラと、
撮影した画像内に車両が存在するかどうかを検出する車両検出手段と、
車両が検出された場合に、その車両の範囲を抽出する範囲抽出手段と、
１又は複数のテンプレートを用意して、その車両の範囲内に存在するエンブレムを探索する探索手段と、
前記探索の結果、特定の種類のエンブレムが照合されたときに、その照合されたエンブレムに基づいて、当該車両のメーカー、通称名、車式／車型、車種、あるいは特定のグレードを判別する判別手段とを備えることを特徴とする車両判別装置。
【請求項２】
前記エンブレムが探索される車両の範囲は、車両のフロントマスクもしくはボンネット又はリアマスクである請求項１記載の車両判別装置。
【請求項３】
前記エンブレムとテンプレートとの照合に、パターン・マッチングの手法を用いる請求項１記載の車両判別装置。
【請求項４】
検出した車両の車番を読み取る車番読み取り手段をさらに備える請求項１記載の車両判別装置。
【請求項５】
前記車番を構成する一部又は全部の番号又は文字が認識できなくても、判別した「当該車両のメーカー、通称名、車式／車型、車種、あるいは特定のグレード」から目的の車両の車番を特定する手段をさらに備える請求項１記載の車両判別装置。
【請求項６】
カメラにより、車両が移動する場所を撮影し、
前記カメラで撮影した画像内に車両が存在するかどうかを検出し、
画像内に車両が検出された場合に、その車両の範囲を抽出し、
１又は複数のテンプレートを用意して、その車両の範囲内に存在するエンブレムを探索し、
前記探索の結果、特定の種類のエンブレムが照合されたときに、その照合されたエンブレムに基づいて、当該車両のメーカー、通称名、車式／車型、車種、あるいは特定のグレードを判別することを特徴とする車両判別方法。
【図１】
【図３】
【図４】
【図５】
【図６】
【図７】
【図２】
【図３】
【図４】
【図５】
【図６】
【図７】
【図２】
【公開番号】特開２００６−３４４１５４（Ｐ２００６−３４４１５４Ａ）
【公開日】平成１８年１２月２１日（２００６．１２．２１）
【国際特許分類】
【出願番号】特願２００５−１７１２７５（Ｐ２００５−１７１２７５）
【出願日】平成１７年６月１０日（２００５．６．１０）
【出願人】（０００００２１３０）住友電気工業株式会社 (12,747)
【Ｆターム（参考）】
【公開日】平成１８年１２月２１日（２００６．１２．２１）
【国際特許分類】
【出願日】平成１７年６月１０日（２００５．６．１０）
【出願人】（０００００２１３０）住友電気工業株式会社 (12,747)
【Ｆターム（参考）】
[ Back to top ]