車両検出装置
【課題】カメラの設置自由度が高く、高い検出精度が得られる車両検出装置を提供することを目的とする。
【解決手段】実施形態によれば、線分抽出手段と、候補生成手段と、評価手段と、特定部位検出手段とを具備する。そして、線分抽出手段は、車両を撮影した画像から、車両の映像を構成する複数の線分成分を抽出する。候補生成手段は、複数の線分成分を用いて閉ループを生成する多角形近似を行い、車両の特定部位の領域の候補を複数生成する。評価手段は、複数の候補に対して、それぞれ複数の異なる評価を行う。そして特定部位検出手段は、評価手段の評価結果に基づいて、複数の候補のうち１つの候補を特定部位として検出する。
【解決手段】実施形態によれば、線分抽出手段と、候補生成手段と、評価手段と、特定部位検出手段とを具備する。そして、線分抽出手段は、車両を撮影した画像から、車両の映像を構成する複数の線分成分を抽出する。候補生成手段は、複数の線分成分を用いて閉ループを生成する多角形近似を行い、車両の特定部位の領域の候補を複数生成する。評価手段は、複数の候補に対して、それぞれ複数の異なる評価を行う。そして特定部位検出手段は、評価手段の評価結果に基づいて、複数の候補のうち１つの候補を特定部位として検出する。
【発明の詳細な説明】
【技術分野】
【０００１】
この発明の実施形態は、例えば自動車などの車両の特定部位の検出に用いられる車両検出装置に関する。
【背景技術】
【０００２】
周知のように、例えば高速道路の料金所などに設置される車両検出装置は、ポールセンサ（車両検知器）によって車両の通過を検出する。しかし、車両の形状は多種多様であり、ポールセンサによって検出される車両先端部から、車両の特定部位（例えば、フロントガラス）までの長さは異なり、ポールセンサによる特定部位の検出は困難である。
一方、通過車両を撮像した画像を解析することで、車両の特定部位を検出する技術があるが、カメラの設置条件が厳しいという問題があった。
【先行技術文献】
【特許文献】
【０００３】
【特許文献１】特許第４３３３６８３号公報
【発明の概要】
【発明が解決しようとする課題】
【０００４】
従来の車両検出装置では、カメラの設置条件が厳しいという問題があった。
この問題を解決することを課題とし、カメラの設置自由度が高く、高い検出精度が得られる車両検出装置を提供することを目的とする。
【課題を解決するための手段】
【０００５】
実施形態によれば、線分抽出手段と、候補生成手段と、評価手段と、特定部位検出手段とを具備する。そして、線分抽出手段は、車両を撮影した画像から、車両の映像を構成する複数の線分成分を抽出する。候補生成手段は、複数の線分成分を用いて閉ループを生成する多角形近似を行い、車両の特定部位の領域の候補を複数生成する。評価手段は、複数の候補に対して、それぞれ複数の異なる評価を行う。そして特定部位検出手段は、評価手段の評価結果に基づいて、複数の候補のうち１つの候補を特定部位として検出する。
【図面の簡単な説明】
【０００６】
【図１】実施形態に係わる車両検出装置を適用したETCシステムの構成を示す図。
【図２】図１に示した車両検出装置の構成を示す回路ブロック図。
【図３】図１に示した車両検出装置の第１の実施形態に係わる動作を説明するためのフローチャート。
【図４】第１の実施形態における色による領域分けを説明するための図。
【図５】第１の実施形態における領域分けの概念を説明するための図。
【図６】第１の実施形態における閉ループを生成する動作を説明するための図。
【図７】図１に示した車両検出装置の第２の実施形態に係わる動作を説明するためのフローチャート。
【図８】第２の実施形態における車両画像中の特徴部位の検出動作を説明するための図。
【図９】図１に示した車両検出装置の第３の実施形態に係わる動作を説明するためのフローチャート。
【図１０】第３の実施形態における車両画像中の特徴部位の検出動作を説明するための図。
【図１１】第３の実施形態における車両の外郭検出動作を説明するための図。
【発明を実施するための形態】
【０００７】
（第１の実施形態）
以下、図面を参照して、実施形態について説明する。
図１は、第１の実施形態に係わる車両検出装置１００をETC(Electronic Toll Collection System)に適用した場合のシステム構成例を示すものである。
ポールセンサ１０は、光センサや踏板を用いて、ETCレーンに進入する車両を検出するものであり、検出結果を車両検出装置１００に通知する。
【０００８】
電子カメラ２０は、予め設定したフレームレートで、動画像を撮影するディジタルカメラであって、ETCレーンを走行し、ポールセンサ１０を通過してくる車両を撮影するものである。すなわち、ETCレーンを走行する車両について、複数の画像を撮影する。なお、以下の説明では、車両の特定部位として、フロントガラスを例に挙げるため、電子カメラ２０は、少なくとも車両のフロントガラスを含む全景が撮影できる位置に設置される。
【０００９】
また電子カメラ２０によって得られた画像データは、撮影時刻を示すタイムコードが含まれている。電子カメラ２０と、車両検出装置１００をはじめと図１に示した他の装置とは、同期した時刻情報を有する。なお、他の手法によって、電子カメラ２０と車両検出装置１００をはじめとする他の装置が同期して動作すれば（電子カメラ２０の画像データの撮影時刻を車両検出装置１００をはじめとする他の装置が認識できれば）、必ずしも画像データにタイムコードが含まれなくてもよい。
【００１０】
ETCシステム３０は、高速道路などの有料道路を走行する車両に対して課せられる通行料金を自動的に徴収するものであって、車両に搭載されるETC車載器と無線通信し、通過車両を特定する情報を取得する。なお、一般にETC車載器は、少なくとも無線通信を行うためのアンテナがフロントガラスを介して視認できる位置に設置される。このため、フロントガラスの位置を正確に特定することで、ETC車載器と精度の高い通信を行うことができる。
【００１１】
車両検出装置１００は、図２に示すように、表示部１１０と、ユーザインタフェース１２０と、記憶部１３０と、ネットワークインタフェース１４０と、制御部１５０とを備える。
表示部１１０は、LCD(Liquid Crystal Display)などを用いたディスプレイ装置であって、当該車両検出装置１００の運用状況をはじめとする種々の情報を表示する。
ユーザインタフェース１２０は、キーボード、マウス、タッチパネルなどのユーザから指示を受け付けるインタフェースである。
【００１２】
記憶部１３０は、制御部１５０の制御プログラムや制御データを記憶するものであって、ＨＤＤ、ＲＡＭ、ＲＯＭ、フラッシュメモリなどの記憶手段を１つまたは複数用いたものである。
【００１３】
ネットワークインタフェース１４０は、ＬＡＮなどのネットワークに接続され、このネットワークを通じて、ポールセンサ１０、電子カメラ２０およびＥＴＣシステム３０と通信する。
【００１４】
制御部１５０は、マイクロプロセッサを備え、記憶部１３０が記憶する制御プログラムや制御データにしたがって動作し、当該車両検出装置１００の各部を統括して制御するものであって、予め制御プログラムに組み込まれた車両の特定部位を電子カメラ２０の撮影画像から検出し、実空間上における通過時刻（ＥＴＣシステム３０の通信エリアの通過時刻）を予測するものである。
【００１５】
次に、上記構成の車両検出装置１００の動作について説明する。
図３は、車両検出装置１００の動作を説明するためのフローチャートであって、電源が投入されて起動されると、電源が切られるまで繰り返し実行される。なお、この動作は、制御部１５０が、記憶部１３０に記憶される制御プログラムや制御データにしたがって動作することにより実現する。
【００１６】
また車両検出装置１００の起動に先立って、ポールセンサ１０および電子カメラ２０も起動される。これにより、ポールセンサ１０は、ETCレーンへの車両進入の監視を開始し、電源が切られるまで、検出結果を車両検出装置１００に通知する。また電子カメラ２０は、所定のフレームレートによる撮影を開始し、電源が切られるまで、撮影した画像データを車両検出装置１００に伝送する。
【００１７】
まずステップ３ａにおいて制御部１５０は、ネットワークインタフェース１４０を通じたポールセンサ１０からの通知に基づいて、ETCレーンに車両が進入したか否かを判定する。ここで、車両の進入を検出した場合には、ステップ３ｂに移行し、一方、車両の進入が検出できない場合は、再びステップ３ａに移行して、車両の進入の監視を行う。
【００１８】
ステップ３ｂにおいて制御部１５０は、ネットワークインタフェース１４０を通じて、電子カメラ２０から伝送される複数の画像データのうち、所定の時刻に撮影されたフレームの画像データを抽出し、ステップ３ｃに移行する。以下、この抽出した画像データを処理対象画像データと称する。なお、上記所定の時刻は、車両の特定部位が写る画像データが抽出できるように、ポールセンサ１０の設置位置と電子カメラ２０のカメラ視野（撮影範囲）の位置関係（設置距離）、車両の想定通過速度などを考慮して決定される。
【００１９】
ステップ３ｃにおいて制御部１５０は、上記処理対象画像データに対して前処理を施し、ステップ３ｄに移行する。なお、具体的な前処理の内容としては、S/N比を向上させる目的でノイズ除去を行って画像の鮮鋭化を行ったり、あるいは映像のコントラストを向上させるためにフィルタリングを行う。また画像の補正を目的として、例えば、映像歪の修正などを行う。
【００２０】
ステップ３ｄにおいて制御部１５０は、ステップ３ｃにて前処理が施された処理対象画像データに対して、ハフ変換などの手法を適用し、映像から車両の映像を構成する複数の線分成分を抽出して、ステップ３ｅに移行する。
【００２１】
特定部位としてフロントガラスを想定した具体的な抽出アルゴリズムとしては、車両を上方から撮影する場合、映像中の水平および垂直方向を基本とした８方向の線分成分の抽出を行う。
【００２２】
これにより、フロントガラス境界部分を含む線分が多数抽出されることになる。フロントガラスについては、ワイパー周り等は曲線となっている場合が多いため、１つの線分で抽出するのは難しいと考えられるので、一般的には、複数の線分を組み合わせた多角形もしくは折れ線で抽出することで、フロントガラスの形状を近似することが可能である。また例えば、円を線分で近似する場合は、内接正八角形にて近似し、誤差は円と内接正八角形の面積の差に相当するが、実用設計上の誤差として許容可能と考えられる。
【００２３】
なお、処理対象画像データと、その前後のフレームの画像データに対して、ハフ変換などの手法を適用し、各映像から線分成分を抽出し、これらの時間的に連続する線分成分から車両の移動に伴う幾何学的な変動予測を行って、所定の時刻（処理対象画像データの撮影時刻）における線分成分を得るようにしてもよい。このように複数フレームの画像データを用いることで、抽出精度を上げることができる。
【００２４】
ステップ３ｅにおいて制御部１５０は、ステップ３ｃにて前処理が施された処理対象画像データに対して、解像度を上げる鮮鋭化処理を施した上で、ステップ３ｄと同様に、ハフ変換などの手法を適用し、映像から車両の映像を構成する複数の線分成分を抽出して、ステップ３ｆに移行する。
【００２５】
なお、ステップ３ｅにおいては、例えば、電子カメラ２０のダイナミックレンジの大きい場合（例えば10bit）、多段階レンジのスコープ（1-255, 256-512, 513-768, 768-1024）に分割し、各スコープにおいてハフ変換などの手法を適用し、映像から線分成分を抽出するようにしてもよい。
【００２６】
またステップ３ｄおよびステップ３ｅにおいては、ハフ変換などの手法を用いて線分成分を抽出すると説明したが、処理対象画像データにカラー情報が含まれる場合には、例えば図４に示すように、カラー情報に基づいて、処理対象画像データに基づく映像を同系色毎の領域に分け、領域の境界を線分成分として抽出するようにしてもよい。このような手法によっても、フロントガラスと、それ以外の車両の部位の境界を線分成分として検出することができる。
【００２７】
ステップ３ｆにおいて制御部１５０は、ステップ３ｄおよびステップ３ｅで抽出した線分成分を用いて、閉ループを生成する多角形近似を行って、フロントガラス領域の候補を生成し、ステップ３ｇに移行する。
【００２８】
多角形近似によって映像から抽出される要素としては、図５に示すように、フロントガラス領域、フロントガラス内に写り込む影領域、太陽の反射が写り込む反射領域、車両の一部であるピラー、運転席および助手席の窓ガラスがある。実際には、図６に示すように、複数の線分によって複雑な形状の閉ループが生成される。
【００２９】
フロントガラス領域は、最も単純なものであれば矩形に近似できるが、フロントガラスの形状によっては曲線を含む形に近似される。また単純な形状であっても、車両の横方向から撮影された場合、フロントガラスの左右で奥行きが発生して非対称性が現れる。
【００３０】
また、この時点では、どの線分成分がフロントガラス領域の一部であるかは判っていないが、フロントガラスと車体との境界を表す線分成分を、上記多角形近似によって組み込んだ閉ループの組み合わせの中に、最適解が存在する。このため、ステップ３ｆでは、多角形近似によって生成された複数の閉ループについて、評価関数を用いて評価を行い、フロントガラス領域を正確に近似するものに候補を絞り込む。
【００３１】
なお、実際には、曲率が高い部分や境界のコントラストに不十分なところがあり、部分的に線分が欠損したままの候補も考えられる。このため、欠損部を線分で補完的に近似したのち、上記評価を行ってもよい。例えば、撮影の角度によっては、ピラーの片方がフロントガラスで隠れる場合があり、このような場合には、隠れてしまったピラー側のフロントガラス端部について線分を補完して、閉ループを完成させる。
【００３２】
また、予め記憶部１３０に、種々のピラーのパターンを記憶しておくとともに、各パターンに対応付けて、複数のフロントガラス領域の候補を記憶しておく。そして、ステップ３ｆにおいて、多角形近似からピラーに類似した閉ループを検出し、この検出した閉ループと記憶部１３０に記憶する情報とのパターンマッチングにより、ピラーを検出し、そして、この検出したピラーに対応付けたフロントガラス領域の候補を得るようにしてもよい
。
【００３３】
ステップ３ｇにおいて制御部１５０は、ステップ３ｆで求めたフロントガラス領域の候補に対して、複数の異なる評価を行い、各評価のスコアの合計値をそれぞれ求め、ステップ３ｈに移行する。
【００３４】
複数の評価の方法としては、１）画像上のフロントガラスの位置およびサイズなどを考慮したスコア付け、２）フロントガラス領域を構成する線分の周辺の輝度分布に基づくスコア付け、３）予め記憶部１３０に記憶しておいたフロントガラスのテンプレートとのマッチングの度合いに応じたスコア付け、などが考えられる。フロントガラス領域内に例えば反射や影の影響より多角形が出現することが考えられるが、１）と、３）によって、上記多角形は低いスコア付けが為される。
【００３５】
ステップ３ｈにおいて制御部１５０は、ステップ３ｇで求めたスコアの合計値から、最適なフロントガラス領域を選出し、ステップ３ｉに移行する。
ステップ３ｉにおいて制御部１５０は、ステップ３ｈで選出したフロントガラス領域と、処理対象画像データに含まれるフロントマスク部（ライト、グリル、ナンバー）との位置関係を検査し、矛盾（例えば、フロントガラス領域とフロントマスク部の横方向のズレが大きい）がないかを確認する。矛盾がない場合には、ステップ３ｊに移行し、一方、矛盾がある場合には、次順のスコア合計値が高いフロントガラス領域について、同様の検査を行う。なお、上記車両フロントマスク部の位置は、フロントマスク部を構成する要素のパターンマッチングにより求める。
【００３６】
ステップ３ｊにおいて制御部１５０は、処理対象画像データの撮影時刻と、処理対象画像データの画像上におけるフロントガラス領域の位置とに基づいて、ETCレーン上の実空間におけるフロントガラスの座標（位置）を特定する座標変換処理を実施し、ステップ３ｋに移行する。
【００３７】
ステップ３ｋにおいて制御部１５０は、ステップ３ｊで特定したフロントガラスの座標（位置）をネットワークインタフェース１４０を通じて、ETCシステム３０に通知し、ステップ３ａに移行する。フロントガラスの座標（位置）の通知を受けたETCシステム３０は、フロントガラスの座標（位置）および車両の想定通過速度などを考慮し、ETC車載器のアンテナが搭載されるフロントガラスに向けたタイミングで、無線信号の送受信を行う。
【００３８】
以上のように、上記構成の車両検出装置では、車両を撮影した画像データから車両の映像を構成する複数の線分成分を抽出し（ステップ３ｄおよび３ｅ）、これらの線分成分を用いて、閉ループを生成する多角形近似を行って、車両の特定部位（例えば、フロントガラス）の領域の候補を複数生成し（ステップ３ｆ）、それらに対して複数の異なる評価を行って最も確からしい車両の特定部位の領域を特定する（ステップ３ｇおよび３ｈ）ようにしている。
【００３９】
したがって、上記構成の車両検出装置によれば、目標とする車両の特定部位が写っていれば、画像解析によって上記特定部位を検出できるので、カメラの設置自由度が高く、また高い検出精度が得られる。
【００４０】
（第２の実施形態）
次に、第２の実施形態について説明する。なお、第２の実施形態は、見かけ上、図１および図２に示した第１の実施形態と同様であることより、その構成についての説明は省略する。また、第１の実施形態と同様に、ETCに適用した場合を例示する。第２の実施形態が、第１の実施形態と異なる点は、車両検出装置１００の制御プログラムが異なる点にある。このため、第２の実施形態に係わる車両検出装置１００の動作について説明する。
【００４１】
図７は、第２の実施形態に係わる車両検出装置１００の動作を説明するためのフローチャートであって、電源が投入されて起動されると、電源が切られるまで繰り返し実行される。なお、この動作は、制御部１５０が、記憶部１３０に記憶される制御プログラムや制御データにしたがって動作することにより実現する。
【００４２】
また車両検出装置１００の起動に先立って、ポールセンサ１０および電子カメラ２０も起動される。これにより、ポールセンサ１０は、ETCレーンへの車両進入の監視を開始し、電源が切られるまで、検出結果を車両検出装置１００に通知する。また電子カメラ２０は、所定のフレームレートによる撮影を開始し、電源が切られるまで、撮影した画像データを車両検出装置１００に伝送する。
【００４３】
まずステップ７ａにおいて制御部１５０は、ネットワークインタフェース１４０を通じたポールセンサ１０からの通知に基づいて、ETCレーンに車両が進入したか否かを判定する。ここで、車両の進入を検出した場合には、ステップ７ｂに移行し、一方、車両の進入が検出できない場合は、再びステップ７ａに移行して、車両の進入の監視を行う。
【００４４】
ステップ７ｂにおいて制御部１５０は、ネットワークインタフェース１４０を通じて、電子カメラ２０から伝送される複数の画像データのうち、所定の時刻に撮影されたフレームの画像データを抽出し、ステップ７ｃに移行する。以下、この抽出した画像データを処理対象画像データと称する。なお、上記所定の時刻は、車両の特定部位が写る画像データが抽出できるように、ポールセンサ１０の設置位置と電子カメラ２０のカメラ視野（撮影範囲）の位置関係（設置距離）、車両の想定通過速度などを考慮して決定される。
【００４５】
ステップ７ｃにおいて制御部１５０は、上記処理対象画像データに対して前処理を施し、ステップ７ｄに移行する。なお、具体的な前処理の内容としては、S/N比を向上させる目的でノイズ除去を行って画像の鮮鋭化を行ったり、あるいは映像のコントラストを向上させるためにフィルタリングを行う。また画像の補正を目的として、例えば、映像歪の修正などを行う。
【００４６】
ステップ７ｄにおいて制御部１５０は、図８に示すように、ステップ７ｃにて前処理が施された処理対象画像データの画像に対して、予め記憶部１３０に準備した種々の車両のドアミラーの形状および配置を組み合わせたパターンと一致する部位を探索するパターンマッチ処理を実施し、最も一致したパターンに基づいて、左ドアミラー情報dml(cx,cy,s)、右ドアミラー情報dmr(cx,cy,s)を検出し、ステップ７ｅに移行する。なお、cxは、処理対象画像データに基づく画像上のｘ座標、cyは、同画像のｙ座標、そして、sは、大きさを示す。
【００４７】
ステップ７ｅにおいて制御部１５０は、図８に示すように、ステップ７ｃにて前処理が施された処理対象画像データの画像に対して、予め記憶部１３０に準備した種々の顔パターンと一致する部位を探索するパターンマッチ処理を実施し、最も一致したパターンに基づいて、顔情報df(cx,cy,s)を検出し、ステップ７ｆに移行する。なお、cxは、処理対象画像データに基づく画像上のｘ座標、cyは、同画像のｙ座標、そして、sは、大きさを示す。
【００４８】
ステップ７ｆにおいて制御部１５０は、図８に示すように、ステップ７ｃにて前処理が施された処理対象画像データの画像に対して、予め記憶部１３０に準備した種々のハンドルの形状パターンと一致する部位を探索するパターンマッチ処理を実施し、最も一致したパターンに基づいて、ハンドル情報dh(cx,cy,s)を検出し、ステップ７ｇに移行する。なお、cxは、処理対象画像データに基づく画像上のｘ座標、cyは、同画像のｙ座標、そして、sは、大きさを示す。
【００４９】
ステップ７ｇにおいて制御部１５０は、左ドアミラー情報dml(cx,cy,s)、右ドアミラー情報dmr(cx,cy,s)、顔情報df(cx,cy,s)、およびハンドル情報dh(cx,cy,s)に基づいて、左ドアミラー、右ドアミラー、顔、ハンドルの配置や大きさに矛盾が無いかを判定し、矛盾が無い場合には、ステップ７ｈに移行する。なお、一般の車両では、左ドアミラーと右ドアミラーの間に、運転者の顔とハンドルが存在し、顔とハンドルの縦方向の座標は所定の範囲内に存在し、顔がハンドルの上方に存在する。このような配置に反することを、矛盾という。その他、サイズなども校了して矛盾が無いかを検知する。一方、矛盾がある場合には、ステップ７ｄに移行して、ドアミラー、顔、あるいはハンドルのうち、少なくとも１つを変更した組み合わせを検出する。
【００５０】
ステップ７ｈにおいて制御部１５０は、左ドアミラー情報dml(cx,cy,s)、右ドアミラー情報dmr(cx,cy,s)、顔情報df(cx,cy,s)およびハンドル情報dh(cx,cy,s)に基づいて、予め記憶部１３０に準備したフロントガラスのパターンから、最適なパターンを抽出するとともに、処理対象画像データに基づく画像上におけるフロントガラス領域を特定し、ステップ７ｉに移行する。
【００５１】
ステップ７ｉにおいて制御部１５０は、処理対象画像データの撮影時刻と、処理対象画像データの画像上におけるフロントガラス領域の位置とに基づいて、ETCレーン上の実空間におけるフロントガラスの座標（位置）を特定する座標変換処理を実施し、ステップ７ｊに移行する。
【００５２】
ステップ７ｊにおいて制御部１５０は、ステップ７ｉで特定したフロントガラスの座標（位置）をネットワークインタフェース１４０を通じて、ETCシステム３０に通知し、ステップ７ａに移行する。フロントガラスの座標（位置）の通知を受けたETCシステム３０は、フロントガラスの座標（位置）および車両の想定通過速度などを考慮し、ETC車載器のアンテナが搭載されるフロントガラスに向けたタイミングで、無線信号の送受信を行う。
【００５３】
以上のように、上記構成の車両検出装置では、車両の運転席付近を撮影した画像データからミラー、顔、ハンドルの位置や大きさを検出し（ステップ７ｄ、７ｅおよび７ｆ）、これらの情報に矛盾が無いことを確認（ステップ７ｇ）した後、上記情報に基づいて、画像データに基づく映像における車両の特定部位（フロントガラス）の領域を特定する（ステップ７ｈ）ようにしている。
【００５４】
したがって、上記構成の車両検出装置によれば、目標とする車両の運転席付近が写っていれば、画像解析によって上記特定部位を検出できるので、カメラの設置自由度が高く、また高い検出精度が得られる。
【００５５】
なお、上記第２の実施形態の説明では、運転者の顔を認識するものとして説明したが、これに限定されるものではなく、上半身や腕などを対象にパターンマッチ処理を施して、その位置を特定するようにしてもよい。
【００５６】
（第３の実施形態）
次に、第３の実施形態について説明する。なお、第３の実施形態は、見かけ上、図１および図２に示した第１の実施形態と同様であることより、その構成についての説明は省略する。また、第１の実施形態と同様に、ETCに適用した場合を例示する。第３の実施形態が、第１の実施形態と異なる点は、車両検出装置１００の制御プログラムが異なる点にある。このため、第３の実施形態に係わる車両検出装置１００の動作について説明する。
【００５７】
図９は、第３の実施形態に係わる車両検出装置１００の動作を説明するためのフローチャートであって、電源が投入されて起動されると、電源が切られるまで繰り返し実行される。なお、この動作は、制御部１５０が、記憶部１３０に記憶される制御プログラムや制御データにしたがって動作することにより実現する。
【００５８】
また車両検出装置１００の起動に先立って、ポールセンサ１０および電子カメラ２０も起動される。これにより、ポールセンサ１０は、ETCレーンへの車両進入の監視を開始し、電源が切られるまで、検出結果を車両検出装置１００に通知する。また電子カメラ２０は、所定のフレームレートによる撮影を開始し、電源が切られるまで、撮影した画像データを車両検出装置１００に伝送する。
【００５９】
まずステップ９ａにおいて制御部１５０は、ネットワークインタフェース１４０を通じたポールセンサ１０からの通知に基づいて、ETCレーンに車両が進入したか否かを判定する。ここで、車両の進入を検出した場合には、ステップ９ｂに移行し、一方、車両の進入が検出できない場合は、再びステップ９ａに移行して、車両の進入の監視を行う。
【００６０】
ステップ９ｂにおいて制御部１５０は、ネットワークインタフェース１４０を通じて、電子カメラ２０から伝送される複数の画像データのうち、所定の時刻に撮影されたフレームの画像データを抽出し、ステップ９ｃに移行する。以下、この抽出した画像データを処理対象画像データと称する。なお、上記所定の時刻は、車両の特定部位が写る画像データが抽出できるように、ポールセンサ１０の設置位置と電子カメラ２０のカメラ視野（撮影範囲）の位置関係（設置距離）、車両の想定通過速度などを考慮して決定される。
【００６１】
ステップ９ｃにおいて制御部１５０は、上記処理対象画像データに対して前処理を施し、ステップ９ｄに移行する。なお、具体的な前処理の内容としては、S/N比を向上させる目的でノイズ除去を行って画像の鮮鋭化を行ったり、あるいは映像のコントラストを向上させるためにフィルタリングを行う。また画像の補正を目的として、例えば、映像歪の修正などを行う。
【００６２】
ステップ９ｄにおいて制御部１５０は、ステップ９ｃにて前処理が施された処理対象画像データの画像に対して、図１０に示すように、ラベリング処理などによって車両のヘッドライトの領域を抽出し、その位置から推定される範囲からナンバープレートに類似する矩形の形状を抽出し、ステップ９ｅに移行する。一般に、ナンバープレートは、左右のヘッドライトの間の中心かつそれらを結ぶ線より下に存在する。左右のヘッドライト、およびナンバープレートの位置をフロント部情報として扱う。
【００６３】
なお、予め記憶部１３０に、車種毎に異なって存在するヘッドライト周辺やナンバープレート周辺の凹凸を示す凹凸情報を予めパターンとして記憶しておくとともに、車種毎のフロント部の情報（左右のヘッドライト、およびナンバープレートの位置）を記憶しておく。そして、ステップ９ｄでは、処理対象画像データの画像において、ヘッドライトやナンバープレートの周辺に存在する凹凸を、上記凹凸情報と比較するパターンマッチングを行って、車種を特定し、この特定した車種のフロント部の情報を検出するようにしてもよい。
【００６４】
ステップ９ｅにおいて制御部１５０は、ステップ９で検出したフロント部情報のうち、左右のヘッドライト位置および間隔から、車両の前方投影幅（もしくは、大型車／中型車／小型車の別）を推定し、ステップ９ｆに移行する。
【００６５】
ステップ９ｆにおいて制御部１５０は、ステップ９ｃにて前処理が施された処理対象画像データを含む連続したフレームの画像データの差分を検出して背景と分離し（図１１（ａ）参照）、この差分を１つの画像上に累積させることで、車両の外郭を検出し（図１１（ｂ）参照）、これに基づいて、車両の高さ（車高）およびフロントガラスの傾きを推定し、ステップ９ｇに移行する。
【００６６】
ステップ９ｇにおいて制御部１５０は、ステップ９ｄで求めたフロント部情報、ステップ９ｅで求めた車両の前方投影幅（もしくは、大型車／中型車／小型車の別）、ステップ９ｆで求めた車両の高さ（車高）およびフロントガラスの傾きに基づいて、フロントガラスが収まる範囲を推定し、ステップ９ｈに移行する。
【００６７】
ステップ９ｈにおいて制御部１５０は、予め記憶部１３０に準備した種々のフロントガラスの外形モデルを参照し、ステップ９ｇで推定した範囲に適応する外形モデルが存在する（すなわち、フロントガラス存在範囲の推定が正しい）かを確認し、存在する場合に、ステップ９ｉに移行する。一方、存在しない場合には、エラーメッセージを表示部１１０に出力する。
【００６８】
ステップ９ｉにおいて制御部１５０は、処理対象画像データの撮影時刻と、ステップ９ｉで推定した範囲とに基づいて、ETCレーン上の実空間におけるフロントガラスの座標（位置）を特定する座標変換処理を実施し、ステップ９ｊに移行する。
【００６９】
ステップ９ｊにおいて制御部１５０は、ステップ９ｉで特定したフロントガラスの座標（位置）をネットワークインタフェース１４０を通じて、ETCシステム３０に通知し、ステップ９ａに移行する。フロントガラスの座標（位置）の通知を受けたETCシステム３０は、フロントガラスの座標（位置）および車両の想定通過速度などを考慮し、ETC車載器のアンテナが搭載されるフロントガラスに向けたタイミングで、無線信号の送受信を行う。
【００７０】
以上のように、上記構成の車両検出装置では、車両のフロント部分を撮影した画像データからヘッドライトおよびナンバープレートを検出し（ステップ９ｄ）、これらの情報から車幅を推定する（ステップ９ｅ）とともに、複数の連続するフレームの画像データから車両の外郭を検出し（ステップ９ｆ）、車幅および外郭からフロントガラスが収まる範囲を推定する（ステップ９ｇ、９ｈ）ようにしている。
【００７１】
したがって、上記構成の車両検出装置によれば、目標とする車両のフロント部分が写っていれば、画像解析によって上記特定部位の位置を検出（推定）できるので、カメラの設置自由度が高く、また高い検出精度が得られる。
【００７２】
なお、本発明のいくつかの実施形態を説明したが、これらの実施形態は、例として提示したものであり、発明の範囲を限定することは意図していない。これら新規な実施形態は、その他の様々な形態で実施されることが可能であり、発明の要旨を逸脱しない範囲で、種々の省略、置き換え、変更を行うことができる。これら実施形態やその変形は、発明の範囲や要旨に含まれるとともに、特許請求の範囲に記載された発明とその均等の範囲に含まれる。
【符号の説明】
【００７３】
１０…ポールセンサ、２０…電子カメラ、３０…ETCシステム、１００…車両検出装置、１１０…表示部、１２０…ユーザインタフェース、１３０…記憶部、１４０…ネットワークインタフェース、１５０…制御部。
【技術分野】
【０００１】
この発明の実施形態は、例えば自動車などの車両の特定部位の検出に用いられる車両検出装置に関する。
【背景技術】
【０００２】
周知のように、例えば高速道路の料金所などに設置される車両検出装置は、ポールセンサ（車両検知器）によって車両の通過を検出する。しかし、車両の形状は多種多様であり、ポールセンサによって検出される車両先端部から、車両の特定部位（例えば、フロントガラス）までの長さは異なり、ポールセンサによる特定部位の検出は困難である。
一方、通過車両を撮像した画像を解析することで、車両の特定部位を検出する技術があるが、カメラの設置条件が厳しいという問題があった。
【先行技術文献】
【特許文献】
【０００３】
【特許文献１】特許第４３３３６８３号公報
【発明の概要】
【発明が解決しようとする課題】
【０００４】
従来の車両検出装置では、カメラの設置条件が厳しいという問題があった。
この問題を解決することを課題とし、カメラの設置自由度が高く、高い検出精度が得られる車両検出装置を提供することを目的とする。
【課題を解決するための手段】
【０００５】
実施形態によれば、線分抽出手段と、候補生成手段と、評価手段と、特定部位検出手段とを具備する。そして、線分抽出手段は、車両を撮影した画像から、車両の映像を構成する複数の線分成分を抽出する。候補生成手段は、複数の線分成分を用いて閉ループを生成する多角形近似を行い、車両の特定部位の領域の候補を複数生成する。評価手段は、複数の候補に対して、それぞれ複数の異なる評価を行う。そして特定部位検出手段は、評価手段の評価結果に基づいて、複数の候補のうち１つの候補を特定部位として検出する。
【図面の簡単な説明】
【０００６】
【図１】実施形態に係わる車両検出装置を適用したETCシステムの構成を示す図。
【図２】図１に示した車両検出装置の構成を示す回路ブロック図。
【図３】図１に示した車両検出装置の第１の実施形態に係わる動作を説明するためのフローチャート。
【図４】第１の実施形態における色による領域分けを説明するための図。
【図５】第１の実施形態における領域分けの概念を説明するための図。
【図６】第１の実施形態における閉ループを生成する動作を説明するための図。
【図７】図１に示した車両検出装置の第２の実施形態に係わる動作を説明するためのフローチャート。
【図８】第２の実施形態における車両画像中の特徴部位の検出動作を説明するための図。
【図９】図１に示した車両検出装置の第３の実施形態に係わる動作を説明するためのフローチャート。
【図１０】第３の実施形態における車両画像中の特徴部位の検出動作を説明するための図。
【図１１】第３の実施形態における車両の外郭検出動作を説明するための図。
【発明を実施するための形態】
【０００７】
（第１の実施形態）
以下、図面を参照して、実施形態について説明する。
図１は、第１の実施形態に係わる車両検出装置１００をETC(Electronic Toll Collection System)に適用した場合のシステム構成例を示すものである。
ポールセンサ１０は、光センサや踏板を用いて、ETCレーンに進入する車両を検出するものであり、検出結果を車両検出装置１００に通知する。
【０００８】
電子カメラ２０は、予め設定したフレームレートで、動画像を撮影するディジタルカメラであって、ETCレーンを走行し、ポールセンサ１０を通過してくる車両を撮影するものである。すなわち、ETCレーンを走行する車両について、複数の画像を撮影する。なお、以下の説明では、車両の特定部位として、フロントガラスを例に挙げるため、電子カメラ２０は、少なくとも車両のフロントガラスを含む全景が撮影できる位置に設置される。
【０００９】
また電子カメラ２０によって得られた画像データは、撮影時刻を示すタイムコードが含まれている。電子カメラ２０と、車両検出装置１００をはじめと図１に示した他の装置とは、同期した時刻情報を有する。なお、他の手法によって、電子カメラ２０と車両検出装置１００をはじめとする他の装置が同期して動作すれば（電子カメラ２０の画像データの撮影時刻を車両検出装置１００をはじめとする他の装置が認識できれば）、必ずしも画像データにタイムコードが含まれなくてもよい。
【００１０】
ETCシステム３０は、高速道路などの有料道路を走行する車両に対して課せられる通行料金を自動的に徴収するものであって、車両に搭載されるETC車載器と無線通信し、通過車両を特定する情報を取得する。なお、一般にETC車載器は、少なくとも無線通信を行うためのアンテナがフロントガラスを介して視認できる位置に設置される。このため、フロントガラスの位置を正確に特定することで、ETC車載器と精度の高い通信を行うことができる。
【００１１】
車両検出装置１００は、図２に示すように、表示部１１０と、ユーザインタフェース１２０と、記憶部１３０と、ネットワークインタフェース１４０と、制御部１５０とを備える。
表示部１１０は、LCD(Liquid Crystal Display)などを用いたディスプレイ装置であって、当該車両検出装置１００の運用状況をはじめとする種々の情報を表示する。
ユーザインタフェース１２０は、キーボード、マウス、タッチパネルなどのユーザから指示を受け付けるインタフェースである。
【００１２】
記憶部１３０は、制御部１５０の制御プログラムや制御データを記憶するものであって、ＨＤＤ、ＲＡＭ、ＲＯＭ、フラッシュメモリなどの記憶手段を１つまたは複数用いたものである。
【００１３】
ネットワークインタフェース１４０は、ＬＡＮなどのネットワークに接続され、このネットワークを通じて、ポールセンサ１０、電子カメラ２０およびＥＴＣシステム３０と通信する。
【００１４】
制御部１５０は、マイクロプロセッサを備え、記憶部１３０が記憶する制御プログラムや制御データにしたがって動作し、当該車両検出装置１００の各部を統括して制御するものであって、予め制御プログラムに組み込まれた車両の特定部位を電子カメラ２０の撮影画像から検出し、実空間上における通過時刻（ＥＴＣシステム３０の通信エリアの通過時刻）を予測するものである。
【００１５】
次に、上記構成の車両検出装置１００の動作について説明する。
図３は、車両検出装置１００の動作を説明するためのフローチャートであって、電源が投入されて起動されると、電源が切られるまで繰り返し実行される。なお、この動作は、制御部１５０が、記憶部１３０に記憶される制御プログラムや制御データにしたがって動作することにより実現する。
【００１６】
また車両検出装置１００の起動に先立って、ポールセンサ１０および電子カメラ２０も起動される。これにより、ポールセンサ１０は、ETCレーンへの車両進入の監視を開始し、電源が切られるまで、検出結果を車両検出装置１００に通知する。また電子カメラ２０は、所定のフレームレートによる撮影を開始し、電源が切られるまで、撮影した画像データを車両検出装置１００に伝送する。
【００１７】
まずステップ３ａにおいて制御部１５０は、ネットワークインタフェース１４０を通じたポールセンサ１０からの通知に基づいて、ETCレーンに車両が進入したか否かを判定する。ここで、車両の進入を検出した場合には、ステップ３ｂに移行し、一方、車両の進入が検出できない場合は、再びステップ３ａに移行して、車両の進入の監視を行う。
【００１８】
ステップ３ｂにおいて制御部１５０は、ネットワークインタフェース１４０を通じて、電子カメラ２０から伝送される複数の画像データのうち、所定の時刻に撮影されたフレームの画像データを抽出し、ステップ３ｃに移行する。以下、この抽出した画像データを処理対象画像データと称する。なお、上記所定の時刻は、車両の特定部位が写る画像データが抽出できるように、ポールセンサ１０の設置位置と電子カメラ２０のカメラ視野（撮影範囲）の位置関係（設置距離）、車両の想定通過速度などを考慮して決定される。
【００１９】
ステップ３ｃにおいて制御部１５０は、上記処理対象画像データに対して前処理を施し、ステップ３ｄに移行する。なお、具体的な前処理の内容としては、S/N比を向上させる目的でノイズ除去を行って画像の鮮鋭化を行ったり、あるいは映像のコントラストを向上させるためにフィルタリングを行う。また画像の補正を目的として、例えば、映像歪の修正などを行う。
【００２０】
ステップ３ｄにおいて制御部１５０は、ステップ３ｃにて前処理が施された処理対象画像データに対して、ハフ変換などの手法を適用し、映像から車両の映像を構成する複数の線分成分を抽出して、ステップ３ｅに移行する。
【００２１】
特定部位としてフロントガラスを想定した具体的な抽出アルゴリズムとしては、車両を上方から撮影する場合、映像中の水平および垂直方向を基本とした８方向の線分成分の抽出を行う。
【００２２】
これにより、フロントガラス境界部分を含む線分が多数抽出されることになる。フロントガラスについては、ワイパー周り等は曲線となっている場合が多いため、１つの線分で抽出するのは難しいと考えられるので、一般的には、複数の線分を組み合わせた多角形もしくは折れ線で抽出することで、フロントガラスの形状を近似することが可能である。また例えば、円を線分で近似する場合は、内接正八角形にて近似し、誤差は円と内接正八角形の面積の差に相当するが、実用設計上の誤差として許容可能と考えられる。
【００２３】
なお、処理対象画像データと、その前後のフレームの画像データに対して、ハフ変換などの手法を適用し、各映像から線分成分を抽出し、これらの時間的に連続する線分成分から車両の移動に伴う幾何学的な変動予測を行って、所定の時刻（処理対象画像データの撮影時刻）における線分成分を得るようにしてもよい。このように複数フレームの画像データを用いることで、抽出精度を上げることができる。
【００２４】
ステップ３ｅにおいて制御部１５０は、ステップ３ｃにて前処理が施された処理対象画像データに対して、解像度を上げる鮮鋭化処理を施した上で、ステップ３ｄと同様に、ハフ変換などの手法を適用し、映像から車両の映像を構成する複数の線分成分を抽出して、ステップ３ｆに移行する。
【００２５】
なお、ステップ３ｅにおいては、例えば、電子カメラ２０のダイナミックレンジの大きい場合（例えば10bit）、多段階レンジのスコープ（1-255, 256-512, 513-768, 768-1024）に分割し、各スコープにおいてハフ変換などの手法を適用し、映像から線分成分を抽出するようにしてもよい。
【００２６】
またステップ３ｄおよびステップ３ｅにおいては、ハフ変換などの手法を用いて線分成分を抽出すると説明したが、処理対象画像データにカラー情報が含まれる場合には、例えば図４に示すように、カラー情報に基づいて、処理対象画像データに基づく映像を同系色毎の領域に分け、領域の境界を線分成分として抽出するようにしてもよい。このような手法によっても、フロントガラスと、それ以外の車両の部位の境界を線分成分として検出することができる。
【００２７】
ステップ３ｆにおいて制御部１５０は、ステップ３ｄおよびステップ３ｅで抽出した線分成分を用いて、閉ループを生成する多角形近似を行って、フロントガラス領域の候補を生成し、ステップ３ｇに移行する。
【００２８】
多角形近似によって映像から抽出される要素としては、図５に示すように、フロントガラス領域、フロントガラス内に写り込む影領域、太陽の反射が写り込む反射領域、車両の一部であるピラー、運転席および助手席の窓ガラスがある。実際には、図６に示すように、複数の線分によって複雑な形状の閉ループが生成される。
【００２９】
フロントガラス領域は、最も単純なものであれば矩形に近似できるが、フロントガラスの形状によっては曲線を含む形に近似される。また単純な形状であっても、車両の横方向から撮影された場合、フロントガラスの左右で奥行きが発生して非対称性が現れる。
【００３０】
また、この時点では、どの線分成分がフロントガラス領域の一部であるかは判っていないが、フロントガラスと車体との境界を表す線分成分を、上記多角形近似によって組み込んだ閉ループの組み合わせの中に、最適解が存在する。このため、ステップ３ｆでは、多角形近似によって生成された複数の閉ループについて、評価関数を用いて評価を行い、フロントガラス領域を正確に近似するものに候補を絞り込む。
【００３１】
なお、実際には、曲率が高い部分や境界のコントラストに不十分なところがあり、部分的に線分が欠損したままの候補も考えられる。このため、欠損部を線分で補完的に近似したのち、上記評価を行ってもよい。例えば、撮影の角度によっては、ピラーの片方がフロントガラスで隠れる場合があり、このような場合には、隠れてしまったピラー側のフロントガラス端部について線分を補完して、閉ループを完成させる。
【００３２】
また、予め記憶部１３０に、種々のピラーのパターンを記憶しておくとともに、各パターンに対応付けて、複数のフロントガラス領域の候補を記憶しておく。そして、ステップ３ｆにおいて、多角形近似からピラーに類似した閉ループを検出し、この検出した閉ループと記憶部１３０に記憶する情報とのパターンマッチングにより、ピラーを検出し、そして、この検出したピラーに対応付けたフロントガラス領域の候補を得るようにしてもよい
。
【００３３】
ステップ３ｇにおいて制御部１５０は、ステップ３ｆで求めたフロントガラス領域の候補に対して、複数の異なる評価を行い、各評価のスコアの合計値をそれぞれ求め、ステップ３ｈに移行する。
【００３４】
複数の評価の方法としては、１）画像上のフロントガラスの位置およびサイズなどを考慮したスコア付け、２）フロントガラス領域を構成する線分の周辺の輝度分布に基づくスコア付け、３）予め記憶部１３０に記憶しておいたフロントガラスのテンプレートとのマッチングの度合いに応じたスコア付け、などが考えられる。フロントガラス領域内に例えば反射や影の影響より多角形が出現することが考えられるが、１）と、３）によって、上記多角形は低いスコア付けが為される。
【００３５】
ステップ３ｈにおいて制御部１５０は、ステップ３ｇで求めたスコアの合計値から、最適なフロントガラス領域を選出し、ステップ３ｉに移行する。
ステップ３ｉにおいて制御部１５０は、ステップ３ｈで選出したフロントガラス領域と、処理対象画像データに含まれるフロントマスク部（ライト、グリル、ナンバー）との位置関係を検査し、矛盾（例えば、フロントガラス領域とフロントマスク部の横方向のズレが大きい）がないかを確認する。矛盾がない場合には、ステップ３ｊに移行し、一方、矛盾がある場合には、次順のスコア合計値が高いフロントガラス領域について、同様の検査を行う。なお、上記車両フロントマスク部の位置は、フロントマスク部を構成する要素のパターンマッチングにより求める。
【００３６】
ステップ３ｊにおいて制御部１５０は、処理対象画像データの撮影時刻と、処理対象画像データの画像上におけるフロントガラス領域の位置とに基づいて、ETCレーン上の実空間におけるフロントガラスの座標（位置）を特定する座標変換処理を実施し、ステップ３ｋに移行する。
【００３７】
ステップ３ｋにおいて制御部１５０は、ステップ３ｊで特定したフロントガラスの座標（位置）をネットワークインタフェース１４０を通じて、ETCシステム３０に通知し、ステップ３ａに移行する。フロントガラスの座標（位置）の通知を受けたETCシステム３０は、フロントガラスの座標（位置）および車両の想定通過速度などを考慮し、ETC車載器のアンテナが搭載されるフロントガラスに向けたタイミングで、無線信号の送受信を行う。
【００３８】
以上のように、上記構成の車両検出装置では、車両を撮影した画像データから車両の映像を構成する複数の線分成分を抽出し（ステップ３ｄおよび３ｅ）、これらの線分成分を用いて、閉ループを生成する多角形近似を行って、車両の特定部位（例えば、フロントガラス）の領域の候補を複数生成し（ステップ３ｆ）、それらに対して複数の異なる評価を行って最も確からしい車両の特定部位の領域を特定する（ステップ３ｇおよび３ｈ）ようにしている。
【００３９】
したがって、上記構成の車両検出装置によれば、目標とする車両の特定部位が写っていれば、画像解析によって上記特定部位を検出できるので、カメラの設置自由度が高く、また高い検出精度が得られる。
【００４０】
（第２の実施形態）
次に、第２の実施形態について説明する。なお、第２の実施形態は、見かけ上、図１および図２に示した第１の実施形態と同様であることより、その構成についての説明は省略する。また、第１の実施形態と同様に、ETCに適用した場合を例示する。第２の実施形態が、第１の実施形態と異なる点は、車両検出装置１００の制御プログラムが異なる点にある。このため、第２の実施形態に係わる車両検出装置１００の動作について説明する。
【００４１】
図７は、第２の実施形態に係わる車両検出装置１００の動作を説明するためのフローチャートであって、電源が投入されて起動されると、電源が切られるまで繰り返し実行される。なお、この動作は、制御部１５０が、記憶部１３０に記憶される制御プログラムや制御データにしたがって動作することにより実現する。
【００４２】
また車両検出装置１００の起動に先立って、ポールセンサ１０および電子カメラ２０も起動される。これにより、ポールセンサ１０は、ETCレーンへの車両進入の監視を開始し、電源が切られるまで、検出結果を車両検出装置１００に通知する。また電子カメラ２０は、所定のフレームレートによる撮影を開始し、電源が切られるまで、撮影した画像データを車両検出装置１００に伝送する。
【００４３】
まずステップ７ａにおいて制御部１５０は、ネットワークインタフェース１４０を通じたポールセンサ１０からの通知に基づいて、ETCレーンに車両が進入したか否かを判定する。ここで、車両の進入を検出した場合には、ステップ７ｂに移行し、一方、車両の進入が検出できない場合は、再びステップ７ａに移行して、車両の進入の監視を行う。
【００４４】
ステップ７ｂにおいて制御部１５０は、ネットワークインタフェース１４０を通じて、電子カメラ２０から伝送される複数の画像データのうち、所定の時刻に撮影されたフレームの画像データを抽出し、ステップ７ｃに移行する。以下、この抽出した画像データを処理対象画像データと称する。なお、上記所定の時刻は、車両の特定部位が写る画像データが抽出できるように、ポールセンサ１０の設置位置と電子カメラ２０のカメラ視野（撮影範囲）の位置関係（設置距離）、車両の想定通過速度などを考慮して決定される。
【００４５】
ステップ７ｃにおいて制御部１５０は、上記処理対象画像データに対して前処理を施し、ステップ７ｄに移行する。なお、具体的な前処理の内容としては、S/N比を向上させる目的でノイズ除去を行って画像の鮮鋭化を行ったり、あるいは映像のコントラストを向上させるためにフィルタリングを行う。また画像の補正を目的として、例えば、映像歪の修正などを行う。
【００４６】
ステップ７ｄにおいて制御部１５０は、図８に示すように、ステップ７ｃにて前処理が施された処理対象画像データの画像に対して、予め記憶部１３０に準備した種々の車両のドアミラーの形状および配置を組み合わせたパターンと一致する部位を探索するパターンマッチ処理を実施し、最も一致したパターンに基づいて、左ドアミラー情報dml(cx,cy,s)、右ドアミラー情報dmr(cx,cy,s)を検出し、ステップ７ｅに移行する。なお、cxは、処理対象画像データに基づく画像上のｘ座標、cyは、同画像のｙ座標、そして、sは、大きさを示す。
【００４７】
ステップ７ｅにおいて制御部１５０は、図８に示すように、ステップ７ｃにて前処理が施された処理対象画像データの画像に対して、予め記憶部１３０に準備した種々の顔パターンと一致する部位を探索するパターンマッチ処理を実施し、最も一致したパターンに基づいて、顔情報df(cx,cy,s)を検出し、ステップ７ｆに移行する。なお、cxは、処理対象画像データに基づく画像上のｘ座標、cyは、同画像のｙ座標、そして、sは、大きさを示す。
【００４８】
ステップ７ｆにおいて制御部１５０は、図８に示すように、ステップ７ｃにて前処理が施された処理対象画像データの画像に対して、予め記憶部１３０に準備した種々のハンドルの形状パターンと一致する部位を探索するパターンマッチ処理を実施し、最も一致したパターンに基づいて、ハンドル情報dh(cx,cy,s)を検出し、ステップ７ｇに移行する。なお、cxは、処理対象画像データに基づく画像上のｘ座標、cyは、同画像のｙ座標、そして、sは、大きさを示す。
【００４９】
ステップ７ｇにおいて制御部１５０は、左ドアミラー情報dml(cx,cy,s)、右ドアミラー情報dmr(cx,cy,s)、顔情報df(cx,cy,s)、およびハンドル情報dh(cx,cy,s)に基づいて、左ドアミラー、右ドアミラー、顔、ハンドルの配置や大きさに矛盾が無いかを判定し、矛盾が無い場合には、ステップ７ｈに移行する。なお、一般の車両では、左ドアミラーと右ドアミラーの間に、運転者の顔とハンドルが存在し、顔とハンドルの縦方向の座標は所定の範囲内に存在し、顔がハンドルの上方に存在する。このような配置に反することを、矛盾という。その他、サイズなども校了して矛盾が無いかを検知する。一方、矛盾がある場合には、ステップ７ｄに移行して、ドアミラー、顔、あるいはハンドルのうち、少なくとも１つを変更した組み合わせを検出する。
【００５０】
ステップ７ｈにおいて制御部１５０は、左ドアミラー情報dml(cx,cy,s)、右ドアミラー情報dmr(cx,cy,s)、顔情報df(cx,cy,s)およびハンドル情報dh(cx,cy,s)に基づいて、予め記憶部１３０に準備したフロントガラスのパターンから、最適なパターンを抽出するとともに、処理対象画像データに基づく画像上におけるフロントガラス領域を特定し、ステップ７ｉに移行する。
【００５１】
ステップ７ｉにおいて制御部１５０は、処理対象画像データの撮影時刻と、処理対象画像データの画像上におけるフロントガラス領域の位置とに基づいて、ETCレーン上の実空間におけるフロントガラスの座標（位置）を特定する座標変換処理を実施し、ステップ７ｊに移行する。
【００５２】
ステップ７ｊにおいて制御部１５０は、ステップ７ｉで特定したフロントガラスの座標（位置）をネットワークインタフェース１４０を通じて、ETCシステム３０に通知し、ステップ７ａに移行する。フロントガラスの座標（位置）の通知を受けたETCシステム３０は、フロントガラスの座標（位置）および車両の想定通過速度などを考慮し、ETC車載器のアンテナが搭載されるフロントガラスに向けたタイミングで、無線信号の送受信を行う。
【００５３】
以上のように、上記構成の車両検出装置では、車両の運転席付近を撮影した画像データからミラー、顔、ハンドルの位置や大きさを検出し（ステップ７ｄ、７ｅおよび７ｆ）、これらの情報に矛盾が無いことを確認（ステップ７ｇ）した後、上記情報に基づいて、画像データに基づく映像における車両の特定部位（フロントガラス）の領域を特定する（ステップ７ｈ）ようにしている。
【００５４】
したがって、上記構成の車両検出装置によれば、目標とする車両の運転席付近が写っていれば、画像解析によって上記特定部位を検出できるので、カメラの設置自由度が高く、また高い検出精度が得られる。
【００５５】
なお、上記第２の実施形態の説明では、運転者の顔を認識するものとして説明したが、これに限定されるものではなく、上半身や腕などを対象にパターンマッチ処理を施して、その位置を特定するようにしてもよい。
【００５６】
（第３の実施形態）
次に、第３の実施形態について説明する。なお、第３の実施形態は、見かけ上、図１および図２に示した第１の実施形態と同様であることより、その構成についての説明は省略する。また、第１の実施形態と同様に、ETCに適用した場合を例示する。第３の実施形態が、第１の実施形態と異なる点は、車両検出装置１００の制御プログラムが異なる点にある。このため、第３の実施形態に係わる車両検出装置１００の動作について説明する。
【００５７】
図９は、第３の実施形態に係わる車両検出装置１００の動作を説明するためのフローチャートであって、電源が投入されて起動されると、電源が切られるまで繰り返し実行される。なお、この動作は、制御部１５０が、記憶部１３０に記憶される制御プログラムや制御データにしたがって動作することにより実現する。
【００５８】
また車両検出装置１００の起動に先立って、ポールセンサ１０および電子カメラ２０も起動される。これにより、ポールセンサ１０は、ETCレーンへの車両進入の監視を開始し、電源が切られるまで、検出結果を車両検出装置１００に通知する。また電子カメラ２０は、所定のフレームレートによる撮影を開始し、電源が切られるまで、撮影した画像データを車両検出装置１００に伝送する。
【００５９】
まずステップ９ａにおいて制御部１５０は、ネットワークインタフェース１４０を通じたポールセンサ１０からの通知に基づいて、ETCレーンに車両が進入したか否かを判定する。ここで、車両の進入を検出した場合には、ステップ９ｂに移行し、一方、車両の進入が検出できない場合は、再びステップ９ａに移行して、車両の進入の監視を行う。
【００６０】
ステップ９ｂにおいて制御部１５０は、ネットワークインタフェース１４０を通じて、電子カメラ２０から伝送される複数の画像データのうち、所定の時刻に撮影されたフレームの画像データを抽出し、ステップ９ｃに移行する。以下、この抽出した画像データを処理対象画像データと称する。なお、上記所定の時刻は、車両の特定部位が写る画像データが抽出できるように、ポールセンサ１０の設置位置と電子カメラ２０のカメラ視野（撮影範囲）の位置関係（設置距離）、車両の想定通過速度などを考慮して決定される。
【００６１】
ステップ９ｃにおいて制御部１５０は、上記処理対象画像データに対して前処理を施し、ステップ９ｄに移行する。なお、具体的な前処理の内容としては、S/N比を向上させる目的でノイズ除去を行って画像の鮮鋭化を行ったり、あるいは映像のコントラストを向上させるためにフィルタリングを行う。また画像の補正を目的として、例えば、映像歪の修正などを行う。
【００６２】
ステップ９ｄにおいて制御部１５０は、ステップ９ｃにて前処理が施された処理対象画像データの画像に対して、図１０に示すように、ラベリング処理などによって車両のヘッドライトの領域を抽出し、その位置から推定される範囲からナンバープレートに類似する矩形の形状を抽出し、ステップ９ｅに移行する。一般に、ナンバープレートは、左右のヘッドライトの間の中心かつそれらを結ぶ線より下に存在する。左右のヘッドライト、およびナンバープレートの位置をフロント部情報として扱う。
【００６３】
なお、予め記憶部１３０に、車種毎に異なって存在するヘッドライト周辺やナンバープレート周辺の凹凸を示す凹凸情報を予めパターンとして記憶しておくとともに、車種毎のフロント部の情報（左右のヘッドライト、およびナンバープレートの位置）を記憶しておく。そして、ステップ９ｄでは、処理対象画像データの画像において、ヘッドライトやナンバープレートの周辺に存在する凹凸を、上記凹凸情報と比較するパターンマッチングを行って、車種を特定し、この特定した車種のフロント部の情報を検出するようにしてもよい。
【００６４】
ステップ９ｅにおいて制御部１５０は、ステップ９で検出したフロント部情報のうち、左右のヘッドライト位置および間隔から、車両の前方投影幅（もしくは、大型車／中型車／小型車の別）を推定し、ステップ９ｆに移行する。
【００６５】
ステップ９ｆにおいて制御部１５０は、ステップ９ｃにて前処理が施された処理対象画像データを含む連続したフレームの画像データの差分を検出して背景と分離し（図１１（ａ）参照）、この差分を１つの画像上に累積させることで、車両の外郭を検出し（図１１（ｂ）参照）、これに基づいて、車両の高さ（車高）およびフロントガラスの傾きを推定し、ステップ９ｇに移行する。
【００６６】
ステップ９ｇにおいて制御部１５０は、ステップ９ｄで求めたフロント部情報、ステップ９ｅで求めた車両の前方投影幅（もしくは、大型車／中型車／小型車の別）、ステップ９ｆで求めた車両の高さ（車高）およびフロントガラスの傾きに基づいて、フロントガラスが収まる範囲を推定し、ステップ９ｈに移行する。
【００６７】
ステップ９ｈにおいて制御部１５０は、予め記憶部１３０に準備した種々のフロントガラスの外形モデルを参照し、ステップ９ｇで推定した範囲に適応する外形モデルが存在する（すなわち、フロントガラス存在範囲の推定が正しい）かを確認し、存在する場合に、ステップ９ｉに移行する。一方、存在しない場合には、エラーメッセージを表示部１１０に出力する。
【００６８】
ステップ９ｉにおいて制御部１５０は、処理対象画像データの撮影時刻と、ステップ９ｉで推定した範囲とに基づいて、ETCレーン上の実空間におけるフロントガラスの座標（位置）を特定する座標変換処理を実施し、ステップ９ｊに移行する。
【００６９】
ステップ９ｊにおいて制御部１５０は、ステップ９ｉで特定したフロントガラスの座標（位置）をネットワークインタフェース１４０を通じて、ETCシステム３０に通知し、ステップ９ａに移行する。フロントガラスの座標（位置）の通知を受けたETCシステム３０は、フロントガラスの座標（位置）および車両の想定通過速度などを考慮し、ETC車載器のアンテナが搭載されるフロントガラスに向けたタイミングで、無線信号の送受信を行う。
【００７０】
以上のように、上記構成の車両検出装置では、車両のフロント部分を撮影した画像データからヘッドライトおよびナンバープレートを検出し（ステップ９ｄ）、これらの情報から車幅を推定する（ステップ９ｅ）とともに、複数の連続するフレームの画像データから車両の外郭を検出し（ステップ９ｆ）、車幅および外郭からフロントガラスが収まる範囲を推定する（ステップ９ｇ、９ｈ）ようにしている。
【００７１】
したがって、上記構成の車両検出装置によれば、目標とする車両のフロント部分が写っていれば、画像解析によって上記特定部位の位置を検出（推定）できるので、カメラの設置自由度が高く、また高い検出精度が得られる。
【００７２】
なお、本発明のいくつかの実施形態を説明したが、これらの実施形態は、例として提示したものであり、発明の範囲を限定することは意図していない。これら新規な実施形態は、その他の様々な形態で実施されることが可能であり、発明の要旨を逸脱しない範囲で、種々の省略、置き換え、変更を行うことができる。これら実施形態やその変形は、発明の範囲や要旨に含まれるとともに、特許請求の範囲に記載された発明とその均等の範囲に含まれる。
【符号の説明】
【００７３】
１０…ポールセンサ、２０…電子カメラ、３０…ETCシステム、１００…車両検出装置、１１０…表示部、１２０…ユーザインタフェース、１３０…記憶部、１４０…ネットワークインタフェース、１５０…制御部。
【特許請求の範囲】
【請求項１】
車両を撮影した画像から、車両の映像を構成する複数の線分成分を抽出する線分抽出手段と、
前記複数の線分成分を用いて閉ループを生成する多角形近似を行い、車両の特定部位の領域の候補を複数生成する候補生成手段と、
前記複数の候補に対して、それぞれ複数の異なる評価を行う評価手段と、
この評価手段の評価結果に基づいて、前記複数の候補のうち１つの候補を前記特定部位として検出する特定部位検出手段とを具備することを特徴とする車両検出装置。
【請求項２】
前記線分抽出手段は、車両を撮影した画像のカラー情報に基づいて、同系色毎の領域に分け、領域の境界を線分成分として抽出することを特徴とする請求項１に記載の車両検出装置。
【請求項３】
前記線分抽出手段は、車両を撮影した時間的に連続する複数の画像について、それぞれ車両の映像を構成する複数の線分成分を抽出し、これらの時間的に連続する線分成分から車両の移動に伴う幾何学的な変動予測を行って、車両の映像を構成する複数の線分成分を抽出することを特徴とする請求項１に記載の車両検出装置。
【請求項４】
前記候補生成手段は、
車両の特定部位の近傍部位の形状を示す複数のパターンと、このパターンに対応付けて特定部位の候補を複数記憶する記憶手段と、
前記複数の線分成分を用いて閉ループを生成する多角形近似を行い、前記近傍部位に類似するパターンを前記記憶手段から検出するパターン検出手段と、
このパターン検出手段が検出したパターンに対応付けられた複数の特定部位の候補を前記記憶手段から検出する候補検出手段とを備えることを特徴とする請求項１に記載の車両検出装置。
【請求項５】
前記候補生成手段は、前記複数の線分成分を補完して閉ループを生成する多角形近似を行い、車両の特定部位の領域の候補を複数生成することを特徴とする請求項１に記載の車両検出装置。
【請求項６】
車両を撮影した画像から、左および右のサイドミラーを検出するミラー検出手段と、
前記画像から、運転者の顔を検出する顔検出手段と、
前記画像から、ハンドルを検出するハンドル検出手段と、
前記ミラー検出手段、前記顔検出手段および前記ハンドル検出手段の各検出結果に基づいて、前記画像におけるフロントガラスの位置を検出するフロントガラス検出手段とを具備することを特徴とする車両検出装置。
【請求項７】
車両を撮影した画像から、左および右のヘッドライトを検出するヘッドライト検出手段と、
前記画像から、ナンバープレートを検出するナンバープレート検出手段と、
前記ヘッドライト検出手段および前記ナンバープレート検出手段の各検出結果に基づいて、車両の幅を推定する幅推定手段と、
前記画像を含む前記車両を撮影した複数の画像から、前記車両と背景の境界を抽出することで前記車両の外郭を検出する外郭検出手段と、
前記幅推定手段が推定した幅と、前記外郭検出手段が検出した外郭とに基づいて、前記画像におけるフロントガラスの位置を検出する特定部位検出手段とを具備することを特徴とする車両検出装置。
【請求項８】
前記特定部位検出手段の検出結果を得るために用いた画像の撮影時間、撮影位置および前記特定部位検出手段が検出した位置に基づいて、前記位置の実空間における座標を求める座標検出手段とを備えることを特徴とする請求項１、請求項６、請求項７のいずれかに記載の車両検出装置。
【請求項１】
車両を撮影した画像から、車両の映像を構成する複数の線分成分を抽出する線分抽出手段と、
前記複数の線分成分を用いて閉ループを生成する多角形近似を行い、車両の特定部位の領域の候補を複数生成する候補生成手段と、
前記複数の候補に対して、それぞれ複数の異なる評価を行う評価手段と、
この評価手段の評価結果に基づいて、前記複数の候補のうち１つの候補を前記特定部位として検出する特定部位検出手段とを具備することを特徴とする車両検出装置。
【請求項２】
前記線分抽出手段は、車両を撮影した画像のカラー情報に基づいて、同系色毎の領域に分け、領域の境界を線分成分として抽出することを特徴とする請求項１に記載の車両検出装置。
【請求項３】
前記線分抽出手段は、車両を撮影した時間的に連続する複数の画像について、それぞれ車両の映像を構成する複数の線分成分を抽出し、これらの時間的に連続する線分成分から車両の移動に伴う幾何学的な変動予測を行って、車両の映像を構成する複数の線分成分を抽出することを特徴とする請求項１に記載の車両検出装置。
【請求項４】
前記候補生成手段は、
車両の特定部位の近傍部位の形状を示す複数のパターンと、このパターンに対応付けて特定部位の候補を複数記憶する記憶手段と、
前記複数の線分成分を用いて閉ループを生成する多角形近似を行い、前記近傍部位に類似するパターンを前記記憶手段から検出するパターン検出手段と、
このパターン検出手段が検出したパターンに対応付けられた複数の特定部位の候補を前記記憶手段から検出する候補検出手段とを備えることを特徴とする請求項１に記載の車両検出装置。
【請求項５】
前記候補生成手段は、前記複数の線分成分を補完して閉ループを生成する多角形近似を行い、車両の特定部位の領域の候補を複数生成することを特徴とする請求項１に記載の車両検出装置。
【請求項６】
車両を撮影した画像から、左および右のサイドミラーを検出するミラー検出手段と、
前記画像から、運転者の顔を検出する顔検出手段と、
前記画像から、ハンドルを検出するハンドル検出手段と、
前記ミラー検出手段、前記顔検出手段および前記ハンドル検出手段の各検出結果に基づいて、前記画像におけるフロントガラスの位置を検出するフロントガラス検出手段とを具備することを特徴とする車両検出装置。
【請求項７】
車両を撮影した画像から、左および右のヘッドライトを検出するヘッドライト検出手段と、
前記画像から、ナンバープレートを検出するナンバープレート検出手段と、
前記ヘッドライト検出手段および前記ナンバープレート検出手段の各検出結果に基づいて、車両の幅を推定する幅推定手段と、
前記画像を含む前記車両を撮影した複数の画像から、前記車両と背景の境界を抽出することで前記車両の外郭を検出する外郭検出手段と、
前記幅推定手段が推定した幅と、前記外郭検出手段が検出した外郭とに基づいて、前記画像におけるフロントガラスの位置を検出する特定部位検出手段とを具備することを特徴とする車両検出装置。
【請求項８】
前記特定部位検出手段の検出結果を得るために用いた画像の撮影時間、撮影位置および前記特定部位検出手段が検出した位置に基づいて、前記位置の実空間における座標を求める座標検出手段とを備えることを特徴とする請求項１、請求項６、請求項７のいずれかに記載の車両検出装置。
【図１】
【図２】
【図３】
【図４】
【図５】
【図６】
【図７】
【図８】
【図９】
【図１０】
【図１１】
【図２】
【図３】
【図４】
【図５】
【図６】
【図７】
【図８】
【図９】
【図１０】
【図１１】
【公開番号】特開２０１２−６４０４６（Ｐ２０１２−６４０４６Ａ）
【公開日】平成２４年３月２９日（２０１２．３．２９）
【国際特許分類】
【出願番号】特願２０１０−２０８５３９（Ｐ２０１０−２０８５３９）
【出願日】平成２２年９月１６日（２０１０．９．１６）
【出願人】（０００００３０７８）株式会社東芝 (54,554)
【Ｆターム（参考）】
【公開日】平成２４年３月２９日（２０１２．３．２９）
【国際特許分類】
【出願日】平成２２年９月１６日（２０１０．９．１６）
【出願人】（０００００３０７８）株式会社東芝 (54,554)
【Ｆターム（参考）】
[ Back to top ]