車両検出装置および車両検出方法並びに車両検出プログラム
【課題】斜め方向から車両を撮影した画像に基づいて、被写体の車両に非対称な部分があるか否かを判断する。
【解決手段】車両を撮影した画像から、前記車両の正面の中央位置を示す部分と、前記車両の正面において水平方向に伸びる直線部分を示す複数の線分とを含む特徴部位を抽出し、前記中央位置を示す部分と前記中央位置を示す部分に近接する前記線分の相対位置に基づいて、前記線分の中心を求め、前記線分の中心から前記線分の一端までの距離と、前記線分の中心から前記線分の他端までの距離との比を算出し、前記複数の線分を前記比に基づいて内分する内分点を求め、前記各線分の内分点を結ぶ中心線を生成し、前記車両を撮影した画像に含まれる前記車両を表す部分の画像において、前記中心線を境界として前記車両の正面の左側部分と右側部分とを比較することにより、前記中心線を基準として非対称な特徴を持つ画像の領域を検出する。
【解決手段】車両を撮影した画像から、前記車両の正面の中央位置を示す部分と、前記車両の正面において水平方向に伸びる直線部分を示す複数の線分とを含む特徴部位を抽出し、前記中央位置を示す部分と前記中央位置を示す部分に近接する前記線分の相対位置に基づいて、前記線分の中心を求め、前記線分の中心から前記線分の一端までの距離と、前記線分の中心から前記線分の他端までの距離との比を算出し、前記複数の線分を前記比に基づいて内分する内分点を求め、前記各線分の内分点を結ぶ中心線を生成し、前記車両を撮影した画像に含まれる前記車両を表す部分の画像において、前記中心線を境界として前記車両の正面の左側部分と右側部分とを比較することにより、前記中心線を基準として非対称な特徴を持つ画像の領域を検出する。
【発明の詳細な説明】
【技術分野】
【０００１】
本件開示は、固定されたカメラによって撮影された画像に含まれる車両を表す部分から、車両の特徴を抽出する技術に関する。
【背景技術】
【０００２】
路上に設置されたカメラによって道路を走行する車両を撮影して得られた画像に基づいて特定の車両を検出するために、画像に含まれるナンバープレート部分を認識する技術が提案されている。
【０００３】
また、車両を撮影して得られた画像を解析し、傾き補正後の車体部分の画像が左右対称であることを条件の一つとして、蓄積する画像のデータ量を低減する処理を適用する技術が提案されている(例えば、特許文献２参照)。
【先行技術文献】
【特許文献】
【０００４】
【特許文献１】国際公開ＷＯ２００６／０８２６４４
【発明の概要】
【発明が解決しようとする課題】
【０００５】
ところで、路上や車両検査場などの施設にカメラを設置する際に、車両を斜め方向から撮影する位置にカメラの設置場所が限られる場合がある。車両を斜め方向から撮影して得られる画像に対して単純な傾き補正を適用すると、車両の外形が大きくゆがんでしまう場合がある。そして、このようにゆがんだ画像に基づいて、被写体となった車両に非対称な部分があるか否かを判断することは困難である。
【０００６】
本件開示は、斜め方向から車両を撮影した画像に基づいて、被写体の車両に非対称な部分があるか否かを判断可能な車両検出装置および車両検出方法並びに車両検出プログラムを提供することを目的とする。
【課題を解決するための手段】
【０００７】
本件開示の車両検出装置および車両検出方法並びに車両検出プログラムは、車両を撮影した画像から、前記車両の正面の中央位置を示す部分と、前記車両の正面において水平方向に伸びる直線部分を示す複数の線分とを含む特徴部位を抽出し、前記中央位置を示す部分と前記中央位置を示す部分に近接する前記線分の相対位置に基づいて、前記線分の中心を求め、前記線分の中心から前記線分の一端までの距離と、前記線分の中心から前記線分の他端までの距離との比を算出し、前記複数の線分を前記比に基づいて内分する内分点を求め、前記各線分の内分点を結ぶ中心線を生成し、前記車両を撮影した画像に含まれる前記車両を表す部分の画像において、前記中心線を境界として前記車両の正面の左側部分と右側部分とを比較することにより、前記中心線を基準として非対称な特徴を持つ画像の領域を検出する。
【発明の効果】
【０００８】
本件開示の車両検出装置および車両検出方法並びに車両検出プログラムによれば、斜め方向から車両を撮影した画像に基づいて、被写体の車両に非対称な部分があるか否かを判断可能である。
【図面の簡単な説明】
【０００９】
【図１】車両検出装置の一実施形態を示す図である。
【図２】画像から抽出される特徴部位を説明する図である。
【図３】特徴部位の相対位置を説明する図である。
【図４】検出部の処理例を説明する図である。
【図５】コンピュータの機能ブロック図である。
【図６】非対称車両を検出する処理を表す流れ図である。
【図７】車両検出装置の別実施形態を示す図である。
【図８】特徴部位を抽出する処理の一例を表す流れ図である。
【図９】算出部の処理の一例を表す流れ図である。
【図１０】非対称な領域を検出する処理の一例を表す流れ図である。
【図１１】車両認識データベースの例を示す図である。
【図１２】非対称な特徴を持つ車両を検出した結果の表示例を示す図である。
【図１３】車両検出装置の別実施形態を示す図である。
【図１４】非対称な特徴を検出する処理の別例を表す流れ図である。
【発明を実施するための形態】
【００１０】
以下、図面に基づいて、本発明の実施形態について詳細に説明する。
【００１１】
図１に、車両検出装置の一実施形態を示す。図１は、本件開示の車両検出装置１０と、車両１、カメラ２および画像入力部３との概略の関係を示す。
【００１２】
図１に示すカメラ２は、例えば、車両１の斜め前方からこの車両１を撮影する。カメラ２は、道路わきの街灯の支柱などに、道路上を走行する車両１を視野内に捉えることが可能な角度で設置してもよい。
【００１３】
画像入力部３は、このカメラ２によって撮影される映像に含まれる画像を取得し、取得した画像を車両検出装置１０に入力する。画像入力部３は、カメラ２からの映像に含まれる各フレームの画像を車両検出装置１０に渡してもよいし、数フレームごとに画像を渡してもよい。
【００１４】
図１に示した車両検出装置１０は、抽出部１１と、算出部１２と、生成部１３と、検出部１４とを有する。
【００１５】
抽出部１１は、入力された画像に含まれる車両１を表す部分である車両画像から、車両１の正面に位置する水平な直線成分を表す線分と、この車両１の正面における中央位置を示す部分とを含む特徴部位を抽出する。
【００１６】
図２に、画像から抽出される特徴部位を説明する図を示す。図２に示す符号１ｇは、画像に含まれる車両１を表す部分である車両画像である。図２に示す符号Ｅ１〜Ｅ６および符号Ｍ１，Ｍ２は、車両画像１ｇから抽出される特徴部位の例である。
【００１７】
符号Ｅ１〜Ｅ６で示す破線は、車両１の正面に位置する水平な直線成分に対応する線分の例である。図２の例では、符号Ｅ１は、車両１のフロントガラスの上側とルーフの境界線に対応する。また、符号Ｅ２は、車両１のフロントガラスの下側とボンネットとの境界線に対応する。また、符号Ｅ３は、車両１のフロントグリルの下側とバンパーとの境界線に対応する。また、符号Ｅ４は、車両１のナンバープレートの輪郭の上側に対応する。また、符号Ｅ５は、車両１のバンパーに形成された溝状の構造に対応する。そして、符号Ｅ６は、車両１のバンパーの輪郭の下側に対応する。
【００１８】
図２に示した符号Ｍ１，Ｍ２は、車両１の正面の中央位置を示す部分の抽出例である。図２の例では、符号Ｍ１は、ナンバープレートを示す。また、符号Ｍ２は、車両１にメーカーやブランドを示すエンブレムの例を示す。なお、抽出部１１は、車両１の中央位置を示す部分として、上述したナンバープレートおよびエンブレムに加えて、フロントガラスの内側に貼付された車両検査証のシールなどを表す画像を抽出してもよい。また、抽出部１１は、室内のバックミラーなどを表す画像を、車両１の正面の中央位置を示す部分として抽出してもよい。
【００１９】
図１に示した算出部１２は、中央位置を示す部分とこの中央位置を示す部分に近接する線分の相対位置に基づいて、当該線分において、対応する直線部分の中央を示す線分の中心を求める。また、算出部１２は、この線分の中心から当該線分の一端までの距離と、この線分の中心から当該線分の他端までの距離との比を算出する。
【００２０】
図３に、特徴部位の相対位置を説明する図を示す。図３は、図２に示した線分Ｅ３，Ｅ５と、符号Ｍ１で示した画像中のナンバープレートとの相対位置の例である。
【００２１】
図３に示した例では、符号Ｍ１で示した画像中のナンバープレートにおいて、実際の車両１のナンバープレートの水平方向の中央位置に対応する位置は、線分Ｅ５上の点Ｃ５の位置である。図３の例では、符号Ｃ５で示した三角形により、この点Ｃ５の位置を示した。この点Ｃ５は、線分Ｅ５に対応する車両１の直線部分の中央に対応する、線分Ｅ５の中心である。
【００２２】
算出部１２は、この点Ｃ５から線分Ｅ５の一方の端点までの距離ａと、点Ｃ５から線分Ｅ５の他端までの距離ｂとの比ａ：ｂを算出する。この比ａ：ｂは、図１に示したカメラ２の撮影方向と車両１の正面方向との間の傾き角を反映している。したがって、上述した線分Ｅ５とともに車両画像１ｇから抽出された線分Ｅ３を上述した比ａ：ｂで内分する点Ｃ３は、この線分Ｅ３において、対応する車両１の直線部分の中央に対応する点であり、この線分Ｅ３の中心である。なお、図３の例では、符号Ｃ３で示した三角形により、この線分Ｅ３を比ａ：ｂで内分する点、すなわち、線分Ｅ３の中心の位置を示した。同様に、図２に示した線分Ｅ１，Ｅ２，Ｅ４，Ｅ６をそれぞれ比ａ：ｂで内分する内分点は、各線分に対応する車両１の直線部分の中央に対応する、各線分の中心である。図２に符号Ｃ１〜Ｃ６で示した三角形は、各線分Ｅ１〜Ｅ６の中心を示す。
【００２３】
図１に示した生成部１３は、算出部１２で算出された比ａ：ｂに基づいて、抽出部１１で抽出された各線分を内分する内分点を求める。また、生成部１３は、各線分について求めた内分点を互いに結ぶことにより、中心線を生成する。
【００２４】
上述したように、抽出部１１によって抽出された各線分を上述した比ａ：ｂで内分する内分点は、各線分に対応する車両１の直線部分の中央に対応する、各線分の中心である。したがって、これらを結んで生成される車両画像１ｇにおける中心線は、実際の車両１の正面の中心線に対応する。
【００２５】
図２に、各線分Ｅ１〜Ｅ６について求めた内分点Ｃ１〜Ｃ６を順に接続して得られる中心線ＣＬの例を示した。
【００２６】
図１に示した検出部１４は、車両画像１ｇのうち、上述したようにして生成された中心線を境界として、車両１を正面から見たときの左側に対応する部分と右側に対応する部分とを互いに比較する。そして、検出部１４は、比較結果に基づいて、中心線を基準として非対称な特徴を持つ部分を車両画像１ｇから検出する。
【００２７】
検出部１４は、例えば、フロントガラスやボンネットなどのように、正常な状態では左右対称である部品の左側部分の輪郭と右側部分の輪郭とを、次のようにして比較して、非対称な部分を検出してもよい。
【００２８】
図４に、検出部の処理例を説明する図を示す。図４は、車両画像１ｇに含まれるフロントガラスの輪郭を示すエッジを中心線を挟んで左側部分と右側部分とで比較する例である。
【００２９】
例えば、検出部１４は、フロントガラスの輪郭の下側に対応する線分Ｅ２に平行な直線Ｑを用いて、フロントガラス部分の対称性を調べてもよい。
【００３０】
図４に示した符号Ｑは、フロントガラスの輪郭の下側に対応する線分Ｅ２に平行な直線である。また、符号ＱＬ，ＱＲは、フロントガラスの輪郭に対応して車両画像１ｇに含まれるエッジの左側部分および右側部分と上述した直線Ｑとの交点である。また、符号ＱＣは、中心線ＣＬと直線Ｑとの交点である。
【００３１】
検出部１４は、図４に示した交点ＱＬ，ＱＲと、交点ＱＣとの距離ＸＬ、ＸＲをそれぞれ算出する。次いで、検出部１４は、距離の比ＸＬ：ＸＲを算出し、この距離の比ＸＬ：ＸＲと、算出部１２で算出した比ａ：ｂとを比較する。この比較結果に基づいて、検出部１４は、距離の比ＸＬ：ＸＲが、比ａ：ｂから所定の閾値以上にずれている箇所を、中心線に対して非対称な部分として検出する。同様にして、検出部１４は、車両１のボンネットの凹みなどに伴って車両画像１ｇのエッジに現れる非対称な部分を検出することができる。
【００３２】
また、検出部１４は、中心線からの距離の比が算出部１２で得られた比ａ：ｂとなる画素を中心とする所定の領域ごとに、輝度値の平均や色を比較することにより、非対称な領域を検出してもよい。
【００３３】
このようにして検出された領域は、被写体となっている車両１において、正面から見て左側と右側とで非対称な特徴を示す部分に相当する。つまり、検出部１４の処理により、車両１を斜め方向から撮影するカメラ２によって取得された車両画像１ｇに基づいて、車両１が持っている非対称な特徴を検出することができる。
【００３４】
このように、本件開示の車両検出装置によれば、斜め方向から撮影された画像に基づいて、車両１に非対称な部分があるか否かを判断することができる。つまり、本件開示の車両検出装置によれば、道路を走行する車両を正面以外の方向から撮影するカメラによって得られる画像から、非対称な特徴を持つ車両を検出することが可能となる。これにより、車両の認識に利用する画像を取得するためのカメラを高い自由度で設置することができる。このような特徴は、例えば、道路を走行する車両の中から特定の特徴を持つ車両を検出するシステムなどに有用である。また、本件開示の車両検出装置は、車両検査場などでの簡易検査などにも適用が可能である。
【００３５】
なお、検出部１４の処理は、以上で説明した手法のほかにも、後述するように、様々な手法で実現することができる。また、本件開示の車両検出装置は、コンピュータ装置を用いて実現することができる。
【００３６】
図５に、コンピュータ装置の機能ブロック図を示す。図５に示したコンピュータ装置は、プロセッサ２１と、メモリ２２と、ハードディスク装置(ＨＤＤ：Hard Disk Drive)２３と、表示制御部２４と、表示装置２５と、入力装置２６とを含む。更に、コンピュータ装置は、光学ドライブ装置２８と、通信制御部２９を含む。
【００３７】
プロセッサ２１と、メモリ２２と、ＨＤＤ２３と、表示制御部２４と、入力装置２６と、光学ドライブ装置２８と、通信制御部２９とは、バスを介して接続される。また、通信制御部２９は、ネットワーク３０に接続される。また、コンピュータ装置は、例えば、画像入力インタフェース部２７を介して、図１に示したカメラ２からの映像信号を受け取ってもよい。また、コンピュータ装置は、通信制御部２９およびネットワークを介して、カメラ２からの映像信号を受け取ってもよい。
【００３８】
ＨＤＤ２３には、オペレーティングシステムおよび車両画像に基づいて非対称な特徴を持つ車両を検出する処理を実行するためのアプリケーションプログラムが格納されている。アプリケーションプログラムは、本件開示の車両検出方法に含まれる各処理を実行するためのプログラムを含む。なお、車両検出処理を実行するためのアプリケーションプログラムは、例えば、コンピュータ読取可能なリムーバブルディスク３１に記録して頒布することができる。そして、このリムーバブルディスク３１を光学ドライブ装置２８に装着して読み込み処理を行うことにより、車両検出処理を実行するためのアプリケーションプログラムは、ＨＤＤ２３にインストールされる。また、インターネットなどのネットワーク３０と通信制御部２９を介して、車両検出処理を実行するためのアプリケーションプログラムをＨＤＤ２３にインストールすることもできる。
【００３９】
図５に例示したコンピュータ装置は、プロセッサ２１、メモリ２２などのハードウェアと、オペレーティングシステムおよびアプリケーションプログラムなどのプログラムとが有機的に協働することにより、上述した各種機能を実現する。
【００４０】
また、図１に示した抽出部１１、算出部１２、生成部１３および検出部１４は、それぞれ、プロセッサ２１が対応するプログラムを実行することによって実現してもよい。同様に、図１に示した画像入力部３は、プロセッサ２１と画像入力インタフェース２７と映像信号から画像を取得するためのプログラムとの組み合わせによって実現してもよいし、プロセッサ２１と通信制御部２９との組み合わせによって実現してもよい。また、図１に示した各部の処理過程で生成される情報は、メモリ２２あるいはＨＤＤ２３などに格納される。
【００４１】
図６に、非対称車両を検出する処理を表す流れ図を示す。図６に示した各ステップの処理は、プロセッサ２１により、車両検出処理を実行するためのアプリケーションプログラムに従って実行される。
【００４２】
車両検出処理に先立って、プロセッサ２１は、例えば、画像入力インタフェース２７および画像取得処理のためのプログラムと協働することにより、カメラ２によって撮影される映像から画像を取得する(ステップ３０１)。プロセッサ２１は、映像から取得した画像を、以降に述べる非対称車両を検出する処理に利用する。なお、プロセッサ２１は、カメラ２によって撮影される映像に含まれる各フレームに対応する画像あるいは所定数のフレームごとに抽出したフレームに対応する画像を取得する。
【００４３】
プロセッサ２１は、上述したアプリケーションプログラムに含まれる抽出部１１を実現するためのプログラムと協働することにより、例えば、画像入力インタフェース２７を介して入力される画像から特徴部位を抽出する処理を行う(ステップ３０２)。プロセッサ２１は、例えば、入力された画像に対応するエッジ画像から、所定の閾値以上の長さを持つ線分を抽出することにより、車両１の正面の水平な直線成分に対応する線分を抽出する。また、プロセッサ２１は、例えば、パターンマッチング技術を利用して、入力された画像からナンバープレートあるいはエンブレムなど車両１の中央に配置される部材に対応する特徴部位を抽出する。
【００４４】
次いで、プロセッサ２１は、上述したアプリケーションプログラムに含まれる算出部１２を実現するためのプログラムと協働することにより、車両１の正面の水平方向の中心に対応する線分の中心から両端までの距離の比を算出する処理を行う(ステップ３０３)。プロセッサ２１は、例えば、図２および図３を用いて説明したようにして、車両１の中央を示す部分の位置に基づいて、この中央を示す部分に近接する線分の中心を特定し、この線分の中心がこの線分を内分する比を算出する。
【００４５】
次に、プロセッサ２１は、上述したアプリケーションプログラムに含まれる生成部１３を実現するためのプログラムと協働することにより、中心線を生成する処理を行う(ステップ３０４)。例えば、プロセッサ２１は、ステップ３０３で算出した比に基づいて、各線分を内分する内分点を順次に接続することにより、中心線を生成する。
【００４６】
そして、プロセッサ２１は、上述したアプリケーションプログラムに含まれる検出部１４を実現するためのプログラムと協働して、この中心線を挟んで、車両１の左側部分に対応する画像と右側部分に対応する画像とを比較する。そして、この比較結果に基づいて、プロセッサ２１は、中心線を基準として非対称な特徴を持つ画像の領域を検出する(ステップ３０５)。このステップ３０４の処理で検出された領域は、被写体となっている車両１において、中心線の左側と右側とで非対称な特徴を示す部分に相当する。
【００４７】
したがって、プロセッサ２１は、ステップ３０５の処理で非対称な特徴を持つ画像の領域を検出したか否かに基づいて、車両１が非対称な特徴を持っているか否かを判断することができる。そして、プロセッサ２１は、この判断結果に基づいて、検出した非対称な領域を示す情報あるいは非対称な特徴がない旨の情報を、例えば、車両１を識別する情報に対応して、メモリ２２あるいはＨＤＤ２３に格納してもよい。
【００４８】
なお、プロセッサ２１は、上述した処理で得られた検出結果を、表示制御部２４を介して表示装置２５に表示させてもよい。また、プロセッサ２１は、上述した処理で得られた検出結果を、通信制御部２９およびネットワーク３０を介して、別のコンピュータ装置に通知してもよい。
【００４９】
以下、本件開示の車両検出装置の別実施形態について説明する。
【００５０】
図７に、車両検出装置の別実施形態を示す。なお、図７に示した構成要素のうち、図１に示した構成要素と同等のものについては、同一の符号を付して示し、その説明は省略する。
【００５１】
図７に示した画像入力３は、図１に示したカメラ２によって撮影された映像から抽出した画像を、車両検出部１０と既存のナンバープレート認識装置４とに入力する。
【００５２】
ナンバープレート認識装置４は、ナンバープレート抽出部４−ａと、ナンバー認識処理部４−ｂとを有する。ナンバープレート抽出部４−ａは、画像入力部３から受け取った画像に対してパターンマッチング処理などの画像処理を行うことにより、画像に含まれるナンバープレート部分を抽出する。ナンバー認識処理部４−ｂは、抽出されたナンバープレート部分の画像を解析することにより、カメラ２によって撮影された車両１の登録ナンバーを認識する。ナンバープレート抽出部４−ａは、画像から抽出したナンバープレート部分について、画像における位置を示す情報を出力してもよい。例えば、ナンバープレート抽出部４−ａは、画像に含まれるナンバープレート部分の範囲の境界を示す画素のアドレスなどを、ナンバープレート部分の画像における位置を示す情報として出力してもよい。
【００５３】
図７に例示した抽出部１１は、画像処理部２１２と線分抽出部２１３とエンブレム抽出部２１４とを有する。画像処理部２１２は、画像入力部３によって入力される画像から、車両１を表す車両画像を抽出する。エンブレム抽出部２１４は、抽出された車両画像からエンブレムを表す部分を抽出する。エンブレム抽出部２１４は、エンブレムを表す部分として抽出した画像の領域の位置を示す情報を、車両１の中央を示す特徴部位の位置を示す情報の一つとして出力する。また、画像処理部２１２は、抽出した車両画像からエッジ成分を抽出して、エッジ画像を生成する。線分抽出部２１３は、生成されたエッジ画像から、車両１の正面において水平方向に伸びる直線部分に対応する線分を抽出する。線分抽出部２１３は、例えば、エッジ画像に含まれる所定値以上の長さを持つ直線部分の中から、後述する所定の条件に従って、水平方向に伸びる直線成分に対応する線分を抽出する。この線分抽出部２１３は、例えば、抽出した直線部分それぞれの両端の位置を示す情報を、抽出処理結果として出力してもよい。
【００５４】
なお、エンブレム抽出部２１４は、車両特徴データベース５に蓄積された情報を利用して、車両１を表す部分として抽出された画像に含まれるエンブレム部分を抽出する処理を行ってもよい。
【００５５】
図７に示した車両特徴データベース５は、例えば、代表的な車種の車両について、車両に含まれる主要な部品の位置や形状を示す特徴情報を蓄積している。車両特徴データベース４に蓄積される特徴情報は、例えば、セダンタイプやワゴンタイプあるいは軽自動車などの各車種について、フロントガラスやボンネットの概略の形状や平均的なサイズなどを示す情報を含む。また、車両特徴データベース４に蓄積される特徴情報は、更に、代表的な自動車メーカー各社のエンブレムやマークの形状の特徴を示す情報を含んでもよい。
【００５６】
また、図７に示した算出部１２は、後述するようにして、車両１の中央を示す特徴部位の位置に基づいて、この特徴部位に近接する線分の中心を特定し、特定した線分の中心から当該線分の両端までの距離の比を算出する。算出部１２は、算出した距離の比を、生成部１３に渡す。
【００５７】
図７に例示した生成部１３は、座標計算部２１６と方程式生成部２１７とを有する。座標算出部２１６は、算出部１２で算出された比を受け取り、この比に従って、線分抽出部２１３によって抽出された各線分をそれぞれ内分する点の座標を算出する。方程式生成部２１７は、座標算出部２１６で算出された座標に基づいて、これらの座標を順次に接続する複数の直線の方程式を生成する。これらの方程式によって表される折れ線は、車両画像１ｇにおいて、実際の車両１の正面の中心線に対応する。このようにして生成された中心線を示す情報は、検出部１４に渡される。
【００５８】
図７に例示した検出部１４は、部分画像抽出部２１８と、変形部２１９と、照合部２２０と、対称性判定部２２１とを有する。部分画像抽出部２１８は、車両画像から、例えば、車両１に含まれる左右対称な形状を有する部品それぞれを表す画像の部分を抽出する。部分画像抽出部２１８は、個々の部品を表す画像の部分を抽出する処理に、車両特徴データベース５に蓄積された特徴情報を利用してもよい。部分画像抽出部２１８によって抽出された各部品の画像は、上述した中心線を境界として、車両１の正面から見て左側部分に対応する左側画像と右側部分に対応する右側画像とに分けることができる。変形部２１９は、抽出された各部品に対応する画像に含まれる左側画像と右側画像を、算出部１２によって算出された比に基づいてそれぞれ変形する。照合部２２０は、変形された左側画像と右側画像とを中心線を基準として照合する。この照合結果に基づいて、対称性判定部２２１は、上述した個々の部品について、中心線を基準にして左側の形状と右側の形状に非対称な特徴があるか否かを判定する。検出部１４は、各部品について対称性判定部２２１によって得られた判定結果に基づく検出結果を出力する。
【００５９】
図７に示した結果保存部６は、検出部１４によって得られた検出結果を車両認識データベース８に保存する。結果通知部７は、検出部１４によって車両１ごとに得られる検出結果を示す情報、あるいは、車両認識データベース８に複数の車両について保存された検出結果を示す情報を一括して通知する処理を行う。
【００６０】
図７に示した制御部９は、図７に示した各部の間の情報のやり取りを制御する処理を行う。例えば、画像処理部２１２によって抽出された車両画像は、制御部９を介して、部分画像抽出部２１８に渡される。また、ナンバープレート認識装置４による認識結果は、制御部９を介して対称性判定部２２１にも渡される。また、結果通知部７は、例えば、制御部９を介して、オペレータや他のシステムに対して、上述した検出結果を示す情報を通知する。
【００６１】
図７に示した各部の処理は、図５に例示したコンピュータ装置に含まれるプロセッサ２１、メモリ２２などのハードウェアと、オペレーティングシステムおよびアプリケーションプログラムなどのプログラムとが有機的に協働することによって実現されてもよい。
【００６２】
次に、抽出部１１、算出部１３、生成部１３および検出部１４の処理についてそれぞれ説明する。
【００６３】
図８に、特徴部位を抽出する処理を表す流れ図を示す。図８に示した各ステップは、図６に示したステップ３０２の処理の一例である。図８に示した各ステップは、それぞれ制御部９と抽出部１１に含まれる各部によって実行される。
【００６４】
画像入力部３からの画像を受け取った画像処理部２１２は、画像に含まれる車両１を表す部分を車両画像として抽出する処理を行う(ステップ３０２−１)。車両画像を抽出する処理には、例えば、背景との色の違いを利用する技術などの公知技術を利用することができる。
【００６５】
画像処理部２１２により、車両画像を抽出できなかった場合に(ステップ３０２−２の否定判定)、処理は、制御部２１１を介して、図６のステップ３０１に戻される。そして、新たな画像が画像入力部３から入力されたときに、画像処理部２１２は、再び、この新たな画像から車両画像を抽出する処理を行う。
【００６６】
一方、画像処理部２１２により、車両画像が抽出された場合に(ステップ３０２−２の肯定判定)、エンブレム抽出部２１４は、車両画像からエンブレムを表す部分を抽出する処理を行う(ステップ３０２−３)。また、このとき、ナンバープレート抽出部４−ａにより、同じ車両画像からナンバープレート部分を抽出する処理が行われる。そして、制御部９は、ナンバープレート抽出部４−ａからナンバープレートの位置を示す情報を受け取る(ステップ３０２−４)。
【００６７】
ナンバープレートの位置を示す情報を受け取ったときに(ステップ３０２−５の肯定判定)、制御部９は、ナンバープレートの検出は成功したと判断する。そして、制御部９は、車両１に対応する認識結果を示す情報の一部として、ナンバープレートの検出成功を示す情報と当該ナンバープレートの位置を示す情報とを記録する(ステップ３０２−６)。例えば、制御部９は、ナンバープレートを表す四角形の各頂点に対応する画素のアドレスを、ナンバープレートの位置を示す情報として記録してもよい。一方、ナンバープレート抽出部４−ａからナンバープレートの位置を示す情報が得られなかった場合に(ステップ３０２−５の否定判定)、制御部９は、ナンバープレートの抽出が失敗したと判断する。この場合に、制御部９は、車両１に対応する認識結果を示す情報の一部として、ナンバープレートの検出が失敗した旨の情報を記録する(ステップ３０２−７)。
【００６８】
次いで、画像処理部２１２は、ステップ３０２−１で抽出した車両画像に対応するエッジ画像を生成する(ステップ３０２−８)。線分抽出部２１３は、生成されたエッジ画像から、車両１の正面の外形において水平方向の直線部分を示す複数の線分を抽出する(ステップ３０２−９)。線分抽出部２１３は、例えば、直線部分の傾きの範囲が所定の範囲内であることを条件として、車両１の正面の水平方向に伸びる直線部分を示す複数の線分を選択的に抽出してもよい。例えば、線分抽出部２１３は、図１に示したカメラ２の光軸方向と道路の走行車線の方向とがなす角に基づいて傾きの範囲を制限し、車両１の側面の直線成分に対応する線分を排除してもよい。これにより、線分抽出部２１３は、車両１の正面の水平方向に伸びる直線部分を示す線分を、車両画像から選択的に抽出する。なお、線分抽出部２１３は、抽出した各線分の両端に対応する画素のアドレスを、それぞれの線分の位置を示す情報として出力してもよい。
【００６９】
なお、図８に示したステップ３０２−２のエンブレムの抽出処理、ステップ３０２−４〜ステップ３０２−７のナンバープレートの抽出に関連する処理およびステップ３０２−８〜ステップ３０２−９の線分の抽出に関連の実行順序は、図８と異なってもよい。
【００７０】
抽出部１１に含まれる各部および制御部９が上述した処理を実行することにより、車両１を撮影した画像から、車両１の中央を示す部材の部分および車両１の正面の水平方向に伸びる直線部分に対応する線分を特徴部位として抽出することができる。
【００７１】
次に、上述したようにして抽出された特徴部位の相対位置に基づく算出部１２の処理について説明する。
【００７２】
図９に、算出部の処理の一例を表す流れ図を示す。図９に示した各ステップは、図６に示したステップ３０３の処理の一例である。図９に示した各ステップは、それぞれ制御部９と算出部１２によって実行される。
【００７３】
ステップ３０３−１で、制御部９は、ナンバープレート抽出部４−ａからナンバープレートの抽出が成功した旨が通知されたか否かを判定する。制御部９は、例えば、上述したステップ３０２−６でナンバープレートの検出が成功した旨の情報が車両１に対応する認識結果の一部として記録されている場合に、ナンバープレートの抽出の成功が通知されていると判断する(ステップ３０３−１の肯定判定)。この場合に、制御部９は、線分抽出部２１３で抽出された線分のいずれかとナンバープレートとの相対位置を調べる処理を行う(ステップ３０３−２)。制御部９は、例えば、上述したステップ３０２−６で記録されたナンバープレートの位置を示す情報と、ステップ３０２−９で抽出された線分の一つについて当該線分の位置を示す情報とに基づいて、ナンバープレートと線分との相対位置を調べてもよい。例えば、制御部９は、ナンバープレートの位置を示す情報に基づいて、車両画像においてナンバープレートに対応する四角形の底辺の中点に対応する画素のアドレスを特定する。そして、このアドレスと線分の一つの中点に対応する画素のアドレスとの差の大きさに基づいて、ナンバープレートと当該線分に対応する車両１の水平方向の直線部分との間に位置ずれがあるか否かを判定する。なお、位置ずれを判断する際に用いる線分は、車両１の画像において、ナンバープレートに対応する四角形に近接した位置から抽出された線分であることが望ましい。
【００７４】
上述したアドレスの差が所定の閾値以下である場合に、制御部９は、ナンバープレートは車両１の中央部に設置されていると判断する(ステップ３０３−３の肯定判定)。この場合に、制御部９は、算出部１２に対して、車両１の中央を示す特徴部位としてナンバープレートを用いる旨を指示する。このとき、制御部９は、車両画像においてナンバープレートに対応する四角形の底辺の中点に対応する画素のアドレスを算出部１２に渡してもよい。
【００７５】
算出部１２は、制御部９から受け取った画素のアドレスと、線分抽出部２１３で抽出された線分の一つの位置を示す情報とに基づいて、ナンバープレートの中央位置に対応する当該線分上の点と当該線分の両端との距離の比を算出する(ステップ３０３−４)。例えば、算出部１２は、制御部９から受け取った画素のアドレスに基づいて、車両画像においてナンバープレート部分に近接した位置から抽出された線分の中心の位置を特定する。この線分の中心は、当該線分に対応する車両１の正面の直線部分の中央に対応する。次いで、算出部１２は、特定した位置を示す画素のアドレスと、当該線分の両端に対応する各画素のアドレスとの差から、特定した位置から両端までの距離をそれぞれ求め、求めた距離の比を算出する。
【００７６】
一方、ナンバープレートに対応する四角形の底辺の中点の位置と注目している線分の中点の位置とが所定の閾値で示される距離より離れている場合に、制御部９は、ナンバープレートは中央から外れた位置にあると判断する(ステップ３０３−３否定判定)。この場合に、制御部９は、算出部１２に対して、車両１の中央を示す特徴部位としてエンブレムを用いる旨を指示する。これに応じて、算出部１２は、エンブレム部分の車両画像における位置を示す情報と、線分抽出部２１３で抽出された線分の一つの位置を示す情報とに基づいて、エンブレムの中央位置に対応する当該線分上の点と当該線分の両端との距離の比を算出する(ステップ３０３−５)。この場合に、算出部１２は、エンブレム抽出部２１４で得られたエンブレム部分の車両画像における位置を示す情報から、エンブレムの中心の車両画像における位置を示す画素のアドレスを求めてもよい。例えば、算出部１２は、求めた画素のアドレスに基づいて、車両１の画像においてエンブレムの部分に近接した位置から抽出された線分の中心の位置を特定する。次いで、算出部１２は、特定した位置を示す画素のアドレスと、当該線分の両端に対応する各画素のアドレスとの差から、特定した位置から両端までの距離をそれぞれ求め、求めた距離の比を算出する。
【００７７】
なお、抽出部１１において、エンブレムの代わりに、車両検査証のシールなどを表す部分が車両１の中央位置を示す特徴部位として車両画像から抽出される場合もある。この場合に、算出部１２は、車両検査証のシールの位置を示す情報に基づいて、上述した比を算出してもよい。また、ナンバープレートの抽出が成功した場合に、算出部１２は、上述したステップ３０３−４の処理に加えて、ステップ３０３−５の処理を行ってもよい。そして、算出部１２は、ステップ３０３−４，３０３−５の処理でそれぞれ得られた比に基づいて、より確からしい比を求めてもよい。
【００７８】
ステップ３０３−４あるいはステップ３０３−５によって得られた比は、生成部１３の座標算出部２１６に渡される。
【００７９】
座標算出部２１６は、各線分について、上述した比に従って当該線分を内分する点の座標を算出する。座標算出部２１６は、各線分の両端に対応する画素のアドレスと、算出部１２によって算出された比とに基づいて、内分点に対応する画素の座標を示すアドレスを求めてもよい。このようにして求められた内分点の座標は、各線分の中心、すなわち、当該線分に対応する車両１の直線部分の中央に対応する当該線分上点の位置を示す。
【００８０】
次いで、方程式生成部２１７は、座標算出部２１６によって算出された座標に基づいて、各線分に対応する内分点を接続する方程式を生成する。例えば、画像における各画素のアドレスが行方向の位置と列方向の位置との組で表される場合に、方程式生成部２１７は、内分点のアドレスに含まれる行方向の位置を示す値が昇順または降順で接続されるように、各内分点を接続する方程式を生成する。また、方程式生成部２１７は、内分点のアドレスに含まれる列方向の位置を示す値が昇順または降順で接続されるように、各内分点を接続する方程式を生成してもよい。
【００８１】
このようにして、抽出部１１によって抽出された各線分において、当該線分に対応する車両１の直線部分の中央を示す位置を通る中心線を示す方程式を生成することができる。
【００８２】
次に、上述したようにして生成された中心線に基づいて、検出部１４が、車両１の画像から非対称な領域を検出する処理について説明する。
【００８３】
図１０に、車両１の画像において非対称な領域を検出する処理の一例を表す流れ図を示す。図１０に示した各ステップは、図６に示したステップ３０５の処理の一例である。図１０に示した各ステップは、図７に示した検出部１４に含まれる各部および制御部９によって実行される。
【００８４】
また、図１１に、車両認識データベース８の例を示す。図１１に例示した車両認識データベース８は、認識対象の車両それぞれを識別する認識ＩＤ(IDentifier)に対応して、認識日時と、認識対象の車両に含まれる各部品についての認識結果と、後述する所定の条件に基づく判定結果とを保持する。
【００８５】
制御部９は、まず、対称性の検証を行う対象となる車両１の部品を選択する(ステップ３０５−１)。制御部９は、例えば、車両１に含まれる多数の部品のうち、バンパーやボンネットなどのように、基本的な形状が左右対称である部品を順次に選択する。
【００８６】
次に、図７に示した部分画像抽出部２１８は、上述した画像処理部２１２によって抽出された車両画像から、制御部９によって選択された部品を表す部分を抽出する(ステップ３０５−２)。部分画像抽出部２１８は、例えば、選択された部品を表す部分を車両画像から抽出する処理に、車両特徴データベース５に蓄積された特徴情報を利用してもよい。また、部分画像抽出部２１８は、例えば、画像における色の連続性などの特徴を利用して、選択された部品を表す部分を車両画像から抽出してもよい。
【００８７】
図７に示した変形部２１９は、まず、部分画像抽出部２１８によって抽出された部品を表す部分の画像を、中心線を用いて、２つの領域に分割する(ステップ３０５−３)。例えば、変形部２１９は、部分画像抽出部２１８によって抽出された部分に含まれる中心線の方程式を用いて、選択された部品を表す部分の画像を、車両１を正面から見て左側に含まれる左側領域と右側に含まれる右側領域とに分割する。
【００８８】
次いで、変形部２１９は、左側領域の画像と右側領域の画像とを、上述した算出部１２で得られた距離の比に従って変形する(ステップ３０５−４)。例えば、変形部２１９は、分割した２つの領域の一方を、算出部１２で得られた距離の比に応じた倍率ｃを用いて、中心線に垂直な方向に拡大する変形処理を行ってもよい。算出部１２で得られた比ａ：ｂに基づいて、変形部２１９は、左側領域の画像を、中心線に垂直な方向にａ／ｂ倍に拡大する。この変形処理により、車両１を斜め方向から撮影したことによるゆがみが補正される。
【００８９】
次に、図７に示した照合部２２０は、上述した変形部２１９による変形処理後の左側画像の特徴と右側画像の特徴とを照合する(ステップ３０５−５)。照合部２２０は、例えば、変形処理後の左側画像と右側画像とについて、検証中の部品の色や明るさについての特徴を示す輝度分布を照合してもよい。この場合に、照合部２２０は、例えば、左側画像と右側画像とにおいて対応する位置の輝度についての差分絶対値が閾値を超えている範囲を表す情報や、この範囲に含まれる画素数を示す情報などを、輝度分布についての照合結果として出力してもよい。また、照合部２２０は、変形後の左側画像と右側画像とに基づいて、検証中の部品の左側の輪郭上の各点と中心線との距離と検証中の部品の右側の輪郭上の各点と中心線との距離を比較してもよい。これにより、照合部２２０は、検証中の部品の左右の形状の特徴について照合を行うことができる。この場合に、照合部２２０は、例えば、左右の輪郭上の各点と中心線との距離の差分に基づいて、差分二乗和を示す情報や、差分絶対値が閾値を超えている範囲を表す情報などを生成し、輪郭についての照合結果として出力してもよい。
【００９０】
上述したように、部品ごとに左側画像と右側画像とを変形した上で照合することにより、車両１において対称面から左右に広がる左右対称な部品の形状に非対称な部分があるか否かを高い精度で検出することができる。また、照合部２２０において、画像における輝度分布や色の分布を照合することにより、ボンネットに非対称な塗装があるといった特徴を検出することも可能である。
【００９１】
図７に示した対称性判定部２２１は、照合部２２０による照合結果と所定の閾値とを比較する(ステップ３０５−６)。対称性判定部２２１は、例えば、検証中の部品の種類ごとに、更に、照合部２２０で照合される特徴ごとに、照合結果と比較される閾値を用意しておいてもよい。
【００９２】
検証中の部品について照合部２２０から受け取った全ての照合結果が、対応する閾値以下である場合に(ステップ３０５−６の否定判定)、対称性判定部２２１は、車両１において、当該部品は正常である旨を検出結果として出力する(ステップ３０５−７)。このとき、結果保存部６は、車両認証データベース８に、ステップ３０５−７で出力された検出結果に基づいて、当該部品が正常である旨の情報を、車両１を示す認識ＩＤに対応して保存する。例えば、バンパーについて照合部２２０から受け取った全ての照合結果が、対応する閾値以下である場合に、対称性判定部２２１は、バンパーは正常である旨を検出結果として出力する。これに応じて、図７に示した結果保存部６は、図１１の例で、認識対象の車両の認識ＩＤ［０００１］に対応して示すように、車両認識データベース８に、バンパーは正常である旨を保存する。
【００９３】
一方、照合部２２０から受け取った検証中の部品について照合結果のいずれかに閾値以上の違いが見つかったときに（ステップ３０５−６の肯定判定）、対称性判定部２２１は、まず、検証中の部品がバンパーであるか否かを判定する(ステップ３０５−８)。
【００９４】
検証中の部品がバンパー以外である場合に(ステップ３０５−８の否定判定)、対称性判定部２２１は、検証中の部品には非対称な部分があると判断する。そして、対称性判定部２２１は、検証中の部品を車両１の非対称な特徴の一つとして検出する(ステップ３０５−９)。このとき、結果保存部６は、車両認証データベース８に、ステップ３０５−９で検出された非対称な特徴を、車両１を示す認識ＩＤに対応して保存する。例えば、照合部２２０によって得られた左右の輪郭上の各点と中心線との距離の差分二乗和が、対応する閾値以上である場合に、対称性判定部２２１は、ボンネットの形状が非対称である旨の情報を検出結果として出力する。これに応じて、結果保存部６は、図１１の例で、認識対象の車両の認識ＩＤ［０００２］に対応して示すように、車両認識データベース８に、ボンネットの形状が非対称である旨を保存する。
【００９５】
ところで、車両１のナンバープレートが、バンパーの中央以外の位置に設置されている場合に、バンパーを検証対象とした照合部２２０の照合処理の際に、このナンバープレートの画像が左右の画像で輝度分布などが不一致の部分として見つかる可能性がある。このような場合に対応するために、検証対象の部品がバンパーである場合に(ステップ３０５−８の肯定判定)、対称性判定部２２１は、ステップ３０５−１０〜３０５−１２の処理を行う。
【００９６】
ステップ３０５−１０において、対称性判定部２２１は、例えば、制御部９を介して、図７に示したナンバープレート認識装置４に対して、照合部２２０により輝度分布などが不一致とされた部分を対象としてナンバープレートの抽出処理を依頼する。
【００９７】
ナンバープレート認識装置４からナンバープレートの抽出が成功した旨が通知された場合に(ステップ３０５−１１の肯定判定)、対称性判定部２２１は、ナンバープレートの取り付け位置を、車両１の非対称な特徴の一つとして検出する(ステップ３０５−１２)。これに応じて、結果保存部６は、図１１の例で、認識対象の車両の認識ＩＤ［０００３］に対応して示すように、車両認識データベース８に、正常なナンバープレートが左側に設置されている旨を保存する。
【００９８】
一方、ナンバープレート認識装置４からナンバープレートの抽出が失敗した旨が通知された場合に(ステップ３０５−１１の否定判定)、対称性判定部２２１は、バンパーを、車両１の非対称な特徴の一つとして検出する(ステップ３０５−９)。これに応じて、結果保存部６は、図１１の例で、認識対象の車両の認識ＩＤ［０００２］に対応して示すように、車両認識データベース８に、バンパーに異常がある旨を保存する。
【００９９】
上述したステップ３０５−７あるいはステップ３０５−９あるいはステップ３０５−１２の処理の後、制御部９は、全ての部品についての検証が終了したか否かを判定する(ステップ３０５−１３)。未検証の部品がある場合に(ステップ３０５−１３の否定判定)、制御部９は、ステップ３０５−１に戻って、新たな部品を検証対象の部品として選択する。そして、ステップ３０５−２〜ステップ３０５−１２に従って、新たな部品に関する対称性を検証する処理が行われる。
【０１００】
このようにして、車両１に含まれる主要な部品について、それぞれ対称性を検証した結果を、車両認証データベース８に反映することができる。図１１に例示した車両認証データベース８は、ナンバープレート、バックミラー、ドアミラー、フロントガラス、バンパー、ボンネットを含む主要な部品について、各認識ＩＤで示される車両１の検証結果を示している。
【０１０１】
図１１の例では、認識ＩＤ［０００１］の車両についての検出結果として、ヘッドライトについて異常と判断される非対称な特徴を検出した旨の情報と、他の部品については非対称な特徴を検出しなかった旨の情報が示されている。一方、認識ＩＤ［０００２］の車両についての検出結果として、ナンバープレート以外の全ての部品について異常と判断される非対称な特徴を検出した旨の情報が示されている。また、認識ＩＤ［０００３］の車両についての検出結果として、全ての部品について非対称な特徴を検出しなかった旨の情報とともに、ナンバープレートが左側設置である旨の情報が示されている。また、認識ＩＤ［０００４］の車両についての検出結果として、フロントガラスについて非対称な特徴を検出した旨の情報と、ナンバープレートが検出不能であることから異常と判断される旨の情報が示されている。また、認識ＩＤ［０００５］の車両についての検出結果として、ボンネットについて非対称な塗装による特徴を検出した旨の情報が、異常とは判断されない特徴として示されている。
【０１０２】
なお、車両１の画像に含まれるフロントガラス部分は、車内に存在する物体が非対称に映りこんでいることを考慮して、照合部２２０による輝度分布の照合の対象外としてもよい。また、逆に、検出部１４に、車内の人物の外形に対応するパターンとフロントガラス部分の画像とのマッチングを行うマッチング部を追加し、車内に存在する人物の数などを検出することも可能である。
【０１０３】
また、検出部１４によって検出された非対称な特徴を、車両認識データベース８に、車両の異常を示す特徴として保存するか、正常な範囲の特徴として保存するかは、例えば、結果保存部６において、各部品ごとに条件を設定して判断してもよい。
【０１０４】
また、ドアミラーやヘッドライトのように、車両１において左右対称な位置に離れて配置される部品について非対称な特徴を検出する際に好適な処理手法については、後述する。
【０１０５】
また、図７に示した結果通知部７は、上述したようにして車両認識データベース８に蓄積された情報に基づいて、例えば、所定の条件に基づいて検出した車両の情報をオペレータの操作端末(図示せず)などに表示する処理を行ってもよい。例えば、結果通知部７は、認識対象の各車両について、車両認識データベース８に保存される各部品についての非対称性の検出結果を任意に組み合わせた条件に従って、条件を満たす車両を抽出する。
【０１０６】
図１１の例では、車両認識データベース８にいずれかの部品について異常が検出された車両に対応して、判定欄に丸印をつけて、条件に基づいて検出した車両を示した。
【０１０７】
また、結果通知部７は、抽出部１１の画像処理部２１２で抽出された車両の画像を利用して非対称な特徴を表示することにより、オペレータに分かりやすく通知することもできる。
【０１０８】
図１２に、非対称な特徴を持つ車両を検出した結果の表示例を示す。図１２の例では、検出部１４による処理で検出された非対称な特徴を表す部分を符号Ｐ１，Ｐ２で示した。
【０１０９】
結果通知部７は、符号Ｐ１，Ｐ２で示した各部分について、符号Ｄ１，Ｄ２に示すように、非対称な特徴が検出された部品の名称とともに、検出部１４でどのような非対称な特徴を検出したかを示すメッセージを表示させてもよい。
【０１１０】
図１２の例では、符号Ｐ１で示されたボンネット部分について、符号Ｄ１で示したメッセージにより、検出部１４により、「形状の不一致」が検出されたことが示されている。また、符号Ｐ２で示されたドアミラー部分について、符号Ｄ２で示したメッセージにより、検出部１４により、ドアミラーが検出できなかったことが示されている。
【０１１１】
次に、ドアミラーやヘッドライトのように、車両１において左右対称な位置に離れて配置される部品についての非対称な特徴を検出する際に好適な検出部１４の別実施形態について説明する。
【０１１２】
図１３に、車両検出装置の別実施形態を示す。なお、図１３に示した構成要素のうち、図７に示した構成要素と同等のものについては、同一の符号を付して示し、その説明は省略する。
【０１１３】
図１３に示した検出部１４は、推定部２２２と、領域画像抽出部２２３と、比較部２２４と、対称性判定部２２１とを有する。推定部２２２は、生成部１３で生成された中心線に基づいて、制御部９および車両特徴データベース５と協働して、車両１において左右対称な位置に離れて配置される左右一組の部品について、画像における位置をそれぞれ推定する。領域画像抽出部２２３は、抽出部１１の画像処理部２１２で抽出された車両１の画像から、推定部２２２によって検証対象の１対の部品に対応してそれぞれ推定された位置に基づいて、所定の範囲の画像を抽出する。比較部２２４は、領域抽出部２２３によって左側の部品について抽出された領域の画像の特徴と右側の部品について抽出された領域の画像の特徴とを比較する。比較部２２４は、例えば、左側の部品について抽出された領域の画像の特徴と右側の部品について抽出された領域の画像の特徴との類似度を求めてもよい。また、対称性判定部２２１は、比較部２２４によって求められた類似度が所定の閾値よりも低いか否かに基づいて、左右の部品が非対称な特徴を持っているか否かを判定してもよい。
【０１１４】
図１４に、非対称な特徴を検出する処理の別例を表す流れ図を示す。なお、図１４に示した各ステップのうち、図１０に示した各ステップと同等のものについては、同一の符号を付して示し、その説明は省略する。図１４に示した各ステップは、図６に示したステップ３０５の処理の一例である。また、図１４に示した各ステップは、図１３に示した検出部１４に含まれる各部および制御部９によって実行される。
【０１１５】
ステップ３０５−２１において、制御部９は、例えば、車両１に含まれる多数の部品のうち、ヘッドライトやドアミラーなどのように、互いに対応する部品が左右対称で離れた位置に配置される部品の対を順次に、検証対象の部品として選択する。制御部９は、例えば車両特徴データベース５に蓄積された情報を利用して、ステップ３０５−２１の処理を行ってもよい。制御部９は、選択した部品の対を指定して、推定部２２２に、位置の推定を指示する。
【０１１６】
これに応じて、推定部２２２は、車両特徴データベース５の情報と上述した算出部１２で得られた比とに基づいて、車両画像に含まれる左右の部品を表す部分の画像における位置を推定する(ステップ２０５−２２)。車両特徴データベース５には、例えば、図２に符号Ｅ３で示した線分に対応するフロントグリル下側の輪郭の両端と左右のヘッドライトとについて概略の位置を示す情報が含まれている。推定部２２２は、この情報と算出部１２で得られた比に基づいて、車両画像に含まれる左右のヘッドライトの部分の画像における位置をそれぞれ推定する。
【０１１７】
上述したようにして、左右の部品について推定された位置に基づいて、領域画像抽出部２２３は、車両画像から、それぞれ所定の範囲の画像を抽出する(ステップ３０５−２３)。例えば、領域抽出部２２３は、推定部２２２によって推定された位置を中心として、左右の部品の大きさに対応する領域の画像を抽出してもよい。このとき、領域抽出部２２３は、算出部１２で得られた比に基づいて、画像における左右の部品の大きさをそれぞれ求めてもよい。
【０１１８】
このようにして左右の部品についてそれぞれ抽出された領域の画像は、比較部２２４に渡される。比較部２２４は、左右の部品についてそれぞれ抽出された領域の画像について、それぞれの特徴を比較する処理を行う(ステップ３０５−２４)。例えば、比較部２２４は、左側の部品について抽出された領域の画像の輝度分布と右側の部品について抽出された領域の画像の輝度分布とについてそれぞれ特徴を抽出し、輝度分布の類似度を求めてもよい。また、比較部２２４は、左右の部品に対応する領域の平均輝度やその領域の色をそれぞれの画像の特徴として、互いの類似度を求めてもよい。
【０１１９】
上述したようにして、検出部１４は、部品の対について推定された位置の周辺の画像の特徴を比較する。これにより、車両１の正面の水平方向についての対称線から離れて接地された部品についても、斜め方向から撮影したことによる画像のゆがみにかかわらず、左右の対称性を判断することができる。
【０１２０】
いずれの場合でも、対称性判定部２２１は、比較部２２４で求められた類似度が所定の閾値よりも高い場合に(ステップ３０５−２５の否定判定)、図１０に示したステップ３０５−７と同様に、検証中の左右の部品は正常である旨を出力する。一方、比較部２２４で求められた類似度が所定の閾値よりも低い場合に(ステップ３０５−２５の肯定判定)、左右の部品について非対称な特徴を検出する(ステップ３０５−９)。この検出結果に基づいて、結果保存部６は、車両認証データベース８に、ステップ３０５−９で検出された非対称な特徴を、車両１を示す認識ＩＤに対応して保存する。
【０１２１】
例えば、比較部２２４によって求められた左右のヘッドライトに対応する領域の輝度分布の類似度が所定の閾値以下とされた場合に、対称性判定部２２１は、ヘッドライトの輝度が非対称である旨の情報を検出結果として出力する。これに応じて、結果保存部６は、図１１の例で、認識対象の車両の認識ＩＤ［０００１］に対応して示すように、車両認識データベース８に、片方のヘッドライトのみが点灯している旨を保存する。また、比較部２２４は、左右のヘッドライトに対応する領域の平均輝度を比較して、どちらが低輝度であるかを示す情報を出力することもできる。この情報を利用すれば、結果保存部６により、図１１に、認識対象の車両の認識ＩＤ［０００１］のヘッドライトの欄に括弧書きで示したように、異常が疑われる部品を明確に示すこともできる。
【０１２２】
また、例えば、ドアミラーの一方が破損している場合には、左右のドアミラーの推定位置に対応して抽出された領域について、比較部２２４によって求められた色の類似度が所定の閾値よりも低くなる。この場合に、対称性判定部２２１は、ドアミラーが非対称である旨の情報を検出結果として出力する。これに応じて、結果保存部６は、図１１の例で、認識対象の車両の認識ＩＤ［０００２］に対応して示すように、車両認識データベース８に、ドアミラーの一方が検出できない旨を保存する。また、比較部２２４は、左右のドアミラーに対応する領域の色とボディ部の色とを比較して、どちらの領域の色が一致しているかを示す情報を出力することもできる。この情報を利用すれば、結果保存部６により、図１１に、認識対象の車両の認識ＩＤ［０００２］のドアミラーの欄に括弧書きで示したように、異常が疑われる部品を明確に示すこともできる。
【０１２３】
なお、ドアミラーのように、車両１の中央から外れた位置に配置される部品は、カメラ２の撮影方向によっては、画像に現れない場合もある。このような場合に対応するために、例えば、算出部１２によって求められた比が所定の範囲に含まれない場合に、検証対象とする部品を制限してもよい。
【０１２４】
図１１に、認識対象の車両の認識ＩＤ［０００５］のドアミラーの欄に示した符号「−」は、当該車両については、ドアミラーを対称性についての検証対象から外した旨を示す。
【０１２５】
ところで、カメラ２の撮影方向が車両１の正面方向である場合に、上述した生成部１３によって生成される中心線は、カメラ２によって得られた画像に含まれる車両画像の外形の中心線に一致する。この場合に、検出部１４は、車両画像を単純に左右で比較することにより、車両１に含まれる各部品について非対称な特徴があるか否かを判断することができる。なお、カメラ２の撮影方向が車両１の正面方向であるか否かは、例えば、図７に示したナンバープレート抽出部４−ａによって抽出されたナンバープレートの画像が長方形であるか否かに基づいて判断することができる。
【符号の説明】
【０１２６】
１…車両；１ｇ…車両画像、２…カメラ；３…画像入力部；４…ナンバープレート認識装置；４−ａ…ナンバープレート抽出部；４−ｂ…ナンバー認識処理部；５…車両特徴データベース；５…車両特徴データベース；６…結果保存部；７…結果通知部；８…車両認識データベース；９…制御部；１０…車両検出装置；１１…抽出部；１２…算出部；１３…生成部；１４…検出部；２１…プロセッサ；２２…メモリ；２３…ハードディスク装置(ＨＤＤ)；２４…表示制御部；２５…表示装置；２６…入力装置；２７…画像入力装置；２８…光学ドライブ；２９…通信制御部；３０…ネットワーク；３１…リムーバブルディスク；２１２…画像処理部；２１３…線分抽出部；２１４…エンブレム抽出部；２１６…座標算出部；２１７…方程式生成部；２１８…部分画像抽出部；２１９…変形部；２２０…照合部；２２１…対称性判定部；２２２…推定部；２２３…領域画像抽出部；２２４…比較部
【技術分野】
【０００１】
本件開示は、固定されたカメラによって撮影された画像に含まれる車両を表す部分から、車両の特徴を抽出する技術に関する。
【背景技術】
【０００２】
路上に設置されたカメラによって道路を走行する車両を撮影して得られた画像に基づいて特定の車両を検出するために、画像に含まれるナンバープレート部分を認識する技術が提案されている。
【０００３】
また、車両を撮影して得られた画像を解析し、傾き補正後の車体部分の画像が左右対称であることを条件の一つとして、蓄積する画像のデータ量を低減する処理を適用する技術が提案されている(例えば、特許文献２参照)。
【先行技術文献】
【特許文献】
【０００４】
【特許文献１】国際公開ＷＯ２００６／０８２６４４
【発明の概要】
【発明が解決しようとする課題】
【０００５】
ところで、路上や車両検査場などの施設にカメラを設置する際に、車両を斜め方向から撮影する位置にカメラの設置場所が限られる場合がある。車両を斜め方向から撮影して得られる画像に対して単純な傾き補正を適用すると、車両の外形が大きくゆがんでしまう場合がある。そして、このようにゆがんだ画像に基づいて、被写体となった車両に非対称な部分があるか否かを判断することは困難である。
【０００６】
本件開示は、斜め方向から車両を撮影した画像に基づいて、被写体の車両に非対称な部分があるか否かを判断可能な車両検出装置および車両検出方法並びに車両検出プログラムを提供することを目的とする。
【課題を解決するための手段】
【０００７】
本件開示の車両検出装置および車両検出方法並びに車両検出プログラムは、車両を撮影した画像から、前記車両の正面の中央位置を示す部分と、前記車両の正面において水平方向に伸びる直線部分を示す複数の線分とを含む特徴部位を抽出し、前記中央位置を示す部分と前記中央位置を示す部分に近接する前記線分の相対位置に基づいて、前記線分の中心を求め、前記線分の中心から前記線分の一端までの距離と、前記線分の中心から前記線分の他端までの距離との比を算出し、前記複数の線分を前記比に基づいて内分する内分点を求め、前記各線分の内分点を結ぶ中心線を生成し、前記車両を撮影した画像に含まれる前記車両を表す部分の画像において、前記中心線を境界として前記車両の正面の左側部分と右側部分とを比較することにより、前記中心線を基準として非対称な特徴を持つ画像の領域を検出する。
【発明の効果】
【０００８】
本件開示の車両検出装置および車両検出方法並びに車両検出プログラムによれば、斜め方向から車両を撮影した画像に基づいて、被写体の車両に非対称な部分があるか否かを判断可能である。
【図面の簡単な説明】
【０００９】
【図１】車両検出装置の一実施形態を示す図である。
【図２】画像から抽出される特徴部位を説明する図である。
【図３】特徴部位の相対位置を説明する図である。
【図４】検出部の処理例を説明する図である。
【図５】コンピュータの機能ブロック図である。
【図６】非対称車両を検出する処理を表す流れ図である。
【図７】車両検出装置の別実施形態を示す図である。
【図８】特徴部位を抽出する処理の一例を表す流れ図である。
【図９】算出部の処理の一例を表す流れ図である。
【図１０】非対称な領域を検出する処理の一例を表す流れ図である。
【図１１】車両認識データベースの例を示す図である。
【図１２】非対称な特徴を持つ車両を検出した結果の表示例を示す図である。
【図１３】車両検出装置の別実施形態を示す図である。
【図１４】非対称な特徴を検出する処理の別例を表す流れ図である。
【発明を実施するための形態】
【００１０】
以下、図面に基づいて、本発明の実施形態について詳細に説明する。
【００１１】
図１に、車両検出装置の一実施形態を示す。図１は、本件開示の車両検出装置１０と、車両１、カメラ２および画像入力部３との概略の関係を示す。
【００１２】
図１に示すカメラ２は、例えば、車両１の斜め前方からこの車両１を撮影する。カメラ２は、道路わきの街灯の支柱などに、道路上を走行する車両１を視野内に捉えることが可能な角度で設置してもよい。
【００１３】
画像入力部３は、このカメラ２によって撮影される映像に含まれる画像を取得し、取得した画像を車両検出装置１０に入力する。画像入力部３は、カメラ２からの映像に含まれる各フレームの画像を車両検出装置１０に渡してもよいし、数フレームごとに画像を渡してもよい。
【００１４】
図１に示した車両検出装置１０は、抽出部１１と、算出部１２と、生成部１３と、検出部１４とを有する。
【００１５】
抽出部１１は、入力された画像に含まれる車両１を表す部分である車両画像から、車両１の正面に位置する水平な直線成分を表す線分と、この車両１の正面における中央位置を示す部分とを含む特徴部位を抽出する。
【００１６】
図２に、画像から抽出される特徴部位を説明する図を示す。図２に示す符号１ｇは、画像に含まれる車両１を表す部分である車両画像である。図２に示す符号Ｅ１〜Ｅ６および符号Ｍ１，Ｍ２は、車両画像１ｇから抽出される特徴部位の例である。
【００１７】
符号Ｅ１〜Ｅ６で示す破線は、車両１の正面に位置する水平な直線成分に対応する線分の例である。図２の例では、符号Ｅ１は、車両１のフロントガラスの上側とルーフの境界線に対応する。また、符号Ｅ２は、車両１のフロントガラスの下側とボンネットとの境界線に対応する。また、符号Ｅ３は、車両１のフロントグリルの下側とバンパーとの境界線に対応する。また、符号Ｅ４は、車両１のナンバープレートの輪郭の上側に対応する。また、符号Ｅ５は、車両１のバンパーに形成された溝状の構造に対応する。そして、符号Ｅ６は、車両１のバンパーの輪郭の下側に対応する。
【００１８】
図２に示した符号Ｍ１，Ｍ２は、車両１の正面の中央位置を示す部分の抽出例である。図２の例では、符号Ｍ１は、ナンバープレートを示す。また、符号Ｍ２は、車両１にメーカーやブランドを示すエンブレムの例を示す。なお、抽出部１１は、車両１の中央位置を示す部分として、上述したナンバープレートおよびエンブレムに加えて、フロントガラスの内側に貼付された車両検査証のシールなどを表す画像を抽出してもよい。また、抽出部１１は、室内のバックミラーなどを表す画像を、車両１の正面の中央位置を示す部分として抽出してもよい。
【００１９】
図１に示した算出部１２は、中央位置を示す部分とこの中央位置を示す部分に近接する線分の相対位置に基づいて、当該線分において、対応する直線部分の中央を示す線分の中心を求める。また、算出部１２は、この線分の中心から当該線分の一端までの距離と、この線分の中心から当該線分の他端までの距離との比を算出する。
【００２０】
図３に、特徴部位の相対位置を説明する図を示す。図３は、図２に示した線分Ｅ３，Ｅ５と、符号Ｍ１で示した画像中のナンバープレートとの相対位置の例である。
【００２１】
図３に示した例では、符号Ｍ１で示した画像中のナンバープレートにおいて、実際の車両１のナンバープレートの水平方向の中央位置に対応する位置は、線分Ｅ５上の点Ｃ５の位置である。図３の例では、符号Ｃ５で示した三角形により、この点Ｃ５の位置を示した。この点Ｃ５は、線分Ｅ５に対応する車両１の直線部分の中央に対応する、線分Ｅ５の中心である。
【００２２】
算出部１２は、この点Ｃ５から線分Ｅ５の一方の端点までの距離ａと、点Ｃ５から線分Ｅ５の他端までの距離ｂとの比ａ：ｂを算出する。この比ａ：ｂは、図１に示したカメラ２の撮影方向と車両１の正面方向との間の傾き角を反映している。したがって、上述した線分Ｅ５とともに車両画像１ｇから抽出された線分Ｅ３を上述した比ａ：ｂで内分する点Ｃ３は、この線分Ｅ３において、対応する車両１の直線部分の中央に対応する点であり、この線分Ｅ３の中心である。なお、図３の例では、符号Ｃ３で示した三角形により、この線分Ｅ３を比ａ：ｂで内分する点、すなわち、線分Ｅ３の中心の位置を示した。同様に、図２に示した線分Ｅ１，Ｅ２，Ｅ４，Ｅ６をそれぞれ比ａ：ｂで内分する内分点は、各線分に対応する車両１の直線部分の中央に対応する、各線分の中心である。図２に符号Ｃ１〜Ｃ６で示した三角形は、各線分Ｅ１〜Ｅ６の中心を示す。
【００２３】
図１に示した生成部１３は、算出部１２で算出された比ａ：ｂに基づいて、抽出部１１で抽出された各線分を内分する内分点を求める。また、生成部１３は、各線分について求めた内分点を互いに結ぶことにより、中心線を生成する。
【００２４】
上述したように、抽出部１１によって抽出された各線分を上述した比ａ：ｂで内分する内分点は、各線分に対応する車両１の直線部分の中央に対応する、各線分の中心である。したがって、これらを結んで生成される車両画像１ｇにおける中心線は、実際の車両１の正面の中心線に対応する。
【００２５】
図２に、各線分Ｅ１〜Ｅ６について求めた内分点Ｃ１〜Ｃ６を順に接続して得られる中心線ＣＬの例を示した。
【００２６】
図１に示した検出部１４は、車両画像１ｇのうち、上述したようにして生成された中心線を境界として、車両１を正面から見たときの左側に対応する部分と右側に対応する部分とを互いに比較する。そして、検出部１４は、比較結果に基づいて、中心線を基準として非対称な特徴を持つ部分を車両画像１ｇから検出する。
【００２７】
検出部１４は、例えば、フロントガラスやボンネットなどのように、正常な状態では左右対称である部品の左側部分の輪郭と右側部分の輪郭とを、次のようにして比較して、非対称な部分を検出してもよい。
【００２８】
図４に、検出部の処理例を説明する図を示す。図４は、車両画像１ｇに含まれるフロントガラスの輪郭を示すエッジを中心線を挟んで左側部分と右側部分とで比較する例である。
【００２９】
例えば、検出部１４は、フロントガラスの輪郭の下側に対応する線分Ｅ２に平行な直線Ｑを用いて、フロントガラス部分の対称性を調べてもよい。
【００３０】
図４に示した符号Ｑは、フロントガラスの輪郭の下側に対応する線分Ｅ２に平行な直線である。また、符号ＱＬ，ＱＲは、フロントガラスの輪郭に対応して車両画像１ｇに含まれるエッジの左側部分および右側部分と上述した直線Ｑとの交点である。また、符号ＱＣは、中心線ＣＬと直線Ｑとの交点である。
【００３１】
検出部１４は、図４に示した交点ＱＬ，ＱＲと、交点ＱＣとの距離ＸＬ、ＸＲをそれぞれ算出する。次いで、検出部１４は、距離の比ＸＬ：ＸＲを算出し、この距離の比ＸＬ：ＸＲと、算出部１２で算出した比ａ：ｂとを比較する。この比較結果に基づいて、検出部１４は、距離の比ＸＬ：ＸＲが、比ａ：ｂから所定の閾値以上にずれている箇所を、中心線に対して非対称な部分として検出する。同様にして、検出部１４は、車両１のボンネットの凹みなどに伴って車両画像１ｇのエッジに現れる非対称な部分を検出することができる。
【００３２】
また、検出部１４は、中心線からの距離の比が算出部１２で得られた比ａ：ｂとなる画素を中心とする所定の領域ごとに、輝度値の平均や色を比較することにより、非対称な領域を検出してもよい。
【００３３】
このようにして検出された領域は、被写体となっている車両１において、正面から見て左側と右側とで非対称な特徴を示す部分に相当する。つまり、検出部１４の処理により、車両１を斜め方向から撮影するカメラ２によって取得された車両画像１ｇに基づいて、車両１が持っている非対称な特徴を検出することができる。
【００３４】
このように、本件開示の車両検出装置によれば、斜め方向から撮影された画像に基づいて、車両１に非対称な部分があるか否かを判断することができる。つまり、本件開示の車両検出装置によれば、道路を走行する車両を正面以外の方向から撮影するカメラによって得られる画像から、非対称な特徴を持つ車両を検出することが可能となる。これにより、車両の認識に利用する画像を取得するためのカメラを高い自由度で設置することができる。このような特徴は、例えば、道路を走行する車両の中から特定の特徴を持つ車両を検出するシステムなどに有用である。また、本件開示の車両検出装置は、車両検査場などでの簡易検査などにも適用が可能である。
【００３５】
なお、検出部１４の処理は、以上で説明した手法のほかにも、後述するように、様々な手法で実現することができる。また、本件開示の車両検出装置は、コンピュータ装置を用いて実現することができる。
【００３６】
図５に、コンピュータ装置の機能ブロック図を示す。図５に示したコンピュータ装置は、プロセッサ２１と、メモリ２２と、ハードディスク装置(ＨＤＤ：Hard Disk Drive)２３と、表示制御部２４と、表示装置２５と、入力装置２６とを含む。更に、コンピュータ装置は、光学ドライブ装置２８と、通信制御部２９を含む。
【００３７】
プロセッサ２１と、メモリ２２と、ＨＤＤ２３と、表示制御部２４と、入力装置２６と、光学ドライブ装置２８と、通信制御部２９とは、バスを介して接続される。また、通信制御部２９は、ネットワーク３０に接続される。また、コンピュータ装置は、例えば、画像入力インタフェース部２７を介して、図１に示したカメラ２からの映像信号を受け取ってもよい。また、コンピュータ装置は、通信制御部２９およびネットワークを介して、カメラ２からの映像信号を受け取ってもよい。
【００３８】
ＨＤＤ２３には、オペレーティングシステムおよび車両画像に基づいて非対称な特徴を持つ車両を検出する処理を実行するためのアプリケーションプログラムが格納されている。アプリケーションプログラムは、本件開示の車両検出方法に含まれる各処理を実行するためのプログラムを含む。なお、車両検出処理を実行するためのアプリケーションプログラムは、例えば、コンピュータ読取可能なリムーバブルディスク３１に記録して頒布することができる。そして、このリムーバブルディスク３１を光学ドライブ装置２８に装着して読み込み処理を行うことにより、車両検出処理を実行するためのアプリケーションプログラムは、ＨＤＤ２３にインストールされる。また、インターネットなどのネットワーク３０と通信制御部２９を介して、車両検出処理を実行するためのアプリケーションプログラムをＨＤＤ２３にインストールすることもできる。
【００３９】
図５に例示したコンピュータ装置は、プロセッサ２１、メモリ２２などのハードウェアと、オペレーティングシステムおよびアプリケーションプログラムなどのプログラムとが有機的に協働することにより、上述した各種機能を実現する。
【００４０】
また、図１に示した抽出部１１、算出部１２、生成部１３および検出部１４は、それぞれ、プロセッサ２１が対応するプログラムを実行することによって実現してもよい。同様に、図１に示した画像入力部３は、プロセッサ２１と画像入力インタフェース２７と映像信号から画像を取得するためのプログラムとの組み合わせによって実現してもよいし、プロセッサ２１と通信制御部２９との組み合わせによって実現してもよい。また、図１に示した各部の処理過程で生成される情報は、メモリ２２あるいはＨＤＤ２３などに格納される。
【００４１】
図６に、非対称車両を検出する処理を表す流れ図を示す。図６に示した各ステップの処理は、プロセッサ２１により、車両検出処理を実行するためのアプリケーションプログラムに従って実行される。
【００４２】
車両検出処理に先立って、プロセッサ２１は、例えば、画像入力インタフェース２７および画像取得処理のためのプログラムと協働することにより、カメラ２によって撮影される映像から画像を取得する(ステップ３０１)。プロセッサ２１は、映像から取得した画像を、以降に述べる非対称車両を検出する処理に利用する。なお、プロセッサ２１は、カメラ２によって撮影される映像に含まれる各フレームに対応する画像あるいは所定数のフレームごとに抽出したフレームに対応する画像を取得する。
【００４３】
プロセッサ２１は、上述したアプリケーションプログラムに含まれる抽出部１１を実現するためのプログラムと協働することにより、例えば、画像入力インタフェース２７を介して入力される画像から特徴部位を抽出する処理を行う(ステップ３０２)。プロセッサ２１は、例えば、入力された画像に対応するエッジ画像から、所定の閾値以上の長さを持つ線分を抽出することにより、車両１の正面の水平な直線成分に対応する線分を抽出する。また、プロセッサ２１は、例えば、パターンマッチング技術を利用して、入力された画像からナンバープレートあるいはエンブレムなど車両１の中央に配置される部材に対応する特徴部位を抽出する。
【００４４】
次いで、プロセッサ２１は、上述したアプリケーションプログラムに含まれる算出部１２を実現するためのプログラムと協働することにより、車両１の正面の水平方向の中心に対応する線分の中心から両端までの距離の比を算出する処理を行う(ステップ３０３)。プロセッサ２１は、例えば、図２および図３を用いて説明したようにして、車両１の中央を示す部分の位置に基づいて、この中央を示す部分に近接する線分の中心を特定し、この線分の中心がこの線分を内分する比を算出する。
【００４５】
次に、プロセッサ２１は、上述したアプリケーションプログラムに含まれる生成部１３を実現するためのプログラムと協働することにより、中心線を生成する処理を行う(ステップ３０４)。例えば、プロセッサ２１は、ステップ３０３で算出した比に基づいて、各線分を内分する内分点を順次に接続することにより、中心線を生成する。
【００４６】
そして、プロセッサ２１は、上述したアプリケーションプログラムに含まれる検出部１４を実現するためのプログラムと協働して、この中心線を挟んで、車両１の左側部分に対応する画像と右側部分に対応する画像とを比較する。そして、この比較結果に基づいて、プロセッサ２１は、中心線を基準として非対称な特徴を持つ画像の領域を検出する(ステップ３０５)。このステップ３０４の処理で検出された領域は、被写体となっている車両１において、中心線の左側と右側とで非対称な特徴を示す部分に相当する。
【００４７】
したがって、プロセッサ２１は、ステップ３０５の処理で非対称な特徴を持つ画像の領域を検出したか否かに基づいて、車両１が非対称な特徴を持っているか否かを判断することができる。そして、プロセッサ２１は、この判断結果に基づいて、検出した非対称な領域を示す情報あるいは非対称な特徴がない旨の情報を、例えば、車両１を識別する情報に対応して、メモリ２２あるいはＨＤＤ２３に格納してもよい。
【００４８】
なお、プロセッサ２１は、上述した処理で得られた検出結果を、表示制御部２４を介して表示装置２５に表示させてもよい。また、プロセッサ２１は、上述した処理で得られた検出結果を、通信制御部２９およびネットワーク３０を介して、別のコンピュータ装置に通知してもよい。
【００４９】
以下、本件開示の車両検出装置の別実施形態について説明する。
【００５０】
図７に、車両検出装置の別実施形態を示す。なお、図７に示した構成要素のうち、図１に示した構成要素と同等のものについては、同一の符号を付して示し、その説明は省略する。
【００５１】
図７に示した画像入力３は、図１に示したカメラ２によって撮影された映像から抽出した画像を、車両検出部１０と既存のナンバープレート認識装置４とに入力する。
【００５２】
ナンバープレート認識装置４は、ナンバープレート抽出部４−ａと、ナンバー認識処理部４−ｂとを有する。ナンバープレート抽出部４−ａは、画像入力部３から受け取った画像に対してパターンマッチング処理などの画像処理を行うことにより、画像に含まれるナンバープレート部分を抽出する。ナンバー認識処理部４−ｂは、抽出されたナンバープレート部分の画像を解析することにより、カメラ２によって撮影された車両１の登録ナンバーを認識する。ナンバープレート抽出部４−ａは、画像から抽出したナンバープレート部分について、画像における位置を示す情報を出力してもよい。例えば、ナンバープレート抽出部４−ａは、画像に含まれるナンバープレート部分の範囲の境界を示す画素のアドレスなどを、ナンバープレート部分の画像における位置を示す情報として出力してもよい。
【００５３】
図７に例示した抽出部１１は、画像処理部２１２と線分抽出部２１３とエンブレム抽出部２１４とを有する。画像処理部２１２は、画像入力部３によって入力される画像から、車両１を表す車両画像を抽出する。エンブレム抽出部２１４は、抽出された車両画像からエンブレムを表す部分を抽出する。エンブレム抽出部２１４は、エンブレムを表す部分として抽出した画像の領域の位置を示す情報を、車両１の中央を示す特徴部位の位置を示す情報の一つとして出力する。また、画像処理部２１２は、抽出した車両画像からエッジ成分を抽出して、エッジ画像を生成する。線分抽出部２１３は、生成されたエッジ画像から、車両１の正面において水平方向に伸びる直線部分に対応する線分を抽出する。線分抽出部２１３は、例えば、エッジ画像に含まれる所定値以上の長さを持つ直線部分の中から、後述する所定の条件に従って、水平方向に伸びる直線成分に対応する線分を抽出する。この線分抽出部２１３は、例えば、抽出した直線部分それぞれの両端の位置を示す情報を、抽出処理結果として出力してもよい。
【００５４】
なお、エンブレム抽出部２１４は、車両特徴データベース５に蓄積された情報を利用して、車両１を表す部分として抽出された画像に含まれるエンブレム部分を抽出する処理を行ってもよい。
【００５５】
図７に示した車両特徴データベース５は、例えば、代表的な車種の車両について、車両に含まれる主要な部品の位置や形状を示す特徴情報を蓄積している。車両特徴データベース４に蓄積される特徴情報は、例えば、セダンタイプやワゴンタイプあるいは軽自動車などの各車種について、フロントガラスやボンネットの概略の形状や平均的なサイズなどを示す情報を含む。また、車両特徴データベース４に蓄積される特徴情報は、更に、代表的な自動車メーカー各社のエンブレムやマークの形状の特徴を示す情報を含んでもよい。
【００５６】
また、図７に示した算出部１２は、後述するようにして、車両１の中央を示す特徴部位の位置に基づいて、この特徴部位に近接する線分の中心を特定し、特定した線分の中心から当該線分の両端までの距離の比を算出する。算出部１２は、算出した距離の比を、生成部１３に渡す。
【００５７】
図７に例示した生成部１３は、座標計算部２１６と方程式生成部２１７とを有する。座標算出部２１６は、算出部１２で算出された比を受け取り、この比に従って、線分抽出部２１３によって抽出された各線分をそれぞれ内分する点の座標を算出する。方程式生成部２１７は、座標算出部２１６で算出された座標に基づいて、これらの座標を順次に接続する複数の直線の方程式を生成する。これらの方程式によって表される折れ線は、車両画像１ｇにおいて、実際の車両１の正面の中心線に対応する。このようにして生成された中心線を示す情報は、検出部１４に渡される。
【００５８】
図７に例示した検出部１４は、部分画像抽出部２１８と、変形部２１９と、照合部２２０と、対称性判定部２２１とを有する。部分画像抽出部２１８は、車両画像から、例えば、車両１に含まれる左右対称な形状を有する部品それぞれを表す画像の部分を抽出する。部分画像抽出部２１８は、個々の部品を表す画像の部分を抽出する処理に、車両特徴データベース５に蓄積された特徴情報を利用してもよい。部分画像抽出部２１８によって抽出された各部品の画像は、上述した中心線を境界として、車両１の正面から見て左側部分に対応する左側画像と右側部分に対応する右側画像とに分けることができる。変形部２１９は、抽出された各部品に対応する画像に含まれる左側画像と右側画像を、算出部１２によって算出された比に基づいてそれぞれ変形する。照合部２２０は、変形された左側画像と右側画像とを中心線を基準として照合する。この照合結果に基づいて、対称性判定部２２１は、上述した個々の部品について、中心線を基準にして左側の形状と右側の形状に非対称な特徴があるか否かを判定する。検出部１４は、各部品について対称性判定部２２１によって得られた判定結果に基づく検出結果を出力する。
【００５９】
図７に示した結果保存部６は、検出部１４によって得られた検出結果を車両認識データベース８に保存する。結果通知部７は、検出部１４によって車両１ごとに得られる検出結果を示す情報、あるいは、車両認識データベース８に複数の車両について保存された検出結果を示す情報を一括して通知する処理を行う。
【００６０】
図７に示した制御部９は、図７に示した各部の間の情報のやり取りを制御する処理を行う。例えば、画像処理部２１２によって抽出された車両画像は、制御部９を介して、部分画像抽出部２１８に渡される。また、ナンバープレート認識装置４による認識結果は、制御部９を介して対称性判定部２２１にも渡される。また、結果通知部７は、例えば、制御部９を介して、オペレータや他のシステムに対して、上述した検出結果を示す情報を通知する。
【００６１】
図７に示した各部の処理は、図５に例示したコンピュータ装置に含まれるプロセッサ２１、メモリ２２などのハードウェアと、オペレーティングシステムおよびアプリケーションプログラムなどのプログラムとが有機的に協働することによって実現されてもよい。
【００６２】
次に、抽出部１１、算出部１３、生成部１３および検出部１４の処理についてそれぞれ説明する。
【００６３】
図８に、特徴部位を抽出する処理を表す流れ図を示す。図８に示した各ステップは、図６に示したステップ３０２の処理の一例である。図８に示した各ステップは、それぞれ制御部９と抽出部１１に含まれる各部によって実行される。
【００６４】
画像入力部３からの画像を受け取った画像処理部２１２は、画像に含まれる車両１を表す部分を車両画像として抽出する処理を行う(ステップ３０２−１)。車両画像を抽出する処理には、例えば、背景との色の違いを利用する技術などの公知技術を利用することができる。
【００６５】
画像処理部２１２により、車両画像を抽出できなかった場合に(ステップ３０２−２の否定判定)、処理は、制御部２１１を介して、図６のステップ３０１に戻される。そして、新たな画像が画像入力部３から入力されたときに、画像処理部２１２は、再び、この新たな画像から車両画像を抽出する処理を行う。
【００６６】
一方、画像処理部２１２により、車両画像が抽出された場合に(ステップ３０２−２の肯定判定)、エンブレム抽出部２１４は、車両画像からエンブレムを表す部分を抽出する処理を行う(ステップ３０２−３)。また、このとき、ナンバープレート抽出部４−ａにより、同じ車両画像からナンバープレート部分を抽出する処理が行われる。そして、制御部９は、ナンバープレート抽出部４−ａからナンバープレートの位置を示す情報を受け取る(ステップ３０２−４)。
【００６７】
ナンバープレートの位置を示す情報を受け取ったときに(ステップ３０２−５の肯定判定)、制御部９は、ナンバープレートの検出は成功したと判断する。そして、制御部９は、車両１に対応する認識結果を示す情報の一部として、ナンバープレートの検出成功を示す情報と当該ナンバープレートの位置を示す情報とを記録する(ステップ３０２−６)。例えば、制御部９は、ナンバープレートを表す四角形の各頂点に対応する画素のアドレスを、ナンバープレートの位置を示す情報として記録してもよい。一方、ナンバープレート抽出部４−ａからナンバープレートの位置を示す情報が得られなかった場合に(ステップ３０２−５の否定判定)、制御部９は、ナンバープレートの抽出が失敗したと判断する。この場合に、制御部９は、車両１に対応する認識結果を示す情報の一部として、ナンバープレートの検出が失敗した旨の情報を記録する(ステップ３０２−７)。
【００６８】
次いで、画像処理部２１２は、ステップ３０２−１で抽出した車両画像に対応するエッジ画像を生成する(ステップ３０２−８)。線分抽出部２１３は、生成されたエッジ画像から、車両１の正面の外形において水平方向の直線部分を示す複数の線分を抽出する(ステップ３０２−９)。線分抽出部２１３は、例えば、直線部分の傾きの範囲が所定の範囲内であることを条件として、車両１の正面の水平方向に伸びる直線部分を示す複数の線分を選択的に抽出してもよい。例えば、線分抽出部２１３は、図１に示したカメラ２の光軸方向と道路の走行車線の方向とがなす角に基づいて傾きの範囲を制限し、車両１の側面の直線成分に対応する線分を排除してもよい。これにより、線分抽出部２１３は、車両１の正面の水平方向に伸びる直線部分を示す線分を、車両画像から選択的に抽出する。なお、線分抽出部２１３は、抽出した各線分の両端に対応する画素のアドレスを、それぞれの線分の位置を示す情報として出力してもよい。
【００６９】
なお、図８に示したステップ３０２−２のエンブレムの抽出処理、ステップ３０２−４〜ステップ３０２−７のナンバープレートの抽出に関連する処理およびステップ３０２−８〜ステップ３０２−９の線分の抽出に関連の実行順序は、図８と異なってもよい。
【００７０】
抽出部１１に含まれる各部および制御部９が上述した処理を実行することにより、車両１を撮影した画像から、車両１の中央を示す部材の部分および車両１の正面の水平方向に伸びる直線部分に対応する線分を特徴部位として抽出することができる。
【００７１】
次に、上述したようにして抽出された特徴部位の相対位置に基づく算出部１２の処理について説明する。
【００７２】
図９に、算出部の処理の一例を表す流れ図を示す。図９に示した各ステップは、図６に示したステップ３０３の処理の一例である。図９に示した各ステップは、それぞれ制御部９と算出部１２によって実行される。
【００７３】
ステップ３０３−１で、制御部９は、ナンバープレート抽出部４−ａからナンバープレートの抽出が成功した旨が通知されたか否かを判定する。制御部９は、例えば、上述したステップ３０２−６でナンバープレートの検出が成功した旨の情報が車両１に対応する認識結果の一部として記録されている場合に、ナンバープレートの抽出の成功が通知されていると判断する(ステップ３０３−１の肯定判定)。この場合に、制御部９は、線分抽出部２１３で抽出された線分のいずれかとナンバープレートとの相対位置を調べる処理を行う(ステップ３０３−２)。制御部９は、例えば、上述したステップ３０２−６で記録されたナンバープレートの位置を示す情報と、ステップ３０２−９で抽出された線分の一つについて当該線分の位置を示す情報とに基づいて、ナンバープレートと線分との相対位置を調べてもよい。例えば、制御部９は、ナンバープレートの位置を示す情報に基づいて、車両画像においてナンバープレートに対応する四角形の底辺の中点に対応する画素のアドレスを特定する。そして、このアドレスと線分の一つの中点に対応する画素のアドレスとの差の大きさに基づいて、ナンバープレートと当該線分に対応する車両１の水平方向の直線部分との間に位置ずれがあるか否かを判定する。なお、位置ずれを判断する際に用いる線分は、車両１の画像において、ナンバープレートに対応する四角形に近接した位置から抽出された線分であることが望ましい。
【００７４】
上述したアドレスの差が所定の閾値以下である場合に、制御部９は、ナンバープレートは車両１の中央部に設置されていると判断する(ステップ３０３−３の肯定判定)。この場合に、制御部９は、算出部１２に対して、車両１の中央を示す特徴部位としてナンバープレートを用いる旨を指示する。このとき、制御部９は、車両画像においてナンバープレートに対応する四角形の底辺の中点に対応する画素のアドレスを算出部１２に渡してもよい。
【００７５】
算出部１２は、制御部９から受け取った画素のアドレスと、線分抽出部２１３で抽出された線分の一つの位置を示す情報とに基づいて、ナンバープレートの中央位置に対応する当該線分上の点と当該線分の両端との距離の比を算出する(ステップ３０３−４)。例えば、算出部１２は、制御部９から受け取った画素のアドレスに基づいて、車両画像においてナンバープレート部分に近接した位置から抽出された線分の中心の位置を特定する。この線分の中心は、当該線分に対応する車両１の正面の直線部分の中央に対応する。次いで、算出部１２は、特定した位置を示す画素のアドレスと、当該線分の両端に対応する各画素のアドレスとの差から、特定した位置から両端までの距離をそれぞれ求め、求めた距離の比を算出する。
【００７６】
一方、ナンバープレートに対応する四角形の底辺の中点の位置と注目している線分の中点の位置とが所定の閾値で示される距離より離れている場合に、制御部９は、ナンバープレートは中央から外れた位置にあると判断する(ステップ３０３−３否定判定)。この場合に、制御部９は、算出部１２に対して、車両１の中央を示す特徴部位としてエンブレムを用いる旨を指示する。これに応じて、算出部１２は、エンブレム部分の車両画像における位置を示す情報と、線分抽出部２１３で抽出された線分の一つの位置を示す情報とに基づいて、エンブレムの中央位置に対応する当該線分上の点と当該線分の両端との距離の比を算出する(ステップ３０３−５)。この場合に、算出部１２は、エンブレム抽出部２１４で得られたエンブレム部分の車両画像における位置を示す情報から、エンブレムの中心の車両画像における位置を示す画素のアドレスを求めてもよい。例えば、算出部１２は、求めた画素のアドレスに基づいて、車両１の画像においてエンブレムの部分に近接した位置から抽出された線分の中心の位置を特定する。次いで、算出部１２は、特定した位置を示す画素のアドレスと、当該線分の両端に対応する各画素のアドレスとの差から、特定した位置から両端までの距離をそれぞれ求め、求めた距離の比を算出する。
【００７７】
なお、抽出部１１において、エンブレムの代わりに、車両検査証のシールなどを表す部分が車両１の中央位置を示す特徴部位として車両画像から抽出される場合もある。この場合に、算出部１２は、車両検査証のシールの位置を示す情報に基づいて、上述した比を算出してもよい。また、ナンバープレートの抽出が成功した場合に、算出部１２は、上述したステップ３０３−４の処理に加えて、ステップ３０３−５の処理を行ってもよい。そして、算出部１２は、ステップ３０３−４，３０３−５の処理でそれぞれ得られた比に基づいて、より確からしい比を求めてもよい。
【００７８】
ステップ３０３−４あるいはステップ３０３−５によって得られた比は、生成部１３の座標算出部２１６に渡される。
【００７９】
座標算出部２１６は、各線分について、上述した比に従って当該線分を内分する点の座標を算出する。座標算出部２１６は、各線分の両端に対応する画素のアドレスと、算出部１２によって算出された比とに基づいて、内分点に対応する画素の座標を示すアドレスを求めてもよい。このようにして求められた内分点の座標は、各線分の中心、すなわち、当該線分に対応する車両１の直線部分の中央に対応する当該線分上点の位置を示す。
【００８０】
次いで、方程式生成部２１７は、座標算出部２１６によって算出された座標に基づいて、各線分に対応する内分点を接続する方程式を生成する。例えば、画像における各画素のアドレスが行方向の位置と列方向の位置との組で表される場合に、方程式生成部２１７は、内分点のアドレスに含まれる行方向の位置を示す値が昇順または降順で接続されるように、各内分点を接続する方程式を生成する。また、方程式生成部２１７は、内分点のアドレスに含まれる列方向の位置を示す値が昇順または降順で接続されるように、各内分点を接続する方程式を生成してもよい。
【００８１】
このようにして、抽出部１１によって抽出された各線分において、当該線分に対応する車両１の直線部分の中央を示す位置を通る中心線を示す方程式を生成することができる。
【００８２】
次に、上述したようにして生成された中心線に基づいて、検出部１４が、車両１の画像から非対称な領域を検出する処理について説明する。
【００８３】
図１０に、車両１の画像において非対称な領域を検出する処理の一例を表す流れ図を示す。図１０に示した各ステップは、図６に示したステップ３０５の処理の一例である。図１０に示した各ステップは、図７に示した検出部１４に含まれる各部および制御部９によって実行される。
【００８４】
また、図１１に、車両認識データベース８の例を示す。図１１に例示した車両認識データベース８は、認識対象の車両それぞれを識別する認識ＩＤ(IDentifier)に対応して、認識日時と、認識対象の車両に含まれる各部品についての認識結果と、後述する所定の条件に基づく判定結果とを保持する。
【００８５】
制御部９は、まず、対称性の検証を行う対象となる車両１の部品を選択する(ステップ３０５−１)。制御部９は、例えば、車両１に含まれる多数の部品のうち、バンパーやボンネットなどのように、基本的な形状が左右対称である部品を順次に選択する。
【００８６】
次に、図７に示した部分画像抽出部２１８は、上述した画像処理部２１２によって抽出された車両画像から、制御部９によって選択された部品を表す部分を抽出する(ステップ３０５−２)。部分画像抽出部２１８は、例えば、選択された部品を表す部分を車両画像から抽出する処理に、車両特徴データベース５に蓄積された特徴情報を利用してもよい。また、部分画像抽出部２１８は、例えば、画像における色の連続性などの特徴を利用して、選択された部品を表す部分を車両画像から抽出してもよい。
【００８７】
図７に示した変形部２１９は、まず、部分画像抽出部２１８によって抽出された部品を表す部分の画像を、中心線を用いて、２つの領域に分割する(ステップ３０５−３)。例えば、変形部２１９は、部分画像抽出部２１８によって抽出された部分に含まれる中心線の方程式を用いて、選択された部品を表す部分の画像を、車両１を正面から見て左側に含まれる左側領域と右側に含まれる右側領域とに分割する。
【００８８】
次いで、変形部２１９は、左側領域の画像と右側領域の画像とを、上述した算出部１２で得られた距離の比に従って変形する(ステップ３０５−４)。例えば、変形部２１９は、分割した２つの領域の一方を、算出部１２で得られた距離の比に応じた倍率ｃを用いて、中心線に垂直な方向に拡大する変形処理を行ってもよい。算出部１２で得られた比ａ：ｂに基づいて、変形部２１９は、左側領域の画像を、中心線に垂直な方向にａ／ｂ倍に拡大する。この変形処理により、車両１を斜め方向から撮影したことによるゆがみが補正される。
【００８９】
次に、図７に示した照合部２２０は、上述した変形部２１９による変形処理後の左側画像の特徴と右側画像の特徴とを照合する(ステップ３０５−５)。照合部２２０は、例えば、変形処理後の左側画像と右側画像とについて、検証中の部品の色や明るさについての特徴を示す輝度分布を照合してもよい。この場合に、照合部２２０は、例えば、左側画像と右側画像とにおいて対応する位置の輝度についての差分絶対値が閾値を超えている範囲を表す情報や、この範囲に含まれる画素数を示す情報などを、輝度分布についての照合結果として出力してもよい。また、照合部２２０は、変形後の左側画像と右側画像とに基づいて、検証中の部品の左側の輪郭上の各点と中心線との距離と検証中の部品の右側の輪郭上の各点と中心線との距離を比較してもよい。これにより、照合部２２０は、検証中の部品の左右の形状の特徴について照合を行うことができる。この場合に、照合部２２０は、例えば、左右の輪郭上の各点と中心線との距離の差分に基づいて、差分二乗和を示す情報や、差分絶対値が閾値を超えている範囲を表す情報などを生成し、輪郭についての照合結果として出力してもよい。
【００９０】
上述したように、部品ごとに左側画像と右側画像とを変形した上で照合することにより、車両１において対称面から左右に広がる左右対称な部品の形状に非対称な部分があるか否かを高い精度で検出することができる。また、照合部２２０において、画像における輝度分布や色の分布を照合することにより、ボンネットに非対称な塗装があるといった特徴を検出することも可能である。
【００９１】
図７に示した対称性判定部２２１は、照合部２２０による照合結果と所定の閾値とを比較する(ステップ３０５−６)。対称性判定部２２１は、例えば、検証中の部品の種類ごとに、更に、照合部２２０で照合される特徴ごとに、照合結果と比較される閾値を用意しておいてもよい。
【００９２】
検証中の部品について照合部２２０から受け取った全ての照合結果が、対応する閾値以下である場合に(ステップ３０５−６の否定判定)、対称性判定部２２１は、車両１において、当該部品は正常である旨を検出結果として出力する(ステップ３０５−７)。このとき、結果保存部６は、車両認証データベース８に、ステップ３０５−７で出力された検出結果に基づいて、当該部品が正常である旨の情報を、車両１を示す認識ＩＤに対応して保存する。例えば、バンパーについて照合部２２０から受け取った全ての照合結果が、対応する閾値以下である場合に、対称性判定部２２１は、バンパーは正常である旨を検出結果として出力する。これに応じて、図７に示した結果保存部６は、図１１の例で、認識対象の車両の認識ＩＤ［０００１］に対応して示すように、車両認識データベース８に、バンパーは正常である旨を保存する。
【００９３】
一方、照合部２２０から受け取った検証中の部品について照合結果のいずれかに閾値以上の違いが見つかったときに（ステップ３０５−６の肯定判定）、対称性判定部２２１は、まず、検証中の部品がバンパーであるか否かを判定する(ステップ３０５−８)。
【００９４】
検証中の部品がバンパー以外である場合に(ステップ３０５−８の否定判定)、対称性判定部２２１は、検証中の部品には非対称な部分があると判断する。そして、対称性判定部２２１は、検証中の部品を車両１の非対称な特徴の一つとして検出する(ステップ３０５−９)。このとき、結果保存部６は、車両認証データベース８に、ステップ３０５−９で検出された非対称な特徴を、車両１を示す認識ＩＤに対応して保存する。例えば、照合部２２０によって得られた左右の輪郭上の各点と中心線との距離の差分二乗和が、対応する閾値以上である場合に、対称性判定部２２１は、ボンネットの形状が非対称である旨の情報を検出結果として出力する。これに応じて、結果保存部６は、図１１の例で、認識対象の車両の認識ＩＤ［０００２］に対応して示すように、車両認識データベース８に、ボンネットの形状が非対称である旨を保存する。
【００９５】
ところで、車両１のナンバープレートが、バンパーの中央以外の位置に設置されている場合に、バンパーを検証対象とした照合部２２０の照合処理の際に、このナンバープレートの画像が左右の画像で輝度分布などが不一致の部分として見つかる可能性がある。このような場合に対応するために、検証対象の部品がバンパーである場合に(ステップ３０５−８の肯定判定)、対称性判定部２２１は、ステップ３０５−１０〜３０５−１２の処理を行う。
【００９６】
ステップ３０５−１０において、対称性判定部２２１は、例えば、制御部９を介して、図７に示したナンバープレート認識装置４に対して、照合部２２０により輝度分布などが不一致とされた部分を対象としてナンバープレートの抽出処理を依頼する。
【００９７】
ナンバープレート認識装置４からナンバープレートの抽出が成功した旨が通知された場合に(ステップ３０５−１１の肯定判定)、対称性判定部２２１は、ナンバープレートの取り付け位置を、車両１の非対称な特徴の一つとして検出する(ステップ３０５−１２)。これに応じて、結果保存部６は、図１１の例で、認識対象の車両の認識ＩＤ［０００３］に対応して示すように、車両認識データベース８に、正常なナンバープレートが左側に設置されている旨を保存する。
【００９８】
一方、ナンバープレート認識装置４からナンバープレートの抽出が失敗した旨が通知された場合に(ステップ３０５−１１の否定判定)、対称性判定部２２１は、バンパーを、車両１の非対称な特徴の一つとして検出する(ステップ３０５−９)。これに応じて、結果保存部６は、図１１の例で、認識対象の車両の認識ＩＤ［０００２］に対応して示すように、車両認識データベース８に、バンパーに異常がある旨を保存する。
【００９９】
上述したステップ３０５−７あるいはステップ３０５−９あるいはステップ３０５−１２の処理の後、制御部９は、全ての部品についての検証が終了したか否かを判定する(ステップ３０５−１３)。未検証の部品がある場合に(ステップ３０５−１３の否定判定)、制御部９は、ステップ３０５−１に戻って、新たな部品を検証対象の部品として選択する。そして、ステップ３０５−２〜ステップ３０５−１２に従って、新たな部品に関する対称性を検証する処理が行われる。
【０１００】
このようにして、車両１に含まれる主要な部品について、それぞれ対称性を検証した結果を、車両認証データベース８に反映することができる。図１１に例示した車両認証データベース８は、ナンバープレート、バックミラー、ドアミラー、フロントガラス、バンパー、ボンネットを含む主要な部品について、各認識ＩＤで示される車両１の検証結果を示している。
【０１０１】
図１１の例では、認識ＩＤ［０００１］の車両についての検出結果として、ヘッドライトについて異常と判断される非対称な特徴を検出した旨の情報と、他の部品については非対称な特徴を検出しなかった旨の情報が示されている。一方、認識ＩＤ［０００２］の車両についての検出結果として、ナンバープレート以外の全ての部品について異常と判断される非対称な特徴を検出した旨の情報が示されている。また、認識ＩＤ［０００３］の車両についての検出結果として、全ての部品について非対称な特徴を検出しなかった旨の情報とともに、ナンバープレートが左側設置である旨の情報が示されている。また、認識ＩＤ［０００４］の車両についての検出結果として、フロントガラスについて非対称な特徴を検出した旨の情報と、ナンバープレートが検出不能であることから異常と判断される旨の情報が示されている。また、認識ＩＤ［０００５］の車両についての検出結果として、ボンネットについて非対称な塗装による特徴を検出した旨の情報が、異常とは判断されない特徴として示されている。
【０１０２】
なお、車両１の画像に含まれるフロントガラス部分は、車内に存在する物体が非対称に映りこんでいることを考慮して、照合部２２０による輝度分布の照合の対象外としてもよい。また、逆に、検出部１４に、車内の人物の外形に対応するパターンとフロントガラス部分の画像とのマッチングを行うマッチング部を追加し、車内に存在する人物の数などを検出することも可能である。
【０１０３】
また、検出部１４によって検出された非対称な特徴を、車両認識データベース８に、車両の異常を示す特徴として保存するか、正常な範囲の特徴として保存するかは、例えば、結果保存部６において、各部品ごとに条件を設定して判断してもよい。
【０１０４】
また、ドアミラーやヘッドライトのように、車両１において左右対称な位置に離れて配置される部品について非対称な特徴を検出する際に好適な処理手法については、後述する。
【０１０５】
また、図７に示した結果通知部７は、上述したようにして車両認識データベース８に蓄積された情報に基づいて、例えば、所定の条件に基づいて検出した車両の情報をオペレータの操作端末(図示せず)などに表示する処理を行ってもよい。例えば、結果通知部７は、認識対象の各車両について、車両認識データベース８に保存される各部品についての非対称性の検出結果を任意に組み合わせた条件に従って、条件を満たす車両を抽出する。
【０１０６】
図１１の例では、車両認識データベース８にいずれかの部品について異常が検出された車両に対応して、判定欄に丸印をつけて、条件に基づいて検出した車両を示した。
【０１０７】
また、結果通知部７は、抽出部１１の画像処理部２１２で抽出された車両の画像を利用して非対称な特徴を表示することにより、オペレータに分かりやすく通知することもできる。
【０１０８】
図１２に、非対称な特徴を持つ車両を検出した結果の表示例を示す。図１２の例では、検出部１４による処理で検出された非対称な特徴を表す部分を符号Ｐ１，Ｐ２で示した。
【０１０９】
結果通知部７は、符号Ｐ１，Ｐ２で示した各部分について、符号Ｄ１，Ｄ２に示すように、非対称な特徴が検出された部品の名称とともに、検出部１４でどのような非対称な特徴を検出したかを示すメッセージを表示させてもよい。
【０１１０】
図１２の例では、符号Ｐ１で示されたボンネット部分について、符号Ｄ１で示したメッセージにより、検出部１４により、「形状の不一致」が検出されたことが示されている。また、符号Ｐ２で示されたドアミラー部分について、符号Ｄ２で示したメッセージにより、検出部１４により、ドアミラーが検出できなかったことが示されている。
【０１１１】
次に、ドアミラーやヘッドライトのように、車両１において左右対称な位置に離れて配置される部品についての非対称な特徴を検出する際に好適な検出部１４の別実施形態について説明する。
【０１１２】
図１３に、車両検出装置の別実施形態を示す。なお、図１３に示した構成要素のうち、図７に示した構成要素と同等のものについては、同一の符号を付して示し、その説明は省略する。
【０１１３】
図１３に示した検出部１４は、推定部２２２と、領域画像抽出部２２３と、比較部２２４と、対称性判定部２２１とを有する。推定部２２２は、生成部１３で生成された中心線に基づいて、制御部９および車両特徴データベース５と協働して、車両１において左右対称な位置に離れて配置される左右一組の部品について、画像における位置をそれぞれ推定する。領域画像抽出部２２３は、抽出部１１の画像処理部２１２で抽出された車両１の画像から、推定部２２２によって検証対象の１対の部品に対応してそれぞれ推定された位置に基づいて、所定の範囲の画像を抽出する。比較部２２４は、領域抽出部２２３によって左側の部品について抽出された領域の画像の特徴と右側の部品について抽出された領域の画像の特徴とを比較する。比較部２２４は、例えば、左側の部品について抽出された領域の画像の特徴と右側の部品について抽出された領域の画像の特徴との類似度を求めてもよい。また、対称性判定部２２１は、比較部２２４によって求められた類似度が所定の閾値よりも低いか否かに基づいて、左右の部品が非対称な特徴を持っているか否かを判定してもよい。
【０１１４】
図１４に、非対称な特徴を検出する処理の別例を表す流れ図を示す。なお、図１４に示した各ステップのうち、図１０に示した各ステップと同等のものについては、同一の符号を付して示し、その説明は省略する。図１４に示した各ステップは、図６に示したステップ３０５の処理の一例である。また、図１４に示した各ステップは、図１３に示した検出部１４に含まれる各部および制御部９によって実行される。
【０１１５】
ステップ３０５−２１において、制御部９は、例えば、車両１に含まれる多数の部品のうち、ヘッドライトやドアミラーなどのように、互いに対応する部品が左右対称で離れた位置に配置される部品の対を順次に、検証対象の部品として選択する。制御部９は、例えば車両特徴データベース５に蓄積された情報を利用して、ステップ３０５−２１の処理を行ってもよい。制御部９は、選択した部品の対を指定して、推定部２２２に、位置の推定を指示する。
【０１１６】
これに応じて、推定部２２２は、車両特徴データベース５の情報と上述した算出部１２で得られた比とに基づいて、車両画像に含まれる左右の部品を表す部分の画像における位置を推定する(ステップ２０５−２２)。車両特徴データベース５には、例えば、図２に符号Ｅ３で示した線分に対応するフロントグリル下側の輪郭の両端と左右のヘッドライトとについて概略の位置を示す情報が含まれている。推定部２２２は、この情報と算出部１２で得られた比に基づいて、車両画像に含まれる左右のヘッドライトの部分の画像における位置をそれぞれ推定する。
【０１１７】
上述したようにして、左右の部品について推定された位置に基づいて、領域画像抽出部２２３は、車両画像から、それぞれ所定の範囲の画像を抽出する(ステップ３０５−２３)。例えば、領域抽出部２２３は、推定部２２２によって推定された位置を中心として、左右の部品の大きさに対応する領域の画像を抽出してもよい。このとき、領域抽出部２２３は、算出部１２で得られた比に基づいて、画像における左右の部品の大きさをそれぞれ求めてもよい。
【０１１８】
このようにして左右の部品についてそれぞれ抽出された領域の画像は、比較部２２４に渡される。比較部２２４は、左右の部品についてそれぞれ抽出された領域の画像について、それぞれの特徴を比較する処理を行う(ステップ３０５−２４)。例えば、比較部２２４は、左側の部品について抽出された領域の画像の輝度分布と右側の部品について抽出された領域の画像の輝度分布とについてそれぞれ特徴を抽出し、輝度分布の類似度を求めてもよい。また、比較部２２４は、左右の部品に対応する領域の平均輝度やその領域の色をそれぞれの画像の特徴として、互いの類似度を求めてもよい。
【０１１９】
上述したようにして、検出部１４は、部品の対について推定された位置の周辺の画像の特徴を比較する。これにより、車両１の正面の水平方向についての対称線から離れて接地された部品についても、斜め方向から撮影したことによる画像のゆがみにかかわらず、左右の対称性を判断することができる。
【０１２０】
いずれの場合でも、対称性判定部２２１は、比較部２２４で求められた類似度が所定の閾値よりも高い場合に(ステップ３０５−２５の否定判定)、図１０に示したステップ３０５−７と同様に、検証中の左右の部品は正常である旨を出力する。一方、比較部２２４で求められた類似度が所定の閾値よりも低い場合に(ステップ３０５−２５の肯定判定)、左右の部品について非対称な特徴を検出する(ステップ３０５−９)。この検出結果に基づいて、結果保存部６は、車両認証データベース８に、ステップ３０５−９で検出された非対称な特徴を、車両１を示す認識ＩＤに対応して保存する。
【０１２１】
例えば、比較部２２４によって求められた左右のヘッドライトに対応する領域の輝度分布の類似度が所定の閾値以下とされた場合に、対称性判定部２２１は、ヘッドライトの輝度が非対称である旨の情報を検出結果として出力する。これに応じて、結果保存部６は、図１１の例で、認識対象の車両の認識ＩＤ［０００１］に対応して示すように、車両認識データベース８に、片方のヘッドライトのみが点灯している旨を保存する。また、比較部２２４は、左右のヘッドライトに対応する領域の平均輝度を比較して、どちらが低輝度であるかを示す情報を出力することもできる。この情報を利用すれば、結果保存部６により、図１１に、認識対象の車両の認識ＩＤ［０００１］のヘッドライトの欄に括弧書きで示したように、異常が疑われる部品を明確に示すこともできる。
【０１２２】
また、例えば、ドアミラーの一方が破損している場合には、左右のドアミラーの推定位置に対応して抽出された領域について、比較部２２４によって求められた色の類似度が所定の閾値よりも低くなる。この場合に、対称性判定部２２１は、ドアミラーが非対称である旨の情報を検出結果として出力する。これに応じて、結果保存部６は、図１１の例で、認識対象の車両の認識ＩＤ［０００２］に対応して示すように、車両認識データベース８に、ドアミラーの一方が検出できない旨を保存する。また、比較部２２４は、左右のドアミラーに対応する領域の色とボディ部の色とを比較して、どちらの領域の色が一致しているかを示す情報を出力することもできる。この情報を利用すれば、結果保存部６により、図１１に、認識対象の車両の認識ＩＤ［０００２］のドアミラーの欄に括弧書きで示したように、異常が疑われる部品を明確に示すこともできる。
【０１２３】
なお、ドアミラーのように、車両１の中央から外れた位置に配置される部品は、カメラ２の撮影方向によっては、画像に現れない場合もある。このような場合に対応するために、例えば、算出部１２によって求められた比が所定の範囲に含まれない場合に、検証対象とする部品を制限してもよい。
【０１２４】
図１１に、認識対象の車両の認識ＩＤ［０００５］のドアミラーの欄に示した符号「−」は、当該車両については、ドアミラーを対称性についての検証対象から外した旨を示す。
【０１２５】
ところで、カメラ２の撮影方向が車両１の正面方向である場合に、上述した生成部１３によって生成される中心線は、カメラ２によって得られた画像に含まれる車両画像の外形の中心線に一致する。この場合に、検出部１４は、車両画像を単純に左右で比較することにより、車両１に含まれる各部品について非対称な特徴があるか否かを判断することができる。なお、カメラ２の撮影方向が車両１の正面方向であるか否かは、例えば、図７に示したナンバープレート抽出部４−ａによって抽出されたナンバープレートの画像が長方形であるか否かに基づいて判断することができる。
【符号の説明】
【０１２６】
１…車両；１ｇ…車両画像、２…カメラ；３…画像入力部；４…ナンバープレート認識装置；４−ａ…ナンバープレート抽出部；４−ｂ…ナンバー認識処理部；５…車両特徴データベース；５…車両特徴データベース；６…結果保存部；７…結果通知部；８…車両認識データベース；９…制御部；１０…車両検出装置；１１…抽出部；１２…算出部；１３…生成部；１４…検出部；２１…プロセッサ；２２…メモリ；２３…ハードディスク装置(ＨＤＤ)；２４…表示制御部；２５…表示装置；２６…入力装置；２７…画像入力装置；２８…光学ドライブ；２９…通信制御部；３０…ネットワーク；３１…リムーバブルディスク；２１２…画像処理部；２１３…線分抽出部；２１４…エンブレム抽出部；２１６…座標算出部；２１７…方程式生成部；２１８…部分画像抽出部；２１９…変形部；２２０…照合部；２２１…対称性判定部；２２２…推定部；２２３…領域画像抽出部；２２４…比較部
【特許請求の範囲】
【請求項１】
車両を撮影した画像から、前記車両の正面の中央位置を示す部分と、前記車両の正面において水平方向に伸びる直線部分を示す複数の線分とを含む特徴部位を抽出する抽出部と、
前記中央位置を示す部分と前記中央位置を示す部分に近接する前記線分の相対位置に基づいて、前記線分の中心を求め、前記線分の中心から前記線分の一端までの距離と、前記線分の中心から前記線分の他端までの距離との比を算出する算出部と、
前記複数の線分を前記比に基づいて内分する内分点を求め、前記各線分の内分点を結ぶ中心線を生成する生成部と、
前記車両を撮影した画像に含まれる前記車両を表す部分の画像において、前記中心線を境界として前記車両の正面の左側部分と右側部分とを比較することにより、前記中心線を基準として非対称な特徴を持つ画像の領域を検出する検出部と、
を備えたことを特徴とする車両検出装置。
【請求項２】
請求項１に記載の車両検出装置において、
前記検出部は、
前記車両において左右対称な形状を持つ部材に対応する前記画像の部分を前記中心線によって分割して得られる２つの部分画像に対して、前記比に基づく変形を適用する変形部と、
前記変形部によって変形された前記２つの部分画像を、前記中心線を基準として照合する照合部と、を備えた
ことを特徴とする車両検出装置。
【請求項３】
請求項１に記載の車両検出装置において、
前記検出部は、
前記比に基づいて、前記車両において左右対称に配置される一対の部材の位置をそれぞれ推定する推定部と、
前記推定部によって前記一対の部材について推定された位置を含む所定の領域について前記画像の特徴を比較する比較部と、を備えた
ことを特徴とする車両検出装置。
【請求項４】
車両を撮影した画像から、前記車両の正面の中央位置を示す部分と、前記車両の正面において水平方向に伸びる直線部分を示す複数の線分とを含む特徴部位を抽出し、
前記中央位置を示す部分と前記中央位置を示す部分に近接する前記線分の相対位置に基づいて、前記線分の中心を求め、前記線分の中心から前記線分の一端までの距離と、前記線分の中心から前記線分の他端までの距離との比を算出し、
前記複数の線分を前記比に基づいて内分する内分点を求め、前記各線分の内分点を結ぶ中心線を生成し、
前記車両を撮影した画像に含まれる前記車両を表す部分の画像において、前記中心線を境界として前記車両の正面の左側部分と右側部分とを比較することにより、前記中心線を基準として非対称な特徴を持つ画像の領域を検出する、
ことを特徴とする車両検出方法。
【請求項５】
車両を撮影した画像から、前記車両の正面の中央位置を示す部分と、前記車両の正面において水平方向に伸びる直線部分を示す複数の線分とを含む特徴部位を抽出し、
前記中央位置を示す部分と前記中央位置を示す部分に近接する前記線分の相対位置に基づいて、前記線分の中心を求め、前記線分の中心から前記線分の一端までの距離と、前記線分の中心から前記線分の他端までの距離との比を算出し、
前記複数の線分を前記比に基づいて内分する内分点を求め、前記各線分の内分点を結ぶ中心線を生成し、
前記車両を撮影した画像に含まれる前記車両を表す部分の画像において、前記中心線を境界として前記車両の正面の左側部分と右側部分とを比較することにより、前記中心線を基準として非対称な特徴を持つ画像の領域を検出する、
処理をコンピュータに実行させる車両検出プログラム。
【請求項１】
車両を撮影した画像から、前記車両の正面の中央位置を示す部分と、前記車両の正面において水平方向に伸びる直線部分を示す複数の線分とを含む特徴部位を抽出する抽出部と、
前記中央位置を示す部分と前記中央位置を示す部分に近接する前記線分の相対位置に基づいて、前記線分の中心を求め、前記線分の中心から前記線分の一端までの距離と、前記線分の中心から前記線分の他端までの距離との比を算出する算出部と、
前記複数の線分を前記比に基づいて内分する内分点を求め、前記各線分の内分点を結ぶ中心線を生成する生成部と、
前記車両を撮影した画像に含まれる前記車両を表す部分の画像において、前記中心線を境界として前記車両の正面の左側部分と右側部分とを比較することにより、前記中心線を基準として非対称な特徴を持つ画像の領域を検出する検出部と、
を備えたことを特徴とする車両検出装置。
【請求項２】
請求項１に記載の車両検出装置において、
前記検出部は、
前記車両において左右対称な形状を持つ部材に対応する前記画像の部分を前記中心線によって分割して得られる２つの部分画像に対して、前記比に基づく変形を適用する変形部と、
前記変形部によって変形された前記２つの部分画像を、前記中心線を基準として照合する照合部と、を備えた
ことを特徴とする車両検出装置。
【請求項３】
請求項１に記載の車両検出装置において、
前記検出部は、
前記比に基づいて、前記車両において左右対称に配置される一対の部材の位置をそれぞれ推定する推定部と、
前記推定部によって前記一対の部材について推定された位置を含む所定の領域について前記画像の特徴を比較する比較部と、を備えた
ことを特徴とする車両検出装置。
【請求項４】
車両を撮影した画像から、前記車両の正面の中央位置を示す部分と、前記車両の正面において水平方向に伸びる直線部分を示す複数の線分とを含む特徴部位を抽出し、
前記中央位置を示す部分と前記中央位置を示す部分に近接する前記線分の相対位置に基づいて、前記線分の中心を求め、前記線分の中心から前記線分の一端までの距離と、前記線分の中心から前記線分の他端までの距離との比を算出し、
前記複数の線分を前記比に基づいて内分する内分点を求め、前記各線分の内分点を結ぶ中心線を生成し、
前記車両を撮影した画像に含まれる前記車両を表す部分の画像において、前記中心線を境界として前記車両の正面の左側部分と右側部分とを比較することにより、前記中心線を基準として非対称な特徴を持つ画像の領域を検出する、
ことを特徴とする車両検出方法。
【請求項５】
車両を撮影した画像から、前記車両の正面の中央位置を示す部分と、前記車両の正面において水平方向に伸びる直線部分を示す複数の線分とを含む特徴部位を抽出し、
前記中央位置を示す部分と前記中央位置を示す部分に近接する前記線分の相対位置に基づいて、前記線分の中心を求め、前記線分の中心から前記線分の一端までの距離と、前記線分の中心から前記線分の他端までの距離との比を算出し、
前記複数の線分を前記比に基づいて内分する内分点を求め、前記各線分の内分点を結ぶ中心線を生成し、
前記車両を撮影した画像に含まれる前記車両を表す部分の画像において、前記中心線を境界として前記車両の正面の左側部分と右側部分とを比較することにより、前記中心線を基準として非対称な特徴を持つ画像の領域を検出する、
処理をコンピュータに実行させる車両検出プログラム。
【図１】
【図２】
【図３】
【図４】
【図５】
【図６】
【図７】
【図８】
【図９】
【図１０】
【図１１】
【図１２】
【図１３】
【図１４】
【図２】
【図３】
【図４】
【図５】
【図６】
【図７】
【図８】
【図９】
【図１０】
【図１１】
【図１２】
【図１３】
【図１４】
【公開番号】特開２０１２−１９０３８０（Ｐ２０１２−１９０３８０Ａ）
【公開日】平成２４年１０月４日（２０１２．１０．４）
【国際特許分類】
【出願番号】特願２０１１−５５０４７（Ｐ２０１１−５５０４７）
【出願日】平成２３年３月１４日（２０１１．３．１４）
【出願人】（０００００５２２３）富士通株式会社 (25,993)
【Ｆターム（参考）】
【公開日】平成２４年１０月４日（２０１２．１０．４）
【国際特許分類】
【出願日】平成２３年３月１４日（２０１１．３．１４）
【出願人】（０００００５２２３）富士通株式会社 (25,993)
【Ｆターム（参考）】
[ Back to top ]