車両情報抽出プログラム、車両情報抽出装置、車両情報抽出方法

【課題】車両が撮影された画像から車両のボディの領域を抽出する車両情報抽出プログラム、車両情報抽出装置、車両情報抽出方法を提供する。
【解決手段】車両が撮影された画像に基づく第１画像を取得し、第１画像内において、直線成分を検出し、直線成分が複数検出された場合、第１画像内において、直線成分同士の交点を含む所定の大きさの領域である第１領域を検出し、第１画像内において、第１領域以外の領域に基づいて第２領域を検出することをコンピュータに実行させる。

【発明の詳細な説明】
【技術分野】
【０００１】
本発明は、車両が撮影された画像の処理を行う車両情報抽出プログラム、車両情報抽出装置、車両情報抽出方法に関するものである。
【背景技術】
【０００２】
車体の色である車体色を検出する車体識別システムがある。例えば、路上等に設置されたカメラで撮影した画像から、差分法などにより、車体を特定し、車体位置の範囲で車体色の認識を行う技術がある。しかし、車体には、ヘッドライト、フロントグリル、ボディ等があり、ヘッドライトやフロントグリル等、ボディと異なる色の部分がある。そのため、正確に車体のボディの色を認識できない場合があった。
【０００３】
関連する技術として、車体の画像からナンバープレートやテールランプ等の部分の位置を検出し、その位置に基づいてボディを検出する技術がある（例えば、特許文献１、特許文献２参照）。
【先行技術文献】
【特許文献】
【０００４】
【特許文献１】特開２００６−１６４１９３号公報
【特許文献２】特開２００７−６０２７３号公報
【発明の概要】
【発明が解決しようとする課題】
【０００５】
しかしながら、車体のデザインは多種多様で、車種ごとに異なるため、ナンバープレートやテールランプ等の部分の位置に基づいてボディを検出する技術は、ボディのみを抽出できない場合がある。
【０００６】
本発明は上述した問題点を解決するためになされたものであり、車両が撮影された画像から車両のボディの領域を抽出する車両情報抽出プログラム、車両情報抽出装置、車両情報抽出方法を提供することを目的とする。
【課題を解決するための手段】
【０００７】
上述した課題を解決するため、本発明の一態様は、車両が撮影された画像に基づく第１画像を取得し、第１画像内において、直線成分を検出し、直線成分が複数検出された場合、第１画像内において、直線成分同士の交点を含む所定の大きさの領域である第１領域を検出し、第１画像内において、第１領域以外の領域に基づいて第２領域を検出することをコンピュータに実行させる。
【０００８】
また、本発明の一態様は、車両が撮影された画像に基づく第１画像を取得する取得部と、第１画像内において、直線成分を検出する直線検出部と、直線成分が複数検出された場合、第１画像内において、直線成分同士の交点を含む所定の大きさの領域である第１領域を検出する第１領域検出部と、第１画像内において、第１領域以外の領域に基づいて第２領域を検出する第２領域検出部とを有する。
【０００９】
また、本発明の一態様は、車両が撮影された画像に基づく第１画像を取得し、第１画像内において、直線成分を検出し、直線成分が複数検出された場合、第１画像内において、直線成分同士の交点を含む所定の大きさの領域である第１領域を検出し、第１画像内において、第１領域以外の領域に基づいて第２領域を検出することを実行する。
【発明の効果】
【００１０】
開示の車両情報抽出プログラム、車両情報抽出装置、車両情報抽出方法によれば、車両が撮影された画像から車両のボディの領域を抽出することができる。
【図面の簡単な説明】
【００１１】
【図１】車両情報抽出システム１の構成を示すブロック図である。
【図２】サーバ２の機能を示すブロック図である。
【図３】コンピュータ８００の構成を示すブロック図である。
【図４】サーバ２の動作を示すフローチャートである。
【図５】撮影画像の一例を示す図である。
【図６】撮影画像２１内の車体中心領域の一例を示す図である。
【図７】撮影画像２１内のコーナー領域の一例を示す図である。
【図８】ボディ画像の一例を示す図である。
【図９】コーナー検出部１３による処理を示すフローチャートである。
【図１０】エッジ画像の一例を示す図である。
【図１１】ウィンドウの一例を示す図である。
【図１２】直線成分が存在しないウィンドウを示す図である。
【図１３】１つの直線成分が存在するウィンドウを示す図である。
【図１４】複数の直線成分が存在するウィンドウを示す図である。
【図１５】本発明が適用されるコンピュータシステムの一例を示す図である。
【発明を実施するための形態】
【００１２】
以下、本発明の実施の形態について図面を参照しつつ説明する。
【００１３】
ここでは、車体（車両）を撮影し、撮影された画像から、ヘッドライト、窓ガラス、フロントグリル等を除くボンネット等の車体色で塗られた部分（以下、ボディと呼ぶ）を検出し、更に車体色を検出する車両情報抽出システム１について説明する。
【００１４】
車両情報抽出システム１の構成について以下に説明する。
【００１５】
図１は、車両情報抽出システム１の構成を示すブロック図である。車両情報抽出システム１は、サーバ２、カメラ３を有する。カメラ３は、路上等、車両が通行する位置を撮影するように設置され、その位置を通行する車両を撮影する。サーバ２は、車両情報抽出装置として機能し、カメラ３による撮影結果を取得し、撮影結果に基づいて演算を行うことにより車両のボディや車両色を検出する。
【００１６】
サーバ２とカメラ３は、ネットワークを介して接続されても良い。サーバ２は、複数のカメラ３に接続され、複数のカメラ２からの撮影結果を取得し、撮影結果のそれぞれに基づいて演算を行っても良い。
【００１７】
図２は、サーバ２の機能を示すブロック図である。サーバ２は、画像取得部１１、車体検出部１２、コーナー検出部１３、ボディ検出部１４、色識別部１５、画像記憶部１６、抽出結果記憶部１７を有する。
【００１８】
サーバ２は、コンピュータ８００により実現される。図３は、コンピュータ８００の構成を示すブロック図である。コンピュータ８００は、ＣＰＵ（Central Processing Unit）８０１、記憶部８０２、表示部８０３、操作部８０４を有する。記憶部８０２は、車両情報抽出装置の機能が表された車両情報抽出プログラムを記憶する。ＣＰＵ８０１は、記憶部８０２に記憶された車両情報抽出プログラムを実行する。
【００１９】
操作部８０４は、ユーザからの指示を取得する。表示部８０３は、車両情報抽出プログラムにより取得された画像や生成された画像を表示する。記憶部８０２は、更に、画像記憶部１６及び抽出結果記憶部１７の機能を有する。
【００２０】
サーバ２の動作について以下に説明する。
【００２１】
図４は、サーバ２の動作を示すフローチャートである。カメラ３が撮影を行い、撮影結果を撮影画像として生成すると、このフローが開始される。
【００２２】
画像取得部１１は、カメラ３から撮影画像を取得して画像記憶部１６へ書き込む（Ｓ１１）。図５は、撮影画像の一例を示す図である。この例における撮影画像２１は、カメラ３により車両の正面が撮影された画像である。
【００２３】
車体検出部１２は、画像記憶部１６から撮影画像を読み出し、撮影画像内の車体の中心部分の領域である車体中心領域を検出し、車体中心領域の座標を画像記憶部１６へ書き込む（Ｓ１２）。図６は、撮影画像２１内の車体中心領域の一例を示す図である。この図は、上述の撮影画像２１から検出された車体中心領域２２を示す。
【００２４】
車体検出部１２は、車体中心領域の検出が成功したか否かの判定を行う（Ｓ１３）。車体中心領域の検出が失敗した場合（Ｓ１３，Ｎｏ）、車体検出部１２は、このフローをＳ１１へ移行させる。車体中心領域の検出が成功した場合（Ｓ１３，Ｙｅｓ）、車体検出部１２は、このフローをＳ１４へ移行させる。
【００２５】
コーナー検出部１３は、画像記憶部１６から撮影画像の車体中心領域である車体中心画像を読み出し、車体中心画像内でコーナー形状を含む領域であるコーナー領域を検出し、コーナー領域の座標を画像記憶部１６へ書き込む（Ｓ１４）。図７は、撮影画像２１内のコーナー領域の一例を示す図である。この図において、上述の車体中心領域２２内の黒く塗りつぶされた領域は、検出されたコーナー領域２３を示す。
【００２６】
ボディ検出部１４は、画像記憶部１６から車体中心領域の座標及びコーナー領域の座標を読み出し、車体中心領域からコーナー領域を除いた領域であるボディ領域を検出し、撮影画像のボディ領域であるボディ画像を抽出して抽出結果記憶部１７へ書き込む（Ｓ１５）。図８は、ボディ画像の一例を示す図である。この図は、上述の車体中心領域２２から抽出されたボディ領域２４を示す。ここで、ボディ検出部１４は、車体中心領域からコーナー領域を除いた領域のうち、最も面積の大きい領域をボディ領域としても良い。
【００２７】
色識別部１５は、抽出結果記憶部１７からボディ画像を読み出し、ボディ画像の色である車体色を識別して抽出結果記憶部１７へ書き込む（Ｓ１６）。
【００２８】
以上で、このフローは終了する。カメラ３は、定期的に撮影を行い、その度にこのフローは実行される。
【００２９】
車体には多くのコーナー形状（隅）が存在するが、ボンネット等のボディは一般的になだらかで、コーナー形状が検出されないことが多い。サーバ２は、この傾向を利用して、車体中心領域からコーナー領域を除去したボディ領域を取り出し、ヘッドライトやフロントグリル等の色の影響を除外することが出来る。
【００３０】
画像記憶部１６及び抽出結果記憶部１７は、データベースであり、撮影画像、座標、車体色等を対応付けて保存する。
【００３１】
車体検出部１２による処理（Ｓ１２）の詳細について以下に説明する。
【００３２】
車体検出部１２は、カメラ３により車両が存在しない場合（車体中心部分の抽出が失敗した場合、Ｓ１３，Ｎｏ）の撮影画像を背景画像として画像記憶部１６へ書き込んでおく。
【００３３】
車体検出部１２は、現在に取得された撮影画像と過去に取得された背景画像との差分を算出し、その差分の絶対値が所定の差分閾値より大きい領域を抽出して候補領域とし、候補領域に基づいて撮影画像中の車体中心部分を抽出する。候補領域として、窓部分とボンネット部分が抽出される場合がある。車体検出部１２は、所定のサイズ閾値より大きい候補領域を抽出して２個の候補領域が抽出された場合、２個の候補領域のうち下にある方の候補領域をボンネットと判断し、そのボンネットの領域を車体中心部分とする。
【００３４】
車体検出部１２は、撮影画像からナンバープレートやランプ等の部品を検出し、その部品の位置に基づいて車体中心部分を抽出しても良い。
【００３５】
コーナー検出部１３による処理（Ｓ１４）の詳細について以下に説明する。
【００３６】
図９は、コーナー検出部１３による処理を示すフローチャートである。コーナー検出部１３は、撮影画像の車体中心部分のエッジ画像を生成する（Ｓ２１）。図１０は、エッジ画像の一例を示す図である。この図は、エッジ画像３１を示す。
【００３７】
コーナー検出部１３は、エッジ画像内を走査するように、エッジ画像内に所定のウィンドウサイズの矩形（または探索サイズの円形）のウィンドウを設定する（Ｓ２２）。ウィンドウサイズは、例えば数画素〜数十画素とする。図１１は、エッジ画像内のウィンドウの一例を示す図である。この図は、上述のエッジ画像３１に設定されたウィンドウ３２を示す。
【００３８】
コーナー検出部１３は、ウィンドウ内で直線成分を検出する（Ｓ２３）。直線成分の検出は、例えばハフ変換を用いる。コーナー検出部１３は、２つ以上の直線成分が検出されたか否かの判定を行う（Ｓ２４）。２つ以上の直線成分が検出されない場合（Ｓ２４，Ｎ）、コーナー検出部１３は、このフローをＳ２６へ移行させる。２つ以上の直線成分が検出された場合（Ｓ２４，Ｙ）、コーナー検出部１３は、それらの直線成分の交点をコーナーとし、コーナーが検出されたウィンドウをコーナー領域として画像記憶部１６に書き込んで登録する（Ｓ２５）。
【００３９】
図１２は、直線成分が存在しないウィンドウを示す図である。この場合、ウィンドウ３２ａ内に直線成分が検出されなかったため、コーナーは検出されず、ウィンドウ３２ａはコーナー領域として登録されない。図１３は、１つの直線成分が存在するウィンドウを示す図である。この場合、ウィンドウ３２ｂ内に１つの直線成分３３ａしか検出されなかったため、コーナーは検出されず、ウィンドウ３２ｂはコーナー領域として登録されない。図１４は、２つの直線成分が存在するウィンドウを示す図である。この場合、ウィンドウ３２ｃ内に２つの直線成分３３ｂ，３３ｃが検出されたため、直線成分３３ｂ，３３ｃの交点がコーナーとして検出され、ウィンドウ３２ｃはコーナー領域として登録される。
【００４０】
コーナー検出部１３は、エッジ画像内のウィンドウの走査が終了したか否かの判定を行う（Ｓ２６）。ウィンドウの走査が終了していない場合（Ｓ２６，Ｎ）、コーナー検出部１３は、このフローをＳ２２へ移行させ、次の位置のウィンドウを設定する。ウィンドウの走査が終了した場合（Ｓ２６，Ｙ）、コーナー検出部１３は、このフローを終了させる。
【００４１】
以上で、このフローは終了する。
【００４２】
車両情報抽出システム１の変形例について以下に説明する。
【００４３】
ボディ検出部１４は更に、ボディ部分の座標に基づいて、撮影画像からボディー部を含む車体下部の画像を抽出しても良い。この車体下部の画像は、フロントガラスの画像を含まず、乗車者の画像を含まない。そのため、乗車者のプライバシーや肖像権に配慮した画像として利用することができる。
【００４４】
また、この車体下部の画像は、ボンネットの下のグリルを含む。そのため、ボディ検出部１４は更に、グリルの形状と車種とを対応付けたデータベースを有し、車体下部の画像におけるグリルの形状から車種を認識しても良い。
【００４５】
色識別部１５は、ボディ画像から複数の色を検出した場合、色毎の面積を算出し、面積の大きい順に所定の色数を結果として出力しても良い。所定の色数は、例えば３である。
【００４６】
サーバ２において、色識別部１５は省かれても良い。この場合、抽出結果としてボディ画像が抽出結果記憶部１７へ書き込まれる。
【００４７】
サーバ２において、車体検出部１２は省かれても良い。
【００４８】
上述の車両情報抽出システム１によれば、車両が撮影された画像からボディ画像の抽出や車体色の抽出を行うことができる。
【００４９】
上述の車両情報抽出システム１によれば、フロントグリルやヘッドライトなどの影響を除外して車体のボディ部分の色を得ることが出来るため、色識別の認識率が向上する。また、相対位置に左右されないコーナー特徴を除去することで、多種多様な車体のデザインに対応できる。さらに、形状認識などの複雑な方法を用いることなく、ボディ部分の特定ができるためコンピュータの処理負荷を軽減できる。
【００５０】
なお、本発明は以下に示すようなコンピュータシステムにおいて適用可能である。図１５は、本発明が適用されるコンピュータシステムの一例を示す図である。この図に示すコンピュータシステム９００は、ＣＰＵやディスクドライブ等を内蔵した本体部９０１、本体部９０１からの指示により画像を表示するディスプレイ９０２、コンピュータシステム９００に種々の情報を入力するためのキーボード９０３、ディスプレイ９０２の表示画面９０２ａ上の任意の位置を指定するマウス９０４及び外部のデータベース等にアクセスして他のコンピュータシステムに記憶されているプログラム等をダウンロードする通信装置９０５を有する。通信装置９０５は、ネットワーク通信カード、モデムなどが考えられる。
【００５１】
上述したような、車両情報抽出装置を構成するコンピュータシステムにおいて上述した各ステップを実行させるプログラムを、車両情報抽出プログラムとして提供することができる。このプログラムは、コンピュータシステムにより読み取り可能な記録媒体に記憶させることによって、車両情報抽出装置を構成するコンピュータシステムに実行させることが可能となる。上述した各ステップを実行するプログラムは、ディスク９１０等の可搬型記録媒体に格納されるか、通信装置９０５により他のコンピュータシステムの記録媒体９０６からダウンロードされる。また、コンピュータシステム９００に少なくとも車両情報抽出機能を持たせる車両情報抽出プログラムは、コンピュータシステム９００に入力されてコンパイルされる。このプログラムは、コンピュータシステム９００を、車両情報抽出機能を有する車両情報抽出システムとして動作させる。また、このプログラムは、例えばディスク９１０等のコンピュータ読み取り可能な記録媒体に格納されていても良い。ここで、コンピュータシステム９００により読み取り可能な記録媒体としては、ＲＯＭやＲＡＭ等のコンピュータに内部実装される内部記憶装置、ディスク９１０やフレキシブルディスク、ＤＶＤディスク、光磁気ディスク、ＩＣカード等の可搬型記憶媒体や、コンピュータプログラムを保持するデータベース、或いは、他のコンピュータシステム並びにそのデータベースや、通信装置９０５のような通信手段を介して接続されるコンピュータシステムでアクセス可能な各種記録媒体を含む。
【００５２】
直線成分検出部は、実施の形態におけるコーナー検出部１３のＳ２３の機能に対応する。第１領域検出部は、実施の形態におけるコーナー検出部１３のＳ２４，Ｓ２５の機能に対応する。第２領域検出部は、実施の形態におけるボディ検出部１４に対応する。
【００５３】
第１画像は、実施の形態における撮影画像の車体中心領域に対応する。第１領域は、実施の形態におけるコーナー領域に対応する。第２領域は、実施の形態におけるボディ領域に対応する。
【００５４】
本発明は、その精神または主要な特徴から逸脱することなく、他の様々な形で実施することができる。そのため、前述の実施の形態は、あらゆる点で単なる例示に過ぎず、限定的に解釈してはならない。本発明の範囲は、特許請求の範囲によって示すものであって、明細書本文には、何ら拘束されない。更に、特許請求の範囲の均等範囲に属する全ての変形、様々な改良、代替および改質は、全て本発明の範囲内のものである。
【００５５】
以上の実施の形態に関し、更に以下の付記を開示する。
（付記１）
車両が撮影された画像に基づく第１画像を取得し、
第１画像内において、直線成分を検出し、
前記直線成分が複数検出された場合、前記第１画像内において、前記直線成分同士の交点を含む所定の大きさの領域である第１領域を検出し、
前記第１画像内において、前記第１領域以外の領域に基づいて第２領域を検出する、
ことをコンピュータに実行させる車両情報抽出プログラム。
（付記２）
更に、
前記第１画像の前記第２領域における色を識別する
ことを前記コンピュータに実行させる、
付記１に記載の車両情報抽出プログラム。
（付記３）
更に、
前記車両が撮影された画像から前記車両の特定部分を検出して前記第１画像とする
ことを前記コンピュータに実行させる、
付記１に記載の車両情報抽出プログラム。
（付記４）
前記特定部分は、車両のボンネットを含む、
付記３に記載の車両情報抽出プログラム。
（付記５）
前記第１画像内において前記所定の大きさのウィンドウを走査し、
前記交点が検出されたウィンドウの全てを前記第１領域とする
ことを前記コンピュータに実行させる、
付記１に記載の車両情報抽出プログラム。
（付記６）
前記第１画像内のエッジを検出し、前記エッジの中から前記直線成分を検出する、
ことを前記コンピュータに実行させる、
付記１に記載の車両情報抽出プログラム。
（付記７）
前記第２領域は、前記第１領域以外の領域である、
付記１に記載の車両情報抽出プログラム。
（付記８）
前記第２領域は、前記第１領域以外の領域のうち所定の面積以上の領域である、
付記１に記載の車両情報抽出プログラム。
（付記９）
車両が撮影された画像に基づく第１画像を取得する取得部と、
前記第１画像内において、直線成分を検出する直線検出部と、
前記直線成分が複数検出された場合、前記第１画像内において、前記直線成分同士の交点を含む所定の大きさの領域である第１領域を検出する第１領域検出部と、
前記第１画像内において、前記第１領域以外の領域に基づいて第２領域を検出する第２領域検出部と、
を備える車両情報抽出装置。
（付記１０）
更に、
前記第１画像の前記第２領域における色を識別する色識別部を備える、
付記９に記載の車両情報抽出装置。
（付記１１）
更に、
前記車両が撮影された画像から前記車両の特定部分を検出して前記第１画像とする特定部分検出部を備える、
付記９に記載の車両情報抽出装置。
（付記１２）
前記直線検出部は、前記第１画像内において前記所定の大きさのウィンドウを走査し、
前記第１領域検出部は、前記交点が検出されたウィンドウの全てを前記第１領域とする、
付記９に記載の車両情報抽出装置。
（付記１３）
前記直線検出部は、前記第１画像内のエッジを検出し、前記エッジの中から前記直線を検出する、
付記９に記載の車両情報抽出装置。
（付記１４）
車両が撮影された画像に基づく第１画像を取得し、
前記第１画像内において、直線成分を検出し、
前記直線成分が複数検出された場合、前記第１画像内において、前記直線成分同士の交点を含む所定の大きさの領域である第１領域を検出し、
前記第１画像内において、前記第１領域以外の領域に基づいて第２領域を検出する、
ことを実行する車両情報抽出方法。
【符号の説明】
【００５６】
１車両情報抽出システム
２サーバ
３カメラ
１１画像取得部
１２車体検出部
１３コーナー検出部
１４ボディ検出部
１５色識別部
１６画像記憶部
１７抽出結果記憶部

【特許請求の範囲】
【請求項１】
車両が撮影された画像に基づく第１画像を取得し、
第１画像内において、直線成分を検出し、
前記直線成分が複数検出された場合、前記第１画像内において、前記直線成分同士の交点を含む所定の大きさの領域である第１領域を検出し、
前記第１画像内において、前記第１領域以外の領域に基づいて第２領域を検出する
ことをコンピュータに実行させる車両情報抽出プログラム。
【請求項２】
更に、
前記第１画像の前記第２領域における色を識別する
ことを前記コンピュータに実行させる、
請求項１に記載の車両情報抽出プログラム。
【請求項３】
更に、
前記車両が撮影された画像から前記車両の特定部分を検出して前記第１画像とする
ことを前記コンピュータに実行させる、
請求項１または請求項２に記載の車両情報抽出プログラム。
【請求項４】
前記第１画像内において前記所定の大きさのウィンドウを走査し、
前記交点が検出されたウィンドウの全てを前記第１領域とする
ことを前記コンピュータに実行させる、
請求項１乃至請求項３のいずれかに記載の車両情報抽出プログラム。
【請求項５】
前記第１画像内のエッジを検出し、前記エッジの中から前記直線成分を検出する
ことを前記コンピュータに実行させる、
請求項１乃至請求項４のいずれかに記載の車両情報抽出プログラム。
【請求項６】
車両が撮影された画像に基づく第１画像を取得する取得部と、
前記第１画像内において、直線成分を検出する直線検出部と、
前記直線成分が複数検出された場合、前記第１画像内において、前記直線成分同士の交点を含む所定の大きさの領域である第１領域を検出する第１領域検出部と、
前記第１画像内において、前記第１領域以外の領域に基づいて第２領域を検出する第２領域検出部と
を備える車両情報抽出装置。
【請求項７】
車両が撮影された画像に基づく第１画像を取得し、
前記第１画像内において、直線成分を検出し、
前記直線成分が複数検出された場合、前記第１画像内において、前記直線成分同士の交点を含む所定の大きさの領域である第１領域を検出し、
前記第１画像内において、前記第１領域以外の領域に基づいて第２領域を検出する
ことを実行する車両情報抽出方法。

【図１】