車色判定装置及び車両検索システム
【課題】高度な画像処理によらず簡便な方法でありながら、データ伝送効率と車色判定精度の向上化が可能であり、更に、実環境で使用する場合に問題となる複数色に塗装している車両の車色判定と、照度変化があった場合の車色判定を高精度に行うことが可能な車色判定装置及び車両検索システムを実現する。
【解決手段】車色認識部１１２は、画像データ受信部１１３からカラー画像４を受信し、カラー画像４のファイル名称から、ナンバープレート座標２４２を取得する。ナンバープレート座標２４２を基準位置として、この基準位置から所定距離の車色判定エリア２４１を設定し、車色判定エリア２４１の色情報から車色を判定する。
【解決手段】車色認識部１１２は、画像データ受信部１１３からカラー画像４を受信し、カラー画像４のファイル名称から、ナンバープレート座標２４２を取得する。ナンバープレート座標２４２を基準位置として、この基準位置から所定距離の車色判定エリア２４１を設定し、車色判定エリア２４１の色情報から車色を判定する。
【発明の詳細な説明】
【技術分野】
【０００１】
本発明は、画像処理技術を用いて車両塗装色を判定する車色判定装置及びそれを用いた車両検索システムに関する。
【背景技術】
【０００２】
従来の車両検索システムでは、広域ネットワーク網を利用して、複数地点の路上装置から送信されるナンバープレート情報とそのナンバープレート情報に対応する車両が撮影されているカラー画像を中央装置に集約し、ナンバープレート情報、カラー画像、車両の走行地点及び走行時間等を管理していた。
【０００３】
このような従来の車両検索システムでは、車両検索時にナンバープレート情報を検索項目として車両を検索し、カラー画像は特定された車両に間違いないかを確認するための車両確認用データとして用いられていた。
【０００４】
また、車両検索システムは、犯罪車両等の目撃情報による車両検索に有効であるが、犯罪車両等の目撃は突発的なものであるため、通報者はナンバープレートを完全な状態では記憶できず、ナンバープレート情報を監視者に通報できない場合も多い。一般的に、人間は突発的な事象に対しては、ナンバープレート情報のような文字情報よりも、車両塗装色のようなイメージとして印象に残るものが記憶されやすい。
【０００５】
このため、車両検索システムにおいては、ナンバープレート情報が完全でなくても車両を確実に検索できるようにするため、車両のカラー画像あるいは動画から車両塗装色を自動的に判定し、車色を検索項目とする需要がある。
【０００６】
また、メンテナンスの面から、車色判定装置は中央装置に設置することが望ましく、複数の地点から送信されるカラー画像に対して、車色の判定が行える車色判定装置が求められていた。
【０００７】
特許文献１には、車両検索システムにおいて、ナンバープレートを完全には認識できないとき、車両を特定することが困難であるという問題点を解決するために、カメラ１台で車両塗装色とナンバープレート情報とを認識し、車色の判定を行う車色判別装置が記載されている。
【０００８】
【特許文献１】特開２０００−２２２６７３号公報
【発明の開示】
【発明が解決しようとする課題】
【０００９】
しかしながら、特許文献１に記載された発明では、朝夕などで照度が大きく変化する環境下では車色の写り方が変わり、車色の正確な判定が行えないという問題がある。
【００１０】
また、車体の車色判別エリアを設定するときに、高度な画像処理技術を用いるため、車色判定結果は画像の精密さに依存する。このため、中央装置にて一括車色判定を行うことを想定すると、データ伝送の面からデータの容量は小さいほうがよいにもかかわらず、伝送するデータは容量の大きいものを送らないと、正確な車色判定結果を得ることができず、データ伝送効率向上と車色判定精度向上とを両立し得ないものであった。
【００１１】
また、従来技術における車色判定の問題としては、車両の塗装色の多様性、及び撮影条件の多様性がある。
【００１２】
車両の塗装色の多様性は、例えば車両を複数色に塗装している車両の塗装色や、偏光性塗料の開発により、光の当たり方で異なる色に見えるような塗装色の判定が問題となる。
【００１３】
撮影条件の多様性は、例えば、車両を撮影するカメラが設置箇所ごとに画角が異なること、また、朝夕などで照度変化が大きい場合、反射光の有無、気象条件等で車両の写り方が変化することが問題となる。
【００１４】
本発明の目的は、高度な画像処理によらず簡便な方法でありながら、データ伝送効率と車色判定精度の向上化が可能であり、更に、実環境で使用する場合に問題となる複数色に塗装している車両の車色判定と、照度変化があった場合の車色判定を高精度に行うことが可能な車色判定装置及び車両検索システムを実現することである。
【課題を解決するための手段】
【００１５】
（１）上記目的を達成するために、本発明の車色判定装置は、車両を撮影する撮影手段と、撮影手段により撮影された車両のナンバープレート位置を認識するナンバープレート認識部と、上記ナンバープレート認識部により認識された上記車両のナンバープレート位置を基準とし、予め決められた相対位置に車色判定エリアを設定し、この車色判定エリア内の色情報を色相成分・彩度成分・明度成分に分解し、車両の塗装色を判定する車色判定手段と、を備えるものとする。
【００１６】
このように、ナンバープレート位置を基準とする予め決められた相対位置に車色判定エリアを設定し、この車色判定エリア内の画像の色情報を色相成分・彩度成分・明度成分に分解し車両の塗装色を判定することにより、高度な画像処理技術を必要とせず、車色の判定を実際に行う場合に問題となる環境変化および塗装色の変化に対応可能な精度のよい車色判定装置を供給することができる。
【００１７】
（２）上記（１）において、前記車色判定手段は、前記車色判定エリアの色相成分により、車色を有彩色−青系色と無彩色＋青系色に判別する判別手段と、前記判別手段において、車色が有彩色−青系色と判別されたときに、色相成分により詳細色判定を行う有彩色判定手段と、前記判別手段において、車色が無彩色＋青系色と判別されたときに、彩度成分と明度成分により詳細色判定を行う無彩色判定手段とを備えるものとする。
【００１８】
これにより、車色を判別する際に最も判別しにくい、青系色と無彩色を一つのグループとして、判別しきい値を設定できるため、精度のよい車色の判定が行える。
【００１９】
（３）上記（１）において、前記車色判定手段は、前記カラー画像の車両の下部を路面エリアとして設定する路面エリア設定手段と、前記路面エリアの濃度値から白色、灰色、黒色を判別するしきい値を設定するオートチューニング手段とを備えるものとする。
【００２０】
これにより、周囲の照度に合わせて無彩色の判定を行うことができるため、周囲の照度に影響を受けない車色の判定が行える。
【００２１】
（４）上記（１）において、前記車色判定手段は、前記車色判定エリアの色相成分を、色相成分の分解能と任意の数との積で割り、その値を前記車色判定エリアの色相ヒストグラムのオフセット値として設定するオフセット設定手段と、前記色相ヒストグラムの前記オフセット値以上の特徴色を前記車両の塗装色として判定する複数色判定手段とを備えるものとする。
【００２２】
これにより、車両１台に対して複数色を塗装した場合に簡単な方法で判別することができる。
【００２３】
（５）上記（１）において、前記車色判定手段は、車色を判定するしきい値にファジー集合のメンバーシップ関数を用いて、前記車色判定エリアの判定したい車色らしさの合計値から車色を判定するファジー集合判定手段を備えるものとする。
【００２４】
これにより、車色の曖昧さを加味した車色の判定を実現でき、周囲の照度が変化しても大きく間違った値を出力せず、照度に影響を受けない車色の判定が行える。
【００２５】
（６）上記目的を達成するために、車両撮影装置から車両のナンバー情報、車両の画像情報、車両の検知位置情報及び検知の時刻情報が伝送網を介して、伝送され、伝送された車両の画像情報から車両の車色を判別し、特定車両を検索する中央装置を有する車両検索システムにおいて、前記中央装置は伝送された車両の画像情報に基づいて、車両のナンバープレート位置を検出し、基準位置とし、この基準位置の予め決められた相対位置に車色判定エリアを設定し、この車色判定エリア内の色情報を色相成分・彩度成分・明度成分に分解し、車両の塗装色を判定するものとする。
【００２６】
これにより、高度な画像処理技術を必要とせず、車色の判定を実際に行う場合に問題となる環境変化および塗装色の変化に対応可能な精度のよい車色判定システムを供給することができる。
【００２７】
（７）上記（６）において、前記中央装置は、前記車色判定エリアの色相成分により、車色を有彩色−青系色と無彩色＋青系色に判別する判別手段と、前記判別手段において、車色が有彩色−青系色と判別されたときに、色相成分により詳細色判定を行う有彩色判定手段と、前記判別手段において、車色が無彩色＋青系色と判別されたときに、彩度成分と明度成分により詳細色判定を行う無彩色判定手段とを備えるものとする。
【００２８】
これにより、車色を判別する際に最も判別しにくい、青系色と無彩色を一つのグループとして、判別しきい値を設定できるため、精度のよい車色の判定が行える。
【００２９】
（８）上記（６）において、前記中央装置は、前記カラー画像の車両の下部を路面エリアとして設定する路面エリア設定手段と、前記路面エリアの濃度値から白色、灰色、黒色を判別するしきい値を設定するオートチューニング手段とを備えるものとする。
【００３０】
これにより、周囲の照度に合わせて無彩色の判定を行うことができるため、周囲の照度に影響を受けない車色の判定が行える。
【００３１】
（９）上記（６）において、前記中央装置は、前記車色判定エリアの色相成分を、色相成分の分解能と任意の数との積で割り、その値を前記車色判定エリアの色相ヒストグラムのオフセット値として設定するオフセット設定手段と、前記色相ヒストグラムの前記オフセット値以上の特徴色を前記車両の塗装色として判定する複数色判定手段とを備えるものとする。
【００３２】
これにより、車両１台に対して複数色を塗装した場合に簡単な方法で判別することができる。
【００３３】
（１０）上記（６）において、前記中央装置は、車色を判定するしきい値にファジー集合のメンバーシップ関数を用いて、前記車色判定エリアの判定したい車色らしさの合計値から車色を判定するファジー集合判定手段を備えるものとする。
【００３４】
これにより、車色の曖昧さを加味した車色の判定を実現でき、周囲の照度が変化しても大きく間違った値を出力せず、照度に影響を受けない車色の判定が行える。
【発明の効果】
【００３５】
本発明によれば、高度な画像処理によらず簡便な方法でありながら、データ伝送効率と車色判定精度の向上化が可能であり、更に、実環境で使用する場合に問題となる複数色に塗装している車両の車色判定と、照度変化があった場合の車色判定を高精度に行うことが可能な車色判定装置及び車両検索システムを実現することができる。
【発明を実施するための最良の形態】
【００３６】
以下、本発明の実施の形態を図面を参照しつつ説明する。
本発明の第１の実施の形態を図１〜図５により説明する。
図１は、本発明の第１の実施形態が適用される車両検索システムの概略構成図である。
図１において、車両検索システムは、中央装置１と複数の路上装置２−１〜２−Ｎを備えている。中央装置１と複数の路上装置２−１〜２−Ｎとの間のデータ送受信は、広域ネットワーク網９を使用して行われる。
【００３７】
図２は、本発明が適用される車両検索システムの路上装置の設置図である。
図２において、路上装置２−１〜２−Ｎのそれぞれは撮像部２１と画像処理部２２とを備えている。
【００３８】
撮像部２１は道路２５を走行する車両２４を撮影し、撮影した画像を画像処理部２２に送信する。画像処理部２２は撮像部２１から送信された映像を処理し、後述するナンバープレート読取結果とカラー画像４を中央装置１へ送信する。
【００３９】
路上装置２−１〜２−Ｎは道路２５の側部に設けられた電柱２３に設置される。路上装置２−１〜２−Ｎの撮像部２１は電柱２３の高い部分に設置される。このため、撮像部２１の視野内に人物が侵入する等の車両監視に対する外乱が発生する可能性を軽減することができる。また、本実施の形態においては、路上装置２−１〜２−Ｎは電柱２３に設置されるものとしているが、電柱２３と同程度の高さの構造物に設置されるものとしてもよい。
【００４０】
図３は、本発明が適用される車両検索システムの撮像部２１のカラーカメラから得られるカラー画像４の一例を示す図である。
【００４１】
図３において、カラー画像４には、後述するナンバープレート読取部２２１により、ナンバープレート座標２４２が設定され、同様に後述する車色認識部１１２により車色判定エリア２４１が設定される。
【００４２】
図４は本発明の第１の実施形態が適用される車両検索システムの路上装置２の構成を示すブロック図である。
【００４３】
図４において、路上装置２の撮像部２１はカラーカメラ２１１とナンバープレート読取用カメラ２１２を備えている。カラーカメラ２１１とナンバープレート読取用カメラ２１２は、視野中心が同じ位置になるように設置される。
【００４４】
画像処理部２２はナンバープレート読取部２２１と、カラー画像取得部２２２と、車両情報伝送部２２３とを備えている。
【００４５】
ナンバープレート読取部２２１は、道路２５を走行する車両２４をナンバープレート読取用カメラ２１２を通して監視し、車両２４がナンバープレート読取用カメラ２１２の視野内に進入したことを検知して、ナンバープレートを読み取る。そして、ナンバープレート読取部２２１は、後述するナンバープレート座標２４と車両検知時刻をカラー画像取得部２２２に送信し、同時にナンバープレート読取結果及び車両検知時刻を車両情報伝送部２２３へ送信する。
【００４６】
カラー画像取得部２２２は、カラーカメラ２１１から送信された画像を、ＡＤ変換し、カラー画像４として画像処理部２２の内部に設置された内部メモリに記憶する。内部メモリの容量はカラー画像４を１００枚程度記憶できる容量が設置される。
【００４７】
また、カラー画像取得部２２２は、ナンバープレート読取部２２１より車両検知時刻を受信すると、その時刻に最も近いカラー画像４を抽出し、画像データを圧縮し、車両情報伝送部２２３へ送信する。このとき送信されるカラー画像４のファイル名称には、ナンバープレート座標２４２と、車両検知時刻および路上の地点名が付加され、車両検索システムにおいて唯一の値に設定される。
【００４８】
車両情報伝送部２２３は、ナンバープレート読取部２２１から、車両検知時刻、ナンバープレート読取結果を受信し、カラー画像取得部２２２から圧縮されたカラー画像４を受信し、受信したデータを広域ネットワーク網９を利用して中央装置１へ送信する。
【００４９】
図５は、本発明の第１の実施形態の車両検索システムの中央装置の構成を示すブロック図である。
図５において中央装置１は、車色判定装置１１と車両検索部１２と外部記憶部１３とデータ受信部１４とを備えている。
データ受信部１４は、路上装置２から送信されたナンバープレート読取結果と、圧縮されたカラー画像４とを受信し、ナンバープレート読取結果２６を外部記憶装置１３に記憶させ、圧縮されたカラー画像４を車色判定装置１１へ送信する。
【００５０】
車色判定装置１１は、画像データ受信部１１３と車色認識部１１２と出力部１１１とを備えている。
画像データ受信部１１３は圧縮されたカラー画像４を受信し、この受信したカラー画像４を外部記憶部１３へ記憶させ、同時に圧縮されたカラー画像４を解凍し、車色認識部１１２へ送信する。
【００５１】
車色認識部１１２は、解凍されたカラー画像４を受信し、カラー画像４のファイル名称から、ナンバープレート座標２４２を取得し、そのナンバープレート座標２４２を基準位置として、その基準位置から一定の距離を有する車色判定エリア２４１を設定する。また、車色認識部１１２はこの車色判定エリア２４１の色情報から車両の塗装色を判定し、車色判定結果を出力部１１１に送信する。
【００５２】
出力部１１１は、車色判定結果を受信し、この車色判定結果を外部記憶装置１３に記憶する。
【００５３】
車両検索装置１２は、車両検索部１２２と、結果表示部１２１とを備えている。
車両検索部１２２は外部記憶部１３に接続し、車両２４のナンバープレート情報や車色情報等から、車両２４を特定し、車両２４のカラー画像４を取得する。車両検索部１２２は特定した車両のカラー画像４を、結果表示部１２１へ送信する。
【００５４】
結果表示部１２１は車両検索部１２２から送信されたカラー画像４をディスプレイに表示する。
【００５５】
以上のように構成された本発明の第１の実施形態によれば、ナンバープレート読取タイミングに連動してカラー画像４を取得し、カラー画像４に対して、ナンバープレート座標を基準位置として、その基準位置から一定の距離を有する車色判定エリア２４１に対して、車体の色判別を行う。つまり、特別な前処理を行うことなく簡便に車色判定エリア２４１を設定することにより、高度な画像処理技術によらず車色判定を行うことができる。これにより、車色判定はカラー画像の鮮明さに依存しなくなり、データ受信の負荷が軽減され、また画像処理の負荷が軽減されるため、中央装置１にカラー画像４が集中するようなシステムに適用することができる。
【００５６】
また、中央装置１のデータ受信部１４がカラー画像４の送信先を外部記憶部１３に変更することにより、車色検索を行わない従来と同じ検索システムを実現できるため、従来の車両検索システムに車色判定装置１１を容易に組み込むことができる。
【００５７】
尚、本発明の第１の実施形態においては、ナンバープレート読取タイミングに連動してカラー画像４を取得するが、この連動するタイミングをずらし、カラー画像４における車両の撮影位置の調節を行い、車色判定の精度を向上させるものとしてもよい。また、ナンバープレート読取タイミングに連動して、カラー画像４を２枚取得し、あるいは短い時間の動画を撮影し、更に車色判定の精度を向上させることも可能である。
【００５８】
次に本発明の第２の実施の形態を図６、図７により説明する。
図６は、本発明の第２の実施形態による車色判定装置の処理を示すフローチャートである。
本発明の第２の実施形態は、第１の実施形態における図１、図５に示した構成と同様な構成を備えている。
【００５９】
第２の実施形態において、車色認識部１１２は、画像データ受信部１１３で解凍されたカラー画像４を受信し、カラー画像４のファイル名称から、ナンバープレート座標２４２を取得する。続いて、図６に示す車色判定手段の処理が行われる。
【００６０】
図６において、まず取得したナンバープレート座標２４２に基づいて、車色判定エリア２４１を設定する（Ｓ６０１）。次にカラー画像４に設定した車色判定エリア２４１部分のＢＭＰデータをＨＳＶ変換する（Ｓ６０２）。このとき、ＨＳＶ変換は公知の式を用いる。ただし、Ｒ＝Ｂ＝Ｇのときは、Ｈ成分の値を２４０（色相成分の範囲が０〜３５９のとき）と設定する。次に図７に示す色相ヒストグラム３を作成する（Ｓ６０３）。
【００６１】
図７において、色相ヒストグラム３は、区間３１（色相成分０〜２１０）と区間３２（色相成分２１０〜２８０）と区間３３（色相成分２８０〜３５９）に分割される。区間３２の領域は、色相成分の青系色に属する。
【００６２】
図６のステップＳ６０４において、区間３１＋区間３３の面積と、区間３２の面積が比較される。区間３２の面積が大きいときには、車色は無彩色＋青系色であると判定され、ステップＳ６０５に進み、区間３１＋区間３３の面積が大きいときには、車色は有彩色−青系色であると判定され、ステップＳ６０６に進む。車色が無彩色＋青系色であると判定されたときには、彩度と明度成分による詳細色判定が行われ（Ｓ６０５）、車色が有彩色であると判定されたときには、色相成分による詳細色判定が行われる（Ｓ６０６）。
【００６３】
以上のように構成した本発明の第２の実施形態によれば、最も判別しにくい、紺色（青系色）と無彩色（特に黒色、灰色）を一つのグループとして判別しきい値を設定できるため、精度の高い車色判定を行うことができる。
【００６４】
また、車色が有彩色であると判定され、色相成分による詳細色判定が行われる場合には、すでにステップＳ６０３において色相ヒストグラムが算出済みであるため、これを流用することにより、車色判定を高速化することができる。
【００６５】
次に、本発明の第３の実施形態を図８〜図１０により説明する。
図８は、本発明の第３の実施形態による車色判定装置の車色判定手段の処理を示すフローチャートである。
【００６６】
発明の第３の実施形態は、第１の実施形態における図１、図５に示した構成と同様な構成を備えている。
車色認識部１１２は、画像データ受信部１１３で解凍されたカラー画像４を受信し、カラー画像４のファイル名称から、ナンバープレート座標２４２を取得する。続いて、以下に示す処理が行われる。
【００６７】
図８において、まず取得したナンバープレート座標２４２に基づいて、車色判定エリア２４１を設定する（Ｓ８０１）。次にカラー画像４に設定した車色判定エリア２４１部分のＢＭＰデータをＨＳＶ変換する（Ｓ８０２）。このとき、ＨＳＶ変換は公知の式を用いる。
【００６８】
次に彩度ヒストグラム５を作成し、重心位置を算出する（Ｓ８０３）。続いてこの重心位置と予め定められた規定値とを比較する（Ｓ８０４）。この重心位置が予め定められた規定値より小さいときには、車色は無彩色であると判定され、ステップＳ８０５以下に進み、無彩色判定が行われる。
【００６９】
ステップＳ８０４において、重心位置が予め定められた規定値より大きいときには、車色は有彩色であると判定されステップＳ８０８に進み、有彩色判定が行われる。有彩色判定は、色相成分により詳細色（有彩色）判定が行われる（Ｓ８０８）。
【００７０】
図９は本発明の第３の実施形態による車色判定装置で使用されるカラー画像４を示す図である。
【００７１】
図８のステップＳ８０５において、図９に示すように、カラー画像４の下部に一定領域が路面領域２４３として設定され、この路面領域２４３の明度ヒストグラムが作成され、その重心位置が路面明度値５２として設定される。
【００７２】
図１０は本発明の第３の実施形態による車色判定装置の無彩色しきい値オートチューニング手段の処理例を示す図である。
【００７３】
図８のステップＳ８０６において、図１０に示すグラフが作成される。
【００７４】
図１０において、横軸は彩度、縦軸は明度を示し、左側のグラフはオートチューニング前に設定された無彩色（白、灰、黒）のしきい値を示し、路面明度値５１を基準に設定されている。右側のグラフはオートチューニング後の設定された無彩色（白、灰、黒）しきい値を示し、カラー画像４より算出された路面明度値５２を基準に設定される。
【００７５】
このオートチューニングは路面明度値５１とカラー画像４より算出された路面明度値５２の差分５３を例えば、数式（１−１），（１−２）に適用し、白色−灰色しきい値５４および灰色−黒色しきい値５５を決定することにより行われる。
【００７６】
Ｗ２＝Ｗ１＋（２５５−Ｗ１）×ΔＶ／（Ｗ１−Ｒ）・・・（１−１）
Ｂ２＝Ｂ１＋（Ｒ−Ｂ１）×ΔＶ／Ｂ１ ・・・（１−２）
ただし、上記（１−１）、（１−２）において、Ｒは路面明度基準値、ΔＶは明度変化差分、Ｗ１は白判定基準しきい値、Ｗ２は白判定補正しきい値、Ｂ１は黒判定基準しきい値、Ｂ２は黒判定補正しきい値である。
【００７７】
続いて、ステップＳ８０７において、オートチューニングにより補正された無彩色のしきい値を用いて、彩度・明度成分から無彩色判定が行われる。
【００７８】
以上のように構成された本発明の第３の実施形態によれば、周囲の照度に合わせて無彩色判定を行うことが可能となり、周囲の照度に影響されない車色判定を行うことができる。
【００７９】
また、本発明の第３の実施形態による無彩色のしきい値オートチューニングは、第２の実施形態による車色判定手段に適用することができ、これにより周囲の照度に影響されずに、通常判別しにくいとされる、紺色（青系色）と無彩色（特に黒色、灰色）の更に精度の高い車色判定を行うことができる。
【００８０】
次に、本発明の第４の実施形態を図１１、図１２により説明する。
【００８１】
図１１は、本発明の第４の実施形態による車色判定装置の車色判定手段の処理を示すフローチャートである。
【００８２】
本発明の第４の実施形態は、第１の実施形態における図１、図５に示した構成と同様な構成を備えている。
【００８３】
車色認識部１１２は、画像データ受信部１１３で解凍されたカラー画像４を受信し、カラー画像４のファイル名称から、ナンバープレート座標２４２を取得する。続いて、以下に示す処理が行われる。
【００８４】
図１１において、まず、取得したナンバープレート座標２４２に基づいて、車色判定エリア２４１を設定する（Ｓ１１１）。次にカラー画像４に設定した車色判定エリア２４１部分のＢＭＰデータをＨＳＶ変換する（Ｓ１１２）。このとき、ＨＳＶ変換は公知の式を用いる。ただし、Ｒ＝Ｂ＝Ｇのときは、Ｈ成分の値を２４０（色相成分の範囲が０〜３５９のとき）と設定する。次に色相ヒストグラム３を作成する（Ｓ１１３）。図１２は、ステップＳ１１３における色相ヒストグラムの作成例を示す図である。
【００８５】
次に、ステップＳ１１４において、算出した色相ヒストグラムを数式（２−１）に適用し、車色判定エリアの面積を任意定数Ｎと色相成分の分解能（ここでは３６０）の積で割り、これを色相ヒストグラムのオフセット値３６とする。尚、この任意定数Ｎの数を増やすことにより、オフセット値３６の値が下がり、より多くの塗装色の判定を行うことができる。
【００８６】
Ｃ＝車色判定エリアの面積／（Ｎ×３６０）・・・（２−１）
Ｃ：オフセット値 Ｎ：任意定数
続いて、この色相ヒストグラムにおいて、オフセット値３６以上の度数を有する特徴色、すなわち図１２に示す、判定色３４、判定色３５を複数色の車色として判定する（Ｓ１１５）。
【００８７】
以上のように構成した本発明の第４の実施形態によれば、簡単な演算により、複数色の車両の車色判定が行える。また、本発明の第４の実施形態は単一色の車両の判定も実現可能であるため、車色判定の正解率に悪影響を及ぼすことなく、複数色の車色判定を行うことができる。
【００８８】
次に本発明の第５の実施形態を図１３〜図１６により説明する。
図１３は、本発明の第５の実施形態による車色判定装置の車色判定手段の処理を示すフローチャートである。
【００８９】
本発明の第５の実施形態は、第１の実施形態における図１、図５に示した構成と同様な構成を備えている。
【００９０】
車色認識部１１２は、画像データ受信部１１３で解凍されたカラー画像４を受信し、カラー画像４のファイル名称から、ナンバープレート座標２４２を取得する。続いて、以下に示す処理が行われる。
【００９１】
図１３において、まず取得したナンバープレート座標２４２に基づいて、車色判定エリア２４１を設定する（Ｓ１３１）。次に、カラー画像４に設定した車色判定エリア２４１部分のＢＭＰデータをＨＳＶ変換する（Ｓ１３２）。このとき、ＨＳＶ変換は公知の式を用いる。
【００９２】
次に、各色の確信度を算出する。このとき、車色判定エリアの色相・彩度・明度成分に対する確信度を算出する色の色らしさをファジー集合のメンバーシップ関数を用いて作成した色相成分、彩度成分、明度成分の重み関数から、それぞれ色相成分の確信度、彩度成分の確信度、明度成分の確信度を算出する。色の確信度は数式（３−１）に示すように、色相成分の確信度と彩度成分の確信度と明度成分の確信度の積から算出する（Ｓ１３３）。
【００９３】
Ｋ＝ＦＨ（ｈ）×ＦＳ（ｓ）×ＦＶ（ｖ）・・・（３−１）
Ｋ ：赤系の確信度
ＦＨ：色相成分のメンバーシップ関数
ＦＳ：彩度成分のメンバーシップ関数
ＦＶ：明度成分のメンバーシップ関数
図１４は、色相成分のメンバーシップ関数６１（赤系）を示した図であり、図１５は、彩度成分のメンバーシップ関数７１（赤系）を示した図であり、図１６は、明度成分のメンバーシップ関数８１（赤系）を示した図である。
この図１４，図１５，図１６に示す、メンバーシップ関数（重み関数）により車色の赤らしさが表現される。同様に判定したい車色数全てに対して、確信度が算出され、最終的に最も確信度の高い色がカラー画像４に撮影される車両２４の途装色と判定される（Ｓ１３４）。
【００９４】
以上のように構成した本発明の第５の実施形態によれば、ファジー集合のメンバーシップ関数を用いることにより、車両塗装色の類似色にまたがり重み付けがされるため、周囲の照度が変化したことにより、車色の写り方が変化しても、大きく間違った値が出力されることがなくなり、精度の高い車色の判定を行うことができる。
【００９５】
また、茶色やオリーブ等の判別が困難な珍色に関しても容易に人間の主観に基づいてしきい値の設定を行うことができ、車色判定を行うことができる。
【００９６】
また、更に車色の確信度が拮抗している場合には、拮抗している複数の車色により車両が途装されているものとすることにより、複数色の車色判定を行うことができる。
【００９７】
図１７は本発明の車色判定装置の車色判定精度を測定した実験データを示す図である。
【００９８】
図１７において、上段は従来の車色判定装置により実験を行った場合の車両塗装色の正解率であり、下段は本発明の車色判定装置により実験を行った場合の車両塗装色の正解率である。
【００９９】
また、左の項目は車両塗装色の候補を１色のみ算出した場合の正解率であり、右の項目は車両塗装色の候補を２色算出した場合の正解率である。
【０１００】
尚実験で測定した台数はそれぞれ２００台である。
【０１０１】
第１候補のみ算出した場合には、正解率は対策前の７４．７％から７５．３％に向上し、また第１＋第２候補の２色を算出した場合には、正解率は８３．０％から９５．４％に向上している。
【０１０２】
以上のように、どちらの場合にも車色判定精度に効果が認められ、本発明は車両塗装色の判定に効果的である。
【図面の簡単な説明】
【０１０３】
【図１】本発明の車色判定装置が適用される車両検索システムの概略構成を示す図である。
【図２】本発明の車色判定装置が適用される車両検索システムの路上装置の設置図である。
【図３】本発明の車色判定装置が適用される車両検索システムのカラーカメラから得られるカラー画像の一例を示す図である。
【図４】本発明の第１の実施の形態による車色判定装置を備える車両検索システムの路上装置の構成を示すブロック図である。
【図５】本発明の第１の実施形態による車色判定装置を備える車両検索システムの概略構成図である。
【図６】本発明の第２の実施形態による車色判定処理を示すフローチャートである。
【図７】本発明の第２の実施形態による車色判定装置に適用する色相ヒストグラムを示した図である。
【図８】本発明の第３の実施形態による車色判定処理を示すフローチャートである。
【図９】本発明の第３の実施形態による車色判定装置で使用されるカラー画像の一例を示す図である。
【図１０】本発明の第３の実施形態による車色判定装置の無彩色しきい値オートチューニング手段の処理例を示す図である。
【図１１】本発明の第４の実施形態による車色判定処理を示すフローチャートである。
【図１２】本発明の第４の実施形態による車色判定装置の複数色判定手段の処理例を示す図である。
【図１３】本発明の第５の実施形態による車色判定処理を示すフローチャートである。
【図１４】本発明の第５の実施の形態による車色判定装置の色相成分のメンバーシップ関数（赤系）を示した図である。
【図１５】本発明の第５の実施の形態による車色判定装置の彩度成分のメンバーシップ関数（赤系）を示した図である。
【図１６】本発明の第５の実施の形態による車色判定装置の明度成分のメンバーシップ関数（赤系）を示した図である。
【図１７】本発明の車色判定装置の車色判定精度を測定した実験データの表を示す図である。
【符号の説明】
【０１０４】
１ 中央装置
２ 路上装置
３ 色相ヒストグラム
４ カラー画像
５ 彩度-明度線図
６ 色相成分メンバーシップ関数（赤系）
７ 彩度成分メンバーシップ関数（赤系）
８ 明度成分メンバーシップ関数（赤系）
９ 広域ネットワーク網
１１ 車色判定装置
１２ 車両検索部
１３ 外部記憶部
１４ データ受信部
２１ 撮像部
２２ 画像処理部
２３ 電柱
２４ 車両
２５ 道路
３１ 区間（色相成分０〜２１０）
３２ 区間（色相成分２１０〜２７０）
３３ 区間（色相成分２７０〜３５９）
３４ 判定色
３５ 判定色
３６ オフセット値
５１ 路面明度基準値
５２ 路面明度値
５３ 差分
５４ 白色灰色判定しきい値
５５ 灰色黒色判定しきい値
６１ メンバーシップ関数
７１ メンバーシップ関数
８１ メンバーシップ関数
１０１ 車色判定手段
１１１ 出力部
１１２ 車色認識部
１１３ 画像データ受信部
１２１ 結果表示部
１２２ 車両検索部
２１１ カラーカメラ
２１２ ナンバー読取用カメラ
２２１ ナンバープレート読取部
２２２ カラー画像取得部
２２３ 車両情報伝送部
２４１ 車色判定エリア
２４２ ナンバープレート座標
２４３ 路面エリア
【技術分野】
【０００１】
本発明は、画像処理技術を用いて車両塗装色を判定する車色判定装置及びそれを用いた車両検索システムに関する。
【背景技術】
【０００２】
従来の車両検索システムでは、広域ネットワーク網を利用して、複数地点の路上装置から送信されるナンバープレート情報とそのナンバープレート情報に対応する車両が撮影されているカラー画像を中央装置に集約し、ナンバープレート情報、カラー画像、車両の走行地点及び走行時間等を管理していた。
【０００３】
このような従来の車両検索システムでは、車両検索時にナンバープレート情報を検索項目として車両を検索し、カラー画像は特定された車両に間違いないかを確認するための車両確認用データとして用いられていた。
【０００４】
また、車両検索システムは、犯罪車両等の目撃情報による車両検索に有効であるが、犯罪車両等の目撃は突発的なものであるため、通報者はナンバープレートを完全な状態では記憶できず、ナンバープレート情報を監視者に通報できない場合も多い。一般的に、人間は突発的な事象に対しては、ナンバープレート情報のような文字情報よりも、車両塗装色のようなイメージとして印象に残るものが記憶されやすい。
【０００５】
このため、車両検索システムにおいては、ナンバープレート情報が完全でなくても車両を確実に検索できるようにするため、車両のカラー画像あるいは動画から車両塗装色を自動的に判定し、車色を検索項目とする需要がある。
【０００６】
また、メンテナンスの面から、車色判定装置は中央装置に設置することが望ましく、複数の地点から送信されるカラー画像に対して、車色の判定が行える車色判定装置が求められていた。
【０００７】
特許文献１には、車両検索システムにおいて、ナンバープレートを完全には認識できないとき、車両を特定することが困難であるという問題点を解決するために、カメラ１台で車両塗装色とナンバープレート情報とを認識し、車色の判定を行う車色判別装置が記載されている。
【０００８】
【特許文献１】特開２０００−２２２６７３号公報
【発明の開示】
【発明が解決しようとする課題】
【０００９】
しかしながら、特許文献１に記載された発明では、朝夕などで照度が大きく変化する環境下では車色の写り方が変わり、車色の正確な判定が行えないという問題がある。
【００１０】
また、車体の車色判別エリアを設定するときに、高度な画像処理技術を用いるため、車色判定結果は画像の精密さに依存する。このため、中央装置にて一括車色判定を行うことを想定すると、データ伝送の面からデータの容量は小さいほうがよいにもかかわらず、伝送するデータは容量の大きいものを送らないと、正確な車色判定結果を得ることができず、データ伝送効率向上と車色判定精度向上とを両立し得ないものであった。
【００１１】
また、従来技術における車色判定の問題としては、車両の塗装色の多様性、及び撮影条件の多様性がある。
【００１２】
車両の塗装色の多様性は、例えば車両を複数色に塗装している車両の塗装色や、偏光性塗料の開発により、光の当たり方で異なる色に見えるような塗装色の判定が問題となる。
【００１３】
撮影条件の多様性は、例えば、車両を撮影するカメラが設置箇所ごとに画角が異なること、また、朝夕などで照度変化が大きい場合、反射光の有無、気象条件等で車両の写り方が変化することが問題となる。
【００１４】
本発明の目的は、高度な画像処理によらず簡便な方法でありながら、データ伝送効率と車色判定精度の向上化が可能であり、更に、実環境で使用する場合に問題となる複数色に塗装している車両の車色判定と、照度変化があった場合の車色判定を高精度に行うことが可能な車色判定装置及び車両検索システムを実現することである。
【課題を解決するための手段】
【００１５】
（１）上記目的を達成するために、本発明の車色判定装置は、車両を撮影する撮影手段と、撮影手段により撮影された車両のナンバープレート位置を認識するナンバープレート認識部と、上記ナンバープレート認識部により認識された上記車両のナンバープレート位置を基準とし、予め決められた相対位置に車色判定エリアを設定し、この車色判定エリア内の色情報を色相成分・彩度成分・明度成分に分解し、車両の塗装色を判定する車色判定手段と、を備えるものとする。
【００１６】
このように、ナンバープレート位置を基準とする予め決められた相対位置に車色判定エリアを設定し、この車色判定エリア内の画像の色情報を色相成分・彩度成分・明度成分に分解し車両の塗装色を判定することにより、高度な画像処理技術を必要とせず、車色の判定を実際に行う場合に問題となる環境変化および塗装色の変化に対応可能な精度のよい車色判定装置を供給することができる。
【００１７】
（２）上記（１）において、前記車色判定手段は、前記車色判定エリアの色相成分により、車色を有彩色−青系色と無彩色＋青系色に判別する判別手段と、前記判別手段において、車色が有彩色−青系色と判別されたときに、色相成分により詳細色判定を行う有彩色判定手段と、前記判別手段において、車色が無彩色＋青系色と判別されたときに、彩度成分と明度成分により詳細色判定を行う無彩色判定手段とを備えるものとする。
【００１８】
これにより、車色を判別する際に最も判別しにくい、青系色と無彩色を一つのグループとして、判別しきい値を設定できるため、精度のよい車色の判定が行える。
【００１９】
（３）上記（１）において、前記車色判定手段は、前記カラー画像の車両の下部を路面エリアとして設定する路面エリア設定手段と、前記路面エリアの濃度値から白色、灰色、黒色を判別するしきい値を設定するオートチューニング手段とを備えるものとする。
【００２０】
これにより、周囲の照度に合わせて無彩色の判定を行うことができるため、周囲の照度に影響を受けない車色の判定が行える。
【００２１】
（４）上記（１）において、前記車色判定手段は、前記車色判定エリアの色相成分を、色相成分の分解能と任意の数との積で割り、その値を前記車色判定エリアの色相ヒストグラムのオフセット値として設定するオフセット設定手段と、前記色相ヒストグラムの前記オフセット値以上の特徴色を前記車両の塗装色として判定する複数色判定手段とを備えるものとする。
【００２２】
これにより、車両１台に対して複数色を塗装した場合に簡単な方法で判別することができる。
【００２３】
（５）上記（１）において、前記車色判定手段は、車色を判定するしきい値にファジー集合のメンバーシップ関数を用いて、前記車色判定エリアの判定したい車色らしさの合計値から車色を判定するファジー集合判定手段を備えるものとする。
【００２４】
これにより、車色の曖昧さを加味した車色の判定を実現でき、周囲の照度が変化しても大きく間違った値を出力せず、照度に影響を受けない車色の判定が行える。
【００２５】
（６）上記目的を達成するために、車両撮影装置から車両のナンバー情報、車両の画像情報、車両の検知位置情報及び検知の時刻情報が伝送網を介して、伝送され、伝送された車両の画像情報から車両の車色を判別し、特定車両を検索する中央装置を有する車両検索システムにおいて、前記中央装置は伝送された車両の画像情報に基づいて、車両のナンバープレート位置を検出し、基準位置とし、この基準位置の予め決められた相対位置に車色判定エリアを設定し、この車色判定エリア内の色情報を色相成分・彩度成分・明度成分に分解し、車両の塗装色を判定するものとする。
【００２６】
これにより、高度な画像処理技術を必要とせず、車色の判定を実際に行う場合に問題となる環境変化および塗装色の変化に対応可能な精度のよい車色判定システムを供給することができる。
【００２７】
（７）上記（６）において、前記中央装置は、前記車色判定エリアの色相成分により、車色を有彩色−青系色と無彩色＋青系色に判別する判別手段と、前記判別手段において、車色が有彩色−青系色と判別されたときに、色相成分により詳細色判定を行う有彩色判定手段と、前記判別手段において、車色が無彩色＋青系色と判別されたときに、彩度成分と明度成分により詳細色判定を行う無彩色判定手段とを備えるものとする。
【００２８】
これにより、車色を判別する際に最も判別しにくい、青系色と無彩色を一つのグループとして、判別しきい値を設定できるため、精度のよい車色の判定が行える。
【００２９】
（８）上記（６）において、前記中央装置は、前記カラー画像の車両の下部を路面エリアとして設定する路面エリア設定手段と、前記路面エリアの濃度値から白色、灰色、黒色を判別するしきい値を設定するオートチューニング手段とを備えるものとする。
【００３０】
これにより、周囲の照度に合わせて無彩色の判定を行うことができるため、周囲の照度に影響を受けない車色の判定が行える。
【００３１】
（９）上記（６）において、前記中央装置は、前記車色判定エリアの色相成分を、色相成分の分解能と任意の数との積で割り、その値を前記車色判定エリアの色相ヒストグラムのオフセット値として設定するオフセット設定手段と、前記色相ヒストグラムの前記オフセット値以上の特徴色を前記車両の塗装色として判定する複数色判定手段とを備えるものとする。
【００３２】
これにより、車両１台に対して複数色を塗装した場合に簡単な方法で判別することができる。
【００３３】
（１０）上記（６）において、前記中央装置は、車色を判定するしきい値にファジー集合のメンバーシップ関数を用いて、前記車色判定エリアの判定したい車色らしさの合計値から車色を判定するファジー集合判定手段を備えるものとする。
【００３４】
これにより、車色の曖昧さを加味した車色の判定を実現でき、周囲の照度が変化しても大きく間違った値を出力せず、照度に影響を受けない車色の判定が行える。
【発明の効果】
【００３５】
本発明によれば、高度な画像処理によらず簡便な方法でありながら、データ伝送効率と車色判定精度の向上化が可能であり、更に、実環境で使用する場合に問題となる複数色に塗装している車両の車色判定と、照度変化があった場合の車色判定を高精度に行うことが可能な車色判定装置及び車両検索システムを実現することができる。
【発明を実施するための最良の形態】
【００３６】
以下、本発明の実施の形態を図面を参照しつつ説明する。
本発明の第１の実施の形態を図１〜図５により説明する。
図１は、本発明の第１の実施形態が適用される車両検索システムの概略構成図である。
図１において、車両検索システムは、中央装置１と複数の路上装置２−１〜２−Ｎを備えている。中央装置１と複数の路上装置２−１〜２−Ｎとの間のデータ送受信は、広域ネットワーク網９を使用して行われる。
【００３７】
図２は、本発明が適用される車両検索システムの路上装置の設置図である。
図２において、路上装置２−１〜２−Ｎのそれぞれは撮像部２１と画像処理部２２とを備えている。
【００３８】
撮像部２１は道路２５を走行する車両２４を撮影し、撮影した画像を画像処理部２２に送信する。画像処理部２２は撮像部２１から送信された映像を処理し、後述するナンバープレート読取結果とカラー画像４を中央装置１へ送信する。
【００３９】
路上装置２−１〜２−Ｎは道路２５の側部に設けられた電柱２３に設置される。路上装置２−１〜２−Ｎの撮像部２１は電柱２３の高い部分に設置される。このため、撮像部２１の視野内に人物が侵入する等の車両監視に対する外乱が発生する可能性を軽減することができる。また、本実施の形態においては、路上装置２−１〜２−Ｎは電柱２３に設置されるものとしているが、電柱２３と同程度の高さの構造物に設置されるものとしてもよい。
【００４０】
図３は、本発明が適用される車両検索システムの撮像部２１のカラーカメラから得られるカラー画像４の一例を示す図である。
【００４１】
図３において、カラー画像４には、後述するナンバープレート読取部２２１により、ナンバープレート座標２４２が設定され、同様に後述する車色認識部１１２により車色判定エリア２４１が設定される。
【００４２】
図４は本発明の第１の実施形態が適用される車両検索システムの路上装置２の構成を示すブロック図である。
【００４３】
図４において、路上装置２の撮像部２１はカラーカメラ２１１とナンバープレート読取用カメラ２１２を備えている。カラーカメラ２１１とナンバープレート読取用カメラ２１２は、視野中心が同じ位置になるように設置される。
【００４４】
画像処理部２２はナンバープレート読取部２２１と、カラー画像取得部２２２と、車両情報伝送部２２３とを備えている。
【００４５】
ナンバープレート読取部２２１は、道路２５を走行する車両２４をナンバープレート読取用カメラ２１２を通して監視し、車両２４がナンバープレート読取用カメラ２１２の視野内に進入したことを検知して、ナンバープレートを読み取る。そして、ナンバープレート読取部２２１は、後述するナンバープレート座標２４と車両検知時刻をカラー画像取得部２２２に送信し、同時にナンバープレート読取結果及び車両検知時刻を車両情報伝送部２２３へ送信する。
【００４６】
カラー画像取得部２２２は、カラーカメラ２１１から送信された画像を、ＡＤ変換し、カラー画像４として画像処理部２２の内部に設置された内部メモリに記憶する。内部メモリの容量はカラー画像４を１００枚程度記憶できる容量が設置される。
【００４７】
また、カラー画像取得部２２２は、ナンバープレート読取部２２１より車両検知時刻を受信すると、その時刻に最も近いカラー画像４を抽出し、画像データを圧縮し、車両情報伝送部２２３へ送信する。このとき送信されるカラー画像４のファイル名称には、ナンバープレート座標２４２と、車両検知時刻および路上の地点名が付加され、車両検索システムにおいて唯一の値に設定される。
【００４８】
車両情報伝送部２２３は、ナンバープレート読取部２２１から、車両検知時刻、ナンバープレート読取結果を受信し、カラー画像取得部２２２から圧縮されたカラー画像４を受信し、受信したデータを広域ネットワーク網９を利用して中央装置１へ送信する。
【００４９】
図５は、本発明の第１の実施形態の車両検索システムの中央装置の構成を示すブロック図である。
図５において中央装置１は、車色判定装置１１と車両検索部１２と外部記憶部１３とデータ受信部１４とを備えている。
データ受信部１４は、路上装置２から送信されたナンバープレート読取結果と、圧縮されたカラー画像４とを受信し、ナンバープレート読取結果２６を外部記憶装置１３に記憶させ、圧縮されたカラー画像４を車色判定装置１１へ送信する。
【００５０】
車色判定装置１１は、画像データ受信部１１３と車色認識部１１２と出力部１１１とを備えている。
画像データ受信部１１３は圧縮されたカラー画像４を受信し、この受信したカラー画像４を外部記憶部１３へ記憶させ、同時に圧縮されたカラー画像４を解凍し、車色認識部１１２へ送信する。
【００５１】
車色認識部１１２は、解凍されたカラー画像４を受信し、カラー画像４のファイル名称から、ナンバープレート座標２４２を取得し、そのナンバープレート座標２４２を基準位置として、その基準位置から一定の距離を有する車色判定エリア２４１を設定する。また、車色認識部１１２はこの車色判定エリア２４１の色情報から車両の塗装色を判定し、車色判定結果を出力部１１１に送信する。
【００５２】
出力部１１１は、車色判定結果を受信し、この車色判定結果を外部記憶装置１３に記憶する。
【００５３】
車両検索装置１２は、車両検索部１２２と、結果表示部１２１とを備えている。
車両検索部１２２は外部記憶部１３に接続し、車両２４のナンバープレート情報や車色情報等から、車両２４を特定し、車両２４のカラー画像４を取得する。車両検索部１２２は特定した車両のカラー画像４を、結果表示部１２１へ送信する。
【００５４】
結果表示部１２１は車両検索部１２２から送信されたカラー画像４をディスプレイに表示する。
【００５５】
以上のように構成された本発明の第１の実施形態によれば、ナンバープレート読取タイミングに連動してカラー画像４を取得し、カラー画像４に対して、ナンバープレート座標を基準位置として、その基準位置から一定の距離を有する車色判定エリア２４１に対して、車体の色判別を行う。つまり、特別な前処理を行うことなく簡便に車色判定エリア２４１を設定することにより、高度な画像処理技術によらず車色判定を行うことができる。これにより、車色判定はカラー画像の鮮明さに依存しなくなり、データ受信の負荷が軽減され、また画像処理の負荷が軽減されるため、中央装置１にカラー画像４が集中するようなシステムに適用することができる。
【００５６】
また、中央装置１のデータ受信部１４がカラー画像４の送信先を外部記憶部１３に変更することにより、車色検索を行わない従来と同じ検索システムを実現できるため、従来の車両検索システムに車色判定装置１１を容易に組み込むことができる。
【００５７】
尚、本発明の第１の実施形態においては、ナンバープレート読取タイミングに連動してカラー画像４を取得するが、この連動するタイミングをずらし、カラー画像４における車両の撮影位置の調節を行い、車色判定の精度を向上させるものとしてもよい。また、ナンバープレート読取タイミングに連動して、カラー画像４を２枚取得し、あるいは短い時間の動画を撮影し、更に車色判定の精度を向上させることも可能である。
【００５８】
次に本発明の第２の実施の形態を図６、図７により説明する。
図６は、本発明の第２の実施形態による車色判定装置の処理を示すフローチャートである。
本発明の第２の実施形態は、第１の実施形態における図１、図５に示した構成と同様な構成を備えている。
【００５９】
第２の実施形態において、車色認識部１１２は、画像データ受信部１１３で解凍されたカラー画像４を受信し、カラー画像４のファイル名称から、ナンバープレート座標２４２を取得する。続いて、図６に示す車色判定手段の処理が行われる。
【００６０】
図６において、まず取得したナンバープレート座標２４２に基づいて、車色判定エリア２４１を設定する（Ｓ６０１）。次にカラー画像４に設定した車色判定エリア２４１部分のＢＭＰデータをＨＳＶ変換する（Ｓ６０２）。このとき、ＨＳＶ変換は公知の式を用いる。ただし、Ｒ＝Ｂ＝Ｇのときは、Ｈ成分の値を２４０（色相成分の範囲が０〜３５９のとき）と設定する。次に図７に示す色相ヒストグラム３を作成する（Ｓ６０３）。
【００６１】
図７において、色相ヒストグラム３は、区間３１（色相成分０〜２１０）と区間３２（色相成分２１０〜２８０）と区間３３（色相成分２８０〜３５９）に分割される。区間３２の領域は、色相成分の青系色に属する。
【００６２】
図６のステップＳ６０４において、区間３１＋区間３３の面積と、区間３２の面積が比較される。区間３２の面積が大きいときには、車色は無彩色＋青系色であると判定され、ステップＳ６０５に進み、区間３１＋区間３３の面積が大きいときには、車色は有彩色−青系色であると判定され、ステップＳ６０６に進む。車色が無彩色＋青系色であると判定されたときには、彩度と明度成分による詳細色判定が行われ（Ｓ６０５）、車色が有彩色であると判定されたときには、色相成分による詳細色判定が行われる（Ｓ６０６）。
【００６３】
以上のように構成した本発明の第２の実施形態によれば、最も判別しにくい、紺色（青系色）と無彩色（特に黒色、灰色）を一つのグループとして判別しきい値を設定できるため、精度の高い車色判定を行うことができる。
【００６４】
また、車色が有彩色であると判定され、色相成分による詳細色判定が行われる場合には、すでにステップＳ６０３において色相ヒストグラムが算出済みであるため、これを流用することにより、車色判定を高速化することができる。
【００６５】
次に、本発明の第３の実施形態を図８〜図１０により説明する。
図８は、本発明の第３の実施形態による車色判定装置の車色判定手段の処理を示すフローチャートである。
【００６６】
発明の第３の実施形態は、第１の実施形態における図１、図５に示した構成と同様な構成を備えている。
車色認識部１１２は、画像データ受信部１１３で解凍されたカラー画像４を受信し、カラー画像４のファイル名称から、ナンバープレート座標２４２を取得する。続いて、以下に示す処理が行われる。
【００６７】
図８において、まず取得したナンバープレート座標２４２に基づいて、車色判定エリア２４１を設定する（Ｓ８０１）。次にカラー画像４に設定した車色判定エリア２４１部分のＢＭＰデータをＨＳＶ変換する（Ｓ８０２）。このとき、ＨＳＶ変換は公知の式を用いる。
【００６８】
次に彩度ヒストグラム５を作成し、重心位置を算出する（Ｓ８０３）。続いてこの重心位置と予め定められた規定値とを比較する（Ｓ８０４）。この重心位置が予め定められた規定値より小さいときには、車色は無彩色であると判定され、ステップＳ８０５以下に進み、無彩色判定が行われる。
【００６９】
ステップＳ８０４において、重心位置が予め定められた規定値より大きいときには、車色は有彩色であると判定されステップＳ８０８に進み、有彩色判定が行われる。有彩色判定は、色相成分により詳細色（有彩色）判定が行われる（Ｓ８０８）。
【００７０】
図９は本発明の第３の実施形態による車色判定装置で使用されるカラー画像４を示す図である。
【００７１】
図８のステップＳ８０５において、図９に示すように、カラー画像４の下部に一定領域が路面領域２４３として設定され、この路面領域２４３の明度ヒストグラムが作成され、その重心位置が路面明度値５２として設定される。
【００７２】
図１０は本発明の第３の実施形態による車色判定装置の無彩色しきい値オートチューニング手段の処理例を示す図である。
【００７３】
図８のステップＳ８０６において、図１０に示すグラフが作成される。
【００７４】
図１０において、横軸は彩度、縦軸は明度を示し、左側のグラフはオートチューニング前に設定された無彩色（白、灰、黒）のしきい値を示し、路面明度値５１を基準に設定されている。右側のグラフはオートチューニング後の設定された無彩色（白、灰、黒）しきい値を示し、カラー画像４より算出された路面明度値５２を基準に設定される。
【００７５】
このオートチューニングは路面明度値５１とカラー画像４より算出された路面明度値５２の差分５３を例えば、数式（１−１），（１−２）に適用し、白色−灰色しきい値５４および灰色−黒色しきい値５５を決定することにより行われる。
【００７６】
Ｗ２＝Ｗ１＋（２５５−Ｗ１）×ΔＶ／（Ｗ１−Ｒ）・・・（１−１）
Ｂ２＝Ｂ１＋（Ｒ−Ｂ１）×ΔＶ／Ｂ１ ・・・（１−２）
ただし、上記（１−１）、（１−２）において、Ｒは路面明度基準値、ΔＶは明度変化差分、Ｗ１は白判定基準しきい値、Ｗ２は白判定補正しきい値、Ｂ１は黒判定基準しきい値、Ｂ２は黒判定補正しきい値である。
【００７７】
続いて、ステップＳ８０７において、オートチューニングにより補正された無彩色のしきい値を用いて、彩度・明度成分から無彩色判定が行われる。
【００７８】
以上のように構成された本発明の第３の実施形態によれば、周囲の照度に合わせて無彩色判定を行うことが可能となり、周囲の照度に影響されない車色判定を行うことができる。
【００７９】
また、本発明の第３の実施形態による無彩色のしきい値オートチューニングは、第２の実施形態による車色判定手段に適用することができ、これにより周囲の照度に影響されずに、通常判別しにくいとされる、紺色（青系色）と無彩色（特に黒色、灰色）の更に精度の高い車色判定を行うことができる。
【００８０】
次に、本発明の第４の実施形態を図１１、図１２により説明する。
【００８１】
図１１は、本発明の第４の実施形態による車色判定装置の車色判定手段の処理を示すフローチャートである。
【００８２】
本発明の第４の実施形態は、第１の実施形態における図１、図５に示した構成と同様な構成を備えている。
【００８３】
車色認識部１１２は、画像データ受信部１１３で解凍されたカラー画像４を受信し、カラー画像４のファイル名称から、ナンバープレート座標２４２を取得する。続いて、以下に示す処理が行われる。
【００８４】
図１１において、まず、取得したナンバープレート座標２４２に基づいて、車色判定エリア２４１を設定する（Ｓ１１１）。次にカラー画像４に設定した車色判定エリア２４１部分のＢＭＰデータをＨＳＶ変換する（Ｓ１１２）。このとき、ＨＳＶ変換は公知の式を用いる。ただし、Ｒ＝Ｂ＝Ｇのときは、Ｈ成分の値を２４０（色相成分の範囲が０〜３５９のとき）と設定する。次に色相ヒストグラム３を作成する（Ｓ１１３）。図１２は、ステップＳ１１３における色相ヒストグラムの作成例を示す図である。
【００８５】
次に、ステップＳ１１４において、算出した色相ヒストグラムを数式（２−１）に適用し、車色判定エリアの面積を任意定数Ｎと色相成分の分解能（ここでは３６０）の積で割り、これを色相ヒストグラムのオフセット値３６とする。尚、この任意定数Ｎの数を増やすことにより、オフセット値３６の値が下がり、より多くの塗装色の判定を行うことができる。
【００８６】
Ｃ＝車色判定エリアの面積／（Ｎ×３６０）・・・（２−１）
Ｃ：オフセット値 Ｎ：任意定数
続いて、この色相ヒストグラムにおいて、オフセット値３６以上の度数を有する特徴色、すなわち図１２に示す、判定色３４、判定色３５を複数色の車色として判定する（Ｓ１１５）。
【００８７】
以上のように構成した本発明の第４の実施形態によれば、簡単な演算により、複数色の車両の車色判定が行える。また、本発明の第４の実施形態は単一色の車両の判定も実現可能であるため、車色判定の正解率に悪影響を及ぼすことなく、複数色の車色判定を行うことができる。
【００８８】
次に本発明の第５の実施形態を図１３〜図１６により説明する。
図１３は、本発明の第５の実施形態による車色判定装置の車色判定手段の処理を示すフローチャートである。
【００８９】
本発明の第５の実施形態は、第１の実施形態における図１、図５に示した構成と同様な構成を備えている。
【００９０】
車色認識部１１２は、画像データ受信部１１３で解凍されたカラー画像４を受信し、カラー画像４のファイル名称から、ナンバープレート座標２４２を取得する。続いて、以下に示す処理が行われる。
【００９１】
図１３において、まず取得したナンバープレート座標２４２に基づいて、車色判定エリア２４１を設定する（Ｓ１３１）。次に、カラー画像４に設定した車色判定エリア２４１部分のＢＭＰデータをＨＳＶ変換する（Ｓ１３２）。このとき、ＨＳＶ変換は公知の式を用いる。
【００９２】
次に、各色の確信度を算出する。このとき、車色判定エリアの色相・彩度・明度成分に対する確信度を算出する色の色らしさをファジー集合のメンバーシップ関数を用いて作成した色相成分、彩度成分、明度成分の重み関数から、それぞれ色相成分の確信度、彩度成分の確信度、明度成分の確信度を算出する。色の確信度は数式（３−１）に示すように、色相成分の確信度と彩度成分の確信度と明度成分の確信度の積から算出する（Ｓ１３３）。
【００９３】
Ｋ＝ＦＨ（ｈ）×ＦＳ（ｓ）×ＦＶ（ｖ）・・・（３−１）
Ｋ ：赤系の確信度
ＦＨ：色相成分のメンバーシップ関数
ＦＳ：彩度成分のメンバーシップ関数
ＦＶ：明度成分のメンバーシップ関数
図１４は、色相成分のメンバーシップ関数６１（赤系）を示した図であり、図１５は、彩度成分のメンバーシップ関数７１（赤系）を示した図であり、図１６は、明度成分のメンバーシップ関数８１（赤系）を示した図である。
この図１４，図１５，図１６に示す、メンバーシップ関数（重み関数）により車色の赤らしさが表現される。同様に判定したい車色数全てに対して、確信度が算出され、最終的に最も確信度の高い色がカラー画像４に撮影される車両２４の途装色と判定される（Ｓ１３４）。
【００９４】
以上のように構成した本発明の第５の実施形態によれば、ファジー集合のメンバーシップ関数を用いることにより、車両塗装色の類似色にまたがり重み付けがされるため、周囲の照度が変化したことにより、車色の写り方が変化しても、大きく間違った値が出力されることがなくなり、精度の高い車色の判定を行うことができる。
【００９５】
また、茶色やオリーブ等の判別が困難な珍色に関しても容易に人間の主観に基づいてしきい値の設定を行うことができ、車色判定を行うことができる。
【００９６】
また、更に車色の確信度が拮抗している場合には、拮抗している複数の車色により車両が途装されているものとすることにより、複数色の車色判定を行うことができる。
【００９７】
図１７は本発明の車色判定装置の車色判定精度を測定した実験データを示す図である。
【００９８】
図１７において、上段は従来の車色判定装置により実験を行った場合の車両塗装色の正解率であり、下段は本発明の車色判定装置により実験を行った場合の車両塗装色の正解率である。
【００９９】
また、左の項目は車両塗装色の候補を１色のみ算出した場合の正解率であり、右の項目は車両塗装色の候補を２色算出した場合の正解率である。
【０１００】
尚実験で測定した台数はそれぞれ２００台である。
【０１０１】
第１候補のみ算出した場合には、正解率は対策前の７４．７％から７５．３％に向上し、また第１＋第２候補の２色を算出した場合には、正解率は８３．０％から９５．４％に向上している。
【０１０２】
以上のように、どちらの場合にも車色判定精度に効果が認められ、本発明は車両塗装色の判定に効果的である。
【図面の簡単な説明】
【０１０３】
【図１】本発明の車色判定装置が適用される車両検索システムの概略構成を示す図である。
【図２】本発明の車色判定装置が適用される車両検索システムの路上装置の設置図である。
【図３】本発明の車色判定装置が適用される車両検索システムのカラーカメラから得られるカラー画像の一例を示す図である。
【図４】本発明の第１の実施の形態による車色判定装置を備える車両検索システムの路上装置の構成を示すブロック図である。
【図５】本発明の第１の実施形態による車色判定装置を備える車両検索システムの概略構成図である。
【図６】本発明の第２の実施形態による車色判定処理を示すフローチャートである。
【図７】本発明の第２の実施形態による車色判定装置に適用する色相ヒストグラムを示した図である。
【図８】本発明の第３の実施形態による車色判定処理を示すフローチャートである。
【図９】本発明の第３の実施形態による車色判定装置で使用されるカラー画像の一例を示す図である。
【図１０】本発明の第３の実施形態による車色判定装置の無彩色しきい値オートチューニング手段の処理例を示す図である。
【図１１】本発明の第４の実施形態による車色判定処理を示すフローチャートである。
【図１２】本発明の第４の実施形態による車色判定装置の複数色判定手段の処理例を示す図である。
【図１３】本発明の第５の実施形態による車色判定処理を示すフローチャートである。
【図１４】本発明の第５の実施の形態による車色判定装置の色相成分のメンバーシップ関数（赤系）を示した図である。
【図１５】本発明の第５の実施の形態による車色判定装置の彩度成分のメンバーシップ関数（赤系）を示した図である。
【図１６】本発明の第５の実施の形態による車色判定装置の明度成分のメンバーシップ関数（赤系）を示した図である。
【図１７】本発明の車色判定装置の車色判定精度を測定した実験データの表を示す図である。
【符号の説明】
【０１０４】
１ 中央装置
２ 路上装置
３ 色相ヒストグラム
４ カラー画像
５ 彩度-明度線図
６ 色相成分メンバーシップ関数（赤系）
７ 彩度成分メンバーシップ関数（赤系）
８ 明度成分メンバーシップ関数（赤系）
９ 広域ネットワーク網
１１ 車色判定装置
１２ 車両検索部
１３ 外部記憶部
１４ データ受信部
２１ 撮像部
２２ 画像処理部
２３ 電柱
２４ 車両
２５ 道路
３１ 区間（色相成分０〜２１０）
３２ 区間（色相成分２１０〜２７０）
３３ 区間（色相成分２７０〜３５９）
３４ 判定色
３５ 判定色
３６ オフセット値
５１ 路面明度基準値
５２ 路面明度値
５３ 差分
５４ 白色灰色判定しきい値
５５ 灰色黒色判定しきい値
６１ メンバーシップ関数
７１ メンバーシップ関数
８１ メンバーシップ関数
１０１ 車色判定手段
１１１ 出力部
１１２ 車色認識部
１１３ 画像データ受信部
１２１ 結果表示部
１２２ 車両検索部
２１１ カラーカメラ
２１２ ナンバー読取用カメラ
２２１ ナンバープレート読取部
２２２ カラー画像取得部
２２３ 車両情報伝送部
２４１ 車色判定エリア
２４２ ナンバープレート座標
２４３ 路面エリア
【特許請求の範囲】
【請求項１】
車両を撮影する撮影手段と、
撮影手段により撮影された車両のナンバープレート位置を認識するナンバープレート認識部と、
上記ナンバープレート認識部により認識された上記車両のナンバープレート位置を基準とし、予め決められた相対位置に車色判定エリアを設定し、この車色判定エリア内の色情報を色相成分・彩度成分・明度成分に分解し、車両の塗装色を判定する車色判定手段と、
を備えることを特徴とする車色判定装置。
【請求項２】
請求項１記載の車色判定装置において、
前記車色判定手段は、
前記車色判定エリアの色相成分により、車色を有彩色−青系色と無彩色＋青系色に判別する判別手段と、
前記判別手段において、車色が有彩色−青系色と判別されたときに、色相成分により詳細色判定を行う有彩色判定手段と、
前記判別手段において、車色が無彩色＋青系色と判別されたときに、彩度成分と明度成分により詳細色判定を行う無彩色判定手段とを備えることを特徴とする車色判定装置。
【請求項３】
請求項１記載の車色判定装置において、
前記車色判定手段は、
前記カラー画像の車両の下部を路面エリアとして設定する路面エリア設定手段と、
前記路面エリアの濃度値から白色、灰色、黒色を判別するしきい値を設定するオートチューニング手段とを備えることを特徴とする車色判定装置。
【請求項４】
請求項１記載の車色判定装置において、
前記車色判定手段は、
前記車色判定エリアの色相成分を、色相成分の分解能と任意の数との積で割り、その値を前記車色判定エリアの色相ヒストグラムのオフセット値として設定するオフセット設定手段と、
前記色相ヒストグラムの前記オフセット値以上の特徴色を前記車両の塗装色として判定する複数色判定手段とを備えることを特徴とする車色判定装置。
【請求項５】
請求項１記載の車色判定装置において、
前記車色判定手段は、
車色を判定するしきい値にファジー集合のメンバーシップ関数を用いて、前記車色判定エリアの判定したい車色らしさの合計値から車色を判定するファジー集合判定手段を備えることを特徴とする車色判定装置。
【請求項６】
車両撮影装置から車両のナンバー情報、車両の画像情報、車両の検知位置情報及び検知の時刻情報が伝送網を介して、伝送され、伝送された車両の画像情報から車両の車色を判別し、特定車両を検索する中央装置を有する車両検索システムにおいて、
前記中央装置は伝送された車両の画像情報に基づいて、車両のナンバープレート位置を検出し、基準位置とし、この基準位置の予め決められた相対位置に車色判定エリアを設定し、この車色判定エリア内の色情報を色相成分・彩度成分・明度成分に分解し、車両の塗装色を判定することを特徴とする車両検索システム。
【請求項７】
請求項６記載の車両検索システムにおいて、
前記中央装置は、
前記車色判定エリアの色相成分により、車色を有彩色−青系色と無彩色＋青系色に判別する判別手段と、
前記判別手段において、車色が有彩色−青系色と判別されたときに、色相成分により詳細色判定を行う有彩色判定手段と、
前記判別手段において、車色が無彩色＋青系色と判別されたときに、彩度成分と明度成分により詳細色判定を行う無彩色判定手段とを備えることを特徴とする車両検索システム。
【請求項８】
請求項６記載の車両検索システムにおいて、
前記中央装置は、
前記カラー画像の車両の下部を路面エリアとして設定する路面エリア設定手段と、
前記路面エリアの濃度値から白色、灰色、黒色を判別するしきい値を設定するオートチューニング手段とを備えることを特徴とする車両検索システム。
【請求項９】
請求項６記載の車両検索システムにおいて、
前記中央装置は、
前記車色判定エリアの色相成分を、色相成分の分解能と任意の数との積で割り、その値を前記車色判定エリアの色相ヒストグラムのオフセット値として設定するオフセット設定手段と、
前記色相ヒストグラムの前記オフセット値以上の特徴色を前記車両の塗装色として判定する複数色判定手段とを備えることを特徴とする車両検索システム。
【請求項１０】
請求項６記載の車両検索システムにおいて、
前記中央装置は、
車色を判定するしきい値にファジー集合のメンバーシップ関数を用いて、前記車色判定エリアの判定したい車色らしさの合計値から車色を判定するファジー集合判定手段を備えることを特徴とする車両検索システム。
【請求項１】
車両を撮影する撮影手段と、
撮影手段により撮影された車両のナンバープレート位置を認識するナンバープレート認識部と、
上記ナンバープレート認識部により認識された上記車両のナンバープレート位置を基準とし、予め決められた相対位置に車色判定エリアを設定し、この車色判定エリア内の色情報を色相成分・彩度成分・明度成分に分解し、車両の塗装色を判定する車色判定手段と、
を備えることを特徴とする車色判定装置。
【請求項２】
請求項１記載の車色判定装置において、
前記車色判定手段は、
前記車色判定エリアの色相成分により、車色を有彩色−青系色と無彩色＋青系色に判別する判別手段と、
前記判別手段において、車色が有彩色−青系色と判別されたときに、色相成分により詳細色判定を行う有彩色判定手段と、
前記判別手段において、車色が無彩色＋青系色と判別されたときに、彩度成分と明度成分により詳細色判定を行う無彩色判定手段とを備えることを特徴とする車色判定装置。
【請求項３】
請求項１記載の車色判定装置において、
前記車色判定手段は、
前記カラー画像の車両の下部を路面エリアとして設定する路面エリア設定手段と、
前記路面エリアの濃度値から白色、灰色、黒色を判別するしきい値を設定するオートチューニング手段とを備えることを特徴とする車色判定装置。
【請求項４】
請求項１記載の車色判定装置において、
前記車色判定手段は、
前記車色判定エリアの色相成分を、色相成分の分解能と任意の数との積で割り、その値を前記車色判定エリアの色相ヒストグラムのオフセット値として設定するオフセット設定手段と、
前記色相ヒストグラムの前記オフセット値以上の特徴色を前記車両の塗装色として判定する複数色判定手段とを備えることを特徴とする車色判定装置。
【請求項５】
請求項１記載の車色判定装置において、
前記車色判定手段は、
車色を判定するしきい値にファジー集合のメンバーシップ関数を用いて、前記車色判定エリアの判定したい車色らしさの合計値から車色を判定するファジー集合判定手段を備えることを特徴とする車色判定装置。
【請求項６】
車両撮影装置から車両のナンバー情報、車両の画像情報、車両の検知位置情報及び検知の時刻情報が伝送網を介して、伝送され、伝送された車両の画像情報から車両の車色を判別し、特定車両を検索する中央装置を有する車両検索システムにおいて、
前記中央装置は伝送された車両の画像情報に基づいて、車両のナンバープレート位置を検出し、基準位置とし、この基準位置の予め決められた相対位置に車色判定エリアを設定し、この車色判定エリア内の色情報を色相成分・彩度成分・明度成分に分解し、車両の塗装色を判定することを特徴とする車両検索システム。
【請求項７】
請求項６記載の車両検索システムにおいて、
前記中央装置は、
前記車色判定エリアの色相成分により、車色を有彩色−青系色と無彩色＋青系色に判別する判別手段と、
前記判別手段において、車色が有彩色−青系色と判別されたときに、色相成分により詳細色判定を行う有彩色判定手段と、
前記判別手段において、車色が無彩色＋青系色と判別されたときに、彩度成分と明度成分により詳細色判定を行う無彩色判定手段とを備えることを特徴とする車両検索システム。
【請求項８】
請求項６記載の車両検索システムにおいて、
前記中央装置は、
前記カラー画像の車両の下部を路面エリアとして設定する路面エリア設定手段と、
前記路面エリアの濃度値から白色、灰色、黒色を判別するしきい値を設定するオートチューニング手段とを備えることを特徴とする車両検索システム。
【請求項９】
請求項６記載の車両検索システムにおいて、
前記中央装置は、
前記車色判定エリアの色相成分を、色相成分の分解能と任意の数との積で割り、その値を前記車色判定エリアの色相ヒストグラムのオフセット値として設定するオフセット設定手段と、
前記色相ヒストグラムの前記オフセット値以上の特徴色を前記車両の塗装色として判定する複数色判定手段とを備えることを特徴とする車両検索システム。
【請求項１０】
請求項６記載の車両検索システムにおいて、
前記中央装置は、
車色を判定するしきい値にファジー集合のメンバーシップ関数を用いて、前記車色判定エリアの判定したい車色らしさの合計値から車色を判定するファジー集合判定手段を備えることを特徴とする車両検索システム。
【図１】
【図２】
【図３】
【図４】
【図５】
【図６】
【図７】
【図８】
【図９】
【図１０】
【図１１】
【図１２】
【図１３】
【図１４】
【図１５】
【図１６】
【図１７】
【図２】
【図３】
【図４】
【図５】
【図６】
【図７】
【図８】
【図９】
【図１０】
【図１１】
【図１２】
【図１３】
【図１４】
【図１５】
【図１６】
【図１７】
【公開番号】特開２００６−２０１９７１（Ｐ２００６−２０１９７１Ａ）
【公開日】平成１８年８月３日（２００６．８．３）
【国際特許分類】
【出願番号】特願２００５−１１９３５（Ｐ２００５−１１９３５）
【出願日】平成１７年１月１９日（２００５．１．１９）
【出願人】（０００００５１０８）株式会社日立製作所 (27,607)
【Ｆターム（参考）】
【公開日】平成１８年８月３日（２００６．８．３）
【国際特許分類】
【出願日】平成１７年１月１９日（２００５．１．１９）
【出願人】（０００００５１０８）株式会社日立製作所 (27,607)
【Ｆターム（参考）】
[ Back to top ]