駐車検出装置、駐車検出方法および駐車検出プログラム
【課題】多数の駐車マスを持つ駐車場の各駐車マスの駐車状況を正確に検出することができる駐車検出装置、駐車検出方法および駐車検出プログラムを提供する。
【解決手段】駐車検出装置1は、表示パターンが描かれた複数の駐車マスを含む検出対象エリアを撮影する撮影手段(カメラ10)と、空車状態の検出対象エリアの画像に対してPrewittエッジ処理を施して基準画像データ23dを生成するとともに画素毎の積和値が最大となったマスクパターンをエッジオペレータとして記憶する基準データ生成手段(エッジ抽出処理部24)と、判定対象の画像に対してエッジオペレータによるエッジ抽出処理を施した被検査画像データ(エッジ抽出処理画像データ23c)を生成する検査データ生成手段(エッジ抽出処理部24)と、被検査画像データと基準画像データとの相関から駐車の有無を判定する判定手段(相関率算出部25、相関率判定処理部26)と、を備える。
【解決手段】駐車検出装置1は、表示パターンが描かれた複数の駐車マスを含む検出対象エリアを撮影する撮影手段(カメラ10)と、空車状態の検出対象エリアの画像に対してPrewittエッジ処理を施して基準画像データ23dを生成するとともに画素毎の積和値が最大となったマスクパターンをエッジオペレータとして記憶する基準データ生成手段(エッジ抽出処理部24)と、判定対象の画像に対してエッジオペレータによるエッジ抽出処理を施した被検査画像データ(エッジ抽出処理画像データ23c)を生成する検査データ生成手段(エッジ抽出処理部24)と、被検査画像データと基準画像データとの相関から駐車の有無を判定する判定手段(相関率算出部25、相関率判定処理部26)と、を備える。
【発明の詳細な説明】
【技術分野】
【0001】
本発明は、駐車検出装置、駐車検出方法および駐車検出プログラムに関する。さらに詳しくは、高速道路のサービスエリアなど、多数の駐車マスを持つ駐車場の各駐車マスの駐車状況を画像処理により正確に検出することができる駐車検出装置、駐車検出方法および駐車検出プログラムに関する。
【背景技術】
【0002】
従来の車両検出方法として、車両検出対象領域を俯瞰撮影した画像の各駐車マスに対応する画像領域からエッジを抽出し、そのエッジ量の大小に基づいて駐車と空車とを判定することが知られている(例えば、特許文献1参照)。すなわち、複雑な形状を有する車両から抽出されるエッジの量と、空車状態の駐車マスから抽出されるエッジの量と、に差が生じることに基づいて駐車状況を検出するものである。
【0003】
しかしながら、エッジ量の大小に基づいて駐車と空車とを判定する場合、駐車マスに「バス」、「トラック」などの文字や、車椅子の図形で知られる国際シンボルマークなどの図形等の表示パターンが表示されていると、これら表示パターンのエッジも抽出されてしまう。また、検出対象となる駐車マスに、駐車検出に外乱を及ぼす要素、例えば、他の車両の影や建造物の影など、が存在する場合、これら外乱となる要素からもエッジが抽出されてしまう。その結果、空車時であってもエッジ量が大きくなるため、駐車と誤判定してしまうといった問題があった。
【先行技術文献】
【特許文献】
【0004】
【特許文献1】特開平11−66490号公報
【発明の概要】
【発明が解決しようとする課題】
【0005】
本発明は、上記問題の解決を図るため、駐車場を時々刻々撮影した画像において位置や形状の変化が少ない表示パターンに着目する。本発明は、駐車マスに描かれた表示パターンに基づいて駐車か空車かを判定することにより、その駐車マスに他の車両の影や建造物の影などが存在したときにもそれらの影響を低減することができ、駐車の有無を正確に判定することが可能な駐車検出装置、駐車検出方法および駐車検出プログラムを提供することを目的とする。
【課題を解決するための手段】
【0006】
本発明は、以下の通りである。
1.表示パターンが描かれた複数の駐車マスを撮影し、その画像に基づいて前記駐車マスのそれぞれの駐車の有無を検出する駐車検出装置であって、
前記複数の駐車マスを含む検出対象エリアを撮影する撮影手段と、
あらかじめ、前記撮影手段により前記複数の駐車マスが空車状態の前記検出対象エリアを撮影し、当該画像に対してPrewittエッジ処理を施すことにより基準画像データを生成し、その基準画像データとともに画素毎の積和値が最大となったマスクパターンをエッジオペレータとして記憶する基準データ生成手段と、
前記撮影手段により前記検出対象エリアを撮影し、当該画像に対して、前記基準データ生成手段により記憶された前記エッジオペレータを用いてエッジ抽出処理を施すことにより、被検査画像データを生成する検査データ生成手段と、
前記被検査画像データと、前記基準画像データと、の相関に基づいて、前記駐車マス毎の駐車の有無を判定する判定手段と、を備えることを特徴とする。
2.上記1.において、前記検査データ生成手段は、前記撮影した画像の所定の範囲に対して、前記エッジオペレータを画素単位でずらしながら順次適用することにより各位置に対応した前記被検査画像データを生成し、
前記判定手段は、前記各位置に対応した前記被検査画像データと、前記基準画像データと、の相関率を算出することにより駐車の有無を判定することを特徴とする。
3.上記1.または2.において、前記基準データ生成手段は、異なる撮影条件において撮影した複数の画像のそれぞれに対して前記基準画像データを生成し、その各基準画像データとともにそれぞれの前記エッジオペレータを記憶し、
前記検査データ生成手段は、前記基準データ生成手段により記憶された複数の前記基準画像データのうちの1または2以上に対応する前記エッジオペレータを用いて、それに対応する1または2以上の被検査画像データを生成し、
前記判定手段は、前記1または2以上の被検査画像データと、前記1または2以上の基準画像データと、のそれぞれの相関に基づいて、前記駐車マス毎の駐車の有無を判定することを特徴とする。
4.表示パターンが描かれた複数の駐車マスを撮影手段により撮影し、その画像に基づいて前記駐車マスのそれぞれの駐車の有無を検出する駐車検出方法であって、
あらかじめ、前記撮影手段により前記複数の駐車マスが空車状態の検出対象エリアを撮影し、当該画像に対してPrewittエッジ処理を施すことにより基準画像データを生成し、その基準画像データとともに画素毎の積和値が最大となったマスクパターンをエッジオペレータとして記憶する基準データ生成工程と、
前記撮影手段により前記検出対象エリアを撮影し、当該画像に対して、前記基準データ生成工程により記憶された前記エッジオペレータを用いてエッジ抽出処理を施すことにより、被検査画像データを生成する検査データ生成工程と、
前記被検査画像データと、前記基準画像データと、の相関に基づいて、前記駐車マス毎の駐車の有無を判定する判定工程と、を備えることを特徴とする。
5.上記4.において、前記検査データ生成工程は、前記撮影した画像の所定の範囲に対して、前記エッジオペレータを画素単位でずらしながら順次適用することにより各位置に対応した前記被検査画像データを生成し、
前記判定工程は、前記各位置に対応した前記被検査画像データと、前記基準画像データと、の相関率を算出することにより駐車の有無を判定することを特徴とする。
6.上記4.または5.において、前記基準データ生成工程は、異なる撮影条件において撮影した複数の画像のそれぞれに対して前記基準画像データを生成し、その各基準画像データとともにそれぞれの前記エッジオペレータを記憶し、
前記検査データ生成工程は、前記基準データ生成工程により記憶された複数の前記基準画像データのうちの1または2以上に対応する前記エッジオペレータを用いて、それに対応する1または2以上の被検査画像データを生成し、
前記判定工程は、前記1または2以上の被検査画像データと、前記1または2以上の基準画像データと、のそれぞれの相関に基づいて、前記駐車マス毎の駐車の有無を判定することを特徴とする。
7.表示パターンが描かれた複数の駐車マスを撮影手段により撮影し、その画像に基づいて前記駐車マスのそれぞれの駐車の有無を検出する駐車検出プログラムであって、
あらかじめ、前記撮影手段により前記複数の駐車マスが空車状態の検出対象エリアを撮影し、当該画像に対してPrewittエッジ処理を施すことにより基準画像データを生成し、その基準画像データとともに画素毎の積和値が最大となったマスクパターンをエッジオペレータとして記憶する基準データ生成機能と、
前記撮影手段により前記検出対象エリアを撮影し、当該画像に対して、前記基準データ生成機能により記憶された前記エッジオペレータを用いてエッジ抽出処理を施すことにより、被検査画像データを生成する検査データ生成機能と、
前記被検査画像データと、前記基準画像データと、の相関に基づいて、前記駐車マス毎の駐車の有無を判定する判定機能と、をコンピュータに実現させることを特徴とする。
8.上記7.において、前記検査データ生成機能は、前記撮影した画像の所定の範囲に対して前記エッジオペレータを画素単位でずらしながら順次適用することにより各位置に対応した前記被検査画像データを生成し、
前記判定機能は、前記各位置に対応した前記被検査画像データと、前記基準画像データと、の相関率を算出することにより駐車の有無を判定することを特徴とする。
9.上記7.または8.において、前記基準データ生成機能は、異なる撮影条件において撮影した複数の画像のそれぞれに対して前記基準画像データを生成し、その各基準画像データとともにそれぞれの前記エッジオペレータを記憶し、
前記検査データ生成機能は、前記基準データ生成機能により記憶された複数の前記基準画像データのうちの1または2以上に対応する前記エッジオペレータを用いて、それに対応する1または2以上の被検査画像データを生成し、
前記判定機能は、前記1または2以上の被検査画像データと、前記1または2以上の基準画像データと、のそれぞれの相関に基づいて、前記駐車マス毎の駐車の有無を判定することを特徴とする。
【発明の効果】
【0007】
本発明の駐車検出装置によると、基準データ生成手段により、あらかじめ、複数の駐車マスが空車状態である駐車場の検出対象エリアが撮影され、当該画像に対してPrewittエッジ処理を施して基準画像データが生成されるため、その基準画像データには、「バス」、「トラック」などの表示パターンのエッジが抽出される。また、基準画像データとともに、そのエッジ処理に用いられたマスクパターンが画素毎のエッジオペレータとして記憶される。その後、検査データ生成手段により、前記と同じ検出対象エリアを撮影した画像に対して、記憶された前記エッジオペレータを用いてエッジ抽出処理を施すことによりエッジ抽出処理画像が被検査画像データとして生成されるため、その被検査画像データには、当初から変化していない表示パターンのエッジは明瞭に抽出され、当初になかった車や影などのエッジは抽出され難いこととなる。そこで、判定手段により、駐車マスごとに基準画像データと被検査画像データとの相関をみれば、他の車の影などがあっても、表示パターンが撮影されている場合には相関率が高く、駐車はないと判定することができる。一方、駐車した車によって表示パターンが隠されている場合には相関率は低く、駐車ありと判定することができる。
したがって、駐車マスに他の車両の影や建造物の影などが存在したときにも、それらのエッジが抽出されることによって生じる誤判定を防ぐことができ、駐車マスごとに駐車の有無を精度よく判定することが可能となる。
【0008】
また、前記検査データ生成手段は、撮影した画像の所定の範囲に対して、前記エッジオペレータを画素単位でずらしながら順次適用することにより各位置に対応した前記被検査画像データを生成し、前記判定手段は、前記各位置に対応した前記被検査画像データと、前記基準画像データと、の相関率を算出することにより駐車の有無を判定する場合は、基準データ生成手段により取得された当初の画像に対して、検査データ生成手段により取得された画像に位置ずれが生じた場合であっても、前記所定の範囲内で合致する点がある限り前記エッジオペレータを最適に作用させることができる。これにより、風、温度などによりカメラの位置や角度が変動しても、正確に駐車と空車との判定を行うことができる。
【0009】
さらに、前記基準データ生成手段は、異なる撮影条件において撮影した複数の画像のそれぞれに対して基準画像データを生成し、その各基準画像データとともにそれぞれのエッジオペレータを記憶し、前記検査データ生成手段は、基準データ生成手段により記憶された複数の基準画像データのうちの1または2以上に対応するエッジオペレータを用いて、それに対応する1または2以上の被検査画像データを生成し、前記判定手段は、前記1または2以上の被検査画像データと、前記1または2以上の基準画像データと、のそれぞれの相関に基づいて、駐車マス毎の駐車の有無を判定する場合は、天候や時間帯が異なる条件で撮影された複数の画像から基準画像データおよびエッジオペレータが生成される。そして、それらの情報を適宜に用いて、被検査画像データが生成されるとともに基準画像データとの相関率が算出される。このため、天候や時間帯によって明るさやコントラスト等が異なる画像に合わせて最適な条件で、エッジ抽出処理を行うことができ、相関率をみることができる。これによって、画像処理の負担を減らし、駐車の有無判定をさらに正確にすることが可能になる。
【0010】
以上は、本発明が装置として実現される場合について説明したが、かかる装置を実現する方法やプログラム、当該プログラムを記録した媒体としても発明は実現可能である。また、以上のような駐車検出装置は単独で実現される場合もあるし、ある方法に適用され、あるいは同方法が他の機器に組み込まれた状態で利用されることもあるなど、上記に示す駐車検出装置に限らず、各種の態様を含むものである。したがって、本発明思想は、プログラム、ソフトウェアであったり、ハードウェアであったりするなど、適宜、変更可能である。
発明の思想の具現化例として上記装置を制御するためのソフトウェアとなる場合には、かかるプログラム、ソフトウェア、あるいはソフトウェアを記録した記録媒体上においても存在し、利用される。
【0011】
また、プログラム、ソフトウェアの記録媒体は、磁気記録媒体であってもよいし光磁気記録媒体であってもよく、今後開発されるいかなる記録媒体においても全く同様に考えることができる。一次複製品、二次複製品などの複製段階についても同等である。その他、供給装置として通信回線を利用して行う場合でも本発明が利用されていることにはかわりない。さらに、一部がソフトウェアであって、一部がハードウェアで実現されている場合においても発明の思想において全く異なるものではなく、一部を記録媒体上に記憶しておいて必要に応じて適宜読み込まれるような形態であってもよい。
【図面の簡単な説明】
【0012】
【図1】本実施形態にかかる駐車検出装置を示す概略ブロック図である。
【図2】本実施形態にかかるPrewittエッジ処理に用いられる8種類のマスクパターンとそれらに対応するエッジ方向を示す図である。
【図3】本実施形態にかかる基準画像データおよびエッジオペレータデータ生成処理のフローチャートを示す図である。
【図4】本実施形態にかかる駐車検出処理のフローチャートを示す図である。
【図5】検出対象エリアとカメラの配置を模式的に示す平面図である。
【図6】検出対象エリアを撮影した画像の例を模式的に示す図である。
【図7】基準画像データの生成を説明するための図である。
【図8】判定対象用として撮影した画像の例を模式的に示す図である。
【図9】検索範囲と処理領域の例を模式的に示す図である。
【図10】検索範囲と処理領域の例を模式的に示す図である。
【図11】検索範囲と処理領域の例を模式的に示す図である。
【図12】表示パターンを含む画像領域の例を示す図であって、(a)〜(c)は撮影画像、(d)〜(h)はエッジ抽出処理画像をそれぞれ示す。
【発明を実施するための形態】
【0013】
ここでは、下記の順序に従って本発明の実施の形態について説明する。
(1)駐車検出装置の構成:
(2)駐車検出処理:
(2−1)基準画像データおよびエッジオペレータデータ生成処理:
(2−2)駐車検出処理:
【0014】
本書において、画像のエッジ抽出を行うための演算子を「エッジオペレータ」という。エッジオペレータは、例えば図2のA〜Hに示すようにマトリックスにより構成され、それぞれ画素のエッジの方向に対応する。このエッジオペレータを「マスクパターン」と呼ぶ場合もある。また、エッジオペレータは画像の画素毎に適用されるが、1つの画像の処理について「エッジオペレータ」という場合には、当該画像を構成する画素毎のエッジオペレータの集合を表す。
【0015】
(1)駐車検出装置の構成:
図1は、本実施形態にかかる駐車検出装置の概略構成を示している。同図において、駐車検出装置1は、カメラ10と制御部20とから構成されている。カメラ10は、所定の表示パターンを有する複数の駐車マスを含む検出対象エリアを撮影した画像を制御部20に出力する。制御部20は、カメラ10から取得した画像を処理することによって、各駐車マスの駐車の有無を検出するように構成される。
【0016】
制御部20は、主要な構成として、インターフェース(I/F)21、CPU22、記憶部23、エッジ抽出処理部24、相関率算出部25、相関率判定処理部26、および出力部27を備えている。
カメラ10により撮影された画像は、I/F21を介して制御部20に取り込まれる。
CPU22は、記憶部23に記憶された駐車検出プログラム23aを実行し、各部を制御するとともに所定の演算処理を実行する。
【0017】
記憶部23は、プログラムおよびデータを格納可能な記憶媒体である。記憶部23には、駐車検出処理の全体を制御するための駐車検出プログラム23aが格納されている。また、その駐車検出処理の過程で使用される撮影画像データ23b、エッジ抽出処理画像データ23c、基準画像データ23dおよびエッジオペレータデータ23eが格納される。さらに、駐車有無の判定基準となる基準相関率データ23fが格納されている。
【0018】
上記撮影画像データ23bは、検出対象エリアを撮影した画像データを格納するために用いられる領域である。
上記エッジ抽出処理画像データ23cは、前記撮影画像データ23bに対してエッジ抽出処理を施した画像データ(被検査画像データ)を格納するために用いられる領域である。
上記基準画像データ23dは、検出対象エリア内の駐車マスが空車状態であるときに撮影した画像に対してPrewittエッジ処理を施した画像データ(基準画像データ)を格納するために用いられる領域である。また、基準画像データ23dには、1または複数の画像ごとに、それぞれの画像に対応する基準画像データを格納することができる。
上記エッジオペレータデータ23eは、前記Prewittエッジ処理により基準画像データを生成した際の画素ごとのマスクパターンを、エッジオペレータとして格納するために用いられる領域である。また、エッジオペレータデータ23eには、1または複数の画像ごとに、それぞれの画像に対応するエッジオペレータを格納することができる。
【0019】
以下のエッジ抽出処理部24、相関率算出部25および相関率判定処理部26は、本駐車検出装置1の中心的な画像処理および演算処理を実行するように構成されている。これら各部は、前記駐車検出プログラム23aの一部として備えられてもよい。
【0020】
エッジ抽出処理部24は、検出対象エリアを撮影した画像データ(撮影画像データ23b)に対して、次の2つのエッジ抽出処理を行うように構成される。
第1のエッジ抽出処理は、あらかじめ検出対象エリア内の駐車マスが空車状態であるときに撮影した画像に対するPrewittエッジ処理である。ここで、Prewittエッジ処理とは、複数のエッジ方向にそれぞれ対応するマスクパターンを用いて、エッジを抽出する処理をいう。例えば、図2のA〜Hに示すような8方向のエッジに対応する8種類のマスクパターンを用いて、エッジ抽出処理を行うことができる。具体的には、画像の各画素について、各マスクパターンに示される3×3のマトリックスの中央の値を注目画素の輝度値に乗じるとともに、周囲の値を注目画素の周囲の各画素の輝度値にそれぞれ乗じ、それらの和(積和値)を算出する。マトリックス内の各数値は、注目画素のエッジの方向とマスクパターンに対応するエッジの方向との一致度を示す値であり、方向が一致する場合に、当該マスクパターンを用いて算出した積和値が他のマスクパターンを用いて算出した積和値よりも大きな値となるように重み付けされている。これにより、マスクパターン毎に求められた積和値のうち最大となった積和値を注目画素におけるエッジの強さとして、エッジ抽出処理画像を生成することができる。また、エッジ抽出処理部24は、上記Prewittエッジ処理を行った際に、画素ごとに上記積和値(一致度)が最大となったマスクパターンを画素毎のエッジオペレータとして、その集合を画像毎にエッジオペレータデータ23eに格納する。
【0021】
第2のエッジ抽出処理は、駐車の有無を検出するに際して撮影した画像に対するエッジ抽出処理である。このエッジ抽出処理は、その画像の各画素に対して、前記エッジオペレータデータ23eに格納された画素毎のエッジオペレータを作用させることによって、エッジ抽出を行う。これによって、あらかじめ取得されたエッジ方向に略一致する方向のエッジを抽出することができる。
【0022】
相関率算出部25は、エッジ抽出処理画像データ23cと基準画像データ23dとの相関率を算出する。相関率は、例えば、エッジ抽出処理画像データ23cに対する基準画像データ23dの2次元相互相関演算を実行することにより算出することができる。
相関率判定処理部26は、相関率算出部25により算出された相関率と記憶部23に格納されている基準相関率データ23fとを比較することにより、各駐車マスに車両が駐車しているか否かを判定する。なお、相関率判定処理部26による判定結果を判定結果データとして記憶部23に記憶させるようにしてもよい。
出力部27は、相関率判定処理部26による判定結果等を出力する。出力された判定結果データは、駐車場管理システム等に送られて管理されたり、駐車場の駐車状況を示す表示板等に反映されたりすることができる。
【0023】
本実施形態の駐車検出装置においては、複数の駐車マスを含む検出対象エリアを撮影する撮影手段は、カメラ10によって構成される。駐車マスが空車状態で検出対象エリアを撮影した画像に対して、Prewittエッジ処理を施すことにより基準画像データを生成し、その基準画像データとともに画素毎のエッジオペレータを記憶する基準データ生成手段は、主としてエッジ抽出処理部24によって構成される。検出対象エリアを撮影した画像に対して、前記エッジオペレータを用いてエッジ抽出処理を施すことにより被検査画像データを生成する検査データ生成手段は、主としてエッジ抽出処理部24によって構成される。前記被検査画像データと前記基準画像データとの相関に基づいて、前記駐車マス毎の駐車の有無を判定する判定手段は、主として相関率判定処理部26によって構成される。
【0024】
(2)駐車検出処理:
本実施形態における駐車検出処理では、上述の構成において、最初にPrewittエッジ処理によって生成された基準画像データとエッジオペレータデータを用いて、実際の駐車状況を検出する駐車検出処理を実行する。
【0025】
(2−1)基準画像データおよびエッジオペレータデータ生成処理:
基準画像データおよびエッジオペレータデータ生成処理は、例えば、図3に示すようなフローチャートに従って実行することができる。
最初に、カメラ10によって検出対象エリアとなる駐車場を所定の高さから俯瞰撮影した画像を取得する(ステップS100)。このとき撮影する画像(判定基準となる画像)は、各駐車マスが空車状態の検出対象エリアの画像である。この撮影画像は制御部20に取り込まれ、撮影画像データ23bとして記憶部23に記憶される。図5は、このようにして撮影される検出対象エリアの例を模式的に示す図であり、図6は、撮影した画像の例を模式的に示す図である。本実施形態においては、図5および6に示すように、検出対象エリアに5つの駐車マスPS1〜PS5が含まれており、各駐車マスPS1〜PS5には、表示パターンとして、「バス」という文字がそれぞれ表示されている場合を例示する。なお、ステップS100により取得する画像は、各駐車マスの表示パターンが明瞭に撮影されているとともに、各駐車マスに他の車両や建造物等の影が写り込んでいないことが好ましい。
【0026】
次に、ステップS110において、変数nを"1"に初期化する。変数nは、最大値をNとする整数であり、Nは駐車検出処理にて駐車と空車とが判定される駐車マスの数である。本実施形態において、この変数nの値は各駐車マスにそれぞれ対応しており、変数nの値に応じて、これに対応する駐車マス毎の基準画像データ23dおよびエッジオペレータデータ23eを生成する。
【0027】
ステップS120では、エッジ抽出処理部24により、撮影画像データ23bの表示パターンを含む画像領域IRに対して、Prewittエッジ処理によるエッジ抽出処理を実行する。それぞれの駐車マスの駐車の有無を検出するために用いる画像領域IRを撮影画像内のどの領域とするかは特に限定されず、駐車マスの枠や表示パターンの態様に応じて適宜に設定されればよい。例えば、図7に示すように、撮影画像の各駐車マス内の表示パターン部を切り出すように、駐車マス毎に画像領域IRをあらかじめ設定することができる。そして、n番目の駐車マスPSnの「バス」という表示パターンを含む画像領域IRnに対して、Prewittエッジ処理によるエッジ抽出処理を実行することができる。なお、この画像領域IRは、カメラ10により撮影される画像内の各駐車マスの位置ずれが生じても、各表示パターンがそれぞれ含まれるように予め設定されている。
【0028】
なお、エッジ抽出処理が施された画像領域IRに対して、2値化処理をさらに施すようにして、所定値以上のエッジ強さのみを抽出したエッジ抽出処理画像としてもよい。また、輝度値の変化が小さく、注目画素のエッジ方向が明確でない場合は、当該画素に対応する位置にはエッジ抽出処理を適用しないようすることもできる。
【0029】
ステップS130では、上述のようにして各画像領域IRに対してエッジ抽出処理を施した画像データを、基準画像データ23dとして記憶部23に記憶する。そして、ステップS140では、上記Prewittエッジ処理において、画素毎に一致度が最も高かったマスクパターンを、各画像領域IRごとにエッジオペレータデータ23eとして記憶部23に記憶する。
【0030】
ステップS150においては、変数nが最大値Nに達しているか否か、すなわち、すべての駐車マスについての基準画像データ23dおよびエッジオペレータデータ23eを生成したか否かを判別する。変数nが最大値Nに達していると判別されなければ、ステップS160において変数nをインクリメントしてステップS120以降の処理を繰り返し、他の駐車マスについて基準画像データ23dおよびエッジオペレータデータ23eを生成する処理を実行する。変数nが最大値Nに達していると判別されれば、基準画像データおよびエッジオペレータデータ生成処理を終了する。
【0031】
(2−2)駐車検出処理:
駐車検出処理は、上記ステップS120〜S140において生成・記憶された基準画像データおよびエッジオペレータデータを用いて、例えば、図4に示すようなフローチャートに従って実行することができる。
先ず、カメラ10によって駐車の有無の検出対象エリアとなる駐車場を俯瞰撮影する(ステップS200)。この撮影画像(判定対象となる画像)は制御部20に取り込まれ、撮影画像データ23bとして記憶部23に記憶される。図8は、このようにして撮影される画像の例を模式的に示す図である。同図は、駐車マスPS4には車両Vが駐車しており、他の駐車マスPS1〜3およびPS5には駐車する車両がない状態を示している。また、駐車マスPS3には、隣接する駐車マスPS4に駐車中の車両Vの影Vsがかかっている状態を示している。
【0032】
次に、ステップS205において、検出処理の対象となる駐車マスの番号を示す変数nを"1"に初期化する。そして、ステップS210では、記憶部23から、検出処理の対象となるn番目の駐車マスに対応するn番目のエッジオペレータデータ23eと、n番目の基準画像データと、をそれぞれ取得する。
【0033】
ステップS215では、変数mを"1"に初期化する。この変数mは、最大値をMとする整数である。本駐車検出処理においては、前記ステップS200で撮影した画像の所定の範囲に対して、前記エッジオペレータデータを画素単位でずらしながら順次適用することにより、各位置に対応した被検査画像データを生成する。上記所定の範囲とは、後述する検索範囲SRである。変数mは、この検索範囲SR内でエッジオペレータデータを画素単位でずらす制御のために使用される。エッジオペレータデータを作用させる領域を処理領域PRとすると、変数mの値は、検索範囲SR内での処理領域PRの位置に対応する。
【0034】
一般に、固定した撮影手段により位置が不変の撮影対象を撮影した複数の画像において、撮影対象の画像上の位置は略一定である。しかし、本発明に用いるような俯瞰撮影の場合、撮影手段が支柱の先端などの比較的高所に設置され、風等による揺れ、支柱の熱による膨張、収縮等の影響を受け易い。このため、位置が不変の撮影対象を撮影した複数の撮影画像であっても、画像上の撮影対象の位置にずれが生じる場合がある。すなわち、カメラ10により撮影した基準画像データ23dの元となる撮影画像データ23bと、判定対象となる撮影画像データ23bと、では、撮影した表示パターンの画像上の位置にずれが生じている場合がある。このため、判定対象となる撮影画像データ23bに対してエッジオペレータデータ23eを適用する際に、所定の検索範囲SR内を画素単位でずらしながら順次適用するようにして位置ずれに対処している。
【0035】
ステップS220では、エッジ抽出処理部24により、撮影画像データ23bに対してエッジオペレータデータ23eを用いたエッジ抽出処理を実行する。すなわち、撮影画像データ23bにおいて、検索範囲SR内のm番目の位置に設定された処理領域PRにエッジオペレータデータ23eを作用させて、エッジ抽出処理を施す。
【0036】
具体的には、図9〜11に示すように、エッジ抽出処理の対象領域となる処理領域PRを、この処理領域PRよりも広く設定された検索範囲SRに対して、各前記画像領域IRの位置を基準として画素単位で位置をずらしながら順次設定し、処理領域PRが設定された各位置においてエッジオペレータデータ23eによるエッジ抽出処理をそれぞれ実行するようにしている。処理領域PRは、上述の画像領域IRと同じ大きさであり、検索範囲SRは、処理領域PRを所定画素(例えば、画像領域IRの設定位置を中心として、20×20画素など)の範囲でずらすことが可能なように予め設定してある。
【0037】
エッジオペレータデータ23eは、Prewittエッジ処理(ステップS120)で用いられた各マスクパターンのうち最大の一致度(積和値)となるマスクパターンを、画素単位で記憶したデータである。したがって、このエッジオペレータをステップS200で撮影した画像に作用させることによって、ステップS100で撮影された画像上のエッジの方向と同じ方向のエッジは明瞭に抽出され、異なる方向のエッジは強く抽出されないこととなる。このエッジ抽出処理(S220)により、当初から変化しない表示パターンがステップS200で撮影した画像に表れている場合には、そのエッジが明瞭に抽出され、他の車の影などのエッジは強く抽出されないエッジ抽出画像を得ることができる。
【0038】
上記エッジオペレータを用いたエッジ抽出の例を説明する。図12(a)〜(c)は、それぞれ同一の駐車マスを撮影した画像である。図12(a)の画像は、表示パターンである「バス」の文字が明瞭に撮影されており、車両の影や建造物の影は写り込んでいない。一方、図12(b)および(c)の各画像には、それぞれ車両の影や建造物の影が写り込んでしまっている。これら図12(a)〜(c)のそれぞれの画像に対してPrewittエッジ処理を施した画像が、図12(d)〜(f)である。図12(d)の画像には、表示パターンである「バス」の文字のエッジが明瞭に抽出されている。一方、図12(e)および(f)の各画像では、表示パターンのエッジとともに、影のエッジも明瞭に抽出されてしまっている。
【0039】
そこで、図12(b)および(c)の画像に対して、図12(a)の画像から図12(d)のエッジ抽出画像を生成した際のマスクパターンを用いてエッジを抽出すると、図12(g)および(h)に示すように、影のエッジが軽減されたエッジ画像を取得することができる。これは、図12(b)および(c)の各画像の影のエッジに対して、そのエッジ方向と一致しないマスクパターンが適用されることにより、エッジが抽出されにくいからである。一方、図12(b)および(c)の各画像上の表示パターンのエッジ方向は、図12(a)の画像上の表示パターンのエッジ方向と略一致しているので、表示パターンのエッジが明瞭に抽出されることになる。
【0040】
また、図12(b)に示す画像では、影は表示パターンの一部にかかる程度であり、図12(c)に示す画像では、影は表示パターンの大部分を覆っている。いずれの画像においても、影で覆われている部分の表示パターンは周囲との輝度値の差が小さいため、単にエッジ抽出処理を行っても、輝度の差が大きい影自体のエッジが強く抽出されてしまうこととなり、これが外乱となって表示パターンの検出精度が低下する。このような画像であっても、図12(a)の画像から図12(d)のエッジ抽出画像を生成した際のマスクパターンを用いてエッジ抽出を行えば、図12(g)および(h)に示すように、影のエッジは抽出され難い。このようなエッジ抽出処理が施された画像データが被検査画像データである。
上記被検査画像データは、エッジ抽出処理画像データ23cとして記憶部23に記憶される。
【0041】
図4に戻り、ステップS225では、相関率算出部25により、ステップS220において生成したエッジ抽出処理画像データ23cと、基準画像データ23dと、の相関率を算出する。すなわち、相関率算出部25は、検索範囲SR内のm番目の処理領域PRから取得したエッジ抽出処理画像データ23cに対して、駐車検出対象の駐車マスに対応する基準画像データ23dの2次元相互相関演算を実行して相関率を算出する。
【0042】
図9に示すように、検索範囲SRに含まれる検出対象の駐車マスPSが空車状態である場合、そのエッジ抽出処理画像データ23cには表示パターンのエッジが抽出されているため、この駐車マスPSに対応する基準画像データ23dとの2次元相互相関を実施すると、ある処理領域PRの設定位置において、大きな値の相関率が算出される。また、図11に示すように、空車状態であるが他の車両等の影がかかっている場合であっても、そのエッジ抽出処理画像データ23cには表示パターンのエッジが抽出されており、かつ影など外乱となるエッジは低減されているため、比較的大きな値の相関率が算出される。
【0043】
一方、図10に示すように、検索範囲SRに含まれる検出対象の駐車マスPSに車両Vが駐車している場合は、車両Vにより表示パターンが隠されているので、処理領域PRがどの位置に設定されたとしても、当該駐車マスPSに対応する基準画像データ23dとの相関率は小さな値が算出される。
このように、車両が駐車している場合と空車の場合とでは、影などの外乱があるかどうかに関わらず、算出される相関率の値の大きさに明確な差が表れる。
【0044】
ステップS230では、相関率判定処理部26により、ステップS225において算出した相関率と、記憶部23に予め記憶されている基準相関率データ23fと、を比較する。すなわち、相関率判定処理部26は、基準相関率データ23fに基づいて、ステップS225において算出された相関率が所定の値よりも大きいか否かを判別する。算出された相関率が所定の値よりも大きいと判別された場合には、ステップS235にて空車判定し、そうでない場合には、ステップS240に進む。
【0045】
ステップS240では、変数mが最大値Mに達しているか否か、すなわち、検索範囲SR内のすべての位置に対して処理領域PRを適用し、エッジ抽出処理および相関率算出処理を実行したか否かを判別する。変数mが最大値Mに達していると判別された場合は、ステップS245にて駐車判定する。変数mが最大値Mに達していると判別されない場合は、ステップS250にて変数mをインクリメントしてステップS220以降の処理を繰り返し、検索範囲SRの他の位置について同様の各処理を実行する。
そして、ステップS255において、ステップS235またはステップS245にて判定された駐車の有無の判定結果を記憶する。
【0046】
ステップS260においては、変数nが最大値Nに達しているか否か、すなわち、すべての駐車マスについての駐車の有無を判定したか否かを判別する。変数nが最大値Nに達していると判別されなければ、ステップS265において変数nをインクリメントし、ステップS210以降の処理を繰り返して他の駐車マスについての駐車の有無を判定する。変数nが最大値Nに達していると判別されれば、駐車検出処理を終了する。なお、通常、駐車場の駐車状況は常時監視されていることが好ましく、したがって、この駐車検出処理を繰り返し実行することが好ましい。
【0047】
このように、本実施形態においては、あらかじめ、複数の駐車マスが空車状態の検出対象エリアを撮影し、当該画像に対してPrewittエッジ処理を施すことにより基準画像データ(23d)を生成し、基準画像データ(23d)とともに画素毎のエッジオペレータをエッジオペレータデータ(23e)に記憶する基準データ生成工程(ステップS100〜S160)を備える。また、検出対象エリアを撮影し、当該画像(23b)に対して、前記エッジオペレータ(23e)を用いてエッジ抽出処理を施すことにより、被検査画像データ(23c)を生成する検査データ生成工程(ステップS200〜S220)を備える。そして、被検査画像データ(23c)と、基準画像データ(23d)と、の相関に基づいて、駐車マス毎の駐車の有無を判定する判定工程(ステップS225〜S245)を備え、前記エッジオペレータは、前記Prewitt処理で用いられた複数のマスクパターンのうち、画素毎に積和値が最大となったマスクパターンであるため、位置や形状が時間的に変化する他の車両や建造物の影など、誤判定の要因となるエッジの抽出を軽減することができ、車両から抽出されるエッジ情報に基づいて駐車検出する従来の方法と比較して正確に駐車検出することができる。
【0048】
さらに、前記検査データ生成工程は、前記撮影した画像(23b)の所定の範囲(SR)に対して、前記エッジオペレータ(23e)を画素単位でずらしながら順次適用することにより各位置に対応した被検査画像データ(23c)を生成し、前記判定工程は、前記各位置に対応した被検査画像データ(23c)と、基準画像データ(23d)と、の相関率を算出することにより駐車の有無を判定するようにすることができる。これにより、判定対象となる撮影画像と、基準画像データ23dの元となった撮影画像と、の間に位置ずれが生じている場合であっても、各位置について2次元相互相関演算を行った結果から、駐車の判定のために最適な相関率を採用することができる。
【0049】
また、とくに屋外の駐車場においては、晴れ、曇り、雨等の天候や、日中、夜間等の時間帯等、さまざまな条件下で撮影した画像を用いて駐車の検出を行う必要がある。このため、前記基準データ生成工程では、上記のような異なる撮影条件において撮影した複数の画像のそれぞれに対して前記基準画像データ(23d1、23d2、23d3、・・・とする)を生成し、その各基準画像データとともにそれぞれの前記エッジオペレータ(23e1、23e2、23e3、・・・とする)を記憶するようにすることができる。
そして、前記検査データ生成工程は、前記基準データ生成工程により記憶された複数の基準画像データのうちの1または2以上に対応する前記エッジオペレータを用いて、それに対応する1または2以上の被検査画像データを生成するようにすることができる。例えば、複数の基準画像データのそれぞれに対応したすべてのエッジオペレータ(23e1、23e2、23e3、・・・)を用いて、撮影した画像のエッジ抽出処理を行い、対応する被検査画像データ(23c1、23c2、23c3、・・・)を生成してもよい。また、天候、時間帯、撮影した画像の明るさ等の条件が類似するいくつかの基準画像データ(例えば、23d1、23d3の2つ)を選択し、それに対応するエッジオペレータ(23e1、23e3の2つ)によってエッジ抽出処理を行い、被検査画像データ(23c1、23c3の2つ)を生成してもよい。このようにすれば、類似する撮影条件の画像について、最適なエッジ抽出処理を施すことができる。
【0050】
上記被検査画像データの生成後、前記判定工程は、前記1または2以上の被検査画像データと、前記1または2以上の基準画像データと、のそれぞれの相関に基づいて、前記駐車マス毎の駐車の有無を判定するようにすることができる。例えば、複数の基準画像データ(23d1、23d2、23d3、・・・)のすべてと、前記検査データ生成工程で生成されたすべての被検査画像データ(23c1、23c2、23c3、・・・)と、のそれぞれの間で2次元相互相関をとってもよい。また、前記検査データ生成工程において選択したいくつかの基準画像データ(23d1、23d3の2つ)と、被検査画像データ(23c1、23c3の2つ)と、のそれぞれの間で2次元相互相関をとってもよい。このようにすれば、類似する撮影条件で撮影され、エッジ抽出された画像間での相関をみることができる。駐車の有無は、撮影条件が類似する画像間の相関率の大きさをあらかじめ定めた基準と比較する等の方法により判定することができる。例えば、雨天・薄暮のときの撮影画像から生成した基準画像データと、同様の条件の撮影画像から生成した被検査画像データとの相関率は、撮影条件が異なる場合に比べて大幅に高いため、駐車検出の精度を高めることが可能である。
【0051】
なお、前記駐車検出装置1の構成に加えて、基準画像データを適宜更新する更新手段を備えるようにしてもよい。これにより、表示パターンの劣化等、変化の状態に応じた基準画像データが新たに生成されるので、所望の判定精度を維持することができ、より正確に駐車検出することができる。この更新手段により基準画像データを更新する形態としては、例えば、目視により劣化状態を確認して必要に応じて更新する形態や、定期的に更新する形態、相関率の数値が所定値に満たなくなった際に更新するなど、駐車検出処理時に算出される相関率の数値に基づいて更新する形態等とすることができる。
【0052】
また、上述の実施形態においては、駐車検出対象エリアに含まれる駐車マスが5つである例を示したが、駐車マスの数は特に限定されない。駐車検出対象エリアに含まれる駐車マスの数が多いような場合、処理速度を勘案して、複数の制御部を用いて並列処理を実行するようにしてもよい。また、より広大な駐車場の駐車検出をする際には、複数のカメラにより複数の駐車検出対象エリアを撮影した画像について、順次駐車検出処理を実施するようにしたり、複数の駐車検出装置により複数の駐車検出対象エリアの駐車検出をするようにしたりしてもよい。
【0053】
また、Prewittエッジ処理で用いる8種マスクパターンは、それぞれ3×3のマトリックスで構成されている。しかし、本発明の思想は、基本となる画像のエッジ情報を、後に撮影した画像に作用させることである。したがって、画像のエッジ方向を抽出し、そのエッジ方向に一致するエッジを別の画像から抽出することが可能である限り、マスクパターンの種類やマトリックス構成は上記に限定されるものではない。これらは、画像のエッジ方向の細分化の程度に応じて、適宜設定されてもよい。
【符号の説明】
【0054】
1;駐車検出装置、10;カメラ、20;制御部、21;インターフェース(I/F)、22;CPU、23;記憶部、23a;駐車検出プログラム、23b;撮影画像データ、23c;エッジ抽出処理画像データ、23d;基準画像データ、23e;エッジオペレータデータ、23f;基準相関率データ、24;エッジ抽出処理部、25;相関率算出部、26;相関率判定処理部、27;出力部、IR;画像領域、PR;処理領域、PS;駐車マス、SR;検索範囲、V;車両、Vs;影。
【技術分野】
【0001】
本発明は、駐車検出装置、駐車検出方法および駐車検出プログラムに関する。さらに詳しくは、高速道路のサービスエリアなど、多数の駐車マスを持つ駐車場の各駐車マスの駐車状況を画像処理により正確に検出することができる駐車検出装置、駐車検出方法および駐車検出プログラムに関する。
【背景技術】
【0002】
従来の車両検出方法として、車両検出対象領域を俯瞰撮影した画像の各駐車マスに対応する画像領域からエッジを抽出し、そのエッジ量の大小に基づいて駐車と空車とを判定することが知られている(例えば、特許文献1参照)。すなわち、複雑な形状を有する車両から抽出されるエッジの量と、空車状態の駐車マスから抽出されるエッジの量と、に差が生じることに基づいて駐車状況を検出するものである。
【0003】
しかしながら、エッジ量の大小に基づいて駐車と空車とを判定する場合、駐車マスに「バス」、「トラック」などの文字や、車椅子の図形で知られる国際シンボルマークなどの図形等の表示パターンが表示されていると、これら表示パターンのエッジも抽出されてしまう。また、検出対象となる駐車マスに、駐車検出に外乱を及ぼす要素、例えば、他の車両の影や建造物の影など、が存在する場合、これら外乱となる要素からもエッジが抽出されてしまう。その結果、空車時であってもエッジ量が大きくなるため、駐車と誤判定してしまうといった問題があった。
【先行技術文献】
【特許文献】
【0004】
【特許文献1】特開平11−66490号公報
【発明の概要】
【発明が解決しようとする課題】
【0005】
本発明は、上記問題の解決を図るため、駐車場を時々刻々撮影した画像において位置や形状の変化が少ない表示パターンに着目する。本発明は、駐車マスに描かれた表示パターンに基づいて駐車か空車かを判定することにより、その駐車マスに他の車両の影や建造物の影などが存在したときにもそれらの影響を低減することができ、駐車の有無を正確に判定することが可能な駐車検出装置、駐車検出方法および駐車検出プログラムを提供することを目的とする。
【課題を解決するための手段】
【0006】
本発明は、以下の通りである。
1.表示パターンが描かれた複数の駐車マスを撮影し、その画像に基づいて前記駐車マスのそれぞれの駐車の有無を検出する駐車検出装置であって、
前記複数の駐車マスを含む検出対象エリアを撮影する撮影手段と、
あらかじめ、前記撮影手段により前記複数の駐車マスが空車状態の前記検出対象エリアを撮影し、当該画像に対してPrewittエッジ処理を施すことにより基準画像データを生成し、その基準画像データとともに画素毎の積和値が最大となったマスクパターンをエッジオペレータとして記憶する基準データ生成手段と、
前記撮影手段により前記検出対象エリアを撮影し、当該画像に対して、前記基準データ生成手段により記憶された前記エッジオペレータを用いてエッジ抽出処理を施すことにより、被検査画像データを生成する検査データ生成手段と、
前記被検査画像データと、前記基準画像データと、の相関に基づいて、前記駐車マス毎の駐車の有無を判定する判定手段と、を備えることを特徴とする。
2.上記1.において、前記検査データ生成手段は、前記撮影した画像の所定の範囲に対して、前記エッジオペレータを画素単位でずらしながら順次適用することにより各位置に対応した前記被検査画像データを生成し、
前記判定手段は、前記各位置に対応した前記被検査画像データと、前記基準画像データと、の相関率を算出することにより駐車の有無を判定することを特徴とする。
3.上記1.または2.において、前記基準データ生成手段は、異なる撮影条件において撮影した複数の画像のそれぞれに対して前記基準画像データを生成し、その各基準画像データとともにそれぞれの前記エッジオペレータを記憶し、
前記検査データ生成手段は、前記基準データ生成手段により記憶された複数の前記基準画像データのうちの1または2以上に対応する前記エッジオペレータを用いて、それに対応する1または2以上の被検査画像データを生成し、
前記判定手段は、前記1または2以上の被検査画像データと、前記1または2以上の基準画像データと、のそれぞれの相関に基づいて、前記駐車マス毎の駐車の有無を判定することを特徴とする。
4.表示パターンが描かれた複数の駐車マスを撮影手段により撮影し、その画像に基づいて前記駐車マスのそれぞれの駐車の有無を検出する駐車検出方法であって、
あらかじめ、前記撮影手段により前記複数の駐車マスが空車状態の検出対象エリアを撮影し、当該画像に対してPrewittエッジ処理を施すことにより基準画像データを生成し、その基準画像データとともに画素毎の積和値が最大となったマスクパターンをエッジオペレータとして記憶する基準データ生成工程と、
前記撮影手段により前記検出対象エリアを撮影し、当該画像に対して、前記基準データ生成工程により記憶された前記エッジオペレータを用いてエッジ抽出処理を施すことにより、被検査画像データを生成する検査データ生成工程と、
前記被検査画像データと、前記基準画像データと、の相関に基づいて、前記駐車マス毎の駐車の有無を判定する判定工程と、を備えることを特徴とする。
5.上記4.において、前記検査データ生成工程は、前記撮影した画像の所定の範囲に対して、前記エッジオペレータを画素単位でずらしながら順次適用することにより各位置に対応した前記被検査画像データを生成し、
前記判定工程は、前記各位置に対応した前記被検査画像データと、前記基準画像データと、の相関率を算出することにより駐車の有無を判定することを特徴とする。
6.上記4.または5.において、前記基準データ生成工程は、異なる撮影条件において撮影した複数の画像のそれぞれに対して前記基準画像データを生成し、その各基準画像データとともにそれぞれの前記エッジオペレータを記憶し、
前記検査データ生成工程は、前記基準データ生成工程により記憶された複数の前記基準画像データのうちの1または2以上に対応する前記エッジオペレータを用いて、それに対応する1または2以上の被検査画像データを生成し、
前記判定工程は、前記1または2以上の被検査画像データと、前記1または2以上の基準画像データと、のそれぞれの相関に基づいて、前記駐車マス毎の駐車の有無を判定することを特徴とする。
7.表示パターンが描かれた複数の駐車マスを撮影手段により撮影し、その画像に基づいて前記駐車マスのそれぞれの駐車の有無を検出する駐車検出プログラムであって、
あらかじめ、前記撮影手段により前記複数の駐車マスが空車状態の検出対象エリアを撮影し、当該画像に対してPrewittエッジ処理を施すことにより基準画像データを生成し、その基準画像データとともに画素毎の積和値が最大となったマスクパターンをエッジオペレータとして記憶する基準データ生成機能と、
前記撮影手段により前記検出対象エリアを撮影し、当該画像に対して、前記基準データ生成機能により記憶された前記エッジオペレータを用いてエッジ抽出処理を施すことにより、被検査画像データを生成する検査データ生成機能と、
前記被検査画像データと、前記基準画像データと、の相関に基づいて、前記駐車マス毎の駐車の有無を判定する判定機能と、をコンピュータに実現させることを特徴とする。
8.上記7.において、前記検査データ生成機能は、前記撮影した画像の所定の範囲に対して前記エッジオペレータを画素単位でずらしながら順次適用することにより各位置に対応した前記被検査画像データを生成し、
前記判定機能は、前記各位置に対応した前記被検査画像データと、前記基準画像データと、の相関率を算出することにより駐車の有無を判定することを特徴とする。
9.上記7.または8.において、前記基準データ生成機能は、異なる撮影条件において撮影した複数の画像のそれぞれに対して前記基準画像データを生成し、その各基準画像データとともにそれぞれの前記エッジオペレータを記憶し、
前記検査データ生成機能は、前記基準データ生成機能により記憶された複数の前記基準画像データのうちの1または2以上に対応する前記エッジオペレータを用いて、それに対応する1または2以上の被検査画像データを生成し、
前記判定機能は、前記1または2以上の被検査画像データと、前記1または2以上の基準画像データと、のそれぞれの相関に基づいて、前記駐車マス毎の駐車の有無を判定することを特徴とする。
【発明の効果】
【0007】
本発明の駐車検出装置によると、基準データ生成手段により、あらかじめ、複数の駐車マスが空車状態である駐車場の検出対象エリアが撮影され、当該画像に対してPrewittエッジ処理を施して基準画像データが生成されるため、その基準画像データには、「バス」、「トラック」などの表示パターンのエッジが抽出される。また、基準画像データとともに、そのエッジ処理に用いられたマスクパターンが画素毎のエッジオペレータとして記憶される。その後、検査データ生成手段により、前記と同じ検出対象エリアを撮影した画像に対して、記憶された前記エッジオペレータを用いてエッジ抽出処理を施すことによりエッジ抽出処理画像が被検査画像データとして生成されるため、その被検査画像データには、当初から変化していない表示パターンのエッジは明瞭に抽出され、当初になかった車や影などのエッジは抽出され難いこととなる。そこで、判定手段により、駐車マスごとに基準画像データと被検査画像データとの相関をみれば、他の車の影などがあっても、表示パターンが撮影されている場合には相関率が高く、駐車はないと判定することができる。一方、駐車した車によって表示パターンが隠されている場合には相関率は低く、駐車ありと判定することができる。
したがって、駐車マスに他の車両の影や建造物の影などが存在したときにも、それらのエッジが抽出されることによって生じる誤判定を防ぐことができ、駐車マスごとに駐車の有無を精度よく判定することが可能となる。
【0008】
また、前記検査データ生成手段は、撮影した画像の所定の範囲に対して、前記エッジオペレータを画素単位でずらしながら順次適用することにより各位置に対応した前記被検査画像データを生成し、前記判定手段は、前記各位置に対応した前記被検査画像データと、前記基準画像データと、の相関率を算出することにより駐車の有無を判定する場合は、基準データ生成手段により取得された当初の画像に対して、検査データ生成手段により取得された画像に位置ずれが生じた場合であっても、前記所定の範囲内で合致する点がある限り前記エッジオペレータを最適に作用させることができる。これにより、風、温度などによりカメラの位置や角度が変動しても、正確に駐車と空車との判定を行うことができる。
【0009】
さらに、前記基準データ生成手段は、異なる撮影条件において撮影した複数の画像のそれぞれに対して基準画像データを生成し、その各基準画像データとともにそれぞれのエッジオペレータを記憶し、前記検査データ生成手段は、基準データ生成手段により記憶された複数の基準画像データのうちの1または2以上に対応するエッジオペレータを用いて、それに対応する1または2以上の被検査画像データを生成し、前記判定手段は、前記1または2以上の被検査画像データと、前記1または2以上の基準画像データと、のそれぞれの相関に基づいて、駐車マス毎の駐車の有無を判定する場合は、天候や時間帯が異なる条件で撮影された複数の画像から基準画像データおよびエッジオペレータが生成される。そして、それらの情報を適宜に用いて、被検査画像データが生成されるとともに基準画像データとの相関率が算出される。このため、天候や時間帯によって明るさやコントラスト等が異なる画像に合わせて最適な条件で、エッジ抽出処理を行うことができ、相関率をみることができる。これによって、画像処理の負担を減らし、駐車の有無判定をさらに正確にすることが可能になる。
【0010】
以上は、本発明が装置として実現される場合について説明したが、かかる装置を実現する方法やプログラム、当該プログラムを記録した媒体としても発明は実現可能である。また、以上のような駐車検出装置は単独で実現される場合もあるし、ある方法に適用され、あるいは同方法が他の機器に組み込まれた状態で利用されることもあるなど、上記に示す駐車検出装置に限らず、各種の態様を含むものである。したがって、本発明思想は、プログラム、ソフトウェアであったり、ハードウェアであったりするなど、適宜、変更可能である。
発明の思想の具現化例として上記装置を制御するためのソフトウェアとなる場合には、かかるプログラム、ソフトウェア、あるいはソフトウェアを記録した記録媒体上においても存在し、利用される。
【0011】
また、プログラム、ソフトウェアの記録媒体は、磁気記録媒体であってもよいし光磁気記録媒体であってもよく、今後開発されるいかなる記録媒体においても全く同様に考えることができる。一次複製品、二次複製品などの複製段階についても同等である。その他、供給装置として通信回線を利用して行う場合でも本発明が利用されていることにはかわりない。さらに、一部がソフトウェアであって、一部がハードウェアで実現されている場合においても発明の思想において全く異なるものではなく、一部を記録媒体上に記憶しておいて必要に応じて適宜読み込まれるような形態であってもよい。
【図面の簡単な説明】
【0012】
【図1】本実施形態にかかる駐車検出装置を示す概略ブロック図である。
【図2】本実施形態にかかるPrewittエッジ処理に用いられる8種類のマスクパターンとそれらに対応するエッジ方向を示す図である。
【図3】本実施形態にかかる基準画像データおよびエッジオペレータデータ生成処理のフローチャートを示す図である。
【図4】本実施形態にかかる駐車検出処理のフローチャートを示す図である。
【図5】検出対象エリアとカメラの配置を模式的に示す平面図である。
【図6】検出対象エリアを撮影した画像の例を模式的に示す図である。
【図7】基準画像データの生成を説明するための図である。
【図8】判定対象用として撮影した画像の例を模式的に示す図である。
【図9】検索範囲と処理領域の例を模式的に示す図である。
【図10】検索範囲と処理領域の例を模式的に示す図である。
【図11】検索範囲と処理領域の例を模式的に示す図である。
【図12】表示パターンを含む画像領域の例を示す図であって、(a)〜(c)は撮影画像、(d)〜(h)はエッジ抽出処理画像をそれぞれ示す。
【発明を実施するための形態】
【0013】
ここでは、下記の順序に従って本発明の実施の形態について説明する。
(1)駐車検出装置の構成:
(2)駐車検出処理:
(2−1)基準画像データおよびエッジオペレータデータ生成処理:
(2−2)駐車検出処理:
【0014】
本書において、画像のエッジ抽出を行うための演算子を「エッジオペレータ」という。エッジオペレータは、例えば図2のA〜Hに示すようにマトリックスにより構成され、それぞれ画素のエッジの方向に対応する。このエッジオペレータを「マスクパターン」と呼ぶ場合もある。また、エッジオペレータは画像の画素毎に適用されるが、1つの画像の処理について「エッジオペレータ」という場合には、当該画像を構成する画素毎のエッジオペレータの集合を表す。
【0015】
(1)駐車検出装置の構成:
図1は、本実施形態にかかる駐車検出装置の概略構成を示している。同図において、駐車検出装置1は、カメラ10と制御部20とから構成されている。カメラ10は、所定の表示パターンを有する複数の駐車マスを含む検出対象エリアを撮影した画像を制御部20に出力する。制御部20は、カメラ10から取得した画像を処理することによって、各駐車マスの駐車の有無を検出するように構成される。
【0016】
制御部20は、主要な構成として、インターフェース(I/F)21、CPU22、記憶部23、エッジ抽出処理部24、相関率算出部25、相関率判定処理部26、および出力部27を備えている。
カメラ10により撮影された画像は、I/F21を介して制御部20に取り込まれる。
CPU22は、記憶部23に記憶された駐車検出プログラム23aを実行し、各部を制御するとともに所定の演算処理を実行する。
【0017】
記憶部23は、プログラムおよびデータを格納可能な記憶媒体である。記憶部23には、駐車検出処理の全体を制御するための駐車検出プログラム23aが格納されている。また、その駐車検出処理の過程で使用される撮影画像データ23b、エッジ抽出処理画像データ23c、基準画像データ23dおよびエッジオペレータデータ23eが格納される。さらに、駐車有無の判定基準となる基準相関率データ23fが格納されている。
【0018】
上記撮影画像データ23bは、検出対象エリアを撮影した画像データを格納するために用いられる領域である。
上記エッジ抽出処理画像データ23cは、前記撮影画像データ23bに対してエッジ抽出処理を施した画像データ(被検査画像データ)を格納するために用いられる領域である。
上記基準画像データ23dは、検出対象エリア内の駐車マスが空車状態であるときに撮影した画像に対してPrewittエッジ処理を施した画像データ(基準画像データ)を格納するために用いられる領域である。また、基準画像データ23dには、1または複数の画像ごとに、それぞれの画像に対応する基準画像データを格納することができる。
上記エッジオペレータデータ23eは、前記Prewittエッジ処理により基準画像データを生成した際の画素ごとのマスクパターンを、エッジオペレータとして格納するために用いられる領域である。また、エッジオペレータデータ23eには、1または複数の画像ごとに、それぞれの画像に対応するエッジオペレータを格納することができる。
【0019】
以下のエッジ抽出処理部24、相関率算出部25および相関率判定処理部26は、本駐車検出装置1の中心的な画像処理および演算処理を実行するように構成されている。これら各部は、前記駐車検出プログラム23aの一部として備えられてもよい。
【0020】
エッジ抽出処理部24は、検出対象エリアを撮影した画像データ(撮影画像データ23b)に対して、次の2つのエッジ抽出処理を行うように構成される。
第1のエッジ抽出処理は、あらかじめ検出対象エリア内の駐車マスが空車状態であるときに撮影した画像に対するPrewittエッジ処理である。ここで、Prewittエッジ処理とは、複数のエッジ方向にそれぞれ対応するマスクパターンを用いて、エッジを抽出する処理をいう。例えば、図2のA〜Hに示すような8方向のエッジに対応する8種類のマスクパターンを用いて、エッジ抽出処理を行うことができる。具体的には、画像の各画素について、各マスクパターンに示される3×3のマトリックスの中央の値を注目画素の輝度値に乗じるとともに、周囲の値を注目画素の周囲の各画素の輝度値にそれぞれ乗じ、それらの和(積和値)を算出する。マトリックス内の各数値は、注目画素のエッジの方向とマスクパターンに対応するエッジの方向との一致度を示す値であり、方向が一致する場合に、当該マスクパターンを用いて算出した積和値が他のマスクパターンを用いて算出した積和値よりも大きな値となるように重み付けされている。これにより、マスクパターン毎に求められた積和値のうち最大となった積和値を注目画素におけるエッジの強さとして、エッジ抽出処理画像を生成することができる。また、エッジ抽出処理部24は、上記Prewittエッジ処理を行った際に、画素ごとに上記積和値(一致度)が最大となったマスクパターンを画素毎のエッジオペレータとして、その集合を画像毎にエッジオペレータデータ23eに格納する。
【0021】
第2のエッジ抽出処理は、駐車の有無を検出するに際して撮影した画像に対するエッジ抽出処理である。このエッジ抽出処理は、その画像の各画素に対して、前記エッジオペレータデータ23eに格納された画素毎のエッジオペレータを作用させることによって、エッジ抽出を行う。これによって、あらかじめ取得されたエッジ方向に略一致する方向のエッジを抽出することができる。
【0022】
相関率算出部25は、エッジ抽出処理画像データ23cと基準画像データ23dとの相関率を算出する。相関率は、例えば、エッジ抽出処理画像データ23cに対する基準画像データ23dの2次元相互相関演算を実行することにより算出することができる。
相関率判定処理部26は、相関率算出部25により算出された相関率と記憶部23に格納されている基準相関率データ23fとを比較することにより、各駐車マスに車両が駐車しているか否かを判定する。なお、相関率判定処理部26による判定結果を判定結果データとして記憶部23に記憶させるようにしてもよい。
出力部27は、相関率判定処理部26による判定結果等を出力する。出力された判定結果データは、駐車場管理システム等に送られて管理されたり、駐車場の駐車状況を示す表示板等に反映されたりすることができる。
【0023】
本実施形態の駐車検出装置においては、複数の駐車マスを含む検出対象エリアを撮影する撮影手段は、カメラ10によって構成される。駐車マスが空車状態で検出対象エリアを撮影した画像に対して、Prewittエッジ処理を施すことにより基準画像データを生成し、その基準画像データとともに画素毎のエッジオペレータを記憶する基準データ生成手段は、主としてエッジ抽出処理部24によって構成される。検出対象エリアを撮影した画像に対して、前記エッジオペレータを用いてエッジ抽出処理を施すことにより被検査画像データを生成する検査データ生成手段は、主としてエッジ抽出処理部24によって構成される。前記被検査画像データと前記基準画像データとの相関に基づいて、前記駐車マス毎の駐車の有無を判定する判定手段は、主として相関率判定処理部26によって構成される。
【0024】
(2)駐車検出処理:
本実施形態における駐車検出処理では、上述の構成において、最初にPrewittエッジ処理によって生成された基準画像データとエッジオペレータデータを用いて、実際の駐車状況を検出する駐車検出処理を実行する。
【0025】
(2−1)基準画像データおよびエッジオペレータデータ生成処理:
基準画像データおよびエッジオペレータデータ生成処理は、例えば、図3に示すようなフローチャートに従って実行することができる。
最初に、カメラ10によって検出対象エリアとなる駐車場を所定の高さから俯瞰撮影した画像を取得する(ステップS100)。このとき撮影する画像(判定基準となる画像)は、各駐車マスが空車状態の検出対象エリアの画像である。この撮影画像は制御部20に取り込まれ、撮影画像データ23bとして記憶部23に記憶される。図5は、このようにして撮影される検出対象エリアの例を模式的に示す図であり、図6は、撮影した画像の例を模式的に示す図である。本実施形態においては、図5および6に示すように、検出対象エリアに5つの駐車マスPS1〜PS5が含まれており、各駐車マスPS1〜PS5には、表示パターンとして、「バス」という文字がそれぞれ表示されている場合を例示する。なお、ステップS100により取得する画像は、各駐車マスの表示パターンが明瞭に撮影されているとともに、各駐車マスに他の車両や建造物等の影が写り込んでいないことが好ましい。
【0026】
次に、ステップS110において、変数nを"1"に初期化する。変数nは、最大値をNとする整数であり、Nは駐車検出処理にて駐車と空車とが判定される駐車マスの数である。本実施形態において、この変数nの値は各駐車マスにそれぞれ対応しており、変数nの値に応じて、これに対応する駐車マス毎の基準画像データ23dおよびエッジオペレータデータ23eを生成する。
【0027】
ステップS120では、エッジ抽出処理部24により、撮影画像データ23bの表示パターンを含む画像領域IRに対して、Prewittエッジ処理によるエッジ抽出処理を実行する。それぞれの駐車マスの駐車の有無を検出するために用いる画像領域IRを撮影画像内のどの領域とするかは特に限定されず、駐車マスの枠や表示パターンの態様に応じて適宜に設定されればよい。例えば、図7に示すように、撮影画像の各駐車マス内の表示パターン部を切り出すように、駐車マス毎に画像領域IRをあらかじめ設定することができる。そして、n番目の駐車マスPSnの「バス」という表示パターンを含む画像領域IRnに対して、Prewittエッジ処理によるエッジ抽出処理を実行することができる。なお、この画像領域IRは、カメラ10により撮影される画像内の各駐車マスの位置ずれが生じても、各表示パターンがそれぞれ含まれるように予め設定されている。
【0028】
なお、エッジ抽出処理が施された画像領域IRに対して、2値化処理をさらに施すようにして、所定値以上のエッジ強さのみを抽出したエッジ抽出処理画像としてもよい。また、輝度値の変化が小さく、注目画素のエッジ方向が明確でない場合は、当該画素に対応する位置にはエッジ抽出処理を適用しないようすることもできる。
【0029】
ステップS130では、上述のようにして各画像領域IRに対してエッジ抽出処理を施した画像データを、基準画像データ23dとして記憶部23に記憶する。そして、ステップS140では、上記Prewittエッジ処理において、画素毎に一致度が最も高かったマスクパターンを、各画像領域IRごとにエッジオペレータデータ23eとして記憶部23に記憶する。
【0030】
ステップS150においては、変数nが最大値Nに達しているか否か、すなわち、すべての駐車マスについての基準画像データ23dおよびエッジオペレータデータ23eを生成したか否かを判別する。変数nが最大値Nに達していると判別されなければ、ステップS160において変数nをインクリメントしてステップS120以降の処理を繰り返し、他の駐車マスについて基準画像データ23dおよびエッジオペレータデータ23eを生成する処理を実行する。変数nが最大値Nに達していると判別されれば、基準画像データおよびエッジオペレータデータ生成処理を終了する。
【0031】
(2−2)駐車検出処理:
駐車検出処理は、上記ステップS120〜S140において生成・記憶された基準画像データおよびエッジオペレータデータを用いて、例えば、図4に示すようなフローチャートに従って実行することができる。
先ず、カメラ10によって駐車の有無の検出対象エリアとなる駐車場を俯瞰撮影する(ステップS200)。この撮影画像(判定対象となる画像)は制御部20に取り込まれ、撮影画像データ23bとして記憶部23に記憶される。図8は、このようにして撮影される画像の例を模式的に示す図である。同図は、駐車マスPS4には車両Vが駐車しており、他の駐車マスPS1〜3およびPS5には駐車する車両がない状態を示している。また、駐車マスPS3には、隣接する駐車マスPS4に駐車中の車両Vの影Vsがかかっている状態を示している。
【0032】
次に、ステップS205において、検出処理の対象となる駐車マスの番号を示す変数nを"1"に初期化する。そして、ステップS210では、記憶部23から、検出処理の対象となるn番目の駐車マスに対応するn番目のエッジオペレータデータ23eと、n番目の基準画像データと、をそれぞれ取得する。
【0033】
ステップS215では、変数mを"1"に初期化する。この変数mは、最大値をMとする整数である。本駐車検出処理においては、前記ステップS200で撮影した画像の所定の範囲に対して、前記エッジオペレータデータを画素単位でずらしながら順次適用することにより、各位置に対応した被検査画像データを生成する。上記所定の範囲とは、後述する検索範囲SRである。変数mは、この検索範囲SR内でエッジオペレータデータを画素単位でずらす制御のために使用される。エッジオペレータデータを作用させる領域を処理領域PRとすると、変数mの値は、検索範囲SR内での処理領域PRの位置に対応する。
【0034】
一般に、固定した撮影手段により位置が不変の撮影対象を撮影した複数の画像において、撮影対象の画像上の位置は略一定である。しかし、本発明に用いるような俯瞰撮影の場合、撮影手段が支柱の先端などの比較的高所に設置され、風等による揺れ、支柱の熱による膨張、収縮等の影響を受け易い。このため、位置が不変の撮影対象を撮影した複数の撮影画像であっても、画像上の撮影対象の位置にずれが生じる場合がある。すなわち、カメラ10により撮影した基準画像データ23dの元となる撮影画像データ23bと、判定対象となる撮影画像データ23bと、では、撮影した表示パターンの画像上の位置にずれが生じている場合がある。このため、判定対象となる撮影画像データ23bに対してエッジオペレータデータ23eを適用する際に、所定の検索範囲SR内を画素単位でずらしながら順次適用するようにして位置ずれに対処している。
【0035】
ステップS220では、エッジ抽出処理部24により、撮影画像データ23bに対してエッジオペレータデータ23eを用いたエッジ抽出処理を実行する。すなわち、撮影画像データ23bにおいて、検索範囲SR内のm番目の位置に設定された処理領域PRにエッジオペレータデータ23eを作用させて、エッジ抽出処理を施す。
【0036】
具体的には、図9〜11に示すように、エッジ抽出処理の対象領域となる処理領域PRを、この処理領域PRよりも広く設定された検索範囲SRに対して、各前記画像領域IRの位置を基準として画素単位で位置をずらしながら順次設定し、処理領域PRが設定された各位置においてエッジオペレータデータ23eによるエッジ抽出処理をそれぞれ実行するようにしている。処理領域PRは、上述の画像領域IRと同じ大きさであり、検索範囲SRは、処理領域PRを所定画素(例えば、画像領域IRの設定位置を中心として、20×20画素など)の範囲でずらすことが可能なように予め設定してある。
【0037】
エッジオペレータデータ23eは、Prewittエッジ処理(ステップS120)で用いられた各マスクパターンのうち最大の一致度(積和値)となるマスクパターンを、画素単位で記憶したデータである。したがって、このエッジオペレータをステップS200で撮影した画像に作用させることによって、ステップS100で撮影された画像上のエッジの方向と同じ方向のエッジは明瞭に抽出され、異なる方向のエッジは強く抽出されないこととなる。このエッジ抽出処理(S220)により、当初から変化しない表示パターンがステップS200で撮影した画像に表れている場合には、そのエッジが明瞭に抽出され、他の車の影などのエッジは強く抽出されないエッジ抽出画像を得ることができる。
【0038】
上記エッジオペレータを用いたエッジ抽出の例を説明する。図12(a)〜(c)は、それぞれ同一の駐車マスを撮影した画像である。図12(a)の画像は、表示パターンである「バス」の文字が明瞭に撮影されており、車両の影や建造物の影は写り込んでいない。一方、図12(b)および(c)の各画像には、それぞれ車両の影や建造物の影が写り込んでしまっている。これら図12(a)〜(c)のそれぞれの画像に対してPrewittエッジ処理を施した画像が、図12(d)〜(f)である。図12(d)の画像には、表示パターンである「バス」の文字のエッジが明瞭に抽出されている。一方、図12(e)および(f)の各画像では、表示パターンのエッジとともに、影のエッジも明瞭に抽出されてしまっている。
【0039】
そこで、図12(b)および(c)の画像に対して、図12(a)の画像から図12(d)のエッジ抽出画像を生成した際のマスクパターンを用いてエッジを抽出すると、図12(g)および(h)に示すように、影のエッジが軽減されたエッジ画像を取得することができる。これは、図12(b)および(c)の各画像の影のエッジに対して、そのエッジ方向と一致しないマスクパターンが適用されることにより、エッジが抽出されにくいからである。一方、図12(b)および(c)の各画像上の表示パターンのエッジ方向は、図12(a)の画像上の表示パターンのエッジ方向と略一致しているので、表示パターンのエッジが明瞭に抽出されることになる。
【0040】
また、図12(b)に示す画像では、影は表示パターンの一部にかかる程度であり、図12(c)に示す画像では、影は表示パターンの大部分を覆っている。いずれの画像においても、影で覆われている部分の表示パターンは周囲との輝度値の差が小さいため、単にエッジ抽出処理を行っても、輝度の差が大きい影自体のエッジが強く抽出されてしまうこととなり、これが外乱となって表示パターンの検出精度が低下する。このような画像であっても、図12(a)の画像から図12(d)のエッジ抽出画像を生成した際のマスクパターンを用いてエッジ抽出を行えば、図12(g)および(h)に示すように、影のエッジは抽出され難い。このようなエッジ抽出処理が施された画像データが被検査画像データである。
上記被検査画像データは、エッジ抽出処理画像データ23cとして記憶部23に記憶される。
【0041】
図4に戻り、ステップS225では、相関率算出部25により、ステップS220において生成したエッジ抽出処理画像データ23cと、基準画像データ23dと、の相関率を算出する。すなわち、相関率算出部25は、検索範囲SR内のm番目の処理領域PRから取得したエッジ抽出処理画像データ23cに対して、駐車検出対象の駐車マスに対応する基準画像データ23dの2次元相互相関演算を実行して相関率を算出する。
【0042】
図9に示すように、検索範囲SRに含まれる検出対象の駐車マスPSが空車状態である場合、そのエッジ抽出処理画像データ23cには表示パターンのエッジが抽出されているため、この駐車マスPSに対応する基準画像データ23dとの2次元相互相関を実施すると、ある処理領域PRの設定位置において、大きな値の相関率が算出される。また、図11に示すように、空車状態であるが他の車両等の影がかかっている場合であっても、そのエッジ抽出処理画像データ23cには表示パターンのエッジが抽出されており、かつ影など外乱となるエッジは低減されているため、比較的大きな値の相関率が算出される。
【0043】
一方、図10に示すように、検索範囲SRに含まれる検出対象の駐車マスPSに車両Vが駐車している場合は、車両Vにより表示パターンが隠されているので、処理領域PRがどの位置に設定されたとしても、当該駐車マスPSに対応する基準画像データ23dとの相関率は小さな値が算出される。
このように、車両が駐車している場合と空車の場合とでは、影などの外乱があるかどうかに関わらず、算出される相関率の値の大きさに明確な差が表れる。
【0044】
ステップS230では、相関率判定処理部26により、ステップS225において算出した相関率と、記憶部23に予め記憶されている基準相関率データ23fと、を比較する。すなわち、相関率判定処理部26は、基準相関率データ23fに基づいて、ステップS225において算出された相関率が所定の値よりも大きいか否かを判別する。算出された相関率が所定の値よりも大きいと判別された場合には、ステップS235にて空車判定し、そうでない場合には、ステップS240に進む。
【0045】
ステップS240では、変数mが最大値Mに達しているか否か、すなわち、検索範囲SR内のすべての位置に対して処理領域PRを適用し、エッジ抽出処理および相関率算出処理を実行したか否かを判別する。変数mが最大値Mに達していると判別された場合は、ステップS245にて駐車判定する。変数mが最大値Mに達していると判別されない場合は、ステップS250にて変数mをインクリメントしてステップS220以降の処理を繰り返し、検索範囲SRの他の位置について同様の各処理を実行する。
そして、ステップS255において、ステップS235またはステップS245にて判定された駐車の有無の判定結果を記憶する。
【0046】
ステップS260においては、変数nが最大値Nに達しているか否か、すなわち、すべての駐車マスについての駐車の有無を判定したか否かを判別する。変数nが最大値Nに達していると判別されなければ、ステップS265において変数nをインクリメントし、ステップS210以降の処理を繰り返して他の駐車マスについての駐車の有無を判定する。変数nが最大値Nに達していると判別されれば、駐車検出処理を終了する。なお、通常、駐車場の駐車状況は常時監視されていることが好ましく、したがって、この駐車検出処理を繰り返し実行することが好ましい。
【0047】
このように、本実施形態においては、あらかじめ、複数の駐車マスが空車状態の検出対象エリアを撮影し、当該画像に対してPrewittエッジ処理を施すことにより基準画像データ(23d)を生成し、基準画像データ(23d)とともに画素毎のエッジオペレータをエッジオペレータデータ(23e)に記憶する基準データ生成工程(ステップS100〜S160)を備える。また、検出対象エリアを撮影し、当該画像(23b)に対して、前記エッジオペレータ(23e)を用いてエッジ抽出処理を施すことにより、被検査画像データ(23c)を生成する検査データ生成工程(ステップS200〜S220)を備える。そして、被検査画像データ(23c)と、基準画像データ(23d)と、の相関に基づいて、駐車マス毎の駐車の有無を判定する判定工程(ステップS225〜S245)を備え、前記エッジオペレータは、前記Prewitt処理で用いられた複数のマスクパターンのうち、画素毎に積和値が最大となったマスクパターンであるため、位置や形状が時間的に変化する他の車両や建造物の影など、誤判定の要因となるエッジの抽出を軽減することができ、車両から抽出されるエッジ情報に基づいて駐車検出する従来の方法と比較して正確に駐車検出することができる。
【0048】
さらに、前記検査データ生成工程は、前記撮影した画像(23b)の所定の範囲(SR)に対して、前記エッジオペレータ(23e)を画素単位でずらしながら順次適用することにより各位置に対応した被検査画像データ(23c)を生成し、前記判定工程は、前記各位置に対応した被検査画像データ(23c)と、基準画像データ(23d)と、の相関率を算出することにより駐車の有無を判定するようにすることができる。これにより、判定対象となる撮影画像と、基準画像データ23dの元となった撮影画像と、の間に位置ずれが生じている場合であっても、各位置について2次元相互相関演算を行った結果から、駐車の判定のために最適な相関率を採用することができる。
【0049】
また、とくに屋外の駐車場においては、晴れ、曇り、雨等の天候や、日中、夜間等の時間帯等、さまざまな条件下で撮影した画像を用いて駐車の検出を行う必要がある。このため、前記基準データ生成工程では、上記のような異なる撮影条件において撮影した複数の画像のそれぞれに対して前記基準画像データ(23d1、23d2、23d3、・・・とする)を生成し、その各基準画像データとともにそれぞれの前記エッジオペレータ(23e1、23e2、23e3、・・・とする)を記憶するようにすることができる。
そして、前記検査データ生成工程は、前記基準データ生成工程により記憶された複数の基準画像データのうちの1または2以上に対応する前記エッジオペレータを用いて、それに対応する1または2以上の被検査画像データを生成するようにすることができる。例えば、複数の基準画像データのそれぞれに対応したすべてのエッジオペレータ(23e1、23e2、23e3、・・・)を用いて、撮影した画像のエッジ抽出処理を行い、対応する被検査画像データ(23c1、23c2、23c3、・・・)を生成してもよい。また、天候、時間帯、撮影した画像の明るさ等の条件が類似するいくつかの基準画像データ(例えば、23d1、23d3の2つ)を選択し、それに対応するエッジオペレータ(23e1、23e3の2つ)によってエッジ抽出処理を行い、被検査画像データ(23c1、23c3の2つ)を生成してもよい。このようにすれば、類似する撮影条件の画像について、最適なエッジ抽出処理を施すことができる。
【0050】
上記被検査画像データの生成後、前記判定工程は、前記1または2以上の被検査画像データと、前記1または2以上の基準画像データと、のそれぞれの相関に基づいて、前記駐車マス毎の駐車の有無を判定するようにすることができる。例えば、複数の基準画像データ(23d1、23d2、23d3、・・・)のすべてと、前記検査データ生成工程で生成されたすべての被検査画像データ(23c1、23c2、23c3、・・・)と、のそれぞれの間で2次元相互相関をとってもよい。また、前記検査データ生成工程において選択したいくつかの基準画像データ(23d1、23d3の2つ)と、被検査画像データ(23c1、23c3の2つ)と、のそれぞれの間で2次元相互相関をとってもよい。このようにすれば、類似する撮影条件で撮影され、エッジ抽出された画像間での相関をみることができる。駐車の有無は、撮影条件が類似する画像間の相関率の大きさをあらかじめ定めた基準と比較する等の方法により判定することができる。例えば、雨天・薄暮のときの撮影画像から生成した基準画像データと、同様の条件の撮影画像から生成した被検査画像データとの相関率は、撮影条件が異なる場合に比べて大幅に高いため、駐車検出の精度を高めることが可能である。
【0051】
なお、前記駐車検出装置1の構成に加えて、基準画像データを適宜更新する更新手段を備えるようにしてもよい。これにより、表示パターンの劣化等、変化の状態に応じた基準画像データが新たに生成されるので、所望の判定精度を維持することができ、より正確に駐車検出することができる。この更新手段により基準画像データを更新する形態としては、例えば、目視により劣化状態を確認して必要に応じて更新する形態や、定期的に更新する形態、相関率の数値が所定値に満たなくなった際に更新するなど、駐車検出処理時に算出される相関率の数値に基づいて更新する形態等とすることができる。
【0052】
また、上述の実施形態においては、駐車検出対象エリアに含まれる駐車マスが5つである例を示したが、駐車マスの数は特に限定されない。駐車検出対象エリアに含まれる駐車マスの数が多いような場合、処理速度を勘案して、複数の制御部を用いて並列処理を実行するようにしてもよい。また、より広大な駐車場の駐車検出をする際には、複数のカメラにより複数の駐車検出対象エリアを撮影した画像について、順次駐車検出処理を実施するようにしたり、複数の駐車検出装置により複数の駐車検出対象エリアの駐車検出をするようにしたりしてもよい。
【0053】
また、Prewittエッジ処理で用いる8種マスクパターンは、それぞれ3×3のマトリックスで構成されている。しかし、本発明の思想は、基本となる画像のエッジ情報を、後に撮影した画像に作用させることである。したがって、画像のエッジ方向を抽出し、そのエッジ方向に一致するエッジを別の画像から抽出することが可能である限り、マスクパターンの種類やマトリックス構成は上記に限定されるものではない。これらは、画像のエッジ方向の細分化の程度に応じて、適宜設定されてもよい。
【符号の説明】
【0054】
1;駐車検出装置、10;カメラ、20;制御部、21;インターフェース(I/F)、22;CPU、23;記憶部、23a;駐車検出プログラム、23b;撮影画像データ、23c;エッジ抽出処理画像データ、23d;基準画像データ、23e;エッジオペレータデータ、23f;基準相関率データ、24;エッジ抽出処理部、25;相関率算出部、26;相関率判定処理部、27;出力部、IR;画像領域、PR;処理領域、PS;駐車マス、SR;検索範囲、V;車両、Vs;影。
【特許請求の範囲】
【請求項1】
表示パターンが描かれた複数の駐車マスを撮影し、その画像に基づいて前記駐車マスのそれぞれの駐車の有無を検出する駐車検出装置であって、
前記複数の駐車マスを含む検出対象エリアを撮影する撮影手段と、
あらかじめ、前記撮影手段により前記複数の駐車マスが空車状態の前記検出対象エリアを撮影し、当該画像に対してPrewittエッジ処理を施すことにより基準画像データを生成し、その基準画像データとともに画素毎の積和値が最大となったマスクパターンをエッジオペレータとして記憶する基準データ生成手段と、
前記撮影手段により前記検出対象エリアを撮影し、当該画像に対して、前記基準データ生成手段により記憶された前記エッジオペレータを用いてエッジ抽出処理を施すことにより、被検査画像データを生成する検査データ生成手段と、
前記被検査画像データと、前記基準画像データと、の相関に基づいて、前記駐車マス毎の駐車の有無を判定する判定手段と、を備えることを特徴とする駐車検出装置。
【請求項2】
前記検査データ生成手段は、前記撮影した画像の所定の範囲に対して、前記エッジオペレータを画素単位でずらしながら順次適用することにより各位置に対応した前記被検査画像データを生成し、
前記判定手段は、前記各位置に対応した前記被検査画像データと、前記基準画像データと、の相関率を算出することにより駐車の有無を判定する請求項1記載の駐車検出装置。
【請求項3】
前記基準データ生成手段は、異なる撮影条件において撮影した複数の画像のそれぞれに対して前記基準画像データを生成し、その各基準画像データとともにそれぞれの前記エッジオペレータを記憶し、
前記検査データ生成手段は、前記基準データ生成手段により記憶された複数の前記基準画像データのうちの1または2以上に対応する前記エッジオペレータを用いて、それに対応する1または2以上の被検査画像データを生成し、
前記判定手段は、前記1または2以上の被検査画像データと、前記1または2以上の基準画像データと、のそれぞれの相関に基づいて、前記駐車マス毎の駐車の有無を判定する請求項1または2記載の駐車検出装置。
【請求項4】
表示パターンが描かれた複数の駐車マスを撮影手段により撮影し、その画像に基づいて前記駐車マスのそれぞれの駐車の有無を検出する駐車検出方法であって、
あらかじめ、前記撮影手段により前記複数の駐車マスが空車状態の検出対象エリアを撮影し、当該画像に対してPrewittエッジ処理を施すことにより基準画像データを生成し、その基準画像データとともに画素毎の積和値が最大となったマスクパターンをエッジオペレータとして記憶する基準データ生成工程と、
前記撮影手段により前記検出対象エリアを撮影し、当該画像に対して、前記基準データ生成工程により記憶された前記エッジオペレータを用いてエッジ抽出処理を施すことにより、被検査画像データを生成する検査データ生成工程と、
前記被検査画像データと、前記基準画像データと、の相関に基づいて、前記駐車マス毎の駐車の有無を判定する判定工程と、を備えることを特徴とする駐車検出方法。
【請求項5】
前記検査データ生成工程は、前記撮影した画像の所定の範囲に対して、前記エッジオペレータを画素単位でずらしながら順次適用することにより各位置に対応した前記被検査画像データを生成し、
前記判定工程は、前記各位置に対応した前記被検査画像データと、前記基準画像データと、の相関率を算出することにより駐車の有無を判定する請求項4記載の駐車検出方法。
【請求項6】
前記基準データ生成工程は、異なる撮影条件において撮影した複数の画像のそれぞれに対して前記基準画像データを生成し、その各基準画像データとともにそれぞれの前記エッジオペレータを記憶し、
前記検査データ生成工程は、前記基準データ生成工程により記憶された複数の前記基準画像データのうちの1または2以上に対応する前記エッジオペレータを用いて、それに対応する1または2以上の被検査画像データを生成し、
前記判定工程は、前記1または2以上の被検査画像データと、前記1または2以上の基準画像データと、のそれぞれの相関に基づいて、前記駐車マス毎の駐車の有無を判定する請求項4または5記載の駐車検出方法。
【請求項7】
表示パターンが描かれた複数の駐車マスを撮影手段により撮影し、その画像に基づいて前記駐車マスのそれぞれの駐車の有無を検出する駐車検出プログラムであって、
あらかじめ、前記撮影手段により前記複数の駐車マスが空車状態の検出対象エリアを撮影し、当該画像に対してPrewittエッジ処理を施すことにより基準画像データを生成し、その基準画像データとともに画素毎の積和値が最大となったマスクパターンをエッジオペレータとして記憶する基準データ生成機能と、
前記撮影手段により前記検出対象エリアを撮影し、当該画像に対して、前記基準データ生成機能により記憶された前記エッジオペレータを用いてエッジ抽出処理を施すことにより、被検査画像データを生成する検査データ生成機能と、
前記被検査画像データと、前記基準画像データと、の相関に基づいて、前記駐車マス毎の駐車の有無を判定する判定機能と、をコンピュータに実現させることを特徴とする駐車検出プログラム。
【請求項8】
前記検査データ生成機能は、前記撮影した画像の所定の範囲に対して前記エッジオペレータを画素単位でずらしながら順次適用することにより各位置に対応した前記被検査画像データを生成し、
前記判定機能は、前記各位置に対応した前記被検査画像データと、前記基準画像データと、の相関率を算出することにより駐車の有無を判定する請求項7記載の駐車検出プログラム。
【請求項9】
前記基準データ生成機能は、異なる撮影条件において撮影した複数の画像のそれぞれに対して前記基準画像データを生成し、その各基準画像データとともにそれぞれの前記エッジオペレータを記憶し、
前記検査データ生成機能は、前記基準データ生成機能により記憶された複数の前記基準画像データのうちの1または2以上に対応する前記エッジオペレータを用いて、それに対応する1または2以上の被検査画像データを生成し、
前記判定機能は、前記1または2以上の被検査画像データと、前記1または2以上の基準画像データと、のそれぞれの相関に基づいて、前記駐車マス毎の駐車の有無を判定する請求項7または8記載の駐車検出プログラム。
【請求項1】
表示パターンが描かれた複数の駐車マスを撮影し、その画像に基づいて前記駐車マスのそれぞれの駐車の有無を検出する駐車検出装置であって、
前記複数の駐車マスを含む検出対象エリアを撮影する撮影手段と、
あらかじめ、前記撮影手段により前記複数の駐車マスが空車状態の前記検出対象エリアを撮影し、当該画像に対してPrewittエッジ処理を施すことにより基準画像データを生成し、その基準画像データとともに画素毎の積和値が最大となったマスクパターンをエッジオペレータとして記憶する基準データ生成手段と、
前記撮影手段により前記検出対象エリアを撮影し、当該画像に対して、前記基準データ生成手段により記憶された前記エッジオペレータを用いてエッジ抽出処理を施すことにより、被検査画像データを生成する検査データ生成手段と、
前記被検査画像データと、前記基準画像データと、の相関に基づいて、前記駐車マス毎の駐車の有無を判定する判定手段と、を備えることを特徴とする駐車検出装置。
【請求項2】
前記検査データ生成手段は、前記撮影した画像の所定の範囲に対して、前記エッジオペレータを画素単位でずらしながら順次適用することにより各位置に対応した前記被検査画像データを生成し、
前記判定手段は、前記各位置に対応した前記被検査画像データと、前記基準画像データと、の相関率を算出することにより駐車の有無を判定する請求項1記載の駐車検出装置。
【請求項3】
前記基準データ生成手段は、異なる撮影条件において撮影した複数の画像のそれぞれに対して前記基準画像データを生成し、その各基準画像データとともにそれぞれの前記エッジオペレータを記憶し、
前記検査データ生成手段は、前記基準データ生成手段により記憶された複数の前記基準画像データのうちの1または2以上に対応する前記エッジオペレータを用いて、それに対応する1または2以上の被検査画像データを生成し、
前記判定手段は、前記1または2以上の被検査画像データと、前記1または2以上の基準画像データと、のそれぞれの相関に基づいて、前記駐車マス毎の駐車の有無を判定する請求項1または2記載の駐車検出装置。
【請求項4】
表示パターンが描かれた複数の駐車マスを撮影手段により撮影し、その画像に基づいて前記駐車マスのそれぞれの駐車の有無を検出する駐車検出方法であって、
あらかじめ、前記撮影手段により前記複数の駐車マスが空車状態の検出対象エリアを撮影し、当該画像に対してPrewittエッジ処理を施すことにより基準画像データを生成し、その基準画像データとともに画素毎の積和値が最大となったマスクパターンをエッジオペレータとして記憶する基準データ生成工程と、
前記撮影手段により前記検出対象エリアを撮影し、当該画像に対して、前記基準データ生成工程により記憶された前記エッジオペレータを用いてエッジ抽出処理を施すことにより、被検査画像データを生成する検査データ生成工程と、
前記被検査画像データと、前記基準画像データと、の相関に基づいて、前記駐車マス毎の駐車の有無を判定する判定工程と、を備えることを特徴とする駐車検出方法。
【請求項5】
前記検査データ生成工程は、前記撮影した画像の所定の範囲に対して、前記エッジオペレータを画素単位でずらしながら順次適用することにより各位置に対応した前記被検査画像データを生成し、
前記判定工程は、前記各位置に対応した前記被検査画像データと、前記基準画像データと、の相関率を算出することにより駐車の有無を判定する請求項4記載の駐車検出方法。
【請求項6】
前記基準データ生成工程は、異なる撮影条件において撮影した複数の画像のそれぞれに対して前記基準画像データを生成し、その各基準画像データとともにそれぞれの前記エッジオペレータを記憶し、
前記検査データ生成工程は、前記基準データ生成工程により記憶された複数の前記基準画像データのうちの1または2以上に対応する前記エッジオペレータを用いて、それに対応する1または2以上の被検査画像データを生成し、
前記判定工程は、前記1または2以上の被検査画像データと、前記1または2以上の基準画像データと、のそれぞれの相関に基づいて、前記駐車マス毎の駐車の有無を判定する請求項4または5記載の駐車検出方法。
【請求項7】
表示パターンが描かれた複数の駐車マスを撮影手段により撮影し、その画像に基づいて前記駐車マスのそれぞれの駐車の有無を検出する駐車検出プログラムであって、
あらかじめ、前記撮影手段により前記複数の駐車マスが空車状態の検出対象エリアを撮影し、当該画像に対してPrewittエッジ処理を施すことにより基準画像データを生成し、その基準画像データとともに画素毎の積和値が最大となったマスクパターンをエッジオペレータとして記憶する基準データ生成機能と、
前記撮影手段により前記検出対象エリアを撮影し、当該画像に対して、前記基準データ生成機能により記憶された前記エッジオペレータを用いてエッジ抽出処理を施すことにより、被検査画像データを生成する検査データ生成機能と、
前記被検査画像データと、前記基準画像データと、の相関に基づいて、前記駐車マス毎の駐車の有無を判定する判定機能と、をコンピュータに実現させることを特徴とする駐車検出プログラム。
【請求項8】
前記検査データ生成機能は、前記撮影した画像の所定の範囲に対して前記エッジオペレータを画素単位でずらしながら順次適用することにより各位置に対応した前記被検査画像データを生成し、
前記判定機能は、前記各位置に対応した前記被検査画像データと、前記基準画像データと、の相関率を算出することにより駐車の有無を判定する請求項7記載の駐車検出プログラム。
【請求項9】
前記基準データ生成機能は、異なる撮影条件において撮影した複数の画像のそれぞれに対して前記基準画像データを生成し、その各基準画像データとともにそれぞれの前記エッジオペレータを記憶し、
前記検査データ生成機能は、前記基準データ生成機能により記憶された複数の前記基準画像データのうちの1または2以上に対応する前記エッジオペレータを用いて、それに対応する1または2以上の被検査画像データを生成し、
前記判定機能は、前記1または2以上の被検査画像データと、前記1または2以上の基準画像データと、のそれぞれの相関に基づいて、前記駐車マス毎の駐車の有無を判定する請求項7または8記載の駐車検出プログラム。
【図1】
【図2】
【図3】
【図4】
【図5】
【図6】
【図7】
【図8】
【図9】
【図10】
【図11】
【図12】
【図2】
【図3】
【図4】
【図5】
【図6】
【図7】
【図8】
【図9】
【図10】
【図11】
【図12】
【公開番号】特開2012−53609(P2012−53609A)
【公開日】平成24年3月15日(2012.3.15)
【国際特許分類】
【出願番号】特願2010−194847(P2010−194847)
【出願日】平成22年8月31日(2010.8.31)
【出願人】(000243881)名古屋電機工業株式会社 (107)
【Fターム(参考)】
【公開日】平成24年3月15日(2012.3.15)
【国際特許分類】
【出願日】平成22年8月31日(2010.8.31)
【出願人】(000243881)名古屋電機工業株式会社 (107)
【Fターム(参考)】
[ Back to top ]