対象領域分割方法及び対象領域分割装置
【目的】画像から対象を含む領域を正しく分割する「対象領域分割方法及び対象領域分割装置」を提供することである。
【構成】画像から対象を含む領域を分割する対象領域分割装置であり、対象(車輌)の参照幅を予め設定する設定部と、画像から対象の底部の陰を抽出し、該抽出した底部の陰(車下陰)に基づいて画像における対象(車輌)を含む候補領域を確定する抽出及び確定部、参照幅が画像における車下陰の位置で結像する幅(結像幅)を計算する結像幅計算部、参照幅の結像幅と前記車下陰とに基づいて候補領域に対象が含まれるように該候補領域のサイズを調整する領域サイズ調整部、記画像から調整後の候補領域を、対象を含む対象領域として分割する対象領域分割部をそなえている。
【構成】画像から対象を含む領域を分割する対象領域分割装置であり、対象(車輌)の参照幅を予め設定する設定部と、画像から対象の底部の陰を抽出し、該抽出した底部の陰(車下陰)に基づいて画像における対象(車輌)を含む候補領域を確定する抽出及び確定部、参照幅が画像における車下陰の位置で結像する幅(結像幅)を計算する結像幅計算部、参照幅の結像幅と前記車下陰とに基づいて候補領域に対象が含まれるように該候補領域のサイズを調整する領域サイズ調整部、記画像から調整後の候補領域を、対象を含む対象領域として分割する対象領域分割部をそなえている。
【発明の詳細な説明】
【技術分野】
【０００１】
本発明は対象領域分割方法及び対象領域分割装置に関わり、特に、画像から車両などの対象を含む領域を分割する対象領域分割方法及び対象領域分割装置に関する。
【背景技術】
【０００２】
マシンビジョンに基づく車両識別システムは、自車両又は他の移動／固定の物体に取り付けられた撮像機等の画像ピックアップ装置によりピックアップされた画像から車両を識別する。かかる車両の識別時、まず、該ピックアップした画像から車両を含む領域ROI（Region of Interest：関心領域）を分割し、次に、該分割した関心領域ROI内の画像に基づいて車輌の識別または車両の有無等を識別する。図１は車両画像CIMを含む関心領域ROIの例であり、CSHは車の下陰(車下陰)である。
陽光又は他の光源による照射で車下に陰が存在することは、形状の異なる車両の共通の特徴であるので、該車下陰は、マシンビジョンによる車両画像抽出技術において車両画像を取り出す際に根拠となる主な特徴である。
従来の技術において、車下陰に基づいて画像から車両を含む領域ROIを分割する第１の方法は、主に、(1)車下陰の階調が路面より暗いとの特徴を根拠に現在の路面の階調平均値を算出し、(2)この平均値を基準値として、路面における階調値がこの基準値より小さいすべての領域を車下陰領域として抽出し、(3)しかる後、この車下陰領域に基づいて車両を含む領域ROIを分割する。また、車両を含む領域ROIを分割する第２の方法は、(1)車下陰領域がいつもその周囲領域より暗いとの特徴を根拠に、画像におけるより暗い一部の領域を車下陰領域として抽出し、(2)しかる後、この車下陰領域に基づいて車両を含む領域を分割する(特許文献１，２参照)。
【特許文献１】特開２００３−７６９８７号公報
【特許文献２】特願２００７−４３７２１
【発明の開示】
【発明が解決しようとする課題】
【０００３】
車下陰は、車両画像分割技術に重要な役割を果たすので、車下陰は、画像から車両を含む領域を正しく分割できるか否かに大きい影響を与える。しかし、図２に示すように、照光角度による影響で、車下陰CSHは完全でない。すなわち、照光角度により車下陰CSHは車幅一杯に存在せず、(A)に示すように車両の片側に存在したり、(B)に示すように車両の中央一部に存在したりする。かかる場合、車下陰CSHに基づいて画像から分割される領域ROIは、車両の特徴を一部だけ含むものとなる。また、照光角度と車両間の相互位置による影響で、図３に示すように、車下陰CSHは、二つの車両C1,C2の車下陰を結合して構成されることがあり、かかる場合、車下陰CSHに基づいて画像から分割される領域ROIは、二つの車両の特徴を含むものとなる。
図２の場合、車両の特徴の一部が領域ROIに含まれるだけとなるため特徴が不十分となり、車両識別システムは車両の識別や該領域内に車両が存在するか否か、を正確に判定することが困難になる。また、図３の場合、車両識別システムは、いずれか一つの車両の識別漏れを生じるか、又は二つの車両を一つの車両として誤識別し、該領域に含まれる２つの車両を正確に識別することができなくなる。上記問題は、マシンビジョンに基づく車両識別システムだけでなく、マシンビジョンに基づく歩行人のような対象に対する識別システムにも存在する。
図４は照光角度による影響で車下陰が完全でない実際の例であり、(A)はカメラ撮影画像、(B)は車両周辺の拡大図である。(B)の車下陰CSHに基づいて,画像から分割される領域は（A）の実線矩形枠で示され、該領域に車両全体が含まれない。図５は、２つの車両が接近して並んでそれぞれの車下陰が結合した実際の例であり、(A)はカメラ撮影画像、(B)は車両周辺の拡大図である。
以上から本発明の目的は、画像から対象を含む領域を正しく分割する対象領域分割方法及び対象領域分割装置を提供することである。
【課題を解決するための手段】
【０００４】
・対象領域分割方法
本発明の第１は、画像から対象を含む領域を分割する対象領域分割方法であり、前記対象の参照幅を予め設定する第１ステップ、前記画像から前記対象の底部の陰を抽出し、前記抽出された底部の陰に基づいて前記画像における前記対象を含む候補領域を確定する第２ステップ、前記参照幅が前記画像における前記対象の底部の陰の位置で結像する幅(結像幅)を計算する第３ステップ、前記参照幅の結像幅と前記陰の幅とに基づいて前記候補領域に前記対象が含まれるように該候補領域のサイズを調整する第４ステップ、前記画像から前記調整後の候補領域を、前記対象を含む領域として分割する第５ステップを有している。
前記第４ステップは、さらに、前記抽出された底部の陰幅が前記結像幅より小さいか否かを判断する第１サブステップ、小さい場合、前記抽出した底部の陰幅と前記結像幅との差に基づいて、前記確定された候補領域のサイズを拡張する第２サブステップを備えている。
前記第４ステップは、前記第１サブステップにおいて小さくないと判断すれば、前記抽出した底部の陰幅と前記参照幅の結像幅との比が所定の範囲内にあるか否かを判断する第３サブステップ、前記比が前記所定の範囲内にあれば、前記抽出した底部の陰の左エッジから右方向への幅が前記結像幅と等しい領域あるいは該領域より大きい領域を第１の対象領域として前記確定された候補領域から分割し、また、該抽出した底部の陰の右エッジから左方向への幅が前記結像幅と等しい領域あるいは該領域より大きい領域を第２の対象領域として前記確定された候補領域から分割する第４サブステップを有している。
【０００５】
・対象領域分割装置
本発明の第２は、画像から対象を含む領域を分割する対象領域分割装置であり、前記対象の参照幅を予め設定する設定部と、前記画像から前記対象の底部の陰を抽出し、前記抽出した底部の陰に基づいて前記画像における前記対象を含む候補領域を確定する抽出及び確定部、前記参照幅が前記画像における前記対象の底部の陰の位置で結像する幅(結像幅)を計算する結像幅計算部、前記参照幅の結像幅と前記陰の幅とに基づいて前記候補領域に前記対象が含まれるように該候補領域のサイズを調整する領域サイズ調整部、前記画像から前記調整後の候補領域を、前記対象を含む領域として分割する対象領域分割部を有する。
前記領域サイズ調整部は、前記抽出された底部の陰幅が前記結像幅より小さいか否かを判断し、小さい場合、前記抽出した底部の陰幅と前記結像幅との差に基づいて、前記確定された候補領域のサイズを拡張する。
前記領域サイズ調整部は、前記抽出された底部の陰幅が前記結像幅より小さいか否かを判断し、小さくない場合、前記抽出した底部の陰幅と前記参照幅の結像幅との比が所定の範囲内にあるか否かを判断し、前記比が前記所定の範囲内にあれば、前記抽出した底部の陰の左エッジから右方向への幅が前記結像幅と等しい領域あるいは該領域より大きい領域を第１の対象領域として前記確定された候補領域から分割し、また、該抽出した底部の陰の右エッジから左方向への幅が前記結像幅と等しい領域あるいは該領域より大きい領域を第２の対象領域として前記確定された候補領域から分割する。
【発明の効果】
【０００６】
本発明によれば、対象の参照幅を予め設定し、画像から前記対象の底部の陰を抽出し、前記抽出された底部の陰に基づいて前記画像における前記対象を含む候補領域を確定し、前記参照幅が前記画像における前記対象の底部の陰の位置で結像する幅(結像幅)を計算し、前記参照幅の結像幅と前記陰の幅とに基づいて前記候補領域に前記対象が含まれるように該候補領域のサイズを調整し、前記画像から前記調整後の候補領域を、前記対象を含む領域として分割するようにしたから、画像から対象を含む領域(関心領域)を確実に分割でき、識別システムが該分割された領域に含まれる車両を正確に識別することができる。
また、本発明によれば、車下陰幅が前記結像幅より小さいか否かを判断し、小さい場合には該車下陰幅と結像幅との差に基づいて、前記候補領域のサイズを拡張するから、対象を完全に含むように関心領域を画像より分割することができる。
また、本発明によれば、車下陰幅が前記結像幅より小さいか否かを判断し、小さくない場合には該車下陰幅と前記結像幅との比が所定の範囲内にあるか否かを判断し、前記比が前記所定の範囲内にあれば、前記車下陰の左エッジから右方向への幅が前記結像幅と等しい領域あるいは該領域より大きい領域を第１の対象領域として前記確定された候補領域から分割し、また、該抽出した車下陰の右エッジから左方向への幅が前記結像幅と等しい領域あるいは該領域より大きい領域を第２の対象領域として前記確定された候補領域から分割するから、２つの対象（車両）が接近して車下陰が結合しても、対象をそれぞれ含む領域を画像より分割することができる。
【発明を実施するための最良の形態】
【０００７】
図６は撮影された画像から対象(例えば車両)を含む領域を分割する本発明の対象領域分割方法の処理フローであり、図７は対象領域分割処理の説明図である。
まず、路面を走行する正常な車両CARの最大車幅を車両の参照幅として予め設定する（ステップS10）。通常、路面を走行する正常な車両の最大車幅は2.5mであるが、実際の応用において、計算誤差を考慮すると、最大車幅を2.8mに設定できる。
次に、撮像機で撮像された画像から車両の車下陰CSHを抽出して、この抽出された車下陰に基づいて該画像における車両を含む候補領域ROI′を確定する（ステップS20）。特許文献1、2で示す方法あるいは他の方法を用いて画像から車両の車下陰CSHを抽出することができる。
【０００８】
次に、小孔透視結像原理を用いて、参照幅である最大車幅が、画像上の前記抽出した車下陰の位置で結像する時の幅(結像幅という)を計算する（ステップS30）。図８は小孔透視結像原理により最大車幅の結像幅を計算する計算式を導出するための説明図である。図８において、ABは最大車幅、O'Oは最大車幅から撮像機のレンズまでの垂直距離、A'B'は最大車幅が撮像機の結像スクリーン上に結像する画素幅（つまり結像幅）、OTは最大車幅の結像位置から撮像機のレンズまでの垂直距離（撮像機の焦点距離fに等しい）を示し、Axは撮像機における径方向の歪みである。小孔透視結像原理に基づいて、次式
【数１】
が得られる。図９（A）において、Hは車両1Aに搭載された撮像機２から地面３までの距離、TA'は現実の車両1Bの下エッジの結像点A′から画像の消失線Tまでの画素距離、Ayは撮像機における接線方向の歪みであり、O'O及びOTは、図８におけるO'O及びOTと同じである。小孔透視結像原理に基づいて、(2)式
【数２】
が得られる。(1)式と(2)式とに基づいて、以下の(3)式
【数３】
が得られる。
【０００９】
(3)式において、AxとAyは撮像機毎の既知の内部パラメータであり、Hは予め測定可能であり、ABは最大車幅として既知である。従って、(3)式においてTA'を異なる値とすることによって、画像上の異なる位置における最大車幅の結像幅A'B'を計算することができる。すなわち、車下陰位置A′から消失線までの長さTA′を求め、(3)式により結像幅A'B'を計算する。図9(B)に示すように車両1Bが撮像機２に近づく程、TA′が大きくなり結像幅A'B'も大きくなる。
【００１０】
次に、参照幅となる最大車幅が画像上の前た車下陰CSHの位置で結像する時の幅(結像幅)よりも前記車下陰CSHの幅が、小さいか否かを判断する（ステップS40）。
該車下陰CSHの幅が結像幅よりも小さければ(図７参照)、さらに画像において、該抽出した車下陰CSHの左右エッジ付近に車両の左右垂直エッジが存在するか判断する（ステップS50）。図７は車下陰CSHの陰幅widthshadowが結像幅widthmaxよりも小さい場合の例であり、（A）は車下陰の左右エッジ付近に車両の左右垂直エッジが存在しない場合である。なお、車下陰CSHの左右エッジが両側にもう少し広がると左右エッジ付近に車両の左右垂直エッジが存在することになる。
図１０は車両の左右エッジを検出する垂直エッジ投影法の説明図である。垂直エッジ投影とは図１０（A）を参照すると、エッジ検出演算子で画像IMの垂直エッジVEG1〜VEG4を抽出して垂直に投影することをいい、垂直エッジ画像(図１０（B）参照)における零でないすべての画素を垂直方向に列ごとに加算し、投影値最大の画素列（垂直エッジVEG2，4の画素位置）を車両の左右エッジ位置とする。
【００１１】
車両の左右垂直エッジの両方が存在し、あるいは左右垂直エッジのいずれも存在しなければ(図７(A)参照)、(4)式
Δwidth = （widthmax - widthshadow）/ 2 (4)
に基づいてΔwidthを算出する（ステップS60）。
widthmaxは、参照幅となる最大車幅が画像上の車下陰CSHの位置に結像する時の幅(結像幅)、widthshadowは該抽出した車下陰CSHの幅である。
次に、該確定された候補領域ROI′の左右両エッジをそれぞれ外方へΔwidthだけシフトして候補領域ROI′に車輌が含まれるように候補領域ROI′のサイズを拡張して対象領域ROIとする（ステップS70）。
【００１２】
一方、ステップS50において、車両の左垂直エッジだけが存在すれば(図７(B)参照)、それぞれ(5)式及び(6)式
Δwidthleft = widthmax × 0.05 (5)
Δwidthright = widthmax - widthshadow (6)
に基づいてΔwidthleftとΔwidthrightを算出する（ステップS80）。
次に、該確定された候補領域ROI′の左右エッジをそれぞれ外方へΔwidthleftとΔwidthrightだけシフトして候補領域ROI′に車輌が含まれるように候補領域ROI′のサイズを拡張して対象領域ROIとする（ステップS90）。
【００１３】
また、ステップS50において、車両の右垂直エッジだけが存在すれば(図７(C)参照)、それぞれ(7)式及び(8)式
Δwidthleft = widthmax - widthshadow (7)
Δwidthright = widthmax × 0.05 (8)
に基づいてΔwidthleftとΔwidthrightを算出する（ステップS100）。
次に、該確定された候補領域ROI′の左右両エッジをそれぞれ外方へΔwidthleftとΔwidthrightだけシフトして候補領域ROI′に車輌が含まれるように候補領域ROI′のサイズを拡張して対象領域ROIとする（ステップS110）。
最後に、ステップ70，90,110において拡張された候補領域ROI′を、車輌を含む対象領域ROIとして分割する（ステップS120）。
【００１４】
ステップS40において、車下陰CSHの幅が結像幅より大きければ、さらに該車下陰の幅と結像幅との比が1.2〜2.5の範囲内にあるか否かを判断する（ステップS130）。
車下陰CSHの幅が参照幅となる最大車幅より大きいということは、二つの車両の水平距離が近くてこの二つの車両の車下陰が繋がっているからである。また、現在の車両の最小の車幅が1.5m、最大車幅が2.5ｍであるとしているため、車両の車下陰が繋がっている時に、該車下陰の幅と参照幅とした最大車幅の比は、一般に1.2〜2.5の範囲内にある。すなわち、通常、最小車幅は1.5ｍで、最大車幅は2.5ｍでるから、2台の車が並んでいる時の最小幅は、
最小幅＝（1.5ｍ＋1.5ｍ）＋車輛間の間隔
となる。したがって、
（（1.5ｍ＋1.5ｍ）＋車輛間の間隔）/（最大車幅2.5ｍ）>3m/2.5ｍ=1.2
となり、最小の比は1.2となる。一方、2台の車が並んでいる時の 最大幅は、
最大幅＝（（2.5ｍ＋2.5ｍ）＋車輛間の間隔）
となる。したがって、
（（2.5ｍ＋2.5ｍ）＋車輛間の間隔）/（最大車幅2.5ｍ）＞5m/2.5ｍ=2
となり、車輛間の間隔を考えるとある程度余裕を持って最大の比を2.5にする。これは経験値です。
図１１に示すように、該比が1.2〜2.5の範囲内にあれば、該確定された候補領域ROI′から、車下陰CSHの左エッジから右への幅が結像幅と等しい領域ROI1を一つの完全な車両CAR1を含む領域として分割し、また、該確定された候補領域ROI′から、車下陰CSHの右エッジから左への幅が結像幅と等しい領域ROI2をもう一つの完全な車両CAR2を含む領域として分割する（ステップS140）。
なお、ステップS130において、比が2.5より大きくなると、3台以上の車が並ぶケースである。かかる場合には、カメラ視角の関係で車がすべて画像に入れないので、この時処理を行わない。また、比が1.2より小さい時は、ステップS50以降の処理を行う。
【００１５】
以上実施例によれば、車両の車下陰幅が結像幅より小さい場合、結像幅と車下陰幅の差に基づいて候補領域の各エッジを外側にシフトして該候補領域を拡張し、該拡張された候補領域を対象領域として画像から分割したから、該対象領域は完全な車両を含むため、車両識別システムは、該分割した対象領域に基づいて、それに含まれる車両を正確に識別することができる。また、車両の車下陰幅が結像幅より大きくかつ両者の比が所定の範囲内にある場合、車両の車下陰の両エッジから内に向かって、それぞれ参照幅の結像幅と等しい幅の二つの対象領域を分割したから、この二つの対象領域は何れも、一つの車両だけを完全に含み、このため、車両識別システムは、該分割した対象領域に基づいて、各領域毎に含まれる車両を正確に識別することができる。
【００１６】
・変形例
前記実施例には、路面を走行する正常な車両の最大車幅を車両の参照幅としたが、本発明はこれに限られるものではなく、本発明において、該参照幅は、必要に応じて他の適当な幅に設定してもよい。
実施例においては、ステップS20において、撮像機で撮像した画像から車両の車下陰を抽出して候補領域を確定し、次に、ステップS30において、小孔透視結像原理で最大車幅が画像上の車下陰の位置で結像する時の幅を(3)式を用いて直接算出した。しかし、本発明はこれに限られない。すなわち、撮像機で撮像した画像上の異なる位置で最大車幅が結像するときの幅(結像幅) A'B'を予め車下陰の位置(TA')を可変にして(3)式により計算してメモリに保存しておく。そして、実際の画像から車両の車下陰を抽出して候補領域を確定すると共に、該車下陰の位置(TA')に応じた結像幅A'B'をメモリから検索して取得するように構成することもできる。
実施例及び変形例において、小孔透視結像原理で参照幅が撮像機で撮像した画像における異なる位置で結像する幅を算出したが、本発明はこれに限られない。本発明において、他の適当な方法で参照幅が撮像機で撮像した画像上の異なる位置で結像する時の幅を算出してもよい。
実施例において、車両を例として本発明を説明したが、本発明はこれに限られない。本発明は、例えば歩行人のような対象を識別する識別システムに適応されてもよい。
本発明に係る画像から対象を分割する方法は、ソフトウエア、ハードウエア、あるいはソフトウエアとハードウエアとを組合せる方式で実現することができる。
【００１７】
図１２は、本発明の対象領域分割装置の構成図であり、本発明に係る部材だけを示している。図１２に示すように、画像から対象を含む領域を分割する対象領域分割装置１０は、対象(例えば車輌)の参照幅を予め設定する参照幅設定部１２と、車輌を含む風景を撮像して得られた画像を入力する画像入力部１３と、画像入力部から得られる画像より前記対象の底部の陰(車下陰)を抽出し、該抽出した車下陰に基づいて前記画像における前記対象を含む候補領域を確定する車下影抽出＆候補領域確定部１４と、前記参照幅が前記画像上の前記車下陰の位置で結像する時の幅(結像幅)を(3)式により計算する結像幅計算部１６と、前記参照幅の結像幅と前記陰幅とに基づいて前記候補領域に前記対象が含まれるように該候補領域のサイズを調整し、前記画像から前記調整後の候補領域を、前記対象を含む領域ROIとして分割する分割領域調整＆分割部１８を備えている。
図１３は本発明の対象領域分割結果説明図であり、（A）は車下陰が車両の片側に存在する場合であるが、本発明によれば実線枠で示すように車全体を含むように対象領域ROIを分割することができる。（B）は２つの車両が接近して並んでそれぞれの車下陰が結合した場合であるが、本発明によれば実線枠で示すようにそれぞれの車輌全体を含む２つの対象領域ROI１、ROI2を分割することができる。
以上本発明を詳細に説明したが、当業者であれば、本発明に開示されている対象領域分割方法及び装置は、本発明の内容から離脱しない限り、さらに、各種の改善をすることができる。そのため、本発明の保護範囲は、本願の特許請求の範囲の内容で確定されるはずである。
【図面の簡単な説明】
【００１８】
【図１】車両画像CIMを含む関心領域ROIの例である。
【図２】車下陰CSHが車幅一杯に存在せず、車両の片側に存在したり、車両の中央一部に存在したりする場合の説明図である。
【図３】車下陰CSHが二つの車両C1,C2の車下陰を接続して構成される場合の説明図である。
【図４】照光角度による影響で車下陰が完全でない実際の例である。
【図５】２つの車両が接近して並んでそれぞれの車下陰が結合した実際の例である。
【図６】撮影された画像から対象(例えば車両)を含む領域を分割する本発明の対象領域分割方法の処理フローである。
【図７】対象領域分割処理の説明図である。
【図８】小孔透視結像原理により最大車幅の結像幅を計算する計算式を導出するための説明図である。
【図９】小孔透視結像原理により最大車幅の結像幅を計算する計算式を導出するための別の説明図である。
【図１０】車両の左右エッジを検出する垂直エッジ投影法の説明図である。
【図１１】二つの車両の車下陰が結合した場合の本発明の分割処理の説明図である。
【図１２】本発明の対象領域分割装置の構成図である。
【図１３】本発明の対象領域分割結果説明図である。
【符号の説明】
【００１９】
１０ 対象領域分割装置
１２ 参照幅設定部
１３ 画像入力部
１４ 車下影抽出＆候補領域確定
１６ 結像幅計算部
１８ 分割領域調整＆分割部
【技術分野】
【０００１】
本発明は対象領域分割方法及び対象領域分割装置に関わり、特に、画像から車両などの対象を含む領域を分割する対象領域分割方法及び対象領域分割装置に関する。
【背景技術】
【０００２】
マシンビジョンに基づく車両識別システムは、自車両又は他の移動／固定の物体に取り付けられた撮像機等の画像ピックアップ装置によりピックアップされた画像から車両を識別する。かかる車両の識別時、まず、該ピックアップした画像から車両を含む領域ROI（Region of Interest：関心領域）を分割し、次に、該分割した関心領域ROI内の画像に基づいて車輌の識別または車両の有無等を識別する。図１は車両画像CIMを含む関心領域ROIの例であり、CSHは車の下陰(車下陰)である。
陽光又は他の光源による照射で車下に陰が存在することは、形状の異なる車両の共通の特徴であるので、該車下陰は、マシンビジョンによる車両画像抽出技術において車両画像を取り出す際に根拠となる主な特徴である。
従来の技術において、車下陰に基づいて画像から車両を含む領域ROIを分割する第１の方法は、主に、(1)車下陰の階調が路面より暗いとの特徴を根拠に現在の路面の階調平均値を算出し、(2)この平均値を基準値として、路面における階調値がこの基準値より小さいすべての領域を車下陰領域として抽出し、(3)しかる後、この車下陰領域に基づいて車両を含む領域ROIを分割する。また、車両を含む領域ROIを分割する第２の方法は、(1)車下陰領域がいつもその周囲領域より暗いとの特徴を根拠に、画像におけるより暗い一部の領域を車下陰領域として抽出し、(2)しかる後、この車下陰領域に基づいて車両を含む領域を分割する(特許文献１，２参照)。
【特許文献１】特開２００３−７６９８７号公報
【特許文献２】特願２００７−４３７２１
【発明の開示】
【発明が解決しようとする課題】
【０００３】
車下陰は、車両画像分割技術に重要な役割を果たすので、車下陰は、画像から車両を含む領域を正しく分割できるか否かに大きい影響を与える。しかし、図２に示すように、照光角度による影響で、車下陰CSHは完全でない。すなわち、照光角度により車下陰CSHは車幅一杯に存在せず、(A)に示すように車両の片側に存在したり、(B)に示すように車両の中央一部に存在したりする。かかる場合、車下陰CSHに基づいて画像から分割される領域ROIは、車両の特徴を一部だけ含むものとなる。また、照光角度と車両間の相互位置による影響で、図３に示すように、車下陰CSHは、二つの車両C1,C2の車下陰を結合して構成されることがあり、かかる場合、車下陰CSHに基づいて画像から分割される領域ROIは、二つの車両の特徴を含むものとなる。
図２の場合、車両の特徴の一部が領域ROIに含まれるだけとなるため特徴が不十分となり、車両識別システムは車両の識別や該領域内に車両が存在するか否か、を正確に判定することが困難になる。また、図３の場合、車両識別システムは、いずれか一つの車両の識別漏れを生じるか、又は二つの車両を一つの車両として誤識別し、該領域に含まれる２つの車両を正確に識別することができなくなる。上記問題は、マシンビジョンに基づく車両識別システムだけでなく、マシンビジョンに基づく歩行人のような対象に対する識別システムにも存在する。
図４は照光角度による影響で車下陰が完全でない実際の例であり、(A)はカメラ撮影画像、(B)は車両周辺の拡大図である。(B)の車下陰CSHに基づいて,画像から分割される領域は（A）の実線矩形枠で示され、該領域に車両全体が含まれない。図５は、２つの車両が接近して並んでそれぞれの車下陰が結合した実際の例であり、(A)はカメラ撮影画像、(B)は車両周辺の拡大図である。
以上から本発明の目的は、画像から対象を含む領域を正しく分割する対象領域分割方法及び対象領域分割装置を提供することである。
【課題を解決するための手段】
【０００４】
・対象領域分割方法
本発明の第１は、画像から対象を含む領域を分割する対象領域分割方法であり、前記対象の参照幅を予め設定する第１ステップ、前記画像から前記対象の底部の陰を抽出し、前記抽出された底部の陰に基づいて前記画像における前記対象を含む候補領域を確定する第２ステップ、前記参照幅が前記画像における前記対象の底部の陰の位置で結像する幅(結像幅)を計算する第３ステップ、前記参照幅の結像幅と前記陰の幅とに基づいて前記候補領域に前記対象が含まれるように該候補領域のサイズを調整する第４ステップ、前記画像から前記調整後の候補領域を、前記対象を含む領域として分割する第５ステップを有している。
前記第４ステップは、さらに、前記抽出された底部の陰幅が前記結像幅より小さいか否かを判断する第１サブステップ、小さい場合、前記抽出した底部の陰幅と前記結像幅との差に基づいて、前記確定された候補領域のサイズを拡張する第２サブステップを備えている。
前記第４ステップは、前記第１サブステップにおいて小さくないと判断すれば、前記抽出した底部の陰幅と前記参照幅の結像幅との比が所定の範囲内にあるか否かを判断する第３サブステップ、前記比が前記所定の範囲内にあれば、前記抽出した底部の陰の左エッジから右方向への幅が前記結像幅と等しい領域あるいは該領域より大きい領域を第１の対象領域として前記確定された候補領域から分割し、また、該抽出した底部の陰の右エッジから左方向への幅が前記結像幅と等しい領域あるいは該領域より大きい領域を第２の対象領域として前記確定された候補領域から分割する第４サブステップを有している。
【０００５】
・対象領域分割装置
本発明の第２は、画像から対象を含む領域を分割する対象領域分割装置であり、前記対象の参照幅を予め設定する設定部と、前記画像から前記対象の底部の陰を抽出し、前記抽出した底部の陰に基づいて前記画像における前記対象を含む候補領域を確定する抽出及び確定部、前記参照幅が前記画像における前記対象の底部の陰の位置で結像する幅(結像幅)を計算する結像幅計算部、前記参照幅の結像幅と前記陰の幅とに基づいて前記候補領域に前記対象が含まれるように該候補領域のサイズを調整する領域サイズ調整部、前記画像から前記調整後の候補領域を、前記対象を含む領域として分割する対象領域分割部を有する。
前記領域サイズ調整部は、前記抽出された底部の陰幅が前記結像幅より小さいか否かを判断し、小さい場合、前記抽出した底部の陰幅と前記結像幅との差に基づいて、前記確定された候補領域のサイズを拡張する。
前記領域サイズ調整部は、前記抽出された底部の陰幅が前記結像幅より小さいか否かを判断し、小さくない場合、前記抽出した底部の陰幅と前記参照幅の結像幅との比が所定の範囲内にあるか否かを判断し、前記比が前記所定の範囲内にあれば、前記抽出した底部の陰の左エッジから右方向への幅が前記結像幅と等しい領域あるいは該領域より大きい領域を第１の対象領域として前記確定された候補領域から分割し、また、該抽出した底部の陰の右エッジから左方向への幅が前記結像幅と等しい領域あるいは該領域より大きい領域を第２の対象領域として前記確定された候補領域から分割する。
【発明の効果】
【０００６】
本発明によれば、対象の参照幅を予め設定し、画像から前記対象の底部の陰を抽出し、前記抽出された底部の陰に基づいて前記画像における前記対象を含む候補領域を確定し、前記参照幅が前記画像における前記対象の底部の陰の位置で結像する幅(結像幅)を計算し、前記参照幅の結像幅と前記陰の幅とに基づいて前記候補領域に前記対象が含まれるように該候補領域のサイズを調整し、前記画像から前記調整後の候補領域を、前記対象を含む領域として分割するようにしたから、画像から対象を含む領域(関心領域)を確実に分割でき、識別システムが該分割された領域に含まれる車両を正確に識別することができる。
また、本発明によれば、車下陰幅が前記結像幅より小さいか否かを判断し、小さい場合には該車下陰幅と結像幅との差に基づいて、前記候補領域のサイズを拡張するから、対象を完全に含むように関心領域を画像より分割することができる。
また、本発明によれば、車下陰幅が前記結像幅より小さいか否かを判断し、小さくない場合には該車下陰幅と前記結像幅との比が所定の範囲内にあるか否かを判断し、前記比が前記所定の範囲内にあれば、前記車下陰の左エッジから右方向への幅が前記結像幅と等しい領域あるいは該領域より大きい領域を第１の対象領域として前記確定された候補領域から分割し、また、該抽出した車下陰の右エッジから左方向への幅が前記結像幅と等しい領域あるいは該領域より大きい領域を第２の対象領域として前記確定された候補領域から分割するから、２つの対象（車両）が接近して車下陰が結合しても、対象をそれぞれ含む領域を画像より分割することができる。
【発明を実施するための最良の形態】
【０００７】
図６は撮影された画像から対象(例えば車両)を含む領域を分割する本発明の対象領域分割方法の処理フローであり、図７は対象領域分割処理の説明図である。
まず、路面を走行する正常な車両CARの最大車幅を車両の参照幅として予め設定する（ステップS10）。通常、路面を走行する正常な車両の最大車幅は2.5mであるが、実際の応用において、計算誤差を考慮すると、最大車幅を2.8mに設定できる。
次に、撮像機で撮像された画像から車両の車下陰CSHを抽出して、この抽出された車下陰に基づいて該画像における車両を含む候補領域ROI′を確定する（ステップS20）。特許文献1、2で示す方法あるいは他の方法を用いて画像から車両の車下陰CSHを抽出することができる。
【０００８】
次に、小孔透視結像原理を用いて、参照幅である最大車幅が、画像上の前記抽出した車下陰の位置で結像する時の幅(結像幅という)を計算する（ステップS30）。図８は小孔透視結像原理により最大車幅の結像幅を計算する計算式を導出するための説明図である。図８において、ABは最大車幅、O'Oは最大車幅から撮像機のレンズまでの垂直距離、A'B'は最大車幅が撮像機の結像スクリーン上に結像する画素幅（つまり結像幅）、OTは最大車幅の結像位置から撮像機のレンズまでの垂直距離（撮像機の焦点距離fに等しい）を示し、Axは撮像機における径方向の歪みである。小孔透視結像原理に基づいて、次式
【数１】
が得られる。図９（A）において、Hは車両1Aに搭載された撮像機２から地面３までの距離、TA'は現実の車両1Bの下エッジの結像点A′から画像の消失線Tまでの画素距離、Ayは撮像機における接線方向の歪みであり、O'O及びOTは、図８におけるO'O及びOTと同じである。小孔透視結像原理に基づいて、(2)式
【数２】
が得られる。(1)式と(2)式とに基づいて、以下の(3)式
【数３】
が得られる。
【０００９】
(3)式において、AxとAyは撮像機毎の既知の内部パラメータであり、Hは予め測定可能であり、ABは最大車幅として既知である。従って、(3)式においてTA'を異なる値とすることによって、画像上の異なる位置における最大車幅の結像幅A'B'を計算することができる。すなわち、車下陰位置A′から消失線までの長さTA′を求め、(3)式により結像幅A'B'を計算する。図9(B)に示すように車両1Bが撮像機２に近づく程、TA′が大きくなり結像幅A'B'も大きくなる。
【００１０】
次に、参照幅となる最大車幅が画像上の前た車下陰CSHの位置で結像する時の幅(結像幅)よりも前記車下陰CSHの幅が、小さいか否かを判断する（ステップS40）。
該車下陰CSHの幅が結像幅よりも小さければ(図７参照)、さらに画像において、該抽出した車下陰CSHの左右エッジ付近に車両の左右垂直エッジが存在するか判断する（ステップS50）。図７は車下陰CSHの陰幅widthshadowが結像幅widthmaxよりも小さい場合の例であり、（A）は車下陰の左右エッジ付近に車両の左右垂直エッジが存在しない場合である。なお、車下陰CSHの左右エッジが両側にもう少し広がると左右エッジ付近に車両の左右垂直エッジが存在することになる。
図１０は車両の左右エッジを検出する垂直エッジ投影法の説明図である。垂直エッジ投影とは図１０（A）を参照すると、エッジ検出演算子で画像IMの垂直エッジVEG1〜VEG4を抽出して垂直に投影することをいい、垂直エッジ画像(図１０（B）参照)における零でないすべての画素を垂直方向に列ごとに加算し、投影値最大の画素列（垂直エッジVEG2，4の画素位置）を車両の左右エッジ位置とする。
【００１１】
車両の左右垂直エッジの両方が存在し、あるいは左右垂直エッジのいずれも存在しなければ(図７(A)参照)、(4)式
Δwidth = （widthmax - widthshadow）/ 2 (4)
に基づいてΔwidthを算出する（ステップS60）。
widthmaxは、参照幅となる最大車幅が画像上の車下陰CSHの位置に結像する時の幅(結像幅)、widthshadowは該抽出した車下陰CSHの幅である。
次に、該確定された候補領域ROI′の左右両エッジをそれぞれ外方へΔwidthだけシフトして候補領域ROI′に車輌が含まれるように候補領域ROI′のサイズを拡張して対象領域ROIとする（ステップS70）。
【００１２】
一方、ステップS50において、車両の左垂直エッジだけが存在すれば(図７(B)参照)、それぞれ(5)式及び(6)式
Δwidthleft = widthmax × 0.05 (5)
Δwidthright = widthmax - widthshadow (6)
に基づいてΔwidthleftとΔwidthrightを算出する（ステップS80）。
次に、該確定された候補領域ROI′の左右エッジをそれぞれ外方へΔwidthleftとΔwidthrightだけシフトして候補領域ROI′に車輌が含まれるように候補領域ROI′のサイズを拡張して対象領域ROIとする（ステップS90）。
【００１３】
また、ステップS50において、車両の右垂直エッジだけが存在すれば(図７(C)参照)、それぞれ(7)式及び(8)式
Δwidthleft = widthmax - widthshadow (7)
Δwidthright = widthmax × 0.05 (8)
に基づいてΔwidthleftとΔwidthrightを算出する（ステップS100）。
次に、該確定された候補領域ROI′の左右両エッジをそれぞれ外方へΔwidthleftとΔwidthrightだけシフトして候補領域ROI′に車輌が含まれるように候補領域ROI′のサイズを拡張して対象領域ROIとする（ステップS110）。
最後に、ステップ70，90,110において拡張された候補領域ROI′を、車輌を含む対象領域ROIとして分割する（ステップS120）。
【００１４】
ステップS40において、車下陰CSHの幅が結像幅より大きければ、さらに該車下陰の幅と結像幅との比が1.2〜2.5の範囲内にあるか否かを判断する（ステップS130）。
車下陰CSHの幅が参照幅となる最大車幅より大きいということは、二つの車両の水平距離が近くてこの二つの車両の車下陰が繋がっているからである。また、現在の車両の最小の車幅が1.5m、最大車幅が2.5ｍであるとしているため、車両の車下陰が繋がっている時に、該車下陰の幅と参照幅とした最大車幅の比は、一般に1.2〜2.5の範囲内にある。すなわち、通常、最小車幅は1.5ｍで、最大車幅は2.5ｍでるから、2台の車が並んでいる時の最小幅は、
最小幅＝（1.5ｍ＋1.5ｍ）＋車輛間の間隔
となる。したがって、
（（1.5ｍ＋1.5ｍ）＋車輛間の間隔）/（最大車幅2.5ｍ）>3m/2.5ｍ=1.2
となり、最小の比は1.2となる。一方、2台の車が並んでいる時の 最大幅は、
最大幅＝（（2.5ｍ＋2.5ｍ）＋車輛間の間隔）
となる。したがって、
（（2.5ｍ＋2.5ｍ）＋車輛間の間隔）/（最大車幅2.5ｍ）＞5m/2.5ｍ=2
となり、車輛間の間隔を考えるとある程度余裕を持って最大の比を2.5にする。これは経験値です。
図１１に示すように、該比が1.2〜2.5の範囲内にあれば、該確定された候補領域ROI′から、車下陰CSHの左エッジから右への幅が結像幅と等しい領域ROI1を一つの完全な車両CAR1を含む領域として分割し、また、該確定された候補領域ROI′から、車下陰CSHの右エッジから左への幅が結像幅と等しい領域ROI2をもう一つの完全な車両CAR2を含む領域として分割する（ステップS140）。
なお、ステップS130において、比が2.5より大きくなると、3台以上の車が並ぶケースである。かかる場合には、カメラ視角の関係で車がすべて画像に入れないので、この時処理を行わない。また、比が1.2より小さい時は、ステップS50以降の処理を行う。
【００１５】
以上実施例によれば、車両の車下陰幅が結像幅より小さい場合、結像幅と車下陰幅の差に基づいて候補領域の各エッジを外側にシフトして該候補領域を拡張し、該拡張された候補領域を対象領域として画像から分割したから、該対象領域は完全な車両を含むため、車両識別システムは、該分割した対象領域に基づいて、それに含まれる車両を正確に識別することができる。また、車両の車下陰幅が結像幅より大きくかつ両者の比が所定の範囲内にある場合、車両の車下陰の両エッジから内に向かって、それぞれ参照幅の結像幅と等しい幅の二つの対象領域を分割したから、この二つの対象領域は何れも、一つの車両だけを完全に含み、このため、車両識別システムは、該分割した対象領域に基づいて、各領域毎に含まれる車両を正確に識別することができる。
【００１６】
・変形例
前記実施例には、路面を走行する正常な車両の最大車幅を車両の参照幅としたが、本発明はこれに限られるものではなく、本発明において、該参照幅は、必要に応じて他の適当な幅に設定してもよい。
実施例においては、ステップS20において、撮像機で撮像した画像から車両の車下陰を抽出して候補領域を確定し、次に、ステップS30において、小孔透視結像原理で最大車幅が画像上の車下陰の位置で結像する時の幅を(3)式を用いて直接算出した。しかし、本発明はこれに限られない。すなわち、撮像機で撮像した画像上の異なる位置で最大車幅が結像するときの幅(結像幅) A'B'を予め車下陰の位置(TA')を可変にして(3)式により計算してメモリに保存しておく。そして、実際の画像から車両の車下陰を抽出して候補領域を確定すると共に、該車下陰の位置(TA')に応じた結像幅A'B'をメモリから検索して取得するように構成することもできる。
実施例及び変形例において、小孔透視結像原理で参照幅が撮像機で撮像した画像における異なる位置で結像する幅を算出したが、本発明はこれに限られない。本発明において、他の適当な方法で参照幅が撮像機で撮像した画像上の異なる位置で結像する時の幅を算出してもよい。
実施例において、車両を例として本発明を説明したが、本発明はこれに限られない。本発明は、例えば歩行人のような対象を識別する識別システムに適応されてもよい。
本発明に係る画像から対象を分割する方法は、ソフトウエア、ハードウエア、あるいはソフトウエアとハードウエアとを組合せる方式で実現することができる。
【００１７】
図１２は、本発明の対象領域分割装置の構成図であり、本発明に係る部材だけを示している。図１２に示すように、画像から対象を含む領域を分割する対象領域分割装置１０は、対象(例えば車輌)の参照幅を予め設定する参照幅設定部１２と、車輌を含む風景を撮像して得られた画像を入力する画像入力部１３と、画像入力部から得られる画像より前記対象の底部の陰(車下陰)を抽出し、該抽出した車下陰に基づいて前記画像における前記対象を含む候補領域を確定する車下影抽出＆候補領域確定部１４と、前記参照幅が前記画像上の前記車下陰の位置で結像する時の幅(結像幅)を(3)式により計算する結像幅計算部１６と、前記参照幅の結像幅と前記陰幅とに基づいて前記候補領域に前記対象が含まれるように該候補領域のサイズを調整し、前記画像から前記調整後の候補領域を、前記対象を含む領域ROIとして分割する分割領域調整＆分割部１８を備えている。
図１３は本発明の対象領域分割結果説明図であり、（A）は車下陰が車両の片側に存在する場合であるが、本発明によれば実線枠で示すように車全体を含むように対象領域ROIを分割することができる。（B）は２つの車両が接近して並んでそれぞれの車下陰が結合した場合であるが、本発明によれば実線枠で示すようにそれぞれの車輌全体を含む２つの対象領域ROI１、ROI2を分割することができる。
以上本発明を詳細に説明したが、当業者であれば、本発明に開示されている対象領域分割方法及び装置は、本発明の内容から離脱しない限り、さらに、各種の改善をすることができる。そのため、本発明の保護範囲は、本願の特許請求の範囲の内容で確定されるはずである。
【図面の簡単な説明】
【００１８】
【図１】車両画像CIMを含む関心領域ROIの例である。
【図２】車下陰CSHが車幅一杯に存在せず、車両の片側に存在したり、車両の中央一部に存在したりする場合の説明図である。
【図３】車下陰CSHが二つの車両C1,C2の車下陰を接続して構成される場合の説明図である。
【図４】照光角度による影響で車下陰が完全でない実際の例である。
【図５】２つの車両が接近して並んでそれぞれの車下陰が結合した実際の例である。
【図６】撮影された画像から対象(例えば車両)を含む領域を分割する本発明の対象領域分割方法の処理フローである。
【図７】対象領域分割処理の説明図である。
【図８】小孔透視結像原理により最大車幅の結像幅を計算する計算式を導出するための説明図である。
【図９】小孔透視結像原理により最大車幅の結像幅を計算する計算式を導出するための別の説明図である。
【図１０】車両の左右エッジを検出する垂直エッジ投影法の説明図である。
【図１１】二つの車両の車下陰が結合した場合の本発明の分割処理の説明図である。
【図１２】本発明の対象領域分割装置の構成図である。
【図１３】本発明の対象領域分割結果説明図である。
【符号の説明】
【００１９】
１０ 対象領域分割装置
１２ 参照幅設定部
１３ 画像入力部
１４ 車下影抽出＆候補領域確定
１６ 結像幅計算部
１８ 分割領域調整＆分割部
【特許請求の範囲】
【請求項１】
画像から対象を含む領域を分割する対象領域分割方法において、
前記対象の参照幅を予め設定する第１ステップ、
前記画像から前記対象の底部の陰を抽出し、前記抽出された底部の陰に基づいて前記画像における前記対象を含む候補領域を確定する第２ステップ、
前記参照幅が前記画像における前記対象の底部の陰の位置で結像する幅(結像幅)を計算する第３ステップ、
前記参照幅の結像幅と前記陰の幅とに基づいて前記候補領域に前記対象が含まれるように該候補領域のサイズを調整する第４ステップ、
前記画像から前記調整後の候補領域を、前記対象を含む領域として分割する第５ステップ、
を有することを特徴とする対象領域分割方法。
【請求項２】
前記第４ステップは、さらに、
前記抽出された底部の陰幅が前記結像幅より小さいか否かを判断する第１サブステップ、
小さい場合、前記抽出した底部の陰幅と前記結像幅との差に基づいて、前記確定された候補領域のサイズを拡張する第２サブステップ、
を備える、
ことを特徴とする請求項１記載の対象領域分割方法。
【請求項３】
前記第２サブステップは、さらに、
前記画像において、前記抽出した底部の陰の左右エッジ付近に前記対象の左右垂直エッジが存在するか判断するステップ、
前記対象の左右垂直エッジの両方が存在し、あるいは左右垂直エッジの何れもが存在しない場合には、前記確定された候補領域の左右エッジをそれぞれ外側へ前記抽出した底部の陰幅と前記参照幅の結像幅との差の半分、シフトして該候補領域のサイズを拡張するステップと、
を有することを特徴とする請求項２記載の対象領域分割方法。
【請求項４】
前記第２サブステップは、さらに、
前記画像において、前記抽出した底部の陰の左右エッジ付近に前記対象の左右垂直エッジが存在するか判断するステップ、
前記対象の右垂直エッジだけが存在する場合には、前記確定された候補領域の左エッジを左外側へ前記抽出した底部の陰幅と前記参照幅の結像幅との差分、シフトして該候補領域のサイズを拡張するステップ、
を有することを特徴とする請求項２記載の対象領域分割方法。
【請求項５】
前記左エッジを左外側へシフトすると同時に、前記確定された候補領域の右エッジを右外側へ所定の長さシフトするステップ、
を有することを特徴とする請求項４記載の対象領域分割方法。
【請求項６】
前記第２サブステップは、さらに、
前記画像において、前記抽出した底部の陰の左右エッジ付近に前記対象の左右垂直エッジが存在するか判断するステップ、
前記対象の左垂直エッジだけが存在する場合には、前記確定された候補領域の右エッジを右外側へ前記抽出した底部の陰幅と前記参照幅の結像幅との差分、シフトして該候補領域のサイズを拡張するステップ、
を有することを特徴とする請求項２記載の対象領域分割方法。
【請求項７】
前記右エッジを右外側へシフトすると同時に、前記確定された候補領域の左エッジを左外側へ所定の長さシフトするステップ、
を有することを特徴とする請求項６記載の対象領域分割方法。
【請求項８】
前記第１サブステップにおいて、小さくないと判断すれば、前記抽出した底部の陰幅と前記参照幅の結像幅との比が所定の範囲内にあるか否かを判断するステップ、
前記比が前記所定の範囲内にあれば、前記抽出した底部の陰の左エッジから右方向への幅が前記結像幅と等しい領域あるいは該領域より大きい領域を第１の対象領域として前記確定された候補領域から分割し、また、該抽出した底部の陰の右エッジから左方向への幅が前記結像幅と等しい領域あるいは該領域より大きい領域を第２の対象領域として前記確定された候補領域から分割するステップ、
を有することを特徴とする請求項２記載の対象領域分割方法。
【請求項９】
前記所定の範囲は１．２〜２．５であることを特徴とする請求項８記載の対象領域分割方法。
【請求項１０】
前記第３ステップは、さらに、
前記参照幅が前記画像の各位置で結像する時の幅を前記陰位置に応じて予め計算して記憶するステップ、
前記参照幅が前記画像における前記対象の底部の陰の位置で結像する時の幅を、前記記憶した値から検索して取得するステップと、
を有することを特徴とする請求項１記載の対象領域分割方法。
【請求項１１】
前記参照幅は前記対象の最大幅と等しい、ことを特徴とする請求項１記載の対象領域分割方法。
【請求項１２】
前記対象は車両を含む、ことを特徴とする請求項１記載の対象領域分割方法。
【請求項１３】
小孔透視結像原理で前記参照幅が前記画像で結像する時の幅を算出するステップ、
を有することを特徴とする請求項１又は１０記載の対象領域分割方法。
【請求項１４】
画像から対象を含む領域を分割する対象領域分割装置において、
前記対象の参照幅を予め設定する設定部と、
前記画像から前記対象の底部の陰を抽出し、前記抽出した底部の陰に基づいて前記画像における前記対象を含む候補領域を確定する抽出及び確定部、
前記参照幅が前記画像における前記対象の底部の陰の位置で結像する幅(結像幅)を計算する結像幅計算部、
前記参照幅の結像幅と前記陰の幅とに基づいて前記候補領域に前記対象が含まれるように該候補領域のサイズを調整する領域サイズ調整部、
前記画像から前記調整後の候補領域を、前記対象を含む領域として分割する対象領域分割部、
を有することを特徴とする対象領域分割装置。
【請求項１５】
前記領域サイズ調整部は、前記抽出された底部の陰幅が前記結像幅より小さいか否かを判断し、小さい場合、前記抽出した底部の陰幅と前記結像幅との差に基づいて、前記確定された候補領域のサイズを拡張する、
ことを特徴とする請求項１４記載の対象領域分割装置。
【請求項１６】
前記領域サイズ調整部は、前記抽出された底部の陰幅が前記結像幅より小さいか否かを判断し、小さくない場合、前記抽出した底部の陰幅と前記参照幅の結像幅との比が所定の範囲内にあるか否かを判断し、前記比が前記所定の範囲内にあれば、前記抽出した底部の陰の左エッジから右方向への幅が前記結像幅と等しい領域あるいは該領域より大きい領域を第１の対象領域として前記確定された候補領域から分割し、また、該抽出した底部の陰の右エッジから左方向への幅が前記結像幅と等しい領域あるいは該領域より大きい領域を第２の対象領域として前記確定された候補領域から分割する、
ことを特徴とする請求項１５記載の対象領域分割装置。
【請求項１】
画像から対象を含む領域を分割する対象領域分割方法において、
前記対象の参照幅を予め設定する第１ステップ、
前記画像から前記対象の底部の陰を抽出し、前記抽出された底部の陰に基づいて前記画像における前記対象を含む候補領域を確定する第２ステップ、
前記参照幅が前記画像における前記対象の底部の陰の位置で結像する幅(結像幅)を計算する第３ステップ、
前記参照幅の結像幅と前記陰の幅とに基づいて前記候補領域に前記対象が含まれるように該候補領域のサイズを調整する第４ステップ、
前記画像から前記調整後の候補領域を、前記対象を含む領域として分割する第５ステップ、
を有することを特徴とする対象領域分割方法。
【請求項２】
前記第４ステップは、さらに、
前記抽出された底部の陰幅が前記結像幅より小さいか否かを判断する第１サブステップ、
小さい場合、前記抽出した底部の陰幅と前記結像幅との差に基づいて、前記確定された候補領域のサイズを拡張する第２サブステップ、
を備える、
ことを特徴とする請求項１記載の対象領域分割方法。
【請求項３】
前記第２サブステップは、さらに、
前記画像において、前記抽出した底部の陰の左右エッジ付近に前記対象の左右垂直エッジが存在するか判断するステップ、
前記対象の左右垂直エッジの両方が存在し、あるいは左右垂直エッジの何れもが存在しない場合には、前記確定された候補領域の左右エッジをそれぞれ外側へ前記抽出した底部の陰幅と前記参照幅の結像幅との差の半分、シフトして該候補領域のサイズを拡張するステップと、
を有することを特徴とする請求項２記載の対象領域分割方法。
【請求項４】
前記第２サブステップは、さらに、
前記画像において、前記抽出した底部の陰の左右エッジ付近に前記対象の左右垂直エッジが存在するか判断するステップ、
前記対象の右垂直エッジだけが存在する場合には、前記確定された候補領域の左エッジを左外側へ前記抽出した底部の陰幅と前記参照幅の結像幅との差分、シフトして該候補領域のサイズを拡張するステップ、
を有することを特徴とする請求項２記載の対象領域分割方法。
【請求項５】
前記左エッジを左外側へシフトすると同時に、前記確定された候補領域の右エッジを右外側へ所定の長さシフトするステップ、
を有することを特徴とする請求項４記載の対象領域分割方法。
【請求項６】
前記第２サブステップは、さらに、
前記画像において、前記抽出した底部の陰の左右エッジ付近に前記対象の左右垂直エッジが存在するか判断するステップ、
前記対象の左垂直エッジだけが存在する場合には、前記確定された候補領域の右エッジを右外側へ前記抽出した底部の陰幅と前記参照幅の結像幅との差分、シフトして該候補領域のサイズを拡張するステップ、
を有することを特徴とする請求項２記載の対象領域分割方法。
【請求項７】
前記右エッジを右外側へシフトすると同時に、前記確定された候補領域の左エッジを左外側へ所定の長さシフトするステップ、
を有することを特徴とする請求項６記載の対象領域分割方法。
【請求項８】
前記第１サブステップにおいて、小さくないと判断すれば、前記抽出した底部の陰幅と前記参照幅の結像幅との比が所定の範囲内にあるか否かを判断するステップ、
前記比が前記所定の範囲内にあれば、前記抽出した底部の陰の左エッジから右方向への幅が前記結像幅と等しい領域あるいは該領域より大きい領域を第１の対象領域として前記確定された候補領域から分割し、また、該抽出した底部の陰の右エッジから左方向への幅が前記結像幅と等しい領域あるいは該領域より大きい領域を第２の対象領域として前記確定された候補領域から分割するステップ、
を有することを特徴とする請求項２記載の対象領域分割方法。
【請求項９】
前記所定の範囲は１．２〜２．５であることを特徴とする請求項８記載の対象領域分割方法。
【請求項１０】
前記第３ステップは、さらに、
前記参照幅が前記画像の各位置で結像する時の幅を前記陰位置に応じて予め計算して記憶するステップ、
前記参照幅が前記画像における前記対象の底部の陰の位置で結像する時の幅を、前記記憶した値から検索して取得するステップと、
を有することを特徴とする請求項１記載の対象領域分割方法。
【請求項１１】
前記参照幅は前記対象の最大幅と等しい、ことを特徴とする請求項１記載の対象領域分割方法。
【請求項１２】
前記対象は車両を含む、ことを特徴とする請求項１記載の対象領域分割方法。
【請求項１３】
小孔透視結像原理で前記参照幅が前記画像で結像する時の幅を算出するステップ、
を有することを特徴とする請求項１又は１０記載の対象領域分割方法。
【請求項１４】
画像から対象を含む領域を分割する対象領域分割装置において、
前記対象の参照幅を予め設定する設定部と、
前記画像から前記対象の底部の陰を抽出し、前記抽出した底部の陰に基づいて前記画像における前記対象を含む候補領域を確定する抽出及び確定部、
前記参照幅が前記画像における前記対象の底部の陰の位置で結像する幅(結像幅)を計算する結像幅計算部、
前記参照幅の結像幅と前記陰の幅とに基づいて前記候補領域に前記対象が含まれるように該候補領域のサイズを調整する領域サイズ調整部、
前記画像から前記調整後の候補領域を、前記対象を含む領域として分割する対象領域分割部、
を有することを特徴とする対象領域分割装置。
【請求項１５】
前記領域サイズ調整部は、前記抽出された底部の陰幅が前記結像幅より小さいか否かを判断し、小さい場合、前記抽出した底部の陰幅と前記結像幅との差に基づいて、前記確定された候補領域のサイズを拡張する、
ことを特徴とする請求項１４記載の対象領域分割装置。
【請求項１６】
前記領域サイズ調整部は、前記抽出された底部の陰幅が前記結像幅より小さいか否かを判断し、小さくない場合、前記抽出した底部の陰幅と前記参照幅の結像幅との比が所定の範囲内にあるか否かを判断し、前記比が前記所定の範囲内にあれば、前記抽出した底部の陰の左エッジから右方向への幅が前記結像幅と等しい領域あるいは該領域より大きい領域を第１の対象領域として前記確定された候補領域から分割し、また、該抽出した底部の陰の右エッジから左方向への幅が前記結像幅と等しい領域あるいは該領域より大きい領域を第２の対象領域として前記確定された候補領域から分割する、
ことを特徴とする請求項１５記載の対象領域分割装置。
【図１】
【図２】
【図３】
【図４】
【図５】
【図６】
【図７】
【図８】
【図９】
【図１０】
【図１１】
【図１２】
【図１３】
【図２】
【図３】
【図４】
【図５】
【図６】
【図７】
【図８】
【図９】
【図１０】
【図１１】
【図１２】
【図１３】
【公開番号】特開２００８−１３００８７（Ｐ２００８−１３００８７Ａ）
【公開日】平成２０年６月５日（２００８．６．５）
【国際特許分類】
【出願番号】特願２００７−２７１０６２（Ｐ２００７−２７１０６２）
【出願日】平成１９年１０月１８日（２００７．１０．１８）
【出願人】（０００１０１７３２）アルパイン株式会社 (2,424)
【Ｆターム（参考）】
【公開日】平成２０年６月５日（２００８．６．５）
【国際特許分類】
【出願日】平成１９年１０月１８日（２００７．１０．１８）
【出願人】（０００１０１７３２）アルパイン株式会社 (2,424)
【Ｆターム（参考）】
[ Back to top ]