説明

異物検知装置

【課題】低SNR環境下でも、異物を正確に検知することができる異物検知装置を得ることを目的とする。
【解決手段】三次元画像の縦方向成分が同一の画素単位に、異物の検知処理を開始する前に三次元画像撮像装置1から出力された各画素の反射強度値Ii,jの中で、最大の反射強度値Iimaxと最小の反射強度値Iiminを取得して、最大の反射強度値Iimaxを上限閾値THUPに設定するとともに、最小の反射強度値Iiminを下限閾値THLOWに設定する閾値設定部11を設ける。

【発明の詳細な説明】
【技術分野】
【0001】
この発明は、三次元画像の中に存在している異物を検知する異物検知装置に関するものである。
【背景技術】
【0002】
例えば、以下の特許文献1に開示されている異物検知装置では、レーザパルスを走査することで、その走査ポイントの距離値を取得することが可能なセンサを設置し、そのセンサにより取得された距離値から高度値を算出する。
そして、異物検知装置では、その高度値と予め設定されている閾値を比較し、高度値が閾値以上である走査ポイントの数が設定数以上であれば、異物(車両)が存在していると判断する。
【先行技術文献】
【特許文献】
【0003】
【特許文献1】特開2004−272842号公報(段落番号[0016])
【発明の概要】
【発明が解決しようとする課題】
【0004】
従来の異物検知装置は以上のように構成されているので、高SNR環境下で、走査ポイントの距離値を正確に取得することができれば、異物を正確に検知することが可能であるが、外乱などの影響で低SNR環境となり、走査ポイントの距離値を正確に取得することができなくなると、異物の検知精度が劣化してしまうなどの課題があった。
【0005】
この発明は上記のような課題を解決するためになされたもので、低SNR環境下でも、異物を正確に検知することができる異物検知装置を得ることを目的とする。
【課題を解決するための手段】
【0006】
この発明に係る異物検知装置は、異物の検知処理を開始する前に、異物が存在していない状況下で観測領域の三次元画像を撮像して、その三次元画像の各画素の反射強度値を出力するとともに、異物の検知処理時に観測領域の三次元画像を撮像して、その三次元画像の各画素の反射強度値を出力する三次元画像撮像手段と、三次元画像の縦方向成分が同一の画素単位に、異物の検知処理を開始する前に三次元画像撮像手段から出力された各画素の反射強度値の中で、最大の反射強度値を取得して、最大の反射強度値を上限閾値に設定する閾値設定手段と、三次元画像の縦方向成分が同一の画素単位に、異物の検知処理時に三次元画像撮像手段から出力された各画素の反射強度値と閾値設定手段により設定された上限閾値を比較し、その反射強度値が上限閾値より高い画素を検出する画素検出手段とを設け、異物検知手段が、画素検出手段により検出された画素の総数が予め設定された画素数より多い場合、三次元画像の中に異物が存在していると判断するようにしたものである。
【発明の効果】
【0007】
この発明によれば、異物の検知処理を開始する前に、異物が存在していない状況下で観測領域の三次元画像を撮像して、その三次元画像の各画素の反射強度値を出力するとともに、異物の検知処理時に観測領域の三次元画像を撮像して、その三次元画像の各画素の反射強度値を出力する三次元画像撮像手段と、三次元画像の縦方向成分が同一の画素単位に、異物の検知処理を開始する前に三次元画像撮像手段から出力された各画素の反射強度値の中で、最大の反射強度値を取得して、最大の反射強度値を上限閾値に設定する閾値設定手段と、三次元画像の縦方向成分が同一の画素単位に、異物の検知処理時に三次元画像撮像手段から出力された各画素の反射強度値と閾値設定手段により設定された上限閾値を比較し、その反射強度値が上限閾値より高い画素を検出する画素検出手段とを設け、異物検知手段が、画素検出手段により検出された画素の総数が予め設定された画素数より多い場合、三次元画像の中に異物が存在していると判断するように構成したので、低SNR環境下でも、異物を正確に検知することができる効果がある。
【図面の簡単な説明】
【0008】
【図1】この発明の実施の形態1による異物検知装置を示す構成図である。
【図2】この発明の実施の形態1による異物検知装置の閾値設定部11を示す構成図である。
【図3】三次元画像撮像装置1の設置状態を示す説明図である。
【図4】この発明の実施の形態2による異物検知装置を示す構成図である。
【図5】この発明の実施の形態2による異物検知装置の閾値算出部31を示す構成図である。
【図6】この発明の実施の形態2による異物検知装置の閾値処理部32を示す構成図である。
【図7】閾値生成時における異物検知ウィンドウの設定例を示す説明図である。
【図8】閾値処理時における異物検知ウィンドウの設定例を示す説明図である。
【図9】この発明の実施の形態4による異物検知装置を示す構成図である。
【図10】誤検知認定部60により設定される誤検知除去用ウィンドウの設定例を示す説明図である。
【図11】この発明の実施の形態5による異物検知装置を示す構成図である。
【発明を実施するための形態】
【0009】
実施の形態1.
図1はこの発明の実施の形態1による異物検知装置を示す構成図である。
図1の異物検知装置は、例えば、ゲートの進入監視システムや、道路の交通監視システムなどに適用され、人間や車両などを異物として検知する装置である。
この実施の形態1では、説明の便宜上、車両を異物として検知する例を説明するが、車両以外の物体等を異物として検知するようにしてもよい。
【0010】
図1において、三次元画像撮像装置1は例えば受信スキャンレス型のレーザ画像計測装置が該当し、異物の検知処理を開始する前に、異物である車両が存在していない状況下で観測領域の三次元画像(背景の画像)を撮像して、その三次元画像の各画素の反射強度値Ii,jを出力するとともに、異物の検知処理時に観測領域の三次元画像(背景上に車両が映されている可能性がある画像)を撮像して、その三次元画像の各画素の反射強度値Ii,jを出力する処理を実施する。なお、三次元画像撮像装置1は三次元画像撮像手段を構成している。
異物検知処理装置2は三次元画像撮像装置1から出力された三次元画像の各画素の反射強度値Ii,jを用いて、三次元画像の中に存在している車両(異物)を検知する装置である。
【0011】
異物検知処理装置2の閾値設定部11は例えばCPUを実装している半導体集積回路、あるいは、ワンチップマイコンなどから構成されており、三次元画像の縦方向成分であるデータ方向(i)が同一の画素単位に、異物の検知処理を開始する前に三次元画像撮像装置1から出力された各画素の反射強度値Ii,jの中で、最大の反射強度値Iimaxと最小の反射強度値Iiminを取得して、最大の反射強度値Iimaxを上限閾値THUPに設定するとともに、最小の反射強度値Iiminを下限閾値THLOWに設定する処理を実施する。なお、閾値設定部11は閾値設定手段を構成している。
【0012】
閾値処理部12は例えばCPUを実装している半導体集積回路、あるいは、ワンチップマイコンなどから構成されており、三次元画像のデータ方向(i)が同一の画素単位に、異物の検知処理時に三次元画像撮像装置1から出力された各画素の反射強度値Ii,jと閾値設定部11により設定された上限閾値THUP及び下限閾値THLOWを比較し、その反射強度値Ii,jが上限閾値THUPより高い画素又は反射強度値Ii,jが下限閾値THLOWより低い画素を検出する処理を実施する。
また、閾値処理部12は例えば三次元画像撮像装置1から各画素の反射強度値Ii,jが出力される前の起動時には、事前に設定されている固定の閾値(上限閾値THUP、下限閾値THLOW)の出力を指示する“0”の閾値切替フラグを閾値設定部11に出力し、三次元画像撮像装置1から反射強度値Ii,jの出力が開始されると、三次元画像(背景の画像)の各画素の反射強度値Ii,jから設定される閾値(上限閾値THUP、下限閾値THLOW)の出力を指示する“1”の閾値切替フラグを閾値設定部11に出力する処理を実施する。なお、閾値処理部12は画素検出手段を構成している。
【0013】
異物検知部13は例えばCPUを実装している半導体集積回路、あるいは、ワンチップマイコンなどから構成されており、閾値処理部12により検出された画素の総数が予め設定された有効画素数より多い場合、三次元画像の中に異物が存在していると判断する処理を実施する。なお、異物検知部13は異物検知手段を構成している。
【0014】
図1の例では、異物検知装置における異物検知処理装置2の構成要素である閾値設定部11、閾値処理部12及び異物検知部13のそれぞれが専用のハードウェアで構成されているものを想定しているが、異物検知処理装置2がコンピュータで構成されるようにしてもよい。
この場合、閾値設定部11、閾値処理部12及び異物検知部13の処理内容を記述しているプログラムをコンピュータのメモリに格納し、当該コンピュータのCPUが当該メモリに格納されているプログラムを実行するようにすればよい。
【0015】
図2はこの発明の実施の形態1による異物検知装置の閾値設定部11を示す構成図である。
図2において、閾値切替フラグ取得部21は閾値処理部12から出力される閾値切替フラグを取得する処理を実施する。
閾値生成部22は事前に設定された固定の閾値(上限閾値THUP、下限閾値THLOW)を記憶しており、閾値切替フラグ取得部21により取得された閾値切替フラグが“0”であれば、その固定の閾値(上限閾値THUP、下限閾値THLOW)を閾値処理部12に出力する一方、閾値切替フラグ取得部21により取得された閾値切替フラグが“1”であれば、三次元画像のデータ方向(i)が同一の画素単位に、異物の検知処理を開始する前に三次元画像撮像装置1から出力された各画素の反射強度値Ii,jの中で、最大の反射強度値Iimaxと最小の反射強度値Iiminを取得して、最大の反射強度値Iimaxを上限閾値THUPに設定するとともに、最小の反射強度値Iiminを下限閾値THLOWに設定し、その上限閾値THUP及び下限閾値THLOWを閾値処理部12に出力する処理を実施する。
【0016】
次に動作について説明する。
図3は三次元画像撮像装置1の設置状態を示す説明図である。
図3の例では、地上に対して直上方向(図中、上方向)を高度方向(Z)、その高度方向に対して垂直な方向(図中、右方向)を奥行方向(X)と定義している。
また、図3の例では、高度−奥行方向の平面に対して、垂直な方向を進行方向と定義している。
【0017】
三次元画像撮像装置1からビームが走査されることで、そのビーム照射領域から得られる視線方向の距離値をD、三次元画像撮像装置1の設置高度をH、ビーム走査角度をφ、センサオフナディア角θとすると、ビームの走査ポイントにおける高度値Zと奥行距離値Xは、下記の式(1)で表される。
Z=H−D・cos(θ+φ)
X=D・sin(θ+φ) (1)
三次元画像撮像装置1は、ビームを奥行方向の1次元に走査し、その走査範囲における多点の距離値Xと走査角度φから、観測領域の二次元断面を取得する。
また、三次元画像撮像装置1は、異物である車両が観測領域を通過することにより、三次元画像を取得する。
図3に示している画像は、三次元画像撮像装置1により撮像される画像の一例であり、その画像の横軸方向をライン方向(j)、縦軸方向をデータ方向(i)と定義している。
【0018】
三次元画像撮像装置1は、異物の検知処理を開始する前に、異物である車両が存在していない状況下で観測領域の三次元画像(背景の画像)を撮像して、その三次元画像の各画素の反射強度値Ii,jを異物検知処理装置2に出力する。
また、三次元画像撮像装置1は、異物の検知処理時に観測領域の三次元画像(背景上に車両が映されている可能性がある画像)を撮像して、その三次元画像の各画素の反射強度値Ii,jを異物検知処理装置2に出力する。
なお、三次元画像撮像装置1は、各画素の反射強度値Ii,jの他に、高度値や距離値を取得することができるが、この実施の形態1では、異物検知処理装置2が高度値や距離値を使用しないので、各画素の反射強度値Ii,jだけを異物検知処理装置2に出力する。
【0019】
異物検知処理装置2の閾値処理部12は、例えば、三次元画像撮像装置1から各画素の反射強度値Ii,jが出力される前の起動時では、事前に設定されている固定の閾値(上限閾値THUP、下限閾値THLOW)の出力を指示する“0”の閾値切替フラグを閾値設定部11に出力する。
また、三次元画像撮像装置1から反射強度値Ii,jの出力が開始されると、三次元画像(背景の画像)の各画素の反射強度値Ii,jから設定される閾値(上限閾値THUP、下限閾値THLOW)の出力を指示する“1”の閾値切替フラグを閾値設定部11に出力する。
【0020】
閾値設定部11の閾値切替フラグ取得部21は、閾値処理部12から出力される閾値切替フラグを取得し、その閾値切替フラグを閾値生成部22に出力する。
閾値設定部11の閾値生成部22は、例えば、ユーザによって事前に設定された固定の閾値(上限閾値THUP、下限閾値THLOW)を記憶しており、閾値切替フラグ取得部21から出力された閾値切替フラグが“0”であれば、その固定の閾値(上限閾値THUP、下限閾値THLOW)を閾値処理部12に出力する。
【0021】
閾値生成部22は、閾値切替フラグ取得部21から出力された閾値切替フラグが“1”であれば、三次元画像のデータ方向(i)が同一の画素単位に、異物の検知処理を開始する前に三次元画像撮像装置1から出力された各画素の反射強度値Ii,jの中で、最大の反射強度値Iimaxと最小の反射強度値Iiminを取得する。
例えば、三次元画像のライン方向(j)の画素数がM、データ方向(i)の画素数がNである場合(M×Nの画像)、縦方向成分が同一の画素単位に、M個の画素の反射強度値Ii,jの中で、最大の反射強度値Iimaxと最小の反射強度値Iiminを取得する。
閾値生成部22は、縦方向成分が同一の画素単位に、最大の反射強度値Iimaxを上限閾値THUPに設定するとともに、最小の反射強度値Iiminを下限閾値THLOWに設定し、その上限閾値THUP及び下限閾値THLOWを閾値処理部12に出力する。
この例では、縦方向成分であるデータ方向(i)の画素数がN個であるため、N個の上限閾値THUPと、N個の下限閾値THLOWを閾値処理部12に出力する。
【0022】
閾値処理部12は、閾値設定部11からデータ方向(i)が同一の画素単位の上限閾値THUP及び下限閾値THLOWを受けると、異物の検知処理時に三次元画像撮像装置1から出力された各画素の反射強度値Ii,jと閾値設定部11により設定された上限閾値THUP及び下限閾値THLOWを比較する。ただし、反射強度値Ii,jと比較する閾値は、その反射強度値Ii,jとデータ方向(i)が同一の上限閾値THUP及び下限閾値THLOWである。
閾値処理部12は、画素の反射強度値Ii,jが上限閾値THUPより高い場合、または、画素の反射強度値Ii,jが下限閾値THLOWより低い場合(式(2)の不等式が成立する場合)、その画素は車両(異物)の一部を構成している画素であると判断し、異物検出画素数を示す画素カウント値Cをインクリメントする。ただし、画素カウント値Cの初期値は0である。
i,j< THLOW または Ii,j>THUP (2)
【0023】
異物検知部13は、閾値処理部12から出力された画素カウント値Cが予め設定された有効画素数より多い場合、三次元画像の中に異物が存在していると判断する。
例えば、三次元画像の中に異物が存在している場合、“1”の異物検知フラグを出力し、三次元画像の中に異物が存在していない場合、“0”の異物検知フラグを出力する。
なお、有効画素数は、一定の閾値でなくてもよく、上限値と下限値を設定して、バンドパスとするようにしても、誤検知を低減することができる。
【0024】
以上で明らかなように、この実施の形態1によれば、異物の検知処理を開始する前に、異物が存在していない状況下で観測領域の三次元画像を撮像して、その三次元画像の各画素の反射強度値Ii,jを出力するとともに、異物の検知処理時に観測領域の三次元画像を撮像して、その三次元画像の各画素の反射強度値Ii,jを出力する三次元画像撮像装置1と、三次元画像の縦方向成分が同一の画素単位に、異物の検知処理を開始する前に三次元画像撮像装置1から出力された各画素の反射強度値Ii,jの中で、最大の反射強度値Iimaxと最小の反射強度値Iiminを取得して、最大の反射強度値Iimaxを上限閾値THUPに設定するとともに、最小の反射強度値Iiminを下限閾値THLOWに設定する閾値設定部11と、三次元画像の縦方向成分が同一の画素単位に、異物の検知処理時に三次元画像撮像装置1から出力された各画素の反射強度値Ii,jと閾値設定部11により設定された上限閾値THUP及び下限閾値THLOWを比較し、その反射強度値Ii,jが上限閾値THUPより高い画素又は反射強度値Ii,jが下限閾値THLOWより低い画素を検出する閾値処理部12とを設け、異常検知部13が、閾値処理部12より検出された画素の総数が予め設定された有効画素数より多い場合、三次元画像の中に異物である車両が存在していると判断するように構成したので、三次元画像撮像装置1による撮像環境に応じて上限閾値THUP及び下限閾値THLOWが動的に設定されるようになり、その結果、低SNR環境下でも、異物である車両を正確に検知することができる効果を奏する。
【0025】
なお、この実施の形態1では、閾値処理部12が、三次元画像撮像装置1から出力された各画素の反射強度値Ii,jと閾値設定部11により設定された上限閾値THUP及び下限閾値THLOWを比較し、その反射強度値Ii,jが上限閾値THUPより高い画素又は反射強度値Ii,jが下限閾値THLOWより低い画素を検出するものを示したが、異物検知部13により異物である車両が検出されない場合に、閾値処理部12が、例えば、LOG(Laplacian Of Gaussian Filter)フィルタとゼロクロスフィルタの組合せや、Cannyフィルタなどを用いて、三次元画像撮像装置1により撮像された三次元画像に対するエッジ検出処理を実施し、その三次元画像からエッジが検出される場合には、異物検知部13が、三次元画像の中に異物が存在していると判断するようにしてもよい。
【0026】
また、この実施の形態1では、閾値処理部12が、三次元画像撮像装置1から各画素の反射強度値Ii,jが出力される前の起動時では、事前に設定されている固定の閾値の出力を指示する“0”の閾値切替フラグを出力し、三次元画像撮像装置1から反射強度値Ii,jの出力が開始されると、三次元画像(背景の画像)の各画素の反射強度値Ii,jから設定される閾値の出力を指示する“1”の閾値切替フラグを出力するものを示したが、これは一例に過ぎず、例えば、背景が変化しない環境下では事前に設定された固定の閾値(上限閾値THUP、下限閾値THLOW)の出力を指示する“0”の閾値切替フラグを出力し、背景が変化する環境下では三次元画像(背景の画像)の各画素の反射強度値Ii,jから設定される閾値(上限閾値THUP、下限閾値THLOW)の出力を指示する“1”の閾値切替フラグを出力するようにしてもよい。
【0027】
実施の形態2.
図4はこの発明の実施の形態2による異物検知装置を示す構成図であり、図において、図1と同一符号は同一または相当部分を示すので説明を省略する。
三次元画像撮像装置3は例えば受信スキャンレス型のレーザ画像計測装置が該当し、異物の検知処理を開始する前に、異物である車両が存在していない状況下で観測領域の三次元画像(背景の画像)を撮像して、その三次元画像の各画素の高度値Zi,jを出力するとともに、異物の検知処理時に観測領域の三次元画像(背景上に車両が映されている可能性がある画像)を撮像して、その三次元画像の各画素の高度値Zi,jを出力する処理を実施する。なお、三次元画像撮像装置3は三次元画像撮像手段を構成している。
異物検知処理装置4は三次元画像撮像装置3から出力された三次元画像の各画素の高度値Zi,jを用いて、三次元画像の中に存在している車両(異物)を検知する装置である。
【0028】
異物検知処理装置4の閾値算出部31は例えばCPUを実装している半導体集積回路、あるいは、ワンチップマイコンなどから構成されており、三次元画像における異物検知ウィンドウ(所定の領域)毎に、異物の検知処理を開始する前に三次元画像撮像装置3から出力された各画素の高度値Zi,jの平均値Zm及び標準偏差値Zstdを求め、その平均値Zm及び標準偏差値Zstdから異物閾値THb(i,j)を算出する処理を実施する。なお、閾値算出部31は閾値算出手段を構成している。
【0029】
閾値処理部32は例えばCPUを実装している半導体集積回路、あるいは、ワンチップマイコンなどから構成されており、三次元画像における異物検知ウィンドウ毎に、異物の検知処理時に三次元画像撮像装置3から出力された各画素の高度値Zi,jの平均値Zmwin及び標準偏差値Zstdwinを求め、その平均値Zmwin及び標準偏差値Zstdwinから背景以外の車両(異物)を表す指数である異物指数S(i,j)を算出する処理を実施する。
また、閾値処理部32は異物指数S(i,j)と閾値算出部31により算出された異物閾値THb(i,j)を比較し、その異物指数S(i,j)が異物閾値THb(i,j)より高い領域(異物検知ウィンドウ)を検出する処理を実施する。
また、閾値処理部32は例えば三次元画像撮像装置3から各画素の高度値Zi,jが出力される前の起動時には、事前に設定されている固定の異物閾値THb(i,j)の出力を指示する“0”の閾値切替フラグを閾値算出部31に出力し、三次元画像撮像装置3から高度値Zi,jの出力が開始されると、三次元画像(背景の画像)の各画素の高度値Zi,jから設定される異物閾値THb(i,j)の出力を指示する“1”の閾値切替フラグを閾値算出部31に出力する処理を実施する。なお、閾値処理部32は領域検出手段を構成している。
【0030】
異物検知部33は例えばCPUを実装している半導体集積回路、あるいは、ワンチップマイコンなどから構成されており、閾値処理部32により検出された領域の総数が予め設定された有効領域数より多い場合、三次元画像の中に異物が存在していると判断する処理を実施する。なお、異物検知部33は異物検知手段を構成している。
【0031】
図4の例では、異物検知装置における異物検知処理装置4の構成要素である閾値算出部31、閾値処理部32及び異物検知部33のそれぞれが専用のハードウェアで構成されているものを想定しているが、異物検知処理装置4がコンピュータで構成されるようにしてもよい。
この場合、閾値算出部31、閾値処理部32及び異物検知部33の処理内容を記述しているプログラムをコンピュータのメモリに格納し、当該コンピュータのCPUが当該メモリに格納されているプログラムを実行するようにすればよい。
【0032】
図5はこの発明の実施の形態2による異物検知装置の閾値算出部31を示す構成図である。
図5において、閾値切替フラグ取得部41は閾値処理部32から出力される閾値切替フラグを取得する処理を実施する。
閾値生成部42は事前に設定された固定の異物閾値THb(i,j)を記憶しており、閾値切替フラグ取得部41により取得された閾値切替フラグが“0”であれば、その固定の異物閾値THb(i,j)を閾値処理部32に出力する一方、閾値切替フラグ取得部41により取得された閾値切替フラグが“1”であれば、三次元画像における異物検知ウィンドウ毎に、異物の検知処理を開始する前に三次元画像撮像装置3から出力された各画素の高度値Zi,jの平均値Zm及び標準偏差値Zstdを求め、その平均値Zm及び標準偏差値Zstdから異物閾値THb(i,j)を算出し、その異物閾値THb(i,j)を閾値処理部32に出力する処理を実施する。
【0033】
図6はこの発明の実施の形態2による異物検知装置の閾値処理部32を示す構成図である。
図6において、異物指数算出部51は三次元画像における異物検知ウィンドウ毎に、異物の検知処理時に三次元画像撮像装置3から出力された各画素の高度値Zi,jの平均値Zmwin及び標準偏差値Zstdwinを求め、その高度値Zi,jの平均値Zmwin及び標準偏差値Zstdwinから背景以外の車両(異物)を表す指数である異物指数S(i,j)を算出する処理を実施する。なお、異物指数算出部51は異物指数算出手段を構成している。
領域検出部52は異物指数算出部51により算出された異物指数S(i,j)と閾値算出部31により算出された異物閾値THb(i,j)を比較し、その異物指数S(i,j)が異物閾値THb(i,j)より高い領域(異物検知ウィンドウ)を検出する処理を実施する。なお、領域検出部52は領域検出手段を構成している。
【0034】
次に動作について説明する。
三次元画像撮像装置3は、異物の検知処理を開始する前に、異物である車両が存在していない状況下で観測領域の三次元画像(背景の画像)を撮像して、その三次元画像の各画素の高度値Zi,jを異物検知処理装置4に出力する。
また、三次元画像撮像装置3は、異物の検知処理時に観測領域の三次元画像(背景上に車両が映されている可能性がある画像)を撮像して、その三次元画像の各画素の高度値Zi,jを異物検知処理装置4に出力する。
なお、三次元画像撮像装置3は、各画素の高度値Zi,jの他に、反射強度値や距離値を取得することができるが、この実施の形態2では、異物検知処理装置4が反射強度値や距離値を使用しないので、各画素の高度値Zi,jだけを異物検知処理装置4に出力する。
【0035】
異物検知処理装置4の閾値処理部32は、例えば、三次元画像撮像装置3から各画素の高度値Zi,jが出力される前の起動時には、事前に設定されている固定の異物閾値THb(i,j)の出力を指示する“0”の閾値切替フラグを閾値算出部31に出力する。
また、三次元画像撮像装置3から高度値Zi,jの出力が開始されると、三次元画像(背景の画像)の各画素の高度値Zi,jから設定される異物閾値THb(i,j)の出力を指示する“1”の閾値切替フラグを閾値算出部31に出力する。
【0036】
閾値算出部31の閾値切替フラグ取得部41は、閾値処理部32から出力される閾値切替フラグを取得し、その閾値切替フラグを閾値生成部42に出力する。
閾値算出部31の閾値生成部42は、例えば、ユーザによって事前に設定された固定の異物閾値THb(i,j)を記憶しており、閾値切替フラグ取得部41から出力された閾値切替フラグが“0”であれば、その固定の異物閾値THb(i,j)を閾値処理部32に出力する。
【0037】
閾値生成部42は、閾値切替フラグ取得部41から出力された閾値切替フラグが“1”であれば、三次元画像の中に異物検知ウィンドウを設定する。
ここで、図7は閾値生成時における異物検知ウィンドウの設定例を示す説明図である。
図7の例では、異物検知ウィンドウとして、3×3画素サイズの領域を設定しており、異物検知ウィンドウはデータ方向(i)又はライン方向(j)に1画素ずつずらしながら、三次元画像の全体をカバーするように設定される。
また、図7の例では、異物検知ウィンドウの中心に位置している画素を注目画素としている。
【0038】
閾値生成部42は、三次元画像の中に異物検知ウィンドウを設定すると、異物の検知処理を開始する前に三次元画像撮像装置3から出力された各画素の高度値Zi,jのうち、その異物検知ウィンドウ内の画素の高度値Zi,jを取得する。図7の例では、9個の画素の高度値Zi,jを取得する。
閾値生成部42は、異物検知ウィンドウ内の画素の高度値Zi,jを取得すると、データ方向(i)が同一の画素単位に、各画素の高度値Zi,jの平均値Zm及び標準偏差値Zstdを算出する。
図7の例では、注目画素の座標が(i,j)であるとすると、データ方向の座標が“i−1”である3個の画素の高度値の平均値Zm及び標準偏差値Zstdと、データ方向の座標が“i”である3個の画素の高度値の平均値Zm及び標準偏差値Zstdと、データ方向の座標が“i+1”である3個の画素の高度値の平均値Zm及び標準偏差値Zstdとを算出する。
【0039】
閾値生成部42は、データ方向(i)が同一の画素単位に、各画素の高度値Zi,jの平均値Zm及び標準偏差値Zstdを算出すると、それらの平均値Zmの中で最大の平均値Zmmaxを特定するとともに、それらの標準偏差値Zstdの中で最大の標準偏差値Zstdmaxを特定する。
閾値生成部42が使用している各画素の高度値Zi,jは、車両(異物)が存在していない状況下で撮像された三次元画像に関するものであるが、異物の高度真値と背景の高度真値には必ず差があるため、背景と異物が混在している状況化では、標準偏差値Zstdが高くなる。
【0040】
閾値生成部42は、最大の平均値Zmmaxと最大の標準偏差値Zstdmaxを用いて、下記の式(3)に示すように、当該異物検知ウィンドウに係る異物閾値THb(i,j)を算出する。
THb(i,j)=K×(Zmmax+Zstdmax) (3)
式(3)では、異物検知ウィンドウの位置を特定するために、その異物検知ウィンドウ内の注目画素の位置を(i,j)で表している。また、Kは所定の係数である。
閾値生成部42は、異物閾値THb(i,j)を算出すると、その異物閾値THb(i,j)を閾値処理部32に出力する。
【0041】
閾値処理部32の異物指数算出部51は、閾値生成部42と同様に、三次元画像の中に異物検知ウィンドウを設定する。
図8は閾値処理時における異物検知ウィンドウの設定例を示す説明図である。
図8の例では、異物検知ウィンドウとして、3×3画素サイズの領域を設定しており、異物検知ウィンドウはデータ方向(i)又はライン方向(j)に1画素ずつずらしながら、三次元画像の全体をカバーするように設定される。
また、図8の例では、異物検知ウィンドウの中心に位置している画素を注目画素としている。
【0042】
異物指数算出部51は、三次元画像の中に異物検知ウィンドウを設定すると、異物の検知処理時に三次元画像撮像装置3から出力された各画素の高度値Zi,jのうち、その異物検知ウィンドウ内の画素の高度値Zi,jを取得する。図8の例では、9個の画素の高度値Zi,jを取得する。
異物指数算出部51は、異物検知ウィンドウ内の画素の高度値Zi,jを取得すると、その異物検知ウィンドウ内の各画素の高度値Zi,jの平均値Zmwin及び標準偏差値Zstdwinを算出する。図8の例では、9個の画素の高度値Zi,jの平均値Zmwin及び標準偏差値Zstdwinを算出する。
【0043】
異物指数算出部51は、異物検知ウィンドウ内の各画素の高度値Zi,jの平均値Zmwin及び標準偏差値Zstdwinを用いて、下記の式(4)に示すように、背景以外の車両(異物)を表す指数である異物指数S(i,j)を算出する。
(i,j)=Zmwin+Zstdwin (4)
式(4)では、異物検知ウィンドウの位置を特定するために、その異物検知ウィンドウ内の注目画素の位置を(i,j)で表している。
背景と異物が混在している状況化では、上述したように、標準偏差値Zstdが高くなるため、異物指数S(i,j)が大きくなる。
【0044】
閾値処理部32の領域検出部52は、異物指数算出部51が異物指数S(i,j)を算出すると、その異物指数S(i,j)と閾値算出部31により算出された異物閾値THb(i,j)を比較する。
領域検出部52は、その異物指数S(i,j)が異物閾値THb(i,j)より高い場合(S(i,j)>THb(i,j))、異物検知ウィンドウ内には車両(異物)の一部を構成している画素が含まれていると判断し、異物検出領域数を示す領域カウント値Eをインクリメントする。ただし、領域カウント値Eの初期値は0である。
【0045】
異物検知部33は、閾値処理部32から出力された領域カウント値Eが予め設定された有効領域数より多い場合、三次元画像の中に異物が存在していると判断する。
例えば、三次元画像の中に異物が存在している場合、“1”の異物検知フラグを出力し、三次元画像の中に異物が存在していない場合、“0”の異物検知フラグを出力する。
なお、有効領域数は、一定の閾値でなくてもよく、上限値と下限値を設定して、バンドパスとするようにしても、誤検知を低減することができる。
【0046】
以上で明らかなように、この実施の形態2によれば、異物の検知処理を開始する前に、異物が存在していない状況下で観測領域の三次元画像を撮像して、三次元画像の各画素の高度値Zi,jを出力するとともに、異物の検知処理時に観測領域の三次元画像を撮像して、三次元画像の各画素の高度値Zi,jを出力する三次元画像撮像装置3と、三次元画像における所定の領域単位に、異物の検知処理を開始する前に三次元画像撮像装置3から出力された各画素の高度値Zi,jの平均値Zm及び標準偏差値Zstdを求め、その高度値Zi,jの平均値Zm及び標準偏差値Zstdから異物閾値THb(i,j)を算出する閾値算出部31と、三次元画像における所定の領域単位に、異物の検知処理時に三次元画像撮像装置3から出力された各画素の高度値Zi,jの平均値Zmwin及び標準偏差値Zstdwinを求め、その平均値Zmwin及び標準偏差値Zstdwinから背景以外の異物を表す指数である異物指数S(i,j)を算出する異物指数算出部51と、異物指数算出部51により算出された異物指数S(i,j)と閾値算出部31により算出された異物閾値THb(i,j)を比較し、その異物指数S(i,j)が異物閾値THb(i,j)より高い領域を検出する領域検出部52とを設け、異物検知部33が、領域検出部52により検出された領域の総数が予め設定された有効領域数より多い場合、三次元画像の中に異物が存在していると判断するように構成したので、三次元画像撮像装置3による撮像環境に応じて異物閾値THb(i,j)が動的に設定されるようになり、その結果、低SNR環境下でも、異物である車両を正確に検知することができる効果を奏する。
また、この実施の形態2では、異物検知ウィンドウ単位に、各画素の高度値Zi,jの統計量を用いて、異物の有無を判定しているため、各画素の反射強度値Ii,jと閾値を1画素ずつ比較する実施の形態1よりも、異物の検知精度が向上する。また、三次元画像撮像装置3に対する必要な距離精度を緩和することができる。
【0047】
実施の形態3.
上記実施の形態2では、異物指数算出部51が、異物検知ウィンドウ内の各画素の高度値Zi,jの平均値Zmwin及び標準偏差値Zstdwinを算出し、その平均値Zmwin及び標準偏差値Zstdwinを用いて、背景以外の車両(異物)を表す指数である異物指数S(i,j)を算出するものを示したが、異物検知ウィンドウ内の各画素の高度値Zi,jのうち、反射強度値Ii,jが所定の閾値以上である画素だけを平均値及び標準偏差値の算出対象に設定し、反射強度値Ii,jが所定の閾値以上である画素の高度値Zi,jの平均値Zmwin及び標準偏差値Zstdwinを算出し、その平均値Zmwin及び標準偏差値Zstdwinを用いて、背景以外の車両(異物)を表す指数である異物指数S(i,j)を算出するようにしてもよい。
【0048】
この実施の形態3では、三次元画像撮像装置3が、三次元画像の各画素の高度値Zi,jだけでなく、各画素の反射強度値Ii,jを出力するものとする。
異物指数算出部51の処理内容だけが、上記実施の形態2と相違しているので、以下、異物指数算出部51の処理内容を説明する。
【0049】
異物指数算出部51は、上記実施の形態2と同様に、三次元画像の中に異物検知ウィンドウを設定する。
異物指数算出部51は、三次元画像の中に異物検知ウィンドウを設定すると、異物の検知処理時に三次元画像撮像装置3から出力された各画素の高度値Zi,jのうち、その異物検知ウィンドウ内の画素の高度値Zi,jを取得する。
また、異物指数算出部51は、異物の検知処理時に三次元画像撮像装置3から出力された各画素の反射強度値Ii,jのうち、その異物検知ウィンドウ内の画素の反射強度値Ii,jを取得する。
図8の例では、9個の画素の高度値Zi,jと反射強度値Ii,jを取得する。
【0050】
異物指数算出部51は、異物検知ウィンドウ内の画素の高度値Zi,jと反射強度値Ii,jを取得すると、各画素の反射強度値Ii,jと所定の閾値(例えば、図2の閾値生成部22により設定された上限閾値THUPを用いることができるが、他の閾値でもよい)を比較し、反射強度値Ii,jが所定の閾値より高い画素を特定する。
異物指数算出部51は、反射強度値Ii,jが所定の閾値より高い異物検知ウィンドウ内の画素を特定すると、それらの画素の高度値Zi,jの平均値Zmwin及び標準偏差値Zstdwinを算出する。例えば、反射強度値Ii,jが所定の閾値より高い異物検知ウィンドウ内の画素が5個であれば、5個の画素の高度値Zi,jの平均値Zmwin及び標準偏差値Zstdwinを算出する。
【0051】
異物指数算出部51は、反射強度値Ii,jが所定の閾値より高い異物検知ウィンドウ内の画素の高度値Zi,jの平均値Zmwin及び標準偏差値Zstdwinを用いて、下記の式(5)に示すように、背景以外の車両(異物)を表す指数である異物指数S(i,j)を算出する。
(i,j)=Zmwin+Zstdwin (5)
式(5)では、異物検知ウィンドウの位置を特定するために、その異物検知ウィンドウ内の注目画素の位置を(i,j)で表している。
【0052】
この実施の形態3では、異物指数S(i,j)を算出する際、反射強度値Ii,jが所定の閾値より高い異物検知ウィンドウ内の画素の高度値Zi,jだけを用いているので、画素の反射強度値Ii,jが考慮された異物検知が行われ、さらに、異物の検知精度が向上する。
【0053】
実施の形態4.
図9はこの発明の実施の形態4による異物検知装置を示す構成図であり、図において、図1と同一符号は同一または相当部分を示すので説明を省略する。
誤検知認定部60は例えばCPUを実装している半導体集積回路、あるいは、ワンチップマイコンなどから構成されており、図1の異物検知部13(または、図4の異物検知部33)により三次元画像の中に異物である車両が存在していると判断された場合(“1”の異物検知フラグが出力された場合)、三次元画像における異物の連続性を確認することで、その異物の大きさが所定値以上であることが認められなければ、図1の異物検知部13(または、図4の異物検知部33)により存在していると判断された異物は誤検知であると認定する処理を実施する。なお、誤検知認定部60は誤検知認定手段を構成している。
【0054】
次に動作について説明する。
誤検知認定部60が異物検知処理装置2,4に実装されている点以外は、上記実施の形態1〜3と同様である。
この実施の形態4では、誤検知認定部60の処理内容を説明する。
【0055】
図1の異物検知部13、または、図4の異物検知部33は、上記実施の形態1〜3と同様に、三次元画像の中に異物である車両が存在していると判断すると、“1”の異物検知フラグを出力する。
ただし、“1”の異物検知フラグには、異物の一部を構成している画素の位置を示す座標(i,j)が含まれているものとする。
【0056】
まず、誤検知認定部60は、三次元画像内にデータ方向(i)に所定の幅(例えば、n画素分の幅:三次元画像の縦軸方向の画素数N>n)を有する誤検知除去用ウィンドウを設定する。
図10は誤検知認定部60により設定される誤検知除去用ウィンドウの設定例を示す説明図である。
【0057】
誤検知認定部60は、図1の異物検知部13又は図4の異物検知部33から“1”の異物検知フラグを受けると、その異物検知フラグに含まれている座標(i,j)を参照し、図10に示すように、その座標(i,j)に位置している画素を“検知画素”とする。
異物である車両は、ある程度の大きさを有しているため、孤立している1つの検知画素(異物検知フラグが“1”である画素)は誤検知であって、異物の一部を構成している画素の可能性は極めて低い。
【0058】
そこで、誤検知認定部60は、データ方向(i)に所定の幅を有する誤検知除去用ウィンドウ内の検知画素に連続性があり、しかも、ライン方向(j)で連続している複数の誤検知除去用ウィンドウ(例えば、m個の誤検知除去用ウィンドウ:三次元画像の横軸方向の画素数M>m)の全てにおいて、検知画素の連続性が認められる場合に、三次元画像の中に異物である車両が存在していると最終的に判断して、“1”の異物検知フラグを出力する。
一方、データ方向(i)に所定の幅を有する誤検知除去用ウィンドウ内の検知画素に連続性がない場合や、ライン方向(j)で連続している複数の誤検知除去用ウィンドウのいずれかに、検知画素の連続性が認められない場合、三次元画像の中には、異物である車両が存在していないと判断して、“0”の異物検知フラグを出力する。
ただし、例えば、三次元画像の左側の領域では、検知画素の連続性が認められない場合でも、三次元画像の右側の領域で、検知画素の連続性が認められるような場合には、三次元画像の中に異物である車両が存在していると判断して、“1”の異物検知フラグを出力するようにしてもよい。
【0059】
以上で明らかなように、この実施の形態4によれば、図1の異物検知部13等により三次元画像の中に異物である車両が存在していると判断された場合、三次元画像における異物の連続性を確認することで、その異物の大きさが所定値以上であることが認められなければ、図1の異物検知部13等により存在していると判断された異物は誤検知であると認定するように構成したので、異物の誤検知を除去することができる効果を奏する。
【0060】
実施の形態5.
図11はこの発明の実施の形態5による異物検知装置を示す構成図である。
図11において、統合処理部70は例えばCPUを実装している半導体集積回路、あるいは、ワンチップマイコンなどから構成されており、実施の形態1の異物検知処理装置2から出力された異物検知フラグと、実施の形態2の異物検知処理装置4から出力された異物検知フラグと、実施の形態3の異物検知処理装置4から出力された異物検知フラグと、実施の形態4の異物検知処理装置2から出力された異物検知フラグとの論理和を算出し、いずれかの異物検知フラグが“1”であれば、“1”の異物検知フラグを出力する処理を実施する。なお、統合処理部70論理和算出手段を構成している。
【0061】
次動作について説明する。
上記実施の形態1では、背景の反射強度値と、異物の反射強度値との間に差異がある場合に異物が検知され、上記実施の形態2では、背景の高度値と、異物の高度値との間に差異がある場合に異物が検知される。
また、上記実施の形態3では、反射強度値が高く、背景の高度値と、異物の高度値との間に差異がある場合に異物が検知される。
上記実施の形態4では、大きさが所定値以上である場合に異物が検知される。
【0062】
このように、上記実施の形態1〜4では、異物の検知観点が異なっているため、例えば、上記実施の形態1の検知方式では異物が検知されない場合でも、上記実施の形態2の検知方式では異物が検知される場合があり得る。
そこで、この実施の形態5では、異物の検知漏れを防止するため、統合処理部70が、実施の形態1の異物検知処理装置2から出力された異物検知フラグと、実施の形態2の異物検知処理装置4から出力された異物検知フラグと、実施の形態3の異物検知処理装置4から出力された異物検知フラグと、実施の形態4の異物検知処理装置2から出力された異物検知フラグとの論理和を算出し、いずれかの異物検知フラグが“1”であれば、“1”の異物検知フラグを出力するようにしている。
したがって、すべての異物検知フラグが“0”でなければ、“1”の異物検知フラグが出力される。
これにより、異物の検知漏れを大幅に低減することができる効果を奏する。
【0063】
なお、本願発明はその発明の範囲内において、各実施の形態の自由な組み合わせ、あるいは各実施の形態の任意の構成要素の変形、もしくは各実施の形態において任意の構成要素の省略が可能である。
【符号の説明】
【0064】
1,3 三次元画像撮像装置(三次元画像撮像手段)、2,4 異物検知処理装置、11 閾値設定部(閾値設定手段)、12 閾値処理部(画素検出手段)、13 異物検知部(異物検知手段)、21 閾値切替フラグ取得部、22 閾値生成部、31 閾値算出部(閾値算出手段)、32 閾値処理部(領域検出手段)、33 異物検知部(異物検知手段)、41 閾値切替フラグ取得部、42 閾値生成部、51 異物指数算出部(異物指数算出手段)、52 領域検出部(領域検出手段)、60 誤検知認定部(誤検知認定手段)、70 統合処理部(論理和算出手段)。

【特許請求の範囲】
【請求項1】
異物の検知処理を開始する前に、異物が存在していない状況下で観測領域の三次元画像を撮像して、上記三次元画像の各画素の反射強度値を出力するとともに、異物の検知処理時に上記観測領域の三次元画像を撮像して、上記三次元画像の各画素の反射強度値を出力する三次元画像撮像手段と、上記三次元画像の縦方向成分が同一の画素単位に、異物の検知処理を開始する前に上記三次元画像撮像手段から出力された各画素の反射強度値の中で、最大の反射強度値を取得して、最大の反射強度値を上限閾値に設定する閾値設定手段と、上記三次元画像の縦方向成分が同一の画素単位に、異物の検知処理時に上記三次元画像撮像手段から出力された各画素の反射強度値と上記閾値設定手段により設定された上限閾値を比較し、上記反射強度値が上記上限閾値より高い画素を検出する画素検出手段と、上記画素検出手段により検出された画素の総数が予め設定された画素数より多い場合、上記三次元画像の中に異物が存在していると判断する異物検知手段とを備えた異物検知装置。
【請求項2】
閾値設定手段は、三次元画像の縦方向成分が同一の画素単位に、異物の検知処理を開始する前に三次元画像撮像手段から出力された各画素の反射強度値の中で、最大の反射強度値と最小の反射強度値を取得して、最大の反射強度値を上限閾値に設定するとともに、最小の反射強度値を下限閾値に設定し、
画素検出手段は、上記三次元画像の縦方向成分が同一の画素単位に、異物の検知処理時に上記三次元画像撮像手段から出力された各画素の反射強度値と上記閾値設定手段により設定された上限閾値及び下限閾値を比較し、上記反射強度値が上記上限閾値より高い画素又は上記反射強度値が上記下限閾値より低い画素を検出することを特徴とする請求項1記載の異物検知装置。
【請求項3】
異物の検知処理を開始する前に、異物が存在していない状況下で観測領域の三次元画像を撮像して、上記三次元画像の各画素の高度値を出力するとともに、異物の検知処理時に上記観測領域の三次元画像を撮像して、上記三次元画像の各画素の高度値を出力する三次元画像撮像手段と、上記三次元画像における所定の領域単位に、異物の検知処理を開始する前に上記三次元画像撮像手段から出力された各画素の高度値の平均値及び標準偏差値を求め、上記高度値の平均値及び標準偏差値から閾値を算出する閾値算出手段と、上記三次元画像における所定の領域単位に、異物の検知処理時に上記三次元画像撮像手段から出力された各画素の高度値の平均値及び標準偏差値を求め、上記高度値の平均値及び標準偏差値から背景以外の異物を表す指数である異物指数を算出する異物指数算出手段と、上記異物指数算出手段により算出された異物指数と上記閾値算出手段により算出された閾値を比較し、上記異物指数が上記閾値より高い領域を検出する領域検出手段と、上記領域検出手段により検出された領域の総数が予め設定された領域数より多い場合、上記三次元画像の中に異物が存在していると判断する異物検知手段とを備えた異物検知装置。
【請求項4】
三次元画像撮像手段は、異物の検知処理時に観測領域の三次元画像を撮像して、上記三次元画像の各画素の高度値及び反射強度値を出力し、
異物指数算出手段は、上記三次元画像における所定の領域単位に、異物の検知処理時に上記三次元画像撮像手段から出力された反射強度値が所定の閾値以上である画素の高度値の平均値及び標準偏差値を求め、上記高度値の平均値及び標準偏差値から背景以外の異物を表す指数である異物指数を算出する
ことを特徴とする請求項3記載の異物検知装置。
【請求項5】
異物検知手段により三次元画像の中に異物が存在していると判断された場合、上記三次元画像における上記異物の連続性を確認することで、上記異物の大きさが所定値以上であることが認められなければ、上記異物検知手段により存在していると判断された異物は誤検知であると認定する誤検知認定手段を設けたことを特徴とする請求項1から請求項4のうちのいずれか1項記載の異物検知装置。
【請求項6】
請求項1記載の異物検知手段による異物の判断結果と、請求項3記載の異物検知手段による異物の判断結果との論理和を算出する論理和算出手段を設けたことを特徴とする異物検知装置。

【図1】
image rotate

【図2】
image rotate

【図3】
image rotate

【図4】
image rotate

【図5】
image rotate

【図6】
image rotate

【図7】
image rotate

【図8】
image rotate

【図9】
image rotate

【図10】
image rotate

【図11】
image rotate


【公開番号】特開2012−203688(P2012−203688A)
【公開日】平成24年10月22日(2012.10.22)
【国際特許分類】
【出願番号】特願2011−68283(P2011−68283)
【出願日】平成23年3月25日(2011.3.25)
【出願人】(000006013)三菱電機株式会社 (33,312)
【Fターム(参考)】