接近車監視装置
【発明の詳細な説明】
【０００１】
【産業上の利用分野】この発明は、自動車に搭載し車両周辺の状況を監視する装置、特にイメージセンサ等の光学系により撮像された画像を用いて、接近する車両を検出する接近車監視装置に関するものである。
【０００２】
【従来の技術】従来、時系列的に連続した画像から移動物体を検出する方法としては、画像間の差分による検出手法が用いられており、この手法を利用した技術として特開平４−２９４７２号公報に開示されているような接近車監視装置がある。図１１は例えば画像処理ハンドブック（１９８７年昭晃堂発行）第３７５頁に示された方法を示す説明図である。図１１において４０、４１は時間的に異なる２枚の入力画像、４４は画像４０から画像４１を差分した出力画像である。この方法では２枚の画像４０、４１中に移動物体が存在すれば、得られた差分画像４４には濃度レベルが正の領域４５と、濃度レベルが０の領域４７と、濃度レベルが負の領域４６が得られ、濃度レベルが正の領域４５と負の領域４６が画像中で移動した領域、濃度レベルが０の領域は変化しなかった領域（背景）背景部分であると考えることができる。
【０００３】図１２（ａ）、（ｂ）は差分画像による従来の方法の説明図である。図において、２０、２５は図１１１１に示す画像４０のＡ−Ａ線での画像を１次元信号で表したものであり、２１、２６は画像４１のＡ−Ａ線での画像を１次元信号で表したものである。各信号２０、２１、２５、２６において、横方向は画像の位置、縦方向は濃度レベルを示す。従来の差分法により、移動物体を検出するためには、２枚の画像２０、２１を差分した画像信号７０において、２つの閾値Ｔ１、Ｔ２を設定し、濃度の変化領域７１を抽出する。領域７１の正負の位置により移動方向を決定する。即ち、濃度の変化領域が正から負となる方向を移動方向とすると、図１２（ａ）では矢印７２が移動方向となる。
【０００４】しかし、画像によって濃度が異なるため、２つの閾値Ｔ１、Ｔ２は一定とはならず処理する画像毎に最適な閾値を決定する必要が生じ、様々な画像に対応するのは実用上困難である。特に、物体と背景の濃度差が小さい場合には最適な閾値を決定するのは容易でないという問題が残る。更に図１２（ｂ）に示す２枚の画像２５、２６の様に背景と物体の濃度差が逆になっている場合には、差分画像７３から抽出された変化領域７４は図のようになる。従って、変化領域の正負で移動方向を判定すると、移動方向は矢印７５のように矢印７４と正反対の方向に判定されてしまう。
【０００５】又、従来のイメージセンサ等により撮像された画像を用いた車両周辺の監視装置、特に後方車両の監視装置としては、特公平３−４７２１３号公報に開示されたような装置がある。これは図１２で示したようなテレビカメラ等で撮像した後方画像８０上にマーカー８１を付して後方車両の位置を判断しやすいようにしたものである。
【０００６】
【発明が解決しようとする課題】上述したように、従来の連続画像間の差分画像による移動物体の検出方法では、処理画像によって濃度が異なるため、２つの閾値Ｔ１、Ｔ２は一定とはならず、処理する画像毎に最適な閾値を決定する必要が生じるため様々な画像に対応するのは実用上困難である。特に物体と背景の濃度差が小さい場合には最適な閾値を決定することは容易ではないという問題点がある。又、背景と物体の濃度差が逆になっている場合には、誤判定することになるという問題点もある。更に、移動する車両からの撮像では接近車両や障害物などの移動物体のみならず、それらの背景も動くため、差分画像から背景と画像上を動く移動物体とを分離するのは非常に困難であるという問題点もある。
【０００７】また、特公平３−４７２１３号公報に開示されているようなビデオカメラ等で撮像した画像８０上にマーカー８１を付す技術は、単に画像を表示する技術にすぎず、ドライバが表示面を見て経験的に判断するもので、画像を処理して後方車の接近を判断する機能を備えた技術ではなかった。
【０００８】この発明は上記のような問題点を解消するためになされたもので、時間的に異なる２枚の画像から画像上での見かけの動きの速度分布を示す大きさと方向を有するオプティカルフローを求め、これを利用して移動物体とその移動方向を検出することにより、上記の差分画像を使った移動体検出法に比べ、２つの閾値Ｔ１、Ｔ２を画像毎に設定する必要がなく、濃度差が逆になっているときも移動方向を正しく判定でき、しかも移動車から撮像したような、現実上の背景も移動する動画像に対しても、実質上の背景と接近車のような移動体とを分離し得、移動体のみ、特に接近車のみを検出することができる接近車監視装置を得ることを目的としている。
【０００９】更に、走行中の道路の凹凸による自車両がバウンドから生じた動画像の揺れや、複雑背景により発生するオプティカルフローのノイズを除去し、接近車両の検出をより正確に行える接近車監視装置を得ることをも目的としている。
【００１０】
【課題を解決するための手段】この発明の請求項１に係る接近車監視装置は、車両に設けられ、この車両より後方を撮像する撮像手段と、この撮像手段により撮像された画面内に水平方向に対して複数の領域を設定し、その領域内で時系列的に異なる２枚の画像から画像上での速度分布を表す大きさと方向を有するオプティカルフローを求めるオプティカルフロー演算手段と、 このオプティカルフロー演算手段により上記各領域内で得られたオプティカルフローのうち、それぞれの領域で設定した一定値以上の大きさを持つオプティカルフローの方向を出力するオプティカルフローの方向検出手段と、上記それぞれの領域内の所定の位置に更に１つ以上のフロー監視領域を設定し、この監視領域内で上記オプティカルフローの方向検出手段により得られた各々のオプティカルフローの方向を監視し、上記それぞれの領域内において接近車が存在する場合に仮定される接近車の画像上での動きの方向と同様の方向を持つオプティカルフローを抽出するフローパターン抽出手段と、このフローパターン抽出手段により上記フロー監視領域内で抽出されたオプティカルフローから接近車を検出する接近車検出手段とを備えたものである。
【００１１】車両に設けられ、この車両より所定の方向を撮像する撮像手段と、この撮像手段により撮像された画面内の所定の位置に１つ以上の領域を設定し、その領域内で時系列的に異なる２枚の画像から画像上での速度分布を表す大きさと方向を有するオプティカルフローを求めるオプティカルフロー演算手段と、このオプティカルフロー演算手段により上記各領域内で得られたオプティカルフローのうち、それぞれの領域で設定した一定値以上の大きさを持つオプティカルフローの方向を出力するオプティカルフローの方向検出手段と、上記それぞれの領域内の所定の位置に更に１つ以上のフロー監視領域を設定し、この監視領域内で上記オプティカルフローの方向検出手段により得られた各々のオプティカルフローの方向を監視し、接近車が存在する場合に仮定される接近車の画像上での動きの方向と同様の方向を持つ複数のオプティカルフローを抽出するフローパターン抽出手段と、このフローパターン抽出手段により上記フロー監視領域内で抽出されたオプティカルフローから接近車を検出する接近車検出手段と、上記フローパターン抽出手段によって抽出された各オプティカルフローに対し、その値の大きさ、その近傍に抽出されたオプティカルフローを持つ画素がどれだけあるかを判断することにより、これらのオプティカルフローがノイズであるかどうかを判断し、ノイズと判断したオプティカルフローはこれを除去する一方、接近車のオプティカルフローと判断したものはその画素及びその近傍におけるオプティカルフローの範囲を広げ強調するオプティカルフロー強調手段と、このオプティカルフロー強調手段により強調されたオプティカルフローのうち、時系列的に連続して抽出されないオプティカルフローをノイズとして除去するノイズ除去手段とを備えたものである。
【００１２】
【作用】この発明の請求項１に係る接近車監視装置によれば、車両に設けられた撮像手段がこの車両より所定の方向を撮像する。また、オプティカルフロー演算手段が撮像手段により撮像された画面内の所定の位置に１つ以上の領域を設定し、その領域内で時系列的に異なる２枚の画像から画像上での速度分布を表す大きさと方向を有するオプティカルフローを求める。更に、オプティカルフローの方向検出手段がオプティカルフロー演算手段により上記各領域内で得られたオプティカルフローのうち、それぞれの領域で設定した一定値以上の大きさを持つオプティカルフローの方向を出力する。また、フローパターン抽出手段が上記それぞれの領域内の所定の位置に更に１つ以上のフロー監視領域を設定し、この監視領域内で上記オプティカルフローの方向検出手段により得られた各々のオプティカルフローの方向を監視し、接近車が存在する場合に仮定される接近車の画像上での動きの方向と同様の方向を持つオプティカルフローを抽出する。そして、接近車検出手段がこのフローパターン抽出手段により上記フロー監視領域内で抽出されたオプティカルフローから接近車を検出する。
【００１３】また、この発明の請求項２に係る接近車監視装置によれば、車両に設けられた撮像手段がこの車両より所定の方向を撮像する。また、オプティカルフロー演算手段が撮像手段により撮像された画面内の所定の位置に１つ以上の領域を設定し、その領域内で時系列的に異なる２枚の画像から画像上での速度分布を表す大きさと方向を有するオプティカルフローを求める。更に、オプティカルフローの方向検出手段がオプティカルフロー演算手段により上記各領域内で得られたオプティカルフローのうち、それぞれの領域で設定した一定値以上の大きさを持つオプティカルフローの方向を出力する。また、フローパターン抽出手段が上記それぞれの領域内の所定の位置に更に１つ以上のフロー監視領域を設定し、この監視領域内で上記オプティカルフローの方向検出手段により得られた各々のオプティカルフローの方向を監視し、接近車が存在する場合に仮定される接近車の画像上での動きの方向と同様の方向を持つオプティカルフローを抽出する。そして、接近車検出手段がこのフローパターン抽出手段により上記フロー監視領域内で抽出されたオプティカルフローから接近車を検出する。また、オプティカルフロー抽出手段が上記フローパターン抽出手段によって抽出された各オプティカルフローに対し、その値の大きさ、その近傍に抽出されたオプティカルフローを持つ画素がどれだけあるかを判断することにより、これらのオプティカルフローがノイズであるかどうかを判断し、ノイズと判断したオプティカルフローはこれを除去する一方、接近車のオプティカルフローと判断したものはその画素及びその近傍におけるオプティカルフローの範囲を広げ強調する。そして、ノイズ除去手段がオプティカルフロー強調手段により強調されたオプティカルフローのうち、時系列的に連続して抽出されないオプティカルフローをノイズとして除去する。
【００１４】
【実施例】
実施例１．以下、この発明の実施例１を後方接近車を監視する後方接近車装置に例をとって図について説明する。図１は実施例１を示すブロック図である。１、２は時間的に異なる２枚の画像を形成するための画像信号出力手段、３は画像信号出力手段１、２に接続され、これら画像信号出力手段１、２より得られる画像内の所定の位置に１つ以上の領域を設定し、その領域内で速度分布を示す大きさと方向を有するオプティカルフローを計算するオプティカルフロー演算手段、４はオプティカルフロー演算手段３に接続され、オプティカルフロー演算手段３により得られたオプティカルフローのうち、それぞれの領域で設定した一定値以上の大きさを持つオプティカルフローの方向を出力するオプティカルフローの方向検出手段、５は上記それぞれの演算領域内の所定の位置に更に１つ以上のフロー監視領域を設定し、このフロー監視領域内で、上記オプティカルフローの方向検出手段４により得られた各々のオプティカルフローの方向を監視し、後方接近車が存在する場合に仮定される接近車の画像上での動きの方向と同様の方向を持つオプティカルフローを抽出するフローパターン抽出手段、６はフローパターン抽出手段５に接続され、フロー監視領域内でフローパターン抽出法によって得られた各オプティカルフローに対し、その値の大きさや、その近傍に同様にして抽出されたオプティカルフローがどれだけあるか（抽出されたオプティカルフローを持つ近傍画素の面積）により、これらのオプティカルフローがノイズであるかどうかを判断し、ノイズと判断したオプティカルフローを除去し後方接近車のフローと判断したものはその画素及びその近傍画素のオプティカルフローの範囲を広げ強調するオプティカルフロー強調手段、７はこのオプティカルフロー強調手段６により検出強調されたオプティカルフローのうち、時系列的に連続して抽出されないオプティカルフローをノイズとして除去するノイズ除去手段、８はノイズ除去手段７に接続され、ノイズ除去手段７により得られたオプティカルフローから後方接近車を検出する後方接近車検出手段である。
【００１５】次に実施例１の基本となるオプティカルフロー法の詳細について説明する。オプティカルフローとは、時間的に異なる２枚の画像から画像の空間方向の濃度勾配と時間方向の濃度勾配を用いて画像上で移動した物体の移動ベクトルである。このオプティカルフローを求める方法は多数提案されているが、実施例１では一般的にグローバル法と呼ばれる方法「ビー．ケイ．ピー．ホーンとビー．ジー．シャンクによる１９８１年発行の人工知能第１７巻１乃至３号のオプティカルフローの決定（B.K.P.Forn＆B.G.Schunck、“Determining optical flow"、Artificial Intelligence.Vol.17.no.1-3(1981)」（第205頁〜第210頁参照)を採用した。以下にその方法を説明する。
【００１６】ある時刻ｔにおける画像中のある座標（ｘ，ｙ）の濃度をＥ（ｘ，ｙ，ｔ）で表わしたとき、物体の濃度は時間的に不変であると仮定すれば、下に示す近似式（１）が成立する。
【００１７】
Ｅｘ・＋Ｅｙ・ｖ＋Ｅｔ＝０ （１）
ここで、Ｅｘ、Ｅｙは空間方向（ｘ方向、ｙ方向）の濃度勾配、Ｅｔは時間方向（ｔ方向）の濃度勾配ｕ、ｖはそれぞれｘ方向、ｙ方向の速度成分である。
【００１８】式（１）に局所的な速度は滑らかに変化するという仮定を加え、次の式（２）で与えられる誤差関数を最小にするｕ、ｖが求めるオプティカルフローの速度成分であるとするものである。
【００１９】
∫∫（ｅｂ2 ＋ｅｃ2 ）ｄｘｄｙ （２）
ここで、ｅｂ＝ Ｅｘ・ｕ＋Ｅｙ／ｖ＋Ｅｔｅｃ2 ＝（δｕ／δｘ）2＋（δｕ／δｙ）2＋（δｖ／δｘ）2＋（δｖ／δｙ）2である。
【００２０】図２、図３はこのオプティカルフロー法を示す説明図である。図２は連続画像４０、４１及びこの２枚の連続画像４０、４１における物体の位置関係とオプティカルフローの関係を表わして２次元画像４２を示したものである。今、図２に示したように画像４０における物体４８が画像４１上で４９で示す位置に移動したと考える。図３（ａ）（ｂ）は図２における連続画像４０、４１のＢ−Ｂ線における画像の濃度を１次元信号で表したものであり、２０、２５は画像１における濃度レベルを示す信号、２１、２６は画像２における濃度レベルを示す信号、実線矢印２２はオプティカルフロー、点線矢印２３は空間的な濃度勾配、一点鎖線矢印２４は時間的な濃度勾配を示す。このオプティカルフローの向きは図３（ｂ）に示すように背景と物体の濃度差が逆になっている画像信号２５、画像信号２６の様な場合でも変わらない。この性質は図２の２次元画像４２において４３のようなオプティカルフローとして得られる。図２に示すように、このような連続画像４０、４１から得られるオプティカルフローは背景との濃度差がある（物体のエッジ部分）において、空間的な濃度勾配２３と時間的な濃度勾配２４のベクトル和２２（図３）、４３（図２R>２）であるとして与えられる。
【００２１】図４は高速道路を走行中の自車両からイメージセンサ等により撮像した後方画像を示したものである。図４の画像３０、画像３１は接近してくる２台の後方車５０、５１を捕えた連続画像である。この２枚の連続画像３０、３１上の図５に示したような位置にオプティカルフローの演算領域５２を設定し、該演算領域内で上記に説明した方法でオプティカルフローを算出する。これがオプティカルフロー演算手段３である。
【００２２】次にオプティカルフロー演算手段３により得られたオプティカルフローの大きさに対しある閾値を設定し、この閾値以上のものについてのみその方向を図６R>６（ａ）の１０〜１７に示すような８方向に量子化して出力し、それ以下のオプティカルフローは全てその大きさを０とした。実施例１では上記のオプティカルフロー演算領域５２におけるオプティカルフローの閾値を０．１とした。これにより、イメージセンサの特性やイメージセンサを搭載している自車両の微細な揺れ等から生じる後方画像の微妙な揺れに対応したオプティカルフロー等が背景とみなされ０になる。この様にして得られたオプティカルフローの方向を２次元画像で示したものは図６R>６（ｂ）である。図に示したように、上記のオプティカルフローの方向検出手段４により接近車や白線、標識などコントラストの大きい背景のオプティカルフローが出力される。
【００２３】上記のオプティカルフローに対し、図５の５３、５４の様に左右にフロー監視領域（Ｌ、Ｒ領域）を設定し、この領域の中で後方接近車の動きの方向と想定されるものと同様の方向を持つオプティカルフローを抽出する。Ｒ領域５３では、後方接近車５１が動くと仮定される１４、１５の方向のフローを持つオプティカルフローを、Ｌ領域５４では後方接近車５２が動くと仮定される１０、１７の方向のフローを持つオプティカルフローを抽出する。このフローパターン抽出手段５により抽出されたオプティカルフローを２次元画像で示したものが図７の画像３４である。図７に示したようにＬ領域５４では後方接近車５０の周辺にオプティカルフロー６１が、Ｒ領域５３では後方接近車５１の周辺にオプティカルフロー６２が抽出される。
【００２４】このようなオプティカルフローのフローパターン抽出手段５により後方接近車のオプティカルフローを抽出するが、後方車のオプティカルフロー以外に画像３４に示すようなノイズ（背景）のオプティカルフロー８５が抽出される。このオプティカルフロー８５は走行中の自車両のハウンドによる画像の大きな揺れ等により、コントラストの強い背景の一部で抽出される。こうしたノイズを除去し、後方接近車のオプティカルフローを強調するための手段がオプティカルフローの強調手段６である。このオプティカルフローの強調手段６は各々のフロー監視領域内５３、５４の抽出されたオプティカルフローに対し、オプティカルフローの大きさや抽出されたオプティカルフローを持つ近傍画素の面積により、その画素のオプティカルフローがノイズであるかどうかを判断し、ノイズと判断したものは除去する一方、後方接近車と判断したものはこれを強調するものである。実施例１では、上記のオプティカルフロー強調手段６として以下で説明するような２値画像でよく使われる膨張・収縮フィルタを採用した。
【００２５】まず、膨張フィルタについて説明する。それぞれのフロー監視領域内５３、５４内における各画素及びその８方向近傍で上記のフローパターン抽出手段５によって得られたオプティカルフローがｎ（ｎ＜５）個以上あればその画素の値を１とし、それ以下の時は上記の画素の値を０とする。次にこうして得られた２値画像上におけるそれぞれのフロー監視領域内の各画素に対し、この画素及びその８方向近傍における画素の値の値が１である画素がｍ（ｍ＞５）個以上であれば、その画素の値を１とし、それ以下であればその値を０とする。これが収縮フィルタである。以上のようにして、フローパターン抽出手段５により抽出されたオプティカルフローのうち、その近傍に同様に抽出されたオプティカルフローを持つ近傍画素がどれだけあるかにより、このオプティカルフローがバウンド等による画像の揺れから生じたノイズがあるかどうかを判断し、ノイズと判断すればこれを除去し、後方接近車であると判断すれば、その領域を拡大し隣接する抽出領域同士を結合させる。実施例１ではｎ＝３、ｍ＝７と設定して処理を行ったが、画像の特性やオプティカルフローの出方によりこの値は自由に設定してよく、又今回はフィルタの大きさを３×３画素に設定したがこれも上記の条件により自由に設定してよい。
【００２６】上記のオプティカルフロー強調手段６によって得られた画像を示したものが図７の画像３５である。図７に示したように、オプティカルフロー強調手段６によって出力されたオプティカルフロー画像３５は上記の処理を行う以前のオプティカルフロー画像に３４に比べ、後方接近車５０、５１のオプティカルフロー６３、６４が強調され、ノイズがかなり減少するが、バウンド等による画像の揺れが激しい時にはフロー強調手段による処理後も画像３５に示すようなノイズのオプティカルフロー８５が残る場合がある。こうしたノイズのオプティカルフロー８５は自系列的に連続して検出されないため、オプティカルフロー強調手段６によって得られたオプティカルフローのうち、連続して検出されないオプティカルフローはノイズとして除去する。これがノイズ除去手段７であり、図８はこのノイズ除去手段７の説明図である。図において時間ｔ＝ｔ０の時に以上で説明した諸手段により得られたオプティカルフロー６５と、時間ｔ＝ｔ０＋△ｔにおいて諸手段によ得られたオプティカルフロー６６のうち連続して得られたオプティカルフロー６７を後方接近車のオプティカルフローとして検出する。
【００２７】上記のようなノイズ除去手段７によりノイズを除去したオプティカルフロー６７を２次元画像上に表示したものが図９の画像３７である。このオプティカルフロー画像３７上のそれぞれのフロー監視領域Ｒ領域５３、Ｌ領域５４上に図に示すようなウインドウ領域８６を設定し、これを動かしながら該領域内に含まれるオプティカルフロー６７の大きさ（画素数）がある閾値以上である矩形範囲６８、６９を取りだし、この範囲を後方接近車領域として検出する。実施例１ではオプティカルフロー画像３７の大きさ５１２×４８０画素に対し後方接近車検出用ウインドウの大きさをＲ領域５３、Ｌ領域５４共に６４×６４（Ｈ×Ｖ）画素、閾値を２０００画素とした。このウインドウの大きさは、画像の大きさや、検出したい後方接近車の大きさによって自由に設定でき、又それぞれのフロー監視領域で異なる大きさの接近車検出用ウインドウを設定してもよい。
【００２８】図１０は上述した全体動作の流れを示すフローチャートである。以下にこの流れを簡単に説明すると、まずステップＳ１において初期設定を行った後、ステップＳ２において画像を取り込む、次に、ステップＳ３においてオプティカルフローを演算し、ステップＳ４において求められたオプティカルフローの方向検出を行う。そして、ステップＳ５でフローパターンの抽出を行った後、ステップＳ６でオプティカルフローの強調を行い、ステップＳ７でノイズを除去した後、ステップＳ８で後方接近車を検出する。
【００２９】以上のように、実施例１では１つ以上の領域を設定しその中で後方接近車の動きと同様のある特定の方向のオプティカルフローのみを抽出し、後方接近車を検出するように構成したので、対象物体（接近車）と背景の濃度差が少ない場合、或いは背景と物体の濃度差が逆になっている場合においても、比較的正確にその移動体の移動方向を検出できる。また、走行車両という移動体から撮像した画像のように移動体のみならず背景も移動するような画像であっても画像からある特定の方向へ移動する物体（接近車）を分離して抽出できる。又、激しいバウンド等による画像の揺れから生じるオプティカルフローのノイズを除去し、安定して移動体（接近車）の検出を行える。さらに従来の後方監視装置が単に後方画像をドライバーが見やすいように表示するだけであったのに比べ、後方接近車の存在の有無やその位置を検出することができる。
【００３０】尚、実施例１ではこの発明に係る接近車監視装置を後方接近車を監視する後方接近車監視装置として説明したが、この発明は後方接近車の監視に限定されることはなく、例えば前方接近車を監視する装置に適用しても良いことは明らかである。
【００３１】
【発明の効果】以上に詳述したように、車両に設けられ、この車両より後方を撮像する撮像手段と、この撮像手段により撮像された画面内に水平方向に対して複数の領域を設定し、その領域内で時系列的に異なる２枚の画像から画像上での速度分布を表す大きさと方向を有するオプティカルフローを求めるオプティカルフロー演算手段と、 このオプティカルフロー演算手段により上記各領域内で得られたオプティカルフローのうち、それぞれの領域で設定した一定値以上の大きさを持つオプティカルフローの方向を出力するオプティカルフローの方向検出手段と、上記それぞれの領域内の所定の位置に更に１つ以上のフロー監視領域を設定し、この監視領域内で上記オプティカルフローの方向検出手段により得られた各々のオプティカルフローの方向を監視し、上記それぞれの領域内において接近車が存在する場合に仮定される接近車の画像上での動きの方向と同様の方向を持つオプティカルフローを抽出するフローパターン抽出手段と、このフローパターン抽出手段により上記フロー監視領域内で抽出されたオプティカルフローから接近車を検出する接近車検出手段とを備えたため、撮像方向が後方で、且つ、接近車の検出に特定した構成を採用したことにより、従来問題となっていた背景と移動体との誤識別が防止できるため、自車両が移動しているとき後方で撮像される背景は全て自車両から離間する方向に移動するため、後方接近車と確実に識別ができるという効果がある。また、撮像方向が後方で、且つ、水平方向に対して複数の領域を確定した構成とすることにより、各々の領域で検出対象となるオプティカルフローの方向をより細かく特定でき、誤識別が減少するという効果がある。
【００３２】また、この発明の請求項２に係る接近車監視装置によれば、車両に設けられ、この車両より所定の方向を撮像する撮像手段と、この撮像手段により撮像された画面内の所定の位置に１つ以上の領域を設定し、その領域内で時系列的に異なる２枚の画像から画像上での速度分布を表す大きさと方向を有するオプティカルフローを求めるオプティカルフロー演算手段と、このオプティカルフロー演算手段により上記各領域内で得られたオプティカルフローのうち、それぞれの領域で設定した一定値以上の大きさを持つオプティカルフローの方向を出力するオプティカルフローの方向検出手段と、上記それぞれの領域内の所定の位置に更に１つ以上のフロー監視領域を設定し、この監視領域内で上記オプティカルフローの方向検出手段により得られた各々のオプティカルフローの方向を監視し、接近車が存在する場合に仮定される接近車の画像上での動きの方向と同様の方向を持つ複数のオプティカルフローを抽出するフローパターン抽出手段と、このフローパターン抽出手段により上記フロー監視領域内で抽出されたオプティカルフローから接近車を検出する接近車検出手段と、上記フローパターン抽出手段によって抽出された各オプティカルフローに対し、その値の大きさ、その近傍に抽出されたオプティカルフローを持つ画素がどれだけあるかを判断することにより、これらのオプティカルフローがノイズであるかどうかを判断し、ノイズと判断したオプティカルフローはこれを除去する一方、接近車のオプティカルフローと判断したものはその画素及びその近傍におけるオプティカルフローの範囲を広げ強調するオプティカルフロー強調手段と、このオプティカルフロー強調手段により強調されたオプティカルフローのうち、時系列的に連続して抽出されないオプティカルフローをノイズとして除去するノイズ除去手段とを備えたため、上記効果に加え、実際に車道を走行中に大きなバウンド等により画像が激しく揺れてノイズが発生したような場合でも安定してこの接近車の監視を行うことができる。
【図面の簡単な説明】
【図１】この発明の実施例１を示すブロック図である。
【図２】物体が移動する際に得られるオプティカルフローのパターンを示す説明図である。
【図３】一次元信号で模式的に表したオプティカルフローの性質を説明するための説明図である。
【図４】この発明の実施例１におけるオプティカルフロー演算手段の説明図である。
【図５】実施例１におけるオプティカルフロー演算領域とオプティカルフロー監視領域を示す説明図である。
【図６】実施例１におけるオプティカルフローの方向検出手段と該手段によるオプティカルフローの出力状況を示す説明図である。
【図７】実施例１におけるフローパターン抽出手段とオプティカルフロー強調手段を示す説明図である。
【図８】実施例１におけるノイズ除去手段を説明するための説明図である。
【図９】実施例１における後方接近車検出手段を説明するための図である。
【図１０】実施例１の全体動作を説明するフローチャートである。
【図１１】従来の差分法による移動体抽出法の概念を説明する説明図である。
【図１２】図１１のＡ−Ａ線における濃度信号である１次元信号から差分法によって移動体を抽出する方法を示す説明図である。
【図１３】従来の接近車監視装置を説明する説明図である。
【符号の説明】
１、２ 画像信号出力手段
３ オプティカルフロー演算手段
４ オプティカルフローの方向検出手段
５ フローパターン抽出手段
６ オプティカルフロー強調手段
７ ノイズ除去手段
８ 後方接近車検出手段
２２ オプティカルフロー
２３ 空間的な濃度勾配
２４ 時間的な濃度勾配
５２ オプティカルフロー演算領域
５３、５４ オプティカルフロー方向監視領域
６７ 後方接近車のオプティカルフロー
６８、６９ 検出された後方接近車領域
８６ 後方接近車用ウインドウ
【０００１】
【産業上の利用分野】この発明は、自動車に搭載し車両周辺の状況を監視する装置、特にイメージセンサ等の光学系により撮像された画像を用いて、接近する車両を検出する接近車監視装置に関するものである。
【０００２】
【従来の技術】従来、時系列的に連続した画像から移動物体を検出する方法としては、画像間の差分による検出手法が用いられており、この手法を利用した技術として特開平４−２９４７２号公報に開示されているような接近車監視装置がある。図１１は例えば画像処理ハンドブック（１９８７年昭晃堂発行）第３７５頁に示された方法を示す説明図である。図１１において４０、４１は時間的に異なる２枚の入力画像、４４は画像４０から画像４１を差分した出力画像である。この方法では２枚の画像４０、４１中に移動物体が存在すれば、得られた差分画像４４には濃度レベルが正の領域４５と、濃度レベルが０の領域４７と、濃度レベルが負の領域４６が得られ、濃度レベルが正の領域４５と負の領域４６が画像中で移動した領域、濃度レベルが０の領域は変化しなかった領域（背景）背景部分であると考えることができる。
【０００３】図１２（ａ）、（ｂ）は差分画像による従来の方法の説明図である。図において、２０、２５は図１１１１に示す画像４０のＡ−Ａ線での画像を１次元信号で表したものであり、２１、２６は画像４１のＡ−Ａ線での画像を１次元信号で表したものである。各信号２０、２１、２５、２６において、横方向は画像の位置、縦方向は濃度レベルを示す。従来の差分法により、移動物体を検出するためには、２枚の画像２０、２１を差分した画像信号７０において、２つの閾値Ｔ１、Ｔ２を設定し、濃度の変化領域７１を抽出する。領域７１の正負の位置により移動方向を決定する。即ち、濃度の変化領域が正から負となる方向を移動方向とすると、図１２（ａ）では矢印７２が移動方向となる。
【０００４】しかし、画像によって濃度が異なるため、２つの閾値Ｔ１、Ｔ２は一定とはならず処理する画像毎に最適な閾値を決定する必要が生じ、様々な画像に対応するのは実用上困難である。特に、物体と背景の濃度差が小さい場合には最適な閾値を決定するのは容易でないという問題が残る。更に図１２（ｂ）に示す２枚の画像２５、２６の様に背景と物体の濃度差が逆になっている場合には、差分画像７３から抽出された変化領域７４は図のようになる。従って、変化領域の正負で移動方向を判定すると、移動方向は矢印７５のように矢印７４と正反対の方向に判定されてしまう。
【０００５】又、従来のイメージセンサ等により撮像された画像を用いた車両周辺の監視装置、特に後方車両の監視装置としては、特公平３−４７２１３号公報に開示されたような装置がある。これは図１２で示したようなテレビカメラ等で撮像した後方画像８０上にマーカー８１を付して後方車両の位置を判断しやすいようにしたものである。
【０００６】
【発明が解決しようとする課題】上述したように、従来の連続画像間の差分画像による移動物体の検出方法では、処理画像によって濃度が異なるため、２つの閾値Ｔ１、Ｔ２は一定とはならず、処理する画像毎に最適な閾値を決定する必要が生じるため様々な画像に対応するのは実用上困難である。特に物体と背景の濃度差が小さい場合には最適な閾値を決定することは容易ではないという問題点がある。又、背景と物体の濃度差が逆になっている場合には、誤判定することになるという問題点もある。更に、移動する車両からの撮像では接近車両や障害物などの移動物体のみならず、それらの背景も動くため、差分画像から背景と画像上を動く移動物体とを分離するのは非常に困難であるという問題点もある。
【０００７】また、特公平３−４７２１３号公報に開示されているようなビデオカメラ等で撮像した画像８０上にマーカー８１を付す技術は、単に画像を表示する技術にすぎず、ドライバが表示面を見て経験的に判断するもので、画像を処理して後方車の接近を判断する機能を備えた技術ではなかった。
【０００８】この発明は上記のような問題点を解消するためになされたもので、時間的に異なる２枚の画像から画像上での見かけの動きの速度分布を示す大きさと方向を有するオプティカルフローを求め、これを利用して移動物体とその移動方向を検出することにより、上記の差分画像を使った移動体検出法に比べ、２つの閾値Ｔ１、Ｔ２を画像毎に設定する必要がなく、濃度差が逆になっているときも移動方向を正しく判定でき、しかも移動車から撮像したような、現実上の背景も移動する動画像に対しても、実質上の背景と接近車のような移動体とを分離し得、移動体のみ、特に接近車のみを検出することができる接近車監視装置を得ることを目的としている。
【０００９】更に、走行中の道路の凹凸による自車両がバウンドから生じた動画像の揺れや、複雑背景により発生するオプティカルフローのノイズを除去し、接近車両の検出をより正確に行える接近車監視装置を得ることをも目的としている。
【００１０】
【課題を解決するための手段】この発明の請求項１に係る接近車監視装置は、車両に設けられ、この車両より後方を撮像する撮像手段と、この撮像手段により撮像された画面内に水平方向に対して複数の領域を設定し、その領域内で時系列的に異なる２枚の画像から画像上での速度分布を表す大きさと方向を有するオプティカルフローを求めるオプティカルフロー演算手段と、 このオプティカルフロー演算手段により上記各領域内で得られたオプティカルフローのうち、それぞれの領域で設定した一定値以上の大きさを持つオプティカルフローの方向を出力するオプティカルフローの方向検出手段と、上記それぞれの領域内の所定の位置に更に１つ以上のフロー監視領域を設定し、この監視領域内で上記オプティカルフローの方向検出手段により得られた各々のオプティカルフローの方向を監視し、上記それぞれの領域内において接近車が存在する場合に仮定される接近車の画像上での動きの方向と同様の方向を持つオプティカルフローを抽出するフローパターン抽出手段と、このフローパターン抽出手段により上記フロー監視領域内で抽出されたオプティカルフローから接近車を検出する接近車検出手段とを備えたものである。
【００１１】車両に設けられ、この車両より所定の方向を撮像する撮像手段と、この撮像手段により撮像された画面内の所定の位置に１つ以上の領域を設定し、その領域内で時系列的に異なる２枚の画像から画像上での速度分布を表す大きさと方向を有するオプティカルフローを求めるオプティカルフロー演算手段と、このオプティカルフロー演算手段により上記各領域内で得られたオプティカルフローのうち、それぞれの領域で設定した一定値以上の大きさを持つオプティカルフローの方向を出力するオプティカルフローの方向検出手段と、上記それぞれの領域内の所定の位置に更に１つ以上のフロー監視領域を設定し、この監視領域内で上記オプティカルフローの方向検出手段により得られた各々のオプティカルフローの方向を監視し、接近車が存在する場合に仮定される接近車の画像上での動きの方向と同様の方向を持つ複数のオプティカルフローを抽出するフローパターン抽出手段と、このフローパターン抽出手段により上記フロー監視領域内で抽出されたオプティカルフローから接近車を検出する接近車検出手段と、上記フローパターン抽出手段によって抽出された各オプティカルフローに対し、その値の大きさ、その近傍に抽出されたオプティカルフローを持つ画素がどれだけあるかを判断することにより、これらのオプティカルフローがノイズであるかどうかを判断し、ノイズと判断したオプティカルフローはこれを除去する一方、接近車のオプティカルフローと判断したものはその画素及びその近傍におけるオプティカルフローの範囲を広げ強調するオプティカルフロー強調手段と、このオプティカルフロー強調手段により強調されたオプティカルフローのうち、時系列的に連続して抽出されないオプティカルフローをノイズとして除去するノイズ除去手段とを備えたものである。
【００１２】
【作用】この発明の請求項１に係る接近車監視装置によれば、車両に設けられた撮像手段がこの車両より所定の方向を撮像する。また、オプティカルフロー演算手段が撮像手段により撮像された画面内の所定の位置に１つ以上の領域を設定し、その領域内で時系列的に異なる２枚の画像から画像上での速度分布を表す大きさと方向を有するオプティカルフローを求める。更に、オプティカルフローの方向検出手段がオプティカルフロー演算手段により上記各領域内で得られたオプティカルフローのうち、それぞれの領域で設定した一定値以上の大きさを持つオプティカルフローの方向を出力する。また、フローパターン抽出手段が上記それぞれの領域内の所定の位置に更に１つ以上のフロー監視領域を設定し、この監視領域内で上記オプティカルフローの方向検出手段により得られた各々のオプティカルフローの方向を監視し、接近車が存在する場合に仮定される接近車の画像上での動きの方向と同様の方向を持つオプティカルフローを抽出する。そして、接近車検出手段がこのフローパターン抽出手段により上記フロー監視領域内で抽出されたオプティカルフローから接近車を検出する。
【００１３】また、この発明の請求項２に係る接近車監視装置によれば、車両に設けられた撮像手段がこの車両より所定の方向を撮像する。また、オプティカルフロー演算手段が撮像手段により撮像された画面内の所定の位置に１つ以上の領域を設定し、その領域内で時系列的に異なる２枚の画像から画像上での速度分布を表す大きさと方向を有するオプティカルフローを求める。更に、オプティカルフローの方向検出手段がオプティカルフロー演算手段により上記各領域内で得られたオプティカルフローのうち、それぞれの領域で設定した一定値以上の大きさを持つオプティカルフローの方向を出力する。また、フローパターン抽出手段が上記それぞれの領域内の所定の位置に更に１つ以上のフロー監視領域を設定し、この監視領域内で上記オプティカルフローの方向検出手段により得られた各々のオプティカルフローの方向を監視し、接近車が存在する場合に仮定される接近車の画像上での動きの方向と同様の方向を持つオプティカルフローを抽出する。そして、接近車検出手段がこのフローパターン抽出手段により上記フロー監視領域内で抽出されたオプティカルフローから接近車を検出する。また、オプティカルフロー抽出手段が上記フローパターン抽出手段によって抽出された各オプティカルフローに対し、その値の大きさ、その近傍に抽出されたオプティカルフローを持つ画素がどれだけあるかを判断することにより、これらのオプティカルフローがノイズであるかどうかを判断し、ノイズと判断したオプティカルフローはこれを除去する一方、接近車のオプティカルフローと判断したものはその画素及びその近傍におけるオプティカルフローの範囲を広げ強調する。そして、ノイズ除去手段がオプティカルフロー強調手段により強調されたオプティカルフローのうち、時系列的に連続して抽出されないオプティカルフローをノイズとして除去する。
【００１４】
【実施例】
実施例１．以下、この発明の実施例１を後方接近車を監視する後方接近車装置に例をとって図について説明する。図１は実施例１を示すブロック図である。１、２は時間的に異なる２枚の画像を形成するための画像信号出力手段、３は画像信号出力手段１、２に接続され、これら画像信号出力手段１、２より得られる画像内の所定の位置に１つ以上の領域を設定し、その領域内で速度分布を示す大きさと方向を有するオプティカルフローを計算するオプティカルフロー演算手段、４はオプティカルフロー演算手段３に接続され、オプティカルフロー演算手段３により得られたオプティカルフローのうち、それぞれの領域で設定した一定値以上の大きさを持つオプティカルフローの方向を出力するオプティカルフローの方向検出手段、５は上記それぞれの演算領域内の所定の位置に更に１つ以上のフロー監視領域を設定し、このフロー監視領域内で、上記オプティカルフローの方向検出手段４により得られた各々のオプティカルフローの方向を監視し、後方接近車が存在する場合に仮定される接近車の画像上での動きの方向と同様の方向を持つオプティカルフローを抽出するフローパターン抽出手段、６はフローパターン抽出手段５に接続され、フロー監視領域内でフローパターン抽出法によって得られた各オプティカルフローに対し、その値の大きさや、その近傍に同様にして抽出されたオプティカルフローがどれだけあるか（抽出されたオプティカルフローを持つ近傍画素の面積）により、これらのオプティカルフローがノイズであるかどうかを判断し、ノイズと判断したオプティカルフローを除去し後方接近車のフローと判断したものはその画素及びその近傍画素のオプティカルフローの範囲を広げ強調するオプティカルフロー強調手段、７はこのオプティカルフロー強調手段６により検出強調されたオプティカルフローのうち、時系列的に連続して抽出されないオプティカルフローをノイズとして除去するノイズ除去手段、８はノイズ除去手段７に接続され、ノイズ除去手段７により得られたオプティカルフローから後方接近車を検出する後方接近車検出手段である。
【００１５】次に実施例１の基本となるオプティカルフロー法の詳細について説明する。オプティカルフローとは、時間的に異なる２枚の画像から画像の空間方向の濃度勾配と時間方向の濃度勾配を用いて画像上で移動した物体の移動ベクトルである。このオプティカルフローを求める方法は多数提案されているが、実施例１では一般的にグローバル法と呼ばれる方法「ビー．ケイ．ピー．ホーンとビー．ジー．シャンクによる１９８１年発行の人工知能第１７巻１乃至３号のオプティカルフローの決定（B.K.P.Forn＆B.G.Schunck、“Determining optical flow"、Artificial Intelligence.Vol.17.no.1-3(1981)」（第205頁〜第210頁参照)を採用した。以下にその方法を説明する。
【００１６】ある時刻ｔにおける画像中のある座標（ｘ，ｙ）の濃度をＥ（ｘ，ｙ，ｔ）で表わしたとき、物体の濃度は時間的に不変であると仮定すれば、下に示す近似式（１）が成立する。
【００１７】
Ｅｘ・＋Ｅｙ・ｖ＋Ｅｔ＝０ （１）
ここで、Ｅｘ、Ｅｙは空間方向（ｘ方向、ｙ方向）の濃度勾配、Ｅｔは時間方向（ｔ方向）の濃度勾配ｕ、ｖはそれぞれｘ方向、ｙ方向の速度成分である。
【００１８】式（１）に局所的な速度は滑らかに変化するという仮定を加え、次の式（２）で与えられる誤差関数を最小にするｕ、ｖが求めるオプティカルフローの速度成分であるとするものである。
【００１９】
∫∫（ｅｂ2 ＋ｅｃ2 ）ｄｘｄｙ （２）
ここで、ｅｂ＝ Ｅｘ・ｕ＋Ｅｙ／ｖ＋Ｅｔｅｃ2 ＝（δｕ／δｘ）2＋（δｕ／δｙ）2＋（δｖ／δｘ）2＋（δｖ／δｙ）2である。
【００２０】図２、図３はこのオプティカルフロー法を示す説明図である。図２は連続画像４０、４１及びこの２枚の連続画像４０、４１における物体の位置関係とオプティカルフローの関係を表わして２次元画像４２を示したものである。今、図２に示したように画像４０における物体４８が画像４１上で４９で示す位置に移動したと考える。図３（ａ）（ｂ）は図２における連続画像４０、４１のＢ−Ｂ線における画像の濃度を１次元信号で表したものであり、２０、２５は画像１における濃度レベルを示す信号、２１、２６は画像２における濃度レベルを示す信号、実線矢印２２はオプティカルフロー、点線矢印２３は空間的な濃度勾配、一点鎖線矢印２４は時間的な濃度勾配を示す。このオプティカルフローの向きは図３（ｂ）に示すように背景と物体の濃度差が逆になっている画像信号２５、画像信号２６の様な場合でも変わらない。この性質は図２の２次元画像４２において４３のようなオプティカルフローとして得られる。図２に示すように、このような連続画像４０、４１から得られるオプティカルフローは背景との濃度差がある（物体のエッジ部分）において、空間的な濃度勾配２３と時間的な濃度勾配２４のベクトル和２２（図３）、４３（図２R>２）であるとして与えられる。
【００２１】図４は高速道路を走行中の自車両からイメージセンサ等により撮像した後方画像を示したものである。図４の画像３０、画像３１は接近してくる２台の後方車５０、５１を捕えた連続画像である。この２枚の連続画像３０、３１上の図５に示したような位置にオプティカルフローの演算領域５２を設定し、該演算領域内で上記に説明した方法でオプティカルフローを算出する。これがオプティカルフロー演算手段３である。
【００２２】次にオプティカルフロー演算手段３により得られたオプティカルフローの大きさに対しある閾値を設定し、この閾値以上のものについてのみその方向を図６R>６（ａ）の１０〜１７に示すような８方向に量子化して出力し、それ以下のオプティカルフローは全てその大きさを０とした。実施例１では上記のオプティカルフロー演算領域５２におけるオプティカルフローの閾値を０．１とした。これにより、イメージセンサの特性やイメージセンサを搭載している自車両の微細な揺れ等から生じる後方画像の微妙な揺れに対応したオプティカルフロー等が背景とみなされ０になる。この様にして得られたオプティカルフローの方向を２次元画像で示したものは図６R>６（ｂ）である。図に示したように、上記のオプティカルフローの方向検出手段４により接近車や白線、標識などコントラストの大きい背景のオプティカルフローが出力される。
【００２３】上記のオプティカルフローに対し、図５の５３、５４の様に左右にフロー監視領域（Ｌ、Ｒ領域）を設定し、この領域の中で後方接近車の動きの方向と想定されるものと同様の方向を持つオプティカルフローを抽出する。Ｒ領域５３では、後方接近車５１が動くと仮定される１４、１５の方向のフローを持つオプティカルフローを、Ｌ領域５４では後方接近車５２が動くと仮定される１０、１７の方向のフローを持つオプティカルフローを抽出する。このフローパターン抽出手段５により抽出されたオプティカルフローを２次元画像で示したものが図７の画像３４である。図７に示したようにＬ領域５４では後方接近車５０の周辺にオプティカルフロー６１が、Ｒ領域５３では後方接近車５１の周辺にオプティカルフロー６２が抽出される。
【００２４】このようなオプティカルフローのフローパターン抽出手段５により後方接近車のオプティカルフローを抽出するが、後方車のオプティカルフロー以外に画像３４に示すようなノイズ（背景）のオプティカルフロー８５が抽出される。このオプティカルフロー８５は走行中の自車両のハウンドによる画像の大きな揺れ等により、コントラストの強い背景の一部で抽出される。こうしたノイズを除去し、後方接近車のオプティカルフローを強調するための手段がオプティカルフローの強調手段６である。このオプティカルフローの強調手段６は各々のフロー監視領域内５３、５４の抽出されたオプティカルフローに対し、オプティカルフローの大きさや抽出されたオプティカルフローを持つ近傍画素の面積により、その画素のオプティカルフローがノイズであるかどうかを判断し、ノイズと判断したものは除去する一方、後方接近車と判断したものはこれを強調するものである。実施例１では、上記のオプティカルフロー強調手段６として以下で説明するような２値画像でよく使われる膨張・収縮フィルタを採用した。
【００２５】まず、膨張フィルタについて説明する。それぞれのフロー監視領域内５３、５４内における各画素及びその８方向近傍で上記のフローパターン抽出手段５によって得られたオプティカルフローがｎ（ｎ＜５）個以上あればその画素の値を１とし、それ以下の時は上記の画素の値を０とする。次にこうして得られた２値画像上におけるそれぞれのフロー監視領域内の各画素に対し、この画素及びその８方向近傍における画素の値の値が１である画素がｍ（ｍ＞５）個以上であれば、その画素の値を１とし、それ以下であればその値を０とする。これが収縮フィルタである。以上のようにして、フローパターン抽出手段５により抽出されたオプティカルフローのうち、その近傍に同様に抽出されたオプティカルフローを持つ近傍画素がどれだけあるかにより、このオプティカルフローがバウンド等による画像の揺れから生じたノイズがあるかどうかを判断し、ノイズと判断すればこれを除去し、後方接近車であると判断すれば、その領域を拡大し隣接する抽出領域同士を結合させる。実施例１ではｎ＝３、ｍ＝７と設定して処理を行ったが、画像の特性やオプティカルフローの出方によりこの値は自由に設定してよく、又今回はフィルタの大きさを３×３画素に設定したがこれも上記の条件により自由に設定してよい。
【００２６】上記のオプティカルフロー強調手段６によって得られた画像を示したものが図７の画像３５である。図７に示したように、オプティカルフロー強調手段６によって出力されたオプティカルフロー画像３５は上記の処理を行う以前のオプティカルフロー画像に３４に比べ、後方接近車５０、５１のオプティカルフロー６３、６４が強調され、ノイズがかなり減少するが、バウンド等による画像の揺れが激しい時にはフロー強調手段による処理後も画像３５に示すようなノイズのオプティカルフロー８５が残る場合がある。こうしたノイズのオプティカルフロー８５は自系列的に連続して検出されないため、オプティカルフロー強調手段６によって得られたオプティカルフローのうち、連続して検出されないオプティカルフローはノイズとして除去する。これがノイズ除去手段７であり、図８はこのノイズ除去手段７の説明図である。図において時間ｔ＝ｔ０の時に以上で説明した諸手段により得られたオプティカルフロー６５と、時間ｔ＝ｔ０＋△ｔにおいて諸手段によ得られたオプティカルフロー６６のうち連続して得られたオプティカルフロー６７を後方接近車のオプティカルフローとして検出する。
【００２７】上記のようなノイズ除去手段７によりノイズを除去したオプティカルフロー６７を２次元画像上に表示したものが図９の画像３７である。このオプティカルフロー画像３７上のそれぞれのフロー監視領域Ｒ領域５３、Ｌ領域５４上に図に示すようなウインドウ領域８６を設定し、これを動かしながら該領域内に含まれるオプティカルフロー６７の大きさ（画素数）がある閾値以上である矩形範囲６８、６９を取りだし、この範囲を後方接近車領域として検出する。実施例１ではオプティカルフロー画像３７の大きさ５１２×４８０画素に対し後方接近車検出用ウインドウの大きさをＲ領域５３、Ｌ領域５４共に６４×６４（Ｈ×Ｖ）画素、閾値を２０００画素とした。このウインドウの大きさは、画像の大きさや、検出したい後方接近車の大きさによって自由に設定でき、又それぞれのフロー監視領域で異なる大きさの接近車検出用ウインドウを設定してもよい。
【００２８】図１０は上述した全体動作の流れを示すフローチャートである。以下にこの流れを簡単に説明すると、まずステップＳ１において初期設定を行った後、ステップＳ２において画像を取り込む、次に、ステップＳ３においてオプティカルフローを演算し、ステップＳ４において求められたオプティカルフローの方向検出を行う。そして、ステップＳ５でフローパターンの抽出を行った後、ステップＳ６でオプティカルフローの強調を行い、ステップＳ７でノイズを除去した後、ステップＳ８で後方接近車を検出する。
【００２９】以上のように、実施例１では１つ以上の領域を設定しその中で後方接近車の動きと同様のある特定の方向のオプティカルフローのみを抽出し、後方接近車を検出するように構成したので、対象物体（接近車）と背景の濃度差が少ない場合、或いは背景と物体の濃度差が逆になっている場合においても、比較的正確にその移動体の移動方向を検出できる。また、走行車両という移動体から撮像した画像のように移動体のみならず背景も移動するような画像であっても画像からある特定の方向へ移動する物体（接近車）を分離して抽出できる。又、激しいバウンド等による画像の揺れから生じるオプティカルフローのノイズを除去し、安定して移動体（接近車）の検出を行える。さらに従来の後方監視装置が単に後方画像をドライバーが見やすいように表示するだけであったのに比べ、後方接近車の存在の有無やその位置を検出することができる。
【００３０】尚、実施例１ではこの発明に係る接近車監視装置を後方接近車を監視する後方接近車監視装置として説明したが、この発明は後方接近車の監視に限定されることはなく、例えば前方接近車を監視する装置に適用しても良いことは明らかである。
【００３１】
【発明の効果】以上に詳述したように、車両に設けられ、この車両より後方を撮像する撮像手段と、この撮像手段により撮像された画面内に水平方向に対して複数の領域を設定し、その領域内で時系列的に異なる２枚の画像から画像上での速度分布を表す大きさと方向を有するオプティカルフローを求めるオプティカルフロー演算手段と、 このオプティカルフロー演算手段により上記各領域内で得られたオプティカルフローのうち、それぞれの領域で設定した一定値以上の大きさを持つオプティカルフローの方向を出力するオプティカルフローの方向検出手段と、上記それぞれの領域内の所定の位置に更に１つ以上のフロー監視領域を設定し、この監視領域内で上記オプティカルフローの方向検出手段により得られた各々のオプティカルフローの方向を監視し、上記それぞれの領域内において接近車が存在する場合に仮定される接近車の画像上での動きの方向と同様の方向を持つオプティカルフローを抽出するフローパターン抽出手段と、このフローパターン抽出手段により上記フロー監視領域内で抽出されたオプティカルフローから接近車を検出する接近車検出手段とを備えたため、撮像方向が後方で、且つ、接近車の検出に特定した構成を採用したことにより、従来問題となっていた背景と移動体との誤識別が防止できるため、自車両が移動しているとき後方で撮像される背景は全て自車両から離間する方向に移動するため、後方接近車と確実に識別ができるという効果がある。また、撮像方向が後方で、且つ、水平方向に対して複数の領域を確定した構成とすることにより、各々の領域で検出対象となるオプティカルフローの方向をより細かく特定でき、誤識別が減少するという効果がある。
【００３２】また、この発明の請求項２に係る接近車監視装置によれば、車両に設けられ、この車両より所定の方向を撮像する撮像手段と、この撮像手段により撮像された画面内の所定の位置に１つ以上の領域を設定し、その領域内で時系列的に異なる２枚の画像から画像上での速度分布を表す大きさと方向を有するオプティカルフローを求めるオプティカルフロー演算手段と、このオプティカルフロー演算手段により上記各領域内で得られたオプティカルフローのうち、それぞれの領域で設定した一定値以上の大きさを持つオプティカルフローの方向を出力するオプティカルフローの方向検出手段と、上記それぞれの領域内の所定の位置に更に１つ以上のフロー監視領域を設定し、この監視領域内で上記オプティカルフローの方向検出手段により得られた各々のオプティカルフローの方向を監視し、接近車が存在する場合に仮定される接近車の画像上での動きの方向と同様の方向を持つ複数のオプティカルフローを抽出するフローパターン抽出手段と、このフローパターン抽出手段により上記フロー監視領域内で抽出されたオプティカルフローから接近車を検出する接近車検出手段と、上記フローパターン抽出手段によって抽出された各オプティカルフローに対し、その値の大きさ、その近傍に抽出されたオプティカルフローを持つ画素がどれだけあるかを判断することにより、これらのオプティカルフローがノイズであるかどうかを判断し、ノイズと判断したオプティカルフローはこれを除去する一方、接近車のオプティカルフローと判断したものはその画素及びその近傍におけるオプティカルフローの範囲を広げ強調するオプティカルフロー強調手段と、このオプティカルフロー強調手段により強調されたオプティカルフローのうち、時系列的に連続して抽出されないオプティカルフローをノイズとして除去するノイズ除去手段とを備えたため、上記効果に加え、実際に車道を走行中に大きなバウンド等により画像が激しく揺れてノイズが発生したような場合でも安定してこの接近車の監視を行うことができる。
【図面の簡単な説明】
【図１】この発明の実施例１を示すブロック図である。
【図２】物体が移動する際に得られるオプティカルフローのパターンを示す説明図である。
【図３】一次元信号で模式的に表したオプティカルフローの性質を説明するための説明図である。
【図４】この発明の実施例１におけるオプティカルフロー演算手段の説明図である。
【図５】実施例１におけるオプティカルフロー演算領域とオプティカルフロー監視領域を示す説明図である。
【図６】実施例１におけるオプティカルフローの方向検出手段と該手段によるオプティカルフローの出力状況を示す説明図である。
【図７】実施例１におけるフローパターン抽出手段とオプティカルフロー強調手段を示す説明図である。
【図８】実施例１におけるノイズ除去手段を説明するための説明図である。
【図９】実施例１における後方接近車検出手段を説明するための図である。
【図１０】実施例１の全体動作を説明するフローチャートである。
【図１１】従来の差分法による移動体抽出法の概念を説明する説明図である。
【図１２】図１１のＡ−Ａ線における濃度信号である１次元信号から差分法によって移動体を抽出する方法を示す説明図である。
【図１３】従来の接近車監視装置を説明する説明図である。
【符号の説明】
１、２ 画像信号出力手段
３ オプティカルフロー演算手段
４ オプティカルフローの方向検出手段
５ フローパターン抽出手段
６ オプティカルフロー強調手段
７ ノイズ除去手段
８ 後方接近車検出手段
２２ オプティカルフロー
２３ 空間的な濃度勾配
２４ 時間的な濃度勾配
５２ オプティカルフロー演算領域
５３、５４ オプティカルフロー方向監視領域
６７ 後方接近車のオプティカルフロー
６８、６９ 検出された後方接近車領域
８６ 後方接近車用ウインドウ
【特許請求の範囲】
【請求項１】 車両に設けられ、この車両より後方を撮像する撮像手段と、この撮像手段により撮像された画面内に水平方向に対して複数の領域を設定し、その領域内で時系列的に異なる２枚の画像から画像上での速度分布を表す大きさと方向を有するオプティカルフローを求めるオプティカルフロー演算手段と、このオプティカルフロー演算手段により上記各領域内で得られたオプティカルフローのうち、それぞれの領域で設定した一定値以上の大きさを持つオプティカルフローの方向を出力するオプティカルフローの方向検出手段と、上記それぞれの領域内の所定の位置に更に１つ以上のフロー監視領域を設定し、この監視領域内で上記オプティカルフローの方向検出手段により得られた各々のオプティカルフローの方向を監視し、上記それぞれの領域内において接近車が存在する場合に仮定される接近車の画像上での動きの方向と同様の方向を持つオプティカルフローを抽出するフローパターン抽出手段と、このフローパターン抽出手段により上記フロー監視領域内で抽出されたオプティカルフローから接近車を検出する接近車検出手段と、を備えた接近車監視装置。
【請求項２】 車両に設けられ、この車両より所定方向を撮像する撮像手段と、この撮像手段により撮像された画面内の所定の位置に１つ以上の領域を設定し、その領域内で時系列的に異なる２枚の画像から画像上での速度分布を表す大きさと方向を有するオプティカルフローを求めるオプティカルフロー演算手段と、このオプティカルフロー演算手段により上記各領域内で得られたオプティカルフローのうち、それぞれの領域で設定した一定値以上の大きさを持つオプティカルフローの方向を出力するオプティカルフローの方向検出手段と、上記それぞれの領域内の所定の位置に更に１つ以上のフロー監視領域を設定し、この監視領域内で上記オプティカルフローの方向検出手段により得られた各々のオプティカルフローの方向を監視し、接近車が存在する場合に仮定される接近車の画像上での動きの方向と同様の方向を持つ複数のオプティカルフローを抽出するフローパターン抽出手段と、このフローパターン抽出手段により上記フロー監視領域内で抽出されたオプティカルフローから接近車を検出する接近車検出手段と、上記フローパターン抽出手段によって抽出された各オプティカルフローに対し、その値の大きさ、その近傍に抽出されたオプティカルフローを持つ画素がどれだけあるかを判断することにより、これらのオプティカルフローがノイズであるかどうか判断し、ノイズと判断したオプティカルフローはこれを除去する一方、接近車のオプティカルフローと判断したものはその画素及びその近傍におけるオプティカルフローの範囲を広げ強調するオプティカルフロー強調手段と、このオプティカルフロー強調手段により強調されたオプティカルフローのうち、時系列的に連続して抽出されないオプティカルフローをノイズとして除去するノイズ除去手段と、を備えた接近車監視装置
【請求項１】 車両に設けられ、この車両より後方を撮像する撮像手段と、この撮像手段により撮像された画面内に水平方向に対して複数の領域を設定し、その領域内で時系列的に異なる２枚の画像から画像上での速度分布を表す大きさと方向を有するオプティカルフローを求めるオプティカルフロー演算手段と、このオプティカルフロー演算手段により上記各領域内で得られたオプティカルフローのうち、それぞれの領域で設定した一定値以上の大きさを持つオプティカルフローの方向を出力するオプティカルフローの方向検出手段と、上記それぞれの領域内の所定の位置に更に１つ以上のフロー監視領域を設定し、この監視領域内で上記オプティカルフローの方向検出手段により得られた各々のオプティカルフローの方向を監視し、上記それぞれの領域内において接近車が存在する場合に仮定される接近車の画像上での動きの方向と同様の方向を持つオプティカルフローを抽出するフローパターン抽出手段と、このフローパターン抽出手段により上記フロー監視領域内で抽出されたオプティカルフローから接近車を検出する接近車検出手段と、を備えた接近車監視装置。
【請求項２】 車両に設けられ、この車両より所定方向を撮像する撮像手段と、この撮像手段により撮像された画面内の所定の位置に１つ以上の領域を設定し、その領域内で時系列的に異なる２枚の画像から画像上での速度分布を表す大きさと方向を有するオプティカルフローを求めるオプティカルフロー演算手段と、このオプティカルフロー演算手段により上記各領域内で得られたオプティカルフローのうち、それぞれの領域で設定した一定値以上の大きさを持つオプティカルフローの方向を出力するオプティカルフローの方向検出手段と、上記それぞれの領域内の所定の位置に更に１つ以上のフロー監視領域を設定し、この監視領域内で上記オプティカルフローの方向検出手段により得られた各々のオプティカルフローの方向を監視し、接近車が存在する場合に仮定される接近車の画像上での動きの方向と同様の方向を持つ複数のオプティカルフローを抽出するフローパターン抽出手段と、このフローパターン抽出手段により上記フロー監視領域内で抽出されたオプティカルフローから接近車を検出する接近車検出手段と、上記フローパターン抽出手段によって抽出された各オプティカルフローに対し、その値の大きさ、その近傍に抽出されたオプティカルフローを持つ画素がどれだけあるかを判断することにより、これらのオプティカルフローがノイズであるかどうか判断し、ノイズと判断したオプティカルフローはこれを除去する一方、接近車のオプティカルフローと判断したものはその画素及びその近傍におけるオプティカルフローの範囲を広げ強調するオプティカルフロー強調手段と、このオプティカルフロー強調手段により強調されたオプティカルフローのうち、時系列的に連続して抽出されないオプティカルフローをノイズとして除去するノイズ除去手段と、を備えた接近車監視装置
【図８】
【図６】
【図１】
【図２】
【図３】
【図５】
【図９】
【図４】
【図７】
【図１０】
【図１３】
【図１１】
【図１２】
【図６】
【図１】
【図２】
【図３】
【図５】
【図９】
【図４】
【図７】
【図１０】
【図１３】
【図１１】
【図１２】
【特許番号】特許第３０１１５６６号（Ｐ３０１１５６６）
【登録日】平成１１年１２月１０日（１９９９．１２．１０）
【発行日】平成１２年２月２１日（２０００．２．２１）
【国際特許分類】
【出願番号】特願平５−３８１６３
【出願日】平成５年２月２６日（１９９３．２．２６）
【公開番号】特開平６−２４７２４６
【公開日】平成６年９月６日（１９９４．９．６）
【審査請求日】平成９年８月６日（１９９７．８．６）
【前置審査】 前置審査
【出願人】（０００００６０１３）三菱電機株式会社 (33,312)
【参考文献】
【文献】特開 平６−１０７０９６（ＪＰ，Ａ）
【文献】特開 平２−２４１８５５（ＪＰ，Ａ）
【登録日】平成１１年１２月１０日（１９９９．１２．１０）
【発行日】平成１２年２月２１日（２０００．２．２１）
【国際特許分類】
【出願日】平成５年２月２６日（１９９３．２．２６）
【公開番号】特開平６−２４７２４６
【公開日】平成６年９月６日（１９９４．９．６）
【審査請求日】平成９年８月６日（１９９７．８．６）
【前置審査】 前置審査
【出願人】（０００００６０１３）三菱電機株式会社 (33,312)
【参考文献】
【文献】特開 平６−１０７０９６（ＪＰ，Ａ）
【文献】特開 平２−２４１８５５（ＪＰ，Ａ）
[ Back to top ]