車両用周辺監視装置
【課題】移動体検出のための画像処理負荷を効率的に低減しつつ誤検知を低減する車両用周辺監視装置を提供する。
【解決手段】移動体検出部は、ソナーが障害物を検出していないときの近接領域Ａの輝度（路面の輝度と推定）と、遠方領域Ｂ、Ｃの輝度とを比較し、輝度の差が小さい遠方領域Ｂ、Ｃ（路面と推定）での前記移動体の検知感度を高くし、輝度の差が大きい遠方領域Ｂ、Ｃ（路面だけではない。）での前記移動体の検知感度を低くするようにしたので、移動体検出のための画像処理負荷を効率的に低減しつつ誤検知を低減することができる。
【解決手段】移動体検出部は、ソナーが障害物を検出していないときの近接領域Ａの輝度（路面の輝度と推定）と、遠方領域Ｂ、Ｃの輝度とを比較し、輝度の差が小さい遠方領域Ｂ、Ｃ（路面と推定）での前記移動体の検知感度を高くし、輝度の差が大きい遠方領域Ｂ、Ｃ（路面だけではない。）での前記移動体の検知感度を低くするようにしたので、移動体検出のための画像処理負荷を効率的に低減しつつ誤検知を低減することができる。
【発明の詳細な説明】
【技術分野】
【０００１】
この発明は、車両に搭載された撮像部により取得された画像を用いて、前記車両の周辺を監視する車両用周辺監視装置に関する。
【背景技術】
【０００２】
従来から、車両に搭載されたカメラにより取得された画像を用いて、前記車両の周辺を監視する周辺監視装置が提案されている（特許文献１参照）。
【０００３】
特許文献１に係る周辺監視装置には、カメラの撮像画像中、運転者の死角領域での移動体の検出感度を高く設定し、残りの領域での移動体の検出感度を低く設定することで、画像処理負荷量を低減する技術が記載されている。
【０００４】
しかし、撮像画像中、運転者の死角領域には、壁など道路ではない部分が存在する場合があり、その道路ではない部分で移動体の検出感度を高く設定すると、その分、画像処理負荷量が増大するので、特許文献１に係る技術は改良の余地がある。
【０００５】
特許文献２に係る道路領域判定装置には、自車両の直前の画像領域の輝度を道路領域の輝度とみなし、他の領域の輝度とを比較し、他の領域が路面領域であるか否か判定する技術が記載されている。
【先行技術文献】
【特許文献】
【０００６】
【特許文献１】特開２００９−３０３０９５号公報（［要約］、［００１８］）
【特許文献２】特開２０００−３０６０９７号公報（［要約］）
【発明の概要】
【発明が解決しようとする課題】
【０００７】
しかしながら、特許文献２に係る道路領域判定装置では、自車両の直前の画像領域を、常に路面領域とみなしているので、仮に、自車両の直前に立体物が存在する場合には、他の領域が路面領域であるか否かを正確に判定することが不可能となり、この特許文献２に係る技術においても改良の余地がある。
【０００８】
この発明はこのような課題を考慮してなされたものであり、確実に路面（道路の表面）領域を検出して、移動体検出のための画像処理負荷を効率的に低減しつつ誤検知を低減することを可能とする車両用周辺監視装置を提供することを目的とする。
【課題を解決するための手段】
【０００９】
この発明に係る車両用周辺監視装置は、車両に搭載され、前記車両周辺の近接領域の障害物を検出する超音波センサと、車両に搭載され、前記車両周辺の撮像画像を取得する撮像部と、前記撮像画像に基づき、前記車両周辺の遠方領域の移動体を検出する移動体検出部と、前記撮像画像を表示する表示部と、前記超音波センサ、又は、前記移動体検出部にて検出した前記障害物、又は、前記移動体を前記車両の運転者に通知する通知部と、からなる車両用周辺監視装置であって、
前記移動体検出部は、前記超音波センサが障害物を検出していないときの前記近接領域の輝度と、前記遠方領域の輝度とを比較し、輝度の差が小さい遠方領域での前記移動体の検知感度を高くし、輝度の差が大きい遠方領域での前記移動体の検知感度を低くすることを特徴とする。
【００１０】
この発明によれば、車両周辺の近接領域の障害物を検出する超音波センサが障害物を検出していないときの前記近接領域の輝度（すなわち、より確実に路面領域と推定される輝度）と、遠方領域の輝度とを比較し、輝度の差が小さい遠方領域（すなわち、路面領域と推定される領域）での移動体の検知感度を高くし、輝度の差が大きい遠方領域（すなわち、路面領域と推定されない領域）での前記移動体の検知感度を低くするようにしたので、移動体検出のための画像処理負荷を効率的に低減しつつ誤検知を低減することができる。
【００１１】
この場合、前記移動体検出部は、前記輝度の差が大きい遠方領域での縦エッジを抽出し、前記縦エッジの面積が小さい場合は、輝度の差が大きい遠方領域での縦エッジの面積と前記輝度の差が大きい遠方領域に隣接する車高方向の領域における縦エッジの面積とを比較し、差が小さい場合は、前記輝度の差が大きい遠方領域において前記移動体の検出を実行しないことを特徴とする。
【００１２】
この発明によれば、輝度の差が大きい遠方領域での縦エッジの面積と前記輝度の差が大きい遠方領域に隣接する車高方向の領域における縦エッジの面積とを比較し、差が小さい場合は、前記輝度の差が大きい遠方領域において前記移動体の検出を実行しないようにしたので、移動体検出の画像処理負荷を低減しつつ誤検知を低減することができる。
【００１３】
この場合、前記超音波センサは、前記車両の後方の障害物を検出し、前記撮像部は、前記車両の後方の撮像画像を取得するように設けられることが好ましい。この構成では、車両後退運転時における後方視認支援として有用である。
【発明の効果】
【００１４】
この発明によれば、車両周辺の近接領域の障害物を検出する超音波センサが障害物を検出していないときの前記近接領域の輝度（より確実に路面領域と推定される輝度）と、遠方領域の輝度とを比較し、輝度の差が小さい遠方領域（路面領域と推定される領域）での移動体の検知感度を高くし、輝度の差が大きい遠方領域（路面領域と推定されない領域）での前記移動体の検知感度を低くするようにしたので、移動体を検出するための画像処理負荷を効率的に低減しつつ誤検知を低減することができる。
【図面の簡単な説明】
【００１５】
【図１】この実施形態に係る車両用周辺監視装置が搭載された車両の模式的ブロック図である。
【図２】車両後方のワイドビュー画像（カメラ画像）の例を示す説明図である。
【図３】図３Ａは、画面に表示されるガイド線の説明図である。図３Ｂは、ガイド線位置と車両位置との一例の対応説明図である。
【図４】車両後方のワイドビュー画像中、路面推定処理を実施する領域の説明図である。
【図５】移動体を検出するフレーム間差分処理の説明図である。
【図６】路面推定処理の説明に供されるフローチャート（１／２）である。
【図７】路面推定処理の説明に供されるフローチャート（２／２）である。
【図８】路面とみなした近接領域の輝度に基づき、遠方領域が路面か否かを推定する処理に供される説明図である。
【図９】画像の縦エッジを検出する微分フィルタの例の構成図である。
【図１０】図１０Ａは、他の例のワイドビュー画像の説明図、図１０Ｂは、遠方領域内の画像に対して縦エッジ強調処理を行った縦エッジ強調画像の説明図である。
【発明を実施するための形態】
【００１６】
以下、この発明の実施形態について図面を参照して説明する。
【００１７】
図１は、この実施形態に係る車両用周辺監視装置１０が搭載された車両１１の模式的ブロック図である。
【００１８】
車両用周辺監視装置１０は、移動体等を撮影する撮像部としてのカメラ（リアカメラ）１２と、障害物等を検出する超音波センサ（音波探知部）としてのソナー（バックソナー）１４とを備える。
【００１９】
この実施形態において、カメラ１２は、ミニバン等のテールゲートの外側中央部近傍又はセダン等のトランクの後面側中央部近傍に設けられる。ソナー１４は、リアバンパーの両角部に設けられたソナー１４ｃと、リアバンパーの中央部に２個設けられたソナー１４ｍとから構成されている。
【００２０】
両角のソナー１４ｃは、車両１１の後側方に中心角９０゜程度で半径ＤｃがＤｃ＝６０［ｃｍ］程度までの扇形状の破線で示す感知範囲１０２を有する。中央部の２つのソナー１４ｍは、車両１１の後方に長さ方向の長さＤｄがＤｄ＝１．５［ｍ］程度（この実施形態では、Ｄｄ＝１［ｍ］）、幅方向の長さＤｗがＤｗ＝車幅程度までの台形状の破線で示す感知範囲１０４を有する。車両１１の車高方向の感知範囲は、路面から車高程度までの感知範囲を有する。なお、カメラ１２の撮影視野範囲については後述する。
【００２１】
車両用周辺監視装置１０は、マイクロコンピュータを含む計算機としてのＥＣＵ（Ｅｌｅｃｔｒｏｎｉｃ Ｃｏｎｔｒｏｌ Ｕｎｉｔ：電子制御ユニット）として、画像処理ＥＣＵ１６、ナビゲーションＥＣＵ（ナビＥＣＵという。）１８、メータＥＣＵ２０、及びソナーＥＣＵ２２を備える。
【００２２】
各ＥＣＵ１６、１８、２０、２２は、ＣＰＵ（中央処理装置）、メモリであるＲＯＭ（ＥＥＰＲＯＭも含む。）、ＲＡＭ（ランダムアクセスメモリ）、その他、Ａ／Ｄ変換器、Ｄ／Ａ変換器等の入出力装置、計時部としてのタイマ等を有しており、ＣＰＵがＲＯＭに記録されているプログラムを読み出し実行することで各種機能実現部（機能実現手段）、たとえば制御部、演算部、及び処理部等として機能する。
【００２３】
この実施形態において、画像処理ＥＣＵ１６は、移動体検出部５２等として機能する。
【００２４】
これらＥＣＵ１６、１８、２０、２２は、ＣＡＮ（Ｃｏｎｔｒｏｌｌｅｒ Ａｒｅａ Ｎｅｔｗｏｒｋ）等の通信ネットワークに係る通信線２４を通じて相互に通信可能に接続されている。
【００２５】
メータＥＣＵ２０には、ギアポジションスイッチ２８と、図示しないメータ類（計器類）と、警報器及び通知部等として機能するスピーカ３４等と、が接続されている。メータＥＣＵ２０は、主に、ダッシュボード上の上記メータ類の表示制御等を司る。
【００２６】
カメラ（リアカメラ）１２と画像処理ＥＣＵ１６とが接続線３３を介して接続され、リアカメラ１２で撮像された映像（画像）が、ＮＴＳＣ信号等の映像信号Ｓｖ１として接続線３３を通じて画像処理ＥＣＵ１６に伝送される。
【００２７】
画像処理ＥＣＵ１６には、液晶ディスプレイ等の表示部３０が接続されている。なお、表示部３０も通知部としても機能する。
【００２８】
さらに、車両１１の位置検出装置としてのＧＰＳ受信機を含むナビＥＣＵ１８から画像処理ＥＣＵ１６に対して地図画像等の画像信号Ｓｑが入力されている。
【００２９】
ギアポジションスイッチ２８がリア位置（車両１１の後退位置であるリバースポジション）に切り替えられたことが、メータＥＣＵ２０により検出され、通信線２４を介して、画像処理ＥＣＵ１６に伝達されると、表示部３０には、地図画像等が担持された画像信号Ｓｑに優先して、カメラ１２の映像信号Ｓｖ１に画像処理ＥＣＵ１６でガイド線表示（後述する。）等が重畳処理された映像信号Ｓｖ２が供給される。
【００３０】
すなわち、ギアポジションスイッチ２８がリア位置に切り替えられると、表示部３０上には、カメラ（リアカメラ）１２により撮像され、ガイド線等が重畳表示された車両１１の後方の映像（画像）が優先的にリアルタイムに表示される。
【００３１】
ギアポジションスイッチ２８の選択位置が後退位置以外の位置に選択されている場合には、表示部３０には、ナビＥＣＵ１８に係る地図画面等又はＡＶ（オーディオ・ビジュアル）に係るタイトル画面等が表示される。
【００３２】
車両１１に取り付けられているカメラ１２のレンズとしては、広い視野範囲で撮像が可能な、いわゆる魚眼レンズ等の水平方向で約１８０゜程度の画角を持つ超広角レンズが装着されている。そのため、カメラ１２から出力される映像信号Ｓｖ１は、いわゆるワイドビュー画面表示モードに対応した信号となっている。
【００３３】
図２は、カメラ１２で撮像したワイドビュー（Ｗｉｄｅ Ｖｉｅｗ）画面表示モードで表示部３０に表示された例としてのワイドビュー画像（カメラ画像）１１２を示している。
【００３４】
ワイドビュー画面表示モードでの表示視野範囲は、カメラ１２の撮影視野範囲に対応し、車両１１の背面より後方であって、路面（地面）５８を含む両側方水平線６４が見える範囲、かつ路面（地面）を含む後方水平線６４が見える範囲である。
【００３５】
ワイドビュー画像１１２上には、車両１１のバンパー８０の撮影画像が固定的に表示されるとともに、ガイド線１００の画像と、ソナー１４による障害物（移動体含む）の検知が可能であることを示す検知可アイコン１２０が重畳表示される。
【００３６】
このワイドビュー画像１１２上には、カメラ１２により撮像された路面５８及び水平線６４の他、車両１１の方向に向かってきている自動車等の移動体６０と、背景６２とが表示されている。
【００３７】
また、撮像画像に重畳表示されるガイド線１００の画像は、図３Ａの画像表示と図３Ｂの実際の状況の各説明図から分かるように、車両１１の車幅より若干大きめの車幅ガイド線１００ａ、１００ｂと、トランク開口時ガイド線１００ｃ（車種によって異なるが、この例では、車両１１の背面より０．５［ｍ］と、約１［ｍ］、約２［ｍ］、約３［ｍ］の各ガイド線１００ｄ、１００ｅ、１００ｆが半透明の黄色い線で表示される。
【００３８】
［移動体検知範囲の説明］
ここで、この実施形態に係る車両用周辺監視装置１０での移動体の検知範囲について説明する。移動体の検知範囲は狭い程かつ、検知範囲の検知感度が低い程、画像処理ＥＣＵ１６の負荷量（処理時間等）が低減できることに留意して、後方の検知範囲を決定する。
【００３９】
まず、図４のワイドビュー画像（リアワイドビュー画像）１１２において、バンパ−８０の真後ろの撮影領域であって、幅方向の長さＤｗ（図１参照）の範囲で後方１［ｍ］のガイド線１００ｄまでの車両１１の近接領域Ａ内は、ソナー１４ｍで、障害物（移動体を含む）を検出する。
【００４０】
次に、車両１１の真後ろ側であって、近接領域Ａより後方（車両１１から離れる方向）の領域は、基本的に運転者が確認できる範囲であるので、検知範囲としない。
【００４１】
そして、近接領域Ａの両側方の撮像範囲であって、車両１１の後方５０［ｃｍ］〜数［ｍ］（この実施形態では、約３［ｍ］）の遠方領域Ｂ、Ｃの領域を、画像処理ＥＣＵ１６の移動体検出部５２による移動体の検知範囲とする。
【００４２】
図３では、分かり難いが、遠方領域Ｂ、Ｃの車高方向上方の撮像範囲であって、車高程度までの遠方高領域Ｄ、Ｅの領域は、移動体の検知範囲としないが、後述する一定条件下で、遠方領域Ｂ、Ｃの検知範囲の検知感度（検知しない場合も含む）を決定するために利用される領域である。
【００４３】
以上のように、この実施形態において、画像処理ＥＣＵ１６の移動体検出部５２によって、移動体を検出する検知範囲は、図４のワイドビュー画像１１２中、遠方領域Ｂ、Ｃの範囲である。検知範囲を極力絞り込むことにより、処理時間の短縮と誤検知の低減を同時に達成することができる。
【００４４】
［フレーム間差分法と検知感度の説明］
遠方領域Ｂ、Ｃでの移動体の検出処理は、この実施形態において、公知のフレーム間差分法を用いて行う。ここで、フレーム間差分法と検知感度について簡略的に説明する。
【００４５】
図５は、フレーム間差分法による移動体検出処理の説明図である。シーンイメージは、図５中、左側の平面図に示されるが、図５中、中央部の画像に示すように、車両１１のカメラ１２で、時刻ｔ０、時刻ｔ０＋１（１は、微小時間Δｔ、ここでは、Δｔ＝１／３０秒）、及び時刻ｔ０＋２で、３枚のカメラ画像ｉ０、ｉ１、ｉ２を順次得る。
【００４６】
カメラ１２の模式的に描いた撮像視野範囲９２中には、時刻ｔ０において、他車両である移動体９０が存在していない（撮像されていない）ことに留意する。時刻ｔ０＋１において、カメラ１２により移動体９０が撮像され、時刻ｔ０＋２において、車両（自車両）１１に接近する移動体９０′がより大きく撮像される。
【００４７】
ここでは、理解の便宜のために、３枚のカメラ画像ｉ０、ｉ１、ｉ２において、背景の変化がないものとする。実用上は、車両１１の後退速度が５［ｋｍ／ｈ］以下で、この実施形態に係る移動体検出処理のシステムが動作するように設定しているので、移動体９０に対して背景を静止物体とみなすことができる。
【００４８】
移動体検出部５２は、まず、カメラ画像ｉ０、ｉ１の各画素データの引き算（ｉ０１＝ｉ１−ｉ０）を行なうことで、背景画像が削除された移動体９０の画像（第１差分画像ｉ０１）を抽出する。
【００４９】
次に、移動体検出部５２は、第２差分画像ｉ０２を、ｉ０２＝ｉ２−ｉ１＋ｉ０１で得る。この場合、カメラ画像ｉ２からカメラ画像ｉ１を差し引くことで（ｉ２−ｉ１）、背景画像を削除して移動体９０、９０´の画像を残すが、さらに、残った移動体９０、９０´中、移動体９０の画像ｉ０１を（ｉ２−ｉ１）＋ｉ０１として除去することで、第２差分画像ｉ０２には、時刻ｔ０＋２における移動体９０´の画像のみが抽出される。
【００５０】
この実施形態において、図５を参照して説明したフレーム間差分法による移動体検出処理は、上述したように、図４中、遠方領域Ｂ、Ｃのみに適用する。適用する際に、遠方領域Ｂ、Ｃ内の全画素を対象してフレーム間差分処理を行うと、より小さな移動物体を検出することができて、検出感度を高くすることができるが、画像処理負荷が大きくなるので、例えば、それほど小さな移動物体を検出する必要がないと判断した場合（後述する。）には、遠方領域Ｂ、Ｃ内の全画素中、例えば、画素を間引き、残った画素を対象として処理を行うようにすれば、検出感度が適当な感度とされ、画像処理負荷を小さくすることができる。あるいは、検出感度を低くする場合、特許文献１に開示されているように、遠方領域Ｂ、Ｃ内をブロック分割し、ブロック内画素の平均値のフレーム間差分を求め、フレーム間差分の絶対値が閾値より大きいブロックを抽出し、抽出したブロックの集合よりなる領域を移動体が映り込まれている領域として検出するようにしてもよい。
【００５１】
以上の説明が、この実施形態に係る車両用周辺監視装置１０の構成並びに基本的な画像処理についての説明である。
【００５２】
次に、図６、図７のフローチャートを参照して、移動体検出部５２による、移動体検出処理のより詳細な動作について説明する。
【００５３】
ギアポジションスイッチ２８の選択位置が後退位置、かつ図示しないソナースイッチがオン状態にされ、さらに、後退時車速が５［ｋｍ／ｈ］未満であるときに、移動体検出部５２による移動体の検出処理が実施される。
【００５４】
ステップＳ１において、参照範囲であるソナ−１４（１４ｍ）の感知範囲１０４内で立体物（障害物）が検知されているか否かが判断され、立体物が検知されていない場合、ワイドビュー画像１１２中、近接領域Ａ｛概ね、ソナー１４（１４ｍ）の感知範囲１０４と重複している。}は、路面領域であるとみなす。
【００５５】
次に、ステップＳ２において、ワイドビュー画像１１２中の近接領域Ａの平均輝度Ｉａｖ（みなし路面領域の平均輝度）を、ワイドビュー画像１１２（カラー画像）のグレイスケール画像から算出する。なお、以下のステップの画像処理は、グレイスケール画像により実施される。
【００５６】
次いで、ステップＳ３において、図８に示すように、遠方領域Ｂの各画素の輝度が、近接領域Ａの平均輝度Ｉａｖ（路面領域の平均輝度）の±１０［％］以内の輝度であるか否かを判定し、以内の輝度である場合に値「１」、それ以外の輝度である場合に値「０」として２値化処理する。なお、グレイスケール画像の階調は、この実施形態では、８ビット（値０〜値２５５まで）である。
【００５７】
次に、ステップＳ４において、近接領域Ａの平均輝度Ｉａｖ（路面領域の平均輝度）の±１０［％］以内の輝度を有する画素（値「１」を有する画素）が閾値面積（閾値画素数）以上であるか否かを判定し、閾値面積以上である場合には、遠方領域Ｂは、路面であると決定し、ステップＳ５において、移動体検出部５２の検知感度（検出感度）を高くする。そして、ステップＳ６において、この高い検知感度で、遠方領域Ｂでの移動体検知処理を行う。
【００５８】
上述したステップＳ３、Ｓ４、Ｓ４（ＹＥＳ）、Ｓ５、Ｓ６までの処理は、遠方領域Ｃでも、略同時に実施される。
【００５９】
さらに、ステップＳ７において、近接領域Ａについての移動体検出がソナー１４によって実施される。
【００６０】
このようにして、近接領域Ａは、ソナー１４により、みなし路面とされた遠方領域Ｂ、Ｃは、移動体検出部５２により高感度、短時間に移動体を検出することができる。また、移動体検出部５２による検知範囲を遠方領域Ｂ、Ｃに限定しているので、従来技術に比較して、処理時間（処理負荷）を小さくすることができる。
【００６１】
一方、上述したステップＳ４の、近接領域Ａの平均輝度Ｉａｖ（路面領域の平均輝度）の±１０［％］以内の輝度を有する画素が閾値面積以上であるか否かの判定において、閾値面積未満である場合には、遠方領域Ｂは、路面ではないあるいは路面のみではないとみなし、図７に示す、ステップＳ８において、その遠方領域Ｂについて、移動体検知処理をどのように行うかを確定するために、立体物抽出処理（線分面積算出処理）を行う。
【００６２】
立体物抽出処理は、立体物のエッジが縦方向に出やすいことに着目し、縦方向のエッジのみを強調することで、例えば、路面に描かれた描画（路面物ともいう。）と立体物を分離することができる。
【００６３】
そこで、ステップＳ８の処理は、ステップＳ８ａの処理とステップＳ８ｂの処理により構成され、まず、ステップＳ８ａの処理は、縦エッジ強調処理及び２値化処理を行う。
【００６４】
縦エッジ強調処理は、例えば、図９に示す、横方向の微分を行う（横方向の差分を求める）微分フィルタ７０を、遠方領域Ｂ内の画像に適用することで、画像の縦方向のエッジ線分を求め、ステップＳ８ｂで、所定長さ以下のエッジ線分を除去することでノイズを除去し、所定長さ以上のエッジ線分を抽出することができる。
【００６５】
図１０Ａは、縦エッジ強調処理を説明するための他の例のワイドビュー画像１１２ａを示し、図１０Ｂは、そのワイドビュー画像１１２ａ中、遠方領域Ｂ内の画像に対して微分フィルタ７０により縦エッジ強調処理を行った縦エッジ強調画像１１４を示している。縦エッジ強調画像１１４には、建築物１１５の前に駐車中の車両１１６が含まれている。
【００６６】
次いで、ステップＳ９において、縦エッジ強調画像１１４中、縦方向の所定長さ以上のエッジ線分の面積（画素面積）が、閾値面積以上であるか否かを判断し、閾値面積以上である場合には、遠方領域Ｂには、複雑な立体物、例えば、車両（図１０Ｂ例では、車両１１６）、植木、又は柵等の静止立体物が存在するものとみなし、ステップＳ１０において、検知感度を低くする。
【００６７】
次に、ステップＳ６において、低くした検知感度で移動体検出部５２により図１０Ａに示したワイドビュー画像１１２ａ中の遠方領域Ｂでの移動体検知処理を実施する。
【００６８】
この場合、ステップＳ９の判定において、静止立体物が存在するものとみなしている遠方領域Ｂには、新たな移動体が検知される可能性が少なく、低い検知感度で移動体検知処理を実施しても実用上十分である。
【００６９】
上述したステップＳ８、Ｓ９、Ｓ９（ＹＥＳ）、Ｓ１０の処理は、遠方領域Ｂに対応する遠方領域Ｃにおいても略同時に実施される。
【００７０】
次に、上述したステップＳ９の判定が否定的であるとき、すなわち、遠方領域Ｂ内の画像の横方向の微分画像中、縦方向の所定長さ以上のエッジ線分の面積（画素面積）が、閾値面積未満である場合には、遠方領域Ｂには、単純な立体物、例えば、高い壁や、低いポール等の静止立体物が存在するものとみなし、高い静止立体物であるか否かを判定するために、ステップＳ１１において、遠方領域Ｂに車高方向で隣接する領域Ｅ（遠方領域Ｃの場合には、領域Ｄ）を選択する。
【００７１】
そして、ステップＳ１２において、領域Ｅについて、ステップＳ８で説明した立体物抽出処理を再び実施する。このステップＳ１２においても、ステップＳ８ａで、縦エッジ強調処理及び２値化処理を行い、ステップＳ８ｂで、所定長さ以下のエッジ線分を除去することでノイズを除去し、所定長さ以上のエッジ線分を抽出する。
【００７２】
次いで、ステップＳ１３において、ステップＳ１２で求めた領域Ｅでの縦エッジの線分面積と、ステップＳ８で求めてある遠方領域Ｂでの縦エッジの線分面積とを比較し、略等しいか否かを判断する。
【００７３】
略等しくない場合には、静止障害物は、低いポール等である判断し、低いポール等であれば、人等の移動体が出てくる可能性を否定できないので、ステップＳ１０にて検知感度を低くして遠方領域Ｂについて移動体検出部５２により移動体の検出処理を実施する。
【００７４】
この場合にも、ステップＳ７において、近接領域Ａについてのソナー１４による移動体の検出処理を行う。
【００７５】
その一方、ステップＳ１３において、ステップＳ１２で求めた領域Ｅでの縦エッジの線分面積と、ステップＳ８で求めてある遠方領域Ｂでの縦エッジの線分面積とが、略等しいと判断したには、静止障害物は、遠方領域Ｂから領域Ｅに延びて存在する高い壁等であると判断し、高い壁等であれば、移動体の検出対象物としている車両や人が、その高い壁等から飛び出てくることはないものとみなし、遠方領域Ｂについては移動体の検出処理を行うことなく、ステップＳ７で、近接領域Ａについてのソナー１４による移動体の検出処理を行う（ステップＳ１３：ＹＥＳ→ステップＳ７）。
【００７６】
なお、ステップＳ６で遠方領域Ｂ、Ｃに移動体検出部５２により移動体が検出されたとき、表示部３０に前記移動体が表示されるとともに、スピーカ３４から検出したことを示す音（音声も含む）が発生され、運転者に通知される。又、ステップＳ７で、近接領域Ａに移動体が検出されたときにも、スピーカ３４から検出したことを示す音（音声も含む）が発生されて運転者に通知される。
【００７７】
この際、例えば、表示部３０中の遠方領域Ｂ、Ｃ、近接領域Ａを、併せてフラッシュ点滅させることで、運転者に通知することもできる。
【００７８】
以上説明したように、上述した車両用周辺監視装置１０は、車両１１に搭載され、前記車両周辺の近接領域Ａの障害物（移動体）を検出するソナー１４（超音波センサ）と、車両１１に搭載され、前記車両周辺の撮像画像を取得するカメラ１２（撮像部）と、前記撮像画像に基づき、前記車両周辺の遠方領域Ｂ、Ｃの移動体を検出する移動体検出部５２と、前記撮像画像を表示する表示部３０と、ソナー１４又は移動体検出部５２にて検出した前記障害物、又は、前記移動体を車両１１の運転者に通知する表示部３０（通知部）又はスピーカ３４（通知部）と、を備える。
【００７９】
移動体検出部５２は、ソナー１４が障害物を検出していないときの近接領域Ａの輝度（路面の輝度と推定）と、遠方領域Ｂ、Ｃの輝度とを比較し、輝度の差が小さい（ステップＳ４：ＹＥＳ）遠方領域Ｂ、Ｃ（路面と推定）での前記移動体の検知感度を高くし（ステップＳ５）、輝度の差が大きい（ステップＳ４：ＮＯ）遠方領域Ｂ、Ｃ（非路面）での前記移動体の検知感度を低くする（ステップＳ１０）ようにしたので、移動体検出のための画像処理負荷を効率的に低減しつつ誤検知を低減することができる。
【００８０】
この場合、移動体検出部５２は、前記輝度の差が大きい遠方領域Ｂ、Ｃでの縦エッジを抽出し（ステップＳ８）、前記縦エッジの面積が小さい場合は（ステップＳ９：ＮＯ）、輝度の差が大きい遠方領域Ｂ、Ｃでの縦エッジの面積と前記輝度の差が大きい遠方領域Ｂ、Ｃに隣接する車高方向の領域Ｅ、Ｄにおける縦エッジの面積とを比較し、差が小さい場合は（ステップＳ１３：ＹＥＳ）、前記輝度の差が大きい遠方領域Ｂ、Ｃにおいて前記移動体の検出を実行しないようにしたので、移動体検出の画像処理負荷を低減しつつ誤検知を低減することができる。
【００８１】
ソナー１４は、車両１１の後方の障害物を検出し、カメラ１２は、車両１１の後方の撮像画像を取得するように設けられているので、車両後退運転時における後方視認支援として有用である。
【００８２】
上述したように、この実施形態では、車両１１の後方の路面（近接領域Ａ）の特徴と、側方の路面部分（遠方領域Ｂ、Ｃ）とを比較し（ステップＳ４）、明らかに相関がある場合には（ステップＳ４：ＹＥＳ）、側方の路面部分（遠方領域Ｂ、Ｃ）を路面とみなして、通常の高感度での移動体検出処理を行う（ステップＳ５、Ｓ６）。その一方、車両１１の後方の路面（近接領域Ａ）の特徴と、側方の路面部分（遠方領域Ｂ、Ｃ）とを比較し（ステップＳ４）、相関がない場合は、遠方領域Ｂ、Ｃの画像の煩雑さから駐車車両、柵といった複雑な静止障害物（立体物）か、低いポール、高い壁等の単純な静止障害物かを判別する（ステップＳ９）。複雑な静止障害物（立体物）であれば、遠方領域Ｂ、Ｃについて低感度での移動体検出処理を行う（ステップＳ１０）。単純な静止障害物（立体物）である場合、低いポール等であれば、遠方領域Ｂ、Ｃについて低感度での移動体検出処理を行い（ステップＳ１３：ＮＯ、ステップＳ１０）、高い壁等であれば、移動体が出てくる可能性がないので、移動体検出部５２により移動体検出処理を行わないようにした（ステップＳ１３：ＹＥＳ）。このため、移動体検出部５２による検知範囲を極力絞り込むことによる処理時間の短縮と同時に誤検知の発生を低減することができる。
【００８３】
なお、この発明は、上述の実施形態に限らず、車両１１の前方（前側方）を撮影するカメラ等の撮像部と前方（前側方）の障害物を検出するソナー等の超音波センサとを設けて、車両１１の前方（近接領域）及び前側方（遠方領域）の障害物（移動体）を検出する場合に適用する等、この明細書の記載内容に基づき、種々の構成を採り得ることはもちろんである。
【符号の説明】
【００８４】
１０…車両用周辺監視装置 １１…車両
１２…カメラ（撮像部） １４…ソナー
３０…表示部 ５２…移動体検出部
Ａ…近接領域 Ｂ、Ｃ…遠方領域
Ｄ、Ｅ…遠方領域の車高方向の領域
【技術分野】
【０００１】
この発明は、車両に搭載された撮像部により取得された画像を用いて、前記車両の周辺を監視する車両用周辺監視装置に関する。
【背景技術】
【０００２】
従来から、車両に搭載されたカメラにより取得された画像を用いて、前記車両の周辺を監視する周辺監視装置が提案されている（特許文献１参照）。
【０００３】
特許文献１に係る周辺監視装置には、カメラの撮像画像中、運転者の死角領域での移動体の検出感度を高く設定し、残りの領域での移動体の検出感度を低く設定することで、画像処理負荷量を低減する技術が記載されている。
【０００４】
しかし、撮像画像中、運転者の死角領域には、壁など道路ではない部分が存在する場合があり、その道路ではない部分で移動体の検出感度を高く設定すると、その分、画像処理負荷量が増大するので、特許文献１に係る技術は改良の余地がある。
【０００５】
特許文献２に係る道路領域判定装置には、自車両の直前の画像領域の輝度を道路領域の輝度とみなし、他の領域の輝度とを比較し、他の領域が路面領域であるか否か判定する技術が記載されている。
【先行技術文献】
【特許文献】
【０００６】
【特許文献１】特開２００９−３０３０９５号公報（［要約］、［００１８］）
【特許文献２】特開２０００−３０６０９７号公報（［要約］）
【発明の概要】
【発明が解決しようとする課題】
【０００７】
しかしながら、特許文献２に係る道路領域判定装置では、自車両の直前の画像領域を、常に路面領域とみなしているので、仮に、自車両の直前に立体物が存在する場合には、他の領域が路面領域であるか否かを正確に判定することが不可能となり、この特許文献２に係る技術においても改良の余地がある。
【０００８】
この発明はこのような課題を考慮してなされたものであり、確実に路面（道路の表面）領域を検出して、移動体検出のための画像処理負荷を効率的に低減しつつ誤検知を低減することを可能とする車両用周辺監視装置を提供することを目的とする。
【課題を解決するための手段】
【０００９】
この発明に係る車両用周辺監視装置は、車両に搭載され、前記車両周辺の近接領域の障害物を検出する超音波センサと、車両に搭載され、前記車両周辺の撮像画像を取得する撮像部と、前記撮像画像に基づき、前記車両周辺の遠方領域の移動体を検出する移動体検出部と、前記撮像画像を表示する表示部と、前記超音波センサ、又は、前記移動体検出部にて検出した前記障害物、又は、前記移動体を前記車両の運転者に通知する通知部と、からなる車両用周辺監視装置であって、
前記移動体検出部は、前記超音波センサが障害物を検出していないときの前記近接領域の輝度と、前記遠方領域の輝度とを比較し、輝度の差が小さい遠方領域での前記移動体の検知感度を高くし、輝度の差が大きい遠方領域での前記移動体の検知感度を低くすることを特徴とする。
【００１０】
この発明によれば、車両周辺の近接領域の障害物を検出する超音波センサが障害物を検出していないときの前記近接領域の輝度（すなわち、より確実に路面領域と推定される輝度）と、遠方領域の輝度とを比較し、輝度の差が小さい遠方領域（すなわち、路面領域と推定される領域）での移動体の検知感度を高くし、輝度の差が大きい遠方領域（すなわち、路面領域と推定されない領域）での前記移動体の検知感度を低くするようにしたので、移動体検出のための画像処理負荷を効率的に低減しつつ誤検知を低減することができる。
【００１１】
この場合、前記移動体検出部は、前記輝度の差が大きい遠方領域での縦エッジを抽出し、前記縦エッジの面積が小さい場合は、輝度の差が大きい遠方領域での縦エッジの面積と前記輝度の差が大きい遠方領域に隣接する車高方向の領域における縦エッジの面積とを比較し、差が小さい場合は、前記輝度の差が大きい遠方領域において前記移動体の検出を実行しないことを特徴とする。
【００１２】
この発明によれば、輝度の差が大きい遠方領域での縦エッジの面積と前記輝度の差が大きい遠方領域に隣接する車高方向の領域における縦エッジの面積とを比較し、差が小さい場合は、前記輝度の差が大きい遠方領域において前記移動体の検出を実行しないようにしたので、移動体検出の画像処理負荷を低減しつつ誤検知を低減することができる。
【００１３】
この場合、前記超音波センサは、前記車両の後方の障害物を検出し、前記撮像部は、前記車両の後方の撮像画像を取得するように設けられることが好ましい。この構成では、車両後退運転時における後方視認支援として有用である。
【発明の効果】
【００１４】
この発明によれば、車両周辺の近接領域の障害物を検出する超音波センサが障害物を検出していないときの前記近接領域の輝度（より確実に路面領域と推定される輝度）と、遠方領域の輝度とを比較し、輝度の差が小さい遠方領域（路面領域と推定される領域）での移動体の検知感度を高くし、輝度の差が大きい遠方領域（路面領域と推定されない領域）での前記移動体の検知感度を低くするようにしたので、移動体を検出するための画像処理負荷を効率的に低減しつつ誤検知を低減することができる。
【図面の簡単な説明】
【００１５】
【図１】この実施形態に係る車両用周辺監視装置が搭載された車両の模式的ブロック図である。
【図２】車両後方のワイドビュー画像（カメラ画像）の例を示す説明図である。
【図３】図３Ａは、画面に表示されるガイド線の説明図である。図３Ｂは、ガイド線位置と車両位置との一例の対応説明図である。
【図４】車両後方のワイドビュー画像中、路面推定処理を実施する領域の説明図である。
【図５】移動体を検出するフレーム間差分処理の説明図である。
【図６】路面推定処理の説明に供されるフローチャート（１／２）である。
【図７】路面推定処理の説明に供されるフローチャート（２／２）である。
【図８】路面とみなした近接領域の輝度に基づき、遠方領域が路面か否かを推定する処理に供される説明図である。
【図９】画像の縦エッジを検出する微分フィルタの例の構成図である。
【図１０】図１０Ａは、他の例のワイドビュー画像の説明図、図１０Ｂは、遠方領域内の画像に対して縦エッジ強調処理を行った縦エッジ強調画像の説明図である。
【発明を実施するための形態】
【００１６】
以下、この発明の実施形態について図面を参照して説明する。
【００１７】
図１は、この実施形態に係る車両用周辺監視装置１０が搭載された車両１１の模式的ブロック図である。
【００１８】
車両用周辺監視装置１０は、移動体等を撮影する撮像部としてのカメラ（リアカメラ）１２と、障害物等を検出する超音波センサ（音波探知部）としてのソナー（バックソナー）１４とを備える。
【００１９】
この実施形態において、カメラ１２は、ミニバン等のテールゲートの外側中央部近傍又はセダン等のトランクの後面側中央部近傍に設けられる。ソナー１４は、リアバンパーの両角部に設けられたソナー１４ｃと、リアバンパーの中央部に２個設けられたソナー１４ｍとから構成されている。
【００２０】
両角のソナー１４ｃは、車両１１の後側方に中心角９０゜程度で半径ＤｃがＤｃ＝６０［ｃｍ］程度までの扇形状の破線で示す感知範囲１０２を有する。中央部の２つのソナー１４ｍは、車両１１の後方に長さ方向の長さＤｄがＤｄ＝１．５［ｍ］程度（この実施形態では、Ｄｄ＝１［ｍ］）、幅方向の長さＤｗがＤｗ＝車幅程度までの台形状の破線で示す感知範囲１０４を有する。車両１１の車高方向の感知範囲は、路面から車高程度までの感知範囲を有する。なお、カメラ１２の撮影視野範囲については後述する。
【００２１】
車両用周辺監視装置１０は、マイクロコンピュータを含む計算機としてのＥＣＵ（Ｅｌｅｃｔｒｏｎｉｃ Ｃｏｎｔｒｏｌ Ｕｎｉｔ：電子制御ユニット）として、画像処理ＥＣＵ１６、ナビゲーションＥＣＵ（ナビＥＣＵという。）１８、メータＥＣＵ２０、及びソナーＥＣＵ２２を備える。
【００２２】
各ＥＣＵ１６、１８、２０、２２は、ＣＰＵ（中央処理装置）、メモリであるＲＯＭ（ＥＥＰＲＯＭも含む。）、ＲＡＭ（ランダムアクセスメモリ）、その他、Ａ／Ｄ変換器、Ｄ／Ａ変換器等の入出力装置、計時部としてのタイマ等を有しており、ＣＰＵがＲＯＭに記録されているプログラムを読み出し実行することで各種機能実現部（機能実現手段）、たとえば制御部、演算部、及び処理部等として機能する。
【００２３】
この実施形態において、画像処理ＥＣＵ１６は、移動体検出部５２等として機能する。
【００２４】
これらＥＣＵ１６、１８、２０、２２は、ＣＡＮ（Ｃｏｎｔｒｏｌｌｅｒ Ａｒｅａ Ｎｅｔｗｏｒｋ）等の通信ネットワークに係る通信線２４を通じて相互に通信可能に接続されている。
【００２５】
メータＥＣＵ２０には、ギアポジションスイッチ２８と、図示しないメータ類（計器類）と、警報器及び通知部等として機能するスピーカ３４等と、が接続されている。メータＥＣＵ２０は、主に、ダッシュボード上の上記メータ類の表示制御等を司る。
【００２６】
カメラ（リアカメラ）１２と画像処理ＥＣＵ１６とが接続線３３を介して接続され、リアカメラ１２で撮像された映像（画像）が、ＮＴＳＣ信号等の映像信号Ｓｖ１として接続線３３を通じて画像処理ＥＣＵ１６に伝送される。
【００２７】
画像処理ＥＣＵ１６には、液晶ディスプレイ等の表示部３０が接続されている。なお、表示部３０も通知部としても機能する。
【００２８】
さらに、車両１１の位置検出装置としてのＧＰＳ受信機を含むナビＥＣＵ１８から画像処理ＥＣＵ１６に対して地図画像等の画像信号Ｓｑが入力されている。
【００２９】
ギアポジションスイッチ２８がリア位置（車両１１の後退位置であるリバースポジション）に切り替えられたことが、メータＥＣＵ２０により検出され、通信線２４を介して、画像処理ＥＣＵ１６に伝達されると、表示部３０には、地図画像等が担持された画像信号Ｓｑに優先して、カメラ１２の映像信号Ｓｖ１に画像処理ＥＣＵ１６でガイド線表示（後述する。）等が重畳処理された映像信号Ｓｖ２が供給される。
【００３０】
すなわち、ギアポジションスイッチ２８がリア位置に切り替えられると、表示部３０上には、カメラ（リアカメラ）１２により撮像され、ガイド線等が重畳表示された車両１１の後方の映像（画像）が優先的にリアルタイムに表示される。
【００３１】
ギアポジションスイッチ２８の選択位置が後退位置以外の位置に選択されている場合には、表示部３０には、ナビＥＣＵ１８に係る地図画面等又はＡＶ（オーディオ・ビジュアル）に係るタイトル画面等が表示される。
【００３２】
車両１１に取り付けられているカメラ１２のレンズとしては、広い視野範囲で撮像が可能な、いわゆる魚眼レンズ等の水平方向で約１８０゜程度の画角を持つ超広角レンズが装着されている。そのため、カメラ１２から出力される映像信号Ｓｖ１は、いわゆるワイドビュー画面表示モードに対応した信号となっている。
【００３３】
図２は、カメラ１２で撮像したワイドビュー（Ｗｉｄｅ Ｖｉｅｗ）画面表示モードで表示部３０に表示された例としてのワイドビュー画像（カメラ画像）１１２を示している。
【００３４】
ワイドビュー画面表示モードでの表示視野範囲は、カメラ１２の撮影視野範囲に対応し、車両１１の背面より後方であって、路面（地面）５８を含む両側方水平線６４が見える範囲、かつ路面（地面）を含む後方水平線６４が見える範囲である。
【００３５】
ワイドビュー画像１１２上には、車両１１のバンパー８０の撮影画像が固定的に表示されるとともに、ガイド線１００の画像と、ソナー１４による障害物（移動体含む）の検知が可能であることを示す検知可アイコン１２０が重畳表示される。
【００３６】
このワイドビュー画像１１２上には、カメラ１２により撮像された路面５８及び水平線６４の他、車両１１の方向に向かってきている自動車等の移動体６０と、背景６２とが表示されている。
【００３７】
また、撮像画像に重畳表示されるガイド線１００の画像は、図３Ａの画像表示と図３Ｂの実際の状況の各説明図から分かるように、車両１１の車幅より若干大きめの車幅ガイド線１００ａ、１００ｂと、トランク開口時ガイド線１００ｃ（車種によって異なるが、この例では、車両１１の背面より０．５［ｍ］と、約１［ｍ］、約２［ｍ］、約３［ｍ］の各ガイド線１００ｄ、１００ｅ、１００ｆが半透明の黄色い線で表示される。
【００３８】
［移動体検知範囲の説明］
ここで、この実施形態に係る車両用周辺監視装置１０での移動体の検知範囲について説明する。移動体の検知範囲は狭い程かつ、検知範囲の検知感度が低い程、画像処理ＥＣＵ１６の負荷量（処理時間等）が低減できることに留意して、後方の検知範囲を決定する。
【００３９】
まず、図４のワイドビュー画像（リアワイドビュー画像）１１２において、バンパ−８０の真後ろの撮影領域であって、幅方向の長さＤｗ（図１参照）の範囲で後方１［ｍ］のガイド線１００ｄまでの車両１１の近接領域Ａ内は、ソナー１４ｍで、障害物（移動体を含む）を検出する。
【００４０】
次に、車両１１の真後ろ側であって、近接領域Ａより後方（車両１１から離れる方向）の領域は、基本的に運転者が確認できる範囲であるので、検知範囲としない。
【００４１】
そして、近接領域Ａの両側方の撮像範囲であって、車両１１の後方５０［ｃｍ］〜数［ｍ］（この実施形態では、約３［ｍ］）の遠方領域Ｂ、Ｃの領域を、画像処理ＥＣＵ１６の移動体検出部５２による移動体の検知範囲とする。
【００４２】
図３では、分かり難いが、遠方領域Ｂ、Ｃの車高方向上方の撮像範囲であって、車高程度までの遠方高領域Ｄ、Ｅの領域は、移動体の検知範囲としないが、後述する一定条件下で、遠方領域Ｂ、Ｃの検知範囲の検知感度（検知しない場合も含む）を決定するために利用される領域である。
【００４３】
以上のように、この実施形態において、画像処理ＥＣＵ１６の移動体検出部５２によって、移動体を検出する検知範囲は、図４のワイドビュー画像１１２中、遠方領域Ｂ、Ｃの範囲である。検知範囲を極力絞り込むことにより、処理時間の短縮と誤検知の低減を同時に達成することができる。
【００４４】
［フレーム間差分法と検知感度の説明］
遠方領域Ｂ、Ｃでの移動体の検出処理は、この実施形態において、公知のフレーム間差分法を用いて行う。ここで、フレーム間差分法と検知感度について簡略的に説明する。
【００４５】
図５は、フレーム間差分法による移動体検出処理の説明図である。シーンイメージは、図５中、左側の平面図に示されるが、図５中、中央部の画像に示すように、車両１１のカメラ１２で、時刻ｔ０、時刻ｔ０＋１（１は、微小時間Δｔ、ここでは、Δｔ＝１／３０秒）、及び時刻ｔ０＋２で、３枚のカメラ画像ｉ０、ｉ１、ｉ２を順次得る。
【００４６】
カメラ１２の模式的に描いた撮像視野範囲９２中には、時刻ｔ０において、他車両である移動体９０が存在していない（撮像されていない）ことに留意する。時刻ｔ０＋１において、カメラ１２により移動体９０が撮像され、時刻ｔ０＋２において、車両（自車両）１１に接近する移動体９０′がより大きく撮像される。
【００４７】
ここでは、理解の便宜のために、３枚のカメラ画像ｉ０、ｉ１、ｉ２において、背景の変化がないものとする。実用上は、車両１１の後退速度が５［ｋｍ／ｈ］以下で、この実施形態に係る移動体検出処理のシステムが動作するように設定しているので、移動体９０に対して背景を静止物体とみなすことができる。
【００４８】
移動体検出部５２は、まず、カメラ画像ｉ０、ｉ１の各画素データの引き算（ｉ０１＝ｉ１−ｉ０）を行なうことで、背景画像が削除された移動体９０の画像（第１差分画像ｉ０１）を抽出する。
【００４９】
次に、移動体検出部５２は、第２差分画像ｉ０２を、ｉ０２＝ｉ２−ｉ１＋ｉ０１で得る。この場合、カメラ画像ｉ２からカメラ画像ｉ１を差し引くことで（ｉ２−ｉ１）、背景画像を削除して移動体９０、９０´の画像を残すが、さらに、残った移動体９０、９０´中、移動体９０の画像ｉ０１を（ｉ２−ｉ１）＋ｉ０１として除去することで、第２差分画像ｉ０２には、時刻ｔ０＋２における移動体９０´の画像のみが抽出される。
【００５０】
この実施形態において、図５を参照して説明したフレーム間差分法による移動体検出処理は、上述したように、図４中、遠方領域Ｂ、Ｃのみに適用する。適用する際に、遠方領域Ｂ、Ｃ内の全画素を対象してフレーム間差分処理を行うと、より小さな移動物体を検出することができて、検出感度を高くすることができるが、画像処理負荷が大きくなるので、例えば、それほど小さな移動物体を検出する必要がないと判断した場合（後述する。）には、遠方領域Ｂ、Ｃ内の全画素中、例えば、画素を間引き、残った画素を対象として処理を行うようにすれば、検出感度が適当な感度とされ、画像処理負荷を小さくすることができる。あるいは、検出感度を低くする場合、特許文献１に開示されているように、遠方領域Ｂ、Ｃ内をブロック分割し、ブロック内画素の平均値のフレーム間差分を求め、フレーム間差分の絶対値が閾値より大きいブロックを抽出し、抽出したブロックの集合よりなる領域を移動体が映り込まれている領域として検出するようにしてもよい。
【００５１】
以上の説明が、この実施形態に係る車両用周辺監視装置１０の構成並びに基本的な画像処理についての説明である。
【００５２】
次に、図６、図７のフローチャートを参照して、移動体検出部５２による、移動体検出処理のより詳細な動作について説明する。
【００５３】
ギアポジションスイッチ２８の選択位置が後退位置、かつ図示しないソナースイッチがオン状態にされ、さらに、後退時車速が５［ｋｍ／ｈ］未満であるときに、移動体検出部５２による移動体の検出処理が実施される。
【００５４】
ステップＳ１において、参照範囲であるソナ−１４（１４ｍ）の感知範囲１０４内で立体物（障害物）が検知されているか否かが判断され、立体物が検知されていない場合、ワイドビュー画像１１２中、近接領域Ａ｛概ね、ソナー１４（１４ｍ）の感知範囲１０４と重複している。}は、路面領域であるとみなす。
【００５５】
次に、ステップＳ２において、ワイドビュー画像１１２中の近接領域Ａの平均輝度Ｉａｖ（みなし路面領域の平均輝度）を、ワイドビュー画像１１２（カラー画像）のグレイスケール画像から算出する。なお、以下のステップの画像処理は、グレイスケール画像により実施される。
【００５６】
次いで、ステップＳ３において、図８に示すように、遠方領域Ｂの各画素の輝度が、近接領域Ａの平均輝度Ｉａｖ（路面領域の平均輝度）の±１０［％］以内の輝度であるか否かを判定し、以内の輝度である場合に値「１」、それ以外の輝度である場合に値「０」として２値化処理する。なお、グレイスケール画像の階調は、この実施形態では、８ビット（値０〜値２５５まで）である。
【００５７】
次に、ステップＳ４において、近接領域Ａの平均輝度Ｉａｖ（路面領域の平均輝度）の±１０［％］以内の輝度を有する画素（値「１」を有する画素）が閾値面積（閾値画素数）以上であるか否かを判定し、閾値面積以上である場合には、遠方領域Ｂは、路面であると決定し、ステップＳ５において、移動体検出部５２の検知感度（検出感度）を高くする。そして、ステップＳ６において、この高い検知感度で、遠方領域Ｂでの移動体検知処理を行う。
【００５８】
上述したステップＳ３、Ｓ４、Ｓ４（ＹＥＳ）、Ｓ５、Ｓ６までの処理は、遠方領域Ｃでも、略同時に実施される。
【００５９】
さらに、ステップＳ７において、近接領域Ａについての移動体検出がソナー１４によって実施される。
【００６０】
このようにして、近接領域Ａは、ソナー１４により、みなし路面とされた遠方領域Ｂ、Ｃは、移動体検出部５２により高感度、短時間に移動体を検出することができる。また、移動体検出部５２による検知範囲を遠方領域Ｂ、Ｃに限定しているので、従来技術に比較して、処理時間（処理負荷）を小さくすることができる。
【００６１】
一方、上述したステップＳ４の、近接領域Ａの平均輝度Ｉａｖ（路面領域の平均輝度）の±１０［％］以内の輝度を有する画素が閾値面積以上であるか否かの判定において、閾値面積未満である場合には、遠方領域Ｂは、路面ではないあるいは路面のみではないとみなし、図７に示す、ステップＳ８において、その遠方領域Ｂについて、移動体検知処理をどのように行うかを確定するために、立体物抽出処理（線分面積算出処理）を行う。
【００６２】
立体物抽出処理は、立体物のエッジが縦方向に出やすいことに着目し、縦方向のエッジのみを強調することで、例えば、路面に描かれた描画（路面物ともいう。）と立体物を分離することができる。
【００６３】
そこで、ステップＳ８の処理は、ステップＳ８ａの処理とステップＳ８ｂの処理により構成され、まず、ステップＳ８ａの処理は、縦エッジ強調処理及び２値化処理を行う。
【００６４】
縦エッジ強調処理は、例えば、図９に示す、横方向の微分を行う（横方向の差分を求める）微分フィルタ７０を、遠方領域Ｂ内の画像に適用することで、画像の縦方向のエッジ線分を求め、ステップＳ８ｂで、所定長さ以下のエッジ線分を除去することでノイズを除去し、所定長さ以上のエッジ線分を抽出することができる。
【００６５】
図１０Ａは、縦エッジ強調処理を説明するための他の例のワイドビュー画像１１２ａを示し、図１０Ｂは、そのワイドビュー画像１１２ａ中、遠方領域Ｂ内の画像に対して微分フィルタ７０により縦エッジ強調処理を行った縦エッジ強調画像１１４を示している。縦エッジ強調画像１１４には、建築物１１５の前に駐車中の車両１１６が含まれている。
【００６６】
次いで、ステップＳ９において、縦エッジ強調画像１１４中、縦方向の所定長さ以上のエッジ線分の面積（画素面積）が、閾値面積以上であるか否かを判断し、閾値面積以上である場合には、遠方領域Ｂには、複雑な立体物、例えば、車両（図１０Ｂ例では、車両１１６）、植木、又は柵等の静止立体物が存在するものとみなし、ステップＳ１０において、検知感度を低くする。
【００６７】
次に、ステップＳ６において、低くした検知感度で移動体検出部５２により図１０Ａに示したワイドビュー画像１１２ａ中の遠方領域Ｂでの移動体検知処理を実施する。
【００６８】
この場合、ステップＳ９の判定において、静止立体物が存在するものとみなしている遠方領域Ｂには、新たな移動体が検知される可能性が少なく、低い検知感度で移動体検知処理を実施しても実用上十分である。
【００６９】
上述したステップＳ８、Ｓ９、Ｓ９（ＹＥＳ）、Ｓ１０の処理は、遠方領域Ｂに対応する遠方領域Ｃにおいても略同時に実施される。
【００７０】
次に、上述したステップＳ９の判定が否定的であるとき、すなわち、遠方領域Ｂ内の画像の横方向の微分画像中、縦方向の所定長さ以上のエッジ線分の面積（画素面積）が、閾値面積未満である場合には、遠方領域Ｂには、単純な立体物、例えば、高い壁や、低いポール等の静止立体物が存在するものとみなし、高い静止立体物であるか否かを判定するために、ステップＳ１１において、遠方領域Ｂに車高方向で隣接する領域Ｅ（遠方領域Ｃの場合には、領域Ｄ）を選択する。
【００７１】
そして、ステップＳ１２において、領域Ｅについて、ステップＳ８で説明した立体物抽出処理を再び実施する。このステップＳ１２においても、ステップＳ８ａで、縦エッジ強調処理及び２値化処理を行い、ステップＳ８ｂで、所定長さ以下のエッジ線分を除去することでノイズを除去し、所定長さ以上のエッジ線分を抽出する。
【００７２】
次いで、ステップＳ１３において、ステップＳ１２で求めた領域Ｅでの縦エッジの線分面積と、ステップＳ８で求めてある遠方領域Ｂでの縦エッジの線分面積とを比較し、略等しいか否かを判断する。
【００７３】
略等しくない場合には、静止障害物は、低いポール等である判断し、低いポール等であれば、人等の移動体が出てくる可能性を否定できないので、ステップＳ１０にて検知感度を低くして遠方領域Ｂについて移動体検出部５２により移動体の検出処理を実施する。
【００７４】
この場合にも、ステップＳ７において、近接領域Ａについてのソナー１４による移動体の検出処理を行う。
【００７５】
その一方、ステップＳ１３において、ステップＳ１２で求めた領域Ｅでの縦エッジの線分面積と、ステップＳ８で求めてある遠方領域Ｂでの縦エッジの線分面積とが、略等しいと判断したには、静止障害物は、遠方領域Ｂから領域Ｅに延びて存在する高い壁等であると判断し、高い壁等であれば、移動体の検出対象物としている車両や人が、その高い壁等から飛び出てくることはないものとみなし、遠方領域Ｂについては移動体の検出処理を行うことなく、ステップＳ７で、近接領域Ａについてのソナー１４による移動体の検出処理を行う（ステップＳ１３：ＹＥＳ→ステップＳ７）。
【００７６】
なお、ステップＳ６で遠方領域Ｂ、Ｃに移動体検出部５２により移動体が検出されたとき、表示部３０に前記移動体が表示されるとともに、スピーカ３４から検出したことを示す音（音声も含む）が発生され、運転者に通知される。又、ステップＳ７で、近接領域Ａに移動体が検出されたときにも、スピーカ３４から検出したことを示す音（音声も含む）が発生されて運転者に通知される。
【００７７】
この際、例えば、表示部３０中の遠方領域Ｂ、Ｃ、近接領域Ａを、併せてフラッシュ点滅させることで、運転者に通知することもできる。
【００７８】
以上説明したように、上述した車両用周辺監視装置１０は、車両１１に搭載され、前記車両周辺の近接領域Ａの障害物（移動体）を検出するソナー１４（超音波センサ）と、車両１１に搭載され、前記車両周辺の撮像画像を取得するカメラ１２（撮像部）と、前記撮像画像に基づき、前記車両周辺の遠方領域Ｂ、Ｃの移動体を検出する移動体検出部５２と、前記撮像画像を表示する表示部３０と、ソナー１４又は移動体検出部５２にて検出した前記障害物、又は、前記移動体を車両１１の運転者に通知する表示部３０（通知部）又はスピーカ３４（通知部）と、を備える。
【００７９】
移動体検出部５２は、ソナー１４が障害物を検出していないときの近接領域Ａの輝度（路面の輝度と推定）と、遠方領域Ｂ、Ｃの輝度とを比較し、輝度の差が小さい（ステップＳ４：ＹＥＳ）遠方領域Ｂ、Ｃ（路面と推定）での前記移動体の検知感度を高くし（ステップＳ５）、輝度の差が大きい（ステップＳ４：ＮＯ）遠方領域Ｂ、Ｃ（非路面）での前記移動体の検知感度を低くする（ステップＳ１０）ようにしたので、移動体検出のための画像処理負荷を効率的に低減しつつ誤検知を低減することができる。
【００８０】
この場合、移動体検出部５２は、前記輝度の差が大きい遠方領域Ｂ、Ｃでの縦エッジを抽出し（ステップＳ８）、前記縦エッジの面積が小さい場合は（ステップＳ９：ＮＯ）、輝度の差が大きい遠方領域Ｂ、Ｃでの縦エッジの面積と前記輝度の差が大きい遠方領域Ｂ、Ｃに隣接する車高方向の領域Ｅ、Ｄにおける縦エッジの面積とを比較し、差が小さい場合は（ステップＳ１３：ＹＥＳ）、前記輝度の差が大きい遠方領域Ｂ、Ｃにおいて前記移動体の検出を実行しないようにしたので、移動体検出の画像処理負荷を低減しつつ誤検知を低減することができる。
【００８１】
ソナー１４は、車両１１の後方の障害物を検出し、カメラ１２は、車両１１の後方の撮像画像を取得するように設けられているので、車両後退運転時における後方視認支援として有用である。
【００８２】
上述したように、この実施形態では、車両１１の後方の路面（近接領域Ａ）の特徴と、側方の路面部分（遠方領域Ｂ、Ｃ）とを比較し（ステップＳ４）、明らかに相関がある場合には（ステップＳ４：ＹＥＳ）、側方の路面部分（遠方領域Ｂ、Ｃ）を路面とみなして、通常の高感度での移動体検出処理を行う（ステップＳ５、Ｓ６）。その一方、車両１１の後方の路面（近接領域Ａ）の特徴と、側方の路面部分（遠方領域Ｂ、Ｃ）とを比較し（ステップＳ４）、相関がない場合は、遠方領域Ｂ、Ｃの画像の煩雑さから駐車車両、柵といった複雑な静止障害物（立体物）か、低いポール、高い壁等の単純な静止障害物かを判別する（ステップＳ９）。複雑な静止障害物（立体物）であれば、遠方領域Ｂ、Ｃについて低感度での移動体検出処理を行う（ステップＳ１０）。単純な静止障害物（立体物）である場合、低いポール等であれば、遠方領域Ｂ、Ｃについて低感度での移動体検出処理を行い（ステップＳ１３：ＮＯ、ステップＳ１０）、高い壁等であれば、移動体が出てくる可能性がないので、移動体検出部５２により移動体検出処理を行わないようにした（ステップＳ１３：ＹＥＳ）。このため、移動体検出部５２による検知範囲を極力絞り込むことによる処理時間の短縮と同時に誤検知の発生を低減することができる。
【００８３】
なお、この発明は、上述の実施形態に限らず、車両１１の前方（前側方）を撮影するカメラ等の撮像部と前方（前側方）の障害物を検出するソナー等の超音波センサとを設けて、車両１１の前方（近接領域）及び前側方（遠方領域）の障害物（移動体）を検出する場合に適用する等、この明細書の記載内容に基づき、種々の構成を採り得ることはもちろんである。
【符号の説明】
【００８４】
１０…車両用周辺監視装置 １１…車両
１２…カメラ（撮像部） １４…ソナー
３０…表示部 ５２…移動体検出部
Ａ…近接領域 Ｂ、Ｃ…遠方領域
Ｄ、Ｅ…遠方領域の車高方向の領域
【特許請求の範囲】
【請求項１】
車両に搭載され、前記車両周辺の近接領域の障害物を検出する超音波センサと、
車両に搭載され、前記車両周辺の撮像画像を取得する撮像部と、
前記撮像画像に基づき、前記車両周辺の遠方領域の移動体を検出する移動体検出部と、
前記撮像画像を表示する表示部と、
前記超音波センサ、又は、前記移動体検出部にて検出した前記障害物、又は、前記移動体を前記車両の運転者に通知する通知部と、
からなる車両用周辺監視装置であって、
前記移動体検出部は、
前記超音波センサが障害物を検出していないときの前記近接領域の輝度と、前記遠方領域の輝度とを比較し、輝度の差が小さい遠方領域での前記移動体の検知感度を高くし、輝度の差が大きい遠方領域での前記移動体の検知感度を低くする
ことを特徴とする車両用周辺監視装置。
【請求項２】
請求項１に記載の車両用周辺監視装置において、
前記移動体検出部は、前記輝度の差が大きい遠方領域での縦エッジを抽出し、前記縦エッジの面積が小さい場合は、輝度の差が大きい遠方領域での縦エッジの面積と前記輝度の差が大きい遠方領域に隣接する車高方向の領域における縦エッジの面積とを比較し、差が小さい場合は、前記輝度の差が大きい遠方領域において前記移動体の検出を実行しない
ことを特徴とする車両用周辺監視装置。
【請求項３】
請求項１又は２に記載の車両用周辺監視装置において、
前記超音波センサは、前記車両の後方の障害物を検出し、
前記撮像部は、前記車両の後方の撮像画像を取得する
ことを特徴とする車両用周辺監視装置。
【請求項１】
車両に搭載され、前記車両周辺の近接領域の障害物を検出する超音波センサと、
車両に搭載され、前記車両周辺の撮像画像を取得する撮像部と、
前記撮像画像に基づき、前記車両周辺の遠方領域の移動体を検出する移動体検出部と、
前記撮像画像を表示する表示部と、
前記超音波センサ、又は、前記移動体検出部にて検出した前記障害物、又は、前記移動体を前記車両の運転者に通知する通知部と、
からなる車両用周辺監視装置であって、
前記移動体検出部は、
前記超音波センサが障害物を検出していないときの前記近接領域の輝度と、前記遠方領域の輝度とを比較し、輝度の差が小さい遠方領域での前記移動体の検知感度を高くし、輝度の差が大きい遠方領域での前記移動体の検知感度を低くする
ことを特徴とする車両用周辺監視装置。
【請求項２】
請求項１に記載の車両用周辺監視装置において、
前記移動体検出部は、前記輝度の差が大きい遠方領域での縦エッジを抽出し、前記縦エッジの面積が小さい場合は、輝度の差が大きい遠方領域での縦エッジの面積と前記輝度の差が大きい遠方領域に隣接する車高方向の領域における縦エッジの面積とを比較し、差が小さい場合は、前記輝度の差が大きい遠方領域において前記移動体の検出を実行しない
ことを特徴とする車両用周辺監視装置。
【請求項３】
請求項１又は２に記載の車両用周辺監視装置において、
前記超音波センサは、前記車両の後方の障害物を検出し、
前記撮像部は、前記車両の後方の撮像画像を取得する
ことを特徴とする車両用周辺監視装置。
【図１】
【図２】
【図３】
【図４】
【図５】
【図６】
【図７】
【図８】
【図９】
【図１０】
【図２】
【図３】
【図４】
【図５】
【図６】
【図７】
【図８】
【図９】
【図１０】
【公開番号】特開２０１２−１６５２９５（Ｐ２０１２−１６５２９５Ａ）
【公開日】平成２４年８月３０日（２０１２．８．３０）
【国際特許分類】
【出願番号】特願２０１１−２５６０９（Ｐ２０１１−２５６０９）
【出願日】平成２３年２月９日（２０１１．２．９）
【出願人】（０００００５３２６）本田技研工業株式会社 (23,863)
【Ｆターム（参考）】
【公開日】平成２４年８月３０日（２０１２．８．３０）
【国際特許分類】
【出願日】平成２３年２月９日（２０１１．２．９）
【出願人】（０００００５３２６）本田技研工業株式会社 (23,863)
【Ｆターム（参考）】
[ Back to top ]