説明

周辺監視装置

【課題】処理負荷を軽減しつつ広い範囲の障害物を検出する「周辺監視装置」を提供する。
【解決手段】カメラ撮影範囲に障害物が存在しない場合には、主監視領域220については15フレーム/秒の画像フレームを用いた障害物の検出を行い、他の領域については10フレーム/秒の画像フレームを用いた障害物の検出を行う(a)。主監視領域220に写り込む範囲に障害物が存在する場合には、主監視領域220についてのみ30フレーム/秒の画像フレームを用いた障害物の検出を行う(b)。主監視領域220外の領域に写り込む範囲にのみ障害物が存在する場合には、最も近い障害物が写り込んでいる領域及びその周辺を含むように着目領域300を設定し、着目領域については15フレーム/秒の画像フレームを用いた障害物の検出を行い、他の領域については10フレーム/秒の画像フレームを用いた障害物の検出を行う(c)。

【発明の詳細な説明】
【技術分野】
【0001】
本発明は、自動車に搭載したカメラで撮影した画像を用いて障害物の検出を行う技術に関するものである。
【背景技術】
【0002】
自動車に搭載したカメラで撮影した画像を用いて障害物の検出を行う技術としては、カメラで撮影した画像の内の、車両近方部分が写り込む領域や、障害物が存在している領域のみを検出対象領域として絞り込み、検証対象領域に写り込んでいる障害物のみを検出する技術が知られている(たとえば、特許文献1)。
【先行技術文献】
【特許文献】
【0003】
【特許文献1】特開2006-39641号公報
【発明の概要】
【発明が解決しようとする課題】
【0004】
上述のように、カメラで撮影した画像の、検出対象領域として絞り込んだ一部の領域のみを対象として障害物を検出することは、障害物検出の処理負荷の軽減の観点からは望ましい。しかし、一方で、このようにすると、検出対象領域外の障害物を一切検出することができなくなってしまうという問題が生じる。
【0005】
そこで、本発明は、できるだけ処理負荷を軽減しつつ、より広い範囲の障害物を検出することを課題とする。
【課題を解決するための手段】
【0006】
前記課題達成のために、本発明は、自動車に搭載される、前記自動車周辺の障害物を検出する周辺監視装置に、自動車周辺を撮影するカメラと、前記カメラの撮影画像上に設定された監視区域毎に、当該監視区域に対して設定されたフレームレートで前記カメラの撮影画像を用いて、当該監視区域内に写り込んだ障害物を検出する障害物検出手段と、前記カメラの撮影画像上に1または複数の監視区域を設定し、各監視区域に対して前記フレームレートを設定する監視区域設定手段とを設け、前記監視区域設定手段において、前記カメラの撮影画像上の所定の位置の所定サイズの領域を主監視領域として、前記障害物検出手段によって障害物が検出されていない場合に、前記主監視領域を内部の領域とする区域である第1の区域と、前記カメラの撮影画像上の前記主監視領域以外の領域を内部の領域とする区域である第2の区域とを各々監視区域として設定し、前記第1の区域である監視区域に対して第1のフレームレートを設定し、前記第2の区域である監視区域に対して前記第1のフレームレートより小さい第2のフレームレートを設定し、前記障害物検出手段によって主監視領域に障害物が検出されている場合に、前記第1の区域と前記第2の区域とを各々監視区域として設定し、前記第1の区域である監視区域に対して第1のフレームレートより大きいフレームレートを設定し、前記第2の区域である監視区域に対して前記第2のフレームレートより小さいフレームレートを設定するようにしたものである。
【0007】
また、前記課題達成のために、本発明は、自動車に搭載される、前記自動車周辺の障害物を検出する周辺監視装置に、自動車周辺を撮影するカメラと、前記カメラの撮影画像上に設定された監視区域毎に、当該監視区域に対して設定されたフレームレートで前記カメラの撮影画像を用いて、当該監視区域内に写り込んだ障害物を検出する障害物検出手段と、前記カメラの撮影画像上に1または複数の監視区域を設定し、各監視区域に対して前記フレームレートを設定する監視区域設定手段とを設け、前記監視区域設定手段において、前記カメラの撮影画像上の所定の位置の所定サイズの領域を主監視領域として、前記障害物検出手段によって障害物が検出されていない場合に、前記主監視領域を内部の領域とする区域である第1の区域と、前記カメラの撮影画像上の前記主監視領域以外の領域を内部の領域とする区域である第2の区域とを各々監視区域として設定し、前記第1の区域である監視区域に対して第1のフレームレートを設定し、前記第2の区域である監視区域に対して前記第1のフレームレートより小さい第2のフレームレートを設定し、前記障害物検出手段によって主監視領域に障害物が検出されている場合に、前記第1の区域のみを監視区域として設定し、前記第1の区域である監視区域に対して第1のフレームレートより大きいフレームレートを設定するようにしたものである。
【0008】
また、前記課題達成のために、本発明は、自動車に搭載される、前記自動車周辺の障害物を検出する周辺監視装置に、自動車周辺を撮影するカメラと、前記カメラの撮影画像上に設定された監視区域毎に、当該監視区域に対して設定されたフレームレートで前記カメラの撮影画像を用いて、当該監視区域内に写り込んだ障害物を検出する障害物検出手段と、前記カメラの撮影画像上に1または複数の監視区域を設定し、各監視区域に対して前記フレームレートを設定する監視区域設定手段とを設け、前記監視区域設定手段において、前記カメラの撮影画像上の所定の位置の所定サイズの領域を主監視領域として、前記障害物検出手段によって障害物が検出されていない場合に、前記主監視領域を内部の領域とする区域である第1の区域と、前記カメラの撮影画像上の前記主監視領域以外の領域を内部の領域とする区域である第2の区域とを各々監視区域として設定し、前記第1の区域である監視区域に対して第1のフレームレートを設定し、前記第2の区域である監視区域に対して前記第1のフレームレートより小さい第2のフレームレートを設定し、前記障害物検出手段によって前記主監視領域に障害物が検出されておらず、かつ、前記主監視領域以外の領域に障害物が検出されている場合に、前記第1の区域と、前記カメラの撮影画像上の当該検出された障害物が写り込んでいる領域及びその周辺を含む領域を内部の領域とする区域である第3の区域と、前記カメラの撮影画像上の第1の監視区域と第3の監視区域とのいずれにも含まれない領域を内部の領域とする区域である第4の区域とを、各々監視区域として設定し、前記第3の区域である監視区域に前記第2のフレームレートよりも大きなフレームレートを設定し、前記第1の区域である監視区域と前記第4の区域である監視区域とに対して前記第2のフレームレート以下のフレームレートを設定するようにしたものである。
【0009】
ここで、このような周辺監視装置では、前記監視区域設定手段において、前記障害物検出手段によって前記主監視領域に障害物が検出されている場合に、前記第1の区域と前記第2の区域とを各々監視区域として設定し、前記第1の区域である監視区域に対して前記第1のフレームレートより大きなフレームレートを設定し、前記第2の区域である監視区域に対して前記第2のフレームレートより小さいフレームレートを設定するように構成してもよい。または、このような周辺監視装置は、前記監視区域設定手段において、前記障害物検出手段によって前記主監視領域に障害物が検出されている場合に、前記第1の区域のみを監視区域として設定し、前記第1の区域である監視区域に対して前記第1のフレームレートより大きなフレームレートを設定するように構成してもよい。
【0010】
以上のような周辺監視装置によれば、領域内の障害物を検出することが重要な領域を主監視領域として設定することにより、全領域内の障害物を高フレームレートのカメラ撮影画像を用いて高い検出感度で検出する場合に比べ、障害物検出の処理負荷を軽減しつつ、全領域内の障害物を、当該障害物を検出することの重要度に応じた検出感度で検出することができるようになる。
【0011】
すなわち、たとえば、前記カメラが前記自動車の前方を撮影するものである場合には、前記主監視領域を、たとえば、前記カメラの撮影画像前上の、前記自動車の前後方向について当該自動車に近い範囲が写り込む領域とすればよい。
【発明の効果】
【0012】
以上のように、本発明によれば、できるだけ処理負荷を軽減しつつ、より広い範囲の障害物を検出することができる。
【図面の簡単な説明】
【0013】
【図1】本発明の実施形態に係る車載システムの構成を示す。
【図2】本発明の実施形態に係る主監視領域の配置を示す図である。
【図3】本発明の実施形態に係る監視レベル設定処理を示すフローチャートである。
【図4】本発明の実施形態に係る監視レベル設定処理の処理例を示す図である。
【発明を実施するための形態】
【0014】
以下、本発明の実施形態について説明する。
以下、本発明の実施形態について説明する。
図1aに、本実施形態に係る車載システムの構成を示す。
図示するように、車載システムは、30フレーム/秒のフレームレートで画像フレーム(30フレーム/秒のフレームレートの動画)を撮影するカメラ1、カメラ1が撮影した画像フレームを格納する画像メモリ2、周辺監視装置3、警報出力装置4、入力装置6、表示装置7、入力装置6や表示装置7を用いたGUIをユーザに提供するGUI制御部5とを備えている。
【0015】
ここでカメラ1は、図1bに示すように車両前端に設置され、車両前方を広角に撮影する。また、周辺監視装置3は、画像メモリ2に格納されたカメラ1が撮影した画像フレームより、車両前方の障害物の検出を行う。
以下、本実施形態において行う障害物検出動作について説明する。
まず、周辺監視装置3は、画像メモリ2に格納された画像フレーム上に設定された監視区域毎に、当該監視区域に対して設定された監視レベルに応じた検出感度で、当該監視区域中の障害物が写り込んでいる領域を障害物領域として検出する機能を備えている。
【0016】
ここで、カメラ1は上述のように30フレーム/秒のフレームレートで画像フレームの撮影を行うカメラ1であり、監視区域毎の検出感度の切り替えは、周辺監視装置3において、障害物検出に用いる画像フレームのフレームレートを切り替えることにより行う。
すなわち、監視レベル30が設定された監視区域Aについては、周辺監視装置3は画像メモリ2に格納されたフレームを全て取り出した30フレーム/秒のフレームレートの画像フレームを対象画像フレームとし、時間軸上で隣接する対象画像フレームの監視区域A間の差分より、監視区域A内の障害物領域を検出する。
【0017】
また、監視レベル15が設定された監視区域Bについては、周辺監視装置3は画像メモリ2に格納されたフレームを1つおきに取り出した15フレーム/秒のフレームレートの画像フレームを対象画像フレームとし、時間軸上で隣接する対象画像フレームの監視区域B間の差分より、監視区域B内の障害物領域を検出する。
【0018】
そして、同様に、監視レベル10が設定された監視区域Cについては、周辺監視装置3は画像メモリ2に格納されたフレームを2つおきに取り出した10フレーム/秒のフレームレートの画像フレームを対象画像フレームとし、時間軸上で隣接する対象画像フレームの監視区域C間の差分より、監視区域C内の障害物領域を検出し、監視レベル5が設定された監視区域Dについては、周辺監視装置3は画像メモリ2に格納されたフレームを5つおきに取り出した5フレーム/秒のフレームレートの画像フレームを対象画像フレームとし、時間軸上で隣接する対象画像フレームの監視区域D間の差分より、監視区域D内の障害物領域を検出する。
【0019】
そして、監視レベル0が設定された監視区域Dについては、障害物領域の検出を行わない。
ここで、各監視区域中の、障害物領域の検出は、たとえば、当該監視区域を、複数の画素よりなる複数のブロックに分割し、各ブロック毎に、ブロック内画素の平均値のフレーム間差分を求め、フレーム間差分の絶対値が所定のしきい値より大きいブロックを抽出し、抽出したブロックの集合よりなる領域を障害物領域として検出することにより行う。なお、あるブロックについての、ブロック内画素の平均値のフレーム間差分とは、当該ブロックのブロック内画素の平均値と、当該ブロックと同一位置にある時間軸上一つ前のフレーム中のブロックのブロック内画素の平均値との差分を指す。
【0020】
次に、本実施形態では、あらかじめ、カメラ1が撮影した画像フレーム上の、所定位置に、所定サイズの主監視領域を以下のように設定する。
すなわち、図2aに示す、自動車前方の自動車の前後方向について自動車に近い範囲200が、図2bのように写り込むこととなる画像フレーム上の領域210を囲む四角形の領域を主監視領域220として、あらかじめ設定する。
次に、周辺監視装置3は、以上のような領域毎の監視レベルの設定のために、図3に示す監視レベル設定処理を行う。
図示するように、この処理では、まず、主監視領域220を内部領域とする区域を監視レベル15の監視区域に設定し(ステップ302)、画像フレーム上の主監視領域220以外の領域を内部領域とする区域を監視レベル10の監視区域に設定する(ステップ304)。
そして、以降は、以下の処理を繰り返し行う。
すなわち、いずれの監視区域に対しても障害物が検出されていない場合には(ステップ306)、主監視領域220を内部領域とする区域を監視レベル15の監視区域に設定し(ステップ302)、画像フレーム上の主監視領域220以外の領域を内部領域とする区域を監視レベル10の監視区域に設定する(ステップ304)。ここで、ある監視区域中に上述のようにして障害物領域が検出されている場合に、当該監視区域に対して障害物が検出されているものとする。
【0021】
一方、主監視領域220を内部領域とする監視区域に対して障害物が検出されている場合には(ステップ308)、主監視領域220を内部領域とする区域を監視レベル30の監視区域に設定し(ステップ312)、画像フレーム上の主監視領域220以外の領域を内部領域とする区域を監視レベル0の監視区域に設定する(ステップ314)。ただし、ステップ312では、画像フレーム上の主監視領域220以外の領域を内部領域とする区域を監視レベル5の監視区域に設定するようにしてもよい。または、ステップ312を設けずに、画像フレーム上の主監視領域220以外の領域についての監視区域を設定しないようにしてもよい。
【0022】
一方、主監視領域220以外の領域を内部領域とする監視区域に対して障害物が検出されている場合には(ステップ310)、主監視領域220以外の領域を内部領域とする監視区域中に検出された障害物領域のうちの、自車に最も近い障害物が写り込んでいる障害物領域及びその周辺を含むように着目領域を設定する(ステップ316)。なお、障害物の自車に対する相対位置は、当該障害物が写り込んでいる障害物領域の画像フレーム中の位置より求めることができる。
【0023】
そして、着目領域を内部領域とする区域を監視レベル15の監視区域に設定し(ステップ318)、主監視領域220を内部領域とする区域を監視レベル10の監視区域に設定し(ステップ320)、画像フレーム上の主監視領域220以外の領域中の着目領域以外の領域を内部領域とする区域を監視レベル10の監視区域に設定する(ステップ322)。
【0024】
以上、監視レベル設定処理について説明した。
ところで、周辺監視装置3においては上述のように検出した障害物領域に基づいて障害物の追尾を行うようにすると共に、以上の監視レベル設定処理においては、主監視領域220以外の領域である監視区域についてのみ、または、全ての監視区域について、自車に接近している障害物の障害物領域が検出されている場合にのみ、当該監視区域について障害物が検出されているものとするようにしてもよい。
【0025】
さて、このような監視レベル設定処理によれば、自車前方の、図4a1のカメラ撮影画像フレームに示すように、画像フレームの主監視領域220に写り込む範囲にも、主監視領域220外の領域に写り込む範囲にも障害物が存在しない場合には、図4a2に示すように主監視領域220については15フレーム/秒のフレームレートの画像フレームを用いた中程度の検出感度による障害物の検出が行われ、他の領域については10フレーム/秒のフレームレートの画像フレームを用いた低い検出感度による障害物の検出が行われる。
【0026】
一方、図4b1のカメラ撮影画像フレームに示すように、画像フレームの主監視領域220に写り込む範囲に障害物が存在する場合には、図4b2に示すように主監視領域220については30フレーム/秒のフレームレートの画像フレームを用いた高い検出感度による障害物の検出が行われ、他の領域については障害物の検出は行われないか、5フレーム/秒のフレームレートの画像フレームを用いた、より低い検出感度による障害物の検出が行われる。
【0027】
また、図4c1のカメラ撮影画像フレームに示すように、画像フレームの主監視領域220に写り込む範囲に障害物が存在せず、画像フレームの主監視領域220外の領域に写り込む範囲に障害物が存在する場合には、主監視領域220外の領域に写り込む範囲中に存在する、自車に最も近い障害物が写り込んでいる領域及びその周辺を含むように着目領域300が設定され、図4c2に示すように、着目領域については15フレーム/秒のフレームレートの画像フレームを用いた中程度の検出感度による障害物の検出が行われ、他の領域については10フレーム/秒のフレームレートの画像フレームを用いた低い検出感度による障害物の検出が行われる。
【0028】
したがって、カメラ1で撮影される範囲に障害物が存在しない場合には、主監視領域220内の障害物を中程度の検出感度で検出しつつ、他の領域内の障害物も低い検出感度で検出する。
一方、主監視領域220内に障害物が存在する場合には、主監視領域220内の障害物を高い検出感度で検出し、他の領域内の障害物は、より低い検出感度で検出するか、もしくは、当該他の領域内の障害物の検出は行わない。
また、主監視領域220外に、障害物が存在する場合には、障害物の周辺の領域を中程度の検出感度で検出しつつ、他の領域内の障害物も低い検出感度で検出する。
ここで、監視する自車周辺の各領域の自車の安全確保上の重要性は、自動車の前後方向について近方の領域(主監視領域内)の方が、自動車の前後方向について遠方の領域(主監視領域220以外の領域内)よりも大きくなる。また、さらに、自車周辺の障害物の自車の安全確保上の重要性は、自動車の前後方向について近方の領域に存在する障害物(主監視領域220内の障害物)の方が、自動車の前後方向について遠方の領域に存在する障害物(主監視領域220以外の領域内の障害物)よりも大きくなる。
【0029】
よって、上述のように監視区域や監視レベルを設定することにより、全領域内の障害物を高フレームレートの画像フレームを用いて高い検出感度で検出する場合に比べて障害物検出の処理負荷を軽減しつつ、全領域内の障害物を安全確保上の重要性のレベルに応じた検出感度で検出することができるようになる。
【0030】
さて、図1に戻り、警報出力装置4は、周辺監視装置3が、障害物領域を検出したならば、ユーザの障害物への注意を喚起するための出力を行う。この出力としては、たとえば、GUI制御部5を介して、表示装置7にカメラ1の撮影した30フレーム/秒の画像フレームを表示すると共に、当該表示した各画像フレーム上の障害物領域に対応する位置にマークを表示したり、各画像フレーム上に障害物領域を囲む四角形を表示することにより行う。または、たとえば、障害物領域に対する画像認識処理によって求めた障害物の種別や、当該障害物領域に基づく障害物追尾より求まる障害物の自車に対する方向や相対速度に基づいて、「左方向から他車が接近しています」といったような、検出した障害物の情報を通知する音声メッセージを出力することにより行う。
以上、本発明の実施形態について説明した。
【符号の説明】
【0031】
1…カメラ、2…画像メモリ、3…周辺監視装置、4…警報出力装置、5…GUI制御部、6…入力装置、7…表示装置。

【特許請求の範囲】
【請求項1】
自動車に搭載される、前記自動車周辺の障害物を検出する周辺監視装置であって、
自動車周辺を撮影するカメラと、
前記カメラの撮影画像上に設定された監視区域毎に、当該監視区域に対して設定されたフレームレートで前記カメラの撮影画像を用いて、当該監視区域内に写り込んだ障害物を検出する障害物検出手段と、
前記カメラの撮影画像上に1または複数の前記監視区域を設定し、各監視区域に対して前記フレームレートを設定する監視区域設定手段とを有し、
前記監視区域設定手段は、
前記カメラの撮影画像上の所定の位置の所定サイズの領域を主監視領域として、
前記障害物検出手段によって障害物が検出されていない場合に、前記主監視領域を内部の領域とする区域である第1の区域と、前記カメラの撮影画像上の前記主監視領域以外の領域を内部の領域とする区域である第2の区域とを各々監視区域として設定し、前記第1の区域である監視区域に対して第1のフレームレートを設定し、前記第2の区域である監視区域に対して前記第1のフレームレートより小さい第2のフレームレートを設定し、
前記障害物検出手段によって主監視領域に障害物が検出されている場合に、前記第1の区域と前記第2の区域とを各々監視区域として設定し、前記第1の区域である監視区域に対して前記第1のフレームレートより大きいフレームレートを設定し、前記第2の区域である監視区域に対して前記第2のフレームレートより小さいフレームレートを設定することを特徴とする周辺監視装置。
【請求項2】
自動車に搭載される、前記自動車周辺の障害物を検出する周辺監視装置であって、
自動車周辺を撮影するカメラと、
前記カメラの撮影画像上に設定された監視区域毎に、当該監視区域に対して設定されたフレームレートで前記カメラの撮影画像を用いて、当該監視区域内に写り込んだ障害物を検出する障害物検出手段と、
前記カメラの撮影画像上に1または複数の前記監視区域を設定し、各監視区域に対して前記フレームレートを設定する監視区域設定手段とを有し、
前記監視区域設定手段は、
前記カメラの撮影画像上の所定の位置の所定サイズの領域を主監視領域として、
前記障害物検出手段によって障害物が検出されていない場合に、前記主監視領域を内部の領域とする区域である第1の区域と、前記カメラの撮影画像上の前記主監視領域以外の領域を内部の領域とする区域である第2の区域とを各々監視区域として設定し、前記第1の区域である監視区域に対して第1のフレームレートを設定し、前記第2の区域である監視区域に対して前記第1のフレームレートより小さい第2のフレームレートを設定し、
前記障害物検出手段によって主監視領域に障害物が検出されている場合に、前記第1の区域のみを監視区域として設定し、前記第1の区域である監視区域に対して前記第1のフレームレートより大きいフレームレートを設定することを特徴とする周辺監視装置。
【請求項3】
自動車に搭載される、前記自動車周辺の障害物を検出する周辺監視装置であって、
自動車周辺を撮影するカメラと、
前記カメラの撮影画像上に設定された監視区域毎に、当該監視区域に対して設定されたフレームレートで前記カメラの撮影画像を用いて、当該監視区域内に写り込んだ障害物を検出する障害物検出手段と、
前記カメラの撮影画像上に1または複数の監視区域を設定し、各監視区域に対して前記フレームレートを設定する監視区域設定手段とを有し、
前記監視区域設定手段は、
前記カメラの撮影画像上の所定の位置の所定サイズの領域を主監視領域として、
前記障害物検出手段によって障害物が検出されていない場合に、前記主監視領域を内部の領域とする区域である第1の区域と、前記カメラの撮影画像上の前記主監視領域以外の領域を内部の領域とする区域である第2の区域とを各々監視区域として設定し、前記第1の区域である監視区域に対して第1のフレームレートを設定し、前記第2の区域である監視区域に対して前記第1のフレームレートより小さい第2のフレームレートを設定し、
前記障害物検出手段によって前記主監視領域に障害物が検出されておらず、かつ、前記主監視領域以外の領域に障害物が検出されている場合に、前記第1の区域と、前記カメラの撮影画像上の当該検出された障害物が写り込んでいる領域及びその周辺を含む領域を内部の領域とする区域である第3の区域と、前記カメラの撮影画像上の第1の監視区域と第3の監視区域とのいずれにも含まれない領域を内部の領域とする区域である第4の区域とを、各々監視区域として設定し、前記第3の区域である監視区域に前記第2のフレームレートよりも大きなフレームレートを設定し、前記第1の区域である監視区域と前記第4の区域である監視区域とに対して前記第2のフレームレート以下のフレームレートを設定することを特徴とする周辺監視装置。
【請求項4】
請求項3記載の周辺監視装置であって、
前記監視区域設定手段は、
前記障害物検出手段によって前記主監視領域に障害物が検出されている場合に、前記第1の区域と前記第2の区域とを各々監視区域として設定し、前記第1の区域である監視区域に対して前記第1のフレームレートより大きなフレームレートを設定し、前記第2の区域である監視区域に対して前記第2のフレームレートより小さいフレームレートを設定することを特徴とする周辺監視装置。
【請求項5】
請求項3記載の周辺監視装置であって、
前記監視区域設定手段は、
前記障害物検出手段によって前記主監視領域に障害物が検出されている場合に、前記第1の区域のみを監視区域として設定し、前記第1の区域である監視区域に対して前記第1のフレームレートより大きなフレームレートを設定することを特徴とする周辺監視装置。
【請求項6】
請求項1、2、3、4または5記載の周辺監視装置であって、
前記カメラは前記自動車の前方を撮影し、
前記主監視領域は、前記カメラの撮影画像前上の、前記自動車の前後方向について当該自動車に近い範囲が写り込む領域であることを特徴とする周辺監視装置。

【図1】
image rotate

【図2】
image rotate

【図3】
image rotate

【図4】
image rotate