説明

車両周辺監視装置および車両周辺監視方法

【課題】静止立体物と移動体とを区別して検出する。
【解決手段】車両周辺監視装置は、車両に取り付けられた撮像カメラと、撮像カメラからの撮像データを画像処理し特徴点を抽出する画像処理部210と、特徴点についての物体の判定を行う物体判定部220とを有する。画像処理部210は、撮像データの特徴点の動きベクトルを検出する第1の検出手段と、俯瞰画像に変換された特徴情報の動きベクトルを検出する第2の検出手段とを含む。物体判定部220は、第1の検出手段および第2の検出手段によって特徴点の動きベクトルが検出されたとき、当該特徴点を移動体と判定し、第1の検出手段によって特徴点の動きベクトルが検出されずかつ第2の検出手段によって特徴点の動きベクトルが検出されたとき、当該特徴点を静止立体物と判定し、第1の検出手段および第2の検出手段によって特徴点の動きベクトルが検出されないとき、当該特徴点を背景と判定する。

【発明の詳細な説明】
【技術分野】
【0001】
本発明は、車両周辺監視装置に関し、特に、撮像カメラからの撮像データを用いて車両周辺の移動体と静止立体物を区別して監視することができる車両周辺監視装置に関する。
【背景技術】
【0002】
車両に撮像カメラを搭載し、撮像カメラで撮像された画像を用いて車両周辺の障害物を監視するシステムが利用されている。撮像データから車両周辺の障害物を認識する方法には、俯瞰画像の差分を利用する方法やオプティカルフローを用いる方法がある。
【0003】
図1に俯瞰画像の差分から物体を検出する方法を示す。ステップS10に示すように、フレームNの画像には、移動体としての歩行者Pと静止立体物Sとが映されている。ここで、撮像カメラを搭載した車両は、静止立体物Sに対し進行方向Rで接近し、歩行者Pは、方向Qに移動するものとする。ステップS10から時間的に経過したステップS11において、次のフレームN+1の画像には、歩行者Pと静止立体物Sが幾分だけ接近して映される。ステップS20に示すように、フレームNの画像が俯瞰画像(上方から見下ろす画像)に変換され、変換された俯瞰画像には、地面から鉛直方向に高さのある立体物、すなわち歩行者Pと立体静止物Sが映される。歩行者Pと立体静止物Sは、地面から一定の高さの仮想視点から見下ろすように変形して見えることになる。
【0004】
ステップS21に示すように、フレームN+1の画像が俯瞰画像に変換され、さらに俯瞰画像は、車両の進行方向Rと逆向きに車両が移動した距離だけスライドされる。歩行者Pは、方向Qに移動しているため、歩行者Pを仮想視点から見下ろす角度が変化し、フレームNのときと比べて、歩行者Pの変形の仕方が異なる。立体静止物Sもまた仮想視点から見下ろす角度が変化するため、フレームNのときと比べて変形の仕方が異なる。俯瞰画像のスライドは、背景Bを除去するための前処理である。
【0005】
次に、ステップS30において、フレームNとフレームN+1のそれぞれの俯瞰画像の差分が算出される。これにより、立体物ではない背景Bが除去され、静止立体物Sと歩行者Pが同時に検出される。
【0006】
図2にオプティカルフローから物体を検出する方法を示す。ステップS10とS11は、図1のときと同様である。ステップS40において、フレームNとフレームN+1から、歩行者P、立体静止物S、背景Bの特徴点のオプティカルフロー(動きベクトル)V1、V2、V3が求められる。また、ステップS41において、車両の移動する方向R(車速と舵角)から歩行者P、立体静止物S、背景Bの理論上のオプティカルフローVa、Vb、Vcが求められる。これは、背景を除去するための前処理である。
【0007】
次に、ステップS50において、ステップS40とステップS41のオプティカルフローの差分を求める。これにより、移動体(歩行者P)だけのオプティカルフローV1が残り、静止立体物Sおよび背景Bのオプティカルフローが除去される(V2=Vb、V3=Vc)。こうして、車両が移動中であっても、背景から移動体(歩行者P)を検出することができる。
【0008】
移動する車両から撮像された画像のオプティカルフロー(動きベクトル)を検出する方法は、例えば、特許文献1、特許文献2および特許文献3に開示されている。
【先行技術文献】
【特許文献】
【0009】
【特許文献1】特開平5−233813号
【特許文献2】特開平10−222679号公報
【特許文献3】特開2004−56763号公報
【発明の概要】
【発明が解決しようとする課題】
【0010】
従来の車両周辺監視装置には、次のような課題がある。駐車している車両などの静止立体物や子供などの移動体が混在する画像において、俯瞰画像の差分による物体の検出方法では、静止立体物と移動体を明瞭に区別することができない。また、オプティカルフローによる物体の検出方法では、移動体しか検出することができない。このため、静止立体物が存在する中で移動体だけを区別して強調(例えば、表示や音声による警告)することができない。
【0011】
図3は、移動体を強調したいシーン(駐車場)を説明する図であり、複数の車両が駐車されているスペースに自車Mを駐車させる様子を示している。自車Mの後方を撮像する撮像カメラの監視エリアをW、自車Mの進行方向をRとしたとき、監視エリアWには、車両M1と歩行者Pが映されている。車両M1(静止立体物)は、停止しておりかつ自車Mから比較的離れた位置にあるため、危険度は、小〜中である。これに対し、監視エリアW内を移動する歩行者P(移動体)の危険度は、大である。
【0012】
上記したように俯瞰画像の差分による検出方法は、歩行者Pと車両M1の双方を立体物として検出するため、歩行者Pを車両M1から区別し、歩行者Pの存在を強調して警告することができず、運転者は、歩行者Pに気づきにくい。他方、オプティカルフローによる検出方法は、歩行者Pのみを検出し、車両M1を背景として処理するため、歩行者Pしか警告することができない。
【0013】
駐車する場面では、移動体は、距離にかかわらず強調表示させ、立体静止物は接触する可能性のある距離に近づいたものだけを強調させたい。しかし、現在の方法では、移動体と静止立体物との区別がつかないので、それを実現させることができない。
【0014】
図4は、走行中に移動体を強調表示させたいシーンを説明する図である。走行シーンでは、カメラの数を増やして自車側面の死角をカバーし、接近する自転車、バイク、自動車に対して、音声等による警告を発することが望まれる。そのとき、車道の脇を走っている自転車、バイクを検出しようとしても、ガードレールや壁などが存在する場合、移動体である自転車やバイクを、静止立体物であるガードレールや壁と一緒に検出してしまい、移動体と静止立体物を区別することができない。
【0015】
図4に示すように、自車Mには、左右および後部に3つの撮像カメラが取り付けられ、自車Mの左右から後方の監視エリアW1、W2、自車の後方の中央の監視エリアW3が設定される。自車Mの進行方向をRとする。追い越し車線を走行している車両M1は、自車に接近する移動体であり危険度が大きい。また、縁石、壁、ガードレールなどの静止立体物Sは、危険度が小さいが、その脇を走行している自転車Cは、移動体であり、危険度が大きい。
【0016】
図4の下部に、自転車Cとガードレール等の静止立体物Sの関係を示している。自転車Cは、方向Qに進行し、自車Mに対する危険度は大きいが、静止立体物Sの危険度は小さい。俯瞰画像の差分による検出方法では、ガードレールと自転車Cが一体のものとして検出されてしまい、自転車Cをガードレールと区別してこれを強調させることができない。オプティカルフローによる検出では、自転車Cは検出することができるが、ガードレールを検出することができない。このように、静止立体物と移動体が重なる場面では、移動体を見分けることができない。
【0017】
本発明は、このような従来の課題を解決し、静止立体物と移動体とを区別して監視することができる車両周辺監視装置および車両周辺監視方法を提供することを目的とする。
【課題を解決するための手段】
【0018】
本発明に係る車両周辺を監視する車両周辺監視装置は、車両に取り付けられた撮像手段と、前記撮像手段によって撮像された撮像データを画像処理し特徴情報を抽出する画像処理手段と、前記画像処理手段により抽出された特徴情報に基づき物体の判定を行う判定手段とを有し、前記画像処理手段は、前記撮像データの特徴情報の動きベクトルを検出する第1の検出手段と、俯瞰画像に変換された特徴情報の動きベクトルを検出する第2の検出手段とを含み、前記判定手段は、前記第1の検出手段および前記第2の検出手段によって特徴情報の動きベクトルがそれぞれ検出されたとき、当該特徴情報を移動体と判定し、前記第1の検出手段によって特徴情報の動きベクトルが検出されずかつ前記第2の検出手段によって特徴情報の動きベクトルが検出されたとき、当該特徴情報を静止立体物と判定し、前記第1の検出手段および前記第2の検出手段によって特徴情報の動きベクトルが検出されないとき、当該特徴情報を背景と判定する。
【0019】
好ましくは前記画像処理手段は、撮像データの収差を補正する補正手段と、補正された撮像データのエッジを検出するエッジ検出手段と、検出されたエッジから特徴情報を抽出する抽出手段とを含む。好ましくは画像処理手段は、撮像データを俯瞰画像に変換する手段を含む。好ましくは車両周辺監視装置はさらに、前記判定手段によって判定された移動体および/または静止立体物に応じた警告を行う警告手段を含む。好ましくは前記警告手段は、移動体を静止立体物よりも強調して警告する。好ましくは前記第1および第2の検出手段は、オプティカルフローによる特徴情報の動きベクトルの検出である。
【0020】
本発明に係る車両周辺を監視する車両周辺監視方法は、車両に取り付けられた撮像カメラにより車両周辺を撮像するステップと、撮像カメラからによって撮像された撮像データから特徴情報を抽出するステップと、前記撮像データの特徴情報の動きベクトルを検出するための第1の検出処理を実行し、かつ俯瞰画像に変換された特徴情報の動きベクトルを検出するための第2の検出処理を実行するステップと、前記第1の検出処理および前記第2の検出処理によって特徴情報の動きベクトルが検出されたとき、当該特徴情報を移動体と判定し、前記第1の検出処理により特徴情報の動きベクトルが検出されずかつ前記第2の検出処理によって特徴情報の動きベクトルが検出されたとき、当該特徴情報を静止立体物と判定し、前記第1の検出処理および前記第2の検出処理によって特徴情報の動きベクトルが検出されないとき、当該特徴情報を背景と判定する。
【発明の効果】
【0021】
本発明によれば、撮像データに関する特徴情報の動きベクトルを検出する第1の検出手段と俯瞰画像の動きベクトルを検出する第2の検出手段の検出結果を利用することで、特徴情報が、移動体、静止立体物または背景のいずれに属するのかを判別することできる。これにより、移動体または静止立体物に応じた警告を行うことができる。
【図面の簡単な説明】
【0022】
【図1】俯瞰画像の差分から物体を検出する方法を説明する図である。
【図2】オプティカルフローから物体を検出する方法を説明する図である。
【図3】移動体を強調して表示させたいシーン(駐車場)の説明図である。
【図4】移動体を強調して表示させたいシーン(走行中)の説明図である。
【図5】本発明の実施例に係る車両周辺監視装置の構成を示すブロック図である。
【図6】図5に示す物体検出部の機能ブロック図である。
【図7】本発明の実施例に係る車両周辺監視装置の動作を説明するフローチャートである。
【図8】俯瞰画像のオプティカルフローから物体を検出する方法を説明する図である。
【図9】特徴点が移動体か静止立体物かを判定する判定表である。
【図10】移動体および静止立体物に関する警告の表示例である。
【発明を実施するための形態】
【0023】
以下、本発明の実施の形態について図面を参照して詳細に説明する。
【実施例】
【0024】
図5は、本発明の実施例に係る車両周辺監視装置の構成を示すブロック図である。車両周辺監視装置100は、車両に搭載された撮像カメラ110と、撮像カメラで撮像された撮像データを画像処理し車両周辺の物体を検出する物体検出部120と、物体検出部120で検出された物体について音声や画像による警告を発する警告出力部130とを含んで構成される。
【0025】
撮像カメラ110の取付け数および取付け位置は、その目的等に応じて適宜選択される。例えば、車両の後方に1つの撮像カメラを取り付け、車両の後方を監視してもよいし、車両の左右および後方にそれぞれ撮像カメラを取り付け、車両の左右からと中央からの後方を監視するものであってもよい。撮像カメラ110で撮像された撮像データは、物体検出部120へ供給される。
【0026】
図6は、物体検出部120の構成を示すブロック図である。物体検出部120は、撮像カメラ110からの撮像データを保持するフレームバッファ200と、フレームバッファ200から出力された撮像データを画像処理する画像処理部210と、画像処理部210の処理結果に基づき物体(特徴点)が移動体、立体静止物または背景のいずれに属するかを判定する物体判定部220とを有する。画像処理部210は、撮像データの歪曲収差と補正した画像を生成する歪曲収差補正部230、補正された画像のエッジを検出するエッジ検出部240、検出されたエッジから特徴点を抽出する特徴点抽出部250、特徴点のオプティカルフロー(動きベクトル)を検出するオプティカルフロー処理部260、歪み補正された画像を俯瞰画像に変換する俯瞰画像変換部270を備えている。画像処理部210は、例えば画像処理回路または画像処理プロセッサを用いて構成される。物体判定部220は、例えば物体判定を行うためのプログラムまたはソフトウエアを記憶するメモリと当該プログラムを実行する処理装置を含むことができる。
【0027】
警告出力部130は、画像を表示するためのディスプレイや音声を出力するためのスピーカを含み、物体検出部120の検出結果に応じて物体に関する警告を画像または音声により提示する。例えば、ディスプレイに表示された移動体や静止立体物を識別させるような画像を合成して表示させたり、移動体を立体静止物よりも強調して表示させる。
【0028】
次に、本発明の実施例に係る車両周辺監視装置の動作について図7のフローチャートを参照して説明する。先ず、撮像カメラ110によって車両周辺が撮像され、フレームNとそれから一定時間後のフレームN+1の画像がフレームバッファ200内に取得される(ステップS101)。次に、歪曲収差補正部230は、フレームバッファ200からフレームNとフレームN+1の画像を読出し、フレームN、フレームN+1の画像の歪曲収差を補正した歪み補正画像を作成する(ステップS102)。これにより、例えば、図1のステップS10、S11に示すような画像が得られる。
【0029】
次に、エッジ検出部240は、フレームNとフレームN+1の歪み補正画像を用いて、フレームNとフレームN+1のエッジ(輪郭)を検出する(ステップS103)。エッジ検出は、公知の手段を用いて行われ、例えば画像のコントラストや明度などの差から輪郭を検出する。
【0030】
次に、特徴点抽出部250は、検出されたエッジからフレームNとフレームN+1の特徴点を抽出する(ステップS104)。特徴点の抽出は、例えば、公知のハフ変換を用いて行うことができる。特徴点は、好ましくはエッジ(輪郭)のコーナなどである。
【0031】
次に、オプティカルフロー処理部260は、フレームNとフレームN+1の歪み補正画像から特徴点のオプティカルフロー(動きベクトル)を算出する(ステップS105)。この処理は、図2に示したステップS40、S41、S50に対応する。
【0032】
次に、俯瞰画像変換部270は、公知のアフィン変換を用いてフレームNとフレームN+1の歪み補正画像の特徴点の座標を俯瞰画像の座標に変換する(ステップS106)。次に、オプティカルフロー処理部260は、俯瞰画像上の特徴点のオプティカルフロー(動きベクトル)を算出する(ステップS107)。図8は、俯瞰画像のオプティカルフローの算出例を示している。同図のステップS60には、フレームNとフレームN+1の俯瞰画像の歩行者P、静止立体物S、背景Bの代表的な特徴点の動きベクトルV1、V2、V3が示されている。ステップS61には、自車の速度と舵角に基づき算出された理論上の歩行者P、静止立体物S、背景Bの動きベクトルVa、Vb、Vcが示されている。ステップS70において、ステップS60とS61の動きベクトルの差分が算出され、歩行者Pと静止立体物Sの動きベクトルV1、V2が算出される。静止立体物Sは、移動していないが、フレームNとフレームN+1の俯瞰画像において仮想視点からの静止立体物Sの見え方が異なるため、静止立体物Sの特徴点に動きベクトルが生じることになる。
【0033】
次に、物体判定部220は、歪み補正画像と俯瞰画像の特徴点の動きベクトルの状態から、特徴点が、移動体、静止立体物、あるいは背景のいずれに分類されるかを判定する(ステップS108)。図9は、物体判定部220の判定基準を示している。歪み補正画像のオプティカルフローにおいて、車両進行方向と逆向き且つ速さの大きさは同じであり、俯瞰画像のオプティカルフローにおいて、車両進行方向と逆向き且つ速さの大きさは同じとき、特徴点は、背景に含まれると判定する。つまり、歪み補正画像および俯瞰画像のオプティカルフローにおいて、移動体および静止立体物が検出されない状況である。
【0034】
歪み補正画像のオプティカルフローにおいて、車両進行方向と逆向き且つ速さの大きさは同じであり、俯瞰画像のオプティカルフローにおいて、車両進行方向の逆向きでない、もしくは速度の大きさが異なるとき、特徴点は、静止立体物とに含まれると判定する。つまり、歪み補正画像のオプティカルフローでは、移動外が検出されておらず、俯瞰画像のオプティカルフローにおいて立体物が検出された状況である。
【0035】
歪み補正画像のオプティカルフローにおいて、車両進行方向と逆向きでない、もしくは速さの大きさが異なり、俯瞰画像のオプティカルフローにおいて、車両進行方向の逆向きでない、もしくは速度の大きさが異なるとき、特徴点は、移動体に含まれると判定する。つまり、歪み補正画像と俯瞰画像のオプティカルフローの双方において立体物が検出されている状況である。
【0036】
このように、歪み補正画像と俯瞰画像のオプティカルフローによる検出を組み合わせることで、特徴点が、移動体、静止立体物、背景のいずれに属するのかをより正確に判定することができる。これにより、撮像データに映し出された物体が、移動体であるのか、静止立体物であるのかの区別を容易に行うことができる。さらに本実施例の車両周辺監視装置は、車両周辺の障害物を検出するためにミリ波レーダー、赤外線などのセンサを用いる必要がなく、車両周辺を撮像する撮像カメラのみを用いて移動体や静止立体物等の障害物を検出することができるため、車両周辺監視装置を低コストにて実現することができる。
【0037】
次に、警告出力部130の好ましい例を説明する。検出された物体(特徴点)が移動体か静止立体物かを区別することで、移動体または静止立体物に応じた警告を行うことができる。例えば、図3や図4において説明したように、静止立体物よりも移動体の危険度が大きい場合には、移動体の警告を静止立体物の警告よりも強調させることができる。図10は、図3に示すような駐車場に自車が進行するときの警告例である。自車の後方の撮像カメラによって映し出された車両M1と歩行者Pがディスプレイ300に表示される。歩行者P(または歩行者Pの特徴点)は、移動体と認識され、例えば、歩行者Pを取り囲むような円形のハイライト310がディスプレイ上に合成して表示され、他方、車両M1(または車両M1の特徴点)は、静止立体物と認識され、車両M1を取り囲む矩形のハイライト320がディスプレイ上に合成して表示される。移動体と静止立体物の危険度の優劣を示すために、ハイライト310をハイライト320よりも目立つように表示し、例えば、ハイライト310をハイライト320よりも大きく表示したり、太く表示したり、あるいは、ハイライト310を赤色で表示し、ハイライト320を黄色で表示したり、明度に差をつけて表示することができる。あるいは、移動体のハイライト310のみを表示するようにしてもよい。さらに、ハイライトの表示に加えて、自車後方に移動体や静止立体物が存在することが音声にて警告することも可能である。
【0038】
以上、本発明の好ましい実施の形態について詳述したが、本発明は、特定の実施形態に限定されるものではなく、特許請求の範囲に記載された本発明の要旨の範囲内において、種々の変形・変更が可能である。
【符号の説明】
【0039】
B:背景
C:自転車(移動体)
P:歩行者(移動体)
Q:移動体の移動方向
R:自車の移動方向
M:自車
M1、M2:車両
S:静止立体物
V1、V2、V3:移動ベクトル
W1、W2、W3:監視エリア
300:ディスプレイ
310:移動体のハイライト
320:静止立体物のハイライト

【特許請求の範囲】
【請求項1】
車両周辺を監視する車両周辺監視装置であって、
車両に取り付けられた撮像手段と、
前記撮像手段によって撮像された撮像データを画像処理し特徴情報を抽出する画像処理手段と、
前記画像処理手段により抽出された特徴情報に基づき物体の判定を行う判定手段とを有し、
前記画像処理手段は、前記撮像データの特徴情報の動きベクトルを検出する第1の検出手段と、俯瞰画像に変換された特徴情報の動きベクトルを検出する第2の検出手段とを含み、
前記判定手段は、前記第1の検出手段および前記第2の検出手段によって特徴情報の動きベクトルがそれぞれ検出されたとき、当該特徴情報を移動体と判定し、前記第1の検出手段によって特徴情報の動きベクトルが検出されずかつ前記第2の検出手段によって特徴情報の動きベクトルが検出されたとき、当該特徴情報を静止立体物と判定し、前記第1の検出手段および前記第2の検出手段によって特徴情報の動きベクトルが検出されないとき、当該特徴情報を背景と判定する、
車両周辺監視装置。
【請求項2】
前記画像処理手段は、撮像データの収差を補正する補正手段と、補正された撮像データのエッジを検出するエッジ検出手段と、検出されたエッジから特徴情報を抽出する抽出手段とを含む、請求項1に記載の車両周辺監視装置。
【請求項3】
前記画像処理手段は、前記撮像データを前記俯瞰画像に変換する手段を含む、請求項1に記載の車両周辺監視装置。
【請求項4】
車両周辺監視装置はさらに、前記判定手段によって判定された移動体および/または静止立体物に応じた警告を行う警告手段を含む、請求項1または2に記載の車両周辺監視装置。
【請求項5】
前記警告手段は、移動体を静止立体物よりも強調して警告する、請求項4に記載の車両周辺監視装置。
【請求項6】
前記第1および第2の検出手段は、オプティカルフローによる特徴情報の動きベクトルの検出である、請求項1に記載の車両周辺監視装置。
【請求項7】
車両周辺を監視する車両周辺監視方法であって、
車両に取り付けられた撮像カメラにより車両周辺を撮像するステップと、
撮像カメラからによって撮像された撮像データから特徴情報を抽出するステップと、
前記撮像データの特徴情報の動きベクトルを検出するための第1の検出処理を実行し、かつ俯瞰画像に変換された特徴情報の動きベクトルを検出するための第2の検出処理を実行するステップと、
前記第1の検出処理および前記第2の検出処理によって特徴情報の動きベクトルが検出されたとき、当該特徴情報を移動体と判定し、前記第1の検出処理により特徴情報の動きベクトルが検出されずかつ前記第2の検出処理によって特徴情報の動きベクトルが検出されたとき、当該特徴情報を静止立体物と判定し、前記第1の検出処理および前記第2の検出処理によって特徴情報の動きベクトルが検出されないとき、当該特徴情報を背景と判定する、
車両周辺監視方法。
【請求項8】
車両周辺物体監視方法はさらに、前記判定するステップによって判定された移動体および/または静止立体物に応じて警告を行うステップを含む、請求項7に記載の車両周辺監視方法。
【請求項9】
前記警告するステップは、移動体を静止立体物よりも強調して警告する、請求項8に記載の車両周辺監視方法。

【図1】
image rotate

【図2】
image rotate

【図3】
image rotate

【図4】
image rotate

【図5】
image rotate

【図6】
image rotate

【図7】
image rotate

【図8】
image rotate

【図9】
image rotate

【図10】
image rotate


【公開番号】特開2011−48520(P2011−48520A)
【公開日】平成23年3月10日(2011.3.10)
【国際特許分類】
【出願番号】特願2009−194975(P2009−194975)
【出願日】平成21年8月26日(2009.8.26)
【出願人】(000101732)アルパイン株式会社 (2,424)
【Fターム(参考)】