車両用画像処理装置および画像処理方法
【課題】車両周辺画像の画像処理装置において、画像変換を行なった場合でも画像歪の影響を受けずに立体物を精度よく判別する。
【解決手段】時間をずらせて撮像した画像から画像変換したトップビュー画像においてエッジを抽出し、各エッジ要素の直線パラメータ（傾きθ，切片ｂ）を投票空間であるθ−ｂ平面に投票して、投票頻度値の高い注目領域の動きを時系列で観察する。時系列で移動する注目領域Ｇｒ１やＧｒ２はエッジが立体物に帰属し、移動しない注目領域Ｇｈ１やＧｈ２は路面など平面に帰属するものと判定する。
【解決手段】時間をずらせて撮像した画像から画像変換したトップビュー画像においてエッジを抽出し、各エッジ要素の直線パラメータ（傾きθ，切片ｂ）を投票空間であるθ−ｂ平面に投票して、投票頻度値の高い注目領域の動きを時系列で観察する。時系列で移動する注目領域Ｇｒ１やＧｒ２はエッジが立体物に帰属し、移動しない注目領域Ｇｈ１やＧｈ２は路面など平面に帰属するものと判定する。
【発明の詳細な説明】
【技術分野】
【０００１】
本発明は、車両周囲の画像から立体物を路面と識別して検出する車両用画像処理装置および画像処理方法に関する。
【背景技術】
【０００２】
従来、車載のカメラで撮像した車両周囲の画像から他車両や道路施設などの立体物を検出し、ディスプレイ等に表示して運転を支援する車両運転支援装置が例えば特開２００７−１７２５０１号公報に開示されている。
この車両運転支援装置においては、路面を含む水平方向のサイドビューを異なる位置で撮像した複数の画像をそれぞれ視点位置を車両上空に設定したトップビュー画像に変換し、重複領域において同一特徴を有する物体の２つの異なる特徴点の対応関係から、立体物を検出する画像処理を行なっている。
【特許文献１】特開２００７−１７２５０１号公報
【発明の開示】
【発明が解決しようとする課題】
【０００３】
しかしながら、上記の従来装置における画像処理では、トップビュー画像上での異なる２つの特徴点の対応関係から立体物を検出するようにしているので、カメラによるサイドビューの撮像画像からトップビュー画像へ変換することによる画像歪の影響で、２つの特徴点の対応関係をとることができず、そのため立体物の検出に失敗するおそれがある。
【０００４】
そこで本発明は、上記の問題点に鑑み、画像変換を行なった場合でも画像歪の影響を受けることなく、立体物を精度よく検出することができる車両用画像処理装置および画像処理方法を提供することを目的とする。
【課題を解決するための手段】
【０００５】
本発明は、車両周辺の画像を時系列で取得し、その画像をから自車両上方の視点位置から見下ろした俯瞰画像に生成した上で特徴点を抽出してそのパラメータを投票空間に投票し、投票結果である点群の時系列の状態に基づいて、上記の特徴点が立体物に帰属するかどうかを判別するものとした。
【発明の効果】
【０００６】
本発明によれば、投票空間における点群の例えば動きから立体物を判別できるため、たとえサイドビュー撮像画像からトップビューなどへの画像変換によって画像歪が発生したとしても、その影響を受けることなく立体物を精度良く検出することができる。
【発明を実施するための最良の形態】
【０００７】
つぎに本発明の実施の形態を、実施例により説明する。
図１は、第１の実施例の構成を示すブロック図である。
画像処理装置１は、カメラ２に接続された画像メモリ３と、画像メモリ３に順次接続された変換画像作成部４、エッジ抽出部５、エッジパラメータ算出部６、パラメータ投票部７、注目領域抽出部８、および平面・立体判別部９を有している。変換画像作成部４、エッジ抽出部５、エッジパラメータ算出部６、パラメータ投票部７、注目領域抽出部８、および平面・立体判別部９はそれぞれ作業メモリ部１０とも接続している。
【０００８】
カメラ２は例えばＣＣＤ撮像素子を備えて路面を含む車両周辺を撮像可能に車両Ｖに設置され、撮像した画像データを画像処理装置１の画像メモリ３へ出力する。カメラ２の設置位置は周囲環境を把握したい周辺領域に応じて、例えば駐車場における駐車枠周りが対象であるときは図２に示すように、運転席と反対側のドアミラーＭの下部に前側方を撮像範囲Ｓとして１台設定されるが、そのほか把握対象に応じて車両前部、車両後部、あるいは各角部など、適宜部位に必要に応じて複数台設けることもできる。なお、図２の（ａ）は車両の側面図、（ｂ）は上面図である。
【０００９】
画像メモリ３はＲＡＭ（Random Access Memory）で構成され、カメラ２からの画像データを所定時間間隔で取り込み、記憶する。
変換画像作成部４は、画像メモリ３に記憶された画像データに基づくサイドビュー画像を、視点位置を車両上空に設定して当該視点から車両周囲を見下ろしたトップビュー画像に変換する。
なお、複数台のカメラで車両周辺の各方向を撮像した場合には、１つの画像への合成も変換画像作成部４において行なう。
【００１０】
エッジ抽出部５は、一般的なＳｏｂｅｌフィルタを用いて、トップビュー画像の特徴点として縦方向および横方向のエッジを抽出する。ここで、エッジの縦方向の微分値（ｄｘ）と横方向の微分値（ｄｙ）が得られる。
エッジパラメータ算出部６は、エッジとして抽出された部位の画素（以下、エッジ要素と呼ぶ）ごとに直線方程式を求め、その傾きと切片をエッジ要素パラメータとして算出する。
【００１１】
ここで、エッジパラメータ算出部６ではパラメータ算出に際して、上記所定時間間隔でカメラ２からの画像データが取り込まれる間の車両の移動による画像座標の変化を補正する。すなわち、１つの画像における車両の位置、姿勢を絶対座標として定義して、車両が移動した場合にはその移動、姿勢変化分を加味して、次の画像におけるエッジ要素の傾きと切片を上記絶対座標上に算出する。
【００１２】
パラメータ投票部７は、投票空間に各エッジ要素のエッジ要素パラメータを投票する。ここでの投票空間は、直線の傾きと切片を横軸、縦軸とする平面からなる。
注目領域抽出部８は、１フレームの画像に対するエッジ要素パラメータの投票結果から、投票頻度値の高い注目領域を抽出する。
平面・立体判別部９は、注目領域を時系列で比較し、エッジ抽出部５で抽出されたエッジが路面など平面に描かれた模様に帰属するものか、それとも立体物に帰属するものかを判断する。
【００１３】
作業メモリ部１０は、画像メモリ３と同様にＲＡＭから構成され、変換画像作成部４で変換されたトップビュー画像を記憶するとともに、エッジ抽出部５で抽出したエッジ、エッジパラメータ算出部６で算出されたエッジ要素パラメータ、パラメータ投票部７が使用する投票空間やその投票結果、注目領域抽出部８の抽出結果、平面・立体判別部９の判別結果等を各部の作業用に一時格納する。なお、後述のフローチャートにおいては各部による作業メモリ部１０への格納処理についてとくに触れない。
変換画像作成部４、エッジ抽出部５、エッジパラメータ算出部６、パラメータ投票部７、注目領域抽出部８、および平面・立体判別部９はそれぞれの機能を統合したＣＰＵとして構成することができる。
【００１４】
つぎに、画像処理装置１における立体物かどうかの判別処理の流れを図３のフローチャートにより説明する。
まず、ステップ１００において、画像メモリ３にカメラ２からの画像データを１フレーム分ずつ所定時間間隔で取り込み、記憶する。
ステップ１０１では、変換画像作成部４が画像メモリ３から画像データを読み出し、トップビュー画像に変換する。
続いてステップ１０２において、エッジ抽出部５がトップビュー画像内のエッジを抽出する。ここでは、Ｓｏｂｅｌフィルタを用いることにより、エッジの縦方向の微分値（ｄｘ）と横方向の微分値（ｄｙ）が得られる。
【００１５】
ステップ１０３において、エッジパラメータ算出部６が、抽出されたエッジ要素ごとのエッジ要素パラメータを算出する。
すなわち、エッジ要素のもつ角度（傾き）はエッジの各方向の微分値を用いて、
θ＝ｔａｎ−１（ｄｙ／ｄｘ）
で求められる。したがって、エッジ要素（画素）の直線方程式ｙ＝ａｘ＋ｂについて、エッジ要素の位置（ｘ，ｙ）は既知であり、係数ａもθから算出できるから切片ｂも算出できる。1つのエッジ要素について1組の傾きθと切片ｂからなるエッジ要素パラメータが求められる。
【００１６】
ステップ１０４において、パラメータ投票部７が、投票空間に各エッジ要素のエッジ要素パラメータを投票する。
ここでは１つのエッジ要素のエッジ要素パラメータ（θ，ｂ）が、投票空間Ｔとしてθ−ｂ平面に１点としてプロットされることになる。
例えば図４の（ａ）に示すような駐車枠Ｗがトップビュー画像として得られている場合、（ｂ）のようなエッジ画像が得られる。そしてエッジ画像におけるＥ１部分のエッジ要素のエッジ要素パラメータは（ｃ）の投票空間ＴにおいてＦ１の投票点群となり、同様に（ｂ）のエッジ画像におけるＥ２、Ｅ３部分は（ｃ）の投票空間ＴにおいてそれぞれＦ２、Ｆ３の投票点群としてプロットされることになる。
なお、投票空間Ｔのθ−ｂ平面は、とくに図示はしないが、例えば横軸θを０°から３６０°まで１°刻みとし、縦軸ｂを３ピクセル刻みのメッシュに区切ってある。
【００１７】
ステップ１０５において、注目領域抽出部８が、投票空間Ｔにおけるエッジ要素パラメータ投票点群の密度が高い高頻度値領域を注目領域として抽出する。すなわちプロット数が所定の閾値（例えば１００点）より高いメッシュ領域を注目領域として抽出する。
ステップ１０６では、平面・立体判別部９は、前回のトップビュー画像についての注目領域の抽出結果が作業メモリ部１０に格納されているかどうかをチェックする。
前回の注目領域の抽出結果が作業メモリ部１０に格納されていないときは、ステップ１００へ戻り、カメラ２から新たな画像データを取り込んで、上述の処理を繰り返す。
【００１８】
前回の注目領域の抽出結果がある場合には、ステップ１０７において、平面・立体判別部９が、注目領域に対応するエッジが立体物に帰属するものか路面など平面に帰属するものか判断する。
具体的には、投票空間Ｔにおける前回の注目領域と今回の注目領域を比較して相対的な位置関係をチェックする。
例えば路面など平面に描かれている駐車枠のペイントであれば、時間経過に伴って車両が移動しても、図５の（ａ）に示すように、車両の移動や回転分を考慮すれば注目領域Ｇｈ１、Ｇｈ２等は投票空間Ｔにおいてほとんど移動しない。図において、白丸の点群は前回の注目領域の点群、黒丸の点群は今回の注目領域の点群を示す。
【００１９】
一方、立体物の場合には、当該立体物が移動したり、車両が移動して、相対関係が変化するとエッジの出現方向や位置が変化するため、図５の（ｂ）に矢印で示すように、注目領域Ｇｒ１、Ｇｒ２等の投票空間における位置が移動する。
したがって、１台のカメラ２で撮像した画像に基づく場合でも、時系列における（すなわち前回と今回の）投票空間Ｔ上の注目領域の位置変化の状態により、エッジが立体物と平面のいずれに属するかが判断できる。
【００２０】
この後、ステップ１０８において、作業メモリ部１０に格納したトップビュー画像等とともに、エッジにかかる対象が立体物か否かの判別結果を運転支援装置など後段装置へ出力して１回の判断処理を終わる。なお、この際出力するトップビュー画像は後段装置の目的に応じて前回の画像または今回の画像が適宜に選択される。
【００２１】
本実施例においては、図３のフローチャートにおけるステップ１００と１０１とで発明における画像取得手段を構成し、ステップ１０２が特徴点抽出手段に該当する。
また、ステップ１０３と１０４とで投票手段を構成し、とくにステップ１０３がエッジ要素パラメータ算出手段に該当している。そして、ステップ１０５〜１０７が判別手段を構成している。
【００２２】
本実施例は以上のように構成され、カメラ２で時間をずらせて撮像したサイドビュー画像に基づいてそれぞれトップビュー画像を作成し、トップビュー画像からエッジを抽出し、各エッジ要素のパラメータを投票空間Ｔに投票して、投票空間における投票点群の時系列の状態に基づいて、エッジが立体物に帰属するかどうかを判断するものとしたので、トップビュー画像がサイドビュー画像から画像変換されたものであっても、画像変換に伴う歪の影響を受けることなく立体物を精度良く抽出することができる。
【００２３】
とくに、エッジ要素のパラメータを直線の傾きθと切片ｂとすることにより、１つのエッジ要素からは１つの投票点が生じるので、ハフ変換などと比較して投票量を大幅に低減することができ、処理の高速化が図れる。
さらに、立体物かどうかの判断は投票空間Ｔにおけるとくに投票頻度値の高い注目領域の状態に基づいて行うので、この点でも処理が迅速となる。
また、２つの画像におけるエッジ要素パラメータの傾きθと切片ｂは、車両の移動による画像座標の変化を補正した絶対座標上で算出することにより、注目領域が時系列で移動しているときは当該領域に対応するエッジが立体物に属し、注目領域が移動していないときは当該領域に対応するエッジが路面など平面の模様に帰属する旨、容易に判別することができる。
【００２４】
つぎに、第２の実施例について説明する。
図６は第２の実施例の構成を示すブロック図である。
本実施例の画像処理装置１Ａは、第１の実施例に対して、エッジパラメータ算出部６Ａ、パラメータ投票部７Ａ、平面・立体判別部９Ａが異なり、注目領域抽出部の代わりにグループ化演算部１１を備える点が相違する。
エッジパラメータ算出部６Ａは、エッジ要素の傾きθによって直線の切片をｘ軸ととるか、ｙ軸ととるかを切り換える。
【００２５】
ここでは基本概念として、図７に示すように、画面中心Ｑからの向きによって水平方向＋−４５°の範囲αに属するエッジの傾きと、垂直方向＋−４５°の範囲βに属するエッジの傾きとに分類する。そして、傾きがθ１のように範囲αの場合はｙ軸を切片として直線式ｙ＝ａｘｘ−ｂｘからエッジ要素パラメータ（θ，ｂｘ）を算出し、傾きがθ２のように範囲βの場合はｘ軸を切片として直線式ｘ＝ａｙｙ−ｂｙからエッジ要素パラメータ（θ，ｂｙ）を算出する。
これによれば、図８に示すように、画面Ｋの角（隅）部を通る＋−４５°の直線で囲まれる領域内が投票空間Ｔの切片範囲となり、切片ｂｘ、ｂｙは当該領域内に限定されることになる。
なお、エッジ要素パラメータは、第１の実施例のエッジパラメータ算出部におけると同様に、車両の移動による画像座標の変化を補正した絶対座標上に算出する。
【００２６】
パラメータ投票部７Ａは、エッジの傾きを２つの範囲に分類したことに対応して、２つの投票空間Ｔ１、Ｔ２を設定し、各エッジ要素のエッジ要素パラメータを対応する投票空間に投票する。
なお、投票空間を２つに分ける傾きθが＋−４５°付近の領域については、投票値が２つの投票空間Ｔ１、Ｔ２に分散する可能性があるので、本実施例では図７に示すように、上述の基本概念における２つの範囲を分ける角度線（＋−４５°）を挟んで＋−５°の重複領域δを作る。すなわち、範囲αは拡大して具体的には水平方向＋−５０°のＡ、範囲βも垂直方向＋−５０°のＢに設定して、エッジの傾きθが重複領域δに現れた場合には双方の投票空間Ｔ１、Ｔ２にエッジ要素パラメータが投票されるようにする。この場合、切片ｂｘ、ｂｙの範囲は図８に示した領域よりわずかに外方へ拡大することになる。
【００２７】
グループ化演算部１１は、それぞれの投票空間Ｔ１、Ｔ２において、エッジ要素パラメータの投票頻度が所定の閾値より高い高頻度領域を抽出し、その周囲に隣接する高頻度値領域は同一領域としてグルーピングする。
【００２８】
平面・立体判別部９Ａは、それぞれの投票空間において、第１の実施例の平面・立体判別部におけると同様に、各グループを時系列で比較し、グループに属するエッジが路面に描かれた模様に帰属するものか、それとも立体物に帰属するものかを判断する。
平面・立体判別部９Ａはさらに、立体物に帰属すると判断したグループを代表する代表値を用いて、当該立体物が移動しているか、静止しているかも判断する。
【００２９】
作業メモリ部１０は、変換画像作成部４で変換されたトップビュー画像を記憶するとともに、エッジ抽出部５で抽出したエッジ、エッジパラメータ算出部６Ａで算出されたエッジ要素パラメータ、パラメータ投票部７Ａが使用する投票空間やその投票結果、グループ化演算部１１によるグルーピングの結果、平面・立体判別部で算出するグループの代表値や判別結果等を各部の作業用に一時格納する。
変換画像作成部４、エッジ抽出部５、エッジパラメータ算出部６Ａ、パラメータ投票部７Ａ、グループ化演算部１１、および平面・立体判別部９Ａはそれぞれの機能を統合したＣＰＵとして構成することができる。
その他の構成は、第１の実施例の構成と同じである。
【００３０】
以下に、第２の実施例の画像処理装置１Ａにおける判別処理の流れを図９のフローチャートにより説明する。
ステップ２００〜２０２は第１の実施例における図３のステップ１００〜１０２と同じである。
ステップ２０３において、エッジパラメータ算出部６Ａは、抽出されたエッジ要素ごとの傾きθを算出し、傾きθが図７に示した範囲Ａ、Ｂのいずれに属するかに応じて、直線式ｙ＝ａｘｘ−ｂｘまたはｘ＝ａｙｙ−ｂｙからエッジ要素パラメータ（θ，ｂｘ）または（θ，ｂｙ）を算出する。
【００３１】
ステップ２０４において、パラメータ投票部７Ａが、傾きθの範囲ＡおよびＢに対応する２つの投票空間Ｔ１、Ｔ２のいずれかあるいは双方にエッジパラメータ算出部６Ａで算出された各エッジ要素パラメータを投票する。
つぎにグループ化演算部１１が、ステップ２０５において、それぞれの投票空間において、エッジ要素パラメータの高頻度領域を抽出するとともに、ステップ２０６で隣接する高頻度値領域をグルーピングする。
【００３２】
具体的には、投票空間Ｔ１、Ｔ２各々における全体の中でエッジ要素パラメータの投票頻度が周囲の領域と比較してとくに高い極大領域を抽出し、その周囲所定距離内において極大領域の投票頻度の５０％以上の投票頻度をもつ領域を統合して１つのグループとする。これにより、極大領域を核とするグループが形成される。
各グループはそれぞれ例えばその重心など１つの代表パラメータで当該グループを代表させる。
【００３３】
ステップ２０７では、平面・立体判別部９Ａが、前回のトップビュー画像についての各投票空間におけるグルーピングの結果、すなわちグループが作業メモリ部１０に格納されているかどうかをチェックする。
前回のグループが格納されていないときは、ステップ２００へ戻り、カメラ２から新たな画像データを取り込んで、上述の処理を繰り返す。
【００３４】
前回のグループがある場合には、ステップ２０８に進み、第１の実施例における注目領域の比較と同様に、平面・立体判別部９Ａが各投票空間Ｔ１、Ｔ２における前回のグループと今回のグループを比較して、代表パラメータ（重心）が移動していれば当該グループに対応するエッジが立体物に帰属し、代表パラメータの位置が変化しなければ当該グループに対応するエッジが平面に帰属するものと判別する。
【００３５】
次のステップ２０９において、平面・立体判別部９Ａは、立体物に帰属すると判断したエッジのグループについて、そのグループの代表値としての直線（傾きと切片）を算出する。グループの代表値は、例えば当該グループ全体のエッジ要素の位置（ｘ，ｙ）を用いた最小２乗法で直線当て嵌めにより求める。
そしてステップ２１０において、平面・立体判別部９Ａは、作業メモリ部１０に過去２回分のトップビュー画像についてグループの代表値が格納されているかどうかをチェックする。
過去２回分の代表値が作業メモリ部１０に格納されていないときは、ステップ２００へ戻り、カメラ２から新たな画像データを取り込んで、上述の処理を繰り返す。
【００３６】
過去２回分の代表値がある場合には、ステップ２１１において、平面・立体判別部９Ａが今回算出した分を含めた３つの直線（代表値）の絶対座標上での移動状態に基づいて、立体物が移動しているか、静止しているかを判断する。
静止している物体から得られる代表値である３本の直線は、例えば図１０のように示され、移動する物体から得られる３本の直線は図１１のように示される。これらはそれぞれ画像撮像の時系列における変化を示しており、図１０においては時間の経過で直線がＬ１、Ｌ２、Ｌ３の順で移動し、図１１では直線がＬ４、Ｌ５、Ｌ６の順で移動している。
ここで各直線の交点に着目すると、図１０の静止物体にかかる各直線はほぼ同じ位置Ｐ０で交差している一方、図１１の移動物体にかかる各直線はその交点がＰ１からＰ２へ変化している。したがって、直線の交点の変化の有無により、立体物が移動しているか静止しているかが判別できる。
【００３７】
最後にステップ２１２において、平面・立体判別部９Ａが、作業メモリ部１０に格納した例えば最新（今回）のトップビュー画像等とともに、エッジにかかる対象が立体物か否か、および立体物は移動しているか静止しているかの判断結果を後段装置へ出力して１回の判断処理を終わる。
【００３８】
本実施例においては、図９のフローチャートにおけるステップ２００と２０１とで発明における画像取得手段を構成し、ステップ２０２が特徴点抽出手段に該当する。
また、ステップ２０３と２０４とで投票手段を構成し、とくにステップ２０３がエッジ要素パラメータ算出手段に該当している。
そして、ステップ２０５〜２１１が判別手段を構成し、とくにステップ２０５と２０６とがグループ化手段に該当し、ステップ２０９が代表値算出手段に該当している。
【００３９】
本実施例は以上のように構成され、カメラ２を用いた時系列の撮像に基づく複数のトップビュー画像からエッジを抽出し、各エッジ要素のパラメータを投票空間Ｔ１、Ｔ２に投票して、投票空間における時系列の投票結果の状態に基づいて、エッジが立体物に帰属するかどうかを判断するものとしたので、トップビュー画像がカメラ２で撮像したサイドビュー画像から画像変換されたものであっても、画像変換に伴う歪の影響を受けることなく立体物を精度良く抽出することができる。
【００４０】
とくに、エッジ要素のパラメータを直線の傾きθと切片ｂとすることにより、１つのエッジ要素からは１つの投票点が生じるので、ハフ変換などと比較して投票量を大幅に低減することができ、処理の高速化が図れる。
さらに、立体物かどうかの判断は投票空間Ｔ１、Ｔ２におけるとくに高頻度値領域の状態に基づいて行うので、この点でも処理が迅速となる。
また、時系列の２つの画像におけるエッジ要素パラメータの傾きθと切片ｂは、車両の移動による画像座標の変化を補正した絶対座標上で算出することにより、注目領域の位置が変化するか否かに基づいて、対応するエッジが立体物に帰属するのか路面の模様に帰属するのかを容易に判断することができる。
【００４１】
そして、投票に際しては、エッジの要素の傾きに応じて切片をとる軸を切り換えるとともに、投票空間も切り換えるものとしたので、投票空間Ｔ１、Ｔ２を有限な領域に限定することができ、演算に必要な作業メモリ部１０の容量も低減することが可能となる。
【００４２】
またグループ化演算部１１によって、投票空間において隣接する投票頻度値の高い領域をグルーピングし、グループの状態に基づいて、すなわち、時系列でグループが移動しているときは当該グループに対応するエッジが立体物に属し、グループが移動していないときは当該グループに対応するエッジが平面に属するものと判別するようにしたので、画像の揺らぎや、画像変換に伴うノイズに対して強く、安定した立体物判別ができる。
【００４３】
グルーピングは、とくに投票頻度値の極大領域を抽出し、その極大領域を核として周辺の高頻度値領域をまとめるので、画像中では小さい物体として映っているようなものでも投票空間においてノイズとして排除されないようにすることができ、立体物の判別精度が向上する。
そして立体物判別に際して、各グループはそれぞれ１つのパラメータで代表するので、類似の複数の高頻度値領域が抽出されて演算が煩雑となるのが防止される。
【００４４】
さらに、本実施例では、立体物にかかるグループの代表値を直線として算出し、時系列での当該直線の交点が変化するとき、当該グループにかかる立体物が移動体であると判別するので、対象物体が立体物であるかどうかに加えて、それが移動しているか静止しているかまで、詳細な情報を得ることができる。
【００４５】
なお、第２の実施例のグループ化演算部１１では、投票頻度値が所定の閾値より高い高頻度領域を抽出して、所定距離範囲内に隣接する高頻度値領域を同一領域としてグルーピングするものとしたが、グルーピングとしてはこのほか、データの分類を階層的に行なう階層型手法や分割最適化手法などを含むクラスタリングを利用することもでき、この場合には、投票空間をあらかじめメッシュに区分せずに、傾きθと切片ｂの値をそのまま投票してグルーピングできる。
【００４６】
また、平面・立体判別部９Ａにおけるグループの代表値の算出は、最小２乗法による直線当て嵌めで行なうものとしたが、これに限定されず、グループの母数が少ない場合は単純な平均や、Ｍｅｄｉａｎなどの統計値を使用してもよく、あるいはまた、ノイズ成分が多く含まれるようなデータである場合は、ＲＡＮＳＡＣ（RANdom SAmple Consensus）やＬＭｅｄＳ（Least Median of Squares）などのロバスト推定によって求めてもよい。
さらに、代表値の算出は立体物にかかるグループについて行なったが、平面にかかるグループについて算出すれば、同様にそれが移動しているか静止しているかを区別できるため、路面に描かれた駐車枠などの検出精度が一層向上する。
【００４７】
上述の各実施例では、カメラ２からの画像データを所定時間間隔で画像メモリ３に取り込み、その取り込まれた間隔で変換画像作成部４がトップビュー画像に変換するものとしたが、カメラ２からの画像データは逐次画像メモリ３に取り込み、変換画像作成部４が上記所定時間間隔で画像メモリ３から読み出してトップビュー画像に変換するようにしてもよい。
また、エッジ抽出のためにＳｏｂｅｌフィルタを用いて縦方向と横方向の成分（ｄｘ，ｄｙ）からエッジ要素の傾きθを求めるものとしたが、これに限定されず、例えば高次局所自己相関（ＨＬＡＣ）で利用される空間フィルタも様々な方向のエッジ抽出と同様作用を有するので、その組み合わせにより必要なエッジの傾きを算出することもできる。
【００４８】
なお、各実施例はサイドビュー画像からトップビュー画像へ画像変換した例について説明したが、カメラ２で撮像したままの例えばサイドビュー画像上で立体物と平面とを判別する場合にも本発明はそのまま適用できる。
あるいは逆に、画像変換機能をカメラに内蔵させて、変換済みの画像データを直接作業メモリ部１０へ送出するようにしてもよい。この場合には画像処理装置側では画像メモリ３と変換画像作成部４が不要となる。
【図面の簡単な説明】
【００４９】
【図１】第１の実施例の構成を示すブロック図である。
【図２】カメラの配置を示す説明図である。
【図３】立体物判別処理の流れを示すフローチャートである。
【図４】エッジ画像と投票空間へのパラメータ投票の関係を示す図である。
【図５】投票空間における注目領域の時系列の変化態様を示す図である。
【図６】第２の実施例の構成を示すブロック図である。
【図７】投票空間切換えのためのエッジ要素の傾きの分類要領を示す図である。
【図８】傾きで切り換えたときのパラメータ切片の範囲を示す概念図である。
【図９】立体物判別処理の流れを示すフローチャートである。
【図１０】静止物体にかかる投票点のグループを代表する直線の時系列変化を示す図である。
【図１１】移動物体にかかる投票点のグループを代表する直線の時系列変化を示す図である。
【符号の説明】
【００５０】
１、１Ａ 画像処理装置
２ カメラ
３ 画像メモリ
４ 変換画像作成部
５ エッジ抽出部
６、６Ａ エッジパラメータ算出部
７、７Ａ パラメータ投票部
８ 注目領域抽出部
９、９Ａ 平面・立体判別部
１０ 作業メモリ部
１１ グループ化演算部
θ エッジ要素の傾き
ｂ 切片
Ｇｈ１、Ｇｈ２、Ｇｒ１、Ｇｒ２ 注目領域
Ｌ１、Ｌ２、Ｌ３、Ｌ４、Ｌ５、Ｌ６ 直線（グループの代表値）
Ｔ 投票空間
Ｗ 駐車枠
【技術分野】
【０００１】
本発明は、車両周囲の画像から立体物を路面と識別して検出する車両用画像処理装置および画像処理方法に関する。
【背景技術】
【０００２】
従来、車載のカメラで撮像した車両周囲の画像から他車両や道路施設などの立体物を検出し、ディスプレイ等に表示して運転を支援する車両運転支援装置が例えば特開２００７−１７２５０１号公報に開示されている。
この車両運転支援装置においては、路面を含む水平方向のサイドビューを異なる位置で撮像した複数の画像をそれぞれ視点位置を車両上空に設定したトップビュー画像に変換し、重複領域において同一特徴を有する物体の２つの異なる特徴点の対応関係から、立体物を検出する画像処理を行なっている。
【特許文献１】特開２００７−１７２５０１号公報
【発明の開示】
【発明が解決しようとする課題】
【０００３】
しかしながら、上記の従来装置における画像処理では、トップビュー画像上での異なる２つの特徴点の対応関係から立体物を検出するようにしているので、カメラによるサイドビューの撮像画像からトップビュー画像へ変換することによる画像歪の影響で、２つの特徴点の対応関係をとることができず、そのため立体物の検出に失敗するおそれがある。
【０００４】
そこで本発明は、上記の問題点に鑑み、画像変換を行なった場合でも画像歪の影響を受けることなく、立体物を精度よく検出することができる車両用画像処理装置および画像処理方法を提供することを目的とする。
【課題を解決するための手段】
【０００５】
本発明は、車両周辺の画像を時系列で取得し、その画像をから自車両上方の視点位置から見下ろした俯瞰画像に生成した上で特徴点を抽出してそのパラメータを投票空間に投票し、投票結果である点群の時系列の状態に基づいて、上記の特徴点が立体物に帰属するかどうかを判別するものとした。
【発明の効果】
【０００６】
本発明によれば、投票空間における点群の例えば動きから立体物を判別できるため、たとえサイドビュー撮像画像からトップビューなどへの画像変換によって画像歪が発生したとしても、その影響を受けることなく立体物を精度良く検出することができる。
【発明を実施するための最良の形態】
【０００７】
つぎに本発明の実施の形態を、実施例により説明する。
図１は、第１の実施例の構成を示すブロック図である。
画像処理装置１は、カメラ２に接続された画像メモリ３と、画像メモリ３に順次接続された変換画像作成部４、エッジ抽出部５、エッジパラメータ算出部６、パラメータ投票部７、注目領域抽出部８、および平面・立体判別部９を有している。変換画像作成部４、エッジ抽出部５、エッジパラメータ算出部６、パラメータ投票部７、注目領域抽出部８、および平面・立体判別部９はそれぞれ作業メモリ部１０とも接続している。
【０００８】
カメラ２は例えばＣＣＤ撮像素子を備えて路面を含む車両周辺を撮像可能に車両Ｖに設置され、撮像した画像データを画像処理装置１の画像メモリ３へ出力する。カメラ２の設置位置は周囲環境を把握したい周辺領域に応じて、例えば駐車場における駐車枠周りが対象であるときは図２に示すように、運転席と反対側のドアミラーＭの下部に前側方を撮像範囲Ｓとして１台設定されるが、そのほか把握対象に応じて車両前部、車両後部、あるいは各角部など、適宜部位に必要に応じて複数台設けることもできる。なお、図２の（ａ）は車両の側面図、（ｂ）は上面図である。
【０００９】
画像メモリ３はＲＡＭ（Random Access Memory）で構成され、カメラ２からの画像データを所定時間間隔で取り込み、記憶する。
変換画像作成部４は、画像メモリ３に記憶された画像データに基づくサイドビュー画像を、視点位置を車両上空に設定して当該視点から車両周囲を見下ろしたトップビュー画像に変換する。
なお、複数台のカメラで車両周辺の各方向を撮像した場合には、１つの画像への合成も変換画像作成部４において行なう。
【００１０】
エッジ抽出部５は、一般的なＳｏｂｅｌフィルタを用いて、トップビュー画像の特徴点として縦方向および横方向のエッジを抽出する。ここで、エッジの縦方向の微分値（ｄｘ）と横方向の微分値（ｄｙ）が得られる。
エッジパラメータ算出部６は、エッジとして抽出された部位の画素（以下、エッジ要素と呼ぶ）ごとに直線方程式を求め、その傾きと切片をエッジ要素パラメータとして算出する。
【００１１】
ここで、エッジパラメータ算出部６ではパラメータ算出に際して、上記所定時間間隔でカメラ２からの画像データが取り込まれる間の車両の移動による画像座標の変化を補正する。すなわち、１つの画像における車両の位置、姿勢を絶対座標として定義して、車両が移動した場合にはその移動、姿勢変化分を加味して、次の画像におけるエッジ要素の傾きと切片を上記絶対座標上に算出する。
【００１２】
パラメータ投票部７は、投票空間に各エッジ要素のエッジ要素パラメータを投票する。ここでの投票空間は、直線の傾きと切片を横軸、縦軸とする平面からなる。
注目領域抽出部８は、１フレームの画像に対するエッジ要素パラメータの投票結果から、投票頻度値の高い注目領域を抽出する。
平面・立体判別部９は、注目領域を時系列で比較し、エッジ抽出部５で抽出されたエッジが路面など平面に描かれた模様に帰属するものか、それとも立体物に帰属するものかを判断する。
【００１３】
作業メモリ部１０は、画像メモリ３と同様にＲＡＭから構成され、変換画像作成部４で変換されたトップビュー画像を記憶するとともに、エッジ抽出部５で抽出したエッジ、エッジパラメータ算出部６で算出されたエッジ要素パラメータ、パラメータ投票部７が使用する投票空間やその投票結果、注目領域抽出部８の抽出結果、平面・立体判別部９の判別結果等を各部の作業用に一時格納する。なお、後述のフローチャートにおいては各部による作業メモリ部１０への格納処理についてとくに触れない。
変換画像作成部４、エッジ抽出部５、エッジパラメータ算出部６、パラメータ投票部７、注目領域抽出部８、および平面・立体判別部９はそれぞれの機能を統合したＣＰＵとして構成することができる。
【００１４】
つぎに、画像処理装置１における立体物かどうかの判別処理の流れを図３のフローチャートにより説明する。
まず、ステップ１００において、画像メモリ３にカメラ２からの画像データを１フレーム分ずつ所定時間間隔で取り込み、記憶する。
ステップ１０１では、変換画像作成部４が画像メモリ３から画像データを読み出し、トップビュー画像に変換する。
続いてステップ１０２において、エッジ抽出部５がトップビュー画像内のエッジを抽出する。ここでは、Ｓｏｂｅｌフィルタを用いることにより、エッジの縦方向の微分値（ｄｘ）と横方向の微分値（ｄｙ）が得られる。
【００１５】
ステップ１０３において、エッジパラメータ算出部６が、抽出されたエッジ要素ごとのエッジ要素パラメータを算出する。
すなわち、エッジ要素のもつ角度（傾き）はエッジの各方向の微分値を用いて、
θ＝ｔａｎ−１（ｄｙ／ｄｘ）
で求められる。したがって、エッジ要素（画素）の直線方程式ｙ＝ａｘ＋ｂについて、エッジ要素の位置（ｘ，ｙ）は既知であり、係数ａもθから算出できるから切片ｂも算出できる。1つのエッジ要素について1組の傾きθと切片ｂからなるエッジ要素パラメータが求められる。
【００１６】
ステップ１０４において、パラメータ投票部７が、投票空間に各エッジ要素のエッジ要素パラメータを投票する。
ここでは１つのエッジ要素のエッジ要素パラメータ（θ，ｂ）が、投票空間Ｔとしてθ−ｂ平面に１点としてプロットされることになる。
例えば図４の（ａ）に示すような駐車枠Ｗがトップビュー画像として得られている場合、（ｂ）のようなエッジ画像が得られる。そしてエッジ画像におけるＥ１部分のエッジ要素のエッジ要素パラメータは（ｃ）の投票空間ＴにおいてＦ１の投票点群となり、同様に（ｂ）のエッジ画像におけるＥ２、Ｅ３部分は（ｃ）の投票空間ＴにおいてそれぞれＦ２、Ｆ３の投票点群としてプロットされることになる。
なお、投票空間Ｔのθ−ｂ平面は、とくに図示はしないが、例えば横軸θを０°から３６０°まで１°刻みとし、縦軸ｂを３ピクセル刻みのメッシュに区切ってある。
【００１７】
ステップ１０５において、注目領域抽出部８が、投票空間Ｔにおけるエッジ要素パラメータ投票点群の密度が高い高頻度値領域を注目領域として抽出する。すなわちプロット数が所定の閾値（例えば１００点）より高いメッシュ領域を注目領域として抽出する。
ステップ１０６では、平面・立体判別部９は、前回のトップビュー画像についての注目領域の抽出結果が作業メモリ部１０に格納されているかどうかをチェックする。
前回の注目領域の抽出結果が作業メモリ部１０に格納されていないときは、ステップ１００へ戻り、カメラ２から新たな画像データを取り込んで、上述の処理を繰り返す。
【００１８】
前回の注目領域の抽出結果がある場合には、ステップ１０７において、平面・立体判別部９が、注目領域に対応するエッジが立体物に帰属するものか路面など平面に帰属するものか判断する。
具体的には、投票空間Ｔにおける前回の注目領域と今回の注目領域を比較して相対的な位置関係をチェックする。
例えば路面など平面に描かれている駐車枠のペイントであれば、時間経過に伴って車両が移動しても、図５の（ａ）に示すように、車両の移動や回転分を考慮すれば注目領域Ｇｈ１、Ｇｈ２等は投票空間Ｔにおいてほとんど移動しない。図において、白丸の点群は前回の注目領域の点群、黒丸の点群は今回の注目領域の点群を示す。
【００１９】
一方、立体物の場合には、当該立体物が移動したり、車両が移動して、相対関係が変化するとエッジの出現方向や位置が変化するため、図５の（ｂ）に矢印で示すように、注目領域Ｇｒ１、Ｇｒ２等の投票空間における位置が移動する。
したがって、１台のカメラ２で撮像した画像に基づく場合でも、時系列における（すなわち前回と今回の）投票空間Ｔ上の注目領域の位置変化の状態により、エッジが立体物と平面のいずれに属するかが判断できる。
【００２０】
この後、ステップ１０８において、作業メモリ部１０に格納したトップビュー画像等とともに、エッジにかかる対象が立体物か否かの判別結果を運転支援装置など後段装置へ出力して１回の判断処理を終わる。なお、この際出力するトップビュー画像は後段装置の目的に応じて前回の画像または今回の画像が適宜に選択される。
【００２１】
本実施例においては、図３のフローチャートにおけるステップ１００と１０１とで発明における画像取得手段を構成し、ステップ１０２が特徴点抽出手段に該当する。
また、ステップ１０３と１０４とで投票手段を構成し、とくにステップ１０３がエッジ要素パラメータ算出手段に該当している。そして、ステップ１０５〜１０７が判別手段を構成している。
【００２２】
本実施例は以上のように構成され、カメラ２で時間をずらせて撮像したサイドビュー画像に基づいてそれぞれトップビュー画像を作成し、トップビュー画像からエッジを抽出し、各エッジ要素のパラメータを投票空間Ｔに投票して、投票空間における投票点群の時系列の状態に基づいて、エッジが立体物に帰属するかどうかを判断するものとしたので、トップビュー画像がサイドビュー画像から画像変換されたものであっても、画像変換に伴う歪の影響を受けることなく立体物を精度良く抽出することができる。
【００２３】
とくに、エッジ要素のパラメータを直線の傾きθと切片ｂとすることにより、１つのエッジ要素からは１つの投票点が生じるので、ハフ変換などと比較して投票量を大幅に低減することができ、処理の高速化が図れる。
さらに、立体物かどうかの判断は投票空間Ｔにおけるとくに投票頻度値の高い注目領域の状態に基づいて行うので、この点でも処理が迅速となる。
また、２つの画像におけるエッジ要素パラメータの傾きθと切片ｂは、車両の移動による画像座標の変化を補正した絶対座標上で算出することにより、注目領域が時系列で移動しているときは当該領域に対応するエッジが立体物に属し、注目領域が移動していないときは当該領域に対応するエッジが路面など平面の模様に帰属する旨、容易に判別することができる。
【００２４】
つぎに、第２の実施例について説明する。
図６は第２の実施例の構成を示すブロック図である。
本実施例の画像処理装置１Ａは、第１の実施例に対して、エッジパラメータ算出部６Ａ、パラメータ投票部７Ａ、平面・立体判別部９Ａが異なり、注目領域抽出部の代わりにグループ化演算部１１を備える点が相違する。
エッジパラメータ算出部６Ａは、エッジ要素の傾きθによって直線の切片をｘ軸ととるか、ｙ軸ととるかを切り換える。
【００２５】
ここでは基本概念として、図７に示すように、画面中心Ｑからの向きによって水平方向＋−４５°の範囲αに属するエッジの傾きと、垂直方向＋−４５°の範囲βに属するエッジの傾きとに分類する。そして、傾きがθ１のように範囲αの場合はｙ軸を切片として直線式ｙ＝ａｘｘ−ｂｘからエッジ要素パラメータ（θ，ｂｘ）を算出し、傾きがθ２のように範囲βの場合はｘ軸を切片として直線式ｘ＝ａｙｙ−ｂｙからエッジ要素パラメータ（θ，ｂｙ）を算出する。
これによれば、図８に示すように、画面Ｋの角（隅）部を通る＋−４５°の直線で囲まれる領域内が投票空間Ｔの切片範囲となり、切片ｂｘ、ｂｙは当該領域内に限定されることになる。
なお、エッジ要素パラメータは、第１の実施例のエッジパラメータ算出部におけると同様に、車両の移動による画像座標の変化を補正した絶対座標上に算出する。
【００２６】
パラメータ投票部７Ａは、エッジの傾きを２つの範囲に分類したことに対応して、２つの投票空間Ｔ１、Ｔ２を設定し、各エッジ要素のエッジ要素パラメータを対応する投票空間に投票する。
なお、投票空間を２つに分ける傾きθが＋−４５°付近の領域については、投票値が２つの投票空間Ｔ１、Ｔ２に分散する可能性があるので、本実施例では図７に示すように、上述の基本概念における２つの範囲を分ける角度線（＋−４５°）を挟んで＋−５°の重複領域δを作る。すなわち、範囲αは拡大して具体的には水平方向＋−５０°のＡ、範囲βも垂直方向＋−５０°のＢに設定して、エッジの傾きθが重複領域δに現れた場合には双方の投票空間Ｔ１、Ｔ２にエッジ要素パラメータが投票されるようにする。この場合、切片ｂｘ、ｂｙの範囲は図８に示した領域よりわずかに外方へ拡大することになる。
【００２７】
グループ化演算部１１は、それぞれの投票空間Ｔ１、Ｔ２において、エッジ要素パラメータの投票頻度が所定の閾値より高い高頻度領域を抽出し、その周囲に隣接する高頻度値領域は同一領域としてグルーピングする。
【００２８】
平面・立体判別部９Ａは、それぞれの投票空間において、第１の実施例の平面・立体判別部におけると同様に、各グループを時系列で比較し、グループに属するエッジが路面に描かれた模様に帰属するものか、それとも立体物に帰属するものかを判断する。
平面・立体判別部９Ａはさらに、立体物に帰属すると判断したグループを代表する代表値を用いて、当該立体物が移動しているか、静止しているかも判断する。
【００２９】
作業メモリ部１０は、変換画像作成部４で変換されたトップビュー画像を記憶するとともに、エッジ抽出部５で抽出したエッジ、エッジパラメータ算出部６Ａで算出されたエッジ要素パラメータ、パラメータ投票部７Ａが使用する投票空間やその投票結果、グループ化演算部１１によるグルーピングの結果、平面・立体判別部で算出するグループの代表値や判別結果等を各部の作業用に一時格納する。
変換画像作成部４、エッジ抽出部５、エッジパラメータ算出部６Ａ、パラメータ投票部７Ａ、グループ化演算部１１、および平面・立体判別部９Ａはそれぞれの機能を統合したＣＰＵとして構成することができる。
その他の構成は、第１の実施例の構成と同じである。
【００３０】
以下に、第２の実施例の画像処理装置１Ａにおける判別処理の流れを図９のフローチャートにより説明する。
ステップ２００〜２０２は第１の実施例における図３のステップ１００〜１０２と同じである。
ステップ２０３において、エッジパラメータ算出部６Ａは、抽出されたエッジ要素ごとの傾きθを算出し、傾きθが図７に示した範囲Ａ、Ｂのいずれに属するかに応じて、直線式ｙ＝ａｘｘ−ｂｘまたはｘ＝ａｙｙ−ｂｙからエッジ要素パラメータ（θ，ｂｘ）または（θ，ｂｙ）を算出する。
【００３１】
ステップ２０４において、パラメータ投票部７Ａが、傾きθの範囲ＡおよびＢに対応する２つの投票空間Ｔ１、Ｔ２のいずれかあるいは双方にエッジパラメータ算出部６Ａで算出された各エッジ要素パラメータを投票する。
つぎにグループ化演算部１１が、ステップ２０５において、それぞれの投票空間において、エッジ要素パラメータの高頻度領域を抽出するとともに、ステップ２０６で隣接する高頻度値領域をグルーピングする。
【００３２】
具体的には、投票空間Ｔ１、Ｔ２各々における全体の中でエッジ要素パラメータの投票頻度が周囲の領域と比較してとくに高い極大領域を抽出し、その周囲所定距離内において極大領域の投票頻度の５０％以上の投票頻度をもつ領域を統合して１つのグループとする。これにより、極大領域を核とするグループが形成される。
各グループはそれぞれ例えばその重心など１つの代表パラメータで当該グループを代表させる。
【００３３】
ステップ２０７では、平面・立体判別部９Ａが、前回のトップビュー画像についての各投票空間におけるグルーピングの結果、すなわちグループが作業メモリ部１０に格納されているかどうかをチェックする。
前回のグループが格納されていないときは、ステップ２００へ戻り、カメラ２から新たな画像データを取り込んで、上述の処理を繰り返す。
【００３４】
前回のグループがある場合には、ステップ２０８に進み、第１の実施例における注目領域の比較と同様に、平面・立体判別部９Ａが各投票空間Ｔ１、Ｔ２における前回のグループと今回のグループを比較して、代表パラメータ（重心）が移動していれば当該グループに対応するエッジが立体物に帰属し、代表パラメータの位置が変化しなければ当該グループに対応するエッジが平面に帰属するものと判別する。
【００３５】
次のステップ２０９において、平面・立体判別部９Ａは、立体物に帰属すると判断したエッジのグループについて、そのグループの代表値としての直線（傾きと切片）を算出する。グループの代表値は、例えば当該グループ全体のエッジ要素の位置（ｘ，ｙ）を用いた最小２乗法で直線当て嵌めにより求める。
そしてステップ２１０において、平面・立体判別部９Ａは、作業メモリ部１０に過去２回分のトップビュー画像についてグループの代表値が格納されているかどうかをチェックする。
過去２回分の代表値が作業メモリ部１０に格納されていないときは、ステップ２００へ戻り、カメラ２から新たな画像データを取り込んで、上述の処理を繰り返す。
【００３６】
過去２回分の代表値がある場合には、ステップ２１１において、平面・立体判別部９Ａが今回算出した分を含めた３つの直線（代表値）の絶対座標上での移動状態に基づいて、立体物が移動しているか、静止しているかを判断する。
静止している物体から得られる代表値である３本の直線は、例えば図１０のように示され、移動する物体から得られる３本の直線は図１１のように示される。これらはそれぞれ画像撮像の時系列における変化を示しており、図１０においては時間の経過で直線がＬ１、Ｌ２、Ｌ３の順で移動し、図１１では直線がＬ４、Ｌ５、Ｌ６の順で移動している。
ここで各直線の交点に着目すると、図１０の静止物体にかかる各直線はほぼ同じ位置Ｐ０で交差している一方、図１１の移動物体にかかる各直線はその交点がＰ１からＰ２へ変化している。したがって、直線の交点の変化の有無により、立体物が移動しているか静止しているかが判別できる。
【００３７】
最後にステップ２１２において、平面・立体判別部９Ａが、作業メモリ部１０に格納した例えば最新（今回）のトップビュー画像等とともに、エッジにかかる対象が立体物か否か、および立体物は移動しているか静止しているかの判断結果を後段装置へ出力して１回の判断処理を終わる。
【００３８】
本実施例においては、図９のフローチャートにおけるステップ２００と２０１とで発明における画像取得手段を構成し、ステップ２０２が特徴点抽出手段に該当する。
また、ステップ２０３と２０４とで投票手段を構成し、とくにステップ２０３がエッジ要素パラメータ算出手段に該当している。
そして、ステップ２０５〜２１１が判別手段を構成し、とくにステップ２０５と２０６とがグループ化手段に該当し、ステップ２０９が代表値算出手段に該当している。
【００３９】
本実施例は以上のように構成され、カメラ２を用いた時系列の撮像に基づく複数のトップビュー画像からエッジを抽出し、各エッジ要素のパラメータを投票空間Ｔ１、Ｔ２に投票して、投票空間における時系列の投票結果の状態に基づいて、エッジが立体物に帰属するかどうかを判断するものとしたので、トップビュー画像がカメラ２で撮像したサイドビュー画像から画像変換されたものであっても、画像変換に伴う歪の影響を受けることなく立体物を精度良く抽出することができる。
【００４０】
とくに、エッジ要素のパラメータを直線の傾きθと切片ｂとすることにより、１つのエッジ要素からは１つの投票点が生じるので、ハフ変換などと比較して投票量を大幅に低減することができ、処理の高速化が図れる。
さらに、立体物かどうかの判断は投票空間Ｔ１、Ｔ２におけるとくに高頻度値領域の状態に基づいて行うので、この点でも処理が迅速となる。
また、時系列の２つの画像におけるエッジ要素パラメータの傾きθと切片ｂは、車両の移動による画像座標の変化を補正した絶対座標上で算出することにより、注目領域の位置が変化するか否かに基づいて、対応するエッジが立体物に帰属するのか路面の模様に帰属するのかを容易に判断することができる。
【００４１】
そして、投票に際しては、エッジの要素の傾きに応じて切片をとる軸を切り換えるとともに、投票空間も切り換えるものとしたので、投票空間Ｔ１、Ｔ２を有限な領域に限定することができ、演算に必要な作業メモリ部１０の容量も低減することが可能となる。
【００４２】
またグループ化演算部１１によって、投票空間において隣接する投票頻度値の高い領域をグルーピングし、グループの状態に基づいて、すなわち、時系列でグループが移動しているときは当該グループに対応するエッジが立体物に属し、グループが移動していないときは当該グループに対応するエッジが平面に属するものと判別するようにしたので、画像の揺らぎや、画像変換に伴うノイズに対して強く、安定した立体物判別ができる。
【００４３】
グルーピングは、とくに投票頻度値の極大領域を抽出し、その極大領域を核として周辺の高頻度値領域をまとめるので、画像中では小さい物体として映っているようなものでも投票空間においてノイズとして排除されないようにすることができ、立体物の判別精度が向上する。
そして立体物判別に際して、各グループはそれぞれ１つのパラメータで代表するので、類似の複数の高頻度値領域が抽出されて演算が煩雑となるのが防止される。
【００４４】
さらに、本実施例では、立体物にかかるグループの代表値を直線として算出し、時系列での当該直線の交点が変化するとき、当該グループにかかる立体物が移動体であると判別するので、対象物体が立体物であるかどうかに加えて、それが移動しているか静止しているかまで、詳細な情報を得ることができる。
【００４５】
なお、第２の実施例のグループ化演算部１１では、投票頻度値が所定の閾値より高い高頻度領域を抽出して、所定距離範囲内に隣接する高頻度値領域を同一領域としてグルーピングするものとしたが、グルーピングとしてはこのほか、データの分類を階層的に行なう階層型手法や分割最適化手法などを含むクラスタリングを利用することもでき、この場合には、投票空間をあらかじめメッシュに区分せずに、傾きθと切片ｂの値をそのまま投票してグルーピングできる。
【００４６】
また、平面・立体判別部９Ａにおけるグループの代表値の算出は、最小２乗法による直線当て嵌めで行なうものとしたが、これに限定されず、グループの母数が少ない場合は単純な平均や、Ｍｅｄｉａｎなどの統計値を使用してもよく、あるいはまた、ノイズ成分が多く含まれるようなデータである場合は、ＲＡＮＳＡＣ（RANdom SAmple Consensus）やＬＭｅｄＳ（Least Median of Squares）などのロバスト推定によって求めてもよい。
さらに、代表値の算出は立体物にかかるグループについて行なったが、平面にかかるグループについて算出すれば、同様にそれが移動しているか静止しているかを区別できるため、路面に描かれた駐車枠などの検出精度が一層向上する。
【００４７】
上述の各実施例では、カメラ２からの画像データを所定時間間隔で画像メモリ３に取り込み、その取り込まれた間隔で変換画像作成部４がトップビュー画像に変換するものとしたが、カメラ２からの画像データは逐次画像メモリ３に取り込み、変換画像作成部４が上記所定時間間隔で画像メモリ３から読み出してトップビュー画像に変換するようにしてもよい。
また、エッジ抽出のためにＳｏｂｅｌフィルタを用いて縦方向と横方向の成分（ｄｘ，ｄｙ）からエッジ要素の傾きθを求めるものとしたが、これに限定されず、例えば高次局所自己相関（ＨＬＡＣ）で利用される空間フィルタも様々な方向のエッジ抽出と同様作用を有するので、その組み合わせにより必要なエッジの傾きを算出することもできる。
【００４８】
なお、各実施例はサイドビュー画像からトップビュー画像へ画像変換した例について説明したが、カメラ２で撮像したままの例えばサイドビュー画像上で立体物と平面とを判別する場合にも本発明はそのまま適用できる。
あるいは逆に、画像変換機能をカメラに内蔵させて、変換済みの画像データを直接作業メモリ部１０へ送出するようにしてもよい。この場合には画像処理装置側では画像メモリ３と変換画像作成部４が不要となる。
【図面の簡単な説明】
【００４９】
【図１】第１の実施例の構成を示すブロック図である。
【図２】カメラの配置を示す説明図である。
【図３】立体物判別処理の流れを示すフローチャートである。
【図４】エッジ画像と投票空間へのパラメータ投票の関係を示す図である。
【図５】投票空間における注目領域の時系列の変化態様を示す図である。
【図６】第２の実施例の構成を示すブロック図である。
【図７】投票空間切換えのためのエッジ要素の傾きの分類要領を示す図である。
【図８】傾きで切り換えたときのパラメータ切片の範囲を示す概念図である。
【図９】立体物判別処理の流れを示すフローチャートである。
【図１０】静止物体にかかる投票点のグループを代表する直線の時系列変化を示す図である。
【図１１】移動物体にかかる投票点のグループを代表する直線の時系列変化を示す図である。
【符号の説明】
【００５０】
１、１Ａ 画像処理装置
２ カメラ
３ 画像メモリ
４ 変換画像作成部
５ エッジ抽出部
６、６Ａ エッジパラメータ算出部
７、７Ａ パラメータ投票部
８ 注目領域抽出部
９、９Ａ 平面・立体判別部
１０ 作業メモリ部
１１ グループ化演算部
θ エッジ要素の傾き
ｂ 切片
Ｇｈ１、Ｇｈ２、Ｇｒ１、Ｇｒ２ 注目領域
Ｌ１、Ｌ２、Ｌ３、Ｌ４、Ｌ５、Ｌ６ 直線（グループの代表値）
Ｔ 投票空間
Ｗ 駐車枠
【特許請求の範囲】
【請求項１】
時系列の撮像に基づく複数の車両周辺の画像を取得する画像取得手段と、
前記画像取得手段で得られた撮像画像から、自車両上方の視点位置から見下ろした俯瞰画像を生成する俯瞰画像生成手段と、
前記俯瞰画像生成手段により得られた俯瞰画像から前記画像取得手段により得られた画像から特徴点を抽出する特徴点抽出手段と、
特徴点のパラメータを投票空間に投票する投票手段と、
前記投票空間における投票点群の状態に基づいて、前記特徴点が立体物に帰属するかどうかを判断する判別手段とを備えることを特徴とする車両用画像処理装置。
【請求項２】
前記特徴点抽出手段が抽出する特徴点が前記画像内のエッジであり、
前記投票手段は、前記エッジの要素の直線方程式を形成する傾きと軸との切片を算出して前記パラメータとするエッジ要素パラメータ算出手段を有し、
前記判別手段は、投票空間における投票頻度値の高い領域の状態に基づいて前記特徴点が立体物に帰属するかどうかを判断することを特徴とする請求項１に記載の車両用画像処理装置。
【請求項３】
前記エッジ要素パラメータ算出手段は、１の画像における車両の位置および姿勢を絶対座標として定義し、前記複数の画像の取得時点間で車両が移動した場合には，その移動分を補正して絶対座標でのエッジ要素の前記傾きと切片を算出することを特徴とする請求項２に記載の車両用画像処理装置。
【請求項４】
前記エッジ要素パラメータ算出手段は、前記エッジの要素の傾きに応じて前記切片をとる軸を切り換え、
前記投票手段は、エッジの要素の傾きに応じて投票空間を切り換えることを特徴とする請求項３に記載の車両用画像処理装置。
【請求項５】
前記判別手段は、時系列で前記投票頻度値の高い領域が移動しているときは当該領域に対応するエッジが立体物に属し、前記投票頻度値の高い領域が移動していないときは当該領域に対応するエッジが平面に属するものとすることを特徴とする請求項３または４に記載の車両用画像処理装置。
【請求項６】
前記判別手段は、投票空間において隣接する投票頻度値の高い領域をグルーピングするグループ化手段を備え、グループの状態に基づいて前記特徴点が立体物に帰属するかどうかを判断することを特徴とする請求項３または４に記載の車両用画像処理装置。
【請求項７】
前記グループ化手段は、投票頻度値の極大領域を抽出し、当該極大領域を核としてグルーピングすることを特徴とする請求項６に記載の車両用画像処理装置。
【請求項８】
前記判別手段は、時系列で前記グループが移動しているときは当該グループに対応するエッジが立体物に属し、前記グループが移動していないときは当該グループに対応するエッジが平面に属するものと判別することを特徴とする請求項６または７に記載の車両用画像処理装置。
【請求項９】
前記判別に際して、前記グループはそれぞれ１つのパラメータで代表することを特徴とする請求項８に記載の車両用画像処理装置。
【請求項１０】
前記判別手段は、さらに前記グループの代表値を算出する代表値算出手段を備え、時系列での前記代表値の状態に基づいて当該グループにかかる立体物または平面が移動体であるか静止体であるかを判別することを特徴とする請求項６から９のいずれか１に記載の車両用画像処理装置。
【請求項１１】
前記代表値算出手段は、前記グループの代表値を直線として算出し、
前記判別手段は、時系列での前記直線の交点が変化するとき、当該グループにかかる立体物または平面が移動体であるとすることを特徴とする請求項１０に記載の車両用画像処理装置。
【請求項１２】
カメラで撮像した車両周辺の画像を処理する画像処理装置方法において、
前記車両周辺の画像を時系列で複数取得し、
取得した画像から自車両上方の視点位置から見下ろした俯瞰画像を生成し、
生成した俯瞰画像から特徴点を抽出してそのパラメータを投票空間に投票し、
該投票空間における投票点群の時系列の状態に基づいて、前記特徴点が立体物に帰属するかどうかを判別することを特徴とする画像処理方法。
【請求項１】
時系列の撮像に基づく複数の車両周辺の画像を取得する画像取得手段と、
前記画像取得手段で得られた撮像画像から、自車両上方の視点位置から見下ろした俯瞰画像を生成する俯瞰画像生成手段と、
前記俯瞰画像生成手段により得られた俯瞰画像から前記画像取得手段により得られた画像から特徴点を抽出する特徴点抽出手段と、
特徴点のパラメータを投票空間に投票する投票手段と、
前記投票空間における投票点群の状態に基づいて、前記特徴点が立体物に帰属するかどうかを判断する判別手段とを備えることを特徴とする車両用画像処理装置。
【請求項２】
前記特徴点抽出手段が抽出する特徴点が前記画像内のエッジであり、
前記投票手段は、前記エッジの要素の直線方程式を形成する傾きと軸との切片を算出して前記パラメータとするエッジ要素パラメータ算出手段を有し、
前記判別手段は、投票空間における投票頻度値の高い領域の状態に基づいて前記特徴点が立体物に帰属するかどうかを判断することを特徴とする請求項１に記載の車両用画像処理装置。
【請求項３】
前記エッジ要素パラメータ算出手段は、１の画像における車両の位置および姿勢を絶対座標として定義し、前記複数の画像の取得時点間で車両が移動した場合には，その移動分を補正して絶対座標でのエッジ要素の前記傾きと切片を算出することを特徴とする請求項２に記載の車両用画像処理装置。
【請求項４】
前記エッジ要素パラメータ算出手段は、前記エッジの要素の傾きに応じて前記切片をとる軸を切り換え、
前記投票手段は、エッジの要素の傾きに応じて投票空間を切り換えることを特徴とする請求項３に記載の車両用画像処理装置。
【請求項５】
前記判別手段は、時系列で前記投票頻度値の高い領域が移動しているときは当該領域に対応するエッジが立体物に属し、前記投票頻度値の高い領域が移動していないときは当該領域に対応するエッジが平面に属するものとすることを特徴とする請求項３または４に記載の車両用画像処理装置。
【請求項６】
前記判別手段は、投票空間において隣接する投票頻度値の高い領域をグルーピングするグループ化手段を備え、グループの状態に基づいて前記特徴点が立体物に帰属するかどうかを判断することを特徴とする請求項３または４に記載の車両用画像処理装置。
【請求項７】
前記グループ化手段は、投票頻度値の極大領域を抽出し、当該極大領域を核としてグルーピングすることを特徴とする請求項６に記載の車両用画像処理装置。
【請求項８】
前記判別手段は、時系列で前記グループが移動しているときは当該グループに対応するエッジが立体物に属し、前記グループが移動していないときは当該グループに対応するエッジが平面に属するものと判別することを特徴とする請求項６または７に記載の車両用画像処理装置。
【請求項９】
前記判別に際して、前記グループはそれぞれ１つのパラメータで代表することを特徴とする請求項８に記載の車両用画像処理装置。
【請求項１０】
前記判別手段は、さらに前記グループの代表値を算出する代表値算出手段を備え、時系列での前記代表値の状態に基づいて当該グループにかかる立体物または平面が移動体であるか静止体であるかを判別することを特徴とする請求項６から９のいずれか１に記載の車両用画像処理装置。
【請求項１１】
前記代表値算出手段は、前記グループの代表値を直線として算出し、
前記判別手段は、時系列での前記直線の交点が変化するとき、当該グループにかかる立体物または平面が移動体であるとすることを特徴とする請求項１０に記載の車両用画像処理装置。
【請求項１２】
カメラで撮像した車両周辺の画像を処理する画像処理装置方法において、
前記車両周辺の画像を時系列で複数取得し、
取得した画像から自車両上方の視点位置から見下ろした俯瞰画像を生成し、
生成した俯瞰画像から特徴点を抽出してそのパラメータを投票空間に投票し、
該投票空間における投票点群の時系列の状態に基づいて、前記特徴点が立体物に帰属するかどうかを判別することを特徴とする画像処理方法。
【図１】
【図２】
【図３】
【図４】
【図５】
【図６】
【図７】
【図８】
【図９】
【図１０】
【図１１】
【図２】
【図３】
【図４】
【図５】
【図６】
【図７】
【図８】
【図９】
【図１０】
【図１１】
【公開番号】特開２００９−１６９６１９（Ｐ２００９−１６９６１９Ａ）
【公開日】平成２１年７月３０日（２００９．７．３０）
【国際特許分類】
【出願番号】特願２００８−６２３５（Ｐ２００８−６２３５）
【出願日】平成２０年１月１５日（２００８．１．１５）
【出願人】（０００００３９９７）日産自動車株式会社 (16,386)
【Ｆターム（参考）】
【公開日】平成２１年７月３０日（２００９．７．３０）
【国際特許分類】
【出願日】平成２０年１月１５日（２００８．１．１５）
【出願人】（０００００３９９７）日産自動車株式会社 (16,386)
【Ｆターム（参考）】
[ Back to top ]