対象物検出装置及び方法
【課題】広い監視領域における大きさが異なる複数の対象物の位置や速度を推定できるようにすること。
【解決手段】本実施形態に係る対象物検出装置は、複数台のカメラにより道路上に存在する対象物を撮影した基準画像上で分割した短冊状領域の各点に関して、他のカメラで撮影された参照画像上で対応する点を算出する対応点算出部４と、各短冊状領域内の各点と、求められた参照画像の対応点との間の画像特徴量の一致度を算出する画像一致度算出部５と、短冊状領域の高さと対象物の接地位置とを変数として画像特徴量の一致度を最大にする接地位置関数を生成する接地位置算出部６と、接地位置関数における短冊状領域の高さに基づいて対象物の高さを算出する対象物高さ算出部７とを備える。
【解決手段】本実施形態に係る対象物検出装置は、複数台のカメラにより道路上に存在する対象物を撮影した基準画像上で分割した短冊状領域の各点に関して、他のカメラで撮影された参照画像上で対応する点を算出する対応点算出部４と、各短冊状領域内の各点と、求められた参照画像の対応点との間の画像特徴量の一致度を算出する画像一致度算出部５と、短冊状領域の高さと対象物の接地位置とを変数として画像特徴量の一致度を最大にする接地位置関数を生成する接地位置算出部６と、接地位置関数における短冊状領域の高さに基づいて対象物の高さを算出する対象物高さ算出部７とを備える。
【発明の詳細な説明】
【技術分野】
【０００１】
本発明の実施形態は、道路に存在する柱等に取り付けられたステレオカメラから得られる画像を用いて、車両、歩行者、自転車等の対象物を検出し、対象物の位置や速度等の運動情報を推定する装置及びその方法に関する。
【背景技術】
【０００２】
ステレオ視の手法を用いて車両等の対象物を検出する一般的な手法がある。この手法では、左右のカメラ画像から相関演算を用いて対応点を求めることにより視差を計算する。計算された視差から、対象物の３次元座標が計算され、高さの情報から対象物が検出される。
【０００３】
しかし、照明や天候の変化の影響で正確に視差を計算することは容易ではない。照明や天候変化に対してロバストな手法として、平面投影ステレオ法を応用した障害物（対象物）検出装置および方法がある（例えば、特許文献１又は２を参照。）。
【０００４】
特許文献１の手法では、あらかじめ左右のカメラ画像に基づいて、一方の画像における道路面上の点を、他方の画像における道路面上の点の位置が一致するような投影パラメータを計算する。計算された投影パラメータに基づいて、一方の画像の道路面上に設定された点が、他方の画像上の対応する点を求める。対応点の環境を用いて一方の画像に近似する変換画像を生成する。対応点及び変換画像を用いて、道路平面に対して垂直上方向に一定以上の大きさを有する物体を検出する。
【０００５】
この手法では、左右のカメラが障害物（対象物）と同じような高さに設置され、俯角が小さい場合が想定されている。この手法は、カメラ画像の垂直方向に対して、１つの障害物と道路面との境界線のみを検出できる。カメラが障害物に対して高い位置に設置され、カメラ画像の垂直方向に複数の障害物を検出する必要がある場合には、いずれか１つの障害物しか検出することができないという問題がある。
【０００６】
これに対して特許文献２の手法は、前記手法を拡張し、カメラ設置に基づいて、画像垂直方向における監視領域平面の視差のプロファイルをあらかじめ計算する。各平面上における実空間上の対象物高さと画像上での高さの対応情報をもとに処理領域を設定する。各処理領域における上端と境界線の間におけるエッジ密度がある一定以上の大きさを有する領域を対象物存在領域とする。こうして得られた各処理領域における対象物存在領域を統合し、ほぼ同じ位置に対象物と道路面の境界線が算出された場合に、対象物として検出する。検出された対象物を画像上の対象物領域のテクスチャ情報を用いて追跡することにより、対象物の位置及び速度を推定する。
【０００７】
この手法では、対象物が人物や自転車等の高さがほぼ一定の対象物については有効であるが、二輪車から大型トラック等の様々な高さを含む車両を対象とした場合には、処理領域の設定が困難であり、設定の仕方が検出性能を大きく左右するという問題があり、様々な大きさを持つ対象物を検出することはできない。
【先行技術文献】
【特許文献】
【０００８】
【特許文献１】特許第４４０６３８１号公報
【特許文献２】特開２００９−１９８４４５号公報
【発明の概要】
【発明が解決しようとする課題】
【０００９】
上述したように、従来の手法では、カメラ画像の垂直方向に複数の対象物が存在した場合には、いずれか１つの障害物しか検出することができないという問題がある。また、二輪車から大型トラック等の様々な高さを含む車両を対象物とした場合には、処理領域の設定が困難であり、設定の仕方が検出性能を大きく左右するという問題があった。
【００１０】
本実施形態の目的は、広い監視領域における様々な大きさをもつ複数の対象物の位置や速度を推定することができる対象物検出装置及び方法を提供することにある。
【課題を解決するための手段】
【００１１】
本実施形態に係る対象物検出装置は、複数台のカメラにより道路上に存在する対象物を撮影した画像を入力する画像入力手段と、前記画像入力手段により入力された画像を記憶する画像記憶手段と、前記複数台のカメラのうち一つのカメラにより撮影された基準画像を、実空間上の路面垂直方向に沿って複数の短冊状領域に分割する画像分割手段と、前記基準画像上で分割した短冊状領域の各点に関して、他のカメラで撮影された参照画像上で対応する点を算出する対応点算出手段と、各短冊状領域内の各点と、前記対応点算出手段で求めた参照画像の対応点との間の画像特徴量の一致度を算出する画像一致度算出手段と、前記短冊状領域の高さと前記対象物の接地位置とを変数として、前記画像特徴量の一致度を最大にする接地位置関数を生成する接地位置算出手段と、前記接地位置関数における短冊状領域の高さに基づいて前記対象物の高さを算出する対象物高さ算出手段とを備えるものである。
【００１２】
本実施形態に係る対象物検出方法は、道路面上に存在する対象物を検出する対象物検出方法であって、複数台のカメラにより前記対象物を撮影した画像を入力する画像入力ステップと、前記画像を記憶する画像記憶ステップと、前記複数台のカメラのうち一つのカメラにより撮影された基準画像を、実空間上の路面垂直方向に沿って複数の短冊状領域に分割する画像分割ステップと、前記基準画像上で分割した短冊状領域の各点に関して、他のカメラで撮影された参照画像上で対応する点を算出する対応点算出ステップと、各短冊状領域内の各点と、前記対応点算出ステップで求めた参照画像の対応点との間の画像特徴量の一致度を算出する画像一致度算出ステップと、前記短冊状領域の高さと前記対象物の接地位置とを変数として、前記画像特徴量の一致度を最大にする接地位置関数を生成する接地位置算出ステップと、前記接地位置関数における短冊状領域の高さに基づいて前記対象物の高さを算出する対象物高さ算出ステップとを有するものである。
【図面の簡単な説明】
【００１３】
【図１】本実施形態に係る対象物検出装置の構成例を示す図。
【図２】本実施形態における対象物検出装置の概要および座標系を示す図。
【図３】左画像、右画像、及び変換画像の一例を示す図。
【図４】対象物の接地位置を検出する処理を説明するための図。
【図５】本実施形態に係る対象物検出処理を説明するための図。
【図６】対象物運動情報推定部の構成を示す図。
【発明を実施するための形態】
【００１４】
以下、図面を参照しながら本実施形態に係る対象物検出装置及び方法を説明する。
【００１５】
本装置は、道路の脇に存在する柱に設置されたステレオカメラによって撮影された画像を用いる。本装置は広い領域の車道における二輪車から大型車等の位置や速度を推定する。
【００１６】
図１は、本対象物検出装置の基本的な構成例を示す。対象物検出装置は、画像入力部１、画像記憶部２、画像分割部３、対応点算出部４、画像一致度算出部５、接地位置算出部６、対象物高さ算出部７、及び対象物運動情報推定部８を有する。これら各部１〜８の機能は、例えば記録媒体に記録されたプログラムをコンピュータが実行することによって実現することができる。
【００１７】
図２は、本実施形態における対象物検出装置の概要および座標系を示す。図２では、実空間上の水平方向の座標はＸで表され、奥行き方向の座標はＺで表される。図２では、画像座標系の水平方向の座標はｕで表され、垂直方向の座標はｖで表される。
【００１８】
（画像入力部１）
図２に示すように、監視領域の近くの柱に設置されたステレオカメラ２０Ｌ，２０Ｒが時系列画像を取得する。ステレオカメラ２０Ｌ，２０Ｒのそれぞれで取得された時系列画像が画像入力部１に入力される。
【００１９】
（画像記憶部２）
ステレオカメラから得られる左右の時系列画像は実空間における垂直方向が画像上の垂直方向に一致するように平行等位化がなされているのものとする。図３（ａ）はステレオカメラ２０Ｌで取得された左画像である。図３（ｂ）はステレオカメラ２０Ｒで取得された右画像である。図３（ｃ）は右画像をアフィン変換して得られる変換画像である。例えば、監視領域平面上の点Ｐに対応する点の左画像での位置を（ｘｌ,ｙｌ）、右画像での位置を（ｘｒ,ｙｒ）と表すと、両者はおおよそ下記の式（１）のようなアフィン変換により対応付けられる。
【数１】
【００２０】
つまり、左画像と変換画像とでは、監視領域平面上のパターンの位置が同じになる。このときのアフィン変換パラメータは、道路面上に存在する４点以上の特徴点の対応関係から計算することができる。
【００２１】
従来のステレオ法では着目点が道路領域であると仮定した場合の仮説検定を行なっていたが、それだけでは、例えば雨天時の濡れた路面などで、障害物の映り込みなどにより見かけ上道路より低い高さを持つような領域や、鏡面反射成分が大きいため左右のビデオカメラから見た輝度が大きく異なるような領域において上記の仮説が棄却され、誤って対象物と判定されてしまう可能性があった。
【００２２】
そこで、本実施形態では、道路面上の点の左右の画像における投影点が式（１）のような関係式で対応付けられること以外に、検出対象となる対象物は、高さ方向にはあまり奥行きが変化しないことを利用して、着目する道路上の点に一定以上の高さを有する対象物が存在するか否かを判定する。以下にこの判定方法の一例を説明する。
【００２３】
図３（ａ）および図３（ｂ）から明らかなように右画像は左画像に対して道路面が右寄りに撮像されることになる。図３（ａ）の点Ｐｌが道路領域に含まれるとしたときの図３（ｂ）の対応点をＰｒとする。図３（ａ）のように点Ｐｌから情報に一定の広がりを有する領域Ａｌに着目したとき、もしこの領域Ａｌが道路領域であれば図３（ｃ）の領域Ａｒ２と一致するはずである。
【００２４】
一方、もし領域Ａｌが点Ｐｌを接地点とする対象物であれば、図３（ｂ）の領域Ａｒ１と一致するはずである。したがって、領域Ａｌを領域Ａｒ１と領域Ａｒ２の両方と比較することにより、点Ｐｌが道路領域であるか対象物であるかを判定することが可能である。
【００２５】
本実施形態は、上記の判定方法に基づいており、図２に示すように道路脇の支柱に固定された２台のビデオカメラを用いて道路面上に存在する対象物と道路領域を識別する。すなわち、図２に示すように支柱に固定された左右２台のビデオカメラ２０Ｌ，２０Ｒを使用して、自動車や二輪車など、道路面上に存在する対象物を検出する状況を想定している。
【００２６】
（画像分割部３）
対象物の検出は、図３に示されるような左画像、右画像および変換画像を用いて行う。この場合、まず、図３に示すように左画像中に領域Ａｌのような実質的に垂直方向に長さが可変な短冊状の領域に分割し、この短冊状の領域Ａｌごとに対象物の接地位置を求める。なお、図３においては、接地位置を短冊状の領域の垂直方向の最下部としているが、接地位置は当初は不明であるため、最初は画像におけるカメラに近い位置となる最近傍点（画像の下端）を最下部として高さが可変な短冊状の領域に分割することになる。２順目以降は既に求めた対象物の高さ位置を下点としてカメラ画像で奥方向の領域を分割する。
【００２７】
（対応点算出部４）（画像一致度算出部５）
対応点の算出には、左右の一方の画像中の任意の点の位置に対して、指定された点に道路平面拘束を適用した場合に、もう一方の画像中で入力点に対応する点の位置を計算する。これにより左右の画像間の対応関係を用いて、図３（ｂ）に示されるような右画像に、右画像中の道路平面拘束を満たす領域が例えば図３（ａ）に示されるような左画像に一致するような変換を加え、図３（ｃ）のような変換画像を作成し、それを記憶する。
【００２８】
例えば、図４の左画像中の点Ｐ１が対象物の接地位置であると仮定した場合、図４中の右画像および変換画像における、左画像の点Ｐ１に対応する点をそれぞれ点Ｐｒ１、Ｐｒｔ１とおくと、領域Ａ１の画像の点Ｐ１より上の領域は、図４の右画像中の領域Ａｒ１と対応し、領域Ａ１の画像の点Ｐ１より下の領域は、図４の変換画像中の領域Ａｒｔの点Ｐｒｔ１より下の領域と対応する。この対応関係をもとに図４の左画像中の領域Ａ１の画像と、それに対応する右画像中の領域と変換画像中の領域とを合わせた画像との間の画像特徴量の一致度が正規化相関などの手法によって算出される。特徴量の一致度とは、例えば、画素輝度値の正規化相関値、又は画素輝度勾配方向の一致度などを用いるものとする。
【００２９】
また、図４の左画像中の点Ｐ２が対象物の接地位置であると仮定した場合、図４の右画像および変換画像における、左画像の点Ｐ２に対応する点をそれぞれ点Ｐｒ２、Ｐｒｔ２とおくと、領域Ａ１の画像の点Ｐ２より上の領域は、図４の右画像中の領域Ａｒ２と対応し、領域Ａ１の画像の点Ｐ２より下の領域は、図４の変換画像中の領域Ａｒｔの点Ｐｒｔ２より下の領域と対応する。この対応関係をもとに図４の左画像中の領域Ａ１の画像と、それに対応する右画像中の領域と変換画像中の領域とを合わせた画像との間の画像特徴量の一致度が正規化相関などの手法によって算出される。
【００３０】
更に、図４の左画像中の点Ｐ３が対象物の接地位置であると仮定した場合、図４の右画像および変換画像における、左画像の点Ｐ３に対応する点をそれぞれ点Ｐｒ３、Ｐｒｔ３とおくと、領域Ａ１ の画像の点Ｐ３より上の領域は、図４の右画像中の領域Ａｒ２より左にずれた領域Ａｒ３および変換画像の点Ｐｒｔ３より上の領域と対応する。領域Ａ１の画像の点Ｐ３より下の領域は、図４の変換画像中の領域Ａｒｔの点Ｐｒｔ３より下の領域と対応する。
【００３１】
この対応関係をもとに図４の左画像中の領域Ａ１の画像と、それに対応する右画像中の領域と変換画像中の領域とを合わせた画像との間の画像特徴量の一致度が正規化相関などの手法によって算出される。
【００３２】
上記のように接地点の位置を上から順に下まで移動させながら画像処理を繰り返すと、図４の画像の一致度のグラフのように、接地位置に対する画像の一致度の関係が求められる。
【００３３】
一方で、図５に示すように、対象物が画面上で垂直方向に複数台ある場合には、上記方法では画像一致度のピーク値が鈍るとともに、一方の対象物の接地位置しか求めることができない。
【００３４】
ここで、図５に示すようにある短冊状の領域Ａ１に対して、接地点Ｐ１を設定したときに、更にＡ１の上端となる点を対象物の高さとして点Ｈ１を設定する。例えば、図５では左画像における短冊状の領域Ａ１の上端点である対象物高さ点Ｈ１と、この領域に含まれる接地点Ｐ１が図５の位置であると仮定した場合、図５の右画像および変換画像における、左画像の点Ｐ１に対応する点をそれぞれ点Ｐｒ１、Ｐｒｔ１とし、右画像における、左画像の点Ｈ１に対応する点をＨｒ１とおくと、領域Ａ１の画像の点Ｐ１から点Ｈ１の領域は、図５の右画像中の領域Ａｒ１と対応し、領域Ａ１の画像の点Ｐ１より下の領域は、図５の変換画像中の領域Ａｒｔの点Ｐｒｔ１より下の領域と対応する。この対応関係をもとに図５の左画像中の領域Ａ１の画像と、それに対応する右画像中の領域と変換画像中の領域とを合わせた画像との間の画像特徴量の一致度が正規化相関などの手法によって算出される。
【００３５】
（接地位置算出部６）（対象物高さ算出部７）
接地位置算出部６及び対象物高さ算出部７において、上記のように接地点の位置と、短冊状の領域の上端の位置とを順に移動させながら画像処理を繰り返し、それぞれの移動量を軸にとると、図５の画像の一致度のグラフのように、接地位置と領域の上端つまり対象物の高さに対する画像の一致度の関係が求められる。すなわち、右画像の領域Ａｒ１と変換画像の領域Ａｒｔの点Ｐｒｔ１より下の部分の画像信号（輝度信号）と左画像の領域Ａ１との画像特徴量の比較を行なうことにより、点Ｐ１を接地位置、点Ｈ１を対象物の高さと仮定した場合の画像の一致度が算出される。これを繰り返すことにより図５に示されるような画像一致度を示すグラフが形成される。このグラフより、接地位置を図５の左画像中の点Ｐ１、点Ｈ１の組み合わせのように正しく仮定した場合に、左画像中の領域と右画像、変換画像との正しい対応関係が与えられ、したがって画像の一致度が最も高くなることがわかる。そこで、一致度のグラフで最高の一致度を与える点を領域Ａ１内での対象物の接地位置と対象物高さとする。
【００３６】
以下、この手順を画像の垂直方向に適当な長さを有する短冊状の領域Ａ１を水平方向に移動させながら繰り返し、例えば各短冊状の領域のうち画像の一致度が最大となる点を水平方向に結び、合計一致度が最大となる点を算出する接地位置関数により画像全体についてカメラに近い位置に存在する対象物の接地位置と対象物の高さを安定かつ高精度に求めることが可能となる。
【００３７】
次に、上記方法によって得られたカメラに近い位置に存在する対象物の高さ位置に基づき、これより画像中の上の領域を対象物の検出領域として設定する。設定した検出領域について、前記対象物の高さ位置を下限として、上記同様の対象物検出処理を実施する。これにより、画像中で垂直方向に複数の対象物がある場合においても、接地位置と対象物の高さを安定かつ高精度に求めることが可能となる。
【００３８】
（対象物運動情報推定部８）
対象物運動情報推定部８は、検出された複数の接地位置が描く境界線をラベリングにより複数の境界線分として検出する。境界線分ごとに、各接地位置に対応する対象物高さ情報をもとに、画像中における対象物領域の大きさを決定する。そして、検出された個々の対象物を時系列で追跡する。
【００３９】
図６は、対象物運動情報推定部８の構成を示す図である。図６に示すように、対象物運動情報推定部８は、新規対象物登録部８１、対象物追跡部８２、及び対象物情報更新部８３を有する。
【００４０】
新規対象物登録部８１は、検出された対象物の接地位置に基づく世界座標系（３次元実空間の座標系）での位置および画像上での位置を登録する。また画像上の対象物領域のテクスチャ情報をテンプレートとして登録する。
【００４１】
対象物追跡部８２において、登録された対象領域の次時刻での位置をテンプレートマッチングにより求める。テンプレートマッチングでは、式（２）のような輝度値の正規化相互相関（ＮＣＣ：Normalized Correlation Coefficient）による評価値を用いる。対象画像をＩ（ｉ，ｊ）、テンプレートをＴ（ｉ，ｊ）、テンプレートのサイズがＭ×Ｎとする。
【数２】
【００４２】
テンプレートマッチングで用いる評価値は様々にある。他の評価値を用いても構わない。
【００４３】
対象物情報更新部８３は、対象物追跡部８２において追跡された対象物と検出された対象物との距離差を計算する。対象物情報更新部８３は、距離差が閾値より小さい場合には、対応付けされた対象物と判定する。対応付けされた対象物の場合は、追跡結果による対象物位置と検出結果による対象物位置の平均値を計算し、平均された位置を対象物の位置として更新する。また、平均された位置による対象物領域のテクスチャ情報を更新する。平均値を計算する場合、重みを付けて計算しても構わない。
【００４４】
新規対象物登録部８１は、検出結果による対象物のうち対応付けされなかったものを新規の対象物として登録する。また更新された対象物に関しては、等加速度運動モデルを適用したカルマンフィルタを用いて、対象物の位置および速度を推定する。位置や速度を推定するフィルタは様々あり、他のフィルタを用いても構わない。
【００４５】
以上のような処理を時系列画像に対して処理を行い、自動車や二輪車などの対象物の位置や速度を検出する。
【００４６】
上記のように道路上における対象物の位置や速度が検出されると、対象物の検出信号が出力され、この検出信号が自動車の安全運転支援や道路交通管理情報として、図示していない安全運転支援装置や道路交通管理装置に適用される。例えば、交差点付近における路上を走行する自動車や二輪車の位置、速度の計測結果により、交差点右折時の車両に対して死角となる位置の接近車両の情報を通知したりする安全運転支援システムや、見通し不良の一般道における対向車検知システム、高速道路における交通流計測システムなどへ適用できる。
【００４７】
以上述べたように、本実施形態では、あらかじめ対象物の大きさに応じた処理領域の設定等を行なわず、かつ安定的に高精度な対象物検出性能を実現できるよう、画像中の適当な注目領域について、対象物の路面上への接地位置と対象物高さに応じて画像間の画像一致度が最大となる組み合わせを算出することで、当該領域における対象物の接地位置と高さを推定する。これを監視領域について繰り返すことにより、監視領域における個々の対象物の領域、位置を安定的かつ高精度に検出することができる。また、時系列に対象物を追跡することにより対象物の速度を計測することができる。
【００４８】
これにより、広い監視領域における様々な大きさをもつ複数の対象物の位置や速度を推定することができる。
【００４９】
なお、本発明のいくつかの実施形態を説明したが、これらの実施形態は、例として提示したものであり、発明の範囲を限定することは意図していない。これら新規な実施形態は、その他の様々な形態で実施されることが可能であり、発明の要旨を逸脱しない範囲で、種々の省略、置き換え、変更を行うことができる。これら実施形態やその変形は、発明の範囲や要旨に含まれるとともに、特許請求の範囲に記載された発明とその均等の範囲に含まれる。
【符号の説明】
【００５０】
１…画像入力部、２…画像記憶部、３…画像分割部、４…対応点算出部、５…画像一致度算出部、６…接地位置算出部、７…対象物高さ算出部、８…対象物運動情報推定部、８１…新規対象物登録部、８２…対象物追跡部、８３…対象物情報更新部、２０Ｌ、２０Ｒ…ステレオカメラ。
【技術分野】
【０００１】
本発明の実施形態は、道路に存在する柱等に取り付けられたステレオカメラから得られる画像を用いて、車両、歩行者、自転車等の対象物を検出し、対象物の位置や速度等の運動情報を推定する装置及びその方法に関する。
【背景技術】
【０００２】
ステレオ視の手法を用いて車両等の対象物を検出する一般的な手法がある。この手法では、左右のカメラ画像から相関演算を用いて対応点を求めることにより視差を計算する。計算された視差から、対象物の３次元座標が計算され、高さの情報から対象物が検出される。
【０００３】
しかし、照明や天候の変化の影響で正確に視差を計算することは容易ではない。照明や天候変化に対してロバストな手法として、平面投影ステレオ法を応用した障害物（対象物）検出装置および方法がある（例えば、特許文献１又は２を参照。）。
【０００４】
特許文献１の手法では、あらかじめ左右のカメラ画像に基づいて、一方の画像における道路面上の点を、他方の画像における道路面上の点の位置が一致するような投影パラメータを計算する。計算された投影パラメータに基づいて、一方の画像の道路面上に設定された点が、他方の画像上の対応する点を求める。対応点の環境を用いて一方の画像に近似する変換画像を生成する。対応点及び変換画像を用いて、道路平面に対して垂直上方向に一定以上の大きさを有する物体を検出する。
【０００５】
この手法では、左右のカメラが障害物（対象物）と同じような高さに設置され、俯角が小さい場合が想定されている。この手法は、カメラ画像の垂直方向に対して、１つの障害物と道路面との境界線のみを検出できる。カメラが障害物に対して高い位置に設置され、カメラ画像の垂直方向に複数の障害物を検出する必要がある場合には、いずれか１つの障害物しか検出することができないという問題がある。
【０００６】
これに対して特許文献２の手法は、前記手法を拡張し、カメラ設置に基づいて、画像垂直方向における監視領域平面の視差のプロファイルをあらかじめ計算する。各平面上における実空間上の対象物高さと画像上での高さの対応情報をもとに処理領域を設定する。各処理領域における上端と境界線の間におけるエッジ密度がある一定以上の大きさを有する領域を対象物存在領域とする。こうして得られた各処理領域における対象物存在領域を統合し、ほぼ同じ位置に対象物と道路面の境界線が算出された場合に、対象物として検出する。検出された対象物を画像上の対象物領域のテクスチャ情報を用いて追跡することにより、対象物の位置及び速度を推定する。
【０００７】
この手法では、対象物が人物や自転車等の高さがほぼ一定の対象物については有効であるが、二輪車から大型トラック等の様々な高さを含む車両を対象とした場合には、処理領域の設定が困難であり、設定の仕方が検出性能を大きく左右するという問題があり、様々な大きさを持つ対象物を検出することはできない。
【先行技術文献】
【特許文献】
【０００８】
【特許文献１】特許第４４０６３８１号公報
【特許文献２】特開２００９−１９８４４５号公報
【発明の概要】
【発明が解決しようとする課題】
【０００９】
上述したように、従来の手法では、カメラ画像の垂直方向に複数の対象物が存在した場合には、いずれか１つの障害物しか検出することができないという問題がある。また、二輪車から大型トラック等の様々な高さを含む車両を対象物とした場合には、処理領域の設定が困難であり、設定の仕方が検出性能を大きく左右するという問題があった。
【００１０】
本実施形態の目的は、広い監視領域における様々な大きさをもつ複数の対象物の位置や速度を推定することができる対象物検出装置及び方法を提供することにある。
【課題を解決するための手段】
【００１１】
本実施形態に係る対象物検出装置は、複数台のカメラにより道路上に存在する対象物を撮影した画像を入力する画像入力手段と、前記画像入力手段により入力された画像を記憶する画像記憶手段と、前記複数台のカメラのうち一つのカメラにより撮影された基準画像を、実空間上の路面垂直方向に沿って複数の短冊状領域に分割する画像分割手段と、前記基準画像上で分割した短冊状領域の各点に関して、他のカメラで撮影された参照画像上で対応する点を算出する対応点算出手段と、各短冊状領域内の各点と、前記対応点算出手段で求めた参照画像の対応点との間の画像特徴量の一致度を算出する画像一致度算出手段と、前記短冊状領域の高さと前記対象物の接地位置とを変数として、前記画像特徴量の一致度を最大にする接地位置関数を生成する接地位置算出手段と、前記接地位置関数における短冊状領域の高さに基づいて前記対象物の高さを算出する対象物高さ算出手段とを備えるものである。
【００１２】
本実施形態に係る対象物検出方法は、道路面上に存在する対象物を検出する対象物検出方法であって、複数台のカメラにより前記対象物を撮影した画像を入力する画像入力ステップと、前記画像を記憶する画像記憶ステップと、前記複数台のカメラのうち一つのカメラにより撮影された基準画像を、実空間上の路面垂直方向に沿って複数の短冊状領域に分割する画像分割ステップと、前記基準画像上で分割した短冊状領域の各点に関して、他のカメラで撮影された参照画像上で対応する点を算出する対応点算出ステップと、各短冊状領域内の各点と、前記対応点算出ステップで求めた参照画像の対応点との間の画像特徴量の一致度を算出する画像一致度算出ステップと、前記短冊状領域の高さと前記対象物の接地位置とを変数として、前記画像特徴量の一致度を最大にする接地位置関数を生成する接地位置算出ステップと、前記接地位置関数における短冊状領域の高さに基づいて前記対象物の高さを算出する対象物高さ算出ステップとを有するものである。
【図面の簡単な説明】
【００１３】
【図１】本実施形態に係る対象物検出装置の構成例を示す図。
【図２】本実施形態における対象物検出装置の概要および座標系を示す図。
【図３】左画像、右画像、及び変換画像の一例を示す図。
【図４】対象物の接地位置を検出する処理を説明するための図。
【図５】本実施形態に係る対象物検出処理を説明するための図。
【図６】対象物運動情報推定部の構成を示す図。
【発明を実施するための形態】
【００１４】
以下、図面を参照しながら本実施形態に係る対象物検出装置及び方法を説明する。
【００１５】
本装置は、道路の脇に存在する柱に設置されたステレオカメラによって撮影された画像を用いる。本装置は広い領域の車道における二輪車から大型車等の位置や速度を推定する。
【００１６】
図１は、本対象物検出装置の基本的な構成例を示す。対象物検出装置は、画像入力部１、画像記憶部２、画像分割部３、対応点算出部４、画像一致度算出部５、接地位置算出部６、対象物高さ算出部７、及び対象物運動情報推定部８を有する。これら各部１〜８の機能は、例えば記録媒体に記録されたプログラムをコンピュータが実行することによって実現することができる。
【００１７】
図２は、本実施形態における対象物検出装置の概要および座標系を示す。図２では、実空間上の水平方向の座標はＸで表され、奥行き方向の座標はＺで表される。図２では、画像座標系の水平方向の座標はｕで表され、垂直方向の座標はｖで表される。
【００１８】
（画像入力部１）
図２に示すように、監視領域の近くの柱に設置されたステレオカメラ２０Ｌ，２０Ｒが時系列画像を取得する。ステレオカメラ２０Ｌ，２０Ｒのそれぞれで取得された時系列画像が画像入力部１に入力される。
【００１９】
（画像記憶部２）
ステレオカメラから得られる左右の時系列画像は実空間における垂直方向が画像上の垂直方向に一致するように平行等位化がなされているのものとする。図３（ａ）はステレオカメラ２０Ｌで取得された左画像である。図３（ｂ）はステレオカメラ２０Ｒで取得された右画像である。図３（ｃ）は右画像をアフィン変換して得られる変換画像である。例えば、監視領域平面上の点Ｐに対応する点の左画像での位置を（ｘｌ,ｙｌ）、右画像での位置を（ｘｒ,ｙｒ）と表すと、両者はおおよそ下記の式（１）のようなアフィン変換により対応付けられる。
【数１】
【００２０】
つまり、左画像と変換画像とでは、監視領域平面上のパターンの位置が同じになる。このときのアフィン変換パラメータは、道路面上に存在する４点以上の特徴点の対応関係から計算することができる。
【００２１】
従来のステレオ法では着目点が道路領域であると仮定した場合の仮説検定を行なっていたが、それだけでは、例えば雨天時の濡れた路面などで、障害物の映り込みなどにより見かけ上道路より低い高さを持つような領域や、鏡面反射成分が大きいため左右のビデオカメラから見た輝度が大きく異なるような領域において上記の仮説が棄却され、誤って対象物と判定されてしまう可能性があった。
【００２２】
そこで、本実施形態では、道路面上の点の左右の画像における投影点が式（１）のような関係式で対応付けられること以外に、検出対象となる対象物は、高さ方向にはあまり奥行きが変化しないことを利用して、着目する道路上の点に一定以上の高さを有する対象物が存在するか否かを判定する。以下にこの判定方法の一例を説明する。
【００２３】
図３（ａ）および図３（ｂ）から明らかなように右画像は左画像に対して道路面が右寄りに撮像されることになる。図３（ａ）の点Ｐｌが道路領域に含まれるとしたときの図３（ｂ）の対応点をＰｒとする。図３（ａ）のように点Ｐｌから情報に一定の広がりを有する領域Ａｌに着目したとき、もしこの領域Ａｌが道路領域であれば図３（ｃ）の領域Ａｒ２と一致するはずである。
【００２４】
一方、もし領域Ａｌが点Ｐｌを接地点とする対象物であれば、図３（ｂ）の領域Ａｒ１と一致するはずである。したがって、領域Ａｌを領域Ａｒ１と領域Ａｒ２の両方と比較することにより、点Ｐｌが道路領域であるか対象物であるかを判定することが可能である。
【００２５】
本実施形態は、上記の判定方法に基づいており、図２に示すように道路脇の支柱に固定された２台のビデオカメラを用いて道路面上に存在する対象物と道路領域を識別する。すなわち、図２に示すように支柱に固定された左右２台のビデオカメラ２０Ｌ，２０Ｒを使用して、自動車や二輪車など、道路面上に存在する対象物を検出する状況を想定している。
【００２６】
（画像分割部３）
対象物の検出は、図３に示されるような左画像、右画像および変換画像を用いて行う。この場合、まず、図３に示すように左画像中に領域Ａｌのような実質的に垂直方向に長さが可変な短冊状の領域に分割し、この短冊状の領域Ａｌごとに対象物の接地位置を求める。なお、図３においては、接地位置を短冊状の領域の垂直方向の最下部としているが、接地位置は当初は不明であるため、最初は画像におけるカメラに近い位置となる最近傍点（画像の下端）を最下部として高さが可変な短冊状の領域に分割することになる。２順目以降は既に求めた対象物の高さ位置を下点としてカメラ画像で奥方向の領域を分割する。
【００２７】
（対応点算出部４）（画像一致度算出部５）
対応点の算出には、左右の一方の画像中の任意の点の位置に対して、指定された点に道路平面拘束を適用した場合に、もう一方の画像中で入力点に対応する点の位置を計算する。これにより左右の画像間の対応関係を用いて、図３（ｂ）に示されるような右画像に、右画像中の道路平面拘束を満たす領域が例えば図３（ａ）に示されるような左画像に一致するような変換を加え、図３（ｃ）のような変換画像を作成し、それを記憶する。
【００２８】
例えば、図４の左画像中の点Ｐ１が対象物の接地位置であると仮定した場合、図４中の右画像および変換画像における、左画像の点Ｐ１に対応する点をそれぞれ点Ｐｒ１、Ｐｒｔ１とおくと、領域Ａ１の画像の点Ｐ１より上の領域は、図４の右画像中の領域Ａｒ１と対応し、領域Ａ１の画像の点Ｐ１より下の領域は、図４の変換画像中の領域Ａｒｔの点Ｐｒｔ１より下の領域と対応する。この対応関係をもとに図４の左画像中の領域Ａ１の画像と、それに対応する右画像中の領域と変換画像中の領域とを合わせた画像との間の画像特徴量の一致度が正規化相関などの手法によって算出される。特徴量の一致度とは、例えば、画素輝度値の正規化相関値、又は画素輝度勾配方向の一致度などを用いるものとする。
【００２９】
また、図４の左画像中の点Ｐ２が対象物の接地位置であると仮定した場合、図４の右画像および変換画像における、左画像の点Ｐ２に対応する点をそれぞれ点Ｐｒ２、Ｐｒｔ２とおくと、領域Ａ１の画像の点Ｐ２より上の領域は、図４の右画像中の領域Ａｒ２と対応し、領域Ａ１の画像の点Ｐ２より下の領域は、図４の変換画像中の領域Ａｒｔの点Ｐｒｔ２より下の領域と対応する。この対応関係をもとに図４の左画像中の領域Ａ１の画像と、それに対応する右画像中の領域と変換画像中の領域とを合わせた画像との間の画像特徴量の一致度が正規化相関などの手法によって算出される。
【００３０】
更に、図４の左画像中の点Ｐ３が対象物の接地位置であると仮定した場合、図４の右画像および変換画像における、左画像の点Ｐ３に対応する点をそれぞれ点Ｐｒ３、Ｐｒｔ３とおくと、領域Ａ１ の画像の点Ｐ３より上の領域は、図４の右画像中の領域Ａｒ２より左にずれた領域Ａｒ３および変換画像の点Ｐｒｔ３より上の領域と対応する。領域Ａ１の画像の点Ｐ３より下の領域は、図４の変換画像中の領域Ａｒｔの点Ｐｒｔ３より下の領域と対応する。
【００３１】
この対応関係をもとに図４の左画像中の領域Ａ１の画像と、それに対応する右画像中の領域と変換画像中の領域とを合わせた画像との間の画像特徴量の一致度が正規化相関などの手法によって算出される。
【００３２】
上記のように接地点の位置を上から順に下まで移動させながら画像処理を繰り返すと、図４の画像の一致度のグラフのように、接地位置に対する画像の一致度の関係が求められる。
【００３３】
一方で、図５に示すように、対象物が画面上で垂直方向に複数台ある場合には、上記方法では画像一致度のピーク値が鈍るとともに、一方の対象物の接地位置しか求めることができない。
【００３４】
ここで、図５に示すようにある短冊状の領域Ａ１に対して、接地点Ｐ１を設定したときに、更にＡ１の上端となる点を対象物の高さとして点Ｈ１を設定する。例えば、図５では左画像における短冊状の領域Ａ１の上端点である対象物高さ点Ｈ１と、この領域に含まれる接地点Ｐ１が図５の位置であると仮定した場合、図５の右画像および変換画像における、左画像の点Ｐ１に対応する点をそれぞれ点Ｐｒ１、Ｐｒｔ１とし、右画像における、左画像の点Ｈ１に対応する点をＨｒ１とおくと、領域Ａ１の画像の点Ｐ１から点Ｈ１の領域は、図５の右画像中の領域Ａｒ１と対応し、領域Ａ１の画像の点Ｐ１より下の領域は、図５の変換画像中の領域Ａｒｔの点Ｐｒｔ１より下の領域と対応する。この対応関係をもとに図５の左画像中の領域Ａ１の画像と、それに対応する右画像中の領域と変換画像中の領域とを合わせた画像との間の画像特徴量の一致度が正規化相関などの手法によって算出される。
【００３５】
（接地位置算出部６）（対象物高さ算出部７）
接地位置算出部６及び対象物高さ算出部７において、上記のように接地点の位置と、短冊状の領域の上端の位置とを順に移動させながら画像処理を繰り返し、それぞれの移動量を軸にとると、図５の画像の一致度のグラフのように、接地位置と領域の上端つまり対象物の高さに対する画像の一致度の関係が求められる。すなわち、右画像の領域Ａｒ１と変換画像の領域Ａｒｔの点Ｐｒｔ１より下の部分の画像信号（輝度信号）と左画像の領域Ａ１との画像特徴量の比較を行なうことにより、点Ｐ１を接地位置、点Ｈ１を対象物の高さと仮定した場合の画像の一致度が算出される。これを繰り返すことにより図５に示されるような画像一致度を示すグラフが形成される。このグラフより、接地位置を図５の左画像中の点Ｐ１、点Ｈ１の組み合わせのように正しく仮定した場合に、左画像中の領域と右画像、変換画像との正しい対応関係が与えられ、したがって画像の一致度が最も高くなることがわかる。そこで、一致度のグラフで最高の一致度を与える点を領域Ａ１内での対象物の接地位置と対象物高さとする。
【００３６】
以下、この手順を画像の垂直方向に適当な長さを有する短冊状の領域Ａ１を水平方向に移動させながら繰り返し、例えば各短冊状の領域のうち画像の一致度が最大となる点を水平方向に結び、合計一致度が最大となる点を算出する接地位置関数により画像全体についてカメラに近い位置に存在する対象物の接地位置と対象物の高さを安定かつ高精度に求めることが可能となる。
【００３７】
次に、上記方法によって得られたカメラに近い位置に存在する対象物の高さ位置に基づき、これより画像中の上の領域を対象物の検出領域として設定する。設定した検出領域について、前記対象物の高さ位置を下限として、上記同様の対象物検出処理を実施する。これにより、画像中で垂直方向に複数の対象物がある場合においても、接地位置と対象物の高さを安定かつ高精度に求めることが可能となる。
【００３８】
（対象物運動情報推定部８）
対象物運動情報推定部８は、検出された複数の接地位置が描く境界線をラベリングにより複数の境界線分として検出する。境界線分ごとに、各接地位置に対応する対象物高さ情報をもとに、画像中における対象物領域の大きさを決定する。そして、検出された個々の対象物を時系列で追跡する。
【００３９】
図６は、対象物運動情報推定部８の構成を示す図である。図６に示すように、対象物運動情報推定部８は、新規対象物登録部８１、対象物追跡部８２、及び対象物情報更新部８３を有する。
【００４０】
新規対象物登録部８１は、検出された対象物の接地位置に基づく世界座標系（３次元実空間の座標系）での位置および画像上での位置を登録する。また画像上の対象物領域のテクスチャ情報をテンプレートとして登録する。
【００４１】
対象物追跡部８２において、登録された対象領域の次時刻での位置をテンプレートマッチングにより求める。テンプレートマッチングでは、式（２）のような輝度値の正規化相互相関（ＮＣＣ：Normalized Correlation Coefficient）による評価値を用いる。対象画像をＩ（ｉ，ｊ）、テンプレートをＴ（ｉ，ｊ）、テンプレートのサイズがＭ×Ｎとする。
【数２】
【００４２】
テンプレートマッチングで用いる評価値は様々にある。他の評価値を用いても構わない。
【００４３】
対象物情報更新部８３は、対象物追跡部８２において追跡された対象物と検出された対象物との距離差を計算する。対象物情報更新部８３は、距離差が閾値より小さい場合には、対応付けされた対象物と判定する。対応付けされた対象物の場合は、追跡結果による対象物位置と検出結果による対象物位置の平均値を計算し、平均された位置を対象物の位置として更新する。また、平均された位置による対象物領域のテクスチャ情報を更新する。平均値を計算する場合、重みを付けて計算しても構わない。
【００４４】
新規対象物登録部８１は、検出結果による対象物のうち対応付けされなかったものを新規の対象物として登録する。また更新された対象物に関しては、等加速度運動モデルを適用したカルマンフィルタを用いて、対象物の位置および速度を推定する。位置や速度を推定するフィルタは様々あり、他のフィルタを用いても構わない。
【００４５】
以上のような処理を時系列画像に対して処理を行い、自動車や二輪車などの対象物の位置や速度を検出する。
【００４６】
上記のように道路上における対象物の位置や速度が検出されると、対象物の検出信号が出力され、この検出信号が自動車の安全運転支援や道路交通管理情報として、図示していない安全運転支援装置や道路交通管理装置に適用される。例えば、交差点付近における路上を走行する自動車や二輪車の位置、速度の計測結果により、交差点右折時の車両に対して死角となる位置の接近車両の情報を通知したりする安全運転支援システムや、見通し不良の一般道における対向車検知システム、高速道路における交通流計測システムなどへ適用できる。
【００４７】
以上述べたように、本実施形態では、あらかじめ対象物の大きさに応じた処理領域の設定等を行なわず、かつ安定的に高精度な対象物検出性能を実現できるよう、画像中の適当な注目領域について、対象物の路面上への接地位置と対象物高さに応じて画像間の画像一致度が最大となる組み合わせを算出することで、当該領域における対象物の接地位置と高さを推定する。これを監視領域について繰り返すことにより、監視領域における個々の対象物の領域、位置を安定的かつ高精度に検出することができる。また、時系列に対象物を追跡することにより対象物の速度を計測することができる。
【００４８】
これにより、広い監視領域における様々な大きさをもつ複数の対象物の位置や速度を推定することができる。
【００４９】
なお、本発明のいくつかの実施形態を説明したが、これらの実施形態は、例として提示したものであり、発明の範囲を限定することは意図していない。これら新規な実施形態は、その他の様々な形態で実施されることが可能であり、発明の要旨を逸脱しない範囲で、種々の省略、置き換え、変更を行うことができる。これら実施形態やその変形は、発明の範囲や要旨に含まれるとともに、特許請求の範囲に記載された発明とその均等の範囲に含まれる。
【符号の説明】
【００５０】
１…画像入力部、２…画像記憶部、３…画像分割部、４…対応点算出部、５…画像一致度算出部、６…接地位置算出部、７…対象物高さ算出部、８…対象物運動情報推定部、８１…新規対象物登録部、８２…対象物追跡部、８３…対象物情報更新部、２０Ｌ、２０Ｒ…ステレオカメラ。
【特許請求の範囲】
【請求項１】
複数台のカメラにより道路上に存在する対象物を撮影した画像を入力する画像入力手段と、
前記画像入力手段により入力された画像を記憶する画像記憶手段と、
前記複数台のカメラのうち一つのカメラにより撮影された基準画像を、実空間上の路面垂直方向に沿って複数の短冊状領域に分割する画像分割手段と、
前記基準画像上で分割した短冊状領域の各点に関して、他のカメラで撮影された参照画像上で対応する点を算出する対応点算出手段と、
各短冊状領域内の各点と、前記対応点算出手段で求めた参照画像の対応点との間の画像特徴量の一致度を算出する画像一致度算出手段と、
前記短冊状領域の高さと前記対象物の接地位置とを変数として、前記画像特徴量の一致度を最大にする接地位置関数を生成する接地位置算出手段と、
前記接地位置関数における短冊状領域の高さに基づいて前記対象物の高さを算出する対象物高さ算出手段と
を備えることを特徴とする対象物検出装置。
【請求項２】
前記接地位置と前記対象物の高さ情報とに基づいて前記対象物を検出し、路面接地位置により実空間上の位置および速度を推定する対象物運動情報推定手段と
をさらに備えることを特徴とする請求項１記載の対象物検出装置。
【請求項３】
前記画像分割手段は、
前記基準画像を実空間上の路面垂直方向に沿って複数の短冊状領域に分割するにあたり、路面に直交する方向に一定間隔で一定幅を持つように設定し、垂直方向には画像おける最近傍点もしくは既に対象物高さ算出手段により求めた高さ位置からの高さを連続的に変化させることを特徴とする請求項１記載の対象物検出装置。
【請求項４】
前記画像分割手段は、
あらかじめ前記基準画像について路面垂直方向が当該画像の垂直方向に一致するよう画像を変換し、前記参照画像についても路面垂直方向が画像の垂直方向に一致するよう変換する画像変換手段を備えることを特徴とする請求項１記載の対象物検出装置。
【請求項５】
前記対応点算出手段は、
路面上の任意の点について、前記基準画像中における前記任意の点の対応点の座標と、前記参照画像中での任意の点の投影点の座標値との対応関係を求める道路領域対応点算出手段と、
前記任意の点を接地点とし、この接地点を含み道路面に対して垂直な直線を含む一つの平面における基準画像中における前記任意の点の投影点の座標と参照画像中での前記任意の点の投影点の座標との対応関係を求める対象物領域対応点算出手段と
を備えることを特徴とする請求項１記載の対象物検出装置。
【請求項６】
前記画像一致度算出手段は、
前記参照画像中の道路領域のパターンが前記基準画像の道路領域の特徴パターンと一致する参照画像の道路面変換画像を生成する道路面画像変換手段と、
道路面に垂直に立つ対象物の参照画像中のパターンが基準画像中の特徴パターンと一致する参照画像の変換画像を生成する対象物画像変換手段と
を備え、
前記基準画像における基準領域画像とこの基準領域画像内に含まれる対象物の道路面との接地位置を入力として、基準領域画像のうち接地位置より下の道路面領域については参照画像を道路面画像変換手段により変換した道路面変換画像との間で一致度を計算し、基準領域画像のうち接地位置より上の対象物領域については参照画像を対象物画像変換手段により変換した対象物面変換画像との間で一致度を計算することを特徴とする請求項１記載の対象物検出装置。
【請求項７】
前記接地位置算出手段は、
前記短冊状領域の高さと前記対象物の接地位置を可変として各々の前記画像特徴量の一致度を算出し、隣接する各短冊状領域方向に画像特徴量の一致度を最大化する接地位置関数を算出することを特徴とする請求項１記載の対象物検出装置。
【請求項８】
前記接地位置算出手段は、
前記短冊状領域について、各接地位置での短冊状領域の高さそれぞれの前記画像特徴量の一致度のうち最大となる画像特徴量の一致度をその接地位置における画像特徴量の一致度として算出し、隣接する各短冊状領域方向に画像特徴量の一致度を最大化する接地位置関数を算出することを特徴とする請求項１記載の対象物検出装置。
【請求項９】
前記対象物高さ算出手段は、
前記接地位置算出手段で求めた各短冊状領域の接地位置において、前記画像特徴量の一致度が最大となる短冊状領域の高さを算出し、この高さ位置より画像中で上方の領域について前記画像分割から対象物高さ算出を実行し、画像中手前の対象物より奥に存在する対象物の接地位置を求めることを特徴とする請求項１記載の対象物検出装置。
【請求項１０】
前記対象物運動情報推定手段は、
前記対象物の接地位置とこれに対応する対象物の高さ情報に基づき、形状・大きさ等の特徴量から対象物の領域を個々に検出する対象物検出手段と、
前記対象物検出手段から得られる対象物の領域に対して、位置・形状情報を新規に登録する新規対象物登録手段と、
登録した対象物を位置・形状情報に基づいて追跡する対象物追跡手段と、
追跡した対象物の位置・形状情報を更新する対象情報更新手段と
を備えることを特徴とする請求項２記載の対象物検出装置。
【請求項１１】
道路面上に存在する対象物を検出する対象物検出方法であって、
複数台のカメラにより前記対象物を撮影した画像を入力する画像入力ステップと、
前記画像を記憶する画像記憶ステップと、
前記複数台のカメラのうち一つのカメラにより撮影された基準画像を、実空間上の路面垂直方向に沿って複数の短冊状領域に分割する画像分割ステップと、
前記基準画像上で分割した短冊状領域の各点に関して、他のカメラで撮影された参照画像上で対応する点を算出する対応点算出ステップと、
各短冊状領域内の各点と、前記対応点算出ステップで求めた参照画像の対応点との間の画像特徴量の一致度を算出する画像一致度算出ステップと、
前記短冊状領域の高さと前記対象物の接地位置とを変数として、前記画像特徴量の一致度を最大にする接地位置関数を生成する接地位置算出ステップと、
前記接地位置関数における短冊状領域の高さに基づいて前記対象物の高さを算出する対象物高さ算出ステップと
を有することを特徴とする対象物検出方法。
【請求項１】
複数台のカメラにより道路上に存在する対象物を撮影した画像を入力する画像入力手段と、
前記画像入力手段により入力された画像を記憶する画像記憶手段と、
前記複数台のカメラのうち一つのカメラにより撮影された基準画像を、実空間上の路面垂直方向に沿って複数の短冊状領域に分割する画像分割手段と、
前記基準画像上で分割した短冊状領域の各点に関して、他のカメラで撮影された参照画像上で対応する点を算出する対応点算出手段と、
各短冊状領域内の各点と、前記対応点算出手段で求めた参照画像の対応点との間の画像特徴量の一致度を算出する画像一致度算出手段と、
前記短冊状領域の高さと前記対象物の接地位置とを変数として、前記画像特徴量の一致度を最大にする接地位置関数を生成する接地位置算出手段と、
前記接地位置関数における短冊状領域の高さに基づいて前記対象物の高さを算出する対象物高さ算出手段と
を備えることを特徴とする対象物検出装置。
【請求項２】
前記接地位置と前記対象物の高さ情報とに基づいて前記対象物を検出し、路面接地位置により実空間上の位置および速度を推定する対象物運動情報推定手段と
をさらに備えることを特徴とする請求項１記載の対象物検出装置。
【請求項３】
前記画像分割手段は、
前記基準画像を実空間上の路面垂直方向に沿って複数の短冊状領域に分割するにあたり、路面に直交する方向に一定間隔で一定幅を持つように設定し、垂直方向には画像おける最近傍点もしくは既に対象物高さ算出手段により求めた高さ位置からの高さを連続的に変化させることを特徴とする請求項１記載の対象物検出装置。
【請求項４】
前記画像分割手段は、
あらかじめ前記基準画像について路面垂直方向が当該画像の垂直方向に一致するよう画像を変換し、前記参照画像についても路面垂直方向が画像の垂直方向に一致するよう変換する画像変換手段を備えることを特徴とする請求項１記載の対象物検出装置。
【請求項５】
前記対応点算出手段は、
路面上の任意の点について、前記基準画像中における前記任意の点の対応点の座標と、前記参照画像中での任意の点の投影点の座標値との対応関係を求める道路領域対応点算出手段と、
前記任意の点を接地点とし、この接地点を含み道路面に対して垂直な直線を含む一つの平面における基準画像中における前記任意の点の投影点の座標と参照画像中での前記任意の点の投影点の座標との対応関係を求める対象物領域対応点算出手段と
を備えることを特徴とする請求項１記載の対象物検出装置。
【請求項６】
前記画像一致度算出手段は、
前記参照画像中の道路領域のパターンが前記基準画像の道路領域の特徴パターンと一致する参照画像の道路面変換画像を生成する道路面画像変換手段と、
道路面に垂直に立つ対象物の参照画像中のパターンが基準画像中の特徴パターンと一致する参照画像の変換画像を生成する対象物画像変換手段と
を備え、
前記基準画像における基準領域画像とこの基準領域画像内に含まれる対象物の道路面との接地位置を入力として、基準領域画像のうち接地位置より下の道路面領域については参照画像を道路面画像変換手段により変換した道路面変換画像との間で一致度を計算し、基準領域画像のうち接地位置より上の対象物領域については参照画像を対象物画像変換手段により変換した対象物面変換画像との間で一致度を計算することを特徴とする請求項１記載の対象物検出装置。
【請求項７】
前記接地位置算出手段は、
前記短冊状領域の高さと前記対象物の接地位置を可変として各々の前記画像特徴量の一致度を算出し、隣接する各短冊状領域方向に画像特徴量の一致度を最大化する接地位置関数を算出することを特徴とする請求項１記載の対象物検出装置。
【請求項８】
前記接地位置算出手段は、
前記短冊状領域について、各接地位置での短冊状領域の高さそれぞれの前記画像特徴量の一致度のうち最大となる画像特徴量の一致度をその接地位置における画像特徴量の一致度として算出し、隣接する各短冊状領域方向に画像特徴量の一致度を最大化する接地位置関数を算出することを特徴とする請求項１記載の対象物検出装置。
【請求項９】
前記対象物高さ算出手段は、
前記接地位置算出手段で求めた各短冊状領域の接地位置において、前記画像特徴量の一致度が最大となる短冊状領域の高さを算出し、この高さ位置より画像中で上方の領域について前記画像分割から対象物高さ算出を実行し、画像中手前の対象物より奥に存在する対象物の接地位置を求めることを特徴とする請求項１記載の対象物検出装置。
【請求項１０】
前記対象物運動情報推定手段は、
前記対象物の接地位置とこれに対応する対象物の高さ情報に基づき、形状・大きさ等の特徴量から対象物の領域を個々に検出する対象物検出手段と、
前記対象物検出手段から得られる対象物の領域に対して、位置・形状情報を新規に登録する新規対象物登録手段と、
登録した対象物を位置・形状情報に基づいて追跡する対象物追跡手段と、
追跡した対象物の位置・形状情報を更新する対象情報更新手段と
を備えることを特徴とする請求項２記載の対象物検出装置。
【請求項１１】
道路面上に存在する対象物を検出する対象物検出方法であって、
複数台のカメラにより前記対象物を撮影した画像を入力する画像入力ステップと、
前記画像を記憶する画像記憶ステップと、
前記複数台のカメラのうち一つのカメラにより撮影された基準画像を、実空間上の路面垂直方向に沿って複数の短冊状領域に分割する画像分割ステップと、
前記基準画像上で分割した短冊状領域の各点に関して、他のカメラで撮影された参照画像上で対応する点を算出する対応点算出ステップと、
各短冊状領域内の各点と、前記対応点算出ステップで求めた参照画像の対応点との間の画像特徴量の一致度を算出する画像一致度算出ステップと、
前記短冊状領域の高さと前記対象物の接地位置とを変数として、前記画像特徴量の一致度を最大にする接地位置関数を生成する接地位置算出ステップと、
前記接地位置関数における短冊状領域の高さに基づいて前記対象物の高さを算出する対象物高さ算出ステップと
を有することを特徴とする対象物検出方法。
【図１】
【図２】
【図３】
【図４】
【図５】
【図６】
【図２】
【図３】
【図４】
【図５】
【図６】
【公開番号】特開２０１２−１２２９２３（Ｐ２０１２−１２２９２３Ａ）
【公開日】平成２４年６月２８日（２０１２．６．２８）
【国際特許分類】
【出願番号】特願２０１０−２７５４０３（Ｐ２０１０−２７５４０３）
【出願日】平成２２年１２月１０日（２０１０．１２．１０）
【出願人】（０００００３０７８）株式会社東芝 (54,554)
【Ｆターム（参考）】
【公開日】平成２４年６月２８日（２０１２．６．２８）
【国際特許分類】
【出願日】平成２２年１２月１０日（２０１０．１２．１０）
【出願人】（０００００３０７８）株式会社東芝 (54,554)
【Ｆターム（参考）】
[ Back to top ]