物体検出装置
【課題】ステレオマッチング処理で検出された物体のうち、ミスマッチングにより誤検出された物体を的確に識別することが可能な物体検出装置を提供する。
【解決手段】物体検出装置1は、物体Oを撮像して基準画像TOと比較画像TCとを出力するステレオ撮像手段2と、ステレオマッチング処理を行って視差dpを算出するステレオマッチング手段7と、グルーピング手段10によりグループ化された視差dpに基づいて基準画像TO上に物体の領域を設定し、各領域の左端部の基準画素ブロックPBOに対応して比較画像TCのエピポーララインEPL上に特定された比較画素ブロックPBCの左側の範囲について再度ステレオマッチング処理を行い、特定された比較画素ブロックPBC以外にSAD値の極小値が閾値以下となる比較画素ブロックPBCを検出した場合に、当該物体はミスマッチングであると判定する判定手段11とを備える。
【解決手段】物体検出装置1は、物体Oを撮像して基準画像TOと比較画像TCとを出力するステレオ撮像手段2と、ステレオマッチング処理を行って視差dpを算出するステレオマッチング手段7と、グルーピング手段10によりグループ化された視差dpに基づいて基準画像TO上に物体の領域を設定し、各領域の左端部の基準画素ブロックPBOに対応して比較画像TCのエピポーララインEPL上に特定された比較画素ブロックPBCの左側の範囲について再度ステレオマッチング処理を行い、特定された比較画素ブロックPBC以外にSAD値の極小値が閾値以下となる比較画素ブロックPBCを検出した場合に、当該物体はミスマッチングであると判定する判定手段11とを備える。
【発明の詳細な説明】
【技術分野】
【0001】
本発明は、物体検出装置に係り、特に、ステレオ撮像手段により撮像された一対の画像に対してステレオマッチング処理を行って物体を検出する物体検出装置に関する。
【背景技術】
【0002】
ステレオカメラを用いて物体までの距離を測定する手法としては、左右同じ高さに取り付けられた一対のカメラで撮像された一対の撮像画像を用いて、一対の撮像画像のうち、基準となる一方の撮像画像(以下、基準画像という。)と他方の撮像画像(以下、比較画像という。)とを比較して、同じ物体が撮像されている各画像中の各位置の差、すなわち視差を算出し、その視差に基づいて物体までの距離を算出する手法が一般的である。そして、基準画像と比較画像で同じ物体が撮像されている位置を特定する手法としては、通常、ステレオマッチング処理が行われる(例えば特許文献1等参照)。
【0003】
ステレオマッチング処理では、図22に示すように、基準画像TOを例えば3×3画素や4×4画素等の所定の画素数の小領域(以下、基準画素ブロックPBOという。)に分割し、各基準画素ブロックPBOごとに、比較画像TC中の基準画素ブロックPBOに対応する位置のエピポーララインEPL上の基準画素ブロックPBOと同形の各比較画素ブロックPBCとの輝度パターンを比較する。
【0004】
その際、例えば、基準画素ブロックPBO中の各画素の輝度値をp1stとし、比較画素ブロックPBC中の各画素の輝度値をp2stとした場合、輝度パターンの差異として下記(1)式のSAD(Sum of Absolute Difference)値を算出する。
【0005】
【数1】
【0006】
なお、上記(1)式では、基準画素ブロックPBOや比較画素ブロックPBCが例えば3×3画素の領域として設定される場合には1≦s≦3、1≦t≦3の範囲、例えば4×4画素の領域として設定される場合には1≦s≦4、1≦t≦4の範囲の全画素について、差の絶対値の総和が算出される。
【0007】
そして、このSAD値が最小となる比較画素ブロックPBCが、基準画素ブロックPBOに撮像されている物体と同じ物体が撮像されている比較画像上の比較画素ブロックとして特定される。また、このステレオマッチング処理の結果を用いて、特定された比較画素ブロックPBCと元の基準画素ブロックPBOとの視差が算出され、その視差に基づいて三角測量の原理により物体までの距離が算出される。
【特許文献1】特開2004−234423号公報
【発明の開示】
【発明が解決しようとする課題】
【0008】
ところで、例えば図23(A)に示す基準画像TOと図23(B)に示す比較画像TCは、車両に搭載したステレオカメラにより車両前方の同一の物体O(車両)を撮像したものである。ここで、このように似たような輝度パターンが一定の間隔で並んでいる物体O等が撮像されている画像に対して上記のステレオマッチング処理を行う場合について考察する。
【0009】
例えば基準画像TOの物体Oの繰り返される輝度パターン部分に設定された基準画素ブロックPBO(p)に対して、比較画像TCのエピポーララインEPL上の比較画素ブロックPBCを左から右に1画素分ずつシフトしながら上記(1)式に従ってSAD値を算出していくと、図24のグラフに示すように、SAD値が極小となり下向きのピークとなる比較画素ブロックPBC(a)、PBC(b)、PBC(c)、…が繰り返し現れる。
【0010】
そして、本来特定されるべき比較画素ブロックPBC(a)のSAD値SAD(a)よりも他の比較画素ブロックPBC(c)のSAD値SAD(c)の方が小さくなると、本来特定されるべき比較画素ブロックPBC(a)ではない比較画素ブロックPBC(c)が特定されてしまう、いわゆるミスマッチングが生じる。
【0011】
そして、ミスマッチングに基づいて視差が算出されると、物体までの誤った距離が算出されてしまい、例えば図23(A)、(B)に示したように1つの物体Oが撮像されているにもかかわらず、物体Oの一部で誤った距離が算出された結果、図25に示すように物体Oの一部が本来の物体Oとは距離が異なる別の物体Oaとして誤検出されるという事態が発生する。
【0012】
このようなミスマッチングによる物体の誤検出は、図23(A)、(B)に示したように似たような輝度パターンが並ぶ物体が撮像されている場合だけでなく、例えば柵や塀等のように似たような輝度パターンが一定の間隔で並んで撮像される物体の場合においても生じ得る。
【0013】
このような物体の誤検出が、例えば先行車両を追跡するために車両に搭載された物体検出装置で生じると、特に先行車両の手前側に別の物体が誤検出された場合には、その情報が車両のECU(Electric Control Unit)の先行車追従システム等に送られて不要なブレーキ操作が自動的に行われてしまう等の問題が生じていた。
【0014】
このような問題を解決するために、特許文献1では、SAD値のピークの鋭さとピークの乱立状況により視差の信頼度を出力する方法や装置等が提案されている。しかし、この方法や装置等では、視差の信頼度を算出するための処理時間が長くなるとともに、図23(A)、(B)に示したようにもともとSAD値の誤ったピークを特定し易い輝度パターンを有する物体等を検出しようとすると全体的に信頼度が低下してしまうため、視差に基づいて算出された距離が実際には正しく算出されていてもその信頼度が低くなり、得られた結果が正しいのか誤っているのかの線引きをすることが困難になる場合が生じていた。
【0015】
本発明は、このような事情に鑑みてなされたものであり、ステレオマッチング処理で検出された物体のうち、ミスマッチングにより誤検出された物体を的確に識別することが可能な物体検出装置を提供することを目的とする。
【課題を解決するための手段】
【0016】
前記の問題を解決するために、第1の発明は、物体検出装置において、
左右同じ高さに取り付けられた一対のカメラで物体を同時に撮像して基準画像と比較画像とを出力するステレオ撮像手段と、
前記基準画像上に所定の画素数の基準画素ブロックを設定し、当該基準画素ブロックに対応する前記比較画像中のエピポーラライン上の前記基準画素ブロックと同形の各比較画素ブロックについて当該基準画素ブロックとの輝度パターンの差異を所定の計算式に従って算出して前記差異が最小の比較画素ブロックを特定するステレオマッチング処理を行って、特定した比較画素ブロックの前記比較画像上の位置と当該基準画素ブロックの前記基準画像上の位置から視差を算出することで、前記基準画素ブロックごとに視差を算出するステレオマッチング手段と、
前記基準画素ブロックごとの視差に基づいて同一の物体と見なすべき前記視差をグループ化するグルーピング手段と、
前記グループ化された視差に基づいて前記基準画像上に物体を検出して前記物体が撮像されている領域を設定するとともに、前記各領域の左端部または右端部に属する前記基準画素ブロックを選択し、当該基準画素ブロックに対応して前記比較画像上に特定された前記比較画素ブロックを含む前記エピポーララインの前記特定された比較画素ブロックの左側または右側の範囲について再度前記ステレオマッチング処理を行い、前記特定された比較画素ブロック以外の比較画素ブロックであって、前記差異の極小値を与え、当該極小値が予め設定された閾値以下である比較画素ブロックが検出された場合には、当該物体はミスマッチングであると判定する判定手段と、
を備えることを特徴とする。
【0017】
第2の発明は、第1の発明の物体検出装置において、前記所定の計算式は、前記基準画素ブロック中の各画素の輝度値をp1st、前記比較画素ブロック中の各画素の輝度値をp2stとするとき、前記基準画素ブロックおよび前記比較画素ブロック中の全画素の輝度値について
【数2】
で算出されるSAD値を前記差異として算出する計算式であることを特徴とする。
【0018】
第3の発明は、第1または第2の発明の物体検出装置において、前記判定手段は、前記基準画像上に検出された各物体について、当該物体が撮像されている領域の左端部または右端部に属する前記基準画素ブロックのうち、すべての基準画素ブロックまたは所定個数の基準画素ブロックに対して前記再度のステレオマッチング処理を行い、各基準画素ブロックについて、前記差異の極小値が前記閾値以下となる前記特定された比較画素ブロック以外の比較画素ブロックの前記比較画像上での位置が集中している場合に、当該物体はミスマッチングであると判定することを特徴とする。
【0019】
第4の発明は、第1から第3のいずれかの発明の物体検出装置において、前記判定手段は、ミスマッチングであると判定した物体を検出した物体中から除外することを特徴とする。
【0020】
第5の発明は、第1から第3のいずれかの発明の物体検出装置において、前記判定手段は、ミスマッチングであると判定した物体が撮像されている領域の左端部または右端部に属する前記基準画素ブロックに対応して前記比較画像上に特定された前記比較画素ブロックを含む前記エピポーラライン上での前記再度のステレオマッチング処理により、前記差異の極小値が前記閾値以下となる前記特定された比較画素ブロック以外の比較画素ブロックの前記比較画像上の位置と、当該基準画素ブロックの前記基準画像上の位置とから視差を算出し、前記ミスマッチングであると判定した物体が、当該算出した視差に基づいて算出される実空間上の距離に存在するとした場合に、検出されている他のいずれかの物体の実空間上の距離と所定の誤差の範囲内で符合するときは、当該ミスマッチングであると判定した物体を、それと符合する当該他の物体と同一の物体であると判定することを特徴とする。
【0021】
第6の発明は、第5の発明の物体検出装置において、前記差異の極小値が前記閾値以下となる前記特定された比較画素ブロック以外の比較画素ブロックが複数存在する場合には、前記特定された比較画素ブロック以外のすべての比較画素ブロックについて、前記符合するか否かの判定を行うことを特徴とする。
【0022】
第7の発明は、第5または第6の発明の物体検出装置において、前記符合するか否かの判定を行う対象となる他の物体は、前記基準画像上で前記ミスマッチングであると判定した物体の近傍に検出された物体であることを特徴とする。
【0023】
第8の発明は、第1から第7のいずれかの発明の物体検出装置において、前記判定手段は、今回のサンプリング周期でミスマッチングであると判定した物体について行った前記再度のステレオマッチング処理で得られた前記差異の極小値を与え当該極小値が前記閾値以下である比較画素ブロックの情報の中に、ミスマッチングであると判定した当該物体に対応する前回のサンプリング周期で検出された物体について前記前回のサンプリング周期で行った前記再度のステレオマッチング処理で得られた前記差異の極小値を与え当該極小値が前記閾値以下である比較画素ブロックの情報に近接する情報がある場合には、今回のサンプリング周期で当該物体に対して行ったミスマッチングであるとの判定の信頼度を向上させることを特徴とする。
【0024】
第9の発明は、第1から第8のいずれかの発明の物体検出装置において、前記判定手段は、算出された前記差異に基づいて、前記基準画像と前記比較画像との一方または両方の輝度値を増加させまたは減少させることを特徴とする。
【発明の効果】
【0025】
第1の発明によれば、ステレオ撮像手段で撮像された基準画像と比較画像と基づいてステレオマッチング処理を行って基準画像上に検出した物体に対して、物体が撮像されている基準画像上の各領域について、各領域の左端部または右端部に属する基準画素ブロックを選択し、当該基準画素ブロックに対応して特定された比較画素ブロックを含むエピポーラライン上の前記特定された比較画素ブロックの左側または右側の範囲について再度ステレオマッチング処理を行う。そして、当該物体について、特定された比較画素ブロック以外に、SAD値等の差異の極小値を与え、当該極小値が予め設定された閾値以下である比較画素ブロックが検出された場合に、当該物体はミスマッチングであると判定する。
【0026】
このように構成することで、図23(A)、(B)に示したような似たような輝度パターンが一定の間隔で並ぶ物体等が撮像され、ミスマッチングを生じ易い画像に対しても、再度のステレオマッチング処理で、特定された比較画素ブロックの左側または右側の範囲に差異の極小値を与え当該極小値が閾値以下である比較画素ブロックが検出された場合に当該物体がミスマッチングであると判定することで、ミスマッチングにより誤検出された物体を的確に識別することが可能となる。
【0027】
また、そのため、例えば物体検出装置を車両に搭載し、先行車両を追跡する場合にも、物体の誤検出により先行車追従システム等が作動して不要なブレーキ操作が自動的に行われる事態の発生を防止することが可能となる。さらに、前記閾値を適切に設定することで、容易かつ確実にミスマッチングによる物体の誤検出を識別することが可能となる。
【0028】
第2の発明によれば、前記(1)式に従って算出されるSAD値に基づいてステレオマッチング手段でステレオマッチング処理が行われ、判定手段で再度のステレオマッチング処理が行われるため、前記各処理を容易に行うことが可能となるとともに、判定手段での再度のステレオマッチング処理によりエピポーラライン上の前記範囲に特定された比較画素ブロック以外に前記条件を満たす比較画素ブロックが存在するか否かを容易かつ的確に判定することが可能となり、前記発明の効果がより容易かつ的確に発揮される。
【0029】
第3の発明によれば、物体が撮像されている基準画像上の各領域について、各領域の左端部または右端部に属する複数の基準画素ブロックを選択してそれぞれ再度のステレオマッチング処理を行うことで、より確実にミスマッチングの判定を行うことが可能となり、前記各発明の効果がより確実に発揮される。
【0030】
第4の発明によれば、前記各発明の効果に加え、ミスマッチングであると判定した物体を検出した物体中から除外することで、検出された物体中に誤検出された物体が含まれないようにすることが可能となり、物体検出の信頼性をより向上させることが可能となる。
【0031】
第5の発明によれば、前記各発明の効果に加え、ミスマッチングであると判定した物体について、特定された比較画素ブロックを含むエピポーラライン上に特定された比較画素ブロック以外に検出された比較画素ブロックの情報を活用して、ミスマッチングであると判定した物体をそれと符合する他の物体と同一の物体であると判定することで、ミスマッチングされた物体の情報を有効に活用することが可能となるとともに、複数の物体として検出されていた本来1つの物体の情報を的確に1つにまとめることが可能となり、物体検出の信頼性をより向上させることが可能となる。
【0032】
第6の発明によれば、ミスマッチングであると判定した物体について、特定された比較画素ブロックを含むエピポーラライン上に特定された比較画素ブロック以外に検出された比較画素ブロックが複数存在する場合に、それらの情報をすべて活用して、ミスマッチングであると判定した物体をそれと符合する他の物体と同一の物体であると判定することで、前記第5の発明の効果がより的確に発揮されるとともに、符合処理の信頼性を向上させることが可能となる。
【0033】
第7の発明によれば、符合するか否かの判定を行う対象となる他の物体を、基準画像上でミスマッチングであると判定した物体の近傍に検出された物体に限定することで、基準画像上の合理的な範囲内で符合処理を行うことが可能となる。そのため、符合処理の信頼性を向上させることが可能となり、前記各発明の効果がより的確に発揮される。
【0034】
第8の発明によれば、今回のサンプリング周期でミスマッチングであると判定した物体について、エピポーラライン上に検出された比較画素ブロックの情報の中に、その物体に対応し、前回のサンプリング周期で検出された物体について前回のサンプリング周期で行った再度のステレオマッチング処理で得られた比較画素ブロックの情報に近接する情報がある場合に、今回のサンプリング周期で当該物体に対して行ったミスマッチングであるとの判定の信頼度を向上させることで、物体検出の信頼性をより向上させることが可能となるとともに、ミスマッチングであると判定した物体の排除や、他の物体との符合処理を的確に行うことが可能となり、前記各発明の効果がより的確に発揮される。
【0035】
第9の発明によれば、前記各発明の効果に加え、算出された差異に基づいて基準画像や比較画像の輝度値を増減させることで、次回以降のサンプリング周期で基準画像の基準画素ブロックに対して本来特定されるべき比較画素ブロックが特定される確率を向上させることが可能となり、ミスマッチングの発生確率を低下させて、物体検出の信頼性をより向上させることが可能となる。
【発明を実施するための最良の形態】
【0036】
以下、本発明に係る物体検出装置の実施の形態について、図面を参照して説明する。
【0037】
なお、以下では、物体検出装置が車両に搭載され、道路上の、或いは道路周辺の物体を検出する場合について説明するが、本発明に係る物体検出装置の用途等はこの場合に限定されない。
【0038】
本実施形態に係る物体検出装置1は、図1に示すように、ステレオ撮像手段2、変換手段3、画像処理手段6、検出手段9等で構成されている。
【0039】
なお、ステレオ撮像手段2から検出手段9のグルーピング手段10までの構成は本願出願人により先に提出された特開平5−114099号公報、特開平5−265547号公報、特開平6−266828号公報、特開平10−283461号公報、特開平10−283477号公報、特開2006−72495号公報等に詳述されており、詳細な説明はそれらの公報に委ねる。以下、簡単に説明する。
【0040】
ステレオ撮像手段2は、本実施形態では、互いに同期が取られたCCDやCMOSセンサ等のイメージセンサがそれぞれ内蔵され例えばルームミラー近傍に車幅方向すなわち左右方向に所定の間隔をあけて取り付けられた一対のメインカメラ2aおよびサブカメラ2bからなるステレオカメラが用いられている。
【0041】
メインカメラ2aおよびサブカメラ2bは、道路面から同じ高さに取り付けられており、所定のサンプリング周期で同時に車両前方の物体を撮像して撮像画像の情報を出力するように構成されている。そして、運転者に近い側に配置されたメインカメラ2aは図2に例示される基準画像TOの画像データを出力し、運転者から遠い側に配置されたサブカメラ2bは図示を省略する比較画像TCの画像データを出力するようになっている。
【0042】
メインカメラ2aとサブカメラ2bから出力された画像データは、変換手段3であるA/Dコンバータ3a、3bでアナログ画像からそれぞれ画素ごとに例えば256階調のグレースケール等の所定の輝度階調の輝度を有するデジタル画像にそれぞれ変換され、画像補正部4で、ずれやノイズの除去等の画像補正が行われるようになっている。そして、画像補正等が行われた各画像データは、画像データメモリ5に送信されて格納されるとともに、画像処理手段6にも送信されるようになっている。
【0043】
画像処理手段6は、イメージプロセッサ等からなるステレオマッチング手段7と距離データメモリ8とを備えている。
【0044】
ステレオマッチング手段7では、図22に示した手法でステレオマッチング処理が行われるようになっている。具体的には、ステレオマッチング手段7は、基準画像TO上に例えば3×3画素や4×4画素等の所定の画素数の基準画素ブロックPBOを設定し、基準画素ブロックPBOに対応する比較画像TC中のエピポーララインEPL上の基準画素ブロックPBOと同形の各比較画素ブロックPBCを左から右に1画素分ずつシフトしながら当該基準画素ブロックPBOとの輝度パターンの差異を算出して、差異が最小の比較画素ブロックPBCを特定するようになっている。
【0045】
本実施形態では、前記差異として前記(1)式に従って算出されるSAD値を用いるように構成されているが、この他にも、例えば基準画素ブロックPBO中の各画素の輝度値p1stと比較画素ブロックPBC中の各画素の輝度値p2stとの差の二乗和を前記差異として算出するように構成することも可能である。また、基準画素ブロックPBOと比較画素ブロックPBCとの輝度パターンの差異を適切に算出できるものであれば他の計算式に従って差異を算出するように構成することも可能である。
【0046】
ステレオマッチング手段7は、さらに、ステレオマッチング処理により特定した比較画素ブロックPBCの比較画像TC上の位置と当該基準画素ブロックPBOの基準画像TO上の位置から視差dpを算出する。そして、以上の処理を基準画像TOの全基準画素ブロックPBOについて行って、基準画素ブロックPBOごとに視差dpを算出するようになっている。
【0047】
ステレオマッチング手段7は、このようにして基準画素ブロックPBOごとに算出した視差dpの情報を距離データメモリ8に送信して格納させるようになっている。なお、基準画像TOの各基準画素ブロックPBOにそれぞれ視差dpを割り当てて形成される図3に示すような画像を、以下、距離画像TZという。
【0048】
なお、ステレオマッチング手段7は、視差dpの信頼性を向上させる目的から、このようにして求めた視差dpに対してフィルタリング処理を施し、有効とされた視差dpのみを出力するようになっている。すなわち、例えば、基準画素ブロックPBOが車道の映像のみからなる場合のように輝度パターンの点で特徴に乏しい場合、比較画像TC中のエピポーララインEPL上を走査して得られる各比較画素ブロックPBCのSAD値は変化が少なく、特定された比較画素ブロックPBCの信頼性は必ずしも高くない。そのため、そのような基準画素ブロックPBOでの視差dpは前記フィルタリング処理で無効とされ、その基準画素ブロックPBOについては視差dpの値として0を出力するようになっている。
【0049】
したがって、ステレオマッチング手段7から出力される距離画像TZは、通常、基準画像TOにおいて左右方向に隣接する画素間での輝度値p1stの差が大きい、いわゆる物体のエッジ部分の基準画素ブロックPBOについて有効な視差dpの値を有する画像となる。
【0050】
また、一対のメインカメラ2aとサブカメラ2bの中央真下の道路面上の点を原点とし、自車両の車幅方向(左右方向)をX軸方向、車高方向(高さ方向)をY軸方向、車長方向(前後方向)をZ軸方向とした場合の実空間上の点(X,Y,Z)と、上記の視差dp、距離画像TZ上の点(i,j)とは、三角測量の原理に基づき下記(2)〜(4)式で表される座標変換により一意に対応づけられる。
X=CD/2+Z×PW×(i−IV) …(2)
Y=CH+Z×PW×(j−JV) …(3)
Z=CD/(PW×(dp−DP)) …(4)
【0051】
上記各式において、CDは一対のカメラの間隔、PWは1画素当たりの視野角、CHは一対のカメラの取り付け高さ、IVおよびJVは自車両正面の無限遠点の距離画像TZ上のi座標およびj座標、DPは消失点視差を表す。
【0052】
従って、本実施形態では、上記のように基準画像TOの各基準画素ブロックPBOにそれぞれ視差dpが割り当てられた距離画像TZを用いて視差dpに基づいて各処理が行われるが、予め視差dpを前記(4)式に従って距離Zに変換し、基準画像TOの各基準画素ブロックPBOにそれぞれ距離Zを割り当てた距離画像を用いて距離Zに基づいて各処理を行うように構成することも可能である。
【0053】
検出手段9は、図示しないCPUやROM、RAM、入出力インターフェース等がバスに接続されたマイクロコンピュータより構成されている。図示を省略するが、検出手段9には、必要に応じて車速やヨーレート、ステアリングホイールの舵角等の情報が入力されるようになっている。
【0054】
検出手段9は、図1に示すように、物体を検出するためのグルーピング手段10と、検出された各物体についてミスマッチングであるか否かと判定する判定手段11とを備えており、さらに図示しないメモリを備えている。
【0055】
グルーピング手段10は、本実施形態では、前述したように特開平10−283461号公報等に記載された車外監視装置等をベースに構成されている。詳細な説明はそれらの公報に委ねる。以下、簡単にその構成について説明する。
【0056】
グルーピング手段10は、上記のステレオマッチング処理で得られた基準画素ブロックPBOごとの視差dpに基づいて同一の物体と見なすべき視差dpをグループ化して、基準画像TO上に物体を検出するようになっている。
【0057】
具体的には、グルーピング手段10は、距離データメモリ8から前述した距離画像TZを読み出して、図4に示すように距離画像TZを所定の画素幅で垂直方向に延びる短冊状の区分Dnに分割する。そして、短冊状の各区分Dnに属する各視差dpについて図5に示すようにヒストグラムHnを作成し、度数Fnが最大の階級の階級値をその短冊状の区分Dnにおける物体の視差dpnとする。これを全区分Dnについて行うようになっている。
【0058】
グルーピング手段10は、続いて、各区分Dnごとに得られた視差dpnを前記(4)式のdpに代入して、視差dpnに対応する各区分Dnごとの実空間上の距離Znを算出して、図6に示すように実空間上にプロットし、図7に示すようにプロットされた各点間の距離や方向性に基づいて互いに隣接する各点をそれぞれグループG1、G2、G3、…にまとめてグループ化するようになっている。
【0059】
本実施形態では、グルーピング手段10は、図8に示すように各グループに属する各点をそれぞれ直線近似し、それぞれのグループ内の各点が自車両Aの車幅方向すなわちX軸方向に略平行に並ぶグループには“物体”Oとラベルし、各点が自車両Aの車長方向すなわちZ軸方向に略平行に並ぶグループには“側壁”Sとラベルして分類するようになっている。また、同一の物体の“物体”と“側壁”の交点とみなすことができる箇所にコーナー点としてCをラベルするようになっている。
【0060】
そして、グルーピング手段10は、図8の例では、[側壁S1]、[物体O1]、[側壁S2]、[物体O2とコーナー点Cと側壁S3]、[側壁S4]、[物体O3]、[物体O4]、[側壁S5とコーナー点Cと物体O5]、[物体O6]、[側壁S6]をそれぞれ1つの物体として検出するようになっている。なお、上記のように便宜上ラベルとして“物体”と“側壁”とが用いられるが、“側壁”も物体として検出される。
【0061】
グルーピング手段10は、このようにして検出した各物体の情報すなわち各グループの近似直線の端点や中点の座標等をそれぞれメモリに保存するようになっている。なお、本実施形態では、以下、各物体の視差dpや距離Zという場合、それらは、各物体に対応する各グループの近似直線の中点に対応する基準画素ブロックPBOの視差dpおよびそれに対応する距離Zを表す。
【0062】
判定手段11は、図9に示すように、グルーピング手段10により検出された各物体の情報に基づいて、基準画像TO上に各物体を包囲する矩形状の枠線を設定することで各物体が撮像されている各領域を設定して、基準画像TO上に各物体を検出するようになっている。判定手段11は、基準画像TOにおける各枠線の頂点の座標等をそれぞれメモリに保存するようになっている。
【0063】
以下、判定手段11におけるミスマッチングの判定手法について説明するとともに、本実施形態に係る物体検出装置1の作用について説明する。
【0064】
本実施形態のステレオマッチング手段7で行われる図22に示した手法によるステレオマッチング処理では、前述した従来の場合と同様に、例えば図23(A)、(B)に示した似たような輝度パターンが一定の間隔で並ぶ物体Oの基準画素ブロックPBO(p)に対してステレオマッチング処理を行った場合、前記(1)式で算出されるSAD値のグラフに、図24に示したように、SAD値が極小となる下向きのピークとなる比較画素ブロックPBC(a)、PBC(b)、PBC(c)、…が繰り返し現れる。
【0065】
そして、本来特定されるべき比較画素ブロックPBC(a)とは別の比較画素ブロックPBC(c)でSAD値SAD(c)が最小となって比較画素ブロックPBC(c)が特定されるミスマッチングが生じる。その結果、このミスマッチングに基づいて視差が算出されると、図25に示したように物体Oの一部が本来の物体Oとは距離Zが異なる別の物体Oaとして誤検出される。
【0066】
図25に示した誤検出された物体Oaは、例えば図10(A)に示すように基準画像TO上では、検出された物体Oの一部に現れる。これは、本来基準画像TO上で物体Oと同一の物体として検出されるべき領域Oaに属する各基準画素ブロックPBOに対して、図10(B)に示すように、比較画像TC上で、本来特定されるべき比較画素ブロックPBC(a)を含む領域Raの各比較画素ブロックPBCではなく、比較画像TC上の領域Raの右側の比較画素ブロックPBC(c)を含む領域Rcの各比較画素ブロックPBCが誤って特定されてしまったことを表す。
【0067】
ここで、より詳しくミスマッチングされた領域Rcについて検討すると、比較画像TC上で領域Rcの左側に本来マッチングされるべき領域Raが存在する。そして、図10(B)に示したようにミスマッチングにより誤って特定された比較画素ブロックPBC(c)が属するエピポーララインEPL上には領域Rcの左外側に少なくとも本来特定されるべき比較画素ブロックPBC(a)が存在し、そこでは図24のグラフに示したようにSAD値がSAD(c)と同程度に小さい極小値SAD(a)を与え、下向きのピークとなる。なお、この場合は、図24に示したように比較画素ブロックPBC(b)もSAD値の極小値SAD(b)を与えて下向きのピークとなっている。
【0068】
一方、正しく検出された物体Oについて検討すると、図11に示すように、比較画像TC上では本来マッチングされるべき領域Oがマッチングされている。そして、例えば図10(A)に示す物体Oが検出された領域Oの左端部に属する基準画素ブロックPBO(q)について観察すると、それに対応して特定された比較画素ブロックPBC(d)を含む比較画像TC上のエピポーララインEPL上の比較画素ブロックPBC(d)の左側の範囲では、SAD値は図12に示すようなグラフになる。
【0069】
すなわち、特定された比較画素ブロックPBC(d)以外にも、比較画素ブロックPBC(e)、PBC(f)のようにSAD値の極小値を与える比較画素ブロックPBCが存在するが、比較画素ブロックPBC(e)、PBC(f)でのSAD値SAD(e)、SAD(f)は、特定された比較画素ブロックPBC(d)よりも大きい。
【0070】
本実施形態では、似たような輝度パターンが一定の間隔で並んでいる物体O等が撮像されている場合にSAD値に生じる上記の特性を利用して、判定手段11は、上記のようにして検出された各物体ごとに、基準画像TO上に物体が撮像されている矩形状の枠線で囲まれた領域をそれぞれ設定すると、各領域(例えば図10(A)の領域O、Oa)の左端部に属する基準画素ブロックPBO(例えば基準画素ブロックPBO(q)、PBO(p))を選択し、当該基準画素ブロックPBO(PBO(q)、PBO(p))に対応して比較画像TC上に特定された比較画素ブロックPBC(例えば比較画素ブロックPBC(d)、PBC(c))を含むエピポーララインEPLの比較画素ブロックPBC(PBC(d)、PBC(c))の左側の範囲について再度ステレオマッチング処理を行うようになっている。
【0071】
そして、特定された比較画素ブロックPBC(PBC(d)、PBC(c))以外の比較画素ブロックPBCであって、SAD値の極小値を与え、当該極小値が予め設定された閾値以下である比較画素ブロックPBCが検出された場合には、当該物体はミスマッチングであると判定するように構成されている。閾値は予め適切な値に設定される。
【0072】
このように構成すると、上記の例では、判定手段11は、図10(A)の領域Oaの左端部に属する基準画素ブロックPBO(p)を選択すると、図10(B)に示したように基準画素ブロックPBO(p)に対応して比較画像TC上に特定された比較画素ブロックPBC(c)を含むエピポーララインEPLの比較画素ブロックPBC(c)の左側の範囲について再度ステレオマッチング処理を行う。すると、図24のグラフに示したように、特定された比較画素ブロックPBC(c)以外の比較画素ブロックPBCであって、SAD値の極小値SAD(a)、SAD(a)を与え、当該極小値が予め設定された閾値以下である比較画素ブロックPBC(a)、PBC(b)が検出されるため、判定手段11は、当該物体Oaはミスマッチングであると判定する。
【0073】
一方、判定手段11は、図10(A)の領域Oの左端部に属する基準画素ブロックPBO(q)を選択すると、図11に示したように基準画素ブロックPBO(q)に対応して比較画像TC上に特定された比較画素ブロックPBC(d)を含むエピポーララインEPLの比較画素ブロックPBC(d)の左側の範囲について再度ステレオマッチング処理を行う。すると、図12のグラフに示したように、比較画素ブロックPBC(e)、PBC(f)のSAD値はともに閾値より大きな値であり、特定された比較画素ブロックPBC(d)以外の比較画素ブロックPBCであってSAD値の極小値を与え当該極小値が予め設定された閾値以下である比較画素ブロックPBCは検出されないため、判定手段11は、当該物体Oはミスマッチングではなく、正しくマッチングされた物体であると判定する。
【0074】
このように、本実施形態の判定手段11では、検出された各物体ごとに基準画像TO上に物体が撮像されている矩形状の枠線で囲まれた領域をそれぞれ設定し、各領域の左端部に属する基準画素ブロックPBOに対応して比較画像TC上に特定された比較画素ブロックPBCの左側のエピポーララインEPL上で再度ステレオマッチング処理を行って、SAD値のグラフで下向きのピークを与える比較画素ブロックPBCが特定された比較画素ブロックPBC以外に存在するか否かで、各物体がミスマッチングであるか否かをそれぞれ判定するようになっている。
【0075】
しかし、このように構成した場合、図10(A)、(B)に示したミスマッチングとは逆方向のミスマッチングが生じた場合には、判定手段11が必ずしも適切に機能しない場合がある。
【0076】
すなわち、例えば図13(A)、(B)に示すように、基準画像TO上の基準画素ブロックPBO(r)に対応して比較画像TC上で比較画素ブロックPBC(a)が特定され、基準画像TO上の物体Oの一部の領域Obが比較画像TC上の本来特定されるべき領域Rcではなくその左側の領域Rcとミスマッチングされた場合、物体Obはミスマッチングにより誤検出された物体である。
【0077】
しかし、それにもかかわらず、領域Obの基準画素ブロックPBO(r)に対応して比較画像TC上に特定された比較画素ブロックPBC(a)の左側のエピポーララインEPL上で再度ステレオマッチング処理を行うと、特定された比較画素ブロックPBC(a)以外にはSAD値の極小値を与え、当該極小値が予め設定された閾値以下である比較画素ブロックPBCは検出されないから、判定手段11は、当該物体Obをミスマッチングであるとは判定しないという問題がある。
【0078】
なお、この場合、誤検出された物体Obは、物体Obの領域に属する各区分Dnの視差dpnを実空間上の距離Znに換算して実空間上にプロットすると、図14に示すように本来の物体Oよりも遠い位置に誤検出される。本実施形態のように、物体検出装置1が車両に搭載され、道路上や道路周辺の物体を検出する場合には、前記図25のように物体Obが本来の物体Oより近い位置に誤検出されると先行車追従システム等が作動して自動的に急ブレーキが掛かる等の問題が生じるが、本来の物体Oが確実に検出されている限り物体Obが本来の物体Oより遠い位置に誤検出されてもさほど不都合は生じない。
【0079】
図13(A)、(B)に示したような図10(A)、(B)に示したミスマッチングとは逆方向のミスマッチングが生じているか否かの判定は、比較画像TC上のエピポーララインEPLの上記とは逆側すなわち右側の範囲で再度ステレオマッチング処理を行うように構成することで判定することができる。
【0080】
すなわち、判定手段11は、検出された各物体ごとに基準画像TO上にそれぞれ設定された枠線で囲まれた領域(例えば図15(A)に示す領域O、Ob)の右端部に属する基準画素ブロックPBO(例えば基準画素ブロックPBO(s)、PBO(t))を選択し、当該基準画素ブロックPBO(PBO(s)、PBO(t))に対応して比較画像TC上に特定された比較画素ブロックPBC(例えば図15(B)に示す比較画素ブロックPBC(g)、PBC(h))を含むエピポーララインEPLの比較画素ブロックPBC(PBC(g)、PBC(h))の右側の範囲について再度ステレオマッチング処理を行う。そして、特定された比較画素ブロックPBC(PBC(g)、PBC(h))以外の比較画素ブロックPBCであって、SAD値の極小値を与え、当該極小値が予め設定された閾値以下である比較画素ブロックPBCが検出された場合には、当該物体はミスマッチングであると判定するように構成される。
【0081】
このように構成すれば、判定手段11は、例えば図15(A)の領域Oの右端部の基準画素ブロックPBO(s)を選択すると、図15(B)に示したように基準画素ブロックPBO(s)に対応して比較画像TC上に特定された比較画素ブロックPBC(g)を含むエピポーララインEPLの比較画素ブロックPBC(g)の右側の範囲について再度ステレオマッチング処理を行う。この場合、前述した図12のグラフに示した各SAD値と同様に、特定された比較画素ブロックPBC(g)以外の比較画素ブロックPBCであってSAD値の極小値を与え当該極小値が予め設定された閾値以下である比較画素ブロックPBCは検出されないため、判定手段11は、当該物体Oはミスマッチングではなく、正しくマッチングされた物体であると判定する。
【0082】
また、判定手段11は、例えば図15(A)の領域Obの右端部の基準画素ブロックPBO(t)を選択すると、基準画素ブロックPBO(t)とマッチングされた比較画素ブロックPBCが比較画素ブロックPBC(h)であれば、図15(B)に示したように基準画素ブロックPBO(t)に対応して比較画像TC上に特定された比較画素ブロックPBC(h)を含むエピポーララインEPLの比較画素ブロックPBC(h)の右側の範囲について再度ステレオマッチング処理を行う。
【0083】
この場合は、比較画素ブロックPBC(h)の右側のエピポーララインEPL上に、比較画素ブロックPBC(h)と輝度パターンが似かよった比較画素ブロックPBCが比較画素ブロックPBC(h)以外に1つ以上存在するため、図16に示すように、特定された比較画素ブロックPBC(h)以外に、SAD値の極小値SAD(i)、SAD(j)、…を与え、当該極小値が予め設定された閾値以下である比較画素ブロックPBC(i)、PBC(j)、…が検出されるため、判定手段11は、当該物体Obはミスマッチングであると判定する。
【0084】
このように、判定手段11を、検出された各物体ごとに基準画像TO上に物体が撮像されている矩形状の枠線で囲まれた領域をそれぞれ設定し、各領域の右端部に属する基準画素ブロックPBOに対応して比較画像TC上に特定された比較画素ブロックPBCの右側のエピポーララインEPL上で再度ステレオマッチング処理を行って、SAD値のグラフで下向きのピークを与える比較画素ブロックPBCが特定された比較画素ブロックPBC以外に存在するか否かで、各物体がミスマッチングであるか否かをそれぞれ判定するように構成することも可能である。
【0085】
なお、上記の判定手段11によるミスマッチングの判定においては、基準画像TO上に検出された各物体の領域O、Oa、Obの各左端部で基準画素ブロックPBOをそれぞれ1つずつ(すなわち基準画素ブロックPBO (q)、PBO (p) 、PBO (r))選択し、或いは各物体の領域O、Obの各右端部で基準画素ブロックPBOをそれぞれ1つずつ(すなわち基準画素ブロックPBO (s)、PBO (t))選択する場合について説明したが、各物体の領域の左端部や右端部で選択される基準画素ブロックPBOの数は1つに限定されない。寧ろ、各物体の領域の左端部や右端部で選択される基準画素ブロックPBOの数を複数とすることで、より確実にミスマッチングの判定を行うことが可能となる。
【0086】
ミスマッチングの判定において各物体の領域の左端部や右端部で選択される基準画素ブロックPBOの数を複数とする場合、左端部または右端部に属するすべての基準画素ブロックPBOに対して再度ステレオマッチング処理を行うように構成することができる。また、左端部または右端部に属するすべての基準画素ブロックPBOのうち、予め設定された所定個数の基準画素ブロックに対して再度ステレオマッチング処理を行うように構成することも可能である。
【0087】
その際、例えば前述した図10(A)に示した誤検出された物体Oaの領域Oaの左端部に属する基準画素ブロックPBOとして基準画素ブロックPBO(p)を含む複数の基準画素ブロックPBOを選択し、それらの基準画素ブロックPBOに対してそれぞれ再度ステレオマッチング処理を行うと、図17に示すように、SAD値の極小値が閾値以下となる比較画素ブロックPBCの位置が少なくとも比較画素ブロックPBC(a)、PBC(b)、PBC(c)の近傍の位置に集中する。
【0088】
このように、SAD値の極小値が閾値以下となる特定された比較画素ブロックPBC(c)以外の比較画素ブロックの位置が比較画素ブロックPBC(a)、PBC(b)等の位置に集中している場合に当該物体Oaがミスマッチングであると判定するように構成することで、より確実にミスマッチングの判定を行うことが可能となる。
【0089】
この場合、物体の領域の左端部や右端部に属するすべての基準画素ブロックPBOまたは所定個数の基準画素ブロックPBOのうち、すべての基準画素ブロックPBOについて上記集中が生じる必要はなく、選択した基準画素ブロックPBOのうちの所定個数以上或いは所定割合以上の基準画素ブロックPBOにおいて上記集中が生じた場合に当該物体Oaがミスマッチングであると判定するように構成することも可能である。
【0090】
判定手段11は、例えば図10(A)に示した物体Oのようにミスマッチングではないと判定した物体について比較画像TCのエピポーララインEPL上に現れた閾値以下の極小値を与える下向きのピークに相当する比較画素ブロックPBC(d)(図12参照)の比較画像TC上の位置の情報や、図10(A)に示した物体Oaのようにミスマッチングと判定した物体について比較画像TCのエピポーララインEPL上に現れた閾値以下の極小値を与える下向きのピークに相当する比較画素ブロックPBC(a)、PBC(b)、PBC(c)(図24参照)の比較画像TC上の位置の情報を、各物体に対応付けてメモリに保存するようになっている。
【0091】
ところで、判定手段11によりミスマッチングであると判定された物体の処理については、例えば、検出した全物体中から除外するように構成することが可能である。この場合、判定手段11は、前記グルーピング手段10がメモリに保存した各物体の情報のうち、ミスマッチングと判定した物体の情報を削除するように構成される。
【0092】
しかし、図24や図16、図17に示したように、ミスマッチングの判定の際に行った再度のステレオマッチング処理で得られたSAD値のグラフにおいて、SAD値が極小となり下向きのピークを与える比較画素ブロックPBCの中に、本来特定されるべき比較画素ブロックPBC(例えば図24等では比較画素ブロックPBC(a))が存在している場合がある。
【0093】
そこで、本実施形態では、それを利用して、再度のステレオマッチング処理の結果を用いて、誤検出された当該物体が検出された他の物体と統合できるか否かを見出すように構成されている。
【0094】
なお、以下では、誤検出された物体の領域の左端部に属する1つの基準画素ブロックPBOについて行った再度のステレオマッチング処理の結果を用いる場合について説明するが、右端部に属する基準画素ブロックPBOについて行った結果を用いる場合についても同様である。また、物体の領域の左端部または右端部に属する複数の基準画素ブロックPBOについて行った再度のステレオマッチング処理の結果を用いる場合についても同様である。
【0095】
具体的には、判定手段11は、まず、ミスマッチングであると判定した物体が撮像されている領域の左端部に属する基準画素ブロックPBOに対応して比較画像TC上に特定された比較画素ブロックPBCを含むエピポーラライン上での再度のステレオマッチング処理により、SAD値の極小値が閾値以下となる特定された比較画素ブロックPBC以外の比較画素ブロックPBCの比較画像TC上の位置と、元の基準画素ブロックPBOの基準画像TO上の位置とから視差dpを算出する。
【0096】
続いて、判定手段11は、ミスマッチングであると判定した物体が、算出した視差dpに基づいて算出される実空間上の距離Zに存在するとした場合に、検出されている他のいずれかの物体の実空間上の距離と所定の誤差の範囲内で符合するときは、当該ミスマッチングであると判定した物体を、それと符合する当該他の物体と同一の物体であると判定するようになっている。
【0097】
図10(A)、(B)の場合、ミスマッチングであると判定された物体Oaの領域Oaの左端部に属する基準画素ブロックPBO(p) に対応して比較画像TC上に特定された比較画素ブロックPBC(c)を含むエピポーララインEPL上での再度のステレオマッチング処理で、SAD値の極小値SAD(a)、SAD(b)(図24参照)が閾値以下となる特定された比較画素ブロックPBC(c)以外の比較画素ブロックPBC(a)、PBC(b)の比較画像TC上の位置と、元の基準画素ブロックPBO(p)の基準画像TO上の位置とからそれぞれ視差dp(a)、dp(b)を算出する。
【0098】
そして、前記(4)式に従って視差dp(a)、dp(b)から実空間上の距離Z(a)、Z(b)をそれぞれ算出する。図18に示すように、ミスマッチングであると判定した物体Oaが距離Z(b)に存在するとした場合、他の物体Oの実空間上の距離と符合するとは言い難いが、物体Oaが距離Z(a)に存在するとした場合には物体Oの実空間上の距離と所定の誤差の範囲内で符合すると言い得る。従って、この場合は、判定手段11は、ミスマッチングであると判定した物体Oaを、それと符合する他の物体Oと同一の物体であると判定し、物体Oと物体Oaとを統合して、図19に示すように1つの物体Oとして検出するようになっている。
【0099】
このように、本実施形態では、SAD値の極小値が閾値以下となる特定された比較画素ブロックPBC以外の比較画素ブロックPBCが複数存在する場合には、特定された比較画素ブロックPBC以外のすべての比較画素ブロックPBCについて、符合するか否かの判定を行うようになっている。
【0100】
また、図20に示すように、本来基準画像TO上で1つの物体として検出されるべき物体の領域が、その一部でミスマッチングを生じてしまったために、複数の物体Oc、Od、Oeとして検出される場合がある。
【0101】
しかし、この場合も、まず、最も左側に検出されている物体Ocについて、その領域Ocの左端部に属する基準画素ブロックPBOに対応して比較画像TC上に特定された比較画素ブロックPBCを含むエピポーララインEPLの当該特定された比較画素ブロックPBCの左側の範囲について再度ステレオマッチング処理を行い、図12に示したようなSAD値のグラフを得て、特定された比較画素ブロックPBC以外の比較画素ブロックPBCでSAD値の極小値が予め設定された閾値以下である比較画素ブロックPBCが検出されないことを確認し、当該物体Ocが正しくマッチングされた物体であると確認する。
【0102】
そして、物体Odについても同様に再度ステレオマッチング処理を行い、SAD値の極小値が閾値以下となる特定された比較画素ブロックPBC以外の比較画素ブロックPBCの比較画像TC上の位置と、元の基準画素ブロックPBOの基準画像TO上の位置とから視差dpを算出し、視差dpから算出される距離Zに基づいて物体Odを物体Ocと統合できるか否かを判定して、物体Odを物体Ocに統合させて1つの物体とする。
【0103】
物体Oeについても同様の処理を行い、統合された物体Oc、Odと統合できるか否かを判定し、最終的に物体Oc〜Oeを統合することで、図19に示すような1つの物体Oとして検出することができる。
【0104】
なお、実施形態では、図19等に示したように、車幅方向(X軸方向)に延在する物体を検出する場合について説明したが、例えば、図9に示したような“側壁”とラベルされた車長方向(Z軸方向)に延在する物体S([側壁S1]〜[側壁S6])についても同様に適用される。
【0105】
また、図9に示したように基準画像TO上に複数の物体が検出されている場合に、上記の処理により例えば物体O6がミスマッチングであると判定されたとしても、同じような距離Zに存在する物体O2と統合させることは明らかに無理がある。
【0106】
従って、本実施形態では、ミスマッチングであると判定した物体と符合するか否かの判定を行う対象となる他の物体を、基準画像TO上でミスマッチングであると判定した物体の近傍に検出された物体に限定するようになっている。具体的には、基準画像TO上でミスマッチングであると判定された物体を表す枠線と当該他の物体を表す枠線とが共有されていること、或いは少なくとも枠線が接していることを条件としている。基準画像TO上でミスマッチングであると判定された物体を表す枠線から所定の距離内にある他の物体を符合するか否かの判定を行う対象とするように構成することも可能である。
【0107】
本実施形態では、判定手段11は、ミスマッチングであると判定した物体を他の物体と統合して1つの物体として検出した場合には、前記グルーピング手段10がメモリに保存した各物体の情報のうち、ミスマッチングと判定した物体の情報を当該他の物体の情報と統合し、必要があれば統合して1つの物体とされた物体の情報の近似直線等をし直し、その端点や中点の座標等をそれぞれメモリに保存するようになっている。
【0108】
その際、判定手段11は、統合して1つの物体とされた物体の基準画像TOにおける各枠線の頂点の座標等の再計算等が必要であれば再計算を行い、また、統合して1つの物体とされた物体について統合される前の当該他の物体について比較画像TCのエピポーララインEPL上に現れた閾値以下の極小値を与える下向きのピークに相当する比較画素ブロックPBCを対応付けてメモリに保存するようになっている。
【0109】
一方、ステレオ撮像手段2のメインカメラ2aおよびサブカメラ2bからは数十〜数百ミリ秒のサンプリング周期で基準画像TOや比較画像TCの各画像データが送られてくるようになっており、検出された各物体について、前回のサンプリング周期で撮像された画像と今回のサンプリング周期で撮像された画像との間で、比較画像TCのエピポーララインEPL上で本来特定されるべき比較画素ブロックPBCの位置が大きく変化することは考え難い。
【0110】
従って、本実施形態の判定手段11は、今回のサンプリング周期でミスマッチングであると判定した物体について行った再度のステレオマッチング処理で得られた閾値以下の極小値を与える下向きのピークに相当する比較画素ブロックPBCの情報の中に、ミスマッチングであると判定した物体に対応する前回のサンプリング周期で検出された物体について前回のサンプリング周期で行った再度のステレオマッチング処理で得られた閾値以下の極小値を与える下向きのピークに相当する比較画素ブロックPBCの情報に近接する情報がある場合には、今回のサンプリング周期で当該物体に対して行ったミスマッチングであるとの判定の信頼度を向上させるようになっている。
【0111】
具体的には、例えば前回のサンプリング周期で図19のように検出された物体Oについて、今回のサンプリング周期で図10(A)に示したようにその一部がミスマッチングにより物体Oaとして検出された場合を考えると、今回のサンプリング周期の再度のステレオマッチング処理で図24に示したようなSAD値のグラフが得られた場合、前回のサンプリング周期では本来特定されるべき比較画素ブロックPBC(a)またはそのごく近傍の比較画素ブロックPBCを頂点とする下向きのピークが現れていて、それに相当する比較画素ブロックPBCが特定されていたはずである。
【0112】
従って、今回のサンプリング周期のステレオマッチング処理で誤って比較画素ブロックPBC(c)が特定され、比較画素ブロックPBC(a)にも下向きのピークが現れ、しかも前回のサンプリング周期の再度のステレオマッチング処理で比較画素ブロックPBC(a)に下向きのピークが現れていたのであれば、今回のサンプリング周期で特定された比較画素ブロックPBC(c)は誤りである可能性が非常に高くなる。
【0113】
そのため、判定手段11は、そのような場合に、今回のサンプリング周期でミスマッチングであると判定した物体についてその判定の信頼度を向上させて、判定の精度をさらに向上させるようになっている。
【0114】
判定手段11は、以上のようにして、ミスマッチングであると判定した物体であって、他の物体と統合されない物体が残存している場合には、その物体についてミスマッチングである旨の情報とその判定の信頼度とを対応付けてメモリに保存するようになっている。また、判定手段11は、以上のようにして検出した物体(ミスマッチングであると判定した物体を含む)の情報を必要に応じてメモリから読み出して出力するようになっている。
【0115】
ところで、比較画像TCのエピポーララインEPL上での閾値以下の極小値を与える下向きのピークに相当する比較画素ブロックPBCの特定を誤るために、物体のミスマッチングが生じる。そして、その際、比較画素ブロックPBCの特定の基準になっているのは、本実施形態では、基準画素ブロックPBO中の各画素の輝度値p1stと、比較画素ブロックPBC中の各画素の輝度値p2stとした場合に、輝度パターンの差異として前記(1)式に従って算出されるSAD値である。
【0116】
そこで、今回のサンプリング周期のステレオマッチング処理で誤った比較画素ブロックPBC(c)が特定されて物体のミスマッチングが生じたのであれば、次回のサンプリング周期のステレオマッチング処理で特定を誤らないように、例えば、輝度パターンの差異として算出されたSAD値に基づいて、基準画像TOと比較画像TCの輝度値を修正するように構成してもよい。
【0117】
具体的には、判定手段11は、今回のサンプリング周期で行った再度のステレオマッチング処理で例えば図24に示したSAD値のグラフが得られた場合、誤って特定された比較画素ブロックPBC(c)に属する全画素の輝度値p2stの平均値KC(c)を算出し、また、本来特定されるべき比較画素ブロックPBC(a)に属する全画素の輝度値p2stの平均値KC(a)を算出する。さらに、比較画素ブロックPBC(c)が対応付けられた元の基準画像TOの基準画素ブロックPBO(p)(図10(A)参照)に属する全画素の輝度値p1stの平均値KO(p)を算出する。
【0118】
上記のように、基準画素ブロックPBO(p)に対して本来特定されるべき比較画素ブロックPBC(a)ではなく比較画素ブロックPBC(c)が誤って特定される状況では、輝度値の平均値KC(c)、 KC(a) 、KO(p)の間には、通常、図21(A)〜(D)の各グラフに示される関係が成り立っていると考えられる。図21(A)〜(D)のいずれのグラフにおいても平均値KO(p)に対して平均値KC(c)の方が平均値KC(a)よりも近い値になっている。
【0119】
その際、図21(A)〜(D)のいずれのグラフの場合も、平均値KO(p)を平均値KC(a)と同じ値になるように増加させまたは減少させることで、平均値KO(p)に対して平均値KC(a)は同じ値となり平均値KC(c)は差が生じるようになり、次のサンプリング周期では基準画像TOの基準画素ブロックPBOに対して本来特定されるべき比較画素ブロックPBCが特定される確率を向上させることができると考えられる。
【0120】
従って、判定手段11は、上記のように、誤って特定された比較画素ブロックPBC(c)に属する全画素の輝度値p2stの平均値KC(c)と、本来特定されるべき比較画素ブロックPBC(a)に属する全画素の輝度値p2stの平均値KC(a)と、元の基準画素ブロックPBO(p)に属する全画素の輝度値p1stの平均値KO(p)を算出すると、KC(a)−KO(p)を計算し、前述したA/Dコンバータ3aや画像補正部4(図1参照)にその差分値を送信して撮像された基準画像TOの画像データの輝度値にその差分値を加算させるように構成することができる。
【0121】
A/Dコンバータ3aや画像補正部4で差分値に応じて基準画像TOの画像データの輝度値を調整する代わりに、差分値に応じてメインカメラ2aの撮像条件を調整するように構成することも可能である。また、基準画像TOの画像データの輝度値を調整する代わりに、或いはそれとともに、比較画像TCの画像データの輝度値を調整するように構成することも可能である。
【0122】
以上のように、本実施形態に係る物体検出装置1によれば、ステレオ撮像手段2により撮像された基準画像TOと比較画像TCとに基づいて、ステレオマッチング手段7でステレオマッチング処理を行って視差dpを算出し、グルーピング手段10で視差dpをグループ化して、判定手段11で基準画像TO上に物体を検出する。
【0123】
また、判定手段11で、物体が撮像されている基準画像TO上の各領域について、各領域の左端部または右端部に属する基準画素ブロックPBOを選択し、当該基準画素ブロックPBOに対応して比較画像TC上に特定された比較画素ブロックPBCを含むエピポーララインEPLの前記特定された比較画素ブロックPBCの左側または右側の範囲について再度ステレオマッチング処理を行う。そして、当該物体について、特定された比較画素ブロックPBC以外の比較画素ブロックPBCであって、SAD値等の差異の極小値を与え、当該極小値が予め設定された閾値以下である比較画素ブロックPBCが検出された場合には、当該物体はミスマッチングであると判定する。
【0124】
このように構成することで、図10(A)、(B)に示されたような似たような輝度パターンが一定の間隔で並ぶ物体等が撮像され、ミスマッチングを生じ易い画像に対しても、再度のステレオマッチング処理で、特定された比較画素ブロックPBCの左側または右側の範囲に差異の極小値を与え当該極小値が閾値以下である比較画素ブロックPBCが検出された場合に当該物体がミスマッチングであると判定することで、ミスマッチングにより誤検出された物体を的確に識別することが可能となる。
【0125】
また、そのため、例えば本実施形態に係る物体検出装置1を車両に搭載し、先行車両を追跡する場合にも、物体の誤検出により先行車追従システム等が作動して不要なブレーキ操作が自動的に行われる事態の発生を防止することが可能となる。さらに、前記閾値を適切に設定することで、容易かつ確実にミスマッチングによる物体の誤検出を識別することが可能となる。
【0126】
なお、本実施形態では、閾値が固定された値であることを前提に説明したが、例えばサンプリング周期ごとに異なる値をとるように構成することも可能であり、また、例えば基準画像TOや比較画像TCの全体的な輝度値等に応じて変動させるように構成することも可能である。
【図面の簡単な説明】
【0127】
【図1】本実施形態に係る物体検出装置の構成を示すブロック図である。
【図2】基準画像の一例を示す図である。
【図3】図2の基準画像に基づいて形成された距離画像を示す図である。
【図4】図3の距離画像を分割する短冊状の区分を説明する図である。
【図5】図4の各区分ごとに作成されるヒストグラムを説明する図である。
【図6】区分ごとの距離を実空間上にプロットした各点を表す図である。
【図7】図6の各点がグループ化されて形成される各グループを表す図である。
【図8】図7の各グループの各点に基づいて近似された直線を表す図である。
【図9】基準画像上に枠線で包囲されて検出された各物体を表す図である。
【図10】(A)基準画像上に誤検出された物体を示す図であり、(B)比較画像上で行われる再度のステレオマッチング処理の手法を説明する図である。
【図11】図10(A)の検出された物体に対して正しくマッチングされた比較画像上の領域を示す図である。
【図12】正しく検出された物体について再度のステレオマッチング処理が行われた場合のSAD値を表すグラフの一例である。
【図13】(A)基準画像上に誤検出された物体を示す図であり、(B)誤検出された物体とミスマッチングされた比較画像上の領域とマッチングされるべき領域とを示す図である。
【図14】図13の誤検出された物体が本来の物体より遠い位置に誤検出されることを説明する図である。
【図15】(A)基準画像上に誤検出された物体を示す図であり、(B)図13の誤検出の場合に比較画像上で行われる再度のステレオマッチング処理の手法を説明する図である。
【図16】図15(B)の再度のステレオマッチング処理において算出されるSAD値を表すグラフの一例である。
【図17】図10(B)の再度のステレオマッチング処理を物体の領域の複数の基準画素ブロックについて行った場合に算出されるSAD値を表すグラフの一例である。
【図18】ミスマッチングである物体の距離と他の物体の距離とが符合することを説明する図である。
【図19】最終的に基準画像上に1つの物体として検出された物体を表す図である。
【図20】ミスマッチングにより複数の物体として検出された物体を表す図である。
【図21】誤って特定された比較画素ブロック、特定されるべき比較画素ブロックおよび元の基準画素ブロックに属する全画素の輝度値の各平均値の関係を表すグラフである。
【図22】ステレオマッチング処理の手法を説明する図である。
【図23】(A)似たような輝度パターンが一定の間隔で並ぶ物体が撮像された基準画像の一例と、(B)それに対応して撮像される比較画像の例を表す図である。
【図24】図23(A)、(B)の基準画像と比較画像に基づいてステレオマッチング処理を行った場合に得られるSAD値を表すグラフの一例である。
【図25】ミスマッチングに基づいて誤検出された物体が本来の物体より近い位置に誤検出されることを説明する図である。
【符号の説明】
【0128】
1 物体検出装置
2 ステレオ撮像手段
2a、2b 一対のカメラ(メインカメラ、サブカメラ)
7 ステレオマッチング手段
10 グルーピング手段
11 判定手段
EPL エピポーラライン
dp 視差
O 物体
Oa、Ob ミスマッチングであると判定された物体
p1st 基準画素ブロック中の各画素の輝度値
p2st 比較画素ブロック中の各画素の輝度値
PBO 基準画素ブロック
PBC 比較画素ブロック
SAD SAD値(差異)
TO 基準画像
TC 比較画像
Z 距離
【技術分野】
【0001】
本発明は、物体検出装置に係り、特に、ステレオ撮像手段により撮像された一対の画像に対してステレオマッチング処理を行って物体を検出する物体検出装置に関する。
【背景技術】
【0002】
ステレオカメラを用いて物体までの距離を測定する手法としては、左右同じ高さに取り付けられた一対のカメラで撮像された一対の撮像画像を用いて、一対の撮像画像のうち、基準となる一方の撮像画像(以下、基準画像という。)と他方の撮像画像(以下、比較画像という。)とを比較して、同じ物体が撮像されている各画像中の各位置の差、すなわち視差を算出し、その視差に基づいて物体までの距離を算出する手法が一般的である。そして、基準画像と比較画像で同じ物体が撮像されている位置を特定する手法としては、通常、ステレオマッチング処理が行われる(例えば特許文献1等参照)。
【0003】
ステレオマッチング処理では、図22に示すように、基準画像TOを例えば3×3画素や4×4画素等の所定の画素数の小領域(以下、基準画素ブロックPBOという。)に分割し、各基準画素ブロックPBOごとに、比較画像TC中の基準画素ブロックPBOに対応する位置のエピポーララインEPL上の基準画素ブロックPBOと同形の各比較画素ブロックPBCとの輝度パターンを比較する。
【0004】
その際、例えば、基準画素ブロックPBO中の各画素の輝度値をp1stとし、比較画素ブロックPBC中の各画素の輝度値をp2stとした場合、輝度パターンの差異として下記(1)式のSAD(Sum of Absolute Difference)値を算出する。
【0005】
【数1】
【0006】
なお、上記(1)式では、基準画素ブロックPBOや比較画素ブロックPBCが例えば3×3画素の領域として設定される場合には1≦s≦3、1≦t≦3の範囲、例えば4×4画素の領域として設定される場合には1≦s≦4、1≦t≦4の範囲の全画素について、差の絶対値の総和が算出される。
【0007】
そして、このSAD値が最小となる比較画素ブロックPBCが、基準画素ブロックPBOに撮像されている物体と同じ物体が撮像されている比較画像上の比較画素ブロックとして特定される。また、このステレオマッチング処理の結果を用いて、特定された比較画素ブロックPBCと元の基準画素ブロックPBOとの視差が算出され、その視差に基づいて三角測量の原理により物体までの距離が算出される。
【特許文献1】特開2004−234423号公報
【発明の開示】
【発明が解決しようとする課題】
【0008】
ところで、例えば図23(A)に示す基準画像TOと図23(B)に示す比較画像TCは、車両に搭載したステレオカメラにより車両前方の同一の物体O(車両)を撮像したものである。ここで、このように似たような輝度パターンが一定の間隔で並んでいる物体O等が撮像されている画像に対して上記のステレオマッチング処理を行う場合について考察する。
【0009】
例えば基準画像TOの物体Oの繰り返される輝度パターン部分に設定された基準画素ブロックPBO(p)に対して、比較画像TCのエピポーララインEPL上の比較画素ブロックPBCを左から右に1画素分ずつシフトしながら上記(1)式に従ってSAD値を算出していくと、図24のグラフに示すように、SAD値が極小となり下向きのピークとなる比較画素ブロックPBC(a)、PBC(b)、PBC(c)、…が繰り返し現れる。
【0010】
そして、本来特定されるべき比較画素ブロックPBC(a)のSAD値SAD(a)よりも他の比較画素ブロックPBC(c)のSAD値SAD(c)の方が小さくなると、本来特定されるべき比較画素ブロックPBC(a)ではない比較画素ブロックPBC(c)が特定されてしまう、いわゆるミスマッチングが生じる。
【0011】
そして、ミスマッチングに基づいて視差が算出されると、物体までの誤った距離が算出されてしまい、例えば図23(A)、(B)に示したように1つの物体Oが撮像されているにもかかわらず、物体Oの一部で誤った距離が算出された結果、図25に示すように物体Oの一部が本来の物体Oとは距離が異なる別の物体Oaとして誤検出されるという事態が発生する。
【0012】
このようなミスマッチングによる物体の誤検出は、図23(A)、(B)に示したように似たような輝度パターンが並ぶ物体が撮像されている場合だけでなく、例えば柵や塀等のように似たような輝度パターンが一定の間隔で並んで撮像される物体の場合においても生じ得る。
【0013】
このような物体の誤検出が、例えば先行車両を追跡するために車両に搭載された物体検出装置で生じると、特に先行車両の手前側に別の物体が誤検出された場合には、その情報が車両のECU(Electric Control Unit)の先行車追従システム等に送られて不要なブレーキ操作が自動的に行われてしまう等の問題が生じていた。
【0014】
このような問題を解決するために、特許文献1では、SAD値のピークの鋭さとピークの乱立状況により視差の信頼度を出力する方法や装置等が提案されている。しかし、この方法や装置等では、視差の信頼度を算出するための処理時間が長くなるとともに、図23(A)、(B)に示したようにもともとSAD値の誤ったピークを特定し易い輝度パターンを有する物体等を検出しようとすると全体的に信頼度が低下してしまうため、視差に基づいて算出された距離が実際には正しく算出されていてもその信頼度が低くなり、得られた結果が正しいのか誤っているのかの線引きをすることが困難になる場合が生じていた。
【0015】
本発明は、このような事情に鑑みてなされたものであり、ステレオマッチング処理で検出された物体のうち、ミスマッチングにより誤検出された物体を的確に識別することが可能な物体検出装置を提供することを目的とする。
【課題を解決するための手段】
【0016】
前記の問題を解決するために、第1の発明は、物体検出装置において、
左右同じ高さに取り付けられた一対のカメラで物体を同時に撮像して基準画像と比較画像とを出力するステレオ撮像手段と、
前記基準画像上に所定の画素数の基準画素ブロックを設定し、当該基準画素ブロックに対応する前記比較画像中のエピポーラライン上の前記基準画素ブロックと同形の各比較画素ブロックについて当該基準画素ブロックとの輝度パターンの差異を所定の計算式に従って算出して前記差異が最小の比較画素ブロックを特定するステレオマッチング処理を行って、特定した比較画素ブロックの前記比較画像上の位置と当該基準画素ブロックの前記基準画像上の位置から視差を算出することで、前記基準画素ブロックごとに視差を算出するステレオマッチング手段と、
前記基準画素ブロックごとの視差に基づいて同一の物体と見なすべき前記視差をグループ化するグルーピング手段と、
前記グループ化された視差に基づいて前記基準画像上に物体を検出して前記物体が撮像されている領域を設定するとともに、前記各領域の左端部または右端部に属する前記基準画素ブロックを選択し、当該基準画素ブロックに対応して前記比較画像上に特定された前記比較画素ブロックを含む前記エピポーララインの前記特定された比較画素ブロックの左側または右側の範囲について再度前記ステレオマッチング処理を行い、前記特定された比較画素ブロック以外の比較画素ブロックであって、前記差異の極小値を与え、当該極小値が予め設定された閾値以下である比較画素ブロックが検出された場合には、当該物体はミスマッチングであると判定する判定手段と、
を備えることを特徴とする。
【0017】
第2の発明は、第1の発明の物体検出装置において、前記所定の計算式は、前記基準画素ブロック中の各画素の輝度値をp1st、前記比較画素ブロック中の各画素の輝度値をp2stとするとき、前記基準画素ブロックおよび前記比較画素ブロック中の全画素の輝度値について
【数2】
で算出されるSAD値を前記差異として算出する計算式であることを特徴とする。
【0018】
第3の発明は、第1または第2の発明の物体検出装置において、前記判定手段は、前記基準画像上に検出された各物体について、当該物体が撮像されている領域の左端部または右端部に属する前記基準画素ブロックのうち、すべての基準画素ブロックまたは所定個数の基準画素ブロックに対して前記再度のステレオマッチング処理を行い、各基準画素ブロックについて、前記差異の極小値が前記閾値以下となる前記特定された比較画素ブロック以外の比較画素ブロックの前記比較画像上での位置が集中している場合に、当該物体はミスマッチングであると判定することを特徴とする。
【0019】
第4の発明は、第1から第3のいずれかの発明の物体検出装置において、前記判定手段は、ミスマッチングであると判定した物体を検出した物体中から除外することを特徴とする。
【0020】
第5の発明は、第1から第3のいずれかの発明の物体検出装置において、前記判定手段は、ミスマッチングであると判定した物体が撮像されている領域の左端部または右端部に属する前記基準画素ブロックに対応して前記比較画像上に特定された前記比較画素ブロックを含む前記エピポーラライン上での前記再度のステレオマッチング処理により、前記差異の極小値が前記閾値以下となる前記特定された比較画素ブロック以外の比較画素ブロックの前記比較画像上の位置と、当該基準画素ブロックの前記基準画像上の位置とから視差を算出し、前記ミスマッチングであると判定した物体が、当該算出した視差に基づいて算出される実空間上の距離に存在するとした場合に、検出されている他のいずれかの物体の実空間上の距離と所定の誤差の範囲内で符合するときは、当該ミスマッチングであると判定した物体を、それと符合する当該他の物体と同一の物体であると判定することを特徴とする。
【0021】
第6の発明は、第5の発明の物体検出装置において、前記差異の極小値が前記閾値以下となる前記特定された比較画素ブロック以外の比較画素ブロックが複数存在する場合には、前記特定された比較画素ブロック以外のすべての比較画素ブロックについて、前記符合するか否かの判定を行うことを特徴とする。
【0022】
第7の発明は、第5または第6の発明の物体検出装置において、前記符合するか否かの判定を行う対象となる他の物体は、前記基準画像上で前記ミスマッチングであると判定した物体の近傍に検出された物体であることを特徴とする。
【0023】
第8の発明は、第1から第7のいずれかの発明の物体検出装置において、前記判定手段は、今回のサンプリング周期でミスマッチングであると判定した物体について行った前記再度のステレオマッチング処理で得られた前記差異の極小値を与え当該極小値が前記閾値以下である比較画素ブロックの情報の中に、ミスマッチングであると判定した当該物体に対応する前回のサンプリング周期で検出された物体について前記前回のサンプリング周期で行った前記再度のステレオマッチング処理で得られた前記差異の極小値を与え当該極小値が前記閾値以下である比較画素ブロックの情報に近接する情報がある場合には、今回のサンプリング周期で当該物体に対して行ったミスマッチングであるとの判定の信頼度を向上させることを特徴とする。
【0024】
第9の発明は、第1から第8のいずれかの発明の物体検出装置において、前記判定手段は、算出された前記差異に基づいて、前記基準画像と前記比較画像との一方または両方の輝度値を増加させまたは減少させることを特徴とする。
【発明の効果】
【0025】
第1の発明によれば、ステレオ撮像手段で撮像された基準画像と比較画像と基づいてステレオマッチング処理を行って基準画像上に検出した物体に対して、物体が撮像されている基準画像上の各領域について、各領域の左端部または右端部に属する基準画素ブロックを選択し、当該基準画素ブロックに対応して特定された比較画素ブロックを含むエピポーラライン上の前記特定された比較画素ブロックの左側または右側の範囲について再度ステレオマッチング処理を行う。そして、当該物体について、特定された比較画素ブロック以外に、SAD値等の差異の極小値を与え、当該極小値が予め設定された閾値以下である比較画素ブロックが検出された場合に、当該物体はミスマッチングであると判定する。
【0026】
このように構成することで、図23(A)、(B)に示したような似たような輝度パターンが一定の間隔で並ぶ物体等が撮像され、ミスマッチングを生じ易い画像に対しても、再度のステレオマッチング処理で、特定された比較画素ブロックの左側または右側の範囲に差異の極小値を与え当該極小値が閾値以下である比較画素ブロックが検出された場合に当該物体がミスマッチングであると判定することで、ミスマッチングにより誤検出された物体を的確に識別することが可能となる。
【0027】
また、そのため、例えば物体検出装置を車両に搭載し、先行車両を追跡する場合にも、物体の誤検出により先行車追従システム等が作動して不要なブレーキ操作が自動的に行われる事態の発生を防止することが可能となる。さらに、前記閾値を適切に設定することで、容易かつ確実にミスマッチングによる物体の誤検出を識別することが可能となる。
【0028】
第2の発明によれば、前記(1)式に従って算出されるSAD値に基づいてステレオマッチング手段でステレオマッチング処理が行われ、判定手段で再度のステレオマッチング処理が行われるため、前記各処理を容易に行うことが可能となるとともに、判定手段での再度のステレオマッチング処理によりエピポーラライン上の前記範囲に特定された比較画素ブロック以外に前記条件を満たす比較画素ブロックが存在するか否かを容易かつ的確に判定することが可能となり、前記発明の効果がより容易かつ的確に発揮される。
【0029】
第3の発明によれば、物体が撮像されている基準画像上の各領域について、各領域の左端部または右端部に属する複数の基準画素ブロックを選択してそれぞれ再度のステレオマッチング処理を行うことで、より確実にミスマッチングの判定を行うことが可能となり、前記各発明の効果がより確実に発揮される。
【0030】
第4の発明によれば、前記各発明の効果に加え、ミスマッチングであると判定した物体を検出した物体中から除外することで、検出された物体中に誤検出された物体が含まれないようにすることが可能となり、物体検出の信頼性をより向上させることが可能となる。
【0031】
第5の発明によれば、前記各発明の効果に加え、ミスマッチングであると判定した物体について、特定された比較画素ブロックを含むエピポーラライン上に特定された比較画素ブロック以外に検出された比較画素ブロックの情報を活用して、ミスマッチングであると判定した物体をそれと符合する他の物体と同一の物体であると判定することで、ミスマッチングされた物体の情報を有効に活用することが可能となるとともに、複数の物体として検出されていた本来1つの物体の情報を的確に1つにまとめることが可能となり、物体検出の信頼性をより向上させることが可能となる。
【0032】
第6の発明によれば、ミスマッチングであると判定した物体について、特定された比較画素ブロックを含むエピポーラライン上に特定された比較画素ブロック以外に検出された比較画素ブロックが複数存在する場合に、それらの情報をすべて活用して、ミスマッチングであると判定した物体をそれと符合する他の物体と同一の物体であると判定することで、前記第5の発明の効果がより的確に発揮されるとともに、符合処理の信頼性を向上させることが可能となる。
【0033】
第7の発明によれば、符合するか否かの判定を行う対象となる他の物体を、基準画像上でミスマッチングであると判定した物体の近傍に検出された物体に限定することで、基準画像上の合理的な範囲内で符合処理を行うことが可能となる。そのため、符合処理の信頼性を向上させることが可能となり、前記各発明の効果がより的確に発揮される。
【0034】
第8の発明によれば、今回のサンプリング周期でミスマッチングであると判定した物体について、エピポーラライン上に検出された比較画素ブロックの情報の中に、その物体に対応し、前回のサンプリング周期で検出された物体について前回のサンプリング周期で行った再度のステレオマッチング処理で得られた比較画素ブロックの情報に近接する情報がある場合に、今回のサンプリング周期で当該物体に対して行ったミスマッチングであるとの判定の信頼度を向上させることで、物体検出の信頼性をより向上させることが可能となるとともに、ミスマッチングであると判定した物体の排除や、他の物体との符合処理を的確に行うことが可能となり、前記各発明の効果がより的確に発揮される。
【0035】
第9の発明によれば、前記各発明の効果に加え、算出された差異に基づいて基準画像や比較画像の輝度値を増減させることで、次回以降のサンプリング周期で基準画像の基準画素ブロックに対して本来特定されるべき比較画素ブロックが特定される確率を向上させることが可能となり、ミスマッチングの発生確率を低下させて、物体検出の信頼性をより向上させることが可能となる。
【発明を実施するための最良の形態】
【0036】
以下、本発明に係る物体検出装置の実施の形態について、図面を参照して説明する。
【0037】
なお、以下では、物体検出装置が車両に搭載され、道路上の、或いは道路周辺の物体を検出する場合について説明するが、本発明に係る物体検出装置の用途等はこの場合に限定されない。
【0038】
本実施形態に係る物体検出装置1は、図1に示すように、ステレオ撮像手段2、変換手段3、画像処理手段6、検出手段9等で構成されている。
【0039】
なお、ステレオ撮像手段2から検出手段9のグルーピング手段10までの構成は本願出願人により先に提出された特開平5−114099号公報、特開平5−265547号公報、特開平6−266828号公報、特開平10−283461号公報、特開平10−283477号公報、特開2006−72495号公報等に詳述されており、詳細な説明はそれらの公報に委ねる。以下、簡単に説明する。
【0040】
ステレオ撮像手段2は、本実施形態では、互いに同期が取られたCCDやCMOSセンサ等のイメージセンサがそれぞれ内蔵され例えばルームミラー近傍に車幅方向すなわち左右方向に所定の間隔をあけて取り付けられた一対のメインカメラ2aおよびサブカメラ2bからなるステレオカメラが用いられている。
【0041】
メインカメラ2aおよびサブカメラ2bは、道路面から同じ高さに取り付けられており、所定のサンプリング周期で同時に車両前方の物体を撮像して撮像画像の情報を出力するように構成されている。そして、運転者に近い側に配置されたメインカメラ2aは図2に例示される基準画像TOの画像データを出力し、運転者から遠い側に配置されたサブカメラ2bは図示を省略する比較画像TCの画像データを出力するようになっている。
【0042】
メインカメラ2aとサブカメラ2bから出力された画像データは、変換手段3であるA/Dコンバータ3a、3bでアナログ画像からそれぞれ画素ごとに例えば256階調のグレースケール等の所定の輝度階調の輝度を有するデジタル画像にそれぞれ変換され、画像補正部4で、ずれやノイズの除去等の画像補正が行われるようになっている。そして、画像補正等が行われた各画像データは、画像データメモリ5に送信されて格納されるとともに、画像処理手段6にも送信されるようになっている。
【0043】
画像処理手段6は、イメージプロセッサ等からなるステレオマッチング手段7と距離データメモリ8とを備えている。
【0044】
ステレオマッチング手段7では、図22に示した手法でステレオマッチング処理が行われるようになっている。具体的には、ステレオマッチング手段7は、基準画像TO上に例えば3×3画素や4×4画素等の所定の画素数の基準画素ブロックPBOを設定し、基準画素ブロックPBOに対応する比較画像TC中のエピポーララインEPL上の基準画素ブロックPBOと同形の各比較画素ブロックPBCを左から右に1画素分ずつシフトしながら当該基準画素ブロックPBOとの輝度パターンの差異を算出して、差異が最小の比較画素ブロックPBCを特定するようになっている。
【0045】
本実施形態では、前記差異として前記(1)式に従って算出されるSAD値を用いるように構成されているが、この他にも、例えば基準画素ブロックPBO中の各画素の輝度値p1stと比較画素ブロックPBC中の各画素の輝度値p2stとの差の二乗和を前記差異として算出するように構成することも可能である。また、基準画素ブロックPBOと比較画素ブロックPBCとの輝度パターンの差異を適切に算出できるものであれば他の計算式に従って差異を算出するように構成することも可能である。
【0046】
ステレオマッチング手段7は、さらに、ステレオマッチング処理により特定した比較画素ブロックPBCの比較画像TC上の位置と当該基準画素ブロックPBOの基準画像TO上の位置から視差dpを算出する。そして、以上の処理を基準画像TOの全基準画素ブロックPBOについて行って、基準画素ブロックPBOごとに視差dpを算出するようになっている。
【0047】
ステレオマッチング手段7は、このようにして基準画素ブロックPBOごとに算出した視差dpの情報を距離データメモリ8に送信して格納させるようになっている。なお、基準画像TOの各基準画素ブロックPBOにそれぞれ視差dpを割り当てて形成される図3に示すような画像を、以下、距離画像TZという。
【0048】
なお、ステレオマッチング手段7は、視差dpの信頼性を向上させる目的から、このようにして求めた視差dpに対してフィルタリング処理を施し、有効とされた視差dpのみを出力するようになっている。すなわち、例えば、基準画素ブロックPBOが車道の映像のみからなる場合のように輝度パターンの点で特徴に乏しい場合、比較画像TC中のエピポーララインEPL上を走査して得られる各比較画素ブロックPBCのSAD値は変化が少なく、特定された比較画素ブロックPBCの信頼性は必ずしも高くない。そのため、そのような基準画素ブロックPBOでの視差dpは前記フィルタリング処理で無効とされ、その基準画素ブロックPBOについては視差dpの値として0を出力するようになっている。
【0049】
したがって、ステレオマッチング手段7から出力される距離画像TZは、通常、基準画像TOにおいて左右方向に隣接する画素間での輝度値p1stの差が大きい、いわゆる物体のエッジ部分の基準画素ブロックPBOについて有効な視差dpの値を有する画像となる。
【0050】
また、一対のメインカメラ2aとサブカメラ2bの中央真下の道路面上の点を原点とし、自車両の車幅方向(左右方向)をX軸方向、車高方向(高さ方向)をY軸方向、車長方向(前後方向)をZ軸方向とした場合の実空間上の点(X,Y,Z)と、上記の視差dp、距離画像TZ上の点(i,j)とは、三角測量の原理に基づき下記(2)〜(4)式で表される座標変換により一意に対応づけられる。
X=CD/2+Z×PW×(i−IV) …(2)
Y=CH+Z×PW×(j−JV) …(3)
Z=CD/(PW×(dp−DP)) …(4)
【0051】
上記各式において、CDは一対のカメラの間隔、PWは1画素当たりの視野角、CHは一対のカメラの取り付け高さ、IVおよびJVは自車両正面の無限遠点の距離画像TZ上のi座標およびj座標、DPは消失点視差を表す。
【0052】
従って、本実施形態では、上記のように基準画像TOの各基準画素ブロックPBOにそれぞれ視差dpが割り当てられた距離画像TZを用いて視差dpに基づいて各処理が行われるが、予め視差dpを前記(4)式に従って距離Zに変換し、基準画像TOの各基準画素ブロックPBOにそれぞれ距離Zを割り当てた距離画像を用いて距離Zに基づいて各処理を行うように構成することも可能である。
【0053】
検出手段9は、図示しないCPUやROM、RAM、入出力インターフェース等がバスに接続されたマイクロコンピュータより構成されている。図示を省略するが、検出手段9には、必要に応じて車速やヨーレート、ステアリングホイールの舵角等の情報が入力されるようになっている。
【0054】
検出手段9は、図1に示すように、物体を検出するためのグルーピング手段10と、検出された各物体についてミスマッチングであるか否かと判定する判定手段11とを備えており、さらに図示しないメモリを備えている。
【0055】
グルーピング手段10は、本実施形態では、前述したように特開平10−283461号公報等に記載された車外監視装置等をベースに構成されている。詳細な説明はそれらの公報に委ねる。以下、簡単にその構成について説明する。
【0056】
グルーピング手段10は、上記のステレオマッチング処理で得られた基準画素ブロックPBOごとの視差dpに基づいて同一の物体と見なすべき視差dpをグループ化して、基準画像TO上に物体を検出するようになっている。
【0057】
具体的には、グルーピング手段10は、距離データメモリ8から前述した距離画像TZを読み出して、図4に示すように距離画像TZを所定の画素幅で垂直方向に延びる短冊状の区分Dnに分割する。そして、短冊状の各区分Dnに属する各視差dpについて図5に示すようにヒストグラムHnを作成し、度数Fnが最大の階級の階級値をその短冊状の区分Dnにおける物体の視差dpnとする。これを全区分Dnについて行うようになっている。
【0058】
グルーピング手段10は、続いて、各区分Dnごとに得られた視差dpnを前記(4)式のdpに代入して、視差dpnに対応する各区分Dnごとの実空間上の距離Znを算出して、図6に示すように実空間上にプロットし、図7に示すようにプロットされた各点間の距離や方向性に基づいて互いに隣接する各点をそれぞれグループG1、G2、G3、…にまとめてグループ化するようになっている。
【0059】
本実施形態では、グルーピング手段10は、図8に示すように各グループに属する各点をそれぞれ直線近似し、それぞれのグループ内の各点が自車両Aの車幅方向すなわちX軸方向に略平行に並ぶグループには“物体”Oとラベルし、各点が自車両Aの車長方向すなわちZ軸方向に略平行に並ぶグループには“側壁”Sとラベルして分類するようになっている。また、同一の物体の“物体”と“側壁”の交点とみなすことができる箇所にコーナー点としてCをラベルするようになっている。
【0060】
そして、グルーピング手段10は、図8の例では、[側壁S1]、[物体O1]、[側壁S2]、[物体O2とコーナー点Cと側壁S3]、[側壁S4]、[物体O3]、[物体O4]、[側壁S5とコーナー点Cと物体O5]、[物体O6]、[側壁S6]をそれぞれ1つの物体として検出するようになっている。なお、上記のように便宜上ラベルとして“物体”と“側壁”とが用いられるが、“側壁”も物体として検出される。
【0061】
グルーピング手段10は、このようにして検出した各物体の情報すなわち各グループの近似直線の端点や中点の座標等をそれぞれメモリに保存するようになっている。なお、本実施形態では、以下、各物体の視差dpや距離Zという場合、それらは、各物体に対応する各グループの近似直線の中点に対応する基準画素ブロックPBOの視差dpおよびそれに対応する距離Zを表す。
【0062】
判定手段11は、図9に示すように、グルーピング手段10により検出された各物体の情報に基づいて、基準画像TO上に各物体を包囲する矩形状の枠線を設定することで各物体が撮像されている各領域を設定して、基準画像TO上に各物体を検出するようになっている。判定手段11は、基準画像TOにおける各枠線の頂点の座標等をそれぞれメモリに保存するようになっている。
【0063】
以下、判定手段11におけるミスマッチングの判定手法について説明するとともに、本実施形態に係る物体検出装置1の作用について説明する。
【0064】
本実施形態のステレオマッチング手段7で行われる図22に示した手法によるステレオマッチング処理では、前述した従来の場合と同様に、例えば図23(A)、(B)に示した似たような輝度パターンが一定の間隔で並ぶ物体Oの基準画素ブロックPBO(p)に対してステレオマッチング処理を行った場合、前記(1)式で算出されるSAD値のグラフに、図24に示したように、SAD値が極小となる下向きのピークとなる比較画素ブロックPBC(a)、PBC(b)、PBC(c)、…が繰り返し現れる。
【0065】
そして、本来特定されるべき比較画素ブロックPBC(a)とは別の比較画素ブロックPBC(c)でSAD値SAD(c)が最小となって比較画素ブロックPBC(c)が特定されるミスマッチングが生じる。その結果、このミスマッチングに基づいて視差が算出されると、図25に示したように物体Oの一部が本来の物体Oとは距離Zが異なる別の物体Oaとして誤検出される。
【0066】
図25に示した誤検出された物体Oaは、例えば図10(A)に示すように基準画像TO上では、検出された物体Oの一部に現れる。これは、本来基準画像TO上で物体Oと同一の物体として検出されるべき領域Oaに属する各基準画素ブロックPBOに対して、図10(B)に示すように、比較画像TC上で、本来特定されるべき比較画素ブロックPBC(a)を含む領域Raの各比較画素ブロックPBCではなく、比較画像TC上の領域Raの右側の比較画素ブロックPBC(c)を含む領域Rcの各比較画素ブロックPBCが誤って特定されてしまったことを表す。
【0067】
ここで、より詳しくミスマッチングされた領域Rcについて検討すると、比較画像TC上で領域Rcの左側に本来マッチングされるべき領域Raが存在する。そして、図10(B)に示したようにミスマッチングにより誤って特定された比較画素ブロックPBC(c)が属するエピポーララインEPL上には領域Rcの左外側に少なくとも本来特定されるべき比較画素ブロックPBC(a)が存在し、そこでは図24のグラフに示したようにSAD値がSAD(c)と同程度に小さい極小値SAD(a)を与え、下向きのピークとなる。なお、この場合は、図24に示したように比較画素ブロックPBC(b)もSAD値の極小値SAD(b)を与えて下向きのピークとなっている。
【0068】
一方、正しく検出された物体Oについて検討すると、図11に示すように、比較画像TC上では本来マッチングされるべき領域Oがマッチングされている。そして、例えば図10(A)に示す物体Oが検出された領域Oの左端部に属する基準画素ブロックPBO(q)について観察すると、それに対応して特定された比較画素ブロックPBC(d)を含む比較画像TC上のエピポーララインEPL上の比較画素ブロックPBC(d)の左側の範囲では、SAD値は図12に示すようなグラフになる。
【0069】
すなわち、特定された比較画素ブロックPBC(d)以外にも、比較画素ブロックPBC(e)、PBC(f)のようにSAD値の極小値を与える比較画素ブロックPBCが存在するが、比較画素ブロックPBC(e)、PBC(f)でのSAD値SAD(e)、SAD(f)は、特定された比較画素ブロックPBC(d)よりも大きい。
【0070】
本実施形態では、似たような輝度パターンが一定の間隔で並んでいる物体O等が撮像されている場合にSAD値に生じる上記の特性を利用して、判定手段11は、上記のようにして検出された各物体ごとに、基準画像TO上に物体が撮像されている矩形状の枠線で囲まれた領域をそれぞれ設定すると、各領域(例えば図10(A)の領域O、Oa)の左端部に属する基準画素ブロックPBO(例えば基準画素ブロックPBO(q)、PBO(p))を選択し、当該基準画素ブロックPBO(PBO(q)、PBO(p))に対応して比較画像TC上に特定された比較画素ブロックPBC(例えば比較画素ブロックPBC(d)、PBC(c))を含むエピポーララインEPLの比較画素ブロックPBC(PBC(d)、PBC(c))の左側の範囲について再度ステレオマッチング処理を行うようになっている。
【0071】
そして、特定された比較画素ブロックPBC(PBC(d)、PBC(c))以外の比較画素ブロックPBCであって、SAD値の極小値を与え、当該極小値が予め設定された閾値以下である比較画素ブロックPBCが検出された場合には、当該物体はミスマッチングであると判定するように構成されている。閾値は予め適切な値に設定される。
【0072】
このように構成すると、上記の例では、判定手段11は、図10(A)の領域Oaの左端部に属する基準画素ブロックPBO(p)を選択すると、図10(B)に示したように基準画素ブロックPBO(p)に対応して比較画像TC上に特定された比較画素ブロックPBC(c)を含むエピポーララインEPLの比較画素ブロックPBC(c)の左側の範囲について再度ステレオマッチング処理を行う。すると、図24のグラフに示したように、特定された比較画素ブロックPBC(c)以外の比較画素ブロックPBCであって、SAD値の極小値SAD(a)、SAD(a)を与え、当該極小値が予め設定された閾値以下である比較画素ブロックPBC(a)、PBC(b)が検出されるため、判定手段11は、当該物体Oaはミスマッチングであると判定する。
【0073】
一方、判定手段11は、図10(A)の領域Oの左端部に属する基準画素ブロックPBO(q)を選択すると、図11に示したように基準画素ブロックPBO(q)に対応して比較画像TC上に特定された比較画素ブロックPBC(d)を含むエピポーララインEPLの比較画素ブロックPBC(d)の左側の範囲について再度ステレオマッチング処理を行う。すると、図12のグラフに示したように、比較画素ブロックPBC(e)、PBC(f)のSAD値はともに閾値より大きな値であり、特定された比較画素ブロックPBC(d)以外の比較画素ブロックPBCであってSAD値の極小値を与え当該極小値が予め設定された閾値以下である比較画素ブロックPBCは検出されないため、判定手段11は、当該物体Oはミスマッチングではなく、正しくマッチングされた物体であると判定する。
【0074】
このように、本実施形態の判定手段11では、検出された各物体ごとに基準画像TO上に物体が撮像されている矩形状の枠線で囲まれた領域をそれぞれ設定し、各領域の左端部に属する基準画素ブロックPBOに対応して比較画像TC上に特定された比較画素ブロックPBCの左側のエピポーララインEPL上で再度ステレオマッチング処理を行って、SAD値のグラフで下向きのピークを与える比較画素ブロックPBCが特定された比較画素ブロックPBC以外に存在するか否かで、各物体がミスマッチングであるか否かをそれぞれ判定するようになっている。
【0075】
しかし、このように構成した場合、図10(A)、(B)に示したミスマッチングとは逆方向のミスマッチングが生じた場合には、判定手段11が必ずしも適切に機能しない場合がある。
【0076】
すなわち、例えば図13(A)、(B)に示すように、基準画像TO上の基準画素ブロックPBO(r)に対応して比較画像TC上で比較画素ブロックPBC(a)が特定され、基準画像TO上の物体Oの一部の領域Obが比較画像TC上の本来特定されるべき領域Rcではなくその左側の領域Rcとミスマッチングされた場合、物体Obはミスマッチングにより誤検出された物体である。
【0077】
しかし、それにもかかわらず、領域Obの基準画素ブロックPBO(r)に対応して比較画像TC上に特定された比較画素ブロックPBC(a)の左側のエピポーララインEPL上で再度ステレオマッチング処理を行うと、特定された比較画素ブロックPBC(a)以外にはSAD値の極小値を与え、当該極小値が予め設定された閾値以下である比較画素ブロックPBCは検出されないから、判定手段11は、当該物体Obをミスマッチングであるとは判定しないという問題がある。
【0078】
なお、この場合、誤検出された物体Obは、物体Obの領域に属する各区分Dnの視差dpnを実空間上の距離Znに換算して実空間上にプロットすると、図14に示すように本来の物体Oよりも遠い位置に誤検出される。本実施形態のように、物体検出装置1が車両に搭載され、道路上や道路周辺の物体を検出する場合には、前記図25のように物体Obが本来の物体Oより近い位置に誤検出されると先行車追従システム等が作動して自動的に急ブレーキが掛かる等の問題が生じるが、本来の物体Oが確実に検出されている限り物体Obが本来の物体Oより遠い位置に誤検出されてもさほど不都合は生じない。
【0079】
図13(A)、(B)に示したような図10(A)、(B)に示したミスマッチングとは逆方向のミスマッチングが生じているか否かの判定は、比較画像TC上のエピポーララインEPLの上記とは逆側すなわち右側の範囲で再度ステレオマッチング処理を行うように構成することで判定することができる。
【0080】
すなわち、判定手段11は、検出された各物体ごとに基準画像TO上にそれぞれ設定された枠線で囲まれた領域(例えば図15(A)に示す領域O、Ob)の右端部に属する基準画素ブロックPBO(例えば基準画素ブロックPBO(s)、PBO(t))を選択し、当該基準画素ブロックPBO(PBO(s)、PBO(t))に対応して比較画像TC上に特定された比較画素ブロックPBC(例えば図15(B)に示す比較画素ブロックPBC(g)、PBC(h))を含むエピポーララインEPLの比較画素ブロックPBC(PBC(g)、PBC(h))の右側の範囲について再度ステレオマッチング処理を行う。そして、特定された比較画素ブロックPBC(PBC(g)、PBC(h))以外の比較画素ブロックPBCであって、SAD値の極小値を与え、当該極小値が予め設定された閾値以下である比較画素ブロックPBCが検出された場合には、当該物体はミスマッチングであると判定するように構成される。
【0081】
このように構成すれば、判定手段11は、例えば図15(A)の領域Oの右端部の基準画素ブロックPBO(s)を選択すると、図15(B)に示したように基準画素ブロックPBO(s)に対応して比較画像TC上に特定された比較画素ブロックPBC(g)を含むエピポーララインEPLの比較画素ブロックPBC(g)の右側の範囲について再度ステレオマッチング処理を行う。この場合、前述した図12のグラフに示した各SAD値と同様に、特定された比較画素ブロックPBC(g)以外の比較画素ブロックPBCであってSAD値の極小値を与え当該極小値が予め設定された閾値以下である比較画素ブロックPBCは検出されないため、判定手段11は、当該物体Oはミスマッチングではなく、正しくマッチングされた物体であると判定する。
【0082】
また、判定手段11は、例えば図15(A)の領域Obの右端部の基準画素ブロックPBO(t)を選択すると、基準画素ブロックPBO(t)とマッチングされた比較画素ブロックPBCが比較画素ブロックPBC(h)であれば、図15(B)に示したように基準画素ブロックPBO(t)に対応して比較画像TC上に特定された比較画素ブロックPBC(h)を含むエピポーララインEPLの比較画素ブロックPBC(h)の右側の範囲について再度ステレオマッチング処理を行う。
【0083】
この場合は、比較画素ブロックPBC(h)の右側のエピポーララインEPL上に、比較画素ブロックPBC(h)と輝度パターンが似かよった比較画素ブロックPBCが比較画素ブロックPBC(h)以外に1つ以上存在するため、図16に示すように、特定された比較画素ブロックPBC(h)以外に、SAD値の極小値SAD(i)、SAD(j)、…を与え、当該極小値が予め設定された閾値以下である比較画素ブロックPBC(i)、PBC(j)、…が検出されるため、判定手段11は、当該物体Obはミスマッチングであると判定する。
【0084】
このように、判定手段11を、検出された各物体ごとに基準画像TO上に物体が撮像されている矩形状の枠線で囲まれた領域をそれぞれ設定し、各領域の右端部に属する基準画素ブロックPBOに対応して比較画像TC上に特定された比較画素ブロックPBCの右側のエピポーララインEPL上で再度ステレオマッチング処理を行って、SAD値のグラフで下向きのピークを与える比較画素ブロックPBCが特定された比較画素ブロックPBC以外に存在するか否かで、各物体がミスマッチングであるか否かをそれぞれ判定するように構成することも可能である。
【0085】
なお、上記の判定手段11によるミスマッチングの判定においては、基準画像TO上に検出された各物体の領域O、Oa、Obの各左端部で基準画素ブロックPBOをそれぞれ1つずつ(すなわち基準画素ブロックPBO (q)、PBO (p) 、PBO (r))選択し、或いは各物体の領域O、Obの各右端部で基準画素ブロックPBOをそれぞれ1つずつ(すなわち基準画素ブロックPBO (s)、PBO (t))選択する場合について説明したが、各物体の領域の左端部や右端部で選択される基準画素ブロックPBOの数は1つに限定されない。寧ろ、各物体の領域の左端部や右端部で選択される基準画素ブロックPBOの数を複数とすることで、より確実にミスマッチングの判定を行うことが可能となる。
【0086】
ミスマッチングの判定において各物体の領域の左端部や右端部で選択される基準画素ブロックPBOの数を複数とする場合、左端部または右端部に属するすべての基準画素ブロックPBOに対して再度ステレオマッチング処理を行うように構成することができる。また、左端部または右端部に属するすべての基準画素ブロックPBOのうち、予め設定された所定個数の基準画素ブロックに対して再度ステレオマッチング処理を行うように構成することも可能である。
【0087】
その際、例えば前述した図10(A)に示した誤検出された物体Oaの領域Oaの左端部に属する基準画素ブロックPBOとして基準画素ブロックPBO(p)を含む複数の基準画素ブロックPBOを選択し、それらの基準画素ブロックPBOに対してそれぞれ再度ステレオマッチング処理を行うと、図17に示すように、SAD値の極小値が閾値以下となる比較画素ブロックPBCの位置が少なくとも比較画素ブロックPBC(a)、PBC(b)、PBC(c)の近傍の位置に集中する。
【0088】
このように、SAD値の極小値が閾値以下となる特定された比較画素ブロックPBC(c)以外の比較画素ブロックの位置が比較画素ブロックPBC(a)、PBC(b)等の位置に集中している場合に当該物体Oaがミスマッチングであると判定するように構成することで、より確実にミスマッチングの判定を行うことが可能となる。
【0089】
この場合、物体の領域の左端部や右端部に属するすべての基準画素ブロックPBOまたは所定個数の基準画素ブロックPBOのうち、すべての基準画素ブロックPBOについて上記集中が生じる必要はなく、選択した基準画素ブロックPBOのうちの所定個数以上或いは所定割合以上の基準画素ブロックPBOにおいて上記集中が生じた場合に当該物体Oaがミスマッチングであると判定するように構成することも可能である。
【0090】
判定手段11は、例えば図10(A)に示した物体Oのようにミスマッチングではないと判定した物体について比較画像TCのエピポーララインEPL上に現れた閾値以下の極小値を与える下向きのピークに相当する比較画素ブロックPBC(d)(図12参照)の比較画像TC上の位置の情報や、図10(A)に示した物体Oaのようにミスマッチングと判定した物体について比較画像TCのエピポーララインEPL上に現れた閾値以下の極小値を与える下向きのピークに相当する比較画素ブロックPBC(a)、PBC(b)、PBC(c)(図24参照)の比較画像TC上の位置の情報を、各物体に対応付けてメモリに保存するようになっている。
【0091】
ところで、判定手段11によりミスマッチングであると判定された物体の処理については、例えば、検出した全物体中から除外するように構成することが可能である。この場合、判定手段11は、前記グルーピング手段10がメモリに保存した各物体の情報のうち、ミスマッチングと判定した物体の情報を削除するように構成される。
【0092】
しかし、図24や図16、図17に示したように、ミスマッチングの判定の際に行った再度のステレオマッチング処理で得られたSAD値のグラフにおいて、SAD値が極小となり下向きのピークを与える比較画素ブロックPBCの中に、本来特定されるべき比較画素ブロックPBC(例えば図24等では比較画素ブロックPBC(a))が存在している場合がある。
【0093】
そこで、本実施形態では、それを利用して、再度のステレオマッチング処理の結果を用いて、誤検出された当該物体が検出された他の物体と統合できるか否かを見出すように構成されている。
【0094】
なお、以下では、誤検出された物体の領域の左端部に属する1つの基準画素ブロックPBOについて行った再度のステレオマッチング処理の結果を用いる場合について説明するが、右端部に属する基準画素ブロックPBOについて行った結果を用いる場合についても同様である。また、物体の領域の左端部または右端部に属する複数の基準画素ブロックPBOについて行った再度のステレオマッチング処理の結果を用いる場合についても同様である。
【0095】
具体的には、判定手段11は、まず、ミスマッチングであると判定した物体が撮像されている領域の左端部に属する基準画素ブロックPBOに対応して比較画像TC上に特定された比較画素ブロックPBCを含むエピポーラライン上での再度のステレオマッチング処理により、SAD値の極小値が閾値以下となる特定された比較画素ブロックPBC以外の比較画素ブロックPBCの比較画像TC上の位置と、元の基準画素ブロックPBOの基準画像TO上の位置とから視差dpを算出する。
【0096】
続いて、判定手段11は、ミスマッチングであると判定した物体が、算出した視差dpに基づいて算出される実空間上の距離Zに存在するとした場合に、検出されている他のいずれかの物体の実空間上の距離と所定の誤差の範囲内で符合するときは、当該ミスマッチングであると判定した物体を、それと符合する当該他の物体と同一の物体であると判定するようになっている。
【0097】
図10(A)、(B)の場合、ミスマッチングであると判定された物体Oaの領域Oaの左端部に属する基準画素ブロックPBO(p) に対応して比較画像TC上に特定された比較画素ブロックPBC(c)を含むエピポーララインEPL上での再度のステレオマッチング処理で、SAD値の極小値SAD(a)、SAD(b)(図24参照)が閾値以下となる特定された比較画素ブロックPBC(c)以外の比較画素ブロックPBC(a)、PBC(b)の比較画像TC上の位置と、元の基準画素ブロックPBO(p)の基準画像TO上の位置とからそれぞれ視差dp(a)、dp(b)を算出する。
【0098】
そして、前記(4)式に従って視差dp(a)、dp(b)から実空間上の距離Z(a)、Z(b)をそれぞれ算出する。図18に示すように、ミスマッチングであると判定した物体Oaが距離Z(b)に存在するとした場合、他の物体Oの実空間上の距離と符合するとは言い難いが、物体Oaが距離Z(a)に存在するとした場合には物体Oの実空間上の距離と所定の誤差の範囲内で符合すると言い得る。従って、この場合は、判定手段11は、ミスマッチングであると判定した物体Oaを、それと符合する他の物体Oと同一の物体であると判定し、物体Oと物体Oaとを統合して、図19に示すように1つの物体Oとして検出するようになっている。
【0099】
このように、本実施形態では、SAD値の極小値が閾値以下となる特定された比較画素ブロックPBC以外の比較画素ブロックPBCが複数存在する場合には、特定された比較画素ブロックPBC以外のすべての比較画素ブロックPBCについて、符合するか否かの判定を行うようになっている。
【0100】
また、図20に示すように、本来基準画像TO上で1つの物体として検出されるべき物体の領域が、その一部でミスマッチングを生じてしまったために、複数の物体Oc、Od、Oeとして検出される場合がある。
【0101】
しかし、この場合も、まず、最も左側に検出されている物体Ocについて、その領域Ocの左端部に属する基準画素ブロックPBOに対応して比較画像TC上に特定された比較画素ブロックPBCを含むエピポーララインEPLの当該特定された比較画素ブロックPBCの左側の範囲について再度ステレオマッチング処理を行い、図12に示したようなSAD値のグラフを得て、特定された比較画素ブロックPBC以外の比較画素ブロックPBCでSAD値の極小値が予め設定された閾値以下である比較画素ブロックPBCが検出されないことを確認し、当該物体Ocが正しくマッチングされた物体であると確認する。
【0102】
そして、物体Odについても同様に再度ステレオマッチング処理を行い、SAD値の極小値が閾値以下となる特定された比較画素ブロックPBC以外の比較画素ブロックPBCの比較画像TC上の位置と、元の基準画素ブロックPBOの基準画像TO上の位置とから視差dpを算出し、視差dpから算出される距離Zに基づいて物体Odを物体Ocと統合できるか否かを判定して、物体Odを物体Ocに統合させて1つの物体とする。
【0103】
物体Oeについても同様の処理を行い、統合された物体Oc、Odと統合できるか否かを判定し、最終的に物体Oc〜Oeを統合することで、図19に示すような1つの物体Oとして検出することができる。
【0104】
なお、実施形態では、図19等に示したように、車幅方向(X軸方向)に延在する物体を検出する場合について説明したが、例えば、図9に示したような“側壁”とラベルされた車長方向(Z軸方向)に延在する物体S([側壁S1]〜[側壁S6])についても同様に適用される。
【0105】
また、図9に示したように基準画像TO上に複数の物体が検出されている場合に、上記の処理により例えば物体O6がミスマッチングであると判定されたとしても、同じような距離Zに存在する物体O2と統合させることは明らかに無理がある。
【0106】
従って、本実施形態では、ミスマッチングであると判定した物体と符合するか否かの判定を行う対象となる他の物体を、基準画像TO上でミスマッチングであると判定した物体の近傍に検出された物体に限定するようになっている。具体的には、基準画像TO上でミスマッチングであると判定された物体を表す枠線と当該他の物体を表す枠線とが共有されていること、或いは少なくとも枠線が接していることを条件としている。基準画像TO上でミスマッチングであると判定された物体を表す枠線から所定の距離内にある他の物体を符合するか否かの判定を行う対象とするように構成することも可能である。
【0107】
本実施形態では、判定手段11は、ミスマッチングであると判定した物体を他の物体と統合して1つの物体として検出した場合には、前記グルーピング手段10がメモリに保存した各物体の情報のうち、ミスマッチングと判定した物体の情報を当該他の物体の情報と統合し、必要があれば統合して1つの物体とされた物体の情報の近似直線等をし直し、その端点や中点の座標等をそれぞれメモリに保存するようになっている。
【0108】
その際、判定手段11は、統合して1つの物体とされた物体の基準画像TOにおける各枠線の頂点の座標等の再計算等が必要であれば再計算を行い、また、統合して1つの物体とされた物体について統合される前の当該他の物体について比較画像TCのエピポーララインEPL上に現れた閾値以下の極小値を与える下向きのピークに相当する比較画素ブロックPBCを対応付けてメモリに保存するようになっている。
【0109】
一方、ステレオ撮像手段2のメインカメラ2aおよびサブカメラ2bからは数十〜数百ミリ秒のサンプリング周期で基準画像TOや比較画像TCの各画像データが送られてくるようになっており、検出された各物体について、前回のサンプリング周期で撮像された画像と今回のサンプリング周期で撮像された画像との間で、比較画像TCのエピポーララインEPL上で本来特定されるべき比較画素ブロックPBCの位置が大きく変化することは考え難い。
【0110】
従って、本実施形態の判定手段11は、今回のサンプリング周期でミスマッチングであると判定した物体について行った再度のステレオマッチング処理で得られた閾値以下の極小値を与える下向きのピークに相当する比較画素ブロックPBCの情報の中に、ミスマッチングであると判定した物体に対応する前回のサンプリング周期で検出された物体について前回のサンプリング周期で行った再度のステレオマッチング処理で得られた閾値以下の極小値を与える下向きのピークに相当する比較画素ブロックPBCの情報に近接する情報がある場合には、今回のサンプリング周期で当該物体に対して行ったミスマッチングであるとの判定の信頼度を向上させるようになっている。
【0111】
具体的には、例えば前回のサンプリング周期で図19のように検出された物体Oについて、今回のサンプリング周期で図10(A)に示したようにその一部がミスマッチングにより物体Oaとして検出された場合を考えると、今回のサンプリング周期の再度のステレオマッチング処理で図24に示したようなSAD値のグラフが得られた場合、前回のサンプリング周期では本来特定されるべき比較画素ブロックPBC(a)またはそのごく近傍の比較画素ブロックPBCを頂点とする下向きのピークが現れていて、それに相当する比較画素ブロックPBCが特定されていたはずである。
【0112】
従って、今回のサンプリング周期のステレオマッチング処理で誤って比較画素ブロックPBC(c)が特定され、比較画素ブロックPBC(a)にも下向きのピークが現れ、しかも前回のサンプリング周期の再度のステレオマッチング処理で比較画素ブロックPBC(a)に下向きのピークが現れていたのであれば、今回のサンプリング周期で特定された比較画素ブロックPBC(c)は誤りである可能性が非常に高くなる。
【0113】
そのため、判定手段11は、そのような場合に、今回のサンプリング周期でミスマッチングであると判定した物体についてその判定の信頼度を向上させて、判定の精度をさらに向上させるようになっている。
【0114】
判定手段11は、以上のようにして、ミスマッチングであると判定した物体であって、他の物体と統合されない物体が残存している場合には、その物体についてミスマッチングである旨の情報とその判定の信頼度とを対応付けてメモリに保存するようになっている。また、判定手段11は、以上のようにして検出した物体(ミスマッチングであると判定した物体を含む)の情報を必要に応じてメモリから読み出して出力するようになっている。
【0115】
ところで、比較画像TCのエピポーララインEPL上での閾値以下の極小値を与える下向きのピークに相当する比較画素ブロックPBCの特定を誤るために、物体のミスマッチングが生じる。そして、その際、比較画素ブロックPBCの特定の基準になっているのは、本実施形態では、基準画素ブロックPBO中の各画素の輝度値p1stと、比較画素ブロックPBC中の各画素の輝度値p2stとした場合に、輝度パターンの差異として前記(1)式に従って算出されるSAD値である。
【0116】
そこで、今回のサンプリング周期のステレオマッチング処理で誤った比較画素ブロックPBC(c)が特定されて物体のミスマッチングが生じたのであれば、次回のサンプリング周期のステレオマッチング処理で特定を誤らないように、例えば、輝度パターンの差異として算出されたSAD値に基づいて、基準画像TOと比較画像TCの輝度値を修正するように構成してもよい。
【0117】
具体的には、判定手段11は、今回のサンプリング周期で行った再度のステレオマッチング処理で例えば図24に示したSAD値のグラフが得られた場合、誤って特定された比較画素ブロックPBC(c)に属する全画素の輝度値p2stの平均値KC(c)を算出し、また、本来特定されるべき比較画素ブロックPBC(a)に属する全画素の輝度値p2stの平均値KC(a)を算出する。さらに、比較画素ブロックPBC(c)が対応付けられた元の基準画像TOの基準画素ブロックPBO(p)(図10(A)参照)に属する全画素の輝度値p1stの平均値KO(p)を算出する。
【0118】
上記のように、基準画素ブロックPBO(p)に対して本来特定されるべき比較画素ブロックPBC(a)ではなく比較画素ブロックPBC(c)が誤って特定される状況では、輝度値の平均値KC(c)、 KC(a) 、KO(p)の間には、通常、図21(A)〜(D)の各グラフに示される関係が成り立っていると考えられる。図21(A)〜(D)のいずれのグラフにおいても平均値KO(p)に対して平均値KC(c)の方が平均値KC(a)よりも近い値になっている。
【0119】
その際、図21(A)〜(D)のいずれのグラフの場合も、平均値KO(p)を平均値KC(a)と同じ値になるように増加させまたは減少させることで、平均値KO(p)に対して平均値KC(a)は同じ値となり平均値KC(c)は差が生じるようになり、次のサンプリング周期では基準画像TOの基準画素ブロックPBOに対して本来特定されるべき比較画素ブロックPBCが特定される確率を向上させることができると考えられる。
【0120】
従って、判定手段11は、上記のように、誤って特定された比較画素ブロックPBC(c)に属する全画素の輝度値p2stの平均値KC(c)と、本来特定されるべき比較画素ブロックPBC(a)に属する全画素の輝度値p2stの平均値KC(a)と、元の基準画素ブロックPBO(p)に属する全画素の輝度値p1stの平均値KO(p)を算出すると、KC(a)−KO(p)を計算し、前述したA/Dコンバータ3aや画像補正部4(図1参照)にその差分値を送信して撮像された基準画像TOの画像データの輝度値にその差分値を加算させるように構成することができる。
【0121】
A/Dコンバータ3aや画像補正部4で差分値に応じて基準画像TOの画像データの輝度値を調整する代わりに、差分値に応じてメインカメラ2aの撮像条件を調整するように構成することも可能である。また、基準画像TOの画像データの輝度値を調整する代わりに、或いはそれとともに、比較画像TCの画像データの輝度値を調整するように構成することも可能である。
【0122】
以上のように、本実施形態に係る物体検出装置1によれば、ステレオ撮像手段2により撮像された基準画像TOと比較画像TCとに基づいて、ステレオマッチング手段7でステレオマッチング処理を行って視差dpを算出し、グルーピング手段10で視差dpをグループ化して、判定手段11で基準画像TO上に物体を検出する。
【0123】
また、判定手段11で、物体が撮像されている基準画像TO上の各領域について、各領域の左端部または右端部に属する基準画素ブロックPBOを選択し、当該基準画素ブロックPBOに対応して比較画像TC上に特定された比較画素ブロックPBCを含むエピポーララインEPLの前記特定された比較画素ブロックPBCの左側または右側の範囲について再度ステレオマッチング処理を行う。そして、当該物体について、特定された比較画素ブロックPBC以外の比較画素ブロックPBCであって、SAD値等の差異の極小値を与え、当該極小値が予め設定された閾値以下である比較画素ブロックPBCが検出された場合には、当該物体はミスマッチングであると判定する。
【0124】
このように構成することで、図10(A)、(B)に示されたような似たような輝度パターンが一定の間隔で並ぶ物体等が撮像され、ミスマッチングを生じ易い画像に対しても、再度のステレオマッチング処理で、特定された比較画素ブロックPBCの左側または右側の範囲に差異の極小値を与え当該極小値が閾値以下である比較画素ブロックPBCが検出された場合に当該物体がミスマッチングであると判定することで、ミスマッチングにより誤検出された物体を的確に識別することが可能となる。
【0125】
また、そのため、例えば本実施形態に係る物体検出装置1を車両に搭載し、先行車両を追跡する場合にも、物体の誤検出により先行車追従システム等が作動して不要なブレーキ操作が自動的に行われる事態の発生を防止することが可能となる。さらに、前記閾値を適切に設定することで、容易かつ確実にミスマッチングによる物体の誤検出を識別することが可能となる。
【0126】
なお、本実施形態では、閾値が固定された値であることを前提に説明したが、例えばサンプリング周期ごとに異なる値をとるように構成することも可能であり、また、例えば基準画像TOや比較画像TCの全体的な輝度値等に応じて変動させるように構成することも可能である。
【図面の簡単な説明】
【0127】
【図1】本実施形態に係る物体検出装置の構成を示すブロック図である。
【図2】基準画像の一例を示す図である。
【図3】図2の基準画像に基づいて形成された距離画像を示す図である。
【図4】図3の距離画像を分割する短冊状の区分を説明する図である。
【図5】図4の各区分ごとに作成されるヒストグラムを説明する図である。
【図6】区分ごとの距離を実空間上にプロットした各点を表す図である。
【図7】図6の各点がグループ化されて形成される各グループを表す図である。
【図8】図7の各グループの各点に基づいて近似された直線を表す図である。
【図9】基準画像上に枠線で包囲されて検出された各物体を表す図である。
【図10】(A)基準画像上に誤検出された物体を示す図であり、(B)比較画像上で行われる再度のステレオマッチング処理の手法を説明する図である。
【図11】図10(A)の検出された物体に対して正しくマッチングされた比較画像上の領域を示す図である。
【図12】正しく検出された物体について再度のステレオマッチング処理が行われた場合のSAD値を表すグラフの一例である。
【図13】(A)基準画像上に誤検出された物体を示す図であり、(B)誤検出された物体とミスマッチングされた比較画像上の領域とマッチングされるべき領域とを示す図である。
【図14】図13の誤検出された物体が本来の物体より遠い位置に誤検出されることを説明する図である。
【図15】(A)基準画像上に誤検出された物体を示す図であり、(B)図13の誤検出の場合に比較画像上で行われる再度のステレオマッチング処理の手法を説明する図である。
【図16】図15(B)の再度のステレオマッチング処理において算出されるSAD値を表すグラフの一例である。
【図17】図10(B)の再度のステレオマッチング処理を物体の領域の複数の基準画素ブロックについて行った場合に算出されるSAD値を表すグラフの一例である。
【図18】ミスマッチングである物体の距離と他の物体の距離とが符合することを説明する図である。
【図19】最終的に基準画像上に1つの物体として検出された物体を表す図である。
【図20】ミスマッチングにより複数の物体として検出された物体を表す図である。
【図21】誤って特定された比較画素ブロック、特定されるべき比較画素ブロックおよび元の基準画素ブロックに属する全画素の輝度値の各平均値の関係を表すグラフである。
【図22】ステレオマッチング処理の手法を説明する図である。
【図23】(A)似たような輝度パターンが一定の間隔で並ぶ物体が撮像された基準画像の一例と、(B)それに対応して撮像される比較画像の例を表す図である。
【図24】図23(A)、(B)の基準画像と比較画像に基づいてステレオマッチング処理を行った場合に得られるSAD値を表すグラフの一例である。
【図25】ミスマッチングに基づいて誤検出された物体が本来の物体より近い位置に誤検出されることを説明する図である。
【符号の説明】
【0128】
1 物体検出装置
2 ステレオ撮像手段
2a、2b 一対のカメラ(メインカメラ、サブカメラ)
7 ステレオマッチング手段
10 グルーピング手段
11 判定手段
EPL エピポーラライン
dp 視差
O 物体
Oa、Ob ミスマッチングであると判定された物体
p1st 基準画素ブロック中の各画素の輝度値
p2st 比較画素ブロック中の各画素の輝度値
PBO 基準画素ブロック
PBC 比較画素ブロック
SAD SAD値(差異)
TO 基準画像
TC 比較画像
Z 距離
【特許請求の範囲】
【請求項1】
左右同じ高さに取り付けられた一対のカメラで物体を同時に撮像して基準画像と比較画像とを出力するステレオ撮像手段と、
前記基準画像上に所定の画素数の基準画素ブロックを設定し、当該基準画素ブロックに対応する前記比較画像中のエピポーラライン上の前記基準画素ブロックと同形の各比較画素ブロックについて当該基準画素ブロックとの輝度パターンの差異を所定の計算式に従って算出して前記差異が最小の比較画素ブロックを特定するステレオマッチング処理を行って、特定した比較画素ブロックの前記比較画像上の位置と当該基準画素ブロックの前記基準画像上の位置から視差を算出することで、前記基準画素ブロックごとに視差を算出するステレオマッチング手段と、
前記基準画素ブロックごとの視差に基づいて同一の物体と見なすべき前記視差をグループ化するグルーピング手段と、
前記グループ化された視差に基づいて前記基準画像上に物体を検出して前記物体が撮像されている領域を設定するとともに、前記各領域の左端部または右端部に属する前記基準画素ブロックを選択し、当該基準画素ブロックに対応して前記比較画像上に特定された前記比較画素ブロックを含む前記エピポーララインの前記特定された比較画素ブロックの左側または右側の範囲について再度前記ステレオマッチング処理を行い、前記特定された比較画素ブロック以外の比較画素ブロックであって、前記差異の極小値を与え、当該極小値が予め設定された閾値以下である比較画素ブロックが検出された場合には、当該物体はミスマッチングであると判定する判定手段と、
を備えることを特徴とする物体検出装置。
【請求項2】
前記所定の計算式は、前記基準画素ブロック中の各画素の輝度値をp1st、前記比較画素ブロック中の各画素の輝度値をp2stとするとき、前記基準画素ブロックおよび前記比較画素ブロック中の全画素の輝度値について
【数1】
で算出されるSAD値を前記差異として算出する計算式であることを特徴とする請求項1に記載の物体検出装置。
【請求項3】
前記判定手段は、前記基準画像上に検出された各物体について、当該物体が撮像されている領域の左端部または右端部に属する前記基準画素ブロックのうち、すべての基準画素ブロックまたは所定個数の基準画素ブロックに対して前記再度のステレオマッチング処理を行い、各基準画素ブロックについて、前記差異の極小値が前記閾値以下となる前記特定された比較画素ブロック以外の比較画素ブロックの前記比較画像上での位置が集中している場合に、当該物体はミスマッチングであると判定することを特徴とする請求項1または請求項2に記載の物体検出装置。
【請求項4】
前記判定手段は、ミスマッチングであると判定した物体を検出した物体中から除外することを特徴とする請求項1から請求項3のいずれか一項に記載の物体検出装置。
【請求項5】
前記判定手段は、ミスマッチングであると判定した物体が撮像されている領域の左端部または右端部に属する前記基準画素ブロックに対応して前記比較画像上に特定された前記比較画素ブロックを含む前記エピポーラライン上での前記再度のステレオマッチング処理により、前記差異の極小値が前記閾値以下となる前記特定された比較画素ブロック以外の比較画素ブロックの前記比較画像上の位置と、当該基準画素ブロックの前記基準画像上の位置とから視差を算出し、前記ミスマッチングであると判定した物体が、当該算出した視差に基づいて算出される実空間上の距離に存在するとした場合に、検出されている他のいずれかの物体の実空間上の距離と所定の誤差の範囲内で符合するときは、当該ミスマッチングであると判定した物体を、それと符合する当該他の物体と同一の物体であると判定することを特徴とする請求項1から請求項3のいずれか一項に記載の物体検出装置。
【請求項6】
前記差異の極小値が前記閾値以下となる前記特定された比較画素ブロック以外の比較画素ブロックが複数存在する場合には、前記特定された比較画素ブロック以外のすべての比較画素ブロックについて、前記符合するか否かの判定を行うことを特徴とする請求項5に記載の物体検出装置。
【請求項7】
前記符合するか否かの判定を行う対象となる他の物体は、前記基準画像上で前記ミスマッチングであると判定した物体の近傍に検出された物体であることを特徴とする請求項5または請求項6に記載の物体検出装置。
【請求項8】
前記判定手段は、今回のサンプリング周期でミスマッチングであると判定した物体について行った前記再度のステレオマッチング処理で得られた前記差異の極小値を与え当該極小値が前記閾値以下である比較画素ブロックの情報の中に、ミスマッチングであると判定した当該物体に対応する前回のサンプリング周期で検出された物体について前記前回のサンプリング周期で行った前記再度のステレオマッチング処理で得られた前記差異の極小値を与え当該極小値が前記閾値以下である比較画素ブロックの情報に近接する情報がある場合には、今回のサンプリング周期で当該物体に対して行ったミスマッチングであるとの判定の信頼度を向上させることを特徴とする請求項1から請求項7のいずれか一項に記載の物体検出装置。
【請求項9】
前記判定手段は、算出された前記差異に基づいて、前記基準画像と前記比較画像との一方または両方の輝度値を増加させまたは減少させることを特徴とする請求項1から請求項8のいずれか一項に記載の物体検出装置。
【請求項1】
左右同じ高さに取り付けられた一対のカメラで物体を同時に撮像して基準画像と比較画像とを出力するステレオ撮像手段と、
前記基準画像上に所定の画素数の基準画素ブロックを設定し、当該基準画素ブロックに対応する前記比較画像中のエピポーラライン上の前記基準画素ブロックと同形の各比較画素ブロックについて当該基準画素ブロックとの輝度パターンの差異を所定の計算式に従って算出して前記差異が最小の比較画素ブロックを特定するステレオマッチング処理を行って、特定した比較画素ブロックの前記比較画像上の位置と当該基準画素ブロックの前記基準画像上の位置から視差を算出することで、前記基準画素ブロックごとに視差を算出するステレオマッチング手段と、
前記基準画素ブロックごとの視差に基づいて同一の物体と見なすべき前記視差をグループ化するグルーピング手段と、
前記グループ化された視差に基づいて前記基準画像上に物体を検出して前記物体が撮像されている領域を設定するとともに、前記各領域の左端部または右端部に属する前記基準画素ブロックを選択し、当該基準画素ブロックに対応して前記比較画像上に特定された前記比較画素ブロックを含む前記エピポーララインの前記特定された比較画素ブロックの左側または右側の範囲について再度前記ステレオマッチング処理を行い、前記特定された比較画素ブロック以外の比較画素ブロックであって、前記差異の極小値を与え、当該極小値が予め設定された閾値以下である比較画素ブロックが検出された場合には、当該物体はミスマッチングであると判定する判定手段と、
を備えることを特徴とする物体検出装置。
【請求項2】
前記所定の計算式は、前記基準画素ブロック中の各画素の輝度値をp1st、前記比較画素ブロック中の各画素の輝度値をp2stとするとき、前記基準画素ブロックおよび前記比較画素ブロック中の全画素の輝度値について
【数1】
で算出されるSAD値を前記差異として算出する計算式であることを特徴とする請求項1に記載の物体検出装置。
【請求項3】
前記判定手段は、前記基準画像上に検出された各物体について、当該物体が撮像されている領域の左端部または右端部に属する前記基準画素ブロックのうち、すべての基準画素ブロックまたは所定個数の基準画素ブロックに対して前記再度のステレオマッチング処理を行い、各基準画素ブロックについて、前記差異の極小値が前記閾値以下となる前記特定された比較画素ブロック以外の比較画素ブロックの前記比較画像上での位置が集中している場合に、当該物体はミスマッチングであると判定することを特徴とする請求項1または請求項2に記載の物体検出装置。
【請求項4】
前記判定手段は、ミスマッチングであると判定した物体を検出した物体中から除外することを特徴とする請求項1から請求項3のいずれか一項に記載の物体検出装置。
【請求項5】
前記判定手段は、ミスマッチングであると判定した物体が撮像されている領域の左端部または右端部に属する前記基準画素ブロックに対応して前記比較画像上に特定された前記比較画素ブロックを含む前記エピポーラライン上での前記再度のステレオマッチング処理により、前記差異の極小値が前記閾値以下となる前記特定された比較画素ブロック以外の比較画素ブロックの前記比較画像上の位置と、当該基準画素ブロックの前記基準画像上の位置とから視差を算出し、前記ミスマッチングであると判定した物体が、当該算出した視差に基づいて算出される実空間上の距離に存在するとした場合に、検出されている他のいずれかの物体の実空間上の距離と所定の誤差の範囲内で符合するときは、当該ミスマッチングであると判定した物体を、それと符合する当該他の物体と同一の物体であると判定することを特徴とする請求項1から請求項3のいずれか一項に記載の物体検出装置。
【請求項6】
前記差異の極小値が前記閾値以下となる前記特定された比較画素ブロック以外の比較画素ブロックが複数存在する場合には、前記特定された比較画素ブロック以外のすべての比較画素ブロックについて、前記符合するか否かの判定を行うことを特徴とする請求項5に記載の物体検出装置。
【請求項7】
前記符合するか否かの判定を行う対象となる他の物体は、前記基準画像上で前記ミスマッチングであると判定した物体の近傍に検出された物体であることを特徴とする請求項5または請求項6に記載の物体検出装置。
【請求項8】
前記判定手段は、今回のサンプリング周期でミスマッチングであると判定した物体について行った前記再度のステレオマッチング処理で得られた前記差異の極小値を与え当該極小値が前記閾値以下である比較画素ブロックの情報の中に、ミスマッチングであると判定した当該物体に対応する前回のサンプリング周期で検出された物体について前記前回のサンプリング周期で行った前記再度のステレオマッチング処理で得られた前記差異の極小値を与え当該極小値が前記閾値以下である比較画素ブロックの情報に近接する情報がある場合には、今回のサンプリング周期で当該物体に対して行ったミスマッチングであるとの判定の信頼度を向上させることを特徴とする請求項1から請求項7のいずれか一項に記載の物体検出装置。
【請求項9】
前記判定手段は、算出された前記差異に基づいて、前記基準画像と前記比較画像との一方または両方の輝度値を増加させまたは減少させることを特徴とする請求項1から請求項8のいずれか一項に記載の物体検出装置。
【図1】
【図2】
【図3】
【図4】
【図5】
【図6】
【図7】
【図8】
【図9】
【図10】
【図11】
【図12】
【図13】
【図14】
【図15】
【図16】
【図17】
【図18】
【図19】
【図20】
【図21】
【図22】
【図23】
【図24】
【図25】
【図2】
【図3】
【図4】
【図5】
【図6】
【図7】
【図8】
【図9】
【図10】
【図11】
【図12】
【図13】
【図14】
【図15】
【図16】
【図17】
【図18】
【図19】
【図20】
【図21】
【図22】
【図23】
【図24】
【図25】
【公開番号】特開2009−110172(P2009−110172A)
【公開日】平成21年5月21日(2009.5.21)
【国際特許分類】
【出願番号】特願2007−280470(P2007−280470)
【出願日】平成19年10月29日(2007.10.29)
【出願人】(000005348)富士重工業株式会社 (3,010)
【Fターム(参考)】
【公開日】平成21年5月21日(2009.5.21)
【国際特許分類】
【出願日】平成19年10月29日(2007.10.29)
【出願人】(000005348)富士重工業株式会社 (3,010)
【Fターム(参考)】
[ Back to top ]