物体検出装置
【課題】平面上にある特定の物体を検出することができる物体検出装置を提供する。
【解決手段】演算処理装置１２は、視差データ演算部１２１、路面パラメータ推定部１２２、路面投影部１２３、障害物範囲特定部１２４、障害物領域特定部１２５、距離測定部１２６及び表示画像生成部１２７を備える。障害物の検出にあたっては、まず、ステレオカメラ１１から演算処理装置１２へ２次元ステレオ画像を入力する。続いて、視差データ演算部１２１が、計測点Ｐにおける視差を演算し、路面パラメータ推定部１２２が路面パラメータである高さｈ及び傾きφを推定する。さらに続いて、路面投影部１２３が、基準画像上で計測点Ｐを路面に投影し、障害物範囲特定部１２４が障害物範囲を特定し、障害物領域特定部１２５が障害物領域を特定する。そして、障害物距離測定部１２６が、障害物までの距離を測定する。
【解決手段】演算処理装置１２は、視差データ演算部１２１、路面パラメータ推定部１２２、路面投影部１２３、障害物範囲特定部１２４、障害物領域特定部１２５、距離測定部１２６及び表示画像生成部１２７を備える。障害物の検出にあたっては、まず、ステレオカメラ１１から演算処理装置１２へ２次元ステレオ画像を入力する。続いて、視差データ演算部１２１が、計測点Ｐにおける視差を演算し、路面パラメータ推定部１２２が路面パラメータである高さｈ及び傾きφを推定する。さらに続いて、路面投影部１２３が、基準画像上で計測点Ｐを路面に投影し、障害物範囲特定部１２４が障害物範囲を特定し、障害物領域特定部１２５が障害物領域を特定する。そして、障害物距離測定部１２６が、障害物までの距離を測定する。
【発明の詳細な説明】
【技術分野】
【０００１】
本発明は、平面上にある特定の物体を検出する物体検出装置に関する。
【背景技術】
【０００２】
自動車に搭載される運転支援システムは、自動車の前方に存在する障害物を検出し、検出した障害物までの距離を測距した上で、自動車が危険な状態にあるのか否かを判断する。そして、危険な状態にある場合には、運転者に警告を発したり、自動的にブレーキを制御したりすることにより、事故の予防を支援する。
【０００３】
このような運転支援システムには、自動車の前方をステレオカメラで撮影し、画像に映っている障害物をパターン認識の技術を用いて検出するとともに、検出した障害物までの距離を視差を用いて測距するものがある。ただし、画像に映っている障害物をパターン認識の技術を用いて検出するためには、複雑な画像認識処理が必要であるという問題がある。また、パターン認識の技術を用いた障害物の検出には、誤検出が多いという問題がある。
【０００４】
このため、特許文献１〜３に示すように、画像に映っている障害物を視差を用いて検出することも検討されている。
【０００５】
例えば、特許文献１は、画像に映っている路面を検出し、路面からの高さが所定の高さ以上の障害物を検出する技術を開示している。また、特許文献２は、光軸となす角と視差とを投票し、投票数が多い障害物を検出する技術を開示している。さらに、特許文献３は、床面に対するステレオカメラの位置及び姿勢を表す平面パラメータを推定し、床面からの高さが所定の高さ以上の障害物を検出する技術を開示している。
【０００６】
【特許文献１】特開平１０−１４３６５９号公報
【特許文献２】特開平１１−３４５３３６号公報
【特許文献３】特開２００３−２６９９３７号公報
【発明の開示】
【発明が解決しようとする課題】
【０００７】
運転支援システムにおいて、走行している自動車を危険な状態に陥れる障害物として検出すべき物体は、路面上にある特定の物体に限られる。例えば、路面上にない物体を検出する必要はないし、路面上にあっても自動車を危険な状態に陥れることがない物体は検出する必要はない。一方、路面上にある先行車は、障害物として検出すべきであると考えられる。
【０００８】
しかし、従来の技術による物体の検出では、路面上にある特定の物体のみを選択的に検出することはできなかった。
【０００９】
このような問題は、運転支援システムに限られず、平面上にある特定の物体を検出すべき物体検出装置、例えば、自律走行ロボット、無人搬送車、監視カメラ等に搭載される物体検出装置に共通して存在する。
【００１０】
本願発明は、この問題を解決するためになされたもので、平面上にある特定の物体を検出することができる物体検出装置を提供することを目的とする。
【課題を解決するための手段】
【００１１】
上記課題を解決するため、請求項１の発明は、物体検出装置であって、２次元ステレオ画像を撮影し、基準画像及び参照画像として出力するステレオカメラと、基準画像上の計測点における基準画像と参照画像との間の視差を演算する視差演算部と、計測点の座標と計測点における視差との複数の組から基準画像に映っている着目する平面に対する前記ステレオカメラの位置及び姿勢を表す平面パラメータを推定する平面パラメータ推定部と、平面パラメータを用いて基準画像上で計測点を投影面に投影する平面投影部と、前記平面投影部が複数の計測点を投影面に投影することにより得られた複数の投影点から特定の分布を有する投影点の集合を選択する物体候補選択部とを備える。
【００１２】
請求項２の発明は、請求項１に記載の物体検出装置において、前記平面投影部による計測点の投影に先立って、着目する平面からの距離が特定の距離の点が映っている計測点のみを選択する第１の選択部をさらに備える。
【００１３】
請求項３の発明は、請求項１又は請求項２に記載の物体検出装置において、前記物体候補選択部による投影点の集合の選択に先立って、最も前記ステレオカメラ寄りの投影点を選択する第２の選択部をさらに備える。
【００１４】
請求項４の発明は、請求項１ないし請求項３のいずれかに記載の物体検出装置において、前記視差演算部は、基準画像に第１のウインドウを設定する第１のウインドウ設定部と、参照画像に第２のウインドウを設定する第２のウインドウ設定部と、第１のウインドウ内の画像を実空間から周波数空間へ変換する第１の変換部と、第２のウインドウ内の画像を実空間から周波数空間へ変換する第２の変換部と、空間周波数による振幅の変動を抑制した上で周波数空間において第１のウインドウ内の画像と第２のウインドウ内の画像とを比較する画像比較部と、前記画像比較部の比較結果に基づいて計測点に対応する参照画像上の対応点を演算する対応点演算部とを備える。
【００１５】
請求項５の発明は、請求項４に記載の物体検出装置において、前記視差演算部が位相相関限定法を用いて視差を演算する。
【００１６】
請求項６の発明は、請求項１ないし請求項５のいずれかに記載の物体検出装置において、前記平面パラメータ推定部がハフ変換により前記平面パラメータを推定する。
【００１７】
請求項７の発明は、請求項６に記載の物体検出装置において、前記平面パラメータ推定部は、平面パラメータで張られる空間を複数のブロックに分割する空間分割部と、前記空間分割部が複数のブロックに分割した空間において計測点の座標と計測点における視差との複数の組から決定される複数の直線が通過するブロックに投票を行う投票部と、投票が最も多いブロックが代表する平面パラメータを求めるべき平面パラメータとして決定する平面パラメータ決定部とを備える。
【００１８】
請求項８の発明は、請求項１ないし請求項７のいずれかに記載の物体検出装置において、前記物体候補選択部が基準画像上で特定の長さ、傾き又は形状を有する線素を構成する投影点の集合を選択する。
【００１９】
請求項９の発明は、請求項８に記載の物体検出装置において、前記物体候補選択部が基準画像上で実質的に水平な線素を構成する投影点の集合を選択する。
【００２０】
請求項１０の発明は、請求項８に記載の物体検出装置において、前記物体候補選択部が基準画像上で基準画像上の位置に応じた長さの線素を構成する投影点の集合を選択する。
【００２１】
請求項１１の発明は、請求項１ないし請求項１０のいずれかに記載の物体検出装置において、前記物体候補選択部が選択した投影点の集合が存在する範囲であって着目する平面からの距離が特定の距離の基準画像上の領域を検出すべき物体が映っている領域として特定する物体領域特定部をさらに備える。
【００２２】
請求項１２の発明は、請求項１ないし請求項１０のいずれかにに記載の物体検出装置において、前記物体候補選択部が選択した投影点の集合が存在する範囲内においてパターン認識により検出すべき物体が映っている領域を特定する物体領域特定部をさらに備える。
【００２３】
請求項１３の発明は、請求項１ないし請求項１２のいずれかに記載の物体検出装置において、前記ステレオカメラが平面上を移動する移動体に搭載され、着目した平面が前記移動体の移動面である。
【発明の効果】
【００２４】
請求項１の発明によれば、平面上にある特定の物体が映っている計測点の投影点を特定することができるので、平面上にある特定の物体を検出することができる。
【００２５】
請求項２の発明のよれば、検出すべき物体が映っていない計測点を投影面に投影しないので、検出すべき物体を安定して検出することができる。
【００２６】
請求項３の発明によれば、ステレオカメラに最も近い物体を検出することができる。
【００２７】
請求項４ないし請求項５の発明によれば、振幅の変動の影響を受けなくなるので、基準画像と参照画像との明るさの違い等の影響を受けずにロバストに視差を演算することができる。
【００２８】
請求項６ないし請求項７の発明によれば、平面パラメータをロバストに推定することができる。
【００２９】
請求項９ないし請求項１０の発明によれば、特定の物体を適切に検出することができる。
【００３０】
請求項１１の発明によれば、着目する平面からの距離が特定の範囲にある物体を検出することができる。
【００３１】
請求項１２の発明によれば、物体の範囲及び属性をより正確に認識することができる。
【発明を実施するための最良の形態】
【００３２】
＜１ 第１実施形態＞
＜１．１ 障害物検出装置１の構成＞
図１は、第１実施形態に係る障害物検出装置１の模式図である。図１に示す障害物検出装置１は、自動車に搭載され、自動車の前方の障害物を検出する。ただし、このことは、本願発明の適用範囲をこのような障害物検出装置１に限定するものではない。すなわち、本願発明は、自律走行ロボットや無人搬送車のような移動体に搭載され、移動体の移動面上にある特定の物体を検出する物体検出装置に適用することができるのはもちろんのこと、固定監視カメラのような移動を前提としない装置に搭載され、平面上にある特定の物体を検出する物体検出装置にも適用することができる。
【００３３】
図１に戻って説明すると、障害物検出装置１は、ステレオカメラ１１、演算処理装置１２及び表示装置１３を備える。
【００３４】
｛ステレオカメラ１１｝
ステレオカメラ１１は、２次元ステレオ画像を撮影し、撮影した２次元ステレオ画像を画像データとして出力する。すなわち、ステレオカメラ１１は、同期して繰り返し撮影を行う２個のカメラ１１１，１１２を備え、カメラ１１１が撮影した２次元画像を画像データとして出力するとともに、カメラ１１２が撮影した２次元画像を画像データとして出力する。
【００３５】
ステレオカメラ１１は、平行ステレオカメラである。したがって、カメラ１１１，１１２は、間隔を置いて同一方向に向けて設置されており、カメラ１１１の光軸５０１とカメラ１１２の光軸５０２とは平行となっている。
【００３６】
また、カメラ１１１の光学系の焦点距離及びエリアイメージセンサの撮像面の大きさとカメラ１１２の光学系の焦点距離及びエリアイメージセンサの撮像面の大きさとは同一となっている。したがって、カメラ１１１の画角とカメラ１１２の画角とは同一となっている。
【００３７】
さらに、カメラ１１１のエリアイメージセンサの画素は縦横両方向に規則的に配列されており、カメラ１１２のエリアイメージセンサの画素ピッチとカメラのエリアイメージセンサの画素ピッチとは同一である。したがって、カメラ１１１の解像度とカメラ１１２の解像度とは同一となっている。
【００３８】
加えて、カメラ１１１，１１２の光学系の収差は、演算処理装置１２における演算処理に支障が生じないように、良好に補正されている。
【００３９】
ただし、カメラ１１１，１１２がこれらの条件を満たしていなくても、画像処理を行うことにより、これらの条件を満たしている場合と実質的に同等の２次元ステレオ画像を得ることができる。
【００４０】
なお、ここでは、ステレオカメラ１１が２個のカメラ１１１，１１２を備えるとしたが、ステレオカメラ１１が３個以上のカメラを備えていてもよい。
【００４１】
図２及び図３は、ステレオカメラ１１が設置された自動車の模式図である。図２は、自動車の側面図、図３は、自動車の上面図となっている。図２及び図３に示すように、ステレオカメラ１１は、例えば、自動車の車室内のバックミラーの近傍に前方に向けて設置され、自動車の前方を撮影する。
【００４２】
｛演算処理装置１２｝
演算処理装置１２は、ステレオカメラ１１が出力した２次元ステレオ画像の一方を基準画像、他方を参照画像として取得し、基準画像及び参照画像に映っている障害物を検出する。演算処理装置１２は、基準画像及び参照画像に映っている物体のうち、路面上にある特定の物体を障害物として選択的に検出する。
【００４３】
また、演算処理装置１２は、検出した障害物の位置や検出した障害物までの距離の情報を基準画像に重畳した画像を生成し、生成した画像を出力する。
【００４４】
演算処理装置１２における演算処理は、専用ハードウエアを用いるハードウエア処理によって行ってもよいし、マイクロプロセッサ及びプログラムを用いるソフトウエア処理によって行ってもよいし、ハードウエア処理とソフトウエア処理とを混在させた処理によって行ってもよい。
【００４５】
｛表示装置１３｝
表示装置１３は、演算処理装置１２が出力した画像を表示する。
【００４６】
＜１．２ 演算処理装置１２の構成＞
図４は、演算処理装置１２のブロック図である。演算処理装置１２は、視差データ演算部１２１、路面パラメータ推定部１２２、路面投影部１２３、障害物範囲特定部１２４、障害物領域特定部１２５、距離測定部１２６及び表示画像生成部１２７を備える。
【００４７】
｛視差データ演算部１２１｝
図５は、基準画像５０１及び基準画像５０１に定義されたｘｙ直交座標系を示す図であり、図６は、図５に示す基準画像５０１と同時に撮影された参照画像５０２及び参照画像５０２に定義されたｘｙ直交座標系を示す図である。図５に示す基準画像５０１及び図６に示す参照画像５０２には、路面６０１、先行車６０２，６０３、遮音壁６０４、中央分離帯６０５、空６０６が映っている。基準画像５０１及び参照画像５０２に定義されたｘｙ直交座標系は、それぞれ、基準画像５０１及び参照画像５０２の中心を原点とし、横方向をｘ軸方向、縦方向をｙ軸方向としている。
【００４８】
視差データ演算部１２１は、図５に示す基準画像５０１の上の点Ｐ１（ｘ1，ｙ1）に対応する、図６に示す参照画像５０２の上の点Ｐ２（ｘ2，ｙ2）を特定し、基準画像５０１の上の点Ｐ１における基準画像５０１と参照画像５０２との間の視差ｄを演算する。ここでいう「対応する」とは、同じもの（図５及び図６では、先行車６０２のリア）が映っているという意味である。また、座標ｘ1,ｘ2は、それぞれ、基準画像５０１の上の原点及び参照画像５０２の上の原点から横方向に何画素分離れているのかを表しており、座標ｙ1，ｙ2は、それぞれ、基準画像５０１の上の原点及び参照画像５０２の上の原点から縦方向に何画素分離れているのかを表している。
【００４９】
基準画像５０１の上の点Ｐ１と参照画像５０２の上の点Ｐ２との対応付けは、公知の様々な手法により行うことができるが、後述するＰＯＣ（Phase-Only Correlation；位相相関限定）法を用いて行うことが望ましい。
【００５０】
対応付けは、基準画像５０１を構成する画素の全てについて行ってもよいし、所定の画素間隔で間引きを行った後の画素についてのみ行ってもよい。なお、以下では、対応付けを行った基準画像５０１の上の点を「計測点」という。
【００５１】
ここで、ステレオカメラ１１は平行ステレオカメラであるので、基準画像５０１の上の点Ｐ１のｙ座標ｙ1と参照画像５０２の上の点Ｐ２のｙ座標ｙ2とは等しくなり、視差ｄは、式（１）で表すことができる。
【００５２】
【数１】
【００５３】
｛路面パラメータ推定部１２２｝
路面パラメータ推定部１２２は、基準画像５０１に映っている路面６０１を認識し、３次元空間内における着目する路面６０１に対するステレオカメラ１１の位置及び姿勢を表す路面パラメータを推定する。
【００５４】
図７は、路面６０１に対するステレオカメラ１１の配置を説明する図である。図７において、ＹＺ直交座標系は道路に固定された道路座標系であり、Ｚ軸は路面６０１にあり、＋Ｚ方向は道路の伸びる方向となっているとする。また、ｙｚ直交座標系はステレオカメラ１１に固定されたカメラ座標系であり、ｚ軸はカメラ１１１，１１２の光軸５０１，５０２と平行となっており、＋ｚ方向はステレオカメラ１１の向きとなっているとする。
【００５５】
道路は、カーブすることなくまっすぐ伸びているとする。また、ステレオカメラ１１は、ピッチ方向（ＹＺ平面に垂直な軸の周りに回転する方向）に下方に傾けて設置され、ステレオカメラ１１の撮影方向（＋ｚ方向）と道路の伸びる方向（＋Ｚ方向）とのなす角はφであるとする。さらに、ステレオカメラ１１のヨー方向（Ｙ軸の周りに回転する方向）及びロール方向（Ｚ軸の周りに回転する方向）の傾きは、実質的に０であるとする。加えて、ステレオカメラ１１の路面６０１からの高さはｈであるとする。
【００５６】
このような前提の下では、計測点Ｐ（ｘ，ｙ）のｙ座標ｙと、ステレオカメラ１１の直下にある道路座標原点から計測点Ｐに映っている点Ａまでの距離Ｄとの関係は、式（２）及び式（３）を用いて表すことができる。
【００５７】
【数２】
【００５８】
【数３】
【００５９】
ただし、ｆは、カメラ１１１，１１２の光学系の焦点距離、ｐは、カメラ１１１，１１２のエリアイメージセンサの画素ピッチ、Ｎは、カメラ１１１，１１２のエリアイメージセンサの縦方向の画素数、θは、カメラ１１１，１１２の垂直方向の画角の半角である。
【００６０】
ここで、ｈ／Ｄ及びｙ／αが１と比較して十分に小さい場合、式（２）は、式（４）に簡略化することができる。
【００６１】
【数４】
【００６２】
式（４）より、距離Ｄは、式（５）で表される。
【００６３】
【数５】
【００６４】
一方、計測点Ｐにおける視差ｄと距離Ｄとの関係は、式（６）で表される。
【００６５】
【数６】
【００６６】
ただし、Ｂは、基線長（ベースライン）である。
【００６７】
式（５）及び式（６）より、視差ｄと計測点Ｐのｙ座標ｙとの関係は、式（７）で表される。
【００６８】
【数７】
【００６９】
図８は、視差ｄ及びｙ座標ｙで張られるｄ−ｙ空間における路面パラメータの推定を説明する図である。
【００７０】
式（７）において、ステレオカメラ１１の位置を表す高さｈ及びステレオカメラ１１の姿勢を表す傾きφは、求めるべき路面パラメータである。また、基線長Ｂ及びパラメータαは、ステレオカメラ１１の光学特性から求めることができる。したがって、式（７）は、計測点Ｐのｙ座標ｙと計測点Ｐにおける視差ｄとの複数の組をｄ−ｙ空間にプロットすると、傾斜がＢ／ｈ、ｙ切片がＢαφ／ｈの直線７０１に路面６０１に由来するプロット点が乗ることを示している。逆に言えば、計測点Ｐのｙ座標ｙと計測点Ｐにおける視差ｄとの複数の組をｄ−ｙ空間にプロットし、プロット点が集中する直線７０１を検出すれば、例えば、直線７０１のｘ切片−αφから傾きφを推定することができ、ｙ切片Ｂαφ／ｈから高さｈを推定することができる。なお、路面パラメータとして、傾きφ及び高さｈ以外のパラメータを用いてもよい。
【００７１】
図９は、実写画像による路面パラメータの推定例を説明する図である。図９に示すように、計測点Ｐのｙ座標と計測点Ｐにおける視差ｄとの多数の組をプロットしたｄ−ｙ空間には、ｄ＝０．１６７ｙ＋２５．０で表される直線７０２を検出することができ、傾きをφ＝０．０４７ｒａｄ＝２．７ｄｅｇｒｅｅ、高さをｈ＝１２５０ｍｍと推定することができる。図９のｄ−ｙ空間において、直線７０２よりも上方にあるプロット点は、主に、路面６０１より高い位置にある物体に由来するプロット点であり、直線７０２より下方にあるプロット点は、主に、ノイズに由来するプロット点である。
【００７２】
ここで、ｄ−ｙ空間の直線７０２をロバストに検出し傾きφ及び高さｈをロバストに推定するためには、ハフ変換に代表される投票を用いた方法により、傾きφ及び高さｈで張られるφ−ｈ空間において傾きφ及び高さｈを直接推定することが望ましい。
【００７３】
図１０は、この方法によりφ−ｈ空間において傾きφ及び高さｈを推定する路面パラメータ推定部１２２のブロック図である。また、図１１〜図１３は、この方法によるφ−ｈ空間における傾きφ及び高さｈの推定を説明する図である。
【００７４】
この方法により傾きφ及び高さｈを推定するためには、まず、図１１に示すように、空間分割部１２２１がφ−ｈ空間を複数のブロック７１１に分割する。続いて、図１２に示すように、投票部１２２２が、複数のブロック７１１に分割されたφ−ｈ空間において計測点Ｐのｙ座標ｙと計測点Ｐにおける視差ｄとの複数の組から式（７）を変形した式（８）によって決定される複数の直線７１２が通過するブロック７１１に投票を行う。さらに続いて、図１３に示すように、路面パラメータ決定部１２２３が投票が最も多いブロック７１１が代表する傾きφ及び高さｈを求めるべき傾きφ及び高さｈとして決定する。なお、図１２及び図１３においては、ブロック７１１の中の数字は投票数を示している。
【００７５】
【数８】
【００７６】
空間分割部１２２１は、φ−ｈ空間のうち、傾きφ及び高さｈがとり得る範囲、例えば、φ＝０〜０．１，ｈ＝１０００〜１５００の範囲を複数のブロック７１１、例えば、φ方向に５０個、ｈ方向に５０個のブロック７１１に分割する。
【００７７】
このような傾きφ及び高さｈの推定によれば、路面６０１が映っていない計測点Ｐに由来する投票が特定のブロック７１１に集中することがないので、傾きφ及び高さｈをロバストに推定することができる。
【００７８】
なお、演算の便宜のため、式（９）及び式（１０）にしたがって、図１４に示すようなｈ−φ空間を図１５に示すようなｈ’−φ’空間にアフィン変換してもよい。
【００７９】
【数９】
【００８０】
【数１０】
【００８１】
ここで、ｐ＿ｗ及びｐ＿ｓは、それぞれ、φ−ｈ空間におけるφのとり得る範囲の上限値及び下限値であり、ｈ＿ｗ及びｈ＿ｓは、それぞれ、φ−ｈ空間におけるｈのとり得る範囲の上限値及び下限値であり、ｐ＿ｐは、φ’−ｈ’空間におけるφ’のとり得る範囲の上限値であり、ｈ＿ｐは、φ’−ｈ’空間におけるｈ’のとり得る範囲の上限値である。また、このようは変換を行った場合、式（８）に代えて、式（１１）を用いることになる。
【００８２】
【数１１】
【００８３】
なお、上述の説明では、路面が平坦であることを前提として説明を行ったが、路面がうねっている場合は、基準画像５０１及び参照画像５０２を前後に分割し、分割された画像ごとに傾きφ及び高さｈを推定すればよい。また、地図情報及びＧＰＳ（Global Positioning System）を用いて特定した自車位置の情報から路面６０１のうねりの情報をあらかじめ取得し、それにあわせて傾きφ及び高さｈを調整してもよい。
【００８４】
｛路面投影部１２３｝
路面投影部１２３は、路面パラメータを用いて基準画像５０１の上で計測点Ｐを路面６０１に投影する。ここで、「基準画像５０１の上で計測点Ｐを路面６０１に投影する」とは、計測点Ｐに映っている点Ｐ’を３次元空間において路面６０１に投影した点Ｑ’が映っている投影点Ｑ（ｘp，ｙp）へ、基準画像５０１において計測点Ｐを投影することをいう。
【００８５】
ここで、計測点Ｐに映っている点Ｐ’の路面６０１からの高さＨが式（１２）で表されることから、投影点Ｑのｙ座標ｙpは、式（１２）においてＨ＝０，ｙ＝ｙpとした式（１３）で表される。
【００８６】
【数１２】
【００８７】
【数１３】
【００８８】
なお、路面６０１への投影は、２次元平面で処理を行うためのものであるため、計測点Ｐの投影先を路面６０１とすることは必須ではなく、路面６０１以外の平面としてもよい。例えば、障害物検出装置１では、投影面を路面６０１と平行な平面とすることができるし、室内を走行する自立走行ロボットに搭載される、走行路面上にあるテーブルを検出する物体検出装置では、テーブルのテーブル面を投影面とすれば、テーブルの位置を効率的に特定することができる。
【００８９】
図１６は、路面投影部１２３が計測点Ｐを路面６０１に投影した結果を示す図である。図１６には、先行車６０２に由来する投影点Ｑの集合６１２、先行車６０３に由来する投影点Ｑの集合６１３、遮音壁６０４に由来する投影点Ｑの集合６１４、中央分離帯６０５に由来する投影点Ｑの集合６１５が示されている。
【００９０】
｛障害物範囲特定部１２４｝
障害物範囲特定部１２４は、複数の投影点Ｑから特定の分布を有する投影点Ｑの集合を選択し、特定の分布を有する投影点Ｑの集合が存在する範囲を障害物が存在する範囲（以下、「障害物範囲」という）と特定する。ここで、「特定の分布を有する投影点Ｑの集合を選択」するとは、検出すべき障害物に由来する投影点Ｑの集合が有していると予想される分布を有する投影点Ｑの集合を選択するということであり、例えば、特定の長さ、傾き又は形状を有する線素を構成する投影点Ｑの集合を選択するということである。ここで、線素を構成する投影点Ｑの集合の抽出は、（１）ハフ変換による直線パラメータの推定、（２）推定された直線パラメータで表される直線の近傍の投影点のグループ化、の２つの段階を経て行うことができる。また、「線素」には、線分だけでなく曲線分も含まれる。
【００９１】
障害物検出装置１が路面６０１の上にある先行車６０２，６０３を適切に検出するためには、基準画像５０１の上で実質的に水平（線素の傾きが０．１ｒａｄ以内）であり、基準画像５０１の上の位置に応じた長さｌ（ａｙ−ｗ＜ｌ＜ａｙ＋ｗ）の線素を構成する投影点Ｑの集合を選択することが望ましい。基準画像５０１の上の位置に応じた長さｌの線素を構成する投影点Ｑの集合を選択することにしたのは、基準画像５０１の上の位置によって先行車６０２，６０３が映る大きさが変化するからであり、長さｌの範囲は、概ね２ｍ程度の幅の先行車６０２，６０３が長さの範囲内になるように設定しておくことが望ましい。もちろん、検出すべき障害物に応じて長さの範囲を変更すれば、自動車の先行車６０２，６０３だけでなく、路上落下物、バイク、歩行者等も障害物として検出することができる。
【００９２】
なお、障害物範囲特定部１２４が、実質的に水平な線素を構成する投影点Ｑの集合を選択する場合は、障害物範囲は水平方向（±ｘ方向）の広がりによって特定されることになるが、より一般的には、障害物範囲は、路面６０１に平行な平面上の領域として特定される。
【００９３】
図１７は、図１６に例示した投影点Ｑから、障害物範囲特定部１２４が投影点Ｑの集合６１２，６１３を選択した結果を示す図である。図１７には、上述の条件を満たす線素を構成する先行車６０２に由来する投影点Ｑの集合６１２、先行車６０３に由来する投影点Ｑの集合６１３のみが選択され、上述の条件を満たさない線素を構成する遮音壁６０４に由来する投影点Ｑの集合６１４、中央分離帯６０５に由来する投影点Ｑの集合６１５は選択されないことが示されている。
【００９４】
｛障害物領域特定部１２５｝
障害物領域特定部１２５は、障害物範囲であって、３次元空間において路面６０１からの高さＨが３００ｍｍ＜Ｈ＜１５００ｍｍとなる基準画像５０１の上の領域を検出すべき障害物が映っている障害物領域として特定する。高さＨの範囲の上限は、衝突の可能性がある障害物のみを検出するため、自車の高さに基づいて設定することが望ましい。
【００９５】
図１８は、図１７に例示した障害物範囲から障害物領域特定部１２５が障害物領域６２２，６２３を特定した結果を示す図である。図１８には、衝突の可能性がある障害物が映っている範囲がハッチングで示される障害物領域６２２，６２３として特定されたことが示されている。
【００９６】
なお、上述の説明では、路面６０１からの距離が特定の距離となる基準画像５０１の上の領域を障害物領域６２２，６２３として特定したが、障害物範囲においてパターン認識により障害物領域を特定するようにすれば、障害物の範囲及び属性をより正確に認識することができる。なお、パターン認識は、一般的にいって、複雑で演算コストが高い処理であるが、障害物検出装置１では、パターン認識の対象とすべき範囲が障害物範囲に限られるので、比較的に低い演算コストでパターン認識を行うことができる。また、地図情報及びＧＰＳを用いて特定した自車位置の情報から、道路が曲がっている等の情報をあらかじめ取得し、進行方向にある障害物領域をさらに限定してもよい。
【００９７】
｛障害物距離測定部１２６｝
距離測定部１２６は、障害物領域６２２，６２３の内にある計測点Ｐにおける視差から障害物領域６２２，６２３に映っている障害物までの距離Ｄを式（１４）にしたがって測定する。図２０には、式（１４）の理解を容易にするため、水平面内における障害物、カメラ１１１，１１２の焦点位置及びカメラ１１１，１１２の撮像面の位置関係を示した。
【００９８】
【数１４】
【００９９】
このとき、１個の計測点Ｐにおける視差ｄから障害物までの距離を測定してもよいが、２個以上の計測点Ｐにおける視差ｄの平均値から障害物までの距離を測定することがより望ましい。さらに、２個以上の計測点Ｐにおける視差ｄの中央値から所定範囲内にある視差ｄの平均値から障害物までの距離を測定するアウトライア処理を行えば、偶発的に得られた極端に大きい視差ｄや極端に小さい視差ｄの影響を受けることなく、安定した視差ｄの平均値を得ることができる。
【０１００】
なお、このアウトライア処理により、障害物領域６２３を処理の対象から省くことができる。すなわち、計測点Ｐを多数取った場合、計測点Ｐの数は手前の障害物（図１８では、先行車６０２）の方が多くなり、視差ｄの中央値は手前の障害物の部分の視差となるので、上述の「所定範囲内」から外れた「極端に小さい視差ｄ」すなわち遠い距離にある障害物の視差ｄを距離測定の対象から省くことができる。これにより、手前の障害物のみを障害物として特定し、距離を算出することができる。
【０１０１】
｛表示画像生成部１２７｝
表示画像生成部１２７は、障害物領域特定部１２５が特定した障害物領域６２２を示す情報や距離測定部１２６が測定した障害物までの距離の情報を基準画像５０１に重畳した画像を生成し、表示装置１３に出力する。
【０１０２】
図１９は、表示画像生成部１２７が生成した画像の一例である。画像には、基準画像５０１に重畳して、障害物領域６２２及び障害物までの距離６３２が表示されている。
【０１０３】
｛運転支援｝
単に図１９に示すような画像を表示するだけでなく、演算処理装置１２の演算処理結果に基づいて運転支援を行うようにしてもよい。例えば、障害物までの距離が閾値以下となった場合に、衝突の危険があるとみなして、運転者に警告を発したり、ブレーキの制御を行ったりするようにしてもよい。
【０１０４】
｛ＰＯＣ対応付け演算｝
図２１は、ＰＯＣ対応付け演算を行うＰＯＣ対応付け演算部１４０のブロック図である。
【０１０５】
図２１に示すように、ＰＯＣ対応付け演算部１４０は、基準画像ウインドウ設定部１４１、参照画像ウインドウ設定部１４２、基準画像ウインドウＤＦＴ（Discrete Fourier Transform）部１４３、参照画像ウインドウＤＦＴ部１４４、位相比較部１４５、位置ズレ演算部１４６及び対応点演算部１４７を備える。
【０１０６】
｛基準画像ウインドウ設定部１４１｝
図２２は、基準画像ウインドウ５１１の設定を説明する図である。
【０１０７】
図２２に示すように、基準画像ウインドウ設定部１４１は、着目する点Ｐ１を中心とする矩形の基準画像ウインドウ５１１を基準画像５０１に設定する。基準画像ウインドウ５１１の大きさは、例えば、縦３１画素×横３１画素である。
【０１０８】
｛参照画像ウインドウ設定部１４２｝
図２３は、参照画像ウインドウ５１２の設定を説明する図である。
【０１０９】
図２３に示すように、参照画像ウインドウ設定部１４２は、基準画像ウインドウ５１１と形状及び大きさが同じウインドウで参照画像５０２を走査し、ウインドウの内の画像が基準画像ウインドウ５１１の内の画像と最も類似する参照画像ウインドウ５１２を参照画像５０２に設定する。パターンの類似度の評価方法は、特に制限されないが、例えば、ウインドウ間の相関演算、特にＳＡＤ（Sum of Absolute Differences）を用いた相関演算により行うことができる。
【０１１０】
一般的に言えば、参照画像ウインドウ設定部１４２は、参照画像５０２の全体をウインドウで走査する必要があるが、障害物検出装置１のようにステレオカメラ１１が平行ステレオカメラである場合は、基準画像ウインドウ５１１とｙ座標が同じ部分のみウインドウで走査すれば足りる。
【０１１１】
｛基準画像ウインドウＤＦＴ部１４３及び参照画像ウインドウＤＦＴ部１４４｝
基準画像ウインドウＤＦＴ部１４３及び参照画像ウインドウＤＦＴ部１４４は、それぞれ、基準画像ウインドウ５１１の内の画像ｆ（ｎ1，ｎ2）及び参照画像ウインドウ５１２の内の画像ｇ（ｎ1，ｎ2）を式（１５）、式（１６）、式（１７）及び式（１８）にしたがって、２次元離散フーリエ変換する。
【０１１２】
【数１５】
【０１１３】
【数１６】
【０１１４】
【数１７】
【０１１５】
【数１８】
【０１１６】
ここで、画像ｆ（ｎ1，ｎ2），ｇ（ｎ1，ｎ2）の画素数は、いずれも、横方向にＮ1＝２Ｍ1＋１画素、縦方向にＮ2＝２Ｍ2＋１画素としており、離散空間のインデックスは、ｎ1＝−Ｍ1，・・・，Ｍ1，ｎ2＝−Ｍ2，・・・，Ｍ2としている。また、ｋ1及びｋ2は、空間周波数であって、ｋ1＝−Ｍ1，・・・，Ｍ1，ｋ2＝−Ｍ2，・・・，Ｍ2である。式（１５）中のＡF（ｋ1，ｋ2）及び式（１６）中のＡG（ｋ1，ｋ2）は、それぞれ、空間周波数（ｋ1，ｋ2）における振幅であり、式（１５）中のｅｘｐ｛ｊθF（ｋ1，ｋ2）｝及び式（１６）中のｅｘｐ｛ｊθG（ｋ1，ｋ2）｝は、それぞれ、空間周波数（ｋ1，ｋ2）における位相である。
【０１１７】
このような２次元離散フーリエ変換により、実空間の画像ｆ（ｎ1，ｎ2），画像ｇ（ｎ1，ｎ2）は、周波数空間の画像Ｆ（ｋ1，ｋ2），Ｇ（ｋ1，ｋ2）に変換されたことになる。
【０１１８】
｛位相比較部１４５｝
位相比較部１４５は、周波数空間において画像Ｆ（ｋ1，ｋ2），Ｇ（ｋ1，ｋ2）を比較するため、式（１９）で表される合成位相スペクトルＲ’（ｋ1，ｋ2）を算出する。合成位相スペクトルＲ’（ｋ1，ｋ2）は、画像Ｆ（ｋ1，ｋ2）と画像Ｇ（ｋ1，ｋ2）の複素共役Ｇ*（ｋ1，ｋ2）との積Ｆ（ｋ1，ｋ2）・Ｇ*（ｋ1，ｋ2）を正規化することにより得ることができる。
【０１１９】
【数１９】
【０１２０】
さらに、位相比較部１４５は、ノイズの影響を小さくするため、式（２０）で表される合成位相スペクトルＲ（ｋ1，ｋ2）を算出する。合成位相スペクトルＲ（ｋ1，ｋ2）は、重み付け関数Ｈ（ｋ1，ｋ2）を合成位相スペクトルＲ’（ｋ1，ｋ2）に乗ずることにより得ることができる。
【０１２１】
【数２０】
【０１２２】
続いて、このような合成位相スペクトルＲ（ｋ1，ｋ2）を用いる理由について説明する。
【０１２３】
図２４〜図２８は、それぞれ、画像Ｆ（ｋ1，ｋ2）、画像Ｇ（ｋ1，ｋ2）、画像Ｆ（ｋ1，ｋ2）と画像Ｇ（ｋ1，ｋ2）の複素共役Ｇ*（ｋ1，ｋ2）との積Ｆ（ｋ1，ｋ2）・Ｇ*（ｋ1，ｋ2）、合成位相スペクトルＲ’（ｋ1，ｋ2）及び合成位相スペクトルＲ（ｋ1，ｋ2）の振幅及び位相の空間周波数に対する変化の一例を示す図である。これらの振幅及び位相は、２個の空間周波数ｋ1，ｋ2の関数であるが、図２４〜図２８では、説明の便宜上、１個の空間周波数にのみ着目して振幅及び位相の空間周波数に対する変化を示している。
【０１２４】
図２６に示すように、積Ｆ（ｋ1，ｋ2）・Ｇ*（ｋ1，ｋ2）の位相の空間周波数に対する変化を示すグラフは、参照画像ウインドウ５１２の位置ズレに応じた位相の傾きを有するが、積Ｆ（ｋ1，ｋ2）・Ｇ*（ｋ1，ｋ2）の振幅は空間周波数により変動する。
【０１２５】
一方、 図２７に示すように、合成位相スペクトルＲ’（ｋ1，ｋ2）の空間周波数に対する変化を示すグラフも、参照画像ウインドウ５１２の位置ズレに応じた位相の傾きを有するが、合成位相スペクトルＲ’（ｋ1，ｋ2）の振幅は空間周波数により変動しない。このように、空間周波数による振幅の変動を抑制した上で画像Ｆ（ｋ1，ｋ2），Ｇ（ｋ1，ｋ2）を比較するようにすると、振幅の変動の影響を受けずに画像Ｆ（ｋ1，ｋ2），Ｇ（ｋ1，ｋ2）を比較することができるので、基準画像５０１と参照画像５０２との明るさの違い等の影響を受けずにロバストに視差を演算することができる。
【０１２６】
さらに、図２８に示すように、合成位相スペクトルＲ（ｋ1，ｋ2）の空間周波数に対する変化を示すグラフも、参照画像ウインドウ５１２の位置ズレに応じた位相の傾きを有するが、合成位相スペクトルＲ（ｋ1，ｋ2）の振幅は、高い周波数において０となっている。このようにノイズを多く含む高い周波数の成分を減衰させると、画像Ｆ（ｋ1，ｋ2），Ｇ（ｋ1，ｋ2）を比較することができるので、ノイズの影響を受けずにロバストに視差ｄを演算することができる。
【０１２７】
｛位置ズレ演算部１４６｝
位置ズレ演算部１４６は、合成位相スペクトルＲ（ｋ1，ｋ2）に基づいて、参照画像ウインドウ５１２の本来あるべき位置からの位置ズレを演算する。ここで、「本来あるべき位置」とは、参照画像ウインドウ５１２の内の画像が基準画像ウインドウ５１１の内の画像と理想的に一致するような参照画像ウインドウ５１２の位置のことをいう。
【０１２８】
位置ズレ演算部１４６は、まず、式（２１）にしたがって、合成位相スペクトルＲ（ｋ1，ｋ2）を２次元離散逆フーリエ変換する。
【０１２９】
【数２１】
【０１３０】
このようにして得られたＰＯＣ関数ｒ’（ｎ1，ｎ2）は、画像ｆ（ｎ1，ｎ2）とｇ（ｎ1，ｎ2）との移動量に相当する座標に急峻な相関ピークを持つことが知られている。このため、位置ズレ演算部１４６は、ＰＯＣ関数ｒ’（ｎ1，ｎ2）が最大となるｎ1，ｎ2を演算し、演算したｎ1，ｎ2を参照画像ウインドウ５１２の本来あるべき位置からの位置ズレとする。なお、ＰＯＣ関数ｒ’（ｎ1，ｎ2）は、一画素おきの離散な値をとるｎ1，ｎ2の関数であるため、このままでは、位置ズレも一画素の分解能でしか求めることができない。
【０１３１】
そこで、位置ズレの演算に当たっては、２次関数等をＰＯＣ関数ｒ’（ｎ1，ｎ2）にフィッティングすることのより、１画素以下の分解能でＰＯＣ関数ｒ’（ｎ1，ｎ2）が最大となるｎ1，ｎ2を演算することが望ましい。
【０１３２】
｛対応点演算部１４７｝
対応点演算部１４７は、参照画像ウインドウ５１２の座標に位置ズレ演算部１４６が演算した位置ズレを加えることにより、基準画像５０１の上の点Ｐ１に対応する参照画像５０２の上の点Ｐ２を演算する。
【０１３３】
＜１．３ 障害物検出装置１の動作＞
図２９は、障害物検出装置１の動作を説明するフローチャートである。
【０１３４】
図２９に示すように、障害物の検出にあたっては、まず、ステレオカメラ１１から演算処理装置１２へ２次元ステレオ画像を入力する（ステップＳ１０１）。
【０１３５】
続いて、視差データ演算部１２１が、計測点Ｐにおける視差を演算し（ステップＳ１０２）、路面パラメータ推定部１２２が路面パラメータである傾きφ及び高さｈを推定する（ステップＳ１０３）。
【０１３６】
さらに続いて、路面投影部１２３が、基準画像５０１の上で計測点Ｐを路面６０１に投影し（ステップＳ１０４）、障害物範囲特定部１２４が障害物範囲を特定し（ステップＳ１０５）、障害物領域特定部１２５が障害物領域を特定する（ステップ１０６）。
【０１３７】
そして、最後に、障害物距離測定部１２６が、障害物までの距離を測定する（ステップ１０７）。
【０１３８】
このような障害物検出装置１によれば、路面６０１の上にある特定の物体が映っている計測点Ｐの投影点Ｑを特定することができるので、路面６０１にある特定の物体を障害物として検出することができる。
【０１３９】
＜２ 第２実施形態＞
第２実施形態は、第１実施形態に係る演算処理装置１２に代えて採用することができる演算処理装置２２に関する。
【０１４０】
図３０は、第２実施形態に係る演算処理装置２２のブロック図である。演算処理装置２２は、演算処理装置１２の視差データ演算部１２１、路面パラメータ推定部１２２、路面投影部１２３、障害物範囲特定部１２４、障害物領域特定部１２５、距離測定部１２６及び表示画像生成部１２７と同様の視差データ演算部２２１、路面パラメータ推定部２２２、路面投影部２２３、障害物範囲特定部２２４、障害物領域特定部２２５、距離測定部２２６及び表示画像生成部２２７を備える他、データ選択部２２８，２２９を備える。データ選択部２２８，２２９は、いずれも、検出すべき障害物が映っていない計測点Ｐを処理の対象から除外することにより、検出すべき障害物を安定して検出することができるようにする役割を果たしている。
【０１４１】
｛データ選択部２２８｝
データ選択部２２８は、路面投影部２２３による計測点Ｐの投影に先立って、３次元空間における路面６０１からの高さＨが３００ｍｍ＜Ｈ＜２０００ｍｍの範囲の点が映っている計測点Ｐのみを選択し、残余の計測点Ｐを路面６０１への投影対象から除外する。
【０１４２】
このように、路面６０１からの距離が特定の距離の計測点Ｐのみを選択するようにすれば、路面６０１そのものや障害物として検出すべきでない歩道橋等が映っている計測点Ｐ、すなわち、検出すべき障害物が映っていない計測点Ｐを路面６０１に投影しないので、検出すべき障害物を安定して検出することができる。
【０１４３】
｛データ選択部２２９｝
データ選択部２２９は、障害物範囲特定部１２４による投影点Ｑの集合の選択に先立って、同じｘ座標の投影点Ｑのうちｙ座標ｙpが最大となるあたりの投影点Ｑを選択し、残余の投影点Ｑを投影点Ｑの集合の選択対象から除外する。より望ましくは、ｙ座標の最大値ｙmaxを求め、求めた最大値ｙmaxから所定値範囲内にあるｙ座標ｙpの投影点Ｑを選択する。
【０１４４】
このように、最もステレオカメラ１１寄りの投影点Ｑを選択するようにすれば、最も重要なステレオカメラ１１に最も近い障害物を検出することができる。
【０１４５】
図３１は、図１６に例示した投影点Ｑからデータ選択部２２９が投影点Ｑを選択した後に障害物範囲特定部２２４が投影点Ｑの集合を選択した結果を示す図である。図３１には、先行車のうちステレオカメラ１１に近い先行車６０２に由来する投影点Ｑの集合６１２のみが選択された状態が示されている。
【０１４６】
このような演算処理装置２２を採用して障害物検出装置を構成しても、路面６０１の上にある特定の物体を障害物として検出することができる。
【図面の簡単な説明】
【０１４７】
【図１】第１実施形態に係る障害物検出装置の模式図である。
【図２】ステレオカメラが設置された自動車の側面図である。
【図３】ステレオカメラが設置された自動車の上面図である。
【図４】障害物検出装置のブロック図である。
【図５】基準画像及び基準画像に定義されたｘｙ直交座標系を示す図である。
【図６】参照画像及び参照画像に定義されたｘｙ直交座標系を示す図である。
【図７】路面に対するステレオカメラの配置を説明する図である。
【図８】路面パラメータの推定を説明する図である。
【図９】実写画像による路面パラメータの推定例を説明する図である。
【図１０】路面パラメータ推定部のブロック図である。
【図１１】路面パラメータの推定を説明する図である。
【図１２】路面パラメータの推定を説明する図である。
【図１３】路面パラメータの推定を説明する図である。
【図１４】ｈ−φ空間を示す図である。
【図１５】ｈ’−φ’空間を示す図である。
【図１６】路面投影部が基準画像上で計測点を路面に投影した結果を示す図である。
【図１７】障害物範囲特定部が投影点の集合を選択した結果を示す図である。
【図１８】障害物領域特定部が障害物領域を特定した結果を示す図である。
【図１９】表示画像生成部が生成した画像を示す図である。
【図２０】水平面内における障害物、カメラの焦点位置及びカメラの撮像面の位置関係を示す図である。
【図２１】ＰＯＣ対応付け演算部のブロック図である。
【図２２】基準画像ウインドウの設定を説明する図である。
【図２３】参照画像ウインドウの設定を説明する図である。
【図２４】画像Ｆ（ｋ1，ｋ2）の振幅及び位相の空間周波数に対する変化を示す図である。
【図２５】画像Ｇ（ｋ1，ｋ2）の振幅及び位相の空間周波数に対する変化を示す図である。
【図２６】積Ｆ（ｋ1，ｋ2）・Ｇ*（ｋ1，ｋ2）の振幅及び位相の空間周波数に対する変化を示す図である。
【図２７】合成位相スペクトルＲ’（ｋ1，ｋ2）の振幅及び位相の空間周波数に対する変化を示す図である。
【図２８】合成位相スペクトルＲ（ｋ1，ｋ2）の振幅及び位相の空間周波数に対する変化を示す図である。
【図２９】障害物検出装置の動作を説明するフローチャートである。
【図３０】第２実施形態に係る演算処理装置のブロック図である。
【図３１】障害物範囲特定部が投影点の集合を選択した結果を示す図である。
【符号の説明】
【０１４８】
１ 障害物検出装置
１１ ステレオカメラ
１２ 演算処理装置
１３ 表示装置
１２１ 視差データ演算部
１２２ 路面パラメータ推定部
１２３ 路面投影部
１２４ 障害物範囲特定部
１２５ 障害物領域特定部
１２６ 距離測定部
１２７ 表示生成部
【技術分野】
【０００１】
本発明は、平面上にある特定の物体を検出する物体検出装置に関する。
【背景技術】
【０００２】
自動車に搭載される運転支援システムは、自動車の前方に存在する障害物を検出し、検出した障害物までの距離を測距した上で、自動車が危険な状態にあるのか否かを判断する。そして、危険な状態にある場合には、運転者に警告を発したり、自動的にブレーキを制御したりすることにより、事故の予防を支援する。
【０００３】
このような運転支援システムには、自動車の前方をステレオカメラで撮影し、画像に映っている障害物をパターン認識の技術を用いて検出するとともに、検出した障害物までの距離を視差を用いて測距するものがある。ただし、画像に映っている障害物をパターン認識の技術を用いて検出するためには、複雑な画像認識処理が必要であるという問題がある。また、パターン認識の技術を用いた障害物の検出には、誤検出が多いという問題がある。
【０００４】
このため、特許文献１〜３に示すように、画像に映っている障害物を視差を用いて検出することも検討されている。
【０００５】
例えば、特許文献１は、画像に映っている路面を検出し、路面からの高さが所定の高さ以上の障害物を検出する技術を開示している。また、特許文献２は、光軸となす角と視差とを投票し、投票数が多い障害物を検出する技術を開示している。さらに、特許文献３は、床面に対するステレオカメラの位置及び姿勢を表す平面パラメータを推定し、床面からの高さが所定の高さ以上の障害物を検出する技術を開示している。
【０００６】
【特許文献１】特開平１０−１４３６５９号公報
【特許文献２】特開平１１−３４５３３６号公報
【特許文献３】特開２００３−２６９９３７号公報
【発明の開示】
【発明が解決しようとする課題】
【０００７】
運転支援システムにおいて、走行している自動車を危険な状態に陥れる障害物として検出すべき物体は、路面上にある特定の物体に限られる。例えば、路面上にない物体を検出する必要はないし、路面上にあっても自動車を危険な状態に陥れることがない物体は検出する必要はない。一方、路面上にある先行車は、障害物として検出すべきであると考えられる。
【０００８】
しかし、従来の技術による物体の検出では、路面上にある特定の物体のみを選択的に検出することはできなかった。
【０００９】
このような問題は、運転支援システムに限られず、平面上にある特定の物体を検出すべき物体検出装置、例えば、自律走行ロボット、無人搬送車、監視カメラ等に搭載される物体検出装置に共通して存在する。
【００１０】
本願発明は、この問題を解決するためになされたもので、平面上にある特定の物体を検出することができる物体検出装置を提供することを目的とする。
【課題を解決するための手段】
【００１１】
上記課題を解決するため、請求項１の発明は、物体検出装置であって、２次元ステレオ画像を撮影し、基準画像及び参照画像として出力するステレオカメラと、基準画像上の計測点における基準画像と参照画像との間の視差を演算する視差演算部と、計測点の座標と計測点における視差との複数の組から基準画像に映っている着目する平面に対する前記ステレオカメラの位置及び姿勢を表す平面パラメータを推定する平面パラメータ推定部と、平面パラメータを用いて基準画像上で計測点を投影面に投影する平面投影部と、前記平面投影部が複数の計測点を投影面に投影することにより得られた複数の投影点から特定の分布を有する投影点の集合を選択する物体候補選択部とを備える。
【００１２】
請求項２の発明は、請求項１に記載の物体検出装置において、前記平面投影部による計測点の投影に先立って、着目する平面からの距離が特定の距離の点が映っている計測点のみを選択する第１の選択部をさらに備える。
【００１３】
請求項３の発明は、請求項１又は請求項２に記載の物体検出装置において、前記物体候補選択部による投影点の集合の選択に先立って、最も前記ステレオカメラ寄りの投影点を選択する第２の選択部をさらに備える。
【００１４】
請求項４の発明は、請求項１ないし請求項３のいずれかに記載の物体検出装置において、前記視差演算部は、基準画像に第１のウインドウを設定する第１のウインドウ設定部と、参照画像に第２のウインドウを設定する第２のウインドウ設定部と、第１のウインドウ内の画像を実空間から周波数空間へ変換する第１の変換部と、第２のウインドウ内の画像を実空間から周波数空間へ変換する第２の変換部と、空間周波数による振幅の変動を抑制した上で周波数空間において第１のウインドウ内の画像と第２のウインドウ内の画像とを比較する画像比較部と、前記画像比較部の比較結果に基づいて計測点に対応する参照画像上の対応点を演算する対応点演算部とを備える。
【００１５】
請求項５の発明は、請求項４に記載の物体検出装置において、前記視差演算部が位相相関限定法を用いて視差を演算する。
【００１６】
請求項６の発明は、請求項１ないし請求項５のいずれかに記載の物体検出装置において、前記平面パラメータ推定部がハフ変換により前記平面パラメータを推定する。
【００１７】
請求項７の発明は、請求項６に記載の物体検出装置において、前記平面パラメータ推定部は、平面パラメータで張られる空間を複数のブロックに分割する空間分割部と、前記空間分割部が複数のブロックに分割した空間において計測点の座標と計測点における視差との複数の組から決定される複数の直線が通過するブロックに投票を行う投票部と、投票が最も多いブロックが代表する平面パラメータを求めるべき平面パラメータとして決定する平面パラメータ決定部とを備える。
【００１８】
請求項８の発明は、請求項１ないし請求項７のいずれかに記載の物体検出装置において、前記物体候補選択部が基準画像上で特定の長さ、傾き又は形状を有する線素を構成する投影点の集合を選択する。
【００１９】
請求項９の発明は、請求項８に記載の物体検出装置において、前記物体候補選択部が基準画像上で実質的に水平な線素を構成する投影点の集合を選択する。
【００２０】
請求項１０の発明は、請求項８に記載の物体検出装置において、前記物体候補選択部が基準画像上で基準画像上の位置に応じた長さの線素を構成する投影点の集合を選択する。
【００２１】
請求項１１の発明は、請求項１ないし請求項１０のいずれかに記載の物体検出装置において、前記物体候補選択部が選択した投影点の集合が存在する範囲であって着目する平面からの距離が特定の距離の基準画像上の領域を検出すべき物体が映っている領域として特定する物体領域特定部をさらに備える。
【００２２】
請求項１２の発明は、請求項１ないし請求項１０のいずれかにに記載の物体検出装置において、前記物体候補選択部が選択した投影点の集合が存在する範囲内においてパターン認識により検出すべき物体が映っている領域を特定する物体領域特定部をさらに備える。
【００２３】
請求項１３の発明は、請求項１ないし請求項１２のいずれかに記載の物体検出装置において、前記ステレオカメラが平面上を移動する移動体に搭載され、着目した平面が前記移動体の移動面である。
【発明の効果】
【００２４】
請求項１の発明によれば、平面上にある特定の物体が映っている計測点の投影点を特定することができるので、平面上にある特定の物体を検出することができる。
【００２５】
請求項２の発明のよれば、検出すべき物体が映っていない計測点を投影面に投影しないので、検出すべき物体を安定して検出することができる。
【００２６】
請求項３の発明によれば、ステレオカメラに最も近い物体を検出することができる。
【００２７】
請求項４ないし請求項５の発明によれば、振幅の変動の影響を受けなくなるので、基準画像と参照画像との明るさの違い等の影響を受けずにロバストに視差を演算することができる。
【００２８】
請求項６ないし請求項７の発明によれば、平面パラメータをロバストに推定することができる。
【００２９】
請求項９ないし請求項１０の発明によれば、特定の物体を適切に検出することができる。
【００３０】
請求項１１の発明によれば、着目する平面からの距離が特定の範囲にある物体を検出することができる。
【００３１】
請求項１２の発明によれば、物体の範囲及び属性をより正確に認識することができる。
【発明を実施するための最良の形態】
【００３２】
＜１ 第１実施形態＞
＜１．１ 障害物検出装置１の構成＞
図１は、第１実施形態に係る障害物検出装置１の模式図である。図１に示す障害物検出装置１は、自動車に搭載され、自動車の前方の障害物を検出する。ただし、このことは、本願発明の適用範囲をこのような障害物検出装置１に限定するものではない。すなわち、本願発明は、自律走行ロボットや無人搬送車のような移動体に搭載され、移動体の移動面上にある特定の物体を検出する物体検出装置に適用することができるのはもちろんのこと、固定監視カメラのような移動を前提としない装置に搭載され、平面上にある特定の物体を検出する物体検出装置にも適用することができる。
【００３３】
図１に戻って説明すると、障害物検出装置１は、ステレオカメラ１１、演算処理装置１２及び表示装置１３を備える。
【００３４】
｛ステレオカメラ１１｝
ステレオカメラ１１は、２次元ステレオ画像を撮影し、撮影した２次元ステレオ画像を画像データとして出力する。すなわち、ステレオカメラ１１は、同期して繰り返し撮影を行う２個のカメラ１１１，１１２を備え、カメラ１１１が撮影した２次元画像を画像データとして出力するとともに、カメラ１１２が撮影した２次元画像を画像データとして出力する。
【００３５】
ステレオカメラ１１は、平行ステレオカメラである。したがって、カメラ１１１，１１２は、間隔を置いて同一方向に向けて設置されており、カメラ１１１の光軸５０１とカメラ１１２の光軸５０２とは平行となっている。
【００３６】
また、カメラ１１１の光学系の焦点距離及びエリアイメージセンサの撮像面の大きさとカメラ１１２の光学系の焦点距離及びエリアイメージセンサの撮像面の大きさとは同一となっている。したがって、カメラ１１１の画角とカメラ１１２の画角とは同一となっている。
【００３７】
さらに、カメラ１１１のエリアイメージセンサの画素は縦横両方向に規則的に配列されており、カメラ１１２のエリアイメージセンサの画素ピッチとカメラのエリアイメージセンサの画素ピッチとは同一である。したがって、カメラ１１１の解像度とカメラ１１２の解像度とは同一となっている。
【００３８】
加えて、カメラ１１１，１１２の光学系の収差は、演算処理装置１２における演算処理に支障が生じないように、良好に補正されている。
【００３９】
ただし、カメラ１１１，１１２がこれらの条件を満たしていなくても、画像処理を行うことにより、これらの条件を満たしている場合と実質的に同等の２次元ステレオ画像を得ることができる。
【００４０】
なお、ここでは、ステレオカメラ１１が２個のカメラ１１１，１１２を備えるとしたが、ステレオカメラ１１が３個以上のカメラを備えていてもよい。
【００４１】
図２及び図３は、ステレオカメラ１１が設置された自動車の模式図である。図２は、自動車の側面図、図３は、自動車の上面図となっている。図２及び図３に示すように、ステレオカメラ１１は、例えば、自動車の車室内のバックミラーの近傍に前方に向けて設置され、自動車の前方を撮影する。
【００４２】
｛演算処理装置１２｝
演算処理装置１２は、ステレオカメラ１１が出力した２次元ステレオ画像の一方を基準画像、他方を参照画像として取得し、基準画像及び参照画像に映っている障害物を検出する。演算処理装置１２は、基準画像及び参照画像に映っている物体のうち、路面上にある特定の物体を障害物として選択的に検出する。
【００４３】
また、演算処理装置１２は、検出した障害物の位置や検出した障害物までの距離の情報を基準画像に重畳した画像を生成し、生成した画像を出力する。
【００４４】
演算処理装置１２における演算処理は、専用ハードウエアを用いるハードウエア処理によって行ってもよいし、マイクロプロセッサ及びプログラムを用いるソフトウエア処理によって行ってもよいし、ハードウエア処理とソフトウエア処理とを混在させた処理によって行ってもよい。
【００４５】
｛表示装置１３｝
表示装置１３は、演算処理装置１２が出力した画像を表示する。
【００４６】
＜１．２ 演算処理装置１２の構成＞
図４は、演算処理装置１２のブロック図である。演算処理装置１２は、視差データ演算部１２１、路面パラメータ推定部１２２、路面投影部１２３、障害物範囲特定部１２４、障害物領域特定部１２５、距離測定部１２６及び表示画像生成部１２７を備える。
【００４７】
｛視差データ演算部１２１｝
図５は、基準画像５０１及び基準画像５０１に定義されたｘｙ直交座標系を示す図であり、図６は、図５に示す基準画像５０１と同時に撮影された参照画像５０２及び参照画像５０２に定義されたｘｙ直交座標系を示す図である。図５に示す基準画像５０１及び図６に示す参照画像５０２には、路面６０１、先行車６０２，６０３、遮音壁６０４、中央分離帯６０５、空６０６が映っている。基準画像５０１及び参照画像５０２に定義されたｘｙ直交座標系は、それぞれ、基準画像５０１及び参照画像５０２の中心を原点とし、横方向をｘ軸方向、縦方向をｙ軸方向としている。
【００４８】
視差データ演算部１２１は、図５に示す基準画像５０１の上の点Ｐ１（ｘ1，ｙ1）に対応する、図６に示す参照画像５０２の上の点Ｐ２（ｘ2，ｙ2）を特定し、基準画像５０１の上の点Ｐ１における基準画像５０１と参照画像５０２との間の視差ｄを演算する。ここでいう「対応する」とは、同じもの（図５及び図６では、先行車６０２のリア）が映っているという意味である。また、座標ｘ1,ｘ2は、それぞれ、基準画像５０１の上の原点及び参照画像５０２の上の原点から横方向に何画素分離れているのかを表しており、座標ｙ1，ｙ2は、それぞれ、基準画像５０１の上の原点及び参照画像５０２の上の原点から縦方向に何画素分離れているのかを表している。
【００４９】
基準画像５０１の上の点Ｐ１と参照画像５０２の上の点Ｐ２との対応付けは、公知の様々な手法により行うことができるが、後述するＰＯＣ（Phase-Only Correlation；位相相関限定）法を用いて行うことが望ましい。
【００５０】
対応付けは、基準画像５０１を構成する画素の全てについて行ってもよいし、所定の画素間隔で間引きを行った後の画素についてのみ行ってもよい。なお、以下では、対応付けを行った基準画像５０１の上の点を「計測点」という。
【００５１】
ここで、ステレオカメラ１１は平行ステレオカメラであるので、基準画像５０１の上の点Ｐ１のｙ座標ｙ1と参照画像５０２の上の点Ｐ２のｙ座標ｙ2とは等しくなり、視差ｄは、式（１）で表すことができる。
【００５２】
【数１】
【００５３】
｛路面パラメータ推定部１２２｝
路面パラメータ推定部１２２は、基準画像５０１に映っている路面６０１を認識し、３次元空間内における着目する路面６０１に対するステレオカメラ１１の位置及び姿勢を表す路面パラメータを推定する。
【００５４】
図７は、路面６０１に対するステレオカメラ１１の配置を説明する図である。図７において、ＹＺ直交座標系は道路に固定された道路座標系であり、Ｚ軸は路面６０１にあり、＋Ｚ方向は道路の伸びる方向となっているとする。また、ｙｚ直交座標系はステレオカメラ１１に固定されたカメラ座標系であり、ｚ軸はカメラ１１１，１１２の光軸５０１，５０２と平行となっており、＋ｚ方向はステレオカメラ１１の向きとなっているとする。
【００５５】
道路は、カーブすることなくまっすぐ伸びているとする。また、ステレオカメラ１１は、ピッチ方向（ＹＺ平面に垂直な軸の周りに回転する方向）に下方に傾けて設置され、ステレオカメラ１１の撮影方向（＋ｚ方向）と道路の伸びる方向（＋Ｚ方向）とのなす角はφであるとする。さらに、ステレオカメラ１１のヨー方向（Ｙ軸の周りに回転する方向）及びロール方向（Ｚ軸の周りに回転する方向）の傾きは、実質的に０であるとする。加えて、ステレオカメラ１１の路面６０１からの高さはｈであるとする。
【００５６】
このような前提の下では、計測点Ｐ（ｘ，ｙ）のｙ座標ｙと、ステレオカメラ１１の直下にある道路座標原点から計測点Ｐに映っている点Ａまでの距離Ｄとの関係は、式（２）及び式（３）を用いて表すことができる。
【００５７】
【数２】
【００５８】
【数３】
【００５９】
ただし、ｆは、カメラ１１１，１１２の光学系の焦点距離、ｐは、カメラ１１１，１１２のエリアイメージセンサの画素ピッチ、Ｎは、カメラ１１１，１１２のエリアイメージセンサの縦方向の画素数、θは、カメラ１１１，１１２の垂直方向の画角の半角である。
【００６０】
ここで、ｈ／Ｄ及びｙ／αが１と比較して十分に小さい場合、式（２）は、式（４）に簡略化することができる。
【００６１】
【数４】
【００６２】
式（４）より、距離Ｄは、式（５）で表される。
【００６３】
【数５】
【００６４】
一方、計測点Ｐにおける視差ｄと距離Ｄとの関係は、式（６）で表される。
【００６５】
【数６】
【００６６】
ただし、Ｂは、基線長（ベースライン）である。
【００６７】
式（５）及び式（６）より、視差ｄと計測点Ｐのｙ座標ｙとの関係は、式（７）で表される。
【００６８】
【数７】
【００６９】
図８は、視差ｄ及びｙ座標ｙで張られるｄ−ｙ空間における路面パラメータの推定を説明する図である。
【００７０】
式（７）において、ステレオカメラ１１の位置を表す高さｈ及びステレオカメラ１１の姿勢を表す傾きφは、求めるべき路面パラメータである。また、基線長Ｂ及びパラメータαは、ステレオカメラ１１の光学特性から求めることができる。したがって、式（７）は、計測点Ｐのｙ座標ｙと計測点Ｐにおける視差ｄとの複数の組をｄ−ｙ空間にプロットすると、傾斜がＢ／ｈ、ｙ切片がＢαφ／ｈの直線７０１に路面６０１に由来するプロット点が乗ることを示している。逆に言えば、計測点Ｐのｙ座標ｙと計測点Ｐにおける視差ｄとの複数の組をｄ−ｙ空間にプロットし、プロット点が集中する直線７０１を検出すれば、例えば、直線７０１のｘ切片−αφから傾きφを推定することができ、ｙ切片Ｂαφ／ｈから高さｈを推定することができる。なお、路面パラメータとして、傾きφ及び高さｈ以外のパラメータを用いてもよい。
【００７１】
図９は、実写画像による路面パラメータの推定例を説明する図である。図９に示すように、計測点Ｐのｙ座標と計測点Ｐにおける視差ｄとの多数の組をプロットしたｄ−ｙ空間には、ｄ＝０．１６７ｙ＋２５．０で表される直線７０２を検出することができ、傾きをφ＝０．０４７ｒａｄ＝２．７ｄｅｇｒｅｅ、高さをｈ＝１２５０ｍｍと推定することができる。図９のｄ−ｙ空間において、直線７０２よりも上方にあるプロット点は、主に、路面６０１より高い位置にある物体に由来するプロット点であり、直線７０２より下方にあるプロット点は、主に、ノイズに由来するプロット点である。
【００７２】
ここで、ｄ−ｙ空間の直線７０２をロバストに検出し傾きφ及び高さｈをロバストに推定するためには、ハフ変換に代表される投票を用いた方法により、傾きφ及び高さｈで張られるφ−ｈ空間において傾きφ及び高さｈを直接推定することが望ましい。
【００７３】
図１０は、この方法によりφ−ｈ空間において傾きφ及び高さｈを推定する路面パラメータ推定部１２２のブロック図である。また、図１１〜図１３は、この方法によるφ−ｈ空間における傾きφ及び高さｈの推定を説明する図である。
【００７４】
この方法により傾きφ及び高さｈを推定するためには、まず、図１１に示すように、空間分割部１２２１がφ−ｈ空間を複数のブロック７１１に分割する。続いて、図１２に示すように、投票部１２２２が、複数のブロック７１１に分割されたφ−ｈ空間において計測点Ｐのｙ座標ｙと計測点Ｐにおける視差ｄとの複数の組から式（７）を変形した式（８）によって決定される複数の直線７１２が通過するブロック７１１に投票を行う。さらに続いて、図１３に示すように、路面パラメータ決定部１２２３が投票が最も多いブロック７１１が代表する傾きφ及び高さｈを求めるべき傾きφ及び高さｈとして決定する。なお、図１２及び図１３においては、ブロック７１１の中の数字は投票数を示している。
【００７５】
【数８】
【００７６】
空間分割部１２２１は、φ−ｈ空間のうち、傾きφ及び高さｈがとり得る範囲、例えば、φ＝０〜０．１，ｈ＝１０００〜１５００の範囲を複数のブロック７１１、例えば、φ方向に５０個、ｈ方向に５０個のブロック７１１に分割する。
【００７７】
このような傾きφ及び高さｈの推定によれば、路面６０１が映っていない計測点Ｐに由来する投票が特定のブロック７１１に集中することがないので、傾きφ及び高さｈをロバストに推定することができる。
【００７８】
なお、演算の便宜のため、式（９）及び式（１０）にしたがって、図１４に示すようなｈ−φ空間を図１５に示すようなｈ’−φ’空間にアフィン変換してもよい。
【００７９】
【数９】
【００８０】
【数１０】
【００８１】
ここで、ｐ＿ｗ及びｐ＿ｓは、それぞれ、φ−ｈ空間におけるφのとり得る範囲の上限値及び下限値であり、ｈ＿ｗ及びｈ＿ｓは、それぞれ、φ−ｈ空間におけるｈのとり得る範囲の上限値及び下限値であり、ｐ＿ｐは、φ’−ｈ’空間におけるφ’のとり得る範囲の上限値であり、ｈ＿ｐは、φ’−ｈ’空間におけるｈ’のとり得る範囲の上限値である。また、このようは変換を行った場合、式（８）に代えて、式（１１）を用いることになる。
【００８２】
【数１１】
【００８３】
なお、上述の説明では、路面が平坦であることを前提として説明を行ったが、路面がうねっている場合は、基準画像５０１及び参照画像５０２を前後に分割し、分割された画像ごとに傾きφ及び高さｈを推定すればよい。また、地図情報及びＧＰＳ（Global Positioning System）を用いて特定した自車位置の情報から路面６０１のうねりの情報をあらかじめ取得し、それにあわせて傾きφ及び高さｈを調整してもよい。
【００８４】
｛路面投影部１２３｝
路面投影部１２３は、路面パラメータを用いて基準画像５０１の上で計測点Ｐを路面６０１に投影する。ここで、「基準画像５０１の上で計測点Ｐを路面６０１に投影する」とは、計測点Ｐに映っている点Ｐ’を３次元空間において路面６０１に投影した点Ｑ’が映っている投影点Ｑ（ｘp，ｙp）へ、基準画像５０１において計測点Ｐを投影することをいう。
【００８５】
ここで、計測点Ｐに映っている点Ｐ’の路面６０１からの高さＨが式（１２）で表されることから、投影点Ｑのｙ座標ｙpは、式（１２）においてＨ＝０，ｙ＝ｙpとした式（１３）で表される。
【００８６】
【数１２】
【００８７】
【数１３】
【００８８】
なお、路面６０１への投影は、２次元平面で処理を行うためのものであるため、計測点Ｐの投影先を路面６０１とすることは必須ではなく、路面６０１以外の平面としてもよい。例えば、障害物検出装置１では、投影面を路面６０１と平行な平面とすることができるし、室内を走行する自立走行ロボットに搭載される、走行路面上にあるテーブルを検出する物体検出装置では、テーブルのテーブル面を投影面とすれば、テーブルの位置を効率的に特定することができる。
【００８９】
図１６は、路面投影部１２３が計測点Ｐを路面６０１に投影した結果を示す図である。図１６には、先行車６０２に由来する投影点Ｑの集合６１２、先行車６０３に由来する投影点Ｑの集合６１３、遮音壁６０４に由来する投影点Ｑの集合６１４、中央分離帯６０５に由来する投影点Ｑの集合６１５が示されている。
【００９０】
｛障害物範囲特定部１２４｝
障害物範囲特定部１２４は、複数の投影点Ｑから特定の分布を有する投影点Ｑの集合を選択し、特定の分布を有する投影点Ｑの集合が存在する範囲を障害物が存在する範囲（以下、「障害物範囲」という）と特定する。ここで、「特定の分布を有する投影点Ｑの集合を選択」するとは、検出すべき障害物に由来する投影点Ｑの集合が有していると予想される分布を有する投影点Ｑの集合を選択するということであり、例えば、特定の長さ、傾き又は形状を有する線素を構成する投影点Ｑの集合を選択するということである。ここで、線素を構成する投影点Ｑの集合の抽出は、（１）ハフ変換による直線パラメータの推定、（２）推定された直線パラメータで表される直線の近傍の投影点のグループ化、の２つの段階を経て行うことができる。また、「線素」には、線分だけでなく曲線分も含まれる。
【００９１】
障害物検出装置１が路面６０１の上にある先行車６０２，６０３を適切に検出するためには、基準画像５０１の上で実質的に水平（線素の傾きが０．１ｒａｄ以内）であり、基準画像５０１の上の位置に応じた長さｌ（ａｙ−ｗ＜ｌ＜ａｙ＋ｗ）の線素を構成する投影点Ｑの集合を選択することが望ましい。基準画像５０１の上の位置に応じた長さｌの線素を構成する投影点Ｑの集合を選択することにしたのは、基準画像５０１の上の位置によって先行車６０２，６０３が映る大きさが変化するからであり、長さｌの範囲は、概ね２ｍ程度の幅の先行車６０２，６０３が長さの範囲内になるように設定しておくことが望ましい。もちろん、検出すべき障害物に応じて長さの範囲を変更すれば、自動車の先行車６０２，６０３だけでなく、路上落下物、バイク、歩行者等も障害物として検出することができる。
【００９２】
なお、障害物範囲特定部１２４が、実質的に水平な線素を構成する投影点Ｑの集合を選択する場合は、障害物範囲は水平方向（±ｘ方向）の広がりによって特定されることになるが、より一般的には、障害物範囲は、路面６０１に平行な平面上の領域として特定される。
【００９３】
図１７は、図１６に例示した投影点Ｑから、障害物範囲特定部１２４が投影点Ｑの集合６１２，６１３を選択した結果を示す図である。図１７には、上述の条件を満たす線素を構成する先行車６０２に由来する投影点Ｑの集合６１２、先行車６０３に由来する投影点Ｑの集合６１３のみが選択され、上述の条件を満たさない線素を構成する遮音壁６０４に由来する投影点Ｑの集合６１４、中央分離帯６０５に由来する投影点Ｑの集合６１５は選択されないことが示されている。
【００９４】
｛障害物領域特定部１２５｝
障害物領域特定部１２５は、障害物範囲であって、３次元空間において路面６０１からの高さＨが３００ｍｍ＜Ｈ＜１５００ｍｍとなる基準画像５０１の上の領域を検出すべき障害物が映っている障害物領域として特定する。高さＨの範囲の上限は、衝突の可能性がある障害物のみを検出するため、自車の高さに基づいて設定することが望ましい。
【００９５】
図１８は、図１７に例示した障害物範囲から障害物領域特定部１２５が障害物領域６２２，６２３を特定した結果を示す図である。図１８には、衝突の可能性がある障害物が映っている範囲がハッチングで示される障害物領域６２２，６２３として特定されたことが示されている。
【００９６】
なお、上述の説明では、路面６０１からの距離が特定の距離となる基準画像５０１の上の領域を障害物領域６２２，６２３として特定したが、障害物範囲においてパターン認識により障害物領域を特定するようにすれば、障害物の範囲及び属性をより正確に認識することができる。なお、パターン認識は、一般的にいって、複雑で演算コストが高い処理であるが、障害物検出装置１では、パターン認識の対象とすべき範囲が障害物範囲に限られるので、比較的に低い演算コストでパターン認識を行うことができる。また、地図情報及びＧＰＳを用いて特定した自車位置の情報から、道路が曲がっている等の情報をあらかじめ取得し、進行方向にある障害物領域をさらに限定してもよい。
【００９７】
｛障害物距離測定部１２６｝
距離測定部１２６は、障害物領域６２２，６２３の内にある計測点Ｐにおける視差から障害物領域６２２，６２３に映っている障害物までの距離Ｄを式（１４）にしたがって測定する。図２０には、式（１４）の理解を容易にするため、水平面内における障害物、カメラ１１１，１１２の焦点位置及びカメラ１１１，１１２の撮像面の位置関係を示した。
【００９８】
【数１４】
【００９９】
このとき、１個の計測点Ｐにおける視差ｄから障害物までの距離を測定してもよいが、２個以上の計測点Ｐにおける視差ｄの平均値から障害物までの距離を測定することがより望ましい。さらに、２個以上の計測点Ｐにおける視差ｄの中央値から所定範囲内にある視差ｄの平均値から障害物までの距離を測定するアウトライア処理を行えば、偶発的に得られた極端に大きい視差ｄや極端に小さい視差ｄの影響を受けることなく、安定した視差ｄの平均値を得ることができる。
【０１００】
なお、このアウトライア処理により、障害物領域６２３を処理の対象から省くことができる。すなわち、計測点Ｐを多数取った場合、計測点Ｐの数は手前の障害物（図１８では、先行車６０２）の方が多くなり、視差ｄの中央値は手前の障害物の部分の視差となるので、上述の「所定範囲内」から外れた「極端に小さい視差ｄ」すなわち遠い距離にある障害物の視差ｄを距離測定の対象から省くことができる。これにより、手前の障害物のみを障害物として特定し、距離を算出することができる。
【０１０１】
｛表示画像生成部１２７｝
表示画像生成部１２７は、障害物領域特定部１２５が特定した障害物領域６２２を示す情報や距離測定部１２６が測定した障害物までの距離の情報を基準画像５０１に重畳した画像を生成し、表示装置１３に出力する。
【０１０２】
図１９は、表示画像生成部１２７が生成した画像の一例である。画像には、基準画像５０１に重畳して、障害物領域６２２及び障害物までの距離６３２が表示されている。
【０１０３】
｛運転支援｝
単に図１９に示すような画像を表示するだけでなく、演算処理装置１２の演算処理結果に基づいて運転支援を行うようにしてもよい。例えば、障害物までの距離が閾値以下となった場合に、衝突の危険があるとみなして、運転者に警告を発したり、ブレーキの制御を行ったりするようにしてもよい。
【０１０４】
｛ＰＯＣ対応付け演算｝
図２１は、ＰＯＣ対応付け演算を行うＰＯＣ対応付け演算部１４０のブロック図である。
【０１０５】
図２１に示すように、ＰＯＣ対応付け演算部１４０は、基準画像ウインドウ設定部１４１、参照画像ウインドウ設定部１４２、基準画像ウインドウＤＦＴ（Discrete Fourier Transform）部１４３、参照画像ウインドウＤＦＴ部１４４、位相比較部１４５、位置ズレ演算部１４６及び対応点演算部１４７を備える。
【０１０６】
｛基準画像ウインドウ設定部１４１｝
図２２は、基準画像ウインドウ５１１の設定を説明する図である。
【０１０７】
図２２に示すように、基準画像ウインドウ設定部１４１は、着目する点Ｐ１を中心とする矩形の基準画像ウインドウ５１１を基準画像５０１に設定する。基準画像ウインドウ５１１の大きさは、例えば、縦３１画素×横３１画素である。
【０１０８】
｛参照画像ウインドウ設定部１４２｝
図２３は、参照画像ウインドウ５１２の設定を説明する図である。
【０１０９】
図２３に示すように、参照画像ウインドウ設定部１４２は、基準画像ウインドウ５１１と形状及び大きさが同じウインドウで参照画像５０２を走査し、ウインドウの内の画像が基準画像ウインドウ５１１の内の画像と最も類似する参照画像ウインドウ５１２を参照画像５０２に設定する。パターンの類似度の評価方法は、特に制限されないが、例えば、ウインドウ間の相関演算、特にＳＡＤ（Sum of Absolute Differences）を用いた相関演算により行うことができる。
【０１１０】
一般的に言えば、参照画像ウインドウ設定部１４２は、参照画像５０２の全体をウインドウで走査する必要があるが、障害物検出装置１のようにステレオカメラ１１が平行ステレオカメラである場合は、基準画像ウインドウ５１１とｙ座標が同じ部分のみウインドウで走査すれば足りる。
【０１１１】
｛基準画像ウインドウＤＦＴ部１４３及び参照画像ウインドウＤＦＴ部１４４｝
基準画像ウインドウＤＦＴ部１４３及び参照画像ウインドウＤＦＴ部１４４は、それぞれ、基準画像ウインドウ５１１の内の画像ｆ（ｎ1，ｎ2）及び参照画像ウインドウ５１２の内の画像ｇ（ｎ1，ｎ2）を式（１５）、式（１６）、式（１７）及び式（１８）にしたがって、２次元離散フーリエ変換する。
【０１１２】
【数１５】
【０１１３】
【数１６】
【０１１４】
【数１７】
【０１１５】
【数１８】
【０１１６】
ここで、画像ｆ（ｎ1，ｎ2），ｇ（ｎ1，ｎ2）の画素数は、いずれも、横方向にＮ1＝２Ｍ1＋１画素、縦方向にＮ2＝２Ｍ2＋１画素としており、離散空間のインデックスは、ｎ1＝−Ｍ1，・・・，Ｍ1，ｎ2＝−Ｍ2，・・・，Ｍ2としている。また、ｋ1及びｋ2は、空間周波数であって、ｋ1＝−Ｍ1，・・・，Ｍ1，ｋ2＝−Ｍ2，・・・，Ｍ2である。式（１５）中のＡF（ｋ1，ｋ2）及び式（１６）中のＡG（ｋ1，ｋ2）は、それぞれ、空間周波数（ｋ1，ｋ2）における振幅であり、式（１５）中のｅｘｐ｛ｊθF（ｋ1，ｋ2）｝及び式（１６）中のｅｘｐ｛ｊθG（ｋ1，ｋ2）｝は、それぞれ、空間周波数（ｋ1，ｋ2）における位相である。
【０１１７】
このような２次元離散フーリエ変換により、実空間の画像ｆ（ｎ1，ｎ2），画像ｇ（ｎ1，ｎ2）は、周波数空間の画像Ｆ（ｋ1，ｋ2），Ｇ（ｋ1，ｋ2）に変換されたことになる。
【０１１８】
｛位相比較部１４５｝
位相比較部１４５は、周波数空間において画像Ｆ（ｋ1，ｋ2），Ｇ（ｋ1，ｋ2）を比較するため、式（１９）で表される合成位相スペクトルＲ’（ｋ1，ｋ2）を算出する。合成位相スペクトルＲ’（ｋ1，ｋ2）は、画像Ｆ（ｋ1，ｋ2）と画像Ｇ（ｋ1，ｋ2）の複素共役Ｇ*（ｋ1，ｋ2）との積Ｆ（ｋ1，ｋ2）・Ｇ*（ｋ1，ｋ2）を正規化することにより得ることができる。
【０１１９】
【数１９】
【０１２０】
さらに、位相比較部１４５は、ノイズの影響を小さくするため、式（２０）で表される合成位相スペクトルＲ（ｋ1，ｋ2）を算出する。合成位相スペクトルＲ（ｋ1，ｋ2）は、重み付け関数Ｈ（ｋ1，ｋ2）を合成位相スペクトルＲ’（ｋ1，ｋ2）に乗ずることにより得ることができる。
【０１２１】
【数２０】
【０１２２】
続いて、このような合成位相スペクトルＲ（ｋ1，ｋ2）を用いる理由について説明する。
【０１２３】
図２４〜図２８は、それぞれ、画像Ｆ（ｋ1，ｋ2）、画像Ｇ（ｋ1，ｋ2）、画像Ｆ（ｋ1，ｋ2）と画像Ｇ（ｋ1，ｋ2）の複素共役Ｇ*（ｋ1，ｋ2）との積Ｆ（ｋ1，ｋ2）・Ｇ*（ｋ1，ｋ2）、合成位相スペクトルＲ’（ｋ1，ｋ2）及び合成位相スペクトルＲ（ｋ1，ｋ2）の振幅及び位相の空間周波数に対する変化の一例を示す図である。これらの振幅及び位相は、２個の空間周波数ｋ1，ｋ2の関数であるが、図２４〜図２８では、説明の便宜上、１個の空間周波数にのみ着目して振幅及び位相の空間周波数に対する変化を示している。
【０１２４】
図２６に示すように、積Ｆ（ｋ1，ｋ2）・Ｇ*（ｋ1，ｋ2）の位相の空間周波数に対する変化を示すグラフは、参照画像ウインドウ５１２の位置ズレに応じた位相の傾きを有するが、積Ｆ（ｋ1，ｋ2）・Ｇ*（ｋ1，ｋ2）の振幅は空間周波数により変動する。
【０１２５】
一方、 図２７に示すように、合成位相スペクトルＲ’（ｋ1，ｋ2）の空間周波数に対する変化を示すグラフも、参照画像ウインドウ５１２の位置ズレに応じた位相の傾きを有するが、合成位相スペクトルＲ’（ｋ1，ｋ2）の振幅は空間周波数により変動しない。このように、空間周波数による振幅の変動を抑制した上で画像Ｆ（ｋ1，ｋ2），Ｇ（ｋ1，ｋ2）を比較するようにすると、振幅の変動の影響を受けずに画像Ｆ（ｋ1，ｋ2），Ｇ（ｋ1，ｋ2）を比較することができるので、基準画像５０１と参照画像５０２との明るさの違い等の影響を受けずにロバストに視差を演算することができる。
【０１２６】
さらに、図２８に示すように、合成位相スペクトルＲ（ｋ1，ｋ2）の空間周波数に対する変化を示すグラフも、参照画像ウインドウ５１２の位置ズレに応じた位相の傾きを有するが、合成位相スペクトルＲ（ｋ1，ｋ2）の振幅は、高い周波数において０となっている。このようにノイズを多く含む高い周波数の成分を減衰させると、画像Ｆ（ｋ1，ｋ2），Ｇ（ｋ1，ｋ2）を比較することができるので、ノイズの影響を受けずにロバストに視差ｄを演算することができる。
【０１２７】
｛位置ズレ演算部１４６｝
位置ズレ演算部１４６は、合成位相スペクトルＲ（ｋ1，ｋ2）に基づいて、参照画像ウインドウ５１２の本来あるべき位置からの位置ズレを演算する。ここで、「本来あるべき位置」とは、参照画像ウインドウ５１２の内の画像が基準画像ウインドウ５１１の内の画像と理想的に一致するような参照画像ウインドウ５１２の位置のことをいう。
【０１２８】
位置ズレ演算部１４６は、まず、式（２１）にしたがって、合成位相スペクトルＲ（ｋ1，ｋ2）を２次元離散逆フーリエ変換する。
【０１２９】
【数２１】
【０１３０】
このようにして得られたＰＯＣ関数ｒ’（ｎ1，ｎ2）は、画像ｆ（ｎ1，ｎ2）とｇ（ｎ1，ｎ2）との移動量に相当する座標に急峻な相関ピークを持つことが知られている。このため、位置ズレ演算部１４６は、ＰＯＣ関数ｒ’（ｎ1，ｎ2）が最大となるｎ1，ｎ2を演算し、演算したｎ1，ｎ2を参照画像ウインドウ５１２の本来あるべき位置からの位置ズレとする。なお、ＰＯＣ関数ｒ’（ｎ1，ｎ2）は、一画素おきの離散な値をとるｎ1，ｎ2の関数であるため、このままでは、位置ズレも一画素の分解能でしか求めることができない。
【０１３１】
そこで、位置ズレの演算に当たっては、２次関数等をＰＯＣ関数ｒ’（ｎ1，ｎ2）にフィッティングすることのより、１画素以下の分解能でＰＯＣ関数ｒ’（ｎ1，ｎ2）が最大となるｎ1，ｎ2を演算することが望ましい。
【０１３２】
｛対応点演算部１４７｝
対応点演算部１４７は、参照画像ウインドウ５１２の座標に位置ズレ演算部１４６が演算した位置ズレを加えることにより、基準画像５０１の上の点Ｐ１に対応する参照画像５０２の上の点Ｐ２を演算する。
【０１３３】
＜１．３ 障害物検出装置１の動作＞
図２９は、障害物検出装置１の動作を説明するフローチャートである。
【０１３４】
図２９に示すように、障害物の検出にあたっては、まず、ステレオカメラ１１から演算処理装置１２へ２次元ステレオ画像を入力する（ステップＳ１０１）。
【０１３５】
続いて、視差データ演算部１２１が、計測点Ｐにおける視差を演算し（ステップＳ１０２）、路面パラメータ推定部１２２が路面パラメータである傾きφ及び高さｈを推定する（ステップＳ１０３）。
【０１３６】
さらに続いて、路面投影部１２３が、基準画像５０１の上で計測点Ｐを路面６０１に投影し（ステップＳ１０４）、障害物範囲特定部１２４が障害物範囲を特定し（ステップＳ１０５）、障害物領域特定部１２５が障害物領域を特定する（ステップ１０６）。
【０１３７】
そして、最後に、障害物距離測定部１２６が、障害物までの距離を測定する（ステップ１０７）。
【０１３８】
このような障害物検出装置１によれば、路面６０１の上にある特定の物体が映っている計測点Ｐの投影点Ｑを特定することができるので、路面６０１にある特定の物体を障害物として検出することができる。
【０１３９】
＜２ 第２実施形態＞
第２実施形態は、第１実施形態に係る演算処理装置１２に代えて採用することができる演算処理装置２２に関する。
【０１４０】
図３０は、第２実施形態に係る演算処理装置２２のブロック図である。演算処理装置２２は、演算処理装置１２の視差データ演算部１２１、路面パラメータ推定部１２２、路面投影部１２３、障害物範囲特定部１２４、障害物領域特定部１２５、距離測定部１２６及び表示画像生成部１２７と同様の視差データ演算部２２１、路面パラメータ推定部２２２、路面投影部２２３、障害物範囲特定部２２４、障害物領域特定部２２５、距離測定部２２６及び表示画像生成部２２７を備える他、データ選択部２２８，２２９を備える。データ選択部２２８，２２９は、いずれも、検出すべき障害物が映っていない計測点Ｐを処理の対象から除外することにより、検出すべき障害物を安定して検出することができるようにする役割を果たしている。
【０１４１】
｛データ選択部２２８｝
データ選択部２２８は、路面投影部２２３による計測点Ｐの投影に先立って、３次元空間における路面６０１からの高さＨが３００ｍｍ＜Ｈ＜２０００ｍｍの範囲の点が映っている計測点Ｐのみを選択し、残余の計測点Ｐを路面６０１への投影対象から除外する。
【０１４２】
このように、路面６０１からの距離が特定の距離の計測点Ｐのみを選択するようにすれば、路面６０１そのものや障害物として検出すべきでない歩道橋等が映っている計測点Ｐ、すなわち、検出すべき障害物が映っていない計測点Ｐを路面６０１に投影しないので、検出すべき障害物を安定して検出することができる。
【０１４３】
｛データ選択部２２９｝
データ選択部２２９は、障害物範囲特定部１２４による投影点Ｑの集合の選択に先立って、同じｘ座標の投影点Ｑのうちｙ座標ｙpが最大となるあたりの投影点Ｑを選択し、残余の投影点Ｑを投影点Ｑの集合の選択対象から除外する。より望ましくは、ｙ座標の最大値ｙmaxを求め、求めた最大値ｙmaxから所定値範囲内にあるｙ座標ｙpの投影点Ｑを選択する。
【０１４４】
このように、最もステレオカメラ１１寄りの投影点Ｑを選択するようにすれば、最も重要なステレオカメラ１１に最も近い障害物を検出することができる。
【０１４５】
図３１は、図１６に例示した投影点Ｑからデータ選択部２２９が投影点Ｑを選択した後に障害物範囲特定部２２４が投影点Ｑの集合を選択した結果を示す図である。図３１には、先行車のうちステレオカメラ１１に近い先行車６０２に由来する投影点Ｑの集合６１２のみが選択された状態が示されている。
【０１４６】
このような演算処理装置２２を採用して障害物検出装置を構成しても、路面６０１の上にある特定の物体を障害物として検出することができる。
【図面の簡単な説明】
【０１４７】
【図１】第１実施形態に係る障害物検出装置の模式図である。
【図２】ステレオカメラが設置された自動車の側面図である。
【図３】ステレオカメラが設置された自動車の上面図である。
【図４】障害物検出装置のブロック図である。
【図５】基準画像及び基準画像に定義されたｘｙ直交座標系を示す図である。
【図６】参照画像及び参照画像に定義されたｘｙ直交座標系を示す図である。
【図７】路面に対するステレオカメラの配置を説明する図である。
【図８】路面パラメータの推定を説明する図である。
【図９】実写画像による路面パラメータの推定例を説明する図である。
【図１０】路面パラメータ推定部のブロック図である。
【図１１】路面パラメータの推定を説明する図である。
【図１２】路面パラメータの推定を説明する図である。
【図１３】路面パラメータの推定を説明する図である。
【図１４】ｈ−φ空間を示す図である。
【図１５】ｈ’−φ’空間を示す図である。
【図１６】路面投影部が基準画像上で計測点を路面に投影した結果を示す図である。
【図１７】障害物範囲特定部が投影点の集合を選択した結果を示す図である。
【図１８】障害物領域特定部が障害物領域を特定した結果を示す図である。
【図１９】表示画像生成部が生成した画像を示す図である。
【図２０】水平面内における障害物、カメラの焦点位置及びカメラの撮像面の位置関係を示す図である。
【図２１】ＰＯＣ対応付け演算部のブロック図である。
【図２２】基準画像ウインドウの設定を説明する図である。
【図２３】参照画像ウインドウの設定を説明する図である。
【図２４】画像Ｆ（ｋ1，ｋ2）の振幅及び位相の空間周波数に対する変化を示す図である。
【図２５】画像Ｇ（ｋ1，ｋ2）の振幅及び位相の空間周波数に対する変化を示す図である。
【図２６】積Ｆ（ｋ1，ｋ2）・Ｇ*（ｋ1，ｋ2）の振幅及び位相の空間周波数に対する変化を示す図である。
【図２７】合成位相スペクトルＲ’（ｋ1，ｋ2）の振幅及び位相の空間周波数に対する変化を示す図である。
【図２８】合成位相スペクトルＲ（ｋ1，ｋ2）の振幅及び位相の空間周波数に対する変化を示す図である。
【図２９】障害物検出装置の動作を説明するフローチャートである。
【図３０】第２実施形態に係る演算処理装置のブロック図である。
【図３１】障害物範囲特定部が投影点の集合を選択した結果を示す図である。
【符号の説明】
【０１４８】
１ 障害物検出装置
１１ ステレオカメラ
１２ 演算処理装置
１３ 表示装置
１２１ 視差データ演算部
１２２ 路面パラメータ推定部
１２３ 路面投影部
１２４ 障害物範囲特定部
１２５ 障害物領域特定部
１２６ 距離測定部
１２７ 表示生成部
【特許請求の範囲】
【請求項１】
２次元ステレオ画像を撮影し、基準画像及び参照画像として出力するステレオカメラと、
基準画像上の計測点における基準画像と参照画像との間の視差を演算する視差演算部と、
計測点の座標と計測点における視差との複数の組から基準画像に映っている着目する平面に対する前記ステレオカメラの位置及び姿勢を表す平面パラメータを推定する平面パラメータ推定部と、
平面パラメータを用いて基準画像上で計測点を投影面に投影する平面投影部と、
前記平面投影部が複数の計測点を投影面に投影することにより得られた複数の投影点から特定の分布を有する投影点の集合を選択する物体候補選択部と、
を備える物体検出装置。
【請求項２】
前記平面投影部による計測点の投影に先立って、着目する平面からの距離が特定の距離の点が映っている計測点のみを選択する第１の選択部、
をさらに備える請求項１に記載の物体検出装置。
【請求項３】
前記物体候補選択部による投影点の集合の選択に先立って、最も前記ステレオカメラ寄りの投影点を選択する第２の選択部、
をさらに備える請求項１又は請求項２に記載の物体検出装置。
【請求項４】
前記視差演算部は、
基準画像に第１のウインドウを設定する第１のウインドウ設定部と、
参照画像に第２のウインドウを設定する第２のウインドウ設定部と、
第１のウインドウ内の画像を実空間から周波数空間へ変換する第１の変換部と、
第２のウインドウ内の画像を実空間から周波数空間へ変換する第２の変換部と、
空間周波数による振幅の変動を抑制した上で周波数空間において第１のウインドウ内の画像と第２のウインドウ内の画像とを比較する画像比較部と、
前記画像比較部の比較結果に基づいて計測点に対応する参照画像上の対応点を演算する対応点演算部と、
を備える請求項１ないし請求項３のいずれかに記載の物体検出装置。
【請求項５】
前記視差演算部が位相相関限定法を用いて視差を演算する請求項４に記載の物体検出装置。
【請求項６】
前記平面パラメータ推定部がハフ変換により平面パラメータを推定する請求項１ないし請求項５のいずれかに記載の物体検出装置。
【請求項７】
前記平面パラメータ推定部は、
平面パラメータで張られる空間を複数のブロックに分割する空間分割部と、
前記空間分割部が複数のブロックに分割した空間において計測点の座標と計測点における視差との複数の組から決定される複数の直線が通過するブロックに投票を行う投票部と、
投票が最も多いブロックが代表する平面パラメータを求めるべき平面パラメータとして決定する平面パラメータ決定部と、
を備える請求項６に記載の物体検出装置。
【請求項８】
前記物体候補選択部が基準画像上で特定の長さ、傾き又は形状を有する線素を構成する投影点の集合を選択する請求項１ないし請求項７のいずれかに記載の物体検出装置。
【請求項９】
前記物体候補選択部が基準画像上で実質的に水平な線素を構成する投影点の集合を選択する請求項８に記載の物体検出装置。
【請求項１０】
前記物体候補選択部が基準画像上で基準画像上の位置に応じた長さの線素を構成する投影点の集合を選択する請求項８に記載の物体検出装置。
【請求項１１】
前記物体候補選択部が選択した投影点の集合が存在する範囲であって着目する平面からの距離が特定の距離の基準画像上の領域を検出すべき物体が映っている領域として特定する物体領域特定部、
をさらに備える請求項１ないし請求項１０のいずれかに記載の物体検出装置。
【請求項１２】
前記物体候補選択部が選択した投影点の集合が存在する範囲内においてパターン認識により検出すべき物体が映っている領域を特定する物体領域特定部、
をさらに備える請求項１ないし請求項１０のいずれかに記載の物体検出装置。
【請求項１３】
前記ステレオカメラが平面上を移動する移動体に搭載され、着目した平面が前記移動体の移動面である請求項１ないし請求項１２のいずれかに記載の物体検出装置。
【請求項１】
２次元ステレオ画像を撮影し、基準画像及び参照画像として出力するステレオカメラと、
基準画像上の計測点における基準画像と参照画像との間の視差を演算する視差演算部と、
計測点の座標と計測点における視差との複数の組から基準画像に映っている着目する平面に対する前記ステレオカメラの位置及び姿勢を表す平面パラメータを推定する平面パラメータ推定部と、
平面パラメータを用いて基準画像上で計測点を投影面に投影する平面投影部と、
前記平面投影部が複数の計測点を投影面に投影することにより得られた複数の投影点から特定の分布を有する投影点の集合を選択する物体候補選択部と、
を備える物体検出装置。
【請求項２】
前記平面投影部による計測点の投影に先立って、着目する平面からの距離が特定の距離の点が映っている計測点のみを選択する第１の選択部、
をさらに備える請求項１に記載の物体検出装置。
【請求項３】
前記物体候補選択部による投影点の集合の選択に先立って、最も前記ステレオカメラ寄りの投影点を選択する第２の選択部、
をさらに備える請求項１又は請求項２に記載の物体検出装置。
【請求項４】
前記視差演算部は、
基準画像に第１のウインドウを設定する第１のウインドウ設定部と、
参照画像に第２のウインドウを設定する第２のウインドウ設定部と、
第１のウインドウ内の画像を実空間から周波数空間へ変換する第１の変換部と、
第２のウインドウ内の画像を実空間から周波数空間へ変換する第２の変換部と、
空間周波数による振幅の変動を抑制した上で周波数空間において第１のウインドウ内の画像と第２のウインドウ内の画像とを比較する画像比較部と、
前記画像比較部の比較結果に基づいて計測点に対応する参照画像上の対応点を演算する対応点演算部と、
を備える請求項１ないし請求項３のいずれかに記載の物体検出装置。
【請求項５】
前記視差演算部が位相相関限定法を用いて視差を演算する請求項４に記載の物体検出装置。
【請求項６】
前記平面パラメータ推定部がハフ変換により平面パラメータを推定する請求項１ないし請求項５のいずれかに記載の物体検出装置。
【請求項７】
前記平面パラメータ推定部は、
平面パラメータで張られる空間を複数のブロックに分割する空間分割部と、
前記空間分割部が複数のブロックに分割した空間において計測点の座標と計測点における視差との複数の組から決定される複数の直線が通過するブロックに投票を行う投票部と、
投票が最も多いブロックが代表する平面パラメータを求めるべき平面パラメータとして決定する平面パラメータ決定部と、
を備える請求項６に記載の物体検出装置。
【請求項８】
前記物体候補選択部が基準画像上で特定の長さ、傾き又は形状を有する線素を構成する投影点の集合を選択する請求項１ないし請求項７のいずれかに記載の物体検出装置。
【請求項９】
前記物体候補選択部が基準画像上で実質的に水平な線素を構成する投影点の集合を選択する請求項８に記載の物体検出装置。
【請求項１０】
前記物体候補選択部が基準画像上で基準画像上の位置に応じた長さの線素を構成する投影点の集合を選択する請求項８に記載の物体検出装置。
【請求項１１】
前記物体候補選択部が選択した投影点の集合が存在する範囲であって着目する平面からの距離が特定の距離の基準画像上の領域を検出すべき物体が映っている領域として特定する物体領域特定部、
をさらに備える請求項１ないし請求項１０のいずれかに記載の物体検出装置。
【請求項１２】
前記物体候補選択部が選択した投影点の集合が存在する範囲内においてパターン認識により検出すべき物体が映っている領域を特定する物体領域特定部、
をさらに備える請求項１ないし請求項１０のいずれかに記載の物体検出装置。
【請求項１３】
前記ステレオカメラが平面上を移動する移動体に搭載され、着目した平面が前記移動体の移動面である請求項１ないし請求項１２のいずれかに記載の物体検出装置。
【図１】
【図２】
【図３】
【図４】
【図５】
【図６】
【図７】
【図８】
【図９】
【図１０】
【図１１】
【図１２】
【図１３】
【図１４】
【図１５】
【図１６】
【図１７】
【図１８】
【図１９】
【図２０】
【図２１】
【図２２】
【図２３】
【図２４】
【図２５】
【図２６】
【図２７】
【図２８】
【図２９】
【図３０】
【図３１】
【図２】
【図３】
【図４】
【図５】
【図６】
【図７】
【図８】
【図９】
【図１０】
【図１１】
【図１２】
【図１３】
【図１４】
【図１５】
【図１６】
【図１７】
【図１８】
【図１９】
【図２０】
【図２１】
【図２２】
【図２３】
【図２４】
【図２５】
【図２６】
【図２７】
【図２８】
【図２９】
【図３０】
【図３１】
【公開番号】特開２００９−８６８８２（Ｐ２００９−８６８８２Ａ）
【公開日】平成２１年４月２３日（２００９．４．２３）
【国際特許分類】
【出願番号】特願２００７−２５４０６６（Ｐ２００７−２５４０６６）
【出願日】平成１９年９月２８日（２００７．９．２８）
【出願人】（０００００１２７０）コニカミノルタホールディングス株式会社 (4,463)
【Ｆターム（参考）】
【公開日】平成２１年４月２３日（２００９．４．２３）
【国際特許分類】
【出願日】平成１９年９月２８日（２００７．９．２８）
【出願人】（０００００１２７０）コニカミノルタホールディングス株式会社 (4,463)
【Ｆターム（参考）】
[ Back to top ]