移動物体検出装置、及び移動物体検出方法
【課題】環境やシーンの変化に適応しつつ、移動物体と静止物体とを区別する。
【解決手段】画像内で、路面に相当する最下部の所定領域（ａ）に含まれる特徴点を、路面構造に属する基準特徴点として選出し（ステップＳ３）、選出した基準特徴点に基づいて自車両の基準姿勢変化量を算出する（ステップＳ４）。次に、基準特徴点を除いた特徴点の中から、任意の特徴点を比較特徴点として選出し（ステップＳ５）、選出した比較特徴点に基づいて自車両の比較姿勢変化量を算出する（ステップＳ６）。そして、基準姿勢変化量と比較姿勢変化量とを三次元座標にマッピングし、基準姿勢変化量の座標位置に対して比較姿勢変化量の座標位置が、所定距離ｒ以上離れているか否かを判定することで、比較姿勢変化量の算出に用いた比較特徴点が移動物体に含まれるか否かを判定する（ステップＳ７）。
【解決手段】画像内で、路面に相当する最下部の所定領域（ａ）に含まれる特徴点を、路面構造に属する基準特徴点として選出し（ステップＳ３）、選出した基準特徴点に基づいて自車両の基準姿勢変化量を算出する（ステップＳ４）。次に、基準特徴点を除いた特徴点の中から、任意の特徴点を比較特徴点として選出し（ステップＳ５）、選出した比較特徴点に基づいて自車両の比較姿勢変化量を算出する（ステップＳ６）。そして、基準姿勢変化量と比較姿勢変化量とを三次元座標にマッピングし、基準姿勢変化量の座標位置に対して比較姿勢変化量の座標位置が、所定距離ｒ以上離れているか否かを判定することで、比較姿勢変化量の算出に用いた比較特徴点が移動物体に含まれるか否かを判定する（ステップＳ７）。
【発明の詳細な説明】
【技術分野】
【０００１】
本発明は、移動物体検出装置、及び移動物体検出方法に関するものである。
【背景技術】
【０００２】
カメラで撮像した動画像から時空間画像を生成し、この時空間画像内に現れる物体の軌跡と、動画像内で任意に指定した静止物体の軌跡とを対比することで、時空間画像内に現れた物体が移動物体であるか否かを判定するものがあった（特許文献１参照）。
【先行技術文献】
【特許文献】
【０００３】
【特許文献１】特開２００８−１４６１８５号公報
【発明の概要】
【発明が解決しようとする課題】
【０００４】
しかしながら、上記特許文献１に記載された従来例にあっては、初めに動画像内でランドマークとなる静止物体をマニュアルで指定しなければならず、しかも環境やシーンが変わる度に静止物体を指定し直す必要がある。したがって、環境やシーンが絶えず変化する走行車両への適応が困難である。
本発明の課題は、環境やシーンの変化に適応しつつ、移動物体と静止物体とを区別することである。
【課題を解決するための手段】
【０００５】
上記の課題を解決するために、本発明に係る移動物体検出装置は、撮像した画像内から抽出した走行環境の特徴点のうち、画像内で予め定められた領域に含まれた路面構造に属する複数の特徴点を基準特徴点として選出すると共に、当該基準特徴点を除いた複数の特徴点を比較特徴点として選出する。そして、選出した複数の基準特徴点に基づいて自車両の基準姿勢変化量を算出すると共に、選出した複数の比較特徴点に基づいて自車両の比較姿勢変化量を算出する。そして、基準姿勢変化量と比較姿勢変化量との差分に応じて、この比較姿勢変化量の算出に用いた複数の比較特徴点が移動物体に属する特徴点であるか否かを判定する。
【発明の効果】
【０００６】
本発明に係る移動物体検出装置によれば、路面構造に属する基準特徴点と、それ以外の比較特徴点とを選出し、基準特徴点に応じた基準姿勢変化量と比較特徴点に応じた比較姿勢変化量とを比較し、その差分に応じて比較特徴点が移動物体に属する特徴点であるか否かを判定するので、環境やシーンの変化に適応して移動物体を検出することができる。
【図面の簡単な説明】
【０００７】
【図１】車両の概略構成図である。
【図２】移動物体検出処理を示すフローチャートである。
【図３】特徴点の抽出例を示す図である。
【図４】８−ｐｏｉｎｔアルゴリズムの説明図である。
【図５】判定対象となる比較特徴点の選定例を示す図である。
【図６】車両の姿勢変化量を表す三次元座標である。
【図７】基準特徴点追加処理を示すフローチャートである。
【図８】次候補特徴点の抽出例を示す図である。
【図９】次候補特徴点の追加前と追加後の姿勢変化量を表す図である。
【発明を実施するための形態】
【０００８】
以下、本発明の実施形態を図面に基づいて説明する。
《第１実施形態》
《構成》
図１は、車両の概略構成図である。
車体の前部には、光電変換により車両前方の画像を取得するＣＣＤやＣＭＯＳ等のカメラ１を設け、コントローラ２は、撮像した画像に基づいて移動物体検出処理を実行する。ディスプレイ３は、カメラ１で撮像した画像を表示できる。
【０００９】
図２は、移動物体検出処理を示すフローチャートである。
図３は、特徴点の抽出例を示す図である。
先ずステップＳ１では、図３に示すように、画像から特徴点を抽出する。図中、○印が抽出した特徴点である。特徴点は、エッジ検出器、方向の異なる2つのエッジが交差点を検出するコーナーエッジ検出器を用いてもよい。追跡しやすい点を検出する特徴抽出器の例としては、ＨａｒｒｉｓオペレータやＫＬＴトラッカーが一般的に用いられる。
【００１０】
参考文献１：C. Harris and M. Stephens: A Combined Corner and Edge Detector, Proc. 14th AlveyVision Conference, pp.147-151, 1988.
参考文献２：B. D. Lucas and T. Kanade: An Iterative Image Registration Technique with an Application to Stereo Vision, Proc. 7th International Conference on Artificial Intelligence, pp.674-679, 1981.
参考文献３：C. Tomasiand T. Kanade: Detection and Tracking of Point Features, Shape and Motion from Image Streams: a Factorization Method -Part 3, Technical Report CMU-CS-91-132, School of Computer Science, Carnegie Mellon University, 1991.
他にも、Ｍｏｒａｖｅｃ、ＳＵＳＡＮ、ＦＡＳＴ等の特徴量を用いてもよい。
【００１１】
続くステップＳ２では、抽出された特徴点を、カメラ１によって時間的に連続して撮像した画像中において特徴点位置を追跡する（トラッキング）。
抽出された特徴点は、連続する画像（フレーム）間での対応付けにより、フレーム間で追跡され、各特長点の画像上での移動量が求められる。一般的には、時刻ｔで抽出した特徴点を、時刻ｔ＋１で取得した画像中に求めた特徴点と対応付けることにより、特徴点の追跡を実現する。連続するフレーム間での特徴点の対応付けは、時刻ｔで検出された特徴点位置近傍領域において、時刻ｔ＋１で検出された特徴点のうち、最も尤度が高くなる点を対応点として対応付ける。結果として、特徴点が連続するフレーム間で追跡される。
【００１２】
続くステップＳ３では、図３に示すように、追跡した特徴点のうち、静止物体であることが明らかな基準特徴点を８点以上選定する。
ここでは、領域（ａ）に含まれる特徴点を選定する。ここで、領域（ａ）とは、自車両前方の最近傍の領域、つまり画像内では最下部の領域（車体が映っていれば車体に最も近い下部の領域）であり、ここに含まれる特徴点は、路面テクスチャに起因して抽出された路面構造上の特徴点と見なす。
続くステップＳ４では、領域（ａ）に含まれる特徴点の位置情報を用いて、自車両の基準姿勢変化量を算出する。具体的には、自車両のヨー角、ロール角、ピッチ角の変化量を算出する。ここでは、８−ｐｏｉｎｔアルゴリズムを用いる。
【００１３】
図４は、８−ｐｏｉｎｔアルゴリズムの説明図である。
８−ｐｏｉｎｔアルゴリズムは、二つの画像上の８組以上の対応点の対［Ｘｉ、Ｘｉ’］（ｉ＝１、２、……ｎ、ｎ≧８）から、その全ての点に対して、基礎方程式を満たす運動パラメータＲとＴを決定するアルゴリズムである。Ｒはカメラ座標系における各軸まわりの回転、Ｔは並進移動量を表す行列である。Ｘ、Ｘ’はカメラ座標での表記である。時間的に連続する２つの画像から８組以上の特徴点を追跡した結果に基づき、基本行列Ｅが規定される。上記回転行列Ｒと並進ベクトルＴは、８組以上の特徴点追跡結果により得られた基本行列Ｅを特異値分解することにより、ヨー角、ロール角、ピッチ角が得られる。
【００１４】
参考文献４：H. Christopher Longuet-Higgins (September 1981). "A computer algorithm for reconstructing a scene from two projections". Nature 293: 133-135.
続くステップＳ５では、基準特徴点を除き、追跡した特徴点の中から、移動物体であるか否かを判定する判定対象として、任意の比較特徴点を８点以上選定する。
図５は、判定対象となる比較特徴点の選定例を示す図である。
ここでは、領域（ａ）以外にある特徴点を選定し、ある程度まとまった、つまり空間的に近い領域に含まれる８点以上の特徴点群を選定する。これを、図５に示すように、例えば画面上段の左から右、中段の左から右、下段の左から右へと順次選定する。勿論、全くランダムに選定してもよい。
【００１５】
続くステップＳ６では、前記ステップＳ４の処理と同様に、８−ｐｏｉｎｔアルゴリズムにより、判定対象となる比較特徴点の位置情報を用いて、自車両の比較姿勢変化量を算出する。
続くステップＳ７では、基準姿勢変化量と比較姿勢変化量とを比較し、選定した特徴点が移動物体に付属するか構造物や背景等の静止物に付属する特徴点であるかを判定してから所定のメインプログラムに復帰する。
【００１６】
図６は、車両の姿勢変化量を表す三次元座標である。
ここで、基準姿勢変化量と比較姿勢変化量とを三次元座標にマッピングし、基準姿勢変化量の座標位置に対して比較姿勢変化量の座標位置が、所定距離ｒ以上離れているか否かを判定する。ここで、基準姿勢変化量の座標位置を中心にして半径ｒの内側に比較姿勢変化量の座標位置があれば、その比較姿勢変化量の算出に用いた８点以上の特徴点が全て静止物体に属する特徴点であると判定する。一方、基準姿勢変化量の座標位置を中心にして半径ｒの外側に比較姿勢変化量の座標位置があれば、その比較姿勢変化量の算出に用いた８点以上の特徴点には、移動物体に属する特徴点が含まれていると判定する。
上記の処理を、全ての特徴点群に対して行うことで、任意に選定した特徴点が移動物体に付随する特徴点であるか、構造物（静止物）に付随する特徴点であるかを分類する。
【００１７】
《作用》
動画像内で注目している特徴点が移動物体に属するか否かを判定するには、先ず基準となる静止物体に属する特徴点を正確に検出する必要がある。
路面であれば、当然、静止しているので、図３に示すように、画像内で、路面に相当する最下部の所定領域（ａ）に含まれる８ポイント以上の特徴点を、路面構造に属する基準特徴点として選出する（ステップＳ３）。これにより、静止物体に属する特徴点を正確に検出することができる。そして、８−ｐｏｉｎｔアルゴリズムを用い、選出した基準特徴点に基づいて自車両の基準姿勢変化量を算出する（ステップＳ４）。
【００１８】
次に、基準特徴点を除いた特徴点の中から、任意に８ポイント以上の特徴点を選出し、これを比較特徴点とする（ステップＳ５）。ここでは、図３に示すように、斜め前方の他車両が含まれる領域（ｂ）と、壁や道路標識が含まれる領域（ｃ）について考える。そして、８−ｐｏｉｎｔアルゴリズムを用い、選出した比較特徴点に基づいて自車両の比較姿勢変化量を算出する（ステップＳ６）。
そして、図６に示すように、基準姿勢変化量と比較姿勢変化量とを三次元座標にマッピングし、基準姿勢変化量の座標位置に対して比較姿勢変化量の座標位置が、所定距離ｒ以上離れているか否かを判定することで、比較姿勢変化量の算出に用いた比較特徴点が移動物体に含まれるか否かを判定する（ステップＳ７）。
【００１９】
ここで、領域（ａ）内の特徴点から算出した基準姿勢変化量をＰａ、領域（ｂ）内の特徴点から算出した比較姿勢変化量をＰｂ、領域（ｃ）内の特徴点から算出した比較姿勢変化量をＰｃとする。すなわち、座標Ｐａは路面上の特徴点から算出した真の基準姿勢変化量である。そして、座標Ｐｂ及びＰｃが、座標Ｐａの半径ｒ以内に存在するか否かを判定する。
先ず、比較姿勢変化量Ｐｃは、基準姿勢変化量Ｐａの半径ｒ以内にあるため、静止物体に属する特徴点であると判定する。一方、比較姿勢変化量Ｐｂは、基準姿勢変化量Ｐａの半径ｒ以内には無いため、移動物体に属する特徴点であると判定する。
【００２０】
このように、先ず静止物体に属する基準特徴点を正確に検出し、この基準特徴点群に応じて算出した基準姿勢変化量に対して、比較特徴点群に応じて算出した比較姿勢変化量がどの程度乖離しているか否かを判定することで、その比較特徴点群が移動物体に属するか否かを容易に判定することができる。したがって、走行車両のように、環境やシーンが絶えず変化するとしても、それに適応しつつ、移動物体と静止物体とを区別することができる。
【００２１】
《応用例》
なお、本実施形態では、静止物体であることが明らかな基準特徴点として、路面構造に属する特徴点を選定しているが、追跡した全ての特徴点についてオプティカルフロー（方向と大きさ）を算出し、基準特徴点を除く特徴点のうち、その基準特徴点と同じオプティカルフローになる特徴点を、基準特徴点に追加してもよい。この処理は「第二の追加手段」に対応する。このように、簡易な方法で基準特徴点を増やすことで、基準姿勢変化量の算出精度を向上させることができる。また、比較特徴点を減らすことにもなるので、演算負担を軽減することができる。
【００２２】
また、静止物体であることが明らかな基準特徴点として、路面構造に属する特徴点を選定しているが、パターンマッチングにより、撮像した画像内で道路標識及び道路標示の少なくとも一方を認識し、基準特徴点を除く特徴点のうち、認識した道路標識及び道路標示の少なくとも一方に属する特徴点を、基準特徴点に追加してもよい。この処理は「第三の追加手段」に対応する。このように、簡易な方法で基準特徴点を増やすことで、基準姿勢変化量の算出精度を向上させることができる。また、比較特徴点を減らすことにもなるので、演算負担を軽減することができる。
【００２３】
《効果》
以上より、カメラ１が「撮像手段」に対応し、ステップＳ１、Ｓ２の処理が「抽出手段」に対応し、ステップＳ３の処理が「基準点選出手段」に対応し、ステップＳ４の処理が「基準量算出手段」に対応し、ステップＳ５の処理が「比較点選出手段」に対応し、ステップＳ６の処理が「比較量算出手段」に対応し、ステップＳ７の処理が「判定手段」に対応する。
【００２４】
（１）自車両の走行環境を撮像する撮像手段と、該撮像手段が撮像した画像内で走行環境の特徴点を抽出する抽出手段と、前記抽出手段が抽出した特徴点のうち、画像内で予め定められた領域に含まれる路面構造に属する複数の特徴点を基準特徴点として選出する基準点選出手段と、該基準点選出手段が選出した複数の基準特徴点に基づいて自車両の基準姿勢変化量を算出する基準量算出手段と、前記抽出手段が抽出した特徴点のうち、前記基準特徴点を除いた複数の特徴点を比較特徴点として選出する比較点選出手段と、該比較点選出手段が選出した複数の比較特徴点に基づいて自車両の比較姿勢変化量を算出する比較量算出手段と、前記基準量算出手段が算出した基準姿勢変化量と前記比較量算出手段が算出した比較姿勢変化量との差分に応じて、当該比較姿勢変化量の算出に用いた複数の比較特徴点が移動物体に属する特徴点であるか否かを判定する判定手段と、を備える。
このように、路面構造に属する基準特徴点と、それ以外の比較特徴点とを選出し、基準特徴点に応じた基準姿勢変化量と比較特徴点に応じた比較姿勢変化量とを比較し、その差分に応じて比較特徴点が移動物体に属する特徴点であるか否かを判定するので、環境やシーンの変化に適応して移動物体を検出することができる。
【００２５】
（２）前記基準特徴点を除く特徴点のうち、前記基準特徴点と同じオプティカルフローになる特徴点を、当該基準特徴点に追加する第二の追加手段を備える。
このように、簡易な方法で基準特徴点を増やすことで、基準姿勢変化量の算出精度を向上させることができる。また、比較特徴点を減らすことにもなるので、演算負担を軽減することができる。
【００２６】
（３）前記撮像手段が撮像した画像内で道路標識及び道路標示の少なくとも一方を認識する認識手段と、前記基準特徴点を除く特徴点のうち、前記認識手段が認識した道路標識及び道路標示の少なくとも一方に属する特徴点を、前記基準特徴点に追加する第三の追加手段と、を備える。
このように、簡易な方法で基準特徴点を増やすことで、基準姿勢変化量の算出精度を向上させることができる。また、比較特徴点を減らすことにもなるので、演算負担を軽減することができる。
【００２７】
（４）自車両の走行環境を撮像し、撮像した画像内で走行環境の特徴点を抽出し、抽出した特徴点のうち、画像内で予め定められた領域に含まれる路面構造に属する複数の特徴点を基準特徴点として選出すると共に、当該基準特徴点を除いた複数の特徴点を比較特徴点として選出し、選出した複数の基準特徴点に基づいて自車両の基準姿勢変化量を算出すると共に、選出した複数の比較特徴点に基づいて自車両の比較姿勢変化量を算出し、前記基準姿勢変化量と前記比較姿勢変化量との差分に応じて、当該比較姿勢変化量の算出に用いた複数の比較特徴点が移動物体に属する特徴点であるか否かを判定する。
このように、路面構造に属する基準特徴点と、それ以外の比較特徴点とを選出し、基準特徴点に応じた基準姿勢変化量と比較特徴点に応じた比較姿勢変化量とを比較し、その差分に応じて比較特徴点が移動物体に属する特徴点であるか否かを判定するので、環境やシーンの変化に適応して移動物体を検出することができる。
【００２８】
《第２実施形態》
《構成》
本実施形態は、基準特徴点以外の特徴点のうち、静止物体であることが明らかな特徴点を、基準特徴点に追加してゆくものである。具体的には、前述した領域（ａ）以外の領域から、路面構造に属する特徴点と、道路標識・道路標示に属する特徴点とを精査し、基準特徴点に追加してゆくものである。
すなわち、領域（ａ）以外の領域に存在する特徴点が、路面構造に属するか否か、及び道路標識・道路標示に属するか否かを、ロバスト推定によって精査し、路面構造や道路標識・道路標示に属すると判定された特徴点を、新たな規準特徴点として、既に選出されている基準特徴点群に追加する。
【００２９】
ロバスト推定の手法としては、二乗誤差を最小化する最小二乗法（ＬＭＳ）、二乗誤差基準では誤差が大きいほど値が大きくなるが、ある一定以上の誤差で値の上昇を抑えることで外れ値による影響を小さくする手法であるＭ推定法などがある。他にも、ランダムに幾つかのサンプルを抽出し、ＬＭＳに当てはめることを繰り返し、抽出したサンプルに外れ値が含まれなければより確からしい推定が得られ、且つ外れ値の数が全測定数に比べて少なければ推定される誤差範囲内により多くの測定値が含まれることから、最も多くの測定値が範囲内に含まれるときの推定を正しい推定と見なすＲＡＮＳＡＣ（RANdom SAmple Consensus）、ランダムに幾つかのサンプルを抽出し、ＬＭＳに当てはめることを繰り返す最小メジアン法（ＬＭｅｄＳ）などがある。
【００３０】
ここで、基準特徴点への追加処理について説明する。
図７は、基準特徴点追加処理を示すフローチャートである。
先ずステップＳ２１では、領域（ａ）以外の領域にある特徴点を、自車両に近い順に、路面構造に属する次候補特徴点として選出する。
続くステップＳ２２では、次候補特徴点を基準特徴点に仮追加し、前記ステップＳ４の処理と同様に、８−ｐｏｉｎｔアルゴリズムを用い、仮追加後の基準特徴点に基づいて自車両の第一の仮基準姿勢変化量を算出する。
【００３１】
続くステップＳ２３では、前記ステップＳ４で算出した基準姿勢変化量と、第一の仮基準姿勢変化量との差分を算出する。この差分とは、図６の三次元座標にマッピングしたときの離間距離である。
続くステップＳ２４では、差分が所定値ｔｈより小さいか否かを判定する。ここで、差分が所定値ｔｈより小さければステップＳ２５に移行する。一方、差分が所定値ｔｈより大きければステップＳ２６に移行する。
【００３２】
ステップＳ２５では、次候補特徴点を基準特徴点に正式に追加してからステップＳ２７に移行する。
ステップＳ２６では、次候補特徴点を基準特徴点から削除してからステップＳ２７に移行する。
ステップＳ２７では、パターンマッチングにより、撮像した画像内で道路標識・道路標示を認識し、道路標識及び道路標示に属する特徴点を選出する。
【００３３】
続くステップＳ２８では、道路標識及び道路標示に属する特徴点を基準特徴点に仮追加し、上記ステップＳ２２の処理と同様に、８−ｐｏｉｎｔアルゴリズムを用い、仮追加後の基準特徴点に基づいて自車両の第三の仮基準姿勢変化量を算出する。
続くステップＳ２９では、前記ステップＳ４で算出した基準姿勢変化量と、第三の仮基準姿勢変化量との差分を算出する。この差分とは、図６の三次元座標にマッピングしたときの離間距離である。
【００３４】
続くステップＳ３０では、差分が所定値ｔｈより小さいか否かを判定する。ここで、差分が所定値ｔｈより小さければステップＳ３１に移行する。一方、差分が所定値ｔｈより大きければステップＳ３２に移行する。
ステップＳ３１では、道路標識及び道路標示に属する特徴点を基準特徴点に正式に追加してから所定のメインプログラムに復帰する。
ステップＳ３２では、道路標識及び道路標示に属する特徴点を基準特徴点から削除してから所定のメインプログラムに復帰する。
【００３５】
《作用》
自車両に最も近い特徴点から順に基準特徴点に追加するための次候補特徴点として選出し（ステップＳ２１）、ロバスト推定を行うことにより、その次候補特徴点が路面構造に属するか否かを判定する。すなわち、次候補特徴点を含めて算出した追加後の仮基準姿勢変化量と、追加前の基準姿勢変化量との差分が所定値未満となれば（ステップＳ２４の判定が“Yes”）、その次候補特徴点が路面構造に属すると判断し、正式に基準特徴点に追加する（ステップＳ２５）。一方、差分が所定値を超えていれば、その次候補特徴点は路面構造に属する特徴点ではないと判断し、基準特徴点から除外する（ステップＳ２６）。
【００３６】
図８は、次候補特徴点の抽出例を示す図である。
図９は、次候補特徴点の追加前と追加後の姿勢変化量を表す図である。
例えば、図８に示すように、次候補特徴点として点ｃを選出した場合と点ｂを選出した場合について説明する。先ず点ｃを仮追加して算出した仮基準姿勢変化量Ｐｃは、追加前の基準姿勢変化量Ｐａに近いので、点ｃが路面構造に属する特徴点であると判断し、これを正式に基準特徴点に追加する。一方、点ｂを仮追加して算出した仮基準姿勢変化量Ｐｂは、追加前の基準姿勢変化量Ｐａから乖離しているので、点ｂが路面構造に属する特徴点ではないと判断し、これを基準特徴点から除外する。
【００３７】
こうして、順次、路面構造に属するか否かを精査してゆくことで、基準特徴点を増やすことができ、基準姿勢変化量の算出精度を向上させることができる。また、比較特徴点を減らすことにもなるので、演算負担を軽減することができる。
また、道路標識・道路標示を誤検出してしまうと、その特徴点を基準特徴点に追加することはできない。そこで、道路標識・道路標示の認識結果が正しいか否かを判定する必要がある。この場合も、前述したロバスト推定手法を用いる。
【００３８】
すなわち、認識した道路標識・道路標示に属する特徴点を含めて算出した追加後の仮基準姿勢変化量と、追加前の基準姿勢変化量との差分が所定値未満となれば（ステップＳ３０の判定が“Yes”）、その特徴点が道路標識や道路標示に属すると判断し、正式に基準特徴点に追加する（ステップＳ３１）。一方、差分が所定値を超えていれば、その特徴点は道路標識や道路標示に属する特徴点ではないと判断し、基準特徴点から除外する（ステップＳ３２）。
こうして、順次、道路標識・道路標示に属するか否かを精査してゆくことで、基準特徴点を増やすことができ、基準姿勢変化量の算出精度を向上させることができる。また、比較特徴点を減らすことにもなるので、演算負担を軽減することができる。
【００３９】
《応用例》
なお、本実施形態のように、道路標識・道路標示に属する一つの特徴点を基準特徴点群に仮追加して、追加前と追加後とで姿勢変化量の差分に応じて、パターンマッチングの認識精度を確認する手法は、道路標識・道路標示に属する特徴点が８ポイント以下の場合に適している。一方、道路標識・道路標示に属する特徴点が８ポイント以上あれば、それらの特徴点に基づいて仮基準姿勢変化量を算出し、この仮基準姿勢変化量と基準変化量との差分に応じて、パターンマッチングの認識精度を確認してもよい。
【００４０】
すなわち、道路標識・道路標示に属する８ポイント以上の特徴点に応じて仮基準姿勢変化量を算出し、基準姿勢変化量との差分が所定値より小さいときに、仮基準姿勢変化量の算出に用いた全ての特徴点が道路標識・道路標示に属すると判断し、基準特徴点に追加する。一方、差分が所定値より大きいときに、仮基準姿勢変化量の算出に用いた特徴点の何れか又は全てが道路標識・道路標示に属する特徴点ではないと判断し、基準特徴点から除外する。
これにより、道路標識・道路標示に属する特徴点を、一つずつ基準特徴点に仮追加してゆく手法よりも、演算負担を軽減することができる。
【００４１】
《効果》
以上より、ステップＳ２１の処理が「候補点選出手段」に対応し、ステップＳ２２の処理が「第一の仮基準量算出手段」に対応し、ステップＳ２３〜Ｓ２６の処理が「第一の追加手段」に対応し、ステップＳ２７の処理が「認識手段」に対応し、ステップＳ２８の処理が「第三の仮基準量算出手段」に対応し、ステップＳ２９〜Ｓ３２の処理が「第三の追加手段」に対応する。
【００４２】
（１）前記基準特徴点を除いた特徴点のうち、自車両に近い特徴点から順に路面構造に属する次候補特徴点として選出する候補点選出手段と、該候補点選出手段が選出した次候補特徴点と前記基準特徴点とに基づいて自車両の第一の仮基準姿勢変化量を算出する第一の仮基準量算出手段と、前記基準量算出手段が算出した基準姿勢変化量と前記第一の仮基準量算出手段が算出した第一の仮基準姿勢変化量との差分が、予め設定された閾値よりも小さいときには、前記候補点選出手段が選出した次候補特徴点を、前記基準特徴点に追加する第一の追加手段と、を備える。
このように、順次、基準特徴点を増やすことで、基準姿勢変化量の算出精度を向上させることができる。また、比較特徴点を減らすことにもなるので、演算負担を軽減することができる。
【００４３】
（２）前記撮像手段が撮像した画像内で道路標識及び道路標示の少なくとも一方を認識する認識手段と、前記基準特徴点を除く特徴点のうち、前記認識手段が認識した道路標識及び道路標示の少なくとも一方に属する特徴点と前記基準特徴点とに基づいて自車両の第三の仮姿勢変化量を算出する第三の仮基準量算出手段と、前記基準量算出手段が算出した基準姿勢変化量と前記第三の仮基準量算出手段が算出した第三の仮基準姿勢変化量との差分が、予め定められた閾値よりも小さいときには、前記認識手段が認識した道路標識及び道路標示の少なくとも一方に属する特徴点を、前記基準特徴点に追加する第三の追加手段と、を備える。
このように、順次、基準特徴点を増やすことで、基準姿勢変化量の算出精度を向上させることができる。また、比較特徴点を減らすことにもなるので、演算負担を軽減することができる。これは、道路標識及び道路標示の少なくとも一方に属する特徴点が、少ない場合に有効である。
【００４４】
（３）前記撮像手段が撮像した画像内で道路標識及び道路標示の少なくとも一方を認識する認識手段と、前記基準特徴点を除く特徴点のうち、前記認識手段が認識した道路標識及び道路標示の少なくとも一方に属する複数の特徴点に基づいて自車両の第三の仮姿勢変化量を算出する第三の仮基準量算出手段と、前記基準量算出手段が算出した基準姿勢変化量と前記第三の仮基準量算出手段が算出した第三の仮基準姿勢変化量との差分が、予め定められた閾値よりも小さいときには、前記認識手段が認識した道路標識及び道路標示の少なくとも一方に属する複数の特徴点を、前記基準特徴点に追加する第三の追加手段と、を備える。
このように、順次、基準特徴点を増やすことで、基準姿勢変化量の算出精度を向上させることができる。また、比較特徴点を減らすことにもなるので、演算負担を軽減することができる。これは、動標識及び道路標示の少なくとも一方に属する特徴点が、多い場合に有効である。
【符号の説明】
【００４５】
１ カメラ
２ コントローラ
３ ディスプレイ
【技術分野】
【０００１】
本発明は、移動物体検出装置、及び移動物体検出方法に関するものである。
【背景技術】
【０００２】
カメラで撮像した動画像から時空間画像を生成し、この時空間画像内に現れる物体の軌跡と、動画像内で任意に指定した静止物体の軌跡とを対比することで、時空間画像内に現れた物体が移動物体であるか否かを判定するものがあった（特許文献１参照）。
【先行技術文献】
【特許文献】
【０００３】
【特許文献１】特開２００８−１４６１８５号公報
【発明の概要】
【発明が解決しようとする課題】
【０００４】
しかしながら、上記特許文献１に記載された従来例にあっては、初めに動画像内でランドマークとなる静止物体をマニュアルで指定しなければならず、しかも環境やシーンが変わる度に静止物体を指定し直す必要がある。したがって、環境やシーンが絶えず変化する走行車両への適応が困難である。
本発明の課題は、環境やシーンの変化に適応しつつ、移動物体と静止物体とを区別することである。
【課題を解決するための手段】
【０００５】
上記の課題を解決するために、本発明に係る移動物体検出装置は、撮像した画像内から抽出した走行環境の特徴点のうち、画像内で予め定められた領域に含まれた路面構造に属する複数の特徴点を基準特徴点として選出すると共に、当該基準特徴点を除いた複数の特徴点を比較特徴点として選出する。そして、選出した複数の基準特徴点に基づいて自車両の基準姿勢変化量を算出すると共に、選出した複数の比較特徴点に基づいて自車両の比較姿勢変化量を算出する。そして、基準姿勢変化量と比較姿勢変化量との差分に応じて、この比較姿勢変化量の算出に用いた複数の比較特徴点が移動物体に属する特徴点であるか否かを判定する。
【発明の効果】
【０００６】
本発明に係る移動物体検出装置によれば、路面構造に属する基準特徴点と、それ以外の比較特徴点とを選出し、基準特徴点に応じた基準姿勢変化量と比較特徴点に応じた比較姿勢変化量とを比較し、その差分に応じて比較特徴点が移動物体に属する特徴点であるか否かを判定するので、環境やシーンの変化に適応して移動物体を検出することができる。
【図面の簡単な説明】
【０００７】
【図１】車両の概略構成図である。
【図２】移動物体検出処理を示すフローチャートである。
【図３】特徴点の抽出例を示す図である。
【図４】８−ｐｏｉｎｔアルゴリズムの説明図である。
【図５】判定対象となる比較特徴点の選定例を示す図である。
【図６】車両の姿勢変化量を表す三次元座標である。
【図７】基準特徴点追加処理を示すフローチャートである。
【図８】次候補特徴点の抽出例を示す図である。
【図９】次候補特徴点の追加前と追加後の姿勢変化量を表す図である。
【発明を実施するための形態】
【０００８】
以下、本発明の実施形態を図面に基づいて説明する。
《第１実施形態》
《構成》
図１は、車両の概略構成図である。
車体の前部には、光電変換により車両前方の画像を取得するＣＣＤやＣＭＯＳ等のカメラ１を設け、コントローラ２は、撮像した画像に基づいて移動物体検出処理を実行する。ディスプレイ３は、カメラ１で撮像した画像を表示できる。
【０００９】
図２は、移動物体検出処理を示すフローチャートである。
図３は、特徴点の抽出例を示す図である。
先ずステップＳ１では、図３に示すように、画像から特徴点を抽出する。図中、○印が抽出した特徴点である。特徴点は、エッジ検出器、方向の異なる2つのエッジが交差点を検出するコーナーエッジ検出器を用いてもよい。追跡しやすい点を検出する特徴抽出器の例としては、ＨａｒｒｉｓオペレータやＫＬＴトラッカーが一般的に用いられる。
【００１０】
参考文献１：C. Harris and M. Stephens: A Combined Corner and Edge Detector, Proc. 14th AlveyVision Conference, pp.147-151, 1988.
参考文献２：B. D. Lucas and T. Kanade: An Iterative Image Registration Technique with an Application to Stereo Vision, Proc. 7th International Conference on Artificial Intelligence, pp.674-679, 1981.
参考文献３：C. Tomasiand T. Kanade: Detection and Tracking of Point Features, Shape and Motion from Image Streams: a Factorization Method -Part 3, Technical Report CMU-CS-91-132, School of Computer Science, Carnegie Mellon University, 1991.
他にも、Ｍｏｒａｖｅｃ、ＳＵＳＡＮ、ＦＡＳＴ等の特徴量を用いてもよい。
【００１１】
続くステップＳ２では、抽出された特徴点を、カメラ１によって時間的に連続して撮像した画像中において特徴点位置を追跡する（トラッキング）。
抽出された特徴点は、連続する画像（フレーム）間での対応付けにより、フレーム間で追跡され、各特長点の画像上での移動量が求められる。一般的には、時刻ｔで抽出した特徴点を、時刻ｔ＋１で取得した画像中に求めた特徴点と対応付けることにより、特徴点の追跡を実現する。連続するフレーム間での特徴点の対応付けは、時刻ｔで検出された特徴点位置近傍領域において、時刻ｔ＋１で検出された特徴点のうち、最も尤度が高くなる点を対応点として対応付ける。結果として、特徴点が連続するフレーム間で追跡される。
【００１２】
続くステップＳ３では、図３に示すように、追跡した特徴点のうち、静止物体であることが明らかな基準特徴点を８点以上選定する。
ここでは、領域（ａ）に含まれる特徴点を選定する。ここで、領域（ａ）とは、自車両前方の最近傍の領域、つまり画像内では最下部の領域（車体が映っていれば車体に最も近い下部の領域）であり、ここに含まれる特徴点は、路面テクスチャに起因して抽出された路面構造上の特徴点と見なす。
続くステップＳ４では、領域（ａ）に含まれる特徴点の位置情報を用いて、自車両の基準姿勢変化量を算出する。具体的には、自車両のヨー角、ロール角、ピッチ角の変化量を算出する。ここでは、８−ｐｏｉｎｔアルゴリズムを用いる。
【００１３】
図４は、８−ｐｏｉｎｔアルゴリズムの説明図である。
８−ｐｏｉｎｔアルゴリズムは、二つの画像上の８組以上の対応点の対［Ｘｉ、Ｘｉ’］（ｉ＝１、２、……ｎ、ｎ≧８）から、その全ての点に対して、基礎方程式を満たす運動パラメータＲとＴを決定するアルゴリズムである。Ｒはカメラ座標系における各軸まわりの回転、Ｔは並進移動量を表す行列である。Ｘ、Ｘ’はカメラ座標での表記である。時間的に連続する２つの画像から８組以上の特徴点を追跡した結果に基づき、基本行列Ｅが規定される。上記回転行列Ｒと並進ベクトルＴは、８組以上の特徴点追跡結果により得られた基本行列Ｅを特異値分解することにより、ヨー角、ロール角、ピッチ角が得られる。
【００１４】
参考文献４：H. Christopher Longuet-Higgins (September 1981). "A computer algorithm for reconstructing a scene from two projections". Nature 293: 133-135.
続くステップＳ５では、基準特徴点を除き、追跡した特徴点の中から、移動物体であるか否かを判定する判定対象として、任意の比較特徴点を８点以上選定する。
図５は、判定対象となる比較特徴点の選定例を示す図である。
ここでは、領域（ａ）以外にある特徴点を選定し、ある程度まとまった、つまり空間的に近い領域に含まれる８点以上の特徴点群を選定する。これを、図５に示すように、例えば画面上段の左から右、中段の左から右、下段の左から右へと順次選定する。勿論、全くランダムに選定してもよい。
【００１５】
続くステップＳ６では、前記ステップＳ４の処理と同様に、８−ｐｏｉｎｔアルゴリズムにより、判定対象となる比較特徴点の位置情報を用いて、自車両の比較姿勢変化量を算出する。
続くステップＳ７では、基準姿勢変化量と比較姿勢変化量とを比較し、選定した特徴点が移動物体に付属するか構造物や背景等の静止物に付属する特徴点であるかを判定してから所定のメインプログラムに復帰する。
【００１６】
図６は、車両の姿勢変化量を表す三次元座標である。
ここで、基準姿勢変化量と比較姿勢変化量とを三次元座標にマッピングし、基準姿勢変化量の座標位置に対して比較姿勢変化量の座標位置が、所定距離ｒ以上離れているか否かを判定する。ここで、基準姿勢変化量の座標位置を中心にして半径ｒの内側に比較姿勢変化量の座標位置があれば、その比較姿勢変化量の算出に用いた８点以上の特徴点が全て静止物体に属する特徴点であると判定する。一方、基準姿勢変化量の座標位置を中心にして半径ｒの外側に比較姿勢変化量の座標位置があれば、その比較姿勢変化量の算出に用いた８点以上の特徴点には、移動物体に属する特徴点が含まれていると判定する。
上記の処理を、全ての特徴点群に対して行うことで、任意に選定した特徴点が移動物体に付随する特徴点であるか、構造物（静止物）に付随する特徴点であるかを分類する。
【００１７】
《作用》
動画像内で注目している特徴点が移動物体に属するか否かを判定するには、先ず基準となる静止物体に属する特徴点を正確に検出する必要がある。
路面であれば、当然、静止しているので、図３に示すように、画像内で、路面に相当する最下部の所定領域（ａ）に含まれる８ポイント以上の特徴点を、路面構造に属する基準特徴点として選出する（ステップＳ３）。これにより、静止物体に属する特徴点を正確に検出することができる。そして、８−ｐｏｉｎｔアルゴリズムを用い、選出した基準特徴点に基づいて自車両の基準姿勢変化量を算出する（ステップＳ４）。
【００１８】
次に、基準特徴点を除いた特徴点の中から、任意に８ポイント以上の特徴点を選出し、これを比較特徴点とする（ステップＳ５）。ここでは、図３に示すように、斜め前方の他車両が含まれる領域（ｂ）と、壁や道路標識が含まれる領域（ｃ）について考える。そして、８−ｐｏｉｎｔアルゴリズムを用い、選出した比較特徴点に基づいて自車両の比較姿勢変化量を算出する（ステップＳ６）。
そして、図６に示すように、基準姿勢変化量と比較姿勢変化量とを三次元座標にマッピングし、基準姿勢変化量の座標位置に対して比較姿勢変化量の座標位置が、所定距離ｒ以上離れているか否かを判定することで、比較姿勢変化量の算出に用いた比較特徴点が移動物体に含まれるか否かを判定する（ステップＳ７）。
【００１９】
ここで、領域（ａ）内の特徴点から算出した基準姿勢変化量をＰａ、領域（ｂ）内の特徴点から算出した比較姿勢変化量をＰｂ、領域（ｃ）内の特徴点から算出した比較姿勢変化量をＰｃとする。すなわち、座標Ｐａは路面上の特徴点から算出した真の基準姿勢変化量である。そして、座標Ｐｂ及びＰｃが、座標Ｐａの半径ｒ以内に存在するか否かを判定する。
先ず、比較姿勢変化量Ｐｃは、基準姿勢変化量Ｐａの半径ｒ以内にあるため、静止物体に属する特徴点であると判定する。一方、比較姿勢変化量Ｐｂは、基準姿勢変化量Ｐａの半径ｒ以内には無いため、移動物体に属する特徴点であると判定する。
【００２０】
このように、先ず静止物体に属する基準特徴点を正確に検出し、この基準特徴点群に応じて算出した基準姿勢変化量に対して、比較特徴点群に応じて算出した比較姿勢変化量がどの程度乖離しているか否かを判定することで、その比較特徴点群が移動物体に属するか否かを容易に判定することができる。したがって、走行車両のように、環境やシーンが絶えず変化するとしても、それに適応しつつ、移動物体と静止物体とを区別することができる。
【００２１】
《応用例》
なお、本実施形態では、静止物体であることが明らかな基準特徴点として、路面構造に属する特徴点を選定しているが、追跡した全ての特徴点についてオプティカルフロー（方向と大きさ）を算出し、基準特徴点を除く特徴点のうち、その基準特徴点と同じオプティカルフローになる特徴点を、基準特徴点に追加してもよい。この処理は「第二の追加手段」に対応する。このように、簡易な方法で基準特徴点を増やすことで、基準姿勢変化量の算出精度を向上させることができる。また、比較特徴点を減らすことにもなるので、演算負担を軽減することができる。
【００２２】
また、静止物体であることが明らかな基準特徴点として、路面構造に属する特徴点を選定しているが、パターンマッチングにより、撮像した画像内で道路標識及び道路標示の少なくとも一方を認識し、基準特徴点を除く特徴点のうち、認識した道路標識及び道路標示の少なくとも一方に属する特徴点を、基準特徴点に追加してもよい。この処理は「第三の追加手段」に対応する。このように、簡易な方法で基準特徴点を増やすことで、基準姿勢変化量の算出精度を向上させることができる。また、比較特徴点を減らすことにもなるので、演算負担を軽減することができる。
【００２３】
《効果》
以上より、カメラ１が「撮像手段」に対応し、ステップＳ１、Ｓ２の処理が「抽出手段」に対応し、ステップＳ３の処理が「基準点選出手段」に対応し、ステップＳ４の処理が「基準量算出手段」に対応し、ステップＳ５の処理が「比較点選出手段」に対応し、ステップＳ６の処理が「比較量算出手段」に対応し、ステップＳ７の処理が「判定手段」に対応する。
【００２４】
（１）自車両の走行環境を撮像する撮像手段と、該撮像手段が撮像した画像内で走行環境の特徴点を抽出する抽出手段と、前記抽出手段が抽出した特徴点のうち、画像内で予め定められた領域に含まれる路面構造に属する複数の特徴点を基準特徴点として選出する基準点選出手段と、該基準点選出手段が選出した複数の基準特徴点に基づいて自車両の基準姿勢変化量を算出する基準量算出手段と、前記抽出手段が抽出した特徴点のうち、前記基準特徴点を除いた複数の特徴点を比較特徴点として選出する比較点選出手段と、該比較点選出手段が選出した複数の比較特徴点に基づいて自車両の比較姿勢変化量を算出する比較量算出手段と、前記基準量算出手段が算出した基準姿勢変化量と前記比較量算出手段が算出した比較姿勢変化量との差分に応じて、当該比較姿勢変化量の算出に用いた複数の比較特徴点が移動物体に属する特徴点であるか否かを判定する判定手段と、を備える。
このように、路面構造に属する基準特徴点と、それ以外の比較特徴点とを選出し、基準特徴点に応じた基準姿勢変化量と比較特徴点に応じた比較姿勢変化量とを比較し、その差分に応じて比較特徴点が移動物体に属する特徴点であるか否かを判定するので、環境やシーンの変化に適応して移動物体を検出することができる。
【００２５】
（２）前記基準特徴点を除く特徴点のうち、前記基準特徴点と同じオプティカルフローになる特徴点を、当該基準特徴点に追加する第二の追加手段を備える。
このように、簡易な方法で基準特徴点を増やすことで、基準姿勢変化量の算出精度を向上させることができる。また、比較特徴点を減らすことにもなるので、演算負担を軽減することができる。
【００２６】
（３）前記撮像手段が撮像した画像内で道路標識及び道路標示の少なくとも一方を認識する認識手段と、前記基準特徴点を除く特徴点のうち、前記認識手段が認識した道路標識及び道路標示の少なくとも一方に属する特徴点を、前記基準特徴点に追加する第三の追加手段と、を備える。
このように、簡易な方法で基準特徴点を増やすことで、基準姿勢変化量の算出精度を向上させることができる。また、比較特徴点を減らすことにもなるので、演算負担を軽減することができる。
【００２７】
（４）自車両の走行環境を撮像し、撮像した画像内で走行環境の特徴点を抽出し、抽出した特徴点のうち、画像内で予め定められた領域に含まれる路面構造に属する複数の特徴点を基準特徴点として選出すると共に、当該基準特徴点を除いた複数の特徴点を比較特徴点として選出し、選出した複数の基準特徴点に基づいて自車両の基準姿勢変化量を算出すると共に、選出した複数の比較特徴点に基づいて自車両の比較姿勢変化量を算出し、前記基準姿勢変化量と前記比較姿勢変化量との差分に応じて、当該比較姿勢変化量の算出に用いた複数の比較特徴点が移動物体に属する特徴点であるか否かを判定する。
このように、路面構造に属する基準特徴点と、それ以外の比較特徴点とを選出し、基準特徴点に応じた基準姿勢変化量と比較特徴点に応じた比較姿勢変化量とを比較し、その差分に応じて比較特徴点が移動物体に属する特徴点であるか否かを判定するので、環境やシーンの変化に適応して移動物体を検出することができる。
【００２８】
《第２実施形態》
《構成》
本実施形態は、基準特徴点以外の特徴点のうち、静止物体であることが明らかな特徴点を、基準特徴点に追加してゆくものである。具体的には、前述した領域（ａ）以外の領域から、路面構造に属する特徴点と、道路標識・道路標示に属する特徴点とを精査し、基準特徴点に追加してゆくものである。
すなわち、領域（ａ）以外の領域に存在する特徴点が、路面構造に属するか否か、及び道路標識・道路標示に属するか否かを、ロバスト推定によって精査し、路面構造や道路標識・道路標示に属すると判定された特徴点を、新たな規準特徴点として、既に選出されている基準特徴点群に追加する。
【００２９】
ロバスト推定の手法としては、二乗誤差を最小化する最小二乗法（ＬＭＳ）、二乗誤差基準では誤差が大きいほど値が大きくなるが、ある一定以上の誤差で値の上昇を抑えることで外れ値による影響を小さくする手法であるＭ推定法などがある。他にも、ランダムに幾つかのサンプルを抽出し、ＬＭＳに当てはめることを繰り返し、抽出したサンプルに外れ値が含まれなければより確からしい推定が得られ、且つ外れ値の数が全測定数に比べて少なければ推定される誤差範囲内により多くの測定値が含まれることから、最も多くの測定値が範囲内に含まれるときの推定を正しい推定と見なすＲＡＮＳＡＣ（RANdom SAmple Consensus）、ランダムに幾つかのサンプルを抽出し、ＬＭＳに当てはめることを繰り返す最小メジアン法（ＬＭｅｄＳ）などがある。
【００３０】
ここで、基準特徴点への追加処理について説明する。
図７は、基準特徴点追加処理を示すフローチャートである。
先ずステップＳ２１では、領域（ａ）以外の領域にある特徴点を、自車両に近い順に、路面構造に属する次候補特徴点として選出する。
続くステップＳ２２では、次候補特徴点を基準特徴点に仮追加し、前記ステップＳ４の処理と同様に、８−ｐｏｉｎｔアルゴリズムを用い、仮追加後の基準特徴点に基づいて自車両の第一の仮基準姿勢変化量を算出する。
【００３１】
続くステップＳ２３では、前記ステップＳ４で算出した基準姿勢変化量と、第一の仮基準姿勢変化量との差分を算出する。この差分とは、図６の三次元座標にマッピングしたときの離間距離である。
続くステップＳ２４では、差分が所定値ｔｈより小さいか否かを判定する。ここで、差分が所定値ｔｈより小さければステップＳ２５に移行する。一方、差分が所定値ｔｈより大きければステップＳ２６に移行する。
【００３２】
ステップＳ２５では、次候補特徴点を基準特徴点に正式に追加してからステップＳ２７に移行する。
ステップＳ２６では、次候補特徴点を基準特徴点から削除してからステップＳ２７に移行する。
ステップＳ２７では、パターンマッチングにより、撮像した画像内で道路標識・道路標示を認識し、道路標識及び道路標示に属する特徴点を選出する。
【００３３】
続くステップＳ２８では、道路標識及び道路標示に属する特徴点を基準特徴点に仮追加し、上記ステップＳ２２の処理と同様に、８−ｐｏｉｎｔアルゴリズムを用い、仮追加後の基準特徴点に基づいて自車両の第三の仮基準姿勢変化量を算出する。
続くステップＳ２９では、前記ステップＳ４で算出した基準姿勢変化量と、第三の仮基準姿勢変化量との差分を算出する。この差分とは、図６の三次元座標にマッピングしたときの離間距離である。
【００３４】
続くステップＳ３０では、差分が所定値ｔｈより小さいか否かを判定する。ここで、差分が所定値ｔｈより小さければステップＳ３１に移行する。一方、差分が所定値ｔｈより大きければステップＳ３２に移行する。
ステップＳ３１では、道路標識及び道路標示に属する特徴点を基準特徴点に正式に追加してから所定のメインプログラムに復帰する。
ステップＳ３２では、道路標識及び道路標示に属する特徴点を基準特徴点から削除してから所定のメインプログラムに復帰する。
【００３５】
《作用》
自車両に最も近い特徴点から順に基準特徴点に追加するための次候補特徴点として選出し（ステップＳ２１）、ロバスト推定を行うことにより、その次候補特徴点が路面構造に属するか否かを判定する。すなわち、次候補特徴点を含めて算出した追加後の仮基準姿勢変化量と、追加前の基準姿勢変化量との差分が所定値未満となれば（ステップＳ２４の判定が“Yes”）、その次候補特徴点が路面構造に属すると判断し、正式に基準特徴点に追加する（ステップＳ２５）。一方、差分が所定値を超えていれば、その次候補特徴点は路面構造に属する特徴点ではないと判断し、基準特徴点から除外する（ステップＳ２６）。
【００３６】
図８は、次候補特徴点の抽出例を示す図である。
図９は、次候補特徴点の追加前と追加後の姿勢変化量を表す図である。
例えば、図８に示すように、次候補特徴点として点ｃを選出した場合と点ｂを選出した場合について説明する。先ず点ｃを仮追加して算出した仮基準姿勢変化量Ｐｃは、追加前の基準姿勢変化量Ｐａに近いので、点ｃが路面構造に属する特徴点であると判断し、これを正式に基準特徴点に追加する。一方、点ｂを仮追加して算出した仮基準姿勢変化量Ｐｂは、追加前の基準姿勢変化量Ｐａから乖離しているので、点ｂが路面構造に属する特徴点ではないと判断し、これを基準特徴点から除外する。
【００３７】
こうして、順次、路面構造に属するか否かを精査してゆくことで、基準特徴点を増やすことができ、基準姿勢変化量の算出精度を向上させることができる。また、比較特徴点を減らすことにもなるので、演算負担を軽減することができる。
また、道路標識・道路標示を誤検出してしまうと、その特徴点を基準特徴点に追加することはできない。そこで、道路標識・道路標示の認識結果が正しいか否かを判定する必要がある。この場合も、前述したロバスト推定手法を用いる。
【００３８】
すなわち、認識した道路標識・道路標示に属する特徴点を含めて算出した追加後の仮基準姿勢変化量と、追加前の基準姿勢変化量との差分が所定値未満となれば（ステップＳ３０の判定が“Yes”）、その特徴点が道路標識や道路標示に属すると判断し、正式に基準特徴点に追加する（ステップＳ３１）。一方、差分が所定値を超えていれば、その特徴点は道路標識や道路標示に属する特徴点ではないと判断し、基準特徴点から除外する（ステップＳ３２）。
こうして、順次、道路標識・道路標示に属するか否かを精査してゆくことで、基準特徴点を増やすことができ、基準姿勢変化量の算出精度を向上させることができる。また、比較特徴点を減らすことにもなるので、演算負担を軽減することができる。
【００３９】
《応用例》
なお、本実施形態のように、道路標識・道路標示に属する一つの特徴点を基準特徴点群に仮追加して、追加前と追加後とで姿勢変化量の差分に応じて、パターンマッチングの認識精度を確認する手法は、道路標識・道路標示に属する特徴点が８ポイント以下の場合に適している。一方、道路標識・道路標示に属する特徴点が８ポイント以上あれば、それらの特徴点に基づいて仮基準姿勢変化量を算出し、この仮基準姿勢変化量と基準変化量との差分に応じて、パターンマッチングの認識精度を確認してもよい。
【００４０】
すなわち、道路標識・道路標示に属する８ポイント以上の特徴点に応じて仮基準姿勢変化量を算出し、基準姿勢変化量との差分が所定値より小さいときに、仮基準姿勢変化量の算出に用いた全ての特徴点が道路標識・道路標示に属すると判断し、基準特徴点に追加する。一方、差分が所定値より大きいときに、仮基準姿勢変化量の算出に用いた特徴点の何れか又は全てが道路標識・道路標示に属する特徴点ではないと判断し、基準特徴点から除外する。
これにより、道路標識・道路標示に属する特徴点を、一つずつ基準特徴点に仮追加してゆく手法よりも、演算負担を軽減することができる。
【００４１】
《効果》
以上より、ステップＳ２１の処理が「候補点選出手段」に対応し、ステップＳ２２の処理が「第一の仮基準量算出手段」に対応し、ステップＳ２３〜Ｓ２６の処理が「第一の追加手段」に対応し、ステップＳ２７の処理が「認識手段」に対応し、ステップＳ２８の処理が「第三の仮基準量算出手段」に対応し、ステップＳ２９〜Ｓ３２の処理が「第三の追加手段」に対応する。
【００４２】
（１）前記基準特徴点を除いた特徴点のうち、自車両に近い特徴点から順に路面構造に属する次候補特徴点として選出する候補点選出手段と、該候補点選出手段が選出した次候補特徴点と前記基準特徴点とに基づいて自車両の第一の仮基準姿勢変化量を算出する第一の仮基準量算出手段と、前記基準量算出手段が算出した基準姿勢変化量と前記第一の仮基準量算出手段が算出した第一の仮基準姿勢変化量との差分が、予め設定された閾値よりも小さいときには、前記候補点選出手段が選出した次候補特徴点を、前記基準特徴点に追加する第一の追加手段と、を備える。
このように、順次、基準特徴点を増やすことで、基準姿勢変化量の算出精度を向上させることができる。また、比較特徴点を減らすことにもなるので、演算負担を軽減することができる。
【００４３】
（２）前記撮像手段が撮像した画像内で道路標識及び道路標示の少なくとも一方を認識する認識手段と、前記基準特徴点を除く特徴点のうち、前記認識手段が認識した道路標識及び道路標示の少なくとも一方に属する特徴点と前記基準特徴点とに基づいて自車両の第三の仮姿勢変化量を算出する第三の仮基準量算出手段と、前記基準量算出手段が算出した基準姿勢変化量と前記第三の仮基準量算出手段が算出した第三の仮基準姿勢変化量との差分が、予め定められた閾値よりも小さいときには、前記認識手段が認識した道路標識及び道路標示の少なくとも一方に属する特徴点を、前記基準特徴点に追加する第三の追加手段と、を備える。
このように、順次、基準特徴点を増やすことで、基準姿勢変化量の算出精度を向上させることができる。また、比較特徴点を減らすことにもなるので、演算負担を軽減することができる。これは、道路標識及び道路標示の少なくとも一方に属する特徴点が、少ない場合に有効である。
【００４４】
（３）前記撮像手段が撮像した画像内で道路標識及び道路標示の少なくとも一方を認識する認識手段と、前記基準特徴点を除く特徴点のうち、前記認識手段が認識した道路標識及び道路標示の少なくとも一方に属する複数の特徴点に基づいて自車両の第三の仮姿勢変化量を算出する第三の仮基準量算出手段と、前記基準量算出手段が算出した基準姿勢変化量と前記第三の仮基準量算出手段が算出した第三の仮基準姿勢変化量との差分が、予め定められた閾値よりも小さいときには、前記認識手段が認識した道路標識及び道路標示の少なくとも一方に属する複数の特徴点を、前記基準特徴点に追加する第三の追加手段と、を備える。
このように、順次、基準特徴点を増やすことで、基準姿勢変化量の算出精度を向上させることができる。また、比較特徴点を減らすことにもなるので、演算負担を軽減することができる。これは、動標識及び道路標示の少なくとも一方に属する特徴点が、多い場合に有効である。
【符号の説明】
【００４５】
１ カメラ
２ コントローラ
３ ディスプレイ
【特許請求の範囲】
【請求項１】
自車両の走行環境を撮像する撮像手段と、
該撮像手段が撮像した画像内で走行環境の特徴点を抽出する抽出手段と、
前記抽出手段が抽出した特徴点のうち、画像内で予め定められた領域に含まれる路面構造に属する複数の特徴点を基準特徴点として選出する基準点選出手段と、該基準点選出手段が選出した複数の基準特徴点に基づいて自車両の基準姿勢変化量を算出する基準量算出手段と、
前記抽出手段が抽出した特徴点のうち、前記基準特徴点を除いた複数の特徴点を比較特徴点として選出する比較点選出手段と、該比較点選出手段が選出した複数の比較特徴点に基づいて自車両の比較姿勢変化量を算出する比較量算出手段と、
前記基準量算出手段が算出した基準姿勢変化量と前記比較量算出手段が算出した比較姿勢変化量との差分に応じて、当該比較姿勢変化量の算出に用いた複数の比較特徴点が移動物体に属する特徴点であるか否かを判定する判定手段と、を備えることを特徴とする移動物体検出装置。
【請求項２】
前記基準特徴点を除いた特徴点のうち、自車両に近い特徴点から順に路面構造に属する次候補特徴点として選出する候補点選出手段と、
該候補点選出手段が選出した次候補特徴点と前記基準特徴点とに基づいて自車両の第一の仮基準姿勢変化量を算出する第一の仮基準量算出手段と、
前記基準量算出手段が算出した基準姿勢変化量と前記第一の仮基準量算出手段が算出した第一の仮基準姿勢変化量との差分が、予め設定された閾値よりも小さいときには、前記候補点選出手段が選出した次候補特徴点を、前記基準特徴点に追加する第一の追加手段と、を備えることを特徴とする請求項１に記載の移動物体検出装置。
【請求項３】
前記基準特徴点を除く特徴点のうち、前記基準特徴点と同じオプティカルフローになる特徴点を、当該基準特徴点に追加する第二の追加手段を備えることを特徴とする請求項１又は２に記載の移動物体検出装置。
【請求項４】
前記撮像手段が撮像した画像内で道路標識及び道路標示の少なくとも一方を認識する認識手段と、
前記基準特徴点を除く特徴点のうち、前記認識手段が認識した道路標識及び道路標示の少なくとも一方に属する特徴点を、前記基準特徴点に追加する第三の追加手段と、を備えることを特徴とする請求項１〜３の何れか一項に記載の移動物体検出装置。
【請求項５】
前記撮像手段が撮像した画像内で道路標識及び道路標示の少なくとも一方を認識する認識手段と、
前記基準特徴点を除く特徴点のうち、前記認識手段が認識した道路標識及び道路標示の少なくとも一方に属する特徴点と前記基準特徴点とに基づいて自車両の第三の仮姿勢変化量を算出する第三の仮基準量算出手段と、
前記基準量算出手段が算出した基準姿勢変化量と前記第三の仮基準量算出手段が算出した第三の仮基準姿勢変化量との差分が、予め定められた閾値よりも小さいときには、前記認識手段が認識した道路標識及び道路標示の少なくとも一方に属する特徴点を、前記基準特徴点に追加する第三の追加手段と、を備えることを特徴とする請求項１〜３の何れか一項に記載の移動物体検出装置。
【請求項６】
前記撮像手段が撮像した画像内で道路標識及び道路標示の少なくとも一方を認識する認識手段と、
前記基準特徴点を除く特徴点のうち、前記認識手段が認識した道路標識及び道路標示の少なくとも一方に属する複数の特徴点に基づいて自車両の第三の仮姿勢変化量を算出する第三の仮基準量算出手段と、
前記基準量算出手段が算出した基準姿勢変化量と前記第三の仮基準量算出手段が算出した第三の仮基準姿勢変化量との差分が、予め定められた閾値よりも小さいときには、前記認識手段が認識した道路標識及び道路標示の少なくとも一方に属する複数の特徴点を、前記基準特徴点に追加する第三の追加手段と、を備えることを特徴とする請求項１〜３の何れか一項に記載の移動物体検出装置。
【請求項７】
自車両の走行環境を撮像し、撮像した画像内で走行環境の特徴点を抽出し、
抽出した特徴点のうち、画像内で予め定められた領域に含まれる路面構造に属する複数の特徴点を基準特徴点として選出すると共に、当該基準特徴点を除いた複数の特徴点を比較特徴点として選出し、
選出した複数の基準特徴点に基づいて自車両の基準姿勢変化量を算出すると共に、選出した複数の比較特徴点に基づいて自車両の比較姿勢変化量を算出し、
前記基準姿勢変化量と前記比較姿勢変化量との差分に応じて、当該比較姿勢変化量の算出に用いた複数の比較特徴点が移動物体に属する特徴点であるか否かを判定することを特徴とする移動物体検出方法。
【請求項１】
自車両の走行環境を撮像する撮像手段と、
該撮像手段が撮像した画像内で走行環境の特徴点を抽出する抽出手段と、
前記抽出手段が抽出した特徴点のうち、画像内で予め定められた領域に含まれる路面構造に属する複数の特徴点を基準特徴点として選出する基準点選出手段と、該基準点選出手段が選出した複数の基準特徴点に基づいて自車両の基準姿勢変化量を算出する基準量算出手段と、
前記抽出手段が抽出した特徴点のうち、前記基準特徴点を除いた複数の特徴点を比較特徴点として選出する比較点選出手段と、該比較点選出手段が選出した複数の比較特徴点に基づいて自車両の比較姿勢変化量を算出する比較量算出手段と、
前記基準量算出手段が算出した基準姿勢変化量と前記比較量算出手段が算出した比較姿勢変化量との差分に応じて、当該比較姿勢変化量の算出に用いた複数の比較特徴点が移動物体に属する特徴点であるか否かを判定する判定手段と、を備えることを特徴とする移動物体検出装置。
【請求項２】
前記基準特徴点を除いた特徴点のうち、自車両に近い特徴点から順に路面構造に属する次候補特徴点として選出する候補点選出手段と、
該候補点選出手段が選出した次候補特徴点と前記基準特徴点とに基づいて自車両の第一の仮基準姿勢変化量を算出する第一の仮基準量算出手段と、
前記基準量算出手段が算出した基準姿勢変化量と前記第一の仮基準量算出手段が算出した第一の仮基準姿勢変化量との差分が、予め設定された閾値よりも小さいときには、前記候補点選出手段が選出した次候補特徴点を、前記基準特徴点に追加する第一の追加手段と、を備えることを特徴とする請求項１に記載の移動物体検出装置。
【請求項３】
前記基準特徴点を除く特徴点のうち、前記基準特徴点と同じオプティカルフローになる特徴点を、当該基準特徴点に追加する第二の追加手段を備えることを特徴とする請求項１又は２に記載の移動物体検出装置。
【請求項４】
前記撮像手段が撮像した画像内で道路標識及び道路標示の少なくとも一方を認識する認識手段と、
前記基準特徴点を除く特徴点のうち、前記認識手段が認識した道路標識及び道路標示の少なくとも一方に属する特徴点を、前記基準特徴点に追加する第三の追加手段と、を備えることを特徴とする請求項１〜３の何れか一項に記載の移動物体検出装置。
【請求項５】
前記撮像手段が撮像した画像内で道路標識及び道路標示の少なくとも一方を認識する認識手段と、
前記基準特徴点を除く特徴点のうち、前記認識手段が認識した道路標識及び道路標示の少なくとも一方に属する特徴点と前記基準特徴点とに基づいて自車両の第三の仮姿勢変化量を算出する第三の仮基準量算出手段と、
前記基準量算出手段が算出した基準姿勢変化量と前記第三の仮基準量算出手段が算出した第三の仮基準姿勢変化量との差分が、予め定められた閾値よりも小さいときには、前記認識手段が認識した道路標識及び道路標示の少なくとも一方に属する特徴点を、前記基準特徴点に追加する第三の追加手段と、を備えることを特徴とする請求項１〜３の何れか一項に記載の移動物体検出装置。
【請求項６】
前記撮像手段が撮像した画像内で道路標識及び道路標示の少なくとも一方を認識する認識手段と、
前記基準特徴点を除く特徴点のうち、前記認識手段が認識した道路標識及び道路標示の少なくとも一方に属する複数の特徴点に基づいて自車両の第三の仮姿勢変化量を算出する第三の仮基準量算出手段と、
前記基準量算出手段が算出した基準姿勢変化量と前記第三の仮基準量算出手段が算出した第三の仮基準姿勢変化量との差分が、予め定められた閾値よりも小さいときには、前記認識手段が認識した道路標識及び道路標示の少なくとも一方に属する複数の特徴点を、前記基準特徴点に追加する第三の追加手段と、を備えることを特徴とする請求項１〜３の何れか一項に記載の移動物体検出装置。
【請求項７】
自車両の走行環境を撮像し、撮像した画像内で走行環境の特徴点を抽出し、
抽出した特徴点のうち、画像内で予め定められた領域に含まれる路面構造に属する複数の特徴点を基準特徴点として選出すると共に、当該基準特徴点を除いた複数の特徴点を比較特徴点として選出し、
選出した複数の基準特徴点に基づいて自車両の基準姿勢変化量を算出すると共に、選出した複数の比較特徴点に基づいて自車両の比較姿勢変化量を算出し、
前記基準姿勢変化量と前記比較姿勢変化量との差分に応じて、当該比較姿勢変化量の算出に用いた複数の比較特徴点が移動物体に属する特徴点であるか否かを判定することを特徴とする移動物体検出方法。
【図１】
【図２】
【図３】
【図４】
【図５】
【図６】
【図７】
【図８】
【図９】
【図２】
【図３】
【図４】
【図５】
【図６】
【図７】
【図８】
【図９】
【公開番号】特開２０１０−２８６９６３（Ｐ２０１０−２８６９６３Ａ）
【公開日】平成２２年１２月２４日（２０１０．１２．２４）
【国際特許分類】
【出願番号】特願２００９−１３９０３３（Ｐ２００９−１３９０３３）
【出願日】平成２１年６月１０日（２００９．６．１０）
【出願人】（０００００３９９７）日産自動車株式会社 (16,386)
【Ｆターム（参考）】
【公開日】平成２２年１２月２４日（２０１０．１２．２４）
【国際特許分類】
【出願日】平成２１年６月１０日（２００９．６．１０）
【出願人】（０００００３９９７）日産自動車株式会社 (16,386)
【Ｆターム（参考）】
[ Back to top ]