車両用物体認識装置
【課題】路上にある道路標識等の看板を確実に識別して先行車両等の車線上の物体との距離測定が看板に影響されずに正しく行うことのできる車両用物体認識装置を提供する。
【解決手段】車両用物体認識装置は、前方を走行する先行車両や障害物等の物体との間の距離Ｌ１や方位を測定する相対位置測定装置７と、前方の画像を撮像して画像認識を行い、撮像画像に基づいて距離Ｌ２を測定する撮像装置５とを備える。
先行車両６が看板３の下方を通過する際に検知ビーム２を看板３を照射しない検知ビーム２′まで下げることにより、先行車両６までの測定距離に誤差が生じないようにする。
【解決手段】車両用物体認識装置は、前方を走行する先行車両や障害物等の物体との間の距離Ｌ１や方位を測定する相対位置測定装置７と、前方の画像を撮像して画像認識を行い、撮像画像に基づいて距離Ｌ２を測定する撮像装置５とを備える。
先行車両６が看板３の下方を通過する際に検知ビーム２を看板３を照射しない検知ビーム２′まで下げることにより、先行車両６までの測定距離に誤差が生じないようにする。
【発明の詳細な説明】
【技術分野】
【０００１】
本発明は、前方を電磁波のビームでスキャンすることにより前方に存在する物体の相対位置を認識する装置に関し、特に、車線上方に道路標示用プレート等（以下、看板と称する）がある場合の距離測定に誤差が生じないようにした車両用物体認識装置に関する。
【背景技術】
【０００２】
移動体、特に自動車においては、前方を電磁波を用いたレーダ（光学式、電波式を問わず）ビームでスキャンしビームが反射して帰ってくるまでの時間を計測することにより前方に存在する反射物体までの距離を測定する距離測定装置が採用されつつあり、その測定結果を車両制御等に利用できるようになってきている。例えば、前方の反射物体が車両であれば、測定結果を利用して車速制御に利用することが可能である。また、２次元ビームを使用することで発射物体への水平方向と垂直方向のビーム方位の検出も可能であり反射物体の２次元の相対位置を測定することが可能になる。
【０００３】
上記の装置では、車線上に看板がある場合、反射物体の距離が測定できたとしても、その物体が看板なのか車両なのか（あるいは道路上に落下した障害物なのか）を区別することができない。
【０００４】
この問題の対策として、特許文献１には、距離測定装置だけを用い、反射波の検出点数と反射物体の幅からその物体が看板か車両であるかを判断する方法が開示されている。
【０００５】
また、特許文献２には、距離測定装置と前方を撮像する撮像装置とを設け、撮像装置で検出した車線上に反射物体がある場合に、自車の走行が進んでいくときにその反射物体が消失するか否か（その物体からの反射波が消えるかどうか）を追跡し、反射物体が消失するとその物体が看板であると判断する方法が開示されている。
【０００６】
さらに、特許文献３においては、距離測定装置と前方を撮像する撮像装置とを設け、撮像装置にはさらに画像情報に基づいて車線上の物体までの距離を求める機能を設け、看板が先行車両と離れていれば、距離測定装置で測定した看板までの距離と撮像装置で測定した先行車両までの距離が大きく異なるため、看板と先行車両を区別することを可能にしている。また、距離測定装置と撮像装置おのおので測定した距離が一致した場合、又はそれらの距離の差が少しあっても両装置が共に同一物体としてみなされる場合は、遠い方の距離を車線上の物体までの距離とする方法が開示されている。
【特許文献１】特開２００３−１４８４４号
【特許文献２】特開２００２−３０３６７１号
【特許文献３】特開平８−１５６７２３号
【発明の開示】
【発明が解決しようとする課題】
【０００７】
しかしながら、上記特許文献１に示される装置は、反射物体が大型トラックであると、幅が看板と同じ程度であり、且つアルミバンとラックなど反射率が高いために検出点数が多くなり、看板との識別が困難になる問題がある。
【０００８】
また、特許文献２に示される装置においても、反射物体が大型トラックであると、看板の場合と同様な反射波が検出される可能性があり、また、鉄道の高架等比較的低い構造物なのでこのような構造物からの反射波が消えるまでにはある程度接近することが必要になり、看板であると判断するのが遅れてしまう問題がある。
【０００９】
また、特許文献３の装置では、先行車両が看板に接近してその後離れるまでの間において以下に示す不具合を発生する。
【００１０】
図１は、自車１から照射した検知ビーム２が看板３で反射している状態を示す。４は車線、５は前方を撮像し、撮像した画像から、認識した物体までの距離を測定する機能を持つ撮像装置を示している。図２は、自車１から照射した検知ビーム２が看板３と、この看板から十分離れている先行車両６で反射する状態を示す。検知ビーム２は、まず、先行車両６で反射して受信波Ａが形成され、次いで看板３で反射して受信波Ｂが形成される。図３は、その後、看板３の下方に先行車両６が到達したときに受信波Ｃ１が看板３からのものと先行車両６からのものとが合成されていることを示している。合成波のピークは先行車両６と看板３の間の位置となるから、このときの距離測定装置により測定した距離Ｌ１は、撮像装置５で測定した距離Ｌ２よりも遠くなり、特許文献３の装置では、遠い方の距離Ｌ１が選択される。図４は、その後、看板３を先行車両６が通過した直後に受信波Ｃ２が看板３からのものと先行車両６からのものとが合成されていることを示している。合成波のピークは看板３と先行車両６との間の位置となるから、このときの距離測定装置により測定した距離Ｌ１は、撮像装置で測定した距離Ｌ２よりも近くなり、特許文献３の装置では、遠い方の距離Ｌ２が選択される。
【００１１】
特許文献３の装置では以上の動作により、実際には先行車両６の速度に変動がなくても、先行車両６が看板３の下方を通過し始めるときに、先行車両６までの測定距離が遠くなってしまう問題がある。また、特許文献３において、近い方の距離を選択するようにすると、今度は、先行車両６が看板３を通りすぎたときに、先行車両６までの測定距離が近くなってしまう問題がある。
【００１２】
このように、特許文献１、２では、大型トラックや路上構造物等と看板の区別が困難であり、また、特許文献３では、看板の下を通過する先行車両との距離測定に誤差を生じるという不都合があった。
【００１３】
本発明の目的は、路上にある道路標識等の看板を確実に識別して先行車両等の車線上の物体との距離測定が看板に影響されずに正しく行うことのできる車両用物体認識装置を提供することにある。
【課題を解決するための手段】
【００１４】
本発明の車両用物体認識装置は、
前方を電磁波のビームでスキャンし、そのビームの物体からの反射波に基づいて該物体までの距離Ｌ１と方位を測定する相対位置測定手段と、
前方の車線上を撮像し画像認識を行うとともに画像認識した車線上の物体までの距離Ｌ２を測定する撮像手段と、を備え、
前記相対位置測定手段は、前記距離Ｌ１と前記Ｌ２との差が下記の条件式（１）が満たされるとき、前記ビームの垂直方向の拡がり角度を一定の角度だけ狭くすることを特徴とする。
【００１５】
（１）Ｋ１＝＜｜Ｌ１−Ｌ２｜＜＝Ｋ２
但し、Ｋ１はゼロ又は予め定めた計測誤差
Ｋ２はＫ１よりも大きく、予め定めた値
上記構成において、撮像手段が距離Ｌ２を測定するには、カメラのレンズ光軸を路面に水平に設置して、カメラの高さ（Ｈ）、レンズの焦点距離（Ｆ）、物体の画像面でのｙ方向座標（ｙ０）から、
Ｌ２＝Ｆ・（Ｈ／ｙ０）−−−（Ａ）
で測定することができる。車線上に先行車両が走行していて、看板等が存在しないときには、このようにして測定した先行車両までの距離Ｌ２と、相対位置測定装置で測定した距離Ｌ１とは略等しい。しかし、ビームを使って距離測定を行う相対位置測定手段による測定距離Ｌ１の方が距離Ｌ２より精度が高い。そこで、看板と車両が離れているときには、車両までの距離については、距離Ｌ１を採用して、これに基づき自車の速度制御などを行う。
【００１６】
車両が車線上の看板の下を通過し始めると、図３のように相対位置測定手段による測定距離Ｌ１に誤差を生じてくる。そこでこの場合に、ビームの垂直方向の拡がり角度を一定の角度だけ狭くする制御を行う。一定の角度は、車線上に設けられている標準的な看板がビーム照射範囲に入らなくなるような角度である。このようにすることで、ビームが当たるのは前方の車線上にある先行車両(障害物も含む)だけとなるため、上記測定距離Ｌ１の看板に基づく誤差がなくなる。
【００１７】
このように、ビームの垂直方向の拡がり角度を一定の角度だけ狭くする制御を行うときの条件は、
（１）Ｋ１＝＜｜Ｌ１−Ｌ２｜＜＝Ｋ２
但し、Ｋ１はゼロ又は予め定めた計測誤差
Ｋ２はＫ１よりも大きく、予め定めた値
が満たされるときである。
【００１８】
Ｋ１は、相対位置測定装置による測定と撮像装置による測定の誤差であり、一般には前者の測定精度が後者よりも高い。Ｋ２は、図３に示すように、先行車両５が看板３の下方を通過するとき、又は図４に示すように、先行車両５が看板３の下方を通過したときに生じる距離Ｌ２の誤差よりも少し大きな値である。
【００１９】
先行車両５が図２→図３→図４のように移動するときを考えてみると、｜Ｌ１−Ｌ２｜の値は図２ではＫ１以下であり、図３、図４ではＫ２以下となり、その後再びＫ１以下となる。そこで、｜Ｌ１−Ｌ２｜＜＝Ｋ２の条件が満たされることを検出すると、先行車両５の上方に看板３が通過していると判断できるため、このとき、ビームを下に向けて、看板３を照射しないようにする。これにより、看板３による測定距離Ｌ１に誤差が生じないよう制御することができる。
【００２０】
上記式（１）が満たされるときに、撮像した先行車両の中心高さを向くようにビーム制御することで、看板３の影響をより一層なくすことができる。
【００２１】
ビームを下げた後、看板３の影響がなくなると、ビームを元の拡がり角度に戻すことが望ましい。ビームの上方への拡がり角度が狭いと路面が下降している場合に先行車両や障害物を照射できなくなる可能性があるからである。
【００２２】
路面の下降傾斜角度が大きいと、車線上の前方遠くにある看板が路面に接近してくる。このとき、看板に対する撮像手段での測定距離Ｌ２と相対位置測定手段での測定距離Ｌ１に大きな差がある。そこで、このような場合には、先行車両までの測定距離Ｌ１に誤差が生じることはないからビーム制御を行わない。
【発明の効果】
【００２３】
本発明によれば、路上にある道路標識等の看板によって先行車両等の車線上の物体との間の距離測定が影響されるのを防ぐことができる。
【発明を実施するための最良の形態】
【００２４】
図５は、本発明の実施形態である車両用物体認識装置が適用された自車と先行車両との関係を示す図である。
【００２５】
本実施形態の車両用物体認識装置は、近赤外レーザビーム（検知ビーム）２を前方に照射して反射物体との間の距離を測定し、また、ビーム方位情報に基づいて発射物体の相対位置を測定する近赤外光のレーザレーダ（以下、Ｌ／Ｒと称する）を含む相対位置測定装置７と、自車３の前方を撮像するカメラを含む撮像装置５を備えている。本実施形態では、カメラとして高ダイナミックレンジのＣＭＯＳカメラ（以下、ＨＤＲＣと称する）を用いる。ＨＤＲＣを用いることにより、路面が暗く周囲が極端に明るい場合や、トンネルを抜けるときなど、明るさのコントラストが非常に大きい場合でも、前方の画像を問題なく取得することが可能であるが、ＨＤＲＣに代えて、ＣＣＤカメラを使用しても良い。同図において、３は車線上に設置されている道路標識プレート等の看板、６は先行車両である。
【００２６】
相対位置測定装置７は、Ｌ／Ｒにより前方を検知ビーム２で１次元（水平方向）スキャン、又は２次元（水平方向と垂直方向）スキャンし、そのビームが物体で反射して戻ってくるまでの時間およびビーム方位（１次元スキャンでは水平方向。２次元スキャンでは水平・垂直方向）に基づいて前記物体の相対位置を測定する。また、検知ビーム２の垂直方向の拡がり角を制御することができる。垂直方向の拡がり角を制御することにより、ビーム２をビーム２′のように下方向に下げると、ビームが看板３にあたらなくなる。
【００２７】
前記ＨＤＲＣを含む撮像装置５は、図６に示すように、前方を適当な画角で撮像することができるように車内のルームミラー８近辺に設けられている。
【００２８】
図７は、撮像装置５により取得される車線４上の画像を示している。図示するように、取得画像には先行車両６と看板３が含まれている。
【００２９】
本実施形態では、相対位置測定装置７と撮像装置５の両方で距離を測定することが可能である。ここでは、相対位置測定装置７で測定する距離をＬ１、撮像装置５で測定する距離をＬ２とする。
【００３０】
なお、撮像装置５においては、図７に示す取得画像から次の計算により距離Ｌ２を測定することが可能である。
【００３１】
すなわち、撮像装置５のカメラのレンズ光軸を路面に水平に設置して、カメラの高さ（Ｈ）、レンズの焦点距離（Ｆ）、物体の画像面でのｙ方向座標（ｙ０）から、
Ｌ２＝Ｆ・（Ｈ／ｙ０）−−−（Ａ）
で測定することができる。ただし、相対位置測定装置７で測定する距離Ｌ１の方が、撮像装置５で測定する距離Ｌ２よりも精度が高い。
【００３２】
相対位置測定装置７と撮像装置５は車内に設けられている物体認識部（図示せず）に接続されている。
【００３３】
図８は、車両用物体認識装置の構成図である。
【００３４】
相対位置測定装置７は、Ｌ／Ｒ７０と相対位置測定部７１とで構成され、相対位置測定部７１からはビームが反射して戻ってきた物体までの距離情報と方位情報等が出力される。撮像装置５は、ＨＤＲＣ５０と画像処理部５１とで構成される。また、物体認識部９は、相対位置測定部７から得られる反射物体の方位情報と撮像装置５から得られる画像とのマッピングを行う座標変換部９０と、物体の認識を行う物体判定部９１とを備えている。
【００３５】
相対位置測定装置７の相対位置測定部７１と撮像装置５の画像処理部５１とは、物体認識部９を通して相互に情報の遣り取りを行う。
【００３６】
物体認識部９は、撮像装置５の画像認識結果と相対位置測定装置７からの情報に基づいて、相対位置測定装置７に対し、ビームの拡がり角を制御するためのビーム制御情報を出力する。
【００３７】
次に、図９、図１０を参照して上記車両用物体認識装置の動作を説明する。
【００３８】
Ｌ／Ｒ７０により前方の物体（障害物）までの距離Ｌ１と方位を測定し（ＳＴ１)、ＨＤＲＣ５０により前方の自車線上を撮像する（ＳＴ２）。撮像した画像中から自車線領域を抽出し（ＳＴ３）、同領域に存在する物体までの距離Ｌ２を測定する。なお、距離Ｌ２は、上記式（Ａ）により求める。
【００３９】
続いて、距離Ｌ１を測定できた物体の中から自車線上のものを選び（ＳＴ５）、物体までの距離Ｌを求める（ＳＴ６）。
【００４０】
以上の処理において、自車線上に先行車両があると、ＳＴ６で求められる物体までの距離Ｌは、先行車両までの距離となる。この距離は、車両制御部１０（図８参照）に送られ、自車１の速度制御等に利用される。また、自車線上に看板３があると、ＳＴ６では看板３までの距離となる。
【００４１】
ＳＴ６で距離が求められた後、検知ビーム２の上下拡がり角が狭くされてから一定時間経過したかどうかを判断し、経過していれば、ビーム設定を元のデフォルト値（通常の状態）に戻す。
【００４２】
図１０は、上記ＳＴ６の具体的な処理を示している。
【００４３】
Ｌ／Ｒ７０で検出した自車線上の全物体と撮像装置５で認識した自車線上の全物体との対応をとったかどうかを判定する（ＳＴ１０）。したがって、ＳＴ１１以下で、それぞれの物体の対応をとっていく。
【００４４】
自車線上の認識物体中から、｜Ｌ１−Ｌ２｜＜Ｋ１の条件を満たす物体を探す。Ｋ１は、Ｌ／Ｒ７０による距離測定と撮像装置５による距離測定の誤差であり、比較的小さな値である。この条件を満たす物体が見つかると、その物体を自車線上の物体として認識し、距離Ｌ１をその物体までの距離として選択する（ＳＴ１３）。したがって、自車線上に先行車両が走行していて看板がない場合は、その先行車両が認識され、距離がＬ１として選択される。また、自車線上に先行車両がなく看板だけがある場合は、その看板が認識され距離が、Ｌ１として選択される。自車線上に落下物などの障害物がある場合も同様である。
【００４５】
ＳＴ１１において、自車線上の認識物体中から、｜Ｌ１−Ｌ２｜＜Ｋ１の条件を満たす物体がなければ、自車線上の認識物体中から、｜Ｌ１−Ｌ２｜＜＝Ｋ２の条件を満たす物体を探す。Ｋ２はＫ１よりも大きく、且つ、図３に示すように、先行車両５が看板３の下方を通過するとき、又は図４に示すように、先行車両５が看板３の下方を通過したときに生じる距離Ｌ１の誤差よりも少し大きな値である。上記条件を満たす物体があれば、その物体を自車線上の物体として認識する。また、そのときの距離として、距離Ｌ２を選択する（ＳＴ１６）。さらに、検知ビーム２が認識物体の中心高さを向くように制御し（ＳＴ１７）、且つ、検知ビーム２の垂直方向の拡がり角を一定の角度だけ狭くするよう制御する（ＳＴ１８）。上記条件は、図２、図３に示すように看板３の下方を先行車両６が通過するときに成立するから、このとき、検知ビーム２が看板３にあたらないように、且つ先行車両６の中心高さを向くように制御することで、看板３の影響をなくして先行車両６までの距離を測定することができるようになる。なお、ＳＴ１４の段階では、距離Ｌ１は誤差が生じているために、距離Ｌ２が選択される（ＳＴ１６）ようにしているが、上記ＳＴ１７、ＳＴ１８で検知ビームを適切に制御していることから、ＳＴ１８の後に、先行車両６までの距離をＬ／Ｒ７０の検知ビーム２′で測定するようにしても良い。
【００４６】
図１１、図１２に示すように、路面が下方に大きく傾斜しているときには、Ｌ／Ｒ７０で測定した看板３までの距離Ｌ１と、撮像装置５で測定した看板３までの距離Ｌ２が大きく異なることになる。このような場合、もし、自車線４上に先行車両があると、Ｌ／Ｒ７０により測定される、先行車両までの距離Ｌ１と看板３までの距離Ｌ１は明白に異なる値となるが、一方では撮像装置５により測定される先行車両までの距離Ｌ２と看板３までの距離Ｌ２は同じ値となる。つまり、撮像装置５が看板３までの距離を誤って測定する。しかし、この場合は、ＳＴ１５で抜けるため、距離Ｌ１として認識された物体を道路上の物体として認識しない。
【００４７】
なお、図８では、撮像装置５と相対位置測定装置７と物体認識部９とを設けているが、物体認識部９の機能を相対位置測定装置７内又は撮像装置５内に設けることも可能である。さらに、撮像装置５内の画像処理部５１を物体認識部９内に設けたり、相対位置測定装置７内の相対位置測定部７１を物体認識部９内に設けることも可能である。これらは、設計仕様に従い任意に組み合わせることが可能である。
【００４８】
以上の処理により、自車線上に看板があった場合でも、先行車両や障害物までの距離を正しく把握することがきる。
【図面の簡単な説明】
【００４９】
【図１】検知ビーム２が看板３で反射している状態を示す図
【図２】検知ビーム２が先行車両６とこの先行車両６から十分離れている看板３で反射する状態を示す図
【図３】看板３の下方に先行車両６が到達したときに受信波Ｃ１が合成されることを示す図
【図４】看板３の下方を先行車両６が通過したときに受信波Ｃ２が合成されることを示す図
【図５】本発明の実施形態である車両用物体認識装置が適用された自車と先行車両との関係を示す図
【図６】撮像装置の取り付け位置を示す図
【図７】撮像画像を示す図
【図８】車両用物体認識装置の構成図
【図９】車両用物体認識装置の動作を示すフローチャート
【図１０】車両用物体認識装置の動作を示すフローチャート
【図１１】路面が下方傾斜しているときの車両と看板の位置関係を示す図
【図１２】路面が下方傾斜しているときの撮像画像を示す図
【符号の説明】
【００５０】
１−検知ビーム
３−看板
５−撮像装置
６−先行車両
７−相対位置測定装置
【技術分野】
【０００１】
本発明は、前方を電磁波のビームでスキャンすることにより前方に存在する物体の相対位置を認識する装置に関し、特に、車線上方に道路標示用プレート等（以下、看板と称する）がある場合の距離測定に誤差が生じないようにした車両用物体認識装置に関する。
【背景技術】
【０００２】
移動体、特に自動車においては、前方を電磁波を用いたレーダ（光学式、電波式を問わず）ビームでスキャンしビームが反射して帰ってくるまでの時間を計測することにより前方に存在する反射物体までの距離を測定する距離測定装置が採用されつつあり、その測定結果を車両制御等に利用できるようになってきている。例えば、前方の反射物体が車両であれば、測定結果を利用して車速制御に利用することが可能である。また、２次元ビームを使用することで発射物体への水平方向と垂直方向のビーム方位の検出も可能であり反射物体の２次元の相対位置を測定することが可能になる。
【０００３】
上記の装置では、車線上に看板がある場合、反射物体の距離が測定できたとしても、その物体が看板なのか車両なのか（あるいは道路上に落下した障害物なのか）を区別することができない。
【０００４】
この問題の対策として、特許文献１には、距離測定装置だけを用い、反射波の検出点数と反射物体の幅からその物体が看板か車両であるかを判断する方法が開示されている。
【０００５】
また、特許文献２には、距離測定装置と前方を撮像する撮像装置とを設け、撮像装置で検出した車線上に反射物体がある場合に、自車の走行が進んでいくときにその反射物体が消失するか否か（その物体からの反射波が消えるかどうか）を追跡し、反射物体が消失するとその物体が看板であると判断する方法が開示されている。
【０００６】
さらに、特許文献３においては、距離測定装置と前方を撮像する撮像装置とを設け、撮像装置にはさらに画像情報に基づいて車線上の物体までの距離を求める機能を設け、看板が先行車両と離れていれば、距離測定装置で測定した看板までの距離と撮像装置で測定した先行車両までの距離が大きく異なるため、看板と先行車両を区別することを可能にしている。また、距離測定装置と撮像装置おのおので測定した距離が一致した場合、又はそれらの距離の差が少しあっても両装置が共に同一物体としてみなされる場合は、遠い方の距離を車線上の物体までの距離とする方法が開示されている。
【特許文献１】特開２００３−１４８４４号
【特許文献２】特開２００２−３０３６７１号
【特許文献３】特開平８−１５６７２３号
【発明の開示】
【発明が解決しようとする課題】
【０００７】
しかしながら、上記特許文献１に示される装置は、反射物体が大型トラックであると、幅が看板と同じ程度であり、且つアルミバンとラックなど反射率が高いために検出点数が多くなり、看板との識別が困難になる問題がある。
【０００８】
また、特許文献２に示される装置においても、反射物体が大型トラックであると、看板の場合と同様な反射波が検出される可能性があり、また、鉄道の高架等比較的低い構造物なのでこのような構造物からの反射波が消えるまでにはある程度接近することが必要になり、看板であると判断するのが遅れてしまう問題がある。
【０００９】
また、特許文献３の装置では、先行車両が看板に接近してその後離れるまでの間において以下に示す不具合を発生する。
【００１０】
図１は、自車１から照射した検知ビーム２が看板３で反射している状態を示す。４は車線、５は前方を撮像し、撮像した画像から、認識した物体までの距離を測定する機能を持つ撮像装置を示している。図２は、自車１から照射した検知ビーム２が看板３と、この看板から十分離れている先行車両６で反射する状態を示す。検知ビーム２は、まず、先行車両６で反射して受信波Ａが形成され、次いで看板３で反射して受信波Ｂが形成される。図３は、その後、看板３の下方に先行車両６が到達したときに受信波Ｃ１が看板３からのものと先行車両６からのものとが合成されていることを示している。合成波のピークは先行車両６と看板３の間の位置となるから、このときの距離測定装置により測定した距離Ｌ１は、撮像装置５で測定した距離Ｌ２よりも遠くなり、特許文献３の装置では、遠い方の距離Ｌ１が選択される。図４は、その後、看板３を先行車両６が通過した直後に受信波Ｃ２が看板３からのものと先行車両６からのものとが合成されていることを示している。合成波のピークは看板３と先行車両６との間の位置となるから、このときの距離測定装置により測定した距離Ｌ１は、撮像装置で測定した距離Ｌ２よりも近くなり、特許文献３の装置では、遠い方の距離Ｌ２が選択される。
【００１１】
特許文献３の装置では以上の動作により、実際には先行車両６の速度に変動がなくても、先行車両６が看板３の下方を通過し始めるときに、先行車両６までの測定距離が遠くなってしまう問題がある。また、特許文献３において、近い方の距離を選択するようにすると、今度は、先行車両６が看板３を通りすぎたときに、先行車両６までの測定距離が近くなってしまう問題がある。
【００１２】
このように、特許文献１、２では、大型トラックや路上構造物等と看板の区別が困難であり、また、特許文献３では、看板の下を通過する先行車両との距離測定に誤差を生じるという不都合があった。
【００１３】
本発明の目的は、路上にある道路標識等の看板を確実に識別して先行車両等の車線上の物体との距離測定が看板に影響されずに正しく行うことのできる車両用物体認識装置を提供することにある。
【課題を解決するための手段】
【００１４】
本発明の車両用物体認識装置は、
前方を電磁波のビームでスキャンし、そのビームの物体からの反射波に基づいて該物体までの距離Ｌ１と方位を測定する相対位置測定手段と、
前方の車線上を撮像し画像認識を行うとともに画像認識した車線上の物体までの距離Ｌ２を測定する撮像手段と、を備え、
前記相対位置測定手段は、前記距離Ｌ１と前記Ｌ２との差が下記の条件式（１）が満たされるとき、前記ビームの垂直方向の拡がり角度を一定の角度だけ狭くすることを特徴とする。
【００１５】
（１）Ｋ１＝＜｜Ｌ１−Ｌ２｜＜＝Ｋ２
但し、Ｋ１はゼロ又は予め定めた計測誤差
Ｋ２はＫ１よりも大きく、予め定めた値
上記構成において、撮像手段が距離Ｌ２を測定するには、カメラのレンズ光軸を路面に水平に設置して、カメラの高さ（Ｈ）、レンズの焦点距離（Ｆ）、物体の画像面でのｙ方向座標（ｙ０）から、
Ｌ２＝Ｆ・（Ｈ／ｙ０）−−−（Ａ）
で測定することができる。車線上に先行車両が走行していて、看板等が存在しないときには、このようにして測定した先行車両までの距離Ｌ２と、相対位置測定装置で測定した距離Ｌ１とは略等しい。しかし、ビームを使って距離測定を行う相対位置測定手段による測定距離Ｌ１の方が距離Ｌ２より精度が高い。そこで、看板と車両が離れているときには、車両までの距離については、距離Ｌ１を採用して、これに基づき自車の速度制御などを行う。
【００１６】
車両が車線上の看板の下を通過し始めると、図３のように相対位置測定手段による測定距離Ｌ１に誤差を生じてくる。そこでこの場合に、ビームの垂直方向の拡がり角度を一定の角度だけ狭くする制御を行う。一定の角度は、車線上に設けられている標準的な看板がビーム照射範囲に入らなくなるような角度である。このようにすることで、ビームが当たるのは前方の車線上にある先行車両(障害物も含む)だけとなるため、上記測定距離Ｌ１の看板に基づく誤差がなくなる。
【００１７】
このように、ビームの垂直方向の拡がり角度を一定の角度だけ狭くする制御を行うときの条件は、
（１）Ｋ１＝＜｜Ｌ１−Ｌ２｜＜＝Ｋ２
但し、Ｋ１はゼロ又は予め定めた計測誤差
Ｋ２はＫ１よりも大きく、予め定めた値
が満たされるときである。
【００１８】
Ｋ１は、相対位置測定装置による測定と撮像装置による測定の誤差であり、一般には前者の測定精度が後者よりも高い。Ｋ２は、図３に示すように、先行車両５が看板３の下方を通過するとき、又は図４に示すように、先行車両５が看板３の下方を通過したときに生じる距離Ｌ２の誤差よりも少し大きな値である。
【００１９】
先行車両５が図２→図３→図４のように移動するときを考えてみると、｜Ｌ１−Ｌ２｜の値は図２ではＫ１以下であり、図３、図４ではＫ２以下となり、その後再びＫ１以下となる。そこで、｜Ｌ１−Ｌ２｜＜＝Ｋ２の条件が満たされることを検出すると、先行車両５の上方に看板３が通過していると判断できるため、このとき、ビームを下に向けて、看板３を照射しないようにする。これにより、看板３による測定距離Ｌ１に誤差が生じないよう制御することができる。
【００２０】
上記式（１）が満たされるときに、撮像した先行車両の中心高さを向くようにビーム制御することで、看板３の影響をより一層なくすことができる。
【００２１】
ビームを下げた後、看板３の影響がなくなると、ビームを元の拡がり角度に戻すことが望ましい。ビームの上方への拡がり角度が狭いと路面が下降している場合に先行車両や障害物を照射できなくなる可能性があるからである。
【００２２】
路面の下降傾斜角度が大きいと、車線上の前方遠くにある看板が路面に接近してくる。このとき、看板に対する撮像手段での測定距離Ｌ２と相対位置測定手段での測定距離Ｌ１に大きな差がある。そこで、このような場合には、先行車両までの測定距離Ｌ１に誤差が生じることはないからビーム制御を行わない。
【発明の効果】
【００２３】
本発明によれば、路上にある道路標識等の看板によって先行車両等の車線上の物体との間の距離測定が影響されるのを防ぐことができる。
【発明を実施するための最良の形態】
【００２４】
図５は、本発明の実施形態である車両用物体認識装置が適用された自車と先行車両との関係を示す図である。
【００２５】
本実施形態の車両用物体認識装置は、近赤外レーザビーム（検知ビーム）２を前方に照射して反射物体との間の距離を測定し、また、ビーム方位情報に基づいて発射物体の相対位置を測定する近赤外光のレーザレーダ（以下、Ｌ／Ｒと称する）を含む相対位置測定装置７と、自車３の前方を撮像するカメラを含む撮像装置５を備えている。本実施形態では、カメラとして高ダイナミックレンジのＣＭＯＳカメラ（以下、ＨＤＲＣと称する）を用いる。ＨＤＲＣを用いることにより、路面が暗く周囲が極端に明るい場合や、トンネルを抜けるときなど、明るさのコントラストが非常に大きい場合でも、前方の画像を問題なく取得することが可能であるが、ＨＤＲＣに代えて、ＣＣＤカメラを使用しても良い。同図において、３は車線上に設置されている道路標識プレート等の看板、６は先行車両である。
【００２６】
相対位置測定装置７は、Ｌ／Ｒにより前方を検知ビーム２で１次元（水平方向）スキャン、又は２次元（水平方向と垂直方向）スキャンし、そのビームが物体で反射して戻ってくるまでの時間およびビーム方位（１次元スキャンでは水平方向。２次元スキャンでは水平・垂直方向）に基づいて前記物体の相対位置を測定する。また、検知ビーム２の垂直方向の拡がり角を制御することができる。垂直方向の拡がり角を制御することにより、ビーム２をビーム２′のように下方向に下げると、ビームが看板３にあたらなくなる。
【００２７】
前記ＨＤＲＣを含む撮像装置５は、図６に示すように、前方を適当な画角で撮像することができるように車内のルームミラー８近辺に設けられている。
【００２８】
図７は、撮像装置５により取得される車線４上の画像を示している。図示するように、取得画像には先行車両６と看板３が含まれている。
【００２９】
本実施形態では、相対位置測定装置７と撮像装置５の両方で距離を測定することが可能である。ここでは、相対位置測定装置７で測定する距離をＬ１、撮像装置５で測定する距離をＬ２とする。
【００３０】
なお、撮像装置５においては、図７に示す取得画像から次の計算により距離Ｌ２を測定することが可能である。
【００３１】
すなわち、撮像装置５のカメラのレンズ光軸を路面に水平に設置して、カメラの高さ（Ｈ）、レンズの焦点距離（Ｆ）、物体の画像面でのｙ方向座標（ｙ０）から、
Ｌ２＝Ｆ・（Ｈ／ｙ０）−−−（Ａ）
で測定することができる。ただし、相対位置測定装置７で測定する距離Ｌ１の方が、撮像装置５で測定する距離Ｌ２よりも精度が高い。
【００３２】
相対位置測定装置７と撮像装置５は車内に設けられている物体認識部（図示せず）に接続されている。
【００３３】
図８は、車両用物体認識装置の構成図である。
【００３４】
相対位置測定装置７は、Ｌ／Ｒ７０と相対位置測定部７１とで構成され、相対位置測定部７１からはビームが反射して戻ってきた物体までの距離情報と方位情報等が出力される。撮像装置５は、ＨＤＲＣ５０と画像処理部５１とで構成される。また、物体認識部９は、相対位置測定部７から得られる反射物体の方位情報と撮像装置５から得られる画像とのマッピングを行う座標変換部９０と、物体の認識を行う物体判定部９１とを備えている。
【００３５】
相対位置測定装置７の相対位置測定部７１と撮像装置５の画像処理部５１とは、物体認識部９を通して相互に情報の遣り取りを行う。
【００３６】
物体認識部９は、撮像装置５の画像認識結果と相対位置測定装置７からの情報に基づいて、相対位置測定装置７に対し、ビームの拡がり角を制御するためのビーム制御情報を出力する。
【００３７】
次に、図９、図１０を参照して上記車両用物体認識装置の動作を説明する。
【００３８】
Ｌ／Ｒ７０により前方の物体（障害物）までの距離Ｌ１と方位を測定し（ＳＴ１)、ＨＤＲＣ５０により前方の自車線上を撮像する（ＳＴ２）。撮像した画像中から自車線領域を抽出し（ＳＴ３）、同領域に存在する物体までの距離Ｌ２を測定する。なお、距離Ｌ２は、上記式（Ａ）により求める。
【００３９】
続いて、距離Ｌ１を測定できた物体の中から自車線上のものを選び（ＳＴ５）、物体までの距離Ｌを求める（ＳＴ６）。
【００４０】
以上の処理において、自車線上に先行車両があると、ＳＴ６で求められる物体までの距離Ｌは、先行車両までの距離となる。この距離は、車両制御部１０（図８参照）に送られ、自車１の速度制御等に利用される。また、自車線上に看板３があると、ＳＴ６では看板３までの距離となる。
【００４１】
ＳＴ６で距離が求められた後、検知ビーム２の上下拡がり角が狭くされてから一定時間経過したかどうかを判断し、経過していれば、ビーム設定を元のデフォルト値（通常の状態）に戻す。
【００４２】
図１０は、上記ＳＴ６の具体的な処理を示している。
【００４３】
Ｌ／Ｒ７０で検出した自車線上の全物体と撮像装置５で認識した自車線上の全物体との対応をとったかどうかを判定する（ＳＴ１０）。したがって、ＳＴ１１以下で、それぞれの物体の対応をとっていく。
【００４４】
自車線上の認識物体中から、｜Ｌ１−Ｌ２｜＜Ｋ１の条件を満たす物体を探す。Ｋ１は、Ｌ／Ｒ７０による距離測定と撮像装置５による距離測定の誤差であり、比較的小さな値である。この条件を満たす物体が見つかると、その物体を自車線上の物体として認識し、距離Ｌ１をその物体までの距離として選択する（ＳＴ１３）。したがって、自車線上に先行車両が走行していて看板がない場合は、その先行車両が認識され、距離がＬ１として選択される。また、自車線上に先行車両がなく看板だけがある場合は、その看板が認識され距離が、Ｌ１として選択される。自車線上に落下物などの障害物がある場合も同様である。
【００４５】
ＳＴ１１において、自車線上の認識物体中から、｜Ｌ１−Ｌ２｜＜Ｋ１の条件を満たす物体がなければ、自車線上の認識物体中から、｜Ｌ１−Ｌ２｜＜＝Ｋ２の条件を満たす物体を探す。Ｋ２はＫ１よりも大きく、且つ、図３に示すように、先行車両５が看板３の下方を通過するとき、又は図４に示すように、先行車両５が看板３の下方を通過したときに生じる距離Ｌ１の誤差よりも少し大きな値である。上記条件を満たす物体があれば、その物体を自車線上の物体として認識する。また、そのときの距離として、距離Ｌ２を選択する（ＳＴ１６）。さらに、検知ビーム２が認識物体の中心高さを向くように制御し（ＳＴ１７）、且つ、検知ビーム２の垂直方向の拡がり角を一定の角度だけ狭くするよう制御する（ＳＴ１８）。上記条件は、図２、図３に示すように看板３の下方を先行車両６が通過するときに成立するから、このとき、検知ビーム２が看板３にあたらないように、且つ先行車両６の中心高さを向くように制御することで、看板３の影響をなくして先行車両６までの距離を測定することができるようになる。なお、ＳＴ１４の段階では、距離Ｌ１は誤差が生じているために、距離Ｌ２が選択される（ＳＴ１６）ようにしているが、上記ＳＴ１７、ＳＴ１８で検知ビームを適切に制御していることから、ＳＴ１８の後に、先行車両６までの距離をＬ／Ｒ７０の検知ビーム２′で測定するようにしても良い。
【００４６】
図１１、図１２に示すように、路面が下方に大きく傾斜しているときには、Ｌ／Ｒ７０で測定した看板３までの距離Ｌ１と、撮像装置５で測定した看板３までの距離Ｌ２が大きく異なることになる。このような場合、もし、自車線４上に先行車両があると、Ｌ／Ｒ７０により測定される、先行車両までの距離Ｌ１と看板３までの距離Ｌ１は明白に異なる値となるが、一方では撮像装置５により測定される先行車両までの距離Ｌ２と看板３までの距離Ｌ２は同じ値となる。つまり、撮像装置５が看板３までの距離を誤って測定する。しかし、この場合は、ＳＴ１５で抜けるため、距離Ｌ１として認識された物体を道路上の物体として認識しない。
【００４７】
なお、図８では、撮像装置５と相対位置測定装置７と物体認識部９とを設けているが、物体認識部９の機能を相対位置測定装置７内又は撮像装置５内に設けることも可能である。さらに、撮像装置５内の画像処理部５１を物体認識部９内に設けたり、相対位置測定装置７内の相対位置測定部７１を物体認識部９内に設けることも可能である。これらは、設計仕様に従い任意に組み合わせることが可能である。
【００４８】
以上の処理により、自車線上に看板があった場合でも、先行車両や障害物までの距離を正しく把握することがきる。
【図面の簡単な説明】
【００４９】
【図１】検知ビーム２が看板３で反射している状態を示す図
【図２】検知ビーム２が先行車両６とこの先行車両６から十分離れている看板３で反射する状態を示す図
【図３】看板３の下方に先行車両６が到達したときに受信波Ｃ１が合成されることを示す図
【図４】看板３の下方を先行車両６が通過したときに受信波Ｃ２が合成されることを示す図
【図５】本発明の実施形態である車両用物体認識装置が適用された自車と先行車両との関係を示す図
【図６】撮像装置の取り付け位置を示す図
【図７】撮像画像を示す図
【図８】車両用物体認識装置の構成図
【図９】車両用物体認識装置の動作を示すフローチャート
【図１０】車両用物体認識装置の動作を示すフローチャート
【図１１】路面が下方傾斜しているときの車両と看板の位置関係を示す図
【図１２】路面が下方傾斜しているときの撮像画像を示す図
【符号の説明】
【００５０】
１−検知ビーム
３−看板
５−撮像装置
６−先行車両
７−相対位置測定装置
【特許請求の範囲】
【請求項１】
前方を電磁波のビームでスキャンし、そのビームの物体からの反射波に基づいて該物体までの距離Ｌ１と方位を測定する相対位置測定手段と、
前方の車線上を撮像し画像認識を行うとともに画像認識した車線上の物体までの距離Ｌ２を測定する撮像手段と、を備え、
前記相対位置測定手段は、前記距離Ｌ１と前記距離Ｌ２との差が下記の条件式（１）が満たされるとき、前記ビームの垂直方向の拡がり角度を一定の角度だけ狭くすることを特徴とする車両用物体認識装置。
（１）Ｋ１＝＜｜Ｌ１−Ｌ２｜＜＝Ｋ２
但し、Ｋ１はゼロ又は予め定めた計測誤差
Ｋ２はＫ１よりも大きく、予め定めた値
【請求項２】
前記相対位置測定手段は、前記条件式（１）が満たされるとき、前記ビームが前記撮像手段で認識した車線上の物体中心高さを向くようにビーム制御を行うことを特徴とする請求項１記載の車両用物体認識装置。
【請求項３】
前記相対位置測定手段は、前記ビームの垂直方向の拡がり角度を一定の角度だけ狭くした後、一定時間が経過すると元の拡がり角度に戻すことを特徴とする請求項１または２記載の車両用物体認識装置。
【請求項１】
前方を電磁波のビームでスキャンし、そのビームの物体からの反射波に基づいて該物体までの距離Ｌ１と方位を測定する相対位置測定手段と、
前方の車線上を撮像し画像認識を行うとともに画像認識した車線上の物体までの距離Ｌ２を測定する撮像手段と、を備え、
前記相対位置測定手段は、前記距離Ｌ１と前記距離Ｌ２との差が下記の条件式（１）が満たされるとき、前記ビームの垂直方向の拡がり角度を一定の角度だけ狭くすることを特徴とする車両用物体認識装置。
（１）Ｋ１＝＜｜Ｌ１−Ｌ２｜＜＝Ｋ２
但し、Ｋ１はゼロ又は予め定めた計測誤差
Ｋ２はＫ１よりも大きく、予め定めた値
【請求項２】
前記相対位置測定手段は、前記条件式（１）が満たされるとき、前記ビームが前記撮像手段で認識した車線上の物体中心高さを向くようにビーム制御を行うことを特徴とする請求項１記載の車両用物体認識装置。
【請求項３】
前記相対位置測定手段は、前記ビームの垂直方向の拡がり角度を一定の角度だけ狭くした後、一定時間が経過すると元の拡がり角度に戻すことを特徴とする請求項１または２記載の車両用物体認識装置。
【図１】
【図２】
【図３】
【図４】
【図５】
【図６】
【図７】
【図８】
【図９】
【図１０】
【図１１】
【図１２】
【図２】
【図３】
【図４】
【図５】
【図６】
【図７】
【図８】
【図９】
【図１０】
【図１１】
【図１２】
【公開番号】特開２００６−２５８４９７（Ｐ２００６−２５８４９７Ａ）
【公開日】平成１８年９月２８日（２００６．９．２８）
【国際特許分類】
【出願番号】特願２００５−７３６８３（Ｐ２００５−７３６８３）
【出願日】平成１７年３月１５日（２００５．３．１５）
【出願人】（０００００２９４５）オムロン株式会社 (3,542)
【Ｆターム（参考）】
【公開日】平成１８年９月２８日（２００６．９．２８）
【国際特許分類】
【出願日】平成１７年３月１５日（２００５．３．１５）
【出願人】（０００００２９４５）オムロン株式会社 (3,542)
【Ｆターム（参考）】
[ Back to top ]