撮像手段の調整装置および車外監視装置
【課題】自車両や先行車両がトンネル内を走行中もトンネル退出後も撮像手段に対して適切に強制的な露光量等の調整を行うことが可能な撮像手段の調整装置および車外監視装置を提供する。
【解決手段】撮像手段の調整装置10は、自車両Aがトンネル内を走行中であることを検出するトンネル内走行検出手段12と、撮像手段2による撮像画像T上に設定された監視領域Rに属する画素の輝度に基づいて当該監視領域Rの明るさを検出する明るさ検出手段13と、監視領域Rの明るさに基づいて撮像手段2の露光量と撮像手段2から出力される画素の輝度との少なくとも一方の調整を行う調整手段14とを備え、調整手段14は、トンネル内走行検出手段12により自車両がトンネル内を走行中であることが検出されている間は、監視領域Rの明るさに代えて、監視領域Rに属する画素の輝度のうち所定の第1輝度pth1以上の輝度を除外した輝度分布に基づいて調整を行う。
【解決手段】撮像手段の調整装置10は、自車両Aがトンネル内を走行中であることを検出するトンネル内走行検出手段12と、撮像手段2による撮像画像T上に設定された監視領域Rに属する画素の輝度に基づいて当該監視領域Rの明るさを検出する明るさ検出手段13と、監視領域Rの明るさに基づいて撮像手段2の露光量と撮像手段2から出力される画素の輝度との少なくとも一方の調整を行う調整手段14とを備え、調整手段14は、トンネル内走行検出手段12により自車両がトンネル内を走行中であることが検出されている間は、監視領域Rの明るさに代えて、監視領域Rに属する画素の輝度のうち所定の第1輝度pth1以上の輝度を除外した輝度分布に基づいて調整を行う。
【発明の詳細な説明】
【技術分野】
【0001】
本発明は、撮像手段の調整装置および車外監視装置に係り、特に、自車両の周囲を撮像する撮像手段の露光量等を調整可能な撮像手段の調整装置およびそれを用いた車外監視装置に関する。
【背景技術】
【0002】
近年、乗用車等の車両の周囲に存在する物体をCCD(Charge Coupled Device)カメラ等の撮像手段で撮像した画像の画像解析等により検出する技術の開発が進められている(例えば特許文献1等参照)。これらの技術は、例えば検出した物体との衝突の可能性を判断し、警報を鳴らしてドライバの注意を喚起したり衝突を回避するように自動操舵や自動制動制御等を行う車両の安全走行のための技術等に応用される。
【0003】
このような物体の検出では、先行車両や対向車両、道路上の歩行者や道路わきに停車している停車車両等の障害物等を的確に検出することが重要となる。また、検出した障害物等に対してはそれとの衝突を回避する衝突回避制御が行われるが、先行車両に対しては、先行車両が信号待ち等で停止した場合に障害物としてその横を通過するのではなく、先行車両の後方で自車両を適切に停車させなければならない。このように、先行車両に対しては他の障害物に対する場合とは異なる制御が要求されるため、先行車両の検出は特に的確に行われる必要がある。
【0004】
撮像手段で撮像した画像中からこれらの物体、特に先行車両を的確に検出するには、カメラの露光調整等を適切に行って物体を検出し得る画像が撮像されなければならない。CCDカメラ等の撮像手段は、通常、このような適切な露光調整等を撮像画像全体の明るさに基づいて自動的に行う機能を有している。
【0005】
しかし、先行車両がトンネルから退出する際などのように、撮像手段により撮像されている環境が明るいところと暗いところとが共に存在する環境である場合、すなわち、例えば自車両も先行車両もトンネル内にいるが、先行車両がトンネルの出口付近にいて、トンネル内部は暗くトンネルの外側は明るいような場合には、図24に示すように先行車両Vahが見えにくくなる。なお、図24の撮像画像Tでは、トンネル内部の側壁も白く光って撮像されている。
【0006】
この状態では、通常、トンネルの外側の強い白い光のためにCCDカメラ等の自動露光調整によりシャッタスピードを速くしたりアイリスを絞るなどされて、撮像手段の露光量を少なくし、撮像画像T全体の画素の輝度を低下させる調整が行われる。そのため、先行車両Vahの背面が黒く撮像されて、本来その背面に撮像されるべき窓ガラスやバンパやナンバープレート等の構造が見えなくなる。
【0007】
そのため、例えばこのような撮像画像を用いてステレオマッチングを行ってもマッチングがうまく行われずに先行車両Vahの検出ができなくなったり、或いは、先行車両Vahの背面の左右端部分のみでマッチングが成立してそれ以外の部分では成立せず、図25に示すように先行車両Vahの左右端部分がそれぞれ別の物体Sa、Sbとして検出されてしまい、先行車両Vahを見失ってしまう現象が生じたりする。
【0008】
逆に、トンネル内の先行車両Vahの背面の窓ガラスやバンパやナンバープレート等の構造が見える程度にアイリスを開放させるなどして、撮像手段の露光量を少なくしたり撮像画像T全体の画素の輝度を上昇させる等の調整を強制的に行うと、今度は、図26に示すように、先行車両Vahがトンネルの外に出た瞬間やトンネル出口付近の外光が差し込む部分に差し掛かった瞬間に、先行車両Vahが白く眩しく見えてしまう。なお、図26では、トンネルの側壁や天井部分も白く光って撮像されている。
【0009】
この場合、撮像画像T上の先行車両Vahの部分の輝度がほとんど飽和し、同じく輝度が飽和して撮像されるトンネル外側の空間との境界が不鮮明になり、先行車両Vahが見えにくくなり或いはほとんど見えなくなってしまうという問題があった。この場合も先行車両Vahを検出できなくなる。
【0010】
このような課題を解決するため、特許文献2では、先行車両自体の明るさを監視し、それに基づいて撮像手段のアイリス調整を行うことが提案されている。また、特許文献3では、トンネルを検出した場合に車線(区画線等の白線)を検出できるように撮像手段の露光量を制御することが提案されている。
【特許文献1】特開平7−225892号公報
【特許文献2】特開平7−81459号公報
【特許文献3】特開平11−205663号公報
【発明の開示】
【発明が解決しようとする課題】
【0011】
しかしながら、特許文献2に記載の装置では、先行車両のみを監視しているため、先行車両以外の他の車両等が適切に検出できなくなる場合があり、また、先行車両自体の色によって撮像手段のアイリス調整の度合が変化する。すなわち、先行車両の色が白色系の色であればアイリスを絞るように調整されるため撮像画像全体が暗くなり、先行車両の色が濃色系であればアイリスを開放するように調整されるため撮像画像全体が明るくなるというように、先行車両自体の色によって撮像画像の明るさが変わってしまう。
【0012】
この現象の発生を回避するためには、撮像手段のアイリス調整等を含む露光量の調整や撮像画像の画素の輝度調整は、基本的に先行車両を含む或いは含まないより広い画素範囲の輝度等に基づいて行われることが望ましい。
【0013】
また、特許文献3に記載の装置では、トンネルに進入した後も車線を検出することが可能であるが、図26に示したようなトンネル出口付近で先行車両の輝度がほとんど飽和して先行車両が検出できなくなる現象が生じることを回避することは難しい。
【0014】
このように、撮像手段の自動露光調整に任せていると、図24に示したようにトンネル出口付近のトンネル内の先行車両Vahが黒く暗く撮像されて検出されなくなる場合があるため、先行車両Vahを的確に検出するためには、強制的に撮像手段の露光量調整や撮像画像の輝度調整を行うことが必要となる。
【0015】
しかし、単にアイリスを開放するだけでは、図26に示したように、先行車両Vahがトンネル出口付近の外光が差し込む部分に差し掛かり、先行車両Vahの輝度がほとんど飽和した後も、自車両がトンネル内にいる限りアイリスが絞られた状態が維持されてしまうため、先行車両Vahを見失ってしまう。
【0016】
本発明は、このような事情に鑑みてなされたものであり、自車両や先行車両がトンネル内を走行中もトンネル退出後も撮像手段に対して適切に強制的な露光量等の調整を行うことが可能な撮像手段の調整装置およびそれを用いて先行車両等を的確に検出することが可能な車外監視装置を提供することを目的とする。
【課題を解決するための手段】
【0017】
前記の問題を解決するために、第1の発明は、撮像手段の調整装置において、
自車両がトンネル内を走行中であることを検出するトンネル内走行検出手段と、
撮像手段により撮像された撮像画像上に設定された監視領域に属する画素の輝度に基づいて当該監視領域の明るさを検出する明るさ検出手段と、
前記監視領域の明るさに基づいて前記撮像手段の露光量と前記撮像手段から出力される画素の輝度との少なくとも一方の調整を行う調整手段と、を備え、
前記調整手段は、前記トンネル内走行検出手段により自車両がトンネル内を走行中であることが検出されている間は、前記監視領域の明るさに代えて、前記監視領域に属する画素の輝度のうち所定の第1輝度以上の輝度を除外した輝度分布に基づいて前記調整を行うことを特徴とする。
【0018】
第2の発明は、第1の発明の撮像手段の調整装置において、前記トンネル内走行検出手段は、前記撮像手段の露光量の調整の度合に基づいて、自車両がトンネル内を走行中であることを検出することを特徴とする。
【0019】
第3の発明は、第1または第2の発明の撮像手段の調整装置において、
前記監視領域は、前記撮像画像上で道路面が撮像される下方監視領域と、前記撮像画像上で当該下方監視領域の上方に設定される上方監視領域とよりなり、
前記調整手段は、前記トンネル内走行検出手段により自車両がトンネル内を走行中であることが検出されている間は、前記監視領域の明るさに代えて、前記上方監視領域について前記上方監視領域に属する画素の輝度のうち前記第1輝度以上の輝度を除外した輝度分布を求め、前記上方監視領域における当該輝度分布と前記下方監視領域における全輝度分布とをあわせた輝度分布に基づいて前記調整を行うことを特徴とする。
【0020】
第4の発明は、第3の発明の撮像手段の調整装置において、前記明るさ検出手段は、前記上方監視領域および前記下方監視領域にそれぞれ属する各画素の輝度についてそれぞれ前記第1輝度以上の輝度を除外しない全輝度分布を検出することを特徴とする。
【0021】
第5の発明は、第3または第4の発明の撮像手段の調整装置において、前記上方監視領域は、前記撮像画像上でトンネルの出口が撮像される画像部分に設定されることを特徴とする。
【0022】
第6の発明は、第3から第5のいずれかの発明の撮像手段の調整装置において、前記調整手段は、前記トンネル内走行検出手段により自車両がトンネル内を走行中であることが検出されている間に、前記上方監視領域に属する画素の輝度のうち所定の第2輝度以上の輝度を有する画素が所定個数以上存在する場合に、自車両がトンネルの出口付近を走行中であることを検出することを特徴とする。
【0023】
第7の発明は、第6の発明の撮像手段の調整装置において、前記調整手段は、自車両がトンネルの出口付近を走行中であることを検出すると、データを更新する際に加算割合により重み付け加算して行う平滑化フィルタ処理における今回検出したデータの加算割合を低下させることを特徴とする。
【0024】
第8の発明は、第1から第7のいずれかの発明の撮像手段の調整装置において、
前記撮像画像中から自車両の前方を走行する先行車両を検出する先行車両検出手段をさらに備え、
前記調整手段は、検出された前記先行車両が撮像されている前記撮像画像中の検出領域に属する画素の輝度に基づいて前記トンネル内走行検出手段により自車両がトンネル内を走行中であることが検出されている間に行う前記調整を解除し、前記監視領域の明るさに基づく前記調整を行うことを特徴とする。
【0025】
第9の発明は、第8の発明の撮像手段の調整装置において、前記調整手段は、検出された前記先行車両が撮像されている前記撮像画像中の検出領域に属する画素の輝度の平均値が所定の閾値以上になった場合に、前記トンネル内走行検出手段により自車両がトンネル内を走行中であることが検出されている間であっても、その間に行う前記調整を解除することを特徴とする。
【0026】
第10の発明は、車外監視装置において、
自車両の周囲を撮像する撮像手段と、
第1から第9のいずれかの発明の撮像手段の調整装置と、を備え、
前記撮像手段の調整装置により前記撮像手段の露光量と前記撮像手段から出力される画素の輝度の少なくとも一方の調整が行われる前記撮像手段により撮像された画像中から物体を検出して車外を監視することを特徴とする。
【発明の効果】
【0027】
第1の発明によれば、自車両がトンネル内を走行中であることを的確に把握したうえで、自車両がトンネル内を走行している状態でトンネルの出口に接近した場合に、トンネルの外側の外光が撮像されて撮像画像上に生じる高輝度の輝度分布を除外した輝度分布を形成し、それに基づいて、すなわち外光による高輝度の画素をいわば無視して、トンネル内部が撮像されている低輝度の画素にあわせて撮像手段の露光量や撮像手段から出力される画素の輝度を強制的に調整する。
【0028】
そのため、トンネル内の暗さにあわせて撮像手段の露光量を多くし或いは撮像手段から出力される画素の輝度を大きくするように調整されるため、自車両や先行車両がトンネル内を走行中もトンネル退出後も撮像手段に対して適切に強制的な露光量等の調整を行うことが可能となる。また、それにより、トンネルの出口付近にいる先行車両の輝度が高くなり、その前方に強い外光が存在しても先行車両の背面の窓ガラスやバンパやナンバープレート等の構造が見えるようになるため、撮像手段により撮像された画像に対するステレオマッチング処理を有効に行うことが可能となり、先行車両を的確に検出することが可能となる。
【0029】
第2の発明によれば、図24や図26に示したトンネル出口付近における先行車両の不検出の問題は、トンネルの外側での日差しが強い場合に特に生じ易いため、撮像手段の露光量の現在の調整の度合に基づいて、自車両が例えば通常の走行状態であるか、強い日差しの下で走行中か、トンネル内を走行中であるかを的確に検出し、自車両が強い日差しの下で走行中の状態からトンネル内に入ったことを的確に検出した上で上記の本発明に特有の調整を作動させたり解除させたりすることが可能となり、前記発明の効果がより的確に発揮される。
【0030】
第3および第5の発明によれば、前述したように、本発明では、トンネルの外側の外光が撮像されて撮像画像上に生じる高輝度の輝度分布を除外した輝度分布を形成し、外光による高輝度の画素をいわば無視して、トンネル内部が撮像されている低輝度の画素にあわせて撮像手段の露光量や撮像手段から出力される画素の輝度を強制的に調整する。その際、撮像画像上の監視領域を、道路面が撮像される下方監視領域とトンネルの出口が撮像される上方監視領域とに分け、上方監視領域に属する各画素の輝度分布から輝度分布を除外した輝度分布を形成することで、トンネルの出口から差し込む外光を的確に除外することが可能となり、前記各発明の効果がより的確に発揮される。
【0031】
第4の発明によれば、明るさ検出手段で上方監視領域および下方監視領域についてそれぞれ第1輝度以上の輝度を除外しない各輝度分布を検出するように構成することで、調整手段が上方監視領域の輝度分布から第1輝度以上の輝度を容易に除外することが可能となるとともに、上記の本発明に特有の調整を解除した場合に容易に第1輝度以上の輝度を除外しない監視領域の全画素に対する全輝度分布に基づいて調整を行うことが可能となり、前記各発明の効果がより的確に発揮される。
【0032】
第6および第7の発明によれば、前記各発明によりトンネル退出時前後の先行車両を的確に検出できるようになるが、トンネル外側の外光の影響を完全に遮断することは難しく、例えば検出された先行車両の自車両との距離の情報は信頼性が必ずしも高いとは言えない。そのため、前記各発明の効果に加え、自車両がトンネルの出口付近を走行中であることを検出し、その間に得られたデータに基づいて平滑化フィルタ処理によりデータの平滑化を行う際に、今回検出したデータの加算割合を低下させることで、データの信頼性を低下させずに維持することが可能となる。
【0033】
第8の発明によれば、先行車両がトンネルを退出した瞬間に先行車両の検出領域に属する各画素の輝度の平均値が一挙に大きくなって所定の閾値を越えた場合には、先行車両の検出領域に属する各画素の輝度に基づいて上記の本発明に特有の調整を解除して監視領域全体の明るさに基づく通常の調整に戻す。それにより、それまでトンネル内の暗さにあわせて撮像手段の露光量を多くし或いは撮像手段から出力される画素の輝度を大きくするように調整されていたが、今度は、トンネル外側の外光もすべて踏まえて調整が行われるため、撮像手段の露光量を少なくし或いは撮像手段から出力される画素の輝度を小さくするように調整される。
【0034】
そのため、先行車両の検出領域の輝度が下がり、白く眩しく撮像されていた先行車両の背面の窓ガラスやバンパやナンバープレート等の構造も見えるようになる。このように、前記発明の効果に加え、先行車両のトンネル退出時に先行車両の輝度が瞬間的に大きくなる場合にも先行車両の輝度を的確に低下させることが可能となるため、ステレオマッチング処理を有効に行うことが可能となり、トンネルを退出した先行車両を的確に検出することが可能となる。
【0035】
第9の発明によれば、先行車両の検出領域に属する画素の輝度の平均値が所定の閾値以上になった場合に前記の本発明に特有の調整を解除することで、本発明に特有の調整を解除する基準が明確になり、前記各発明の効果がより的確に発揮される。
【0036】
第10の発明によれば、上記の各発明の撮像手段の調整装置により自車両や先行車両がトンネル内を走行中もトンネル退出後も撮像手段に対して適切に強制的な露光量等の調整が行われるため、例えばトンネルの出口付近にいる先行車両の輝度を高くし、その前方に強い外光が存在しても先行車両の背面の窓ガラスやバンパやナンバープレート等の構造が見えるように調整されるため、撮像手段により撮像された画像に対するステレオマッチング処理を有効に行うことが可能となり、撮像画像中から的確に物体を検出して自車両の車外を的確に監視することが可能となる。
【発明を実施するための最良の形態】
【0037】
以下、本発明に係る撮像手段の調整装置および車外監視装置の実施の形態について、図面を参照して説明する。
【0038】
なお、本実施形態では、撮像手段2として2台のカメラを用いてステレオ撮像を行う形態が示されるが、撮像手段を例えば単数のカメラや3台以上のカメラ等で構成することも可能である。また、本実施形態における後述する先行車両検出手段11は、撮像された画像中から先行車両を検出できるものであればよく、本実施形態の構成に限定されない。
【0039】
本実施形態に係る車外監視装置1は、図1に示すように、主に、撮像手段2や変換手段3、画像処理手段6等で構成される位置情報収集手段9と、撮像手段2の調整装置である処理手段10とで構成されている。
【0040】
位置情報収集手段9は、自車両の周囲を撮像する撮像手段2を含み、自車両の周囲の物体を撮像するとともに、自車両からそれらの物体までの距離を含む物体の実空間上の位置の情報を収集するようになっている。本実施形態では、位置情報収集手段9は、本願出願人により先に提出された特開平5−114099号公報、特開平5−265547号公報、特開平6−266828号公報、特開平10−283461号公報、特開平10−283477号公報、特開2006−72495号公報等に記載された車外監視装置等をベースに構成されている。以下、簡単に説明する。
【0041】
位置情報収集手段9は、図1に示すように、車幅方向に一定の距離をあけて配置された一対のメインカメラ2aおよびサブカメラ2bからなる撮像手段2で自車両の周囲を撮像して得られた一対の撮像画像を変換手段3であるA/Dコンバータ3a、3bでそれぞれデジタル画像に変換し、画像補正部4でずれやノイズの除去、輝度値の補正等の画像補正を行って、画像データメモリ5に格納するとともに、処理手段10に送信するようになっている。
【0042】
本実施形態では、メインカメラ2aおよびサブカメラ2bとして2台のCCDカメラが備えられており、CCDカメラに通常備えられる機能として、自車両の周囲の明るさを自ら判断して適切な露光を得るための露光調整を自動的に行うように構成されている。ここで、本実施形態における露光調整には、少なくともシャッタ時間調整やアンプゲイン切り替え、LUT(Look Up Table)の選択やそれによる輝度値変換などが含まれ、それらが総合的に調整されるようになっている。
【0043】
なお、本実施形態で用いられるCCDカメラはアイリスを備えないためアイリス絞り調整については述べないが、撮像手段2がアイリス等の露光調整を行うための他の機能を備える場合には、それらも含めて総合的に最適な露光を得るための自動的な露光調整が行われる。
【0044】
また、撮像手段2の自動的な露光調整のレベル、または後述するように調整手段14から指示に基づいていわば強制的に調整が行われた場合にはそれによる露光調整のレベルが、撮像手段2の露光量の調整の度合を表すシャッタレベルSLとして、後述する処理手段10に送信されるようになっている。
【0045】
一方、画像補正が行われた一対の撮像画像は、画像処理手段6に送られて、イメージプロセッサ7で、メインカメラ2aで撮像した図2に例示される撮像画像(以下、基準画像Tという。)が複数の画素ブロックに分割され、各画素ブロックについてそれぞれサブカメラ2bで撮像した撮像画像の対応する画素ブロックがステレオマッチング処理により見出され、各画素ブロックごとに視差が算出される。この視差の算出については、前記各公報に詳述されている。
【0046】
この視差と実空間上の位置とは三角測量の原理に基づいて対応付けることができ、具体的には、視差をdp、画素ブロックの基準画像T上の座標を(i,j)とし、実空間上で、メインカメラ2aおよびサブカメラ2bの中央真下の道路面上の点を原点とし、自車両の車幅方向すなわち左右方向にX軸、車高方向にY軸、車長方向すなわち距離方向にZ軸を取ると、実空間上の点(X,Y,Z)と、視差dpと画素ブロックの基準画像T上の座標(i,j)との関係は、
X=CD/2+Z×PW×(i−IV) …(1)
Y=CH+Z×PW×(j−JV) …(2)
Z=CD/(PW×(dp−DP)) …(3)
で表すことができる。
【0047】
ここで、CDはメインカメラ2aとサブカメラ2bとの間隔、PWは1画素当たりの視野角、CHはメインカメラ2aとサブカメラ2bの取り付け高さ、IVおよびJVは自車両正面の無限遠点のi座標およびj座標、DPは消失点視差とも呼ばれるオフセット量を表す。
【0048】
画像処理手段6は、基準画像Tの各画素ブロックに視差dpを割り当てて距離データメモリ8に格納するとともに、それらの視差dpの情報を処理手段10に送信するようになっている。なお、以下、基準画像の各画素ブロックに視差dpが割り当てられて形成された画像を距離画像Tzという。距離画像Tzは、図3に示すように各画素ブロックに視差dpが割り当てられた画像状のデータである。
【0049】
なお、本実施形態の他にも、自車両と先行車両との距離Zの測定については、例えば自車両前方にレーザ光や赤外線等を照射してその反射光の情報に基づいて物体までの距離Zを測定するレーダ装置等で構成することも可能であり、物体の位置情報の収集の手法は特定の手法に限定されない。
【0050】
処理手段10(図1参照)は、図示しないCPUやROM、RAM、入出力インターフェース等がバスに接続されて構成されるコンピュータに構成されている。また、処理手段10には、車速センサやヨーレートセンサ、ステアリングホイールの舵角を測定する舵角センサ等のセンサ類Qが接続されている。なお、ヨーレートセンサの代わりに自車両の車速等からヨーレートを推定する装置等を用いることも可能である。
【0051】
処理手段10は、本実施形態における撮像手段2の調整装置であり、トンネル内走行検出手段12と、明るさ検出手段13と、調整手段14とを備えており、さらに図示しないメモリを備えている。また、本実施形態では、処理手段10は、先行車両検出手段11を備えている。さらに、処理手段10の各手段には、センサ類Qから必要なデータが入力されるようになっている。
【0052】
まず、先行車両検出手段11について説明する。先行車両検出手段11は、撮像手段2により撮像された基準画像T中から物体を検出するようになっており、検出した物体の中から先行車両を検出するようになっている。このように、本実施形態では、先行車両検出手段11は基準画像T中から自車両の周囲に存在する物体を検出する物体検出手段をも兼ねており、先行車両検出手段11が検出した先行車両や物体の情報は、車外監視装置1から出力されて、他の装置で利用されるようになっている。
【0053】
本実施形態では、先行車両検出手段11における基準画像T中からの物体検出処理は、前記各公報に記載された車外監視装置等をベースに構成されている。以下、簡単に説明する。
【0054】
先行車両検出手段11は、物体検出処理において、図3に示した距離画像Tzを図示しない所定幅の縦方向の短冊状の区分に分割し、各区分ごとに各区分に含まれる視差dpのうち道路面より上方に存在する視差dpに関するヒストグラムをそれぞれ設けて、その最頻値をその区分の視差dpとする。これを全区分についてそれぞれ行う。このように、本実施形態では、道路面より上方に存在する物体のみが検出されるが、車線等の道路面の標示を同時に検出し、あるいは別途検出するように構成することも可能である。
【0055】
そして、先行車両検出手段11は、各区分の視差dpに基づいて前記(1)〜(3)式から物体の実空間上の座標(X,Y,Z)を算出するようになっている。算出された物体の座標を実空間上にプロットすると、各物体の座標は図4に示すように前方の物体の自車両Aに面した部分に対応する部分に多少ばらつきを持って各点としてプロットされる。
【0056】
先行車両検出手段11は、このようにプロットされる各点について、実空間上の各点の隣接する点とのX軸方向の距離やZ軸方向の距離、グループ化した場合の左端の点から右端の点までのX軸方向の全長等を検索しながら、それらの値がそれぞれ設定された閾値以内である点をそれぞれグループにまとめ、図5に示すようにそれぞれのグループ内の各点を直線近似して物体を検出するようになっている。
【0057】
また、本実施形態では、先行車両検出手段11は、このようにして検出した各物体を図6に示すように基準画像T上で矩形状の枠線で包囲するようにして検出するようになっている。なお、図5や図6において、ラベルOやラベルSは物体の自車両Aに対向する面の種別を表し、ラベルOは物体の背面、ラベルSは物体の側面が検出されていることを表す。
【0058】
続いて、先行車両検出手段11は、先行車両検出においては、まず、図7に示すように自車両Aの挙動に基づいて自車両Aが今後進行するであろう軌跡を走行軌跡Lestとして推定し、その走行軌跡Lestを中心とする自車両Aの車幅分の領域を自車両Aの進行路Restとして算出するようになっている。自車両Aの走行軌跡Lestは、自車両Aの車速Vやヨーレートγ、ステアリングホイールの舵角δ等に基づいて下記(4)式または下記(5)、(6)式に従って算出される自車両Aの旋回曲率Cuaに基づいて算出することができる。なお、下記の各式におけるReは旋回半径、Asfは車両のスタビリティファクタ、Lwbはホイールベースである。
Cua=γ/V …(4)
Re=(1+Asf・V2)・(Lwb/δ) …(5)
Cua=1/Re …(6)
【0059】
そして、先行車両検出手段11は、自車両Aの進行路Rest上に存在する物体の中で自車両Aに最も近接する物体を自車両Aの前方を走行する先行車両として検出するようになっている。例えば図6や図7では、車両O3が先行車両Vahとして検出される。
【0060】
なお、本実施形態では、先行車両検出手段11は、前回のサンプリング周期で検出した先行車両と今回のサンプリング周期で先行車両として検出した物体とが同一の立体物である確率を算出するなどして、整合性を保ちながら先行車両を追跡するようになっている。また、先行車両検出手段11は、検出した先行車両が自車両の前方から離脱してさらにその前方の車両が新たに先行車両となったり、自車両と先行車両との間に他の車両が割り込んできて当該他の車両が新たな先行車両となることによる先行車両の交替を検出できるようになっている。
【0061】
トンネル内走行検出手段12(図1参照)は、自車両がトンネル内を走行中であることを検出するようになっている。本実施形態では、トンネル内走行検出手段12は、まず、撮像手段2から送信されてくる撮像手段2の露光量の調整の度合を表すシャッタレベルSLの値を監視し、撮像手段2のシャッタレベルSLの値等に基づいて、自車両がどのような環境の下で走行しているかを判定するようになっている。
【0062】
具体的には、本実施形態では、トンネル内走行検出手段12は、自車両の走行状態を、図8に示すような「通常状態」、「強い日差し状態」および「トンネル内走行状態」の3つの状態のいずれかの状態として把握するようになっている。そして、自車両の走行状態が通常の走行状態にある場合には「通常状態」にあるとしてフラグFを0にセットする。
【0063】
また、自車両の走行状態が「通常状態」(F=0)にある状態で、シャッタレベルSLが所定の閾値以上の高い状態が所定時間以上連続した場合には、トンネル内走行検出手段12は、自車両の走行状態を、強い日差しの中を走行している状態である「強い日差し状態」に遷移させてフラグFを1にセットする(図8の矢印I参照)。この状態で、シャッタレベルSLが前記閾値を下回る状態が続いた場合には、自車両の走行状態は「強い日差し状態」(F=1)から「通常状態」(F=0)に遷移されてフラグFが切り換えられる(図8の矢印II参照)。
【0064】
また、自車両の走行状態が「強い日差し状態」(F=1)にある状態で、シャッタレベルSLが前記閾値よりも低い値に設定された別の閾値以下の状態、すなわち強い日差しの中を走行していた状態から急に暗い環境の中を走行する状態になった場合には、トンネル内走行検出手段12は、自車両がトンネル内に進入したと判定して、自車両の走行状態を「トンネル内走行状態」に遷移させてフラグFを2にセットする(図8の矢印III参照)。この状態で、シャッタレベルSLが先の高い値の方の閾値以上の状態が続いた場合には、トンネル内走行検出手段12は、自車両がトンネルから退出したと判定して、自車両の走行状態を「トンネル内走行状態」(F=2)から「強い日差し状態」(F=1)に遷移させてフラグFを切り換える(図8の矢印IV参照)。
【0065】
なお、「トンネル内走行状態」(F=2)が異常に長い時間連続する場合には、トンネル内走行検出手段12は、自車両がトンネル内を走行しているわけではないと判定して、自車両の走行状態を「通常状態」(F=0)に遷移させてフラグFを切り換えるようになっている(図8の矢印V参照)。また、自車両の走行状態は「通常状態」(F=0)から「トンネル内走行状態」(F=2)には遷移しないようになっている。
【0066】
本実施形態では、トンネル内走行検出手段12は、上記のように、撮像手段2から送信されてくるシャッタレベルSLの値等に応じて、自車両の走行状態を「強い日差し状態」(F=1)から「トンネル内走行状態」に遷移させて(図8の矢印III参照)、フラグFを2にセットすることで、自車両がトンネル内を走行中であることを検出するようになっている。
【0067】
このように、本実施形態では、自車両の走行状態は一旦「強い日差し状態」(F=1)になった後でないと「トンネル内走行状態」(F=2)に遷移しない。例えば自車両の走行状態が「通常状態」(F=0)にある状態でトンネル内に進入してもトンネル内を走行中であるとは認識しない。このように構成するのは、図24や図26に示したようにトンネル外側の強い外光により先行車両の背面が黒く撮像されたり先行車両がトンネルを退出した瞬間に白く見えて輝度がほとんど飽和してしまうという問題は、トンネルの外側での日差しが強い場合に生じるという本願発明者らの知見に基づく。
【0068】
本願発明者らの知見によれば、トンネルの外側の日差しが弱かったり曇天や雨天である場合のようにトンネル外側が比較的暗い場合には、図24や図26に示したような問題はほとんど発生しない。そのため、自車両がトンネル内を走行している場合でも、後述するような撮像手段2に対する本願発明に特有の調整を行う必要はなく、通常の露光調整で先行車両を十分に検出することができる。従って、本発明に特有の調整を作動させるために必要な、自車両がトンネル内を走行中であるか否かの判定は、トンネルの外側での日差しが強い場合にのみ行えば十分であることが分かっている。
【0069】
明るさ検出手段13(図1参照)は、基準画像T上に設定した監視領域に属する画素の輝度に基づいて当該監視領域の明るさを検出するようになっている。この明るさ検出は、常時行われるようになっている。
【0070】
本実施形態では、この監視領域Rとして、図9に示すように、基準画像T上の上方と下方にそれぞれ上方監視領域R1と下方監視領域R2が設定されるようになっている。また、上方監視領域R1は、自車両がトンネル内を走行しトンネルの出口付近に達した際に基準画像T上にトンネルの出口が撮像される画像部分に設定され、下方監視領域R2は、その下方の、基準画像T上に主に道路面が撮像される画像部分に設定されるようになっている。
【0071】
また、明るさ検出手段13は、ヒストグラムH2を作成し、図10に例示するように、下方監視領域R2に属する各画素の輝度について輝度分布を求めるようになっている。また、上方監視領域R1についても同様に、図示を省略するヒストグラムを作成して上方監視領域R1に属する各画素の輝度について輝度分布を求めるようになっている。
【0072】
明るさ検出手段13は、このようにして求めた下方監視領域R2と上方監視領域R1にそれぞれ属する各画素の輝度分布を各階級ごとに合算して、図11に例示するような全監視領域Rについての輝度分布を求めるようになっており、本実施形態では、全監視領域Rに属する各画素の輝度の平均値を、この監視領域Rの明るさとして算出するようになっている。なお、図10や図11では、ヒストグラムの階級数が10の場合を示したが、階級数や階級幅は適宜決められる。
【0073】
調整手段14(図1参照)は、トンネル内走行検出手段12により自車両がトンネル内を走行中であることが検出されていない場合、すなわち自車両の走行状態が「通常状態」(F=0)であるか或いは「強い日差し状態」(F=1)である場合には、明るさ検出手段13が検出した監視領域R全体の明るさに基づいて、撮像手段2の露光量と撮像手段2から出力される画素の輝度との少なくとも一方(以下、撮像手段2の露光量等という。)を調整する信号を撮像手段2に出力して調整するようになっている。なお、撮像手段2の露光量と撮像手段2から出力される画素の輝度のいずれを調整するか、或いはそれらを両方とも調整するかは、実際に用いられる撮像手段2の構成等に基づいて適宜決定される。
【0074】
一方、調整手段14は、トンネル内走行検出手段12により自車両がトンネル内を走行中であることが検出されている間、すなわち自車両の走行状態が「トンネル内走行状態」(F=2)である間は、上記とは異なり、本発明に特有の調整を行うように構成されている。すなわち、この場合、調整手段14は、上記のように監視領域R全体の明るさに基づいて調整を行う代わりに、監視領域Rに属する画素の輝度のうち所定の第1輝度pth1以上の輝度を除外した輝度分布に基づいて撮像手段2の露光量等を調整する信号を撮像手段2に出力して調整するようになっている。
【0075】
具体的には、本実施形態では、調整手段14は、この場合、上方監視領域R1については、明るさ検出手段13が求めた上方監視領域R1に属する各画素の輝度についての輝度分布のうち、所定の第1輝度pth1以上の輝度を除外した輝度分布を求める。また、下方監視領域R2については明るさ検出手段13が求めた下方監視領域R2の輝度分布を用いる。そして、それらをあわせた輝度分布から算出した輝度の平均値に基づいて前記調整を行うようになっている。
【0076】
例えば、仮に、自車両がトンネル内を走行中に撮像された基準画像Tの下方監視領域R2と上方監視領域R1の輝度分布をあわせた輝度分布が図11に示したような輝度分布であったとすると、調整手段14は、上方監視領域R1の輝度分布の中から第1輝度pth1以上の輝度を除外した輝度分布を求め、それを下方監視領域R2の輝度分布とあわせて図12に示す輝度分布を得る。そして、この輝度分布から輝度の平均値を算出し、それに基づいて撮像手段2の前記調整を行うようになっている。
【0077】
また、本実施形態では、調整手段14は、先行車両検出手段11が基準画像T上に検出した先行車両を包囲する枠線(例えば図6では先行車両O3(Vah)を包囲する枠線)を先行車両Vahの検出領域として、その検出領域に属する各画素の輝度に基づいて上記の本発明に特有の調整を解除するようになっている。
【0078】
調整手段14は、本発明に特有の調整を解除した後は、自車両がトンネル内を走行中であっても、すなわち自車両の走行状態が「トンネル内走行状態」(F=2)であっても、「通常状態」(F=0)や「強い日差し状態」(F=1)である場合と同様に、明るさ検出手段13が検出した監視領域R全体の明るさに基づいて撮像手段2に対する調整を行うようになっている。
【0079】
上記のように、本発明に特有の調整の解除条件は、先行車両Vahの検出領域に属する各画素の輝度、すなわち簡単に言えば先行車両Vahの明るさに基づいて決定されるようになっている。具体的には、本実施形態では、調整手段14は、先行車両Vahの検出領域に属する各画素の輝度の平均値が所定の閾値以上になった場合に、前記調整を解除するようになっている。
【0080】
次に、本実施形態に係る撮像手段の調整装置である処理手段10および車外監視装置1の作用について説明する。
【0081】
処理手段10の先行車両検出手段11(図1参照)は、常時、すなわちトンネル内走行検出手段12が自車両の走行状態を図8に示した「通常状態」(F=0)、「強い日差し状態」(F=1)および「トンネル内走行状態」(F=2)のいずれかの状態にあると判定している場合においても、自車両の周囲の物体検出および先行車両検出を継続して行う。
【0082】
また、明るさ検出手段13(図1参照)も、常時、上方監視領域R1と下方監視領域R2にそれぞれ属する画素の輝度について、各々ヒストグラムを作成して、それぞれ各輝度分布を求める作業を継続して行う。また、明るさ検出手段13は、上方監視領域R1の輝度分布と下方監視領域R2の輝度分布とをあわせた監視領域R全体の輝度分布(図11参照)から輝度の平均値を算出し、監視領域Rの明るさとして出力する。監視領域Rの明るさの算出、出力は、調整手段14が本発明に特有の調整を開始しそれを解除するまでの間は行わないように構成することも可能である。
【0083】
一方、トンネル内走行検出手段12が自車両の走行状態を「通常状態」または「強い日差し状態」にあると判定している間、すなわち前述したフラグFが0か1である間は、調整手段14(図1参照)は、明るさ検出手段13が検出した監視領域Rの明るさに基づいて撮像手段2の露光量等を調整する信号を撮像手段2に出力して調整する。
【0084】
また、調整手段14は、フラグFが2であればトンネル内走行検出手段12により自車両がトンネル内を走行中であることが検出されていると判断して、本発明に特有の調整を行うようにモードを切り換える。
【0085】
自車両がトンネル内を走行していて、まだトンネルの出口から遠い場所を走行している場合には、通常、トンネルの内部は暗いため、基準画像Tにおいて主に道路面が撮像される画像部分に設定される下方監視領域R2に属する各画素の輝度分布は、図13のヒストグラムH2に示すように、一般的に、低輝度の階級で度数が大きくなるような分布となる。
【0086】
また、基準画像Tにおいて、トンネルの出口が撮像される画像部分に設定される上方監視領域R1には、まだこの段階ではトンネルの出口は撮像されておらず、或いは撮像されていてもごく小さくしか撮像されていない。そのため、上方監視領域R1には、主にトンネルの天井部分や照明等が撮像されるが、トンネルの内部ではそれらもそれほど明るくないため、上方監視領域R1に属する各画素の輝度分布は、図14のヒストグラムH1に示すように、一般的に、低輝度の階級や中間の階級で度数が大きくなるような分布となる。
【0087】
しかし、前述したように、自車両がトンネル内を走行中でありフラグFが2の場合には、上方監視領域R1については図14に示した輝度分布のうち第1輝度pth1以上の輝度を除外した輝度分布とされ、それと下方監視領域R2の輝度分布とがあわせられて、図15に示す輝度分布が得られる。
【0088】
そして、調整手段14は、図15のヒストグラムHに示す輝度分布から輝度の平均値を算出し、算出した輝度の平均値に基づいて撮像手段2の露光量等を調整する信号を撮像手段2に出力して調整する。
【0089】
図13〜図15に示した例では、上方監視領域R1に属する各画素の輝度のうち第1輝度pth1以上の輝度がそもそも少ないため、それらの輝度を除いた輝度で平均値を求めても監視領域R全体で平均値を求めた場合とさほど変わらない。そして、調整手段14は、撮像手段2の露光量を多くし或いは撮像手段2から出力される画素の輝度を大きくするように調整するため、先行車両検出手段11は、自車両の周囲の物体検出や先行車両検出を的確に行うことができる。
【0090】
一方、自車両がトンネル内を走行していて、先行車両Vahがトンネルの出口付近に差し掛かると、撮像手段2の露光量や撮像手段2から出力される画素の輝度に対する通常の調整を行うと図24に示したような基準画像Tが撮像される。
【0091】
この状況で、図16に示すように基準画像Tに設定された下方監視領域R2に属する各画素の輝度分布は、図17のヒストグラムH2に示すように低輝度の階級で度数が大きくなり、高輝度の階級でも多少度数が大きくなるような分布となる。低輝度の階級は主に道路面の輝度に対応し、高輝度の階級は道路面やトンネルの壁面等に差し込んだ外光等の輝度に対応している。
【0092】
それに対し、図16に示すように基準画像Tに設定された上方監視領域R1に属する各画素の輝度分布は、図18のヒストグラムH1に示すように、高輝度の階級に度数が集中し、低輝度の階級でも多少度数が大きくなるような分布となる。高輝度の階級はトンネル外側の外光の輝度やトンネルの壁面等に差し込んだ外光等に対応し、低輝度の階級の輝度は先行車両等の輝度に対応している。
【0093】
図17に示す下方監視領域R2に属する各画素の輝度分布と、図18に示す上方監視領域R1に属する各画素の輝度分布を単純に足し合わせると、図19のヒストグラムH*に示すように、高輝度の階級と低輝度の階級にそれぞれピークを有する輝度分布となり、輝度の平均値(すなわち監視領域Rの明るさ)は2つのピークの略中間の輝度となる。そして、この状態では、前述した従来例に示したように、先行車両Vahが黒く撮像されて、その背面に撮像されるべき窓ガラスやバンパやナンバープレート等の構造が見えなくなり、先行車両Vahを的確に検出できない現象が生じる場合がある。
【0094】
しかし、本実施形態のように、上方監視領域R1について図18のヒストグラムH1に示した輝度分布のうち第1輝度pth1以上の輝度を除外した輝度分布とし、それと下方監視領域R2の輝度分布とをあわせると、図20のヒストグラムHに示す輝度分布が得られる。
【0095】
この場合、輝度分布は、上方監視領域R1の第1輝度pth1以上の高輝度の分布が除外されるため、低輝度の階級に大きなピークを有する輝度分布となり、調整手段14は、輝度の平均値として図19のヒストグラムH*の場合よりも大きく低輝度側にずれた値を算出する。そのため、調整手段14は、撮像手段2の露光量を多くし或いは撮像手段2から出力される画素の輝度を大きくするように、撮像手段2の露光量等を調整する信号を撮像手段2に出力して調整する。
【0096】
その結果、図21に示すように、トンネルの外側の空間の輝度はほぼ飽和状態となり何も見えなくなるが、トンネル内部や先行車両Vahの輝度が高くなり、先行車両Vahの背面の窓ガラスやバンパやナンバープレート等の構造が見えるようになる。そのため、ステレオマッチング処理を有効に行うことが可能となり、先行車両検出手段11はトンネルの出口付近でも先行車両Vahを的確に検出することが可能となる。
【0097】
また、図16や図21では、図示を省略したが、調整手段14は、図22に示すように、先行車両検出手段11が基準画像T上に検出した先行車両を包囲する枠線を先行車両Vahの検出領域Rdとして常時設定している。そして、先行車両Vahの検出領域Rdに属する各画素の輝度の平均値が所定の閾値以上になったか否かを常時判断している。
【0098】
図22に示した状態では、先行車両Vahの検出領域Rdに属する各画素の輝度の平均値は所定の閾値未満であるが、図26に示したように、先行車両Vahがトンネルを退出した瞬間に先行車両Vahの検出領域Rdに属する各画素の輝度の平均値が一挙に大きくなり、所定の閾値を越える。
【0099】
この段階で、調整手段14は、上方監視領域R1の輝度分布から第1輝度pth1以上の輝度を除外した輝度分布と下方監視領域R2の輝度分布とをあわせた輝度分布(図20等参照)に基づく前記本発明に特有の調整を解除して、明るさ検出手段13が上方監視領域R1および下方監視領域R2の全輝度分布から検出した監視領域R全体の明るさに基づく通常の調整に戻る。
【0100】
その際、上方監視領域R1と下方監視領域R2の輝度分布とをあわせた輝度分布の平均値は、図20のヒストグラムHに示したように大きく低輝度側にずれた状態から図19のヒストグラムH*に示したように高輝度の階級と低輝度の階級に各ピークの略中間の輝度になる。そして、調整手段14は、撮像手段2の露光量を多くし或いは撮像手段2から出力される画素の輝度を大きくするように指示するために出力していた信号を、撮像手段2の露光量をより少なくし或いは撮像手段2から出力される画素の輝度をより小さくするように指示する信号に切り換えて出力して調整する。
【0101】
そのため、先行車両Vahがトンネルを退出した瞬間には、図26に示したように先行車両Vahは白く眩しく撮像されてしまい、先行車両Vahが検出できなくなる場合があるが、次のサンプリング周期では、図23に示すように、トンネルの内部の輝度が下がり暗くなるが、先行車両Vahも白く眩しく見えた状態から輝度が下がり、先行車両Vahの背面の窓ガラスやバンパやナンバープレート等の構造も見えるようになる。そのため、ステレオマッチング処理を有効に行うことが可能となり、先行車両検出手段11はトンネルを退出した先行車両Vahを的確に検出することが可能となる。
【0102】
また、撮像手段2の調整装置である処理手段10の上記の強制的な調整により、撮像手段2の露光量等が適切に調整されるため、車外監視装置1は、トンネル内を走行中或いはトンネルを退出した後の先行車両Vah等の物体を基準画像T中から的確に検出して車外を監視することが可能となる。
【0103】
以上のように、本実施形態に係る撮像手段の調整装置10(処理手段10)によれば、自車両がトンネル内を走行中であることを的確に把握したうえで、自車両がトンネル内を走行している状態でトンネルの出口に接近した場合に、トンネルの外側の外光が撮像されて撮像画像(基準画像T)上に生じる高輝度の輝度分布を除外した輝度分布を形成し、それに基づいて、すなわち外光による高輝度の画素をいわば無視して、トンネル内部が撮像されている低輝度の画素にあわせて撮像手段2の露光量や撮像手段2から出力される画素の輝度を強制的に調整する。
【0104】
そのため、トンネル内の暗さにあわせて撮像手段2の露光量を多くし或いは撮像手段2から出力される画素の輝度を大きくするように調整されるため、自車両や先行車両がトンネル内を走行中もトンネル退出後も撮像手段に対して適切に強制的な露光量等の調整を行うことが可能となる。また、それにより、トンネルの出口付近にいる先行車両Vahの輝度が高くなり、その前方に強い外光が存在しても先行車両Vahの背面の窓ガラスやバンパやナンバープレート等の構造が見えるようになるため、ステレオマッチング処理を有効に行うことが可能となり、先行車両検出手段11が先行車両Vahを的確に検出することが可能となる。
【0105】
また、先行車両Vahがトンネルを退出した瞬間に先行車両Vahの検出領域Rdに属する各画素の輝度の平均値が一挙に大きくなって所定の閾値を越えた場合には、先行車両Vahの検出領域Rdに属する各画素の輝度に基づいて上記の本発明に特有の調整を解除して監視領域R全体の明るさに基づく通常の調整に戻す。
【0106】
それにより、それまでトンネル内の暗さにあわせて撮像手段2の露光量を多くし或いは撮像手段2から出力される画素の輝度を大きくするように調整されていたが、今度は、トンネル外側の外光もすべて踏まえて調整が行われるため、撮像手段2の露光量を少なくし或いは撮像手段2から出力される画素の輝度を小さくするように調整される。
【0107】
そのため、先行車両Vahの検出領域Rdの輝度が下がり、白く眩しく撮像されていた先行車両Vahの背面の窓ガラスやバンパやナンバープレート等の構造も見えるようになる。このように、先行車両Vahのトンネル退出時に先行車両Vahの輝度が瞬間的に大きくなる場合にも、先行車両Vahの輝度を的確に低下させることができる。そのため、ステレオマッチング処理を有効に行うことが可能となり、先行車両検出手段11はトンネルを退出した先行車両Vahを的確に検出することが可能となる。
【0108】
また、本実施形態に係る車外監視装置1によれば、上記のような撮像手段の調整装置10(処理手段10)を備えているため、撮像手段の調整装置10により自車両や先行車両Vahがトンネル内を走行中もトンネル退出後も撮像手段2に対して適切に強制的な露光量等の調整が行われる。そのため、例えばトンネルの出口付近にいる先行車両Vahの輝度を高くし、その前方に強い外光が存在しても先行車両Vahの背面の窓ガラスやバンパやナンバープレート等の構造が見えるように調整される。
【0109】
そのため、撮像手段2により撮像された基準画像T等に対するステレオマッチング処理を有効に行うことが可能となり、基準画像T中から的確に物体を検出して自車両の車外を的確に監視することが可能となる。
【0110】
なお、本実施形態では、撮像画像(基準画像T)上に監視領域Rを設定して、それに属する各画素の輝度を調べて輝度分布を求めている。これを上記のような撮像手段2の露光量等の調整に活用するだけでなく、この他にも、例えば、撮像画像中に検出された物体や先行車両Vahの自車両に対する相対速度の平滑化フィルタ処理等に活用することができる。
【0111】
本実施形態の撮像手段の調整装置10(処理手段10)や車外監視装置1では、自車両を先行車両Vahに追従させる制御(先行車両追従制御)に資するため、処理手段10の先行車両検出手段11では、先行車両Vahを検出すると、その視差dpから前記(3)式に従って算出される自車両と先行車両Vahとの距離Z等をサンプリング周期ごとに更新して、自車両に対する先行車両Vahの位置を常時監視するようになっている。
【0112】
その際、検出される距離Z等のデータがサンプリング周期ごとにばらつく、いわゆる暴れが生じる場合があるため、本実施形態では、各サンプリング周期ごとに算出されるデータ自体で以前のデータを更新するのではなく、例えば距離Zについては下記(7)式に従って加算割合により重み付け加算する平滑化フィルタ処理により距離Zを算出してデータを更新するようになっている。
Z=(1−P)×Zold+P×Znew …(7)
【0113】
ここで、Znewは今回のサンプリング周期で検出された距離Z、Zoldは前回のサンプリング周期で上記(7)式により算出された距離Zすなわち(7)式左辺のZ、Pは加算割合を表す。
【0114】
しかし、上記のように、本実施形態に係る撮像手段の調整装置10(処理手段10)や車外監視装置1ではトンネル退出時前後の先行車両Vahを的確に検出できるとはいえ、トンネル外側の外光の影響を完全に遮断することは難しく、例えば検出された先行車両Vahの自車両との距離Zの情報は信頼性が必ずしも高いとは言えない。
【0115】
そのため、本実施形態では、調整手段14は、トンネル内走行検出手段12により自車両がトンネル内を走行中であることが検出されている間に、上方監視領域R1に属する各画素の輝度について明るさ検出手段13が作成したヒストグラムH1の輝度分布において、所定の第2輝度pth2以上の輝度を有する画素が所定個数以上存在する場合に、撮像画像(基準画像T)中にトンネルの出口が撮像されていると判断して、自車両がトンネルの出口付近を走行中であることを検出するように構成されている。
【0116】
そして、自車両がトンネルの出口付近を走行中であることを検出すると、調整手段14は、上記の先行車両Vahの自車両との距離Zの情報等のデータを更新する際の平滑化フィルタ処理における今回検出したデータの加算割合、すなわち上記の距離Zの例では加算割合Pを低下させるようになっている。
【0117】
このように構成することで、自車両や先行車両Vahがトンネルの出口付近を走行中であることを的確に検出することが可能となるとともに、信頼性が必ずしも高くないデータの加算割合(重み)を低下させて平滑化フィルタ処理を行うことで、データの信頼性を低下させずに維持することが可能となる。
【0118】
なお、所定の第2輝度pth2は、上記の第1輝度pth1と同じ値に設定してもよく、また、異なる値に設定することも可能である。
【図面の簡単な説明】
【0119】
【図1】本実施形態に係る撮像手段の調整装置を含む車外監視装置の構成を示すブロック図である。
【図2】基準画像の一例を示す図である。
【図3】図2の基準画像等に基づいて形成された距離画像を示す図である。
【図4】区分ごとの距離を実空間上にプロットした各点を表す図である。
【図5】図4の各点に基づいて実空間上に検出された物体を表す図である。
【図6】基準画像上に枠線で包囲されて検出された各物体および先行車両を表す図である。
【図7】実空間上の自車両の走行軌跡、進行路および先行車両を表す図である。
【図8】自車両の走行状態を表す3つの状態、フラグの値および遷移のしかたを表す図である。
【図9】基準画像上に設定される監視領域、上方監視領域および下方監視領域を表す図である。
【図10】下方監視領域の輝度分布の例を表すヒストグラムである。
【図11】上方監視領域と下方監視領域の各輝度分布を合算して求められる全監視領域についての輝度分布の例を表すヒストグラムである。
【図12】図11のヒストグラムにおいて上方監視領域の輝度分布の中から第1輝度以上の輝度を除外した輝度分布と下方監視領域の輝度分布とを合算して求められる輝度分布を表すヒストグラムである。
【図13】トンネル内走行中における下方監視領域の輝度分布の例を表すヒストグラムである。
【図14】トンネル内走行中における上方監視領域の輝度分布の例を表すヒストグラムである。
【図15】図13の下方監視領域の輝度分布と図14の上方監視領域の輝度分布の中から第1輝度以上の輝度を除外した輝度分布とを合算して得られる輝度分布を表すヒストグラムである。
【図16】トンネルの出口付近に差し掛かった先行車両が撮像された基準画像上に設定された上方監視領域および下方監視領域を表す図である。
【図17】図16の下方監視領域の輝度分布の例を表すヒストグラムである。
【図18】図16の上方監視領域の輝度分布の例を表すヒストグラムである。
【図19】図17の下方監視領域の輝度分布と図18の上方監視領域の輝度分布とを合算して得られる輝度分布を表すヒストグラムである。
【図20】図17の下方監視領域の輝度分布と図18の上方監視領域の輝度分布の中から第1輝度以上の輝度を除外した輝度分布とを合算して得られる輝度分布を表すヒストグラムである。
【図21】図16の状態で本発明に特有の調整を作動させて得られる基準画像を表す図である。
【図22】図21の基準画像上に設定される先行車両の検出領域を表す図である。
【図23】トンネルを退出した後に検出された先行車両と先行車両の検出領域とを表す図である。
【図24】トンネル退出時に外光によって基準画像上に黒く撮像された先行車両を表す図である。
【図25】図24の基準画像上で先行車両の左右端部分が別の2つの物体として検出された状態を説明する図である。
【図26】トンネル退出直後に外光によって基準画像上に白く眩しく撮像された先行車両を表す図である。
【符号の説明】
【0120】
1 車外監視装置
2 撮像手段
10 撮像手段の調整装置(処理手段)
11 先行車両検出手段
12 トンネル内走行検出手段
13 明るさ検出手段
14 調整手段
A 自車両
P 加算割合
pth1 第1輝度
pth2 第2輝度
R 監視領域
R1 上方監視領域
R2 下方監視領域
Rd 検出領域
T 撮像画像(基準画像)
Vah 先行車両
【技術分野】
【0001】
本発明は、撮像手段の調整装置および車外監視装置に係り、特に、自車両の周囲を撮像する撮像手段の露光量等を調整可能な撮像手段の調整装置およびそれを用いた車外監視装置に関する。
【背景技術】
【0002】
近年、乗用車等の車両の周囲に存在する物体をCCD(Charge Coupled Device)カメラ等の撮像手段で撮像した画像の画像解析等により検出する技術の開発が進められている(例えば特許文献1等参照)。これらの技術は、例えば検出した物体との衝突の可能性を判断し、警報を鳴らしてドライバの注意を喚起したり衝突を回避するように自動操舵や自動制動制御等を行う車両の安全走行のための技術等に応用される。
【0003】
このような物体の検出では、先行車両や対向車両、道路上の歩行者や道路わきに停車している停車車両等の障害物等を的確に検出することが重要となる。また、検出した障害物等に対してはそれとの衝突を回避する衝突回避制御が行われるが、先行車両に対しては、先行車両が信号待ち等で停止した場合に障害物としてその横を通過するのではなく、先行車両の後方で自車両を適切に停車させなければならない。このように、先行車両に対しては他の障害物に対する場合とは異なる制御が要求されるため、先行車両の検出は特に的確に行われる必要がある。
【0004】
撮像手段で撮像した画像中からこれらの物体、特に先行車両を的確に検出するには、カメラの露光調整等を適切に行って物体を検出し得る画像が撮像されなければならない。CCDカメラ等の撮像手段は、通常、このような適切な露光調整等を撮像画像全体の明るさに基づいて自動的に行う機能を有している。
【0005】
しかし、先行車両がトンネルから退出する際などのように、撮像手段により撮像されている環境が明るいところと暗いところとが共に存在する環境である場合、すなわち、例えば自車両も先行車両もトンネル内にいるが、先行車両がトンネルの出口付近にいて、トンネル内部は暗くトンネルの外側は明るいような場合には、図24に示すように先行車両Vahが見えにくくなる。なお、図24の撮像画像Tでは、トンネル内部の側壁も白く光って撮像されている。
【0006】
この状態では、通常、トンネルの外側の強い白い光のためにCCDカメラ等の自動露光調整によりシャッタスピードを速くしたりアイリスを絞るなどされて、撮像手段の露光量を少なくし、撮像画像T全体の画素の輝度を低下させる調整が行われる。そのため、先行車両Vahの背面が黒く撮像されて、本来その背面に撮像されるべき窓ガラスやバンパやナンバープレート等の構造が見えなくなる。
【0007】
そのため、例えばこのような撮像画像を用いてステレオマッチングを行ってもマッチングがうまく行われずに先行車両Vahの検出ができなくなったり、或いは、先行車両Vahの背面の左右端部分のみでマッチングが成立してそれ以外の部分では成立せず、図25に示すように先行車両Vahの左右端部分がそれぞれ別の物体Sa、Sbとして検出されてしまい、先行車両Vahを見失ってしまう現象が生じたりする。
【0008】
逆に、トンネル内の先行車両Vahの背面の窓ガラスやバンパやナンバープレート等の構造が見える程度にアイリスを開放させるなどして、撮像手段の露光量を少なくしたり撮像画像T全体の画素の輝度を上昇させる等の調整を強制的に行うと、今度は、図26に示すように、先行車両Vahがトンネルの外に出た瞬間やトンネル出口付近の外光が差し込む部分に差し掛かった瞬間に、先行車両Vahが白く眩しく見えてしまう。なお、図26では、トンネルの側壁や天井部分も白く光って撮像されている。
【0009】
この場合、撮像画像T上の先行車両Vahの部分の輝度がほとんど飽和し、同じく輝度が飽和して撮像されるトンネル外側の空間との境界が不鮮明になり、先行車両Vahが見えにくくなり或いはほとんど見えなくなってしまうという問題があった。この場合も先行車両Vahを検出できなくなる。
【0010】
このような課題を解決するため、特許文献2では、先行車両自体の明るさを監視し、それに基づいて撮像手段のアイリス調整を行うことが提案されている。また、特許文献3では、トンネルを検出した場合に車線(区画線等の白線)を検出できるように撮像手段の露光量を制御することが提案されている。
【特許文献1】特開平7−225892号公報
【特許文献2】特開平7−81459号公報
【特許文献3】特開平11−205663号公報
【発明の開示】
【発明が解決しようとする課題】
【0011】
しかしながら、特許文献2に記載の装置では、先行車両のみを監視しているため、先行車両以外の他の車両等が適切に検出できなくなる場合があり、また、先行車両自体の色によって撮像手段のアイリス調整の度合が変化する。すなわち、先行車両の色が白色系の色であればアイリスを絞るように調整されるため撮像画像全体が暗くなり、先行車両の色が濃色系であればアイリスを開放するように調整されるため撮像画像全体が明るくなるというように、先行車両自体の色によって撮像画像の明るさが変わってしまう。
【0012】
この現象の発生を回避するためには、撮像手段のアイリス調整等を含む露光量の調整や撮像画像の画素の輝度調整は、基本的に先行車両を含む或いは含まないより広い画素範囲の輝度等に基づいて行われることが望ましい。
【0013】
また、特許文献3に記載の装置では、トンネルに進入した後も車線を検出することが可能であるが、図26に示したようなトンネル出口付近で先行車両の輝度がほとんど飽和して先行車両が検出できなくなる現象が生じることを回避することは難しい。
【0014】
このように、撮像手段の自動露光調整に任せていると、図24に示したようにトンネル出口付近のトンネル内の先行車両Vahが黒く暗く撮像されて検出されなくなる場合があるため、先行車両Vahを的確に検出するためには、強制的に撮像手段の露光量調整や撮像画像の輝度調整を行うことが必要となる。
【0015】
しかし、単にアイリスを開放するだけでは、図26に示したように、先行車両Vahがトンネル出口付近の外光が差し込む部分に差し掛かり、先行車両Vahの輝度がほとんど飽和した後も、自車両がトンネル内にいる限りアイリスが絞られた状態が維持されてしまうため、先行車両Vahを見失ってしまう。
【0016】
本発明は、このような事情に鑑みてなされたものであり、自車両や先行車両がトンネル内を走行中もトンネル退出後も撮像手段に対して適切に強制的な露光量等の調整を行うことが可能な撮像手段の調整装置およびそれを用いて先行車両等を的確に検出することが可能な車外監視装置を提供することを目的とする。
【課題を解決するための手段】
【0017】
前記の問題を解決するために、第1の発明は、撮像手段の調整装置において、
自車両がトンネル内を走行中であることを検出するトンネル内走行検出手段と、
撮像手段により撮像された撮像画像上に設定された監視領域に属する画素の輝度に基づいて当該監視領域の明るさを検出する明るさ検出手段と、
前記監視領域の明るさに基づいて前記撮像手段の露光量と前記撮像手段から出力される画素の輝度との少なくとも一方の調整を行う調整手段と、を備え、
前記調整手段は、前記トンネル内走行検出手段により自車両がトンネル内を走行中であることが検出されている間は、前記監視領域の明るさに代えて、前記監視領域に属する画素の輝度のうち所定の第1輝度以上の輝度を除外した輝度分布に基づいて前記調整を行うことを特徴とする。
【0018】
第2の発明は、第1の発明の撮像手段の調整装置において、前記トンネル内走行検出手段は、前記撮像手段の露光量の調整の度合に基づいて、自車両がトンネル内を走行中であることを検出することを特徴とする。
【0019】
第3の発明は、第1または第2の発明の撮像手段の調整装置において、
前記監視領域は、前記撮像画像上で道路面が撮像される下方監視領域と、前記撮像画像上で当該下方監視領域の上方に設定される上方監視領域とよりなり、
前記調整手段は、前記トンネル内走行検出手段により自車両がトンネル内を走行中であることが検出されている間は、前記監視領域の明るさに代えて、前記上方監視領域について前記上方監視領域に属する画素の輝度のうち前記第1輝度以上の輝度を除外した輝度分布を求め、前記上方監視領域における当該輝度分布と前記下方監視領域における全輝度分布とをあわせた輝度分布に基づいて前記調整を行うことを特徴とする。
【0020】
第4の発明は、第3の発明の撮像手段の調整装置において、前記明るさ検出手段は、前記上方監視領域および前記下方監視領域にそれぞれ属する各画素の輝度についてそれぞれ前記第1輝度以上の輝度を除外しない全輝度分布を検出することを特徴とする。
【0021】
第5の発明は、第3または第4の発明の撮像手段の調整装置において、前記上方監視領域は、前記撮像画像上でトンネルの出口が撮像される画像部分に設定されることを特徴とする。
【0022】
第6の発明は、第3から第5のいずれかの発明の撮像手段の調整装置において、前記調整手段は、前記トンネル内走行検出手段により自車両がトンネル内を走行中であることが検出されている間に、前記上方監視領域に属する画素の輝度のうち所定の第2輝度以上の輝度を有する画素が所定個数以上存在する場合に、自車両がトンネルの出口付近を走行中であることを検出することを特徴とする。
【0023】
第7の発明は、第6の発明の撮像手段の調整装置において、前記調整手段は、自車両がトンネルの出口付近を走行中であることを検出すると、データを更新する際に加算割合により重み付け加算して行う平滑化フィルタ処理における今回検出したデータの加算割合を低下させることを特徴とする。
【0024】
第8の発明は、第1から第7のいずれかの発明の撮像手段の調整装置において、
前記撮像画像中から自車両の前方を走行する先行車両を検出する先行車両検出手段をさらに備え、
前記調整手段は、検出された前記先行車両が撮像されている前記撮像画像中の検出領域に属する画素の輝度に基づいて前記トンネル内走行検出手段により自車両がトンネル内を走行中であることが検出されている間に行う前記調整を解除し、前記監視領域の明るさに基づく前記調整を行うことを特徴とする。
【0025】
第9の発明は、第8の発明の撮像手段の調整装置において、前記調整手段は、検出された前記先行車両が撮像されている前記撮像画像中の検出領域に属する画素の輝度の平均値が所定の閾値以上になった場合に、前記トンネル内走行検出手段により自車両がトンネル内を走行中であることが検出されている間であっても、その間に行う前記調整を解除することを特徴とする。
【0026】
第10の発明は、車外監視装置において、
自車両の周囲を撮像する撮像手段と、
第1から第9のいずれかの発明の撮像手段の調整装置と、を備え、
前記撮像手段の調整装置により前記撮像手段の露光量と前記撮像手段から出力される画素の輝度の少なくとも一方の調整が行われる前記撮像手段により撮像された画像中から物体を検出して車外を監視することを特徴とする。
【発明の効果】
【0027】
第1の発明によれば、自車両がトンネル内を走行中であることを的確に把握したうえで、自車両がトンネル内を走行している状態でトンネルの出口に接近した場合に、トンネルの外側の外光が撮像されて撮像画像上に生じる高輝度の輝度分布を除外した輝度分布を形成し、それに基づいて、すなわち外光による高輝度の画素をいわば無視して、トンネル内部が撮像されている低輝度の画素にあわせて撮像手段の露光量や撮像手段から出力される画素の輝度を強制的に調整する。
【0028】
そのため、トンネル内の暗さにあわせて撮像手段の露光量を多くし或いは撮像手段から出力される画素の輝度を大きくするように調整されるため、自車両や先行車両がトンネル内を走行中もトンネル退出後も撮像手段に対して適切に強制的な露光量等の調整を行うことが可能となる。また、それにより、トンネルの出口付近にいる先行車両の輝度が高くなり、その前方に強い外光が存在しても先行車両の背面の窓ガラスやバンパやナンバープレート等の構造が見えるようになるため、撮像手段により撮像された画像に対するステレオマッチング処理を有効に行うことが可能となり、先行車両を的確に検出することが可能となる。
【0029】
第2の発明によれば、図24や図26に示したトンネル出口付近における先行車両の不検出の問題は、トンネルの外側での日差しが強い場合に特に生じ易いため、撮像手段の露光量の現在の調整の度合に基づいて、自車両が例えば通常の走行状態であるか、強い日差しの下で走行中か、トンネル内を走行中であるかを的確に検出し、自車両が強い日差しの下で走行中の状態からトンネル内に入ったことを的確に検出した上で上記の本発明に特有の調整を作動させたり解除させたりすることが可能となり、前記発明の効果がより的確に発揮される。
【0030】
第3および第5の発明によれば、前述したように、本発明では、トンネルの外側の外光が撮像されて撮像画像上に生じる高輝度の輝度分布を除外した輝度分布を形成し、外光による高輝度の画素をいわば無視して、トンネル内部が撮像されている低輝度の画素にあわせて撮像手段の露光量や撮像手段から出力される画素の輝度を強制的に調整する。その際、撮像画像上の監視領域を、道路面が撮像される下方監視領域とトンネルの出口が撮像される上方監視領域とに分け、上方監視領域に属する各画素の輝度分布から輝度分布を除外した輝度分布を形成することで、トンネルの出口から差し込む外光を的確に除外することが可能となり、前記各発明の効果がより的確に発揮される。
【0031】
第4の発明によれば、明るさ検出手段で上方監視領域および下方監視領域についてそれぞれ第1輝度以上の輝度を除外しない各輝度分布を検出するように構成することで、調整手段が上方監視領域の輝度分布から第1輝度以上の輝度を容易に除外することが可能となるとともに、上記の本発明に特有の調整を解除した場合に容易に第1輝度以上の輝度を除外しない監視領域の全画素に対する全輝度分布に基づいて調整を行うことが可能となり、前記各発明の効果がより的確に発揮される。
【0032】
第6および第7の発明によれば、前記各発明によりトンネル退出時前後の先行車両を的確に検出できるようになるが、トンネル外側の外光の影響を完全に遮断することは難しく、例えば検出された先行車両の自車両との距離の情報は信頼性が必ずしも高いとは言えない。そのため、前記各発明の効果に加え、自車両がトンネルの出口付近を走行中であることを検出し、その間に得られたデータに基づいて平滑化フィルタ処理によりデータの平滑化を行う際に、今回検出したデータの加算割合を低下させることで、データの信頼性を低下させずに維持することが可能となる。
【0033】
第8の発明によれば、先行車両がトンネルを退出した瞬間に先行車両の検出領域に属する各画素の輝度の平均値が一挙に大きくなって所定の閾値を越えた場合には、先行車両の検出領域に属する各画素の輝度に基づいて上記の本発明に特有の調整を解除して監視領域全体の明るさに基づく通常の調整に戻す。それにより、それまでトンネル内の暗さにあわせて撮像手段の露光量を多くし或いは撮像手段から出力される画素の輝度を大きくするように調整されていたが、今度は、トンネル外側の外光もすべて踏まえて調整が行われるため、撮像手段の露光量を少なくし或いは撮像手段から出力される画素の輝度を小さくするように調整される。
【0034】
そのため、先行車両の検出領域の輝度が下がり、白く眩しく撮像されていた先行車両の背面の窓ガラスやバンパやナンバープレート等の構造も見えるようになる。このように、前記発明の効果に加え、先行車両のトンネル退出時に先行車両の輝度が瞬間的に大きくなる場合にも先行車両の輝度を的確に低下させることが可能となるため、ステレオマッチング処理を有効に行うことが可能となり、トンネルを退出した先行車両を的確に検出することが可能となる。
【0035】
第9の発明によれば、先行車両の検出領域に属する画素の輝度の平均値が所定の閾値以上になった場合に前記の本発明に特有の調整を解除することで、本発明に特有の調整を解除する基準が明確になり、前記各発明の効果がより的確に発揮される。
【0036】
第10の発明によれば、上記の各発明の撮像手段の調整装置により自車両や先行車両がトンネル内を走行中もトンネル退出後も撮像手段に対して適切に強制的な露光量等の調整が行われるため、例えばトンネルの出口付近にいる先行車両の輝度を高くし、その前方に強い外光が存在しても先行車両の背面の窓ガラスやバンパやナンバープレート等の構造が見えるように調整されるため、撮像手段により撮像された画像に対するステレオマッチング処理を有効に行うことが可能となり、撮像画像中から的確に物体を検出して自車両の車外を的確に監視することが可能となる。
【発明を実施するための最良の形態】
【0037】
以下、本発明に係る撮像手段の調整装置および車外監視装置の実施の形態について、図面を参照して説明する。
【0038】
なお、本実施形態では、撮像手段2として2台のカメラを用いてステレオ撮像を行う形態が示されるが、撮像手段を例えば単数のカメラや3台以上のカメラ等で構成することも可能である。また、本実施形態における後述する先行車両検出手段11は、撮像された画像中から先行車両を検出できるものであればよく、本実施形態の構成に限定されない。
【0039】
本実施形態に係る車外監視装置1は、図1に示すように、主に、撮像手段2や変換手段3、画像処理手段6等で構成される位置情報収集手段9と、撮像手段2の調整装置である処理手段10とで構成されている。
【0040】
位置情報収集手段9は、自車両の周囲を撮像する撮像手段2を含み、自車両の周囲の物体を撮像するとともに、自車両からそれらの物体までの距離を含む物体の実空間上の位置の情報を収集するようになっている。本実施形態では、位置情報収集手段9は、本願出願人により先に提出された特開平5−114099号公報、特開平5−265547号公報、特開平6−266828号公報、特開平10−283461号公報、特開平10−283477号公報、特開2006−72495号公報等に記載された車外監視装置等をベースに構成されている。以下、簡単に説明する。
【0041】
位置情報収集手段9は、図1に示すように、車幅方向に一定の距離をあけて配置された一対のメインカメラ2aおよびサブカメラ2bからなる撮像手段2で自車両の周囲を撮像して得られた一対の撮像画像を変換手段3であるA/Dコンバータ3a、3bでそれぞれデジタル画像に変換し、画像補正部4でずれやノイズの除去、輝度値の補正等の画像補正を行って、画像データメモリ5に格納するとともに、処理手段10に送信するようになっている。
【0042】
本実施形態では、メインカメラ2aおよびサブカメラ2bとして2台のCCDカメラが備えられており、CCDカメラに通常備えられる機能として、自車両の周囲の明るさを自ら判断して適切な露光を得るための露光調整を自動的に行うように構成されている。ここで、本実施形態における露光調整には、少なくともシャッタ時間調整やアンプゲイン切り替え、LUT(Look Up Table)の選択やそれによる輝度値変換などが含まれ、それらが総合的に調整されるようになっている。
【0043】
なお、本実施形態で用いられるCCDカメラはアイリスを備えないためアイリス絞り調整については述べないが、撮像手段2がアイリス等の露光調整を行うための他の機能を備える場合には、それらも含めて総合的に最適な露光を得るための自動的な露光調整が行われる。
【0044】
また、撮像手段2の自動的な露光調整のレベル、または後述するように調整手段14から指示に基づいていわば強制的に調整が行われた場合にはそれによる露光調整のレベルが、撮像手段2の露光量の調整の度合を表すシャッタレベルSLとして、後述する処理手段10に送信されるようになっている。
【0045】
一方、画像補正が行われた一対の撮像画像は、画像処理手段6に送られて、イメージプロセッサ7で、メインカメラ2aで撮像した図2に例示される撮像画像(以下、基準画像Tという。)が複数の画素ブロックに分割され、各画素ブロックについてそれぞれサブカメラ2bで撮像した撮像画像の対応する画素ブロックがステレオマッチング処理により見出され、各画素ブロックごとに視差が算出される。この視差の算出については、前記各公報に詳述されている。
【0046】
この視差と実空間上の位置とは三角測量の原理に基づいて対応付けることができ、具体的には、視差をdp、画素ブロックの基準画像T上の座標を(i,j)とし、実空間上で、メインカメラ2aおよびサブカメラ2bの中央真下の道路面上の点を原点とし、自車両の車幅方向すなわち左右方向にX軸、車高方向にY軸、車長方向すなわち距離方向にZ軸を取ると、実空間上の点(X,Y,Z)と、視差dpと画素ブロックの基準画像T上の座標(i,j)との関係は、
X=CD/2+Z×PW×(i−IV) …(1)
Y=CH+Z×PW×(j−JV) …(2)
Z=CD/(PW×(dp−DP)) …(3)
で表すことができる。
【0047】
ここで、CDはメインカメラ2aとサブカメラ2bとの間隔、PWは1画素当たりの視野角、CHはメインカメラ2aとサブカメラ2bの取り付け高さ、IVおよびJVは自車両正面の無限遠点のi座標およびj座標、DPは消失点視差とも呼ばれるオフセット量を表す。
【0048】
画像処理手段6は、基準画像Tの各画素ブロックに視差dpを割り当てて距離データメモリ8に格納するとともに、それらの視差dpの情報を処理手段10に送信するようになっている。なお、以下、基準画像の各画素ブロックに視差dpが割り当てられて形成された画像を距離画像Tzという。距離画像Tzは、図3に示すように各画素ブロックに視差dpが割り当てられた画像状のデータである。
【0049】
なお、本実施形態の他にも、自車両と先行車両との距離Zの測定については、例えば自車両前方にレーザ光や赤外線等を照射してその反射光の情報に基づいて物体までの距離Zを測定するレーダ装置等で構成することも可能であり、物体の位置情報の収集の手法は特定の手法に限定されない。
【0050】
処理手段10(図1参照)は、図示しないCPUやROM、RAM、入出力インターフェース等がバスに接続されて構成されるコンピュータに構成されている。また、処理手段10には、車速センサやヨーレートセンサ、ステアリングホイールの舵角を測定する舵角センサ等のセンサ類Qが接続されている。なお、ヨーレートセンサの代わりに自車両の車速等からヨーレートを推定する装置等を用いることも可能である。
【0051】
処理手段10は、本実施形態における撮像手段2の調整装置であり、トンネル内走行検出手段12と、明るさ検出手段13と、調整手段14とを備えており、さらに図示しないメモリを備えている。また、本実施形態では、処理手段10は、先行車両検出手段11を備えている。さらに、処理手段10の各手段には、センサ類Qから必要なデータが入力されるようになっている。
【0052】
まず、先行車両検出手段11について説明する。先行車両検出手段11は、撮像手段2により撮像された基準画像T中から物体を検出するようになっており、検出した物体の中から先行車両を検出するようになっている。このように、本実施形態では、先行車両検出手段11は基準画像T中から自車両の周囲に存在する物体を検出する物体検出手段をも兼ねており、先行車両検出手段11が検出した先行車両や物体の情報は、車外監視装置1から出力されて、他の装置で利用されるようになっている。
【0053】
本実施形態では、先行車両検出手段11における基準画像T中からの物体検出処理は、前記各公報に記載された車外監視装置等をベースに構成されている。以下、簡単に説明する。
【0054】
先行車両検出手段11は、物体検出処理において、図3に示した距離画像Tzを図示しない所定幅の縦方向の短冊状の区分に分割し、各区分ごとに各区分に含まれる視差dpのうち道路面より上方に存在する視差dpに関するヒストグラムをそれぞれ設けて、その最頻値をその区分の視差dpとする。これを全区分についてそれぞれ行う。このように、本実施形態では、道路面より上方に存在する物体のみが検出されるが、車線等の道路面の標示を同時に検出し、あるいは別途検出するように構成することも可能である。
【0055】
そして、先行車両検出手段11は、各区分の視差dpに基づいて前記(1)〜(3)式から物体の実空間上の座標(X,Y,Z)を算出するようになっている。算出された物体の座標を実空間上にプロットすると、各物体の座標は図4に示すように前方の物体の自車両Aに面した部分に対応する部分に多少ばらつきを持って各点としてプロットされる。
【0056】
先行車両検出手段11は、このようにプロットされる各点について、実空間上の各点の隣接する点とのX軸方向の距離やZ軸方向の距離、グループ化した場合の左端の点から右端の点までのX軸方向の全長等を検索しながら、それらの値がそれぞれ設定された閾値以内である点をそれぞれグループにまとめ、図5に示すようにそれぞれのグループ内の各点を直線近似して物体を検出するようになっている。
【0057】
また、本実施形態では、先行車両検出手段11は、このようにして検出した各物体を図6に示すように基準画像T上で矩形状の枠線で包囲するようにして検出するようになっている。なお、図5や図6において、ラベルOやラベルSは物体の自車両Aに対向する面の種別を表し、ラベルOは物体の背面、ラベルSは物体の側面が検出されていることを表す。
【0058】
続いて、先行車両検出手段11は、先行車両検出においては、まず、図7に示すように自車両Aの挙動に基づいて自車両Aが今後進行するであろう軌跡を走行軌跡Lestとして推定し、その走行軌跡Lestを中心とする自車両Aの車幅分の領域を自車両Aの進行路Restとして算出するようになっている。自車両Aの走行軌跡Lestは、自車両Aの車速Vやヨーレートγ、ステアリングホイールの舵角δ等に基づいて下記(4)式または下記(5)、(6)式に従って算出される自車両Aの旋回曲率Cuaに基づいて算出することができる。なお、下記の各式におけるReは旋回半径、Asfは車両のスタビリティファクタ、Lwbはホイールベースである。
Cua=γ/V …(4)
Re=(1+Asf・V2)・(Lwb/δ) …(5)
Cua=1/Re …(6)
【0059】
そして、先行車両検出手段11は、自車両Aの進行路Rest上に存在する物体の中で自車両Aに最も近接する物体を自車両Aの前方を走行する先行車両として検出するようになっている。例えば図6や図7では、車両O3が先行車両Vahとして検出される。
【0060】
なお、本実施形態では、先行車両検出手段11は、前回のサンプリング周期で検出した先行車両と今回のサンプリング周期で先行車両として検出した物体とが同一の立体物である確率を算出するなどして、整合性を保ちながら先行車両を追跡するようになっている。また、先行車両検出手段11は、検出した先行車両が自車両の前方から離脱してさらにその前方の車両が新たに先行車両となったり、自車両と先行車両との間に他の車両が割り込んできて当該他の車両が新たな先行車両となることによる先行車両の交替を検出できるようになっている。
【0061】
トンネル内走行検出手段12(図1参照)は、自車両がトンネル内を走行中であることを検出するようになっている。本実施形態では、トンネル内走行検出手段12は、まず、撮像手段2から送信されてくる撮像手段2の露光量の調整の度合を表すシャッタレベルSLの値を監視し、撮像手段2のシャッタレベルSLの値等に基づいて、自車両がどのような環境の下で走行しているかを判定するようになっている。
【0062】
具体的には、本実施形態では、トンネル内走行検出手段12は、自車両の走行状態を、図8に示すような「通常状態」、「強い日差し状態」および「トンネル内走行状態」の3つの状態のいずれかの状態として把握するようになっている。そして、自車両の走行状態が通常の走行状態にある場合には「通常状態」にあるとしてフラグFを0にセットする。
【0063】
また、自車両の走行状態が「通常状態」(F=0)にある状態で、シャッタレベルSLが所定の閾値以上の高い状態が所定時間以上連続した場合には、トンネル内走行検出手段12は、自車両の走行状態を、強い日差しの中を走行している状態である「強い日差し状態」に遷移させてフラグFを1にセットする(図8の矢印I参照)。この状態で、シャッタレベルSLが前記閾値を下回る状態が続いた場合には、自車両の走行状態は「強い日差し状態」(F=1)から「通常状態」(F=0)に遷移されてフラグFが切り換えられる(図8の矢印II参照)。
【0064】
また、自車両の走行状態が「強い日差し状態」(F=1)にある状態で、シャッタレベルSLが前記閾値よりも低い値に設定された別の閾値以下の状態、すなわち強い日差しの中を走行していた状態から急に暗い環境の中を走行する状態になった場合には、トンネル内走行検出手段12は、自車両がトンネル内に進入したと判定して、自車両の走行状態を「トンネル内走行状態」に遷移させてフラグFを2にセットする(図8の矢印III参照)。この状態で、シャッタレベルSLが先の高い値の方の閾値以上の状態が続いた場合には、トンネル内走行検出手段12は、自車両がトンネルから退出したと判定して、自車両の走行状態を「トンネル内走行状態」(F=2)から「強い日差し状態」(F=1)に遷移させてフラグFを切り換える(図8の矢印IV参照)。
【0065】
なお、「トンネル内走行状態」(F=2)が異常に長い時間連続する場合には、トンネル内走行検出手段12は、自車両がトンネル内を走行しているわけではないと判定して、自車両の走行状態を「通常状態」(F=0)に遷移させてフラグFを切り換えるようになっている(図8の矢印V参照)。また、自車両の走行状態は「通常状態」(F=0)から「トンネル内走行状態」(F=2)には遷移しないようになっている。
【0066】
本実施形態では、トンネル内走行検出手段12は、上記のように、撮像手段2から送信されてくるシャッタレベルSLの値等に応じて、自車両の走行状態を「強い日差し状態」(F=1)から「トンネル内走行状態」に遷移させて(図8の矢印III参照)、フラグFを2にセットすることで、自車両がトンネル内を走行中であることを検出するようになっている。
【0067】
このように、本実施形態では、自車両の走行状態は一旦「強い日差し状態」(F=1)になった後でないと「トンネル内走行状態」(F=2)に遷移しない。例えば自車両の走行状態が「通常状態」(F=0)にある状態でトンネル内に進入してもトンネル内を走行中であるとは認識しない。このように構成するのは、図24や図26に示したようにトンネル外側の強い外光により先行車両の背面が黒く撮像されたり先行車両がトンネルを退出した瞬間に白く見えて輝度がほとんど飽和してしまうという問題は、トンネルの外側での日差しが強い場合に生じるという本願発明者らの知見に基づく。
【0068】
本願発明者らの知見によれば、トンネルの外側の日差しが弱かったり曇天や雨天である場合のようにトンネル外側が比較的暗い場合には、図24や図26に示したような問題はほとんど発生しない。そのため、自車両がトンネル内を走行している場合でも、後述するような撮像手段2に対する本願発明に特有の調整を行う必要はなく、通常の露光調整で先行車両を十分に検出することができる。従って、本発明に特有の調整を作動させるために必要な、自車両がトンネル内を走行中であるか否かの判定は、トンネルの外側での日差しが強い場合にのみ行えば十分であることが分かっている。
【0069】
明るさ検出手段13(図1参照)は、基準画像T上に設定した監視領域に属する画素の輝度に基づいて当該監視領域の明るさを検出するようになっている。この明るさ検出は、常時行われるようになっている。
【0070】
本実施形態では、この監視領域Rとして、図9に示すように、基準画像T上の上方と下方にそれぞれ上方監視領域R1と下方監視領域R2が設定されるようになっている。また、上方監視領域R1は、自車両がトンネル内を走行しトンネルの出口付近に達した際に基準画像T上にトンネルの出口が撮像される画像部分に設定され、下方監視領域R2は、その下方の、基準画像T上に主に道路面が撮像される画像部分に設定されるようになっている。
【0071】
また、明るさ検出手段13は、ヒストグラムH2を作成し、図10に例示するように、下方監視領域R2に属する各画素の輝度について輝度分布を求めるようになっている。また、上方監視領域R1についても同様に、図示を省略するヒストグラムを作成して上方監視領域R1に属する各画素の輝度について輝度分布を求めるようになっている。
【0072】
明るさ検出手段13は、このようにして求めた下方監視領域R2と上方監視領域R1にそれぞれ属する各画素の輝度分布を各階級ごとに合算して、図11に例示するような全監視領域Rについての輝度分布を求めるようになっており、本実施形態では、全監視領域Rに属する各画素の輝度の平均値を、この監視領域Rの明るさとして算出するようになっている。なお、図10や図11では、ヒストグラムの階級数が10の場合を示したが、階級数や階級幅は適宜決められる。
【0073】
調整手段14(図1参照)は、トンネル内走行検出手段12により自車両がトンネル内を走行中であることが検出されていない場合、すなわち自車両の走行状態が「通常状態」(F=0)であるか或いは「強い日差し状態」(F=1)である場合には、明るさ検出手段13が検出した監視領域R全体の明るさに基づいて、撮像手段2の露光量と撮像手段2から出力される画素の輝度との少なくとも一方(以下、撮像手段2の露光量等という。)を調整する信号を撮像手段2に出力して調整するようになっている。なお、撮像手段2の露光量と撮像手段2から出力される画素の輝度のいずれを調整するか、或いはそれらを両方とも調整するかは、実際に用いられる撮像手段2の構成等に基づいて適宜決定される。
【0074】
一方、調整手段14は、トンネル内走行検出手段12により自車両がトンネル内を走行中であることが検出されている間、すなわち自車両の走行状態が「トンネル内走行状態」(F=2)である間は、上記とは異なり、本発明に特有の調整を行うように構成されている。すなわち、この場合、調整手段14は、上記のように監視領域R全体の明るさに基づいて調整を行う代わりに、監視領域Rに属する画素の輝度のうち所定の第1輝度pth1以上の輝度を除外した輝度分布に基づいて撮像手段2の露光量等を調整する信号を撮像手段2に出力して調整するようになっている。
【0075】
具体的には、本実施形態では、調整手段14は、この場合、上方監視領域R1については、明るさ検出手段13が求めた上方監視領域R1に属する各画素の輝度についての輝度分布のうち、所定の第1輝度pth1以上の輝度を除外した輝度分布を求める。また、下方監視領域R2については明るさ検出手段13が求めた下方監視領域R2の輝度分布を用いる。そして、それらをあわせた輝度分布から算出した輝度の平均値に基づいて前記調整を行うようになっている。
【0076】
例えば、仮に、自車両がトンネル内を走行中に撮像された基準画像Tの下方監視領域R2と上方監視領域R1の輝度分布をあわせた輝度分布が図11に示したような輝度分布であったとすると、調整手段14は、上方監視領域R1の輝度分布の中から第1輝度pth1以上の輝度を除外した輝度分布を求め、それを下方監視領域R2の輝度分布とあわせて図12に示す輝度分布を得る。そして、この輝度分布から輝度の平均値を算出し、それに基づいて撮像手段2の前記調整を行うようになっている。
【0077】
また、本実施形態では、調整手段14は、先行車両検出手段11が基準画像T上に検出した先行車両を包囲する枠線(例えば図6では先行車両O3(Vah)を包囲する枠線)を先行車両Vahの検出領域として、その検出領域に属する各画素の輝度に基づいて上記の本発明に特有の調整を解除するようになっている。
【0078】
調整手段14は、本発明に特有の調整を解除した後は、自車両がトンネル内を走行中であっても、すなわち自車両の走行状態が「トンネル内走行状態」(F=2)であっても、「通常状態」(F=0)や「強い日差し状態」(F=1)である場合と同様に、明るさ検出手段13が検出した監視領域R全体の明るさに基づいて撮像手段2に対する調整を行うようになっている。
【0079】
上記のように、本発明に特有の調整の解除条件は、先行車両Vahの検出領域に属する各画素の輝度、すなわち簡単に言えば先行車両Vahの明るさに基づいて決定されるようになっている。具体的には、本実施形態では、調整手段14は、先行車両Vahの検出領域に属する各画素の輝度の平均値が所定の閾値以上になった場合に、前記調整を解除するようになっている。
【0080】
次に、本実施形態に係る撮像手段の調整装置である処理手段10および車外監視装置1の作用について説明する。
【0081】
処理手段10の先行車両検出手段11(図1参照)は、常時、すなわちトンネル内走行検出手段12が自車両の走行状態を図8に示した「通常状態」(F=0)、「強い日差し状態」(F=1)および「トンネル内走行状態」(F=2)のいずれかの状態にあると判定している場合においても、自車両の周囲の物体検出および先行車両検出を継続して行う。
【0082】
また、明るさ検出手段13(図1参照)も、常時、上方監視領域R1と下方監視領域R2にそれぞれ属する画素の輝度について、各々ヒストグラムを作成して、それぞれ各輝度分布を求める作業を継続して行う。また、明るさ検出手段13は、上方監視領域R1の輝度分布と下方監視領域R2の輝度分布とをあわせた監視領域R全体の輝度分布(図11参照)から輝度の平均値を算出し、監視領域Rの明るさとして出力する。監視領域Rの明るさの算出、出力は、調整手段14が本発明に特有の調整を開始しそれを解除するまでの間は行わないように構成することも可能である。
【0083】
一方、トンネル内走行検出手段12が自車両の走行状態を「通常状態」または「強い日差し状態」にあると判定している間、すなわち前述したフラグFが0か1である間は、調整手段14(図1参照)は、明るさ検出手段13が検出した監視領域Rの明るさに基づいて撮像手段2の露光量等を調整する信号を撮像手段2に出力して調整する。
【0084】
また、調整手段14は、フラグFが2であればトンネル内走行検出手段12により自車両がトンネル内を走行中であることが検出されていると判断して、本発明に特有の調整を行うようにモードを切り換える。
【0085】
自車両がトンネル内を走行していて、まだトンネルの出口から遠い場所を走行している場合には、通常、トンネルの内部は暗いため、基準画像Tにおいて主に道路面が撮像される画像部分に設定される下方監視領域R2に属する各画素の輝度分布は、図13のヒストグラムH2に示すように、一般的に、低輝度の階級で度数が大きくなるような分布となる。
【0086】
また、基準画像Tにおいて、トンネルの出口が撮像される画像部分に設定される上方監視領域R1には、まだこの段階ではトンネルの出口は撮像されておらず、或いは撮像されていてもごく小さくしか撮像されていない。そのため、上方監視領域R1には、主にトンネルの天井部分や照明等が撮像されるが、トンネルの内部ではそれらもそれほど明るくないため、上方監視領域R1に属する各画素の輝度分布は、図14のヒストグラムH1に示すように、一般的に、低輝度の階級や中間の階級で度数が大きくなるような分布となる。
【0087】
しかし、前述したように、自車両がトンネル内を走行中でありフラグFが2の場合には、上方監視領域R1については図14に示した輝度分布のうち第1輝度pth1以上の輝度を除外した輝度分布とされ、それと下方監視領域R2の輝度分布とがあわせられて、図15に示す輝度分布が得られる。
【0088】
そして、調整手段14は、図15のヒストグラムHに示す輝度分布から輝度の平均値を算出し、算出した輝度の平均値に基づいて撮像手段2の露光量等を調整する信号を撮像手段2に出力して調整する。
【0089】
図13〜図15に示した例では、上方監視領域R1に属する各画素の輝度のうち第1輝度pth1以上の輝度がそもそも少ないため、それらの輝度を除いた輝度で平均値を求めても監視領域R全体で平均値を求めた場合とさほど変わらない。そして、調整手段14は、撮像手段2の露光量を多くし或いは撮像手段2から出力される画素の輝度を大きくするように調整するため、先行車両検出手段11は、自車両の周囲の物体検出や先行車両検出を的確に行うことができる。
【0090】
一方、自車両がトンネル内を走行していて、先行車両Vahがトンネルの出口付近に差し掛かると、撮像手段2の露光量や撮像手段2から出力される画素の輝度に対する通常の調整を行うと図24に示したような基準画像Tが撮像される。
【0091】
この状況で、図16に示すように基準画像Tに設定された下方監視領域R2に属する各画素の輝度分布は、図17のヒストグラムH2に示すように低輝度の階級で度数が大きくなり、高輝度の階級でも多少度数が大きくなるような分布となる。低輝度の階級は主に道路面の輝度に対応し、高輝度の階級は道路面やトンネルの壁面等に差し込んだ外光等の輝度に対応している。
【0092】
それに対し、図16に示すように基準画像Tに設定された上方監視領域R1に属する各画素の輝度分布は、図18のヒストグラムH1に示すように、高輝度の階級に度数が集中し、低輝度の階級でも多少度数が大きくなるような分布となる。高輝度の階級はトンネル外側の外光の輝度やトンネルの壁面等に差し込んだ外光等に対応し、低輝度の階級の輝度は先行車両等の輝度に対応している。
【0093】
図17に示す下方監視領域R2に属する各画素の輝度分布と、図18に示す上方監視領域R1に属する各画素の輝度分布を単純に足し合わせると、図19のヒストグラムH*に示すように、高輝度の階級と低輝度の階級にそれぞれピークを有する輝度分布となり、輝度の平均値(すなわち監視領域Rの明るさ)は2つのピークの略中間の輝度となる。そして、この状態では、前述した従来例に示したように、先行車両Vahが黒く撮像されて、その背面に撮像されるべき窓ガラスやバンパやナンバープレート等の構造が見えなくなり、先行車両Vahを的確に検出できない現象が生じる場合がある。
【0094】
しかし、本実施形態のように、上方監視領域R1について図18のヒストグラムH1に示した輝度分布のうち第1輝度pth1以上の輝度を除外した輝度分布とし、それと下方監視領域R2の輝度分布とをあわせると、図20のヒストグラムHに示す輝度分布が得られる。
【0095】
この場合、輝度分布は、上方監視領域R1の第1輝度pth1以上の高輝度の分布が除外されるため、低輝度の階級に大きなピークを有する輝度分布となり、調整手段14は、輝度の平均値として図19のヒストグラムH*の場合よりも大きく低輝度側にずれた値を算出する。そのため、調整手段14は、撮像手段2の露光量を多くし或いは撮像手段2から出力される画素の輝度を大きくするように、撮像手段2の露光量等を調整する信号を撮像手段2に出力して調整する。
【0096】
その結果、図21に示すように、トンネルの外側の空間の輝度はほぼ飽和状態となり何も見えなくなるが、トンネル内部や先行車両Vahの輝度が高くなり、先行車両Vahの背面の窓ガラスやバンパやナンバープレート等の構造が見えるようになる。そのため、ステレオマッチング処理を有効に行うことが可能となり、先行車両検出手段11はトンネルの出口付近でも先行車両Vahを的確に検出することが可能となる。
【0097】
また、図16や図21では、図示を省略したが、調整手段14は、図22に示すように、先行車両検出手段11が基準画像T上に検出した先行車両を包囲する枠線を先行車両Vahの検出領域Rdとして常時設定している。そして、先行車両Vahの検出領域Rdに属する各画素の輝度の平均値が所定の閾値以上になったか否かを常時判断している。
【0098】
図22に示した状態では、先行車両Vahの検出領域Rdに属する各画素の輝度の平均値は所定の閾値未満であるが、図26に示したように、先行車両Vahがトンネルを退出した瞬間に先行車両Vahの検出領域Rdに属する各画素の輝度の平均値が一挙に大きくなり、所定の閾値を越える。
【0099】
この段階で、調整手段14は、上方監視領域R1の輝度分布から第1輝度pth1以上の輝度を除外した輝度分布と下方監視領域R2の輝度分布とをあわせた輝度分布(図20等参照)に基づく前記本発明に特有の調整を解除して、明るさ検出手段13が上方監視領域R1および下方監視領域R2の全輝度分布から検出した監視領域R全体の明るさに基づく通常の調整に戻る。
【0100】
その際、上方監視領域R1と下方監視領域R2の輝度分布とをあわせた輝度分布の平均値は、図20のヒストグラムHに示したように大きく低輝度側にずれた状態から図19のヒストグラムH*に示したように高輝度の階級と低輝度の階級に各ピークの略中間の輝度になる。そして、調整手段14は、撮像手段2の露光量を多くし或いは撮像手段2から出力される画素の輝度を大きくするように指示するために出力していた信号を、撮像手段2の露光量をより少なくし或いは撮像手段2から出力される画素の輝度をより小さくするように指示する信号に切り換えて出力して調整する。
【0101】
そのため、先行車両Vahがトンネルを退出した瞬間には、図26に示したように先行車両Vahは白く眩しく撮像されてしまい、先行車両Vahが検出できなくなる場合があるが、次のサンプリング周期では、図23に示すように、トンネルの内部の輝度が下がり暗くなるが、先行車両Vahも白く眩しく見えた状態から輝度が下がり、先行車両Vahの背面の窓ガラスやバンパやナンバープレート等の構造も見えるようになる。そのため、ステレオマッチング処理を有効に行うことが可能となり、先行車両検出手段11はトンネルを退出した先行車両Vahを的確に検出することが可能となる。
【0102】
また、撮像手段2の調整装置である処理手段10の上記の強制的な調整により、撮像手段2の露光量等が適切に調整されるため、車外監視装置1は、トンネル内を走行中或いはトンネルを退出した後の先行車両Vah等の物体を基準画像T中から的確に検出して車外を監視することが可能となる。
【0103】
以上のように、本実施形態に係る撮像手段の調整装置10(処理手段10)によれば、自車両がトンネル内を走行中であることを的確に把握したうえで、自車両がトンネル内を走行している状態でトンネルの出口に接近した場合に、トンネルの外側の外光が撮像されて撮像画像(基準画像T)上に生じる高輝度の輝度分布を除外した輝度分布を形成し、それに基づいて、すなわち外光による高輝度の画素をいわば無視して、トンネル内部が撮像されている低輝度の画素にあわせて撮像手段2の露光量や撮像手段2から出力される画素の輝度を強制的に調整する。
【0104】
そのため、トンネル内の暗さにあわせて撮像手段2の露光量を多くし或いは撮像手段2から出力される画素の輝度を大きくするように調整されるため、自車両や先行車両がトンネル内を走行中もトンネル退出後も撮像手段に対して適切に強制的な露光量等の調整を行うことが可能となる。また、それにより、トンネルの出口付近にいる先行車両Vahの輝度が高くなり、その前方に強い外光が存在しても先行車両Vahの背面の窓ガラスやバンパやナンバープレート等の構造が見えるようになるため、ステレオマッチング処理を有効に行うことが可能となり、先行車両検出手段11が先行車両Vahを的確に検出することが可能となる。
【0105】
また、先行車両Vahがトンネルを退出した瞬間に先行車両Vahの検出領域Rdに属する各画素の輝度の平均値が一挙に大きくなって所定の閾値を越えた場合には、先行車両Vahの検出領域Rdに属する各画素の輝度に基づいて上記の本発明に特有の調整を解除して監視領域R全体の明るさに基づく通常の調整に戻す。
【0106】
それにより、それまでトンネル内の暗さにあわせて撮像手段2の露光量を多くし或いは撮像手段2から出力される画素の輝度を大きくするように調整されていたが、今度は、トンネル外側の外光もすべて踏まえて調整が行われるため、撮像手段2の露光量を少なくし或いは撮像手段2から出力される画素の輝度を小さくするように調整される。
【0107】
そのため、先行車両Vahの検出領域Rdの輝度が下がり、白く眩しく撮像されていた先行車両Vahの背面の窓ガラスやバンパやナンバープレート等の構造も見えるようになる。このように、先行車両Vahのトンネル退出時に先行車両Vahの輝度が瞬間的に大きくなる場合にも、先行車両Vahの輝度を的確に低下させることができる。そのため、ステレオマッチング処理を有効に行うことが可能となり、先行車両検出手段11はトンネルを退出した先行車両Vahを的確に検出することが可能となる。
【0108】
また、本実施形態に係る車外監視装置1によれば、上記のような撮像手段の調整装置10(処理手段10)を備えているため、撮像手段の調整装置10により自車両や先行車両Vahがトンネル内を走行中もトンネル退出後も撮像手段2に対して適切に強制的な露光量等の調整が行われる。そのため、例えばトンネルの出口付近にいる先行車両Vahの輝度を高くし、その前方に強い外光が存在しても先行車両Vahの背面の窓ガラスやバンパやナンバープレート等の構造が見えるように調整される。
【0109】
そのため、撮像手段2により撮像された基準画像T等に対するステレオマッチング処理を有効に行うことが可能となり、基準画像T中から的確に物体を検出して自車両の車外を的確に監視することが可能となる。
【0110】
なお、本実施形態では、撮像画像(基準画像T)上に監視領域Rを設定して、それに属する各画素の輝度を調べて輝度分布を求めている。これを上記のような撮像手段2の露光量等の調整に活用するだけでなく、この他にも、例えば、撮像画像中に検出された物体や先行車両Vahの自車両に対する相対速度の平滑化フィルタ処理等に活用することができる。
【0111】
本実施形態の撮像手段の調整装置10(処理手段10)や車外監視装置1では、自車両を先行車両Vahに追従させる制御(先行車両追従制御)に資するため、処理手段10の先行車両検出手段11では、先行車両Vahを検出すると、その視差dpから前記(3)式に従って算出される自車両と先行車両Vahとの距離Z等をサンプリング周期ごとに更新して、自車両に対する先行車両Vahの位置を常時監視するようになっている。
【0112】
その際、検出される距離Z等のデータがサンプリング周期ごとにばらつく、いわゆる暴れが生じる場合があるため、本実施形態では、各サンプリング周期ごとに算出されるデータ自体で以前のデータを更新するのではなく、例えば距離Zについては下記(7)式に従って加算割合により重み付け加算する平滑化フィルタ処理により距離Zを算出してデータを更新するようになっている。
Z=(1−P)×Zold+P×Znew …(7)
【0113】
ここで、Znewは今回のサンプリング周期で検出された距離Z、Zoldは前回のサンプリング周期で上記(7)式により算出された距離Zすなわち(7)式左辺のZ、Pは加算割合を表す。
【0114】
しかし、上記のように、本実施形態に係る撮像手段の調整装置10(処理手段10)や車外監視装置1ではトンネル退出時前後の先行車両Vahを的確に検出できるとはいえ、トンネル外側の外光の影響を完全に遮断することは難しく、例えば検出された先行車両Vahの自車両との距離Zの情報は信頼性が必ずしも高いとは言えない。
【0115】
そのため、本実施形態では、調整手段14は、トンネル内走行検出手段12により自車両がトンネル内を走行中であることが検出されている間に、上方監視領域R1に属する各画素の輝度について明るさ検出手段13が作成したヒストグラムH1の輝度分布において、所定の第2輝度pth2以上の輝度を有する画素が所定個数以上存在する場合に、撮像画像(基準画像T)中にトンネルの出口が撮像されていると判断して、自車両がトンネルの出口付近を走行中であることを検出するように構成されている。
【0116】
そして、自車両がトンネルの出口付近を走行中であることを検出すると、調整手段14は、上記の先行車両Vahの自車両との距離Zの情報等のデータを更新する際の平滑化フィルタ処理における今回検出したデータの加算割合、すなわち上記の距離Zの例では加算割合Pを低下させるようになっている。
【0117】
このように構成することで、自車両や先行車両Vahがトンネルの出口付近を走行中であることを的確に検出することが可能となるとともに、信頼性が必ずしも高くないデータの加算割合(重み)を低下させて平滑化フィルタ処理を行うことで、データの信頼性を低下させずに維持することが可能となる。
【0118】
なお、所定の第2輝度pth2は、上記の第1輝度pth1と同じ値に設定してもよく、また、異なる値に設定することも可能である。
【図面の簡単な説明】
【0119】
【図1】本実施形態に係る撮像手段の調整装置を含む車外監視装置の構成を示すブロック図である。
【図2】基準画像の一例を示す図である。
【図3】図2の基準画像等に基づいて形成された距離画像を示す図である。
【図4】区分ごとの距離を実空間上にプロットした各点を表す図である。
【図5】図4の各点に基づいて実空間上に検出された物体を表す図である。
【図6】基準画像上に枠線で包囲されて検出された各物体および先行車両を表す図である。
【図7】実空間上の自車両の走行軌跡、進行路および先行車両を表す図である。
【図8】自車両の走行状態を表す3つの状態、フラグの値および遷移のしかたを表す図である。
【図9】基準画像上に設定される監視領域、上方監視領域および下方監視領域を表す図である。
【図10】下方監視領域の輝度分布の例を表すヒストグラムである。
【図11】上方監視領域と下方監視領域の各輝度分布を合算して求められる全監視領域についての輝度分布の例を表すヒストグラムである。
【図12】図11のヒストグラムにおいて上方監視領域の輝度分布の中から第1輝度以上の輝度を除外した輝度分布と下方監視領域の輝度分布とを合算して求められる輝度分布を表すヒストグラムである。
【図13】トンネル内走行中における下方監視領域の輝度分布の例を表すヒストグラムである。
【図14】トンネル内走行中における上方監視領域の輝度分布の例を表すヒストグラムである。
【図15】図13の下方監視領域の輝度分布と図14の上方監視領域の輝度分布の中から第1輝度以上の輝度を除外した輝度分布とを合算して得られる輝度分布を表すヒストグラムである。
【図16】トンネルの出口付近に差し掛かった先行車両が撮像された基準画像上に設定された上方監視領域および下方監視領域を表す図である。
【図17】図16の下方監視領域の輝度分布の例を表すヒストグラムである。
【図18】図16の上方監視領域の輝度分布の例を表すヒストグラムである。
【図19】図17の下方監視領域の輝度分布と図18の上方監視領域の輝度分布とを合算して得られる輝度分布を表すヒストグラムである。
【図20】図17の下方監視領域の輝度分布と図18の上方監視領域の輝度分布の中から第1輝度以上の輝度を除外した輝度分布とを合算して得られる輝度分布を表すヒストグラムである。
【図21】図16の状態で本発明に特有の調整を作動させて得られる基準画像を表す図である。
【図22】図21の基準画像上に設定される先行車両の検出領域を表す図である。
【図23】トンネルを退出した後に検出された先行車両と先行車両の検出領域とを表す図である。
【図24】トンネル退出時に外光によって基準画像上に黒く撮像された先行車両を表す図である。
【図25】図24の基準画像上で先行車両の左右端部分が別の2つの物体として検出された状態を説明する図である。
【図26】トンネル退出直後に外光によって基準画像上に白く眩しく撮像された先行車両を表す図である。
【符号の説明】
【0120】
1 車外監視装置
2 撮像手段
10 撮像手段の調整装置(処理手段)
11 先行車両検出手段
12 トンネル内走行検出手段
13 明るさ検出手段
14 調整手段
A 自車両
P 加算割合
pth1 第1輝度
pth2 第2輝度
R 監視領域
R1 上方監視領域
R2 下方監視領域
Rd 検出領域
T 撮像画像(基準画像)
Vah 先行車両
【特許請求の範囲】
【請求項1】
自車両がトンネル内を走行中であることを検出するトンネル内走行検出手段と、
撮像手段により撮像された撮像画像上に設定された監視領域に属する画素の輝度に基づいて当該監視領域の明るさを検出する明るさ検出手段と、
前記監視領域の明るさに基づいて前記撮像手段の露光量と前記撮像手段から出力される画素の輝度との少なくとも一方の調整を行う調整手段と、を備え、
前記調整手段は、前記トンネル内走行検出手段により自車両がトンネル内を走行中であることが検出されている間は、前記監視領域の明るさに代えて、前記監視領域に属する画素の輝度のうち所定の第1輝度以上の輝度を除外した輝度分布に基づいて前記調整を行うことを特徴とする撮像手段の調整装置。
【請求項2】
前記トンネル内走行検出手段は、前記撮像手段の露光量の調整の度合に基づいて、自車両がトンネル内を走行中であることを検出することを特徴とする請求項1に記載の撮像手段の調整装置。
【請求項3】
前記監視領域は、前記撮像画像上で道路面が撮像される下方監視領域と、前記撮像画像上で当該下方監視領域の上方に設定される上方監視領域とよりなり、
前記調整手段は、前記トンネル内走行検出手段により自車両がトンネル内を走行中であることが検出されている間は、前記監視領域の明るさに代えて、前記上方監視領域について前記上方監視領域に属する画素の輝度のうち前記第1輝度以上の輝度を除外した輝度分布を求め、前記上方監視領域における当該輝度分布と前記下方監視領域における全輝度分布とをあわせた輝度分布に基づいて前記調整を行うことを特徴とする請求項1または請求項2に記載の撮像手段の調整装置。
【請求項4】
前記明るさ検出手段は、前記上方監視領域および前記下方監視領域にそれぞれ属する各画素の輝度についてそれぞれ前記第1輝度以上の輝度を除外しない全輝度分布を検出することを特徴とする請求項3に記載の撮像手段の調整装置。
【請求項5】
前記上方監視領域は、前記撮像画像上でトンネルの出口が撮像される画像部分に設定されることを特徴とする請求項3または請求項4に記載の撮像手段の調整装置。
【請求項6】
前記調整手段は、前記トンネル内走行検出手段により自車両がトンネル内を走行中であることが検出されている間に、前記上方監視領域に属する画素の輝度のうち所定の第2輝度以上の輝度を有する画素が所定個数以上存在する場合に、自車両がトンネルの出口付近を走行中であることを検出することを特徴とする請求項3から請求項5のいずれか一項に記載の撮像手段の調整装置。
【請求項7】
前記調整手段は、自車両がトンネルの出口付近を走行中であることを検出すると、データを更新する際に加算割合により重み付け加算して行う平滑化フィルタ処理における今回検出したデータの加算割合を低下させることを特徴とする請求項6に記載の撮像手段の調整装置。
【請求項8】
前記撮像画像中から自車両の前方を走行する先行車両を検出する先行車両検出手段をさらに備え、
前記調整手段は、検出された前記先行車両が撮像されている前記撮像画像中の検出領域に属する画素の輝度に基づいて前記トンネル内走行検出手段により自車両がトンネル内を走行中であることが検出されている間に行う前記調整を解除し、前記監視領域の明るさに基づく前記調整を行うことを特徴とする請求項1から請求項7のいずれか一項に記載の撮像手段の調整装置。
【請求項9】
前記調整手段は、検出された前記先行車両が撮像されている前記撮像画像中の検出領域に属する画素の輝度の平均値が所定の閾値以上になった場合に、前記トンネル内走行検出手段により自車両がトンネル内を走行中であることが検出されている間であっても、その間に行う前記調整を解除することを特徴とする請求項8に記載の撮像手段の調整装置。
【請求項10】
自車両の周囲を撮像する撮像手段と、
請求項1から請求項9のいずれか一項に記載の撮像手段の調整装置と、を備え、
前記撮像手段の調整装置により前記撮像手段の露光量と前記撮像手段から出力される画素の輝度の少なくとも一方の調整が行われる前記撮像手段により撮像された画像中から物体を検出して車外を監視することを特徴とする車外監視装置。
【請求項1】
自車両がトンネル内を走行中であることを検出するトンネル内走行検出手段と、
撮像手段により撮像された撮像画像上に設定された監視領域に属する画素の輝度に基づいて当該監視領域の明るさを検出する明るさ検出手段と、
前記監視領域の明るさに基づいて前記撮像手段の露光量と前記撮像手段から出力される画素の輝度との少なくとも一方の調整を行う調整手段と、を備え、
前記調整手段は、前記トンネル内走行検出手段により自車両がトンネル内を走行中であることが検出されている間は、前記監視領域の明るさに代えて、前記監視領域に属する画素の輝度のうち所定の第1輝度以上の輝度を除外した輝度分布に基づいて前記調整を行うことを特徴とする撮像手段の調整装置。
【請求項2】
前記トンネル内走行検出手段は、前記撮像手段の露光量の調整の度合に基づいて、自車両がトンネル内を走行中であることを検出することを特徴とする請求項1に記載の撮像手段の調整装置。
【請求項3】
前記監視領域は、前記撮像画像上で道路面が撮像される下方監視領域と、前記撮像画像上で当該下方監視領域の上方に設定される上方監視領域とよりなり、
前記調整手段は、前記トンネル内走行検出手段により自車両がトンネル内を走行中であることが検出されている間は、前記監視領域の明るさに代えて、前記上方監視領域について前記上方監視領域に属する画素の輝度のうち前記第1輝度以上の輝度を除外した輝度分布を求め、前記上方監視領域における当該輝度分布と前記下方監視領域における全輝度分布とをあわせた輝度分布に基づいて前記調整を行うことを特徴とする請求項1または請求項2に記載の撮像手段の調整装置。
【請求項4】
前記明るさ検出手段は、前記上方監視領域および前記下方監視領域にそれぞれ属する各画素の輝度についてそれぞれ前記第1輝度以上の輝度を除外しない全輝度分布を検出することを特徴とする請求項3に記載の撮像手段の調整装置。
【請求項5】
前記上方監視領域は、前記撮像画像上でトンネルの出口が撮像される画像部分に設定されることを特徴とする請求項3または請求項4に記載の撮像手段の調整装置。
【請求項6】
前記調整手段は、前記トンネル内走行検出手段により自車両がトンネル内を走行中であることが検出されている間に、前記上方監視領域に属する画素の輝度のうち所定の第2輝度以上の輝度を有する画素が所定個数以上存在する場合に、自車両がトンネルの出口付近を走行中であることを検出することを特徴とする請求項3から請求項5のいずれか一項に記載の撮像手段の調整装置。
【請求項7】
前記調整手段は、自車両がトンネルの出口付近を走行中であることを検出すると、データを更新する際に加算割合により重み付け加算して行う平滑化フィルタ処理における今回検出したデータの加算割合を低下させることを特徴とする請求項6に記載の撮像手段の調整装置。
【請求項8】
前記撮像画像中から自車両の前方を走行する先行車両を検出する先行車両検出手段をさらに備え、
前記調整手段は、検出された前記先行車両が撮像されている前記撮像画像中の検出領域に属する画素の輝度に基づいて前記トンネル内走行検出手段により自車両がトンネル内を走行中であることが検出されている間に行う前記調整を解除し、前記監視領域の明るさに基づく前記調整を行うことを特徴とする請求項1から請求項7のいずれか一項に記載の撮像手段の調整装置。
【請求項9】
前記調整手段は、検出された前記先行車両が撮像されている前記撮像画像中の検出領域に属する画素の輝度の平均値が所定の閾値以上になった場合に、前記トンネル内走行検出手段により自車両がトンネル内を走行中であることが検出されている間であっても、その間に行う前記調整を解除することを特徴とする請求項8に記載の撮像手段の調整装置。
【請求項10】
自車両の周囲を撮像する撮像手段と、
請求項1から請求項9のいずれか一項に記載の撮像手段の調整装置と、を備え、
前記撮像手段の調整装置により前記撮像手段の露光量と前記撮像手段から出力される画素の輝度の少なくとも一方の調整が行われる前記撮像手段により撮像された画像中から物体を検出して車外を監視することを特徴とする車外監視装置。
【図1】
【図2】
【図3】
【図4】
【図5】
【図6】
【図7】
【図8】
【図9】
【図10】
【図11】
【図12】
【図13】
【図14】
【図15】
【図16】
【図17】
【図18】
【図19】
【図20】
【図21】
【図22】
【図23】
【図24】
【図25】
【図26】
【図2】
【図3】
【図4】
【図5】
【図6】
【図7】
【図8】
【図9】
【図10】
【図11】
【図12】
【図13】
【図14】
【図15】
【図16】
【図17】
【図18】
【図19】
【図20】
【図21】
【図22】
【図23】
【図24】
【図25】
【図26】
【公開番号】特開2009−177309(P2009−177309A)
【公開日】平成21年8月6日(2009.8.6)
【国際特許分類】
【出願番号】特願2008−11461(P2008−11461)
【出願日】平成20年1月22日(2008.1.22)
【出願人】(000005348)富士重工業株式会社 (3,010)
【Fターム(参考)】
【公開日】平成21年8月6日(2009.8.6)
【国際特許分類】
【出願日】平成20年1月22日(2008.1.22)
【出願人】(000005348)富士重工業株式会社 (3,010)
【Fターム(参考)】
[ Back to top ]