前方領域検出装置及び車両制御装置
【課題】他車両の灯火か路側物からの反射光かを精度良く判別して、前照灯の照射方向などの好適な自車両の制御を行うことができる前方領域検出装置及び車両制御装置を提供すること。
【解決手段】画像を無限遠点を通る区分ラインで左右に区分し、左領域では画素の輝度の判別のための閾値を高くし、右領域ではその閾値を小さくする。そして、ステップ１００では、前方カメラ１から撮影した画像の各画素のデータを入力する。ステップ１１０では、各画素のデータが、画像の左領域のデータか右領域のデータかを判別する。ステップ１２０では、左領域のデータであるので、その明るさの値が（右領域の閾値Ｂより大きな）閾値Ａ以上か否かを判定する。一方、ステップ１４０では、右領域のデータであるので、その明るさの値が、（左領域の閾値Ａより小さな）閾値Ｂ以上か否かを判定する。
【解決手段】画像を無限遠点を通る区分ラインで左右に区分し、左領域では画素の輝度の判別のための閾値を高くし、右領域ではその閾値を小さくする。そして、ステップ１００では、前方カメラ１から撮影した画像の各画素のデータを入力する。ステップ１１０では、各画素のデータが、画像の左領域のデータか右領域のデータかを判別する。ステップ１２０では、左領域のデータであるので、その明るさの値が（右領域の閾値Ｂより大きな）閾値Ａ以上か否かを判定する。一方、ステップ１４０では、右領域のデータであるので、その明るさの値が、（左領域の閾値Ａより小さな）閾値Ｂ以上か否かを判定する。
【発明の詳細な説明】
【技術分野】
【０００１】
本発明は、例えば他車両の灯火と路側のリフレクタ等からの反射光とを精度良く判別することができる前方領域検出装置、及びその前方領域検出装置による判別結果に基づいて好適に前照灯の配光状態などを制御できる車両制御装置に関する。
【背景技術】
【０００２】
従来より、夜間に車両を走行させる場合には、前照灯（ヘッドライト）を常時ハイビームに設定し、先行車または対向車がある場合には、ロービームに変更する配光制御が知られている（特許文献１参照）。
【０００３】
また、車両の運転状態や周囲の環境に応じて、ヘッドライトの照射状態を精密に制御する配光制御が知られている。例えば、先行車または対向車の車両幅、自車両に対する相対角度や相対距離、自車両の車速やステアリング位置等を検出し、その検出結果に基づいて、ヘッドライトの強度（照射の明るさ）を左右独立に制御したり、ヘッドライトの光軸を左右上下に制御したりすることによって、他車両のドライバが眩惑されることのないように、ヘッドライトの強度や照射範囲を調整する配光制御装置が知られている（特許文献２参照）。
【０００４】
そして、この種の配光制御では、例えばカメラで撮影した画像から、対向車のヘッドライトなどの光（車両の灯火）を認識し、自車両のヘッドライトの制御を行っていた。
【先行技術文献】
【特許文献】
【０００５】
【特許文献１】特許第４０３４５６５号公報
【特許文献２】特開２００４−１６１０８２号公報
【発明の概要】
【発明が解決しようとする課題】
【０００６】
しかし、上述した従来の制御装置では、例えば対向車のヘッドライトやテールライトなどの他車両の灯火を認識する場合に、例えば路側に設定された反射部材（リフレクタ）や看板などからの反射光を、他車両の灯火と誤認識することがあった。
【０００７】
例えば左側通行の場合に、夜間に自車両のヘッドライトを点灯した状態で道路の左側の車線を走行しているとき、特に道路が右方向にカーブする場合などには、路側に設置されたリフレクタ等が極めて明るく光るので、このリフレクタからの反射光を他車両の灯火と誤検出することがあった。
【０００８】
その結果、例えば対向車が無いにもかかわらず、自車両のヘッドライトをロービームに変更する配光制御を行ってしまい、夜間にドライバが認識できる視野が狭くなってしまうという問題があった。
【０００９】
また、自車両のヘッドライトの照射状態（例えばヘッドライトの光軸）によっては、リフレクタからの反射光か否かの判定を精度良く行えないことがあった。
つまり、通常は、ヘッドライトの光軸の延長線上にあるリフレクタからの反射光の強度（輝度）は大きく、光軸から離れるに従ってリフレクタからの反射光の輝度は低下するので、ヘッドライトの照射状態を考慮しないと、リフレクタか否かの判定を精度良く行えないことがあった。
【００１０】
本発明は、上記問題点を解決するためになされたものであり、他車両の灯火か路側物からの反射光かを精度良く判別して、前照灯の照射方向などの好適な自車両の制御を行うことができる前方領域検出装置及び車両制御装置を提供することを目的とする。
【課題を解決するための手段】
【００１１】
（１）かかる目的を達成するためになされた請求項１に記載の発明は、自車両の前方を撮影する撮像手段からの画像の情報に基づいて、他車両の灯火か路側物からの反射光かを、光の強度によって区分する所定の閾値を用いて判別する前方領域検出装置であって、前記画像を、該画像の無限遠点を通り車両前方の左右に対応した該画像の左右の領域に分割する区分ラインによって区分するとともに、前記閾値を、前記区分ラインの左右の領域で異なるように、前記路側物が存在する可能性が高い領域側ほど大きく設定したことを特徴とする。
【００１２】
本発明では、撮像手段によって撮影した画像を、無限遠点を通る区分ラインで左右に区分するとともに、他車両の灯火か路側物からの反射光かを判別する閾値を、左右で異なるように、即ち、路側物が存在する可能性が高い領域側（例えば左側通行では左側）ほど大きく設定している。
【００１３】
ここで、無限遠点とは、画像において平行線が無限遠において収束する１点のことであり、車両が走行している場合には、画像の無限遠点から道路や建物等の風景が放射状に流れるように見える。つまり、画像において無限遠点とは、近似的に車両の進行方向と見なすことができるので、本発明では、この車両の進行方向における左右を、画像における無限遠点で区分して判別するのである。
【００１４】
従って、本発明では、自車両の前照灯から照射された光がリフレクタ等で反射して、その反射光が他車両の灯火と間違うほど強い（輝度が高い）場合でも、上述の様に設定した閾値(例えば光の強度の大小を判別する閾値：光の輝度の高低を判別する閾値)を用いて判定することにより、他車両の灯火かリフレクタ等からの反射光かを精度良く判定することができる。
【００１５】
なお、画像の無限遠点は、車両に対して撮像手段（カメラ）がどのように取り付けられているか、即ち、車両に取り付ける撮像手段の高さや左右方向の位置や撮像手段の光軸などで定まる。
【００１６】
また、図７に示す様に、車両を上方から見た場合、車両中心線を無限に延ばしたときの消失点は、車両進行方向を無限に伸ばしたときの消失点（無限遠点）に一致する。更に、図８に示す様に、車両を側方から見た場合、路面を無限に延ばしたときの消失点は、車両進行方向を無限に延ばしたときの消失点（無限遠点）に一致する。
【００１７】
（２）請求項２の発明では、左側通行の車両においては、前記区分ラインで分割された左側の領域の閾値を、右側の領域よりも大きくした（上げた）ことを特徴とする。
本発明は、左側通行の場合を例示したものである。つまり、左側通行の場合には、道路の左側に（車両に近接した）リフレクタ等があるので、このリフレクタ等を好適に判別することができる。
【００１８】
（３）請求項３の発明では、右側通行の車両においては、前記区分ラインで分割された右側の領域の閾値を、左側の領域よりも大きくした（上げた）ことを特徴とする。
本発明は、右側通行の場合を例示したものである。つまり、右通行の場合には、道路の右側に（車両に近接した）リフレクタ等があるので、このリフレクタ等を好適に判別することができる。
【００１９】
（４）請求項４の発明は、自車両の前方を撮影する撮像手段からの画像の情報に基づいて、他車両の灯火か路側物からの反射光かを、光の強度によって区分する所定の閾値を用いて判別する前方領域検出装置であって、前記画像を、車両前方の左右方向における前記自車両の前照灯による明るさの程度に対応して、該画像の中央部分の中央領域、該中央領域の左右両方向の外側における中間領域、該中間領域の左右両方向の外側における外側領域に区分するとともに、前記閾値を、前記中央領域、前記中間領域、前記外側領域で異なるように、前記中央領域＞前記中間領域＞前記外側領域の大きさに設定したことを特徴とする。
【００２０】
本発明では、自車両の前照灯の左右方向における照射状態（明るさの程度：前照灯の強度）に応じて、画像の中央部分の中央領域、中央領域の左右両方向の外側における中間領域、中間領域の左右両方向の外側における外側領域に区分するとともに、閾値を、中央領域＞中間領域＞外側領域の大きさに設定している。
【００２１】
つまり、通常は、車両の前照灯は、例えば左側通行においては、（対向車のドライバをできるだけ眩惑しないように）車両中心線よりやや左側に光を照射するように設定されているが、この照射した光の強度が最も大きな位置（配光の中心）にあるリフレクタ等では、その左右のリフレクタ等よりも、反射光は大きな強度（高い輝度）となる。
【００２２】
従って、本発明では、その反射光の強度に対応するように、画像を、（反射光が最も大きな）中央領域、（反射光が中央領域より弱い）中間領域、（反射光が中間領域よりも弱い）に区分するとともに、閾値を、中央領域＞中間領域＞外側領域の大きさに設定している。
【００２３】
これにより、反射光の強度が異なっている場合でも、他車両の灯火かリフレクタ等からの反射光かを精度良く判定することができる。
なお、中央領域の左右にそれぞれ中間領域が設定されているが、左右の中間領域で閾値を異なるように設定してよい。例えば路側側の閾値を高めるように設定してよい。また同様に、左右の中間領域の左右にそれぞれ外側領域が設定されているが、左右の外側領域で閾値を異なるように設定してよい。例えば路側側の閾値を高めるように設定してよい。
【００２４】
（５）請求項５の発明では、前記中央領域を、前記画像における無限遠点又は車両中心線に基づいて設定したことを特徴とする。
自車両の前照灯の照射方向（配光の中心の方向である配光方向：従って最も明るくなる方向）は、通常、画像における無限遠点又は車両中心線よりも左右方向にずらして設定されている。例えば左側通行では、左側にずらして設定されている。
【００２５】
従って、中央領域を、画像における無限遠点又は車両中心線に基づいて、（例えば左側通行の場合には、各領域を全体的に左にずらすように）設定することにより、一層精度良くリフレクタ等の判別を行うことができる。
【００２６】
なお、自車両の前照灯の照射方向（従って最も明るくなる方向）は、例えば左側通行の場合は、ロービームのときは車両中心線に対して左側であり、ハイビームのときは（ロービームによる照射も同時に行われるので）同様に左側である。
【００２７】
ここで、車両中心線とは、車両を上方から見た場合に、車両を左右対称に分ける（車両の前後方向と平行な）中心線である。
（６）請求項６の発明では、前記中央領域を、前記画像において前記路側物が存在する可能性が高い路側側に所定量変移させて設定したことを特徴とする。
【００２８】
上述した様に、道路にリフレクタ等がある側（例えば左側通行では左側）では、リフレクタ等がある側における反射光が大きくなる。よって、中央領域をリフレクタ等がある側にずらして設定すると、より精度良くリフレクタ等の判別を行うことができる。
【００２９】
（７）請求項７の発明では、自車両の前方を撮影する撮像手段からの画像の情報に基づいて、他車両の灯火か路側物からの反射光かを、光の強度によって区分する所定の閾値を用いて判別する前方領域検出装置であって、前記画像の左右方向において前記前照灯から照射される光の強度が大きな方向に対応する位置ほど前記閾値を大きく設定したことを特徴とする。
【００３０】
上述の様に、通常は、車両の前照灯は、例えば左側通行においては、左側に光を照射するように設定されているが、この照射した光の強度が最も大きな方向（配光方向）にあるリフレクタ等では、その左右のリフレクタ等よりも、反射光は大きな強度となる。
【００３１】
従って、本発明では、画像において、前照灯から照射される光の強度が大きな方向に対応する位置（従って反射光の強度が大きな位置）の閾値を、それより強度が小さな方向に対応する位置の閾値と比べて大きく設定している。
【００３２】
これにより、反射光の強度が異なっている場合でも、他車両の灯火かリフレクタ等からの反射光かを精度良く判定することができる。
ここで、前照灯から照射される光の強度が最も大きな位置とは、前照灯の配光の中心の向きである配光方向である。なお、前照灯としては、ハイビームやロービームがあるので、それぞれの照射状態に応じて最も光の強度が大きな位置を設定すればよい。
【００３３】
（８）請求項８の発明では、前記閾値は、前記画像を構成する１又は複数の画素の輝度の高さを区分するものであることを特徴とする。
従って、本発明では、画像の画素単位又は複数の画素単位で、リフレクタ等であるか否かを判別することができる。
【００３４】
（９）請求項９の発明では、前記閾値に基づいて判定された結果に基づいて、前記画像の判定対象が、路側物であるか否かを判定することを特徴とする。
本発明では、上述の様に設定された閾値によって判定を行うので、他車両の灯火かリフレクタ等からの反射光かを精度良く判定することができる。
【００３５】
（１０）請求項１０の発明（車両制御装置）は、前記請求項８に記載に前方領域検出装置による判定結果に基づいて、自車両の制御を行うことを特徴とする。
上述した前方領域検出装置によって、他車両の灯火かリフレクタ等の反射光かを精度良く判別できるので、その判定結果に基づいて、例えば前照灯の制御を好適に行うことができる。
【００３６】
例えばハイビームの状態で走行中に反射光を検出した場合に、その反射光がリフレクタからのものであると判別された場合には、ハイビームをロービームに変更する必要が無いので、前方を明るく照射した状態を維持することができ、安全性を高めることができる。
【図面の簡単な説明】
【００３７】
【図１】第１実施形態の前方領域検出装置及び車両制御装置を含むシステム構成を示すブロック図である。
【図２】（ａ）車両を前方から見た場合の前方カメラの配置を示す説明図、（ｂ）車両を側方から見た場合の前方カメラの光軸を示す説明図である。
【図３】車両の前照灯の照射状態を示す説明図である。
【図４】前方カメラで撮影された画像を示す説明図である。
【図５】無限遠点と自車両との関係を示す説明図である。
【図６】第１実施形態において画像の領域を区分した状態を示す説明図である。
【図７】（ａ）は車両を上から見た場合のカメラの取り付け状態等を示す説明図、（ｂ）はカメラの撮影画像における無限遠点のＸ座標等を示す説明図である。
【図８】（ａ）は車両を側面から見た場合のカメラの取り付け状態等を示す説明図、（ｂ）はカメラの撮影画像における無限遠点のＹ座標等を示す説明図である。
【図９】カメラのヨー角やピッチ角等を考慮した場合の無限遠点の座標を示す説明図である。
【図１０】更にカメラのロール角を考慮した場合の無限遠点の座標を示す説明図である。
【図１１】第１実施形態における画素の明るさの判定処理を示すフローチャートである。
【図１２】前照灯の配光状態を示す説明図である
【図１３】第２実施形態において画像の領域を区分した状態を示す説明図である。
【図１４】（ａ）は車両を上から見た場合のカメラの取り付け状態や配光の中心等を示す説明図、（ｂ）はカメラの撮影画像における無限遠点と配光の中心との関係を示す説明図である。
【図１５】第２実施形態における画素の明るさの判定処理を示すフローチャートである。
【図１６】（ａ）第３実施形態において閾値を設定した状態を示す説明図、（ｂ）その他の閾値の設定状態を示す説明図である。
【図１７】その他の実施形態において画像の領域を区分した状態を示す説明図である。
【発明を実施するための形態】
【００３８】
以下に本発明にかかる実施の形態を図面と共に説明する。
［第１実施形態］
ａ）まず、本発明が適用された前方領域検出装置及び車両制御装置のシステム構成について説明する。
【００３９】
図１に示す様に、本発明が適用されたシステム構成は、前方カメラ１（撮像手段）と前方領域検出装置３と車両制御装置５とを備えている。
前方カメラ１と前方領域検出装置３とは、通信プロトコルＣＡＮ(Controller Area Network)または通信プロトコルＬＩＮ(Local Interconnect Network)によって通信が実施される通信線７を介して接続され、前方領域検出装置３と車両制御装置５とは、通信プロトコルＣＡＮまたは通信プロトコルＬＩＮによって通信が実施される通信線９を介して接続されている。
【００４０】
前方カメラ１は、撮像素子を二次元格子状に配列することで構成されたイメージセンサ（ＣＣＤイメージセンサまたはＣＭＯＳイメージセンサ）、および被写体からの光をイメージセンサ上に集光するレンズ等を用いて構成された周知のものであり、ヘッドライトによる照射範囲内が撮像範囲内に含まれるように、車両前方に向けて配置されている。
【００４１】
詳しくは、図２（ａ）に示す様に、前方カメラ１は、例えばフロントガラス１１と室内ミラー（バックミラー）１３の間において、車両中心線に沿って配置されている。即ち、図２（ｂ）に示す様に、前方カメラ１の光軸は、例えば路面と水平に且つ車両中心線と同一方向となるように配置されている。
【００４２】
また、前記図１に示す様に、前方領域検出装置３は、ＣＰＵ、ＲＯＭ、ＲＡＭ等を備えた周知のマイコンとして構成されており、自車両に関する種々の情報が記録されたデータ記録部１５も備えられている。
【００４３】
この前方領域検出装置３は、前方カメラ１からの画像情報を受信し、この画像情報に基づいて、後述するようにして、他車両の灯火か路側物からの反射光かの判別を行う。なお、以下では、路側物として、反射光の大きなリフレクタ１７（図３参照）を例に挙げる。
【００４４】
更に、車両制御装置５も、ＣＰＵ、ＲＯＭ、ＲＡＭ等を備えた周知のマイコンとして構成されており、自車両に関する種々の情報が記録されたデータ記録部１９も備えられている。
【００４５】
この車両制御装置５では、前方領域検出装置３から通信線９を介してリフレクタ１７かどうかの判定結果を受信する。また、図示しない各種センサ（車輪速度センサ、舵角センサ、ヨーレートセンサ等）が検出した検出結果を、他の通信線を介して受信する。そして、受信した検出結果に応じて、例えばハイビームにするかロービームにするかを決定し、そのヘッドライトの点灯状態（照射状態）を制御する処理を行う。
【００４６】
ここで、ヘッドライトの照射状態としては、図３に２車線における左側通行の例を示す様に、主として車両の通常走行時に車両の遠方を中心に照射するハイビームと、対向車がある場合に対向車のドライバを眩惑しないように、光の照射方向をやや下方に下げるとともに車両のやや左側を照射するロービームが挙げられる。
【００４７】
ｂ）次に、前方カメラ１で撮影された画像及び閾値の設定方法について説明する。
図４に前方カメラ１で撮影した画像を示すが、路側にリフレクタ１７が設置されている場合には、このリフレクタ１７における反射光が大きなもの（輝度が高いもの）あることが分かる。
【００４８】
また、図５に前方カメラ１で撮影した連続画像を模式的に示すが、連続した画像においては、例えば自車線の左右の幅を示す平行な白線が、遠方において一点に交わる（収束する）ように見える。つまり、この一点から、周囲の風景が放射線状に発散するようにして移動するように見えるが、この一点を無限遠点と称する。
【００４９】
本実施形態では、図６に示す様に、前方カメラ１で撮影した（例えば横７５２画素×縦４８０画素の）画像において、その画像を、画像の無限遠点を通り車両前方の左右に対応した画像の左右の領域に分割する区分ラインによって区分する。
【００５０】
ここでは、前方カメラ１の光軸が車両中心線に一致し、且つ、同図の画像の左右方向が車両の左右方向であるので、画像の左右方向の中心に無限遠点があり、この無限遠点を通る鉛直線を区分ラインとして、画像を左領域と右領域に区分する。
【００５１】
そして、他車両の灯火かリフレクタ１７からの反射光かを判別する閾値を、区分ラインの左右の領域で異なるように、即ち、リフレクタ１７が存在する可能性が高い領域側（左側通行では左側）ほど大きく設定している。詳しくは、右領域の閾値をＢとした場合、左領域の閾値をそれより大きなＡ（＝Ｂ＋ΔＸ）と設定している。
【００５２】
なお、この閾値とは、例えば画像における１画素の光の強度（輝度）の大きさを判別するための値であり、実験等により最適な値に設定することができる。
また、画像における無限遠点は、前方カメラ１が車両のどの位置に取り付けられているかや、前方カメラ１の光軸などによって異なるので、前方カメラ１の取り付け状態に応じて、適宜、画像の無限遠点を設定すればよい。
【００５３】
具体的には、画像の無限遠点と前方カメラ１との取り付け状態との関係は、前方カメラ１より取得した画像内に無限遠点が入るように規定されている。
以下、前方カメラ１とこの前方カメラ１で撮影された画像（特に無限遠点）との関係について説明する。
【００５４】
前方カメラ１によって撮影される画像の無限遠点は、前方カメラ１の諸元（縦横画角、カメラ歪み中心）、カメラ姿勢（上下方向の角度を示すピッチング角、地面に平行な面における回転角を示すヨー角、光軸における回転角を示すロール角）によって定まる。
【００５５】
つまり、図７にカメラ１の光軸のＸ座標と無限遠点のＸ座標との関係を示し、図８にカメラ１の光軸のＹ座標と無限遠点のＹ座標との関係を示す様に、車両に対してカメラ１をどのように取り付けるかによって、カメラ１の撮影画像における無限遠点が決まる。
【００５６】
具体的には、下記式（１）、（２）によって、ヨー角やピッチ角などを考慮して、ロール角補正前のＸ座標とＹ座標を求め（図９参照）、更に、下記式（３）、（４）によってロール角補正を行って、カメラ１の撮影画像における無限遠点のＸ座標とＹ座標を求めることができる（図１０参照）。なお、pixelは、撮影画像における画素を示している。
【００５７】
従って、画像を左右に区分する区分ラインは、下記の式により求めたＸ座標から定めることができる。
無限遠点Ｘ[pixel]＝画像横幅[pixel]／２．０
−焦点距離[mm]・ｔａｎ（ヨー角[rad]）／水平解像度[mm/pixel]・・（１）
無限遠点Ｙ[pixel]＝画像高さ幅[pixel]／２．０
＋焦点距離[mm]・ｔａｎ（ピッチ角[rad]）／垂直解像度[mm/pixel]・・（２）
無限遠点Ｘ[pixel]＝Ｘ・ｃｏｓ（ロール角[rad]）・・（３）
無限遠点Ｙ[pixel]＝Ｙ・ｓｉｎ（ロール角[rad]）・・（４）
ｃ）次に、前方領域検出装置３にて実施されるリフレクタ１７を判別する処理について説明する。
【００５８】
図１１のフローチャートに示す様に、ステップ（Ｓ）１００では、前方カメラ１から、撮影した画像の各画素のデータ（画素の位置とその輝度のデータ）を入力する。
続くステップ１１０では、各画素のデータが、その位置情報に基づいて、画像の左領域のデータか右領域のデータかを判別する。
【００５９】
ステップ１２０では、画素のデータが、左領域のデータであるので、その明るさ（輝度）の値が、（右領域の閾値Ｂより大きな）閾値Ａ以上か否かを判定する。即ち、画像の左領域にリフレクタ１７がある場合には、右領域にある場合より反射光の輝度が大きくなるので、この大きな閾値Ａにより、リフレクタ１７か否か（即ち他車両の灯火かリフレクタ１７による反射光か）を判定する。
【００６０】
ここで肯定判断された場合には、１回肯定判断されたことをカウントするために、カウンタに１加算し、一旦本処理を終了する。
そして、連続する画像において、同じ画素に対して、同様な肯定判断が連続して３回なされた場合には、その画素に対応する物体がリフレクタ１７であると確定するのである。
【００６１】
一方、ステップ１４０では、画素のデータが、右領域のデータであるので、その明るさ（輝度）の値が、（左領域の閾値Ａより小さな）閾値Ｂ以上か否かを判定する。即ち、画像の右領域にリフレクタ１７がある場合には、左領域にある場合より反射光の輝度が小さくなるので、小さな閾値Ｂによりリフレクタ１７か否かを判定する。
【００６２】
ここで肯定判断された場合には、１回肯定判断されたことをカウントするために、カウンタに１加算し、一旦本処理を終了する。
そして、連続する画像において、同じ画素に対して、同様な肯定判断が連続して３回なされた場合には、その画素に対応する物体がリフレクタ１７であると確定するのである。
【００６３】
ｄ）この様に、本実施形態では、画像を無限遠点を通る区分ラインで左右に区分し、左領域では画素の輝度の判別のための閾値を高くし、右領域ではその閾値を小さくしているので、画像において検出された輝度の高い物体が、他車両の灯火かリフレクタ１７かを精度良く判別することができる。
【００６４】
従って、この判定によって、画像に写った物体がリフレクタ１７であると判定された場合には、例えばハイビームによる照射を継続する制御を行う。
詳しくは、（例えば対向車のヘッドライト等の）ある明るさ以上の光が検出された場合に、ハイビームをロービームに変更する配光制御を行う装置において、その光がリフレクタ１７からの反射光と判定された場合には、ハイビームをロービームに変更する制御を中止する制御を行う。
【００６５】
これにより、夜間において、ドライバは車両前方の遠方までよく見えるので、安全性が向上するという利点がある。
［第２実施形態］
次に、第２実施形態について説明するが、前記第１実施形態と同様な内容の説明は省略する。
【００６６】
本実施形態は、制御処理に特徴があるので、特徴となる内容について説明する。
ａ）まず、本実施形態における処理の原理について説明する。
なお、前方カメラの配置は、前記第１実施形態と同様である。
【００６７】
上述した様に、例えば左側通行の車両においては、配光の状態は車両の左右で対称ではなく、ハイビームやロービームにおいて多少の違いはあるが、図１２に示すように、いずれも車両中心線に対して左側に配光の中心が向くように設定されている。
【００６８】
ここで、配光の中心とは、前照灯（ハイビーム又はロービーム）によって最も明るく照らされる向き（即ち前照灯の光の強度が最も大きな配光の重心）のことであり、前照灯の向き（光軸の向き）等から求めることができる。
【００６９】
なお、この図１２は、車両前方の所定距離におけるハイビームの場合の光の明るさ（強度：輝度）を、車両左右方向に沿って調べたものであり、この様に光の強度の最も大きな向き（従って左右方向における位置）を、配光の中心として設定することができる。
【００７０】
従って、本実施形態では、この配光の向き（偏光）に対応するように、他車両の灯火とリフレクタとを判別する際の閾値の値を設定している。
具体的には、ここでは、車両中心線に対応して画像の左右の中心が設定されているので、図１３に示す様に、画像の左右の中心から左方向に、配光の向きのずれ量（ΔＳ）分だけずらすように中央領域を設定する。つまり、左右方向に所定幅を有するように中央領域を設定する際には、その中央領域の左右方向における中心を配光の中心と一致するように設定する。
【００７１】
例えば、図１４（ａ）に示す様に、左側走行の場合には、配光の中心は、車両中心線より左側にずれており、また、車両中心線は無限遠においては車両進行方向における消失点（無限遠点）に一致するので、撮像画像においては、図１４（ｂ）に示す様に、その無限遠点より左側にずれ量（ΔＳ）だけずれている位置を配光の中心として設定する。
【００７２】
なお、画像におけるずれ量（ΔＳ）自体は、車両中心線と配光の中心との実際のずれ（例えば前記図１２に示した様な車両前方の所定距離における実ずれ量）から、その実ずれ量に対応した画像におけるずれ量を算出することにより得ることができる。例えば実ずれ量が所定ｃｍの場合に、ΔＳは「所定ｃｍの距離に対応した所定個の画素分だけのずれ量」の様にして設定することができる。
【００７３】
また、中央領域の左右方向の外側に同じ幅で中間領域を設定し、更に、中間領域の左右方向の外側を全て外側領域に設定する。
そして、中央領域における（リフレクタ判別のための）閾値Ａと中間領域における閾値Ｂと外側領域における閾値Ｃとを、閾値Ａ＞閾値Ｂ＞閾値Ｃのように設定する。
【００７４】
ｂ）次に、本実施形態における処理内容について説明する。
図１５のフローチャートに示す様に、ステップ２００では、前方カメラから、撮影した画像の各画素のデータ（画素の位置とその輝度のデータ）を入力する。
【００７５】
続くステップ２１０では、各画素のデータが、その位置情報に基づいて、画像の中央領域のデータか中間領域のデータか外側領域のデータかを判別する。
そして、ステップ２２０では、画素のデータが、中央領域のデータであるので、その明るさ（輝度）の値が、（各閾値の中で一番大きな）閾値Ａ以上か否かを判定する。
【００７６】
ここで肯定判断された場合には、１回肯定判断されたことをカウントするために、カウンタに１加算し、一旦本処理を終了する。
そして、連続する画像において、同じ画素に対して、同様な肯定判断が連続して３回なされた場合には、その画素に対応する物体がリフレクタであると確定するのである。
【００７７】
また、ステップ２４０では、画素のデータが、中間領域のデータであるので、その明るさ（輝度）の値が、（各閾値の中で中間の値である）閾値Ｂ以上か否かを判定する。
ここで肯定判断された場合には、１回肯定判断されたことをカウントするために、カウンタに１加算し、一旦本処理を終了する。
【００７８】
そして、連続する画像において、同じ画素に対して、同様な肯定判断が連続して３回なされた場合には、その画素に対応する物体がリフレクタであると確定するのである。
更に、ステップ２６０では、画素のデータが、外側領域のデータであるので、その明るさ（輝度）の値が、（各閾値の中で一番小さな）閾値Ｃ以上か否かを判定する。
【００７９】
ここで肯定判断された場合には、１回肯定判断されたことをカウントするために、カウンタに１加算し、一旦本処理を終了する。
そして、連続する画像において、同じ画素に対して、同様な肯定判断が連続して３回なされた場合には、その画素に対応する物体がリフレクタであると確定するのである。
【００８０】
ｃ）この様に、本実施形態では、配光の向きに応じて、画像を中央領域、中間領域、外側領域に分けるとともに、中央領域ほど画素の輝度の判別のための閾値を高くしているので、画像において検出された輝度の高い物質がリフレクタであるか否かを精度良く判別することができる。
［第３実施形態］
次に、第３実施形態について説明するが、前記第２実施形態と同様な内容の説明は省略する。
【００８１】
本実施形態では、画像の左右方向において前照灯から照射される光の強度（従って反射光の強度）が大きな位置ほど閾値を大きく設定する。
つまり、車両前方の所定距離における例えばハイビームの場合の光の明るさ（強度）は、例えば前記図１２に示す様に設定されているので、本実施形態では、この配光の向き（偏光）に対応するように、他車両の灯火とリフレクタとを判別する際の閾値の値を設定している。
【００８２】
具体的には、左側通行において、前記第１実施形態の様に前方カメラが設定されている場合を考える。この場合、図１６（ａ）に示す様に、画像において、無限遠点が画像の中心となり、この画像の中心より左側に配光の中心があるので、同図に示す様に、配光の中心側ほど閾値を大きく設定し、その左右側に行くほど（前記所定距離における光の強度の低下に伴って）徐々に閾値を小さくする。
【００８３】
この閾値は、実際の光の強度の測定結果（前記車両前方の所定距離における左右方向の光の強度の測定結果）に基づいて予め定めたマップにより設定することができる。また、このマップに対応した演算式を用いてもよい。
【００８４】
本実施形態においても、前記第２実施形態と同様な効果を奏するとともに、閾値を非常に細かく設定できるので、制御の精度が向上するという利点がある。
なお、図１６（ｂ）に示す様に、左右方法を所定幅で短冊状に細かく区分してもよい。
【００８５】
尚、本発明は前記実施形態になんら限定されるものではなく、本発明を逸脱しない範囲において種々の態様で実施しうることはいうまでもない。
（１）例えば、前記実施形態では、（例えば２車線における）左側通行を例に挙げて説明したが、右側通行の場合も、路側側が逆になるだけで、同様である。
【００８６】
（２）また、第１実施形態の構成と第２実施形態の構成を組み合わせてもよい、その場合は、例えば図１７に閾値の数値（大小）を挙げて例示するように、左右の中間領域における閾値が異なるとともに、左右の外側領域における閾値も異なるように設定する。これにより、一層精度良くリフレクタの判別を行うことができる。
【００８７】
なお、例えば閾値Ａ＞閾値Ｂ１＞閾値Ｂ２＞閾値Ｃ１＞閾値Ｃ２である。
（３）更に、前記第２実施形態では、画像の中央領域を、画像の中心にある無限遠点に基づいて設定したが、車両中心線に基づいて設定してもよい。
【００８８】
但し、前方カメラの取付状態によっては（例えば前方カメラの取付位置が車両中心線からずれている場合や向きが左右にずれている場合などには）、車両中心線は、画像の左右方向の中心にない場合がある。
【００８９】
この様な場合、無限遠においては、車両中心線と無限遠点とは一致するので、無限遠点を車両中心線として、前記第２実施形態と同様にして各領域を設定してもよい。
（４）更に、前記実施形態では、１画素単位で明るさの判定を行ったが、複数画素単位で同様な判定を行ってもよい。
【００９０】
（５）なお、本発明の前方領域検出装置又は車両制御装置は、各装置における機能をコンピュータにおいて実行するためのプログラムにより実施することができる。
【符号の説明】
【００９１】
１…前方カメラ、３…前方領域検出装置、５…車両制御装置、７、９…通信線、１５、１９…データ記録部、１７…リフレクタ
【技術分野】
【０００１】
本発明は、例えば他車両の灯火と路側のリフレクタ等からの反射光とを精度良く判別することができる前方領域検出装置、及びその前方領域検出装置による判別結果に基づいて好適に前照灯の配光状態などを制御できる車両制御装置に関する。
【背景技術】
【０００２】
従来より、夜間に車両を走行させる場合には、前照灯（ヘッドライト）を常時ハイビームに設定し、先行車または対向車がある場合には、ロービームに変更する配光制御が知られている（特許文献１参照）。
【０００３】
また、車両の運転状態や周囲の環境に応じて、ヘッドライトの照射状態を精密に制御する配光制御が知られている。例えば、先行車または対向車の車両幅、自車両に対する相対角度や相対距離、自車両の車速やステアリング位置等を検出し、その検出結果に基づいて、ヘッドライトの強度（照射の明るさ）を左右独立に制御したり、ヘッドライトの光軸を左右上下に制御したりすることによって、他車両のドライバが眩惑されることのないように、ヘッドライトの強度や照射範囲を調整する配光制御装置が知られている（特許文献２参照）。
【０００４】
そして、この種の配光制御では、例えばカメラで撮影した画像から、対向車のヘッドライトなどの光（車両の灯火）を認識し、自車両のヘッドライトの制御を行っていた。
【先行技術文献】
【特許文献】
【０００５】
【特許文献１】特許第４０３４５６５号公報
【特許文献２】特開２００４−１６１０８２号公報
【発明の概要】
【発明が解決しようとする課題】
【０００６】
しかし、上述した従来の制御装置では、例えば対向車のヘッドライトやテールライトなどの他車両の灯火を認識する場合に、例えば路側に設定された反射部材（リフレクタ）や看板などからの反射光を、他車両の灯火と誤認識することがあった。
【０００７】
例えば左側通行の場合に、夜間に自車両のヘッドライトを点灯した状態で道路の左側の車線を走行しているとき、特に道路が右方向にカーブする場合などには、路側に設置されたリフレクタ等が極めて明るく光るので、このリフレクタからの反射光を他車両の灯火と誤検出することがあった。
【０００８】
その結果、例えば対向車が無いにもかかわらず、自車両のヘッドライトをロービームに変更する配光制御を行ってしまい、夜間にドライバが認識できる視野が狭くなってしまうという問題があった。
【０００９】
また、自車両のヘッドライトの照射状態（例えばヘッドライトの光軸）によっては、リフレクタからの反射光か否かの判定を精度良く行えないことがあった。
つまり、通常は、ヘッドライトの光軸の延長線上にあるリフレクタからの反射光の強度（輝度）は大きく、光軸から離れるに従ってリフレクタからの反射光の輝度は低下するので、ヘッドライトの照射状態を考慮しないと、リフレクタか否かの判定を精度良く行えないことがあった。
【００１０】
本発明は、上記問題点を解決するためになされたものであり、他車両の灯火か路側物からの反射光かを精度良く判別して、前照灯の照射方向などの好適な自車両の制御を行うことができる前方領域検出装置及び車両制御装置を提供することを目的とする。
【課題を解決するための手段】
【００１１】
（１）かかる目的を達成するためになされた請求項１に記載の発明は、自車両の前方を撮影する撮像手段からの画像の情報に基づいて、他車両の灯火か路側物からの反射光かを、光の強度によって区分する所定の閾値を用いて判別する前方領域検出装置であって、前記画像を、該画像の無限遠点を通り車両前方の左右に対応した該画像の左右の領域に分割する区分ラインによって区分するとともに、前記閾値を、前記区分ラインの左右の領域で異なるように、前記路側物が存在する可能性が高い領域側ほど大きく設定したことを特徴とする。
【００１２】
本発明では、撮像手段によって撮影した画像を、無限遠点を通る区分ラインで左右に区分するとともに、他車両の灯火か路側物からの反射光かを判別する閾値を、左右で異なるように、即ち、路側物が存在する可能性が高い領域側（例えば左側通行では左側）ほど大きく設定している。
【００１３】
ここで、無限遠点とは、画像において平行線が無限遠において収束する１点のことであり、車両が走行している場合には、画像の無限遠点から道路や建物等の風景が放射状に流れるように見える。つまり、画像において無限遠点とは、近似的に車両の進行方向と見なすことができるので、本発明では、この車両の進行方向における左右を、画像における無限遠点で区分して判別するのである。
【００１４】
従って、本発明では、自車両の前照灯から照射された光がリフレクタ等で反射して、その反射光が他車両の灯火と間違うほど強い（輝度が高い）場合でも、上述の様に設定した閾値(例えば光の強度の大小を判別する閾値：光の輝度の高低を判別する閾値)を用いて判定することにより、他車両の灯火かリフレクタ等からの反射光かを精度良く判定することができる。
【００１５】
なお、画像の無限遠点は、車両に対して撮像手段（カメラ）がどのように取り付けられているか、即ち、車両に取り付ける撮像手段の高さや左右方向の位置や撮像手段の光軸などで定まる。
【００１６】
また、図７に示す様に、車両を上方から見た場合、車両中心線を無限に延ばしたときの消失点は、車両進行方向を無限に伸ばしたときの消失点（無限遠点）に一致する。更に、図８に示す様に、車両を側方から見た場合、路面を無限に延ばしたときの消失点は、車両進行方向を無限に延ばしたときの消失点（無限遠点）に一致する。
【００１７】
（２）請求項２の発明では、左側通行の車両においては、前記区分ラインで分割された左側の領域の閾値を、右側の領域よりも大きくした（上げた）ことを特徴とする。
本発明は、左側通行の場合を例示したものである。つまり、左側通行の場合には、道路の左側に（車両に近接した）リフレクタ等があるので、このリフレクタ等を好適に判別することができる。
【００１８】
（３）請求項３の発明では、右側通行の車両においては、前記区分ラインで分割された右側の領域の閾値を、左側の領域よりも大きくした（上げた）ことを特徴とする。
本発明は、右側通行の場合を例示したものである。つまり、右通行の場合には、道路の右側に（車両に近接した）リフレクタ等があるので、このリフレクタ等を好適に判別することができる。
【００１９】
（４）請求項４の発明は、自車両の前方を撮影する撮像手段からの画像の情報に基づいて、他車両の灯火か路側物からの反射光かを、光の強度によって区分する所定の閾値を用いて判別する前方領域検出装置であって、前記画像を、車両前方の左右方向における前記自車両の前照灯による明るさの程度に対応して、該画像の中央部分の中央領域、該中央領域の左右両方向の外側における中間領域、該中間領域の左右両方向の外側における外側領域に区分するとともに、前記閾値を、前記中央領域、前記中間領域、前記外側領域で異なるように、前記中央領域＞前記中間領域＞前記外側領域の大きさに設定したことを特徴とする。
【００２０】
本発明では、自車両の前照灯の左右方向における照射状態（明るさの程度：前照灯の強度）に応じて、画像の中央部分の中央領域、中央領域の左右両方向の外側における中間領域、中間領域の左右両方向の外側における外側領域に区分するとともに、閾値を、中央領域＞中間領域＞外側領域の大きさに設定している。
【００２１】
つまり、通常は、車両の前照灯は、例えば左側通行においては、（対向車のドライバをできるだけ眩惑しないように）車両中心線よりやや左側に光を照射するように設定されているが、この照射した光の強度が最も大きな位置（配光の中心）にあるリフレクタ等では、その左右のリフレクタ等よりも、反射光は大きな強度（高い輝度）となる。
【００２２】
従って、本発明では、その反射光の強度に対応するように、画像を、（反射光が最も大きな）中央領域、（反射光が中央領域より弱い）中間領域、（反射光が中間領域よりも弱い）に区分するとともに、閾値を、中央領域＞中間領域＞外側領域の大きさに設定している。
【００２３】
これにより、反射光の強度が異なっている場合でも、他車両の灯火かリフレクタ等からの反射光かを精度良く判定することができる。
なお、中央領域の左右にそれぞれ中間領域が設定されているが、左右の中間領域で閾値を異なるように設定してよい。例えば路側側の閾値を高めるように設定してよい。また同様に、左右の中間領域の左右にそれぞれ外側領域が設定されているが、左右の外側領域で閾値を異なるように設定してよい。例えば路側側の閾値を高めるように設定してよい。
【００２４】
（５）請求項５の発明では、前記中央領域を、前記画像における無限遠点又は車両中心線に基づいて設定したことを特徴とする。
自車両の前照灯の照射方向（配光の中心の方向である配光方向：従って最も明るくなる方向）は、通常、画像における無限遠点又は車両中心線よりも左右方向にずらして設定されている。例えば左側通行では、左側にずらして設定されている。
【００２５】
従って、中央領域を、画像における無限遠点又は車両中心線に基づいて、（例えば左側通行の場合には、各領域を全体的に左にずらすように）設定することにより、一層精度良くリフレクタ等の判別を行うことができる。
【００２６】
なお、自車両の前照灯の照射方向（従って最も明るくなる方向）は、例えば左側通行の場合は、ロービームのときは車両中心線に対して左側であり、ハイビームのときは（ロービームによる照射も同時に行われるので）同様に左側である。
【００２７】
ここで、車両中心線とは、車両を上方から見た場合に、車両を左右対称に分ける（車両の前後方向と平行な）中心線である。
（６）請求項６の発明では、前記中央領域を、前記画像において前記路側物が存在する可能性が高い路側側に所定量変移させて設定したことを特徴とする。
【００２８】
上述した様に、道路にリフレクタ等がある側（例えば左側通行では左側）では、リフレクタ等がある側における反射光が大きくなる。よって、中央領域をリフレクタ等がある側にずらして設定すると、より精度良くリフレクタ等の判別を行うことができる。
【００２９】
（７）請求項７の発明では、自車両の前方を撮影する撮像手段からの画像の情報に基づいて、他車両の灯火か路側物からの反射光かを、光の強度によって区分する所定の閾値を用いて判別する前方領域検出装置であって、前記画像の左右方向において前記前照灯から照射される光の強度が大きな方向に対応する位置ほど前記閾値を大きく設定したことを特徴とする。
【００３０】
上述の様に、通常は、車両の前照灯は、例えば左側通行においては、左側に光を照射するように設定されているが、この照射した光の強度が最も大きな方向（配光方向）にあるリフレクタ等では、その左右のリフレクタ等よりも、反射光は大きな強度となる。
【００３１】
従って、本発明では、画像において、前照灯から照射される光の強度が大きな方向に対応する位置（従って反射光の強度が大きな位置）の閾値を、それより強度が小さな方向に対応する位置の閾値と比べて大きく設定している。
【００３２】
これにより、反射光の強度が異なっている場合でも、他車両の灯火かリフレクタ等からの反射光かを精度良く判定することができる。
ここで、前照灯から照射される光の強度が最も大きな位置とは、前照灯の配光の中心の向きである配光方向である。なお、前照灯としては、ハイビームやロービームがあるので、それぞれの照射状態に応じて最も光の強度が大きな位置を設定すればよい。
【００３３】
（８）請求項８の発明では、前記閾値は、前記画像を構成する１又は複数の画素の輝度の高さを区分するものであることを特徴とする。
従って、本発明では、画像の画素単位又は複数の画素単位で、リフレクタ等であるか否かを判別することができる。
【００３４】
（９）請求項９の発明では、前記閾値に基づいて判定された結果に基づいて、前記画像の判定対象が、路側物であるか否かを判定することを特徴とする。
本発明では、上述の様に設定された閾値によって判定を行うので、他車両の灯火かリフレクタ等からの反射光かを精度良く判定することができる。
【００３５】
（１０）請求項１０の発明（車両制御装置）は、前記請求項８に記載に前方領域検出装置による判定結果に基づいて、自車両の制御を行うことを特徴とする。
上述した前方領域検出装置によって、他車両の灯火かリフレクタ等の反射光かを精度良く判別できるので、その判定結果に基づいて、例えば前照灯の制御を好適に行うことができる。
【００３６】
例えばハイビームの状態で走行中に反射光を検出した場合に、その反射光がリフレクタからのものであると判別された場合には、ハイビームをロービームに変更する必要が無いので、前方を明るく照射した状態を維持することができ、安全性を高めることができる。
【図面の簡単な説明】
【００３７】
【図１】第１実施形態の前方領域検出装置及び車両制御装置を含むシステム構成を示すブロック図である。
【図２】（ａ）車両を前方から見た場合の前方カメラの配置を示す説明図、（ｂ）車両を側方から見た場合の前方カメラの光軸を示す説明図である。
【図３】車両の前照灯の照射状態を示す説明図である。
【図４】前方カメラで撮影された画像を示す説明図である。
【図５】無限遠点と自車両との関係を示す説明図である。
【図６】第１実施形態において画像の領域を区分した状態を示す説明図である。
【図７】（ａ）は車両を上から見た場合のカメラの取り付け状態等を示す説明図、（ｂ）はカメラの撮影画像における無限遠点のＸ座標等を示す説明図である。
【図８】（ａ）は車両を側面から見た場合のカメラの取り付け状態等を示す説明図、（ｂ）はカメラの撮影画像における無限遠点のＹ座標等を示す説明図である。
【図９】カメラのヨー角やピッチ角等を考慮した場合の無限遠点の座標を示す説明図である。
【図１０】更にカメラのロール角を考慮した場合の無限遠点の座標を示す説明図である。
【図１１】第１実施形態における画素の明るさの判定処理を示すフローチャートである。
【図１２】前照灯の配光状態を示す説明図である
【図１３】第２実施形態において画像の領域を区分した状態を示す説明図である。
【図１４】（ａ）は車両を上から見た場合のカメラの取り付け状態や配光の中心等を示す説明図、（ｂ）はカメラの撮影画像における無限遠点と配光の中心との関係を示す説明図である。
【図１５】第２実施形態における画素の明るさの判定処理を示すフローチャートである。
【図１６】（ａ）第３実施形態において閾値を設定した状態を示す説明図、（ｂ）その他の閾値の設定状態を示す説明図である。
【図１７】その他の実施形態において画像の領域を区分した状態を示す説明図である。
【発明を実施するための形態】
【００３８】
以下に本発明にかかる実施の形態を図面と共に説明する。
［第１実施形態］
ａ）まず、本発明が適用された前方領域検出装置及び車両制御装置のシステム構成について説明する。
【００３９】
図１に示す様に、本発明が適用されたシステム構成は、前方カメラ１（撮像手段）と前方領域検出装置３と車両制御装置５とを備えている。
前方カメラ１と前方領域検出装置３とは、通信プロトコルＣＡＮ(Controller Area Network)または通信プロトコルＬＩＮ(Local Interconnect Network)によって通信が実施される通信線７を介して接続され、前方領域検出装置３と車両制御装置５とは、通信プロトコルＣＡＮまたは通信プロトコルＬＩＮによって通信が実施される通信線９を介して接続されている。
【００４０】
前方カメラ１は、撮像素子を二次元格子状に配列することで構成されたイメージセンサ（ＣＣＤイメージセンサまたはＣＭＯＳイメージセンサ）、および被写体からの光をイメージセンサ上に集光するレンズ等を用いて構成された周知のものであり、ヘッドライトによる照射範囲内が撮像範囲内に含まれるように、車両前方に向けて配置されている。
【００４１】
詳しくは、図２（ａ）に示す様に、前方カメラ１は、例えばフロントガラス１１と室内ミラー（バックミラー）１３の間において、車両中心線に沿って配置されている。即ち、図２（ｂ）に示す様に、前方カメラ１の光軸は、例えば路面と水平に且つ車両中心線と同一方向となるように配置されている。
【００４２】
また、前記図１に示す様に、前方領域検出装置３は、ＣＰＵ、ＲＯＭ、ＲＡＭ等を備えた周知のマイコンとして構成されており、自車両に関する種々の情報が記録されたデータ記録部１５も備えられている。
【００４３】
この前方領域検出装置３は、前方カメラ１からの画像情報を受信し、この画像情報に基づいて、後述するようにして、他車両の灯火か路側物からの反射光かの判別を行う。なお、以下では、路側物として、反射光の大きなリフレクタ１７（図３参照）を例に挙げる。
【００４４】
更に、車両制御装置５も、ＣＰＵ、ＲＯＭ、ＲＡＭ等を備えた周知のマイコンとして構成されており、自車両に関する種々の情報が記録されたデータ記録部１９も備えられている。
【００４５】
この車両制御装置５では、前方領域検出装置３から通信線９を介してリフレクタ１７かどうかの判定結果を受信する。また、図示しない各種センサ（車輪速度センサ、舵角センサ、ヨーレートセンサ等）が検出した検出結果を、他の通信線を介して受信する。そして、受信した検出結果に応じて、例えばハイビームにするかロービームにするかを決定し、そのヘッドライトの点灯状態（照射状態）を制御する処理を行う。
【００４６】
ここで、ヘッドライトの照射状態としては、図３に２車線における左側通行の例を示す様に、主として車両の通常走行時に車両の遠方を中心に照射するハイビームと、対向車がある場合に対向車のドライバを眩惑しないように、光の照射方向をやや下方に下げるとともに車両のやや左側を照射するロービームが挙げられる。
【００４７】
ｂ）次に、前方カメラ１で撮影された画像及び閾値の設定方法について説明する。
図４に前方カメラ１で撮影した画像を示すが、路側にリフレクタ１７が設置されている場合には、このリフレクタ１７における反射光が大きなもの（輝度が高いもの）あることが分かる。
【００４８】
また、図５に前方カメラ１で撮影した連続画像を模式的に示すが、連続した画像においては、例えば自車線の左右の幅を示す平行な白線が、遠方において一点に交わる（収束する）ように見える。つまり、この一点から、周囲の風景が放射線状に発散するようにして移動するように見えるが、この一点を無限遠点と称する。
【００４９】
本実施形態では、図６に示す様に、前方カメラ１で撮影した（例えば横７５２画素×縦４８０画素の）画像において、その画像を、画像の無限遠点を通り車両前方の左右に対応した画像の左右の領域に分割する区分ラインによって区分する。
【００５０】
ここでは、前方カメラ１の光軸が車両中心線に一致し、且つ、同図の画像の左右方向が車両の左右方向であるので、画像の左右方向の中心に無限遠点があり、この無限遠点を通る鉛直線を区分ラインとして、画像を左領域と右領域に区分する。
【００５１】
そして、他車両の灯火かリフレクタ１７からの反射光かを判別する閾値を、区分ラインの左右の領域で異なるように、即ち、リフレクタ１７が存在する可能性が高い領域側（左側通行では左側）ほど大きく設定している。詳しくは、右領域の閾値をＢとした場合、左領域の閾値をそれより大きなＡ（＝Ｂ＋ΔＸ）と設定している。
【００５２】
なお、この閾値とは、例えば画像における１画素の光の強度（輝度）の大きさを判別するための値であり、実験等により最適な値に設定することができる。
また、画像における無限遠点は、前方カメラ１が車両のどの位置に取り付けられているかや、前方カメラ１の光軸などによって異なるので、前方カメラ１の取り付け状態に応じて、適宜、画像の無限遠点を設定すればよい。
【００５３】
具体的には、画像の無限遠点と前方カメラ１との取り付け状態との関係は、前方カメラ１より取得した画像内に無限遠点が入るように規定されている。
以下、前方カメラ１とこの前方カメラ１で撮影された画像（特に無限遠点）との関係について説明する。
【００５４】
前方カメラ１によって撮影される画像の無限遠点は、前方カメラ１の諸元（縦横画角、カメラ歪み中心）、カメラ姿勢（上下方向の角度を示すピッチング角、地面に平行な面における回転角を示すヨー角、光軸における回転角を示すロール角）によって定まる。
【００５５】
つまり、図７にカメラ１の光軸のＸ座標と無限遠点のＸ座標との関係を示し、図８にカメラ１の光軸のＹ座標と無限遠点のＹ座標との関係を示す様に、車両に対してカメラ１をどのように取り付けるかによって、カメラ１の撮影画像における無限遠点が決まる。
【００５６】
具体的には、下記式（１）、（２）によって、ヨー角やピッチ角などを考慮して、ロール角補正前のＸ座標とＹ座標を求め（図９参照）、更に、下記式（３）、（４）によってロール角補正を行って、カメラ１の撮影画像における無限遠点のＸ座標とＹ座標を求めることができる（図１０参照）。なお、pixelは、撮影画像における画素を示している。
【００５７】
従って、画像を左右に区分する区分ラインは、下記の式により求めたＸ座標から定めることができる。
無限遠点Ｘ[pixel]＝画像横幅[pixel]／２．０
−焦点距離[mm]・ｔａｎ（ヨー角[rad]）／水平解像度[mm/pixel]・・（１）
無限遠点Ｙ[pixel]＝画像高さ幅[pixel]／２．０
＋焦点距離[mm]・ｔａｎ（ピッチ角[rad]）／垂直解像度[mm/pixel]・・（２）
無限遠点Ｘ[pixel]＝Ｘ・ｃｏｓ（ロール角[rad]）・・（３）
無限遠点Ｙ[pixel]＝Ｙ・ｓｉｎ（ロール角[rad]）・・（４）
ｃ）次に、前方領域検出装置３にて実施されるリフレクタ１７を判別する処理について説明する。
【００５８】
図１１のフローチャートに示す様に、ステップ（Ｓ）１００では、前方カメラ１から、撮影した画像の各画素のデータ（画素の位置とその輝度のデータ）を入力する。
続くステップ１１０では、各画素のデータが、その位置情報に基づいて、画像の左領域のデータか右領域のデータかを判別する。
【００５９】
ステップ１２０では、画素のデータが、左領域のデータであるので、その明るさ（輝度）の値が、（右領域の閾値Ｂより大きな）閾値Ａ以上か否かを判定する。即ち、画像の左領域にリフレクタ１７がある場合には、右領域にある場合より反射光の輝度が大きくなるので、この大きな閾値Ａにより、リフレクタ１７か否か（即ち他車両の灯火かリフレクタ１７による反射光か）を判定する。
【００６０】
ここで肯定判断された場合には、１回肯定判断されたことをカウントするために、カウンタに１加算し、一旦本処理を終了する。
そして、連続する画像において、同じ画素に対して、同様な肯定判断が連続して３回なされた場合には、その画素に対応する物体がリフレクタ１７であると確定するのである。
【００６１】
一方、ステップ１４０では、画素のデータが、右領域のデータであるので、その明るさ（輝度）の値が、（左領域の閾値Ａより小さな）閾値Ｂ以上か否かを判定する。即ち、画像の右領域にリフレクタ１７がある場合には、左領域にある場合より反射光の輝度が小さくなるので、小さな閾値Ｂによりリフレクタ１７か否かを判定する。
【００６２】
ここで肯定判断された場合には、１回肯定判断されたことをカウントするために、カウンタに１加算し、一旦本処理を終了する。
そして、連続する画像において、同じ画素に対して、同様な肯定判断が連続して３回なされた場合には、その画素に対応する物体がリフレクタ１７であると確定するのである。
【００６３】
ｄ）この様に、本実施形態では、画像を無限遠点を通る区分ラインで左右に区分し、左領域では画素の輝度の判別のための閾値を高くし、右領域ではその閾値を小さくしているので、画像において検出された輝度の高い物体が、他車両の灯火かリフレクタ１７かを精度良く判別することができる。
【００６４】
従って、この判定によって、画像に写った物体がリフレクタ１７であると判定された場合には、例えばハイビームによる照射を継続する制御を行う。
詳しくは、（例えば対向車のヘッドライト等の）ある明るさ以上の光が検出された場合に、ハイビームをロービームに変更する配光制御を行う装置において、その光がリフレクタ１７からの反射光と判定された場合には、ハイビームをロービームに変更する制御を中止する制御を行う。
【００６５】
これにより、夜間において、ドライバは車両前方の遠方までよく見えるので、安全性が向上するという利点がある。
［第２実施形態］
次に、第２実施形態について説明するが、前記第１実施形態と同様な内容の説明は省略する。
【００６６】
本実施形態は、制御処理に特徴があるので、特徴となる内容について説明する。
ａ）まず、本実施形態における処理の原理について説明する。
なお、前方カメラの配置は、前記第１実施形態と同様である。
【００６７】
上述した様に、例えば左側通行の車両においては、配光の状態は車両の左右で対称ではなく、ハイビームやロービームにおいて多少の違いはあるが、図１２に示すように、いずれも車両中心線に対して左側に配光の中心が向くように設定されている。
【００６８】
ここで、配光の中心とは、前照灯（ハイビーム又はロービーム）によって最も明るく照らされる向き（即ち前照灯の光の強度が最も大きな配光の重心）のことであり、前照灯の向き（光軸の向き）等から求めることができる。
【００６９】
なお、この図１２は、車両前方の所定距離におけるハイビームの場合の光の明るさ（強度：輝度）を、車両左右方向に沿って調べたものであり、この様に光の強度の最も大きな向き（従って左右方向における位置）を、配光の中心として設定することができる。
【００７０】
従って、本実施形態では、この配光の向き（偏光）に対応するように、他車両の灯火とリフレクタとを判別する際の閾値の値を設定している。
具体的には、ここでは、車両中心線に対応して画像の左右の中心が設定されているので、図１３に示す様に、画像の左右の中心から左方向に、配光の向きのずれ量（ΔＳ）分だけずらすように中央領域を設定する。つまり、左右方向に所定幅を有するように中央領域を設定する際には、その中央領域の左右方向における中心を配光の中心と一致するように設定する。
【００７１】
例えば、図１４（ａ）に示す様に、左側走行の場合には、配光の中心は、車両中心線より左側にずれており、また、車両中心線は無限遠においては車両進行方向における消失点（無限遠点）に一致するので、撮像画像においては、図１４（ｂ）に示す様に、その無限遠点より左側にずれ量（ΔＳ）だけずれている位置を配光の中心として設定する。
【００７２】
なお、画像におけるずれ量（ΔＳ）自体は、車両中心線と配光の中心との実際のずれ（例えば前記図１２に示した様な車両前方の所定距離における実ずれ量）から、その実ずれ量に対応した画像におけるずれ量を算出することにより得ることができる。例えば実ずれ量が所定ｃｍの場合に、ΔＳは「所定ｃｍの距離に対応した所定個の画素分だけのずれ量」の様にして設定することができる。
【００７３】
また、中央領域の左右方向の外側に同じ幅で中間領域を設定し、更に、中間領域の左右方向の外側を全て外側領域に設定する。
そして、中央領域における（リフレクタ判別のための）閾値Ａと中間領域における閾値Ｂと外側領域における閾値Ｃとを、閾値Ａ＞閾値Ｂ＞閾値Ｃのように設定する。
【００７４】
ｂ）次に、本実施形態における処理内容について説明する。
図１５のフローチャートに示す様に、ステップ２００では、前方カメラから、撮影した画像の各画素のデータ（画素の位置とその輝度のデータ）を入力する。
【００７５】
続くステップ２１０では、各画素のデータが、その位置情報に基づいて、画像の中央領域のデータか中間領域のデータか外側領域のデータかを判別する。
そして、ステップ２２０では、画素のデータが、中央領域のデータであるので、その明るさ（輝度）の値が、（各閾値の中で一番大きな）閾値Ａ以上か否かを判定する。
【００７６】
ここで肯定判断された場合には、１回肯定判断されたことをカウントするために、カウンタに１加算し、一旦本処理を終了する。
そして、連続する画像において、同じ画素に対して、同様な肯定判断が連続して３回なされた場合には、その画素に対応する物体がリフレクタであると確定するのである。
【００７７】
また、ステップ２４０では、画素のデータが、中間領域のデータであるので、その明るさ（輝度）の値が、（各閾値の中で中間の値である）閾値Ｂ以上か否かを判定する。
ここで肯定判断された場合には、１回肯定判断されたことをカウントするために、カウンタに１加算し、一旦本処理を終了する。
【００７８】
そして、連続する画像において、同じ画素に対して、同様な肯定判断が連続して３回なされた場合には、その画素に対応する物体がリフレクタであると確定するのである。
更に、ステップ２６０では、画素のデータが、外側領域のデータであるので、その明るさ（輝度）の値が、（各閾値の中で一番小さな）閾値Ｃ以上か否かを判定する。
【００７９】
ここで肯定判断された場合には、１回肯定判断されたことをカウントするために、カウンタに１加算し、一旦本処理を終了する。
そして、連続する画像において、同じ画素に対して、同様な肯定判断が連続して３回なされた場合には、その画素に対応する物体がリフレクタであると確定するのである。
【００８０】
ｃ）この様に、本実施形態では、配光の向きに応じて、画像を中央領域、中間領域、外側領域に分けるとともに、中央領域ほど画素の輝度の判別のための閾値を高くしているので、画像において検出された輝度の高い物質がリフレクタであるか否かを精度良く判別することができる。
［第３実施形態］
次に、第３実施形態について説明するが、前記第２実施形態と同様な内容の説明は省略する。
【００８１】
本実施形態では、画像の左右方向において前照灯から照射される光の強度（従って反射光の強度）が大きな位置ほど閾値を大きく設定する。
つまり、車両前方の所定距離における例えばハイビームの場合の光の明るさ（強度）は、例えば前記図１２に示す様に設定されているので、本実施形態では、この配光の向き（偏光）に対応するように、他車両の灯火とリフレクタとを判別する際の閾値の値を設定している。
【００８２】
具体的には、左側通行において、前記第１実施形態の様に前方カメラが設定されている場合を考える。この場合、図１６（ａ）に示す様に、画像において、無限遠点が画像の中心となり、この画像の中心より左側に配光の中心があるので、同図に示す様に、配光の中心側ほど閾値を大きく設定し、その左右側に行くほど（前記所定距離における光の強度の低下に伴って）徐々に閾値を小さくする。
【００８３】
この閾値は、実際の光の強度の測定結果（前記車両前方の所定距離における左右方向の光の強度の測定結果）に基づいて予め定めたマップにより設定することができる。また、このマップに対応した演算式を用いてもよい。
【００８４】
本実施形態においても、前記第２実施形態と同様な効果を奏するとともに、閾値を非常に細かく設定できるので、制御の精度が向上するという利点がある。
なお、図１６（ｂ）に示す様に、左右方法を所定幅で短冊状に細かく区分してもよい。
【００８５】
尚、本発明は前記実施形態になんら限定されるものではなく、本発明を逸脱しない範囲において種々の態様で実施しうることはいうまでもない。
（１）例えば、前記実施形態では、（例えば２車線における）左側通行を例に挙げて説明したが、右側通行の場合も、路側側が逆になるだけで、同様である。
【００８６】
（２）また、第１実施形態の構成と第２実施形態の構成を組み合わせてもよい、その場合は、例えば図１７に閾値の数値（大小）を挙げて例示するように、左右の中間領域における閾値が異なるとともに、左右の外側領域における閾値も異なるように設定する。これにより、一層精度良くリフレクタの判別を行うことができる。
【００８７】
なお、例えば閾値Ａ＞閾値Ｂ１＞閾値Ｂ２＞閾値Ｃ１＞閾値Ｃ２である。
（３）更に、前記第２実施形態では、画像の中央領域を、画像の中心にある無限遠点に基づいて設定したが、車両中心線に基づいて設定してもよい。
【００８８】
但し、前方カメラの取付状態によっては（例えば前方カメラの取付位置が車両中心線からずれている場合や向きが左右にずれている場合などには）、車両中心線は、画像の左右方向の中心にない場合がある。
【００８９】
この様な場合、無限遠においては、車両中心線と無限遠点とは一致するので、無限遠点を車両中心線として、前記第２実施形態と同様にして各領域を設定してもよい。
（４）更に、前記実施形態では、１画素単位で明るさの判定を行ったが、複数画素単位で同様な判定を行ってもよい。
【００９０】
（５）なお、本発明の前方領域検出装置又は車両制御装置は、各装置における機能をコンピュータにおいて実行するためのプログラムにより実施することができる。
【符号の説明】
【００９１】
１…前方カメラ、３…前方領域検出装置、５…車両制御装置、７、９…通信線、１５、１９…データ記録部、１７…リフレクタ
【特許請求の範囲】
【請求項１】
自車両の前方を撮影する撮像手段からの画像の情報に基づいて、他車両の灯火か路側物からの反射光かを、光の強度によって区分する所定の閾値を用いて判別する前方領域検出装置であって、
前記画像を、該画像の無限遠点を通り車両前方の左右に対応した該画像の左右の領域に分割する区分ラインによって区分するとともに、
前記閾値を、前記区分ラインの左右の領域で異なるように、前記路側物が存在する可能性が高い領域側ほど大きく設定したことを特徴とする前方領域検出装置。
【請求項２】
左側通行の車両においては、前記区分ラインで分割された左側の領域の閾値を、右側の領域よりも大きくしたことを特徴とする請求項１に記載の前方領域検出装置。
【請求項３】
右側通行の車両においては、前記区分ラインで分割された右側の領域の閾値を、左側の領域よりも大きくしたことを特徴とする請求項１に記載の前方領域検出装置。
【請求項４】
自車両の前方を撮影する撮像手段からの画像の情報に基づいて、他車両の灯火か路側物からの反射光かを、光の強度によって区分する所定の閾値を用いて判別する前方領域検出装置であって、
前記画像を、車両前方の左右方向における前記自車両の前照灯による明るさの程度に対応して、該画像の中央部分の中央領域、該中央領域の左右両方向の外側における中間領域、該中間領域の左右両方向の外側における外側領域に区分するとともに、
前記閾値を、前記中央領域、前記中間領域、前記外側領域で異なるように、前記中央領域＞前記中間領域＞前記外側領域の大きさに設定したことを特徴とする前方領域検出装置。
【請求項５】
前記中央領域を、前記画像における無限遠点又は車両中心線に基づいて設定したことを特徴とする請求項４に記載の前方領域検出装置。
【請求項６】
前記中央領域を、前記画像において前記路側物が存在する可能性が高い路側側に所定量変移させて設定したことを特徴とする請求項４又は５に記載の前方領域検出装置。
【請求項７】
自車両の前方を撮影する撮像手段からの画像の情報に基づいて、他車両の灯火か路側物からの反射光かを、光の強度によって区分する所定の閾値を用いて判別する前方領域検出装置であって、
前記画像の左右方向において前記前照灯から照射される光の強度が大きな方向に対応する位置ほど前記閾値を大きく設定したことを特徴とする前方領域検出装置。
【請求項８】
前記閾値は、前記画像を構成する１又は複数の画素の輝度の高さを区分するものであることを特徴とする請求項１〜７のいずれか１項に記載の前方領域検出装置。
【請求項９】
前記閾値に基づいて判定された結果に基づいて、前記画像の判定対象が、路側物であるか否かを判定することを特徴とする請求項１〜８のいずれか１項に記載の前方領域検出装置。
【請求項１０】
前記請求項９に記載に前方領域検出装置による判定結果に基づいて、自車両の制御を行うことを特徴とする車両制御装置。
【請求項１】
自車両の前方を撮影する撮像手段からの画像の情報に基づいて、他車両の灯火か路側物からの反射光かを、光の強度によって区分する所定の閾値を用いて判別する前方領域検出装置であって、
前記画像を、該画像の無限遠点を通り車両前方の左右に対応した該画像の左右の領域に分割する区分ラインによって区分するとともに、
前記閾値を、前記区分ラインの左右の領域で異なるように、前記路側物が存在する可能性が高い領域側ほど大きく設定したことを特徴とする前方領域検出装置。
【請求項２】
左側通行の車両においては、前記区分ラインで分割された左側の領域の閾値を、右側の領域よりも大きくしたことを特徴とする請求項１に記載の前方領域検出装置。
【請求項３】
右側通行の車両においては、前記区分ラインで分割された右側の領域の閾値を、左側の領域よりも大きくしたことを特徴とする請求項１に記載の前方領域検出装置。
【請求項４】
自車両の前方を撮影する撮像手段からの画像の情報に基づいて、他車両の灯火か路側物からの反射光かを、光の強度によって区分する所定の閾値を用いて判別する前方領域検出装置であって、
前記画像を、車両前方の左右方向における前記自車両の前照灯による明るさの程度に対応して、該画像の中央部分の中央領域、該中央領域の左右両方向の外側における中間領域、該中間領域の左右両方向の外側における外側領域に区分するとともに、
前記閾値を、前記中央領域、前記中間領域、前記外側領域で異なるように、前記中央領域＞前記中間領域＞前記外側領域の大きさに設定したことを特徴とする前方領域検出装置。
【請求項５】
前記中央領域を、前記画像における無限遠点又は車両中心線に基づいて設定したことを特徴とする請求項４に記載の前方領域検出装置。
【請求項６】
前記中央領域を、前記画像において前記路側物が存在する可能性が高い路側側に所定量変移させて設定したことを特徴とする請求項４又は５に記載の前方領域検出装置。
【請求項７】
自車両の前方を撮影する撮像手段からの画像の情報に基づいて、他車両の灯火か路側物からの反射光かを、光の強度によって区分する所定の閾値を用いて判別する前方領域検出装置であって、
前記画像の左右方向において前記前照灯から照射される光の強度が大きな方向に対応する位置ほど前記閾値を大きく設定したことを特徴とする前方領域検出装置。
【請求項８】
前記閾値は、前記画像を構成する１又は複数の画素の輝度の高さを区分するものであることを特徴とする請求項１〜７のいずれか１項に記載の前方領域検出装置。
【請求項９】
前記閾値に基づいて判定された結果に基づいて、前記画像の判定対象が、路側物であるか否かを判定することを特徴とする請求項１〜８のいずれか１項に記載の前方領域検出装置。
【請求項１０】
前記請求項９に記載に前方領域検出装置による判定結果に基づいて、自車両の制御を行うことを特徴とする車両制御装置。
【図１】
【図２】
【図３】
【図５】
【図６】
【図７】
【図８】
【図９】
【図１０】
【図１１】
【図１２】
【図１３】
【図１５】
【図１６】
【図１７】
【図４】
【図１４】
【図２】
【図３】
【図５】
【図６】
【図７】
【図８】
【図９】
【図１０】
【図１１】
【図１２】
【図１３】
【図１５】
【図１６】
【図１７】
【図４】
【図１４】
【公開番号】特開２０１１−２５３２２２（Ｐ２０１１−２５３２２２Ａ）
【公開日】平成２３年１２月１５日（２０１１．１２．１５）
【国際特許分類】
【出願番号】特願２０１０−１２４６５９（Ｐ２０１０−１２４６５９）
【出願日】平成２２年５月３１日（２０１０．５．３１）
【出願人】（０００００４２６０）株式会社デンソー (27,639)
【Ｆターム（参考）】
【公開日】平成２３年１２月１５日（２０１１．１２．１５）
【国際特許分類】
【出願日】平成２２年５月３１日（２０１０．５．３１）
【出願人】（０００００４２６０）株式会社デンソー (27,639)
【Ｆターム（参考）】
[ Back to top ]