車載霧判定装置
【課題】遠方道路領域に黒つぶれが発生しても、霧判定の精度を確保することができる車載霧判定装置を提供する。
【解決手段】遠方道路領域の輝度の比較対象として空の輝度を用いて霧判定を行う。
【解決手段】遠方道路領域の輝度の比較対象として空の輝度を用いて霧判定を行う。
【発明の詳細な説明】
【技術分野】
【０００１】
本発明は、車載カメラによって撮像された画像から霧判定する車載霧判定装置に関する。
【背景技術】
【０００２】
車載カメラの撮像画像を処理して霧判定を行う装置が知られている（例えば、特許文献１参照。）。この特許文献１における霧判定の方法は、画像のぼけ具合に基づいており、霧である場合にはぼけた画像となるので、画像のぼけ具合を推定することにより霧判定を行っている。画像のぼけ具合の推定は、まず、画像全体に対して画素毎に微分演算によって輝度のエッジ量を算出して、そのエッジ量に基づいて、画像のぼけ具合を推定している。画像がぼけているほどエッジ量は全体的に小さくなることから、エッジ量に基づいて画像のぼけ具合を推定する。
【０００３】
この特許文献１の装置は、霧判定の結果を白線認識に利用している。車載カメラによって撮像された画像から白線認識を行う場合、霧であると、画像がぼけてしまい白線認識が困難になることから、白線認識に先立って霧判定を行うのである。そして、霧であると判定した場合には、フォグランプを点灯させることも記載されている。
【０００４】
また、特許文献２の装置は、霧のみを判定するものではないが、霧等による視界不良や、フロントガラスの汚れによって画像がぼけると、的確な車外監視（自車と車外の対象物との間の距離の監視など）が困難になるので、画像がぼけているかどうかを判定している。
【０００５】
特許文献２における画像ぼけの判定方法は、画像の中央上部に設定された固定領域の画像について輝度のエッジを算出し、そのエッジが所定値を越えた割合に基づいて、画像のぼけ具合を判定している。
【特許文献１】特許３４４４１９２号公報
【特許文献２】特許３３１２７２９号公報
【発明の開示】
【発明が解決しようとする課題】
【０００６】
特許文献１、２は、いずれも、車載カメラによって撮像された画像がぼけているかを判定することによって、霧判定を行っているのであるが、特許文献１のように、画像全体についてエッジ量を算出することとすると、画像処理の負荷が大きいという問題があった。一方、特許文献２では、エッジを算出するのは画像の中央上部に設定された固定領域のみであるので、画像処理の負荷は特許文献１の場合に比較して少ない。しかし、霧であっても自車から近距離にある物体は、比較的はっきり撮像されることから、その固定領域に自車から近距離に位置する物体が撮像されている場合には、霧判定が精度よく行えないという問題があった。
【０００７】
本出願人は、この点を鑑みて、車載カメラで撮像された画像内において、車両から所定の遠方距離にある道路上の領域である遠方道路領域を決定し、この遠方道路領域の画像を用いて霧判定を行う装置を発明し、出願した（特願２００５−１７５７４３号）。このように、霧判定の対象とする画像の領域を道路上の領域とすれば、道路は通常、遠方まで続いていることから、その領域には遠方部分が撮像されている可能性が高いので、霧判定の精度が確保できる。
【０００８】
しかしながら、山間部の道路のように森の中を通る道路では、遠方道路領域が森の中であるために黒くつぶれてしまうことがある。このように、遠方道路領域に黒つぶれが発生すると、霧がかかった画像であると誤って判定することがあった。
【０００９】
本発明は、この事情に基づいて成されたものであり、その目的とするところは、遠方道路領域に黒つぶれが発生しても、霧判定の精度を確保することにある。
【課題を解決するための手段】
【００１０】
その目的を達成するための請求項１記載の発明は、車両に搭載される車載カメラにより撮像された画像が、霧がかかった画像であるかどうかを判定する画像霧状態判定手段を備えた車載霧判定装置であって、
車載カメラによって撮像された画像内において、車両から所定の遠方距離にある道路上の領域である遠方道路領域の輝度を取得する遠方輝度取得手段と、
車両周辺の空の輝度を取得する空輝度取得手段と、を備え、
画像霧状態判定手段は、遠方道路領域の輝度と空の輝度とを用いて判定することを特徴とする。
【００１１】
昼間において霧が発生していない場合、遠方道路領域の輝度は、遠方道路領域における黒つぶれの発生に係わらず、車両周辺の空の輝度に比べて低い輝度を示す。一方、昼間において霧が発生している場合、霧の粒子が太陽光を散乱することで、全体的に白い画像が車載カメラによって撮像されるようになる。そのため、遠方道路領域の輝度と空の輝度とが近いレベルを示す。
【００１２】
このように、本発明は、遠方道路領域の輝度の比較対象として空の輝度を用いることで、遠方道路領域に黒つぶれが発生しても、霧判定の精度を確保することができるのである。
【００１３】
なお、遠方道路領域において黒つぶれが発生していない場合（黒つぶれ不発生時）には、この遠方道路領域のみを用いて霧判定が可能である。このことから、請求項２に記載のように、画像霧状態判定手段は、遠方道路領域において黒つぶれ不発生時には、遠方道路領域の画像を用いて判定し、遠方道路領域において黒つぶれ発生時には、遠方道路領域の輝度と空の輝度とを用いて判定するようにしてもよい。
【００１４】
このように、遠方道路領域における黒つぶれ発生の有無に応じて、霧判定に用いるべく、車載カメラにより撮像された画像内の領域を選択する（切り替える）ことで、常時、遠方道路領域の輝度と空の輝度とを用いて霧判定することがなくなる。その結果、画像処理の負荷を軽減できるようになる。
【００１５】
請求項３に記載の車載霧判定装置によれば、車載カメラによって撮像された画像内において、車両が走行している道路の形状を決定する道路形状決定手段と、道路形状決定手段によって決定された道路の形状に基づき、画像内における遠方道路領域を決定する遠方道路領域決定手段と、を備えることを特徴とする。これにより、画像内における遠方道路領域を決定することができるようになる。
【００１６】
請求項４に記載の車載霧判定装置によれば、車載カメラによって撮像された画像内において、車両周辺の空に相当する領域である空領域の画像を抽出する空領域画像抽出手段を備え、空輝度取得手段は、空領域の輝度を取得するものであることを特徴とする。これにより、車載カメラによって撮像された画像から、空の輝度を取得することができるようになる。
【００１７】
なお、請求項５に記載のように、空領域画像抽出手段は、空領域内において際立って高い輝度を示す高輝度空領域の画像を抽出することが好ましい。空領域の画像には、空だけが映し出されることもあれば、道路周辺に存在する電柱や樹木等の路側物も含めて映し出されることもあるため、空領域において際立って高い輝度を示す高輝度空領域の画像を抽出すれば、空だけが映し出されている領域の画像を抽出できるからである。
【００１８】
また、請求項６に記載のように、空輝度取得手段は、車両に搭載された照度センサの出力輝度値を用いて、車両周辺の空の輝度を取得するようにしてもよい。車両には、ヘッドライトを自動的に点灯・消灯するための照度センサが搭載されていることがあるため、その照度センサの出力輝度値を用いれば、空領域の輝度を取得するための画像処理が不要になるからである。
【００１９】
ところで、霧が発生している場合、空の輝度の値と遠方道路領域の輝度の値とは、近い値を示すことになるため、空の輝度に対する遠方道路領域の輝度の割合（遠方道路領域の輝度／空の輝度のこと。以下、輝度比）は、０．５〜１．０程度の範囲に多く分布する。
【００２０】
そうであれば、霧が発生していない場合には、空の輝度の値と遠方道路領域の輝度の値とは近い値を示さず、輝度比についても０．５〜１．０程度の範囲から外れた範囲に多く分布するものと考えられる。しかしながら、霧が発生していない場合の輝度比は、車両の走行シーンが一様ではないゆえに、０．５〜１．０程度の範囲を含んで幅広い範囲に分布することが本願発明者の実験によって明らかとなった。
【００２１】
ここで、霧が発生している場合の輝度比の分布と、霧が発生していない場合の輝度比の分布とから明らかなことは、霧が発生していない場合の輝度比が０．５〜１．０程度の範囲を含む幅広い範囲に分布するのだから、霧が発生している場合の輝度比が多く分布する０．５〜１．０程度の範囲は、実際に、霧が発生しているか発生していないかどうか不明確であるとともに、霧が発生している場合の輝度比が多く分布する０．５〜１．０程度の範囲から外れた範囲は、少なくとも、霧が発生していない場合である確率が高い、ということである。
【００２２】
請求項７に記載の車載霧判定装置は、上記の特徴的な点に着目したもので、
画像霧状態判定手段は、
空の輝度に対する遠方道路領域の輝度の割合を示す輝度比が小さいほど、車載カメラにより撮像された画像が、霧がかかった画像ではない確率が高くなり、
車載カメラにより撮像された画像が、霧がかかった画像ではない確率と霧がかかった画像である確率とが略等しくなる確率を上限として、輝度比が大きくなるにつれて、車載カメラにより撮像された画像が、霧がかかった画像ではない確率が低くなる確率分布マップを用いて判定する。これにより、車両の走行シーンに関らず、霧判定の精度を確保することができるのである。
【発明を実施するための最良の形態】
【００２３】
以下、本発明の車載霧判定装置の実施の形態を、図面に基づいて説明する。図１は、本発明が適用された車載霧判定装置１０の構成を示すブロック図である。
【００２４】
車載霧判定装置１０は、車載カメラ１２、画像処理ＥＣＵ１４、ヨーレートセンサ１６、ステアリングセンサ１８、ミリ波レーダ２０、照度センサ２１、車速センサ２２を備えており、それらが車内ＬＡＮ２４によって相互に接続されている。また、この車内ＬＡＮ２４には、運転支援制御ＥＣＵ２６およびライト制御ＥＣＵ２８も接続されている。
【００２５】
上記車載カメラ１２は、ＣＣＤカメラによって構成されており、その取り付け位置は、車両の内部、たとえば運転席近傍の天井とされている。この車載カメラ１２によって、車両前方の画像が連続的に撮像され、撮像された画像のデータは、画像処理ＥＣＵ１４において処理される。
【００２６】
画像処理ＥＣＵ１４は、図示しない内部にＣＰＵ、ＲＯＭ、ＲＡＭ等を備えたコンピュータであり、そのＲＡＭには、車載カメラ１２によって連続的に撮像される一定時間分の画像のデータが一時的に記憶される。そして、ＣＰＵは、ＲＯＭに記憶されたプログラムに従って、そのＲＡＭに記憶された画像データに対して図２に示す処理を実行する。このＣＰＵの処理については後述する。
【００２７】
ヨーレートセンサ１６は車両のヨーレートを逐次検出し、ステアリングセンサ１８は、ステアリングの操舵角を逐次検出する。また、ミリ波レーダ２０は、車両前方に向けて所定周波数のミリ波を出力し、且つ、対象物からの反射波を受信する。運転支援ＥＣＵ２６は、前方車両検出手段としても機能しており、上記ミリ波レーダ２０によって受信された反射波に基づいて、前方車両（自車と同一車線において前方を走行している車両）の有無を連続的に判定し、前方車両を検出した場合にはその前方車両との間の距離、相対方位および相対速度を算出する。さらに、算出したそれらの情報に基づいて、車速制御などの運転支援制御を実行する。
【００２８】
ライト制御ＥＣＵ２８は、照度センサ２１からの照度センサの出力輝度値に基づいて、図示しないフォグランプやヘッドライトを自動的に点灯・消灯する制御を実行するほか、画像処理ＥＣＵ１４において霧であると判定された場合にも、フォグランプやヘッドライトの点灯・消灯の制御を実行する。
【００２９】
図２は、上記画像処理ＥＣＵ１４の制御機能の要部を示すフローチャートである。図２に示す制御は、走行中に所定の周期で実行するものであり、この制御の実行中には、車載カメラ１２によって車両前方の画像が連続的に撮像されている。図３、図４は、車載カメラ１２によって撮像されている画像例である。
【００３０】
図２に示すように、上記画像処理ＥＣＵ１４は、まず、道路形状決定手段に相当する道路形状決定処理を実行し（ステップＳ１００）、次いで、遠方道路領域決定手段に相当する遠方道路領域決定処理を実行し（ステップＳ２００）、その後、画像霧状態判定手段に相当する霧判定画像処理（ステップＳ３００）を実行する。
【００３１】
上記ステップＳ１００の道路形状決定処理は、図５に詳しく示されている。図５において、まず、ステップＳ１１０では、車載カメラ１２によって連続的に撮像される画像に基づいて、道路に沿って設けられている道路上標識である白線を認識する白線認識処理を実行する。この白線認識処理としては、公知の様々な処理手法を用いることができるが、たとえば、車載カメラ１２によって撮像された画像を二値化処理し、二値化処理後の画像から白色部分を抽出することによって白線を認識する。なお、ここにおける白線は、通常の白線認識処理と同様に、白線のみでなく黄線も含むものである。
【００３２】
上記ステップＳ１１０における白線認識処理においては、常に白線が認識できるとは限らず、たとえば、道路に白線が描かれていない等の理由により、白線の認識ができないこともある。そこで、続くステップＳ１２０では、白線が認識できたか否かを判断する。ここでの判断は、続くステップＳ１３０において道路形状を決定できる程度に白線が認識できたかどうかを判断するものであり、両側の白線が認識される必要はなく、また、自車位置から消失点まで連続的に白線が認識できる必要もない。すなわち、ステップＳ１２０では、少なくとも一方の白線が、所定長さ連続して、或いは、断続的に認識できたか否かを判断する。
【００３３】
上記ステップ１２０の判断が肯定された場合には、続くステップＳ１３０において、道路形状を決定する。ここでの道路形状とは、自車から前方に延びる道路の曲がり具合（形状）を示す一本の線であり、たとえば、図３、図４に示す一点鎖線である。なお、図３および図４に示す一点鎖線は、自車が走行している車線の幅方向中心線となっているが、それに代えて、自車が走行している車線の左右いずれか一方の白線をそのまま道路形状としてもよいし、また、車線が複数ある場合には道路全体の幅方向中心線を道路形状としてもよい。
【００３４】
一方、ステップＳ１２０の判断が否定された場合には、ステップＳ１４０において、運転支援ＥＣＵ２６において前方車両が検出されているか否かを判断する。この判断が肯定された場合には、運転支援ＥＣＵ２６ではその前方車両との間の距離、相対方位が算出されているので、ステップＳ１５０において、運転支援ＥＣＵ２６において算出されている前方車両との間の距離および相対方位に基づいて、その前方車両の画像内における位置を決定する。
【００３５】
続くステップＳ１６０では、ステアリングセンサ１８からの信号に基づいて操舵角を検出する。そして、ステップＳ１７０では、道路形状を示す線の自車側の端点として予め定められている画像内の所定点（たとえば、画像内におけるボンネットの境界線の車両幅方向中心点）とステップＳ１５０で決定した画像内における前方車両の位置とを、ステップＳ１６０で決定した操舵角を曲率半径とする円弧で連結することによって、道路形状を決定する。
【００３６】
前述のステップＳ１４０の判断も否定された場合には、ステップＳ１８０乃至Ｓ１９０を実行して道路形状を決定する。まず、ステップＳ１８０では、ステアリングセンサ１８からの信号に基づいて操舵角を検出し、続くステップＳ１９０では、道路形状を示す線の自車側の端点として予め定められている画像内の所定点において、接線が車両前後方向に対して平行となるような円弧を、道路形状を示す線に決定する。なお、前述のステップＳ１６０およびステップＳ１８０のいずれか一方、あるいはその両方において、操舵角を検出することに代えて、ヨーレートセンサ１６からヨーレートを検出してもよい。
【００３７】
上記ステップＳ１３０、Ｓ１７０、Ｓ１９０において、それぞれ決定される道路形状を比較すると、ステップＳ１３０は道路に沿って設けられている白線に基づいて道路形状を決定するため、最も道路形状を正確に決定することができ、また、ステップＳ１７０は、操舵角に加えて前方車両の位置を用いていることから、操舵角のみに基づいているステップＳ１９０よりも道路形状を正確に決定することができる。その一方で、ステップＳ１３０は白線が認識できない場合には道路形状が決定できず、また、ステップＳ１７０は前方車両が検出されない場合には道路形状が決定できないが、ステップＳ１９０は、確実に道路形状を決定することができる。
【００３８】
このようにして道路形状を決定したら遠方道路領域決定処理（図２のステップＳ２００）を実行する。この遠方道路領域決定処理は、図６に詳しく示す処理である。
【００３９】
図６において、まず、ステップＳ２１０では、自車が走行している道路上において自車から所定の遠方距離にある画像内の遠方距離点を決定する。上記所定の遠方距離は、ここでは１００ｍに設定されていることとするが、１００ｍに限定されるものではなく、ある程度の濃さの霧の時に画像がぼやける程度に遠方であればよい。
【００４０】
車載カメラ１２は車両に固定されていることから、平坦な地面上のある地点までの実距離と、画像内においてその地点がどこに位置するかは予め決定することができる。従って、画像内において平坦な地面上で自車から１００ｍ先の地点が位置する１００ｍ線は予め決定することができる。図７は、画像内における上記１００ｍ線Ｌｆを示している。本実施形態では、この１００ｍ線Ｌｆが遠方距離線であり、この１００ｍ線Ｌｆが画像処理ＥＣＵ１４内のＲＯＭあるいは他の記憶装置に記憶されている。
【００４１】
そして、ステップＳ２１０では、その１００ｍ線ＬｆとステップＳ１００で決定した道路形状を示す線との交点を、自車が走行している道路上における遠方距離点（すなわち、ここでは１００ｍ先の点）に決定する。
【００４２】
続くステップＳ２２０では、上記ステップＳ２１０で決定した遠方距離点を基準として遠方道路領域の外枠ＯＦを決定する。図３、図４に示されている遠方道路領域の外枠ＯＦは、ステップＳ２１０で決定した遠方距離点が外枠ＯＦの下辺の中心となるようにして設定したものである。また、この外枠ＯＦの大きさは、車載カメラ１２によって撮像される画像全体の大きさに対して十分小さ大きさに設定されている。
【００４３】
また、図３、図４には、車両周辺の空に相当する領域（以下、空領域）の外枠ＡＦの設定例を示している。この空領域の外枠ＡＦの画像上の位置は、画像処理ＥＣＵ１４内のＲＯＭあるいは他の記憶装置に記憶されている。
【００４４】
なお、図３、図４の例に限らず、上記遠方距離点が遠方道路領域の中心となるように外枠ＯＦの位置を決定してもよい。また、道路形状を、走行車線の幅方向中心線としているか、道路全体の幅方向中心線としているか、走行車線の左右いずれかの白線としているかによって、遠方道路領域の外枠ＯＦに対する遠方距離点の位置を変更してもよい。たとえば、道路形状（を示す線）を走行車線の右側白線としている場合には、遠方道路領域の外枠ＯＦの下辺の右から１／４の点が遠方距離点となるように外枠ＯＦの位置を決定してもよい。
【００４５】
続くステップＳ２３０では、上記ステップＳ２２０で決定した遠方道路領域の外枠ＯＦ内の領域から道路部分を除去する。本実施形態では、図８に示す予め設定された固定の道路部分３０を除去する。この道路部分は、外枠ＯＦの中心Ｏを頂点とし、外枠ＯＦの下辺を底辺とする三角形部分である。
【００４６】
外枠ＯＦ内に実際に撮像されている道路部分は、走行中の道路の幅や、直線道路であるかカーブ形状の道路であるかなどによってその形状が異なることを考えると、このように道路部分３０が固定された領域となっていると、外枠ＯＦ内において実際に撮像されている画像から道路部分を正確に除去することは困難である。しかし、道路形状がどのようなものであっても、遠方道路領域内においては、道路部分は下辺から上方へ向かうに従って狭くなるので、このように除去する道路部分３０を固定しても、大半の道路部分を除去することは可能であり、また、このように道路部分３０を固定することによって演算処理負荷を軽減させることができる。上記ステップＳ２３０で道路部分が除去されると、除去後の領域は、路側部分の割合が相対的に多くなる。
【００４７】
なお、道路部分３０を固定せずに、ステップＳ１００で決定した道路形状に基づいて道路部分を決定することも可能である。この場合には、たとえば、道路形状を示す線と遠方道路領域の外枠ＯＦとが一点でしか交わっていない場合（図３参照）には、消失点を頂点として外枠ＯＦの下辺を底辺とする三角形を道路部分とし、道路形状を示す線と遠方道路領域の外枠ＯＦとが二点で交わっている場合（図４参照）には、その２つの交点のうち外枠ＯＦの下辺ではない部分において交わっている側の交点（またはそれよりも所定座標だけ上側の点）を頂点として、外枠ＯＦの下辺を底辺とする直角三角形を道路部分とすればよい。また、画像処理によって白線を認識してその白線に基づいて道路部分を決定してもよい。
【００４８】
続くステップＳ２４０では、上記ステップＳ２２０で決定した遠方道路領域の外枠ＯＦ内に車両部分があるか否かを判断する。この判断を行うのは、遠方道路領域として決定する画像に、近距離に位置する車両が含まれていると霧判定が困難となることから、そのような近距離に位置する車両を遠方道路領域内の画像から除去するためである。従って、ステップＳ２４０では、運転支援ＥＣＵ２６によって前方車両の存在が検出されているかをまず判断する。そして、前方車両の存在が検出されている場合には、運転支援ＥＣＵ２６によって特定されている前方車両の位置および相対距離に基づいて車両が含まれると考えられる画像処理範囲を決定し、その画像処理範囲に対して、たとえば輝度変化に基づいて車両輪郭線を決定する等の公知の画像処理を実行することにより車両部分を決定し、その決定した車両部分を、上記ステップＳ２２０で決定した遠方道路領域の外枠ＯＦと比較する。
【００４９】
上記ステップＳ２４０の判断が否定された場合には、そのまま図６に示すルーチンを終了する。この場合には、ステップＳ２２０で決定した外枠ＯＦ内の領域から道路部分３０を除去した領域が遠方道路領域となる。一方、ステップＳ２４０の判断が肯定された場合には、ステップＳ２５０において、ステップＳ２２０で決定した外枠ＯＦ内の領域から、前述のステップＳ２４０の判断において決定した車両部分を除去した領域を、遠方道路領域に決定する。
【００５０】
以上のようにして、画像内における遠方道路領域を決定されると、決定した遠方道路領域と空領域とに対して、ステップＳ３００において霧判定画像処理を実行する。従って、遠方道路領域と空領域とは、霧判定画像処理が行われる画像処理領域であるということもできる。
【００５１】
ステップＳ３００の霧判定画像処理は図９に詳しく示す処理である。図９において、まず、ステップＳ３１０では、遠方道路領域の画像と空領域の画像を抽出する。なお、空領域については、空領域において際立って高い輝度を示す高輝度空領域の画像を抽出することが好ましい。つまり、空領域の画像には、空だけが映し出されることもあれば、道路周辺に存在する電柱や樹木等の路側物も含めて映し出されることもある。そのため、空領域において際立って高い輝度を示す高輝度空領域の画像を抽出すれば、空だけが映し出されている領域の画像を抽出できる。
【００５２】
ステップＳ３２０では、ステップＳ３１０で抽出した遠方道路領域と空領域の画像から、遠方道路領域及び空領域におけるそれぞれの代表輝度を算出する。例えば、それぞれの領域に含まれる各画素の輝度平均値を代表輝度として算出する。これにより、車載カメラ１２によって撮像された画像から、空の輝度を取得することができるようになる。
【００５３】
ステップＳ３３０では、遠方道路領域の代表輝度値に基づいて、この遠方道路領域に黒つぶれが発生しているかどうかを判定する。このステップＳ３３０にて肯定判断される場合にはステップＳ３４０〜ステップＳ３５０における、遠方道路領域の代表輝度と空領域の代表輝度とを用いた霧判定の処理を行い、ステップＳ３３０にて否定判断される場合には、ステップＳ３６０における遠方道路領域におけるエッジ強度に基づく霧判定を行う。
【００５４】
すなわち、ステップＳ３５０において、遠方道路領域の輝度の比較対象として空の輝度を用いて霧判定をすることで、遠方道路領域に黒つぶれが発生しても、霧判定の精度を確保することができるが、遠方道路領域において黒つぶれが発生していない場合（黒つぶれ不発生時）には、この遠方道路領域のみを用いて霧判定が可能である。
【００５５】
このことから、本霧判定画像処理では、遠方道路領域において黒つぶれ不発生時には、遠方道路領域の画像を用いて霧判定し、遠方道路領域において黒つぶれ発生時には、遠方道路領域の輝度と空の輝度とを用いて霧判定する。このように、遠方道路領域における黒つぶれ発生の有無に応じて、霧判定に用いるべく、車載カメラ１２により撮像された画像内の領域を選択する（切り替える）ことで、常時、遠方道路領域の輝度と空の輝度とを用いて霧判定することがなくなる。その結果、画像処理の負荷を軽減できるようになる。
【００５６】
なお、ステップＳ３６０における処理は、本出願人による出願（特願２００５−１７５７４３号の図９）と同様であるので、その説明は省略する。
【００５７】
ステップＳ３４０では、数式１に示すように、空領域の代表輝度に対する遠方道路領域の代表輝度の割合（輝度比）を算出する。
【００５８】
（数１）
輝度比＝遠方道路領域の代表輝度／空領域の代表輝度
ステップＳ３５０では、図１０に示す確率分布マップにステップＳ３４０にて算出した輝度比を当てはめることで、車載カメラ１２により撮像された画像が、霧がかかった画像であるかどうかの確率を判定する。ここで、図１０の確率分布マップについて説明する。
【００５９】
車両周辺に霧が発生している場合、空領域の輝度の値と遠方道路領域の輝度の値とは、近い値を示すことになるため、空領域の輝度に対する遠方道路領域の輝度の割合（輝度比）は、０．５〜１．０程度の範囲に多く分布する。
【００６０】
そうであれば、霧が発生していない場合には、空領域の輝度の値と遠方道路領域の輝度の値とは近い値を示さず、輝度比についても０．５〜１．０程度の範囲から外れた範囲に多く分布するものと考えられる。しかしながら、霧が発生していない場合の輝度比は、車両の走行シーンが一様ではないゆえに、０．５〜１．０程度の範囲を含んで幅広い範囲に分布することが本願発明者の実験によって明らかとなった。
【００６１】
ここで、霧が発生している場合の輝度比の分布と、霧が発生していない場合の輝度比の分布とから明らかなことは、霧が発生していない場合の輝度比が０．５〜１．０程度の範囲を含む幅広い範囲に分布するのだから、霧が発生している場合の輝度比が多く分布する０．５〜１．０程度の範囲は、実際に、霧が発生しているか発生していないかどうか不明確（従って、図１０に示すように、輝度比０．５〜１．０程度の範囲の場合は、車載カメラ１２により撮像された画像が、霧がかかった画像ではない確率と霧がかかった画像である確率とが同程度（確率５０％程度）を示す）である。加えて、霧が発生している場合の輝度比が多く分布する０．５〜１．０程度の範囲から外れた範囲（図１０における輝度比０〜０．５程度の範囲）は、少なくとも、霧が発生していない場合である確率が高い、ということである。
【００６２】
従って、ステップＳ３５０では、輝度比が小さいほど、車載カメラ１２により撮像された画像が、霧がかかった画像ではない（非霧）確率が高くなり、霧がかかった画像ではない確率と霧がかかった画像である確率とが略等しくなる確率（約５０％）を上限として、輝度比が大きくなるにつれて、車載カメラ１２により撮像された画像が、霧がかかった画像ではない確率が低くなる確率分布マップ（図１０）を用いて判定する。これにより、車両の走行シーンに関らず、霧判定の精度を確保することができるのである。
【００６３】
ステップＳ３５０にて、車載カメラ１２により撮像された画像が、霧がかかった画像であるかどうかの確率の判定結果を車内ＬＡＮ２４を介して出力する。
【００６４】
以上、説明した本実施形態によれば、遠方道路領域の輝度の比較対象として空の輝度を用いて霧判定を行うものである。つまり、昼間において霧が発生していない場合、遠方道路領域の輝度は、遠方道路領域における黒つぶれの発生に係わらず、車両周辺の空の輝度に比べて低い輝度を示す。一方、昼間において霧が発生している場合、霧の粒子が太陽光を散乱することで、全体的に白い画像が車載カメラ１２によって撮像されるようになる。そのため、遠方道路領域の輝度と空の輝度とが近いレベルを示す。従って、遠方道路領域の輝度の比較対象として空の輝度を用いて霧判定を行うことで、遠方道路領域に黒つぶれが発生しても、霧判定の精度を確保することができるのである。
【００６５】
以上、本発明の実施形態を説明したが、本発明は上述の実施形態に限定されるものではなく、次の実施形態も本発明の技術的範囲に含まれ、さらに、下記以外にも要旨を逸脱しない範囲内で種々変更して実施することができる。
【００６６】
例えば、前述の実施形態では、図９のステップＳ３３０にて、遠方道路領域において黒つぶれが発生しているかどうかを判定し、黒つぶれが発生していない場合には遠方道路領域の画像のみを用いて霧判定を行うものであるが、ステップＳ３３０の判定処理、及びステップＳ３６０の霧判定処理を除いて、常に、ステップＳ３４０の輝度比算出を行って、ステップＳ３５０の霧判定処理を行うようにしてもよい。
【００６７】
また、前述の実施形態では、図９の霧判定画像処理において、空領域における代表輝度から空の輝度を求めているが、本実施形態のように照度センサ２１が搭載されている場合には、この照度センサ２１の出力輝度値を用いて、車両周辺の空の輝度を取得するようにしてもよい。照度センサ２１の出力輝度値を用いれば、空領域の輝度を取得するための画像処理が不要になるからである。
【００６８】
また、前述の実施形態では、道路の形状を決定するための道路上標識として白線を認識していたが、道路上標識としては、白線以外に、白線と同様に車線を区画するために連続的に配置されている突起物（半球状のものや、棒状のものなど）、中央分離帯、路側の側溝、轍等があり、それらを認識して道路の形状を決定してもよい。
【００６９】
また、前述の実施形態では、遠方道路領域の外枠ＯＦから道路部分を除去し、さらに、車両部分がある場合にはその車両部分も除去した領域を遠方道路領域としていたが、道路部分や車両部分を除去する処理は必須ではなく、遠方道路領域の外枠ＯＦ内の画像を全て用いて霧判定を行ってもよい。
【００７０】
また、前述の実施形態では、画像内における自車側の所定の端点と前方車両の位置とを、操舵角を曲率半径とする円弧で連結することによって道路形状を決定していたが、ミリ波レーダ２０が車両前後方向線に対して比較的狭い範囲の車両のみを検出するようになっている場合には、自車側の所定の端点と前方車両とを直線で連結して道路形状を決定してもよい。この場合には、ステップＳ１６０（操舵角の検出）は不要となる。なお、前方車両を検出するために、ミリ波レーダ２０に代えて、レーザレーダーを備えていてもよいし、また、画像からテールランプやナンバープレート等の車両に特徴的な形状を検出することによって前方車両を検出するようにしてもよい。
【００７１】
また、前述の実施形態では、遠方道路領域の外枠ＯＦおよび至近路辺領域３２はいずれも矩形であったが、これらは矩形である必要はなく、円形等の他の形状であってもよい。
【図面の簡単な説明】
【００７２】
【図１】本発明が適用された車載霧判定装置１０の構成を示すブロック図である。
【図２】図１の画像処理ＥＣＵ１４が実行する制御機能の要部を示すフローチャートである。
【図３】車載カメラ１２によって撮像されている画像例である。
【図４】車載カメラ１２によって撮像されている画像例である。
【図５】図１のステップＳ１００の道路形状決定処理を詳しく示すフローチャートである。
【図６】図１のステップＳ２００の遠方道路領域決定処理を詳しく示すフローチャートである。
【図７】車載カメラ１２によって撮像される画像内における予め設定された１００ｍ線Lｆを示す図である。
【図８】予め設定された固定の道路部分３０を示す図である。
【図９】図１のステップＳ３００の霧判定画像処理を詳しく示すフローチャートである。
【図１０】空領域の輝度に対する遠方道路領域の輝度の割合を示す輝度比の確率分布マップを示した図である。
【符号の説明】
【００７３】
１０：車載霧判定装置
１２：車載カメラ
１６：ヨーレートセンサ
１８：ステアリングセンサ
３２：至近路辺領域
Ｌｆ：１００ｍ線（遠方距離線）
ＯＦ：遠方道路領域の外枠
ＡＦ：空領域の外枠
【技術分野】
【０００１】
本発明は、車載カメラによって撮像された画像から霧判定する車載霧判定装置に関する。
【背景技術】
【０００２】
車載カメラの撮像画像を処理して霧判定を行う装置が知られている（例えば、特許文献１参照。）。この特許文献１における霧判定の方法は、画像のぼけ具合に基づいており、霧である場合にはぼけた画像となるので、画像のぼけ具合を推定することにより霧判定を行っている。画像のぼけ具合の推定は、まず、画像全体に対して画素毎に微分演算によって輝度のエッジ量を算出して、そのエッジ量に基づいて、画像のぼけ具合を推定している。画像がぼけているほどエッジ量は全体的に小さくなることから、エッジ量に基づいて画像のぼけ具合を推定する。
【０００３】
この特許文献１の装置は、霧判定の結果を白線認識に利用している。車載カメラによって撮像された画像から白線認識を行う場合、霧であると、画像がぼけてしまい白線認識が困難になることから、白線認識に先立って霧判定を行うのである。そして、霧であると判定した場合には、フォグランプを点灯させることも記載されている。
【０００４】
また、特許文献２の装置は、霧のみを判定するものではないが、霧等による視界不良や、フロントガラスの汚れによって画像がぼけると、的確な車外監視（自車と車外の対象物との間の距離の監視など）が困難になるので、画像がぼけているかどうかを判定している。
【０００５】
特許文献２における画像ぼけの判定方法は、画像の中央上部に設定された固定領域の画像について輝度のエッジを算出し、そのエッジが所定値を越えた割合に基づいて、画像のぼけ具合を判定している。
【特許文献１】特許３４４４１９２号公報
【特許文献２】特許３３１２７２９号公報
【発明の開示】
【発明が解決しようとする課題】
【０００６】
特許文献１、２は、いずれも、車載カメラによって撮像された画像がぼけているかを判定することによって、霧判定を行っているのであるが、特許文献１のように、画像全体についてエッジ量を算出することとすると、画像処理の負荷が大きいという問題があった。一方、特許文献２では、エッジを算出するのは画像の中央上部に設定された固定領域のみであるので、画像処理の負荷は特許文献１の場合に比較して少ない。しかし、霧であっても自車から近距離にある物体は、比較的はっきり撮像されることから、その固定領域に自車から近距離に位置する物体が撮像されている場合には、霧判定が精度よく行えないという問題があった。
【０００７】
本出願人は、この点を鑑みて、車載カメラで撮像された画像内において、車両から所定の遠方距離にある道路上の領域である遠方道路領域を決定し、この遠方道路領域の画像を用いて霧判定を行う装置を発明し、出願した（特願２００５−１７５７４３号）。このように、霧判定の対象とする画像の領域を道路上の領域とすれば、道路は通常、遠方まで続いていることから、その領域には遠方部分が撮像されている可能性が高いので、霧判定の精度が確保できる。
【０００８】
しかしながら、山間部の道路のように森の中を通る道路では、遠方道路領域が森の中であるために黒くつぶれてしまうことがある。このように、遠方道路領域に黒つぶれが発生すると、霧がかかった画像であると誤って判定することがあった。
【０００９】
本発明は、この事情に基づいて成されたものであり、その目的とするところは、遠方道路領域に黒つぶれが発生しても、霧判定の精度を確保することにある。
【課題を解決するための手段】
【００１０】
その目的を達成するための請求項１記載の発明は、車両に搭載される車載カメラにより撮像された画像が、霧がかかった画像であるかどうかを判定する画像霧状態判定手段を備えた車載霧判定装置であって、
車載カメラによって撮像された画像内において、車両から所定の遠方距離にある道路上の領域である遠方道路領域の輝度を取得する遠方輝度取得手段と、
車両周辺の空の輝度を取得する空輝度取得手段と、を備え、
画像霧状態判定手段は、遠方道路領域の輝度と空の輝度とを用いて判定することを特徴とする。
【００１１】
昼間において霧が発生していない場合、遠方道路領域の輝度は、遠方道路領域における黒つぶれの発生に係わらず、車両周辺の空の輝度に比べて低い輝度を示す。一方、昼間において霧が発生している場合、霧の粒子が太陽光を散乱することで、全体的に白い画像が車載カメラによって撮像されるようになる。そのため、遠方道路領域の輝度と空の輝度とが近いレベルを示す。
【００１２】
このように、本発明は、遠方道路領域の輝度の比較対象として空の輝度を用いることで、遠方道路領域に黒つぶれが発生しても、霧判定の精度を確保することができるのである。
【００１３】
なお、遠方道路領域において黒つぶれが発生していない場合（黒つぶれ不発生時）には、この遠方道路領域のみを用いて霧判定が可能である。このことから、請求項２に記載のように、画像霧状態判定手段は、遠方道路領域において黒つぶれ不発生時には、遠方道路領域の画像を用いて判定し、遠方道路領域において黒つぶれ発生時には、遠方道路領域の輝度と空の輝度とを用いて判定するようにしてもよい。
【００１４】
このように、遠方道路領域における黒つぶれ発生の有無に応じて、霧判定に用いるべく、車載カメラにより撮像された画像内の領域を選択する（切り替える）ことで、常時、遠方道路領域の輝度と空の輝度とを用いて霧判定することがなくなる。その結果、画像処理の負荷を軽減できるようになる。
【００１５】
請求項３に記載の車載霧判定装置によれば、車載カメラによって撮像された画像内において、車両が走行している道路の形状を決定する道路形状決定手段と、道路形状決定手段によって決定された道路の形状に基づき、画像内における遠方道路領域を決定する遠方道路領域決定手段と、を備えることを特徴とする。これにより、画像内における遠方道路領域を決定することができるようになる。
【００１６】
請求項４に記載の車載霧判定装置によれば、車載カメラによって撮像された画像内において、車両周辺の空に相当する領域である空領域の画像を抽出する空領域画像抽出手段を備え、空輝度取得手段は、空領域の輝度を取得するものであることを特徴とする。これにより、車載カメラによって撮像された画像から、空の輝度を取得することができるようになる。
【００１７】
なお、請求項５に記載のように、空領域画像抽出手段は、空領域内において際立って高い輝度を示す高輝度空領域の画像を抽出することが好ましい。空領域の画像には、空だけが映し出されることもあれば、道路周辺に存在する電柱や樹木等の路側物も含めて映し出されることもあるため、空領域において際立って高い輝度を示す高輝度空領域の画像を抽出すれば、空だけが映し出されている領域の画像を抽出できるからである。
【００１８】
また、請求項６に記載のように、空輝度取得手段は、車両に搭載された照度センサの出力輝度値を用いて、車両周辺の空の輝度を取得するようにしてもよい。車両には、ヘッドライトを自動的に点灯・消灯するための照度センサが搭載されていることがあるため、その照度センサの出力輝度値を用いれば、空領域の輝度を取得するための画像処理が不要になるからである。
【００１９】
ところで、霧が発生している場合、空の輝度の値と遠方道路領域の輝度の値とは、近い値を示すことになるため、空の輝度に対する遠方道路領域の輝度の割合（遠方道路領域の輝度／空の輝度のこと。以下、輝度比）は、０．５〜１．０程度の範囲に多く分布する。
【００２０】
そうであれば、霧が発生していない場合には、空の輝度の値と遠方道路領域の輝度の値とは近い値を示さず、輝度比についても０．５〜１．０程度の範囲から外れた範囲に多く分布するものと考えられる。しかしながら、霧が発生していない場合の輝度比は、車両の走行シーンが一様ではないゆえに、０．５〜１．０程度の範囲を含んで幅広い範囲に分布することが本願発明者の実験によって明らかとなった。
【００２１】
ここで、霧が発生している場合の輝度比の分布と、霧が発生していない場合の輝度比の分布とから明らかなことは、霧が発生していない場合の輝度比が０．５〜１．０程度の範囲を含む幅広い範囲に分布するのだから、霧が発生している場合の輝度比が多く分布する０．５〜１．０程度の範囲は、実際に、霧が発生しているか発生していないかどうか不明確であるとともに、霧が発生している場合の輝度比が多く分布する０．５〜１．０程度の範囲から外れた範囲は、少なくとも、霧が発生していない場合である確率が高い、ということである。
【００２２】
請求項７に記載の車載霧判定装置は、上記の特徴的な点に着目したもので、
画像霧状態判定手段は、
空の輝度に対する遠方道路領域の輝度の割合を示す輝度比が小さいほど、車載カメラにより撮像された画像が、霧がかかった画像ではない確率が高くなり、
車載カメラにより撮像された画像が、霧がかかった画像ではない確率と霧がかかった画像である確率とが略等しくなる確率を上限として、輝度比が大きくなるにつれて、車載カメラにより撮像された画像が、霧がかかった画像ではない確率が低くなる確率分布マップを用いて判定する。これにより、車両の走行シーンに関らず、霧判定の精度を確保することができるのである。
【発明を実施するための最良の形態】
【００２３】
以下、本発明の車載霧判定装置の実施の形態を、図面に基づいて説明する。図１は、本発明が適用された車載霧判定装置１０の構成を示すブロック図である。
【００２４】
車載霧判定装置１０は、車載カメラ１２、画像処理ＥＣＵ１４、ヨーレートセンサ１６、ステアリングセンサ１８、ミリ波レーダ２０、照度センサ２１、車速センサ２２を備えており、それらが車内ＬＡＮ２４によって相互に接続されている。また、この車内ＬＡＮ２４には、運転支援制御ＥＣＵ２６およびライト制御ＥＣＵ２８も接続されている。
【００２５】
上記車載カメラ１２は、ＣＣＤカメラによって構成されており、その取り付け位置は、車両の内部、たとえば運転席近傍の天井とされている。この車載カメラ１２によって、車両前方の画像が連続的に撮像され、撮像された画像のデータは、画像処理ＥＣＵ１４において処理される。
【００２６】
画像処理ＥＣＵ１４は、図示しない内部にＣＰＵ、ＲＯＭ、ＲＡＭ等を備えたコンピュータであり、そのＲＡＭには、車載カメラ１２によって連続的に撮像される一定時間分の画像のデータが一時的に記憶される。そして、ＣＰＵは、ＲＯＭに記憶されたプログラムに従って、そのＲＡＭに記憶された画像データに対して図２に示す処理を実行する。このＣＰＵの処理については後述する。
【００２７】
ヨーレートセンサ１６は車両のヨーレートを逐次検出し、ステアリングセンサ１８は、ステアリングの操舵角を逐次検出する。また、ミリ波レーダ２０は、車両前方に向けて所定周波数のミリ波を出力し、且つ、対象物からの反射波を受信する。運転支援ＥＣＵ２６は、前方車両検出手段としても機能しており、上記ミリ波レーダ２０によって受信された反射波に基づいて、前方車両（自車と同一車線において前方を走行している車両）の有無を連続的に判定し、前方車両を検出した場合にはその前方車両との間の距離、相対方位および相対速度を算出する。さらに、算出したそれらの情報に基づいて、車速制御などの運転支援制御を実行する。
【００２８】
ライト制御ＥＣＵ２８は、照度センサ２１からの照度センサの出力輝度値に基づいて、図示しないフォグランプやヘッドライトを自動的に点灯・消灯する制御を実行するほか、画像処理ＥＣＵ１４において霧であると判定された場合にも、フォグランプやヘッドライトの点灯・消灯の制御を実行する。
【００２９】
図２は、上記画像処理ＥＣＵ１４の制御機能の要部を示すフローチャートである。図２に示す制御は、走行中に所定の周期で実行するものであり、この制御の実行中には、車載カメラ１２によって車両前方の画像が連続的に撮像されている。図３、図４は、車載カメラ１２によって撮像されている画像例である。
【００３０】
図２に示すように、上記画像処理ＥＣＵ１４は、まず、道路形状決定手段に相当する道路形状決定処理を実行し（ステップＳ１００）、次いで、遠方道路領域決定手段に相当する遠方道路領域決定処理を実行し（ステップＳ２００）、その後、画像霧状態判定手段に相当する霧判定画像処理（ステップＳ３００）を実行する。
【００３１】
上記ステップＳ１００の道路形状決定処理は、図５に詳しく示されている。図５において、まず、ステップＳ１１０では、車載カメラ１２によって連続的に撮像される画像に基づいて、道路に沿って設けられている道路上標識である白線を認識する白線認識処理を実行する。この白線認識処理としては、公知の様々な処理手法を用いることができるが、たとえば、車載カメラ１２によって撮像された画像を二値化処理し、二値化処理後の画像から白色部分を抽出することによって白線を認識する。なお、ここにおける白線は、通常の白線認識処理と同様に、白線のみでなく黄線も含むものである。
【００３２】
上記ステップＳ１１０における白線認識処理においては、常に白線が認識できるとは限らず、たとえば、道路に白線が描かれていない等の理由により、白線の認識ができないこともある。そこで、続くステップＳ１２０では、白線が認識できたか否かを判断する。ここでの判断は、続くステップＳ１３０において道路形状を決定できる程度に白線が認識できたかどうかを判断するものであり、両側の白線が認識される必要はなく、また、自車位置から消失点まで連続的に白線が認識できる必要もない。すなわち、ステップＳ１２０では、少なくとも一方の白線が、所定長さ連続して、或いは、断続的に認識できたか否かを判断する。
【００３３】
上記ステップ１２０の判断が肯定された場合には、続くステップＳ１３０において、道路形状を決定する。ここでの道路形状とは、自車から前方に延びる道路の曲がり具合（形状）を示す一本の線であり、たとえば、図３、図４に示す一点鎖線である。なお、図３および図４に示す一点鎖線は、自車が走行している車線の幅方向中心線となっているが、それに代えて、自車が走行している車線の左右いずれか一方の白線をそのまま道路形状としてもよいし、また、車線が複数ある場合には道路全体の幅方向中心線を道路形状としてもよい。
【００３４】
一方、ステップＳ１２０の判断が否定された場合には、ステップＳ１４０において、運転支援ＥＣＵ２６において前方車両が検出されているか否かを判断する。この判断が肯定された場合には、運転支援ＥＣＵ２６ではその前方車両との間の距離、相対方位が算出されているので、ステップＳ１５０において、運転支援ＥＣＵ２６において算出されている前方車両との間の距離および相対方位に基づいて、その前方車両の画像内における位置を決定する。
【００３５】
続くステップＳ１６０では、ステアリングセンサ１８からの信号に基づいて操舵角を検出する。そして、ステップＳ１７０では、道路形状を示す線の自車側の端点として予め定められている画像内の所定点（たとえば、画像内におけるボンネットの境界線の車両幅方向中心点）とステップＳ１５０で決定した画像内における前方車両の位置とを、ステップＳ１６０で決定した操舵角を曲率半径とする円弧で連結することによって、道路形状を決定する。
【００３６】
前述のステップＳ１４０の判断も否定された場合には、ステップＳ１８０乃至Ｓ１９０を実行して道路形状を決定する。まず、ステップＳ１８０では、ステアリングセンサ１８からの信号に基づいて操舵角を検出し、続くステップＳ１９０では、道路形状を示す線の自車側の端点として予め定められている画像内の所定点において、接線が車両前後方向に対して平行となるような円弧を、道路形状を示す線に決定する。なお、前述のステップＳ１６０およびステップＳ１８０のいずれか一方、あるいはその両方において、操舵角を検出することに代えて、ヨーレートセンサ１６からヨーレートを検出してもよい。
【００３７】
上記ステップＳ１３０、Ｓ１７０、Ｓ１９０において、それぞれ決定される道路形状を比較すると、ステップＳ１３０は道路に沿って設けられている白線に基づいて道路形状を決定するため、最も道路形状を正確に決定することができ、また、ステップＳ１７０は、操舵角に加えて前方車両の位置を用いていることから、操舵角のみに基づいているステップＳ１９０よりも道路形状を正確に決定することができる。その一方で、ステップＳ１３０は白線が認識できない場合には道路形状が決定できず、また、ステップＳ１７０は前方車両が検出されない場合には道路形状が決定できないが、ステップＳ１９０は、確実に道路形状を決定することができる。
【００３８】
このようにして道路形状を決定したら遠方道路領域決定処理（図２のステップＳ２００）を実行する。この遠方道路領域決定処理は、図６に詳しく示す処理である。
【００３９】
図６において、まず、ステップＳ２１０では、自車が走行している道路上において自車から所定の遠方距離にある画像内の遠方距離点を決定する。上記所定の遠方距離は、ここでは１００ｍに設定されていることとするが、１００ｍに限定されるものではなく、ある程度の濃さの霧の時に画像がぼやける程度に遠方であればよい。
【００４０】
車載カメラ１２は車両に固定されていることから、平坦な地面上のある地点までの実距離と、画像内においてその地点がどこに位置するかは予め決定することができる。従って、画像内において平坦な地面上で自車から１００ｍ先の地点が位置する１００ｍ線は予め決定することができる。図７は、画像内における上記１００ｍ線Ｌｆを示している。本実施形態では、この１００ｍ線Ｌｆが遠方距離線であり、この１００ｍ線Ｌｆが画像処理ＥＣＵ１４内のＲＯＭあるいは他の記憶装置に記憶されている。
【００４１】
そして、ステップＳ２１０では、その１００ｍ線ＬｆとステップＳ１００で決定した道路形状を示す線との交点を、自車が走行している道路上における遠方距離点（すなわち、ここでは１００ｍ先の点）に決定する。
【００４２】
続くステップＳ２２０では、上記ステップＳ２１０で決定した遠方距離点を基準として遠方道路領域の外枠ＯＦを決定する。図３、図４に示されている遠方道路領域の外枠ＯＦは、ステップＳ２１０で決定した遠方距離点が外枠ＯＦの下辺の中心となるようにして設定したものである。また、この外枠ＯＦの大きさは、車載カメラ１２によって撮像される画像全体の大きさに対して十分小さ大きさに設定されている。
【００４３】
また、図３、図４には、車両周辺の空に相当する領域（以下、空領域）の外枠ＡＦの設定例を示している。この空領域の外枠ＡＦの画像上の位置は、画像処理ＥＣＵ１４内のＲＯＭあるいは他の記憶装置に記憶されている。
【００４４】
なお、図３、図４の例に限らず、上記遠方距離点が遠方道路領域の中心となるように外枠ＯＦの位置を決定してもよい。また、道路形状を、走行車線の幅方向中心線としているか、道路全体の幅方向中心線としているか、走行車線の左右いずれかの白線としているかによって、遠方道路領域の外枠ＯＦに対する遠方距離点の位置を変更してもよい。たとえば、道路形状（を示す線）を走行車線の右側白線としている場合には、遠方道路領域の外枠ＯＦの下辺の右から１／４の点が遠方距離点となるように外枠ＯＦの位置を決定してもよい。
【００４５】
続くステップＳ２３０では、上記ステップＳ２２０で決定した遠方道路領域の外枠ＯＦ内の領域から道路部分を除去する。本実施形態では、図８に示す予め設定された固定の道路部分３０を除去する。この道路部分は、外枠ＯＦの中心Ｏを頂点とし、外枠ＯＦの下辺を底辺とする三角形部分である。
【００４６】
外枠ＯＦ内に実際に撮像されている道路部分は、走行中の道路の幅や、直線道路であるかカーブ形状の道路であるかなどによってその形状が異なることを考えると、このように道路部分３０が固定された領域となっていると、外枠ＯＦ内において実際に撮像されている画像から道路部分を正確に除去することは困難である。しかし、道路形状がどのようなものであっても、遠方道路領域内においては、道路部分は下辺から上方へ向かうに従って狭くなるので、このように除去する道路部分３０を固定しても、大半の道路部分を除去することは可能であり、また、このように道路部分３０を固定することによって演算処理負荷を軽減させることができる。上記ステップＳ２３０で道路部分が除去されると、除去後の領域は、路側部分の割合が相対的に多くなる。
【００４７】
なお、道路部分３０を固定せずに、ステップＳ１００で決定した道路形状に基づいて道路部分を決定することも可能である。この場合には、たとえば、道路形状を示す線と遠方道路領域の外枠ＯＦとが一点でしか交わっていない場合（図３参照）には、消失点を頂点として外枠ＯＦの下辺を底辺とする三角形を道路部分とし、道路形状を示す線と遠方道路領域の外枠ＯＦとが二点で交わっている場合（図４参照）には、その２つの交点のうち外枠ＯＦの下辺ではない部分において交わっている側の交点（またはそれよりも所定座標だけ上側の点）を頂点として、外枠ＯＦの下辺を底辺とする直角三角形を道路部分とすればよい。また、画像処理によって白線を認識してその白線に基づいて道路部分を決定してもよい。
【００４８】
続くステップＳ２４０では、上記ステップＳ２２０で決定した遠方道路領域の外枠ＯＦ内に車両部分があるか否かを判断する。この判断を行うのは、遠方道路領域として決定する画像に、近距離に位置する車両が含まれていると霧判定が困難となることから、そのような近距離に位置する車両を遠方道路領域内の画像から除去するためである。従って、ステップＳ２４０では、運転支援ＥＣＵ２６によって前方車両の存在が検出されているかをまず判断する。そして、前方車両の存在が検出されている場合には、運転支援ＥＣＵ２６によって特定されている前方車両の位置および相対距離に基づいて車両が含まれると考えられる画像処理範囲を決定し、その画像処理範囲に対して、たとえば輝度変化に基づいて車両輪郭線を決定する等の公知の画像処理を実行することにより車両部分を決定し、その決定した車両部分を、上記ステップＳ２２０で決定した遠方道路領域の外枠ＯＦと比較する。
【００４９】
上記ステップＳ２４０の判断が否定された場合には、そのまま図６に示すルーチンを終了する。この場合には、ステップＳ２２０で決定した外枠ＯＦ内の領域から道路部分３０を除去した領域が遠方道路領域となる。一方、ステップＳ２４０の判断が肯定された場合には、ステップＳ２５０において、ステップＳ２２０で決定した外枠ＯＦ内の領域から、前述のステップＳ２４０の判断において決定した車両部分を除去した領域を、遠方道路領域に決定する。
【００５０】
以上のようにして、画像内における遠方道路領域を決定されると、決定した遠方道路領域と空領域とに対して、ステップＳ３００において霧判定画像処理を実行する。従って、遠方道路領域と空領域とは、霧判定画像処理が行われる画像処理領域であるということもできる。
【００５１】
ステップＳ３００の霧判定画像処理は図９に詳しく示す処理である。図９において、まず、ステップＳ３１０では、遠方道路領域の画像と空領域の画像を抽出する。なお、空領域については、空領域において際立って高い輝度を示す高輝度空領域の画像を抽出することが好ましい。つまり、空領域の画像には、空だけが映し出されることもあれば、道路周辺に存在する電柱や樹木等の路側物も含めて映し出されることもある。そのため、空領域において際立って高い輝度を示す高輝度空領域の画像を抽出すれば、空だけが映し出されている領域の画像を抽出できる。
【００５２】
ステップＳ３２０では、ステップＳ３１０で抽出した遠方道路領域と空領域の画像から、遠方道路領域及び空領域におけるそれぞれの代表輝度を算出する。例えば、それぞれの領域に含まれる各画素の輝度平均値を代表輝度として算出する。これにより、車載カメラ１２によって撮像された画像から、空の輝度を取得することができるようになる。
【００５３】
ステップＳ３３０では、遠方道路領域の代表輝度値に基づいて、この遠方道路領域に黒つぶれが発生しているかどうかを判定する。このステップＳ３３０にて肯定判断される場合にはステップＳ３４０〜ステップＳ３５０における、遠方道路領域の代表輝度と空領域の代表輝度とを用いた霧判定の処理を行い、ステップＳ３３０にて否定判断される場合には、ステップＳ３６０における遠方道路領域におけるエッジ強度に基づく霧判定を行う。
【００５４】
すなわち、ステップＳ３５０において、遠方道路領域の輝度の比較対象として空の輝度を用いて霧判定をすることで、遠方道路領域に黒つぶれが発生しても、霧判定の精度を確保することができるが、遠方道路領域において黒つぶれが発生していない場合（黒つぶれ不発生時）には、この遠方道路領域のみを用いて霧判定が可能である。
【００５５】
このことから、本霧判定画像処理では、遠方道路領域において黒つぶれ不発生時には、遠方道路領域の画像を用いて霧判定し、遠方道路領域において黒つぶれ発生時には、遠方道路領域の輝度と空の輝度とを用いて霧判定する。このように、遠方道路領域における黒つぶれ発生の有無に応じて、霧判定に用いるべく、車載カメラ１２により撮像された画像内の領域を選択する（切り替える）ことで、常時、遠方道路領域の輝度と空の輝度とを用いて霧判定することがなくなる。その結果、画像処理の負荷を軽減できるようになる。
【００５６】
なお、ステップＳ３６０における処理は、本出願人による出願（特願２００５−１７５７４３号の図９）と同様であるので、その説明は省略する。
【００５７】
ステップＳ３４０では、数式１に示すように、空領域の代表輝度に対する遠方道路領域の代表輝度の割合（輝度比）を算出する。
【００５８】
（数１）
輝度比＝遠方道路領域の代表輝度／空領域の代表輝度
ステップＳ３５０では、図１０に示す確率分布マップにステップＳ３４０にて算出した輝度比を当てはめることで、車載カメラ１２により撮像された画像が、霧がかかった画像であるかどうかの確率を判定する。ここで、図１０の確率分布マップについて説明する。
【００５９】
車両周辺に霧が発生している場合、空領域の輝度の値と遠方道路領域の輝度の値とは、近い値を示すことになるため、空領域の輝度に対する遠方道路領域の輝度の割合（輝度比）は、０．５〜１．０程度の範囲に多く分布する。
【００６０】
そうであれば、霧が発生していない場合には、空領域の輝度の値と遠方道路領域の輝度の値とは近い値を示さず、輝度比についても０．５〜１．０程度の範囲から外れた範囲に多く分布するものと考えられる。しかしながら、霧が発生していない場合の輝度比は、車両の走行シーンが一様ではないゆえに、０．５〜１．０程度の範囲を含んで幅広い範囲に分布することが本願発明者の実験によって明らかとなった。
【００６１】
ここで、霧が発生している場合の輝度比の分布と、霧が発生していない場合の輝度比の分布とから明らかなことは、霧が発生していない場合の輝度比が０．５〜１．０程度の範囲を含む幅広い範囲に分布するのだから、霧が発生している場合の輝度比が多く分布する０．５〜１．０程度の範囲は、実際に、霧が発生しているか発生していないかどうか不明確（従って、図１０に示すように、輝度比０．５〜１．０程度の範囲の場合は、車載カメラ１２により撮像された画像が、霧がかかった画像ではない確率と霧がかかった画像である確率とが同程度（確率５０％程度）を示す）である。加えて、霧が発生している場合の輝度比が多く分布する０．５〜１．０程度の範囲から外れた範囲（図１０における輝度比０〜０．５程度の範囲）は、少なくとも、霧が発生していない場合である確率が高い、ということである。
【００６２】
従って、ステップＳ３５０では、輝度比が小さいほど、車載カメラ１２により撮像された画像が、霧がかかった画像ではない（非霧）確率が高くなり、霧がかかった画像ではない確率と霧がかかった画像である確率とが略等しくなる確率（約５０％）を上限として、輝度比が大きくなるにつれて、車載カメラ１２により撮像された画像が、霧がかかった画像ではない確率が低くなる確率分布マップ（図１０）を用いて判定する。これにより、車両の走行シーンに関らず、霧判定の精度を確保することができるのである。
【００６３】
ステップＳ３５０にて、車載カメラ１２により撮像された画像が、霧がかかった画像であるかどうかの確率の判定結果を車内ＬＡＮ２４を介して出力する。
【００６４】
以上、説明した本実施形態によれば、遠方道路領域の輝度の比較対象として空の輝度を用いて霧判定を行うものである。つまり、昼間において霧が発生していない場合、遠方道路領域の輝度は、遠方道路領域における黒つぶれの発生に係わらず、車両周辺の空の輝度に比べて低い輝度を示す。一方、昼間において霧が発生している場合、霧の粒子が太陽光を散乱することで、全体的に白い画像が車載カメラ１２によって撮像されるようになる。そのため、遠方道路領域の輝度と空の輝度とが近いレベルを示す。従って、遠方道路領域の輝度の比較対象として空の輝度を用いて霧判定を行うことで、遠方道路領域に黒つぶれが発生しても、霧判定の精度を確保することができるのである。
【００６５】
以上、本発明の実施形態を説明したが、本発明は上述の実施形態に限定されるものではなく、次の実施形態も本発明の技術的範囲に含まれ、さらに、下記以外にも要旨を逸脱しない範囲内で種々変更して実施することができる。
【００６６】
例えば、前述の実施形態では、図９のステップＳ３３０にて、遠方道路領域において黒つぶれが発生しているかどうかを判定し、黒つぶれが発生していない場合には遠方道路領域の画像のみを用いて霧判定を行うものであるが、ステップＳ３３０の判定処理、及びステップＳ３６０の霧判定処理を除いて、常に、ステップＳ３４０の輝度比算出を行って、ステップＳ３５０の霧判定処理を行うようにしてもよい。
【００６７】
また、前述の実施形態では、図９の霧判定画像処理において、空領域における代表輝度から空の輝度を求めているが、本実施形態のように照度センサ２１が搭載されている場合には、この照度センサ２１の出力輝度値を用いて、車両周辺の空の輝度を取得するようにしてもよい。照度センサ２１の出力輝度値を用いれば、空領域の輝度を取得するための画像処理が不要になるからである。
【００６８】
また、前述の実施形態では、道路の形状を決定するための道路上標識として白線を認識していたが、道路上標識としては、白線以外に、白線と同様に車線を区画するために連続的に配置されている突起物（半球状のものや、棒状のものなど）、中央分離帯、路側の側溝、轍等があり、それらを認識して道路の形状を決定してもよい。
【００６９】
また、前述の実施形態では、遠方道路領域の外枠ＯＦから道路部分を除去し、さらに、車両部分がある場合にはその車両部分も除去した領域を遠方道路領域としていたが、道路部分や車両部分を除去する処理は必須ではなく、遠方道路領域の外枠ＯＦ内の画像を全て用いて霧判定を行ってもよい。
【００７０】
また、前述の実施形態では、画像内における自車側の所定の端点と前方車両の位置とを、操舵角を曲率半径とする円弧で連結することによって道路形状を決定していたが、ミリ波レーダ２０が車両前後方向線に対して比較的狭い範囲の車両のみを検出するようになっている場合には、自車側の所定の端点と前方車両とを直線で連結して道路形状を決定してもよい。この場合には、ステップＳ１６０（操舵角の検出）は不要となる。なお、前方車両を検出するために、ミリ波レーダ２０に代えて、レーザレーダーを備えていてもよいし、また、画像からテールランプやナンバープレート等の車両に特徴的な形状を検出することによって前方車両を検出するようにしてもよい。
【００７１】
また、前述の実施形態では、遠方道路領域の外枠ＯＦおよび至近路辺領域３２はいずれも矩形であったが、これらは矩形である必要はなく、円形等の他の形状であってもよい。
【図面の簡単な説明】
【００７２】
【図１】本発明が適用された車載霧判定装置１０の構成を示すブロック図である。
【図２】図１の画像処理ＥＣＵ１４が実行する制御機能の要部を示すフローチャートである。
【図３】車載カメラ１２によって撮像されている画像例である。
【図４】車載カメラ１２によって撮像されている画像例である。
【図５】図１のステップＳ１００の道路形状決定処理を詳しく示すフローチャートである。
【図６】図１のステップＳ２００の遠方道路領域決定処理を詳しく示すフローチャートである。
【図７】車載カメラ１２によって撮像される画像内における予め設定された１００ｍ線Lｆを示す図である。
【図８】予め設定された固定の道路部分３０を示す図である。
【図９】図１のステップＳ３００の霧判定画像処理を詳しく示すフローチャートである。
【図１０】空領域の輝度に対する遠方道路領域の輝度の割合を示す輝度比の確率分布マップを示した図である。
【符号の説明】
【００７３】
１０：車載霧判定装置
１２：車載カメラ
１６：ヨーレートセンサ
１８：ステアリングセンサ
３２：至近路辺領域
Ｌｆ：１００ｍ線（遠方距離線）
ＯＦ：遠方道路領域の外枠
ＡＦ：空領域の外枠
【特許請求の範囲】
【請求項１】
車両に搭載される車載カメラにより撮像された画像が、霧がかかった画像であるかどうかを判定する画像霧状態判定手段を備えた車載霧判定装置であって、
前記車載カメラによって撮像された画像内において、前記車両から所定の遠方距離にある道路上の領域である遠方道路領域の輝度を取得する遠方輝度取得手段と、
前記車両周辺の空の輝度を取得する空輝度取得手段と、を備え、
前記画像霧状態判定手段は、前記遠方道路領域の輝度と前記空の輝度とを用いて判定することを特徴とする車載霧判定装置。
【請求項２】
車両に搭載される車載カメラにより撮像された画像が、霧がかかった画像であるかどうかを判定する画像霧状態判定手段を備えた車載霧判定装置であって、
前記車載カメラによって撮像された画像内において、前記車両から所定の遠方距離にある道路上の領域である遠方道路領域の輝度を取得する遠方輝度取得手段と、
前記車両周辺の空の輝度を取得する空輝度取得手段と、を備え、
前記画像霧状態判定手段は、
前記遠方道路領域において黒つぶれ不発生時には、前記遠方道路領域の画像を用いて判定し、
前記遠方道路領域において黒つぶれ発生時には、前記遠方道路領域の輝度と前記空の輝度とを用いて判定することを特徴とする車載霧判定装置。
【請求項３】
前記車載カメラによって撮像された画像内において、前記車両が走行している道路の形状を決定する道路形状決定手段と、
前記道路形状決定手段によって決定された道路の形状に基づき、前記画像内における前記遠方道路領域を決定する遠方道路領域決定手段と、を備えることを特徴とする請求項１又は２記載の車載霧判定装置。
【請求項４】
前記車載カメラによって撮像された画像内において、前記車両周辺の空に相当する領域である空領域の画像を抽出する空領域画像抽出手段を備え、
前記空輝度取得手段は、前記空領域の輝度を取得するものであることを特徴とする請求項１〜３の何れか１項に記載の車載霧判定装置。
【請求項５】
前記空領域画像抽出手段は、前記空領域内において際立って高い輝度を示す高輝度空領域の画像を抽出することを特徴とする請求項４記載の車載霧判定装置。
【請求項６】
前記空輝度取得手段は、前記車両に搭載された照度センサの出力輝度値を用いて、前記車両周辺の空の輝度を取得することを特徴とする請求項１〜３の何れか１項に記載の車載霧判定装置。
【請求項７】
前記画像霧状態判定手段は、
前記空の輝度に対する前記遠方道路領域の輝度の割合を示す輝度比が小さいほど、前記車載カメラにより撮像された画像が、霧がかかった画像ではない確率が高くなり、
前記車載カメラにより撮像された画像が、霧がかかった画像ではない確率と霧がかかった画像である確率とが略等しくなる確率を上限として、前記輝度比が大きくなるにつれて、前記車載カメラにより撮像された画像が、霧がかかった画像ではない確率が低くなる確率分布マップを用いて判定することを特徴とする請求項１〜６の何れか１項に記載の車載霧判定装置。
【請求項１】
車両に搭載される車載カメラにより撮像された画像が、霧がかかった画像であるかどうかを判定する画像霧状態判定手段を備えた車載霧判定装置であって、
前記車載カメラによって撮像された画像内において、前記車両から所定の遠方距離にある道路上の領域である遠方道路領域の輝度を取得する遠方輝度取得手段と、
前記車両周辺の空の輝度を取得する空輝度取得手段と、を備え、
前記画像霧状態判定手段は、前記遠方道路領域の輝度と前記空の輝度とを用いて判定することを特徴とする車載霧判定装置。
【請求項２】
車両に搭載される車載カメラにより撮像された画像が、霧がかかった画像であるかどうかを判定する画像霧状態判定手段を備えた車載霧判定装置であって、
前記車載カメラによって撮像された画像内において、前記車両から所定の遠方距離にある道路上の領域である遠方道路領域の輝度を取得する遠方輝度取得手段と、
前記車両周辺の空の輝度を取得する空輝度取得手段と、を備え、
前記画像霧状態判定手段は、
前記遠方道路領域において黒つぶれ不発生時には、前記遠方道路領域の画像を用いて判定し、
前記遠方道路領域において黒つぶれ発生時には、前記遠方道路領域の輝度と前記空の輝度とを用いて判定することを特徴とする車載霧判定装置。
【請求項３】
前記車載カメラによって撮像された画像内において、前記車両が走行している道路の形状を決定する道路形状決定手段と、
前記道路形状決定手段によって決定された道路の形状に基づき、前記画像内における前記遠方道路領域を決定する遠方道路領域決定手段と、を備えることを特徴とする請求項１又は２記載の車載霧判定装置。
【請求項４】
前記車載カメラによって撮像された画像内において、前記車両周辺の空に相当する領域である空領域の画像を抽出する空領域画像抽出手段を備え、
前記空輝度取得手段は、前記空領域の輝度を取得するものであることを特徴とする請求項１〜３の何れか１項に記載の車載霧判定装置。
【請求項５】
前記空領域画像抽出手段は、前記空領域内において際立って高い輝度を示す高輝度空領域の画像を抽出することを特徴とする請求項４記載の車載霧判定装置。
【請求項６】
前記空輝度取得手段は、前記車両に搭載された照度センサの出力輝度値を用いて、前記車両周辺の空の輝度を取得することを特徴とする請求項１〜３の何れか１項に記載の車載霧判定装置。
【請求項７】
前記画像霧状態判定手段は、
前記空の輝度に対する前記遠方道路領域の輝度の割合を示す輝度比が小さいほど、前記車載カメラにより撮像された画像が、霧がかかった画像ではない確率が高くなり、
前記車載カメラにより撮像された画像が、霧がかかった画像ではない確率と霧がかかった画像である確率とが略等しくなる確率を上限として、前記輝度比が大きくなるにつれて、前記車載カメラにより撮像された画像が、霧がかかった画像ではない確率が低くなる確率分布マップを用いて判定することを特徴とする請求項１〜６の何れか１項に記載の車載霧判定装置。
【図１】
【図２】
【図３】
【図４】
【図５】
【図６】
【図７】
【図８】
【図９】
【図１０】
【図２】
【図３】
【図４】
【図５】
【図６】
【図７】
【図８】
【図９】
【図１０】
【公開番号】特開２００８−７０９７９（Ｐ２００８−７０９７９Ａ）
【公開日】平成２０年３月２７日（２００８．３．２７）
【国際特許分類】
【出願番号】特願２００６−２４７１２５（Ｐ２００６−２４７１２５）
【出願日】平成１８年９月１２日（２００６．９．１２）
【出願人】（０００００４２６０）株式会社デンソー (27,639)
【Ｆターム（参考）】
【公開日】平成２０年３月２７日（２００８．３．２７）
【国際特許分類】
【出願日】平成１８年９月１２日（２００６．９．１２）
【出願人】（０００００４２６０）株式会社デンソー (27,639)
【Ｆターム（参考）】
[ Back to top ]