霧検出装置
【課題】霧の有無の判定精度を向上させること。
【解決手段】車両に搭載されたカメラ２と接続して用いられ、当該車両の外界における霧の有無を検出する霧検出装置１であって、カメラから所定間隔で入力される複数の画像を取得する画像入力部１１と、複数の画像のそれぞれにフーリエ変換処理を行うことにより複数のパワースペクトルを算出するパワースペクトル算出部１２と、複数のパワースペクトルのそれぞれを正規化する正規化処理部１３と、正規化された複数のパワースペクトルのそれぞれから直流成分を抽出して時系列データを生成する直流成分抽出部１４と、時系列データに基づいて霧の有無を判定する霧判定部１５を備える霧検出装置である。
【解決手段】車両に搭載されたカメラ２と接続して用いられ、当該車両の外界における霧の有無を検出する霧検出装置１であって、カメラから所定間隔で入力される複数の画像を取得する画像入力部１１と、複数の画像のそれぞれにフーリエ変換処理を行うことにより複数のパワースペクトルを算出するパワースペクトル算出部１２と、複数のパワースペクトルのそれぞれを正規化する正規化処理部１３と、正規化された複数のパワースペクトルのそれぞれから直流成分を抽出して時系列データを生成する直流成分抽出部１４と、時系列データに基づいて霧の有無を判定する霧判定部１５を備える霧検出装置である。
【発明の詳細な説明】
【技術分野】
【０００１】
本発明は、カメラにより撮像された画像に基づいて霧の有無を検出する技術に関する。
【背景技術】
【０００２】
車両の運転者を支援するために車両の外界の状況を検出する技術の１つとして、車両外界における霧の有無を検出する技術が知られている。例えば、特許第４４７９５３２号公報（特許文献１）に開示された霧検出装置は、ライトの光軸を含んだ周辺環境をカメラによって撮像し、この撮像された画像の水平方向走査線の輝度値の極大値がライトの光軸推定位置近傍に存在し、かつ、左右の光軸推定位置に存在する極大値を含む輝度変化が少ない領域と、この領域以外の領域間の輝度変化量が所定範囲内の変化量を維持したときに霧発生とみなす、というものである。
【０００３】
特許第４３２１５９１号公報（特許文献２）に開示された車載霧判定装置は、カメラによって撮像された画像の一部を霧判定に用いる判定画像として抽出し、その判定画像からランプなどの高輝度物が撮像されている領域をマスクし、このマスク処理後の判定画像を周波数解析して霧判定を行う、というものである。また、特許第４２４１８３４号公報（特許文献３）に開示された車載霧判定装置は、上記特許文献２の車載霧判定装置と同様に、カメラによって撮像された画像の一部を判定画像として抽出し、その判定画像からノイズ要因となる箇所をマスクする。そして、このマスク処理後の判定画像から、周波数解析において用いる各入力信号に対して、マスク処理によって生じた不連続箇所の数を一次細分化度とし、さらに全部の一次細分化度の中でその一次細分化度が所定値より高いものの割合を全体細分化度とする。また、判定画像の全体の面積に対するマスクされた画像の割合をマスク割合指標として算出する。そして、全体細分化度が基準値よりも高い場合、または、マスク割合指標が基準値よりも高い場合には、霧判定を行わない。それにより、誤判定が低減される。
【０００４】
特開２００６−２２１４６７号公報（特許文献４）に開示された視界不良評価方法および同装置は、カメラで撮影した画像をＦＦＴ処理して空間周波数に変換し、その周波数分布に対して、人間のコントラスト感度が良好な周波数領域の帯域フィルタを適用する。そして、このフィルタ処理後の周波数分布を用いて、所定の判定基準に従って視界の状態を判定する。
【０００５】
ところで、特許文献１の先行例のように撮像した画像の輝度に基づいて霧の有無を判定する場合には処理自体が単純となる利点があるが、画像の輝度は周辺環境の影響を受けやすいため、ノイズ要因を排除するための処理が複雑になるという不都合がある。
【０００６】
また、特許文献２〜４の各先行例のように撮像した画像からパワースペクトルを求め、それに基づいて霧の有無を判定するものにおいては、例えば車両のワイパーが作動中の場合などカメラの前面が遮蔽された状態が起きると画像内の直流成分が減少し、それに伴いパワースペクトルの直流成分が減少する。一般に、車両が霧発生中の環境下にいる場合にはワイパーを作動させることが多いため、各先行例においては霧の有無を判定する際の判定精度が低下するおそれがある。
【先行技術文献】
【特許文献】
【０００７】
【特許文献１】特許第４４７９５３２号公報
【特許文献２】特許第４３２１５９１号公報
【特許文献３】特許第４２４１８３４号公報
【特許文献４】特開２００６−２２１４６７号公報
【発明の概要】
【発明が解決しようとする課題】
【０００８】
本発明に係る具体的態様は、霧の有無の判定精度を向上させることが可能な技術を提供することを目的の１つとする。
【課題を解決するための手段】
【０００９】
本発明に係る一態様の霧検出装置は、車両に搭載されたカメラと接続して用いられ、当該車両の外界における霧の有無を検出する霧検出装置であって、（ａ）前記カメラから所定間隔で入力される複数の画像を取得する画像入力部と、（ｂ）前記複数の画像のそれぞれにフーリエ変換処理を行うことにより複数のパワースペクトルを算出するパワースペクトル算出部と、（ｃ）前記複数のパワースペクトルのそれぞれを正規化する正規化処理部と、（ｄ）正規化された前記複数のパワースペクトルのそれぞれから直流成分を抽出して時系列データを生成する直流成分抽出部と、（ｅ）前記時系列データに基づいて前記霧の有無を判定する霧判定部を備える。
【００１０】
上記の霧検出装置では、時系列的に前後する複数の画像から得られた各パワースペクトルのそれぞれを正規化し、直流成分を抽出して得られた時系列データを霧の有無の判定に用いている。それにより、画像の輝度に基づいて霧の有無を判定する先行例に比べてノイズ要因を確実に排除することができる。また、時系列データを用いることにより、例えばワイパー稼働等の要因により時系列的に前後する直流成分の値が大きく異なっている場合には前回の判定結果を用いるなどの判定手法を採用できるようになる。それにより、先行例に比較して霧の有無の判定精度を向上させることが可能となる。
【００１１】
上記の霧検出装置において、前記霧判定部は、前記時系列データに基づいて、時系列で前後する直流成分の間の変化量を求め、当該変化量が予め定めた閾値内に入らないときには、１つ前の機会における判定結果を用いて前記霧の有無を判定することがより好ましい。ここでいう「変化量」とは、例えば時系列で前後する直流成分の微分値（差分）である。
【００１２】
それにより、例えばワイパー稼働に起因して、時系列で前後する他の直流成分とかけ離れた値の直流成分が発生したことをより確実に検出し、霧の有無の判定精度を向上させることができる。
【００１３】
上記の霧検出装置は、前記車両のワイパーの稼働状態を判定するワイパー判定部を更に含んでもよい。この場合に、前記霧判定部は、前記ワイパーの稼働状態に応じて前記閾値を変更する。
【００１４】
それにより、画像の入力間隔（フレームレート）が比較的に大きい場合であってもより確実に霧の有無を判定することが可能となる。
【００１５】
また、上記の霧検出装置において、前記パワースペクトル算出部は、前記複数の画像のそれぞれについて、水平方向の１列の輝度成分を選択し、当該１列の輝度成分を一次元フーリエ変換することによりパワースペクトルを算出することも好ましい。
【００１６】
それにより、演算コストを低減することが可能となる。
【図面の簡単な説明】
【００１７】
【図１】一実施形態の霧検出装置の構成を示すブロック図である。
【図２】霧検出装置の動作を示すフローチャートである。
【図３】霧検出装置の動作を示すフローチャートである。
【図４】ステップＳ１２における処理の具体的内容を説明するための図である。
【図５】正規化を施す前のパワースペクトルの一例を示す図である。
【図６】正規化を施した後のパワースペクトルの一例を示す図である。
【図７】正規化を施した後のパワースペクトルの一例を示す図である。
【図８】正規化を施した後のパワースペクトルの一例を示す図である。
【図９】ステップＳ２２で生成される直流成分の時系列データの一例を示す図である。
【図１０】直流成分の時系列データを微分した結果の一例を示す図である。
【図１１】最終判定の内容を示す図である。
【発明を実施するための形態】
【００１８】
以下に、本発明の実施の形態について図面を参照しながら説明する。
【００１９】
図１は、一実施形態の霧検出装置の構成を示すブロック図である。図１に示す霧検出装置１は、車両に搭載されたカメラ２によって車両の外界を撮像して得られる画像に基づいて霧の有無を検出するものであり、画像入力部１１、パワースペクトル算出部１２、正規化処理部１３、直流成分抽出部１４、霧判定部１５、ワイパー判定部１６を含んで構成されている。本実施形態の霧検出装置１は、例えばＣＰＵ、ＲＯＭ、ＲＡＭ等を有するコンピュータシステムにおいて所定の動作プログラムを実行させることにより実現される。なお、カメラ２も霧検出装置の一部としてもよい。
【００２０】
画像入力部１１は、所定のタイミングでカメラ２から画像（画像データ）を順次取得し、それぞれの画像にグレースケール変換を施す。なお、カメラ２からアナログ信号で画像が入力される場合には、画像入力部１１はそのアナログ信号をデジタル信号に変換する処理も行う。
【００２１】
パワースペクトル算出部１２は、画像入力部１１によって生成されるグレースケールの各画像に対してフーリエ変換処理を施してパワースペクトルを算出する。本実施形態では、各画像から水平方向の特定の１列の輝度成分（走査線）を選択し、この１列の輝度成分を一次元フーリエ変換することによりパワースペクトルを算出する。それにより、計算コストが削減される。１列の輝度成分を選択する方法については後述する。
【００２２】
正規化処理部１３は、パワースペクトル算出部１２によって算出された各パワースペクトルを正規化する。この正規化により、パワースペクトルは撮像位置の小さなズレやノイズに対して頑強になる。
【００２３】
直流成分抽出部１４は、正規化された各パワースペクトルの直流成分を抽出し、各直流成分に対応する画像の撮像時期に沿って並べた時系列データを生成する。
【００２４】
霧判定部１５は、直流成分抽出部１４によって生成された各パワースペクトルの直流成分の時系列データに基づいて、車両の外界に霧があるか否かを判定する。
【００２５】
ワイパー判定部１６は、車両から得られるワイパー操作信号に基づいて、車両のワイパーが稼働中であるか否かを判定する。この判定結果は霧判定部１５に入力され、霧の有無の判定に用いられる。
【００２６】
本実施形態の霧検出装置１はこのような構成を備えており、次にその動作を図２および図３に示すフローチャートに沿って詳細に説明する。
【００２７】
画像入力部１１は、所定のタイミングでカメラ２から画像を順次取得し、それぞれの画像にグレースケール変換を施す（ステップＳ１１）。カメラ２からの画像は、例えば、所定の階調（例えば２５６階調）の輝度成分で表現されたグレースケールの画像に変換される。
【００２８】
次に、パワースペクトル算出部１２は、画像入力部１１によって生成されるグレースケールの各画像に対してフーリエ変換処理を施してパワースペクトルを算出する（ステップＳ１２）。
【００２９】
図４は、ステップＳ１２における処理の具体的内容を説明するための図である。図４（Ａ）に例示するグレースケールの画像が入力されると、パワースペクトル算出部１２は、その画像から水平方向の特定の１列の輝度成分（図中、点線により模式的に示す）を選択し、この１列の輝度成分を一次元フーリエ変換することによりパワースペクトルを算出する。画像中で１列の輝度成分を抽出する位置については、例えば画像の垂直方向において中央付近などに適宜設定しておく。また、例えば図４（Ｂ）に示すように、画像の垂直方向の特定の１列の輝度成分を抽出し、輝度成分が最大値となる位置を、水平方向における１列の輝度成分の抽出位置としてもよい。このとき、画像の垂直方向の１列については任意位置に設定すればよく、例えば図４（Ａ）において上側に矢印で示すように水平方向の中央に設定できる。
【００３０】
また、ワイパー判定部１６は、ワイパー操作信号に基づいて車両のワイパーが稼働中であるか否かを判定する（ステップＳ１３）。ワイパーが稼働中である場合には（ステップＳ１３；ＹＥＳ）、霧判定部１５は、霧の有無の判定に用いる閾値（詳細は後述する）を変更する（ステップＳ１４）。ワイパーが稼働中ではない場合には（ステップＳ１３；ＮＯ）、閾値は変更されない。
【００３１】
次に、霧判定ルーチンが実行される（ステップＳ１５）。霧判定ルーチンの詳細について図３に沿って以下に説明する。
【００３２】
正規化処理部１３は、パワースペクトルを正規化する（ステップＳ２１）。正規化を施す前のパワースペクトルの一例を図５に示す。またこのパワースペクトルに正規化を施した後のパワースペクトルを図６に示す。図５に示すパワースペクトルは、外界に霧が存在するときに走行中の車両から連続的に撮像された画像に基づいて算出されたものである。この図５に例示するように、パワースペクトルの値は、同一の撮像環境であるにも関わらずカメラ２による撮影時期の違いにより、すなわち各フレーム間で異なる。これは車両の振動による走査線のわずかなズレや、走査線上に道路上の白線や交通標識等に起因するノイズが混入するために起こる。これに対して各パワースペクトルを正規化し、パワースペクトルの分布のみに着目することにより、図６に示すように、撮像位置の小さなズレやノイズに対して頑強になる。同様の処理により得られた、霧のない夜間走行環境でのパワースペクトルの一例を図７に示し、霧のない夜間走行環境において対向車接近時のパワースペクトルの一例を図８に示す。
【００３３】
次に、直流成分抽出部１４は、正規化された各パワースペクトルの直流成分を抽出して時系列データを生成する（ステップＳ２２）。ステップＳ２２で生成される直流成分の時系列データの一例を図９に示す。図９においては、横軸がフレーム数（撮像時期）、縦軸が直流成分の値に対応する。図９に例示するように、霧の存在する場合の画像に基づいて得られる直流成分のほうが、霧の存在しない場合の画像に基づいて得られる直流成分よりも相対的に大きい値となる。図９において、霧の存在する場合の画像に基づく直流成分の時系列データの中に、直流成分の値が大きく低下するものがある（１１フレームおよび１５フレーム）。これは、稼働中のワイパーが画像中に写り込んだことによる。このようにワイパーが写り込んだ画像とそうでない画像では、パワースペクトルの直流成分に大きな違いが生じる。
【００３４】
次に、霧判定部１５は、直流成分の時系列データに基づいて霧の有無を判定する（ステップＳ２３）。例えば、霧判定部１５は、直流成分の値が予め定めた基準値（例えば０．４）よりも大きい場合に霧があると判定する。霧がある場合には（ステップＳ２３；ＹＥＳ）、霧判定部１５は、霧フラグｆ１の値を「１」とする（ステップＳ２４）。また、霧がない場合には（ステップＳ２３；ＮＯ）、霧判定部１５は、霧フラグｆ１の値を「０」とする（ステップＳ２５）。
【００３５】
次に、霧判定部１５は、直流成分の時系列データの変化量を前後フレームごとに微分し、微分値が所定の閾値を超えたか否かを判定する（ステップＳ２６）。直流成分の時系列データを微分した結果の一例を図１０に示す。上記したように１１フレームおよび１５フレームでは画像にワイパーが写り込むことに起因して直流成分の値が急激に低下したことから、前後フレームでの直流成分の微分値が大きくなり、閾値（本例では、±０．１以内）を超えている。この場合には、前回の閾値内に収まった判断結果を優先させるようにする。すなわち、１１フレームの場合にはその前の１０フレームでの判断結果を優先させる。具体的には、微分値が閾値を超えた場合には（ステップＳ２６；ＹＥＳ）、霧判定部１５は、判断フラグｆ２の値を「１」とする（ステップＳ２７）。また、微分値が閾値を超えていない場合には（ステップＳ２６；ＮＯ）、霧判定部１５は、判断フラグｆ２の値を「０」とする（ステップＳ２８）。
【００３６】
なお、上記したステップＳ２６において用いる閾値は、ワイパー稼働中である場合には上記したステップＳ１４においてその大きさが変更される。具体的には、閾値は、例えば上記で例示した±０．１から±０．０５に変更される。これは、カメラ２による撮像時のフレームレートが大きくなると、各フレーム間の微分値が小さくなり霧の有無の判断精度が低下する可能性があるため、それを回避するためである。
【００３７】
次に、霧判定部１５は、上記した霧フラグｆ１、判断フラグｆ２の各値に基づいて、霧の有無についての最終判定を実行する（ステップＳ２９）。最終判定の内容を図１１に示す。霧フラグｆ１、判断フラグｆ２がともに「０」である場合には最終判定が「０」、すなわち霧無しとなる。霧フラグｆ１が「０」、判断フラグｆ２が「１」である場合には、最終判定として前フレームの判定結果が採用される。霧フラグｆ１が「１」、判断フラグｆ２が「０」である場合には最終判定が「１」、すなわち霧有りとなる。霧フラグｆ１、判断フラグｆ２がともに「１」である場合には、最終判定として前フレームの判定結果が採用される。
【００３８】
以上のように本実施形態によれば、時系列的に前後する複数の画像から得られた各パワースペクトルのそれぞれを正規化し、直流成分を抽出して得られた時系列データを霧の有無の判定に用いているので、画像の輝度に基づいて霧の有無を判定する先行例に比べてノイズ要因を確実に排除することができる。また、時系列データを用いることにより、ワイパー稼働等の要因により時系列的に前後する直流成分の値が大きく異なっている場合には前回の判定結果を用いるなどの判定手法を採用できるようになる。それにより、先行例に比較して霧の有無の判定精度を向上させることが可能となる。
【００３９】
また、本実施形態によれば、時系列で前後する直流成分の間の変化量（微分値）を求め、当該変化量が予め定めた閾値内に入らないときには、１つ前の機会における判定結果を用いて霧の有無を判定するので、時系列で前後する他の直流成分とかけ離れた値の直流成分が存在することをより確実に検出し、霧の有無の判定精度を向上させることができる。
【００４０】
なお、本発明は上述した実施形態の内容に限定されるものではなく、本発明の要旨の範囲内において種々に変形して実施をすることが可能である。例えば、上記した実施形態では時系列で前後する直流成分の変化量として微分値を求めていたが、時系列データに対して移動平均を求め、その値に基づいて霧の有無を判定してもよい。この手法によっても、ワイパー稼働等の要因により発生する直流成分の急激な変化を緩和し、霧の有無の判定精度を向上させることができる。
【符号の説明】
【００４１】
１：霧検出装置
２：カメラ
１１：画像入力部
１２：パワースペクトル算出部
１３：正規化処理部
１４：直流成分抽出部
１５：霧判定部
１６：ワイパー判定部
【技術分野】
【０００１】
本発明は、カメラにより撮像された画像に基づいて霧の有無を検出する技術に関する。
【背景技術】
【０００２】
車両の運転者を支援するために車両の外界の状況を検出する技術の１つとして、車両外界における霧の有無を検出する技術が知られている。例えば、特許第４４７９５３２号公報（特許文献１）に開示された霧検出装置は、ライトの光軸を含んだ周辺環境をカメラによって撮像し、この撮像された画像の水平方向走査線の輝度値の極大値がライトの光軸推定位置近傍に存在し、かつ、左右の光軸推定位置に存在する極大値を含む輝度変化が少ない領域と、この領域以外の領域間の輝度変化量が所定範囲内の変化量を維持したときに霧発生とみなす、というものである。
【０００３】
特許第４３２１５９１号公報（特許文献２）に開示された車載霧判定装置は、カメラによって撮像された画像の一部を霧判定に用いる判定画像として抽出し、その判定画像からランプなどの高輝度物が撮像されている領域をマスクし、このマスク処理後の判定画像を周波数解析して霧判定を行う、というものである。また、特許第４２４１８３４号公報（特許文献３）に開示された車載霧判定装置は、上記特許文献２の車載霧判定装置と同様に、カメラによって撮像された画像の一部を判定画像として抽出し、その判定画像からノイズ要因となる箇所をマスクする。そして、このマスク処理後の判定画像から、周波数解析において用いる各入力信号に対して、マスク処理によって生じた不連続箇所の数を一次細分化度とし、さらに全部の一次細分化度の中でその一次細分化度が所定値より高いものの割合を全体細分化度とする。また、判定画像の全体の面積に対するマスクされた画像の割合をマスク割合指標として算出する。そして、全体細分化度が基準値よりも高い場合、または、マスク割合指標が基準値よりも高い場合には、霧判定を行わない。それにより、誤判定が低減される。
【０００４】
特開２００６−２２１４６７号公報（特許文献４）に開示された視界不良評価方法および同装置は、カメラで撮影した画像をＦＦＴ処理して空間周波数に変換し、その周波数分布に対して、人間のコントラスト感度が良好な周波数領域の帯域フィルタを適用する。そして、このフィルタ処理後の周波数分布を用いて、所定の判定基準に従って視界の状態を判定する。
【０００５】
ところで、特許文献１の先行例のように撮像した画像の輝度に基づいて霧の有無を判定する場合には処理自体が単純となる利点があるが、画像の輝度は周辺環境の影響を受けやすいため、ノイズ要因を排除するための処理が複雑になるという不都合がある。
【０００６】
また、特許文献２〜４の各先行例のように撮像した画像からパワースペクトルを求め、それに基づいて霧の有無を判定するものにおいては、例えば車両のワイパーが作動中の場合などカメラの前面が遮蔽された状態が起きると画像内の直流成分が減少し、それに伴いパワースペクトルの直流成分が減少する。一般に、車両が霧発生中の環境下にいる場合にはワイパーを作動させることが多いため、各先行例においては霧の有無を判定する際の判定精度が低下するおそれがある。
【先行技術文献】
【特許文献】
【０００７】
【特許文献１】特許第４４７９５３２号公報
【特許文献２】特許第４３２１５９１号公報
【特許文献３】特許第４２４１８３４号公報
【特許文献４】特開２００６−２２１４６７号公報
【発明の概要】
【発明が解決しようとする課題】
【０００８】
本発明に係る具体的態様は、霧の有無の判定精度を向上させることが可能な技術を提供することを目的の１つとする。
【課題を解決するための手段】
【０００９】
本発明に係る一態様の霧検出装置は、車両に搭載されたカメラと接続して用いられ、当該車両の外界における霧の有無を検出する霧検出装置であって、（ａ）前記カメラから所定間隔で入力される複数の画像を取得する画像入力部と、（ｂ）前記複数の画像のそれぞれにフーリエ変換処理を行うことにより複数のパワースペクトルを算出するパワースペクトル算出部と、（ｃ）前記複数のパワースペクトルのそれぞれを正規化する正規化処理部と、（ｄ）正規化された前記複数のパワースペクトルのそれぞれから直流成分を抽出して時系列データを生成する直流成分抽出部と、（ｅ）前記時系列データに基づいて前記霧の有無を判定する霧判定部を備える。
【００１０】
上記の霧検出装置では、時系列的に前後する複数の画像から得られた各パワースペクトルのそれぞれを正規化し、直流成分を抽出して得られた時系列データを霧の有無の判定に用いている。それにより、画像の輝度に基づいて霧の有無を判定する先行例に比べてノイズ要因を確実に排除することができる。また、時系列データを用いることにより、例えばワイパー稼働等の要因により時系列的に前後する直流成分の値が大きく異なっている場合には前回の判定結果を用いるなどの判定手法を採用できるようになる。それにより、先行例に比較して霧の有無の判定精度を向上させることが可能となる。
【００１１】
上記の霧検出装置において、前記霧判定部は、前記時系列データに基づいて、時系列で前後する直流成分の間の変化量を求め、当該変化量が予め定めた閾値内に入らないときには、１つ前の機会における判定結果を用いて前記霧の有無を判定することがより好ましい。ここでいう「変化量」とは、例えば時系列で前後する直流成分の微分値（差分）である。
【００１２】
それにより、例えばワイパー稼働に起因して、時系列で前後する他の直流成分とかけ離れた値の直流成分が発生したことをより確実に検出し、霧の有無の判定精度を向上させることができる。
【００１３】
上記の霧検出装置は、前記車両のワイパーの稼働状態を判定するワイパー判定部を更に含んでもよい。この場合に、前記霧判定部は、前記ワイパーの稼働状態に応じて前記閾値を変更する。
【００１４】
それにより、画像の入力間隔（フレームレート）が比較的に大きい場合であってもより確実に霧の有無を判定することが可能となる。
【００１５】
また、上記の霧検出装置において、前記パワースペクトル算出部は、前記複数の画像のそれぞれについて、水平方向の１列の輝度成分を選択し、当該１列の輝度成分を一次元フーリエ変換することによりパワースペクトルを算出することも好ましい。
【００１６】
それにより、演算コストを低減することが可能となる。
【図面の簡単な説明】
【００１７】
【図１】一実施形態の霧検出装置の構成を示すブロック図である。
【図２】霧検出装置の動作を示すフローチャートである。
【図３】霧検出装置の動作を示すフローチャートである。
【図４】ステップＳ１２における処理の具体的内容を説明するための図である。
【図５】正規化を施す前のパワースペクトルの一例を示す図である。
【図６】正規化を施した後のパワースペクトルの一例を示す図である。
【図７】正規化を施した後のパワースペクトルの一例を示す図である。
【図８】正規化を施した後のパワースペクトルの一例を示す図である。
【図９】ステップＳ２２で生成される直流成分の時系列データの一例を示す図である。
【図１０】直流成分の時系列データを微分した結果の一例を示す図である。
【図１１】最終判定の内容を示す図である。
【発明を実施するための形態】
【００１８】
以下に、本発明の実施の形態について図面を参照しながら説明する。
【００１９】
図１は、一実施形態の霧検出装置の構成を示すブロック図である。図１に示す霧検出装置１は、車両に搭載されたカメラ２によって車両の外界を撮像して得られる画像に基づいて霧の有無を検出するものであり、画像入力部１１、パワースペクトル算出部１２、正規化処理部１３、直流成分抽出部１４、霧判定部１５、ワイパー判定部１６を含んで構成されている。本実施形態の霧検出装置１は、例えばＣＰＵ、ＲＯＭ、ＲＡＭ等を有するコンピュータシステムにおいて所定の動作プログラムを実行させることにより実現される。なお、カメラ２も霧検出装置の一部としてもよい。
【００２０】
画像入力部１１は、所定のタイミングでカメラ２から画像（画像データ）を順次取得し、それぞれの画像にグレースケール変換を施す。なお、カメラ２からアナログ信号で画像が入力される場合には、画像入力部１１はそのアナログ信号をデジタル信号に変換する処理も行う。
【００２１】
パワースペクトル算出部１２は、画像入力部１１によって生成されるグレースケールの各画像に対してフーリエ変換処理を施してパワースペクトルを算出する。本実施形態では、各画像から水平方向の特定の１列の輝度成分（走査線）を選択し、この１列の輝度成分を一次元フーリエ変換することによりパワースペクトルを算出する。それにより、計算コストが削減される。１列の輝度成分を選択する方法については後述する。
【００２２】
正規化処理部１３は、パワースペクトル算出部１２によって算出された各パワースペクトルを正規化する。この正規化により、パワースペクトルは撮像位置の小さなズレやノイズに対して頑強になる。
【００２３】
直流成分抽出部１４は、正規化された各パワースペクトルの直流成分を抽出し、各直流成分に対応する画像の撮像時期に沿って並べた時系列データを生成する。
【００２４】
霧判定部１５は、直流成分抽出部１４によって生成された各パワースペクトルの直流成分の時系列データに基づいて、車両の外界に霧があるか否かを判定する。
【００２５】
ワイパー判定部１６は、車両から得られるワイパー操作信号に基づいて、車両のワイパーが稼働中であるか否かを判定する。この判定結果は霧判定部１５に入力され、霧の有無の判定に用いられる。
【００２６】
本実施形態の霧検出装置１はこのような構成を備えており、次にその動作を図２および図３に示すフローチャートに沿って詳細に説明する。
【００２７】
画像入力部１１は、所定のタイミングでカメラ２から画像を順次取得し、それぞれの画像にグレースケール変換を施す（ステップＳ１１）。カメラ２からの画像は、例えば、所定の階調（例えば２５６階調）の輝度成分で表現されたグレースケールの画像に変換される。
【００２８】
次に、パワースペクトル算出部１２は、画像入力部１１によって生成されるグレースケールの各画像に対してフーリエ変換処理を施してパワースペクトルを算出する（ステップＳ１２）。
【００２９】
図４は、ステップＳ１２における処理の具体的内容を説明するための図である。図４（Ａ）に例示するグレースケールの画像が入力されると、パワースペクトル算出部１２は、その画像から水平方向の特定の１列の輝度成分（図中、点線により模式的に示す）を選択し、この１列の輝度成分を一次元フーリエ変換することによりパワースペクトルを算出する。画像中で１列の輝度成分を抽出する位置については、例えば画像の垂直方向において中央付近などに適宜設定しておく。また、例えば図４（Ｂ）に示すように、画像の垂直方向の特定の１列の輝度成分を抽出し、輝度成分が最大値となる位置を、水平方向における１列の輝度成分の抽出位置としてもよい。このとき、画像の垂直方向の１列については任意位置に設定すればよく、例えば図４（Ａ）において上側に矢印で示すように水平方向の中央に設定できる。
【００３０】
また、ワイパー判定部１６は、ワイパー操作信号に基づいて車両のワイパーが稼働中であるか否かを判定する（ステップＳ１３）。ワイパーが稼働中である場合には（ステップＳ１３；ＹＥＳ）、霧判定部１５は、霧の有無の判定に用いる閾値（詳細は後述する）を変更する（ステップＳ１４）。ワイパーが稼働中ではない場合には（ステップＳ１３；ＮＯ）、閾値は変更されない。
【００３１】
次に、霧判定ルーチンが実行される（ステップＳ１５）。霧判定ルーチンの詳細について図３に沿って以下に説明する。
【００３２】
正規化処理部１３は、パワースペクトルを正規化する（ステップＳ２１）。正規化を施す前のパワースペクトルの一例を図５に示す。またこのパワースペクトルに正規化を施した後のパワースペクトルを図６に示す。図５に示すパワースペクトルは、外界に霧が存在するときに走行中の車両から連続的に撮像された画像に基づいて算出されたものである。この図５に例示するように、パワースペクトルの値は、同一の撮像環境であるにも関わらずカメラ２による撮影時期の違いにより、すなわち各フレーム間で異なる。これは車両の振動による走査線のわずかなズレや、走査線上に道路上の白線や交通標識等に起因するノイズが混入するために起こる。これに対して各パワースペクトルを正規化し、パワースペクトルの分布のみに着目することにより、図６に示すように、撮像位置の小さなズレやノイズに対して頑強になる。同様の処理により得られた、霧のない夜間走行環境でのパワースペクトルの一例を図７に示し、霧のない夜間走行環境において対向車接近時のパワースペクトルの一例を図８に示す。
【００３３】
次に、直流成分抽出部１４は、正規化された各パワースペクトルの直流成分を抽出して時系列データを生成する（ステップＳ２２）。ステップＳ２２で生成される直流成分の時系列データの一例を図９に示す。図９においては、横軸がフレーム数（撮像時期）、縦軸が直流成分の値に対応する。図９に例示するように、霧の存在する場合の画像に基づいて得られる直流成分のほうが、霧の存在しない場合の画像に基づいて得られる直流成分よりも相対的に大きい値となる。図９において、霧の存在する場合の画像に基づく直流成分の時系列データの中に、直流成分の値が大きく低下するものがある（１１フレームおよび１５フレーム）。これは、稼働中のワイパーが画像中に写り込んだことによる。このようにワイパーが写り込んだ画像とそうでない画像では、パワースペクトルの直流成分に大きな違いが生じる。
【００３４】
次に、霧判定部１５は、直流成分の時系列データに基づいて霧の有無を判定する（ステップＳ２３）。例えば、霧判定部１５は、直流成分の値が予め定めた基準値（例えば０．４）よりも大きい場合に霧があると判定する。霧がある場合には（ステップＳ２３；ＹＥＳ）、霧判定部１５は、霧フラグｆ１の値を「１」とする（ステップＳ２４）。また、霧がない場合には（ステップＳ２３；ＮＯ）、霧判定部１５は、霧フラグｆ１の値を「０」とする（ステップＳ２５）。
【００３５】
次に、霧判定部１５は、直流成分の時系列データの変化量を前後フレームごとに微分し、微分値が所定の閾値を超えたか否かを判定する（ステップＳ２６）。直流成分の時系列データを微分した結果の一例を図１０に示す。上記したように１１フレームおよび１５フレームでは画像にワイパーが写り込むことに起因して直流成分の値が急激に低下したことから、前後フレームでの直流成分の微分値が大きくなり、閾値（本例では、±０．１以内）を超えている。この場合には、前回の閾値内に収まった判断結果を優先させるようにする。すなわち、１１フレームの場合にはその前の１０フレームでの判断結果を優先させる。具体的には、微分値が閾値を超えた場合には（ステップＳ２６；ＹＥＳ）、霧判定部１５は、判断フラグｆ２の値を「１」とする（ステップＳ２７）。また、微分値が閾値を超えていない場合には（ステップＳ２６；ＮＯ）、霧判定部１５は、判断フラグｆ２の値を「０」とする（ステップＳ２８）。
【００３６】
なお、上記したステップＳ２６において用いる閾値は、ワイパー稼働中である場合には上記したステップＳ１４においてその大きさが変更される。具体的には、閾値は、例えば上記で例示した±０．１から±０．０５に変更される。これは、カメラ２による撮像時のフレームレートが大きくなると、各フレーム間の微分値が小さくなり霧の有無の判断精度が低下する可能性があるため、それを回避するためである。
【００３７】
次に、霧判定部１５は、上記した霧フラグｆ１、判断フラグｆ２の各値に基づいて、霧の有無についての最終判定を実行する（ステップＳ２９）。最終判定の内容を図１１に示す。霧フラグｆ１、判断フラグｆ２がともに「０」である場合には最終判定が「０」、すなわち霧無しとなる。霧フラグｆ１が「０」、判断フラグｆ２が「１」である場合には、最終判定として前フレームの判定結果が採用される。霧フラグｆ１が「１」、判断フラグｆ２が「０」である場合には最終判定が「１」、すなわち霧有りとなる。霧フラグｆ１、判断フラグｆ２がともに「１」である場合には、最終判定として前フレームの判定結果が採用される。
【００３８】
以上のように本実施形態によれば、時系列的に前後する複数の画像から得られた各パワースペクトルのそれぞれを正規化し、直流成分を抽出して得られた時系列データを霧の有無の判定に用いているので、画像の輝度に基づいて霧の有無を判定する先行例に比べてノイズ要因を確実に排除することができる。また、時系列データを用いることにより、ワイパー稼働等の要因により時系列的に前後する直流成分の値が大きく異なっている場合には前回の判定結果を用いるなどの判定手法を採用できるようになる。それにより、先行例に比較して霧の有無の判定精度を向上させることが可能となる。
【００３９】
また、本実施形態によれば、時系列で前後する直流成分の間の変化量（微分値）を求め、当該変化量が予め定めた閾値内に入らないときには、１つ前の機会における判定結果を用いて霧の有無を判定するので、時系列で前後する他の直流成分とかけ離れた値の直流成分が存在することをより確実に検出し、霧の有無の判定精度を向上させることができる。
【００４０】
なお、本発明は上述した実施形態の内容に限定されるものではなく、本発明の要旨の範囲内において種々に変形して実施をすることが可能である。例えば、上記した実施形態では時系列で前後する直流成分の変化量として微分値を求めていたが、時系列データに対して移動平均を求め、その値に基づいて霧の有無を判定してもよい。この手法によっても、ワイパー稼働等の要因により発生する直流成分の急激な変化を緩和し、霧の有無の判定精度を向上させることができる。
【符号の説明】
【００４１】
１：霧検出装置
２：カメラ
１１：画像入力部
１２：パワースペクトル算出部
１３：正規化処理部
１４：直流成分抽出部
１５：霧判定部
１６：ワイパー判定部
【特許請求の範囲】
【請求項１】
車両に搭載されたカメラと接続して用いられ、当該車両の外界における霧の有無を検出する霧検出装置であって、
前記カメラから所定間隔で入力される複数の画像を取得する画像入力部と、
前記複数の画像のそれぞれにフーリエ変換処理を行うことにより複数のパワースペクトルを算出するパワースペクトル算出部と、
前記複数のパワースペクトルのそれぞれを正規化する正規化処理部と、
正規化された前記複数のパワースペクトルのそれぞれから直流成分を抽出して時系列データを生成する直流成分抽出部と、
前記時系列データに基づいて前記霧の有無を判定する霧判定部、
を含む、霧検出装置。
【請求項２】
前記霧判定部は、前記時系列データに基づいて、時系列で前後する直流成分の間の変化量を求め、当該変化量が予め定めた閾値内に入らないときには、１つ前の機会における判定結果を用いて前記霧の有無を判定する、請求項１に記載の霧検出装置。
【請求項３】
前記変化量は前記時系列で前後する直流成分の微分値である、請求項２に記載の霧検出装置。
【請求項４】
前記車両のワイパーの稼働状態を判定するワイパー判定部を更に含み、
前記霧判定部は、前記ワイパーの稼働状態に応じて前記閾値を変更する、請求項２又は３に記載の霧検出装置。
【請求項５】
前記パワースペクトル算出部は、前記複数の画像のそれぞれについて、水平方向の１列の輝度成分を選択し、当該１列の輝度成分を一次元フーリエ変換することによりパワースペクトルを算出する、請求項１〜４の何れか１項に記載の霧検出装置。
【請求項１】
車両に搭載されたカメラと接続して用いられ、当該車両の外界における霧の有無を検出する霧検出装置であって、
前記カメラから所定間隔で入力される複数の画像を取得する画像入力部と、
前記複数の画像のそれぞれにフーリエ変換処理を行うことにより複数のパワースペクトルを算出するパワースペクトル算出部と、
前記複数のパワースペクトルのそれぞれを正規化する正規化処理部と、
正規化された前記複数のパワースペクトルのそれぞれから直流成分を抽出して時系列データを生成する直流成分抽出部と、
前記時系列データに基づいて前記霧の有無を判定する霧判定部、
を含む、霧検出装置。
【請求項２】
前記霧判定部は、前記時系列データに基づいて、時系列で前後する直流成分の間の変化量を求め、当該変化量が予め定めた閾値内に入らないときには、１つ前の機会における判定結果を用いて前記霧の有無を判定する、請求項１に記載の霧検出装置。
【請求項３】
前記変化量は前記時系列で前後する直流成分の微分値である、請求項２に記載の霧検出装置。
【請求項４】
前記車両のワイパーの稼働状態を判定するワイパー判定部を更に含み、
前記霧判定部は、前記ワイパーの稼働状態に応じて前記閾値を変更する、請求項２又は３に記載の霧検出装置。
【請求項５】
前記パワースペクトル算出部は、前記複数の画像のそれぞれについて、水平方向の１列の輝度成分を選択し、当該１列の輝度成分を一次元フーリエ変換することによりパワースペクトルを算出する、請求項１〜４の何れか１項に記載の霧検出装置。
【図１】
【図２】
【図３】
【図５】
【図６】
【図７】
【図８】
【図９】
【図１０】
【図１１】
【図４】
【図２】
【図３】
【図５】
【図６】
【図７】
【図８】
【図９】
【図１０】
【図１１】
【図４】
【公開番号】特開２０１２−１６７９８３（Ｐ２０１２−１６７９８３Ａ）
【公開日】平成２４年９月６日（２０１２．９．６）
【国際特許分類】
【出願番号】特願２０１１−２８３８８（Ｐ２０１１−２８３８８）
【出願日】平成２３年２月１４日（２０１１．２．１４）
【出願人】（０００００２３０３）スタンレー電気株式会社 (2,684)
【Ｆターム（参考）】
【公開日】平成２４年９月６日（２０１２．９．６）
【国際特許分類】
【出願日】平成２３年２月１４日（２０１１．２．１４）
【出願人】（０００００２３０３）スタンレー電気株式会社 (2,684)
【Ｆターム（参考）】
[ Back to top ]