霧画像復元装置及び運転支援システム
【課題】消失点や動きベクトルを算出することなく、復元画像を生成することのできる霧画像復元装置及び運転支援システムを提供する。
【解決手段】霧画像復元装置２０では、最終的な復元画像を生成するにあたり、カメラ１０によって撮像され、画像分離部２２によって輝度成分のみに分離された原画像を局所領域に分割し、その分割された局所領域毎に、式（３）に示す簡略化霧モデルから画素の輝度を直接算出することで、復元画像を生成する。
【解決手段】霧画像復元装置２０では、最終的な復元画像を生成するにあたり、カメラ１０によって撮像され、画像分離部２２によって輝度成分のみに分離された原画像を局所領域に分割し、その分割された局所領域毎に、式（３）に示す簡略化霧モデルから画素の輝度を直接算出することで、復元画像を生成する。
【発明の詳細な説明】
【技術分野】
【０００１】
本発明は、霧が発生した状況で撮像される霧画像から霧の影響が低減された復元画像を生成し、その復元画像を表示器に出力する霧画像復元装置及びこの霧画像復元装置を備える運転支援システムに関する。
【背景技術】
【０００２】
従来、この種の技術として、特許文献１に記載の技術が知られている。この特許文献１に記載の技術では、霧画像を構成する各画素の輝度値を観測ベクトル、霧画像を構成する各画素の本来の輝度値を状態ベクトル、霧画像に撮像された物体の輝度が霧の影響を受けて劣化するモデルを観測行列、時系列に連続する霧画像間で各要素が移動することで生じる状態ベクトルの変化を状態遷移行列としたカルマンフィルタを用いて、状態ベクトルの予測値を求める。この予測値によって表わされる画像が、霧の影響が低減された復元画像である。これにより、霧の影響が低減された復元画像を生成することができる。
【先行技術文献】
【特許文献】
【０００３】
【特許文献１】特開２００８−３１０５０９号公報
【発明の概要】
【発明が解決しようとする課題】
【０００４】
ところで、上記従来技術では、上記観測行列及び上記状態遷移行列が時変であるため、復元画像を生成するには、これら観測行列及び状態遷移行列を逐次算出しなければならない。そして、観測行列を算出するには、道路平面上の地平線の画像平面上への投影点であるいわゆる消失点の位置を算出する必要があり、状態遷移行列を算出するには、時系列に連続する霧画像間における動きベクトルを算出する必要がある。つまり、観測行列及び状態遷移行列を算出し、復元画像を生成するには、消失点や動きベクトルを算出する必要がある。
【０００５】
しかしながら、これら消失点や動きベクトルの算出に要する演算負荷は大きく、復元性能は消失点や動きベクトルの推定精度に影響を受けるものとなっている。
【０００６】
本発明は、上記実情に鑑みてなされたものであって、その目的は、消失点や動きベクトルを算出することなく、復元画像を生成することのできる霧画像復元装置及び運転支援システムを提供することにある。
【課題を解決するための手段】
【０００７】
こうした目的を達成するため、請求項１に記載の発明では、画像を撮像する画像撮像装置によって撮像される原画像から、その原画像を構成する画素の輝度に霧が与える影響を捉えた霧モデルに基づいて、霧の影響が低減された画像である復元画像を生成する霧画像復元装置であって、前記霧モデルは、前記画像撮像装置によって撮像される物体本来の輝度が、大気中の散乱光の輝度及び霧の濃度を示す大気の散乱係数によって記述される霧モデルであり、前記復元画像を生成するにあたり、前記原画像を局所領域に分割し、その分割された局所領域毎に、前記霧モデルから画素の輝度を直接算出することを特徴とする。
【０００８】
霧画像復元装置としてのこのような構成では、霧モデルから画素の輝度を直接算出するため、上記消失点や動きベクトルを算出する必要はなくなる。そして、消失点や動きベクトルを算出する必要がないことから、復元画像を生成するのに要する演算負荷を軽減することができるとともに、消失点や動きベクトルの推定精度に起因する復元性能の劣化を回避することができる。このようにして、消失点や動きベクトルを算出することなく、復元画像を生成することができる。
【０００９】
また、上記従来技術では、復元画像を生成するのに動きベクトルを算出する必要があり、原画像（霧画像）は動画像である必要があったが、上記請求項１に記載の構成では、復元画像を生成するのに動きベクトルを算出する必要がないことから、原画像は静止画像でもよい。換言すれば、上記請求項１に記載の構成は、動画像はもとより、静止画像にも適用することが可能である。
【００１０】
また、上記請求項１に記載の構成によれば、霧の影響に限らず、空中を浮遊する粒子が十分に小さい霧雨等の影響が軽減された復元画像を生成することも可能である。
【００１１】
霧モデルについては、霧が濃いほど、原画像を構成する画素の輝度が大気中の散乱光の輝度に近くなるという霧の影響を捉えていれば、任意である。また、画像撮像装置によって撮像された原画像を局所領域に分割し、その分割された局所領域毎に霧モデルを適用する際、局所領域の大きさを十分に小さくとると、局所領域内に距離の異なる複数の物体が含まれなくなり、その結果、既存の霧モデル（Koschmiederによって提唱された大気の劣化モデルなど）で必要な距離の情報を考慮する必要がなくなり、モデルを簡略化することが可能となる。
【００１２】
そのため、請求項１に記載の構成において、請求項２に記載の発明のように、前記霧モデルは、前記画像撮像装置によって撮像される物体本来の輝度が、前記画像撮像装置からその画像撮像装置によって撮像される物体までの距離の情報を必要としない簡略化霧モデルであるとよい。霧画像復元装置としてのこのような構成によれば、簡略化霧モデルを用いているため、復元画像を生成するに要する演算負荷をより一層低減することができるようになる。
【００１３】
上記請求項１または２に記載の構成において、請求項３に記載の発明のように、前記原画像から前記復元画像を所定時間毎に繰り返し生成し、前記大気中の散乱光の輝度として前記局所領域の平均輝度を用い、前記原画像及び前記復元画像に基づいて前記大気の散乱係数を設定するとよい。これにより、原画像及び復元画像に基づいて大気の散乱係数を設定（更新）し、その設定した大気の散乱係数を用いて復元画像を生成することから、大気の散乱係数、すなわち霧の濃度に応じた復元画像を生成することができるようになる。
【００１４】
上記請求項３に記載の構成において、請求項４に記載の構成のように、前記原画像のエッジ強度及び前記復元画像のエッジ強度に対して複数の判定閾値を設定し、これら複数の判定閾値への到達態様に応じた複数の更新幅にて、前記大気の散乱係数を更新するとよい。これにより、エッジ強度に応じて大気の散乱係数の更新幅を変えることができるようになるため、霧が発生したり霧が消滅したりする実環境の変化への追従性を高めることができるようになる。
【００１５】
ところで、復元画像を生成するにあたり、原画像を局所領域に分割し、その分割された局所領域毎に、簡略化霧モデルから画素の輝度を直接算出するだけでは、局所領域間の境界において不連続となることがある。
【００１６】
そこで、上記請求項３または４に記載の構成において、請求項５に記載の発明のように、前記局所領域間における不連続さを緩和する空間平滑化を行なうことが望ましい。これにより、局所領域間の境界における不連続が解消された復元画像を生成することができるようになる。なお、空間平滑化処理としては、局所領域レベルでの平滑化及び画素レベルでの平滑化の２段階の平滑化を行うこととしてもよく、公知のガウシアンフィルタ処理を行うこととしてもよい。
【００１７】
上記請求項１〜５のいずれかに記載の構成において、請求項６に記載の発明のように、前記復元画像を生成するにあたり、表示器にて表示可能な最大範囲に一致するように、画像を構成する画素の輝度分布を補正（レベル補正）してもよい。これにより、レベル補正された復元画像を生成することができるようになる。
【００１８】
なお、請求項１〜６に記載の構成において、請求項７に記載の発明のように、前記復元画像を生成するだけでなく、前記復元画像に含まれるエッジが強調された画像であるエッジ画像を生成することとしてもよい。これにより、復元画像に含まれるエッジが強調されたエッジ画像を生成することができるようになる。また、例えば、このエッジ画像に基づいて白線認識を行なう場合には、高い白線の認識率を期待することができる。
【００１９】
また、上記目的を達成するため、請求項８に記載の発明では、画像を撮像する撮像装置と、請求項１〜７のいずれか一項に記載の霧画像復元装置と、前記霧画像復元装置によって生成される復元画像を表示する表示器とを備えることとした。これにより、上記請求項１に記載の構成と同一の効果を得ることができる。
【００２０】
また、上記目的を達成するため、請求項９に記載の発明では、画像を撮像する撮像装置と、請求項１〜７のいずれか一項に記載の霧画像復元装置と、前記霧画像復元装置によって生成される復元画像に基づいて白線を認識し、その白線認識結果に基づいて車両を走行制御する制御装置を備えることとした。これにより、上記請求項１に記載の構成と同一の効果を得ることができるだけでなく、復元画像に基づいて道路上の白線を認識し、その白線認識結果に基づいて車両を走行制御することができるようになる。
【００２１】
また、上記目的を達成するため、請求項１０に記載の発明では、画像を撮像する撮像装置と、請求項７に記載の霧画像復元装置と、前記霧画像復元装置によって生成されるエッジ画像に基づいて白線を認識し、その白線認識結果を用いて車両を走行制御する制御装置を備えることとした。これにより、上記請求項７に記載の構成と同一の効果を得ることができるだけでなく、エッジ画像に基づいて道路上の白線を認識し、その白線認識結果に基づいて車両を走行制御することができるようになる。
【００２２】
また、上記目的を達成するため、請求項１１に記載の発明では、画像を撮像する撮像装置と、請求項３〜７のいずれか一項に記載の霧画像復元装置と、車両に搭載されるフォグランプと、前記大気の散乱係数の大きさに基づいて前記フォグランプの点消灯を制御する制御装置を備えることとした。これにより、上記請求項４に記載の構成と同一の効果を得ることができるだけでなく、フォグランプの点消灯を自動に制御（オートフォグランプを実現）ことができるようになる。
【図面の簡単な説明】
【００２３】
【図１】本発明に係る運転支援システムの一実施の形態について、その構成を示すブロック図である。
【図２】本発明に係る霧画像復元装置の一実施の形態について、その構成を示すブロック図である。
【図３】霧モデルのパラメータを説明するための図である。
【図４】（ａ）及び（ｂ）は、霧モデルの観測輝度と散乱係数との関係を示すグラフである。
【図５】（ａ）は、原画像の一例を示す図である。（ｂ）は、霧モデル適用画像の一例を示す図である。（ｃ）は、（ａ）の一部拡大図である。（ｄ）は、（ｂ）の一部拡大図である。
【図６】（ａ）は、局所領域レベルでの平滑化を説明するための図であり、（ｂ）は、画素レベルの平滑化を説明するための図である。
【図７】（ａ）は、平滑化を行わなかった場合の霧モデル適用画像の一例を示す図であり、（ｂ）は、平滑化を行った場合の霧モデル適用画像の一例を示す図である。また、（ｃ）は、（ａ）の一部拡大図であり、（ｄ）は、（ｂ）の一部拡大図である。
【図８】散乱係数の設定（更新）処理について、その処理手順を示すフローチャートである。
【図９】（ａ）は、レベル補正前の霧モデル適用画像の一例を示す図であり、（ｂ）は、レベル補正後の霧モデル適用画像の一例を示す図である。（ｃ）は、（ａ）のヒストグラムであり、（ｄ）は、（ｂ）のヒストグラムである。
【図１０】（ａ）は、霧発生時に撮像された原画像の一例を示す図であり、（ｂ）は、（ａ）に基づいて生成された最終的な復元画像の一例を示す図である。（ｃ）は、（ａ）のエッジ画像であり、（ｄ）は、（ｂ）のエッジ画像である。
【図１１】（ａ）は、霧雨時に撮像された原画像の一例を示す図である。（ｂ）は、（ａ）に基づいて生成された最終的な復元画像の一例を示す図である。（ｃ）は、（ａ）のエッジ画像であり、（ｄ）は、（ｂ）のエッジ画像である。
【発明を実施するための形態】
【００２４】
以下、本発明に係る霧画像復元装置及び運転支援システムの一実施の形態について、図１〜図１１を参照して説明する。なお、本実施の形態の運転支援システム１では、霧画像復元装置２０によって生成される復元画像を表示器４０に表示したり、復元画像を生成する際に用いられる大気の散乱係数β（以下、単に散乱係数とも記載）の大きさに基づいてフォグランプ５０の点消灯を制御したりすることにより、運転者の視界を支援している。
【００２５】
図１は、霧画像復元装置２０を含む運転支援システム１の構成を示すブロック図である。まず、この図１を参照して、運転支援システム１の構成について説明する。
【００２６】
図１に示されるように、運転支援システム１は、カメラ１０と、霧画像復元装置２０と、復元画像表示スイッチ３０と、図示しないフォグランプスイッチと、表示器４０と、フォグランプ５０と、制御装置６０とを有して構成されている。なお、カメラ１０が特許請求の範囲の画像撮像装置に相当する。
【００２７】
このうち、カメラ１０は、動画像及び静止画像を撮像することの可能な撮像装置によって構成されており、図示しない車両の前進方向を撮像可能な位置に配置されている。このカメラ１０は、霧画像復元装置２０及び制御装置６０にそれぞれ接続されており、撮像した動画像あるいは静止画像を霧画像復元装置２０及び制御装置６０にそれぞれ出力する。なお、本実施の形態では、カメラ１０は、例えば「６４０（ピクセル）×４８０（ピクセル）」の動画像及び静止画像の双方をカラーにて撮像可能であるものとするが、画像サイズについては任意であり、カラーに限らずモノクロのみ撮像可能であってもよい。
【００２８】
霧画像復元装置２０は、周知のＣＰＵ、例えばＲＯＭやＲＡＭ等のメモリ、Ｉ／Ｏ、及びこれらを接続するバスラインを有する通常のコンピュータにて構成され、カメラ１０及び制御装置６０にそれぞれ接続されている。そして、霧画像復元装置２０は、カメラ１０から動画像または静止画像を原画像として取り込み、その取り込んだ原画像に基づいて復元画像を生成し、その生成した復元画像を制御装置６０に出力する。なお、霧画像復元装置２０の詳細な構成や、原画像から復元画像を生成するための処理については、図２〜図９を参照しつつ後述する。
【００２９】
復元画像表示スイッチ３０は、例えばプッシュスイッチによって構成され、車両の乗員が操作可能な車室内の適宜の箇所に配置されている。この復元画像表示スイッチ３０は、制御装置６０に接続されており、車両の乗員によってオン操作されると、そのオン操作された旨を示す信号を制御装置６０に出力するとともに、車両の乗員によってオフ操作されると、そのオフ操作された旨を示す信号を制御装置６０に出力する。
【００３０】
フォグランプスイッチは、例えばプッシュスイッチによって構成され、車両の乗員が操作可能な車室内の適宜の箇所に配置されている。このフォグランプスイッチは、制御装置６０に接続されており、車両の乗員によって自動点消灯モードに設定されると、その自動点消灯モードに設定された旨を示す信号を制御装置６０に出力し、車両の乗員によってオン操作されると、そのオン操作された旨を示す信号を制御装置６０に出力し、車両の乗員によってオフ操作されると、そのオフ操作された旨を示す信号を制御装置６０に出力する。
【００３１】
表示器４０は、例えばＬＣＤによって構成され、インストルメントパネル内の画像表示エリア等、車両の乗員が視認可能な車室内の適宜の箇所に配置されている。また、この表示器４０は、制御装置６０に接続されており、制御装置６０から原画像あるいは復元画像が入力される。そして、表示器４０は、入力された原画像あるいは復元画像を画面表示する。
【００３２】
なお、本実施の形態では、表示器４０は、ＬＣＤによって構成され、インストルメントパネル内の画像表示エリアに配置されているものとしたが、これに限らない。他に例えば、現在地から目的地までの経路を案内するナビゲーション装置が車両に搭載されている場合、そのナビゲーション装置のディスプレイを表示器４０として用いてもよい。また、ウインドシールド前方に画像を映し出す、いわゆるヘッドアップディスプレイを表示器４０として用いてもよい。
【００３３】
フォグランプ５０は、車両の前進方向を照射する図示しないヘッドライトによる車両前進方向の照射を補助するためのランプであり、そのヘッドライトよりも下方を照射することで霧中での走行を支援する公知のランプである。また、フォグランプ５０は制御装置６０に接続されており、この制御装置６０によってその点消灯が制御されている。
【００３４】
制御装置６０は、周知のＣＰＵ、例えばＲＯＭやＲＡＭ等のメモリ、Ｉ／Ｏ、及びこれらを接続するバスラインを有する通常のコンピュータとして構成されている。以下の説明では、制御装置６０は、メモリに記憶保持されたプログラムがＣＰＵによって実行されることで実現される機能として、表示画像切替制御部６０ａ及び運転支援制御部６０ｂを有するものとして説明する。
【００３５】
制御装置６０は、上記復元画像表示スイッチ３０に接続されている。そして、制御装置６０を構成する表示画像切替制御部６０ａは、復元画像表示スイッチ３０からオン操作された旨を示す信号を受信すると、霧画像復元装置２０から入力された復元画像を表示器４０に表示制御する。また、表示画像切替制御部６０ａは、復元画像表示スイッチ３０からオフ操作された旨を示す信号を受信すると、カメラ１０から入力された原画像を表示器４０に表示制御する。
【００３６】
なお、本実施の形態では、表示画像切替制御部６０ａは、車両の乗員による復元画像表示スイッチ３０の手動操作に応じて、表示器４０に表示する画像を復元画像及び原画像の間で切り替えていたが、これに限らない。他に例えば、表示画像切替制御部６０ａは、後述する散乱係数βに対し所定の閾値を設定し、散乱係数βがその所定の閾値を上回る場合には、復元画像を表示器４０に表示制御する一方、散乱係数βがその所定の閾値以下である場合には、原画像を表示器４０に表示制御することとしてもよい。この場合、復元画像表示スイッチ３０を割愛することが可能である。また、表示画像切替制御部６０ａは、復元画像表示スイッチ３０の手動操作及び散乱係数βの自動判定を併用して、表示器４０に表示する画像を復元画像及び原画像の間で切り替えてもよい。
【００３７】
また、制御装置６０は、上記フォグランプスイッチに接続されている。そして、制御装置６０を構成する運転支援制御部６０ｂは、フォグランプスイッチから自動点消灯モードに設定された旨を示す信号が入力されると、フォグランプ５０の点消灯を自動制御する。詳しくは、運転支援制御部６０ｂは、後述する散乱係数βに対し所定の閾値を設定し、散乱係数βがその所定の閾値を上回る場合には、フォグランプ５０を自動に点灯制御する一方、散乱係数βがその所定の閾値以下である場合には、フォグランプ５０を自動に消灯制御する。また、運転支援制御部６０ｂは、フォグランプスイッチからオン操作された旨を示す信号を受信すると、フォグランプを点灯制御する一方、フォグランプスイッチからオフ操作された旨を示す信号を受信すると、フォグランプ５０を消灯制御する。
【００３８】
図２は、霧画像復元装置２０の構成を示すブロック図である。この図２を用いて、霧画像復元装置２０の構成及び機能について説明する。
【００３９】
図２に示されるように、霧画像復元装置２０は、切替スイッチ２１を有しており、メモリに記憶保持されたプログラムをＣＰＵによって実行することによって実現される機能として、画像分離部２２、散乱光推定部２３、散乱光空間平滑部２４、霧モデル適用部２５、散乱係数更新部２６、レベル補正部２７、及び画像結合部２８を有する。
【００４０】
このうち、切替スイッチ２１は、当該切替スイッチ２１の後段に接続される画像分離部２２の接続先を、上記カメラ１０と画像結合部２８との間で切り替えるスイッチである。
【００４１】
以下、切替スイッチ２１の作動について説明する。既述したように、カメラ１０は、動画像及び静止画像の双方を撮像可能である。なお、動画像とは、カメラ１０によって連続して撮像された複数の静止画像によって構成されるものであるため、本質的には静止画像と相違しない。
【００４２】
カメラ１０にて静止画像が撮像されると、霧画像復元装置２０は、画像分離部２２の接続先をカメラ１０に切り替え、その撮像された静止画像を原画像として取り込む。そして、霧画像復元装置２０は、カメラ１０から静止画像を原画像として取り込み終えると、画像分離部２２の接続先を画像結合部２８に切り替え、画像結合部２８から出力される後述の復元画像を取り込む。そして、霧画像復元装置２０を構成する後述の散乱係数更新部２６は、原画像と霧モデル適用画像を用いてループ処理を行う。一方、カメラ１０にて動画像が撮像されると、霧画像復元装置２０は、画像分離部２２の接続先をカメラ１０に設定し、その撮像された動画像を構成する静止画像を原画像として次々に取り込む。そして、霧画像復元装置２０を構成する後述の散乱係数更新部２６は、原画像及び前フレームで更新された散乱係数に基づいて生成された霧モデル適用画像を用いて散乱係数を更新する。
【００４３】
画像分離部２２は、切替スイッチ２１を介して入力される原画像を色差成分及び輝度成分に分離する。そして、画像分離部２２は、色差成分のみからなる原画像を色差信号として画像結合部２８に出力するとともに、輝度成分のみからなる原画像を輝度信号として散乱光推定部２３及び散乱係数更新部２６にそれぞれ出力する。
【００４４】
散乱光推定部２３は、画像分離部２２から輝度成分のみからなる原画像を輝度信号として取り込み、原画像を局所領域に分割し、各局所領域から散乱光強度を推定し、画像の各画素が散乱光強度で構成される散乱光画像を散乱光空間平滑部２４に出力する。散乱光空間平滑部２４では、散乱光推定部２３から取り込んだ散乱光画像に対して空間平滑化を行い、霧モデル適用部２５に出力する。霧モデル適用部２５は、散乱光空間平滑部２４から散乱光画像を取り込むとともに、散乱係数更新部２６から霧の濃度を示す大気の散乱係数βを取り込む。そして、霧モデル適用部２５は、これら散乱光画像及び散乱係数βに基づいて霧モデル適用画像を生成し、その生成した霧モデル適用画像をレベル補正部２７へ出力する。以下、霧画像復元の主な処理を行なう散乱光推定部２３、散乱光空間平滑部２４、霧モデル適用部２５、散乱係数更新部２６、及びレベル補正部２７について詳述する。
【００４５】
本実施の形態では、原画像を構成する画素の輝度に霧が与える影響を捉えた霧モデルを用いて復元画像を生成する。図３にその霧モデルのパラメータを説明するための図を示し、図４（ａ）及び（ｂ）に、霧モデルの観測輝度Ｉと散乱係数βとの関係をそれぞれ示す。
【００４６】
本実施の形態で採用する霧モデルは、Koschimiederによって提唱された大気の影響による劣化モデルである。この霧モデルは、大気中の光の散乱による原画像中の輝度の減衰をモデル化した劣化モデルである。カメラ１０にて観測される観測輝度Ｉは、霧の影響を受けない場合の観測対象とする物体本来の輝度Ｒ、大気中の散乱光強度Ａ、霧の濃度を示す大気の散乱係数β、カメラ１０から観測対象物体までの距離ｄを用いて、下式（１）により定義される（図３参照）。
【００４７】
【数１】
【００４８】
・・・（１）
上式（１）に示されるように、この霧モデルでは、観測対象物の輝度（左辺）は、観測対象とする物体本来の輝度値（第１項）に、大気中の粒子で生じる光の吸収や拡散による輝度値（第２項）を加算したものとして求められる。
【００４９】
この霧モデルでは、散乱係数βが大きくなると、すなわち霧が濃くなると、観測対象とする物体本来の輝度（左辺）は散乱光強度Ａに近づくことが表されている。図４（ａ）に、「観測対象とする物体本来の輝度Ｒ＝１００」、「散乱光強度Ａ＝２００」、及び「距離ｄ＝０．１」としたときの散乱係数βの大きさによる観測輝度Ｉの推移を示す。また、図４（ｂ）に、「観測対象とする物体本来の輝度Ｒ＝２４０」、「散乱光強度Ａ＝２００」、及び「距離ｄ＝０．１」としたときの散乱係数βの大きさによる観測輝度Ｉの推移を示す。これら図４（ａ）及び（ｂ）に示す観測輝度Ｉの推移から、霧が濃くなると観測輝度Ｉが散乱光強度Ａに近づくことが確認できる。また、この霧モデルでは、距離ｄが大きくなると、すなわち観測対象物体がカメラ１０から離れると、観測対象物の輝度（左辺）は散乱光強度Ａに近づくことが表されている。
【００５０】
ところで、上式（１）を変形すると、観測対象とする物体本来の輝度Ｒは、下式（２）にて表される。
【００５１】
【数２】
【００５２】
・・・（２）
上式（２）から分かるように、観測対象とする物体本来の輝度Ｒを求めるためには、距離ｄ、散乱光強度Ａ、及び散乱係数βが既知である必要がある。換言すれば、復元画像を生成するには、これら３種類のパラメータの値を推定することが必要である。
【００５３】
本実施の形態では、散乱光推定部２３は、まず画像分離部２２から取り込んだ輝度成分からのみなる原画像を十分に小さな局所領域に分割する。具体的には、原画像を分割する十分に小さな局所領域として、例えば「３×３（ピクセル）」からなる矩形状の局所領域を採用する。このように局所領域の大きさを小さく設定することで、局所領域内にカメラ１０からの距離が異なる複数の観測対象物体が内包される可能性が十分に小さくなり、その結果、同一局所領域内の距離ｄは一定であるとみなすことが可能となる（距離ｄの情報が不要となる。霧モデルの簡略化）。ここで、例えば「距離ｄ＝１．０」とすると、上式（２）は、下式（３）にて表される。
【００５４】
【数３】
【００５５】
・・・（３）
上式（３）より、復元画像の生成に必要となるパラメータは、散乱光強度Ａ及び散乱係数βとなる。本実施の形態では、上式（３）の簡略化霧モデルを用いて、復元画像を生成する。
【００５６】
なお、本実施の形態では、原画像を分割する十分に小さな局所領域として、例えば「３×３（ピクセル）」からなる矩形状の局所領域を採用したが、これに限らない。他に例えば「５×５（ピクセル）」からなる矩形状の局所領域を採用してもよい。また、「３×３（ピクセル）」や「５×５（ピクセル）」からなる矩形状の局所領域に限らず、カメラ１０からの距離が互いに異なる複数の物体がその局所領域内に存在しないとみなすことができる大きさ及び形状の所定の局所領域であれば、任意である。
【００５７】
さらに、本実施の形態では、便宜上、「距離ｄ＝１．０」として霧モデルを簡略化したが、これに限らない。他に例えば、「距離ｄ＝５．０」あるいは「距離ｄ＝−１０．０」として霧モデルを簡略化してもよい。後述する散乱係数βに対する判定閾値や更新幅を距離ｄの値に応じて変更すればよいため、距離ｄについては、零を除く任意の一定を用いることができる。
【００５８】
なお、本実施の形態では、Koschimiederによって提唱された霧モデルを簡略化した簡略化霧モデルを採用したが、これに限らない。簡略化霧モデルについては、霧の影響を捉えている限り、任意のモデルを採用することができる。すなわち、霧が濃いほど、原画像を構成する画素の輝度が大気中の散乱光の輝度に近くなるという霧の影響を捉えていれば、簡略化霧モデルは任意である。
【００５９】
散乱光推定部２３は、各局所領域の平均輝度を散乱光強度Ａとし、画像の各画素が散乱光強度Ａで構成される散乱光画像を散乱光空間平滑部２４へ出力する。ここで、散乱光強度Ａは、本来、地平線上から伝達される光の輝度値を表すものである。しかしながら、分割された局所領域内に地平線上の輝度が含まれる保障はないため、本実施の形態では、散乱光強度Ａを各局所領域内の平均輝度で代用する。（公知のRetinex理論における照明光の求め方に由来する）。なお、地平線上から伝達される光の輝度値を算出することが可能であれば、散乱光強度Ａとして用いてもよい。
【００６０】
散乱光推定部２３では、分割された各局所領域ごとに独立に散乱光強度を推定する。そのため、隣接する領域間において散乱光強度の相関が無くなり、その結果、局所領域の境界において、霧モデル適用画像の輝度値が不連続となってしまう。その様子を、図５に示す。図５（ａ）は、霧発生時にカメラ１０にて撮像された原画像の一例であり、図５（ｂ）は、散乱光推定部２３より得られる散乱光画像をそのまま用いた際の霧モデル適用画像である。また、図５（ａ）に示す原画像の一部拡大図を図５（ｃ）に示し、図５（ｂ）に示す局所適用画像の一部拡大図を図５（ｄ）に示す。
【００６１】
これら図５（ａ）及び（ｂ）を対比することで分かるように、図５（ｂ）に示された霧モデル適用画像は、原画像と比較して、霧の影響が低減されているものの、図５（ｃ）及び（ｄ）を対比することで分かるように、局所領域間の境界において輝度値が不連続となることがある。
【００６２】
そこで、散乱光空間平滑部２４は、散乱光推定部２３から取り込んだ散乱光画像に対して空間平滑化を行ない、局所領域間において発生する輝度値の不連続さを緩和させる。さらに、その空間平滑化を行った散乱光画像を、後段に接続された霧モデル適用部２５へ出力する。
【００６３】
散乱光空間平滑部２４は、散乱光画像の水平方向及び垂直方向に対し、公知の移動平均法を用いて空間平滑化を行う。このとき、局所領域レベルの平滑化及び画素レベルの平滑化の２段階の平滑化を行う。これにより、散乱光画像に含まれる局所領域間における輝度値の不連続さの緩和を図っている。
【００６４】
図６（ａ）は、局所領域レベルでの平滑化を説明するための図であり、図６（ｂ）は、画素レベルの平滑化を説明するための図である。なお、これら図６（ａ）及び（ｂ）においては、図示の便宜上、一次元に単純化して示しており、実線の丸は平滑化前の値、破線の丸は平滑化後の値、破線は局所領域間の境界をそれぞれ示している。
【００６５】
散乱光空間平滑部２４は、図６（ａ）に示すように、移動平均の窓を領域単位に設定した上で局所領域レベルの平滑化を行う一方、図６（ｂ）に示すように、移動平均の窓を画素単位に設定した上で画素レベルの平滑化を行う。また、散乱光空間平滑部２４は、平滑化の窓サイズを、注目位置の窓及びその前後に隣接する窓の計「３」とし、平滑化を例えば「４回」繰り返す。
【００６６】
平滑化を行わなかった場合の霧モデル適用画像の一例を図７（ａ）に示すとともに、平滑化を行った場合の霧モデル適用画像の一例を図７（ｂ）に示す。また、図７（ａ）の一部拡大図を図７（ｃ）に示し、図７（ｂ）の一部拡大図を図７（ｄ）に示す。これら図７（ｃ）及び（ｄ）を対比することで分かるように、散乱光画像の空間平滑化を行うことで、局所領域間の境界における輝度値の不連続さが緩和されている。
【００６７】
なお、本実施の形態では、散乱光空間平滑部２４は、平滑化の窓サイズを、注目位置の窓及びその前後に隣接する窓の計「３」としていたが、これに限らず、平滑化の窓サイズを計「５」や「７」等としてもよい。このように移動平均の窓サイズを大きく設定することにより、大きな平滑化効果を得ることが可能である。ただし、画像に含まれるエッジ近傍において過度に平滑化されてしまうこともある。そうした事態を避けるべく、本実施の形態では、平滑化の窓サイズを「３」としている。
【００６８】
また、本実施の形態では、散乱光空間平滑部２４は、例えば「４回」平滑化を繰り返しているが、「８回」平滑化を繰り返したり、「１回」のみ平滑化を行ったりしてもよい。平滑化を行う回数を多く設定するほど、大きな平滑化効果を得ることが可能である、ただし、画像に含まれるエッジ近傍において過度に平滑されてしまうこともある。そうした事態を避けるべく、本実施の形態では、平滑化を行う回数を「４回」としている。
【００６９】
また、本実施の形態では、散乱光空間平滑部２４は、散乱光画像に対する空間平滑化処理として、局所領域レベルでの平滑化及び画素レベルでの平滑化の２段階の平滑化を行っていたが、この２段階の平滑化に限らない。散乱光空間平滑部２４は、散乱光画像に対し公知のガウシアンフィルタ処理等を行ってもよい。要は、局所領域間の境界における不連続を緩和することができればよいのであって、平滑化の方法については任意である。
【００７０】
霧モデル適用部２５は、散乱光空間平滑部２４から空間平滑化が行われた散乱光画像を取り込むとともに、散乱係数更新部２６から散乱係数βを取り込み、式（３）で示される簡略化霧モデルに基づき、霧モデル適用画像の輝度を直接算出する。なお、本実施の形態では、散乱光画像における各画素の輝度値を散乱光強度Ａとして使用し、散乱係数βはどの画素に対しても同じ値とする。散乱係数βの設定方法については後述する。
【００７１】
散乱係数更新部２６は、画像分離部２２から上記原画像を取り込むとともに、霧モデル適用部２５から上記霧モデル適用画像を取り込み、これら原画像及び霧モデル適用画像のエッジ強度から上記散乱係数βを設定する。
【００７２】
図８は、散乱係数更新部２６によって実行される散乱係数βの設定処理（更新処理）の処理手順を示すフローチャートである。この図８を参照して、散乱係数βの設定処理について説明する。
【００７３】
図８に示す設定処理が開始されると、散乱係数更新部２６は、ステップＳ１０の処理として、ＲＯＩ(region ofinterest)を設定する。詳しくは、散乱係数更新部２６は、原画像の中心部及び霧モデル適用画像の中心部をＲＯＩに設定する。なお、本実施の形態では、原画像の中心部及び霧モデル適用画像の中心部をＲＯＩに設定していたが、これに限らず、原画像の消失点近傍及び霧モデル適用画像の消失点近傍をＲＯＩに設定してもよい。しかも、消失点は大まかな位置で良く、消失点の位置を高精度に算出する必要はない。
【００７４】
原画像及び霧モデル適用画像にＲＯＩに設定すると、散乱係数更新部２６は、続くステップＳ２０の処理として、原画像のＲＯＩ内の各画素に対し、例えばＳｏｂｅｌフィルタ等を用いてエッジ強度の平均値φ（以下、エッジ強度φと記載）を算出するとともに、ステップＳ３０の処理として、霧モデル適用画像のＲＯＩ内の各画素に対し、例えばＳｏｂｅｌフィルタ等を用いてエッジ強度の平均値Φ（以下、エッジ強度Φと記載）を算出する。
【００７５】
原画像のＲＯＩ内のエッジ強度φ及び霧モデル適用画像のＲＯＩ内のエッジ強度Φを算出すると、散乱係数更新部２６は、続くステップＳ４０〜Ｓ１１４の一連の処理を通じて、エッジ強度（φあるいはΦ）と閾値（第１判定閾値Ｔｈ１あるいは第２判定閾値Ｔｈ２）の差異Δを算出し、差異Δへの到達態様に応じた更新幅δＬ、δＭ、δＳにて、散乱係数βを更新する。なお、更新幅δＬ、δＭ、及びδＳは「更新幅δＬ＞更新幅δＭ＞更新幅δＳ＞０」との関係にて定められている。
【００７６】
詳しくは、散乱係数更新部２６は、続くステップＳ４０の判断処理として、エッジ強度φが第１判定閾値Ｔｈ１よりも大きいか否かを判断する。ここで、エッジ強度φが第１判定閾値Ｔｈ１よりも大きいと判断される場合（ステップＳ４０の判断処理で「Ｙｅｓ」）、散乱係数更新部２６は、続くステップＳ５０の判断処理で差異Δ（＝φ−Ｔｈ１）を算出し、さらに続くステップＳ６０の判断処理として、差異Δが第３判定閾値Ｔｈ３よりも大きいか否かを判断する。ここで、差異Δが第３判定閾値Ｔｈ３よりも大きいと判断される場合（ステップＳ６０の判断処理で「Ｙｅｓ」）、エッジ強度φが大きいことを意味する。この場合、散乱係数更新部２６は、続くステップＳ６１の処理として、散乱係数βから大きな更新幅δＬを減算した値を新たな散乱係数βとして設定し、この処理を一旦終了する。
【００７７】
一方、先のステップＳ６０の判断処理において、差異Δが第３判定閾値Ｔｈ３より大きくないと判断される場合（ステップＳ６０の判断処理で「Ｎｏ」）、散乱係数更新部２６は、続くステップＳ６２の判断処理として、差異Δが第４判定閾値Ｔｈ４よりも大きいか否かを判断する。ここで、差異Δが第４判定閾値Ｔｈ４よりも大きいと判断される場合（ステップＳ６２の判断処理で「Ｙｅｓ」）、差異Δは中程度であることを意味する。この場合、散乱係数更新部２６は、続くステップＳ６３の処理として、散乱係数βから中程度の更新幅δＭを減算した値を新たな散乱係数βとして設定し、この処理を一旦終了する。
【００７８】
他方、先のステップＳ６２の判断処理において、差異Δが第４判定閾値Ｔｈ４よりも大きくないと判断される場合（ステップＳ６２の判断処理で「Ｎｏ」）、エッジ強度φは小さいことを意味する。この場合、散乱係数更新部２６は、続くステップＳ６４の処理として、散乱係数βから小さな更新幅δＳを減算した値を新たな散乱係数βとして設定し、この処理を一旦終了する。
【００７９】
また、散乱係数更新部２６は、先のステップＳ４０の判断処理において、エッジ強度φが第１判定閾値Ｔｈ１よりも大きくないと判断され、且つ、続くステップＳ７０の判断処理において、エッジ強度Φが第２判定閾値Ｔｈ２よりも小さいと判断される場合（ステップＳ４０の判断処理で「Ｎｏ」、且つ、ステップＳ７０の判断処理で「Ｙｅｓ」）、先の一連の処理（ステップＳ５０〜Ｓ６４の処理）に準じた一連の処理（ステップＳ７０〜ステップＳ９４の処理）を実行する。さらに、散乱係数更新部２６は、先のステップＳ４０の判断処理において、エッジ強度φが第１判定閾値Ｔｈ１よりも大きくないと判断され、且つ、続くステップＳ７０の判断処理において、エッジ強度Φが第２判定閾値Ｔｈ２よりも小さくないと判断される場合（ステップＳ４０の判断処理で「Ｎｏ」、且つ、ステップＳ７０の判断処理で「Ｎｏ」）、先の一連の処理（ステップＳ５０〜Ｓ６４の処理、あるいはステップＳ８０〜Ｓ９４の処理）に準じた一連の処理（ステップＳ１００〜ステップＳ１１４の処理）を実行する。このようにして、散乱係数βは散乱係数更新部２６によって更新される。
【００８０】
このように散乱係数βを更新することにより、エッジ強度φ及びΦに応じて散乱係数βの更新幅δＬ、δＭ、及びδＳを変えることができるようになる。そして、霧が発生したり霧が消滅したりする実環境の変化への追従性を高めることができるようになる。なお、本実施の形態では、上述のように散乱係数βを更新することで、エッジ強度Φが所定の目標値に近づくように散乱係数βを更新することができる。
【００８１】
なお、本実施の形態では、散乱係数更新部２６は、エッジ強度φ及びΦ、並びに差異Δに対して第１判定閾値Ｔｈ１〜第４判定閾値Ｔｈ４の「４つ」の閾値を設定し、これら４つの閾値への到達態様に応じた更新幅δＬ、δＭ、及びδＳにて散乱係数βを更新していたが、これに限らない。散乱係数更新部２６は、エッジ強度φ及びΦ、並びに差異Δに対してより多数（「５つ以上」）の閾値を設定し、それら多数の閾値への到達態様に応じた多数の更新幅にて散乱係数βを更新してもよい。これにより、エッジ強度φ及びΦに応じて散乱係数βの更新幅を変えることができるようになるため、霧が発生したり霧が消滅したりする実環境の変化への追従性をより高めることができるようになる。また、散乱係数更新部２６は、エッジ強度Φに対して１つのみ閾値（＞０）を設定し、エッジ強度Φがその閾値を上回る場合には、散乱係数βを所定幅だけ減少させる一方、エッジ強度Φがその閾値に到達しない場合には、散乱係数βを所定幅だけ増加させることとしてもよい。
【００８２】
レベル補正部２７は、霧モデル適用部２５から霧モデル適用画像を取り込み、霧モデル適用画像を構成する画素の輝度分布を表示器４０にて表示可能な範囲に拡縮するレベル補正を行う。
【００８３】
図９（ａ）に、レベル補正前の霧モデル適用画像の一例を示し、図９（ｂ）に、レベル補正後の霧モデル適用画像の一例を示す。また、図９（ｃ）は、図９（ａ）のヒストグラムであり、図９（ｄ）は図９（ｂ）のヒストグラムである。
【００８４】
レベル補正部２７は、図９（ｃ）に示すように、霧モデル適用部２５から取り込んだ霧モデル適用画像の輝度値のヒストグラムを算出し、輝度値の上位及び下位「５％」を除去する。次に、レベル補正部２７は、図９（ｄ）に示すように、表示器４０にて表示可能な最大範囲に一致するように、霧モデル適用画像の輝度値のヒストグラムを拡大する。そして、レベル補正部２７は、霧モデル適用画像をレベル補正した画像であるレベル補正画像を画像結合部２８へ出力する。
【００８５】
なお、本実施の形態では、レベル補正部２７は、輝度値の上位及び下位「５％」を除去していたが、これに限らない。上位及び下位「３％」や「１％」を除去してもよい。要は、原画像に含まれていた外れ値（異常値）や、霧モデル適用部２５で発生した外れ値を除去できればよいのであって、除去する割合は任意である。
【００８６】
画像結合部２８は、画像分離部２２から取り込んだ色差信号と、レベル補正部２７から取り込んだレベル補正画像とを結合し、最終的な復元画像を生成する。そして、画像結合部２８は、後段に接続された制御装置６０に復元画像を出力する。
【００８７】
以上説明した上記実施の形態の霧画像復元装置２０では、最終的な復元画像を生成するにあたり、カメラ１０によって撮像され、画像分離部２２によって輝度成分のみに分離された原画像を局所領域に分割し、その分割された局所領域毎に、上式（３）に示す簡略化霧モデルから画素の輝度を直接算出することで、復元画像を生成した。これにより、簡略化された霧モデルから画素の輝度を直接算出することから、消失点や動きベクトルを算出する必要がなくなる。このようにして、消失点や動きベクトルを算出することなく、復元画像を生成することができるようになる。
【００８８】
なお、上記実施の形態によれば、消失点や動きベクトルを算出する必要がないことから、復元画像を生成するに要する演算負荷を軽減することができるとともに、消失点や動きベクトルの推定精度に起因する復元画像の劣化を回避することができる。また、上記実施の形態によれば、復元画像を生成するのに動きベクトルを算出する必要がないことから、動画像はもとより、静止画像にも適用することが可能である。さらに、上記実施の形態によれば、霧の影響に限らず、空中を浮遊する粒子が十分に小さい霧雨等の影響が軽減された復元画像を生成することも可能である。
【００８９】
また、上記実施の形態では、霧モデル適用画像を所定時間毎に繰り返し生成する際、大気中の散乱光強度Ａとして局所領域の平均輝度を用い、原画像及び霧モデル適用画像に基づいて設定された大気の散乱係数βを用いることとした。原画像及び霧モデル適用画像に基づいて大気の散乱係数βを設定（更新）し、その設定した大気の散乱係数βを用いて霧モデル画像を生成することから、大気の散乱係数β、すなわち霧の濃度に応じて霧モデル適用画像を生成することができるようになる。
【００９０】
また、上記実施の形態では、原画像のエッジ強度φ及び霧モデル適用画像のエッジ強度Φに対して定められた閾値への到達態様に応じた更新幅δＬ、δＭ、及びδＳにて、散乱係数βを更新することとした。これにより、エッジ強度に応じて散乱係数βの更新幅を変えることができるようになるため、霧が発生したり霧が消滅したりする実環境の変化への追従性を高めることができるようになる。
【００９１】
また、上記実施の形態では、散乱光画像の水平方向及び垂直方向に対し、公知の移動平均法を用い、さらに、移動平均法を用いる際、局所領域レベルの平滑化及び画素レベルの平滑化の２段階の平滑化を行うこととした。これにより、霧モデル適用画像に含まれる、局所領域間における不連続さを緩和することができるようになる。
【００９２】
また、上記実施の形態では、霧モデル適用画像の輝度値のヒストグラムを算出し、表示器４０にて表示可能な最大範囲に一致するように、輝度値の上位及び下位「５％」を除去したヒストグラムを拡大することとした。これにより、レベル補正が行われたレベル補正画像を生成することができる。
【００９３】
また、上記実施の形態の運転支援システム１では、制御装置６０は、復元画像表示スイッチ３０からオン操作された旨を示す信号を受信する場合、最終的な復元画像を表示器４０に表示する一方、復元画像表示スイッチ３０からオフ操作された旨を示す信号を受信する場合、カメラ１０から入力された原画像を表示器４０に表示することとした。また、上記実施の形態では、制御装置６０は、散乱係数βに対し設定された所定の閾値を散乱係数βが上回る場合、フォグランプ５０を自動に点灯制御する一方、散乱係数βがその所定の閾値以下である場合、フォグランプ５０を自動に消灯制御することとした。これにより、運転者の視界を支援することができるようになる。
【００９４】
ちなみに、図１０（ａ）に、霧発生時にカメラ１０によって撮像された原画像の一例を示し、図１０（ｂ）に、図１０（ａ）に基づいて生成された最終的な復元画像の一例を示す。これら図１０（ａ）及び（ｂ）を対比すると、最終的な復元画像では、原画像と比較して、走行レーンのコントラストやエッジ強度が増加しており、視認性が向上していることが分かる。
【００９５】
また、図１１（ａ）に、霧雨時にカメラ１０によって撮像された原画像の一例を示し、図１１（ｂ）に、図１１（ａ）に基づいて生成された最終的な復元画像の一例を示す。これら図１１（ａ）及び（ｂ）を対比すると、霧雨時であるにも関わらず、霧発生時と同様に、最終的な復元画像では、原画像と比較して、先行車及び走行レーンのコントラストやエッジ強度が増加しており、視認性が向上していることが分かる。
【００９６】
なお、本発明に係る運転支援システム１及び霧画像復元装置２０は、上記実施の形態にて例示した構成に限定されるものではなく、本発明の趣旨を逸脱しない範囲において、種々に変形して実施することが可能である。すなわち、上記実施の形態を適宜変更した例えば次の形態として実施することもできる。
【００９７】
上記実施の形態の運転支援システム１では、車両の前進方向を撮像可能な位置にカメラ１０を配置していたが、これに限らず、車両の後退方向を撮像可能な位置にカメラ１０を配置してもよい。また、動画像及び静止画像の双方を撮像可能なカメラ１０を採用したが、静止画像のみあるいは動画像のみ撮像可能なカメラ１０を採用してもよい。
【００９８】
上記実施の形態の運転支援システム１では、カメラ１０としてカラー画像を撮像可能なカメラ１０を採用していたため、霧画像復元装置２０は、画像分離部２２及び画像結合部２８を備える必要があったが、運転支援システム１がカラー画像を撮像することのできないカメラ１０を採用する場合には、霧画像復元装置２０は、画像分離部２２及び画像結合部２８を備えることなく割愛することができる。
【００９９】
上記実施の形態の運転支援システム１では、霧画像復元装置２０によって復元された最終的な復元画像を表示器４０に表示したり、フォグランプ５０を自動に点消灯したりすることにより、運転者の視界を支援していたが、運転支援の手段としては、これに限らない。
【０１００】
他に例えば、運転支援システム１は、霧画像復元装置２０によって復元された復元画像を使用して白線認識（すなわち、走行路の形状を抽出）し、操舵角や速度制御を行うことにより、運転者の運転を支援してもよい。この場合には、霧画像復元装置２０は、最終的な復元画像を生成するだけでなく、最終的な復元画像に含まれるエッジが強調された画像であるエッジ画像を生成し、このエッジ画像に基づいて白線認識する必要がある。また、運転支援システム１は、霧画像復元装置２０の白線認識結果に基づいて操舵角制御や速度制御等の走行制御を実現するに必要なセンサ群及びアクチュエータ群を備えることとなる。
【０１０１】
また例えば、運転支援システム１は、霧画像復元装置２０によって復元された復元画像を使用して歩行者を認識し、車両の運転者に警報することにより、運転者の運転を支援してもよい。この場合、霧画像復元装置２０は、最終的な復元画像を生成するだけでなく、最終的な復元画像に含まれるエッジが強調された画像であるエッジ画像を生成し、そのエッジ画像に基づいて歩行者を認識する必要がある。また、運転支援システム１は、霧画像復元装置２０の歩行者認識結果に基づき警報を音声出力するスピーカ等を備えることとなる。
【０１０２】
ちなみに、図１０（ｃ）に、図１０（ａ）に示した原画像のエッジ画像を示し、図１０（ｄ）に、図１０（ｂ）に示した最終的な復元画像のエッジ画像を示す。これら図１０（ｃ）及び（ｄ）を対比すると、最終的な復元画像のエッジ画像では、原画像のエッジ画像と比較してエッジ強度が増加しているため、白線認識や歩行者認識の精度向上を図ることが可能であることが分かる。
【０１０３】
また、図１１（ｃ）に、図１１（ａ）に示した原画像のエッジ画像を示し、図１１（ｄ）に、図１１（ｃ）に示した最終的な復元画像のエッジ画像を示す。これら図１１（ｃ）及び（ｄ）を対比すると、霧雨時であるにも関わらず、霧発生時と同様に、最終的な復元画像のエッジ画像では、原画像のエッジ画像と比較してエッジ強度が増加しているため、白線認識や歩行者認識の精度向上を図ることが可能であることが分かる。
【０１０４】
また、既述したように、霧の影響を捉えている限り、任意の簡略化霧モデルを採用することができるが、簡略化霧モデルにも限られない。霧モデルは、大気中の散乱光の輝度及び霧の濃度を示す大気の散乱係数によって記述される霧モデルであれば、簡略化されていなくてもよい。
【符号の説明】
【０１０５】
１…運転支援システム、１０…カメラ（画像撮像装置）、２０…霧画像復元装置、２１…切替スイッチ、２２…画像分離部、２３…散乱光推定部、２４…散乱光空間平滑部、２５…霧モデル適用部、２６…散乱係数更新部、２７…レベル補正部、２８…画像結合部、３０…復元画像表示スイッチ、４０…表示器、５０…フォグランプ、６０…制御装置、６０ａ…表示画像切替制御部、６０ｂ…運転支援制御部。
【技術分野】
【０００１】
本発明は、霧が発生した状況で撮像される霧画像から霧の影響が低減された復元画像を生成し、その復元画像を表示器に出力する霧画像復元装置及びこの霧画像復元装置を備える運転支援システムに関する。
【背景技術】
【０００２】
従来、この種の技術として、特許文献１に記載の技術が知られている。この特許文献１に記載の技術では、霧画像を構成する各画素の輝度値を観測ベクトル、霧画像を構成する各画素の本来の輝度値を状態ベクトル、霧画像に撮像された物体の輝度が霧の影響を受けて劣化するモデルを観測行列、時系列に連続する霧画像間で各要素が移動することで生じる状態ベクトルの変化を状態遷移行列としたカルマンフィルタを用いて、状態ベクトルの予測値を求める。この予測値によって表わされる画像が、霧の影響が低減された復元画像である。これにより、霧の影響が低減された復元画像を生成することができる。
【先行技術文献】
【特許文献】
【０００３】
【特許文献１】特開２００８−３１０５０９号公報
【発明の概要】
【発明が解決しようとする課題】
【０００４】
ところで、上記従来技術では、上記観測行列及び上記状態遷移行列が時変であるため、復元画像を生成するには、これら観測行列及び状態遷移行列を逐次算出しなければならない。そして、観測行列を算出するには、道路平面上の地平線の画像平面上への投影点であるいわゆる消失点の位置を算出する必要があり、状態遷移行列を算出するには、時系列に連続する霧画像間における動きベクトルを算出する必要がある。つまり、観測行列及び状態遷移行列を算出し、復元画像を生成するには、消失点や動きベクトルを算出する必要がある。
【０００５】
しかしながら、これら消失点や動きベクトルの算出に要する演算負荷は大きく、復元性能は消失点や動きベクトルの推定精度に影響を受けるものとなっている。
【０００６】
本発明は、上記実情に鑑みてなされたものであって、その目的は、消失点や動きベクトルを算出することなく、復元画像を生成することのできる霧画像復元装置及び運転支援システムを提供することにある。
【課題を解決するための手段】
【０００７】
こうした目的を達成するため、請求項１に記載の発明では、画像を撮像する画像撮像装置によって撮像される原画像から、その原画像を構成する画素の輝度に霧が与える影響を捉えた霧モデルに基づいて、霧の影響が低減された画像である復元画像を生成する霧画像復元装置であって、前記霧モデルは、前記画像撮像装置によって撮像される物体本来の輝度が、大気中の散乱光の輝度及び霧の濃度を示す大気の散乱係数によって記述される霧モデルであり、前記復元画像を生成するにあたり、前記原画像を局所領域に分割し、その分割された局所領域毎に、前記霧モデルから画素の輝度を直接算出することを特徴とする。
【０００８】
霧画像復元装置としてのこのような構成では、霧モデルから画素の輝度を直接算出するため、上記消失点や動きベクトルを算出する必要はなくなる。そして、消失点や動きベクトルを算出する必要がないことから、復元画像を生成するのに要する演算負荷を軽減することができるとともに、消失点や動きベクトルの推定精度に起因する復元性能の劣化を回避することができる。このようにして、消失点や動きベクトルを算出することなく、復元画像を生成することができる。
【０００９】
また、上記従来技術では、復元画像を生成するのに動きベクトルを算出する必要があり、原画像（霧画像）は動画像である必要があったが、上記請求項１に記載の構成では、復元画像を生成するのに動きベクトルを算出する必要がないことから、原画像は静止画像でもよい。換言すれば、上記請求項１に記載の構成は、動画像はもとより、静止画像にも適用することが可能である。
【００１０】
また、上記請求項１に記載の構成によれば、霧の影響に限らず、空中を浮遊する粒子が十分に小さい霧雨等の影響が軽減された復元画像を生成することも可能である。
【００１１】
霧モデルについては、霧が濃いほど、原画像を構成する画素の輝度が大気中の散乱光の輝度に近くなるという霧の影響を捉えていれば、任意である。また、画像撮像装置によって撮像された原画像を局所領域に分割し、その分割された局所領域毎に霧モデルを適用する際、局所領域の大きさを十分に小さくとると、局所領域内に距離の異なる複数の物体が含まれなくなり、その結果、既存の霧モデル（Koschmiederによって提唱された大気の劣化モデルなど）で必要な距離の情報を考慮する必要がなくなり、モデルを簡略化することが可能となる。
【００１２】
そのため、請求項１に記載の構成において、請求項２に記載の発明のように、前記霧モデルは、前記画像撮像装置によって撮像される物体本来の輝度が、前記画像撮像装置からその画像撮像装置によって撮像される物体までの距離の情報を必要としない簡略化霧モデルであるとよい。霧画像復元装置としてのこのような構成によれば、簡略化霧モデルを用いているため、復元画像を生成するに要する演算負荷をより一層低減することができるようになる。
【００１３】
上記請求項１または２に記載の構成において、請求項３に記載の発明のように、前記原画像から前記復元画像を所定時間毎に繰り返し生成し、前記大気中の散乱光の輝度として前記局所領域の平均輝度を用い、前記原画像及び前記復元画像に基づいて前記大気の散乱係数を設定するとよい。これにより、原画像及び復元画像に基づいて大気の散乱係数を設定（更新）し、その設定した大気の散乱係数を用いて復元画像を生成することから、大気の散乱係数、すなわち霧の濃度に応じた復元画像を生成することができるようになる。
【００１４】
上記請求項３に記載の構成において、請求項４に記載の構成のように、前記原画像のエッジ強度及び前記復元画像のエッジ強度に対して複数の判定閾値を設定し、これら複数の判定閾値への到達態様に応じた複数の更新幅にて、前記大気の散乱係数を更新するとよい。これにより、エッジ強度に応じて大気の散乱係数の更新幅を変えることができるようになるため、霧が発生したり霧が消滅したりする実環境の変化への追従性を高めることができるようになる。
【００１５】
ところで、復元画像を生成するにあたり、原画像を局所領域に分割し、その分割された局所領域毎に、簡略化霧モデルから画素の輝度を直接算出するだけでは、局所領域間の境界において不連続となることがある。
【００１６】
そこで、上記請求項３または４に記載の構成において、請求項５に記載の発明のように、前記局所領域間における不連続さを緩和する空間平滑化を行なうことが望ましい。これにより、局所領域間の境界における不連続が解消された復元画像を生成することができるようになる。なお、空間平滑化処理としては、局所領域レベルでの平滑化及び画素レベルでの平滑化の２段階の平滑化を行うこととしてもよく、公知のガウシアンフィルタ処理を行うこととしてもよい。
【００１７】
上記請求項１〜５のいずれかに記載の構成において、請求項６に記載の発明のように、前記復元画像を生成するにあたり、表示器にて表示可能な最大範囲に一致するように、画像を構成する画素の輝度分布を補正（レベル補正）してもよい。これにより、レベル補正された復元画像を生成することができるようになる。
【００１８】
なお、請求項１〜６に記載の構成において、請求項７に記載の発明のように、前記復元画像を生成するだけでなく、前記復元画像に含まれるエッジが強調された画像であるエッジ画像を生成することとしてもよい。これにより、復元画像に含まれるエッジが強調されたエッジ画像を生成することができるようになる。また、例えば、このエッジ画像に基づいて白線認識を行なう場合には、高い白線の認識率を期待することができる。
【００１９】
また、上記目的を達成するため、請求項８に記載の発明では、画像を撮像する撮像装置と、請求項１〜７のいずれか一項に記載の霧画像復元装置と、前記霧画像復元装置によって生成される復元画像を表示する表示器とを備えることとした。これにより、上記請求項１に記載の構成と同一の効果を得ることができる。
【００２０】
また、上記目的を達成するため、請求項９に記載の発明では、画像を撮像する撮像装置と、請求項１〜７のいずれか一項に記載の霧画像復元装置と、前記霧画像復元装置によって生成される復元画像に基づいて白線を認識し、その白線認識結果に基づいて車両を走行制御する制御装置を備えることとした。これにより、上記請求項１に記載の構成と同一の効果を得ることができるだけでなく、復元画像に基づいて道路上の白線を認識し、その白線認識結果に基づいて車両を走行制御することができるようになる。
【００２１】
また、上記目的を達成するため、請求項１０に記載の発明では、画像を撮像する撮像装置と、請求項７に記載の霧画像復元装置と、前記霧画像復元装置によって生成されるエッジ画像に基づいて白線を認識し、その白線認識結果を用いて車両を走行制御する制御装置を備えることとした。これにより、上記請求項７に記載の構成と同一の効果を得ることができるだけでなく、エッジ画像に基づいて道路上の白線を認識し、その白線認識結果に基づいて車両を走行制御することができるようになる。
【００２２】
また、上記目的を達成するため、請求項１１に記載の発明では、画像を撮像する撮像装置と、請求項３〜７のいずれか一項に記載の霧画像復元装置と、車両に搭載されるフォグランプと、前記大気の散乱係数の大きさに基づいて前記フォグランプの点消灯を制御する制御装置を備えることとした。これにより、上記請求項４に記載の構成と同一の効果を得ることができるだけでなく、フォグランプの点消灯を自動に制御（オートフォグランプを実現）ことができるようになる。
【図面の簡単な説明】
【００２３】
【図１】本発明に係る運転支援システムの一実施の形態について、その構成を示すブロック図である。
【図２】本発明に係る霧画像復元装置の一実施の形態について、その構成を示すブロック図である。
【図３】霧モデルのパラメータを説明するための図である。
【図４】（ａ）及び（ｂ）は、霧モデルの観測輝度と散乱係数との関係を示すグラフである。
【図５】（ａ）は、原画像の一例を示す図である。（ｂ）は、霧モデル適用画像の一例を示す図である。（ｃ）は、（ａ）の一部拡大図である。（ｄ）は、（ｂ）の一部拡大図である。
【図６】（ａ）は、局所領域レベルでの平滑化を説明するための図であり、（ｂ）は、画素レベルの平滑化を説明するための図である。
【図７】（ａ）は、平滑化を行わなかった場合の霧モデル適用画像の一例を示す図であり、（ｂ）は、平滑化を行った場合の霧モデル適用画像の一例を示す図である。また、（ｃ）は、（ａ）の一部拡大図であり、（ｄ）は、（ｂ）の一部拡大図である。
【図８】散乱係数の設定（更新）処理について、その処理手順を示すフローチャートである。
【図９】（ａ）は、レベル補正前の霧モデル適用画像の一例を示す図であり、（ｂ）は、レベル補正後の霧モデル適用画像の一例を示す図である。（ｃ）は、（ａ）のヒストグラムであり、（ｄ）は、（ｂ）のヒストグラムである。
【図１０】（ａ）は、霧発生時に撮像された原画像の一例を示す図であり、（ｂ）は、（ａ）に基づいて生成された最終的な復元画像の一例を示す図である。（ｃ）は、（ａ）のエッジ画像であり、（ｄ）は、（ｂ）のエッジ画像である。
【図１１】（ａ）は、霧雨時に撮像された原画像の一例を示す図である。（ｂ）は、（ａ）に基づいて生成された最終的な復元画像の一例を示す図である。（ｃ）は、（ａ）のエッジ画像であり、（ｄ）は、（ｂ）のエッジ画像である。
【発明を実施するための形態】
【００２４】
以下、本発明に係る霧画像復元装置及び運転支援システムの一実施の形態について、図１〜図１１を参照して説明する。なお、本実施の形態の運転支援システム１では、霧画像復元装置２０によって生成される復元画像を表示器４０に表示したり、復元画像を生成する際に用いられる大気の散乱係数β（以下、単に散乱係数とも記載）の大きさに基づいてフォグランプ５０の点消灯を制御したりすることにより、運転者の視界を支援している。
【００２５】
図１は、霧画像復元装置２０を含む運転支援システム１の構成を示すブロック図である。まず、この図１を参照して、運転支援システム１の構成について説明する。
【００２６】
図１に示されるように、運転支援システム１は、カメラ１０と、霧画像復元装置２０と、復元画像表示スイッチ３０と、図示しないフォグランプスイッチと、表示器４０と、フォグランプ５０と、制御装置６０とを有して構成されている。なお、カメラ１０が特許請求の範囲の画像撮像装置に相当する。
【００２７】
このうち、カメラ１０は、動画像及び静止画像を撮像することの可能な撮像装置によって構成されており、図示しない車両の前進方向を撮像可能な位置に配置されている。このカメラ１０は、霧画像復元装置２０及び制御装置６０にそれぞれ接続されており、撮像した動画像あるいは静止画像を霧画像復元装置２０及び制御装置６０にそれぞれ出力する。なお、本実施の形態では、カメラ１０は、例えば「６４０（ピクセル）×４８０（ピクセル）」の動画像及び静止画像の双方をカラーにて撮像可能であるものとするが、画像サイズについては任意であり、カラーに限らずモノクロのみ撮像可能であってもよい。
【００２８】
霧画像復元装置２０は、周知のＣＰＵ、例えばＲＯＭやＲＡＭ等のメモリ、Ｉ／Ｏ、及びこれらを接続するバスラインを有する通常のコンピュータにて構成され、カメラ１０及び制御装置６０にそれぞれ接続されている。そして、霧画像復元装置２０は、カメラ１０から動画像または静止画像を原画像として取り込み、その取り込んだ原画像に基づいて復元画像を生成し、その生成した復元画像を制御装置６０に出力する。なお、霧画像復元装置２０の詳細な構成や、原画像から復元画像を生成するための処理については、図２〜図９を参照しつつ後述する。
【００２９】
復元画像表示スイッチ３０は、例えばプッシュスイッチによって構成され、車両の乗員が操作可能な車室内の適宜の箇所に配置されている。この復元画像表示スイッチ３０は、制御装置６０に接続されており、車両の乗員によってオン操作されると、そのオン操作された旨を示す信号を制御装置６０に出力するとともに、車両の乗員によってオフ操作されると、そのオフ操作された旨を示す信号を制御装置６０に出力する。
【００３０】
フォグランプスイッチは、例えばプッシュスイッチによって構成され、車両の乗員が操作可能な車室内の適宜の箇所に配置されている。このフォグランプスイッチは、制御装置６０に接続されており、車両の乗員によって自動点消灯モードに設定されると、その自動点消灯モードに設定された旨を示す信号を制御装置６０に出力し、車両の乗員によってオン操作されると、そのオン操作された旨を示す信号を制御装置６０に出力し、車両の乗員によってオフ操作されると、そのオフ操作された旨を示す信号を制御装置６０に出力する。
【００３１】
表示器４０は、例えばＬＣＤによって構成され、インストルメントパネル内の画像表示エリア等、車両の乗員が視認可能な車室内の適宜の箇所に配置されている。また、この表示器４０は、制御装置６０に接続されており、制御装置６０から原画像あるいは復元画像が入力される。そして、表示器４０は、入力された原画像あるいは復元画像を画面表示する。
【００３２】
なお、本実施の形態では、表示器４０は、ＬＣＤによって構成され、インストルメントパネル内の画像表示エリアに配置されているものとしたが、これに限らない。他に例えば、現在地から目的地までの経路を案内するナビゲーション装置が車両に搭載されている場合、そのナビゲーション装置のディスプレイを表示器４０として用いてもよい。また、ウインドシールド前方に画像を映し出す、いわゆるヘッドアップディスプレイを表示器４０として用いてもよい。
【００３３】
フォグランプ５０は、車両の前進方向を照射する図示しないヘッドライトによる車両前進方向の照射を補助するためのランプであり、そのヘッドライトよりも下方を照射することで霧中での走行を支援する公知のランプである。また、フォグランプ５０は制御装置６０に接続されており、この制御装置６０によってその点消灯が制御されている。
【００３４】
制御装置６０は、周知のＣＰＵ、例えばＲＯＭやＲＡＭ等のメモリ、Ｉ／Ｏ、及びこれらを接続するバスラインを有する通常のコンピュータとして構成されている。以下の説明では、制御装置６０は、メモリに記憶保持されたプログラムがＣＰＵによって実行されることで実現される機能として、表示画像切替制御部６０ａ及び運転支援制御部６０ｂを有するものとして説明する。
【００３５】
制御装置６０は、上記復元画像表示スイッチ３０に接続されている。そして、制御装置６０を構成する表示画像切替制御部６０ａは、復元画像表示スイッチ３０からオン操作された旨を示す信号を受信すると、霧画像復元装置２０から入力された復元画像を表示器４０に表示制御する。また、表示画像切替制御部６０ａは、復元画像表示スイッチ３０からオフ操作された旨を示す信号を受信すると、カメラ１０から入力された原画像を表示器４０に表示制御する。
【００３６】
なお、本実施の形態では、表示画像切替制御部６０ａは、車両の乗員による復元画像表示スイッチ３０の手動操作に応じて、表示器４０に表示する画像を復元画像及び原画像の間で切り替えていたが、これに限らない。他に例えば、表示画像切替制御部６０ａは、後述する散乱係数βに対し所定の閾値を設定し、散乱係数βがその所定の閾値を上回る場合には、復元画像を表示器４０に表示制御する一方、散乱係数βがその所定の閾値以下である場合には、原画像を表示器４０に表示制御することとしてもよい。この場合、復元画像表示スイッチ３０を割愛することが可能である。また、表示画像切替制御部６０ａは、復元画像表示スイッチ３０の手動操作及び散乱係数βの自動判定を併用して、表示器４０に表示する画像を復元画像及び原画像の間で切り替えてもよい。
【００３７】
また、制御装置６０は、上記フォグランプスイッチに接続されている。そして、制御装置６０を構成する運転支援制御部６０ｂは、フォグランプスイッチから自動点消灯モードに設定された旨を示す信号が入力されると、フォグランプ５０の点消灯を自動制御する。詳しくは、運転支援制御部６０ｂは、後述する散乱係数βに対し所定の閾値を設定し、散乱係数βがその所定の閾値を上回る場合には、フォグランプ５０を自動に点灯制御する一方、散乱係数βがその所定の閾値以下である場合には、フォグランプ５０を自動に消灯制御する。また、運転支援制御部６０ｂは、フォグランプスイッチからオン操作された旨を示す信号を受信すると、フォグランプを点灯制御する一方、フォグランプスイッチからオフ操作された旨を示す信号を受信すると、フォグランプ５０を消灯制御する。
【００３８】
図２は、霧画像復元装置２０の構成を示すブロック図である。この図２を用いて、霧画像復元装置２０の構成及び機能について説明する。
【００３９】
図２に示されるように、霧画像復元装置２０は、切替スイッチ２１を有しており、メモリに記憶保持されたプログラムをＣＰＵによって実行することによって実現される機能として、画像分離部２２、散乱光推定部２３、散乱光空間平滑部２４、霧モデル適用部２５、散乱係数更新部２６、レベル補正部２７、及び画像結合部２８を有する。
【００４０】
このうち、切替スイッチ２１は、当該切替スイッチ２１の後段に接続される画像分離部２２の接続先を、上記カメラ１０と画像結合部２８との間で切り替えるスイッチである。
【００４１】
以下、切替スイッチ２１の作動について説明する。既述したように、カメラ１０は、動画像及び静止画像の双方を撮像可能である。なお、動画像とは、カメラ１０によって連続して撮像された複数の静止画像によって構成されるものであるため、本質的には静止画像と相違しない。
【００４２】
カメラ１０にて静止画像が撮像されると、霧画像復元装置２０は、画像分離部２２の接続先をカメラ１０に切り替え、その撮像された静止画像を原画像として取り込む。そして、霧画像復元装置２０は、カメラ１０から静止画像を原画像として取り込み終えると、画像分離部２２の接続先を画像結合部２８に切り替え、画像結合部２８から出力される後述の復元画像を取り込む。そして、霧画像復元装置２０を構成する後述の散乱係数更新部２６は、原画像と霧モデル適用画像を用いてループ処理を行う。一方、カメラ１０にて動画像が撮像されると、霧画像復元装置２０は、画像分離部２２の接続先をカメラ１０に設定し、その撮像された動画像を構成する静止画像を原画像として次々に取り込む。そして、霧画像復元装置２０を構成する後述の散乱係数更新部２６は、原画像及び前フレームで更新された散乱係数に基づいて生成された霧モデル適用画像を用いて散乱係数を更新する。
【００４３】
画像分離部２２は、切替スイッチ２１を介して入力される原画像を色差成分及び輝度成分に分離する。そして、画像分離部２２は、色差成分のみからなる原画像を色差信号として画像結合部２８に出力するとともに、輝度成分のみからなる原画像を輝度信号として散乱光推定部２３及び散乱係数更新部２６にそれぞれ出力する。
【００４４】
散乱光推定部２３は、画像分離部２２から輝度成分のみからなる原画像を輝度信号として取り込み、原画像を局所領域に分割し、各局所領域から散乱光強度を推定し、画像の各画素が散乱光強度で構成される散乱光画像を散乱光空間平滑部２４に出力する。散乱光空間平滑部２４では、散乱光推定部２３から取り込んだ散乱光画像に対して空間平滑化を行い、霧モデル適用部２５に出力する。霧モデル適用部２５は、散乱光空間平滑部２４から散乱光画像を取り込むとともに、散乱係数更新部２６から霧の濃度を示す大気の散乱係数βを取り込む。そして、霧モデル適用部２５は、これら散乱光画像及び散乱係数βに基づいて霧モデル適用画像を生成し、その生成した霧モデル適用画像をレベル補正部２７へ出力する。以下、霧画像復元の主な処理を行なう散乱光推定部２３、散乱光空間平滑部２４、霧モデル適用部２５、散乱係数更新部２６、及びレベル補正部２７について詳述する。
【００４５】
本実施の形態では、原画像を構成する画素の輝度に霧が与える影響を捉えた霧モデルを用いて復元画像を生成する。図３にその霧モデルのパラメータを説明するための図を示し、図４（ａ）及び（ｂ）に、霧モデルの観測輝度Ｉと散乱係数βとの関係をそれぞれ示す。
【００４６】
本実施の形態で採用する霧モデルは、Koschimiederによって提唱された大気の影響による劣化モデルである。この霧モデルは、大気中の光の散乱による原画像中の輝度の減衰をモデル化した劣化モデルである。カメラ１０にて観測される観測輝度Ｉは、霧の影響を受けない場合の観測対象とする物体本来の輝度Ｒ、大気中の散乱光強度Ａ、霧の濃度を示す大気の散乱係数β、カメラ１０から観測対象物体までの距離ｄを用いて、下式（１）により定義される（図３参照）。
【００４７】
【数１】
【００４８】
・・・（１）
上式（１）に示されるように、この霧モデルでは、観測対象物の輝度（左辺）は、観測対象とする物体本来の輝度値（第１項）に、大気中の粒子で生じる光の吸収や拡散による輝度値（第２項）を加算したものとして求められる。
【００４９】
この霧モデルでは、散乱係数βが大きくなると、すなわち霧が濃くなると、観測対象とする物体本来の輝度（左辺）は散乱光強度Ａに近づくことが表されている。図４（ａ）に、「観測対象とする物体本来の輝度Ｒ＝１００」、「散乱光強度Ａ＝２００」、及び「距離ｄ＝０．１」としたときの散乱係数βの大きさによる観測輝度Ｉの推移を示す。また、図４（ｂ）に、「観測対象とする物体本来の輝度Ｒ＝２４０」、「散乱光強度Ａ＝２００」、及び「距離ｄ＝０．１」としたときの散乱係数βの大きさによる観測輝度Ｉの推移を示す。これら図４（ａ）及び（ｂ）に示す観測輝度Ｉの推移から、霧が濃くなると観測輝度Ｉが散乱光強度Ａに近づくことが確認できる。また、この霧モデルでは、距離ｄが大きくなると、すなわち観測対象物体がカメラ１０から離れると、観測対象物の輝度（左辺）は散乱光強度Ａに近づくことが表されている。
【００５０】
ところで、上式（１）を変形すると、観測対象とする物体本来の輝度Ｒは、下式（２）にて表される。
【００５１】
【数２】
【００５２】
・・・（２）
上式（２）から分かるように、観測対象とする物体本来の輝度Ｒを求めるためには、距離ｄ、散乱光強度Ａ、及び散乱係数βが既知である必要がある。換言すれば、復元画像を生成するには、これら３種類のパラメータの値を推定することが必要である。
【００５３】
本実施の形態では、散乱光推定部２３は、まず画像分離部２２から取り込んだ輝度成分からのみなる原画像を十分に小さな局所領域に分割する。具体的には、原画像を分割する十分に小さな局所領域として、例えば「３×３（ピクセル）」からなる矩形状の局所領域を採用する。このように局所領域の大きさを小さく設定することで、局所領域内にカメラ１０からの距離が異なる複数の観測対象物体が内包される可能性が十分に小さくなり、その結果、同一局所領域内の距離ｄは一定であるとみなすことが可能となる（距離ｄの情報が不要となる。霧モデルの簡略化）。ここで、例えば「距離ｄ＝１．０」とすると、上式（２）は、下式（３）にて表される。
【００５４】
【数３】
【００５５】
・・・（３）
上式（３）より、復元画像の生成に必要となるパラメータは、散乱光強度Ａ及び散乱係数βとなる。本実施の形態では、上式（３）の簡略化霧モデルを用いて、復元画像を生成する。
【００５６】
なお、本実施の形態では、原画像を分割する十分に小さな局所領域として、例えば「３×３（ピクセル）」からなる矩形状の局所領域を採用したが、これに限らない。他に例えば「５×５（ピクセル）」からなる矩形状の局所領域を採用してもよい。また、「３×３（ピクセル）」や「５×５（ピクセル）」からなる矩形状の局所領域に限らず、カメラ１０からの距離が互いに異なる複数の物体がその局所領域内に存在しないとみなすことができる大きさ及び形状の所定の局所領域であれば、任意である。
【００５７】
さらに、本実施の形態では、便宜上、「距離ｄ＝１．０」として霧モデルを簡略化したが、これに限らない。他に例えば、「距離ｄ＝５．０」あるいは「距離ｄ＝−１０．０」として霧モデルを簡略化してもよい。後述する散乱係数βに対する判定閾値や更新幅を距離ｄの値に応じて変更すればよいため、距離ｄについては、零を除く任意の一定を用いることができる。
【００５８】
なお、本実施の形態では、Koschimiederによって提唱された霧モデルを簡略化した簡略化霧モデルを採用したが、これに限らない。簡略化霧モデルについては、霧の影響を捉えている限り、任意のモデルを採用することができる。すなわち、霧が濃いほど、原画像を構成する画素の輝度が大気中の散乱光の輝度に近くなるという霧の影響を捉えていれば、簡略化霧モデルは任意である。
【００５９】
散乱光推定部２３は、各局所領域の平均輝度を散乱光強度Ａとし、画像の各画素が散乱光強度Ａで構成される散乱光画像を散乱光空間平滑部２４へ出力する。ここで、散乱光強度Ａは、本来、地平線上から伝達される光の輝度値を表すものである。しかしながら、分割された局所領域内に地平線上の輝度が含まれる保障はないため、本実施の形態では、散乱光強度Ａを各局所領域内の平均輝度で代用する。（公知のRetinex理論における照明光の求め方に由来する）。なお、地平線上から伝達される光の輝度値を算出することが可能であれば、散乱光強度Ａとして用いてもよい。
【００６０】
散乱光推定部２３では、分割された各局所領域ごとに独立に散乱光強度を推定する。そのため、隣接する領域間において散乱光強度の相関が無くなり、その結果、局所領域の境界において、霧モデル適用画像の輝度値が不連続となってしまう。その様子を、図５に示す。図５（ａ）は、霧発生時にカメラ１０にて撮像された原画像の一例であり、図５（ｂ）は、散乱光推定部２３より得られる散乱光画像をそのまま用いた際の霧モデル適用画像である。また、図５（ａ）に示す原画像の一部拡大図を図５（ｃ）に示し、図５（ｂ）に示す局所適用画像の一部拡大図を図５（ｄ）に示す。
【００６１】
これら図５（ａ）及び（ｂ）を対比することで分かるように、図５（ｂ）に示された霧モデル適用画像は、原画像と比較して、霧の影響が低減されているものの、図５（ｃ）及び（ｄ）を対比することで分かるように、局所領域間の境界において輝度値が不連続となることがある。
【００６２】
そこで、散乱光空間平滑部２４は、散乱光推定部２３から取り込んだ散乱光画像に対して空間平滑化を行ない、局所領域間において発生する輝度値の不連続さを緩和させる。さらに、その空間平滑化を行った散乱光画像を、後段に接続された霧モデル適用部２５へ出力する。
【００６３】
散乱光空間平滑部２４は、散乱光画像の水平方向及び垂直方向に対し、公知の移動平均法を用いて空間平滑化を行う。このとき、局所領域レベルの平滑化及び画素レベルの平滑化の２段階の平滑化を行う。これにより、散乱光画像に含まれる局所領域間における輝度値の不連続さの緩和を図っている。
【００６４】
図６（ａ）は、局所領域レベルでの平滑化を説明するための図であり、図６（ｂ）は、画素レベルの平滑化を説明するための図である。なお、これら図６（ａ）及び（ｂ）においては、図示の便宜上、一次元に単純化して示しており、実線の丸は平滑化前の値、破線の丸は平滑化後の値、破線は局所領域間の境界をそれぞれ示している。
【００６５】
散乱光空間平滑部２４は、図６（ａ）に示すように、移動平均の窓を領域単位に設定した上で局所領域レベルの平滑化を行う一方、図６（ｂ）に示すように、移動平均の窓を画素単位に設定した上で画素レベルの平滑化を行う。また、散乱光空間平滑部２４は、平滑化の窓サイズを、注目位置の窓及びその前後に隣接する窓の計「３」とし、平滑化を例えば「４回」繰り返す。
【００６６】
平滑化を行わなかった場合の霧モデル適用画像の一例を図７（ａ）に示すとともに、平滑化を行った場合の霧モデル適用画像の一例を図７（ｂ）に示す。また、図７（ａ）の一部拡大図を図７（ｃ）に示し、図７（ｂ）の一部拡大図を図７（ｄ）に示す。これら図７（ｃ）及び（ｄ）を対比することで分かるように、散乱光画像の空間平滑化を行うことで、局所領域間の境界における輝度値の不連続さが緩和されている。
【００６７】
なお、本実施の形態では、散乱光空間平滑部２４は、平滑化の窓サイズを、注目位置の窓及びその前後に隣接する窓の計「３」としていたが、これに限らず、平滑化の窓サイズを計「５」や「７」等としてもよい。このように移動平均の窓サイズを大きく設定することにより、大きな平滑化効果を得ることが可能である。ただし、画像に含まれるエッジ近傍において過度に平滑化されてしまうこともある。そうした事態を避けるべく、本実施の形態では、平滑化の窓サイズを「３」としている。
【００６８】
また、本実施の形態では、散乱光空間平滑部２４は、例えば「４回」平滑化を繰り返しているが、「８回」平滑化を繰り返したり、「１回」のみ平滑化を行ったりしてもよい。平滑化を行う回数を多く設定するほど、大きな平滑化効果を得ることが可能である、ただし、画像に含まれるエッジ近傍において過度に平滑されてしまうこともある。そうした事態を避けるべく、本実施の形態では、平滑化を行う回数を「４回」としている。
【００６９】
また、本実施の形態では、散乱光空間平滑部２４は、散乱光画像に対する空間平滑化処理として、局所領域レベルでの平滑化及び画素レベルでの平滑化の２段階の平滑化を行っていたが、この２段階の平滑化に限らない。散乱光空間平滑部２４は、散乱光画像に対し公知のガウシアンフィルタ処理等を行ってもよい。要は、局所領域間の境界における不連続を緩和することができればよいのであって、平滑化の方法については任意である。
【００７０】
霧モデル適用部２５は、散乱光空間平滑部２４から空間平滑化が行われた散乱光画像を取り込むとともに、散乱係数更新部２６から散乱係数βを取り込み、式（３）で示される簡略化霧モデルに基づき、霧モデル適用画像の輝度を直接算出する。なお、本実施の形態では、散乱光画像における各画素の輝度値を散乱光強度Ａとして使用し、散乱係数βはどの画素に対しても同じ値とする。散乱係数βの設定方法については後述する。
【００７１】
散乱係数更新部２６は、画像分離部２２から上記原画像を取り込むとともに、霧モデル適用部２５から上記霧モデル適用画像を取り込み、これら原画像及び霧モデル適用画像のエッジ強度から上記散乱係数βを設定する。
【００７２】
図８は、散乱係数更新部２６によって実行される散乱係数βの設定処理（更新処理）の処理手順を示すフローチャートである。この図８を参照して、散乱係数βの設定処理について説明する。
【００７３】
図８に示す設定処理が開始されると、散乱係数更新部２６は、ステップＳ１０の処理として、ＲＯＩ(region ofinterest)を設定する。詳しくは、散乱係数更新部２６は、原画像の中心部及び霧モデル適用画像の中心部をＲＯＩに設定する。なお、本実施の形態では、原画像の中心部及び霧モデル適用画像の中心部をＲＯＩに設定していたが、これに限らず、原画像の消失点近傍及び霧モデル適用画像の消失点近傍をＲＯＩに設定してもよい。しかも、消失点は大まかな位置で良く、消失点の位置を高精度に算出する必要はない。
【００７４】
原画像及び霧モデル適用画像にＲＯＩに設定すると、散乱係数更新部２６は、続くステップＳ２０の処理として、原画像のＲＯＩ内の各画素に対し、例えばＳｏｂｅｌフィルタ等を用いてエッジ強度の平均値φ（以下、エッジ強度φと記載）を算出するとともに、ステップＳ３０の処理として、霧モデル適用画像のＲＯＩ内の各画素に対し、例えばＳｏｂｅｌフィルタ等を用いてエッジ強度の平均値Φ（以下、エッジ強度Φと記載）を算出する。
【００７５】
原画像のＲＯＩ内のエッジ強度φ及び霧モデル適用画像のＲＯＩ内のエッジ強度Φを算出すると、散乱係数更新部２６は、続くステップＳ４０〜Ｓ１１４の一連の処理を通じて、エッジ強度（φあるいはΦ）と閾値（第１判定閾値Ｔｈ１あるいは第２判定閾値Ｔｈ２）の差異Δを算出し、差異Δへの到達態様に応じた更新幅δＬ、δＭ、δＳにて、散乱係数βを更新する。なお、更新幅δＬ、δＭ、及びδＳは「更新幅δＬ＞更新幅δＭ＞更新幅δＳ＞０」との関係にて定められている。
【００７６】
詳しくは、散乱係数更新部２６は、続くステップＳ４０の判断処理として、エッジ強度φが第１判定閾値Ｔｈ１よりも大きいか否かを判断する。ここで、エッジ強度φが第１判定閾値Ｔｈ１よりも大きいと判断される場合（ステップＳ４０の判断処理で「Ｙｅｓ」）、散乱係数更新部２６は、続くステップＳ５０の判断処理で差異Δ（＝φ−Ｔｈ１）を算出し、さらに続くステップＳ６０の判断処理として、差異Δが第３判定閾値Ｔｈ３よりも大きいか否かを判断する。ここで、差異Δが第３判定閾値Ｔｈ３よりも大きいと判断される場合（ステップＳ６０の判断処理で「Ｙｅｓ」）、エッジ強度φが大きいことを意味する。この場合、散乱係数更新部２６は、続くステップＳ６１の処理として、散乱係数βから大きな更新幅δＬを減算した値を新たな散乱係数βとして設定し、この処理を一旦終了する。
【００７７】
一方、先のステップＳ６０の判断処理において、差異Δが第３判定閾値Ｔｈ３より大きくないと判断される場合（ステップＳ６０の判断処理で「Ｎｏ」）、散乱係数更新部２６は、続くステップＳ６２の判断処理として、差異Δが第４判定閾値Ｔｈ４よりも大きいか否かを判断する。ここで、差異Δが第４判定閾値Ｔｈ４よりも大きいと判断される場合（ステップＳ６２の判断処理で「Ｙｅｓ」）、差異Δは中程度であることを意味する。この場合、散乱係数更新部２６は、続くステップＳ６３の処理として、散乱係数βから中程度の更新幅δＭを減算した値を新たな散乱係数βとして設定し、この処理を一旦終了する。
【００７８】
他方、先のステップＳ６２の判断処理において、差異Δが第４判定閾値Ｔｈ４よりも大きくないと判断される場合（ステップＳ６２の判断処理で「Ｎｏ」）、エッジ強度φは小さいことを意味する。この場合、散乱係数更新部２６は、続くステップＳ６４の処理として、散乱係数βから小さな更新幅δＳを減算した値を新たな散乱係数βとして設定し、この処理を一旦終了する。
【００７９】
また、散乱係数更新部２６は、先のステップＳ４０の判断処理において、エッジ強度φが第１判定閾値Ｔｈ１よりも大きくないと判断され、且つ、続くステップＳ７０の判断処理において、エッジ強度Φが第２判定閾値Ｔｈ２よりも小さいと判断される場合（ステップＳ４０の判断処理で「Ｎｏ」、且つ、ステップＳ７０の判断処理で「Ｙｅｓ」）、先の一連の処理（ステップＳ５０〜Ｓ６４の処理）に準じた一連の処理（ステップＳ７０〜ステップＳ９４の処理）を実行する。さらに、散乱係数更新部２６は、先のステップＳ４０の判断処理において、エッジ強度φが第１判定閾値Ｔｈ１よりも大きくないと判断され、且つ、続くステップＳ７０の判断処理において、エッジ強度Φが第２判定閾値Ｔｈ２よりも小さくないと判断される場合（ステップＳ４０の判断処理で「Ｎｏ」、且つ、ステップＳ７０の判断処理で「Ｎｏ」）、先の一連の処理（ステップＳ５０〜Ｓ６４の処理、あるいはステップＳ８０〜Ｓ９４の処理）に準じた一連の処理（ステップＳ１００〜ステップＳ１１４の処理）を実行する。このようにして、散乱係数βは散乱係数更新部２６によって更新される。
【００８０】
このように散乱係数βを更新することにより、エッジ強度φ及びΦに応じて散乱係数βの更新幅δＬ、δＭ、及びδＳを変えることができるようになる。そして、霧が発生したり霧が消滅したりする実環境の変化への追従性を高めることができるようになる。なお、本実施の形態では、上述のように散乱係数βを更新することで、エッジ強度Φが所定の目標値に近づくように散乱係数βを更新することができる。
【００８１】
なお、本実施の形態では、散乱係数更新部２６は、エッジ強度φ及びΦ、並びに差異Δに対して第１判定閾値Ｔｈ１〜第４判定閾値Ｔｈ４の「４つ」の閾値を設定し、これら４つの閾値への到達態様に応じた更新幅δＬ、δＭ、及びδＳにて散乱係数βを更新していたが、これに限らない。散乱係数更新部２６は、エッジ強度φ及びΦ、並びに差異Δに対してより多数（「５つ以上」）の閾値を設定し、それら多数の閾値への到達態様に応じた多数の更新幅にて散乱係数βを更新してもよい。これにより、エッジ強度φ及びΦに応じて散乱係数βの更新幅を変えることができるようになるため、霧が発生したり霧が消滅したりする実環境の変化への追従性をより高めることができるようになる。また、散乱係数更新部２６は、エッジ強度Φに対して１つのみ閾値（＞０）を設定し、エッジ強度Φがその閾値を上回る場合には、散乱係数βを所定幅だけ減少させる一方、エッジ強度Φがその閾値に到達しない場合には、散乱係数βを所定幅だけ増加させることとしてもよい。
【００８２】
レベル補正部２７は、霧モデル適用部２５から霧モデル適用画像を取り込み、霧モデル適用画像を構成する画素の輝度分布を表示器４０にて表示可能な範囲に拡縮するレベル補正を行う。
【００８３】
図９（ａ）に、レベル補正前の霧モデル適用画像の一例を示し、図９（ｂ）に、レベル補正後の霧モデル適用画像の一例を示す。また、図９（ｃ）は、図９（ａ）のヒストグラムであり、図９（ｄ）は図９（ｂ）のヒストグラムである。
【００８４】
レベル補正部２７は、図９（ｃ）に示すように、霧モデル適用部２５から取り込んだ霧モデル適用画像の輝度値のヒストグラムを算出し、輝度値の上位及び下位「５％」を除去する。次に、レベル補正部２７は、図９（ｄ）に示すように、表示器４０にて表示可能な最大範囲に一致するように、霧モデル適用画像の輝度値のヒストグラムを拡大する。そして、レベル補正部２７は、霧モデル適用画像をレベル補正した画像であるレベル補正画像を画像結合部２８へ出力する。
【００８５】
なお、本実施の形態では、レベル補正部２７は、輝度値の上位及び下位「５％」を除去していたが、これに限らない。上位及び下位「３％」や「１％」を除去してもよい。要は、原画像に含まれていた外れ値（異常値）や、霧モデル適用部２５で発生した外れ値を除去できればよいのであって、除去する割合は任意である。
【００８６】
画像結合部２８は、画像分離部２２から取り込んだ色差信号と、レベル補正部２７から取り込んだレベル補正画像とを結合し、最終的な復元画像を生成する。そして、画像結合部２８は、後段に接続された制御装置６０に復元画像を出力する。
【００８７】
以上説明した上記実施の形態の霧画像復元装置２０では、最終的な復元画像を生成するにあたり、カメラ１０によって撮像され、画像分離部２２によって輝度成分のみに分離された原画像を局所領域に分割し、その分割された局所領域毎に、上式（３）に示す簡略化霧モデルから画素の輝度を直接算出することで、復元画像を生成した。これにより、簡略化された霧モデルから画素の輝度を直接算出することから、消失点や動きベクトルを算出する必要がなくなる。このようにして、消失点や動きベクトルを算出することなく、復元画像を生成することができるようになる。
【００８８】
なお、上記実施の形態によれば、消失点や動きベクトルを算出する必要がないことから、復元画像を生成するに要する演算負荷を軽減することができるとともに、消失点や動きベクトルの推定精度に起因する復元画像の劣化を回避することができる。また、上記実施の形態によれば、復元画像を生成するのに動きベクトルを算出する必要がないことから、動画像はもとより、静止画像にも適用することが可能である。さらに、上記実施の形態によれば、霧の影響に限らず、空中を浮遊する粒子が十分に小さい霧雨等の影響が軽減された復元画像を生成することも可能である。
【００８９】
また、上記実施の形態では、霧モデル適用画像を所定時間毎に繰り返し生成する際、大気中の散乱光強度Ａとして局所領域の平均輝度を用い、原画像及び霧モデル適用画像に基づいて設定された大気の散乱係数βを用いることとした。原画像及び霧モデル適用画像に基づいて大気の散乱係数βを設定（更新）し、その設定した大気の散乱係数βを用いて霧モデル画像を生成することから、大気の散乱係数β、すなわち霧の濃度に応じて霧モデル適用画像を生成することができるようになる。
【００９０】
また、上記実施の形態では、原画像のエッジ強度φ及び霧モデル適用画像のエッジ強度Φに対して定められた閾値への到達態様に応じた更新幅δＬ、δＭ、及びδＳにて、散乱係数βを更新することとした。これにより、エッジ強度に応じて散乱係数βの更新幅を変えることができるようになるため、霧が発生したり霧が消滅したりする実環境の変化への追従性を高めることができるようになる。
【００９１】
また、上記実施の形態では、散乱光画像の水平方向及び垂直方向に対し、公知の移動平均法を用い、さらに、移動平均法を用いる際、局所領域レベルの平滑化及び画素レベルの平滑化の２段階の平滑化を行うこととした。これにより、霧モデル適用画像に含まれる、局所領域間における不連続さを緩和することができるようになる。
【００９２】
また、上記実施の形態では、霧モデル適用画像の輝度値のヒストグラムを算出し、表示器４０にて表示可能な最大範囲に一致するように、輝度値の上位及び下位「５％」を除去したヒストグラムを拡大することとした。これにより、レベル補正が行われたレベル補正画像を生成することができる。
【００９３】
また、上記実施の形態の運転支援システム１では、制御装置６０は、復元画像表示スイッチ３０からオン操作された旨を示す信号を受信する場合、最終的な復元画像を表示器４０に表示する一方、復元画像表示スイッチ３０からオフ操作された旨を示す信号を受信する場合、カメラ１０から入力された原画像を表示器４０に表示することとした。また、上記実施の形態では、制御装置６０は、散乱係数βに対し設定された所定の閾値を散乱係数βが上回る場合、フォグランプ５０を自動に点灯制御する一方、散乱係数βがその所定の閾値以下である場合、フォグランプ５０を自動に消灯制御することとした。これにより、運転者の視界を支援することができるようになる。
【００９４】
ちなみに、図１０（ａ）に、霧発生時にカメラ１０によって撮像された原画像の一例を示し、図１０（ｂ）に、図１０（ａ）に基づいて生成された最終的な復元画像の一例を示す。これら図１０（ａ）及び（ｂ）を対比すると、最終的な復元画像では、原画像と比較して、走行レーンのコントラストやエッジ強度が増加しており、視認性が向上していることが分かる。
【００９５】
また、図１１（ａ）に、霧雨時にカメラ１０によって撮像された原画像の一例を示し、図１１（ｂ）に、図１１（ａ）に基づいて生成された最終的な復元画像の一例を示す。これら図１１（ａ）及び（ｂ）を対比すると、霧雨時であるにも関わらず、霧発生時と同様に、最終的な復元画像では、原画像と比較して、先行車及び走行レーンのコントラストやエッジ強度が増加しており、視認性が向上していることが分かる。
【００９６】
なお、本発明に係る運転支援システム１及び霧画像復元装置２０は、上記実施の形態にて例示した構成に限定されるものではなく、本発明の趣旨を逸脱しない範囲において、種々に変形して実施することが可能である。すなわち、上記実施の形態を適宜変更した例えば次の形態として実施することもできる。
【００９７】
上記実施の形態の運転支援システム１では、車両の前進方向を撮像可能な位置にカメラ１０を配置していたが、これに限らず、車両の後退方向を撮像可能な位置にカメラ１０を配置してもよい。また、動画像及び静止画像の双方を撮像可能なカメラ１０を採用したが、静止画像のみあるいは動画像のみ撮像可能なカメラ１０を採用してもよい。
【００９８】
上記実施の形態の運転支援システム１では、カメラ１０としてカラー画像を撮像可能なカメラ１０を採用していたため、霧画像復元装置２０は、画像分離部２２及び画像結合部２８を備える必要があったが、運転支援システム１がカラー画像を撮像することのできないカメラ１０を採用する場合には、霧画像復元装置２０は、画像分離部２２及び画像結合部２８を備えることなく割愛することができる。
【００９９】
上記実施の形態の運転支援システム１では、霧画像復元装置２０によって復元された最終的な復元画像を表示器４０に表示したり、フォグランプ５０を自動に点消灯したりすることにより、運転者の視界を支援していたが、運転支援の手段としては、これに限らない。
【０１００】
他に例えば、運転支援システム１は、霧画像復元装置２０によって復元された復元画像を使用して白線認識（すなわち、走行路の形状を抽出）し、操舵角や速度制御を行うことにより、運転者の運転を支援してもよい。この場合には、霧画像復元装置２０は、最終的な復元画像を生成するだけでなく、最終的な復元画像に含まれるエッジが強調された画像であるエッジ画像を生成し、このエッジ画像に基づいて白線認識する必要がある。また、運転支援システム１は、霧画像復元装置２０の白線認識結果に基づいて操舵角制御や速度制御等の走行制御を実現するに必要なセンサ群及びアクチュエータ群を備えることとなる。
【０１０１】
また例えば、運転支援システム１は、霧画像復元装置２０によって復元された復元画像を使用して歩行者を認識し、車両の運転者に警報することにより、運転者の運転を支援してもよい。この場合、霧画像復元装置２０は、最終的な復元画像を生成するだけでなく、最終的な復元画像に含まれるエッジが強調された画像であるエッジ画像を生成し、そのエッジ画像に基づいて歩行者を認識する必要がある。また、運転支援システム１は、霧画像復元装置２０の歩行者認識結果に基づき警報を音声出力するスピーカ等を備えることとなる。
【０１０２】
ちなみに、図１０（ｃ）に、図１０（ａ）に示した原画像のエッジ画像を示し、図１０（ｄ）に、図１０（ｂ）に示した最終的な復元画像のエッジ画像を示す。これら図１０（ｃ）及び（ｄ）を対比すると、最終的な復元画像のエッジ画像では、原画像のエッジ画像と比較してエッジ強度が増加しているため、白線認識や歩行者認識の精度向上を図ることが可能であることが分かる。
【０１０３】
また、図１１（ｃ）に、図１１（ａ）に示した原画像のエッジ画像を示し、図１１（ｄ）に、図１１（ｃ）に示した最終的な復元画像のエッジ画像を示す。これら図１１（ｃ）及び（ｄ）を対比すると、霧雨時であるにも関わらず、霧発生時と同様に、最終的な復元画像のエッジ画像では、原画像のエッジ画像と比較してエッジ強度が増加しているため、白線認識や歩行者認識の精度向上を図ることが可能であることが分かる。
【０１０４】
また、既述したように、霧の影響を捉えている限り、任意の簡略化霧モデルを採用することができるが、簡略化霧モデルにも限られない。霧モデルは、大気中の散乱光の輝度及び霧の濃度を示す大気の散乱係数によって記述される霧モデルであれば、簡略化されていなくてもよい。
【符号の説明】
【０１０５】
１…運転支援システム、１０…カメラ（画像撮像装置）、２０…霧画像復元装置、２１…切替スイッチ、２２…画像分離部、２３…散乱光推定部、２４…散乱光空間平滑部、２５…霧モデル適用部、２６…散乱係数更新部、２７…レベル補正部、２８…画像結合部、３０…復元画像表示スイッチ、４０…表示器、５０…フォグランプ、６０…制御装置、６０ａ…表示画像切替制御部、６０ｂ…運転支援制御部。
【特許請求の範囲】
【請求項１】
画像を撮像する画像撮像装置によって撮像される原画像から、その原画像を構成する画素の輝度に霧が与える影響を捉えた霧モデルに基づいて、霧の影響が低減された画像である復元画像を生成する霧画像復元装置であって、
前記霧モデルは、前記画像撮像装置によって撮像される物体本来の輝度が、大気中の散乱光の輝度及び霧の濃度を示す大気の散乱係数によって記述される霧モデルであり、
前記復元画像を生成するにあたり、前記原画像を局所領域に分割し、その分割された局所領域毎に、前記霧モデルから画素の輝度を直接算出することを特徴とする霧画像復元装置。
【請求項２】
請求項１に記載の霧画像復元装置において、
前記霧モデルは、前記画像撮像装置によって撮像される物体本来の輝度が、前記画像撮像装置からその画像撮像装置によって撮像される物体までの距離の情報を必要としない簡略化霧モデルであることを特徴とする霧画像復元装置。
【請求項３】
請求項１または２に記載の霧画像復元装置において、
前記原画像から前記復元画像を所定時間毎に繰り返し生成し、前記大気中の散乱光の輝度として前記局所領域の平均輝度を用い、前記原画像及び前記復元画像に基づいて前記大気の散乱係数を設定することを特徴とする霧画像復元装置。
【請求項４】
請求項３に記載の霧画像復元装置において、
前記原画像のエッジ強度及び前記復元画像のエッジ強度に対して複数の判定閾値を設定し、これら複数の判定閾値への到達態様に応じた複数の更新幅にて、前記大気の散乱係数を更新することを特徴とする霧画像復元装置。
【請求項５】
請求項３または４に記載の霧画像復元装置において、
前記局所領域間における不連続さを緩和する空間平滑化を行なうことを特徴とする霧画像復元装置。
【請求項６】
請求項１〜５のいずれか一項に記載の霧画像復元装置において、
前記復元画像を生成するにあたり、表示器にて表示可能な最大範囲に一致するように、画像を構成する画素の輝度分布を補正することを特徴とする霧画像復元装置。
【請求項７】
請求項１〜６のいずれか一項に記載の霧画像復元装置において、
前記復元画像を生成するだけでなく、前記復元画像に含まれるエッジが強調された画像であるエッジ画像を生成することを特徴とする霧画像復元装置。
【請求項８】
画像を撮像する撮像装置と、
請求項１〜７のいずれか一項に記載の霧画像復元装置と、
前記霧画像復元装置によって生成される復元画像を表示する表示器とを備えることを特徴とする運転支援システム。
【請求項９】
画像を撮像する撮像装置と、
請求項１〜７のいずれか一項に記載の霧画像復元装置と、
前記霧画像復元装置によって生成される復元画像に基づいて白線を認識し、その白線認識結果に基づいて車両を走行制御する制御装置を備えることを特徴とする運転支援システム。
【請求項１０】
画像を撮像する撮像装置と、
請求項７に記載の霧画像復元装置と、
前記霧画像復元装置によって生成されるエッジ画像に基づいて白線を認識し、その白線認識結果を用いて車両を走行制御する制御装置を備えることを特徴とする運転支援システム。
【請求項１１】
画像を撮像する撮像装置と、
請求項３〜７のいずれか一項に記載の霧画像復元装置と、
車両に搭載されるフォグランプと、
前記大気の散乱係数の大きさに基づいて前記フォグランプの点消灯を制御する制御装置を備えることを特徴とする運転支援システム。
【請求項１】
画像を撮像する画像撮像装置によって撮像される原画像から、その原画像を構成する画素の輝度に霧が与える影響を捉えた霧モデルに基づいて、霧の影響が低減された画像である復元画像を生成する霧画像復元装置であって、
前記霧モデルは、前記画像撮像装置によって撮像される物体本来の輝度が、大気中の散乱光の輝度及び霧の濃度を示す大気の散乱係数によって記述される霧モデルであり、
前記復元画像を生成するにあたり、前記原画像を局所領域に分割し、その分割された局所領域毎に、前記霧モデルから画素の輝度を直接算出することを特徴とする霧画像復元装置。
【請求項２】
請求項１に記載の霧画像復元装置において、
前記霧モデルは、前記画像撮像装置によって撮像される物体本来の輝度が、前記画像撮像装置からその画像撮像装置によって撮像される物体までの距離の情報を必要としない簡略化霧モデルであることを特徴とする霧画像復元装置。
【請求項３】
請求項１または２に記載の霧画像復元装置において、
前記原画像から前記復元画像を所定時間毎に繰り返し生成し、前記大気中の散乱光の輝度として前記局所領域の平均輝度を用い、前記原画像及び前記復元画像に基づいて前記大気の散乱係数を設定することを特徴とする霧画像復元装置。
【請求項４】
請求項３に記載の霧画像復元装置において、
前記原画像のエッジ強度及び前記復元画像のエッジ強度に対して複数の判定閾値を設定し、これら複数の判定閾値への到達態様に応じた複数の更新幅にて、前記大気の散乱係数を更新することを特徴とする霧画像復元装置。
【請求項５】
請求項３または４に記載の霧画像復元装置において、
前記局所領域間における不連続さを緩和する空間平滑化を行なうことを特徴とする霧画像復元装置。
【請求項６】
請求項１〜５のいずれか一項に記載の霧画像復元装置において、
前記復元画像を生成するにあたり、表示器にて表示可能な最大範囲に一致するように、画像を構成する画素の輝度分布を補正することを特徴とする霧画像復元装置。
【請求項７】
請求項１〜６のいずれか一項に記載の霧画像復元装置において、
前記復元画像を生成するだけでなく、前記復元画像に含まれるエッジが強調された画像であるエッジ画像を生成することを特徴とする霧画像復元装置。
【請求項８】
画像を撮像する撮像装置と、
請求項１〜７のいずれか一項に記載の霧画像復元装置と、
前記霧画像復元装置によって生成される復元画像を表示する表示器とを備えることを特徴とする運転支援システム。
【請求項９】
画像を撮像する撮像装置と、
請求項１〜７のいずれか一項に記載の霧画像復元装置と、
前記霧画像復元装置によって生成される復元画像に基づいて白線を認識し、その白線認識結果に基づいて車両を走行制御する制御装置を備えることを特徴とする運転支援システム。
【請求項１０】
画像を撮像する撮像装置と、
請求項７に記載の霧画像復元装置と、
前記霧画像復元装置によって生成されるエッジ画像に基づいて白線を認識し、その白線認識結果を用いて車両を走行制御する制御装置を備えることを特徴とする運転支援システム。
【請求項１１】
画像を撮像する撮像装置と、
請求項３〜７のいずれか一項に記載の霧画像復元装置と、
車両に搭載されるフォグランプと、
前記大気の散乱係数の大きさに基づいて前記フォグランプの点消灯を制御する制御装置を備えることを特徴とする運転支援システム。
【図１】
【図２】
【図３】
【図４】
【図６】
【図８】
【図５】
【図７】
【図９】
【図１０】
【図１１】
【図２】
【図３】
【図４】
【図６】
【図８】
【図５】
【図７】
【図９】
【図１０】
【図１１】
【公開番号】特開２０１０−２８７１８３（Ｐ２０１０−２８７１８３Ａ）
【公開日】平成２２年１２月２４日（２０１０．１２．２４）
【国際特許分類】
【出願番号】特願２００９−１４２６４０（Ｐ２００９−１４２６４０）
【出願日】平成２１年６月１５日（２００９．６．１５）
【出願人】（０００００４２６０）株式会社デンソー (27,639)
【Ｆターム（参考）】
【公開日】平成２２年１２月２４日（２０１０．１２．２４）
【国際特許分類】
【出願日】平成２１年６月１５日（２００９．６．１５）
【出願人】（０００００４２６０）株式会社デンソー (27,639)
【Ｆターム（参考）】
[ Back to top ]