車両用画像処理システム
【課題】逆光状態においても車両前方のレーンマークの認識精度を向上させ得る車両用画像処理システムを提供する。
【解決手段】
車両１０の前方の路面を撮像する前方カメラ１２および後方の路面を撮像する後方カメラ１３との撮像画像である前方画像および後方画像に基づく画像処理を実行する車両用画像処理システム１００は、逆光判定手段１１０と、逆光判定手段１００により逆光状態であると判定された場合に、前方画像または後方画像のいずれか一方からレーンマーク候補を検出すると共に、検出したレーンマーク候補を残る他方の画像から抽出される画像特徴量と突き合わせることにより、車両１０の前方の路面に存在する真のレーンマークを検出するレーンマーク検出手段１２０とを備える。
【解決手段】
車両１０の前方の路面を撮像する前方カメラ１２および後方の路面を撮像する後方カメラ１３との撮像画像である前方画像および後方画像に基づく画像処理を実行する車両用画像処理システム１００は、逆光判定手段１１０と、逆光判定手段１００により逆光状態であると判定された場合に、前方画像または後方画像のいずれか一方からレーンマーク候補を検出すると共に、検出したレーンマーク候補を残る他方の画像から抽出される画像特徴量と突き合わせることにより、車両１０の前方の路面に存在する真のレーンマークを検出するレーンマーク検出手段１２０とを備える。
【発明の詳細な説明】
【技術分野】
【０００１】
本発明は、カメラ等の撮像手段を介して取得された路面画像から道路のレーンマークを検出する車両用画像処理システムに関する。
【背景技術】
【０００２】
従来、この種の車両用画像処理システムでは、下記特許文献１に示すように、車両の前方および後方にそれぞれ前方カメラおよび後方カメラを搭載し、これらの画像のうち照度の高い画像を選択して、該画像に基づいて道路のレーンマークを検出する技術が知られている。
【０００３】
また、下記特許文献２に示す車両用画像処理システムでは、車両の前方および後方にそれぞれ前方カメラおよび後方カメラを搭載し、これらの画像の輝度の最大値および最小値が所定範囲内となる画像を良好な画像と判断して、該画像に基づいて道路のレーンマークを検出する技術が知られている。
【先行技術文献】
【特許文献】
【０００４】
【特許文献１】特開２００８−２２５８２２号公報
【特許文献２】特開２００２−９９９９９号公報
【発明の概要】
【発明が解決しようとする課題】
【０００５】
しかし、太陽光等の光が車両の進行方向とは反対方向から当該車両に対して照射されている逆光状態において、前方カメラおよび後方カメラのうちいずれか一方の選択画像のみに基づいて道路のレーンマークが検出されると、レーンマークの認識精度が低下する可能性がある。
【０００６】
すなわち、逆光状態において前方カメラの画像が選択された場合、轍または道路に設けられている人工溝などレーンマークの存在しない路面部分がレーンマークであると誤認識される可能性が高い。また、黄色線のレーンマークの色情報または白線のレーンマークのレーンマークが設けられていない路面部分に対する輝度コントラストが抽出困難となる。
【０００７】
一方、逆光状態において後方カメラの画像が選択された場合、当該画像から抽出されたレーンマークの配置パターンが車両後方および前方において相違する場合、当該車両前方に存在する実際のレーンマークと、後方レーンマークから推測されたレーンマークとが異なる。
【０００８】
そこで、本発明は、逆光状態においても車両前方のレーンマークの認識精度を向上させ得る車両用画像処理システムを提供することを目的とする。
【課題を解決するための手段】
【０００９】
第１発明の車両用画像処理システムは、車両に搭載されて該車両の前方の路面を撮像する前方撮像手段と該車両の後方の路面を撮像する後方撮像手段との撮像画像に基づき、画像処理を実行する車両用画像処理システムであって、前記前方撮像手段により撮像された前方画像と前記後方撮像手段により撮像された後方画像とのいずれか一方または両方に基づいて、太陽光等の光が前記車両の進行方向とは反対方向から当該車両に対して照射されている逆光状態であるか否かを判定する逆光判定手段と、前記逆光判定手段により逆光状態であると判定された場合に、前記前方画像または前記後方画像のいずれか一方からレーンマーク候補を検出すると共に、検出したレーンマーク候補を残る他方の画像から抽出される画像特徴量と突き合わせることにより、前記車両前方の路面に存在する真のレーンマークを検出するレーンマーク検出手段とを備えることを特徴とする。
【００１０】
第１発明の車両用画像処理システムによれば、逆光状態であると判定された場合、前方画像および後方画像のうちいずれか一方の画像からレーンマーク候補が検出されるともに、当該レーンマーク候補が他方の画像から抽出される画像特徴量と突き合わせられることにより、車両前方の路面に存在するレーンマークが検出される。
【００１１】
すなわち、逆光状態において、車両後方におけるレーンマーク候補または画像特徴量の抽出の観点から信頼性の高い後方画像のみならず、当該信頼性は低いものの車両前方に存在するレーンマークの認識に際して有用な情報を含んでいる前方画像が利用される。その結果、前方画像および後方画像のうちいずれか一方が選択的に用いられる場合と比較して、前方画像に存在するレーンマークの認識精度の向上が図られる。
【００１２】
第２発明の車両用画像処理システムは、第１発明の車両用画像処理システムにおいて、前記レーンマーク検出手段は、前記前方画像に基づいてレーンマーク候補を検出し、検出した該レーンマーク候補の車幅方向の位置を算出すると共に、前記逆光判定手段により逆光状態であると判定された場合に、前記画像特徴量としての、前記後方画像における該位置に対応した位置の輝度および色成分のうちいずれか一方または両方に基づいて、該レーンマーク候補から真のレーンマークを検出することを特徴とする。
【００１３】
第２発明の車両用画像処理システムによれば、逆光状態において、車両後方における画像特徴量として輝度および色成分のうち一方または両方の抽出の観点から信頼性の高い後方画像のみならず、当該信頼性は低いものの車両前方に存在するレーンマークの認識に際して有用な情報、すなわち、後方画像において当該画像特徴量の抽出対象となる位置を特定するレーンマーク候補を含んでいる前方画像が利用される。その結果、前方画像および後方画像のうちいずれか一方が選択的に用いられる場合と比較して、前方画像に存在するレーンマークの認識精度の向上が図られる。
【００１４】
第３発明の車両用画像処理システムは、第１発明の車両用画像処理システムにおいて、前記レーンマーク検出手段は、前記逆光判定手段により逆光状態であると判定された場合、前記後方画像に基づいてレーンマーク候補を検出し、検出した該レーンマーク候補の車幅方向の位置を算出すると共に、前記前方画像における該算出位置に対応した位置の輝度に基づいて、真のレーンマークを検出することを特徴とする。
【００１５】
第３発明の車両用画像処理システムによれば、逆光状態において、車両後方におけるレーンマーク候補の抽出の観点から信頼性の高い後方画像のみならず、当該信頼性は低いものの車両前方に存在するレーンマークの認識に際して有用な情報、すなわち、輝度を含んでいる前方画像が利用される。その結果、前方画像および後方画像のうちいずれか一方が選択的に用いられる場合と比較して、前方画像に存在するレーンマークの認識精度の向上が図られる。
【００１６】
第４発明の車両用画像処理システムは、第１〜第３発明のいずれかの車両用画像処理システムにおいて、前記逆光判定手段は、前記後方画像の下端中心を包囲する低輝度領域が存在する場合に、逆光状態であると判定することを特徴とする。
【００１７】
第４発明の車両用画像処理システムによれば、逆光状態において車両の影が当該車両の後方路面に現れる蓋然性が高いことに鑑みて、ところ、逆光状態であるか否かが簡易かつ正確に判定されうる。
【図面の簡単な説明】
【００１８】
【図１】本発明の一実施形態における車両用画像処理システムの構成図。
【図２】第１実施形態におけるレーンマークの検出処理を示すフローチャート。
【図３】逆光判定処理を示すフローチャート。
【図４】前方画像の例およびその画像処理を示す説明図。
【図５】後方画像の例およびその画像処理を示す説明図。
【図６】逆光判定手段により処理内容を示す説明図。
【図７】逆光判定手段による後方画像の処理例を示す説明図。
【図８】第２実施形態におけるレーンマークの検出処理を示すフローチャート。
【図９】第２実施形態における画像処理の内容を示す説明図。
【発明を実施するための形態】
【００１９】
図１に示すように、車両用画像処理システム１００は、車両１０に搭載されているハードウェアとしての電子制御ユニット（コンピュータ）１１により構成される。車両用画像処理システム１００は、車両１０の前方のカラー路面画像（前方画像）を撮像する前方カメラ（前方撮像手段）１２と、車両１０の後方のカラー路面画像（後方画像）を撮像する後方カメラ（後方撮像手段）１３とに接続され、これらの撮像画像である路面画像に基づき、画像処理を実行する。
【００２０】
車両用画像処理システム１００は、記憶手段１０１と、逆光判定手段１１０と、レーンマーク検出手段１２０とを備えている。
【００２１】
記憶手段１０１は、レーンマークの複数の規格（レーンマーク色、規格幅等）を記憶する。
【００２２】
逆光判定手段１１０は、後方カメラ１３から取得した後方画像に基づいて、太陽光等の光が車両１０の進行方向とは反対方向から当該車両１０に対して照射されている逆光状態であるか否かを判定する。
【００２３】
レーンマーク検出手段１２０は、前方画像または前記後方画像のいずれか一方からレーンマーク候補を検出すると共に、検出したレーンマーク候補を基に車両１０前方の路面に存在する真のレーンマークを検出する。
【００２４】
［第１実施形態］
次に、図２〜図７を参照して、前記構成の車両用画像処理システムの機能（車両用画像処理方法）について説明する。
【００２５】
まず、レーンマーク検出手段１２０が、前方カメラ１２から前方画像を取得する（図２／ＳＴＥＰ１）。
【００２６】
次いで、レーンマーク検出手段１２０が、取得した前方画像からレーンマーク候補を検出するレーンマーク候補検出処理を実行する（図２／ＳＴＥＰ２）。
【００２７】
レーンマーク候補検出処理の詳細については、本出願人による特開平１１−８５９９９号公報に係る手法が採用されればよいので、本願明細書では詳細な説明を省略するが、具体的には、レーンマーク検出手段１２０により、画面走査方向を右として、高輝度（明）から低輝度（暗）に転じるエッジ点が「負エッジ点」として認識され、低輝度（暗）から高輝度（明）に転じるエッジ点が「正エッジ点」として認識される。なお、画像の各ピクセルの輝度値は、例えば、取得されたカラー画像Ｉ０の各ピクセルのＲ値，Ｇ値，Ｂ値から算出される。
【００２８】
例えば、前方画像が、図４（ａ）に示すように、レーンの左右両側に白線（レーンマーク）Ｍがあり、白線Ｍからレーン中央寄りに道路の延設方向に沿って補修跡Ｒが延びているものとする。このとき、逆光状態の原因である太陽光の照射により前方画像において補修跡Ｒは高輝度部分となり、レーンの左側の白線は、白線以外の路面部分に対する輝度コントラストが低下しているものとする。
【００２９】
この場合、図４（ｂ）に示すように、白線Ｍや補修跡Ｒの左エッジ上の点が正エッジ点（「＋」で表されている）として認識されるとともに、右エッジ上の点が負エッジ点（「−」で表されている）として認識される。
【００３０】
これにより、直線成分を有する正エッジ点群及び負エッジ点群により挟まれた領域、すなわち、図４（ｂ）に示されているように、左白線Ｍが、直線成分を有する正エッジ点群Ｌ１ａと負エッジ点群Ｌ１ｂとによるレーンマーク候補Ｍ１として認識され、補修跡Ｒが直線成分を有する正エッジ点群Ｌ２ａと負エッジ点群Ｌ２ｂとによるレーンマーク候補Ｍ２として認識され、右白線Ｍが、直線成分を有する正エッジ点群Ｌ３ａと負エッジ点群Ｌ３ｂとによるレーンマーク候補Ｍ３として認識される。
【００３１】
次に、レーンマーク検出手段１２０は、検出されたレーンマーク候補の車両１０の中央から車幅方向の位置を算出する（図２／ＳＴＥＰ３）。
【００３２】
具体的に、レーンマーク検出手段１２０は、各レーンマーク候補Ｍ１，Ｍ２，Ｍ３の直線成分（Ｌ１ａ，Ｌ１ｂ，・・・，Ｌ３ａ，Ｌ３ｂ）のデータを画像空間から実空間（車両１０に固定された座標空間）へ射影変換することにより、これら各レーンマーク候補Ｍ１，Ｍ２，Ｍ３の実空間における左端および右端のＸ座標を車幅方向の位置として算出する。
【００３３】
次いで、逆光判定手段１１０が、後方カメラ１３から取得した後方画像に基づいて、車両１０が逆光状態であるか否かを判定する（図２／ＳＴＥＰ４）。なお、逆光判定手段１１０による逆光判定処理の詳細については、図３を参照して後述する。
【００３４】
そして、逆光判定手段１１０により、逆光状態でないと判定された場合には（図２／ＳＴＥＰ４…ＮＯ）、レーンマーク検出手段１２０は、各レーンマーク候補が真のレーンマークであるか否かを判定するレーンマーク判定処理を実行する（図２／ＳＴＥＰ１０）。
【００３５】
具体的にレーンマーク判定処理では、複数の判定要素の一部または全部に基づいて、レーンマーク候補が真のレーンマークであるか否かが判定される。当該判定要素としては、例えば、車幅方向の位置から算出されるレーンマーク候補の幅が記憶手段１０１に記憶されているレーンマークの規格幅と整合するか否か、レーンマーク候補のエッジの連続性が一定以上であるか否か（エッジ列の配置態様を表わす直線近似式または曲線近似式との累計誤差が一定値以下であるか否か）、ならびに、レーンマーク候補の直線成分が画像の左側領域または右側領域でそれぞれレーンマークとして妥当な範囲に納まっているか否かなどの判定要素が挙げられる。
【００３６】
そして、レーンマーク候補が真のレーンマークであると判定された場合には（図２／ＳＴＥＰ１０…ＹＥＳ）、当該レーンマーク候補を真のレーンマークとしてこれを検出する（図２／ＳＴＥＰ１１）。
【００３７】
一方、真のレーンマークでないと判定された場合には（図２／ＳＴＥＰ１０…ＮＯ）、当該レーンマーク候補は偽のレーンマークとして除外する（図２／ＳＴＥＰ１２）。
【００３８】
次に、ＳＴＥＰ４で、逆光状態であると判定された場合（図２／ＳＴＥＰ４…ＹＥＳ）について説明する。
【００３９】
この場合、レーンマーク検出手段１２０が、後方カメラ１３から後方画像を取得する（図２／ＳＴＥＰ５）。
【００４０】
次いで、レーンマーク検出手段１２０は、取得した後方画像において、ＳＴＥＰ３で算出した車幅方向の位置に対応した位置の画像特徴量を取得する（図２／ＳＴＥＰ６）。
【００４１】
ここで取得される画像特徴量としては、ＳＴＥＰ３で算出された各レーンマーク候補Ｍ１，Ｍ２，Ｍ３の実空間における左端および右端のＸ座標を、後方画像における画像空間へ射影変換することにより得られる画像領域の色成分および輝度を取得する。
【００４２】
例えば、後方画像が、図５（ａ）に示すように、レーンの左右両側に白線（レーンマーク）Ｍがあり、画像の下側に自車両１０の影領域Ｓがあるものとする。この場合、ＳＴＥＰ３で算出された各レーンマーク候補Ｍ１，Ｍ２，Ｍ３の実空間における左端および右端のＸ座標を後方画像における画像空間へ射影変換すると、図５（ｂ）に示すような各レーンマーク候補Ｍ１，Ｍ２，Ｍ３に対応した直線成分（Ｌ１ａ´，Ｌ１ｂ´，・・・，Ｌ３ａ´，Ｌ３ｂ´）により特定される領域Ｍ１´，Ｍ２´，Ｍ３´が得られる。そして、レーンマーク検出手段１２０は、かかる領域Ｍ１´，Ｍ２´，Ｍ３´において特徴的となる色成分（黄色やオレンジ等の注目色に特徴的となる高Ｒ値位置の色成分（Ｒ値，Ｇ値，Ｂ値））および輝度値（最高輝度値または輝度平均値）を取得する。
【００４３】
なお、領域Ｍ１´，Ｍ２´，Ｍ３´の任意の点または複数の点の平均値としての色成分および輝度値を取得する代わりに、レーンマーク検出手段１２０は、かかる領域からレーンマーク候補（第２レーンマーク候補）を検出し、検出した第２レーンマーク候補の色成分および輝度値を取得するようにしてもよい。
【００４４】
次いで、レーンマーク検出手段１２０は、各領域Ｍ１´，Ｍ２´，Ｍ３´から取得した色成分について、記憶手段１０１に記憶されているレーンマークの色成分と整合するか否かを判定する（図２／ＳＴＥＰ７）。
【００４５】
そして、各領域Ｍ１´，Ｍ２´，Ｍ３´の色成分に整合する色があると判定された場合には（図２／ＳＴＥＰ７…ＹＥＳ）、ＳＴＥＰ１０へ進んで、前記レーンマーク判定処理を実行する。
【００４６】
一方、各領域Ｍ１´，Ｍ２´，Ｍ３´の色成分に整合する色がないと判定された場合には（図２／ＳＴＥＰ７…ＮＯ）、レーンマーク検出手段１２０は、各領域Ｍ１´，Ｍ２´，Ｍ３´から取得した輝度値が予め設定された輝度閾値以上の高輝度であるか否かを判定する（図２／ＳＴＥＰ８）。ここで、輝度閾値は、諸条件を考慮して、画像特徴量としての輝度値が白線である場合にこれを判定可能とする値に設定されている。
【００４７】
そして、各領域Ｍ１´，Ｍ２´，Ｍ３´から取得した輝度値が輝度閾値以上の高輝度であると判定された場合には（図２／ＳＴＥＰ８…ＹＥＳ）、ＳＴＥＰ１０へ進んで、前記レーンマーク判定処理を実行する。
【００４８】
一方、各領域Ｍ１´，Ｍ２´，Ｍ３´から取得した輝度値が輝度閾値以上の高輝度でないと判定された場合には（図２／ＳＴＥＰ８…ＮＯ）、当該レーンマーク候補は偽のレーンマークとして除外する（図２／ＳＴＥＰ１２）。
【００４９】
なお、本実施形態では、ＳＴＥＰ７およびＳＴＥＰ８のいずれか一方の条件を満たす場合に、前方画像から検出されたレーンマーク候補が真のレーンマークであり得るとしたが、これに代えて、ＳＴＥＰ７およびＳＴＥＰ８の両方を満たす場合に前方画像から検出されたレーンマーク候補が真のレーンマークであり得るとしてもよい。
【００５０】
以上が、第１実施形態のおける車両用画像処理システムの全体的機能（車両用画像処理方法）についての説明である。
【００５１】
かかる第１実施形態の車両用画像処理システムによれば、逆光状態による太陽光の照り返しにより、前方画像では高輝度部分として検出される補修跡Ｒは、これに対応する後方画像の領域Ｍ２´において、レーンマークである場合に特徴的となる色成分や輝度値が抽出されないため、これを確実に除外することができる。また、前方画像では、逆光状態による輝度コントラストの低下でレーンマークが検出し難い状態となっているレーンの左側の白線も、これに対応する後方画像の領域Ｍ１´に基づいて、レーンマークである場合に特徴的となる色成分や輝度値が抽出されるため、これを真のレーンマークとして確実に検出することができる。
【００５２】
次に、図３を参照して、逆光判定処理（図２／ＳＴＥＰ４）の詳細について説明する。
【００５３】
まず、逆光判定手段１１０は、後方カメラ１３から後方画像を取得する（図３／ＳＴＥＰ４０）。
【００５４】
次いで、逆光判定手段１１０は、取得した後方画像に対して、横エッジ抽出処理を実行する（図３／ＳＴＥＰ４１）。具体的には、図６（ａ）に示す横エッジ正方フィルタを横方向に逐次走査させることにより逐次得られるフィルタ値を、後方画像座標系における横エッジ正方フィルタの中心座標の値として記憶保持する。横エッジ正方フィルタのフィルタ値は、当該フィルタの各要素の値および画像における各ピクセルの輝度値の積の総和として算出される。
【００５５】
例えば、図６（ｂ）に示されているように、低輝度ピクセル（斜線部分）および高輝度ピクセル（斜線が付されていない部分）が併存する箇所に、横エッジ正方フィルタが位置する状態を考える。簡単のため、低輝度ピクセルの輝度値はすべて「−１」である一方、高輝度ピクセルの輝度値はすべて「＋１」であると仮定する。すると、この状態におけるフィルタ値は、「＋１」×（１＋１＋１＋０）＋「−１」×（０＋０−１−１−１）＝「＋６」と算出される。
【００５６】
次いで、逆光判定手段１１０は、取得した後方画像に対して、縦エッジ抽出処理を実行する（図３／ＳＴＥＰ４２）。具体的には、図６（ｃ）に示されている縦エッジ正方フィルタを縦方向に逐次走査させることにより逐次得られるフィルタ値を、後方画像座標系における縦エッジ正方フィルタの中心座標の値として記憶保持する。縦エッジ正方フィルタのフィルタ値は、当該フィルタの各要素の値および画像における各ピクセルの輝度値の積の総和として算出される。
【００５７】
例えば、図６（ｃ）に示されているように、低輝度ピクセル（斜線部分）および高輝度ピクセル（斜線が付されていない部分）が併存する箇所に、縦エッジ正方フィルタが位置する状態を考える。簡単のため、低輝度ピクセルの輝度値はすべて「−１」である一方、高輝度ピクセルの輝度値はすべて「＋１」であると仮定する。すると、この状態におけるフィルタ値は、「＋１」×（１＋１＋０−１）＋「−１」×（１＋０−１−１）＝「＋２」と算出される。
【００５８】
次いで、逆光判定手段１１０は、前記正方フィルタの中心座標の値として記憶保持された横エッジフィルタ値および縦エッジフィルタ値とのそれぞれを成分とするエッジベクトルを算出する（図３／ＳＴＥＰ４３）。具体的に、図６（ｂ）および（ｄ）に示す中心座標位置のエッジベクトルは、図６（ｅ）に示すように、縦エッジフィルタ値をＸ成分、横エッジフィルタ値をＹ成分とする（２，６）となる。
【００５９】
次に、逆光判定手段１１０は、次の条件を満たす影領域が存在するか否かを判定する（図３／ＳＴＥＰ４５
（条件１）
後方画像の下端部の一部であって、当該下端部の中央位置または当該中央位置を含む領域により下端が画定されている。当該抽出領域のうち、たとえば、当該一または複数の線分により画定されるとともに、左側のエッジベクトルのＹ成分が正である一方、右側のエッジベクトルのＹ成分が負となる。
【００６０】
（条件２）
ピクセルの座標値により画像座標系における位置が定まるとともに、当該ピクセルにおけるエッジベクトルの姿勢により画像座標系における姿勢（傾き）が定まる所定数以上の微小線分が、当該エッジベクトルの方向に連続的に接続されることにより得られた一または複数の線分により画定されている。
【００６１】
（条件３）
左側を画定する線分を構成するエッジベクトルのＹ成分の総和が正の閾値以上であるとともに、右側を画定する線分を構成するエッジベクトルのＹ成分の総和が負の閾値以下である（条件３は当該線分により画定される領域が低輝度ピクセルにより構成されていることを示している）。
【００６２】
（条件４）
当該抽出領域の面積が、自車両１０の影に相当する所定の面積以上の領域であり、かつ当該抽出領域の横幅（画面座標系におけるＹ方向の長さ）が車幅に基づき設定される所定幅相当である。
【００６３】
そして、逆光判定手段１１０は、影領域が存在する場合には（図３／ＳＴＥＰ４５…ＹＥＳ）、逆光状態であると判定し（図３／ＳＴＥＰ４６）、この処理を終了する。
【００６４】
一方、逆光判定手段１１０は、影領域が存在しない場合には（図３／ＳＴＥＰ４５…ＮＯ）、逆光状態でない順光状態であると判定し（図３／ＳＴＥＰ４７）、この処理を終了する。
【００６５】
具体的には、図５（ａ）に示す後方画像に対して、ＳＴＥＰ４２で算出されたエッジベクトルから、図７に示す３つの領域Ｔ１，Ｔ２，Ｔ３が抽出されるが、領域Ｔ１，Ｔ３については、前記条件１、条件３および条件４を充足しないが、領域Ｔ１については、前記条件１〜条件４のすべてを充足するため、図５（ａ）に示す後方画像に対しては、影領域が存在し（図３／ＳＴＥＰ４５…ＹＥＳ）、逆光状態と判定される（図３／ＳＴＥＰ４６）。
【００６６】
以上が、逆光判定処理（図２／ＳＴＥＰ４）の詳細である。
【００６７】
［第２実施形態］
次に、図８を参照して、前記第１実施形態の変更例について説明する。
【００６８】
まず、逆光判定手段１１０が、後方カメラ１３から取得した後方画像に基づいて、逆光状態であるか否かを判定する（図８／ＳＴＥＰ４）。なお、この処理は、図２／ＳＴＥＰ４の逆光判定処理と同一であるため説明を省略する。
【００６９】
次いで、逆光判定手段１１０により、逆光状態でないと判定された場合には（図８／ＳＴＥＰ４…ＮＯ）、レーンマーク検出手段１２０が、前方カメラ１２から前方画像を取得し（図８／ＳＴＥＰ５１）、取得した前方画像からレーンマーク候補を検出するレーンマーク候補検出処理を実行する（図８／ＳＴＥＰ５２）。なお、これらの処理は、図２／ＳＴＥＰ１およびＳＴＥＰ２の処理と同一である。
【００７０】
次いで、レーンマーク検出手段１２０は、検出された各レーンマーク候補が真のレーンマークであるか否かを判定するレーンマーク判定処理を実行し（図８／ＳＴＥＰ７０）、真のレーンマークであると判定された場合には（図８／ＳＴＥＰ７０…ＹＥＳ）、当該レーンマーク候補を真のレーンマークとしてこれを検出し（図８／ＳＴＥＰ７１）、真のレーンマークでないと判定された場合には（図８／ＳＴＥＰ７０…ＮＯ）、当該レーンマーク候補は偽のレーンマークとして除外する（図８／ＳＴＥＰ７２）。なお、これら処理は、図２／ＳＴＥＰ１０〜ＳＴＥＰ１２と同一である。
【００７１】
次に、ＳＴＥＰ４で、逆光状態であると判定された場合（図８／ＳＴＥＰ４…ＹＥＳ）について説明する。
【００７２】
この場合、レーンマーク検出手段１２０が、後方カメラ１３から後方画像を取得する（図２／ＳＴＥＰ６１）。
【００７３】
次いで、レーンマーク検出手段１２０は、取得した後方画像からレーンマーク候補を検出するレーンマーク候補検出処理を実行する（図８／ＳＴＥＰ６２）。なお、この処理手法は、画像処理対象が前方画像と後方画像で異なるだけで、図２／ＳＴＥＰ２と同一の手法である。
【００７４】
例えば、後方画像が、前記図５（ａ）に示すような場合には、図９（ａ）に示すように、直線成分を有する正エッジ点群及び負エッジ点群により挟まれた領域として、左白線Ｍが、直線成分を有する正エッジ点群Ｌ６ａと負エッジ点群Ｌ６ｂとによるレーンマーク候補Ｍ６として認識され、右白線Ｍが、直線成分を有する正エッジ点群Ｌ７ａと負エッジ点群Ｌ７ｂとによるレーンマーク候補Ｍ７として認識される。
【００７５】
次に、レーンマーク検出手段１２０は、検出されたレーンマーク候補の車両１０の中央から車幅方向の位置を算出する（図８／ＳＴＥＰ６３）。なお、この処理手法は、画像処理対象が前方画像と後方画像で異なるだけで、図２／ＳＴＥＰ３と同一の手法であり、これにより、各レーンマーク候補Ｍ６，Ｍ７の直線成分（Ｌ６ａ，Ｌ６ｂ，Ｌ７ａ，Ｌ７ｂ）のデータを画像空間から実空間（車両１０に固定された座標空間）へ射影変換することにより、これら各レーンマーク候補Ｍ６，Ｍ７の実空間における左端および右端のＸ座標を車幅方向の位置として算出する。
【００７６】
次いで、レーンマーク検出手段１２０は、前方カメラ１２から前方画像を取得し（図８／ＳＴＥＰ６４）、取得した前方画像において、ＳＴＥＰ６３で算出した車幅方向の位置に対応した位置からレーンマーク候補を検出する（図８／ＳＴＥＰ６５）。
【００７７】
例えば、図９（ａ）に示す各レーンマーク候補Ｍ６，Ｍ７の実空間における左端および右端のＸ座標を前方画像における画像空間へ射影変換すると、前記図４（ａ）の前方画像において、図９（ｂ）に示すような各レーンマーク候補Ｍ６，Ｍ７に対応した直線成分（Ｌ６ａ´，Ｌ６ｂ´，Ｌ７ａ´，Ｌ７ｂ´）により特定される領域Ｍ６´，Ｍ７´が得られる。そして、レーンマーク検出手段１２０は、かかる領域Ｍ６´，Ｍ７´から、レーンマーク候補を検出する。なお、ここでレーンマークの検出手法は、図２／ＳＴＥＰ２と同一でもよいが、前方画像が逆光状態であることを考慮して、画像特徴量としての輝度値がレーンマーク（白線）である場合にこれを検出することが好ましい。
【００７８】
これにより、図９（ｂ）に示すように、領域Ｍ６´からはレーンマーク候補Ｍ２が検出され、領域Ｍ７´からはレーンマーク候補Ｍ１が検出される。
【００７９】
次いで、レーンマーク検出手段１２０は、各領域Ｍ６´，Ｍ７´からレーンマーク候補が検出されたか否かを判定する（図８／ＳＴＥＰ６６）。
【００８０】
そして、各領域Ｍ６´，Ｍ７´からレーンマーク候補が検出された場合には（図８／ＳＴＥＰ６６…ＹＥＳ）、ＳＴＥＰ７０へ進んで、前記レーンマーク判定処理を実行する。なお、この場合、ＳＴＥＰ７０のレーンマーク判定処理の内容を、ＳＴＥＰ６２で後方画像から検出されたレーンマーク候補に対して予め実行しておくことにより、ＳＴＥＰ７０の処理を省略して、対応位置から検出されたレーンマーク候補をそのまま新のレーンマークとして検出するようにしてもよい。
【００８１】
一方、各領域Ｍ６´，Ｍ７´からレーンマーク候補が検出されない場合には（図８／ＳＴＥＰ６６…ＮＯ）、当該レーンマーク候補は偽のレーンマークとして除外する（ＳＴＥＰ７２）。
【００８２】
以上が、第２実施形態の車両用画像処理システムの全体的機能（車両用画像処理方法）についての説明である。
【００８３】
かかる第２実施形態の車両用画像処理システムによれば、逆光状態下でも本来の路面状態を反映させた画像となる後方画像に基づいて、真のレーンマークが存在し得る前方画像の領域Ｍ６´，Ｍ７´を限定することができる。そのため、路面の照り返し等により、レーンマーク候補の検出精度が低下し得る前方画像からも、車両前方に存在し得る真のレーンマークを精度よく検出することができる。
【００８４】
このように、前記第１実施形態および第２実施形態の車両用画像処理システムによれば、逆光状態下でも、レーンマーク候補から車両１０の前方の路面に存在する真のレーンマークに該当する該当する蓋然性の高いものが認識され、延いては当該認識結果に基づく当該車両１０の横位置制御を適切なものとすることができる。
【００８５】
なお、前記第１および第２実施形態では、図３に示すように、後方カメラ１３から取得した後方画像に基づいて、逆光状態か否かの判定を行っているが、これに限定されるものではなく、既存の種々の手法を用いることができる。例えば、前方カメラ１２から取得した前方画像の照度が逆光となる場合の閾値を上回るか否か等により逆光判定を行ってもよく、これを、上記実施形態における逆光判定と組み合わせてもよい。
【符号の説明】
【００８６】
１０‥車両、１１‥電子制御ユニット、１２‥前方カメラ（前方撮像手段）、１３‥後方カメラ（後方撮像手段）、１００‥画像処理システム、１０１・・記憶手段、１１０・・逆光判定手段、１２０‥レーンマーク検出手段。
【技術分野】
【０００１】
本発明は、カメラ等の撮像手段を介して取得された路面画像から道路のレーンマークを検出する車両用画像処理システムに関する。
【背景技術】
【０００２】
従来、この種の車両用画像処理システムでは、下記特許文献１に示すように、車両の前方および後方にそれぞれ前方カメラおよび後方カメラを搭載し、これらの画像のうち照度の高い画像を選択して、該画像に基づいて道路のレーンマークを検出する技術が知られている。
【０００３】
また、下記特許文献２に示す車両用画像処理システムでは、車両の前方および後方にそれぞれ前方カメラおよび後方カメラを搭載し、これらの画像の輝度の最大値および最小値が所定範囲内となる画像を良好な画像と判断して、該画像に基づいて道路のレーンマークを検出する技術が知られている。
【先行技術文献】
【特許文献】
【０００４】
【特許文献１】特開２００８−２２５８２２号公報
【特許文献２】特開２００２−９９９９９号公報
【発明の概要】
【発明が解決しようとする課題】
【０００５】
しかし、太陽光等の光が車両の進行方向とは反対方向から当該車両に対して照射されている逆光状態において、前方カメラおよび後方カメラのうちいずれか一方の選択画像のみに基づいて道路のレーンマークが検出されると、レーンマークの認識精度が低下する可能性がある。
【０００６】
すなわち、逆光状態において前方カメラの画像が選択された場合、轍または道路に設けられている人工溝などレーンマークの存在しない路面部分がレーンマークであると誤認識される可能性が高い。また、黄色線のレーンマークの色情報または白線のレーンマークのレーンマークが設けられていない路面部分に対する輝度コントラストが抽出困難となる。
【０００７】
一方、逆光状態において後方カメラの画像が選択された場合、当該画像から抽出されたレーンマークの配置パターンが車両後方および前方において相違する場合、当該車両前方に存在する実際のレーンマークと、後方レーンマークから推測されたレーンマークとが異なる。
【０００８】
そこで、本発明は、逆光状態においても車両前方のレーンマークの認識精度を向上させ得る車両用画像処理システムを提供することを目的とする。
【課題を解決するための手段】
【０００９】
第１発明の車両用画像処理システムは、車両に搭載されて該車両の前方の路面を撮像する前方撮像手段と該車両の後方の路面を撮像する後方撮像手段との撮像画像に基づき、画像処理を実行する車両用画像処理システムであって、前記前方撮像手段により撮像された前方画像と前記後方撮像手段により撮像された後方画像とのいずれか一方または両方に基づいて、太陽光等の光が前記車両の進行方向とは反対方向から当該車両に対して照射されている逆光状態であるか否かを判定する逆光判定手段と、前記逆光判定手段により逆光状態であると判定された場合に、前記前方画像または前記後方画像のいずれか一方からレーンマーク候補を検出すると共に、検出したレーンマーク候補を残る他方の画像から抽出される画像特徴量と突き合わせることにより、前記車両前方の路面に存在する真のレーンマークを検出するレーンマーク検出手段とを備えることを特徴とする。
【００１０】
第１発明の車両用画像処理システムによれば、逆光状態であると判定された場合、前方画像および後方画像のうちいずれか一方の画像からレーンマーク候補が検出されるともに、当該レーンマーク候補が他方の画像から抽出される画像特徴量と突き合わせられることにより、車両前方の路面に存在するレーンマークが検出される。
【００１１】
すなわち、逆光状態において、車両後方におけるレーンマーク候補または画像特徴量の抽出の観点から信頼性の高い後方画像のみならず、当該信頼性は低いものの車両前方に存在するレーンマークの認識に際して有用な情報を含んでいる前方画像が利用される。その結果、前方画像および後方画像のうちいずれか一方が選択的に用いられる場合と比較して、前方画像に存在するレーンマークの認識精度の向上が図られる。
【００１２】
第２発明の車両用画像処理システムは、第１発明の車両用画像処理システムにおいて、前記レーンマーク検出手段は、前記前方画像に基づいてレーンマーク候補を検出し、検出した該レーンマーク候補の車幅方向の位置を算出すると共に、前記逆光判定手段により逆光状態であると判定された場合に、前記画像特徴量としての、前記後方画像における該位置に対応した位置の輝度および色成分のうちいずれか一方または両方に基づいて、該レーンマーク候補から真のレーンマークを検出することを特徴とする。
【００１３】
第２発明の車両用画像処理システムによれば、逆光状態において、車両後方における画像特徴量として輝度および色成分のうち一方または両方の抽出の観点から信頼性の高い後方画像のみならず、当該信頼性は低いものの車両前方に存在するレーンマークの認識に際して有用な情報、すなわち、後方画像において当該画像特徴量の抽出対象となる位置を特定するレーンマーク候補を含んでいる前方画像が利用される。その結果、前方画像および後方画像のうちいずれか一方が選択的に用いられる場合と比較して、前方画像に存在するレーンマークの認識精度の向上が図られる。
【００１４】
第３発明の車両用画像処理システムは、第１発明の車両用画像処理システムにおいて、前記レーンマーク検出手段は、前記逆光判定手段により逆光状態であると判定された場合、前記後方画像に基づいてレーンマーク候補を検出し、検出した該レーンマーク候補の車幅方向の位置を算出すると共に、前記前方画像における該算出位置に対応した位置の輝度に基づいて、真のレーンマークを検出することを特徴とする。
【００１５】
第３発明の車両用画像処理システムによれば、逆光状態において、車両後方におけるレーンマーク候補の抽出の観点から信頼性の高い後方画像のみならず、当該信頼性は低いものの車両前方に存在するレーンマークの認識に際して有用な情報、すなわち、輝度を含んでいる前方画像が利用される。その結果、前方画像および後方画像のうちいずれか一方が選択的に用いられる場合と比較して、前方画像に存在するレーンマークの認識精度の向上が図られる。
【００１６】
第４発明の車両用画像処理システムは、第１〜第３発明のいずれかの車両用画像処理システムにおいて、前記逆光判定手段は、前記後方画像の下端中心を包囲する低輝度領域が存在する場合に、逆光状態であると判定することを特徴とする。
【００１７】
第４発明の車両用画像処理システムによれば、逆光状態において車両の影が当該車両の後方路面に現れる蓋然性が高いことに鑑みて、ところ、逆光状態であるか否かが簡易かつ正確に判定されうる。
【図面の簡単な説明】
【００１８】
【図１】本発明の一実施形態における車両用画像処理システムの構成図。
【図２】第１実施形態におけるレーンマークの検出処理を示すフローチャート。
【図３】逆光判定処理を示すフローチャート。
【図４】前方画像の例およびその画像処理を示す説明図。
【図５】後方画像の例およびその画像処理を示す説明図。
【図６】逆光判定手段により処理内容を示す説明図。
【図７】逆光判定手段による後方画像の処理例を示す説明図。
【図８】第２実施形態におけるレーンマークの検出処理を示すフローチャート。
【図９】第２実施形態における画像処理の内容を示す説明図。
【発明を実施するための形態】
【００１９】
図１に示すように、車両用画像処理システム１００は、車両１０に搭載されているハードウェアとしての電子制御ユニット（コンピュータ）１１により構成される。車両用画像処理システム１００は、車両１０の前方のカラー路面画像（前方画像）を撮像する前方カメラ（前方撮像手段）１２と、車両１０の後方のカラー路面画像（後方画像）を撮像する後方カメラ（後方撮像手段）１３とに接続され、これらの撮像画像である路面画像に基づき、画像処理を実行する。
【００２０】
車両用画像処理システム１００は、記憶手段１０１と、逆光判定手段１１０と、レーンマーク検出手段１２０とを備えている。
【００２１】
記憶手段１０１は、レーンマークの複数の規格（レーンマーク色、規格幅等）を記憶する。
【００２２】
逆光判定手段１１０は、後方カメラ１３から取得した後方画像に基づいて、太陽光等の光が車両１０の進行方向とは反対方向から当該車両１０に対して照射されている逆光状態であるか否かを判定する。
【００２３】
レーンマーク検出手段１２０は、前方画像または前記後方画像のいずれか一方からレーンマーク候補を検出すると共に、検出したレーンマーク候補を基に車両１０前方の路面に存在する真のレーンマークを検出する。
【００２４】
［第１実施形態］
次に、図２〜図７を参照して、前記構成の車両用画像処理システムの機能（車両用画像処理方法）について説明する。
【００２５】
まず、レーンマーク検出手段１２０が、前方カメラ１２から前方画像を取得する（図２／ＳＴＥＰ１）。
【００２６】
次いで、レーンマーク検出手段１２０が、取得した前方画像からレーンマーク候補を検出するレーンマーク候補検出処理を実行する（図２／ＳＴＥＰ２）。
【００２７】
レーンマーク候補検出処理の詳細については、本出願人による特開平１１−８５９９９号公報に係る手法が採用されればよいので、本願明細書では詳細な説明を省略するが、具体的には、レーンマーク検出手段１２０により、画面走査方向を右として、高輝度（明）から低輝度（暗）に転じるエッジ点が「負エッジ点」として認識され、低輝度（暗）から高輝度（明）に転じるエッジ点が「正エッジ点」として認識される。なお、画像の各ピクセルの輝度値は、例えば、取得されたカラー画像Ｉ０の各ピクセルのＲ値，Ｇ値，Ｂ値から算出される。
【００２８】
例えば、前方画像が、図４（ａ）に示すように、レーンの左右両側に白線（レーンマーク）Ｍがあり、白線Ｍからレーン中央寄りに道路の延設方向に沿って補修跡Ｒが延びているものとする。このとき、逆光状態の原因である太陽光の照射により前方画像において補修跡Ｒは高輝度部分となり、レーンの左側の白線は、白線以外の路面部分に対する輝度コントラストが低下しているものとする。
【００２９】
この場合、図４（ｂ）に示すように、白線Ｍや補修跡Ｒの左エッジ上の点が正エッジ点（「＋」で表されている）として認識されるとともに、右エッジ上の点が負エッジ点（「−」で表されている）として認識される。
【００３０】
これにより、直線成分を有する正エッジ点群及び負エッジ点群により挟まれた領域、すなわち、図４（ｂ）に示されているように、左白線Ｍが、直線成分を有する正エッジ点群Ｌ１ａと負エッジ点群Ｌ１ｂとによるレーンマーク候補Ｍ１として認識され、補修跡Ｒが直線成分を有する正エッジ点群Ｌ２ａと負エッジ点群Ｌ２ｂとによるレーンマーク候補Ｍ２として認識され、右白線Ｍが、直線成分を有する正エッジ点群Ｌ３ａと負エッジ点群Ｌ３ｂとによるレーンマーク候補Ｍ３として認識される。
【００３１】
次に、レーンマーク検出手段１２０は、検出されたレーンマーク候補の車両１０の中央から車幅方向の位置を算出する（図２／ＳＴＥＰ３）。
【００３２】
具体的に、レーンマーク検出手段１２０は、各レーンマーク候補Ｍ１，Ｍ２，Ｍ３の直線成分（Ｌ１ａ，Ｌ１ｂ，・・・，Ｌ３ａ，Ｌ３ｂ）のデータを画像空間から実空間（車両１０に固定された座標空間）へ射影変換することにより、これら各レーンマーク候補Ｍ１，Ｍ２，Ｍ３の実空間における左端および右端のＸ座標を車幅方向の位置として算出する。
【００３３】
次いで、逆光判定手段１１０が、後方カメラ１３から取得した後方画像に基づいて、車両１０が逆光状態であるか否かを判定する（図２／ＳＴＥＰ４）。なお、逆光判定手段１１０による逆光判定処理の詳細については、図３を参照して後述する。
【００３４】
そして、逆光判定手段１１０により、逆光状態でないと判定された場合には（図２／ＳＴＥＰ４…ＮＯ）、レーンマーク検出手段１２０は、各レーンマーク候補が真のレーンマークであるか否かを判定するレーンマーク判定処理を実行する（図２／ＳＴＥＰ１０）。
【００３５】
具体的にレーンマーク判定処理では、複数の判定要素の一部または全部に基づいて、レーンマーク候補が真のレーンマークであるか否かが判定される。当該判定要素としては、例えば、車幅方向の位置から算出されるレーンマーク候補の幅が記憶手段１０１に記憶されているレーンマークの規格幅と整合するか否か、レーンマーク候補のエッジの連続性が一定以上であるか否か（エッジ列の配置態様を表わす直線近似式または曲線近似式との累計誤差が一定値以下であるか否か）、ならびに、レーンマーク候補の直線成分が画像の左側領域または右側領域でそれぞれレーンマークとして妥当な範囲に納まっているか否かなどの判定要素が挙げられる。
【００３６】
そして、レーンマーク候補が真のレーンマークであると判定された場合には（図２／ＳＴＥＰ１０…ＹＥＳ）、当該レーンマーク候補を真のレーンマークとしてこれを検出する（図２／ＳＴＥＰ１１）。
【００３７】
一方、真のレーンマークでないと判定された場合には（図２／ＳＴＥＰ１０…ＮＯ）、当該レーンマーク候補は偽のレーンマークとして除外する（図２／ＳＴＥＰ１２）。
【００３８】
次に、ＳＴＥＰ４で、逆光状態であると判定された場合（図２／ＳＴＥＰ４…ＹＥＳ）について説明する。
【００３９】
この場合、レーンマーク検出手段１２０が、後方カメラ１３から後方画像を取得する（図２／ＳＴＥＰ５）。
【００４０】
次いで、レーンマーク検出手段１２０は、取得した後方画像において、ＳＴＥＰ３で算出した車幅方向の位置に対応した位置の画像特徴量を取得する（図２／ＳＴＥＰ６）。
【００４１】
ここで取得される画像特徴量としては、ＳＴＥＰ３で算出された各レーンマーク候補Ｍ１，Ｍ２，Ｍ３の実空間における左端および右端のＸ座標を、後方画像における画像空間へ射影変換することにより得られる画像領域の色成分および輝度を取得する。
【００４２】
例えば、後方画像が、図５（ａ）に示すように、レーンの左右両側に白線（レーンマーク）Ｍがあり、画像の下側に自車両１０の影領域Ｓがあるものとする。この場合、ＳＴＥＰ３で算出された各レーンマーク候補Ｍ１，Ｍ２，Ｍ３の実空間における左端および右端のＸ座標を後方画像における画像空間へ射影変換すると、図５（ｂ）に示すような各レーンマーク候補Ｍ１，Ｍ２，Ｍ３に対応した直線成分（Ｌ１ａ´，Ｌ１ｂ´，・・・，Ｌ３ａ´，Ｌ３ｂ´）により特定される領域Ｍ１´，Ｍ２´，Ｍ３´が得られる。そして、レーンマーク検出手段１２０は、かかる領域Ｍ１´，Ｍ２´，Ｍ３´において特徴的となる色成分（黄色やオレンジ等の注目色に特徴的となる高Ｒ値位置の色成分（Ｒ値，Ｇ値，Ｂ値））および輝度値（最高輝度値または輝度平均値）を取得する。
【００４３】
なお、領域Ｍ１´，Ｍ２´，Ｍ３´の任意の点または複数の点の平均値としての色成分および輝度値を取得する代わりに、レーンマーク検出手段１２０は、かかる領域からレーンマーク候補（第２レーンマーク候補）を検出し、検出した第２レーンマーク候補の色成分および輝度値を取得するようにしてもよい。
【００４４】
次いで、レーンマーク検出手段１２０は、各領域Ｍ１´，Ｍ２´，Ｍ３´から取得した色成分について、記憶手段１０１に記憶されているレーンマークの色成分と整合するか否かを判定する（図２／ＳＴＥＰ７）。
【００４５】
そして、各領域Ｍ１´，Ｍ２´，Ｍ３´の色成分に整合する色があると判定された場合には（図２／ＳＴＥＰ７…ＹＥＳ）、ＳＴＥＰ１０へ進んで、前記レーンマーク判定処理を実行する。
【００４６】
一方、各領域Ｍ１´，Ｍ２´，Ｍ３´の色成分に整合する色がないと判定された場合には（図２／ＳＴＥＰ７…ＮＯ）、レーンマーク検出手段１２０は、各領域Ｍ１´，Ｍ２´，Ｍ３´から取得した輝度値が予め設定された輝度閾値以上の高輝度であるか否かを判定する（図２／ＳＴＥＰ８）。ここで、輝度閾値は、諸条件を考慮して、画像特徴量としての輝度値が白線である場合にこれを判定可能とする値に設定されている。
【００４７】
そして、各領域Ｍ１´，Ｍ２´，Ｍ３´から取得した輝度値が輝度閾値以上の高輝度であると判定された場合には（図２／ＳＴＥＰ８…ＹＥＳ）、ＳＴＥＰ１０へ進んで、前記レーンマーク判定処理を実行する。
【００４８】
一方、各領域Ｍ１´，Ｍ２´，Ｍ３´から取得した輝度値が輝度閾値以上の高輝度でないと判定された場合には（図２／ＳＴＥＰ８…ＮＯ）、当該レーンマーク候補は偽のレーンマークとして除外する（図２／ＳＴＥＰ１２）。
【００４９】
なお、本実施形態では、ＳＴＥＰ７およびＳＴＥＰ８のいずれか一方の条件を満たす場合に、前方画像から検出されたレーンマーク候補が真のレーンマークであり得るとしたが、これに代えて、ＳＴＥＰ７およびＳＴＥＰ８の両方を満たす場合に前方画像から検出されたレーンマーク候補が真のレーンマークであり得るとしてもよい。
【００５０】
以上が、第１実施形態のおける車両用画像処理システムの全体的機能（車両用画像処理方法）についての説明である。
【００５１】
かかる第１実施形態の車両用画像処理システムによれば、逆光状態による太陽光の照り返しにより、前方画像では高輝度部分として検出される補修跡Ｒは、これに対応する後方画像の領域Ｍ２´において、レーンマークである場合に特徴的となる色成分や輝度値が抽出されないため、これを確実に除外することができる。また、前方画像では、逆光状態による輝度コントラストの低下でレーンマークが検出し難い状態となっているレーンの左側の白線も、これに対応する後方画像の領域Ｍ１´に基づいて、レーンマークである場合に特徴的となる色成分や輝度値が抽出されるため、これを真のレーンマークとして確実に検出することができる。
【００５２】
次に、図３を参照して、逆光判定処理（図２／ＳＴＥＰ４）の詳細について説明する。
【００５３】
まず、逆光判定手段１１０は、後方カメラ１３から後方画像を取得する（図３／ＳＴＥＰ４０）。
【００５４】
次いで、逆光判定手段１１０は、取得した後方画像に対して、横エッジ抽出処理を実行する（図３／ＳＴＥＰ４１）。具体的には、図６（ａ）に示す横エッジ正方フィルタを横方向に逐次走査させることにより逐次得られるフィルタ値を、後方画像座標系における横エッジ正方フィルタの中心座標の値として記憶保持する。横エッジ正方フィルタのフィルタ値は、当該フィルタの各要素の値および画像における各ピクセルの輝度値の積の総和として算出される。
【００５５】
例えば、図６（ｂ）に示されているように、低輝度ピクセル（斜線部分）および高輝度ピクセル（斜線が付されていない部分）が併存する箇所に、横エッジ正方フィルタが位置する状態を考える。簡単のため、低輝度ピクセルの輝度値はすべて「−１」である一方、高輝度ピクセルの輝度値はすべて「＋１」であると仮定する。すると、この状態におけるフィルタ値は、「＋１」×（１＋１＋１＋０）＋「−１」×（０＋０−１−１−１）＝「＋６」と算出される。
【００５６】
次いで、逆光判定手段１１０は、取得した後方画像に対して、縦エッジ抽出処理を実行する（図３／ＳＴＥＰ４２）。具体的には、図６（ｃ）に示されている縦エッジ正方フィルタを縦方向に逐次走査させることにより逐次得られるフィルタ値を、後方画像座標系における縦エッジ正方フィルタの中心座標の値として記憶保持する。縦エッジ正方フィルタのフィルタ値は、当該フィルタの各要素の値および画像における各ピクセルの輝度値の積の総和として算出される。
【００５７】
例えば、図６（ｃ）に示されているように、低輝度ピクセル（斜線部分）および高輝度ピクセル（斜線が付されていない部分）が併存する箇所に、縦エッジ正方フィルタが位置する状態を考える。簡単のため、低輝度ピクセルの輝度値はすべて「−１」である一方、高輝度ピクセルの輝度値はすべて「＋１」であると仮定する。すると、この状態におけるフィルタ値は、「＋１」×（１＋１＋０−１）＋「−１」×（１＋０−１−１）＝「＋２」と算出される。
【００５８】
次いで、逆光判定手段１１０は、前記正方フィルタの中心座標の値として記憶保持された横エッジフィルタ値および縦エッジフィルタ値とのそれぞれを成分とするエッジベクトルを算出する（図３／ＳＴＥＰ４３）。具体的に、図６（ｂ）および（ｄ）に示す中心座標位置のエッジベクトルは、図６（ｅ）に示すように、縦エッジフィルタ値をＸ成分、横エッジフィルタ値をＹ成分とする（２，６）となる。
【００５９】
次に、逆光判定手段１１０は、次の条件を満たす影領域が存在するか否かを判定する（図３／ＳＴＥＰ４５
（条件１）
後方画像の下端部の一部であって、当該下端部の中央位置または当該中央位置を含む領域により下端が画定されている。当該抽出領域のうち、たとえば、当該一または複数の線分により画定されるとともに、左側のエッジベクトルのＹ成分が正である一方、右側のエッジベクトルのＹ成分が負となる。
【００６０】
（条件２）
ピクセルの座標値により画像座標系における位置が定まるとともに、当該ピクセルにおけるエッジベクトルの姿勢により画像座標系における姿勢（傾き）が定まる所定数以上の微小線分が、当該エッジベクトルの方向に連続的に接続されることにより得られた一または複数の線分により画定されている。
【００６１】
（条件３）
左側を画定する線分を構成するエッジベクトルのＹ成分の総和が正の閾値以上であるとともに、右側を画定する線分を構成するエッジベクトルのＹ成分の総和が負の閾値以下である（条件３は当該線分により画定される領域が低輝度ピクセルにより構成されていることを示している）。
【００６２】
（条件４）
当該抽出領域の面積が、自車両１０の影に相当する所定の面積以上の領域であり、かつ当該抽出領域の横幅（画面座標系におけるＹ方向の長さ）が車幅に基づき設定される所定幅相当である。
【００６３】
そして、逆光判定手段１１０は、影領域が存在する場合には（図３／ＳＴＥＰ４５…ＹＥＳ）、逆光状態であると判定し（図３／ＳＴＥＰ４６）、この処理を終了する。
【００６４】
一方、逆光判定手段１１０は、影領域が存在しない場合には（図３／ＳＴＥＰ４５…ＮＯ）、逆光状態でない順光状態であると判定し（図３／ＳＴＥＰ４７）、この処理を終了する。
【００６５】
具体的には、図５（ａ）に示す後方画像に対して、ＳＴＥＰ４２で算出されたエッジベクトルから、図７に示す３つの領域Ｔ１，Ｔ２，Ｔ３が抽出されるが、領域Ｔ１，Ｔ３については、前記条件１、条件３および条件４を充足しないが、領域Ｔ１については、前記条件１〜条件４のすべてを充足するため、図５（ａ）に示す後方画像に対しては、影領域が存在し（図３／ＳＴＥＰ４５…ＹＥＳ）、逆光状態と判定される（図３／ＳＴＥＰ４６）。
【００６６】
以上が、逆光判定処理（図２／ＳＴＥＰ４）の詳細である。
【００６７】
［第２実施形態］
次に、図８を参照して、前記第１実施形態の変更例について説明する。
【００６８】
まず、逆光判定手段１１０が、後方カメラ１３から取得した後方画像に基づいて、逆光状態であるか否かを判定する（図８／ＳＴＥＰ４）。なお、この処理は、図２／ＳＴＥＰ４の逆光判定処理と同一であるため説明を省略する。
【００６９】
次いで、逆光判定手段１１０により、逆光状態でないと判定された場合には（図８／ＳＴＥＰ４…ＮＯ）、レーンマーク検出手段１２０が、前方カメラ１２から前方画像を取得し（図８／ＳＴＥＰ５１）、取得した前方画像からレーンマーク候補を検出するレーンマーク候補検出処理を実行する（図８／ＳＴＥＰ５２）。なお、これらの処理は、図２／ＳＴＥＰ１およびＳＴＥＰ２の処理と同一である。
【００７０】
次いで、レーンマーク検出手段１２０は、検出された各レーンマーク候補が真のレーンマークであるか否かを判定するレーンマーク判定処理を実行し（図８／ＳＴＥＰ７０）、真のレーンマークであると判定された場合には（図８／ＳＴＥＰ７０…ＹＥＳ）、当該レーンマーク候補を真のレーンマークとしてこれを検出し（図８／ＳＴＥＰ７１）、真のレーンマークでないと判定された場合には（図８／ＳＴＥＰ７０…ＮＯ）、当該レーンマーク候補は偽のレーンマークとして除外する（図８／ＳＴＥＰ７２）。なお、これら処理は、図２／ＳＴＥＰ１０〜ＳＴＥＰ１２と同一である。
【００７１】
次に、ＳＴＥＰ４で、逆光状態であると判定された場合（図８／ＳＴＥＰ４…ＹＥＳ）について説明する。
【００７２】
この場合、レーンマーク検出手段１２０が、後方カメラ１３から後方画像を取得する（図２／ＳＴＥＰ６１）。
【００７３】
次いで、レーンマーク検出手段１２０は、取得した後方画像からレーンマーク候補を検出するレーンマーク候補検出処理を実行する（図８／ＳＴＥＰ６２）。なお、この処理手法は、画像処理対象が前方画像と後方画像で異なるだけで、図２／ＳＴＥＰ２と同一の手法である。
【００７４】
例えば、後方画像が、前記図５（ａ）に示すような場合には、図９（ａ）に示すように、直線成分を有する正エッジ点群及び負エッジ点群により挟まれた領域として、左白線Ｍが、直線成分を有する正エッジ点群Ｌ６ａと負エッジ点群Ｌ６ｂとによるレーンマーク候補Ｍ６として認識され、右白線Ｍが、直線成分を有する正エッジ点群Ｌ７ａと負エッジ点群Ｌ７ｂとによるレーンマーク候補Ｍ７として認識される。
【００７５】
次に、レーンマーク検出手段１２０は、検出されたレーンマーク候補の車両１０の中央から車幅方向の位置を算出する（図８／ＳＴＥＰ６３）。なお、この処理手法は、画像処理対象が前方画像と後方画像で異なるだけで、図２／ＳＴＥＰ３と同一の手法であり、これにより、各レーンマーク候補Ｍ６，Ｍ７の直線成分（Ｌ６ａ，Ｌ６ｂ，Ｌ７ａ，Ｌ７ｂ）のデータを画像空間から実空間（車両１０に固定された座標空間）へ射影変換することにより、これら各レーンマーク候補Ｍ６，Ｍ７の実空間における左端および右端のＸ座標を車幅方向の位置として算出する。
【００７６】
次いで、レーンマーク検出手段１２０は、前方カメラ１２から前方画像を取得し（図８／ＳＴＥＰ６４）、取得した前方画像において、ＳＴＥＰ６３で算出した車幅方向の位置に対応した位置からレーンマーク候補を検出する（図８／ＳＴＥＰ６５）。
【００７７】
例えば、図９（ａ）に示す各レーンマーク候補Ｍ６，Ｍ７の実空間における左端および右端のＸ座標を前方画像における画像空間へ射影変換すると、前記図４（ａ）の前方画像において、図９（ｂ）に示すような各レーンマーク候補Ｍ６，Ｍ７に対応した直線成分（Ｌ６ａ´，Ｌ６ｂ´，Ｌ７ａ´，Ｌ７ｂ´）により特定される領域Ｍ６´，Ｍ７´が得られる。そして、レーンマーク検出手段１２０は、かかる領域Ｍ６´，Ｍ７´から、レーンマーク候補を検出する。なお、ここでレーンマークの検出手法は、図２／ＳＴＥＰ２と同一でもよいが、前方画像が逆光状態であることを考慮して、画像特徴量としての輝度値がレーンマーク（白線）である場合にこれを検出することが好ましい。
【００７８】
これにより、図９（ｂ）に示すように、領域Ｍ６´からはレーンマーク候補Ｍ２が検出され、領域Ｍ７´からはレーンマーク候補Ｍ１が検出される。
【００７９】
次いで、レーンマーク検出手段１２０は、各領域Ｍ６´，Ｍ７´からレーンマーク候補が検出されたか否かを判定する（図８／ＳＴＥＰ６６）。
【００８０】
そして、各領域Ｍ６´，Ｍ７´からレーンマーク候補が検出された場合には（図８／ＳＴＥＰ６６…ＹＥＳ）、ＳＴＥＰ７０へ進んで、前記レーンマーク判定処理を実行する。なお、この場合、ＳＴＥＰ７０のレーンマーク判定処理の内容を、ＳＴＥＰ６２で後方画像から検出されたレーンマーク候補に対して予め実行しておくことにより、ＳＴＥＰ７０の処理を省略して、対応位置から検出されたレーンマーク候補をそのまま新のレーンマークとして検出するようにしてもよい。
【００８１】
一方、各領域Ｍ６´，Ｍ７´からレーンマーク候補が検出されない場合には（図８／ＳＴＥＰ６６…ＮＯ）、当該レーンマーク候補は偽のレーンマークとして除外する（ＳＴＥＰ７２）。
【００８２】
以上が、第２実施形態の車両用画像処理システムの全体的機能（車両用画像処理方法）についての説明である。
【００８３】
かかる第２実施形態の車両用画像処理システムによれば、逆光状態下でも本来の路面状態を反映させた画像となる後方画像に基づいて、真のレーンマークが存在し得る前方画像の領域Ｍ６´，Ｍ７´を限定することができる。そのため、路面の照り返し等により、レーンマーク候補の検出精度が低下し得る前方画像からも、車両前方に存在し得る真のレーンマークを精度よく検出することができる。
【００８４】
このように、前記第１実施形態および第２実施形態の車両用画像処理システムによれば、逆光状態下でも、レーンマーク候補から車両１０の前方の路面に存在する真のレーンマークに該当する該当する蓋然性の高いものが認識され、延いては当該認識結果に基づく当該車両１０の横位置制御を適切なものとすることができる。
【００８５】
なお、前記第１および第２実施形態では、図３に示すように、後方カメラ１３から取得した後方画像に基づいて、逆光状態か否かの判定を行っているが、これに限定されるものではなく、既存の種々の手法を用いることができる。例えば、前方カメラ１２から取得した前方画像の照度が逆光となる場合の閾値を上回るか否か等により逆光判定を行ってもよく、これを、上記実施形態における逆光判定と組み合わせてもよい。
【符号の説明】
【００８６】
１０‥車両、１１‥電子制御ユニット、１２‥前方カメラ（前方撮像手段）、１３‥後方カメラ（後方撮像手段）、１００‥画像処理システム、１０１・・記憶手段、１１０・・逆光判定手段、１２０‥レーンマーク検出手段。
【特許請求の範囲】
【請求項１】
車両に搭載されて該車両の前方の路面を撮像する前方撮像手段と該車両の後方の路面を撮像する後方撮像手段との撮像画像に基づき、画像処理を実行する車両用画像処理システムであって、
前記前方撮像手段により撮像された前方画像と前記後方撮像手段により撮像された後方画像とのいずれか一方または両方に基づいて、太陽光等の光が前記車両の進行方向とは反対方向から当該車両に対して照射されている逆光状態であるか否かを判定する逆光判定手段と、
前記逆光判定手段により逆光状態であると判定された場合に、前記前方画像または前記後方画像のいずれか一方からレーンマーク候補を検出すると共に、検出したレーンマーク候補を残る他方の画像から抽出される画像特徴量と突き合わせることにより、前記車両前方の路面に存在する真のレーンマークを検出するレーンマーク検出手段と
を備えることを特徴とする車両用画像処理システム。
【請求項２】
請求項１記載の車両用画像処理システムにおいて、
前記レーンマーク検出手段は、前記前方画像に基づいてレーンマーク候補を検出し、検出した該レーンマーク候補の車幅方向の位置を算出すると共に、前記逆光判定手段により逆光状態であると判定された場合に、前記画像特徴量としての、前記後方画像における該位置に対応した位置の輝度および色成分のうちいずれか一方または両方に基づいて、該レーンマーク候補から真のレーンマークを検出することを特徴とする車両用画像処理システム。
【請求項３】
請求項１記載の車両用画像処理システムにおいて、
前記レーンマーク検出手段は、前記逆光判定手段により逆光状態であると判定された場合、前記後方画像に基づいてレーンマーク候補を検出し、検出した該レーンマーク候補の車幅方向の位置を算出すると共に、前記前方画像における該算出位置に対応した位置の輝度に基づいて、真のレーンマークを検出することを特徴とする車両用画像処理システム。
【請求項４】
請求項１乃至３のうちいずれか１項記載の車両用画像処理システムにおいて、
前記逆光判定手段は、前記後方画像の下端中心を包囲する低輝度領域が存在する場合に、逆光状態であると判定することを特徴とする車両用画像処理システム。
【請求項１】
車両に搭載されて該車両の前方の路面を撮像する前方撮像手段と該車両の後方の路面を撮像する後方撮像手段との撮像画像に基づき、画像処理を実行する車両用画像処理システムであって、
前記前方撮像手段により撮像された前方画像と前記後方撮像手段により撮像された後方画像とのいずれか一方または両方に基づいて、太陽光等の光が前記車両の進行方向とは反対方向から当該車両に対して照射されている逆光状態であるか否かを判定する逆光判定手段と、
前記逆光判定手段により逆光状態であると判定された場合に、前記前方画像または前記後方画像のいずれか一方からレーンマーク候補を検出すると共に、検出したレーンマーク候補を残る他方の画像から抽出される画像特徴量と突き合わせることにより、前記車両前方の路面に存在する真のレーンマークを検出するレーンマーク検出手段と
を備えることを特徴とする車両用画像処理システム。
【請求項２】
請求項１記載の車両用画像処理システムにおいて、
前記レーンマーク検出手段は、前記前方画像に基づいてレーンマーク候補を検出し、検出した該レーンマーク候補の車幅方向の位置を算出すると共に、前記逆光判定手段により逆光状態であると判定された場合に、前記画像特徴量としての、前記後方画像における該位置に対応した位置の輝度および色成分のうちいずれか一方または両方に基づいて、該レーンマーク候補から真のレーンマークを検出することを特徴とする車両用画像処理システム。
【請求項３】
請求項１記載の車両用画像処理システムにおいて、
前記レーンマーク検出手段は、前記逆光判定手段により逆光状態であると判定された場合、前記後方画像に基づいてレーンマーク候補を検出し、検出した該レーンマーク候補の車幅方向の位置を算出すると共に、前記前方画像における該算出位置に対応した位置の輝度に基づいて、真のレーンマークを検出することを特徴とする車両用画像処理システム。
【請求項４】
請求項１乃至３のうちいずれか１項記載の車両用画像処理システムにおいて、
前記逆光判定手段は、前記後方画像の下端中心を包囲する低輝度領域が存在する場合に、逆光状態であると判定することを特徴とする車両用画像処理システム。
【図１】
【図２】
【図３】
【図７】
【図８】
【図９】
【図４】
【図５】
【図６】
【図２】
【図３】
【図７】
【図８】
【図９】
【図４】
【図５】
【図６】
【公開番号】特開２０１０−２８６９９５（Ｐ２０１０−２８６９９５Ａ）
【公開日】平成２２年１２月２４日（２０１０．１２．２４）
【国際特許分類】
【出願番号】特願２００９−１３９５８５（Ｐ２００９−１３９５８５）
【出願日】平成２１年６月１０日（２００９．６．１０）
【出願人】（０００００５３２６）本田技研工業株式会社 (23,863)
【Ｆターム（参考）】
【公開日】平成２２年１２月２４日（２０１０．１２．２４）
【国際特許分類】
【出願日】平成２１年６月１０日（２００９．６．１０）
【出願人】（０００００５３２６）本田技研工業株式会社 (23,863)
【Ｆターム（参考）】
[ Back to top ]