車両用画像処理装置、車両、及び車両用画像処理プログラム
【課題】車両の周辺を撮像した画像を、路面上の局所的な輝度や色の変動の影響を低減するように処理して、該画像から車両が走行している道路上のレーンマークを精度良く検出可能な車両用画像処理装置、車両、及び車両用画像処理プログラムを提供する。
【解決手段】車両用画像処理装置１０は、取得された画像に対して、所定方向の幅がレーンマークの画像部分の該所定方向の幅よりも大きい所定範囲内となるカーネルのサイズを設定するカーネル設定手段１２と、取得された画像を設定されたサイズの平滑化用のカーネルを用いたフィルタ処理により平滑化する平滑化手段１３と、平滑化された後の画像に対する取得された画像の各画素の画素値の変化度合を算出する変化度合算出手段１４と、取得された画像の、変化度合が所定値以下となる画素の画素値を、平滑化された後の画像の該画素に対応する画素の画素値に置換する画素値置換手段１５とを備える。
【解決手段】車両用画像処理装置１０は、取得された画像に対して、所定方向の幅がレーンマークの画像部分の該所定方向の幅よりも大きい所定範囲内となるカーネルのサイズを設定するカーネル設定手段１２と、取得された画像を設定されたサイズの平滑化用のカーネルを用いたフィルタ処理により平滑化する平滑化手段１３と、平滑化された後の画像に対する取得された画像の各画素の画素値の変化度合を算出する変化度合算出手段１４と、取得された画像の、変化度合が所定値以下となる画素の画素値を、平滑化された後の画像の該画素に対応する画素の画素値に置換する画素値置換手段１５とを備える。
【発明の詳細な説明】
【技術分野】
【０００１】
本発明は、撮像手段を介して取得した車両の周辺の画像を処理する装置、車両、及びその装置の処理をコンピュータに実行させるためのプログラムに関する。
【背景技術】
【０００２】
従来、撮像手段により車両の周辺を撮像した画像を処理して、車両が走行する道路上の白線等のレーンマークや、車両の周辺に存在する歩行者や他車両等の対象物を認識する技術が知られている（例えば、特許文献１を参照）。この技術により、レーンマークや対象物の認識結果に応じて、運転者への情報提示や車両の走行制御を行うことが可能となる。
【０００３】
特許文献１の車両用環境認識装置では、処理周期毎に、車両に搭載されたカメラにより撮像された車両前方の画像を入力し、該画像内に処理対象のウィンドウを設定し、ウィンドウの下端部分の色を路面領域（道路内の白線以外の領域）に相当する基準色とし、該基準色に基づいて路面領域と非路面領域（白線や道路外の領域）とを分離する。そして、前記装置は、分離した路面領域の左右の境界から得られた直線を白線のエッジ部分として白線の検出を行う。このとき、ウィンドウは、前回の処理周期で検出された２本の白線の位置、又は道路幅や走行レーン幅等の所定の道路情報に基づいた固定値を用いて、画像内に１つ設定される。
【特許文献１】特開平７−２００９９７号公報
【発明の開示】
【発明が解決しようとする課題】
【０００４】
しかしながら、路面上には、例えば、路面の補修跡や局所的な影が存在する場合がある。そして、補修跡は周囲の路面とは局所的に色が相違することが多い。また、局所的な影の部分も、散乱光によってのみ照射され色味が加わって、周囲の路面と色が乖離してしまう。このため、特許文献１の装置では、ウィンドウ内で局所的な補修跡や影に相当する部分が、基準色から乖離して非路面領域として分離されてしまい、その境界に応じて白線を検出するため、誤検出の可能性がある。そして、これは色ではなく輝度についても同様である。
【０００５】
本発明は、かかる背景に鑑みてなされたものであり、車両の周辺を撮像した画像を、路面上の局所的な輝度や色の変動の影響を低減するように処理して、該画像から車両が走行している道路上のレーンマークを精度良く検出可能な車両用画像処理装置、車両、及び車両用画像処理プログラムを提供することを目的とする。
【課題を解決するための手段】
【０００６】
かかる目的を達成するために、本発明の車両用画像処理装置は、車両に搭載された撮像手段を介して取得された画像を処理して、該車両が走行している道路上のレーンマークを検出する車両用画像処理装置において、前記撮像手段を介して取得された画像に対して、所定方向の幅が、レーンマークの画像部分の該所定方向の幅よりも大きい所定範囲内となるカーネルのサイズを設定するカーネル設定手段と、前記取得された画像を、前記カーネル設定手段により設定されたサイズの平滑化用のカーネルを用いたフィルタ処理により平滑化する平滑化手段と、前記平滑化手段により平滑化された後の画像に対する、前記取得された画像の各画素の画素値の変化度合を算出する変化度合算出手段と、前記取得された画像の、前記変化度合が所定値以下となる画素の画素値を、前記平滑化された後の画像の該画素に対応する画素の画素値に置換する画素値置換手段と、前記画素値置換手段により画素値が置換された後の画像から前記レーンマークを検出するレーンマーク検出手段とを備えたことを特徴とする（第１発明）。
【０００７】
第１発明の車両用画像処理装置によれば、カーネル設定手段によりカーネルのサイズを設定し、平滑化手段により、取得された画像を、この設定されたサイズの平滑化用のカーネルを用いたフィルタ処理により平滑化する。平滑化手段による平滑化では、画像内の各画素について、当該画素を中心画素として平滑化用のカーネルを配置し、平滑化用のカーネルの範囲に含まれる全画素の画素値の平均を、中心画素の画素値とする処理が行われる。これにより、画像内の画素値の変化の幅が狭まって、低コントラストの画像が得られる。
【０００８】
このとき、カーネル設定手段により所定方向の幅がレーンマークの画像部分の該所定方向の幅よりも大きい所定範囲内となるように設定されたサイズのカーネルを用いて道路の画像を平滑化することで、レーンマークや局所的な補修跡や影等の画像部分の画素を中心画素としてカーネルを配置した場合、カーネルの範囲に、周囲の路面の画像部分が多く含まれることとなる。よって、平滑化される前の画像に対して、平滑化された後の画像では、路面上の局所的な補修跡や影の画像部分や、レーンマークの画像部分の画素値と、その周囲の路面の画像部分の画素値との差が減少する。
【０００９】
このため、変化度合算出手段により、平滑化手段により平滑化された後の画像に対する、取得された画像の各画素の画素値の変化度合を算出すると、変化度合は、路面の画像部分より画素値が大きいレーンマークの画像部分では正の大きい値となり、路面の画像部分やさらに画素値が小さい局所的な補修跡や影の画像部分では小さい値（負の値も含む）となる。そこで、画素値置換手段により、取得された画像の、変化度合が所定値以下となる画素の画素値を、平滑化後の画像の該画素に対応する画素値に置換する。これにより、局所的な補修跡や影の画像部分の画素の画素値は、周囲の路面に近い画素値に置換され、レーンマークの画像部分の画素の画素値はそのまま保持されることとなる。よって、画素値置換手段により画素値が置換された後の画像では、局所的な補修跡や影の画像部分は除去され、レーンマークの画像部分はそのまま残るので、レーンマーク検出手段により、この置換された後の画像を用いてレーンマークを検出することで、レーンマークを精度良く検出することが可能となる。
【００１０】
また、第１発明の車両用画像処理装置において、前記カーネル設定手段は、前記道路の所定領域の前記車両からの距離が遠いほど、前記画像上の該所定領域の画像部分に対して設定される前記カーネルのサイズが小さくなるように、該カーネルのサイズを設定することが好ましい（第２発明）。
【００１１】
第２発明の車両用画像処理装置によれば、実空間における道路の所定領域の車両からの距離が遠いほど、画像上で該所定領域の画像部分のサイズは小さくなる。よって、道路の所定領域の車両からの距離が遠いほど、画像上の該所定領域の画像部分に対して設定されるカーネルのサイズが小さくなるように、該カーネルのサイズを設定することで、画像上の各位置で、レーンマークや局所的な補修跡や影等の画像部分の画素を中心画素としてカーネルを配置した場合、カーネルの範囲に、周囲の路面の画像部分が多く含まれるようにすることができる。
【００１２】
また、第１又は第２発明の車両用画像処理装置において、前記カーネル設定手段は、前記カーネルの形状を長方形又は台形に設定することが好ましい（第３発明）。
【００１３】
第３発明の車両用画像処理装置によれば、車両が走行している道路上の白線や黄線等のレーンマークの形状は線状である。よって、平滑化用のカーネルを長方形又は台形に設定することで、レーンマークの画像部分の形状に合致するように平滑化用のカーネルを配置することができる。
【００１４】
また、第３発明の車両用画像処理装置において、前記カーネル設定手段は、前記車両の進行方向に対応する画像上の方向に対する、前記カーネルの長辺の中心線の傾きが所定角度となるように、該カーネルの向きを設定することが好ましい（第４発明）。
【００１５】
第４発明の車両用画像処理装置によれば、車両が走行している道路上のレーンマークは、画像上で車両の進行方向に対応する画像上の方向にある消失点に向かうように撮像されると想定される。よって、車両の進行方向に対応する画像上の方向に対する、前記カーネルの長辺の中心線の傾きが所定角度となるように、カーネルの向きを設定することで、レーンマークの画像部分の向きに合致するように平滑化用のカーネルを設定することができる。
【００１６】
また、第１〜第４発明のうちいずれかの車両用画像処理装置において、前記変化度合算出手段は、前記変化度合として、前記取得された画像から前記平滑化された後の画像を減算して得られる各画素の画素値の差、又は該取得された画像を該平滑化された後の画像で除算して得られる各画素の画素値の比を用いることが好ましい（第５発明）。
【００１７】
第５発明の車両用画像処理装置によれば、取得された画像から平滑化された後の画像を減算して得られる各画素の画素値の差、又は取得された画像を平滑化された後の画像で除算して得られる各画素の画素値の比は、画素値の変化度合を示す値であるので、これらの差又比を用いて、画素値置換手段により画像の画素値の置換を適切に行うことができる。
【００１８】
また、第１〜第５発明のうちいずれかの車両用画像処理装置において、前記平滑化手段により平滑化される前記画像は、輝度を画素値とする画像であることが好ましい（第６発明）。
【００１９】
第６発明の車両用画像処理装置によれば、明るい白色や黄色のレーンマークの画像部分と、暗いグレーやブラウンの路面の画像部分と、さらに暗い局所的な補修跡や影の画像部分とでは、輝度が相違すると想定されるので、輝度を画素値とする画像について、局所的な補修跡や影の画像部分は除去され、レーンマークの画像部分はそのまま残るように、画素値を置換することで、この置換された後の画像からレーンマークの画像部分を精度良く検出することができる。
【００２０】
或いは、第１〜第５発明のうちいずれかの車両用画像処理装置において、前記平滑化手段により平滑化される前記画像は、カラー画像のカラー成分から算出される輝度又は彩度を画素値とする画像であることが好ましい（第７発明）。
【００２１】
第７発明の車両用画像処理装置によれば、明るい白色や黄色のレーンマークの画像部分と、暗いグレーやブラウンの路面の画像部分と、さらに暗い局所的な補修跡や影の画像部分とでは、輝度や彩度が相違することとなるので、輝度又は彩度を画素値とする画像について、局所的な補修跡や影の画像部分は除去され、レーンマークの画像部分はそのまま残るように、画素値を置換することで、この置換された後の画像からレーンマークの画像部分を精度良く検出することができる。
【００２２】
次に、本発明の車両は、撮像手段を備え、該撮像手段を介して取得された画像を処理して、走行している道路上のレーンマークを検出する機能を有する車両であって、前記撮像手段を介して取得された画像に対して、所定方向の幅が、レーンマークの画像部分の該所定方向の幅よりも大きい所定範囲内となるカーネルのサイズを設定するカーネル設定手段と、前記取得された画像を、前記カーネル設定手段により設定されたサイズの平滑化用のカーネルを用いたフィルタ処理により平滑化する平滑化手段と、前記平滑化手段により平滑化された後の画像に対する、前記取得された画像の各画素の画素値の変化度合を算出する変化度合算出手段と、前記取得された画像の、前記変化度合が所定値以下となる画素の画素値を、前記平滑化された後の画像の該画素に対応する画素の画素値に置換する画素値置換手段と、前記画素値置換手段により画素値が置換された後の画像から前記レーンマークを検出するレーンマーク検出手段とを備えたことを特徴とする（第８発明）。
【００２３】
第８発明の車両によれば、第１発明の車両用画像処理装置に関して説明したように、カーネル設定手段により、所定方向の幅がレーンマークの画像部分の該所定方向の幅よりも大きい所定範囲内となるようにカーネルのサイズを設定し、取得された画像を、この設定されたサイズの平滑化用のカーネルを用いたフィルタ処理により平滑化することにより、平滑化される前の画像に対して、平滑化された後の画像では、路面上の局所的な補修跡や影の画像部分や、レーンマークの画像部分の画素値と、その周囲の路面の画像部分の画素値との差が減少する。したがって、画素値置換手段により画素値が置換された後の画像では、局所的な補修跡や影の画像部分は除去され、レーンマークの画像部分はそのまま残るので、この置換された後の画像を用いてレーンマークを検出することで、レーンマークを精度良く検出することが可能となる。
【００２４】
次に、本発明の車両用画像処理プログラムは、車両に搭載された撮像手段を介して取得された画像を処理して、該車両が走行している道路上のレーンマークを検出する処理をコンピュータに実行させる車両用画像処理プログラムであって、前記撮像手段を介して取得された画像に対して、所定方向の幅が、レーンマークの画像部分の該所定方向の幅よりも大きい所定範囲内となるカーネルのサイズを設定するカーネル設定処理と、前記取得された画像を、前記カーネル設定処理により設定されたサイズの平滑化用のカーネルを用いたフィルタ処理により平滑化する平滑化処理と、前記平滑化処理により平滑化された後の画像に対する、前記取得された画像の各画素の画素値の変化度合を算出する変化度合算出処理と、前記取得された画像の、前記変化度合が所定値以下となる画素の画素値を、前記平滑化された後の画像の該画素に対応する画素の画素値に置換する画素値置換処理と、前記画素値置換処理により画素値が置換された後の画像から前記レーンマークを検出するレーンマーク検出処理とをコンピュータに実行させる機能を有することを特徴とする（第９発明）。
【００２５】
第９発明の車両用画像処理用プログラムによれば、第１発明に関して説明した効果を奏し得る処理をコンピュータに実行させることができる。
【発明を実施するための最良の形態】
【００２６】
本発明の一実施形態を、図１〜図６を参照して説明する。図１を参照して、本発明の実施形態である車両用画像処理装置１０は自車両１（本発明の車両）に搭載して使用され、自車両１の前方を撮像するカメラ２により撮像される画像から、自車両１の走行している道路上のレーンマークを検出するものである。なお、カメラ２（本発明の撮像手段）はＣＣＤカメラ等であり、自車両１のフロント部分に取り付けられている。
【００２７】
また、車両用画像処理装置１０により検出されたレーンマークの位置データは、車両１のＥＣＵ（Electronic Control Unit）２０に出力される。ＥＣＵ２０は、レーンマークの位置データに基いて、自車両１が走行している道路の車線を認識し、自車両１が車線から逸脱する可能性を判定する車線逸脱判定処理と、自車両１が車線から逸脱する可能性がある状況となったときに、注意喚起出力（図示しないスピーカからの音声出力等による）を行なう注意喚起出力処理と、自車両１の車線からの逸脱が回避されるように、自車両１のブレーキやステアリングをアシスト駆動する車線逸脱回避制御処理とを実行する。
【００２８】
次に、図２を参照して、車両用画像処理装置１０は、その機能として、画像取得手段１１と、カーネル設定手段１２と、平滑化手段１３と、変化度合算出手段１４と、画素値置換手段１５と、レーンマーク検出手段１６とを備えている。
【００２９】
画像取得手段１１は、カメラ２から出力される画像信号を入力し、入力した画像信号から、画素データにより構成されるグレースケール画像を取得する。このとき、画素データは輝度値で構成されている。
【００３０】
カーネル設定手段１２は、カメラ２を介して取得された画像に対して、所定方向の幅が、レーンマークの画像部分の該所定方向の幅よりも大きい所定範囲内となるカーネルのサイズを設定する。平滑化用のカーネルの設定の詳細については後述する。
【００３１】
平滑化手段１３は、カメラ２を介して取得された画像を、カーネル設定手段１２により設定されたサイズの平滑化用のカーネルを用いたフィルタ処理により平滑化する。平滑化手段１３による平滑化では、画像内の各画素について、当該画素を中心画素として平滑化用のカーネルを配置し、カーネルの範囲に含まれる全画素の画素値の平均を、中心画素の画素値とする処理が行われる。
【００３２】
変化度合算出手段は１４は、平滑化手段１３により平滑化された後の画像に対する、カメラ２を介して取得された画像の各画素の画素値の変化度合を算出する。具体的には、変化度合算出手段は１４は、変化度合として、取得された画像から平滑化された後の画像を減算して得られる各画素の画素値の差を用いる。
【００３３】
画素値置換手段１５は、カメラ２を介して取得された画像の、変化度合算出手段１４により算出された変化度合が所定値以下となる画素の画素値を、平滑化手段１３により平滑化された後の画像の該画素に対応する画素の画素値に置換する。
【００３４】
レーンマーク検出手段１６は、画素値置換手段１５により置換された後の画像から、自車両１が走行している道路上のレーンマークを検出する。具体的には、レーンマーク検出手段１６は、置換された後の画像にエッジ抽出処理を行って抽出されたエッジ点からレーンマークを検出する。このとき、レーンマーク検出手段１６は、エッジ点の点列データから直線成分をレーンマーク候補として抽出し、抽出されたレーンマーク候補のうちから画像上の位置等に基づいて自車両１が走行している道路の車線を規定するレーンマークを検出する。点列データから直線成分を抽出する手法としては、ハフ変換や、最小２乗法による直線の当てはめ等の手法を用いることができる。
【００３５】
車両用画像処理装置１０は、入力アナログ信号をデジタル信号に変換するＡ／Ｄ変換回路と、デジタル化した画像信号を記憶する画像メモリと、画像メモリに記憶されたデータにアクセス（読み出し及び書き込み）するためのインタフェース回路を有して、該画像メモリに記憶された画像に対して各種の演算処理を行うコンピュータ（ＣＰＵ，メモリ，入出力回路等からなる演算処理回路、或いはこれらの機能を集約したマイクロコンピュータ）等により構成された電子ユニットである。車両用画像処理装置１０は、該コンピュータに本発明の車両認識用プログラムを実行させることによって、該コンピュータが、画像取得手段１１と、カーネル設定手段１２と、平滑化手段１３と、変化度合算出手段１４と、画素値置換手段１５と、レーンマーク検出手段１６として機能する。
【００３６】
次に、車両用画像処理装置１０の作動（車両用画像処理）を、図３に示したフローチャートに従って説明する。図３に示したフローチャートによる処理は、車両用画像処理装置１０の制御周期毎に繰り返し実行される。
【００３７】
図３のＳＴＥＰ１で、画像取得手段１１は、カメラ２を介してグレースケール画像（輝度画像）を取得する。取得された輝度画像はＡ／Ｄ変換されて画像メモリに格納される。図４（ａ）に、ある制御周期の時刻においてカメラ２を介して取得される輝度画像Ｉ1を例示する。輝度画像Ｉ1は、図４（ａ）に例示するような、m×n個の画素からなる画像である。輝度画像Ｉ1の各画素Ｐ1は、輝度値Ｙを有するものであり、Ｐ1（i，j）＝Ｙijで表される。ただし、i，jは、各画素の座標であり、0≦i＜m，0≦j＜nとなる整数である。
【００３８】
図４（ａ）の例では、自車両１が矢印方向に走行しており、自車両１が走行している道路の車線の左側を規定するレーンマークが破線の白線Ａ１であり、右側を規定するレーンマークが破線の白線Ａ２である場合を示す。このとき、破線の白線Ａ１，Ａ２のエッジ部分には凹凸があり、この部分に線状の影（黒線）Ｂ１，Ｂ２ができている。また、自車両１が走行している道路の車線の路面上には、周囲より暗い線状の補修跡（黒線）Ｂ３と、局所的な凹凸や汚れによる黒点群Ｂ４がある。
【００３９】
次に、ＳＴＥＰ２で、カーネル設定手段１２は、ＳＴＥＰ１で取得した輝度画像Ｉ1に対して、複数のサイズの平滑化用のカーネルを設定する。
【００４０】
ここで、図５を参照して、平滑化用のカーネルの設定について説明する。図５に、輝度画像Ｉ1に対して設定された５つの平滑化用のカーネルＫ1〜Ｋ5を例示する。平滑化用のカーネルＫ1〜Ｋ5は、それぞれ、輝度画像Ｉ1の領域Ｒ1〜Ｒ5に含まれる画素を中心画素として平滑化する際に用いられる。平滑化用のカーネルＫ1〜Ｋ5の縦方向のサイズＹｆ［Pixel］は、いずれも数画素（例えば、1〜3［Pixel］）とする。領域Ｒ1〜Ｒ5は、自車両１から離れるにしたがって、段階的に縦方向の幅を狭くしている。なお、サイズＹｆは、自車両１からの距離が離れるほど小さくなるような値を用いてもよい。また、平滑化用のカーネルＫ1〜Ｋ5の横方向のサイズＸｆ［Pixel］は、実空間における所定幅ΔＸに該当する値とする。所定幅ΔＸとしては、レーンマークの幅と想定される値（例えば、0.1〜0.75［m］）より大きい値（例えば、レーンマークの幅の数倍、具体的には0.5〜1［m］）が用いられる。なお、所定幅ΔＸは、道路の幅と想定される値よりは小さい値とする。平滑化用のカーネルＫ1〜Ｋ5の横方向のサイズＸｆは、例えば、それぞれ10，20，50，100，150［pixel］となる。サイズＸｆは、図６に示すような自車両１の実空間座標系と画像座標系との関係から設定される。画像座標系は、図６（ｃ）に示すように、左上を原点として座標（ｘ，ｙ）とする。また、１画素あたりの物理的間隔を（δx，δy）とする。
【００４１】
このとき、図６（ａ）に示すように、路面上の対象物の自車両１に対する距離Ｚ、カメラ２の焦点距離ｆ、実空間上でのカメラ２の路面からの高さｈ、画像上に撮像された対象物の物理的高さＹcには、下記式（１）
Ｙc＝ｆ×ｈ／Ｚ ・・・（１）
の関係がある。また、画像上に撮像された対象物の物理的高さＹc、画像座標ｙ、１画素辺りの物理的間隔δyには、下記式（2）
Ｙc＝ｙ×δy ・・・（2）
の関係がある。
【００４２】
また、図６（ｂ）に示すように、路面上の対象物の自車両１に対する距離Ｚ、カメラ２の焦点距離ｆ、実空間上での対象物の幅ΔＸ、画像上に撮像された対象物の物理的幅Ｘcには、下記式（３）
Ｘc＝ｆ×ΔＸ／Ｚ ・・・（３）
の関係がある。また、画像上に撮像された対象物の物理的幅Ｘc、画像座標ｘ、１画素辺りの物理的間隔δｘには、下記式（４）
Ｘc＝ｘ×δｘ ・・・（４）
の関係がある。
【００４３】
式（１）〜（４）から、サイズＸｆは、
Ｘｆ＝（ΔＸ／ｈ）×ｙ ・・・（５）
となる。実空間上での対象物の幅ΔＸ、実空間上でのカメラ２の路面からの高さｈは固定値なので、画像座標ｙが小さくなるほどサイズＸｆは小さくなる。さらに、式（１）（２）から、距離Ｚが大きくなるほど、画像座標ｙが小さくなるので、サイズＸｆも小さくなる。すなわち、サイズＸｆは、自車両１からの距離が離れるほど小さくなるような値に設定される。
【００４４】
図３に戻り、次に、ＳＴＥＰ３で、平滑化手段１３は、ＳＴＥＰ２で設定した平滑化用のカーネルＫ1〜Ｋ5を用いて輝度画像Ｉ1を平滑化する。図４（b）に、平滑化後の画像Ｉ2を示す。これにより、輝度画像Ｉ1内の画素値の変化の幅が狭くなって、低コントラストの画像が得られる。平滑化後の画像Ｉ2では、影Ｂ１，Ｂ２、補修跡Ｂ３、黒点群Ｂ４の画像部分の画素値が、平均的な路面の輝度に近い画素値となり、周囲の路面の画像部分から判別できなくなっている。また、白線Ａ１，Ａ２の画像部分の画素値も、平均的な路面の輝度に近い画素値となっている。
【００４５】
次に、画像の全画素（i=1〜m，j=1〜n）について、ＳＴＥＰ４〜６の処理が実行される。
【００４６】
まず、ＳＴＥＰ４で、変化度合算出手段１４は、ＳＴＥＰ１で取得した輝度画像Ｉ1の画素値Ｐ1（i，j）から、ＳＴＥＰ３の平滑化後の画像Ｉ2の画素値Ｐ2（i，j）を減算して、画素（i，j）の画素値の変化度合ΔＩY（i，j）＝Ｐ1（i，j）−Ｐ2（i，j）を算出する。
【００４７】
次に、ＳＴＥＰ５で、画素値置換手段１５は、各画素の画素値の変化度合ΔＩY（i，j）が所定値ＩYth以下であるか否かを判断する。所定値ＩYthは、レーンマークの画像部分の画素値の変化度合が取り得る範囲に応じて定められる値（例えば、０以下の値）である。ＳＴＥＰ５の判断結果がＹＥＳの場合は、画素（i，j）が路面の画像部分か路面より暗い影Ｂ１，Ｂ２、補修跡Ｂ３、黒点群Ｂ４の画像部分であると想定される。よって、画素値置換手段１５は、取得画像の画素値Ｐ1（i，j）を平滑化画像の画素値Ｐ2（i，j）に置換し、ＳＴＥＰ４に戻る。ＳＴＥＰ５の判断結果がＮＯの場合は、画素（i，j）が明るい白線Ａ１，Ａ２の画像部分であると想定される。よって、画素値置換手段１５は、画素（i，j）の画素値を置換せずに、そのままＳＴＥＰ４に戻る。
【００４８】
画像の全画素についてＳＴＥＰ４〜６の処理が実行された結果として得られる、置換後の画像Ｉ3を図４（ｃ）に示す。図４（ｃ）に示すように、置換後の画像Ｉ3では、影Ｂ１，Ｂ２、補修跡Ｂ３、黒点群Ｂ４の画像部分は、平滑化後の画像Ｉ2の画素値に置換されるのに対し、白線Ａ１，Ａ２の画像部分は、輝度画像Ｉ1の画素値のまま保持される。よって、置換後の画像Ｉ3では、影Ｂ１，Ｂ２、補修跡Ｂ３、黒点群Ｂ４の画像部分は除去され、白線Ａ１，Ａ２の画像部分はそのまま残る。
【００４９】
次に、ＳＴＥＰ７に進み、レーンマーク検出手段１６は、置換後の画像Ｉ3に基づいて、レーンマークを検出する。このとき、置換後の画像Ｉ3では影Ｂ１，Ｂ２、補修跡Ｂ３、黒点群Ｂ４の画像部分が除去されているので、エッジ抽出処理により白線Ａ１，Ａ２の画像部分に相当するエッジ点のみが抽出され、このエッジ点に基づいて白線Ａ１，Ａ２が精度良く検出される。
【００５０】
以上が、本実施形態の車両用画像処理装置１０における車両用画像処理である。本実施形態によれば、自車両１の周辺を撮像した画像を、該画像内での輝度や色の変動の影響を低減するように処理して、該画像から自車両１が走行している道路上の白線Ａ１，Ａ２を精度良く検出することができる。
【００５１】
なお、本実施形態では、変化度合算出手段１４は、変化度合として画素値の差を用いたが、他の実施形態において、変化度合として、取得された画像を平滑化後の画像で除算して得られる各画素の画素値の比を用いるものとしてもよい（ΔＩY（i，j）＝Ｐ1（i，j）／Ｐ2（i，j））。この場合、所定値ＩYthは、レーンマークの画像部分の画素値の変化度合が取り得る範囲に応じて定められる値（例えば、１以下の値）とする。
【００５２】
また、本実施形態において、図７に示すように、平滑化用のカーネルＫ1〜Ｋ5を、自車両１の進行方向に対応する画像上の方向Ｌｃに対する、カーネルの長辺の中心線Ｌの傾きが所定角度θ（例えば４５°）となるように、カーネルの向きを設定するものとしてもよい。
【００５３】
また、本実施形態では、平滑化用のカーネルの形状を長方形としたが、他の実施形態として、平滑化用のカーネルの形状を台形としてもよい。
【００５４】
また、本実施形態では、画像取得手段１１は、カメラ２を介してグレースケール画像を取得するものとしたが、他の実施形態として、画素データがＲ値、Ｇ値、Ｂ値（又はＣＭＹ出力等）からなるカラー成分で構成されるカラー画像を取得するものとしてもよい。この場合、例えば、画像取得手段１１は、取得されたカラー画像の画素のカラー成分（Ｒ，Ｇ，Ｂ）から、Ｙ＝α×Ｒ＋β×Ｇ＋γ×Ｂにより画素の輝度値Ｙを算出し、輝度画像を作成する。ただし、α，β，γは、α＋β＋γ＝１となるような所定の係数である。なお、画像取得手段１１は、輝度値Ｙを、Ｒ値，Ｇ値，Ｂ値のうちの最大値MAX、最小値MINを用いて、Ｙ＝（MAX＋MIN）／２により算出してもよい。または、画像取得手段１１は、輝度値ＹとしてＧ値を用いるものとしてもよい。
【００５５】
また、本実施形態では、画像取得手段１１はカメラ２を介して輝度画像を取得し、平滑化手段１３は輝度画像を平滑化し、画素値置換手段１４は輝度画像の画素値を平滑化後の画像の画素値で置換するものとしたが、他の実施形態として、例えば、画像取得手段１１がカメラ２を介してカラー画像を取得する場合、カラー画像の画素のカラー成分から画素の彩度を算出し、この彩度を画素値とする彩度画像を作成し、この彩度画像に平滑化処理・画素値置換処理を行うものとしてもよい。
【００５６】
また、本実施形態では、カメラ２により自車両１の前方を撮像し、車両用画像処理装置１０は自車両１の前方の道路の画像からレーンマークを検出するものとしたが、他の実施形態として、カメラにより自車両１の後方を撮像し、車両用画像処理装置１０は自車両１の後方の道路の画像からレーンマークを検出するものとしてもよい。
【図面の簡単な説明】
【００５７】
【図１】本発明の車両用画像処理装置の自車両への搭載態様を示した説明図。
【図２】本発明の車両用画像処理装置の構成図。
【図３】図２に示した車両用画像処理装置による画像処理を示すフローチャート。
【図４】図３の画像処理の説明図。
【図５】図３の画像処理における平滑化用のカーネルの設定に関する説明図。
【図６】図５の平滑化用のカーネルのサイズに関する説明図。
【図７】本発明の他の実施形態の車両用画像処理装置における平滑化用のカーネルの設定に関する説明図。
【符号の説明】
【００５８】
１…車両（自車両）、２…カメラ（撮像手段）、１０…車両用画像処理装置、１１…画像取得手段、１２…カーネル設定手段、１３…平滑化手段、１４…変化度合算出手段、１５…画素値置換手段、１６…レーンマーク検出手段。
【技術分野】
【０００１】
本発明は、撮像手段を介して取得した車両の周辺の画像を処理する装置、車両、及びその装置の処理をコンピュータに実行させるためのプログラムに関する。
【背景技術】
【０００２】
従来、撮像手段により車両の周辺を撮像した画像を処理して、車両が走行する道路上の白線等のレーンマークや、車両の周辺に存在する歩行者や他車両等の対象物を認識する技術が知られている（例えば、特許文献１を参照）。この技術により、レーンマークや対象物の認識結果に応じて、運転者への情報提示や車両の走行制御を行うことが可能となる。
【０００３】
特許文献１の車両用環境認識装置では、処理周期毎に、車両に搭載されたカメラにより撮像された車両前方の画像を入力し、該画像内に処理対象のウィンドウを設定し、ウィンドウの下端部分の色を路面領域（道路内の白線以外の領域）に相当する基準色とし、該基準色に基づいて路面領域と非路面領域（白線や道路外の領域）とを分離する。そして、前記装置は、分離した路面領域の左右の境界から得られた直線を白線のエッジ部分として白線の検出を行う。このとき、ウィンドウは、前回の処理周期で検出された２本の白線の位置、又は道路幅や走行レーン幅等の所定の道路情報に基づいた固定値を用いて、画像内に１つ設定される。
【特許文献１】特開平７−２００９９７号公報
【発明の開示】
【発明が解決しようとする課題】
【０００４】
しかしながら、路面上には、例えば、路面の補修跡や局所的な影が存在する場合がある。そして、補修跡は周囲の路面とは局所的に色が相違することが多い。また、局所的な影の部分も、散乱光によってのみ照射され色味が加わって、周囲の路面と色が乖離してしまう。このため、特許文献１の装置では、ウィンドウ内で局所的な補修跡や影に相当する部分が、基準色から乖離して非路面領域として分離されてしまい、その境界に応じて白線を検出するため、誤検出の可能性がある。そして、これは色ではなく輝度についても同様である。
【０００５】
本発明は、かかる背景に鑑みてなされたものであり、車両の周辺を撮像した画像を、路面上の局所的な輝度や色の変動の影響を低減するように処理して、該画像から車両が走行している道路上のレーンマークを精度良く検出可能な車両用画像処理装置、車両、及び車両用画像処理プログラムを提供することを目的とする。
【課題を解決するための手段】
【０００６】
かかる目的を達成するために、本発明の車両用画像処理装置は、車両に搭載された撮像手段を介して取得された画像を処理して、該車両が走行している道路上のレーンマークを検出する車両用画像処理装置において、前記撮像手段を介して取得された画像に対して、所定方向の幅が、レーンマークの画像部分の該所定方向の幅よりも大きい所定範囲内となるカーネルのサイズを設定するカーネル設定手段と、前記取得された画像を、前記カーネル設定手段により設定されたサイズの平滑化用のカーネルを用いたフィルタ処理により平滑化する平滑化手段と、前記平滑化手段により平滑化された後の画像に対する、前記取得された画像の各画素の画素値の変化度合を算出する変化度合算出手段と、前記取得された画像の、前記変化度合が所定値以下となる画素の画素値を、前記平滑化された後の画像の該画素に対応する画素の画素値に置換する画素値置換手段と、前記画素値置換手段により画素値が置換された後の画像から前記レーンマークを検出するレーンマーク検出手段とを備えたことを特徴とする（第１発明）。
【０００７】
第１発明の車両用画像処理装置によれば、カーネル設定手段によりカーネルのサイズを設定し、平滑化手段により、取得された画像を、この設定されたサイズの平滑化用のカーネルを用いたフィルタ処理により平滑化する。平滑化手段による平滑化では、画像内の各画素について、当該画素を中心画素として平滑化用のカーネルを配置し、平滑化用のカーネルの範囲に含まれる全画素の画素値の平均を、中心画素の画素値とする処理が行われる。これにより、画像内の画素値の変化の幅が狭まって、低コントラストの画像が得られる。
【０００８】
このとき、カーネル設定手段により所定方向の幅がレーンマークの画像部分の該所定方向の幅よりも大きい所定範囲内となるように設定されたサイズのカーネルを用いて道路の画像を平滑化することで、レーンマークや局所的な補修跡や影等の画像部分の画素を中心画素としてカーネルを配置した場合、カーネルの範囲に、周囲の路面の画像部分が多く含まれることとなる。よって、平滑化される前の画像に対して、平滑化された後の画像では、路面上の局所的な補修跡や影の画像部分や、レーンマークの画像部分の画素値と、その周囲の路面の画像部分の画素値との差が減少する。
【０００９】
このため、変化度合算出手段により、平滑化手段により平滑化された後の画像に対する、取得された画像の各画素の画素値の変化度合を算出すると、変化度合は、路面の画像部分より画素値が大きいレーンマークの画像部分では正の大きい値となり、路面の画像部分やさらに画素値が小さい局所的な補修跡や影の画像部分では小さい値（負の値も含む）となる。そこで、画素値置換手段により、取得された画像の、変化度合が所定値以下となる画素の画素値を、平滑化後の画像の該画素に対応する画素値に置換する。これにより、局所的な補修跡や影の画像部分の画素の画素値は、周囲の路面に近い画素値に置換され、レーンマークの画像部分の画素の画素値はそのまま保持されることとなる。よって、画素値置換手段により画素値が置換された後の画像では、局所的な補修跡や影の画像部分は除去され、レーンマークの画像部分はそのまま残るので、レーンマーク検出手段により、この置換された後の画像を用いてレーンマークを検出することで、レーンマークを精度良く検出することが可能となる。
【００１０】
また、第１発明の車両用画像処理装置において、前記カーネル設定手段は、前記道路の所定領域の前記車両からの距離が遠いほど、前記画像上の該所定領域の画像部分に対して設定される前記カーネルのサイズが小さくなるように、該カーネルのサイズを設定することが好ましい（第２発明）。
【００１１】
第２発明の車両用画像処理装置によれば、実空間における道路の所定領域の車両からの距離が遠いほど、画像上で該所定領域の画像部分のサイズは小さくなる。よって、道路の所定領域の車両からの距離が遠いほど、画像上の該所定領域の画像部分に対して設定されるカーネルのサイズが小さくなるように、該カーネルのサイズを設定することで、画像上の各位置で、レーンマークや局所的な補修跡や影等の画像部分の画素を中心画素としてカーネルを配置した場合、カーネルの範囲に、周囲の路面の画像部分が多く含まれるようにすることができる。
【００１２】
また、第１又は第２発明の車両用画像処理装置において、前記カーネル設定手段は、前記カーネルの形状を長方形又は台形に設定することが好ましい（第３発明）。
【００１３】
第３発明の車両用画像処理装置によれば、車両が走行している道路上の白線や黄線等のレーンマークの形状は線状である。よって、平滑化用のカーネルを長方形又は台形に設定することで、レーンマークの画像部分の形状に合致するように平滑化用のカーネルを配置することができる。
【００１４】
また、第３発明の車両用画像処理装置において、前記カーネル設定手段は、前記車両の進行方向に対応する画像上の方向に対する、前記カーネルの長辺の中心線の傾きが所定角度となるように、該カーネルの向きを設定することが好ましい（第４発明）。
【００１５】
第４発明の車両用画像処理装置によれば、車両が走行している道路上のレーンマークは、画像上で車両の進行方向に対応する画像上の方向にある消失点に向かうように撮像されると想定される。よって、車両の進行方向に対応する画像上の方向に対する、前記カーネルの長辺の中心線の傾きが所定角度となるように、カーネルの向きを設定することで、レーンマークの画像部分の向きに合致するように平滑化用のカーネルを設定することができる。
【００１６】
また、第１〜第４発明のうちいずれかの車両用画像処理装置において、前記変化度合算出手段は、前記変化度合として、前記取得された画像から前記平滑化された後の画像を減算して得られる各画素の画素値の差、又は該取得された画像を該平滑化された後の画像で除算して得られる各画素の画素値の比を用いることが好ましい（第５発明）。
【００１７】
第５発明の車両用画像処理装置によれば、取得された画像から平滑化された後の画像を減算して得られる各画素の画素値の差、又は取得された画像を平滑化された後の画像で除算して得られる各画素の画素値の比は、画素値の変化度合を示す値であるので、これらの差又比を用いて、画素値置換手段により画像の画素値の置換を適切に行うことができる。
【００１８】
また、第１〜第５発明のうちいずれかの車両用画像処理装置において、前記平滑化手段により平滑化される前記画像は、輝度を画素値とする画像であることが好ましい（第６発明）。
【００１９】
第６発明の車両用画像処理装置によれば、明るい白色や黄色のレーンマークの画像部分と、暗いグレーやブラウンの路面の画像部分と、さらに暗い局所的な補修跡や影の画像部分とでは、輝度が相違すると想定されるので、輝度を画素値とする画像について、局所的な補修跡や影の画像部分は除去され、レーンマークの画像部分はそのまま残るように、画素値を置換することで、この置換された後の画像からレーンマークの画像部分を精度良く検出することができる。
【００２０】
或いは、第１〜第５発明のうちいずれかの車両用画像処理装置において、前記平滑化手段により平滑化される前記画像は、カラー画像のカラー成分から算出される輝度又は彩度を画素値とする画像であることが好ましい（第７発明）。
【００２１】
第７発明の車両用画像処理装置によれば、明るい白色や黄色のレーンマークの画像部分と、暗いグレーやブラウンの路面の画像部分と、さらに暗い局所的な補修跡や影の画像部分とでは、輝度や彩度が相違することとなるので、輝度又は彩度を画素値とする画像について、局所的な補修跡や影の画像部分は除去され、レーンマークの画像部分はそのまま残るように、画素値を置換することで、この置換された後の画像からレーンマークの画像部分を精度良く検出することができる。
【００２２】
次に、本発明の車両は、撮像手段を備え、該撮像手段を介して取得された画像を処理して、走行している道路上のレーンマークを検出する機能を有する車両であって、前記撮像手段を介して取得された画像に対して、所定方向の幅が、レーンマークの画像部分の該所定方向の幅よりも大きい所定範囲内となるカーネルのサイズを設定するカーネル設定手段と、前記取得された画像を、前記カーネル設定手段により設定されたサイズの平滑化用のカーネルを用いたフィルタ処理により平滑化する平滑化手段と、前記平滑化手段により平滑化された後の画像に対する、前記取得された画像の各画素の画素値の変化度合を算出する変化度合算出手段と、前記取得された画像の、前記変化度合が所定値以下となる画素の画素値を、前記平滑化された後の画像の該画素に対応する画素の画素値に置換する画素値置換手段と、前記画素値置換手段により画素値が置換された後の画像から前記レーンマークを検出するレーンマーク検出手段とを備えたことを特徴とする（第８発明）。
【００２３】
第８発明の車両によれば、第１発明の車両用画像処理装置に関して説明したように、カーネル設定手段により、所定方向の幅がレーンマークの画像部分の該所定方向の幅よりも大きい所定範囲内となるようにカーネルのサイズを設定し、取得された画像を、この設定されたサイズの平滑化用のカーネルを用いたフィルタ処理により平滑化することにより、平滑化される前の画像に対して、平滑化された後の画像では、路面上の局所的な補修跡や影の画像部分や、レーンマークの画像部分の画素値と、その周囲の路面の画像部分の画素値との差が減少する。したがって、画素値置換手段により画素値が置換された後の画像では、局所的な補修跡や影の画像部分は除去され、レーンマークの画像部分はそのまま残るので、この置換された後の画像を用いてレーンマークを検出することで、レーンマークを精度良く検出することが可能となる。
【００２４】
次に、本発明の車両用画像処理プログラムは、車両に搭載された撮像手段を介して取得された画像を処理して、該車両が走行している道路上のレーンマークを検出する処理をコンピュータに実行させる車両用画像処理プログラムであって、前記撮像手段を介して取得された画像に対して、所定方向の幅が、レーンマークの画像部分の該所定方向の幅よりも大きい所定範囲内となるカーネルのサイズを設定するカーネル設定処理と、前記取得された画像を、前記カーネル設定処理により設定されたサイズの平滑化用のカーネルを用いたフィルタ処理により平滑化する平滑化処理と、前記平滑化処理により平滑化された後の画像に対する、前記取得された画像の各画素の画素値の変化度合を算出する変化度合算出処理と、前記取得された画像の、前記変化度合が所定値以下となる画素の画素値を、前記平滑化された後の画像の該画素に対応する画素の画素値に置換する画素値置換処理と、前記画素値置換処理により画素値が置換された後の画像から前記レーンマークを検出するレーンマーク検出処理とをコンピュータに実行させる機能を有することを特徴とする（第９発明）。
【００２５】
第９発明の車両用画像処理用プログラムによれば、第１発明に関して説明した効果を奏し得る処理をコンピュータに実行させることができる。
【発明を実施するための最良の形態】
【００２６】
本発明の一実施形態を、図１〜図６を参照して説明する。図１を参照して、本発明の実施形態である車両用画像処理装置１０は自車両１（本発明の車両）に搭載して使用され、自車両１の前方を撮像するカメラ２により撮像される画像から、自車両１の走行している道路上のレーンマークを検出するものである。なお、カメラ２（本発明の撮像手段）はＣＣＤカメラ等であり、自車両１のフロント部分に取り付けられている。
【００２７】
また、車両用画像処理装置１０により検出されたレーンマークの位置データは、車両１のＥＣＵ（Electronic Control Unit）２０に出力される。ＥＣＵ２０は、レーンマークの位置データに基いて、自車両１が走行している道路の車線を認識し、自車両１が車線から逸脱する可能性を判定する車線逸脱判定処理と、自車両１が車線から逸脱する可能性がある状況となったときに、注意喚起出力（図示しないスピーカからの音声出力等による）を行なう注意喚起出力処理と、自車両１の車線からの逸脱が回避されるように、自車両１のブレーキやステアリングをアシスト駆動する車線逸脱回避制御処理とを実行する。
【００２８】
次に、図２を参照して、車両用画像処理装置１０は、その機能として、画像取得手段１１と、カーネル設定手段１２と、平滑化手段１３と、変化度合算出手段１４と、画素値置換手段１５と、レーンマーク検出手段１６とを備えている。
【００２９】
画像取得手段１１は、カメラ２から出力される画像信号を入力し、入力した画像信号から、画素データにより構成されるグレースケール画像を取得する。このとき、画素データは輝度値で構成されている。
【００３０】
カーネル設定手段１２は、カメラ２を介して取得された画像に対して、所定方向の幅が、レーンマークの画像部分の該所定方向の幅よりも大きい所定範囲内となるカーネルのサイズを設定する。平滑化用のカーネルの設定の詳細については後述する。
【００３１】
平滑化手段１３は、カメラ２を介して取得された画像を、カーネル設定手段１２により設定されたサイズの平滑化用のカーネルを用いたフィルタ処理により平滑化する。平滑化手段１３による平滑化では、画像内の各画素について、当該画素を中心画素として平滑化用のカーネルを配置し、カーネルの範囲に含まれる全画素の画素値の平均を、中心画素の画素値とする処理が行われる。
【００３２】
変化度合算出手段は１４は、平滑化手段１３により平滑化された後の画像に対する、カメラ２を介して取得された画像の各画素の画素値の変化度合を算出する。具体的には、変化度合算出手段は１４は、変化度合として、取得された画像から平滑化された後の画像を減算して得られる各画素の画素値の差を用いる。
【００３３】
画素値置換手段１５は、カメラ２を介して取得された画像の、変化度合算出手段１４により算出された変化度合が所定値以下となる画素の画素値を、平滑化手段１３により平滑化された後の画像の該画素に対応する画素の画素値に置換する。
【００３４】
レーンマーク検出手段１６は、画素値置換手段１５により置換された後の画像から、自車両１が走行している道路上のレーンマークを検出する。具体的には、レーンマーク検出手段１６は、置換された後の画像にエッジ抽出処理を行って抽出されたエッジ点からレーンマークを検出する。このとき、レーンマーク検出手段１６は、エッジ点の点列データから直線成分をレーンマーク候補として抽出し、抽出されたレーンマーク候補のうちから画像上の位置等に基づいて自車両１が走行している道路の車線を規定するレーンマークを検出する。点列データから直線成分を抽出する手法としては、ハフ変換や、最小２乗法による直線の当てはめ等の手法を用いることができる。
【００３５】
車両用画像処理装置１０は、入力アナログ信号をデジタル信号に変換するＡ／Ｄ変換回路と、デジタル化した画像信号を記憶する画像メモリと、画像メモリに記憶されたデータにアクセス（読み出し及び書き込み）するためのインタフェース回路を有して、該画像メモリに記憶された画像に対して各種の演算処理を行うコンピュータ（ＣＰＵ，メモリ，入出力回路等からなる演算処理回路、或いはこれらの機能を集約したマイクロコンピュータ）等により構成された電子ユニットである。車両用画像処理装置１０は、該コンピュータに本発明の車両認識用プログラムを実行させることによって、該コンピュータが、画像取得手段１１と、カーネル設定手段１２と、平滑化手段１３と、変化度合算出手段１４と、画素値置換手段１５と、レーンマーク検出手段１６として機能する。
【００３６】
次に、車両用画像処理装置１０の作動（車両用画像処理）を、図３に示したフローチャートに従って説明する。図３に示したフローチャートによる処理は、車両用画像処理装置１０の制御周期毎に繰り返し実行される。
【００３７】
図３のＳＴＥＰ１で、画像取得手段１１は、カメラ２を介してグレースケール画像（輝度画像）を取得する。取得された輝度画像はＡ／Ｄ変換されて画像メモリに格納される。図４（ａ）に、ある制御周期の時刻においてカメラ２を介して取得される輝度画像Ｉ1を例示する。輝度画像Ｉ1は、図４（ａ）に例示するような、m×n個の画素からなる画像である。輝度画像Ｉ1の各画素Ｐ1は、輝度値Ｙを有するものであり、Ｐ1（i，j）＝Ｙijで表される。ただし、i，jは、各画素の座標であり、0≦i＜m，0≦j＜nとなる整数である。
【００３８】
図４（ａ）の例では、自車両１が矢印方向に走行しており、自車両１が走行している道路の車線の左側を規定するレーンマークが破線の白線Ａ１であり、右側を規定するレーンマークが破線の白線Ａ２である場合を示す。このとき、破線の白線Ａ１，Ａ２のエッジ部分には凹凸があり、この部分に線状の影（黒線）Ｂ１，Ｂ２ができている。また、自車両１が走行している道路の車線の路面上には、周囲より暗い線状の補修跡（黒線）Ｂ３と、局所的な凹凸や汚れによる黒点群Ｂ４がある。
【００３９】
次に、ＳＴＥＰ２で、カーネル設定手段１２は、ＳＴＥＰ１で取得した輝度画像Ｉ1に対して、複数のサイズの平滑化用のカーネルを設定する。
【００４０】
ここで、図５を参照して、平滑化用のカーネルの設定について説明する。図５に、輝度画像Ｉ1に対して設定された５つの平滑化用のカーネルＫ1〜Ｋ5を例示する。平滑化用のカーネルＫ1〜Ｋ5は、それぞれ、輝度画像Ｉ1の領域Ｒ1〜Ｒ5に含まれる画素を中心画素として平滑化する際に用いられる。平滑化用のカーネルＫ1〜Ｋ5の縦方向のサイズＹｆ［Pixel］は、いずれも数画素（例えば、1〜3［Pixel］）とする。領域Ｒ1〜Ｒ5は、自車両１から離れるにしたがって、段階的に縦方向の幅を狭くしている。なお、サイズＹｆは、自車両１からの距離が離れるほど小さくなるような値を用いてもよい。また、平滑化用のカーネルＫ1〜Ｋ5の横方向のサイズＸｆ［Pixel］は、実空間における所定幅ΔＸに該当する値とする。所定幅ΔＸとしては、レーンマークの幅と想定される値（例えば、0.1〜0.75［m］）より大きい値（例えば、レーンマークの幅の数倍、具体的には0.5〜1［m］）が用いられる。なお、所定幅ΔＸは、道路の幅と想定される値よりは小さい値とする。平滑化用のカーネルＫ1〜Ｋ5の横方向のサイズＸｆは、例えば、それぞれ10，20，50，100，150［pixel］となる。サイズＸｆは、図６に示すような自車両１の実空間座標系と画像座標系との関係から設定される。画像座標系は、図６（ｃ）に示すように、左上を原点として座標（ｘ，ｙ）とする。また、１画素あたりの物理的間隔を（δx，δy）とする。
【００４１】
このとき、図６（ａ）に示すように、路面上の対象物の自車両１に対する距離Ｚ、カメラ２の焦点距離ｆ、実空間上でのカメラ２の路面からの高さｈ、画像上に撮像された対象物の物理的高さＹcには、下記式（１）
Ｙc＝ｆ×ｈ／Ｚ ・・・（１）
の関係がある。また、画像上に撮像された対象物の物理的高さＹc、画像座標ｙ、１画素辺りの物理的間隔δyには、下記式（2）
Ｙc＝ｙ×δy ・・・（2）
の関係がある。
【００４２】
また、図６（ｂ）に示すように、路面上の対象物の自車両１に対する距離Ｚ、カメラ２の焦点距離ｆ、実空間上での対象物の幅ΔＸ、画像上に撮像された対象物の物理的幅Ｘcには、下記式（３）
Ｘc＝ｆ×ΔＸ／Ｚ ・・・（３）
の関係がある。また、画像上に撮像された対象物の物理的幅Ｘc、画像座標ｘ、１画素辺りの物理的間隔δｘには、下記式（４）
Ｘc＝ｘ×δｘ ・・・（４）
の関係がある。
【００４３】
式（１）〜（４）から、サイズＸｆは、
Ｘｆ＝（ΔＸ／ｈ）×ｙ ・・・（５）
となる。実空間上での対象物の幅ΔＸ、実空間上でのカメラ２の路面からの高さｈは固定値なので、画像座標ｙが小さくなるほどサイズＸｆは小さくなる。さらに、式（１）（２）から、距離Ｚが大きくなるほど、画像座標ｙが小さくなるので、サイズＸｆも小さくなる。すなわち、サイズＸｆは、自車両１からの距離が離れるほど小さくなるような値に設定される。
【００４４】
図３に戻り、次に、ＳＴＥＰ３で、平滑化手段１３は、ＳＴＥＰ２で設定した平滑化用のカーネルＫ1〜Ｋ5を用いて輝度画像Ｉ1を平滑化する。図４（b）に、平滑化後の画像Ｉ2を示す。これにより、輝度画像Ｉ1内の画素値の変化の幅が狭くなって、低コントラストの画像が得られる。平滑化後の画像Ｉ2では、影Ｂ１，Ｂ２、補修跡Ｂ３、黒点群Ｂ４の画像部分の画素値が、平均的な路面の輝度に近い画素値となり、周囲の路面の画像部分から判別できなくなっている。また、白線Ａ１，Ａ２の画像部分の画素値も、平均的な路面の輝度に近い画素値となっている。
【００４５】
次に、画像の全画素（i=1〜m，j=1〜n）について、ＳＴＥＰ４〜６の処理が実行される。
【００４６】
まず、ＳＴＥＰ４で、変化度合算出手段１４は、ＳＴＥＰ１で取得した輝度画像Ｉ1の画素値Ｐ1（i，j）から、ＳＴＥＰ３の平滑化後の画像Ｉ2の画素値Ｐ2（i，j）を減算して、画素（i，j）の画素値の変化度合ΔＩY（i，j）＝Ｐ1（i，j）−Ｐ2（i，j）を算出する。
【００４７】
次に、ＳＴＥＰ５で、画素値置換手段１５は、各画素の画素値の変化度合ΔＩY（i，j）が所定値ＩYth以下であるか否かを判断する。所定値ＩYthは、レーンマークの画像部分の画素値の変化度合が取り得る範囲に応じて定められる値（例えば、０以下の値）である。ＳＴＥＰ５の判断結果がＹＥＳの場合は、画素（i，j）が路面の画像部分か路面より暗い影Ｂ１，Ｂ２、補修跡Ｂ３、黒点群Ｂ４の画像部分であると想定される。よって、画素値置換手段１５は、取得画像の画素値Ｐ1（i，j）を平滑化画像の画素値Ｐ2（i，j）に置換し、ＳＴＥＰ４に戻る。ＳＴＥＰ５の判断結果がＮＯの場合は、画素（i，j）が明るい白線Ａ１，Ａ２の画像部分であると想定される。よって、画素値置換手段１５は、画素（i，j）の画素値を置換せずに、そのままＳＴＥＰ４に戻る。
【００４８】
画像の全画素についてＳＴＥＰ４〜６の処理が実行された結果として得られる、置換後の画像Ｉ3を図４（ｃ）に示す。図４（ｃ）に示すように、置換後の画像Ｉ3では、影Ｂ１，Ｂ２、補修跡Ｂ３、黒点群Ｂ４の画像部分は、平滑化後の画像Ｉ2の画素値に置換されるのに対し、白線Ａ１，Ａ２の画像部分は、輝度画像Ｉ1の画素値のまま保持される。よって、置換後の画像Ｉ3では、影Ｂ１，Ｂ２、補修跡Ｂ３、黒点群Ｂ４の画像部分は除去され、白線Ａ１，Ａ２の画像部分はそのまま残る。
【００４９】
次に、ＳＴＥＰ７に進み、レーンマーク検出手段１６は、置換後の画像Ｉ3に基づいて、レーンマークを検出する。このとき、置換後の画像Ｉ3では影Ｂ１，Ｂ２、補修跡Ｂ３、黒点群Ｂ４の画像部分が除去されているので、エッジ抽出処理により白線Ａ１，Ａ２の画像部分に相当するエッジ点のみが抽出され、このエッジ点に基づいて白線Ａ１，Ａ２が精度良く検出される。
【００５０】
以上が、本実施形態の車両用画像処理装置１０における車両用画像処理である。本実施形態によれば、自車両１の周辺を撮像した画像を、該画像内での輝度や色の変動の影響を低減するように処理して、該画像から自車両１が走行している道路上の白線Ａ１，Ａ２を精度良く検出することができる。
【００５１】
なお、本実施形態では、変化度合算出手段１４は、変化度合として画素値の差を用いたが、他の実施形態において、変化度合として、取得された画像を平滑化後の画像で除算して得られる各画素の画素値の比を用いるものとしてもよい（ΔＩY（i，j）＝Ｐ1（i，j）／Ｐ2（i，j））。この場合、所定値ＩYthは、レーンマークの画像部分の画素値の変化度合が取り得る範囲に応じて定められる値（例えば、１以下の値）とする。
【００５２】
また、本実施形態において、図７に示すように、平滑化用のカーネルＫ1〜Ｋ5を、自車両１の進行方向に対応する画像上の方向Ｌｃに対する、カーネルの長辺の中心線Ｌの傾きが所定角度θ（例えば４５°）となるように、カーネルの向きを設定するものとしてもよい。
【００５３】
また、本実施形態では、平滑化用のカーネルの形状を長方形としたが、他の実施形態として、平滑化用のカーネルの形状を台形としてもよい。
【００５４】
また、本実施形態では、画像取得手段１１は、カメラ２を介してグレースケール画像を取得するものとしたが、他の実施形態として、画素データがＲ値、Ｇ値、Ｂ値（又はＣＭＹ出力等）からなるカラー成分で構成されるカラー画像を取得するものとしてもよい。この場合、例えば、画像取得手段１１は、取得されたカラー画像の画素のカラー成分（Ｒ，Ｇ，Ｂ）から、Ｙ＝α×Ｒ＋β×Ｇ＋γ×Ｂにより画素の輝度値Ｙを算出し、輝度画像を作成する。ただし、α，β，γは、α＋β＋γ＝１となるような所定の係数である。なお、画像取得手段１１は、輝度値Ｙを、Ｒ値，Ｇ値，Ｂ値のうちの最大値MAX、最小値MINを用いて、Ｙ＝（MAX＋MIN）／２により算出してもよい。または、画像取得手段１１は、輝度値ＹとしてＧ値を用いるものとしてもよい。
【００５５】
また、本実施形態では、画像取得手段１１はカメラ２を介して輝度画像を取得し、平滑化手段１３は輝度画像を平滑化し、画素値置換手段１４は輝度画像の画素値を平滑化後の画像の画素値で置換するものとしたが、他の実施形態として、例えば、画像取得手段１１がカメラ２を介してカラー画像を取得する場合、カラー画像の画素のカラー成分から画素の彩度を算出し、この彩度を画素値とする彩度画像を作成し、この彩度画像に平滑化処理・画素値置換処理を行うものとしてもよい。
【００５６】
また、本実施形態では、カメラ２により自車両１の前方を撮像し、車両用画像処理装置１０は自車両１の前方の道路の画像からレーンマークを検出するものとしたが、他の実施形態として、カメラにより自車両１の後方を撮像し、車両用画像処理装置１０は自車両１の後方の道路の画像からレーンマークを検出するものとしてもよい。
【図面の簡単な説明】
【００５７】
【図１】本発明の車両用画像処理装置の自車両への搭載態様を示した説明図。
【図２】本発明の車両用画像処理装置の構成図。
【図３】図２に示した車両用画像処理装置による画像処理を示すフローチャート。
【図４】図３の画像処理の説明図。
【図５】図３の画像処理における平滑化用のカーネルの設定に関する説明図。
【図６】図５の平滑化用のカーネルのサイズに関する説明図。
【図７】本発明の他の実施形態の車両用画像処理装置における平滑化用のカーネルの設定に関する説明図。
【符号の説明】
【００５８】
１…車両（自車両）、２…カメラ（撮像手段）、１０…車両用画像処理装置、１１…画像取得手段、１２…カーネル設定手段、１３…平滑化手段、１４…変化度合算出手段、１５…画素値置換手段、１６…レーンマーク検出手段。
【特許請求の範囲】
【請求項１】
車両に搭載された撮像手段を介して取得された画像を処理して、該車両が走行している道路上のレーンマークを検出する車両用画像処理装置において、
前記撮像手段を介して取得された画像に対して、所定方向の幅が、レーンマークの画像部分の該所定方向の幅よりも大きい所定範囲内となるカーネルのサイズを設定するカーネル設定手段と、
前記取得された画像を、前記カーネル設定手段により設定されたサイズの平滑化用のカーネルを用いたフィルタ処理により平滑化する平滑化手段と、
前記平滑化手段により平滑化された後の画像に対する、前記取得された画像の各画素の画素値の変化度合を算出する変化度合算出手段と、
前記取得された画像の、前記変化度合が所定値以下となる画素の画素値を、前記平滑化された後の画像の該画素に対応する画素の画素値に置換する画素値置換手段と、
前記画素値置換手段により画素値が置換された後の画像から前記レーンマークを検出するレーンマーク検出手段とを備えたことを特徴とする車両用画像処理装置。
【請求項２】
請求項１記載の車両用画像処理装置において、
前記カーネル設定手段は、前記道路の所定領域の前記車両からの距離が遠いほど、前記画像上の該所定領域の画像部分に対して設定される前記カーネルのサイズが小さくなるように、該カーネルのサイズを設定することを特徴とする車両用画像処理装置。
【請求項３】
請求項１又は２記載の車両用画像処理装置において、
前記カーネル設定手段は、前記カーネルの形状を長方形又は台形に設定することを特徴とする車両用画像処理装置。
【請求項４】
請求項３記載の車両用画像処理装置において、
前記カーネル設定手段は、前記車両の進行方向に対応する画像上の方向に対する、前記カーネルの長辺の中心線の傾きが所定角度となるように、該カーネルの向きを設定することを特徴とする車両用画像処理装置。
【請求項５】
請求項１〜４のうちいずれか記載の車両用画像処理装置において、
前記変化度合算出手段は、前記変化度合として、前記取得された画像から前記平滑化された後の画像を減算して得られる各画素の画素値の差、又は該取得された画像を該平滑化された後の画像で除算して得られる各画素の画素値の比を用いることを特徴とする車両用画像処理装置。
【請求項６】
請求項１〜５のうちいずれか記載の車両用画像処理装置において、
前記平滑化手段により平滑化される前記画像は、輝度を画素値とする画像であることを特徴とする車両用画像処理装置。
【請求項７】
請求項１〜５のうちいずれか記載の車両用画像処理装置において、
前記平滑化手段により平滑化される前記画像は、カラー画像のカラー成分から算出される輝度又は彩度を画素値とする画像であることを特徴とする車両用画像処理装置。
【請求項８】
撮像手段を備え、該撮像手段を介して取得された画像を処理して、走行している道路上のレーンマークを検出する機能を有する車両であって、
前記撮像手段を介して取得された画像に対して、所定方向の幅が、レーンマークの画像部分の該所定方向の幅よりも大きい所定範囲内となるカーネルのサイズを設定するカーネル設定手段と、
前記取得された画像を、前記カーネル設定手段により設定されたサイズの平滑化用のカーネルを用いたフィルタ処理により平滑化する平滑化手段と、
前記平滑化手段により平滑化された後の画像に対する、前記取得された画像の各画素の画素値の変化度合を算出する変化度合算出手段と、
前記取得された画像の、前記変化度合が所定値以下となる画素の画素値を、前記平滑化された後の画像の該画素に対応する画素の画素値に置換する画素値置換手段と、
前記画素値置換手段により画素値が置換された後の画像から前記レーンマークを検出するレーンマーク検出手段とを備えたことを特徴とする車両。
【請求項９】
車両に搭載された撮像手段を介して取得された画像を処理して、該車両が走行している道路上のレーンマークを検出する処理をコンピュータに実行させる車両用画像処理プログラムであって、
前記撮像手段を介して取得された画像に対して、所定方向の幅が、レーンマークの画像部分の該所定方向の幅よりも大きい所定範囲内となるカーネルのサイズを設定するカーネル設定処理と、
前記取得された画像を、前記カーネル設定処理により設定されたサイズの平滑化用のカーネルを用いたフィルタ処理により平滑化する平滑化処理と、
前記平滑化処理により平滑化された後の画像に対する、前記取得された画像の各画素の画素値の変化度合を算出する変化度合算出処理と、
前記取得された画像の、前記変化度合が所定値以下となる画素の画素値を、前記平滑化された後の画像の該画素に対応する画素の画素値に置換する画素値置換処理と、
前記画素値置換処理により画素値が置換された後の画像から前記レーンマークを検出するレーンマーク検出処理とをコンピュータに実行させる機能を有することを特徴とする車両用画像処理用プログラム。
【請求項１】
車両に搭載された撮像手段を介して取得された画像を処理して、該車両が走行している道路上のレーンマークを検出する車両用画像処理装置において、
前記撮像手段を介して取得された画像に対して、所定方向の幅が、レーンマークの画像部分の該所定方向の幅よりも大きい所定範囲内となるカーネルのサイズを設定するカーネル設定手段と、
前記取得された画像を、前記カーネル設定手段により設定されたサイズの平滑化用のカーネルを用いたフィルタ処理により平滑化する平滑化手段と、
前記平滑化手段により平滑化された後の画像に対する、前記取得された画像の各画素の画素値の変化度合を算出する変化度合算出手段と、
前記取得された画像の、前記変化度合が所定値以下となる画素の画素値を、前記平滑化された後の画像の該画素に対応する画素の画素値に置換する画素値置換手段と、
前記画素値置換手段により画素値が置換された後の画像から前記レーンマークを検出するレーンマーク検出手段とを備えたことを特徴とする車両用画像処理装置。
【請求項２】
請求項１記載の車両用画像処理装置において、
前記カーネル設定手段は、前記道路の所定領域の前記車両からの距離が遠いほど、前記画像上の該所定領域の画像部分に対して設定される前記カーネルのサイズが小さくなるように、該カーネルのサイズを設定することを特徴とする車両用画像処理装置。
【請求項３】
請求項１又は２記載の車両用画像処理装置において、
前記カーネル設定手段は、前記カーネルの形状を長方形又は台形に設定することを特徴とする車両用画像処理装置。
【請求項４】
請求項３記載の車両用画像処理装置において、
前記カーネル設定手段は、前記車両の進行方向に対応する画像上の方向に対する、前記カーネルの長辺の中心線の傾きが所定角度となるように、該カーネルの向きを設定することを特徴とする車両用画像処理装置。
【請求項５】
請求項１〜４のうちいずれか記載の車両用画像処理装置において、
前記変化度合算出手段は、前記変化度合として、前記取得された画像から前記平滑化された後の画像を減算して得られる各画素の画素値の差、又は該取得された画像を該平滑化された後の画像で除算して得られる各画素の画素値の比を用いることを特徴とする車両用画像処理装置。
【請求項６】
請求項１〜５のうちいずれか記載の車両用画像処理装置において、
前記平滑化手段により平滑化される前記画像は、輝度を画素値とする画像であることを特徴とする車両用画像処理装置。
【請求項７】
請求項１〜５のうちいずれか記載の車両用画像処理装置において、
前記平滑化手段により平滑化される前記画像は、カラー画像のカラー成分から算出される輝度又は彩度を画素値とする画像であることを特徴とする車両用画像処理装置。
【請求項８】
撮像手段を備え、該撮像手段を介して取得された画像を処理して、走行している道路上のレーンマークを検出する機能を有する車両であって、
前記撮像手段を介して取得された画像に対して、所定方向の幅が、レーンマークの画像部分の該所定方向の幅よりも大きい所定範囲内となるカーネルのサイズを設定するカーネル設定手段と、
前記取得された画像を、前記カーネル設定手段により設定されたサイズの平滑化用のカーネルを用いたフィルタ処理により平滑化する平滑化手段と、
前記平滑化手段により平滑化された後の画像に対する、前記取得された画像の各画素の画素値の変化度合を算出する変化度合算出手段と、
前記取得された画像の、前記変化度合が所定値以下となる画素の画素値を、前記平滑化された後の画像の該画素に対応する画素の画素値に置換する画素値置換手段と、
前記画素値置換手段により画素値が置換された後の画像から前記レーンマークを検出するレーンマーク検出手段とを備えたことを特徴とする車両。
【請求項９】
車両に搭載された撮像手段を介して取得された画像を処理して、該車両が走行している道路上のレーンマークを検出する処理をコンピュータに実行させる車両用画像処理プログラムであって、
前記撮像手段を介して取得された画像に対して、所定方向の幅が、レーンマークの画像部分の該所定方向の幅よりも大きい所定範囲内となるカーネルのサイズを設定するカーネル設定処理と、
前記取得された画像を、前記カーネル設定処理により設定されたサイズの平滑化用のカーネルを用いたフィルタ処理により平滑化する平滑化処理と、
前記平滑化処理により平滑化された後の画像に対する、前記取得された画像の各画素の画素値の変化度合を算出する変化度合算出処理と、
前記取得された画像の、前記変化度合が所定値以下となる画素の画素値を、前記平滑化された後の画像の該画素に対応する画素の画素値に置換する画素値置換処理と、
前記画素値置換処理により画素値が置換された後の画像から前記レーンマークを検出するレーンマーク検出処理とをコンピュータに実行させる機能を有することを特徴とする車両用画像処理用プログラム。
【図１】
【図２】
【図３】
【図４】
【図５】
【図６】
【図７】
【図２】
【図３】
【図４】
【図５】
【図６】
【図７】
【公開番号】特開２００９−２３７７２６（Ｐ２００９−２３７７２６Ａ）
【公開日】平成２１年１０月１５日（２００９．１０．１５）
【国際特許分類】
【出願番号】特願２００８−８０７２８（Ｐ２００８−８０７２８）
【出願日】平成２０年３月２６日（２００８．３．２６）
【出願人】（０００００５３２６）本田技研工業株式会社 (23,863)
【Ｆターム（参考）】
【公開日】平成２１年１０月１５日（２００９．１０．１５）
【国際特許分類】
【出願日】平成２０年３月２６日（２００８．３．２６）
【出願人】（０００００５３２６）本田技研工業株式会社 (23,863)
【Ｆターム（参考）】
[ Back to top ]