路面標示画像処理装置、路面標示画像処理方法並びに路面標示画像処理プログラム
【課題】路面標示の一部に影が重畳しているような状況においても、輝度画像などを用いる場合よりも良好に路面標示を認識できる路面標示認識装置を提供する。
【解決手段】日陰に差し込む光は、日向に比べ青系の光の占める割合が多いという特徴がある。そこで、青成分強度画像生成モジュール１０３はカラー画像取得モジュール１０１が出力するカラー画像から青成分の強さを表す青成分強度画像を生成し、日陰補正画像生成モジュール１０４は前記青成分強度画像を輝度画像に加算する。これにより、輝度画像を用いる場合に比べ、日陰の路面標示に対応する画素の値が、日向の舗装道路面に対応する画素の値に比べ大きくなるようになり、画像全体において路面標示および舗装道路面に対応する画素の値が２つに分離するようになり、高精度に路面標示を認識できるようになる。
【解決手段】日陰に差し込む光は、日向に比べ青系の光の占める割合が多いという特徴がある。そこで、青成分強度画像生成モジュール１０３はカラー画像取得モジュール１０１が出力するカラー画像から青成分の強さを表す青成分強度画像を生成し、日陰補正画像生成モジュール１０４は前記青成分強度画像を輝度画像に加算する。これにより、輝度画像を用いる場合に比べ、日陰の路面標示に対応する画素の値が、日向の舗装道路面に対応する画素の値に比べ大きくなるようになり、画像全体において路面標示および舗装道路面に対応する画素の値が２つに分離するようになり、高精度に路面標示を認識できるようになる。
【発明の詳細な説明】
【技術分野】
【０００１】
本発明は、車両に設置されたカメラを用いて路面に描かれている路面標示を認識する装置に関する。
【背景技術】
【０００２】
アスファルトやコンクリート上にペイントされている白色系路面標示のように、無彩色の対象物を画像から認識する方法として、特許文献１には、輝度画像を用いて白線を検知する技術が開示されている。このように画像から無彩色の対象物を認識する場合は輝度画像を用いるのが一般的であり、画像入力装置がカラーカメラなどの場合は画素毎に次式を用いて輝度画像を生成することができる。輝度Ｙの算出は特許文献２にも同様に開示されている。
【０００３】
【数１】
【０００４】
また、輝度変換を行わずに、輝度にもっとも寄与する緑成分値を画像値とする画像（以下、緑成分画像と呼ぶ）を用いることも一般的に知られている。
【０００５】
しかし、輝度画像や緑成分画像では、路面標示と舗装面との分離が難しい場合がある。具体的事例について図２を用いて示す。図２は路面標示の一部に日陰２０３が重畳している状況を示す図である。このとき、輝度画像もしくは緑成分画像中において、日向に存在する舗装道路面２０１と日陰に存在する路面標示２０２とに対応する画素の値の分布が図３に示すように重複する場合がしばしば起こる。このような場合、路面標示に対応する画素値が、舗装道路面に対応する画素値よりも大きくなることを前提として２値化処理を行い認識するような手法では正しく路面標示を認識することが困難である。
【０００６】
そこで、図２のように、部分によって照明光の強さが異なるような状況においても比較的良好な２値画像を得るための従来法として、特許文献３に開示されているような局所２値化法を利用した方法が知られている。局所２値化法では部分領域毎に２値化のしきい値を求め、その値を平滑化した後、部分領域毎に異なる閾値で２値化を行う。局所領域内における輝度値の相対的大小関係に基づくため、離れた位置に存在する日陰と日向の輝度の違いに影響されずに路面標示を抽出しやすくなる。
【０００７】
また、特許文献４は、散乱光によって、黄線と白線を認識する方法についての開示がなされている。
【０００８】
【特許文献１】特開２０００−３３１１４８号公報、図４
【特許文献２】特開２００１−２１８０７０号公報
【特許文献３】特開平７−０９３６８９号公報、図４
【特許文献４】特開２００６−３３８５５６号公報
【発明の開示】
【発明が解決しようとする課題】
【０００９】
しかしながら、日陰と日向の境界部分では局所領域内に日陰と日向が共に含まれるため、日向領域を路面標示に対応する領域として抽出しやすいという問題がある。特に、木陰のように日向と日陰が細かい周期で混在する場合には、日向領域を路面標示として判定しやすくなり、舗装道路面と路面標示とを正しく分離することが困難となる。
【００１０】
そこで、本発明の目的は、上記課題を解決するために、日陰と日向が路面標示に重畳している場合においても、輝度画像や緑成分画像を用いる場合に比べ、日陰に存在する路面標示に対応する画素の画素値を、日向に存在する舗装道路面に対応する画素の画素値よりも大きな値に変換する路面標示認識装置を提供することにある。
【課題を解決するための手段】
【００１１】
上記の課題を解決すべく本発明に係る路面標示画像処理装置は、道路面を撮影するように自車両に設置された路面標示認識装置において、道路面のカラー画像を撮影するカラー画像取得機能ブロックと、前記カラー画像取得機能ブロックが取得したカラー画像を基に輝度画像を生成する輝度画像生成機能ブロックと、前記カラー画像に含まれる青成分の強さを画素毎に算出することにより、青成分強度画像を生成する青成分強度画像生成機能ブロックと、前記輝度画像と前記青成分強度画像とを加算することにより、前記輝度画像に比べて日向と日陰の領域に対応する画素値の差が小さい日陰補正画像を生成する日陰補正画像生成機能ブロックと、前記日陰補正画像から路面標示を認識する路面標示認識機能ブロックとを備えることを特徴とする。
【００１２】
また、前記の目的を達成するために、本発明に係る路面標示認識方法は、道路面を撮影するように自車両に設置された路面標示認識装置を用いる路面標示認識方法において、カラー画像取得機能ブロックは、道路面のカラー画像を撮影する工程と、輝度画像生成機能ブロックは、前記カラー画像取得手段が取得したカラー画像を基に輝度画像を生成する工程と、青成分強度画像生成機能ブロックは、前記カラー画像に含まれる青成分の強さを画素毎に算出することにより、青成分強度画像を生成する工程と、日陰補正画像生成機能ブロックは、前記輝度画像と前記青成分強度画像とを加算することにより、前記輝度画像に比べて日向と日陰の領域に対応する画素値の差が小さい日陰補正画像を生成する工程と、路面標示認識機能ブロックは、前記日陰補正画像から路面標示を認識する工程とを備えることを特徴とする。
【００１３】
さらに、前記の目的を達成するために、本発明に係る路面標示認識プログラムは、道路面を撮影するように自車両に設置された路面標示認識装置を用いる路面標示認識プログラムにおいて、カラー画像取得機能ブロックは、道路面のカラー画像を撮影する工程と、輝度画像生成機能ブロックは、前記カラー画像取得手段が取得したカラー画像を基に輝度画像を生成する工程と、青成分強度画像生成機能ブロックは、前記カラー画像に含まれる青成分の強さを画素毎に算出することにより、青成分強度画像を生成する工程と、日陰補正画像生成機能ブロックは、前記輝度画像と前記青成分強度画像とを加算することにより、前記輝度画像に比べて日向と日陰の領域に対応する画素値の差が小さい日陰補正画像を生成する工程と、路面標示認識機能ブロックは、前記日陰補正画像から路面標示を認識する工程とを備えることを特徴とする。
【００１４】
尚、同目的は、上記構成の路面標示認識装置に対応する路面標示認識方法によっても達成される。
【００１５】
また、同目的は、上記の各構成を有する路面標示認識方法、並びに対応する装置を、コンピュータによって実現するコンピュータ・プログラム、及びそのコンピュータ・プログラムが格納されている、コンピュータ読み取り可能な記憶媒体によっても達成される。
【発明の効果】
【００１６】
本発明によれば、輝度画像もしくは緑成分画像もしくは青成分画像のいずれかに、入力カラー画像の青成分の画素値が、赤成分もしくは緑成分の画素値に対して大きいほど大きな値を付加した画像を生成し、路面標示の認識を行う。日陰は光源である太陽からの光が直接当たらない領域であるが、散乱光や反射光が入射するため通常明るさを持ち、特に大気中で散乱されやすい青成分の光の割合が日向に比べて多いという特徴がある。よって、画像内に無彩色の領域しか存在しないと仮定すれば、輝度や緑成分の値がほぼ等しい２つの領域であっても、赤成分や緑成分に対し青成分の割合の多い領域は、相対的に入射光量の少ない領域に存在し、その表面の反射特性は逆にもう一方の領域よりも大きいと推測できる。そこで、輝度画像や緑成分画像などに青成分の強さに応じた値を加算することによって、対象物表面の反射特性により近い画像を生成することが可能となり、日陰と日向が路面標示に重畳している場合でも、図４もしくは図８に示すように路面標示と舗装道路面の画素値を分離しやすくなるという効果を有する。
【発明を実施するための最良の形態】
【００１７】
以下本発明の実施の形態について複数の実施例を用いて以下に説明する。
【００１８】
なお、本発明は、上記の実施の形態に限定されず、本発明の技術思想の範囲内において、実施の形態が適宜変更され得るものである。
【００１９】
本発明の実施の形態について図面を参照して詳細に説明する。
【００２０】
（実施例１）
図１を参照すると、本発明の実施の形態は、カラー路面画像を取得するカラー画像取得モジュール１０１と、カラー画像取得モジュール１０１が取得したカラー画像から輝度画像を生成する輝度画像生成モジュール１０２と、カラー画像取得モジュール１０１が取得したカラー画像から青成分の強さを表す青成分強度画像を生成する青成分強度画像生成モジュール１０３と、輝度画像生成モジュール１０２の出力する輝度画像と、青成分強度画像生成モジュール１０３が出力する青成分強度を示す画像とから日陰の影響を低減した日陰補正画像生成モジュール１０４と、日陰補正画像生成モジュール１０４から路面標示を認識する路面標示認識モジュール１０５とからなる。また、図９は、本実施形態を実現するハードウェア構成の一例を示す図である。ＣＰＵ９０１は、各種ソフトウェア・プログラム（コンピュータ・プログラム）を実行することにより、路面標示認識装置の全体的な動作を司る。より具体的に、本実施形態において、カラーカメラ９０２はカラー画像取得を行い、ＣＰＵ９０１は、メモリ等の記憶媒体９０３を適宜参照しながら、輝度画像生成モジュール１０２、青成分強度画像生成モジュール１０３、日陰補正画像生成モジュール１０４、及び路面標示認識モジュール１０５等のソフトウェア・プログラムを実行する。
【００２１】
カラー画像取得モジュール１０１は、自車両に道路面を撮影するように設置されているカラーカメラなどからなる。画像データは、所定のフレームレートで時々刻々出力される。
【００２２】
輝度画像生成モジュール１０２は、カラー画像取得モジュール１０１が出力するカラー画像を輝度画像に変換する。輝度画像は、カラー画像を構成する赤、緑、青成分を以下の計算によって画素毎に合成し作成する。
【００２３】
【数２】
【００２４】
青成分強度画像生成モジュール１０３は、青成分の赤成分もしくは緑成分に対する多さを画素毎に計算し、青成分の強度を表す画像を出力する。青成分の強度Ｃは例えば
【数３】
や
【数４】
などで表現する。ここでαは正の定数を表す。また、上式におけるＲはＧに置き換えてもよい。日陰は大気中で散乱されやすい青系の光を比較的多く含むため、青成分強度画像は舗装道路面や路面標示などの無彩色領域に対して、日陰ほど赤成分、緑成分に比して大きな値を持つ特徴を有する。定数αの値が大きさほど、日陰の路面標示に対する画素値も大きくできるが、αの値が大きすぎると後述する日陰補正画像において、日陰の舗装道路面に対応する画素値と日向の路面標示に対応する画素値とが類似しやすくなり認識が困難となるため、太陽光の分光特性および舗装道路面と路面標示の反射特性を考慮して、日陰補正画像において日陰の舗装道路面に対応する画素値が日向の路面標示に対応する画素値よりも常に小さくなるような定数αを設定する。
【００２５】
また、正の定数αの値は、画像を取得した時刻、日時、天候に基づいて、予め定めた異なる値に設定してもよい。時刻、日時、天候に基づいて定数αの値を決定する方法としては、例えば予めこれらの条件下において、日向の平均的な分光特性と日陰の平均的な分光特性とを調べておき、日向および日陰における値（Ｂ−Ｒ）の差のα倍、もしくは値（Ｂ／Ｒ）の差のα倍がちょうど緑成分値Ｇの差となるようなαの値を求め、これをルックアップテーブルなどで記憶・参照すればよい。これにより、日向と日陰とで緑成分値の差が大幅に縮小され、日向、日陰に関わらず、路面標示の緑成分値が舗装道路面の緑成分値を上回りやすくなり、路面標示を認識しやすい画像を生成することが可能となる。
【００２６】
日陰補正画像生成モジュール１０４は、輝度画像生成モジュール１０２が出力する輝度画像と青成分強度計算モジュール１０３が出力する青成分の多さを示す画像とを画素毎に加算し、日陰補正画像を出力する。図３のように、輝度画像上において日陰の路面標示に対応する画素と、日向の舗装道路面に対応する画素とが類似した輝度値を持つ場合における、日陰補正画像全体での濃度ヒストグラムを図８に示す。日陰補正画像全体では、濃度値が小さい方から順に、日陰における舗装道路面８０３、日向における舗装道路面８０１、日陰における路面標示８０２、日向における路面標示８０４に対応するようになる。よって、閾値８０５で２値化処理などを行えば、画像中から容易に路面標示に対応する画素のみを抽出することが可能となる。
【００２７】
ここで、日陰補正画像は輝度画像に比べ画素値の変化範囲が広がり、より多くの記憶容量を必要とするので、記憶容量を輝度画像と同程度に抑えるのであれば最大値および最小値をクリッピングする、もしくは単調増加関数を用いて変換を施すことにより、例えば最小値を０、最大値を２５５と限定するようにしてもよい。
【００２８】
路面標示認識モジュール１０５は、日陰補正画像を処理して路面標示を認識する。認識手法としてさまざまな方法が考えられるが、例えば判別２値化や多値化を行った後、抽出された連結領域に対してテンプレートマッチングや統計的パターン認識手法を適用しても良い。また、角点や直線的なエッジ点などの特徴点を抽出し、特徴点の位置関係に基づいて照合するような方法でも構わない。
【００２９】
次に、本実施の形態の動作について図面を参照しつつ説明する。図５は、本実施の形態のフローチャートを示す図である。本図は、本実施形態において図９に示す路面標示認識装置が実行する処理手順を表す。
【００３０】
図９に示すように本発明に係る路面標示認識装置は、中央演算素子であるＣＰＵ９０１と、前記ＣＰＵ９０１とインターフェースを介して接続されるカラーカメラ９０２と、ＣＰＵ９０１と接続されるメモリ９０３とから構成される。特に、前記メモリ９０３内部には、カラー画像取得モジュール１０１を動作させるプログラムであるカラー画像取得モジュールプログラム９０４と、輝度画像生成モジュール１０２を動作させるプログラムである輝度画像生成モジュールプログラム９０６と、青成分強度画像生成モジュール１０３を動作させるプログラムである青成分強度画像生成モジュールプログラム９０８と、日陰補正画像生成モジュール１０４を動作させるプログラムである日陰補正画像生成モジュールプログラム９１０と、路面標示認識モジュール１０５を動作させるプログラムである路面標示認識モジュールプログラム９１２とから構成される。
【００３１】
まず、カラー画像取得モジュールプログラム９０４は、道路面を捉えたカラー画像をカラーカメラ９０２によって撮影しメモリ９０３へ出力する（ステップＳ５０１）。次に、輝度画像生成モジュールプログラム９０６は、このメモリ９０３に記憶されている前記カラー画像から輝度画像を生成してメモリ９０３に記憶するとともに（ステップＳ５０２）、青成分強度画像生成モジュールプログラム９０８は、前記カラー画像から青成分強度画像を生成してメモリ９０３に出力する（ステップＳ５０３）。さらに、日陰補正画像生成モジュールプログラム９１０は、前記輝度画像と前記青成分強度画像とをメモリ９０３より読み出してきて加算することにより日陰補正画像を生成し、メモリ９０３に出力する（ステップＳ５０４）。最後に、路面標示認識モジュールプログラム９１２は、前記日陰補正画像から路面標示を認識し、認識結果をメモリ９０３へ出力する（ステップＳ５０５）。
【００３２】
青成分強度画像は日陰など大きな値を持つ傾向があるため、輝度画像の画素値は日陰ほど大きな値が加算されることとなる。このことによって、輝度画像上では日向の舗装道路面に対応する画素と、日陰の路面標示に対応する画素とが類似する画素値を持つ場合でも、日陰補正画像上では路面標示の画素値が大きな値をとりやすくなるため、道路舗装面と路面標示との区別が容易となり、路面標示認識を高精度化することが可能となる。
【００３３】
なお、上記実施の形態では輝度画像に青成分強度画像を加算する場合について説明したが、輝度画像の代わりに輝度にもっとも寄与する緑成分の画像を利用しても同様の効果を得ることができる。緑成分画像を用いる場合は輝度画像生成を行わなくともよいため、処理を高速化できる効果を有する。さらに、認識対象が無彩色であることから緑成分と赤成分の値はほぼ等しいと仮定して、緑成分画像に変えて赤成分画像を用いれば、緑成分を用いる必要が無くなるため、メモリアクセス回数が低減し処理を更に高速化することができる。
【００３４】
また、青成分強度画像の代わりに、青成分が少ないほど大きな画素値をとる青成分弱度画像を生成し、日陰補正画像生成モジュールにおいて輝度画像もしくは緑成分画像から青成分弱度画像を減じてもよいことは明らかである。
【００３５】
尚、上述した各実施形態を例に説明した本発明は、上述した路面標示認識装置に対して、その説明において参照したフローチャート（図５）の機能を実現可能なコンピュータ・プログラムを供給した後、そのコンピュータ・プログラムを、当該装置のＣＰＵ９０１に読み出して実行することによって達成される。また、ＣＰＵ９０１に変えて、画像処理プロセッサのような専用演算ユニットを用いても構わない。
【００３６】
また、当該装置内に供給されたコンピュータ・プログラムは、読み書き可能なメモリまたはハードディスク装置等の記憶デバイス（記憶媒体）に格納すれば良い。そして、このような場合において、本発明は、係るコンピュータ・プログラムのコード或いは記憶媒体によって構成される。
【００３７】
（実施例２）
図６を用いて、本発明の別の実施形態について説明する。図６を参照すると、本実施形態は、図１に示した実施の形態における、輝度変換画像生成モジュールおよび青成分画像生成モジュールおよび日陰補正画像生成モジュールに変えて、日陰領域輝度強調画像生成モジュール６０１を有する。また、図９は、本実施形態を実現するハードウェア構成の一例を示す図である。ＣＰＵ９０１は、各種ソフトウェア・プログラム（コンピュータ・プログラム）を実行することにより、路面標示認識装置の全体的な動作を司る。より具体的に、本実施形態において、カラーカメラ９０２はカラー画像取得を行い、ＣＰＵ９０１は、メモリ等の記憶媒体９０３を適宜参照しながら、日陰領域輝度強調画像生成モジュール６０１、及び路面標示認識モジュール１０５等のソフトウェア・プログラムを実行する。
【００３８】
カラー画像取得モジュール１０１は前記実施の形態と同様に、カラー画像を出力する。
【００３９】
日陰領域輝度強調画像生成モジュール６０１は、前記カラー画像取得モジュールが取得したカラー画像に対し、画素毎に赤成分値から青成分値を減じた値に予め定めた定数を乗じて、前記カラー画像を構成する緑成分値もしくは輝度値に加算した画像を出力する。すなわち、日陰領域輝度強調画像生成モジュールは、画素毎に、
【数５】
を算出し、日陰に対応する領域の画素の輝度を強調した画像を出力する。また、前記実施の形態と同様に、輝度画像にかえて緑成分画像を用いて、
【数６】
とする画像を出力してもよい。また、緑成分画像にかえて赤成分画像を用いて
【数７】
とする画像を出力してもよい。
【００４０】
路面標示認識モジュール１０５は、前記日陰領域輝度強調画像生成モジュールが出力する画像から路面標示を認識する。
【００４１】
次に、本実施の形態の動作について図面を参照しつつ説明する。図７は、本実施の形態のフローチャートを示す図である。本図は、本実施形態における路面標示認識装置が実行する処理手順を表す。
【００４２】
まず、カラー画像取得モジュールプログラム９０４は、道路面を捉えたカラー画像をカラーカメラ９０２により撮影し出力する（ステップＳ７０１）。次に、日陰補正画像生成モジュールプログラム９１０は、前記カラー画像から画素毎に赤成分値から青成分値を減じた値に予め定めた定数を乗じて、前記カラー画像を構成する緑成分値もしくは赤成分値もしくは輝度値に加算した画像をメモリ９０３へ出力する（ステップＳ７０２）。最後に、路面標示認識モジュールプログラム９１２は、ステップＳ７０２によってメモリに記憶されている画像に対して路面標示認識を行い、認識結果をメモリ９０３へ出力する（ステップＳ７０３）。
【００４３】
この実施の形態によれば、路面標示の認識に用いる画像を単一のモジュールで生成することが可能であり、計算量を削減することができる。
【００４４】
尚、上述した各実施形態を例に説明した本発明は、上述した路面標示認識装置に対して、その説明において参照したフローチャート（図７）の機能を実現可能なコンピュータ・プログラムを供給した後、そのコンピュータ・プログラムを、当該装置のＣＰＵ９０１に読み出して実行することによって達成される。また、ＣＰＵ９０１に変えて、画像処理プロセッサのような専用演算ユニットを用いても構わない。
【００４５】
また、当該装置内に供給されたコンピュータ・プログラムは、読み書き可能なメモリまたはハードディスク装置等の記憶デバイス（記憶媒体）に格納すれば良い。そして、このような場合において、本発明は、係るコンピュータ・プログラムのコード或いは記憶媒体によって構成される。
【図面の簡単な説明】
【００４６】
【図１】本発明の路面標示認識装置に係る第一の実施形態におけるブロックダイヤグラムである。
【図２】従来の路面標示の一部に影が重畳している状況を示す路面図である。
【図３】従来の日向に存在する舗装道路面と、日陰に存在する路面標示に対応する画素の輝度ヒストグラムである。
【図４】従来の日陰補正画像生成モジュールが出力する、日向に存在する舗装道路面と、日陰に存在する路面標示に対応する画素の輝度ヒストグラムである。
【図５】本発明の路面標示認識方法に係る第一の実施形態におけるフローチャートである。
【図６】本発明の路面標示認識装置に係る第二の実施形態におけるブロックダイヤグラムである。
【図７】本発明の路面標示認識方法に係る第二の実施形態におけるフローチャートである。
【図８】日陰補正画像における、日向に存在する舗装道路面、日陰に存在する舗装道路面、日向に存在する路面標示、日陰に存在する路面標示に対応する画素の濃度ヒストグラムである。
【図９】本発明の路面標示認識装置に係る第一の実施形態におけるブロックダイヤグラムである。
【符号の説明】
【００４７】
１０１ カラー画像取得モジュール
１０２ 輝度画像生成モジュール
１０３ 青成分強度画像生成モジュール
１０４ 日陰補正画像生成モジュール
１０５ 路面標示認識モジュール
２０１ 日向に存在する舗装道路面
２０２ 日陰に存在する路面標示
２０３ 日陰
３０１ 日向に存在する舗装道路面に対応する画素の輝度ヒストグラム
３０２ 日陰に存在する路面標示に対応する画素の輝度ヒストグラム
４０１、８０１ 青成分強調後の、日向に存在する舗装道路面に対応する画素の輝度ヒストグラム
４０２、８０２ 青成分強調後の、日陰に存在する路面標示に対応する画素の輝度ヒストグラム
６０１ カラー画像取得モジュール
６０２ 日陰領域輝度強調画像生成モジュール
６０３ 路面標示認識モジュール
８０３ 青成分強調後の、日陰に存在する舗装道路面に対応する画素の輝度ヒストグラム
８０４ 青成分強調後の、日向に存在する路面標示に対応する画素の輝度ヒストグラム
８０５ ２値化の閾値
９０１ ＣＰＵ
９０２ カラーカメラ
９０３ メモリ
９０６ 輝度画像生成モジュールプログラム
９０８ 青成分強度画像生成モジュールプログラム
９１０ 日陰補正画像生成モジュールプログラム
９１２ 路面標示認識モジュールプログラム
【技術分野】
【０００１】
本発明は、車両に設置されたカメラを用いて路面に描かれている路面標示を認識する装置に関する。
【背景技術】
【０００２】
アスファルトやコンクリート上にペイントされている白色系路面標示のように、無彩色の対象物を画像から認識する方法として、特許文献１には、輝度画像を用いて白線を検知する技術が開示されている。このように画像から無彩色の対象物を認識する場合は輝度画像を用いるのが一般的であり、画像入力装置がカラーカメラなどの場合は画素毎に次式を用いて輝度画像を生成することができる。輝度Ｙの算出は特許文献２にも同様に開示されている。
【０００３】
【数１】
【０００４】
また、輝度変換を行わずに、輝度にもっとも寄与する緑成分値を画像値とする画像（以下、緑成分画像と呼ぶ）を用いることも一般的に知られている。
【０００５】
しかし、輝度画像や緑成分画像では、路面標示と舗装面との分離が難しい場合がある。具体的事例について図２を用いて示す。図２は路面標示の一部に日陰２０３が重畳している状況を示す図である。このとき、輝度画像もしくは緑成分画像中において、日向に存在する舗装道路面２０１と日陰に存在する路面標示２０２とに対応する画素の値の分布が図３に示すように重複する場合がしばしば起こる。このような場合、路面標示に対応する画素値が、舗装道路面に対応する画素値よりも大きくなることを前提として２値化処理を行い認識するような手法では正しく路面標示を認識することが困難である。
【０００６】
そこで、図２のように、部分によって照明光の強さが異なるような状況においても比較的良好な２値画像を得るための従来法として、特許文献３に開示されているような局所２値化法を利用した方法が知られている。局所２値化法では部分領域毎に２値化のしきい値を求め、その値を平滑化した後、部分領域毎に異なる閾値で２値化を行う。局所領域内における輝度値の相対的大小関係に基づくため、離れた位置に存在する日陰と日向の輝度の違いに影響されずに路面標示を抽出しやすくなる。
【０００７】
また、特許文献４は、散乱光によって、黄線と白線を認識する方法についての開示がなされている。
【０００８】
【特許文献１】特開２０００−３３１１４８号公報、図４
【特許文献２】特開２００１−２１８０７０号公報
【特許文献３】特開平７−０９３６８９号公報、図４
【特許文献４】特開２００６−３３８５５６号公報
【発明の開示】
【発明が解決しようとする課題】
【０００９】
しかしながら、日陰と日向の境界部分では局所領域内に日陰と日向が共に含まれるため、日向領域を路面標示に対応する領域として抽出しやすいという問題がある。特に、木陰のように日向と日陰が細かい周期で混在する場合には、日向領域を路面標示として判定しやすくなり、舗装道路面と路面標示とを正しく分離することが困難となる。
【００１０】
そこで、本発明の目的は、上記課題を解決するために、日陰と日向が路面標示に重畳している場合においても、輝度画像や緑成分画像を用いる場合に比べ、日陰に存在する路面標示に対応する画素の画素値を、日向に存在する舗装道路面に対応する画素の画素値よりも大きな値に変換する路面標示認識装置を提供することにある。
【課題を解決するための手段】
【００１１】
上記の課題を解決すべく本発明に係る路面標示画像処理装置は、道路面を撮影するように自車両に設置された路面標示認識装置において、道路面のカラー画像を撮影するカラー画像取得機能ブロックと、前記カラー画像取得機能ブロックが取得したカラー画像を基に輝度画像を生成する輝度画像生成機能ブロックと、前記カラー画像に含まれる青成分の強さを画素毎に算出することにより、青成分強度画像を生成する青成分強度画像生成機能ブロックと、前記輝度画像と前記青成分強度画像とを加算することにより、前記輝度画像に比べて日向と日陰の領域に対応する画素値の差が小さい日陰補正画像を生成する日陰補正画像生成機能ブロックと、前記日陰補正画像から路面標示を認識する路面標示認識機能ブロックとを備えることを特徴とする。
【００１２】
また、前記の目的を達成するために、本発明に係る路面標示認識方法は、道路面を撮影するように自車両に設置された路面標示認識装置を用いる路面標示認識方法において、カラー画像取得機能ブロックは、道路面のカラー画像を撮影する工程と、輝度画像生成機能ブロックは、前記カラー画像取得手段が取得したカラー画像を基に輝度画像を生成する工程と、青成分強度画像生成機能ブロックは、前記カラー画像に含まれる青成分の強さを画素毎に算出することにより、青成分強度画像を生成する工程と、日陰補正画像生成機能ブロックは、前記輝度画像と前記青成分強度画像とを加算することにより、前記輝度画像に比べて日向と日陰の領域に対応する画素値の差が小さい日陰補正画像を生成する工程と、路面標示認識機能ブロックは、前記日陰補正画像から路面標示を認識する工程とを備えることを特徴とする。
【００１３】
さらに、前記の目的を達成するために、本発明に係る路面標示認識プログラムは、道路面を撮影するように自車両に設置された路面標示認識装置を用いる路面標示認識プログラムにおいて、カラー画像取得機能ブロックは、道路面のカラー画像を撮影する工程と、輝度画像生成機能ブロックは、前記カラー画像取得手段が取得したカラー画像を基に輝度画像を生成する工程と、青成分強度画像生成機能ブロックは、前記カラー画像に含まれる青成分の強さを画素毎に算出することにより、青成分強度画像を生成する工程と、日陰補正画像生成機能ブロックは、前記輝度画像と前記青成分強度画像とを加算することにより、前記輝度画像に比べて日向と日陰の領域に対応する画素値の差が小さい日陰補正画像を生成する工程と、路面標示認識機能ブロックは、前記日陰補正画像から路面標示を認識する工程とを備えることを特徴とする。
【００１４】
尚、同目的は、上記構成の路面標示認識装置に対応する路面標示認識方法によっても達成される。
【００１５】
また、同目的は、上記の各構成を有する路面標示認識方法、並びに対応する装置を、コンピュータによって実現するコンピュータ・プログラム、及びそのコンピュータ・プログラムが格納されている、コンピュータ読み取り可能な記憶媒体によっても達成される。
【発明の効果】
【００１６】
本発明によれば、輝度画像もしくは緑成分画像もしくは青成分画像のいずれかに、入力カラー画像の青成分の画素値が、赤成分もしくは緑成分の画素値に対して大きいほど大きな値を付加した画像を生成し、路面標示の認識を行う。日陰は光源である太陽からの光が直接当たらない領域であるが、散乱光や反射光が入射するため通常明るさを持ち、特に大気中で散乱されやすい青成分の光の割合が日向に比べて多いという特徴がある。よって、画像内に無彩色の領域しか存在しないと仮定すれば、輝度や緑成分の値がほぼ等しい２つの領域であっても、赤成分や緑成分に対し青成分の割合の多い領域は、相対的に入射光量の少ない領域に存在し、その表面の反射特性は逆にもう一方の領域よりも大きいと推測できる。そこで、輝度画像や緑成分画像などに青成分の強さに応じた値を加算することによって、対象物表面の反射特性により近い画像を生成することが可能となり、日陰と日向が路面標示に重畳している場合でも、図４もしくは図８に示すように路面標示と舗装道路面の画素値を分離しやすくなるという効果を有する。
【発明を実施するための最良の形態】
【００１７】
以下本発明の実施の形態について複数の実施例を用いて以下に説明する。
【００１８】
なお、本発明は、上記の実施の形態に限定されず、本発明の技術思想の範囲内において、実施の形態が適宜変更され得るものである。
【００１９】
本発明の実施の形態について図面を参照して詳細に説明する。
【００２０】
（実施例１）
図１を参照すると、本発明の実施の形態は、カラー路面画像を取得するカラー画像取得モジュール１０１と、カラー画像取得モジュール１０１が取得したカラー画像から輝度画像を生成する輝度画像生成モジュール１０２と、カラー画像取得モジュール１０１が取得したカラー画像から青成分の強さを表す青成分強度画像を生成する青成分強度画像生成モジュール１０３と、輝度画像生成モジュール１０２の出力する輝度画像と、青成分強度画像生成モジュール１０３が出力する青成分強度を示す画像とから日陰の影響を低減した日陰補正画像生成モジュール１０４と、日陰補正画像生成モジュール１０４から路面標示を認識する路面標示認識モジュール１０５とからなる。また、図９は、本実施形態を実現するハードウェア構成の一例を示す図である。ＣＰＵ９０１は、各種ソフトウェア・プログラム（コンピュータ・プログラム）を実行することにより、路面標示認識装置の全体的な動作を司る。より具体的に、本実施形態において、カラーカメラ９０２はカラー画像取得を行い、ＣＰＵ９０１は、メモリ等の記憶媒体９０３を適宜参照しながら、輝度画像生成モジュール１０２、青成分強度画像生成モジュール１０３、日陰補正画像生成モジュール１０４、及び路面標示認識モジュール１０５等のソフトウェア・プログラムを実行する。
【００２１】
カラー画像取得モジュール１０１は、自車両に道路面を撮影するように設置されているカラーカメラなどからなる。画像データは、所定のフレームレートで時々刻々出力される。
【００２２】
輝度画像生成モジュール１０２は、カラー画像取得モジュール１０１が出力するカラー画像を輝度画像に変換する。輝度画像は、カラー画像を構成する赤、緑、青成分を以下の計算によって画素毎に合成し作成する。
【００２３】
【数２】
【００２４】
青成分強度画像生成モジュール１０３は、青成分の赤成分もしくは緑成分に対する多さを画素毎に計算し、青成分の強度を表す画像を出力する。青成分の強度Ｃは例えば
【数３】
や
【数４】
などで表現する。ここでαは正の定数を表す。また、上式におけるＲはＧに置き換えてもよい。日陰は大気中で散乱されやすい青系の光を比較的多く含むため、青成分強度画像は舗装道路面や路面標示などの無彩色領域に対して、日陰ほど赤成分、緑成分に比して大きな値を持つ特徴を有する。定数αの値が大きさほど、日陰の路面標示に対する画素値も大きくできるが、αの値が大きすぎると後述する日陰補正画像において、日陰の舗装道路面に対応する画素値と日向の路面標示に対応する画素値とが類似しやすくなり認識が困難となるため、太陽光の分光特性および舗装道路面と路面標示の反射特性を考慮して、日陰補正画像において日陰の舗装道路面に対応する画素値が日向の路面標示に対応する画素値よりも常に小さくなるような定数αを設定する。
【００２５】
また、正の定数αの値は、画像を取得した時刻、日時、天候に基づいて、予め定めた異なる値に設定してもよい。時刻、日時、天候に基づいて定数αの値を決定する方法としては、例えば予めこれらの条件下において、日向の平均的な分光特性と日陰の平均的な分光特性とを調べておき、日向および日陰における値（Ｂ−Ｒ）の差のα倍、もしくは値（Ｂ／Ｒ）の差のα倍がちょうど緑成分値Ｇの差となるようなαの値を求め、これをルックアップテーブルなどで記憶・参照すればよい。これにより、日向と日陰とで緑成分値の差が大幅に縮小され、日向、日陰に関わらず、路面標示の緑成分値が舗装道路面の緑成分値を上回りやすくなり、路面標示を認識しやすい画像を生成することが可能となる。
【００２６】
日陰補正画像生成モジュール１０４は、輝度画像生成モジュール１０２が出力する輝度画像と青成分強度計算モジュール１０３が出力する青成分の多さを示す画像とを画素毎に加算し、日陰補正画像を出力する。図３のように、輝度画像上において日陰の路面標示に対応する画素と、日向の舗装道路面に対応する画素とが類似した輝度値を持つ場合における、日陰補正画像全体での濃度ヒストグラムを図８に示す。日陰補正画像全体では、濃度値が小さい方から順に、日陰における舗装道路面８０３、日向における舗装道路面８０１、日陰における路面標示８０２、日向における路面標示８０４に対応するようになる。よって、閾値８０５で２値化処理などを行えば、画像中から容易に路面標示に対応する画素のみを抽出することが可能となる。
【００２７】
ここで、日陰補正画像は輝度画像に比べ画素値の変化範囲が広がり、より多くの記憶容量を必要とするので、記憶容量を輝度画像と同程度に抑えるのであれば最大値および最小値をクリッピングする、もしくは単調増加関数を用いて変換を施すことにより、例えば最小値を０、最大値を２５５と限定するようにしてもよい。
【００２８】
路面標示認識モジュール１０５は、日陰補正画像を処理して路面標示を認識する。認識手法としてさまざまな方法が考えられるが、例えば判別２値化や多値化を行った後、抽出された連結領域に対してテンプレートマッチングや統計的パターン認識手法を適用しても良い。また、角点や直線的なエッジ点などの特徴点を抽出し、特徴点の位置関係に基づいて照合するような方法でも構わない。
【００２９】
次に、本実施の形態の動作について図面を参照しつつ説明する。図５は、本実施の形態のフローチャートを示す図である。本図は、本実施形態において図９に示す路面標示認識装置が実行する処理手順を表す。
【００３０】
図９に示すように本発明に係る路面標示認識装置は、中央演算素子であるＣＰＵ９０１と、前記ＣＰＵ９０１とインターフェースを介して接続されるカラーカメラ９０２と、ＣＰＵ９０１と接続されるメモリ９０３とから構成される。特に、前記メモリ９０３内部には、カラー画像取得モジュール１０１を動作させるプログラムであるカラー画像取得モジュールプログラム９０４と、輝度画像生成モジュール１０２を動作させるプログラムである輝度画像生成モジュールプログラム９０６と、青成分強度画像生成モジュール１０３を動作させるプログラムである青成分強度画像生成モジュールプログラム９０８と、日陰補正画像生成モジュール１０４を動作させるプログラムである日陰補正画像生成モジュールプログラム９１０と、路面標示認識モジュール１０５を動作させるプログラムである路面標示認識モジュールプログラム９１２とから構成される。
【００３１】
まず、カラー画像取得モジュールプログラム９０４は、道路面を捉えたカラー画像をカラーカメラ９０２によって撮影しメモリ９０３へ出力する（ステップＳ５０１）。次に、輝度画像生成モジュールプログラム９０６は、このメモリ９０３に記憶されている前記カラー画像から輝度画像を生成してメモリ９０３に記憶するとともに（ステップＳ５０２）、青成分強度画像生成モジュールプログラム９０８は、前記カラー画像から青成分強度画像を生成してメモリ９０３に出力する（ステップＳ５０３）。さらに、日陰補正画像生成モジュールプログラム９１０は、前記輝度画像と前記青成分強度画像とをメモリ９０３より読み出してきて加算することにより日陰補正画像を生成し、メモリ９０３に出力する（ステップＳ５０４）。最後に、路面標示認識モジュールプログラム９１２は、前記日陰補正画像から路面標示を認識し、認識結果をメモリ９０３へ出力する（ステップＳ５０５）。
【００３２】
青成分強度画像は日陰など大きな値を持つ傾向があるため、輝度画像の画素値は日陰ほど大きな値が加算されることとなる。このことによって、輝度画像上では日向の舗装道路面に対応する画素と、日陰の路面標示に対応する画素とが類似する画素値を持つ場合でも、日陰補正画像上では路面標示の画素値が大きな値をとりやすくなるため、道路舗装面と路面標示との区別が容易となり、路面標示認識を高精度化することが可能となる。
【００３３】
なお、上記実施の形態では輝度画像に青成分強度画像を加算する場合について説明したが、輝度画像の代わりに輝度にもっとも寄与する緑成分の画像を利用しても同様の効果を得ることができる。緑成分画像を用いる場合は輝度画像生成を行わなくともよいため、処理を高速化できる効果を有する。さらに、認識対象が無彩色であることから緑成分と赤成分の値はほぼ等しいと仮定して、緑成分画像に変えて赤成分画像を用いれば、緑成分を用いる必要が無くなるため、メモリアクセス回数が低減し処理を更に高速化することができる。
【００３４】
また、青成分強度画像の代わりに、青成分が少ないほど大きな画素値をとる青成分弱度画像を生成し、日陰補正画像生成モジュールにおいて輝度画像もしくは緑成分画像から青成分弱度画像を減じてもよいことは明らかである。
【００３５】
尚、上述した各実施形態を例に説明した本発明は、上述した路面標示認識装置に対して、その説明において参照したフローチャート（図５）の機能を実現可能なコンピュータ・プログラムを供給した後、そのコンピュータ・プログラムを、当該装置のＣＰＵ９０１に読み出して実行することによって達成される。また、ＣＰＵ９０１に変えて、画像処理プロセッサのような専用演算ユニットを用いても構わない。
【００３６】
また、当該装置内に供給されたコンピュータ・プログラムは、読み書き可能なメモリまたはハードディスク装置等の記憶デバイス（記憶媒体）に格納すれば良い。そして、このような場合において、本発明は、係るコンピュータ・プログラムのコード或いは記憶媒体によって構成される。
【００３７】
（実施例２）
図６を用いて、本発明の別の実施形態について説明する。図６を参照すると、本実施形態は、図１に示した実施の形態における、輝度変換画像生成モジュールおよび青成分画像生成モジュールおよび日陰補正画像生成モジュールに変えて、日陰領域輝度強調画像生成モジュール６０１を有する。また、図９は、本実施形態を実現するハードウェア構成の一例を示す図である。ＣＰＵ９０１は、各種ソフトウェア・プログラム（コンピュータ・プログラム）を実行することにより、路面標示認識装置の全体的な動作を司る。より具体的に、本実施形態において、カラーカメラ９０２はカラー画像取得を行い、ＣＰＵ９０１は、メモリ等の記憶媒体９０３を適宜参照しながら、日陰領域輝度強調画像生成モジュール６０１、及び路面標示認識モジュール１０５等のソフトウェア・プログラムを実行する。
【００３８】
カラー画像取得モジュール１０１は前記実施の形態と同様に、カラー画像を出力する。
【００３９】
日陰領域輝度強調画像生成モジュール６０１は、前記カラー画像取得モジュールが取得したカラー画像に対し、画素毎に赤成分値から青成分値を減じた値に予め定めた定数を乗じて、前記カラー画像を構成する緑成分値もしくは輝度値に加算した画像を出力する。すなわち、日陰領域輝度強調画像生成モジュールは、画素毎に、
【数５】
を算出し、日陰に対応する領域の画素の輝度を強調した画像を出力する。また、前記実施の形態と同様に、輝度画像にかえて緑成分画像を用いて、
【数６】
とする画像を出力してもよい。また、緑成分画像にかえて赤成分画像を用いて
【数７】
とする画像を出力してもよい。
【００４０】
路面標示認識モジュール１０５は、前記日陰領域輝度強調画像生成モジュールが出力する画像から路面標示を認識する。
【００４１】
次に、本実施の形態の動作について図面を参照しつつ説明する。図７は、本実施の形態のフローチャートを示す図である。本図は、本実施形態における路面標示認識装置が実行する処理手順を表す。
【００４２】
まず、カラー画像取得モジュールプログラム９０４は、道路面を捉えたカラー画像をカラーカメラ９０２により撮影し出力する（ステップＳ７０１）。次に、日陰補正画像生成モジュールプログラム９１０は、前記カラー画像から画素毎に赤成分値から青成分値を減じた値に予め定めた定数を乗じて、前記カラー画像を構成する緑成分値もしくは赤成分値もしくは輝度値に加算した画像をメモリ９０３へ出力する（ステップＳ７０２）。最後に、路面標示認識モジュールプログラム９１２は、ステップＳ７０２によってメモリに記憶されている画像に対して路面標示認識を行い、認識結果をメモリ９０３へ出力する（ステップＳ７０３）。
【００４３】
この実施の形態によれば、路面標示の認識に用いる画像を単一のモジュールで生成することが可能であり、計算量を削減することができる。
【００４４】
尚、上述した各実施形態を例に説明した本発明は、上述した路面標示認識装置に対して、その説明において参照したフローチャート（図７）の機能を実現可能なコンピュータ・プログラムを供給した後、そのコンピュータ・プログラムを、当該装置のＣＰＵ９０１に読み出して実行することによって達成される。また、ＣＰＵ９０１に変えて、画像処理プロセッサのような専用演算ユニットを用いても構わない。
【００４５】
また、当該装置内に供給されたコンピュータ・プログラムは、読み書き可能なメモリまたはハードディスク装置等の記憶デバイス（記憶媒体）に格納すれば良い。そして、このような場合において、本発明は、係るコンピュータ・プログラムのコード或いは記憶媒体によって構成される。
【図面の簡単な説明】
【００４６】
【図１】本発明の路面標示認識装置に係る第一の実施形態におけるブロックダイヤグラムである。
【図２】従来の路面標示の一部に影が重畳している状況を示す路面図である。
【図３】従来の日向に存在する舗装道路面と、日陰に存在する路面標示に対応する画素の輝度ヒストグラムである。
【図４】従来の日陰補正画像生成モジュールが出力する、日向に存在する舗装道路面と、日陰に存在する路面標示に対応する画素の輝度ヒストグラムである。
【図５】本発明の路面標示認識方法に係る第一の実施形態におけるフローチャートである。
【図６】本発明の路面標示認識装置に係る第二の実施形態におけるブロックダイヤグラムである。
【図７】本発明の路面標示認識方法に係る第二の実施形態におけるフローチャートである。
【図８】日陰補正画像における、日向に存在する舗装道路面、日陰に存在する舗装道路面、日向に存在する路面標示、日陰に存在する路面標示に対応する画素の濃度ヒストグラムである。
【図９】本発明の路面標示認識装置に係る第一の実施形態におけるブロックダイヤグラムである。
【符号の説明】
【００４７】
１０１ カラー画像取得モジュール
１０２ 輝度画像生成モジュール
１０３ 青成分強度画像生成モジュール
１０４ 日陰補正画像生成モジュール
１０５ 路面標示認識モジュール
２０１ 日向に存在する舗装道路面
２０２ 日陰に存在する路面標示
２０３ 日陰
３０１ 日向に存在する舗装道路面に対応する画素の輝度ヒストグラム
３０２ 日陰に存在する路面標示に対応する画素の輝度ヒストグラム
４０１、８０１ 青成分強調後の、日向に存在する舗装道路面に対応する画素の輝度ヒストグラム
４０２、８０２ 青成分強調後の、日陰に存在する路面標示に対応する画素の輝度ヒストグラム
６０１ カラー画像取得モジュール
６０２ 日陰領域輝度強調画像生成モジュール
６０３ 路面標示認識モジュール
８０３ 青成分強調後の、日陰に存在する舗装道路面に対応する画素の輝度ヒストグラム
８０４ 青成分強調後の、日向に存在する路面標示に対応する画素の輝度ヒストグラム
８０５ ２値化の閾値
９０１ ＣＰＵ
９０２ カラーカメラ
９０３ メモリ
９０６ 輝度画像生成モジュールプログラム
９０８ 青成分強度画像生成モジュールプログラム
９１０ 日陰補正画像生成モジュールプログラム
９１２ 路面標示認識モジュールプログラム
【特許請求の範囲】
【請求項１】
道路面を撮影するように自車両に設置された路面標示認識装置において、
道路面のカラー画像を撮影するカラー画像取得機能ブロックと、
前記カラー画像取得機能ブロックが取得したカラー画像を基に輝度画像を生成する輝度画像生成機能ブロックと、
前記カラー画像に含まれる青成分の強さを画素毎に算出することにより、青成分強度画像を生成する青成分強度画像生成機能ブロックと、
前記輝度画像と前記青成分強度画像とを加算することにより、前記輝度画像に比べて日向と日陰の領域に対応する画素値の差が小さい日陰補正画像を生成する日陰補正画像生成機能ブロックと、
前記日陰補正画像から路面標示を認識する路面標示認識機能ブロックと
を備えることを特徴とする路面標示認識装置。
【請求項２】
道路面を撮影するように自車両に設置された路面標示認識装置において、
道路面のカラー画像を撮影するカラー画像取得機能ブロックと、
前記カラー画像取得機能ブロックが取得したカラー画像から緑成分値のみを抽出した緑成分画像を生成する緑成分画像生成機能ブロックと、
前記カラー画像に含まれる青成分の強さを画素毎に算出することにより、青成分強度画像を生成する青成分強度画像生成機能ブロックと、
前記緑成分画像と前記青成分強度画像とを加算することにより、前記緑成分画像に比べて日向と日陰の領域に対応する画素値の差が小さい日陰補正画像を生成する日陰補正画像生成機能ブロックと、
前記日陰補正画像から路面標示を認識する路面標示認識機能ブロックと
を備えることを特徴とする路面標示認識装置。
【請求項３】
前記青成分強度画像生成機能ブロックは、画素毎に、青成分の値から赤成分の値を減じた値に正の定数を乗じて青成分強度画像を生成することを特徴とする請求項１または２に記載の路面標示認識装置。
【請求項４】
前記青成分強度画像生成機能ブロックは、画素毎に、青成分を赤成分で除した値に正の定数を乗じて青成分強度画像を生成することを特徴とする請求項１または２に記載の路面標示認識装置。
【請求項５】
道路面を撮影するように自車両に設置された路面標示認識装置において、
道路面のカラー画像を撮影するカラー画像取得機能ブロックと、
前記カラー画像取得機能ブロックが取得したカラー画像を基に、画素毎に赤成分値から青成分値を減じた値に正の定数を乗じて、前記カラー画像を構成する緑成分値もしくは赤成分値もしくは輝度値に加算した画像を出力する日陰領域輝度強調画像生成機能ブロックと、
前記日陰領域輝度強調画像生成機能ブロックが出力する画像から路面標示を認識する路面標示認識機能ブロックと
を備えることを特徴とする路面標示認識装置。
【請求項６】
前記青成分強度画像生成機能ブロックは、日時および時刻および天候のいずれか１つ以上の条件に基づいて、前記正の定数の値を決定することを特徴とする請求項３から５に記載の路面標示認識装置。
【請求項７】
道路面を撮影するように自車両に設置された路面標示認識装置を用いる路面標示認識方法において、
カラー画像取得機能ブロックは、道路面のカラー画像を撮影する工程と、
輝度画像生成機能ブロックは、前記カラー画像取得手段が取得したカラー画像を基に輝度画像を生成する工程と、
青成分強度画像生成機能ブロックは、前記カラー画像に含まれる青成分の強さを画素毎に算出することにより、青成分強度画像を生成する工程と、
日陰補正画像生成機能ブロックは、前記輝度画像と前記青成分強度画像とを加算することにより、前記輝度画像に比べて日向と日陰の領域に対応する画素値の差が小さい日陰補正画像を生成する工程と、
路面標示認識機能ブロックは、前記日陰補正画像から路面標示を認識する工程と
を備えることを特徴とする路面標示認識方法。
【請求項８】
道路面を撮影するように自車両に設置された路面標示認識装置を用いる路面標示認識方法において、
カラー画像取得機能ブロックは、道路面のカラー画像を撮影する工程と、
緑成分画像生成機能ブロックは、前記カラー画像取得機能ブロックが取得したカラー画像から緑成分値のみを抽出した緑成分画像を生成する工程と、
青成分強度画像生成機能ブロックは、前記カラー画像に含まれる青成分の強さを画素毎に算出することにより、青成分強度画像を生成する工程と、
日陰補正画像生成機能ブロックは、前記緑成分画像と前記青成分強度画像とを加算することにより、前記緑成分画像に比べて日向と日陰の領域に対応する画素値の差が小さい日陰補正画像を生成する工程と、
路面標示認識機能ブロックは、前記日陰補正画像から路面標示を認識する工程と
を備えることを特徴とする路面標示認識方法。
【請求項９】
前記青成分強度画像生成機能ブロックは、画素毎に、青成分の値から赤成分の値を減じた値に正の定数を乗じて青成分強度画像を生成することを特徴とする請求項７または８に記載の路面標示認識方法。
【請求項１０】
前記青成分強度画像生成機能ブロックは、画素毎に、青成分を赤成分で除した値に正の定数を乗じて青成分強度画像を生成することを特徴とする請求項７または８に記載の路面標示認識方法。
【請求項１１】
道路面を撮影するように自車両に設置された路面標示認識装置を用いる路面標示認識方法において、
カラー画像取得機能ブロックは、道路面のカラー画像を撮影する工程と、
日陰領域輝度強調画像生成機能ブロックは、前記カラー画像取得機能ブロックが取得したカラー画像を基に、画素毎に赤成分値から青成分値を減じた値に正の定数を乗じて、前記カラー画像を構成する緑成分値もしくは赤成分値もしくは輝度値に加算した画像を出力する工程と、
路面標示認識機能ブロックは、前記日陰領域輝度強調画像生成機能ブロックが出力する画像から路面標示を認識する工程と
を備えることを特徴とする路面標示認識方法。
【請求項１２】
前記青成分強度画像生成機能ブロックは、日時および時刻および天候のいずれか１つ以上の条件に基づいて、前記正の定数の値を決定することを特徴とする請求項７から１１に記載の路面標示認識方法。
【請求項１３】
道路面を撮影するように自車両に設置された路面標示認識装置を用いる路面標示認識プログラムにおいて、
カラー画像取得機能ブロックは、道路面のカラー画像を撮影する工程と、
輝度画像生成機能ブロックは、前記カラー画像取得手段が取得したカラー画像を基に輝度画像を生成する工程と、
青成分強度画像生成機能ブロックは、前記カラー画像に含まれる青成分の強さを画素毎に算出することにより、青成分強度画像を生成する工程と、
日陰補正画像生成機能ブロックは、前記輝度画像と前記青成分強度画像とを加算することにより、前記輝度画像に比べて日向と日陰の領域に対応する画素値の差が小さい日陰補正画像を生成する工程と、
路面標示認識機能ブロックは、前記日陰補正画像から路面標示を認識する工程と
を備えることを特徴とする路面標示認識プログラム。
【請求項１４】
道路面を撮影するように自車両に設置された路面標示認識装置を用いる路面標示認識方法において、
カラー画像取得機能ブロックは、道路面のカラー画像を撮影する工程と、
緑成分画像生成機能ブロックは、前記カラー画像取得機能ブロックが取得したカラー画像から緑成分値のみを抽出した緑成分画像を生成する工程と、
青成分強度画像生成機能ブロックは、前記カラー画像に含まれる青成分の強さを画素毎に算出することにより、青成分強度画像を生成する工程と、
日陰補正画像生成機能ブロックは、前記緑成分画像と前記青成分強度画像とを加算することにより、前記緑成分画像に比べて日向と日陰の領域に対応する画素値の差が小さい日陰補正画像を生成する工程と、
路面標示認識機能ブロックは、前記日陰補正画像から路面標示を認識する工程と
を備えることを特徴とする路面標示認識プログラム。
【請求項１５】
前記青成分強度画像生成機能ブロックは、画素毎に、青成分の値から赤成分の値を減じた値に正の定数を乗じて青成分強度画像を生成することを特徴とする請求項１３または１４に記載の路面標示認識プログラム。
【請求項１６】
前記青成分強度画像生成機能ブロックは、画素毎に、青成分を赤成分で除した値に正の定数を乗じて青成分強度画像を生成することを特徴とする請求項１３または１４に記載の路面標示認識方法。
【請求項１７】
道路面を撮影するように自車両に設置された路面標示認識装置を用いる路面標示認識プログラムにおいて、
カラー画像取得機能ブロックは、道路面のカラー画像を撮影する工程と、
日陰領域輝度強調画像生成機能ブロックは、前記カラー画像取得機能ブロックが取得したカラー画像を基に、画素毎に赤成分値から青成分値を減じた値に正の定数を乗じて、前記カラー画像を構成する緑成分値もしくは赤成分値もしくは輝度値に加算した画像を出力する工程と、
路面標示認識機能ブロックは、前記日陰領域輝度強調画像生成機能ブロックが出力する画像から路面標示を認識する工程と
を備えることを特徴とする路面標示認識プログラム。
【請求項１８】
前記青成分強度画像生成機能ブロックは、日時および時刻および天候のいずれか１つ以上の条件に基づいて、前記正の定数の値を決定することを特徴とする請求項１３から１７に記載の路面標示認識プログラム。
【請求項１】
道路面を撮影するように自車両に設置された路面標示認識装置において、
道路面のカラー画像を撮影するカラー画像取得機能ブロックと、
前記カラー画像取得機能ブロックが取得したカラー画像を基に輝度画像を生成する輝度画像生成機能ブロックと、
前記カラー画像に含まれる青成分の強さを画素毎に算出することにより、青成分強度画像を生成する青成分強度画像生成機能ブロックと、
前記輝度画像と前記青成分強度画像とを加算することにより、前記輝度画像に比べて日向と日陰の領域に対応する画素値の差が小さい日陰補正画像を生成する日陰補正画像生成機能ブロックと、
前記日陰補正画像から路面標示を認識する路面標示認識機能ブロックと
を備えることを特徴とする路面標示認識装置。
【請求項２】
道路面を撮影するように自車両に設置された路面標示認識装置において、
道路面のカラー画像を撮影するカラー画像取得機能ブロックと、
前記カラー画像取得機能ブロックが取得したカラー画像から緑成分値のみを抽出した緑成分画像を生成する緑成分画像生成機能ブロックと、
前記カラー画像に含まれる青成分の強さを画素毎に算出することにより、青成分強度画像を生成する青成分強度画像生成機能ブロックと、
前記緑成分画像と前記青成分強度画像とを加算することにより、前記緑成分画像に比べて日向と日陰の領域に対応する画素値の差が小さい日陰補正画像を生成する日陰補正画像生成機能ブロックと、
前記日陰補正画像から路面標示を認識する路面標示認識機能ブロックと
を備えることを特徴とする路面標示認識装置。
【請求項３】
前記青成分強度画像生成機能ブロックは、画素毎に、青成分の値から赤成分の値を減じた値に正の定数を乗じて青成分強度画像を生成することを特徴とする請求項１または２に記載の路面標示認識装置。
【請求項４】
前記青成分強度画像生成機能ブロックは、画素毎に、青成分を赤成分で除した値に正の定数を乗じて青成分強度画像を生成することを特徴とする請求項１または２に記載の路面標示認識装置。
【請求項５】
道路面を撮影するように自車両に設置された路面標示認識装置において、
道路面のカラー画像を撮影するカラー画像取得機能ブロックと、
前記カラー画像取得機能ブロックが取得したカラー画像を基に、画素毎に赤成分値から青成分値を減じた値に正の定数を乗じて、前記カラー画像を構成する緑成分値もしくは赤成分値もしくは輝度値に加算した画像を出力する日陰領域輝度強調画像生成機能ブロックと、
前記日陰領域輝度強調画像生成機能ブロックが出力する画像から路面標示を認識する路面標示認識機能ブロックと
を備えることを特徴とする路面標示認識装置。
【請求項６】
前記青成分強度画像生成機能ブロックは、日時および時刻および天候のいずれか１つ以上の条件に基づいて、前記正の定数の値を決定することを特徴とする請求項３から５に記載の路面標示認識装置。
【請求項７】
道路面を撮影するように自車両に設置された路面標示認識装置を用いる路面標示認識方法において、
カラー画像取得機能ブロックは、道路面のカラー画像を撮影する工程と、
輝度画像生成機能ブロックは、前記カラー画像取得手段が取得したカラー画像を基に輝度画像を生成する工程と、
青成分強度画像生成機能ブロックは、前記カラー画像に含まれる青成分の強さを画素毎に算出することにより、青成分強度画像を生成する工程と、
日陰補正画像生成機能ブロックは、前記輝度画像と前記青成分強度画像とを加算することにより、前記輝度画像に比べて日向と日陰の領域に対応する画素値の差が小さい日陰補正画像を生成する工程と、
路面標示認識機能ブロックは、前記日陰補正画像から路面標示を認識する工程と
を備えることを特徴とする路面標示認識方法。
【請求項８】
道路面を撮影するように自車両に設置された路面標示認識装置を用いる路面標示認識方法において、
カラー画像取得機能ブロックは、道路面のカラー画像を撮影する工程と、
緑成分画像生成機能ブロックは、前記カラー画像取得機能ブロックが取得したカラー画像から緑成分値のみを抽出した緑成分画像を生成する工程と、
青成分強度画像生成機能ブロックは、前記カラー画像に含まれる青成分の強さを画素毎に算出することにより、青成分強度画像を生成する工程と、
日陰補正画像生成機能ブロックは、前記緑成分画像と前記青成分強度画像とを加算することにより、前記緑成分画像に比べて日向と日陰の領域に対応する画素値の差が小さい日陰補正画像を生成する工程と、
路面標示認識機能ブロックは、前記日陰補正画像から路面標示を認識する工程と
を備えることを特徴とする路面標示認識方法。
【請求項９】
前記青成分強度画像生成機能ブロックは、画素毎に、青成分の値から赤成分の値を減じた値に正の定数を乗じて青成分強度画像を生成することを特徴とする請求項７または８に記載の路面標示認識方法。
【請求項１０】
前記青成分強度画像生成機能ブロックは、画素毎に、青成分を赤成分で除した値に正の定数を乗じて青成分強度画像を生成することを特徴とする請求項７または８に記載の路面標示認識方法。
【請求項１１】
道路面を撮影するように自車両に設置された路面標示認識装置を用いる路面標示認識方法において、
カラー画像取得機能ブロックは、道路面のカラー画像を撮影する工程と、
日陰領域輝度強調画像生成機能ブロックは、前記カラー画像取得機能ブロックが取得したカラー画像を基に、画素毎に赤成分値から青成分値を減じた値に正の定数を乗じて、前記カラー画像を構成する緑成分値もしくは赤成分値もしくは輝度値に加算した画像を出力する工程と、
路面標示認識機能ブロックは、前記日陰領域輝度強調画像生成機能ブロックが出力する画像から路面標示を認識する工程と
を備えることを特徴とする路面標示認識方法。
【請求項１２】
前記青成分強度画像生成機能ブロックは、日時および時刻および天候のいずれか１つ以上の条件に基づいて、前記正の定数の値を決定することを特徴とする請求項７から１１に記載の路面標示認識方法。
【請求項１３】
道路面を撮影するように自車両に設置された路面標示認識装置を用いる路面標示認識プログラムにおいて、
カラー画像取得機能ブロックは、道路面のカラー画像を撮影する工程と、
輝度画像生成機能ブロックは、前記カラー画像取得手段が取得したカラー画像を基に輝度画像を生成する工程と、
青成分強度画像生成機能ブロックは、前記カラー画像に含まれる青成分の強さを画素毎に算出することにより、青成分強度画像を生成する工程と、
日陰補正画像生成機能ブロックは、前記輝度画像と前記青成分強度画像とを加算することにより、前記輝度画像に比べて日向と日陰の領域に対応する画素値の差が小さい日陰補正画像を生成する工程と、
路面標示認識機能ブロックは、前記日陰補正画像から路面標示を認識する工程と
を備えることを特徴とする路面標示認識プログラム。
【請求項１４】
道路面を撮影するように自車両に設置された路面標示認識装置を用いる路面標示認識方法において、
カラー画像取得機能ブロックは、道路面のカラー画像を撮影する工程と、
緑成分画像生成機能ブロックは、前記カラー画像取得機能ブロックが取得したカラー画像から緑成分値のみを抽出した緑成分画像を生成する工程と、
青成分強度画像生成機能ブロックは、前記カラー画像に含まれる青成分の強さを画素毎に算出することにより、青成分強度画像を生成する工程と、
日陰補正画像生成機能ブロックは、前記緑成分画像と前記青成分強度画像とを加算することにより、前記緑成分画像に比べて日向と日陰の領域に対応する画素値の差が小さい日陰補正画像を生成する工程と、
路面標示認識機能ブロックは、前記日陰補正画像から路面標示を認識する工程と
を備えることを特徴とする路面標示認識プログラム。
【請求項１５】
前記青成分強度画像生成機能ブロックは、画素毎に、青成分の値から赤成分の値を減じた値に正の定数を乗じて青成分強度画像を生成することを特徴とする請求項１３または１４に記載の路面標示認識プログラム。
【請求項１６】
前記青成分強度画像生成機能ブロックは、画素毎に、青成分を赤成分で除した値に正の定数を乗じて青成分強度画像を生成することを特徴とする請求項１３または１４に記載の路面標示認識方法。
【請求項１７】
道路面を撮影するように自車両に設置された路面標示認識装置を用いる路面標示認識プログラムにおいて、
カラー画像取得機能ブロックは、道路面のカラー画像を撮影する工程と、
日陰領域輝度強調画像生成機能ブロックは、前記カラー画像取得機能ブロックが取得したカラー画像を基に、画素毎に赤成分値から青成分値を減じた値に正の定数を乗じて、前記カラー画像を構成する緑成分値もしくは赤成分値もしくは輝度値に加算した画像を出力する工程と、
路面標示認識機能ブロックは、前記日陰領域輝度強調画像生成機能ブロックが出力する画像から路面標示を認識する工程と
を備えることを特徴とする路面標示認識プログラム。
【請求項１８】
前記青成分強度画像生成機能ブロックは、日時および時刻および天候のいずれか１つ以上の条件に基づいて、前記正の定数の値を決定することを特徴とする請求項１３から１７に記載の路面標示認識プログラム。
【図１】
【図２】
【図３】
【図４】
【図５】
【図６】
【図７】
【図８】
【図９】
【図２】
【図３】
【図４】
【図５】
【図６】
【図７】
【図８】
【図９】
【公開番号】特開２００９−２０５５５９（Ｐ２００９−２０５５５９Ａ）
【公開日】平成２１年９月１０日（２００９．９．１０）
【国際特許分類】
【出願番号】特願２００８−４８８９０（Ｐ２００８−４８８９０）
【出願日】平成２０年２月２８日（２００８．２．２８）
【出願人】（０００００４２３７）日本電気株式会社 (19,353)
【Ｆターム（参考）】
【公開日】平成２１年９月１０日（２００９．９．１０）
【国際特許分類】
【出願日】平成２０年２月２８日（２００８．２．２８）
【出願人】（０００００４２３７）日本電気株式会社 (19,353)
【Ｆターム（参考）】
[ Back to top ]