道路環境情報取得装置及びその方法
【課題】撮像画像を基に道路環境を高い精度で検出する。
【解決手段】道路環境生成装置１は、自車両前方を撮像するカメラ２の撮像画像に、車幅方向及び車両進行方向に幅を有する方形の画素検出枠を設定する画素検出枠設定部１３と、画素検出枠内の画素の情報を基に、該画素検出枠内の画像のエッジを算出する道路環境特徴算出部１３と、エッジを表す複数の画素のうちの少なくとも３個の画素の位置を基に近似直線を算出する近似直線算出部１４と、画素検出枠の車幅方向に延びる辺に近似直線が交差するか否かを判定する画素検出枠交差判定部１５と、交差すると判定した近似直線と画素検出枠の車両進行方向に延びる辺との平行度を基に、エッジを画像内の道路環境を表すものとしての決定をする道路環境生成部１６と、を備える。
【解決手段】道路環境生成装置１は、自車両前方を撮像するカメラ２の撮像画像に、車幅方向及び車両進行方向に幅を有する方形の画素検出枠を設定する画素検出枠設定部１３と、画素検出枠内の画素の情報を基に、該画素検出枠内の画像のエッジを算出する道路環境特徴算出部１３と、エッジを表す複数の画素のうちの少なくとも３個の画素の位置を基に近似直線を算出する近似直線算出部１４と、画素検出枠の車幅方向に延びる辺に近似直線が交差するか否かを判定する画素検出枠交差判定部１５と、交差すると判定した近似直線と画素検出枠の車両進行方向に延びる辺との平行度を基に、エッジを画像内の道路環境を表すものとしての決定をする道路環境生成部１６と、を備える。
【発明の詳細な説明】
【技術分野】
【０００１】
本発明は、撮像画像を基に道路環境の情報を取得する技術に関する。
【背景技術】
【０００２】
車載カメラの撮像画像を基に白線等の走行レーンを検出する走行レーン検出装置や走行レーン検出方法が多数存在する。
例えば、引用文献１では、白線を検出することを目的として、画像の設定領域内で輝度の最大値となる画素を検出し、検出した画素を基準に他の画素の輝度分布を求め、ノイズ処理を行わずに白線の近似直線を求めている。
【先行技術文献】
【特許文献】
【０００３】
【特許文献１】特開平５−３４７０００号公報
【発明の概要】
【発明が解決しようとする課題】
【０００４】
従来の走行レーン検出装置や走行レーン検出方法では、設定領域内の全ての画素を用いて道路環境である走行レーンを検出している。
これにより、走行レーン以外の道路環境を示す画素が設定領域内に含まれると、その影響を受けてしまい走行レーンの検出精度が悪化してしまう恐れがある。
本発明の課題は、撮像画像を基に道路環境を高い精度で検出することである。
【課題を解決するための手段】
【０００５】
前記課題を解決するために、本発明は、撮像手段が撮像した画像に、車幅方向及び車両進行方向に幅を有する方形の画素検出枠を設定し、設定した画素検出枠内の画素を基に、該画素検出枠内の画像の特徴部を算出し、算出した特徴部を表す複数の画素のうちの少なくとも３個の画素の位置を基に近似直線を算出し、画素検出枠の車幅方向に延びる辺に近似直線が交差するか否かを判定し、交差判定手段が交差すると判定した近似直線と画素検出枠の車両進行方向に延びる辺との平行度を基に、特徴部を画像内の道路環境を表すものとしての決定をする。
【発明の効果】
【０００６】
本発明によれば、画素検出枠内の画像の特徴部を表す画素の位置を基に算出した近似直線を用い、さらにはその近似直線とその画素検出枠の形状との比較結果を用いることで、道路環境の特徴を適切に示す特徴部を該道路環境のものとする決定ができるため、撮像画像を基に道路環境を高い精度で検出できる。
【図面の簡単な説明】
【０００７】
【図１】本実施形態の道路環境生成装置の構成を示すブロック図である。
【図２】車両へのカメラの搭載状態を示す図である。
【図３】カメラの撮像画像（自車両前方の画像）の例を示す図である。
【図４】画素検出枠設定の処理結果を説明する図であり、算出される自車両の推定進路中心位置、画素検出枠を示す図である。
【図５】新たに設定した画素検出枠の例を示す図である。
【図６】２値化処理により得たエッジに対して施す種々の処理を説明する図である。
【図７】速度画像の例を示す図である。
【図８】道路環境特徴を持つ画素の階級値により表される速度画像を示す図である。
【図９】ノイズとして削除された画素（道路環境特徴を持つ画素でないとされた画素）の例を説明する図である。
【図１０】３点の画素を用いて算出された近似直線の例を示す図である。
【図１１】近似直線と画素検出枠の車幅方向に延びる辺との交差の状態を示す図である。
【図１２】近似直線の判定を説明する図である。
【図１３】走路環境生成装置の一連の処理動作を示すフローチャートである。
【発明を実施するための形態】
【０００８】
（構成）
本実施形態は、道路環境生成装置である。
図１は、道路環境生成装置１の構成を示すブロック図である。
図１に示すように、道路環境生成装置１は、カメラ２及び制御部１０を有する。
カメラ２は、車両前方を撮像する撮像部である。カメラ２は、例えばＣＣＤ（Charge Coupled Device）やＣＭＯＳ（Complementary Metal Oxide Semiconductor）などの撮像素子を有したカメラである。
【０００９】
図２は、車両１００へのカメラ２の搭載状態を示す。図２（ａ）は車両１００の側面図を示し、図２（ｂ）は車両１００の平面図を示す。
図２に示すように、車両１００の室内上部前方中央にカメラ２を設置している。光軸ＬＳが車両進行方向又は車両前方正面方向（Ｚ方向）に向き、また、撮像面の水平軸Ｘが路面に対して平行かつ車両前方正面方向に対して垂直になり、また、撮像面の垂直軸Ｙが路面に対して垂直かつ車両前方正面方向に対して垂直になるようにカメラ２を設置している。
【００１０】
図３は、カメラ２の撮像画像（自車両前方の画像）の例を示す。
図３に示すように、本実施形態では、画像左上に原点（０，０）をとり、左右方向をｘ軸（右側に行くほどｘ値が増加）とし、上下方向をｘ軸（下側に行くほどｘ値が増加）とするｘｙ座標系によって撮像画像内の位置（具体的には画素位置）を表している。なお、この図３では、左右の白線、外壁、外壁と走行路との境界線を撮像画像が含んでいる。また、撮像画像内の道路は右カーブ路になっている。
【００１１】
カメラ２は、車両前方を連続的に撮像し、フレーム毎に撮像画像を制御部１０（画像一時記録部１１）に出力する。
図１に示すように、制御部１０は、画像一時記録部１１、画素検出枠設定部１２、道路環境特徴算出部１３、近似直線算出部１４、画素検出枠交差判定部１５、及び道路環境生成部１６を有する。例えば、制御部１０は、プログラムの実行によりこれら各部を実現する。
【００１２】
ここで、画像一時記録部１１は、カメラ２の撮像画像を一時的に記憶する。画素検出枠設定部１２は、車両情報及び道路形状情報等を基に、撮像画像に対して画素検出枠を設定する。道路環境特徴算出部１３は、撮像画像内で速度を有する部位の速度及び方向を示す移動情報を基に、画素検出枠内の道路環境特徴を算出する。近似直線算出部１４は、画素検出枠設定部１２が設定した画素検出枠内の道路環境特徴を持つ画素を基に近似直線を算出する。画素検出枠交差判定部１５は、近似直線算出部１４が算出した近似直線と画素検出枠との交差の判定結果等から、最終的な近似直線を算出する。
【００１３】
制御部１０の各構成部の処理は、より具体的には次のようになる。
画素検出枠設定部１２は、車両情報又は道路形状情報を取得する。例えば、車両情報とは、自車両幅、車速、ヨーレイト等であり、道路形状情報は道路の曲率半径や道路幅等である。例えば、自車両に搭載のセンサや記憶部、撮像画像、又は路車間通信により車両情報や道路経路情報を取得する。そして、画素検出枠設定部１２は、取得した車両情報又は道路形状情報を基に、撮像画像内における自車両の推定進路中心位置を算出する。
【００１４】
図４は、画素検出枠設定部１２の処理結果を説明する図であり、算出される自車両の推定進路中心位置、画素検出枠を示す図である。
図４に示すように、本実施形態では、画素検出枠設定部１２は、道路形状にほぼ沿うような推定進路中心位置Ｏを算出する。
【００１５】
そして、画素検出枠設定部１２は、自車両の進行方向の近傍及び遠方、並びに推定進路中心位置に対して左右に、撮像画像内の画素を検出（抽出）するための画素検出枠（４つの画素検出枠）を設定する。
【００１６】
本実施形態では、画素検出枠設定部１２は、図４に示すように、車幅方向に予め設定した車線幅を持ち、前後方向に予め設定した所定距離の広さを持つ方形の近傍画素検出枠を自車両近傍側で推定進路中心位置に対して左右に設定する。また、本実施形態では、近傍画素検出枠の形状を進行方向前方にいくほど幅が狭くなる台形に設定している。例えば、ここでいう予め設定した車線幅は３．２ｍであり、ここでいう予め設定した所定距離は３０ｍである。以降、左側の近傍画素検出枠を左側近傍画素検出枠（左側近傍画素検出領域）ＮＬ１といい、右側の近傍画素検出枠を右側近傍画素検出枠（右側近傍画素検出領域）ＮＲ１という。
【００１７】
また、画素検出枠設定部１２は、図４に示すように、近傍画素検出枠の後方（自車両からみて近傍画素検出枠よりも遠方）に、車幅方向に車線幅を持ち、前後方向に予め設定した所定距離の広さを持つ方形の遠方画素検出枠を自車両遠方側で推定進路中心位置に対して左右に設定する。また、本実施形態では、遠方画素検出枠の形状を進行方向前方にいくほど幅が狭くなる台形に設定している。例えば、ここでいう予め設定した所定距離は３０ｍ以上かつ１００ｍ以下である。以降、左側の遠方画素検出枠を左側遠方画素検出枠（左側遠方画素検出領域）ＦＬ１といい、右側の遠方画素検出枠を右側遠方画素検出枠（右側遠方画素検出領域）ＦＲ１という。
【００１８】
さらに、画素検出枠設定部１２は、推定進路中心付近に設定した画素検出枠内における道路環境の生成又は決定（又は近似直線の算出）が終了すると、その画素検出枠の側方に新たに画素検出枠を設定する。このとき、画素検出枠設定部１２は、その道路特徴の生成結果を基に、新たに画素検出枠を設定する。
【００１９】
具体的には、画素検出枠設定部１２は、推定進路中心付近に設定した画素検出枠と新たに設定した画素検出枠が、生成した道路環境以外の道路環境特徴（生成した道路環境を構成しない道路環境特徴）が予め設定した所定値以上含まれるか否かを判定する。そして、画素検出枠設定部１２は、所定値以上含まれると判定すると、推定進路中心付近に設定した画素検出枠内及び新たに設定した画素検出枠内に複数の道路環境があると判断して、推定進路中心付近に設定した画素検出枠に新たに設定した画素検出枠をオーバーラップさせる。
【００２０】
また、画素検出枠設定部１２は、所定値未満の場合、又は道路環境が生成されていない場合には、中心付近に道路環境特徴が無い（又は新たな道路環境特徴が無い）と判断して、新たに設定する画素検出枠を推定進路中心付近に設定した画素検出枠に隣接させる。
【００２１】
図５は、新たに設定した画素検出枠ＮＬ２の例を示す。
図５に示すように、本実施形態では、画素検出枠設定部１２は、左側近傍画素検出枠ＮＬ１にオーバーラップして新たに近傍画素検出枠ＮＬ２を設定している。また、画素検出枠設定部１２は、右側は新たな画素検出枠を設定可能な領域を確保できないため、新たな画素検出枠の設定を行っていない。
【００２２】
道路環境特徴算出部１３は、画像一時記録部１１から撮像画像を読み込む。そして、道路環境特徴算出部１３は、読み込んだ撮像画像に対して２値化処理を施してエッジを抽出する。ここでいう２値化処理では、予め設定した閾値と画素の値（例えば輝度情報）とを比較して２値化画像を得て、その２値化画像を基に、エッジに対応する画素には"１"を割り当て、エッジに対応しない画素には"０"を割り当てる。
【００２３】
そして、道路環境特徴算出部１３は、２値化処理により得たエッジに対して種々の処理を施す。
図６は、そのような種々の処理を説明する図である。
図６（ａ）は、前述のように２値化処理により抽出した垂直方向のエッジ（撮像画像内の一部のエッジ）の例を示す。
【００２４】
道路環境特徴算出部１３は、図６（ｂ）に示すように、２値化処理により得たエッジに対して細線化処理を施す。ここでいう細線化処理とは、エッジのエッジ幅を予め設定された所定画素幅になるまで縮小する処理である。例えば、図６（ｂ）に示すように、本実施形態では、所定画素幅を１画素としている。なお、所定画素幅を１以外の画素数とすることもできる。
【００２５】
道路環境特徴算出部１３は、この細線化処理により、エッジを所定画素幅になるまで細線化することで該エッジの中心位置に設定する。
【００２６】
さらに、道路環境特徴算出部１３は、図６（ｃ）に示すように、細線化処理を施して得たエッジ（細線化されたエッジ）のエッジ幅を拡張させる膨張処理を施す。ここでいう膨張処理とは、細線化処理によって設定された中心位置からエッジの移動方向にエッジ幅を膨張させるとともに、前記中心位置からエッジの移動方向とは反対方向にもエッジ幅を膨張させる処理である。
【００２７】
例えば、図６（ｃ）では、膨張処理により、エッジの中心位置ｘ０からエッジの移動方向（ｘ軸の正方向）に１画素分膨張させている（本実施形態では位置ｘ０＋１の画素に"１"を割り当てている）。さらに、膨張処理により、エッジの中心位置ｘ０からエッジの移動方向とは反対方向（ｘ軸の負方向）に１画素分膨張させている（本実施形態では位置ｘ０−１の画素に"１"を割り当てている）。このように、本実施形態では、膨張処理により、エッジ幅を予め設定した所定幅となる３画素に膨張させている。
【００２８】
道路環境特徴算出部１３は、以上のような細線化処理及び膨張処理により、２値化処理により抽出したエッジのエッジ幅を所定幅で均一（統一）にして、各エッジを規格化（正規化）している。
【００２９】
次に、道路環境特徴算出部１３は、エッジ（膨張処理後のエッジ）に該当する画素（エッジが検出される画素）の画素カウンタのカウンタ値を更新（カウントアップ）する。画素カウンタは、各画素毎に設定されたカウンタであり、画素がエッジに該当する場合にはそのカウンタ値に＋１加算し、画素がエッジに該当しない場合にはそのカウンタ値を零に初期化する。或いは、画素カウンタは、カウントアップ処理として、エッジに該当する画素に対応するメモリアドレスの値をカウントアップし、エッジに該当しない画素に対応するメモリアドレスの値を初期化する。
【００３０】
図６（ｃ）乃至（ｆ）を用いて画素カウンタの処理（カウントアップ処理）を説明する。この説明では、簡単にするためにエッジがｘ軸の正方向に移動するものとしているが、エッジのｘ軸の負方向、エッジのｙ軸方向（正方向及び負方向）、又は２次元的に移動（ｘｙ平面内を移動）する場合も、エッジはｘ軸の正方向に移動する場合と同様な処理になる。
【００３１】
図６（ｃ）に示すように、エッジは、エッジ抽出処理（２値化処理、細線化処理、及び膨張処理）により所定幅を有するものとなっている。すなわち例えば、図６（ｃ）に示すように、エッジは、あるフレームにおいて位置ｘ０にエッジの中心位置があり、その中心位置ｘ０からエッジの移動方向に１画素分の位置ｘ０＋１まで膨張し、さらに、その中心位置ｘ０からエッジの移動方向とは反対方向に１画素分の位置ｘ０−１まで膨張している。
【００３２】
この場合、道路環境特徴算出部１３は、エッジに該当する画素（エッジが検出される画素）の位置ｘ０−１、ｘ０、ｘ０＋１のカウンタ値をそれぞれカウントアップする。また、道路環境特徴算出部１３は、エッジに該当しない画素（エッジが検出されない画素）の位置（位置ｘ０−１、ｘ０、ｘ０＋１以外の位置）のカウンタ値をリセットする。
【００３３】
例えば、図６（ｄ）では、時刻ｔにおいて位置ｘ０−１、ｘ０、ｘ０＋１の画素がエッジに該当するために、位置ｘ０−１、ｘ０、ｘ０＋１それぞれについて１ずつカウントアップされた状態になっている。これにより、位置ｘ０＋１のカウンタ値が"１"、位置ｘ０のカウンタ値が"３"、位置ｘ０−１のカウンタ値が"５"になっている。
【００３４】
そして、時刻ｔ＋１でエッジの移動がないと、図６（ｅ）に示すように、位置ｘ０−１、ｘ０、ｘ０＋１の画素がエッジに該当しているために、位置ｘ０−１、ｘ０、ｘ０＋１それぞれについて１ずつカウントアップされた状態になる。これにより、位置ｘ０＋１のカウンタ値が"２"、位置ｘ０のカウンタ値が"４"、位置ｘ０−１のカウンタ値が"６"になる。
【００３５】
さらに、時刻ｔ＋２でエッジがｘ軸の正方向に１画素分移動（１画素シフト）すると、図６（ｆ）に示すように、位置ｘ０、ｘ０＋１、ｘ０＋２の画素がエッジに該当するために、位置ｘ０、ｘ０＋１、ｘ０＋２それぞれについて１ずつカウントアップされた状態になる。これにより、位置ｘ０＋２のカウンタ値が"１"、位置ｘ０＋１のカウンタ値が"３"、位置ｘ０のカウンタ値が"５"になる。一方、位置ｘ０−１の画素がエッジに該当しなくなるために、図６（ｅ）に示すように、位置ｘ０−１のカウンタ値はリセットされて零になる。
【００３６】
以上のようにして、画素カウンタの処理（カウントアップ処理）では、エッジに該当する画素のカウンタ値をカウントアップし、エッジに該当しない画素のカウンタ値をリセットしている。
【００３７】
なお、この図６を用いた説明では、画素カウンタの処理により、３箇所（中心位置の１箇所、並びに中心位置の移動方向及びその反対方向の２箇所の計３箇所）でカウンタ値を得ている。しかし、後述のカウンタ値の傾きが算出可能であれば、エッジの移動方向に対して２箇所以上でカウンタ値を得ることができる。
【００３８】
また、エッジが移動する速度に比べてフレームレートを十分に高く設定すると、連続するフレームの同じ位置で同一のエッジを複数回検出することができる。例えば、図６のように、時刻ｔのフレーム及び時刻ｔ＋１のフレームにより位置ｘ０において同一のエッジを２回検出できている。よって、エッジを構成する画素をカウントアップして得られるカウンタ値は、その画素でエッジを検出している時間（フレーム数）と等しくなる。特に、エッジに該当する画素のカウンタ値の中で最小のカウンタ値ｈ（図６（ｅ）参照）は、エッジが移動してから何フレームの間、同じ位置にあるかということを表す。
【００３９】
道路環境特徴算出部１３は、このような画素カウンタによるカウンタ値の更新処理を、カメラ２で連続的に撮像されるフレーム毎に行う。これにより、エッジに該当する時間が長い画素は、そのカウンタ値が大きくなり、エッジに該当する時間が短い画素は、そのカウンタ値が小さくなる。道路環境特徴算出部１３は、このような画素カウンタのカウンタ値の変化から、撮像画像上におけるエッジの移動速度及び移動方向を算出する。
【００４０】
道路環境特徴算出部１３は、エッジの移動速度については、カウンタ値の傾きＨを基に算出する。
【００４１】
例えば、図６（ｅ）のように、位置ｘ０−１、ｘ０、ｘ０＋１のカウンタ値がそれぞれ"６"、"４"、"２"の場合、位置ｘ０−１のカウンタ値"６"から位置ｘ０＋１のカウンタ値"２"を引くことで、次式によりカウンタ値の傾きＨを得ることができる。
Ｈ＝（６−２）／２＝２
その意味は次式のようになる。
Ｈ＝｛（エッジが位置ｘ０−１に移動してから現在までの時間）−（エッジが位置ｘ０＋１に移動してしまった後の時間）｝／（２画素）
このカウンタ値の傾きＨは、エッジが位置ｘ０のある１画素を通過するのに要した時間（フレーム数）を表すものとなる。このことから、道路環境特徴算出部１３は、このカウンタ値の傾きＨを基に、エッジの移動速度を１／Ｈとして算出する。図６（ｅ）では、エッジの移動速度１／Ｈは１／２（画素／フレーム）になり、１画素移動するのに２フレームを要したことになる。
【００４２】
そして、道路環境特徴算出部１３は、エッジの移動方向については、カウンタ値の大小によって得ている。
ここで、エッジの移動により新たに該エッジに該当することとなった画素のカウンタ値は１になるため、該画素のカウンタ値が、該エッジに該当する複数の画素（本実施形態では３箇所の画素）のカウンタ値の中で最も小さい値になる。よって、エッジが移動する方向の画素のカウンタ値は小さく、エッジが移動する方向とは反対方向の画素（エッジが通過した画素）のカウンタ値は大きくなる。このことから、道路環境特徴算出部１３は、このようなカウンタ値の大小を判断してエッジの移動方向を得る。
【００４３】
また、エッジに該当する各画素のカウンタ値の中で最小のカウンタ値ｈは、エッジがその位置で検出されている時間、すなわちエッジが移動してから何フレームの間、該エッジが同じ位置にあるかということを表す。
【００４４】
このことから、エッジの中心位置をｘ０とすると、最小のカウンタ値ｈ及びカウンタ値の傾きＨ（又は移動速度１／Ｈ）を基に、次式により現在のエッジの位置（中心位置）を算出できる。
エッジの位置＝ｘ０＋ｈ／Ｈ
例えば、図６（ｆ）では、エッジの移動速度１／Ｈが１／２（画素／フレーム）であり、時刻ｔ＋２の時点で１フレーム連続して同じ位置でエッジを検出しているので、時刻ｔ＋２でのエッジの位置は、
１（フレーム）×｛１／２（画素／フレーム）｝＝０．５画素
だけ位置ｘ０から移動しているものとして算出されるものとなる。
【００４５】
道路環境特徴算出部１３は、以上のような算出手順に従って得ることができるエッジの移動速度及び移動方向を基に、撮像画像内に存在する物体（撮像画像内における部位）の移動情報（速度情報又は速度成分）を所定の階級値で表した速度画像を生成する。
【００４６】
図７は、速度画像の例を示す。
図７に示すように、本実施形態の速度画像では、移動情報を階級値として表すものとし、移動するエッジに該当する画素位置に円を表示し、その移動速度が速いほどその円を大きくして示す。さらに、エッジの移動方向が左方向の場合には黒塗りの円で表し、エッジの移動方向が右方向の場合には白塗りの円で表す。このように、移動情報の階級値を、移動速度の大きさ及び移動方向によりその大きさ及び色が定まる円（又は点）により表す。
【００４７】
ここで、自車両が前進すると、画像内で道路環境となる白線や縁石、外壁等は横方向に移動するように観測されるようになる。すなわち、自車両と道路環境との相対位置の変化により、停止物体である道路環境に擬似的な速度が発生するようになる。
【００４８】
よって、画像内で傾斜とした表わされる白線や縁石、外壁等の立体物と路面との境界部（エッジ）も、自車両が前進すると横方向に移動するように観測されるようになるため、その境界部について擬似的な速度が算出されるようになる。このようなことから、図７に示すように、実施形態では、自車両の進行方向の右側に有る白線（白線を表す画素）に対応する移動情報（階級値）は、右方向への移動速度（白塗りの円）を示している。また、自車両の進行方向の左側に有る外壁及び白線（外壁及び白線を表す画素）の移動情報（階級値）は、左方向への移動速度（黒塗りの円）を示している。
【００４９】
次に、道路環境特徴算出部１３は、道路環境特徴を持つ画素を抽出する。
ここで、通常、路面上（白線が無い路面箇所）には、エッジが存在しないために、移動情報（階級値）を得ることができない。これに対して、白線や縁石、外壁等の立体物がある場合、それら白線や縁石、外壁等の立体物と路面との境界部は斜線として表れるためにエッジを抽出でき、さらには移動情報（階級値）を得ることができる。
【００５０】
このようなことから、道路環境特徴算出部１３は、移動情報を得ることができない領域と移動情報を得ることができる領域の境界に存在する画素を抽出する。具体的には、道路環境特徴算出部１３は、速度画像内を下部から上部（ｙ軸の負方向）に向かい移動情報の有無を判定していき、移動情報を持つ画素から移動情報を持たない画素に切替る位置を特定し、特定した画素位置、すなわち移動情報を持つ画素を道路環境特徴を持つ画素として抽出する。
【００５１】
図８は、道路環境特徴を持つ画素の階級値により表される速度画像を示す。図７と比較するとわかるように、図８では、抽出要件を満たさない移動情報を持つ画素が除外されて、道路環境特徴を持つ画素のみが残るようになる。
近似直線算出部１４は、画素検出枠設定部１２が設定した画素検出枠内に存在する道路環境特徴を持つ画素を用いて近似直線を算出する。
【００５２】
先ず、近傍画素検出枠（左側近傍画素検出枠、右側近傍画素検出枠）内に存在する道路環境特徴を持つ画素を用いた近似直線の算出を説明する。
近似直線算出部１４は、近傍画素検出枠内に存在する道路環境特徴を持つ画素を抽出し、抽出した画素をそのｙ座標値が降順になるように並べ替える。ここで、左側近傍画素検出枠内では、自車両の左側の道路環境が右上がりの直線（斜線）相当として表されるために、抽出した画素をそのｙ座標値が降順になるように並べ替えると、そのｘ座標値が昇順となる。よって、近似直線算出部１４は、抽出した画素をそのｙ座標値が降順になるように並べ替えた場合に、そのｘ座標値の順序が逆転する（降順になる）画素をノイズとして削除する。すなわち、近似直線算出部１４は、異なる物体の特徴が混入したと判断して、その画素を道路環境特徴を持つ画素から除外する。また、右側近傍画素検出枠内では、自車両の右側の道路環境が左上がりの直線相当として表されるために、抽出した画素をそのｙ座標値が降順になるように並べ替えると、そのｘ座標値が降順となる。よって、近似直線算出部１４は、抽出した画素をそのｙ座標値が降順になるように並べ替えた場合に、そのｘ座標値の順序が逆転する（昇順になる）画素をノイズとして削除する。
【００５３】
図９は、ノイズとして削除された画素（道路環境特徴を持つ画素でないとされた画素）の例を説明する図である。
図９に示すように、本実施形態では、左側近傍画素検出枠ＮＬ１内からは、階級値を灰色の円で示す画素を４個、右側近傍画素検出枠ＮＲ１内からは、階級値を灰色の円で示す画素を３個、それらをノイズとして削除している。
【００５４】
そして、近似直線算出部１４は、以上のような削除がなされることなく残った道路環境特徴を持つ画素を基に、近似直線を算出する。近似直線の算出手順については後述する。
次に、遠方画素検出枠（左側遠方画素検出枠、右側遠方画素検出枠）における近似直線算出を説明する。
【００５５】
なお、近傍で近似直線が算出（近傍画素検出枠内で近似直線が算出）されていることを前提で説明する。すなわち、近似直線算出部１４は、近傍画素検出枠内で近似直線が検出されている場合、遠方の近似直線を算出する。具体的には、近似直線算出部１４は、遠方画素検出枠内に存在する道路環境特徴を持つ画素を抽出し、近傍画素検出枠内の画素に対して行ったと同様に、その抽出した画素をｙ座標値が降順になるように並べ替える。そして、近似直線算出部１４は、ｘ座標値の連続性を評価して、ノイズとなる画素を削除する。このとき、近傍における直線算出結果を基に、道路形状を推定し、推定した道路形状に応じてｘ座標値の連続性を評価する。
【００５６】
すなわち、推定した道路形状が直線路の場合には、左側遠方画素検出枠内の道路環境特徴を持つ画素については、近似直線算出部１４は、抽出した画素をそのｙ座標値が降順になるように並べ替えた場合に、そのｘ座標値の順序が逆転する（降順になる）とき、ノイズとして削除する。また、右側遠方画素検出枠内の道路環境特徴となる画素については、近似直線算出部１４は、抽出した画素をそのｙ座標値が降順になるように並べ替えた場合にそのｘ座標値の順序が逆転する（昇順になる）とき、その画素をノイズとして削除する。
【００５７】
また、推定した道路形状が右カーブ路の場合には、左側及び右側の近傍画素検出枠内の何れでも、自車両の左側及び右側の道路環境が右上がりの直線相当として表されるために、抽出した画素をｙ座標値が降順になるように並べ替えると、そのｘ座標値が昇順となる。よって、近似直線算出部１４は、抽出した画素をｙ座標値が降順になるように並べ替えた場合にそのｘ座標値の順序が逆転する（降順になる）とき、その画素をノイズとして削除する。
【００５８】
また、推定した道路形状が左カーブ路の場合には、左側及び右側の近傍画素検出枠内のいずれでも、自車両の左側及び右側の道路環境が左上がりの直線相当として表されるために、抽出した画素をそのｙ座標値が降順になるように並べ替えると、そのｘ座標値も降順となる。よって、近似直線算出部１４は、抽出した画素をｙ座標値が降順になるように並べ替えた場合にｘ座標値の順序が逆転する（昇順になる）とき、その画素をノイズとして削除する。
【００５９】
図９の例では、近傍における近似直線算出結果から道路形状を右カーブ路と推定し、左側遠方画素検出枠ＦＬ１内からは、階級値を灰色の円で示す画素を１３個、ノイズとして削除している。
そして、近似直線算出部１４は、以上のような削除がなされることなく残った道路環境特徴を持つ画素を基に、近似直線を算出する。
【００６０】
近傍及び遠方の画素検出枠内の画素に基づく近似直線の算出手順は次のようになる。ただし、遠方における近似直線の算出は、近傍において既に近似直線が算出されているということが前提になる。
【００６１】
近似直線算出部１４は、画素検出枠内に存在する道路環境特徴を持つ画素を少なくとも３個抽出し、抽出した３個を基に近似直線を算出する。例えば、近似直線算出部１４は、３個の画素の位置との距離が最も小さくなる直線を近似直線として算出する。そして、近似直線算出部１４は、このような３個の画素を用いた近似直線の算出処理を道路環境特徴を持つ画素の組み合わせを異ならせて行っていき、複数の近似直線を算出する。
【００６２】
図１０は、３点の画素を用いて算出された近似直線の例を示す。
図１０に示すように、本実施形態では、近似直線算出部１４は、左側近傍画素検出枠ＮＬ１ではＬ１、Ｌ２、Ｌ３の３つの近似直線を算出し、右側近傍画素検出枠ＮＲ１ではＲ１、Ｒ２の２つの近似直線を算出する。さらに、近似直線算出部１４は、左側遠方画素検出枠ＦＬ１ではＬ４、Ｌ５、Ｌ６の３つの近似直線を算出し、右側遠方画素検出枠ＦＲ１ではＲ３、Ｒ４の２つの近似直線を算出する。
【００６３】
画素検出枠交差判定部１５は、近似直線算出部１４が算出した近似直線と画素検出枠の車幅方向に延びる前後２つの辺とが交差するか否かを判定する。そのため、画素検出枠交差判定部１５は、近似直線算出部１４が算出した近似直線の両端を延長させて、その延長させた近似直線と、画素検出枠の車幅方向に延びる前後２つの辺とが交差するか否かを判定する。画素検出枠交差判定部１５は、交差しない（例えば前後２つの辺の両方と交差しない）との判定をした場合、画素検出枠交差判定部１５は、その交差しない近似直線を削除する。そして、画素検出枠交差判定部１５は、このような処理を、全ての画素検出枠（左側及び右側の近傍画素検出枠、並びに左側及び右側の遠方画素検出枠）について算出した近似直線について行う。
【００６４】
図１１は、近似直線と画素検出枠の車幅方向に延びる辺との交差の状態を示す。
図１１に示すように、本実施形態では、画素検出枠交差判定部１５は、左側近傍画素検出枠ＮＬ１において車幅方向に延びる前後２つの辺の両方に交差しない近似直線Ｌ１を削除することとなる。また、画素検出枠交差判定部１５は、左側遠方画素検出枠ＦＬ１において車幅方向に延びる前後２つの辺の両方に交差しない近似直線Ｌ５、Ｌ６を削除するこことなる。
【００６５】
道路環境生成部１６は、画素検出枠交差判定部１５が交差すると判定した近似直線をさらに選定する。
具体的には、先ず、道路環境生成部１６は、画素検出枠交差判定部１５が交差すると判定した近似直線とその画素検出枠（該近似直線が属する画素検出枠）内に有る道路環境特徴を持つ全ての画素との誤差（距離）を算出する。そして、道路環境生成部１６は、算出した誤差を比較し、それら誤差の中央値を近似直線に対する誤差の代表値にする。ここで、道路環境生成部１６は、画素検出枠交差判定部１５が交差すると判定した近似直線全てに対して同様な処理を行って、その全ての近似直線に対応する誤差の代表値を取得する。
【００６６】
そして、道路環境生成部１６は、同一の画素検出枠に属する全ての近似直線について誤差の代表値により比較し、代表値が最も小さくなる近似直線を、該画素検出枠で推定進路中心Ｏから遠い方の前後方向に延びる辺に平行度が一致する近似直線であると判定する。
なお、代表値を中間値にしているが、代表値を平均値等の他の値にすることもできる。
図１２は、そのような近似直線の判定を説明する図である。
【００６７】
図１２に示すように、本実施形態では、道路環境生成部１６は、左側近傍画素検出枠ＮＬ１では近似直線Ｌ３、右側近傍画素検出枠ＮＲ１では近似直線Ｒ２、左側遠方画素検出枠ＦＬ１では近似直線Ｌ４、右側遠方画素検出枠ＦＲ１では近似直線Ｒ４を最も誤差が小さくなる近似直線と判定している。すなわち、道路環境生成部１６は、これら近似直線を、各画素検出枠において、該画素検出枠で推定進路中心Ｏから遠い方の前後方向に延びる辺に平行度が一致する近似直線であると判定する。
【００６８】
また、道路環境生成部１６は、前記平行度が一致した近似直線とその画素検出枠内に存在する道路環境特徴を持つ各画素との誤差（距離）を算出する。そして、道路環境生成部１６は、算出した誤差が予め設定した所定値以上であると判定すると、その画素をノイズとして削除する。すなわち、近似直線算出部１４は、その画素を道路環境特徴を持つ画素から除外する。そして、道路環境生成部１６は、ノイズとして削除されずに残った道路環境特徴を持つ画素を用いて再度、近似直線を算出する。
【００６９】
よって、図１２に示すように、本実施形態では、道路環境生成部１６は、左側近傍画素検出枠ＮＬ１については、円内をハッチングで示す２個の画素をノイズとして削除し、残った画素に基づく再演算により近似直線Ｌ１０を算出している。また、道路環境生成部１６は、右側近傍画素検出枠ＮＲ１については、ノイズとして削除されなかった道路環境特徴を持つ画素による再演算により近似直線Ｒ１０を算出している。また、道路環境生成部１６は、左側遠方画素検出枠ＦＬ１についても、ノイズとして削除されなかった道路環境特徴を持つ画素による再演算により近似直線Ｌ２０（＝近似直線Ｌ４）を算出している。また、道路環境生成部１６は、右側遠方画素検出枠ＦＲ１についても、ノイズとして削除されなかった道路環境特徴を持つ画素による再演算により近似直線Ｒ２０を算出している。
【００７０】
そして、道路環境生成部１６は、道路環境を生成する（道路環境を特定する）。具体的には、道路環境生成部１６は、道路環境特徴を持つ画素によって得られる最終的な近似直線を道路環境を表すもの（例えば道路環境の特徴又は道路環境の一部）として決定する。或いは、道路環境生成部１６は、最終的な近似直線を算出するのに用いた道路環境特徴を持つ画素から構成されるエッジを道路環境を表すもの（例えば道路環境の特徴又は道路環境の一部）として決定する。さらに、例えば、道路環境生成部１６は、そのような道路環境特徴を持つ画素の位置情報或いは道路環境特徴を持つ画素から構成されるエッジの位置情報を出力する。
【００７１】
（動作、作用等）
図１３に示すフローチャートを用いて、走路環境生成装置１０の一連の処理動作を説明する。この図１３に示す処理動作は、不図示のイグニションスイッチがオンになったときに開始する。
【００７２】
これにより、先ずステップＳ１０１では、カメラ２は、撮像画像をフレーム毎に画像一時記録部１１に出力する。
続くステップＳ１０２では、道路環境特徴算出部１３は、画像一時記録部１１に記録されている撮像画像に対してエッジ抽出処理（２値化処理、細線化処理、及び膨張処理）を行い、撮像画像内に存在する物体の輪郭を抽出してエッジで表すエッジ画像を生成する。
【００７３】
続くステップＳ１０３では、道路環境特徴算出部１３は、エッジから移動情報を算出し、算出した移動情報を階級値（円の大きさ及び色）で表した速度画像を生成する。
続くステップＳ１０４では、道路環境特徴算出部１３は、生成した速度画像において下部から上部に向かい走査しつつ移動情報の有無を判定していき、移動情報が無い画素から移動情報が有る画素に切替る画素位置を特定し、特定したその移動情報を持つ画素を道路環境特徴を持つ画素として抽出する。
【００７４】
続くステップＳ１０５では、画素検出枠設定部１２は、車両情報又は道路形状情報を取得し、自車両の推定進路中心位置を算出する。そして、画素検出枠設定部１２は、算出した推定進路中心位置を基準として左側近傍画素検出枠、右側近傍画素検出枠、左側遠方画素検出枠、及び右側遠方画素検出枠を設定する。
続くステップＳ１０６では、近似直線算出部１４は、近傍画素検出枠内に存在する道路環境特徴を持つ画素を抽出し、抽出した画素をそのｙ座標値が降順になるように並べ替える。
【００７５】
続くステップＳ１０７では、近似直線算出部１４は、ｙ座標値が降順になるように並べ替えた道路環境特徴（画素）のｘ座標値の順序を判定する。そして、近似直線算出部１４は、ｘ座標値の順序が逆転していると判定したとき（左側近傍画素検出枠内では降順のとき、右側近傍画素検出枠内では昇順のとき）、すなわち、連続性（左側近傍画素検出枠内では昇順、右側近傍画素検出枠内では降順）が異なるとき、その画素をノイズとして削除する。
【００７６】
続くステップＳ１０８では、近似直線算出部１４は、近傍画素検出枠内に存在する道路環境特徴を持つ画素を３個抽出し、抽出した３個の画素を基に近似直線を算出する。
続くステップＳ１０９では、画素検出枠交差判定部１５は、ステップＳ１０８で近似直線算出部１４が算出した近似直線が、近傍画素検出枠における車幅方向に延びる前後２つの辺と交差するか否かを判定する。画素検出枠交差判定部１５は、交差すると判定すると、ステップＳ１１０に進む。また、画素検出枠交差判定部１５は、交差しないと判定すると、ステップＳ１０８に戻る。この場合、ステップＳ１０８では、別の３個の画素を基に別の近似直線を算出し、続くステップＳ１０９では、その算出した別の近似直線が、近傍画素検出枠における車幅方向に延びる前後２つの辺と交差するか否かを判定する。
【００７７】
ステップＳ１１０では、道路環境生成部１６は、ステップＳ１０８で算出した近似直線（ステップＳ１０９で交差すると判定した近似直線）と近傍画素検出枠内に存在する全ての道路環境特徴を持つ画素との誤差を算出し、誤差の代表値（中央値）を取得する。
続くステップＳ１１１では、道路環境生成部１６は、前記ステップ１１０で取得した近似直線の誤差の代表値（近似直線の情報）を保存する。
【００７８】
続くステップＳ１１２では、道路環境生成部１６は、近似直線の算出回数が予め設定した所定回数以上か否かを判定する。道路環境生成部１６は、近似直線の算出回数が所定回数以上と判定すると、ステップＳ１１３に進む。また、道路環境生成部１６は、近似直線の算出回数が所定回数未満と判定すると、ステップＳ１０８に戻る。
【００７９】
続くステップＳ１１３では、道路環境生成部１６は、ステップＳ１１１で保存された近似直線情報（近似直線の誤差の代表値）を比較し、最も小さい代表値を持つ近似直線をその近傍画素検出枠における近似直線（近傍近似直線）と決定する。
【００８０】
続くステップＳ１１４では、道路環境生成部１６は、ステップＳ１１３で決定した近似直線とその近傍画素検出枠内に存在する道路環境特徴を持つ各画素との誤差を算出する。そして、道路環境生成部１６は、算出した誤差が予め設定した所定値以上であると判定すると、その画素をノイズとして削除する。
続くステップＳ１１５では、道路環境生成部１６は、近傍画素検出枠内に存在する道路環境特徴を持つ画素（ノイズとして削除されていない画素）を基に、最終的な近似直線（最終的な近傍近似直線）を算出する。
【００８１】
そして、道路環境生成部１６は、最終的な近似直線そのもの、又は最終的な近似直線を算出するのに用いた道路環境特徴を持つ画素から構成されるエッジを、道路環境を表すものとして決定する。例えば、さらに、道路環境生成部１６は、そのような道路環境特徴を持つ画素の位置情報或いは道路環境特徴を持つ画素から構成されるエッジの位置情報を出力する。
【００８２】
続くステップＳ１１６では、道路環境生成部１６は、左側及び右側の近傍画素検出枠内で近似直線（左右の近似直線）を算出したか否かを判定する。道路環境生成部１６は、左側及び右側の近傍画素検出枠内で近似直線を算出したと判定すると、ステップＳ１１７に進む。また、道路環境生成部１６は、左側及び右側の近傍画素検出枠内で近似直線を算出できていないと判定すると、ステップＳ１２８に進む。
【００８３】
ステップＳ１１７では、近似直線算出部１４は、道路形状を推定する。
ステップＳ１１８では、近似直線算出部１４は、遠方画素検出枠内に存在する道路環境特徴を持つ画素を抽出し、抽出した画素をそのｙ座標値が降順になるように並べ替える。
【００８４】
続くステップＳ１１９では、近似直線算出部１４は、ｙ座標が降順になるように並べ替えた道路環境特徴（画素）のｘ座標値の順序を判定する。そして、近似直線算出部１４は、ステップＳ１１７で推定した道路形状に応じた判定の下、ｘ座標値の順序が逆転していると判定したとき、すなわち連続性が異なるとき、その画素をノイズとして削除する。
【００８５】
続くステップＳ１２０では、近似直線算出部１４は、遠方画素検出枠内に存在する道路環境特徴を持つ画素を３個抽出し、抽出した３個の画素を基に近似直線を算出する。
続くステップＳ１２１では、画素検出枠交差判定部１５は、ステップＳ１２０で近似直線算出部１４が算出した近似直線が、遠方画素検出枠における車幅方向に延びる前後２つの辺と交差するか否かを判定する。画素検出枠交差判定部１５は、交差すると判定すると、ステップＳ１２２に進む。また、画素検出枠交差判定部１５は、交差しないと判定すると、ステップＳ１２０に戻る。この場合、ステップＳ１２０では、別の３個の画素を基に別の近似直線を算出し、続くステップＳ１２１では、その算出した別の近似直線が、遠方画素検出枠における車幅方向に延びる前後２つの辺と交差するか否かを判定する。
【００８６】
続くステップＳ１２２では、道路環境生成部１６は、ステップＳ１２０で算出した近似直線（ステップＳ１２１で交差すると判定した近似直線）と遠方画素検出枠内に存在する全ての道路環境特徴を持つ画素との誤差を算出し、誤差の代表値（中央値）を取得する。
続くステップＳ１２３では、道路環境生成部１６は、前記ステップ１２２で取得した近似直線の誤差の代表値（近似直線の情報）を保存する。
【００８７】
続くステップＳ１２４では、道路環境生成部１６は、近似直線の算出回数が予め設定した所定回数以上か否かを判定する。道路環境生成部１６は、近似直線の算出回数が所定回数以上と判定すると、ステップＳ１２５に進む。また、道路環境生成部１６は、近似直線の算出回数が所定回数未満と判定すると、ステップＳ１２０に戻る。
続くステップＳ１２５では、道路環境生成部１６は、ステップＳ１２３で保存された近似直線情報（近似直線の誤差の代表値）を比較し、最も小さい代表値を持つ近似直線をその遠方画素検出枠における近似直線（遠方近似直線）と決定する。
【００８８】
続くステップＳ１２６では、道路環境生成部１６は、ステップＳ１２５で決定した近似直線とその遠方画素検出枠内に存在する道路環境特徴を持つ各画素との誤差を算出する。そして、道路環境生成部１６は、算出した誤差が予め設定した所定値以上であると判定すると、その画素をノイズとして削除する。
続くステップＳ１２７では、道路環境生成部１６は、遠方画素検出枠内に存在する道路環境特徴を持つ画素（ノイズとして削除されていない画素）を基に、最終的な近似直線（最終的な遠方近似直線）を算出する。
【００８９】
そして、道路環境生成部１６は、最終的な近似直線そのもの、又は最終的な近似直線を算出するのに用いた道路環境特徴を持つ画素から構成されるエッジを、道路環境を表すものとして決定する。例えば、さらに、道路環境生成部１６は、そのような道路環境特徴を持つ画素の位置情報或いは道路環境特徴を持つ画素から構成されるエッジの位置情報を出力する。
【００９０】
ステップＳ１２８では、画素検出枠設定部１２は、今回設定した画素検出枠の左右方向の側方に画素検出枠を新たに設定できる領域の有無を判定する。画素検出枠設定部１２は、画素検出枠を新たに設定できる領域が有ると判定すると、ステップＳ１０５に戻り、近似直線の算出処理を継続する。また、画素検出枠設定部１２は、画素検出枠を新たに設定できる領域が無いと判定すると、ステップＳ１２９に進む。
【００９１】
ステップＳ１２９では、制御部１０は、自車両のイグニションスイッチがオフされたか否かを判定する。制御部１０は、自車両のイグニションスイッチがオフされたと判定すると、該図１３に示す処理動作を終了する。また、制御部１０は、自車両のイグニションスイッチがオフされていないと判定すると、ステップＳ１に戻り、処理を繰り返す。
【００９２】
なお、本実施形態では、撮像手段としてカメラ２を用いている。また、画素検出枠設定手段として画素検出枠設定部１２を用いている。また、特徴部算出手段として道路環境特徴算出部１３を用いている。また、近似直線算出手段として近似直線算出部１４を用いている。また、交差判定手段として画素検出枠交差判定部１５を用いている。また、道路環境特徴決定手段として道路環境生成部１６を用いている。
また、代表値取得手段として近似直線算出部１４を用いている。また、画素選定手段として道路環境特徴算出部１３を用いている。また、エッジは特徴部に対応する。
【００９３】
（本実施形態の効果）
（１）道路環境生成装置１は、撮像手段が撮像した画像に、車幅方向及び車両進行方向に幅を有する方形の画素検出枠を設定し、設定した画素検出枠内の画素を基に、該画素検出枠内の画像の特徴部を算出している。また、道路環境生成装置１は、算出した特徴部を表す複数の画素のうちの少なくとも３個の画素の位置を基に近似直線を算出し、画素検出枠の車幅方向に延びる辺に近似直線が交差するか否かを判定する。そして、道路環境生成装置１は、交差判定手段が交差すると判定した近似直線と画素検出枠の車両進行方向に延びる辺との平行度を基に、特徴部を画像内の道路環境を表すものとしての決定をする。
【００９４】
このように、道路環境生成装置１は、道路環境の決定に、幅方向及び車両進行方向に幅を有する方形の画素検出枠内の画像の特徴部を表す画素を基に算出した近似直線を用い、さらにはその近似直線とその画素検出枠の形状との比較結果を用いている。これにより、道路環境生成装置１は、道路環境の特徴を適切に示す特徴部を該道路環境のものとする決定ができるため、撮像画像を基に道路環境を高い精度で検出できる。
【００９５】
また、道路環境生成装置１は、車幅方向及び前後方向に比較的広い方形となる画素検出枠を設定することで、一般道のような様々な形状の走行レーン等の道路環境を検出できるようになる。
【００９６】
（２）近似直線算出手段は、特徴部を表す複数の画素のうちの少なくとも３個の画素の位置を基に近似直線を算出している。
これにより、演算時間を少なくして近似直線を算出できる。
【００９７】
例えば、従来の走行レーン検出装置や走行レーン検出方法では、全ての画素から近似直線を算出するためにその演算時間がかかっていた。この場合、その演算結果を基に走行制御を行おうとすると、その演算の応答性が問題となってしまう。これに対して、本実施形態では、演算時間を少なくして近似直線を算出でき、走行制御を行う際のその演算の応答性が問題となってしまうのを防止できる。
【００９８】
（３）道路環境特徴決定手段は、特徴部を表す複数の画素のうち交差判定手段が交差すると判定した近似直線に対する距離（誤差）が予め設定した所定値未満の画素によって表される特徴部を画像内の道路環境を表すものとして決定している。
これにより、道路環境特徴決定手段では、特徴部に対応する道路環境を適切に示す画素を選定でき、その選定した画素を基に該特徴部を得ることができる。
【００９９】
（４）近似直線算出手段は、特徴部を表す複数の画素の組み合わせを変えて複数の近似直線を算出している。また、近似直線算出手段は、交差判定手段が交差すると判定した近似直線と特徴部を表す全ての画素との距離を算出し、各画素について算出した距離の代表値（本実施形態では中央値）を取得する代表値取得手段を備えている。さらに、道路環境特徴決定手段は、交差判定手段が交差すると判定した複数の近似直線のうちの代表値が最小となる近似直線を平行度が高いと判定している。そして、道路環境特徴決定手段は、記代表値が最小となる近似直線に対する距離が予め設定した所定値未満の画素によって表される特徴部を前記画像内の道路環境を表すものとして決定している。
これにより、近似直線算出手段は、特徴部を適切に表す近似直線を選定できる。
【０１００】
（５）画像内で移動する部位を表す画素を選定する画素選定手段を備えている。そして、特徴部算出手段は、画素選定手段が選定した画素を基に、特徴部を算出している。
これにより、道路環境生成装置１は、画素内で移動する特徴部を画像内の道路環境を表すものとして決定することができる。
例えば、画像内で白線、縁石、立体物下端等の各道路環境を表す画素が異なる輝度で表されるような場合でも、自車両走行に伴い画像内で道路環境が移動するといった観点から画素を選定することで、適切に道路環境を決定できる。
【０１０１】
（６）画素検出枠設定手段は、車両情報及び道路形状情報の少なくとも何れかを基に、画素検出枠を設定している。
これにより、画素検出枠設定手段は、車両の状態や道路形状に合致させた画素検出枠の設定ができる。
【０１０２】
（７）画素検出枠設定手段は、道路環境特徴決定手段の決定の結果を基に、画素検出枠の位置を新たに設定している。
これにより、画素検出枠設定手段は、道路環境特徴決定手段の決定の結果を反映させて、新たな画素検出枠を新たに適切に設定できる。例えば、この結果、走行レーン以外の道路環境や複数の道路環境の検出も可能となる。
【０１０３】
（８）画素検出枠設定手段は、自車両に対して車両進行方向の近傍側及び遠方側に画素検出枠をそれぞれ設定している。
これにより、画素検出枠設定手段は、自車両近傍と自車両遠方とで形状が異なるカーブ路等の道路に合致させて画素検出枠を設定できる。
【０１０４】
（９）近似直線算出手段は、近傍側の画素検出枠内の特徴部を表す複数の画素を画像内における車両進行方向の該画素の座標位置が昇順又は降順となるように並べ替えたときに、画像内における車幅方向の該画素の座標位置が予め設定した所定条件で連続して並んでいるか否かを判定している。そして、近似直線算出手段は、連続して並んでいない画素を近似直線の算出に用いる画素から除外している。
【０１０５】
ここで、画像内の車両進行方向の近傍の道路環境は、通常、該画像内において右上がり又は左上がりの形状として表される特性を持つ。道路環境生成装置１は、このような特性を利用して、適切な画素を選定し、近似直線を算出できる。
【０１０６】
（１０）近似直線算出手段は、遠方側の画素検出枠内の前記特徴部を表す複数の画素を画像内における車両進行方向の該画素の座標位置が昇順又は降順となるように並べ替えたときに、画像内における車幅方向の該画素の座標位置が、道路形状に基づく所定条件で連続して並んでいるか否かを判定している。そして、近似直線算出手段は、連続して並んでいない画素を近似直線の算出に用いる画素から除外している。
【０１０７】
ここで、画像内の車両進行方向の遠方の道路環境は、通常、該画像内において右上がり又は左上がりの形状として表される特性を持つ。さらに、道路形状により、右上がりの形状をとるか左上がりの形状をとるかが変化する。
道路環境生成装置１は、このような特性を利用して、適切な画素を選定し、近似直線を算出できる。
【０１０８】
（１１）道路環境生成装置１は、近似直線、その近似直線と画素の距離、又は所定条件を課した画素の連続性等により画素の位置を統計的な手法により評価することで、高速かつ高精度で道路環境を検出できる。
例えば、検出対象の道路環境を検出するために探索的に画素の連続性を判断していくことで、検出対象以外の道路環境を表す画素を排除して検出対象の道路環境を検出することも可能と考えられる。しかし、その判断のための演算時間が多くなってしまう。
【０１０９】
これに対して、本実施形態の道路環境生成装置１は、前述のような統計的な手法により画素の位置を評価することで、画素検出枠を広範囲に設定した場合でも、演算コストをかけずに高速かつ高精度で道路環境を検出できる。
【０１１０】
（１２）本実施形態では、複数の画素ノイズ処理を行うことで、様々な形状の道路環境や複数の道路環境を正確に検出することができる。
（１３）道路環境生成部１６は、画素検出枠で推定進路中心Ｏから遠い方の前後方向に延びる辺との平行度を判定している。これは、図４に示すように台形の画素検出枠を左右にそれぞれ設定すると、その車幅方向における外側の辺、すなわち、推定進路中心Ｏから遠い方の前後方向に延びる辺が、画像内の道路環境を表す斜線に対してほぼ平行になる。道路環境生成装置１は、このような関係を利用して、道路環境の形状に合致させて、特徴部を表す近似直線を選択することができるようになる。
【０１１１】
（実施形態の変形例）
本実施形態の変形例として、近似直線算出部１４は、画素検出枠内に存在する道路環境特徴を持つ画素をそのｙ座標値が昇順になるように並べ替えることもできる。この場合、そのように昇順になるように並べ替えたことに応じて、ｘ座標値の連続性を評価する。すなわち、所定の条件でｘ座標値の連続性を評価する。
【符号の説明】
【０１１２】
１ 道路環境生成装置、２ カメラ、１０、制御部、１１ 画像一時記録部、１２ 画素検出枠設定部、１３ 道路環境特徴算出部、１４ 近似直線算出部、１５ 画素検出枠交差判定部、１６ 道路環境生成部
【技術分野】
【０００１】
本発明は、撮像画像を基に道路環境の情報を取得する技術に関する。
【背景技術】
【０００２】
車載カメラの撮像画像を基に白線等の走行レーンを検出する走行レーン検出装置や走行レーン検出方法が多数存在する。
例えば、引用文献１では、白線を検出することを目的として、画像の設定領域内で輝度の最大値となる画素を検出し、検出した画素を基準に他の画素の輝度分布を求め、ノイズ処理を行わずに白線の近似直線を求めている。
【先行技術文献】
【特許文献】
【０００３】
【特許文献１】特開平５−３４７０００号公報
【発明の概要】
【発明が解決しようとする課題】
【０００４】
従来の走行レーン検出装置や走行レーン検出方法では、設定領域内の全ての画素を用いて道路環境である走行レーンを検出している。
これにより、走行レーン以外の道路環境を示す画素が設定領域内に含まれると、その影響を受けてしまい走行レーンの検出精度が悪化してしまう恐れがある。
本発明の課題は、撮像画像を基に道路環境を高い精度で検出することである。
【課題を解決するための手段】
【０００５】
前記課題を解決するために、本発明は、撮像手段が撮像した画像に、車幅方向及び車両進行方向に幅を有する方形の画素検出枠を設定し、設定した画素検出枠内の画素を基に、該画素検出枠内の画像の特徴部を算出し、算出した特徴部を表す複数の画素のうちの少なくとも３個の画素の位置を基に近似直線を算出し、画素検出枠の車幅方向に延びる辺に近似直線が交差するか否かを判定し、交差判定手段が交差すると判定した近似直線と画素検出枠の車両進行方向に延びる辺との平行度を基に、特徴部を画像内の道路環境を表すものとしての決定をする。
【発明の効果】
【０００６】
本発明によれば、画素検出枠内の画像の特徴部を表す画素の位置を基に算出した近似直線を用い、さらにはその近似直線とその画素検出枠の形状との比較結果を用いることで、道路環境の特徴を適切に示す特徴部を該道路環境のものとする決定ができるため、撮像画像を基に道路環境を高い精度で検出できる。
【図面の簡単な説明】
【０００７】
【図１】本実施形態の道路環境生成装置の構成を示すブロック図である。
【図２】車両へのカメラの搭載状態を示す図である。
【図３】カメラの撮像画像（自車両前方の画像）の例を示す図である。
【図４】画素検出枠設定の処理結果を説明する図であり、算出される自車両の推定進路中心位置、画素検出枠を示す図である。
【図５】新たに設定した画素検出枠の例を示す図である。
【図６】２値化処理により得たエッジに対して施す種々の処理を説明する図である。
【図７】速度画像の例を示す図である。
【図８】道路環境特徴を持つ画素の階級値により表される速度画像を示す図である。
【図９】ノイズとして削除された画素（道路環境特徴を持つ画素でないとされた画素）の例を説明する図である。
【図１０】３点の画素を用いて算出された近似直線の例を示す図である。
【図１１】近似直線と画素検出枠の車幅方向に延びる辺との交差の状態を示す図である。
【図１２】近似直線の判定を説明する図である。
【図１３】走路環境生成装置の一連の処理動作を示すフローチャートである。
【発明を実施するための形態】
【０００８】
（構成）
本実施形態は、道路環境生成装置である。
図１は、道路環境生成装置１の構成を示すブロック図である。
図１に示すように、道路環境生成装置１は、カメラ２及び制御部１０を有する。
カメラ２は、車両前方を撮像する撮像部である。カメラ２は、例えばＣＣＤ（Charge Coupled Device）やＣＭＯＳ（Complementary Metal Oxide Semiconductor）などの撮像素子を有したカメラである。
【０００９】
図２は、車両１００へのカメラ２の搭載状態を示す。図２（ａ）は車両１００の側面図を示し、図２（ｂ）は車両１００の平面図を示す。
図２に示すように、車両１００の室内上部前方中央にカメラ２を設置している。光軸ＬＳが車両進行方向又は車両前方正面方向（Ｚ方向）に向き、また、撮像面の水平軸Ｘが路面に対して平行かつ車両前方正面方向に対して垂直になり、また、撮像面の垂直軸Ｙが路面に対して垂直かつ車両前方正面方向に対して垂直になるようにカメラ２を設置している。
【００１０】
図３は、カメラ２の撮像画像（自車両前方の画像）の例を示す。
図３に示すように、本実施形態では、画像左上に原点（０，０）をとり、左右方向をｘ軸（右側に行くほどｘ値が増加）とし、上下方向をｘ軸（下側に行くほどｘ値が増加）とするｘｙ座標系によって撮像画像内の位置（具体的には画素位置）を表している。なお、この図３では、左右の白線、外壁、外壁と走行路との境界線を撮像画像が含んでいる。また、撮像画像内の道路は右カーブ路になっている。
【００１１】
カメラ２は、車両前方を連続的に撮像し、フレーム毎に撮像画像を制御部１０（画像一時記録部１１）に出力する。
図１に示すように、制御部１０は、画像一時記録部１１、画素検出枠設定部１２、道路環境特徴算出部１３、近似直線算出部１４、画素検出枠交差判定部１５、及び道路環境生成部１６を有する。例えば、制御部１０は、プログラムの実行によりこれら各部を実現する。
【００１２】
ここで、画像一時記録部１１は、カメラ２の撮像画像を一時的に記憶する。画素検出枠設定部１２は、車両情報及び道路形状情報等を基に、撮像画像に対して画素検出枠を設定する。道路環境特徴算出部１３は、撮像画像内で速度を有する部位の速度及び方向を示す移動情報を基に、画素検出枠内の道路環境特徴を算出する。近似直線算出部１４は、画素検出枠設定部１２が設定した画素検出枠内の道路環境特徴を持つ画素を基に近似直線を算出する。画素検出枠交差判定部１５は、近似直線算出部１４が算出した近似直線と画素検出枠との交差の判定結果等から、最終的な近似直線を算出する。
【００１３】
制御部１０の各構成部の処理は、より具体的には次のようになる。
画素検出枠設定部１２は、車両情報又は道路形状情報を取得する。例えば、車両情報とは、自車両幅、車速、ヨーレイト等であり、道路形状情報は道路の曲率半径や道路幅等である。例えば、自車両に搭載のセンサや記憶部、撮像画像、又は路車間通信により車両情報や道路経路情報を取得する。そして、画素検出枠設定部１２は、取得した車両情報又は道路形状情報を基に、撮像画像内における自車両の推定進路中心位置を算出する。
【００１４】
図４は、画素検出枠設定部１２の処理結果を説明する図であり、算出される自車両の推定進路中心位置、画素検出枠を示す図である。
図４に示すように、本実施形態では、画素検出枠設定部１２は、道路形状にほぼ沿うような推定進路中心位置Ｏを算出する。
【００１５】
そして、画素検出枠設定部１２は、自車両の進行方向の近傍及び遠方、並びに推定進路中心位置に対して左右に、撮像画像内の画素を検出（抽出）するための画素検出枠（４つの画素検出枠）を設定する。
【００１６】
本実施形態では、画素検出枠設定部１２は、図４に示すように、車幅方向に予め設定した車線幅を持ち、前後方向に予め設定した所定距離の広さを持つ方形の近傍画素検出枠を自車両近傍側で推定進路中心位置に対して左右に設定する。また、本実施形態では、近傍画素検出枠の形状を進行方向前方にいくほど幅が狭くなる台形に設定している。例えば、ここでいう予め設定した車線幅は３．２ｍであり、ここでいう予め設定した所定距離は３０ｍである。以降、左側の近傍画素検出枠を左側近傍画素検出枠（左側近傍画素検出領域）ＮＬ１といい、右側の近傍画素検出枠を右側近傍画素検出枠（右側近傍画素検出領域）ＮＲ１という。
【００１７】
また、画素検出枠設定部１２は、図４に示すように、近傍画素検出枠の後方（自車両からみて近傍画素検出枠よりも遠方）に、車幅方向に車線幅を持ち、前後方向に予め設定した所定距離の広さを持つ方形の遠方画素検出枠を自車両遠方側で推定進路中心位置に対して左右に設定する。また、本実施形態では、遠方画素検出枠の形状を進行方向前方にいくほど幅が狭くなる台形に設定している。例えば、ここでいう予め設定した所定距離は３０ｍ以上かつ１００ｍ以下である。以降、左側の遠方画素検出枠を左側遠方画素検出枠（左側遠方画素検出領域）ＦＬ１といい、右側の遠方画素検出枠を右側遠方画素検出枠（右側遠方画素検出領域）ＦＲ１という。
【００１８】
さらに、画素検出枠設定部１２は、推定進路中心付近に設定した画素検出枠内における道路環境の生成又は決定（又は近似直線の算出）が終了すると、その画素検出枠の側方に新たに画素検出枠を設定する。このとき、画素検出枠設定部１２は、その道路特徴の生成結果を基に、新たに画素検出枠を設定する。
【００１９】
具体的には、画素検出枠設定部１２は、推定進路中心付近に設定した画素検出枠と新たに設定した画素検出枠が、生成した道路環境以外の道路環境特徴（生成した道路環境を構成しない道路環境特徴）が予め設定した所定値以上含まれるか否かを判定する。そして、画素検出枠設定部１２は、所定値以上含まれると判定すると、推定進路中心付近に設定した画素検出枠内及び新たに設定した画素検出枠内に複数の道路環境があると判断して、推定進路中心付近に設定した画素検出枠に新たに設定した画素検出枠をオーバーラップさせる。
【００２０】
また、画素検出枠設定部１２は、所定値未満の場合、又は道路環境が生成されていない場合には、中心付近に道路環境特徴が無い（又は新たな道路環境特徴が無い）と判断して、新たに設定する画素検出枠を推定進路中心付近に設定した画素検出枠に隣接させる。
【００２１】
図５は、新たに設定した画素検出枠ＮＬ２の例を示す。
図５に示すように、本実施形態では、画素検出枠設定部１２は、左側近傍画素検出枠ＮＬ１にオーバーラップして新たに近傍画素検出枠ＮＬ２を設定している。また、画素検出枠設定部１２は、右側は新たな画素検出枠を設定可能な領域を確保できないため、新たな画素検出枠の設定を行っていない。
【００２２】
道路環境特徴算出部１３は、画像一時記録部１１から撮像画像を読み込む。そして、道路環境特徴算出部１３は、読み込んだ撮像画像に対して２値化処理を施してエッジを抽出する。ここでいう２値化処理では、予め設定した閾値と画素の値（例えば輝度情報）とを比較して２値化画像を得て、その２値化画像を基に、エッジに対応する画素には"１"を割り当て、エッジに対応しない画素には"０"を割り当てる。
【００２３】
そして、道路環境特徴算出部１３は、２値化処理により得たエッジに対して種々の処理を施す。
図６は、そのような種々の処理を説明する図である。
図６（ａ）は、前述のように２値化処理により抽出した垂直方向のエッジ（撮像画像内の一部のエッジ）の例を示す。
【００２４】
道路環境特徴算出部１３は、図６（ｂ）に示すように、２値化処理により得たエッジに対して細線化処理を施す。ここでいう細線化処理とは、エッジのエッジ幅を予め設定された所定画素幅になるまで縮小する処理である。例えば、図６（ｂ）に示すように、本実施形態では、所定画素幅を１画素としている。なお、所定画素幅を１以外の画素数とすることもできる。
【００２５】
道路環境特徴算出部１３は、この細線化処理により、エッジを所定画素幅になるまで細線化することで該エッジの中心位置に設定する。
【００２６】
さらに、道路環境特徴算出部１３は、図６（ｃ）に示すように、細線化処理を施して得たエッジ（細線化されたエッジ）のエッジ幅を拡張させる膨張処理を施す。ここでいう膨張処理とは、細線化処理によって設定された中心位置からエッジの移動方向にエッジ幅を膨張させるとともに、前記中心位置からエッジの移動方向とは反対方向にもエッジ幅を膨張させる処理である。
【００２７】
例えば、図６（ｃ）では、膨張処理により、エッジの中心位置ｘ０からエッジの移動方向（ｘ軸の正方向）に１画素分膨張させている（本実施形態では位置ｘ０＋１の画素に"１"を割り当てている）。さらに、膨張処理により、エッジの中心位置ｘ０からエッジの移動方向とは反対方向（ｘ軸の負方向）に１画素分膨張させている（本実施形態では位置ｘ０−１の画素に"１"を割り当てている）。このように、本実施形態では、膨張処理により、エッジ幅を予め設定した所定幅となる３画素に膨張させている。
【００２８】
道路環境特徴算出部１３は、以上のような細線化処理及び膨張処理により、２値化処理により抽出したエッジのエッジ幅を所定幅で均一（統一）にして、各エッジを規格化（正規化）している。
【００２９】
次に、道路環境特徴算出部１３は、エッジ（膨張処理後のエッジ）に該当する画素（エッジが検出される画素）の画素カウンタのカウンタ値を更新（カウントアップ）する。画素カウンタは、各画素毎に設定されたカウンタであり、画素がエッジに該当する場合にはそのカウンタ値に＋１加算し、画素がエッジに該当しない場合にはそのカウンタ値を零に初期化する。或いは、画素カウンタは、カウントアップ処理として、エッジに該当する画素に対応するメモリアドレスの値をカウントアップし、エッジに該当しない画素に対応するメモリアドレスの値を初期化する。
【００３０】
図６（ｃ）乃至（ｆ）を用いて画素カウンタの処理（カウントアップ処理）を説明する。この説明では、簡単にするためにエッジがｘ軸の正方向に移動するものとしているが、エッジのｘ軸の負方向、エッジのｙ軸方向（正方向及び負方向）、又は２次元的に移動（ｘｙ平面内を移動）する場合も、エッジはｘ軸の正方向に移動する場合と同様な処理になる。
【００３１】
図６（ｃ）に示すように、エッジは、エッジ抽出処理（２値化処理、細線化処理、及び膨張処理）により所定幅を有するものとなっている。すなわち例えば、図６（ｃ）に示すように、エッジは、あるフレームにおいて位置ｘ０にエッジの中心位置があり、その中心位置ｘ０からエッジの移動方向に１画素分の位置ｘ０＋１まで膨張し、さらに、その中心位置ｘ０からエッジの移動方向とは反対方向に１画素分の位置ｘ０−１まで膨張している。
【００３２】
この場合、道路環境特徴算出部１３は、エッジに該当する画素（エッジが検出される画素）の位置ｘ０−１、ｘ０、ｘ０＋１のカウンタ値をそれぞれカウントアップする。また、道路環境特徴算出部１３は、エッジに該当しない画素（エッジが検出されない画素）の位置（位置ｘ０−１、ｘ０、ｘ０＋１以外の位置）のカウンタ値をリセットする。
【００３３】
例えば、図６（ｄ）では、時刻ｔにおいて位置ｘ０−１、ｘ０、ｘ０＋１の画素がエッジに該当するために、位置ｘ０−１、ｘ０、ｘ０＋１それぞれについて１ずつカウントアップされた状態になっている。これにより、位置ｘ０＋１のカウンタ値が"１"、位置ｘ０のカウンタ値が"３"、位置ｘ０−１のカウンタ値が"５"になっている。
【００３４】
そして、時刻ｔ＋１でエッジの移動がないと、図６（ｅ）に示すように、位置ｘ０−１、ｘ０、ｘ０＋１の画素がエッジに該当しているために、位置ｘ０−１、ｘ０、ｘ０＋１それぞれについて１ずつカウントアップされた状態になる。これにより、位置ｘ０＋１のカウンタ値が"２"、位置ｘ０のカウンタ値が"４"、位置ｘ０−１のカウンタ値が"６"になる。
【００３５】
さらに、時刻ｔ＋２でエッジがｘ軸の正方向に１画素分移動（１画素シフト）すると、図６（ｆ）に示すように、位置ｘ０、ｘ０＋１、ｘ０＋２の画素がエッジに該当するために、位置ｘ０、ｘ０＋１、ｘ０＋２それぞれについて１ずつカウントアップされた状態になる。これにより、位置ｘ０＋２のカウンタ値が"１"、位置ｘ０＋１のカウンタ値が"３"、位置ｘ０のカウンタ値が"５"になる。一方、位置ｘ０−１の画素がエッジに該当しなくなるために、図６（ｅ）に示すように、位置ｘ０−１のカウンタ値はリセットされて零になる。
【００３６】
以上のようにして、画素カウンタの処理（カウントアップ処理）では、エッジに該当する画素のカウンタ値をカウントアップし、エッジに該当しない画素のカウンタ値をリセットしている。
【００３７】
なお、この図６を用いた説明では、画素カウンタの処理により、３箇所（中心位置の１箇所、並びに中心位置の移動方向及びその反対方向の２箇所の計３箇所）でカウンタ値を得ている。しかし、後述のカウンタ値の傾きが算出可能であれば、エッジの移動方向に対して２箇所以上でカウンタ値を得ることができる。
【００３８】
また、エッジが移動する速度に比べてフレームレートを十分に高く設定すると、連続するフレームの同じ位置で同一のエッジを複数回検出することができる。例えば、図６のように、時刻ｔのフレーム及び時刻ｔ＋１のフレームにより位置ｘ０において同一のエッジを２回検出できている。よって、エッジを構成する画素をカウントアップして得られるカウンタ値は、その画素でエッジを検出している時間（フレーム数）と等しくなる。特に、エッジに該当する画素のカウンタ値の中で最小のカウンタ値ｈ（図６（ｅ）参照）は、エッジが移動してから何フレームの間、同じ位置にあるかということを表す。
【００３９】
道路環境特徴算出部１３は、このような画素カウンタによるカウンタ値の更新処理を、カメラ２で連続的に撮像されるフレーム毎に行う。これにより、エッジに該当する時間が長い画素は、そのカウンタ値が大きくなり、エッジに該当する時間が短い画素は、そのカウンタ値が小さくなる。道路環境特徴算出部１３は、このような画素カウンタのカウンタ値の変化から、撮像画像上におけるエッジの移動速度及び移動方向を算出する。
【００４０】
道路環境特徴算出部１３は、エッジの移動速度については、カウンタ値の傾きＨを基に算出する。
【００４１】
例えば、図６（ｅ）のように、位置ｘ０−１、ｘ０、ｘ０＋１のカウンタ値がそれぞれ"６"、"４"、"２"の場合、位置ｘ０−１のカウンタ値"６"から位置ｘ０＋１のカウンタ値"２"を引くことで、次式によりカウンタ値の傾きＨを得ることができる。
Ｈ＝（６−２）／２＝２
その意味は次式のようになる。
Ｈ＝｛（エッジが位置ｘ０−１に移動してから現在までの時間）−（エッジが位置ｘ０＋１に移動してしまった後の時間）｝／（２画素）
このカウンタ値の傾きＨは、エッジが位置ｘ０のある１画素を通過するのに要した時間（フレーム数）を表すものとなる。このことから、道路環境特徴算出部１３は、このカウンタ値の傾きＨを基に、エッジの移動速度を１／Ｈとして算出する。図６（ｅ）では、エッジの移動速度１／Ｈは１／２（画素／フレーム）になり、１画素移動するのに２フレームを要したことになる。
【００４２】
そして、道路環境特徴算出部１３は、エッジの移動方向については、カウンタ値の大小によって得ている。
ここで、エッジの移動により新たに該エッジに該当することとなった画素のカウンタ値は１になるため、該画素のカウンタ値が、該エッジに該当する複数の画素（本実施形態では３箇所の画素）のカウンタ値の中で最も小さい値になる。よって、エッジが移動する方向の画素のカウンタ値は小さく、エッジが移動する方向とは反対方向の画素（エッジが通過した画素）のカウンタ値は大きくなる。このことから、道路環境特徴算出部１３は、このようなカウンタ値の大小を判断してエッジの移動方向を得る。
【００４３】
また、エッジに該当する各画素のカウンタ値の中で最小のカウンタ値ｈは、エッジがその位置で検出されている時間、すなわちエッジが移動してから何フレームの間、該エッジが同じ位置にあるかということを表す。
【００４４】
このことから、エッジの中心位置をｘ０とすると、最小のカウンタ値ｈ及びカウンタ値の傾きＨ（又は移動速度１／Ｈ）を基に、次式により現在のエッジの位置（中心位置）を算出できる。
エッジの位置＝ｘ０＋ｈ／Ｈ
例えば、図６（ｆ）では、エッジの移動速度１／Ｈが１／２（画素／フレーム）であり、時刻ｔ＋２の時点で１フレーム連続して同じ位置でエッジを検出しているので、時刻ｔ＋２でのエッジの位置は、
１（フレーム）×｛１／２（画素／フレーム）｝＝０．５画素
だけ位置ｘ０から移動しているものとして算出されるものとなる。
【００４５】
道路環境特徴算出部１３は、以上のような算出手順に従って得ることができるエッジの移動速度及び移動方向を基に、撮像画像内に存在する物体（撮像画像内における部位）の移動情報（速度情報又は速度成分）を所定の階級値で表した速度画像を生成する。
【００４６】
図７は、速度画像の例を示す。
図７に示すように、本実施形態の速度画像では、移動情報を階級値として表すものとし、移動するエッジに該当する画素位置に円を表示し、その移動速度が速いほどその円を大きくして示す。さらに、エッジの移動方向が左方向の場合には黒塗りの円で表し、エッジの移動方向が右方向の場合には白塗りの円で表す。このように、移動情報の階級値を、移動速度の大きさ及び移動方向によりその大きさ及び色が定まる円（又は点）により表す。
【００４７】
ここで、自車両が前進すると、画像内で道路環境となる白線や縁石、外壁等は横方向に移動するように観測されるようになる。すなわち、自車両と道路環境との相対位置の変化により、停止物体である道路環境に擬似的な速度が発生するようになる。
【００４８】
よって、画像内で傾斜とした表わされる白線や縁石、外壁等の立体物と路面との境界部（エッジ）も、自車両が前進すると横方向に移動するように観測されるようになるため、その境界部について擬似的な速度が算出されるようになる。このようなことから、図７に示すように、実施形態では、自車両の進行方向の右側に有る白線（白線を表す画素）に対応する移動情報（階級値）は、右方向への移動速度（白塗りの円）を示している。また、自車両の進行方向の左側に有る外壁及び白線（外壁及び白線を表す画素）の移動情報（階級値）は、左方向への移動速度（黒塗りの円）を示している。
【００４９】
次に、道路環境特徴算出部１３は、道路環境特徴を持つ画素を抽出する。
ここで、通常、路面上（白線が無い路面箇所）には、エッジが存在しないために、移動情報（階級値）を得ることができない。これに対して、白線や縁石、外壁等の立体物がある場合、それら白線や縁石、外壁等の立体物と路面との境界部は斜線として表れるためにエッジを抽出でき、さらには移動情報（階級値）を得ることができる。
【００５０】
このようなことから、道路環境特徴算出部１３は、移動情報を得ることができない領域と移動情報を得ることができる領域の境界に存在する画素を抽出する。具体的には、道路環境特徴算出部１３は、速度画像内を下部から上部（ｙ軸の負方向）に向かい移動情報の有無を判定していき、移動情報を持つ画素から移動情報を持たない画素に切替る位置を特定し、特定した画素位置、すなわち移動情報を持つ画素を道路環境特徴を持つ画素として抽出する。
【００５１】
図８は、道路環境特徴を持つ画素の階級値により表される速度画像を示す。図７と比較するとわかるように、図８では、抽出要件を満たさない移動情報を持つ画素が除外されて、道路環境特徴を持つ画素のみが残るようになる。
近似直線算出部１４は、画素検出枠設定部１２が設定した画素検出枠内に存在する道路環境特徴を持つ画素を用いて近似直線を算出する。
【００５２】
先ず、近傍画素検出枠（左側近傍画素検出枠、右側近傍画素検出枠）内に存在する道路環境特徴を持つ画素を用いた近似直線の算出を説明する。
近似直線算出部１４は、近傍画素検出枠内に存在する道路環境特徴を持つ画素を抽出し、抽出した画素をそのｙ座標値が降順になるように並べ替える。ここで、左側近傍画素検出枠内では、自車両の左側の道路環境が右上がりの直線（斜線）相当として表されるために、抽出した画素をそのｙ座標値が降順になるように並べ替えると、そのｘ座標値が昇順となる。よって、近似直線算出部１４は、抽出した画素をそのｙ座標値が降順になるように並べ替えた場合に、そのｘ座標値の順序が逆転する（降順になる）画素をノイズとして削除する。すなわち、近似直線算出部１４は、異なる物体の特徴が混入したと判断して、その画素を道路環境特徴を持つ画素から除外する。また、右側近傍画素検出枠内では、自車両の右側の道路環境が左上がりの直線相当として表されるために、抽出した画素をそのｙ座標値が降順になるように並べ替えると、そのｘ座標値が降順となる。よって、近似直線算出部１４は、抽出した画素をそのｙ座標値が降順になるように並べ替えた場合に、そのｘ座標値の順序が逆転する（昇順になる）画素をノイズとして削除する。
【００５３】
図９は、ノイズとして削除された画素（道路環境特徴を持つ画素でないとされた画素）の例を説明する図である。
図９に示すように、本実施形態では、左側近傍画素検出枠ＮＬ１内からは、階級値を灰色の円で示す画素を４個、右側近傍画素検出枠ＮＲ１内からは、階級値を灰色の円で示す画素を３個、それらをノイズとして削除している。
【００５４】
そして、近似直線算出部１４は、以上のような削除がなされることなく残った道路環境特徴を持つ画素を基に、近似直線を算出する。近似直線の算出手順については後述する。
次に、遠方画素検出枠（左側遠方画素検出枠、右側遠方画素検出枠）における近似直線算出を説明する。
【００５５】
なお、近傍で近似直線が算出（近傍画素検出枠内で近似直線が算出）されていることを前提で説明する。すなわち、近似直線算出部１４は、近傍画素検出枠内で近似直線が検出されている場合、遠方の近似直線を算出する。具体的には、近似直線算出部１４は、遠方画素検出枠内に存在する道路環境特徴を持つ画素を抽出し、近傍画素検出枠内の画素に対して行ったと同様に、その抽出した画素をｙ座標値が降順になるように並べ替える。そして、近似直線算出部１４は、ｘ座標値の連続性を評価して、ノイズとなる画素を削除する。このとき、近傍における直線算出結果を基に、道路形状を推定し、推定した道路形状に応じてｘ座標値の連続性を評価する。
【００５６】
すなわち、推定した道路形状が直線路の場合には、左側遠方画素検出枠内の道路環境特徴を持つ画素については、近似直線算出部１４は、抽出した画素をそのｙ座標値が降順になるように並べ替えた場合に、そのｘ座標値の順序が逆転する（降順になる）とき、ノイズとして削除する。また、右側遠方画素検出枠内の道路環境特徴となる画素については、近似直線算出部１４は、抽出した画素をそのｙ座標値が降順になるように並べ替えた場合にそのｘ座標値の順序が逆転する（昇順になる）とき、その画素をノイズとして削除する。
【００５７】
また、推定した道路形状が右カーブ路の場合には、左側及び右側の近傍画素検出枠内の何れでも、自車両の左側及び右側の道路環境が右上がりの直線相当として表されるために、抽出した画素をｙ座標値が降順になるように並べ替えると、そのｘ座標値が昇順となる。よって、近似直線算出部１４は、抽出した画素をｙ座標値が降順になるように並べ替えた場合にそのｘ座標値の順序が逆転する（降順になる）とき、その画素をノイズとして削除する。
【００５８】
また、推定した道路形状が左カーブ路の場合には、左側及び右側の近傍画素検出枠内のいずれでも、自車両の左側及び右側の道路環境が左上がりの直線相当として表されるために、抽出した画素をそのｙ座標値が降順になるように並べ替えると、そのｘ座標値も降順となる。よって、近似直線算出部１４は、抽出した画素をｙ座標値が降順になるように並べ替えた場合にｘ座標値の順序が逆転する（昇順になる）とき、その画素をノイズとして削除する。
【００５９】
図９の例では、近傍における近似直線算出結果から道路形状を右カーブ路と推定し、左側遠方画素検出枠ＦＬ１内からは、階級値を灰色の円で示す画素を１３個、ノイズとして削除している。
そして、近似直線算出部１４は、以上のような削除がなされることなく残った道路環境特徴を持つ画素を基に、近似直線を算出する。
【００６０】
近傍及び遠方の画素検出枠内の画素に基づく近似直線の算出手順は次のようになる。ただし、遠方における近似直線の算出は、近傍において既に近似直線が算出されているということが前提になる。
【００６１】
近似直線算出部１４は、画素検出枠内に存在する道路環境特徴を持つ画素を少なくとも３個抽出し、抽出した３個を基に近似直線を算出する。例えば、近似直線算出部１４は、３個の画素の位置との距離が最も小さくなる直線を近似直線として算出する。そして、近似直線算出部１４は、このような３個の画素を用いた近似直線の算出処理を道路環境特徴を持つ画素の組み合わせを異ならせて行っていき、複数の近似直線を算出する。
【００６２】
図１０は、３点の画素を用いて算出された近似直線の例を示す。
図１０に示すように、本実施形態では、近似直線算出部１４は、左側近傍画素検出枠ＮＬ１ではＬ１、Ｌ２、Ｌ３の３つの近似直線を算出し、右側近傍画素検出枠ＮＲ１ではＲ１、Ｒ２の２つの近似直線を算出する。さらに、近似直線算出部１４は、左側遠方画素検出枠ＦＬ１ではＬ４、Ｌ５、Ｌ６の３つの近似直線を算出し、右側遠方画素検出枠ＦＲ１ではＲ３、Ｒ４の２つの近似直線を算出する。
【００６３】
画素検出枠交差判定部１５は、近似直線算出部１４が算出した近似直線と画素検出枠の車幅方向に延びる前後２つの辺とが交差するか否かを判定する。そのため、画素検出枠交差判定部１５は、近似直線算出部１４が算出した近似直線の両端を延長させて、その延長させた近似直線と、画素検出枠の車幅方向に延びる前後２つの辺とが交差するか否かを判定する。画素検出枠交差判定部１５は、交差しない（例えば前後２つの辺の両方と交差しない）との判定をした場合、画素検出枠交差判定部１５は、その交差しない近似直線を削除する。そして、画素検出枠交差判定部１５は、このような処理を、全ての画素検出枠（左側及び右側の近傍画素検出枠、並びに左側及び右側の遠方画素検出枠）について算出した近似直線について行う。
【００６４】
図１１は、近似直線と画素検出枠の車幅方向に延びる辺との交差の状態を示す。
図１１に示すように、本実施形態では、画素検出枠交差判定部１５は、左側近傍画素検出枠ＮＬ１において車幅方向に延びる前後２つの辺の両方に交差しない近似直線Ｌ１を削除することとなる。また、画素検出枠交差判定部１５は、左側遠方画素検出枠ＦＬ１において車幅方向に延びる前後２つの辺の両方に交差しない近似直線Ｌ５、Ｌ６を削除するこことなる。
【００６５】
道路環境生成部１６は、画素検出枠交差判定部１５が交差すると判定した近似直線をさらに選定する。
具体的には、先ず、道路環境生成部１６は、画素検出枠交差判定部１５が交差すると判定した近似直線とその画素検出枠（該近似直線が属する画素検出枠）内に有る道路環境特徴を持つ全ての画素との誤差（距離）を算出する。そして、道路環境生成部１６は、算出した誤差を比較し、それら誤差の中央値を近似直線に対する誤差の代表値にする。ここで、道路環境生成部１６は、画素検出枠交差判定部１５が交差すると判定した近似直線全てに対して同様な処理を行って、その全ての近似直線に対応する誤差の代表値を取得する。
【００６６】
そして、道路環境生成部１６は、同一の画素検出枠に属する全ての近似直線について誤差の代表値により比較し、代表値が最も小さくなる近似直線を、該画素検出枠で推定進路中心Ｏから遠い方の前後方向に延びる辺に平行度が一致する近似直線であると判定する。
なお、代表値を中間値にしているが、代表値を平均値等の他の値にすることもできる。
図１２は、そのような近似直線の判定を説明する図である。
【００６７】
図１２に示すように、本実施形態では、道路環境生成部１６は、左側近傍画素検出枠ＮＬ１では近似直線Ｌ３、右側近傍画素検出枠ＮＲ１では近似直線Ｒ２、左側遠方画素検出枠ＦＬ１では近似直線Ｌ４、右側遠方画素検出枠ＦＲ１では近似直線Ｒ４を最も誤差が小さくなる近似直線と判定している。すなわち、道路環境生成部１６は、これら近似直線を、各画素検出枠において、該画素検出枠で推定進路中心Ｏから遠い方の前後方向に延びる辺に平行度が一致する近似直線であると判定する。
【００６８】
また、道路環境生成部１６は、前記平行度が一致した近似直線とその画素検出枠内に存在する道路環境特徴を持つ各画素との誤差（距離）を算出する。そして、道路環境生成部１６は、算出した誤差が予め設定した所定値以上であると判定すると、その画素をノイズとして削除する。すなわち、近似直線算出部１４は、その画素を道路環境特徴を持つ画素から除外する。そして、道路環境生成部１６は、ノイズとして削除されずに残った道路環境特徴を持つ画素を用いて再度、近似直線を算出する。
【００６９】
よって、図１２に示すように、本実施形態では、道路環境生成部１６は、左側近傍画素検出枠ＮＬ１については、円内をハッチングで示す２個の画素をノイズとして削除し、残った画素に基づく再演算により近似直線Ｌ１０を算出している。また、道路環境生成部１６は、右側近傍画素検出枠ＮＲ１については、ノイズとして削除されなかった道路環境特徴を持つ画素による再演算により近似直線Ｒ１０を算出している。また、道路環境生成部１６は、左側遠方画素検出枠ＦＬ１についても、ノイズとして削除されなかった道路環境特徴を持つ画素による再演算により近似直線Ｌ２０（＝近似直線Ｌ４）を算出している。また、道路環境生成部１６は、右側遠方画素検出枠ＦＲ１についても、ノイズとして削除されなかった道路環境特徴を持つ画素による再演算により近似直線Ｒ２０を算出している。
【００７０】
そして、道路環境生成部１６は、道路環境を生成する（道路環境を特定する）。具体的には、道路環境生成部１６は、道路環境特徴を持つ画素によって得られる最終的な近似直線を道路環境を表すもの（例えば道路環境の特徴又は道路環境の一部）として決定する。或いは、道路環境生成部１６は、最終的な近似直線を算出するのに用いた道路環境特徴を持つ画素から構成されるエッジを道路環境を表すもの（例えば道路環境の特徴又は道路環境の一部）として決定する。さらに、例えば、道路環境生成部１６は、そのような道路環境特徴を持つ画素の位置情報或いは道路環境特徴を持つ画素から構成されるエッジの位置情報を出力する。
【００７１】
（動作、作用等）
図１３に示すフローチャートを用いて、走路環境生成装置１０の一連の処理動作を説明する。この図１３に示す処理動作は、不図示のイグニションスイッチがオンになったときに開始する。
【００７２】
これにより、先ずステップＳ１０１では、カメラ２は、撮像画像をフレーム毎に画像一時記録部１１に出力する。
続くステップＳ１０２では、道路環境特徴算出部１３は、画像一時記録部１１に記録されている撮像画像に対してエッジ抽出処理（２値化処理、細線化処理、及び膨張処理）を行い、撮像画像内に存在する物体の輪郭を抽出してエッジで表すエッジ画像を生成する。
【００７３】
続くステップＳ１０３では、道路環境特徴算出部１３は、エッジから移動情報を算出し、算出した移動情報を階級値（円の大きさ及び色）で表した速度画像を生成する。
続くステップＳ１０４では、道路環境特徴算出部１３は、生成した速度画像において下部から上部に向かい走査しつつ移動情報の有無を判定していき、移動情報が無い画素から移動情報が有る画素に切替る画素位置を特定し、特定したその移動情報を持つ画素を道路環境特徴を持つ画素として抽出する。
【００７４】
続くステップＳ１０５では、画素検出枠設定部１２は、車両情報又は道路形状情報を取得し、自車両の推定進路中心位置を算出する。そして、画素検出枠設定部１２は、算出した推定進路中心位置を基準として左側近傍画素検出枠、右側近傍画素検出枠、左側遠方画素検出枠、及び右側遠方画素検出枠を設定する。
続くステップＳ１０６では、近似直線算出部１４は、近傍画素検出枠内に存在する道路環境特徴を持つ画素を抽出し、抽出した画素をそのｙ座標値が降順になるように並べ替える。
【００７５】
続くステップＳ１０７では、近似直線算出部１４は、ｙ座標値が降順になるように並べ替えた道路環境特徴（画素）のｘ座標値の順序を判定する。そして、近似直線算出部１４は、ｘ座標値の順序が逆転していると判定したとき（左側近傍画素検出枠内では降順のとき、右側近傍画素検出枠内では昇順のとき）、すなわち、連続性（左側近傍画素検出枠内では昇順、右側近傍画素検出枠内では降順）が異なるとき、その画素をノイズとして削除する。
【００７６】
続くステップＳ１０８では、近似直線算出部１４は、近傍画素検出枠内に存在する道路環境特徴を持つ画素を３個抽出し、抽出した３個の画素を基に近似直線を算出する。
続くステップＳ１０９では、画素検出枠交差判定部１５は、ステップＳ１０８で近似直線算出部１４が算出した近似直線が、近傍画素検出枠における車幅方向に延びる前後２つの辺と交差するか否かを判定する。画素検出枠交差判定部１５は、交差すると判定すると、ステップＳ１１０に進む。また、画素検出枠交差判定部１５は、交差しないと判定すると、ステップＳ１０８に戻る。この場合、ステップＳ１０８では、別の３個の画素を基に別の近似直線を算出し、続くステップＳ１０９では、その算出した別の近似直線が、近傍画素検出枠における車幅方向に延びる前後２つの辺と交差するか否かを判定する。
【００７７】
ステップＳ１１０では、道路環境生成部１６は、ステップＳ１０８で算出した近似直線（ステップＳ１０９で交差すると判定した近似直線）と近傍画素検出枠内に存在する全ての道路環境特徴を持つ画素との誤差を算出し、誤差の代表値（中央値）を取得する。
続くステップＳ１１１では、道路環境生成部１６は、前記ステップ１１０で取得した近似直線の誤差の代表値（近似直線の情報）を保存する。
【００７８】
続くステップＳ１１２では、道路環境生成部１６は、近似直線の算出回数が予め設定した所定回数以上か否かを判定する。道路環境生成部１６は、近似直線の算出回数が所定回数以上と判定すると、ステップＳ１１３に進む。また、道路環境生成部１６は、近似直線の算出回数が所定回数未満と判定すると、ステップＳ１０８に戻る。
【００７９】
続くステップＳ１１３では、道路環境生成部１６は、ステップＳ１１１で保存された近似直線情報（近似直線の誤差の代表値）を比較し、最も小さい代表値を持つ近似直線をその近傍画素検出枠における近似直線（近傍近似直線）と決定する。
【００８０】
続くステップＳ１１４では、道路環境生成部１６は、ステップＳ１１３で決定した近似直線とその近傍画素検出枠内に存在する道路環境特徴を持つ各画素との誤差を算出する。そして、道路環境生成部１６は、算出した誤差が予め設定した所定値以上であると判定すると、その画素をノイズとして削除する。
続くステップＳ１１５では、道路環境生成部１６は、近傍画素検出枠内に存在する道路環境特徴を持つ画素（ノイズとして削除されていない画素）を基に、最終的な近似直線（最終的な近傍近似直線）を算出する。
【００８１】
そして、道路環境生成部１６は、最終的な近似直線そのもの、又は最終的な近似直線を算出するのに用いた道路環境特徴を持つ画素から構成されるエッジを、道路環境を表すものとして決定する。例えば、さらに、道路環境生成部１６は、そのような道路環境特徴を持つ画素の位置情報或いは道路環境特徴を持つ画素から構成されるエッジの位置情報を出力する。
【００８２】
続くステップＳ１１６では、道路環境生成部１６は、左側及び右側の近傍画素検出枠内で近似直線（左右の近似直線）を算出したか否かを判定する。道路環境生成部１６は、左側及び右側の近傍画素検出枠内で近似直線を算出したと判定すると、ステップＳ１１７に進む。また、道路環境生成部１６は、左側及び右側の近傍画素検出枠内で近似直線を算出できていないと判定すると、ステップＳ１２８に進む。
【００８３】
ステップＳ１１７では、近似直線算出部１４は、道路形状を推定する。
ステップＳ１１８では、近似直線算出部１４は、遠方画素検出枠内に存在する道路環境特徴を持つ画素を抽出し、抽出した画素をそのｙ座標値が降順になるように並べ替える。
【００８４】
続くステップＳ１１９では、近似直線算出部１４は、ｙ座標が降順になるように並べ替えた道路環境特徴（画素）のｘ座標値の順序を判定する。そして、近似直線算出部１４は、ステップＳ１１７で推定した道路形状に応じた判定の下、ｘ座標値の順序が逆転していると判定したとき、すなわち連続性が異なるとき、その画素をノイズとして削除する。
【００８５】
続くステップＳ１２０では、近似直線算出部１４は、遠方画素検出枠内に存在する道路環境特徴を持つ画素を３個抽出し、抽出した３個の画素を基に近似直線を算出する。
続くステップＳ１２１では、画素検出枠交差判定部１５は、ステップＳ１２０で近似直線算出部１４が算出した近似直線が、遠方画素検出枠における車幅方向に延びる前後２つの辺と交差するか否かを判定する。画素検出枠交差判定部１５は、交差すると判定すると、ステップＳ１２２に進む。また、画素検出枠交差判定部１５は、交差しないと判定すると、ステップＳ１２０に戻る。この場合、ステップＳ１２０では、別の３個の画素を基に別の近似直線を算出し、続くステップＳ１２１では、その算出した別の近似直線が、遠方画素検出枠における車幅方向に延びる前後２つの辺と交差するか否かを判定する。
【００８６】
続くステップＳ１２２では、道路環境生成部１６は、ステップＳ１２０で算出した近似直線（ステップＳ１２１で交差すると判定した近似直線）と遠方画素検出枠内に存在する全ての道路環境特徴を持つ画素との誤差を算出し、誤差の代表値（中央値）を取得する。
続くステップＳ１２３では、道路環境生成部１６は、前記ステップ１２２で取得した近似直線の誤差の代表値（近似直線の情報）を保存する。
【００８７】
続くステップＳ１２４では、道路環境生成部１６は、近似直線の算出回数が予め設定した所定回数以上か否かを判定する。道路環境生成部１６は、近似直線の算出回数が所定回数以上と判定すると、ステップＳ１２５に進む。また、道路環境生成部１６は、近似直線の算出回数が所定回数未満と判定すると、ステップＳ１２０に戻る。
続くステップＳ１２５では、道路環境生成部１６は、ステップＳ１２３で保存された近似直線情報（近似直線の誤差の代表値）を比較し、最も小さい代表値を持つ近似直線をその遠方画素検出枠における近似直線（遠方近似直線）と決定する。
【００８８】
続くステップＳ１２６では、道路環境生成部１６は、ステップＳ１２５で決定した近似直線とその遠方画素検出枠内に存在する道路環境特徴を持つ各画素との誤差を算出する。そして、道路環境生成部１６は、算出した誤差が予め設定した所定値以上であると判定すると、その画素をノイズとして削除する。
続くステップＳ１２７では、道路環境生成部１６は、遠方画素検出枠内に存在する道路環境特徴を持つ画素（ノイズとして削除されていない画素）を基に、最終的な近似直線（最終的な遠方近似直線）を算出する。
【００８９】
そして、道路環境生成部１６は、最終的な近似直線そのもの、又は最終的な近似直線を算出するのに用いた道路環境特徴を持つ画素から構成されるエッジを、道路環境を表すものとして決定する。例えば、さらに、道路環境生成部１６は、そのような道路環境特徴を持つ画素の位置情報或いは道路環境特徴を持つ画素から構成されるエッジの位置情報を出力する。
【００９０】
ステップＳ１２８では、画素検出枠設定部１２は、今回設定した画素検出枠の左右方向の側方に画素検出枠を新たに設定できる領域の有無を判定する。画素検出枠設定部１２は、画素検出枠を新たに設定できる領域が有ると判定すると、ステップＳ１０５に戻り、近似直線の算出処理を継続する。また、画素検出枠設定部１２は、画素検出枠を新たに設定できる領域が無いと判定すると、ステップＳ１２９に進む。
【００９１】
ステップＳ１２９では、制御部１０は、自車両のイグニションスイッチがオフされたか否かを判定する。制御部１０は、自車両のイグニションスイッチがオフされたと判定すると、該図１３に示す処理動作を終了する。また、制御部１０は、自車両のイグニションスイッチがオフされていないと判定すると、ステップＳ１に戻り、処理を繰り返す。
【００９２】
なお、本実施形態では、撮像手段としてカメラ２を用いている。また、画素検出枠設定手段として画素検出枠設定部１２を用いている。また、特徴部算出手段として道路環境特徴算出部１３を用いている。また、近似直線算出手段として近似直線算出部１４を用いている。また、交差判定手段として画素検出枠交差判定部１５を用いている。また、道路環境特徴決定手段として道路環境生成部１６を用いている。
また、代表値取得手段として近似直線算出部１４を用いている。また、画素選定手段として道路環境特徴算出部１３を用いている。また、エッジは特徴部に対応する。
【００９３】
（本実施形態の効果）
（１）道路環境生成装置１は、撮像手段が撮像した画像に、車幅方向及び車両進行方向に幅を有する方形の画素検出枠を設定し、設定した画素検出枠内の画素を基に、該画素検出枠内の画像の特徴部を算出している。また、道路環境生成装置１は、算出した特徴部を表す複数の画素のうちの少なくとも３個の画素の位置を基に近似直線を算出し、画素検出枠の車幅方向に延びる辺に近似直線が交差するか否かを判定する。そして、道路環境生成装置１は、交差判定手段が交差すると判定した近似直線と画素検出枠の車両進行方向に延びる辺との平行度を基に、特徴部を画像内の道路環境を表すものとしての決定をする。
【００９４】
このように、道路環境生成装置１は、道路環境の決定に、幅方向及び車両進行方向に幅を有する方形の画素検出枠内の画像の特徴部を表す画素を基に算出した近似直線を用い、さらにはその近似直線とその画素検出枠の形状との比較結果を用いている。これにより、道路環境生成装置１は、道路環境の特徴を適切に示す特徴部を該道路環境のものとする決定ができるため、撮像画像を基に道路環境を高い精度で検出できる。
【００９５】
また、道路環境生成装置１は、車幅方向及び前後方向に比較的広い方形となる画素検出枠を設定することで、一般道のような様々な形状の走行レーン等の道路環境を検出できるようになる。
【００９６】
（２）近似直線算出手段は、特徴部を表す複数の画素のうちの少なくとも３個の画素の位置を基に近似直線を算出している。
これにより、演算時間を少なくして近似直線を算出できる。
【００９７】
例えば、従来の走行レーン検出装置や走行レーン検出方法では、全ての画素から近似直線を算出するためにその演算時間がかかっていた。この場合、その演算結果を基に走行制御を行おうとすると、その演算の応答性が問題となってしまう。これに対して、本実施形態では、演算時間を少なくして近似直線を算出でき、走行制御を行う際のその演算の応答性が問題となってしまうのを防止できる。
【００９８】
（３）道路環境特徴決定手段は、特徴部を表す複数の画素のうち交差判定手段が交差すると判定した近似直線に対する距離（誤差）が予め設定した所定値未満の画素によって表される特徴部を画像内の道路環境を表すものとして決定している。
これにより、道路環境特徴決定手段では、特徴部に対応する道路環境を適切に示す画素を選定でき、その選定した画素を基に該特徴部を得ることができる。
【００９９】
（４）近似直線算出手段は、特徴部を表す複数の画素の組み合わせを変えて複数の近似直線を算出している。また、近似直線算出手段は、交差判定手段が交差すると判定した近似直線と特徴部を表す全ての画素との距離を算出し、各画素について算出した距離の代表値（本実施形態では中央値）を取得する代表値取得手段を備えている。さらに、道路環境特徴決定手段は、交差判定手段が交差すると判定した複数の近似直線のうちの代表値が最小となる近似直線を平行度が高いと判定している。そして、道路環境特徴決定手段は、記代表値が最小となる近似直線に対する距離が予め設定した所定値未満の画素によって表される特徴部を前記画像内の道路環境を表すものとして決定している。
これにより、近似直線算出手段は、特徴部を適切に表す近似直線を選定できる。
【０１００】
（５）画像内で移動する部位を表す画素を選定する画素選定手段を備えている。そして、特徴部算出手段は、画素選定手段が選定した画素を基に、特徴部を算出している。
これにより、道路環境生成装置１は、画素内で移動する特徴部を画像内の道路環境を表すものとして決定することができる。
例えば、画像内で白線、縁石、立体物下端等の各道路環境を表す画素が異なる輝度で表されるような場合でも、自車両走行に伴い画像内で道路環境が移動するといった観点から画素を選定することで、適切に道路環境を決定できる。
【０１０１】
（６）画素検出枠設定手段は、車両情報及び道路形状情報の少なくとも何れかを基に、画素検出枠を設定している。
これにより、画素検出枠設定手段は、車両の状態や道路形状に合致させた画素検出枠の設定ができる。
【０１０２】
（７）画素検出枠設定手段は、道路環境特徴決定手段の決定の結果を基に、画素検出枠の位置を新たに設定している。
これにより、画素検出枠設定手段は、道路環境特徴決定手段の決定の結果を反映させて、新たな画素検出枠を新たに適切に設定できる。例えば、この結果、走行レーン以外の道路環境や複数の道路環境の検出も可能となる。
【０１０３】
（８）画素検出枠設定手段は、自車両に対して車両進行方向の近傍側及び遠方側に画素検出枠をそれぞれ設定している。
これにより、画素検出枠設定手段は、自車両近傍と自車両遠方とで形状が異なるカーブ路等の道路に合致させて画素検出枠を設定できる。
【０１０４】
（９）近似直線算出手段は、近傍側の画素検出枠内の特徴部を表す複数の画素を画像内における車両進行方向の該画素の座標位置が昇順又は降順となるように並べ替えたときに、画像内における車幅方向の該画素の座標位置が予め設定した所定条件で連続して並んでいるか否かを判定している。そして、近似直線算出手段は、連続して並んでいない画素を近似直線の算出に用いる画素から除外している。
【０１０５】
ここで、画像内の車両進行方向の近傍の道路環境は、通常、該画像内において右上がり又は左上がりの形状として表される特性を持つ。道路環境生成装置１は、このような特性を利用して、適切な画素を選定し、近似直線を算出できる。
【０１０６】
（１０）近似直線算出手段は、遠方側の画素検出枠内の前記特徴部を表す複数の画素を画像内における車両進行方向の該画素の座標位置が昇順又は降順となるように並べ替えたときに、画像内における車幅方向の該画素の座標位置が、道路形状に基づく所定条件で連続して並んでいるか否かを判定している。そして、近似直線算出手段は、連続して並んでいない画素を近似直線の算出に用いる画素から除外している。
【０１０７】
ここで、画像内の車両進行方向の遠方の道路環境は、通常、該画像内において右上がり又は左上がりの形状として表される特性を持つ。さらに、道路形状により、右上がりの形状をとるか左上がりの形状をとるかが変化する。
道路環境生成装置１は、このような特性を利用して、適切な画素を選定し、近似直線を算出できる。
【０１０８】
（１１）道路環境生成装置１は、近似直線、その近似直線と画素の距離、又は所定条件を課した画素の連続性等により画素の位置を統計的な手法により評価することで、高速かつ高精度で道路環境を検出できる。
例えば、検出対象の道路環境を検出するために探索的に画素の連続性を判断していくことで、検出対象以外の道路環境を表す画素を排除して検出対象の道路環境を検出することも可能と考えられる。しかし、その判断のための演算時間が多くなってしまう。
【０１０９】
これに対して、本実施形態の道路環境生成装置１は、前述のような統計的な手法により画素の位置を評価することで、画素検出枠を広範囲に設定した場合でも、演算コストをかけずに高速かつ高精度で道路環境を検出できる。
【０１１０】
（１２）本実施形態では、複数の画素ノイズ処理を行うことで、様々な形状の道路環境や複数の道路環境を正確に検出することができる。
（１３）道路環境生成部１６は、画素検出枠で推定進路中心Ｏから遠い方の前後方向に延びる辺との平行度を判定している。これは、図４に示すように台形の画素検出枠を左右にそれぞれ設定すると、その車幅方向における外側の辺、すなわち、推定進路中心Ｏから遠い方の前後方向に延びる辺が、画像内の道路環境を表す斜線に対してほぼ平行になる。道路環境生成装置１は、このような関係を利用して、道路環境の形状に合致させて、特徴部を表す近似直線を選択することができるようになる。
【０１１１】
（実施形態の変形例）
本実施形態の変形例として、近似直線算出部１４は、画素検出枠内に存在する道路環境特徴を持つ画素をそのｙ座標値が昇順になるように並べ替えることもできる。この場合、そのように昇順になるように並べ替えたことに応じて、ｘ座標値の連続性を評価する。すなわち、所定の条件でｘ座標値の連続性を評価する。
【符号の説明】
【０１１２】
１ 道路環境生成装置、２ カメラ、１０、制御部、１１ 画像一時記録部、１２ 画素検出枠設定部、１３ 道路環境特徴算出部、１４ 近似直線算出部、１５ 画素検出枠交差判定部、１６ 道路環境生成部
【特許請求の範囲】
【請求項１】
自車両前方を撮像する撮像手段と、
前記撮像手段が撮像した画像に、車幅方向及び車両進行方向に幅を有する方形の画素検出枠を設定する画素検出枠設定手段と、
前記画素検出枠内の画素を基に、該画素検出枠内の画像の特徴部を算出する特徴部算出手段と、
前記特徴部を表す複数の画素のうちの少なくとも３個の画素の位置を基に近似直線を算出する近似直線算出手段と、
前記画素検出枠の車幅方向に延びる辺に前記近似直線が交差するか否かを判定する交差判定手段と、
前記交差判定手段が交差すると判定した近似直線と前記画素検出枠の車両進行方向に延びる辺との平行度を基に、前記特徴部を画像内の道路環境を表すものとしての決定をする道路環境特徴決定手段と、
を備えることを特徴とする道路環境情報取得装置。
【請求項２】
前記道路環境特徴決定手段は、前記特徴部を表す複数の画素のうち前記交差判定手段が交差すると判定した近似直線に対する距離が予め設定した所定値未満の画素によって表される特徴部を前記画像内の道路環境を表すものとして決定することを特徴とすることを特徴とする請求項１に記載の道路環境情報取得装置。
【請求項３】
前記近似直線算出手段は、前記特徴部を表す複数の画素の組み合わせを変えて複数の近似直線を算出しており、
前記交差判定手段が交差すると判定した近似直線と前記特徴部を表す全ての画素との距離を算出し、各画素について算出した前記距離の代表値を取得する代表値取得手段を備え、
前記道路環境特徴決定手段は、前記交差判定手段が交差すると判定した複数の近似直線のうちの前記代表値が最小となる近似直線を前記平行度が高いと判定して、前記代表値が最小となる近似直線に対する距離が予め設定した所定値未満の画素によって表される特徴部を前記画像内の道路環境を表すものとして決定することを特徴とすることを特徴とする請求項１又は２に記載の道路環境情報取得装置。
【請求項４】
画像内で移動する部位を表す画素を選定する画素選定手段を備え、
前記特徴部算出手段は、前記画素選定手段が選定した画素を基に、前記特徴部を算出することを特徴とする請求項１乃至３の何れか１項に記載の道路環境情報取得装置。
【請求項５】
前記画素検出枠設定手段は、車両情報及び道路形状情報の少なくとも何れかを基に、前記画素検出枠を設定することを特徴とする請求項１乃至４の何れか１項に記載の道路環境情報取得装置。
【請求項６】
前記画素検出枠設定手段は、前記道路環境特徴決定手段の前記決定の結果を基に、前記画素検出枠の位置を新たに設定することを特徴とする請求項１乃至５の何れか１項に記載の道路環境情報取得装置。
【請求項７】
前記画素検出枠設定手段は、自車両に対して車両進行方向の近傍側及び遠方側に前記画素検出枠をそれぞれ設定することを特徴とする請求項１乃至６の何れか１項に記載の道路環境情報取得装置。
【請求項８】
前記近似直線算出手段は、前記近傍側の画素検出枠内の前記特徴部を表す複数の画素を画像内における車両進行方向の該画素の座標位置が昇順又は降順となるように並べ替えたときに、画像内における車幅方向の該画素の座標位置が予め設定した所定条件で連続して並んでいるか否かを判定し、連続して並んでいない画素を前記近似直線の算出に用いる画素から除外することを特徴とする請求項７に記載の道路環境情報取得装置。
【請求項９】
前記近似直線算出手段は、前記遠方側の画素検出枠内の前記特徴部を表す複数の画素を画像内における車両進行方向の該画素の座標位置が昇順又は降順となるように並べ替えたときに、画像内における車幅方向の該画素の座標位置が、道路形状に基づく所定条件で連続して並んでいるか否かを判定し、連続して並んでいない画素を前記近似直線の算出に用いる画素から除外することを特徴とする請求項７に記載の道路環境情報取得装置。
【請求項１０】
自車両前方の撮像画像に、車幅方向及び車両進行方向に幅を有する方形の画素検出枠を設定し、
前記画素検出枠内の画素を基に、該画素検出枠内の画像の特徴部を算出し、
前記特徴部を表す複数の画素のうちの少なくとも３個の画素の位置を基に近似直線を算出し、
前記画素検出枠の車幅方向に延びる辺に前記近似直線が交差するか否かを判定し、
交差すると判定した近似直線と前記画素検出枠の車両進行方向に延びる辺との平行度を基に、前記特徴部を画像内の道路環境を表すものとしての決定をする道路環境特徴取得方法。
【請求項１】
自車両前方を撮像する撮像手段と、
前記撮像手段が撮像した画像に、車幅方向及び車両進行方向に幅を有する方形の画素検出枠を設定する画素検出枠設定手段と、
前記画素検出枠内の画素を基に、該画素検出枠内の画像の特徴部を算出する特徴部算出手段と、
前記特徴部を表す複数の画素のうちの少なくとも３個の画素の位置を基に近似直線を算出する近似直線算出手段と、
前記画素検出枠の車幅方向に延びる辺に前記近似直線が交差するか否かを判定する交差判定手段と、
前記交差判定手段が交差すると判定した近似直線と前記画素検出枠の車両進行方向に延びる辺との平行度を基に、前記特徴部を画像内の道路環境を表すものとしての決定をする道路環境特徴決定手段と、
を備えることを特徴とする道路環境情報取得装置。
【請求項２】
前記道路環境特徴決定手段は、前記特徴部を表す複数の画素のうち前記交差判定手段が交差すると判定した近似直線に対する距離が予め設定した所定値未満の画素によって表される特徴部を前記画像内の道路環境を表すものとして決定することを特徴とすることを特徴とする請求項１に記載の道路環境情報取得装置。
【請求項３】
前記近似直線算出手段は、前記特徴部を表す複数の画素の組み合わせを変えて複数の近似直線を算出しており、
前記交差判定手段が交差すると判定した近似直線と前記特徴部を表す全ての画素との距離を算出し、各画素について算出した前記距離の代表値を取得する代表値取得手段を備え、
前記道路環境特徴決定手段は、前記交差判定手段が交差すると判定した複数の近似直線のうちの前記代表値が最小となる近似直線を前記平行度が高いと判定して、前記代表値が最小となる近似直線に対する距離が予め設定した所定値未満の画素によって表される特徴部を前記画像内の道路環境を表すものとして決定することを特徴とすることを特徴とする請求項１又は２に記載の道路環境情報取得装置。
【請求項４】
画像内で移動する部位を表す画素を選定する画素選定手段を備え、
前記特徴部算出手段は、前記画素選定手段が選定した画素を基に、前記特徴部を算出することを特徴とする請求項１乃至３の何れか１項に記載の道路環境情報取得装置。
【請求項５】
前記画素検出枠設定手段は、車両情報及び道路形状情報の少なくとも何れかを基に、前記画素検出枠を設定することを特徴とする請求項１乃至４の何れか１項に記載の道路環境情報取得装置。
【請求項６】
前記画素検出枠設定手段は、前記道路環境特徴決定手段の前記決定の結果を基に、前記画素検出枠の位置を新たに設定することを特徴とする請求項１乃至５の何れか１項に記載の道路環境情報取得装置。
【請求項７】
前記画素検出枠設定手段は、自車両に対して車両進行方向の近傍側及び遠方側に前記画素検出枠をそれぞれ設定することを特徴とする請求項１乃至６の何れか１項に記載の道路環境情報取得装置。
【請求項８】
前記近似直線算出手段は、前記近傍側の画素検出枠内の前記特徴部を表す複数の画素を画像内における車両進行方向の該画素の座標位置が昇順又は降順となるように並べ替えたときに、画像内における車幅方向の該画素の座標位置が予め設定した所定条件で連続して並んでいるか否かを判定し、連続して並んでいない画素を前記近似直線の算出に用いる画素から除外することを特徴とする請求項７に記載の道路環境情報取得装置。
【請求項９】
前記近似直線算出手段は、前記遠方側の画素検出枠内の前記特徴部を表す複数の画素を画像内における車両進行方向の該画素の座標位置が昇順又は降順となるように並べ替えたときに、画像内における車幅方向の該画素の座標位置が、道路形状に基づく所定条件で連続して並んでいるか否かを判定し、連続して並んでいない画素を前記近似直線の算出に用いる画素から除外することを特徴とする請求項７に記載の道路環境情報取得装置。
【請求項１０】
自車両前方の撮像画像に、車幅方向及び車両進行方向に幅を有する方形の画素検出枠を設定し、
前記画素検出枠内の画素を基に、該画素検出枠内の画像の特徴部を算出し、
前記特徴部を表す複数の画素のうちの少なくとも３個の画素の位置を基に近似直線を算出し、
前記画素検出枠の車幅方向に延びる辺に前記近似直線が交差するか否かを判定し、
交差すると判定した近似直線と前記画素検出枠の車両進行方向に延びる辺との平行度を基に、前記特徴部を画像内の道路環境を表すものとしての決定をする道路環境特徴取得方法。
【図１】
【図２】
【図３】
【図４】
【図５】
【図６】
【図７】
【図８】
【図９】
【図１０】
【図１１】
【図１２】
【図１３】
【図２】
【図３】
【図４】
【図５】
【図６】
【図７】
【図８】
【図９】
【図１０】
【図１１】
【図１２】
【図１３】
【公開番号】特開２０１１−２４８６３８（Ｐ２０１１−２４８６３８Ａ）
【公開日】平成２３年１２月８日（２０１１．１２．８）
【国際特許分類】
【出願番号】特願２０１０−１２１３２０（Ｐ２０１０−１２１３２０）
【出願日】平成２２年５月２７日（２０１０．５．２７）
【出願人】（０００００３９９７）日産自動車株式会社 (16,386)
【Ｆターム（参考）】
【公開日】平成２３年１２月８日（２０１１．１２．８）
【国際特許分類】
【出願日】平成２２年５月２７日（２０１０．５．２７）
【出願人】（０００００３９９７）日産自動車株式会社 (16,386)
【Ｆターム（参考）】
[ Back to top ]