車両走行支援装置、車両、車両走行支援プログラム
【課題】車両が走行中の道路において複数の並列する人工溝の有無を高精度で認識する。
【解決手段】車両走行支援装置によれば、カメラを通じて得られた画像において、実空間における車両の第１予測走行領域を表わす指定画像領域ＱＡの横方向の濃淡変化態様が高速フーリエ変換処理の実行により生成された周波数スペクトルとして認識される。車両が走行している道路に複数の並列する人工溝Ｇが設けられている場合、指定画像領域ＱＡにはその横方向に特徴的な濃淡変化態様（スペクトルにおけるピーク）が現われる。したがって、この濃淡変化態様に基づき、第１予測走行領域における複数の並列する人工溝Ｇの有無が高精度で認識されうる。さらに、道路に複数の並列する人工溝Ｇが存在しないと認識されたことを要件としてエッジ抽出処理およびハフ変換処理の実行結果に基づいて車両の第２予測走行領域における積雪の有無等、道路の状態が認識される。
【解決手段】車両走行支援装置によれば、カメラを通じて得られた画像において、実空間における車両の第１予測走行領域を表わす指定画像領域ＱＡの横方向の濃淡変化態様が高速フーリエ変換処理の実行により生成された周波数スペクトルとして認識される。車両が走行している道路に複数の並列する人工溝Ｇが設けられている場合、指定画像領域ＱＡにはその横方向に特徴的な濃淡変化態様（スペクトルにおけるピーク）が現われる。したがって、この濃淡変化態様に基づき、第１予測走行領域における複数の並列する人工溝Ｇの有無が高精度で認識されうる。さらに、道路に複数の並列する人工溝Ｇが存在しないと認識されたことを要件としてエッジ抽出処理およびハフ変換処理の実行結果に基づいて車両の第２予測走行領域における積雪の有無等、道路の状態が認識される。
【発明の詳細な説明】
【技術分野】
【０００１】
本発明は、車両に搭載されている撮像装置を通じて得られた画像に基づいてこの車両の走行を支援する装置等に関する。
【背景技術】
【０００２】
道路に向けて投影されたレーザ光の輝点パターンを撮像し、撮像画像に基づいてこの道路に存在する溝を検出する技術が提案されている（特許文献１参照）。
【特許文献１】特開平０５−２０１２９８号公報
【発明の開示】
【発明が解決しようとする課題】
【０００３】
しかし、道路に水はけ用の溝等、人工溝が等間隔に並列されて設けられている場合、車載カメラにより撮像された画像においてこの溝の部分に偽色が発生する可能性がある。このため、この画像が処理されることにより、道路に多数の轍が存在する等、道路の状態が誤認識されてしまう可能性がある。
【０００４】
そこで、本発明は、車両が走行中の道路において複数の並列する人工溝の有無を高精度で認識することができる装置等を提供することを解決課題とする。
【課題を解決するための手段】
【０００５】
第１発明の車両走行支援装置は、車両に搭載されている撮像装置を通じて得られた前記車両の進行方向の状況を表わす画像に基づき、前記車両の走行環境を認識する車両走行支援装置であって、前記画像において実空間における前記車両の第１予測走行領域を表わす指定画像領域における横方向の濃淡変化態様に基づき、前記第１予測走行領域における複数の並列する人工溝の有無を認識する第１処理要素と、前記画像においてエッジを顕在化するエッジ抽出処理を実行することによりエッジ画像を生成し、前記エッジ画像に対してハフ変換処理を実行し、前記ハフ変換処理の実行結果に基づき、前記車両が走行中の道路の状態を認識する第２処理要素とを備え、前記第２処理要素が、前記第１処理要素により前記複数の人工溝がないと認識されたことを要件として前記道路の状態を認識することを特徴とする。
【０００６】
第１発明の車両走行支援装置によれば、撮像装置を通じて得られた画像において、実空間における車両の第１予測走行領域を表わす指定画像領域の横方向の濃淡変化態様が認識される。車両が走行している道路に複数の並列する人工溝が設けられている場合、指定画像領域にはその横方向に特徴的な濃淡変化態様が現われる。したがって、この濃淡変化態様に基づき、第１予測走行領域における複数の並列する人工溝の有無が高精度で認識されうる。さらに、道路に複数の並列する人工溝が存在しないと認識されたことを要件として、エッジ抽出処理およびハフ変換処理の実行結果に基づいて道路の状態が認識される。これにより、複数の並列する人工溝が存在するために道路の状態が誤認識される事態が回避される。
【０００７】
なお、本発明の構成要素が情報を「認識する」とは、当該構成要素が情報をデータベースから検索すること、メモリ等の記憶装置から情報を読み取ること、センサ等の出力信号に基づき情報を測定、算定、推定、判定すること、測定等された情報をメモリに格納すること等、当該情報をさらなる情報処理のために準備または用意するために必要なあらゆる情報処理を実行することを意味する。
【０００８】
第２発明の車両走行支援装置は、第１発明の車両走行支援装置において、前記第１処理要素が、前記画像に対して前記指定画像領域の横方向の濃淡変化態様を表わす周波数スペクトルを生成するためにフーリエ変換処理を実行し、前記周波数スペクトルにおいて実空間における前記複数の人口溝の間隔に相当する指定周波数範囲に含まれる、強度が閾値以上のピークの有無に応じて、前記第１予測走行領域における複数の並列する人工溝の有無を認識することを特徴とする。
【０００９】
第２発明の車両走行支援装置によれば、画像に対してフーリエ変換処理が実行されることにより、指定画像領域の横方向の濃淡変化態様を表わす周波数スペクトルが生成される。指定画像領域により表わされている第１予測走行領域に複数の並列する人口溝が存在する場合、周波数スペクトルにおいて実空間における人口溝の横方向の間隔または空間的周期に相当する指定周波数範囲に含まれる、強度が閾値以上のピークが現われる。したがって、周波数スペクトルにおけるこのようなピークの有無に応じて複数の並列する人口溝の有無が認識されうる。
【００１０】
第３発明の車両走行支援装置は、第１または第２発明の車両走行支援装置において、前記第２処理要素が、ρ−θ空間において前記車両の第２予測走行領域を表わす指定領域における直線成分の指定投票値に対する投票数を評価し、前記投票数が閾値以上であることを要件として、前記車両が走行中の道路における積雪の有無を認識することを特徴とする。
【００１１】
第３発明の車両走行支援装置によれば、エッジ画像がハフ変換処理された結果に基づき、ρ−θ空間（ハフ空間）において実空間における車両の第２予測走行領域を表わしている指定領域における直線成分の指定投票値に対する投票数が評価される。なお、第２予測走行領域および第１予測走行領域は同一であってもよく、異なっていてもよい。道路に積雪がある場合には第２予測走行領域において、道路に積雪がない場合よりも多くの直線成分が現われるため、ハフ空間において直線成分の指定投票値に対する投票数が閾値以上となる。したがって、直線成分の指定投票値に対する投票数が閾値以上であるか否かに応じて積雪の有無が高精度で認識される。また、道路に複数の並列する人口溝が存在する場合、この道路における積雪の有無は認識されない。したがって、道路に積雪がないにもかかわらず、この道路に複数の並列する人口溝があるためにハフ空間において直線成分の指定投票値に対する投票数が閾値以上となって、道路に積雪があると誤認識される事態が回避されうる。
【００１２】
第４発明の車両は、撮像装置と、第１発明の車両走行支援装置を備えていることを特徴とする。
【００１３】
第４発明の車両によれば、車両走行支援装置により車両が走行中の道路における複数の並列する人工溝の有無が高精度で認識され、さらには、この道路の状態が高精度で認識されうるので、当該認識結果に基づき車両の安全走行等の観点から車載機器の動作が適当に制御されうる。
【００１４】
第５発明の走行支援プログラムは、車両に搭載されているコンピュータを第１発明の車両走行支援装置として機能させることを特徴とする。
【００１５】
第５発明の走行支援プログラムによれば、車載のコンピュータを、車両が走行中の道路における複数の並列する人工溝の有無を高精度で認識する車両走行支援装置として機能させることができる。
【発明を実施するための最良の形態】
【００１６】
本発明の車両走行支援装置等の実施形態について図面を用いて説明する。
【００１７】
図１および図２に示されている車両（四輪自動車）１には、ＣＣＤカメラや近赤外線カメラ等のカメラ（撮像装置）１２と、車両走行支援装置１０とが搭載されている。カメラ１２は車両１の前方の様子をフロントウィンドウ越しに撮像するように車内空間に取り付けられている。なお、カメラ１２の配置箇所は車両１のフロント部分等に適宜変更されてもよい。車両１には図２に示されているように車速センサ１２２、加速度センサ１２４およびヨーレートセンサ１２６等のセンサと、操舵装置１４と、制動装置１６とがさらに搭載されている。車速センサ１２２、加速度センサ１２４およびヨーレートセンサ１２６のそれぞれは車両１の速度、加速度およびヨーレートのそれぞれに応じた信号を出力する。
【００１８】
車両走行支援装置１０はコンピュータまたはＥＣＵ（電子制御ユニット）（ＣＰＵ，ＲＯＭ，ＲＡＭならびにＩ／Ｏ回路およびＡ／Ｄ変換回路等の電子回路等により構成されている。）により構成されている。車両走行支援装置１０にはカメラ１２および速度センサ１２２等からの出力信号が入力される。ＣＰＵにより「車両走行支援プログラム」がメモリから読み出され、かつ、読み出されたプログラムにしたがって後述する種々の処理が実行される。なお、プログラムは任意のタイミングでサーバからネットワークや衛星を介して車両１に配信または放送され、車載コンピュータのＲＡＭ等の記憶装置に格納されてもよい。車両走行支援装置１０は操舵装置１４および制動装置１６のうち一方または両方の動作を制御することにより、車両１が走行領域から逸脱しないように車両１の走行を支援する走行支援制御を実行する。車両走行支援装置１０は第１処理要素１１０および第２処理要素１２０を備えている。
【００１９】
第１処理要素１１０はカメラ１２を通じて得られた画像に対して指定画像領域の横方向の濃淡変化態様を表わす周波数スペクトルを生成するためにフーリエ変換処理（高速フーリエ変換処理）を実行する。指定画像領域は、画像において実空間における車両１の第１予測走行領域（たとえば、車両１の左右に一対のレーンマークが存在すると仮定した場合、当該一対のレーンマークにより挟まれる領域の一部または全部）を表わしている。第１処理要素１１０は指定画像領域の横方向の濃淡変化態様を表わす周波数スペクトルに基づき、このスペクトルにおける指定周波数範囲に含まれる、強度が閾値以上のピークの有無に応じて、第１予測走行領域における複数の並列する水はけ用の溝等、人工溝の有無を認識する。
【００２０】
第２処理要素１２０はカメラ１２を通じて得られた画像においてエッジを抽出または顕在化するエッジ抽出処理を実行することによりエッジ画像を生成する。第２処理要素１２０はエッジ画像にハフ変換処理を実行し、ハフ変換処理の実行結果に基づいてρ−θ空間における直線成分の指定投票値に対する投票数を評価する。第２処理要素１２０はρ−θ空間において定義されている指定領域における指定投票値の投票数が閾値以上であることを要件として、車両１が走行中の道路における積雪の有無を認識する。第２処理要素１２０は第１処理要素１１０により道路（詳細には第１予測走行領域）に複数の並列する人口溝が存在しないと認識されたことを要件として、この道路における積雪の有無を認識する。指定領域は、ρ−θ空間において実空間における車両１の第２予測走行領域（第１予測走行領域と同じく、たとえば車両１の左右に一対のレーンマークがあると仮定した場合、当該一対のレーンマークにより挟まれる領域の一部または全部）を表わしている。指定領域の境界は無積雪状態の道路について指定領域における指定投票値の投票数が閾値未満となるように設定されている。
【００２１】
前記構成の車両１および車両走行支援装置１０の機能について説明する。
【００２２】
まず、カメラ１２を通じて車両１の前方または走行方向の状況を表わすディジタル画像が取得される（図３／Ｓ００２）。これにより、たとえば図４（ａ）、図５（ａ）（＝図７（ａ））または図６（ａ）に示されているような車両１の前方に延びる道路の画像が取得される。なお、図４（ａ）は道路に積雪がなく、かつ、道路に複数の並列する人口溝Ｇが設けられている状態における撮像画像であり、図５（ａ）は道路に積雪がある状態における撮像画像であり、図６（ａ）は道路に積雪がなく、かつ、道路に複数の人口溝が設けられていない状態における撮像画像である。
【００２３】
また、第１処理要素１１０により、ディジタル画像に対して高速フーリエ変換処理が実行される（図３／Ｓ００４）。これにより、たとえば図４（ａ）に示されている矩形状の指定画像領域ＱＡの横方向の濃淡変化態様を表わす、図４（ｂ）に示されているような周波数スペクトルが生成される。同様に、図５（ａ）に示されている矩形状の指定画像領域ＱＡの横方向の濃淡変化態様を表わす、図５（ｂ）に示されているような周波数スペクトルが生成される。なお、指定画像領域は矩形状のほか、円形状、楕円形状、三角形状および台形状など、さまざまな形状に設定されていてもよい。また、高速フーリエ変換処理に代えて、通常のフーリエ変換処理または離散フーリエ変換処理が実行されてもよい。
【００２４】
さらに、第２処理要素１２０により、ディジタル画像に対してエッジ抽出処理が実行されることにより、エッジが顕在化されたエッジ画像が生成される（図３／Ｓ００６）。たとえば、図６（ａ）および図７（ａ）のそれぞれに示されている画像に対してエッジ抽出処理が実行されることにより、図６（ｂ）および図７（ｂ）のそれぞれに示されているように、エッジ（白抜き部分）が抽出または顕在化されたエッジ画像が生成される。なお、エッジは一定の走査方向について輝度が閾値を超えて変化する点または画素により構成される線分を意味しており、特開２００５−３３２１０４号公報および特開２００６−０１２１９１号公報等に開示されている画像処理方法にしたがって認識されうる。
【００２５】
また、第２処理要素１２０によりエッジ画像に対してハフ変換処理が実行される（図３／Ｓ００８）。たとえば図６（ｂ）および図７（ｂ）のそれぞれに示されているエッジ画像に対してハフ変換処理が実行されることにより、図６（ｃ）および図７（ｃ）のそれぞれに示されているように、ハフ変換されたエッジの直線成分がρ−θ空間の任意の座標に出現する頻度が投票値として評価される。
【００２６】
さらに、第１処理要素１１０により、指定画像領域により表わされている、第１予測走行領域における複数の並列する人口溝の有無が認識される（図３／Ｓ０１０）。具体的には、周波数スペクトルにおいて指定周波数範囲に含まれる強度が閾値以上のピークの有無が認識されることにより、並列する人口溝の有無が認識される。指定周波数範囲は、実空間における標準的な人口溝の間隔に相当する空間周波数範囲を意味する。たとえば、図４（ｂ）に示されているように指定周波数範囲に含まれる、強度が閾値（一点鎖線）以上であるピークが存在する場合、指定画像領域ＱＡにより表わされている、第１予測走行領域に複数の並列する人口溝Ｇが存在すると認識される（図４（ａ）参照）。その一方、図５（ｂ）に示されているように強度が閾値（一点鎖線）以上であるピークが存在しない場合、指定画像領域ＱＡにより表わされている、第１予測走行領域に複数の並列する人口溝Ｇが存在しないと認識される（図５（ａ）参照）。なお、強度が閾値以上であるピークが存在することに加えて、このピークが人口溝の横方向の標準的な間隔に相当する指定周波数範囲に存在することが要件とされて、複数の人口溝が存在すると認識されてもよい。
【００２７】
第１処理要素１１０により、道路の第１予測走行領域に複数の並列する人口溝が存在すると判定された場合（図３／Ｓ０１０‥ＮＯ）、第２処理要素１２０により、ディジタル画像に対してエッジ抽出処理等が実行されることにより、後述するようにレーンマークが探索され（図３／Ｓ０１６）、この探索結果に基づいて走行領域の設定可否が判定され（図３／Ｓ０１８）、走行領域が設定された場合には車両１がその走行領域に収まるように操舵装置１４および青銅装置１６の動作が制御される（図３／Ｓ０２０）。
【００２８】
その一方、第１処理要素１１０により、道路の第１予測走行領域に複数の並列する人口溝が存在しないと判定された場合（図３／Ｓ０１０‥ＹＥＳ）、第２処理要素１２０により、ρ−θ空間において定義されている指定領域Ｓにおける投票値と、投票値が出現する頻度としての投票数との関係を表現するヒストグラムが生成される（図３／Ｓ０１２）。これにより、たとえば図８に示されている閾値ライン（実線）よりも高投票値かつ多投票数側の第１投票領域Ｕ1および閾値ラインよりも低投票値かつ少投票数側の第２投票領域Ｕ2のうちいずれかに一部または全部が包含されるように、投票値と投票数との関係を表わす第１曲線（一点鎖線）Ｌ1または第２曲線（二点鎖線）Ｌ2が描かれる。指定領域Ｓとしては、図６（ｃ）および図７（ｃ）のそれぞれに示されている、ρの値により画定されている第１指定領域（一点鎖線で囲まれている）Ｓ1＝［ρ1，ρ2］と、θの値により画定されている第２指定領域（二点鎖線により囲まれている）Ｓ2＝［θ1，θ2］との重なり領域（斜線が付されている）Ｓ1∩Ｓ2が定義されている。図６（ｃ）および図７（ｃ）のそれぞれにおいて後述する第１指定領域Ｓ1および第２指定領域Ｓ2から外れた領域において投票値が高い一対の箇所があるが、これは主に一対のレーンマークまたは轍などのエッジがハフ変換された結果を表わしている。なお、第１指定領域Ｓ1または第２指定領域Ｓ2が単独で指定領域Ｓとして定義されてもよい。また、指定領域Ｓの形状としては矩形状ではなく円形状、楕円形状、三角形状または台形状など、さまざまな形状が採用されてもよい。
【００２９】
指定領域Ｓの境界値は、積雪状態の道路についてはこの指定領域Ｓにおける指定投票値が閾値以上となる一方、無積雪状態の道路についてこの指定領域Ｓにおける指定投票値の投票数が閾値未満となるように設定されている。
【００３０】
具体的には、積雪がない状態の道路については図６（ｃ）に示されているように第１指定領域Ｓ1において投票値が高い箇所が比較的少なくなる一方、積雪がある状態の道路については図７（ｃ）に示されているように第１指定領域Ｓ1において投票値が高い箇所が比較的多くなるように第１指定領域Ｓ1の下限値ρ1および上限値ρ2が設定されている。すなわち、前記のように主に一対のレーンマークまたは轍などのエッジがハフ変換された結果を表わしている投票値が高い一対の箇所が包含されないように第１指定領域Ｓ1の下限値ρ1および上限値ρ2が設定されている（たとえばρ1＝０，ρ2＝０．３ρmax）。ρ−θ空間における第１指定領域Ｓ1は、図６（ａ）および図７（ａ）のそれぞれに示されているカメラ１２の撮像画像における半円形状の第１指定画像領域Ｑ1を通過する直線（線分）に相当し、ひいては、第１指定画像領域Ｑ1に相当する実空間領域（車両１の前側近傍領域）に相当している。
【００３１】
同様に、積雪がない状態の道路については図６（ｃ）に示されているように第２指定領域Ｓ2において投票値が高い箇所が比較的少なくなる一方、積雪がある状態の道路については図７（ｃ）に示されているように第２指定領域Ｓ2において投票値が高い箇所が比較的多くなるように第２指定領域Ｓ2の境界値θ1およびθ2が設定されている（たとえばθ1＝π／６，θ2＝５π／６）。すなわち、前記のように主に一対のレーンマークまたは轍などのエッジがハフ変換された結果を表わしている投票値が高い一対の箇所が包含されないように第２指定領域Ｓ2の境界値θ1およびθ2が設定されている。ρ−θ空間における第２指定領域Ｓ2は図６（ａ）および図７（ａ）のそれぞれに示されているカメラ１２の撮像画像における三角形状の第２指定画像領域Ｑ2を通過する直線（線分）に相当しており、ひいては、第２指定画像領域Ｑ2に相当する実空間領域（左右一対のレーンマークが存在すると仮定した場合、当該一対のレーンマークの間に大部分が含まれる領域）に相当している。
【００３２】
このため、積雪がある状態の道路では、図８に示されている閾値ラインよりも高投票値かつ多投票数側の第１投票領域Ｕ1に一部または全部が包含されるように、投票値と投票数との関係を表わす曲線が描かれる。その一方、積雪がない状態の道路では、図８に示されている閾値ラインよりも高投票値かつ多投票数側の第２投票領域Ｕ2に一部または全部が包含されるように、投票値と投票数との関係を表わす曲線が描かれる。
【００３３】
さらに、第２処理要素１２０により、指定投票値の投票数が閾値以下であるか否かを認識することにより、車両１が走行中の道路における積雪の有無が認識される（図３／Ｓ０１４）。たとえば、図８に示されている指定投票値における投票数Ｎ1が閾値Ｎth以上である場合には積雪があると認識される一方、投票数Ｎ2が閾値Ｎth未満である場合には積雪がないと認識される。なお、１つの指定投票値の投票数が閾値以上であるか否かに応じてではなく、複数の指定投票値のうちそれぞれの投票数が閾値以上であるか否かに応じて積雪の有無が認識されてもよい。
【００３４】
そして、道路において積雪がないと認識された場合（図３／Ｓ０１４‥ＹＥＳ）、エッジ抽出処理の実行結果等に基づき、車線（白線もしくは黄線など）または道路鋲（ボッツドッツ）等のレーンマークが探索される（図３／Ｓ０１６）。なお、レーンマークの探索方法としては、特開２００６−３０９６０５号公報、特開２００６−３３１１９３号公報、特開２００７−０１８１５４号公報または特開２００７−０２６１０６号公報等に開示されている方法が採用されうる。さらに、当該レーンマークの探索結果に基づき、一対のレーンマークにより左右が画定された走行領域の設定可否が判定される（図３／Ｓ０１８）。走行領域が設定可能であると判定された場合（図３／Ｓ０１８‥ＹＥＳ）、操舵装置１４および制動装置１６のうち一方または両方の動作が制御されることにより、車両１がこの走行領域から逸脱しないように車両１の走行を支援する走行支援制御が実行される（図３／Ｓ０２０）。その一方、道路において積雪があると認識された場合（図３／Ｓ０１４‥ＮＯ）、または、レーンマークの探索失敗等のために走行領域が設定不可能であると判定された場合（図３／Ｓ０１８‥ＮＯ）、走行領域の設定および走行支援制御が省略される。
【００３５】
前記機能を発揮する車両走行支援装置１０によれば、カメラ（撮像装置）１２を通じて得られた画像において、実空間における車両１の第１予測走行領域を表わす指定画像領域の横方向の濃淡変化態様が認識される。具体的には、ディジタル画像に皇族フーリエ変換処理が実行されることにより、指定画像領域の横方向の濃淡変化態様を表す周波数スペクトルが生成される（図３／Ｓ００４，図４（ｂ）および図５（ｂ）参照）。図４（ａ）に示されているように車両１が走行している道路に複数の並列する人工溝Ｇが設けられている場合、指定画像領域ＱＡにはその横方向に特徴的な濃淡変化態様が、図４（ｂ）に示されているように周波数スペクトルにおける指定周波数範囲に含まれる強度が閾値以上のピークとして現われる。したがって、この濃淡変化態様に基づき、第１予測走行領域における複数の並列する人工溝の有無が高精度で認識されうる。さらに、道路に複数の並列する人工溝が存在しないと認識されたことを要件として、エッジ抽出処理およびハフ変換処理の実行結果に基づいて道路の状態が認識される（図３／Ｓ０１０‥ＹＥＳ，Ｓ０１４参照）。これにより、複数の並列する人工溝が存在するために道路の状態が誤認識される事態が回避される。
【００３６】
さらに、カメラ（撮像装置）１２を通じて得られた画像においてエッジが抽出または顕在化されることによりエッジ画像が生成される（図３／Ｓ００６，図６（ｂ）および図７（ｂ）参照）。また、エッジ画像がハフ変換されることにより、ρ−θ空間（ハフ空間）の任意の点において直線成分の投票値が評価される（図３／Ｓ００６，図６（ｃ）および図７（ｃ）参照）。そして、ρ−θ空間の指定領域Ｓ（図６（ｃ）参照）における指定投票値の投票数が閾値以上であるか否かが認識されることにより、車両１が走行中の道路における積雪の有無が認識される（図３／Ｓ０１４，図８参照）。これは、ρ−θ空間の指定領域Ｓは、車両１の左側および右側のそれぞれにある一対のレーンマーク等により画定される第２予測走行領域に相当しているので、第２予測走行領域における積雪の有無に応じて、指定領域における指定投票値の投票数が顕著に相違するからである。具体的には、前記のようにρ−θ空間における第１指定領域Ｓ1は、図６（ａ）に示されているカメラ１２の撮像画像における半円形状の第１指定画像領域Ｑ1を通過する直線（線分）に相当し、ひいては、第１指定画像領域Ｑ1に相当する実空間領域に相当している。また、ρ−θ空間における第２指定領域Ｓ2は、図６（ａ）に示されているカメラ１２の撮像画像における三角形状の第２指定画像領域Ｑ2を通過する直線（線分）に相当し、ひいては、第２指定画像領域Ｑ2に相当する実空間領域に相当している。したがって、カメラ１２による同一位置からの撮像履歴の有無にかかわらず、積雪の有無を判定する際の特徴は図６（ｃ）の指定領域Ｓの投票値に表われ、車両１が走行中の道路における積雪の有無を高精度で認識することができる。
【００３７】
また、道路に複数の並列する人口溝が存在する場合、この道路における積雪の有無は認識されない（図３／Ｓ０１０‥ＮＯ参照）。したがって、道路に積雪がないにもかかわらず、この道路に複数の並列する人口溝があるためにハフ空間において直線成分の指定投票値に対する投票数が閾値以上となって、道路に積雪があると誤認識される事態が回避されうる。
【００３８】
前記実施形態では指定画像領域の横方向の濃淡変化態様が高速フーリエ変換処理により生成された周波数スペクトルとして認識されたが、他の実施形態としてエッジ抽出処理によりエッジ（たとえば画像横方向について輝度が低くなる負エッジ）が抽出され、指定画像領域の横方向の濃淡変化態様が当該エッジの画像横方向の出現周期として認識されてもよい。そして、エッジの画像横方向の出現頻度が一定値以上であり、かつ、出現周期が指定範囲に包含されるか否かに応じて人口溝の有無が認識されてもよい。
【００３９】
また、前記実施形態では道路における積雪の有無が道路の状態として認識されたが（図３／Ｓ０１４，図６および図７参照）、他の実施形態として路面にできた細かなひび割れの有無、道路における散乱物の有無等が道路の状態として認識されてもよい。
【図面の簡単な説明】
【００４０】
【図１】本発明の車両の構成説明図
【図２】本発明の車両走行支援装置の構成説明図
【図３】本発明の車両走行支援装置の機能を示すフローチャート
【図４】フーリエ変換処理によるスペクトル生成方法に関する説明図
【図５】フーリエ変換処理によるスペクトル生成方法に関する説明図
【図６】無積雪時のエッジ抽出処理およびハフ変換処理に関する説明図
【図７】積雪時のエッジ抽出処理およびハフ変換処理に関する説明図
【図８】直線成分の投票値および投票数の関係に関する説明図
【符号の説明】
【００４１】
１‥車両、１０‥車両走行支援装置、１２‥カメラ（撮像装置）、１１０‥第１処理要素、１２０‥第２処理要素
【技術分野】
【０００１】
本発明は、車両に搭載されている撮像装置を通じて得られた画像に基づいてこの車両の走行を支援する装置等に関する。
【背景技術】
【０００２】
道路に向けて投影されたレーザ光の輝点パターンを撮像し、撮像画像に基づいてこの道路に存在する溝を検出する技術が提案されている（特許文献１参照）。
【特許文献１】特開平０５−２０１２９８号公報
【発明の開示】
【発明が解決しようとする課題】
【０００３】
しかし、道路に水はけ用の溝等、人工溝が等間隔に並列されて設けられている場合、車載カメラにより撮像された画像においてこの溝の部分に偽色が発生する可能性がある。このため、この画像が処理されることにより、道路に多数の轍が存在する等、道路の状態が誤認識されてしまう可能性がある。
【０００４】
そこで、本発明は、車両が走行中の道路において複数の並列する人工溝の有無を高精度で認識することができる装置等を提供することを解決課題とする。
【課題を解決するための手段】
【０００５】
第１発明の車両走行支援装置は、車両に搭載されている撮像装置を通じて得られた前記車両の進行方向の状況を表わす画像に基づき、前記車両の走行環境を認識する車両走行支援装置であって、前記画像において実空間における前記車両の第１予測走行領域を表わす指定画像領域における横方向の濃淡変化態様に基づき、前記第１予測走行領域における複数の並列する人工溝の有無を認識する第１処理要素と、前記画像においてエッジを顕在化するエッジ抽出処理を実行することによりエッジ画像を生成し、前記エッジ画像に対してハフ変換処理を実行し、前記ハフ変換処理の実行結果に基づき、前記車両が走行中の道路の状態を認識する第２処理要素とを備え、前記第２処理要素が、前記第１処理要素により前記複数の人工溝がないと認識されたことを要件として前記道路の状態を認識することを特徴とする。
【０００６】
第１発明の車両走行支援装置によれば、撮像装置を通じて得られた画像において、実空間における車両の第１予測走行領域を表わす指定画像領域の横方向の濃淡変化態様が認識される。車両が走行している道路に複数の並列する人工溝が設けられている場合、指定画像領域にはその横方向に特徴的な濃淡変化態様が現われる。したがって、この濃淡変化態様に基づき、第１予測走行領域における複数の並列する人工溝の有無が高精度で認識されうる。さらに、道路に複数の並列する人工溝が存在しないと認識されたことを要件として、エッジ抽出処理およびハフ変換処理の実行結果に基づいて道路の状態が認識される。これにより、複数の並列する人工溝が存在するために道路の状態が誤認識される事態が回避される。
【０００７】
なお、本発明の構成要素が情報を「認識する」とは、当該構成要素が情報をデータベースから検索すること、メモリ等の記憶装置から情報を読み取ること、センサ等の出力信号に基づき情報を測定、算定、推定、判定すること、測定等された情報をメモリに格納すること等、当該情報をさらなる情報処理のために準備または用意するために必要なあらゆる情報処理を実行することを意味する。
【０００８】
第２発明の車両走行支援装置は、第１発明の車両走行支援装置において、前記第１処理要素が、前記画像に対して前記指定画像領域の横方向の濃淡変化態様を表わす周波数スペクトルを生成するためにフーリエ変換処理を実行し、前記周波数スペクトルにおいて実空間における前記複数の人口溝の間隔に相当する指定周波数範囲に含まれる、強度が閾値以上のピークの有無に応じて、前記第１予測走行領域における複数の並列する人工溝の有無を認識することを特徴とする。
【０００９】
第２発明の車両走行支援装置によれば、画像に対してフーリエ変換処理が実行されることにより、指定画像領域の横方向の濃淡変化態様を表わす周波数スペクトルが生成される。指定画像領域により表わされている第１予測走行領域に複数の並列する人口溝が存在する場合、周波数スペクトルにおいて実空間における人口溝の横方向の間隔または空間的周期に相当する指定周波数範囲に含まれる、強度が閾値以上のピークが現われる。したがって、周波数スペクトルにおけるこのようなピークの有無に応じて複数の並列する人口溝の有無が認識されうる。
【００１０】
第３発明の車両走行支援装置は、第１または第２発明の車両走行支援装置において、前記第２処理要素が、ρ−θ空間において前記車両の第２予測走行領域を表わす指定領域における直線成分の指定投票値に対する投票数を評価し、前記投票数が閾値以上であることを要件として、前記車両が走行中の道路における積雪の有無を認識することを特徴とする。
【００１１】
第３発明の車両走行支援装置によれば、エッジ画像がハフ変換処理された結果に基づき、ρ−θ空間（ハフ空間）において実空間における車両の第２予測走行領域を表わしている指定領域における直線成分の指定投票値に対する投票数が評価される。なお、第２予測走行領域および第１予測走行領域は同一であってもよく、異なっていてもよい。道路に積雪がある場合には第２予測走行領域において、道路に積雪がない場合よりも多くの直線成分が現われるため、ハフ空間において直線成分の指定投票値に対する投票数が閾値以上となる。したがって、直線成分の指定投票値に対する投票数が閾値以上であるか否かに応じて積雪の有無が高精度で認識される。また、道路に複数の並列する人口溝が存在する場合、この道路における積雪の有無は認識されない。したがって、道路に積雪がないにもかかわらず、この道路に複数の並列する人口溝があるためにハフ空間において直線成分の指定投票値に対する投票数が閾値以上となって、道路に積雪があると誤認識される事態が回避されうる。
【００１２】
第４発明の車両は、撮像装置と、第１発明の車両走行支援装置を備えていることを特徴とする。
【００１３】
第４発明の車両によれば、車両走行支援装置により車両が走行中の道路における複数の並列する人工溝の有無が高精度で認識され、さらには、この道路の状態が高精度で認識されうるので、当該認識結果に基づき車両の安全走行等の観点から車載機器の動作が適当に制御されうる。
【００１４】
第５発明の走行支援プログラムは、車両に搭載されているコンピュータを第１発明の車両走行支援装置として機能させることを特徴とする。
【００１５】
第５発明の走行支援プログラムによれば、車載のコンピュータを、車両が走行中の道路における複数の並列する人工溝の有無を高精度で認識する車両走行支援装置として機能させることができる。
【発明を実施するための最良の形態】
【００１６】
本発明の車両走行支援装置等の実施形態について図面を用いて説明する。
【００１７】
図１および図２に示されている車両（四輪自動車）１には、ＣＣＤカメラや近赤外線カメラ等のカメラ（撮像装置）１２と、車両走行支援装置１０とが搭載されている。カメラ１２は車両１の前方の様子をフロントウィンドウ越しに撮像するように車内空間に取り付けられている。なお、カメラ１２の配置箇所は車両１のフロント部分等に適宜変更されてもよい。車両１には図２に示されているように車速センサ１２２、加速度センサ１２４およびヨーレートセンサ１２６等のセンサと、操舵装置１４と、制動装置１６とがさらに搭載されている。車速センサ１２２、加速度センサ１２４およびヨーレートセンサ１２６のそれぞれは車両１の速度、加速度およびヨーレートのそれぞれに応じた信号を出力する。
【００１８】
車両走行支援装置１０はコンピュータまたはＥＣＵ（電子制御ユニット）（ＣＰＵ，ＲＯＭ，ＲＡＭならびにＩ／Ｏ回路およびＡ／Ｄ変換回路等の電子回路等により構成されている。）により構成されている。車両走行支援装置１０にはカメラ１２および速度センサ１２２等からの出力信号が入力される。ＣＰＵにより「車両走行支援プログラム」がメモリから読み出され、かつ、読み出されたプログラムにしたがって後述する種々の処理が実行される。なお、プログラムは任意のタイミングでサーバからネットワークや衛星を介して車両１に配信または放送され、車載コンピュータのＲＡＭ等の記憶装置に格納されてもよい。車両走行支援装置１０は操舵装置１４および制動装置１６のうち一方または両方の動作を制御することにより、車両１が走行領域から逸脱しないように車両１の走行を支援する走行支援制御を実行する。車両走行支援装置１０は第１処理要素１１０および第２処理要素１２０を備えている。
【００１９】
第１処理要素１１０はカメラ１２を通じて得られた画像に対して指定画像領域の横方向の濃淡変化態様を表わす周波数スペクトルを生成するためにフーリエ変換処理（高速フーリエ変換処理）を実行する。指定画像領域は、画像において実空間における車両１の第１予測走行領域（たとえば、車両１の左右に一対のレーンマークが存在すると仮定した場合、当該一対のレーンマークにより挟まれる領域の一部または全部）を表わしている。第１処理要素１１０は指定画像領域の横方向の濃淡変化態様を表わす周波数スペクトルに基づき、このスペクトルにおける指定周波数範囲に含まれる、強度が閾値以上のピークの有無に応じて、第１予測走行領域における複数の並列する水はけ用の溝等、人工溝の有無を認識する。
【００２０】
第２処理要素１２０はカメラ１２を通じて得られた画像においてエッジを抽出または顕在化するエッジ抽出処理を実行することによりエッジ画像を生成する。第２処理要素１２０はエッジ画像にハフ変換処理を実行し、ハフ変換処理の実行結果に基づいてρ−θ空間における直線成分の指定投票値に対する投票数を評価する。第２処理要素１２０はρ−θ空間において定義されている指定領域における指定投票値の投票数が閾値以上であることを要件として、車両１が走行中の道路における積雪の有無を認識する。第２処理要素１２０は第１処理要素１１０により道路（詳細には第１予測走行領域）に複数の並列する人口溝が存在しないと認識されたことを要件として、この道路における積雪の有無を認識する。指定領域は、ρ−θ空間において実空間における車両１の第２予測走行領域（第１予測走行領域と同じく、たとえば車両１の左右に一対のレーンマークがあると仮定した場合、当該一対のレーンマークにより挟まれる領域の一部または全部）を表わしている。指定領域の境界は無積雪状態の道路について指定領域における指定投票値の投票数が閾値未満となるように設定されている。
【００２１】
前記構成の車両１および車両走行支援装置１０の機能について説明する。
【００２２】
まず、カメラ１２を通じて車両１の前方または走行方向の状況を表わすディジタル画像が取得される（図３／Ｓ００２）。これにより、たとえば図４（ａ）、図５（ａ）（＝図７（ａ））または図６（ａ）に示されているような車両１の前方に延びる道路の画像が取得される。なお、図４（ａ）は道路に積雪がなく、かつ、道路に複数の並列する人口溝Ｇが設けられている状態における撮像画像であり、図５（ａ）は道路に積雪がある状態における撮像画像であり、図６（ａ）は道路に積雪がなく、かつ、道路に複数の人口溝が設けられていない状態における撮像画像である。
【００２３】
また、第１処理要素１１０により、ディジタル画像に対して高速フーリエ変換処理が実行される（図３／Ｓ００４）。これにより、たとえば図４（ａ）に示されている矩形状の指定画像領域ＱＡの横方向の濃淡変化態様を表わす、図４（ｂ）に示されているような周波数スペクトルが生成される。同様に、図５（ａ）に示されている矩形状の指定画像領域ＱＡの横方向の濃淡変化態様を表わす、図５（ｂ）に示されているような周波数スペクトルが生成される。なお、指定画像領域は矩形状のほか、円形状、楕円形状、三角形状および台形状など、さまざまな形状に設定されていてもよい。また、高速フーリエ変換処理に代えて、通常のフーリエ変換処理または離散フーリエ変換処理が実行されてもよい。
【００２４】
さらに、第２処理要素１２０により、ディジタル画像に対してエッジ抽出処理が実行されることにより、エッジが顕在化されたエッジ画像が生成される（図３／Ｓ００６）。たとえば、図６（ａ）および図７（ａ）のそれぞれに示されている画像に対してエッジ抽出処理が実行されることにより、図６（ｂ）および図７（ｂ）のそれぞれに示されているように、エッジ（白抜き部分）が抽出または顕在化されたエッジ画像が生成される。なお、エッジは一定の走査方向について輝度が閾値を超えて変化する点または画素により構成される線分を意味しており、特開２００５−３３２１０４号公報および特開２００６−０１２１９１号公報等に開示されている画像処理方法にしたがって認識されうる。
【００２５】
また、第２処理要素１２０によりエッジ画像に対してハフ変換処理が実行される（図３／Ｓ００８）。たとえば図６（ｂ）および図７（ｂ）のそれぞれに示されているエッジ画像に対してハフ変換処理が実行されることにより、図６（ｃ）および図７（ｃ）のそれぞれに示されているように、ハフ変換されたエッジの直線成分がρ−θ空間の任意の座標に出現する頻度が投票値として評価される。
【００２６】
さらに、第１処理要素１１０により、指定画像領域により表わされている、第１予測走行領域における複数の並列する人口溝の有無が認識される（図３／Ｓ０１０）。具体的には、周波数スペクトルにおいて指定周波数範囲に含まれる強度が閾値以上のピークの有無が認識されることにより、並列する人口溝の有無が認識される。指定周波数範囲は、実空間における標準的な人口溝の間隔に相当する空間周波数範囲を意味する。たとえば、図４（ｂ）に示されているように指定周波数範囲に含まれる、強度が閾値（一点鎖線）以上であるピークが存在する場合、指定画像領域ＱＡにより表わされている、第１予測走行領域に複数の並列する人口溝Ｇが存在すると認識される（図４（ａ）参照）。その一方、図５（ｂ）に示されているように強度が閾値（一点鎖線）以上であるピークが存在しない場合、指定画像領域ＱＡにより表わされている、第１予測走行領域に複数の並列する人口溝Ｇが存在しないと認識される（図５（ａ）参照）。なお、強度が閾値以上であるピークが存在することに加えて、このピークが人口溝の横方向の標準的な間隔に相当する指定周波数範囲に存在することが要件とされて、複数の人口溝が存在すると認識されてもよい。
【００２７】
第１処理要素１１０により、道路の第１予測走行領域に複数の並列する人口溝が存在すると判定された場合（図３／Ｓ０１０‥ＮＯ）、第２処理要素１２０により、ディジタル画像に対してエッジ抽出処理等が実行されることにより、後述するようにレーンマークが探索され（図３／Ｓ０１６）、この探索結果に基づいて走行領域の設定可否が判定され（図３／Ｓ０１８）、走行領域が設定された場合には車両１がその走行領域に収まるように操舵装置１４および青銅装置１６の動作が制御される（図３／Ｓ０２０）。
【００２８】
その一方、第１処理要素１１０により、道路の第１予測走行領域に複数の並列する人口溝が存在しないと判定された場合（図３／Ｓ０１０‥ＹＥＳ）、第２処理要素１２０により、ρ−θ空間において定義されている指定領域Ｓにおける投票値と、投票値が出現する頻度としての投票数との関係を表現するヒストグラムが生成される（図３／Ｓ０１２）。これにより、たとえば図８に示されている閾値ライン（実線）よりも高投票値かつ多投票数側の第１投票領域Ｕ1および閾値ラインよりも低投票値かつ少投票数側の第２投票領域Ｕ2のうちいずれかに一部または全部が包含されるように、投票値と投票数との関係を表わす第１曲線（一点鎖線）Ｌ1または第２曲線（二点鎖線）Ｌ2が描かれる。指定領域Ｓとしては、図６（ｃ）および図７（ｃ）のそれぞれに示されている、ρの値により画定されている第１指定領域（一点鎖線で囲まれている）Ｓ1＝［ρ1，ρ2］と、θの値により画定されている第２指定領域（二点鎖線により囲まれている）Ｓ2＝［θ1，θ2］との重なり領域（斜線が付されている）Ｓ1∩Ｓ2が定義されている。図６（ｃ）および図７（ｃ）のそれぞれにおいて後述する第１指定領域Ｓ1および第２指定領域Ｓ2から外れた領域において投票値が高い一対の箇所があるが、これは主に一対のレーンマークまたは轍などのエッジがハフ変換された結果を表わしている。なお、第１指定領域Ｓ1または第２指定領域Ｓ2が単独で指定領域Ｓとして定義されてもよい。また、指定領域Ｓの形状としては矩形状ではなく円形状、楕円形状、三角形状または台形状など、さまざまな形状が採用されてもよい。
【００２９】
指定領域Ｓの境界値は、積雪状態の道路についてはこの指定領域Ｓにおける指定投票値が閾値以上となる一方、無積雪状態の道路についてこの指定領域Ｓにおける指定投票値の投票数が閾値未満となるように設定されている。
【００３０】
具体的には、積雪がない状態の道路については図６（ｃ）に示されているように第１指定領域Ｓ1において投票値が高い箇所が比較的少なくなる一方、積雪がある状態の道路については図７（ｃ）に示されているように第１指定領域Ｓ1において投票値が高い箇所が比較的多くなるように第１指定領域Ｓ1の下限値ρ1および上限値ρ2が設定されている。すなわち、前記のように主に一対のレーンマークまたは轍などのエッジがハフ変換された結果を表わしている投票値が高い一対の箇所が包含されないように第１指定領域Ｓ1の下限値ρ1および上限値ρ2が設定されている（たとえばρ1＝０，ρ2＝０．３ρmax）。ρ−θ空間における第１指定領域Ｓ1は、図６（ａ）および図７（ａ）のそれぞれに示されているカメラ１２の撮像画像における半円形状の第１指定画像領域Ｑ1を通過する直線（線分）に相当し、ひいては、第１指定画像領域Ｑ1に相当する実空間領域（車両１の前側近傍領域）に相当している。
【００３１】
同様に、積雪がない状態の道路については図６（ｃ）に示されているように第２指定領域Ｓ2において投票値が高い箇所が比較的少なくなる一方、積雪がある状態の道路については図７（ｃ）に示されているように第２指定領域Ｓ2において投票値が高い箇所が比較的多くなるように第２指定領域Ｓ2の境界値θ1およびθ2が設定されている（たとえばθ1＝π／６，θ2＝５π／６）。すなわち、前記のように主に一対のレーンマークまたは轍などのエッジがハフ変換された結果を表わしている投票値が高い一対の箇所が包含されないように第２指定領域Ｓ2の境界値θ1およびθ2が設定されている。ρ−θ空間における第２指定領域Ｓ2は図６（ａ）および図７（ａ）のそれぞれに示されているカメラ１２の撮像画像における三角形状の第２指定画像領域Ｑ2を通過する直線（線分）に相当しており、ひいては、第２指定画像領域Ｑ2に相当する実空間領域（左右一対のレーンマークが存在すると仮定した場合、当該一対のレーンマークの間に大部分が含まれる領域）に相当している。
【００３２】
このため、積雪がある状態の道路では、図８に示されている閾値ラインよりも高投票値かつ多投票数側の第１投票領域Ｕ1に一部または全部が包含されるように、投票値と投票数との関係を表わす曲線が描かれる。その一方、積雪がない状態の道路では、図８に示されている閾値ラインよりも高投票値かつ多投票数側の第２投票領域Ｕ2に一部または全部が包含されるように、投票値と投票数との関係を表わす曲線が描かれる。
【００３３】
さらに、第２処理要素１２０により、指定投票値の投票数が閾値以下であるか否かを認識することにより、車両１が走行中の道路における積雪の有無が認識される（図３／Ｓ０１４）。たとえば、図８に示されている指定投票値における投票数Ｎ1が閾値Ｎth以上である場合には積雪があると認識される一方、投票数Ｎ2が閾値Ｎth未満である場合には積雪がないと認識される。なお、１つの指定投票値の投票数が閾値以上であるか否かに応じてではなく、複数の指定投票値のうちそれぞれの投票数が閾値以上であるか否かに応じて積雪の有無が認識されてもよい。
【００３４】
そして、道路において積雪がないと認識された場合（図３／Ｓ０１４‥ＹＥＳ）、エッジ抽出処理の実行結果等に基づき、車線（白線もしくは黄線など）または道路鋲（ボッツドッツ）等のレーンマークが探索される（図３／Ｓ０１６）。なお、レーンマークの探索方法としては、特開２００６−３０９６０５号公報、特開２００６−３３１１９３号公報、特開２００７−０１８１５４号公報または特開２００７−０２６１０６号公報等に開示されている方法が採用されうる。さらに、当該レーンマークの探索結果に基づき、一対のレーンマークにより左右が画定された走行領域の設定可否が判定される（図３／Ｓ０１８）。走行領域が設定可能であると判定された場合（図３／Ｓ０１８‥ＹＥＳ）、操舵装置１４および制動装置１６のうち一方または両方の動作が制御されることにより、車両１がこの走行領域から逸脱しないように車両１の走行を支援する走行支援制御が実行される（図３／Ｓ０２０）。その一方、道路において積雪があると認識された場合（図３／Ｓ０１４‥ＮＯ）、または、レーンマークの探索失敗等のために走行領域が設定不可能であると判定された場合（図３／Ｓ０１８‥ＮＯ）、走行領域の設定および走行支援制御が省略される。
【００３５】
前記機能を発揮する車両走行支援装置１０によれば、カメラ（撮像装置）１２を通じて得られた画像において、実空間における車両１の第１予測走行領域を表わす指定画像領域の横方向の濃淡変化態様が認識される。具体的には、ディジタル画像に皇族フーリエ変換処理が実行されることにより、指定画像領域の横方向の濃淡変化態様を表す周波数スペクトルが生成される（図３／Ｓ００４，図４（ｂ）および図５（ｂ）参照）。図４（ａ）に示されているように車両１が走行している道路に複数の並列する人工溝Ｇが設けられている場合、指定画像領域ＱＡにはその横方向に特徴的な濃淡変化態様が、図４（ｂ）に示されているように周波数スペクトルにおける指定周波数範囲に含まれる強度が閾値以上のピークとして現われる。したがって、この濃淡変化態様に基づき、第１予測走行領域における複数の並列する人工溝の有無が高精度で認識されうる。さらに、道路に複数の並列する人工溝が存在しないと認識されたことを要件として、エッジ抽出処理およびハフ変換処理の実行結果に基づいて道路の状態が認識される（図３／Ｓ０１０‥ＹＥＳ，Ｓ０１４参照）。これにより、複数の並列する人工溝が存在するために道路の状態が誤認識される事態が回避される。
【００３６】
さらに、カメラ（撮像装置）１２を通じて得られた画像においてエッジが抽出または顕在化されることによりエッジ画像が生成される（図３／Ｓ００６，図６（ｂ）および図７（ｂ）参照）。また、エッジ画像がハフ変換されることにより、ρ−θ空間（ハフ空間）の任意の点において直線成分の投票値が評価される（図３／Ｓ００６，図６（ｃ）および図７（ｃ）参照）。そして、ρ−θ空間の指定領域Ｓ（図６（ｃ）参照）における指定投票値の投票数が閾値以上であるか否かが認識されることにより、車両１が走行中の道路における積雪の有無が認識される（図３／Ｓ０１４，図８参照）。これは、ρ−θ空間の指定領域Ｓは、車両１の左側および右側のそれぞれにある一対のレーンマーク等により画定される第２予測走行領域に相当しているので、第２予測走行領域における積雪の有無に応じて、指定領域における指定投票値の投票数が顕著に相違するからである。具体的には、前記のようにρ−θ空間における第１指定領域Ｓ1は、図６（ａ）に示されているカメラ１２の撮像画像における半円形状の第１指定画像領域Ｑ1を通過する直線（線分）に相当し、ひいては、第１指定画像領域Ｑ1に相当する実空間領域に相当している。また、ρ−θ空間における第２指定領域Ｓ2は、図６（ａ）に示されているカメラ１２の撮像画像における三角形状の第２指定画像領域Ｑ2を通過する直線（線分）に相当し、ひいては、第２指定画像領域Ｑ2に相当する実空間領域に相当している。したがって、カメラ１２による同一位置からの撮像履歴の有無にかかわらず、積雪の有無を判定する際の特徴は図６（ｃ）の指定領域Ｓの投票値に表われ、車両１が走行中の道路における積雪の有無を高精度で認識することができる。
【００３７】
また、道路に複数の並列する人口溝が存在する場合、この道路における積雪の有無は認識されない（図３／Ｓ０１０‥ＮＯ参照）。したがって、道路に積雪がないにもかかわらず、この道路に複数の並列する人口溝があるためにハフ空間において直線成分の指定投票値に対する投票数が閾値以上となって、道路に積雪があると誤認識される事態が回避されうる。
【００３８】
前記実施形態では指定画像領域の横方向の濃淡変化態様が高速フーリエ変換処理により生成された周波数スペクトルとして認識されたが、他の実施形態としてエッジ抽出処理によりエッジ（たとえば画像横方向について輝度が低くなる負エッジ）が抽出され、指定画像領域の横方向の濃淡変化態様が当該エッジの画像横方向の出現周期として認識されてもよい。そして、エッジの画像横方向の出現頻度が一定値以上であり、かつ、出現周期が指定範囲に包含されるか否かに応じて人口溝の有無が認識されてもよい。
【００３９】
また、前記実施形態では道路における積雪の有無が道路の状態として認識されたが（図３／Ｓ０１４，図６および図７参照）、他の実施形態として路面にできた細かなひび割れの有無、道路における散乱物の有無等が道路の状態として認識されてもよい。
【図面の簡単な説明】
【００４０】
【図１】本発明の車両の構成説明図
【図２】本発明の車両走行支援装置の構成説明図
【図３】本発明の車両走行支援装置の機能を示すフローチャート
【図４】フーリエ変換処理によるスペクトル生成方法に関する説明図
【図５】フーリエ変換処理によるスペクトル生成方法に関する説明図
【図６】無積雪時のエッジ抽出処理およびハフ変換処理に関する説明図
【図７】積雪時のエッジ抽出処理およびハフ変換処理に関する説明図
【図８】直線成分の投票値および投票数の関係に関する説明図
【符号の説明】
【００４１】
１‥車両、１０‥車両走行支援装置、１２‥カメラ（撮像装置）、１１０‥第１処理要素、１２０‥第２処理要素
【特許請求の範囲】
【請求項１】
車両に搭載されている撮像装置を通じて得られた前記車両の進行方向の状況を表わす画像に基づき、前記車両の走行環境を認識する車両走行支援装置であって、
前記画像において実空間における前記車両の標準走行領域を表わす指定画像領域における横方向の濃淡変化態様に基づき、前記標準走行領域における複数の並列する人工溝の有無を認識する第１処理要素と、
前記画像においてエッジを顕在化するエッジ抽出処理を実行することによりエッジ画像を生成し、前記エッジ画像に対してハフ変換処理を実行し、前記ハフ変換処理の実行結果に基づき、前記車両が走行中の道路の状態を認識する第２処理要素とを備え、
前記第２処理要素が、前記第１処理要素により前記複数の人工溝がないと認識されたことを要件として前記道路の状態を認識することを特徴とする車両走行支援装置。
【請求項２】
請求項１記載の車両走行支援装置において、
前記第１処理要素が、前記画像に対して前記指定画像領域の横方向の濃淡変化態様を表わす周波数スペクトルを生成するためにフーリエ変換処理を実行し、前記周波数スペクトルにおいて実空間における前記複数の人口溝の間隔に相当する指定周波数範囲に含まれる、強度が閾値以上のピークの有無に応じて、前記標準走行領域における複数の並列する人工溝の有無を認識することを特徴とする車両走行支援装置。
【請求項３】
請求項１または２記載の車両走行支援装置において、
前記第２処理要素が、ρ−θ空間において前記標準走行領域を表わす指定領域における直線成分の指定投票値に対する投票数を評価し、前記投票数が閾値以上であることを要件として、前記車両が走行中の道路における積雪の有無を認識することを特徴とする車両走行支援装置。
【請求項４】
撮像装置と、請求項１記載の車両走行支援装置とを備えていることを特徴とする車両。
【請求項５】
車両に搭載されているコンピュータを請求項１記載の車両走行支援装置として機能させることを特徴とする車両走行支援プログラム。
【請求項１】
車両に搭載されている撮像装置を通じて得られた前記車両の進行方向の状況を表わす画像に基づき、前記車両の走行環境を認識する車両走行支援装置であって、
前記画像において実空間における前記車両の標準走行領域を表わす指定画像領域における横方向の濃淡変化態様に基づき、前記標準走行領域における複数の並列する人工溝の有無を認識する第１処理要素と、
前記画像においてエッジを顕在化するエッジ抽出処理を実行することによりエッジ画像を生成し、前記エッジ画像に対してハフ変換処理を実行し、前記ハフ変換処理の実行結果に基づき、前記車両が走行中の道路の状態を認識する第２処理要素とを備え、
前記第２処理要素が、前記第１処理要素により前記複数の人工溝がないと認識されたことを要件として前記道路の状態を認識することを特徴とする車両走行支援装置。
【請求項２】
請求項１記載の車両走行支援装置において、
前記第１処理要素が、前記画像に対して前記指定画像領域の横方向の濃淡変化態様を表わす周波数スペクトルを生成するためにフーリエ変換処理を実行し、前記周波数スペクトルにおいて実空間における前記複数の人口溝の間隔に相当する指定周波数範囲に含まれる、強度が閾値以上のピークの有無に応じて、前記標準走行領域における複数の並列する人工溝の有無を認識することを特徴とする車両走行支援装置。
【請求項３】
請求項１または２記載の車両走行支援装置において、
前記第２処理要素が、ρ−θ空間において前記標準走行領域を表わす指定領域における直線成分の指定投票値に対する投票数を評価し、前記投票数が閾値以上であることを要件として、前記車両が走行中の道路における積雪の有無を認識することを特徴とする車両走行支援装置。
【請求項４】
撮像装置と、請求項１記載の車両走行支援装置とを備えていることを特徴とする車両。
【請求項５】
車両に搭載されているコンピュータを請求項１記載の車両走行支援装置として機能させることを特徴とする車両走行支援プログラム。
【図１】
【図２】
【図３】
【図８】
【図４】
【図５】
【図６】
【図７】
【図２】
【図３】
【図８】
【図４】
【図５】
【図６】
【図７】
【公開番号】特開２００９−２３０３７２（Ｐ２００９−２３０３７２Ａ）
【公開日】平成２１年１０月８日（２００９．１０．８）
【国際特許分類】
【出願番号】特願２００８−７３８４３（Ｐ２００８−７３８４３）
【出願日】平成２０年３月２１日（２００８．３．２１）
【出願人】（０００００５３２６）本田技研工業株式会社 (23,863)
【Ｆターム（参考）】
【公開日】平成２１年１０月８日（２００９．１０．８）
【国際特許分類】
【出願日】平成２０年３月２１日（２００８．３．２１）
【出願人】（０００００５３２６）本田技研工業株式会社 (23,863)
【Ｆターム（参考）】
[ Back to top ]