環境認識装置および環境認識方法
【課題】曲線を描いたり、それ自体が傾斜したりする対象物の特定効率および特定精度の向上を図る。
【解決手段】環境認識装置１３０は、検出領域内を分割した複数のブロック毎の輝度を取得し、ブロック毎の輝度のエッジが伸長する方向に基づくエッジ方向を導出し、エッジ方向に基づいてブロック同士を関連付け、エッジ軌跡を生成し、複数のエッジ軌跡により囲まれる領域をグループ化して対象物とし、対象物を特定物として決定する。
【解決手段】環境認識装置１３０は、検出領域内を分割した複数のブロック毎の輝度を取得し、ブロック毎の輝度のエッジが伸長する方向に基づくエッジ方向を導出し、エッジ方向に基づいてブロック同士を関連付け、エッジ軌跡を生成し、複数のエッジ軌跡により囲まれる領域をグループ化して対象物とし、対象物を特定物として決定する。
【発明の詳細な説明】
【技術分野】
【０００１】
本発明は、検出領域における対象物の輝度に基づいて、その対象物を認識する環境認識装置および環境認識方法に関する。
【背景技術】
【０００２】
従来、自車両の前方に位置する車両や信号機等の障害物といった対象物を検出し、検出した対象物との衝突を回避したり、先行車両との車間距離を安全な距離に保つように制御する技術が知られている（例えば、特許文献１、２）。
【０００３】
また、このような技術では、対象物を一律に物として特定するのみならず、さらに高精度な制御を行うため、対象物が自車両と同速度で走行している先行車両であるのか、移動を伴わない固定された物であるのか等を判定する技術も存在する。ここで、対象物を、検出領域の撮像を通じて検出する場合、対象物が何であるかを特定する前に、撮像された画像から対象物自体を抽出（切り出し）しなければならない。
【０００４】
例えば、撮像された画像から、隣接する画素間の微分値によってエッジを有する画素（エッジ画素）を抽出し、画像の水平方向および垂直方向におけるエッジ画素のヒストグラム（距離分布）を導出して、そのピークに相当する領域を対象物の端部と推定する技術が知られている。また、ヒストグラムに基づく融合パターンが、予め格納されている辞書パターンと比較され、対象物が車両であるか否か判定する技術も開示されている（例えば、特許文献３）。
【先行技術文献】
【特許文献】
【０００５】
【特許文献１】特許第３３４９０６０号
【特許文献２】特開平１０−２８３４６１号公報
【特許文献３】特開２００３−９９７６２号公報
【発明の概要】
【発明が解決しようとする課題】
【０００６】
しかし、従来の水平方向および垂直方向のヒストグラムを導出する方法では、自車両の進行方向を軸にして道路面が左右に傾斜していると、先行車両が相対的に傾いて撮像され、そのエッジも厳密に水平方向や垂直方向に延伸しなくなる。したがって、水平方向や垂直方向のヒストグラムにおけるピークがなくなり車両の検出精度が低下する。また、比較的曲面が多い車両についても、同様に、水平方向や垂直方向のヒストグラムのピークが出現し難く、車両が特定し辛いといった問題があった。
【０００７】
本発明は、このような課題に鑑み、曲線を描いたり、それ自体が傾斜したりする対象物の特定効率および特定精度の向上を図ることが可能な、環境認識装置および環境認識方法を提供することを目的としている。
【課題を解決するための手段】
【０００８】
上記課題を解決するために、本発明の環境認識装置は、検出領域内を分割した複数のブロック毎の輝度を取得する輝度取得部と、ブロック毎の輝度のエッジが伸長する方向に基づくエッジ方向を導出するエッジ導出部と、エッジ方向に基づいてブロック同士を関連付け、エッジ軌跡を生成する軌跡生成部と、複数のエッジ軌跡により囲まれる領域をグループ化して対象物とするグループ化部と、対象物を特定物として決定する特定物決定部と、を備えることを特徴とする。
【０００９】
エッジ導出部は、ブロックを垂直方向に対して２分割した左右それぞれの領域における輝度の合計値の差分と、ブロックを水平方向に対して２分割した上下それぞれの領域における輝度の合計値の差分とに基づいてエッジ方向を導出してもよい。
【００１０】
エッジ導出部は、合計値の差分の絶対値が所定の閾値以下であれば、その方向に関して合計値の差分を用いずにエッジ方向を導出してもよい。
【００１１】
所定の閾値は、ブロック内の全輝度の平均値に応じた漸増関数で求められる。
【００１２】
軌跡生成部は、任意のブロックに隣接する複数のブロックのエッジ方向に基づいて任意のブロックのエッジ方向を補間してもよい。
【００１３】
輝度取得部による輝度を取得する領域を、無限遠を含む、検出領域より小さい領域に制限する領域制限部をさらに備えてもよい。
【００１４】
上記課題を解決するために、本発明の環境認識方法は、検出領域内を分割した複数のブロック毎の輝度を取得し、ブロック毎の輝度のエッジが伸長する方向に基づくエッジ方向を導出し、エッジ方向に基づいてブロック同士を関連付け、エッジ軌跡を生成し、複数のエッジ軌跡により囲まれる領域をグループ化して対象物とし、対象物を特定物として決定することを特徴とする。
【発明の効果】
【００１５】
本発明によれば、エッジの方向を通じて対象物を特定することで、曲線を描いたり、それ自体が傾斜したりする対象物の特定効率および特定精度の向上を図ることが可能となる。
【図面の簡単な説明】
【００１６】
【図１】環境認識システムの接続関係を示したブロック図である。
【図２】輝度画像を説明するための説明図である。
【図３】環境認識装置の概略的な機能を示した機能ブロック図である。
【図４】位置情報取得部による三次元の位置情報への変換を説明するための説明図である。
【図５】領域制限部の動作を説明するための説明図である。
【図６】本実施形態に用いる輝度画像を説明するための説明図である。
【図７】エッジ導出部の動作を説明するための説明図である。
【図８】エッジ導出部によってエッジ方向が導出された場合のイメージを示すイメージ図である。
【図９】軌跡生成部の動作を説明するための説明図である。
【図１０】軌跡生成部による補間動作を説明するための説明図である。
【図１１】グループ化部の動作を説明するための説明図である。
【図１２】環境認識方法の全体的な流れを示したフローチャートである。
【図１３】エッジ方向導出処理の流れを示したフローチャートである。
【図１４】エッジ軌跡生成処理の流れを示したフローチャートである。
【図１５】エッジ軌跡補間処理の流れを示したフローチャートである。
【図１６】グループ化処理の流れを示したフローチャートである。
【図１７】特定物決定処理の流れを示したフローチャートである。
【発明を実施するための形態】
【００１７】
以下に添付図面を参照しながら、本発明の好適な実施形態について詳細に説明する。かかる実施形態に示す寸法、材料、その他具体的な数値などは、発明の理解を容易とするための例示にすぎず、特に断る場合を除き、本発明を限定するものではない。なお、本明細書及び図面において、実質的に同一の機能、構成を有する要素については、同一の符号を付することにより重複説明を省略し、また本発明に直接関係のない要素は図示を省略する。
【００１８】
（環境認識システム１００）
図１は、環境認識システム１００の接続関係を示したブロック図である。環境認識システム１００は、車両１内に設けられた、撮像装置１１０と、画像処理装置１２０と、環境認識装置１３０と、車両制御装置１４０とを含んで構成される。
【００１９】
撮像装置１１０は、ＣＣＤ（Charge-Coupled Device）やＣＭＯＳ（Complementary Metal-Oxide Semiconductor）等の撮像素子を含んで構成され、カラー画像、即ち、画素単位で３つの色相（赤、緑、青）の輝度を取得することができる。ここでは、撮像装置１１０で撮像されたカラーの画像を輝度画像と呼び、後述する距離画像と区別する。また、撮像装置１１０は、車両１の進行方向側において２つの撮像装置１１０それぞれの光軸が略平行になるように、略水平方向に離隔して配置される。撮像装置１１０は、車両１の前方の検出領域に存在する対象物を撮像した画像データを、例えば１／６０秒毎（６０ｆｐｓ）に連続して生成する。ここで、対象物は、車両、信号機、道路、ガードレールといった独立して存在する立体物のみならず、テールランプやウィンカー、信号機の各点灯部分等、立体物の部分として特定できる物も含む。以下の実施形態における各機能部は、このような画像データの更新を契機として各処理を遂行する。
【００２０】
画像処理装置１２０は、２つの撮像装置１１０それぞれから画像データを取得し、２つの画像データに基づいて、画像中の任意のブロック（所定数の画素を集めたもの）の視差、および、任意のブロックの画面中の位置を示す画面位置を含む視差情報を導出する。画像処理装置１２０は、一方の画像データから任意に抽出したブロック（例えば水平４画素×垂直４画素の配列）に対応するブロックを他方の画像データから検索する、所謂パターンマッチングを用いて視差を導き出す。ここで、水平は、撮像した画像の画面横方向を示し、実空間上の水平に相当する。また、垂直は、撮像した画像の画面縦方向を示し、実空間上の鉛直方向に相当する。
【００２１】
このパターンマッチングとしては、２つの画像データ間において、任意の画像位置を示すブロック単位で輝度値（Ｙ色差信号）を比較することが考えられる。例えば、輝度値の差分をとるＳＡＤ（Sum of Absolute Difference）、差分を２乗して用いるＳＳＤ（Sum of Squared intensity Difference）や、各画素の輝度値から平均値を引いた分散値の類似度をとるＮＣＣ（Normalized Cross Correlation）等の手法がある。画像処理装置１２０は、このようなブロック単位の視差導出処理を検出領域（例えば６００画素×２００画素）に映し出されている全てのブロックについて行う。ここでは、ブロックを４画素×４画素としているが、ブロック内の画素数は任意に設定することができる。
【００２２】
ただし、画像処理装置１２０では、検出分解能単位であるブロック毎に視差を導出することはできるが、そのブロックがどのような対象物の一部であるかを認識できない。したがって、視差情報は、対象物単位ではなく、検出領域における検出分解能単位（例えばブロック単位）で独立して導出されることとなる。ここでは、このようにして導出された視差情報（後述する相対距離に相当）を画像データに対応付けた画像を距離画像という。
【００２３】
図２は、輝度画像１２４と距離画像１２６を説明するための説明図である。例えば、２つの撮像装置１１０を通じ、検出領域１２２について図２（ａ）のような輝度画像（画像データ）１２４が生成されたとする。ただし、ここでは、理解を容易にするため、２つの輝度画像１２４の一方のみを模式的に示している。画像処理装置１２０は、このような輝度画像１２４からブロック毎の視差を求め、図２（ｂ）のような距離画像１２６を形成する。距離画像１２６における各ブロックには、そのブロックの視差が関連付けられている。ここでは、説明の便宜上、視差が導出されたブロックを黒のドットで表している。
【００２４】
視差は、画像のエッジ部分（隣り合う画素間で明暗の差分が大きい部分）で特定され易いので、距離画像１２６において黒のドットが付されている、視差が導出されたブロックは、輝度画像１２４においてもエッジとなっていることが多い。したがって、図２（ａ）に示す輝度画像１２４と図２（ｂ）に示す距離画像１２６とは各対象物の輪郭について似たものとなる。
【００２５】
環境認識装置１３０は、画像処理装置１２０から輝度画像１２４を取得し、輝度画像１２４における輝度のエッジに基づいて検出領域１２２における対象物を抽出し、その対象物がいずれの特定物に当たるか特定する。また、環境認識装置１３０は、画像処理装置１２０から距離画像１２６を取得し、距離画像１２６における、検出領域１２２内のブロック毎の視差情報を、所謂ステレオ法を用いて、相対距離を含む三次元の位置情報に変換する。ここで、ステレオ法は、三角測量法を用いることで、対象物の視差からその対象物の撮像装置１１０に対する相対距離を導出する方法である。かかる環境認識装置１３０に関しては、後ほど詳述する。
【００２６】
車両制御装置１４０は、環境認識装置１３０で特定された対象物との衝突を回避したり、先行車両との車間距離を安全な距離に保つ制御を実行する。具体的に、車両制御装置１４０は、操舵の角度を検出する舵角センサ１４２や車両１の速度を検出する車速センサ１４４等を通じて現在の車両１の走行状態を取得し、アクチュエータ１４６を制御して先行車両との車間距離を安全な距離に保つ。ここで、アクチュエータ１４６は、ブレーキ、スロットルバルブ、舵角等を制御するために用いられる車両制御用のアクチュエータである。また、車両制御装置１４０は、対象物との衝突が想定される場合、運転者の前方に設置されたディスプレイ１４８にその旨警告表示（報知）を行うと共に、アクチュエータ１４６を制御して車両１を自動的に制動する。かかる車両制御装置１４０は、環境認識装置１３０と一体的に形成することもできる。
【００２７】
（環境認識装置１３０）
図３は、環境認識装置１３０の概略的な機能を示した機能ブロック図である。図３に示すように、環境認識装置１３０は、Ｉ／Ｆ部１５０と、データ保持部１５２と、中央制御部１５４とを含んで構成される。
【００２８】
Ｉ／Ｆ部１５０は、画像処理装置１２０や車両制御装置１４０との双方向の情報交換を行うためのインターフェースである。データ保持部１５２は、ＲＡＭ、フラッシュメモリ、ＨＤＤ等で構成され、パターンマッチングに用いられる複数の外観パターンや、以下に示す各機能部の処理に必要な様々な情報を保持し、また、画像処理装置１２０から受信した輝度画像１２４を一時的に保持する。
【００２９】
中央制御部１５４は、中央処理装置（ＣＰＵ）、プログラム等が格納されたＲＯＭ、ワークエリアとしてのＲＡＭ等を含む半導体集積回路で構成され、システムバス１５６を通じて、Ｉ／Ｆ部１５０やデータ保持部１５２を制御する。また、本実施形態において、中央制御部１５４は、位置情報取得部１５８、領域制限部１６０、輝度取得部１６２、エッジ導出部１６４、軌跡生成部１６６、グループ化部１６８、特定物決定部１７０としても機能する。
【００３０】
位置情報取得部１５８は、距離画像１２６における検出領域１２２内のブロック毎の視差情報を、ステレオ法を用いて、水平距離ｘ、高さｙおよび相対距離ｚを含む三次元の位置情報に変換する。ここで、視差情報が、距離画像１２６における各対象部位の視差を示すのに対し、三次元の位置情報は、実空間における各対象部位の相対距離の情報を示す。また、視差情報が画素単位ではなくブロック単位、即ち複数の画素単位で導出されている場合、その視差情報はブロックに属する全ての画素の視差情報とみなして、画素単位の計算を実行することができる。
【００３１】
図４は、位置情報取得部１５８による三次元の位置情報への変換を説明するための説明図である。位置情報取得部１５８は、まず、距離画像１２６を図４の如く画素単位の座標系として認識する。ここでは、図４中、左下隅を原点（０，０）とし、横方向をｉ座標軸、縦方向をｊ座標軸とする。したがって、視差ｄｐを有する画素は、画素位置ｉ、ｊと視差ｄｐによって（ｉ，ｊ，ｄｐ）のように表すことができる。
【００３２】
本実施形態における実空間上の三次元座標系を、車両１を中心とした相対座標系で考える。ここでは、車両１の進行方向右側方をＸ軸の正方向、車両１の上方をＹ軸の正方向、車両１の進行方向（前方）をＺ軸の正方向、２つの撮像装置１１０の中央を通る鉛直線と道路表面との交点を原点（０，０，０）とする。このとき、道路を平面と仮定すると、道路表面がＸ−Ｚ平面（ｙ＝０）と一致することとなる。位置情報取得部１５８は、以下の（数式１）〜（数式３）によって距離画像１２６上のブロック（ｉ，ｊ，ｄｐ）を、実空間上の三次元の点（ｘ，ｙ，ｚ）に座標変換する。
ｘ＝ＣＤ／２＋ｚ・ＰＷ・（ｉ−ＩＶ） …（数式１）
ｙ＝ＣＨ＋ｚ・ＰＷ・（ｊ−ＪＶ） …（数式２）
ｚ＝ＫＳ／ｄｐ …（数式３）
ここで、ＣＤは撮像装置１１０同士の間隔（基線長）であり、ＰＷは１画素当たりの視野角であり、ＣＨは撮像装置１１０の道路表面からの配置高さであり、ＩＶ、ＪＶは車両１の真正面における無限遠点の画像上の座標（画素）であり、ＫＳは距離係数（ＫＳ＝ＣＤ／ＰＷ）である。
【００３３】
したがって、位置情報取得部１５８は、対象部位の相対距離と、対象部位と同相対距離にある道路表面上の点と対象部位との距離画像１２６上の検出距離とに基づいて、道路表面からの高さを導出していることとなる。
【００３４】
領域制限部１６０は、後述する輝度取得部１６２が輝度を取得する領域を、無限遠を含む、検出領域１２２より小さい領域に制限する。
【００３５】
図５は、領域制限部１６０の動作を説明するための説明図である。領域制限部１６０は、図５（ａ）に示すように、位置情報取得部１５８が取得した先行車両２１０との相対距離が短い場合、そのような先行車両２１０を適切に抽出すべく、輝度を取得する領域２１２ａを広く設定する。また、領域制限部１６０は、図５（ｂ）に示すように、先行車両２１０の相対距離が長い場合、そのような先行車両２１０さえ抽出すればよいので、輝度を取得する領域２１２ｂを小さく設定する。いずれの領域２１２（２１２ａ、２１２ｂ）も無限遠２１４を含んでおり、先行車両２１０の相対距離に応じて、相対距離が短いほど放射状に広がるように領域２１２が決定される。このように、先行車両２１０の相対距離に応じて、輝度を取得する領域２１２を変更することで、無駄な輝度の取得を回避し、計算負荷の軽減を図ることができる。
【００３６】
輝度取得部１６２は、受信した輝度画像１２４のうち、領域制限部１６０によって制限された領域２１２から、ブロック（ここでは例えば２×２画素とする。）単位で輝度（画素単位で３つの色相（赤、緑、青）の輝度）を取得する。このとき、検出領域が例えば雨天や曇天であった場合、輝度取得部１６２は、ホワイトバランスを調整してから輝度を取得してもよい。
【００３７】
本実施形態では、輝度取得部１６２が取得した輝度のエッジを有効利用し、対象物を抽出する。これは、図６（ａ）のように、自車両１の進行方向を軸にして道路面が左右に傾斜し、先行車両２１０等が相対的に傾いて撮像されて、そのエッジも水平方向や垂直方向に延伸しなくなった場合であっても、対象物の特定精度を維持するためである。以下の実施形態では、説明の便宜のため、図６（ａ）における制限された領域２１２中の先行車両２１０の外形を簡略化した図６（ｂ）を用いる。
【００３８】
エッジ導出部１６４は、ブロック毎の輝度のエッジが伸長する方向に基づくエッジ方向を導出する。具体的に、エッジ導出部１６４は、ブロック（ここでは２×２画素）を垂直方向に対して２分割した左右それぞれの領域における輝度の合計値の差分（以下、単に水平方向成分という。）と、ブロックを水平方向に対して２分割した上下それぞれの領域における輝度の合計値の差分（以下、単に垂直方向成分という。）とに基づいてエッジ方向を導出する。
【００３９】
図７は、エッジ導出部１６４の動作を説明するための説明図である。図７（ａ）は図６（ｂ）と等しい制限された領域２１２中の簡略化した先行車両２１０を示す。そして、その領域２１２中の任意のブロック２２０ａを拡大すると、図７（ｂ）のような輝度分布になり、他の任意のブロック２２０ｂを拡大すると、図７（ｃ）のような輝度分布になっていたとする。また、輝度の範囲を０〜２５５とし、図７（ｂ）中、仮に、白色の塗りつぶしを輝度「２００」、黒色の塗りつぶしを輝度「０」とする。ここでは、仮に、ブロックの図中左上画素の輝度をＡ、右上画素の輝度をＢ、左下画素の輝度をＣ、右下画素の輝度をＤとし、エッジ方向の水平方向成分を（Ａ＋Ｂ）−（Ｃ＋Ｄ）、エッジ方向の垂直方向成分を（Ａ＋Ｃ）−（Ｂ＋Ｄ）と定義する。
【００４０】
すると、図７（ｂ）に示すブロック２２０ａのエッジ方向の水平方向成分は、（Ａ＋Ｂ）−（Ｃ＋Ｄ）＝（２００＋０）―（２００＋０）＝０となり、エッジ方向の垂直方向成分は、（Ａ＋Ｃ）−（Ｂ＋Ｄ）＝（２００＋２００）−（０＋０）＝＋４００となる。したがって、水平方向成分「０」、垂直方向成分「＋４００」となり、エッジ方向は、図７（ｄ）の如く垂直方向上向きの矢印で示される。ただし、図７（ｆ）のように、水平成分は画面右方向を正、垂直成分は画面上方向を正としている。
【００４１】
同様に、図７（ｃ）に示すブロック２２０ｂのエッジ方向の水平方向成分は、（Ａ＋Ｂ）−（Ｃ＋Ｄ）＝（０＋０）―（２００＋２００）＝−４００となり、エッジ方向の垂直方向成分は、（Ａ＋Ｃ）−（Ｂ＋Ｄ）＝（０＋２００）−（０＋２００）＝０となる。したがって、水平方向成分「−４００」、垂直方向成分「０」となり、エッジ方向は、図７（ｅ）の如く画面右向きの水平方向左向きの矢印で示される。
【００４２】
このように、ブロック内の半分の領域から他の半分の領域を減算する構成により、ブロック内全体に含まれる輝度のオフセットやノイズを取り除くことができ、エッジを適切に抽出することが可能となる。また、加減算のみの単純計算でエッジ方向を導出できるので、計算負荷が軽い。
【００４３】
本実施形態では、このように導出されたエッジ方向の隣接するブロック同士の同一性を判定して、そのブロック同士を関連付けることを目的としている。しかし、上記水平方向成分や垂直方向成分を導出した値をそのまま用いて単純にエッジ方向としてしまうと、そのエッジ方向のバリエーションが無限に存在することとなる。そうすると、その無限のバリエーションに対して同一とみなしてよいエッジ方向の範囲を設定しなければならない。そこで、本実施形態では、水平方向成分および垂直方向成分のいずれも単位長さで定義し、エッジ方向のバリエーションを単純化する。即ち、水平方向成分および垂直方向成分のいずれも−１、０、＋１のいずれかとみなすこととする。そうすると、エッジ方向は、図７（ｇ）のようにそれぞれ４５度ずつの角度をなす８つの方向と、水平方向成分および垂直方向成分がいずれも０となる方向無しの９つの状態に限定することができる。こうすることで、以下に示す軌跡生成部１６６の計算負荷を大幅に軽減することが可能となる。
【００４４】
また、図７（ｇ）の各方向に付随する数値は、それぞれのエッジ方向に対する優先順位（昇順）を示し、１のブロック２２０に複数のエッジ方向が選択可能な場合にはその優先順位が高いエッジ方向をそのブロック２２０のエッジ方向とする。
【００４５】
また、このようにエッジ方向の導出を単純化すると、水平方向成分や垂直方向成分が０ではない全ての場合において、その成分は単位長を有することとなる。例えば、水平方向成分が輝度にして−１の場合と＋１の場合とでは、輝度の差が２しかないにも拘わらず、エッジ方向として正反対の結果が生じてしまう。
【００４６】
そこで、エッジ方向の導出の際、不感帯を設けることとし、エッジ導出部１６４は、水平方向成分や垂直方向成分の絶対値が所定の閾値（例えば２０）以下であれば、水平方向成分や垂直方向成分を０とみなしてエッジ方向を導出する。こうすることで、ノイズ的に生じた水平方向成分や垂直方向成分によりエッジ方向が不安定になるのを回避でき、後述する軌跡生成部１６６においても安定した結果を得ることが可能となる。
【００４７】
また、ここでは、所定の閾値として固定値を用いる例を示したが、所定の閾値を可変値とすることもできる。例えば、撮像装置１１０においては、輝度が高いほど、ノイズの量が増える特性を有する。したがって、所定の閾値は、ブロック内の輝度、例えば、ブロック内の全輝度の平均値に応じた漸増関数（例えば、輝度の平均値を引数とする一次関数）で求められることが望ましい。こうして、ブロック内の全体的な輝度の高低によるノイズ量の変動に拘わらず、ノイズによってエッジ方向が不安定になるのを回避できる。このとき、全体的な輝度が高い場合、所定の閾値も高くなるが、そもそも輝度が高い範囲では、水平方向成分や垂直方向成分も大きくなるので、エッジ方向の安定した導出に支障はない。
【００４８】
図８は、エッジ導出部１６４によってエッジ方向が導出された場合のイメージを示すイメージ図である。ここでは、図７（ａ）の先行車両２１０の外形に当たる部分にそれぞれの外形に沿ってエッジ方向（図８中矢印で示す）が導出される。ただし、理解を容易にするため、エッジ方向を抽象的に大きく表しているが、実際はブロック毎にエッジ方向が導出されている。
【００４９】
ここでは、外形の各辺に関して同一のエッジ方向が導出される例を示しているが、その撮像状況によっては、エッジが近接して二重に検出されたり、部分的にエッジが検出できない場合もある。エッジが近接して二重に検出された場合、上述した図７（ｇ）の優先順位に基づいて１のエッジ方向を決定する。また、部分的にエッジが検出できない場合、後述する軌跡生成部１６６によってそのブロックの補間が実行される。
【００５０】
軌跡生成部１６６は、エッジ導出部１６４によって導出されたエッジ方向に基づいてブロック同士を関連付け、エッジ軌跡を生成する。具体的に、軌跡生成部１６６は、隣接するブロック同士を比較して、同一のエッジ方向を有している場合、そのブロック同士を関連付ける。こうすることで、図９に示すように、先行車両２１０の外形を表すエッジ軌跡２２２が生成される。ここでは、水平方向や垂直方向におけるエッジ画素のヒストグラム（距離分布）を導出するのではなく、エッジ自体がどのような軌跡を形成しているかに着目しているので、エッジの延伸方向が水平方向や垂直方向に対して傾いていても、また、エッジが曲率を有していても、適切にその軌跡を導出することが可能となる。
【００５１】
ただし、本来、このようにエッジ軌跡２２２を生成すると、対象物の外形をほぼ再現できるのだが、実際には、太陽光や照明光といった環境光やフロントガラスの曇りや汚れによってエッジが部分的に異なったり欠落していたりする場合もある。そこで、軌跡生成部１６６は、任意のブロックに隣接する複数のブロックのエッジ方向に基づいて任意のブロックのエッジ方向を補間する。具体的に、軌跡生成部１６６は、任意のブロックに隣接する２つのエッジ軌跡２２２が同一のエッジ方向を有する場合、その任意のブロックのエッジ方向に、２つのエッジ軌跡２２２のエッジ方向を上書きし、任意のブロックを含めた１つの長いエッジ軌跡を生成する。
【００５２】
図１０は、軌跡生成部１６６による補間動作を説明するための説明図である。例えば、図１０（ａ）に示したように配列された複数のブロック２２０において、エッジ導出部１６４が図１０（ａ）に示したように、それぞれエッジ方向を導出したとする。また、ここでは、ブロック２２０ｄは、何らかの原因で他のブロック２２０ａ、２２０ｂ、２２０ｃ、２２０ｅ、２２０ｆとの連続性が保たれていない状態を示している。
【００５３】
図１０（ａ）において、ブロック２２０ａ、２２０ｂ、２２０ｃのエッジ方向が等しいので、軌跡生成部１６６は、図１０（ｂ）のように、その３つのブロック２２０ａ、２２０ｂ、２２０ｃを関連付けてエッジ軌跡２２２ａを生成する。また、ブロック２２０ｅ、２２０ｆものエッジ方向が等しいので、軌跡生成部１６６は、図１０（ｂ）のように、その２つのブロック２２０ｅ、２２０ｆを関連付けてエッジ軌跡２２２ｂを生成する。
【００５４】
続いて、軌跡生成部１６６は、エッジ軌跡２２２の対象とならなかったブロック２２０ｄに隣接するブロックを検索し、エッジ軌跡２２２が複数存在するか判定する。そして、エッジ軌跡が複数（例えば、エッジ軌跡２２２ａ、２２２ｂ）存在し、かつ、その複数のエッジ軌跡２２２が同一のエッジ方向（例えば、画面上方向）を有する場合、軌跡生成部１６６は、図１０（ｃ）のように、ブロック２２０ｄのエッジ方向もエッジ軌跡２２２ａ、２２２ｂと同一のエッジ方向に変更する。そして、軌跡生成部１６６は、ブロック２２０ｄを含んで、新たに一連のエッジ軌跡２２２ｃを生成する。
【００５５】
このとき、１のブロック２２０に対して２系統のエッジ軌跡（２系統のエッジ方向）が対応する場合、図７（ｇ）に示す優先順位に従って、１のエッジ方向を選ぶとしてもよい。２系統のエッジ軌跡が対応するとは、例えば、１のブロック２２０の上下のブロック２２０に同一のエッジ方向を有するエッジ軌跡２２２があり、同様に、左右のブロック２２０に上下とは異なる同一のエッジ方向を有するエッジ軌跡２２２がある場合をいう。
【００５６】
また、ここでは、エッジ方向のみを用いてエッジ方向の補間を行っているが、例えば、上述したブロック２２０における、水平方向成分や垂直方向成分に対応する輝度の合計値の差分値（エッジ強度）のパラメータを加味して、補間を実行するか否か判断してもよい。かかる構成により、エッジ方向のみならず、エッジ強度についてもブロックやエッジ方向の連続性を判断することができ、高精度な補間を実現することが可能となる。
【００５７】
グループ化部１６８は、複数のエッジ軌跡２２２により囲まれる領域をグループ化して対象物とする。
【００５８】
図１１は、グループ化部１６８の動作を説明するための説明図である。グループ化部１６８は、制限された領域２１２からエッジ軌跡２２２を抽出し、対向するエッジ軌跡２２２を組み合わせる。例えば、グループ化部１６８は、図１１中実線で示すエッジ軌跡（１）とエッジ軌跡（２）とを組み合わせ、また、破線で示すエッジ軌跡（３）とエッジ軌跡（４）とを組み合わせる。そして、その対向するエッジ軌跡２２２に含まれる領域を対象物とする。したがって、ここでは、平行なエッジ軌跡（１）、（２）やエッジ軌跡（３）、（４）による矩形の対象物が抽出される。
【００５９】
ここで、対向しているエッジ軌跡が平行であるか否かは、エッジ軌跡２２２の近似曲線（近似直線）の傾きが等しいことや、エッジ軌跡２２２間のエッジ軌跡に垂直な線分の距離がいずれにおいても等しいことから把握することができる。
【００６０】
そして、グループ化部１６８は、グループ化した対象物が水平から傾いていると判定した場合、後述するパターンマッチングのためにその対象物にアフィン変換を施して座標変換してもよい。かかるアフィン変換に用いる変換角度は、いずれか１のエッジ軌跡２２２の水平または垂直からの角度を用いることができるが、エッジ軌跡２２２が複数ある場合、そのうちの複数または全てのエッジ軌跡２２２に関して水平または垂直からの角度を計算し、その平均値をとってもよい。こうすることで、アフィン変換による座標変換精度が向上する。
【００６１】
特定物決定部１７０は、グループ化部１６８がグループ化した対象物が所定の条件を満たしていれば、その対象物を特定物として決定する。ここでは、その条件として、パターンマッチングを挙げている。
【００６２】
特定物決定部１７０は、まず、対象物とデータ保持部１５２に保持されたパターン、例えば、典型的な車両の外観パターンを読み出し、対象物とその複数の外観パターンとのパターンマッチングを行う。かかるパターンマッチングとしては、上述したＳＡＤ、ＳＳＤ、ＮＣＣ等様々な手法を用いることができる。
【００６３】
ただし、本実施形態では、対象物が走行車線上に存在することから、それが走行車線上の車両であることをほぼ推定できる場合がある。例えば、走行車線上の対象物が矩形で近似でき、その水平方向の長さと垂直方向の長さの比率が、大凡車両と見なすことができる比率、例えば３：１〜１：２に含まれれば、パターンマッチングを実行することなく、車両とみなすとしてもよい。
【００６４】
また、ここでは、車両を例に挙げて説明したが、本実施形態は、人や、信号機、道路標識、その他の様々な特定物を区別することができる。例えば、本実施形態のエッジ軌跡は曲線にも対応できるため、人の外形等、曲線で表されることが多い対象物にも適用することが可能となる。
【００６５】
こうして、環境認識装置１３０では、輝度画像１２４から、１または複数の対象物を、特定物として抽出することができ、その情報を様々な制御に用いることが可能となる。例えば、図１１の対象物を特定物「車両」と特定することが可能となり、自車両１は、自車両１の速度と、その特定物「車両」との相対距離に応じて停止または減速すべきか否かを把握することができる。
【００６６】
このように環境認識装置１３０によれば、エッジの方向を通じて対象物を特定することで、曲線を描いたり、それ自体が傾斜したりする対象物の特定効率および特定精度の向上を図ることが可能となる。
【００６７】
（環境認識方法）
以下、環境認識装置１３０の具体的な処理を図１２〜図１７のフローチャートに基づいて説明する。図１２は、画像処理装置１２０から輝度画像１２４が送信された場合の割込処理に関する全体的な流れを示し、図１３〜図１７は、その中の個別のサブルーチンを示している。また、ここでは、ブロックとして２×２画素を挙げており、６００×２００画素の輝度画像１２４の左下隅を原点とし、画像水平方向に１〜３００ブロック、垂直方向に１〜１００ブロックの範囲で当該環境認識方法による処理を遂行する。
【００６８】
図１２に示すように、輝度画像１２４の受信を契機に当該環境認識方法による割込が発生すると、画像処理装置１２０から取得した輝度画像１２４が参照されて、領域制限部１６０によって制限された領域２１２に関し、各ブロックのエッジ方向が導出される（Ｓ３００）。そして、導出されたエッジ方向に基づいてブロック同士が関連付けられ、エッジ軌跡が生成され（Ｓ３０２）、さらに複数のエッジ軌跡に挟まれたブロックのエッジ方向が補間される（Ｓ３０４）。
【００６９】
続いて、上記複数のエッジ軌跡により囲まれる領域がグループ化され対象物が抽出されると（Ｓ３０６）、その対象物が、パターンマッチング等を通じて特定物として決定される（Ｓ３０８）。以下、上記の処理を具体的に説明する。
【００７０】
（エッジ方向導出処理Ｓ３００）
図１３を参照すると、まず、領域制限部１６０が、輝度を取得する領域を制限する（Ｓ３５０）。ここでは、仮に、輝度を取得する領域を、画像水平方向に５１〜２５０ブロック、垂直方向に２１〜８０ブロックの領域２１２に制限したとする。エッジ導出部１６４は、ブロックを特定するための垂直変数ｊを初期化（ここでは２０を代入）する（Ｓ３５２）。続いて、エッジ導出部１６４は、垂直変数ｊに「１」を加算（インクリメント）すると共に水平変数ｉを初期化（ここでは５０を代入）する（Ｓ３５４）。次に、エッジ導出部１６４は、水平変数ｉに「１」を加算する（Ｓ３５６）。ここで、水平変数ｉや垂直変数ｊを設けているのは、２００（５１〜２５０）×６０（２１〜８０）のブロック全てに対して当該エッジ方向導出処理を実行するためである。
【００７１】
エッジ導出部１６４は、輝度画像１２４から対象部位としてのブロック（ｉ，ｊ）内の２×２画素の輝度を輝度取得部１６２に取得させる（Ｓ３５８）。
【００７２】
エッジ導出部１６４は、式（Ａ＋Ｂ）−（Ｃ＋Ｄ）に基づいて水平方向成分を導出し（Ｓ３６０）、導出された水平方向成分の絶対値が所定の閾値以下であるか否か判定する（Ｓ３６２）。水平方向成分の絶対値が所定の閾値以下であれば（Ｓ３６２におけるＹＥＳ）、水平方向成分を０に置換する（Ｓ３６４）。また、水平方向成分の絶対値が所定の閾値を超えると（Ｓ３６２におけるＮＯ）、水平方向成分の符号が正を示しているか否か判定する（Ｓ３６６）。ここで、正を示していれば（Ｓ３６６におけるＹＥＳ）、水平方向成分を＋１に置換し（Ｓ３６８）、正を示していなければ（Ｓ３６６におけるＮＯ）、水平方向成分を−１に置換する（Ｓ３７０）。
【００７３】
同様に、エッジ導出部１６４は、式（Ａ＋Ｃ）−（Ｂ＋Ｄ）に基づいて垂直方向成分を導出し（Ｓ３７２）、導出された垂直方向成分の絶対値が所定の閾値以下であるか否か判定する（Ｓ３７４）。垂直方向成分の絶対値が所定の閾値以下であれば（Ｓ３７４におけるＹＥＳ）、垂直方向成分を０に置換する（Ｓ３７６）。また、垂直方向成分の絶対値が所定の閾値を超えると（Ｓ３７４におけるＮＯ）、垂直方向成分の符号が正を示しているか否か判定する（Ｓ３７８）。ここで、正を示していれば（Ｓ３７８におけるＹＥＳ）、垂直方向成分を＋１に置換し（Ｓ３８０）、正を示していなければ（Ｓ３７８におけるＮＯ）、垂直方向成分を−１に置換する（Ｓ３８２）。
【００７４】
そして、エッジ導出部１６４は、水平方向成分および垂直方向成分からエッジ方向を導出し、エッジ方向を示すエッジ方向識別子ｄ（例えば、図７（ｇ）に示す番号）をブロックに関連付けて、ブロック（ｉ，ｊ，ｄ）とする（Ｓ３８４）。
【００７５】
続いて、エッジ導出部１６４は、水平変数ｉが水平ブロックの最大値（ここでは２５０）を超えたか否か判定し（Ｓ３８６）、水平変数ｉが最大値を超えていなければ（Ｓ３８６におけるＮＯ）、ステップＳ３５６の水平変数ｉのインクリメント処理からを繰り返す。また、水平変数ｉが最大値を超えていれば（Ｓ３８６におけるＹＥＳ）、エッジ導出部１６４は、垂直変数ｊが垂直ブロックの最大値（ここでは８０）を超えたか否か判定する（Ｓ３８８）。そして、垂直変数ｊが最大値を超えていなければ（Ｓ３８８におけるＮＯ）、ステップＳ３５４の垂直変数ｊのインクリメント処理からを繰り返す。また、垂直変数ｊが最大値を超えていれば（Ｓ３８８におけるＹＥＳ）、当該エッジ方向導出処理を終了する。こうして各ブロックにエッジ方向が関連付けられる。
【００７６】
（エッジ軌跡生成処理Ｓ３０２）
図１４を参照すると、軌跡生成部１６６は、対象部位（画素）を特定するための垂直変数ｊを初期化（ここでは２０を代入）する（Ｓ４００）。続いて、軌跡生成部１６６は、垂直変数ｊに「１」を加算すると共に水平変数ｉを初期化（ここでは５０を代入）する（Ｓ４０２）。次に、軌跡生成部１６６は、水平変数ｉに「１」を加算する（Ｓ４０４）。
【００７７】
続いて、軌跡生成部１６６は、ブロック（ｉ，ｊ，ｄ）を抽出し（Ｓ４０６）、抽出したブロックに隣接するブロックにエッジ方向識別子ｄが等しいブロックが存在するか否か判定する（Ｓ４０８）。エッジ方向識別子ｄが等しいブロックが存在しなければ（Ｓ４０８におけるＮＯ）、次のステップＳ４２０に処理が移される。一方、エッジ方向識別子ｄが等しいブロックが存在すれば（Ｓ４０８におけるＹＥＳ）、いずれのブロックにもエッジ軌跡識別子ｔが関連付けられていないことを判定する（Ｓ４１０）。いずれのブロックにもエッジ軌跡識別子ｔが関連付けられていなければ（Ｓ４１０におけるＹＥＳ）、軌跡生成部１６６は、エッジ軌跡識別子ｔとしてまだ利用されていない番号のうち最も小さい値を両ブロックに関連付けて、ブロック（ｉ，ｊ，ｄ，ｔ）とする（Ｓ４１２）。
【００７８】
少なくとも一方のブロックにエッジ軌跡識別子ｔが関連付けられていれば（Ｓ４１０におけるＮＯ）、軌跡生成部１６６は、いずれか一方のみにエッジ軌跡識別子ｔが関連付けられているか否か判定する（Ｓ４１４）。いずれか一方のみにエッジ軌跡識別子ｔが関連付けられていれば（Ｓ４１４におけるＹＥＳ）、軌跡生成部１６６は、その関連付けられた一方のエッジ軌跡識別子ｔを、他方のブロックにも関連付ける（Ｓ４１６）。
【００７９】
両方のブロックにエッジ軌跡識別子ｔが関連付けられていれば（Ｓ４１４におけるＮＯ）、軌跡生成部１６６は、数値が高いブロックおよびそのブロックとエッジ軌跡識別子ｔが等しいブロック全てのエッジ軌跡識別子ｔを、低い数値に置換する（Ｓ４１８）。また、グループ化部１６８は、グループ化処理Ｓ３０６に先だって、このようなエッジ軌跡識別子ｔが関連付けられたブロックにより形成されるエッジ軌跡の傾きｌを予め求めておき、ブロック（ｉ，ｊ，ｄ，ｔ，ｌ）とする（Ｓ４２０）。
【００８０】
続いて、軌跡生成部１６６は、水平変数ｉが水平ブロックの最大値（ここでは２５０）を超えたか否か判定し（Ｓ４２２）、水平変数ｉが最大値を超えていなければ（Ｓ４２２におけるＮＯ）、ステップＳ４０４の水平変数ｉのインクリメント処理からを繰り返す。また、水平変数ｉが最大値を超えていれば（Ｓ４２２にけるＹＥＳ）、軌跡生成部１６６は、垂直変数ｊが垂直ブロックの最大値（ここでは８０）を超えたか否か判定する（Ｓ４２４）。そして、垂直変数ｊが最大値を超えていなければ（Ｓ４２４におけるＮＯ）、ステップＳ４０２の垂直変数ｊのインクリメント処理からを繰り返す。また、垂直変数ｊが最大値を超えていれば（Ｓ４２４におけるＹＥＳ）、当該エッジ軌跡生成処理を終了する。こうしてエッジ軌跡が生成される。
【００８１】
（エッジ軌跡補間処理Ｓ３０４）
図１５を参照すると、軌跡生成部１６６は、対象部位（画素）を特定するための垂直変数ｊを初期化（ここでは２０を代入）する（Ｓ４５０）。続いて、軌跡生成部１６６は、垂直変数ｊに「１」を加算すると共に水平変数ｉを初期化（ここでは５０を代入）する（Ｓ４５２）。次に、軌跡生成部１６６は、水平変数ｉに「１」を加算する（Ｓ４５４）。
【００８２】
軌跡生成部１６６は、ブロック（ｉ，ｊ，ｄ）を抽出し（Ｓ４５６）、抽出したブロックに隣接する複数のブロックに、エッジ軌跡識別子ｔが関連付けられており、かつ、その複数のブロックのエッジ方向識別子ｄが等しいか判定する（Ｓ４５８）。いずれかの条件を満たさなければ（Ｓ４５８におけるＮＯ）、次のステップＳ４６６に処理が移される。一方、いずれの条件も満たせば（Ｓ４５８におけるＹＥＳ）、軌跡生成部１６６は、抽出したブロックのエッジ方向識別子ｄに複数のブロックのエッジ方向識別子ｄを代入または置換する（Ｓ４６０）。また、軌跡生成部１６６は、抽出したブロックのエッジ軌跡識別子ｔを複数のブロックに関連付けられた複数のエッジ軌跡識別子ｔのうち低い数値とする。さらに、数値が高いブロックおよびそのブロックとエッジ軌跡識別子ｔが等しいブロック全てのエッジ軌跡識別子ｔを、低い数値に置換する（Ｓ４６２）。また、グループ化部１６８は、このように、統合されたエッジ軌跡の傾きｌを求め、統合されたブロック全てに上書きする（Ｓ４６４）。
【００８３】
続いて、軌跡生成部１６６は、水平変数ｉが水平ブロックの最大値（ここでは２５０）を超えたか否か判定し（Ｓ４６６）、水平変数ｉが最大値を超えていなければ（Ｓ４６６におけるＮＯ）、ステップＳ４５４の水平変数ｉのインクリメント処理からを繰り返す。また、水平変数ｉが最大値を超えていれば（Ｓ４６６にけるＹＥＳ）、軌跡生成部１６６は、垂直変数ｊが垂直ブロックの最大値（ここでは８０）を超えたか否か判定する（Ｓ４６８）。そして、垂直変数ｊが最大値を超えていなければ（Ｓ４６８におけるＮＯ）、ステップＳ４５２の垂直変数ｊのインクリメント処理からを繰り返す。また、垂直変数ｊが最大値を超えていれば（Ｓ４６８におけるＹＥＳ）、当該エッジ軌跡補間処理を終了する。
【００８４】
（グループ化処理Ｓ３０６）
図１６を参照すると、グループ化部１６８は、エッジ軌跡を特定するためのエッジ軌跡変数ｋを初期化（「０」を代入）する（Ｓ５００）。続いて、グループ化部１６８は、エッジ軌跡変数ｋに「１」を加算し、組み合わせ候補のエッジ軌跡を特定するためのエッジ軌跡変数ｍを初期化（ｋを代入）する（Ｓ５０２）。次に、グループ化部１６８は、エッジ軌跡変数ｍに「１」を加算する（Ｓ５０４）。ここで、エッジ軌跡変数ｋ、ｍを設けているのは、エッジ軌跡の全ての組み合わせについて当該グループ化処理を行うためである。
【００８５】
グループ化部１６８は、エッジ軌跡識別子ｔがエッジ軌跡変数ｋであるエッジ軌跡の傾きｌとエッジ軌跡識別子ｔがエッジ軌跡変数ｍであるエッジ軌跡の傾きｌとを比較し、その角度差が所定値、例えば５°以内であるか否か判定する（Ｓ５０６）。ここで角度差が所定値以内であれば（Ｓ５０６におけるＹＥＳ）、グループ化部１６８は、組み合わせ識別子ｐとしてまだ利用されていない番号のうち最も小さい値を両エッジ軌跡に関連付ける（Ｓ５０８）。
【００８６】
続いて、グループ化部１６８は、エッジ軌跡変数ｍがエッジ軌跡識別子ｔの最大値を超えたか否か判定し（Ｓ５１０）、エッジ軌跡変数ｍが最大値を超えていなければ（Ｓ５１０におけるＮＯ）、ステップＳ５０４のエッジ軌跡変数ｍのインクリメント処理からを繰り返す。また、エッジ軌跡変数ｍが最大値を超えていれば（Ｓ５１０にけるＹＥＳ）、グループ化部１６８は、エッジ軌跡変数ｋがエッジ軌跡識別子ｔの最大値−１を超えたか否か判定する（Ｓ５１２）。そして、エッジ軌跡変数ｋが最大値−１を超えていなければ（Ｓ５１２におけるＮＯ）、ステップＳ５０２のエッジ軌跡変数ｋのインクリメント処理からを繰り返す。また、エッジ軌跡変数ｋが最大値−１を超えていれば（Ｓ５１２におけるＹＥＳ）、次のステップＳ５１４に処理が移される。
【００８７】
次に、グループ化部１６８は、エッジ軌跡の組み合わせを特定するための組み合わせ変数ｎを初期化（「０」を代入）する（Ｓ５１４）。続いて、グループ化部１６８は、組み合わせ変数ｎに「１」を加算し、グループ化候補のエッジ軌跡の組み合わせを特定するための組み合わせ変数ｑを初期化（ｎを代入）する（Ｓ５１６）。次に、グループ化部１６８は、組み合わせ変数ｑに「１」を加算する（Ｓ５１８）。ここで、組み合わせ変数ｎ、ｑを設けているのは、エッジ軌跡の組み合わせ全てに関して当該グループ化処理を行うためである。
【００８８】
グループ化部１６８は、組み合わせ識別子ｐが組み合わせ変数ｎであるエッジ軌跡の組み合わせにより囲まれる座標範囲と、組み合わせ識別子ｐが組み合わせ変数ｑであるエッジ軌跡の組み合わせにより囲まれる座標範囲とを比較する。そして、その座標範囲が所定比率、例えば８０％重複しているか否か判定する（Ｓ５２０）。即ち、組み合わせ識別子ｐが組み合わせ変数ｎであるエッジ軌跡の組み合わせと、組み合わせ識別子ｐが組み合わせ変数ｑであるエッジ軌跡の組み合わせとが矩形を成すか否か判定する。ここで座標範囲が所定比率重複していれば（Ｓ５２０におけるＹＥＳ）、グループ化部１６８は、その２つの組み合わせにより囲まれる座標範囲をグループ化し、対象物識別子ｏを関連付ける（Ｓ５２２）。
【００８９】
続いて、グループ化部１６８は、組み合わせ変数ｑが組み合わせ識別子ｐの最大値を超えたか否か判定し（Ｓ５２４）、組み合わせ変数ｑが最大値を超えていなければ（Ｓ５２４におけるＮＯ）、ステップＳ５１８の組み合わせ変数ｑのインクリメント処理からを繰り返す。また、組み合わせ変数ｑが最大値を超えていれば（Ｓ５２４にけるＹＥＳ）、グループ化部１６８は、組み合わせ変数ｎが組み合わせ識別子ｐの最大値−１を超えたか否か判定する（Ｓ５２６）。そして、組み合わせ変数ｎが最大値−１を超えていなければ（Ｓ５２６におけるＮＯ）、ステップＳ５１６の組み合わせ変数ｎのインクリメント処理からを繰り返す。また、組み合わせ変数ｎが最大値−１を超えていれば（Ｓ５２６におけるＹＥＳ）、当該グループ化処理を終了する。こうして、グループ化された対象物が抽出される。
【００９０】
（特定物決定処理Ｓ３０８）
図１７を参照すると、特定物決定部１７０は、対象物を特定するための対象物変数ｇを初期化（「０」を代入）する（Ｓ５５０）。続いて、特定物決定部１７０は、対象物変数ｇに「１」を加算し、外観パターンを特定するためのパターン変数ｈを初期化（「０」を代入）する（Ｓ５５２）。次に、特定物決定部１７０は、パターン変数ｈに「１」を加算する（Ｓ５５４）。ここで、対象物変数ｇおよびパターン変数ｈを設けているのは、対象物と外観パターンとの全ての組み合わせに関してパターンマッチングを行うためである。
【００９１】
特定物決定部１７０は、対象物識別子ｏが対象物変数ｇである対象物に対し、パターン識別子ｒがパターン変数ｈである外観パターンとのパターンマッチングを実行し、外観パターンがマッチングするか否か判定する（Ｓ５５６）。ここで外観パターンにマッチングすると（Ｓ５５６におけるＹＥＳ）、特定物決定部１７０は、その対象物を、パターン識別子ｒがパターン変数ｈである特定物として特定する（Ｓ５５８）。
【００９２】
続いて、特定物決定部１７０は、パターン変数ｈがパターン識別子ｒの最大値を超えたか否か判定し（Ｓ５６０）、パターン変数ｈが最大値を超えていなければ（Ｓ５６０におけるＮＯ）、ステップＳ５５４のパターン変数ｈのインクリメント処理からを繰り返す。また、パターン変数ｈが最大値を超えていれば（Ｓ５６０にけるＹＥＳ）、特定物決定部１７０は、対象物変数ｇが対象物識別子ｏの最大値を超えたか否か判定する（Ｓ５６２）。そして、対象物変数ｇが最大値を超えていなければ（Ｓ５６２におけるＮＯ）、ステップＳ５５２の対象物変数ｇのインクリメント処理からを繰り返す。また、対象物変数ｇが最大値を超えていれば（Ｓ５６２におけるＹＥＳ）、当該特定物決定処理を終了する。こうして、グループ化された対象物が正式に特定物として決定される。
【００９３】
以上、説明したように、環境認識装置１３０によれば、エッジの方向を通じて対象物を特定することで、曲線を描いたり、それ自体が傾斜したりする対象物の特定効率および特定精度の向上を図ることが可能となる。
【００９４】
また、コンピュータを、環境認識装置１３０として機能させるプログラムや当該プログラムを記録した、コンピュータで読み取り可能なフレキシブルディスク、光磁気ディスク、ＲＯＭ、ＣＤ、ＤＶＤ、ＢＤ等の記憶媒体も提供される。ここで、プログラムは、任意の言語や記述方法にて記述されたデータ処理手段をいう。
【００９５】
以上、添付図面を参照しながら本発明の好適な実施形態について説明したが、本発明はかかる実施形態に限定されないことは言うまでもない。当業者であれば、特許請求の範囲に記載された範疇において、各種の変更例または修正例に想到し得ることは明らかであり、それらについても当然に本発明の技術的範囲に属するものと了解される。
【００９６】
例えば、上述した実施形態では、ブロックのエッジ方向を導出する際、水平方向成分として（Ａ＋Ｂ）−（Ｃ＋Ｄ）、垂直方向成分として（Ａ＋Ｃ）−（Ｂ＋Ｄ）を用いている。しかし、エッジ方向は、ブロック毎の輝度のエッジが伸長する方向に対して予め定められた任意の角度を有する方向になれば足りる。例えば、水平方向成分を（Ａ＋Ｃ）−（Ｂ＋Ｄ）、垂直方向成分を（Ａ＋Ｂ）−（Ｃ＋Ｄ）とする等、様々な組み合わせを用いることができる。
【００９７】
また、上述した実施形態では、ブロックを２×２画素としたが、画素数に制限はなく、さらに多くの画素を含むとしてもよい。例えば、４×４画素とした場合、エッジ方向は、水平方向に対して２分割した左右それぞれの領域（２×４画素）における輝度の合計値の差分と、ブロックを垂直方向に対して２分割した上下それぞれの領域（４×２画素）における輝度の合計値の差分とによって導出すればよい。また、ブロックの一辺が偶数の場合に限らず、奇数であってもよい。その場合、中央に位置する画素列または画素行をエッジ方向の計算に含めない（無視する）ことで、適切な値を導出することができる。
【００９８】
また、上述した実施形態において、軌跡生成部１６６は、１のブロックの隣接するエッジ軌跡を用いてその１のブロックを補間する例を挙げて説明したが、補間のブロック数はかかる場合に限らない。例えば、同一のエッジ方向を有する２つのエッジ軌跡の連続性を考慮して、その間にあるブロックも同一のエッジ方向を有すると見なしてよい場合、そのブロックの数に拘わらず、同一のエッジ方向として補間することができる。
【００９９】
また、上述した実施形態においては、対象物の三次元位置を複数の撮像装置１１０を用い画像データ間の視差に基づいて導出しているが、かかる場合に限られず、例えば、レーザレーダ測距装置等、既知の様々な距離測定装置を用いることができる。ここで、レーザレーダ測距装置は、検出領域１２２にレーザビームを投射し、このレーザビームが物体に当たって反射してくる光を受光し、この所要時間から物体までの距離を測定するものである。
【０１００】
また、上述した実施形態では、位置情報取得部１５８が、画像処理装置１２０から距離画像（視差情報）１２６を受けて三次元の位置情報を生成している例を挙げている。しかし、かかる場合に限られず、画像処理装置１２０において予め三次元の位置情報を生成し、位置情報取得部１５８は、その生成された三次元の位置情報を取得するとしてもよい。このようにして、機能分散を図り、環境認識装置１３０の処理負荷を軽減することが可能となる。
【０１０１】
また、上述した実施形態においては、位置情報取得部１５８、領域制限部１６０、輝度取得部１６２、エッジ導出部１６４、軌跡生成部１６６、グループ化部１６８、特定物決定部１７０は中央制御部１５４によってソフトウェアで動作するように構成している。しかし、上記の機能部をハードウェアによって構成することも可能である。
【０１０２】
また、特定物決定部１７０は、例えばパターンマッチングによって特定物と決定しているが、かかる場合に限らず、さらに、他の様々な条件を満たしている場合に特定物として決定してもよい。例えば、対象物中における水平方向および鉛直方向の相対距離の推移がほぼ等しい（連続する）場合や、ｚ座標に対する相対移動速度が等しい場合に特定物とする。このとき対象物中における水平方向および鉛直方向の相対距離の推移は、ハフ変換あるいは最小二乗法による近似直線によって特定することができる。
【０１０３】
なお、本明細書の環境認識方法の各工程は、必ずしもフローチャートとして記載された順序に沿って時系列に処理する必要はなく、並列的あるいはサブルーチンによる処理を含んでもよい。
【産業上の利用可能性】
【０１０４】
本発明は、検出領域における対象物の輝度に基づいて、その対象物を認識する環境認識装置および環境認識方法に利用することができる。
【符号の説明】
【０１０５】
１ …車両
１２２ …検出領域
１２４ …輝度画像
１２６ …距離画像
１３０ …環境認識装置
１６０ …領域制限部
１６２ …輝度取得部
１６４ …エッジ導出部
１６６ …軌跡生成部
１６８ …グループ化部
１７０ …特定物決定部
２２０ …ブロック
２２２ …エッジ軌跡
【技術分野】
【０００１】
本発明は、検出領域における対象物の輝度に基づいて、その対象物を認識する環境認識装置および環境認識方法に関する。
【背景技術】
【０００２】
従来、自車両の前方に位置する車両や信号機等の障害物といった対象物を検出し、検出した対象物との衝突を回避したり、先行車両との車間距離を安全な距離に保つように制御する技術が知られている（例えば、特許文献１、２）。
【０００３】
また、このような技術では、対象物を一律に物として特定するのみならず、さらに高精度な制御を行うため、対象物が自車両と同速度で走行している先行車両であるのか、移動を伴わない固定された物であるのか等を判定する技術も存在する。ここで、対象物を、検出領域の撮像を通じて検出する場合、対象物が何であるかを特定する前に、撮像された画像から対象物自体を抽出（切り出し）しなければならない。
【０００４】
例えば、撮像された画像から、隣接する画素間の微分値によってエッジを有する画素（エッジ画素）を抽出し、画像の水平方向および垂直方向におけるエッジ画素のヒストグラム（距離分布）を導出して、そのピークに相当する領域を対象物の端部と推定する技術が知られている。また、ヒストグラムに基づく融合パターンが、予め格納されている辞書パターンと比較され、対象物が車両であるか否か判定する技術も開示されている（例えば、特許文献３）。
【先行技術文献】
【特許文献】
【０００５】
【特許文献１】特許第３３４９０６０号
【特許文献２】特開平１０−２８３４６１号公報
【特許文献３】特開２００３−９９７６２号公報
【発明の概要】
【発明が解決しようとする課題】
【０００６】
しかし、従来の水平方向および垂直方向のヒストグラムを導出する方法では、自車両の進行方向を軸にして道路面が左右に傾斜していると、先行車両が相対的に傾いて撮像され、そのエッジも厳密に水平方向や垂直方向に延伸しなくなる。したがって、水平方向や垂直方向のヒストグラムにおけるピークがなくなり車両の検出精度が低下する。また、比較的曲面が多い車両についても、同様に、水平方向や垂直方向のヒストグラムのピークが出現し難く、車両が特定し辛いといった問題があった。
【０００７】
本発明は、このような課題に鑑み、曲線を描いたり、それ自体が傾斜したりする対象物の特定効率および特定精度の向上を図ることが可能な、環境認識装置および環境認識方法を提供することを目的としている。
【課題を解決するための手段】
【０００８】
上記課題を解決するために、本発明の環境認識装置は、検出領域内を分割した複数のブロック毎の輝度を取得する輝度取得部と、ブロック毎の輝度のエッジが伸長する方向に基づくエッジ方向を導出するエッジ導出部と、エッジ方向に基づいてブロック同士を関連付け、エッジ軌跡を生成する軌跡生成部と、複数のエッジ軌跡により囲まれる領域をグループ化して対象物とするグループ化部と、対象物を特定物として決定する特定物決定部と、を備えることを特徴とする。
【０００９】
エッジ導出部は、ブロックを垂直方向に対して２分割した左右それぞれの領域における輝度の合計値の差分と、ブロックを水平方向に対して２分割した上下それぞれの領域における輝度の合計値の差分とに基づいてエッジ方向を導出してもよい。
【００１０】
エッジ導出部は、合計値の差分の絶対値が所定の閾値以下であれば、その方向に関して合計値の差分を用いずにエッジ方向を導出してもよい。
【００１１】
所定の閾値は、ブロック内の全輝度の平均値に応じた漸増関数で求められる。
【００１２】
軌跡生成部は、任意のブロックに隣接する複数のブロックのエッジ方向に基づいて任意のブロックのエッジ方向を補間してもよい。
【００１３】
輝度取得部による輝度を取得する領域を、無限遠を含む、検出領域より小さい領域に制限する領域制限部をさらに備えてもよい。
【００１４】
上記課題を解決するために、本発明の環境認識方法は、検出領域内を分割した複数のブロック毎の輝度を取得し、ブロック毎の輝度のエッジが伸長する方向に基づくエッジ方向を導出し、エッジ方向に基づいてブロック同士を関連付け、エッジ軌跡を生成し、複数のエッジ軌跡により囲まれる領域をグループ化して対象物とし、対象物を特定物として決定することを特徴とする。
【発明の効果】
【００１５】
本発明によれば、エッジの方向を通じて対象物を特定することで、曲線を描いたり、それ自体が傾斜したりする対象物の特定効率および特定精度の向上を図ることが可能となる。
【図面の簡単な説明】
【００１６】
【図１】環境認識システムの接続関係を示したブロック図である。
【図２】輝度画像を説明するための説明図である。
【図３】環境認識装置の概略的な機能を示した機能ブロック図である。
【図４】位置情報取得部による三次元の位置情報への変換を説明するための説明図である。
【図５】領域制限部の動作を説明するための説明図である。
【図６】本実施形態に用いる輝度画像を説明するための説明図である。
【図７】エッジ導出部の動作を説明するための説明図である。
【図８】エッジ導出部によってエッジ方向が導出された場合のイメージを示すイメージ図である。
【図９】軌跡生成部の動作を説明するための説明図である。
【図１０】軌跡生成部による補間動作を説明するための説明図である。
【図１１】グループ化部の動作を説明するための説明図である。
【図１２】環境認識方法の全体的な流れを示したフローチャートである。
【図１３】エッジ方向導出処理の流れを示したフローチャートである。
【図１４】エッジ軌跡生成処理の流れを示したフローチャートである。
【図１５】エッジ軌跡補間処理の流れを示したフローチャートである。
【図１６】グループ化処理の流れを示したフローチャートである。
【図１７】特定物決定処理の流れを示したフローチャートである。
【発明を実施するための形態】
【００１７】
以下に添付図面を参照しながら、本発明の好適な実施形態について詳細に説明する。かかる実施形態に示す寸法、材料、その他具体的な数値などは、発明の理解を容易とするための例示にすぎず、特に断る場合を除き、本発明を限定するものではない。なお、本明細書及び図面において、実質的に同一の機能、構成を有する要素については、同一の符号を付することにより重複説明を省略し、また本発明に直接関係のない要素は図示を省略する。
【００１８】
（環境認識システム１００）
図１は、環境認識システム１００の接続関係を示したブロック図である。環境認識システム１００は、車両１内に設けられた、撮像装置１１０と、画像処理装置１２０と、環境認識装置１３０と、車両制御装置１４０とを含んで構成される。
【００１９】
撮像装置１１０は、ＣＣＤ（Charge-Coupled Device）やＣＭＯＳ（Complementary Metal-Oxide Semiconductor）等の撮像素子を含んで構成され、カラー画像、即ち、画素単位で３つの色相（赤、緑、青）の輝度を取得することができる。ここでは、撮像装置１１０で撮像されたカラーの画像を輝度画像と呼び、後述する距離画像と区別する。また、撮像装置１１０は、車両１の進行方向側において２つの撮像装置１１０それぞれの光軸が略平行になるように、略水平方向に離隔して配置される。撮像装置１１０は、車両１の前方の検出領域に存在する対象物を撮像した画像データを、例えば１／６０秒毎（６０ｆｐｓ）に連続して生成する。ここで、対象物は、車両、信号機、道路、ガードレールといった独立して存在する立体物のみならず、テールランプやウィンカー、信号機の各点灯部分等、立体物の部分として特定できる物も含む。以下の実施形態における各機能部は、このような画像データの更新を契機として各処理を遂行する。
【００２０】
画像処理装置１２０は、２つの撮像装置１１０それぞれから画像データを取得し、２つの画像データに基づいて、画像中の任意のブロック（所定数の画素を集めたもの）の視差、および、任意のブロックの画面中の位置を示す画面位置を含む視差情報を導出する。画像処理装置１２０は、一方の画像データから任意に抽出したブロック（例えば水平４画素×垂直４画素の配列）に対応するブロックを他方の画像データから検索する、所謂パターンマッチングを用いて視差を導き出す。ここで、水平は、撮像した画像の画面横方向を示し、実空間上の水平に相当する。また、垂直は、撮像した画像の画面縦方向を示し、実空間上の鉛直方向に相当する。
【００２１】
このパターンマッチングとしては、２つの画像データ間において、任意の画像位置を示すブロック単位で輝度値（Ｙ色差信号）を比較することが考えられる。例えば、輝度値の差分をとるＳＡＤ（Sum of Absolute Difference）、差分を２乗して用いるＳＳＤ（Sum of Squared intensity Difference）や、各画素の輝度値から平均値を引いた分散値の類似度をとるＮＣＣ（Normalized Cross Correlation）等の手法がある。画像処理装置１２０は、このようなブロック単位の視差導出処理を検出領域（例えば６００画素×２００画素）に映し出されている全てのブロックについて行う。ここでは、ブロックを４画素×４画素としているが、ブロック内の画素数は任意に設定することができる。
【００２２】
ただし、画像処理装置１２０では、検出分解能単位であるブロック毎に視差を導出することはできるが、そのブロックがどのような対象物の一部であるかを認識できない。したがって、視差情報は、対象物単位ではなく、検出領域における検出分解能単位（例えばブロック単位）で独立して導出されることとなる。ここでは、このようにして導出された視差情報（後述する相対距離に相当）を画像データに対応付けた画像を距離画像という。
【００２３】
図２は、輝度画像１２４と距離画像１２６を説明するための説明図である。例えば、２つの撮像装置１１０を通じ、検出領域１２２について図２（ａ）のような輝度画像（画像データ）１２４が生成されたとする。ただし、ここでは、理解を容易にするため、２つの輝度画像１２４の一方のみを模式的に示している。画像処理装置１２０は、このような輝度画像１２４からブロック毎の視差を求め、図２（ｂ）のような距離画像１２６を形成する。距離画像１２６における各ブロックには、そのブロックの視差が関連付けられている。ここでは、説明の便宜上、視差が導出されたブロックを黒のドットで表している。
【００２４】
視差は、画像のエッジ部分（隣り合う画素間で明暗の差分が大きい部分）で特定され易いので、距離画像１２６において黒のドットが付されている、視差が導出されたブロックは、輝度画像１２４においてもエッジとなっていることが多い。したがって、図２（ａ）に示す輝度画像１２４と図２（ｂ）に示す距離画像１２６とは各対象物の輪郭について似たものとなる。
【００２５】
環境認識装置１３０は、画像処理装置１２０から輝度画像１２４を取得し、輝度画像１２４における輝度のエッジに基づいて検出領域１２２における対象物を抽出し、その対象物がいずれの特定物に当たるか特定する。また、環境認識装置１３０は、画像処理装置１２０から距離画像１２６を取得し、距離画像１２６における、検出領域１２２内のブロック毎の視差情報を、所謂ステレオ法を用いて、相対距離を含む三次元の位置情報に変換する。ここで、ステレオ法は、三角測量法を用いることで、対象物の視差からその対象物の撮像装置１１０に対する相対距離を導出する方法である。かかる環境認識装置１３０に関しては、後ほど詳述する。
【００２６】
車両制御装置１４０は、環境認識装置１３０で特定された対象物との衝突を回避したり、先行車両との車間距離を安全な距離に保つ制御を実行する。具体的に、車両制御装置１４０は、操舵の角度を検出する舵角センサ１４２や車両１の速度を検出する車速センサ１４４等を通じて現在の車両１の走行状態を取得し、アクチュエータ１４６を制御して先行車両との車間距離を安全な距離に保つ。ここで、アクチュエータ１４６は、ブレーキ、スロットルバルブ、舵角等を制御するために用いられる車両制御用のアクチュエータである。また、車両制御装置１４０は、対象物との衝突が想定される場合、運転者の前方に設置されたディスプレイ１４８にその旨警告表示（報知）を行うと共に、アクチュエータ１４６を制御して車両１を自動的に制動する。かかる車両制御装置１４０は、環境認識装置１３０と一体的に形成することもできる。
【００２７】
（環境認識装置１３０）
図３は、環境認識装置１３０の概略的な機能を示した機能ブロック図である。図３に示すように、環境認識装置１３０は、Ｉ／Ｆ部１５０と、データ保持部１５２と、中央制御部１５４とを含んで構成される。
【００２８】
Ｉ／Ｆ部１５０は、画像処理装置１２０や車両制御装置１４０との双方向の情報交換を行うためのインターフェースである。データ保持部１５２は、ＲＡＭ、フラッシュメモリ、ＨＤＤ等で構成され、パターンマッチングに用いられる複数の外観パターンや、以下に示す各機能部の処理に必要な様々な情報を保持し、また、画像処理装置１２０から受信した輝度画像１２４を一時的に保持する。
【００２９】
中央制御部１５４は、中央処理装置（ＣＰＵ）、プログラム等が格納されたＲＯＭ、ワークエリアとしてのＲＡＭ等を含む半導体集積回路で構成され、システムバス１５６を通じて、Ｉ／Ｆ部１５０やデータ保持部１５２を制御する。また、本実施形態において、中央制御部１５４は、位置情報取得部１５８、領域制限部１６０、輝度取得部１６２、エッジ導出部１６４、軌跡生成部１６６、グループ化部１６８、特定物決定部１７０としても機能する。
【００３０】
位置情報取得部１５８は、距離画像１２６における検出領域１２２内のブロック毎の視差情報を、ステレオ法を用いて、水平距離ｘ、高さｙおよび相対距離ｚを含む三次元の位置情報に変換する。ここで、視差情報が、距離画像１２６における各対象部位の視差を示すのに対し、三次元の位置情報は、実空間における各対象部位の相対距離の情報を示す。また、視差情報が画素単位ではなくブロック単位、即ち複数の画素単位で導出されている場合、その視差情報はブロックに属する全ての画素の視差情報とみなして、画素単位の計算を実行することができる。
【００３１】
図４は、位置情報取得部１５８による三次元の位置情報への変換を説明するための説明図である。位置情報取得部１５８は、まず、距離画像１２６を図４の如く画素単位の座標系として認識する。ここでは、図４中、左下隅を原点（０，０）とし、横方向をｉ座標軸、縦方向をｊ座標軸とする。したがって、視差ｄｐを有する画素は、画素位置ｉ、ｊと視差ｄｐによって（ｉ，ｊ，ｄｐ）のように表すことができる。
【００３２】
本実施形態における実空間上の三次元座標系を、車両１を中心とした相対座標系で考える。ここでは、車両１の進行方向右側方をＸ軸の正方向、車両１の上方をＹ軸の正方向、車両１の進行方向（前方）をＺ軸の正方向、２つの撮像装置１１０の中央を通る鉛直線と道路表面との交点を原点（０，０，０）とする。このとき、道路を平面と仮定すると、道路表面がＸ−Ｚ平面（ｙ＝０）と一致することとなる。位置情報取得部１５８は、以下の（数式１）〜（数式３）によって距離画像１２６上のブロック（ｉ，ｊ，ｄｐ）を、実空間上の三次元の点（ｘ，ｙ，ｚ）に座標変換する。
ｘ＝ＣＤ／２＋ｚ・ＰＷ・（ｉ−ＩＶ） …（数式１）
ｙ＝ＣＨ＋ｚ・ＰＷ・（ｊ−ＪＶ） …（数式２）
ｚ＝ＫＳ／ｄｐ …（数式３）
ここで、ＣＤは撮像装置１１０同士の間隔（基線長）であり、ＰＷは１画素当たりの視野角であり、ＣＨは撮像装置１１０の道路表面からの配置高さであり、ＩＶ、ＪＶは車両１の真正面における無限遠点の画像上の座標（画素）であり、ＫＳは距離係数（ＫＳ＝ＣＤ／ＰＷ）である。
【００３３】
したがって、位置情報取得部１５８は、対象部位の相対距離と、対象部位と同相対距離にある道路表面上の点と対象部位との距離画像１２６上の検出距離とに基づいて、道路表面からの高さを導出していることとなる。
【００３４】
領域制限部１６０は、後述する輝度取得部１６２が輝度を取得する領域を、無限遠を含む、検出領域１２２より小さい領域に制限する。
【００３５】
図５は、領域制限部１６０の動作を説明するための説明図である。領域制限部１６０は、図５（ａ）に示すように、位置情報取得部１５８が取得した先行車両２１０との相対距離が短い場合、そのような先行車両２１０を適切に抽出すべく、輝度を取得する領域２１２ａを広く設定する。また、領域制限部１６０は、図５（ｂ）に示すように、先行車両２１０の相対距離が長い場合、そのような先行車両２１０さえ抽出すればよいので、輝度を取得する領域２１２ｂを小さく設定する。いずれの領域２１２（２１２ａ、２１２ｂ）も無限遠２１４を含んでおり、先行車両２１０の相対距離に応じて、相対距離が短いほど放射状に広がるように領域２１２が決定される。このように、先行車両２１０の相対距離に応じて、輝度を取得する領域２１２を変更することで、無駄な輝度の取得を回避し、計算負荷の軽減を図ることができる。
【００３６】
輝度取得部１６２は、受信した輝度画像１２４のうち、領域制限部１６０によって制限された領域２１２から、ブロック（ここでは例えば２×２画素とする。）単位で輝度（画素単位で３つの色相（赤、緑、青）の輝度）を取得する。このとき、検出領域が例えば雨天や曇天であった場合、輝度取得部１６２は、ホワイトバランスを調整してから輝度を取得してもよい。
【００３７】
本実施形態では、輝度取得部１６２が取得した輝度のエッジを有効利用し、対象物を抽出する。これは、図６（ａ）のように、自車両１の進行方向を軸にして道路面が左右に傾斜し、先行車両２１０等が相対的に傾いて撮像されて、そのエッジも水平方向や垂直方向に延伸しなくなった場合であっても、対象物の特定精度を維持するためである。以下の実施形態では、説明の便宜のため、図６（ａ）における制限された領域２１２中の先行車両２１０の外形を簡略化した図６（ｂ）を用いる。
【００３８】
エッジ導出部１６４は、ブロック毎の輝度のエッジが伸長する方向に基づくエッジ方向を導出する。具体的に、エッジ導出部１６４は、ブロック（ここでは２×２画素）を垂直方向に対して２分割した左右それぞれの領域における輝度の合計値の差分（以下、単に水平方向成分という。）と、ブロックを水平方向に対して２分割した上下それぞれの領域における輝度の合計値の差分（以下、単に垂直方向成分という。）とに基づいてエッジ方向を導出する。
【００３９】
図７は、エッジ導出部１６４の動作を説明するための説明図である。図７（ａ）は図６（ｂ）と等しい制限された領域２１２中の簡略化した先行車両２１０を示す。そして、その領域２１２中の任意のブロック２２０ａを拡大すると、図７（ｂ）のような輝度分布になり、他の任意のブロック２２０ｂを拡大すると、図７（ｃ）のような輝度分布になっていたとする。また、輝度の範囲を０〜２５５とし、図７（ｂ）中、仮に、白色の塗りつぶしを輝度「２００」、黒色の塗りつぶしを輝度「０」とする。ここでは、仮に、ブロックの図中左上画素の輝度をＡ、右上画素の輝度をＢ、左下画素の輝度をＣ、右下画素の輝度をＤとし、エッジ方向の水平方向成分を（Ａ＋Ｂ）−（Ｃ＋Ｄ）、エッジ方向の垂直方向成分を（Ａ＋Ｃ）−（Ｂ＋Ｄ）と定義する。
【００４０】
すると、図７（ｂ）に示すブロック２２０ａのエッジ方向の水平方向成分は、（Ａ＋Ｂ）−（Ｃ＋Ｄ）＝（２００＋０）―（２００＋０）＝０となり、エッジ方向の垂直方向成分は、（Ａ＋Ｃ）−（Ｂ＋Ｄ）＝（２００＋２００）−（０＋０）＝＋４００となる。したがって、水平方向成分「０」、垂直方向成分「＋４００」となり、エッジ方向は、図７（ｄ）の如く垂直方向上向きの矢印で示される。ただし、図７（ｆ）のように、水平成分は画面右方向を正、垂直成分は画面上方向を正としている。
【００４１】
同様に、図７（ｃ）に示すブロック２２０ｂのエッジ方向の水平方向成分は、（Ａ＋Ｂ）−（Ｃ＋Ｄ）＝（０＋０）―（２００＋２００）＝−４００となり、エッジ方向の垂直方向成分は、（Ａ＋Ｃ）−（Ｂ＋Ｄ）＝（０＋２００）−（０＋２００）＝０となる。したがって、水平方向成分「−４００」、垂直方向成分「０」となり、エッジ方向は、図７（ｅ）の如く画面右向きの水平方向左向きの矢印で示される。
【００４２】
このように、ブロック内の半分の領域から他の半分の領域を減算する構成により、ブロック内全体に含まれる輝度のオフセットやノイズを取り除くことができ、エッジを適切に抽出することが可能となる。また、加減算のみの単純計算でエッジ方向を導出できるので、計算負荷が軽い。
【００４３】
本実施形態では、このように導出されたエッジ方向の隣接するブロック同士の同一性を判定して、そのブロック同士を関連付けることを目的としている。しかし、上記水平方向成分や垂直方向成分を導出した値をそのまま用いて単純にエッジ方向としてしまうと、そのエッジ方向のバリエーションが無限に存在することとなる。そうすると、その無限のバリエーションに対して同一とみなしてよいエッジ方向の範囲を設定しなければならない。そこで、本実施形態では、水平方向成分および垂直方向成分のいずれも単位長さで定義し、エッジ方向のバリエーションを単純化する。即ち、水平方向成分および垂直方向成分のいずれも−１、０、＋１のいずれかとみなすこととする。そうすると、エッジ方向は、図７（ｇ）のようにそれぞれ４５度ずつの角度をなす８つの方向と、水平方向成分および垂直方向成分がいずれも０となる方向無しの９つの状態に限定することができる。こうすることで、以下に示す軌跡生成部１６６の計算負荷を大幅に軽減することが可能となる。
【００４４】
また、図７（ｇ）の各方向に付随する数値は、それぞれのエッジ方向に対する優先順位（昇順）を示し、１のブロック２２０に複数のエッジ方向が選択可能な場合にはその優先順位が高いエッジ方向をそのブロック２２０のエッジ方向とする。
【００４５】
また、このようにエッジ方向の導出を単純化すると、水平方向成分や垂直方向成分が０ではない全ての場合において、その成分は単位長を有することとなる。例えば、水平方向成分が輝度にして−１の場合と＋１の場合とでは、輝度の差が２しかないにも拘わらず、エッジ方向として正反対の結果が生じてしまう。
【００４６】
そこで、エッジ方向の導出の際、不感帯を設けることとし、エッジ導出部１６４は、水平方向成分や垂直方向成分の絶対値が所定の閾値（例えば２０）以下であれば、水平方向成分や垂直方向成分を０とみなしてエッジ方向を導出する。こうすることで、ノイズ的に生じた水平方向成分や垂直方向成分によりエッジ方向が不安定になるのを回避でき、後述する軌跡生成部１６６においても安定した結果を得ることが可能となる。
【００４７】
また、ここでは、所定の閾値として固定値を用いる例を示したが、所定の閾値を可変値とすることもできる。例えば、撮像装置１１０においては、輝度が高いほど、ノイズの量が増える特性を有する。したがって、所定の閾値は、ブロック内の輝度、例えば、ブロック内の全輝度の平均値に応じた漸増関数（例えば、輝度の平均値を引数とする一次関数）で求められることが望ましい。こうして、ブロック内の全体的な輝度の高低によるノイズ量の変動に拘わらず、ノイズによってエッジ方向が不安定になるのを回避できる。このとき、全体的な輝度が高い場合、所定の閾値も高くなるが、そもそも輝度が高い範囲では、水平方向成分や垂直方向成分も大きくなるので、エッジ方向の安定した導出に支障はない。
【００４８】
図８は、エッジ導出部１６４によってエッジ方向が導出された場合のイメージを示すイメージ図である。ここでは、図７（ａ）の先行車両２１０の外形に当たる部分にそれぞれの外形に沿ってエッジ方向（図８中矢印で示す）が導出される。ただし、理解を容易にするため、エッジ方向を抽象的に大きく表しているが、実際はブロック毎にエッジ方向が導出されている。
【００４９】
ここでは、外形の各辺に関して同一のエッジ方向が導出される例を示しているが、その撮像状況によっては、エッジが近接して二重に検出されたり、部分的にエッジが検出できない場合もある。エッジが近接して二重に検出された場合、上述した図７（ｇ）の優先順位に基づいて１のエッジ方向を決定する。また、部分的にエッジが検出できない場合、後述する軌跡生成部１６６によってそのブロックの補間が実行される。
【００５０】
軌跡生成部１６６は、エッジ導出部１６４によって導出されたエッジ方向に基づいてブロック同士を関連付け、エッジ軌跡を生成する。具体的に、軌跡生成部１６６は、隣接するブロック同士を比較して、同一のエッジ方向を有している場合、そのブロック同士を関連付ける。こうすることで、図９に示すように、先行車両２１０の外形を表すエッジ軌跡２２２が生成される。ここでは、水平方向や垂直方向におけるエッジ画素のヒストグラム（距離分布）を導出するのではなく、エッジ自体がどのような軌跡を形成しているかに着目しているので、エッジの延伸方向が水平方向や垂直方向に対して傾いていても、また、エッジが曲率を有していても、適切にその軌跡を導出することが可能となる。
【００５１】
ただし、本来、このようにエッジ軌跡２２２を生成すると、対象物の外形をほぼ再現できるのだが、実際には、太陽光や照明光といった環境光やフロントガラスの曇りや汚れによってエッジが部分的に異なったり欠落していたりする場合もある。そこで、軌跡生成部１６６は、任意のブロックに隣接する複数のブロックのエッジ方向に基づいて任意のブロックのエッジ方向を補間する。具体的に、軌跡生成部１６６は、任意のブロックに隣接する２つのエッジ軌跡２２２が同一のエッジ方向を有する場合、その任意のブロックのエッジ方向に、２つのエッジ軌跡２２２のエッジ方向を上書きし、任意のブロックを含めた１つの長いエッジ軌跡を生成する。
【００５２】
図１０は、軌跡生成部１６６による補間動作を説明するための説明図である。例えば、図１０（ａ）に示したように配列された複数のブロック２２０において、エッジ導出部１６４が図１０（ａ）に示したように、それぞれエッジ方向を導出したとする。また、ここでは、ブロック２２０ｄは、何らかの原因で他のブロック２２０ａ、２２０ｂ、２２０ｃ、２２０ｅ、２２０ｆとの連続性が保たれていない状態を示している。
【００５３】
図１０（ａ）において、ブロック２２０ａ、２２０ｂ、２２０ｃのエッジ方向が等しいので、軌跡生成部１６６は、図１０（ｂ）のように、その３つのブロック２２０ａ、２２０ｂ、２２０ｃを関連付けてエッジ軌跡２２２ａを生成する。また、ブロック２２０ｅ、２２０ｆものエッジ方向が等しいので、軌跡生成部１６６は、図１０（ｂ）のように、その２つのブロック２２０ｅ、２２０ｆを関連付けてエッジ軌跡２２２ｂを生成する。
【００５４】
続いて、軌跡生成部１６６は、エッジ軌跡２２２の対象とならなかったブロック２２０ｄに隣接するブロックを検索し、エッジ軌跡２２２が複数存在するか判定する。そして、エッジ軌跡が複数（例えば、エッジ軌跡２２２ａ、２２２ｂ）存在し、かつ、その複数のエッジ軌跡２２２が同一のエッジ方向（例えば、画面上方向）を有する場合、軌跡生成部１６６は、図１０（ｃ）のように、ブロック２２０ｄのエッジ方向もエッジ軌跡２２２ａ、２２２ｂと同一のエッジ方向に変更する。そして、軌跡生成部１６６は、ブロック２２０ｄを含んで、新たに一連のエッジ軌跡２２２ｃを生成する。
【００５５】
このとき、１のブロック２２０に対して２系統のエッジ軌跡（２系統のエッジ方向）が対応する場合、図７（ｇ）に示す優先順位に従って、１のエッジ方向を選ぶとしてもよい。２系統のエッジ軌跡が対応するとは、例えば、１のブロック２２０の上下のブロック２２０に同一のエッジ方向を有するエッジ軌跡２２２があり、同様に、左右のブロック２２０に上下とは異なる同一のエッジ方向を有するエッジ軌跡２２２がある場合をいう。
【００５６】
また、ここでは、エッジ方向のみを用いてエッジ方向の補間を行っているが、例えば、上述したブロック２２０における、水平方向成分や垂直方向成分に対応する輝度の合計値の差分値（エッジ強度）のパラメータを加味して、補間を実行するか否か判断してもよい。かかる構成により、エッジ方向のみならず、エッジ強度についてもブロックやエッジ方向の連続性を判断することができ、高精度な補間を実現することが可能となる。
【００５７】
グループ化部１６８は、複数のエッジ軌跡２２２により囲まれる領域をグループ化して対象物とする。
【００５８】
図１１は、グループ化部１６８の動作を説明するための説明図である。グループ化部１６８は、制限された領域２１２からエッジ軌跡２２２を抽出し、対向するエッジ軌跡２２２を組み合わせる。例えば、グループ化部１６８は、図１１中実線で示すエッジ軌跡（１）とエッジ軌跡（２）とを組み合わせ、また、破線で示すエッジ軌跡（３）とエッジ軌跡（４）とを組み合わせる。そして、その対向するエッジ軌跡２２２に含まれる領域を対象物とする。したがって、ここでは、平行なエッジ軌跡（１）、（２）やエッジ軌跡（３）、（４）による矩形の対象物が抽出される。
【００５９】
ここで、対向しているエッジ軌跡が平行であるか否かは、エッジ軌跡２２２の近似曲線（近似直線）の傾きが等しいことや、エッジ軌跡２２２間のエッジ軌跡に垂直な線分の距離がいずれにおいても等しいことから把握することができる。
【００６０】
そして、グループ化部１６８は、グループ化した対象物が水平から傾いていると判定した場合、後述するパターンマッチングのためにその対象物にアフィン変換を施して座標変換してもよい。かかるアフィン変換に用いる変換角度は、いずれか１のエッジ軌跡２２２の水平または垂直からの角度を用いることができるが、エッジ軌跡２２２が複数ある場合、そのうちの複数または全てのエッジ軌跡２２２に関して水平または垂直からの角度を計算し、その平均値をとってもよい。こうすることで、アフィン変換による座標変換精度が向上する。
【００６１】
特定物決定部１７０は、グループ化部１６８がグループ化した対象物が所定の条件を満たしていれば、その対象物を特定物として決定する。ここでは、その条件として、パターンマッチングを挙げている。
【００６２】
特定物決定部１７０は、まず、対象物とデータ保持部１５２に保持されたパターン、例えば、典型的な車両の外観パターンを読み出し、対象物とその複数の外観パターンとのパターンマッチングを行う。かかるパターンマッチングとしては、上述したＳＡＤ、ＳＳＤ、ＮＣＣ等様々な手法を用いることができる。
【００６３】
ただし、本実施形態では、対象物が走行車線上に存在することから、それが走行車線上の車両であることをほぼ推定できる場合がある。例えば、走行車線上の対象物が矩形で近似でき、その水平方向の長さと垂直方向の長さの比率が、大凡車両と見なすことができる比率、例えば３：１〜１：２に含まれれば、パターンマッチングを実行することなく、車両とみなすとしてもよい。
【００６４】
また、ここでは、車両を例に挙げて説明したが、本実施形態は、人や、信号機、道路標識、その他の様々な特定物を区別することができる。例えば、本実施形態のエッジ軌跡は曲線にも対応できるため、人の外形等、曲線で表されることが多い対象物にも適用することが可能となる。
【００６５】
こうして、環境認識装置１３０では、輝度画像１２４から、１または複数の対象物を、特定物として抽出することができ、その情報を様々な制御に用いることが可能となる。例えば、図１１の対象物を特定物「車両」と特定することが可能となり、自車両１は、自車両１の速度と、その特定物「車両」との相対距離に応じて停止または減速すべきか否かを把握することができる。
【００６６】
このように環境認識装置１３０によれば、エッジの方向を通じて対象物を特定することで、曲線を描いたり、それ自体が傾斜したりする対象物の特定効率および特定精度の向上を図ることが可能となる。
【００６７】
（環境認識方法）
以下、環境認識装置１３０の具体的な処理を図１２〜図１７のフローチャートに基づいて説明する。図１２は、画像処理装置１２０から輝度画像１２４が送信された場合の割込処理に関する全体的な流れを示し、図１３〜図１７は、その中の個別のサブルーチンを示している。また、ここでは、ブロックとして２×２画素を挙げており、６００×２００画素の輝度画像１２４の左下隅を原点とし、画像水平方向に１〜３００ブロック、垂直方向に１〜１００ブロックの範囲で当該環境認識方法による処理を遂行する。
【００６８】
図１２に示すように、輝度画像１２４の受信を契機に当該環境認識方法による割込が発生すると、画像処理装置１２０から取得した輝度画像１２４が参照されて、領域制限部１６０によって制限された領域２１２に関し、各ブロックのエッジ方向が導出される（Ｓ３００）。そして、導出されたエッジ方向に基づいてブロック同士が関連付けられ、エッジ軌跡が生成され（Ｓ３０２）、さらに複数のエッジ軌跡に挟まれたブロックのエッジ方向が補間される（Ｓ３０４）。
【００６９】
続いて、上記複数のエッジ軌跡により囲まれる領域がグループ化され対象物が抽出されると（Ｓ３０６）、その対象物が、パターンマッチング等を通じて特定物として決定される（Ｓ３０８）。以下、上記の処理を具体的に説明する。
【００７０】
（エッジ方向導出処理Ｓ３００）
図１３を参照すると、まず、領域制限部１６０が、輝度を取得する領域を制限する（Ｓ３５０）。ここでは、仮に、輝度を取得する領域を、画像水平方向に５１〜２５０ブロック、垂直方向に２１〜８０ブロックの領域２１２に制限したとする。エッジ導出部１６４は、ブロックを特定するための垂直変数ｊを初期化（ここでは２０を代入）する（Ｓ３５２）。続いて、エッジ導出部１６４は、垂直変数ｊに「１」を加算（インクリメント）すると共に水平変数ｉを初期化（ここでは５０を代入）する（Ｓ３５４）。次に、エッジ導出部１６４は、水平変数ｉに「１」を加算する（Ｓ３５６）。ここで、水平変数ｉや垂直変数ｊを設けているのは、２００（５１〜２５０）×６０（２１〜８０）のブロック全てに対して当該エッジ方向導出処理を実行するためである。
【００７１】
エッジ導出部１６４は、輝度画像１２４から対象部位としてのブロック（ｉ，ｊ）内の２×２画素の輝度を輝度取得部１６２に取得させる（Ｓ３５８）。
【００７２】
エッジ導出部１６４は、式（Ａ＋Ｂ）−（Ｃ＋Ｄ）に基づいて水平方向成分を導出し（Ｓ３６０）、導出された水平方向成分の絶対値が所定の閾値以下であるか否か判定する（Ｓ３６２）。水平方向成分の絶対値が所定の閾値以下であれば（Ｓ３６２におけるＹＥＳ）、水平方向成分を０に置換する（Ｓ３６４）。また、水平方向成分の絶対値が所定の閾値を超えると（Ｓ３６２におけるＮＯ）、水平方向成分の符号が正を示しているか否か判定する（Ｓ３６６）。ここで、正を示していれば（Ｓ３６６におけるＹＥＳ）、水平方向成分を＋１に置換し（Ｓ３６８）、正を示していなければ（Ｓ３６６におけるＮＯ）、水平方向成分を−１に置換する（Ｓ３７０）。
【００７３】
同様に、エッジ導出部１６４は、式（Ａ＋Ｃ）−（Ｂ＋Ｄ）に基づいて垂直方向成分を導出し（Ｓ３７２）、導出された垂直方向成分の絶対値が所定の閾値以下であるか否か判定する（Ｓ３７４）。垂直方向成分の絶対値が所定の閾値以下であれば（Ｓ３７４におけるＹＥＳ）、垂直方向成分を０に置換する（Ｓ３７６）。また、垂直方向成分の絶対値が所定の閾値を超えると（Ｓ３７４におけるＮＯ）、垂直方向成分の符号が正を示しているか否か判定する（Ｓ３７８）。ここで、正を示していれば（Ｓ３７８におけるＹＥＳ）、垂直方向成分を＋１に置換し（Ｓ３８０）、正を示していなければ（Ｓ３７８におけるＮＯ）、垂直方向成分を−１に置換する（Ｓ３８２）。
【００７４】
そして、エッジ導出部１６４は、水平方向成分および垂直方向成分からエッジ方向を導出し、エッジ方向を示すエッジ方向識別子ｄ（例えば、図７（ｇ）に示す番号）をブロックに関連付けて、ブロック（ｉ，ｊ，ｄ）とする（Ｓ３８４）。
【００７５】
続いて、エッジ導出部１６４は、水平変数ｉが水平ブロックの最大値（ここでは２５０）を超えたか否か判定し（Ｓ３８６）、水平変数ｉが最大値を超えていなければ（Ｓ３８６におけるＮＯ）、ステップＳ３５６の水平変数ｉのインクリメント処理からを繰り返す。また、水平変数ｉが最大値を超えていれば（Ｓ３８６におけるＹＥＳ）、エッジ導出部１６４は、垂直変数ｊが垂直ブロックの最大値（ここでは８０）を超えたか否か判定する（Ｓ３８８）。そして、垂直変数ｊが最大値を超えていなければ（Ｓ３８８におけるＮＯ）、ステップＳ３５４の垂直変数ｊのインクリメント処理からを繰り返す。また、垂直変数ｊが最大値を超えていれば（Ｓ３８８におけるＹＥＳ）、当該エッジ方向導出処理を終了する。こうして各ブロックにエッジ方向が関連付けられる。
【００７６】
（エッジ軌跡生成処理Ｓ３０２）
図１４を参照すると、軌跡生成部１６６は、対象部位（画素）を特定するための垂直変数ｊを初期化（ここでは２０を代入）する（Ｓ４００）。続いて、軌跡生成部１６６は、垂直変数ｊに「１」を加算すると共に水平変数ｉを初期化（ここでは５０を代入）する（Ｓ４０２）。次に、軌跡生成部１６６は、水平変数ｉに「１」を加算する（Ｓ４０４）。
【００７７】
続いて、軌跡生成部１６６は、ブロック（ｉ，ｊ，ｄ）を抽出し（Ｓ４０６）、抽出したブロックに隣接するブロックにエッジ方向識別子ｄが等しいブロックが存在するか否か判定する（Ｓ４０８）。エッジ方向識別子ｄが等しいブロックが存在しなければ（Ｓ４０８におけるＮＯ）、次のステップＳ４２０に処理が移される。一方、エッジ方向識別子ｄが等しいブロックが存在すれば（Ｓ４０８におけるＹＥＳ）、いずれのブロックにもエッジ軌跡識別子ｔが関連付けられていないことを判定する（Ｓ４１０）。いずれのブロックにもエッジ軌跡識別子ｔが関連付けられていなければ（Ｓ４１０におけるＹＥＳ）、軌跡生成部１６６は、エッジ軌跡識別子ｔとしてまだ利用されていない番号のうち最も小さい値を両ブロックに関連付けて、ブロック（ｉ，ｊ，ｄ，ｔ）とする（Ｓ４１２）。
【００７８】
少なくとも一方のブロックにエッジ軌跡識別子ｔが関連付けられていれば（Ｓ４１０におけるＮＯ）、軌跡生成部１６６は、いずれか一方のみにエッジ軌跡識別子ｔが関連付けられているか否か判定する（Ｓ４１４）。いずれか一方のみにエッジ軌跡識別子ｔが関連付けられていれば（Ｓ４１４におけるＹＥＳ）、軌跡生成部１６６は、その関連付けられた一方のエッジ軌跡識別子ｔを、他方のブロックにも関連付ける（Ｓ４１６）。
【００７９】
両方のブロックにエッジ軌跡識別子ｔが関連付けられていれば（Ｓ４１４におけるＮＯ）、軌跡生成部１６６は、数値が高いブロックおよびそのブロックとエッジ軌跡識別子ｔが等しいブロック全てのエッジ軌跡識別子ｔを、低い数値に置換する（Ｓ４１８）。また、グループ化部１６８は、グループ化処理Ｓ３０６に先だって、このようなエッジ軌跡識別子ｔが関連付けられたブロックにより形成されるエッジ軌跡の傾きｌを予め求めておき、ブロック（ｉ，ｊ，ｄ，ｔ，ｌ）とする（Ｓ４２０）。
【００８０】
続いて、軌跡生成部１６６は、水平変数ｉが水平ブロックの最大値（ここでは２５０）を超えたか否か判定し（Ｓ４２２）、水平変数ｉが最大値を超えていなければ（Ｓ４２２におけるＮＯ）、ステップＳ４０４の水平変数ｉのインクリメント処理からを繰り返す。また、水平変数ｉが最大値を超えていれば（Ｓ４２２にけるＹＥＳ）、軌跡生成部１６６は、垂直変数ｊが垂直ブロックの最大値（ここでは８０）を超えたか否か判定する（Ｓ４２４）。そして、垂直変数ｊが最大値を超えていなければ（Ｓ４２４におけるＮＯ）、ステップＳ４０２の垂直変数ｊのインクリメント処理からを繰り返す。また、垂直変数ｊが最大値を超えていれば（Ｓ４２４におけるＹＥＳ）、当該エッジ軌跡生成処理を終了する。こうしてエッジ軌跡が生成される。
【００８１】
（エッジ軌跡補間処理Ｓ３０４）
図１５を参照すると、軌跡生成部１６６は、対象部位（画素）を特定するための垂直変数ｊを初期化（ここでは２０を代入）する（Ｓ４５０）。続いて、軌跡生成部１６６は、垂直変数ｊに「１」を加算すると共に水平変数ｉを初期化（ここでは５０を代入）する（Ｓ４５２）。次に、軌跡生成部１６６は、水平変数ｉに「１」を加算する（Ｓ４５４）。
【００８２】
軌跡生成部１６６は、ブロック（ｉ，ｊ，ｄ）を抽出し（Ｓ４５６）、抽出したブロックに隣接する複数のブロックに、エッジ軌跡識別子ｔが関連付けられており、かつ、その複数のブロックのエッジ方向識別子ｄが等しいか判定する（Ｓ４５８）。いずれかの条件を満たさなければ（Ｓ４５８におけるＮＯ）、次のステップＳ４６６に処理が移される。一方、いずれの条件も満たせば（Ｓ４５８におけるＹＥＳ）、軌跡生成部１６６は、抽出したブロックのエッジ方向識別子ｄに複数のブロックのエッジ方向識別子ｄを代入または置換する（Ｓ４６０）。また、軌跡生成部１６６は、抽出したブロックのエッジ軌跡識別子ｔを複数のブロックに関連付けられた複数のエッジ軌跡識別子ｔのうち低い数値とする。さらに、数値が高いブロックおよびそのブロックとエッジ軌跡識別子ｔが等しいブロック全てのエッジ軌跡識別子ｔを、低い数値に置換する（Ｓ４６２）。また、グループ化部１６８は、このように、統合されたエッジ軌跡の傾きｌを求め、統合されたブロック全てに上書きする（Ｓ４６４）。
【００８３】
続いて、軌跡生成部１６６は、水平変数ｉが水平ブロックの最大値（ここでは２５０）を超えたか否か判定し（Ｓ４６６）、水平変数ｉが最大値を超えていなければ（Ｓ４６６におけるＮＯ）、ステップＳ４５４の水平変数ｉのインクリメント処理からを繰り返す。また、水平変数ｉが最大値を超えていれば（Ｓ４６６にけるＹＥＳ）、軌跡生成部１６６は、垂直変数ｊが垂直ブロックの最大値（ここでは８０）を超えたか否か判定する（Ｓ４６８）。そして、垂直変数ｊが最大値を超えていなければ（Ｓ４６８におけるＮＯ）、ステップＳ４５２の垂直変数ｊのインクリメント処理からを繰り返す。また、垂直変数ｊが最大値を超えていれば（Ｓ４６８におけるＹＥＳ）、当該エッジ軌跡補間処理を終了する。
【００８４】
（グループ化処理Ｓ３０６）
図１６を参照すると、グループ化部１６８は、エッジ軌跡を特定するためのエッジ軌跡変数ｋを初期化（「０」を代入）する（Ｓ５００）。続いて、グループ化部１６８は、エッジ軌跡変数ｋに「１」を加算し、組み合わせ候補のエッジ軌跡を特定するためのエッジ軌跡変数ｍを初期化（ｋを代入）する（Ｓ５０２）。次に、グループ化部１６８は、エッジ軌跡変数ｍに「１」を加算する（Ｓ５０４）。ここで、エッジ軌跡変数ｋ、ｍを設けているのは、エッジ軌跡の全ての組み合わせについて当該グループ化処理を行うためである。
【００８５】
グループ化部１６８は、エッジ軌跡識別子ｔがエッジ軌跡変数ｋであるエッジ軌跡の傾きｌとエッジ軌跡識別子ｔがエッジ軌跡変数ｍであるエッジ軌跡の傾きｌとを比較し、その角度差が所定値、例えば５°以内であるか否か判定する（Ｓ５０６）。ここで角度差が所定値以内であれば（Ｓ５０６におけるＹＥＳ）、グループ化部１６８は、組み合わせ識別子ｐとしてまだ利用されていない番号のうち最も小さい値を両エッジ軌跡に関連付ける（Ｓ５０８）。
【００８６】
続いて、グループ化部１６８は、エッジ軌跡変数ｍがエッジ軌跡識別子ｔの最大値を超えたか否か判定し（Ｓ５１０）、エッジ軌跡変数ｍが最大値を超えていなければ（Ｓ５１０におけるＮＯ）、ステップＳ５０４のエッジ軌跡変数ｍのインクリメント処理からを繰り返す。また、エッジ軌跡変数ｍが最大値を超えていれば（Ｓ５１０にけるＹＥＳ）、グループ化部１６８は、エッジ軌跡変数ｋがエッジ軌跡識別子ｔの最大値−１を超えたか否か判定する（Ｓ５１２）。そして、エッジ軌跡変数ｋが最大値−１を超えていなければ（Ｓ５１２におけるＮＯ）、ステップＳ５０２のエッジ軌跡変数ｋのインクリメント処理からを繰り返す。また、エッジ軌跡変数ｋが最大値−１を超えていれば（Ｓ５１２におけるＹＥＳ）、次のステップＳ５１４に処理が移される。
【００８７】
次に、グループ化部１６８は、エッジ軌跡の組み合わせを特定するための組み合わせ変数ｎを初期化（「０」を代入）する（Ｓ５１４）。続いて、グループ化部１６８は、組み合わせ変数ｎに「１」を加算し、グループ化候補のエッジ軌跡の組み合わせを特定するための組み合わせ変数ｑを初期化（ｎを代入）する（Ｓ５１６）。次に、グループ化部１６８は、組み合わせ変数ｑに「１」を加算する（Ｓ５１８）。ここで、組み合わせ変数ｎ、ｑを設けているのは、エッジ軌跡の組み合わせ全てに関して当該グループ化処理を行うためである。
【００８８】
グループ化部１６８は、組み合わせ識別子ｐが組み合わせ変数ｎであるエッジ軌跡の組み合わせにより囲まれる座標範囲と、組み合わせ識別子ｐが組み合わせ変数ｑであるエッジ軌跡の組み合わせにより囲まれる座標範囲とを比較する。そして、その座標範囲が所定比率、例えば８０％重複しているか否か判定する（Ｓ５２０）。即ち、組み合わせ識別子ｐが組み合わせ変数ｎであるエッジ軌跡の組み合わせと、組み合わせ識別子ｐが組み合わせ変数ｑであるエッジ軌跡の組み合わせとが矩形を成すか否か判定する。ここで座標範囲が所定比率重複していれば（Ｓ５２０におけるＹＥＳ）、グループ化部１６８は、その２つの組み合わせにより囲まれる座標範囲をグループ化し、対象物識別子ｏを関連付ける（Ｓ５２２）。
【００８９】
続いて、グループ化部１６８は、組み合わせ変数ｑが組み合わせ識別子ｐの最大値を超えたか否か判定し（Ｓ５２４）、組み合わせ変数ｑが最大値を超えていなければ（Ｓ５２４におけるＮＯ）、ステップＳ５１８の組み合わせ変数ｑのインクリメント処理からを繰り返す。また、組み合わせ変数ｑが最大値を超えていれば（Ｓ５２４にけるＹＥＳ）、グループ化部１６８は、組み合わせ変数ｎが組み合わせ識別子ｐの最大値−１を超えたか否か判定する（Ｓ５２６）。そして、組み合わせ変数ｎが最大値−１を超えていなければ（Ｓ５２６におけるＮＯ）、ステップＳ５１６の組み合わせ変数ｎのインクリメント処理からを繰り返す。また、組み合わせ変数ｎが最大値−１を超えていれば（Ｓ５２６におけるＹＥＳ）、当該グループ化処理を終了する。こうして、グループ化された対象物が抽出される。
【００９０】
（特定物決定処理Ｓ３０８）
図１７を参照すると、特定物決定部１７０は、対象物を特定するための対象物変数ｇを初期化（「０」を代入）する（Ｓ５５０）。続いて、特定物決定部１７０は、対象物変数ｇに「１」を加算し、外観パターンを特定するためのパターン変数ｈを初期化（「０」を代入）する（Ｓ５５２）。次に、特定物決定部１７０は、パターン変数ｈに「１」を加算する（Ｓ５５４）。ここで、対象物変数ｇおよびパターン変数ｈを設けているのは、対象物と外観パターンとの全ての組み合わせに関してパターンマッチングを行うためである。
【００９１】
特定物決定部１７０は、対象物識別子ｏが対象物変数ｇである対象物に対し、パターン識別子ｒがパターン変数ｈである外観パターンとのパターンマッチングを実行し、外観パターンがマッチングするか否か判定する（Ｓ５５６）。ここで外観パターンにマッチングすると（Ｓ５５６におけるＹＥＳ）、特定物決定部１７０は、その対象物を、パターン識別子ｒがパターン変数ｈである特定物として特定する（Ｓ５５８）。
【００９２】
続いて、特定物決定部１７０は、パターン変数ｈがパターン識別子ｒの最大値を超えたか否か判定し（Ｓ５６０）、パターン変数ｈが最大値を超えていなければ（Ｓ５６０におけるＮＯ）、ステップＳ５５４のパターン変数ｈのインクリメント処理からを繰り返す。また、パターン変数ｈが最大値を超えていれば（Ｓ５６０にけるＹＥＳ）、特定物決定部１７０は、対象物変数ｇが対象物識別子ｏの最大値を超えたか否か判定する（Ｓ５６２）。そして、対象物変数ｇが最大値を超えていなければ（Ｓ５６２におけるＮＯ）、ステップＳ５５２の対象物変数ｇのインクリメント処理からを繰り返す。また、対象物変数ｇが最大値を超えていれば（Ｓ５６２におけるＹＥＳ）、当該特定物決定処理を終了する。こうして、グループ化された対象物が正式に特定物として決定される。
【００９３】
以上、説明したように、環境認識装置１３０によれば、エッジの方向を通じて対象物を特定することで、曲線を描いたり、それ自体が傾斜したりする対象物の特定効率および特定精度の向上を図ることが可能となる。
【００９４】
また、コンピュータを、環境認識装置１３０として機能させるプログラムや当該プログラムを記録した、コンピュータで読み取り可能なフレキシブルディスク、光磁気ディスク、ＲＯＭ、ＣＤ、ＤＶＤ、ＢＤ等の記憶媒体も提供される。ここで、プログラムは、任意の言語や記述方法にて記述されたデータ処理手段をいう。
【００９５】
以上、添付図面を参照しながら本発明の好適な実施形態について説明したが、本発明はかかる実施形態に限定されないことは言うまでもない。当業者であれば、特許請求の範囲に記載された範疇において、各種の変更例または修正例に想到し得ることは明らかであり、それらについても当然に本発明の技術的範囲に属するものと了解される。
【００９６】
例えば、上述した実施形態では、ブロックのエッジ方向を導出する際、水平方向成分として（Ａ＋Ｂ）−（Ｃ＋Ｄ）、垂直方向成分として（Ａ＋Ｃ）−（Ｂ＋Ｄ）を用いている。しかし、エッジ方向は、ブロック毎の輝度のエッジが伸長する方向に対して予め定められた任意の角度を有する方向になれば足りる。例えば、水平方向成分を（Ａ＋Ｃ）−（Ｂ＋Ｄ）、垂直方向成分を（Ａ＋Ｂ）−（Ｃ＋Ｄ）とする等、様々な組み合わせを用いることができる。
【００９７】
また、上述した実施形態では、ブロックを２×２画素としたが、画素数に制限はなく、さらに多くの画素を含むとしてもよい。例えば、４×４画素とした場合、エッジ方向は、水平方向に対して２分割した左右それぞれの領域（２×４画素）における輝度の合計値の差分と、ブロックを垂直方向に対して２分割した上下それぞれの領域（４×２画素）における輝度の合計値の差分とによって導出すればよい。また、ブロックの一辺が偶数の場合に限らず、奇数であってもよい。その場合、中央に位置する画素列または画素行をエッジ方向の計算に含めない（無視する）ことで、適切な値を導出することができる。
【００９８】
また、上述した実施形態において、軌跡生成部１６６は、１のブロックの隣接するエッジ軌跡を用いてその１のブロックを補間する例を挙げて説明したが、補間のブロック数はかかる場合に限らない。例えば、同一のエッジ方向を有する２つのエッジ軌跡の連続性を考慮して、その間にあるブロックも同一のエッジ方向を有すると見なしてよい場合、そのブロックの数に拘わらず、同一のエッジ方向として補間することができる。
【００９９】
また、上述した実施形態においては、対象物の三次元位置を複数の撮像装置１１０を用い画像データ間の視差に基づいて導出しているが、かかる場合に限られず、例えば、レーザレーダ測距装置等、既知の様々な距離測定装置を用いることができる。ここで、レーザレーダ測距装置は、検出領域１２２にレーザビームを投射し、このレーザビームが物体に当たって反射してくる光を受光し、この所要時間から物体までの距離を測定するものである。
【０１００】
また、上述した実施形態では、位置情報取得部１５８が、画像処理装置１２０から距離画像（視差情報）１２６を受けて三次元の位置情報を生成している例を挙げている。しかし、かかる場合に限られず、画像処理装置１２０において予め三次元の位置情報を生成し、位置情報取得部１５８は、その生成された三次元の位置情報を取得するとしてもよい。このようにして、機能分散を図り、環境認識装置１３０の処理負荷を軽減することが可能となる。
【０１０１】
また、上述した実施形態においては、位置情報取得部１５８、領域制限部１６０、輝度取得部１６２、エッジ導出部１６４、軌跡生成部１６６、グループ化部１６８、特定物決定部１７０は中央制御部１５４によってソフトウェアで動作するように構成している。しかし、上記の機能部をハードウェアによって構成することも可能である。
【０１０２】
また、特定物決定部１７０は、例えばパターンマッチングによって特定物と決定しているが、かかる場合に限らず、さらに、他の様々な条件を満たしている場合に特定物として決定してもよい。例えば、対象物中における水平方向および鉛直方向の相対距離の推移がほぼ等しい（連続する）場合や、ｚ座標に対する相対移動速度が等しい場合に特定物とする。このとき対象物中における水平方向および鉛直方向の相対距離の推移は、ハフ変換あるいは最小二乗法による近似直線によって特定することができる。
【０１０３】
なお、本明細書の環境認識方法の各工程は、必ずしもフローチャートとして記載された順序に沿って時系列に処理する必要はなく、並列的あるいはサブルーチンによる処理を含んでもよい。
【産業上の利用可能性】
【０１０４】
本発明は、検出領域における対象物の輝度に基づいて、その対象物を認識する環境認識装置および環境認識方法に利用することができる。
【符号の説明】
【０１０５】
１ …車両
１２２ …検出領域
１２４ …輝度画像
１２６ …距離画像
１３０ …環境認識装置
１６０ …領域制限部
１６２ …輝度取得部
１６４ …エッジ導出部
１６６ …軌跡生成部
１６８ …グループ化部
１７０ …特定物決定部
２２０ …ブロック
２２２ …エッジ軌跡
【特許請求の範囲】
【請求項１】
検出領域内を分割した複数のブロック毎の輝度を取得する輝度取得部と、
前記ブロック毎の輝度のエッジが伸長する方向に基づくエッジ方向を導出するエッジ導出部と、
前記エッジ方向に基づいて前記ブロック同士を関連付け、エッジ軌跡を生成する軌跡生成部と、
複数の前記エッジ軌跡により囲まれる領域をグループ化して対象物とするグループ化部と、
前記対象物を特定物として決定する特定物決定部と、
を備えることを特徴とする環境認識装置。
【請求項２】
前記エッジ導出部は、前記ブロックを垂直方向に対して２分割した左右それぞれの領域における輝度の合計値の差分と、前記ブロックを水平方向に対して２分割した上下それぞれの領域における輝度の合計値の差分とに基づいてエッジ方向を導出することを特徴とする請求項１に記載の環境認識装置。
【請求項３】
前記エッジ導出部は、前記合計値の差分の絶対値が所定の閾値以下であれば、その方向に関して該合計値の差分を用いずにエッジ方向を導出することを特徴とする請求項２に記載の環境認識装置。
【請求項４】
前記所定の閾値は、前記ブロック内の全輝度の平均値に応じた漸増関数で求められることを特徴とする請求項３に記載の環境認識装置。
【請求項５】
前記軌跡生成部は、任意のブロックに隣接する複数のブロックのエッジ方向に基づいて該任意のブロックのエッジ方向を補間することを特徴とする請求項１から４のいずれか１項に記載の環境認識装置。
【請求項６】
前記輝度取得部による輝度を取得する領域を、無限遠を含む、前記検出領域より小さい領域に制限する領域制限部をさらに備えることを特徴とする請求項１から５のいずれか１項に記載の環境認識装置。
【請求項７】
検出領域内を分割した複数のブロック毎の輝度を取得し、
前記ブロック毎の輝度のエッジが伸長する方向に基づくエッジ方向を導出し、
前記エッジ方向に基づいて前記ブロック同士を関連付け、エッジ軌跡を生成し、
複数の前記エッジ軌跡により囲まれる領域をグループ化して対象物とし、
前記対象物を特定物として決定することを特徴とする環境認識方法。
【請求項１】
検出領域内を分割した複数のブロック毎の輝度を取得する輝度取得部と、
前記ブロック毎の輝度のエッジが伸長する方向に基づくエッジ方向を導出するエッジ導出部と、
前記エッジ方向に基づいて前記ブロック同士を関連付け、エッジ軌跡を生成する軌跡生成部と、
複数の前記エッジ軌跡により囲まれる領域をグループ化して対象物とするグループ化部と、
前記対象物を特定物として決定する特定物決定部と、
を備えることを特徴とする環境認識装置。
【請求項２】
前記エッジ導出部は、前記ブロックを垂直方向に対して２分割した左右それぞれの領域における輝度の合計値の差分と、前記ブロックを水平方向に対して２分割した上下それぞれの領域における輝度の合計値の差分とに基づいてエッジ方向を導出することを特徴とする請求項１に記載の環境認識装置。
【請求項３】
前記エッジ導出部は、前記合計値の差分の絶対値が所定の閾値以下であれば、その方向に関して該合計値の差分を用いずにエッジ方向を導出することを特徴とする請求項２に記載の環境認識装置。
【請求項４】
前記所定の閾値は、前記ブロック内の全輝度の平均値に応じた漸増関数で求められることを特徴とする請求項３に記載の環境認識装置。
【請求項５】
前記軌跡生成部は、任意のブロックに隣接する複数のブロックのエッジ方向に基づいて該任意のブロックのエッジ方向を補間することを特徴とする請求項１から４のいずれか１項に記載の環境認識装置。
【請求項６】
前記輝度取得部による輝度を取得する領域を、無限遠を含む、前記検出領域より小さい領域に制限する領域制限部をさらに備えることを特徴とする請求項１から５のいずれか１項に記載の環境認識装置。
【請求項７】
検出領域内を分割した複数のブロック毎の輝度を取得し、
前記ブロック毎の輝度のエッジが伸長する方向に基づくエッジ方向を導出し、
前記エッジ方向に基づいて前記ブロック同士を関連付け、エッジ軌跡を生成し、
複数の前記エッジ軌跡により囲まれる領域をグループ化して対象物とし、
前記対象物を特定物として決定することを特徴とする環境認識方法。
【図１】
【図２】
【図３】
【図４】
【図５】
【図６】
【図７】
【図８】
【図９】
【図１０】
【図１１】
【図１２】
【図１３】
【図１４】
【図１５】
【図１６】
【図１７】
【図２】
【図３】
【図４】
【図５】
【図６】
【図７】
【図８】
【図９】
【図１０】
【図１１】
【図１２】
【図１３】
【図１４】
【図１５】
【図１６】
【図１７】
【公開番号】特開２０１２−２４３０４８（Ｐ２０１２−２４３０４８Ａ）
【公開日】平成２４年１２月１０日（２０１２．１２．１０）
【国際特許分類】
【出願番号】特願２０１１−１１１９９８（Ｐ２０１１−１１１９９８）
【出願日】平成２３年５月１９日（２０１１．５．１９）
【出願人】（０００００５３４８）富士重工業株式会社 (3,010)
【Ｆターム（参考）】
【公開日】平成２４年１２月１０日（２０１２．１２．１０）
【国際特許分類】
【出願日】平成２３年５月１９日（２０１１．５．１９）
【出願人】（０００００５３４８）富士重工業株式会社 (3,010)
【Ｆターム（参考）】
[ Back to top ]