環境認識装置および環境認識方法
【課題】処理負荷を軽減すると共にメモリの記憶領域を低減することで、対象物の特定効率の向上を図る。
【解決手段】環境認識装置１３０は、特定物の形状に関する情報である形状情報を予め保持しておき、検出領域内を分割した複数の対象部位の輝度を取得して、エッジを有する対象部位を抽出し、エッジを有する対象部位の相対距離を取得し、相対距離に応じた形状情報に基づいてエッジを有する対象部位にハフ変換を施し、形状情報で示される特定物を決定する。
【解決手段】環境認識装置１３０は、特定物の形状に関する情報である形状情報を予め保持しておき、検出領域内を分割した複数の対象部位の輝度を取得して、エッジを有する対象部位を抽出し、エッジを有する対象部位の相対距離を取得し、相対距離に応じた形状情報に基づいてエッジを有する対象部位にハフ変換を施し、形状情報で示される特定物を決定する。
【発明の詳細な説明】
【技術分野】
【０００１】
本発明は、検出領域における対象物の輝度に基づいて、その対象物を認識する環境認識装置および環境認識方法に関する。
【背景技術】
【０００２】
従来、自車両の前方に位置する車両や信号機等の障害物といった対象物を検出し、検出した対象物との衝突を回避したり、先行車両との車間距離を安全な距離に保つように制御する技術が知られている（例えば、特許文献１、２）。
【０００３】
また、このような技術では、対象物を一律に物として特定するのみならず、さらに高精度な制御を行うため、対象物が自車両と同速度で走行している先行車両であるのか、移動を伴わない固定された物であるのか等を判定する技術も存在する。ここで、対象物を、検出領域の撮像を通じて検出する場合、対象物が何であるかを特定する前に、撮像された画像から対象物自体を抽出（切り出し）しなければならない。
【０００４】
かかる対象物を抽出する方法としては、画像内における輝度が等しい画素同士をグループ化して対象物とする方法も考えられるが、撮像状況によっては、環境光の影響を受けたり、対象物自体の経時変化（色褪せ）により、対象物の本来の輝度を取得できない場合がある。そこで、画素間の輝度の差により生じるエッジを抽出し、そのエッジで形成される形状を通じて対象物を特定する方法も採用されている。
【０００５】
例えば、撮像された画像から、隣接する画素間の微分値によってエッジを有する画素（エッジ画素）を抽出し、画像の水平方向および垂直方向におけるエッジ画素のヒストグラム（距離分布）を導出して、そのピークに相当する領域を対象物の端部と推定する技術が知られている。また、ヒストグラムに基づく融合パターンが、予め格納されている辞書パターンと比較され、対象物が車両であるか否か判定する技術も開示されている（例えば、特許文献３）。
【０００６】
さらに、エッジ画像を含む画像から円や直線などの幾何学的な形状を検出する、所謂ハフ変換を用い、幾何学形状の一部が欠けているものから完全な幾何学形状の対象物を抽出する技術も公開されている。かかる技術によると、例えば、円の形状をした道路標識を抽出するために、検出領域から抽出されたエッジ画像を含む複数段階の大きさの円を想定してハフ変換を施し、その複数段階の大きさの円から最も適した１の大きさの円を道路標識として抽出する。
【先行技術文献】
【特許文献】
【０００７】
【特許文献１】特許第３３４９０６０号
【特許文献２】特開平１０−２８３４６１号公報
【特許文献３】特開２００３−９９７６２号公報
【発明の概要】
【発明が解決しようとする課題】
【０００８】
しかし、上述したハフ変換を用いて最も適した１の大きさの円を抽出する技術では、１のエッジ画像に対し、可能性のある複数段階の大きさの円を想定し、その複数段階の大きさの円（投票テーブル）毎にハフ変換を施すので、処理負荷が重く、メモリの記憶領域を多大に占有することとなる。さらに、このような処理を画像内の全てのエッジに対して実行しているので、処理負荷やメモリの記憶領域が膨大になるといった問題があった。
【０００９】
本発明は、このような課題に鑑み、処理負荷を軽減すると共にメモリの記憶領域を低減することで、対象物の特定効率の向上を図ることが可能な、環境認識装置および環境認識方法を提供することを目的としている。
【課題を解決するための手段】
【００１０】
上記課題を解決するために、本発明の環境認識装置は、特定物の形状に関する情報である形状情報を保持するデータ保持部と、検出領域内を分割した複数の対象部位の輝度を取得して、エッジを有する対象部位を抽出するエッジ抽出部と、エッジを有する対象部位の相対距離を取得する位置情報取得部と、相対距離に応じた形状情報に基づいてエッジを有する対象部位にハフ変換を施し、形状情報で示される特定物を決定する特定物決定部と、を備えることを特徴とする。特定物の形状は円であってもよい。
【００１１】
特定物決定部は、エッジを有する対象部位を一部とする円の中心が存在する位置を、対象部位のエッジが延伸する方向に垂直な所定範囲に絞って特定してもよい。
【００１２】
位置情報取得部はエッジを有する対象部位の路面からの高さも取得し、特定物決定部は、相対距離および路面からの高さに基づく所定の部分検索領域に含まれる対象部位のみを対象として、形状情報で示される特定物を決定してもよい。
【００１３】
上記課題を解決するために、本発明の環境認識方法は、特定物の形状に関する情報である形状情報を予め保持しておき、検出領域内を分割した複数の対象部位の輝度を取得して、エッジを有する対象部位を抽出し、エッジを有する対象部位の相対距離を取得し、相対距離に応じた形状情報に基づいてエッジを有する対象部位にハフ変換を施し、形状情報で示される特定物を決定することを特徴とする。
【発明の効果】
【００１４】
本発明によれば、ハフ変換の適用処理を工夫することで、処理負荷を軽減すると共にメモリの記憶領域を低減し対象物の特定効率の向上を図ることが可能となる。
【図面の簡単な説明】
【００１５】
【図１】環境認識システムの接続関係を示したブロック図である。
【図２】輝度画像を説明するための説明図である。
【図３】環境認識装置の概略的な機能を示した機能ブロック図である。
【図４】エッジ抽出部の動作を説明するための説明図である。
【図５】位置情報取得部による三次元の位置情報への変換を説明するための説明図である。
【図６】ハフ変換を説明するための説明図である。
【図７】特定物決定部による対象領域の制限処理を説明するための説明図である。
【図８】本実施形態におけるハフ変換処理を説明するための説明図である。
【図９】特定物決定部による他の投票処理を示した説明図である。
【図１０】環境認識方法の全体的な流れを示したフローチャートである。
【図１１】投票処理の流れを示したフローチャートである。
【図１２】特定物決定処理の流れを示したフローチャートである。
【発明を実施するための形態】
【００１６】
以下に添付図面を参照しながら、本発明の好適な実施形態について詳細に説明する。かかる実施形態に示す寸法、材料、その他具体的な数値などは、発明の理解を容易とするための例示にすぎず、特に断る場合を除き、本発明を限定するものではない。なお、本明細書及び図面において、実質的に同一の機能、構成を有する要素については、同一の符号を付することにより重複説明を省略し、また本発明に直接関係のない要素は図示を省略する。
【００１７】
（環境認識システム１００）
図１は、環境認識システム１００の接続関係を示したブロック図である。環境認識システム１００は、車両１内に設けられた、撮像装置１１０と、画像処理装置１２０と、環境認識装置１３０と、車両制御装置１４０とを含んで構成される。
【００１８】
撮像装置１１０は、ＣＣＤ（Charge-Coupled Device）やＣＭＯＳ（Complementary Metal-Oxide Semiconductor）等の撮像素子を含んで構成され、カラー画像、即ち、画素単位で３つの色相（赤、緑、青）の輝度を取得することができる。ここでは、撮像装置１１０で撮像されたカラーの画像を輝度画像と呼び、後述する距離画像と区別する。また、撮像装置１１０は、車両１の進行方向側において２つの撮像装置１１０それぞれの光軸が略平行になるように、略水平方向に離隔して配置される。撮像装置１１０は、車両１の前方の検出領域に存在する対象物を撮像した画像データを、例えば１／６０秒毎（６０ｆｐｓ）に連続して生成する。ここで、対象物は、車両、信号機、道路、ガードレールといった独立して存在する立体物のみならず、道路標識、テールランプやウィンカー、信号機の各点灯部分等、立体物の部分として特定できる物も含む。以下の実施形態における各機能部は、このような画像データの更新を契機として各処理を遂行する。
【００１９】
画像処理装置１２０は、２つの撮像装置１１０それぞれから画像データを取得し、２つの画像データに基づいて、画像中の任意のブロック（所定数の画素を集めたもの）の視差、および、任意のブロックの画面中の位置を示す画面位置を含む視差情報を導出する。画像処理装置１２０は、一方の画像データから任意に抽出したブロック（例えば水平４画素×垂直４画素の配列）に対応するブロックを他方の画像データから検索する、所謂パターンマッチングを用いて視差を導き出す。ここで、水平は、撮像した画像の画面横方向を示し、実空間上の水平に相当する。また、垂直は、撮像した画像の画面縦方向を示し、実空間上の鉛直方向に相当する。
【００２０】
このパターンマッチングとしては、２つの画像データ間において、任意の画像位置を示すブロック単位で輝度値（Ｙ色差信号）を比較することが考えられる。例えば、輝度値の差分をとるＳＡＤ（Sum of Absolute Difference）、差分を２乗して用いるＳＳＤ（Sum of Squared intensity Difference）や、各画素の輝度値から平均値を引いた分散値の類似度をとるＮＣＣ（Normalized Cross Correlation）等の手法がある。画像処理装置１２０は、このようなブロック単位の視差導出処理を検出領域（例えば６００画素×２００画素）に映し出されている全てのブロックについて行う。ここでは、ブロックを４画素×４画素としているが、ブロック内の画素数は任意に設定することができる。
【００２１】
ただし、画像処理装置１２０では、検出分解能単位であるブロック毎に視差を導出することはできるが、そのブロックがどのような対象物の一部であるかを認識できない。したがって、視差情報は、対象物単位ではなく、検出領域における検出分解能単位（例えばブロック単位）で独立して導出されることとなる。ここでは、このようにして導出された視差情報（後述する相対距離に相当）を画像データに対応付けた画像を距離画像という。
【００２２】
図２は、輝度画像１２４と距離画像１２６を説明するための説明図である。例えば、２つの撮像装置１１０を通じ、検出領域１２２について図２（ａ）のような輝度画像（画像データ）１２４が生成されたとする。ただし、ここでは、理解を容易にするため、２つの輝度画像１２４の一方のみを模式的に示している。画像処理装置１２０は、このような輝度画像１２４からブロック毎の視差を求め、図２（ｂ）のような距離画像１２６を形成する。距離画像１２６における各ブロックには、そのブロックの視差が関連付けられている。ここでは、説明の便宜上、視差が導出されたブロックを黒のドットで表している。
【００２３】
視差は、画像のエッジ部分（隣り合う画素間で明暗の差分が大きい部分）で特定され易いので、距離画像１２６において黒のドットが付されている、視差が導出されたブロックは、輝度画像１２４においてもエッジとなっていることが多い。したがって、図２（ａ）に示す輝度画像１２４と図２（ｂ）に示す距離画像１２６とは各対象物の輪郭について似たものとなる。
【００２４】
環境認識装置１３０は、画像処理装置１２０から輝度画像１２４を取得し、輝度画像１２４における輝度のエッジに基づいて検出領域１２２における所定の形状を有する特定物を特定する。また、環境認識装置１３０は、画像処理装置１２０から距離画像１２６を取得し、距離画像１２６における、検出領域１２２内のブロック毎の視差情報を、所謂ステレオ法を用いて、相対距離を含む三次元の位置情報に変換する。かかる相対距離は上記特定物の特定に用いられる。ここで、ステレオ法は、三角測量法を用いることで、対象物の視差からその対象物の撮像装置１１０に対する相対距離を導出する方法である。かかる環境認識装置１３０に関しては、後ほど詳述する。
【００２５】
車両制御装置１４０は、環境認識装置１３０で特定された対象物との衝突を回避したり、先行車両との車間距離を安全な距離に保つ制御を実行する。具体的に、車両制御装置１４０は、操舵の角度を検出する舵角センサ１４２や車両１の速度を検出する車速センサ１４４等を通じて現在の車両１の走行状態を取得し、アクチュエータ１４６を制御して先行車両との車間距離を安全な距離に保つ。ここで、アクチュエータ１４６は、ブレーキ、スロットルバルブ、舵角等を制御するために用いられる車両制御用のアクチュエータである。また、車両制御装置１４０は、対象物との衝突が想定される場合、運転者の前方に設置されたディスプレイ１４８にその旨警告表示（報知）を行うと共に、アクチュエータ１４６を制御して車両１を自動的に制動する。かかる車両制御装置１４０は、環境認識装置１３０と一体的に形成することもできる。
【００２６】
（環境認識装置１３０）
図３は、環境認識装置１３０の概略的な機能を示した機能ブロック図である。図３に示すように、環境認識装置１３０は、Ｉ／Ｆ部１５０と、データ保持部１５２と、中央制御部１５４とを含んで構成される。
【００２７】
Ｉ／Ｆ部１５０は、画像処理装置１２０や車両制御装置１４０との双方向の情報交換を行うためのインターフェースである。データ保持部１５２は、ＲＡＭ、フラッシュメモリ、ＨＤＤ等で構成され、特定物テーブルや、以下に示す各機能部の処理に必要な様々な情報を保持し、また、画像処理装置１２０から受信した輝度画像１２４を一時的に保持する。ここで、特定物テーブルには、特定物の形状に関する情報である形状情報が特定物に関連付けられている。かかる形状情報は、特定物の形状を特定可能な情報であり、例えば、特定物が円形状であった場合、実空間上での特定物の半径（例えば３０ｃｍ）等が保持されている。
【００２８】
中央制御部１５４は、中央処理装置（ＣＰＵ）、プログラム等が格納されたＲＯＭ、ワークエリアとしてのＲＡＭ等を含む半導体集積回路で構成され、システムバス１５６を通じて、Ｉ／Ｆ部１５０やデータ保持部１５２を制御する。また、本実施形態において、中央制御部１５４は、エッジ抽出部１６０、位置情報取得部１６２、特定物決定部１６４としても機能する。
【００２９】
エッジ抽出部１６０は、受信した輝度画像１２４から、画素単位で輝度（画素単位で３つの色相（赤、緑、青）の輝度）を取得し、検出領域内を分割した複数の対象部位における画素間の輝度の差分によりエッジの有無を判断して、エッジを有する対象部位を抽出する。また、このとき、後述する特定物決定部１６４で利用するエッジが延伸する方向（以下、単にエッジ延伸方向という。）も併せて導出する。
【００３０】
具体的に、エッジ抽出部１６０は、対象部位（ここでは２×２画素のブロック）を垂直方向に対して２分割した上下それぞれの領域における輝度の合計値の差分（以下、単に水平方向成分という。）と、対象部位を水平方向に対して２分割した左右それぞれの領域における輝度の合計値の差分（以下、単に垂直方向成分という。）とに基づいてエッジ方向を導出する。
【００３１】
図４は、エッジ抽出部１６０の動作を説明するための説明図である。ここでは、仮に、輝度画像１２４の一部に、図４（ａ）に示すような道路標識２１０が映し出されたとする。そして、道路標識２１０に相当する画像中の任意の対象部位２２０ａを拡大すると、図４（ｂ）のような輝度分布になり、他の任意の対象部位２２０ｂを拡大すると、図４（ｃ）のような輝度分布になっていたとする。
【００３２】
また、輝度の範囲を０〜２５５とし、図４（ｂ）中、仮に、白色の塗りつぶしを輝度「２００」、黒色の塗りつぶしを輝度「０」とする。ここでは、仮に、対象部位２２０の図中左上画素の輝度をＡ、右上画素の輝度をＢ、左下画素の輝度をＣ、右下画素の輝度をＤとし、エッジ方向の水平方向成分を（Ａ＋Ｂ）−（Ｃ＋Ｄ）、エッジ方向の垂直方向成分を（Ａ＋Ｃ）−（Ｂ＋Ｄ）と定義する。そして、エッジ抽出部１６０は、水平方向成分または垂直方向成分のいずれかで、その計算結果の絶対値が所定値（例えば、１００）以上であると、その対象部位２２０をエッジであると判断する。
【００３３】
図４（ｂ）に示す対象部位２２０ａのエッジ方向の水平方向成分は、（Ａ＋Ｂ）−（Ｃ＋Ｄ）＝（２００＋０）―（２００＋０）＝０となり、エッジ方向の垂直方向成分は、（Ａ＋Ｃ）−（Ｂ＋Ｄ）＝（２００＋２００）−（０＋０）＝＋４００となる。ここでは垂直方向成分の絶対値が１００以上なので、当該対象部位２２０ａはエッジと判断される。また、水平方向成分「０」、垂直方向成分「＋４００」なので、エッジ延伸方向は、図４（ｄ）の如く垂直方向となる。ただし、エッジ延伸方向は、エッジの延伸線分が画像に対してどの程度傾いているかを把握できれば足り、厳密な方向、例えば、垂直上向きか下向きかを要さない。
【００３４】
同様に、図４（ｃ）に示す対象部位２２０ｂのエッジ方向の水平方向成分は、（Ａ＋Ｂ）−（Ｃ＋Ｄ）＝（０＋０）―（２００＋２００）＝−４００となり、エッジ方向の垂直方向成分は、（Ａ＋Ｃ）−（Ｂ＋Ｄ）＝（０＋２００）−（０＋２００）＝０となる。ここでは水平方向成分の絶対値が１００以上なので、当該対象部位２２０ｂはエッジと判断される。また、水平方向成分「−４００」、垂直方向成分「０」なので、エッジ延伸方向は、図４（ｅ）の如く水平方向となる。
【００３５】
このように、対象部位２２０内の半分の領域から他の半分の領域を減算する構成により、対象部位２２０内全体に含まれる輝度のオフセットやノイズを取り除くことができ、エッジを適切に抽出することが可能となる。また、加減算のみの単純計算でエッジ延伸方向を導出できるので処理負荷が軽い。
【００３６】
本実施形態では、後述する特定物決定部１６４において、このように導出されたエッジ延伸方向に基づき、ハフ変換における投票する範囲を制限することもある。ここで、導出した上記水平方向成分や垂直方向成分をそのまま用いて単純にエッジ延伸方向としてしまうと、そのエッジ延伸方向のバリエーションが無限に存在することとなる。そうすると、その無限のバリエーションに対して投票する範囲を設定しなければならない。
【００３７】
そこで、本実施形態では、水平方向成分および垂直方向成分のいずれも単位長さで定義し、エッジ延伸方向のバリエーションを単純化する。即ち、水平方向成分および垂直方向成分のいずれも−１、０、＋１のいずれかとみなすこととする。そうすると、エッジ延伸方向は、図４（ｆ）のようにそれぞれ４５度ずつの角度をなす４つの方向に限定することができる。こうすることで、以下に示す特定物決定部１６４の処理負荷を大幅に軽減することが可能となる。
【００３８】
位置情報取得部１６２は、受信した距離画像１２６における検出領域１２２内の対象部位２２０毎の視差情報を、ステレオ法を用いて、水平距離ｘ、路面からの高さｙおよび相対距離ｚを含む三次元の位置情報に変換する。ここで、視差情報が、距離画像１２６における各対象部位２２０の視差を示すのに対し、三次元の位置情報は、実空間における各対象部位２２０の相対距離の情報を示す。また、視差情報が画素単位ではなくブロック単位、即ち複数の画素単位で導出されている場合、その視差情報はブロックに属する全ての画素の視差情報とみなして、画素単位の計算を実行することができる。
【００３９】
図５は、位置情報取得部１６２による三次元の位置情報への変換を説明するための説明図である。位置情報取得部１６２は、まず、距離画像１２６を図５の如く画素単位の座標系として認識する。ここでは、図５中、左下隅を原点（０，０）とし、横方向をｉ座標軸、縦方向をｊ座標軸とする。したがって、視差ｄｐを有する画素は、画素位置ｉ、ｊと視差ｄｐによって（ｉ，ｊ，ｄｐ）のように表すことができる。
【００４０】
本実施形態における実空間上の三次元座標系を、車両１を中心とした相対座標系で考える。ここでは、車両１の進行方向右側方をＸ軸の正方向、車両１の上方をＹ軸の正方向、車両１の進行方向（前方）をＺ軸の正方向、２つの撮像装置１１０の中央を通る鉛直線と道路表面との交点を原点（０，０，０）とする。このとき、道路を平面と仮定すると、道路表面がＸ−Ｚ平面（ｙ＝０）と一致することとなる。位置情報取得部１６２は、以下の（数式１）〜（数式３）によって距離画像１２６上のブロック（ｉ，ｊ，ｄｐ）を、実空間上の三次元の点（ｘ，ｙ，ｚ）に座標変換する。
ｘ＝ＣＤ／２＋ｚ・ＰＷ・（ｉ−ＩＶ） …（数式１）
ｙ＝ＣＨ＋ｚ・ＰＷ・（ｊ−ＪＶ） …（数式２）
ｚ＝ＫＳ／ｄｐ …（数式３）
ここで、ＣＤは撮像装置１１０同士の間隔（基線長）であり、ＰＷは１画素当たりの視野角であり、ＣＨは撮像装置１１０の道路表面からの配置高さであり、ＩＶ、ＪＶは車両１の真正面における無限遠点の画像上の座標（画素）であり、ＫＳは距離係数（ＫＳ＝ＣＤ／ＰＷ）である。
【００４１】
したがって、位置情報取得部１６２は、対象部位２２０の相対距離と、対象部位２２０と同相対距離にある道路表面上の点と対象部位２２０との距離画像１２６上の検出距離とに基づいて、道路表面（路面）からの高さを導出していることとなる。
【００４２】
本実施形態では、エッジ抽出部１６０が抽出したエッジを有する対象部位２２０と、位置情報取得部１６２が取得した相対距離ｚに基づいてハフ変換を行う。ここでは、まず、前提となるハフ変換について簡単に説明する。
【００４３】
図６は、ハフ変換を説明するための説明図である。ここでは、輝度画像１２４から図６（ａ）の如くエッジを有する３つの対象部位２２０ｃ、２２０ｄ、２２０ｅを抽出したとする。かかる３つの対象部位２２０ｃ、２２０ｄ、２２０ｅは、本来、道路標識等、円形状の特定物２２２の一部であるが、ここでは、輝度画像１２４から明確に円形状であることが把握できないとする。
【００４４】
ハフ変換は、複数の点から円や直線などの幾何学的な形状を検出する手法であり、任意の対象部位２２０を通り、かつ、半径がＮを満たす円の中心は、その任意の対象部位２２０を中心とした半径Ｎの円上に存在するという理論に基づいている。例えば、図６（ａ）の３つの対象部位２２０ｃ、２２０ｄ、２２０ｅを通る円の中心は、３つの対象部位２２０ｃ、２２０ｄ、２２０ｅそれぞれを中心とした円上にある。しかし、エッジのみの情報では、その半径Ｎを特定できないため、相異なる複数段階の半径Ｎを準備して、３つの対象部位２２０ｃ、２２０ｄ、２２０ｅを中心とした複数段階の半径Ｎの円上の画素に投票し、その投票数が予め定められた所定値以上となれば半径Ｎと中心とを特定物として決定する。
【００４５】
例えば、図６（ｂ）、図６（ｃ）、図６（ｄ）のように、３つの対象部位２２０ｃ、２２０ｄ、２２０ｅを中心にして、相異なる半径Ｎ＝４、５、６の円を形成し、その円の軌跡に含まれる画素に投票する（単位指標を関連付ける）。すると、図６（ｂ）では、２つの画素２２４で投票数が２となる（単位指標が２つ関連付けられる）。また、図６（ｃ）では、３つの画素２２４で投票数が２となり、１つの画素２２６で投票数が３となる。同様に、図６（ｄ）では、６つの画素２２４で投票数が２となる。
【００４６】
このとき、投票数が３（所定値以上）となるのは画素２２６のみとなり、その画素２２６を３つの対象部位２２０ｃ、２２０ｄ、２２０ｅを通る円の中心とし、その画素２２６を導出した際の半径Ｎ＝５を円の半径と特定することができる。こうして、図６（ｅ）のように、３つの対象部位２２０ｃ、２２０ｄ、２２０ｅを通る円２２８が特定される。
【００４７】
本実施形態では、上述したようなエッジを有するという情報のみならず、対象部位２２０の相対距離ｚも用いてハフ変換を行う。そうすることで事前に特定物の半径Ｎを特定することができる。以下、かかる処理を実現する特定物決定部１６４を説明する。
【００４８】
特定物決定部１６４は、エッジを有する対象部位２２０にハフ変換を施す前に、まず、当該ハフ変換の対象とする対象部位２２０を制限する。
【００４９】
図７は、特定物決定部１６４による対象領域の制限処理を説明するための説明図である。特定物決定部１６４は、特定対象である特定物が走行車線外にしか存在しない道路標識等である場合、道路標識が存在し得ない図７中ハッチングで示した領域を除く部分検索領域２３０に含まれる対象部位２２０のみをハフ変換の対象とする。かかる部分検索領域２３０は、位置情報取得部１６２が取得した相対距離ｚおよび路面からの高さｙに基づいており、例えば、路側帯に相当する位置の相対距離ｚ≦１００ｍ、１．０ｍ≦路面からの高さｙ≦５．０ｍといった範囲となる。したがって、輝度画像１２４上、部分検索領域２３０は、無限遠２３２から自車両１に向かって、放射状に広がるような形状で表される。このように、特定物が存在しない領域を除外し、対象部位２２０の無駄なハフ変換を回避することで、処理負荷の軽減を図ると共に、本来存在しない領域において特定物が出現するといった誤検出を未然に防止することが可能となる。
【００５０】
続いて、特定物決定部１６４は、データ保持部１５２に保持された特定物テーブルを参照し、対象とする特定物の形状情報を取得し、その形状情報を相対距離ｚに適合する。例えば、特定物が道路標識であった場合、形状情報として、円形状であることと、その円の半径が３０ｃｍであることが示される。特定物決定部１６４は相対距離ｚに当該道路標識が位置していた場合、輝度画像１２４にどの程度の半径（画素数）で表示されるか、上記数式（１）〜（３）の逆関数を用いて導出する。
【００５１】
かかる道路標識のように、特定物の種類によっては、大きさが法律や規則で定まっているものもある。また、本実施形態のように相対距離ｚを導出していれば、輝度画像１２４上で特定物がどのような大きさで出現するかを予測することができる。
【００５２】
次に、特定物決定部１６４は、導出した半径の円を用いてエッジを有する対象部位２２０にハフ変換を施す。
【００５３】
図８は、本実施形態におけるハフ変換処理を説明するための説明図である。特に、図８（ａ）は、輝度画像１２４を示し、図８（ｂ）は、ハフ変換による投票を行うための投票テーブル２４０、図８（ｃ）は、投票された画素に投票時の半径Ｎを関連付けた半径保持テーブル２４２を示し、図８（ｄ）は、最終的に抽出された特定物の形状を示す。また、各図における点線は、図７の走行車線に対応している。
【００５４】
例えば、図８（ａ）の輝度画像１２４において、エッジを有する対象部位２２０ｆ、２２０ｇ、２２０ｈ、２２０ｉ、２２０ｊ、２２０ｋを抽出したとする。ここでは、説明の便宜のため、当該６つの対象部位２２０に着目して説明する。特定物決定部１６４は、図８（ａ）に示す対象部位２２０ｆ、２２０ｇ、２２０ｈ、２２０ｉ、２２０ｊ、２２０ｋそれぞれの相対距離ｚを取得し、その相対距離ｚに基づいてハフ変換を施すべき円の半径Ｎを求める。ここでは、対象部位２２０ｆ、２２０ｇ、２２０ｈの半径Ｎが３０画素であり、対象部位２２０ｉ、２２０ｊ、２２０ｋの半径Ｎが２３画素であったとする。
【００５５】
特定物決定部１６４は、図８（ｂ）の投票テーブル２４０において、対象部位２２０ｆ、２２０ｇ、２２０ｈ、２２０ｉ、２２０ｊ、２２０ｋを中心に、対象部位２２０それぞれに関して求められた半径Ｎの円を形成し、その半径Ｎの円上の画素全てに投票する。したがって、図８（ｂ）に示す円に対応する画素には、投票が為された旨を示す単位指標が関連付けられている。このとき、投票した画素に対応する半径保持テーブル２４２の各画素には、図８（ｃ）に数値で示したように、投票時の半径Ｎが関連付けられる。ただし、図８（ｃ）中の半径Ｎは、イメージを示しており、実際の画素数と半径Ｎとの関係と異なっている。
【００５６】
本実施形態では、対象部位２２０を一部に含む円の半径を特定できるため、従来のように投票テーブルを複数段階の円の大きさ（半径）毎に設ける必要がない。したがって、無駄なハフ変換処理を回避でき、処理負荷の軽減を図ることができる。ただし、上述したように投票テーブル２４０を１つに纏めると、投票時の半径Ｎの情報が失われてしまう。そこで、投票テーブル２４０に対応する半径保持テーブル２４２を補完的に設けることで、特定物を適切に特定することが可能となる。
【００５７】
続いて、特定物決定部１６４は、投票テーブル２４０の投票数を検出し、投票数が所定値（例えば、２０）以上となる画素が検出されると、その画素に対応する半径保持テーブル２４２の画素に関連付けられた半径Ｎ（ここでは「３０」と「２３」）を読み出す。そして、図８（ｄ）のように、所定値以上となった画素２４４を中心に読み出した半径Ｎの円２４６を形成し、それを特定物として決定する。
【００５８】
ここで、１の画素が複数の特定物の円の中心候補となる場合がある。即ち、半径保持テーブル２４２の任意の画素に複数の半径Ｎが関連付けられている場合である。本実施形態では、画像で認識できる特定物は１つあれば足りる。したがって、複数の半径Ｎのうち、１つの半径Ｎを採用すればよい。ここでは、画像上手前に存在するであろう特定物を採用する。通常、同一の大きさの道路標識であれば、手前に位置する方が画像上大きく表示される。したがって、投票数も多くなるはずである。そこで、特定物決定部１６４は、半径保持テーブル２４２の任意の画素に複数の半径Ｎが関連付けられている場合、その数の比率が大きい半径Ｎを採用することで、手前に位置するであろう特定物を抽出することができる。
【００５９】
また、中心が異なってはいるものの、特定物を示す円の一部が重なる場合もある。ここでも、画像上、手前に存在するであろう特定物を採用する。通常、同一の大きさの道路標識であれば、手前に位置する方が画像上大きくなると共に、その中心は画像の比較的下に位置することとなる。そこで、特定物決定部１６４は、投票数を検出する際、画像下側から検出を開始することとし、画像の下側に位置する特定物を先に決定することによって、それより奥まっている特定物を無視することとする。本実施形態では、車両制御装置１４０によって適切な制御を行うため、手前に位置する特定物を優先的に抽出しなければならない。したがって、このように重複している特定物のうち、奥まっている特定物を無視したとしても制御にはほとんど影響することがない。
【００６０】
ここで、ハフ変換のさらなる効率化を検討する。本実施形態のように特定物が円形状である場合、円の接線は接点と円の中心を結ぶ線分と垂直となることが知られている。また、円の接線は対象部位２２０におけるエッジ延伸方向に相当する。したがって、特定物決定部１６４は、エッジを有する対象部位２２０を一部とする円の中心が存在する位置を、対象部位２２０のエッジ延伸方向に垂直な所定範囲に絞る。ここで所定範囲は、その対象部位２２０を中心にして、垂直方向に放射状に広がる角度範囲をいう。ここでは、その角度範囲を仮に４５度とする。
【００６１】
図９は、特定物決定部１６４による他の投票処理を示した説明図である。例えば、対象部位２２０に関してハフ変換を行うと、図９（ａ）に示すように、対象部位２２０を中心とした破線で示す円２４６に投票することとなる。しかし、ここでは、対象部位２２０のエッジ延伸方向２５０が把握できているので、特定物の円の中心は、対象部位２２０のエッジ延伸方向２５０に垂直な方向にしか出現しない。したがって、特定物決定部１６４は、対象部位２２０のエッジ延伸方向２５０に垂直な方向に絞って特定物の円の中心を特定する。
【００６２】
ただし、対象部位２２０は特定物に対して小さいため、エッジ延伸方向が必ずしも特定物の円の接線と等しくなるとは限らない。そこで、特定物決定部１６４は、所定角度のずれを許容すべく対象部位２２０のエッジ延伸方向２５０に垂直な方向のみならず、所定範囲分の部分円２５２を特定物の円の中心候補として特定する。
【００６３】
また、図４（ｆ）に示したように、エッジ延伸方向２５０はそれぞれ４５度ずつの角度を成す４つの方向で表される。したがって、図９（ｂ）〜図９（ｄ）に示すように、エッジ延伸方向２５０の４つの方向に対して、４つの部分円２５２の特定パターンがあることになる。ここでは、投票する円２４６を部分円２５２に絞ることで、処理負荷を軽減でき、特定効率を向上することが可能となる。また、その部分円２５２を特定するパターンを例えば４つに限定することで、それを求めるための処理負荷も低減でき、さらなる特定効率の向上を図ることができる。
【００６４】
さらに、特定物の円の中心が存在しない範囲への投票が回避されるので、本来特定物の円の中心が存在しない画素に不本意な投票が行われ、特定物の円の中心が誤検出される事態を回避することが可能となる。このようにして、特定物決定部１６４は、形状情報で示される特定物を決定する。
【００６５】
（環境認識方法）
以下、環境認識装置１３０の具体的な処理を図１０〜図１２のフローチャートに基づいて説明する。図１０は、画像処理装置１２０から輝度画像１２４が送信された場合の割込処理に関する全体的な流れを示し、図１１、１２は、その中の個別のサブルーチンを示している。また、ここでは、対象部位２２０として２×２画素のブロックを挙げており、６００×２００画素の輝度画像１２４の左下隅を原点とし、画像水平方向に１〜３００ブロック、垂直方向に１〜１００ブロックの範囲で当該環境認識方法による処理を遂行する。
【００６６】
図１０に示すように、輝度画像１２４の受信を契機に当該環境認識方法による割込が発生すると、画像処理装置１２０から取得した輝度画像１２４が参照されて、エッジを有する対象部位２２０に関してハフ変換が施され、投票テーブル２４０および半径保持テーブル２４２に投票が為される（Ｓ３００）。そして、その投票後の投票テーブル２４０が参照され特定物が決定される（Ｓ３０２）。以下、上記の処理を具体的に説明する。
【００６７】
（投票処理Ｓ３００）
図１１を参照すると、エッジ抽出部１６０は、相対距離ｚおよび路面からの高さｙに基づく所定の部分検索領域２３０を読み出す（Ｓ３５０）。また、エッジ抽出部１６０は、対象部位２２０を特定するための垂直変数ｊを初期化（「０」を代入）する（Ｓ３５２）。続いて、エッジ抽出部１６０は、垂直変数ｊに「１」を加算（インクリメント）すると共に水平変数ｉを初期化（「０」を代入）する（Ｓ３５４）。次に、エッジ抽出部１６０は、水平変数ｉに「１」を加算する（Ｓ３５６）。ここで、水平変数ｉや垂直変数ｊを設けているのは、３００×１００の対象部位２２０全てに対して当該投票処理を実行するためである。
【００６８】
エッジ抽出部１６０は、輝度画像１２４から対象部位（ｉ，ｊ）内の２×２画素の輝度を取得する（Ｓ３５８）。そして、エッジ抽出部１６０は、式（Ａ＋Ｂ）−（Ｃ＋Ｄ）に基づいて水平方向成分を導出し（Ｓ３６０）、式（Ａ＋Ｃ）−（Ｂ＋Ｄ）に基づいて垂直方向成分を導出する（Ｓ３６２）。次に、水平方向成分および垂直方向成分を単純化してエッジ延伸方向を特定し、エッジ延伸方向を示すエッジ延伸方向識別子ｄ（例えば、図４（ｆ）に示す番号）を対象部位２２０に関連付けて、対象部位（ｉ，ｊ，ｄ）とする（Ｓ３６４）。
【００６９】
続いて、特定物決定部１６４は、ステップＳ３５０で読み出した部分検索領域２３０を参照し、当該対象部位２２０が部分検索領域２３０に含まれるか否か判定する（３６６）。部分検索領域２３０に含まれていないと判定されると（Ｓ３６６におけるＮＯ）、ステップＳ３７６の水平変数判定処理に処理を移行する。また、当該対象部位２２０が部分検索領域２３０に含まれていれば（Ｓ３６６におけるＹＥＳ）、特定物決定部１６４は、位置情報取得部１６２に当該対象部位２２０の相対距離ｚを取得させる（Ｓ３６８）。また、データ保持部１５２に保持された特定物テーブルから特定物の形状情報を取得し、相対距離ｚに応じて形状情報を加工する（Ｓ３７０）。具体的には、相対距離ｚに基づいてハフ変換を施すべき円の半径Ｎを求める。
【００７０】
そして、特定物決定部１６４は、投票テーブル２４０におけるエッジ延伸方向識別子ｄによって特定される所定範囲（対象部位２２０のエッジ延伸方向２５０に垂直な所定範囲）の半径Ｎの部分円２５２の座標（ｍ，ｎ）の画素（ｍ，ｎ，ｔ）の投票数ｔに「１」を加算（投票）する（Ｓ３７２）。このとき、投票した画素（ｍ，ｎ，ｔ）に対応する半径保持テーブル２４２の各画素（ｍ，ｎ，Ｎ…）に、投票時の半径Ｎが関連付けられる（Ｓ３７４）。
【００７１】
次に、水平変数ｉが水平ブロックの最大値（ここでは３００）を超えたか否か判定し（Ｓ３７６）、水平変数ｉが最大値を超えていなければ（Ｓ３７６におけるＮＯ）、ステップＳ３５６の水平変数ｉのインクリメント処理からを繰り返す。また、水平変数ｉが最大値を超えていれば（Ｓ３７６におけるＹＥＳ）、特定物決定部１６４は、垂直変数ｊが垂直ブロックの最大値（ここでは１００）を超えたか否か判定する（Ｓ３７８）。そして、垂直変数ｊが最大値を超えていなければ（Ｓ３７８におけるＮＯ）、ステップＳ３５４の垂直変数ｊのインクリメント処理からを繰り返す。また、垂直変数ｊが最大値を超えていれば（Ｓ３７８におけるＹＥＳ）、当該投票処理を終了する。こうして各対象部位２２０に関するハフ変換を通じた投票が完了する。
【００７２】
（特定物決定処理Ｓ３０２）
図１２を参照すると、特定物決定部１６４は、画素を特定するための垂直変数ｎを初期化（「０」を代入）する（Ｓ４００）。続いて、特定物決定部１６４は、垂直変数ｎに「１」を加算すると共に水平変数ｍを初期化（「０」を代入）する（Ｓ４０２）。次に、特定物決定部１６４は、水平変数ｍに「１」を加算する（Ｓ４０４）。
【００７３】
続いて、特定物決定部１６４は、投票テーブル２４０と半径保持テーブル２４２から画素（ｍ，ｎ，ｔ）と画素（ｍ，ｎ，Ｎ…）を抽出し（Ｓ４０６）、１または複数の半径Ｎから最も数の比率の高い半径Ｎを抽出する（Ｓ４０８）。そして、特定物決定部１６４は、抽出した半径Ｎの投票数ｔが所定値以上であるか否か判定し（Ｓ４１０）、所定値未満であれば（Ｓ４１０におけるＮＯ）、ステップＳ４１４の水平変数判定処理に移行する。また、投票数ｔが所定値以上であれば（Ｓ４１０におけるＹＥＳ）、その画素の座標（ｍ，ｎ）を中心とする半径Ｎの円を特定物として特定する（Ｓ４１２）。
【００７４】
続いて、特定物決定部１６４は、水平変数ｍが水平画素の最大値（ここでは６００）を超えたか否か判定し（Ｓ４１４）、水平変数ｍが最大値を超えていなければ（Ｓ４１４におけるＮＯ）、ステップＳ４０４の水平変数ｍのインクリメント処理からを繰り返す。また、水平変数ｍが最大値を超えていれば（Ｓ４１４にけるＹＥＳ）、特定物決定部１６４は、垂直変数ｎが垂直画素の最大値（ここでは２００）を超えたか否か判定する（Ｓ４１６）。そして、垂直変数ｎが最大値を超えていなければ（Ｓ４１６におけるＮＯ）、ステップＳ４０２の垂直変数ｎのインクリメント処理からを繰り返す。また、垂直変数ｎが最大値を超えていれば（Ｓ４１６におけるＹＥＳ）、当該特定物決定処理を終了する。こうして特定物が特定される。
【００７５】
以上、説明したように、環境認識装置１３０によれば、ハフ変換の適用処理を工夫することで、処理負荷を軽減すると共にメモリの記憶領域を低減し対象物の特定効率の向上を図ることが可能となる。具体的に、ハフ変換に相対距離ｚの概念を含め、対象部位２２０を一部に含む円の半径Ｎを一意に推定することで、他の半径Ｎによる無駄なハフ変換処理を回避することができる。また、そのときに、投票テーブル２４０および半径保持テーブル２４２のみを用いるとすることで、メモリ容量の大幅な低減を図ることも可能となる。
【００７６】
また、ハフ変換の対象とする対象部位２２０を部分検索領域２３０に絞ることでも無駄なハフ変換処理を排除でき、さらに、投票対象を部分円２５２に絞ることでも処理負荷を大幅に低減することが可能となる。
【００７７】
また、コンピュータを、環境認識装置１３０として機能させるプログラムや当該プログラムを記録した、コンピュータで読み取り可能なフレキシブルディスク、光磁気ディスク、ＲＯＭ、ＣＤ、ＤＶＤ、ＢＤ等の記憶媒体も提供される。ここで、プログラムは、任意の言語や記述方法にて記述されたデータ処理手段をいう。
【００７８】
以上、添付図面を参照しながら本発明の好適な実施形態について説明したが、本発明はかかる実施形態に限定されないことは言うまでもない。当業者であれば、特許請求の範囲に記載された範疇において、各種の変更例または修正例に想到し得ることは明らかであり、それらについても当然に本発明の技術的範囲に属するものと了解される。
【００７９】
また、上述した実施形態においては、対象物の三次元位置を複数の撮像装置１１０を用い画像データ間の視差に基づいて導出しているが、かかる場合に限られず、例えば、レーザレーダ測距装置等、既知の様々な距離測定装置を用いることができる。ここで、レーザレーダ測距装置は、検出領域１２２にレーザビームを投射し、このレーザビームが物体に当たって反射してくる光を受光し、この所要時間から物体までの距離を測定するものである。
【００８０】
また、上述した実施形態においては、撮像装置１１０がカラー画像を取得することを前提としているが、かかる場合に限られず、モノクロ画像を取得することでも本実施形態を遂行することができる。
【００８１】
また、上述した実施形態では、位置情報取得部１６２が、画像処理装置１２０から距離画像（視差情報）１２６を受けて三次元の位置情報を生成している例を挙げている。しかし、かかる場合に限られず、画像処理装置１２０において予め三次元の位置情報を生成し、位置情報取得部１６２は、その生成された三次元の位置情報を取得するとしてもよい。このようにして、機能分散を図り、環境認識装置１３０の処理負荷を軽減することが可能となる。
【００８２】
また、上述した実施形態においては、エッジ抽出部１６０、位置情報取得部１６２、特定物決定部１６４は中央制御部１５４によってソフトウェアで動作するように構成している。しかし、上記の機能部をハードウェアによって構成することも可能である。
【００８３】
なお、本明細書の環境認識方法の各工程は、必ずしもフローチャートとして記載された順序に沿って時系列に処理する必要はなく、並列的あるいはサブルーチンによる処理を含んでもよい。
【産業上の利用可能性】
【００８４】
本発明は、検出領域における対象物の輝度に基づいて、その対象物を認識する環境認識装置および環境認識方法に利用することができる。
【符号の説明】
【００８５】
１ …車両
１２２ …検出領域
１２４ …輝度画像
１２６ …距離画像
１３０ …環境認識装置
１６０ …エッジ抽出部
１６２ …位置情報取得部
１６４ …特定物決定部
２４０ …投票テーブル
２４２ …半径保持テーブル
２５０ …エッジ延伸方向
【技術分野】
【０００１】
本発明は、検出領域における対象物の輝度に基づいて、その対象物を認識する環境認識装置および環境認識方法に関する。
【背景技術】
【０００２】
従来、自車両の前方に位置する車両や信号機等の障害物といった対象物を検出し、検出した対象物との衝突を回避したり、先行車両との車間距離を安全な距離に保つように制御する技術が知られている（例えば、特許文献１、２）。
【０００３】
また、このような技術では、対象物を一律に物として特定するのみならず、さらに高精度な制御を行うため、対象物が自車両と同速度で走行している先行車両であるのか、移動を伴わない固定された物であるのか等を判定する技術も存在する。ここで、対象物を、検出領域の撮像を通じて検出する場合、対象物が何であるかを特定する前に、撮像された画像から対象物自体を抽出（切り出し）しなければならない。
【０００４】
かかる対象物を抽出する方法としては、画像内における輝度が等しい画素同士をグループ化して対象物とする方法も考えられるが、撮像状況によっては、環境光の影響を受けたり、対象物自体の経時変化（色褪せ）により、対象物の本来の輝度を取得できない場合がある。そこで、画素間の輝度の差により生じるエッジを抽出し、そのエッジで形成される形状を通じて対象物を特定する方法も採用されている。
【０００５】
例えば、撮像された画像から、隣接する画素間の微分値によってエッジを有する画素（エッジ画素）を抽出し、画像の水平方向および垂直方向におけるエッジ画素のヒストグラム（距離分布）を導出して、そのピークに相当する領域を対象物の端部と推定する技術が知られている。また、ヒストグラムに基づく融合パターンが、予め格納されている辞書パターンと比較され、対象物が車両であるか否か判定する技術も開示されている（例えば、特許文献３）。
【０００６】
さらに、エッジ画像を含む画像から円や直線などの幾何学的な形状を検出する、所謂ハフ変換を用い、幾何学形状の一部が欠けているものから完全な幾何学形状の対象物を抽出する技術も公開されている。かかる技術によると、例えば、円の形状をした道路標識を抽出するために、検出領域から抽出されたエッジ画像を含む複数段階の大きさの円を想定してハフ変換を施し、その複数段階の大きさの円から最も適した１の大きさの円を道路標識として抽出する。
【先行技術文献】
【特許文献】
【０００７】
【特許文献１】特許第３３４９０６０号
【特許文献２】特開平１０−２８３４６１号公報
【特許文献３】特開２００３−９９７６２号公報
【発明の概要】
【発明が解決しようとする課題】
【０００８】
しかし、上述したハフ変換を用いて最も適した１の大きさの円を抽出する技術では、１のエッジ画像に対し、可能性のある複数段階の大きさの円を想定し、その複数段階の大きさの円（投票テーブル）毎にハフ変換を施すので、処理負荷が重く、メモリの記憶領域を多大に占有することとなる。さらに、このような処理を画像内の全てのエッジに対して実行しているので、処理負荷やメモリの記憶領域が膨大になるといった問題があった。
【０００９】
本発明は、このような課題に鑑み、処理負荷を軽減すると共にメモリの記憶領域を低減することで、対象物の特定効率の向上を図ることが可能な、環境認識装置および環境認識方法を提供することを目的としている。
【課題を解決するための手段】
【００１０】
上記課題を解決するために、本発明の環境認識装置は、特定物の形状に関する情報である形状情報を保持するデータ保持部と、検出領域内を分割した複数の対象部位の輝度を取得して、エッジを有する対象部位を抽出するエッジ抽出部と、エッジを有する対象部位の相対距離を取得する位置情報取得部と、相対距離に応じた形状情報に基づいてエッジを有する対象部位にハフ変換を施し、形状情報で示される特定物を決定する特定物決定部と、を備えることを特徴とする。特定物の形状は円であってもよい。
【００１１】
特定物決定部は、エッジを有する対象部位を一部とする円の中心が存在する位置を、対象部位のエッジが延伸する方向に垂直な所定範囲に絞って特定してもよい。
【００１２】
位置情報取得部はエッジを有する対象部位の路面からの高さも取得し、特定物決定部は、相対距離および路面からの高さに基づく所定の部分検索領域に含まれる対象部位のみを対象として、形状情報で示される特定物を決定してもよい。
【００１３】
上記課題を解決するために、本発明の環境認識方法は、特定物の形状に関する情報である形状情報を予め保持しておき、検出領域内を分割した複数の対象部位の輝度を取得して、エッジを有する対象部位を抽出し、エッジを有する対象部位の相対距離を取得し、相対距離に応じた形状情報に基づいてエッジを有する対象部位にハフ変換を施し、形状情報で示される特定物を決定することを特徴とする。
【発明の効果】
【００１４】
本発明によれば、ハフ変換の適用処理を工夫することで、処理負荷を軽減すると共にメモリの記憶領域を低減し対象物の特定効率の向上を図ることが可能となる。
【図面の簡単な説明】
【００１５】
【図１】環境認識システムの接続関係を示したブロック図である。
【図２】輝度画像を説明するための説明図である。
【図３】環境認識装置の概略的な機能を示した機能ブロック図である。
【図４】エッジ抽出部の動作を説明するための説明図である。
【図５】位置情報取得部による三次元の位置情報への変換を説明するための説明図である。
【図６】ハフ変換を説明するための説明図である。
【図７】特定物決定部による対象領域の制限処理を説明するための説明図である。
【図８】本実施形態におけるハフ変換処理を説明するための説明図である。
【図９】特定物決定部による他の投票処理を示した説明図である。
【図１０】環境認識方法の全体的な流れを示したフローチャートである。
【図１１】投票処理の流れを示したフローチャートである。
【図１２】特定物決定処理の流れを示したフローチャートである。
【発明を実施するための形態】
【００１６】
以下に添付図面を参照しながら、本発明の好適な実施形態について詳細に説明する。かかる実施形態に示す寸法、材料、その他具体的な数値などは、発明の理解を容易とするための例示にすぎず、特に断る場合を除き、本発明を限定するものではない。なお、本明細書及び図面において、実質的に同一の機能、構成を有する要素については、同一の符号を付することにより重複説明を省略し、また本発明に直接関係のない要素は図示を省略する。
【００１７】
（環境認識システム１００）
図１は、環境認識システム１００の接続関係を示したブロック図である。環境認識システム１００は、車両１内に設けられた、撮像装置１１０と、画像処理装置１２０と、環境認識装置１３０と、車両制御装置１４０とを含んで構成される。
【００１８】
撮像装置１１０は、ＣＣＤ（Charge-Coupled Device）やＣＭＯＳ（Complementary Metal-Oxide Semiconductor）等の撮像素子を含んで構成され、カラー画像、即ち、画素単位で３つの色相（赤、緑、青）の輝度を取得することができる。ここでは、撮像装置１１０で撮像されたカラーの画像を輝度画像と呼び、後述する距離画像と区別する。また、撮像装置１１０は、車両１の進行方向側において２つの撮像装置１１０それぞれの光軸が略平行になるように、略水平方向に離隔して配置される。撮像装置１１０は、車両１の前方の検出領域に存在する対象物を撮像した画像データを、例えば１／６０秒毎（６０ｆｐｓ）に連続して生成する。ここで、対象物は、車両、信号機、道路、ガードレールといった独立して存在する立体物のみならず、道路標識、テールランプやウィンカー、信号機の各点灯部分等、立体物の部分として特定できる物も含む。以下の実施形態における各機能部は、このような画像データの更新を契機として各処理を遂行する。
【００１９】
画像処理装置１２０は、２つの撮像装置１１０それぞれから画像データを取得し、２つの画像データに基づいて、画像中の任意のブロック（所定数の画素を集めたもの）の視差、および、任意のブロックの画面中の位置を示す画面位置を含む視差情報を導出する。画像処理装置１２０は、一方の画像データから任意に抽出したブロック（例えば水平４画素×垂直４画素の配列）に対応するブロックを他方の画像データから検索する、所謂パターンマッチングを用いて視差を導き出す。ここで、水平は、撮像した画像の画面横方向を示し、実空間上の水平に相当する。また、垂直は、撮像した画像の画面縦方向を示し、実空間上の鉛直方向に相当する。
【００２０】
このパターンマッチングとしては、２つの画像データ間において、任意の画像位置を示すブロック単位で輝度値（Ｙ色差信号）を比較することが考えられる。例えば、輝度値の差分をとるＳＡＤ（Sum of Absolute Difference）、差分を２乗して用いるＳＳＤ（Sum of Squared intensity Difference）や、各画素の輝度値から平均値を引いた分散値の類似度をとるＮＣＣ（Normalized Cross Correlation）等の手法がある。画像処理装置１２０は、このようなブロック単位の視差導出処理を検出領域（例えば６００画素×２００画素）に映し出されている全てのブロックについて行う。ここでは、ブロックを４画素×４画素としているが、ブロック内の画素数は任意に設定することができる。
【００２１】
ただし、画像処理装置１２０では、検出分解能単位であるブロック毎に視差を導出することはできるが、そのブロックがどのような対象物の一部であるかを認識できない。したがって、視差情報は、対象物単位ではなく、検出領域における検出分解能単位（例えばブロック単位）で独立して導出されることとなる。ここでは、このようにして導出された視差情報（後述する相対距離に相当）を画像データに対応付けた画像を距離画像という。
【００２２】
図２は、輝度画像１２４と距離画像１２６を説明するための説明図である。例えば、２つの撮像装置１１０を通じ、検出領域１２２について図２（ａ）のような輝度画像（画像データ）１２４が生成されたとする。ただし、ここでは、理解を容易にするため、２つの輝度画像１２４の一方のみを模式的に示している。画像処理装置１２０は、このような輝度画像１２４からブロック毎の視差を求め、図２（ｂ）のような距離画像１２６を形成する。距離画像１２６における各ブロックには、そのブロックの視差が関連付けられている。ここでは、説明の便宜上、視差が導出されたブロックを黒のドットで表している。
【００２３】
視差は、画像のエッジ部分（隣り合う画素間で明暗の差分が大きい部分）で特定され易いので、距離画像１２６において黒のドットが付されている、視差が導出されたブロックは、輝度画像１２４においてもエッジとなっていることが多い。したがって、図２（ａ）に示す輝度画像１２４と図２（ｂ）に示す距離画像１２６とは各対象物の輪郭について似たものとなる。
【００２４】
環境認識装置１３０は、画像処理装置１２０から輝度画像１２４を取得し、輝度画像１２４における輝度のエッジに基づいて検出領域１２２における所定の形状を有する特定物を特定する。また、環境認識装置１３０は、画像処理装置１２０から距離画像１２６を取得し、距離画像１２６における、検出領域１２２内のブロック毎の視差情報を、所謂ステレオ法を用いて、相対距離を含む三次元の位置情報に変換する。かかる相対距離は上記特定物の特定に用いられる。ここで、ステレオ法は、三角測量法を用いることで、対象物の視差からその対象物の撮像装置１１０に対する相対距離を導出する方法である。かかる環境認識装置１３０に関しては、後ほど詳述する。
【００２５】
車両制御装置１４０は、環境認識装置１３０で特定された対象物との衝突を回避したり、先行車両との車間距離を安全な距離に保つ制御を実行する。具体的に、車両制御装置１４０は、操舵の角度を検出する舵角センサ１４２や車両１の速度を検出する車速センサ１４４等を通じて現在の車両１の走行状態を取得し、アクチュエータ１４６を制御して先行車両との車間距離を安全な距離に保つ。ここで、アクチュエータ１４６は、ブレーキ、スロットルバルブ、舵角等を制御するために用いられる車両制御用のアクチュエータである。また、車両制御装置１４０は、対象物との衝突が想定される場合、運転者の前方に設置されたディスプレイ１４８にその旨警告表示（報知）を行うと共に、アクチュエータ１４６を制御して車両１を自動的に制動する。かかる車両制御装置１４０は、環境認識装置１３０と一体的に形成することもできる。
【００２６】
（環境認識装置１３０）
図３は、環境認識装置１３０の概略的な機能を示した機能ブロック図である。図３に示すように、環境認識装置１３０は、Ｉ／Ｆ部１５０と、データ保持部１５２と、中央制御部１５４とを含んで構成される。
【００２７】
Ｉ／Ｆ部１５０は、画像処理装置１２０や車両制御装置１４０との双方向の情報交換を行うためのインターフェースである。データ保持部１５２は、ＲＡＭ、フラッシュメモリ、ＨＤＤ等で構成され、特定物テーブルや、以下に示す各機能部の処理に必要な様々な情報を保持し、また、画像処理装置１２０から受信した輝度画像１２４を一時的に保持する。ここで、特定物テーブルには、特定物の形状に関する情報である形状情報が特定物に関連付けられている。かかる形状情報は、特定物の形状を特定可能な情報であり、例えば、特定物が円形状であった場合、実空間上での特定物の半径（例えば３０ｃｍ）等が保持されている。
【００２８】
中央制御部１５４は、中央処理装置（ＣＰＵ）、プログラム等が格納されたＲＯＭ、ワークエリアとしてのＲＡＭ等を含む半導体集積回路で構成され、システムバス１５６を通じて、Ｉ／Ｆ部１５０やデータ保持部１５２を制御する。また、本実施形態において、中央制御部１５４は、エッジ抽出部１６０、位置情報取得部１６２、特定物決定部１６４としても機能する。
【００２９】
エッジ抽出部１６０は、受信した輝度画像１２４から、画素単位で輝度（画素単位で３つの色相（赤、緑、青）の輝度）を取得し、検出領域内を分割した複数の対象部位における画素間の輝度の差分によりエッジの有無を判断して、エッジを有する対象部位を抽出する。また、このとき、後述する特定物決定部１６４で利用するエッジが延伸する方向（以下、単にエッジ延伸方向という。）も併せて導出する。
【００３０】
具体的に、エッジ抽出部１６０は、対象部位（ここでは２×２画素のブロック）を垂直方向に対して２分割した上下それぞれの領域における輝度の合計値の差分（以下、単に水平方向成分という。）と、対象部位を水平方向に対して２分割した左右それぞれの領域における輝度の合計値の差分（以下、単に垂直方向成分という。）とに基づいてエッジ方向を導出する。
【００３１】
図４は、エッジ抽出部１６０の動作を説明するための説明図である。ここでは、仮に、輝度画像１２４の一部に、図４（ａ）に示すような道路標識２１０が映し出されたとする。そして、道路標識２１０に相当する画像中の任意の対象部位２２０ａを拡大すると、図４（ｂ）のような輝度分布になり、他の任意の対象部位２２０ｂを拡大すると、図４（ｃ）のような輝度分布になっていたとする。
【００３２】
また、輝度の範囲を０〜２５５とし、図４（ｂ）中、仮に、白色の塗りつぶしを輝度「２００」、黒色の塗りつぶしを輝度「０」とする。ここでは、仮に、対象部位２２０の図中左上画素の輝度をＡ、右上画素の輝度をＢ、左下画素の輝度をＣ、右下画素の輝度をＤとし、エッジ方向の水平方向成分を（Ａ＋Ｂ）−（Ｃ＋Ｄ）、エッジ方向の垂直方向成分を（Ａ＋Ｃ）−（Ｂ＋Ｄ）と定義する。そして、エッジ抽出部１６０は、水平方向成分または垂直方向成分のいずれかで、その計算結果の絶対値が所定値（例えば、１００）以上であると、その対象部位２２０をエッジであると判断する。
【００３３】
図４（ｂ）に示す対象部位２２０ａのエッジ方向の水平方向成分は、（Ａ＋Ｂ）−（Ｃ＋Ｄ）＝（２００＋０）―（２００＋０）＝０となり、エッジ方向の垂直方向成分は、（Ａ＋Ｃ）−（Ｂ＋Ｄ）＝（２００＋２００）−（０＋０）＝＋４００となる。ここでは垂直方向成分の絶対値が１００以上なので、当該対象部位２２０ａはエッジと判断される。また、水平方向成分「０」、垂直方向成分「＋４００」なので、エッジ延伸方向は、図４（ｄ）の如く垂直方向となる。ただし、エッジ延伸方向は、エッジの延伸線分が画像に対してどの程度傾いているかを把握できれば足り、厳密な方向、例えば、垂直上向きか下向きかを要さない。
【００３４】
同様に、図４（ｃ）に示す対象部位２２０ｂのエッジ方向の水平方向成分は、（Ａ＋Ｂ）−（Ｃ＋Ｄ）＝（０＋０）―（２００＋２００）＝−４００となり、エッジ方向の垂直方向成分は、（Ａ＋Ｃ）−（Ｂ＋Ｄ）＝（０＋２００）−（０＋２００）＝０となる。ここでは水平方向成分の絶対値が１００以上なので、当該対象部位２２０ｂはエッジと判断される。また、水平方向成分「−４００」、垂直方向成分「０」なので、エッジ延伸方向は、図４（ｅ）の如く水平方向となる。
【００３５】
このように、対象部位２２０内の半分の領域から他の半分の領域を減算する構成により、対象部位２２０内全体に含まれる輝度のオフセットやノイズを取り除くことができ、エッジを適切に抽出することが可能となる。また、加減算のみの単純計算でエッジ延伸方向を導出できるので処理負荷が軽い。
【００３６】
本実施形態では、後述する特定物決定部１６４において、このように導出されたエッジ延伸方向に基づき、ハフ変換における投票する範囲を制限することもある。ここで、導出した上記水平方向成分や垂直方向成分をそのまま用いて単純にエッジ延伸方向としてしまうと、そのエッジ延伸方向のバリエーションが無限に存在することとなる。そうすると、その無限のバリエーションに対して投票する範囲を設定しなければならない。
【００３７】
そこで、本実施形態では、水平方向成分および垂直方向成分のいずれも単位長さで定義し、エッジ延伸方向のバリエーションを単純化する。即ち、水平方向成分および垂直方向成分のいずれも−１、０、＋１のいずれかとみなすこととする。そうすると、エッジ延伸方向は、図４（ｆ）のようにそれぞれ４５度ずつの角度をなす４つの方向に限定することができる。こうすることで、以下に示す特定物決定部１６４の処理負荷を大幅に軽減することが可能となる。
【００３８】
位置情報取得部１６２は、受信した距離画像１２６における検出領域１２２内の対象部位２２０毎の視差情報を、ステレオ法を用いて、水平距離ｘ、路面からの高さｙおよび相対距離ｚを含む三次元の位置情報に変換する。ここで、視差情報が、距離画像１２６における各対象部位２２０の視差を示すのに対し、三次元の位置情報は、実空間における各対象部位２２０の相対距離の情報を示す。また、視差情報が画素単位ではなくブロック単位、即ち複数の画素単位で導出されている場合、その視差情報はブロックに属する全ての画素の視差情報とみなして、画素単位の計算を実行することができる。
【００３９】
図５は、位置情報取得部１６２による三次元の位置情報への変換を説明するための説明図である。位置情報取得部１６２は、まず、距離画像１２６を図５の如く画素単位の座標系として認識する。ここでは、図５中、左下隅を原点（０，０）とし、横方向をｉ座標軸、縦方向をｊ座標軸とする。したがって、視差ｄｐを有する画素は、画素位置ｉ、ｊと視差ｄｐによって（ｉ，ｊ，ｄｐ）のように表すことができる。
【００４０】
本実施形態における実空間上の三次元座標系を、車両１を中心とした相対座標系で考える。ここでは、車両１の進行方向右側方をＸ軸の正方向、車両１の上方をＹ軸の正方向、車両１の進行方向（前方）をＺ軸の正方向、２つの撮像装置１１０の中央を通る鉛直線と道路表面との交点を原点（０，０，０）とする。このとき、道路を平面と仮定すると、道路表面がＸ−Ｚ平面（ｙ＝０）と一致することとなる。位置情報取得部１６２は、以下の（数式１）〜（数式３）によって距離画像１２６上のブロック（ｉ，ｊ，ｄｐ）を、実空間上の三次元の点（ｘ，ｙ，ｚ）に座標変換する。
ｘ＝ＣＤ／２＋ｚ・ＰＷ・（ｉ−ＩＶ） …（数式１）
ｙ＝ＣＨ＋ｚ・ＰＷ・（ｊ−ＪＶ） …（数式２）
ｚ＝ＫＳ／ｄｐ …（数式３）
ここで、ＣＤは撮像装置１１０同士の間隔（基線長）であり、ＰＷは１画素当たりの視野角であり、ＣＨは撮像装置１１０の道路表面からの配置高さであり、ＩＶ、ＪＶは車両１の真正面における無限遠点の画像上の座標（画素）であり、ＫＳは距離係数（ＫＳ＝ＣＤ／ＰＷ）である。
【００４１】
したがって、位置情報取得部１６２は、対象部位２２０の相対距離と、対象部位２２０と同相対距離にある道路表面上の点と対象部位２２０との距離画像１２６上の検出距離とに基づいて、道路表面（路面）からの高さを導出していることとなる。
【００４２】
本実施形態では、エッジ抽出部１６０が抽出したエッジを有する対象部位２２０と、位置情報取得部１６２が取得した相対距離ｚに基づいてハフ変換を行う。ここでは、まず、前提となるハフ変換について簡単に説明する。
【００４３】
図６は、ハフ変換を説明するための説明図である。ここでは、輝度画像１２４から図６（ａ）の如くエッジを有する３つの対象部位２２０ｃ、２２０ｄ、２２０ｅを抽出したとする。かかる３つの対象部位２２０ｃ、２２０ｄ、２２０ｅは、本来、道路標識等、円形状の特定物２２２の一部であるが、ここでは、輝度画像１２４から明確に円形状であることが把握できないとする。
【００４４】
ハフ変換は、複数の点から円や直線などの幾何学的な形状を検出する手法であり、任意の対象部位２２０を通り、かつ、半径がＮを満たす円の中心は、その任意の対象部位２２０を中心とした半径Ｎの円上に存在するという理論に基づいている。例えば、図６（ａ）の３つの対象部位２２０ｃ、２２０ｄ、２２０ｅを通る円の中心は、３つの対象部位２２０ｃ、２２０ｄ、２２０ｅそれぞれを中心とした円上にある。しかし、エッジのみの情報では、その半径Ｎを特定できないため、相異なる複数段階の半径Ｎを準備して、３つの対象部位２２０ｃ、２２０ｄ、２２０ｅを中心とした複数段階の半径Ｎの円上の画素に投票し、その投票数が予め定められた所定値以上となれば半径Ｎと中心とを特定物として決定する。
【００４５】
例えば、図６（ｂ）、図６（ｃ）、図６（ｄ）のように、３つの対象部位２２０ｃ、２２０ｄ、２２０ｅを中心にして、相異なる半径Ｎ＝４、５、６の円を形成し、その円の軌跡に含まれる画素に投票する（単位指標を関連付ける）。すると、図６（ｂ）では、２つの画素２２４で投票数が２となる（単位指標が２つ関連付けられる）。また、図６（ｃ）では、３つの画素２２４で投票数が２となり、１つの画素２２６で投票数が３となる。同様に、図６（ｄ）では、６つの画素２２４で投票数が２となる。
【００４６】
このとき、投票数が３（所定値以上）となるのは画素２２６のみとなり、その画素２２６を３つの対象部位２２０ｃ、２２０ｄ、２２０ｅを通る円の中心とし、その画素２２６を導出した際の半径Ｎ＝５を円の半径と特定することができる。こうして、図６（ｅ）のように、３つの対象部位２２０ｃ、２２０ｄ、２２０ｅを通る円２２８が特定される。
【００４７】
本実施形態では、上述したようなエッジを有するという情報のみならず、対象部位２２０の相対距離ｚも用いてハフ変換を行う。そうすることで事前に特定物の半径Ｎを特定することができる。以下、かかる処理を実現する特定物決定部１６４を説明する。
【００４８】
特定物決定部１６４は、エッジを有する対象部位２２０にハフ変換を施す前に、まず、当該ハフ変換の対象とする対象部位２２０を制限する。
【００４９】
図７は、特定物決定部１６４による対象領域の制限処理を説明するための説明図である。特定物決定部１６４は、特定対象である特定物が走行車線外にしか存在しない道路標識等である場合、道路標識が存在し得ない図７中ハッチングで示した領域を除く部分検索領域２３０に含まれる対象部位２２０のみをハフ変換の対象とする。かかる部分検索領域２３０は、位置情報取得部１６２が取得した相対距離ｚおよび路面からの高さｙに基づいており、例えば、路側帯に相当する位置の相対距離ｚ≦１００ｍ、１．０ｍ≦路面からの高さｙ≦５．０ｍといった範囲となる。したがって、輝度画像１２４上、部分検索領域２３０は、無限遠２３２から自車両１に向かって、放射状に広がるような形状で表される。このように、特定物が存在しない領域を除外し、対象部位２２０の無駄なハフ変換を回避することで、処理負荷の軽減を図ると共に、本来存在しない領域において特定物が出現するといった誤検出を未然に防止することが可能となる。
【００５０】
続いて、特定物決定部１６４は、データ保持部１５２に保持された特定物テーブルを参照し、対象とする特定物の形状情報を取得し、その形状情報を相対距離ｚに適合する。例えば、特定物が道路標識であった場合、形状情報として、円形状であることと、その円の半径が３０ｃｍであることが示される。特定物決定部１６４は相対距離ｚに当該道路標識が位置していた場合、輝度画像１２４にどの程度の半径（画素数）で表示されるか、上記数式（１）〜（３）の逆関数を用いて導出する。
【００５１】
かかる道路標識のように、特定物の種類によっては、大きさが法律や規則で定まっているものもある。また、本実施形態のように相対距離ｚを導出していれば、輝度画像１２４上で特定物がどのような大きさで出現するかを予測することができる。
【００５２】
次に、特定物決定部１６４は、導出した半径の円を用いてエッジを有する対象部位２２０にハフ変換を施す。
【００５３】
図８は、本実施形態におけるハフ変換処理を説明するための説明図である。特に、図８（ａ）は、輝度画像１２４を示し、図８（ｂ）は、ハフ変換による投票を行うための投票テーブル２４０、図８（ｃ）は、投票された画素に投票時の半径Ｎを関連付けた半径保持テーブル２４２を示し、図８（ｄ）は、最終的に抽出された特定物の形状を示す。また、各図における点線は、図７の走行車線に対応している。
【００５４】
例えば、図８（ａ）の輝度画像１２４において、エッジを有する対象部位２２０ｆ、２２０ｇ、２２０ｈ、２２０ｉ、２２０ｊ、２２０ｋを抽出したとする。ここでは、説明の便宜のため、当該６つの対象部位２２０に着目して説明する。特定物決定部１６４は、図８（ａ）に示す対象部位２２０ｆ、２２０ｇ、２２０ｈ、２２０ｉ、２２０ｊ、２２０ｋそれぞれの相対距離ｚを取得し、その相対距離ｚに基づいてハフ変換を施すべき円の半径Ｎを求める。ここでは、対象部位２２０ｆ、２２０ｇ、２２０ｈの半径Ｎが３０画素であり、対象部位２２０ｉ、２２０ｊ、２２０ｋの半径Ｎが２３画素であったとする。
【００５５】
特定物決定部１６４は、図８（ｂ）の投票テーブル２４０において、対象部位２２０ｆ、２２０ｇ、２２０ｈ、２２０ｉ、２２０ｊ、２２０ｋを中心に、対象部位２２０それぞれに関して求められた半径Ｎの円を形成し、その半径Ｎの円上の画素全てに投票する。したがって、図８（ｂ）に示す円に対応する画素には、投票が為された旨を示す単位指標が関連付けられている。このとき、投票した画素に対応する半径保持テーブル２４２の各画素には、図８（ｃ）に数値で示したように、投票時の半径Ｎが関連付けられる。ただし、図８（ｃ）中の半径Ｎは、イメージを示しており、実際の画素数と半径Ｎとの関係と異なっている。
【００５６】
本実施形態では、対象部位２２０を一部に含む円の半径を特定できるため、従来のように投票テーブルを複数段階の円の大きさ（半径）毎に設ける必要がない。したがって、無駄なハフ変換処理を回避でき、処理負荷の軽減を図ることができる。ただし、上述したように投票テーブル２４０を１つに纏めると、投票時の半径Ｎの情報が失われてしまう。そこで、投票テーブル２４０に対応する半径保持テーブル２４２を補完的に設けることで、特定物を適切に特定することが可能となる。
【００５７】
続いて、特定物決定部１６４は、投票テーブル２４０の投票数を検出し、投票数が所定値（例えば、２０）以上となる画素が検出されると、その画素に対応する半径保持テーブル２４２の画素に関連付けられた半径Ｎ（ここでは「３０」と「２３」）を読み出す。そして、図８（ｄ）のように、所定値以上となった画素２４４を中心に読み出した半径Ｎの円２４６を形成し、それを特定物として決定する。
【００５８】
ここで、１の画素が複数の特定物の円の中心候補となる場合がある。即ち、半径保持テーブル２４２の任意の画素に複数の半径Ｎが関連付けられている場合である。本実施形態では、画像で認識できる特定物は１つあれば足りる。したがって、複数の半径Ｎのうち、１つの半径Ｎを採用すればよい。ここでは、画像上手前に存在するであろう特定物を採用する。通常、同一の大きさの道路標識であれば、手前に位置する方が画像上大きく表示される。したがって、投票数も多くなるはずである。そこで、特定物決定部１６４は、半径保持テーブル２４２の任意の画素に複数の半径Ｎが関連付けられている場合、その数の比率が大きい半径Ｎを採用することで、手前に位置するであろう特定物を抽出することができる。
【００５９】
また、中心が異なってはいるものの、特定物を示す円の一部が重なる場合もある。ここでも、画像上、手前に存在するであろう特定物を採用する。通常、同一の大きさの道路標識であれば、手前に位置する方が画像上大きくなると共に、その中心は画像の比較的下に位置することとなる。そこで、特定物決定部１６４は、投票数を検出する際、画像下側から検出を開始することとし、画像の下側に位置する特定物を先に決定することによって、それより奥まっている特定物を無視することとする。本実施形態では、車両制御装置１４０によって適切な制御を行うため、手前に位置する特定物を優先的に抽出しなければならない。したがって、このように重複している特定物のうち、奥まっている特定物を無視したとしても制御にはほとんど影響することがない。
【００６０】
ここで、ハフ変換のさらなる効率化を検討する。本実施形態のように特定物が円形状である場合、円の接線は接点と円の中心を結ぶ線分と垂直となることが知られている。また、円の接線は対象部位２２０におけるエッジ延伸方向に相当する。したがって、特定物決定部１６４は、エッジを有する対象部位２２０を一部とする円の中心が存在する位置を、対象部位２２０のエッジ延伸方向に垂直な所定範囲に絞る。ここで所定範囲は、その対象部位２２０を中心にして、垂直方向に放射状に広がる角度範囲をいう。ここでは、その角度範囲を仮に４５度とする。
【００６１】
図９は、特定物決定部１６４による他の投票処理を示した説明図である。例えば、対象部位２２０に関してハフ変換を行うと、図９（ａ）に示すように、対象部位２２０を中心とした破線で示す円２４６に投票することとなる。しかし、ここでは、対象部位２２０のエッジ延伸方向２５０が把握できているので、特定物の円の中心は、対象部位２２０のエッジ延伸方向２５０に垂直な方向にしか出現しない。したがって、特定物決定部１６４は、対象部位２２０のエッジ延伸方向２５０に垂直な方向に絞って特定物の円の中心を特定する。
【００６２】
ただし、対象部位２２０は特定物に対して小さいため、エッジ延伸方向が必ずしも特定物の円の接線と等しくなるとは限らない。そこで、特定物決定部１６４は、所定角度のずれを許容すべく対象部位２２０のエッジ延伸方向２５０に垂直な方向のみならず、所定範囲分の部分円２５２を特定物の円の中心候補として特定する。
【００６３】
また、図４（ｆ）に示したように、エッジ延伸方向２５０はそれぞれ４５度ずつの角度を成す４つの方向で表される。したがって、図９（ｂ）〜図９（ｄ）に示すように、エッジ延伸方向２５０の４つの方向に対して、４つの部分円２５２の特定パターンがあることになる。ここでは、投票する円２４６を部分円２５２に絞ることで、処理負荷を軽減でき、特定効率を向上することが可能となる。また、その部分円２５２を特定するパターンを例えば４つに限定することで、それを求めるための処理負荷も低減でき、さらなる特定効率の向上を図ることができる。
【００６４】
さらに、特定物の円の中心が存在しない範囲への投票が回避されるので、本来特定物の円の中心が存在しない画素に不本意な投票が行われ、特定物の円の中心が誤検出される事態を回避することが可能となる。このようにして、特定物決定部１６４は、形状情報で示される特定物を決定する。
【００６５】
（環境認識方法）
以下、環境認識装置１３０の具体的な処理を図１０〜図１２のフローチャートに基づいて説明する。図１０は、画像処理装置１２０から輝度画像１２４が送信された場合の割込処理に関する全体的な流れを示し、図１１、１２は、その中の個別のサブルーチンを示している。また、ここでは、対象部位２２０として２×２画素のブロックを挙げており、６００×２００画素の輝度画像１２４の左下隅を原点とし、画像水平方向に１〜３００ブロック、垂直方向に１〜１００ブロックの範囲で当該環境認識方法による処理を遂行する。
【００６６】
図１０に示すように、輝度画像１２４の受信を契機に当該環境認識方法による割込が発生すると、画像処理装置１２０から取得した輝度画像１２４が参照されて、エッジを有する対象部位２２０に関してハフ変換が施され、投票テーブル２４０および半径保持テーブル２４２に投票が為される（Ｓ３００）。そして、その投票後の投票テーブル２４０が参照され特定物が決定される（Ｓ３０２）。以下、上記の処理を具体的に説明する。
【００６７】
（投票処理Ｓ３００）
図１１を参照すると、エッジ抽出部１６０は、相対距離ｚおよび路面からの高さｙに基づく所定の部分検索領域２３０を読み出す（Ｓ３５０）。また、エッジ抽出部１６０は、対象部位２２０を特定するための垂直変数ｊを初期化（「０」を代入）する（Ｓ３５２）。続いて、エッジ抽出部１６０は、垂直変数ｊに「１」を加算（インクリメント）すると共に水平変数ｉを初期化（「０」を代入）する（Ｓ３５４）。次に、エッジ抽出部１６０は、水平変数ｉに「１」を加算する（Ｓ３５６）。ここで、水平変数ｉや垂直変数ｊを設けているのは、３００×１００の対象部位２２０全てに対して当該投票処理を実行するためである。
【００６８】
エッジ抽出部１６０は、輝度画像１２４から対象部位（ｉ，ｊ）内の２×２画素の輝度を取得する（Ｓ３５８）。そして、エッジ抽出部１６０は、式（Ａ＋Ｂ）−（Ｃ＋Ｄ）に基づいて水平方向成分を導出し（Ｓ３６０）、式（Ａ＋Ｃ）−（Ｂ＋Ｄ）に基づいて垂直方向成分を導出する（Ｓ３６２）。次に、水平方向成分および垂直方向成分を単純化してエッジ延伸方向を特定し、エッジ延伸方向を示すエッジ延伸方向識別子ｄ（例えば、図４（ｆ）に示す番号）を対象部位２２０に関連付けて、対象部位（ｉ，ｊ，ｄ）とする（Ｓ３６４）。
【００６９】
続いて、特定物決定部１６４は、ステップＳ３５０で読み出した部分検索領域２３０を参照し、当該対象部位２２０が部分検索領域２３０に含まれるか否か判定する（３６６）。部分検索領域２３０に含まれていないと判定されると（Ｓ３６６におけるＮＯ）、ステップＳ３７６の水平変数判定処理に処理を移行する。また、当該対象部位２２０が部分検索領域２３０に含まれていれば（Ｓ３６６におけるＹＥＳ）、特定物決定部１６４は、位置情報取得部１６２に当該対象部位２２０の相対距離ｚを取得させる（Ｓ３６８）。また、データ保持部１５２に保持された特定物テーブルから特定物の形状情報を取得し、相対距離ｚに応じて形状情報を加工する（Ｓ３７０）。具体的には、相対距離ｚに基づいてハフ変換を施すべき円の半径Ｎを求める。
【００７０】
そして、特定物決定部１６４は、投票テーブル２４０におけるエッジ延伸方向識別子ｄによって特定される所定範囲（対象部位２２０のエッジ延伸方向２５０に垂直な所定範囲）の半径Ｎの部分円２５２の座標（ｍ，ｎ）の画素（ｍ，ｎ，ｔ）の投票数ｔに「１」を加算（投票）する（Ｓ３７２）。このとき、投票した画素（ｍ，ｎ，ｔ）に対応する半径保持テーブル２４２の各画素（ｍ，ｎ，Ｎ…）に、投票時の半径Ｎが関連付けられる（Ｓ３７４）。
【００７１】
次に、水平変数ｉが水平ブロックの最大値（ここでは３００）を超えたか否か判定し（Ｓ３７６）、水平変数ｉが最大値を超えていなければ（Ｓ３７６におけるＮＯ）、ステップＳ３５６の水平変数ｉのインクリメント処理からを繰り返す。また、水平変数ｉが最大値を超えていれば（Ｓ３７６におけるＹＥＳ）、特定物決定部１６４は、垂直変数ｊが垂直ブロックの最大値（ここでは１００）を超えたか否か判定する（Ｓ３７８）。そして、垂直変数ｊが最大値を超えていなければ（Ｓ３７８におけるＮＯ）、ステップＳ３５４の垂直変数ｊのインクリメント処理からを繰り返す。また、垂直変数ｊが最大値を超えていれば（Ｓ３７８におけるＹＥＳ）、当該投票処理を終了する。こうして各対象部位２２０に関するハフ変換を通じた投票が完了する。
【００７２】
（特定物決定処理Ｓ３０２）
図１２を参照すると、特定物決定部１６４は、画素を特定するための垂直変数ｎを初期化（「０」を代入）する（Ｓ４００）。続いて、特定物決定部１６４は、垂直変数ｎに「１」を加算すると共に水平変数ｍを初期化（「０」を代入）する（Ｓ４０２）。次に、特定物決定部１６４は、水平変数ｍに「１」を加算する（Ｓ４０４）。
【００７３】
続いて、特定物決定部１６４は、投票テーブル２４０と半径保持テーブル２４２から画素（ｍ，ｎ，ｔ）と画素（ｍ，ｎ，Ｎ…）を抽出し（Ｓ４０６）、１または複数の半径Ｎから最も数の比率の高い半径Ｎを抽出する（Ｓ４０８）。そして、特定物決定部１６４は、抽出した半径Ｎの投票数ｔが所定値以上であるか否か判定し（Ｓ４１０）、所定値未満であれば（Ｓ４１０におけるＮＯ）、ステップＳ４１４の水平変数判定処理に移行する。また、投票数ｔが所定値以上であれば（Ｓ４１０におけるＹＥＳ）、その画素の座標（ｍ，ｎ）を中心とする半径Ｎの円を特定物として特定する（Ｓ４１２）。
【００７４】
続いて、特定物決定部１６４は、水平変数ｍが水平画素の最大値（ここでは６００）を超えたか否か判定し（Ｓ４１４）、水平変数ｍが最大値を超えていなければ（Ｓ４１４におけるＮＯ）、ステップＳ４０４の水平変数ｍのインクリメント処理からを繰り返す。また、水平変数ｍが最大値を超えていれば（Ｓ４１４にけるＹＥＳ）、特定物決定部１６４は、垂直変数ｎが垂直画素の最大値（ここでは２００）を超えたか否か判定する（Ｓ４１６）。そして、垂直変数ｎが最大値を超えていなければ（Ｓ４１６におけるＮＯ）、ステップＳ４０２の垂直変数ｎのインクリメント処理からを繰り返す。また、垂直変数ｎが最大値を超えていれば（Ｓ４１６におけるＹＥＳ）、当該特定物決定処理を終了する。こうして特定物が特定される。
【００７５】
以上、説明したように、環境認識装置１３０によれば、ハフ変換の適用処理を工夫することで、処理負荷を軽減すると共にメモリの記憶領域を低減し対象物の特定効率の向上を図ることが可能となる。具体的に、ハフ変換に相対距離ｚの概念を含め、対象部位２２０を一部に含む円の半径Ｎを一意に推定することで、他の半径Ｎによる無駄なハフ変換処理を回避することができる。また、そのときに、投票テーブル２４０および半径保持テーブル２４２のみを用いるとすることで、メモリ容量の大幅な低減を図ることも可能となる。
【００７６】
また、ハフ変換の対象とする対象部位２２０を部分検索領域２３０に絞ることでも無駄なハフ変換処理を排除でき、さらに、投票対象を部分円２５２に絞ることでも処理負荷を大幅に低減することが可能となる。
【００７７】
また、コンピュータを、環境認識装置１３０として機能させるプログラムや当該プログラムを記録した、コンピュータで読み取り可能なフレキシブルディスク、光磁気ディスク、ＲＯＭ、ＣＤ、ＤＶＤ、ＢＤ等の記憶媒体も提供される。ここで、プログラムは、任意の言語や記述方法にて記述されたデータ処理手段をいう。
【００７８】
以上、添付図面を参照しながら本発明の好適な実施形態について説明したが、本発明はかかる実施形態に限定されないことは言うまでもない。当業者であれば、特許請求の範囲に記載された範疇において、各種の変更例または修正例に想到し得ることは明らかであり、それらについても当然に本発明の技術的範囲に属するものと了解される。
【００７９】
また、上述した実施形態においては、対象物の三次元位置を複数の撮像装置１１０を用い画像データ間の視差に基づいて導出しているが、かかる場合に限られず、例えば、レーザレーダ測距装置等、既知の様々な距離測定装置を用いることができる。ここで、レーザレーダ測距装置は、検出領域１２２にレーザビームを投射し、このレーザビームが物体に当たって反射してくる光を受光し、この所要時間から物体までの距離を測定するものである。
【００８０】
また、上述した実施形態においては、撮像装置１１０がカラー画像を取得することを前提としているが、かかる場合に限られず、モノクロ画像を取得することでも本実施形態を遂行することができる。
【００８１】
また、上述した実施形態では、位置情報取得部１６２が、画像処理装置１２０から距離画像（視差情報）１２６を受けて三次元の位置情報を生成している例を挙げている。しかし、かかる場合に限られず、画像処理装置１２０において予め三次元の位置情報を生成し、位置情報取得部１６２は、その生成された三次元の位置情報を取得するとしてもよい。このようにして、機能分散を図り、環境認識装置１３０の処理負荷を軽減することが可能となる。
【００８２】
また、上述した実施形態においては、エッジ抽出部１６０、位置情報取得部１６２、特定物決定部１６４は中央制御部１５４によってソフトウェアで動作するように構成している。しかし、上記の機能部をハードウェアによって構成することも可能である。
【００８３】
なお、本明細書の環境認識方法の各工程は、必ずしもフローチャートとして記載された順序に沿って時系列に処理する必要はなく、並列的あるいはサブルーチンによる処理を含んでもよい。
【産業上の利用可能性】
【００８４】
本発明は、検出領域における対象物の輝度に基づいて、その対象物を認識する環境認識装置および環境認識方法に利用することができる。
【符号の説明】
【００８５】
１ …車両
１２２ …検出領域
１２４ …輝度画像
１２６ …距離画像
１３０ …環境認識装置
１６０ …エッジ抽出部
１６２ …位置情報取得部
１６４ …特定物決定部
２４０ …投票テーブル
２４２ …半径保持テーブル
２５０ …エッジ延伸方向
【特許請求の範囲】
【請求項１】
特定物の形状に関する情報である形状情報を保持するデータ保持部と、
検出領域内を分割した複数の対象部位の輝度を取得して、エッジを有する対象部位を抽出するエッジ抽出部と、
前記エッジを有する対象部位の相対距離を取得する位置情報取得部と、
前記相対距離に応じた前記形状情報に基づいて前記エッジを有する対象部位にハフ変換を施し、該形状情報で示される特定物を決定する特定物決定部と、
を備えることを特徴とする環境認識装置。
【請求項２】
前記特定物の形状は円であることを特徴とする請求項１に記載の環境認識装置。
【請求項３】
前記特定物決定部は、前記エッジを有する対象部位を一部とする円の中心が存在する位置を、該対象部位のエッジが延伸する方向に垂直な所定範囲に絞って特定することを特徴とする請求項２に記載の環境認識装置。
【請求項４】
前記位置情報取得部は前記エッジを有する対象部位の路面からの高さも取得し、
前記特定物決定部は、前記相対距離および前記路面からの高さに基づく所定の部分検索領域に含まれる対象部位のみを対象として、前記形状情報で示される特定物を決定することを特徴とする請求項１から３のいずれか１項に記載の環境認識装置。
【請求項５】
特定物の形状に関する情報である形状情報を予め保持しておき、
検出領域内を分割した複数の対象部位の輝度を取得して、エッジを有する対象部位を抽出し、
前記エッジを有する対象部位の相対距離を取得し、
前記相対距離に応じた前記形状情報に基づいて前記エッジを有する対象部位にハフ変換を施し、該形状情報で示される特定物を決定することを特徴とする環境認識方法。
【請求項１】
特定物の形状に関する情報である形状情報を保持するデータ保持部と、
検出領域内を分割した複数の対象部位の輝度を取得して、エッジを有する対象部位を抽出するエッジ抽出部と、
前記エッジを有する対象部位の相対距離を取得する位置情報取得部と、
前記相対距離に応じた前記形状情報に基づいて前記エッジを有する対象部位にハフ変換を施し、該形状情報で示される特定物を決定する特定物決定部と、
を備えることを特徴とする環境認識装置。
【請求項２】
前記特定物の形状は円であることを特徴とする請求項１に記載の環境認識装置。
【請求項３】
前記特定物決定部は、前記エッジを有する対象部位を一部とする円の中心が存在する位置を、該対象部位のエッジが延伸する方向に垂直な所定範囲に絞って特定することを特徴とする請求項２に記載の環境認識装置。
【請求項４】
前記位置情報取得部は前記エッジを有する対象部位の路面からの高さも取得し、
前記特定物決定部は、前記相対距離および前記路面からの高さに基づく所定の部分検索領域に含まれる対象部位のみを対象として、前記形状情報で示される特定物を決定することを特徴とする請求項１から３のいずれか１項に記載の環境認識装置。
【請求項５】
特定物の形状に関する情報である形状情報を予め保持しておき、
検出領域内を分割した複数の対象部位の輝度を取得して、エッジを有する対象部位を抽出し、
前記エッジを有する対象部位の相対距離を取得し、
前記相対距離に応じた前記形状情報に基づいて前記エッジを有する対象部位にハフ変換を施し、該形状情報で示される特定物を決定することを特徴とする環境認識方法。
【図１】
【図２】
【図３】
【図４】
【図５】
【図６】
【図７】
【図８】
【図９】
【図１０】
【図１１】
【図１２】
【図２】
【図３】
【図４】
【図５】
【図６】
【図７】
【図８】
【図９】
【図１０】
【図１１】
【図１２】
【公開番号】特開２０１２−２４３０５１（Ｐ２０１２−２４３０５１Ａ）
【公開日】平成２４年１２月１０日（２０１２．１２．１０）
【国際特許分類】
【出願番号】特願２０１１−１１２００６（Ｐ２０１１−１１２００６）
【出願日】平成２３年５月１９日（２０１１．５．１９）
【出願人】（０００００５３４８）富士重工業株式会社 (3,010)
【Ｆターム（参考）】
【公開日】平成２４年１２月１０日（２０１２．１２．１０）
【国際特許分類】
【出願日】平成２３年５月１９日（２０１１．５．１９）
【出願人】（０００００５３４８）富士重工業株式会社 (3,010)
【Ｆターム（参考）】
[ Back to top ]