環境認識装置
【課題】対象物を有効に検出して周囲の環境を認識することが可能な環境認識装置を提供する。
【解決手段】環境認識装置１は、一対のカメラ２ａ、２ｂで周囲の環境中の対象Ｖahを撮像して２枚一組の画像ＴO、ＴCを出力する撮像手段２と、異なる撮像方法で撮像され、または撮像された２枚一組の画像に対して異なる画像処理方法を施して形成される２枚一組の画像の複数の組に対してステレオマッチング処理を行って各組ごとに距離画像ＴZ１、ＴZ２を形成するステレオマッチング手段７ａ、７ｂと、各距離画像ＴZ１、ＴZ２をそれぞれ複数の区分Ｄｎに分割して各区分Ｄｎごとに代表視差ｄｐｎ１、ｄｐｎ２を算出し、対応する区分Ｄｎの各代表視差ｄｐｎ１、ｄｐｎ２のうちいずれかの代表視差を選択して当該区分Ｄｎの代表視差ｄｐｎとする選択手段１１と、各区分Ｄｎの代表視差ｄｐｎに基づいて画像ＴO中に撮像された対象を検出する検出手段１２と、を備える。
【解決手段】環境認識装置１は、一対のカメラ２ａ、２ｂで周囲の環境中の対象Ｖahを撮像して２枚一組の画像ＴO、ＴCを出力する撮像手段２と、異なる撮像方法で撮像され、または撮像された２枚一組の画像に対して異なる画像処理方法を施して形成される２枚一組の画像の複数の組に対してステレオマッチング処理を行って各組ごとに距離画像ＴZ１、ＴZ２を形成するステレオマッチング手段７ａ、７ｂと、各距離画像ＴZ１、ＴZ２をそれぞれ複数の区分Ｄｎに分割して各区分Ｄｎごとに代表視差ｄｐｎ１、ｄｐｎ２を算出し、対応する区分Ｄｎの各代表視差ｄｐｎ１、ｄｐｎ２のうちいずれかの代表視差を選択して当該区分Ｄｎの代表視差ｄｐｎとする選択手段１１と、各区分Ｄｎの代表視差ｄｐｎに基づいて画像ＴO中に撮像された対象を検出する検出手段１２と、を備える。
【発明の詳細な説明】
【技術分野】
【０００１】
本発明は、環境認識装置に係り、特に、撮像画像中に撮像された対象を検出して周囲の環境を認識する環境認識装置に関する。
【背景技術】
【０００２】
ステレオカメラを用いて周囲の環境内に存在する対象物までの距離を測定する手法としては、左右同じ高さに取り付けられた一対のカメラで撮像された一対の撮像画像を用いて、一対の撮像画像のうち、基準となる一方の撮像画像（以下、基準画像ＴOという。）と他方の撮像画像（以下、比較画像ＴCという。）とを比較して、同じ対象物が撮像されている各画像中の各位置の差、すなわち視差を算出し、その視差に基づいて対象物までの距離を算出する手法が一般的である。そして、基準画像と比較画像で同じ対象物が撮像されている位置を特定する手法としては、通常、ステレオマッチング処理が行われる（例えば特許文献１、２等参照）。
【０００３】
ステレオマッチング処理では、図１７に示すように、基準画像ＴOを例えば３×３画素や４×４画素等の所定の画素数の小領域（以下、画素ブロックＰＢOという。）に分割し、各画素ブロックＰＢOごとに、比較画像ＴC中で当該画素ブロックＰＢOに対応する上下方向の位置にエピポーララインＥＰＬを設定し、画素ブロックＰＢOの輝度パターンと、当該エピポーララインＥＰＬ上に存在する画素ブロックＰＢOと同形の画素ブロックＰＢCの輝度パターンとを比較する。
【０００４】
その際、例えば、基準画像ＴOの画素ブロックＰＢO中の各画素の輝度値をｐ１stとし、比較画像ＴCの画素ブロックＰＢC中の各画素の輝度値をｐ２stとした場合、輝度パターンの差異として下記（１）式のＳＡＤ（Sum of Absolute Difference）値を算出し、予め設定された閾値以下の値となるＳＡＤ値のうち、最小のＳＡＤ値を与える比較画像ＴCの画素ブロックＰＢCが、基準画像ＴOの画素ブロックＰＢOに撮像されている対象物と同じ対象物が撮像されている比較画像上の画素ブロックとして特定される。
【０００５】
【数１】
【０００６】
そして、比較画像ＴC上に特定された画素ブロックＰＢCと元の基準画像ＴOの画素ブロックＰＢOとの視差ｄｐが算出され、その視差ｄｐに基づいて三角測量の原理によりその画素ブロックＰＢOに撮像されている対象物までの距離Ｚが算出される。そして、算出された距離Ｚに基づいて周囲の環境中から対象物が検出される。
【０００７】
このような基準画像ＴOと比較画像ＴCに対するステレオマッチング処理により視差ｄｐを算出して対象物までの距離Ｚを算出する対象物の検出手法は、前記特許文献１、２等に記載されているように、通常の撮像環境中では支障なく機能し、周囲の環境中から対象物を有効に検出することができることが確認されている。
【０００８】
しかし、例えばステレオカメラが逆光の環境内に置かれた場合、図１８（Ａ）に例示する基準画像ＴOでは逆光が入射されて画像が全体的に明るく撮像されているのに対し、同じシーンで撮像された図１８（Ｂ）に示す比較画像ＴCでは逆光がビル等に遮られてさほど強くは入射されずに画像が全体的に基準画像ＴOよりも暗めに撮像される場合がある。
【０００９】
このように一対のカメラの明るさのバランスが崩れると、上記（１）式中の基準画像ＴOの画素ブロックＰＢOの各画素の輝度値ｐ１stと比較画像ＴCの画素ブロックＰＢCの各画素の輝度値ｐ２stとの差が全体的に大きくなる。そのため、算出されるＳＡＤ値が大きな値になって前述した閾値を越えてしまい、有効に視差ｄｐが算出されずに棄却される画素ブロックＰＢOが増大する。
【００１０】
そのため、基準画像ＴOの各画素ブロックＰＢOに算出された視差ｄｐを割り当てて形成されるデータ画像（以下、距離画像ＴZという。）は、図１９に示すように、有効な視差ｄｐのデータがさほど多く割り当てられていない距離画像ＴZが得られ、対象物の検出が困難になったり、対象物の検出結果の信頼性が低下する場合がある。最悪の場合には、ほとんど有効な視差ｄｐのデータがない距離画像ＴZしか得られず、対象物をまったく検出できなくなる場合も生じる。
【００１１】
このような場合、例えば図１８（Ａ）に示した基準画像ＴOに属する各画素についてその左隣または右隣の画素との間で輝度値ｐ１ijの差分を算出して図２０（Ａ）のような基準エッジ画像ＴＥOを形成し、また、図１８（Ｂ）に示した比較画像ＴCについても同様にして図２０（Ｂ）のような比較エッジ画像ＴＥCを形成し、それらのエッジ画像ＴＥO、ＴＥCに対してステレオマッチング処理を行うように構成することが可能である。
【００１２】
このようにして形成された基準エッジ画像ＴＥOと比較エッジ画像ＴＥCに対してステレオマッチング処理を行うことで、図２１に示すように、有効な視差ｄｐのデータが比較的多く割り当てられた距離画像（以下、エッジ画像に基づく距離画像をエッジ距離画像という。）ＴＥZが得られ、上記のように元の基準画像ＴOと比較画像ＴCに対する直接ステレオマッチング処理では対象物を有効に検出し難い場合でも、有効に対象物を検出することが可能となる場合がある。なお、図２０（Ａ）、（Ｂ）および図２１では、基準エッジ画像ＴＥOや比較エッジ画像ＴＥC、エッジ距離画像ＴＥZの一部が示されている。
【特許文献１】特開平１０−２８３４６１号公報
【特許文献２】特開平１０−２８３４７７号公報
【発明の開示】
【発明が解決しようとする課題】
【００１３】
しかしながら、エッジ処理は、隣接する画素の輝度値の差分をとる際に多くの情報が失われてしまうという問題がある。すなわち、２５６の輝度階調において輝度値の差分として３０という値が得られた場合、それが輝度値５０と８０との差なのか、２００と２３０との差なのかは分からない。また、それにより、基準画像ＴOや比較画像ＴCのノイズ成分が増幅されてしまうという問題もある。
【００１４】
また、１画素幅或いは数画素幅の輝度値の差しか見ていないため、基準画像ＴOや比較画像ＴCの周波数成分のうちの低周波数側の成分の情報も失われてしまう。そのため、ミスマッチングを生じ易くなるという問題もある。さらには、エッジ処理では、構造や模様等に乏しい壁やアスファルトの道路面等に対して有効な情報が得られ難いという問題もある。
【００１５】
このように、上記のような例でエッジ処理が有効であるからといって、常時、基準画像ＴOや比較画像ＴCにエッジ処理を施して基準エッジ画像ＴＥOと比較エッジ画像ＴＥCを形成し、それらに対してステレオマッチング処理を行って得られたエッジ距離画像ＴＥZのみに基づいて対象物の検出を行うように構成することは避けられるべきである。
【００１６】
しかし、基準画像ＴOや比較画像ＴCから得られた距離画像ＴZのみに基づいて対象物検出を行うように構成すると、前述したように、通常の撮像環境中では周囲の環境中から対象物を有効に精度良く検出することができるが、上記のような特殊な環境下において対象物の検出が困難になることも否定できない。
【００１７】
本発明は、このような事情に鑑みてなされたものであり、対象物を有効に検出して周囲の環境を認識することが可能な環境認識装置を提供することを目的とする。
【課題を解決するための手段】
【００１８】
前記の問題を解決するために、第１の発明は、環境認識装置において、
一対のカメラで周囲の環境中の同じ対象を撮像して２枚一組の画像を出力する撮像手段と、
異なる撮像方法で撮像された２枚一組の画像の複数の組または撮像された２枚一組の画像に対して異なる画像処理方法を施して形成される２枚一組の画像の複数の組に対して、各組の２枚の画像ごとにステレオマッチング処理を行い、当該画像の各画素ブロックに算出した各視差をそれぞれ割り当てて各組ごとに１枚ずつ距離画像を形成するステレオマッチング手段と、
前記各組ごとに１枚ずつ形成された前記各距離画像をそれぞれ縦方向に延びる短冊状の複数の区分に分割して各区分ごとにそれぞれ代表視差を算出し、前記各組の各距離画像の互いに対応する区分の前記各代表視差のうちいずれかの代表視差を選択して当該区分の代表視差とし、前記区分の代表視差を前記区分ごとに選択する選択手段と、
前記各区分の代表視差に基づいて前記画像中に撮像された前記対象を検出する検出手段と、
を備えることを特徴とする。
【００１９】
第２の発明は、第１の発明の環境認識装置において、前記異なる撮像方法で撮像された２枚一組の画像の複数の組とは、前記撮像手段の撮像条件を変えて撮像された２枚一組の画像の複数の組であることを特徴とする。
【００２０】
第３の発明は、第１または第２の発明の環境認識装置において、前記撮像された２枚一組の画像に対して異なる画像処理方法を施して形成される２枚一組の画像の複数の組は、前記撮像手段により撮像された２枚の画像の組、前記２枚一組の画像に対してそれぞれエッジ処理が施されて形成された２枚の画像の組、前記２枚一組の画像の解像度をそれぞれ変えて形成された２枚の画像の組、または画像の明るさをそれぞれ変えて形成された２枚の画像の組のいずれかであることを特徴とする。
【００２１】
第４の発明は、第１から第３のいずれかの発明の環境認識装置において、前記選択手段は、前記距離画像からノイズを除去する際の閾値を変更して前記２枚の画像の組を形成することを特徴とする。
【００２２】
第５の発明は、第１から第４のいずれかの発明の環境認識装置において、前記選択手段は、前記撮像された２枚一組の画像から形成された前記距離画像を分割する前記区分の画素幅を変更して形成した前記各区分ごとにそれぞれ代表視差を算出し、互いに対応する前記区分の前記各代表視差のうちいずれかの代表視差を選択して当該区分の代表視差とし、前記区分の代表視差を前記区分ごとに選択することを特徴とする。
【００２３】
第６の発明は、第１から第５のいずれかの発明の環境認識装置において、前記選択手段は、前記各組ごとに形成された前記各距離画像の前記複数の区分について各区分ごとにそれぞれヒストグラムを作成し、当該ヒストグラムにおける前記視差の度数に基づいてその最頻値を前記代表視差として算出することを特徴とする。
【００２４】
第７の発明は、第６の発明の環境認識装置において、前記選択手段は、前記各組ごとに形成された各距離画像の対応する区分の前記各代表視差のうち、度数が最大の代表視差、分散が最小となるヒストグラムに基づく代表視差、前記最頻値が最も大きい代表視差、または前回のサンプリング周期で検出された前記対象の位置から推定される今回のサンプリング周期における当該対象までの距離に最も近い距離を与える代表視差のいずれかの代表視差を選択して当該区分の代表視差とすることを特徴とする。
【００２５】
第８の発明は、第６または第７の発明の環境認識装置において、前記選択手段は、前記撮像された２枚一組の画像から形成された前記距離画像の前記複数の区分について各区分ごとにそれぞれ作成する前記ヒストグラムの最大値、最小値または階級幅の少なくとも１つを変更した複数種類のヒストグラムを作成し、当該複数種類のヒストグラムについてそれぞれ前記代表視差を算出することを特徴とする。
【００２６】
第９の発明は、環境認識装置において、
一対のカメラで周囲の環境中の同じ対象を撮像して２枚一組の画像を出力する撮像手段と、
前記２枚一組の画像に対してステレオマッチング処理を行い、当該画像の各画素ブロックに算出した各視差を割り当てた距離画像を形成するステレオマッチング手段と、
前記距離画像を縦方向に延びる短冊状の複数の区分に分割して各区分ごとに複数種類の代表視差を算出し、対応する区分の前記複数種類の代表視差のうちいずれかの代表視差を選択して当該区分の代表視差とし、前記区分の代表視差を前記区分ごとに選択する選択手段と、
前記各区分の代表視差に基づいて前記画像中に撮像された前記対象を検出する検出手段と、
を備え、
前記複数種類の代表視差は、前記距離画像からノイズを除去する際の閾値が異なる値に設定されて形成された複数種類の前記距離画像に基づいて算出されることを特徴とする。
【００２７】
第１０の発明は、環境認識装置において、
一対のカメラで周囲の環境中の同じ対象を撮像して２枚一組の画像を出力する撮像手段と、
前記２枚一組の画像に対してステレオマッチング処理を行い、当該画像の各画素ブロックに算出した各視差を割り当てた距離画像を形成するステレオマッチング手段と、
前記距離画像を縦方向に延びる短冊状の複数の区分に分割して各区分ごとに複数種類の代表視差を算出し、対応する区分の前記複数種類の代表視差のうちいずれかの代表視差を選択して当該区分の代表視差とし、前記区分の代表視差を前記区分ごとに選択する選択手段と、
前記各区分の代表視差に基づいて前記画像中に撮像された前記対象を検出する検出手段と、
を備え、
前記複数種類の代表視差は、前記距離画像を分割する前記区分の画素幅が異なる画素幅に設定されることで算出される複数種類の代表視差であることを特徴とする。
【００２８】
第１１の発明は、環境認識装置において、
一対のカメラで周囲の環境中の同じ対象を撮像して２枚一組の画像を出力する撮像手段と、
前記２枚一組の画像に対してステレオマッチング処理を行い、当該画像の各画素ブロックに算出した各視差を割り当てた距離画像を形成するステレオマッチング手段と、
前記距離画像を縦方向に延びる短冊状の複数の区分に分割して各区分ごとに複数種類の代表視差を算出し、対応する区分の前記複数種類の代表視差のうちいずれかの代表視差を選択して当該区分の代表視差とし、前記区分の代表視差を前記区分ごとに選択する選択手段と、
前記各区分の代表視差に基づいて前記画像中に撮像された前記対象を検出する検出手段と、
を備え、
前記選択手段は、前記各区分ごとにそれぞれヒストグラムを作成し、当該ヒストグラムにおける前記視差の最頻値を前記代表視差として算出し、前記各区分のヒストグラムとして、前記ヒストグラムの最大値、最小値または階級幅の少なくとも１つが変更された複数種類のヒストグラムを用いることで前記複数種類の代表視差を算出することを特徴とする。
【００２９】
第１２の発明は、第１から第１１のいずれかの発明の環境認識装置において、前記選択手段は、所定の重み付けがなされた前記代表視差のいずれかを選択することを特徴とする。
【００３０】
第１３の発明は、第１から第１２のいずれかの発明の環境認識装置において、前記２枚一組の画像を得るための前記撮像方法、前記２枚一組の画像に対する前記画像処理方法、または前記距離画像に対する処理のしかたを切り替えることが可能とされていることを特徴とする。
【００３１】
第１４の発明は、第１３の発明の環境認識装置において、前記撮像方法、前記画像処理方法、または前記距離画像に対する処理のしかたの切り替えは、周囲の環境に応じて行われることを特徴とする。
【００３２】
第１５の発明は、第１から第１４のいずれかの発明の環境認識装置において、前記対象は、基準面より高い位置に存在する立体物であることを特徴とする。
【００３３】
第１６の発明は、第１から第１５のいずれかの発明の環境認識装置において、前記視差および前記代表視差に代えて、三角測量の原理に基づいて前記視差および前記代表視差にそれぞれ一意に対応付けられる距離および代表距離を用いて前記ステレオマッチング手段における処理および前記選択手段における処理が構成されていることを特徴とする。
【発明の効果】
【００３４】
第１の発明によれば、撮像された２枚一組に対して異なる画像処理方法を施して形成される２枚一組の画像の複数の組に対してそれぞれステレオマッチング処理を行い、複数種類の距離画像を得る。そして、複数種類の距離画像をそれぞれ複数の区分に分割し、各区分についてより条件に適合する代表視差を選択してその区分の代表視差とする。そのため、各区分について、それぞれ複数種類の距離画像に基づく代表視差の中からより優秀な代表視差を各区分の代表視差として抽出することが可能となり、例えば一方の画像の組だけでは距離画像のある区分で代表視差を抽出することが困難な状況であっても、他方の画像の組の当該区分のデータでそれを補うことが可能となる。
【００３５】
このように、第１の発明によれば、区分ごとのいわば「良いとこ取り」により区分の代表視差を的確に抽出することが可能となり、抽出されたデータに基づいて先行車両等の対象物を有効に検出して、周囲の環境を的確に認識することが可能となる。
【００３６】
第２の発明によれば、撮像手段の撮像条件を変えて２枚一組の画像を撮像することで、撮像条件が異なる２枚一組の画像の複数の組を得ることが可能となる。そして、このようにして得られた複数の画像の組に基づいて算出された代表視差の中から優秀な代表視差を選択することが可能となり、前記発明の効果が的確に発揮される。
【００３７】
第３の発明によれば、撮像された２枚一組の画像に対して異なる画像処理方法を施して形成される２枚一組の画像の複数の組を、撮像手段により撮像された２枚の画像の組、２枚一組の画像に対してそれぞれエッジ処理が施されて形成された２枚の画像の組、２枚一組の画像の解像度をそれぞれ変えて形成された２枚の画像の組、距離画像の形成の際のノイズ除去の閾値が変更されて形成された２枚の画像の組、または画像の明るさをそれぞれ変えて形成された２枚の画像の組のいずれかとすることで、画像処理方法が異なる２枚一組の画像の複数の組を得ることが可能となる。そして、このようにして得られた複数の画像の組に基づいて算出された代表視差の中から優秀な代表視差を選択することが可能となり、前記各発明の効果が的確に発揮される。
【００３８】
第４および第９の発明によれば、距離画像からノイズを除去する際の閾値を変更して２枚の画像の組を形成することで、ノイズ除去の閾値が異なる２枚一組の画像の複数の組を得ることが可能となる。そして、このようにして得られた複数の画像の組に基づいて算出された代表視差の中から優秀な代表視差を選択することが可能となり、前記各発明の効果が的確に発揮される。
【００３９】
第５および第１０の発明によれば、撮像された２枚一組の画像から形成された距離画像を分割する区分の画素幅を変更することで、距離画像を異なる画素幅の区分で分割した複数種類の代表視差を得ることが可能となる。そして、このようにして得られた複数種類の代表視差の中から優秀な代表視差を選択することが可能となり、前記各発明の効果が的確に発揮される。
【００４０】
第６の発明によれば、各区分ごとにそれぞれヒストグラムを作成してその度数の最頻値を代表視差として算出することで、容易かつ的確に代表視差を算出することが可能となり、前記各発明の効果が的確に発揮される。
【００４１】
第７の発明によれば、度数が最大の代表視差を選択して区分の代表視差とすれば的確な区分の代表視差を即座に選択することが可能となり、分散が最小となるヒストグラムに基づく代表視差を選択して区分の代表視差とすればノイズ等の影響が少ない代表視差を選択することが可能となり、最頻値が最も大きい代表視差を選択して区分の代表視差とすれば撮像手段に最も近い位置の代表視差を選択することが可能となり、前回のサンプリング周期で検出された対象の位置から推定される今回のサンプリング周期における当該対象までの距離に最も近い距離を与える代表視差を選択して区分の代表視差とすれば対象を安定して検出することが可能となる。
【００４２】
このように、対象を検出する際に求められる条件に応じて区分の代表視差の選択手法を決めることで、その条件に適した区分の代表視差を選択することが可能となり、前記各発明の効果が的確に発揮される。
【００４３】
第８および第１１の発明によれば、撮像された２枚一組の画像から形成された距離画像の複数の区分について各区分ごとにそれぞれ作成するヒストグラムの最大値、最小値または階級幅の少なくとも１つを変更することで、距離画像の同じ区分に対して複数種類の代表視差を得ることが可能となる。そして、このようにして得られた複数種類の代表視差の中から優秀な代表視差を選択することが可能となり、前記各発明の効果が的確に発揮される。
【００４４】
第１２の発明によれば、代表視差に所定の重み付けをして選択することで、算出のもととなるデータ数が異なる代表視差同士を平等に選択することが可能となり、或いは優先したい方の代表視差の重みを大きくしてその代表視差が選択され易くすることが可能となり、対象を検出する際に求められる条件に応じて重みを決定することで、その条件に適した区分の代表視差を選択することが可能となり、前記各発明の効果が的確に発揮される。
【００４５】
第１３および第１４の発明によれば、撮像方法や画像処理方法、または距離画像に対する処理のしかたを切り替え可能とし、特に周囲の環境に応じて切り替えることで、対象を検出する際に求められる条件に適した撮像方法等に切り替えて代表視差を算出することが可能となり、特に、例えば日中から夜間に変化するように周囲の環境が変化する際に、特定の環境（例えば日中）に適した撮像方法等から他の特定の環境（例えば夜間）に適した撮像方法等に切り替えて代表視差を算出することが可能となる。そのため、周囲の環境等に応じて撮像方法等を切り替えることで、周囲の環境中から対象物を的確に検出して環境を認識することが可能となり、前記各発明の効果が的確に発揮される。
【００４６】
第１５の発明によれば、対象として先行車両等の基準面（道路面）より高い位置に存在する立体物を検出する場合にも、前記各発明を適用することが可能であり、前記各発明の効果が的確に発揮される。
【００４７】
第１６の発明によれば、視差や代表視差は、三角測量の原理に基づいて距離や代表距離と一意に対応づけることができる。そのため、視差や代表視差に代えて距離や代表距離を用いて処理を組み立てることが可能であり、そのような場合にも前記各発明の効果が的確に発揮される。
【発明を実施するための最良の形態】
【００４８】
以下、本発明に係る環境認識装置の実施の形態について、図面を参照して説明する。
【００４９】
なお、以下では、環境認識装置を車両に搭載して先行車両を検出する場合について説明するが、対象物は先行車両には限定されず、他の車両や歩行者、障害物等、或いはそれらすべてを認識対象とするように構成することも可能である。また、環境認識装置は、車両に搭載して用いられる形態に限定されず、例えば自走式ロボット等の他の移動体に搭載したり、或いは据え置き型の監視装置等としても用いる形態とすることも可能である。
【００５０】
本実施形態に係る環境認識装置１は、図１に示すように、撮像手段２、変換手段３、および選択手段１１や検出手段１２を備える認識手段１０等で構成されている。また、環境認識装置１は、２系統の画像処理手段６ａ、６ｂを備えている。
【００５１】
なお、撮像手段２や変換手段３、画像補正部４、画像データメモリ５、第１、第２ステレオマッチング手段７ａ、７ｂと第１、第２距離データメモリ８ａ、８ｂを備える第１、第２画像処理手段６ａ、６ｂの構成は本願出願人により先に提出された前記特許文献１、２のほか、特開平５−１１４０９９号公報や特開平５−２６５５４７号公報、特開平６−２６６８２８号公報、特開２００６−７２４９５号公報等に詳述されている。以下、簡単に説明する。
【００５２】
撮像手段２は、本実施形態では、互いに同期が取られたＣＣＤやＣＭＯＳセンサ等のイメージセンサがそれぞれ内蔵され例えばフロントガラスの車内側に車幅方向すなわち左右方向に所定の間隔をあけて取り付けられた一対のメインカメラ２ａおよびサブカメラ２ｂからなるステレオカメラが用いられている。
【００５３】
メインカメラ２ａおよびサブカメラ２ｂは、道路面から同じ高さに取り付けられており、所定のサンプリング周期で同時に自車両の周囲の環境を撮像して撮像画像の情報を出力するように構成されている。そして、運転者に近い側に配置されたメインカメラ２ａは図２に例示される基準画像ＴOの画像データを出力し、運転者から遠い側に配置されたサブカメラ２ｂは図示を省略する比較画像ＴCの画像データを出力するようになっている。本実施形態では、基準画像ＴOおよび比較画像ＴCが２枚一組の画像となる。
【００５４】
メインカメラ２ａとサブカメラ２ｂから出力された画像データは、変換手段３であるＡ／Ｄコンバータ３ａ、３ｂでアナログ画像からそれぞれ画素ごとに例えば２５６階調のグレースケール等の所定の輝度階調の輝度を有するデジタル画像にそれぞれ変換され、画像補正部４で、ずれやノイズの除去等の画像補正が行われるようになっている。そして、画像補正等が行われた各画像データは、画像データメモリ５に送信されて格納されるとともに、第１画像処理手段６ａおよび第２画像処理手段６ｂに送信されるようになっている。
【００５５】
画像処理手段６ａは、イメージプロセッサ等からなる第１ステレオマッチング手段７ａと第１距離データメモリ８ａとを備えている。
【００５６】
なお、本実施形態では、第１画像処理手段６ａでは、基準画像ＴOや比較画像ＴCに前処理を施さず、基準画像ＴOや比較画像ＴCに対して直接ステレオマッチング処理を行う場合について説明するが、後述する第２画像処理手段６ｂの場合と同様に、第１画像処理手段６ａにおいても基準画像ＴOや比較画像ＴCに対して前処理が施されて形成された２枚一組の画像に対してステレオマッチング処理を行うように構成することも可能である。その場合、第１画像処理手段６ａと第２画像処理手段６ｂには互いに異なる前処理の手法で前処理された２枚一組の画像がそれぞれ入力される。
【００５７】
第１ステレオマッチング手段７ａでは、図１７に示した手法でステレオマッチング処理が行われるようになっている。すなわち、第１ステレオマッチング手段７ａは、基準画像ＴO上に例えば３×３画素や４×４画素等の所定の画素数の画素ブロックＰＢOを設定し、画素ブロックＰＢOに対応する比較画像ＴCの上下方向の位置にエピポーララインＥＰＬを設定し、エピポーララインＥＰＬ上を例えば左から右に向かって１画素分ずつシフトさせながら比較画像ＴCの各画素ブロックＰＢCを探索し、上記（１）式に従ってＳＡＤ値を算出して、ＳＡＤ値が閾値以下で、かつ最小の画素ブロックＰＢCを特定するようになっている。
【００５８】
本実施形態では、このようにＳＡＤ値を用いるように構成されているが、この他にも、例えば画素ブロックＰＢO中の各画素の輝度値ｐ１stと画素ブロックＰＢC中の各画素の輝度値ｐ２stとの差の二乗和に基づいてステレオマッチング処理を行うように構成することも可能である。また、画素ブロックＰＢOと画素ブロックＰＢCとの輝度パターンの差異を適切に算出できるものであれば他の計算式に従って算出される差異に基づいてステレオマッチング処理を行うように構成することも可能である。
【００５９】
第１ステレオマッチング手段７ａは、さらに、ステレオマッチング処理により特定した画素ブロックＰＢCの比較画像ＴC上の位置と元の基準画像ＴO上の画素ブロックＰＢOの位置から第１視差ｄｐ１を算出する。そして、以上の処理を基準画像ＴO上の全画素ブロックＰＢOについて行って、画素ブロックＰＢOごとに第１視差ｄｐ１を算出するようになっている。
【００６０】
基準画像ＴOの各画素ブロックＰＢOに、算出された有効な第１視差ｄｐ１を割り当てると、例えば図３に例示するように、各画素ブロックＰＢOに第１視差ｄｐ１が割り当てられた第１距離画像ＴZ１が形成される。第１ステレオマッチング手段７ａは、このようにして、ステレオマッチング処理により第１視差ｄｐ１を算出し、第１距離画像ＴZ１を形成するようになっている。
【００６１】
なお、一対のメインカメラ２ａとサブカメラ２ｂの中央真下の道路面上の点を原点とし、自車両の車幅方向（左右方向）をＸ軸方向、車高方向（高さ方向）をＹ軸方向、車長方向（前後方向）をＺ軸方向とした場合の実空間上の点（Ｘ１，Ｙ１，Ｚ１）と、上記の第１視差ｄｐ１、第１距離画像ＴZ１上の点（ｉ１，ｊ１）とは、三角測量の原理に基づき下記（２）〜（４）式で表される座標変換により一意に対応づけられる。
Ｘ１＝ＣＤ／２＋Ｚ１×ＰＷ×（ｉ１−ＩＶ） …（２）
Ｙ１＝ＣＨ＋Ｚ１×ＰＷ×（ｊ１−ＪＶ） …（３）
Ｚ１＝ＣＤ／（ＰＷ×（ｄｐ１−ＤＰ）） …（４）
【００６２】
上記各式において、ＣＤは一対のカメラの間隔、ＰＷは１画素当たりの視野角、ＣＨは一対のカメラの取り付け高さ、ＩＶおよびＪＶは自車両正面の無限遠点の第１距離画像ＴZ１上のｉ座標およびｊ座標、ＤＰは消失点視差を表す。
【００６３】
このように、第１視差ｄｐ１と第１距離Ｚ１とは一意に対応づけられるものであるため、第１ステレオマッチング手段７ａにおいて、算出した第１視差ｄｐ１を上記（４）式に従って第１距離Ｚ１に変換し、基準画像ＴOの各画素ブロックＰＢOに、変換した第１距離Ｚ１を割り当てて第１距離画像ＴZ１を形成するように構成することも可能である。
【００６４】
第１ステレオマッチング手段７ａは、上記のようにして形成した第１距離画像ＴZ１の情報を第１距離データメモリ８ａに送信して格納させるようになっている。
【００６５】
なお、この第１ステレオマッチング手段７ａでは、メインカメラ２ａとサブカメラ２ｂで前述した図１８（Ａ）、（Ｂ）に示したような基準画像ＴOと比較画像ＴCが撮像されるシーンでは、図１９に示したような第１距離画像ＴZ１が形成される。
【００６６】
一方、第２画像処理手段６ｂには、前処理手段９（図１参照）で基準画像ＴOと比較画像ＴCに対してそれぞれ所定の前処理が施されて形成された２枚一組の画像が入力されるようになっている。
【００６７】
本実施形態では、前処理手段９では、所定の前処理として基準画像ＴOと比較画像ＴCに対して前述したエッジ処理を行って基準エッジ画像ＴＥOと比較エッジ画像ＴＥCを形成するようになっている。すなわち、基準画像ＴOに属する各画素について本実施形態では当該画素の輝度値とその左隣の画素の輝度値との差分を算出して基準エッジ画像ＴＥOを形成し、また、比較画像ＴCについても同様にして比較エッジ画像ＴＥCを形成するようになっている。
【００６８】
例えば、図１８（Ａ）、（Ｂ）に示したような基準画像ＴOや比較画像ＴCに対してエッジ処理を行うと、図２０（Ａ）、（Ｂ）に示したように、前記輝度値の差分値を各画素の輝度値とする基準エッジ画像ＴＥOや比較エッジ画像ＴＥCが形成される。前処理手段９は、このようにして基準エッジ画像ＴＥOと比較エッジ画像ＴＥCとをそれぞれ形成して、第２画像処理手段６ｂに送信するようになっている。
【００６９】
第２画像処理手段６ｂは、上記の第１画像処理手段６ａと同様に構成されており、第２画像処理手段６ｂの第２ステレオマッチング手段７ｂにおいても、図１７に示した手法でステレオマッチング処理が行われるようになっている。ただし、ステレオマッチング処理の対象は基準エッジ画像ＴＥOと比較エッジ画像ＴＥCである。
【００７０】
そして、第２ステレオマッチング手段７ｂは、第１ステレオマッチング手段７ａと同様にして基準エッジ画像ＴＥO上の画素ブロックごとに第２視差ｄｐ２を算出し、基準エッジ画像ＴＥOの各画素ブロックに、算出した第２視差ｄｐ２を割り当てて第２距離画像ＴZ２（すなわちエッジ距離画像ＴＥｚ）を形成するようになっている。図２０（Ａ）、（Ｂ）に示した基準エッジ画像ＴＥOと比較エッジ画像ＴＥCから図２１に示したような第２距離画像ＴZ２が得られる。
【００７１】
なお、基準エッジ画像ＴＥOの各画素ブロックは、第１ステレオマッチング手段７ａにおける基準画像ＴO上の各画素ブロックＰＢOと同じ画素位置に設定されるため、第２距離画像ＴZ２は、基準画像ＴOの各画素ブロックＰＢOに算出した各第２視差ｄｐ２を割り当てて形成されると表現することも可能である。
【００７２】
また、上記と同様に原点やＸ軸方向、Ｙ軸方向、Ｚ軸方向を設定し、第２視差ｄｐ２から算出される実空間上の点の座標を（Ｘ２，Ｙ２，Ｚ２）とした場合、それと第２視差ｄｐ２、第２距離画像ＴZ２上の点（ｉ２，ｊ２）とは、三角測量の原理に基づき下記（５）〜（７）式で表される座標変換により一意に対応づけられる。なお、式中のＣＤ等は上記と同様である。
Ｘ２＝ＣＤ／２＋Ｚ２×ＰＷ×（ｉ２−ＩＶ） …（５）
Ｙ２＝ＣＨ＋Ｚ２×ＰＷ×（ｊ２−ＪＶ） …（６）
Ｚ２＝ＣＤ／（ＰＷ×（ｄｐ２−ＤＰ）） …（７）
【００７３】
また、第２視差ｄｐ２と第２距離Ｚ２とが一意に対応づけられるものであるため、第２ステレオマッチング手段７ｂにおいて、算出した第２視差ｄｐ２を上記（７）式に従って第２距離Ｚ２に変換し、基準エッジ画像ＴＥO（基準画像ＴO）の各画素ブロックＰＢOに、変換した第２距離Ｚ２を割り当てて第２距離画像ＴZ２を形成するように構成することも可能である。
【００７４】
第２ステレオマッチング手段７ｂは、上記のようにして形成した第２距離画像ＴZ２の情報を第２距離データメモリ８ｂに送信して格納させるようになっている。
【００７５】
このように、本実施形態では、撮像された基準画像ＴOと比較画像ＴCに対してデジタル化やノイズの除去等の画像補正等の画像処理が行われた、いわば生の基準画像ＴOと比較画像ＴCが第１ステレオマッチング手段７ａに入力され、また、撮像された基準画像ＴOと比較画像ＴCに対してデジタル化や画像補正等のほか、前処理（エッジ処理）等の画像処理が行われて形成された基準エッジ画像ＴＥOと比較エッジ画像ＴＥCが第２ステレオマッチング手段７ｂに入力されるように構成されており、撮像された２枚一組の画像（基準画像ＴOと比較画像ＴC）に対して異なる画像処理方法を施して形成される２枚一組の画像の複数の組に対して各組の２枚の画像ごとにステレオマッチング処理が行われるようになっている。
【００７６】
なお、前述したように、基準画像ＴOや比較画像ＴCに対して第２ステレオマッチング手段７ｂに入力される２枚一組の画像とは異なる前処理が施されて形成された２枚一組の画像を第１ステレオマッチング手段７ａに入力するように構成することも可能であるが、その場合も、撮像された２枚一組の画像（基準画像ＴOと比較画像ＴC）に対して異なる画像処理方法を施して形成される２枚一組の画像の複数の組に対して各組の２枚の画像ごとにステレオマッチング処理が行われることになる。
【００７７】
認識手段１０（図１参照）は、図示しないＣＰＵやＲＯＭ、ＲＡＭ、入出力インターフェース等がバスに接続されたコンピュータより構成されている。また、認識手段１０には、車速センサやヨーレートセンサ、ステアリングホイールの舵角を測定する舵角センサ等のセンサ類Ｑが接続されている。なお、ヨーレートセンサの代わりに自車両の車速等からヨーレートを推定する装置等を用いることも可能である。
【００７８】
認識手段１０は、選択手段１１と、検出手段１２とを備えており、さらに図示しないメモリを備えている。
【００７９】
選択手段１１は、第１距離画像ＴZ１を第１距離データメモリ８ａから読み出して、図４に示すように第１距離画像ＴZ１を所定の画素幅で縦方向に延在する短冊状の区分Ｄｎに分割する。そして、各区分Ｄｎごとに図５に示すような第１ヒストグラムＨｎ１をそれぞれ作成し、各区分Ｄｎに属する各第１視差ｄｐ１を当該第１視差ｄｐ１が属する区分Ｄｎの第１ヒストグラムＨｎ１に投票する。そして、度数Ｆｎが最大の階級の階級値すなわち最頻値をその区分Ｄｎにおける第１代表視差ｄｐｎ１とするようになっている。
【００８０】
なお、本実施形態では、第１視差ｄｐ１の第１ヒストグラムＨｎ１への投票の際、第１視差ｄｐ１の値および当該第１視差ｄｐｎ１が割り当てられた画素ブロックＰＢOの第１距離画像ＴZ１上の位置（ｉ１，ｊ１）から前記（３）式に従って算出される当該第１視差ｄｐｎ１に対応する高さＹ１が道路面の高さ以下の高さである場合には、当該第１視差ｄｐｎ１は投票の対象から除外されるようになっている。下記の第２視差ｄｐ２の第２ヒストグラムＨｎ２への投票においても同様である。
【００８１】
また、選択手段１１は、第２距離画像ＴZ２を第２距離データメモリ８ｂから読み出して、図４に示した手法と同様に第２距離画像ＴZ２を縦方向に延在する短冊状の区分Ｄｎに分割する。この場合、第２距離画像ＴZ２の各区分Ｄｎは、第１距離画像ＴZ１と同じ画素位置に同じ画素幅で形成される。そして、各区分Ｄｎごとに図５に示したものと同様の第２ヒストグラムＨｎ２をそれぞれ作成し、各区分Ｄｎに属する各第２視差ｄｐ２を当該第２視差ｄｐ２が属する区分Ｄｎの第２ヒストグラムＨｎ２に投票する。そして、第２ヒストグラムＨｎ２の最頻値をその区分Ｄｎにおける第２代表視差ｄｐｎ２とするようになっている。
【００８２】
選択手段１１は、続いて、第１距離画像ＴZ１と第２距離画像ＴZ２の対応する区分Ｄｎすなわち番号ｎが同じ区分Ｄｎの第１ヒストグラムＨｎ１と第２ヒストグラムＨｎ２の各度数分布を比較する。第１、第２距離画像ＴZ１、ＴZ２の対応する区分Ｄｎの第１、第２ヒストグラムＨｎ１、Ｈｎ２の各度数分布を１つのヒストグラムにあわせて表示すると、例えば図６のヒストグラムのように表される。
【００８３】
そして、本実施形態では、選択手段１１は、当該区分Ｄｎの第１代表視差ｄｐｎ１の度数Ｆｎと第２代表視差ｄｐｎ２の度数Ｆｎとを比較して大きい方を、当該区分Ｄｎの代表視差ｄｐｎとして選択するようになっている。例えば図６の例では、第１代表視差ｄｐｎ１より第２代表視差ｄｐｎ２の方が度数Ｆｎが大きいので第２代表視差ｄｐｎ２が当該区分Ｄｎの代表視差ｄｐｎとして選択される。
【００８４】
選択手段１１は、上記のような区分Ｄｎの代表視差ｄｐｎの選択を各区分Ｄｎごとに行うようになっている。従って、ある区分Ｄｎでは上記のように第２代表視差ｄｐｎ２がその区分Ｄｎの代表視差ｄｐｎとして選択されたが、他の区分Ｄｎでは第１代表視差ｄｐｎ１がその区分Ｄｎの代表視差ｄｐｎとして選択されることが頻繁に生じ得る。
【００８５】
本実施形態では、選択手段１１は、区分Ｄｎの代表視差ｄｐｎとして第１代表視差ｄｐｎ１を選択した場合にはその区分ＤｎにフラグＦとして０を設定し、区分Ｄｎの代表視差ｄｐｎとして第２代表視差ｄｐｎ２を選択した場合にはその区分ＤｎにフラグＦとして１を設定するようになっている。
【００８６】
選択手段１１は、このように設定した各区分ＤｎごとのフラグＦのほか、各区分Ｄｎの各第１、第２ヒストグラムＨｎ１、Ｈｎ２の投票結果や各第１、第２代表視差ｄｐｎ１、ｄｐｎ２、各区分Ｄｎの代表視差ｄｐｎ、区分Ｄｎの画素幅等をメモリに保存するようになっている。
【００８７】
なお、本実施形態では、上記のように、第１距離画像ＴZ１と第２距離画像ＴZ２の対応する区分Ｄｎの第１ヒストグラムＨｎ１と第２ヒストグラムＨｎ２の各度数分布を比較して、第１代表視差ｄｐｎ１と第２代表視差ｄｐｎ２の各度数Ｆｎの大きい方を、当該区分Ｄｎの代表視差ｄｐｎとして選択する場合について説明した。この基準によれば、第１ヒストグラムＨｎ１や第２ヒストグラムＨｎ２に第１距離画像ＴZ１の第１視差ｄｐ１や第２距離画像ＴZ２の第２視差ｄｐ２を投票した時点で即座に当該区分Ｄｎの代表視差ｄｐｎを第１代表視差ｄｐｎ１と第２代表視差ｄｐｎ２のいずれにするかを選択することが可能となるため、選択処理の迅速化が図れるとともに、制御構成が簡単で明確になるという利点がある。
【００８８】
しかし、これ以外の基準に基づいて当該区分Ｄｎの代表視差ｄｐｎを選択するように構成することも可能である。
【００８９】
例えば、対応する区分Ｄｎの第１、第２ヒストグラムＨｎ１、Ｈｎ２の各度数分布を比較して、第１代表視差ｄｐｎ１と第２代表視差ｄｐｎ２のうち、分散σ２が最小となるヒストグラムの代表視差を、当該区分Ｄｎの代表視差ｄｐｎとして選択するように構成することが可能である。この基準によれば、度数分布の分散σ２が小さくばらつきが少ない方の度数分布に基づく代表視差が選択されるため、よりノイズが少ない方の距離画像ＴZが選ばれるようになり、ノイズによる誤検出の発生が低下され、より精度が高い検出を実現することが可能となる。
【００９０】
また、第１代表視差ｄｐｎ１と第２代表視差ｄｐｎ２のうち、それらの値自体が最も大きい代表視差を、当該区分Ｄｎの代表視差ｄｐｎとして選択するように構成することが可能である。第１代表視差ｄｐｎ１や第２代表視差ｄｐｎ２を上記（４）式や（７）式に代入すると自車両から対象物（先行車両）までの距離である前記第１距離Ｚ１や第２距離Ｚ２が算出され、第１代表視差ｄｐｎ１や第２代表視差ｄｐｎ２の値が大きいほど第１距離Ｚ１や第２距離Ｚ２の値は小さくなる。そして、仮に実際の自車両から対象物までの距離より大きな距離が算出され、それに基づいて自動制御が行われると、自車両が対象物（先行車両）と接触したり衝突したりする危険性が高くなる。
【００９１】
そのため、この基準によれば、第１代表視差ｄｐｎ１と第２代表視差ｄｐｎ２のうち値が大きい方の代表視差を当該区分Ｄｎの代表視差ｄｐｎとして選択することで、それらから算出される第１距離Ｚ１や第２距離Ｚ２のうち小さい方の値が選択されることになり、選択された方の値に基づいて自動制御が行われても自車両が対象物（先行車両）と接触、衝突する危険性が低くなり、より安全性を重視した検出を行うことが可能となる。
【００９２】
さらに、後述する検出手段１２では先行車両が実空間上に検出されるが、図７に示すように、その先行車両の背面の前回のサンプリング周期で検出された実空間上の中心位置（Ｘold，Ｙold，Ｚold）と、先行車両と自車両との相対変位ΔＰ、および自車両のヨー角運動による変位Δθから、今回のサンプリング周期における先行車両までの距離Ｚestを推定することができる。
【００９３】
そこで、第１代表視差ｄｐｎ１と第２代表視差ｄｐｎ２のうち、それらから算出される第１距離Ｚ１や第２距離Ｚ２が、この今回のサンプリング周期における先行車両の推定距離Ｚestに最も近い距離となる方を、当該区分Ｄｎの代表視差ｄｐｎとして選択するように構成することが可能である。この基準によれば、対象物（この場合は先行車両）を安定して検出することが可能となる。
【００９４】
なお、上記の各基準を独立に適用することも可能であるが、それらを総合して適用するように構成することも可能である。また、例えば、特に夜間には基準エッジ画像ＴＥOと比較エッジ画像ＴＥCから算出される第２距離画像ＴZ２上にはノイズ成分に基づく第２視差ｄｐ２のデータが多数算出されるようになるため、例えば日中の検出時には本実施形態のように第１代表視差ｄｐｎ１と第２代表視差ｄｐｎ２のうち度数Ｆｎの大きい方を当該区分Ｄｎの代表視差ｄｐｎとして選択し、夜間、自車両のヘッドライトが点灯されたような場合には、度数分布の分散σ２が小さい方を選択するように、基準を切り替えるように構成することも可能である。
【００９５】
検出手段１２（図１参照）は、選択手段１１により各区分Ｄｎごとに選択された区分Ｄｎの代表視差ｄｐｎに基づいて、基準画像ＴO中に撮像された対象物を検出し、さらにその中から先行車両を検出するようになっている。
【００９６】
具体的には、検出手段１２は、各区分Ｄｎごとに選択手段１１により設定されたフラグＦの値を確認しながら第１代表視差ｄｐｎ１と第２代表視差ｄｐｎ２のうちのフラグＦの値に対応する方の値を区分Ｄｎの代表視差ｄｐｎとして各区分Ｄｎごとにメモリから読み出し、区分Ｄｎの視差ｄｐｎを上記（４）式または（７）式のｄｐ１またはｄｐ２に代入して第１距離Ｚ１または第２距離Ｚ２を算出し、各区分Ｄｎごとに区分Ｄｎの代表距離Ｚｎとして、図８に示すように実空間上にプロットする。
【００９７】
そして、検出手段１２は、図９に示すように、プロットされた各区分Ｄｎの代表距離Ｚｎを表す点同士の距離や方向性に基づいて、互いに隣接する各点をそれぞれグループＧ１、Ｇ２、Ｇ３、…にまとめてグループ化するようになっている。
【００９８】
上記のように、本実施形態では、第１視差ｄｐ１や第２視差ｄｐ２の第１ヒストグラムＨｎ１や第２ヒストグラムＨｎ２への投票の際に、道路面以下の高さの第１視差ｄｐ１や第２視差ｄｐは投票の対象から除外されるため、上記のようにして検出された対象物は基準面である道路面より高い位置に存在する立体物である。
【００９９】
そのため、本実施形態では、検出手段１２は、図１０に示すように各グループに属する各点をそれぞれ直線近似し、それぞれのグループ内の各点が自車両Ａの車幅方向すなわちＸ軸方向に略平行に並ぶグループには“物体”Ｏとラベルし、各点が自車両Ａの車長方向すなわちＺ軸方向に略平行に並ぶグループには“側壁”Ｓとラベルして分類して、対象物である立体物を検出するようになっている。なお、同一の対象物（立体物）の“物体”のグループと“側壁”のグループの交点とみなすことができる箇所にコーナー点としてＣをラベルするようになっている。
【０１００】
このようにして、検出手段１２は、図１０の例では、［側壁Ｓ１］、［物体Ｏ１］、［側壁Ｓ２］、［物体Ｏ２とコーナー点Ｃと側壁Ｓ３］、［側壁Ｓ４］、［物体Ｏ３］、［物体Ｏ４］、［側壁Ｓ５とコーナー点Ｃと物体Ｏ５］、［物体Ｏ６］、［側壁Ｓ６］をそれぞれ１つの立体物として検出して、各対象物を検出するようになっている。
【０１０１】
また、検出手段１２は、このようにして検出した各対象物を図１１に示すように基準画像ＴO上で矩形状の枠線で包囲するようにして検出するようになっている。検出手段１２は、このようにして基準画像ＴO中に撮像された各対象物を検出して、自車両Ａの周囲の環境を認識するようになっている。
【０１０２】
本実施形態では、検出手段１２は、さらに、検出した対象物の中から先行車両を検出するようになっている。
【０１０３】
具体的には、検出手段１２は、まず、図１２に示すように自車両Ａの挙動に基づいて自車両Ａが今後進行するであろう軌跡を走行軌跡Ｌestとして推定し、その走行軌跡Ｌestを中心とする自車両Ａの車幅分の領域を自車両Ａの進行路Ｒestとして算出するようになっている。
【０１０４】
自車両Ａの走行軌跡Ｌestは、センサ類Ｑから送信されてくる自車両Ａの車速Ｖやヨーレートγ、ステアリングホイールの舵角δ等の情報に基づいて下記（８）式または下記（９）、（１０）式に従って算出される自車両Ａの旋回曲率Ｃuaに基づいて算出することができる。なお、下記の各式におけるＲｅは旋回半径、Ａsfは車両のスタビリティファクタ、Ｌwbはホイールベースである。
Ｃua＝γ／Ｖ …（８）
Ｒｅ＝（１＋Ａsf・Ｖ２）・（Ｌwb／δ） …（９）
Ｃua＝１／Ｒｅ …（１０）
【０１０５】
そして、検出手段１２は、自車両Ａの進行路Ｒest上に存在する対象物の中で自車両Ａに最も近接する対象物を自車両Ａの前方を走行する先行車両Ｖahとして検出するようになっている。例えば図１１に示したシーンでは、図１３に示すように、車両Ｏ３が先行車両Ｖahとして検出される。
【０１０６】
なお、本実施形態では、検出手段１２は、前回のサンプリング周期で検出した先行車両と今回のサンプリング周期で先行車両として検出した対象物（立体物）とが同一の立体物である確率を算出するなどして、整合性を保ちながら先行車両を追跡するようになっている。また、検出手段１２は、検出した先行車両が自車両の前方から離脱してさらにその前方の車両が新たに先行車両となったり、自車両と先行車両との間に他の車両が割り込んできて当該他の車両が新たな先行車両となることによる先行車両の交替を検出できるようになっている。
【０１０７】
検出手段１２は、このようにして検出した各対象物および先行車両Ｖahの情報をメモリに保存するとともに、必要に応じてそれらの情報を、選択手段１１がメモリに保存した設定した各区分ＤｎごとのフラグＦの情報等とともに環境認識装置１の外部に出力するようになっている。
【０１０８】
次に、本実施形態に係る環境認識装置１の作用について説明する。
【０１０９】
認識手段１０の選択手段１１では、上記のようにして形成された第１距離画像ＴZ１と第２距離画像ＴZ２が所定の同じ画素幅の短冊状の区分Ｄｎに分割され、各区分Ｄｎごとに第１距離画像ＴZ１について第１ヒストグラムＨｎ１が、第２距離画像ＴZ２について第２ヒストグラムＨｎ２がそれぞれ作成され、各区分Ｄｎに属する各第１、第２視差ｄｐ１、ｄｐ２が第１、第２ヒストグラムＨｎ１、Ｈｎ２にそれぞれ投票される。
【０１１０】
そして、当該区分Ｄｎについて投票が終了すると即座に第１、第２ヒストグラムＨｎ１、Ｈｎ２の最頻値を判別されて第１代表視差ｄｐｎ１と第２代表視差ｄｐｎ２が算出され、その度数Ｆｎの大小が比較されて、大きい方が当該区分Ｄｎの代表視差ｄｐｎとして選択される。そして、この処理が全区分Ｄｎに対してそれぞれ行われて、各区分Ｄｎについて代表視差ｄｐｎが算出される。
【０１１１】
このように、選択手段１１では、各区分Ｄｎについて、上記のような設定された種々の基準を満たし、より条件に適合する方の第１代表視差ｄｐｎ１または第２代表視差ｄｐｎ２が各区分Ｄｎごとに選択されるようになっている。そのため、区分Ｄｎの代表視差ｄｐｎは、各区分Ｄｎごとの代表視差ｄｐｎ１、ｄｐｎ２の中から最も優秀な代表視差のみが抽出されたものとなる。
【０１１２】
そして、本実施形態では、基準画像ＴOと比較画像ＴCとから形成された第１距離画像ＴZ１と、基準エッジ画像ＴＥOと比較エッジ画像ＴＥCとから形成される第２距離画像ＴZ２とを比較して、各区分Ｄｎごとに優秀な方の代表視差が区分Ｄｎの代表視差ｄｐｎとされる。そのため、例えば図１８（Ａ）、（Ｂ）に示したメインカメラ２ａとサブカメラ２ｂの明るさのバランスが崩れるような場合に得られる第１距離画像ＴZ１において有効な第１視差ｄｐ１のデータ数が少ない区分Ｄｎが生じても、第２距離画像ＴZ２の当該区分Ｄｎの第２代表視差ｄｐｎ２の度数Ｆｎが大きければそちらが選択されて、検出手段１２で有効に精度良く対象物を検出することが可能となる。
【０１１３】
また、基準エッジ画像ＴＥOと比較エッジ画像ＴＥCとから形成される第２距離画像ＴZ２のある区分Ｄｎで例えばノイズが多く、第２視差ｄｐ２の値がばらついて第２ヒストグラムＨｎ２上で明確なピークが得られないような場合でも、基準画像ＴOと比較画像ＴCとから形成された第１距離画像ＴZ１で第１視差ｄｐ１の値が第１ヒストグラムＨｎ１上の同一の階級に集中して検出され、第２代表視差ｄｐｎ２よりも第１代表視差ｄｐｎ１の方が度数Ｆｎが大きくなれば、当該区分Ｄｎでは代表視差ｄｐｎとして第１代表視差ｄｐｎ１が選択される。そのため、このような状況においても、検出手段１２は、選択された優秀な代表視差に基づいて有効に精度良く対象物を検出することが可能となる。
【０１１４】
以上のように、本実施形態に係る環境認識装置１によれば、撮像された基準画像ＴOと比較画像ＴCに対して異なる画像処理方法を施して形成される２枚一組の画像の複数の組、すなわち例えば生データの基準画像ＴOと比較画像ＴCの組とエッジ処理された基準エッジ画像ＴＥOと比較エッジ画像ＴＥCの組に対して、それぞれステレオマッチング処理を行い、第１距離画像ＴZ１と第２距離画像ＴZ２を得る。そして、第１距離画像ＴZ１と第２距離画像ＴZ２をそれぞれ複数の区分Ｄｎに分割し、各区分Ｄｎについてより条件に適合する代表視差ｄｐｎ１、ｄｐｎ２を選択してその区分Ｄｎの代表視差ｄｐｎとする。
【０１１５】
そのため、各区分Ｄｎについて、それぞれ第１距離画像ＴZ１と第２距離画像ＴZ２に基づく代表視差の中からより優秀な代表視差を各区分Ｄｎの代表視差ｄｐｎとして抽出することが可能となり、例えば一方の画像の組だけでは距離画像ＴZのある区分Ｄｎで代表視差ｄｐｎを抽出することが困難な状況であっても、他方の画像の組の当該区分Ｄｎのデータでそれを補うことが可能となる。
【０１１６】
このように、本実施形態に係る環境認識装置１では、区分Ｄｎごとのいわば「良いとこ取り」により区分Ｄｎの代表視差ｄｐｎを的確に抽出することが可能となり、抽出されたデータに基づいて対象物や先行車両Ｖahを有効に検出して、周囲の環境を認識することが可能となる。
【０１１７】
［変形例１］
なお、本実施形態では、画像処理手段として画像処理手段６ａ、６ｂの２系統を設け、撮像された２枚一組の画像（基準画像ＴOと比較画像ＴC）に対して異なる画像処理方法を施して２枚一組の画像を２組（基準画像ＴOと比較画像ＴCの生データの組と基準エッジ画像ＴＥOと比較エッジ画像ＴＥCの組）を形成する場合について説明した。しかし、異なる画像処理方法を施して形成する２枚一組の画像の組を３組以上形成するように構成することも可能である。
【０１１８】
このように構成すれば、区分Ｄｎの代表視差ｄｐｎを選択する際の選択肢がさらに多くなるため、より条件に適合する代表視差を抽出することが可能となり、上記の効果がより効果的に発揮される。
【０１１９】
［変形例２］
また、本実施形態では、基準画像ＴOと比較画像ＴCに対する画像処理方法が異なる２枚一組の画像の組として、基準画像ＴOと比較画像ＴCに対してノイズの除去等の画像補正等の画像処理のみが行われた、いわば生の基準画像ＴOと比較画像ＴCの組と、エッジ処理を施した基準エッジ画像ＴＥOと比較エッジ画像ＴＥCの組とを用いる場合について説明した。
【０１２０】
しかし、一方の２枚一組の画像の組から形成される距離画像と、他方の２枚一組の画像の組から形成される距離画像との対応する区分Ｄｎについて、いずれかの優秀な代表視差を選択するという本発明の本質から考えると、撮像された２枚一組の画像に対して異なる画像処理方法を施して形成される２枚一組の画像の複数の組は、上記のような２種類の組の他にも、種々の組であることが可能である。
【０１２１】
例えば、図１４に示すように、メインカメラ２ａにより撮像された基準画像ＴOの各画素の輝度値ｐ１ijを例えば２×２画素分ずつ平均をとるなどしてそれを１画素分の輝度値として元の基準画像ＴOから解像度を変えた画像ＴO＊を形成して車両の自動制御等に用いる場合がある。このように、基準画像ＴOと比較画像ＴCの解像度をそれぞれ変えて形成された２枚の画像の組を用いることが可能である。
【０１２２】
［変形例３］
また、本願出願人により先に提出された特開平１０−２８５５８２号公報等に記載されているように、距離画像に含まれるノイズを効率的に除去するために、距離画像中で隣接する視差ｄｐの情報の差が例えば±１［ピクセル］であればグループ化する等の方法で視差ｄｐの情報同士を図１５に示すようにグループｇ１〜ｇ３のようにグループ化して、同じグループｇに属する視差ｄｐの情報の数が予め設定された閾値以上であるグループｇ１、ｇ３は有効なデータとして採用し、閾値未満であるグループｇ２はノイズとして棄却するという処理が行われる場合がある。本実施形態でもこの方法が採用されている。
【０１２３】
そこで、上記の撮像された２枚一組の画像に対して異なる画像処理方法を施して形成される２枚一組の画像の複数の組として、距離画像の形成の際のノイズ除去の上記閾値を変えた２組を用いるように構成することが可能である。
【０１２４】
［変形例４］
また、上記の撮像された２枚一組の画像に対して異なる画像処理方法を施して形成される２枚一組の画像の複数の組として、メインカメラ２ａやサブカメラ２ｂにより撮像された基準画像ＴOと比較画像ＴCの組の明るさを変えない元の基準画像ＴOと比較画像ＴCの組と、基準画像ＴOと比較画像ＴCの組に対して画像補正部４や前処理手段９で画像の明るさを変えて形成した２枚の画像の組の計２組を用いるように構成することが可能である。
【０１２５】
さらに、メインカメラ２ａやサブカメラ２ｂにより撮像された基準画像ＴOと比較画像ＴCの組に対して、それぞれ異なる画像の明るさとなるように形成した２枚一組の画像の２組を用いるように構成することも可能である。このようにして形成された２枚一組の画像の２組に基づいて算出された代表視差の中から優秀な代表視差を選択することで、上記と同様の効果を得ることができる。
【０１２６】
［変形例５］
また、同じ２枚一組の画像から形成された距離画像に対して、それを分割する図４に示したような縦方向に延在する区分の画素幅を変え、例えば所定の画素幅の区分Ｄｋに分割した距離画像と、その２倍の画素幅を有する区分Ｄｍに分割した距離画像とを形成し、各距離画像の各区分Ｄｋ、Ｄｍごとに代表視差を算出し、互いに対応する区分Ｄｋ、Ｄｍの各代表視差のうちいずれかを選択するように構成することも可能である。
【０１２７】
この場合、区分Ｄｍには他方の距離画像の２つの区分Ｄｋが対応するが、各区分Ｄｋ、Ｄｍに属し得る視差ｄｐの情報の数が異なる。そのため、選択手段１１は、各区分Ｄｋ、Ｄｍについて算出した代表視差に所定の重み付けをしたうえで選択するように構成されることが好ましい。この重み付けをしたうえでの選択は、他の変形例においても適宜行われる。
【０１２８】
［変形例６］
また、同じ２枚一組の画像から形成された距離画像を同じ画素幅の複数の区分Ｄｎに分割するが、選択手段１１で各区分Ｄｎについてそれぞれヒストグラムを作成する際、１つの区分Ｄｎについてヒストグラムの最大値、最小値または階級幅の少なくとも１つを変更した複数種類のヒストグラムを作成し、当該複数種類のヒストグラムについてそれぞれ代表視差を算出してそのいずれかを選択するように構成することも可能である。
【０１２９】
なお、上記の変形例３から変形例６までは、基準画像ＴOと比較画像ＴCから形成された距離画像ＴZに対する処理のしかたが異なるだけであるから、距離画像ＴZを形成するまでのハード構成は、図１に示したような２系統の画像処理手段６ａ、６ｂを備える構成である必要はなく、図１６に示すようにイメージプロセッサ等からなるステレオマッチング手段７と距離データメモリ８とを備える１系統の画像処理手段６で足りる。
【０１３０】
逆の言い方をすれば、ステレオマッチング手段７と距離データメモリ８とを備える１系統の画像処理手段６を備えるハード構成の環境認識装置１＊においても、距離画像ＴZに対する処理のしかたを変えることで複数種類の代表視差ｄｐｎの中から優秀な代表視差ｄｐｎを選択し、それに基づいて周囲の環境中から対象物（立体物）を検出して環境を認識することが可能となる。
【０１３１】
［変形例７］
上記の変形例２から変形例６までは、メインカメラ２ａおよびサブカメラ２ｂで撮像された基準画像ＴOと比較画像ＴCに対する画像処理方法が異なり、或いはそれらから形成された距離画像に対する処理の方法が異なる２枚一組の画像の組として、本発明を適用する場合について述べた。しかし、メインカメラ２ａおよびサブカメラ２ｂで撮像された第１基準画像ＴO１および第１比較画像ＴC１と、同じメインカメラ２ａ等で撮像方法を変更し、撮像条件を変えて撮像された第２基準画像ＴO２および第２比較画像ＴC２とに対して処理を構成することも可能である。
【０１３２】
この場合、撮像条件が異なる２種類の画像を同時に撮像することはできないが、撮像手段２の撮像条件を変えて非常に近接したタイミングで２種類の画像を撮像し、上記と同様にしてそれぞれ第１距離画像ＴZ１および第２距離画像ＴZ２を得ることで、算出された第１代表視差ｄｐｎ１と第２代表視差ｄｐｎ２は、十分に区分Ｄｎの代表視差ｄｐｎを選択するための材料となり得る。なお、この場合、撮像条件の変更には、撮像手段２の露光量やシャッタスピード等の変更や、アンプゲインの切り替えや、撮像手段２から出力される画素の輝度値を決めるＬＵＴ（Look Up Table）の選択の変更等が含まれる。
【０１３３】
［本実施形態や変形例の組み合わせ］
なお、上記の本実施形態および変形例１〜７をそれぞれ組み合わせて行うことが可能である。そして、２枚一組の画像を得るための異なる撮像方法、２枚一組の画像に対する異なる画像処理方法、或いは距離画像に対する異なる処理のしかたにより得られた複数種類の代表視差ｄｐｎの中から優秀な代表視差ｄｐｎを選択し、それに基づいて周囲の環境中から対象物（立体物）を検出して環境を認識することが可能となる。
【０１３４】
［撮像方法や画像処理方法等の切り替え］
また、上記の２枚一組の画像を得るための撮像方法（撮像条件）や、２枚一組の画像に対する画像処理方法や、距離画像ＴZに対する処理のしかたを所定の条件に下で切り替えるように構成することも可能である。
【０１３５】
前述したように、例えば逆光の環境中では、基準画像ＴOと比較画像ＴCから形成した距離画像ＴZと、基準エッジ画像ＴＥOと比較エッジ画像ＴＥCから形成したエッジ距離画像ＴＥZとを用いて、各区分Ｄｎで優秀な方の代表視差を用いるように構成すると良好に対象物を検出できるが、夜間は、基準エッジ画像ＴＥOと比較エッジ画像ＴＥCから算出されるエッジ距離画像ＴＥZ上にはノイズ成分が多数現れるようになる。一方で、変形例７に述べたように撮像方法（撮像条件）を変えると撮像される画像の輝度値のダイナミックレンジを広げることができる。
【０１３６】
そこで、例えば、日中には基準画像ＴO等から形成した距離画像ＴZと基準エッジ画像ＴＥO等から形成したエッジ距離画像ＴＥZとを用い、夜間には、基準画像ＴO等から形成した距離画像ＴZと比較する対象を、基準エッジ画像ＴＥO等から形成したエッジ距離画像ＴＥZから、基準画像ＴOと比較画像ＴCを撮像する撮像方法（撮像条件）を変えて撮像された２枚一組の画像から形成した距離画像に切り替えるように構成することが可能である。
【０１３７】
このように、周囲の環境に応じて撮像方法や画像処理方法、または距離画像に対する処理のしかたを切り替えることで、例えば上記の例では日中は逆光に有効に対処することが可能となり、夜間には撮像される画像の輝度値のダイナミックレンジを広げることが可能となるため、周囲の環境中から対象物（立体物）を的確に検出して環境を認識することが可能となる。
【図面の簡単な説明】
【０１３８】
【図１】本実施形態に係る環境認識装置の構成を示すブロック図である。
【図２】基準画像の一例を示す図である。
【図３】図２の基準画像等に基づいて形成された第１距離画像を示す図である。
【図４】第１距離画像を分割する短冊状の区分を説明する図である。
【図５】図４の各区分ごとに作成される第１ヒストグラムを説明する図である。
【図６】第１距離画像と第２距離画像の各度数分布を示すヒストグラムの図である。
【図７】前回のサンプリング周期で検出された先行車両の背面の中心位置等から推定される今回のサンプリング周期における先行車両までの距離を説明する図である。
【図８】区分ごとの距離を実空間上にプロットした各点を表す図である。
【図９】図８の各点がグループ化されて形成される各グループを表す図である。
【図１０】図９の各グループの各点を直線近似して検出された物体の例を表す図である。
【図１１】基準画像上に枠線で包囲されて検出された各物体を表す図である。
【図１２】実空間上の自車両の走行軌跡、進行路および先行車両を示す図である。
【図１３】基準画像上の自車両の走行軌跡および先行車両を示す図である。
【図１４】基準画像から解像度を変えた画像を形成する手法を説明する図である。
【図１５】距離画像中でグループ化された視差の情報を表す図である。
【図１６】１系統の画像処理手段を備える環境認識装置の構成を示すブロック図である。
【図１７】ステレオマッチング処理の手法を説明する図である。
【図１８】（Ａ）基準画像の一例を示す写真であり、（Ｂ）（Ａ）の基準画像より全体的に暗く撮像された比較画像を示す写真である。
【図１９】図１８（Ａ）、（Ｂ）の基準画像と比較画像にステレオマッチング処理を行って得られる距離画像を示す写真である。
【図２０】（Ａ）図１８（Ａ）の基準画像にエッジ処理を施して得られる基準エッジ画像を示す写真であり、（Ｂ）図１８（Ｂ）の比較画像にエッジ処理を施して得られる比較エッジ画像を示す写真である。
【図２１】図２０（Ａ）、（Ｂ）の基準エッジ画像と比較エッジ画像にステレオマッチング処理を行って得られるエッジ距離画像を示す写真である。
【符号の説明】
【０１３９】
１ 環境認識装置
２ 撮像手段
２ａ、２ｂ 一対のカメラ（メインカメラ、サブカメラ）
７、７ａ、７ｂ ステレオマッチング手段
１１ 選択手段
１２ 検出手段
Ｄｎ 区分
ｄｐ 視差
ｄｐｎ 区分の代表視差
ｄｐｎ１、ｄｐｎ２ 代表視差
Ｆｎ 度数
Ｈｎ１、Ｈｎ２ ヒストグラム
Ｏ、Ｓ 立体物
ＰＢO 画素ブロック
ＴＥO、ＴＥC エッジ処理が施された２枚の画像（基準エッジ画像、比較エッジ画像）
ＴO、ＴC ２枚一組の画像（基準画像、比較画像）
ＴO＊ 解像度を変えて形成された画像
ＴZ、ＴZ１、ＴZ２ 距離画像
Ｖah 対象（先行車両）
（Ｘold，Ｙold，Ｚold） 前回のサンプリング周期で検出された対象の位置
Ｚ 距離
Ｚest 今回のサンプリング周期における対象までの距離
Ｚｎ 代表距離
σ２ 分散
【技術分野】
【０００１】
本発明は、環境認識装置に係り、特に、撮像画像中に撮像された対象を検出して周囲の環境を認識する環境認識装置に関する。
【背景技術】
【０００２】
ステレオカメラを用いて周囲の環境内に存在する対象物までの距離を測定する手法としては、左右同じ高さに取り付けられた一対のカメラで撮像された一対の撮像画像を用いて、一対の撮像画像のうち、基準となる一方の撮像画像（以下、基準画像ＴOという。）と他方の撮像画像（以下、比較画像ＴCという。）とを比較して、同じ対象物が撮像されている各画像中の各位置の差、すなわち視差を算出し、その視差に基づいて対象物までの距離を算出する手法が一般的である。そして、基準画像と比較画像で同じ対象物が撮像されている位置を特定する手法としては、通常、ステレオマッチング処理が行われる（例えば特許文献１、２等参照）。
【０００３】
ステレオマッチング処理では、図１７に示すように、基準画像ＴOを例えば３×３画素や４×４画素等の所定の画素数の小領域（以下、画素ブロックＰＢOという。）に分割し、各画素ブロックＰＢOごとに、比較画像ＴC中で当該画素ブロックＰＢOに対応する上下方向の位置にエピポーララインＥＰＬを設定し、画素ブロックＰＢOの輝度パターンと、当該エピポーララインＥＰＬ上に存在する画素ブロックＰＢOと同形の画素ブロックＰＢCの輝度パターンとを比較する。
【０００４】
その際、例えば、基準画像ＴOの画素ブロックＰＢO中の各画素の輝度値をｐ１stとし、比較画像ＴCの画素ブロックＰＢC中の各画素の輝度値をｐ２stとした場合、輝度パターンの差異として下記（１）式のＳＡＤ（Sum of Absolute Difference）値を算出し、予め設定された閾値以下の値となるＳＡＤ値のうち、最小のＳＡＤ値を与える比較画像ＴCの画素ブロックＰＢCが、基準画像ＴOの画素ブロックＰＢOに撮像されている対象物と同じ対象物が撮像されている比較画像上の画素ブロックとして特定される。
【０００５】
【数１】
【０００６】
そして、比較画像ＴC上に特定された画素ブロックＰＢCと元の基準画像ＴOの画素ブロックＰＢOとの視差ｄｐが算出され、その視差ｄｐに基づいて三角測量の原理によりその画素ブロックＰＢOに撮像されている対象物までの距離Ｚが算出される。そして、算出された距離Ｚに基づいて周囲の環境中から対象物が検出される。
【０００７】
このような基準画像ＴOと比較画像ＴCに対するステレオマッチング処理により視差ｄｐを算出して対象物までの距離Ｚを算出する対象物の検出手法は、前記特許文献１、２等に記載されているように、通常の撮像環境中では支障なく機能し、周囲の環境中から対象物を有効に検出することができることが確認されている。
【０００８】
しかし、例えばステレオカメラが逆光の環境内に置かれた場合、図１８（Ａ）に例示する基準画像ＴOでは逆光が入射されて画像が全体的に明るく撮像されているのに対し、同じシーンで撮像された図１８（Ｂ）に示す比較画像ＴCでは逆光がビル等に遮られてさほど強くは入射されずに画像が全体的に基準画像ＴOよりも暗めに撮像される場合がある。
【０００９】
このように一対のカメラの明るさのバランスが崩れると、上記（１）式中の基準画像ＴOの画素ブロックＰＢOの各画素の輝度値ｐ１stと比較画像ＴCの画素ブロックＰＢCの各画素の輝度値ｐ２stとの差が全体的に大きくなる。そのため、算出されるＳＡＤ値が大きな値になって前述した閾値を越えてしまい、有効に視差ｄｐが算出されずに棄却される画素ブロックＰＢOが増大する。
【００１０】
そのため、基準画像ＴOの各画素ブロックＰＢOに算出された視差ｄｐを割り当てて形成されるデータ画像（以下、距離画像ＴZという。）は、図１９に示すように、有効な視差ｄｐのデータがさほど多く割り当てられていない距離画像ＴZが得られ、対象物の検出が困難になったり、対象物の検出結果の信頼性が低下する場合がある。最悪の場合には、ほとんど有効な視差ｄｐのデータがない距離画像ＴZしか得られず、対象物をまったく検出できなくなる場合も生じる。
【００１１】
このような場合、例えば図１８（Ａ）に示した基準画像ＴOに属する各画素についてその左隣または右隣の画素との間で輝度値ｐ１ijの差分を算出して図２０（Ａ）のような基準エッジ画像ＴＥOを形成し、また、図１８（Ｂ）に示した比較画像ＴCについても同様にして図２０（Ｂ）のような比較エッジ画像ＴＥCを形成し、それらのエッジ画像ＴＥO、ＴＥCに対してステレオマッチング処理を行うように構成することが可能である。
【００１２】
このようにして形成された基準エッジ画像ＴＥOと比較エッジ画像ＴＥCに対してステレオマッチング処理を行うことで、図２１に示すように、有効な視差ｄｐのデータが比較的多く割り当てられた距離画像（以下、エッジ画像に基づく距離画像をエッジ距離画像という。）ＴＥZが得られ、上記のように元の基準画像ＴOと比較画像ＴCに対する直接ステレオマッチング処理では対象物を有効に検出し難い場合でも、有効に対象物を検出することが可能となる場合がある。なお、図２０（Ａ）、（Ｂ）および図２１では、基準エッジ画像ＴＥOや比較エッジ画像ＴＥC、エッジ距離画像ＴＥZの一部が示されている。
【特許文献１】特開平１０−２８３４６１号公報
【特許文献２】特開平１０−２８３４７７号公報
【発明の開示】
【発明が解決しようとする課題】
【００１３】
しかしながら、エッジ処理は、隣接する画素の輝度値の差分をとる際に多くの情報が失われてしまうという問題がある。すなわち、２５６の輝度階調において輝度値の差分として３０という値が得られた場合、それが輝度値５０と８０との差なのか、２００と２３０との差なのかは分からない。また、それにより、基準画像ＴOや比較画像ＴCのノイズ成分が増幅されてしまうという問題もある。
【００１４】
また、１画素幅或いは数画素幅の輝度値の差しか見ていないため、基準画像ＴOや比較画像ＴCの周波数成分のうちの低周波数側の成分の情報も失われてしまう。そのため、ミスマッチングを生じ易くなるという問題もある。さらには、エッジ処理では、構造や模様等に乏しい壁やアスファルトの道路面等に対して有効な情報が得られ難いという問題もある。
【００１５】
このように、上記のような例でエッジ処理が有効であるからといって、常時、基準画像ＴOや比較画像ＴCにエッジ処理を施して基準エッジ画像ＴＥOと比較エッジ画像ＴＥCを形成し、それらに対してステレオマッチング処理を行って得られたエッジ距離画像ＴＥZのみに基づいて対象物の検出を行うように構成することは避けられるべきである。
【００１６】
しかし、基準画像ＴOや比較画像ＴCから得られた距離画像ＴZのみに基づいて対象物検出を行うように構成すると、前述したように、通常の撮像環境中では周囲の環境中から対象物を有効に精度良く検出することができるが、上記のような特殊な環境下において対象物の検出が困難になることも否定できない。
【００１７】
本発明は、このような事情に鑑みてなされたものであり、対象物を有効に検出して周囲の環境を認識することが可能な環境認識装置を提供することを目的とする。
【課題を解決するための手段】
【００１８】
前記の問題を解決するために、第１の発明は、環境認識装置において、
一対のカメラで周囲の環境中の同じ対象を撮像して２枚一組の画像を出力する撮像手段と、
異なる撮像方法で撮像された２枚一組の画像の複数の組または撮像された２枚一組の画像に対して異なる画像処理方法を施して形成される２枚一組の画像の複数の組に対して、各組の２枚の画像ごとにステレオマッチング処理を行い、当該画像の各画素ブロックに算出した各視差をそれぞれ割り当てて各組ごとに１枚ずつ距離画像を形成するステレオマッチング手段と、
前記各組ごとに１枚ずつ形成された前記各距離画像をそれぞれ縦方向に延びる短冊状の複数の区分に分割して各区分ごとにそれぞれ代表視差を算出し、前記各組の各距離画像の互いに対応する区分の前記各代表視差のうちいずれかの代表視差を選択して当該区分の代表視差とし、前記区分の代表視差を前記区分ごとに選択する選択手段と、
前記各区分の代表視差に基づいて前記画像中に撮像された前記対象を検出する検出手段と、
を備えることを特徴とする。
【００１９】
第２の発明は、第１の発明の環境認識装置において、前記異なる撮像方法で撮像された２枚一組の画像の複数の組とは、前記撮像手段の撮像条件を変えて撮像された２枚一組の画像の複数の組であることを特徴とする。
【００２０】
第３の発明は、第１または第２の発明の環境認識装置において、前記撮像された２枚一組の画像に対して異なる画像処理方法を施して形成される２枚一組の画像の複数の組は、前記撮像手段により撮像された２枚の画像の組、前記２枚一組の画像に対してそれぞれエッジ処理が施されて形成された２枚の画像の組、前記２枚一組の画像の解像度をそれぞれ変えて形成された２枚の画像の組、または画像の明るさをそれぞれ変えて形成された２枚の画像の組のいずれかであることを特徴とする。
【００２１】
第４の発明は、第１から第３のいずれかの発明の環境認識装置において、前記選択手段は、前記距離画像からノイズを除去する際の閾値を変更して前記２枚の画像の組を形成することを特徴とする。
【００２２】
第５の発明は、第１から第４のいずれかの発明の環境認識装置において、前記選択手段は、前記撮像された２枚一組の画像から形成された前記距離画像を分割する前記区分の画素幅を変更して形成した前記各区分ごとにそれぞれ代表視差を算出し、互いに対応する前記区分の前記各代表視差のうちいずれかの代表視差を選択して当該区分の代表視差とし、前記区分の代表視差を前記区分ごとに選択することを特徴とする。
【００２３】
第６の発明は、第１から第５のいずれかの発明の環境認識装置において、前記選択手段は、前記各組ごとに形成された前記各距離画像の前記複数の区分について各区分ごとにそれぞれヒストグラムを作成し、当該ヒストグラムにおける前記視差の度数に基づいてその最頻値を前記代表視差として算出することを特徴とする。
【００２４】
第７の発明は、第６の発明の環境認識装置において、前記選択手段は、前記各組ごとに形成された各距離画像の対応する区分の前記各代表視差のうち、度数が最大の代表視差、分散が最小となるヒストグラムに基づく代表視差、前記最頻値が最も大きい代表視差、または前回のサンプリング周期で検出された前記対象の位置から推定される今回のサンプリング周期における当該対象までの距離に最も近い距離を与える代表視差のいずれかの代表視差を選択して当該区分の代表視差とすることを特徴とする。
【００２５】
第８の発明は、第６または第７の発明の環境認識装置において、前記選択手段は、前記撮像された２枚一組の画像から形成された前記距離画像の前記複数の区分について各区分ごとにそれぞれ作成する前記ヒストグラムの最大値、最小値または階級幅の少なくとも１つを変更した複数種類のヒストグラムを作成し、当該複数種類のヒストグラムについてそれぞれ前記代表視差を算出することを特徴とする。
【００２６】
第９の発明は、環境認識装置において、
一対のカメラで周囲の環境中の同じ対象を撮像して２枚一組の画像を出力する撮像手段と、
前記２枚一組の画像に対してステレオマッチング処理を行い、当該画像の各画素ブロックに算出した各視差を割り当てた距離画像を形成するステレオマッチング手段と、
前記距離画像を縦方向に延びる短冊状の複数の区分に分割して各区分ごとに複数種類の代表視差を算出し、対応する区分の前記複数種類の代表視差のうちいずれかの代表視差を選択して当該区分の代表視差とし、前記区分の代表視差を前記区分ごとに選択する選択手段と、
前記各区分の代表視差に基づいて前記画像中に撮像された前記対象を検出する検出手段と、
を備え、
前記複数種類の代表視差は、前記距離画像からノイズを除去する際の閾値が異なる値に設定されて形成された複数種類の前記距離画像に基づいて算出されることを特徴とする。
【００２７】
第１０の発明は、環境認識装置において、
一対のカメラで周囲の環境中の同じ対象を撮像して２枚一組の画像を出力する撮像手段と、
前記２枚一組の画像に対してステレオマッチング処理を行い、当該画像の各画素ブロックに算出した各視差を割り当てた距離画像を形成するステレオマッチング手段と、
前記距離画像を縦方向に延びる短冊状の複数の区分に分割して各区分ごとに複数種類の代表視差を算出し、対応する区分の前記複数種類の代表視差のうちいずれかの代表視差を選択して当該区分の代表視差とし、前記区分の代表視差を前記区分ごとに選択する選択手段と、
前記各区分の代表視差に基づいて前記画像中に撮像された前記対象を検出する検出手段と、
を備え、
前記複数種類の代表視差は、前記距離画像を分割する前記区分の画素幅が異なる画素幅に設定されることで算出される複数種類の代表視差であることを特徴とする。
【００２８】
第１１の発明は、環境認識装置において、
一対のカメラで周囲の環境中の同じ対象を撮像して２枚一組の画像を出力する撮像手段と、
前記２枚一組の画像に対してステレオマッチング処理を行い、当該画像の各画素ブロックに算出した各視差を割り当てた距離画像を形成するステレオマッチング手段と、
前記距離画像を縦方向に延びる短冊状の複数の区分に分割して各区分ごとに複数種類の代表視差を算出し、対応する区分の前記複数種類の代表視差のうちいずれかの代表視差を選択して当該区分の代表視差とし、前記区分の代表視差を前記区分ごとに選択する選択手段と、
前記各区分の代表視差に基づいて前記画像中に撮像された前記対象を検出する検出手段と、
を備え、
前記選択手段は、前記各区分ごとにそれぞれヒストグラムを作成し、当該ヒストグラムにおける前記視差の最頻値を前記代表視差として算出し、前記各区分のヒストグラムとして、前記ヒストグラムの最大値、最小値または階級幅の少なくとも１つが変更された複数種類のヒストグラムを用いることで前記複数種類の代表視差を算出することを特徴とする。
【００２９】
第１２の発明は、第１から第１１のいずれかの発明の環境認識装置において、前記選択手段は、所定の重み付けがなされた前記代表視差のいずれかを選択することを特徴とする。
【００３０】
第１３の発明は、第１から第１２のいずれかの発明の環境認識装置において、前記２枚一組の画像を得るための前記撮像方法、前記２枚一組の画像に対する前記画像処理方法、または前記距離画像に対する処理のしかたを切り替えることが可能とされていることを特徴とする。
【００３１】
第１４の発明は、第１３の発明の環境認識装置において、前記撮像方法、前記画像処理方法、または前記距離画像に対する処理のしかたの切り替えは、周囲の環境に応じて行われることを特徴とする。
【００３２】
第１５の発明は、第１から第１４のいずれかの発明の環境認識装置において、前記対象は、基準面より高い位置に存在する立体物であることを特徴とする。
【００３３】
第１６の発明は、第１から第１５のいずれかの発明の環境認識装置において、前記視差および前記代表視差に代えて、三角測量の原理に基づいて前記視差および前記代表視差にそれぞれ一意に対応付けられる距離および代表距離を用いて前記ステレオマッチング手段における処理および前記選択手段における処理が構成されていることを特徴とする。
【発明の効果】
【００３４】
第１の発明によれば、撮像された２枚一組に対して異なる画像処理方法を施して形成される２枚一組の画像の複数の組に対してそれぞれステレオマッチング処理を行い、複数種類の距離画像を得る。そして、複数種類の距離画像をそれぞれ複数の区分に分割し、各区分についてより条件に適合する代表視差を選択してその区分の代表視差とする。そのため、各区分について、それぞれ複数種類の距離画像に基づく代表視差の中からより優秀な代表視差を各区分の代表視差として抽出することが可能となり、例えば一方の画像の組だけでは距離画像のある区分で代表視差を抽出することが困難な状況であっても、他方の画像の組の当該区分のデータでそれを補うことが可能となる。
【００３５】
このように、第１の発明によれば、区分ごとのいわば「良いとこ取り」により区分の代表視差を的確に抽出することが可能となり、抽出されたデータに基づいて先行車両等の対象物を有効に検出して、周囲の環境を的確に認識することが可能となる。
【００３６】
第２の発明によれば、撮像手段の撮像条件を変えて２枚一組の画像を撮像することで、撮像条件が異なる２枚一組の画像の複数の組を得ることが可能となる。そして、このようにして得られた複数の画像の組に基づいて算出された代表視差の中から優秀な代表視差を選択することが可能となり、前記発明の効果が的確に発揮される。
【００３７】
第３の発明によれば、撮像された２枚一組の画像に対して異なる画像処理方法を施して形成される２枚一組の画像の複数の組を、撮像手段により撮像された２枚の画像の組、２枚一組の画像に対してそれぞれエッジ処理が施されて形成された２枚の画像の組、２枚一組の画像の解像度をそれぞれ変えて形成された２枚の画像の組、距離画像の形成の際のノイズ除去の閾値が変更されて形成された２枚の画像の組、または画像の明るさをそれぞれ変えて形成された２枚の画像の組のいずれかとすることで、画像処理方法が異なる２枚一組の画像の複数の組を得ることが可能となる。そして、このようにして得られた複数の画像の組に基づいて算出された代表視差の中から優秀な代表視差を選択することが可能となり、前記各発明の効果が的確に発揮される。
【００３８】
第４および第９の発明によれば、距離画像からノイズを除去する際の閾値を変更して２枚の画像の組を形成することで、ノイズ除去の閾値が異なる２枚一組の画像の複数の組を得ることが可能となる。そして、このようにして得られた複数の画像の組に基づいて算出された代表視差の中から優秀な代表視差を選択することが可能となり、前記各発明の効果が的確に発揮される。
【００３９】
第５および第１０の発明によれば、撮像された２枚一組の画像から形成された距離画像を分割する区分の画素幅を変更することで、距離画像を異なる画素幅の区分で分割した複数種類の代表視差を得ることが可能となる。そして、このようにして得られた複数種類の代表視差の中から優秀な代表視差を選択することが可能となり、前記各発明の効果が的確に発揮される。
【００４０】
第６の発明によれば、各区分ごとにそれぞれヒストグラムを作成してその度数の最頻値を代表視差として算出することで、容易かつ的確に代表視差を算出することが可能となり、前記各発明の効果が的確に発揮される。
【００４１】
第７の発明によれば、度数が最大の代表視差を選択して区分の代表視差とすれば的確な区分の代表視差を即座に選択することが可能となり、分散が最小となるヒストグラムに基づく代表視差を選択して区分の代表視差とすればノイズ等の影響が少ない代表視差を選択することが可能となり、最頻値が最も大きい代表視差を選択して区分の代表視差とすれば撮像手段に最も近い位置の代表視差を選択することが可能となり、前回のサンプリング周期で検出された対象の位置から推定される今回のサンプリング周期における当該対象までの距離に最も近い距離を与える代表視差を選択して区分の代表視差とすれば対象を安定して検出することが可能となる。
【００４２】
このように、対象を検出する際に求められる条件に応じて区分の代表視差の選択手法を決めることで、その条件に適した区分の代表視差を選択することが可能となり、前記各発明の効果が的確に発揮される。
【００４３】
第８および第１１の発明によれば、撮像された２枚一組の画像から形成された距離画像の複数の区分について各区分ごとにそれぞれ作成するヒストグラムの最大値、最小値または階級幅の少なくとも１つを変更することで、距離画像の同じ区分に対して複数種類の代表視差を得ることが可能となる。そして、このようにして得られた複数種類の代表視差の中から優秀な代表視差を選択することが可能となり、前記各発明の効果が的確に発揮される。
【００４４】
第１２の発明によれば、代表視差に所定の重み付けをして選択することで、算出のもととなるデータ数が異なる代表視差同士を平等に選択することが可能となり、或いは優先したい方の代表視差の重みを大きくしてその代表視差が選択され易くすることが可能となり、対象を検出する際に求められる条件に応じて重みを決定することで、その条件に適した区分の代表視差を選択することが可能となり、前記各発明の効果が的確に発揮される。
【００４５】
第１３および第１４の発明によれば、撮像方法や画像処理方法、または距離画像に対する処理のしかたを切り替え可能とし、特に周囲の環境に応じて切り替えることで、対象を検出する際に求められる条件に適した撮像方法等に切り替えて代表視差を算出することが可能となり、特に、例えば日中から夜間に変化するように周囲の環境が変化する際に、特定の環境（例えば日中）に適した撮像方法等から他の特定の環境（例えば夜間）に適した撮像方法等に切り替えて代表視差を算出することが可能となる。そのため、周囲の環境等に応じて撮像方法等を切り替えることで、周囲の環境中から対象物を的確に検出して環境を認識することが可能となり、前記各発明の効果が的確に発揮される。
【００４６】
第１５の発明によれば、対象として先行車両等の基準面（道路面）より高い位置に存在する立体物を検出する場合にも、前記各発明を適用することが可能であり、前記各発明の効果が的確に発揮される。
【００４７】
第１６の発明によれば、視差や代表視差は、三角測量の原理に基づいて距離や代表距離と一意に対応づけることができる。そのため、視差や代表視差に代えて距離や代表距離を用いて処理を組み立てることが可能であり、そのような場合にも前記各発明の効果が的確に発揮される。
【発明を実施するための最良の形態】
【００４８】
以下、本発明に係る環境認識装置の実施の形態について、図面を参照して説明する。
【００４９】
なお、以下では、環境認識装置を車両に搭載して先行車両を検出する場合について説明するが、対象物は先行車両には限定されず、他の車両や歩行者、障害物等、或いはそれらすべてを認識対象とするように構成することも可能である。また、環境認識装置は、車両に搭載して用いられる形態に限定されず、例えば自走式ロボット等の他の移動体に搭載したり、或いは据え置き型の監視装置等としても用いる形態とすることも可能である。
【００５０】
本実施形態に係る環境認識装置１は、図１に示すように、撮像手段２、変換手段３、および選択手段１１や検出手段１２を備える認識手段１０等で構成されている。また、環境認識装置１は、２系統の画像処理手段６ａ、６ｂを備えている。
【００５１】
なお、撮像手段２や変換手段３、画像補正部４、画像データメモリ５、第１、第２ステレオマッチング手段７ａ、７ｂと第１、第２距離データメモリ８ａ、８ｂを備える第１、第２画像処理手段６ａ、６ｂの構成は本願出願人により先に提出された前記特許文献１、２のほか、特開平５−１１４０９９号公報や特開平５−２６５５４７号公報、特開平６−２６６８２８号公報、特開２００６−７２４９５号公報等に詳述されている。以下、簡単に説明する。
【００５２】
撮像手段２は、本実施形態では、互いに同期が取られたＣＣＤやＣＭＯＳセンサ等のイメージセンサがそれぞれ内蔵され例えばフロントガラスの車内側に車幅方向すなわち左右方向に所定の間隔をあけて取り付けられた一対のメインカメラ２ａおよびサブカメラ２ｂからなるステレオカメラが用いられている。
【００５３】
メインカメラ２ａおよびサブカメラ２ｂは、道路面から同じ高さに取り付けられており、所定のサンプリング周期で同時に自車両の周囲の環境を撮像して撮像画像の情報を出力するように構成されている。そして、運転者に近い側に配置されたメインカメラ２ａは図２に例示される基準画像ＴOの画像データを出力し、運転者から遠い側に配置されたサブカメラ２ｂは図示を省略する比較画像ＴCの画像データを出力するようになっている。本実施形態では、基準画像ＴOおよび比較画像ＴCが２枚一組の画像となる。
【００５４】
メインカメラ２ａとサブカメラ２ｂから出力された画像データは、変換手段３であるＡ／Ｄコンバータ３ａ、３ｂでアナログ画像からそれぞれ画素ごとに例えば２５６階調のグレースケール等の所定の輝度階調の輝度を有するデジタル画像にそれぞれ変換され、画像補正部４で、ずれやノイズの除去等の画像補正が行われるようになっている。そして、画像補正等が行われた各画像データは、画像データメモリ５に送信されて格納されるとともに、第１画像処理手段６ａおよび第２画像処理手段６ｂに送信されるようになっている。
【００５５】
画像処理手段６ａは、イメージプロセッサ等からなる第１ステレオマッチング手段７ａと第１距離データメモリ８ａとを備えている。
【００５６】
なお、本実施形態では、第１画像処理手段６ａでは、基準画像ＴOや比較画像ＴCに前処理を施さず、基準画像ＴOや比較画像ＴCに対して直接ステレオマッチング処理を行う場合について説明するが、後述する第２画像処理手段６ｂの場合と同様に、第１画像処理手段６ａにおいても基準画像ＴOや比較画像ＴCに対して前処理が施されて形成された２枚一組の画像に対してステレオマッチング処理を行うように構成することも可能である。その場合、第１画像処理手段６ａと第２画像処理手段６ｂには互いに異なる前処理の手法で前処理された２枚一組の画像がそれぞれ入力される。
【００５７】
第１ステレオマッチング手段７ａでは、図１７に示した手法でステレオマッチング処理が行われるようになっている。すなわち、第１ステレオマッチング手段７ａは、基準画像ＴO上に例えば３×３画素や４×４画素等の所定の画素数の画素ブロックＰＢOを設定し、画素ブロックＰＢOに対応する比較画像ＴCの上下方向の位置にエピポーララインＥＰＬを設定し、エピポーララインＥＰＬ上を例えば左から右に向かって１画素分ずつシフトさせながら比較画像ＴCの各画素ブロックＰＢCを探索し、上記（１）式に従ってＳＡＤ値を算出して、ＳＡＤ値が閾値以下で、かつ最小の画素ブロックＰＢCを特定するようになっている。
【００５８】
本実施形態では、このようにＳＡＤ値を用いるように構成されているが、この他にも、例えば画素ブロックＰＢO中の各画素の輝度値ｐ１stと画素ブロックＰＢC中の各画素の輝度値ｐ２stとの差の二乗和に基づいてステレオマッチング処理を行うように構成することも可能である。また、画素ブロックＰＢOと画素ブロックＰＢCとの輝度パターンの差異を適切に算出できるものであれば他の計算式に従って算出される差異に基づいてステレオマッチング処理を行うように構成することも可能である。
【００５９】
第１ステレオマッチング手段７ａは、さらに、ステレオマッチング処理により特定した画素ブロックＰＢCの比較画像ＴC上の位置と元の基準画像ＴO上の画素ブロックＰＢOの位置から第１視差ｄｐ１を算出する。そして、以上の処理を基準画像ＴO上の全画素ブロックＰＢOについて行って、画素ブロックＰＢOごとに第１視差ｄｐ１を算出するようになっている。
【００６０】
基準画像ＴOの各画素ブロックＰＢOに、算出された有効な第１視差ｄｐ１を割り当てると、例えば図３に例示するように、各画素ブロックＰＢOに第１視差ｄｐ１が割り当てられた第１距離画像ＴZ１が形成される。第１ステレオマッチング手段７ａは、このようにして、ステレオマッチング処理により第１視差ｄｐ１を算出し、第１距離画像ＴZ１を形成するようになっている。
【００６１】
なお、一対のメインカメラ２ａとサブカメラ２ｂの中央真下の道路面上の点を原点とし、自車両の車幅方向（左右方向）をＸ軸方向、車高方向（高さ方向）をＹ軸方向、車長方向（前後方向）をＺ軸方向とした場合の実空間上の点（Ｘ１，Ｙ１，Ｚ１）と、上記の第１視差ｄｐ１、第１距離画像ＴZ１上の点（ｉ１，ｊ１）とは、三角測量の原理に基づき下記（２）〜（４）式で表される座標変換により一意に対応づけられる。
Ｘ１＝ＣＤ／２＋Ｚ１×ＰＷ×（ｉ１−ＩＶ） …（２）
Ｙ１＝ＣＨ＋Ｚ１×ＰＷ×（ｊ１−ＪＶ） …（３）
Ｚ１＝ＣＤ／（ＰＷ×（ｄｐ１−ＤＰ）） …（４）
【００６２】
上記各式において、ＣＤは一対のカメラの間隔、ＰＷは１画素当たりの視野角、ＣＨは一対のカメラの取り付け高さ、ＩＶおよびＪＶは自車両正面の無限遠点の第１距離画像ＴZ１上のｉ座標およびｊ座標、ＤＰは消失点視差を表す。
【００６３】
このように、第１視差ｄｐ１と第１距離Ｚ１とは一意に対応づけられるものであるため、第１ステレオマッチング手段７ａにおいて、算出した第１視差ｄｐ１を上記（４）式に従って第１距離Ｚ１に変換し、基準画像ＴOの各画素ブロックＰＢOに、変換した第１距離Ｚ１を割り当てて第１距離画像ＴZ１を形成するように構成することも可能である。
【００６４】
第１ステレオマッチング手段７ａは、上記のようにして形成した第１距離画像ＴZ１の情報を第１距離データメモリ８ａに送信して格納させるようになっている。
【００６５】
なお、この第１ステレオマッチング手段７ａでは、メインカメラ２ａとサブカメラ２ｂで前述した図１８（Ａ）、（Ｂ）に示したような基準画像ＴOと比較画像ＴCが撮像されるシーンでは、図１９に示したような第１距離画像ＴZ１が形成される。
【００６６】
一方、第２画像処理手段６ｂには、前処理手段９（図１参照）で基準画像ＴOと比較画像ＴCに対してそれぞれ所定の前処理が施されて形成された２枚一組の画像が入力されるようになっている。
【００６７】
本実施形態では、前処理手段９では、所定の前処理として基準画像ＴOと比較画像ＴCに対して前述したエッジ処理を行って基準エッジ画像ＴＥOと比較エッジ画像ＴＥCを形成するようになっている。すなわち、基準画像ＴOに属する各画素について本実施形態では当該画素の輝度値とその左隣の画素の輝度値との差分を算出して基準エッジ画像ＴＥOを形成し、また、比較画像ＴCについても同様にして比較エッジ画像ＴＥCを形成するようになっている。
【００６８】
例えば、図１８（Ａ）、（Ｂ）に示したような基準画像ＴOや比較画像ＴCに対してエッジ処理を行うと、図２０（Ａ）、（Ｂ）に示したように、前記輝度値の差分値を各画素の輝度値とする基準エッジ画像ＴＥOや比較エッジ画像ＴＥCが形成される。前処理手段９は、このようにして基準エッジ画像ＴＥOと比較エッジ画像ＴＥCとをそれぞれ形成して、第２画像処理手段６ｂに送信するようになっている。
【００６９】
第２画像処理手段６ｂは、上記の第１画像処理手段６ａと同様に構成されており、第２画像処理手段６ｂの第２ステレオマッチング手段７ｂにおいても、図１７に示した手法でステレオマッチング処理が行われるようになっている。ただし、ステレオマッチング処理の対象は基準エッジ画像ＴＥOと比較エッジ画像ＴＥCである。
【００７０】
そして、第２ステレオマッチング手段７ｂは、第１ステレオマッチング手段７ａと同様にして基準エッジ画像ＴＥO上の画素ブロックごとに第２視差ｄｐ２を算出し、基準エッジ画像ＴＥOの各画素ブロックに、算出した第２視差ｄｐ２を割り当てて第２距離画像ＴZ２（すなわちエッジ距離画像ＴＥｚ）を形成するようになっている。図２０（Ａ）、（Ｂ）に示した基準エッジ画像ＴＥOと比較エッジ画像ＴＥCから図２１に示したような第２距離画像ＴZ２が得られる。
【００７１】
なお、基準エッジ画像ＴＥOの各画素ブロックは、第１ステレオマッチング手段７ａにおける基準画像ＴO上の各画素ブロックＰＢOと同じ画素位置に設定されるため、第２距離画像ＴZ２は、基準画像ＴOの各画素ブロックＰＢOに算出した各第２視差ｄｐ２を割り当てて形成されると表現することも可能である。
【００７２】
また、上記と同様に原点やＸ軸方向、Ｙ軸方向、Ｚ軸方向を設定し、第２視差ｄｐ２から算出される実空間上の点の座標を（Ｘ２，Ｙ２，Ｚ２）とした場合、それと第２視差ｄｐ２、第２距離画像ＴZ２上の点（ｉ２，ｊ２）とは、三角測量の原理に基づき下記（５）〜（７）式で表される座標変換により一意に対応づけられる。なお、式中のＣＤ等は上記と同様である。
Ｘ２＝ＣＤ／２＋Ｚ２×ＰＷ×（ｉ２−ＩＶ） …（５）
Ｙ２＝ＣＨ＋Ｚ２×ＰＷ×（ｊ２−ＪＶ） …（６）
Ｚ２＝ＣＤ／（ＰＷ×（ｄｐ２−ＤＰ）） …（７）
【００７３】
また、第２視差ｄｐ２と第２距離Ｚ２とが一意に対応づけられるものであるため、第２ステレオマッチング手段７ｂにおいて、算出した第２視差ｄｐ２を上記（７）式に従って第２距離Ｚ２に変換し、基準エッジ画像ＴＥO（基準画像ＴO）の各画素ブロックＰＢOに、変換した第２距離Ｚ２を割り当てて第２距離画像ＴZ２を形成するように構成することも可能である。
【００７４】
第２ステレオマッチング手段７ｂは、上記のようにして形成した第２距離画像ＴZ２の情報を第２距離データメモリ８ｂに送信して格納させるようになっている。
【００７５】
このように、本実施形態では、撮像された基準画像ＴOと比較画像ＴCに対してデジタル化やノイズの除去等の画像補正等の画像処理が行われた、いわば生の基準画像ＴOと比較画像ＴCが第１ステレオマッチング手段７ａに入力され、また、撮像された基準画像ＴOと比較画像ＴCに対してデジタル化や画像補正等のほか、前処理（エッジ処理）等の画像処理が行われて形成された基準エッジ画像ＴＥOと比較エッジ画像ＴＥCが第２ステレオマッチング手段７ｂに入力されるように構成されており、撮像された２枚一組の画像（基準画像ＴOと比較画像ＴC）に対して異なる画像処理方法を施して形成される２枚一組の画像の複数の組に対して各組の２枚の画像ごとにステレオマッチング処理が行われるようになっている。
【００７６】
なお、前述したように、基準画像ＴOや比較画像ＴCに対して第２ステレオマッチング手段７ｂに入力される２枚一組の画像とは異なる前処理が施されて形成された２枚一組の画像を第１ステレオマッチング手段７ａに入力するように構成することも可能であるが、その場合も、撮像された２枚一組の画像（基準画像ＴOと比較画像ＴC）に対して異なる画像処理方法を施して形成される２枚一組の画像の複数の組に対して各組の２枚の画像ごとにステレオマッチング処理が行われることになる。
【００７７】
認識手段１０（図１参照）は、図示しないＣＰＵやＲＯＭ、ＲＡＭ、入出力インターフェース等がバスに接続されたコンピュータより構成されている。また、認識手段１０には、車速センサやヨーレートセンサ、ステアリングホイールの舵角を測定する舵角センサ等のセンサ類Ｑが接続されている。なお、ヨーレートセンサの代わりに自車両の車速等からヨーレートを推定する装置等を用いることも可能である。
【００７８】
認識手段１０は、選択手段１１と、検出手段１２とを備えており、さらに図示しないメモリを備えている。
【００７９】
選択手段１１は、第１距離画像ＴZ１を第１距離データメモリ８ａから読み出して、図４に示すように第１距離画像ＴZ１を所定の画素幅で縦方向に延在する短冊状の区分Ｄｎに分割する。そして、各区分Ｄｎごとに図５に示すような第１ヒストグラムＨｎ１をそれぞれ作成し、各区分Ｄｎに属する各第１視差ｄｐ１を当該第１視差ｄｐ１が属する区分Ｄｎの第１ヒストグラムＨｎ１に投票する。そして、度数Ｆｎが最大の階級の階級値すなわち最頻値をその区分Ｄｎにおける第１代表視差ｄｐｎ１とするようになっている。
【００８０】
なお、本実施形態では、第１視差ｄｐ１の第１ヒストグラムＨｎ１への投票の際、第１視差ｄｐ１の値および当該第１視差ｄｐｎ１が割り当てられた画素ブロックＰＢOの第１距離画像ＴZ１上の位置（ｉ１，ｊ１）から前記（３）式に従って算出される当該第１視差ｄｐｎ１に対応する高さＹ１が道路面の高さ以下の高さである場合には、当該第１視差ｄｐｎ１は投票の対象から除外されるようになっている。下記の第２視差ｄｐ２の第２ヒストグラムＨｎ２への投票においても同様である。
【００８１】
また、選択手段１１は、第２距離画像ＴZ２を第２距離データメモリ８ｂから読み出して、図４に示した手法と同様に第２距離画像ＴZ２を縦方向に延在する短冊状の区分Ｄｎに分割する。この場合、第２距離画像ＴZ２の各区分Ｄｎは、第１距離画像ＴZ１と同じ画素位置に同じ画素幅で形成される。そして、各区分Ｄｎごとに図５に示したものと同様の第２ヒストグラムＨｎ２をそれぞれ作成し、各区分Ｄｎに属する各第２視差ｄｐ２を当該第２視差ｄｐ２が属する区分Ｄｎの第２ヒストグラムＨｎ２に投票する。そして、第２ヒストグラムＨｎ２の最頻値をその区分Ｄｎにおける第２代表視差ｄｐｎ２とするようになっている。
【００８２】
選択手段１１は、続いて、第１距離画像ＴZ１と第２距離画像ＴZ２の対応する区分Ｄｎすなわち番号ｎが同じ区分Ｄｎの第１ヒストグラムＨｎ１と第２ヒストグラムＨｎ２の各度数分布を比較する。第１、第２距離画像ＴZ１、ＴZ２の対応する区分Ｄｎの第１、第２ヒストグラムＨｎ１、Ｈｎ２の各度数分布を１つのヒストグラムにあわせて表示すると、例えば図６のヒストグラムのように表される。
【００８３】
そして、本実施形態では、選択手段１１は、当該区分Ｄｎの第１代表視差ｄｐｎ１の度数Ｆｎと第２代表視差ｄｐｎ２の度数Ｆｎとを比較して大きい方を、当該区分Ｄｎの代表視差ｄｐｎとして選択するようになっている。例えば図６の例では、第１代表視差ｄｐｎ１より第２代表視差ｄｐｎ２の方が度数Ｆｎが大きいので第２代表視差ｄｐｎ２が当該区分Ｄｎの代表視差ｄｐｎとして選択される。
【００８４】
選択手段１１は、上記のような区分Ｄｎの代表視差ｄｐｎの選択を各区分Ｄｎごとに行うようになっている。従って、ある区分Ｄｎでは上記のように第２代表視差ｄｐｎ２がその区分Ｄｎの代表視差ｄｐｎとして選択されたが、他の区分Ｄｎでは第１代表視差ｄｐｎ１がその区分Ｄｎの代表視差ｄｐｎとして選択されることが頻繁に生じ得る。
【００８５】
本実施形態では、選択手段１１は、区分Ｄｎの代表視差ｄｐｎとして第１代表視差ｄｐｎ１を選択した場合にはその区分ＤｎにフラグＦとして０を設定し、区分Ｄｎの代表視差ｄｐｎとして第２代表視差ｄｐｎ２を選択した場合にはその区分ＤｎにフラグＦとして１を設定するようになっている。
【００８６】
選択手段１１は、このように設定した各区分ＤｎごとのフラグＦのほか、各区分Ｄｎの各第１、第２ヒストグラムＨｎ１、Ｈｎ２の投票結果や各第１、第２代表視差ｄｐｎ１、ｄｐｎ２、各区分Ｄｎの代表視差ｄｐｎ、区分Ｄｎの画素幅等をメモリに保存するようになっている。
【００８７】
なお、本実施形態では、上記のように、第１距離画像ＴZ１と第２距離画像ＴZ２の対応する区分Ｄｎの第１ヒストグラムＨｎ１と第２ヒストグラムＨｎ２の各度数分布を比較して、第１代表視差ｄｐｎ１と第２代表視差ｄｐｎ２の各度数Ｆｎの大きい方を、当該区分Ｄｎの代表視差ｄｐｎとして選択する場合について説明した。この基準によれば、第１ヒストグラムＨｎ１や第２ヒストグラムＨｎ２に第１距離画像ＴZ１の第１視差ｄｐ１や第２距離画像ＴZ２の第２視差ｄｐ２を投票した時点で即座に当該区分Ｄｎの代表視差ｄｐｎを第１代表視差ｄｐｎ１と第２代表視差ｄｐｎ２のいずれにするかを選択することが可能となるため、選択処理の迅速化が図れるとともに、制御構成が簡単で明確になるという利点がある。
【００８８】
しかし、これ以外の基準に基づいて当該区分Ｄｎの代表視差ｄｐｎを選択するように構成することも可能である。
【００８９】
例えば、対応する区分Ｄｎの第１、第２ヒストグラムＨｎ１、Ｈｎ２の各度数分布を比較して、第１代表視差ｄｐｎ１と第２代表視差ｄｐｎ２のうち、分散σ２が最小となるヒストグラムの代表視差を、当該区分Ｄｎの代表視差ｄｐｎとして選択するように構成することが可能である。この基準によれば、度数分布の分散σ２が小さくばらつきが少ない方の度数分布に基づく代表視差が選択されるため、よりノイズが少ない方の距離画像ＴZが選ばれるようになり、ノイズによる誤検出の発生が低下され、より精度が高い検出を実現することが可能となる。
【００９０】
また、第１代表視差ｄｐｎ１と第２代表視差ｄｐｎ２のうち、それらの値自体が最も大きい代表視差を、当該区分Ｄｎの代表視差ｄｐｎとして選択するように構成することが可能である。第１代表視差ｄｐｎ１や第２代表視差ｄｐｎ２を上記（４）式や（７）式に代入すると自車両から対象物（先行車両）までの距離である前記第１距離Ｚ１や第２距離Ｚ２が算出され、第１代表視差ｄｐｎ１や第２代表視差ｄｐｎ２の値が大きいほど第１距離Ｚ１や第２距離Ｚ２の値は小さくなる。そして、仮に実際の自車両から対象物までの距離より大きな距離が算出され、それに基づいて自動制御が行われると、自車両が対象物（先行車両）と接触したり衝突したりする危険性が高くなる。
【００９１】
そのため、この基準によれば、第１代表視差ｄｐｎ１と第２代表視差ｄｐｎ２のうち値が大きい方の代表視差を当該区分Ｄｎの代表視差ｄｐｎとして選択することで、それらから算出される第１距離Ｚ１や第２距離Ｚ２のうち小さい方の値が選択されることになり、選択された方の値に基づいて自動制御が行われても自車両が対象物（先行車両）と接触、衝突する危険性が低くなり、より安全性を重視した検出を行うことが可能となる。
【００９２】
さらに、後述する検出手段１２では先行車両が実空間上に検出されるが、図７に示すように、その先行車両の背面の前回のサンプリング周期で検出された実空間上の中心位置（Ｘold，Ｙold，Ｚold）と、先行車両と自車両との相対変位ΔＰ、および自車両のヨー角運動による変位Δθから、今回のサンプリング周期における先行車両までの距離Ｚestを推定することができる。
【００９３】
そこで、第１代表視差ｄｐｎ１と第２代表視差ｄｐｎ２のうち、それらから算出される第１距離Ｚ１や第２距離Ｚ２が、この今回のサンプリング周期における先行車両の推定距離Ｚestに最も近い距離となる方を、当該区分Ｄｎの代表視差ｄｐｎとして選択するように構成することが可能である。この基準によれば、対象物（この場合は先行車両）を安定して検出することが可能となる。
【００９４】
なお、上記の各基準を独立に適用することも可能であるが、それらを総合して適用するように構成することも可能である。また、例えば、特に夜間には基準エッジ画像ＴＥOと比較エッジ画像ＴＥCから算出される第２距離画像ＴZ２上にはノイズ成分に基づく第２視差ｄｐ２のデータが多数算出されるようになるため、例えば日中の検出時には本実施形態のように第１代表視差ｄｐｎ１と第２代表視差ｄｐｎ２のうち度数Ｆｎの大きい方を当該区分Ｄｎの代表視差ｄｐｎとして選択し、夜間、自車両のヘッドライトが点灯されたような場合には、度数分布の分散σ２が小さい方を選択するように、基準を切り替えるように構成することも可能である。
【００９５】
検出手段１２（図１参照）は、選択手段１１により各区分Ｄｎごとに選択された区分Ｄｎの代表視差ｄｐｎに基づいて、基準画像ＴO中に撮像された対象物を検出し、さらにその中から先行車両を検出するようになっている。
【００９６】
具体的には、検出手段１２は、各区分Ｄｎごとに選択手段１１により設定されたフラグＦの値を確認しながら第１代表視差ｄｐｎ１と第２代表視差ｄｐｎ２のうちのフラグＦの値に対応する方の値を区分Ｄｎの代表視差ｄｐｎとして各区分Ｄｎごとにメモリから読み出し、区分Ｄｎの視差ｄｐｎを上記（４）式または（７）式のｄｐ１またはｄｐ２に代入して第１距離Ｚ１または第２距離Ｚ２を算出し、各区分Ｄｎごとに区分Ｄｎの代表距離Ｚｎとして、図８に示すように実空間上にプロットする。
【００９７】
そして、検出手段１２は、図９に示すように、プロットされた各区分Ｄｎの代表距離Ｚｎを表す点同士の距離や方向性に基づいて、互いに隣接する各点をそれぞれグループＧ１、Ｇ２、Ｇ３、…にまとめてグループ化するようになっている。
【００９８】
上記のように、本実施形態では、第１視差ｄｐ１や第２視差ｄｐ２の第１ヒストグラムＨｎ１や第２ヒストグラムＨｎ２への投票の際に、道路面以下の高さの第１視差ｄｐ１や第２視差ｄｐは投票の対象から除外されるため、上記のようにして検出された対象物は基準面である道路面より高い位置に存在する立体物である。
【００９９】
そのため、本実施形態では、検出手段１２は、図１０に示すように各グループに属する各点をそれぞれ直線近似し、それぞれのグループ内の各点が自車両Ａの車幅方向すなわちＸ軸方向に略平行に並ぶグループには“物体”Ｏとラベルし、各点が自車両Ａの車長方向すなわちＺ軸方向に略平行に並ぶグループには“側壁”Ｓとラベルして分類して、対象物である立体物を検出するようになっている。なお、同一の対象物（立体物）の“物体”のグループと“側壁”のグループの交点とみなすことができる箇所にコーナー点としてＣをラベルするようになっている。
【０１００】
このようにして、検出手段１２は、図１０の例では、［側壁Ｓ１］、［物体Ｏ１］、［側壁Ｓ２］、［物体Ｏ２とコーナー点Ｃと側壁Ｓ３］、［側壁Ｓ４］、［物体Ｏ３］、［物体Ｏ４］、［側壁Ｓ５とコーナー点Ｃと物体Ｏ５］、［物体Ｏ６］、［側壁Ｓ６］をそれぞれ１つの立体物として検出して、各対象物を検出するようになっている。
【０１０１】
また、検出手段１２は、このようにして検出した各対象物を図１１に示すように基準画像ＴO上で矩形状の枠線で包囲するようにして検出するようになっている。検出手段１２は、このようにして基準画像ＴO中に撮像された各対象物を検出して、自車両Ａの周囲の環境を認識するようになっている。
【０１０２】
本実施形態では、検出手段１２は、さらに、検出した対象物の中から先行車両を検出するようになっている。
【０１０３】
具体的には、検出手段１２は、まず、図１２に示すように自車両Ａの挙動に基づいて自車両Ａが今後進行するであろう軌跡を走行軌跡Ｌestとして推定し、その走行軌跡Ｌestを中心とする自車両Ａの車幅分の領域を自車両Ａの進行路Ｒestとして算出するようになっている。
【０１０４】
自車両Ａの走行軌跡Ｌestは、センサ類Ｑから送信されてくる自車両Ａの車速Ｖやヨーレートγ、ステアリングホイールの舵角δ等の情報に基づいて下記（８）式または下記（９）、（１０）式に従って算出される自車両Ａの旋回曲率Ｃuaに基づいて算出することができる。なお、下記の各式におけるＲｅは旋回半径、Ａsfは車両のスタビリティファクタ、Ｌwbはホイールベースである。
Ｃua＝γ／Ｖ …（８）
Ｒｅ＝（１＋Ａsf・Ｖ２）・（Ｌwb／δ） …（９）
Ｃua＝１／Ｒｅ …（１０）
【０１０５】
そして、検出手段１２は、自車両Ａの進行路Ｒest上に存在する対象物の中で自車両Ａに最も近接する対象物を自車両Ａの前方を走行する先行車両Ｖahとして検出するようになっている。例えば図１１に示したシーンでは、図１３に示すように、車両Ｏ３が先行車両Ｖahとして検出される。
【０１０６】
なお、本実施形態では、検出手段１２は、前回のサンプリング周期で検出した先行車両と今回のサンプリング周期で先行車両として検出した対象物（立体物）とが同一の立体物である確率を算出するなどして、整合性を保ちながら先行車両を追跡するようになっている。また、検出手段１２は、検出した先行車両が自車両の前方から離脱してさらにその前方の車両が新たに先行車両となったり、自車両と先行車両との間に他の車両が割り込んできて当該他の車両が新たな先行車両となることによる先行車両の交替を検出できるようになっている。
【０１０７】
検出手段１２は、このようにして検出した各対象物および先行車両Ｖahの情報をメモリに保存するとともに、必要に応じてそれらの情報を、選択手段１１がメモリに保存した設定した各区分ＤｎごとのフラグＦの情報等とともに環境認識装置１の外部に出力するようになっている。
【０１０８】
次に、本実施形態に係る環境認識装置１の作用について説明する。
【０１０９】
認識手段１０の選択手段１１では、上記のようにして形成された第１距離画像ＴZ１と第２距離画像ＴZ２が所定の同じ画素幅の短冊状の区分Ｄｎに分割され、各区分Ｄｎごとに第１距離画像ＴZ１について第１ヒストグラムＨｎ１が、第２距離画像ＴZ２について第２ヒストグラムＨｎ２がそれぞれ作成され、各区分Ｄｎに属する各第１、第２視差ｄｐ１、ｄｐ２が第１、第２ヒストグラムＨｎ１、Ｈｎ２にそれぞれ投票される。
【０１１０】
そして、当該区分Ｄｎについて投票が終了すると即座に第１、第２ヒストグラムＨｎ１、Ｈｎ２の最頻値を判別されて第１代表視差ｄｐｎ１と第２代表視差ｄｐｎ２が算出され、その度数Ｆｎの大小が比較されて、大きい方が当該区分Ｄｎの代表視差ｄｐｎとして選択される。そして、この処理が全区分Ｄｎに対してそれぞれ行われて、各区分Ｄｎについて代表視差ｄｐｎが算出される。
【０１１１】
このように、選択手段１１では、各区分Ｄｎについて、上記のような設定された種々の基準を満たし、より条件に適合する方の第１代表視差ｄｐｎ１または第２代表視差ｄｐｎ２が各区分Ｄｎごとに選択されるようになっている。そのため、区分Ｄｎの代表視差ｄｐｎは、各区分Ｄｎごとの代表視差ｄｐｎ１、ｄｐｎ２の中から最も優秀な代表視差のみが抽出されたものとなる。
【０１１２】
そして、本実施形態では、基準画像ＴOと比較画像ＴCとから形成された第１距離画像ＴZ１と、基準エッジ画像ＴＥOと比較エッジ画像ＴＥCとから形成される第２距離画像ＴZ２とを比較して、各区分Ｄｎごとに優秀な方の代表視差が区分Ｄｎの代表視差ｄｐｎとされる。そのため、例えば図１８（Ａ）、（Ｂ）に示したメインカメラ２ａとサブカメラ２ｂの明るさのバランスが崩れるような場合に得られる第１距離画像ＴZ１において有効な第１視差ｄｐ１のデータ数が少ない区分Ｄｎが生じても、第２距離画像ＴZ２の当該区分Ｄｎの第２代表視差ｄｐｎ２の度数Ｆｎが大きければそちらが選択されて、検出手段１２で有効に精度良く対象物を検出することが可能となる。
【０１１３】
また、基準エッジ画像ＴＥOと比較エッジ画像ＴＥCとから形成される第２距離画像ＴZ２のある区分Ｄｎで例えばノイズが多く、第２視差ｄｐ２の値がばらついて第２ヒストグラムＨｎ２上で明確なピークが得られないような場合でも、基準画像ＴOと比較画像ＴCとから形成された第１距離画像ＴZ１で第１視差ｄｐ１の値が第１ヒストグラムＨｎ１上の同一の階級に集中して検出され、第２代表視差ｄｐｎ２よりも第１代表視差ｄｐｎ１の方が度数Ｆｎが大きくなれば、当該区分Ｄｎでは代表視差ｄｐｎとして第１代表視差ｄｐｎ１が選択される。そのため、このような状況においても、検出手段１２は、選択された優秀な代表視差に基づいて有効に精度良く対象物を検出することが可能となる。
【０１１４】
以上のように、本実施形態に係る環境認識装置１によれば、撮像された基準画像ＴOと比較画像ＴCに対して異なる画像処理方法を施して形成される２枚一組の画像の複数の組、すなわち例えば生データの基準画像ＴOと比較画像ＴCの組とエッジ処理された基準エッジ画像ＴＥOと比較エッジ画像ＴＥCの組に対して、それぞれステレオマッチング処理を行い、第１距離画像ＴZ１と第２距離画像ＴZ２を得る。そして、第１距離画像ＴZ１と第２距離画像ＴZ２をそれぞれ複数の区分Ｄｎに分割し、各区分Ｄｎについてより条件に適合する代表視差ｄｐｎ１、ｄｐｎ２を選択してその区分Ｄｎの代表視差ｄｐｎとする。
【０１１５】
そのため、各区分Ｄｎについて、それぞれ第１距離画像ＴZ１と第２距離画像ＴZ２に基づく代表視差の中からより優秀な代表視差を各区分Ｄｎの代表視差ｄｐｎとして抽出することが可能となり、例えば一方の画像の組だけでは距離画像ＴZのある区分Ｄｎで代表視差ｄｐｎを抽出することが困難な状況であっても、他方の画像の組の当該区分Ｄｎのデータでそれを補うことが可能となる。
【０１１６】
このように、本実施形態に係る環境認識装置１では、区分Ｄｎごとのいわば「良いとこ取り」により区分Ｄｎの代表視差ｄｐｎを的確に抽出することが可能となり、抽出されたデータに基づいて対象物や先行車両Ｖahを有効に検出して、周囲の環境を認識することが可能となる。
【０１１７】
［変形例１］
なお、本実施形態では、画像処理手段として画像処理手段６ａ、６ｂの２系統を設け、撮像された２枚一組の画像（基準画像ＴOと比較画像ＴC）に対して異なる画像処理方法を施して２枚一組の画像を２組（基準画像ＴOと比較画像ＴCの生データの組と基準エッジ画像ＴＥOと比較エッジ画像ＴＥCの組）を形成する場合について説明した。しかし、異なる画像処理方法を施して形成する２枚一組の画像の組を３組以上形成するように構成することも可能である。
【０１１８】
このように構成すれば、区分Ｄｎの代表視差ｄｐｎを選択する際の選択肢がさらに多くなるため、より条件に適合する代表視差を抽出することが可能となり、上記の効果がより効果的に発揮される。
【０１１９】
［変形例２］
また、本実施形態では、基準画像ＴOと比較画像ＴCに対する画像処理方法が異なる２枚一組の画像の組として、基準画像ＴOと比較画像ＴCに対してノイズの除去等の画像補正等の画像処理のみが行われた、いわば生の基準画像ＴOと比較画像ＴCの組と、エッジ処理を施した基準エッジ画像ＴＥOと比較エッジ画像ＴＥCの組とを用いる場合について説明した。
【０１２０】
しかし、一方の２枚一組の画像の組から形成される距離画像と、他方の２枚一組の画像の組から形成される距離画像との対応する区分Ｄｎについて、いずれかの優秀な代表視差を選択するという本発明の本質から考えると、撮像された２枚一組の画像に対して異なる画像処理方法を施して形成される２枚一組の画像の複数の組は、上記のような２種類の組の他にも、種々の組であることが可能である。
【０１２１】
例えば、図１４に示すように、メインカメラ２ａにより撮像された基準画像ＴOの各画素の輝度値ｐ１ijを例えば２×２画素分ずつ平均をとるなどしてそれを１画素分の輝度値として元の基準画像ＴOから解像度を変えた画像ＴO＊を形成して車両の自動制御等に用いる場合がある。このように、基準画像ＴOと比較画像ＴCの解像度をそれぞれ変えて形成された２枚の画像の組を用いることが可能である。
【０１２２】
［変形例３］
また、本願出願人により先に提出された特開平１０−２８５５８２号公報等に記載されているように、距離画像に含まれるノイズを効率的に除去するために、距離画像中で隣接する視差ｄｐの情報の差が例えば±１［ピクセル］であればグループ化する等の方法で視差ｄｐの情報同士を図１５に示すようにグループｇ１〜ｇ３のようにグループ化して、同じグループｇに属する視差ｄｐの情報の数が予め設定された閾値以上であるグループｇ１、ｇ３は有効なデータとして採用し、閾値未満であるグループｇ２はノイズとして棄却するという処理が行われる場合がある。本実施形態でもこの方法が採用されている。
【０１２３】
そこで、上記の撮像された２枚一組の画像に対して異なる画像処理方法を施して形成される２枚一組の画像の複数の組として、距離画像の形成の際のノイズ除去の上記閾値を変えた２組を用いるように構成することが可能である。
【０１２４】
［変形例４］
また、上記の撮像された２枚一組の画像に対して異なる画像処理方法を施して形成される２枚一組の画像の複数の組として、メインカメラ２ａやサブカメラ２ｂにより撮像された基準画像ＴOと比較画像ＴCの組の明るさを変えない元の基準画像ＴOと比較画像ＴCの組と、基準画像ＴOと比較画像ＴCの組に対して画像補正部４や前処理手段９で画像の明るさを変えて形成した２枚の画像の組の計２組を用いるように構成することが可能である。
【０１２５】
さらに、メインカメラ２ａやサブカメラ２ｂにより撮像された基準画像ＴOと比較画像ＴCの組に対して、それぞれ異なる画像の明るさとなるように形成した２枚一組の画像の２組を用いるように構成することも可能である。このようにして形成された２枚一組の画像の２組に基づいて算出された代表視差の中から優秀な代表視差を選択することで、上記と同様の効果を得ることができる。
【０１２６】
［変形例５］
また、同じ２枚一組の画像から形成された距離画像に対して、それを分割する図４に示したような縦方向に延在する区分の画素幅を変え、例えば所定の画素幅の区分Ｄｋに分割した距離画像と、その２倍の画素幅を有する区分Ｄｍに分割した距離画像とを形成し、各距離画像の各区分Ｄｋ、Ｄｍごとに代表視差を算出し、互いに対応する区分Ｄｋ、Ｄｍの各代表視差のうちいずれかを選択するように構成することも可能である。
【０１２７】
この場合、区分Ｄｍには他方の距離画像の２つの区分Ｄｋが対応するが、各区分Ｄｋ、Ｄｍに属し得る視差ｄｐの情報の数が異なる。そのため、選択手段１１は、各区分Ｄｋ、Ｄｍについて算出した代表視差に所定の重み付けをしたうえで選択するように構成されることが好ましい。この重み付けをしたうえでの選択は、他の変形例においても適宜行われる。
【０１２８】
［変形例６］
また、同じ２枚一組の画像から形成された距離画像を同じ画素幅の複数の区分Ｄｎに分割するが、選択手段１１で各区分Ｄｎについてそれぞれヒストグラムを作成する際、１つの区分Ｄｎについてヒストグラムの最大値、最小値または階級幅の少なくとも１つを変更した複数種類のヒストグラムを作成し、当該複数種類のヒストグラムについてそれぞれ代表視差を算出してそのいずれかを選択するように構成することも可能である。
【０１２９】
なお、上記の変形例３から変形例６までは、基準画像ＴOと比較画像ＴCから形成された距離画像ＴZに対する処理のしかたが異なるだけであるから、距離画像ＴZを形成するまでのハード構成は、図１に示したような２系統の画像処理手段６ａ、６ｂを備える構成である必要はなく、図１６に示すようにイメージプロセッサ等からなるステレオマッチング手段７と距離データメモリ８とを備える１系統の画像処理手段６で足りる。
【０１３０】
逆の言い方をすれば、ステレオマッチング手段７と距離データメモリ８とを備える１系統の画像処理手段６を備えるハード構成の環境認識装置１＊においても、距離画像ＴZに対する処理のしかたを変えることで複数種類の代表視差ｄｐｎの中から優秀な代表視差ｄｐｎを選択し、それに基づいて周囲の環境中から対象物（立体物）を検出して環境を認識することが可能となる。
【０１３１】
［変形例７］
上記の変形例２から変形例６までは、メインカメラ２ａおよびサブカメラ２ｂで撮像された基準画像ＴOと比較画像ＴCに対する画像処理方法が異なり、或いはそれらから形成された距離画像に対する処理の方法が異なる２枚一組の画像の組として、本発明を適用する場合について述べた。しかし、メインカメラ２ａおよびサブカメラ２ｂで撮像された第１基準画像ＴO１および第１比較画像ＴC１と、同じメインカメラ２ａ等で撮像方法を変更し、撮像条件を変えて撮像された第２基準画像ＴO２および第２比較画像ＴC２とに対して処理を構成することも可能である。
【０１３２】
この場合、撮像条件が異なる２種類の画像を同時に撮像することはできないが、撮像手段２の撮像条件を変えて非常に近接したタイミングで２種類の画像を撮像し、上記と同様にしてそれぞれ第１距離画像ＴZ１および第２距離画像ＴZ２を得ることで、算出された第１代表視差ｄｐｎ１と第２代表視差ｄｐｎ２は、十分に区分Ｄｎの代表視差ｄｐｎを選択するための材料となり得る。なお、この場合、撮像条件の変更には、撮像手段２の露光量やシャッタスピード等の変更や、アンプゲインの切り替えや、撮像手段２から出力される画素の輝度値を決めるＬＵＴ（Look Up Table）の選択の変更等が含まれる。
【０１３３】
［本実施形態や変形例の組み合わせ］
なお、上記の本実施形態および変形例１〜７をそれぞれ組み合わせて行うことが可能である。そして、２枚一組の画像を得るための異なる撮像方法、２枚一組の画像に対する異なる画像処理方法、或いは距離画像に対する異なる処理のしかたにより得られた複数種類の代表視差ｄｐｎの中から優秀な代表視差ｄｐｎを選択し、それに基づいて周囲の環境中から対象物（立体物）を検出して環境を認識することが可能となる。
【０１３４】
［撮像方法や画像処理方法等の切り替え］
また、上記の２枚一組の画像を得るための撮像方法（撮像条件）や、２枚一組の画像に対する画像処理方法や、距離画像ＴZに対する処理のしかたを所定の条件に下で切り替えるように構成することも可能である。
【０１３５】
前述したように、例えば逆光の環境中では、基準画像ＴOと比較画像ＴCから形成した距離画像ＴZと、基準エッジ画像ＴＥOと比較エッジ画像ＴＥCから形成したエッジ距離画像ＴＥZとを用いて、各区分Ｄｎで優秀な方の代表視差を用いるように構成すると良好に対象物を検出できるが、夜間は、基準エッジ画像ＴＥOと比較エッジ画像ＴＥCから算出されるエッジ距離画像ＴＥZ上にはノイズ成分が多数現れるようになる。一方で、変形例７に述べたように撮像方法（撮像条件）を変えると撮像される画像の輝度値のダイナミックレンジを広げることができる。
【０１３６】
そこで、例えば、日中には基準画像ＴO等から形成した距離画像ＴZと基準エッジ画像ＴＥO等から形成したエッジ距離画像ＴＥZとを用い、夜間には、基準画像ＴO等から形成した距離画像ＴZと比較する対象を、基準エッジ画像ＴＥO等から形成したエッジ距離画像ＴＥZから、基準画像ＴOと比較画像ＴCを撮像する撮像方法（撮像条件）を変えて撮像された２枚一組の画像から形成した距離画像に切り替えるように構成することが可能である。
【０１３７】
このように、周囲の環境に応じて撮像方法や画像処理方法、または距離画像に対する処理のしかたを切り替えることで、例えば上記の例では日中は逆光に有効に対処することが可能となり、夜間には撮像される画像の輝度値のダイナミックレンジを広げることが可能となるため、周囲の環境中から対象物（立体物）を的確に検出して環境を認識することが可能となる。
【図面の簡単な説明】
【０１３８】
【図１】本実施形態に係る環境認識装置の構成を示すブロック図である。
【図２】基準画像の一例を示す図である。
【図３】図２の基準画像等に基づいて形成された第１距離画像を示す図である。
【図４】第１距離画像を分割する短冊状の区分を説明する図である。
【図５】図４の各区分ごとに作成される第１ヒストグラムを説明する図である。
【図６】第１距離画像と第２距離画像の各度数分布を示すヒストグラムの図である。
【図７】前回のサンプリング周期で検出された先行車両の背面の中心位置等から推定される今回のサンプリング周期における先行車両までの距離を説明する図である。
【図８】区分ごとの距離を実空間上にプロットした各点を表す図である。
【図９】図８の各点がグループ化されて形成される各グループを表す図である。
【図１０】図９の各グループの各点を直線近似して検出された物体の例を表す図である。
【図１１】基準画像上に枠線で包囲されて検出された各物体を表す図である。
【図１２】実空間上の自車両の走行軌跡、進行路および先行車両を示す図である。
【図１３】基準画像上の自車両の走行軌跡および先行車両を示す図である。
【図１４】基準画像から解像度を変えた画像を形成する手法を説明する図である。
【図１５】距離画像中でグループ化された視差の情報を表す図である。
【図１６】１系統の画像処理手段を備える環境認識装置の構成を示すブロック図である。
【図１７】ステレオマッチング処理の手法を説明する図である。
【図１８】（Ａ）基準画像の一例を示す写真であり、（Ｂ）（Ａ）の基準画像より全体的に暗く撮像された比較画像を示す写真である。
【図１９】図１８（Ａ）、（Ｂ）の基準画像と比較画像にステレオマッチング処理を行って得られる距離画像を示す写真である。
【図２０】（Ａ）図１８（Ａ）の基準画像にエッジ処理を施して得られる基準エッジ画像を示す写真であり、（Ｂ）図１８（Ｂ）の比較画像にエッジ処理を施して得られる比較エッジ画像を示す写真である。
【図２１】図２０（Ａ）、（Ｂ）の基準エッジ画像と比較エッジ画像にステレオマッチング処理を行って得られるエッジ距離画像を示す写真である。
【符号の説明】
【０１３９】
１ 環境認識装置
２ 撮像手段
２ａ、２ｂ 一対のカメラ（メインカメラ、サブカメラ）
７、７ａ、７ｂ ステレオマッチング手段
１１ 選択手段
１２ 検出手段
Ｄｎ 区分
ｄｐ 視差
ｄｐｎ 区分の代表視差
ｄｐｎ１、ｄｐｎ２ 代表視差
Ｆｎ 度数
Ｈｎ１、Ｈｎ２ ヒストグラム
Ｏ、Ｓ 立体物
ＰＢO 画素ブロック
ＴＥO、ＴＥC エッジ処理が施された２枚の画像（基準エッジ画像、比較エッジ画像）
ＴO、ＴC ２枚一組の画像（基準画像、比較画像）
ＴO＊ 解像度を変えて形成された画像
ＴZ、ＴZ１、ＴZ２ 距離画像
Ｖah 対象（先行車両）
（Ｘold，Ｙold，Ｚold） 前回のサンプリング周期で検出された対象の位置
Ｚ 距離
Ｚest 今回のサンプリング周期における対象までの距離
Ｚｎ 代表距離
σ２ 分散
【特許請求の範囲】
【請求項１】
一対のカメラで周囲の環境中の同じ対象を撮像して２枚一組の画像を出力する撮像手段と、
異なる撮像方法で撮像された２枚一組の画像の複数の組または撮像された２枚一組の画像に対して異なる画像処理方法を施して形成される２枚一組の画像の複数の組に対して、各組の２枚の画像ごとにステレオマッチング処理を行い、当該画像の各画素ブロックに算出した各視差をそれぞれ割り当てて各組ごとに１枚ずつ距離画像を形成するステレオマッチング手段と、
前記各組ごとに１枚ずつ形成された前記各距離画像をそれぞれ縦方向に延びる短冊状の複数の区分に分割して各区分ごとにそれぞれ代表視差を算出し、前記各組の各距離画像の互いに対応する区分の前記各代表視差のうちいずれかの代表視差を選択して当該区分の代表視差とし、前記区分の代表視差を前記区分ごとに選択する選択手段と、
前記各区分の代表視差に基づいて前記画像中に撮像された前記対象を検出する検出手段と、
を備えることを特徴とする環境認識装置。
【請求項２】
前記異なる撮像方法で撮像された２枚一組の画像の複数の組とは、前記撮像手段の撮像条件を変えて撮像された２枚一組の画像の複数の組であることを特徴とする請求項１に記載の環境認識装置。
【請求項３】
前記撮像された２枚一組の画像に対して異なる画像処理方法を施して形成される２枚一組の画像の複数の組は、前記撮像手段により撮像された２枚の画像の組、前記２枚一組の画像に対してそれぞれエッジ処理が施されて形成された２枚の画像の組、前記２枚一組の画像の解像度をそれぞれ変えて形成された２枚の画像の組、または画像の明るさをそれぞれ変えて形成された２枚の画像の組のいずれかであることを特徴とする請求項１または請求項２に記載の環境認識装置。
【請求項４】
前記選択手段は、前記距離画像からノイズを除去する際の閾値を変更して前記２枚の画像の組を形成することを特徴とする請求項１から請求項３のいずれか一項に記載の環境認識装置。
【請求項５】
前記選択手段は、前記撮像された２枚一組の画像から形成された前記距離画像を分割する前記区分の画素幅を変更して形成した前記各区分ごとにそれぞれ代表視差を算出し、互いに対応する前記区分の前記各代表視差のうちいずれかの代表視差を選択して当該区分の代表視差とし、前記区分の代表視差を前記区分ごとに選択することを特徴とする請求項１から請求項４のいずれか一項に記載の環境認識装置。
【請求項６】
前記選択手段は、前記各組ごとに形成された前記各距離画像の前記複数の区分について各区分ごとにそれぞれヒストグラムを作成し、当該ヒストグラムにおける前記視差の度数に基づいてその最頻値を前記代表視差として算出することを特徴とする請求項１から請求項５のいずれか一項に記載の環境認識装置。
【請求項７】
前記選択手段は、前記各組ごとに形成された各距離画像の対応する区分の前記各代表視差のうち、度数が最大の代表視差、分散が最小となるヒストグラムに基づく代表視差、前記最頻値が最も大きい代表視差、または前回のサンプリング周期で検出された前記対象の位置から推定される今回のサンプリング周期における当該対象までの距離に最も近い距離を与える代表視差のいずれかの代表視差を選択して当該区分の代表視差とすることを特徴とする請求項６に記載の環境認識装置。
【請求項８】
前記選択手段は、前記撮像された２枚一組の画像から形成された前記距離画像の前記複数の区分について各区分ごとにそれぞれ作成する前記ヒストグラムの最大値、最小値または階級幅の少なくとも１つを変更した複数種類のヒストグラムを作成し、当該複数種類のヒストグラムについてそれぞれ前記代表視差を算出することを特徴とする請求項６または請求項７に記載の環境認識装置。
【請求項９】
一対のカメラで周囲の環境中の同じ対象を撮像して２枚一組の画像を出力する撮像手段と、
前記２枚一組の画像に対してステレオマッチング処理を行い、当該画像の各画素ブロックに算出した各視差を割り当てた距離画像を形成するステレオマッチング手段と、
前記距離画像を縦方向に延びる短冊状の複数の区分に分割して各区分ごとに複数種類の代表視差を算出し、対応する区分の前記複数種類の代表視差のうちいずれかの代表視差を選択して当該区分の代表視差とし、前記区分の代表視差を前記区分ごとに選択する選択手段と、
前記各区分の代表視差に基づいて前記画像中に撮像された前記対象を検出する検出手段と、
を備え、
前記複数種類の代表視差は、前記距離画像からノイズを除去する際の閾値が異なる値に設定されて形成された複数種類の前記距離画像に基づいて算出されることを特徴とする環境認識装置。
【請求項１０】
一対のカメラで周囲の環境中の同じ対象を撮像して２枚一組の画像を出力する撮像手段と、
前記２枚一組の画像に対してステレオマッチング処理を行い、当該画像の各画素ブロックに算出した各視差を割り当てた距離画像を形成するステレオマッチング手段と、
前記距離画像を縦方向に延びる短冊状の複数の区分に分割して各区分ごとに複数種類の代表視差を算出し、対応する区分の前記複数種類の代表視差のうちいずれかの代表視差を選択して当該区分の代表視差とし、前記区分の代表視差を前記区分ごとに選択する選択手段と、
前記各区分の代表視差に基づいて前記画像中に撮像された前記対象を検出する検出手段と、
を備え、
前記複数種類の代表視差は、前記距離画像を分割する前記区分の画素幅が異なる画素幅に設定されることで算出される複数種類の代表視差であることを特徴とする環境認識装置。
【請求項１１】
一対のカメラで周囲の環境中の同じ対象を撮像して２枚一組の画像を出力する撮像手段と、
前記２枚一組の画像に対してステレオマッチング処理を行い、当該画像の各画素ブロックに算出した各視差を割り当てた距離画像を形成するステレオマッチング手段と、
前記距離画像を縦方向に延びる短冊状の複数の区分に分割して各区分ごとに複数種類の代表視差を算出し、対応する区分の前記複数種類の代表視差のうちいずれかの代表視差を選択して当該区分の代表視差とし、前記区分の代表視差を前記区分ごとに選択する選択手段と、
前記各区分の代表視差に基づいて前記画像中に撮像された前記対象を検出する検出手段と、
を備え、
前記選択手段は、前記各区分ごとにそれぞれヒストグラムを作成し、当該ヒストグラムにおける前記視差の最頻値を前記代表視差として算出し、前記各区分のヒストグラムとして、前記ヒストグラムの最大値、最小値または階級幅の少なくとも１つが変更された複数種類のヒストグラムを用いることで前記複数種類の代表視差を算出することを特徴とする環境認識装置。
【請求項１２】
前記選択手段は、所定の重み付けがなされた前記代表視差のいずれかを選択することを特徴とする請求項１から請求項１１のいずれか一項に記載の環境認識装置。
【請求項１３】
前記２枚一組の画像を得るための前記撮像方法、前記２枚一組の画像に対する前記画像処理方法、または前記距離画像に対する処理のしかたを切り替えることが可能とされていることを特徴とする請求項１から請求項１２のいずれか一項に記載の環境認識装置。
【請求項１４】
前記撮像方法、前記画像処理方法、または前記距離画像に対する処理のしかたの切り替えは、周囲の環境に応じて行われることを特徴とする請求項１３に記載の環境認識装置。
【請求項１５】
前記対象は、基準面より高い位置に存在する立体物であることを特徴とする請求項１から請求項１４のいずれか一項に記載の環境認識装置。
【請求項１６】
前記視差および前記代表視差に代えて、三角測量の原理に基づいて前記視差および前記代表視差にそれぞれ一意に対応付けられる距離および代表距離を用いて前記ステレオマッチング手段における処理および前記選択手段における処理が構成されていることを特徴とする請求項１から請求項１５のいずれか一項に記載の環境認識装置。
【請求項１】
一対のカメラで周囲の環境中の同じ対象を撮像して２枚一組の画像を出力する撮像手段と、
異なる撮像方法で撮像された２枚一組の画像の複数の組または撮像された２枚一組の画像に対して異なる画像処理方法を施して形成される２枚一組の画像の複数の組に対して、各組の２枚の画像ごとにステレオマッチング処理を行い、当該画像の各画素ブロックに算出した各視差をそれぞれ割り当てて各組ごとに１枚ずつ距離画像を形成するステレオマッチング手段と、
前記各組ごとに１枚ずつ形成された前記各距離画像をそれぞれ縦方向に延びる短冊状の複数の区分に分割して各区分ごとにそれぞれ代表視差を算出し、前記各組の各距離画像の互いに対応する区分の前記各代表視差のうちいずれかの代表視差を選択して当該区分の代表視差とし、前記区分の代表視差を前記区分ごとに選択する選択手段と、
前記各区分の代表視差に基づいて前記画像中に撮像された前記対象を検出する検出手段と、
を備えることを特徴とする環境認識装置。
【請求項２】
前記異なる撮像方法で撮像された２枚一組の画像の複数の組とは、前記撮像手段の撮像条件を変えて撮像された２枚一組の画像の複数の組であることを特徴とする請求項１に記載の環境認識装置。
【請求項３】
前記撮像された２枚一組の画像に対して異なる画像処理方法を施して形成される２枚一組の画像の複数の組は、前記撮像手段により撮像された２枚の画像の組、前記２枚一組の画像に対してそれぞれエッジ処理が施されて形成された２枚の画像の組、前記２枚一組の画像の解像度をそれぞれ変えて形成された２枚の画像の組、または画像の明るさをそれぞれ変えて形成された２枚の画像の組のいずれかであることを特徴とする請求項１または請求項２に記載の環境認識装置。
【請求項４】
前記選択手段は、前記距離画像からノイズを除去する際の閾値を変更して前記２枚の画像の組を形成することを特徴とする請求項１から請求項３のいずれか一項に記載の環境認識装置。
【請求項５】
前記選択手段は、前記撮像された２枚一組の画像から形成された前記距離画像を分割する前記区分の画素幅を変更して形成した前記各区分ごとにそれぞれ代表視差を算出し、互いに対応する前記区分の前記各代表視差のうちいずれかの代表視差を選択して当該区分の代表視差とし、前記区分の代表視差を前記区分ごとに選択することを特徴とする請求項１から請求項４のいずれか一項に記載の環境認識装置。
【請求項６】
前記選択手段は、前記各組ごとに形成された前記各距離画像の前記複数の区分について各区分ごとにそれぞれヒストグラムを作成し、当該ヒストグラムにおける前記視差の度数に基づいてその最頻値を前記代表視差として算出することを特徴とする請求項１から請求項５のいずれか一項に記載の環境認識装置。
【請求項７】
前記選択手段は、前記各組ごとに形成された各距離画像の対応する区分の前記各代表視差のうち、度数が最大の代表視差、分散が最小となるヒストグラムに基づく代表視差、前記最頻値が最も大きい代表視差、または前回のサンプリング周期で検出された前記対象の位置から推定される今回のサンプリング周期における当該対象までの距離に最も近い距離を与える代表視差のいずれかの代表視差を選択して当該区分の代表視差とすることを特徴とする請求項６に記載の環境認識装置。
【請求項８】
前記選択手段は、前記撮像された２枚一組の画像から形成された前記距離画像の前記複数の区分について各区分ごとにそれぞれ作成する前記ヒストグラムの最大値、最小値または階級幅の少なくとも１つを変更した複数種類のヒストグラムを作成し、当該複数種類のヒストグラムについてそれぞれ前記代表視差を算出することを特徴とする請求項６または請求項７に記載の環境認識装置。
【請求項９】
一対のカメラで周囲の環境中の同じ対象を撮像して２枚一組の画像を出力する撮像手段と、
前記２枚一組の画像に対してステレオマッチング処理を行い、当該画像の各画素ブロックに算出した各視差を割り当てた距離画像を形成するステレオマッチング手段と、
前記距離画像を縦方向に延びる短冊状の複数の区分に分割して各区分ごとに複数種類の代表視差を算出し、対応する区分の前記複数種類の代表視差のうちいずれかの代表視差を選択して当該区分の代表視差とし、前記区分の代表視差を前記区分ごとに選択する選択手段と、
前記各区分の代表視差に基づいて前記画像中に撮像された前記対象を検出する検出手段と、
を備え、
前記複数種類の代表視差は、前記距離画像からノイズを除去する際の閾値が異なる値に設定されて形成された複数種類の前記距離画像に基づいて算出されることを特徴とする環境認識装置。
【請求項１０】
一対のカメラで周囲の環境中の同じ対象を撮像して２枚一組の画像を出力する撮像手段と、
前記２枚一組の画像に対してステレオマッチング処理を行い、当該画像の各画素ブロックに算出した各視差を割り当てた距離画像を形成するステレオマッチング手段と、
前記距離画像を縦方向に延びる短冊状の複数の区分に分割して各区分ごとに複数種類の代表視差を算出し、対応する区分の前記複数種類の代表視差のうちいずれかの代表視差を選択して当該区分の代表視差とし、前記区分の代表視差を前記区分ごとに選択する選択手段と、
前記各区分の代表視差に基づいて前記画像中に撮像された前記対象を検出する検出手段と、
を備え、
前記複数種類の代表視差は、前記距離画像を分割する前記区分の画素幅が異なる画素幅に設定されることで算出される複数種類の代表視差であることを特徴とする環境認識装置。
【請求項１１】
一対のカメラで周囲の環境中の同じ対象を撮像して２枚一組の画像を出力する撮像手段と、
前記２枚一組の画像に対してステレオマッチング処理を行い、当該画像の各画素ブロックに算出した各視差を割り当てた距離画像を形成するステレオマッチング手段と、
前記距離画像を縦方向に延びる短冊状の複数の区分に分割して各区分ごとに複数種類の代表視差を算出し、対応する区分の前記複数種類の代表視差のうちいずれかの代表視差を選択して当該区分の代表視差とし、前記区分の代表視差を前記区分ごとに選択する選択手段と、
前記各区分の代表視差に基づいて前記画像中に撮像された前記対象を検出する検出手段と、
を備え、
前記選択手段は、前記各区分ごとにそれぞれヒストグラムを作成し、当該ヒストグラムにおける前記視差の最頻値を前記代表視差として算出し、前記各区分のヒストグラムとして、前記ヒストグラムの最大値、最小値または階級幅の少なくとも１つが変更された複数種類のヒストグラムを用いることで前記複数種類の代表視差を算出することを特徴とする環境認識装置。
【請求項１２】
前記選択手段は、所定の重み付けがなされた前記代表視差のいずれかを選択することを特徴とする請求項１から請求項１１のいずれか一項に記載の環境認識装置。
【請求項１３】
前記２枚一組の画像を得るための前記撮像方法、前記２枚一組の画像に対する前記画像処理方法、または前記距離画像に対する処理のしかたを切り替えることが可能とされていることを特徴とする請求項１から請求項１２のいずれか一項に記載の環境認識装置。
【請求項１４】
前記撮像方法、前記画像処理方法、または前記距離画像に対する処理のしかたの切り替えは、周囲の環境に応じて行われることを特徴とする請求項１３に記載の環境認識装置。
【請求項１５】
前記対象は、基準面より高い位置に存在する立体物であることを特徴とする請求項１から請求項１４のいずれか一項に記載の環境認識装置。
【請求項１６】
前記視差および前記代表視差に代えて、三角測量の原理に基づいて前記視差および前記代表視差にそれぞれ一意に対応付けられる距離および代表距離を用いて前記ステレオマッチング手段における処理および前記選択手段における処理が構成されていることを特徴とする請求項１から請求項１５のいずれか一項に記載の環境認識装置。
【図１】
【図２】
【図３】
【図４】
【図５】
【図６】
【図７】
【図８】
【図９】
【図１０】
【図１１】
【図１２】
【図１３】
【図１４】
【図１５】
【図１６】
【図１７】
【図１８】
【図１９】
【図２０】
【図２１】
【図２】
【図３】
【図４】
【図５】
【図６】
【図７】
【図８】
【図９】
【図１０】
【図１１】
【図１２】
【図１３】
【図１４】
【図１５】
【図１６】
【図１７】
【図１８】
【図１９】
【図２０】
【図２１】
【公開番号】特開２００９−１７６０９０（Ｐ２００９−１７６０９０Ａ）
【公開日】平成２１年８月６日（２００９．８．６）
【国際特許分類】
【出願番号】特願２００８−１４５８４（Ｐ２００８−１４５８４）
【出願日】平成２０年１月２５日（２００８．１．２５）
【出願人】（０００００５３４８）富士重工業株式会社 (3,010)
【Ｆターム（参考）】
【公開日】平成２１年８月６日（２００９．８．６）
【国際特許分類】
【出願日】平成２０年１月２５日（２００８．１．２５）
【出願人】（０００００５３４８）富士重工業株式会社 (3,010)
【Ｆターム（参考）】
[ Back to top ]