環境認識装置
【課題】信号機の矢印信号を的確に認識することが可能で、しかも、信号機が自車両から遠い位置にある段階から矢印信号を認識することが可能な環境認識装置を提供する。
【解決手段】環境認識装置1は、撮像手段2が撮像した画像Tに基づいて信号機Sの赤信号Lr等を検出する赤信号等検出手段12と、検出された赤信号Lr等の画像T中の位置に基づいて設定した探索領域Rs内に撮像されている矢印信号Aを抽出する矢印信号抽出手段13とを備え、矢印信号抽出手段13は、自車両MCから赤信号Lr等までの実空間上の距離Zに応じて矢印信号Aが指し示す方向を認識する手法を切り替え、自車両MCから遠い第一の所定区間Sec1内にある場合には画像T中における矢印信号Aと赤信号Lr等との相互の位置関係に基づいて矢印信号Aが指し示す方向を認識する。
【解決手段】環境認識装置1は、撮像手段2が撮像した画像Tに基づいて信号機Sの赤信号Lr等を検出する赤信号等検出手段12と、検出された赤信号Lr等の画像T中の位置に基づいて設定した探索領域Rs内に撮像されている矢印信号Aを抽出する矢印信号抽出手段13とを備え、矢印信号抽出手段13は、自車両MCから赤信号Lr等までの実空間上の距離Zに応じて矢印信号Aが指し示す方向を認識する手法を切り替え、自車両MCから遠い第一の所定区間Sec1内にある場合には画像T中における矢印信号Aと赤信号Lr等との相互の位置関係に基づいて矢印信号Aが指し示す方向を認識する。
【発明の詳細な説明】
【技術分野】
【0001】
本発明は、環境認識装置に係り、特に、道路上に設置された信号機を認識する環境認識装置に関する。
【背景技術】
【0002】
従来から、自車両に例えばCCDカメラやCMOSカメラ等を搭載し、カメラで撮像した撮像画像中から、信号機の点灯されている信号灯等を検出する装置が知られている。
【0003】
例えば、特許文献1に記載された装置では、カメラで撮像された撮像画像から赤色の発光部を抽出し、抽出した赤色発光部の撮像画像上での輝度や大きさ、撮像画像上での高さ、形状、楕円度等に基づいて信号機の赤色発光体の発光状態であるか否か、すなわち赤信号であるか否かを判定する。
【0004】
しかし、信号機の中には、図28(A)〜(C)に示すように、青、黄、赤の各信号灯Lb、Ly、Lrの他に、右折可や直進可、左折可を示す矢印信号Al、As、Arを備える信号機Sもある。このような信号機Sに対して上記のように赤信号Lrのみを抽出してしまうと、例えばその情報に基づいて自車両の自動走行制御等を行うような場合、信号機Sの直進可の矢印信号Asが点灯しているにも関わらず、自車両が停止線の手前で停止してしまう虞れがある。
【0005】
このように、直進可の矢印信号Asが点灯しているにも関わらず、自車両を停止線の手前で停止させてしまうと、直進可の矢印信号Asが点灯しているために制動操作を行わない後続車両に追突される等の危険が生じる。そこで、例えば特許文献2では、信号機Sの赤信号Lrや黄信号Lyを検出し、赤信号Lrや黄信号Lyに対する所定の位置に探索領域を設定し、この探索領域内でテンプレートとの比較(すなわちテンプレートマッチング)により矢印信号Al、As、Arを検出する信号機認識装置が開示されている。
【先行技術文献】
【特許文献】
【0006】
【特許文献1】特開2007−34693号公報
【特許文献2】特開2009−43068号公報
【発明の概要】
【発明が解決しようとする課題】
【0007】
ところで、信号機SをCCDカメラ等で撮像した場合、信号機Sが自車両に近い位置にあれば、例えば図29に示すように、撮像された画像T中に矢印信号(図29の場合は矢印信号As)が比較的明瞭に撮像されるため、テンプレートマッチングにより矢印信号を検出し易い。
【0008】
しかしながら、信号機Sが自車両からやや遠くなると、例えば図30に示すように、画像T中に撮像された矢印信号Asがぼやけてしまい、テンプレートマッチングによる矢印信号の検出は困難になる。そして、信号機Sが自車両からさらに遠くなると、例えば図31に示すように、画像T中に撮像された矢印信号Asがさらにぼやけてしまい、テンプレートマッチングによる矢印信号の検出はもはや不可能になる。
【0009】
なお、図29〜図31における画像Tにおける各画素の大きさは同じであり、図30や図31は拡大した写真が示されている。すなわち、図29に示した信号機Sのサイズから見た場合、図30の画像Tには信号機Sはより小さいサイズで撮像され、図31の画像Tには信号機Sはさらに小さいサイズで撮像される。
【0010】
上記のように、テンプレートマッチングにより矢印信号を検出する手法を採用すると、信号機Sが自車両から遠い位置にあるうちは、矢印信号を検出することができず、矢印信号がテンプレートマッチングにより認識可能となる画像T中でのサイズで撮像されるまで信号機Sが自車両に接近した距離にならないと、矢印信号を認識することができないといった問題があった。
【0011】
そのため、信号機Sがまだ自車両から遠い位置にある段階から、信号機Sの矢印信号を的確に認識して、その情報を自車両の自動走行制御等に用いたり、ドライバに対して適切に警告する等の制御を行うことが困難であった。
【0012】
本発明は、このような事情に鑑みてなされたものであり、信号機の矢印信号を的確に認識することが可能で、しかも、信号機が自車両から遠い位置にある段階から矢印信号を認識することが可能な環境認識装置を提供することを目的とする。
【課題を解決するための手段】
【0013】
前記の問題を解決するために、第1の発明は、環境認識装置において、
画素ごとに画像データを有する画像を撮像する撮像手段と、
前記画像の各画素について実空間上の距離を検出する距離検出手段と、
前記画像において互いに隣接する画素の各画像データに基づいて当該隣接する画素を1つのグループに統合する統合処理手段と、
前記グループに属する前記各画素および前記グループの周囲に存在する前記各画素に対応する前記実空間上の各距離に基づいて、前記グループの実空間上の距離を算出する距離算出手段と、
前記グループの実空間上の距離および前記グループの前記画像中での座標に基づいて算出した当該グループの実空間上の大きさおよび道路面からの実空間上の高さに基づいて、信号機の赤または黄の信号灯を検出する赤信号等検出手段と、
検出された前記赤または黄の信号灯の前記画像中の位置に基づいて矢印信号が撮像されている可能性がある画像領域を探索領域として設定し、前記探索領域内に撮像されている前記矢印信号を抽出する矢印信号抽出手段と、
を備え、
前記矢印信号抽出手段は、
自車両から前記赤または黄の信号灯までの前記実空間上の距離に応じて前記矢印信号が指し示す方向を認識する手法を変えるように構成されており、
少なくとも前記赤または黄の信号灯までの前記実空間上の距離が前記自車両から遠い第一の所定区間内にある場合には、前記画像中における前記矢印信号と前記赤または黄の信号灯との相互の位置関係に基づいて、前記矢印信号が指し示す方向を認識することを特徴とする。
【0014】
第2の発明は、第1の発明の環境認識装置において、前記矢印信号抽出手段は、少なくとも前記赤または黄の信号灯までの前記実空間上の距離が前記第一の所定区間より自車両に近い第二の所定区間内にある場合には、前記矢印信号が指し示す方向を認識する手法として、前記画像中における前記矢印信号の左右または上下の対称性に基づいて、前記矢印信号が指し示す方向を認識することを特徴とする。
【0015】
第3の発明は、第2の発明の環境認識装置において、前記矢印信号抽出手段は、前記画像中に、前記矢印信号に対応する画素領域に外接する画像領域を設定し、当該画像領域の中心を通る上下方向または左右方向に延在する直線で当該画像領域を分割し、分割された各画像領域にそれぞれ含まれる前記矢印信号に対応する画素領域に属する画素数を比較することで、前記左右または上下の対称性を判定することを特徴とする。
【0016】
第4の発明は、第2または第3の発明の環境認識装置において、前記矢印信号抽出手段は、少なくとも前記赤または黄の信号灯までの前記実空間上の距離が前記第二の所定区間より自車両に近い第三の所定区間内にある場合には、前記矢印信号が指し示す方向を認識する手法として、前記矢印信号を形成するアローヘッド部とアローシャフト部に対応する前記画像中の各画素領域の相互の位置関係に基づいて、前記矢印信号が指し示す方向を認識することを特徴とする。
【0017】
第5の発明は、第4の発明の環境認識装置において、前記矢印信号抽出手段は、前記矢印信号を形成するアローヘッド部とアローシャフト部に対応する前記画像中の前記各画素領域を、前記各画素領域にそれぞれ属する各画素数を比較することで識別することを特徴とする。
【0018】
第6の発明は、第4または第5の発明の環境認識装置において、前記矢印信号抽出手段は、前記アローヘッド部と前記アローシャフト部とにそれぞれ対応する前記各画素領域の各中心点をそれぞれ算出し、前記各中心点を結ぶベクトルの方向性に基づいて、前記矢印信号が指し示す方向を認識することを特徴とする。
【0019】
第7の発明は、第1から第6のいずれかの発明の環境認識装置において、
さらに、前記画像から道路面を検出する路面検出手段を備え、
前記赤信号等検出手段は、前記グループの実空間上の距離および前記グループの前記画像中での座標に基づいて算出した当該グループの実空間上の大きさと、前記路面検出手段が検出した前記道路面の実空間上の高さに基づいて、信号機の赤または黄の信号灯を検出することを特徴とする。
【0020】
第8の発明は、環境認識装置において、
画素ごとに画像データを有する画像を撮像する撮像手段と、
前記画像の各画素について実空間上の距離を検出する距離検出手段と、
前記画像において互いに隣接する画素の各画像データに基づいて当該隣接する画素を1つのグループに統合する統合処理手段と、
前記グループに属する前記各画素および前記グループの周囲に存在する前記各画素に対応する前記実空間上の各距離に基づいて、前記グループの実空間上の距離を算出する距離算出手段と、
前記グループの実空間上の距離および前記グループの前記画像中での座標に基づいて算出した当該グループの実空間上の大きさおよび道路面からの実空間上の高さに基づいて、信号機の赤または黄の信号灯を検出する赤信号等検出手段と、
検出された前記赤または黄の信号灯の前記画像中の位置に基づいて矢印信号が撮像されている可能性がある画像領域を探索領域として設定し、前記探索領域内に撮像されている前記矢印信号を抽出する矢印信号抽出手段と、
を備え、
前記矢印信号抽出手段は、前記矢印信号が指し示す方向を認識する手法として互いに異なる手法で前記矢印信号が指し示す方向を認識する認識手段を複数備え、自車両から前記赤または黄の信号灯までの前記実空間上の距離に応じて前記複数の認識手段のうちのいずれかの前記認識手段が認識した前記方向を選択して出力することを特徴とする。
【発明の効果】
【0021】
第1の発明によれば、少なくとも信号機Sの赤信号や黄信号までの実空間上の距離が自車両から遠い第一の所定区間内にある場合には、画像中における矢印信号と赤信号等との相互の位置関係に基づいて矢印信号が指し示す方向を認識するため、従来のテンプレートマッチングにより矢印信号が指し示す方向を検出する手法ではその方向を検出することができなかった自車両から非常に遠い位置にある信号機(例えば図31参照)についても、矢印信号が指し示す方向を的確に認識して検出することが可能となる。
【0022】
そのため、信号機がまだ自車両から遠い位置にある段階から、信号機の矢印信号を的確に認識して、その情報を自車両の自動走行制御等に用いたり、ドライバに対して適切に警告する等の制御を行うことが可能となる。
【0023】
第2の発明によれば、自車両から赤信号等までの実空間上の距離が第一の所定区間より自車両に近い第二の所定区間にある場合(例えば図30参照)も、やはり従来のテンプレートマッチングによる手法では矢印信号が指し示す方向を検出することが困難であったが、画像中における矢印信号の左右の対称性や上下の対称性に基づいて矢印信号の方向を的確に認識することが可能となる。
【0024】
そのため、前記発明の効果に加え、自車両から比較的遠い位置にある信号機についても、矢印信号が指し示す方向を的確に認識して検出することが可能となる。そのため、信号機がまだ自車両から比較的遠い位置にある段階から、信号機の矢印信号を的確に認識して、その情報を自車両の自動走行制御等に用いたり、ドライバに対して適切に警告する等の制御を行うことが可能となる。
【0025】
第3の発明によれば、画像中に設定した矢印信号に対応する画素領域に外接する画像領域を、その中心を通る上下方向や左右方向に延在する直線で各画像領域を分割し、分割された各画像領域にそれぞれ含まれる矢印信号に対応する画素領域に属する画素数を比較して左右の対称性や上下の対称性を判定することで、上記の矢印信号の左右の対称性や上下の対称性を的確に判定することが可能となる。
【0026】
そして、的確に判定された左右の対称性や上下の対称性に基づいて、矢印信号が指し示す方向を的確に認識することが可能となり、前記第2の発明の効果がより的確に発揮させることが可能となる。
【0027】
第4の発明によれば、前記各発明の効果に加え、信号機の赤信号等までの実空間上の距離が第二の所定区間より自車両に近い第三の所定区間内にある場合に、矢印信号を形成するアローヘッド部とアローシャフト部に対応する画像中の各画素領域の相互の位置関係に基づいて矢印信号が指し示す方向を認識するため、自車両に近い位置にある信号機(例えば図29参照)について、矢印信号が指し示す方向を的確に認識して検出することが可能となる。
【0028】
そのため、前記各発明の効果に加え、信号機の赤信号等までの実空間上の距離が自車両に近い第三の所定区間内にある場合にも、的確に認識された矢印信号が指し示す方向の情報を自車両の自動走行制御等に用いたり、ドライバに対して適切に警告する等の制御を行うことが可能となる。
【0029】
また、それとともに、従来のテンプレートマッチングを用いる手法では処理が重くなり、処理に時間がかかってリアルタイム性が損なわれる可能性があり、また、変則的な矢印信号に対応するテンプレートが用意されていない場合には矢印信号の方向を認識することができなくなるといった問題が生じ得るが、上記のように構成することで、処理はさほど重くならず、リアルタイム性が確保されるとともに、変則的な矢印信号が標示される場合であっても矢印信号の方向を的確に認識することが可能となる。
【0030】
第5の発明によれば、矢印信号を形成するアローヘッド部とアローシャフト部に対応する画像中の各画素領域を、各画素領域にそれぞれ属する各画素数を比較して識別することで、各画素領域を、アローヘッド部とアローシャフト部とに的確に対応付けることが可能となり、前記第4の発明の効果をより的確に発揮させることが可能となる。
【0031】
第6の発明によれば、アローヘッド部とアローシャフト部とにそれぞれ対応する各画素領域の各中心点を結ぶベクトルの方向性に基づいて矢印信号が指し示す方向を認識することで、変則的な矢印信号も含めて矢印信号が指し示す方向をベクトルの方向性として認識することが可能となり、矢印信号の方向をより的確に認識することが可能となる。そのため、前記各発明の効果をより的確に発揮させることが可能となる。
【0032】
第7の発明によれば、路面検出手段が検出した路面自体の実空間上での高さと、画像中に抽出された赤信号等に対応するグループの実空間上の高さとに基づいて、赤信号等の実際の路面からの高さを算出することが可能となり、それに基づいて信号機の赤信号等を検出することが可能となる。
【0033】
そのため、前記各発明の効果に加え、画像中に抽出された赤信号等に対応する可能性があるグループを、赤信号等に対応するグループであると的確に認識した上で、それ以降の各処理を行うことが可能となり、赤信号等の検出精度や、矢印信号の検出精度、矢印信号が指し示す方向の認識精度等を確実に向上させることが可能となる。
【0034】
第8の発明によれば、矢印信号抽出手段に、矢印信号が指し示す方向を認識する手法として互いに異なる手法を採用する認識手段を複数設け、自車両から赤信号等までの実空間上の距離に応じて上記の複数の認識手段のうちのどの認識手段が認識した矢印信号が指し示す方向を選択して出力するように構成しても、前記各発明の効果と同等の有益な効果を発揮させることが可能となる。
【図面の簡単な説明】
【0035】
【図1】本実施形態に係る環境認識装置の構成を示すブロック図である。
【図2】撮像手段で撮像される基準画像の例を示す図である。
【図3】距離検出手段のイメージプロセッサによるステレオマッチング処理を説明する図である。
【図4】作成された距離画像の例を示す図である。
【図5】基準画像の水平ライン上を探索して検出された車線候補点の例を説明する図である。
【図6】自車両の左右に検出された車線の例を説明する図である。
【図7】形成された車線モデルの例を説明する図であり、(A)はZ−X平面上の水平形状モデル、(B)はZ−Y平面上の道路高モデルを表す。
【図8】基準画像上に撮像された赤信号の例を示す図である。
【図9】検出した画素の上下方向に探索して検出された第2の条件を満たす画素およびグループを示す図である。
【図10】図9の画素列の右隣の画素列におけるグループの検出の手法を説明する図である。
【図11】グループの縦方向の長さの変化を説明する図であり、(A)は最大値になった場合、(B)は最大値より短い場合、(C)は(B)よりさらに短い場合を表す。
【図12】グループの縦方向の長さが最小値より増加した場合を説明する図である。
【図13】グループの範囲の上下に近接し実空間上の距離が検出されている各画素を表す図である。
【図14】グループの左右端の各画素および上下端の各画素を説明する図である。
【図15】矢印信号抽出手段における矢印信号の抽出処理および矢印信号が指し示す方向の認識処理の処理手順を示すフローチャートである。
【図16】縦型の信号機およびその側方に設けられた矢印信号を表す図である。
【図17】基準画像の赤信号に対応するグループの下方および左右の側方に設定された探索領域を表す図である。
【図18】自車両から赤信号までの実空間上の距離を区分する第一の所定区間Sec1、第二の所定区間Sec2、第三の所定区間Sec3を説明する図である。
【図19】矢印信号抽出手段での認識手法1における矢印信号が指し示す方向の認識処理の処理手順を示すフローチャートである。
【図20】抽出した矢印信号に対応する画素領域と赤信号に対応するグループとの位置関係を説明する図である。
【図21】信号機が縦型の信号機である場合の抽出した矢印信号に対応する画素領域と赤信号に対応するグループとの位置関係を説明する図である。
【図22】矢印信号抽出手段での認識手法2における矢印信号が指し示す方向の認識処理の処理手順を示すフローチャートである。
【図23】矢印信号に対応する画素領域に外接する画像領域やその中心を通る直線等を説明する図である。
【図24】矢印信号が右折可を示す矢印信号である場合の矢印信号に対応する画素領域に外接する画像領域やその中心を通る直線等を説明する図である。
【図25】矢印信号抽出手段での認識手法3における矢印信号が指し示す方向の認識処理の処理手順を示すフローチャートである。
【図26】矢印信号のアローヘッド部やアローシャフト部に対応する各画素領域や各中心点、中心点同士を結ぶベクトル等を説明する図である。
【図27】矢印信号が変則的である場合のアローヘッド部やアローシャフト部、各中心点、中心点同士を結ぶベクトル等を説明する図である。
【図28】(A)〜(C)は赤信号等の他に矢印信号が設けられた一般的な信号機の例を示す図である。
【図29】自車両から信号機までの距離が近い場合に撮像される赤信号や矢印信号の画像の例を示す写真である。
【図30】自車両から信号機までの距離がやや遠い場合に撮像される赤信号や矢印信号の画像の例を示す写真である。
【図31】自車両から信号機までの距離がさらに遠い場合に撮像される赤信号や矢印信号の画像の例を示す写真である。
【発明を実施するための形態】
【0036】
以下、本発明に係る環境認識装置の実施の形態について、図面を参照して説明する。
【0037】
本実施形態に係る環境認識装置1は、図1に示すように、撮像手段2や距離検出手段6、統合処理手段10等を有する処理部9等を備えて構成されている。
【0038】
なお、距離検出手段6等を含む処理部9の上流側の構成については、本願出願人により先に提出された特開2006−72495号公報等に詳述されており、構成の詳細な説明はそれらの公報に委ねる。以下、簡単に説明する。
【0039】
本実施形態では、撮像手段2は、互いに同期が取られたCCDやCMOSセンサ等のイメージセンサがそれぞれ内蔵され、例えば車両のルームミラー近傍に車幅方向に所定の間隔をあけて取り付けられた一対のメインカメラ2aおよびサブカメラ2bからなるステレオカメラであり、所定のサンプリング周期で撮像して、一対の画像を出力するように構成されている。
【0040】
一対のカメラのうち、メインカメラ2aは運転者に近い側のカメラであり、例えば図2に示すような画像Tを撮像するようになっている。サブカメラ2bで撮像された画像と区別するために、以下、メインカメラ2aで撮像された画像Tを基準画像T、サブカメラ2bで撮像された画像(図示省略)を比較画像Tcという。
【0041】
なお、本実施形態では、撮像手段2のメインカメラ2aおよびサブカメラ2bでは、それぞれRGB値等で表されるカラーの画像データDが取得されるようになっているが、モノクロの画像データを撮像する撮像手段を用いることも可能であり、その場合についても本発明が適用される。
【0042】
また、以下、カラーの画像データDが、RGB値、すなわちRGB表色系におけるR(赤)、G(緑)、B(青)の色成分の各輝度(R,G,B)として出力される場合について説明するが、RGB値を例えばL*a*b*表色系やHLS(HSL、HSIともいう。)等で記述される各データ値に変換して処理を行うように構成することも可能である。さらに、上記のようにモノクロの画像データが取得される場合には、画像データは各画素の輝度で表される。
【0043】
変換手段3は、一対のA/Dコンバータ3a、3bで構成されており、撮像手段2のメインカメラ2aおよびサブカメラ2bで各画素ごとに撮像された基準画像Tと比較画像Tcの各画像データDがそれぞれ順次送信されてくると、各画像データDのRGB値をそれぞれ例えば0〜255の輝度のデジタル値に変換して画像補正部4に出力するようになっている。
【0044】
画像補正部4は、送信されてきた基準画像Tと比較画像Tcの各画像データDに対してずれやノイズの除去、輝度の補正等の画像補正をそれぞれ順次行い、画像補正した基準画像Tと比較画像Tcの各画像データDを画像データメモリ5に順次格納するとともに、処理部9に順次送信するようになっている。また、画像補正部4は、画像補正した基準画像Tと比較画像Tcの各画像データDを距離検出手段6にも順次送信するようになっている。
【0045】
距離検出手段6のイメージプロセッサ7では、基準画像Tと比較画像Tcの各画像データに対して順次ステレオマッチング処理やフィルタリング処理を施して、実空間上の距離に対応する視差dpを基準画像Tの各画素ごとに順次算出するようになっている。
【0046】
イメージプロセッサ7におけるステレオマッチング処理では、基準画像Tと比較画像Tcの各画像データDが送信されてくると、図3に示すように、基準画像T上に例えば3×3画素や4×4画素等の所定の画素数の基準画素ブロックPBを設定し、基準画素ブロックPBに対応する比較画像Tc中のエピポーララインEPL上の基準画素ブロックPBと同形の各比較画素ブロックPBcについて、下記(1)式に従って当該基準画素ブロックPBとの輝度パターンの差異であるSAD値を算出し、SAD値が最小の比較画素ブロックPBcを特定するようになっている。
SAD=Σ|D1s,t−D2s,t|
=Σ{|R1s,t−R2s,t|+|G1s,t−G2s,t|
+|B1s,t−B2s,t|} …(1)
【0047】
なお、上記(1)式において、D1s,t等は基準画素ブロックPB中の各画素の画像データD等を表し、D2s,t等は比較画素ブロックPBc中の各画素の画像データD等を表す。また、上記の総和は、基準画素ブロックPBや比較画素ブロックPBcが例えば3×3画素の領域として設定される場合には1≦s≦3、1≦t≦3の範囲、4×4画素の領域として設定される場合には1≦s≦4、1≦t≦4の範囲の全画素について計算される。
【0048】
イメージプロセッサ7は、このようにして基準画像Tの各基準画素ブロックPBについて、特定した比較画素ブロックPBcの比較画像Tc上の位置と当該基準画素ブロックPBの基準画像T上の位置から視差dpを順次算出するようになっている。以下、基準画像Tの各画素に視差dpを割り当てた画像を距離画像Tzという。また、このようにして各画素ごとに算出された視差dpの情報すなわち距離画像Tzは、距離検出手段6の距離データメモリ8に順次格納されるとともに、処理部9に順次送信されるようになっている。
【0049】
なお、実空間上で、前記一対のカメラ2a、2bの中央真下の道路面上の点を原点とし、自車両の車幅方向(すなわち左右方向)をX軸方向、車高方向(すなわち上下方向)をY軸方向、車長方向(すなわち距離方向)をZ軸方向とした場合、実空間上の点(X,Y,Z)と、距離画像Tz上の画素の座標(i,j)および視差dpすなわち(i,j,dp)とは、下記(2)〜(4)式で表される三角測量の原理に基づく座標変換により1対1に対応付けることができる。
X=CD/2+Z×PW×(i−IV) …(2)
Y=CH+Z×PW×(j−JV) …(3)
Z=CD/(PW×(dp−DP)) …(4)
【0050】
上記各式において、CDは一対のカメラの間隔、PWは1画素当たりの視野角、CHは一対のカメラの取り付け高さ、IVおよびJVは自車両正面の無限遠点の距離画像Tz上のi座標およびj座標、DPは消失点視差を表す。
【0051】
また、イメージプロセッサ7は、視差dpの信頼性を向上させる目的から、上記のようなステレオマッチング処理で得られた視差dpに対してフィルタリング処理を施し、有効とされた視差dpのみを出力するようになっている。
【0052】
例えば、道路面の映像のみからなる特徴に乏しい4×4画素の基準画素ブロックPBに対して、比較画像Tc上でステレオマッチング処理を行っても、比較画像Tcの道路面が撮像されている部分ではすべて相関が高くなるため、対応する比較画素ブロックPBcが特定されて視差dpが算出されてもその視差dpの信頼性は低い。
【0053】
そのため、そのような視差dpはフィルタリング処理を施して無効とし、視差dpの値として0を出力するようになっている。そして、0が割り当てられた視差dpは、上記(4)式等に従った実空間上の座標(Z,Y,Z)への変換は行われない。すなわち、視差dpは、少なくとも実空間上の距離Zが不明であることを意味する。
【0054】
そして、基準画像Tの各画素に、有効に算出された視差dpを割り当てて(すなわち対応付けて)距離画像Tzを作成すると、距離画像Tzは、例えば図4に示すように、基準画像T上で有意な特徴を有する部分である撮像対象の辺縁部分(エッジ部分)等に有効な視差dpが算出された画像となる。なお、距離画像Tzの作成においては、上記(4)式等に従って予め視差dpを距離Z等に換算し、距離Z等を基準画像Tの各画素に割り当てて作成するように構成することも可能である。
【0055】
本実施形態では、処理部9の統合処理手段10や距離算出手段11、マッチング処理手段12等における各処理では、必要に応じて、上記(2)〜(4)式に従って距離画像Tzの各画素のi座標やj座標、視差dpが、実空間上のX座標(すなわち左右方向の位置)やY座標(すなわち上下方向の位置)、距離Zに変換されて用いられる。
【0056】
なお、本実施形態では、上記のように、撮像手段2としてメインカメラ2aとサブカメラ2bとを備え、距離検出手段6は、それらで撮像された基準画像Tおよび比較画像Tcに対するステレオマッチング処理により基準画像Tの各画素について実空間上の距離Z(すなわち視差dp)を算出するように構成されているが、これに限定されず、撮像手段2は例えば単眼のカメラのように1枚の画像Tのみを出力するものであってもよい。
【0057】
また、距離検出手段6は、実空間上の距離Zを算出又は測定して画像Tの各画素に割り当てる機能を有していればよく、例えば自車両前方にレーザ光等を照射してその反射光の情報に基づいて画像Tに撮像された撮像対象までの距離Zを測定するレーダ装置等で構成することも可能であり、検出の手法は特定の手法に限定されない。
【0058】
処理部9は、本実施形態では、図示しないCPU(Central Processing Unit)やROM(Read Only Memory)、RAM(Random Access Memory)、入出力インターフェース等がバスに接続されたコンピュータや、専用回路で構成されている。処理部9は、統合処理手段10や距離算出手段11、赤信号等検出手段12、矢印信号抽出手段13を備えて構成されている。また、本実施形態では、処理部9には、さらに車線検出手段14と路面検出手段15も設けられている。
【0059】
また、処理部9に、車速センサやヨーレートセンサ、ステアリングホイールの舵角を測定する舵角センサ等のセンサ類Qが接続されており、それらから各測定値が入力されるようになっている。なお、処理部9において先行車両検出等の他の処理を行うように構成することも可能である。
【0060】
ここで、本実施形態の処理部9の統合処理手段10等における処理について説明する前に、車線検出手段14や路面検出手段15における処理について説明する。
【0061】
なお、以下の説明において、車線とは、追越し禁止線や路側帯と車道とを区画する区画線等の道路面上に標示された連続線や破線をいう。また、本実施形態では、以下に説明するように、車線検出手段14で道路面に標示された車線を検出し、路面検出手段15でその検出結果に基づいて道路面を検出するように構成されているが、路面検出手段15は道路面を検出することができるものであれば以下に説明する形態に限定されない。
【0062】
車線検出手段14は、撮像手段2により撮像された基準画像T中から自車両側方の車線を検出するようになっている。具体的には、車線検出手段14は、図5に示すように、基準画像Tを用いて、その1画素幅の水平ラインj上を例えば基準画像Tの中央から左右方向に探索し、輝度が隣接する画素の輝度から設定された閾値以上に大きく変化する画素を車線候補点cl、crとして検出する。
【0063】
なお、この場合、画素の輝度として、例えば上記のように撮像手段2で撮像される画像がモノクロ画像である場合には、撮像された画像の各画素の画像データである画素ごとの輝度が用いられ、また、本実施形態のように撮像手段2で撮像される画像がカラー画像である場合には、例えば各画素ごとの輝度(R,G,B)の各色成分R、G、Bの和が画素ごとの輝度として用いられる。或いは、各色成分の値を参照して画素ごとの輝度を決めるように構成することも可能である。
【0064】
そして、車線検出手段14は、基準画像T上の水平ラインjを1画素分ずつ上方にシフトさせながら、同様にして各水平ラインj上に車線候補点cl、crを検出していく。その際、車線検出手段14は、検出した車線候補点の視差dp等に基づいて当該車線候補点cl、crが道路面上にないと判断した場合には当該車線候補点cl、crを車線候補点から除外する。
【0065】
なお、この場合、今回のサンプリング周期での道路面は、後述するように、車線検出手段14が検出した車線LL、LR(後述する図6参照)に基づいて検出されるため、車線検出手段14での車線検出処理の際には、今回のサンプリング周期での道路面はまだ検出されていない。そこで、今回のサンプリング周期では、例えば、前回のサンプリング周期で路面検出手段15が検出した道路面の位置の情報と、前回のサンプリング周期から今回のサンプリング周期までの自車両の挙動等に基づいて道路面の位置が推定される。
【0066】
そして、車線検出手段14は、残った車線候補点cl、crのうち、距離方向において自車両に近い側の車線候補点cl、crに基づいて、自車両の左右に、各車線を、ハフ変換等により直線で近似してそれぞれ検出する。そして、それより遠い側では、その直線に基づいて直線との位置関係等から車線候補点cl、crを選別して結んでいくことで、図6に示すように、自車両の左右にそれぞれ車線LL、LRを検出するようになっている。
【0067】
なお、以上の車線検出手段14の処理構成については、本願出願人が先に提出した特開2006−331389号公報等に詳述されており、詳しくは同公報等を参照されたい。また、車線検出手段14は、このようにして検出した車線位置LL、LRや車線候補点cl、cr等の情報を図示しないメモリに保存するようになっている。
【0068】
路面検出手段15は、車線検出手段14が検出した車線位置LL、LRや車線候補点cl、crの情報に基づいて車線モデルを三次元的に形成するようになっている。
【0069】
本実施形態では、路面検出手段15は、図7(A)、(B)に示すように、自車両の左右の各車線を所定区間ごとに三次元の直線式で近似し、それらを折れ線状に連結して表現した車線モデルを形成するようになっている。なお、図7(A)は、Z−X平面上の車線モデルすなわち水平形状モデル、図7(B)は、Z−Y平面上の車線モデルすなわち道路高モデルを表す。
【0070】
具体的には、路面検出手段15は、自車両の前方の実空間を自車両の位置(すなわち図7(A)、(B)におけるZ=0の位置)からの例えば距離Z7までの各区間に分け、検出した車線候補点cl、crの実空間上の位置(X,Y,Z)に基づいてそれぞれの区間内の車線候補点cl、crを最小二乗法で直線近似し、各区間ごとに下記の(5)〜(8)式のパラメータaL、bL、aR、bR、cL、dL、cR、dRを算出して車線モデルを形成するようになっている。
【0071】
[水平形状モデル]
左車線 X=aL・Z+bL …(5)
右車線 X=aR・Z+bR …(6)
[道路高モデル]
左車線 Y=cL・Z+dL …(7)
右車線 Y=cR・Z+dR …(8)
【0072】
路面検出手段15は、このようにして車線モデルを形成して、実空間上における道路面を検出するようになっている。また、路面検出手段15は、このようにして形成した車線モデルすなわち算出した各区間のパラメータaL〜dRをそれぞれメモリに保存するようになっている。
【0073】
次に、処理部9(図1参照)の統合処理手段10や距離算出手段11、赤信号等検出手段12、矢印信号抽出手段13における各処理について説明するとともに、本実施形態に係る環境認識装置1の作用についてもあわせて説明する。
【0074】
なお、以下では、信号機Sの赤信号Lr(すなわち赤の信号灯Lr。図28(A)〜(C)参照)を検出する場合について説明するが、各処理における色成分の輝度に関する条件等を変更すれば、黄信号Ly(すなわち黄の信号灯Ly)を検出するように構成することができる。そこで、赤信号Lrと黄信号Lyの検出処理を同時並行で行うように構成することも可能である。
【0075】
また、本実施形態では、処理を行う対象として、撮像手段2のメインカメラ2aで撮像された基準画像Tを用いるように構成されているが、撮像手段2のサブカメラ2bで撮像された比較画像Tcを用いるように構成することも可能であり、また、それらの両方を用いるように構成することも可能である。
【0076】
なお、本実施形態における統合処理手段10や距離算出手段11、赤信号等検出手段12での各処理構成については、本願出願人が先に提出した特開2010−224925号公報に詳述されており、詳しくは同公報等を参照されたい。以下、統合処理手段10や距離算出手段11、赤信号等検出手段12での各処理について、その要点を説明する。
【0077】
統合処理手段10は、基準画像T中において互いに隣接する画素pについて、当該隣接する画素pの各画像データDに基づいて当該隣接する画素pを1つのグループに統合するか否かを判定し、統合すべきと判定した場合に1つのグループgに統合するようになっている。
【0078】
本実施形態では、統合処理手段10は、基準画像T中の各画素pを探索し、画像データDについての予め設定された第1の条件を満たす画像データDを有する画素p(以下、注目画素p(i,j)という。)を検出すると、注目画素p(i,j)の周囲に隣接する各画素pを探索する。
【0079】
そして、第1の条件よりも広い範囲に設定された第2の条件を満たす画像データDを有する画素pを検出すると、注目画素p(i,j)と統合して1つのグループgとする。そして、さらに当該グループgの周囲に隣接する各画素pを探索し、第2の条件を満たす画像データDを有する画素pを検出すると当該グループgに統合するようになっている。
【0080】
具体的には、統合処理手段10は、撮像手段2のメインカメラ2aから基準画像Tの各画素pの画像データDが送信されてくると、基準画像T中の各画素pを探索し、画像データDについての予め設定された下記の第1の条件を満たす画像データDを有する画素pが探索する。
【0081】
[第1の条件]
第1の条件としては、例えば、画素pの画像データDの赤、緑、青の各色成分の輝度R、G、Bがそれぞれ例えば0〜255の輝度で表現される場合、
R≧200、かつ、G、B<200 …(9)
を満たす画素pがあれば、その画素pを注目画素p(i,j)として検出するように設定されている。
【0082】
信号機Sの赤信号Lrが撮像手段2で撮像されると、基準画像T上では、図8に示すように、赤信号Lrの中心部分Lcが赤みがかった白色に撮像され、その部分の画素pの画像データDのR、G、Bの各色成分の輝度が全て200を越えるほど大きな値として検出される。これは、赤信号Lrに限った現象ではなく、例えば、信号機の青信号Lbのような緑色の光を放つ信号灯でも、やはり基準画像T上では光源の中心部分が緑色っぽい白色に撮像される。
【0083】
そのような場合に、第1の条件として赤信号Lrの中心部分Lcを検出することを目的として、第1の条件を、例えば後述する第2の条件の[条件2b]のように、
R、G、B>200、かつ、R≧G、R≧B …(10)
と設定すると、基準画像T中に撮像された空など白っぽく明るく撮影された対象が全て検出されてしまうため、信号機Sの赤信号Lrのような赤い光を放つ光源を効率良く検出できない。
【0084】
そのため、本実施形態では、赤信号Lrの中心部分Lcのように白く撮像された画素pではなく、その周囲の、赤く、かつ、明るく撮像された画素領域Llの画素pを最初に検出するように構成されている。
【0085】
統合処理手段10は、基準画像T上に上記の第1の条件を満たす画像データDを有する注目画素p(i,j)を検出すると、続いて、図9に示すように、検出した注目画素p(i,j)を含む基準画像T中で上下方向に延在する1画素幅の画素列pls上を上下方向に1画素シフトさせながら、各画素pの画像データDが、上記の第1の条件よりも広い範囲に設定された下記の第2の条件を満たすか否かを判定する。
【0086】
[第2の条件]
[条件2a]R≧165、かつ、G、B<150 …(11)
[条件2b]R、G、B>200、かつ、R≧G、R≧B …(12)
[条件2c]R≧200、かつ、G、B<200 …(13)
【0087】
ここで、第2の条件の[条件2a]は、赤信号Lrに特有の赤色を有するが、その明るさが上記の第1の条件で規定されるような明るく撮像された画素領域Llの画素pではなく、画素領域Llの周囲に撮像された、より暗い画素領域Ld(図8参照)の画素pを検出するための条件である。
【0088】
また、第2の条件の[条件2b]は、前述したように、赤信号Lrに特定の赤色を有し、かつ、その明るさが第1の条件で規定される明るさよりもさらに明るく、白っぽく撮像された赤信号Lrの中心部分の画素領域Lcを検出するための条件である。
【0089】
さらに、第2の条件の[条件2c]は上記の第1の条件と同じ条件であり、注目画素p(i,j)と同じく画素領域Llにある画素pを検出するための条件である。
【0090】
統合処理手段10は、例えば、注目画素p(i,j)の上側に隣接する各画素p(i,j+1)の画像データDが上記の第2の条件を満たすと判定すると、画素p(i,j+1)を注目画素p(i,j)と統合して1つのグループgとするようにして、画素列pls上を上下方向に1画素シフトさせながら各画素pの画像データDが上記の第2の条件を満たすか否かを判定して、第2の条件のいずれの条件も満たさない画素pが出現するまで、第2の条件を満たす画素pをグループgに統合していく。
【0091】
そして、統合処理手段10は、図10に示すように、画素列pls上で統合したグループgの上端の画素pの座標(i,jmax)と下端の画素pの座標(i,jmin)をそれぞれメモリに保存し、続いて、探索するを画素列plを画素列plsから基準画像T上の右方向および左方向にシフトさせながら、同様にして画素pの探索およびグループgへの統合処理を行う。
【0092】
なお、前述したように、距離検出手段6で基準画像Tの各画素pに算出された視差dpが割り当てられて距離画像Tzが作成されている。そこで、その視差dpを利用して、上記の画素pのグループgへの統合処理において、例えば、画素pが上記の第2の条件を満たしていても、当該画素pに対応する視差dpと隣接する画素pに対応する視差dpとの差異が閾値を越えて大きい場合には、当該画素pをグループgに統合しないように構成することも可能である。
【0093】
一方、本実施形態では、統合処理手段10は、ある画素pをグループgに統合するか否かの判定において、仮に画素pをグループgに統合した場合に、基準画像T上でのグループgの全体の形状が赤信号Lrの形状である円形状でなくなる場合には、当該画素pをグループgに統合せず、また、その時点で統合処理を終了するようになっている。
【0094】
具体的には、統合処理手段10で、各画素列pls、plにおけるグループgの上端の画素pから下端の画素pまでの画素数rを監視するように構成し、例えば図11(A)に示すように各画素列pls、plにおけるグループgの上下方向の画素数rが一旦最大値rmaxとなり、図11(B)に示すように画素列plにおけるグループgの上下方向の画素数rが最大値rmaxを下回り、図11(C)に示すように画素列plにおけるグループgの上下方向の画素数rの減少傾向が続いて、画素列plにグループgが発見できなくなれば、すなわち第2の条件も満たす画素pが見出されなくなれば、その時点で右方向や左方向の画素列での探索を停止する。
【0095】
また、図12に示すように画素列plにおけるグループgの上下方向の画素数rが減少して一旦最小値rminとなった後、再び最小値rminより大きな値になった場合には、基準画像T上でのグループgの全体の形状が円形状でなくなるため、画素列plで右方向や左方向の画素列での探索をそこで停止し、その直前の最小値rminを与えた画素列までをグループgが検出された範囲とするようになっている。
【0096】
統合処理手段10は、上記のようにして各画素pをグループgに統合する統合処理を終了すると、基準画像T上で探索していない画素pがなくなるまで上記の統合処理を繰り返して、基準画像T上に各グループgを統合して形成するようになっている。
【0097】
距離算出手段11は、統合処理手段10により統合された各グループgについて、実空間上の距離Zgを算出するようになっている。
【0098】
距離算出手段11は、統合処理手段10により統合された各グループgについて、当該グループgに属する各画素pに割り当てられた各視差dpに基づいて、上記(4)式に従って算出した実空間上の各距離Zの平均値や中央値等を、当該グループgの実空間上の距離Zgとして算出するように構成することが可能である。
【0099】
しかし、前述した距離検出手段6(図1参照)におけるフィルタリング処理で、当該グループgに属する各画素pに0の視差dpが割り当てられている可能性があり、このような場合には、上記の手法ではグループgの実空間上の距離Zgを算出することができない。
【0100】
そこで、本実施形態では、距離算出手段11は、グループgに属する各画素pに対応する実空間上の各距離Zだけでなく、図13に示すように、基準画像T上でグループgの周囲に存在する各画素p*に対応する実空間上の各距離Zをも用い、それらの各画素p、p*の実空間上の各距離Zの平均値や中央値等を、当該グループgの実空間上の距離Zgとして算出するようになっている。
【0101】
なお、これらの各画素p、p*の実空間上の各距離Zを、例えばヒストグラムに投票し、その最頻値が属する階級の階級値を、当該グループgの実空間上の距離Zgとするように構成することも可能である。
【0102】
次に、赤信号等検出手段12は、各グループgの実空間上の距離Zgおよびグループgの画像中での座標(i,j)に基づいて当該グループgの実空間上の大きさや道路面からの実空間上の高さを算出し、算出した実空間上の大きさや道路面からの高さに基づいて、信号機Sの赤信号Lr(或いは黄信号Ly)を検出するようになっている。
【0103】
具体的には、まず、グループgの実空間上の大きさについては、図14に示すように、グループgの左端の画素pのi座標Iminと右端の画素pのi座標Imax、および上端の画素pのj座標Jmaxと下端の画素pのj座標Jminを検出し、上記(2)〜(4)式に従って各画素pに対応する実空間上の位置(X,Y)を算出する。そして、右端と左端のX座標の差を算出してグループgの左右方向の実空間上の大きさとし、上端と下端のY座標の差を算出してグループgの上下方向の実空間上の大きさとする。
【0104】
そして、通常の場合、信号機Sの信号灯Lは直径が30cmや35cm程度の円形に形成されるため、信号灯からの光の漏れ出しも含めて、本実施形態では、赤信号等検出手段12は、各グループgの左右方向および上下方向の実空間上の大きさが例えば40cm以内の範囲内にあるか否かをチェックするようになっている。
【0105】
また、道路面からの実空間上の高さについては、赤信号等検出手段12は、グループgの左端の画素pと右端の画素pの各i座標Imin、Imax中間点のi座標Ic、および上端の画素pと下端の画素pのj座標Jmax、Jminとの中間点Jcをそれぞれi座標、j座標とするグループgの中心点Gcを算出する。そして、このJcとグループgの実空間上の距離Zgとを上記(3)式に代入して、グループgの中心点Gcの実空間上の高さYcを算出する。
【0106】
また、赤信号等検出手段12は、路面検出手段15が検出した実空間上の道路面の道路高モデル(図7(B)参照)をメモリから読み出して、前述したグループgの実空間上の距離Zgにおける道路面の高さY*を算出する。そして、グループgの道路面からの実空間上の高さを、グループgの中心点Gcの実空間上の高さYcと道路面の高さY*との差分Yc−Y*として算出するようになっている。
【0107】
そして、通常の場合、信号機の信号灯は道路面からの高さが5m以上の高さに設置されるため、本実施形態では、多少幅を持たせて、赤信号等検出手段12は、上記のようにして算出したグループgの道路面からの実空間上の高さYc−Y*が例えば4m以上の範囲内にあるか否かをチェックするようになっている。
【0108】
なお、グループgの実空間上の距離Zgにおける道路面の高さY*は、各区間ごとに上記(7)式および(8)式で与えられる道路高モデルから線形補間する等して求めることができる。さらに、道路高モデルを含む車線モデルは、路面検出手段15によって今回のサンプリング周期における車線モデルが検出されていればそれを用い、今回のサンプリング周期での車線モデルがまだ検出されていなければ、前述したように、前回のサンプリング周期で検出した車線モデルに基づいてその後の自車両の挙動等から今回のサンプリング周期における車線モデルが推定されて用いられる。
【0109】
また、基準画像T中に、複数の信号機Sが撮像されており、赤信号Lrが複数撮像されている場合がある。そのため、本実施形態では、赤信号等検出手段12は、上記のようにして算出したグループgの中心点Gcの実空間上の位置(Xc,Yc,Zg)と、路面検出手段15が検出した実空間上の道路面の水平形状モデル(図7(A)参照)とを対比して、自車両が走行する進行路上やその近傍に存在し、最も自車両に近い位置にある信号機Sを選択するようになっている。
【0110】
本実施形態では、赤信号等検出手段12は、上記の各チェック項目をクリアしたグループgを、道路上に存在する信号機Sの赤信号Lr(或いは黄信号Ly)として検出するようになっている。
【0111】
次に、矢印信号抽出手段13は、上記のようにして検出された赤信号Lr(或いは黄信号Ly)の近傍に、矢印信号Alや矢印信号As、矢印信号Ar(図28(A)〜(C)参照)が撮像されているか否かを探索して抽出するようになっている。以下、この矢印信号抽出手段13における処理について、図15等に示すフローチャート等を用いて具体的に説明する。
【0112】
矢印信号抽出手段13は、まず、上記のようにして検出された赤信号Lr(或いは黄信号Ly。以下同じ)の基準画像T中の位置に基づいて矢印信号Al、As、Arが撮像されている可能性がある画像領域を探索領域Rsとして設定するようになっている(ステップS1)。
【0113】
その際、矢印信号Al、As、Ar(以下、一般的に言う場合には矢印信号Aという。)は、図28(A)〜(C)に示したように赤信号Lrの下方に設けられている場合だけでなく、図16に示すようないわば縦型の信号機Sの側方に矢印信号Aが設けられているものも存在する。
【0114】
そこで、本実施形態では、矢印信号抽出手段13は、例えば図17に示すように、基準画像Tの、赤信号Lrに対応するグループgの下方および左右の側方に、探索領域Rsを設定するようになっている。
【0115】
そして、矢印信号抽出手段13は、探索領域Rs内を探索して探索領域Rs内に撮像されている矢印信号Aを抽出する矢印信号抽出処理を行う(ステップS2)。
【0116】
本実施形態では、矢印信号抽出処理(ステップS2)では、以下のように処理が行われるようになっている。なお、以下では、上記のように、基準画像Tの各画素pの画像データDにおける各色成分の輝度R、G、Bがそれぞれ0〜255の値を有するものとして説明する。
【0117】
具体的には、矢印信号Aは、通常、緑色に標示されるため、矢印信号抽出手段13は、探索領域Rsの各画素pを探索し、その画像データDにおける各輝度R、G、Bが、例えば、
G>150 …(14)
B>G×0.6 …(15)
R<G×0.5 …(16)
の条件を満たす場合に、当該画素pを抽出するようにして、各画素pを抽出していく。
【0118】
そして、抽出した画素pの上下や左右に隣接する画素pも抽出されている場合には、それらの画素pを1つの画素領域Raとしていくことで、探索領域Rs内に、矢印信号Aに対応する画素領域Raを抽出するようになっている。
【0119】
なお、例えば図28(A)に示した信号機Sにおいて、左折可を示す矢印信号Alと直進可を示す矢印信号Asが同時に点灯する場合もあるため、探索領域Rs内に抽出される矢印信号Aに対応する画素領域Raは1つだけとは限らない。また、図31に示したように信号機Sが自車両から遠い位置にある場合には、矢印信号Aに対応する画素領域Raとして、例えば1つの画素pしか抽出されないこともあり得る。
【0120】
矢印信号抽出手段13は、矢印信号抽出処理(ステップS2)で探索領域Rs内に矢印信号Aを抽出しない場合には(ステップS3;NO)、今回のサンプリング周期における処理を終了し、次回のサンプリング周期で赤信号等検出手段12等から信号機Sの赤信号Lrに対応するグループg等の情報が送られてくるまで待機する。
【0121】
また、矢印信号抽出手段13は、矢印信号抽出処理(ステップS2)で探索領域Rs内に矢印信号Aを抽出した場合には(ステップS3;YES)、続いて、抽出した矢印信号Aが指し示す方向(以下、単に矢印信号Aの方向という。)を認識する処理を行うようになっている。
【0122】
その際、本発明では、矢印信号抽出手段13は、図18に示すように、自車両MC(正確には自車両に搭載された撮像手段2)から赤信号Lrまでの実空間上の距離Zを、自車両MCから遠い第一の所定区間Sec1、第一の所定区間より自車両に近い第二の所定区間Sec2、および第二の所定区間より自車両に近い第三の所定区間Sec3に区分し、各区間Sec1〜Sec3において、それぞれ矢印信号Aの方向を認識する手法を変えるようになっている。
【0123】
逆の言い方をすれば、以下で説明する認識手法2、3では矢印信号Aの方向を認識することが困難であるが、認識手法1を用いれば矢印信号Aの方向を認識することが可能な区間が第一の所定区間Sec1に設定され、認識手法3では矢印信号Aの方向を認識することが困難であるが、認識手法2を用いれば矢印信号Aの方向を認識することが可能な区間が第二の所定区間Sec2に設定され、認識手法3を用いて矢印信号Aの方向を認識することが可能な区間が第三の所定区間Sec3に設定される。
【0124】
そして、矢印信号抽出手段13は、図15のフローチャートに示すように、前述した距離算出手段11が算出した赤信号Lr対応するグループg(図17参照)までの実空間上の距離Zgを各所定区間Sec1〜Sec3に場合分けして、それぞれの所定区間Sec1〜Sec3に対応する認識手法1〜3を用いて、抽出した矢印信号Aの方向を認識するようになっている。
【0125】
まず、自車両MCから赤信号Lrまでの実空間上の距離Zgが自車両MCに近い第三の所定区間Sec3内になく(ステップS4;NO)、第二の所定区間Sec2内にもない場合(ステップS5;NO)、すなわち自車両MCから赤信号Lrまでの実空間上の距離Zgが自車両MCから遠い第一の所定区間Sec1にある場合に適用される認識手法1(ステップS6)について説明する。
【0126】
自車両MCから赤信号Lrまでの実空間上の距離Zgが自車両MCから遠い第一の所定区間Sec1にある場合、赤信号Lrや矢印信号Aは、例えば図31に示したように、それらに対応するグループgや画素領域Raに属する画素数が非常に少なく、いずれもぼやけていて輪郭等が不明瞭な状態で撮像される。特に、矢印信号Aは、撮像された基準画像Tからでは矢印信号Aの方向を認識することができない状態で撮像される。
【0127】
認識手法1(ステップS6)では、図19のフローチャートに示すように、矢印信号抽出手段13は、まず、上記のように距離算出手段11が算出した赤信号Lrに対応するグループgの実空間上の距離Zgに基づいて、赤信号Lrの例えば35cmの直径の信号灯がその距離Zgに存在する場合に、その直径が基準画像T上で何画素に対応するかを算出して、赤信号Lrの信号灯の直径に対応する画素数rを算出する(ステップS61)。
【0128】
なお、このステップS61の処理において、赤信号Lrに対応するグループgの実空間上の距離Zgに基づいて赤信号Lrの直径に対応する画素数rを算出するように構成する代わりに、実際に検出した赤信号Lrに対応するグループgの基準画像T上での縦方向(すなわちj軸方向)や横方向(すなわちi軸方向)の幅を、赤信号Lrの直径に対応する画素数rとして算出するように構成することも可能である。
【0129】
続いて、矢印信号抽出手段13は、基準画像T中における矢印信号Aに対応する画素領域Raと赤信号Lrに対応するグループgとの相互の位置関係に基づいて、矢印信号Aの方向を認識するようになっている(ステップS62)。
【0130】
その際、実際の信号機Sにおいて、赤信号Lrと右折可や直進可、左折可を示す矢印信号Al、As、Arの位置関係が図28(A)〜(C)に示したような位置関係にあることに基づいて、本実施形態では、矢印信号抽出手段13は、図20に示すように、
(1)抽出した矢印信号Aに対応する画素領域Raが、赤信号Lrに対応するグループgの信号灯1個分程度下方の位置にある場合には右折可を示す矢印信号Ar、
(2)抽出した矢印信号Aに対応する画素領域Raが、赤信号Lrに対応するグループgの信号灯1個分程度下方の位置から信号灯1個分程度左側の位置にある場合には直進可を示す矢印信号As、
(3)抽出した矢印信号Aに対応する画素領域Raが、赤信号Lrに対応するグループgの信号灯1個分程度下方の位置から信号灯2個分程度左側の位置にある場合には左折可を示す矢印信号Al、
であるとして、抽出した矢印信号Aの方向を認識するようになっている。
【0131】
また、図16に示したような縦型の信号機Sでは、赤信号Lrの右側に矢印信号Aがある場合には矢印信号Aは右折可を示す矢印信号Arであり、赤信号Lrの左側に矢印信号Aがある場合(図示省略)には矢印信号Aは左折可を示す矢印信号Alである場合が多いことから、本実施形態では、矢印信号抽出手段13は、さらに、図21に示すように、
(4)抽出した矢印信号Aに対応する画素領域Raが、赤信号Lrに対応するグループgの信号灯1個分程度右側の位置にある場合には右折可を示す矢印信号Ar、
(5)抽出した矢印信号Aに対応する画素領域Raが、赤信号Lrに対応するグループgの信号灯1個分程度左側の位置にある場合には左折可を示す矢印信号Al、
であるとして、抽出した矢印信号Aの方向を認識するようになっている。
【0132】
前述したように、自車両MCから赤信号Lrまでの実空間上の距離Zgが自車両MCから遠い第一の所定区間Sec1にある場合、例えば図31に示したように、矢印信号Aに対応する画素領域Raに属する画素数が少なく、その形状を解析しても、矢印信号Aの方向を認識することが困難である場合が多い。
【0133】
しかし、上記の本実施形態における認識手法1(ステップS6)によれば、上記のように基準画像T上に撮像された矢印信号Aの形状自体に基づいて矢印信号Aの方向を認識することができない場合であっても、検出した赤信号Lrの基準画像T上の位置を基準として、基準画像T中における赤信号Lrに対応するグループgと矢印信号Aに対応する画素領域Raとの相互の位置関係から矢印信号Aの方向を認識する。
【0134】
そのため、基準画像T中に撮像された信号機Sや赤信号Lrが、少なくとも図28(A)〜(C)や図16に示したような一般的な信号機Sであればという前提付きではあるが、信号機Sにおける矢印信号Aの方向を的確に認識することが可能となる。
【0135】
次に、自車両MCから赤信号Lrまでの実空間上の距離Zgが自車両MCに近い第二の所定区間Sec3内にないが(図15のステップS4;NO)、第一の所定区間Sec1よりも自車両に近い第二の所定区間Sec2内にある場合(ステップS5;YES)に適用される認識手法2(ステップS7)について説明する。
【0136】
自車両MCから赤信号Lrまでの実空間上の距離Zgが第二の所定区間Sec2(図18参照)にある場合、赤信号Lrや矢印信号Aは、例えば図30に示したようにぼやけた状態で撮像される。そして、矢印信号Aは、後述するアローヘッド部Aheadやアローシャフト部Ashaft(後述する図26等参照)が明瞭には区別できないが、撮像された基準画像Tから、矢印信号Aの方向を辛うじて認識することが可能な状態で撮像される。
【0137】
認識手法2(ステップS7)では、図22に示すフローチャートに従って処理が行われる。ここでは、矢印信号Aの方向を認識する手法として、基準画像T中における矢印信号Aの左右の対称性や上下の対称性に基づいて、矢印信号Aの方向を認識するようになっている。
【0138】
矢印信号抽出手段13は、図23に示すように、まず、基準画像T中に、矢印信号Aに対応する画素領域Raに外接する例えば矩形状の画像領域Aeを設定し(ステップS71)、当該画像領域Aeの中心Ceを通る上下方向に延在する直線l1で当該画像領域Aeを左右に分割する(ステップS72)。
【0139】
そして、分割された各画像領域Ae1、Ae2にそれぞれ含まれる矢印信号Aに対応する画素領域Aaに属する画素数を比較することで、矢印信号Aに対応する画素領域Aaの左右の対称性を判定するようになっている。
【0140】
具体的には、矢印信号抽出手段13は、左の画像領域Ae1に含まれる矢印信号Aに対応する画素領域Aaに属する画素数r(Ae1)と、右の画像領域Ae2に含まれる矢印信号Aに対応する画素領域Aaに属する画素数r(Ae2)との差の絶対値|r(Ae1)−r(Ae2)|を算出する。
【0141】
そして、その差の絶対値|r(Ae1)−r(Ae2)|が閾値未満であれば(ステップS73;YES)、矢印信号Aの方向は直進方向であると認識する(ステップS74)。すなわち、今回の判定の対象となった矢印信号Aは、直進可を示す矢印信号Asであると認識する。この場合、閾値は、例えば、矢印信号Aに対応する画素領域Aaの総画素数の10%等として設定される。
【0142】
図23に示した例では、各画像領域Ae1、Ae2に含まれる矢印信号Aに対応する画素領域Aaに属する各画素数r(Ae1)、r(Ae2)の差の絶対値|r(Ae1)−r(Ae2)|が1画素である。また、矢印信号Aに対応する画素領域Aaの総画素数は29画素であり、その10%は2.9画素であるから、ステップS73の判定基準を満たす。そのため、この場合は、矢印信号Aの方向は直進方向であると認識される(ステップS74)。
【0143】
一方、例えば図24に示す例では、各画像領域Ae1、Ae2に含まれる矢印信号Aに対応する画素領域Aaに属する各画素数r(Ae1)、r(Ae2)の差の絶対値|r(Ae1)−r(Ae2)|が、矢印信号Aに対応する画素領域Aaの総画素数の10%を越えるため、ステップS73の判定基準を満たさない(ステップS73;NO)。
【0144】
そこで、矢印信号抽出手段13は、続いて、左の画像領域Ae1に含まれる矢印信号Aに対応する画素領域Aaに属する各画素数r(Ae1)が、右の画像領域Ae2に含まれる矢印信号Aに対応する画素領域Aaに属する各画素数r(Ae2)よりも上記の閾値以上に大きいか否かを判定する(ステップS75)。そして、ステップS75の判定基準が満たされれば(ステップS75;YES)、矢印信号Aの方向は左折方向であると認識する(ステップS76)。すなわち、矢印信号Aは左折可を示す矢印信号Alであると認識する。
【0145】
しかし、図24に示した例では、逆に、右の画像領域Ae2に含まれる矢印信号Aに対応する画素領域Aaに属する各画素数r(Ae2)の方が、左の画像領域Ae1に含まれる矢印信号Aに対応する画素領域Aaに属する各画素数r(Ae1)よりも上記の閾値以上に大きいため(ステップS75;NO)、矢印信号抽出手段13は、矢印信号Aの方向は右折方向であると認識する(ステップS77)。すなわち、矢印信号Aは右折可を示す矢印信号Arであると認識するようになっている。
【0146】
なお、図22に示したフローチャートや図23、図24に示した各図では、基準画像T中に設定した、矢印信号Aに対応する画素領域Raに外接する画像領域Aeを、当該画像領域Aeの中心Ceを通る上下方向に延在する直線l1で左右に分割して、矢印信号Aに対応する画素領域Aaの左右の対称性を判定するように構成した場合について説明した。
【0147】
しかし、図示を省略するが、矢印信号Aに対応する画素領域Raに外接する画像領域Aeを、当該画像領域Aeの中心Ceを通る左右方向に延在する直線l2で上下に分割して、矢印信号Aに対応する画素領域Aaの上下の対称性を判定するように構成しても、上記と同様に矢印信号Aの方向を認識することが可能である。
【0148】
前述したように、自車両MCから赤信号Lrまでの実空間上の距離Zgが第二の所定区間Sec2にある場合、例えば図30に示したように、矢印信号Aはぼやけた状態で撮像され、後述する認識手法3(ステップS8)で説明するように、矢印信号Aに対応する画素領域AaをAheadとアローシャフト部Ashaft(後述する図26参照)とに明瞭に区別して解析して矢印信号Aの方向を認識することはできない。
【0149】
しかし、上記の本実施形態における認識手法2(ステップS7)によれば、上記のように基準画像T上に撮像された矢印信号Aに対応する画素領域Aaの左右の対称性や上下の対称性に基づいて、矢印信号Aの方向を的確に認識することが可能となる。
【0150】
次に、自車両MCから赤信号Lrまでの実空間上の距離Zgが自車両MCに近い第三の所定区間Sec3内にある場合(図15のステップS4;YES)に適用される認識手法3(ステップS8)について説明する。
【0151】
自車両MCから赤信号Lrまでの実空間上の距離Zgが自車両MCに近い第三の所定区間Sec3(図18参照)にある場合、赤信号Lrや矢印信号Aは、例えば図29に示したように比較的明瞭に撮像され、矢印信号Aは、後述する図26に示すように、アローヘッド部Aheadとアローシャフト部Ashaftとが明瞭には区別された状態で撮像される。
【0152】
そこで、認識手法3(ステップS8)では、矢印信号Aの方向を認識する手法として、矢印信号Aを形成するアローヘッド部Aheadとアローシャフト部Ashaftに対応する基準画像T中の各画素領域Rahead、Rashafの相互の位置関係に基づいて、矢印信号Aの方向を認識するようになっている。
【0153】
認識手法3(ステップS8)では、図25に示すフローチャートに従って処理が行われる。
【0154】
矢印信号抽出手段13は、図26に示すように、基準画像T中に抽出した矢印信号Aに対応する一組の画素領域Raの、各画素領域にそれぞれ属する各画素数を比較して、大きい方の画素領域(すなわち属する画素数が多い画素領域)を矢印信号Aのアローヘッド部Aheadに対応する画素領域Raheadとし、小さい方の画素領域(すなわち属する画素数が少ない画素領域)を矢印信号Aのアローシャフト部Ashaftに対応する画素領域Rashaftとして識別する(ステップS81)。
【0155】
なお、基準画像T中に抽出した矢印信号Aに対応する2つの画素領域Raが、同一の矢印信号Aに属するアローヘッド部Aheadとアローシャフト部Ashaftに対応する一組の画素領域Raであるか、或いは、別々の各矢印信号Aにそれぞれ対応する各画素領域Raであるかの判定を行うことが必要になる。
【0156】
その場合、2つの画素領域Raが同一の矢印信号Aに属するものであれば、それらの画素領域Raは、前述した赤信号Lrの場合と同様に、実空間上で、直径が例えば35cmの円内に収まるはずである。そこで、例えば、前述した距離画像Tzを参照して、2つの画素領域Raにそれぞれ属する画素に割り当てられた視差dpを割り出し、2つの画素領域Raの実空間上の距離Zを算出する。
【0157】
そして、算出した距離Zに基づいて、2つの画素領域Raが実空間上で直径が例えば35cmの円内に収まるか否かを判定することにより、2つの画素領域Raが同一の矢印信号Aに属するものであるか否かを判定することができる。なお、2つの画素領域Raがそれぞれ別の矢印信号Aに属するものであると判定した場合には、それぞれ別個に処理される。
【0158】
矢印信号抽出手段13は、基準画像T上に、矢印信号Aのアローヘッド部Aheadに対応する画素領域Raheadとアローシャフト部Ashaftに対応する画素領域Rashaftとを割り出すと、続いて、図26に示すように、各画素領域Rahead、Rashaftの各中心点Chead、Cshaftの座標(i,j)をそれぞれ算出する(ステップS82)。
【0159】
中心点は、例えば、そのi座標を、画素領域の左端の座標と右端の座標の平均値(すなわち左右端の中間の座標)とし、j座標を、画素領域の上端の座標と下端の座標の平均値(すなわち上下端の中間の座標)として算出することができる。
【0160】
そして、中心点Chead、Cshaft同士を結ぶベクトルvの方向性に基づいて、矢印信号Aの方向を認識するようになっている(ステップS83)。
【0161】
すなわち、例えば、ベクトルvとして中心点Cshaftから中心点Cheadに向かうベクトルを算出し、それと基準画像Tのi軸がなす角度を算出する。そして、算出した角度が約90°であれば(すなわち図26の場合)、矢印信号Aの方向は直進方向であると認識する(すなわち矢印信号Aは直進可を示す矢印信号Asであると認識する)。
【0162】
また、算出した角度が約0°であれば、矢印信号Aの方向は右折方向であると認識し、算出した角度が約180°であれば、矢印信号Aの方向は左折方向であると認識するように構成される。
【0163】
なお、この検出手法3を用いると、図27に示すように、矢印信号Aとして、例えば左斜め前に進行可を示す矢印信号が標示されるようなやや変則的な場合でも、中心点Chead、Cshaft同士を結ぶベクトルvの方向性に基づいて、矢印信号Aの方向を的確に認識することができる。すなわち、この場合は、ベクトルvと基準画像Tのi軸とがなす角度が約135°になるため、矢印信号抽出手段13は、矢印信号Aの方向が左斜め前の方向であると的確に認識することが可能となる。
【0164】
前述したように、自車両MCから赤信号Lrまでの実空間上の距離Zgが自車両MCに近い第三の所定区間Sec3にある場合、例えば図29に示したように、矢印信号Aは、アローヘッド部Aheadとアローシャフト部Ashaft(図26等参照)とに区別して撮像される。
【0165】
そこで、上記の認識手法3(ステップS8)を採用して矢印信号Aの方向を認識することで、矢印信号Aを形成するアローヘッド部Aheadとアローシャフト部Ashaftに対応する基準画像T中の各画素領域Rahead、Rashaftの相互の位置関係に基づいて、矢印信号Aの方向を的確に認識することが可能となる。
【0166】
なお、自車両MCから赤信号Lrまでの実空間上の距離Zgが自車両MCに近い第三の所定区間Sec3(図18参照)にある場合には、例えば図29に示したように、矢印信号Aが明瞭に撮像されるため、前述した特許文献2に記載されているように、テンプレートマッチングにより矢印信号Aの方向を認識するように構成することも可能である。
【0167】
しかし、テンプレートマッチングを用いる手法は処理に時間がかかる場合が少なくなく、矢印信号抽出手段13が認識した矢印信号Aの方向の情報を用いて例えば自車両の自動走行制御等を行うような場合には、リアルタイム性が損なわれる可能性がある。
【0168】
また、右折可や直進可、左折可を示す矢印信号Al、As、Ar(図28参照)のそれぞれについてテンプレートを用意してそれぞれ適用すると処理が重くなるうえ、例えば、図27に示したような変則的な矢印信号Aに対応するテンプレートが用意されていない場合には、矢印信号Aの方向を認識することができなくなるといった問題が生じ得る。
【0169】
その点、上記の認識手法3を採用して、矢印信号Aを形成するアローヘッド部Aheadとアローシャフト部Ashaftに対応する基準画像T中の各画素領域Rahead、Rashaftの相互の位置関係に基づいて矢印信号Aの方向を的確に認識するように構成すれば、処理はさほど重くならず、リアルタイム性が確保されるとともに、図27に示したような変則的な矢印信号Aが標示される場合であっても、矢印信号Aの方向を的確に認識することが可能となる。
【0170】
矢印信号抽出手段13は、以上のようにして、認識手法1(図15のステップS6)、認識手法2(ステップS7)、または認識手法3(ステップS8)を適用して、基準画像T中に抽出した矢印信号Aの方向(すなわち矢印信号Aが指し示す方向)を認識すると、認識した方向をメモリに保存するとともに、外部に出力するようになっている(ステップS9)。
【0171】
そして、矢印信号抽出手段13は、今回のサンプリング周期における処理を終了し、次回のサンプリング周期で赤信号等検出手段12等から信号機Sの赤信号Lrに対応するグループg等の情報が送られてくるまで待機するようになっている。
【0172】
以上のように、本実施形態に係る環境認識装置1によれば、少なくとも信号機Sの赤信号Lrや黄信号Lyまでの実空間上の距離Zgが自車両MCから遠い第一の所定区間Sec1(図18参照)内にある場合には、上記の認識手法1(ステップS6)を適用して、画像T中における矢印信号Aと赤信号Lrや黄信号Lyとの相互の位置関係に基づいて矢印信号Aが指し示す方向を認識する。
【0173】
そのため、従来のテンプレートマッチングにより矢印信号Aが指し示す方向を検出する手法ではその方向を検出することができなかった自車両MCから非常に遠い位置にある信号機S(例えば図31参照)についても、矢印信号Aが指し示す方向を的確に認識して検出することが可能となる。
【0174】
そのため、信号機Sがまだ自車両MCから遠い位置にある段階から、信号機Sの矢印信号を的確に認識して、その情報を自車両の自動走行制御等に用いたり、ドライバに対して適切に警告する等の制御を行うことが可能となる。
【0175】
なお、自車両MCから赤信号Lrや黄信号Lyまでの実空間上の距離Zgが第二の所定区間Sec2(図18参照)にある場合、矢印信号Aは、例えば図30に示したようにぼやけた状態で撮像されるため、やはり従来のテンプレートマッチングにより矢印信号Aが指し示す方向を検出する手法では、その方向を検出することが困難であった。
【0176】
しかし、本実施形態に係る環境認識装置1によれば、このように信号機Sの赤信号Lrや黄信号Lyまでの実空間上の距離Zgが第二の所定区間Sec2内にある場合には、上記の認識手法2(ステップS7)を適用して、画像T中における矢印信号Aの左右の対称性や上下の対称性に基づいて矢印信号Aの方向を認識する。
【0177】
そのため、従来のテンプレートマッチングにより矢印信号Aが指し示す方向を検出する手法ではその方向を検出することが困難であった自車両MCから比較的遠い位置にある信号機S(例えば図30参照)についても、矢印信号Aが指し示す方向を的確に認識して検出することが可能となる。
【0178】
そのため、信号機Sがまだ自車両MCから比較的遠い位置にある段階から、信号機Sの矢印信号を的確に認識して、その情報を自車両の自動走行制御等に用いたり、ドライバに対して適切に警告する等の制御を行うことが可能となる。
【0179】
また、本実施形態に係る環境認識装置1によれば、信号機Sの赤信号Lrや黄信号Lyまでの実空間上の距離Zgが自車両MCに近い第三の所定区間Sec3(図18参照)内にある場合には、上記の認識手法3(ステップS8)を適用して、矢印信号Aを形成するアローヘッド部Aheadとアローシャフト部Ashaftに対応する基準画像T中の各画素領域Rahead、Rashafの相互の位置関係に基づいて矢印信号Aの方向を認識する。
【0180】
そのため、自車両MCに近い位置にある信号機S(例えば図29参照)について、矢印信号Aが指し示す方向を的確に認識して検出することが可能となり、信号機Sが自車両MCに近い位置にある場合に、信号機Sの矢印信号を的確に認識して、その情報を自車両の自動走行制御等に用いたり、ドライバに対して適切に警告する等の制御を行うことが可能となる。
【0181】
また、それとともに、従来のテンプレートマッチングを用いる手法では処理が重くなり、処理に時間がかかってリアルタイム性が損なわれる可能性があり、また、変則的な矢印信号Aに対応するテンプレートが用意されていない場合には矢印信号Aの方向を認識することができなくなるといった問題が生じ得るが、上記の認識手法3を採用すれば、処理はさほど重くならず、リアルタイム性が確保されるとともに、変則的な矢印信号Aが標示される場合であっても矢印信号Aの方向を的確に認識することが可能となる。
【0182】
なお、上記の実施形態では、図15のフローチャートに示したように、矢印信号抽出手段13が、自車両MCから赤信号Lrや黄信号Lyまでの実空間上の距離Zgに応じて認識手法1〜3のいずれかの手法を適用するように構成されている場合について説明した。
【0183】
しかし、図示を省略するが、例えば、矢印信号抽出手段13に、認識手法1を用いて矢印信号Aが指し示す方向を認識する第1の認識手段と、認識手法2を用いて矢印信号Aが指し示す方向を認識する第2の認識手段と、認識手法3を用いて矢印信号Aが指し示す方向を認識する第3の認識手段とを設け、赤信号等検出手段12等から信号機Sの赤信号Lrに対応するグループg等の情報が送られてきた時点で、3つの認識手段で同時並行的に処理を行う。
【0184】
そして、矢印信号抽出手段13に、3つの認識手段のうちのいずれかの認識手段が認識した矢印信号Aが指し示す方向を選択して出力する選択手段を設け、選択手段では、赤信号Lrや黄信号Lyまでの実空間上の距離Zgが自車両MCから遠い第一の所定区間Sec1、第一の所定区間Sec1よりも自車両MCに近い第二の所定区間Sec2、または第一の所定区間Sec1よりも自車両MCに近い第三の所定区間Sec3のいずれの所定区間内にあるかに応じて、どの認識手段が認識した上記の方向を選択して出力するかを切り替えるように構成することも可能である。
【0185】
このように構成しても、上記の本実施形態の場合と全く同様の有益な作用効果を得ることが可能となる。
【0186】
また、例えば、前述した路面検出手段15が形成した車線モデル(上記(5)〜(8)式参照)上或いはその近傍に複数の信号機Sが存在する場合、画像T中にそれらの各信号機Sが撮像される場合がある。
【0187】
そのような場合に、最も手前側すなわち自車両MCに近い側の信号機Sにおける矢印信号Aが指し示す方向が認識されるのは当然であるが、それ以外の、自車両MCからより遠い側の信号機Sにおける矢印信号Aが指し示す方向を同時に認識するように構成することも可能である。
【0188】
その場合、最も手前側の信号機S以外の信号機Sの矢印信号Aが指し示す方向を出力するか否かは、その出力情報を用いて自車両の自動走行制御等を行ったりドライバに警告を発したりする外部装置側でその情報を必要とするか否か等に基づいて、適宜決められる。
【符号の説明】
【0189】
1 環境認識装置
2 撮像手段
6 距離検出手段
10 統合処理手段
11 距離算出手段
12 赤信号等検出手段
13 矢印信号抽出手段
15 路面検出手段
A、Al、As、Ar 矢印信号
Ae1、Ae2 分割された画像領域
Ahead アローヘッド部
Ashaft アローシャフト部
Ce 中心
Chead、Cshaft 中心点
D 画像データ
g グループ
(i,j) 座標
l1、l2 直線
Lr 赤信号(赤の信号灯)
Ly 黄信号(黄の信号灯)
MC 自車両
p 画素
p* グループの周囲に存在する画素
r(Ae1)、r(Ae2) 画素数
Ra 矢印信号に対応する画素領域
Rahead アローヘッド部に対応する画素領域
Rashaft アローシャフト部に対応する画素領域
Re 外接する画像領域
Rs 探索領域
S 信号機
Sec1 第一の所定区間
Sec2 第二の所定区間
Sec3 第三の所定区間
T 基準画像(画像)
v 各中心点を結ぶベクトル
Y 実空間上の高さ
Y* 道路面の実空間上の高さ
Yc グループの実空間上の高さ
Yc−Y* グループの道路面からの実空間上の高さ
Z 実空間上の距離
Zg グループの実空間上の距離
【技術分野】
【0001】
本発明は、環境認識装置に係り、特に、道路上に設置された信号機を認識する環境認識装置に関する。
【背景技術】
【0002】
従来から、自車両に例えばCCDカメラやCMOSカメラ等を搭載し、カメラで撮像した撮像画像中から、信号機の点灯されている信号灯等を検出する装置が知られている。
【0003】
例えば、特許文献1に記載された装置では、カメラで撮像された撮像画像から赤色の発光部を抽出し、抽出した赤色発光部の撮像画像上での輝度や大きさ、撮像画像上での高さ、形状、楕円度等に基づいて信号機の赤色発光体の発光状態であるか否か、すなわち赤信号であるか否かを判定する。
【0004】
しかし、信号機の中には、図28(A)〜(C)に示すように、青、黄、赤の各信号灯Lb、Ly、Lrの他に、右折可や直進可、左折可を示す矢印信号Al、As、Arを備える信号機Sもある。このような信号機Sに対して上記のように赤信号Lrのみを抽出してしまうと、例えばその情報に基づいて自車両の自動走行制御等を行うような場合、信号機Sの直進可の矢印信号Asが点灯しているにも関わらず、自車両が停止線の手前で停止してしまう虞れがある。
【0005】
このように、直進可の矢印信号Asが点灯しているにも関わらず、自車両を停止線の手前で停止させてしまうと、直進可の矢印信号Asが点灯しているために制動操作を行わない後続車両に追突される等の危険が生じる。そこで、例えば特許文献2では、信号機Sの赤信号Lrや黄信号Lyを検出し、赤信号Lrや黄信号Lyに対する所定の位置に探索領域を設定し、この探索領域内でテンプレートとの比較(すなわちテンプレートマッチング)により矢印信号Al、As、Arを検出する信号機認識装置が開示されている。
【先行技術文献】
【特許文献】
【0006】
【特許文献1】特開2007−34693号公報
【特許文献2】特開2009−43068号公報
【発明の概要】
【発明が解決しようとする課題】
【0007】
ところで、信号機SをCCDカメラ等で撮像した場合、信号機Sが自車両に近い位置にあれば、例えば図29に示すように、撮像された画像T中に矢印信号(図29の場合は矢印信号As)が比較的明瞭に撮像されるため、テンプレートマッチングにより矢印信号を検出し易い。
【0008】
しかしながら、信号機Sが自車両からやや遠くなると、例えば図30に示すように、画像T中に撮像された矢印信号Asがぼやけてしまい、テンプレートマッチングによる矢印信号の検出は困難になる。そして、信号機Sが自車両からさらに遠くなると、例えば図31に示すように、画像T中に撮像された矢印信号Asがさらにぼやけてしまい、テンプレートマッチングによる矢印信号の検出はもはや不可能になる。
【0009】
なお、図29〜図31における画像Tにおける各画素の大きさは同じであり、図30や図31は拡大した写真が示されている。すなわち、図29に示した信号機Sのサイズから見た場合、図30の画像Tには信号機Sはより小さいサイズで撮像され、図31の画像Tには信号機Sはさらに小さいサイズで撮像される。
【0010】
上記のように、テンプレートマッチングにより矢印信号を検出する手法を採用すると、信号機Sが自車両から遠い位置にあるうちは、矢印信号を検出することができず、矢印信号がテンプレートマッチングにより認識可能となる画像T中でのサイズで撮像されるまで信号機Sが自車両に接近した距離にならないと、矢印信号を認識することができないといった問題があった。
【0011】
そのため、信号機Sがまだ自車両から遠い位置にある段階から、信号機Sの矢印信号を的確に認識して、その情報を自車両の自動走行制御等に用いたり、ドライバに対して適切に警告する等の制御を行うことが困難であった。
【0012】
本発明は、このような事情に鑑みてなされたものであり、信号機の矢印信号を的確に認識することが可能で、しかも、信号機が自車両から遠い位置にある段階から矢印信号を認識することが可能な環境認識装置を提供することを目的とする。
【課題を解決するための手段】
【0013】
前記の問題を解決するために、第1の発明は、環境認識装置において、
画素ごとに画像データを有する画像を撮像する撮像手段と、
前記画像の各画素について実空間上の距離を検出する距離検出手段と、
前記画像において互いに隣接する画素の各画像データに基づいて当該隣接する画素を1つのグループに統合する統合処理手段と、
前記グループに属する前記各画素および前記グループの周囲に存在する前記各画素に対応する前記実空間上の各距離に基づいて、前記グループの実空間上の距離を算出する距離算出手段と、
前記グループの実空間上の距離および前記グループの前記画像中での座標に基づいて算出した当該グループの実空間上の大きさおよび道路面からの実空間上の高さに基づいて、信号機の赤または黄の信号灯を検出する赤信号等検出手段と、
検出された前記赤または黄の信号灯の前記画像中の位置に基づいて矢印信号が撮像されている可能性がある画像領域を探索領域として設定し、前記探索領域内に撮像されている前記矢印信号を抽出する矢印信号抽出手段と、
を備え、
前記矢印信号抽出手段は、
自車両から前記赤または黄の信号灯までの前記実空間上の距離に応じて前記矢印信号が指し示す方向を認識する手法を変えるように構成されており、
少なくとも前記赤または黄の信号灯までの前記実空間上の距離が前記自車両から遠い第一の所定区間内にある場合には、前記画像中における前記矢印信号と前記赤または黄の信号灯との相互の位置関係に基づいて、前記矢印信号が指し示す方向を認識することを特徴とする。
【0014】
第2の発明は、第1の発明の環境認識装置において、前記矢印信号抽出手段は、少なくとも前記赤または黄の信号灯までの前記実空間上の距離が前記第一の所定区間より自車両に近い第二の所定区間内にある場合には、前記矢印信号が指し示す方向を認識する手法として、前記画像中における前記矢印信号の左右または上下の対称性に基づいて、前記矢印信号が指し示す方向を認識することを特徴とする。
【0015】
第3の発明は、第2の発明の環境認識装置において、前記矢印信号抽出手段は、前記画像中に、前記矢印信号に対応する画素領域に外接する画像領域を設定し、当該画像領域の中心を通る上下方向または左右方向に延在する直線で当該画像領域を分割し、分割された各画像領域にそれぞれ含まれる前記矢印信号に対応する画素領域に属する画素数を比較することで、前記左右または上下の対称性を判定することを特徴とする。
【0016】
第4の発明は、第2または第3の発明の環境認識装置において、前記矢印信号抽出手段は、少なくとも前記赤または黄の信号灯までの前記実空間上の距離が前記第二の所定区間より自車両に近い第三の所定区間内にある場合には、前記矢印信号が指し示す方向を認識する手法として、前記矢印信号を形成するアローヘッド部とアローシャフト部に対応する前記画像中の各画素領域の相互の位置関係に基づいて、前記矢印信号が指し示す方向を認識することを特徴とする。
【0017】
第5の発明は、第4の発明の環境認識装置において、前記矢印信号抽出手段は、前記矢印信号を形成するアローヘッド部とアローシャフト部に対応する前記画像中の前記各画素領域を、前記各画素領域にそれぞれ属する各画素数を比較することで識別することを特徴とする。
【0018】
第6の発明は、第4または第5の発明の環境認識装置において、前記矢印信号抽出手段は、前記アローヘッド部と前記アローシャフト部とにそれぞれ対応する前記各画素領域の各中心点をそれぞれ算出し、前記各中心点を結ぶベクトルの方向性に基づいて、前記矢印信号が指し示す方向を認識することを特徴とする。
【0019】
第7の発明は、第1から第6のいずれかの発明の環境認識装置において、
さらに、前記画像から道路面を検出する路面検出手段を備え、
前記赤信号等検出手段は、前記グループの実空間上の距離および前記グループの前記画像中での座標に基づいて算出した当該グループの実空間上の大きさと、前記路面検出手段が検出した前記道路面の実空間上の高さに基づいて、信号機の赤または黄の信号灯を検出することを特徴とする。
【0020】
第8の発明は、環境認識装置において、
画素ごとに画像データを有する画像を撮像する撮像手段と、
前記画像の各画素について実空間上の距離を検出する距離検出手段と、
前記画像において互いに隣接する画素の各画像データに基づいて当該隣接する画素を1つのグループに統合する統合処理手段と、
前記グループに属する前記各画素および前記グループの周囲に存在する前記各画素に対応する前記実空間上の各距離に基づいて、前記グループの実空間上の距離を算出する距離算出手段と、
前記グループの実空間上の距離および前記グループの前記画像中での座標に基づいて算出した当該グループの実空間上の大きさおよび道路面からの実空間上の高さに基づいて、信号機の赤または黄の信号灯を検出する赤信号等検出手段と、
検出された前記赤または黄の信号灯の前記画像中の位置に基づいて矢印信号が撮像されている可能性がある画像領域を探索領域として設定し、前記探索領域内に撮像されている前記矢印信号を抽出する矢印信号抽出手段と、
を備え、
前記矢印信号抽出手段は、前記矢印信号が指し示す方向を認識する手法として互いに異なる手法で前記矢印信号が指し示す方向を認識する認識手段を複数備え、自車両から前記赤または黄の信号灯までの前記実空間上の距離に応じて前記複数の認識手段のうちのいずれかの前記認識手段が認識した前記方向を選択して出力することを特徴とする。
【発明の効果】
【0021】
第1の発明によれば、少なくとも信号機Sの赤信号や黄信号までの実空間上の距離が自車両から遠い第一の所定区間内にある場合には、画像中における矢印信号と赤信号等との相互の位置関係に基づいて矢印信号が指し示す方向を認識するため、従来のテンプレートマッチングにより矢印信号が指し示す方向を検出する手法ではその方向を検出することができなかった自車両から非常に遠い位置にある信号機(例えば図31参照)についても、矢印信号が指し示す方向を的確に認識して検出することが可能となる。
【0022】
そのため、信号機がまだ自車両から遠い位置にある段階から、信号機の矢印信号を的確に認識して、その情報を自車両の自動走行制御等に用いたり、ドライバに対して適切に警告する等の制御を行うことが可能となる。
【0023】
第2の発明によれば、自車両から赤信号等までの実空間上の距離が第一の所定区間より自車両に近い第二の所定区間にある場合(例えば図30参照)も、やはり従来のテンプレートマッチングによる手法では矢印信号が指し示す方向を検出することが困難であったが、画像中における矢印信号の左右の対称性や上下の対称性に基づいて矢印信号の方向を的確に認識することが可能となる。
【0024】
そのため、前記発明の効果に加え、自車両から比較的遠い位置にある信号機についても、矢印信号が指し示す方向を的確に認識して検出することが可能となる。そのため、信号機がまだ自車両から比較的遠い位置にある段階から、信号機の矢印信号を的確に認識して、その情報を自車両の自動走行制御等に用いたり、ドライバに対して適切に警告する等の制御を行うことが可能となる。
【0025】
第3の発明によれば、画像中に設定した矢印信号に対応する画素領域に外接する画像領域を、その中心を通る上下方向や左右方向に延在する直線で各画像領域を分割し、分割された各画像領域にそれぞれ含まれる矢印信号に対応する画素領域に属する画素数を比較して左右の対称性や上下の対称性を判定することで、上記の矢印信号の左右の対称性や上下の対称性を的確に判定することが可能となる。
【0026】
そして、的確に判定された左右の対称性や上下の対称性に基づいて、矢印信号が指し示す方向を的確に認識することが可能となり、前記第2の発明の効果がより的確に発揮させることが可能となる。
【0027】
第4の発明によれば、前記各発明の効果に加え、信号機の赤信号等までの実空間上の距離が第二の所定区間より自車両に近い第三の所定区間内にある場合に、矢印信号を形成するアローヘッド部とアローシャフト部に対応する画像中の各画素領域の相互の位置関係に基づいて矢印信号が指し示す方向を認識するため、自車両に近い位置にある信号機(例えば図29参照)について、矢印信号が指し示す方向を的確に認識して検出することが可能となる。
【0028】
そのため、前記各発明の効果に加え、信号機の赤信号等までの実空間上の距離が自車両に近い第三の所定区間内にある場合にも、的確に認識された矢印信号が指し示す方向の情報を自車両の自動走行制御等に用いたり、ドライバに対して適切に警告する等の制御を行うことが可能となる。
【0029】
また、それとともに、従来のテンプレートマッチングを用いる手法では処理が重くなり、処理に時間がかかってリアルタイム性が損なわれる可能性があり、また、変則的な矢印信号に対応するテンプレートが用意されていない場合には矢印信号の方向を認識することができなくなるといった問題が生じ得るが、上記のように構成することで、処理はさほど重くならず、リアルタイム性が確保されるとともに、変則的な矢印信号が標示される場合であっても矢印信号の方向を的確に認識することが可能となる。
【0030】
第5の発明によれば、矢印信号を形成するアローヘッド部とアローシャフト部に対応する画像中の各画素領域を、各画素領域にそれぞれ属する各画素数を比較して識別することで、各画素領域を、アローヘッド部とアローシャフト部とに的確に対応付けることが可能となり、前記第4の発明の効果をより的確に発揮させることが可能となる。
【0031】
第6の発明によれば、アローヘッド部とアローシャフト部とにそれぞれ対応する各画素領域の各中心点を結ぶベクトルの方向性に基づいて矢印信号が指し示す方向を認識することで、変則的な矢印信号も含めて矢印信号が指し示す方向をベクトルの方向性として認識することが可能となり、矢印信号の方向をより的確に認識することが可能となる。そのため、前記各発明の効果をより的確に発揮させることが可能となる。
【0032】
第7の発明によれば、路面検出手段が検出した路面自体の実空間上での高さと、画像中に抽出された赤信号等に対応するグループの実空間上の高さとに基づいて、赤信号等の実際の路面からの高さを算出することが可能となり、それに基づいて信号機の赤信号等を検出することが可能となる。
【0033】
そのため、前記各発明の効果に加え、画像中に抽出された赤信号等に対応する可能性があるグループを、赤信号等に対応するグループであると的確に認識した上で、それ以降の各処理を行うことが可能となり、赤信号等の検出精度や、矢印信号の検出精度、矢印信号が指し示す方向の認識精度等を確実に向上させることが可能となる。
【0034】
第8の発明によれば、矢印信号抽出手段に、矢印信号が指し示す方向を認識する手法として互いに異なる手法を採用する認識手段を複数設け、自車両から赤信号等までの実空間上の距離に応じて上記の複数の認識手段のうちのどの認識手段が認識した矢印信号が指し示す方向を選択して出力するように構成しても、前記各発明の効果と同等の有益な効果を発揮させることが可能となる。
【図面の簡単な説明】
【0035】
【図1】本実施形態に係る環境認識装置の構成を示すブロック図である。
【図2】撮像手段で撮像される基準画像の例を示す図である。
【図3】距離検出手段のイメージプロセッサによるステレオマッチング処理を説明する図である。
【図4】作成された距離画像の例を示す図である。
【図5】基準画像の水平ライン上を探索して検出された車線候補点の例を説明する図である。
【図6】自車両の左右に検出された車線の例を説明する図である。
【図7】形成された車線モデルの例を説明する図であり、(A)はZ−X平面上の水平形状モデル、(B)はZ−Y平面上の道路高モデルを表す。
【図8】基準画像上に撮像された赤信号の例を示す図である。
【図9】検出した画素の上下方向に探索して検出された第2の条件を満たす画素およびグループを示す図である。
【図10】図9の画素列の右隣の画素列におけるグループの検出の手法を説明する図である。
【図11】グループの縦方向の長さの変化を説明する図であり、(A)は最大値になった場合、(B)は最大値より短い場合、(C)は(B)よりさらに短い場合を表す。
【図12】グループの縦方向の長さが最小値より増加した場合を説明する図である。
【図13】グループの範囲の上下に近接し実空間上の距離が検出されている各画素を表す図である。
【図14】グループの左右端の各画素および上下端の各画素を説明する図である。
【図15】矢印信号抽出手段における矢印信号の抽出処理および矢印信号が指し示す方向の認識処理の処理手順を示すフローチャートである。
【図16】縦型の信号機およびその側方に設けられた矢印信号を表す図である。
【図17】基準画像の赤信号に対応するグループの下方および左右の側方に設定された探索領域を表す図である。
【図18】自車両から赤信号までの実空間上の距離を区分する第一の所定区間Sec1、第二の所定区間Sec2、第三の所定区間Sec3を説明する図である。
【図19】矢印信号抽出手段での認識手法1における矢印信号が指し示す方向の認識処理の処理手順を示すフローチャートである。
【図20】抽出した矢印信号に対応する画素領域と赤信号に対応するグループとの位置関係を説明する図である。
【図21】信号機が縦型の信号機である場合の抽出した矢印信号に対応する画素領域と赤信号に対応するグループとの位置関係を説明する図である。
【図22】矢印信号抽出手段での認識手法2における矢印信号が指し示す方向の認識処理の処理手順を示すフローチャートである。
【図23】矢印信号に対応する画素領域に外接する画像領域やその中心を通る直線等を説明する図である。
【図24】矢印信号が右折可を示す矢印信号である場合の矢印信号に対応する画素領域に外接する画像領域やその中心を通る直線等を説明する図である。
【図25】矢印信号抽出手段での認識手法3における矢印信号が指し示す方向の認識処理の処理手順を示すフローチャートである。
【図26】矢印信号のアローヘッド部やアローシャフト部に対応する各画素領域や各中心点、中心点同士を結ぶベクトル等を説明する図である。
【図27】矢印信号が変則的である場合のアローヘッド部やアローシャフト部、各中心点、中心点同士を結ぶベクトル等を説明する図である。
【図28】(A)〜(C)は赤信号等の他に矢印信号が設けられた一般的な信号機の例を示す図である。
【図29】自車両から信号機までの距離が近い場合に撮像される赤信号や矢印信号の画像の例を示す写真である。
【図30】自車両から信号機までの距離がやや遠い場合に撮像される赤信号や矢印信号の画像の例を示す写真である。
【図31】自車両から信号機までの距離がさらに遠い場合に撮像される赤信号や矢印信号の画像の例を示す写真である。
【発明を実施するための形態】
【0036】
以下、本発明に係る環境認識装置の実施の形態について、図面を参照して説明する。
【0037】
本実施形態に係る環境認識装置1は、図1に示すように、撮像手段2や距離検出手段6、統合処理手段10等を有する処理部9等を備えて構成されている。
【0038】
なお、距離検出手段6等を含む処理部9の上流側の構成については、本願出願人により先に提出された特開2006−72495号公報等に詳述されており、構成の詳細な説明はそれらの公報に委ねる。以下、簡単に説明する。
【0039】
本実施形態では、撮像手段2は、互いに同期が取られたCCDやCMOSセンサ等のイメージセンサがそれぞれ内蔵され、例えば車両のルームミラー近傍に車幅方向に所定の間隔をあけて取り付けられた一対のメインカメラ2aおよびサブカメラ2bからなるステレオカメラであり、所定のサンプリング周期で撮像して、一対の画像を出力するように構成されている。
【0040】
一対のカメラのうち、メインカメラ2aは運転者に近い側のカメラであり、例えば図2に示すような画像Tを撮像するようになっている。サブカメラ2bで撮像された画像と区別するために、以下、メインカメラ2aで撮像された画像Tを基準画像T、サブカメラ2bで撮像された画像(図示省略)を比較画像Tcという。
【0041】
なお、本実施形態では、撮像手段2のメインカメラ2aおよびサブカメラ2bでは、それぞれRGB値等で表されるカラーの画像データDが取得されるようになっているが、モノクロの画像データを撮像する撮像手段を用いることも可能であり、その場合についても本発明が適用される。
【0042】
また、以下、カラーの画像データDが、RGB値、すなわちRGB表色系におけるR(赤)、G(緑)、B(青)の色成分の各輝度(R,G,B)として出力される場合について説明するが、RGB値を例えばL*a*b*表色系やHLS(HSL、HSIともいう。)等で記述される各データ値に変換して処理を行うように構成することも可能である。さらに、上記のようにモノクロの画像データが取得される場合には、画像データは各画素の輝度で表される。
【0043】
変換手段3は、一対のA/Dコンバータ3a、3bで構成されており、撮像手段2のメインカメラ2aおよびサブカメラ2bで各画素ごとに撮像された基準画像Tと比較画像Tcの各画像データDがそれぞれ順次送信されてくると、各画像データDのRGB値をそれぞれ例えば0〜255の輝度のデジタル値に変換して画像補正部4に出力するようになっている。
【0044】
画像補正部4は、送信されてきた基準画像Tと比較画像Tcの各画像データDに対してずれやノイズの除去、輝度の補正等の画像補正をそれぞれ順次行い、画像補正した基準画像Tと比較画像Tcの各画像データDを画像データメモリ5に順次格納するとともに、処理部9に順次送信するようになっている。また、画像補正部4は、画像補正した基準画像Tと比較画像Tcの各画像データDを距離検出手段6にも順次送信するようになっている。
【0045】
距離検出手段6のイメージプロセッサ7では、基準画像Tと比較画像Tcの各画像データに対して順次ステレオマッチング処理やフィルタリング処理を施して、実空間上の距離に対応する視差dpを基準画像Tの各画素ごとに順次算出するようになっている。
【0046】
イメージプロセッサ7におけるステレオマッチング処理では、基準画像Tと比較画像Tcの各画像データDが送信されてくると、図3に示すように、基準画像T上に例えば3×3画素や4×4画素等の所定の画素数の基準画素ブロックPBを設定し、基準画素ブロックPBに対応する比較画像Tc中のエピポーララインEPL上の基準画素ブロックPBと同形の各比較画素ブロックPBcについて、下記(1)式に従って当該基準画素ブロックPBとの輝度パターンの差異であるSAD値を算出し、SAD値が最小の比較画素ブロックPBcを特定するようになっている。
SAD=Σ|D1s,t−D2s,t|
=Σ{|R1s,t−R2s,t|+|G1s,t−G2s,t|
+|B1s,t−B2s,t|} …(1)
【0047】
なお、上記(1)式において、D1s,t等は基準画素ブロックPB中の各画素の画像データD等を表し、D2s,t等は比較画素ブロックPBc中の各画素の画像データD等を表す。また、上記の総和は、基準画素ブロックPBや比較画素ブロックPBcが例えば3×3画素の領域として設定される場合には1≦s≦3、1≦t≦3の範囲、4×4画素の領域として設定される場合には1≦s≦4、1≦t≦4の範囲の全画素について計算される。
【0048】
イメージプロセッサ7は、このようにして基準画像Tの各基準画素ブロックPBについて、特定した比較画素ブロックPBcの比較画像Tc上の位置と当該基準画素ブロックPBの基準画像T上の位置から視差dpを順次算出するようになっている。以下、基準画像Tの各画素に視差dpを割り当てた画像を距離画像Tzという。また、このようにして各画素ごとに算出された視差dpの情報すなわち距離画像Tzは、距離検出手段6の距離データメモリ8に順次格納されるとともに、処理部9に順次送信されるようになっている。
【0049】
なお、実空間上で、前記一対のカメラ2a、2bの中央真下の道路面上の点を原点とし、自車両の車幅方向(すなわち左右方向)をX軸方向、車高方向(すなわち上下方向)をY軸方向、車長方向(すなわち距離方向)をZ軸方向とした場合、実空間上の点(X,Y,Z)と、距離画像Tz上の画素の座標(i,j)および視差dpすなわち(i,j,dp)とは、下記(2)〜(4)式で表される三角測量の原理に基づく座標変換により1対1に対応付けることができる。
X=CD/2+Z×PW×(i−IV) …(2)
Y=CH+Z×PW×(j−JV) …(3)
Z=CD/(PW×(dp−DP)) …(4)
【0050】
上記各式において、CDは一対のカメラの間隔、PWは1画素当たりの視野角、CHは一対のカメラの取り付け高さ、IVおよびJVは自車両正面の無限遠点の距離画像Tz上のi座標およびj座標、DPは消失点視差を表す。
【0051】
また、イメージプロセッサ7は、視差dpの信頼性を向上させる目的から、上記のようなステレオマッチング処理で得られた視差dpに対してフィルタリング処理を施し、有効とされた視差dpのみを出力するようになっている。
【0052】
例えば、道路面の映像のみからなる特徴に乏しい4×4画素の基準画素ブロックPBに対して、比較画像Tc上でステレオマッチング処理を行っても、比較画像Tcの道路面が撮像されている部分ではすべて相関が高くなるため、対応する比較画素ブロックPBcが特定されて視差dpが算出されてもその視差dpの信頼性は低い。
【0053】
そのため、そのような視差dpはフィルタリング処理を施して無効とし、視差dpの値として0を出力するようになっている。そして、0が割り当てられた視差dpは、上記(4)式等に従った実空間上の座標(Z,Y,Z)への変換は行われない。すなわち、視差dpは、少なくとも実空間上の距離Zが不明であることを意味する。
【0054】
そして、基準画像Tの各画素に、有効に算出された視差dpを割り当てて(すなわち対応付けて)距離画像Tzを作成すると、距離画像Tzは、例えば図4に示すように、基準画像T上で有意な特徴を有する部分である撮像対象の辺縁部分(エッジ部分)等に有効な視差dpが算出された画像となる。なお、距離画像Tzの作成においては、上記(4)式等に従って予め視差dpを距離Z等に換算し、距離Z等を基準画像Tの各画素に割り当てて作成するように構成することも可能である。
【0055】
本実施形態では、処理部9の統合処理手段10や距離算出手段11、マッチング処理手段12等における各処理では、必要に応じて、上記(2)〜(4)式に従って距離画像Tzの各画素のi座標やj座標、視差dpが、実空間上のX座標(すなわち左右方向の位置)やY座標(すなわち上下方向の位置)、距離Zに変換されて用いられる。
【0056】
なお、本実施形態では、上記のように、撮像手段2としてメインカメラ2aとサブカメラ2bとを備え、距離検出手段6は、それらで撮像された基準画像Tおよび比較画像Tcに対するステレオマッチング処理により基準画像Tの各画素について実空間上の距離Z(すなわち視差dp)を算出するように構成されているが、これに限定されず、撮像手段2は例えば単眼のカメラのように1枚の画像Tのみを出力するものであってもよい。
【0057】
また、距離検出手段6は、実空間上の距離Zを算出又は測定して画像Tの各画素に割り当てる機能を有していればよく、例えば自車両前方にレーザ光等を照射してその反射光の情報に基づいて画像Tに撮像された撮像対象までの距離Zを測定するレーダ装置等で構成することも可能であり、検出の手法は特定の手法に限定されない。
【0058】
処理部9は、本実施形態では、図示しないCPU(Central Processing Unit)やROM(Read Only Memory)、RAM(Random Access Memory)、入出力インターフェース等がバスに接続されたコンピュータや、専用回路で構成されている。処理部9は、統合処理手段10や距離算出手段11、赤信号等検出手段12、矢印信号抽出手段13を備えて構成されている。また、本実施形態では、処理部9には、さらに車線検出手段14と路面検出手段15も設けられている。
【0059】
また、処理部9に、車速センサやヨーレートセンサ、ステアリングホイールの舵角を測定する舵角センサ等のセンサ類Qが接続されており、それらから各測定値が入力されるようになっている。なお、処理部9において先行車両検出等の他の処理を行うように構成することも可能である。
【0060】
ここで、本実施形態の処理部9の統合処理手段10等における処理について説明する前に、車線検出手段14や路面検出手段15における処理について説明する。
【0061】
なお、以下の説明において、車線とは、追越し禁止線や路側帯と車道とを区画する区画線等の道路面上に標示された連続線や破線をいう。また、本実施形態では、以下に説明するように、車線検出手段14で道路面に標示された車線を検出し、路面検出手段15でその検出結果に基づいて道路面を検出するように構成されているが、路面検出手段15は道路面を検出することができるものであれば以下に説明する形態に限定されない。
【0062】
車線検出手段14は、撮像手段2により撮像された基準画像T中から自車両側方の車線を検出するようになっている。具体的には、車線検出手段14は、図5に示すように、基準画像Tを用いて、その1画素幅の水平ラインj上を例えば基準画像Tの中央から左右方向に探索し、輝度が隣接する画素の輝度から設定された閾値以上に大きく変化する画素を車線候補点cl、crとして検出する。
【0063】
なお、この場合、画素の輝度として、例えば上記のように撮像手段2で撮像される画像がモノクロ画像である場合には、撮像された画像の各画素の画像データである画素ごとの輝度が用いられ、また、本実施形態のように撮像手段2で撮像される画像がカラー画像である場合には、例えば各画素ごとの輝度(R,G,B)の各色成分R、G、Bの和が画素ごとの輝度として用いられる。或いは、各色成分の値を参照して画素ごとの輝度を決めるように構成することも可能である。
【0064】
そして、車線検出手段14は、基準画像T上の水平ラインjを1画素分ずつ上方にシフトさせながら、同様にして各水平ラインj上に車線候補点cl、crを検出していく。その際、車線検出手段14は、検出した車線候補点の視差dp等に基づいて当該車線候補点cl、crが道路面上にないと判断した場合には当該車線候補点cl、crを車線候補点から除外する。
【0065】
なお、この場合、今回のサンプリング周期での道路面は、後述するように、車線検出手段14が検出した車線LL、LR(後述する図6参照)に基づいて検出されるため、車線検出手段14での車線検出処理の際には、今回のサンプリング周期での道路面はまだ検出されていない。そこで、今回のサンプリング周期では、例えば、前回のサンプリング周期で路面検出手段15が検出した道路面の位置の情報と、前回のサンプリング周期から今回のサンプリング周期までの自車両の挙動等に基づいて道路面の位置が推定される。
【0066】
そして、車線検出手段14は、残った車線候補点cl、crのうち、距離方向において自車両に近い側の車線候補点cl、crに基づいて、自車両の左右に、各車線を、ハフ変換等により直線で近似してそれぞれ検出する。そして、それより遠い側では、その直線に基づいて直線との位置関係等から車線候補点cl、crを選別して結んでいくことで、図6に示すように、自車両の左右にそれぞれ車線LL、LRを検出するようになっている。
【0067】
なお、以上の車線検出手段14の処理構成については、本願出願人が先に提出した特開2006−331389号公報等に詳述されており、詳しくは同公報等を参照されたい。また、車線検出手段14は、このようにして検出した車線位置LL、LRや車線候補点cl、cr等の情報を図示しないメモリに保存するようになっている。
【0068】
路面検出手段15は、車線検出手段14が検出した車線位置LL、LRや車線候補点cl、crの情報に基づいて車線モデルを三次元的に形成するようになっている。
【0069】
本実施形態では、路面検出手段15は、図7(A)、(B)に示すように、自車両の左右の各車線を所定区間ごとに三次元の直線式で近似し、それらを折れ線状に連結して表現した車線モデルを形成するようになっている。なお、図7(A)は、Z−X平面上の車線モデルすなわち水平形状モデル、図7(B)は、Z−Y平面上の車線モデルすなわち道路高モデルを表す。
【0070】
具体的には、路面検出手段15は、自車両の前方の実空間を自車両の位置(すなわち図7(A)、(B)におけるZ=0の位置)からの例えば距離Z7までの各区間に分け、検出した車線候補点cl、crの実空間上の位置(X,Y,Z)に基づいてそれぞれの区間内の車線候補点cl、crを最小二乗法で直線近似し、各区間ごとに下記の(5)〜(8)式のパラメータaL、bL、aR、bR、cL、dL、cR、dRを算出して車線モデルを形成するようになっている。
【0071】
[水平形状モデル]
左車線 X=aL・Z+bL …(5)
右車線 X=aR・Z+bR …(6)
[道路高モデル]
左車線 Y=cL・Z+dL …(7)
右車線 Y=cR・Z+dR …(8)
【0072】
路面検出手段15は、このようにして車線モデルを形成して、実空間上における道路面を検出するようになっている。また、路面検出手段15は、このようにして形成した車線モデルすなわち算出した各区間のパラメータaL〜dRをそれぞれメモリに保存するようになっている。
【0073】
次に、処理部9(図1参照)の統合処理手段10や距離算出手段11、赤信号等検出手段12、矢印信号抽出手段13における各処理について説明するとともに、本実施形態に係る環境認識装置1の作用についてもあわせて説明する。
【0074】
なお、以下では、信号機Sの赤信号Lr(すなわち赤の信号灯Lr。図28(A)〜(C)参照)を検出する場合について説明するが、各処理における色成分の輝度に関する条件等を変更すれば、黄信号Ly(すなわち黄の信号灯Ly)を検出するように構成することができる。そこで、赤信号Lrと黄信号Lyの検出処理を同時並行で行うように構成することも可能である。
【0075】
また、本実施形態では、処理を行う対象として、撮像手段2のメインカメラ2aで撮像された基準画像Tを用いるように構成されているが、撮像手段2のサブカメラ2bで撮像された比較画像Tcを用いるように構成することも可能であり、また、それらの両方を用いるように構成することも可能である。
【0076】
なお、本実施形態における統合処理手段10や距離算出手段11、赤信号等検出手段12での各処理構成については、本願出願人が先に提出した特開2010−224925号公報に詳述されており、詳しくは同公報等を参照されたい。以下、統合処理手段10や距離算出手段11、赤信号等検出手段12での各処理について、その要点を説明する。
【0077】
統合処理手段10は、基準画像T中において互いに隣接する画素pについて、当該隣接する画素pの各画像データDに基づいて当該隣接する画素pを1つのグループに統合するか否かを判定し、統合すべきと判定した場合に1つのグループgに統合するようになっている。
【0078】
本実施形態では、統合処理手段10は、基準画像T中の各画素pを探索し、画像データDについての予め設定された第1の条件を満たす画像データDを有する画素p(以下、注目画素p(i,j)という。)を検出すると、注目画素p(i,j)の周囲に隣接する各画素pを探索する。
【0079】
そして、第1の条件よりも広い範囲に設定された第2の条件を満たす画像データDを有する画素pを検出すると、注目画素p(i,j)と統合して1つのグループgとする。そして、さらに当該グループgの周囲に隣接する各画素pを探索し、第2の条件を満たす画像データDを有する画素pを検出すると当該グループgに統合するようになっている。
【0080】
具体的には、統合処理手段10は、撮像手段2のメインカメラ2aから基準画像Tの各画素pの画像データDが送信されてくると、基準画像T中の各画素pを探索し、画像データDについての予め設定された下記の第1の条件を満たす画像データDを有する画素pが探索する。
【0081】
[第1の条件]
第1の条件としては、例えば、画素pの画像データDの赤、緑、青の各色成分の輝度R、G、Bがそれぞれ例えば0〜255の輝度で表現される場合、
R≧200、かつ、G、B<200 …(9)
を満たす画素pがあれば、その画素pを注目画素p(i,j)として検出するように設定されている。
【0082】
信号機Sの赤信号Lrが撮像手段2で撮像されると、基準画像T上では、図8に示すように、赤信号Lrの中心部分Lcが赤みがかった白色に撮像され、その部分の画素pの画像データDのR、G、Bの各色成分の輝度が全て200を越えるほど大きな値として検出される。これは、赤信号Lrに限った現象ではなく、例えば、信号機の青信号Lbのような緑色の光を放つ信号灯でも、やはり基準画像T上では光源の中心部分が緑色っぽい白色に撮像される。
【0083】
そのような場合に、第1の条件として赤信号Lrの中心部分Lcを検出することを目的として、第1の条件を、例えば後述する第2の条件の[条件2b]のように、
R、G、B>200、かつ、R≧G、R≧B …(10)
と設定すると、基準画像T中に撮像された空など白っぽく明るく撮影された対象が全て検出されてしまうため、信号機Sの赤信号Lrのような赤い光を放つ光源を効率良く検出できない。
【0084】
そのため、本実施形態では、赤信号Lrの中心部分Lcのように白く撮像された画素pではなく、その周囲の、赤く、かつ、明るく撮像された画素領域Llの画素pを最初に検出するように構成されている。
【0085】
統合処理手段10は、基準画像T上に上記の第1の条件を満たす画像データDを有する注目画素p(i,j)を検出すると、続いて、図9に示すように、検出した注目画素p(i,j)を含む基準画像T中で上下方向に延在する1画素幅の画素列pls上を上下方向に1画素シフトさせながら、各画素pの画像データDが、上記の第1の条件よりも広い範囲に設定された下記の第2の条件を満たすか否かを判定する。
【0086】
[第2の条件]
[条件2a]R≧165、かつ、G、B<150 …(11)
[条件2b]R、G、B>200、かつ、R≧G、R≧B …(12)
[条件2c]R≧200、かつ、G、B<200 …(13)
【0087】
ここで、第2の条件の[条件2a]は、赤信号Lrに特有の赤色を有するが、その明るさが上記の第1の条件で規定されるような明るく撮像された画素領域Llの画素pではなく、画素領域Llの周囲に撮像された、より暗い画素領域Ld(図8参照)の画素pを検出するための条件である。
【0088】
また、第2の条件の[条件2b]は、前述したように、赤信号Lrに特定の赤色を有し、かつ、その明るさが第1の条件で規定される明るさよりもさらに明るく、白っぽく撮像された赤信号Lrの中心部分の画素領域Lcを検出するための条件である。
【0089】
さらに、第2の条件の[条件2c]は上記の第1の条件と同じ条件であり、注目画素p(i,j)と同じく画素領域Llにある画素pを検出するための条件である。
【0090】
統合処理手段10は、例えば、注目画素p(i,j)の上側に隣接する各画素p(i,j+1)の画像データDが上記の第2の条件を満たすと判定すると、画素p(i,j+1)を注目画素p(i,j)と統合して1つのグループgとするようにして、画素列pls上を上下方向に1画素シフトさせながら各画素pの画像データDが上記の第2の条件を満たすか否かを判定して、第2の条件のいずれの条件も満たさない画素pが出現するまで、第2の条件を満たす画素pをグループgに統合していく。
【0091】
そして、統合処理手段10は、図10に示すように、画素列pls上で統合したグループgの上端の画素pの座標(i,jmax)と下端の画素pの座標(i,jmin)をそれぞれメモリに保存し、続いて、探索するを画素列plを画素列plsから基準画像T上の右方向および左方向にシフトさせながら、同様にして画素pの探索およびグループgへの統合処理を行う。
【0092】
なお、前述したように、距離検出手段6で基準画像Tの各画素pに算出された視差dpが割り当てられて距離画像Tzが作成されている。そこで、その視差dpを利用して、上記の画素pのグループgへの統合処理において、例えば、画素pが上記の第2の条件を満たしていても、当該画素pに対応する視差dpと隣接する画素pに対応する視差dpとの差異が閾値を越えて大きい場合には、当該画素pをグループgに統合しないように構成することも可能である。
【0093】
一方、本実施形態では、統合処理手段10は、ある画素pをグループgに統合するか否かの判定において、仮に画素pをグループgに統合した場合に、基準画像T上でのグループgの全体の形状が赤信号Lrの形状である円形状でなくなる場合には、当該画素pをグループgに統合せず、また、その時点で統合処理を終了するようになっている。
【0094】
具体的には、統合処理手段10で、各画素列pls、plにおけるグループgの上端の画素pから下端の画素pまでの画素数rを監視するように構成し、例えば図11(A)に示すように各画素列pls、plにおけるグループgの上下方向の画素数rが一旦最大値rmaxとなり、図11(B)に示すように画素列plにおけるグループgの上下方向の画素数rが最大値rmaxを下回り、図11(C)に示すように画素列plにおけるグループgの上下方向の画素数rの減少傾向が続いて、画素列plにグループgが発見できなくなれば、すなわち第2の条件も満たす画素pが見出されなくなれば、その時点で右方向や左方向の画素列での探索を停止する。
【0095】
また、図12に示すように画素列plにおけるグループgの上下方向の画素数rが減少して一旦最小値rminとなった後、再び最小値rminより大きな値になった場合には、基準画像T上でのグループgの全体の形状が円形状でなくなるため、画素列plで右方向や左方向の画素列での探索をそこで停止し、その直前の最小値rminを与えた画素列までをグループgが検出された範囲とするようになっている。
【0096】
統合処理手段10は、上記のようにして各画素pをグループgに統合する統合処理を終了すると、基準画像T上で探索していない画素pがなくなるまで上記の統合処理を繰り返して、基準画像T上に各グループgを統合して形成するようになっている。
【0097】
距離算出手段11は、統合処理手段10により統合された各グループgについて、実空間上の距離Zgを算出するようになっている。
【0098】
距離算出手段11は、統合処理手段10により統合された各グループgについて、当該グループgに属する各画素pに割り当てられた各視差dpに基づいて、上記(4)式に従って算出した実空間上の各距離Zの平均値や中央値等を、当該グループgの実空間上の距離Zgとして算出するように構成することが可能である。
【0099】
しかし、前述した距離検出手段6(図1参照)におけるフィルタリング処理で、当該グループgに属する各画素pに0の視差dpが割り当てられている可能性があり、このような場合には、上記の手法ではグループgの実空間上の距離Zgを算出することができない。
【0100】
そこで、本実施形態では、距離算出手段11は、グループgに属する各画素pに対応する実空間上の各距離Zだけでなく、図13に示すように、基準画像T上でグループgの周囲に存在する各画素p*に対応する実空間上の各距離Zをも用い、それらの各画素p、p*の実空間上の各距離Zの平均値や中央値等を、当該グループgの実空間上の距離Zgとして算出するようになっている。
【0101】
なお、これらの各画素p、p*の実空間上の各距離Zを、例えばヒストグラムに投票し、その最頻値が属する階級の階級値を、当該グループgの実空間上の距離Zgとするように構成することも可能である。
【0102】
次に、赤信号等検出手段12は、各グループgの実空間上の距離Zgおよびグループgの画像中での座標(i,j)に基づいて当該グループgの実空間上の大きさや道路面からの実空間上の高さを算出し、算出した実空間上の大きさや道路面からの高さに基づいて、信号機Sの赤信号Lr(或いは黄信号Ly)を検出するようになっている。
【0103】
具体的には、まず、グループgの実空間上の大きさについては、図14に示すように、グループgの左端の画素pのi座標Iminと右端の画素pのi座標Imax、および上端の画素pのj座標Jmaxと下端の画素pのj座標Jminを検出し、上記(2)〜(4)式に従って各画素pに対応する実空間上の位置(X,Y)を算出する。そして、右端と左端のX座標の差を算出してグループgの左右方向の実空間上の大きさとし、上端と下端のY座標の差を算出してグループgの上下方向の実空間上の大きさとする。
【0104】
そして、通常の場合、信号機Sの信号灯Lは直径が30cmや35cm程度の円形に形成されるため、信号灯からの光の漏れ出しも含めて、本実施形態では、赤信号等検出手段12は、各グループgの左右方向および上下方向の実空間上の大きさが例えば40cm以内の範囲内にあるか否かをチェックするようになっている。
【0105】
また、道路面からの実空間上の高さについては、赤信号等検出手段12は、グループgの左端の画素pと右端の画素pの各i座標Imin、Imax中間点のi座標Ic、および上端の画素pと下端の画素pのj座標Jmax、Jminとの中間点Jcをそれぞれi座標、j座標とするグループgの中心点Gcを算出する。そして、このJcとグループgの実空間上の距離Zgとを上記(3)式に代入して、グループgの中心点Gcの実空間上の高さYcを算出する。
【0106】
また、赤信号等検出手段12は、路面検出手段15が検出した実空間上の道路面の道路高モデル(図7(B)参照)をメモリから読み出して、前述したグループgの実空間上の距離Zgにおける道路面の高さY*を算出する。そして、グループgの道路面からの実空間上の高さを、グループgの中心点Gcの実空間上の高さYcと道路面の高さY*との差分Yc−Y*として算出するようになっている。
【0107】
そして、通常の場合、信号機の信号灯は道路面からの高さが5m以上の高さに設置されるため、本実施形態では、多少幅を持たせて、赤信号等検出手段12は、上記のようにして算出したグループgの道路面からの実空間上の高さYc−Y*が例えば4m以上の範囲内にあるか否かをチェックするようになっている。
【0108】
なお、グループgの実空間上の距離Zgにおける道路面の高さY*は、各区間ごとに上記(7)式および(8)式で与えられる道路高モデルから線形補間する等して求めることができる。さらに、道路高モデルを含む車線モデルは、路面検出手段15によって今回のサンプリング周期における車線モデルが検出されていればそれを用い、今回のサンプリング周期での車線モデルがまだ検出されていなければ、前述したように、前回のサンプリング周期で検出した車線モデルに基づいてその後の自車両の挙動等から今回のサンプリング周期における車線モデルが推定されて用いられる。
【0109】
また、基準画像T中に、複数の信号機Sが撮像されており、赤信号Lrが複数撮像されている場合がある。そのため、本実施形態では、赤信号等検出手段12は、上記のようにして算出したグループgの中心点Gcの実空間上の位置(Xc,Yc,Zg)と、路面検出手段15が検出した実空間上の道路面の水平形状モデル(図7(A)参照)とを対比して、自車両が走行する進行路上やその近傍に存在し、最も自車両に近い位置にある信号機Sを選択するようになっている。
【0110】
本実施形態では、赤信号等検出手段12は、上記の各チェック項目をクリアしたグループgを、道路上に存在する信号機Sの赤信号Lr(或いは黄信号Ly)として検出するようになっている。
【0111】
次に、矢印信号抽出手段13は、上記のようにして検出された赤信号Lr(或いは黄信号Ly)の近傍に、矢印信号Alや矢印信号As、矢印信号Ar(図28(A)〜(C)参照)が撮像されているか否かを探索して抽出するようになっている。以下、この矢印信号抽出手段13における処理について、図15等に示すフローチャート等を用いて具体的に説明する。
【0112】
矢印信号抽出手段13は、まず、上記のようにして検出された赤信号Lr(或いは黄信号Ly。以下同じ)の基準画像T中の位置に基づいて矢印信号Al、As、Arが撮像されている可能性がある画像領域を探索領域Rsとして設定するようになっている(ステップS1)。
【0113】
その際、矢印信号Al、As、Ar(以下、一般的に言う場合には矢印信号Aという。)は、図28(A)〜(C)に示したように赤信号Lrの下方に設けられている場合だけでなく、図16に示すようないわば縦型の信号機Sの側方に矢印信号Aが設けられているものも存在する。
【0114】
そこで、本実施形態では、矢印信号抽出手段13は、例えば図17に示すように、基準画像Tの、赤信号Lrに対応するグループgの下方および左右の側方に、探索領域Rsを設定するようになっている。
【0115】
そして、矢印信号抽出手段13は、探索領域Rs内を探索して探索領域Rs内に撮像されている矢印信号Aを抽出する矢印信号抽出処理を行う(ステップS2)。
【0116】
本実施形態では、矢印信号抽出処理(ステップS2)では、以下のように処理が行われるようになっている。なお、以下では、上記のように、基準画像Tの各画素pの画像データDにおける各色成分の輝度R、G、Bがそれぞれ0〜255の値を有するものとして説明する。
【0117】
具体的には、矢印信号Aは、通常、緑色に標示されるため、矢印信号抽出手段13は、探索領域Rsの各画素pを探索し、その画像データDにおける各輝度R、G、Bが、例えば、
G>150 …(14)
B>G×0.6 …(15)
R<G×0.5 …(16)
の条件を満たす場合に、当該画素pを抽出するようにして、各画素pを抽出していく。
【0118】
そして、抽出した画素pの上下や左右に隣接する画素pも抽出されている場合には、それらの画素pを1つの画素領域Raとしていくことで、探索領域Rs内に、矢印信号Aに対応する画素領域Raを抽出するようになっている。
【0119】
なお、例えば図28(A)に示した信号機Sにおいて、左折可を示す矢印信号Alと直進可を示す矢印信号Asが同時に点灯する場合もあるため、探索領域Rs内に抽出される矢印信号Aに対応する画素領域Raは1つだけとは限らない。また、図31に示したように信号機Sが自車両から遠い位置にある場合には、矢印信号Aに対応する画素領域Raとして、例えば1つの画素pしか抽出されないこともあり得る。
【0120】
矢印信号抽出手段13は、矢印信号抽出処理(ステップS2)で探索領域Rs内に矢印信号Aを抽出しない場合には(ステップS3;NO)、今回のサンプリング周期における処理を終了し、次回のサンプリング周期で赤信号等検出手段12等から信号機Sの赤信号Lrに対応するグループg等の情報が送られてくるまで待機する。
【0121】
また、矢印信号抽出手段13は、矢印信号抽出処理(ステップS2)で探索領域Rs内に矢印信号Aを抽出した場合には(ステップS3;YES)、続いて、抽出した矢印信号Aが指し示す方向(以下、単に矢印信号Aの方向という。)を認識する処理を行うようになっている。
【0122】
その際、本発明では、矢印信号抽出手段13は、図18に示すように、自車両MC(正確には自車両に搭載された撮像手段2)から赤信号Lrまでの実空間上の距離Zを、自車両MCから遠い第一の所定区間Sec1、第一の所定区間より自車両に近い第二の所定区間Sec2、および第二の所定区間より自車両に近い第三の所定区間Sec3に区分し、各区間Sec1〜Sec3において、それぞれ矢印信号Aの方向を認識する手法を変えるようになっている。
【0123】
逆の言い方をすれば、以下で説明する認識手法2、3では矢印信号Aの方向を認識することが困難であるが、認識手法1を用いれば矢印信号Aの方向を認識することが可能な区間が第一の所定区間Sec1に設定され、認識手法3では矢印信号Aの方向を認識することが困難であるが、認識手法2を用いれば矢印信号Aの方向を認識することが可能な区間が第二の所定区間Sec2に設定され、認識手法3を用いて矢印信号Aの方向を認識することが可能な区間が第三の所定区間Sec3に設定される。
【0124】
そして、矢印信号抽出手段13は、図15のフローチャートに示すように、前述した距離算出手段11が算出した赤信号Lr対応するグループg(図17参照)までの実空間上の距離Zgを各所定区間Sec1〜Sec3に場合分けして、それぞれの所定区間Sec1〜Sec3に対応する認識手法1〜3を用いて、抽出した矢印信号Aの方向を認識するようになっている。
【0125】
まず、自車両MCから赤信号Lrまでの実空間上の距離Zgが自車両MCに近い第三の所定区間Sec3内になく(ステップS4;NO)、第二の所定区間Sec2内にもない場合(ステップS5;NO)、すなわち自車両MCから赤信号Lrまでの実空間上の距離Zgが自車両MCから遠い第一の所定区間Sec1にある場合に適用される認識手法1(ステップS6)について説明する。
【0126】
自車両MCから赤信号Lrまでの実空間上の距離Zgが自車両MCから遠い第一の所定区間Sec1にある場合、赤信号Lrや矢印信号Aは、例えば図31に示したように、それらに対応するグループgや画素領域Raに属する画素数が非常に少なく、いずれもぼやけていて輪郭等が不明瞭な状態で撮像される。特に、矢印信号Aは、撮像された基準画像Tからでは矢印信号Aの方向を認識することができない状態で撮像される。
【0127】
認識手法1(ステップS6)では、図19のフローチャートに示すように、矢印信号抽出手段13は、まず、上記のように距離算出手段11が算出した赤信号Lrに対応するグループgの実空間上の距離Zgに基づいて、赤信号Lrの例えば35cmの直径の信号灯がその距離Zgに存在する場合に、その直径が基準画像T上で何画素に対応するかを算出して、赤信号Lrの信号灯の直径に対応する画素数rを算出する(ステップS61)。
【0128】
なお、このステップS61の処理において、赤信号Lrに対応するグループgの実空間上の距離Zgに基づいて赤信号Lrの直径に対応する画素数rを算出するように構成する代わりに、実際に検出した赤信号Lrに対応するグループgの基準画像T上での縦方向(すなわちj軸方向)や横方向(すなわちi軸方向)の幅を、赤信号Lrの直径に対応する画素数rとして算出するように構成することも可能である。
【0129】
続いて、矢印信号抽出手段13は、基準画像T中における矢印信号Aに対応する画素領域Raと赤信号Lrに対応するグループgとの相互の位置関係に基づいて、矢印信号Aの方向を認識するようになっている(ステップS62)。
【0130】
その際、実際の信号機Sにおいて、赤信号Lrと右折可や直進可、左折可を示す矢印信号Al、As、Arの位置関係が図28(A)〜(C)に示したような位置関係にあることに基づいて、本実施形態では、矢印信号抽出手段13は、図20に示すように、
(1)抽出した矢印信号Aに対応する画素領域Raが、赤信号Lrに対応するグループgの信号灯1個分程度下方の位置にある場合には右折可を示す矢印信号Ar、
(2)抽出した矢印信号Aに対応する画素領域Raが、赤信号Lrに対応するグループgの信号灯1個分程度下方の位置から信号灯1個分程度左側の位置にある場合には直進可を示す矢印信号As、
(3)抽出した矢印信号Aに対応する画素領域Raが、赤信号Lrに対応するグループgの信号灯1個分程度下方の位置から信号灯2個分程度左側の位置にある場合には左折可を示す矢印信号Al、
であるとして、抽出した矢印信号Aの方向を認識するようになっている。
【0131】
また、図16に示したような縦型の信号機Sでは、赤信号Lrの右側に矢印信号Aがある場合には矢印信号Aは右折可を示す矢印信号Arであり、赤信号Lrの左側に矢印信号Aがある場合(図示省略)には矢印信号Aは左折可を示す矢印信号Alである場合が多いことから、本実施形態では、矢印信号抽出手段13は、さらに、図21に示すように、
(4)抽出した矢印信号Aに対応する画素領域Raが、赤信号Lrに対応するグループgの信号灯1個分程度右側の位置にある場合には右折可を示す矢印信号Ar、
(5)抽出した矢印信号Aに対応する画素領域Raが、赤信号Lrに対応するグループgの信号灯1個分程度左側の位置にある場合には左折可を示す矢印信号Al、
であるとして、抽出した矢印信号Aの方向を認識するようになっている。
【0132】
前述したように、自車両MCから赤信号Lrまでの実空間上の距離Zgが自車両MCから遠い第一の所定区間Sec1にある場合、例えば図31に示したように、矢印信号Aに対応する画素領域Raに属する画素数が少なく、その形状を解析しても、矢印信号Aの方向を認識することが困難である場合が多い。
【0133】
しかし、上記の本実施形態における認識手法1(ステップS6)によれば、上記のように基準画像T上に撮像された矢印信号Aの形状自体に基づいて矢印信号Aの方向を認識することができない場合であっても、検出した赤信号Lrの基準画像T上の位置を基準として、基準画像T中における赤信号Lrに対応するグループgと矢印信号Aに対応する画素領域Raとの相互の位置関係から矢印信号Aの方向を認識する。
【0134】
そのため、基準画像T中に撮像された信号機Sや赤信号Lrが、少なくとも図28(A)〜(C)や図16に示したような一般的な信号機Sであればという前提付きではあるが、信号機Sにおける矢印信号Aの方向を的確に認識することが可能となる。
【0135】
次に、自車両MCから赤信号Lrまでの実空間上の距離Zgが自車両MCに近い第二の所定区間Sec3内にないが(図15のステップS4;NO)、第一の所定区間Sec1よりも自車両に近い第二の所定区間Sec2内にある場合(ステップS5;YES)に適用される認識手法2(ステップS7)について説明する。
【0136】
自車両MCから赤信号Lrまでの実空間上の距離Zgが第二の所定区間Sec2(図18参照)にある場合、赤信号Lrや矢印信号Aは、例えば図30に示したようにぼやけた状態で撮像される。そして、矢印信号Aは、後述するアローヘッド部Aheadやアローシャフト部Ashaft(後述する図26等参照)が明瞭には区別できないが、撮像された基準画像Tから、矢印信号Aの方向を辛うじて認識することが可能な状態で撮像される。
【0137】
認識手法2(ステップS7)では、図22に示すフローチャートに従って処理が行われる。ここでは、矢印信号Aの方向を認識する手法として、基準画像T中における矢印信号Aの左右の対称性や上下の対称性に基づいて、矢印信号Aの方向を認識するようになっている。
【0138】
矢印信号抽出手段13は、図23に示すように、まず、基準画像T中に、矢印信号Aに対応する画素領域Raに外接する例えば矩形状の画像領域Aeを設定し(ステップS71)、当該画像領域Aeの中心Ceを通る上下方向に延在する直線l1で当該画像領域Aeを左右に分割する(ステップS72)。
【0139】
そして、分割された各画像領域Ae1、Ae2にそれぞれ含まれる矢印信号Aに対応する画素領域Aaに属する画素数を比較することで、矢印信号Aに対応する画素領域Aaの左右の対称性を判定するようになっている。
【0140】
具体的には、矢印信号抽出手段13は、左の画像領域Ae1に含まれる矢印信号Aに対応する画素領域Aaに属する画素数r(Ae1)と、右の画像領域Ae2に含まれる矢印信号Aに対応する画素領域Aaに属する画素数r(Ae2)との差の絶対値|r(Ae1)−r(Ae2)|を算出する。
【0141】
そして、その差の絶対値|r(Ae1)−r(Ae2)|が閾値未満であれば(ステップS73;YES)、矢印信号Aの方向は直進方向であると認識する(ステップS74)。すなわち、今回の判定の対象となった矢印信号Aは、直進可を示す矢印信号Asであると認識する。この場合、閾値は、例えば、矢印信号Aに対応する画素領域Aaの総画素数の10%等として設定される。
【0142】
図23に示した例では、各画像領域Ae1、Ae2に含まれる矢印信号Aに対応する画素領域Aaに属する各画素数r(Ae1)、r(Ae2)の差の絶対値|r(Ae1)−r(Ae2)|が1画素である。また、矢印信号Aに対応する画素領域Aaの総画素数は29画素であり、その10%は2.9画素であるから、ステップS73の判定基準を満たす。そのため、この場合は、矢印信号Aの方向は直進方向であると認識される(ステップS74)。
【0143】
一方、例えば図24に示す例では、各画像領域Ae1、Ae2に含まれる矢印信号Aに対応する画素領域Aaに属する各画素数r(Ae1)、r(Ae2)の差の絶対値|r(Ae1)−r(Ae2)|が、矢印信号Aに対応する画素領域Aaの総画素数の10%を越えるため、ステップS73の判定基準を満たさない(ステップS73;NO)。
【0144】
そこで、矢印信号抽出手段13は、続いて、左の画像領域Ae1に含まれる矢印信号Aに対応する画素領域Aaに属する各画素数r(Ae1)が、右の画像領域Ae2に含まれる矢印信号Aに対応する画素領域Aaに属する各画素数r(Ae2)よりも上記の閾値以上に大きいか否かを判定する(ステップS75)。そして、ステップS75の判定基準が満たされれば(ステップS75;YES)、矢印信号Aの方向は左折方向であると認識する(ステップS76)。すなわち、矢印信号Aは左折可を示す矢印信号Alであると認識する。
【0145】
しかし、図24に示した例では、逆に、右の画像領域Ae2に含まれる矢印信号Aに対応する画素領域Aaに属する各画素数r(Ae2)の方が、左の画像領域Ae1に含まれる矢印信号Aに対応する画素領域Aaに属する各画素数r(Ae1)よりも上記の閾値以上に大きいため(ステップS75;NO)、矢印信号抽出手段13は、矢印信号Aの方向は右折方向であると認識する(ステップS77)。すなわち、矢印信号Aは右折可を示す矢印信号Arであると認識するようになっている。
【0146】
なお、図22に示したフローチャートや図23、図24に示した各図では、基準画像T中に設定した、矢印信号Aに対応する画素領域Raに外接する画像領域Aeを、当該画像領域Aeの中心Ceを通る上下方向に延在する直線l1で左右に分割して、矢印信号Aに対応する画素領域Aaの左右の対称性を判定するように構成した場合について説明した。
【0147】
しかし、図示を省略するが、矢印信号Aに対応する画素領域Raに外接する画像領域Aeを、当該画像領域Aeの中心Ceを通る左右方向に延在する直線l2で上下に分割して、矢印信号Aに対応する画素領域Aaの上下の対称性を判定するように構成しても、上記と同様に矢印信号Aの方向を認識することが可能である。
【0148】
前述したように、自車両MCから赤信号Lrまでの実空間上の距離Zgが第二の所定区間Sec2にある場合、例えば図30に示したように、矢印信号Aはぼやけた状態で撮像され、後述する認識手法3(ステップS8)で説明するように、矢印信号Aに対応する画素領域AaをAheadとアローシャフト部Ashaft(後述する図26参照)とに明瞭に区別して解析して矢印信号Aの方向を認識することはできない。
【0149】
しかし、上記の本実施形態における認識手法2(ステップS7)によれば、上記のように基準画像T上に撮像された矢印信号Aに対応する画素領域Aaの左右の対称性や上下の対称性に基づいて、矢印信号Aの方向を的確に認識することが可能となる。
【0150】
次に、自車両MCから赤信号Lrまでの実空間上の距離Zgが自車両MCに近い第三の所定区間Sec3内にある場合(図15のステップS4;YES)に適用される認識手法3(ステップS8)について説明する。
【0151】
自車両MCから赤信号Lrまでの実空間上の距離Zgが自車両MCに近い第三の所定区間Sec3(図18参照)にある場合、赤信号Lrや矢印信号Aは、例えば図29に示したように比較的明瞭に撮像され、矢印信号Aは、後述する図26に示すように、アローヘッド部Aheadとアローシャフト部Ashaftとが明瞭には区別された状態で撮像される。
【0152】
そこで、認識手法3(ステップS8)では、矢印信号Aの方向を認識する手法として、矢印信号Aを形成するアローヘッド部Aheadとアローシャフト部Ashaftに対応する基準画像T中の各画素領域Rahead、Rashafの相互の位置関係に基づいて、矢印信号Aの方向を認識するようになっている。
【0153】
認識手法3(ステップS8)では、図25に示すフローチャートに従って処理が行われる。
【0154】
矢印信号抽出手段13は、図26に示すように、基準画像T中に抽出した矢印信号Aに対応する一組の画素領域Raの、各画素領域にそれぞれ属する各画素数を比較して、大きい方の画素領域(すなわち属する画素数が多い画素領域)を矢印信号Aのアローヘッド部Aheadに対応する画素領域Raheadとし、小さい方の画素領域(すなわち属する画素数が少ない画素領域)を矢印信号Aのアローシャフト部Ashaftに対応する画素領域Rashaftとして識別する(ステップS81)。
【0155】
なお、基準画像T中に抽出した矢印信号Aに対応する2つの画素領域Raが、同一の矢印信号Aに属するアローヘッド部Aheadとアローシャフト部Ashaftに対応する一組の画素領域Raであるか、或いは、別々の各矢印信号Aにそれぞれ対応する各画素領域Raであるかの判定を行うことが必要になる。
【0156】
その場合、2つの画素領域Raが同一の矢印信号Aに属するものであれば、それらの画素領域Raは、前述した赤信号Lrの場合と同様に、実空間上で、直径が例えば35cmの円内に収まるはずである。そこで、例えば、前述した距離画像Tzを参照して、2つの画素領域Raにそれぞれ属する画素に割り当てられた視差dpを割り出し、2つの画素領域Raの実空間上の距離Zを算出する。
【0157】
そして、算出した距離Zに基づいて、2つの画素領域Raが実空間上で直径が例えば35cmの円内に収まるか否かを判定することにより、2つの画素領域Raが同一の矢印信号Aに属するものであるか否かを判定することができる。なお、2つの画素領域Raがそれぞれ別の矢印信号Aに属するものであると判定した場合には、それぞれ別個に処理される。
【0158】
矢印信号抽出手段13は、基準画像T上に、矢印信号Aのアローヘッド部Aheadに対応する画素領域Raheadとアローシャフト部Ashaftに対応する画素領域Rashaftとを割り出すと、続いて、図26に示すように、各画素領域Rahead、Rashaftの各中心点Chead、Cshaftの座標(i,j)をそれぞれ算出する(ステップS82)。
【0159】
中心点は、例えば、そのi座標を、画素領域の左端の座標と右端の座標の平均値(すなわち左右端の中間の座標)とし、j座標を、画素領域の上端の座標と下端の座標の平均値(すなわち上下端の中間の座標)として算出することができる。
【0160】
そして、中心点Chead、Cshaft同士を結ぶベクトルvの方向性に基づいて、矢印信号Aの方向を認識するようになっている(ステップS83)。
【0161】
すなわち、例えば、ベクトルvとして中心点Cshaftから中心点Cheadに向かうベクトルを算出し、それと基準画像Tのi軸がなす角度を算出する。そして、算出した角度が約90°であれば(すなわち図26の場合)、矢印信号Aの方向は直進方向であると認識する(すなわち矢印信号Aは直進可を示す矢印信号Asであると認識する)。
【0162】
また、算出した角度が約0°であれば、矢印信号Aの方向は右折方向であると認識し、算出した角度が約180°であれば、矢印信号Aの方向は左折方向であると認識するように構成される。
【0163】
なお、この検出手法3を用いると、図27に示すように、矢印信号Aとして、例えば左斜め前に進行可を示す矢印信号が標示されるようなやや変則的な場合でも、中心点Chead、Cshaft同士を結ぶベクトルvの方向性に基づいて、矢印信号Aの方向を的確に認識することができる。すなわち、この場合は、ベクトルvと基準画像Tのi軸とがなす角度が約135°になるため、矢印信号抽出手段13は、矢印信号Aの方向が左斜め前の方向であると的確に認識することが可能となる。
【0164】
前述したように、自車両MCから赤信号Lrまでの実空間上の距離Zgが自車両MCに近い第三の所定区間Sec3にある場合、例えば図29に示したように、矢印信号Aは、アローヘッド部Aheadとアローシャフト部Ashaft(図26等参照)とに区別して撮像される。
【0165】
そこで、上記の認識手法3(ステップS8)を採用して矢印信号Aの方向を認識することで、矢印信号Aを形成するアローヘッド部Aheadとアローシャフト部Ashaftに対応する基準画像T中の各画素領域Rahead、Rashaftの相互の位置関係に基づいて、矢印信号Aの方向を的確に認識することが可能となる。
【0166】
なお、自車両MCから赤信号Lrまでの実空間上の距離Zgが自車両MCに近い第三の所定区間Sec3(図18参照)にある場合には、例えば図29に示したように、矢印信号Aが明瞭に撮像されるため、前述した特許文献2に記載されているように、テンプレートマッチングにより矢印信号Aの方向を認識するように構成することも可能である。
【0167】
しかし、テンプレートマッチングを用いる手法は処理に時間がかかる場合が少なくなく、矢印信号抽出手段13が認識した矢印信号Aの方向の情報を用いて例えば自車両の自動走行制御等を行うような場合には、リアルタイム性が損なわれる可能性がある。
【0168】
また、右折可や直進可、左折可を示す矢印信号Al、As、Ar(図28参照)のそれぞれについてテンプレートを用意してそれぞれ適用すると処理が重くなるうえ、例えば、図27に示したような変則的な矢印信号Aに対応するテンプレートが用意されていない場合には、矢印信号Aの方向を認識することができなくなるといった問題が生じ得る。
【0169】
その点、上記の認識手法3を採用して、矢印信号Aを形成するアローヘッド部Aheadとアローシャフト部Ashaftに対応する基準画像T中の各画素領域Rahead、Rashaftの相互の位置関係に基づいて矢印信号Aの方向を的確に認識するように構成すれば、処理はさほど重くならず、リアルタイム性が確保されるとともに、図27に示したような変則的な矢印信号Aが標示される場合であっても、矢印信号Aの方向を的確に認識することが可能となる。
【0170】
矢印信号抽出手段13は、以上のようにして、認識手法1(図15のステップS6)、認識手法2(ステップS7)、または認識手法3(ステップS8)を適用して、基準画像T中に抽出した矢印信号Aの方向(すなわち矢印信号Aが指し示す方向)を認識すると、認識した方向をメモリに保存するとともに、外部に出力するようになっている(ステップS9)。
【0171】
そして、矢印信号抽出手段13は、今回のサンプリング周期における処理を終了し、次回のサンプリング周期で赤信号等検出手段12等から信号機Sの赤信号Lrに対応するグループg等の情報が送られてくるまで待機するようになっている。
【0172】
以上のように、本実施形態に係る環境認識装置1によれば、少なくとも信号機Sの赤信号Lrや黄信号Lyまでの実空間上の距離Zgが自車両MCから遠い第一の所定区間Sec1(図18参照)内にある場合には、上記の認識手法1(ステップS6)を適用して、画像T中における矢印信号Aと赤信号Lrや黄信号Lyとの相互の位置関係に基づいて矢印信号Aが指し示す方向を認識する。
【0173】
そのため、従来のテンプレートマッチングにより矢印信号Aが指し示す方向を検出する手法ではその方向を検出することができなかった自車両MCから非常に遠い位置にある信号機S(例えば図31参照)についても、矢印信号Aが指し示す方向を的確に認識して検出することが可能となる。
【0174】
そのため、信号機Sがまだ自車両MCから遠い位置にある段階から、信号機Sの矢印信号を的確に認識して、その情報を自車両の自動走行制御等に用いたり、ドライバに対して適切に警告する等の制御を行うことが可能となる。
【0175】
なお、自車両MCから赤信号Lrや黄信号Lyまでの実空間上の距離Zgが第二の所定区間Sec2(図18参照)にある場合、矢印信号Aは、例えば図30に示したようにぼやけた状態で撮像されるため、やはり従来のテンプレートマッチングにより矢印信号Aが指し示す方向を検出する手法では、その方向を検出することが困難であった。
【0176】
しかし、本実施形態に係る環境認識装置1によれば、このように信号機Sの赤信号Lrや黄信号Lyまでの実空間上の距離Zgが第二の所定区間Sec2内にある場合には、上記の認識手法2(ステップS7)を適用して、画像T中における矢印信号Aの左右の対称性や上下の対称性に基づいて矢印信号Aの方向を認識する。
【0177】
そのため、従来のテンプレートマッチングにより矢印信号Aが指し示す方向を検出する手法ではその方向を検出することが困難であった自車両MCから比較的遠い位置にある信号機S(例えば図30参照)についても、矢印信号Aが指し示す方向を的確に認識して検出することが可能となる。
【0178】
そのため、信号機Sがまだ自車両MCから比較的遠い位置にある段階から、信号機Sの矢印信号を的確に認識して、その情報を自車両の自動走行制御等に用いたり、ドライバに対して適切に警告する等の制御を行うことが可能となる。
【0179】
また、本実施形態に係る環境認識装置1によれば、信号機Sの赤信号Lrや黄信号Lyまでの実空間上の距離Zgが自車両MCに近い第三の所定区間Sec3(図18参照)内にある場合には、上記の認識手法3(ステップS8)を適用して、矢印信号Aを形成するアローヘッド部Aheadとアローシャフト部Ashaftに対応する基準画像T中の各画素領域Rahead、Rashafの相互の位置関係に基づいて矢印信号Aの方向を認識する。
【0180】
そのため、自車両MCに近い位置にある信号機S(例えば図29参照)について、矢印信号Aが指し示す方向を的確に認識して検出することが可能となり、信号機Sが自車両MCに近い位置にある場合に、信号機Sの矢印信号を的確に認識して、その情報を自車両の自動走行制御等に用いたり、ドライバに対して適切に警告する等の制御を行うことが可能となる。
【0181】
また、それとともに、従来のテンプレートマッチングを用いる手法では処理が重くなり、処理に時間がかかってリアルタイム性が損なわれる可能性があり、また、変則的な矢印信号Aに対応するテンプレートが用意されていない場合には矢印信号Aの方向を認識することができなくなるといった問題が生じ得るが、上記の認識手法3を採用すれば、処理はさほど重くならず、リアルタイム性が確保されるとともに、変則的な矢印信号Aが標示される場合であっても矢印信号Aの方向を的確に認識することが可能となる。
【0182】
なお、上記の実施形態では、図15のフローチャートに示したように、矢印信号抽出手段13が、自車両MCから赤信号Lrや黄信号Lyまでの実空間上の距離Zgに応じて認識手法1〜3のいずれかの手法を適用するように構成されている場合について説明した。
【0183】
しかし、図示を省略するが、例えば、矢印信号抽出手段13に、認識手法1を用いて矢印信号Aが指し示す方向を認識する第1の認識手段と、認識手法2を用いて矢印信号Aが指し示す方向を認識する第2の認識手段と、認識手法3を用いて矢印信号Aが指し示す方向を認識する第3の認識手段とを設け、赤信号等検出手段12等から信号機Sの赤信号Lrに対応するグループg等の情報が送られてきた時点で、3つの認識手段で同時並行的に処理を行う。
【0184】
そして、矢印信号抽出手段13に、3つの認識手段のうちのいずれかの認識手段が認識した矢印信号Aが指し示す方向を選択して出力する選択手段を設け、選択手段では、赤信号Lrや黄信号Lyまでの実空間上の距離Zgが自車両MCから遠い第一の所定区間Sec1、第一の所定区間Sec1よりも自車両MCに近い第二の所定区間Sec2、または第一の所定区間Sec1よりも自車両MCに近い第三の所定区間Sec3のいずれの所定区間内にあるかに応じて、どの認識手段が認識した上記の方向を選択して出力するかを切り替えるように構成することも可能である。
【0185】
このように構成しても、上記の本実施形態の場合と全く同様の有益な作用効果を得ることが可能となる。
【0186】
また、例えば、前述した路面検出手段15が形成した車線モデル(上記(5)〜(8)式参照)上或いはその近傍に複数の信号機Sが存在する場合、画像T中にそれらの各信号機Sが撮像される場合がある。
【0187】
そのような場合に、最も手前側すなわち自車両MCに近い側の信号機Sにおける矢印信号Aが指し示す方向が認識されるのは当然であるが、それ以外の、自車両MCからより遠い側の信号機Sにおける矢印信号Aが指し示す方向を同時に認識するように構成することも可能である。
【0188】
その場合、最も手前側の信号機S以外の信号機Sの矢印信号Aが指し示す方向を出力するか否かは、その出力情報を用いて自車両の自動走行制御等を行ったりドライバに警告を発したりする外部装置側でその情報を必要とするか否か等に基づいて、適宜決められる。
【符号の説明】
【0189】
1 環境認識装置
2 撮像手段
6 距離検出手段
10 統合処理手段
11 距離算出手段
12 赤信号等検出手段
13 矢印信号抽出手段
15 路面検出手段
A、Al、As、Ar 矢印信号
Ae1、Ae2 分割された画像領域
Ahead アローヘッド部
Ashaft アローシャフト部
Ce 中心
Chead、Cshaft 中心点
D 画像データ
g グループ
(i,j) 座標
l1、l2 直線
Lr 赤信号(赤の信号灯)
Ly 黄信号(黄の信号灯)
MC 自車両
p 画素
p* グループの周囲に存在する画素
r(Ae1)、r(Ae2) 画素数
Ra 矢印信号に対応する画素領域
Rahead アローヘッド部に対応する画素領域
Rashaft アローシャフト部に対応する画素領域
Re 外接する画像領域
Rs 探索領域
S 信号機
Sec1 第一の所定区間
Sec2 第二の所定区間
Sec3 第三の所定区間
T 基準画像(画像)
v 各中心点を結ぶベクトル
Y 実空間上の高さ
Y* 道路面の実空間上の高さ
Yc グループの実空間上の高さ
Yc−Y* グループの道路面からの実空間上の高さ
Z 実空間上の距離
Zg グループの実空間上の距離
【特許請求の範囲】
【請求項1】
画素ごとに画像データを有する画像を撮像する撮像手段と、
前記画像の各画素について実空間上の距離を検出する距離検出手段と、
前記画像において互いに隣接する画素の各画像データに基づいて当該隣接する画素を1つのグループに統合する統合処理手段と、
前記グループに属する前記各画素および前記グループの周囲に存在する前記各画素に対応する前記実空間上の各距離に基づいて、前記グループの実空間上の距離を算出する距離算出手段と、
前記グループの実空間上の距離および前記グループの前記画像中での座標に基づいて算出した当該グループの実空間上の大きさおよび道路面からの実空間上の高さに基づいて、信号機の赤または黄の信号灯を検出する赤信号等検出手段と、
検出された前記赤または黄の信号灯の前記画像中の位置に基づいて矢印信号が撮像されている可能性がある画像領域を探索領域として設定し、前記探索領域内に撮像されている前記矢印信号を抽出する矢印信号抽出手段と、
を備え、
前記矢印信号抽出手段は、
自車両から前記赤または黄の信号灯までの前記実空間上の距離に応じて前記矢印信号が指し示す方向を認識する手法を変えるように構成されており、
少なくとも前記赤または黄の信号灯までの前記実空間上の距離が前記自車両から遠い第一の所定区間内にある場合には、前記画像中における前記矢印信号と前記赤または黄の信号灯との相互の位置関係に基づいて、前記矢印信号が指し示す方向を認識することを特徴とする環境認識装置。
【請求項2】
前記矢印信号抽出手段は、少なくとも前記赤または黄の信号灯までの前記実空間上の距離が前記第一の所定区間より自車両に近い第二の所定区間内にある場合には、前記矢印信号が指し示す方向を認識する手法として、前記画像中における前記矢印信号の左右または上下の対称性に基づいて、前記矢印信号が指し示す方向を認識することを特徴とする請求項1に記載の環境認識装置。
【請求項3】
前記矢印信号抽出手段は、前記画像中に、前記矢印信号に対応する画素領域に外接する画像領域を設定し、当該画像領域の中心を通る上下方向または左右方向に延在する直線で当該画像領域を分割し、分割された各画像領域にそれぞれ含まれる前記矢印信号に対応する画素領域に属する画素数を比較することで、前記左右または上下の対称性を判定することを特徴とする請求項2に記載の環境認識装置。
【請求項4】
前記矢印信号抽出手段は、少なくとも前記赤または黄の信号灯までの前記実空間上の距離が前記第二の所定区間より自車両に近い第三の所定区間内にある場合には、前記矢印信号が指し示す方向を認識する手法として、前記矢印信号を形成するアローヘッド部とアローシャフト部に対応する前記画像中の各画素領域の相互の位置関係に基づいて、前記矢印信号が指し示す方向を認識することを特徴とする請求項2または請求項3に記載の環境認識装置。
【請求項5】
前記矢印信号抽出手段は、前記矢印信号を形成するアローヘッド部とアローシャフト部に対応する前記画像中の前記各画素領域を、前記各画素領域にそれぞれ属する各画素数を比較することで識別することを特徴とする請求項4に記載の環境認識装置。
【請求項6】
前記矢印信号抽出手段は、前記アローヘッド部と前記アローシャフト部とにそれぞれ対応する前記各画素領域の各中心点をそれぞれ算出し、前記各中心点を結ぶベクトルの方向性に基づいて、前記矢印信号が指し示す方向を認識することを特徴とする請求項4または請求項5に記載の環境認識装置。
【請求項7】
さらに、前記画像から道路面を検出する路面検出手段を備え、
前記赤信号等検出手段は、前記グループの実空間上の距離および前記グループの前記画像中での座標に基づいて算出した当該グループの実空間上の大きさと、前記路面検出手段が検出した前記道路面の実空間上の高さに基づいて、信号機の赤または黄の信号灯を検出することを特徴とする請求項1から請求項6のいずれか一項に記載の環境認識装置。
【請求項8】
画素ごとに画像データを有する画像を撮像する撮像手段と、
前記画像の各画素について実空間上の距離を検出する距離検出手段と、
前記画像において互いに隣接する画素の各画像データに基づいて当該隣接する画素を1つのグループに統合する統合処理手段と、
前記グループに属する前記各画素および前記グループの周囲に存在する前記各画素に対応する前記実空間上の各距離に基づいて、前記グループの実空間上の距離を算出する距離算出手段と、
前記グループの実空間上の距離および前記グループの前記画像中での座標に基づいて算出した当該グループの実空間上の大きさおよび道路面からの実空間上の高さに基づいて、信号機の赤または黄の信号灯を検出する赤信号等検出手段と、
検出された前記赤または黄の信号灯の前記画像中の位置に基づいて矢印信号が撮像されている可能性がある画像領域を探索領域として設定し、前記探索領域内に撮像されている前記矢印信号を抽出する矢印信号抽出手段と、
を備え、
前記矢印信号抽出手段は、前記矢印信号が指し示す方向を認識する手法として互いに異なる手法で前記矢印信号が指し示す方向を認識する認識手段を複数備え、自車両から前記赤または黄の信号灯までの前記実空間上の距離に応じて前記複数の認識手段のうちのいずれかの前記認識手段が認識した前記方向を選択して出力することを特徴とする環境認識装置。
【請求項1】
画素ごとに画像データを有する画像を撮像する撮像手段と、
前記画像の各画素について実空間上の距離を検出する距離検出手段と、
前記画像において互いに隣接する画素の各画像データに基づいて当該隣接する画素を1つのグループに統合する統合処理手段と、
前記グループに属する前記各画素および前記グループの周囲に存在する前記各画素に対応する前記実空間上の各距離に基づいて、前記グループの実空間上の距離を算出する距離算出手段と、
前記グループの実空間上の距離および前記グループの前記画像中での座標に基づいて算出した当該グループの実空間上の大きさおよび道路面からの実空間上の高さに基づいて、信号機の赤または黄の信号灯を検出する赤信号等検出手段と、
検出された前記赤または黄の信号灯の前記画像中の位置に基づいて矢印信号が撮像されている可能性がある画像領域を探索領域として設定し、前記探索領域内に撮像されている前記矢印信号を抽出する矢印信号抽出手段と、
を備え、
前記矢印信号抽出手段は、
自車両から前記赤または黄の信号灯までの前記実空間上の距離に応じて前記矢印信号が指し示す方向を認識する手法を変えるように構成されており、
少なくとも前記赤または黄の信号灯までの前記実空間上の距離が前記自車両から遠い第一の所定区間内にある場合には、前記画像中における前記矢印信号と前記赤または黄の信号灯との相互の位置関係に基づいて、前記矢印信号が指し示す方向を認識することを特徴とする環境認識装置。
【請求項2】
前記矢印信号抽出手段は、少なくとも前記赤または黄の信号灯までの前記実空間上の距離が前記第一の所定区間より自車両に近い第二の所定区間内にある場合には、前記矢印信号が指し示す方向を認識する手法として、前記画像中における前記矢印信号の左右または上下の対称性に基づいて、前記矢印信号が指し示す方向を認識することを特徴とする請求項1に記載の環境認識装置。
【請求項3】
前記矢印信号抽出手段は、前記画像中に、前記矢印信号に対応する画素領域に外接する画像領域を設定し、当該画像領域の中心を通る上下方向または左右方向に延在する直線で当該画像領域を分割し、分割された各画像領域にそれぞれ含まれる前記矢印信号に対応する画素領域に属する画素数を比較することで、前記左右または上下の対称性を判定することを特徴とする請求項2に記載の環境認識装置。
【請求項4】
前記矢印信号抽出手段は、少なくとも前記赤または黄の信号灯までの前記実空間上の距離が前記第二の所定区間より自車両に近い第三の所定区間内にある場合には、前記矢印信号が指し示す方向を認識する手法として、前記矢印信号を形成するアローヘッド部とアローシャフト部に対応する前記画像中の各画素領域の相互の位置関係に基づいて、前記矢印信号が指し示す方向を認識することを特徴とする請求項2または請求項3に記載の環境認識装置。
【請求項5】
前記矢印信号抽出手段は、前記矢印信号を形成するアローヘッド部とアローシャフト部に対応する前記画像中の前記各画素領域を、前記各画素領域にそれぞれ属する各画素数を比較することで識別することを特徴とする請求項4に記載の環境認識装置。
【請求項6】
前記矢印信号抽出手段は、前記アローヘッド部と前記アローシャフト部とにそれぞれ対応する前記各画素領域の各中心点をそれぞれ算出し、前記各中心点を結ぶベクトルの方向性に基づいて、前記矢印信号が指し示す方向を認識することを特徴とする請求項4または請求項5に記載の環境認識装置。
【請求項7】
さらに、前記画像から道路面を検出する路面検出手段を備え、
前記赤信号等検出手段は、前記グループの実空間上の距離および前記グループの前記画像中での座標に基づいて算出した当該グループの実空間上の大きさと、前記路面検出手段が検出した前記道路面の実空間上の高さに基づいて、信号機の赤または黄の信号灯を検出することを特徴とする請求項1から請求項6のいずれか一項に記載の環境認識装置。
【請求項8】
画素ごとに画像データを有する画像を撮像する撮像手段と、
前記画像の各画素について実空間上の距離を検出する距離検出手段と、
前記画像において互いに隣接する画素の各画像データに基づいて当該隣接する画素を1つのグループに統合する統合処理手段と、
前記グループに属する前記各画素および前記グループの周囲に存在する前記各画素に対応する前記実空間上の各距離に基づいて、前記グループの実空間上の距離を算出する距離算出手段と、
前記グループの実空間上の距離および前記グループの前記画像中での座標に基づいて算出した当該グループの実空間上の大きさおよび道路面からの実空間上の高さに基づいて、信号機の赤または黄の信号灯を検出する赤信号等検出手段と、
検出された前記赤または黄の信号灯の前記画像中の位置に基づいて矢印信号が撮像されている可能性がある画像領域を探索領域として設定し、前記探索領域内に撮像されている前記矢印信号を抽出する矢印信号抽出手段と、
を備え、
前記矢印信号抽出手段は、前記矢印信号が指し示す方向を認識する手法として互いに異なる手法で前記矢印信号が指し示す方向を認識する認識手段を複数備え、自車両から前記赤または黄の信号灯までの前記実空間上の距離に応じて前記複数の認識手段のうちのいずれかの前記認識手段が認識した前記方向を選択して出力することを特徴とする環境認識装置。
【図1】
【図2】
【図3】
【図5】
【図6】
【図7】
【図8】
【図9】
【図10】
【図11】
【図12】
【図13】
【図14】
【図15】
【図16】
【図17】
【図18】
【図19】
【図20】
【図21】
【図22】
【図23】
【図24】
【図25】
【図26】
【図27】
【図28】
【図4】
【図29】
【図30】
【図31】
【図2】
【図3】
【図5】
【図6】
【図7】
【図8】
【図9】
【図10】
【図11】
【図12】
【図13】
【図14】
【図15】
【図16】
【図17】
【図18】
【図19】
【図20】
【図21】
【図22】
【図23】
【図24】
【図25】
【図26】
【図27】
【図28】
【図4】
【図29】
【図30】
【図31】
【公開番号】特開2012−168592(P2012−168592A)
【公開日】平成24年9月6日(2012.9.6)
【国際特許分類】
【出願番号】特願2011−26633(P2011−26633)
【出願日】平成23年2月10日(2011.2.10)
【出願人】(000005348)富士重工業株式会社 (3,010)
【Fターム(参考)】
【公開日】平成24年9月6日(2012.9.6)
【国際特許分類】
【出願日】平成23年2月10日(2011.2.10)
【出願人】(000005348)富士重工業株式会社 (3,010)
【Fターム(参考)】
[ Back to top ]