信号機認識装置
【課題】 撮像手段で撮像した画像に基づき、信号機の矢印信号を確実に識別して抽出する。
【解決手段】 赤・黄信号検出手段Ｍ４で信号機の発光体のうちの赤信号あるいは黄信号を検出し、探索領域設定手段Ｍ６で前記赤信号あるいは黄信号に対して所定の位置関係を有する位置に探索領域を設定し、矢印信号検出手段Ｍ８が前記探索領域内でテンプレートとの比較により矢印信号を検出する。これにより、矢印信号が存在する確立が高い位置に探索領域を設定することが可能になるだけでなく、赤・黄信号検出手段Ｍ４で検出した赤信号あるいは黄信号の大きさに応じて、探索領域設定手段Ｍ６が探索領域の大きさを設定し、かつテンプレート設定手段Ｍ７がテンプレートの大きさを設定するので、演算負荷を最小限に抑えながら矢印信号を確実に検出することができる。
【解決手段】 赤・黄信号検出手段Ｍ４で信号機の発光体のうちの赤信号あるいは黄信号を検出し、探索領域設定手段Ｍ６で前記赤信号あるいは黄信号に対して所定の位置関係を有する位置に探索領域を設定し、矢印信号検出手段Ｍ８が前記探索領域内でテンプレートとの比較により矢印信号を検出する。これにより、矢印信号が存在する確立が高い位置に探索領域を設定することが可能になるだけでなく、赤・黄信号検出手段Ｍ４で検出した赤信号あるいは黄信号の大きさに応じて、探索領域設定手段Ｍ６が探索領域の大きさを設定し、かつテンプレート設定手段Ｍ７がテンプレートの大きさを設定するので、演算負荷を最小限に抑えながら矢印信号を確実に検出することができる。
【発明の詳細な説明】
【技術分野】
【０００１】
本発明は、車両に搭載した撮像手段により信号機を撮像して認識する信号機認識装置に関する。
【背景技術】
【０００２】
車両に搭載したステレオカメラで自車前方の信号機の発光体の色（赤、黄または青）を認識し、信号機の色が赤であり、自車と信号機との距離が一定値以内であり、かつ自車の車速が一定値以上である場合に、自車が信号機の手前位置で確実に停止できるように運転者に対して警報を発するものが、下記特許文献１により公知である。
【特許文献１】特開２００４−１９９１４８号公報
【発明の開示】
【発明が解決しようとする課題】
【０００３】
ところで、信号機には赤、黄または青の発光体以外に矢印信号が併設されている場合があり、信号機の発光体の色が赤でも、車両は矢印信号が点灯する方向に進行することができる。しかしながら、矢印信号を認識できない従来の信号機認識装置では、矢印信号が点灯していて車両が進行できる場合に運転者に対して不要な警報が発せられて違和感を与える可能性があった。
【０００４】
本発明は前述の事情に鑑みてなされたもので、撮像手段で撮像した画像に基づき、信号機の矢印信号を確実に識別して抽出することを目的とする。
【課題を解決するための手段】
【０００５】
上記目的を達成するために、請求項１に記載された発明によれば、車両に搭載した撮像手段により信号機を撮像して認識する信号機認識装置において、前記信号機の発光体のうちの赤信号あるいは黄信号を検出する赤・黄信号検出手段と、赤・黄信号検出手段で検出した赤信号あるいは黄信号に対して所定の位置関係を有する位置に探索領域を設定する探索領域設定手段と、前記探索領域設定手段で設定した探索領域内で矢印信号を検出する矢印信号検出手段とを備えることを特徴とする信号機認識装置。
【０００６】
また請求項２に記載された発明によれば、請求項１の構成に加えて、前記探索領域設定手段は、前記赤・黄信号検出手段で検出した赤信号あるいは黄信号の大きさに応じて前記探索領域を設定することを特徴とする信号機認識装置が提案される。
【０００７】
また請求項３に記載された発明によれば、請求項１または請求項２の構成に加えて、前記赤・黄信号検出手段で検出した赤信号あるいは黄信号の大きさに応じて矢印形状のテンプレートを設定するテンプレート設定手段を備え、前記矢印信号検出手段は前記テンプレートとの比較により前記矢印信号を検出することを特徴とする信号機認識装置が提案される。
【０００８】
尚、実施の形態のテレビカメラ１１は本発明の撮像手段に対応し、実施の形態の信号機判定手段Ｍ４は本発明の赤・黄信号検出手段に対応する。
【発明の効果】
【０００９】
請求項１の構成によれば、赤・黄信号検出手段で信号機の発光体のうちの赤信号あるいは黄信号を検出し、探索領域設定手段で前記赤信号あるいは黄信号に対して所定の位置関係を有する位置に探索領域を設定し、矢印信号検出手段が前記探索領域内で矢印信号を検出するので、矢印信号が存在する確立が高い位置に探索領域を設定することが可能になり、最小限の面積の探索領域を設定して演算負荷を抑えながら矢印信号を確実に検出することができる。
【００１０】
また請求項２の構成によれば、赤・黄信号検出手段で検出した赤信号あるいは黄信号の大きさに応じて探索領域設定手段が探索領域を設定するので、探索領域の大きさを過不足なく適切に設定して演算負荷を最小限に抑えながら矢印信号を確実に検出することができる。
【００１１】
また請求項３の構成によれば、テンプレート設定手段が赤・黄信号検出手段で検出した赤信号あるいは黄信号の大きさに応じて矢印形状のテンプレートを設定すると、矢印信号検出手段が前記テンプレートとの比較により矢印信号を検出するので、テンプレートの大きさを適切に設定して矢印信号を精度良く検出することができる。
【発明を実施するための最良の形態】
【００１２】
以下、本発明の実施の形態を添付の図面に基づいて説明する。
【００１３】
図１〜図１０は本発明の第１の実施の形態を示すもので、図１は信号機認識装置の電子制御ユニットのブロック図、図２はテレビカメラで撮像した自車前方の画像を示す図、図３は異なる閾値で抽出した信号機の発光体を示す図、図４はメインルーチンのフローチャート、図５は図４のステップＳ１のサブルーチンのフローチャート、図６は図４のステップＳ２のサブルーチンのフローチャート、図７は図４のステップＳ３のサブルーチンのフローチャート、図８は第２物体の位置および半径から信号機の発光体を判定するマップ、図９は図２の９部拡大図、図１０は矢印信号のテンプレートの説明図である。
【００１４】
図１に示すように、本実施の形態の信号機認識装置の電子制御ユニットＵは、第１抽出手段Ｍ１と、再抽出領域設定手段Ｍ２と、第２抽出手段Ｍ３と、信号機判定手段Ｍ４（赤・黄信号検出手段）と、第２閾値設定手段Ｍ５、探索領域設定手段Ｍ６と、テンプレート設定手段Ｍ７と、矢印信号検出手段Ｍ８とを備える。
【００１５】
電子制御ユニットＵには輝度の第１閾値が予め記憶されており、第１抽出手段Ｍ１は、テレビカメラ１１で撮像した自車の進行方向前方の画像（図２参照）から輝度が前記第１閾値以上の第１物体を抽出する。図２に示すように、テレビカメラ１１で撮像した画像には信号機１２以外に看板１３，１４等が映っており、看板１３，１４は信号機１２と誤認識される可能性があるため、第１物体から確実に除外する必要がある。信号機１２と看板１３，１４とには輝度に大きな差があり、ランプやＬＥＤで自ら発光する信号機１２の赤信号１５、黄信号１６および青信号１７の輝度は高く、自ら発光しない看板１３，１４の輝度や、信号機１２の矢印信号１８，１９の輝度は低くなる。よって前記第１閾値を看板１３，１４の輝度よりも高く、信号機１２の発光体の輝度よりも低い値に設定することで、看板１３，１４を除外して信号機１２の発光体の可能性がある第１物体を抽出することができる。
【００１６】
図３（Ａ）は閾値が低すぎる場合であって、信号機１２の発光体はその輪郭よりもはみ出した領域が抽出されている。このような低すぎる閾値では、発光体の寸法や形状を正しく認識できないだけでなく、看板１３，１４も抽出されてしまうために信号機１２と看板１３，１４とを識別することができない。
【００１７】
図３（Ｂ）は閾値として前記第１閾値を採用した場合であって、信号機１２の発光体の全体ではなく、中央部の輝度の高い部分だけが抽出されて発光体の寸法や形状を正しく認識できないが、看板１３，１４は抽出されないために信号機１２と看板１３，１４とを識別することができる。
【００１８】
再抽出領域設定手段Ｍ３は、発光体の最大輝度が検出された部分を中心として所定範囲（例えば、４０ピクセル×４０ピクセル）を再抽出領域２２（図９参照）として設定し、第２抽出手段Ｍ３が再抽出領域２２において新たな第２閾値を用いて再抽出を行う。このときに使用される第２閾値を設定する第２閾値設定手段Ｍ５は、前記第１閾値よりも低い第２閾値で第２物体の抽出を行う。再抽出を行う領域は第１物体（例えば、信号機１２の発光体）の近傍の限られた範囲であるため、低い第２閾値で抽出を行っても、低輝度の看板１３，１４等が第２物体として抽出されてしまう虞はない。
【００１９】
この第２閾値を用いて抽出を行うと、図３（Ｂ）に示すように、値の高い第１閾値で抽出を行った第１物体（例えば、信号機１２の発光体）が実際の寸法よりも小さく抽出されたのに対し、図３（Ｃ）に示すように、信号機１２の発光体を実際の寸法に近い寸法で抽出することができる。そして、信号機判定手段Ｍ４は、第２抽出手段Ｍ３により抽出した第２物体が信号機１２の発光体であるか否かを、その寸法、位置および色等に基づいて判定する。
【００２０】
探索領域設定手段Ｍ６は、赤信号１５または黄信号１６が点灯しているとき、その点灯している発光体の最も輝度の高い部分を基準として所定範囲（例えば、４０ピクセル×８０ピクセル）の探索領域２３（図９参照）を設定する。この探索領域２３の所定範囲は、検出された赤信号１５または黄信号１６の直径に応じて決まるもので、そこに矢印信号１８，１９が含まれる必要最小限の大きさに設定される。
【００２１】
電子制御ユニットＵには右折、直進、左折の鮮明な矢印形状のテンプレート２０，２１（図１０参照）が予め記憶されており、検出された赤信号１５または黄信号１６の直径から、テンプレート設定手段Ｍ７は前記赤信号１５または黄信号１６の直径に対応する寸法のテンプレート２０，２１を選択するとともに、そのテンプレート２０，２１の周縁部をぼかす処理を行う。
【００２２】
次に、図４〜図７のフローチャートに基づいて、上記作用を更に詳細に説明する。
【００２３】
図４のメインルーチンのステップＳ１で、テレビカメラ１１の画像から信号機１２の発光体領域を含む灯火領域（輝度の高い領域）を抽出し、続くステップＳ２で前記灯火領域から信号機１２を検出し、ステップＳ３で信号機１２の位置から矢印信号１８，１９を検出する。
【００２４】
灯火領域抽出ルーチンを示す図５のフローチャートのステップＳ１１でテレビカメラ１１により自車前方の画像を撮像し、ステップＳ１２で前記画像の各画素をＲＧＢ（赤、緑、青の光の３原色で表される色の表現方法）からＨＳＶ［色度（色相）、彩度、輝度（明度）による色の表現方法］に変換する。続くステップＳ１３で前記画像の各画素から第１閾値以上の画素を第１物体として検出する。前記第１閾値は色度、彩度、輝度の各々について設定されており、０〜３６０の段階表現（あるいは０〜１００の％表現）により、例えば、色度は０〜１５０，３３１〜３６０（０〜４２％，５５〜１００％）、彩度は２７０〜３６０（７５〜１００％）、輝度は１８０〜３６０（５０〜１００％）である。
【００２５】
続くステップＳ１４で第１閾値以上の画素の輝度および彩度の最大値を算出し、ステップＳ１５で輝度および彩度を含む第２閾値を、前記最大値の５０％に設定する。即ち、第２閾値の輝度は前記最大輝度の５０％に設定され、第２閾値の彩度は前記最大彩度の５０％に設定される。
【００２６】
続くステップＳ１６で最大輝度の画素を中心に４０ピクセル×４０ピクセルの再抽出領域２２を設定し、ステップＳ１７で前記再抽出領域２２において前記第２閾値以上の画素を第２物体として抽出する。
【００２７】
信号機検出ルーチンを示す図６のフローチャートのステップＳ２１で第２閾値以上の画素が形成する領域が信号機１２の発光体の形状である円形であり、かつステップＳ２２で第２閾値以上の画素が形成する領域の中心の高さおよび直径が所定の範囲に収まっていれば、それが信号機１２の発光体であると判断する。
【００２８】
図８は前記ステップＳ２２の判断基準を示すマップであり、縦軸は最大輝度の画素の画面上の位置を示し、横軸は第２閾値以上の画素が形成する領域の半径を示している。第２物体としての信号機１２が自車に近ければ、その位置は画面上の上側にあり、かつ半径は大きくなり、逆に信号機１２が自車から遠ければ、その位置は画面上の下側にあり、かつ半径は小さくなるため、図８の斜線の領域に存在する第２物体を信号機１２の発光体であると判断することができる。
【００２９】
このようにして第２物体が信号機１２の発光体であると判断されると、ステップＳ２３に移行し、そこで色度が０〜３０，３３１〜３６０（０〜８％，９２〜１００％）の範囲にあれば、ステップＳ２４で赤信号１５が点灯していると判断する。またステップＳ２５で色度が３１〜９０（９〜２５％）の範囲にあれば、ステップＳ２６で黄信号１６が点灯していると判断する。またステップＳ２７で色度が９１〜１５０（２６〜４２％）の範囲にあれば、ステップＳ２８で青（緑）信号が点灯していると判断する。
【００３０】
矢印信号検出ルーチンを示す図７のフローチャートのステップＳ３１で赤信号１５または黄信号１６が検出されれば、ステップＳ３２で 検出された赤信号１５または黄信号１６の中心を基準として、その下方に赤信号１５または黄信号１６の直径に応じた所定面積の探索領域２３（図９参照）を設定する。赤信号１５または黄信号１６を基準とするのは、矢印信号１７，１８が点灯するのは、赤信号１５または黄信号１６が点灯しているときであるからである。矢印信号１７，１８の位置は赤信号１５または黄信号１６の位置に対して一定の位置関係にあるため、赤信号１５が点灯している場合には該赤信号１５を基準として所定面積の探索領域２３を設定し、黄信号１６が点灯している場合には該黄信号１６を基準として所定面積の探索領域２３を設定する。
【００３１】
続くステップＳ３３で現在点灯している赤信号１５または黄信号１６の直径に基づいて、矢印信号１７，１８を検出するためのテンプレート２０，２１の大きさを設定する。その理由は、赤信号１５または黄信号１６の直径と矢印信号１７，１８の大きさとは一定の関係にあるため、実際の矢印信号１７，１８と同じ寸法のテンプレート２０，２１を設定する必要があるからである。
【００３２】
続くステップＳ３４で前記テンプレート２０，２１に対してフィルタリングによりぼかし処理を行う。その理由は、テレビカメラ１１で実際に検出される矢印信号１７，１８は鮮明ではなくぼけているが、これを鮮明なテンプレート２０，２１と比較すると、一致しないと誤判定される可能性があるからである。ぼかし処理は、鮮明なテンプレート２０，２１の各画素を中心とする３×３の９個の画素の平均値を算出し、その平均値をその画素の輝度とすることで矢印の周縁部をぼかすことができる。
【００３３】
続くステップＳ３５で点灯している実際の矢印信号１７，１８とテンプレート２０，２１とを比較し、右折の矢印を示すテンプレート２０と一致すればステップＳ３６で右折の矢印信号が点灯していると判定し、ステップＳ３７で左折の矢印を示すテンプレート（図示せず）と一致すればステップＳ３８で左折の矢印信号が点灯していると判定し、ステップＳ３９で直進の矢印を示すテンプレート２１と一致すればステップＳ３０で直進の矢印信号が点灯していると判定し、その何れでもない場合にステップＳ４１で矢印信号が出ていないと判定する。
【００３４】
尚、前記ステップＳ３１で赤信号１５も黄信号１６も検出されない場合には、ステップＳ４２で矢印信号が出ていないと判定する。
【００３５】
以上説明したように、テレビカメラ１１で撮像した車両前方の画像から輝度が第１閾値以上の第１物体を抽出することで、輝度が低い看板等１３，１４等の物体を除外して信号機１２の発光体を含む輝度が高い第１物体だけが抽出されるが、信号機１２は発光体の輝度が低い部分が欠けて輝度が高い部分だけが残るため、信号機１２の発光体として正しく認識されない可能性がある。そこで第１物体の周囲に所定の大きさの再抽出領域２２を設定し、看板１３，１４等の低輝度の物体が存在しない再抽出領域２２において輝度が前記第１閾値未満の第２閾値以上の第２物体を抽出するので、演算負荷を低く抑えながら、看板１３，１４等の物体を除外して信号機１２の発光体の全体を抽出することができる。これにより、第２物体が信号機１２の発光体であるか否かを精度良く判定することができる。しかも第１物体を抽出する第２閾値を第１物体の最大輝度の半分の値として設定するので、信号機１２の発光体を最適の第２閾値で抽出することができる。
【００３６】
また信号機１２の赤信号１５あるいは黄信号１６を検出し、その赤信号１５あるいは黄信号１６に対して所定の位置関係を有する探索領域２３内で矢印信号１８，１９を検出するので、矢印信号１８，１９が存在する確立が高い位置に探索領域２３を設定することが可能になり、最小限の面積の探索領域２３を設定して演算負荷を抑えながら矢印信号１８，１９を確実に検出することができる。その際に、検出した赤信号１５あるいは黄信号１６の大きさに応じて探索領域２３を設定するので、探索領域２３の大きさを過不足なく適切に設定することができる。
【００３７】
しかも赤信号１５あるいは黄信号１６の大きさに応じて設定したテンプレート２０，２１との比較により矢印信号１８，１９を検出するので、テンプレート２０，２１の大きさを適切に設定して矢印信号１８，１９を精度良く検出することができる。
【００３８】
更に、実際に抽出された矢印信号１８，１９の鮮明度と類似するようにテンプレート２０，２１をフィルタリングによりぼかし処理するので、抽出された矢印信号１８，１９とテンプレート２０，２１とを比較して類似度を判定する際に、その判定精度を高めることができる。
【００３９】
次に、図１１に基づいて本発明の第２の実施の形態を説明する。
【００４０】
図７で説明した第１の実施の形態は、右折の矢印信号、左折の矢印信号および直進の矢印信号が同時に点灯することがない場合を想定しているが、第２の実施の形態は右折の矢印信号、左折の矢印信号および直進の矢印信号のうちの二つあるいは三つが同時に点灯する場合を想定したものである。図７および図１１において同一ステップ番号の内容は同一であるため、以下相違点を中心に説明する。
【００４１】
ステップＳ３５で点灯している実際の矢印信号１７，１８とテンプレート２０，２１とを比較し、右折の矢印を示すテンプレート２０と一致すればステップＳ３６Ａで右折の矢印信号が点灯していると判定し、一致しなければステップＳ３６Ｂで右折の矢印信号が点灯していないと判定し、ステップＳ３７で左折の矢印を示すテンプレート（図示せず）と一致すればステップＳ３８Ａで左折の矢印信号が点灯していると判定し、一致しなければステップＳ３８Ｂで左折の矢印信号が点灯していないと判定し、ステップＳ３９で直進の矢印を示すテンプレート２１と一致すればステップＳ４０Ａで直進の矢印信号が点灯していると判定し、一致しなければステップＳ４０Ｂで直進の矢印信号が点灯していないと判定する。そして前記ステップＳ３１で赤信号１５も黄信号１６も検出されない場合には、ステップＳ４２′で何れの矢印信号も出ていないと判定する。
【００４２】
以上、本発明の実施例を説明したが、本発明はその要旨を逸脱しない範囲で種々の設計変更を行うことが可能である。
【００４３】
例えば、実施の形態では横型の信号機１２を例示したが、本願発明は縦型の信号機に対しても適用することができる。
【図面の簡単な説明】
【００４４】
【図１】第１の実施の形態に係る信号機認識装置の電子制御ユニットのブロック図
【図２】テレビカメラで撮像した自車前方の画像を示す図
【図３】異なる閾値で抽出した信号機の発光体を示す図
【図４】メインルーチンのフローチャート
【図５】図４のステップＳ１のサブルーチンのフローチャート
【図６】図４のステップＳ２のサブルーチンのフローチャート
【図７】図４のステップＳ３のサブルーチンのフローチャート
【図８】第２物体の位置および半径から信号機の発光体を判定するマップ
【図９】図２の９部拡大図
【図１０】矢印信号のテンプレートの説明図
【図１１】第２の実施の形態に係る、前記図７に対応する図
【符号の説明】
【００４５】
１１ テレビカメラ（撮像手段）
１２ 信号機
１５ 赤信号
１６ 黄信号
１８ 矢印信号
１９ 矢印信号
２０ テンプレート
２１ テンプレート
２３ 探索領域
Ｍ４ 信号機判定手段（赤・黄信号検出手段）
Ｍ６ 探索領域設定手段
Ｍ７ テンプレート設定手段
Ｍ８ 矢印信号検出手段
【技術分野】
【０００１】
本発明は、車両に搭載した撮像手段により信号機を撮像して認識する信号機認識装置に関する。
【背景技術】
【０００２】
車両に搭載したステレオカメラで自車前方の信号機の発光体の色（赤、黄または青）を認識し、信号機の色が赤であり、自車と信号機との距離が一定値以内であり、かつ自車の車速が一定値以上である場合に、自車が信号機の手前位置で確実に停止できるように運転者に対して警報を発するものが、下記特許文献１により公知である。
【特許文献１】特開２００４−１９９１４８号公報
【発明の開示】
【発明が解決しようとする課題】
【０００３】
ところで、信号機には赤、黄または青の発光体以外に矢印信号が併設されている場合があり、信号機の発光体の色が赤でも、車両は矢印信号が点灯する方向に進行することができる。しかしながら、矢印信号を認識できない従来の信号機認識装置では、矢印信号が点灯していて車両が進行できる場合に運転者に対して不要な警報が発せられて違和感を与える可能性があった。
【０００４】
本発明は前述の事情に鑑みてなされたもので、撮像手段で撮像した画像に基づき、信号機の矢印信号を確実に識別して抽出することを目的とする。
【課題を解決するための手段】
【０００５】
上記目的を達成するために、請求項１に記載された発明によれば、車両に搭載した撮像手段により信号機を撮像して認識する信号機認識装置において、前記信号機の発光体のうちの赤信号あるいは黄信号を検出する赤・黄信号検出手段と、赤・黄信号検出手段で検出した赤信号あるいは黄信号に対して所定の位置関係を有する位置に探索領域を設定する探索領域設定手段と、前記探索領域設定手段で設定した探索領域内で矢印信号を検出する矢印信号検出手段とを備えることを特徴とする信号機認識装置。
【０００６】
また請求項２に記載された発明によれば、請求項１の構成に加えて、前記探索領域設定手段は、前記赤・黄信号検出手段で検出した赤信号あるいは黄信号の大きさに応じて前記探索領域を設定することを特徴とする信号機認識装置が提案される。
【０００７】
また請求項３に記載された発明によれば、請求項１または請求項２の構成に加えて、前記赤・黄信号検出手段で検出した赤信号あるいは黄信号の大きさに応じて矢印形状のテンプレートを設定するテンプレート設定手段を備え、前記矢印信号検出手段は前記テンプレートとの比較により前記矢印信号を検出することを特徴とする信号機認識装置が提案される。
【０００８】
尚、実施の形態のテレビカメラ１１は本発明の撮像手段に対応し、実施の形態の信号機判定手段Ｍ４は本発明の赤・黄信号検出手段に対応する。
【発明の効果】
【０００９】
請求項１の構成によれば、赤・黄信号検出手段で信号機の発光体のうちの赤信号あるいは黄信号を検出し、探索領域設定手段で前記赤信号あるいは黄信号に対して所定の位置関係を有する位置に探索領域を設定し、矢印信号検出手段が前記探索領域内で矢印信号を検出するので、矢印信号が存在する確立が高い位置に探索領域を設定することが可能になり、最小限の面積の探索領域を設定して演算負荷を抑えながら矢印信号を確実に検出することができる。
【００１０】
また請求項２の構成によれば、赤・黄信号検出手段で検出した赤信号あるいは黄信号の大きさに応じて探索領域設定手段が探索領域を設定するので、探索領域の大きさを過不足なく適切に設定して演算負荷を最小限に抑えながら矢印信号を確実に検出することができる。
【００１１】
また請求項３の構成によれば、テンプレート設定手段が赤・黄信号検出手段で検出した赤信号あるいは黄信号の大きさに応じて矢印形状のテンプレートを設定すると、矢印信号検出手段が前記テンプレートとの比較により矢印信号を検出するので、テンプレートの大きさを適切に設定して矢印信号を精度良く検出することができる。
【発明を実施するための最良の形態】
【００１２】
以下、本発明の実施の形態を添付の図面に基づいて説明する。
【００１３】
図１〜図１０は本発明の第１の実施の形態を示すもので、図１は信号機認識装置の電子制御ユニットのブロック図、図２はテレビカメラで撮像した自車前方の画像を示す図、図３は異なる閾値で抽出した信号機の発光体を示す図、図４はメインルーチンのフローチャート、図５は図４のステップＳ１のサブルーチンのフローチャート、図６は図４のステップＳ２のサブルーチンのフローチャート、図７は図４のステップＳ３のサブルーチンのフローチャート、図８は第２物体の位置および半径から信号機の発光体を判定するマップ、図９は図２の９部拡大図、図１０は矢印信号のテンプレートの説明図である。
【００１４】
図１に示すように、本実施の形態の信号機認識装置の電子制御ユニットＵは、第１抽出手段Ｍ１と、再抽出領域設定手段Ｍ２と、第２抽出手段Ｍ３と、信号機判定手段Ｍ４（赤・黄信号検出手段）と、第２閾値設定手段Ｍ５、探索領域設定手段Ｍ６と、テンプレート設定手段Ｍ７と、矢印信号検出手段Ｍ８とを備える。
【００１５】
電子制御ユニットＵには輝度の第１閾値が予め記憶されており、第１抽出手段Ｍ１は、テレビカメラ１１で撮像した自車の進行方向前方の画像（図２参照）から輝度が前記第１閾値以上の第１物体を抽出する。図２に示すように、テレビカメラ１１で撮像した画像には信号機１２以外に看板１３，１４等が映っており、看板１３，１４は信号機１２と誤認識される可能性があるため、第１物体から確実に除外する必要がある。信号機１２と看板１３，１４とには輝度に大きな差があり、ランプやＬＥＤで自ら発光する信号機１２の赤信号１５、黄信号１６および青信号１７の輝度は高く、自ら発光しない看板１３，１４の輝度や、信号機１２の矢印信号１８，１９の輝度は低くなる。よって前記第１閾値を看板１３，１４の輝度よりも高く、信号機１２の発光体の輝度よりも低い値に設定することで、看板１３，１４を除外して信号機１２の発光体の可能性がある第１物体を抽出することができる。
【００１６】
図３（Ａ）は閾値が低すぎる場合であって、信号機１２の発光体はその輪郭よりもはみ出した領域が抽出されている。このような低すぎる閾値では、発光体の寸法や形状を正しく認識できないだけでなく、看板１３，１４も抽出されてしまうために信号機１２と看板１３，１４とを識別することができない。
【００１７】
図３（Ｂ）は閾値として前記第１閾値を採用した場合であって、信号機１２の発光体の全体ではなく、中央部の輝度の高い部分だけが抽出されて発光体の寸法や形状を正しく認識できないが、看板１３，１４は抽出されないために信号機１２と看板１３，１４とを識別することができる。
【００１８】
再抽出領域設定手段Ｍ３は、発光体の最大輝度が検出された部分を中心として所定範囲（例えば、４０ピクセル×４０ピクセル）を再抽出領域２２（図９参照）として設定し、第２抽出手段Ｍ３が再抽出領域２２において新たな第２閾値を用いて再抽出を行う。このときに使用される第２閾値を設定する第２閾値設定手段Ｍ５は、前記第１閾値よりも低い第２閾値で第２物体の抽出を行う。再抽出を行う領域は第１物体（例えば、信号機１２の発光体）の近傍の限られた範囲であるため、低い第２閾値で抽出を行っても、低輝度の看板１３，１４等が第２物体として抽出されてしまう虞はない。
【００１９】
この第２閾値を用いて抽出を行うと、図３（Ｂ）に示すように、値の高い第１閾値で抽出を行った第１物体（例えば、信号機１２の発光体）が実際の寸法よりも小さく抽出されたのに対し、図３（Ｃ）に示すように、信号機１２の発光体を実際の寸法に近い寸法で抽出することができる。そして、信号機判定手段Ｍ４は、第２抽出手段Ｍ３により抽出した第２物体が信号機１２の発光体であるか否かを、その寸法、位置および色等に基づいて判定する。
【００２０】
探索領域設定手段Ｍ６は、赤信号１５または黄信号１６が点灯しているとき、その点灯している発光体の最も輝度の高い部分を基準として所定範囲（例えば、４０ピクセル×８０ピクセル）の探索領域２３（図９参照）を設定する。この探索領域２３の所定範囲は、検出された赤信号１５または黄信号１６の直径に応じて決まるもので、そこに矢印信号１８，１９が含まれる必要最小限の大きさに設定される。
【００２１】
電子制御ユニットＵには右折、直進、左折の鮮明な矢印形状のテンプレート２０，２１（図１０参照）が予め記憶されており、検出された赤信号１５または黄信号１６の直径から、テンプレート設定手段Ｍ７は前記赤信号１５または黄信号１６の直径に対応する寸法のテンプレート２０，２１を選択するとともに、そのテンプレート２０，２１の周縁部をぼかす処理を行う。
【００２２】
次に、図４〜図７のフローチャートに基づいて、上記作用を更に詳細に説明する。
【００２３】
図４のメインルーチンのステップＳ１で、テレビカメラ１１の画像から信号機１２の発光体領域を含む灯火領域（輝度の高い領域）を抽出し、続くステップＳ２で前記灯火領域から信号機１２を検出し、ステップＳ３で信号機１２の位置から矢印信号１８，１９を検出する。
【００２４】
灯火領域抽出ルーチンを示す図５のフローチャートのステップＳ１１でテレビカメラ１１により自車前方の画像を撮像し、ステップＳ１２で前記画像の各画素をＲＧＢ（赤、緑、青の光の３原色で表される色の表現方法）からＨＳＶ［色度（色相）、彩度、輝度（明度）による色の表現方法］に変換する。続くステップＳ１３で前記画像の各画素から第１閾値以上の画素を第１物体として検出する。前記第１閾値は色度、彩度、輝度の各々について設定されており、０〜３６０の段階表現（あるいは０〜１００の％表現）により、例えば、色度は０〜１５０，３３１〜３６０（０〜４２％，５５〜１００％）、彩度は２７０〜３６０（７５〜１００％）、輝度は１８０〜３６０（５０〜１００％）である。
【００２５】
続くステップＳ１４で第１閾値以上の画素の輝度および彩度の最大値を算出し、ステップＳ１５で輝度および彩度を含む第２閾値を、前記最大値の５０％に設定する。即ち、第２閾値の輝度は前記最大輝度の５０％に設定され、第２閾値の彩度は前記最大彩度の５０％に設定される。
【００２６】
続くステップＳ１６で最大輝度の画素を中心に４０ピクセル×４０ピクセルの再抽出領域２２を設定し、ステップＳ１７で前記再抽出領域２２において前記第２閾値以上の画素を第２物体として抽出する。
【００２７】
信号機検出ルーチンを示す図６のフローチャートのステップＳ２１で第２閾値以上の画素が形成する領域が信号機１２の発光体の形状である円形であり、かつステップＳ２２で第２閾値以上の画素が形成する領域の中心の高さおよび直径が所定の範囲に収まっていれば、それが信号機１２の発光体であると判断する。
【００２８】
図８は前記ステップＳ２２の判断基準を示すマップであり、縦軸は最大輝度の画素の画面上の位置を示し、横軸は第２閾値以上の画素が形成する領域の半径を示している。第２物体としての信号機１２が自車に近ければ、その位置は画面上の上側にあり、かつ半径は大きくなり、逆に信号機１２が自車から遠ければ、その位置は画面上の下側にあり、かつ半径は小さくなるため、図８の斜線の領域に存在する第２物体を信号機１２の発光体であると判断することができる。
【００２９】
このようにして第２物体が信号機１２の発光体であると判断されると、ステップＳ２３に移行し、そこで色度が０〜３０，３３１〜３６０（０〜８％，９２〜１００％）の範囲にあれば、ステップＳ２４で赤信号１５が点灯していると判断する。またステップＳ２５で色度が３１〜９０（９〜２５％）の範囲にあれば、ステップＳ２６で黄信号１６が点灯していると判断する。またステップＳ２７で色度が９１〜１５０（２６〜４２％）の範囲にあれば、ステップＳ２８で青（緑）信号が点灯していると判断する。
【００３０】
矢印信号検出ルーチンを示す図７のフローチャートのステップＳ３１で赤信号１５または黄信号１６が検出されれば、ステップＳ３２で 検出された赤信号１５または黄信号１６の中心を基準として、その下方に赤信号１５または黄信号１６の直径に応じた所定面積の探索領域２３（図９参照）を設定する。赤信号１５または黄信号１６を基準とするのは、矢印信号１７，１８が点灯するのは、赤信号１５または黄信号１６が点灯しているときであるからである。矢印信号１７，１８の位置は赤信号１５または黄信号１６の位置に対して一定の位置関係にあるため、赤信号１５が点灯している場合には該赤信号１５を基準として所定面積の探索領域２３を設定し、黄信号１６が点灯している場合には該黄信号１６を基準として所定面積の探索領域２３を設定する。
【００３１】
続くステップＳ３３で現在点灯している赤信号１５または黄信号１６の直径に基づいて、矢印信号１７，１８を検出するためのテンプレート２０，２１の大きさを設定する。その理由は、赤信号１５または黄信号１６の直径と矢印信号１７，１８の大きさとは一定の関係にあるため、実際の矢印信号１７，１８と同じ寸法のテンプレート２０，２１を設定する必要があるからである。
【００３２】
続くステップＳ３４で前記テンプレート２０，２１に対してフィルタリングによりぼかし処理を行う。その理由は、テレビカメラ１１で実際に検出される矢印信号１７，１８は鮮明ではなくぼけているが、これを鮮明なテンプレート２０，２１と比較すると、一致しないと誤判定される可能性があるからである。ぼかし処理は、鮮明なテンプレート２０，２１の各画素を中心とする３×３の９個の画素の平均値を算出し、その平均値をその画素の輝度とすることで矢印の周縁部をぼかすことができる。
【００３３】
続くステップＳ３５で点灯している実際の矢印信号１７，１８とテンプレート２０，２１とを比較し、右折の矢印を示すテンプレート２０と一致すればステップＳ３６で右折の矢印信号が点灯していると判定し、ステップＳ３７で左折の矢印を示すテンプレート（図示せず）と一致すればステップＳ３８で左折の矢印信号が点灯していると判定し、ステップＳ３９で直進の矢印を示すテンプレート２１と一致すればステップＳ３０で直進の矢印信号が点灯していると判定し、その何れでもない場合にステップＳ４１で矢印信号が出ていないと判定する。
【００３４】
尚、前記ステップＳ３１で赤信号１５も黄信号１６も検出されない場合には、ステップＳ４２で矢印信号が出ていないと判定する。
【００３５】
以上説明したように、テレビカメラ１１で撮像した車両前方の画像から輝度が第１閾値以上の第１物体を抽出することで、輝度が低い看板等１３，１４等の物体を除外して信号機１２の発光体を含む輝度が高い第１物体だけが抽出されるが、信号機１２は発光体の輝度が低い部分が欠けて輝度が高い部分だけが残るため、信号機１２の発光体として正しく認識されない可能性がある。そこで第１物体の周囲に所定の大きさの再抽出領域２２を設定し、看板１３，１４等の低輝度の物体が存在しない再抽出領域２２において輝度が前記第１閾値未満の第２閾値以上の第２物体を抽出するので、演算負荷を低く抑えながら、看板１３，１４等の物体を除外して信号機１２の発光体の全体を抽出することができる。これにより、第２物体が信号機１２の発光体であるか否かを精度良く判定することができる。しかも第１物体を抽出する第２閾値を第１物体の最大輝度の半分の値として設定するので、信号機１２の発光体を最適の第２閾値で抽出することができる。
【００３６】
また信号機１２の赤信号１５あるいは黄信号１６を検出し、その赤信号１５あるいは黄信号１６に対して所定の位置関係を有する探索領域２３内で矢印信号１８，１９を検出するので、矢印信号１８，１９が存在する確立が高い位置に探索領域２３を設定することが可能になり、最小限の面積の探索領域２３を設定して演算負荷を抑えながら矢印信号１８，１９を確実に検出することができる。その際に、検出した赤信号１５あるいは黄信号１６の大きさに応じて探索領域２３を設定するので、探索領域２３の大きさを過不足なく適切に設定することができる。
【００３７】
しかも赤信号１５あるいは黄信号１６の大きさに応じて設定したテンプレート２０，２１との比較により矢印信号１８，１９を検出するので、テンプレート２０，２１の大きさを適切に設定して矢印信号１８，１９を精度良く検出することができる。
【００３８】
更に、実際に抽出された矢印信号１８，１９の鮮明度と類似するようにテンプレート２０，２１をフィルタリングによりぼかし処理するので、抽出された矢印信号１８，１９とテンプレート２０，２１とを比較して類似度を判定する際に、その判定精度を高めることができる。
【００３９】
次に、図１１に基づいて本発明の第２の実施の形態を説明する。
【００４０】
図７で説明した第１の実施の形態は、右折の矢印信号、左折の矢印信号および直進の矢印信号が同時に点灯することがない場合を想定しているが、第２の実施の形態は右折の矢印信号、左折の矢印信号および直進の矢印信号のうちの二つあるいは三つが同時に点灯する場合を想定したものである。図７および図１１において同一ステップ番号の内容は同一であるため、以下相違点を中心に説明する。
【００４１】
ステップＳ３５で点灯している実際の矢印信号１７，１８とテンプレート２０，２１とを比較し、右折の矢印を示すテンプレート２０と一致すればステップＳ３６Ａで右折の矢印信号が点灯していると判定し、一致しなければステップＳ３６Ｂで右折の矢印信号が点灯していないと判定し、ステップＳ３７で左折の矢印を示すテンプレート（図示せず）と一致すればステップＳ３８Ａで左折の矢印信号が点灯していると判定し、一致しなければステップＳ３８Ｂで左折の矢印信号が点灯していないと判定し、ステップＳ３９で直進の矢印を示すテンプレート２１と一致すればステップＳ４０Ａで直進の矢印信号が点灯していると判定し、一致しなければステップＳ４０Ｂで直進の矢印信号が点灯していないと判定する。そして前記ステップＳ３１で赤信号１５も黄信号１６も検出されない場合には、ステップＳ４２′で何れの矢印信号も出ていないと判定する。
【００４２】
以上、本発明の実施例を説明したが、本発明はその要旨を逸脱しない範囲で種々の設計変更を行うことが可能である。
【００４３】
例えば、実施の形態では横型の信号機１２を例示したが、本願発明は縦型の信号機に対しても適用することができる。
【図面の簡単な説明】
【００４４】
【図１】第１の実施の形態に係る信号機認識装置の電子制御ユニットのブロック図
【図２】テレビカメラで撮像した自車前方の画像を示す図
【図３】異なる閾値で抽出した信号機の発光体を示す図
【図４】メインルーチンのフローチャート
【図５】図４のステップＳ１のサブルーチンのフローチャート
【図６】図４のステップＳ２のサブルーチンのフローチャート
【図７】図４のステップＳ３のサブルーチンのフローチャート
【図８】第２物体の位置および半径から信号機の発光体を判定するマップ
【図９】図２の９部拡大図
【図１０】矢印信号のテンプレートの説明図
【図１１】第２の実施の形態に係る、前記図７に対応する図
【符号の説明】
【００４５】
１１ テレビカメラ（撮像手段）
１２ 信号機
１５ 赤信号
１６ 黄信号
１８ 矢印信号
１９ 矢印信号
２０ テンプレート
２１ テンプレート
２３ 探索領域
Ｍ４ 信号機判定手段（赤・黄信号検出手段）
Ｍ６ 探索領域設定手段
Ｍ７ テンプレート設定手段
Ｍ８ 矢印信号検出手段
【特許請求の範囲】
【請求項１】
車両に搭載した撮像手段（１１）により信号機（１２）を撮像して認識する信号機認識装置において、
前記信号機（１２）の発光体のうちの赤信号（１５）あるいは黄信号（１６）を検出する赤・黄信号検出手段（Ｍ４））と、
赤・黄信号検出手段（Ｍ４）で検出した赤信号（１５）あるいは黄信号（１６）に対して所定の位置関係を有する位置に探索領域（２３）を設定する探索領域設定手段（Ｍ６）と、
前記探索領域設定手段（Ｍ６）で設定した探索領域（２３）内で矢印信号（１８，１９）を検出する矢印信号検出手段（Ｍ８）と、
を備えることを特徴とする信号機認識装置。
【請求項２】
前記探索領域設定手段（Ｍ６）は前記赤・黄信号検出手段（Ｍ４）で検出した赤信号（１５）あるいは黄信号（１６）の大きさに応じて前記探索領域（２３）を設定することを特徴とする、請求項１に記載の信号機認識装置。
【請求項３】
前記赤・黄信号検出手段（Ｍ４）で検出した赤信号（１５）あるいは黄信号（１６）の大きさに応じて矢印形状のテンプレート（２０，２１）を設定するテンプレート設定手段（Ｍ７）を備え、前記矢印信号検出手段（Ｍ８）は前記テンプレート（２０，２１）との比較により前記矢印信号（１８，１９）を検出することを特徴とする、請求項１または請求項２に記載の信号機認識装置。
【請求項１】
車両に搭載した撮像手段（１１）により信号機（１２）を撮像して認識する信号機認識装置において、
前記信号機（１２）の発光体のうちの赤信号（１５）あるいは黄信号（１６）を検出する赤・黄信号検出手段（Ｍ４））と、
赤・黄信号検出手段（Ｍ４）で検出した赤信号（１５）あるいは黄信号（１６）に対して所定の位置関係を有する位置に探索領域（２３）を設定する探索領域設定手段（Ｍ６）と、
前記探索領域設定手段（Ｍ６）で設定した探索領域（２３）内で矢印信号（１８，１９）を検出する矢印信号検出手段（Ｍ８）と、
を備えることを特徴とする信号機認識装置。
【請求項２】
前記探索領域設定手段（Ｍ６）は前記赤・黄信号検出手段（Ｍ４）で検出した赤信号（１５）あるいは黄信号（１６）の大きさに応じて前記探索領域（２３）を設定することを特徴とする、請求項１に記載の信号機認識装置。
【請求項３】
前記赤・黄信号検出手段（Ｍ４）で検出した赤信号（１５）あるいは黄信号（１６）の大きさに応じて矢印形状のテンプレート（２０，２１）を設定するテンプレート設定手段（Ｍ７）を備え、前記矢印信号検出手段（Ｍ８）は前記テンプレート（２０，２１）との比較により前記矢印信号（１８，１９）を検出することを特徴とする、請求項１または請求項２に記載の信号機認識装置。
【図１】
【図２】
【図３】
【図４】
【図５】
【図６】
【図７】
【図８】
【図９】
【図１０】
【図１１】
【図２】
【図３】
【図４】
【図５】
【図６】
【図７】
【図８】
【図９】
【図１０】
【図１１】
【公開番号】特開２００９−４３０６８（Ｐ２００９−４３０６８Ａ）
【公開日】平成２１年２月２６日（２００９．２．２６）
【国際特許分類】
【出願番号】特願２００７−２０７９５３（Ｐ２００７−２０７９５３）
【出願日】平成１９年８月９日（２００７．８．９）
【出願人】（０００００５３２６）本田技研工業株式会社 (23,863)
【Ｆターム（参考）】
【公開日】平成２１年２月２６日（２００９．２．２６）
【国際特許分類】
【出願日】平成１９年８月９日（２００７．８．９）
【出願人】（０００００５３２６）本田技研工業株式会社 (23,863)
【Ｆターム（参考）】
[ Back to top ]