灯火色識別装置
【課題】所望の光源の灯火色を正確に識別する。
【解決手段】車載カメラ１１の露出を信号灯の形状を識別可能な程度に設定し、車載カメラ１１が撮像した撮像画像から信号灯に対応する画素集合を抽出し、所定フレーム数の間における画素集合の色空間上における時間変化から信号灯の灯火色を識別し、この時間変化がない場合は、画素集合の中心部から外側に向かう色度の変化から信号灯の灯火色を識別する。これにより、信号灯の灯火色を正確に識別することができる。
【解決手段】車載カメラ１１の露出を信号灯の形状を識別可能な程度に設定し、車載カメラ１１が撮像した撮像画像から信号灯に対応する画素集合を抽出し、所定フレーム数の間における画素集合の色空間上における時間変化から信号灯の灯火色を識別し、この時間変化がない場合は、画素集合の中心部から外側に向かう色度の変化から信号灯の灯火色を識別する。これにより、信号灯の灯火色を正確に識別することができる。
【発明の詳細な説明】
【技術分野】
【０００１】
本発明は、光源の灯火色を識別する灯火色識別装置に関する。
【背景技術】
【０００２】
この種の技術として、特許文献１に記載されたような技術が知られている。特許文献１には、所定真円度以上又は所定輝度以上の灯火を、信号機の信号灯と認識することが記載されている。
【先行技術文献】
【特許文献】
【０００３】
【特許文献１】特開２００７−２５７３００号公報
【発明の概要】
【発明が解決しようとする課題】
【０００４】
ところで、信号灯の灯火識別は、他の光源との区別と色の識別とにより行われる。このため、信号灯の灯火識別を行うためには、撮像画像における所定数以上の画素から信号灯の形を判別し、信号灯と判別した画素の色を判別する必要がある。
【０００５】
しかしながら、信号灯は、中心部の輝度が高く周辺部の輝度が低いため、適切に撮像手段の露出を設定することができない。
【０００６】
輝度の高い信号灯の中心部に合わせて露出を高くすると、撮影される灯火領域が大きくなるため、円形度などの形状を把握し易くなるが、輝度が高く白飛びして色情報が得られなくなるため、灯火色の判定が難しい。このため、たとえ灯火色を識別するための色空間の種類を変えても、信号機の灯火色を識別するのは難しく、例えば、赤信号を黄信号であると誤認識するという問題が発生する。
【０００７】
一方、輝度の低い信号灯の周辺部に合わせて露出を低くすると、撮影される灯火の輝度が抑えられるため、色情報を得られ易くなるが、灯火領域の画素が少なくなるため、円形度などの形状を把握するのが難しくなる。このため、街灯などを信号灯であると誤認識する問題が発生する。
【０００８】
そこで、本発明は、所望の光源の灯火色を正確に識別することができる灯火色識別装置を提供することを目的とする。
【課題を解決するための手段】
【０００９】
本発明に係る灯火色識別装置は、撮像手段により撮像された撮像画像から光源の灯火色を識別する灯火色識別装置であって、光源の色空間における色度の変化に基づいて、光源の灯火色を識別することを特徴とする。
【００１０】
本発明に係る灯火色識別装置によれば、光源の形状を識別可能な程度に撮像手段の露出を設定することで、所望の光源と別の光源とを識別することが可能となる。このとき、光源の中心部は輝度が高いため白飛びするが、光源の点滅時や灯火色の切替時に輝度が低くなって色情報が出現し、また、光源の中心部から周辺部に向かうと輝度が低くなって色情報が出現する。このため、このように出現する色情報の色空間における色度の変化を観察することで、光源の灯火色を正確に識別することができる。
【００１１】
この場合、光源の色空間における色度の時間変化に基づいて、光源の灯火色を識別することが好ましい。上述したように、光源の中心部は輝度が高いため白飛びするが、光源の点滅時や灯火色の切替時に輝度が低くなって色情報が出現するため、このように出現する色情報の色空間における色度の時間変化を観察することで、光源の灯火色を正確に識別することができる。
【００１２】
また、光源の色空間における中心部から外側に向かう色度の変化に基づいて、光源の灯火色を識別することが好ましい。上述したように、光源の中心部は輝度が高いため白飛びするが、光源の中心部から周辺部に向かうと輝度が低くなって色情報が出現するため、このように出現する色情報の色空間における中心部から外側に向かう色度の変化を観察することで、光源の灯火色を正確に識別することができる。
【００１３】
これらの場合、灯火色に対応した色空間における色度の変化パターンを設定変化パターンとして設定しておき、光源の色空間における色度の変化パターンと、設定変化パターンとの対比により、光源の灯火色を識別することが好ましい。このように、撮像画像から得られ変化パターンを予め設定した設定変化パターンと対比させることで光源の灯火色を識別することで、識別処理を簡略化することができるとともに、識別基準が明確になるため誤判定を防止することができる。
【００１４】
なお、光源を信号機における信号灯とすることで、信号灯の灯火色を正確に識別することができるため、車両の駆動制御を行う車両制御装置などにおいて、信号灯に基づく様々な処理の信頼性を向上させることができる。
【発明の効果】
【００１５】
本発明によれば、所望の光源の灯火色を正確に識別することができる。
【図面の簡単な説明】
【００１６】
【図１】実施形態に係る信号機認識装置のブロック構成を示した図である。
【図２】ＥＣＵの処理動作を示すフローチャートである。
【図３】交差点に入ろうとする車両と信号機との位置関係を示す図である。
【図４】図３に示す交差点の地図情報を示す図である。
【図５】図３に示す車両の車載カメラが撮像した撮像画像を示す図である。
【図６】Ｌ＊ａ＊ｂ＊表色系の色空間へのプロット例を示した図である。
【図７】Ｌ＊ａ＊ｂ＊表色系の色空間へのプロット例を示した図である。
【図８】画素集合の中心部から外側に向かう画素列を示した図である。
【図９】Ｌ＊ａ＊ｂ＊表色系の色空間へのプロット例を示した図である。
【図１０】灯火色に対応する色度の設定変化パターンを示す図である。
【図１１】ＣＩＥ Ｌ＊ａ＊ｂ＊表色系の色空間と信号灯の灯火色との関係を示した図である。
【発明を実施するための形態】
【００１７】
以下、図面を参照して、本発明に係る灯火色識別装置の好適な実施形態について詳細に説明する。本実施形態は、本発明に係る灯火色識別装置を、信号機における信号灯の灯火色を識別する信号機認識装置に適用したものである。なお、全図中、同一又は相当部分には同一符号を付すこととする。
【００１８】
図１は、実施形態に係る信号機認識装置のブロック構成を示した図である。図に示すように、本実施形態の信号機認識装置１は、図示しない車両に搭載されており、車載カメラ１１と、メモリ１２と、ＥＣＵ（Electronic Control Unit）１３と、を備えている。
【００１９】
車載カメラ１１は、ＣＣＤカメラなどの撮像装置により構成されている。この車載カメラ１１は、車両の前部に搭載されており、車両前方の信号機を撮像することが可能となっている。なお、車載カメラ１１は、例えば、１秒間に４０〜５０フレームの撮像画像を撮像することが可能となっている。そして、車載カメラ１１は、撮像画像をＥＣＵ１３に送信する。
【００２０】
メモリ１２は、ＲＡＭやハードディスクなどの記憶装置により構成されている。このメモリ１２には、ＥＣＵ１３が参照する地図情報や辞書情報などの様々な情報が記憶されている。
【００２１】
ＥＣＵ１３は、車載カメラ１１及びメモリ１２と電気的に接続されている。そして、ＥＣＵ１３は、メモリ１２に記憶されている地図情報及び辞書情報を参酌しながら、車載カメラ１１で撮像された撮像画像から、信号機における信号灯の灯火色を識別するものである。
【００２２】
ここで、図２を参照して、ＥＣＵ１３による、信号機における信号灯の灯火色を識別処理について説明する。図２は、ＥＣＵの処理動作を示すフローチャートである。
【００２３】
図２に示すように、まず、ＥＣＵ１３は、車載カメラ１１から送信された撮像画像の入力を行う（ステップＳ１）。なお、上述したように、車載カメラ１１は、例えば、１秒間に４０〜５０フレームの撮像画像を撮像することが可能となっているため、車載カメラ１１が撮像した各フレームの撮像画像を随時入力する。
【００２４】
次に、ＥＣＵ１３は、ステップＳ１で入力した各フレームの撮像画像における信号機検出範囲を設定する（ステップＳ２）。
【００２５】
ここで、図３〜図５を参照して、ステップＳ２における信号機検出範囲の設定について説明する。図３は、交差点に入ろうとする車両と信号機との位置関係を示す図である。
図４は、図３に示す交差点の地図情報を示す図である。図５は、図３に示す車両の車載カメラが撮像した撮像画像を示す図である。
【００２６】
図３に示すように、信号機Ｓが設置された交差点に車両Ｖが入ろうとする場合を考える。この場合、図４に示すように、車両Ｖに搭載された車載カメラ１１により撮像された撮像画像には、信号機Ｓが写し出される。そこで、ＥＣＵ１３は、ＧＰＳ（Global Positioning System）などの位置検出手段により車両Ｖの現在地を検出し、図５に示すように、メモリ１２に記憶されている地図情報から、車両Ｖが入ろうとする交差点の地図情報を抽出する。そして、ＥＣＵ１３は、抽出した交差点の地図情報を参照し、車両Ｖの現在地と信号機Ｓの設置位置との関係から車載カメラが撮像した撮像画像における信号機Ｓの位置範囲を推定する。そして、ＥＣＵ１３は、この推定した位置範囲を、信号機検出範囲として設定する。
【００２７】
次に、ＥＣＵ１３は、図２に示すように、ステップＳ２で設定した信号機検出範囲内から、所定の輝度範囲内にある画素の集合を抽出する（ステップＳ３）。すなわち、ＥＣＵ１３は、所定の輝度範囲内にある画素を抽出し、この抽出した画素位置の近いものを集合させた１つの領域を画素集合として設定する。
【００２８】
次に、ＥＣＵ１３は、ステップＳ３で抽出した画素集合の円形度が所定内にあるか否かを判定する（ステップＳ４）。そして、ステップＳ３で抽出した画素集合の円形度が所定内にないと判定すると（ステップＳ４：ＮＯ）、ＥＣＵ１３は、車載カメラ１１から送信された撮像画像からは信号機の信号灯が検出されなかったと判断し、処理を終了する。
【００２９】
一方、ステップＳ３で抽出した画素集合の円形度が所定内であると判定すると（ステップＳ４：ＹＥＳ）、ＥＣＵ１３は、この画素集合が、信号機の信号灯に対応するものであると判断し、ステップＳ３で抽出した画素集合における各画素の平均色を、色空間上にプロットする（ステップＳ５）。この色空間は、明度が色情報（色味）から分離された空間であり、例えば、ＣＩＥ Ｌ＊ａ＊ｂ＊表色系が用いられる。なお、この色空間は、ＣＩＥ Ｌ＊ａ＊ｂ＊表色系に限定されるものではないが、輝度の影響を受ける明度と色情報（色味）とを分離することが可能な色空間を用いることが好ましい。そして、ＥＣＵ１３は、この色空間へのプロットを数フレーム分だけ保存しておく。なお、保存するフレーム数は、少なくとも、後述するステップＳ６において用いるフレームの数となる。
【００３０】
次に、ＥＣＵ１３は、所定フレーム数の間に、ステップＳ３において抽出した画素集合の色空間上における変化があるか否かを判定する（ステップＳ６）。
【００３１】
図６及び図７は、Ｌ＊ａ＊ｂ＊表色系の色空間へのプロット例を示した図である。図６及び図７において、α１は、赤色の信号灯が、輝度が高く白飛びした状態から消灯により黒くなった状態に移る状態を示しており、α２は、黄色の信号灯が、輝度が高く白飛びした状態から消灯により黒くなった状態に移る状態を示している。すなわち、図６及び図７では、左下が白色となり、右上が黒色となる。なお、青色の信号灯については、特に図示していないが、赤色及び黄色の信号灯と基本的に同様である。
【００３２】
図６及び図７に示すように、上述したステップＳ５では、フレームごとに、ステップＳ３で抽出した画素集合における各画素の平均色が色空間上にプロットされる。このため、ステップＳ６では、今回撮像された撮像画像のフレームに対応して色空間上にプロットされた点ｔと、一つ前のフレームに対応して色空間上にプロットされた点ｔ−１と、二つ前のフレームに対応して色空間上にプロットされた点ｔ−２と、の位置関係に基づいて、色空間上における変化があるか否かを判定する。
【００３３】
そして、図６に示すように、点ｔ、点ｔ−１、点ｔ−２の色空間上における位置が所定範囲を超えて移動している場合は、所定フレーム数の間に、ステップＳ３において抽出した画素集合の色空間上における変化があると判定する。一方、図７に示すように、点ｔ、点ｔ−１、点ｔ−２の色空間上における位置が所定の範囲内にある場合は、所定フレーム数の間に、ステップＳ３において抽出した画素集合の色空間上における変化がないと判定する。なお、所定フレーム数の間に、ステップＳ３において抽出した画素集合の色空間上における変化がある場合は、信号機の信号灯の点滅時又は切替時に対応し、ステップＳ３において抽出した画素集合の色空間上における変化がない場合は、信号機の信号灯の点灯時に対応する。
【００３４】
このような判断基準により、所定フレーム数の間に、ステップＳ３において抽出した画素集合の色空間上における変化があると判定すると（ステップＳ６：ＹＥＳ）、ＥＣＵ１３は、後述するステップＳ８に進む。
【００３５】
一方、所定フレーム数の間に、ステップＳ３において抽出した画素集合の色空間上における変化がないと判定すると（ステップＳ６：ＮＯ）、ＥＣＵ１３は、ステップＳ３において抽出した画素集合の中心部から外側に向かう所定分の画素列の色情報を、色空間上にプロットする（ステップＳ７）。
【００３６】
ここで、図８及び図９を参照して、ステップＳ７の処理について詳しく説明する。図８は、画素集合の中心部から外側に向かう画素列を示した図である。図９は、Ｌ＊ａ＊ｂ＊表色系の色空間へのプロット例を示した図である。なお、図９において、α１及びα２は、図６及び図７と同様に、信号灯が、輝度が高く白飛びした状態から消灯により黒くなった状態に移る状態を示しており、例えば、α１が赤色の信号灯、α２が黄色の信号灯を示している。
【００３７】
図８に示すように、ＥＣＵ１３は、まず、ステップＳ３において抽出した画素集合Ｇの中心Ｏを算出する。そして、ＥＣＵ１３は、この中心Ｏから画素集合Ｇの外側に向かう直線ｌを求め、この直線ｌから複数の画素を抽出する。直線ｌは、中心Ｏから外側に向かう直線であれば如何なる方向を向いた直線であってもよいが、ＥＣＵ１３の処理負荷の観点から、中心Ｏから上下方向又は左右方向に延びる直線であることが好ましい。そして、ＥＣＵ１３は、直線ｌ上の複数の画素を抽出する。このとき、抽出する画素として、中心Ｏの画素ｙ１と、画素集合Ｇにおける周辺部の画素ｙ２と、画素集合Ｇの外側の画素ｙ３と、を抽出する。なお、この抽出する画素は、画素ｙ１〜ｙ３に限定されるものではなく、少なくとも、画素集合Ｇにおける周辺部の画素が含まれていれば、如何なる位置及び如何なる数の画素を抽出してもよい。そして、ＥＣＵ１３は、図９に示すように、この抽出した画素ｙ１〜ｙ３の色を、色空間上にプロットする。なお、ステップＳ７でプロットする色空間とステップＳ５でプロットする色空間とは、同じであることが好ましいが、異なっていてもよい。
【００３８】
そして、ＥＣＵ１３は、図２に示すように、ステップＳ７において画素ｙ１〜ｙ３の色を色空間上にプロットすると、ステップＳ８に進む。
【００３９】
ステップＳ８に進むと、ＥＣＵ１３は、ステップＳ５又はステップＳ７において色空間上にプロットされた点列と辞書情報とのマッチングを行い、灯火色の識別を行う（ステップＳ８）。
【００４０】
ここで、図１０をも参照して、ステップＳ８の識別処理について説明する。図１０は、灯火色に対応する色度の設定変化パターンを示す図であり、図１０（ａ）は、赤色の灯火色に対応する色度の変化パターン例を示しており、図１０（ｂ）は、黄色の灯火色に対応する色度の変化パターン例を示している。なお、図１０において、α１及びα２は、図６、図７及び図９と同様に、信号灯が、輝度が高く白飛びした状態から消灯により黒くなった状態に移る状態を示しており、α１が赤色の信号灯、α２が黄色の信号灯を示している。
【００４１】
図１０に示すように、メモリ１２には、信号灯の灯火色ごとに、輝度が高く白飛びした状態から消灯により黒くなった状態に移る状態を示す設定変化パターンβが設定されている。図１０（ａ）に示すように、赤色の灯火色に対応する設定変化パターンβ１は、α１上の点列を繋げた１又は複数の線分により構成される。また、図１０（ｂ）に示すように、黄色の灯火色に対応する設定変化パターンβ２は、α２上の点列を繋げた１又は複数の線分により構成される。青色の灯火色に対応する設定変化パターンも、赤色及び黄色の灯火色に対応する設定変化パターンβ１及びβ２と同様に設定される。
【００４２】
そして、ＥＣＵ１３は、ステップＳ５又はステップＳ７において色空間上にプロットされた点列を接続してベクトルとし、このベクトルを色空間における色度の変化パターンとする。すなわち、ステップＳ７を経ることなくステップＳ６から直接ステップＳ８に進んだ場合は、ステップＳ５において色空間上にプロットされた点列に基づいて検出変化パターンを求める。一方、ステップＳ７を経てステップＳ８に進んだ場合は、ステップＳ７において色空間上にプロットされた点列に基づいて検出変化パターンを求める。
【００４３】
このようにして検出変化パターンが求められると、ＥＣＵ１３は、このようにして求めた検出変化パターンとメモリ１２に設定されている各灯火色に対応する設定変化パターンとをマッチングさせる。そして、ＥＣＵ１３は、検出変化パターンに最も近い設定変化パターンに対応する色系列の灯火色を、信号灯の灯火色であると判断する。
【００４４】
次に、ＥＣＵ１３は、図２に示すように、ステップＳ８で識別した色系列の灯火色を、信号灯認識結果として出力する（ステップＳ８）。
【００４５】
以上説明したように、本実施形態に係る信号機認識装置１によれば、信号灯の形状を識別可能な程度に車載カメラ１１の露出を設定することで、車載カメラ１１で撮像した撮像画像から抽出される画素集合が信号灯であるのか信号灯とは別の光源であるのかを識別することが可能となる。
【００４６】
そして、信号灯の点滅時又は切替時には、所定フレーム数の間における画素集合の色空間上における時間変化から信号灯の灯火色を識別することで、信号灯の灯火色を性格に識別することができる。
【００４７】
一方、信号灯の点灯時のように画素集合の色空間上における時間変化がない場合は、画素集合の中心部から外側に向かう色度の変化から信号灯の灯火色を識別することで、信号灯の灯火色を正確に識別することができる。
【００４８】
これらの場合に、検出変化パターンと設定変化パターンとの対比により灯火色の識別を行うことで、識別処理を簡略化することができるとともに、識別基準が明確になるため誤判定を防止することができる。
【００４９】
以上、本発明の好適な実施形態について説明したが、本発明は上記実施形態に限定されるものではない。例えば、上記実施形態において、光源は、信号機の信号灯であるものとして説明したが、前方を走行する車両のテールランプなど、様々な光源としてもよい。この場合、図２に示したステップＳ４では、画素集合の形状と対応する光源の形状とを対比する。
【００５０】
また、上記実施形態では、光源の色空間における色度の時間変化に基づく光源の灯火色の識別と、光源の色空間における中心部から外側に向かう色度の変化に基づく光源の灯火色の識別と、を同一処理内において行うものとして説明したが、何れか一方の識別処理のみを行うものとしてもよい。
【００５１】
また、上記実施形態では、設定変化パターンとして、色空間におけるα（α１，α２）上の点列を繋げた設定変化パターンβを採用するものとして説明したが、色空間におけるα（α１，α２）自体を設定変化パターンとしてもよい。
【００５２】
また、上記実施形態では、図６、図７、図９及び図１０に示すような色空間に色情報をプロットするものとして説明したが、図１１に示すような、ＣＩＥ Ｌ＊ａ＊ｂ＊表色系の色空間に色情報をプロットするものとしてもよい。図１１は、ＣＩＥ Ｌ＊ａ＊ｂ＊表色系の色空間と信号灯の灯火色との関係を示した図である。図１１において、γ１は、信号灯が青色から黄色に切り替わるときの色空間における時間的変化を示しており、γ２は、信号灯が黄色から赤色に切り替わるときの色空間における時間的変化を示しており、γ３は、信号灯が赤色から青色に切り替わるときの色空間における時間的変化を示している。この場合、所定フレーム数の間における画素集合の色空間上における時間変化が、γ１〜γ３の何れに対応するかを判断することで、信号灯の灯火色を正確に識別することができる。
【符号の説明】
【００５３】
１…信号機認識装置（灯火色識別装置）、１１…車載カメラ（撮像手段）、１２…メモリ、１３…ＥＣＵ（灯火色識別装置）、Ｇ…画素集合、Ｓ…信号機、Ｖ…車両、β（β１，β２）…設定変化パターン。
【技術分野】
【０００１】
本発明は、光源の灯火色を識別する灯火色識別装置に関する。
【背景技術】
【０００２】
この種の技術として、特許文献１に記載されたような技術が知られている。特許文献１には、所定真円度以上又は所定輝度以上の灯火を、信号機の信号灯と認識することが記載されている。
【先行技術文献】
【特許文献】
【０００３】
【特許文献１】特開２００７−２５７３００号公報
【発明の概要】
【発明が解決しようとする課題】
【０００４】
ところで、信号灯の灯火識別は、他の光源との区別と色の識別とにより行われる。このため、信号灯の灯火識別を行うためには、撮像画像における所定数以上の画素から信号灯の形を判別し、信号灯と判別した画素の色を判別する必要がある。
【０００５】
しかしながら、信号灯は、中心部の輝度が高く周辺部の輝度が低いため、適切に撮像手段の露出を設定することができない。
【０００６】
輝度の高い信号灯の中心部に合わせて露出を高くすると、撮影される灯火領域が大きくなるため、円形度などの形状を把握し易くなるが、輝度が高く白飛びして色情報が得られなくなるため、灯火色の判定が難しい。このため、たとえ灯火色を識別するための色空間の種類を変えても、信号機の灯火色を識別するのは難しく、例えば、赤信号を黄信号であると誤認識するという問題が発生する。
【０００７】
一方、輝度の低い信号灯の周辺部に合わせて露出を低くすると、撮影される灯火の輝度が抑えられるため、色情報を得られ易くなるが、灯火領域の画素が少なくなるため、円形度などの形状を把握するのが難しくなる。このため、街灯などを信号灯であると誤認識する問題が発生する。
【０００８】
そこで、本発明は、所望の光源の灯火色を正確に識別することができる灯火色識別装置を提供することを目的とする。
【課題を解決するための手段】
【０００９】
本発明に係る灯火色識別装置は、撮像手段により撮像された撮像画像から光源の灯火色を識別する灯火色識別装置であって、光源の色空間における色度の変化に基づいて、光源の灯火色を識別することを特徴とする。
【００１０】
本発明に係る灯火色識別装置によれば、光源の形状を識別可能な程度に撮像手段の露出を設定することで、所望の光源と別の光源とを識別することが可能となる。このとき、光源の中心部は輝度が高いため白飛びするが、光源の点滅時や灯火色の切替時に輝度が低くなって色情報が出現し、また、光源の中心部から周辺部に向かうと輝度が低くなって色情報が出現する。このため、このように出現する色情報の色空間における色度の変化を観察することで、光源の灯火色を正確に識別することができる。
【００１１】
この場合、光源の色空間における色度の時間変化に基づいて、光源の灯火色を識別することが好ましい。上述したように、光源の中心部は輝度が高いため白飛びするが、光源の点滅時や灯火色の切替時に輝度が低くなって色情報が出現するため、このように出現する色情報の色空間における色度の時間変化を観察することで、光源の灯火色を正確に識別することができる。
【００１２】
また、光源の色空間における中心部から外側に向かう色度の変化に基づいて、光源の灯火色を識別することが好ましい。上述したように、光源の中心部は輝度が高いため白飛びするが、光源の中心部から周辺部に向かうと輝度が低くなって色情報が出現するため、このように出現する色情報の色空間における中心部から外側に向かう色度の変化を観察することで、光源の灯火色を正確に識別することができる。
【００１３】
これらの場合、灯火色に対応した色空間における色度の変化パターンを設定変化パターンとして設定しておき、光源の色空間における色度の変化パターンと、設定変化パターンとの対比により、光源の灯火色を識別することが好ましい。このように、撮像画像から得られ変化パターンを予め設定した設定変化パターンと対比させることで光源の灯火色を識別することで、識別処理を簡略化することができるとともに、識別基準が明確になるため誤判定を防止することができる。
【００１４】
なお、光源を信号機における信号灯とすることで、信号灯の灯火色を正確に識別することができるため、車両の駆動制御を行う車両制御装置などにおいて、信号灯に基づく様々な処理の信頼性を向上させることができる。
【発明の効果】
【００１５】
本発明によれば、所望の光源の灯火色を正確に識別することができる。
【図面の簡単な説明】
【００１６】
【図１】実施形態に係る信号機認識装置のブロック構成を示した図である。
【図２】ＥＣＵの処理動作を示すフローチャートである。
【図３】交差点に入ろうとする車両と信号機との位置関係を示す図である。
【図４】図３に示す交差点の地図情報を示す図である。
【図５】図３に示す車両の車載カメラが撮像した撮像画像を示す図である。
【図６】Ｌ＊ａ＊ｂ＊表色系の色空間へのプロット例を示した図である。
【図７】Ｌ＊ａ＊ｂ＊表色系の色空間へのプロット例を示した図である。
【図８】画素集合の中心部から外側に向かう画素列を示した図である。
【図９】Ｌ＊ａ＊ｂ＊表色系の色空間へのプロット例を示した図である。
【図１０】灯火色に対応する色度の設定変化パターンを示す図である。
【図１１】ＣＩＥ Ｌ＊ａ＊ｂ＊表色系の色空間と信号灯の灯火色との関係を示した図である。
【発明を実施するための形態】
【００１７】
以下、図面を参照して、本発明に係る灯火色識別装置の好適な実施形態について詳細に説明する。本実施形態は、本発明に係る灯火色識別装置を、信号機における信号灯の灯火色を識別する信号機認識装置に適用したものである。なお、全図中、同一又は相当部分には同一符号を付すこととする。
【００１８】
図１は、実施形態に係る信号機認識装置のブロック構成を示した図である。図に示すように、本実施形態の信号機認識装置１は、図示しない車両に搭載されており、車載カメラ１１と、メモリ１２と、ＥＣＵ（Electronic Control Unit）１３と、を備えている。
【００１９】
車載カメラ１１は、ＣＣＤカメラなどの撮像装置により構成されている。この車載カメラ１１は、車両の前部に搭載されており、車両前方の信号機を撮像することが可能となっている。なお、車載カメラ１１は、例えば、１秒間に４０〜５０フレームの撮像画像を撮像することが可能となっている。そして、車載カメラ１１は、撮像画像をＥＣＵ１３に送信する。
【００２０】
メモリ１２は、ＲＡＭやハードディスクなどの記憶装置により構成されている。このメモリ１２には、ＥＣＵ１３が参照する地図情報や辞書情報などの様々な情報が記憶されている。
【００２１】
ＥＣＵ１３は、車載カメラ１１及びメモリ１２と電気的に接続されている。そして、ＥＣＵ１３は、メモリ１２に記憶されている地図情報及び辞書情報を参酌しながら、車載カメラ１１で撮像された撮像画像から、信号機における信号灯の灯火色を識別するものである。
【００２２】
ここで、図２を参照して、ＥＣＵ１３による、信号機における信号灯の灯火色を識別処理について説明する。図２は、ＥＣＵの処理動作を示すフローチャートである。
【００２３】
図２に示すように、まず、ＥＣＵ１３は、車載カメラ１１から送信された撮像画像の入力を行う（ステップＳ１）。なお、上述したように、車載カメラ１１は、例えば、１秒間に４０〜５０フレームの撮像画像を撮像することが可能となっているため、車載カメラ１１が撮像した各フレームの撮像画像を随時入力する。
【００２４】
次に、ＥＣＵ１３は、ステップＳ１で入力した各フレームの撮像画像における信号機検出範囲を設定する（ステップＳ２）。
【００２５】
ここで、図３〜図５を参照して、ステップＳ２における信号機検出範囲の設定について説明する。図３は、交差点に入ろうとする車両と信号機との位置関係を示す図である。
図４は、図３に示す交差点の地図情報を示す図である。図５は、図３に示す車両の車載カメラが撮像した撮像画像を示す図である。
【００２６】
図３に示すように、信号機Ｓが設置された交差点に車両Ｖが入ろうとする場合を考える。この場合、図４に示すように、車両Ｖに搭載された車載カメラ１１により撮像された撮像画像には、信号機Ｓが写し出される。そこで、ＥＣＵ１３は、ＧＰＳ（Global Positioning System）などの位置検出手段により車両Ｖの現在地を検出し、図５に示すように、メモリ１２に記憶されている地図情報から、車両Ｖが入ろうとする交差点の地図情報を抽出する。そして、ＥＣＵ１３は、抽出した交差点の地図情報を参照し、車両Ｖの現在地と信号機Ｓの設置位置との関係から車載カメラが撮像した撮像画像における信号機Ｓの位置範囲を推定する。そして、ＥＣＵ１３は、この推定した位置範囲を、信号機検出範囲として設定する。
【００２７】
次に、ＥＣＵ１３は、図２に示すように、ステップＳ２で設定した信号機検出範囲内から、所定の輝度範囲内にある画素の集合を抽出する（ステップＳ３）。すなわち、ＥＣＵ１３は、所定の輝度範囲内にある画素を抽出し、この抽出した画素位置の近いものを集合させた１つの領域を画素集合として設定する。
【００２８】
次に、ＥＣＵ１３は、ステップＳ３で抽出した画素集合の円形度が所定内にあるか否かを判定する（ステップＳ４）。そして、ステップＳ３で抽出した画素集合の円形度が所定内にないと判定すると（ステップＳ４：ＮＯ）、ＥＣＵ１３は、車載カメラ１１から送信された撮像画像からは信号機の信号灯が検出されなかったと判断し、処理を終了する。
【００２９】
一方、ステップＳ３で抽出した画素集合の円形度が所定内であると判定すると（ステップＳ４：ＹＥＳ）、ＥＣＵ１３は、この画素集合が、信号機の信号灯に対応するものであると判断し、ステップＳ３で抽出した画素集合における各画素の平均色を、色空間上にプロットする（ステップＳ５）。この色空間は、明度が色情報（色味）から分離された空間であり、例えば、ＣＩＥ Ｌ＊ａ＊ｂ＊表色系が用いられる。なお、この色空間は、ＣＩＥ Ｌ＊ａ＊ｂ＊表色系に限定されるものではないが、輝度の影響を受ける明度と色情報（色味）とを分離することが可能な色空間を用いることが好ましい。そして、ＥＣＵ１３は、この色空間へのプロットを数フレーム分だけ保存しておく。なお、保存するフレーム数は、少なくとも、後述するステップＳ６において用いるフレームの数となる。
【００３０】
次に、ＥＣＵ１３は、所定フレーム数の間に、ステップＳ３において抽出した画素集合の色空間上における変化があるか否かを判定する（ステップＳ６）。
【００３１】
図６及び図７は、Ｌ＊ａ＊ｂ＊表色系の色空間へのプロット例を示した図である。図６及び図７において、α１は、赤色の信号灯が、輝度が高く白飛びした状態から消灯により黒くなった状態に移る状態を示しており、α２は、黄色の信号灯が、輝度が高く白飛びした状態から消灯により黒くなった状態に移る状態を示している。すなわち、図６及び図７では、左下が白色となり、右上が黒色となる。なお、青色の信号灯については、特に図示していないが、赤色及び黄色の信号灯と基本的に同様である。
【００３２】
図６及び図７に示すように、上述したステップＳ５では、フレームごとに、ステップＳ３で抽出した画素集合における各画素の平均色が色空間上にプロットされる。このため、ステップＳ６では、今回撮像された撮像画像のフレームに対応して色空間上にプロットされた点ｔと、一つ前のフレームに対応して色空間上にプロットされた点ｔ−１と、二つ前のフレームに対応して色空間上にプロットされた点ｔ−２と、の位置関係に基づいて、色空間上における変化があるか否かを判定する。
【００３３】
そして、図６に示すように、点ｔ、点ｔ−１、点ｔ−２の色空間上における位置が所定範囲を超えて移動している場合は、所定フレーム数の間に、ステップＳ３において抽出した画素集合の色空間上における変化があると判定する。一方、図７に示すように、点ｔ、点ｔ−１、点ｔ−２の色空間上における位置が所定の範囲内にある場合は、所定フレーム数の間に、ステップＳ３において抽出した画素集合の色空間上における変化がないと判定する。なお、所定フレーム数の間に、ステップＳ３において抽出した画素集合の色空間上における変化がある場合は、信号機の信号灯の点滅時又は切替時に対応し、ステップＳ３において抽出した画素集合の色空間上における変化がない場合は、信号機の信号灯の点灯時に対応する。
【００３４】
このような判断基準により、所定フレーム数の間に、ステップＳ３において抽出した画素集合の色空間上における変化があると判定すると（ステップＳ６：ＹＥＳ）、ＥＣＵ１３は、後述するステップＳ８に進む。
【００３５】
一方、所定フレーム数の間に、ステップＳ３において抽出した画素集合の色空間上における変化がないと判定すると（ステップＳ６：ＮＯ）、ＥＣＵ１３は、ステップＳ３において抽出した画素集合の中心部から外側に向かう所定分の画素列の色情報を、色空間上にプロットする（ステップＳ７）。
【００３６】
ここで、図８及び図９を参照して、ステップＳ７の処理について詳しく説明する。図８は、画素集合の中心部から外側に向かう画素列を示した図である。図９は、Ｌ＊ａ＊ｂ＊表色系の色空間へのプロット例を示した図である。なお、図９において、α１及びα２は、図６及び図７と同様に、信号灯が、輝度が高く白飛びした状態から消灯により黒くなった状態に移る状態を示しており、例えば、α１が赤色の信号灯、α２が黄色の信号灯を示している。
【００３７】
図８に示すように、ＥＣＵ１３は、まず、ステップＳ３において抽出した画素集合Ｇの中心Ｏを算出する。そして、ＥＣＵ１３は、この中心Ｏから画素集合Ｇの外側に向かう直線ｌを求め、この直線ｌから複数の画素を抽出する。直線ｌは、中心Ｏから外側に向かう直線であれば如何なる方向を向いた直線であってもよいが、ＥＣＵ１３の処理負荷の観点から、中心Ｏから上下方向又は左右方向に延びる直線であることが好ましい。そして、ＥＣＵ１３は、直線ｌ上の複数の画素を抽出する。このとき、抽出する画素として、中心Ｏの画素ｙ１と、画素集合Ｇにおける周辺部の画素ｙ２と、画素集合Ｇの外側の画素ｙ３と、を抽出する。なお、この抽出する画素は、画素ｙ１〜ｙ３に限定されるものではなく、少なくとも、画素集合Ｇにおける周辺部の画素が含まれていれば、如何なる位置及び如何なる数の画素を抽出してもよい。そして、ＥＣＵ１３は、図９に示すように、この抽出した画素ｙ１〜ｙ３の色を、色空間上にプロットする。なお、ステップＳ７でプロットする色空間とステップＳ５でプロットする色空間とは、同じであることが好ましいが、異なっていてもよい。
【００３８】
そして、ＥＣＵ１３は、図２に示すように、ステップＳ７において画素ｙ１〜ｙ３の色を色空間上にプロットすると、ステップＳ８に進む。
【００３９】
ステップＳ８に進むと、ＥＣＵ１３は、ステップＳ５又はステップＳ７において色空間上にプロットされた点列と辞書情報とのマッチングを行い、灯火色の識別を行う（ステップＳ８）。
【００４０】
ここで、図１０をも参照して、ステップＳ８の識別処理について説明する。図１０は、灯火色に対応する色度の設定変化パターンを示す図であり、図１０（ａ）は、赤色の灯火色に対応する色度の変化パターン例を示しており、図１０（ｂ）は、黄色の灯火色に対応する色度の変化パターン例を示している。なお、図１０において、α１及びα２は、図６、図７及び図９と同様に、信号灯が、輝度が高く白飛びした状態から消灯により黒くなった状態に移る状態を示しており、α１が赤色の信号灯、α２が黄色の信号灯を示している。
【００４１】
図１０に示すように、メモリ１２には、信号灯の灯火色ごとに、輝度が高く白飛びした状態から消灯により黒くなった状態に移る状態を示す設定変化パターンβが設定されている。図１０（ａ）に示すように、赤色の灯火色に対応する設定変化パターンβ１は、α１上の点列を繋げた１又は複数の線分により構成される。また、図１０（ｂ）に示すように、黄色の灯火色に対応する設定変化パターンβ２は、α２上の点列を繋げた１又は複数の線分により構成される。青色の灯火色に対応する設定変化パターンも、赤色及び黄色の灯火色に対応する設定変化パターンβ１及びβ２と同様に設定される。
【００４２】
そして、ＥＣＵ１３は、ステップＳ５又はステップＳ７において色空間上にプロットされた点列を接続してベクトルとし、このベクトルを色空間における色度の変化パターンとする。すなわち、ステップＳ７を経ることなくステップＳ６から直接ステップＳ８に進んだ場合は、ステップＳ５において色空間上にプロットされた点列に基づいて検出変化パターンを求める。一方、ステップＳ７を経てステップＳ８に進んだ場合は、ステップＳ７において色空間上にプロットされた点列に基づいて検出変化パターンを求める。
【００４３】
このようにして検出変化パターンが求められると、ＥＣＵ１３は、このようにして求めた検出変化パターンとメモリ１２に設定されている各灯火色に対応する設定変化パターンとをマッチングさせる。そして、ＥＣＵ１３は、検出変化パターンに最も近い設定変化パターンに対応する色系列の灯火色を、信号灯の灯火色であると判断する。
【００４４】
次に、ＥＣＵ１３は、図２に示すように、ステップＳ８で識別した色系列の灯火色を、信号灯認識結果として出力する（ステップＳ８）。
【００４５】
以上説明したように、本実施形態に係る信号機認識装置１によれば、信号灯の形状を識別可能な程度に車載カメラ１１の露出を設定することで、車載カメラ１１で撮像した撮像画像から抽出される画素集合が信号灯であるのか信号灯とは別の光源であるのかを識別することが可能となる。
【００４６】
そして、信号灯の点滅時又は切替時には、所定フレーム数の間における画素集合の色空間上における時間変化から信号灯の灯火色を識別することで、信号灯の灯火色を性格に識別することができる。
【００４７】
一方、信号灯の点灯時のように画素集合の色空間上における時間変化がない場合は、画素集合の中心部から外側に向かう色度の変化から信号灯の灯火色を識別することで、信号灯の灯火色を正確に識別することができる。
【００４８】
これらの場合に、検出変化パターンと設定変化パターンとの対比により灯火色の識別を行うことで、識別処理を簡略化することができるとともに、識別基準が明確になるため誤判定を防止することができる。
【００４９】
以上、本発明の好適な実施形態について説明したが、本発明は上記実施形態に限定されるものではない。例えば、上記実施形態において、光源は、信号機の信号灯であるものとして説明したが、前方を走行する車両のテールランプなど、様々な光源としてもよい。この場合、図２に示したステップＳ４では、画素集合の形状と対応する光源の形状とを対比する。
【００５０】
また、上記実施形態では、光源の色空間における色度の時間変化に基づく光源の灯火色の識別と、光源の色空間における中心部から外側に向かう色度の変化に基づく光源の灯火色の識別と、を同一処理内において行うものとして説明したが、何れか一方の識別処理のみを行うものとしてもよい。
【００５１】
また、上記実施形態では、設定変化パターンとして、色空間におけるα（α１，α２）上の点列を繋げた設定変化パターンβを採用するものとして説明したが、色空間におけるα（α１，α２）自体を設定変化パターンとしてもよい。
【００５２】
また、上記実施形態では、図６、図７、図９及び図１０に示すような色空間に色情報をプロットするものとして説明したが、図１１に示すような、ＣＩＥ Ｌ＊ａ＊ｂ＊表色系の色空間に色情報をプロットするものとしてもよい。図１１は、ＣＩＥ Ｌ＊ａ＊ｂ＊表色系の色空間と信号灯の灯火色との関係を示した図である。図１１において、γ１は、信号灯が青色から黄色に切り替わるときの色空間における時間的変化を示しており、γ２は、信号灯が黄色から赤色に切り替わるときの色空間における時間的変化を示しており、γ３は、信号灯が赤色から青色に切り替わるときの色空間における時間的変化を示している。この場合、所定フレーム数の間における画素集合の色空間上における時間変化が、γ１〜γ３の何れに対応するかを判断することで、信号灯の灯火色を正確に識別することができる。
【符号の説明】
【００５３】
１…信号機認識装置（灯火色識別装置）、１１…車載カメラ（撮像手段）、１２…メモリ、１３…ＥＣＵ（灯火色識別装置）、Ｇ…画素集合、Ｓ…信号機、Ｖ…車両、β（β１，β２）…設定変化パターン。
【特許請求の範囲】
【請求項１】
撮像手段により撮像された撮像画像から光源の灯火色を識別する灯火色識別装置であって、
前記光源の色空間における色度の変化に基づいて、前記光源の灯火色を識別することを特徴とする灯火色識別装置。
【請求項２】
前記光源の色空間における色度の時間変化に基づいて、前記光源の灯火色を識別することを特徴とする請求項１に記載の灯火色識別装置。
【請求項３】
前記光源の色空間における中心部から外側に向かう色度の変化に基づいて、前記光源の灯火色を識別することを特徴とする請求項１又は２に記載の灯火色識別装置。
【請求項４】
灯火色に対応した色空間における色度の変化パターンを設定変化パターンとして設定しておき、
前記光源の色空間における色度の変化パターンと、前記設定変化パターンとの対比により、前記光源の灯火色を識別することを特徴とする請求項１〜３の何れか１項に記載の灯火色識別装置。
【請求項５】
前記光源は、信号機における信号灯であることを特徴とする請求項１〜４の何れか１項に記載の灯火色識別装置。
【請求項１】
撮像手段により撮像された撮像画像から光源の灯火色を識別する灯火色識別装置であって、
前記光源の色空間における色度の変化に基づいて、前記光源の灯火色を識別することを特徴とする灯火色識別装置。
【請求項２】
前記光源の色空間における色度の時間変化に基づいて、前記光源の灯火色を識別することを特徴とする請求項１に記載の灯火色識別装置。
【請求項３】
前記光源の色空間における中心部から外側に向かう色度の変化に基づいて、前記光源の灯火色を識別することを特徴とする請求項１又は２に記載の灯火色識別装置。
【請求項４】
灯火色に対応した色空間における色度の変化パターンを設定変化パターンとして設定しておき、
前記光源の色空間における色度の変化パターンと、前記設定変化パターンとの対比により、前記光源の灯火色を識別することを特徴とする請求項１〜３の何れか１項に記載の灯火色識別装置。
【請求項５】
前記光源は、信号機における信号灯であることを特徴とする請求項１〜４の何れか１項に記載の灯火色識別装置。
【図１】
【図２】
【図３】
【図４】
【図５】
【図６】
【図７】
【図８】
【図９】
【図１０】
【図１１】
【図２】
【図３】
【図４】
【図５】
【図６】
【図７】
【図８】
【図９】
【図１０】
【図１１】
【公開番号】特開２０１２−２５６１１２（Ｐ２０１２−２５６１１２Ａ）
【公開日】平成２４年１２月２７日（２０１２．１２．２７）
【国際特許分類】
【出願番号】特願２０１１−１２７４７３（Ｐ２０１１−１２７４７３）
【出願日】平成２３年６月７日（２０１１．６．７）
【出願人】（０００００３２０７）トヨタ自動車株式会社 (59,920)
【Ｆターム（参考）】
【公開日】平成２４年１２月２７日（２０１２．１２．２７）
【国際特許分類】
【出願日】平成２３年６月７日（２０１１．６．７）
【出願人】（０００００３２０７）トヨタ自動車株式会社 (59,920)
【Ｆターム（参考）】
[ Back to top ]