信号機点灯状態識別方法および装置

【課題】自車の通行に関係する信号機の有無や点灯状態を、少ない計算量で、特徴点の得難い灯火についても、１台のカメラ等によって識別する。
【解決手段】自動車等の移動体の前方付近を撮影して画像に含まれている信号機の有無および点灯状態のいずれかあるいは両方を識別する信号機点灯状態識別装置である。画像に含まれる灯火が楕円状であるか否かを判定する楕円判定部１２と、楕円状の灯火の長径および短径から灯火の法線ベクトルを求める法線ベクトル計算部１３と、灯火の法線ベクトルから灯火が自車の通行に関係するか否かを判定して画像から自車が従うべき信号機の灯火を識別する灯火判定部１４とを備える。

【発明の詳細な説明】
【技術分野】
【０００１】
本発明は、自動車等の移動体の前方付近を撮影した画像に含まれている信号機の有無および点灯状態のいずれかあるいは両方を識別する信号機点灯状態識別方法および装置に関するものである。
【背景技術】
【０００２】
従来、自動車等の移動体にカメラを設置し、このカメラによって撮影された画像にもとづいて信号機や交通標識等を認識する技術が提案されている。例えば、特許文献１には、２台のカメラで撮影された画像からステレオマッチング等の手法を用いて信号機や交通標識等を識別し、識別された信号機や交通標識等上の３点からその法線ベクトルを求め、その法線ベクトルから自車が従うべき信号機や交通標識であるか否かの判断をおこなう、という技術が開示されている。
【特許文献１】特開２００４−２７２６９４号公報
【発明の開示】
【発明が解決しようとする課題】
【０００３】
特許文献１で開示された技術では、２台のカメラによって撮影された画像から、ステレオマッチング等の技術を用いて対象物表面の３点の３次元座標を求めた上で、３点の３次元座標から対象物の法線ベクトルを求める必要がある。
【０００４】
しかしながら、ステレオマッチングによる３次元座標の計算は、２つの画像を相互の色情報の対応をとりながら走査するという処理が必要なため、計算量が大きい、という課題があった。
【０００５】
また、夜間に点灯中の信号灯のような特徴点の特定が困難な対象物についていえば、２台のカメラで撮影された２つの画像から、ステレオマッチングに必要な、各々対応する特徴点を精度よく特定することが困難である、という課題があった。
【０００６】
さらに、ステレオマッチングによって灯火の法線ベクトルを求めるために、２台のカメラが必要である、という課題があった。
【０００７】
そこで、本発明は、上記課題を解決し、自車の通行に関係する信号機の有無や点灯状態を、少ない計算量で、特徴点の得難い灯火についても、１台のカメラ等によって、識別することが可能な信号機点灯状態識別方法および装置を提供することを目的とする。
【課題を解決するための手段】
【０００８】
本発明の信号機点灯状態識別方法は、自動車を含む移動体の前方付近を撮影した画像に含まれている信号機の有無および点灯状態のいずれかあるいは両方を識別する信号機点灯状態識別方法であって、
画像に含まれる信号機の灯火が楕円状であるか否かを判定するステップと、
灯火が楕円状である場合に楕円状の灯火の長径および短径から灯火の法線ベクトルを求めるステップと、
灯火の法線ベクトルから所定の基準値を基に灯火が自車の通行に関係するか否かを判定するステップとを含むものである。
【０００９】
本発明の信号機点灯状態識別装置は、自動車を含む移動体の前方付近を撮影して画像に含まれている信号機の有無および点灯状態のいずれかあるいは両方を識別する信号機点灯状態識別装置であって、
画像に含まれる信号機の灯火が楕円状であるか否かを判定する手段と、
灯火が楕円状である場合に楕円状の灯火の長径および短径から灯火の法線ベクトルを求める手段と、
灯火の法線ベクトルから所定の基準値を基に灯火が自車の通行に関係するか否かを判定する手段とを備えたものである。
【発明の効果】
【００１０】
本発明の信号機点灯状態識別方法および装置によれば、自車の通行に関係する信号機の有無や点灯状態を、少ない計算量で、特徴点の得難い灯火についても、１台のカメラ等によって識別することが可能となる。
【発明を実施するための最良の形態】
【００１１】
以下に、本発明に係る信号機点灯状態識別方法および装置の一実施の形態を図面に基づいて説明する。なお、各図において、同一要素には同一符号を付して、重複する説明は省略する。
【００１２】
まず、図１を用いて、本発明の一実施形態における信号機点灯状態識別装置の機能構成について説明する。図１に示すように、信号機点灯状態識別装置は、灯火検出部１１、楕円判定部１２、法線ベクトル計算部１３、および灯火判定部１４を有する。以下において、各構成要素について説明する。
【００１３】
灯火検出部１１は、画像の色、輝度情報等に基づき、灯火の候補を検出する。このとき、画像中に色、輝度が灯火と類似している物体が含まれている場合、実際の灯火と同様に灯火として検出されうる。
【００１４】
楕円判定部１２は、灯火検出部１１で検出された灯火に対して、灯火が楕円状か否かを判定する。ここで、図３を用いて、灯火が楕円状か否かを判定する処理の例を示す。まず、色、輝度情報に閾値を設けることによって画像を灯火部１２ａと非灯火部１２ｂとに２値化する（図３（ａ））。次に、灯火部１２ａのＸ方向の幅a、およびＹ方向の幅b、および中心座標Oを求め（図３（ｂ））、Oを中心としてX径a／２、Y径ｂ／２の楕円１２ｃを描く（図３（ｃ））。最後に、灯火部１２ａに含まれる画素と楕円１２ｃに含まれる画素との排他的論理和に属する画素（図３（ｄ）の黒い部分）の面積と楕円１２ｃに含まれる画素の面積の比が、特定の閾値以下であれば、灯火は楕円であり、そうでなければ灯火は楕円でない、と判断する。
【００１５】
法線ベクトル計算部１３は、楕円のX径、Y径から、灯火の法線ベクトルと自車の進行方向ベクトルの差を求める。ここで、図４を用いて、楕円のX径、Y径から灯火の法線ベクトルＰを求める処理の例を示す。図４において、灯火の法線ベクトルＰと自車の進行方向との差θは、cos^−１(a／b)で求まる。ここで、灯火の高さが法線ベクトルに与える影響については無視しているが、以下の灯火判定部１４の処理例で述べられているように、本実施の形態では自車と灯火との路面上での距離が一定値以下の灯火については識別の対象から除外しているため問題ない。
【００１６】
灯火判定部１４は、法線ベクトル計算部１３で求めた灯火の法線ベクトルおよび灯火の径から、灯火が自車の通行に関係するか否かを判定する。以下に、灯火判定をおこなう処理の例を示す。
【００１７】
まず、灯火判定部１４に入力された灯火の径が特定の閾値以上の灯火については、自車が従うべき灯火の候補から除外する。これは、灯火と自車との距離が近すぎる場合、灯火の高さ成分が法線ベクトルと自車の進行方向との差θに与える影響が大きくなり、灯火と自車の傾きを路面上に投影した角度とθとの相違が大きくなるためである。ただし、信号機の灯火状態の判断は交差点の停止線以前におこなう必要があるので、信号機と自社との距離は道幅以上となるような状況での灯火判定ができればよい。たとえば、道幅を１０メートル、信号灯の高さを４メートル、カメラの設置位置の高さを１メートルとした場合、高さ方向が差θに与える影響はｔａｎ−１（０．３）、すなわち約１６．６度と、十分小さな値となる。
【００１８】
なお、ＧＰＳやカーナビゲーションシステム等の情報から信号機と自車との距離を生成できる場合には、信号機と自車との距離が一定以下のものを自車が従うべき灯火の候補から削除する、という処理に置き換えてもよい。
【００１９】
次に、灯火判定部１４に入力された灯火の法線ベクトルと自車の進行方向ベクトルの差θが、特定の閾値以上であるような灯火を、自車が従うべき灯火の候補から除外する。
【００２０】
最後に、自社が従うべき灯火の候補から除外されていない灯火のうち、画像中の径が最も大きい灯火を、自車が従うべき灯火として選択する。
【００２１】
次に、図２を用いて、本発明の一実施形態における信号機点灯状態識別方法の動作について説明する。
【００２２】
まず、自車に設置されたカメラなどから、自車の前方付近の画像を入力する（ステップＳ１）。
【００２３】
次に、色、輝度等の情報に基づき、画像から点灯中の灯火を検出する（ステップＳ２）。
【００２４】
このとき、画像からは複数の灯火が検出されうる。
【００２５】
次に、灯火の形状が楕円状か否かを判断する（ステップＳ３）。ここで灯火が楕円状でないと判断された場合、この灯火は、色、輝度情報から誤検出された偽灯火とみなされる。
【００２６】
次に、楕円状の灯火の長径、短径から灯火の法線ベクトルを計算する（ステップＳ４）。
【００２７】
次に、灯火の法線ベクトルに基づいて、灯火が自車の通行に関係するか否かを判断する（ステップＳ５）。関係する場合には灯火の点灯状態を出力する（ステップＳ６）。灯火が楕円状でない場合、自車の通行に関係ない場合および点灯状態を出力した場合には全ての灯火についてステップＳ３に戻り、ステップＳ３以降を繰り返す（ループ１）。
【００２８】
以上説明したとおり、上記実施の形態によれば、１台のカメラで撮影した画像から、自車が関連する信号機の灯火を識別することが可能である。
【００２９】
なお、上記実施の形態と、従来のステレオマッチングによる灯火識別手法等とを組み合わせることによって、より可用性の高い灯火識別手法が得られる。たとえば、自車に搭載されたカメラ２台が共に正しく動作しているときはステレオマッチングによる灯火識別をおこない、カメラ２台のうち１台からの画像が得られないような異常時には、１台のカメラの画像から上記実施の形態による灯火識別をおこなうことができる。
【００３０】
また、上記実施の形態と、従来のステレオマッチングによる灯火識別手法等とを組み合わせることによって、より高精度な灯火識別手法が得られる。たとえば、遠距離の灯火など、ステレオマッチングによって法線ベクトルを得るために十分な画組精度の画像が得られない対象物に限って上記実施の形態による灯火識別をおこない、灯火が近づいてからステレオマッチングによる灯火識別をおこなうことができる。
【００３１】
なお、本発明で自車という用語で述べている物は、自動車に限られているわけではなく、信号機の灯火の状態に従う移動手段であればよい。
【００３２】
また、本発明でカメラという用語で述べている物は、イメージセンサ等、画像を得るための手段であればよい。
【産業上の利用可能性】
【００３３】
本発明にかかる信号機点灯状態識別方法および装置は、自車の通行に関係する信号機の有無や点灯状態を、少ない計算量で、特徴点の得難い灯火についても、１台のカメラ等によって識別することが可能となる等の効果を有し、自動車や列車等の信号機に従う移動体を制御する装置および方法として有用である。また、自動車のドライバーに対する警告発生手段としても応用できる。
【図面の簡単な説明】
【００３４】
【図１】本発明に係る信号機点灯状態識別装置の一実施の形態による処理の流れを示す構成図である。
【図２】本発明に係る信号機点灯状態識別方法のフローチャートである。
【図３】楕円判定部の処理の説明図である。
【図４】法線の検出を処理するための説明図である。
【符号の説明】
【００３５】
１１…灯火検出部
１２…楕円判定部
１３…法線ベクトル計算部
１４…灯火判定部

【特許請求の範囲】
【請求項１】
自動車を含む移動体の前方付近を撮影した画像に含まれている信号機の有無および点灯状態のいずれかあるいは両方を識別する信号機点灯状態識別方法であって、
前記画像に含まれる前記信号機の灯火が楕円状であるか否かを判定するステップと、
前記灯火が楕円状である場合に前記楕円状の前記灯火の長径および短径から前記灯火の法線ベクトルを求めるステップと、
前記灯火の前記法線ベクトルから所定の基準値を基に前記灯火が自車の通行に関係するか否かを判定するステップとを含む信号機点灯状態識別方法。
【請求項２】
自動車を含む移動体の前方付近を撮影して画像に含まれている信号機の有無および点灯状態のいずれかあるいは両方を識別する信号機点灯状態識別装置であって、
前記画像に含まれる前記信号機の灯火が楕円状であるか否かを判定する手段と、
前記灯火が楕円状である場合に前記楕円状の前記灯火の長径および短径から灯火の法線ベクトルを求める手段と、
前記灯火の前記法線ベクトルから所定の基準値を基に前記灯火が自車の通行に関係するか否かを判定する手段とを備えた信号機点灯状態識別装置。

【図１】