信号灯識別プログラムおよび信号灯識別装置
【課題】 識別用のテンプレートデータ等を予め用意する必要がなく、また天候や時間帯等に関わらず、高精度かつリアルタイムに撮影画像内の信号灯を識別することができる信号灯識別プログラムおよび信号灯識別装置を提供する。
【解決手段】 信号灯識別装置３を、静止画像取得部６１と、静止画像を構成する各ピクセルのＲＧＢ成分をＨＳＶ成分に変換する色成分変換部６４と、信号灯に相当する色相、彩度および明度のピクセルを抽出するための色相範囲、彩度範囲および明度範囲を定める閾値を記憶する抽出用閾値記憶部５３と、色成分変換部６４が変換した色相、彩度および明度が色相範囲、彩度範囲、および明度範囲内にあるピクセルを抽出するピクセル抽出部６５と、抽出画像を出力装置４へ出力する抽出画像出力部７２として機能させる。
【解決手段】 信号灯識別装置３を、静止画像取得部６１と、静止画像を構成する各ピクセルのＲＧＢ成分をＨＳＶ成分に変換する色成分変換部６４と、信号灯に相当する色相、彩度および明度のピクセルを抽出するための色相範囲、彩度範囲および明度範囲を定める閾値を記憶する抽出用閾値記憶部５３と、色成分変換部６４が変換した色相、彩度および明度が色相範囲、彩度範囲、および明度範囲内にあるピクセルを抽出するピクセル抽出部６５と、抽出画像を出力装置４へ出力する抽出画像出力部７２として機能させる。
【発明の詳細な説明】
【技術分野】
【０００１】
本発明は、撮影画像内の信号灯を識別する技術に関し、特に、天候や時間帯等に関わらず、リアルタイムで信号灯を識別する信号灯識別プログラムおよび信号灯識別装置に関するものである。
【背景技術】
【０００２】
近年、最先端の情報通信技術や車載センサ等を用いた様々な運転支援技術の開発が進められている。これからの高齢化社会を考えれば、このような運転支援技術はさらに進化していくものと考えられる。特に、信号灯の自動認識技術は、信号灯の見落とし等による交通事故を未然に防ぐものとして期待が大きい。また、近年導入されているＬＥＤ光源の信号灯は、弱視の人には見えづらいとの指摘があるため、自動認識技術でサポートすることも考えられる。
【０００３】
上述した信号灯の自動認識技術としては、電磁波を利用する方法と、ビデオカメラを利用する方法とが知られている。ＩＴＳ（高度道路交通システム）では、電磁波を用いた装置の開発に重点が置かれているが、設備費用が膨大な上、未解決の問題も多いというのが現状である。
【０００４】
一方、ビデオカメラを用いた方法は、低コストで普及させやすいシステムが実現可能であり、テンプレートマッチングによる識別方法や、色情報に基づく識別方法等が提案されている。前者の方法は、予め用意したテンプレートと撮影画像とを比較し、その相関度が最も高い領域を信号灯として識別するものである（非特許文献１）。一方、後者の方法は、予め信号灯の色情報を蓄積し、閾値処理により撮影画像から信号灯を抽出するものである（非特許文献２）。
【先行技術文献】
【非特許文献】
【０００５】
【非特許文献１】中田祐士，子安大士，前川仁著「車載カメラを用いた動画像からの交通信号認識」（電子情報通信学会技術研究報告，ITS2007-56,IE2007-239(2008-02), pp.121-125.）
【非特許文献２】木村文香，高橋友和，目加田慶人，井手一郎，村瀬洋著「安全運転支援のための多様な撮影環境における信号認識」（MIRU2006, pp.618-623(2006-7)）
【発明の概要】
【発明が解決しようとする課題】
【０００６】
しかしながら、上記非特許文献１に記載された発明を含めて前者の方法は、テンプレートと撮影画像との相関度が、識別精度に大きな影響を与える。このため、信号灯の誤認識を回避するためには、予めテンプレートを撮影環境の明るさや信号灯の大きさ等に近づけるための前処理が必要となる。また、悪天候の場合や夜間の場合には信号灯の形が識別しにくいため、識別精度が低下してしまうという問題がある。
【０００７】
一方、上記非特許文献２に記載された発明を含めて後者の方法は、閾値の調整が難しく、識別精度に大きな影響を与えてしまうという問題がある。また、信号灯と紛らわしい色情報が背景中に多く存在するため、処理時間が遅くなるとともに、誤認識を減らすための処理を併用することも多い。このため、識別する画像範囲が広くなるほど、リアルタイムに識別処理ができなくなる。
【０００８】
さらに、上記いずれの方法も、様々な撮影条件下における信号灯に関するテンプレートデータや色情報を予め大量に蓄積する必要がある。このため、データの準備に手間がかかる上、システム全体のコストも増大してしまうという問題がある。
【０００９】
本発明は、このような問題点を解決するためになされたものであって、識別用のテンプレートデータ等を予め用意する必要がなく、また天候や時間帯等に関わらず、高精度かつリアルタイムに撮影画像内の信号灯を識別することができる信号灯識別プログラムおよび信号灯識別装置を提供することを目的としている。
【課題を解決するための手段】
【００１０】
本発明に係る信号灯識別プログラムは、信号灯識別装置を、動画像から静止画像を取得する静止画像取得部と、下記変換式（１）〜（３）を用いて、前記静止画像を構成する各ピクセルのＲＧＢ成分（赤，緑，青）をＨＳＶ成分（色相，彩度，明度）に変換する色成分変換部と、信号灯に相当する色相のピクセルを抽出するための色相範囲を定める閾値、信号灯に相当する彩度のピクセルを抽出するための彩度範囲を定める閾値、および信号灯に相当する明度のピクセルを抽出するための明度範囲を定める閾値を記憶する抽出用閾値記憶部と、前記色成分変換部が変換した色相が前記色相範囲内であり、前記色成分変換部が変換した彩度が前記彩度範囲内であり、前記色成分変換部が変換した明度が前記明度範囲内にあるピクセルを抽出するピクセル抽出部と、前記ピクセル抽出部が抽出したピクセルからなる抽出画像を出力装置へ出力する抽出画像出力部として機能させるものであり、本発明に係る信号灯識別装置は、前記各構成部を有するものである。
色相（ｈｕｅ）＝ａｒｃｔａｎ（Ｉｙ／Ｉｘ） ・・・式（１）
彩度（ｓａｔｕｒａｔｉｏｎ）＝√（Ｉｘ２＋Ｉｙ２） ・・・式（２）
明度（ｉｎｔｅｎｓｉｔｙ）＝Ｉｚ ・・・式（３）
ただし、
（ｒ，ｇ，ｂ）は、静止画像から得られた色情報（輝度値）
【００１１】
また、本発明において、前記抽出用閾値記憶部には、赤信号または黄信号を抽出するための色相範囲の閾値が−１０度以上６０度以下に設定されているとともに、青信号を抽出するための色相範囲の閾値が１５０度以上１８０度以下に設定されており、白色光源以外の光源を抽出するための彩度範囲の閾値が１００以上に設定され、かつ、白色光源以外の光源を抽出するための明度範囲の閾値が５０以上２２５未満に設定されていてもよい。
【００１２】
さらに、本発明において、前記抽出用閾値記憶部には、さらに、色飽和した青信号を抽出するための彩度範囲の閾値が１００未満に設定され、かつ、色飽和した青信号を抽出するための明度範囲の閾値が２２５以上に設定されていてもよい。
【００１３】
また、本発明において、前記色成分変換部が変換処理する前に、信号灯に近いＲＧＢ成分を有するピクセルを予めフィルタリングするためのフィルタリング用閾値を記憶するフィルタリング用閾値記憶部と、前記静止画像を構成する各ピクセルについて、ＲＧＢ成分間の差分を算出するＲＧＢ差分算出部と、前記ＲＧＢ成分算出部が算出した差分が、前記フィルタリング用閾値で定められた範囲内にあるピクセルをフィルタリングして取得するフィルタリング部として信号灯識別装置を機能させるとともに、前記フィルタリング用閾値記憶部には、赤信号、黄信号および青信号のフィルタリング用閾値として以下の閾値が設定されていてもよい。
赤信号：（Ｒ−Ｇ）＋１２８≧２５５、かつ、（Ｒ−Ｂ）≧１００
黄信号：（Ｒ−Ｇ）＋１２８＜２５５、かつ、（Ｒ−Ｂ）≧１００
青信号：（Ｒ−Ｇ）＋１２８＜２８、かつ、（Ｂ−Ｇ）≦０
ただし、Ｒ：Ｒ成分の輝度値 Ｇ：Ｇ成分の輝度値 Ｂ：Ｂ成分の輝度値
【００１４】
さらに、本発明において、前記ピクセル抽出部が抽出したピクセルのうち、隣接する全てのピクセルにラベリングしてグループ化するラベリング部と、前記ラベリング部がグループ化したラベリング領域の中心点を算出する中心点算出部と、前記中心点算出部が算出した中心点と前記ラベリング領域の周縁部を構成するピクセルとの位置関係に基づいて、信号灯に近い形状のラベリング領域を選別する形状選別部として信号灯識別装置を機能させてもよく、本発明に係る信号灯識別装置は、上記各構成部を有していてもよい。
【００１５】
また、本発明において、前記ピクセル抽出部が抽出したピクセルのうち、隣接する全てのピクセルにラベリングしてグループ化するラベリング部と、前記ラベリング部がグループ化したラベリング領域の上下距離と左右距離との差に基づいて、信号灯とは異なる形状のラベリング領域を選別する形状選別部として信号灯識別装置を機能させてもよく、本発明に係る信号灯識別装置は、上記各構成部を有していてもよい。
【００１６】
さらに、本発明において、前記ピクセル抽出部が抽出したピクセルのうち、隣接する全てのピクセルにラベリングしてグループ化するラベリング部と、前記ラベリング部がグループ化したラベリング領域の中心点を算出する中心点算出部と、前記中心点算出部が算出した中心点のオプティカルフローを取得するオプティカルフロー取得部と、前記オプティカルフロー取得部が取得したオプティカルフローに基づいて、信号灯以外のラベリング領域を選別する非対象領域選別部として信号灯識別装置を機能させてもよく、本発明に係る信号灯識別装置は、上記各構成部を有していてもよい。
【発明の効果】
【００１７】
本発明によれば、識別用のテンプレートデータ等を予め用意する必要がなく、また天候や時間帯等に関わらず、高精度かつリアルタイムに撮影画像内の信号灯を識別することができる。
【図面の簡単な説明】
【００１８】
【図１】本発明に係る信号灯識別装置を含む信号灯識別システムの実施形態を示すブロック図である。
【図２】本実施形態において、（ａ）色飽和した信号灯を示す静止画像、および（ｂ）図２（ａ）の抽出画像である。
【図３】本実施形態において、信号灯に相当するラベリング領域を示す図である。
【図４】本実施形態において、（ａ）信号灯を遠くから撮影した静止画像、および（ｂ）図４（ａ）の抽出画像の拡大図である。
【図５】本実施形態において、形状を選別するラベリング領域を示す図である。
【図６】本実施形態の信号灯識別プログラムにより実行される信号灯識別装置の処理を示すフローチャート図である。
【図７】実施例１において、（ａ）青信号を撮影した静止画像、（ｂ）白枠領域内のピクセルについて彩度および明度の関係を示すグラフ、（ｃ）光源領域１内のピクセルを抽出した拡大画像、（ｄ）光源領域２内のピクセルを抽出した拡大画像、（ｅ）光源領域３内のピクセルを抽出した拡大画像である。
【図８】実施例１において、（ａ）赤信号を撮影した静止画像、（ｂ）図８（ａ）内のピクセルについて彩度および明度の関係を示すグラフ、（ｃ）光源領域１内のピクセルを抽出した画像である。
【図９】実施例２において、使用したサンプル動画像の撮影日時および撮影時の天候を示す表である。
【図１０】実施例２において、（ａ）彩度成分のヒストグラム分布を示すグラフ、（ｂ）明度成分のヒストグラム分布を示すグラフである。
【図１１】実施例３において、図７（ｃ）の青信号を構成する全ピクセルの色相値を示す図である。
【図１２】実施例４において、（ａ）黄信号を含む静止画像、および（ｂ）図１２（ａ）の抽出画像の一部を示す拡大画像である。
【図１３】実施例４において、図１２（ｂ）の黄信号を構成する全ピクセルの色相値を示す図である。
【図１４】実施例４において、（ａ）赤信号を含む静止画像、および（ｂ）図１４（ａ）の抽出画像の一部を示す拡大画像である。
【図１５】実施例４において、図１４（ｂ）の赤信号を構成する全ピクセルの色相値を示す図である。
【図１６】実施例５において、各サンプル動画像について光源の抽出率を示すグラフである。
【図１７】実施例６において、検証に使用した３枚の静止画像である。
【図１８】実施例６において、ピクセル抽出処理のみ実行した場合の抽出画像である。
【図１９】実施例６において、フィルタリング処理およびピクセル抽出処理を実行した場合の抽出画像である。
【図２０】実施例６において、フィルタリング処理、ピクセル抽出処理および形状選別処理を実行した場合の抽出画像である。
【図２１】実施例７において、（ａ）青信号の前を一定速度で通過した場合に、中心点をプロットした図、（ｂ）赤信号の前で徐々に減速して停車した場合に、中心点をプロットした図である。
【発明を実施するための形態】
【００１９】
以下、本発明に係る信号灯識別プログラムおよび信号灯識別装置の実施形態について図面を用いて説明する。
【００２０】
図１は、本実施形態の信号灯識別システム１を示すブロック図であり、主として、信号灯を含む映像を撮影する撮影装置２と、この撮影装置２が撮影した映像内の信号灯を識別処理する信号灯識別装置３と、この信号灯識別装置３の識別処理結果に基づいて各種の映像や音声を出力する出力装置４とから構成されている。なお、本発明において、信号灯とは、青信号、黄信号および赤信号からなる自動車用信号機の信号灯の他、あらゆる信号機の信号灯を含む概念である。
【００２１】
撮影装置２は、自動車や電車等に車載可能なデジタルビデオカメラ等によって構成されており、信号灯を含む映像を撮影するものである。本実施形態において、撮影装置２は、ＲＧＢ（ＲＥＤ：赤，ＧＲＥＥＮ：緑，ＢＬＵＥ：青）成分を有する動画像をデジタル情報として撮影するようになっている。また、撮影装置２は、自動車の進行方向前方を撮影するようにセットされている。
【００２２】
出力装置４は、自動車や電車等の運転手に対して、運転をアシストする映像や音声を出力するためのものである。本実施形態において、出力装置４は、信号灯識別装置３から出力された信号灯の抽出画像を表示する液晶ディスプレイや、赤信号が検出された際に警報の音声等を発するスピーカ等によって構成されている。
【００２３】
信号灯識別装置３は、車載可能なコンピュータ等によって構成されており、図１に示すように、主として、本実施形態の信号灯識別プログラム３ａや各種のデータ等を記憶する記憶手段５と、この記憶手段５を制御するとともに各種のデータを取得して演算処理する演算処理手段６とから構成されている。なお、本実施形態の信号灯識別装置３は、撮影装置２および出力装置４と別体に構成しているが、一方ないし両者を一体化させた装置として構成してもよい。以下、各構成手段についてより詳細に説明する。
【００２４】
記憶手段５は、ＲＯＭ（Read Only Memory）、ＲＡＭ（Random Access Memory）、ハードディスク、フラッシュメモリ等によって構成されており、各種のデータを記憶するとともに、演算処理手段６が演算を行う際のワーキングエリアとして機能するものである。
【００２５】
本実施形態において、記憶手段５は、図１に示すように、主として、プログラム記憶部５１と、フィルタリング用閾値記憶部５２と、抽出用閾値記憶部５３とを有している。以下、各構成部についてより詳細に説明する。
【００２６】
プログラム記憶部５１には、本実施形態の信号灯識別プログラム３ａがインストールされている。そして、演算処理手段６が、信号灯識別プログラム３ａを実行することにより、本実施形態の信号灯識別装置３を後述する各構成部として機能させるようになっている。なお、信号灯識別プログラム３ａの利用形態は、上記構成に限られるものではなく、ＣＤ−ＲＯＭ等の記録媒体に記憶させておき、この記録媒体から直接起動して実行し得るようにしてもよい。
【００２７】
フィルタリング用閾値記憶部５２は、信号灯に近いＲＧＢ成分を有するピクセルを予めフィルタリングするためのフィルタリング用閾値を記憶するものである。本発明に係る信号灯識別処理は、後述するように、静止画像のＲＧＢ成分をＨＳＶ成分（色相，彩度，明度）に変換してから信号灯を識別する処理がメインとなる。しかしながら、本実施形態では、事前にＲＧＢ成分間の差分を用いたフィルタリング処理を実行することで、ＨＳＶ成分へ変換するピクセル数を低減し、変換処理量の軽減による処理速度の向上を図っている。
【００２８】
具体的には、本実施形態において、フィルタリング用閾値記憶部５２には、赤信号、黄信号および青信号のフィルタリング用閾値として、それぞれ以下の閾値が設定されている。
赤信号：（Ｒ−Ｇ）＋１２８≧２５５、かつ、（Ｒ−Ｂ）≧１００
黄信号：（Ｒ−Ｇ）＋１２８＜２５５、かつ、（Ｒ−Ｂ）≧１００
青信号：（Ｒ−Ｇ）＋１２８＜２８、かつ、（Ｂ−Ｇ）≦０
ただし、Ｒ：Ｒ成分の輝度値 Ｇ：Ｇ成分の輝度値 Ｂ：Ｂ成分の輝度値
【００２９】
なお、本実施形態では、（Ｒ−Ｇ）の差分値が負にならないように１２８の値を加えてある。また、フィルタリング用閾値は、上記の閾値に限定されるものではなく、信号灯識別装置３の性能や、要求される識別精度に応じて適宜、変更してもよい。例えば、処理速度が速い信号灯識別装置３を使用する場合には、フィルタリング用閾値をより広範囲に設定してもよい。
【００３０】
抽出用閾値記憶部５３は、信号灯に近いＨＳＶ成分を有するピクセルを抽出するための抽出用閾値を記憶するものである。本実施形態において、抽出用閾値記憶部５３には、信号灯に相当する色相のピクセルを抽出するための色相範囲を定める閾値と、信号灯に相当する彩度のピクセルを抽出するための彩度範囲を定める閾値と、信号灯に相当する明度のピクセルを抽出するための明度範囲を定める閾値とが記憶されている。
【００３１】
具体的には、後述する実施例４の結果により、赤信号または黄信号を抽出するための色相範囲の閾値が、−１０度以上６０度以下に設定されている。また、後述する実施例３の結果により、青信号を抽出するための色相範囲の閾値が、１５０度以上１８０度以下に設定されている。さらに、後述する実施例１，２の結果により、白色光源以外の光源を抽出するための彩度範囲の閾値が、１００以上に設定され、かつ、白色光源以外の光源を抽出するための明度範囲の閾値が、５０以上２２５未満に設定されている。
【００３２】
また、三色の信号灯のうち青信号は、色飽和が生じて白色として映る場合が多い。このため、本実施形態では、後述する実施例１の結果より、抽出用閾値記憶部５３には、さらに、色飽和した青信号を抽出するための彩度範囲の閾値が、１００未満に設定され、かつ、色飽和した青信号を抽出するための明度範囲の閾値が、２２５以上に設定されている。なお、本実施形態において、色飽和した青信号には、白色の光源も含まれている。また、色飽和が発生しにくい撮影条件の場合には、本閾値を設定しなくてもよい。
【００３３】
なお、本実施形態において、ＨＳＶ成分を構成する色相、彩度、明度は、色の三属性と呼ばれるものである。このうち色相（ｈｕｅ）とは、いわゆる色合いであり、有彩色の色を他の色と区別するための特質を示すものである。また、彩度（ｓａｔｕｒａｔｉｏｎ）とは、色の鮮やかさの度合いを示すものである。さらに、明度（ｉｎｔｅｎｓｉｔｙ）とは、色の明るさの度合いを示すものである。
【００３４】
演算処理手段６は、ＣＰＵ（Central Processing Unit）等から構成されており、記憶手段５にインストールされた信号灯識別プログラム３ａを実行させることにより、図１に示すように、静止画像取得部６１と、ＲＧＢ差分算出部６２と、フィルタリング部６３と、色成分変換部６４と、ピクセル抽出部６５と、抽出画像作成部６６と、ラベリング部６７と、中心点算出部６８と、形状選別部６９と、オプティカルフロー取得部７０と、非対象領域選別部７１と、抽出画像出力部７２として信号灯識別装置３を機能させるようになっている。以下、各構成部についてより詳細に説明する。
【００３５】
静止画像取得部６１は、撮影装置２が撮影した動画像から静止画像を取得するためのものである。本実施形態において、静止画像取得部６１は、撮影装置２から動画像データを入力し、当該動画像データから所定の時間間隔で静止画像をキャプチャーするようになっている。
【００３６】
ＲＧＢ差分算出部６２は、静止画像を構成する各ピクセルについて、ＲＧＢ成分間の差分を算出するものである。本実施形態において、ＲＧＢ差分算出部６２は、静止画像取得部６１が取得した静止画像を構成する１ピクセルごとに、ＲＧＢ成分に関する色情報を取得する。そして、ＲＧＢ成分間の差分として、（Ｒ−Ｇ）、（Ｒ−Ｂ）および（Ｂ−Ｇ）の値を算出するようになっている。
【００３７】
フィルタリング部６３は、信号灯に近いＲＧＢ成分を有するピクセルを予めフィルタリングして取得するものである。本実施形態において、フィルタリング部６３は、ＲＧＢ差分算出部６２が算出したＲＧＢ成分間の差分（Ｒ−Ｇ）、（Ｒ−Ｂ）および（Ｂ−Ｇ）の値を取得し、これらの差分が、フィルタリング用閾値記憶部５２内のフィルタリング用閾値で定められた範囲内にあるピクセルを抽出するようになっている。
【００３８】
なお、フィルタリング部６３がＲＧＢ成分間の差分を用いる理由は、各ピクセルの色情報が、天候や太陽光の反射によって大きく変化することに起因する。つまり、ＲＧＢ成分間の差分を利用し、天候に大きく影響される色成分を比較対象から除外することで、安定したフィルタリング処理を可能としている。例えば、赤信号ならＧ成分を除外し、青信号ならＢ成分を除外することで、天候による影響が低減されることとなる。
【００３９】
また、（Ｒ−Ｇ）の差分値を用いることで、一般的に判別が困難とされている赤信号と黄信号との識別も可能となる。つまり、赤信号のＲＧＢ値は（２５５，０，０）近傍であり、黄信号のＲＢＧ値は（２５５，２５５，０）近傍であるが、これらは天候等によって変化する。しかし、赤信号と黄信号とではＧ成分が大きく異なる上、各色の（Ｒ−Ｇ）の値は、天候によってそれほど変化しないことを見い出し、（Ｒ−Ｇ）の値を用いている。
【００４０】
なお、本フィルタリング処理は、上述したように、ＲＧＢ成分からＨＳＶ成分への変換処理速度を向上させるための処理である。このため、処理速度の速い演算処理手段６を有する信号灯識別装置３を使用する場合等には、実行しなくてもよい。
【００４１】
色成分変換部６４は、各ピクセルのＲＧＢ成分をＨＳＶ成分へ変換するためのものである。本実施形態において、色成分変換部６４は、フィルタリング部６３が抽出した各ピクセルごとにＲＧＢ成分を取得し、下記変換式（１）〜（３）を用いてＨＳＶ成分へ変換するようになっている。
色相（ｈｕｅ）＝ａｒｃｔａｎ（Ｉｙ／Ｉｘ） ・・・式（１）
彩度（ｓａｔｕｒａｔｉｏｎ）＝√（Ｉｘ２＋Ｉｙ２） ・・・式（２）
明度（ｉｎｔｅｎｓｉｔｙ）＝Ｉｚ ・・・式（３）
ただし、
（ｒ，ｇ，ｂ）は、静止画像から得られた色情報（輝度値）
【００４２】
なお、本実施形態において、ＨＳＶ成分に変換する理由は、色相（ｈｕｅ）成分が、色により決まった値を有することにある。具体的には、青信号、黄信号および赤信号のうち、黄信号は、赤色と緑色の混色であり、青信号は、緑色と青色の混色である。このため、黄信号および青信号を抽出するには、それぞれ２つのＲＧＢ成分をパラメータとして使用しなければならず、色の指定が困難である。これに対し、ＨＳＶ成分に変換すると、色相成分を指定するだけで、様々な色が高精度かつ容易に抽出される。
【００４３】
なお、本実施形態では、上述したフィルタリング処理を実行しているため、色成分変換部６４は、フィルタリング部６３が抽出したピクセルについてのみ、変換処理を実行している。しかしながら、フィルタリング処理を実行しない場合、色成分変換部６４は、静止画像取得部６１から直接、静止画像を取得し、全ピクセルについて変換処理を実行するようにしてもよい。
【００４４】
ピクセル抽出部６５は、信号灯に合致するＨＳＶ成分を有するピクセルを抽出するためのものである。本実施形態において、ピクセル抽出部６５は、色成分変換部６４が変換処理した各ピクセルごとに、色相、彩度および明度を取得するとともに、抽出用閾値記憶部５３に記憶された色相範囲、彩度範囲および明度範囲を参照する。そして、当該色相が色相範囲内であり、当該彩度が彩度範囲内であり、当該明度が明度範囲内にあるピクセルを抽出するようになっている。
【００４５】
抽出画像作成部６６は、信号灯に相当するピクセル領域のみを明瞭にした抽出画像を作成するものである。本実施形態において、抽出画像作成部６６は、ピクセル抽出部６５が抽出した全ピクセルをそのまま残す一方、それ以外の全ピクセルを黒色に変換処理して抽出画像を作成するようになっている。なお、信号灯以外のピクセルは、黒色に限定されるものではなく、信号灯と区別できる色であればどのような色でもよい。
【００４６】
ラベリング部６７は、信号灯に相当する領域を構成するピクセルをグループ化するためのものである。本実施形態において、ラベリング部６７は、抽出画像作成部６６が作成した抽出画像において、ピクセル抽出部６５が抽出した全ピクセルの情報を取得する。そして、当該ピクセルのうち、隣接する全てのピクセルにラベリングしてグループ化するようになっている。
【００４７】
なお、本実施形態において、ラベリングとは、１つの信号灯の画像を構成する全てのピクセルに対して、番号、文字、記号等の同一ラベルを付与する処理である。また、このラベリング処理によってグループ化された各領域をラベリング領域と定義する。なお、一般的に、信号機は目立つように設置されており、信号灯の周囲は信号機の本体である。このため、抽出画像において、信号灯に相当する領域は、周囲から独立していると推測できる。よって、本実施形態において、ラベリング部６７は、単なるグループ化処理を実行するだけで他の領域と区別することができる。
【００４８】
中心点算出部６８は、ラベリング領域の中心点を算出するためのものである。一般的に、信号灯を撮影した場合、図２（ａ）に示すように、信号灯の中心部が色飽和して白色となる場合が多い。このため、抽出画像におけるラベリング領域は、図２（ｂ）に示すように、中心部に穴が空いたドーナツ状となる。そこで、本実施形態では、中心点を基準にすることで、色飽和した部分に関係なく、信号灯に係るラベリング領域の形状を判別するようになっている。
【００４９】
具体的には、中心点算出部６８は、まず、ラベリング部６７がグループ化した各ラベリング領域について、下記算出式を用いて、中心点となる座標（ｘｃ，ｙｃ）を算出する。
ただし、Ｎは、ラベリング領域のエッジ（縁部）を構成するピクセルの数であり、（ｘｉ，ｙi）は、ラベリング領域のエッジを構成するＮピクセルのうち、ｉ番目のピクセルのｘｙ座標である。
【００５０】
例えば、図３に示すような円形に相当するラベリング領域について、中心点を算出する場合、ラベリング領域のエッジを構成するピクセルは、斜線を付したピクセルであり、Ｎ＝１２である。そして、各１２ピクセルのｘ座標およびｙ座標の総和を１２で除算することで、中心点座標（ｘｃ，ｙｃ）が算出される。
【００５１】
つぎに、中心点算出部６８は、ラベリング領域の上下端および左右端となる４ピクセルのｘｙ座標を取得し、下記式により、左右方向に関して中心となる座標Ｘ、および上下方向に関して中心となる座標Ｙを算出する。
Ｘ＝（右端のｘ座標＋左端のｘ座標）／２
Ｙ＝（上端のｙ座標＋下端のｙ座標）／２
そして、この座標（Ｘ，Ｙ）と中心点座標（ｘｃ，ｙｃ）との誤差σが、所定の範囲内である場合、中心点座標（ｘｃ，ｙｃ）は正しいと判断するようになっている。
【００５２】
なお、本実施形態において、上記誤差σは２ピクセル程度に設定されているが、これに限定されるものではなく、要求される識別精度に応じて、適宜変更してもよい。また、本実施形態では、上記のように、中心点座標の妥当性を検算しているが、当該処理を実行せずに処理を進めることも可能である。
【００５３】
形状選別部６９は、信号灯に近い形状のラベリング領域を選別するためのものである。信号灯は円形であるが、図４（ａ）に示すように、信号灯（図４（ａ）中の矢印部分）を遠くから撮影した場合、抽出画像における信号灯の形状は、図４（ｂ）に示すように、円形ではなく正方形に近い形状となるケースが多い。このため、本実施形態において、形状選別部６９は、円形または正方形に近いラベリング領域を信号灯であるとして選別するようになっている。
【００５４】
具体的には、形状選別部６９は、各ラベリング領域について、中心点算出部６８が算出した中心点と、この中心点から上下左右方向に最も離れた４ピクセルの位置情報を取得する。そして、上下左右の各ピクセルが、中心点からほぼ等距離にあるラベリング領域は、円形または正方形であると判定する。一方、それ以外のラベリング領域は、信号灯ではないと判断し、黒色に変換する。
【００５５】
なお、形状選別部６９による信号灯の選別方法は、上記の方法に限定されるものではなく、中心点を用いずに選別することもできる。具体的には、図５に示すようなラベリング領域Ｄを選別する場合、形状選別部６９が、下記式を満たすか否かを判定する。
｜（ｘｍａｘ−ｘｍｉｎ）−（ｙｍａｘ−ｙｍｉｎ）｜≦Ｃ
ただし、
ｘｍａｘ：ラベリング領域を構成するピクセルのｘ座標の最大値
ｘｍｉｎ：ラベリング領域を構成するピクセルのｘ座標の最小値
ｙｍａｘ：ラベリング領域を構成するピクセルのｙ座標の最大値
ｙｍｉｎ：ラベリング領域を構成するピクセルのｙ座標の最小値
Ｃ：定数
【００５６】
そして、上記式を満たさない場合、つまり、ラベリング領域の上下距離と左右距離との差が大きい場合、円形や正方形とは考えられないため、当該ラベリング領域を除外する。これにより、細長い看板等のように、縦横の長さ比が異なる対象物が除外されて識別精度が向上する。また、この方法によれば、中心点を算出する処理が不要となるため、処理速度が向上する。なお、定数Ｃは、要求される選別精度に応じて適宜設定すればよい。
【００５７】
本実施形態において、上述したラベリング部６７、中心点算出部６８および形状選別部６９による処理は、抽出画像におけるラベリング領域をさらに形状で選別することによって、識別精度を向上するオプション的処理である。このため、形状選別処理を実行しなくても、十分な識別精度が得られる場合等には、ラベリング部６７、中心点算出部６８および形状選別部６９を機能させなくてもよい。
【００５８】
オプティカルフロー取得部７０は、各ラベリング領域のオプティカルフローを取得するためのものである。ここで、オプティカルフローとは、時間的に連続する静止画像において、ある物体がどの方向に動いたかの軌跡を示すものである。本実施形態において、オプティカルフロー取得部７０は、形状選別部６９が選別処理した後の抽出画像を時系列的に取得する。そして、各抽出画像に含まれる各ラベリング領域について、中心点算出部６８が算出した中心点を順次取得し、その軌跡であるオプティカルフローを取得するようになっている。
【００５９】
なお、オプティカルフロー取得部７０によるオプティカルフローの取得方法は、特に限定されるものではなく、例えば、勾配法やブロックマッチング法等が挙げられる。
【００６０】
非対象領域選別部７１は、ラベリング領域のオプティカルフローに基づいて、信号灯以外のラベリング領域を選別するためのものである。本実施形態において、非対象領域選別部７１は、オプティカルフロー取得部７０が取得したオプティカルフローを取得し、当該オプティカルフローが所定の軌跡に近似できるか否かを判別する。その結果、近似できた場合、当該オプティカルフローを有するラベリング領域は信号灯であると判定する。一方、近似できない場合、当該ラベリング領域は、信号灯以外のテールランプやブレーキランプ等であると判定し、黒色に変換するようになっている。
【００６１】
なお、本実施形態では、後述する実施例７の結果に基づいて、非対象領域選別部７１は、オプティカルフローが直線または曲線に近似できる場合に、信号灯であると判定するようになっている。
【００６２】
本実施形態において、上述したオプティカルフロー取得部７０および非対象領域選別部７１による処理は、抽出画像におけるラベリング領域をさらにその移動軌跡で選別することによって、識別精度を向上するオプション的処理である。このため、当該処理を実行しなくても、十分な識別精度が得られる場合等には、オプティカルフロー取得部７０および非対象領域選別部７１を機能させなくてもよい。
【００６３】
抽出画像出力部７２は、信号灯に合致するピクセルが抽出された抽出画像を出力装置４へ出力するためのものである。本実施形態において、抽出画像出力部７２は、非対象領域選別部７１で選別処理された抽出画像を取得し、出力装置４へ出力するようになっている。なお、オプティカルフロー処理を実行しない場合、抽出画像出力部７２は、形状選別部６９から抽出画像を取得する。また、形状選別処理およびオプティカルフロー処理を実行しない場合、抽出画像出力部７２は、抽出画像作成部６６から直接抽出画像を取得する。
【００６４】
つぎに、本実施形態の信号灯識別プログラム３ａによって実行される信号灯識別装置３と、この信号灯識別装置３を含む信号灯識別システム１の作用につき、図６を参照しつつ説明する。
【００６５】
本実施形態の信号灯識別システム１を用いて、動画像内の信号灯をリアルタイムに識別する場合、まず、静止画像取得部６１が、撮影装置２によって撮影された動画像から静止画像を取得する（ステップＳ１）。
【００６６】
つぎに、ＲＧＢ差分算出部６２が、静止画像を構成する各ピクセルについて、ＲＧＢ成分間の差分を算出した後（ステップＳ２）、フィルタリング部６３によって、当該ＲＧＢ成分間の差分がフィルタリング用閾値で定められた範囲内にあるピクセルを抽出する（ステップＳ３）。
【００６７】
これにより、信号灯に近いＲＧＢ成分を有するピクセルが予め抽出されるため、次のステップＳ４で変換処理するピクセル数が減少し、処理速度が向上する。また、天候に大きく影響される色成分を比較対象から除外するようにＲＧＢ成分間の差分を利用するため、フィルタリング処理が安定化する。さらに、ＲＧＢ成分間の差分を利用することで、赤信号と黄信号との識別精度も向上する。
【００６８】
つづいて、色成分変換部６４が、ステップＳ３でフィルタリングされた各ピクセルごとにＲＧＢ成分を取得し、ＨＳＶ成分へ変換する（ステップＳ４）。これにより、色相における色分布が一様となるため、色相の閾値を指定するだけで、あらゆる色を正確に抽出することが容易になる。また、天候や時間帯等に関係なく、一定領域にヒストグラムが分布するため、光源が安定して抽出される。さらに、本実施形態では、ステップＳ３でフィルタリング処理を実行しているため、本ステップＳ４の処理速度が向上する。
【００６９】
つぎに、ピクセル抽出部６５が、ステップＳ４で変換処理された各ピクセルごとにＨＳＶ成分を取得し、各成分が抽出用閾値で定められた範囲内にあるピクセルを抽出する（ステップＳ５）。これにより、青信号、黄信号および赤信号の色相、彩度、明度に相当するピクセルが抽出される。また、本実施形態では、別途、色飽和した青信号も抽出するため、青信号の抽出率が向上する。
【００７０】
以上のステップＳ２〜Ｓ５は、ピクセルベースで実行される処理である。このため、演算処理手段６にかかる処理負荷が小さく、高フレームレートの動画像であってもリアルタイムに処理が可能となる。
【００７１】
つぎに、抽出画像作成部６６が、ステップＳ５で抽出されたピクセルを残す一方、それ以外のピクセルを黒色に変換し抽出画像を作成する（ステップＳ６）。これにより抽出画像では、黒色の背景に信号灯のみが際立つため明瞭となる。このため、高齢者や弱視者であっても迅速かつ容易に信号の存在に気付くことが可能となる。
【００７２】
つぎに、本実施形態では、ステップＳ６で作成された抽出画像の精度をより高めるため、以下のステップＳ７〜ステップＳ１１の処理を実行する。まず、ラベリング部６７が、抽出画像内で抽出された全ピクセルの情報を取得し、隣接する全てのピクセルにラベリングする（ステップＳ７）。これにより、抽出画像においては、１つの物体に相当するピクセル領域ごとに、グループ化される。
【００７３】
つづいて、中心点算出部６８が、ステップＳ７でグループ化された各ラベリング領域について、中心点座標を算出する（ステップＳ８）。これにより、次のステップＳ９で信号灯の形状を判別する際、ラベリング領域の中心点を基準として利用することができる。また、後述するステップＳ１０において、オプティカルフローが容易に取得される。さらに、本実施形態では、上記算出式で算出した中心点座標が正しいか否かを検算するため、正確に中心点が算出される。
【００７４】
つぎに、形状選別部６９が、各ラベリング領域について、ステップＳ８で算出された中心点と、周縁部のピクセルの位置情報とを取得し、信号灯に近い形状のラベリング領域を選別する（ステップＳ９）。これにより、街頭やネオンサイン等のように、信号灯とは異なる形状の光源が除外され、識別精度が向上する。また、中心点を基準に選別するため、色飽和が生じた信号灯であっても、その形状が精度良く判別される。
【００７５】
つづいて、オプティカルフロー取得部７０が、ステップＳ９で選別処理された抽出画像を順次取得し、各ラベリング領域の中心点についてオプティカルフローを取得する（ステップＳ１０）。そして、このステップＳ１０で取得されたオプティカルフローに基づいて、非対象領域選別部７１が、信号灯以外のラベリング領域を選別する（ステップＳ１１）。これにより、信号灯との識別が難しいとされる、自動車のテールランプやブレーキランプ等を有効に除外し、識別精度が向上する。
【００７６】
上記ステップＳ１〜Ｓ１１の処理によって得られた抽出画像は、抽出画像出力部７２によって出力装置４へ出力される（ステップＳ１２）。これにより、信号灯のみを抽出した抽出画像が車載の液晶ディスプレイ等に表示される。また、当該抽出画像に基づいて、適宜、スピーカ等から警告音や警告アナウンスが発せられる。これにより、高齢者や弱視者であっても、簡単に信号の存在やその信号色を認識する。また、抽出画像がリアルタイムで出力されるため、自動車や電車の運転をアシストするのに好適である。
【００７７】
以上のような本実施形態によれば、以下のような効果を奏する。
１．天候や時間帯等に関わらず、高精度かつリアルタイムに撮影画像内の信号灯を識別することができる。
２．信号灯を識別するためのデータを予め用意する必要がなく、低コストで普及しやすい信号灯識別システムを実現することができる。
３．適切な閾値を設定し、色飽和が生じた青信号の抽出率を高めることができる。
４．信号灯に近いピクセルを予めフィルタリングすることで、全体の処理速度を向上することができる。
５．信号灯に近い形状のラベリング領域を選別し、識別精度を向上することができる。
６．識別しにくいテールランプやブレーキランプ等を除去し、識別精度を向上することができる。
【００７８】
つぎに、本発明に係る信号灯識別プログラム３ａおよび信号灯識別装置３を含む信号灯識別システム１の具体的な実施例について説明する。なお、本発明の技術的範囲は、以下の実施例によって示される特徴に限定されるものではない。
【実施例１】
【００７９】
『彩度範囲および明度範囲の選定実験』
本実施例１では、信号灯を抽出するのに最適な彩度範囲および明度範囲を選定するための実験を行った。具体的には、まず、図７（ａ）に示す静止画像において、青信号を含む領域（白枠で囲んだ領域）を切り出し、この領域内の各ピクセルについて、彩度および明度の関係をグラフ化した。その結果を図７（ｂ）に示す。
【００８０】
つづいて、図７（ｂ）において、彩度および明度の閾値を様々な値に設定し、当該閾値で定められる範囲内のピクセルを抽出した。その結果、彩度が１００以上、かつ、明度が５０以上２２５未満の光源領域１に含まれるピクセルを抽出した場合、図７（ｃ）に示すように、背景や白色に色飽和した中心部は抽出されず、青信号に相当する周縁部のみが抽出された。
【００８１】
一方、彩度が１００未満であって、明度が２２５以上の光源領域２に含まれるピクセルのみを抽出した場合、図７（ｄ）に示すように、色飽和した青信号の中心部が抽出された。また、その他の背景を構成するピクセルのうち、彩度が５０以上１００未満であって、明度が２２５未満の光源領域３（図７（ｂ）中の楕円領域）に含まれるピクセルのみを抽出した場合、図７（ｅ）に示すように、信号灯の外周縁よりも一回り大きなリング領域が抽出された。
【００８２】
一方、赤信号についても、上記と同様の実験を実施した。具体的には、まず、赤信号を含む静止画像から図８（ａ）に示す領域を切り出し、この領域内の各ピクセルについて、彩度および明度の関係をグラフ化した。その結果を図８（ｂ）に示す。
【００８３】
そして、図８（ｂ）において、彩度および明度の閾値を様々な値に設定し、当該閾値で定められる範囲内のピクセルを抽出した。その結果、彩度が１００以上、かつ、明度が５０以上２２５未満の光源領域１に含まれるピクセルを抽出した場合、図８（ｃ）に示すように、背景は抽出されず、赤信号のみが抽出された。
【００８４】
以上のような本実施例１によれば、青信号、黄信号および赤信号等の白色光源以外の光源を抽出するための最適な彩度範囲は１００以上であり、白色光源以外の光源を抽出するための最適な明度範囲は５０以上２２５未満であることが示された。また、色飽和した青信号を抽出するための最適な彩度範囲は１００未満であり、色飽和した青信号を抽出するための最適な明度範囲は２２５以上であることが示された。
【実施例２】
【００８５】
『彩度範囲および明度範囲の妥当性を確認する実験』
本実施例２では、上述した実施例１で定めた彩度範囲および明度範囲の妥当性を確認するための実験を行った。具体的には、まず、図９に示すように、撮影した季節、天候および時間帯が異なる１０本のサンプル動画像を用意し、各動画像から赤信号が映っている静止画像を１１８枚キャプチャーした。そして、各静止画像について色変換処理を実行し、ＨＳＶ成分のヒストグラム分布をグラフ化した。
【００８６】
図１０（ａ），（ｂ）は、それぞれ彩度成分および明度成分のヒストグラム分布を示している。なお、図１０（ａ）の横軸は、彩度（０〜２５５）を示しており、図１０（ｂ）の横軸は、明度（０〜２５５）を示している。また、図１０（ａ），（ｂ）の縦軸は、光源領域の画素に対して、そのヒストグラム値が含まれている割合（％）を示している。
【００８７】
図１０（ａ）に示すように、赤信号の彩度成分は、１００以上に分布していることが確認できる。また，図１０（ｂ）に示すように、赤信号の明度成分は、５０以上２２５未満に分布していることが確認できる。なお、本実施例２では、赤信号について検証したが、白色光源以外の光源であれば、青信号や黄信号についても同様の結果が得られるものと推測される。
【００８８】
以上のような本実施例２によれば、実施例１で定めた彩度範囲および明度範囲の閾値は、白色光源以外の光源を抽出するための閾値として妥当であることが示された。
【実施例３】
【００８９】
『青信号を抽出する色相範囲の選定実験』
本実施例３では、青信号を抽出するのに最適な色相範囲を選定するための実験を行った。具体的には、青信号が点灯している静止画像として図７（ａ）の静止画像を使用し、実施例１と同様、彩度が１００以上、かつ、明度が５０以上２２５未満のピクセルを抽出した。そして、当該抽出画像（図７（ｃ））を構成する全ピクセルについて、色相値を調査した。その結果を図１１に示す。
【００９０】
図１１に示すように、青信号に相当するピクセルの色相値は、いずれも１８０度を超えていないことが確認できる。また、色相値が１５０未満のピクセルは、わずかに７ピクセルしか存在していないことがわかる。なお、各ピクセルの色相値は、小数点以下を四捨五入した値である。また、色相値が０のピクセルは、青信号以外であるとして黒色に変換されたピクセルである。
【００９１】
以上のような本実施例３によれば、青信号を抽出するための最適な色相範囲は、１５０度以上１８０度以下であることが示された。
【実施例４】
【００９２】
『黄信号または赤信号を抽出する色相範囲の選定実験』
本実施例４では、黄信号または赤信号を抽出するのに最適な色相範囲を選定するための実験を行った。具体的には、まず、図１２（ａ）に示すように、黄信号が点灯している静止画像から、彩度が１００以上、かつ、明度が５０以上２２５未満のピクセルを抽出した。そして、当該抽出画像から、図１２（ｂ）に示すような黄信号を含む領域を切り出し、この切り出し領域を構成する全ピクセルについて、色相値を調査した。その結果を図１３に示す。
【００９３】
図１３に示すように、黄信号に相当するピクセルの色相値は、いずれも６０度を超えていないことが確認できる。また、色相値が１０未満のピクセルは、１ピクセルも存在していなかった。
【００９４】
同様に、図１４（ａ）に示すように、赤信号が点灯している静止画像から、彩度が１００以上、かつ、明度が５０以上２２５未満のピクセルを抽出した。そして、当該抽出画像から、図１４（ｂ）に示すような赤信号を含む領域を切り出し、この切り出し領域を構成する全ピクセルについて、色相値を調査した。その結果を図１５に示す。
【００９５】
図１５に示すように、赤信号に相当するピクセルの色相値は、いずれも６０度を超えていないことが確認できる。また、色相値が−１０未満のピクセルは、わずかに２ピクセルしか存在していなかった。なお、図１３および図１５において、各ピクセルの色相値は、小数点以下を四捨五入した値である。また、色相値が０のピクセルは、信号灯以外であるとして黒色に変換されたピクセルである。
【００９６】
以上のような本実施例４によれば、赤信号または黄信号を抽出するための最適な色相範囲は、−１０度以上６０度以下であることが示された。
【実施例５】
【００９７】
『抽出率の確認実験』
本実施例５では、実施例１〜４で定めた抽出用閾値による抽出率を確認する実験を行った。具体的には、実施例２で使用した１０本のサンプル動画像について、本実施形態の信号灯識別プログラム３ａにより実行される信号灯識別装置３を用いて光源の抽出処理（上記ステップＳ１〜ステップＳ６）を実行した。そして、全処理フレームについて、目視により確認し、抽出画像内に信号灯が抽出されている割合を算出した。その結果を図１６に示す。
【００９８】
図１６に示すように、青信号、黄信号および赤信号全体に関する抽出率の平均値は、８２．３３％であった。また、信号灯の識別において最も重要な赤信号のみに限った場合、抽出率の平均値は、９５．３２％という高精度で識別されていた。なお、サンプル動画像のうち、ｓｉｇｎａｌ０６９とｓｉｇｎａｌ０２７には、目視でも信号灯を認識するのが極めて困難なフレームが存在していた。
【００９９】
一方、抽出に失敗したフレームを検証すると、撮影距離が遠すぎて、信号灯の大きさが十分でないケースがほとんどであった。このため、上記の抽出率は、実用上必要とされる抽出精度を十分に満たしているものと考えられる。
【０１００】
また、夜間のサンプル動画像（ｓｉｇｎａｌ０３４、ｓｉｇｎａｌ１１２）においては、特に青信号が色飽和し、光源として抽出できずに抽出率が低下していた。しかしながら、赤信号に限れば、上記のように高い抽出率が得られている上、赤信号の全領域が色飽和することは極めて稀である。このため、上記ステップＳ７〜Ｓ１１を実行せず、処理速度を優先した本処理（ステップＳ１〜ステップＳ６）でも十分実用化できるレベルである。また、別途、実施例１で定めた色飽和した青信号を抽出するための閾値を使用することにより、抽出率は改善するものと考えられる。
【０１０１】
以上のような本実施例５によれば、本実施形態の信号灯識別プログラム３ａにより実行される信号灯識別装置３を用いて光源を抽出した場合、高い抽出率が得られ、十分実用化できるレベルであることが示された。
【実施例６】
【０１０２】
『フィルタリング処理および形状選別処理の検証実験』
本実施例６では、フィルタリング処理および形状選別処理が識別結果に及ぼす影響について検証した。具体的には、図１７（ａ）〜（ｃ）に示す３枚の静止画像について、抽出用閾値によるピクセル抽出処理のみ実行した場合、フィルタリング用閾値によるフィルタリング処理を合わせて実行した場合、およびラベリングによる形状選別処理をさらに実行した場合の抽出画像を出力した。これら各場合における抽出画像をそれぞれ図１８〜図２０に示す。
【０１０３】
図１８に示すように、ピクセル抽出処理のみ実行した場合、信号灯以外の看板や空も抽出されていたが、信号灯についても漏れなく抽出されていた。また、図１９に示すように、ピクセル抽出処理の前にフィルタリング処理を実行した場合、図１８と比較して、信号灯以外の看板や空を誤抽出する割合が抑制されていた。さらに、図２０に示すように、フィルタリング処理、ピクセル抽出処理および形状選別処理を実行した場合、看板や空の誤抽出が無くなり、図２０（ｃ）において、テールランプを１つ誤抽出したに過ぎなかった。
【０１０４】
なお、図２０では、信号灯以外の領域を白色とし、抽出したラベリング領域の中心点のみを表示している。また、図２０では、見やすさの観点からあえて小さなラベリング領域を除去している。このため、図２０（ｃ）では、信号が表示されていないが、抽出自体はされている。さらに、上記オプティカルフロー処理を実行することで、図２０（ｃ）で抽出されたテールランプも除去されるものと考えられる。
【０１０５】
以上のような本実施例６によれば、本発明に係るピクセル抽出処理のみを実行した場合でも、信号灯を識別可能な抽出画像が得られることが示された。また、フィルタリング処理や形状選別処理を合わせて実行した場合、識別精度が向上することが示された。
【実施例７】
【０１０６】
『オプティカルフローに基づく選別処理の検証実験』
本実施例７では、オプティカルフローに基づく選別処理の有効性について検証する実験を行った。具体的には、信号灯が十分大きく撮影されている動画像について、フレームごとにラベリング領域の中心点を算出し、プロットすることで軌跡を調査した。その結果を図２１に示す。
【０１０７】
図２１（ａ）に示すように、青信号の前を一定速度で通過した場合、中心点がほぼ等間隔で出現し、その軌道は直線状またはゆるやかな曲線状を描くことが確認された。また、図２１（ｂ）に示すように、赤信号の前で徐々に減速して停車した場合、中心点の間隔が徐々に狭くなるものの、その軌跡はほぼ直線状またはゆるやかな曲線状を描くことが確認された。
【０１０８】
以上のように、信号機は固定物であるため、信号灯の中心点は、直線またはゆるやかな曲線に近似可能な軌跡を描くものと考えられる。また、中心点の間隔に基づいて、車の状態（加速，減速，停止など）も推測することができる。したがって、オプティカルフローの出現傾向を調べることにより、色だけでは信号灯と識別困難なテールランプやブレーキランプ等の除去に有効であるといえる。
【０１０９】
以上のような本実施例７によれば、オプティカルフローが直線または曲線に近似できる場合、信号灯であると判定することが妥当であることが示された。
【実施例８】
【０１１０】
『リアルタイム処理性能の検証実験』
本実施例８では、本実施形態の信号灯識別プログラム３ａにより実行される信号灯識別装置３について、リアルタイムでの処理性能について検証する実験を行った。具体的には、パーソナルコンピュータ（ＣＰＵ：Ｉｎｔｅｌ Ｐｅｎｔｉｕｍ（登録商標）４ ３ＧＨｚ，メモリ：５０４ＭＢ ＲＡＭ）を用いて、上述したステップＳ１からステップＳ８までの一連の処理を３フレーム毎に行った。その結果、平均処理スピードは、２７［ｆｐｓ］であった。
【０１１１】
現在、アナログテレビのフレームレートが約３０［ｆｐｓ］であることを考慮すると、本発明に係る識別処理をリアルタイムで実行することは、十分可能であるといえる。また、処理するフレーム数を減らすことにより、別途、新たな処理を追加することも可能である。
【０１１２】
以上のような本実施例８によれば、本実施形態の信号灯識別プログラム３ａにより実行される信号灯識別装置３は、動画像からリアルタイムで信号灯を識別処理できることが示された。
【０１１３】
なお、本発明に係る信号灯識別プログラム３ａおよび信号灯識別装置３は、前述した実施形態および実施例に限定されるものではなく、適宜変更することができる。
【０１１４】
例えば、上述した本実施形態では、抽出画像において、色飽和が生じた信号灯を抽出したままのドーナツ形状で表示している。しかしながら、リアルタイムでの処理を確保できるのであれば、別途、ドーナツ状となった空洞部分のピクセルを、周囲と同じ色相に変換処理するようにしてもよい。これにより、抽出画像の信号色がユーザにわかりやすくなり、視認性がより一層向上する。
【符号の説明】
【０１１５】
１ 信号灯識別システム
２ 撮影装置
３ 信号灯識別装置
３ａ 信号灯識別プログラム
４ 出力装置
５ 記憶手段
６ 演算処理手段
５１ プログラム記憶部
５２ フィルタリング用閾値記憶部
５３ 抽出用閾値記憶部
６１ 静止画像取得部
６２ ＲＧＢ差分算出部
６３ フィルタリング部
６４ 色成分変換部
６５ ピクセル抽出部
６６ 抽出画像作成部
６７ ラベリング部
６８ 中心点算出部
６９ 形状選別部
７０ オプティカルフロー取得部
７１ 非対象領域選別部
７２ 抽出画像出力部
【技術分野】
【０００１】
本発明は、撮影画像内の信号灯を識別する技術に関し、特に、天候や時間帯等に関わらず、リアルタイムで信号灯を識別する信号灯識別プログラムおよび信号灯識別装置に関するものである。
【背景技術】
【０００２】
近年、最先端の情報通信技術や車載センサ等を用いた様々な運転支援技術の開発が進められている。これからの高齢化社会を考えれば、このような運転支援技術はさらに進化していくものと考えられる。特に、信号灯の自動認識技術は、信号灯の見落とし等による交通事故を未然に防ぐものとして期待が大きい。また、近年導入されているＬＥＤ光源の信号灯は、弱視の人には見えづらいとの指摘があるため、自動認識技術でサポートすることも考えられる。
【０００３】
上述した信号灯の自動認識技術としては、電磁波を利用する方法と、ビデオカメラを利用する方法とが知られている。ＩＴＳ（高度道路交通システム）では、電磁波を用いた装置の開発に重点が置かれているが、設備費用が膨大な上、未解決の問題も多いというのが現状である。
【０００４】
一方、ビデオカメラを用いた方法は、低コストで普及させやすいシステムが実現可能であり、テンプレートマッチングによる識別方法や、色情報に基づく識別方法等が提案されている。前者の方法は、予め用意したテンプレートと撮影画像とを比較し、その相関度が最も高い領域を信号灯として識別するものである（非特許文献１）。一方、後者の方法は、予め信号灯の色情報を蓄積し、閾値処理により撮影画像から信号灯を抽出するものである（非特許文献２）。
【先行技術文献】
【非特許文献】
【０００５】
【非特許文献１】中田祐士，子安大士，前川仁著「車載カメラを用いた動画像からの交通信号認識」（電子情報通信学会技術研究報告，ITS2007-56,IE2007-239(2008-02), pp.121-125.）
【非特許文献２】木村文香，高橋友和，目加田慶人，井手一郎，村瀬洋著「安全運転支援のための多様な撮影環境における信号認識」（MIRU2006, pp.618-623(2006-7)）
【発明の概要】
【発明が解決しようとする課題】
【０００６】
しかしながら、上記非特許文献１に記載された発明を含めて前者の方法は、テンプレートと撮影画像との相関度が、識別精度に大きな影響を与える。このため、信号灯の誤認識を回避するためには、予めテンプレートを撮影環境の明るさや信号灯の大きさ等に近づけるための前処理が必要となる。また、悪天候の場合や夜間の場合には信号灯の形が識別しにくいため、識別精度が低下してしまうという問題がある。
【０００７】
一方、上記非特許文献２に記載された発明を含めて後者の方法は、閾値の調整が難しく、識別精度に大きな影響を与えてしまうという問題がある。また、信号灯と紛らわしい色情報が背景中に多く存在するため、処理時間が遅くなるとともに、誤認識を減らすための処理を併用することも多い。このため、識別する画像範囲が広くなるほど、リアルタイムに識別処理ができなくなる。
【０００８】
さらに、上記いずれの方法も、様々な撮影条件下における信号灯に関するテンプレートデータや色情報を予め大量に蓄積する必要がある。このため、データの準備に手間がかかる上、システム全体のコストも増大してしまうという問題がある。
【０００９】
本発明は、このような問題点を解決するためになされたものであって、識別用のテンプレートデータ等を予め用意する必要がなく、また天候や時間帯等に関わらず、高精度かつリアルタイムに撮影画像内の信号灯を識別することができる信号灯識別プログラムおよび信号灯識別装置を提供することを目的としている。
【課題を解決するための手段】
【００１０】
本発明に係る信号灯識別プログラムは、信号灯識別装置を、動画像から静止画像を取得する静止画像取得部と、下記変換式（１）〜（３）を用いて、前記静止画像を構成する各ピクセルのＲＧＢ成分（赤，緑，青）をＨＳＶ成分（色相，彩度，明度）に変換する色成分変換部と、信号灯に相当する色相のピクセルを抽出するための色相範囲を定める閾値、信号灯に相当する彩度のピクセルを抽出するための彩度範囲を定める閾値、および信号灯に相当する明度のピクセルを抽出するための明度範囲を定める閾値を記憶する抽出用閾値記憶部と、前記色成分変換部が変換した色相が前記色相範囲内であり、前記色成分変換部が変換した彩度が前記彩度範囲内であり、前記色成分変換部が変換した明度が前記明度範囲内にあるピクセルを抽出するピクセル抽出部と、前記ピクセル抽出部が抽出したピクセルからなる抽出画像を出力装置へ出力する抽出画像出力部として機能させるものであり、本発明に係る信号灯識別装置は、前記各構成部を有するものである。
色相（ｈｕｅ）＝ａｒｃｔａｎ（Ｉｙ／Ｉｘ） ・・・式（１）
彩度（ｓａｔｕｒａｔｉｏｎ）＝√（Ｉｘ２＋Ｉｙ２） ・・・式（２）
明度（ｉｎｔｅｎｓｉｔｙ）＝Ｉｚ ・・・式（３）
ただし、
（ｒ，ｇ，ｂ）は、静止画像から得られた色情報（輝度値）
【００１１】
また、本発明において、前記抽出用閾値記憶部には、赤信号または黄信号を抽出するための色相範囲の閾値が−１０度以上６０度以下に設定されているとともに、青信号を抽出するための色相範囲の閾値が１５０度以上１８０度以下に設定されており、白色光源以外の光源を抽出するための彩度範囲の閾値が１００以上に設定され、かつ、白色光源以外の光源を抽出するための明度範囲の閾値が５０以上２２５未満に設定されていてもよい。
【００１２】
さらに、本発明において、前記抽出用閾値記憶部には、さらに、色飽和した青信号を抽出するための彩度範囲の閾値が１００未満に設定され、かつ、色飽和した青信号を抽出するための明度範囲の閾値が２２５以上に設定されていてもよい。
【００１３】
また、本発明において、前記色成分変換部が変換処理する前に、信号灯に近いＲＧＢ成分を有するピクセルを予めフィルタリングするためのフィルタリング用閾値を記憶するフィルタリング用閾値記憶部と、前記静止画像を構成する各ピクセルについて、ＲＧＢ成分間の差分を算出するＲＧＢ差分算出部と、前記ＲＧＢ成分算出部が算出した差分が、前記フィルタリング用閾値で定められた範囲内にあるピクセルをフィルタリングして取得するフィルタリング部として信号灯識別装置を機能させるとともに、前記フィルタリング用閾値記憶部には、赤信号、黄信号および青信号のフィルタリング用閾値として以下の閾値が設定されていてもよい。
赤信号：（Ｒ−Ｇ）＋１２８≧２５５、かつ、（Ｒ−Ｂ）≧１００
黄信号：（Ｒ−Ｇ）＋１２８＜２５５、かつ、（Ｒ−Ｂ）≧１００
青信号：（Ｒ−Ｇ）＋１２８＜２８、かつ、（Ｂ−Ｇ）≦０
ただし、Ｒ：Ｒ成分の輝度値 Ｇ：Ｇ成分の輝度値 Ｂ：Ｂ成分の輝度値
【００１４】
さらに、本発明において、前記ピクセル抽出部が抽出したピクセルのうち、隣接する全てのピクセルにラベリングしてグループ化するラベリング部と、前記ラベリング部がグループ化したラベリング領域の中心点を算出する中心点算出部と、前記中心点算出部が算出した中心点と前記ラベリング領域の周縁部を構成するピクセルとの位置関係に基づいて、信号灯に近い形状のラベリング領域を選別する形状選別部として信号灯識別装置を機能させてもよく、本発明に係る信号灯識別装置は、上記各構成部を有していてもよい。
【００１５】
また、本発明において、前記ピクセル抽出部が抽出したピクセルのうち、隣接する全てのピクセルにラベリングしてグループ化するラベリング部と、前記ラベリング部がグループ化したラベリング領域の上下距離と左右距離との差に基づいて、信号灯とは異なる形状のラベリング領域を選別する形状選別部として信号灯識別装置を機能させてもよく、本発明に係る信号灯識別装置は、上記各構成部を有していてもよい。
【００１６】
さらに、本発明において、前記ピクセル抽出部が抽出したピクセルのうち、隣接する全てのピクセルにラベリングしてグループ化するラベリング部と、前記ラベリング部がグループ化したラベリング領域の中心点を算出する中心点算出部と、前記中心点算出部が算出した中心点のオプティカルフローを取得するオプティカルフロー取得部と、前記オプティカルフロー取得部が取得したオプティカルフローに基づいて、信号灯以外のラベリング領域を選別する非対象領域選別部として信号灯識別装置を機能させてもよく、本発明に係る信号灯識別装置は、上記各構成部を有していてもよい。
【発明の効果】
【００１７】
本発明によれば、識別用のテンプレートデータ等を予め用意する必要がなく、また天候や時間帯等に関わらず、高精度かつリアルタイムに撮影画像内の信号灯を識別することができる。
【図面の簡単な説明】
【００１８】
【図１】本発明に係る信号灯識別装置を含む信号灯識別システムの実施形態を示すブロック図である。
【図２】本実施形態において、（ａ）色飽和した信号灯を示す静止画像、および（ｂ）図２（ａ）の抽出画像である。
【図３】本実施形態において、信号灯に相当するラベリング領域を示す図である。
【図４】本実施形態において、（ａ）信号灯を遠くから撮影した静止画像、および（ｂ）図４（ａ）の抽出画像の拡大図である。
【図５】本実施形態において、形状を選別するラベリング領域を示す図である。
【図６】本実施形態の信号灯識別プログラムにより実行される信号灯識別装置の処理を示すフローチャート図である。
【図７】実施例１において、（ａ）青信号を撮影した静止画像、（ｂ）白枠領域内のピクセルについて彩度および明度の関係を示すグラフ、（ｃ）光源領域１内のピクセルを抽出した拡大画像、（ｄ）光源領域２内のピクセルを抽出した拡大画像、（ｅ）光源領域３内のピクセルを抽出した拡大画像である。
【図８】実施例１において、（ａ）赤信号を撮影した静止画像、（ｂ）図８（ａ）内のピクセルについて彩度および明度の関係を示すグラフ、（ｃ）光源領域１内のピクセルを抽出した画像である。
【図９】実施例２において、使用したサンプル動画像の撮影日時および撮影時の天候を示す表である。
【図１０】実施例２において、（ａ）彩度成分のヒストグラム分布を示すグラフ、（ｂ）明度成分のヒストグラム分布を示すグラフである。
【図１１】実施例３において、図７（ｃ）の青信号を構成する全ピクセルの色相値を示す図である。
【図１２】実施例４において、（ａ）黄信号を含む静止画像、および（ｂ）図１２（ａ）の抽出画像の一部を示す拡大画像である。
【図１３】実施例４において、図１２（ｂ）の黄信号を構成する全ピクセルの色相値を示す図である。
【図１４】実施例４において、（ａ）赤信号を含む静止画像、および（ｂ）図１４（ａ）の抽出画像の一部を示す拡大画像である。
【図１５】実施例４において、図１４（ｂ）の赤信号を構成する全ピクセルの色相値を示す図である。
【図１６】実施例５において、各サンプル動画像について光源の抽出率を示すグラフである。
【図１７】実施例６において、検証に使用した３枚の静止画像である。
【図１８】実施例６において、ピクセル抽出処理のみ実行した場合の抽出画像である。
【図１９】実施例６において、フィルタリング処理およびピクセル抽出処理を実行した場合の抽出画像である。
【図２０】実施例６において、フィルタリング処理、ピクセル抽出処理および形状選別処理を実行した場合の抽出画像である。
【図２１】実施例７において、（ａ）青信号の前を一定速度で通過した場合に、中心点をプロットした図、（ｂ）赤信号の前で徐々に減速して停車した場合に、中心点をプロットした図である。
【発明を実施するための形態】
【００１９】
以下、本発明に係る信号灯識別プログラムおよび信号灯識別装置の実施形態について図面を用いて説明する。
【００２０】
図１は、本実施形態の信号灯識別システム１を示すブロック図であり、主として、信号灯を含む映像を撮影する撮影装置２と、この撮影装置２が撮影した映像内の信号灯を識別処理する信号灯識別装置３と、この信号灯識別装置３の識別処理結果に基づいて各種の映像や音声を出力する出力装置４とから構成されている。なお、本発明において、信号灯とは、青信号、黄信号および赤信号からなる自動車用信号機の信号灯の他、あらゆる信号機の信号灯を含む概念である。
【００２１】
撮影装置２は、自動車や電車等に車載可能なデジタルビデオカメラ等によって構成されており、信号灯を含む映像を撮影するものである。本実施形態において、撮影装置２は、ＲＧＢ（ＲＥＤ：赤，ＧＲＥＥＮ：緑，ＢＬＵＥ：青）成分を有する動画像をデジタル情報として撮影するようになっている。また、撮影装置２は、自動車の進行方向前方を撮影するようにセットされている。
【００２２】
出力装置４は、自動車や電車等の運転手に対して、運転をアシストする映像や音声を出力するためのものである。本実施形態において、出力装置４は、信号灯識別装置３から出力された信号灯の抽出画像を表示する液晶ディスプレイや、赤信号が検出された際に警報の音声等を発するスピーカ等によって構成されている。
【００２３】
信号灯識別装置３は、車載可能なコンピュータ等によって構成されており、図１に示すように、主として、本実施形態の信号灯識別プログラム３ａや各種のデータ等を記憶する記憶手段５と、この記憶手段５を制御するとともに各種のデータを取得して演算処理する演算処理手段６とから構成されている。なお、本実施形態の信号灯識別装置３は、撮影装置２および出力装置４と別体に構成しているが、一方ないし両者を一体化させた装置として構成してもよい。以下、各構成手段についてより詳細に説明する。
【００２４】
記憶手段５は、ＲＯＭ（Read Only Memory）、ＲＡＭ（Random Access Memory）、ハードディスク、フラッシュメモリ等によって構成されており、各種のデータを記憶するとともに、演算処理手段６が演算を行う際のワーキングエリアとして機能するものである。
【００２５】
本実施形態において、記憶手段５は、図１に示すように、主として、プログラム記憶部５１と、フィルタリング用閾値記憶部５２と、抽出用閾値記憶部５３とを有している。以下、各構成部についてより詳細に説明する。
【００２６】
プログラム記憶部５１には、本実施形態の信号灯識別プログラム３ａがインストールされている。そして、演算処理手段６が、信号灯識別プログラム３ａを実行することにより、本実施形態の信号灯識別装置３を後述する各構成部として機能させるようになっている。なお、信号灯識別プログラム３ａの利用形態は、上記構成に限られるものではなく、ＣＤ−ＲＯＭ等の記録媒体に記憶させておき、この記録媒体から直接起動して実行し得るようにしてもよい。
【００２７】
フィルタリング用閾値記憶部５２は、信号灯に近いＲＧＢ成分を有するピクセルを予めフィルタリングするためのフィルタリング用閾値を記憶するものである。本発明に係る信号灯識別処理は、後述するように、静止画像のＲＧＢ成分をＨＳＶ成分（色相，彩度，明度）に変換してから信号灯を識別する処理がメインとなる。しかしながら、本実施形態では、事前にＲＧＢ成分間の差分を用いたフィルタリング処理を実行することで、ＨＳＶ成分へ変換するピクセル数を低減し、変換処理量の軽減による処理速度の向上を図っている。
【００２８】
具体的には、本実施形態において、フィルタリング用閾値記憶部５２には、赤信号、黄信号および青信号のフィルタリング用閾値として、それぞれ以下の閾値が設定されている。
赤信号：（Ｒ−Ｇ）＋１２８≧２５５、かつ、（Ｒ−Ｂ）≧１００
黄信号：（Ｒ−Ｇ）＋１２８＜２５５、かつ、（Ｒ−Ｂ）≧１００
青信号：（Ｒ−Ｇ）＋１２８＜２８、かつ、（Ｂ−Ｇ）≦０
ただし、Ｒ：Ｒ成分の輝度値 Ｇ：Ｇ成分の輝度値 Ｂ：Ｂ成分の輝度値
【００２９】
なお、本実施形態では、（Ｒ−Ｇ）の差分値が負にならないように１２８の値を加えてある。また、フィルタリング用閾値は、上記の閾値に限定されるものではなく、信号灯識別装置３の性能や、要求される識別精度に応じて適宜、変更してもよい。例えば、処理速度が速い信号灯識別装置３を使用する場合には、フィルタリング用閾値をより広範囲に設定してもよい。
【００３０】
抽出用閾値記憶部５３は、信号灯に近いＨＳＶ成分を有するピクセルを抽出するための抽出用閾値を記憶するものである。本実施形態において、抽出用閾値記憶部５３には、信号灯に相当する色相のピクセルを抽出するための色相範囲を定める閾値と、信号灯に相当する彩度のピクセルを抽出するための彩度範囲を定める閾値と、信号灯に相当する明度のピクセルを抽出するための明度範囲を定める閾値とが記憶されている。
【００３１】
具体的には、後述する実施例４の結果により、赤信号または黄信号を抽出するための色相範囲の閾値が、−１０度以上６０度以下に設定されている。また、後述する実施例３の結果により、青信号を抽出するための色相範囲の閾値が、１５０度以上１８０度以下に設定されている。さらに、後述する実施例１，２の結果により、白色光源以外の光源を抽出するための彩度範囲の閾値が、１００以上に設定され、かつ、白色光源以外の光源を抽出するための明度範囲の閾値が、５０以上２２５未満に設定されている。
【００３２】
また、三色の信号灯のうち青信号は、色飽和が生じて白色として映る場合が多い。このため、本実施形態では、後述する実施例１の結果より、抽出用閾値記憶部５３には、さらに、色飽和した青信号を抽出するための彩度範囲の閾値が、１００未満に設定され、かつ、色飽和した青信号を抽出するための明度範囲の閾値が、２２５以上に設定されている。なお、本実施形態において、色飽和した青信号には、白色の光源も含まれている。また、色飽和が発生しにくい撮影条件の場合には、本閾値を設定しなくてもよい。
【００３３】
なお、本実施形態において、ＨＳＶ成分を構成する色相、彩度、明度は、色の三属性と呼ばれるものである。このうち色相（ｈｕｅ）とは、いわゆる色合いであり、有彩色の色を他の色と区別するための特質を示すものである。また、彩度（ｓａｔｕｒａｔｉｏｎ）とは、色の鮮やかさの度合いを示すものである。さらに、明度（ｉｎｔｅｎｓｉｔｙ）とは、色の明るさの度合いを示すものである。
【００３４】
演算処理手段６は、ＣＰＵ（Central Processing Unit）等から構成されており、記憶手段５にインストールされた信号灯識別プログラム３ａを実行させることにより、図１に示すように、静止画像取得部６１と、ＲＧＢ差分算出部６２と、フィルタリング部６３と、色成分変換部６４と、ピクセル抽出部６５と、抽出画像作成部６６と、ラベリング部６７と、中心点算出部６８と、形状選別部６９と、オプティカルフロー取得部７０と、非対象領域選別部７１と、抽出画像出力部７２として信号灯識別装置３を機能させるようになっている。以下、各構成部についてより詳細に説明する。
【００３５】
静止画像取得部６１は、撮影装置２が撮影した動画像から静止画像を取得するためのものである。本実施形態において、静止画像取得部６１は、撮影装置２から動画像データを入力し、当該動画像データから所定の時間間隔で静止画像をキャプチャーするようになっている。
【００３６】
ＲＧＢ差分算出部６２は、静止画像を構成する各ピクセルについて、ＲＧＢ成分間の差分を算出するものである。本実施形態において、ＲＧＢ差分算出部６２は、静止画像取得部６１が取得した静止画像を構成する１ピクセルごとに、ＲＧＢ成分に関する色情報を取得する。そして、ＲＧＢ成分間の差分として、（Ｒ−Ｇ）、（Ｒ−Ｂ）および（Ｂ−Ｇ）の値を算出するようになっている。
【００３７】
フィルタリング部６３は、信号灯に近いＲＧＢ成分を有するピクセルを予めフィルタリングして取得するものである。本実施形態において、フィルタリング部６３は、ＲＧＢ差分算出部６２が算出したＲＧＢ成分間の差分（Ｒ−Ｇ）、（Ｒ−Ｂ）および（Ｂ−Ｇ）の値を取得し、これらの差分が、フィルタリング用閾値記憶部５２内のフィルタリング用閾値で定められた範囲内にあるピクセルを抽出するようになっている。
【００３８】
なお、フィルタリング部６３がＲＧＢ成分間の差分を用いる理由は、各ピクセルの色情報が、天候や太陽光の反射によって大きく変化することに起因する。つまり、ＲＧＢ成分間の差分を利用し、天候に大きく影響される色成分を比較対象から除外することで、安定したフィルタリング処理を可能としている。例えば、赤信号ならＧ成分を除外し、青信号ならＢ成分を除外することで、天候による影響が低減されることとなる。
【００３９】
また、（Ｒ−Ｇ）の差分値を用いることで、一般的に判別が困難とされている赤信号と黄信号との識別も可能となる。つまり、赤信号のＲＧＢ値は（２５５，０，０）近傍であり、黄信号のＲＢＧ値は（２５５，２５５，０）近傍であるが、これらは天候等によって変化する。しかし、赤信号と黄信号とではＧ成分が大きく異なる上、各色の（Ｒ−Ｇ）の値は、天候によってそれほど変化しないことを見い出し、（Ｒ−Ｇ）の値を用いている。
【００４０】
なお、本フィルタリング処理は、上述したように、ＲＧＢ成分からＨＳＶ成分への変換処理速度を向上させるための処理である。このため、処理速度の速い演算処理手段６を有する信号灯識別装置３を使用する場合等には、実行しなくてもよい。
【００４１】
色成分変換部６４は、各ピクセルのＲＧＢ成分をＨＳＶ成分へ変換するためのものである。本実施形態において、色成分変換部６４は、フィルタリング部６３が抽出した各ピクセルごとにＲＧＢ成分を取得し、下記変換式（１）〜（３）を用いてＨＳＶ成分へ変換するようになっている。
色相（ｈｕｅ）＝ａｒｃｔａｎ（Ｉｙ／Ｉｘ） ・・・式（１）
彩度（ｓａｔｕｒａｔｉｏｎ）＝√（Ｉｘ２＋Ｉｙ２） ・・・式（２）
明度（ｉｎｔｅｎｓｉｔｙ）＝Ｉｚ ・・・式（３）
ただし、
（ｒ，ｇ，ｂ）は、静止画像から得られた色情報（輝度値）
【００４２】
なお、本実施形態において、ＨＳＶ成分に変換する理由は、色相（ｈｕｅ）成分が、色により決まった値を有することにある。具体的には、青信号、黄信号および赤信号のうち、黄信号は、赤色と緑色の混色であり、青信号は、緑色と青色の混色である。このため、黄信号および青信号を抽出するには、それぞれ２つのＲＧＢ成分をパラメータとして使用しなければならず、色の指定が困難である。これに対し、ＨＳＶ成分に変換すると、色相成分を指定するだけで、様々な色が高精度かつ容易に抽出される。
【００４３】
なお、本実施形態では、上述したフィルタリング処理を実行しているため、色成分変換部６４は、フィルタリング部６３が抽出したピクセルについてのみ、変換処理を実行している。しかしながら、フィルタリング処理を実行しない場合、色成分変換部６４は、静止画像取得部６１から直接、静止画像を取得し、全ピクセルについて変換処理を実行するようにしてもよい。
【００４４】
ピクセル抽出部６５は、信号灯に合致するＨＳＶ成分を有するピクセルを抽出するためのものである。本実施形態において、ピクセル抽出部６５は、色成分変換部６４が変換処理した各ピクセルごとに、色相、彩度および明度を取得するとともに、抽出用閾値記憶部５３に記憶された色相範囲、彩度範囲および明度範囲を参照する。そして、当該色相が色相範囲内であり、当該彩度が彩度範囲内であり、当該明度が明度範囲内にあるピクセルを抽出するようになっている。
【００４５】
抽出画像作成部６６は、信号灯に相当するピクセル領域のみを明瞭にした抽出画像を作成するものである。本実施形態において、抽出画像作成部６６は、ピクセル抽出部６５が抽出した全ピクセルをそのまま残す一方、それ以外の全ピクセルを黒色に変換処理して抽出画像を作成するようになっている。なお、信号灯以外のピクセルは、黒色に限定されるものではなく、信号灯と区別できる色であればどのような色でもよい。
【００４６】
ラベリング部６７は、信号灯に相当する領域を構成するピクセルをグループ化するためのものである。本実施形態において、ラベリング部６７は、抽出画像作成部６６が作成した抽出画像において、ピクセル抽出部６５が抽出した全ピクセルの情報を取得する。そして、当該ピクセルのうち、隣接する全てのピクセルにラベリングしてグループ化するようになっている。
【００４７】
なお、本実施形態において、ラベリングとは、１つの信号灯の画像を構成する全てのピクセルに対して、番号、文字、記号等の同一ラベルを付与する処理である。また、このラベリング処理によってグループ化された各領域をラベリング領域と定義する。なお、一般的に、信号機は目立つように設置されており、信号灯の周囲は信号機の本体である。このため、抽出画像において、信号灯に相当する領域は、周囲から独立していると推測できる。よって、本実施形態において、ラベリング部６７は、単なるグループ化処理を実行するだけで他の領域と区別することができる。
【００４８】
中心点算出部６８は、ラベリング領域の中心点を算出するためのものである。一般的に、信号灯を撮影した場合、図２（ａ）に示すように、信号灯の中心部が色飽和して白色となる場合が多い。このため、抽出画像におけるラベリング領域は、図２（ｂ）に示すように、中心部に穴が空いたドーナツ状となる。そこで、本実施形態では、中心点を基準にすることで、色飽和した部分に関係なく、信号灯に係るラベリング領域の形状を判別するようになっている。
【００４９】
具体的には、中心点算出部６８は、まず、ラベリング部６７がグループ化した各ラベリング領域について、下記算出式を用いて、中心点となる座標（ｘｃ，ｙｃ）を算出する。
ただし、Ｎは、ラベリング領域のエッジ（縁部）を構成するピクセルの数であり、（ｘｉ，ｙi）は、ラベリング領域のエッジを構成するＮピクセルのうち、ｉ番目のピクセルのｘｙ座標である。
【００５０】
例えば、図３に示すような円形に相当するラベリング領域について、中心点を算出する場合、ラベリング領域のエッジを構成するピクセルは、斜線を付したピクセルであり、Ｎ＝１２である。そして、各１２ピクセルのｘ座標およびｙ座標の総和を１２で除算することで、中心点座標（ｘｃ，ｙｃ）が算出される。
【００５１】
つぎに、中心点算出部６８は、ラベリング領域の上下端および左右端となる４ピクセルのｘｙ座標を取得し、下記式により、左右方向に関して中心となる座標Ｘ、および上下方向に関して中心となる座標Ｙを算出する。
Ｘ＝（右端のｘ座標＋左端のｘ座標）／２
Ｙ＝（上端のｙ座標＋下端のｙ座標）／２
そして、この座標（Ｘ，Ｙ）と中心点座標（ｘｃ，ｙｃ）との誤差σが、所定の範囲内である場合、中心点座標（ｘｃ，ｙｃ）は正しいと判断するようになっている。
【００５２】
なお、本実施形態において、上記誤差σは２ピクセル程度に設定されているが、これに限定されるものではなく、要求される識別精度に応じて、適宜変更してもよい。また、本実施形態では、上記のように、中心点座標の妥当性を検算しているが、当該処理を実行せずに処理を進めることも可能である。
【００５３】
形状選別部６９は、信号灯に近い形状のラベリング領域を選別するためのものである。信号灯は円形であるが、図４（ａ）に示すように、信号灯（図４（ａ）中の矢印部分）を遠くから撮影した場合、抽出画像における信号灯の形状は、図４（ｂ）に示すように、円形ではなく正方形に近い形状となるケースが多い。このため、本実施形態において、形状選別部６９は、円形または正方形に近いラベリング領域を信号灯であるとして選別するようになっている。
【００５４】
具体的には、形状選別部６９は、各ラベリング領域について、中心点算出部６８が算出した中心点と、この中心点から上下左右方向に最も離れた４ピクセルの位置情報を取得する。そして、上下左右の各ピクセルが、中心点からほぼ等距離にあるラベリング領域は、円形または正方形であると判定する。一方、それ以外のラベリング領域は、信号灯ではないと判断し、黒色に変換する。
【００５５】
なお、形状選別部６９による信号灯の選別方法は、上記の方法に限定されるものではなく、中心点を用いずに選別することもできる。具体的には、図５に示すようなラベリング領域Ｄを選別する場合、形状選別部６９が、下記式を満たすか否かを判定する。
｜（ｘｍａｘ−ｘｍｉｎ）−（ｙｍａｘ−ｙｍｉｎ）｜≦Ｃ
ただし、
ｘｍａｘ：ラベリング領域を構成するピクセルのｘ座標の最大値
ｘｍｉｎ：ラベリング領域を構成するピクセルのｘ座標の最小値
ｙｍａｘ：ラベリング領域を構成するピクセルのｙ座標の最大値
ｙｍｉｎ：ラベリング領域を構成するピクセルのｙ座標の最小値
Ｃ：定数
【００５６】
そして、上記式を満たさない場合、つまり、ラベリング領域の上下距離と左右距離との差が大きい場合、円形や正方形とは考えられないため、当該ラベリング領域を除外する。これにより、細長い看板等のように、縦横の長さ比が異なる対象物が除外されて識別精度が向上する。また、この方法によれば、中心点を算出する処理が不要となるため、処理速度が向上する。なお、定数Ｃは、要求される選別精度に応じて適宜設定すればよい。
【００５７】
本実施形態において、上述したラベリング部６７、中心点算出部６８および形状選別部６９による処理は、抽出画像におけるラベリング領域をさらに形状で選別することによって、識別精度を向上するオプション的処理である。このため、形状選別処理を実行しなくても、十分な識別精度が得られる場合等には、ラベリング部６７、中心点算出部６８および形状選別部６９を機能させなくてもよい。
【００５８】
オプティカルフロー取得部７０は、各ラベリング領域のオプティカルフローを取得するためのものである。ここで、オプティカルフローとは、時間的に連続する静止画像において、ある物体がどの方向に動いたかの軌跡を示すものである。本実施形態において、オプティカルフロー取得部７０は、形状選別部６９が選別処理した後の抽出画像を時系列的に取得する。そして、各抽出画像に含まれる各ラベリング領域について、中心点算出部６８が算出した中心点を順次取得し、その軌跡であるオプティカルフローを取得するようになっている。
【００５９】
なお、オプティカルフロー取得部７０によるオプティカルフローの取得方法は、特に限定されるものではなく、例えば、勾配法やブロックマッチング法等が挙げられる。
【００６０】
非対象領域選別部７１は、ラベリング領域のオプティカルフローに基づいて、信号灯以外のラベリング領域を選別するためのものである。本実施形態において、非対象領域選別部７１は、オプティカルフロー取得部７０が取得したオプティカルフローを取得し、当該オプティカルフローが所定の軌跡に近似できるか否かを判別する。その結果、近似できた場合、当該オプティカルフローを有するラベリング領域は信号灯であると判定する。一方、近似できない場合、当該ラベリング領域は、信号灯以外のテールランプやブレーキランプ等であると判定し、黒色に変換するようになっている。
【００６１】
なお、本実施形態では、後述する実施例７の結果に基づいて、非対象領域選別部７１は、オプティカルフローが直線または曲線に近似できる場合に、信号灯であると判定するようになっている。
【００６２】
本実施形態において、上述したオプティカルフロー取得部７０および非対象領域選別部７１による処理は、抽出画像におけるラベリング領域をさらにその移動軌跡で選別することによって、識別精度を向上するオプション的処理である。このため、当該処理を実行しなくても、十分な識別精度が得られる場合等には、オプティカルフロー取得部７０および非対象領域選別部７１を機能させなくてもよい。
【００６３】
抽出画像出力部７２は、信号灯に合致するピクセルが抽出された抽出画像を出力装置４へ出力するためのものである。本実施形態において、抽出画像出力部７２は、非対象領域選別部７１で選別処理された抽出画像を取得し、出力装置４へ出力するようになっている。なお、オプティカルフロー処理を実行しない場合、抽出画像出力部７２は、形状選別部６９から抽出画像を取得する。また、形状選別処理およびオプティカルフロー処理を実行しない場合、抽出画像出力部７２は、抽出画像作成部６６から直接抽出画像を取得する。
【００６４】
つぎに、本実施形態の信号灯識別プログラム３ａによって実行される信号灯識別装置３と、この信号灯識別装置３を含む信号灯識別システム１の作用につき、図６を参照しつつ説明する。
【００６５】
本実施形態の信号灯識別システム１を用いて、動画像内の信号灯をリアルタイムに識別する場合、まず、静止画像取得部６１が、撮影装置２によって撮影された動画像から静止画像を取得する（ステップＳ１）。
【００６６】
つぎに、ＲＧＢ差分算出部６２が、静止画像を構成する各ピクセルについて、ＲＧＢ成分間の差分を算出した後（ステップＳ２）、フィルタリング部６３によって、当該ＲＧＢ成分間の差分がフィルタリング用閾値で定められた範囲内にあるピクセルを抽出する（ステップＳ３）。
【００６７】
これにより、信号灯に近いＲＧＢ成分を有するピクセルが予め抽出されるため、次のステップＳ４で変換処理するピクセル数が減少し、処理速度が向上する。また、天候に大きく影響される色成分を比較対象から除外するようにＲＧＢ成分間の差分を利用するため、フィルタリング処理が安定化する。さらに、ＲＧＢ成分間の差分を利用することで、赤信号と黄信号との識別精度も向上する。
【００６８】
つづいて、色成分変換部６４が、ステップＳ３でフィルタリングされた各ピクセルごとにＲＧＢ成分を取得し、ＨＳＶ成分へ変換する（ステップＳ４）。これにより、色相における色分布が一様となるため、色相の閾値を指定するだけで、あらゆる色を正確に抽出することが容易になる。また、天候や時間帯等に関係なく、一定領域にヒストグラムが分布するため、光源が安定して抽出される。さらに、本実施形態では、ステップＳ３でフィルタリング処理を実行しているため、本ステップＳ４の処理速度が向上する。
【００６９】
つぎに、ピクセル抽出部６５が、ステップＳ４で変換処理された各ピクセルごとにＨＳＶ成分を取得し、各成分が抽出用閾値で定められた範囲内にあるピクセルを抽出する（ステップＳ５）。これにより、青信号、黄信号および赤信号の色相、彩度、明度に相当するピクセルが抽出される。また、本実施形態では、別途、色飽和した青信号も抽出するため、青信号の抽出率が向上する。
【００７０】
以上のステップＳ２〜Ｓ５は、ピクセルベースで実行される処理である。このため、演算処理手段６にかかる処理負荷が小さく、高フレームレートの動画像であってもリアルタイムに処理が可能となる。
【００７１】
つぎに、抽出画像作成部６６が、ステップＳ５で抽出されたピクセルを残す一方、それ以外のピクセルを黒色に変換し抽出画像を作成する（ステップＳ６）。これにより抽出画像では、黒色の背景に信号灯のみが際立つため明瞭となる。このため、高齢者や弱視者であっても迅速かつ容易に信号の存在に気付くことが可能となる。
【００７２】
つぎに、本実施形態では、ステップＳ６で作成された抽出画像の精度をより高めるため、以下のステップＳ７〜ステップＳ１１の処理を実行する。まず、ラベリング部６７が、抽出画像内で抽出された全ピクセルの情報を取得し、隣接する全てのピクセルにラベリングする（ステップＳ７）。これにより、抽出画像においては、１つの物体に相当するピクセル領域ごとに、グループ化される。
【００７３】
つづいて、中心点算出部６８が、ステップＳ７でグループ化された各ラベリング領域について、中心点座標を算出する（ステップＳ８）。これにより、次のステップＳ９で信号灯の形状を判別する際、ラベリング領域の中心点を基準として利用することができる。また、後述するステップＳ１０において、オプティカルフローが容易に取得される。さらに、本実施形態では、上記算出式で算出した中心点座標が正しいか否かを検算するため、正確に中心点が算出される。
【００７４】
つぎに、形状選別部６９が、各ラベリング領域について、ステップＳ８で算出された中心点と、周縁部のピクセルの位置情報とを取得し、信号灯に近い形状のラベリング領域を選別する（ステップＳ９）。これにより、街頭やネオンサイン等のように、信号灯とは異なる形状の光源が除外され、識別精度が向上する。また、中心点を基準に選別するため、色飽和が生じた信号灯であっても、その形状が精度良く判別される。
【００７５】
つづいて、オプティカルフロー取得部７０が、ステップＳ９で選別処理された抽出画像を順次取得し、各ラベリング領域の中心点についてオプティカルフローを取得する（ステップＳ１０）。そして、このステップＳ１０で取得されたオプティカルフローに基づいて、非対象領域選別部７１が、信号灯以外のラベリング領域を選別する（ステップＳ１１）。これにより、信号灯との識別が難しいとされる、自動車のテールランプやブレーキランプ等を有効に除外し、識別精度が向上する。
【００７６】
上記ステップＳ１〜Ｓ１１の処理によって得られた抽出画像は、抽出画像出力部７２によって出力装置４へ出力される（ステップＳ１２）。これにより、信号灯のみを抽出した抽出画像が車載の液晶ディスプレイ等に表示される。また、当該抽出画像に基づいて、適宜、スピーカ等から警告音や警告アナウンスが発せられる。これにより、高齢者や弱視者であっても、簡単に信号の存在やその信号色を認識する。また、抽出画像がリアルタイムで出力されるため、自動車や電車の運転をアシストするのに好適である。
【００７７】
以上のような本実施形態によれば、以下のような効果を奏する。
１．天候や時間帯等に関わらず、高精度かつリアルタイムに撮影画像内の信号灯を識別することができる。
２．信号灯を識別するためのデータを予め用意する必要がなく、低コストで普及しやすい信号灯識別システムを実現することができる。
３．適切な閾値を設定し、色飽和が生じた青信号の抽出率を高めることができる。
４．信号灯に近いピクセルを予めフィルタリングすることで、全体の処理速度を向上することができる。
５．信号灯に近い形状のラベリング領域を選別し、識別精度を向上することができる。
６．識別しにくいテールランプやブレーキランプ等を除去し、識別精度を向上することができる。
【００７８】
つぎに、本発明に係る信号灯識別プログラム３ａおよび信号灯識別装置３を含む信号灯識別システム１の具体的な実施例について説明する。なお、本発明の技術的範囲は、以下の実施例によって示される特徴に限定されるものではない。
【実施例１】
【００７９】
『彩度範囲および明度範囲の選定実験』
本実施例１では、信号灯を抽出するのに最適な彩度範囲および明度範囲を選定するための実験を行った。具体的には、まず、図７（ａ）に示す静止画像において、青信号を含む領域（白枠で囲んだ領域）を切り出し、この領域内の各ピクセルについて、彩度および明度の関係をグラフ化した。その結果を図７（ｂ）に示す。
【００８０】
つづいて、図７（ｂ）において、彩度および明度の閾値を様々な値に設定し、当該閾値で定められる範囲内のピクセルを抽出した。その結果、彩度が１００以上、かつ、明度が５０以上２２５未満の光源領域１に含まれるピクセルを抽出した場合、図７（ｃ）に示すように、背景や白色に色飽和した中心部は抽出されず、青信号に相当する周縁部のみが抽出された。
【００８１】
一方、彩度が１００未満であって、明度が２２５以上の光源領域２に含まれるピクセルのみを抽出した場合、図７（ｄ）に示すように、色飽和した青信号の中心部が抽出された。また、その他の背景を構成するピクセルのうち、彩度が５０以上１００未満であって、明度が２２５未満の光源領域３（図７（ｂ）中の楕円領域）に含まれるピクセルのみを抽出した場合、図７（ｅ）に示すように、信号灯の外周縁よりも一回り大きなリング領域が抽出された。
【００８２】
一方、赤信号についても、上記と同様の実験を実施した。具体的には、まず、赤信号を含む静止画像から図８（ａ）に示す領域を切り出し、この領域内の各ピクセルについて、彩度および明度の関係をグラフ化した。その結果を図８（ｂ）に示す。
【００８３】
そして、図８（ｂ）において、彩度および明度の閾値を様々な値に設定し、当該閾値で定められる範囲内のピクセルを抽出した。その結果、彩度が１００以上、かつ、明度が５０以上２２５未満の光源領域１に含まれるピクセルを抽出した場合、図８（ｃ）に示すように、背景は抽出されず、赤信号のみが抽出された。
【００８４】
以上のような本実施例１によれば、青信号、黄信号および赤信号等の白色光源以外の光源を抽出するための最適な彩度範囲は１００以上であり、白色光源以外の光源を抽出するための最適な明度範囲は５０以上２２５未満であることが示された。また、色飽和した青信号を抽出するための最適な彩度範囲は１００未満であり、色飽和した青信号を抽出するための最適な明度範囲は２２５以上であることが示された。
【実施例２】
【００８５】
『彩度範囲および明度範囲の妥当性を確認する実験』
本実施例２では、上述した実施例１で定めた彩度範囲および明度範囲の妥当性を確認するための実験を行った。具体的には、まず、図９に示すように、撮影した季節、天候および時間帯が異なる１０本のサンプル動画像を用意し、各動画像から赤信号が映っている静止画像を１１８枚キャプチャーした。そして、各静止画像について色変換処理を実行し、ＨＳＶ成分のヒストグラム分布をグラフ化した。
【００８６】
図１０（ａ），（ｂ）は、それぞれ彩度成分および明度成分のヒストグラム分布を示している。なお、図１０（ａ）の横軸は、彩度（０〜２５５）を示しており、図１０（ｂ）の横軸は、明度（０〜２５５）を示している。また、図１０（ａ），（ｂ）の縦軸は、光源領域の画素に対して、そのヒストグラム値が含まれている割合（％）を示している。
【００８７】
図１０（ａ）に示すように、赤信号の彩度成分は、１００以上に分布していることが確認できる。また，図１０（ｂ）に示すように、赤信号の明度成分は、５０以上２２５未満に分布していることが確認できる。なお、本実施例２では、赤信号について検証したが、白色光源以外の光源であれば、青信号や黄信号についても同様の結果が得られるものと推測される。
【００８８】
以上のような本実施例２によれば、実施例１で定めた彩度範囲および明度範囲の閾値は、白色光源以外の光源を抽出するための閾値として妥当であることが示された。
【実施例３】
【００８９】
『青信号を抽出する色相範囲の選定実験』
本実施例３では、青信号を抽出するのに最適な色相範囲を選定するための実験を行った。具体的には、青信号が点灯している静止画像として図７（ａ）の静止画像を使用し、実施例１と同様、彩度が１００以上、かつ、明度が５０以上２２５未満のピクセルを抽出した。そして、当該抽出画像（図７（ｃ））を構成する全ピクセルについて、色相値を調査した。その結果を図１１に示す。
【００９０】
図１１に示すように、青信号に相当するピクセルの色相値は、いずれも１８０度を超えていないことが確認できる。また、色相値が１５０未満のピクセルは、わずかに７ピクセルしか存在していないことがわかる。なお、各ピクセルの色相値は、小数点以下を四捨五入した値である。また、色相値が０のピクセルは、青信号以外であるとして黒色に変換されたピクセルである。
【００９１】
以上のような本実施例３によれば、青信号を抽出するための最適な色相範囲は、１５０度以上１８０度以下であることが示された。
【実施例４】
【００９２】
『黄信号または赤信号を抽出する色相範囲の選定実験』
本実施例４では、黄信号または赤信号を抽出するのに最適な色相範囲を選定するための実験を行った。具体的には、まず、図１２（ａ）に示すように、黄信号が点灯している静止画像から、彩度が１００以上、かつ、明度が５０以上２２５未満のピクセルを抽出した。そして、当該抽出画像から、図１２（ｂ）に示すような黄信号を含む領域を切り出し、この切り出し領域を構成する全ピクセルについて、色相値を調査した。その結果を図１３に示す。
【００９３】
図１３に示すように、黄信号に相当するピクセルの色相値は、いずれも６０度を超えていないことが確認できる。また、色相値が１０未満のピクセルは、１ピクセルも存在していなかった。
【００９４】
同様に、図１４（ａ）に示すように、赤信号が点灯している静止画像から、彩度が１００以上、かつ、明度が５０以上２２５未満のピクセルを抽出した。そして、当該抽出画像から、図１４（ｂ）に示すような赤信号を含む領域を切り出し、この切り出し領域を構成する全ピクセルについて、色相値を調査した。その結果を図１５に示す。
【００９５】
図１５に示すように、赤信号に相当するピクセルの色相値は、いずれも６０度を超えていないことが確認できる。また、色相値が−１０未満のピクセルは、わずかに２ピクセルしか存在していなかった。なお、図１３および図１５において、各ピクセルの色相値は、小数点以下を四捨五入した値である。また、色相値が０のピクセルは、信号灯以外であるとして黒色に変換されたピクセルである。
【００９６】
以上のような本実施例４によれば、赤信号または黄信号を抽出するための最適な色相範囲は、−１０度以上６０度以下であることが示された。
【実施例５】
【００９７】
『抽出率の確認実験』
本実施例５では、実施例１〜４で定めた抽出用閾値による抽出率を確認する実験を行った。具体的には、実施例２で使用した１０本のサンプル動画像について、本実施形態の信号灯識別プログラム３ａにより実行される信号灯識別装置３を用いて光源の抽出処理（上記ステップＳ１〜ステップＳ６）を実行した。そして、全処理フレームについて、目視により確認し、抽出画像内に信号灯が抽出されている割合を算出した。その結果を図１６に示す。
【００９８】
図１６に示すように、青信号、黄信号および赤信号全体に関する抽出率の平均値は、８２．３３％であった。また、信号灯の識別において最も重要な赤信号のみに限った場合、抽出率の平均値は、９５．３２％という高精度で識別されていた。なお、サンプル動画像のうち、ｓｉｇｎａｌ０６９とｓｉｇｎａｌ０２７には、目視でも信号灯を認識するのが極めて困難なフレームが存在していた。
【００９９】
一方、抽出に失敗したフレームを検証すると、撮影距離が遠すぎて、信号灯の大きさが十分でないケースがほとんどであった。このため、上記の抽出率は、実用上必要とされる抽出精度を十分に満たしているものと考えられる。
【０１００】
また、夜間のサンプル動画像（ｓｉｇｎａｌ０３４、ｓｉｇｎａｌ１１２）においては、特に青信号が色飽和し、光源として抽出できずに抽出率が低下していた。しかしながら、赤信号に限れば、上記のように高い抽出率が得られている上、赤信号の全領域が色飽和することは極めて稀である。このため、上記ステップＳ７〜Ｓ１１を実行せず、処理速度を優先した本処理（ステップＳ１〜ステップＳ６）でも十分実用化できるレベルである。また、別途、実施例１で定めた色飽和した青信号を抽出するための閾値を使用することにより、抽出率は改善するものと考えられる。
【０１０１】
以上のような本実施例５によれば、本実施形態の信号灯識別プログラム３ａにより実行される信号灯識別装置３を用いて光源を抽出した場合、高い抽出率が得られ、十分実用化できるレベルであることが示された。
【実施例６】
【０１０２】
『フィルタリング処理および形状選別処理の検証実験』
本実施例６では、フィルタリング処理および形状選別処理が識別結果に及ぼす影響について検証した。具体的には、図１７（ａ）〜（ｃ）に示す３枚の静止画像について、抽出用閾値によるピクセル抽出処理のみ実行した場合、フィルタリング用閾値によるフィルタリング処理を合わせて実行した場合、およびラベリングによる形状選別処理をさらに実行した場合の抽出画像を出力した。これら各場合における抽出画像をそれぞれ図１８〜図２０に示す。
【０１０３】
図１８に示すように、ピクセル抽出処理のみ実行した場合、信号灯以外の看板や空も抽出されていたが、信号灯についても漏れなく抽出されていた。また、図１９に示すように、ピクセル抽出処理の前にフィルタリング処理を実行した場合、図１８と比較して、信号灯以外の看板や空を誤抽出する割合が抑制されていた。さらに、図２０に示すように、フィルタリング処理、ピクセル抽出処理および形状選別処理を実行した場合、看板や空の誤抽出が無くなり、図２０（ｃ）において、テールランプを１つ誤抽出したに過ぎなかった。
【０１０４】
なお、図２０では、信号灯以外の領域を白色とし、抽出したラベリング領域の中心点のみを表示している。また、図２０では、見やすさの観点からあえて小さなラベリング領域を除去している。このため、図２０（ｃ）では、信号が表示されていないが、抽出自体はされている。さらに、上記オプティカルフロー処理を実行することで、図２０（ｃ）で抽出されたテールランプも除去されるものと考えられる。
【０１０５】
以上のような本実施例６によれば、本発明に係るピクセル抽出処理のみを実行した場合でも、信号灯を識別可能な抽出画像が得られることが示された。また、フィルタリング処理や形状選別処理を合わせて実行した場合、識別精度が向上することが示された。
【実施例７】
【０１０６】
『オプティカルフローに基づく選別処理の検証実験』
本実施例７では、オプティカルフローに基づく選別処理の有効性について検証する実験を行った。具体的には、信号灯が十分大きく撮影されている動画像について、フレームごとにラベリング領域の中心点を算出し、プロットすることで軌跡を調査した。その結果を図２１に示す。
【０１０７】
図２１（ａ）に示すように、青信号の前を一定速度で通過した場合、中心点がほぼ等間隔で出現し、その軌道は直線状またはゆるやかな曲線状を描くことが確認された。また、図２１（ｂ）に示すように、赤信号の前で徐々に減速して停車した場合、中心点の間隔が徐々に狭くなるものの、その軌跡はほぼ直線状またはゆるやかな曲線状を描くことが確認された。
【０１０８】
以上のように、信号機は固定物であるため、信号灯の中心点は、直線またはゆるやかな曲線に近似可能な軌跡を描くものと考えられる。また、中心点の間隔に基づいて、車の状態（加速，減速，停止など）も推測することができる。したがって、オプティカルフローの出現傾向を調べることにより、色だけでは信号灯と識別困難なテールランプやブレーキランプ等の除去に有効であるといえる。
【０１０９】
以上のような本実施例７によれば、オプティカルフローが直線または曲線に近似できる場合、信号灯であると判定することが妥当であることが示された。
【実施例８】
【０１１０】
『リアルタイム処理性能の検証実験』
本実施例８では、本実施形態の信号灯識別プログラム３ａにより実行される信号灯識別装置３について、リアルタイムでの処理性能について検証する実験を行った。具体的には、パーソナルコンピュータ（ＣＰＵ：Ｉｎｔｅｌ Ｐｅｎｔｉｕｍ（登録商標）４ ３ＧＨｚ，メモリ：５０４ＭＢ ＲＡＭ）を用いて、上述したステップＳ１からステップＳ８までの一連の処理を３フレーム毎に行った。その結果、平均処理スピードは、２７［ｆｐｓ］であった。
【０１１１】
現在、アナログテレビのフレームレートが約３０［ｆｐｓ］であることを考慮すると、本発明に係る識別処理をリアルタイムで実行することは、十分可能であるといえる。また、処理するフレーム数を減らすことにより、別途、新たな処理を追加することも可能である。
【０１１２】
以上のような本実施例８によれば、本実施形態の信号灯識別プログラム３ａにより実行される信号灯識別装置３は、動画像からリアルタイムで信号灯を識別処理できることが示された。
【０１１３】
なお、本発明に係る信号灯識別プログラム３ａおよび信号灯識別装置３は、前述した実施形態および実施例に限定されるものではなく、適宜変更することができる。
【０１１４】
例えば、上述した本実施形態では、抽出画像において、色飽和が生じた信号灯を抽出したままのドーナツ形状で表示している。しかしながら、リアルタイムでの処理を確保できるのであれば、別途、ドーナツ状となった空洞部分のピクセルを、周囲と同じ色相に変換処理するようにしてもよい。これにより、抽出画像の信号色がユーザにわかりやすくなり、視認性がより一層向上する。
【符号の説明】
【０１１５】
１ 信号灯識別システム
２ 撮影装置
３ 信号灯識別装置
３ａ 信号灯識別プログラム
４ 出力装置
５ 記憶手段
６ 演算処理手段
５１ プログラム記憶部
５２ フィルタリング用閾値記憶部
５３ 抽出用閾値記憶部
６１ 静止画像取得部
６２ ＲＧＢ差分算出部
６３ フィルタリング部
６４ 色成分変換部
６５ ピクセル抽出部
６６ 抽出画像作成部
６７ ラベリング部
６８ 中心点算出部
６９ 形状選別部
７０ オプティカルフロー取得部
７１ 非対象領域選別部
７２ 抽出画像出力部
【特許請求の範囲】
【請求項１】
信号灯識別装置を、
動画像から静止画像を取得する静止画像取得部と、
下記変換式（１）〜（３）を用いて、前記静止画像を構成する各ピクセルのＲＧＢ成分（赤，緑，青）をＨＳＶ成分（色相，彩度，明度）に変換する色成分変換部と、
信号灯に相当する色相のピクセルを抽出するための色相範囲を定める閾値、信号灯に相当する彩度のピクセルを抽出するための彩度範囲を定める閾値、および信号灯に相当する明度のピクセルを抽出するための明度範囲を定める閾値を記憶する抽出用閾値記憶部と、
前記色成分変換部が変換した色相が前記色相範囲内であり、前記色成分変換部が変換した彩度が前記彩度範囲内であり、前記色成分変換部が変換した明度が前記明度範囲内にあるピクセルを抽出するピクセル抽出部と、
前記ピクセル抽出部が抽出したピクセルからなる抽出画像を出力装置へ出力する抽出画像出力部と
して機能させる信号灯識別プログラム。
色相（ｈｕｅ）＝ａｒｃｔａｎ（Ｉｙ／Ｉｘ） ・・・式（１）
彩度（ｓａｔｕｒａｔｉｏｎ）＝√（Ｉｘ２＋Ｉｙ２） ・・・式（２）
明度（ｉｎｔｅｎｓｉｔｙ）＝Ｉｚ ・・・式（３）
ただし、
（ｒ，ｇ，ｂ）は、静止画像から得られた色情報（輝度値）
【請求項２】
前記抽出用閾値記憶部には、赤信号または黄信号を抽出するための色相範囲の閾値が−１０度以上６０度以下に設定されているとともに、青信号を抽出するための色相範囲の閾値が１５０度以上１８０度以下に設定されており、白色光源以外の光源を抽出するための彩度範囲の閾値が１００以上に設定され、かつ、白色光源以外の光源を抽出するための明度範囲の閾値が５０以上２２５未満に設定されている請求項１に記載の信号灯識別プログラム。
【請求項３】
前記抽出用閾値記憶部には、さらに、色飽和した青信号を抽出するための彩度範囲の閾値が１００未満に設定され、かつ、色飽和した青信号を抽出するための明度範囲の閾値が２２５以上に設定されている請求項２に記載の信号灯識別プログラム。
【請求項４】
前記色成分変換部が変換処理する前に、信号灯に近いＲＧＢ成分を有するピクセルを予めフィルタリングするためのフィルタリング用閾値を記憶するフィルタリング用閾値記憶部と、
前記静止画像を構成する各ピクセルについて、ＲＧＢ成分間の差分を算出するＲＧＢ差分算出部と、
前記ＲＧＢ成分算出部が算出した差分が、前記フィルタリング用閾値で定められた範囲内にあるピクセルをフィルタリングして取得するフィルタリング部と
して信号灯識別装置を機能させるとともに、
前記フィルタリング用閾値記憶部には、赤信号、黄信号および青信号のフィルタリング用閾値として以下の閾値が設定されている請求項１から請求項３のいずれかに記載の信号灯識別プログラム。
赤信号：（Ｒ−Ｇ）＋１２８≧２５５、かつ、（Ｒ−Ｂ）≧１００
黄信号：（Ｒ−Ｇ）＋１２８＜２５５、かつ、（Ｒ−Ｂ）≧１００
青信号：（Ｒ−Ｇ）＋１２８＜２８、かつ、（Ｂ−Ｇ）≦０
ただし、Ｒ：Ｒ成分の輝度値 Ｇ：Ｇ成分の輝度値 Ｂ：Ｂ成分の輝度値
【請求項５】
前記ピクセル抽出部が抽出したピクセルのうち、隣接する全てのピクセルにラベリングしてグループ化するラベリング部と、
前記ラベリング部がグループ化したラベリング領域の中心点を算出する中心点算出部と、
前記中心点算出部が算出した中心点と前記ラベリング領域の周縁部を構成するピクセルとの位置関係に基づいて、信号灯に近い形状のラベリング領域を選別する形状選別部と
して信号灯識別装置を機能させる請求項１から請求項４のいずれかに記載の信号灯識別プログラム。
【請求項６】
前記ピクセル抽出部が抽出したピクセルのうち、隣接する全てのピクセルにラベリングしてグループ化するラベリング部と、
前記ラベリング部がグループ化したラベリング領域の上下距離と左右距離との差に基づいて、信号灯とは異なる形状のラベリング領域を選別する形状選別部と
して信号灯識別装置を機能させる請求項１から請求項４のいずれかに記載の信号灯識別プログラム。
【請求項７】
前記ピクセル抽出部が抽出したピクセルのうち、隣接する全てのピクセルにラベリングしてグループ化するラベリング部と、
前記ラベリング部がグループ化したラベリング領域の中心点を算出する中心点算出部と、
前記中心点算出部が算出した中心点のオプティカルフローを取得するオプティカルフロー取得部と、
前記オプティカルフロー取得部が取得したオプティカルフローに基づいて、信号灯以外のラベリング領域を選別する非対象領域選別部と
して信号灯識別装置を機能させる請求項１から請求項４のいずれかに記載の信号灯識別プログラム。
【請求項８】
動画像から静止画像を取得する静止画像取得部と、
下記変換式（１）〜（３）を用いて、前記静止画像を構成する各ピクセルのＲＧＢ成分（赤，緑，青）をＨＳＶ成分（色相，彩度，明度）に変換する色成分変換部と、
信号灯に相当する色相のピクセルを抽出するための色相範囲を定める閾値、信号灯に相当する彩度のピクセルを抽出するための彩度範囲を定める閾値、および信号灯に相当する明度のピクセルを抽出するための明度範囲を定める閾値を記憶する抽出用閾値記憶部と、
前記色成分変換部が変換した色相が前記色相範囲内であり、前記色成分変換部が変換した彩度が前記彩度範囲内であり、前記色成分変換部が変換した明度が前記明度範囲内にあるピクセルを抽出するピクセル抽出部と、
前記ピクセル抽出部が抽出したピクセルからなる抽出画像を出力装置へ出力する抽出画像出力部と
を有している信号灯識別装置。
色相（ｈｕｅ）＝ａｒｃｔａｎ（Ｉｙ／Ｉｘ） ・・・式（１）
彩度（ｓａｔｕｒａｔｉｏｎ）＝√（Ｉｘ２＋Ｉｙ２） ・・・式（２）
明度（ｉｎｔｅｎｓｉｔｙ）＝Ｉｚ ・・・式（３）
ただし、
（ｒ，ｇ，ｂ）は、静止画像から得られた色情報（輝度値）
【請求項９】
前記抽出用閾値記憶部には、赤信号または黄信号を抽出するための色相範囲の閾値が−１０度以上６０度以下に設定されているとともに、青信号を抽出するための色相範囲の閾値が１５０度以上１８０度以下に設定されており、白色光源以外の光源を抽出するための彩度範囲の閾値が１００以上に設定され、かつ、白色光源以外の光源を抽出するための明度範囲の閾値が５０以上２２５未満に設定されている請求項８に記載の信号灯識別装置。
【請求項１０】
前記抽出用閾値記憶部には、さらに、色飽和した青信号を抽出するための彩度範囲の閾値が１００未満に設定され、かつ、色飽和した青信号を抽出するための明度範囲の閾値が２２５以上に設定されている請求項９に記載の信号灯識別装置。
【請求項１１】
前記色成分変換部が変換処理する前に、信号灯に近いＲＧＢ成分を有するピクセルを予めフィルタリングするためのフィルタリング用閾値を記憶するフィルタリング用閾値記憶部と、
前記静止画像を構成する各ピクセルについて、ＲＧＢ成分間の差分を算出するＲＧＢ差分算出部と、
前記ＲＧＢ成分算出部が算出した差分が、前記フィルタリング用閾値で定められた範囲内にあるピクセルをフィルタリングして取得するフィルタリング部と
を有し、
前記フィルタリング用閾値記憶部には、赤信号、黄信号および青信号のフィルタリング用閾値として以下の閾値が設定されている請求項８から請求項１０のいずれかに記載の信号灯識別装置。
赤信号：（Ｒ−Ｇ）＋１２８≧２５５、かつ、（Ｒ−Ｂ）≧１００
黄信号：（Ｒ−Ｇ）＋１２８＜２５５、かつ、（Ｒ−Ｂ）≧１００
青信号：（Ｒ−Ｇ）＋１２８＜２８、かつ、（Ｂ−Ｇ）≦０
ただし、Ｒ：Ｒ成分の輝度値 Ｇ：Ｇ成分の輝度値 Ｂ：Ｂ成分の輝度値
【請求項１２】
前記ピクセル抽出部が抽出したピクセルのうち、隣接する全てのピクセルにラベリングしてグループ化するラベリング部と、
前記ラベリング部がグループ化したラベリング領域の中心点を算出する中心点算出部と、
前記中心点算出部が算出した中心点と前記ラベリング領域の周縁部を構成するピクセルとの位置関係に基づいて、信号灯に近い形状のラベリング領域を選別する形状選別部と
を有している請求項８から請求項１１のいずれかに記載の信号灯識別装置。
【請求項１３】
前記ピクセル抽出部が抽出したピクセルのうち、隣接する全てのピクセルにラベリングしてグループ化するラベリング部と、
前記ラベリング部がグループ化したラベリング領域の上下距離と左右距離との差に基づいて、信号灯とは異なる形状のラベリング領域を選別する形状選別部と
を有している請求項８から請求項１１のいずれかに記載の信号灯識別装置。
【請求項１４】
前記ピクセル抽出部が抽出したピクセルのうち、隣接する全てのピクセルにラベリングしてグループ化するラベリング部と、
前記ラベリング部がグループ化したラベリング領域の中心点を算出する中心点算出部と、
前記中心点算出部が算出した中心点のオプティカルフローを取得するオプティカルフロー取得部と、
前記オプティカルフロー取得部が取得したオプティカルフローに基づいて、信号灯以外のラベリング領域を選別する非対象領域選別部と
を有している請求項８から請求項１１のいずれかに記載の信号灯識別装置。
【請求項１】
信号灯識別装置を、
動画像から静止画像を取得する静止画像取得部と、
下記変換式（１）〜（３）を用いて、前記静止画像を構成する各ピクセルのＲＧＢ成分（赤，緑，青）をＨＳＶ成分（色相，彩度，明度）に変換する色成分変換部と、
信号灯に相当する色相のピクセルを抽出するための色相範囲を定める閾値、信号灯に相当する彩度のピクセルを抽出するための彩度範囲を定める閾値、および信号灯に相当する明度のピクセルを抽出するための明度範囲を定める閾値を記憶する抽出用閾値記憶部と、
前記色成分変換部が変換した色相が前記色相範囲内であり、前記色成分変換部が変換した彩度が前記彩度範囲内であり、前記色成分変換部が変換した明度が前記明度範囲内にあるピクセルを抽出するピクセル抽出部と、
前記ピクセル抽出部が抽出したピクセルからなる抽出画像を出力装置へ出力する抽出画像出力部と
して機能させる信号灯識別プログラム。
色相（ｈｕｅ）＝ａｒｃｔａｎ（Ｉｙ／Ｉｘ） ・・・式（１）
彩度（ｓａｔｕｒａｔｉｏｎ）＝√（Ｉｘ２＋Ｉｙ２） ・・・式（２）
明度（ｉｎｔｅｎｓｉｔｙ）＝Ｉｚ ・・・式（３）
ただし、
（ｒ，ｇ，ｂ）は、静止画像から得られた色情報（輝度値）
【請求項２】
前記抽出用閾値記憶部には、赤信号または黄信号を抽出するための色相範囲の閾値が−１０度以上６０度以下に設定されているとともに、青信号を抽出するための色相範囲の閾値が１５０度以上１８０度以下に設定されており、白色光源以外の光源を抽出するための彩度範囲の閾値が１００以上に設定され、かつ、白色光源以外の光源を抽出するための明度範囲の閾値が５０以上２２５未満に設定されている請求項１に記載の信号灯識別プログラム。
【請求項３】
前記抽出用閾値記憶部には、さらに、色飽和した青信号を抽出するための彩度範囲の閾値が１００未満に設定され、かつ、色飽和した青信号を抽出するための明度範囲の閾値が２２５以上に設定されている請求項２に記載の信号灯識別プログラム。
【請求項４】
前記色成分変換部が変換処理する前に、信号灯に近いＲＧＢ成分を有するピクセルを予めフィルタリングするためのフィルタリング用閾値を記憶するフィルタリング用閾値記憶部と、
前記静止画像を構成する各ピクセルについて、ＲＧＢ成分間の差分を算出するＲＧＢ差分算出部と、
前記ＲＧＢ成分算出部が算出した差分が、前記フィルタリング用閾値で定められた範囲内にあるピクセルをフィルタリングして取得するフィルタリング部と
して信号灯識別装置を機能させるとともに、
前記フィルタリング用閾値記憶部には、赤信号、黄信号および青信号のフィルタリング用閾値として以下の閾値が設定されている請求項１から請求項３のいずれかに記載の信号灯識別プログラム。
赤信号：（Ｒ−Ｇ）＋１２８≧２５５、かつ、（Ｒ−Ｂ）≧１００
黄信号：（Ｒ−Ｇ）＋１２８＜２５５、かつ、（Ｒ−Ｂ）≧１００
青信号：（Ｒ−Ｇ）＋１２８＜２８、かつ、（Ｂ−Ｇ）≦０
ただし、Ｒ：Ｒ成分の輝度値 Ｇ：Ｇ成分の輝度値 Ｂ：Ｂ成分の輝度値
【請求項５】
前記ピクセル抽出部が抽出したピクセルのうち、隣接する全てのピクセルにラベリングしてグループ化するラベリング部と、
前記ラベリング部がグループ化したラベリング領域の中心点を算出する中心点算出部と、
前記中心点算出部が算出した中心点と前記ラベリング領域の周縁部を構成するピクセルとの位置関係に基づいて、信号灯に近い形状のラベリング領域を選別する形状選別部と
して信号灯識別装置を機能させる請求項１から請求項４のいずれかに記載の信号灯識別プログラム。
【請求項６】
前記ピクセル抽出部が抽出したピクセルのうち、隣接する全てのピクセルにラベリングしてグループ化するラベリング部と、
前記ラベリング部がグループ化したラベリング領域の上下距離と左右距離との差に基づいて、信号灯とは異なる形状のラベリング領域を選別する形状選別部と
して信号灯識別装置を機能させる請求項１から請求項４のいずれかに記載の信号灯識別プログラム。
【請求項７】
前記ピクセル抽出部が抽出したピクセルのうち、隣接する全てのピクセルにラベリングしてグループ化するラベリング部と、
前記ラベリング部がグループ化したラベリング領域の中心点を算出する中心点算出部と、
前記中心点算出部が算出した中心点のオプティカルフローを取得するオプティカルフロー取得部と、
前記オプティカルフロー取得部が取得したオプティカルフローに基づいて、信号灯以外のラベリング領域を選別する非対象領域選別部と
して信号灯識別装置を機能させる請求項１から請求項４のいずれかに記載の信号灯識別プログラム。
【請求項８】
動画像から静止画像を取得する静止画像取得部と、
下記変換式（１）〜（３）を用いて、前記静止画像を構成する各ピクセルのＲＧＢ成分（赤，緑，青）をＨＳＶ成分（色相，彩度，明度）に変換する色成分変換部と、
信号灯に相当する色相のピクセルを抽出するための色相範囲を定める閾値、信号灯に相当する彩度のピクセルを抽出するための彩度範囲を定める閾値、および信号灯に相当する明度のピクセルを抽出するための明度範囲を定める閾値を記憶する抽出用閾値記憶部と、
前記色成分変換部が変換した色相が前記色相範囲内であり、前記色成分変換部が変換した彩度が前記彩度範囲内であり、前記色成分変換部が変換した明度が前記明度範囲内にあるピクセルを抽出するピクセル抽出部と、
前記ピクセル抽出部が抽出したピクセルからなる抽出画像を出力装置へ出力する抽出画像出力部と
を有している信号灯識別装置。
色相（ｈｕｅ）＝ａｒｃｔａｎ（Ｉｙ／Ｉｘ） ・・・式（１）
彩度（ｓａｔｕｒａｔｉｏｎ）＝√（Ｉｘ２＋Ｉｙ２） ・・・式（２）
明度（ｉｎｔｅｎｓｉｔｙ）＝Ｉｚ ・・・式（３）
ただし、
（ｒ，ｇ，ｂ）は、静止画像から得られた色情報（輝度値）
【請求項９】
前記抽出用閾値記憶部には、赤信号または黄信号を抽出するための色相範囲の閾値が−１０度以上６０度以下に設定されているとともに、青信号を抽出するための色相範囲の閾値が１５０度以上１８０度以下に設定されており、白色光源以外の光源を抽出するための彩度範囲の閾値が１００以上に設定され、かつ、白色光源以外の光源を抽出するための明度範囲の閾値が５０以上２２５未満に設定されている請求項８に記載の信号灯識別装置。
【請求項１０】
前記抽出用閾値記憶部には、さらに、色飽和した青信号を抽出するための彩度範囲の閾値が１００未満に設定され、かつ、色飽和した青信号を抽出するための明度範囲の閾値が２２５以上に設定されている請求項９に記載の信号灯識別装置。
【請求項１１】
前記色成分変換部が変換処理する前に、信号灯に近いＲＧＢ成分を有するピクセルを予めフィルタリングするためのフィルタリング用閾値を記憶するフィルタリング用閾値記憶部と、
前記静止画像を構成する各ピクセルについて、ＲＧＢ成分間の差分を算出するＲＧＢ差分算出部と、
前記ＲＧＢ成分算出部が算出した差分が、前記フィルタリング用閾値で定められた範囲内にあるピクセルをフィルタリングして取得するフィルタリング部と
を有し、
前記フィルタリング用閾値記憶部には、赤信号、黄信号および青信号のフィルタリング用閾値として以下の閾値が設定されている請求項８から請求項１０のいずれかに記載の信号灯識別装置。
赤信号：（Ｒ−Ｇ）＋１２８≧２５５、かつ、（Ｒ−Ｂ）≧１００
黄信号：（Ｒ−Ｇ）＋１２８＜２５５、かつ、（Ｒ−Ｂ）≧１００
青信号：（Ｒ−Ｇ）＋１２８＜２８、かつ、（Ｂ−Ｇ）≦０
ただし、Ｒ：Ｒ成分の輝度値 Ｇ：Ｇ成分の輝度値 Ｂ：Ｂ成分の輝度値
【請求項１２】
前記ピクセル抽出部が抽出したピクセルのうち、隣接する全てのピクセルにラベリングしてグループ化するラベリング部と、
前記ラベリング部がグループ化したラベリング領域の中心点を算出する中心点算出部と、
前記中心点算出部が算出した中心点と前記ラベリング領域の周縁部を構成するピクセルとの位置関係に基づいて、信号灯に近い形状のラベリング領域を選別する形状選別部と
を有している請求項８から請求項１１のいずれかに記載の信号灯識別装置。
【請求項１３】
前記ピクセル抽出部が抽出したピクセルのうち、隣接する全てのピクセルにラベリングしてグループ化するラベリング部と、
前記ラベリング部がグループ化したラベリング領域の上下距離と左右距離との差に基づいて、信号灯とは異なる形状のラベリング領域を選別する形状選別部と
を有している請求項８から請求項１１のいずれかに記載の信号灯識別装置。
【請求項１４】
前記ピクセル抽出部が抽出したピクセルのうち、隣接する全てのピクセルにラベリングしてグループ化するラベリング部と、
前記ラベリング部がグループ化したラベリング領域の中心点を算出する中心点算出部と、
前記中心点算出部が算出した中心点のオプティカルフローを取得するオプティカルフロー取得部と、
前記オプティカルフロー取得部が取得したオプティカルフローに基づいて、信号灯以外のラベリング領域を選別する非対象領域選別部と
を有している請求項８から請求項１１のいずれかに記載の信号灯識別装置。
【図１】
【図３】
【図５】
【図６】
【図９】
【図１１】
【図１３】
【図１５】
【図１６】
【図２】
【図４】
【図７】
【図８】
【図１０】
【図１２】
【図１４】
【図１７】
【図１８】
【図１９】
【図２０】
【図２１】
【図３】
【図５】
【図６】
【図９】
【図１１】
【図１３】
【図１５】
【図１６】
【図２】
【図４】
【図７】
【図８】
【図１０】
【図１２】
【図１４】
【図１７】
【図１８】
【図１９】
【図２０】
【図２１】
【公開番号】特開２０１１−２１６０５１（Ｐ２０１１−２１６０５１Ａ）
【公開日】平成２３年１０月２７日（２０１１．１０．２７）
【国際特許分類】
【出願番号】特願２０１０−８５９３６（Ｐ２０１０−８５９３６）
【出願日】平成２２年４月２日（２０１０．４．２）
【新規性喪失の例外の表示】特許法第３０条第１項適用申請有り 平成２１年１０月３日 社団法人 情報処理学会北海道支部発行の「情報処理北海道シンポジウム２００９ 講演論文集」に発表
【出願人】（５０４２３７０５０）独立行政法人国立高等専門学校機構 (656)
【Ｆターム（参考）】
【公開日】平成２３年１０月２７日（２０１１．１０．２７）
【国際特許分類】
【出願日】平成２２年４月２日（２０１０．４．２）
【新規性喪失の例外の表示】特許法第３０条第１項適用申請有り 平成２１年１０月３日 社団法人 情報処理学会北海道支部発行の「情報処理北海道シンポジウム２００９ 講演論文集」に発表
【出願人】（５０４２３７０５０）独立行政法人国立高等専門学校機構 (656)
【Ｆターム（参考）】
[ Back to top ]