説明

横断歩道検出装置

【課題】制御系の演算処理に対する負荷を軽減しつつ、車両と共に移動する車載のカメラによる撮影画像から精度良く横断歩道を検出すること。
【解決手段】車両に搭載したカメラ60からの撮影画像の画像認識領域の部分をマイコン30でエッジ処理し、エッジ処理した画像信号を画像認識LSI51で高速フーリエ逆変換して、強周期性を有するゼブラパターンを画像認識領域中から抽出する。抽出したゼブラパターンの周期性が横断歩道の周期性の範囲内であれば、そのゼブラパターンを横断歩道であるとマイコン30が認識する。

【発明の詳細な説明】
【技術分野】
【0001】
本発明は、車載のカメラによる撮影画像から横断歩道を検出する装置に関する。
【背景技術】
【0002】
車載のカメラによる撮影画像から横断歩道を検出する際には、画像中の白線部分をパターン認識し、これを、予め登録されている横断歩道の道路標示パターンとパターンマッチングするのが通常である。
【0003】
このパターンマッチングは、制御系の演算処理に対する負荷が大きい。そこで、パターンマッチングにより横断歩道を検出している間は、車線等のパターンマッチングを停止することで、制御系の負荷を軽減するという提案も行われている(例えば、特許文献1)。
【先行技術文献】
【特許文献】
【0004】
【特許文献1】特開2003−252148号公報
【発明の概要】
【発明が解決しようとする課題】
【0005】
しかしながら、車載のカメラによる撮影画像の内容は車両の走行に伴い常に変化するので、画像の内容が変わる度にパターンマッチングで横断歩道を検出するだけでも、制御系の負担は相当なものとなる。
【0006】
しかも、車両の走行に伴い画像中の横断歩道の位置や形状が変化するのに対応して、パターンマッチング用の道路標示パターンをそれに対応して数多く登録しておくか、新たな横断歩道のパターンを認識する度に学習し追加登録しなければならないので、パターンマッチングによる横断歩道検出では、装置規模の大型化が避けられない。
【0007】
本発明は前記事情に鑑みなされたもので、本発明の目的は、制御系の演算処理に対する負荷を軽減しつつ、車両と共に移動する車載のカメラによる撮影画像から精度良く横断歩道を検出することができる横断歩道検出装置を提供することにある。
【課題を解決するための手段】
【0008】
上記目的を達成するため、請求項1に記載した本発明の横断歩道検出装置は、
車載のカメラからの信号入力の更新により前記カメラの撮影画像が更新される度に、該撮影画像の所定領域をフーリエ変換して得られるスペクトラムパターンに基づいて、横断歩道に応じた所定周期のゼブラパターンを前記所定領域から抽出する抽出手段と、
前記抽出したゼブラパターンの車両に近い前端と車両から遠い後端が前記所定領域上で横断歩道に応じた所定間隔以上離間しているときに、前記抽出したゼブラパターンを横断歩道であると認識し、前記前後端が前記所定領域上で前記所定間隔以上離間していないときに、前記ゼブラパターンを横断歩道でないと認識する認識手段と、
を備えることを特徴とする横断歩道検出装置。
【0009】
請求項1に記載した本発明の横断歩道検出装置によれば、車両が進行すると、カメラの撮影画像に写る横断歩道の位置や大きさ、形状が変化する。したがって、パターンマッチングにより撮影画像から横断歩道を検出するには、撮影画像中に写る横断歩道の大きさや形状に合わせた多数のパターンマッチング用の道路標示パターンを登録する必要がある。
【0010】
一方、本発明によれば、横断歩道に応じた所定周期のゼブラパターンは、撮影画像のフーリエ変換によるスペクトラムパターンが所定周期の部分で強いかどうかによって、撮影画像から抽出できる。しかも、ゼブラパターンを抽出する部分を撮影画像中の所定領域に限ることで、ゼブラパターンの位置に応じた形状や大きさの変化する範囲を限定して、ゼブラパターンの前後端の間隔を指標とした横断歩道か否かの判別を容易にできる。
【0011】
これにより、制御系の演算処理に対する負担を軽減しつつ、車載のカメラによる撮影画像から精度良く横断歩道を検出することができる。
【0012】
また、請求項2に記載した本発明の横断歩道検出装置は、請求項1に記載した本発明の横断歩道検出装置において、前記抽出手段が、前記前後端が前記所定間隔以上離間していない前記ゼブラパターンを前記所定領域から抽出することなく、かつ、前記前端が前記所定領域上に存在しない前記ゼブラパターンを前記所定領域から抽出したときに、前記認識手段が横断歩道であると認識した前記ゼブラパターンに対する、前記前端が前記所定領域上に存在しない前記ゼブラパターンの、前記後端の前記所定領域中における変位量と、前記撮影画像の更新前後に前記車両が進行した量とに基づいて、更新前後の各撮影画像の前記所定領域からそれぞれ抽出した前記ゼブラパターンどうしが同一の横断歩道であるか否かを判別する判別手段をさらに備えていることを特徴とする。
【0013】
請求項2に記載した本発明の横断歩道検出装置によれば、請求項1に記載した本発明の横断歩道検出装置において、ゼブラパターンの前後端が所定領域上に存在することを前提とする認識手段による横断歩道の認識が行えなくても、所定領域上にゼブラパターンの後端が存在すれば、判別手段により、撮影画像の更新前に対する所定領域中における後端の変位量と車両の進行量に基づいて、ゼブラパターンの後端の同一性が判別できる。
【0014】
したがって、更新前のゼブラパターンが横断歩道であると認識されていれば、それと同一性を有するゼブラパターンの後端が、更新後の撮影画像の所定領域中に写っていることで、前端が写っていないゼブラパターンからでも横断歩道であることを実質的に認識することができる。
【0015】
さらに、請求項3に記載した本発明の横断歩道検出装置は、請求項2に記載した本発明の横断歩道検出装置において、前記抽出手段が、前記ゼブラパターンを前記所定領域から抽出しなかった場合に、前記判別手段が、前回の前記撮影画像の前記所定領域から前記抽出手段が抽出した前記ゼブラパターンの後端と、前記撮影画像の更新前後に前記車両が進行した量とに基づいて、前記ゼブラパターンの後端の位置を推定し、車両に対する相対位置に基づいて、前記推定した後端位置のゼブラパターンが横断歩道であるか否かを判別することを特徴とする。
【0016】
請求項3に記載した本発明の横断歩道検出装置によれば、請求項2に記載した本発明の横断歩道検出装置において、所定領域にゼブラパターンの前端だけでなく後端も存在しなくなった場合、更新前の撮影画像の所定領域から抽出手段が抽出したゼブラパターンと車両の進行量から推定したゼブラパターンが横断歩道であるか否かを、推定したゼブラパターンの後端の車両に対する相対位置から判別することができる。
【0017】
このため、車両の進行に伴い横断歩道のゼブラパターンが撮影画像の所定領域に存在しない状況になっても、しばらくの間(例えば、車両が横断歩道を通過することが予想されるまでの間)は、横断歩道が車両の近傍に存在することを認識し、横断歩道又はその近傍に車両が存在することを前提とした処理を継続させることができる。
【発明の効果】
【0018】
本発明によれば、制御系の演算処理に対する負荷を軽減しつつ、車両と共に移動する車載のカメラによる撮影画像から精度良く横断歩道を検出することができる。
【図面の簡単な説明】
【0019】
【図1】本発明の一実施形態に係る横断歩道検出装置を内蔵するドライブレコーダの概略構成を示すブロック図である。
【図2】図1のドライブレコーダとカメラが搭載される車両の模式図である。
【図3】図1の画像認識LSIが検出する横断歩道の道路標示(ゼブラパターン)の規格を示す説明図である。
【図4】図3の横断歩道のゼブラパターンのエッジ周期を示す説明図である。
【図5】図1のカメラの撮影画像から横断歩道のゼブラパターンを検出するために画像認識LSIがエッジ処理した撮影画像の画像信号に対して高速フーリエ逆変換処理を施す画像認識領域を示す説明図である。
【図6】図1の画像認識LSIの概略構成を示す説明図である。
【図7】図6の各プロセッサエレメント(PE)でカメラの撮影画像を高速フーリエ逆変換して得られる有効データ部分から振幅スペクトルの平均値や強度閾値を得るプロセスを示す模式図である。
【図8】図7のプロセスで得た強度閾値に対する周期別の振幅スペクトルの分布の一例を示すグラフである。
【図9】図6の各プロセッサエレメント(PE)で高速フーリエ逆変換処理させるために図5の画像認識領域を90゜回転させた状態を示す説明図である。
【図10】図1に示すマイコンがROMのプログラムにしたがって実行する横断歩道に該当するゼブラパターンの検出に関する処理の概要を示すフローチャートである。
【図11】図5の画像認識領域にゼブラパターンの前端が存在しない場合を示す説明図である。
【図12】(a)〜(c)は図1に示すマイコンが横断歩道に該当するゼブラパターンの追跡処理を行う際に用いるラベルの内容を示す説明図である。
【図13】図1に示すマイコンがROMのプログラムにしたがって実行する横断歩道の追跡処理の手順の概要を示すフローチャートである。
【図14】図1のカメラの撮影画像上における今回認識後端(今回の認識位置)と前回認識後端から予測した予測後端位置とを示す説明図である。
【図15】図1のカメラの撮影画像に写る横断歩道上に先行車両が存在する場合を示す説明図である。
【発明を実施するための形態】
【0020】
以下、本発明の実施形態を、図面を参照しながら説明する。
【0021】
図1は本発明の一実施形態に係る横断歩道検出装置を内蔵するドライブレコーダの概略構成を示すブロック図である。図1に示すドライブレコーダ10は、図2の模式図に示すように、カメラ60と共に車両1に搭載して使用される。
【0022】
図1に示すように、ドライブレコーダ10は、車両1の前方を撮影したカメラ60からの撮影画像の入力信号をメインデコーダ20でデコードし、画像処理用のLSI等で構成されるマイコン30において圧縮処理した後、一定時間分の動画画像と一定周期毎の静止画像とをSDカード40等のリムーバブル記憶媒体に記憶させるものである。なお、一定時間分の動画画像は、常に最新の過去一定時間分が記憶されるように上書き記録される。
【0023】
また、ドライブレコーダ10は、メインデコーダ20及びマイコン30と共に横断歩道検出装置を構成する画像認識ユニット50を有している。画像認識ユニット50は、画像認識処理用のLSI(以下、「画像認識LSI」と略記する。)51と、ROM52及びRAM53を有している。ROM52には、画像認識LSI51がメインデコーダ20からのデコードされた画像信号によるカメラ60の撮影画像に対して高速フーリエ逆変換(IxFFT)処理するために実行するプログラム等が格納されている。RAM53は画像認識LSI51がROM52のプログラムを実行するのに必要な作業領域等を提供するもので、例えば、SDRAM(Synchronous Dynamic Random Access Memory)で構成することができる。
【0024】
次に、カメラ60の撮影画像から横断歩道を検出する際の原理について説明する。図3の説明図に示すように、各都道府県の公安委員会によって定められる横断歩道70の道路標示(ゼブラパターン)の規格では、交互に配置する白線部分71の幅L1と非白線部分(路面露出部分)72の幅L2とがそれぞれ0.45〜0.50mとなっている。また、車両1から見た白線部分71や非白線部分72の前端と後端との間隔は2.5〜3.0m程度となっている。なお、白線部分71や非白線部分72の前端や後端に白線73,74を設けることもでき、その場合の白線73,74の太さ(前後長さ)は、それぞれ0.15〜0.30mと決められている。
【0025】
したがって、カメラ60の撮影画像に写る横断歩道70のゼブラパターンのエッジ(白線部分71や非白線部分72のエッジ)をコントラストにより抽出すると、図4の説明図に示すように、白→黒(路面色)のエッジが0.9〜1.0m周期で存在し、黒→白のエッジも同じく0.9〜1.0m周期で存在することになる。
【0026】
ところで、カメラ60で車両1の前方を撮影した場合、白線部分71の幅L1や非白線部分72の幅L2の最小値である0.45mは、撮影画像上での画素数に換算すると、本実施形態の場合、車両1の20m前方で約7dot分、27m前方で約5dot分、35m前方で約3dot分となる。白→黒(又は黒→白)のエッジ周期の最小値(0.9m)はその倍となるので、車両1の20m前方で約14dot分、27m前方で約10dot分、35m前方で約6dot分となる。
【0027】
一方、本実施形態では、撮影画像をエッジ処理した画像信号に対して画像認識LSI51が高速フーリエ逆変換(IxFFT)処理して行うゼブラパターンのエッジ周期の検出分解能は、下限が映像信号の8画素(8dot)、上限が映像信号の85.3画素(85.3dot)である。下限は画像認識LSI51によるデコードされた画像信号の認識分解能に依存する。また、上限は画像認識LSI51によりデコードされた画像信号を認識する後述する画像認識領域(請求項中の所定領域に相当、図5参照)の水平方向幅(=512dot)に依存する。
【0028】
上述したエッジ周期の検出分解能(8〜85.3dot)からすると、車両1の前方20mや27m前方では、ゼブラパターンの白→黒(又は黒→白)のエッジ周期が検出できると予想されるが、35m前方では分解能上検出が困難と予想される。
【0029】
また、横断歩道70の前端や後端の白線73,74の太さの最小値である0.15mは、撮影画像上での画素数に換算すると、本実施形態の場合、車両1の20m前方で約2.5dot分、27m前方で約1.4dot分、35前方先で約0.8dot分となる。
【0030】
2dot未満では前端や後端の白線73,74の太さ(白線73,74の前後のエッジ)を区別できないので、横断歩道70の前端や後端の白線73,74の検出は、車両1の前方20mでは可能と予想されるが、27m前方や35m前方では分解能上困難と予想される。
【0031】
したがって、本実施形態では、横断歩道70のゼブラパターンの白→黒(又は黒→白)のエッジ周期と横断歩道70の前端や後端の白線73,74との双方を検出できるのは、大体、車両1の前方20mのエリアであると考えられる。そこで、本実施形態では、カメラ60による撮影画像のうち車両1の前方20m前後の領域を、上述した画像認識領域の上限及び下限としている。そして、車両1の前方20mの撮影画像における0.9m±25%(46dot±11.5dot)の範囲を、横断歩道70として検出するゼブラパターンの白→黒(又は黒→白)のエッジ周期としている。
【0032】
図5はカメラ60の撮影画像から横断歩道のゼブラパターンを検出するために画像認識LSI51がエッジ処理した撮影画像の画像信号に対して高速フーリエ逆変換処理を施す画像認識領域を示す説明図である。図5中引用符号62で示す画像認識領域は、カメラ60の撮影画像61の上端からVd画素(dot)目を上端とし、さらにVh画素分下方を下端としている。画像認識領域62の水平方向幅は、撮影画像61の水平方向中心から左右にそれぞれ256dot分(合計512dot分)としてある。
【0033】
画像認識領域62の水平方向幅が512dot分であるのは、図6の説明図に示す本実施形態の画像認識LSI51の構成に依存している。図6に示すように、画像認識LSI51は、64個のプロセッサエレメント(PE0〜PE63)を、不図示のコントロールプロセッサ(CP)及び浮動小数点数演算装置(FPU)で制御して、浮動小数点演算を高速処理する。なお、各PEには演算処理用の作業エリアを提供するRAM(図示せず)がそれぞれ接続されている。
【0034】
上述した構成の画像認識LSI51は、本実施形態では、各PE0〜PE63において2byteずつ実数部と虚数部を指定して、カメラ60の撮影画像をエッジ処理した画像信号の1ライン分に対して、高速フーリエ逆変換(IxFFT)による固定小数点演算処理を同時並行して実行する。各PE0〜PE63による高速フーリエ逆変換(IxFFT)後のデータは、対応する不図示の各RAMに格納され、そのうち0〜255のアドレスに格納された256byteのデータが、有効データ部分となる。
【0035】
各PE0〜PE63に対応する各RAMの0〜255のアドレス部分には、1〜256の周波数順に、2byteずつの実数部と虚数部の各データが格納されている。つまり、図7の模式図に示すように、虚数部と実数部とが64個のPE分だけ列方向に並んでいることになる。そこで、各PE0〜PE63の虚数部と実数部とを1列に合成して各列の振幅スペクトルSの平均値Saveと周期tを算出する。
【0036】
各列の周波数毎の振幅スペクトルSは、S=(実数部/256)2 +(虚数部/256)2 で求めることができる。また、各列の周期tは、サンプル数/周波数で求めることができる。そこで、振幅スペクトルSの平均値Saveと周期tとの組み合わせから、適切な振幅スペクトルの強度閾値Yを算出、設定する。
【0037】
図8は、図7のプロセスで得た強度閾値に対する周期別の振幅スペクトルの分布の一例を示すグラフである。図8のグラフに示すように、振幅スペクトルSの強度閾値Yは、周期tが大きいほど指数関数的に値が下がる曲線状となる。そして、振幅スペクトルSの平均値Saveが強度閾値Yを大きく超える周期tが、車両1の前方20mの撮影画像61における0.9m±25%(46dot±11.5dot)の範囲に存在すれば、横断歩道70のゼブラパターンが画像認識領域62中に存在することになる。
【0038】
本実施形態の画像認識LSI51は、図6の各PE0〜PE63による高速フーリエ逆変換(IxFFT)処理の効率を良くするために、図9の説明図に示すように、図5の画像認識領域62を右(時計回り方向)に90゜回転させた状態で、各縦方向の1ラインずつ、図9のの左側から(手前位置側から後方位置側に)、画像認識領域62のエッジ処理した画像信号に対する高速フーリエ逆変換(IxFFT)処理を実行する。
【0039】
図1のマイコン30は、画像認識LSI51による画像認識領域62のエッジ処理した画像信号に対する高速フーリエ逆変換(IxFFT)処理の結果を受けて、画像認識領域62中の横断歩道70に該当するゼブラパターンを検出する。そのために、マイコン30には、横断歩道70に該当するゼブラパターンを検出するためのプログラム等が格納されたROM31と、マイコン30がROM52のプログラムを実行するのに必要な作業領域等を提供するRAM32とが接続されている。RAM32は、例えば、SDRAM(Synchronous Dynamic Random Access Memory)で構成することができる。
【0040】
次に、マイコン30がROM31に格納されたプログラムにしたがい実行する横断歩道70に該当するゼブラパターンの検出に関する処理の概略を、図10のフローチャートを参照して説明する。
【0041】
まず、マイコン30は、カメラ60の撮影画像61の信号入力を受けて映像(撮影画像61)を収集し(ステップS1)、収集した映像(撮影画像61)をエッジ処理する(ステップS3)。そして、エッジ処理した映像(撮影画像61中の画像認識領域62の画像信号)を画像認識LSI51で上述したようにフーリエ逆変換処理することで、画像認識領域62中に存在するゼブラパターンの振幅スペクトルSの平均値Saveと周期tを求める(ステップS5)。
【0042】
次に、マイコン30は、振幅スペクトルSの平均値Saveと強度閾値Yとの比較に基づいて、図5の画像認識領域62のエッジ処理した画像信号について、横断歩道70に該当するゼブラパターンの候補が存在する否かの判定を行う(ステップS7)。
【0043】
この判定では、マイコン30は、図5の画像認識領域62のエッジ処理した画像信号から求まるゼブラパターンの前端(画像認識領域62の下端側)のy座標値と後端(画像認識領域62の上端側)のy座標値を、ゼブラパターンの前端(図9の手前位置)のy座標値(図5の画像認識領域62中のy座標値)と、ゼブラパターンの後端(図9の後方位置)のy座標値(図5の画像認識領域62中のy座標値)として登録する。
【0044】
そして、マイコン30は、登録したゼブラパターンの前後端のy座標における画素位置差が、車両1の前方20mの撮影画像61における2.2m以上分に相当する量である場合に、そのゼブラパターンを、横断歩道70の候補に該当するゼブラパターンが存在すると判定する。
【0045】
そして、マイコン30は、横断歩道70の候補に該当するゼブラパターンが存在しない場合は(ステップS7でNO)、ステップS1にリターンする。存在する場合は(ステップS7でYES)、画像認識領域62中に存在するゼブラパターンを横断歩道70の候補に該当するゼブラパターンであると判断し(ステップS9)、その判断が連続2回続いたか否かを確認する(ステップS11)。
【0046】
横断歩道70の候補に該当するゼブラパターンであるとの判断が連続2回続いていない場合は(ステップS11でNO)、ステップS1にリターンし、連続2回続いた場合は(ステップS11でYES)、横断歩道70に該当するゼブラパターンであると判定する(ステップS13)。
【0047】
そして、マイコン30は、ステップS13の処理の一環として、横断歩道70の候補と判断された1つ目のゼブラパターンの前端及び後端に対応するラインを、横断歩道70の前端(図9の手前位置)のy座標値(図5の画像認識領域62中のy座標値)と、横断歩道70の後端(図9の後方位置)のy座標値(図5の画像認識領域62中のy座標値)として、RAM32に登録する。
【0048】
なお、横断歩道70の候補と判断されたゼブラパターンの前端及び後端は、次のようにして特定する。つまり、画像認識領域62のエッジ処理した画像信号の水平方向の各ラインについて、画像認識領域62の下端側から上端側に向けて、横断歩道70の周期性を持つゼブラパターンが存在しないラインに続いて存在するラインが連続2回続くと、横断歩道70の周期性を持つゼブラパターンが存在する1つ目のラインのy座標値が、横断歩道70の候補と判断されたゼブラパターンの前端として特定される。
【0049】
また、画像認識領域62の下端側から上端側に向けて、横断歩道70の周期性を持つゼブラパターンが存在するラインに続いて存在しないラインが連続2回続くと、横断歩道70の周期性を持つゼブラパターンが存在しない1つ目のラインのy座標値が、横断歩道70の候補と判断されたゼブラパターンの後端として特定される。
【0050】
特定されたゼブラパターンの前後端のy座標値は、横断歩道70の前後端としてRAM32に登録される。また、後述する横断歩道70の追跡処理(図13参照)の際に利用する追跡用ラベル(図12(c)参照、横断歩道有効フラグが「有効(○)」、有効フラグが「有効(○)」、引継処理フラグが「未(同一性未確認)」、Lost回数が「0」、Lost確定フラグが「×(未確定)」)の今回値として、特定されたゼブラパターンの後端のy座標値が登録される。
【0051】
そして、マイコン30は、不図示のイグニッションスイッチ(IGN)がOFFになるまで(ステップS15でYES)、ステップS1乃至ステップS13の処理を繰り返す。
【0052】
次に、マイコン30がROM31に格納されたプログラムにしたがい実行する横断歩道70の追跡処理について説明する。上述したように、横断歩道70の候補に該当するゼブラパターンであると判断されるには、画像認識領域62中に、車両1の前方20mの撮影画像61における2.2m以上分に相当する量だけ、ゼブラパターンの前後端のy座標における画素位置差が存在しなければならない。
【0053】
したがって、図11の説明図に示すように、画像認識領域62にゼブラパターンの前端が存在しなくなると、そのゼブラパターンは、上述した条件により横断歩道70の候補に該当するゼブラパターンであると判断できなくなってしまう。しかし、走行する車両1のカメラ60による撮影画像の場合は、車両1の振動等の理由で一時的に画像認識領域62にゼブラパターンの前端が存在しなくなる可能性がある。
【0054】
そこで、画像認識領域62にゼブラパターンの前端が存在しなくなった場合に、そのゼブラパターンと、先に横断歩道70の候補に該当するゼブラパターンであると判断された、更新前の画像認識領域62に存在したゼブラパターンとに同一性が認められるか否かを、新たな条件を用いて判断するのが、横断歩道70の追跡処理である。
【0055】
ゼブラパターンの同一性は、更新前後の各画像認識領域62に存在するゼブラパターンの後端を基準にして判断される。更新前前の各画像認識領域62に存在したゼブラパターンに同一性が認められると、更新後の画像認識領域62にゼブラパターンの前端が存在しなくても、横断歩道70に該当するゼブラパターンが画像認識領域62に存在しないと即座には判定されなくなる。
【0056】
上述した横断歩道70の追跡処理を実行するために、マイコン30は、横断歩道70の候補と判断されたゼブラパターンの後端(図9の後方位置)について、図12(a)〜(c)の説明図に示す内容のフラグやデータをラベルとして管理する。具体的には、まず、横断歩道70に該当すると判定されたゼブラパターンの後端であることを示す横断歩道有効フラグ(○=有効、×=無効)と、横断歩道70の候補と判断されたゼブラパターンの後端であることを示す有効フラグ(フラグ○=候補である、フラグ×=候補でない)とを管理する。
【0057】
また、マイコン30は、過去の画像認識領域62に存在していたゼブラパターンの後端との同一性が確認されて引継処理されたか否かを示す引継処理フラグ(未=同一性未確認、済=同一性確認済み)と、引継処理なく画像認識領域62にゼブラパターンの後端存在しなかったLost回数(カウント数)と、Lost確定フラグ(○=確定、×=未確定)とを管理する。
【0058】
さらに、マイコン30は、カメラ60からの信号入力の更新による撮影画像61の更新前後(前回、今回)の、ゼブラパターンの後端のy座標値(認識位置Z)と、撮影画像61の更新前後で車両1が進行した量(自車走行距離)を管理する。各ラベルには、独立したラベル番号(ラベルNo.)が付番される。
【0059】
横断歩道70の追跡処理において、マイコン30は、図13に示すように、まず、全てのラベルの引継処理フラグを「未(同一性未確認)」に設定し(ステップS21)、横断歩道有効フラグが「有効(○)」のラベルがないか否かを確認する(ステップS23)。ラベルがない場合は(ステップS23でYES)、更新後の画像認識領域62から、ゼブラパターンの後端と認識できる今回認識後端を全て抽出し、y座標値の小さい順に(画像認識領域62の下端側からの距離Ziが小さい順に)作成した認識位置Z毎のラベルの今回値に、抽出した各今回認識後端のy座標値を代入する(ステップS25)。その後、後述するステップS41に処理を移行する。
【0060】
ここで、マイコン30がステップS25で作成する各ラベルの内容は、図12(b)に示すように、横断歩道有効フラグが「無効(×)」、有効フラグが「無効(×)」、引継処理フラグが「未(同一性未確認)」、Lost回数が「0」、Lost確定フラグが「×(未確定)」となる。各ラベルには、空き番号の小さい番号から順にラベル番号が付番される。そして、ステップS25で今回認識後端のy座標値をラベルの今回値に代入する際に、有効フラグが「無効(×)」から「有効(○)」に、引継処理フラグが「未(同一性未確認)」から「済(同一性確認済み)」に、それぞれ切り替えられる。
【0061】
また、図13のステップS23で、横断歩道有効フラグが「有効(○)」のラベルがある場合(NO)は、y座標値の小さい順に(画像認識領域62の下端側からの距離Ziが小さい順に)、有効フラグが「有効(○)」であり、かつ、引継処理フラグが「未(同一性未確認)」であるラベル(図12(a)に示すラベルNo.1,2)を読み出す(ステップS27)。
【0062】
続いて、マイコン30は、今回認識後端のy座標値をいずれかのラベルの今回値に全て代入したか否かを確認し(ステップS29)、全て代入した場合は(ステップS29でYES)、ステップS41に処理を移行する。一方、全てを代入し終えていない場合は(ステップS29でNO)、前回と今回の追跡処理の際に不図示の車速センサからの車速信号によってそれぞれ把握した前回と今回の車速の平均値((前回車速+今回車速)/2)に、前回と今回の追跡処理の間に経過した時間を乗じて、車両1の進行量(自車走行距離)を算出する(ステップS31)。
【0063】
そして、マイコン30は、ステップS27で読み出したラベルに前回値として代入されている、前回認識後端のy座標値と、ステップS31で算出した自車走行距離とから、計算上の今回認識後端のy座標値(予測後端位置のy座標値)を決定する(ステップS33)。さらに、ステップS25で読み出していずれのラベルの今回値にも代入していない最小の今回認識後端のy座標値が、ステップS33で決定した予測後端位置のy座標値に対する所定の許容誤差範囲内に、存在するか否かを確認する(ステップS35)。
【0064】
なお、図14の説明図に示すように、予測後端位置75を中心とする画像認識領域62中の上下等間隔の範囲が、許容誤差範囲76である。ステップS35では、この誤差許容範囲76内に、今回認識後端77が存在するか否かを確認する。
【0065】
存在する場合は(ステップS35でYES)、マイコン30は、範囲内処理を行い(ステップS37)、存在しない場合は(ステップS35でNO)、マイコン30は、範囲外処理を行って(ステップS39)、いずれも、ステップS29にリターンする。
【0066】
ステップS37の範囲内処理では、ステップS27で読み出したラベルの今回値に今回認識後端のy座標値を代入すると共に、Lost回数を「0」にリセットし、かつ、引継処理フラグを「済(同一性確認済み)」に設定する。
【0067】
ステップS39の範囲外処理では、ステップS27で読み出したいずれのラベルの今回値にも代入していないことを条件に、図12(b)に示すように、横断歩道有効フラグが「無効(×)」、有効フラグが「無効(×)」、引継処理フラグが「未(同一性未確認)」、Lost回数が「0」、Lost確定フラグが「×(未確定)」のラベルを作成し、最小の空き番号をラベル番号として付番する。そして、作成したラベルの今回値として、今回認識後端のy座標値を代入し、有効フラグを「無効(×)」から「有効(○)」に、引継処理フラグを「未(同一性未確認)」から「済(同一性確認済み)」に、それぞれ切り替える。
【0068】
ステップS41では、ステップS31と同様にして車両1の進行量(自車走行距離)を算出し、続いて、今回値に今回認識後端のy座標値を代入していないラベルに前回値として代入されている、前回認識後端のy座標値と、ステップS31で算出した自車走行距離とから、計算上の今回認識後端のy座標値(予測後端位置のy座標値)を決定する(ステップS43)。
【0069】
さらに、追跡用ラベルが存在するか否かを確認し(ステップS45)、存在しない場合は(ステップS45でNO)、後述するステップS49に処理を移行し、存在する場合は(ステップS45でYES)、マイコン30は、追跡用ラベルの今回値に代入されている今回認識後端のy座標値が、ステップS43で決定した予測後端位置のy座標値に対する所定の許容誤差範囲内に、存在するか否かを確認する(ステップS47)。
【0070】
存在しない場合は(ステップS47でNO)、マイコン30は、ステップS49に処理を移行し、存在する場合は(ステップS47でYES)、マイコン30は、後述するステップS51に処理を移行する。
【0071】
そして、ステップS49では、マイコン30は、ステップS43で決定した予測後端位置のy座標値を、今回値を代入していないラベルに、今回認識後端のy座標値(今回値)として代入し、ステップS53に処理を移行する。一方、ステップS51では、マイコン30は、追跡用ラベルの今回値に代入されている今回認識後端のy座標値を、今回値を代入していないラベルに、今回認識後端のy座標値(今回値)として代入し、ステップS53に処理を移行する。
【0072】
ステップS53では、マイコン30は、各ラベルの今回値に代入されている今回認識後端のy座標値が、MASK領域内に存在するか否かを確認する。ここで、MASK領域とは、カメラ60が車両1のボディにより死角となってしまう部分と、画像認識領域62以外の撮影画像61の部分を含む領域である。
【0073】
そして、MASK領域内に存在する場合は(ステップS53でYES)、今回認識後端のy座標位置が、カメラ60よりも車両1の進行方向において2mを超えて手前の位置であるか否かを確認する(ステップS55)。カメラ60よりも2mを超えて手前の位置である場合は(ステップS55でYES)、後述するステップS61に処理を移行し、そうでない場合は(ステップS55でNO)、後述するステップS63に処理を移行する。
【0074】
一方、ステップS53で、MASK領域内に存在しない場合(NO)は、Lost回数を「1」インクリメントし(ステップS57)、Lost回数が閾値Nを超えているか否かを確認する(ステップS59)。超えている場合は(ステップS59でYES)、マイコン30は、ステップS61に処理を移行し、超えていない場合は(ステップS59でNO)、マイコン30は、ステップS63に処理を移行する。
【0075】
ステップS61では、Lost回数が閾値Nを超えたラベルについて、Lost回数を「0」にリセットすると共に、有効フラグを「無効(×)」にする。ステップS63では、終了処理を行う。この終了処理では、有効フラグが「有効(○)」で引継処理フラグが「済(同一性確認済み)」の全ラベルについて、今回値に代入された今回認識後端のy座標値(認識位置Z)どうしを比較する。そして、今回認識後端のy座標値として同じ値がそれぞれの今回値に代入されている複数のラベルが存在した場合は、最小のラベル番号のラベルを採用し、他のラベルは有効フラグを「○(有効)」から「×(無効)」に切り替える。
【0076】
以上の説明からも明らかなように、本実施形態では、図10のフローチャートにおけるステップS1乃至ステップS5が、請求項中の抽出手段に対応する処理となっている。また、本実施形態では、図10中のステップS7乃至ステップS13が、請求項中の認識手段に対応する処理となっている。
【0077】
さらに、本実施形態では、図13のフローチャートにおけるステップS23乃至ステップS39と、テップS53乃至ステップS55が、請求項中の判別手段に対応する処理となっている。
【0078】
このように構成された本実施形態のドライブレコーダ10では、メインデコーダ20、マイコン30、及び、画像認識ユニット50で構成される横断歩道検出装置により、次のような動作が行われる。
【0079】
即ち、カメラ60からの撮影画像61の画像認識領域62をエッジ処理した画像信号を画像認識LSI51で高速フーリエ逆変換して、横断歩道70に対応する周期tと前後端間隔を有するゼブラパターンを抽出し、横断歩道70に該当するゼブラパターンを特定する。この際、車両1が進行して撮影画像61中でのゼブラパターンの形状や大きさが変化しても、その変化量を画像認識領域62内での変化に止めることができる。そのため、ゼブラパターンの周期tや前後端の間隔を撮影画像61における画素数の範囲で特定する際に、その範囲を一定の範囲に制限して、画像処理を伴わずに画像認識による横断歩道70の判別を、マイコン30に負担をかけることなく容易に行うことができる。
【0080】
また、車両1の進行に伴いゼブラパターンの前端が画像認識領域62中に存在しなくなっても、更新前の画像認識領域62において横断歩道70であると判断されたゼブラパターンに対する、後端どうしの変位量と車両1の進行量とに基づいて、更新後の画像認識領域62において抽出された、画像認識領域62中に前端が存在しないゼブラパターンが横断歩道70であるかどうかを判別することができる。
【0081】
さらに、更新前の画像認識領域62から抽出したゼブラパターンの後端が更新後の画像認識領域62中に存在しなくても、車両1の進行量から推定したゼブラパターンの後端がカメラ60よりも2m手前(車両1の前方)かそれよりも前方に存在すれば、後端の位置を推定したゼブラパターンが横断歩道70に該当するゼブラパターンと同一性を有するものであることを認識することができる。よって、車両1が横断歩道70を通過する等の間まで、横断歩道70の存在を認識し、車両1の走行制御等に横断歩道70の情報を活用することができる。
【0082】
しかも、画像認識LSI51が行う高速フーリエ逆変換による振幅スペクトラムSの平均値Saveで、ゼブラパターンの強周期性を判断して横断歩道70であるかどうかを判定するので、図15の説明図に示すように、横断歩道70のゼブラパターン上に先行車両2,3が存在しても、横断歩道70を画像処理領域62のゼブラパターンから精度良く検出することができる。
【産業上の利用可能性】
【0083】
本発明は、車載のカメラによる撮影画像から横断歩道を検出する装置に用いて好適である。
【符号の説明】
【0084】
1 車両
2,3 先行車両
10 ドライブレコーダ
20 メインデコーダ
30 マイコン
31 ROM
32 RAM
40 SDカード
50 画像認識ユニット
51 画像認識LSI
52 ROM
53 RAM
60 カメラ
61 撮影画像
62 画像認識領域
70 横断歩道
71 白線部分
72 非白線部分
73,74 白線
75 予測後端位置
76 許容誤差範囲
77 今回認識後端
S 振幅スペクトル
Save 振幅スペクトル平均値
Y 強度閾値
Z 認識位置
Zi 距離
t 周期

【特許請求の範囲】
【請求項1】
車載のカメラからの信号入力の更新により前記カメラの撮影画像が更新される度に、該撮影画像の所定領域をフーリエ変換して得られるスペクトラムパターンに基づいて、横断歩道に応じた所定周期のゼブラパターンを前記所定領域から抽出する抽出手段と、
前記抽出したゼブラパターンの車両に近い前端と車両から遠い後端が前記所定領域上で横断歩道に応じた所定間隔以上離間しているときに、前記抽出したゼブラパターンを横断歩道であると認識し、前記前後端が前記所定領域上で前記所定間隔以上離間していないときに、前記ゼブラパターンを横断歩道でないと認識する認識手段と、
を備えることを特徴とする横断歩道検出装置。
【請求項2】
前記抽出手段が、前記前後端が前記所定間隔以上離間していない前記ゼブラパターンを前記所定領域から抽出することなく、かつ、前記前端が前記所定領域上に存在しない前記ゼブラパターンを前記所定領域から抽出したときに、前記認識手段が横断歩道であると認識した前記ゼブラパターンに対する、前記前端が前記所定領域上に存在しない前記ゼブラパターンの、前記後端の前記所定領域中における変位量と、前記撮影画像の更新前後に前記車両が進行した量とに基づいて、更新前後の各撮影画像の前記所定領域からそれぞれ抽出した前記ゼブラパターンどうしが同一の横断歩道であるか否かを判別する判別手段をさらに備えていることを特徴とする請求項1記載の横断歩道検出装置。
【請求項3】
前記抽出手段が、前記ゼブラパターンを前記所定領域から抽出しなかった場合に、前記判別手段が、前回の前記撮影画像の前記所定領域から前記抽出手段が抽出した前記ゼブラパターンの後端と、前記撮影画像の更新前後に前記車両が進行した量とに基づいて、前記ゼブラパターンの後端の位置を推定し、車両に対する相対位置に基づいて、前記推定した後端位置のゼブラパターンが横断歩道であるか否かを判別することを特徴とする請求項2記載の横断歩道検出装置。

【図1】
image rotate

【図2】
image rotate

【図3】
image rotate

【図4】
image rotate

【図5】
image rotate

【図6】
image rotate

【図7】
image rotate

【図8】
image rotate

【図9】
image rotate

【図10】
image rotate

【図11】
image rotate

【図12】
image rotate

【図13】
image rotate

【図14】
image rotate

【図15】
image rotate


【公開番号】特開2013−114652(P2013−114652A)
【公開日】平成25年6月10日(2013.6.10)
【国際特許分類】
【出願番号】特願2011−263405(P2011−263405)
【出願日】平成23年12月1日(2011.12.1)
【出願人】(501418498)矢崎エナジーシステム株式会社 (79)
【Fターム(参考)】