標識認識装置及び標識認識方法
【課題】 標識認識を効率よく行うことのできる標識認識装置を提供する。
【解決手段】 車両に搭載されて標識を認識する標識認識装置1は、車両の前方を撮影して画像を取得するカメラ10と、カメラ10にて得られた画像内の標識存在認識エリアEAにおいて、標識存在認識(第1の認識レベルでの標識認識)を行う標識存在認識部31と、カメラ10にて得られた画像内の標識存在認識エリアEAとは異なる標識内容認識エリアCAにおいて、標識内容認識(第1の認識レベルより高い第2の認識レベルでの標識認識)を行う標識内容認識部33を備える。これにより、複数の認識エリアEA,CAについて、それぞれ異なる認識レベルで標識を認識するので、画像内で高い認識レベルが必要とされない部分の認識レベルを落とすことで、全体として標識認識の効率を向上できる。
【解決手段】 車両に搭載されて標識を認識する標識認識装置1は、車両の前方を撮影して画像を取得するカメラ10と、カメラ10にて得られた画像内の標識存在認識エリアEAにおいて、標識存在認識(第1の認識レベルでの標識認識)を行う標識存在認識部31と、カメラ10にて得られた画像内の標識存在認識エリアEAとは異なる標識内容認識エリアCAにおいて、標識内容認識(第1の認識レベルより高い第2の認識レベルでの標識認識)を行う標識内容認識部33を備える。これにより、複数の認識エリアEA,CAについて、それぞれ異なる認識レベルで標識を認識するので、画像内で高い認識レベルが必要とされない部分の認識レベルを落とすことで、全体として標識認識の効率を向上できる。
【発明の詳細な説明】
【技術分野】
【0001】
本発明は、車両等の移動体に搭載されて標識を認識する標識認識装置に関するものである。
【背景技術】
【0002】
従来より、車載カメラによって得られた連続的な画像から対象物を認識する認識装置が知られている。かかる認識装置において、車載カメラが撮影する画像は車両の走行とともに時々刻々と変化する。従って、画像のフレームレートが高くなり、また、車載カメラの画素数が大きくなるほど、認識装置における認識処理の負担が増加する。また、認識装置において、認識のレベルを高くするほど処理負担が増加する。よって、認識装置については、画像から対象物を効率よく認識することが望まれている。このために、車載カメラによって得られた画像から対象物を認識する際に、画像全体について対象物の認識をするのではなく、特定の部分のみについて対象物の認識をすることで、対象物認識の効率化を図ることが提案されている。
【0003】
第1の従来の認識装置は、ビデオカメラで撮影して得られた動画フレームの一部を間引いて対象物の認識を行うことで認識処理の効率化を図るとともに、標識が撮影されている場合は、認識領域を画像内の一部の領域に限定した上で、当該画像を間引かないようにしている(例えば特許文献1参照)。この装置では、対象物である標識が高精度に撮影される画像上部の帯状領域を認識領域としている。即ち、高速道路の標識のように、頭上を通過する標識については、この帯状領域にて標識が最も鮮明に撮影されることから、この領域を限定的な認識領域としている。
【0004】
また、第2の従来の認識装置は、車両の位置情報と方位情報に基づいて、車載カメラで撮像された画像において認識対象の物体が含まれると推定される画像部分を画像切出し範囲として切り出して、当該切り出し範囲内に含まれる物体を画像認識している(例えば特許文献2参照)。また、第3の従来の認識装置では、認識すべき領域をレーダ装置の検知結果に基づいて限定している(例えば特許文献3参照)。
【先行技術文献】
【特許文献】
【0005】
【特許文献1】特許第3669218号公報
【特許文献2】特許第2870372号公報
【特許文献3】特開2005−339175号公報
【発明の概要】
【発明が解決しようとする課題】
【0006】
しかしながら、上記第1の従来の認識装置では、走行に伴って頭上を通過するような標識を認識することが前提となっているため、認識対象とする領域が画像上部の帯状領域に固定されており、車両の横を通過する道路標識を認識する場合のように、任意の範囲での高精度な認識は困難であるという問題があった。また、帯状の認識領域の全体を常に画像認識する必要があるため、処理負担が重くなるという問題があった。
【0007】
上記第2の従来の認識装置は、現在の情報に基づいて画像切出し範囲を予測しているだけであり、車両の位置や方位情報が変化した場合には有効な画像切出し範囲が得られず、正確に物体を認識することが困難になるという問題があった。また、上記第2の従来の認識装置は、認識の対象となる画像について、常に物体の認識処理を行っているため、処理負担が重くなるという問題があった。上記第3の従来の認識装置は、カメラとは別にレーダ装置などの検知手段が必要になり、装置が複雑化してコストも高くなるという問題があった。
【0008】
本発明は、上記従来の問題を解決するためになされたもので、標識認識の処理を効率的に行うことができる標識認識装置を提供することを目的とする。
【課題を解決するための手段】
【0009】
本発明の標識認識装置は、移動体の前方を撮像した画像から標識を認識する標識認識装置であって、前記画像内の第1の認識エリアにおいて、第1の認識レベルで標識を認識する第1の標識認識手段と、前記画像内の前記第1の認識エリアとは異なる第2の認識エリアにおいて、前記第1の認識レベルより高い第2の認識レベルで標識を認識する第2の標識認識手段とを備えた構成を有している。
【0010】
この構成により、複数の認識エリアについて、それぞれ異なる認識レベルで標識を認識するので、画像内で高い認識レベルが必要とされない部分の認識レベルを落とすことで、全体として標識認識の処理の効率を向上できる。
【0011】
上記の標識認識装置において、前記第1の認識エリアは、標識の存在を認識するための標識存在認識エリアであり、前記第2の認識エリアは、標識の内容を認識するための標識内容認識エリアであり、前記第1の標識認識手段は、前記標識存在認識エリアにおいて標識の存在を認識し、前記第2の標識認識手段は、前記標識内容認識エリアにおいて標識の内容を認識する。
【0012】
この構成により、画像内で標識の存在が認識できればよいエリアについては、認識レベルを低くして標識の存在のみを認識し、画像内で標識の内容が確認できるエリアについて、高い認識レベルで標識の内容までも認識するので、標識の内容が認識できないエリアについて高い認識レベルで標識の内容を認識することによる処理負担をなくすことができる。
【0013】
上記の標識認識装置は、前記第1の標識認識手段による認識結果を利用して、前記第2の認識エリア内の探索エリアを指定する探索エリア指定手段をさらに備え、前記第2の標識認識手段は、前記探索エリアにおいて標識を認識する。
【0014】
この構成により、第2の認識エリア(標識内容認識エリア)内の一部エリア(探索エリア)について、認識レベルの高い内容認識を行うので、標識が存在しないエリアで内容認識を行うことによる処理負担の増大を回避できる。また、探索エリアは、標識存在認識の結果に基づいて決定するので、探索エリアを指定するのにレーダ装置等の検出装置を別途備える必要がない。
【0015】
上記の標識認識装置において、前記探索エリア指定手段は、前記第1の標識認識手段による認識結果及び移動体の走行状況に基づいて前記探索エリアを指定する。
【0016】
この構成により、第1の標識認識手段による認識結果のみではなく、移動体の走行状況にも基づいて探索エリアが指定されるので、探索エリアをより適切に指定できる。
【0017】
上記の標識認識装置は、前記第1の標識認識手段にて認識された標識が前記第2の認識エリアに出現するタイミングを推定するタイミング推定手段をさらに備え、前記第2の標識認識手段は、前記タイミング推定手段が推定したタイミングで標識の認識を開始する。
【0018】
この構成により、認識レベルの高い認識が有効な場合のみ認識レベルの高い標識内容認識処理を行うので、標識の内容が認識できないときに標識内容を認識することによる処理負担をなくすことができる。また、認識レベルの高い認識を開始するタイミングは、第1の標識認識手段(標識存在認識手段)認識結果に基づいて決定するので、レーダ装置等の検出装置を別途備えなくてもそのタイミングを推定できる。
【0019】
上記の標識認識装置は、前記第1の認識エリア及び第2の認識エリアの少なくとも一方を動的に設定する認識エリア設定手段をさらに備える。
【0020】
この構成により、認識エリアを固定することによる無駄なエリアでの認識処理を回避できる。
【0021】
上記の標識認識装置において、前記認識エリア設定手段は、移動体の走行状況に基づいて前記第1の認識エリア及び/又は前記第2の認識エリアの少なくとも一方を変化させる。
【0022】
画像内で標識が存在するエリアは移動体の走行状況によって変化するところ、この構成によれば、移動体の走行状況に基づいて、適切なエリアを認識エリアとして設定できる。
【0023】
上記の標識認識装置において、前記認識エリア設定手段は、移動体の走行速度に応じて前記第1の認識エリア及び前記第2の認識エリアの少なくとも一方を変化させる。
【0024】
走行速度が速ければ標識は画像の中を速く移動して画像の外に出てしまうため、標識存在認識エリアを大きく設定する必要があり、逆に走行速度が遅い場合には、標識存在認識エリアを小さく設定しても十分に標識の存在の認識ができる。よって、上記の構成により、認識エリア設定部が走行速度に応じて適切な認識エリアを設定することで、確実な標識の存在の認識ができるとともに、無駄な標識の存在の認識処理を省いて処理負担を軽減できる。
【0025】
上記の標識認識装置において、前記認識エリア設定手段は、移動体の舵角に応じて前記第1の認識エリア及び前記第2の認識エリアの少なくとも一方を変化させる。
【0026】
移動体の舵角が前進方向に向いている場合は、標識は移動体の走行に伴って拡大されていくとともに画面の中央から側方に移動する。また、移動体の舵角が右進行方向に向いていると、標識は移動体の走行に伴って画面の右端から現われて、左側に移動するに従って拡大されていく。このように、標識の画像内での移動は舵角によるため、上記の構成のように移動体の舵角に応じて認識エリアを変化させることで、標識の存在及び内容を確実に認識できる。
【0027】
上記の標識認識装置において、前記認識エリア設定手段は、移動体周辺の環境に基づいて前記第1の認識エリア及び前記第2の認識エリアの少なくとも一方を変化させる。
【0028】
この構成によれば、例えば、移動体の周囲が暗い場合には、標識の存在が確認しにくくなるため、認識エリアを大きく設定する等、周辺環境に応じて認識エリアを適切に設定できる。
【0029】
また、本発明の標識認識装置は、移動体に搭載されて標識を認識する標識認識装置であって、移動体の前方を撮影して画像を取得する撮影手段と、前記撮影手段にて得られた画像内に、認識エリアを動的に変化させて設定する認識エリア設定手段と、設定された前記認識エリアにおいて、標識を認識する標識認識手段とを備えた構成を有している。
【0030】
この構成により、認識エリア設定手段にて認識エリアを動的に変化させるので、認識が不要なエリアについて標識認識を行うことによる処理の無駄を省くことができ、標識認識の処理の効率を向上できる。
【0031】
本発明の標識認識方法は、移動体の前方を撮像した画像から標識を認識する標識認識方法であって、前記画像内の第1の認識エリアにおいて、第1の認識レベルで標識を認識する第1の標識認識ステップと、前記画像内の前記第1の認識エリアとは異なる第2の認識エリアにおいて、前記第1の認識レベルより高い第2の認識レベルで標識を認識する第2の標識認識ステップとを含む。
【0032】
この構成により、複数の認識エリアについて、それぞれ異なる認識レベルで標識を認識するので、画像内で高い認識レベルが必要とされない部分の認識レベルを落とすことで、全体として標識認識の処理の効率を向上できる。
【発明の効果】
【0033】
本発明は、複数の認識エリアについて、それぞれ異なる認識レベルで標識を認識するので、標識認識の処理を効率的に行うことができるという効果を有する標識認識装置を提供することができるものである。
【図面の簡単な説明】
【0034】
【図1】本発明の第1の実施の形態の標識認識装置の構成を示すブロック図
【図2】本発明の第1の実施の形態における画像内に設定される標識存在認識エリア及び標識内容認識エリアを示す図
【図3】本発明の第1の実施の形態における複数の探索エリアを示す図
【図4】本発明の第1の実施の形態の標識認識装置の動作を示すフロー図
【図5】本発明の第1の実施の形態の標識認識装置を搭載した車両の斜視図
【図6】本発明の第2の実施の形態の標識認識装置の動作を示すフロー図
【図7】本発明の第3の実施の形態の標識認識装置の動作を示すフロー図
【図8】本発明の第4の実施の形態の標識認識装置の構成を示すブロック図
【図9】(a)直進時の標識存在認識エリア及び標識内容認識エリアのエリアデータを示す図 (b)右折時の識存在認識エリア及び標識内容認識エリアのエリアデータを示す図 (c)(a)の場合よりも速い速度で直進する場合の標識存在認識エリア及び標識内容認識エリアのエリアデータを示す図
【図10】本発明の第4の実施の形態の変形例の標識認識装置の構成を示すブロック図
【図11】本発明の第5の実施の形態において標識が標識内容認識エリアに出現する時刻と位置を推定する方法を説明する図
【図12】本発明の第5の実施の形態において標識が標識内容認識エリアに出現する時刻と位置を推定する動作を示すフロー図
【図13】本発明の第6の実施の形態の標識認識装置の構成を示すブロック図
【発明を実施するための形態】
【0035】
以下、本発明の実施の形態の標識認識装置について、図面を用いて説明する。
(第1の実施の形態)
図1は、本発明の第1の実施の形態の標識認識装置のブロック図である。標識認識装置1は、カメラ10、CAN(Controller Area Network)20、標識認識部30、及び出力部40を備えている。
【0036】
カメラ10は、車両の前方を撮影して撮影画像を取得する。カメラ10のレンズには画角180度の魚眼レンズを採用し、撮像素子にはCCDを採用する。カメラ10は、標識存在認識部31及び標識内容認識部33に接続されており、認識処理のためにこれらの認識部に撮影して取得した画像を送る。CAN20は、車内に設置された各センサの情報を収集する。本実施の形態のCAN20は、少なくとも車両の舵角を検知する舵角センサ及び車両の走行速度を検知する速度センサから、舵角及び走行速度の情報を集める。標識認識部30は、カメラ10で得られた画像から標識を認識してその結果を出力部40に出力する。
【0037】
標識認識部30は、カメラ10で得られた画像内に、標識の存在のみを認識する標識存在認識エリアEA及び標識の内容を認識する標識内容認識エリアCAを設定して、標識存在認識エリアEAでは標識の存在(有無)を検知し、標識内容認識エリアCAでは標識の内容を判別する。即ち、標識認識部30は、標識存在認識エリアEAでは、認識レベルの低い認識を行い、標識内容認識エリアCAでは、認識レベルの高い認識を行う。
【0038】
図2は、画像内に設定される標識存在認識エリアEA及び標識内容認識エリアCAを示す図である。図2に示すように、標識存在認識エリアEAは、画像の中心点Cを中心とする楕円で囲まれた領域である。標識内容認識エリアCAは、標識存在認識エリアEAの楕円と、標識存在認識エリアEAの楕円より大きく、かつ画像の中心点Cを中心とする(標識存在認識エリアEAの楕円と同心の)楕円とで挟まれた扁平ドーナツ状の領域である。
【0039】
一般的に車両が直線状の道路を直進している場合には、画像の中央に写されている被写体は車両から遠い距離に存在し、画像の中央部分の周辺に写されている被写体は車両から近い距離に存在することになる。よって、道路の脇に設置されている標識や、道路の上方に設置されている標識は、車両から遠距離にあるときは画像の中央部分で小さく捕えられ、その解像度は低くなり、車両からの距離が近くなると画像の中央部分の周辺で大きく捕えられ、その解像度が高くなる。
【0040】
本実施の形態では、上述のようにカメラ10のレンズに魚眼レンズを採用している。魚眼レンズは通常レンズに比べて広角範囲を撮像するため、遠距離にある物体は画像の圧縮度合いが強くなる。よって、上記のように遠距離の被写体が画像の中央部分で小さくなり、近距離の被写体が中央部分の周辺で大きくなるという傾向がより強くなる。
【0041】
そこで、本実施の形態では、画面の中央部分の標識存在認識エリアEAでは、認識レベルを低くして、標識の存在のみを認識し、その周辺のドーナツ状の標識内容認識エリアCAでは認識レベルを高くして、標識の具体的な内容を認識する。換言すれば、画面の中央部分で標識の内容認識をしたとしても、標識が小さすぎて内容認識に必要な解像度になっておらず、有効な内容認識ができないため、画像の中央部分では内容認識という認識レベルが高く処理負担の大きい処理は行わないこととしている。さらに、標識の存在認識も内容認識もする必要がない領域(図2では、標識内容認識エリアCAの外側)については、認識処理を行わないこととしている。
【0042】
再び図1を参照して、標識認識部30は、標識存在認識部31、標識位置推定部32、及び標識内容認識部33を備えている。標識認識部30の各構成要素は、演算処理装置、メモリ、記憶装置等のハードウェア構成を備えた装置にてコンピュータプログラムが実行されることで実現される。標識存在認識部31は、カメラ10からカメラ画像を入力し、標識の存在認識を行う。標識存在認識部31は、予め標識存在認識エリアEAの形状を記憶しており、画像内の標識存在認識エリアEAに対して、標識の存在を検知する標識存在認識処理を行う。標識存在認識部31は、予め各種の標識の形状テンプレートを記憶しており、標識存在認識処理では、標識存在認識エリアEAにおいてこの形状テンプレートによるマッチングを行うことで、標識の存在を検知する。標識存在認識部31は、標識存在認識エリアEAに対する認識処理の結果、標識を検知したときは、検知結果及び検知した時刻を標識位置推定部32に出力する。
【0043】
標識位置推定部32は、標識存在認識部31から標識の検知結果及び検知時刻の情報を入力する。また、標識位置推定部32は、CAN20に接続されており、標識存在認識部31から標識の検知結果を入力すると、CAN20からCAN情報を取得する。標識位置推定部32は、標識の検知結果、検知時刻、CAN情報、カメラ10の特性情報等の情報を用いて、検知された標識が標識内容認識エリアCA内に出現する時刻と標識が出現する標識内容認識エリアCA内の位置を推定する。以下、この時刻を推定時刻といい、この位置を推定位置という。
【0044】
具体的には、標識位置推定部32は、まず、画像内の標識の位置、画像内の標識の大きさ、カメラの特性情報(取付け位置、取付角度、レンズ特性等)から、車両に対する標識の相対位置を求める。そして、標識位置推定部32は、その相対位置と車両の走行速度から、そのままの速度で直進した場合に標識が標識内容認識エリアCA内に入る推定時刻と推定位置を求める。なお、この推定時刻を求める標識位置推定部32の機能は、本発明のタイミング推定手段に相当する。本発明のタイミング推定手段は、標識が標識内容認識エリアCAに入る時刻ではなく、標識が標識内容認識エリアCAに入るまでの所要時間を推定して標識内容認識部33に通知してもよい。
【0045】
標識位置推定部32は、標識内容認識エリアCAのうちの推定位置を含む一部領域を、標識内容の認識を行う探索エリアSAとして指定して、推定時刻の情報とともに、標識内容認識部33に出力する。図3は、複数の探索エリアを示す図である。標識位置推定部32には、図3に示すように、標識内容認識エリアCAの部分領域として、予め複数の探索エリアSA1〜SA8が設定されている。標識位置推定部32は、これらの複数の探索エリアの中から、推定位置が属する探索エリアを選択して指定する。推定位置が各探索エリアの境界付近にある場合には、隣り合う2つの探索エリアを指定してもよい。なお、この探索エリアを指定する標識位置推定部32の機能は、本発明の探索エリア指定手段に相当する。
【0046】
なお、図3の例では、標識内容認識エリアCAを複数の小領域に分割することで、複数の探索エリアSA1〜SA8が設定されたが、複数の探索エリアは互いに重なり合うように設定されてもよい。複数の探索エリアが重なり合っている場合は、推定位置をより中心に含む探索エリアが選択される。さらに、隣り合う探索エリアの間に隙間があってもよい。また、例えばカメラの取付け位置により、画像の下部に車両のボンネットが写る場合には、画像の下部には探索エリアを設定しないようにしてもよい。また、探索エリアはその形状を動的に変化させて設定してもよい。探索エリアを動的に設定する場合に、推定位置の周囲10ピクセル分の領域を探索エリアとして設定してよい。
【0047】
標識内容認識部33は、標識位置推定部32から推定時刻及び選択された探索エリアSAの情報を取得し、当該推定時刻になると当該探索エリアSAにて標識内容の認識処理を行う。標識内容認識部33は、認識結果として、標識内容の情報を出力部40に出力する。
【0048】
出力部40は、例えばカーナビゲーションシステムであり、表示装置と音声出力装置を備えている。出力部40は、標識内容認識部33から標識の内容を取得すると、その内容に応じた表示及び音声出力を行う。例えば、標識の内容が「とまれ」であれば、表示装置に「とまれ」と表示するとともに、「一旦停止をしてください」等の音声ガイドを流す。また、標識の内容が「進入禁止」であれば、表示装置に「進入禁止」と表示するとともに、「この先、進入禁止です」等の音声ガイドを流す。
【0049】
以上のように構成された標識認識装置1について、その動作を説明する。図4は、標識認識部30の動作を示すフロー図である。車両が走行を始めて、標識認識部30が起動すると、標識存在認識部31は、標識存在認識エリアEAにおいて標識の存在を検知する処理(標識存在認識処理)を開始し、標識の存在を検知する(ステップS41)。標識存在認識部31は、検知結果及び検知時刻を標識位置推定部32に出力し、標識位置推定部32は、標識存在認識部31から検知結果及び検知時刻を入力すると、CAN20からその時点での走行状況(CAN情報)を取得する(ステップS42)。
【0050】
標識位置推定部32は、検知された標識が標識内容認識エリアCAに出現する時刻と位置を推定する(ステップS43)。この推定処理では、上記のように画像内での標識の位置と大きさから車両に対する標識の相対位置を求めて、推定時刻と推定位置を求める。標識位置推定部32は、推定された位置に基づいて、標識内容認識エリアCA中の探索エリアSAを指定し、当該探索エリアSAを推定時刻とともに標識内容認識部33に通知する(ステップS44)。標識内容認識部33は、標識位置推定部32から取得した推定時刻になると、探索エリアSAにて標識の内容を認識する処理を行う(ステップS45)。その後、標識内容認識部33は、認識結果を出力部40に出力する(ステップS46)。出力部40は、上記で説明したように表示及び音声によって認識結果を出力する。以上、本実施の形態の標識認識装置1の動作を説明した。
【0051】
図5は、本発明の実施の形態の標識認識装置1を搭載した車両の斜視図である。図5に示すように、カメラ10は、車両のバックミラーの裏側、即ち車両前方側に取り付けられている。カメラ10は車両の前方を撮影する。出力部40であるナビゲーションシステムの表示装置は、ダッシュボードの上に取り付けられる。標識認識部30は、ダッシュボードの中に取り付けられる。CAN20は図示しないが、車両の走行速度や車両の舵角を検知すべく、必要な箇所にセンサが設けられ、各センサが制御装置に接続されて構成される。なお、カメラ10はフロントバンパー等に取り付けて車両の前方を撮影するようにしてもよい。また、表示装置はダッシュボードに嵌め込まれてもよい。
【0052】
このような本発明の第1の実施の形態の標識認識装置によれば、画像内の低解像度の箇所(標識存在認識エリアEA)については、標識の存在検知という認識レベルの低い認識を行い、高解像度の箇所(標識内容認識エリアCA)において標識の内容判別という認識レベルの高い認識を行うので、画像全体で標識の内容判別をする場合と比較して、標識内容の認識処理負担を軽減できる。本実施の形態では、さらに、高解像度の箇所のうちの一部領域を探索エリアSAとして限定して標識内容の認識処理を行うので、処理負担をより軽減できる。また、本実施の形態では、車両の走行に伴って画像内で標識が標識内容認識エリアCAに出現する時刻を推定して、当該推定時刻に合わせて標識内容の認識処理を開始するので、常に標識内容の認識処理をする場合と比較して、処理負担を軽減できる。
【0053】
(第2の実施の形態)
次に、本発明の第2の実施の形態の標識認識装置について説明する。第2の実施の形態の標識認識装置の構成は、第1の実施の形態と同じである。第2の実施の形態では、標識認識部の動作が第1の実施の形態と相違する。第1の実施の形態では、標識位置推定部32が、標識が画像内で標識内容認識エリアCAに出現する時刻と位置を推定して、その推定位置に基づく探索エリアSAを推定時刻と共に標識内容認識部33に出力した。そして、標識内容認識部33は、標識位置推定部32から出力された推定時刻まで待って、探索エリアSAで内容認識処理を行った。このような標識認識部の動作は、高速道路を走行している場合など、走行状況があまり変化しない場合に有効である。
【0054】
しかしながら、街中での走行をしている場合など、走行状況が頻繁に変化する場合には、標識が推定どおりに標識内容認識エリアCAに出現しないこともありうる。例えば、最初に標識の存在を検知した後に、ブレーキを掛けたために、推定時刻になっても標識が標識内容認識エリアCAに出現しないことがある。また、最初に標識の存在を検知した後に、ハンドルを切ったために、推定位置にて標識が標識内容認識エリアCAに出現しないことがある。そこで、本実施の形態では、走行状況が変化する場合にも、標識内容認識エリアCAに標識が出現するタイミングで、標識が出現するエリアにて標識内容の認識処理ができるようにする。このために、本実施の形態では、標識位置推定部32は、画像内の標識が標識内容認識エリアCAに出現する直前まで標識検出エリアEA内の標識を追跡し、標識内容認識エリアCAに出現する直前に、そのときの推定位置に対応する探索エリアSAを標識内容認識部33に通知する。標識内容認識部33は、標識位置推定部32から探索エリアSAが通知されると、直ちにその探索エリアSAで標識内容認識処理を開始する。
【0055】
図6は、第2の実施の形態の標識認識部の動作を示すフロー図である。車両が走行を始めて、標識認識部30が起動すると、標識存在認識部31は、標識存在認識エリアEAにおいて標識の存在を検知する処理(標識存在認識処理)を開始し、標識の存在を検知する(ステップS61)。標識存在認識部31は、検知結果及び検知時刻を標識位置推定部32に出力し、標識位置推定部32は、標識存在認識部31から検知結果及び検知時刻を入力すると、CAN20からその時点での走行状況(CAN情報)を取得する(ステップS62)。
【0056】
標識位置推定部32は、検知された標識が標識内容認識エリアCAに出現する時刻と位置を推定する(ステップS63)。続いて、標識位置推定部32は、現在時刻が推定時刻の直前であるか否かを判断する(ステップS64)。ここでは、現在時刻から推定時刻までの時間が1秒以内であれば直前であると判断する。現在時刻が推定時刻の直前でなければ(ステップS64でNO)、ステップS61に戻って、再度標識存在認識処理を行う。現在時刻が推定時刻の直前であれば(ステップS64でYES)、標識位置推定部32は、直前のステップS63での推定処理によって推定された位置に対応する探索エリアSAを指定して標識内容認識部33に通知する(ステップS65)。
【0057】
識内容認識部33は、標識位置推定部32から探索エリアSAの通知を受けると、当該探索エリアSAにて標識の内容を認識する処理を行う(ステップS66)。その後、標識内容認識部33は、認識結果を出力部40に出力する(ステップS67)。
【0058】
なお、上記の実施の形態では、標識位置推定部32は、現在時刻から推定時刻までの時間が1秒以内であれば直前であると判断したが、直前であるか否かの判断は、標識位置推定部32がCAN20から取得した走行速度の情報に基づいて可変としてもよい。この場合、走行速度が速ければ早めに「直前である」と判断し、走行速度が遅ければ推定時刻のぎりぎりまで「直前である」と判断しないようにする。
【0059】
本実施の形態の標識認識装置によれば、街中での走行時のように、走行状況が頻繁に変化する場合にも、標識内容認識エリアCAに標識が出現するタイミングで、標識が出現するエリアにて標識内容認識処理を行える。また、一旦は標識存在認識エリアEAで標識の存在を検知したものの、その後の走行状況の変化により標識が画像内から外れた場合には、不要な標識内容認識処理は行われず、処理負担を軽減できる。
【0060】
(第3の実施の形態)
次に、本発明の第3の実施の形態の標識認識装置について説明する。第3の実施の形態の標識認識装置の構成は、第1の実施の形態と同じである。第3の実施の形態では、標識認識部の動作が第1の実施の形態と相違する。第3の実施の形態も、第2の実施の形態と同様に、走行状況が頻繁に変化する場合にも標識内容認識エリアCAに標識が出現する時刻及び位置を好適に推定できるようにする。
【0061】
上述の第2の実施の形態では、走行状況が変化する場合にも、標識内容認識エリアCAに標識が出現するタイミングで、標識が出現するエリアにて標識内容認識処理できる一方で、標識が標識内容認識エリアに出現する時刻の直前になるまで標識存在認識処理と推定処理を繰り返し行うため、処理量が増加する。第3の実施の形態では、処理量の増加を抑えるようにする。
【0062】
図7は、第3の実施の形態の標識認識装置の動作を示すフロー図である。本実施の形態の標識認識部は、車両が走行を始めて、標識認識部30が起動すると、標識存在認識部31は、標識存在認識エリアEAにおいて標識の存在を検知する処理(標識存在認識処理)を開始し、標識の存在を検知する(ステップS71)。標識存在認識部31は、検知結果及び検知時刻を標識位置推定部32に出力し、標識位置推定部32は、標識存在認識部31から検知結果及び検知時刻を入力すると、CAN20からその時点での走行状況(CAN情報)を取得する(ステップS72)。標識位置推定部32は、検知された標識が標識内容認識エリアCAに出現する時刻と位置を推定する(ステップS73)。ここまでの処理は第1及び第2の実施の形態と同じである。
【0063】
続いて、標識位置推定部32は、現在時刻が推定時刻の直前であるか否かを判断する(ステップS74)。ここでは、現在時刻が推定時刻の1秒以内であれば直前であると判断する。標識位置推定部32は、現在時刻がまだ推定時刻の直前でなければ(ステップS74でNO)、走行状況を取得し、走行状況に変化がなかったかを判断する(ステップS75)。走行状況に変化がない場合には(ステップS75でNO)、直前のステップS73で推定された時刻及び位置が依然として有効であるため、ステップS74に戻る。このループを推定時刻になるか走行状況に変化が発生するまで繰り返す。走行状況に変化が発生すると(ステップS75でYES)、再度標識の存在認識処理及び出現時刻及び位置の推定処理をやり直すべく、ステップS71に戻る。
【0064】
このようにして、推定時刻の直前になった場合には(ステップS74でYES)、標識位置推定部32は、第2の実施の形態と同様に、直前のステップS73での推定処理によって推定された位置に対応する探索エリアSAを指定して標識内容認識部33に通知する(ステップS76)。識内容認識部33は、標識位置推定部32から探索エリアSAの通知を受けると、当該探索エリアSAにて標識の内容を認識する処理を行い(ステップS77)、認識結果を出力部40に出力する(ステップS78)。
【0065】
本実施の形態の標識認識装置によれば、走行状況に変化があった場合には標識の存在認識処理及び出現時刻及び位置の推定処理をし直すので、街中を走行している場合など、頻繁に走行状況が変化する場合に適切に対応できると同時に、高速道路を走行している場合など走行状況があまり変化しない場合の処理負担を軽減できる。
【0066】
なお、第3の実施の形態の標識認識装置の動作は、第1の実施の形態と第2の実施形態の折衷案といえるが、別の形態の標識認識装置は、第1の実施の形態のモードと第2の実施の形態のモードを有し、手動又は自動で両モードを切り替えるようにしてもよい。
【0067】
(第4の実施の形態)
次に、本発明の第4の実施の形態の標識認識装置について説明する。上記の実施の形態では、標識存在認識エリアEA及び標識内容認識エリアCAは固定されていた。本実施の形態では、CAN情報に基づいて、画像内の標識存在認識エリアEAと標識内容認識エリアCAを動的に変化させる。
【0068】
図8は、第4の実施の形態の標識認識装置のブロック図である。本実施の形態の標識認識装置2では、第1の実施の形態と比較して、認識エリア設定部34が追加されている。認識エリア設定部34は、CAN20、標識存在認識部31及び標識位置推定部32に接続されており、CAN情報に基づいて、画像内の標識存在認識エリアEAと標識内容認識エリアCAを動的に変化させる。
【0069】
認識エリア設定部34は、CAN20からCAN情報を取得して、CAN情報に基づいて標識存在認識エリアEAを設定して、標識存在認識部31に標識存在認識エリアEAのエリアデータを出力すると共に、CAN情報に基づいて標識内容認識エリアCAを設定して、標識位置推定部32に標識内容認識エリアCAのエリアデータを出力する。本実施の形態では、認識エリア設定部34は、特にCAN情報のうちの車両の舵角及び車両走行速度の情報を取得して、これらの情報に基づいて標識存在認識エリアEA及び標識内容認識エリアCAを設定する。
【0070】
図9は、認識エリアデータベースからの出力される標識存在認識エリアEA及び標識内容認識エリアCAのエリアデータを示す図であり、図9(a)は、直進時のエリアデータを示し、図9(b)は、右折時のエリアデータを示し、図9(c)は、図9(a)の場合よりも速い速度で直進する場合のエリアデータを示している。
【0071】
標識存在認識エリアEAのエリアデータは、画像の中心を原点(0,0)として、一般的に式(1)で表わされる。
【数1】
標識存在認識エリアEAは、点(p0,q0)を中心として、x軸方向の径(長径)の長さが2a0で、y軸方向の径(短径)の長さが2b0である楕円の内部として表現される。
【0072】
標識内容認識エリアCAのエリアデータは、画像の中心を原点(0,0)として、一般的に式(2)及び(3)で表わされる。
【数2】
【数3】
標識内容認識エリアCAは、点(p0,q0)を中心として、x軸方向の径(長径)の長さが2a0で、y軸方向の径(短径)の長さが2b0である楕円の外部であって、かつ点(p1,q1)を中心として、x軸方向の径(長径)の長さが2a1で、y軸方向の径(短径)の長さが2b1である楕円の内部として表現される。
【0073】
認識エリア設定部34は、上記の式(1)〜(3)を記憶しており、CAN20から取得したCAN情報に基づいて、それらの式のパラメータa0,b0,p0,q0,a1,b1,p1,q1を決定して、式(1)を標識存在認識エリアEAのエリアデータとして標識存在認識部31に出力し、式(2)及び(3)を標識内容認識エリアCAのエリアデータとして標識位置推定部32に出力する。以下、パラメータの決定方法について説明する。
【0074】
まず、車両が直線状の道路を直進している場合、すなわち、舵角が小さい場合は、既に説明したとおり、通常は道路が前方に伸びていることが考えられる。従って、画像内の中央部分では被写体までの距離が遠く、解像度が低くなり、画像内の中央部分の周辺では被写体までの距離が近く、解像度が高くなる。画像内の被写体は、車両の走行に伴って画像の中央から徐々に画像の周辺に向けて移動することになる。よって、解像度の低い画像の中央部分に認識レベルの低い標識存在認識エリアEAを設定し、解像度の高い画像内の中央部周辺に認識レベルの高い標識内容認識エリアCAを設定する。即ち、舵角が小さい場合には、標識存在認識エリアEA及び標識内容認識エリアCAを画定する二つの楕円の中心を画像の中央部分にする。具体的には、直進をしている場合、即ち舵角が小さい場合には、図9(a)に示すように、上記の式(1)〜(3)におけるパラメータ(p0,q0),(p1,q1)を原点(0,0)に近くする。この場合、長軸と短軸の比2a0:2b0,2a1:2b1は、カメラ10で取得される画像の縦横比と同程度にすればよく、例えば、1:0.65〜1:0.75程度にする。
【0075】
次に、舵角に応じた標識存在認識エリアEA及び標識内容認識エリアCAの動的な設定について説明する。例えばハンドルが右に切られて舵角が大きくなると、右折の場合には、車両の右折走行に伴って、画像の右端から新たな被写体が出現し、画像の左端に移動していくことになる。よって、この場合は、図9(b)に示すように、標識存在認識エリアEAを右に寄せて、標識内容認識エリアCAも右に寄せる。具体的には、ハンドルが右に切られて舵角が大きくなると、パラメータp0,p1の値を大きくする。また、これと同時に、楕円の形状も縦長になるように変形させる。即ち、式(1)〜(3)のa0,a1の値を小さくすると共に、b0,b1の値を大きくして、それぞれa0,a1の値より大きくする。
【0076】
なお、このとき、パラメータp0,p1,a0,a1は、生成される楕円が画面の縁に掛からないような範囲で設定されてもよいし、楕円が画面の縁からはみ出るように設定されてもよい。前者の場合は、画面の縁のx座標値をxmaxとすると、式(4)、(5)を満たす範囲内で設定される。
【数4】
【数5】
なお、ハンドルが左に切られた場合は、標識存在認識エリアEA及び標識内容認識エリアCAを左のほうに設定する。具体的な方法は右折の場合と同様である。
【0077】
次に、走行速度に応じた標識存在認識エリアEA及び標識内容認識エリアCAの動的な設定について説明する。車両の走行速度が速くなると、標識の存在認識が困難になる。そこで、走行速度が上がるに従って、図9(c)に示すように、標識存在認識エリアEAの楕円を大きくする。これに応じて、標識内容認識エリアCAの楕円も大きくする。具体的には、上記式(1)及び式(2)におけるパラメータa0,b0の値を大きくするとともに、上記式(3)のパラメータa1,b1の値も大きくする。
【0078】
上記では、各パラメータを舵角や走行速度に対応させて連続的に変化させる例を説明したが、各パラメータを段階的に変化させてもよい。図10は、各パラメータを段階的に変化させる場合の標識認識装置の構成を示すブロック図である。標識認識装置3の標識認識部30は、認識エリアデータベース35を備えている。この認識エリアデータベースには、走行速度が30km/hごとに区分され、舵角が2度ごとに区分され、走行速度及び舵角の各区分の組合せごとにパラメータa0,b0,p0,q0,a1,b1,p1,q1の組が記憶されている。
【0079】
認識エリア設定部34は、CAN20から取得した走行速度が属する区分とCAN20から取得した舵角が属する区分との組合せに対応するパラメータa0,b0,p0,q0,a1,b1,p1,q1の組を認識エリアデータベース35から選択して、標識存在認識エリアEA及び標識内容認識エリアCAを設定する。
【0080】
本実施の形態の標識認識装置では、標識存在認識エリアEA及び標識内容認識エリアCAを舵角及び走行速度に応じて動的に変化させるので、各種の走行状況に応じた適切な認識エリア設定が可能になる。これより、画像全体で標識内容の認識を行うことを回避して処理負担を軽減できるとともに、走行状況が変化した場合にも標識内容の認識を確実に行うことができる。なお、ギアが後退に入っている場合は、前進の場合とは逆に、存在認識エリアと内容認識エリアの位置を入れ替えてもよい。
【0081】
(第5の実施の形態)
次に、本発明の第5の実施の形態の標識認識装置について説明する。第5の実施の形態の標識認識装置の構成は、第1の実施の形態と同じである。第5の実施の形態では、標識内容認識エリアCAに標識が出現する時刻及び位置を推定する方法が、第1の実施の形態と相違する。第1の実施の形態では、標識位置推定部32は、検知された標識の画像内での位置と大きさに基づいて、車両に対する当該標識の相対位置を求めて、さらにこの相対位置と走行速度に基づいて、標識が標識内容認識エリアCAに出現する時刻及び位置を推定した。本実施の形態では、画像内の標識位置の履歴に基づいて、標識が将来どのように画像内を移動するかを予測して、標識が標識内容認識エリアCAに出現する時刻及び位置を推定する。
【0082】
図11は、本実施の形態において、標識が標識内容認識エリアCAに出現する時刻と位置を推定する方法を説明する図である。標識存在認識部31は、時刻t1に標識存在認識エリアEAにて標識の存在を検知すると、その標識の画像内での位置を標識位置推定部32に出力する。次の時刻t2に再度標識の存在を検知して、同様にその標識の画像内での位置を出力する。次の時刻t3においても同様に検知した標識の画像内での位置を出力する。標識位置推定部32は、3つの時刻でそれぞれ標識の位置を取得すると、時刻t1,t2,t3及びそれぞれの時刻における画像内での標識の位置に基づいて、この標識が画像内で標識内容認識エリアCAに出現する時刻tx及びその位置を推定する。
【0083】
図12は、本実施の形態において、標識が標識内容認識エリアCAに出現する時刻と位置を推定する動作を示すフロー図である。図12のフロー図は、第1の実施の形態のフロー図のステップS41〜ステップS43に相当する。標識存在認識部31は、標識存在認識エリアEAにて標識の存在を検知すると(ステップS121)、そのときの時刻及び標識の画像内での位置を標識位置推定部32に出力する(ステップS122)。その後、標識存在認識部31は、所定の時間内に標識を3回検知しているかを判断し(ステップS123)、すでに3回検知しているときは(ステップS123でYES)、3回分の検知結果に基づいて、標識が画像内で標識内容認識エリアCAに出現する時刻tx及びその位置を推定する(ステップS124)。まだ3回検知していないときは(ステップS123でNO)、ステップS121に戻って標識存在認識エリアEAで標識の存在を検知する。
【0084】
本実施の形態の標識認識装置によれば、CAN情報によらずに、画像情報と時刻の情報のみで、標識が標識内容認識エリアCAに出現する時刻及び位置を推定できるので、CANを備えていない車両にも適用できるという利点がある。なお、図12のフローは、第2の実施の形態のフロー図のステップS71〜ステップS73にも適用できる。
【0085】
なお、上記の実施の形態では、3回分の標識の検知結果を利用して、その標識の標識内容認識エリアCAでの出現時刻及び出現位置を推定したが、2回分又は4回分以上の標識の存在の検知結果を利用して出現時刻及び出現位置を推定してもよい。
【0086】
(第6の実施の形態)
次に、本発明の第6の実施の形態の標識認識装置について説明する。第6の実施の形態では、標識内容認識エリアCAに標識が出現する時刻及び位置を推定する方法が、第1の実施の形態及び第5の実施の形態と相違する。図13は、第6の実施の形態の標識認識装置の構成を示すブロック図である。本実施の形態の標識認識装置4は、推定データベース36を備えている。その他の構成は、第1の実施の形態の標識認識装置1と同様である。
【0087】
標識位置推定部32は、CAN20、標識存在認識部31及び推定データベース36に接続されている。標識位置推定部32は、標識存在認識部31が標識存在認識エリアEAで標識の存在を検知すると、標識存在認識部31から検知された標識の画像内での位置を取得し、CAN20からCAN情報(ここでは、走行速度及び舵角)を取得する。推定データベース36には、標識の画像内での位置と大きさ及びCAN情報の組み合わせに対応して、標識が標識内容認識エリアCAに出現する時刻及び位置が記憶されている。このデータベースは、実験などであらかじめ作成しておくことができる。
【0088】
標識位置推定部32は、推定データベース36を参照して、認識エリア設定部34から取得した標識の画像内での位置及びCAN情報の組み合わせに対応する出現時刻及び出現位置を取得する。標識位置推定部32は、推定データベース36から取得した出現位置に基づいて、探索エリアSAを指定する。
【0089】
本実施の形態の標識認識装置によれば、推定データベース36を参照するだけで、標識が標識認識エリアCAに出現する時刻及び位置の情報を得ることができるので、演算処理の負担が軽くなる。
【0090】
(変形例)
上記の実施の形態では、標識存在認識部31が、形状テンプレートを用いたマッピングにより標識存在認識エリアEAにおいて標識の存在を検知したが、標識の存在を検知する方法はこれに限られない。例えば、カメラ10が撮影して得られた画像に対してHough変換を行って、直線や円を抽出した後に、形状テンプレートによるマッチングを行って標識の存在を検知してもよい。また、画像内の色情報を用いて標識を抽出することで、標識の存在を検知してもよい。
【0091】
上記の実施の形態では、標識内容認識部33は、標識テンプレートを用いたマッピングによって、標識内容を認識したが、標識内容を認識する方法はこれに限られない。例えば、自己組織化マップを利用してクラスタリングを行って標識を分類することで、標識の内容を認識してもよい。
【0092】
上記の実施の形態では、画像に標識存在認識エリアEA及び標識内容認識エリアCAという認識レベルの異なる2つの認識エリアを設定して、かつ標識の認識をしないエリア(標識内容認識エリアCAの外側のエリア)を設けたが、エリアの設定方法はこれに限られない。例えば、存在候補を抽出するエリア、存在を確認するエリア、及び内容を認識するエリアという認識レベルの異なる3つの認識エリアを設定してもよい。また、直進時には画像の中央にきわめて近い領域は解像度が極めて低くなり、標識の存在すら検知できないことも考えられる。よって、標識存在認識エリアEAの中央部に認識をしないエリアを設けて、標識存在認識エリアEAをドーナツ状のエリアとしてもよい。さらに、上記の実施の形態では、標識存在認識エリアEAと標識内容認識エリアCAとが連続していたが、両エリアの間に標識の認識をしないエリアがあってもよい。また、上記の実施の形態では、標識存在認識エリアEAの外側に標識内容認識エリアCAを設けたが、標識存在認識エリアEAと標識内容認識エリアCAとが重なっていてもよい。
【0093】
上記の実施の形態では、認識エリアを楕円形状としたが、認識エリアの形状はこれに限られない。認識エリアは、円、三角形や四角形などの多角形、閉曲線で囲まれる領域であってよい。また、道路の脇に設置されている標識のみ認識する場合には、三日月状の標識内容認識エリアCAを画面中央部の標識存在認識エリアEAの左右に設定してもよい。なお、実施の形態で認識エリアを楕円形状としたのは、カメラ画像として得られる画像が魚眼カメラによる円形画像の場合には実施の形態で示したようにエリア形状として楕円を用いるのが好適であるからである。通常のカメラを用いる場合には、認識エリアは四角形が好適である。また、カメラの特性や取り付け位置や角度に応じてエリア形状を設定してよい。例えば、カメラの画角内に障害物(ボンネットやシールなど)が写りこんでいることが分かっている場合には、該当箇所を含まないようエリアを設定してよい。
【0094】
上記の実施の形態では、標識内容認識エリアCA内の探索エリアSAを指定して、探索エリアSAにて標識内容を認識したが、探索エリアSAの指定を省略して標識内容認識エリアCA全体で標識内容を認識してもよい。この場合は、探索エリアSAのみについて標識内容を認識する場合と比較すると処理負担が増えることになるが、画面全体で標識内容を認識する場合よりも処理負担は軽くなる。
【0095】
上記の実施の形態では、標識が画像内で標識内容認識エリアCAに出現する時刻を推定して、この時刻に探索エリアSAで標識の内容を認識するようにしたが、常に標識内容を認識してもよい。
【0096】
上記の実施の形態では、走行状況に基づいて認識エリアの形状を動的に設定したが、認識エリアを動的に設定する際に考慮される事項は、走行状況には限られない。例えば、カメラの特性(例えば歪み、解像度等)、カメラの認識特性、カメラの取付け位置等を考慮して認識エリアを変更してもよい。また、例えば、車両周辺の明度等、車両周辺の環境に応じて認識エリアを変更してもよい。この場合、例えば車両周辺が暗いときには標識存在認識エリアEA及び標識内容認識エリアCAを大きくする。さらに、自車両の位置にもとづいて地図データベースなどから取得した道路状況に基づいて認識エリアを変更してもよい。例えば、車両が下り坂を走行しており、その先に上り坂がある場合には、標識存在認識エリアEAを画面内の上方に移動してよい。この場合、具体的には、上記式(1)〜(3)のq0,q1を増加させる。また、上記の実施の形態では、標識存在認識エリアEA及び標識内容認識エリアCAをいずれも動的に変更したが、いずれか一方の認識エリアのみを変更し、他方の認識エリアは固定としてもよい。
【0097】
上記の実施の形態では、出力部40は、ナビゲーションシステムであり、表示装置と音声出力装置を備えていたが、出力部40の形態はこれに限られない。出力部40は、例えばブレーキ制御装置であって、「とまれ」の標識を認識した場合に、自動的にブレーキをかけるようにしてもよい。
【0098】
本発明の実施の形態の標識認識装置は、運転履歴を映像及びCAN情報とともに記録するドライビングレコーダの機能を有していてもよい。この場合に、標識認識装置によって認識した標識の情報を運転履歴の一部として記録してもよい。
【0099】
また、上記の実施の形態では、本発明の標識認識装置を車両に搭載されて走行または運転する場合の標識認識装置として説明したが、本発明の標識認識装置は、車両ではなく、電車、オートバイまたは移動型ロボットなどその他の移動体にも適用可能である。
【0100】
以上、本発明の実施の形態を例示により説明したが、本発明の範囲はこれらに限定されるものではなく、請求項に記載された範囲内において目的に応じて変更・変形することが可能である。
【産業上の利用可能性】
【0101】
以上のように、本発明にかかる標識認識装置は、標識認識の処理の効率を向上できるという効果を有し、移動体に搭載されて標識を認識する標識認識装置等として有用である。
【符号の説明】
【0102】
1、2、3、4 標識認識装置
10 カメラ
20 CAN
30 標識認識部
31 標識存在認識部
32 標識位置推定部
33 標識内容認識部
34 認識エリア設定部
35 認識エリアデータベース
36 推定データベース
40 出力部
【技術分野】
【0001】
本発明は、車両等の移動体に搭載されて標識を認識する標識認識装置に関するものである。
【背景技術】
【0002】
従来より、車載カメラによって得られた連続的な画像から対象物を認識する認識装置が知られている。かかる認識装置において、車載カメラが撮影する画像は車両の走行とともに時々刻々と変化する。従って、画像のフレームレートが高くなり、また、車載カメラの画素数が大きくなるほど、認識装置における認識処理の負担が増加する。また、認識装置において、認識のレベルを高くするほど処理負担が増加する。よって、認識装置については、画像から対象物を効率よく認識することが望まれている。このために、車載カメラによって得られた画像から対象物を認識する際に、画像全体について対象物の認識をするのではなく、特定の部分のみについて対象物の認識をすることで、対象物認識の効率化を図ることが提案されている。
【0003】
第1の従来の認識装置は、ビデオカメラで撮影して得られた動画フレームの一部を間引いて対象物の認識を行うことで認識処理の効率化を図るとともに、標識が撮影されている場合は、認識領域を画像内の一部の領域に限定した上で、当該画像を間引かないようにしている(例えば特許文献1参照)。この装置では、対象物である標識が高精度に撮影される画像上部の帯状領域を認識領域としている。即ち、高速道路の標識のように、頭上を通過する標識については、この帯状領域にて標識が最も鮮明に撮影されることから、この領域を限定的な認識領域としている。
【0004】
また、第2の従来の認識装置は、車両の位置情報と方位情報に基づいて、車載カメラで撮像された画像において認識対象の物体が含まれると推定される画像部分を画像切出し範囲として切り出して、当該切り出し範囲内に含まれる物体を画像認識している(例えば特許文献2参照)。また、第3の従来の認識装置では、認識すべき領域をレーダ装置の検知結果に基づいて限定している(例えば特許文献3参照)。
【先行技術文献】
【特許文献】
【0005】
【特許文献1】特許第3669218号公報
【特許文献2】特許第2870372号公報
【特許文献3】特開2005−339175号公報
【発明の概要】
【発明が解決しようとする課題】
【0006】
しかしながら、上記第1の従来の認識装置では、走行に伴って頭上を通過するような標識を認識することが前提となっているため、認識対象とする領域が画像上部の帯状領域に固定されており、車両の横を通過する道路標識を認識する場合のように、任意の範囲での高精度な認識は困難であるという問題があった。また、帯状の認識領域の全体を常に画像認識する必要があるため、処理負担が重くなるという問題があった。
【0007】
上記第2の従来の認識装置は、現在の情報に基づいて画像切出し範囲を予測しているだけであり、車両の位置や方位情報が変化した場合には有効な画像切出し範囲が得られず、正確に物体を認識することが困難になるという問題があった。また、上記第2の従来の認識装置は、認識の対象となる画像について、常に物体の認識処理を行っているため、処理負担が重くなるという問題があった。上記第3の従来の認識装置は、カメラとは別にレーダ装置などの検知手段が必要になり、装置が複雑化してコストも高くなるという問題があった。
【0008】
本発明は、上記従来の問題を解決するためになされたもので、標識認識の処理を効率的に行うことができる標識認識装置を提供することを目的とする。
【課題を解決するための手段】
【0009】
本発明の標識認識装置は、移動体の前方を撮像した画像から標識を認識する標識認識装置であって、前記画像内の第1の認識エリアにおいて、第1の認識レベルで標識を認識する第1の標識認識手段と、前記画像内の前記第1の認識エリアとは異なる第2の認識エリアにおいて、前記第1の認識レベルより高い第2の認識レベルで標識を認識する第2の標識認識手段とを備えた構成を有している。
【0010】
この構成により、複数の認識エリアについて、それぞれ異なる認識レベルで標識を認識するので、画像内で高い認識レベルが必要とされない部分の認識レベルを落とすことで、全体として標識認識の処理の効率を向上できる。
【0011】
上記の標識認識装置において、前記第1の認識エリアは、標識の存在を認識するための標識存在認識エリアであり、前記第2の認識エリアは、標識の内容を認識するための標識内容認識エリアであり、前記第1の標識認識手段は、前記標識存在認識エリアにおいて標識の存在を認識し、前記第2の標識認識手段は、前記標識内容認識エリアにおいて標識の内容を認識する。
【0012】
この構成により、画像内で標識の存在が認識できればよいエリアについては、認識レベルを低くして標識の存在のみを認識し、画像内で標識の内容が確認できるエリアについて、高い認識レベルで標識の内容までも認識するので、標識の内容が認識できないエリアについて高い認識レベルで標識の内容を認識することによる処理負担をなくすことができる。
【0013】
上記の標識認識装置は、前記第1の標識認識手段による認識結果を利用して、前記第2の認識エリア内の探索エリアを指定する探索エリア指定手段をさらに備え、前記第2の標識認識手段は、前記探索エリアにおいて標識を認識する。
【0014】
この構成により、第2の認識エリア(標識内容認識エリア)内の一部エリア(探索エリア)について、認識レベルの高い内容認識を行うので、標識が存在しないエリアで内容認識を行うことによる処理負担の増大を回避できる。また、探索エリアは、標識存在認識の結果に基づいて決定するので、探索エリアを指定するのにレーダ装置等の検出装置を別途備える必要がない。
【0015】
上記の標識認識装置において、前記探索エリア指定手段は、前記第1の標識認識手段による認識結果及び移動体の走行状況に基づいて前記探索エリアを指定する。
【0016】
この構成により、第1の標識認識手段による認識結果のみではなく、移動体の走行状況にも基づいて探索エリアが指定されるので、探索エリアをより適切に指定できる。
【0017】
上記の標識認識装置は、前記第1の標識認識手段にて認識された標識が前記第2の認識エリアに出現するタイミングを推定するタイミング推定手段をさらに備え、前記第2の標識認識手段は、前記タイミング推定手段が推定したタイミングで標識の認識を開始する。
【0018】
この構成により、認識レベルの高い認識が有効な場合のみ認識レベルの高い標識内容認識処理を行うので、標識の内容が認識できないときに標識内容を認識することによる処理負担をなくすことができる。また、認識レベルの高い認識を開始するタイミングは、第1の標識認識手段(標識存在認識手段)認識結果に基づいて決定するので、レーダ装置等の検出装置を別途備えなくてもそのタイミングを推定できる。
【0019】
上記の標識認識装置は、前記第1の認識エリア及び第2の認識エリアの少なくとも一方を動的に設定する認識エリア設定手段をさらに備える。
【0020】
この構成により、認識エリアを固定することによる無駄なエリアでの認識処理を回避できる。
【0021】
上記の標識認識装置において、前記認識エリア設定手段は、移動体の走行状況に基づいて前記第1の認識エリア及び/又は前記第2の認識エリアの少なくとも一方を変化させる。
【0022】
画像内で標識が存在するエリアは移動体の走行状況によって変化するところ、この構成によれば、移動体の走行状況に基づいて、適切なエリアを認識エリアとして設定できる。
【0023】
上記の標識認識装置において、前記認識エリア設定手段は、移動体の走行速度に応じて前記第1の認識エリア及び前記第2の認識エリアの少なくとも一方を変化させる。
【0024】
走行速度が速ければ標識は画像の中を速く移動して画像の外に出てしまうため、標識存在認識エリアを大きく設定する必要があり、逆に走行速度が遅い場合には、標識存在認識エリアを小さく設定しても十分に標識の存在の認識ができる。よって、上記の構成により、認識エリア設定部が走行速度に応じて適切な認識エリアを設定することで、確実な標識の存在の認識ができるとともに、無駄な標識の存在の認識処理を省いて処理負担を軽減できる。
【0025】
上記の標識認識装置において、前記認識エリア設定手段は、移動体の舵角に応じて前記第1の認識エリア及び前記第2の認識エリアの少なくとも一方を変化させる。
【0026】
移動体の舵角が前進方向に向いている場合は、標識は移動体の走行に伴って拡大されていくとともに画面の中央から側方に移動する。また、移動体の舵角が右進行方向に向いていると、標識は移動体の走行に伴って画面の右端から現われて、左側に移動するに従って拡大されていく。このように、標識の画像内での移動は舵角によるため、上記の構成のように移動体の舵角に応じて認識エリアを変化させることで、標識の存在及び内容を確実に認識できる。
【0027】
上記の標識認識装置において、前記認識エリア設定手段は、移動体周辺の環境に基づいて前記第1の認識エリア及び前記第2の認識エリアの少なくとも一方を変化させる。
【0028】
この構成によれば、例えば、移動体の周囲が暗い場合には、標識の存在が確認しにくくなるため、認識エリアを大きく設定する等、周辺環境に応じて認識エリアを適切に設定できる。
【0029】
また、本発明の標識認識装置は、移動体に搭載されて標識を認識する標識認識装置であって、移動体の前方を撮影して画像を取得する撮影手段と、前記撮影手段にて得られた画像内に、認識エリアを動的に変化させて設定する認識エリア設定手段と、設定された前記認識エリアにおいて、標識を認識する標識認識手段とを備えた構成を有している。
【0030】
この構成により、認識エリア設定手段にて認識エリアを動的に変化させるので、認識が不要なエリアについて標識認識を行うことによる処理の無駄を省くことができ、標識認識の処理の効率を向上できる。
【0031】
本発明の標識認識方法は、移動体の前方を撮像した画像から標識を認識する標識認識方法であって、前記画像内の第1の認識エリアにおいて、第1の認識レベルで標識を認識する第1の標識認識ステップと、前記画像内の前記第1の認識エリアとは異なる第2の認識エリアにおいて、前記第1の認識レベルより高い第2の認識レベルで標識を認識する第2の標識認識ステップとを含む。
【0032】
この構成により、複数の認識エリアについて、それぞれ異なる認識レベルで標識を認識するので、画像内で高い認識レベルが必要とされない部分の認識レベルを落とすことで、全体として標識認識の処理の効率を向上できる。
【発明の効果】
【0033】
本発明は、複数の認識エリアについて、それぞれ異なる認識レベルで標識を認識するので、標識認識の処理を効率的に行うことができるという効果を有する標識認識装置を提供することができるものである。
【図面の簡単な説明】
【0034】
【図1】本発明の第1の実施の形態の標識認識装置の構成を示すブロック図
【図2】本発明の第1の実施の形態における画像内に設定される標識存在認識エリア及び標識内容認識エリアを示す図
【図3】本発明の第1の実施の形態における複数の探索エリアを示す図
【図4】本発明の第1の実施の形態の標識認識装置の動作を示すフロー図
【図5】本発明の第1の実施の形態の標識認識装置を搭載した車両の斜視図
【図6】本発明の第2の実施の形態の標識認識装置の動作を示すフロー図
【図7】本発明の第3の実施の形態の標識認識装置の動作を示すフロー図
【図8】本発明の第4の実施の形態の標識認識装置の構成を示すブロック図
【図9】(a)直進時の標識存在認識エリア及び標識内容認識エリアのエリアデータを示す図 (b)右折時の識存在認識エリア及び標識内容認識エリアのエリアデータを示す図 (c)(a)の場合よりも速い速度で直進する場合の標識存在認識エリア及び標識内容認識エリアのエリアデータを示す図
【図10】本発明の第4の実施の形態の変形例の標識認識装置の構成を示すブロック図
【図11】本発明の第5の実施の形態において標識が標識内容認識エリアに出現する時刻と位置を推定する方法を説明する図
【図12】本発明の第5の実施の形態において標識が標識内容認識エリアに出現する時刻と位置を推定する動作を示すフロー図
【図13】本発明の第6の実施の形態の標識認識装置の構成を示すブロック図
【発明を実施するための形態】
【0035】
以下、本発明の実施の形態の標識認識装置について、図面を用いて説明する。
(第1の実施の形態)
図1は、本発明の第1の実施の形態の標識認識装置のブロック図である。標識認識装置1は、カメラ10、CAN(Controller Area Network)20、標識認識部30、及び出力部40を備えている。
【0036】
カメラ10は、車両の前方を撮影して撮影画像を取得する。カメラ10のレンズには画角180度の魚眼レンズを採用し、撮像素子にはCCDを採用する。カメラ10は、標識存在認識部31及び標識内容認識部33に接続されており、認識処理のためにこれらの認識部に撮影して取得した画像を送る。CAN20は、車内に設置された各センサの情報を収集する。本実施の形態のCAN20は、少なくとも車両の舵角を検知する舵角センサ及び車両の走行速度を検知する速度センサから、舵角及び走行速度の情報を集める。標識認識部30は、カメラ10で得られた画像から標識を認識してその結果を出力部40に出力する。
【0037】
標識認識部30は、カメラ10で得られた画像内に、標識の存在のみを認識する標識存在認識エリアEA及び標識の内容を認識する標識内容認識エリアCAを設定して、標識存在認識エリアEAでは標識の存在(有無)を検知し、標識内容認識エリアCAでは標識の内容を判別する。即ち、標識認識部30は、標識存在認識エリアEAでは、認識レベルの低い認識を行い、標識内容認識エリアCAでは、認識レベルの高い認識を行う。
【0038】
図2は、画像内に設定される標識存在認識エリアEA及び標識内容認識エリアCAを示す図である。図2に示すように、標識存在認識エリアEAは、画像の中心点Cを中心とする楕円で囲まれた領域である。標識内容認識エリアCAは、標識存在認識エリアEAの楕円と、標識存在認識エリアEAの楕円より大きく、かつ画像の中心点Cを中心とする(標識存在認識エリアEAの楕円と同心の)楕円とで挟まれた扁平ドーナツ状の領域である。
【0039】
一般的に車両が直線状の道路を直進している場合には、画像の中央に写されている被写体は車両から遠い距離に存在し、画像の中央部分の周辺に写されている被写体は車両から近い距離に存在することになる。よって、道路の脇に設置されている標識や、道路の上方に設置されている標識は、車両から遠距離にあるときは画像の中央部分で小さく捕えられ、その解像度は低くなり、車両からの距離が近くなると画像の中央部分の周辺で大きく捕えられ、その解像度が高くなる。
【0040】
本実施の形態では、上述のようにカメラ10のレンズに魚眼レンズを採用している。魚眼レンズは通常レンズに比べて広角範囲を撮像するため、遠距離にある物体は画像の圧縮度合いが強くなる。よって、上記のように遠距離の被写体が画像の中央部分で小さくなり、近距離の被写体が中央部分の周辺で大きくなるという傾向がより強くなる。
【0041】
そこで、本実施の形態では、画面の中央部分の標識存在認識エリアEAでは、認識レベルを低くして、標識の存在のみを認識し、その周辺のドーナツ状の標識内容認識エリアCAでは認識レベルを高くして、標識の具体的な内容を認識する。換言すれば、画面の中央部分で標識の内容認識をしたとしても、標識が小さすぎて内容認識に必要な解像度になっておらず、有効な内容認識ができないため、画像の中央部分では内容認識という認識レベルが高く処理負担の大きい処理は行わないこととしている。さらに、標識の存在認識も内容認識もする必要がない領域(図2では、標識内容認識エリアCAの外側)については、認識処理を行わないこととしている。
【0042】
再び図1を参照して、標識認識部30は、標識存在認識部31、標識位置推定部32、及び標識内容認識部33を備えている。標識認識部30の各構成要素は、演算処理装置、メモリ、記憶装置等のハードウェア構成を備えた装置にてコンピュータプログラムが実行されることで実現される。標識存在認識部31は、カメラ10からカメラ画像を入力し、標識の存在認識を行う。標識存在認識部31は、予め標識存在認識エリアEAの形状を記憶しており、画像内の標識存在認識エリアEAに対して、標識の存在を検知する標識存在認識処理を行う。標識存在認識部31は、予め各種の標識の形状テンプレートを記憶しており、標識存在認識処理では、標識存在認識エリアEAにおいてこの形状テンプレートによるマッチングを行うことで、標識の存在を検知する。標識存在認識部31は、標識存在認識エリアEAに対する認識処理の結果、標識を検知したときは、検知結果及び検知した時刻を標識位置推定部32に出力する。
【0043】
標識位置推定部32は、標識存在認識部31から標識の検知結果及び検知時刻の情報を入力する。また、標識位置推定部32は、CAN20に接続されており、標識存在認識部31から標識の検知結果を入力すると、CAN20からCAN情報を取得する。標識位置推定部32は、標識の検知結果、検知時刻、CAN情報、カメラ10の特性情報等の情報を用いて、検知された標識が標識内容認識エリアCA内に出現する時刻と標識が出現する標識内容認識エリアCA内の位置を推定する。以下、この時刻を推定時刻といい、この位置を推定位置という。
【0044】
具体的には、標識位置推定部32は、まず、画像内の標識の位置、画像内の標識の大きさ、カメラの特性情報(取付け位置、取付角度、レンズ特性等)から、車両に対する標識の相対位置を求める。そして、標識位置推定部32は、その相対位置と車両の走行速度から、そのままの速度で直進した場合に標識が標識内容認識エリアCA内に入る推定時刻と推定位置を求める。なお、この推定時刻を求める標識位置推定部32の機能は、本発明のタイミング推定手段に相当する。本発明のタイミング推定手段は、標識が標識内容認識エリアCAに入る時刻ではなく、標識が標識内容認識エリアCAに入るまでの所要時間を推定して標識内容認識部33に通知してもよい。
【0045】
標識位置推定部32は、標識内容認識エリアCAのうちの推定位置を含む一部領域を、標識内容の認識を行う探索エリアSAとして指定して、推定時刻の情報とともに、標識内容認識部33に出力する。図3は、複数の探索エリアを示す図である。標識位置推定部32には、図3に示すように、標識内容認識エリアCAの部分領域として、予め複数の探索エリアSA1〜SA8が設定されている。標識位置推定部32は、これらの複数の探索エリアの中から、推定位置が属する探索エリアを選択して指定する。推定位置が各探索エリアの境界付近にある場合には、隣り合う2つの探索エリアを指定してもよい。なお、この探索エリアを指定する標識位置推定部32の機能は、本発明の探索エリア指定手段に相当する。
【0046】
なお、図3の例では、標識内容認識エリアCAを複数の小領域に分割することで、複数の探索エリアSA1〜SA8が設定されたが、複数の探索エリアは互いに重なり合うように設定されてもよい。複数の探索エリアが重なり合っている場合は、推定位置をより中心に含む探索エリアが選択される。さらに、隣り合う探索エリアの間に隙間があってもよい。また、例えばカメラの取付け位置により、画像の下部に車両のボンネットが写る場合には、画像の下部には探索エリアを設定しないようにしてもよい。また、探索エリアはその形状を動的に変化させて設定してもよい。探索エリアを動的に設定する場合に、推定位置の周囲10ピクセル分の領域を探索エリアとして設定してよい。
【0047】
標識内容認識部33は、標識位置推定部32から推定時刻及び選択された探索エリアSAの情報を取得し、当該推定時刻になると当該探索エリアSAにて標識内容の認識処理を行う。標識内容認識部33は、認識結果として、標識内容の情報を出力部40に出力する。
【0048】
出力部40は、例えばカーナビゲーションシステムであり、表示装置と音声出力装置を備えている。出力部40は、標識内容認識部33から標識の内容を取得すると、その内容に応じた表示及び音声出力を行う。例えば、標識の内容が「とまれ」であれば、表示装置に「とまれ」と表示するとともに、「一旦停止をしてください」等の音声ガイドを流す。また、標識の内容が「進入禁止」であれば、表示装置に「進入禁止」と表示するとともに、「この先、進入禁止です」等の音声ガイドを流す。
【0049】
以上のように構成された標識認識装置1について、その動作を説明する。図4は、標識認識部30の動作を示すフロー図である。車両が走行を始めて、標識認識部30が起動すると、標識存在認識部31は、標識存在認識エリアEAにおいて標識の存在を検知する処理(標識存在認識処理)を開始し、標識の存在を検知する(ステップS41)。標識存在認識部31は、検知結果及び検知時刻を標識位置推定部32に出力し、標識位置推定部32は、標識存在認識部31から検知結果及び検知時刻を入力すると、CAN20からその時点での走行状況(CAN情報)を取得する(ステップS42)。
【0050】
標識位置推定部32は、検知された標識が標識内容認識エリアCAに出現する時刻と位置を推定する(ステップS43)。この推定処理では、上記のように画像内での標識の位置と大きさから車両に対する標識の相対位置を求めて、推定時刻と推定位置を求める。標識位置推定部32は、推定された位置に基づいて、標識内容認識エリアCA中の探索エリアSAを指定し、当該探索エリアSAを推定時刻とともに標識内容認識部33に通知する(ステップS44)。標識内容認識部33は、標識位置推定部32から取得した推定時刻になると、探索エリアSAにて標識の内容を認識する処理を行う(ステップS45)。その後、標識内容認識部33は、認識結果を出力部40に出力する(ステップS46)。出力部40は、上記で説明したように表示及び音声によって認識結果を出力する。以上、本実施の形態の標識認識装置1の動作を説明した。
【0051】
図5は、本発明の実施の形態の標識認識装置1を搭載した車両の斜視図である。図5に示すように、カメラ10は、車両のバックミラーの裏側、即ち車両前方側に取り付けられている。カメラ10は車両の前方を撮影する。出力部40であるナビゲーションシステムの表示装置は、ダッシュボードの上に取り付けられる。標識認識部30は、ダッシュボードの中に取り付けられる。CAN20は図示しないが、車両の走行速度や車両の舵角を検知すべく、必要な箇所にセンサが設けられ、各センサが制御装置に接続されて構成される。なお、カメラ10はフロントバンパー等に取り付けて車両の前方を撮影するようにしてもよい。また、表示装置はダッシュボードに嵌め込まれてもよい。
【0052】
このような本発明の第1の実施の形態の標識認識装置によれば、画像内の低解像度の箇所(標識存在認識エリアEA)については、標識の存在検知という認識レベルの低い認識を行い、高解像度の箇所(標識内容認識エリアCA)において標識の内容判別という認識レベルの高い認識を行うので、画像全体で標識の内容判別をする場合と比較して、標識内容の認識処理負担を軽減できる。本実施の形態では、さらに、高解像度の箇所のうちの一部領域を探索エリアSAとして限定して標識内容の認識処理を行うので、処理負担をより軽減できる。また、本実施の形態では、車両の走行に伴って画像内で標識が標識内容認識エリアCAに出現する時刻を推定して、当該推定時刻に合わせて標識内容の認識処理を開始するので、常に標識内容の認識処理をする場合と比較して、処理負担を軽減できる。
【0053】
(第2の実施の形態)
次に、本発明の第2の実施の形態の標識認識装置について説明する。第2の実施の形態の標識認識装置の構成は、第1の実施の形態と同じである。第2の実施の形態では、標識認識部の動作が第1の実施の形態と相違する。第1の実施の形態では、標識位置推定部32が、標識が画像内で標識内容認識エリアCAに出現する時刻と位置を推定して、その推定位置に基づく探索エリアSAを推定時刻と共に標識内容認識部33に出力した。そして、標識内容認識部33は、標識位置推定部32から出力された推定時刻まで待って、探索エリアSAで内容認識処理を行った。このような標識認識部の動作は、高速道路を走行している場合など、走行状況があまり変化しない場合に有効である。
【0054】
しかしながら、街中での走行をしている場合など、走行状況が頻繁に変化する場合には、標識が推定どおりに標識内容認識エリアCAに出現しないこともありうる。例えば、最初に標識の存在を検知した後に、ブレーキを掛けたために、推定時刻になっても標識が標識内容認識エリアCAに出現しないことがある。また、最初に標識の存在を検知した後に、ハンドルを切ったために、推定位置にて標識が標識内容認識エリアCAに出現しないことがある。そこで、本実施の形態では、走行状況が変化する場合にも、標識内容認識エリアCAに標識が出現するタイミングで、標識が出現するエリアにて標識内容の認識処理ができるようにする。このために、本実施の形態では、標識位置推定部32は、画像内の標識が標識内容認識エリアCAに出現する直前まで標識検出エリアEA内の標識を追跡し、標識内容認識エリアCAに出現する直前に、そのときの推定位置に対応する探索エリアSAを標識内容認識部33に通知する。標識内容認識部33は、標識位置推定部32から探索エリアSAが通知されると、直ちにその探索エリアSAで標識内容認識処理を開始する。
【0055】
図6は、第2の実施の形態の標識認識部の動作を示すフロー図である。車両が走行を始めて、標識認識部30が起動すると、標識存在認識部31は、標識存在認識エリアEAにおいて標識の存在を検知する処理(標識存在認識処理)を開始し、標識の存在を検知する(ステップS61)。標識存在認識部31は、検知結果及び検知時刻を標識位置推定部32に出力し、標識位置推定部32は、標識存在認識部31から検知結果及び検知時刻を入力すると、CAN20からその時点での走行状況(CAN情報)を取得する(ステップS62)。
【0056】
標識位置推定部32は、検知された標識が標識内容認識エリアCAに出現する時刻と位置を推定する(ステップS63)。続いて、標識位置推定部32は、現在時刻が推定時刻の直前であるか否かを判断する(ステップS64)。ここでは、現在時刻から推定時刻までの時間が1秒以内であれば直前であると判断する。現在時刻が推定時刻の直前でなければ(ステップS64でNO)、ステップS61に戻って、再度標識存在認識処理を行う。現在時刻が推定時刻の直前であれば(ステップS64でYES)、標識位置推定部32は、直前のステップS63での推定処理によって推定された位置に対応する探索エリアSAを指定して標識内容認識部33に通知する(ステップS65)。
【0057】
識内容認識部33は、標識位置推定部32から探索エリアSAの通知を受けると、当該探索エリアSAにて標識の内容を認識する処理を行う(ステップS66)。その後、標識内容認識部33は、認識結果を出力部40に出力する(ステップS67)。
【0058】
なお、上記の実施の形態では、標識位置推定部32は、現在時刻から推定時刻までの時間が1秒以内であれば直前であると判断したが、直前であるか否かの判断は、標識位置推定部32がCAN20から取得した走行速度の情報に基づいて可変としてもよい。この場合、走行速度が速ければ早めに「直前である」と判断し、走行速度が遅ければ推定時刻のぎりぎりまで「直前である」と判断しないようにする。
【0059】
本実施の形態の標識認識装置によれば、街中での走行時のように、走行状況が頻繁に変化する場合にも、標識内容認識エリアCAに標識が出現するタイミングで、標識が出現するエリアにて標識内容認識処理を行える。また、一旦は標識存在認識エリアEAで標識の存在を検知したものの、その後の走行状況の変化により標識が画像内から外れた場合には、不要な標識内容認識処理は行われず、処理負担を軽減できる。
【0060】
(第3の実施の形態)
次に、本発明の第3の実施の形態の標識認識装置について説明する。第3の実施の形態の標識認識装置の構成は、第1の実施の形態と同じである。第3の実施の形態では、標識認識部の動作が第1の実施の形態と相違する。第3の実施の形態も、第2の実施の形態と同様に、走行状況が頻繁に変化する場合にも標識内容認識エリアCAに標識が出現する時刻及び位置を好適に推定できるようにする。
【0061】
上述の第2の実施の形態では、走行状況が変化する場合にも、標識内容認識エリアCAに標識が出現するタイミングで、標識が出現するエリアにて標識内容認識処理できる一方で、標識が標識内容認識エリアに出現する時刻の直前になるまで標識存在認識処理と推定処理を繰り返し行うため、処理量が増加する。第3の実施の形態では、処理量の増加を抑えるようにする。
【0062】
図7は、第3の実施の形態の標識認識装置の動作を示すフロー図である。本実施の形態の標識認識部は、車両が走行を始めて、標識認識部30が起動すると、標識存在認識部31は、標識存在認識エリアEAにおいて標識の存在を検知する処理(標識存在認識処理)を開始し、標識の存在を検知する(ステップS71)。標識存在認識部31は、検知結果及び検知時刻を標識位置推定部32に出力し、標識位置推定部32は、標識存在認識部31から検知結果及び検知時刻を入力すると、CAN20からその時点での走行状況(CAN情報)を取得する(ステップS72)。標識位置推定部32は、検知された標識が標識内容認識エリアCAに出現する時刻と位置を推定する(ステップS73)。ここまでの処理は第1及び第2の実施の形態と同じである。
【0063】
続いて、標識位置推定部32は、現在時刻が推定時刻の直前であるか否かを判断する(ステップS74)。ここでは、現在時刻が推定時刻の1秒以内であれば直前であると判断する。標識位置推定部32は、現在時刻がまだ推定時刻の直前でなければ(ステップS74でNO)、走行状況を取得し、走行状況に変化がなかったかを判断する(ステップS75)。走行状況に変化がない場合には(ステップS75でNO)、直前のステップS73で推定された時刻及び位置が依然として有効であるため、ステップS74に戻る。このループを推定時刻になるか走行状況に変化が発生するまで繰り返す。走行状況に変化が発生すると(ステップS75でYES)、再度標識の存在認識処理及び出現時刻及び位置の推定処理をやり直すべく、ステップS71に戻る。
【0064】
このようにして、推定時刻の直前になった場合には(ステップS74でYES)、標識位置推定部32は、第2の実施の形態と同様に、直前のステップS73での推定処理によって推定された位置に対応する探索エリアSAを指定して標識内容認識部33に通知する(ステップS76)。識内容認識部33は、標識位置推定部32から探索エリアSAの通知を受けると、当該探索エリアSAにて標識の内容を認識する処理を行い(ステップS77)、認識結果を出力部40に出力する(ステップS78)。
【0065】
本実施の形態の標識認識装置によれば、走行状況に変化があった場合には標識の存在認識処理及び出現時刻及び位置の推定処理をし直すので、街中を走行している場合など、頻繁に走行状況が変化する場合に適切に対応できると同時に、高速道路を走行している場合など走行状況があまり変化しない場合の処理負担を軽減できる。
【0066】
なお、第3の実施の形態の標識認識装置の動作は、第1の実施の形態と第2の実施形態の折衷案といえるが、別の形態の標識認識装置は、第1の実施の形態のモードと第2の実施の形態のモードを有し、手動又は自動で両モードを切り替えるようにしてもよい。
【0067】
(第4の実施の形態)
次に、本発明の第4の実施の形態の標識認識装置について説明する。上記の実施の形態では、標識存在認識エリアEA及び標識内容認識エリアCAは固定されていた。本実施の形態では、CAN情報に基づいて、画像内の標識存在認識エリアEAと標識内容認識エリアCAを動的に変化させる。
【0068】
図8は、第4の実施の形態の標識認識装置のブロック図である。本実施の形態の標識認識装置2では、第1の実施の形態と比較して、認識エリア設定部34が追加されている。認識エリア設定部34は、CAN20、標識存在認識部31及び標識位置推定部32に接続されており、CAN情報に基づいて、画像内の標識存在認識エリアEAと標識内容認識エリアCAを動的に変化させる。
【0069】
認識エリア設定部34は、CAN20からCAN情報を取得して、CAN情報に基づいて標識存在認識エリアEAを設定して、標識存在認識部31に標識存在認識エリアEAのエリアデータを出力すると共に、CAN情報に基づいて標識内容認識エリアCAを設定して、標識位置推定部32に標識内容認識エリアCAのエリアデータを出力する。本実施の形態では、認識エリア設定部34は、特にCAN情報のうちの車両の舵角及び車両走行速度の情報を取得して、これらの情報に基づいて標識存在認識エリアEA及び標識内容認識エリアCAを設定する。
【0070】
図9は、認識エリアデータベースからの出力される標識存在認識エリアEA及び標識内容認識エリアCAのエリアデータを示す図であり、図9(a)は、直進時のエリアデータを示し、図9(b)は、右折時のエリアデータを示し、図9(c)は、図9(a)の場合よりも速い速度で直進する場合のエリアデータを示している。
【0071】
標識存在認識エリアEAのエリアデータは、画像の中心を原点(0,0)として、一般的に式(1)で表わされる。
【数1】
標識存在認識エリアEAは、点(p0,q0)を中心として、x軸方向の径(長径)の長さが2a0で、y軸方向の径(短径)の長さが2b0である楕円の内部として表現される。
【0072】
標識内容認識エリアCAのエリアデータは、画像の中心を原点(0,0)として、一般的に式(2)及び(3)で表わされる。
【数2】
【数3】
標識内容認識エリアCAは、点(p0,q0)を中心として、x軸方向の径(長径)の長さが2a0で、y軸方向の径(短径)の長さが2b0である楕円の外部であって、かつ点(p1,q1)を中心として、x軸方向の径(長径)の長さが2a1で、y軸方向の径(短径)の長さが2b1である楕円の内部として表現される。
【0073】
認識エリア設定部34は、上記の式(1)〜(3)を記憶しており、CAN20から取得したCAN情報に基づいて、それらの式のパラメータa0,b0,p0,q0,a1,b1,p1,q1を決定して、式(1)を標識存在認識エリアEAのエリアデータとして標識存在認識部31に出力し、式(2)及び(3)を標識内容認識エリアCAのエリアデータとして標識位置推定部32に出力する。以下、パラメータの決定方法について説明する。
【0074】
まず、車両が直線状の道路を直進している場合、すなわち、舵角が小さい場合は、既に説明したとおり、通常は道路が前方に伸びていることが考えられる。従って、画像内の中央部分では被写体までの距離が遠く、解像度が低くなり、画像内の中央部分の周辺では被写体までの距離が近く、解像度が高くなる。画像内の被写体は、車両の走行に伴って画像の中央から徐々に画像の周辺に向けて移動することになる。よって、解像度の低い画像の中央部分に認識レベルの低い標識存在認識エリアEAを設定し、解像度の高い画像内の中央部周辺に認識レベルの高い標識内容認識エリアCAを設定する。即ち、舵角が小さい場合には、標識存在認識エリアEA及び標識内容認識エリアCAを画定する二つの楕円の中心を画像の中央部分にする。具体的には、直進をしている場合、即ち舵角が小さい場合には、図9(a)に示すように、上記の式(1)〜(3)におけるパラメータ(p0,q0),(p1,q1)を原点(0,0)に近くする。この場合、長軸と短軸の比2a0:2b0,2a1:2b1は、カメラ10で取得される画像の縦横比と同程度にすればよく、例えば、1:0.65〜1:0.75程度にする。
【0075】
次に、舵角に応じた標識存在認識エリアEA及び標識内容認識エリアCAの動的な設定について説明する。例えばハンドルが右に切られて舵角が大きくなると、右折の場合には、車両の右折走行に伴って、画像の右端から新たな被写体が出現し、画像の左端に移動していくことになる。よって、この場合は、図9(b)に示すように、標識存在認識エリアEAを右に寄せて、標識内容認識エリアCAも右に寄せる。具体的には、ハンドルが右に切られて舵角が大きくなると、パラメータp0,p1の値を大きくする。また、これと同時に、楕円の形状も縦長になるように変形させる。即ち、式(1)〜(3)のa0,a1の値を小さくすると共に、b0,b1の値を大きくして、それぞれa0,a1の値より大きくする。
【0076】
なお、このとき、パラメータp0,p1,a0,a1は、生成される楕円が画面の縁に掛からないような範囲で設定されてもよいし、楕円が画面の縁からはみ出るように設定されてもよい。前者の場合は、画面の縁のx座標値をxmaxとすると、式(4)、(5)を満たす範囲内で設定される。
【数4】
【数5】
なお、ハンドルが左に切られた場合は、標識存在認識エリアEA及び標識内容認識エリアCAを左のほうに設定する。具体的な方法は右折の場合と同様である。
【0077】
次に、走行速度に応じた標識存在認識エリアEA及び標識内容認識エリアCAの動的な設定について説明する。車両の走行速度が速くなると、標識の存在認識が困難になる。そこで、走行速度が上がるに従って、図9(c)に示すように、標識存在認識エリアEAの楕円を大きくする。これに応じて、標識内容認識エリアCAの楕円も大きくする。具体的には、上記式(1)及び式(2)におけるパラメータa0,b0の値を大きくするとともに、上記式(3)のパラメータa1,b1の値も大きくする。
【0078】
上記では、各パラメータを舵角や走行速度に対応させて連続的に変化させる例を説明したが、各パラメータを段階的に変化させてもよい。図10は、各パラメータを段階的に変化させる場合の標識認識装置の構成を示すブロック図である。標識認識装置3の標識認識部30は、認識エリアデータベース35を備えている。この認識エリアデータベースには、走行速度が30km/hごとに区分され、舵角が2度ごとに区分され、走行速度及び舵角の各区分の組合せごとにパラメータa0,b0,p0,q0,a1,b1,p1,q1の組が記憶されている。
【0079】
認識エリア設定部34は、CAN20から取得した走行速度が属する区分とCAN20から取得した舵角が属する区分との組合せに対応するパラメータa0,b0,p0,q0,a1,b1,p1,q1の組を認識エリアデータベース35から選択して、標識存在認識エリアEA及び標識内容認識エリアCAを設定する。
【0080】
本実施の形態の標識認識装置では、標識存在認識エリアEA及び標識内容認識エリアCAを舵角及び走行速度に応じて動的に変化させるので、各種の走行状況に応じた適切な認識エリア設定が可能になる。これより、画像全体で標識内容の認識を行うことを回避して処理負担を軽減できるとともに、走行状況が変化した場合にも標識内容の認識を確実に行うことができる。なお、ギアが後退に入っている場合は、前進の場合とは逆に、存在認識エリアと内容認識エリアの位置を入れ替えてもよい。
【0081】
(第5の実施の形態)
次に、本発明の第5の実施の形態の標識認識装置について説明する。第5の実施の形態の標識認識装置の構成は、第1の実施の形態と同じである。第5の実施の形態では、標識内容認識エリアCAに標識が出現する時刻及び位置を推定する方法が、第1の実施の形態と相違する。第1の実施の形態では、標識位置推定部32は、検知された標識の画像内での位置と大きさに基づいて、車両に対する当該標識の相対位置を求めて、さらにこの相対位置と走行速度に基づいて、標識が標識内容認識エリアCAに出現する時刻及び位置を推定した。本実施の形態では、画像内の標識位置の履歴に基づいて、標識が将来どのように画像内を移動するかを予測して、標識が標識内容認識エリアCAに出現する時刻及び位置を推定する。
【0082】
図11は、本実施の形態において、標識が標識内容認識エリアCAに出現する時刻と位置を推定する方法を説明する図である。標識存在認識部31は、時刻t1に標識存在認識エリアEAにて標識の存在を検知すると、その標識の画像内での位置を標識位置推定部32に出力する。次の時刻t2に再度標識の存在を検知して、同様にその標識の画像内での位置を出力する。次の時刻t3においても同様に検知した標識の画像内での位置を出力する。標識位置推定部32は、3つの時刻でそれぞれ標識の位置を取得すると、時刻t1,t2,t3及びそれぞれの時刻における画像内での標識の位置に基づいて、この標識が画像内で標識内容認識エリアCAに出現する時刻tx及びその位置を推定する。
【0083】
図12は、本実施の形態において、標識が標識内容認識エリアCAに出現する時刻と位置を推定する動作を示すフロー図である。図12のフロー図は、第1の実施の形態のフロー図のステップS41〜ステップS43に相当する。標識存在認識部31は、標識存在認識エリアEAにて標識の存在を検知すると(ステップS121)、そのときの時刻及び標識の画像内での位置を標識位置推定部32に出力する(ステップS122)。その後、標識存在認識部31は、所定の時間内に標識を3回検知しているかを判断し(ステップS123)、すでに3回検知しているときは(ステップS123でYES)、3回分の検知結果に基づいて、標識が画像内で標識内容認識エリアCAに出現する時刻tx及びその位置を推定する(ステップS124)。まだ3回検知していないときは(ステップS123でNO)、ステップS121に戻って標識存在認識エリアEAで標識の存在を検知する。
【0084】
本実施の形態の標識認識装置によれば、CAN情報によらずに、画像情報と時刻の情報のみで、標識が標識内容認識エリアCAに出現する時刻及び位置を推定できるので、CANを備えていない車両にも適用できるという利点がある。なお、図12のフローは、第2の実施の形態のフロー図のステップS71〜ステップS73にも適用できる。
【0085】
なお、上記の実施の形態では、3回分の標識の検知結果を利用して、その標識の標識内容認識エリアCAでの出現時刻及び出現位置を推定したが、2回分又は4回分以上の標識の存在の検知結果を利用して出現時刻及び出現位置を推定してもよい。
【0086】
(第6の実施の形態)
次に、本発明の第6の実施の形態の標識認識装置について説明する。第6の実施の形態では、標識内容認識エリアCAに標識が出現する時刻及び位置を推定する方法が、第1の実施の形態及び第5の実施の形態と相違する。図13は、第6の実施の形態の標識認識装置の構成を示すブロック図である。本実施の形態の標識認識装置4は、推定データベース36を備えている。その他の構成は、第1の実施の形態の標識認識装置1と同様である。
【0087】
標識位置推定部32は、CAN20、標識存在認識部31及び推定データベース36に接続されている。標識位置推定部32は、標識存在認識部31が標識存在認識エリアEAで標識の存在を検知すると、標識存在認識部31から検知された標識の画像内での位置を取得し、CAN20からCAN情報(ここでは、走行速度及び舵角)を取得する。推定データベース36には、標識の画像内での位置と大きさ及びCAN情報の組み合わせに対応して、標識が標識内容認識エリアCAに出現する時刻及び位置が記憶されている。このデータベースは、実験などであらかじめ作成しておくことができる。
【0088】
標識位置推定部32は、推定データベース36を参照して、認識エリア設定部34から取得した標識の画像内での位置及びCAN情報の組み合わせに対応する出現時刻及び出現位置を取得する。標識位置推定部32は、推定データベース36から取得した出現位置に基づいて、探索エリアSAを指定する。
【0089】
本実施の形態の標識認識装置によれば、推定データベース36を参照するだけで、標識が標識認識エリアCAに出現する時刻及び位置の情報を得ることができるので、演算処理の負担が軽くなる。
【0090】
(変形例)
上記の実施の形態では、標識存在認識部31が、形状テンプレートを用いたマッピングにより標識存在認識エリアEAにおいて標識の存在を検知したが、標識の存在を検知する方法はこれに限られない。例えば、カメラ10が撮影して得られた画像に対してHough変換を行って、直線や円を抽出した後に、形状テンプレートによるマッチングを行って標識の存在を検知してもよい。また、画像内の色情報を用いて標識を抽出することで、標識の存在を検知してもよい。
【0091】
上記の実施の形態では、標識内容認識部33は、標識テンプレートを用いたマッピングによって、標識内容を認識したが、標識内容を認識する方法はこれに限られない。例えば、自己組織化マップを利用してクラスタリングを行って標識を分類することで、標識の内容を認識してもよい。
【0092】
上記の実施の形態では、画像に標識存在認識エリアEA及び標識内容認識エリアCAという認識レベルの異なる2つの認識エリアを設定して、かつ標識の認識をしないエリア(標識内容認識エリアCAの外側のエリア)を設けたが、エリアの設定方法はこれに限られない。例えば、存在候補を抽出するエリア、存在を確認するエリア、及び内容を認識するエリアという認識レベルの異なる3つの認識エリアを設定してもよい。また、直進時には画像の中央にきわめて近い領域は解像度が極めて低くなり、標識の存在すら検知できないことも考えられる。よって、標識存在認識エリアEAの中央部に認識をしないエリアを設けて、標識存在認識エリアEAをドーナツ状のエリアとしてもよい。さらに、上記の実施の形態では、標識存在認識エリアEAと標識内容認識エリアCAとが連続していたが、両エリアの間に標識の認識をしないエリアがあってもよい。また、上記の実施の形態では、標識存在認識エリアEAの外側に標識内容認識エリアCAを設けたが、標識存在認識エリアEAと標識内容認識エリアCAとが重なっていてもよい。
【0093】
上記の実施の形態では、認識エリアを楕円形状としたが、認識エリアの形状はこれに限られない。認識エリアは、円、三角形や四角形などの多角形、閉曲線で囲まれる領域であってよい。また、道路の脇に設置されている標識のみ認識する場合には、三日月状の標識内容認識エリアCAを画面中央部の標識存在認識エリアEAの左右に設定してもよい。なお、実施の形態で認識エリアを楕円形状としたのは、カメラ画像として得られる画像が魚眼カメラによる円形画像の場合には実施の形態で示したようにエリア形状として楕円を用いるのが好適であるからである。通常のカメラを用いる場合には、認識エリアは四角形が好適である。また、カメラの特性や取り付け位置や角度に応じてエリア形状を設定してよい。例えば、カメラの画角内に障害物(ボンネットやシールなど)が写りこんでいることが分かっている場合には、該当箇所を含まないようエリアを設定してよい。
【0094】
上記の実施の形態では、標識内容認識エリアCA内の探索エリアSAを指定して、探索エリアSAにて標識内容を認識したが、探索エリアSAの指定を省略して標識内容認識エリアCA全体で標識内容を認識してもよい。この場合は、探索エリアSAのみについて標識内容を認識する場合と比較すると処理負担が増えることになるが、画面全体で標識内容を認識する場合よりも処理負担は軽くなる。
【0095】
上記の実施の形態では、標識が画像内で標識内容認識エリアCAに出現する時刻を推定して、この時刻に探索エリアSAで標識の内容を認識するようにしたが、常に標識内容を認識してもよい。
【0096】
上記の実施の形態では、走行状況に基づいて認識エリアの形状を動的に設定したが、認識エリアを動的に設定する際に考慮される事項は、走行状況には限られない。例えば、カメラの特性(例えば歪み、解像度等)、カメラの認識特性、カメラの取付け位置等を考慮して認識エリアを変更してもよい。また、例えば、車両周辺の明度等、車両周辺の環境に応じて認識エリアを変更してもよい。この場合、例えば車両周辺が暗いときには標識存在認識エリアEA及び標識内容認識エリアCAを大きくする。さらに、自車両の位置にもとづいて地図データベースなどから取得した道路状況に基づいて認識エリアを変更してもよい。例えば、車両が下り坂を走行しており、その先に上り坂がある場合には、標識存在認識エリアEAを画面内の上方に移動してよい。この場合、具体的には、上記式(1)〜(3)のq0,q1を増加させる。また、上記の実施の形態では、標識存在認識エリアEA及び標識内容認識エリアCAをいずれも動的に変更したが、いずれか一方の認識エリアのみを変更し、他方の認識エリアは固定としてもよい。
【0097】
上記の実施の形態では、出力部40は、ナビゲーションシステムであり、表示装置と音声出力装置を備えていたが、出力部40の形態はこれに限られない。出力部40は、例えばブレーキ制御装置であって、「とまれ」の標識を認識した場合に、自動的にブレーキをかけるようにしてもよい。
【0098】
本発明の実施の形態の標識認識装置は、運転履歴を映像及びCAN情報とともに記録するドライビングレコーダの機能を有していてもよい。この場合に、標識認識装置によって認識した標識の情報を運転履歴の一部として記録してもよい。
【0099】
また、上記の実施の形態では、本発明の標識認識装置を車両に搭載されて走行または運転する場合の標識認識装置として説明したが、本発明の標識認識装置は、車両ではなく、電車、オートバイまたは移動型ロボットなどその他の移動体にも適用可能である。
【0100】
以上、本発明の実施の形態を例示により説明したが、本発明の範囲はこれらに限定されるものではなく、請求項に記載された範囲内において目的に応じて変更・変形することが可能である。
【産業上の利用可能性】
【0101】
以上のように、本発明にかかる標識認識装置は、標識認識の処理の効率を向上できるという効果を有し、移動体に搭載されて標識を認識する標識認識装置等として有用である。
【符号の説明】
【0102】
1、2、3、4 標識認識装置
10 カメラ
20 CAN
30 標識認識部
31 標識存在認識部
32 標識位置推定部
33 標識内容認識部
34 認識エリア設定部
35 認識エリアデータベース
36 推定データベース
40 出力部
【特許請求の範囲】
【請求項1】
移動体の前方を撮像した画像から標識を認識する標識認識装置であって、
前記画像内の第1の認識エリアにおいて、第1の認識レベルで標識を認識する第1の標識認識手段と、
前記画像内の前記第1の認識エリアとは異なる第2の認識エリアにおいて、前記第1の認識レベルより高い第2の認識レベルで標識を認識する第2の標識認識手段と、
を備えたことを特徴とする標識認識装置。
【請求項2】
前記第1の認識エリアは、標識の存在を認識するための標識存在認識エリアであり、
前記第2の認識エリアは、標識の内容を認識するための標識内容認識エリアであり、
前記第1の標識認識手段は、前記標識存在認識エリアにおいて標識の存在を認識し、
前記第2の標識認識手段は、前記標識内容認識エリアにおいて標識の内容を認識する
ことを特徴とする請求項1記載の標識認識装置。
【請求項3】
前記第1の標識認識手段による認識結果を利用して、前記第2の認識エリア内の探索エリアを指定する探索エリア指定手段をさらに備え、
前記第2の標識認識手段は、前記探索エリアにおいて標識を認識することを特徴とする請求項1または2に記載の標識認識装置。
【請求項4】
前記探索エリア指定手段は、前記第1の標識認識手段による認識結果及び移動体の走行状況に基づいて前記探索エリアを指定することを特徴とする請求項3記載の標識認識装置。
【請求項5】
前記第1の標識認識手段にて認識された標識が前記第2の認識エリアに出現するタイミングを推定するタイミング推定手段をさらに備え、
前記第2の標識認識手段は、前記タイミング推定手段が推定したタイミングで標識の認識を開始することを特徴とする請求項1ないし請求項4のいずれかに記載の標識認識装置。
【請求項6】
前記第1の認識エリア及び第2の認識エリアの少なくとも一方を動的に設定する認識エリア設定手段をさらに備えたことを特徴とする請求項1ないし請求項5のいずれかに記載の標識認識装置。
【請求項7】
前記認識エリア設定手段は、移動体の走行状況に基づいて前記第1の認識エリア及び前記第2の認識エリアの少なくとも一方を変化させることを特徴とする請求項6記載の標識認識装置。
【請求項8】
前記認識エリア設定手段は、移動体の走行速度に応じて前記第1の認識エリア及び前記第2の認識エリアの少なくとも一方を変化させることを特徴とする請求項7記載の標識認識装置。
【請求項9】
前記認識エリア設定手段は、移動体の舵角に応じて前記第1の認識エリア及び前記第2の認識エリアの少なくとも一方を変化させることを特徴とする請求項7記載の標識認識装置。
【請求項10】
前記認識エリア設定手段は、移動体周辺の環境に基づいて前記第1の認識エリア及び前記第2の認識エリアの少なくとも一方を変化させることを特徴とする請求項6記載の標識認識装置。
【請求項11】
移動体に搭載されて標識を認識する標識認識装置であって、
移動体の前方を撮影して画像を取得する撮影手段と、
前記撮影手段にて得られた画像内に、認識エリアを動的に変化させて設定する認識エリア設定手段と、
設定された前記認識エリアにおいて、標識を認識する標識認識手段と、
を備えたことを特徴とする標識認識装置。
【請求項12】
移動体の前方を撮像した画像から標識を認識する標識認識方法であって、
前記画像内の第1の認識エリアにおいて、第1の認識レベルで標識を認識する第1の標識認識ステップと、
前記画像内の前記第1の認識エリアとは異なる第2の認識エリアにおいて、前記第1の認識レベルより高い第2の認識レベルで標識を認識する第2の標識認識ステップと、
を含むことを特徴とする標識認識方法。
【請求項1】
移動体の前方を撮像した画像から標識を認識する標識認識装置であって、
前記画像内の第1の認識エリアにおいて、第1の認識レベルで標識を認識する第1の標識認識手段と、
前記画像内の前記第1の認識エリアとは異なる第2の認識エリアにおいて、前記第1の認識レベルより高い第2の認識レベルで標識を認識する第2の標識認識手段と、
を備えたことを特徴とする標識認識装置。
【請求項2】
前記第1の認識エリアは、標識の存在を認識するための標識存在認識エリアであり、
前記第2の認識エリアは、標識の内容を認識するための標識内容認識エリアであり、
前記第1の標識認識手段は、前記標識存在認識エリアにおいて標識の存在を認識し、
前記第2の標識認識手段は、前記標識内容認識エリアにおいて標識の内容を認識する
ことを特徴とする請求項1記載の標識認識装置。
【請求項3】
前記第1の標識認識手段による認識結果を利用して、前記第2の認識エリア内の探索エリアを指定する探索エリア指定手段をさらに備え、
前記第2の標識認識手段は、前記探索エリアにおいて標識を認識することを特徴とする請求項1または2に記載の標識認識装置。
【請求項4】
前記探索エリア指定手段は、前記第1の標識認識手段による認識結果及び移動体の走行状況に基づいて前記探索エリアを指定することを特徴とする請求項3記載の標識認識装置。
【請求項5】
前記第1の標識認識手段にて認識された標識が前記第2の認識エリアに出現するタイミングを推定するタイミング推定手段をさらに備え、
前記第2の標識認識手段は、前記タイミング推定手段が推定したタイミングで標識の認識を開始することを特徴とする請求項1ないし請求項4のいずれかに記載の標識認識装置。
【請求項6】
前記第1の認識エリア及び第2の認識エリアの少なくとも一方を動的に設定する認識エリア設定手段をさらに備えたことを特徴とする請求項1ないし請求項5のいずれかに記載の標識認識装置。
【請求項7】
前記認識エリア設定手段は、移動体の走行状況に基づいて前記第1の認識エリア及び前記第2の認識エリアの少なくとも一方を変化させることを特徴とする請求項6記載の標識認識装置。
【請求項8】
前記認識エリア設定手段は、移動体の走行速度に応じて前記第1の認識エリア及び前記第2の認識エリアの少なくとも一方を変化させることを特徴とする請求項7記載の標識認識装置。
【請求項9】
前記認識エリア設定手段は、移動体の舵角に応じて前記第1の認識エリア及び前記第2の認識エリアの少なくとも一方を変化させることを特徴とする請求項7記載の標識認識装置。
【請求項10】
前記認識エリア設定手段は、移動体周辺の環境に基づいて前記第1の認識エリア及び前記第2の認識エリアの少なくとも一方を変化させることを特徴とする請求項6記載の標識認識装置。
【請求項11】
移動体に搭載されて標識を認識する標識認識装置であって、
移動体の前方を撮影して画像を取得する撮影手段と、
前記撮影手段にて得られた画像内に、認識エリアを動的に変化させて設定する認識エリア設定手段と、
設定された前記認識エリアにおいて、標識を認識する標識認識手段と、
を備えたことを特徴とする標識認識装置。
【請求項12】
移動体の前方を撮像した画像から標識を認識する標識認識方法であって、
前記画像内の第1の認識エリアにおいて、第1の認識レベルで標識を認識する第1の標識認識ステップと、
前記画像内の前記第1の認識エリアとは異なる第2の認識エリアにおいて、前記第1の認識レベルより高い第2の認識レベルで標識を認識する第2の標識認識ステップと、
を含むことを特徴とする標識認識方法。
【図1】
【図2】
【図3】
【図4】
【図5】
【図6】
【図7】
【図8】
【図9】
【図10】
【図11】
【図12】
【図13】
【図2】
【図3】
【図4】
【図5】
【図6】
【図7】
【図8】
【図9】
【図10】
【図11】
【図12】
【図13】
【公開番号】特開2013−8070(P2013−8070A)
【公開日】平成25年1月10日(2013.1.10)
【国際特許分類】
【出願番号】特願2009−241471(P2009−241471)
【出願日】平成21年10月20日(2009.10.20)
【出願人】(000005821)パナソニック株式会社 (73,050)
【Fターム(参考)】
【公開日】平成25年1月10日(2013.1.10)
【国際特許分類】
【出願日】平成21年10月20日(2009.10.20)
【出願人】(000005821)パナソニック株式会社 (73,050)
【Fターム(参考)】
[ Back to top ]