説明

障害物検知装置、および当該装置を搭載した車両

【課題】1台のカメラを用いつつ、障害物の検知結果を速やかに得ることができる障害物検知装置、および当該装置を搭載した車両を提供する。
【解決手段】1台のカメラ(40)は、近距離被写体に合焦し遠距離被写体に合焦しないように設定され、距離画像演算部(64)は、被写体の輪郭に相当するエッジ部位(83,84,86,87,88)における下限輝度値と上限輝度値との間の中間輝度値の割合に基づいて、近距離のエッジ部位である旨と、この近距離よりも遠い距離のエッジ部位である旨とをそれぞれ判定してカメラと被写体との距離を表す距離画像(80)を生成し、障害物判断部(68)は、距離画像に基づき、近距離のエッジ部位が所定割合以上含まれる領域(93)について障害物が存在する旨を判断する。

【発明の詳細な説明】
【技術分野】
【0001】
本発明は、カメラを用いた障害物検知装置、および当該装置を搭載した車両に関する。
【背景技術】
【0002】
この種の障害物検知装置は、例えば車両の前部に搭載され、この車両の前方に存在する障害物を検知可能に構成されている(例えば、特許文献1参照)。
詳しくは、この車両には計2台のカメラが設置され、各カメラはいずれも進行方向に向けて配置されており、同じ被写体をそれぞれ撮影する。そして、被写体までの距離を求めて障害物を検知する。
【0003】
この障害物情報は運転者に提供されており、その視覚や聴覚に訴えれば、運転者は回避行動を採ることができる。これにより、車両と障害物との衝突の未然防止が可能になる。
【先行技術文献】
【特許文献】
【0004】
【特許文献1】特開2000−136905号公報
【発明の概要】
【発明が解決しようとする課題】
【0005】
しかしながら、上記従来の技術では、計2台のカメラを要するため、装置の構造が複雑になるし、また、各カメラに対する配置や感度等の特性調整がそれぞれ必要になって不便である。さらに、撮影された2つの電子画像にはステレオマッチング等の補正処理が必要になるので、その演算も複雑になり、これでは障害物の検知結果が安定的に得られないとの問題がある。
【0006】
ここで、この問題の解決にあたり、計1台のカメラで被写体までの距離を求めて障害物を検知することも考えられる。具体的には、撮影した1つの電子画像の輝度データや色データなどを複数組み合わせることにより、被写体までの距離を求めて障害物を検知する。
しかしながら、これら輝度や色の組み合わせは、撮影時の天候や被写体の配色に応じて非常に多く存在する。さらに、この場合にも電子画像に対して天候別の補正処理が別途必要になるため、その演算が複雑になり、障害物の検知結果が安定的に得られないとの課題を依然として残す。
【0007】
そこで、本発明の目的は、上記課題を解消し、1台のカメラを用いつつ、障害物の検知結果を速やかに得る障害物検知装置、および当該装置を搭載した車両を提供することである。
【課題を解決するための手段】
【0008】
上記目的を達成するための第1の発明は、1個の結像手段により結像される画像を電気信号に変換して電子画像を出力するカメラと、電子画像上における輝度勾配に基づき求められるエッジ部位、例えば隣接した画素の輝度差が所定値以上のエッジ部位を被写体の輪郭として抽出するエッジ抽出部、カメラと被写体との距離を表す距離画像を生成する距離画像演算部、および距離画像に基づき障害物の有無を判断する障害物判断部、を有する制御手段とを備え、カメラは、近距離被写体に合焦し遠距離被写体に合焦しないように設定され、距離画像演算部は、エッジ部位における輝度変化の状態、例えば下限輝度値と上限輝度値との間の中間輝度値の割合に基づいて、近距離のエッジ部位である旨と、この近距離よりも遠い距離のエッジ部位である旨とをそれぞれ判定して距離画像を生成し、障害物判断部は、近距離のエッジ部位が所定割合以上含まれる領域について障害物が存在する旨を判断する。
【0009】
第1の発明によれば、単眼のカメラが、近距離被写体に合焦し遠距離被写体に合焦しないように設定されており、結像手段により結像される画像を電気信号に変換して電子画像を制御手段に向けて出力する。
この制御手段は、エッジ抽出部、距離画像演算部、および障害物判断部を有する。エッジ抽出部は、電子画像上における隣接した画素の輝度差が所定値以上のエッジ部位を被写体の輪郭として抽出し、この抽出結果を距離画像演算部に出力する。
【0010】
距離画像演算部は、輪郭であるエッジ部位における輝度変化の状態、例えば下限輝度値と上限輝度値との間の中間輝度値の割合に基づいて、近距離のエッジ部位である旨とこの近距離よりも遠い距離のエッジ部位である旨とをそれぞれ判定しており、輝度データだけでカメラと被写体との距離を表す距離画像を生成する。
このエッジ部位における中間輝度値の割合は、カメラから被写体までの距離が遠くなるに連れて緩やかに増加する。カメラから被写体までの距離が遠くなるに連れて解像度が低下するからである。よって、当該中間輝度値の割合と距離との関係をあらかじめ調べて備えておき、この蓄積データを用いれば距離画像を生成できる。
【0011】
この距離画像は、距離画像演算部から障害物判断部に出力され、障害物判断部は、近距離のエッジ部位が所定割合以上含まれる領域について障害物が存在する旨を判断している。
したがって、1個のカメラで得られた1つの電子画像から距離画像を生成可能になり、装置の構造が複雑にならない。さらに、従来に比して複数個のカメラに対する配置や感度等の特性調整が不要になるし、また、電子画像に対するステレオマッチングや天候別等の補正処理も不要になるので、制御手段での演算処理が簡易で済む。よって、障害物の検知結果が安定して得られる。
【0012】
しかも、輝度変化の状態のみでカメラから被写体までの距離を得ており、特性変動を受け難くなることから、ロバスト性を確保できる。
これらの結果、障害物検知装置の信頼性が大幅に向上する。
第2の発明は、第1の発明の構成において、距離画像演算部は、下限輝度値と上限輝度値の間の中間輝度値を有する画素の数を用いて中間輝度割合を求めており、その中間輝度割合に基づき距離画像を生成することを特徴とする。
【0013】
第2の発明によれば、第1の発明の作用に加えてさらに、電子画像は大きさ一定の複数個の画素で構成されているが、中間輝度割合は、カメラから被写体までの距離が遠くなるに連れて大きく、カメラから被写体までの距離が近くなるに連れて小さくなる。この遠距離の被写体では解像度が低下し、画素の大きさが一定であるにも拘わらず、同じ撮影対象を受け持つ画素の数が遠距離ほど多くなるからである。
よって、このエッジ部位における中間輝度割合と、カメラから被写体までの距離との関係を用いれば距離画像を確実に生成できる。
第3の発明は、第1の発明の構成において、距離画像演算部は、エッジ部位において隣接する画素と輝度が異なる画素の数、すなわち輝度変化画素数に基づき距離画像を生成することを特徴とする。
【0014】
第4の発明は、第2および第3の発明の構成において、障害物判断部は、所定領域内における障害物の有無を判断しており、この領域内における距離分散を求め、近距離よりも遠い距離のエッジ部位が所定割合以上含まれていた場合には、この領域について障害物が存在しない旨を判断することを特徴とする。この距離分散とは、それぞれの距離に対応する画素の数のバラツキのことである。
【0015】
第4の発明によれば、第2および第3の発明の作用に加えてさらに、障害物判断部は、障害物の有無を判断する領域における距離分散を求めており、この分散が大きい、つまり、近距離のエッジ部位とこの近距離よりも遠い距離のエッジ部位の両方が含まれていた場合には、当該領域は平面物であると擬制できるため、この領域について障害物が存在しない旨を判断する。これにより、障害物の誤検知が回避可能になる。
【0016】
第5の発明は、第2や第3や第4の発明の構成において、障害物判断部は、所定領域内における障害物の有無を判断しており、この領域内における距離分散を求め、近距離のエッジ部位が所定割合以上含まれていた場合には、この領域について障害物が存在する旨を判断することを特徴とする。
【0017】
第5の発明によれば、第2や第3や第4の発明の作用に加えてさらに、障害物判断部は、障害物の有無を判断する領域における距離分散を求めており、この分散が小さい、例えば、近距離のエッジ部位が所定割合以上含まれていた場合には、当該領域は近距離の立体物であると擬制できるので、この領域について障害物が存在する旨を判断する。これにより、近距離の障害物の速やか、かつ、確実な検知が可能になる。
【0018】
第6の発明は、第2から第5の発明の構成において、障害物判断部は、所定領域内における障害物の有無を判断しており、この領域内における距離分散を求め、近距離よりも遠い距離のエッジ部位が所定割合以上含まれていた場合には、この領域について障害物が存在しない旨を判断することを特徴とする。
【0019】
第6の発明によれば、第2から第5の発明の作用に加えてさらに、障害物判断部は、障害物の有無を判断する領域における距離分散を求めており、この分散が小さい、例えば、近距離よりも遠い距離のエッジ部位が所定割合以上含まれていた場合には、この領域については近距離の障害物が存在しない旨を判断する。当該領域は立体物であると擬制できるが、未だ遠方に存在しており、直ちに警告する程度の障害物ではないからである。これにより、直ちに警告を要する障害物だけを速やか、かつ、確実に検知できる。
【0020】
第7の発明は、第1から第6の発明の構成において、制御手段は、エッジ抽出部で抽出したエッジ部位の状態に基づきひとまとまりのエッジ部位を囲んだ解析領域を設定する解析領域設定部をさらに備え、障害物判断部は、解析領域設定部で設定された解析領域毎に障害物の有無を判断することを特徴とする。
第7の発明によれば、第1から第6の発明の作用に加えてさらに、障害物判断部が、解析領域設定部で設定された解析領域毎に障害物の有無を判断しており、電子画像内に出力された複数の輪郭のそれぞれを解析領域に設定できるので、この点も障害物の有無の確実な判断に寄与する。
【0021】
第8の発明は、第1から第7の発明の障害物検知装置を搭載した車両であることを特徴とする。
第8の発明によれば、第1から第7の発明の作用に加えてさらに、上述の障害物検知装置を搭載した車両では、障害物に対して迅速な対応が可能になるため、衝突の未然防止を確実に図ることができる。
【発明の効果】
【0022】
本発明によれば、輪郭に相当するエッジ部位の輝度変化の状態のみに着目しており、1台のカメラを用いつつ、簡易な演算処理で、障害物の検知結果を速やかに得る障害物検知装置、および当該装置を搭載した車両を提供することができる。
【図面の簡単な説明】
【0023】
【図1】本実施例の障害物検知装置を搭載した車両の概略構成図である。
【図2】図1の障害物検知装置のブロック図である。
【図3】図1の障害物検知装置の動作フロー図である。
【図4】図1のカメラで撮影される実際の風景を示す図である。
【図5】図1のカメラによる結像画像を示す図である。
【図6】図2の距離画像演算部による距離画像を示す図である。
【図7】図2の距離画像演算部における輝度変化の状態の説明図である。
【図8】図2の解析領域設定部による解析領域画像、および図2の障害物判断部による距離分散画像を示す図である。
【図9】図2の障害物判断部で用いられる概念の説明図である。
【図10】図2の障害物判断部における距離分散の説明図である。
【図11】図1の障害物検知装置による他の撮影画像の処理説明図である。
【発明を実施するための形態】
【0024】
以下、本発明の好適な実施の形態を図面に基づいて説明する。
図1は、本実施例の障害物検知装置を搭載した車両の概略構成図であり、車両は道路55上を走行している。この車両の車体2は、ルーフ8を挟んでボンネット6等を有し、車室10と車外22とを区画する。この車室10の適宜位置にはステアリング12やシートが配置され、このステアリング12の近傍には警告モニター16が設置されている。
【0025】
車体2の前部4には、計1台のデジタルカメラ(カメラ)40が取り付けられている。そして、このカメラ40は車外22のうち車両前方を視野領域とし、この車両前方を撮影して電子画像を制御部(制御手段)60に出力する。なお、車体2の後部9にも計1台のカメラをさらに取り付け、車両後方をも視野領域としても良い。
【0026】
本実施例の障害物検知装置は、図2に示される如く、デジタルカメラ40、制御部60、および警告モニター16で構成される。
このカメラ40は1個のレンズ(結像手段)42を有し、このレンズ42は被写体までの焦点距離が近距離側で固定されている。具体的には、近距離の被写体に対しては焦点が合う一方、遠距離の被写体に対しては焦点が合わないように設定される。また、カメラ40の被写界深度はできる限り浅く設定される。
【0027】
つまり、このカメラ40から約1m離れた地点では、約6mmの被写体が1ピクセル内に占めており、カメラ40からの距離が大きくなるに連れて被写体のぼやけ具合が大きくなり、この被写体の幅も大きくなる。
そして、当該レンズ42による結像画像は、例えばCMOSセンサ44、A/D変換部、画像処理用のICを経て電子画像になり、このドットマトリクス状に区画された電子画像が制御部60に出力される。
【0028】
この制御部60は、CPUやROM、RAM、I/Oコントローラ等の周辺ICを有した電子回路モジュールで構成され、その入力側には、上述したカメラ40の他、車両の運転状態を検出する各種センサが電気的に接続される。一方、この制御部60の出力側には、上述した警告モニター16に加え、車両の各種アクチュエータが電気的に接続されている。
【0029】
また、本実施例の制御部60はエッジ抽出部62を有する。このエッジ抽出部62は、フルカラーの電子画像、或いはさらにグレースケール加工が施された電子画像から被写体の輪郭を抽出する。この抽出結果は距離画像演算部64に出力される。
距離画像演算部64は、カメラ40と抽出された輪郭との距離を演算しており、その演算結果は解析領域設定部66に出力される。
【0030】
この解析領域設定部66は、人物認識アルゴリズム等の物体認識アルゴリズムを用い、抽出された輪郭の状態を分析して当該輪郭を囲む解析領域を設定する。この設定結果は障害物判断部68に出力され、この障害物判断部68は、仮に解析領域が複数存在している場合には、解析領域毎に障害物の有無を判断する。
【0031】
そして、障害物判断部68は、この車両前方にて障害物を検知した場合には警告信号を警告モニター16に出力する。
警告モニター16は液晶表示部18やスピーカ20を有する。液晶表示部18では、この障害物については例えば赤色の強調処理が施され、その周辺領域よりも強調して表示される。同時に、スピーカ20からは、障害物の存在を運転者に了知させる音声が発せられる。なお、この警告モニター16は、ナビゲーション装置の構成部品としても機能し、液晶表示部18には地図や操作メニュー等も表示可能である。
【0032】
次に、図3には障害物の警告までの動作フローが示されており、以下、上述した障害物検知装置の本発明に係る作用について説明する。
まず、本実施例のカメラ40が図4に示された領域50を被写体として撮影する場合を想定する。この領域50は、畑51と空52とが略均等に配置され、当該領域50の中央部分からやや右寄りには、真直ぐな道路55が畑51を左右に分断するように延びている。この道路55には左車線と右車線とを区画する一直線の白線56が引かれている。
【0033】
また、この領域50の中央部分であって、道路55の左車線の左側には樹木54が植えられている。さらに、この樹木54の左手前には歩行者53が立ち止まっている。
そして、カメラ40が当該領域50を近距離の被写体に合焦するように撮影すると、図5に示される如く、その結像画像70は、歩行者53や白線56の手前側については焦点が合っているのに対し、この位置よりも遠くなるに連れて焦点が合わなくなる。
【0034】
詳しくは、同図の破線で示されるように、この手前側の白線56から樹木54までの間に位置する白線56では、焦点がやや合わなくなり、さらに、樹木54や、この樹木54よりも遠方に位置する白線56では焦点が殆ど合わなくなる。
そして、この結像画像70はCMOSセンサ44等を用いて電子画像になり、この電子画像が制御部60に取り込まれる(ステップS301)。
【0035】
次に、本実施例の制御部60では、ドットマトリクス状に区画された電子画像の色を識別し、その後、この電子画像をグレースケール画像、図6の距離画像80、図8の解析領域画像90に順次変換して障害物を特定する。
具体的には、電子画像は、各ピクセルに例えばR値(赤色)、G値(緑色)、B値(青色)のそれぞれ256階調からなる24ビットの色情報を有している。
【0036】
本実施例のグレースケール画像は、例えばこれらR値、G値、B値の合計を3で除した中間値を用い、各ピクセルに256階調からなる8ビットの色情報を有する。なお、このグレースケール画像は、上記中間値に替えて、特定の値(例えばB値のみ)を用いる、若しくは、R値、G値、B値にそれぞれに係数を付与した値を用いて求めても良い。
【0037】
続いて、ステップS302では、エッジ抽出部62が被写体の輪郭に相当するエッジ部位を抽出する。
詳しくは、このエッジ抽出部62は、上記グレースケール画像を構成した画素、つまり、まず、歩行者53については、歩行者53の輪郭、この輪郭の中身や、歩行者53の背景である畑51の輝度データをそれぞれ検出し、互いに隣接する各画素の輝度の強さをみている。
【0038】
そして、エッジ抽出部62は、これら隣接した画素の輝度差が所定値以上の画素をエッジ部位として抽出しており、輝度差の大きな画素を黒色に近い色にするのに対し、輝度差の小さな画素、換言すれば、輝度の起伏のない画素を白色に近い色にする。つまり、歩行者53の輪郭と畑51との境界部分、歩行者53の輪郭と中身との境界部分のみが黒色に近い色に変わる。この結果、黒色に近い色で明確に残った箇所が歩行者53のエッジ部位83と擬制される(図6)。
【0039】
また、樹木54も同様に、樹木54の輪郭と畑51との境界部分、樹木54の輪郭と空52との境界部分、樹木54の輪郭とその中身との境界部分のみが黒色に近い色に変わり、黒色に近い色で不明確に残った箇所が樹木54のエッジ部位84と擬制される。より詳しくは、図6の破線で示されたエッジ部位84の幅は、図4の領域50における樹木54の幅よりも大きくなり、同じ撮影対象を受け持つ画素の数が多くなっていることが分かる。
【0040】
さらに、白線56についても、白線56の輪郭と道路55との境界部分、白線56の輪郭と空52との境界部分、白線56の輪郭とその中身との境界部分のみが黒色に近い色に変わる。そして、この黒色に近い色で明確に残った箇所が白線56のエッジ部位86と、この黒色に近い色でやや不明確に残った箇所が白線56のエッジ部位87と、この黒色に近い色で不明確に残った箇所が白線56のエッジ部位88とそれぞれ擬制される。
【0041】
次に、ステップS303では、距離画像演算部64が、これら歩行者53のエッジ部位83、樹木54のエッジ部位84、および白線56のエッジ部位86,87,88について、カメラ40からの距離データをそれぞれ割り当てる。この距離データは、例えば近距離域、中距離域、および遠距離域の3段階に分けられており、制御部60に予め格納されている。
【0042】
ここで、本実施例の距離画像演算部64は、各エッジ部位83,84,86,87,88における輝度変化の状態に基づき上記距離データを各エッジ部位83,84,86,87,88に割り当てている。
具体的には、まず、エッジ部位83の中間輝度値とは、エッジ部位83を示す輝度のうち、黒色に近い色の輝度値(下限輝度値)と白色に近い色の輝度値(上限輝度値)との間に位置する値であり、その中間輝度値を有する画素の割合とは、エッジ部位の所定領域の全画素のうちの中間輝度値を有する画素が占める割合である。
【0043】
これは、当該カメラ40による電子画像は、近距離の被写体では解像度が高くなるのに対し、遠距離の被写体では解像度が低くなるため、中間輝度値を有する画素の数(以下、中間輝度画素数と称する)は、解像度の高い近距離の被写体では少なくなり、下限輝度値から上限輝度値までの間に例えば図7(a)に示すように1個になる。これに対し、この中間輝度画素数は、解像度の低い遠距離の被写体では多くなり、下限輝度値から上限輝度値までの間に複数個(例えば図7(b)に示すように5個)になる点に着目したものである。
【0044】
制御部60には、カメラ40から被写体までの距離と中間輝度画素数との関係(基準エッジ情報)が予め格納されている。そこで、距離画像演算部64は、各エッジ部位83,84,86,87,88に関する中間輝度割合と上記基準エッジ情報とを比較し、各エッジ部位83,84,86,87,88を近距離域、中距離域、もしくは遠距離域の3段階に振り分けている。
【0045】
より詳しくは、図7(a)に示されるように、まず、歩行者53のエッジ部位83は、下限輝度値から急激に立ち上がって上限輝度値に達しており、エッジ部位83に関する中間輝度画素数は1個である。
つまり、エッジ部位83の中間輝度割合は、下限輝度値、1個の中間輝度値、および上限輝度値の3個があり、中間輝度画素数は1個なので、1/3として表すことができる。
【0046】
これにより、距離画像演算部64は、このエッジ部位83については近距離域のエッジ部位である旨を判定し、赤色で強調表示する。
また、白線56のエッジ部位86についても、歩行者53のエッジ部位83と同様の中間輝度割合を有し、距離画像演算部64は近距離域のエッジ部位である旨を判定し、同じく赤色で強調表示する。
【0047】
一方、図7(b)に示される如く、樹木54のエッジ部位84は、下限輝度値から緩やかに立ち上がって上限輝度値に達し、このエッジ部位84に関する中間輝度画素数は5個である。つまり、当該画素数の範囲が図7(a)に1点鎖線で示された範囲よりも広がり、エッジ部位84の中間輝度割合は、下限輝度値、5個の中間輝度値、および上限輝度値の7個があり、中間輝度画素数は5個なので、5/7として表すことができる。
【0048】
この結果、距離画像演算部64は、このエッジ部位84については遠距離域のエッジ部位である旨を判定する。また、白線56のエッジ部位88についても同様の中間輝度割合を有しており、やはり遠距離域のエッジ部位である旨を判定する。そして、これらエッジ部位84,88については青色で強調表示する。
これに対し、図7(c)に示されるように、白線56のエッジ部位87の中間輝度割合は、歩行者53のエッジ部位83よりは多いが、樹木54のエッジ部位84よりは少ない。
【0049】
そして、このエッジ部位87に関する中間輝度画素数は2個である。つまり、当該画素数の範囲が図7(a)に1点鎖線で示された範囲よりも広いが、図7(b)に1点鎖線で示された範囲よりは狭くなり、エッジ部位87の中間輝度割合は、下限輝度値、2個の中間輝度値、および上限輝度値の4個があり、中間輝度画素数は2個なので、2/4として表すことができる。
【0050】
この結果、距離画像演算部64は、このエッジ部位87については中距離域のエッジ部位である旨を判定し、緑色で強調表示する。
このように、距離画像演算部64は、図6に示される距離画像80を生成し、エッジ部位83,86は赤色で明確に、エッジ部位87は緑色でやや不明確に、エッジ部位84,88は青色で不明確に表示される。
なお、ここでは、中間輝度値を有する画素の状態として中間輝度割合を用いたが、割合でなく画素数を用いてもよく、また、隣接する画素と輝度が異なる画素の数、すなわち輝度変化画素数を用いてもよい。
【0051】
ところで、この距離画像80によれば、カメラ40までの距離は分かるが、各被写体が立体物であるか、或いは路面等の平面物であるかは不明であり、このままでは障害物の判断はできないことになる。
そこで、ステップS304に進み、解析領域設定部66が障害物の解析する範囲を設定してステップS305に進む。
【0052】
具体的には、解析領域設定部66が、物体認識アルゴリズムを用いて各エッジ部位83,84,86,87,88の状態をそれぞれ分析すると、図8の解析領域画像90で1点鎖線にて示されるように、エッジ部位83に対しては単独の解析領域93を設定し、液晶表示部18に重ねて表示する。
エッジ部位84にも同様に単独の解析領域94を設定する。また、エッジ部位86,87,88については、これらでひとまとまりの解析領域96を設定する。
【0053】
続いて、ステップS305では、障害物判断部68が解析領域93,94,96毎に障害物の有無を判断する。
本実施例の障害物判断部68は、解析領域93,94,96内における距離分散を求めている。
より詳しくは、車両後方にて被写体が歩いている例で説明すると、立体物が道路55を歩いている図9(a)に示されるように、後部9に設けられたカメラから立体物の頭部までの距離a、カメラから腹部までの距離b、およびカメラから足元部までの距離cはいずれも略等しい値になる。
【0054】
これに対し、平面物、例えば歩いている立体物の絵が道路55に描かれていた場合には、図9(b)に示される如く、同じくカメラから頭部までの距離dがカメラから腹部までの距離eよりも長く、この距離eはカメラから足元部までの距離fよりも長くなり、いずれも異なる値になる。
そして、立体物である図9(a)の距離a,b,cは、カメラから等しい距離に集中する一方、平面物である図9(b)の距離d,e,fは、カメラから近距離、中距離、および遠距離に亘って分散し得ることになる。
【0055】
そこで、障害物判断部68は、解析領域93,94,96内における距離分散を求めており、立体物であるか、或いは平面物であるかを判定して障害物を判断している。
具体的には、まず、解析領域93について距離別の画素数を調べると、図10(a)に示されるように、近距離域に多くの画素が集中し、次いで、中距離域に若干存在するが、横軸の1近辺、つまり、遠距離域には画素が存在しないことが分かる。
【0056】
よって、障害物判断部68は、解析領域93については近距離域の立体物であり、障害物が存在する旨を直ちに判断し、この判断結果を警告モニター16に出力する(ステップS306)。
これにより、図8で既に赤色だけで強調表示された歩行者53のエッジ部位83について、1点鎖線の解析領域93自体を赤色の実線枠にしてさらに強調表示するとともに、「障害物が道路の左脇にあります」との音声がスピーカ20から発せられて一連のルーチンを抜ける。この結果、運転者に回避行動、例えば、ステアリング12を操作して右車線に移る、或いは、ブレーキを操作して歩行者53の手前で一旦停止する等を促すことができる。
【0057】
次に、解析領域94について距離別の画素数を調べると、図10(b)に示される如く、遠距離域に多くの画素が集中し、次いで、中距離域に若干存在するが、近距離域には画素が存在しないことが分かる。
よって、障害物判断部68は、解析領域94については遠距離域の立体物であり、近距離の障害物が存在しない旨を判断し、この判断結果を警告モニター16に出力する(ステップS306)。
【0058】
つまり、この樹木54のエッジ部位84は、図8では既に青色だけで強調表示されているが、スピーカ20からは音声を生じさせない。立体物であるが、運転者に直ちに回避行動を促す程度の危険性が少ないからである。
続いて、解析領域96について距離別の画素数を調べると、近距離域から遠距離域に亘って画素が広く存在していることが分かる(図10(c))。
【0059】
よって、障害物判断部68は、解析領域96については平面物であり、障害物が存在しない旨を判断し、この判断結果を警告モニター16に出力する(ステップS306)。
すなわち、白線56のエッジ部位86は図8では赤色で、エッジ部位87は緑色で、エッジ部位88は青色で既に強調表示されているものの、スピーカ20からは音声をやはり生じさせない。平面物であり、運転者に回避行動を促す危険性がないからである。
【0060】
なお、上述のように、樹木54は立体物である旨が判定されているため、この後、車両がさらに前方に向けて走行を続けた場合には、カメラ40と樹木54との距離が縮まる。したがって、この場合の距離画像演算部64は樹木54のエッジ部位84を赤色だけで強調表示し、障害物判断部68は、上述した歩行者53の場合と同様に、障害物が存在する旨を直ちに判断し、この判断結果を警告モニター16に出力することになる。
【0061】
以上のように、本実施例によれば、単眼のカメラ40が、近距離被写体に合焦し遠距離被写体に合焦しないように設定されており、レンズ42の結像画像70を電気信号に変換して電子画像を制御部60に向けて出力する。
この制御部60は、エッジ抽出部62、距離画像演算部64、解析領域設定部66および障害物判断部68を有する。
【0062】
ここで、図11、すなわち、1車線の路面の両端に白線が引かれ、多数の歩行者が車両前方に存在している街頭の風景を用いて説明すると、エッジ抽出部62は、この図11(a)のグレースケール画像72上における隣接した画素の輝度差が所定値以上のエッジ部位を被写体の輪郭として抽出し、この抽出結果を距離画像演算部64に出力する。
【0063】
距離画像演算部64は、輪郭であるエッジ部位の中間輝度割合に基づいて、近距離のエッジ部位である旨、中距離のエッジ部位である旨、遠距離のエッジ部位である旨をそれぞれ判定しており、エッジ部位の輝度データだけでカメラ40と被写体との距離を表す距離画像80を生成する(同図(b))。
より具体的には、この距離画像80では、近距離のエッジ部位が画面の左端近傍に存在しているため、明確な状態で赤色表示される。また、この赤色表示されたエッジ部位の右側や、画面の右側には、やや近距離のエッジ部位がそれぞれ存在しており、やや明確な状態で黄色表示されている。
【0064】
さらに、この黄色表示されたエッジ部位の内側には、やや不明確な状態で緑色表示された中距離のエッジ部位や、不明確な状態で青色表示された遠距離のエッジ部位が存在している。また、白線のエッジ部位については手前から明確状態の赤色、やや明確な状態の黄色、やや不明確な状態の緑色、および不明確な状態の青色の順で表示される。
【0065】
この距離画像80は、距離画像演算部64から解析領域設定部66を介して障害物判断部68に出力され、障害物判断部68は、同図(c)の解析領域設定画像90において、赤色表示の近距離エッジ部位が所定割合以上含まれる解析領域93や、黄色表示のやや近距離エッジ部位が所定割合以上含まれる解析領域93について障害物が存在する旨を判断し(同図(d))、警告モニター16に信号を出力する。
【0066】
したがって、1個のカメラ40で得られた1つの電子画像から距離画像80を生成可能になり、障害物検知装置の構造が複雑にならない。さらに、従来のステレオカメラの構成に比して複数個のカメラに対する配置や感度等の特性調整が不要になるし、また、ステレオカメラ、或いは、単眼カメラであっても輝度データや色データの組み合わせを用いた場合に比して、電子画像に対するステレオマッチングや天候別等の補正処理も不要になるので、制御部60での演算処理が簡易で済む。よって、障害物の検知結果が速やかに得られる。
【0067】
しかも、中間輝度割合のみでカメラ40から被写体までの距離を得ており、特性変動を受け難くなることから、輝度データや色データの組み合わせを用いた場合に比してロバスト性を確保できる。
これらの結果、障害物検知装置の信頼性が大幅に向上する。
さらに、電子画像は大きさ一定の複数個の画素で構成されているが、中間輝度変化画素数は、カメラ40から被写体までの距離が遠くなるに連れて多くなる。この遠距離の被写体では解像度が低下し、画素の大きさが一定であるにも拘わらず、同じ撮影対象を受け持つ画素数は遠距離ほど多くなるからである。
【0068】
よって、このエッジ部位における中間輝度割合と、カメラ40から被写体までの距離との関係を用いれば距離画像80を確実に生成できる。
さらにまた、障害物判断部68は、同図(d)の解析領域93,94,96における距離分散を求めており、まず、白線の解析領域96のように、この分散が大きい、つまり、赤色や黄色の近距離に相当するエッジ部位と、緑色の中距離エッジ部位や青色の遠距離エッジ部位との両方が略同等に含まれていた場合には、この領域96について障害物が存在しない旨を判断する。当該領域96は平面物であると擬制できるからである。これにより、障害物の誤検知が回避可能になる。
【0069】
また、上述した赤色表示の近距離エッジ部位、および黄色表示のやや近距離エッジ部位の解析領域93の如く、この分散が小さい、例えば、赤色や黄色表示の近距離に相当するエッジ部位が、緑色表示の中距離エッジ部位や青色表示の遠距離エッジ部位よりも多く含まれていた場合には、この領域93について障害物が存在する旨を判断する。当該領域93は近距離の立体物であると擬制できるからである。これにより、車両に近い障害物の速やか、かつ、確実な検知が可能になる。
【0070】
さらに、上述した緑色表示の中距離エッジ部位、および青色表示の遠距離エッジ部位の解析領域94の如く、この分散が小さい、例えば、緑色表示の中距離エッジ部位や青色表示の遠距離エッジ部位が、赤色や黄色表示の近距離に相当するエッジ部位よりも多く含まれていた場合には、この領域94について障害物が存在しない旨を判断する。当該領域は立体物であると擬制できるが、未だ遠方に存在しており、直ちに警告する程度の障害物ではないからである。これにより、直ちに警告を要する障害物だけを速やか、かつ、確実に検知できる。
【0071】
さらにまた、障害物判断部68が、解析領域設定部66で設定された解析領域93,94,96毎に障害物の有無を判断しており、電子画像内に出力された複数の輪郭のそれぞれを解析領域93,94,96に設定できるので、この点も障害物の有無の確実な判断に寄与する。
また、上述の障害物検知装置を搭載した車両では、障害物に対して迅速な対応が可能になるため、衝突の未然防止を確実に図ることができる。
【0072】
本発明は、上記実施例に限定されず、特許請求の範囲を逸脱しない範囲で種々の変更を行うことができる。
例えば、上記実施例ではRGB表色系を用いているが、他の表色系を用いても良く、また、エッジ部位はグレースケール画像を用いればより容易に抽出可能になるものの、隣接した画素の輝度差から抽出する限り、抽出フィルタなどを用いてフルカラーの電子画像から抽出しても良い。
【0073】
さらに、本実施例の障害物検知装置は車両に搭載されているが、必ずしもこの形態に限定されるものではなく、例えば人間に遠隔操作される救助活動用のロボットなどにも搭載可能である。
そして、これらいずれの場合にも上記と同様に、1台のカメラを用いつつ、障害物の検知結果を速やかに得ることができるとの効果を奏する。
【符号の説明】
【0074】
40 デジタルカメラ(カメラ)
42 レンズ(結像手段)
60 制御部(制御手段)
62 エッジ抽出部
64 距離画像演算部
66 解析領域設定部
68 障害物判断部
80 距離画像
83,84,86,87,88 エッジ部位
90 解析領域画像
93,94,96 解析領域

【特許請求の範囲】
【請求項1】
1個の結像手段により結像される画像を電気信号に変換して電子画像を出力するカメラと、
前記電子画像上における輝度勾配に基づき求められるエッジ部位を被写体の輪郭として抽出するエッジ抽出部、前記カメラと前記被写体との距離を表す距離画像を生成する距離画像演算部、および前記距離画像に基づき障害物の有無を判断する障害物判断部、を有する制御手段とを備え、
前記カメラは、近距離被写体に合焦し遠距離被写体に合焦しないように設定され、
前記距離画像演算部は、前記エッジ部位における輝度変化の状態に基づいて、近距離のエッジ部位である旨と、この近距離よりも遠い距離のエッジ部位である旨とをそれぞれ判定して距離画像を生成し、
前記障害物判断部は、前記近距離のエッジ部位が所定割合以上含まれる領域について障害物が存在する旨を判断することを特徴とする障害物検知装置。
【請求項2】
請求項1に記載の障害物検知装置であって、
前記距離画像演算部は、前記エッジ部位における下限輝度値と上限輝度値の間の中間輝度値を有する画素の数を用いて中間輝度割合を求めており、前記中間輝度割合に基づき距離画像を生成することを特徴とする障害物検知装置。
【請求項3】
請求項1に記載の障害物検知装置であって、
前記距離画像演算部は、前記エッジ部位において隣接する画素と輝度が異なる画素の数に基づき距離画像を生成することを特徴とする障害物検知装置。
【請求項4】
請求項2,3に記載の障害物検知装置であって、
前記障害物判断部は、所定領域内における障害物の有無を判断しており、この領域内における距離分散を求め、前記近距離のエッジ部位と前記近距離よりも遠い距離のエッジ部位の両方が含まれていた場合には、この領域について障害物が存在しない旨を判断することを特徴とする障害物検知装置。
【請求項5】
請求項2又は3又は4に記載の障害物検知装置であって、
前記障害物判断部は、所定領域内における障害物の有無を判断しており、この領域内における距離分散を求め、前記近距離のエッジ部位が所定割合以上含まれていた場合には、この領域について障害物が存在する旨を判断することを特徴とする障害物検知装置。
【請求項6】
請求項2から5のいずれか一項に記載の障害物検知装置であって、
前記障害物判断部は、所定領域内における障害物の有無を判断しており、この領域内における距離分散を求め、前記近距離よりも遠い距離のエッジ部位が前記近距離のエッジ部位よりも多く含まれていた場合には、この領域について障害物が存在しない旨を判断することを特徴とする障害物検知装置。
【請求項7】
請求項1から6のいずれか一項に記載の障害物検知装置であって、
前記制御手段は、前記エッジ抽出部で抽出した前記エッジ部位の状態に基づきひとまとまりのエッジ部位を囲んだ解析領域を設定する解析領域設定部をさらに備え、
前記障害物判断部は、前記解析領域設定部で設定された解析領域毎に障害物の有無を判断することを特徴とする障害物検知装置。
【請求項8】
請求項1から7のいずれか一項に記載の障害物検知装置を搭載したことを特徴とする車両。

【図1】
image rotate

【図2】
image rotate

【図3】
image rotate

【図4】
image rotate

【図5】
image rotate

【図6】
image rotate

【図7】
image rotate

【図8】
image rotate

【図9】
image rotate

【図10】
image rotate

【図11】
image rotate


【公開番号】特開2010−257282(P2010−257282A)
【公開日】平成22年11月11日(2010.11.11)
【国際特許分類】
【出願番号】特願2009−107381(P2009−107381)
【出願日】平成21年4月27日(2009.4.27)
【出願人】(000010098)アルプス電気株式会社 (4,263)
【出願人】(000005326)本田技研工業株式会社 (23,863)
【Fターム(参考)】