説明

障害物検出システム、及び障害物検出方法

【課題】検出対象となる障害物候補領域の縦横比に基づいて、画像データから検出された障害物候補領域を拡張することで、障害物に属さない輝度エッジが障害物下方に存在する場合においても確実に障害物を検出することができる障害物検出システム、及び障害物検出方法を提供する。
【解決手段】車両の周辺を撮像する撮像装置で撮像した画像データを取得して画像中の障害物の存在を検出する。検出装置は、撮像装置から取得した画像データに基づいて画像内の障害物候補領域を特定し、特定された障害物候補領域の下方にエッジが連続的に存在するか否かを判断する。エッジが存在しないと判断されるまで、検出対象となる障害物に固有の縦横比で障害物候補領域を拡張し、拡張された障害物候補領域から所定の特徴量を抽出して、障害物が存在するか否かを判定する。

【発明の詳細な説明】
【技術分野】
【0001】
本発明は、車両の周辺を撮像する撮像装置で撮像した画像データに基づいて、精度良く障害物の存在を検出することができる障害物検出システム、及び障害物検出方法に関する。
【背景技術】
【0002】
自動車等の車両に、照度が低く可視光カメラでは撮像することが困難な夜間であっても周囲を撮像することが可能な赤外線撮像装置を搭載し、例えば車両前方の歩行者、自転車等の障害物の存在を検出する障害物検出システムが多々開発されている。赤外線撮像装置は、近赤外線を用いるもの及び遠赤外線を用いるものの2種類に大別されている。
【0003】
例えば非特許文献1には、遠赤外線撮像装置を用いた障害物検出システムが開示されている。非特許文献1では、撮像した画像に対してノイズ除去処理、及び二値化処理を施してから障害物が存在する可能性のある領域である障害物候補領域を抽出する。さらに画像にエッジ抽出処理を施し、エッジの存在しない画像下部領域を道路を示す領域として抽出する。道路を示す領域を障害物の下端位置として推定することにより、障害物候補領域を適切に拡張することができ、該障害物候補領域から特徴量を抽出して、画像中に存在する歩行者、自転車等の障害物を検出している。
【非特許文献1】H.Xu、他2名、「ナイトビジョンによる歩行者検出及び追尾(Pedestrian Detection and Tracking with Night Vision)」、IEEE知的車両シンポジウム、p.63−71、2005年3月
【発明の開示】
【発明が解決しようとする課題】
【0004】
しかし、障害物候補領域を道路を示す領域まで拡張する場合、例えば歩行者が歩道に存在する場合、路面表示が存在する場合等には、障害物候補領域を過大に拡張するおそれがあり、歩行者の存在自体を検出することができないおそれがあるという問題点があった。
【0005】
例えば、自車両が走行する車線であり、しかも路面表示等が存在しない場合には、特に遠赤外線撮像装置で撮像された画像には歩行者等の障害物より下方に輝度エッジがほとんど存在しない。したがって、道路を示す領域を正確に特定することができ、障害物候補領域を適切に拡張することができる。しかし、走行する車線の隣の車線、歩道等、あるいは路面表示等が存在する場合には、縁石、白線等の輝度エッジとなりうる部分が障害物より下方に存在している。したがって、縁石、白線、路面表示等の輝度エッジを道路を示す領域の上端、すなわち障害物候補領域の下端として検出することにより、障害物候補領域が縁石、白線等まで過大に下方へ拡張され、歩行者ではないと判定されるおそれがあった。
【0006】
本発明は、斯かる事情に鑑みてなされたものであり、検出すべき障害物に属する輝度エッジの連結度に基づいて、画像データから検出された障害物候補領域を拡張することで、障害物に属さない輝度エッジが障害物下方に存在する場合においても確実に障害物を検出することができる障害物検出システム、及び障害物検出方法を提供することを目的とする。
【課題を解決するための手段】
【0007】
上記目的を達成するために第1発明に係る障害物検出システムは、車両の周辺を撮像する撮像装置と、該撮像装置で撮像した画像データを取得して画像中の障害物の存在を検出する検出装置とを備える障害物検出システムにおいて、前記検出装置は、前記撮像装置から取得した画像データに基づいて画像内の障害物候補領域を特定する障害物候補領域特定手段と、特定された障害物候補領域の下方にエッジが連続的に存在するか否かを判断する手段と、該手段でエッジが存在しないと判断されるまで、検出対象となる障害物に固有の縦横比で前記障害物候補領域を拡張する障害物候補領域拡張手段と、拡張された障害物候補領域から所定の特徴量を抽出する特徴量抽出手段と、抽出された特徴量に基づいて障害物が存在するか否かを判定する障害物判定手段とを備えることを特徴とする。
【0008】
第2発明に係る障害物検出システムは、第1発明において、前記撮像装置から取得した画像データに基づいて路面を示す領域を検出する手段と、前記障害物候補領域に相当する部分が、検出された路面を示す領域に相当する部分の上方に存在するか否かを判断する手段と、該手段で存在すると判断された場合、路面を示す領域上であって、該障害物候補領域に相当する部分が上方に存在する部分に相当する位置まで、前記障害物候補領域を拡張するようにしてあることを特徴とする。
【0009】
第3発明に係る障害物検出方法は、車両の周辺を撮像する撮像装置と、該撮像装置で撮像した画像データを取得して画像中の障害物の存在を検出する検出装置とを用い、障害物を検出する障害物検出方法において、前記検出装置にて、前記撮像装置から取得した画像データに基づいて画像内の障害物候補領域を特定し、特定された障害物候補領域の下方にエッジが連続的に存在するか否かを判断し、エッジが存在しないと判断されるまで、検出対象となる障害物に固有の縦横比で前記障害物候補領域を拡張し、拡張された障害物候補領域から所定の特徴量を抽出し、抽出された特徴量に基づいて障害物が存在するか否かを判定することを特徴とする。
【0010】
第1発明、及び第3発明では、車両の周辺を撮像する撮像装置と、該撮像装置で撮像した画像データを取得して画像中の障害物の存在を検出する検出装置とを用い、障害物を検出する。検出装置は、撮像装置から取得した画像データに基づいて画像内の障害物候補領域を特定し、特定された障害物候補領域の下方にエッジが連続的に存在するか否かを判断し、エッジが存在しないと判断されるまで、検出対象となる障害物に固有の縦横比で前記障害物候補領域を拡張する。拡張された障害物候補領域から所定の特徴量を抽出し、抽出された特徴量に基づいて障害物が存在するか否かを判定する。検出すべき対象物に固有の縦横比を維持しつつ、特定された障害物候補領域をエッジが途切れるまで下方に拡張することにより、例えば障害物が自車両が走行する車線上に存在しない場合、路面表示が存在する場合等であっても、従来の問題点であった縁石、白線、路面表示等を示すエッジまで過大に障害物候補領域を拡張することが無く、障害物の存在を看過することを未然に防止することが可能となる。
【0011】
第2発明では、撮像装置から取得した画像データに基づいて路面を示す領域を検出し、障害物候補領域に相当する部分が、検出された路面を示す領域に相当する部分の上方に存在するか否かを判断する。存在すると判断された場合、路面を示す領域上であって、該障害物候補領域に相当する部分が上方に存在する部分に相当する位置まで、障害物候補領域を拡張する。路面を示す領域内ではエッジがほとんど存在しないことから、路面に相当する位置まで障害物候補領域を拡張することにより、障害物であるか否か、特に歩行者であるか否かを精度良く判定することが可能となる。
【発明の効果】
【0012】
本発明によれば、検出すべき対象物に固有の縦横比を維持しつつ、特定された障害物候補領域をエッジが途切れるまで下方に拡張することにより、例えば障害物が自車両が走行する車線上に存在しない場合、路面表示が存在する場合等であっても、従来の問題点であった縁石、白線、路面表示等を示すエッジまで過大に障害物候補領域を拡張することが無く、障害物の存在を看過することを未然に防止することが可能となる。
【発明を実施するための最良の形態】
【0013】
以下、本発明の実施の形態について、図面を参照しながら詳細に説明する。なお、以下の実施の形態では、夜間走行中に遠赤外線撮像装置で撮像された画像に基づいて車両の前方に障害物、特に歩行者の存在を検出する場合を例として説明する。
【0014】
図1は、本発明の実施の形態に係る障害物検出システムの構成を示す模式図である。本実施の形態では、夜間走行中に周辺の画像を撮像する遠赤外線撮像装置1を、車両前方の中央近傍のフロントグリル内に搭載している。なお、遠赤外線撮像装置1は、波長が7〜14マイクロメートルの赤外光を用いた撮像装置である。なお、遠赤外線撮像装置1を用いることに限定されるものではなく、波長が0.8〜3マイクロメートルの赤外光を用いた撮像装置である近赤外線撮像装置であっても良いし、昼間の走行中に撮像する場合には可視光撮像装置であっても良い。遠赤外線撮像装置1で撮像された画像データは、NTSC等のアナログ映像方式、又はデジタル映像方式に対応した映像ケーブル7を介して接続してある検出装置3へ送信される。
【0015】
検出装置3は、遠赤外線撮像装置1の他、操作部を備えた表示装置4とは、NTSC、VGA、DVI等の映像方式に対応したケーブル8を介して接続されており、音声、効果音等により聴覚的な警告を発する警報装置5等の出力装置とは、CANに準拠した車載LANケーブル6を介して接続されている。
【0016】
図2は、本発明の実施の形態に係る障害物検出システムの遠赤外線撮像装置1の構成を示すブロック図である。画像撮像部11は、光学信号を電気信号に変換する撮像素子をマトリックス状に備えている。赤外光用の撮像素子としては、マイクロマシニング(micromachining)技術を用いた酸化バナジウムのボロメータ型、BST(Barium−Strontium−Titanium)の焦電型等の赤外線センサを用いている。画像撮像部11は、車両の周囲の赤外光像を輝度信号として読み取り、読み取った輝度信号を信号処理部12へ送信する。
【0017】
信号処理部12は、LSIであり、画像撮像部11から受信した輝度信号をRGB信号等のデジタル信号に変換し、撮像素子のばらつきを補正する処理、欠陥素子の補正処理、ゲイン制御処理等を行い、画像データとして画像メモリ13へ記憶する。なお、画像データを画像メモリ13へ一時記憶することは必須ではなく、映像出力部14を介して直接検出装置3へ送信しても良いことは言うまでもない。
【0018】
映像出力部14は、LSIであり、NTSC等のアナログ映像方式、又はデジタル映像方式に対応した映像ケーブル7を介して検出装置3に映像データを出力する。
【0019】
図3は、本発明の実施の形態に係る障害物検出システムの検出装置3の構成を示すブロック図である。映像入力部31aは、遠赤外線撮像装置1から映像信号の入力を行う。映像入力部31aは、遠赤外線撮像装置1から入力された画像データを、1フレーム単位に同期させて画像メモリ32に記憶する。また、映像出力部31bは、映像ケーブル8を介して液晶ディスプレイ等の表示装置4に対して画像データを出力し、通信インタフェース部31cは車載LANケーブル6を介してブザー、スピーカ等の警報装置5に対して合成音等の出力信号を送信する。
【0020】
画像メモリ32は、SRAM、フラッシュメモリ、SDRAM等であり、映像入力部31aを介して遠赤外線撮像装置1から入力された画像データを記憶する。
【0021】
画像処理を行うLSI33は、画像メモリ32に記憶された画像データをフレーム単位で読出し、遠赤外線撮像装置1から取得した画像データに基づいて、障害物候補領域を特定する。同時にLSI33は、遠赤外線撮像装置1から取得した画像データに基づいて、障害物の下端位置まで障害物候補領域を拡張する。具体的には、LSI33は、特定された障害物候補領域の下方にエッジが連続的に存在するか否かを判断し、エッジが存在しないと判断されるまで、検出対象となる障害物、例えば歩行者に固有の縦横比で障害物候補領域を拡張する。
【0022】
LSI33は、拡張された障害物候補領域から特徴量を抽出し、抽出された特徴量に基づいて障害物が存在するか否かを判定する。なお、RAM331は、演算処理の途上で生成したデータ及び算出した障害物の時系列的位置データを記憶する。
【0023】
LSI33での詳細な処理について以下に説明する。図4は、本発明の実施の形態に係る障害物検出システムの検出装置3のLSI33の障害物検出処理の手順を示すフローチャートである。
【0024】
LSI33は、画像メモリ32に記憶してある遠赤外線撮像装置1から取得した画像データを読み出す(ステップS401)。LSI33は、読み出した画像データを二値化処理し(ステップS402)、二値化された画像データに基づいて障害物候補領域の画像内での座標値を取得する(ステップS403)。二値化処理は、遠赤外線撮像装置1から取得した画像データのヒストグラム補正、いわゆるヒストグラム等化処理を行った後に二値化処理を実行する。
【0025】
なお、二値化処理後の画像データでは、閾値近傍の輝度値を有する物体が、複数の候補領域に分離してしまう場合がある。したがって、Morphological処理等を用いることで分離した候補領域を結合し、障害物候補領域として抽出することが望ましい。Morphological処理は例えばOpening等を用いる。図5は、Morphological処理の一例を説明する画像イメージ図である。図5では、障害物として歩行者を画面右側の領域で検出しようとした場合に、二値化処理することで、図5(a)に示すように、画面中央上部にて障害物候補領域が複数の候補領域に分離している。この状態では、障害物として歩行者の存在を正しく認識することができない。そこで図5(b)に示すように、Opening処理することにより、分離した候補領域を結合し、1つの障害物候補領域として抽出する。このようにすることで、障害物候補領域の座標をより正確に取得することが可能となる。
【0026】
LSI33は、遠赤外線撮像装置1から取得した画像データに基づいて、路面を示す領域を検出する。具体的には、LSI33は、特定された障害物候補領域の上端から一定画素下方の領域にエッジが存在するか否かを判断し(ステップS404)、LSI33が、エッジが存在すると判断した場合には(ステップS404:YES)、LSI33は、さらに一定画素下方の領域へとシフトし(ステップS405)、ステップS404へ処理を戻して上述した処理を繰り返す。LSI33が、エッジが存在しないと判断した場合(ステップS404:NO)、LSI33は、エッジが連続することなく途切れたものと判断し、検出対象となる障害物、例えば歩行者に固有の縦横比で、エッジが途切れたと判断された境界位置まで障害物候補領域を拡張する(ステップS406)。なお、シフトする一定画素は特定されるものではない。
【0027】
図6は、障害物候補領域の拡張処理を模式的に示す図である。図6(a)に示すように、障害物候補領域61が路面を示す領域62の上方にて抽出された場合、従来の方法のように下方にエッジが存在するか否かに応じて障害物候補領域を拡張する方法では、障害物の他の部分を示すエッジ63を越えて、路面の端部、例えば路側の縁石をエッジとして検出することから、図6(b)に示すように障害物候補領域64を過大に拡張する。この状態では、例えば障害物検出のための特徴量として障害物に固有の縦横比を抽出した場合、障害物が歩行者であるにもかかわらず縦横比が大きく異なることから歩行者として検出することができない。
【0028】
そこで、本実施の形態では、図6(c)に示すように、連続的なエッジ63を検出して、連続的なエッジ63が途切れた時点で障害物候補領域の拡張を停止し、新たな障害物候補領域65を特定する。したがって、さらに下方にて路面の端部、例えば路側の縁石をエッジとして検出した場合であっても、障害物候補領域が拡張されず、例えば障害物が歩行者である場合には、歩行者に固有の特徴量を有することになる。
【0029】
また、検出する障害物の対象が特定されている場合には、対象となる障害物に固有の縦横比を維持した状態で障害物候補領域を拡張する。図7は、縦横比を維持した状態で障害物候補領域を拡張した状態の一例を示す図である。
【0030】
図7に示すように、障害物候補領域61は、周囲に比べて比較的高輝度値を有する領域として特定されており、障害物が歩行者である場合、例えば頭部、上半身等に相当する。また、胴部、足部等の部位についても背景画像との間に輝度差が存在するため、障害物候補領域61から連続的なエッジとして抽出することが可能である。
【0031】
そこで本実施の形態では、高輝度値を有する領域である障害物候補領域61の上端を固定し、下方に向かって順次連続的なエッジ63を抽出し、抽出されるエッジ63が上下方向に一定区間途切れるまで、拡張領域71、72、73と縦横比を変更することなく大きさのみを変更して、障害物候補領域を拡張する。このようにすることで、例えば障害物で有る歩行者が、車両の走行車線ではなく側道に存在する場合であっても、道路の縁石等のエッジが抽出されることにより障害物候補領域が過大に拡張されることが無く、障害物候補領域から下方への連続的なエッジのみに基づいて、障害物候補領域を拡張することができる。
【0032】
もちろん、上述した本実施の形態に係る障害物領域拡張方法と、従来の方法、すなわち路面を示す領域を活用して障害物候補領域を拡張する方法とを併用しても良い。本実施の形態に係る障害物候補領域拡張方法を用いた場合であっても、画像のノイズ等により輝度エッジが中途で途切れる場合も想定される。したがって、従来の方法による障害物候補領域拡張方法を併用し、2種類の障害物候補領域を抽出して特徴量の抽出処理、障害物の判定処理等を行うことにより、より障害物の存在を看過する可能性を低減させることが可能となる。
【0033】
また、障害物候補領域に相当する障害物が路面上に存在するか否かを判断し、障害物候補領域に相当する障害物が路面上に存在することが明らかな場合には、路面を示す領域上であって、障害物候補領域61に相当する部分が上方に存在する部分に相当する位置まで、障害物候補領域61を拡張しても良い。すなわち、障害物が路面上に存在するか否かに応じて、上述した本実施の形態に係る障害物候補領域拡張方法を用いて障害物候補領域61を拡張するか、あるいは従来の方法を用いるのかを切り替える。このようにすることで、障害物が路面上に存在する場合には、縦横比を固定することなく障害物候補領域を拡張することが可能となる。なお、障害物候補領域61に相当する部分が、路面を示す領域に相当する部分の上方に存在するか否かを判断する方法は、特に限定されるものではない。
【0034】
例えば、画像データに対してハフ変換を実行し、路面を示す領域を自車両が走行する車線領域単位にまで特定することにより、障害物候補領域が路面を示す領域上に存在しているのか否かを判断する。また、遠赤外線撮像装置1の代わりに近赤外線撮像装置、可視光撮像装置を用いる場合には、公知の白線検出処理を行うことにより、路面を示す領域を自車両が走行する車線領域単位にまで特定することができ、障害物候補領域が路面を示す領域上に存在しているのか否かを判断することができる。
【0035】
LSI33は、遠赤外線撮像装置1から取得した画像データに基づいて、拡張された障害物候補領域内の画像の特徴量を抽出する(ステップS407)。抽出する画像の特徴量は、例えばHaar特徴、4方向面特徴、輪郭情報、Viola−Jonesの手法により取得される特徴等を用いることができる。
【0036】
LSI33は、障害物候補領域71及び72から抽出された特徴量に基づいて障害物の存否を判定する(ステップS408)。障害物の存在の判定方法は特に限定されるものではなく、例えばニューラルネットワーク、サポートベクタマシン、ブースティング等の周知の判定方法であれば何でも良い。
【0037】
以上のように本実施の形態によれば、検出すべき対象物、例えば歩行者に固有の縦横比を維持しつつ、特定された障害物候補領域をエッジが途切れるまで下方に拡張することにより、例えば歩行者が自車両が走行する車線上に存在しない場合であっても、縁石、白線等を示すエッジまで過大に障害物候補領域を拡張することが無く、歩行者の存在を看過することを未然に防止することが可能となる。
【0038】
なお、上述した実施の形態では、1基の遠赤外線撮像装置1で撮像された画像データに基づいて障害物を検出する処理について説明しているが、遠赤外線撮像装置1の個数、搭載位置等は特に上述した実施の形態に限定されるものではない。例えばステレオ視により障害物までの測距処理を実行することができるように、遠赤外線撮像装置1、1を、車両前方の左右に並置するものであっても良い。また、遠赤外線撮像装置1ではなく輪郭情報が豊富な近赤外線撮像装置であっても良いし、昼間の走行中の画像を撮像する場合には可視光撮像装置であっても良い。また、これらの撮像装置を併設するものであっても良い。
【0039】
さらに、上述した実施の形態1及び2では、検出装置3のLSI33が上述した制御を行っているが、別個に制御装置を設けても良いし、他の機器の制御装置が兼用しても良い。
【図面の簡単な説明】
【0040】
【図1】本発明の実施の形態に係る障害物検出システムの構成を示す模式図である。
【図2】本発明の実施の形態に係る障害物検出システムの遠赤外線撮像装置の構成を示すブロック図である。
【図3】本発明の実施の形態に係る障害物検出システムの検出装置の構成を示すブロック図である。
【図4】本発明の実施の形態に係る障害物検出システムの検出装置のLSIの障害物検出処理の手順を示すフローチャートである。
【図5】Morphological処理の一例を説明する画像イメージ図である。
【図6】障害物候補領域の拡張処理を模式的に示す図である。
【図7】縦横比を維持した状態で障害物候補領域を拡張した状態の一例を示す図である。
【符号の説明】
【0041】
1 遠赤外線撮像装置
3 検出装置
4 表示装置
5 警報装置
6 車載LANケーブル
7 映像ケーブル
8 ケーブル
31a 映像入力部
31b 映像出力部
31c 映像出力部
32 画像メモリ
33 LSI
331 RAM

【特許請求の範囲】
【請求項1】
車両の周辺を撮像する撮像装置と、
該撮像装置で撮像した画像データを取得して画像中の障害物の存在を検出する検出装置と
を備える障害物検出システムにおいて、
前記検出装置は、
前記撮像装置から取得した画像データに基づいて画像内の障害物候補領域を特定する障害物候補領域特定手段と、
特定された障害物候補領域の下方にエッジが連続的に存在するか否かを判断する手段と、
該手段でエッジが存在しないと判断されるまで、検出対象となる障害物に固有の縦横比で前記障害物候補領域を拡張する障害物候補領域拡張手段と、
拡張された障害物候補領域から所定の特徴量を抽出する特徴量抽出手段と、
抽出された特徴量に基づいて障害物が存在するか否かを判定する障害物判定手段と
を備えることを特徴とする障害物検出システム。
【請求項2】
前記撮像装置から取得した画像データに基づいて路面を示す領域を検出する手段と、
前記障害物候補領域に相当する部分が、検出された路面を示す領域に相当する部分の上方に存在するか否かを判断する手段と、
該手段で存在すると判断された場合、路面を示す領域上であって、該障害物候補領域に相当する部分が上方に存在する部分に相当する位置まで、前記障害物候補領域を拡張するようにしてあることを特徴とする請求項1記載の障害物検出システム。
【請求項3】
車両の周辺を撮像する撮像装置と、
該撮像装置で撮像した画像データを取得して画像中の障害物の存在を検出する検出装置と
を用い、障害物を検出する障害物検出方法において、
前記検出装置にて、
前記撮像装置から取得した画像データに基づいて画像内の障害物候補領域を特定し、
特定された障害物候補領域の下方にエッジが連続的に存在するか否かを判断し、
エッジが存在しないと判断されるまで、検出対象となる障害物に固有の縦横比で前記障害物候補領域を拡張し、
拡張された障害物候補領域から所定の特徴量を抽出し、
抽出された特徴量に基づいて障害物が存在するか否かを判定することを特徴とする障害物検出方法。

【図1】
image rotate

【図2】
image rotate

【図3】
image rotate

【図4】
image rotate

【図5】
image rotate

【図6】
image rotate

【図7】
image rotate


【公開番号】特開2008−52568(P2008−52568A)
【公開日】平成20年3月6日(2008.3.6)
【国際特許分類】
【出願番号】特願2006−229394(P2006−229394)
【出願日】平成18年8月25日(2006.8.25)
【出願人】(000002130)住友電気工業株式会社 (12,747)
【Fターム(参考)】