障害物検出システム、及び障害物検出方法
【課題】複数の検出対象物を包含して特定された障害物候補領域をさらに領域分割することにより、より精度良く障害物を検出することができる障害物検出システム、及び障害物検出方法を提供する。
【解決手段】車両の周辺を撮像する撮像装置で撮像した画像データを取得して画像中の障害物の存在を検出する。検出装置は、撮像装置から取得した画像データを二値化処理し、二値化処理された画像データに基づいて障害物候補領域を特定する。エッジを抽出して、抽出されたエッジ又は該エッジを延伸させた拡張エッジにより、特定された障害物候補領域を複数の領域に分割することが可能であるか否かを判断する。複数の領域に分割することが可能であると判断された場合、障害物候補領域を複数の領域に分割し、分割された領域各々に障害物が存在するか否かを判定する。
【解決手段】車両の周辺を撮像する撮像装置で撮像した画像データを取得して画像中の障害物の存在を検出する。検出装置は、撮像装置から取得した画像データを二値化処理し、二値化処理された画像データに基づいて障害物候補領域を特定する。エッジを抽出して、抽出されたエッジ又は該エッジを延伸させた拡張エッジにより、特定された障害物候補領域を複数の領域に分割することが可能であるか否かを判断する。複数の領域に分割することが可能であると判断された場合、障害物候補領域を複数の領域に分割し、分割された領域各々に障害物が存在するか否かを判定する。
【発明の詳細な説明】
【技術分野】
【０００１】
本発明は、車両の周辺を撮像する撮像装置で撮像した画像データに基づいて、精度良く障害物の存在を検出することができる障害物検出システム、及び障害物検出方法に関する。
【背景技術】
【０００２】
自動車等の車両に、照度が低く可視光カメラでは撮像することが困難な夜間であっても周囲を撮像することが可能な赤外線撮像装置を搭載し、例えば車両周辺の歩行者、自転車等の障害物の存在を検出する障害物検出システムが多々開発されている。赤外線撮像装置は、近赤外線を用いるもの及び遠赤外線を用いるものの２種類に大別されている。
【０００３】
例えば非特許文献１には、遠赤外線撮像装置を用いた障害物検出システムが開示されている。非特許文献１では、撮像した画像に対して二値化処理及びノイズ除去処理を施してから障害物が存在する可能性のある領域である障害物候補領域を抽出する。さらに道路を示す領域を抽出することにより、障害物候補領域を拡張し、拡張された障害物候補領域から特徴量を抽出して、画像中に存在する歩行者、自転車等の障害物を検出している。
【非特許文献１】H.Xu、他２名、「ナイトビジョンによる歩行者検出及び追尾（Pedestrian Detection and Tracking with Night Vision）」、ＩＥＥＥ知的車両シンポジウム、ｐ．６３−７１、２００５年３月
【発明の開示】
【発明が解決しようとする課題】
【０００４】
しかし、障害物候補領域の大きさは、検出する対象物に相当する大きさで検出されるとは限らない。例えば遠赤外線撮像装置で撮像された画像データから障害物候補領域を特定した場合、対象物だけでなく、高温の背景物も障害物候補として包含されており、障害物候補領域として検出対象物よりも大きな領域として特定されることが多い。このように、検出対象物以外の背景物等の含めた大きな障害物候補領域が特定された場合、同一の障害物候補領域内にて距離が相違する物体が混在することから、従来は、障害物として過大であることを理由として障害物を検出する処理の対象から除外している。したがって、例えば歩行者が存在するにもかかわらず、障害物検出対象から除外されているがために、歩行者の存在を検出することができないおそれがあるという問題点があった。
【０００５】
例えば、遠赤外線撮像装置で撮像された画像は輝度エッジにより対象物ごとに領域を区分することが困難であり、二値化処理を行った場合、複数の対象物が混在しているにもかかわらず一つの障害物候補領域として特定される傾向にある。したがって、特定された障害物候補領域を、障害物として検出すべき対象物ごとに分割する必要がある。
【０００６】
本発明は、斯かる事情に鑑みてなされたものであり、複数の検出対象物を包含して特定された障害物候補領域をさらに領域分割することにより、より精度良く障害物を検出することができる障害物検出システム、及び障害物検出方法を提供することを目的とする。
【課題を解決するための手段】
【０００７】
上記目的を達成するために第１発明に係る障害物検出システムは、車両の周辺を撮像する撮像装置と、該撮像装置で撮像した画像データを取得して画像中の障害物の存在を検出する検出装置とを備える障害物検出システムにおいて、前記検出装置は、前記撮像装置から取得した画像データを二値化処理する手段と、二値化処理された画像データに基づいて障害物候補領域を特定する手段と、取得した画像データに基づいてエッジを抽出するエッ
ジ抽出手段と、抽出されたエッジ又は該エッジを延伸させた拡張エッジにより、特定された障害物候補領域を複数の領域に分割することが可能であるか否かを判断する手段と、該手段で複数の領域に分割することが可能であると判断された場合、前記障害物候補領域を複数の領域に分割する領域分割手段と、分割された領域各々に障害物が存在するか否かを判定する障害物判定手段とを備えることを特徴とする。
【０００８】
第２発明に係る障害物検出システムは、第１発明において、特定された障害物候補領域の大きさが所定値より大きいか否かを判断する手段とを備え、該手段で大きいと判断された場合にのみ、前記障害物候補領域を複数の領域に分割するようにしてあることを特徴とする。
【０００９】
第３発明に係る障害物検出方法は、車両の周辺を撮像する撮像装置で撮像した画像データを取得して画像中の障害物の存在を検出する障害物検出方法において、前記撮像装置から取得した画像データを二値化処理し、二値化処理された画像データに基づいて障害物候補領域を特定し、取得した画像データに基づいてエッジを抽出し、抽出されたエッジ又は該エッジを延伸させた拡張エッジにより、特定された障害物候補領域を複数の領域に分割することが可能であるか否かを判断し、複数の領域に分割することが可能であると判断された場合、前記障害物候補領域を複数の領域に分割し、分割された領域各々に障害物が存在するか否かを判定することを特徴とする。
【００１０】
第１発明、及び第３発明では、車両の周辺を撮像する撮像装置で撮像した画像データを取得して画像中の障害物の存在を検出する。撮像装置から取得した画像データを二値化処理し、二値化処理された画像データに基づいて障害物候補領域を特定する。一方、取得した画像データに基づいてエッジを抽出し、抽出されたエッジ又は該エッジを延伸させた拡張エッジにより、特定された障害物候補領域を複数の領域に分割することが可能であるか否かを判断する。複数の領域に分割することが可能であると判断された場合、障害物候補領域を複数の領域に分割し、分割された領域各々に障害物が存在するか否かを判定する。障害物候補領域をエッジにより、またエッジが中途で途切れている場合であっても延伸させた拡張エッジにより、さらに細かい領域へ分割することで、検出すべき対象物に適した大きさの障害物候補領域に基づいて対象物を検出することができ、例えば歩行者が存在するにもかかわらず障害物候補領域が過大であるために検出されない事態が生じるのを未然に回避することが可能となる。
【００１１】
第２発明では、特定された障害物候補領域の大きさが所定値より大きいか否かを判断し、大きいと判断された場合にのみ、障害物候補領域を複数の領域に分割する。これにより、例えば障害物として検出する対象が歩行者である場合に、歩行者の身長に相当する大きさよりも大きい障害物候補領域についてのみ複数の障害物候補領域に分割することにより、不要な領域分割を回避することができ、歩行者の存在を確実に検出することが可能となる。
【発明の効果】
【００１２】
本発明によれば、障害物候補領域を抽出されたエッジにより、またエッジが中途で途切れている場合であっても延伸させた拡張エッジにより、さらに細かい領域へ分割することで、検出すべき対象物に適した大きさの障害物候補領域に基づいて対象物を検出することができ、例えば歩行者が存在するにもかかわらず障害物候補領域が過大であるために検出されない事態が生じるのを未然に回避することが可能となる。
【発明を実施するための最良の形態】
【００１３】
以下、本発明の実施の形態について、図面を参照しながら詳細に説明する。なお、以下の実施の形態では、夜間走行中に遠赤外線撮像装置で撮像された画像に基づいて車両の前
方に障害物、特に歩行者の存在を検出する場合を例として説明する。
【００１４】
図１は、本発明の実施の形態に係る障害物検出システムの構成を示す模式図である。本実施の形態では、夜間走行中に周辺の画像を撮像する遠赤外線撮像装置１、１を、車両前方の中央近傍のフロントグリル内に並置している。なお、遠赤外線撮像装置１、１は、波長が７〜１４マイクロメートルの赤外光を用いた撮像装置である。なお、遠赤外線撮像装置１、１を用いることに限定されるものではなく、波長が０．８〜３マイクロメートルの赤外光を用いた撮像装置である近赤外線撮像装置であっても良いし、昼間の走行中に撮像する場合には可視光撮像装置であっても良い。遠赤外線撮像装置１、１で撮像された画像データは、ＮＴＳＣ等のアナログ映像方式、又はデジタル映像方式に対応した映像ケーブル７を介して接続してある検出装置３へ送信される。
【００１５】
検出装置３は、遠赤外線撮像装置１、１の他、操作部を備えた表示装置４とは、ＮＴＳＣ、ＶＧＡ、ＤＶＩ等の映像方式に対応したケーブル８を介して接続されており、音声、効果音等により聴覚的な警告を発する警報装置５等の出力装置とは、ＣＡＮに準拠した車載ＬＡＮケーブル６を介して接続されている。
【００１６】
図２は、本発明の実施の形態に係る障害物検出システムの遠赤外線撮像装置１の構成を示すブロック図である。画像撮像部１１は、光学信号を電気信号に変換する撮像素子をマトリックス状に備えている。赤外光用の撮像素子としては、マイクロマシニング（ｍｉｃｒｏｍａｃｈｉｎｉｎｇ）技術を用いた酸化バナジウムのボロメータ型、ＢＳＴ（Ｂａｒｉｕｍ−Ｓｔｒｏｎｔｉｕｍ−Ｔｉｔａｎｉｕｍ）の焦電型等の赤外線センサを用いている。画像撮像部１１は、車両の周囲の赤外光像を輝度信号として読み取り、読み取った輝度信号を信号処理部１２へ送信する。
【００１７】
信号処理部１２は、ＬＳＩであり、画像撮像部１１から受信した輝度信号をデジタル信号に変換し、撮像素子のばらつきを補正する処理、欠陥素子の補正処理、ゲイン制御処理等を行い、画像データとして画像メモリ１３へ記憶する。なお、画像データを画像メモリ１３へ一時記憶することは必須ではなく、映像出力部１４を介して直接検出装置３へ送信しても良いことは言うまでもない。
【００１８】
映像出力部１４は、ＬＳＩであり、ＮＴＳＣ等のアナログ映像方式、又はデジタル映像方式に対応した映像ケーブル７を介して検出装置３に映像データを出力する。
【００１９】
図３は、本発明の実施の形態に係る障害物検出システムの検出装置３の構成を示すブロック図である。映像入力部３１ａは、遠赤外線撮像装置１から映像信号の入力を行う。映像入力部３１ａは、遠赤外線撮像装置１から入力された画像データを、１フレーム単位に同期させて画像メモリ３２に記憶する。また、映像出力部３１ｂは、映像ケーブル８を介して液晶ディスプレイ等の表示装置４に対して画像データを出力し、通信インタフェース部３１ｃは車載ＬＡＮケーブル６を介してブザー、スピーカ等の警報装置５に対して合成音等の出力信号を送信する。
【００２０】
画像メモリ３２は、ＳＲＡＭ、フラッシュメモリ、ＳＤＲＡＭ等であり、映像入力部３１ａを介して遠赤外線撮像装置１から入力された画像データを記憶する。
【００２１】
画像処理を行うＬＳＩ３３は、画像メモリ３２に記憶された画像データをフレーム単位で読出し、遠赤外線撮像装置１から取得した画像データに基づいて、障害物候補領域を特定する。同時にＬＳＩ３３は、遠赤外線撮像装置１から取得した画像データに基づいて、エッジを抽出する。ＬＳＩ３３は、抽出されたエッジ又は該エッジを延伸させた拡張エッジにより、特定された障害物候補領域を複数の領域に分割することが可能である場合には
、該複数の領域へ障害物候補領域を分割する。
【００２２】
ＬＳＩ３３は、分割された障害物候補領域ごとに障害物が存在するか否かを、例えば特徴量を抽出することにより判定する。なお、ＲＡＭ３３１は、演算処理の途上で生成したデータ及び算出した障害物の時系列的位置データを記憶する。
【００２３】
ＬＳＩ３３での詳細な処理について以下に説明する。図４は、本発明の実施の形態に係る障害物検出システムの検出装置３のＬＳＩ３３の障害物検出処理の手順を示すフローチャートである。
【００２４】
ＬＳＩ３３は、画像メモリ３２に記憶してある遠赤外線撮像装置１、１から取得した画像データを読み出す（ステップＳ４０１）。ＬＳＩ３３は、読み出した画像データを二値化処理し（ステップＳ４０２）、二値化された画像データに基づいて障害物候補領域の画像内での座標値を算出して、障害物候補領域を特定する（ステップＳ４０３）。二値化処理は、遠赤外線撮像装置１、１から取得した画像データのヒストグラム補正、いわゆるヒストグラム等化処理を行った後に二値化処理を実行する。
【００２５】
なお、二値化処理後の画像データから障害物候補領域を特定する場合、所定の閾値を越えた輝度値を有する領域が混在することにより、複数の対象物が存在するにもかかわらず一つの障害物候補領域として特定される場合がある。したがって、ＬＳＩ３３は、座標値を取得した障害物候補領域内について、エッジ抽出処理を行なう（ステップＳ４０４）。ＬＳＩ３３は、抽出されたエッジ又はエッジを延伸方向に拡張した拡張エッジにより障害物候補領域が複数の領域に分割されるか否かを判断し（ステップＳ４０５）、ＬＳＩ３３が、分割されると判断した場合には（ステップＳ４０５：ＹＥＳ）、ＬＳＩ３３は、該エッジ又はエッジを延伸方向に拡張した拡張エッジにより障害物候補領域を複数の領域に分割する（ステップＳ４０６）。
【００２６】
図５は、障害物候補領域の分割処理を模式的に示す図である。図５（ａ）に示すように障害物候補領域５１が特定された場合、特定された障害物候補領域の大きさは、いかなる対象物を検出する場合においても過大であり、検出対象となる対象物、例えば歩行者、自転車等を特定することができない。また、左右の遠赤外線撮像装置１、１で撮像された画像に基づいて距離を推定した場合、複数の対象物が混在していることから、距離を精度良く推定することもできない。
【００２７】
そこで、障害物候補領域５１内にてエッジ抽出処理を実行する。抽出されたエッジは、障害物候補領域５１を複数の領域に分割する場合もあれば、障害物候補領域５１内で途切れている場合もある。抽出されたエッジが障害物候補領域５１内で途切れている場合には、該エッジに対してＯｐｅｎｉｎｇ処理等を実行することにより、途切れたエッジを伸長方向に延伸する。したがって、延伸されたエッジにより障害物候補領域５１を複数の領域に分割することができる。
【００２８】
すなわち、図５（ｂ）に示すようにエッジ又は延伸されたエッジにより、一の障害物候補領域５１を複数の障害物候補領域５２乃至５６に分割する。これにより、分割された領域からなる障害物候補領域５２乃至５６の大きさは、検出対象となる対象物、例えば歩行者、自転車等を検出するのに適切な大きさとなる。また、左右の遠赤外線撮像装置１、１で撮像された画像に基づいて距離を推定した場合、一の対象物のみ存在していることから、分割された障害物候補領域ごとに対象物までの距離を精度良く推定することが可能となる。
【００２９】
ＬＳＩ３３は、分割された障害物候補領域ごとに障害物が存在するか否かを判断する（
ステップＳ４０７）。障害物の存在の判定方法は特に限定されるものではなく、周知の判定法であれば何でも良い。例えば障害物候補領域が複数の領域に分割された場合、分割された領域ごとに画像の特徴量を抽出し、抽出された特徴量に基づいて判定しても良い。なお、抽出される画像の特徴量は、例えばＨａａｒ特徴、４方向面特徴、輪郭情報、Ｖｉｏｌａ−Ｊｏｎｅｓの手法により取得される特徴等である。
【００３０】
ＬＳＩ３３が、分割された障害物候補領域ごとに障害物が存在すると判断した場合（ステップＳ４０７：ＹＥＳ）、ＬＳＩ３３は、歩行者等の障害物の存在を検出した旨を示す信号を表示装置４又は警報装置５へ出力する（ステップＳ４０８）。表示装置４では、歩行者等の障害物の存在を検出した旨を示す表示を出力する、警告表示を点滅させる等の警告表示を出力する。警報装置５では、ブザーの鳴動等によって歩行者等の障害物の存在を運転者へ報知する。
【００３１】
ＬＳＩ３３が、分割された障害物候補領域ごとに障害物が存在しないと判断した場合（ステップＳ４０７：ＮＯ）、ＬＳＩ３３は、処理を終了する。
【００３２】
以上のように本実施の形態によれば、障害物候補領域が過大な領域として特定された場合であっても、エッジを抽出することにより、またエッジが中途で途切れている場合であっても延伸させた拡張エッジにより、さらに細かい領域へ分割することで、検出すべき対象物に適した大きさの障害物候補領域に基づいて対象物を検出することができ、例えば歩行者が存在するにもかかわらず障害物候補領域が過大であるために検出されない事態が生じるのを未然に回避することが可能となる。
【００３３】
なお、障害物候補領域の画面上での大きさが、所定の大きさより大きい場合、例えば画面の５分の１程度まで占める大きさとなっている場合には、該障害物候補領域に複数の対象物が含まれている蓋然性が高く、対象物までの距離を推定することができない場合も生じうる。そこで、障害物候補領域の画面上での大きさが所定値より大きい場合にのみ、障害物候補領域を複数の領域に分割するようにしても良い。
【００３４】
また、障害物候補領域に相当する対象物までの距離は、該障害物候補領域が過大に特定された場合であっても代表点ごとに推定することはできる。そこで、推定された距離に基づいて障害物候補領域に相当する対象物の大きさを推定し、推定された大きさが所定値より大きい場合にのみ、障害物候補領域を複数の領域に分割するようにしても良い。
【００３５】
このようにすることで、例えば障害物として検出する対象が歩行者である場合に、一般的な歩行者の身長よりも大きいと考えられる障害物候補領域についてのみ複数の障害物候補領域に分割することにより、不要な領域分割を回避することができ、歩行者の存在を確実に検出することが可能となる。
【００３６】
また、上述した実施の形態では、２基の遠赤外線撮像装置１、１で撮像された画像データに基づいて障害物までの距離を推定するようにしてある場合について説明しているが、遠赤外線撮像装置１の個数、搭載位置等は特に上述した実施の形態に限定されるものではない。例えば遠赤外線撮像装置１を、１基搭載しておき、別途レーダ装置、超音波装置等を搭載しておくことにより、直接障害物までの距離を測定するものであっても良い。
【００３７】
さらに、上述した実施の形態では、検出装置３のＬＳＩ３３が上述した制御を行っているが、別個に制御装置を設けても良いし、他の機器の制御装置が兼用しても良い。
【図面の簡単な説明】
【００３８】
【図１】本発明の実施の形態に係る障害物検出システムの構成を示す模式図である。
【図２】本発明の実施の形態に係る障害物検出システムの遠赤外線撮像装置の構成を示すブロック図である。
【図３】本発明の実施の形態に係る障害物検出システムの検出装置の構成を示すブロック図である。
【図４】本発明の実施の形態に係る障害物検出システムの検出装置のＬＳＩの障害物検出処理の手順を示すフローチャートである。
【図５】障害物候補領域の分割処理を模式的に示す図である。
【符号の説明】
【００３９】
１ 遠赤外線撮像装置
３ 検出装置
４ 表示装置
５ 警報装置
６ 車載ＬＡＮケーブル
７ 映像ケーブル
８ ケーブル
３１ａ 映像入力部
３１ｂ 映像出力部
３１ｃ 通信インタフェース部
３２ 画像メモリ
３３ ＬＳＩ
３３１ ＲＡＭ
【技術分野】
【０００１】
本発明は、車両の周辺を撮像する撮像装置で撮像した画像データに基づいて、精度良く障害物の存在を検出することができる障害物検出システム、及び障害物検出方法に関する。
【背景技術】
【０００２】
自動車等の車両に、照度が低く可視光カメラでは撮像することが困難な夜間であっても周囲を撮像することが可能な赤外線撮像装置を搭載し、例えば車両周辺の歩行者、自転車等の障害物の存在を検出する障害物検出システムが多々開発されている。赤外線撮像装置は、近赤外線を用いるもの及び遠赤外線を用いるものの２種類に大別されている。
【０００３】
例えば非特許文献１には、遠赤外線撮像装置を用いた障害物検出システムが開示されている。非特許文献１では、撮像した画像に対して二値化処理及びノイズ除去処理を施してから障害物が存在する可能性のある領域である障害物候補領域を抽出する。さらに道路を示す領域を抽出することにより、障害物候補領域を拡張し、拡張された障害物候補領域から特徴量を抽出して、画像中に存在する歩行者、自転車等の障害物を検出している。
【非特許文献１】H.Xu、他２名、「ナイトビジョンによる歩行者検出及び追尾（Pedestrian Detection and Tracking with Night Vision）」、ＩＥＥＥ知的車両シンポジウム、ｐ．６３−７１、２００５年３月
【発明の開示】
【発明が解決しようとする課題】
【０００４】
しかし、障害物候補領域の大きさは、検出する対象物に相当する大きさで検出されるとは限らない。例えば遠赤外線撮像装置で撮像された画像データから障害物候補領域を特定した場合、対象物だけでなく、高温の背景物も障害物候補として包含されており、障害物候補領域として検出対象物よりも大きな領域として特定されることが多い。このように、検出対象物以外の背景物等の含めた大きな障害物候補領域が特定された場合、同一の障害物候補領域内にて距離が相違する物体が混在することから、従来は、障害物として過大であることを理由として障害物を検出する処理の対象から除外している。したがって、例えば歩行者が存在するにもかかわらず、障害物検出対象から除外されているがために、歩行者の存在を検出することができないおそれがあるという問題点があった。
【０００５】
例えば、遠赤外線撮像装置で撮像された画像は輝度エッジにより対象物ごとに領域を区分することが困難であり、二値化処理を行った場合、複数の対象物が混在しているにもかかわらず一つの障害物候補領域として特定される傾向にある。したがって、特定された障害物候補領域を、障害物として検出すべき対象物ごとに分割する必要がある。
【０００６】
本発明は、斯かる事情に鑑みてなされたものであり、複数の検出対象物を包含して特定された障害物候補領域をさらに領域分割することにより、より精度良く障害物を検出することができる障害物検出システム、及び障害物検出方法を提供することを目的とする。
【課題を解決するための手段】
【０００７】
上記目的を達成するために第１発明に係る障害物検出システムは、車両の周辺を撮像する撮像装置と、該撮像装置で撮像した画像データを取得して画像中の障害物の存在を検出する検出装置とを備える障害物検出システムにおいて、前記検出装置は、前記撮像装置から取得した画像データを二値化処理する手段と、二値化処理された画像データに基づいて障害物候補領域を特定する手段と、取得した画像データに基づいてエッジを抽出するエッ
ジ抽出手段と、抽出されたエッジ又は該エッジを延伸させた拡張エッジにより、特定された障害物候補領域を複数の領域に分割することが可能であるか否かを判断する手段と、該手段で複数の領域に分割することが可能であると判断された場合、前記障害物候補領域を複数の領域に分割する領域分割手段と、分割された領域各々に障害物が存在するか否かを判定する障害物判定手段とを備えることを特徴とする。
【０００８】
第２発明に係る障害物検出システムは、第１発明において、特定された障害物候補領域の大きさが所定値より大きいか否かを判断する手段とを備え、該手段で大きいと判断された場合にのみ、前記障害物候補領域を複数の領域に分割するようにしてあることを特徴とする。
【０００９】
第３発明に係る障害物検出方法は、車両の周辺を撮像する撮像装置で撮像した画像データを取得して画像中の障害物の存在を検出する障害物検出方法において、前記撮像装置から取得した画像データを二値化処理し、二値化処理された画像データに基づいて障害物候補領域を特定し、取得した画像データに基づいてエッジを抽出し、抽出されたエッジ又は該エッジを延伸させた拡張エッジにより、特定された障害物候補領域を複数の領域に分割することが可能であるか否かを判断し、複数の領域に分割することが可能であると判断された場合、前記障害物候補領域を複数の領域に分割し、分割された領域各々に障害物が存在するか否かを判定することを特徴とする。
【００１０】
第１発明、及び第３発明では、車両の周辺を撮像する撮像装置で撮像した画像データを取得して画像中の障害物の存在を検出する。撮像装置から取得した画像データを二値化処理し、二値化処理された画像データに基づいて障害物候補領域を特定する。一方、取得した画像データに基づいてエッジを抽出し、抽出されたエッジ又は該エッジを延伸させた拡張エッジにより、特定された障害物候補領域を複数の領域に分割することが可能であるか否かを判断する。複数の領域に分割することが可能であると判断された場合、障害物候補領域を複数の領域に分割し、分割された領域各々に障害物が存在するか否かを判定する。障害物候補領域をエッジにより、またエッジが中途で途切れている場合であっても延伸させた拡張エッジにより、さらに細かい領域へ分割することで、検出すべき対象物に適した大きさの障害物候補領域に基づいて対象物を検出することができ、例えば歩行者が存在するにもかかわらず障害物候補領域が過大であるために検出されない事態が生じるのを未然に回避することが可能となる。
【００１１】
第２発明では、特定された障害物候補領域の大きさが所定値より大きいか否かを判断し、大きいと判断された場合にのみ、障害物候補領域を複数の領域に分割する。これにより、例えば障害物として検出する対象が歩行者である場合に、歩行者の身長に相当する大きさよりも大きい障害物候補領域についてのみ複数の障害物候補領域に分割することにより、不要な領域分割を回避することができ、歩行者の存在を確実に検出することが可能となる。
【発明の効果】
【００１２】
本発明によれば、障害物候補領域を抽出されたエッジにより、またエッジが中途で途切れている場合であっても延伸させた拡張エッジにより、さらに細かい領域へ分割することで、検出すべき対象物に適した大きさの障害物候補領域に基づいて対象物を検出することができ、例えば歩行者が存在するにもかかわらず障害物候補領域が過大であるために検出されない事態が生じるのを未然に回避することが可能となる。
【発明を実施するための最良の形態】
【００１３】
以下、本発明の実施の形態について、図面を参照しながら詳細に説明する。なお、以下の実施の形態では、夜間走行中に遠赤外線撮像装置で撮像された画像に基づいて車両の前
方に障害物、特に歩行者の存在を検出する場合を例として説明する。
【００１４】
図１は、本発明の実施の形態に係る障害物検出システムの構成を示す模式図である。本実施の形態では、夜間走行中に周辺の画像を撮像する遠赤外線撮像装置１、１を、車両前方の中央近傍のフロントグリル内に並置している。なお、遠赤外線撮像装置１、１は、波長が７〜１４マイクロメートルの赤外光を用いた撮像装置である。なお、遠赤外線撮像装置１、１を用いることに限定されるものではなく、波長が０．８〜３マイクロメートルの赤外光を用いた撮像装置である近赤外線撮像装置であっても良いし、昼間の走行中に撮像する場合には可視光撮像装置であっても良い。遠赤外線撮像装置１、１で撮像された画像データは、ＮＴＳＣ等のアナログ映像方式、又はデジタル映像方式に対応した映像ケーブル７を介して接続してある検出装置３へ送信される。
【００１５】
検出装置３は、遠赤外線撮像装置１、１の他、操作部を備えた表示装置４とは、ＮＴＳＣ、ＶＧＡ、ＤＶＩ等の映像方式に対応したケーブル８を介して接続されており、音声、効果音等により聴覚的な警告を発する警報装置５等の出力装置とは、ＣＡＮに準拠した車載ＬＡＮケーブル６を介して接続されている。
【００１６】
図２は、本発明の実施の形態に係る障害物検出システムの遠赤外線撮像装置１の構成を示すブロック図である。画像撮像部１１は、光学信号を電気信号に変換する撮像素子をマトリックス状に備えている。赤外光用の撮像素子としては、マイクロマシニング（ｍｉｃｒｏｍａｃｈｉｎｉｎｇ）技術を用いた酸化バナジウムのボロメータ型、ＢＳＴ（Ｂａｒｉｕｍ−Ｓｔｒｏｎｔｉｕｍ−Ｔｉｔａｎｉｕｍ）の焦電型等の赤外線センサを用いている。画像撮像部１１は、車両の周囲の赤外光像を輝度信号として読み取り、読み取った輝度信号を信号処理部１２へ送信する。
【００１７】
信号処理部１２は、ＬＳＩであり、画像撮像部１１から受信した輝度信号をデジタル信号に変換し、撮像素子のばらつきを補正する処理、欠陥素子の補正処理、ゲイン制御処理等を行い、画像データとして画像メモリ１３へ記憶する。なお、画像データを画像メモリ１３へ一時記憶することは必須ではなく、映像出力部１４を介して直接検出装置３へ送信しても良いことは言うまでもない。
【００１８】
映像出力部１４は、ＬＳＩであり、ＮＴＳＣ等のアナログ映像方式、又はデジタル映像方式に対応した映像ケーブル７を介して検出装置３に映像データを出力する。
【００１９】
図３は、本発明の実施の形態に係る障害物検出システムの検出装置３の構成を示すブロック図である。映像入力部３１ａは、遠赤外線撮像装置１から映像信号の入力を行う。映像入力部３１ａは、遠赤外線撮像装置１から入力された画像データを、１フレーム単位に同期させて画像メモリ３２に記憶する。また、映像出力部３１ｂは、映像ケーブル８を介して液晶ディスプレイ等の表示装置４に対して画像データを出力し、通信インタフェース部３１ｃは車載ＬＡＮケーブル６を介してブザー、スピーカ等の警報装置５に対して合成音等の出力信号を送信する。
【００２０】
画像メモリ３２は、ＳＲＡＭ、フラッシュメモリ、ＳＤＲＡＭ等であり、映像入力部３１ａを介して遠赤外線撮像装置１から入力された画像データを記憶する。
【００２１】
画像処理を行うＬＳＩ３３は、画像メモリ３２に記憶された画像データをフレーム単位で読出し、遠赤外線撮像装置１から取得した画像データに基づいて、障害物候補領域を特定する。同時にＬＳＩ３３は、遠赤外線撮像装置１から取得した画像データに基づいて、エッジを抽出する。ＬＳＩ３３は、抽出されたエッジ又は該エッジを延伸させた拡張エッジにより、特定された障害物候補領域を複数の領域に分割することが可能である場合には
、該複数の領域へ障害物候補領域を分割する。
【００２２】
ＬＳＩ３３は、分割された障害物候補領域ごとに障害物が存在するか否かを、例えば特徴量を抽出することにより判定する。なお、ＲＡＭ３３１は、演算処理の途上で生成したデータ及び算出した障害物の時系列的位置データを記憶する。
【００２３】
ＬＳＩ３３での詳細な処理について以下に説明する。図４は、本発明の実施の形態に係る障害物検出システムの検出装置３のＬＳＩ３３の障害物検出処理の手順を示すフローチャートである。
【００２４】
ＬＳＩ３３は、画像メモリ３２に記憶してある遠赤外線撮像装置１、１から取得した画像データを読み出す（ステップＳ４０１）。ＬＳＩ３３は、読み出した画像データを二値化処理し（ステップＳ４０２）、二値化された画像データに基づいて障害物候補領域の画像内での座標値を算出して、障害物候補領域を特定する（ステップＳ４０３）。二値化処理は、遠赤外線撮像装置１、１から取得した画像データのヒストグラム補正、いわゆるヒストグラム等化処理を行った後に二値化処理を実行する。
【００２５】
なお、二値化処理後の画像データから障害物候補領域を特定する場合、所定の閾値を越えた輝度値を有する領域が混在することにより、複数の対象物が存在するにもかかわらず一つの障害物候補領域として特定される場合がある。したがって、ＬＳＩ３３は、座標値を取得した障害物候補領域内について、エッジ抽出処理を行なう（ステップＳ４０４）。ＬＳＩ３３は、抽出されたエッジ又はエッジを延伸方向に拡張した拡張エッジにより障害物候補領域が複数の領域に分割されるか否かを判断し（ステップＳ４０５）、ＬＳＩ３３が、分割されると判断した場合には（ステップＳ４０５：ＹＥＳ）、ＬＳＩ３３は、該エッジ又はエッジを延伸方向に拡張した拡張エッジにより障害物候補領域を複数の領域に分割する（ステップＳ４０６）。
【００２６】
図５は、障害物候補領域の分割処理を模式的に示す図である。図５（ａ）に示すように障害物候補領域５１が特定された場合、特定された障害物候補領域の大きさは、いかなる対象物を検出する場合においても過大であり、検出対象となる対象物、例えば歩行者、自転車等を特定することができない。また、左右の遠赤外線撮像装置１、１で撮像された画像に基づいて距離を推定した場合、複数の対象物が混在していることから、距離を精度良く推定することもできない。
【００２７】
そこで、障害物候補領域５１内にてエッジ抽出処理を実行する。抽出されたエッジは、障害物候補領域５１を複数の領域に分割する場合もあれば、障害物候補領域５１内で途切れている場合もある。抽出されたエッジが障害物候補領域５１内で途切れている場合には、該エッジに対してＯｐｅｎｉｎｇ処理等を実行することにより、途切れたエッジを伸長方向に延伸する。したがって、延伸されたエッジにより障害物候補領域５１を複数の領域に分割することができる。
【００２８】
すなわち、図５（ｂ）に示すようにエッジ又は延伸されたエッジにより、一の障害物候補領域５１を複数の障害物候補領域５２乃至５６に分割する。これにより、分割された領域からなる障害物候補領域５２乃至５６の大きさは、検出対象となる対象物、例えば歩行者、自転車等を検出するのに適切な大きさとなる。また、左右の遠赤外線撮像装置１、１で撮像された画像に基づいて距離を推定した場合、一の対象物のみ存在していることから、分割された障害物候補領域ごとに対象物までの距離を精度良く推定することが可能となる。
【００２９】
ＬＳＩ３３は、分割された障害物候補領域ごとに障害物が存在するか否かを判断する（
ステップＳ４０７）。障害物の存在の判定方法は特に限定されるものではなく、周知の判定法であれば何でも良い。例えば障害物候補領域が複数の領域に分割された場合、分割された領域ごとに画像の特徴量を抽出し、抽出された特徴量に基づいて判定しても良い。なお、抽出される画像の特徴量は、例えばＨａａｒ特徴、４方向面特徴、輪郭情報、Ｖｉｏｌａ−Ｊｏｎｅｓの手法により取得される特徴等である。
【００３０】
ＬＳＩ３３が、分割された障害物候補領域ごとに障害物が存在すると判断した場合（ステップＳ４０７：ＹＥＳ）、ＬＳＩ３３は、歩行者等の障害物の存在を検出した旨を示す信号を表示装置４又は警報装置５へ出力する（ステップＳ４０８）。表示装置４では、歩行者等の障害物の存在を検出した旨を示す表示を出力する、警告表示を点滅させる等の警告表示を出力する。警報装置５では、ブザーの鳴動等によって歩行者等の障害物の存在を運転者へ報知する。
【００３１】
ＬＳＩ３３が、分割された障害物候補領域ごとに障害物が存在しないと判断した場合（ステップＳ４０７：ＮＯ）、ＬＳＩ３３は、処理を終了する。
【００３２】
以上のように本実施の形態によれば、障害物候補領域が過大な領域として特定された場合であっても、エッジを抽出することにより、またエッジが中途で途切れている場合であっても延伸させた拡張エッジにより、さらに細かい領域へ分割することで、検出すべき対象物に適した大きさの障害物候補領域に基づいて対象物を検出することができ、例えば歩行者が存在するにもかかわらず障害物候補領域が過大であるために検出されない事態が生じるのを未然に回避することが可能となる。
【００３３】
なお、障害物候補領域の画面上での大きさが、所定の大きさより大きい場合、例えば画面の５分の１程度まで占める大きさとなっている場合には、該障害物候補領域に複数の対象物が含まれている蓋然性が高く、対象物までの距離を推定することができない場合も生じうる。そこで、障害物候補領域の画面上での大きさが所定値より大きい場合にのみ、障害物候補領域を複数の領域に分割するようにしても良い。
【００３４】
また、障害物候補領域に相当する対象物までの距離は、該障害物候補領域が過大に特定された場合であっても代表点ごとに推定することはできる。そこで、推定された距離に基づいて障害物候補領域に相当する対象物の大きさを推定し、推定された大きさが所定値より大きい場合にのみ、障害物候補領域を複数の領域に分割するようにしても良い。
【００３５】
このようにすることで、例えば障害物として検出する対象が歩行者である場合に、一般的な歩行者の身長よりも大きいと考えられる障害物候補領域についてのみ複数の障害物候補領域に分割することにより、不要な領域分割を回避することができ、歩行者の存在を確実に検出することが可能となる。
【００３６】
また、上述した実施の形態では、２基の遠赤外線撮像装置１、１で撮像された画像データに基づいて障害物までの距離を推定するようにしてある場合について説明しているが、遠赤外線撮像装置１の個数、搭載位置等は特に上述した実施の形態に限定されるものではない。例えば遠赤外線撮像装置１を、１基搭載しておき、別途レーダ装置、超音波装置等を搭載しておくことにより、直接障害物までの距離を測定するものであっても良い。
【００３７】
さらに、上述した実施の形態では、検出装置３のＬＳＩ３３が上述した制御を行っているが、別個に制御装置を設けても良いし、他の機器の制御装置が兼用しても良い。
【図面の簡単な説明】
【００３８】
【図１】本発明の実施の形態に係る障害物検出システムの構成を示す模式図である。
【図２】本発明の実施の形態に係る障害物検出システムの遠赤外線撮像装置の構成を示すブロック図である。
【図３】本発明の実施の形態に係る障害物検出システムの検出装置の構成を示すブロック図である。
【図４】本発明の実施の形態に係る障害物検出システムの検出装置のＬＳＩの障害物検出処理の手順を示すフローチャートである。
【図５】障害物候補領域の分割処理を模式的に示す図である。
【符号の説明】
【００３９】
１ 遠赤外線撮像装置
３ 検出装置
４ 表示装置
５ 警報装置
６ 車載ＬＡＮケーブル
７ 映像ケーブル
８ ケーブル
３１ａ 映像入力部
３１ｂ 映像出力部
３１ｃ 通信インタフェース部
３２ 画像メモリ
３３ ＬＳＩ
３３１ ＲＡＭ
【特許請求の範囲】
【請求項１】
車両の周辺を撮像する撮像装置と、
該撮像装置で撮像した画像データを取得して画像中の障害物の存在を検出する検出装置と
を備える障害物検出システムにおいて、
前記検出装置は、
前記撮像装置から取得した画像データを二値化処理する手段と、
二値化処理された画像データに基づいて障害物候補領域を特定する手段と、
取得した画像データに基づいてエッジを抽出するエッジ抽出手段と、
抽出されたエッジ又は該エッジを延伸させた拡張エッジにより、特定された障害物候補領域を複数の領域に分割することが可能であるか否かを判断する手段と、
該手段で複数の領域に分割することが可能であると判断された場合、前記障害物候補領域を複数の領域に分割する領域分割手段と、
分割された領域各々に障害物が存在するか否かを判定する障害物判定手段と
を備えることを特徴とする障害物検出システム。
【請求項２】
特定された障害物候補領域の大きさが所定値より大きいか否かを判断する手段と
を備え、
該手段で大きいと判断された場合にのみ、前記障害物候補領域を複数の領域に分割するようにしてあることを特徴とする請求項１記載の障害物検出システム。
【請求項３】
車両の周辺を撮像する撮像装置で撮像した画像データを取得して画像中の障害物の存在を検出する障害物検出方法において、
前記撮像装置から取得した画像データを二値化処理し、
二値化処理された画像データに基づいて障害物候補領域を特定し、
取得した画像データに基づいてエッジを抽出し、
抽出されたエッジ又は該エッジを延伸させた拡張エッジにより、特定された障害物候補領域を複数の領域に分割することが可能であるか否かを判断し、
複数の領域に分割することが可能であると判断された場合、前記障害物候補領域を複数の領域に分割し、
分割された領域各々に障害物が存在するか否かを判定することを特徴とする障害物検出方法。
【請求項１】
車両の周辺を撮像する撮像装置と、
該撮像装置で撮像した画像データを取得して画像中の障害物の存在を検出する検出装置と
を備える障害物検出システムにおいて、
前記検出装置は、
前記撮像装置から取得した画像データを二値化処理する手段と、
二値化処理された画像データに基づいて障害物候補領域を特定する手段と、
取得した画像データに基づいてエッジを抽出するエッジ抽出手段と、
抽出されたエッジ又は該エッジを延伸させた拡張エッジにより、特定された障害物候補領域を複数の領域に分割することが可能であるか否かを判断する手段と、
該手段で複数の領域に分割することが可能であると判断された場合、前記障害物候補領域を複数の領域に分割する領域分割手段と、
分割された領域各々に障害物が存在するか否かを判定する障害物判定手段と
を備えることを特徴とする障害物検出システム。
【請求項２】
特定された障害物候補領域の大きさが所定値より大きいか否かを判断する手段と
を備え、
該手段で大きいと判断された場合にのみ、前記障害物候補領域を複数の領域に分割するようにしてあることを特徴とする請求項１記載の障害物検出システム。
【請求項３】
車両の周辺を撮像する撮像装置で撮像した画像データを取得して画像中の障害物の存在を検出する障害物検出方法において、
前記撮像装置から取得した画像データを二値化処理し、
二値化処理された画像データに基づいて障害物候補領域を特定し、
取得した画像データに基づいてエッジを抽出し、
抽出されたエッジ又は該エッジを延伸させた拡張エッジにより、特定された障害物候補領域を複数の領域に分割することが可能であるか否かを判断し、
複数の領域に分割することが可能であると判断された場合、前記障害物候補領域を複数の領域に分割し、
分割された領域各々に障害物が存在するか否かを判定することを特徴とする障害物検出方法。
【図１】
【図２】
【図３】
【図４】
【図５】
【図２】
【図３】
【図４】
【図５】
【公開番号】特開２００８−２８４７８（Ｐ２００８−２８４７８Ａ）
【公開日】平成２０年２月７日（２００８．２．７）
【国際特許分類】
【出願番号】特願２００６−１９６１３１（Ｐ２００６−１９６１３１）
【出願日】平成１８年７月１８日（２００６．７．１８）
【出願人】（０００００２１３０）住友電気工業株式会社 (12,747)
【Ｆターム（参考）】
【公開日】平成２０年２月７日（２００８．２．７）
【国際特許分類】
【出願日】平成１８年７月１８日（２００６．７．１８）
【出願人】（０００００２１３０）住友電気工業株式会社 (12,747)
【Ｆターム（参考）】
[ Back to top ]