車両周辺監視装置、車両、車両周辺監視用プログラム、車両周辺監視方法
【課題】対象物の画像部分の輪郭線を精度良く抽出して、対象部の種別を判断することができる車両周辺監視装置、車両、車両周辺監視用プログラム、及び車両周辺監視方法を提供する。
【解決手段】赤外線カメラ２の撮像画像から、実空間上の対象物の画像部分を抽出する対象物画像抽出手段２０と、対象物画像抽出手段２０により抽出された第１の画像部分に対して、該第１の画像部分を含む所定サイズの領域を注目領域として設定する注目領域設定手段２１と、前記注目領域に前記第１の画像部分以外の第２の画像部分が含まれるときに、第２の画像部分を除外する画像部分除外手段２２と、前記第２の画像部分が除外された後の注目領域に対して、輪郭線抽出を行なう輪郭線抽出手段２３と、輪郭線抽出手段２３により抽出された輪郭線に基いて、前記第１の画像部分に対応する実空間上の対象物の種別を判断する対象物種別識別手段２４とを備える。
【解決手段】赤外線カメラ２の撮像画像から、実空間上の対象物の画像部分を抽出する対象物画像抽出手段２０と、対象物画像抽出手段２０により抽出された第１の画像部分に対して、該第１の画像部分を含む所定サイズの領域を注目領域として設定する注目領域設定手段２１と、前記注目領域に前記第１の画像部分以外の第２の画像部分が含まれるときに、第２の画像部分を除外する画像部分除外手段２２と、前記第２の画像部分が除外された後の注目領域に対して、輪郭線抽出を行なう輪郭線抽出手段２３と、輪郭線抽出手段２３により抽出された輪郭線に基いて、前記第１の画像部分に対応する実空間上の対象物の種別を判断する対象物種別識別手段２４とを備える。
【発明の詳細な説明】
【技術分野】
【０００１】
本発明は、車両に搭載されたカメラによる車両周辺の撮像画像から、車両周辺に所在する対象物を検出して車両周辺を監視する車両周辺監視装置、車両、車両周辺監視用プログラム、及び車両周辺監視方法に関する。
【背景技術】
【０００２】
従来より、車両に搭載されたカメラによる車両周辺の撮像画像から、車両周辺の対象物を検出し、実空間における該対象物と車両との相対位置と相対速度を算出して、所定時間内における車両と対象物との接触可能性を判断する車両周辺監視装置が知られている（例えば、特許文献１参照）。
【０００３】
また、対象物の種別（人、車両、大型動物等）を識別するために、カメラにより撮像された多値画像を２値化した２値画像中の画像部分について、輪郭線抽出を行なってその形状を認識する処理が行われている。
【０００４】
そして、ノイズによる輪郭線抽出の精度の低下を防止するために、カメラの撮像画像に含まれる対象物の画像部分について、該画像部分を縮小したサンプル画像を作成し、該サンプル画像をもとのサイズに拡大した画像の位置を初期位置として、スネークスアルゴリズムによる輪郭線抽出を行なう手法が提案されている（例えば、特許文献２参照）。
【０００５】
この手法によれば、対象物の画像部分に対して、ノイズの画像部分が小さいときには、ノイズによる拘束を回避して対象物の画像部分の輪郭線を抽出することができる。しかし、ノイズの画像部分の大きさが対象物の画像部分と同じ位であるときには、サンプル画像を作成するときにノイズが除去されず、ノイズの画像部分を含めて輪郭線が抽出されてしまう。
【０００６】
また、カメラの撮像画像を、画像の色やテクスチャに基いて領域分割すると共に、撮像画像の動きベクトルに基いて領域分割し、各領域を統合した領域の輪郭線を初期位置といて、スネークスアルゴリズムによる輪郭線抽出を行なう手法が提案されている（例えば、特許文献３参照）。
【０００７】
この手法によれば、動いている対象物と背景を分離して、該対象物の輪郭線を抽出することができる。しかし、例えば、静止した二人の歩行者が並んでいて速度差がなく、二人の歩行者の画像部分が統合されたときには、二人の歩行者を囲んだ形の輪郭線が抽出されてしまう。
【０００８】
そして、このように、対処物の画像部分以外の画像部分を含む領域についての輪郭線が抽出されたときには、この輪郭線に基いて対象物の種別を精度良く識別することができないという不都合がある。
【特許文献１】特開２００１−６０６９号公報
【特許文献２】特開平６−１３９３５５号公報
【特許文献３】特開２００１−２６６１５８号公報
【発明の開示】
【発明が解決しようとする課題】
【０００９】
本発明は上記背景を鑑みてなされたものであり、対象物の画像部分の輪郭線を精度良く抽出して、対象部の種別を識別することができる車両周辺監視装置、車両、車両周辺監視用プログラム、及び車両周辺監視方法を提供することを目的とする。
【課題を解決するための手段】
【００１０】
本発明は上記目的を達成するためになされたものであり、本発明の画像周辺監視装置は、車両に搭載されて該車両の周辺を撮像するカメラによる撮像画像に基いて、車両周辺を監視する車両周辺監視装置に関する。
【００１１】
そして、前記カメラの撮像画像から、実空間上の対象物の画像部分を抽出する対象物画像抽出手段と、前記対象物画像抽出手段により抽出された第１の画像部分に対して、該第１の画像部分を含む所定サイズの領域を注目領域として設定する注目領域設定手段と、前記注目領域に、前記第１の画像部分以外の第２の画像部分が含まれるときに、前記注目領域から該第２の画像部分を除外する画像部分除外手段と、前記画像部分除外手段により前記第２の画像部分が除外された後の前記注目領域に対して、エッジ点抽出による輪郭線抽出を行なう輪郭線抽出手段と、前記輪郭線抽出手段により抽出された輪郭線に基いて、前記第１の画像部分に対応する実空間上の対象物の種別を判断する対象物種別識別手段とを備えたことを特徴とする。
【００１２】
また、本発明の車両は、周辺を撮像するカメラを備え、該カメラによる撮像画像に基いて車両周辺を監視する機能を有する車両に関する。
【００１３】
そして、前記カメラの撮像画像から、実空間上の対象物の画像部分を抽出する対象物画像抽出手段と、前記対象物画像抽出手段により抽出された第１の画像部分に対して、該第１の画像部分を含む所定サイズの領域を注目領域として設定する注目領域設定手段と、前記注目領域に、前記第１の画像部分以外の第２の画像部分が含まれるときに、前記注目領域から該第２の画像部分を除外する画像部分除外手段と、前記画像部分除外手段により前記第２の画像部分が除外された後の前記注目領域に対して、エッジ点抽出による輪郭線抽出を行なう輪郭線抽出手段と、前記輪郭線抽出手段により抽出された輪郭線に基いて、前記第１の画像部分に対応する実空間上の対象物の種別を判断する対象物種別識別手段とを備えたことを特徴とする。
【００１４】
かかる本発明の車両周辺監視装置及び本発明の車両によれば、前記注目領域設定手段により、前記第１の画像部分を含む所定サイズの領域が、前記注目領域として設定される。そして、前記注目領域に前記第１の画像部分以外の第２の画像部分が含まれるときには、前記画像部分除去手段により該第２の画像部分が除外される。このようにして、前記第１の画像部分以外の前記第２の画像部分が除去された前記注目領域に対して、前記輪郭線抽出手段により輪郭線抽出が行なわれる。
【００１５】
この場合、前記注目領域に所在する前記第１の画像部分について、前記第２の画像部分が存在することによる影響を排除して、その輪郭線を精度良く抽出することができる。そして、このようにして抽出された輪郭線に基いて、前記対象物種別識別手段により、前記第１の画像部分に対応する実空間上の対象物の種別を精度良く識別することができる。
【００１６】
また、前記カメラと対象物との距離を検出する距離検出手段を備え、前記注目領域設定手段は、前記距離検出手段により検出された前記カメラとの距離が所定範囲にある対象物の画像部分を、前記第１の画像部分として、前記注目領域を設定することが好ましい。
【００１７】
この場合には、前記カメラとの距離が前記所定範囲内であって監視する必要がある対処物に限定して前記注目領域を設定し、効率良く前記画像部分除外手段による前記第２の画像部分の除外と、前記輪郭線抽出手段による輪郭線抽出と、前記対象物種別識別手段による対象物の種別の識別とを行なうことができる。
【００１８】
また、前記画像部分除去手段は、前記第２の画像部分の輝度を所定の２値化閾値以下に変換して、該２値化閾値による前記注目領域の２値化処理を行うことにより、前記第２の画像部分を除去した前記注目領域の２値画像を生成し、前記輪郭線抽出手段は、前記第２の画像部分が除去された後の前記注目領域の２値画像に対して、エッジ点抽出による輪郭線抽出処理を行うことが好ましい。
【００１９】
この場合には、前記注目領域の２値化処理に伴って、前記注目領域から前記第２の画像部分を容易に除外することができる。
【００２０】
次に、本発明の車両周辺監視用プログラムは、車両に搭載されて該車両の周囲を撮像するカメラによる撮像画像のデータにアクセスする手段を有するコンピュータに、該撮像画像に基いて該車両の周辺を監視する機能を実現するプログラムに関する。
【００２１】
そして、該コンピュータを、前記カメラの撮像画像から、実空間上の対象物の画像部分を抽出する対象物画像抽出手段と、前記対象物画像抽出手段により抽出された第１の画像部分に対して、該第１の画像部分を含む所定サイズの領域を注目領域として設定する注目領域設定手段と、前記注目領域に、前記第１の画像部分以外の第２の画像部分が含まれるときに、前記注目領域から該第２の画像部分を除外する画像部分除外手段と、前記画像部分除外手段により前記第２の画像部分が除外された後の前記注目領域に対して、エッジ点抽出による輪郭線抽出を行なう輪郭線抽出手段と、前記輪郭線抽出手段により抽出された輪郭線に基いて、前記第１の画像部分に対応する実空間上の対象物の種別を判断する対象物種別識別手段として機能させることを特徴とする。
【００２２】
かかる本発明の車両周辺監視用プログラムを前記コンピュータに実行させることによって、前記本発明の車両周辺監視装置及び前記車両における、前記対象物画像抽出手段と、前記注目領域設定手段と、前記画像部分除外手段と、前記輪郭線抽出手段と、前記対象物種別識別手段とを構成することができる。
【００２３】
次に、本発明の車両周辺監視方法は、車両に搭載されて該車両の周囲を撮像するカメラによる撮像画像のデータにアクセスする手段を有するコンピュータにより、該撮像画像に基いて該車両の周辺を監視する方法に関する。
【００２４】
そして、前記コンピュータが、前記カメラの撮像画像から、実空間上の対象物の画像部分を抽出する対象物画像抽出ステップと、前記コンピュータが、前記対象物画像抽出手段により抽出された第１の画像部分に対して、該第１の画像部分を含む所定サイズの領域を注目領域として設定する注目領域設定ステップと、前記コンピュータが、前記注目領域に、前記第１の画像部分以外の第２の画像部分が含まれるときに、前記注目領域から該第２の画像部分を除外する画像部分除外ステップと、前記コンピュータが、前記画像部分除外手段により前記第２の画像部分が除外された後の前記注目領域に対して、エッジ点抽出による輪郭線抽出を行なう輪郭線抽出ステップと、前記コンピュータが、前記輪郭線抽出手段により抽出された輪郭線に基いて、前記第１の画像部分に対応する実空間上の対象物の種別を判断する対象物種別識別ステップとを含むことを特徴とする。
【００２５】
かかる本発明の車両周辺監視方法によれば、前記注目領域設定ステップにより、前記第１の画像部分を含む所定サイズの領域が、前記注目領域として設定される。そして、前記注目領域に前記第１の画像部分以外の第２の画像部分が含まれるときには、前記画像部分除去ステップにより該第２の画像部分が除外される。このようにして、前記第１の画像部分以外の前記第２の画像部分が除去された前記注目領域に対して、前記輪郭線抽出ステップにより輪郭線抽出が行なわれる。
【００２６】
この場合、前記注目領域に所在する前記第１の画像部分について、前記第２の画像部分が存在することによる影響を排除して、その輪郭線を精度良く抽出することができる。そして、このようにして抽出された輪郭線に基いて、前記対象物種別識別ステップにより、前記第１の画像部分に対応する実空間上の対象物の種別を精度良く識別することができる。
【発明を実施するための最良の形態】
【００２７】
本発明の実施の形態について、図１〜図５を参照して説明する。図１は本発明の車両周辺監視装置の構成図であり、本発明の車両周辺監視装置は、画像処理ユニット１と、遠赤外線を検出可能な赤外線カメラ（本発明のカメラに相当する）２と、車両のヨーレートを検出するヨーレートセンサ３と、車両の走行速度を検出する車速センサ４と、音声により警報を行うためのスピーカ６と、対象物を運転者に視認させる表示を行うためのヘッドアップディスプレイ（以下、ＨＵＤという）７と、赤外線カメラ２と対象物との距離を検出するミリ波レーダ装置８とを備えている。
【００２８】
図２を参照して、赤外線カメラ２は、車両１０の前部に配置されている。また、赤外線カメラ２は、ミリ波レーダ装置８の付近に、路面からの高さを等しくして固定されている。なお、赤外線カメラ２は、撮像物の温度が高いほど出力レベルが高くなる（輝度が大きくなる）特性を有している。また、表示装置７は、車両１０のフロントウィンドウの運転者側の前方位置に画面７ａが表示されるように設けられている。
【００２９】
また、ミリ波レーダ装置８は、ミリ波のビームを車両１０の前方に送信し、このミリ波の反射波（車両１０の前方に存在する物体で反射したミリ波）を受信する。ミリ波レーダ装置８のビームの走査範囲は、赤外線カメラ２の撮像範囲（視野角の範囲）を含むように設定されている。
【００３０】
ミリ波レーダ装置８は、受信した反射波のうちの所定強度以上の反射波に基いて、ビームの送信方向に存在する対象物を検出する。また、ミリ波レーダ装置８は、送信波と受信波との時間差に基いて、ミリ波を反射した対象物と赤外線カメラ２との距離を検出する。
【００３１】
図１を参照して、画像処理ユニット１は、マイクロコンピュータ（図示しない、本発明のコンピュータに相当する）等により構成された電子ユニットであり、赤外線カメラ２から出力されるアナログの映像信号をデジタルデータに変換して画像メモリ（図示しない）に取り込み、インターフェース回路（図示しない、本発明の撮像画像にアクセスする手段に相当する）を介して、該画像メモリに取り込んだ車両前方の画像に対して該マイクロコンピュータにより各種演算処理を行う機能を有している。
【００３２】
そして、該マイクロコンピュータに、本発明の車両周辺監視用プログラムを実行させることによって、該マイクロコンピュータが、赤外線カメラ２の撮像画像から対象物の画像部分を抽出する対象物画像抽出手段２０、撮像画像に含まれる画像部分に対応した実空間上の位置と赤外線カメラ２との距離（実空間距離）を検出する距離検出手段２５、対象物画像抽出手段２０により抽出された画像部分（第１の画像部分）を含む該画像部分の周辺領域を注目領域として設定する注目領域設定手段２１、該注目領域に存在する第１の画像部分以外の画像部分（第２の画像部分）を除外する画像部分除外手段２２、他の画像部分が除外された後の注目領域に対して輪郭線抽出を行う輪郭線抽出手段２３、及び輪郭線抽出手段２３により抽出された輪郭線に基いて、第１の画像部分に対応する実空間上の対象物の種別を識別する対象物種別識別手段２４として機能する。
【００３３】
また、該マイクロコンピュータにより、本発明の車両周辺監視方法の各ステップが実行される。
【００３４】
画像処理ユニット１は、赤外線カメラ２から出力される車両周辺の赤外線画像のアナログ信号を入力し、該アナログ信号をＡ／Ｄ（アナログ／デジタル）変換によりデジタル化した多値（グレースケール）画像を画像メモリ（図示しない）に格納する。
【００３５】
そして、画像処理ユニット１は、右画像に含まれる画像部分に対応する実空間上の対象物の種別を識別する処理を行う。以下、図３に示したフローチャートに従って、この処理について説明する。
【００３６】
図３のＳＴＥＰ１は距離検出手段２５による処理であり、距離検出手段２５は、ミリ波レーダ装置８から出力される走査箇所の測距データに基いて、車両周辺の対象物と赤外線カメラ２との距離Ｚを検出する。
【００３７】
また、ＳＴＥＰ２〜ＳＴＥＰ３は対象物画像抽出手段２０による処理である。対象物画像抽出手段２０は、ＳＴＥＰ２で赤外線カメラ２による赤外線画像を入力して画像メモリに取り込み、ＳＴＥＰ３で、赤外線カメラ２との距離が所定範囲以内である対象物の画像部分を抽出する。なお、対象物画像抽出手段２０により対象物の画像部分を抽出する処理は、本発明の車両周辺監視方法における対象物抽出ステップに相当する。
【００３８】
続くＳＴＥＰ４は注目領域設定手段４による処理である。注目領域設定手段４は、ＳＴＥＰ３で抽出された画像部分の中から選択された第１の画像部分を含む画像領域を、注目領域として設定する。本実施の形態では、対象物の種別が歩行者であるか否かを識別するので、注目領域設定手段２１は、歩行者を識別対象とする注目領域を設定する。なお、注目領域設定手段２１により注目領域を設定する処理は、本発明の車両周辺監視方法における注目領域設定ステップに相当する。
【００３９】
具体的には、注目領域設定手段２２は、歩行者の身長の想定値（例えば１７０cm）よりも若干高く設定した基準値ＧHと、歩行者の幅の想定値（例えば６０cm）よりも若干広く設定した基準値ＧWと、第１の画像部分に対応する実空間上の対象物と赤外線カメラ２との距離Ｚとに基いて、以下の式（１），式（２）により、注目領域の高さｇhと幅ｇwとを算出する。
【００４０】
【数１】
【００４１】
【数２】
【００４２】
但し、ｆ：赤外線カメラ２の焦点距離、ｐ：赤外線カメラ２の撮像素子の画素間隔、ＧH：歩行者の身長を想定した基準値、ＧW：歩行者の幅を想定した基準値、Ｚ：赤外線カメラ２と対象物との距離。
【００４３】
ここで、図４（ａ）は、赤外線カメラ２の撮像画像を２値化した２値画像３０について、対象物の画像部分３１，３２，３３，３４が抽出され、第１の画像部分として画像部分３１が選択されて、第１の画像部分３１の注目領域３１ａが設定された例を示したものである。
【００４４】
図４（ａ）の注目領域３１ａには、第１の画像部分３１の他に、他の画像部分（第２の画像部分）３２の一部が含まれている。そして、このように、注目領域３１ａに、第１の画像部分３１の他に第２の画像部分３２が含まれていると、注目領域３１ａに対してエッジ抽出による輪郭線抽出を行なったときに、第２の画像部分３２の影響を受けて第１の画像部分３１の輪郭線を精度良く抽出することができない。
【００４５】
例えば、図５（ａ）は、歩行者の第１の画像部分５０が抽出されて、第１の画像部分５０に対する注目領域５０ａが設定されたときに、注目領域５０ａに第２の画像部分５１が含まれていた場合を示している。この場合には、注目領域５０ａに対してエッジ点抽出によるスネークスアルゴリズム等による輪郭線抽出を行なったときに、第２の画像部分５１を含んだ形についての輪郭線５０ｂが抽出されてしまう。
【００４６】
そして、このようにして抽出された輪郭線５０ｂは、歩行者の画像部分５０の形状を反映しないものとなる。そのため、輪郭線５０ｂに基いて対象物の種別を識別したときには、画像部分５０に対応する実空間上の対象物が、歩行者ではないと誤って識別されてしまう。
【００４７】
そこで、画像部分除外手段２２は、図５（ａ）に示したように、注目領域５０ａに、第１の画像部分５０以外の第２の画像部分５１が含まれているときには、第２の画像部分５１を除外する処理を行う。
【００４８】
図５（ｂ）は、第２の画像部分５１を除外した後の注目領域６０に対して、輪郭線抽出を行なった場合を示したものである。図５（ｂ）では、第２の画像部分５１を除外されているため、歩行者の画像部分５０の形状を反映した輪郭線６０ｂが抽出されている。そして、画像部分５０の形状を反映した輪郭線６０ｂを精度良く抽出することができ、輪郭線６０ｂの形状に基いて、画像部分５０に対応する実空間所の対象物が歩行者であると精度良く識別することができる。
【００４９】
ＳＴＥＰ５で、画像部分除外手段２２は、撮像画像中の各画像部分にＩＤを付するラベリングを行なう。そして、ＳＴＥＰ６で、画像部分除外手段２２は、注目領域を設定した第１の画像部分のＩＤ以外のＩＤが付された第２の画像部分が注目領域に含まれる場合は、多値画像におけるこの第２の画像部分の輝度を低輝度（２値化閾値よりも低い輝度）に変換した上で、該多値画像の２値化を行う。これにより、注目領域における第２の画像部分が０（黒）となって、注目領域から第２の画像部分が除外される。
【００５０】
ここで、図４（ｂ）は、図４（ａ）の２値画像３０の原画像（多値画像）に対して、注目領域３１ａに含まれる第２の画像部分３２の輝度を２値化閾値よりも低い輝度に変換した上で、該２値化閾値による２値化処理を行って生成された２値画像４０を示している。図４（ｂ）の２値画像４０においては、第２の画像部分３２が除外されて、注目領域３１ａに第１の画像部分３１のみが存在する状態となっている。
【００５１】
なお、対象物種別識別手段２４により注目領域から第２の画像部分を除外する処理は、本発明の車両周辺監視方法における画像部分除外ステップに相当する。
【００５２】
続くＳＴＥＰ７は輪郭線抽出手段２３による処理である。輪郭線抽出手段２３は、ＳＴＥＰ７で第２の画像部分が除外された後の注目領域に対して、エッジ点抽出によるスネークスアルゴリズム等の輪郭線抽出処理をおこう。これにより、図５（ａ），図５（ｂ）を参照して上述したように、第１の画像部分の形状を反映した輪郭線が抽出される。
【００５３】
なお、輪郭線抽出手段２３により注目領域に対する輪郭線を抽出する処理は、本発明の車両周辺監視方法における輪郭線抽出ステップに相当する。
【００５４】
続くＳＴＥＰ８は対象物種別識別手段２４による処理である。対象物種別識別手段２４は、ＳＴＥＰ７で抽出された輪郭線が、予め設定した歩行者の特徴形状（高さ、幅、縦横比等）を有するか否かを判定することにより、第１の画像部分に対応する実空間上の対象物が歩行者であるか否かを識別する。
【００５５】
なお、対象物種別識別手段２４により第１の画像部分に対応する実空間上の対象物の種別が歩行者であるか否かを識別する処理は、本発明の車両周辺監視方法における対象物種別識別ステップに相当する。
【００５６】
次のＳＴＥＰ９で、他の注目領域があるか否かが判断され、他の注目領域があるときには、ＳＴＥＰ６にもどって、他の注目領域についてＳＴＥＰ６〜ＳＴＥＰ８による第２の画像部分の除外→注目領域に対する輪郭線抽出→歩行者識別という一連の処理が実行される。
【００５７】
そして、画像処理ユニット１は、対象物種別識別手段２４により、第１の画像部分に対応する実空間上の対象物が歩行者であると識別されたときには、スピーカ６からの音声出力及びＨＵＤ７への表示により、運転者に対する注意喚起を行なう。
【００５８】
なお、本実施の形態では、注目領域設定手段２２により、監視する対象物（歩行者）の大きさの想定値（身長の想定値に基くＧH、幅の想定値に基くＧW）と、対象物と赤外線カメラ２との距離Ｚとに基いて、注目領域を設定したが、対象物の大きさの想定値のみによって注目領域を設定するようにしてもよい。
【００５９】
また、本実施の形態では、ミリ波レーダ装置８を用いて対象物と赤外線カメラ２との距離を算出したが、レーザーレーダ等の他の種類の測距装置を用いてもよい。或いは、本実施の形態では１台の赤外線カメラを用いる場合について説明したが、２台の赤外線カメラを用いて、２台の赤外線カメラによる同一の対象物の画像部分の水平方向のずれ（視差）に基いて、実空間における対象物と赤外線カメラとの距離を検出するようにしてもよい。この場合には、車速センサ４により検出される車速ＶCAR及びヨーレートセンサ３により検出されるヨーレートＹRを読み込んで、ヨーレートＹRを時間積分することにより車両１０の回頭角を算出し、回頭角補正により実空間（図２のＸ，Ｙ，Ｚの座標値）の補正を行なってもよい。
【００６０】
また、１台のカメラによる異なる時点の撮像画像中の同一対象物の画像部分のサイズの変化から、対象物とカメラとの距離を検出するようにしてもよい。
【００６１】
また、本実施の形態においては、車両前方を撮像する構成を示したが、車両の後方や側方等、他の方向を撮像して車両の周辺を監視する構成としてもよい。
【００６２】
また、本実施の形態においては、本発明のカメラとして赤外線カメラ２を用いたが、可視画像を撮像する可視カメラを用いてもよい。
【００６３】
また、本実施の形態では、対象物が歩行者であることを識別したが、対象物が鹿等の大型動物や、人口構造物であることを識別する場合についても、本発明の適用が可能である。
【図面の簡単な説明】
【００６４】
【図１】本発明の車両周辺監視装置の構成図。
【図２】図１に示した車両周辺監視装置の車両への取り付け態様の説明図。
【図３】図１に示した画像処理ユニットにおける対象物種別の識別処理のフローチャート。
【図４】注目領域の設定及び注目領域から第２の画像部分を除外する処理の説明図。
【図５】注目領域における輪郭線抽出の説明図。
【符号の説明】
【００６５】
１…画像処理ユニット、２…赤外線カメラ（カメラ）、３…ヨーレートセンサ、４…車速センサ、６…スピーカ、７…ＨＵＤ、８…ミリ波レーダ装置、２０…対象物画像抽出装置、２１…注目領域設定手段、２２…画像部分除外手段、２３…輪郭線抽出手段、２４…対象物種別識別手段、２５…距離検出手段、３１…第１の画像部分、３１ａ…注目領域、３２…第２の画像部分、５０…第１の画像部分、５０ａ…注目領域、５０ｂ…第１の画像部分及び第２の画像部分の輪郭線、５１…第２の画像部分、６０…注目領域、６０ｂ…第１の画像部分の輪郭線
【技術分野】
【０００１】
本発明は、車両に搭載されたカメラによる車両周辺の撮像画像から、車両周辺に所在する対象物を検出して車両周辺を監視する車両周辺監視装置、車両、車両周辺監視用プログラム、及び車両周辺監視方法に関する。
【背景技術】
【０００２】
従来より、車両に搭載されたカメラによる車両周辺の撮像画像から、車両周辺の対象物を検出し、実空間における該対象物と車両との相対位置と相対速度を算出して、所定時間内における車両と対象物との接触可能性を判断する車両周辺監視装置が知られている（例えば、特許文献１参照）。
【０００３】
また、対象物の種別（人、車両、大型動物等）を識別するために、カメラにより撮像された多値画像を２値化した２値画像中の画像部分について、輪郭線抽出を行なってその形状を認識する処理が行われている。
【０００４】
そして、ノイズによる輪郭線抽出の精度の低下を防止するために、カメラの撮像画像に含まれる対象物の画像部分について、該画像部分を縮小したサンプル画像を作成し、該サンプル画像をもとのサイズに拡大した画像の位置を初期位置として、スネークスアルゴリズムによる輪郭線抽出を行なう手法が提案されている（例えば、特許文献２参照）。
【０００５】
この手法によれば、対象物の画像部分に対して、ノイズの画像部分が小さいときには、ノイズによる拘束を回避して対象物の画像部分の輪郭線を抽出することができる。しかし、ノイズの画像部分の大きさが対象物の画像部分と同じ位であるときには、サンプル画像を作成するときにノイズが除去されず、ノイズの画像部分を含めて輪郭線が抽出されてしまう。
【０００６】
また、カメラの撮像画像を、画像の色やテクスチャに基いて領域分割すると共に、撮像画像の動きベクトルに基いて領域分割し、各領域を統合した領域の輪郭線を初期位置といて、スネークスアルゴリズムによる輪郭線抽出を行なう手法が提案されている（例えば、特許文献３参照）。
【０００７】
この手法によれば、動いている対象物と背景を分離して、該対象物の輪郭線を抽出することができる。しかし、例えば、静止した二人の歩行者が並んでいて速度差がなく、二人の歩行者の画像部分が統合されたときには、二人の歩行者を囲んだ形の輪郭線が抽出されてしまう。
【０００８】
そして、このように、対処物の画像部分以外の画像部分を含む領域についての輪郭線が抽出されたときには、この輪郭線に基いて対象物の種別を精度良く識別することができないという不都合がある。
【特許文献１】特開２００１−６０６９号公報
【特許文献２】特開平６−１３９３５５号公報
【特許文献３】特開２００１−２６６１５８号公報
【発明の開示】
【発明が解決しようとする課題】
【０００９】
本発明は上記背景を鑑みてなされたものであり、対象物の画像部分の輪郭線を精度良く抽出して、対象部の種別を識別することができる車両周辺監視装置、車両、車両周辺監視用プログラム、及び車両周辺監視方法を提供することを目的とする。
【課題を解決するための手段】
【００１０】
本発明は上記目的を達成するためになされたものであり、本発明の画像周辺監視装置は、車両に搭載されて該車両の周辺を撮像するカメラによる撮像画像に基いて、車両周辺を監視する車両周辺監視装置に関する。
【００１１】
そして、前記カメラの撮像画像から、実空間上の対象物の画像部分を抽出する対象物画像抽出手段と、前記対象物画像抽出手段により抽出された第１の画像部分に対して、該第１の画像部分を含む所定サイズの領域を注目領域として設定する注目領域設定手段と、前記注目領域に、前記第１の画像部分以外の第２の画像部分が含まれるときに、前記注目領域から該第２の画像部分を除外する画像部分除外手段と、前記画像部分除外手段により前記第２の画像部分が除外された後の前記注目領域に対して、エッジ点抽出による輪郭線抽出を行なう輪郭線抽出手段と、前記輪郭線抽出手段により抽出された輪郭線に基いて、前記第１の画像部分に対応する実空間上の対象物の種別を判断する対象物種別識別手段とを備えたことを特徴とする。
【００１２】
また、本発明の車両は、周辺を撮像するカメラを備え、該カメラによる撮像画像に基いて車両周辺を監視する機能を有する車両に関する。
【００１３】
そして、前記カメラの撮像画像から、実空間上の対象物の画像部分を抽出する対象物画像抽出手段と、前記対象物画像抽出手段により抽出された第１の画像部分に対して、該第１の画像部分を含む所定サイズの領域を注目領域として設定する注目領域設定手段と、前記注目領域に、前記第１の画像部分以外の第２の画像部分が含まれるときに、前記注目領域から該第２の画像部分を除外する画像部分除外手段と、前記画像部分除外手段により前記第２の画像部分が除外された後の前記注目領域に対して、エッジ点抽出による輪郭線抽出を行なう輪郭線抽出手段と、前記輪郭線抽出手段により抽出された輪郭線に基いて、前記第１の画像部分に対応する実空間上の対象物の種別を判断する対象物種別識別手段とを備えたことを特徴とする。
【００１４】
かかる本発明の車両周辺監視装置及び本発明の車両によれば、前記注目領域設定手段により、前記第１の画像部分を含む所定サイズの領域が、前記注目領域として設定される。そして、前記注目領域に前記第１の画像部分以外の第２の画像部分が含まれるときには、前記画像部分除去手段により該第２の画像部分が除外される。このようにして、前記第１の画像部分以外の前記第２の画像部分が除去された前記注目領域に対して、前記輪郭線抽出手段により輪郭線抽出が行なわれる。
【００１５】
この場合、前記注目領域に所在する前記第１の画像部分について、前記第２の画像部分が存在することによる影響を排除して、その輪郭線を精度良く抽出することができる。そして、このようにして抽出された輪郭線に基いて、前記対象物種別識別手段により、前記第１の画像部分に対応する実空間上の対象物の種別を精度良く識別することができる。
【００１６】
また、前記カメラと対象物との距離を検出する距離検出手段を備え、前記注目領域設定手段は、前記距離検出手段により検出された前記カメラとの距離が所定範囲にある対象物の画像部分を、前記第１の画像部分として、前記注目領域を設定することが好ましい。
【００１７】
この場合には、前記カメラとの距離が前記所定範囲内であって監視する必要がある対処物に限定して前記注目領域を設定し、効率良く前記画像部分除外手段による前記第２の画像部分の除外と、前記輪郭線抽出手段による輪郭線抽出と、前記対象物種別識別手段による対象物の種別の識別とを行なうことができる。
【００１８】
また、前記画像部分除去手段は、前記第２の画像部分の輝度を所定の２値化閾値以下に変換して、該２値化閾値による前記注目領域の２値化処理を行うことにより、前記第２の画像部分を除去した前記注目領域の２値画像を生成し、前記輪郭線抽出手段は、前記第２の画像部分が除去された後の前記注目領域の２値画像に対して、エッジ点抽出による輪郭線抽出処理を行うことが好ましい。
【００１９】
この場合には、前記注目領域の２値化処理に伴って、前記注目領域から前記第２の画像部分を容易に除外することができる。
【００２０】
次に、本発明の車両周辺監視用プログラムは、車両に搭載されて該車両の周囲を撮像するカメラによる撮像画像のデータにアクセスする手段を有するコンピュータに、該撮像画像に基いて該車両の周辺を監視する機能を実現するプログラムに関する。
【００２１】
そして、該コンピュータを、前記カメラの撮像画像から、実空間上の対象物の画像部分を抽出する対象物画像抽出手段と、前記対象物画像抽出手段により抽出された第１の画像部分に対して、該第１の画像部分を含む所定サイズの領域を注目領域として設定する注目領域設定手段と、前記注目領域に、前記第１の画像部分以外の第２の画像部分が含まれるときに、前記注目領域から該第２の画像部分を除外する画像部分除外手段と、前記画像部分除外手段により前記第２の画像部分が除外された後の前記注目領域に対して、エッジ点抽出による輪郭線抽出を行なう輪郭線抽出手段と、前記輪郭線抽出手段により抽出された輪郭線に基いて、前記第１の画像部分に対応する実空間上の対象物の種別を判断する対象物種別識別手段として機能させることを特徴とする。
【００２２】
かかる本発明の車両周辺監視用プログラムを前記コンピュータに実行させることによって、前記本発明の車両周辺監視装置及び前記車両における、前記対象物画像抽出手段と、前記注目領域設定手段と、前記画像部分除外手段と、前記輪郭線抽出手段と、前記対象物種別識別手段とを構成することができる。
【００２３】
次に、本発明の車両周辺監視方法は、車両に搭載されて該車両の周囲を撮像するカメラによる撮像画像のデータにアクセスする手段を有するコンピュータにより、該撮像画像に基いて該車両の周辺を監視する方法に関する。
【００２４】
そして、前記コンピュータが、前記カメラの撮像画像から、実空間上の対象物の画像部分を抽出する対象物画像抽出ステップと、前記コンピュータが、前記対象物画像抽出手段により抽出された第１の画像部分に対して、該第１の画像部分を含む所定サイズの領域を注目領域として設定する注目領域設定ステップと、前記コンピュータが、前記注目領域に、前記第１の画像部分以外の第２の画像部分が含まれるときに、前記注目領域から該第２の画像部分を除外する画像部分除外ステップと、前記コンピュータが、前記画像部分除外手段により前記第２の画像部分が除外された後の前記注目領域に対して、エッジ点抽出による輪郭線抽出を行なう輪郭線抽出ステップと、前記コンピュータが、前記輪郭線抽出手段により抽出された輪郭線に基いて、前記第１の画像部分に対応する実空間上の対象物の種別を判断する対象物種別識別ステップとを含むことを特徴とする。
【００２５】
かかる本発明の車両周辺監視方法によれば、前記注目領域設定ステップにより、前記第１の画像部分を含む所定サイズの領域が、前記注目領域として設定される。そして、前記注目領域に前記第１の画像部分以外の第２の画像部分が含まれるときには、前記画像部分除去ステップにより該第２の画像部分が除外される。このようにして、前記第１の画像部分以外の前記第２の画像部分が除去された前記注目領域に対して、前記輪郭線抽出ステップにより輪郭線抽出が行なわれる。
【００２６】
この場合、前記注目領域に所在する前記第１の画像部分について、前記第２の画像部分が存在することによる影響を排除して、その輪郭線を精度良く抽出することができる。そして、このようにして抽出された輪郭線に基いて、前記対象物種別識別ステップにより、前記第１の画像部分に対応する実空間上の対象物の種別を精度良く識別することができる。
【発明を実施するための最良の形態】
【００２７】
本発明の実施の形態について、図１〜図５を参照して説明する。図１は本発明の車両周辺監視装置の構成図であり、本発明の車両周辺監視装置は、画像処理ユニット１と、遠赤外線を検出可能な赤外線カメラ（本発明のカメラに相当する）２と、車両のヨーレートを検出するヨーレートセンサ３と、車両の走行速度を検出する車速センサ４と、音声により警報を行うためのスピーカ６と、対象物を運転者に視認させる表示を行うためのヘッドアップディスプレイ（以下、ＨＵＤという）７と、赤外線カメラ２と対象物との距離を検出するミリ波レーダ装置８とを備えている。
【００２８】
図２を参照して、赤外線カメラ２は、車両１０の前部に配置されている。また、赤外線カメラ２は、ミリ波レーダ装置８の付近に、路面からの高さを等しくして固定されている。なお、赤外線カメラ２は、撮像物の温度が高いほど出力レベルが高くなる（輝度が大きくなる）特性を有している。また、表示装置７は、車両１０のフロントウィンドウの運転者側の前方位置に画面７ａが表示されるように設けられている。
【００２９】
また、ミリ波レーダ装置８は、ミリ波のビームを車両１０の前方に送信し、このミリ波の反射波（車両１０の前方に存在する物体で反射したミリ波）を受信する。ミリ波レーダ装置８のビームの走査範囲は、赤外線カメラ２の撮像範囲（視野角の範囲）を含むように設定されている。
【００３０】
ミリ波レーダ装置８は、受信した反射波のうちの所定強度以上の反射波に基いて、ビームの送信方向に存在する対象物を検出する。また、ミリ波レーダ装置８は、送信波と受信波との時間差に基いて、ミリ波を反射した対象物と赤外線カメラ２との距離を検出する。
【００３１】
図１を参照して、画像処理ユニット１は、マイクロコンピュータ（図示しない、本発明のコンピュータに相当する）等により構成された電子ユニットであり、赤外線カメラ２から出力されるアナログの映像信号をデジタルデータに変換して画像メモリ（図示しない）に取り込み、インターフェース回路（図示しない、本発明の撮像画像にアクセスする手段に相当する）を介して、該画像メモリに取り込んだ車両前方の画像に対して該マイクロコンピュータにより各種演算処理を行う機能を有している。
【００３２】
そして、該マイクロコンピュータに、本発明の車両周辺監視用プログラムを実行させることによって、該マイクロコンピュータが、赤外線カメラ２の撮像画像から対象物の画像部分を抽出する対象物画像抽出手段２０、撮像画像に含まれる画像部分に対応した実空間上の位置と赤外線カメラ２との距離（実空間距離）を検出する距離検出手段２５、対象物画像抽出手段２０により抽出された画像部分（第１の画像部分）を含む該画像部分の周辺領域を注目領域として設定する注目領域設定手段２１、該注目領域に存在する第１の画像部分以外の画像部分（第２の画像部分）を除外する画像部分除外手段２２、他の画像部分が除外された後の注目領域に対して輪郭線抽出を行う輪郭線抽出手段２３、及び輪郭線抽出手段２３により抽出された輪郭線に基いて、第１の画像部分に対応する実空間上の対象物の種別を識別する対象物種別識別手段２４として機能する。
【００３３】
また、該マイクロコンピュータにより、本発明の車両周辺監視方法の各ステップが実行される。
【００３４】
画像処理ユニット１は、赤外線カメラ２から出力される車両周辺の赤外線画像のアナログ信号を入力し、該アナログ信号をＡ／Ｄ（アナログ／デジタル）変換によりデジタル化した多値（グレースケール）画像を画像メモリ（図示しない）に格納する。
【００３５】
そして、画像処理ユニット１は、右画像に含まれる画像部分に対応する実空間上の対象物の種別を識別する処理を行う。以下、図３に示したフローチャートに従って、この処理について説明する。
【００３６】
図３のＳＴＥＰ１は距離検出手段２５による処理であり、距離検出手段２５は、ミリ波レーダ装置８から出力される走査箇所の測距データに基いて、車両周辺の対象物と赤外線カメラ２との距離Ｚを検出する。
【００３７】
また、ＳＴＥＰ２〜ＳＴＥＰ３は対象物画像抽出手段２０による処理である。対象物画像抽出手段２０は、ＳＴＥＰ２で赤外線カメラ２による赤外線画像を入力して画像メモリに取り込み、ＳＴＥＰ３で、赤外線カメラ２との距離が所定範囲以内である対象物の画像部分を抽出する。なお、対象物画像抽出手段２０により対象物の画像部分を抽出する処理は、本発明の車両周辺監視方法における対象物抽出ステップに相当する。
【００３８】
続くＳＴＥＰ４は注目領域設定手段４による処理である。注目領域設定手段４は、ＳＴＥＰ３で抽出された画像部分の中から選択された第１の画像部分を含む画像領域を、注目領域として設定する。本実施の形態では、対象物の種別が歩行者であるか否かを識別するので、注目領域設定手段２１は、歩行者を識別対象とする注目領域を設定する。なお、注目領域設定手段２１により注目領域を設定する処理は、本発明の車両周辺監視方法における注目領域設定ステップに相当する。
【００３９】
具体的には、注目領域設定手段２２は、歩行者の身長の想定値（例えば１７０cm）よりも若干高く設定した基準値ＧHと、歩行者の幅の想定値（例えば６０cm）よりも若干広く設定した基準値ＧWと、第１の画像部分に対応する実空間上の対象物と赤外線カメラ２との距離Ｚとに基いて、以下の式（１），式（２）により、注目領域の高さｇhと幅ｇwとを算出する。
【００４０】
【数１】
【００４１】
【数２】
【００４２】
但し、ｆ：赤外線カメラ２の焦点距離、ｐ：赤外線カメラ２の撮像素子の画素間隔、ＧH：歩行者の身長を想定した基準値、ＧW：歩行者の幅を想定した基準値、Ｚ：赤外線カメラ２と対象物との距離。
【００４３】
ここで、図４（ａ）は、赤外線カメラ２の撮像画像を２値化した２値画像３０について、対象物の画像部分３１，３２，３３，３４が抽出され、第１の画像部分として画像部分３１が選択されて、第１の画像部分３１の注目領域３１ａが設定された例を示したものである。
【００４４】
図４（ａ）の注目領域３１ａには、第１の画像部分３１の他に、他の画像部分（第２の画像部分）３２の一部が含まれている。そして、このように、注目領域３１ａに、第１の画像部分３１の他に第２の画像部分３２が含まれていると、注目領域３１ａに対してエッジ抽出による輪郭線抽出を行なったときに、第２の画像部分３２の影響を受けて第１の画像部分３１の輪郭線を精度良く抽出することができない。
【００４５】
例えば、図５（ａ）は、歩行者の第１の画像部分５０が抽出されて、第１の画像部分５０に対する注目領域５０ａが設定されたときに、注目領域５０ａに第２の画像部分５１が含まれていた場合を示している。この場合には、注目領域５０ａに対してエッジ点抽出によるスネークスアルゴリズム等による輪郭線抽出を行なったときに、第２の画像部分５１を含んだ形についての輪郭線５０ｂが抽出されてしまう。
【００４６】
そして、このようにして抽出された輪郭線５０ｂは、歩行者の画像部分５０の形状を反映しないものとなる。そのため、輪郭線５０ｂに基いて対象物の種別を識別したときには、画像部分５０に対応する実空間上の対象物が、歩行者ではないと誤って識別されてしまう。
【００４７】
そこで、画像部分除外手段２２は、図５（ａ）に示したように、注目領域５０ａに、第１の画像部分５０以外の第２の画像部分５１が含まれているときには、第２の画像部分５１を除外する処理を行う。
【００４８】
図５（ｂ）は、第２の画像部分５１を除外した後の注目領域６０に対して、輪郭線抽出を行なった場合を示したものである。図５（ｂ）では、第２の画像部分５１を除外されているため、歩行者の画像部分５０の形状を反映した輪郭線６０ｂが抽出されている。そして、画像部分５０の形状を反映した輪郭線６０ｂを精度良く抽出することができ、輪郭線６０ｂの形状に基いて、画像部分５０に対応する実空間所の対象物が歩行者であると精度良く識別することができる。
【００４９】
ＳＴＥＰ５で、画像部分除外手段２２は、撮像画像中の各画像部分にＩＤを付するラベリングを行なう。そして、ＳＴＥＰ６で、画像部分除外手段２２は、注目領域を設定した第１の画像部分のＩＤ以外のＩＤが付された第２の画像部分が注目領域に含まれる場合は、多値画像におけるこの第２の画像部分の輝度を低輝度（２値化閾値よりも低い輝度）に変換した上で、該多値画像の２値化を行う。これにより、注目領域における第２の画像部分が０（黒）となって、注目領域から第２の画像部分が除外される。
【００５０】
ここで、図４（ｂ）は、図４（ａ）の２値画像３０の原画像（多値画像）に対して、注目領域３１ａに含まれる第２の画像部分３２の輝度を２値化閾値よりも低い輝度に変換した上で、該２値化閾値による２値化処理を行って生成された２値画像４０を示している。図４（ｂ）の２値画像４０においては、第２の画像部分３２が除外されて、注目領域３１ａに第１の画像部分３１のみが存在する状態となっている。
【００５１】
なお、対象物種別識別手段２４により注目領域から第２の画像部分を除外する処理は、本発明の車両周辺監視方法における画像部分除外ステップに相当する。
【００５２】
続くＳＴＥＰ７は輪郭線抽出手段２３による処理である。輪郭線抽出手段２３は、ＳＴＥＰ７で第２の画像部分が除外された後の注目領域に対して、エッジ点抽出によるスネークスアルゴリズム等の輪郭線抽出処理をおこう。これにより、図５（ａ），図５（ｂ）を参照して上述したように、第１の画像部分の形状を反映した輪郭線が抽出される。
【００５３】
なお、輪郭線抽出手段２３により注目領域に対する輪郭線を抽出する処理は、本発明の車両周辺監視方法における輪郭線抽出ステップに相当する。
【００５４】
続くＳＴＥＰ８は対象物種別識別手段２４による処理である。対象物種別識別手段２４は、ＳＴＥＰ７で抽出された輪郭線が、予め設定した歩行者の特徴形状（高さ、幅、縦横比等）を有するか否かを判定することにより、第１の画像部分に対応する実空間上の対象物が歩行者であるか否かを識別する。
【００５５】
なお、対象物種別識別手段２４により第１の画像部分に対応する実空間上の対象物の種別が歩行者であるか否かを識別する処理は、本発明の車両周辺監視方法における対象物種別識別ステップに相当する。
【００５６】
次のＳＴＥＰ９で、他の注目領域があるか否かが判断され、他の注目領域があるときには、ＳＴＥＰ６にもどって、他の注目領域についてＳＴＥＰ６〜ＳＴＥＰ８による第２の画像部分の除外→注目領域に対する輪郭線抽出→歩行者識別という一連の処理が実行される。
【００５７】
そして、画像処理ユニット１は、対象物種別識別手段２４により、第１の画像部分に対応する実空間上の対象物が歩行者であると識別されたときには、スピーカ６からの音声出力及びＨＵＤ７への表示により、運転者に対する注意喚起を行なう。
【００５８】
なお、本実施の形態では、注目領域設定手段２２により、監視する対象物（歩行者）の大きさの想定値（身長の想定値に基くＧH、幅の想定値に基くＧW）と、対象物と赤外線カメラ２との距離Ｚとに基いて、注目領域を設定したが、対象物の大きさの想定値のみによって注目領域を設定するようにしてもよい。
【００５９】
また、本実施の形態では、ミリ波レーダ装置８を用いて対象物と赤外線カメラ２との距離を算出したが、レーザーレーダ等の他の種類の測距装置を用いてもよい。或いは、本実施の形態では１台の赤外線カメラを用いる場合について説明したが、２台の赤外線カメラを用いて、２台の赤外線カメラによる同一の対象物の画像部分の水平方向のずれ（視差）に基いて、実空間における対象物と赤外線カメラとの距離を検出するようにしてもよい。この場合には、車速センサ４により検出される車速ＶCAR及びヨーレートセンサ３により検出されるヨーレートＹRを読み込んで、ヨーレートＹRを時間積分することにより車両１０の回頭角を算出し、回頭角補正により実空間（図２のＸ，Ｙ，Ｚの座標値）の補正を行なってもよい。
【００６０】
また、１台のカメラによる異なる時点の撮像画像中の同一対象物の画像部分のサイズの変化から、対象物とカメラとの距離を検出するようにしてもよい。
【００６１】
また、本実施の形態においては、車両前方を撮像する構成を示したが、車両の後方や側方等、他の方向を撮像して車両の周辺を監視する構成としてもよい。
【００６２】
また、本実施の形態においては、本発明のカメラとして赤外線カメラ２を用いたが、可視画像を撮像する可視カメラを用いてもよい。
【００６３】
また、本実施の形態では、対象物が歩行者であることを識別したが、対象物が鹿等の大型動物や、人口構造物であることを識別する場合についても、本発明の適用が可能である。
【図面の簡単な説明】
【００６４】
【図１】本発明の車両周辺監視装置の構成図。
【図２】図１に示した車両周辺監視装置の車両への取り付け態様の説明図。
【図３】図１に示した画像処理ユニットにおける対象物種別の識別処理のフローチャート。
【図４】注目領域の設定及び注目領域から第２の画像部分を除外する処理の説明図。
【図５】注目領域における輪郭線抽出の説明図。
【符号の説明】
【００６５】
１…画像処理ユニット、２…赤外線カメラ（カメラ）、３…ヨーレートセンサ、４…車速センサ、６…スピーカ、７…ＨＵＤ、８…ミリ波レーダ装置、２０…対象物画像抽出装置、２１…注目領域設定手段、２２…画像部分除外手段、２３…輪郭線抽出手段、２４…対象物種別識別手段、２５…距離検出手段、３１…第１の画像部分、３１ａ…注目領域、３２…第２の画像部分、５０…第１の画像部分、５０ａ…注目領域、５０ｂ…第１の画像部分及び第２の画像部分の輪郭線、５１…第２の画像部分、６０…注目領域、６０ｂ…第１の画像部分の輪郭線
【特許請求の範囲】
【請求項１】
車両に搭載されて該車両の周辺を撮像するカメラによる撮像画像に基いて、車両周辺を監視する車両周辺監視装置において、
前記カメラの撮像画像から、実空間上の対象物の画像部分を抽出する対象物画像抽出手段と、
前記対象物画像抽出手段により抽出された第１の画像部分に対して、該第１の画像部分を含む所定サイズの領域を注目領域として設定する注目領域設定手段と、
前記注目領域に、前記第１の画像部分以外の第２の画像部分が含まれるときに、前記注目領域から該第２の画像部分を除外する画像部分除外手段と、
前記画像部分除外手段により前記第２の画像部分が除外された後の前記注目領域に対して、輪郭線抽出を行なう輪郭線抽出手段と、
前記輪郭線抽出手段により抽出された輪郭線に基いて、前記第１の画像部分に対応する実空間上の対象物の種別を判断する対象物種別識別手段とを備えたことを特徴とする車両周辺監視装置。
【請求項２】
請求項１記載の車両周辺監視装置において、
前記カメラと対象物との距離を検出する距離検出手段を備え、
前記注目領域設定手段は、前記距離検出手段により検出された前記カメラとの距離が所定範囲にある対象物の画像部分を、前記第１の画像部分として、前記注目領域を設定することを特徴とする車両周辺監視装置。
【請求項３】
請求項１又は請求項２記載の車両周辺監視装置において、
前記画像部分除去手段は、前記第２の画像部分の輝度を所定の２値化閾値以下に変換して、該２値化閾値による前記注目領域の２値化処理を行うことにより、前記第２の画像部分を除去した前記注目領域の２値画像を生成し、
前記輪郭線抽出手段は、前記第２の画像部分が除去された後の前記注目領域の２値画像に対して、エッジ点抽出による輪郭線抽出処理を行うことを特徴とする車両周辺監視装置。
【請求項４】
周辺を撮像するカメラを備え、該カメラによる撮像画像に基いて車両周辺を監視する機能を有する車両において、
前記カメラの撮像画像から、実空間上の対象物の画像部分を抽出する対象物画像抽出手段と、
前記対象物画像抽出手段により抽出された第１の画像部分に対して、該第１の画像部分を含む所定サイズの領域を注目領域として設定する注目領域設定手段と、
前記注目領域に、前記第１の画像部分以外の第２の画像部分が含まれるときに、前記注目領域から該第２の画像部分を除外する画像部分除外手段と、
前記画像部分除外手段により前記第２の画像部分が除外された後の前記注目領域に対して、輪郭線抽出を行なう輪郭線抽出手段と、
前記輪郭線抽出手段により抽出された輪郭線に基いて、前記第１の画像部分に対応する実空間上の対象物の種別を判断する対象物種別識別手段とを備えたことを特徴とする車両。
【請求項５】
車両に搭載されて該車両の周囲を撮像するカメラによる撮像画像のデータにアクセスする手段を有するコンピュータに、該撮像画像に基いて該車両の周辺を監視する機能を実現するプログラムであって、該コンピュータを、
前記カメラの撮像画像から、実空間上の対象物の画像部分を抽出する対象物画像抽出手段と、
前記対象物画像抽出手段により抽出された第１の画像部分に対して、該第１の画像部分を含む所定サイズの領域を注目領域として設定する注目領域設定手段と、
前記注目領域に、前記第１の画像部分以外の第２の画像部分が含まれるときに、前記注目領域から該第２の画像部分を除外する画像部分除外手段と、
前記画像部分除外手段により前記第２の画像部分が除外された後の前記注目領域に対して、輪郭線抽出を行なう輪郭線抽出手段と、
前記輪郭線抽出手段により抽出された輪郭線に基いて、前記第１の画像部分に対応する実空間上の対象物の種別を判断する対象物種別識別手段として機能させることを特徴とする車両周辺監視用プログラム。
【請求項６】
車両に搭載されて該車両の周囲を撮像するカメラによる撮像画像のデータにアクセスする手段を有するコンピュータにより、該撮像画像に基いて該車両の周辺を監視する方法であって、
前記コンピュータが、前記カメラの撮像画像から、実空間上の対象物の画像部分を抽出する対象物画像抽出ステップと、
前記コンピュータが、前記対象物画像抽出手段により抽出された第１の画像部分に対して、該第１の画像部分を含む所定サイズの領域を注目領域として設定する注目領域設定ステップと、
前記コンピュータが、前記注目領域に、前記第１の画像部分以外の第２の画像部分が含まれるときに、前記注目領域から該第２の画像部分を除外する画像部分除外ステップと、
前記コンピュータが、前記画像部分除外手段により前記第２の画像部分が除外された後の前記注目領域に対して、輪郭線抽出を行なう輪郭線抽出ステップと、
前記コンピュータが、前記輪郭線抽出手段により抽出された輪郭線に基いて、前記第１の画像部分に対応する実空間上の対象物の種別を判断する対象物種別識別ステップとを含むことを特徴とする車両周辺監視方法。
【請求項１】
車両に搭載されて該車両の周辺を撮像するカメラによる撮像画像に基いて、車両周辺を監視する車両周辺監視装置において、
前記カメラの撮像画像から、実空間上の対象物の画像部分を抽出する対象物画像抽出手段と、
前記対象物画像抽出手段により抽出された第１の画像部分に対して、該第１の画像部分を含む所定サイズの領域を注目領域として設定する注目領域設定手段と、
前記注目領域に、前記第１の画像部分以外の第２の画像部分が含まれるときに、前記注目領域から該第２の画像部分を除外する画像部分除外手段と、
前記画像部分除外手段により前記第２の画像部分が除外された後の前記注目領域に対して、輪郭線抽出を行なう輪郭線抽出手段と、
前記輪郭線抽出手段により抽出された輪郭線に基いて、前記第１の画像部分に対応する実空間上の対象物の種別を判断する対象物種別識別手段とを備えたことを特徴とする車両周辺監視装置。
【請求項２】
請求項１記載の車両周辺監視装置において、
前記カメラと対象物との距離を検出する距離検出手段を備え、
前記注目領域設定手段は、前記距離検出手段により検出された前記カメラとの距離が所定範囲にある対象物の画像部分を、前記第１の画像部分として、前記注目領域を設定することを特徴とする車両周辺監視装置。
【請求項３】
請求項１又は請求項２記載の車両周辺監視装置において、
前記画像部分除去手段は、前記第２の画像部分の輝度を所定の２値化閾値以下に変換して、該２値化閾値による前記注目領域の２値化処理を行うことにより、前記第２の画像部分を除去した前記注目領域の２値画像を生成し、
前記輪郭線抽出手段は、前記第２の画像部分が除去された後の前記注目領域の２値画像に対して、エッジ点抽出による輪郭線抽出処理を行うことを特徴とする車両周辺監視装置。
【請求項４】
周辺を撮像するカメラを備え、該カメラによる撮像画像に基いて車両周辺を監視する機能を有する車両において、
前記カメラの撮像画像から、実空間上の対象物の画像部分を抽出する対象物画像抽出手段と、
前記対象物画像抽出手段により抽出された第１の画像部分に対して、該第１の画像部分を含む所定サイズの領域を注目領域として設定する注目領域設定手段と、
前記注目領域に、前記第１の画像部分以外の第２の画像部分が含まれるときに、前記注目領域から該第２の画像部分を除外する画像部分除外手段と、
前記画像部分除外手段により前記第２の画像部分が除外された後の前記注目領域に対して、輪郭線抽出を行なう輪郭線抽出手段と、
前記輪郭線抽出手段により抽出された輪郭線に基いて、前記第１の画像部分に対応する実空間上の対象物の種別を判断する対象物種別識別手段とを備えたことを特徴とする車両。
【請求項５】
車両に搭載されて該車両の周囲を撮像するカメラによる撮像画像のデータにアクセスする手段を有するコンピュータに、該撮像画像に基いて該車両の周辺を監視する機能を実現するプログラムであって、該コンピュータを、
前記カメラの撮像画像から、実空間上の対象物の画像部分を抽出する対象物画像抽出手段と、
前記対象物画像抽出手段により抽出された第１の画像部分に対して、該第１の画像部分を含む所定サイズの領域を注目領域として設定する注目領域設定手段と、
前記注目領域に、前記第１の画像部分以外の第２の画像部分が含まれるときに、前記注目領域から該第２の画像部分を除外する画像部分除外手段と、
前記画像部分除外手段により前記第２の画像部分が除外された後の前記注目領域に対して、輪郭線抽出を行なう輪郭線抽出手段と、
前記輪郭線抽出手段により抽出された輪郭線に基いて、前記第１の画像部分に対応する実空間上の対象物の種別を判断する対象物種別識別手段として機能させることを特徴とする車両周辺監視用プログラム。
【請求項６】
車両に搭載されて該車両の周囲を撮像するカメラによる撮像画像のデータにアクセスする手段を有するコンピュータにより、該撮像画像に基いて該車両の周辺を監視する方法であって、
前記コンピュータが、前記カメラの撮像画像から、実空間上の対象物の画像部分を抽出する対象物画像抽出ステップと、
前記コンピュータが、前記対象物画像抽出手段により抽出された第１の画像部分に対して、該第１の画像部分を含む所定サイズの領域を注目領域として設定する注目領域設定ステップと、
前記コンピュータが、前記注目領域に、前記第１の画像部分以外の第２の画像部分が含まれるときに、前記注目領域から該第２の画像部分を除外する画像部分除外ステップと、
前記コンピュータが、前記画像部分除外手段により前記第２の画像部分が除外された後の前記注目領域に対して、輪郭線抽出を行なう輪郭線抽出ステップと、
前記コンピュータが、前記輪郭線抽出手段により抽出された輪郭線に基いて、前記第１の画像部分に対応する実空間上の対象物の種別を判断する対象物種別識別ステップとを含むことを特徴とする車両周辺監視方法。
【図１】
【図２】
【図３】
【図５】
【図４】
【図２】
【図３】
【図５】
【図４】
【公開番号】特開２００９−１９３３９０（Ｐ２００９−１９３３９０Ａ）
【公開日】平成２１年８月２７日（２００９．８．２７）
【国際特許分類】
【出願番号】特願２００８−３３９８９（Ｐ２００８−３３９８９）
【出願日】平成２０年２月１５日（２００８．２．１５）
【出願人】（０００００５３２６）本田技研工業株式会社 (23,863)
【Ｆターム（参考）】
【公開日】平成２１年８月２７日（２００９．８．２７）
【国際特許分類】
【出願日】平成２０年２月１５日（２００８．２．１５）
【出願人】（０００００５３２６）本田技研工業株式会社 (23,863)
【Ｆターム（参考）】
[ Back to top ]