車両周辺監視装置、車両、車両周辺監視用プログラム、車両周辺監視方法
【課題】カメラの撮像画像から抽出した対象物の画像部分の輪郭線の形状に基いて、対象物の種別を精度良く識別することができる車両周辺監視装置を提供する。
【解決手段】カメラ２Ｒ，２Ｌと対象物との距離を検出する距離検出手段２０と、カメラ２Ｒの撮像画像から対象物の第１の画像部分を抽出する対象物画像抽出手段２１と、前記撮像画像に対して、歩行者の水平方向の幅の想定値とカメラ２Ｒと前記第１の画像部分に対応する対象物との距離とに基いて、該幅の想定値が小さいほど及び該距離が長いほど対象エッジ幅を狭く設定すると共に、対象エッジ方向を垂直方向に設定したガボールフィルタによるフィルタリング処理を行なうフィルタリング手段２３と、前記フィルタリング処理により抽出された画像部分の形状に基いて、該画像部分に対応する実空間上の対象物が歩行者であるか否かを識別する対象物種別識別手段２４とを備える。
【解決手段】カメラ２Ｒ，２Ｌと対象物との距離を検出する距離検出手段２０と、カメラ２Ｒの撮像画像から対象物の第１の画像部分を抽出する対象物画像抽出手段２１と、前記撮像画像に対して、歩行者の水平方向の幅の想定値とカメラ２Ｒと前記第１の画像部分に対応する対象物との距離とに基いて、該幅の想定値が小さいほど及び該距離が長いほど対象エッジ幅を狭く設定すると共に、対象エッジ方向を垂直方向に設定したガボールフィルタによるフィルタリング処理を行なうフィルタリング手段２３と、前記フィルタリング処理により抽出された画像部分の形状に基いて、該画像部分に対応する実空間上の対象物が歩行者であるか否かを識別する対象物種別識別手段２４とを備える。
【発明の詳細な説明】
【技術分野】
【０００１】
本発明は、車両に搭載されたカメラによる車両周辺の撮像画像から、車両周辺に所在する対象物を検出して車両周辺を監視する車両周辺監視装置、車両、車両周辺監視用プログラム、及び車両周辺監視方法に関する。
【背景技術】
【０００２】
従来より、車両に搭載されたカメラによる車両周辺の撮像画像から、車両周辺の対象物を検出し、実空間における該対象物と車両との相対位置と相対速度を算出して、所定時間内における車両と対象物との接触可能性を判断する車両周辺監視装置が知られている（例えば、特許文献１参照）。
【０００３】
また、対象物の種別（人、車両、大型動物等）を識別するために、カメラにより撮像された多値画像を２値化した２値画像中の画像部分について、その形状（面積、輪郭線、縦横比等）を抽出する処理が行われている（例えば、特許文献２参照）。
【０００４】
ここで、特許文献２にされた装置においては、２値画像中の画像部分を囲むウィンドウについて、水平方向のエッジ座標の最小値と最大値間の幅と、垂直方向のエッジ座標の最小値と最大値間の幅との比を縦横比Ｒとして算出し、該縦横比Ｒに基いて該画像部分に対応する実空間上の対象物が人であるか否かを判断している。
【０００５】
しかし、このようにエッジ間の幅に基いて、対象物が人であるか否かを判断する場合、前記ウィンドウ内に複数の対象物の画像部分が含まれていたときに、対象物の画像部分の幅が正しく算出されないという不都合がある。そして、その結果、対象物の種別の識別精度が悪くなるという不都合がある。
【特許文献１】特開２００１−６０９６号公報
【特許文献２】特開平８−３１３６３２
【発明の開示】
【発明が解決しようとする課題】
【０００６】
本発明は上記背景を鑑みてなされたものであり、カメラの撮像画像から抽出した対象物の画像部分の輪郭線の形状に基いて、該対象物の種別を精度良く識別することができる車両周辺監視装置、車両、車両周辺監視用プログラム、及び車両周辺監視方法を提供することを目的とする。
【課題を解決するための手段】
【０００７】
本発明は上記目的を達成するためになされたものであり、本発明の車両周囲監視装置は、車両に搭載されて該車両の周辺を撮像するカメラの撮像画像に基いて、車両周辺を監視する車両周辺監視装置に関する。
【０００８】
そして、前記カメラと対象物との距離を検出する距離検出手段と、前記カメラの撮像画像から、対象物の第１の画像部分を抽出する対象物画像抽出手段と、前記撮像画像に対して、特定種別の対象物の所定方向の幅の想定値と、前記距離検出手段により検出した前記カメラと前記第１の画像部分に対応する実空間上の対象物との距離とに基いて、該幅の想定値が小さいほど及び該距離が長いほど対象エッジ幅を狭く設定すると共に、対象エッジ方向を前記所定方向と直交する方向に設定したガボールフィルタによるフィルタリング処理を行なうフィルタリング手段と、前記フィルタリング処理により抽出された第２の画像部分の形状に基いて、該第２の画像部分に対応する実空間上の対象物の種別が、前記特定種別であるか否かを識別する対象物種別識別手段とを備えたことを特徴とする。
【０００９】
また、本発明の車両は、周辺を撮像するカメラを備え、該カメラの撮像画像に基いて周辺を監視する機能を有する車両に関する。
【００１０】
そして、前記カメラと対象物との距離を検出する距離検出手段と、前記カメラの撮像画像から、対象物の第１の画像部分を抽出する対象物画像抽出手段と、前記撮像画像に対して、特定種別の対象物の所定方向の幅の想定値と、前記距離検出手段により検出した前記カメラと前記第１の画像部分に対応する実空間上の対象物との距離とに基いて、該幅の想定値が小さいほど及び該距離が長いほど対象エッジ幅を狭く設定すると共に、対象エッジ方向を前記所定方向と直交する方向に設定したガボールフィルタによるフィルタリング処理を行なうフィルタリング手段と、前記フィルタリング処理により抽出された第２の画像部分の形状に基いて、該第２の画像部分に対応する実空間上の対象物の種別が、前記特定種別であるか否かを識別する対象物種別識別手段とを備えたことを特徴とする。
【００１１】
かかる本発明の車両周辺監視装置及び車両において、前記カメラの撮像画像における対象物の画像部分の大きさは、対象物が小さいほど小さくなり、また、前記カメラと対象物との距離が長くなるに従って小さくなる。そのため、前記フィルタリング手段によって、前記距離検出手段により検出した前記カメラと前記第１の画像部分に対応する実空間上の対象物との距離と、対象物の前記所定方向の幅の想定値とに基いて、該幅の想定値が小さいほど及び該距離が長いほど対象エッジ幅を狭く設定すると共に、対象エッジ方向を前記所定方向と直交する方向に設定したガボールフィルタによるフィルタリング処理を行なうことによって、前記特定種別の対象物の画像部分であると想定される前記対象エッジ幅の前記所定方向と直交する方向のエッジ領域のみを強調して、前記第２の画像部分を抽出することができる。そして、このようにして抽出した前記第２の画像部分の形状に基いて、前記第２の画像部分に対応する実空間上の対象物の種別を精度良く識別することができる。
【００１２】
また、前記特定種別の対象物の大きさの想定値と、前記距離検出手段により検出した前記第１の画像部分に対応する実空間上の対象物と前記カメラとの距離とに基いて、前記第１の画像部分を含む前記第１の画像部分の周囲範囲を、局所処理領域として設定する局所処理領域設定手段を備え、前記フィルタリング手段は、前記局所処理領域に限定して、前記フィルタリング処理を行ない、前記対象物種別識別手段は、前記局所処理領域に対する前記フィルタリング処理によって抽出された前記第２の画像部分の形状に基いて、前記第２の画像部分に対応する実空間上の対象物の種別が、前記特定種別であるか否かを識別することを特徴とする。
【００１３】
かかる本発明によれば、前記局所処理領域設定手段により設定された前記第１の画像部分の周囲の前記局所処理領域に限定して、前記フィルタリング処理を行うことにより、前記フィルタリング処理における演算量を減少させて、効率良く前記第２の画像部分を抽出することができる。
【００１４】
また、前記特定種別は歩行者であり、前記所定方向は水平方向であり、前記所定方向と直交する方向は前記所定方向と直交する方向であり、前記対象物種別識別手段は、前記局所処理領域において、前記フィルタリング処理により抽出された前記第２の画像部分の下端が、前記局所処理領域の下半分の領域に含まれるときに、前記第２の画像部分に対応する実空間上の対象物の種別が歩行者であると識別することを特徴とする。
【００１５】
かかる本発明によれば、前記カメラの撮像画像から、前記フィルタリング処理によって、歩行者の水平方向の幅の想定値の距離に応じた水平方向のエッジ幅を有し、エッジ方向が垂直方向である前記第２の画像部分を抽出したときに、前記第２の画像部分の下端が前記局所処理領域の下半分の領域に含まれるときには、前記第２の画像部分は歩行者の脚の画像部分を有していると判断して、前記第２の画像部分に対応する実空間上の対象物の種別が歩行者であると識別することができる。
【００１６】
次に、本発明の車両周辺監視用プログラムは、車両に搭載されて該車両の周囲を撮像するカメラの撮像画像のデータにアクセスする手段を有するコンピュータに、該撮像画像に基いて該車両の周辺を監視する機能を実現するプログラムであって車両に搭載されて該車両の周囲を撮像するカメラの撮像画像のデータにアクセスする手段を有するコンピュータに、該撮像画像に基いて該車両の周辺を監視する機能を実現するプログラムに関する。
【００１７】
そして、前記コンピュータを、前記カメラと対象物との距離を検出する距離検出手段と、前記カメラの撮像画像から、対象物の第１の画像部分を抽出する対象物画像抽出手段と、前記撮像画像に対して、特定種別の対象物の所定方向の幅の想定値と、前記距離検出手段により検出した前記カメラと前記第１の画像部分に対応する実空間上の対象部との距離とに基いて、該幅の想定値が小さいほど及び該距離が長いほど対象エッジ幅を狭く設定すると共に、対象エッジ方向を前記所定方向と直交する方向に設定したガボールフィルタによるフィルタリング処理を行なうフィルタリング手段と、前記フィルタリング処理により抽出された第２の画像部分の形状に基いて、該第２の画像部分に対応する実空間上の対象物の種別が、前記特定種別であるか否かを識別する対象物種別識別手段として機能させることを特徴とする。
【００１８】
かかる本発明の車両周辺監視用プログラムを前記コンピュータに実行させることによって、上述した本発明の車両周辺監視装置及び本発明の車両における前記距離検出手段、前記対象物画像抽出手段、前記フィルタリング手段、及び前記対象物種別識別手段を構成することができる。
【００１９】
次に、本発明の車両周辺監視方法は、車両に搭載されて該車両の周囲を撮像するカメラの撮像画像のデータにアクセスする手段を有するコンピュータにより、該撮像画像に基いて該車両の周辺を監視する方法に関する。
【００２０】
そして、前記コンピュータが、前記カメラと対象物との距離を検出する距離検出ステップと、前記コンピュータが、前記カメラの撮像画像から、対象物の第１の画像部分を抽出する対象物画像抽出ステップと、前記コンピュータが、前記撮像画像に対して、特定種別の対象物の所定方向の幅の想定値と、前記距離検出手段により検出した前記カメラと前記第１の画像部分に対応する実空間上の対象部との距離とに基いて、該幅の想定値が小さいほど及び該距離が長いほど対象エッジ幅を狭く設定すると共に、対象エッジ方向を前記所定方向と直交する方向に設定したガボールフィルタによるフィルタリング処理を行なうフィルタリングステップと、前記コンピュータが、前記フィルタリング処理により抽出された第２の画像部分の形状に基いて、該第２の画像部分に対応する実空間上の対象物の種別が、前記特定種別であるか否かを識別する対象物種別識別ステップとを含むことを特徴とする。
【００２１】
かかる本発明において、前記カメラの撮像画像における対象物の画像部分の大きさは、対象物が小さいほど小さくなり、また、前記カメラと対象物との距離が長くなるに従って小さくなる。そのため、前記フィルタリングステップによって、前記距離検出手段により検出した前記カメラと前記第１の画像部分に対応する実空間上の対象物との距離と、対象物の前記所定方向の幅の想定値とに基いて、該幅の想定値が小さいほど及び該距離が長いほど対象エッジ幅を狭く設定すると共に、対象エッジ方向を前記所定方向と直交する方向に設定したガボールフィルタによるフィルタリング処理を行なうことによって、前記特定種別の対象物の画像部分であると想定される前記対象エッジ幅の前記所定方向と直交する方向のエッジ領域のみを強調して前記第２の画像部分を抽出することができる。そして、前記対象物種別識別手段により、このようにして抽出された前記第２の画像部分の形状に基いて、前記第２の画像部分に対応する実空間上の対象物の種別を精度良く識別することができる。
【発明を実施するための最良の形態】
【００２２】
本発明の実施の形態について、図１〜図８を参照して説明する。図１は本発明の車両周辺監視装置の構成図であり、本発明の車両周辺監視装置は、画像処理ユニット１と、遠赤外線を検出可能な赤外線カメラ（本発明のカメラに相当する）２Ｒ，２Ｌと、車両のヨーレートを検出するヨーレートセンサ３と、車両の走行速度を検出する車速センサ４と、音声により警報を行うためのスピーカ６と、対象物を運転者に視認させる表示を行うためのヘッドアップディスプレイ（以下、ＨＵＤという）７と、カメラ２Ｒ，２Ｌと対象物との距離を検出するミリ波レーダ装置とを備えている。
【００２３】
図２を参照して、赤外線カメラ２Ｒ，２Ｌは、車両１０の前部に、車両１０の車幅方向の中心部に対してほぼ対象な位置に配置されている。また、赤外線カメラ２Ｒ，２Ｌは、光軸を互いに平行とすると共に、路面からの高さを等しくして固定されている。なお、赤外線カメラ２Ｒ，２Ｌは、撮像物の温度が高いほど出力レベルが高くなる（輝度が大きくなる）特性を有している。また、表示装置７は、車両１０のフロントウィンドウの運転者側の前方位置に画面７ａが表示されるように設けられている。
【００２４】
また、ミリ波レーダ装置８は、車両１０の前部の赤外線カメラ２Ｒ，２Ｌの上側に取り付けられている。ミリ波レーダー装置８は、ミリ波のビームを車両１０の前方に送信し、このミリ波の反射波（車両１０の前方に存在する物体で反射したミリ波）を受信する。ミリ波レーダー装置８のビームの走査範囲は、赤外線カメラ２Ｒ，２Ｌの撮像範囲（視野角の範囲）を含むように設定されている。
【００２５】
ミリ波レーダー装置８は、受信した反射のうちの所定強度以上の反射波に基いて、ビームの送信方向に存在する対象物を検出する。また、ミリ波レーダー装置８は、送信波と受信波との時間差に基いて、ミリ波を反射した対象物とカメラ２Ｒ，２Ｌとの距離を検出する。
【００２６】
図１を参照して、画像処理ユニット１は、マイクロコンピュータ（図示しない、本発明のコンピュータに相当する）等により構成された電子ユニットであり、赤外線カメラ２Ｒ，２Ｌから出力されるアナログの映像信号をデジタルデータに変換して画像メモリ（図示しない）に取り込み、インターフェース回路（図示しない、本発明の撮像画像にアクセスする手段に相当する）を介して、該画像メモリに取り込んだ車両前方の画像に対して該マイクロコンピュータにより各種演算処理を行う機能を有している。
【００２７】
そして、前記マイクロコンピュータに、本発明の車両監視用プログラムを実行させることによって、前記マイクロコンピュータが、カメラ２Ｒ，２Ｌの撮像画像に含まれる画像部分に対応する実空間上の対象物とカメラ２Ｒ，２Ｌとの距離（実空間距離）を検出する距離検出手段２０、カメラ２Ｒの撮像画像から対象物の画像部分を抽出する対象物画像抽出手段２１、対象物の画像部分を含む周囲領域を局所処理領域として設定する局所処理領域設定手段２２、該局所処理領域に対してガボールフィルタによるフィルタリング処理を実行するフィルタリング手段２３、及び該フィルタリング処理により抽出された画像部分に対応する実空間上の対象物の種別を識別する対象物種別識別手段２４として機能する。
【００２８】
また、前記マイクロコンピュータにより、本発明の車両周辺監視方法の各ステップが実行される。
【００２９】
画像処理ユニット１は、赤外線カメラ２Ｒ，２Ｌから出力される車両周辺の赤外線画像のアナログ信号を入力し、該アナログ信号をＡ／Ｄ（アナログ／デジタル）変換によりデジタル化した多値（グレースケール）画像を画像メモリ（図示しない）に格納する。
【００３０】
そして、画像処理ユニット１は、右画像に含まれる画像部分に対応する実空間上の対象物の種別を識別する処理を行う。以下、図３に示したフローチャートに従って、この処理について説明する。
【００３１】
図３のＳＴＥＰ１は距離検出手段２０による処理である。距離検出手段２０は、ミリ波レーダ装置８から出力される走査箇所の測距データに基いて、車両周囲の対象物とカメラ２Ｒ，２Ｌとの距離Ｚを検出する。なお、距離検出手段２０により対象物とカメラ２Ｒ，２Ｌとの距離Ｚを検出する処理は、本発明の車両周辺監視方法における距離検出ステップに相当する。
【００３２】
次のＳＴＥＰ２は対象物画像抽出手段２１及び局所処理領域設定手段２２による処理である。対象物画像抽出手段２１は、右画像を基準画像として２値化処理（輝度が所定の２値化閾値以上の画素を「１（白）」とし、輝度が該２値化閾値よりも小さい画素を「０（黒）」とする処理）を行なって２値画像を生成する。そして、対象物画像抽出手段２１は、２値画像に含まれる高輝度（白領域）の画像部分であって、対応する実空間上の対象物について、ＳＴＥＰ１で距離検出手段２０により距離が検出されたものを、対象物の第１の画像部分として抽出する。
【００３３】
なお、対象物画像抽出手段２１により対象物の第１の画像部分を抽出する処理は、本発明の車両周辺監視方法における対象物抽出ステップに相当する。
【００３４】
そして、局所処理領域設定手段２２は、図４を参照して、右画像５０から抽出した対象物の第１の画像部分５１に対して、歩行者を識別対象とする局所処理領域５２を設定する。また、他の対象物の第１の画像部分５３に対しても、歩行者を識別対象とする局所処理領域５４を設定する。
【００３５】
具体的には、局所処理領域設定手段２２は、歩行者の身長の想定値ＧH（例えば１７０cm、本発明の対象物の実空間における大きさの想定値に相当する）及び歩行者の幅の想定値ＧW（例えば６０cm、本発明の対象物の実空間における大きさの想定値に相当する）と、対象物と赤外線カメラ２Ｒ，２Ｌとの距離Ｚとに基いて、以下の式（１），式（２）により、局所処理領域５２，５４の高さｇhと幅ｇwとを算出する。
【００３６】
【数１】
【００３７】
【数２】
【００３８】
但し、ｆ：赤外線カメラ２Ｒ，２Ｌの焦点距離、ｐ：赤外線カメラ２Ｒ，２Ｌの撮像素子の画素間隔、ＧH：歩行者の身長の想定値、ＧW：歩行者の幅の想定値、Ｚ：赤外線カメラ２Ｒ，２Ｌと対象物との距離。
【００３９】
このようにして、局所処理領域５２，５４の高さｇhと幅ｇwを決定することにより、第１の画像部分５１，５３が歩行者の画像部分であったならば、歩行者の全体の画像部分が含まれる近傍の範囲で、局所処理領域５２，５４を設定することができる。なお、局所処理領域５４については、歩行者が並んでいるので幅ｇwが広げられている。
【００４０】
続くＳＴＥＰ３〜ＳＴＥＰ４は、フィルタリング手段２３による処理である。フィルタリング手段２３は、先ず、歩行者を識別対象として、対象物とカメラ２Ｒ，２Ｌとの距離Ｚに応じた対象エッジ幅と対象エッジ方向を有するガボールフィルタを設定する。
【００４１】
ここで、ガボールフィルタは、人間の受容野の特性に似せたフィルタであり、特定方向の特定幅のエッジ（輪郭線）を抽出するものである。例えば、図４に示したように、右画像５０に、赤外線カメラ２Ｒ，２Ｌとの距離Ｚが近距離である歩行者の画像部分５１と遠距離である歩行者の画像部分５３とが含まれるときに、近距離に所在する歩行者の画像部分の幅の想定値ｗ1を対象エッジ幅とすると共に、垂直方向（歩行者の身長方向）を対象エッジ方向とするガボールフィルタ６０を設定する。
【００４２】
そして、右画像５０に対して、ガボールフィルタ６０によるフィルタリング処理を実行すると、フィルタリング処理後の画像５５においては、近距離の歩行者の画像部分５１の縦エッジが強調された画像部分５６が生じる。また、遠距離の歩行者の画像部分５３については、縦エッジがぼけている。
【００４３】
また、図５は、撮像画像５０に対して、遠距離に所在する歩行者の画像部分の幅の想定値Ｗ2を対象エッジ幅とすると共に、垂直方向を対象方向とするガボールフィルタ６１によるフィルタリング処理を実行した場合を示している。この場合は、フィルタリング処理後の画像７０において、遠距離の歩行者の画像部分５３の縦エッジが強調された画像部分７２が生じている。また、近距離の歩行者の画像部分５１については、縦エッジがぼけている。
【００４４】
このように、赤外線カメラ２Ｒ，２Ｌと対象物との距離Ｚに応じて対象エッジ幅を設定したガボールフィルタによるフィルタ処理を実行することにより、特定の距離だけ離れた歩行者の画像部分のみについて、縦方向エッジを強調することができる。
【００４５】
そこで、フィルタリング手段２３は、図６（ａ）に示したように、歩行者の幅の想定値Ｗp（例えば５０cm、Ｗpのデータは予めメモリに保持されている）を、画像部分に対応する実空間上の対象物とカメラ２Ｒ，２Ｌとの距離Ｚとによって、以下の式（３）により対象エッジ幅Ｗtを決定する。
【００４６】
【数３】
【００４７】
但し、Ｗt：ガボールフィルタの対象エッジ幅、ｆ：赤外線カメラ２Ｒ，２Ｌの焦点距離、ｐ：赤外線カメラ２Ｒ，２Ｌの撮像素子の画素間隔、Ｗp：歩行者の幅の想定値、Ｚ：対象物と赤外線カメラ２Ｒ，２Ｌとの距離。
【００４８】
なお、対象物の種別が車両であるか否かを識別するときには、図６（ｂ）に示した車幅の想定値Ｗcと、対象物とカメラ２Ｒ，２Ｌとの距離Ｚにより、上記式（３）のＷpをＷcに置き換えてガボールフィルタの対象エッジ幅Ｗtを算出すればよい。
【００４９】
次のＳＴＥＰ４で、フィルタリング手段２３は、このようにして対象エッジ幅を設定した、対象エッジ方向を垂直方向とするガボールフィルタにより、局所処理領域に対するフィルタリング処理を行う。なお、フィルタリング手段２３によりガボールフィルタによるフィルタリングを実行する処理は、本発明の車両周辺監視方法におけるフィルタリングステップに相当する。
【００５０】
続くＳＴＥＰ５〜ＳＴＥＰ６は対象物種別識別手段２４による処理である。対象物種別識別手段２４は、ガボールフィルタによるフィルタリング処理が実行された後の局所処理領域の画像に対して、２値化処理を行う。図７は、カメラ２Ｒ，２Ｌとの距離Ｚが近距離である歩行者の画像部分９１と、カメラ２Ｒ，２Ｌとの距離Ｚが中距離である歩行者の画像部分９２と、カメラ２Ｒ，２Ｌとの距離Ｚが遠距離である歩行者の画像部分９３とを含む画像９０に対して、ガボールフィルタによるフィルタリング処理を実行して、２値化処理を行ったときの２値画像１００，１１０，１２０（本発明の第２の画像部分に相当する）を示している。
【００５１】
２値画像１００は、右画像９０に対して、画像部分９３に応じた遠距離用のガボールフィルタによるフィルタリング処理を行った後に２値化した２値画像であり、画像部分９３に対応する縦エッジを有する白領域１０１が抽出されている。また、２値画像１１０は、右画像９０に対して、画像部分９２に応じた中距離用のガボールフィルタによるフィルタリング処理を行った後２値化した２値画像であり、画像部分９２に対応する縦エッジを有する白領域１１１が抽出されている。
【００５２】
また、２値画像１２０は、右画像９０に対して、画像部分９１に応じた近距離用のガボールフィルタによるフィルタリング処理を行った後に２値化した２値画像であり、画像部分９１に対応する縦エッジを有する白領域１２１が抽出されている。このように、対象物の距離Ｚに応じたガボールフィルタによるフィルタリング処理を実行した後の画像を２値化することにより、対象物のエッジ形状を明確に抽出することができる。
【００５３】
次のＳＴＥＰ６で、対象物種別識別手段２５は、ＳＴＥＰ５の２値化処理により抽出された縦エッジを有する白領域の形状から、該白領域に対応する実空間上の対象物が歩行者であるか否かを識別する。
【００５４】
図８を参照して、対象物種別識別手段２５は、局所処理領域１３０に含まれる白領域１３１の下端が、局所処理領域１３０の下半分の領域１３２に所在するとき（歩行者の脚の画像部分が抽出されたと想定される）に、白領域１３１に対応する実空間上の対象物の種別が歩行者であると識別する。
【００５５】
なお、対象物種別識別手段２５により、ガボールフィルタによるフィルタリング処理によって抽出されたが画像部分（第２の画像部分）の形状に基いて、該画像部分に対応する実空間上の対象物の種別を識別する処理は、本発明の車両周辺監視方法における対象物種別識別ステップに相当する。
【００５６】
なお、白領域１３１の形状に基く歩行者であるか否かの識別は、他の基準により、例えば、白領域１３１の垂直方向の幅（高さ）や、水平方向の幅、局所処理領域１３０の高さｇhに対する白領域１３１の高さの割合等を基準として、行なうようにしてもよい。
【００５７】
画像処理ユニット１は、対象物種別識別手段２４により、対象物の種別が歩行者であると識別されたときには、スピーカ６からの音声出力及びＨＵＤ７への表示により、運転者に対する注意喚起を行なう。
【００５８】
なお、本実施の形態においては、対象物の画像部分の周囲領域を局所処理領域とし、該局所領域に限定してガボールフィルタによるフィルタリング処理とフィルタリング処理後の２値化処理を行ったが、局所領域を設定せずに撮像画像の全範囲についてガボールフィルタによるフィルタリング処理とフィルタリング処理後の２値化処理を行うようにしてもよい。
【００５９】
また、本実施の形態では、ミリ波レーダ装置８を用いて対象物とカメラ２Ｒ，２Ｌとの距離を検出したが、レーザーレーダ等の他の種類の測距装置を用いてもよい。或いは、２台の赤外線カメラ２Ｒ，２Ｌによる同一の対象物の画像部分の水平方向のずれ（視差）に基いて、実空間における対象物と赤外線カメラ２Ｒ，２Ｌとの距離を検出するようにしてもよい。この場合には、車速センサ４により検出される車速ＶCAR及びヨーレートセンサ３により検出されるヨーレートＹRを読み込んで、ヨーレートＹRを時間積分することにより車両１０の回頭角を算出し、回頭角補正により実空間位置（図２のＸ，Ｙ，Ｚの座標値）の補正を行なってもよい。
【００６０】
また、１台のカメラによる異なる時点の撮像画像中の同一対象物の画像部分のサイズの変化から、対象物とカメラ２Ｒ，２Ｌとの距離を検出するようにしてもよい。
【００６１】
また、本実施の形態においては、車両前方を撮像する構成を示したが、車両の後方や側方等、他の方向を撮像して車両の周辺を監視する構成としてもよい。
【００６２】
また、本実施の形態においては、本発明のカメラとして赤外線カメラ２Ｒ，２Ｌを用いたが、可視画像を撮像する可視カメラを用いてもよい。
【００６３】
また、本実施の形態では、本発明のカメラとして２台の赤外線カメラ２Ｒ，２Ｌを用いたが、１台のカメラを用いるようにしてもよい。
【図面の簡単な説明】
【００６４】
【図１】本発明の車両周辺監視装置の構成図。
【図２】図１に示した車両周辺監視装置の車両への取り付け態様の説明図。
【図３】図１に示した画像処理ユニットにおける対象物種別の識別処理のフローチャート。
【図４】ガボールフィルタによるフィルタリング処理の説明図。
【図５】ガボールフィルタによるフィルタリング処理の説明図。
【図６】対象物の幅の想定値の説明図。
【図７】対象物との距離に応じたガボールフィルタの対象エッジ幅設定の説明図。
【図８】歩行者の識別方法及び画像部分の幅設定の説明図。
【符号の説明】
【００６５】
１…画像処理ユニット、２Ｒ，２Ｌ…赤外線カメラ（カメラ）、３…ヨーレートセンサ、４…車速センサ、６…スピーカ、７…ＨＵＤ、８…ミリ波レーダ装置、２０…距離検出手段、２１…対象物画像抽出手段、２２…局所処理領域設定手段、２３…フィルタリング手段、２４…対象物種別識別手段
【技術分野】
【０００１】
本発明は、車両に搭載されたカメラによる車両周辺の撮像画像から、車両周辺に所在する対象物を検出して車両周辺を監視する車両周辺監視装置、車両、車両周辺監視用プログラム、及び車両周辺監視方法に関する。
【背景技術】
【０００２】
従来より、車両に搭載されたカメラによる車両周辺の撮像画像から、車両周辺の対象物を検出し、実空間における該対象物と車両との相対位置と相対速度を算出して、所定時間内における車両と対象物との接触可能性を判断する車両周辺監視装置が知られている（例えば、特許文献１参照）。
【０００３】
また、対象物の種別（人、車両、大型動物等）を識別するために、カメラにより撮像された多値画像を２値化した２値画像中の画像部分について、その形状（面積、輪郭線、縦横比等）を抽出する処理が行われている（例えば、特許文献２参照）。
【０００４】
ここで、特許文献２にされた装置においては、２値画像中の画像部分を囲むウィンドウについて、水平方向のエッジ座標の最小値と最大値間の幅と、垂直方向のエッジ座標の最小値と最大値間の幅との比を縦横比Ｒとして算出し、該縦横比Ｒに基いて該画像部分に対応する実空間上の対象物が人であるか否かを判断している。
【０００５】
しかし、このようにエッジ間の幅に基いて、対象物が人であるか否かを判断する場合、前記ウィンドウ内に複数の対象物の画像部分が含まれていたときに、対象物の画像部分の幅が正しく算出されないという不都合がある。そして、その結果、対象物の種別の識別精度が悪くなるという不都合がある。
【特許文献１】特開２００１−６０９６号公報
【特許文献２】特開平８−３１３６３２
【発明の開示】
【発明が解決しようとする課題】
【０００６】
本発明は上記背景を鑑みてなされたものであり、カメラの撮像画像から抽出した対象物の画像部分の輪郭線の形状に基いて、該対象物の種別を精度良く識別することができる車両周辺監視装置、車両、車両周辺監視用プログラム、及び車両周辺監視方法を提供することを目的とする。
【課題を解決するための手段】
【０００７】
本発明は上記目的を達成するためになされたものであり、本発明の車両周囲監視装置は、車両に搭載されて該車両の周辺を撮像するカメラの撮像画像に基いて、車両周辺を監視する車両周辺監視装置に関する。
【０００８】
そして、前記カメラと対象物との距離を検出する距離検出手段と、前記カメラの撮像画像から、対象物の第１の画像部分を抽出する対象物画像抽出手段と、前記撮像画像に対して、特定種別の対象物の所定方向の幅の想定値と、前記距離検出手段により検出した前記カメラと前記第１の画像部分に対応する実空間上の対象物との距離とに基いて、該幅の想定値が小さいほど及び該距離が長いほど対象エッジ幅を狭く設定すると共に、対象エッジ方向を前記所定方向と直交する方向に設定したガボールフィルタによるフィルタリング処理を行なうフィルタリング手段と、前記フィルタリング処理により抽出された第２の画像部分の形状に基いて、該第２の画像部分に対応する実空間上の対象物の種別が、前記特定種別であるか否かを識別する対象物種別識別手段とを備えたことを特徴とする。
【０００９】
また、本発明の車両は、周辺を撮像するカメラを備え、該カメラの撮像画像に基いて周辺を監視する機能を有する車両に関する。
【００１０】
そして、前記カメラと対象物との距離を検出する距離検出手段と、前記カメラの撮像画像から、対象物の第１の画像部分を抽出する対象物画像抽出手段と、前記撮像画像に対して、特定種別の対象物の所定方向の幅の想定値と、前記距離検出手段により検出した前記カメラと前記第１の画像部分に対応する実空間上の対象物との距離とに基いて、該幅の想定値が小さいほど及び該距離が長いほど対象エッジ幅を狭く設定すると共に、対象エッジ方向を前記所定方向と直交する方向に設定したガボールフィルタによるフィルタリング処理を行なうフィルタリング手段と、前記フィルタリング処理により抽出された第２の画像部分の形状に基いて、該第２の画像部分に対応する実空間上の対象物の種別が、前記特定種別であるか否かを識別する対象物種別識別手段とを備えたことを特徴とする。
【００１１】
かかる本発明の車両周辺監視装置及び車両において、前記カメラの撮像画像における対象物の画像部分の大きさは、対象物が小さいほど小さくなり、また、前記カメラと対象物との距離が長くなるに従って小さくなる。そのため、前記フィルタリング手段によって、前記距離検出手段により検出した前記カメラと前記第１の画像部分に対応する実空間上の対象物との距離と、対象物の前記所定方向の幅の想定値とに基いて、該幅の想定値が小さいほど及び該距離が長いほど対象エッジ幅を狭く設定すると共に、対象エッジ方向を前記所定方向と直交する方向に設定したガボールフィルタによるフィルタリング処理を行なうことによって、前記特定種別の対象物の画像部分であると想定される前記対象エッジ幅の前記所定方向と直交する方向のエッジ領域のみを強調して、前記第２の画像部分を抽出することができる。そして、このようにして抽出した前記第２の画像部分の形状に基いて、前記第２の画像部分に対応する実空間上の対象物の種別を精度良く識別することができる。
【００１２】
また、前記特定種別の対象物の大きさの想定値と、前記距離検出手段により検出した前記第１の画像部分に対応する実空間上の対象物と前記カメラとの距離とに基いて、前記第１の画像部分を含む前記第１の画像部分の周囲範囲を、局所処理領域として設定する局所処理領域設定手段を備え、前記フィルタリング手段は、前記局所処理領域に限定して、前記フィルタリング処理を行ない、前記対象物種別識別手段は、前記局所処理領域に対する前記フィルタリング処理によって抽出された前記第２の画像部分の形状に基いて、前記第２の画像部分に対応する実空間上の対象物の種別が、前記特定種別であるか否かを識別することを特徴とする。
【００１３】
かかる本発明によれば、前記局所処理領域設定手段により設定された前記第１の画像部分の周囲の前記局所処理領域に限定して、前記フィルタリング処理を行うことにより、前記フィルタリング処理における演算量を減少させて、効率良く前記第２の画像部分を抽出することができる。
【００１４】
また、前記特定種別は歩行者であり、前記所定方向は水平方向であり、前記所定方向と直交する方向は前記所定方向と直交する方向であり、前記対象物種別識別手段は、前記局所処理領域において、前記フィルタリング処理により抽出された前記第２の画像部分の下端が、前記局所処理領域の下半分の領域に含まれるときに、前記第２の画像部分に対応する実空間上の対象物の種別が歩行者であると識別することを特徴とする。
【００１５】
かかる本発明によれば、前記カメラの撮像画像から、前記フィルタリング処理によって、歩行者の水平方向の幅の想定値の距離に応じた水平方向のエッジ幅を有し、エッジ方向が垂直方向である前記第２の画像部分を抽出したときに、前記第２の画像部分の下端が前記局所処理領域の下半分の領域に含まれるときには、前記第２の画像部分は歩行者の脚の画像部分を有していると判断して、前記第２の画像部分に対応する実空間上の対象物の種別が歩行者であると識別することができる。
【００１６】
次に、本発明の車両周辺監視用プログラムは、車両に搭載されて該車両の周囲を撮像するカメラの撮像画像のデータにアクセスする手段を有するコンピュータに、該撮像画像に基いて該車両の周辺を監視する機能を実現するプログラムであって車両に搭載されて該車両の周囲を撮像するカメラの撮像画像のデータにアクセスする手段を有するコンピュータに、該撮像画像に基いて該車両の周辺を監視する機能を実現するプログラムに関する。
【００１７】
そして、前記コンピュータを、前記カメラと対象物との距離を検出する距離検出手段と、前記カメラの撮像画像から、対象物の第１の画像部分を抽出する対象物画像抽出手段と、前記撮像画像に対して、特定種別の対象物の所定方向の幅の想定値と、前記距離検出手段により検出した前記カメラと前記第１の画像部分に対応する実空間上の対象部との距離とに基いて、該幅の想定値が小さいほど及び該距離が長いほど対象エッジ幅を狭く設定すると共に、対象エッジ方向を前記所定方向と直交する方向に設定したガボールフィルタによるフィルタリング処理を行なうフィルタリング手段と、前記フィルタリング処理により抽出された第２の画像部分の形状に基いて、該第２の画像部分に対応する実空間上の対象物の種別が、前記特定種別であるか否かを識別する対象物種別識別手段として機能させることを特徴とする。
【００１８】
かかる本発明の車両周辺監視用プログラムを前記コンピュータに実行させることによって、上述した本発明の車両周辺監視装置及び本発明の車両における前記距離検出手段、前記対象物画像抽出手段、前記フィルタリング手段、及び前記対象物種別識別手段を構成することができる。
【００１９】
次に、本発明の車両周辺監視方法は、車両に搭載されて該車両の周囲を撮像するカメラの撮像画像のデータにアクセスする手段を有するコンピュータにより、該撮像画像に基いて該車両の周辺を監視する方法に関する。
【００２０】
そして、前記コンピュータが、前記カメラと対象物との距離を検出する距離検出ステップと、前記コンピュータが、前記カメラの撮像画像から、対象物の第１の画像部分を抽出する対象物画像抽出ステップと、前記コンピュータが、前記撮像画像に対して、特定種別の対象物の所定方向の幅の想定値と、前記距離検出手段により検出した前記カメラと前記第１の画像部分に対応する実空間上の対象部との距離とに基いて、該幅の想定値が小さいほど及び該距離が長いほど対象エッジ幅を狭く設定すると共に、対象エッジ方向を前記所定方向と直交する方向に設定したガボールフィルタによるフィルタリング処理を行なうフィルタリングステップと、前記コンピュータが、前記フィルタリング処理により抽出された第２の画像部分の形状に基いて、該第２の画像部分に対応する実空間上の対象物の種別が、前記特定種別であるか否かを識別する対象物種別識別ステップとを含むことを特徴とする。
【００２１】
かかる本発明において、前記カメラの撮像画像における対象物の画像部分の大きさは、対象物が小さいほど小さくなり、また、前記カメラと対象物との距離が長くなるに従って小さくなる。そのため、前記フィルタリングステップによって、前記距離検出手段により検出した前記カメラと前記第１の画像部分に対応する実空間上の対象物との距離と、対象物の前記所定方向の幅の想定値とに基いて、該幅の想定値が小さいほど及び該距離が長いほど対象エッジ幅を狭く設定すると共に、対象エッジ方向を前記所定方向と直交する方向に設定したガボールフィルタによるフィルタリング処理を行なうことによって、前記特定種別の対象物の画像部分であると想定される前記対象エッジ幅の前記所定方向と直交する方向のエッジ領域のみを強調して前記第２の画像部分を抽出することができる。そして、前記対象物種別識別手段により、このようにして抽出された前記第２の画像部分の形状に基いて、前記第２の画像部分に対応する実空間上の対象物の種別を精度良く識別することができる。
【発明を実施するための最良の形態】
【００２２】
本発明の実施の形態について、図１〜図８を参照して説明する。図１は本発明の車両周辺監視装置の構成図であり、本発明の車両周辺監視装置は、画像処理ユニット１と、遠赤外線を検出可能な赤外線カメラ（本発明のカメラに相当する）２Ｒ，２Ｌと、車両のヨーレートを検出するヨーレートセンサ３と、車両の走行速度を検出する車速センサ４と、音声により警報を行うためのスピーカ６と、対象物を運転者に視認させる表示を行うためのヘッドアップディスプレイ（以下、ＨＵＤという）７と、カメラ２Ｒ，２Ｌと対象物との距離を検出するミリ波レーダ装置とを備えている。
【００２３】
図２を参照して、赤外線カメラ２Ｒ，２Ｌは、車両１０の前部に、車両１０の車幅方向の中心部に対してほぼ対象な位置に配置されている。また、赤外線カメラ２Ｒ，２Ｌは、光軸を互いに平行とすると共に、路面からの高さを等しくして固定されている。なお、赤外線カメラ２Ｒ，２Ｌは、撮像物の温度が高いほど出力レベルが高くなる（輝度が大きくなる）特性を有している。また、表示装置７は、車両１０のフロントウィンドウの運転者側の前方位置に画面７ａが表示されるように設けられている。
【００２４】
また、ミリ波レーダ装置８は、車両１０の前部の赤外線カメラ２Ｒ，２Ｌの上側に取り付けられている。ミリ波レーダー装置８は、ミリ波のビームを車両１０の前方に送信し、このミリ波の反射波（車両１０の前方に存在する物体で反射したミリ波）を受信する。ミリ波レーダー装置８のビームの走査範囲は、赤外線カメラ２Ｒ，２Ｌの撮像範囲（視野角の範囲）を含むように設定されている。
【００２５】
ミリ波レーダー装置８は、受信した反射のうちの所定強度以上の反射波に基いて、ビームの送信方向に存在する対象物を検出する。また、ミリ波レーダー装置８は、送信波と受信波との時間差に基いて、ミリ波を反射した対象物とカメラ２Ｒ，２Ｌとの距離を検出する。
【００２６】
図１を参照して、画像処理ユニット１は、マイクロコンピュータ（図示しない、本発明のコンピュータに相当する）等により構成された電子ユニットであり、赤外線カメラ２Ｒ，２Ｌから出力されるアナログの映像信号をデジタルデータに変換して画像メモリ（図示しない）に取り込み、インターフェース回路（図示しない、本発明の撮像画像にアクセスする手段に相当する）を介して、該画像メモリに取り込んだ車両前方の画像に対して該マイクロコンピュータにより各種演算処理を行う機能を有している。
【００２７】
そして、前記マイクロコンピュータに、本発明の車両監視用プログラムを実行させることによって、前記マイクロコンピュータが、カメラ２Ｒ，２Ｌの撮像画像に含まれる画像部分に対応する実空間上の対象物とカメラ２Ｒ，２Ｌとの距離（実空間距離）を検出する距離検出手段２０、カメラ２Ｒの撮像画像から対象物の画像部分を抽出する対象物画像抽出手段２１、対象物の画像部分を含む周囲領域を局所処理領域として設定する局所処理領域設定手段２２、該局所処理領域に対してガボールフィルタによるフィルタリング処理を実行するフィルタリング手段２３、及び該フィルタリング処理により抽出された画像部分に対応する実空間上の対象物の種別を識別する対象物種別識別手段２４として機能する。
【００２８】
また、前記マイクロコンピュータにより、本発明の車両周辺監視方法の各ステップが実行される。
【００２９】
画像処理ユニット１は、赤外線カメラ２Ｒ，２Ｌから出力される車両周辺の赤外線画像のアナログ信号を入力し、該アナログ信号をＡ／Ｄ（アナログ／デジタル）変換によりデジタル化した多値（グレースケール）画像を画像メモリ（図示しない）に格納する。
【００３０】
そして、画像処理ユニット１は、右画像に含まれる画像部分に対応する実空間上の対象物の種別を識別する処理を行う。以下、図３に示したフローチャートに従って、この処理について説明する。
【００３１】
図３のＳＴＥＰ１は距離検出手段２０による処理である。距離検出手段２０は、ミリ波レーダ装置８から出力される走査箇所の測距データに基いて、車両周囲の対象物とカメラ２Ｒ，２Ｌとの距離Ｚを検出する。なお、距離検出手段２０により対象物とカメラ２Ｒ，２Ｌとの距離Ｚを検出する処理は、本発明の車両周辺監視方法における距離検出ステップに相当する。
【００３２】
次のＳＴＥＰ２は対象物画像抽出手段２１及び局所処理領域設定手段２２による処理である。対象物画像抽出手段２１は、右画像を基準画像として２値化処理（輝度が所定の２値化閾値以上の画素を「１（白）」とし、輝度が該２値化閾値よりも小さい画素を「０（黒）」とする処理）を行なって２値画像を生成する。そして、対象物画像抽出手段２１は、２値画像に含まれる高輝度（白領域）の画像部分であって、対応する実空間上の対象物について、ＳＴＥＰ１で距離検出手段２０により距離が検出されたものを、対象物の第１の画像部分として抽出する。
【００３３】
なお、対象物画像抽出手段２１により対象物の第１の画像部分を抽出する処理は、本発明の車両周辺監視方法における対象物抽出ステップに相当する。
【００３４】
そして、局所処理領域設定手段２２は、図４を参照して、右画像５０から抽出した対象物の第１の画像部分５１に対して、歩行者を識別対象とする局所処理領域５２を設定する。また、他の対象物の第１の画像部分５３に対しても、歩行者を識別対象とする局所処理領域５４を設定する。
【００３５】
具体的には、局所処理領域設定手段２２は、歩行者の身長の想定値ＧH（例えば１７０cm、本発明の対象物の実空間における大きさの想定値に相当する）及び歩行者の幅の想定値ＧW（例えば６０cm、本発明の対象物の実空間における大きさの想定値に相当する）と、対象物と赤外線カメラ２Ｒ，２Ｌとの距離Ｚとに基いて、以下の式（１），式（２）により、局所処理領域５２，５４の高さｇhと幅ｇwとを算出する。
【００３６】
【数１】
【００３７】
【数２】
【００３８】
但し、ｆ：赤外線カメラ２Ｒ，２Ｌの焦点距離、ｐ：赤外線カメラ２Ｒ，２Ｌの撮像素子の画素間隔、ＧH：歩行者の身長の想定値、ＧW：歩行者の幅の想定値、Ｚ：赤外線カメラ２Ｒ，２Ｌと対象物との距離。
【００３９】
このようにして、局所処理領域５２，５４の高さｇhと幅ｇwを決定することにより、第１の画像部分５１，５３が歩行者の画像部分であったならば、歩行者の全体の画像部分が含まれる近傍の範囲で、局所処理領域５２，５４を設定することができる。なお、局所処理領域５４については、歩行者が並んでいるので幅ｇwが広げられている。
【００４０】
続くＳＴＥＰ３〜ＳＴＥＰ４は、フィルタリング手段２３による処理である。フィルタリング手段２３は、先ず、歩行者を識別対象として、対象物とカメラ２Ｒ，２Ｌとの距離Ｚに応じた対象エッジ幅と対象エッジ方向を有するガボールフィルタを設定する。
【００４１】
ここで、ガボールフィルタは、人間の受容野の特性に似せたフィルタであり、特定方向の特定幅のエッジ（輪郭線）を抽出するものである。例えば、図４に示したように、右画像５０に、赤外線カメラ２Ｒ，２Ｌとの距離Ｚが近距離である歩行者の画像部分５１と遠距離である歩行者の画像部分５３とが含まれるときに、近距離に所在する歩行者の画像部分の幅の想定値ｗ1を対象エッジ幅とすると共に、垂直方向（歩行者の身長方向）を対象エッジ方向とするガボールフィルタ６０を設定する。
【００４２】
そして、右画像５０に対して、ガボールフィルタ６０によるフィルタリング処理を実行すると、フィルタリング処理後の画像５５においては、近距離の歩行者の画像部分５１の縦エッジが強調された画像部分５６が生じる。また、遠距離の歩行者の画像部分５３については、縦エッジがぼけている。
【００４３】
また、図５は、撮像画像５０に対して、遠距離に所在する歩行者の画像部分の幅の想定値Ｗ2を対象エッジ幅とすると共に、垂直方向を対象方向とするガボールフィルタ６１によるフィルタリング処理を実行した場合を示している。この場合は、フィルタリング処理後の画像７０において、遠距離の歩行者の画像部分５３の縦エッジが強調された画像部分７２が生じている。また、近距離の歩行者の画像部分５１については、縦エッジがぼけている。
【００４４】
このように、赤外線カメラ２Ｒ，２Ｌと対象物との距離Ｚに応じて対象エッジ幅を設定したガボールフィルタによるフィルタ処理を実行することにより、特定の距離だけ離れた歩行者の画像部分のみについて、縦方向エッジを強調することができる。
【００４５】
そこで、フィルタリング手段２３は、図６（ａ）に示したように、歩行者の幅の想定値Ｗp（例えば５０cm、Ｗpのデータは予めメモリに保持されている）を、画像部分に対応する実空間上の対象物とカメラ２Ｒ，２Ｌとの距離Ｚとによって、以下の式（３）により対象エッジ幅Ｗtを決定する。
【００４６】
【数３】
【００４７】
但し、Ｗt：ガボールフィルタの対象エッジ幅、ｆ：赤外線カメラ２Ｒ，２Ｌの焦点距離、ｐ：赤外線カメラ２Ｒ，２Ｌの撮像素子の画素間隔、Ｗp：歩行者の幅の想定値、Ｚ：対象物と赤外線カメラ２Ｒ，２Ｌとの距離。
【００４８】
なお、対象物の種別が車両であるか否かを識別するときには、図６（ｂ）に示した車幅の想定値Ｗcと、対象物とカメラ２Ｒ，２Ｌとの距離Ｚにより、上記式（３）のＷpをＷcに置き換えてガボールフィルタの対象エッジ幅Ｗtを算出すればよい。
【００４９】
次のＳＴＥＰ４で、フィルタリング手段２３は、このようにして対象エッジ幅を設定した、対象エッジ方向を垂直方向とするガボールフィルタにより、局所処理領域に対するフィルタリング処理を行う。なお、フィルタリング手段２３によりガボールフィルタによるフィルタリングを実行する処理は、本発明の車両周辺監視方法におけるフィルタリングステップに相当する。
【００５０】
続くＳＴＥＰ５〜ＳＴＥＰ６は対象物種別識別手段２４による処理である。対象物種別識別手段２４は、ガボールフィルタによるフィルタリング処理が実行された後の局所処理領域の画像に対して、２値化処理を行う。図７は、カメラ２Ｒ，２Ｌとの距離Ｚが近距離である歩行者の画像部分９１と、カメラ２Ｒ，２Ｌとの距離Ｚが中距離である歩行者の画像部分９２と、カメラ２Ｒ，２Ｌとの距離Ｚが遠距離である歩行者の画像部分９３とを含む画像９０に対して、ガボールフィルタによるフィルタリング処理を実行して、２値化処理を行ったときの２値画像１００，１１０，１２０（本発明の第２の画像部分に相当する）を示している。
【００５１】
２値画像１００は、右画像９０に対して、画像部分９３に応じた遠距離用のガボールフィルタによるフィルタリング処理を行った後に２値化した２値画像であり、画像部分９３に対応する縦エッジを有する白領域１０１が抽出されている。また、２値画像１１０は、右画像９０に対して、画像部分９２に応じた中距離用のガボールフィルタによるフィルタリング処理を行った後２値化した２値画像であり、画像部分９２に対応する縦エッジを有する白領域１１１が抽出されている。
【００５２】
また、２値画像１２０は、右画像９０に対して、画像部分９１に応じた近距離用のガボールフィルタによるフィルタリング処理を行った後に２値化した２値画像であり、画像部分９１に対応する縦エッジを有する白領域１２１が抽出されている。このように、対象物の距離Ｚに応じたガボールフィルタによるフィルタリング処理を実行した後の画像を２値化することにより、対象物のエッジ形状を明確に抽出することができる。
【００５３】
次のＳＴＥＰ６で、対象物種別識別手段２５は、ＳＴＥＰ５の２値化処理により抽出された縦エッジを有する白領域の形状から、該白領域に対応する実空間上の対象物が歩行者であるか否かを識別する。
【００５４】
図８を参照して、対象物種別識別手段２５は、局所処理領域１３０に含まれる白領域１３１の下端が、局所処理領域１３０の下半分の領域１３２に所在するとき（歩行者の脚の画像部分が抽出されたと想定される）に、白領域１３１に対応する実空間上の対象物の種別が歩行者であると識別する。
【００５５】
なお、対象物種別識別手段２５により、ガボールフィルタによるフィルタリング処理によって抽出されたが画像部分（第２の画像部分）の形状に基いて、該画像部分に対応する実空間上の対象物の種別を識別する処理は、本発明の車両周辺監視方法における対象物種別識別ステップに相当する。
【００５６】
なお、白領域１３１の形状に基く歩行者であるか否かの識別は、他の基準により、例えば、白領域１３１の垂直方向の幅（高さ）や、水平方向の幅、局所処理領域１３０の高さｇhに対する白領域１３１の高さの割合等を基準として、行なうようにしてもよい。
【００５７】
画像処理ユニット１は、対象物種別識別手段２４により、対象物の種別が歩行者であると識別されたときには、スピーカ６からの音声出力及びＨＵＤ７への表示により、運転者に対する注意喚起を行なう。
【００５８】
なお、本実施の形態においては、対象物の画像部分の周囲領域を局所処理領域とし、該局所領域に限定してガボールフィルタによるフィルタリング処理とフィルタリング処理後の２値化処理を行ったが、局所領域を設定せずに撮像画像の全範囲についてガボールフィルタによるフィルタリング処理とフィルタリング処理後の２値化処理を行うようにしてもよい。
【００５９】
また、本実施の形態では、ミリ波レーダ装置８を用いて対象物とカメラ２Ｒ，２Ｌとの距離を検出したが、レーザーレーダ等の他の種類の測距装置を用いてもよい。或いは、２台の赤外線カメラ２Ｒ，２Ｌによる同一の対象物の画像部分の水平方向のずれ（視差）に基いて、実空間における対象物と赤外線カメラ２Ｒ，２Ｌとの距離を検出するようにしてもよい。この場合には、車速センサ４により検出される車速ＶCAR及びヨーレートセンサ３により検出されるヨーレートＹRを読み込んで、ヨーレートＹRを時間積分することにより車両１０の回頭角を算出し、回頭角補正により実空間位置（図２のＸ，Ｙ，Ｚの座標値）の補正を行なってもよい。
【００６０】
また、１台のカメラによる異なる時点の撮像画像中の同一対象物の画像部分のサイズの変化から、対象物とカメラ２Ｒ，２Ｌとの距離を検出するようにしてもよい。
【００６１】
また、本実施の形態においては、車両前方を撮像する構成を示したが、車両の後方や側方等、他の方向を撮像して車両の周辺を監視する構成としてもよい。
【００６２】
また、本実施の形態においては、本発明のカメラとして赤外線カメラ２Ｒ，２Ｌを用いたが、可視画像を撮像する可視カメラを用いてもよい。
【００６３】
また、本実施の形態では、本発明のカメラとして２台の赤外線カメラ２Ｒ，２Ｌを用いたが、１台のカメラを用いるようにしてもよい。
【図面の簡単な説明】
【００６４】
【図１】本発明の車両周辺監視装置の構成図。
【図２】図１に示した車両周辺監視装置の車両への取り付け態様の説明図。
【図３】図１に示した画像処理ユニットにおける対象物種別の識別処理のフローチャート。
【図４】ガボールフィルタによるフィルタリング処理の説明図。
【図５】ガボールフィルタによるフィルタリング処理の説明図。
【図６】対象物の幅の想定値の説明図。
【図７】対象物との距離に応じたガボールフィルタの対象エッジ幅設定の説明図。
【図８】歩行者の識別方法及び画像部分の幅設定の説明図。
【符号の説明】
【００６５】
１…画像処理ユニット、２Ｒ，２Ｌ…赤外線カメラ（カメラ）、３…ヨーレートセンサ、４…車速センサ、６…スピーカ、７…ＨＵＤ、８…ミリ波レーダ装置、２０…距離検出手段、２１…対象物画像抽出手段、２２…局所処理領域設定手段、２３…フィルタリング手段、２４…対象物種別識別手段
【特許請求の範囲】
【請求項１】
車両に搭載されて該車両の周辺を撮像するカメラの撮像画像に基いて、車両周辺を監視する車両周辺監視装置において、
前記カメラと対象物との距離を検出する距離検出手段と、
前記カメラの撮像画像から、対象物の第１の画像部分を抽出する対象物画像抽出手段と、
前記撮像画像に対して、特定種別の対象物の所定方向の幅の想定値と、前記距離検出手段により検出した前記カメラと前記第１の画像部分に対応する実空間上の対象物との距離とに基いて、該幅の想定値が小さいほど及び該距離が長いほど対象エッジ幅を狭く設定すると共に、対象エッジ方向を前記所定方向と直交する方向に設定したガボールフィルタによるフィルタリング処理を行なうフィルタリング手段と、
前記フィルタリング処理により抽出された第２の画像部分の形状に基いて、該第２の画像部分に対応する実空間上の対象物の種別が、前記特定種別であるか否かを識別する対象物種別識別手段とを備えたことを特徴とする車両周辺監視装置。
【請求項２】
前記特定種別の対象物の大きさの想定値と、前記距離検出手段により検出した前記第１の画像部分に対応する実空間上の対象物と前記カメラとの距離とに基いて、前記第１の画像部分を含む前記第１の画像部分の周囲範囲を、局所処理領域として設定する局所処理領域設定手段を備え、
前記フィルタリング手段は、前記局所処理領域に限定して、前記フィルタリング処理を行ない、
前記対象物種別識別手段は、前記局所処理領域に対する前記フィルタリング処理によって抽出された前記第２の画像部分の形状に基いて、前記第２の画像部分に対応する実空間上の対象物の種別が、前記特定種別であるか否かを識別することを特徴とする請求項１記載の車両周辺監視装置。
【請求項３】
前記特定種別は歩行者であり、
前記所定方向は水平方向であり、
前記所定方向と直交する方向は前記所定方向と直交する方向であり、
前記対象物種別識別手段は、前記局所処理領域において、前記フィルタリング処理により抽出された前記第２の画像部分の下端が、前記局所処理領域の下半分の領域に含まれるときに、前記第２の画像部分に対応する実空間上の対象物の種別が歩行者であると識別することを特徴とする請求項２記載の車両周辺監視装置。
【請求項４】
周辺を撮像するカメラを備え、該カメラの撮像画像に基いて周辺を監視する機能を有する車両において、
前記カメラと対象物との距離を検出する距離検出手段と、
前記カメラの撮像画像から、対象物の第１の画像部分を抽出する対象物画像抽出手段と、
前記撮像画像に対して、特定種別の対象物の所定方向の幅の想定値と、前記距離検出手段により検出した前記カメラと前記第１の画像部分に対応する実空間上の対象物との距離とに基いて、該幅の想定値が小さいほど及び該距離が長いほど対象エッジ幅を狭く設定すると共に、対象エッジ方向を前記所定方向と直交する方向に設定したガボールフィルタによるフィルタリング処理を行なうフィルタリング手段と、
前記フィルタリング処理により抽出された第２の画像部分の形状に基いて、該第２の画像部分に対応する実空間上の対象物の種別が、前記特定種別であるか否かを識別する対象物種別識別手段とを備えたことを特徴とする車両。
【請求項５】
車両に搭載されて該車両の周囲を撮像するカメラの撮像画像のデータにアクセスする手段を有するコンピュータに、該撮像画像に基いて該車両の周辺を監視する機能を実現するプログラムであって、該コンピュータを、
前記カメラと対象物との距離を検出する距離検出手段と、
前記カメラの撮像画像から、対象物の第１の画像部分を抽出する対象物画像抽出手段と、
前記撮像画像に対して、特定種別の対象物の所定方向の幅の想定値と、前記距離検出手段により検出した前記カメラと前記第１の画像部分に対応する実空間上の対象部との距離とに基いて、該幅の想定値が小さいほど及び該距離が長いほど対象エッジ幅を狭く設定すると共に、対象エッジ方向を前記所定方向と直交する方向に設定したガボールフィルタによるフィルタリング処理を行なうフィルタリング手段と、
前記フィルタリング処理により抽出された第２の画像部分の形状に基いて、該第２の画像部分に対応する実空間上の対象物の種別が、前記特定種別であるか否かを識別する対象物種別識別手段として機能させることを特徴とする車両周辺監視用プログラム。
【請求項６】
車両に搭載されて該車両の周囲を撮像するカメラの撮像画像のデータにアクセスする手段を有するコンピュータにより、該撮像画像に基いて該車両の周辺を監視する方法であって、
前記コンピュータが、前記カメラと対象物との距離を検出する距離検出ステップと、
前記コンピュータが、前記カメラの撮像画像から、対象物の第１の画像部分を抽出する対象物画像抽出ステップと、
前記コンピュータが、前記撮像画像に対して、特定種別の対象物の所定方向の幅の想定値と、前記距離検出手段により検出した前記カメラと前記第１の画像部分に対応する実空間上の対象部との距離とに基いて、該幅の想定値が小さいほど及び該距離が長いほど対象エッジ幅を狭く設定すると共に、対象エッジ方向を前記所定方向と直交する方向に設定したガボールフィルタによるフィルタリング処理を行なうフィルタリングステップと、
前記コンピュータが、前記フィルタリング処理により抽出された第２の画像部分の形状に基いて、該第２の画像部分に対応する実空間上の対象物の種別が、前記特定種別であるか否かを識別する対象物種別識別ステップとを含むことを特徴とする車両周辺監視方法。
【請求項１】
車両に搭載されて該車両の周辺を撮像するカメラの撮像画像に基いて、車両周辺を監視する車両周辺監視装置において、
前記カメラと対象物との距離を検出する距離検出手段と、
前記カメラの撮像画像から、対象物の第１の画像部分を抽出する対象物画像抽出手段と、
前記撮像画像に対して、特定種別の対象物の所定方向の幅の想定値と、前記距離検出手段により検出した前記カメラと前記第１の画像部分に対応する実空間上の対象物との距離とに基いて、該幅の想定値が小さいほど及び該距離が長いほど対象エッジ幅を狭く設定すると共に、対象エッジ方向を前記所定方向と直交する方向に設定したガボールフィルタによるフィルタリング処理を行なうフィルタリング手段と、
前記フィルタリング処理により抽出された第２の画像部分の形状に基いて、該第２の画像部分に対応する実空間上の対象物の種別が、前記特定種別であるか否かを識別する対象物種別識別手段とを備えたことを特徴とする車両周辺監視装置。
【請求項２】
前記特定種別の対象物の大きさの想定値と、前記距離検出手段により検出した前記第１の画像部分に対応する実空間上の対象物と前記カメラとの距離とに基いて、前記第１の画像部分を含む前記第１の画像部分の周囲範囲を、局所処理領域として設定する局所処理領域設定手段を備え、
前記フィルタリング手段は、前記局所処理領域に限定して、前記フィルタリング処理を行ない、
前記対象物種別識別手段は、前記局所処理領域に対する前記フィルタリング処理によって抽出された前記第２の画像部分の形状に基いて、前記第２の画像部分に対応する実空間上の対象物の種別が、前記特定種別であるか否かを識別することを特徴とする請求項１記載の車両周辺監視装置。
【請求項３】
前記特定種別は歩行者であり、
前記所定方向は水平方向であり、
前記所定方向と直交する方向は前記所定方向と直交する方向であり、
前記対象物種別識別手段は、前記局所処理領域において、前記フィルタリング処理により抽出された前記第２の画像部分の下端が、前記局所処理領域の下半分の領域に含まれるときに、前記第２の画像部分に対応する実空間上の対象物の種別が歩行者であると識別することを特徴とする請求項２記載の車両周辺監視装置。
【請求項４】
周辺を撮像するカメラを備え、該カメラの撮像画像に基いて周辺を監視する機能を有する車両において、
前記カメラと対象物との距離を検出する距離検出手段と、
前記カメラの撮像画像から、対象物の第１の画像部分を抽出する対象物画像抽出手段と、
前記撮像画像に対して、特定種別の対象物の所定方向の幅の想定値と、前記距離検出手段により検出した前記カメラと前記第１の画像部分に対応する実空間上の対象物との距離とに基いて、該幅の想定値が小さいほど及び該距離が長いほど対象エッジ幅を狭く設定すると共に、対象エッジ方向を前記所定方向と直交する方向に設定したガボールフィルタによるフィルタリング処理を行なうフィルタリング手段と、
前記フィルタリング処理により抽出された第２の画像部分の形状に基いて、該第２の画像部分に対応する実空間上の対象物の種別が、前記特定種別であるか否かを識別する対象物種別識別手段とを備えたことを特徴とする車両。
【請求項５】
車両に搭載されて該車両の周囲を撮像するカメラの撮像画像のデータにアクセスする手段を有するコンピュータに、該撮像画像に基いて該車両の周辺を監視する機能を実現するプログラムであって、該コンピュータを、
前記カメラと対象物との距離を検出する距離検出手段と、
前記カメラの撮像画像から、対象物の第１の画像部分を抽出する対象物画像抽出手段と、
前記撮像画像に対して、特定種別の対象物の所定方向の幅の想定値と、前記距離検出手段により検出した前記カメラと前記第１の画像部分に対応する実空間上の対象部との距離とに基いて、該幅の想定値が小さいほど及び該距離が長いほど対象エッジ幅を狭く設定すると共に、対象エッジ方向を前記所定方向と直交する方向に設定したガボールフィルタによるフィルタリング処理を行なうフィルタリング手段と、
前記フィルタリング処理により抽出された第２の画像部分の形状に基いて、該第２の画像部分に対応する実空間上の対象物の種別が、前記特定種別であるか否かを識別する対象物種別識別手段として機能させることを特徴とする車両周辺監視用プログラム。
【請求項６】
車両に搭載されて該車両の周囲を撮像するカメラの撮像画像のデータにアクセスする手段を有するコンピュータにより、該撮像画像に基いて該車両の周辺を監視する方法であって、
前記コンピュータが、前記カメラと対象物との距離を検出する距離検出ステップと、
前記コンピュータが、前記カメラの撮像画像から、対象物の第１の画像部分を抽出する対象物画像抽出ステップと、
前記コンピュータが、前記撮像画像に対して、特定種別の対象物の所定方向の幅の想定値と、前記距離検出手段により検出した前記カメラと前記第１の画像部分に対応する実空間上の対象部との距離とに基いて、該幅の想定値が小さいほど及び該距離が長いほど対象エッジ幅を狭く設定すると共に、対象エッジ方向を前記所定方向と直交する方向に設定したガボールフィルタによるフィルタリング処理を行なうフィルタリングステップと、
前記コンピュータが、前記フィルタリング処理により抽出された第２の画像部分の形状に基いて、該第２の画像部分に対応する実空間上の対象物の種別が、前記特定種別であるか否かを識別する対象物種別識別ステップとを含むことを特徴とする車両周辺監視方法。
【図１】
【図２】
【図３】
【図４】
【図５】
【図６】
【図７】
【図８】
【図２】
【図３】
【図４】
【図５】
【図６】
【図７】
【図８】
【公開番号】特開２００９−１８７１３５（Ｐ２００９−１８７１３５Ａ）
【公開日】平成２１年８月２０日（２００９．８．２０）
【国際特許分類】
【出願番号】特願２００８−２４４０２（Ｐ２００８−２４４０２）
【出願日】平成２０年２月４日（２００８．２．４）
【出願人】（０００００５３２６）本田技研工業株式会社 (23,863)
【Ｆターム（参考）】
【公開日】平成２１年８月２０日（２００９．８．２０）
【国際特許分類】
【出願日】平成２０年２月４日（２００８．２．４）
【出願人】（０００００５３２６）本田技研工業株式会社 (23,863)
【Ｆターム（参考）】
[ Back to top ]