車両周辺監視装置
【課題】対象物が四足動物に該当するか否かの認識精度の向上を図ることができる装置を提供する。
【解決手段】本発明の車両周辺監視装置によれば、抽出対象物、すなわち、撮像画像から抽出された対象物に、上端部から下端部に向かって間隔が広がる一対の第１線分からなる特定部分が２つ存在するか否かに応じてこの対象物が四足動物に該当するか否かが判定される。歩行中の四足動物を横から見た場合、前後それぞれの左右一対の脚部が上端部から下端部に向かって間隔が広がる姿勢となることに鑑みて、各特定部分は歩行中の四足動物の前または後の左右一対の脚部に該当する可能性が高いため、この判定手法により対象物が四足動物に該当するか否かの認識精度の向上を図ることができる。
【解決手段】本発明の車両周辺監視装置によれば、抽出対象物、すなわち、撮像画像から抽出された対象物に、上端部から下端部に向かって間隔が広がる一対の第１線分からなる特定部分が２つ存在するか否かに応じてこの対象物が四足動物に該当するか否かが判定される。歩行中の四足動物を横から見た場合、前後それぞれの左右一対の脚部が上端部から下端部に向かって間隔が広がる姿勢となることに鑑みて、各特定部分は歩行中の四足動物の前または後の左右一対の脚部に該当する可能性が高いため、この判定手法により対象物が四足動物に該当するか否かの認識精度の向上を図ることができる。
【発明の詳細な説明】
【技術分野】
【０００１】
本発明は、車両に搭載された撮像装置によって得られる撮像画像を用いて車両の周辺を監視する車両周辺監視装置に関する。
【背景技術】
【０００２】
撮像装置により撮像された赤外線画像から対象物である歩行者の頭部に相当する領域を抽出し、当該頭部領域に基づいて歩行者の胴体に相当する領域を抽出することにより対象物が歩行者であることを認識し、この歩行者の存在を車両の運転者に知らせる技術が知られている（特許文献１参照）。
【特許文献１】特開平１１−３２８３６４号公報
【発明の開示】
【発明が解決しようとする課題】
【０００３】
しかし、自車両の周辺には歩行者（人間）のみならず、鹿、羊、犬、及び馬等の四足動物も存在する場合がある。この場合、対象物が人間であるか否かを判定する手法が採用されても、対象物が四足動物であるか否かを判定することは困難である。このため、車両の運転者に四足動物の存在を知らせること、さらには、運転者が対象物との接触を回避するように車両を運転することが困難となる。
【０００４】
そこで、本発明は、対象物が四足動物に該当するか否かの認識精度の向上を図ることができる装置を提供することを目的とする。
【課題を解決するための手段】
【０００５】
第１発明の車両周辺監視装置は、車両に搭載されている撮像装置により得られた撮像画像を用いて車両の周辺を監視する車両周辺監視装置であって、前記撮像画像から対象物を抽出する対象物抽出手段と、前記対象物抽出手段により抽出された前記対象物において、上端部から下端部に向かって間隔が徐々に広がるように配置されている一対の第１線分からなる特定部分が、横に並んで２つ存在するか否かに応じて、前記対象物が四足動物に該当するか否かを判定する対象物判定手段とを備えていることを特徴とする。
【０００６】
第１発明の車両周辺監視装置によれば、抽出対象物、すなわち、撮像画像から抽出された対象物に、上端部から下端部に向かって間隔が広がる一対の第１線分からなる特定部分が２つ存在するか否かに応じてこの対象物が四足動物に該当するか否かが判定される。歩行中の四足動物を横から見た場合、前後それぞれの左右一対の脚部が上端部から下端部に向かって間隔が広がる姿勢となることに鑑みて、各特定部分は歩行中の四足動物の前または後の左右一対の脚部に該当する可能性が高いため、この判定手法により対象物が四足動物に該当するか否かの認識精度の向上を図ることができる。なお、第１の線分は直線部分、曲線部分およびこれらの組み合わせを包含する概念であり、また、その幅は撮像画像におけるピクセルの数に換算して「１」であっても「２」以上であってもよく、さらに、その幅は一定であっても一定でなくてもよい。
【０００７】
第２発明の車両周辺監視装置は、第１発明の車両周辺監視装置において、前記対象物判定手段が、前記対象物抽出手段により抽出された前記対象物において、２つの前記特定部分のうち一方の上端部よりも上側にある点から伸びる１つの第２線分の有無に応じて、前記対象物が四足動物に該当するか否かを判定することを特徴とする。
【０００８】
第２発明の車両周辺監視装置によれば、抽出対象物に前記のように特定部分が２つ存在するか否かに加えて、２つの特定部分のうち一方の上端部よりも上側にある点から伸びる１つの第２線分が存在するか否かに応じてこの対象物が四足動物に該当するか否かが判定される。四足動物を横から見た場合、その頭部が前側脚部の根元の近傍に位置することに鑑みて、第２線分は四足動物の頭部に該当する可能性が高いため、この判定手法により対象物が四足動物に該当するか否かの認識精度の向上を図ることができる。なお、第２の線分は、第１の線分と同様に直線部分、曲線部分およびこれらの組み合わせを包含する概念であり、また、その幅は撮像画像におけるピクセルの数に換算して「１」であっても「２」以上であってもよく、さらに、その幅は一定であっても一定でなくてもよい。
【０００９】
第３発明の車両周辺監視装置は、第１または第２発明の車両周辺監視装置において、前記対象物判定手段が、前記対象物からその形状特性を有する線画像を細線化処理により生成し、前記線画像を直線近似することにより直線部分を生成し、上端部から下端部に向かって間隔が徐々に広がるように配置されている一対の前記直線部分の有無に応じて、前記対象物における前記特定部分の有無を判定することを特徴とする。
【００１０】
第３発明の車両周辺監視装置によれば、抽出対象物の細線化処理による線画像の生成および線画像の直線近似による直線部分の抽出により、この抽出対象物における特定部分の有無の判定を容易にすることができるので、対象物が四足動物に該当するか否かの認識精度の向上を図ることができる。なお、直線線分の幅は撮像画像におけるピクセルの数に換算して「１」である。
【００１１】
第４発明の車両周辺監視装置は、第１発明の車両周辺監視装置において、前記対象物判定手段が、上端部から下端部に向かって間隔が徐々に広がるように配置されている一対の線分よりなるテンプレートに形状が一致する部分の有無に応じて、前記対象物における前記特定部分の有無を判定することを特徴とする。
【００１２】
第４発明の車両周辺監視装置によれば、テンプレートの採用により、この抽出対象物における特定部分の有無の判定を容易にすることができるので、対象物が四足動物に該当するか否かの認識精度の向上を図ることができる。
【発明を実施するための最良の形態】
【００１３】
本発明の車両周辺監視装置の実施形態について説明する。まず、本実施形態の車両周辺監視装置の構成について説明する。車両周辺監視装置は図１および図２に示されている画像処理ユニット１を備えている。画像処理ユニット１には、自車両１０の前方の画像を撮像する撮像装置としての２つの赤外線カメラ２Ｒ，２Ｌが接続されると共に、自車両１０の走行状態を検出するセンサとして、自車両１０のヨーレートを検出するヨーレートセンサ３、自車両１０の走行速度（車速）を検出する車速センサ４、および自車両１０のブレーキ操作の有無を検出するブレーキセンサ５とが接続されている。さらに、画像処理ユニット１には、音声などによる聴覚的な通報情報を出力するためのスピーカ６、および赤外線カメラ２Ｒ，２Ｌにより撮像された撮像画像や視覚的な通報情報を表示するための表示装置７が接続されている。なお、赤外線カメラ２Ｒ，２Ｌが本発明における撮像装置に相当する。
【００１４】
画像処理ユニット１は、詳細な図示は省略するが、Ａ／Ｄ変換回路、マイクロコンピュータ（ＣＰＵ、ＲＡＭ、ＲＯＭ等を有する）、画像メモリなどを含む電子回路により構成され、赤外線カメラ２Ｒ，２Ｌ、ヨーレートセンサ３、車速センサ４およびブレーキセンサ５から出力されるアナログ信号が、Ａ／Ｄ変換回路によりデジタルデータ化されて、マイクロコンピュータに入力される。そして、マイクロコンピュータは、入力されたデータを基に、人（歩行者、自転車に乗っている者）などの対象物を検出し、検出した対象物が所定の通報要件を満す場合にスピーカ６や表示装置７により運転者に通報を発する処理を実行する。なお、画像処理ユニット１は、本発明における対象物抽出手段および対象物判定手段としての機能を備えている。
【００１５】
図２に示されているように、赤外線カメラ２Ｒ，２Ｌは、自車両１０の前方を撮像するために、自車両１０の前部（図ではフロントグリルの部分）に取り付けられている。この場合、赤外線カメラ２Ｒ，２Ｌは、それぞれ、自車両１０の車幅方向の中心よりも右寄りの位置、左寄りの位置に配置されている。それら位置は、自車両１０の車幅方向の中心に対して左右対称である。赤外線カメラ２Ｒ，２Ｌは、それらの光軸が互いに平行に自車両１０の前後方向に延在し、且つ、それぞれの光軸の路面からの高さが互いに等しくなるように固定されている。赤外線カメラ２Ｒ，２Ｌは、遠赤外域に感度を有し、それにより撮像される物体の温度が高いほど、出力される映像信号のレベルが高くなる（映像信号の輝度が高くなる）特性を有している。
【００１６】
また、本実施形態では、表示装置７として、自車両１０のフロントウィンドウに画像情報を表示するヘッド・アップ・ディスプレイ７ａ（以下、ＨＵＤ７ａという）を備えている。なお、表示装置７として、ＨＵＤ７ａの代わりに、もしくは、ＨＵＤ７ａとともに、自車両１０の車速などの走行状態を表示するメータに一体的に設けられたディスプレイ、あるいは、車載ナビゲーション装置に備えられたディスプレイを用いてもよい。
【００１７】
次に、前記構成の車両周辺監視装置の基本的な機能について図３のフローチャートを用いて説明する。図３のフローチャートの基本的な処理内容は、例えば本出願人による特開２００１−６０９６号の図３および特開２００７−３１０７０５号の図３に記載されている処理内容と同様である。
【００１８】
具体的にはまず、赤外線カメラ２Ｒ、２Ｌから赤外線画像信号が画像処理ユニット１に入力される（図３／ＳＴＥＰ１１）。次いで、画像処理ユニット１は、赤外線カメラ２Ｒ、２Ｌの出力信号をＡ／Ｄ変換する（図３／ＳＴＥＰ１２）。そして、画像処理ユニット１は、Ａ／Ｄ変換された赤外線画像からグレースケール画像を取得する（図３／ＳＴＥＰ１３）。その後、画像処理ユニット１は、基準画像（右画像）を２値化する（図３／ＳＴＥＰ１４）。次いで、画像処理ユニット１は、前記２値化画像に対してＳＴＥＰ１５〜１７の処理を実行し、該２値化画像から対象物（より正確には対象物に対応する画像領域）を抽出する。具体的には、前記２値化画像の高輝度領域を構成する画素群をランレングスデータに変換する（図３／ＳＴＥＰ１５）。次いで、基準画像の縦方向に重なりを有するライン群のそれぞれにラベル（識別子）を付する（図３／ＳＴＥＰ１６）。そして、ライン群のそれぞれを対象物として抽出する（図３／ＳＴＥＰ１７）。その後、画像処理ユニット１は、上記の如く抽出した各対象物の重心の位置（基準画像上での位置）、面積、及び外接四角形の縦横比を算出する（図３／ＳＴＥＰ１８）。次いで、画像処理ユニット１は、前記ＳＴＥＰ１８で抽出した対象物の時刻間追跡、すなわち、画像処理ユニット１の演算処理周期毎の同一対象物の認識を行なう（図３／ＳＴＥＰ１９）。そして、画像処理ユニット１は、前記車速センサ４およびヨーレートセンサ５の出力（車速の検出値及びヨーレートの検出値）を読み込む（図３／ＳＴＥＰ２０）。
【００１９】
一方、画像処理ユニット１は、外接四角形の縦横費算出および対象物の時刻間追跡と並行して、まず、前記基準画像のうち、各対象物に対応する領域（例えば該対象物の外接四角形の領域）を探索画像として抽出する（図３／ＳＴＥＰ３１）。次いで、左画像中から探索画像に対応する画像（対応画像）を探索する探索領域を設定し、相関演算を実行して対応画像を抽出する（図３／ＳＴＥＰ３２）。そして、対象物の自車両１０からの距離（自車両１０の前後方向における距離）を算出する（図３／ＳＴＥＰ３３）。
【００２０】
次いで、画像処理ユニット１は、各対象物の実空間上での位置（自車両１０に対する相対位置）である実空間位置を算出する（図３／ＳＴＥＰ２１）。そして、画像処理ユニット１は、対象物の実空間位置（Ｘ，Ｙ，Ｚ）のうちのＸ方向の位置Ｘを前記ＳＴＥＰ２０で求めた回頭角の時系列データに応じて補正する（図３／ＳＴＥＰ２２）。その後、画像処理ユニット１は、対象物の自車両１０に対する相対移動ベクトルを推定する（図３／ＳＴＥＰ２３）。次いで、ＳＴＥＰ２３において、相対移動ベクトルが求められたら、検出した対象物との接触の可能性を判定し、その可能性が高いときに通報を発する通報判定処理を実行する（図３／ＳＴＥＰ２４）。そして、対象物が通報判定要件を満たすと判定した場合（図３／ＳＴＥＰ２４‥ＹＥＳ）、通報判定要件を満たす対象物に関する実際の通報を行うべきか否かの判定を行う通報出力判定処理を実行する（図３／ＳＴＥＰ２５）。その後、画像処理ユニット１は、通報を行うべきと判定した場合（図３／ＳＴＥＰ２５‥ＹＥＳ）、運転者に対して自車両１０との接触可能性が高い状況である旨の通報をする（図３／ＳＴＥＰ２６）。具体的には、スピーカ６を介して音声を出力することにより当該状況が通報される。また、ＨＵＤ７ａにおいて対象物を強調表示することによっても当該状況が通報される。以上が本実施形態の周辺監視装置の全体的作動である。なお、画像処理ユニット１によりＳＴＥＰ１１〜１８の処理を実行する構成が、本発明の対象物抽出手段に相当する。
【００２１】
次に、図３に示したフローチャートのＳＴＥＰ２４における通報判定処理について図４のフローチャートを用いて説明する。図４のフローチャートの基本的な処理内容は、例えば本出願人による特開２００１−６０９６号の図４および特開２００７−３１０７０５号の図４に記載されている処理内容と同様である。
【００２２】
具体的にはまず、画像処理ユニット１は、接触判定処理を行う（図４／ＳＴＥＰ４１）。接触判定処理は、自車両１０と対象物との距離が、相対速度Ｖｓと余裕時間Ｔとを乗じた値以下の場合に、接触の可能性があるものとして判定する。次いで、余裕時間Ｔ以内に自車両と対象物とが接触する可能性がある場合（図４／ＳＴＥＰ４１‥ＹＥＳ）、画像形成ユニット１は、対象物が接近判定領域内に存在するか否かを判定する（図４／ＳＴＥＰ４２）。そして、対象物が接近判定領域内に存在しない場合（図４／ＳＴＥＰ４２‥ＮＯ）、画像形成ユニット１は、対象物が接近判定領域内に侵入して自車両１０と接触する可能性があるか否かを判定する（図４／ＳＴＥＰ４３）。具体的には、対象物が侵入判定領域に存在し、かつ、ＳＴＥＰ２３で求めた対象物の移動ベクトルが接近判定領域に向かっているときに、当該接触可能性が高いと判定される。
【００２３】
一方、対象物が接近判定領域内に存在している場合（図４／ＳＴＥＰ４２‥ＹＥＳ）、または対象物が接近判定領域内に侵入して自車両１０と接触する可能性がある場合（図４／ＳＴＥＰ４３‥ＹＥＳ）、画像処理ユニット１は、対象物が人工構造物であるか否かを判定する人工構造物判定処理を行う（図４／ＳＴＥＰ４４）。人工構造物判定処理は、歩行者にはあり得ない特徴が検出された場合、該対象物を人工構造物と判定する。次いで、対象物は人工構造物ではないと判定された場合（図４／ＳＴＥＰ４４‥ＮＯ）、対象物が歩行者に該当するか否かが判定される（図４／ＳＴＥＰ４５）。具体的には、グレースケール画像上で対象物の画像領域の形状や大きさ、輝度分散等の特徴から、対象物が歩行者に該当するか否かが判定される。そして、対象物が歩行者に該当すると判定された場合（図４／ＳＴＥＰ４５‥ＹＥＳ）、検出した対象物を通報または注意喚起の対象として決定する（図４／ＳＴＥＰ４６）。
【００２４】
一方、対象物は人工構造物であると判定された場合（図４／ＳＴＥＰ４４‥ＹＥＳ）、または対象物が歩行者でないと判定された場合（図４／ＳＴＥＰ４５‥ＮＯ）、この対象物が四足動物に該当するか否かが判定される（図４／ＳＴＥＰ４７）。対象物が四足動物に該当すると判定された場合（図４／ＳＴＥＰ４７‥ＹＥＳ）、画像処理ユニット１は、検出した対象物を通報の対象として決定する（図４／ＳＴＥＰ４６）。その一方、対象物が四足動物に該当しないと判定された場合（図４／ＳＴＥＰ４７‥ＮＯ）、画像処理ユニット１は、検出した対象物を通報の対象から除外される（図４／ＳＴＥＰ４８）。
【００２５】
次に、本発明の車両周辺監視装置の主要な機能である対象物種別判定処理について図５のフローチャートを用いて説明する。
【００２６】
対象物抽出手段により抽出された対象物が細線化処理される（図５／ＳＴＥＰ１００）。細線化処理は、２値化画像から抽出された対象物を幅１ピクセルまたは１画素の線画像に変換する処理であり、対象物の輪郭画素のうち対象物の形状特性を抽出する観点から削除可能な画素をそぎ落としていくことにより実行される。これにより、たとえば図６（ａ）に示されているグレースケール画像（図３／ＳＴＥＰ１３参照）から図６（ｂ）に示されている２値化画像が得られた場合（図３／ＳＴＥＰ１４参照）、図６（ｃ）に示されているように２値化画像において高輝度領域として抽出された対象物の形状特性を有する線画像が取得される。
【００２７】
次いで、対象物の線画像から端点が探索される（図５／ＳＴＥＰ１０２）。具体的には、線画像における一の点（ピクセル）を取り囲む８つのピクセルに、線画像の他の点が１つだけ含まれている場合、当該一の点は対象物の端点であると認識される。これにより、たとえば図６（ｃ）に示されている線画像から、図７（ａ）に丸印で示されているように５つの端点ｐｉ＋（ｉ＝１〜５）が探索される。端点ｐ１＋は対象物としての四足動物の頭部の先端部に該当し、端点ｐ２＋〜ｐ５＋のそれぞれは四足動物の各脚部の先端部に該当する。
【００２８】
さらに、対象物の線画像から探索された端点ｐｉ＋の数が「５」であるか否かが判定される（図５／ＳＴＥＰ１０４）。たとえば、図７（ａ）に丸印で示されているように５つの端点ｐ１＋〜ｐ５＋が探索された場合、当該判定結果は肯定的になる。当該判定結果が肯定的である場合（図５／ＳＴＥＰ１０４‥ＹＥＳ）、当該端点ｐｉ＋を始点とする線分の分岐点ｐｉ−が探索される（図５／ＳＴＥＰ１０６）。具体的には、各端点ｐｉ＋を始点とする線分における一の点（ピクセル）を取り囲む８つのピクセルに、線画像の他の点が３つ含まれている場合、当該一の点はこの線分の分岐点ｐｉ−であると認識される。これにより、たとえば図７（ａ）に示されている５つの端点ｐ１＋〜ｐ５＋のそれぞれを始点とする５つの線分のそれぞれについて図７（ｂ）に丸印で示されているように５つの分岐点ｐ１−〜ｐ５−が探索される。第４の分岐点ｐ４−および第５の分岐点ｐ５−は同一である。
【００２９】
また、各線分が直線近似されることにより直線線分が生成される（図５／ＳＴＥＰ１０８）。具体的には、端点ｐｉ＋と、この端点ｐｉ＋を始点とする線分の分岐点ｐｉ−とを結ぶことにより直線線分Ｌｉが生成される。これにより、たとえば図７（ｃ）に示されているように端点ｐ１＋〜ｐ５＋のそれぞれと、分岐点ｐ１−〜ｐ５−のそれぞれとを結ぶ５つの直線線分Ｌ１〜Ｌ５が生成される。なお、図７（ｃ）に示されている直線線分Ｌ１〜Ｌ５に代わり、図８（ａ）または図８（ｂ）に示されているような直線線分ｌ１〜Ｌ５も生成されうる。
【００３０】
さらに、各直線線分Ｌｉの傾きが算出される（図５／ＳＴＥＰ１１０）。具体的には、画像右方向を＋ｘ方向とし、画像上方向を＋ｙ方向として定義された画像座標系（２次元）において、端点ｐｉ＋および分岐点ｐｉ−のそれぞれのｘ座標およびｙ座標に基づき、直線線分の傾きが算定される。これにより、たとえば、図７（ｃ）に示されている第１の直線線分Ｌ１の傾きは負、第２の直線線分Ｌ２の傾きは正、第３の直線線分Ｌ３の傾きは負、第４の直線線分Ｌ４の傾きは正、第５の直線線分Ｌ５の傾きは負となる。また、図８（ａ）に示されているような直線線分Ｌ１〜Ｌ５が生成された場合、直線線分Ｌ１〜Ｌ５のそれぞれの傾きは順に正、正、負、正、負となる。さらに、図８（ｂ）に示されているような直線線分Ｌ１〜Ｌ５が生成された場合、直線線分Ｌ１〜Ｌ５のそれぞれの傾きは順に正、負、正、負、正となる。また、各直線線分Ｌｉ、端点ｐｉ＋および分岐点ｐｉ−を区別するための指数「ｉ」が付される（図５／ＳＴＥＰ１１２）。具体的には、端点ｐｉ＋が画像左端に近い順に、すなわち、ｘ座標が小さい順に指数ｉが付される。なお、指数ｉは端点が探索された段階で付されてもよい。ここで、端点より分岐点が低い直線線分がある場合は、除外して処理を行ってもよい。
【００３１】
次いで、第１の直線線分Ｌ１と第２の直線線分Ｌ２とが特定部分に該当するか否かが判定される（図５／ＳＴＥＰ１１４）。「特定部分」とは、上端部から下端部に向かって間隔が徐々に広がるように配置されている一対の第１線分からなる部分を意味する。具体的には、第１の直線線分Ｌ１の傾きが正であり、かつ、第２の直線線分Ｌ２の傾きが負であるか否かに応じて、当該２つの直線線分Ｌ１およびＬ２が特定部分に該当するか否かが判定される。たとえば、図７（ｃ）および図８（ａ）に示されている状況では当該判定結果は否定的となる一方、図８（ｂ）に示されている状況では当該判定結果は肯定的となる。
【００３２】
第１の直線線分Ｌ１および第２の直線線分Ｌ２が特定部分に該当すると判定された場合（図５／ＳＴＥＰ１１４‥ＹＥＳ）、第３の直線線分Ｌ３と第４の直線線分Ｌ４とが特定部分に該当するか否かが判定される（図５／ＳＴＥＰ１１６）。具体的には、第３の直線線分Ｌ３の傾きが正であり、かつ、第４の直線線分Ｌ４の傾きが負であるか否かに応じて、当該２つの直線線分Ｌ３およびＬ４が特定部分に該当するか否かが判定される。たとえば、図８（ｂ）に示されている状況では当該判定結果は肯定的となる。そして、第３の直線線分Ｌ３および第４の直線線分Ｌ４が特定部分に該当すると判定された場合（図５／ＳＴＥＰ１１６‥ＹＥＳ）、対象物が四足動物に該当すると判定される（図５／ＳＴＥＰ１２２）。なお、図８（ｂ）に示されている状況では第１〜第４の直線線分Ｌ１〜Ｌ４が、四足動物の脚部に相当する「第１線分」に該当する。
【００３３】
その一方、第１の直線線分Ｌ１および第２の直線線分Ｌ２が特定部分に該当しないと判定された場合（図５／ＳＴＥＰ１１４‥ＮＯ）、第２の直線線分Ｌ２と第３の直線線分Ｌ３とが特定部分に該当するか否かが判定される（図５／ＳＴＥＰ１１８）。具体的には、第２の直線線分Ｌ２の傾きが正であり、かつ、第３の直線線分Ｌ３の傾きが負であるか否かに応じて、当該２つの直線線分Ｌ２およびＬ３が特定部分に該当するか否かが判定される。たとえば、図７（ｃ）および図８（ａ）に示されている状況では当該判定結果は肯定的となる。
【００３４】
第２の直線線分Ｌ２および第３の直線線分Ｌ３が特定部分に該当すると判定された場合（図５／ＳＴＥＰ１１８‥ＹＥＳ）、第４の直線線分Ｌ４と第５の直線線分Ｌ５とが特定部分に該当するか否かが判定される（図５／ＳＴＥＰ１２０）。具体的には、第４の直線線分Ｌ４の傾きが正であり、かつ、第５の直線線分Ｌ５の傾きが負であるか否かに応じて、当該２つの直線線分Ｌ４およびＬ５が特定部分に該当するか否かが判定される。たとえば、図７（ｃ）および図８（ａ）に示されている状況では当該判定結果は肯定的となる。そして、第４の直線線分Ｌ４および第５の直線線分Ｌ５が特定部分に該当すると判定された場合（図５／ＳＴＥＰ１２０‥ＹＥＳ）、対象物が四足動物に該当すると判定される（図５／ＳＴＥＰ１２２）。なお、図７（ｃ）および図８（ａ）に示されている状況では第２〜第５の直線線分Ｌ２〜Ｌ５が、四足動物の脚部に相当する「第１線分」に該当する。
【００３５】
なお、画像処理ユニット１により対象物種別判定処理（ＳＴＥＰ１００〜１２２、ＳＴＥＰ２００〜２０６）を実行する構成（メモリと、このメモリからプログラムを読み出し、このプログラムにしたがって担当演算処理を実行する演算処理装置（ＣＰＵ）とが該当する。）が「対象物判定手段」に該当する。
【００３６】
前記機能を発揮する車両周辺監視装置によれば、抽出対象物、すなわち、撮像画像から抽出された対象物に、上端部から下端部に向かって間隔が広がる一対の第１線分からなる特定部分が２つ存在するか否かに応じてこの対象物が四足動物に該当するか否かが判定される（図５／Ｓ１１４〜Ｓ１２２、図７（ｃ）、図８（ａ）および図８（ｂ）参照）。歩行中の四足動物を横から見た場合、前後それぞれの左右一対の脚部が上端部から下端部に向かって間隔が広がる姿勢となることに鑑みて、各特定部分は歩行中の四足動物の前または後の左右一対の脚部に該当する可能性が高いため、この判定手法により対象物が四足動物に該当するか否かの認識精度の向上を図ることができる。また、抽出対象物の細線化処理による線画像の生成および線画像の直線近似による直線部分の抽出により、この抽出対象物における特定部分の有無の判定を容易にすることができるので、対象物が四足動物に該当するか否かの認識精度の向上を図ることができる。
【００３７】
なお、細線化処理（図５／ＳＴＥＰ１００）が省略され、上端部から下端部に向かって間隔が広がるように配置されている一対の第１線分（幅は２ピクセル以上であってもよく、その幅は一定でも一定でなくてもよい。）が特定部分として認識されてもよい。
【００３８】
前記実施形態では対象物の線画像の端点数が「５」であることを要件として対象物における特定部分の有無が判定されたが（図５／ＳＴＥＰ１０４，Ｓ１１４〜Ｓ１２０参照）、これは、四足動物であれば頭部および４本の脚部のそれぞれの先端部に相当する端点が抽出されるはずであるという思想に基づいている。そのほか、四足動物であれば少なくとも４本の脚部のそれぞれの先端部に相当する端点が抽出されるはずであるという思想に基づき、端点数が「４」であることを要件として対象物における特定部分の有無が判定されてもよい。
【００３９】
また、抽出対象物に前記のように特定部分が２つ存在するか否かに加えて、２つの特定部分のうち一方の上端部よりも上側にある点から伸びる１つの第２線分が存在するか否かに応じてこの対象物が四足動物に該当するか否かが判定されてもよい。たとえば、図７（ｃ）および図８（ａ）に示されている線画像において認識された第１の直線線分Ｌ１が「第２線分」として認識される。また、図８（ｂ）に示されている線画像において認識された第５の直線線分Ｌ５が「第２線分」として認識される。四足動物を横から見た場合、その頭部が前側脚部の根元の近傍に位置することに鑑みて、第２線分は四足動物の頭部に該当する可能性が高いため、この判定手法により対象物が四足動物に該当するか否かの認識精度の向上を図ることができる。
【００４０】
さらに、上端部から下端部に向かって間隔が徐々に広がるように配置されている一対の線分よりなるテンプレートに形状が一致する部分の有無に応じて、対象物における特定部分の有無が判定されてもよい。具体的には、まずメモリにあらかじめ保存されている前記のようなテンプレートが選択される（図９／ＳＴＥＰ２００）。次いで、パターンマッチングにより、抽出対象物においてテンプレートと形状が一致する部分の有無が判定される（図９／ＳＴＥＰ２０２）。そして、対象物に該当部分が２つ存在するか否かが判定される（図９／ＳＴＥＰ２０４）。当該判定結果が肯定的である場合（図９／ＳＴＥＰ２０４‥ＹＥＳ）、対象物が四足動物であると判定される（図９／ＳＴＥＰ２０６）。なお、テンプレートは、一対の線分の間隔の変化態様が異なる複数のテンプレートが採用されてもよい。当該他の実施形態の車両周辺監視装置によれば、テンプレートの採用により、この抽出対象物における特定部分の有無の判定を容易にすることができるので、対象物が四足動物に該当するか否かの認識精度の向上を図ることができる。
【００４１】
また、本実施形態においては、画像処理ユニット１の処理結果に基づいて、所定の通報を行うように構成されているが、該処理結果に基づいて車両挙動を制御するように構成してもよい。さらに、前記実施形態では、２台の赤外線カメラ２Ｒ，２Ｌを備えたが、１台の赤外線カメラを自車両１０に搭載するようにしてもよい。この場合には、対象物との距離をレーダーなどにより検出するようにする。
【図面の簡単な説明】
【００４２】
【図１】本発明の車両の周辺監視装置の一実施形態の全体構成を示す図
【図２】図１の周辺監視装置を備えた車両の斜視図
【図３】図１の周辺監視装置に備えた画像処理ユニットの処理を示すフローチャート
【図４】図１の周辺監視装置に備えた画像処理ユニットの処理を示すフローチャート
【図５】本実施形態における対象物種別判定処理を示すフローチャート
【図６】画像処理ユニットの処理を説明するための図
【図７】画像処理ユニットの処理を説明するための図
【図８】画像処理ユニットの処理を説明するための図
【図９】本実施形態における他の対象物種別判定処理を示すフローチャート
【符号の説明】
【００４３】
１…画像処理ユニット（対象物抽出手段、対象物判定手段）、２Ｒ，２Ｌ…赤外線カメラ（撮像装置）
【技術分野】
【０００１】
本発明は、車両に搭載された撮像装置によって得られる撮像画像を用いて車両の周辺を監視する車両周辺監視装置に関する。
【背景技術】
【０００２】
撮像装置により撮像された赤外線画像から対象物である歩行者の頭部に相当する領域を抽出し、当該頭部領域に基づいて歩行者の胴体に相当する領域を抽出することにより対象物が歩行者であることを認識し、この歩行者の存在を車両の運転者に知らせる技術が知られている（特許文献１参照）。
【特許文献１】特開平１１−３２８３６４号公報
【発明の開示】
【発明が解決しようとする課題】
【０００３】
しかし、自車両の周辺には歩行者（人間）のみならず、鹿、羊、犬、及び馬等の四足動物も存在する場合がある。この場合、対象物が人間であるか否かを判定する手法が採用されても、対象物が四足動物であるか否かを判定することは困難である。このため、車両の運転者に四足動物の存在を知らせること、さらには、運転者が対象物との接触を回避するように車両を運転することが困難となる。
【０００４】
そこで、本発明は、対象物が四足動物に該当するか否かの認識精度の向上を図ることができる装置を提供することを目的とする。
【課題を解決するための手段】
【０００５】
第１発明の車両周辺監視装置は、車両に搭載されている撮像装置により得られた撮像画像を用いて車両の周辺を監視する車両周辺監視装置であって、前記撮像画像から対象物を抽出する対象物抽出手段と、前記対象物抽出手段により抽出された前記対象物において、上端部から下端部に向かって間隔が徐々に広がるように配置されている一対の第１線分からなる特定部分が、横に並んで２つ存在するか否かに応じて、前記対象物が四足動物に該当するか否かを判定する対象物判定手段とを備えていることを特徴とする。
【０００６】
第１発明の車両周辺監視装置によれば、抽出対象物、すなわち、撮像画像から抽出された対象物に、上端部から下端部に向かって間隔が広がる一対の第１線分からなる特定部分が２つ存在するか否かに応じてこの対象物が四足動物に該当するか否かが判定される。歩行中の四足動物を横から見た場合、前後それぞれの左右一対の脚部が上端部から下端部に向かって間隔が広がる姿勢となることに鑑みて、各特定部分は歩行中の四足動物の前または後の左右一対の脚部に該当する可能性が高いため、この判定手法により対象物が四足動物に該当するか否かの認識精度の向上を図ることができる。なお、第１の線分は直線部分、曲線部分およびこれらの組み合わせを包含する概念であり、また、その幅は撮像画像におけるピクセルの数に換算して「１」であっても「２」以上であってもよく、さらに、その幅は一定であっても一定でなくてもよい。
【０００７】
第２発明の車両周辺監視装置は、第１発明の車両周辺監視装置において、前記対象物判定手段が、前記対象物抽出手段により抽出された前記対象物において、２つの前記特定部分のうち一方の上端部よりも上側にある点から伸びる１つの第２線分の有無に応じて、前記対象物が四足動物に該当するか否かを判定することを特徴とする。
【０００８】
第２発明の車両周辺監視装置によれば、抽出対象物に前記のように特定部分が２つ存在するか否かに加えて、２つの特定部分のうち一方の上端部よりも上側にある点から伸びる１つの第２線分が存在するか否かに応じてこの対象物が四足動物に該当するか否かが判定される。四足動物を横から見た場合、その頭部が前側脚部の根元の近傍に位置することに鑑みて、第２線分は四足動物の頭部に該当する可能性が高いため、この判定手法により対象物が四足動物に該当するか否かの認識精度の向上を図ることができる。なお、第２の線分は、第１の線分と同様に直線部分、曲線部分およびこれらの組み合わせを包含する概念であり、また、その幅は撮像画像におけるピクセルの数に換算して「１」であっても「２」以上であってもよく、さらに、その幅は一定であっても一定でなくてもよい。
【０００９】
第３発明の車両周辺監視装置は、第１または第２発明の車両周辺監視装置において、前記対象物判定手段が、前記対象物からその形状特性を有する線画像を細線化処理により生成し、前記線画像を直線近似することにより直線部分を生成し、上端部から下端部に向かって間隔が徐々に広がるように配置されている一対の前記直線部分の有無に応じて、前記対象物における前記特定部分の有無を判定することを特徴とする。
【００１０】
第３発明の車両周辺監視装置によれば、抽出対象物の細線化処理による線画像の生成および線画像の直線近似による直線部分の抽出により、この抽出対象物における特定部分の有無の判定を容易にすることができるので、対象物が四足動物に該当するか否かの認識精度の向上を図ることができる。なお、直線線分の幅は撮像画像におけるピクセルの数に換算して「１」である。
【００１１】
第４発明の車両周辺監視装置は、第１発明の車両周辺監視装置において、前記対象物判定手段が、上端部から下端部に向かって間隔が徐々に広がるように配置されている一対の線分よりなるテンプレートに形状が一致する部分の有無に応じて、前記対象物における前記特定部分の有無を判定することを特徴とする。
【００１２】
第４発明の車両周辺監視装置によれば、テンプレートの採用により、この抽出対象物における特定部分の有無の判定を容易にすることができるので、対象物が四足動物に該当するか否かの認識精度の向上を図ることができる。
【発明を実施するための最良の形態】
【００１３】
本発明の車両周辺監視装置の実施形態について説明する。まず、本実施形態の車両周辺監視装置の構成について説明する。車両周辺監視装置は図１および図２に示されている画像処理ユニット１を備えている。画像処理ユニット１には、自車両１０の前方の画像を撮像する撮像装置としての２つの赤外線カメラ２Ｒ，２Ｌが接続されると共に、自車両１０の走行状態を検出するセンサとして、自車両１０のヨーレートを検出するヨーレートセンサ３、自車両１０の走行速度（車速）を検出する車速センサ４、および自車両１０のブレーキ操作の有無を検出するブレーキセンサ５とが接続されている。さらに、画像処理ユニット１には、音声などによる聴覚的な通報情報を出力するためのスピーカ６、および赤外線カメラ２Ｒ，２Ｌにより撮像された撮像画像や視覚的な通報情報を表示するための表示装置７が接続されている。なお、赤外線カメラ２Ｒ，２Ｌが本発明における撮像装置に相当する。
【００１４】
画像処理ユニット１は、詳細な図示は省略するが、Ａ／Ｄ変換回路、マイクロコンピュータ（ＣＰＵ、ＲＡＭ、ＲＯＭ等を有する）、画像メモリなどを含む電子回路により構成され、赤外線カメラ２Ｒ，２Ｌ、ヨーレートセンサ３、車速センサ４およびブレーキセンサ５から出力されるアナログ信号が、Ａ／Ｄ変換回路によりデジタルデータ化されて、マイクロコンピュータに入力される。そして、マイクロコンピュータは、入力されたデータを基に、人（歩行者、自転車に乗っている者）などの対象物を検出し、検出した対象物が所定の通報要件を満す場合にスピーカ６や表示装置７により運転者に通報を発する処理を実行する。なお、画像処理ユニット１は、本発明における対象物抽出手段および対象物判定手段としての機能を備えている。
【００１５】
図２に示されているように、赤外線カメラ２Ｒ，２Ｌは、自車両１０の前方を撮像するために、自車両１０の前部（図ではフロントグリルの部分）に取り付けられている。この場合、赤外線カメラ２Ｒ，２Ｌは、それぞれ、自車両１０の車幅方向の中心よりも右寄りの位置、左寄りの位置に配置されている。それら位置は、自車両１０の車幅方向の中心に対して左右対称である。赤外線カメラ２Ｒ，２Ｌは、それらの光軸が互いに平行に自車両１０の前後方向に延在し、且つ、それぞれの光軸の路面からの高さが互いに等しくなるように固定されている。赤外線カメラ２Ｒ，２Ｌは、遠赤外域に感度を有し、それにより撮像される物体の温度が高いほど、出力される映像信号のレベルが高くなる（映像信号の輝度が高くなる）特性を有している。
【００１６】
また、本実施形態では、表示装置７として、自車両１０のフロントウィンドウに画像情報を表示するヘッド・アップ・ディスプレイ７ａ（以下、ＨＵＤ７ａという）を備えている。なお、表示装置７として、ＨＵＤ７ａの代わりに、もしくは、ＨＵＤ７ａとともに、自車両１０の車速などの走行状態を表示するメータに一体的に設けられたディスプレイ、あるいは、車載ナビゲーション装置に備えられたディスプレイを用いてもよい。
【００１７】
次に、前記構成の車両周辺監視装置の基本的な機能について図３のフローチャートを用いて説明する。図３のフローチャートの基本的な処理内容は、例えば本出願人による特開２００１−６０９６号の図３および特開２００７−３１０７０５号の図３に記載されている処理内容と同様である。
【００１８】
具体的にはまず、赤外線カメラ２Ｒ、２Ｌから赤外線画像信号が画像処理ユニット１に入力される（図３／ＳＴＥＰ１１）。次いで、画像処理ユニット１は、赤外線カメラ２Ｒ、２Ｌの出力信号をＡ／Ｄ変換する（図３／ＳＴＥＰ１２）。そして、画像処理ユニット１は、Ａ／Ｄ変換された赤外線画像からグレースケール画像を取得する（図３／ＳＴＥＰ１３）。その後、画像処理ユニット１は、基準画像（右画像）を２値化する（図３／ＳＴＥＰ１４）。次いで、画像処理ユニット１は、前記２値化画像に対してＳＴＥＰ１５〜１７の処理を実行し、該２値化画像から対象物（より正確には対象物に対応する画像領域）を抽出する。具体的には、前記２値化画像の高輝度領域を構成する画素群をランレングスデータに変換する（図３／ＳＴＥＰ１５）。次いで、基準画像の縦方向に重なりを有するライン群のそれぞれにラベル（識別子）を付する（図３／ＳＴＥＰ１６）。そして、ライン群のそれぞれを対象物として抽出する（図３／ＳＴＥＰ１７）。その後、画像処理ユニット１は、上記の如く抽出した各対象物の重心の位置（基準画像上での位置）、面積、及び外接四角形の縦横比を算出する（図３／ＳＴＥＰ１８）。次いで、画像処理ユニット１は、前記ＳＴＥＰ１８で抽出した対象物の時刻間追跡、すなわち、画像処理ユニット１の演算処理周期毎の同一対象物の認識を行なう（図３／ＳＴＥＰ１９）。そして、画像処理ユニット１は、前記車速センサ４およびヨーレートセンサ５の出力（車速の検出値及びヨーレートの検出値）を読み込む（図３／ＳＴＥＰ２０）。
【００１９】
一方、画像処理ユニット１は、外接四角形の縦横費算出および対象物の時刻間追跡と並行して、まず、前記基準画像のうち、各対象物に対応する領域（例えば該対象物の外接四角形の領域）を探索画像として抽出する（図３／ＳＴＥＰ３１）。次いで、左画像中から探索画像に対応する画像（対応画像）を探索する探索領域を設定し、相関演算を実行して対応画像を抽出する（図３／ＳＴＥＰ３２）。そして、対象物の自車両１０からの距離（自車両１０の前後方向における距離）を算出する（図３／ＳＴＥＰ３３）。
【００２０】
次いで、画像処理ユニット１は、各対象物の実空間上での位置（自車両１０に対する相対位置）である実空間位置を算出する（図３／ＳＴＥＰ２１）。そして、画像処理ユニット１は、対象物の実空間位置（Ｘ，Ｙ，Ｚ）のうちのＸ方向の位置Ｘを前記ＳＴＥＰ２０で求めた回頭角の時系列データに応じて補正する（図３／ＳＴＥＰ２２）。その後、画像処理ユニット１は、対象物の自車両１０に対する相対移動ベクトルを推定する（図３／ＳＴＥＰ２３）。次いで、ＳＴＥＰ２３において、相対移動ベクトルが求められたら、検出した対象物との接触の可能性を判定し、その可能性が高いときに通報を発する通報判定処理を実行する（図３／ＳＴＥＰ２４）。そして、対象物が通報判定要件を満たすと判定した場合（図３／ＳＴＥＰ２４‥ＹＥＳ）、通報判定要件を満たす対象物に関する実際の通報を行うべきか否かの判定を行う通報出力判定処理を実行する（図３／ＳＴＥＰ２５）。その後、画像処理ユニット１は、通報を行うべきと判定した場合（図３／ＳＴＥＰ２５‥ＹＥＳ）、運転者に対して自車両１０との接触可能性が高い状況である旨の通報をする（図３／ＳＴＥＰ２６）。具体的には、スピーカ６を介して音声を出力することにより当該状況が通報される。また、ＨＵＤ７ａにおいて対象物を強調表示することによっても当該状況が通報される。以上が本実施形態の周辺監視装置の全体的作動である。なお、画像処理ユニット１によりＳＴＥＰ１１〜１８の処理を実行する構成が、本発明の対象物抽出手段に相当する。
【００２１】
次に、図３に示したフローチャートのＳＴＥＰ２４における通報判定処理について図４のフローチャートを用いて説明する。図４のフローチャートの基本的な処理内容は、例えば本出願人による特開２００１−６０９６号の図４および特開２００７−３１０７０５号の図４に記載されている処理内容と同様である。
【００２２】
具体的にはまず、画像処理ユニット１は、接触判定処理を行う（図４／ＳＴＥＰ４１）。接触判定処理は、自車両１０と対象物との距離が、相対速度Ｖｓと余裕時間Ｔとを乗じた値以下の場合に、接触の可能性があるものとして判定する。次いで、余裕時間Ｔ以内に自車両と対象物とが接触する可能性がある場合（図４／ＳＴＥＰ４１‥ＹＥＳ）、画像形成ユニット１は、対象物が接近判定領域内に存在するか否かを判定する（図４／ＳＴＥＰ４２）。そして、対象物が接近判定領域内に存在しない場合（図４／ＳＴＥＰ４２‥ＮＯ）、画像形成ユニット１は、対象物が接近判定領域内に侵入して自車両１０と接触する可能性があるか否かを判定する（図４／ＳＴＥＰ４３）。具体的には、対象物が侵入判定領域に存在し、かつ、ＳＴＥＰ２３で求めた対象物の移動ベクトルが接近判定領域に向かっているときに、当該接触可能性が高いと判定される。
【００２３】
一方、対象物が接近判定領域内に存在している場合（図４／ＳＴＥＰ４２‥ＹＥＳ）、または対象物が接近判定領域内に侵入して自車両１０と接触する可能性がある場合（図４／ＳＴＥＰ４３‥ＹＥＳ）、画像処理ユニット１は、対象物が人工構造物であるか否かを判定する人工構造物判定処理を行う（図４／ＳＴＥＰ４４）。人工構造物判定処理は、歩行者にはあり得ない特徴が検出された場合、該対象物を人工構造物と判定する。次いで、対象物は人工構造物ではないと判定された場合（図４／ＳＴＥＰ４４‥ＮＯ）、対象物が歩行者に該当するか否かが判定される（図４／ＳＴＥＰ４５）。具体的には、グレースケール画像上で対象物の画像領域の形状や大きさ、輝度分散等の特徴から、対象物が歩行者に該当するか否かが判定される。そして、対象物が歩行者に該当すると判定された場合（図４／ＳＴＥＰ４５‥ＹＥＳ）、検出した対象物を通報または注意喚起の対象として決定する（図４／ＳＴＥＰ４６）。
【００２４】
一方、対象物は人工構造物であると判定された場合（図４／ＳＴＥＰ４４‥ＹＥＳ）、または対象物が歩行者でないと判定された場合（図４／ＳＴＥＰ４５‥ＮＯ）、この対象物が四足動物に該当するか否かが判定される（図４／ＳＴＥＰ４７）。対象物が四足動物に該当すると判定された場合（図４／ＳＴＥＰ４７‥ＹＥＳ）、画像処理ユニット１は、検出した対象物を通報の対象として決定する（図４／ＳＴＥＰ４６）。その一方、対象物が四足動物に該当しないと判定された場合（図４／ＳＴＥＰ４７‥ＮＯ）、画像処理ユニット１は、検出した対象物を通報の対象から除外される（図４／ＳＴＥＰ４８）。
【００２５】
次に、本発明の車両周辺監視装置の主要な機能である対象物種別判定処理について図５のフローチャートを用いて説明する。
【００２６】
対象物抽出手段により抽出された対象物が細線化処理される（図５／ＳＴＥＰ１００）。細線化処理は、２値化画像から抽出された対象物を幅１ピクセルまたは１画素の線画像に変換する処理であり、対象物の輪郭画素のうち対象物の形状特性を抽出する観点から削除可能な画素をそぎ落としていくことにより実行される。これにより、たとえば図６（ａ）に示されているグレースケール画像（図３／ＳＴＥＰ１３参照）から図６（ｂ）に示されている２値化画像が得られた場合（図３／ＳＴＥＰ１４参照）、図６（ｃ）に示されているように２値化画像において高輝度領域として抽出された対象物の形状特性を有する線画像が取得される。
【００２７】
次いで、対象物の線画像から端点が探索される（図５／ＳＴＥＰ１０２）。具体的には、線画像における一の点（ピクセル）を取り囲む８つのピクセルに、線画像の他の点が１つだけ含まれている場合、当該一の点は対象物の端点であると認識される。これにより、たとえば図６（ｃ）に示されている線画像から、図７（ａ）に丸印で示されているように５つの端点ｐｉ＋（ｉ＝１〜５）が探索される。端点ｐ１＋は対象物としての四足動物の頭部の先端部に該当し、端点ｐ２＋〜ｐ５＋のそれぞれは四足動物の各脚部の先端部に該当する。
【００２８】
さらに、対象物の線画像から探索された端点ｐｉ＋の数が「５」であるか否かが判定される（図５／ＳＴＥＰ１０４）。たとえば、図７（ａ）に丸印で示されているように５つの端点ｐ１＋〜ｐ５＋が探索された場合、当該判定結果は肯定的になる。当該判定結果が肯定的である場合（図５／ＳＴＥＰ１０４‥ＹＥＳ）、当該端点ｐｉ＋を始点とする線分の分岐点ｐｉ−が探索される（図５／ＳＴＥＰ１０６）。具体的には、各端点ｐｉ＋を始点とする線分における一の点（ピクセル）を取り囲む８つのピクセルに、線画像の他の点が３つ含まれている場合、当該一の点はこの線分の分岐点ｐｉ−であると認識される。これにより、たとえば図７（ａ）に示されている５つの端点ｐ１＋〜ｐ５＋のそれぞれを始点とする５つの線分のそれぞれについて図７（ｂ）に丸印で示されているように５つの分岐点ｐ１−〜ｐ５−が探索される。第４の分岐点ｐ４−および第５の分岐点ｐ５−は同一である。
【００２９】
また、各線分が直線近似されることにより直線線分が生成される（図５／ＳＴＥＰ１０８）。具体的には、端点ｐｉ＋と、この端点ｐｉ＋を始点とする線分の分岐点ｐｉ−とを結ぶことにより直線線分Ｌｉが生成される。これにより、たとえば図７（ｃ）に示されているように端点ｐ１＋〜ｐ５＋のそれぞれと、分岐点ｐ１−〜ｐ５−のそれぞれとを結ぶ５つの直線線分Ｌ１〜Ｌ５が生成される。なお、図７（ｃ）に示されている直線線分Ｌ１〜Ｌ５に代わり、図８（ａ）または図８（ｂ）に示されているような直線線分ｌ１〜Ｌ５も生成されうる。
【００３０】
さらに、各直線線分Ｌｉの傾きが算出される（図５／ＳＴＥＰ１１０）。具体的には、画像右方向を＋ｘ方向とし、画像上方向を＋ｙ方向として定義された画像座標系（２次元）において、端点ｐｉ＋および分岐点ｐｉ−のそれぞれのｘ座標およびｙ座標に基づき、直線線分の傾きが算定される。これにより、たとえば、図７（ｃ）に示されている第１の直線線分Ｌ１の傾きは負、第２の直線線分Ｌ２の傾きは正、第３の直線線分Ｌ３の傾きは負、第４の直線線分Ｌ４の傾きは正、第５の直線線分Ｌ５の傾きは負となる。また、図８（ａ）に示されているような直線線分Ｌ１〜Ｌ５が生成された場合、直線線分Ｌ１〜Ｌ５のそれぞれの傾きは順に正、正、負、正、負となる。さらに、図８（ｂ）に示されているような直線線分Ｌ１〜Ｌ５が生成された場合、直線線分Ｌ１〜Ｌ５のそれぞれの傾きは順に正、負、正、負、正となる。また、各直線線分Ｌｉ、端点ｐｉ＋および分岐点ｐｉ−を区別するための指数「ｉ」が付される（図５／ＳＴＥＰ１１２）。具体的には、端点ｐｉ＋が画像左端に近い順に、すなわち、ｘ座標が小さい順に指数ｉが付される。なお、指数ｉは端点が探索された段階で付されてもよい。ここで、端点より分岐点が低い直線線分がある場合は、除外して処理を行ってもよい。
【００３１】
次いで、第１の直線線分Ｌ１と第２の直線線分Ｌ２とが特定部分に該当するか否かが判定される（図５／ＳＴＥＰ１１４）。「特定部分」とは、上端部から下端部に向かって間隔が徐々に広がるように配置されている一対の第１線分からなる部分を意味する。具体的には、第１の直線線分Ｌ１の傾きが正であり、かつ、第２の直線線分Ｌ２の傾きが負であるか否かに応じて、当該２つの直線線分Ｌ１およびＬ２が特定部分に該当するか否かが判定される。たとえば、図７（ｃ）および図８（ａ）に示されている状況では当該判定結果は否定的となる一方、図８（ｂ）に示されている状況では当該判定結果は肯定的となる。
【００３２】
第１の直線線分Ｌ１および第２の直線線分Ｌ２が特定部分に該当すると判定された場合（図５／ＳＴＥＰ１１４‥ＹＥＳ）、第３の直線線分Ｌ３と第４の直線線分Ｌ４とが特定部分に該当するか否かが判定される（図５／ＳＴＥＰ１１６）。具体的には、第３の直線線分Ｌ３の傾きが正であり、かつ、第４の直線線分Ｌ４の傾きが負であるか否かに応じて、当該２つの直線線分Ｌ３およびＬ４が特定部分に該当するか否かが判定される。たとえば、図８（ｂ）に示されている状況では当該判定結果は肯定的となる。そして、第３の直線線分Ｌ３および第４の直線線分Ｌ４が特定部分に該当すると判定された場合（図５／ＳＴＥＰ１１６‥ＹＥＳ）、対象物が四足動物に該当すると判定される（図５／ＳＴＥＰ１２２）。なお、図８（ｂ）に示されている状況では第１〜第４の直線線分Ｌ１〜Ｌ４が、四足動物の脚部に相当する「第１線分」に該当する。
【００３３】
その一方、第１の直線線分Ｌ１および第２の直線線分Ｌ２が特定部分に該当しないと判定された場合（図５／ＳＴＥＰ１１４‥ＮＯ）、第２の直線線分Ｌ２と第３の直線線分Ｌ３とが特定部分に該当するか否かが判定される（図５／ＳＴＥＰ１１８）。具体的には、第２の直線線分Ｌ２の傾きが正であり、かつ、第３の直線線分Ｌ３の傾きが負であるか否かに応じて、当該２つの直線線分Ｌ２およびＬ３が特定部分に該当するか否かが判定される。たとえば、図７（ｃ）および図８（ａ）に示されている状況では当該判定結果は肯定的となる。
【００３４】
第２の直線線分Ｌ２および第３の直線線分Ｌ３が特定部分に該当すると判定された場合（図５／ＳＴＥＰ１１８‥ＹＥＳ）、第４の直線線分Ｌ４と第５の直線線分Ｌ５とが特定部分に該当するか否かが判定される（図５／ＳＴＥＰ１２０）。具体的には、第４の直線線分Ｌ４の傾きが正であり、かつ、第５の直線線分Ｌ５の傾きが負であるか否かに応じて、当該２つの直線線分Ｌ４およびＬ５が特定部分に該当するか否かが判定される。たとえば、図７（ｃ）および図８（ａ）に示されている状況では当該判定結果は肯定的となる。そして、第４の直線線分Ｌ４および第５の直線線分Ｌ５が特定部分に該当すると判定された場合（図５／ＳＴＥＰ１２０‥ＹＥＳ）、対象物が四足動物に該当すると判定される（図５／ＳＴＥＰ１２２）。なお、図７（ｃ）および図８（ａ）に示されている状況では第２〜第５の直線線分Ｌ２〜Ｌ５が、四足動物の脚部に相当する「第１線分」に該当する。
【００３５】
なお、画像処理ユニット１により対象物種別判定処理（ＳＴＥＰ１００〜１２２、ＳＴＥＰ２００〜２０６）を実行する構成（メモリと、このメモリからプログラムを読み出し、このプログラムにしたがって担当演算処理を実行する演算処理装置（ＣＰＵ）とが該当する。）が「対象物判定手段」に該当する。
【００３６】
前記機能を発揮する車両周辺監視装置によれば、抽出対象物、すなわち、撮像画像から抽出された対象物に、上端部から下端部に向かって間隔が広がる一対の第１線分からなる特定部分が２つ存在するか否かに応じてこの対象物が四足動物に該当するか否かが判定される（図５／Ｓ１１４〜Ｓ１２２、図７（ｃ）、図８（ａ）および図８（ｂ）参照）。歩行中の四足動物を横から見た場合、前後それぞれの左右一対の脚部が上端部から下端部に向かって間隔が広がる姿勢となることに鑑みて、各特定部分は歩行中の四足動物の前または後の左右一対の脚部に該当する可能性が高いため、この判定手法により対象物が四足動物に該当するか否かの認識精度の向上を図ることができる。また、抽出対象物の細線化処理による線画像の生成および線画像の直線近似による直線部分の抽出により、この抽出対象物における特定部分の有無の判定を容易にすることができるので、対象物が四足動物に該当するか否かの認識精度の向上を図ることができる。
【００３７】
なお、細線化処理（図５／ＳＴＥＰ１００）が省略され、上端部から下端部に向かって間隔が広がるように配置されている一対の第１線分（幅は２ピクセル以上であってもよく、その幅は一定でも一定でなくてもよい。）が特定部分として認識されてもよい。
【００３８】
前記実施形態では対象物の線画像の端点数が「５」であることを要件として対象物における特定部分の有無が判定されたが（図５／ＳＴＥＰ１０４，Ｓ１１４〜Ｓ１２０参照）、これは、四足動物であれば頭部および４本の脚部のそれぞれの先端部に相当する端点が抽出されるはずであるという思想に基づいている。そのほか、四足動物であれば少なくとも４本の脚部のそれぞれの先端部に相当する端点が抽出されるはずであるという思想に基づき、端点数が「４」であることを要件として対象物における特定部分の有無が判定されてもよい。
【００３９】
また、抽出対象物に前記のように特定部分が２つ存在するか否かに加えて、２つの特定部分のうち一方の上端部よりも上側にある点から伸びる１つの第２線分が存在するか否かに応じてこの対象物が四足動物に該当するか否かが判定されてもよい。たとえば、図７（ｃ）および図８（ａ）に示されている線画像において認識された第１の直線線分Ｌ１が「第２線分」として認識される。また、図８（ｂ）に示されている線画像において認識された第５の直線線分Ｌ５が「第２線分」として認識される。四足動物を横から見た場合、その頭部が前側脚部の根元の近傍に位置することに鑑みて、第２線分は四足動物の頭部に該当する可能性が高いため、この判定手法により対象物が四足動物に該当するか否かの認識精度の向上を図ることができる。
【００４０】
さらに、上端部から下端部に向かって間隔が徐々に広がるように配置されている一対の線分よりなるテンプレートに形状が一致する部分の有無に応じて、対象物における特定部分の有無が判定されてもよい。具体的には、まずメモリにあらかじめ保存されている前記のようなテンプレートが選択される（図９／ＳＴＥＰ２００）。次いで、パターンマッチングにより、抽出対象物においてテンプレートと形状が一致する部分の有無が判定される（図９／ＳＴＥＰ２０２）。そして、対象物に該当部分が２つ存在するか否かが判定される（図９／ＳＴＥＰ２０４）。当該判定結果が肯定的である場合（図９／ＳＴＥＰ２０４‥ＹＥＳ）、対象物が四足動物であると判定される（図９／ＳＴＥＰ２０６）。なお、テンプレートは、一対の線分の間隔の変化態様が異なる複数のテンプレートが採用されてもよい。当該他の実施形態の車両周辺監視装置によれば、テンプレートの採用により、この抽出対象物における特定部分の有無の判定を容易にすることができるので、対象物が四足動物に該当するか否かの認識精度の向上を図ることができる。
【００４１】
また、本実施形態においては、画像処理ユニット１の処理結果に基づいて、所定の通報を行うように構成されているが、該処理結果に基づいて車両挙動を制御するように構成してもよい。さらに、前記実施形態では、２台の赤外線カメラ２Ｒ，２Ｌを備えたが、１台の赤外線カメラを自車両１０に搭載するようにしてもよい。この場合には、対象物との距離をレーダーなどにより検出するようにする。
【図面の簡単な説明】
【００４２】
【図１】本発明の車両の周辺監視装置の一実施形態の全体構成を示す図
【図２】図１の周辺監視装置を備えた車両の斜視図
【図３】図１の周辺監視装置に備えた画像処理ユニットの処理を示すフローチャート
【図４】図１の周辺監視装置に備えた画像処理ユニットの処理を示すフローチャート
【図５】本実施形態における対象物種別判定処理を示すフローチャート
【図６】画像処理ユニットの処理を説明するための図
【図７】画像処理ユニットの処理を説明するための図
【図８】画像処理ユニットの処理を説明するための図
【図９】本実施形態における他の対象物種別判定処理を示すフローチャート
【符号の説明】
【００４３】
１…画像処理ユニット（対象物抽出手段、対象物判定手段）、２Ｒ，２Ｌ…赤外線カメラ（撮像装置）
【特許請求の範囲】
【請求項１】
車両に搭載されている撮像装置により得られた撮像画像を用いて車両の周辺を監視する車両周辺監視装置であって、
前記撮像画像から対象物を抽出する対象物抽出手段と、
前記対象物抽出手段により抽出された前記対象物において、上端部から下端部に向かって間隔が徐々に広がるように配置されている一対の第１線分からなる特定部分が、横に並んで２つ存在するか否かに応じて、前記対象物が四足動物に該当するか否かを判定する対象物判定手段とを備えていることを特徴とする車両周辺監視装置。
【請求項２】
請求項１記載の車両周辺監視装置において、
前記対象物判定手段が、前記対象物抽出手段により抽出された前記対象物において、２つの前記特定部分のうち一方の上端部よりも上側にある点から伸びる１つの第２線分の有無に応じて、前記対象物が四足動物に該当するか否かを判定することを特徴とする車両周辺監視装置。
【請求項３】
請求項１または２記載の車両周辺監視装置において、
前記対象物判定手段が、前記対象物からその形状特性を有する線画像を細線化処理により生成し、前記線画像を直線近似することにより直線部分を生成し、上端部から下端部に向かって間隔が徐々に広がるように配置されている一対の前記直線部分の有無に応じて、前記対象物における前記特定部分の有無を判定することを特徴とする車両周辺監視装置。
【請求項４】
請求項１記載の車両周辺監視装置において、
前記対象物判定手段が、上端部から下端部に向かって間隔が徐々に広がるように配置されている一対の線分よりなるテンプレートに形状が一致する部分の有無に応じて、前記対象物における前記特定部分の有無を判定することを特徴とする車両周辺監視装置。
【請求項１】
車両に搭載されている撮像装置により得られた撮像画像を用いて車両の周辺を監視する車両周辺監視装置であって、
前記撮像画像から対象物を抽出する対象物抽出手段と、
前記対象物抽出手段により抽出された前記対象物において、上端部から下端部に向かって間隔が徐々に広がるように配置されている一対の第１線分からなる特定部分が、横に並んで２つ存在するか否かに応じて、前記対象物が四足動物に該当するか否かを判定する対象物判定手段とを備えていることを特徴とする車両周辺監視装置。
【請求項２】
請求項１記載の車両周辺監視装置において、
前記対象物判定手段が、前記対象物抽出手段により抽出された前記対象物において、２つの前記特定部分のうち一方の上端部よりも上側にある点から伸びる１つの第２線分の有無に応じて、前記対象物が四足動物に該当するか否かを判定することを特徴とする車両周辺監視装置。
【請求項３】
請求項１または２記載の車両周辺監視装置において、
前記対象物判定手段が、前記対象物からその形状特性を有する線画像を細線化処理により生成し、前記線画像を直線近似することにより直線部分を生成し、上端部から下端部に向かって間隔が徐々に広がるように配置されている一対の前記直線部分の有無に応じて、前記対象物における前記特定部分の有無を判定することを特徴とする車両周辺監視装置。
【請求項４】
請求項１記載の車両周辺監視装置において、
前記対象物判定手段が、上端部から下端部に向かって間隔が徐々に広がるように配置されている一対の線分よりなるテンプレートに形状が一致する部分の有無に応じて、前記対象物における前記特定部分の有無を判定することを特徴とする車両周辺監視装置。
【図１】
【図２】
【図３】
【図４】
【図５】
【図７】
【図８】
【図９】
【図６】
【図２】
【図３】
【図４】
【図５】
【図７】
【図８】
【図９】
【図６】
【公開番号】特開２０１０−９３７２（Ｐ２０１０−９３７２Ａ）
【公開日】平成２２年１月１４日（２０１０．１．１４）
【国際特許分類】
【出願番号】特願２００８−１６８８６８（Ｐ２００８−１６８８６８）
【出願日】平成２０年６月２７日（２００８．６．２７）
【出願人】（０００００５３２６）本田技研工業株式会社 (23,863)
【Ｆターム（参考）】
【公開日】平成２２年１月１４日（２０１０．１．１４）
【国際特許分類】
【出願日】平成２０年６月２７日（２００８．６．２７）
【出願人】（０００００５３２６）本田技研工業株式会社 (23,863)
【Ｆターム（参考）】
[ Back to top ]