車両周辺監視装置
【課題】ステレオカメラにより距離を検出するための演算量を低減して、対象物の距離を精度良く検出することができる車両周辺監視装置を提供する。
【解決手段】車両１に搭載された左カメラ２１，右カメラ２２により撮像された同一対象物の画像部分の視差に基づいて、車両１と対象物との距離を検出するステレオ距離検出部１２と、左カメラ２１又は右カメラ２２の撮像画像における対象物の画像部分の位置が、車両１からの距離が所定距離以下である範囲を想定して設定された特定画像領域内であるときに限定して、ステレオ距離検出部１２により車両１と対象物間の距離を検出して、対象物の位置を追跡する対象物位置追跡部１３とを備える。
【解決手段】車両１に搭載された左カメラ２１，右カメラ２２により撮像された同一対象物の画像部分の視差に基づいて、車両１と対象物との距離を検出するステレオ距離検出部１２と、左カメラ２１又は右カメラ２２の撮像画像における対象物の画像部分の位置が、車両１からの距離が所定距離以下である範囲を想定して設定された特定画像領域内であるときに限定して、ステレオ距離検出部１２により車両１と対象物間の距離を検出して、対象物の位置を追跡する対象物位置追跡部１３とを備える。
【発明の詳細な説明】
【技術分野】
【０００１】
本発明は、ステレオカメラにより車両と対象物間の距離を検出して、車両周辺に存在する対象物を監視する車両周辺監視装置に関する。
【背景技術】
【０００２】
従来より、車両に搭載された２台のカメラ（ステレオカメラ）により車両周囲を撮像し、各カメラの撮像画像から抽出された同一対象物の画像部分のずれ（視差）に基づいて、三角測量の原理により車両と対象物間の距離を算出する車両周辺監視装置が提案されている（例えば、特許文献１参照）。
【０００３】
また、車両に搭載された１台のカメラ（単眼カメラ）により車両周囲を撮像し、このカメラの時系列の撮像画像から抽出された同一対象物の画像部分の大きさの変化率に基づいて、車両と対象物間の距離を算出する車両周辺監視装置が提案されている（例えば、特許文献２参照）。
【先行技術文献】
【特許文献】
【０００４】
【特許文献１】特開２００３−２８４０５７号公報
【特許文献２】特許第４２６７６５７号公報
【発明の概要】
【発明が解決しようとする課題】
【０００５】
ステレオカメラによる距離検出と単眼カメラによる距離検出とを比較した場合、演算量は単眼カメラによる方が少なくなる一方で、距離の検出精度はステレオカメラによる方が高くなる。
【０００６】
そこで、本発明は、ステレオカメラにより距離を検出するための演算量を低減して、対象物の距離を精度良く検出することができる車両周辺監視装置を提供することを目的とする。
【課題を解決するための手段】
【０００７】
本発明は上記目的を達成するためになされたものであり、車両に搭載された２台のカメラにより撮像された同一対象物の画像部分の視差に基づいて、前記車両と該対象物との距離を検出するステレオ距離検出部と、前記カメラの撮像画像における対象物の画像部分の位置が、前記車両からの距離が所定距離以下である範囲を想定して設定された特定画像領域内であるときに限定して、前記ステレオ距離検出部により前記車両と該対象物間の距離を検出して、該対象物の位置を追跡する対象物位置追跡部とを備えたことを特徴とする（第１発明）。
【０００８】
第１発明によれば、前記対象物位置追跡部は、前記カメラの撮像画像における対象物の画像部分の位置が前記特定画像領域内であるときに限定して、前記ステレオ距離検出部により前記車両と該対象物間の距離を算出する。そのため、前記カメラの撮像画像に含まれる全ての対象物の画像部分について、前記ステレオ距離検出部により前記車両と対象物間の距離を検出する場合よりも、前記ステレオ距離検出部により距離を検出することによる演算量を低減して、前記車両と対象物間の距離を精度良く検出することができる。
【０００９】
また、第１発明において、前記車両に搭載された１台のカメラにより撮像された対象物の画像部分に基づいて、該車両と該対象物との距離を検出する単眼距離検出部を備え、前記対象物位置追跡部は、前記カメラの撮像画像における対象物の画像部分の位置が、前記特定画像領域外であるときは、前記単眼距離検出部により前記車両と該対象物間の距離を検出して、該対象物の位置を追跡することを特徴とする（第２発明）。
【００１０】
第２発明によれば、前記車両との距離が前記所定距離よりも長く、高精度の距離検出が未だ要求されない対象物については、前記単眼距離検出部により前記車両との距離を検出することで、前記車両と対象物間の距離を、演算量を低減して効率良く検出することができる。
【００１１】
また、第２発明において、前記対象物位置追跡部は、前記単眼距離検出部により検出した前記車両と対象物間の距離が、前記所定距離を含む監視距離範囲内となったときに、前記ステレオ距離検出部により前記車両と対象物間の距離を算出し、前記ステレオ距離検出部による検出距離が前記所定距離以下であるときには、前記ステレオ距離検出部により前記車両と該対象物間の距離を検出して、該対象物の位置を追跡することを特徴とする（第３発明）。
【００１２】
第３発明によれば、前記車両と対象物間の距離が前記所定距離以下になったことを、前記ステレオ距離検出部による検出距離によって再確認することで、前記単眼距離検出部による距離検出の精度の低さにより、実際には前記所定距離よりも離れた対象物について、前記ステレオ距離検出部による検出距離に切替えられて、前記ステレオ距離検出部による距離検出の演算量が増加することを防止することができる。
【００１３】
また、第３発明において、前記対象物位置追跡部は、対象物の画像部分が前記特定画像領域外にあるときから、前記単眼距離検出部により前記車両と対象物間の距離を検出して該対象物の位置の追跡を開始し、前記単眼距離検出部による検出距離が前記監視距離範囲内になり、且つ、前記ステレオ距離検出部による前記車両と該対象物間の検出距離が前記所定距離以下になったときに、その後は、前記ステレオ距離検出部により前記車両と該対象物間の距離を検出して、該対象物の位置を追跡することを特徴とする（第４発明）。
【００１４】
第４発明によれば、前記単眼距離検出部による前記車両と対象物間の距離検出から、前記ステレオカメラによる距離検出への切替タイミングを、前記車両と対象物間の距離が前記所定距離以下になった時点で精度良く切替えて、対象物の位置を追跡することができる。
【図面の簡単な説明】
【００１５】
【図１】車両周辺監視装置の実施形態の説明図。
【図２】車両周辺監視装置の構成図。
【図３】対象物位置追跡部のフローチャート。
【図４】撮像画像における対象物の画像部分の位置により、単眼距離検出部による距離検出からステレオ距離検出部による距離検出に切替える条件の説明図。
【図５】ステレオ距離検出部により検出した車両と対象物間の距離によって、単眼距離検出部による距離検出からステレオ距離検出部による距離検出に切替える条件の説明図。
【発明を実施するための形態】
【００１６】
本発明の車両周辺監視装置の実施形態について、図１〜図５を参照して説明する。図１を参照して、本実施形態の車両周辺監視装置１０は、車両１に搭載して使用される。車両周辺監視装置１０は、左カメラ２１及び右カメラ２２の撮像画像に基づいて、車両１の前方に存在する対象物Ｐ（歩行者等）を監視する。
【００１７】
車両周辺監視装置１０は、車両１と対象物Ｐ間の距離を所定の制御周期毎に検出して、対象物Ｐの位置を追跡し、対象物Ｐが車両１と接触するおそれがあるときに、表示器４２に警報表示を行うと共にスピーカ４１から警報音を出力して、車両１の運転者に注意を促す。図中、Ｐ（ｔ１）は時刻ｔ１での対象物Ｐの検出位置、Ｐ（ｔ２）は時刻ｔ２での対象物Ｐの検出位置、Ｐ（ｔ３）は時刻ｔ３での対象物Ｐの検出位置、Ｐ（ｔ４）は時刻ｔ４での対象物Ｐの位置を示している。
【００１８】
左カメラ２１及び右カメラ２２は赤外線カメラであり、車両１の横方向（車幅方向）の中心軸に対してほぼ対象な位置に配置されている。そして、左カメラ２１と右カメラ２２は、光軸が互いに並行となり、路面からの高さが等しくなるように固定されている。
【００１９】
次に、図２を参照して、車両周辺監視装置１０には、左カメラ２１及び右カメラ２２の映像信号が入力される。さらに、車両１に搭載されたヨーレートセンサ３１、車速センサ３２、及びブレーキセンサ３３の各検出信号が、車両周辺監視装置１０に入力される。また、車両周辺監視装置１０から出力される制御信号により、スピーカ４１の出力と表示器４２の表示が制御される。
【００２０】
車両周辺監視装置１０は、図示しないＣＰＵ、メモリ、インターフェース回路等により構成された電子回路ユニットであり、メモリに保持された車両周辺監視用のプログラムをＣＰＵで実行することによって、左カメラ２１又は右カメラ２２のいずれか一方（単眼カメラ）の時系列の撮像画像に基づいて、車両１と対象物間の距離を検出する単眼距離検出部１１、左カメラ２１及び右カメラ２２の双方（ステレオカメラ）の同時点での撮像画像に基づいて、車両１と対象物間の距離を検出するステレオ距離検出部１２、単眼距離検出部１１又はステレオ距離検出部１２による検出距離に基づいて対象物の位置を追跡する対象物位置追跡部１３、及び、車両１と対象物との接触可能性を判定する接触判定部１４として機能する。
【００２１】
単眼距離検出部１１は、左カメラ２１又は右カメラ２２の時系列の撮像画像（単眼カメラによる時系列の撮像画像）から、同一対象物の画像部分を抽出し、時系列の撮像画像間における同一対象物の画像部分の大きさの変化率を算出する。そして、この変化率と車速センサ３２により検出される車両１の走行速度とに基づいて、車両１と対象物間の距離を算出する。
【００２２】
なお、単眼カメラの時系列の撮像画像間における同一対象物の画像部分の大きさの変化率と、車両１の走行速度とに基づいて、車両１と対象物間の距離を算出する具体的な処理については、上掲した特許第４２６７６５７号公報等に記載された公知のものであるので、ここでは説明を省略する。
【００２３】
ステレオ距離検出部１２は、左カメラ２１及び右カメラ２２により同時刻に撮像された各画像（ステレオカメラによる撮像画像）から同一対象物の画像部分を抽出して、この同一対象物の画像部分間の視差を算出する。そして、この視差に基づいて車両１と対象物間の距離を算出する。
【００２４】
なお、ステレオカメラの撮像画像における同一対象物の画像部分間の視差に基づいて、車両１と対象物間の距離を算出する処理は、上掲した特開２００３−２８４０５７号公報等に記載された公知のものであるので、ここでは説明を省略する。
【００２５】
対象物位置追跡部１３は、図１を参照して、車両１との距離が切替距離Ｄch（例えば５０ｍ、本発明の所定距離に相当する）を越える範囲である第１領域ＡＲ１に存在する対象物Ｐとの距離を、単眼距離検出部１１により検出する。そして、対象物位置追跡部１３は、この距離を用いて、撮像画像上の対象物Ｐの画像部分の位置を実空間座標に座標変換することにより、対象物の実空間位置を算出して対象物Ｐの位置を追跡する。
【００２６】
対象物Ｐが、車両１との距離が切替距離Ｄch以下の範囲である第２領域ＡＲ２に入った後は、対象物位置追跡部１３は、ステレオ距離検出部１２により車両１と対象物Ｐとの距離を検出して、対象物Ｐの位置を追跡する。
【００２７】
対象物位置追跡部１３は、対象物の位置の変化から、ヨーレートセンサ３１に検出される車両１のヨーレートにより補正を行って算出される対象物の移動ベクトルを求める。そして、接触判定部１４は、対象物の移動ベクトルが、予め車両１の近傍に設定された接触判定領域内に車両１に接近する方向で入ったときに、ブレーキセンサ３３によりブレーキ操作が検出されていないときには、スピーカ４１からの音声出力と表示器４２への警報表示とにより、運転者に注意を促す報知を行なう。
【００２８】
次に、図３に示したフローチャートに従って、対象物位置追跡部１３による対象物の位置の追跡処理について説明する。
【００２９】
ＳＴＥＰ１で、対象物位置追跡部１３は、図４を参照して、左カメラ２１又は右カメラ２２の撮像画像５０において抽出された対象物の画像部分（図４では６１，６２を例示）の位置が、車両１からの距離が切替距離Ｄch以下である範囲を想定して設定された特定画像領域ＢＲ１内であるか否かを判断する。
【００３０】
撮像画像５０はｘ座標（水平座標）が０〜ｍ、ｙ座標（垂直座標）が０〜ｎの、ｍ＋１×ｎ＋１個の画素からなり、図４では、特定画像領域ＢＲ１が、撮像画像５０の下側のｙ座標が０〜ｙchである範囲に設定されている。
【００３１】
そして、画像部分の位置が特定画像領域ＢＲ１内であるとき（画像部分６２の状態）は、ＳＴＥＰ６に分岐し、対象物位置追跡部１３は、以後はステレオ距離検出部１２により車両１と対象物間の距離を算出して、対象物の位置を追跡する。これにより、車両１に接近した対象物と車両１間の距離を精度良く検出して、対象物の位置を追跡することができる。
【００３２】
一方、画像部分の位置が特定画像領域ＢＲ１外であるとき（画像部分６１の状態）には、ＳＴＥＰ２に進み、対象物位置追跡部１３は、単眼距離検出部１１により車両１と対象物間の距離Ｄ１を検出する。これにより、車両１からある程度離れて、未だ高精度での距離検出が要求されない対象物については、演算量を低減して車両１との距離を検出することができる。
【００３３】
続くＳＴＥＰ３で、対象物位置追跡部１３は、単眼距離検出部１１により検出された車両１と対象物間の距離Ｄ１が、切替距離Ｄch±Δｄの範囲（本発明の監視距離範囲に相当する）内であるか否かを判断する。この切替距離Ｄch±Δｄの範囲は、図４の撮像画像５０では、ｙ座標がｙch±Δｙである範囲にほぼ相当する。また、実空間位置では、図５に示した範囲となる。
【００３４】
ＳＴＥＰ３で、単眼距離検出部１１により検出された車両１と対象物間の距離Ｄ１が、切替距離Ｄch±Δｄの範囲でないときは、ＳＴＥＰ２０に分岐する。この場合は、車両１と対象物間の距離がある程度長く、単眼距離検出部１１による距離検出の精度の低さがさほど問題とならない。そこで、対象物位置追跡部１３は、単眼距離検出部１１による検出距離により、対象物の位置を追跡する。
【００３５】
一方、単眼距離検出部１１により検出された車両１と対象物間の距離Ｄ１が、切替距離Ｄch±Δｄの範囲であるときには、ＳＴＥＰ４に進む。この場合は、車両１と対象物間の距離が短くなっており、単眼距離検出部１１による検出精度の低さにより、図５に示したように、単眼距離検出部１１により検出された車両１と対象物間の距離Ｄ１がＤch〜Ｄch＋Δｄの範囲であるが、実際には車両１と対象物間の距離がＤ１以下である場合（図中Ｐ（ｔ11）の場合）がある。
【００３６】
また、単眼距離検出部１１により検出された車両１と対象物間の距離Ｄ１がＤch−Δｄ〜Ｄchの範囲であるが、実際には車両１と対象物間の距離がＤ１を越えている場合（図中Ｐ（ｔ10）の場合）がある。
【００３７】
そこで、これらの場合にはＳＴＥＰ４で、対象物位置追跡部１３は、単眼距離検出部１１よりも高精度の距離検出が期待できる、ステレオ距離検出部１２により車両１と対象物間の距離を再検出する。そして、続くＳＴＥＰ５で、対象物位置追跡部１３は、ステレオ距離検出部１２により検出した車両１と対象物間の距離Ｄ１が切替距離Ｄch以下であるか否かを判断する。
【００３８】
ＳＴＥＰ５で、ステレオ距離検出部１２により検出した車両１と対象物間の距離Ｄ１が切替距離Ｄch以下であるときはＳＴＥＰ６に進む。そして、対象物位置追跡部１３は、以後は、ステレオ距離検出部１２による検出距離により、対象物の位置を追跡する。これにより、図５のＰ（ｔ11）に示したように、車両１と対象物間の距離が切替距離Ｄch以下になっているにも拘わらず、単眼距離検出部１１による距離検出の精度の低さにより、ステレオ距離検出部１２による距離検出に切替わるタイミングが遅れることを防止することができる。
【００３９】
一方、ＳＴＥＰ５で、ステレオ距離検出部１２により検出した車両１と対象物間の距離Ｄ１が切替距離Ｄchを超えているときにはＳＴＥＰ２０に分岐する。そして、対象物位置追跡部１３は、単眼距離検出部による検出距離による対象物の位置の追跡を継続する。これにより、図５のＰ（ｔ10）に示したように、車両１と対象物間の距離が切替距離Ｄchを超えているにも拘わらず、単眼距離検出部１１による距離検出の精度の低さにより、ステレオ距離検出部１２による距離検出に早めに切替わってしまい、距離検出に要する演算量が増加することを防止することができる。
【００４０】
なお、本実施形態では、図３のＳＴＥＰ１で、左カメラ２１又は右カメラ２２の撮像画像における位置が、切替距離Ｄch以下となる範囲を想定して設定された特定画像領域ＢＲ１内である対象物に限定して、ステレオ距離検出部１２により車両１との距離を検出し、画像部分の位置が特定画像領域外である対象物については、単眼距離検出部１１により車両１との距離を検出した。しかし、ステレオ距離検出部１２のみにより車両１と対象物間の距離を検出し、単眼距離検出部１１による車両１と対象物間の距離の検出を行わない場合にも、本発明の効果を得ることができる。
【００４１】
また、本実施形態では、図３のＳＴＥＰ３で、単眼距離検出部１１による車両１と対象物間の距離が切替距離Ｄch±Δｄの範囲内となったときに、ステレオ距離検出部１２により車両１と対象物間の距離を再検出して、車両１と対象物間の距離が切替距離Ｄch以下であるか否かを判断する処理を行ったが、この処理を行わない場合にも本発明の効果を得ることができる。
【００４２】
また、本実施の形態では、図３のＳＴＥＰ１で、左カメラ２１又は右カメラ２２の撮像画像における対象物の位置が特定画像領域ＢＲ１（図４参照）内であるときに、ＳＴＥＰ６に分岐して、ステレオ距離検出部１２により車両１と対象物間の距離を検出したが、特定画像領域ＢＲ１外で、単眼距離検出部１１により車両１との距離が検出された対象物の位置が、特定画像領域ＢＲ１内に変位したときに限定して、ステレオ距離検出部１２による距離検出に切替えるようにしてもよい。
【００４３】
この場合には、路面の反射等により、特定画像領域ＢＲ１内に急に現れた画像部分を、距離検出の対象であると誤検知して、車両１との接触の誤判定がなされることを防止することができる。
【００４４】
また、本実施形態では、左カメラ２１及び右カメラ２２に赤外線カメラを用いたが、可視光カメラを用いてもよい。
【００４５】
また、本実施形態において、単眼距離検出部１１は、単眼カメラの時系列の撮像画像間における同一対象物の画像部分の大きさの変化率と、車両１の走行速度とに基づいて、車両１と対象物間の距離を検出したが、他の手法により車両１と対象物間の距離を検出してもよい。他の手法としては、例えば、画像部分のサイズを、予め用意した特定種別（歩行者等）の画像部分のサイズと距離との対応マップに適用して、車両１と対象物間の距離を求める手法や、撮像画像における対象物の画像部分の位置（接地点）から、車両１と対象物間の距離を求める手法を用いることができる。
【００４６】
また、本実施の形態では、単眼距離検出部１１による距離検出と、ステレオ距離検出部１２による距離検出とを切替えたが、ステレオカメラに替えてレーダ等の測距装置を備え、遠方領域については単眼距離検出部１１により対象物との距離を検出し、至近領域についてはレーダ等の測距装置により対象物との距離を検出する場合にも、本実施形態と同様の切替処理の適用が可能である。
【符号の説明】
【００４７】
１…車両、１０…車両周辺監視装置、１１…単眼距離検出部、１２…ステレオ距離検出部、１３…対象物位置追跡部、１４…接触判定部、２１…左カメラ、２２…右カメラ、３１…ヨーレートセンサ、３２…車速センサ、３３…ブレーキセンサ。
【技術分野】
【０００１】
本発明は、ステレオカメラにより車両と対象物間の距離を検出して、車両周辺に存在する対象物を監視する車両周辺監視装置に関する。
【背景技術】
【０００２】
従来より、車両に搭載された２台のカメラ（ステレオカメラ）により車両周囲を撮像し、各カメラの撮像画像から抽出された同一対象物の画像部分のずれ（視差）に基づいて、三角測量の原理により車両と対象物間の距離を算出する車両周辺監視装置が提案されている（例えば、特許文献１参照）。
【０００３】
また、車両に搭載された１台のカメラ（単眼カメラ）により車両周囲を撮像し、このカメラの時系列の撮像画像から抽出された同一対象物の画像部分の大きさの変化率に基づいて、車両と対象物間の距離を算出する車両周辺監視装置が提案されている（例えば、特許文献２参照）。
【先行技術文献】
【特許文献】
【０００４】
【特許文献１】特開２００３−２８４０５７号公報
【特許文献２】特許第４２６７６５７号公報
【発明の概要】
【発明が解決しようとする課題】
【０００５】
ステレオカメラによる距離検出と単眼カメラによる距離検出とを比較した場合、演算量は単眼カメラによる方が少なくなる一方で、距離の検出精度はステレオカメラによる方が高くなる。
【０００６】
そこで、本発明は、ステレオカメラにより距離を検出するための演算量を低減して、対象物の距離を精度良く検出することができる車両周辺監視装置を提供することを目的とする。
【課題を解決するための手段】
【０００７】
本発明は上記目的を達成するためになされたものであり、車両に搭載された２台のカメラにより撮像された同一対象物の画像部分の視差に基づいて、前記車両と該対象物との距離を検出するステレオ距離検出部と、前記カメラの撮像画像における対象物の画像部分の位置が、前記車両からの距離が所定距離以下である範囲を想定して設定された特定画像領域内であるときに限定して、前記ステレオ距離検出部により前記車両と該対象物間の距離を検出して、該対象物の位置を追跡する対象物位置追跡部とを備えたことを特徴とする（第１発明）。
【０００８】
第１発明によれば、前記対象物位置追跡部は、前記カメラの撮像画像における対象物の画像部分の位置が前記特定画像領域内であるときに限定して、前記ステレオ距離検出部により前記車両と該対象物間の距離を算出する。そのため、前記カメラの撮像画像に含まれる全ての対象物の画像部分について、前記ステレオ距離検出部により前記車両と対象物間の距離を検出する場合よりも、前記ステレオ距離検出部により距離を検出することによる演算量を低減して、前記車両と対象物間の距離を精度良く検出することができる。
【０００９】
また、第１発明において、前記車両に搭載された１台のカメラにより撮像された対象物の画像部分に基づいて、該車両と該対象物との距離を検出する単眼距離検出部を備え、前記対象物位置追跡部は、前記カメラの撮像画像における対象物の画像部分の位置が、前記特定画像領域外であるときは、前記単眼距離検出部により前記車両と該対象物間の距離を検出して、該対象物の位置を追跡することを特徴とする（第２発明）。
【００１０】
第２発明によれば、前記車両との距離が前記所定距離よりも長く、高精度の距離検出が未だ要求されない対象物については、前記単眼距離検出部により前記車両との距離を検出することで、前記車両と対象物間の距離を、演算量を低減して効率良く検出することができる。
【００１１】
また、第２発明において、前記対象物位置追跡部は、前記単眼距離検出部により検出した前記車両と対象物間の距離が、前記所定距離を含む監視距離範囲内となったときに、前記ステレオ距離検出部により前記車両と対象物間の距離を算出し、前記ステレオ距離検出部による検出距離が前記所定距離以下であるときには、前記ステレオ距離検出部により前記車両と該対象物間の距離を検出して、該対象物の位置を追跡することを特徴とする（第３発明）。
【００１２】
第３発明によれば、前記車両と対象物間の距離が前記所定距離以下になったことを、前記ステレオ距離検出部による検出距離によって再確認することで、前記単眼距離検出部による距離検出の精度の低さにより、実際には前記所定距離よりも離れた対象物について、前記ステレオ距離検出部による検出距離に切替えられて、前記ステレオ距離検出部による距離検出の演算量が増加することを防止することができる。
【００１３】
また、第３発明において、前記対象物位置追跡部は、対象物の画像部分が前記特定画像領域外にあるときから、前記単眼距離検出部により前記車両と対象物間の距離を検出して該対象物の位置の追跡を開始し、前記単眼距離検出部による検出距離が前記監視距離範囲内になり、且つ、前記ステレオ距離検出部による前記車両と該対象物間の検出距離が前記所定距離以下になったときに、その後は、前記ステレオ距離検出部により前記車両と該対象物間の距離を検出して、該対象物の位置を追跡することを特徴とする（第４発明）。
【００１４】
第４発明によれば、前記単眼距離検出部による前記車両と対象物間の距離検出から、前記ステレオカメラによる距離検出への切替タイミングを、前記車両と対象物間の距離が前記所定距離以下になった時点で精度良く切替えて、対象物の位置を追跡することができる。
【図面の簡単な説明】
【００１５】
【図１】車両周辺監視装置の実施形態の説明図。
【図２】車両周辺監視装置の構成図。
【図３】対象物位置追跡部のフローチャート。
【図４】撮像画像における対象物の画像部分の位置により、単眼距離検出部による距離検出からステレオ距離検出部による距離検出に切替える条件の説明図。
【図５】ステレオ距離検出部により検出した車両と対象物間の距離によって、単眼距離検出部による距離検出からステレオ距離検出部による距離検出に切替える条件の説明図。
【発明を実施するための形態】
【００１６】
本発明の車両周辺監視装置の実施形態について、図１〜図５を参照して説明する。図１を参照して、本実施形態の車両周辺監視装置１０は、車両１に搭載して使用される。車両周辺監視装置１０は、左カメラ２１及び右カメラ２２の撮像画像に基づいて、車両１の前方に存在する対象物Ｐ（歩行者等）を監視する。
【００１７】
車両周辺監視装置１０は、車両１と対象物Ｐ間の距離を所定の制御周期毎に検出して、対象物Ｐの位置を追跡し、対象物Ｐが車両１と接触するおそれがあるときに、表示器４２に警報表示を行うと共にスピーカ４１から警報音を出力して、車両１の運転者に注意を促す。図中、Ｐ（ｔ１）は時刻ｔ１での対象物Ｐの検出位置、Ｐ（ｔ２）は時刻ｔ２での対象物Ｐの検出位置、Ｐ（ｔ３）は時刻ｔ３での対象物Ｐの検出位置、Ｐ（ｔ４）は時刻ｔ４での対象物Ｐの位置を示している。
【００１８】
左カメラ２１及び右カメラ２２は赤外線カメラであり、車両１の横方向（車幅方向）の中心軸に対してほぼ対象な位置に配置されている。そして、左カメラ２１と右カメラ２２は、光軸が互いに並行となり、路面からの高さが等しくなるように固定されている。
【００１９】
次に、図２を参照して、車両周辺監視装置１０には、左カメラ２１及び右カメラ２２の映像信号が入力される。さらに、車両１に搭載されたヨーレートセンサ３１、車速センサ３２、及びブレーキセンサ３３の各検出信号が、車両周辺監視装置１０に入力される。また、車両周辺監視装置１０から出力される制御信号により、スピーカ４１の出力と表示器４２の表示が制御される。
【００２０】
車両周辺監視装置１０は、図示しないＣＰＵ、メモリ、インターフェース回路等により構成された電子回路ユニットであり、メモリに保持された車両周辺監視用のプログラムをＣＰＵで実行することによって、左カメラ２１又は右カメラ２２のいずれか一方（単眼カメラ）の時系列の撮像画像に基づいて、車両１と対象物間の距離を検出する単眼距離検出部１１、左カメラ２１及び右カメラ２２の双方（ステレオカメラ）の同時点での撮像画像に基づいて、車両１と対象物間の距離を検出するステレオ距離検出部１２、単眼距離検出部１１又はステレオ距離検出部１２による検出距離に基づいて対象物の位置を追跡する対象物位置追跡部１３、及び、車両１と対象物との接触可能性を判定する接触判定部１４として機能する。
【００２１】
単眼距離検出部１１は、左カメラ２１又は右カメラ２２の時系列の撮像画像（単眼カメラによる時系列の撮像画像）から、同一対象物の画像部分を抽出し、時系列の撮像画像間における同一対象物の画像部分の大きさの変化率を算出する。そして、この変化率と車速センサ３２により検出される車両１の走行速度とに基づいて、車両１と対象物間の距離を算出する。
【００２２】
なお、単眼カメラの時系列の撮像画像間における同一対象物の画像部分の大きさの変化率と、車両１の走行速度とに基づいて、車両１と対象物間の距離を算出する具体的な処理については、上掲した特許第４２６７６５７号公報等に記載された公知のものであるので、ここでは説明を省略する。
【００２３】
ステレオ距離検出部１２は、左カメラ２１及び右カメラ２２により同時刻に撮像された各画像（ステレオカメラによる撮像画像）から同一対象物の画像部分を抽出して、この同一対象物の画像部分間の視差を算出する。そして、この視差に基づいて車両１と対象物間の距離を算出する。
【００２４】
なお、ステレオカメラの撮像画像における同一対象物の画像部分間の視差に基づいて、車両１と対象物間の距離を算出する処理は、上掲した特開２００３−２８４０５７号公報等に記載された公知のものであるので、ここでは説明を省略する。
【００２５】
対象物位置追跡部１３は、図１を参照して、車両１との距離が切替距離Ｄch（例えば５０ｍ、本発明の所定距離に相当する）を越える範囲である第１領域ＡＲ１に存在する対象物Ｐとの距離を、単眼距離検出部１１により検出する。そして、対象物位置追跡部１３は、この距離を用いて、撮像画像上の対象物Ｐの画像部分の位置を実空間座標に座標変換することにより、対象物の実空間位置を算出して対象物Ｐの位置を追跡する。
【００２６】
対象物Ｐが、車両１との距離が切替距離Ｄch以下の範囲である第２領域ＡＲ２に入った後は、対象物位置追跡部１３は、ステレオ距離検出部１２により車両１と対象物Ｐとの距離を検出して、対象物Ｐの位置を追跡する。
【００２７】
対象物位置追跡部１３は、対象物の位置の変化から、ヨーレートセンサ３１に検出される車両１のヨーレートにより補正を行って算出される対象物の移動ベクトルを求める。そして、接触判定部１４は、対象物の移動ベクトルが、予め車両１の近傍に設定された接触判定領域内に車両１に接近する方向で入ったときに、ブレーキセンサ３３によりブレーキ操作が検出されていないときには、スピーカ４１からの音声出力と表示器４２への警報表示とにより、運転者に注意を促す報知を行なう。
【００２８】
次に、図３に示したフローチャートに従って、対象物位置追跡部１３による対象物の位置の追跡処理について説明する。
【００２９】
ＳＴＥＰ１で、対象物位置追跡部１３は、図４を参照して、左カメラ２１又は右カメラ２２の撮像画像５０において抽出された対象物の画像部分（図４では６１，６２を例示）の位置が、車両１からの距離が切替距離Ｄch以下である範囲を想定して設定された特定画像領域ＢＲ１内であるか否かを判断する。
【００３０】
撮像画像５０はｘ座標（水平座標）が０〜ｍ、ｙ座標（垂直座標）が０〜ｎの、ｍ＋１×ｎ＋１個の画素からなり、図４では、特定画像領域ＢＲ１が、撮像画像５０の下側のｙ座標が０〜ｙchである範囲に設定されている。
【００３１】
そして、画像部分の位置が特定画像領域ＢＲ１内であるとき（画像部分６２の状態）は、ＳＴＥＰ６に分岐し、対象物位置追跡部１３は、以後はステレオ距離検出部１２により車両１と対象物間の距離を算出して、対象物の位置を追跡する。これにより、車両１に接近した対象物と車両１間の距離を精度良く検出して、対象物の位置を追跡することができる。
【００３２】
一方、画像部分の位置が特定画像領域ＢＲ１外であるとき（画像部分６１の状態）には、ＳＴＥＰ２に進み、対象物位置追跡部１３は、単眼距離検出部１１により車両１と対象物間の距離Ｄ１を検出する。これにより、車両１からある程度離れて、未だ高精度での距離検出が要求されない対象物については、演算量を低減して車両１との距離を検出することができる。
【００３３】
続くＳＴＥＰ３で、対象物位置追跡部１３は、単眼距離検出部１１により検出された車両１と対象物間の距離Ｄ１が、切替距離Ｄch±Δｄの範囲（本発明の監視距離範囲に相当する）内であるか否かを判断する。この切替距離Ｄch±Δｄの範囲は、図４の撮像画像５０では、ｙ座標がｙch±Δｙである範囲にほぼ相当する。また、実空間位置では、図５に示した範囲となる。
【００３４】
ＳＴＥＰ３で、単眼距離検出部１１により検出された車両１と対象物間の距離Ｄ１が、切替距離Ｄch±Δｄの範囲でないときは、ＳＴＥＰ２０に分岐する。この場合は、車両１と対象物間の距離がある程度長く、単眼距離検出部１１による距離検出の精度の低さがさほど問題とならない。そこで、対象物位置追跡部１３は、単眼距離検出部１１による検出距離により、対象物の位置を追跡する。
【００３５】
一方、単眼距離検出部１１により検出された車両１と対象物間の距離Ｄ１が、切替距離Ｄch±Δｄの範囲であるときには、ＳＴＥＰ４に進む。この場合は、車両１と対象物間の距離が短くなっており、単眼距離検出部１１による検出精度の低さにより、図５に示したように、単眼距離検出部１１により検出された車両１と対象物間の距離Ｄ１がＤch〜Ｄch＋Δｄの範囲であるが、実際には車両１と対象物間の距離がＤ１以下である場合（図中Ｐ（ｔ11）の場合）がある。
【００３６】
また、単眼距離検出部１１により検出された車両１と対象物間の距離Ｄ１がＤch−Δｄ〜Ｄchの範囲であるが、実際には車両１と対象物間の距離がＤ１を越えている場合（図中Ｐ（ｔ10）の場合）がある。
【００３７】
そこで、これらの場合にはＳＴＥＰ４で、対象物位置追跡部１３は、単眼距離検出部１１よりも高精度の距離検出が期待できる、ステレオ距離検出部１２により車両１と対象物間の距離を再検出する。そして、続くＳＴＥＰ５で、対象物位置追跡部１３は、ステレオ距離検出部１２により検出した車両１と対象物間の距離Ｄ１が切替距離Ｄch以下であるか否かを判断する。
【００３８】
ＳＴＥＰ５で、ステレオ距離検出部１２により検出した車両１と対象物間の距離Ｄ１が切替距離Ｄch以下であるときはＳＴＥＰ６に進む。そして、対象物位置追跡部１３は、以後は、ステレオ距離検出部１２による検出距離により、対象物の位置を追跡する。これにより、図５のＰ（ｔ11）に示したように、車両１と対象物間の距離が切替距離Ｄch以下になっているにも拘わらず、単眼距離検出部１１による距離検出の精度の低さにより、ステレオ距離検出部１２による距離検出に切替わるタイミングが遅れることを防止することができる。
【００３９】
一方、ＳＴＥＰ５で、ステレオ距離検出部１２により検出した車両１と対象物間の距離Ｄ１が切替距離Ｄchを超えているときにはＳＴＥＰ２０に分岐する。そして、対象物位置追跡部１３は、単眼距離検出部による検出距離による対象物の位置の追跡を継続する。これにより、図５のＰ（ｔ10）に示したように、車両１と対象物間の距離が切替距離Ｄchを超えているにも拘わらず、単眼距離検出部１１による距離検出の精度の低さにより、ステレオ距離検出部１２による距離検出に早めに切替わってしまい、距離検出に要する演算量が増加することを防止することができる。
【００４０】
なお、本実施形態では、図３のＳＴＥＰ１で、左カメラ２１又は右カメラ２２の撮像画像における位置が、切替距離Ｄch以下となる範囲を想定して設定された特定画像領域ＢＲ１内である対象物に限定して、ステレオ距離検出部１２により車両１との距離を検出し、画像部分の位置が特定画像領域外である対象物については、単眼距離検出部１１により車両１との距離を検出した。しかし、ステレオ距離検出部１２のみにより車両１と対象物間の距離を検出し、単眼距離検出部１１による車両１と対象物間の距離の検出を行わない場合にも、本発明の効果を得ることができる。
【００４１】
また、本実施形態では、図３のＳＴＥＰ３で、単眼距離検出部１１による車両１と対象物間の距離が切替距離Ｄch±Δｄの範囲内となったときに、ステレオ距離検出部１２により車両１と対象物間の距離を再検出して、車両１と対象物間の距離が切替距離Ｄch以下であるか否かを判断する処理を行ったが、この処理を行わない場合にも本発明の効果を得ることができる。
【００４２】
また、本実施の形態では、図３のＳＴＥＰ１で、左カメラ２１又は右カメラ２２の撮像画像における対象物の位置が特定画像領域ＢＲ１（図４参照）内であるときに、ＳＴＥＰ６に分岐して、ステレオ距離検出部１２により車両１と対象物間の距離を検出したが、特定画像領域ＢＲ１外で、単眼距離検出部１１により車両１との距離が検出された対象物の位置が、特定画像領域ＢＲ１内に変位したときに限定して、ステレオ距離検出部１２による距離検出に切替えるようにしてもよい。
【００４３】
この場合には、路面の反射等により、特定画像領域ＢＲ１内に急に現れた画像部分を、距離検出の対象であると誤検知して、車両１との接触の誤判定がなされることを防止することができる。
【００４４】
また、本実施形態では、左カメラ２１及び右カメラ２２に赤外線カメラを用いたが、可視光カメラを用いてもよい。
【００４５】
また、本実施形態において、単眼距離検出部１１は、単眼カメラの時系列の撮像画像間における同一対象物の画像部分の大きさの変化率と、車両１の走行速度とに基づいて、車両１と対象物間の距離を検出したが、他の手法により車両１と対象物間の距離を検出してもよい。他の手法としては、例えば、画像部分のサイズを、予め用意した特定種別（歩行者等）の画像部分のサイズと距離との対応マップに適用して、車両１と対象物間の距離を求める手法や、撮像画像における対象物の画像部分の位置（接地点）から、車両１と対象物間の距離を求める手法を用いることができる。
【００４６】
また、本実施の形態では、単眼距離検出部１１による距離検出と、ステレオ距離検出部１２による距離検出とを切替えたが、ステレオカメラに替えてレーダ等の測距装置を備え、遠方領域については単眼距離検出部１１により対象物との距離を検出し、至近領域についてはレーダ等の測距装置により対象物との距離を検出する場合にも、本実施形態と同様の切替処理の適用が可能である。
【符号の説明】
【００４７】
１…車両、１０…車両周辺監視装置、１１…単眼距離検出部、１２…ステレオ距離検出部、１３…対象物位置追跡部、１４…接触判定部、２１…左カメラ、２２…右カメラ、３１…ヨーレートセンサ、３２…車速センサ、３３…ブレーキセンサ。
【特許請求の範囲】
【請求項１】
車両に搭載された２台のカメラにより撮像された同一対象物の画像部分の視差に基づいて、前記車両と該対象物との距離を検出するステレオ距離検出部と、
前記カメラの撮像画像における対象物の画像部分の位置が、前記車両からの距離が所定距離以下である範囲を想定して設定された特定画像領域内であるときに限定して、前記ステレオ距離検出部により前記車両と該対象物間の距離を検出して、該対象物の位置を追跡する対象物位置追跡部と
を備えたことを特徴とする車両周辺監視装置。
【請求項２】
請求項１に記載の車両周辺監視装置において、
前記車両に搭載された１台のカメラにより撮像された対象物の画像部分に基づいて、該車両と該対象物との距離を検出する単眼距離検出部を備え、
前記対象物位置追跡部は、前記カメラの撮像画像における対象物の画像部分の位置が、前記特定画像領域外であるときは、前記単眼距離検出部により前記車両と該対象物間の距離を検出して、該対象物の位置を追跡することを特徴とする車両周辺監視装置。
【請求項３】
請求項２に記載の車両周辺監視装置において、
前記対象物位置追跡部は、前記単眼距離検出部により検出した前記車両と対象物間の距離が、前記所定距離を含む監視距離範囲内となったときに、前記ステレオ距離検出部により前記車両と対象物間の距離を算出し、前記ステレオ距離検出部による検出距離が前記所定距離以下であるときには、前記ステレオ距離検出部により前記車両と該対象物間の距離を検出して、該対象物の位置を追跡することを特徴とする車両周辺監視装置。
【請求項４】
請求項３に記載の車両周辺監視装置において、
前記対象物位置追跡部は、対象物の画像部分が前記特定画像領域外にあるときから、前記単眼距離検出部により前記車両と対象物間の距離を検出して該対象物の位置の追跡を開始し、前記単眼距離検出部による検出距離が前記監視距離範囲内になり、且つ、前記ステレオ距離検出部による前記車両と該対象物間の検出距離が前記所定距離以下になったときに、その後は、前記ステレオ距離検出部により前記車両と該対象物間の距離を検出して、該対象物の位置を追跡することを特徴とする車両周辺監視装置。
【請求項１】
車両に搭載された２台のカメラにより撮像された同一対象物の画像部分の視差に基づいて、前記車両と該対象物との距離を検出するステレオ距離検出部と、
前記カメラの撮像画像における対象物の画像部分の位置が、前記車両からの距離が所定距離以下である範囲を想定して設定された特定画像領域内であるときに限定して、前記ステレオ距離検出部により前記車両と該対象物間の距離を検出して、該対象物の位置を追跡する対象物位置追跡部と
を備えたことを特徴とする車両周辺監視装置。
【請求項２】
請求項１に記載の車両周辺監視装置において、
前記車両に搭載された１台のカメラにより撮像された対象物の画像部分に基づいて、該車両と該対象物との距離を検出する単眼距離検出部を備え、
前記対象物位置追跡部は、前記カメラの撮像画像における対象物の画像部分の位置が、前記特定画像領域外であるときは、前記単眼距離検出部により前記車両と該対象物間の距離を検出して、該対象物の位置を追跡することを特徴とする車両周辺監視装置。
【請求項３】
請求項２に記載の車両周辺監視装置において、
前記対象物位置追跡部は、前記単眼距離検出部により検出した前記車両と対象物間の距離が、前記所定距離を含む監視距離範囲内となったときに、前記ステレオ距離検出部により前記車両と対象物間の距離を算出し、前記ステレオ距離検出部による検出距離が前記所定距離以下であるときには、前記ステレオ距離検出部により前記車両と該対象物間の距離を検出して、該対象物の位置を追跡することを特徴とする車両周辺監視装置。
【請求項４】
請求項３に記載の車両周辺監視装置において、
前記対象物位置追跡部は、対象物の画像部分が前記特定画像領域外にあるときから、前記単眼距離検出部により前記車両と対象物間の距離を検出して該対象物の位置の追跡を開始し、前記単眼距離検出部による検出距離が前記監視距離範囲内になり、且つ、前記ステレオ距離検出部による前記車両と該対象物間の検出距離が前記所定距離以下になったときに、その後は、前記ステレオ距離検出部により前記車両と該対象物間の距離を検出して、該対象物の位置を追跡することを特徴とする車両周辺監視装置。
【図１】
【図２】
【図３】
【図４】
【図５】
【図２】
【図３】
【図４】
【図５】
【公開番号】特開２０１３−５４３９９（Ｐ２０１３−５４３９９Ａ）
【公開日】平成２５年３月２１日（２０１３．３．２１）
【国際特許分類】
【出願番号】特願２０１１−１８９９９９（Ｐ２０１１−１８９９９９）
【出願日】平成２３年８月３１日（２０１１．８．３１）
【出願人】（０００００５３２６）本田技研工業株式会社 (23,863)
【Ｆターム（参考）】
【公開日】平成２５年３月２１日（２０１３．３．２１）
【国際特許分類】
【出願日】平成２３年８月３１日（２０１１．８．３１）
【出願人】（０００００５３２６）本田技研工業株式会社 (23,863)
【Ｆターム（参考）】
[ Back to top ]