車両の周辺監視装置
【課題】車両周辺の移動物体の検出精度を向上させた車両の周辺監視装置を提供する。
【解決手段】車両の周辺の物体の位置および速度ベクトルを検出する物体検出手段と、車両の周辺の画像を取得する撮像手段と、撮像手段により取得されたグレースケール画像を多値化する多値化手段と、物体位置検出手段が特定した物体の位置に対応する取得されたグレースケール画像に、当該物体の位置の各々に対応する所定サイズの領域を設定する領域設定手段と、領域毎に、対応する物体の速度ベクトルの大きさに応じて、対応するグレースケール画像を多値化する際のしきい値を設定する多値化しきい値設定手段と、多値化手段により対応する多値化しきい値を用いて多値化された画像に基づいて、所定の対象物の有無を判定する判定手段と、を備える。
【解決手段】車両の周辺の物体の位置および速度ベクトルを検出する物体検出手段と、車両の周辺の画像を取得する撮像手段と、撮像手段により取得されたグレースケール画像を多値化する多値化手段と、物体位置検出手段が特定した物体の位置に対応する取得されたグレースケール画像に、当該物体の位置の各々に対応する所定サイズの領域を設定する領域設定手段と、領域毎に、対応する物体の速度ベクトルの大きさに応じて、対応するグレースケール画像を多値化する際のしきい値を設定する多値化しきい値設定手段と、多値化手段により対応する多値化しきい値を用いて多値化された画像に基づいて、所定の対象物の有無を判定する判定手段と、を備える。
【発明の詳細な説明】
【技術分野】
【０００１】
本発明は、車両の周辺を監視するための装置に関し、より具体的には、車両の周辺を監視するための装置において、車両周辺の移動物体の検出感度を向上させることに関する。
【背景技術】
【０００２】
特許文献１は、歩行者検出装置を開示する。この歩行者検出装置は、レーザレーダと赤外線カメラを併用し、レーザレーダから得られる歩行者候補の検出情報を基に赤外線画像中の歩行者を検出する。
【０００３】
特許文献２は、車載用レーダ装置を開示する。この装置では、センサの中心軸の向きを補正するために、撮影画像を複数の領域に分割し、領域毎に検出した線分から消失点および方向ベクトルを求めている。
【先行技術文献】
【特許文献】
【０００４】
【特許文献１】特開２００３−３０２４７０号公報
【特許文献２】特許第３８６２０１５号公報
【発明の概要】
【発明が解決しようとする課題】
【０００５】
赤外線カメラで撮像した場合、得られるグレースケール画像において、移動物体は静止物体よりも輝度が低く、すなわち暗くなる傾向がある。これは、赤外線カメラの撮像素子が熱時定数を持つため、物体の赤外線カメラに対する移動速度が大きいほど、赤外線カメラの検知信号（輝度信号）のレスポンス（立ち上がり）が静止物体よりも移動物体の方が遅くなるためである。
【０００６】
したがって、赤外線カメラ等で車両周辺の移動物体を検出する場合、この輝度の低下を考慮した上で検出処理をおこなうことが望まれる。
【０００７】
しかし、特許文献１、２に記載の発明においては、この輝度低下による影響を考慮して、歩行者等を検知することをおこなってはいない。
【０００８】
そこで、本発明は、赤外線カメラ等の撮像手段により取得された画像、例えばグレースケール画像における移動物体の輝度低下による影響を画像処理に反映させて、車両周辺の移動物体の検出精度を向上させることを目的とする。
【課題を解決するための手段】
【０００９】
本発明は、車両の周辺監視装置を提供する。その周辺監視装置は、車両の周辺の物体の位置および速度ベクトルを検出する物体検出手段と、車両の周辺の画像を取得する撮像手段と、撮像手段により取得されたグレースケール画像を多値化する多値化手段と、物体位置検出手段が特定した物体の位置に対応する取得されたグレースケール画像に、当該物体の位置の各々に対応する所定サイズの領域を設定する領域設定手段と、領域毎に、対応する物体の速度ベクトルの大きさに応じて、対応するグレースケール画像を多値化する際のしきい値を設定する多値化しきい値設定手段と、多値化手段により対応する多値化しきい値を用いて多値化された画像に基づいて、所定の対象物の有無を判定する判定手段と、を備える。
【００１０】
本発明によれば、グレースケール画像に設定した領域毎に、物体検出手段により検出された対応する物体の速度ベクトルの大きさに応じて、多値化しきい値を設定するので、当該画像からの対象物、特に移動物体の抽出精度を向上させることができる。その結果、車両の周辺の対象物を確実に抽出して速やかに運転者に知らせることが可能となる。
【００１１】
本発明の一形態によると、車両の周辺監視装置が提供される。その周辺監視装置は、車両の周辺の画像を取得する撮像手段と、撮像手段により取得されたグレースケール画像を多値化する多値化手段と、取得されたグレースケール画像を複数の領域に区分して、車両の速度に応じて、領域毎の速度ベクトルを算出する手段と、領域毎の速度ベクトルの大きさに応じて、対応するグレースケール画像を多値化する際のしきい値を設定する多値化しきい値設定手段と、多値化手段により対応する多値化しきい値を用いて多値化された画像に基づいて、所定の対象物の有無を判定する判定手段と、を備える。
【００１２】
本発明の一形態によれば、グレースケール画像の領域毎に算出した速度ベクトルの大きさに応じて、対応するグレースケール画像を多値化する際のしきい値を設定するので、当該画像からの対象物、特に移動物体の抽出精度を向上させることができる。
【００１３】
本発明の一形態によると、多値化しきい値設定手段は、速度ベクトルの大きさが大きくなるほど多値化しきい値を小さくする。
【００１４】
本発明の一形態によれば、車両周辺の移動物体の移動速度が速くなっても確実に取得画像から移動物体を抽出することが可能となる。
【００１５】
本発明の一形態によると、所定時間内での車両の挙動によって生ずる取得画像の変化量を推定する手段をさらに備え、多値化しきい値設定手段は、その変化量に基づき速度ベクトルを調整する。
【００１６】
本発明の一形態によれば、車両の挙動をも反映させて速度ベクトルの算出および多値化しきい値の設定をおこなうので、取得該画像からの対象物、特に移動物体の抽出精度をさらに向上させることが可能となる。
【００１７】
本発明の一形態によると、物体検出手段はレーダを含み、領域設定手段はレーダが検出した物体の速度ベクトルに応じて対応する領域の設定位置を移動させる。
【００１８】
本発明の一形態によると、物体検出手段はレーダを含み、領域設定手段は、当該レーダに対する撮像手段の検出信号の遅延量に応じて領域を設定する。
【００１９】
本発明の一形態によれば、レーダに対して赤外線カメラの移動物体検出時の検出信号（輝度信号）のレスポンス（立ち上がり）が遅れることを反映させてグレースケール画像上の領域の位置を設定することができるので、取得該画像から対象物、特に移動物体の抽出をより確実におこなうことが可能となる。
【図面の簡単な説明】
【００２０】
【図１】車両の周辺監視装置の構成を示すブロック図である。
【図２】画像処理ユニットにおける処理フローを示す図である。
【図３】２値化しきい値設定の処理フローを示す図である。
【図４】２値化しきい値設定の処理フローの他の例を示す図である。
【図５】画像上での速度ベクトルの算出を説明するための図である。
【図６】画像処理ユニットにおける処理フローを示す図である。
【図７】画像の領域毎の速度ベクトルの様子を示す図である。
【図８】２値化画像での位置ずれ補正を説明するための図である。
【発明を実施するための形態】
【００２１】
図面を参照しながら本発明の実施の形態を説明する。図１は、この発明の一実施形態に従う、車両の周辺監視装置の構成を示すブロック図である。周辺監視装置は、車両に搭載され、レーザレーダ１０と、赤外線カメラ１２と、赤外線カメラ１２によって撮像された画像データに基づいて車両周辺の物体を検出するための画像処理ユニット１４と、その検出結果に基づいて音または音声で警報を発生するスピーカ１６と、赤外線カメラ１２の撮像を介して得られた画像を表示すると共に、運転者に車両周辺の対象物を認識させるための表示を行う表示装置１８とを備える。なお、ナビゲーション装置を備える車両においては、スピーカ１６および表示装置１８として、ナビゲーション装置が備える該当機能を利用してもよい。
【００２２】
図１の画像処理ユニット１４は、その構成（機能）としてブロック１４１〜１４８で示される機能を有する。すなわち、画像処理ユニット１４は、レーザレーダ１０からの信号を受けて車両の周辺の物体の位置および速度ベクトルを検出する物体検出手段１４１と、赤外線カメラ１２が撮影した車両の周辺の画像をグレースケール画像として取得する画像取得手段１４２と、取得されたグレースケール画像を多値化する多値化手段１４３と、物体検出手段１４１が検出した物体の位置に対応するグレースケール画像に、該物体の位置の各々に対応する所定サイズの領域を設定する領域設定手段１４４と、領域毎に、対応する物体の速度ベクトルの大きさに応じて、対応するグレースケール画像を多値化する際のしきい値を設定する多値化しきい値設定手段１４５と、取得されたグレースケール画像を複数の領域に区分して、車両の速度に応じて、領域毎の速度ベクトルを算出する手段１４６と、所定時間内での車両の挙動（車速、ヨーレート等）によって生ずる取得画像の変化量を推定する手段１４７と、多値化手段により対応する多値化しきい値を用いて多値化された画像に基づき所定の対象物の有無を判定する判定手段１４８として機能する。
【００２３】
なお、本明細書において使用する「物体の速度ベクトル」は、特記しない限り物体の速度ベクトルを画像平面に射影して得られる画像上の物体の速度ベクトルを意味し、全編にわたってこの意味において使用している。
【００２４】
各ブロックの機能は、画像処理ユニット１４が有するコンピュータ（ＣＰＵ）によって実現される。なお、画像処理ユニット１４の構成は、ナビゲーション装置の中に組み込んでもよい。
【００２５】
画像処理ユニット１４は、ハードウエア構成として、例えば、入力アナログ信号をデジタル信号に変換するＡ／Ｄ変換回路、デジタル化した画像信号を記憶する画像メモリ、各種演算処理を行う中央演算処理装置（ＣＰＵ）、ＣＰＵが演算に際してデータを記憶するのに使用するＲＡＭ（ランダムアクセスメモリ）、ＣＰＵが実行するプログラムおよび用いるデータ（テーブル、マップを含む）を記憶するＲＯＭ（リードオンリーメモリ）、スピーカ１６に対する駆動信号および表示装置１８に対する表示信号などを出力する出力回路を備えている。レーザレーダ１０と赤外線カメラ１２の出力信号は、デジタル信号に変換されてＣＰＵに入力されるよう構成される。
【００２６】
図２は、画像処理ユニット１４によって実行される処理フローである。この処理フローは、画像処理ユニット１４のＣＰＵがメモリに格納している処理プログラムを呼び出して、所定の時間間隔で実行される。なお、以下の説明では、取得したグレースケール画像を多値化の例として、２値化して白黒画像を得る場合を例にとり説明している。３値以上の多値化をする場合は、設定するしきい値の数は増えるが、基本的に２値化の場合と同様な処理をすることにより多値化画像を得ることができる。また、図２のフローでは、検知対象として歩行者を検知する場合について説明しているが、歩行者に限られず、他の動物、車両等の移動物体を検知する場合にも適用できることは言うまでもない。
【００２７】
ステップＳ１０において、レーザレーダ１０からの信号を受けて車両の周辺の物体の位置、大きさ（領域）、および速度ベクトルを検出（特定）する。その検出には従来からの任意の方法を用いることができるが、例えば、以下のようにおこなう。
【００２８】
レーザレーダ１０としてスキャン式レーザレーダを使用して、その検出点群の幅から物体、例えば歩行者候補の位置および大きさ（領域）を特定する。具体的には、スキャン式レーザレーダでは、各方向にスキャンするビームの物体からの反射光を受光することにより、検出点として各方向における物体までの距離を測定する。レーザレーダの位置を原点としてＹ軸をレーダの正面方向とする２次元座標系にこれらの検出点の位置をプロットして検出点の集合を得る。これらの検出点の集合から、各検出点の相互の間隔が所定値以下のものを検出点群としてグループ化し、グループ化した検出点群のうち、広がり幅が所定値以下のものを歩行者候補とみなしてその位置と大きさ（領域）を特定する。
【００２９】
特定された大きさ（領域）において、基準点を定めその基準点を始点とするベクトルとして、特定された歩行者候補の動き（単位時間当たりの移動量）を表すことにより、その領域における、すなわち対応する歩行者候補についての速度ベクトル得ることができる。なお、基準点は領域の重心、消失点など任意の規則により決めることができる。
【００３０】
ステップＳ１１において、赤外線カメラ１２の出力信号（すなわち、撮像画像のデータ）を入力として受け取り、これをＡ／Ｄ変換して、画像メモリに格納する。格納される画像データは、輝度情報を含んだグレースケール（白黒の濃淡）画像である。対象の温度が高い部分ほど高輝度となる赤外線カメラでは、高輝度部分の明暗値が高い画像データとなり、その温度が低く（低輝度に）なるにつれて明暗値が低い画像データとなる。
【００３１】
ステップＳ１２において、取得されたグレースケール画像に領域設定をする。具体的には、ステップＳ１０で得られた各領域（位置、大きさ）に対応する領域をグレースケール画像上に設定する。
【００３２】
ステップＳ１３において、グレースケール画像の設定した領域毎に２値化するためのしきい値を設定する処理フロー（ルーチン）を実行する。
【００３３】
図３は、２値化しきい値設定の処理フロー（ルーチン）を示す図である。最初にステップＳ１３１またはステップＳ１３２を選択する。この２つのステップは任意に選択できる。ステップＳ１３１（Ａ）では、移動体毎に対応するグレースケール画像の領域上にレーザレーダ１０で検出した速度ベクトルを投影する。
【００３４】
図５は、この投影を説明するための図である。符号２０で示されるレーザレーダ１０のスキャン領域において、図のように４つの移動体が検出されたとする。各移動体は大きさ（領域）と速度ベクトルを有している。この４つの移動体について、速度ベクトルをグレースケール画像２３上に投影すると、各領域について画像上の速度ベクトルが得られる。例えば、矢印Ａで示されるように、移動体（領域）２１の速度ベクトル２２は、画像上の領域２４の速度ベクトル２５として投影される。他の移動体についても同様である。このように、レーザレーダで検出された速度ベクトルをそのまま利用せずに画像上に投影させた速度ベクトルを利用するのは、画像上での移動量が残像に影響するので、画像上に投影した後のベクトル（移動量）を利用する方がよりその残像の影響を反映させることができて効果的であるからである。
【００３５】
図３に戻って、ステップＳ１３２（Ｂ）が選択された場合は、ステップＳ１３１（Ａ）の投影に代わって、画像上の領域毎に速度ベクトル（図５の画像２３内の速度ベクトル２５に相当するもの）を、オプティカルフロー、テンプレートマッチング、あるいは位相限定相関法などの従来からの方法により求める。その際、領域毎に一つの速度ベクトル（移動量）をテンプレートマッチング等により求めても良く、あるいは画素毎のオプティカルフローを算出して移動体（領域）毎に代表値（平均値等）を算出してもよい。なお、このステップＳ１３２（Ｂ）は、既に画像上の領域毎に物体（移動体）候補が対応付けられている場合に実行されるステップであり、何らその対応が付いていない場合は、ステップＳ１３１（Ａ）が実行される。
【００３６】
次に、ステップＳ１３３において、図２のステップＳ１０において検出した物体が移動体であるか否かを判定する。この判定は、ステップＳ１３１またはＳ１３２において得られた画像の領域毎の速度（移動）ベクトル（大きさ、変化等）に基づきおこなう。この判定がＮｏの場合、ステップＳ１３６に進み、静止物に対応して予め決められた所定のしきい値Ｔｈｓを選択する。所定のしきい値Ｔｈｓは、予め画像処理ユニット１４のメモリに格納されている。なお、各領域の背景画像の輝度に応じてしきい値を変えられるように、輝度の大きさに対応した複数のしきい値を設けておき、その中から選択できるようにしてもよい。
【００３７】
ステップＳ１３３で移動体である（Ｙｅｓ）と判定された場合、次のステップＳ１３４において、領域毎の速度ベクトルの大きさＬ、すなわち各移動体の移動量Ｌを算出する。ステップＳ１３５において、速度ベクトルの大きさ（移動量）Ｌに対応した２値化しきい値を算出する。２値化しきい値Ｔｈの算出は例えば以下のようにおこなう。
【００３８】
速度ベクトルの大きさ（移動量）Ｌに応じて２値化しきい値の変化量ΔＴｈを予め決めておき、下記の式（１）で示すように、静止物に対する２値化しきい値Ｔｈｓからその変化量ΔＴｈを減算して、２値化しきい値Ｔｈｍを求める。式（１）で減算するのは、移動体の速度が大きくなるほど輝度が低下するので、２値化しきい値を小さくして、その移動体の２値化後の画像上での検出（特定）精度を上げるためである。
Ｔｈｍ ＝ Ｔｈｓ−ΔＴｈ （１）
【００３９】
あるいは、下記の式（２）で示すように、速度ベクトルの大きさ（移動量）Ｌに応じて小さくなる係数α（＜１）を予め決めておき、静止物に対する２値化しきい値Ｔｈｓにその係数α（＜１）を乗算して、２値化しきい値Ｔｈｍを求めてもよい。
Ｔｈｍ ＝ α×Ｔｈｓ （２）
【００４０】
領域毎に対応する２値化しきい値（Ｔｈｓ、Ｔｈｍ）を取得した後、図２のステップＳ１４において、そのしきい値を用いてそれぞれ対応するグレースケール画像を２値化する。具体的には、しきい値より明るい領域を「１」（白）とし、暗い領域を「０」（黒）とする処理を行う。この２値化処理により、たとえば歩行者のような、所定の温度より高い対象物が、白領域として抽出される。
【００４１】
ステップＳ１５において、２値化後の白黒画像から対象物を照合する。最初に、予めメモリに保管している除外対象物の特徴を有するか否かを調べる。除外対象物とは、例えば発熱体ではあるが明らかに形状等が異なる物体（４足動物、ボイラー、車両等）を意味する。除外対象物に該当しない場合、歩行者の特徴に該当するか否かを調べる。歩行者の特徴には、例えば歩行者の頭部の特徴として丸みを帯びた白部が存在し、その下に胴体、脚部の部分に相当する細長い白部が繋がっていること等が含まれる。また、周知のパターンマッチングを利用し、予め保管してある歩行者を表す所定のパターンとの類似度を算出し、その類似度を歩行者であるか否かの判断材料としてもよい。さらに、歩行者の歩行速度はほぼ一定であることから、レーザレーダ１０から得られる物体の移動速度（速度ベクトル）の情報を判断材料の１つとして用いてもよい。
【００４２】
ステップＳ１６において、判定された対象物が歩行者か否かを判定する。その判定は、例えば、上述した歩行者の特徴に該当するか否か、パターンマッチングの類似度が高いか、移動速度が所定範囲内か等によりおこなう。歩行者に該当しない場合は処理を終了する。
【００４３】
歩行者であると判定された場合、ステップＳ１７において、運転者の注意を喚起するために警報を発する。その際、歩行者が存在する方向に応じて警報の種類を変えると効果的である。例えば、スピーカ１６から音声で「左前方歩行者注意」等の警報を発生することにより、運転者の注意を適切な方向に喚起することができる。画像として警告する場合は、グレースケール画像を表示装置１８上に表示し、画像中の認識された歩行者に対して個別の強調表示（高輝度化、点滅、色表示等）を行うことにより、運転者の注意を促す。
【００４４】
図４は、２値化しきい値設定の処理フロー（ルーチン）の他の例を示す図である。図４では、図３のフローと違って、最初のステップＳ１３０において、図２のステップＳ１０において検出した物体が移動体であるか否かを判定する。すなわち、図３のステップＳ１３３では、図２のステップＳ１１で取得されたカメラ画像（グレースケール画像）上の速度（移動）ベクトルに基づき移動体の有無を判定しているが、図４のステップＳ１３０では、図２のステップＳ１０で取得されたレーザレーダ情報（移動体候補の動き、速度ベクトル）に基づき移動体の有無を判定する。このステップＳ１３０では、例えば物体候補毎に得られた速度ベクトルの大きさが所定値以上であるときに移動体であると判定し、所定値よりも小さいときは移動体でないと判定する。
【００４５】
この判定がＮｏの場合、ステップＳ１３６に進み、静止物に対応して予め決められた所定のしきい値Ｔｈｓを選択する。判定がＹｅｓ（移動体である）と判定された場合、次のステップＳ１３１（Ａ）またはステップＳ１３２（Ｂ）のいずれかのステップに進む。これらのステップを含めて以降のフローは上述した図３の対応するステップと同様であるので、ここではその説明を省略する。
【００４６】
図６は、画像処理ユニット１４によって実行される他の処理フローの例である。この処理フローは、図２の処理フロー同様、画像処理ユニット１４のＣＰＵがメモリに格納している処理プログラムを呼び出して、所定の時間間隔で実行される。また、３値以上の多値化に適用できることも、図２の処理フローと同様である。
【００４７】
図６の処理フローでは、図２の処理フローと異なり、レーザレーダ１０による物体検出を前提とせずに歩行者の検知をおこなう例である。ステップＳ２０において、赤外線カメラ１２の出力信号からグレースケール画像を取得する。ステップＳ２１において、取得したグレースケール画像に領域を設定する。この領域設定は、検出物体の位置とは無関係におこなわれ、例えば図７に例示するように均等に分割された９個の領域が設定される。領域の数と大きさは、車両の速度、走行場所（周辺状態）等に応じて任意に設定される。
【００４８】
ステップＳ２２において、自車両の車速を検出する。次に設定した画像上の領域毎の速度（移動）ベクトルを求めるために、次のステップＳ２３（Ａ）またはステップＳ２４（Ｂ）のいずれかのステップに進む。この２つのステップは任意に選択できる。ステップＳ２３（Ａ）においては、画像上の領域毎に速度ベクトルを、車速に応じて変わる画像の経時変化からオプティカルフローを算出することにより得る。図７は領域毎に得られた速度ベクトルの模式図である。領域２４毎に速度ベクトル２５を得る。
【００４９】
ステップＳ２４（Ｂ）が選択された場合は、最初にステップＳ２４において、画像上の消失点を算出する。消失点の算出方法には従来の任意の方法を用いることができる。次に、ステップＳ２５において、車速およびさらに取得したヨーレートから、画像上の消失点を基準（起点）とする移動ベクトルを作成する。この移動ベクトルは、自車両の挙動に応じて予測される移動量に相当する。この場合も、図７でイメージされるような領域毎の移動ベクトルを得ることができる。
【００５０】
次に、ステップＳ２６において、２値化しきい値を新たに設定（算出）するか否かを判定する。この判定がＮｏの場合、ステップＳ２７において、画像の領域毎に対応する速度（移動）ベクトルの大きさ（移動量）に応じて、領域内の背景部分の輝度を大きくする。具体的には背景の輝度のゲインを上げる。これは、自車両が移動している場合には、自車両との相対速度差が大きいほど輝度が落ち、また高輝度の物体ほどその輝度の低下が大きいので、全体特に背景の輝度（ゲイン）を移動量に応じて引き上げて、すなわちグレースケール画像上での明暗比（コントラスト）を確保して、２値化しきい値を変更（小さく）することなく２値化後の検出精度を上げるためにおこなう。
【００５１】
ステップＳ２６において、２値化しきい値を新たに設定（算出）する場合は、ステップＳ２８において、例えば図３（図４）を参照しながら説明した方法（ステップＳ１３２（Ｂ）の選択）により、画像の領域毎に２値化しきい値を設定する。なお、ステップＳ２７の輝度調整をおこなった場合は、２値化しきい値は所定値、例えば、図３（図４）のステップＳ１３６で選択されるしきい値Ｔｈｓを設定する。その後、ステップＳ２９〜Ｓ３２において、既に説明した図２のステップＳ１４〜Ｓ１７の場合と同様な方法により、２値化画像に基づき歩行者の有無を判定する。
【００５２】
最後に、図８を参照しながら赤外線カメラで取得された画像での位置ずれ補正について説明する。図８は、２値化後の画像において位置ずれ補正を説明するための図である。赤外線カメラでは、既に述べたように、移動体ではその輝度信号の立ち上がりが遅いので、実像よりも遅れて画像が取得される。具体的には、レーザでは実像の位置を捉えるので、図８の（ａ）に示すように、物体（歩行者）の静止時は、レーザで特定される領域（物標）３５と対象カメラ画像３６とは一致する。
【００５３】
しかし、物体（歩行者）の移動時には、図８（ｂ）に示すように、レーザで特定される領域（物標）３７に対して対象カメラ画像３９が遅れてしまう。このため、レーザで特定される領域（物標）に対応するカメラ画像上の領域を検出領域とするシステムにおいて、領域のズレにより対象物を検出できない恐れがある。そこで、レーザで特定される領域（物標）から対象物のカメラ画像上での移動速度（ベクトル）を求めて、検出領域の設定位置を実像位置から遅れた分補正した位置に設定する（ずらす）。図８の例では、検出領域をＰの位置（３７）からＰ´の位置（３８）までずらした設定（補正）をおこなう。
【００５４】
この補正を含む領域設定のやり方を、例えば図２、図６のフローにおける領域の設定において適用すること、すなわち設定した領域を後から速度（移動）ベクトルの大きさに応じて補正する（位置をずらす）、あるいは前回得た速度ベクトル（移動ベクトル）の大きさに基づき最初から所定の補正量だけ位置をずらして領域を設定することにより、対象物の検出（特定）精度をより向上させることが可能となる。
【００５５】
以上、本発明の実施の形態について説明したが、本発明はこのような実施形態に限定されることはなく、本発明の趣旨を逸脱しない範囲において改変して用いることができる。例えば、レーザレーダ１０は、他の種類のレーダ（例えばミリ波レーダ等）であってもよく、また、赤外線カメラ１２も赤外線以外の他の波長帯の光（例えば可視光）を利用するカメラ（ＣＣＤカメラ等）であってもよい。したがって、上述した説明では、赤外線カメラ１２が撮影したグレースケール画像を対象としているが、これに限定されるものではない。
【符号の説明】
【００５６】
１０ レーザレーダ、
１２ 赤外線カメラ、
１４ 画像処理ユニット、
１６ スピーカ、
１８ 表示装置、
２０ レーザスキャン範囲
２１ 移動体、
２３ グレースケール画像
【技術分野】
【０００１】
本発明は、車両の周辺を監視するための装置に関し、より具体的には、車両の周辺を監視するための装置において、車両周辺の移動物体の検出感度を向上させることに関する。
【背景技術】
【０００２】
特許文献１は、歩行者検出装置を開示する。この歩行者検出装置は、レーザレーダと赤外線カメラを併用し、レーザレーダから得られる歩行者候補の検出情報を基に赤外線画像中の歩行者を検出する。
【０００３】
特許文献２は、車載用レーダ装置を開示する。この装置では、センサの中心軸の向きを補正するために、撮影画像を複数の領域に分割し、領域毎に検出した線分から消失点および方向ベクトルを求めている。
【先行技術文献】
【特許文献】
【０００４】
【特許文献１】特開２００３−３０２４７０号公報
【特許文献２】特許第３８６２０１５号公報
【発明の概要】
【発明が解決しようとする課題】
【０００５】
赤外線カメラで撮像した場合、得られるグレースケール画像において、移動物体は静止物体よりも輝度が低く、すなわち暗くなる傾向がある。これは、赤外線カメラの撮像素子が熱時定数を持つため、物体の赤外線カメラに対する移動速度が大きいほど、赤外線カメラの検知信号（輝度信号）のレスポンス（立ち上がり）が静止物体よりも移動物体の方が遅くなるためである。
【０００６】
したがって、赤外線カメラ等で車両周辺の移動物体を検出する場合、この輝度の低下を考慮した上で検出処理をおこなうことが望まれる。
【０００７】
しかし、特許文献１、２に記載の発明においては、この輝度低下による影響を考慮して、歩行者等を検知することをおこなってはいない。
【０００８】
そこで、本発明は、赤外線カメラ等の撮像手段により取得された画像、例えばグレースケール画像における移動物体の輝度低下による影響を画像処理に反映させて、車両周辺の移動物体の検出精度を向上させることを目的とする。
【課題を解決するための手段】
【０００９】
本発明は、車両の周辺監視装置を提供する。その周辺監視装置は、車両の周辺の物体の位置および速度ベクトルを検出する物体検出手段と、車両の周辺の画像を取得する撮像手段と、撮像手段により取得されたグレースケール画像を多値化する多値化手段と、物体位置検出手段が特定した物体の位置に対応する取得されたグレースケール画像に、当該物体の位置の各々に対応する所定サイズの領域を設定する領域設定手段と、領域毎に、対応する物体の速度ベクトルの大きさに応じて、対応するグレースケール画像を多値化する際のしきい値を設定する多値化しきい値設定手段と、多値化手段により対応する多値化しきい値を用いて多値化された画像に基づいて、所定の対象物の有無を判定する判定手段と、を備える。
【００１０】
本発明によれば、グレースケール画像に設定した領域毎に、物体検出手段により検出された対応する物体の速度ベクトルの大きさに応じて、多値化しきい値を設定するので、当該画像からの対象物、特に移動物体の抽出精度を向上させることができる。その結果、車両の周辺の対象物を確実に抽出して速やかに運転者に知らせることが可能となる。
【００１１】
本発明の一形態によると、車両の周辺監視装置が提供される。その周辺監視装置は、車両の周辺の画像を取得する撮像手段と、撮像手段により取得されたグレースケール画像を多値化する多値化手段と、取得されたグレースケール画像を複数の領域に区分して、車両の速度に応じて、領域毎の速度ベクトルを算出する手段と、領域毎の速度ベクトルの大きさに応じて、対応するグレースケール画像を多値化する際のしきい値を設定する多値化しきい値設定手段と、多値化手段により対応する多値化しきい値を用いて多値化された画像に基づいて、所定の対象物の有無を判定する判定手段と、を備える。
【００１２】
本発明の一形態によれば、グレースケール画像の領域毎に算出した速度ベクトルの大きさに応じて、対応するグレースケール画像を多値化する際のしきい値を設定するので、当該画像からの対象物、特に移動物体の抽出精度を向上させることができる。
【００１３】
本発明の一形態によると、多値化しきい値設定手段は、速度ベクトルの大きさが大きくなるほど多値化しきい値を小さくする。
【００１４】
本発明の一形態によれば、車両周辺の移動物体の移動速度が速くなっても確実に取得画像から移動物体を抽出することが可能となる。
【００１５】
本発明の一形態によると、所定時間内での車両の挙動によって生ずる取得画像の変化量を推定する手段をさらに備え、多値化しきい値設定手段は、その変化量に基づき速度ベクトルを調整する。
【００１６】
本発明の一形態によれば、車両の挙動をも反映させて速度ベクトルの算出および多値化しきい値の設定をおこなうので、取得該画像からの対象物、特に移動物体の抽出精度をさらに向上させることが可能となる。
【００１７】
本発明の一形態によると、物体検出手段はレーダを含み、領域設定手段はレーダが検出した物体の速度ベクトルに応じて対応する領域の設定位置を移動させる。
【００１８】
本発明の一形態によると、物体検出手段はレーダを含み、領域設定手段は、当該レーダに対する撮像手段の検出信号の遅延量に応じて領域を設定する。
【００１９】
本発明の一形態によれば、レーダに対して赤外線カメラの移動物体検出時の検出信号（輝度信号）のレスポンス（立ち上がり）が遅れることを反映させてグレースケール画像上の領域の位置を設定することができるので、取得該画像から対象物、特に移動物体の抽出をより確実におこなうことが可能となる。
【図面の簡単な説明】
【００２０】
【図１】車両の周辺監視装置の構成を示すブロック図である。
【図２】画像処理ユニットにおける処理フローを示す図である。
【図３】２値化しきい値設定の処理フローを示す図である。
【図４】２値化しきい値設定の処理フローの他の例を示す図である。
【図５】画像上での速度ベクトルの算出を説明するための図である。
【図６】画像処理ユニットにおける処理フローを示す図である。
【図７】画像の領域毎の速度ベクトルの様子を示す図である。
【図８】２値化画像での位置ずれ補正を説明するための図である。
【発明を実施するための形態】
【００２１】
図面を参照しながら本発明の実施の形態を説明する。図１は、この発明の一実施形態に従う、車両の周辺監視装置の構成を示すブロック図である。周辺監視装置は、車両に搭載され、レーザレーダ１０と、赤外線カメラ１２と、赤外線カメラ１２によって撮像された画像データに基づいて車両周辺の物体を検出するための画像処理ユニット１４と、その検出結果に基づいて音または音声で警報を発生するスピーカ１６と、赤外線カメラ１２の撮像を介して得られた画像を表示すると共に、運転者に車両周辺の対象物を認識させるための表示を行う表示装置１８とを備える。なお、ナビゲーション装置を備える車両においては、スピーカ１６および表示装置１８として、ナビゲーション装置が備える該当機能を利用してもよい。
【００２２】
図１の画像処理ユニット１４は、その構成（機能）としてブロック１４１〜１４８で示される機能を有する。すなわち、画像処理ユニット１４は、レーザレーダ１０からの信号を受けて車両の周辺の物体の位置および速度ベクトルを検出する物体検出手段１４１と、赤外線カメラ１２が撮影した車両の周辺の画像をグレースケール画像として取得する画像取得手段１４２と、取得されたグレースケール画像を多値化する多値化手段１４３と、物体検出手段１４１が検出した物体の位置に対応するグレースケール画像に、該物体の位置の各々に対応する所定サイズの領域を設定する領域設定手段１４４と、領域毎に、対応する物体の速度ベクトルの大きさに応じて、対応するグレースケール画像を多値化する際のしきい値を設定する多値化しきい値設定手段１４５と、取得されたグレースケール画像を複数の領域に区分して、車両の速度に応じて、領域毎の速度ベクトルを算出する手段１４６と、所定時間内での車両の挙動（車速、ヨーレート等）によって生ずる取得画像の変化量を推定する手段１４７と、多値化手段により対応する多値化しきい値を用いて多値化された画像に基づき所定の対象物の有無を判定する判定手段１４８として機能する。
【００２３】
なお、本明細書において使用する「物体の速度ベクトル」は、特記しない限り物体の速度ベクトルを画像平面に射影して得られる画像上の物体の速度ベクトルを意味し、全編にわたってこの意味において使用している。
【００２４】
各ブロックの機能は、画像処理ユニット１４が有するコンピュータ（ＣＰＵ）によって実現される。なお、画像処理ユニット１４の構成は、ナビゲーション装置の中に組み込んでもよい。
【００２５】
画像処理ユニット１４は、ハードウエア構成として、例えば、入力アナログ信号をデジタル信号に変換するＡ／Ｄ変換回路、デジタル化した画像信号を記憶する画像メモリ、各種演算処理を行う中央演算処理装置（ＣＰＵ）、ＣＰＵが演算に際してデータを記憶するのに使用するＲＡＭ（ランダムアクセスメモリ）、ＣＰＵが実行するプログラムおよび用いるデータ（テーブル、マップを含む）を記憶するＲＯＭ（リードオンリーメモリ）、スピーカ１６に対する駆動信号および表示装置１８に対する表示信号などを出力する出力回路を備えている。レーザレーダ１０と赤外線カメラ１２の出力信号は、デジタル信号に変換されてＣＰＵに入力されるよう構成される。
【００２６】
図２は、画像処理ユニット１４によって実行される処理フローである。この処理フローは、画像処理ユニット１４のＣＰＵがメモリに格納している処理プログラムを呼び出して、所定の時間間隔で実行される。なお、以下の説明では、取得したグレースケール画像を多値化の例として、２値化して白黒画像を得る場合を例にとり説明している。３値以上の多値化をする場合は、設定するしきい値の数は増えるが、基本的に２値化の場合と同様な処理をすることにより多値化画像を得ることができる。また、図２のフローでは、検知対象として歩行者を検知する場合について説明しているが、歩行者に限られず、他の動物、車両等の移動物体を検知する場合にも適用できることは言うまでもない。
【００２７】
ステップＳ１０において、レーザレーダ１０からの信号を受けて車両の周辺の物体の位置、大きさ（領域）、および速度ベクトルを検出（特定）する。その検出には従来からの任意の方法を用いることができるが、例えば、以下のようにおこなう。
【００２８】
レーザレーダ１０としてスキャン式レーザレーダを使用して、その検出点群の幅から物体、例えば歩行者候補の位置および大きさ（領域）を特定する。具体的には、スキャン式レーザレーダでは、各方向にスキャンするビームの物体からの反射光を受光することにより、検出点として各方向における物体までの距離を測定する。レーザレーダの位置を原点としてＹ軸をレーダの正面方向とする２次元座標系にこれらの検出点の位置をプロットして検出点の集合を得る。これらの検出点の集合から、各検出点の相互の間隔が所定値以下のものを検出点群としてグループ化し、グループ化した検出点群のうち、広がり幅が所定値以下のものを歩行者候補とみなしてその位置と大きさ（領域）を特定する。
【００２９】
特定された大きさ（領域）において、基準点を定めその基準点を始点とするベクトルとして、特定された歩行者候補の動き（単位時間当たりの移動量）を表すことにより、その領域における、すなわち対応する歩行者候補についての速度ベクトル得ることができる。なお、基準点は領域の重心、消失点など任意の規則により決めることができる。
【００３０】
ステップＳ１１において、赤外線カメラ１２の出力信号（すなわち、撮像画像のデータ）を入力として受け取り、これをＡ／Ｄ変換して、画像メモリに格納する。格納される画像データは、輝度情報を含んだグレースケール（白黒の濃淡）画像である。対象の温度が高い部分ほど高輝度となる赤外線カメラでは、高輝度部分の明暗値が高い画像データとなり、その温度が低く（低輝度に）なるにつれて明暗値が低い画像データとなる。
【００３１】
ステップＳ１２において、取得されたグレースケール画像に領域設定をする。具体的には、ステップＳ１０で得られた各領域（位置、大きさ）に対応する領域をグレースケール画像上に設定する。
【００３２】
ステップＳ１３において、グレースケール画像の設定した領域毎に２値化するためのしきい値を設定する処理フロー（ルーチン）を実行する。
【００３３】
図３は、２値化しきい値設定の処理フロー（ルーチン）を示す図である。最初にステップＳ１３１またはステップＳ１３２を選択する。この２つのステップは任意に選択できる。ステップＳ１３１（Ａ）では、移動体毎に対応するグレースケール画像の領域上にレーザレーダ１０で検出した速度ベクトルを投影する。
【００３４】
図５は、この投影を説明するための図である。符号２０で示されるレーザレーダ１０のスキャン領域において、図のように４つの移動体が検出されたとする。各移動体は大きさ（領域）と速度ベクトルを有している。この４つの移動体について、速度ベクトルをグレースケール画像２３上に投影すると、各領域について画像上の速度ベクトルが得られる。例えば、矢印Ａで示されるように、移動体（領域）２１の速度ベクトル２２は、画像上の領域２４の速度ベクトル２５として投影される。他の移動体についても同様である。このように、レーザレーダで検出された速度ベクトルをそのまま利用せずに画像上に投影させた速度ベクトルを利用するのは、画像上での移動量が残像に影響するので、画像上に投影した後のベクトル（移動量）を利用する方がよりその残像の影響を反映させることができて効果的であるからである。
【００３５】
図３に戻って、ステップＳ１３２（Ｂ）が選択された場合は、ステップＳ１３１（Ａ）の投影に代わって、画像上の領域毎に速度ベクトル（図５の画像２３内の速度ベクトル２５に相当するもの）を、オプティカルフロー、テンプレートマッチング、あるいは位相限定相関法などの従来からの方法により求める。その際、領域毎に一つの速度ベクトル（移動量）をテンプレートマッチング等により求めても良く、あるいは画素毎のオプティカルフローを算出して移動体（領域）毎に代表値（平均値等）を算出してもよい。なお、このステップＳ１３２（Ｂ）は、既に画像上の領域毎に物体（移動体）候補が対応付けられている場合に実行されるステップであり、何らその対応が付いていない場合は、ステップＳ１３１（Ａ）が実行される。
【００３６】
次に、ステップＳ１３３において、図２のステップＳ１０において検出した物体が移動体であるか否かを判定する。この判定は、ステップＳ１３１またはＳ１３２において得られた画像の領域毎の速度（移動）ベクトル（大きさ、変化等）に基づきおこなう。この判定がＮｏの場合、ステップＳ１３６に進み、静止物に対応して予め決められた所定のしきい値Ｔｈｓを選択する。所定のしきい値Ｔｈｓは、予め画像処理ユニット１４のメモリに格納されている。なお、各領域の背景画像の輝度に応じてしきい値を変えられるように、輝度の大きさに対応した複数のしきい値を設けておき、その中から選択できるようにしてもよい。
【００３７】
ステップＳ１３３で移動体である（Ｙｅｓ）と判定された場合、次のステップＳ１３４において、領域毎の速度ベクトルの大きさＬ、すなわち各移動体の移動量Ｌを算出する。ステップＳ１３５において、速度ベクトルの大きさ（移動量）Ｌに対応した２値化しきい値を算出する。２値化しきい値Ｔｈの算出は例えば以下のようにおこなう。
【００３８】
速度ベクトルの大きさ（移動量）Ｌに応じて２値化しきい値の変化量ΔＴｈを予め決めておき、下記の式（１）で示すように、静止物に対する２値化しきい値Ｔｈｓからその変化量ΔＴｈを減算して、２値化しきい値Ｔｈｍを求める。式（１）で減算するのは、移動体の速度が大きくなるほど輝度が低下するので、２値化しきい値を小さくして、その移動体の２値化後の画像上での検出（特定）精度を上げるためである。
Ｔｈｍ ＝ Ｔｈｓ−ΔＴｈ （１）
【００３９】
あるいは、下記の式（２）で示すように、速度ベクトルの大きさ（移動量）Ｌに応じて小さくなる係数α（＜１）を予め決めておき、静止物に対する２値化しきい値Ｔｈｓにその係数α（＜１）を乗算して、２値化しきい値Ｔｈｍを求めてもよい。
Ｔｈｍ ＝ α×Ｔｈｓ （２）
【００４０】
領域毎に対応する２値化しきい値（Ｔｈｓ、Ｔｈｍ）を取得した後、図２のステップＳ１４において、そのしきい値を用いてそれぞれ対応するグレースケール画像を２値化する。具体的には、しきい値より明るい領域を「１」（白）とし、暗い領域を「０」（黒）とする処理を行う。この２値化処理により、たとえば歩行者のような、所定の温度より高い対象物が、白領域として抽出される。
【００４１】
ステップＳ１５において、２値化後の白黒画像から対象物を照合する。最初に、予めメモリに保管している除外対象物の特徴を有するか否かを調べる。除外対象物とは、例えば発熱体ではあるが明らかに形状等が異なる物体（４足動物、ボイラー、車両等）を意味する。除外対象物に該当しない場合、歩行者の特徴に該当するか否かを調べる。歩行者の特徴には、例えば歩行者の頭部の特徴として丸みを帯びた白部が存在し、その下に胴体、脚部の部分に相当する細長い白部が繋がっていること等が含まれる。また、周知のパターンマッチングを利用し、予め保管してある歩行者を表す所定のパターンとの類似度を算出し、その類似度を歩行者であるか否かの判断材料としてもよい。さらに、歩行者の歩行速度はほぼ一定であることから、レーザレーダ１０から得られる物体の移動速度（速度ベクトル）の情報を判断材料の１つとして用いてもよい。
【００４２】
ステップＳ１６において、判定された対象物が歩行者か否かを判定する。その判定は、例えば、上述した歩行者の特徴に該当するか否か、パターンマッチングの類似度が高いか、移動速度が所定範囲内か等によりおこなう。歩行者に該当しない場合は処理を終了する。
【００４３】
歩行者であると判定された場合、ステップＳ１７において、運転者の注意を喚起するために警報を発する。その際、歩行者が存在する方向に応じて警報の種類を変えると効果的である。例えば、スピーカ１６から音声で「左前方歩行者注意」等の警報を発生することにより、運転者の注意を適切な方向に喚起することができる。画像として警告する場合は、グレースケール画像を表示装置１８上に表示し、画像中の認識された歩行者に対して個別の強調表示（高輝度化、点滅、色表示等）を行うことにより、運転者の注意を促す。
【００４４】
図４は、２値化しきい値設定の処理フロー（ルーチン）の他の例を示す図である。図４では、図３のフローと違って、最初のステップＳ１３０において、図２のステップＳ１０において検出した物体が移動体であるか否かを判定する。すなわち、図３のステップＳ１３３では、図２のステップＳ１１で取得されたカメラ画像（グレースケール画像）上の速度（移動）ベクトルに基づき移動体の有無を判定しているが、図４のステップＳ１３０では、図２のステップＳ１０で取得されたレーザレーダ情報（移動体候補の動き、速度ベクトル）に基づき移動体の有無を判定する。このステップＳ１３０では、例えば物体候補毎に得られた速度ベクトルの大きさが所定値以上であるときに移動体であると判定し、所定値よりも小さいときは移動体でないと判定する。
【００４５】
この判定がＮｏの場合、ステップＳ１３６に進み、静止物に対応して予め決められた所定のしきい値Ｔｈｓを選択する。判定がＹｅｓ（移動体である）と判定された場合、次のステップＳ１３１（Ａ）またはステップＳ１３２（Ｂ）のいずれかのステップに進む。これらのステップを含めて以降のフローは上述した図３の対応するステップと同様であるので、ここではその説明を省略する。
【００４６】
図６は、画像処理ユニット１４によって実行される他の処理フローの例である。この処理フローは、図２の処理フロー同様、画像処理ユニット１４のＣＰＵがメモリに格納している処理プログラムを呼び出して、所定の時間間隔で実行される。また、３値以上の多値化に適用できることも、図２の処理フローと同様である。
【００４７】
図６の処理フローでは、図２の処理フローと異なり、レーザレーダ１０による物体検出を前提とせずに歩行者の検知をおこなう例である。ステップＳ２０において、赤外線カメラ１２の出力信号からグレースケール画像を取得する。ステップＳ２１において、取得したグレースケール画像に領域を設定する。この領域設定は、検出物体の位置とは無関係におこなわれ、例えば図７に例示するように均等に分割された９個の領域が設定される。領域の数と大きさは、車両の速度、走行場所（周辺状態）等に応じて任意に設定される。
【００４８】
ステップＳ２２において、自車両の車速を検出する。次に設定した画像上の領域毎の速度（移動）ベクトルを求めるために、次のステップＳ２３（Ａ）またはステップＳ２４（Ｂ）のいずれかのステップに進む。この２つのステップは任意に選択できる。ステップＳ２３（Ａ）においては、画像上の領域毎に速度ベクトルを、車速に応じて変わる画像の経時変化からオプティカルフローを算出することにより得る。図７は領域毎に得られた速度ベクトルの模式図である。領域２４毎に速度ベクトル２５を得る。
【００４９】
ステップＳ２４（Ｂ）が選択された場合は、最初にステップＳ２４において、画像上の消失点を算出する。消失点の算出方法には従来の任意の方法を用いることができる。次に、ステップＳ２５において、車速およびさらに取得したヨーレートから、画像上の消失点を基準（起点）とする移動ベクトルを作成する。この移動ベクトルは、自車両の挙動に応じて予測される移動量に相当する。この場合も、図７でイメージされるような領域毎の移動ベクトルを得ることができる。
【００５０】
次に、ステップＳ２６において、２値化しきい値を新たに設定（算出）するか否かを判定する。この判定がＮｏの場合、ステップＳ２７において、画像の領域毎に対応する速度（移動）ベクトルの大きさ（移動量）に応じて、領域内の背景部分の輝度を大きくする。具体的には背景の輝度のゲインを上げる。これは、自車両が移動している場合には、自車両との相対速度差が大きいほど輝度が落ち、また高輝度の物体ほどその輝度の低下が大きいので、全体特に背景の輝度（ゲイン）を移動量に応じて引き上げて、すなわちグレースケール画像上での明暗比（コントラスト）を確保して、２値化しきい値を変更（小さく）することなく２値化後の検出精度を上げるためにおこなう。
【００５１】
ステップＳ２６において、２値化しきい値を新たに設定（算出）する場合は、ステップＳ２８において、例えば図３（図４）を参照しながら説明した方法（ステップＳ１３２（Ｂ）の選択）により、画像の領域毎に２値化しきい値を設定する。なお、ステップＳ２７の輝度調整をおこなった場合は、２値化しきい値は所定値、例えば、図３（図４）のステップＳ１３６で選択されるしきい値Ｔｈｓを設定する。その後、ステップＳ２９〜Ｓ３２において、既に説明した図２のステップＳ１４〜Ｓ１７の場合と同様な方法により、２値化画像に基づき歩行者の有無を判定する。
【００５２】
最後に、図８を参照しながら赤外線カメラで取得された画像での位置ずれ補正について説明する。図８は、２値化後の画像において位置ずれ補正を説明するための図である。赤外線カメラでは、既に述べたように、移動体ではその輝度信号の立ち上がりが遅いので、実像よりも遅れて画像が取得される。具体的には、レーザでは実像の位置を捉えるので、図８の（ａ）に示すように、物体（歩行者）の静止時は、レーザで特定される領域（物標）３５と対象カメラ画像３６とは一致する。
【００５３】
しかし、物体（歩行者）の移動時には、図８（ｂ）に示すように、レーザで特定される領域（物標）３７に対して対象カメラ画像３９が遅れてしまう。このため、レーザで特定される領域（物標）に対応するカメラ画像上の領域を検出領域とするシステムにおいて、領域のズレにより対象物を検出できない恐れがある。そこで、レーザで特定される領域（物標）から対象物のカメラ画像上での移動速度（ベクトル）を求めて、検出領域の設定位置を実像位置から遅れた分補正した位置に設定する（ずらす）。図８の例では、検出領域をＰの位置（３７）からＰ´の位置（３８）までずらした設定（補正）をおこなう。
【００５４】
この補正を含む領域設定のやり方を、例えば図２、図６のフローにおける領域の設定において適用すること、すなわち設定した領域を後から速度（移動）ベクトルの大きさに応じて補正する（位置をずらす）、あるいは前回得た速度ベクトル（移動ベクトル）の大きさに基づき最初から所定の補正量だけ位置をずらして領域を設定することにより、対象物の検出（特定）精度をより向上させることが可能となる。
【００５５】
以上、本発明の実施の形態について説明したが、本発明はこのような実施形態に限定されることはなく、本発明の趣旨を逸脱しない範囲において改変して用いることができる。例えば、レーザレーダ１０は、他の種類のレーダ（例えばミリ波レーダ等）であってもよく、また、赤外線カメラ１２も赤外線以外の他の波長帯の光（例えば可視光）を利用するカメラ（ＣＣＤカメラ等）であってもよい。したがって、上述した説明では、赤外線カメラ１２が撮影したグレースケール画像を対象としているが、これに限定されるものではない。
【符号の説明】
【００５６】
１０ レーザレーダ、
１２ 赤外線カメラ、
１４ 画像処理ユニット、
１６ スピーカ、
１８ 表示装置、
２０ レーザスキャン範囲
２１ 移動体、
２３ グレースケール画像
【特許請求の範囲】
【請求項１】
車両に搭載され、該車両の周辺の物体の位置および速度ベクトルを検出する物体検出手段と、
車両に搭載され、該車両の周辺の画像を取得する撮像手段と、
前記撮像手段により取得されたグレースケール画像を多値化する多値化手段と、
物体位置検出手段が特定した物体の位置に対応する前記取得されたグレースケール画像に、当該物体の位置の各々に対応する所定サイズの領域を設定する領域設定手段と、
前記領域毎に、対応する物体の速度ベクトルの大きさに応じて、対応するグレースケール画像を多値化する際のしきい値を設定する多値化しきい値設定手段と、
前記多値化手段により対応する前記多値化しきい値を用いて多値化された画像に基づいて、所定の対象物の有無を判定する判定手段と、
を備える、車両の周辺監視装置。
【請求項２】
車両に搭載され、該車両の周辺の画像を取得する撮像手段と、
前記撮像手段により取得されたグレースケール画像を多値化する多値化手段と、
前記取得されたグレースケール画像を複数の領域に区分して、前記車両の速度に応じて、当該領域毎の速度ベクトルを算出する手段と、
前記領域毎の速度ベクトルの大きさに応じて、対応するグレースケール画像を多値化する際のしきい値を設定する多値化しきい値設定手段と、
前記多値化手段により対応する前記多値化しきい値を用いて多値化された画像に基づいて、所定の対象物の有無を判定する判定手段と、
を備える、車両の周辺監視装置。
【請求項３】
前記多値化しきい値設定手段は、前記速度ベクトルの大きさが大きくなるほど前記多値化しきい値を小さくする、請求項１または２に記載の周辺監視装置。
【請求項４】
所定時間内での前記車両の挙動によって生ずる前記取得画像の変化量を推定する手段をさらに備え、
前記多値化しきい値設定手段は、前記変化量に基づき前記速度ベクトルを調整する、請求項１〜３にいずれかに記載の周辺監視装置。
【請求項５】
前記物体検出手段はレーダを含み、前記領域設定手段は、当該レーダが検出した前記物体の速度ベクトルに応じて対応する前記領域の設定位置を移動させる、請求項１に記載の周辺監視装置。
【請求項６】
前記物体検出手段はレーダを含み、前記領域設定手段は、当該レーダに対する前記撮像手段の検出信号の遅延量に応じて前記領域を設定する、請求項１に記載の周辺監視装置。
【請求項１】
車両に搭載され、該車両の周辺の物体の位置および速度ベクトルを検出する物体検出手段と、
車両に搭載され、該車両の周辺の画像を取得する撮像手段と、
前記撮像手段により取得されたグレースケール画像を多値化する多値化手段と、
物体位置検出手段が特定した物体の位置に対応する前記取得されたグレースケール画像に、当該物体の位置の各々に対応する所定サイズの領域を設定する領域設定手段と、
前記領域毎に、対応する物体の速度ベクトルの大きさに応じて、対応するグレースケール画像を多値化する際のしきい値を設定する多値化しきい値設定手段と、
前記多値化手段により対応する前記多値化しきい値を用いて多値化された画像に基づいて、所定の対象物の有無を判定する判定手段と、
を備える、車両の周辺監視装置。
【請求項２】
車両に搭載され、該車両の周辺の画像を取得する撮像手段と、
前記撮像手段により取得されたグレースケール画像を多値化する多値化手段と、
前記取得されたグレースケール画像を複数の領域に区分して、前記車両の速度に応じて、当該領域毎の速度ベクトルを算出する手段と、
前記領域毎の速度ベクトルの大きさに応じて、対応するグレースケール画像を多値化する際のしきい値を設定する多値化しきい値設定手段と、
前記多値化手段により対応する前記多値化しきい値を用いて多値化された画像に基づいて、所定の対象物の有無を判定する判定手段と、
を備える、車両の周辺監視装置。
【請求項３】
前記多値化しきい値設定手段は、前記速度ベクトルの大きさが大きくなるほど前記多値化しきい値を小さくする、請求項１または２に記載の周辺監視装置。
【請求項４】
所定時間内での前記車両の挙動によって生ずる前記取得画像の変化量を推定する手段をさらに備え、
前記多値化しきい値設定手段は、前記変化量に基づき前記速度ベクトルを調整する、請求項１〜３にいずれかに記載の周辺監視装置。
【請求項５】
前記物体検出手段はレーダを含み、前記領域設定手段は、当該レーダが検出した前記物体の速度ベクトルに応じて対応する前記領域の設定位置を移動させる、請求項１に記載の周辺監視装置。
【請求項６】
前記物体検出手段はレーダを含み、前記領域設定手段は、当該レーダに対する前記撮像手段の検出信号の遅延量に応じて前記領域を設定する、請求項１に記載の周辺監視装置。
【図１】
【図２】
【図３】
【図４】
【図５】
【図６】
【図７】
【図８】
【図２】
【図３】
【図４】
【図５】
【図６】
【図７】
【図８】
【公開番号】特開２０１１−２２１６３０（Ｐ２０１１−２２１６３０Ａ）
【公開日】平成２３年１１月４日（２０１１．１１．４）
【国際特許分類】
【出願番号】特願２０１０−８７６７２（Ｐ２０１０−８７６７２）
【出願日】平成２２年４月６日（２０１０．４．６）
【出願人】（０００００５３２６）本田技研工業株式会社 (23,863)
【Ｆターム（参考）】
【公開日】平成２３年１１月４日（２０１１．１１．４）
【国際特許分類】
【出願日】平成２２年４月６日（２０１０．４．６）
【出願人】（０００００５３２６）本田技研工業株式会社 (23,863)
【Ｆターム（参考）】
[ Back to top ]