車両の周辺監視装置
【課題】物体位置特定手段と撮像手段とにおける光軸ずれ量を算出する手段を提供。
【解決手段】レーザレーダ１０と、車両の周辺の画像を撮像する撮像手段１２と、画像処理ユニット１４から構成される。物体位置特定手段１４１は、レーザレーダ１０からの信号により物体の位置を特定する。画像取得手段１４２は、赤外線カメラ１２が撮影した画像をグレースケール画像として取得する。画像上の物体特定手段１４３は、物体位置特定手段１４1が特定した物体位置に対応する物体を、グレースケール上で特定する。
この情報に基づいて、光軸ずれを算出する。
【解決手段】レーザレーダ１０と、車両の周辺の画像を撮像する撮像手段１２と、画像処理ユニット１４から構成される。物体位置特定手段１４１は、レーザレーダ１０からの信号により物体の位置を特定する。画像取得手段１４２は、赤外線カメラ１２が撮影した画像をグレースケール画像として取得する。画像上の物体特定手段１４３は、物体位置特定手段１４1が特定した物体位置に対応する物体を、グレースケール上で特定する。
この情報に基づいて、光軸ずれを算出する。
【発明の詳細な説明】
【技術分野】
【０００１】
本発明は、車両の周辺監視装置に関し、より具体的には、車両の周辺監視装置における撮像手段等の光軸ずれを検出し補正することに関する。
【背景技術】
【０００２】
特許文献１は、歩行者検出装置を開示する。この歩行者検出装置は、レーザレーダと赤外線カメラを併用し、レーザレーダから得られる歩行者候補の検出情報を基に赤外線画像中の歩行者を検出する。
【０００３】
しかし、レーザレーダと赤外線カメラの光軸ずれがあると、両者の検出範囲がずれてしまい、レーザレーダの検出情報に対応した赤外線画像中の歩行者を検出することができない場合が生ずる。
【０００４】
特許文献２は、車両用環境認識装置を開示する。この車両用環境認識装置は、レーンマーカ（道路白線）などのデータを用いて、テレビカメラの光軸ずれを推定し、また路側リフレクタなど道路構造物からのデータを用いて、レーザレーダ装置の光軸ずれを推定する。
【先行技術文献】
【特許文献】
【０００５】
【特許文献１】特開２００３−３０２４７０号公報
【特許文献２】特許第３１４６８０９号公報
【発明の概要】
【発明が解決しようとする課題】
【０００６】
しかし、特許文献２に記載の装置では、レーンマーカ（道路白線）や路側リフレクタ等を利用して光軸ずれを推定するので、レーザレーダの向きによっては、路側リフレクタが検知されない場合がある。また、そもそもレーンマーカ（道路白線）等が設置されていない道路では利用できない。さらに、基本的にレーンマーカ（道路白線）等が道路と並行な直線上に配置されていないと利用することができない。
【０００７】
したがって、本発明は、レーンマーカ（道路白線）や路側リフレクタ等を利用することなく、車両の周辺監視装置における撮像手段等の光軸ずれを検出し補正することを目的とする。
【課題を解決するための手段】
【０００８】
本発明は、車両の周辺の物体の位置を特定する物体位置特定手段と、車両の周辺の画像を撮像する撮像手段と、物体位置特定手段が特定した物体の位置に対応する、撮像手段が撮像した対応画像上の所定領域を特定して当該所定領域内の物体を特定する手段とを備える、車両の周辺監視装置を提供する。その周辺監視装置は、物体を特定する手段が、所定領域内で物体が特定できない場合に、対応画像上に所定領域を拡大した拡大領域を設定し、拡大領域内で物体を特定し、さらに、対応画像上の所定領域内または拡大領域内で特定された物体の位置と、対応画像上の所定領域の位置との位置ずれ量を算出する手段と、位置ずれ量と、撮像手段の焦点距離とから、物体位置特定手段と撮像手段とにおける光軸ずれ量を算出する手段と、を有する。
【０００９】
本発明によれば、レーンマーカ（道路白線）や路側リフレクタ等を利用することなく、基本的にどのような道路においても車両の周辺監視装置における撮像手段等の光軸ずれを検出することが可能となる。
【００１０】
本発明の一形態によると、さらに、物体位置特定手段が物体を特定したときから、物体を特定する手段が物体を特定するまでの時間を計測する手段と、計測された時間に応じて、物体位置特定手段と撮像手段とにおける光軸ずれの有無を判定する判定手段とを有し、位置ずれ量を算出する手段は、光軸ずれがあると判定される場合に、位置ずれ量を算出する。
【００１１】
本発明の一形態によれば、検出時間の計測と言う比較的簡易な方法により物体位置特定手段と撮像手段とにおける光軸ずれの有無を推定することが可能となる。そして、光軸ずれがあると推定される場合にのみその光軸ずれ量を算出することができるので、光軸ずれがない場合に不要な演算処理をおこなわないようにすることができる。
【００１２】
本発明の一形態によると、光軸ずれ量が所定量以上である場合、撮像手段または物体位置特定手段に失陥があると判定する手段をさらに備える。
【００１３】
本発明の一形態によると、物体位置特定手段はレーダを含み、撮像手段はカメラを含む。
【図面の簡単な説明】
【００１４】
【図１】本発明の一実施例に従う、車両の周辺監視装置の構成を示すブロック図である。
【図２】本発明の一実施例に従う、画像処理ユニットにおける処理フローを示す図である。
【図３】レーダとカメラとでの検知時間の時間差とカメラの光軸のずれ角度との関係を示す図である。
【図４】本発明の一実施例に従う処理フローを示す図である。
【図５】本発明の一実施例に従う処理（位置ずれ量算出）フローを示す図である。
【図６】本発明の一実施例に従う処理フローを示す図である。
【図７】本発明の一実施例に従う処理（光軸ずれ判定）フローを示す図である。
【発明を実施するための形態】
【００１５】
図面を参照しながら本発明の実施の形態を説明する。図１は、この発明の一実施形態に従う、車両の周辺監視装置の構成を示すブロック図である。周辺監視装置は、車両に搭載され、レーザレーダ１０と、赤外線カメラ１２と、赤外線カメラ１２によって撮像された画像データに基づいて車両周辺の物体を検出するための画像処理ユニット１４と、その検出結果に基づいて音または音声で警報を発生するスピーカ１６と、赤外線カメラ１２の撮像を介して得られた画像を表示すると共に、運転者に車両周辺の物体を認識させるための表示を行う表示装置１８とを備える。
【００１６】
なお、レーザレーダ１０は、他の種類のレーダ（例えばミリ波レーダ等）であってもよく、また、赤外線カメラ１２も赤外線以外の他の波長帯の光（例えば可視光）を利用するカメラであってもよい。したがって、以下の説明では、赤外線カメラ１２が撮影したグレースケール画像を対象としているが、これに限定されるものではない。さらに、ナビゲーション装置を備える車両においては、スピーカ１６および表示装置１８として、ナビゲーション装置が備える該当機能を利用してもよい。
【００１７】
図１の画像処理ユニット１４は、ブロック１４１〜１４８で示される手段（機能）を含む（実行する）。すなわち、画像処理ユニット１４は、レーザレーダ１０からの信号を受けて車両の周辺の物体の位置を特定する物体位置特定手段１４１と、赤外線カメラ１２が撮影した車両の周辺の画像をグレースケール画像として取得する画像取得手段１４２と、物体位置特定手段１４１が特定した物体の位置に対応する、取得された対応するグレースケール画像上の所定領域を特定して当該所定領域内の物体を特定する手段１４３を含む。物体を特定する手段１４３は、所定領域内で物体が特定できない場合に、対応するグレースケール画像上に所定領域を拡大した拡大領域を設定し、当該拡大領域内で物体を特定する。なお、物体位置特定手段１４１は、レーザレーダ１０の一部の機能として構成、すなわちレーザレーダ１０に一体的に組み込んでもよい。
【００１８】
画像処理ユニット１４は、さらに、対応するグレースケール画像上の所定領域または拡大領域内で特定された物体の位置と、対応するグレースケール画像上の所定領域の位置との位置ずれ量を算出する手段１４４と、位置ずれ量と、車両から特定された物体の位置までの距離とから、レーザレーダ１０（物体位置特定手段）と赤外線カメラ１２（撮像手段）とにおける光軸ずれ量を算出する手段１４５とを含む。
【００１９】
画像処理ユニット１４は、さらに、物体位置特定手段１４１が物体を特定したときから物体を特定する手段１４３が当該物体を特定するまでの時間を計測する手段１４６と、計測された時間に応じて、レーザレーダ１０（物体位置特定手段）と赤外線カメラ１２（撮像手段）とにおける光軸ずれの有無を判定する判定手段１４７と、光軸ずれ量が所定量以上である場合、撮像手段または物体位置特定手段に失陥があると判定する手段１４８と、両者の光軸ずれを補正する手段１４９とを含む。
【００２０】
各ブロックの機能は、画像処理ユニット１４が有するコンピュータ（ＣＰＵ）によって実現される。なお、画像処理ユニット１４の構成は、ナビゲーション装置の中に組み込んでもよい。
【００２１】
画像処理ユニット１４は、ハードウエア構成として、例えば、入力アナログ信号をデジタル信号に変換するＡ／Ｄ変換回路、デジタル化した画像信号を記憶する画像メモリ、各種演算処理を行う中央演算処理装置（ＣＰＵ）、ＣＰＵが演算に際してデータを記憶するのに使用するＲＡＭ、ＣＰＵが実行するプログラムおよび用いるデータ（テーブル、マップを含む）を記憶するＲＯＭ、スピーカ１６に対する駆動信号および表示装置１８に対する表示信号などを出力する出力回路を備えている。レーザレーダ１０と赤外線カメラ１２の出力信号は、デジタル信号に変換されてＣＰＵに入力されるよう構成される。
【００２２】
図２を参照しながら、本発明の一実施形態における位置ずれ量の算出と光軸ずれ量の算出の方法について説明する。図２は、位置ずれ量の算出を説明するための図である。図２では、走行中の車両２０の前方の位置Ｐ１とＰ２に歩行者２１がいる場合を想定している。車両２０において、赤外線カメラ１２の光軸２３はレーザレーダ１０の光軸２２に対して所定の角度βだけずれて予め設定されている。今、正常時の赤外線カメラ１２の光軸２３が角度αずれて光軸２４の位置にあるとする。赤外線カメラ１２の光軸２４はレーザレーダ１０の光軸２２に対して角度（α＋β）ずれていることになる。なお、図２ではわかりやすくするために、角度αが比較的大きく誇張して描かれているが、実際にはせいぜい数度程度で比較的微小な角度となる場合がほとんどである。
【００２３】
図２（ａ）において、符号３０、３０´は、レーザレーダ１０によって特定された歩行者２１の位置Ｐ１、Ｐ２を撮像し処理したカメラ画像（グレースケール画像または２値化後の白黒画像）である。赤外線カメラ１２の光軸が正常な位置２３にあれば、カメラ画像３０、３０´のそれぞれにおいて、レーザレーダ１０で特定された各領域３２、３２´内に歩行者の像３３、３３´が得られるはずである。しかしながら、赤外線カメラ１２の光軸がずれて２４の位置にある場合、歩行者の像は領域３２、３２´からずれて符号３４、３４´の位置までずれてしまう。このずれ量ｄは、車両２０の位置と歩行者２１との距離に拘わらず、赤外線カメラ１２の光軸のずれ量に応じて定まる一定量となる。図２では、車両２０に近い位置Ｐ２でのカメラ画像３０´内の歩行者の像３３´、３４´が、遠い位置Ｐ１での像３３、３４よりも距離が近い分だけ大きく見えることになるが、ずれ量ｄは両位置で同じである。
【００２４】
この場合、領域３２、３２´内の画像を見ているだけでは、いずれも歩行者２１の存在を特定（認識）することはできない。そこで、本発明では、レーザレーダ１０で特定される領域３２、３２´を拡大した拡大領域３１、３１´を設定して歩行者の像３４、３４´を特定できるようにする。拡大領域のサイズは、特定する物体の種類、大きさ、車両からの物体の位置までの距離等に応じて決定する。このように、図２（ａ）においては、各画像３０、３０´において歩行者の像３４、３４´の特定ができるように、拡大領域３１、３１´を個別に設定する例を示している。
【００２５】
歩行者の像３４、３４´が特定できれば、カメラ画像上でのずれ量ｄを例えば以下のようにして求める。すなわち、カメラ画像上でのレーザレーダ１０で特定された領域３２または３２´の重心の位置ｇ１と、特定した歩行者の像３４または３４´の重心の位置ｇ２を求めて、両者の差分をカメラ画像上でのずれ量ｄとする。
ｄ ＝ ｇ１−ｇ２ （１）
【００２６】
赤外線カメラ１２の光軸のずれ角度αは、カメラ画像上でのずれ量ｄと、カメラの焦点距離ｆとから次式により求めることができる。
α ＝ ｔａｎ−１（ｄ／ｆ） （２）
【００２７】
図２の（ｂ）は、（ａ）とほとんど同じであるが、異なる点は拡大領域４１、４１´の設定が異なることである。すなわち、（ｂ）のカメラ画像４０における拡大領域４１は、（ａ）のカメラ画像３０における拡大領域３１よりもサイズが小さく設定され、かつカメラ画像４０´でもその設定をそのまま利用（維持）している。すなわち、画像４０、４０´では同じサイズの拡大領域を設定している。なお、拡大領域４１´が４１よりも大きくなっているのは、位置Ｐ２がＰ１よりも車両２０に近くなる分領域が拡大されるからである。
【００２８】
（ｂ）において、赤外線カメラ１２の光軸がずれて２４の位置にある場合、位置Ｐ１でのカメラ画像４０においては、拡大領域４１内で歩行者の像４４を特定することができない。その結果、位置Ｐ１でのカメラ画像４０からは、本来あるはずのずれ量ｄを算出することはできない。一方、位置Ｐ２でのカメラ画像４０´においては、拡大領域４１´内で歩行者の像４４´を特定することができる。その結果、位置Ｐ２でのカメラ画像４０´から、（１）式と（２）式を用いてずれ量ｄと赤外線カメラ１２の光軸のずれ角度αを算出することができる。
【００２９】
このように、（ｂ）の例では、拡大領域４１の大きさを調整することにより、特定する物体（図２では歩行者２１）と車両との距離に応じて、カメラ画像の拡大領域４１から物体を特定できたりできなかったりさせることができる。言い換えれば、拡大領域４１の大きさを調整することにより、レーザレーダ１０で所定の物体の位置が検知（特定）されてから赤外線カメラ１２でその物体が拡大領域４１において検知（特定）されるまでの時間を変えることができる。また、この時間は赤外線カメラ１２の光軸のずれ角度αの大きさにも依存して変わる。これらの知見に基づき以下に述べるように赤外線カメラ１２の光軸のずれの有無を判定（推定）することができる。
【００３０】
図３は、レーザレーダ１０で所定の物体の位置が検知されてから赤外線カメラ１２でその物体が検知されるまでの時間差ΔＴと、光軸のずれ角度αとの関係を示す図である。グラフＡで示されるように、光軸のずれ角度αと時間差ΔＴとは比例関係にある。例えば、時間差ΔＴに所定のしきい値ΔＴｈ１を設定し、計測された時間差がこのしきい値ΔＴｈ１以上となる場合、すなわちずれ角度αがα１以上になる場合、赤外線カメラ１２の光軸のずれがあると判定する。またΔＴｈ１より大きな別のしきい値ΔＴｈ２を設けて、時間差ΔＴがしきい値ΔＴｈ１以上でしきい値ΔＴｈ２以下の範囲（ΔＴｈ１≦ΔＴ≦ΔＴｈ２）で光軸のずれを補正することにし、しきい値ΔＴｈ２を超えた場合は、補正では調整できない失陥（故障）として処理することもできる。
【００３１】
次に、図４〜図６を参照しながら、画像処理ユニット１４によって実行される処理フローについて説明する。各図の処理フローは、画像処理ユニット１４のＣＰＵがメモリに格納している処理プログラムを呼び出して、所定の時間間隔で実行される。
【００３２】
図４のステップＳ１０において、レーザレーダ１０からの信号を受けて車両の周辺の所定の物体の位置を特定する。その特定には任意の方法を用いることができるが、例えば以下のようにおこなう。
【００３３】
レーザレーダ１０としてスキャン式レーザレーダを使用して、その検出点群の幅から物体、例えば歩行者候補の位置を特定する。具体的には、スキャン式レーザレーダでは、各方向にスキャンするビームの物体からの反射光を受光することにより、検出点として各方向における物体までの距離を測定する。レーザレーダの位置を原点としてＹ軸をレーダの正面方向とする２次元座標系にこれらの検出点の位置をプロットして検出点の集合を得る。これらの検出点の集合から、各検出点の相互の間隔が所定値以下のものを検出点群としてグループ化し、グループ化した検出点群のうち、広がり幅が所定値以下のものを所定の物体候補（例えば歩行者候補）とみなしてその位置を特定する。
【００３４】
ステップＳ１１において、赤外線カメラ１０の出力信号（すなわち、撮像画像のデータ）を入力として受け取り、これをＡ／Ｄ変換して、画像メモリに格納する。格納される画像データは、輝度情報を含んだグレースケール（白黒の濃淡）画像である。対象の温度が高い部分ほど高輝度となる赤外線カメラでは、高輝度部分の明暗値が高い画像データとなり、その温度が低く（低輝度に）なるにつれて明暗値が低い画像データとなる。
【００３５】
ステップＳ１２において、取得されたグレースケール画像に所定の物体を検知する範囲となる領域を設定する。この領域には、図２において説明した、レーザレーダ１０で特定された領域３２、３２´や拡大領域３１、３１´が含まれる。領域３２、３２´の設定は、任意の方法を用いることができるが、例えば物体の位置として歩行者の位置を特定する場合を例にとると、上述した歩行者候補の位置を含む所定サイズの領域（検出点群）を赤外線カメラ１２のカメラ座標系に変換し、グレースケール画像２０中にマッピング（重畳）して、対応するグレースケール画像の領域を領域３２、３２´として設定する。また、上述したように、拡大領域３１、３１´は、特定する物体の種類、大きさ、車両からの物体の位置までの距離等に応じて決定する。
【００３６】
ステップＳ１３において、グレースケール画像上の設定された領域内で所定の物体を特定する。この特定は、任意の方法によりおこなうことができるが、例えば、グレースケール画像を２値化処理して得られる白黒画像から周知のパターンマッチングを利用して所定の物体か否かを照合することにより特定する。
【００３７】
ステップＳ１４において、所定の物体が特定できたか否かを判定する。この判定がＮｏの場合は、ステップＳ１２に戻り領域を再設定する。例えば、図２の拡大領域を設定する。ステップＳ１２へ回帰する毎に、拡大領域の大きさを増加させ、所定サイズに達したときに回帰処理を止めるようにする。ステップＳ１４での判定がＹｅｓの場合、ステップＳ１５において、位置ずれ量を算出する。
【００３８】
図５は、位置ずれ量を算出するフローである。この位置ずれ量の算出は、図２を参照しながら式（１）を用いて上述した通りである。ステップＳ１５１において、画像上の所定範囲の重心を算出する。この所定範囲は、図２のカメラ画像上でのレーザレーダ１０で特定された領域３２、３２´等が該当する。ステップＳ１５２において、画像上の所定範囲あるいは拡大領域（図２）において特定された所定の物体の重心を算出する。ステップＳ１５３において、算出した２つの重心の位置の差分をカメラ画像上でのずれ量として算出する。
【００３９】
図４に戻って、ステップＳ１６において、得られたずれ量が所定量ΔＬ１よりも大きいか否かを判定する。この判定がＮｏの場合、光軸のずれ量が小さく許容範囲にあるものとして、その補正を行うことなく処理を終了する。判定がＹｅｓの場合、ステップＳ１７において、ずれ量が所定量ΔＬ２（＞ΔＬ１）よりも小さいか否かを判定する。この判定がＮｏの場合、光軸のずれ量（角度）が大きくずれ過ぎた範囲にあるものとして、ステップＳ１８に進み、赤外線カメラ１２の光軸に補正では調整できない失陥があると判定する。
【００４０】
ステップＳ１７の判定がＹｅｓの場合、ステップＳ１９において、光軸のずれ角度を算出する。この光軸のずれ角度の算出は、既に図２を参照しながら式（２）を用いて説明した通りである。最後にステップＳ２０において、得られた光軸のずれ角度に相当する補正をおこなう。その補正方法は、画像処理上での補正あるいは光軸自体の調整等従来からの任意の方法を用いておこなう。
【００４１】
図６は、図４のフローの別の実施形態である。図６において、図４のフローに対して、２つのステップＳ１４０とＳ１４５が追加されている点が異なっており、他のステップは図４の各ステップと同様である。したがって、ここでは主に追加された２つのステップＳ１４０とＳ１４５について説明する。
【００４２】
図６のステップＳ１４において、所定の物体が特定できた場合、ステップＳ１４０において、光軸のずれ判定がおこなわれる。
【００４３】
図７に光軸のずれ判定のフロー示す。この判定内容は、図３を参照しながら既に説明した通りである。ステップＳ１４０１において、レーザレーダ１０で所定の物体の位置を検知（特定）した時刻Ｔ１を取得する。ステップＳ１４０２において、カメラ画像においてその所定の物体が検知（特定）された時刻Ｔ２を取得する。ステップＳ１４０３において、時刻Ｔ１とＴ２の差分ΔＴ（＝Ｔ２−Ｔ１）を算出する。この差分ΔＴは図３のΔＴに相当する。ステップＳ１４０４において、得られた差分ΔＴが所定値よりも大きいか否かを判定する。この所定値は例えば図３のしきい値ΔＴｈ１が該当する。この判定がＹｅｓの場合、ステップＳ１４０５において、「光軸のずれあり」のフラグを立てる。判定がＮｏの場合、ステップＳ１４０６において、「光軸のずれなし」のフラグを立てる。
【００４４】
図６に戻って、ステップＳ１４５において、光軸のずれがあるか否かを判定する。この判定がＹｅｓの場合、ステップＳ１５に進み、既に図４および図５を参照しながら説明した位置ずれ量の算出をおこなう。判定がＮｏの場合、光軸のずれがないものとして処理を終了する。図６においては、２つのステップＳ１４０とＳ１４５において、位置ずれ量の算出をおこなう前に光軸のずれの有無を判定するので、光軸のずれが無い場合に直ちに処理を終了して、余計な演算処理をおこなわないようにすることができる。
【００４５】
以上、本発明の実施の形態について説明したが、本発明はこのような実施形態に限定されることはなく、本発明の趣旨を逸脱しない範囲において改変して用いることができる。なお、上述した実施形態では、カメラの光軸がずれている場合について説明したが、レーダの光軸がずれている場合も同様に本発明を適用することができることは言うまでもない。
【符号の説明】
【００４６】
１０ レーザレーダ、
１２ 赤外線カメラ、
１４ 画像処理ユニット
１６ スピーカ、
１８ 表示装置、
２０ 車両
２１ 歩行者
３０、３０´、４０、４０´ カメラ画像
【技術分野】
【０００１】
本発明は、車両の周辺監視装置に関し、より具体的には、車両の周辺監視装置における撮像手段等の光軸ずれを検出し補正することに関する。
【背景技術】
【０００２】
特許文献１は、歩行者検出装置を開示する。この歩行者検出装置は、レーザレーダと赤外線カメラを併用し、レーザレーダから得られる歩行者候補の検出情報を基に赤外線画像中の歩行者を検出する。
【０００３】
しかし、レーザレーダと赤外線カメラの光軸ずれがあると、両者の検出範囲がずれてしまい、レーザレーダの検出情報に対応した赤外線画像中の歩行者を検出することができない場合が生ずる。
【０００４】
特許文献２は、車両用環境認識装置を開示する。この車両用環境認識装置は、レーンマーカ（道路白線）などのデータを用いて、テレビカメラの光軸ずれを推定し、また路側リフレクタなど道路構造物からのデータを用いて、レーザレーダ装置の光軸ずれを推定する。
【先行技術文献】
【特許文献】
【０００５】
【特許文献１】特開２００３−３０２４７０号公報
【特許文献２】特許第３１４６８０９号公報
【発明の概要】
【発明が解決しようとする課題】
【０００６】
しかし、特許文献２に記載の装置では、レーンマーカ（道路白線）や路側リフレクタ等を利用して光軸ずれを推定するので、レーザレーダの向きによっては、路側リフレクタが検知されない場合がある。また、そもそもレーンマーカ（道路白線）等が設置されていない道路では利用できない。さらに、基本的にレーンマーカ（道路白線）等が道路と並行な直線上に配置されていないと利用することができない。
【０００７】
したがって、本発明は、レーンマーカ（道路白線）や路側リフレクタ等を利用することなく、車両の周辺監視装置における撮像手段等の光軸ずれを検出し補正することを目的とする。
【課題を解決するための手段】
【０００８】
本発明は、車両の周辺の物体の位置を特定する物体位置特定手段と、車両の周辺の画像を撮像する撮像手段と、物体位置特定手段が特定した物体の位置に対応する、撮像手段が撮像した対応画像上の所定領域を特定して当該所定領域内の物体を特定する手段とを備える、車両の周辺監視装置を提供する。その周辺監視装置は、物体を特定する手段が、所定領域内で物体が特定できない場合に、対応画像上に所定領域を拡大した拡大領域を設定し、拡大領域内で物体を特定し、さらに、対応画像上の所定領域内または拡大領域内で特定された物体の位置と、対応画像上の所定領域の位置との位置ずれ量を算出する手段と、位置ずれ量と、撮像手段の焦点距離とから、物体位置特定手段と撮像手段とにおける光軸ずれ量を算出する手段と、を有する。
【０００９】
本発明によれば、レーンマーカ（道路白線）や路側リフレクタ等を利用することなく、基本的にどのような道路においても車両の周辺監視装置における撮像手段等の光軸ずれを検出することが可能となる。
【００１０】
本発明の一形態によると、さらに、物体位置特定手段が物体を特定したときから、物体を特定する手段が物体を特定するまでの時間を計測する手段と、計測された時間に応じて、物体位置特定手段と撮像手段とにおける光軸ずれの有無を判定する判定手段とを有し、位置ずれ量を算出する手段は、光軸ずれがあると判定される場合に、位置ずれ量を算出する。
【００１１】
本発明の一形態によれば、検出時間の計測と言う比較的簡易な方法により物体位置特定手段と撮像手段とにおける光軸ずれの有無を推定することが可能となる。そして、光軸ずれがあると推定される場合にのみその光軸ずれ量を算出することができるので、光軸ずれがない場合に不要な演算処理をおこなわないようにすることができる。
【００１２】
本発明の一形態によると、光軸ずれ量が所定量以上である場合、撮像手段または物体位置特定手段に失陥があると判定する手段をさらに備える。
【００１３】
本発明の一形態によると、物体位置特定手段はレーダを含み、撮像手段はカメラを含む。
【図面の簡単な説明】
【００１４】
【図１】本発明の一実施例に従う、車両の周辺監視装置の構成を示すブロック図である。
【図２】本発明の一実施例に従う、画像処理ユニットにおける処理フローを示す図である。
【図３】レーダとカメラとでの検知時間の時間差とカメラの光軸のずれ角度との関係を示す図である。
【図４】本発明の一実施例に従う処理フローを示す図である。
【図５】本発明の一実施例に従う処理（位置ずれ量算出）フローを示す図である。
【図６】本発明の一実施例に従う処理フローを示す図である。
【図７】本発明の一実施例に従う処理（光軸ずれ判定）フローを示す図である。
【発明を実施するための形態】
【００１５】
図面を参照しながら本発明の実施の形態を説明する。図１は、この発明の一実施形態に従う、車両の周辺監視装置の構成を示すブロック図である。周辺監視装置は、車両に搭載され、レーザレーダ１０と、赤外線カメラ１２と、赤外線カメラ１２によって撮像された画像データに基づいて車両周辺の物体を検出するための画像処理ユニット１４と、その検出結果に基づいて音または音声で警報を発生するスピーカ１６と、赤外線カメラ１２の撮像を介して得られた画像を表示すると共に、運転者に車両周辺の物体を認識させるための表示を行う表示装置１８とを備える。
【００１６】
なお、レーザレーダ１０は、他の種類のレーダ（例えばミリ波レーダ等）であってもよく、また、赤外線カメラ１２も赤外線以外の他の波長帯の光（例えば可視光）を利用するカメラであってもよい。したがって、以下の説明では、赤外線カメラ１２が撮影したグレースケール画像を対象としているが、これに限定されるものではない。さらに、ナビゲーション装置を備える車両においては、スピーカ１６および表示装置１８として、ナビゲーション装置が備える該当機能を利用してもよい。
【００１７】
図１の画像処理ユニット１４は、ブロック１４１〜１４８で示される手段（機能）を含む（実行する）。すなわち、画像処理ユニット１４は、レーザレーダ１０からの信号を受けて車両の周辺の物体の位置を特定する物体位置特定手段１４１と、赤外線カメラ１２が撮影した車両の周辺の画像をグレースケール画像として取得する画像取得手段１４２と、物体位置特定手段１４１が特定した物体の位置に対応する、取得された対応するグレースケール画像上の所定領域を特定して当該所定領域内の物体を特定する手段１４３を含む。物体を特定する手段１４３は、所定領域内で物体が特定できない場合に、対応するグレースケール画像上に所定領域を拡大した拡大領域を設定し、当該拡大領域内で物体を特定する。なお、物体位置特定手段１４１は、レーザレーダ１０の一部の機能として構成、すなわちレーザレーダ１０に一体的に組み込んでもよい。
【００１８】
画像処理ユニット１４は、さらに、対応するグレースケール画像上の所定領域または拡大領域内で特定された物体の位置と、対応するグレースケール画像上の所定領域の位置との位置ずれ量を算出する手段１４４と、位置ずれ量と、車両から特定された物体の位置までの距離とから、レーザレーダ１０（物体位置特定手段）と赤外線カメラ１２（撮像手段）とにおける光軸ずれ量を算出する手段１４５とを含む。
【００１９】
画像処理ユニット１４は、さらに、物体位置特定手段１４１が物体を特定したときから物体を特定する手段１４３が当該物体を特定するまでの時間を計測する手段１４６と、計測された時間に応じて、レーザレーダ１０（物体位置特定手段）と赤外線カメラ１２（撮像手段）とにおける光軸ずれの有無を判定する判定手段１４７と、光軸ずれ量が所定量以上である場合、撮像手段または物体位置特定手段に失陥があると判定する手段１４８と、両者の光軸ずれを補正する手段１４９とを含む。
【００２０】
各ブロックの機能は、画像処理ユニット１４が有するコンピュータ（ＣＰＵ）によって実現される。なお、画像処理ユニット１４の構成は、ナビゲーション装置の中に組み込んでもよい。
【００２１】
画像処理ユニット１４は、ハードウエア構成として、例えば、入力アナログ信号をデジタル信号に変換するＡ／Ｄ変換回路、デジタル化した画像信号を記憶する画像メモリ、各種演算処理を行う中央演算処理装置（ＣＰＵ）、ＣＰＵが演算に際してデータを記憶するのに使用するＲＡＭ、ＣＰＵが実行するプログラムおよび用いるデータ（テーブル、マップを含む）を記憶するＲＯＭ、スピーカ１６に対する駆動信号および表示装置１８に対する表示信号などを出力する出力回路を備えている。レーザレーダ１０と赤外線カメラ１２の出力信号は、デジタル信号に変換されてＣＰＵに入力されるよう構成される。
【００２２】
図２を参照しながら、本発明の一実施形態における位置ずれ量の算出と光軸ずれ量の算出の方法について説明する。図２は、位置ずれ量の算出を説明するための図である。図２では、走行中の車両２０の前方の位置Ｐ１とＰ２に歩行者２１がいる場合を想定している。車両２０において、赤外線カメラ１２の光軸２３はレーザレーダ１０の光軸２２に対して所定の角度βだけずれて予め設定されている。今、正常時の赤外線カメラ１２の光軸２３が角度αずれて光軸２４の位置にあるとする。赤外線カメラ１２の光軸２４はレーザレーダ１０の光軸２２に対して角度（α＋β）ずれていることになる。なお、図２ではわかりやすくするために、角度αが比較的大きく誇張して描かれているが、実際にはせいぜい数度程度で比較的微小な角度となる場合がほとんどである。
【００２３】
図２（ａ）において、符号３０、３０´は、レーザレーダ１０によって特定された歩行者２１の位置Ｐ１、Ｐ２を撮像し処理したカメラ画像（グレースケール画像または２値化後の白黒画像）である。赤外線カメラ１２の光軸が正常な位置２３にあれば、カメラ画像３０、３０´のそれぞれにおいて、レーザレーダ１０で特定された各領域３２、３２´内に歩行者の像３３、３３´が得られるはずである。しかしながら、赤外線カメラ１２の光軸がずれて２４の位置にある場合、歩行者の像は領域３２、３２´からずれて符号３４、３４´の位置までずれてしまう。このずれ量ｄは、車両２０の位置と歩行者２１との距離に拘わらず、赤外線カメラ１２の光軸のずれ量に応じて定まる一定量となる。図２では、車両２０に近い位置Ｐ２でのカメラ画像３０´内の歩行者の像３３´、３４´が、遠い位置Ｐ１での像３３、３４よりも距離が近い分だけ大きく見えることになるが、ずれ量ｄは両位置で同じである。
【００２４】
この場合、領域３２、３２´内の画像を見ているだけでは、いずれも歩行者２１の存在を特定（認識）することはできない。そこで、本発明では、レーザレーダ１０で特定される領域３２、３２´を拡大した拡大領域３１、３１´を設定して歩行者の像３４、３４´を特定できるようにする。拡大領域のサイズは、特定する物体の種類、大きさ、車両からの物体の位置までの距離等に応じて決定する。このように、図２（ａ）においては、各画像３０、３０´において歩行者の像３４、３４´の特定ができるように、拡大領域３１、３１´を個別に設定する例を示している。
【００２５】
歩行者の像３４、３４´が特定できれば、カメラ画像上でのずれ量ｄを例えば以下のようにして求める。すなわち、カメラ画像上でのレーザレーダ１０で特定された領域３２または３２´の重心の位置ｇ１と、特定した歩行者の像３４または３４´の重心の位置ｇ２を求めて、両者の差分をカメラ画像上でのずれ量ｄとする。
ｄ ＝ ｇ１−ｇ２ （１）
【００２６】
赤外線カメラ１２の光軸のずれ角度αは、カメラ画像上でのずれ量ｄと、カメラの焦点距離ｆとから次式により求めることができる。
α ＝ ｔａｎ−１（ｄ／ｆ） （２）
【００２７】
図２の（ｂ）は、（ａ）とほとんど同じであるが、異なる点は拡大領域４１、４１´の設定が異なることである。すなわち、（ｂ）のカメラ画像４０における拡大領域４１は、（ａ）のカメラ画像３０における拡大領域３１よりもサイズが小さく設定され、かつカメラ画像４０´でもその設定をそのまま利用（維持）している。すなわち、画像４０、４０´では同じサイズの拡大領域を設定している。なお、拡大領域４１´が４１よりも大きくなっているのは、位置Ｐ２がＰ１よりも車両２０に近くなる分領域が拡大されるからである。
【００２８】
（ｂ）において、赤外線カメラ１２の光軸がずれて２４の位置にある場合、位置Ｐ１でのカメラ画像４０においては、拡大領域４１内で歩行者の像４４を特定することができない。その結果、位置Ｐ１でのカメラ画像４０からは、本来あるはずのずれ量ｄを算出することはできない。一方、位置Ｐ２でのカメラ画像４０´においては、拡大領域４１´内で歩行者の像４４´を特定することができる。その結果、位置Ｐ２でのカメラ画像４０´から、（１）式と（２）式を用いてずれ量ｄと赤外線カメラ１２の光軸のずれ角度αを算出することができる。
【００２９】
このように、（ｂ）の例では、拡大領域４１の大きさを調整することにより、特定する物体（図２では歩行者２１）と車両との距離に応じて、カメラ画像の拡大領域４１から物体を特定できたりできなかったりさせることができる。言い換えれば、拡大領域４１の大きさを調整することにより、レーザレーダ１０で所定の物体の位置が検知（特定）されてから赤外線カメラ１２でその物体が拡大領域４１において検知（特定）されるまでの時間を変えることができる。また、この時間は赤外線カメラ１２の光軸のずれ角度αの大きさにも依存して変わる。これらの知見に基づき以下に述べるように赤外線カメラ１２の光軸のずれの有無を判定（推定）することができる。
【００３０】
図３は、レーザレーダ１０で所定の物体の位置が検知されてから赤外線カメラ１２でその物体が検知されるまでの時間差ΔＴと、光軸のずれ角度αとの関係を示す図である。グラフＡで示されるように、光軸のずれ角度αと時間差ΔＴとは比例関係にある。例えば、時間差ΔＴに所定のしきい値ΔＴｈ１を設定し、計測された時間差がこのしきい値ΔＴｈ１以上となる場合、すなわちずれ角度αがα１以上になる場合、赤外線カメラ１２の光軸のずれがあると判定する。またΔＴｈ１より大きな別のしきい値ΔＴｈ２を設けて、時間差ΔＴがしきい値ΔＴｈ１以上でしきい値ΔＴｈ２以下の範囲（ΔＴｈ１≦ΔＴ≦ΔＴｈ２）で光軸のずれを補正することにし、しきい値ΔＴｈ２を超えた場合は、補正では調整できない失陥（故障）として処理することもできる。
【００３１】
次に、図４〜図６を参照しながら、画像処理ユニット１４によって実行される処理フローについて説明する。各図の処理フローは、画像処理ユニット１４のＣＰＵがメモリに格納している処理プログラムを呼び出して、所定の時間間隔で実行される。
【００３２】
図４のステップＳ１０において、レーザレーダ１０からの信号を受けて車両の周辺の所定の物体の位置を特定する。その特定には任意の方法を用いることができるが、例えば以下のようにおこなう。
【００３３】
レーザレーダ１０としてスキャン式レーザレーダを使用して、その検出点群の幅から物体、例えば歩行者候補の位置を特定する。具体的には、スキャン式レーザレーダでは、各方向にスキャンするビームの物体からの反射光を受光することにより、検出点として各方向における物体までの距離を測定する。レーザレーダの位置を原点としてＹ軸をレーダの正面方向とする２次元座標系にこれらの検出点の位置をプロットして検出点の集合を得る。これらの検出点の集合から、各検出点の相互の間隔が所定値以下のものを検出点群としてグループ化し、グループ化した検出点群のうち、広がり幅が所定値以下のものを所定の物体候補（例えば歩行者候補）とみなしてその位置を特定する。
【００３４】
ステップＳ１１において、赤外線カメラ１０の出力信号（すなわち、撮像画像のデータ）を入力として受け取り、これをＡ／Ｄ変換して、画像メモリに格納する。格納される画像データは、輝度情報を含んだグレースケール（白黒の濃淡）画像である。対象の温度が高い部分ほど高輝度となる赤外線カメラでは、高輝度部分の明暗値が高い画像データとなり、その温度が低く（低輝度に）なるにつれて明暗値が低い画像データとなる。
【００３５】
ステップＳ１２において、取得されたグレースケール画像に所定の物体を検知する範囲となる領域を設定する。この領域には、図２において説明した、レーザレーダ１０で特定された領域３２、３２´や拡大領域３１、３１´が含まれる。領域３２、３２´の設定は、任意の方法を用いることができるが、例えば物体の位置として歩行者の位置を特定する場合を例にとると、上述した歩行者候補の位置を含む所定サイズの領域（検出点群）を赤外線カメラ１２のカメラ座標系に変換し、グレースケール画像２０中にマッピング（重畳）して、対応するグレースケール画像の領域を領域３２、３２´として設定する。また、上述したように、拡大領域３１、３１´は、特定する物体の種類、大きさ、車両からの物体の位置までの距離等に応じて決定する。
【００３６】
ステップＳ１３において、グレースケール画像上の設定された領域内で所定の物体を特定する。この特定は、任意の方法によりおこなうことができるが、例えば、グレースケール画像を２値化処理して得られる白黒画像から周知のパターンマッチングを利用して所定の物体か否かを照合することにより特定する。
【００３７】
ステップＳ１４において、所定の物体が特定できたか否かを判定する。この判定がＮｏの場合は、ステップＳ１２に戻り領域を再設定する。例えば、図２の拡大領域を設定する。ステップＳ１２へ回帰する毎に、拡大領域の大きさを増加させ、所定サイズに達したときに回帰処理を止めるようにする。ステップＳ１４での判定がＹｅｓの場合、ステップＳ１５において、位置ずれ量を算出する。
【００３８】
図５は、位置ずれ量を算出するフローである。この位置ずれ量の算出は、図２を参照しながら式（１）を用いて上述した通りである。ステップＳ１５１において、画像上の所定範囲の重心を算出する。この所定範囲は、図２のカメラ画像上でのレーザレーダ１０で特定された領域３２、３２´等が該当する。ステップＳ１５２において、画像上の所定範囲あるいは拡大領域（図２）において特定された所定の物体の重心を算出する。ステップＳ１５３において、算出した２つの重心の位置の差分をカメラ画像上でのずれ量として算出する。
【００３９】
図４に戻って、ステップＳ１６において、得られたずれ量が所定量ΔＬ１よりも大きいか否かを判定する。この判定がＮｏの場合、光軸のずれ量が小さく許容範囲にあるものとして、その補正を行うことなく処理を終了する。判定がＹｅｓの場合、ステップＳ１７において、ずれ量が所定量ΔＬ２（＞ΔＬ１）よりも小さいか否かを判定する。この判定がＮｏの場合、光軸のずれ量（角度）が大きくずれ過ぎた範囲にあるものとして、ステップＳ１８に進み、赤外線カメラ１２の光軸に補正では調整できない失陥があると判定する。
【００４０】
ステップＳ１７の判定がＹｅｓの場合、ステップＳ１９において、光軸のずれ角度を算出する。この光軸のずれ角度の算出は、既に図２を参照しながら式（２）を用いて説明した通りである。最後にステップＳ２０において、得られた光軸のずれ角度に相当する補正をおこなう。その補正方法は、画像処理上での補正あるいは光軸自体の調整等従来からの任意の方法を用いておこなう。
【００４１】
図６は、図４のフローの別の実施形態である。図６において、図４のフローに対して、２つのステップＳ１４０とＳ１４５が追加されている点が異なっており、他のステップは図４の各ステップと同様である。したがって、ここでは主に追加された２つのステップＳ１４０とＳ１４５について説明する。
【００４２】
図６のステップＳ１４において、所定の物体が特定できた場合、ステップＳ１４０において、光軸のずれ判定がおこなわれる。
【００４３】
図７に光軸のずれ判定のフロー示す。この判定内容は、図３を参照しながら既に説明した通りである。ステップＳ１４０１において、レーザレーダ１０で所定の物体の位置を検知（特定）した時刻Ｔ１を取得する。ステップＳ１４０２において、カメラ画像においてその所定の物体が検知（特定）された時刻Ｔ２を取得する。ステップＳ１４０３において、時刻Ｔ１とＴ２の差分ΔＴ（＝Ｔ２−Ｔ１）を算出する。この差分ΔＴは図３のΔＴに相当する。ステップＳ１４０４において、得られた差分ΔＴが所定値よりも大きいか否かを判定する。この所定値は例えば図３のしきい値ΔＴｈ１が該当する。この判定がＹｅｓの場合、ステップＳ１４０５において、「光軸のずれあり」のフラグを立てる。判定がＮｏの場合、ステップＳ１４０６において、「光軸のずれなし」のフラグを立てる。
【００４４】
図６に戻って、ステップＳ１４５において、光軸のずれがあるか否かを判定する。この判定がＹｅｓの場合、ステップＳ１５に進み、既に図４および図５を参照しながら説明した位置ずれ量の算出をおこなう。判定がＮｏの場合、光軸のずれがないものとして処理を終了する。図６においては、２つのステップＳ１４０とＳ１４５において、位置ずれ量の算出をおこなう前に光軸のずれの有無を判定するので、光軸のずれが無い場合に直ちに処理を終了して、余計な演算処理をおこなわないようにすることができる。
【００４５】
以上、本発明の実施の形態について説明したが、本発明はこのような実施形態に限定されることはなく、本発明の趣旨を逸脱しない範囲において改変して用いることができる。なお、上述した実施形態では、カメラの光軸がずれている場合について説明したが、レーダの光軸がずれている場合も同様に本発明を適用することができることは言うまでもない。
【符号の説明】
【００４６】
１０ レーザレーダ、
１２ 赤外線カメラ、
１４ 画像処理ユニット
１６ スピーカ、
１８ 表示装置、
２０ 車両
２１ 歩行者
３０、３０´、４０、４０´ カメラ画像
【特許請求の範囲】
【請求項１】
車両の周辺の物体の位置を特定する物体位置特定手段と、車両の周辺の画像を撮像する撮像手段と、前記物体位置特定手段が特定した物体の位置に対応する、前記撮像手段が撮像した対応画像上の所定領域を特定して当該所定領域内の前記物体を特定する手段とを備える、車両の周辺監視装置であって、
前記物体を特定する手段は、前記所定領域内で前記物体が特定できない場合に、前記対応画像上に前記所定領域を拡大した拡大領域を設定し、当該拡大領域内で前記物体を特定し、さらに、
前記対応画像上の前記所定領域内または前記拡大領域内で特定された物体の位置と、前記対応画像上の前記所定領域の位置との位置ずれ量を算出する手段と、
前記位置ずれ量と、前記撮像手段の焦点距離とから、前記物体位置特定手段と前記撮像手段とにおける光軸ずれ量を算出する手段と、を有する車両の周辺監視装置。
【請求項２】
前記物体位置特定手段が前記物体を特定したときから、前記物体を特定する手段が前記物体を特定するまでの時間を計測する手段と、
計測された前記時間に応じて、前記物体位置特定手段と前記撮像手段とにおける光軸ずれの有無を判定する判定手段とをさらに有し、
前記位置ずれ量を算出する手段は、前記光軸ずれがあると判定される場合に、当該位置ずれ量を算出する、請求項１に記載の周辺監視装置。
【請求項３】
前記光軸ずれ量が所定量以上である場合、前記撮像手段または前記物体位置特定手段に失陥があると判定する手段をさらに備える、請求項１に記載の周辺監視装置。
【請求項４】
前記物体位置特定手段はレーダを含み、前記撮像手段はカメラを含む、請求項１〜３のいずれかに記載の周辺監視装置。
【請求項１】
車両の周辺の物体の位置を特定する物体位置特定手段と、車両の周辺の画像を撮像する撮像手段と、前記物体位置特定手段が特定した物体の位置に対応する、前記撮像手段が撮像した対応画像上の所定領域を特定して当該所定領域内の前記物体を特定する手段とを備える、車両の周辺監視装置であって、
前記物体を特定する手段は、前記所定領域内で前記物体が特定できない場合に、前記対応画像上に前記所定領域を拡大した拡大領域を設定し、当該拡大領域内で前記物体を特定し、さらに、
前記対応画像上の前記所定領域内または前記拡大領域内で特定された物体の位置と、前記対応画像上の前記所定領域の位置との位置ずれ量を算出する手段と、
前記位置ずれ量と、前記撮像手段の焦点距離とから、前記物体位置特定手段と前記撮像手段とにおける光軸ずれ量を算出する手段と、を有する車両の周辺監視装置。
【請求項２】
前記物体位置特定手段が前記物体を特定したときから、前記物体を特定する手段が前記物体を特定するまでの時間を計測する手段と、
計測された前記時間に応じて、前記物体位置特定手段と前記撮像手段とにおける光軸ずれの有無を判定する判定手段とをさらに有し、
前記位置ずれ量を算出する手段は、前記光軸ずれがあると判定される場合に、当該位置ずれ量を算出する、請求項１に記載の周辺監視装置。
【請求項３】
前記光軸ずれ量が所定量以上である場合、前記撮像手段または前記物体位置特定手段に失陥があると判定する手段をさらに備える、請求項１に記載の周辺監視装置。
【請求項４】
前記物体位置特定手段はレーダを含み、前記撮像手段はカメラを含む、請求項１〜３のいずれかに記載の周辺監視装置。
【図１】
【図２】
【図３】
【図４】
【図５】
【図６】
【図７】
【図２】
【図３】
【図４】
【図５】
【図６】
【図７】
【公開番号】特開２０１１−２２０７３２（Ｐ２０１１−２２０７３２Ａ）
【公開日】平成２３年１１月４日（２０１１．１１．４）
【国際特許分類】
【出願番号】特願２０１０−８７６７０（Ｐ２０１０−８７６７０）
【出願日】平成２２年４月６日（２０１０．４．６）
【出願人】（０００００５３２６）本田技研工業株式会社 (23,863)
【Ｆターム（参考）】
【公開日】平成２３年１１月４日（２０１１．１１．４）
【国際特許分類】
【出願日】平成２２年４月６日（２０１０．４．６）
【出願人】（０００００５３２６）本田技研工業株式会社 (23,863)
【Ｆターム（参考）】
[ Back to top ]