車両の周辺監視装置
【課題】車両の周辺の物体を検出するレーダと、車両の周辺の画像を撮像するカメラと、レーダが検出した物体の位置に対応する、カメラが撮像した対応画像上の所定領域を特定して所定領域内の物体を特定する手段とを備える、車両の周辺監視装置を提供する。
【解決手段】周辺監視装置は、特定された対応画像上の所定領域の移動量の時間変化と、カメラが撮像した画像上での所定物体の移動量の時間変化との位相ずれ量を算出する手段と、位相ずれ量がゼロになるように、レーダまたはカメラの出力信号の位相補正をおこなう位相補正手段と、対応画像上の所定物体に対する所定領域の位置ずれ方向が常に同一方向である場合にレーダまたはカメラの光軸ずれがあると判断し、所定領域の位置ずれ方向が所定物体の移動方向と逆方向である場合にレーダとカメラの同期ずれがあると判断する判断手段と、を有する。
【解決手段】周辺監視装置は、特定された対応画像上の所定領域の移動量の時間変化と、カメラが撮像した画像上での所定物体の移動量の時間変化との位相ずれ量を算出する手段と、位相ずれ量がゼロになるように、レーダまたはカメラの出力信号の位相補正をおこなう位相補正手段と、対応画像上の所定物体に対する所定領域の位置ずれ方向が常に同一方向である場合にレーダまたはカメラの光軸ずれがあると判断し、所定領域の位置ずれ方向が所定物体の移動方向と逆方向である場合にレーダとカメラの同期ずれがあると判断する判断手段と、を有する。
【発明の詳細な説明】
【技術分野】
【０００１】
本発明は、車両の周辺監視装置に関し、より具体的には、車両の周辺監視装置におけるレーザとカメラの同期ずれ（位相ずれ）あるいは光軸ずれを検出し補正することに関する。
【背景技術】
【０００２】
特許文献１は、歩行者検出装置を開示する。この歩行者検出装置は、スキャン式のレーザレーダと赤外線カメラを併用し、レーザレーダから得られる歩行者候補の検出情報を基に赤外線画像中の歩行者を検出する。
【先行技術文献】
【特許文献】
【０００３】
【特許文献１】特開２００３−３０２４７０号公報
【発明の概要】
【発明が解決しようとする課題】
【０００４】
しかし、レーザレーダと赤外線カメラの出力信号に同期ずれ（位相ずれ）があると、両者の検出範囲（位置）がずれてしまい、レーザレーダの検出情報に対応した赤外線画像中の歩行者を検出することができない場合が生ずる。この同期ずれは、スキャンを伴うレーザレーダによる物体の検出時間（例えば約１２０ｍｓ）が赤外線カメラによる当該物体を含む画像の取得時間（例えば約３３ｍｓ）よりも長くなってしまうことが原因で生ずる。
【０００５】
特許文献１に記載の装置では、このレーザレーダと赤外線カメラの同期ずれに対する補正については何ら考慮していない。
【０００６】
また、レーザレーダと赤外線カメラの光軸ずれがある場合にも、両者の検出範囲がずれてしまい、同様にレーザレーダの検出情報に対応した赤外線画像中の歩行者を検出することができない場合が生ずる。
【０００７】
したがって、レーザレーダと赤外線カメラの検出範囲のずれが、両者の同期ずれ（位相ずれ）または光軸ずれのいずれに起因しているのかを見極めた上で適切な補正をおこなう必要がある。
【０００８】
そこで、本発明は、得られた画像情報からレーザレーダと赤外線カメラの検出範囲のずれが、両者の同期ずれ（位相ずれ）または光軸ずれのいずれに起因しているのかを判別することを目的とする。
【０００９】
また、本発明は、レーザレーダと赤外線カメラの同期ずれ（位相ずれ）があることを確認した上で、両者の出力信号の同期ずれ（位相ずれ）を検知し補正することによって、レーダによって特定されたカメラ画像上での所定物体の抽出精度を向上させることを目的とする。
【００１０】
さらに、本発明は、レーザレーダと赤外線カメラの光軸ずれがあることを確認した上で、両者の光軸ずれを検知し補正することによって、レーダによって特定されたカメラ画像上での所定物体の抽出精度を向上させることを目的とする。
【課題を解決するための手段】
【００１１】
本発明によると、車両の周辺の物体を検出するレーダと、車両の周辺の画像を撮像するカメラと、レーダが検出した物体の位置に対応する、カメラが撮像した対応画像上の所定領域を特定して所定領域内の物体を特定する手段とを備える、車両の周辺監視装置が提供される。その周辺監視装置は、特定された対応画像上の所定領域の移動量の時間変化と、カメラが撮像した画像上での所定物体の移動量の時間変化との位相ずれ量を算出する手段と、位相ずれ量がゼロになるように、レーダまたはカメラの出力信号の位相補正をおこなう位相補正手段と、対応画像上の所定物体に対する所定領域の位置ずれ方向が常に同一方向である場合にレーダまたはカメラの光軸ずれがあると判断し、所定領域の位置ずれ方向が所定物体の移動方向と逆方向である場合にレーダとカメラの同期ずれがあると判断する判断手段と、を有する。
【００１２】
本発明によれば、得られた画像情報からレーザレーダと赤外線カメラの検出範囲のずれが、両者の同期ずれ（位相ずれ）または光軸ずれのいずれに起因しているのかを判別することができ、その判別結果に応じて適切な補正をおこなうことができる。その結果レーダによって特定されたカメラ画像上での所定物体の特定（抽出）精度を向上させることが可能となる。
【００１３】
本発明の一形態によると、位相ずれ量を算出する手段は、判断手段が同期ずれがあると判断する場合に位相ずれ量を算出する。
【００１４】
本発明の一形態によれば、レーザレーダと赤外線カメラの同期ずれ（位相ずれ）があることを確認した上で、両者の出力信号の同期ずれ（位相ずれ）を検知し補正することによって、レーダによって特定されたカメラ画像上での所定物体の抽出精度を向上させることが可能となる。
【００１５】
本発明の一形態によると、さらに、対応画像上の所定物体に対する所定領域の位置ずれ量と、カメラの焦点距離とから、レーダとカメラとにおける光軸ずれ量を算出する手段を有し、光軸ずれ量を算出する手段は、判断手段が光軸ずれがあると判断する場合に光軸ずれ量を算出する。
【００１６】
本発明の一形態によると、レーザレーダと赤外線カメラの光軸ずれがあることを確認した上で、両者の光軸ずれを検知し補正することによって、レーダによって特定されたカメラ画像上での所定物体の抽出精度を向上させることが可能となる。
【図面の簡単な説明】
【００１７】
【図１】本発明の車両の周辺監視装置の構成を示すブロック図である。
【図２】本発明の画像処理ユニットにおける処理フローを示す図である。
【図３】本発明の位置ずれ量算出フローを示す図である。
【図４】本発明の画像上での所定領域と歩行者像を示す図である。
【図５】本発明の所定領域の位置ずれ方向を説明するための図である。
【図６】本発明の所定領域の位置ずれ方向を説明するための図である。
【図７】本発明の光軸ずれ補正のフローを示す図である。
【図８】本発明の位相ずれ補正のフローを示す図である。
【図９】本発明の変化量の時系列データの取得を説明するための図である。
【図１０】本発明の変化量の時系列データの取得を説明するための図である。
【図１１】本発明の位相ずれ量の算出方法を説明するための図である。
【発明を実施するための形態】
【００１８】
図面を参照しながら本発明の実施の形態を説明する。図１は、この発明の一実施形態に従う、車両の周辺監視装置の構成を示すブロック図である。周辺監視装置は、車両に搭載され、レーザレーダ１０と、赤外線カメラ１２と、赤外線カメラ１２によって撮像された画像データに基づいて車両周辺の物体を検出するための画像処理ユニット１４と、その検出結果に基づいて音または音声で警報を発生するスピーカ１６と、赤外線カメラ１２の撮像を介して得られた画像を表示すると共に、運転者に車両周辺の物体を認識させるための表示を行う表示装置１８とを備える。
【００１９】
なお、レーザレーダ１０は、例えばスキャン式レーザレーダが該当し、各方向にスキャンするビームの物体からの反射光を受光することにより、検出点として各方向における物体（候補）の位置（領域）とそれまでの距離を検出する。なお、レーザレーダ１０は、他の種類のレーダ（例えばミリ波レーダ等）であってもよい。また、赤外線カメラ１２も、赤外線以外の他の波長帯の光（例えば可視光）を利用するカメラであってもよい。したがって、以下の説明では、赤外線カメラ１２が撮影したグレースケール画像を対象としているが、これに限定されるものではない。さらに、ナビゲーション装置を備える車両においては、スピーカ１６および表示装置１８として、ナビゲーション装置が備える該当機能を利用してもよい。
【００２０】
図１の画像処理ユニット１４は、ブロック１４１〜１４７で示される手段（機能）を含む（実行する）。すなわち、画像処理ユニット１４は、レーザレーダ１０からの信号を受けて車両の周辺の物体の位置を特定する物体位置特定手段１４１と、赤外線カメラ１２が撮影した車両の周辺の画像をグレースケール画像として取得する画像取得手段１４２と、物体位置特定手段１４１が特定した物体の位置に対応する、取得された対応するグレースケール画像上の所定領域を特定して当該所定領域内の物体を特定する手段１４３を含む。なお、物体位置特定手段１４１は、レーザレーダ１０の一部の機能として構成、すなわちレーザレーダ１０に一体的に組み込んでもよい。
【００２１】
画像処理ユニット１４は、さらに、レーザレーダ１０により特定された対応画像上の所定領域の移動量の時間変化と、赤外線カメラ１２が撮像した画像上での所定物体の移動量の時間変化との位相ずれ量を算出する手段１４４と、対応画像上の所定物体に対する所定領域の位置ずれ量と、カメラの焦点距離とから、レーダとカメラとにおける光軸ずれ量を算出する手段１４５と、レーダとカメラの光軸ずれを補正する手段１４６、位相ずれ量がゼロになるように、レーダまたはカメラの出力信号の位相補正をおこなう位相補正手段１４７と、対応画像上の所定物体に対する所定領域の位置ずれ方向が常に同一方向である場合にレーダまたはカメラの光軸ずれがあると判断し、所定領域の位置ずれ方向が所定物体の移動方向と逆方向である場合にレーダとカメラの同期ずれがあると判断する判断手段１４８とを有する。
【００２２】
画像処理ユニット１４は、さらに、自車両の速度（車速）を検出する車速センサ、加速度センサ、ヨーレート（旋回方向への回転角の変化速度）を検出するヨーレートセンサ等からの検出信号を受けて必要な処理をおこなう機能を有する。
【００２３】
各ブロックの機能は、画像処理ユニット１４が有するコンピュータ（ＣＰＵ）によって実現される。なお、画像処理ユニット１４の構成は、ナビゲーション装置の中に組み込んでもよい。
【００２４】
画像処理ユニット１４は、ハードウエア構成として、例えば、入力アナログ信号をデジタル信号に変換するＡ／Ｄ変換回路、デジタル化した画像信号を記憶する画像メモリ、各種演算処理を行う中央演算処理装置（ＣＰＵ）、ＣＰＵが演算に際してデータを記憶するのに使用するＲＡＭ、ＣＰＵが実行するプログラムおよび用いるデータ（テーブル、マップを含む）を記憶するＲＯＭ、スピーカ１６に対する駆動信号および表示装置１８に対する表示信号などを出力する出力回路を備えている。レーザレーダ１０と赤外線カメラ１２の出力信号は、デジタル信号に変換されてＣＰＵに入力されるよう構成される。
【００２５】
次に、本発明の一実施形態におけるレーダまたはカメラの光軸ずれ補正あるいは位相ずれ補正の方法について説明する。図２は、画像処理ユニット１４によって実行される処理フローを示す図である。図２の処理フローは、画像処理ユニット１４のＣＰＵがメモリに格納している処理プログラムを呼び出して、所定の時間間隔で実行される。
【００２６】
図２のステップＳ１において、レーザレーダ１０によって検出された物体候補の位置（領域）に対応する赤外線カメラ１２によって撮像された画像上の所定領域（範囲）の位置と、赤外線カメラ１２が撮像した画像上でのその物体候補の位置との位置ずれ量を算出する。
【００２７】
図３は、図２のステップＳ１の位置ずれ量算出フロー（ルーチン）を示す図である。図３のステップＳ１１において、レーザレーダ１０からの信号を受けて車両の周辺の所定の物体の位置を特定する。その特定には任意の方法を用いることができるが、例えば以下のようにおこなう。
【００２８】
レーザレーダ１０としてスキャン式レーザレーダを使用して、その検出点群の幅から物体、例えば歩行者候補の位置を特定する。具体的には、スキャン式レーザレーダでは、各方向にスキャンするビームの物体からの反射光を受光することにより、検出点として各方向における物体までの距離を測定する。レーザレーダの位置を原点としてＹ軸をレーダの正面方向とする２次元座標系にこれらの検出点の位置をプロットして検出点の集合を得る。これらの検出点の集合から、各検出点の相互の間隔が所定値以下のものを検出点群としてグループ化し、グループ化した検出点群のうち、広がり幅が所定値以下のものを所定の物体候補（例えば歩行者候補）とみなしてその位置を特定する。
【００２９】
ステップＳ１２において、赤外線カメラ１２の出力信号（すなわち、撮像画像のデータ）を入力として受け取り、これをＡ／Ｄ変換して、画像メモリに格納する。格納される画像データは、輝度情報を含んだグレースケール（白黒の濃淡）画像である。対象の温度が高い部分ほど高輝度となる赤外線カメラでは、高輝度部分の明暗値が高い画像データとなり、その温度が低く（低輝度に）なるにつれて明暗値が低い画像データとなる。
【００３０】
ステップＳ１３において、取得されたグレースケール画像に所定の物体を検知する範囲となる所定領域を設定する。この所定領域は、ステップＳ１２においてレーザレーダ１０によって特定された所定の物体候補の位置（領域）を含む領域である。この所定領域の設定は、任意の方法を用いることができるが、例えば物体の位置として歩行者の位置を特定する場合を例にとると、歩行者候補の位置を含む所定サイズの領域（検出点群）を赤外線カメラ１２のカメラ座標系に変換し、グレースケール画像中にマッピング（重畳）して、対応するグレースケール画像上の所定領域として設定する。
【００３１】
ステップＳ１４において、画像上での所定の物体を特定する。この特定は、ステップＳ１３において設定された画像上の所定領域を基準としてその領域内あるいはその近傍の領域内においておこなう。この特定は、任意の方法によりおこなうことができるが、例えば、グレースケール画像を２値化処理して得られる白黒画像から対象物を照合する。具体的には、最初に予めメモリに保管している除外対象物の特徴を有するか否かを調べる。除外対象物とは、例えば発熱体ではあるが明らかに形状等が異なる物体（４足動物、車両等）を意味する。除外対象物に該当しない場合、所定の物体の特徴に該当するか否かを調べる。例えば、所定の物体が歩行者である場合、歩行者の頭部の特徴として丸みを帯びた白部が存在し、その下に胴体、脚部の部分に相当する細長い白部が繋がっていること等が含まれる。また、周知のパターンマッチングを利用し、予め保管してある歩行者を表す所定のパターンとの類似度を算出し、その類似度を歩行者であるか否かの判断材料としてもよい。さらに、歩行者の歩行速度はほぼ一定であることから、レーザレーダ１０から得られる物体の移動速度の情報を判断材料の１つとして用いてもよい。
【００３２】
ステップＳ１５において、所定の物体が特定できたか否かを判定する。この判定がＮｏの場合は、ステップＳ１９に進み位置ずれ量をゼロに設定して処理を終了する（戻る）。ステップＳ１５での判定がＹｅｓの場合、ステップＳ１６に進む。
【００３３】
図４を参照しながらステップＳ１６からＳ１８の画像上の所定領域の位置と特定された所定物体の位置との位置ずれ量の算出について説明する。図４は、２値化処理後の白黒画像上の所定領域と所定物体（歩行者）の例を示す図である。なお、図４では線を認識させるために、線の部分を除いて全体が白くなっているが、実際には所定物体である歩行者像２２、２４の回りの背景部分は黒く表示される。
【００３４】
図４において、赤外線カメラ１２により取得された２値化処理後の白黒画像２０内に所定物体として歩行者像２２、２４が映っている。（ａ）の像２２は歩行者が静止している場合であり、（ｂ）の像２４は歩行者が図の右方向に移動している場合に相当する。符号２１、２３で指示される枠はレーザレーダ１０により歩行者の位置（領域）として特定された所定領域である。（ａ）の歩行者像２２は所定領域２１内に収まっており両者の位置ずれは小さいのに対して、（ｂ）における両者の位置ずれは大きくなっている。（ｂ）での位置ずれは、レーダとカメラの同期ずれ（位相ずれ）および光軸ずれのいずれかあるいは双方に起因して生ずる。この同期ずれまたは光軸ずれの切り分けについては後述する。一方（ａ）の場合は両者の同期ずれおよび光軸ずれがほとんどないか小さい場合に相当する。
【００３５】
図３のステップＳ１６において、図４の所定領域２１、２３の重心を算出する。ステップＳ１７において、歩行者像２２、２４の重心を算出する。ステップＳ１８において、算出した両者の重心の位置Ｐ１とＱ１またはＰ２とＱ２の横方向（水平方向）での差分をカメラ画像上でのずれ量ｄ１、ｄ２として算出する。なお、ずれ量を算出するための位置は、重心の位置に限られず他の任意の基準により定まる位置、例えば所定領域および歩行者像の水平方向の最大幅の中点等であってもよい。
【００３６】
図２に戻って、ステップＳ２において、ステップＳ１において算出された位置ずれ量が所定量よりも大きいか否かを判定する。所定量は同期ずれ補正あるいは光軸ずれ補正が必要か否かを判断するための１つのしきい値として設定される。この判定がＮｏの場合、処理を終了する。図４の例では、（ａ）の場合の位置ずれ量ｄ１は所定量よりも小さい場合に相当する。判定がＹｅｓの場合、次のステップＳ３に進む。
【００３７】
ステップＳ３において、画像上の所定物体に対する所定領域の位置ずれ方向を算出する。この算出は、画像上の所定物体の位置に対して所定領域の位置が水平方向での右方向または左方向のいずれ側にずれているかを求める。その際、所定物体の移動方向に対して所定領域の位置が同じ方向あるいは逆方向のいずれにずれているかも求める。具体的には、例えば図３のステップＳ１７において求めた歩行者の重心の位置に対して、ステップＳ１６において求めた所定領域の重心が右方向または左方向のいずれ側にずれているかを求める。同時に、歩行者の重心の移動方向に対して所定領域の重心が同じ方向あるいは逆方向のいずれにずれているかも求める。
【００３８】
ステップＳ４において、画像上の所定物体の位置に対して所定領域の位置が同一方向にずれているか否かを判定する。図５は所定領域の位置ずれ方向を説明するための図である。図５は、図４と同様に２値化処理後の白黒画像２０上の所定領域と所定物体（歩行者）を示しており、線を認識させるために、線の部分を除いて全体が白くなっているが、実際には歩行者像の背景部分は黒く表示される。
【００３９】
図５（ａ）の像２２は歩行者が静止している場合であり、（ｂ）の像２４は歩行者が図の右方向に移動している場合であり、（ｃ）の像２５は歩行者が図の左方向に移動している場合にそれぞれ相当する。符号２３で指示される枠はレーザレーダ１０により歩行者の位置（領域）として特定された所定領域である。図５においては、歩行者が静止あるいは左右に移動した場合のいずれの場合においても所定領域２３は歩行者像２２、２４、２５の右側にずれている。したがって、画像上の所定物体（歩行者）の位置に対して所定領域の位置が同一方向にずれている場合に該当する。
【００４０】
図５で例示される同一方向への位置ずれは、所定物体（歩行者）の移動の有無にかかわらず定常的に一定割合のずれとして発生するので、レーダまたはカメラの光軸ずれに起因していると判定される。したがって、ステップＳ４の判定がＹｅｓの場合、次のステップＳ５に進み、光軸ずれ補正をおこなう。この光軸ずれ補正の詳細については後述する。
【００４１】
ステップＳ４の判定がＮｏの場合、ステップＳ６に進み、画像上の所定物体の移動方向に対して所定領域の位置が逆方向にずれているか否かを判定する。図６は所定領域の位置ずれ方向を説明するための図である。図６は、図５と同様に２値化処理後の白黒画像２０上の所定領域と所定物体（歩行者）を示しており、両図で同一符号は同じ対象を示している。
【００４２】
図６においては、（ａ）の歩行者像２２が静止している場合は所定領域２３の位置ずれはない。（ｂ）の歩行者像２４が右方向に移動した場合は、所定領域２３は歩行者像２４の左側にずれている。一方、（ｃ）の歩行者像２４が左方向に移動した場合は、所定領域２３は歩行者像２４の右側にずれている。したがって、図６の例は、画像上の所定物体（歩行者）の移動方向に対して所定領域の位置が逆方向にずれている場合に該当する。
【００４３】
図６で例示される移動方向に対して逆方向への位置ずれは、主にレーザの出力信号（処理）の遅れに起因しており、レーダとカメラの同期ずれが比較的大きい場合であると判定される。したがって、ステップＳ６の判定がＹｅｓの場合、次のステップＳ７に進み、位相ずれ補正をおこなう。この位相ずれ補正の詳細については後述する。ステップＳ６の判定がＮｏの場合は処理を終了する。
【００４４】
次に、図７を参照しながら図２のステップＳ５の光軸ずれ補正の詳細について説明する。図７は、光軸ずれ補正のフローを示す図である。図７のステップＳ５１において、画像上の所定物体の位置に対して所定領域の位置が同一方向にずれている場合、すなわち上述した図５で例示されるレーダまたはカメラの光軸ずれに起因している位置ずれの場合における位置ずれ量ｄを取得する。この位置ずれ量ｄの取得は、図４を用いて説明した位置ずれ量ｄ１、ｄ２の場合と同様に、所定物体および所定領域の重心の位置から求める。
【００４５】
ステップＳ５２において、得られたずれ量ｄが所定量ΔＬ１よりも大きいか否かを判定する。この判定がＮｏの場合、光軸のずれ量が小さく許容範囲にあるものとして、その補正を行うことなく処理を終了する。判定がＹｅｓの場合、ステップＳ５３において、ずれ量ｄが所定量ΔＬ２（＞ΔＬ１）よりも小さいか否かを判定する。この判定がＮｏの場合、光軸のずれ量（角度）が大きくずれ過ぎた範囲にあるものとして、ステップＳ５５に進み、赤外線カメラ１２の光軸に補正では調整できない失陥があると判定する。
【００４６】
ステップＳ５３の判定がＹｅｓの場合、ステップＳ５４において、レーダとカメラの光軸ずれ角度αを算出する。ずれ角度αは、ステップＳ５１で取得したカメラ画像上でのずれ量ｄと、カメラの焦点距離ｆとから（１）式により求めることができる。
α ＝ ｔａｎ−１（ｄ／ｆ） （１）
【００４７】
最後にステップＳ５６において、得られた光軸のずれ角度αに相当する補正をおこなう。その補正方法は、画像処理上での補正あるいは光軸自体の調整等従来からの任意の方法を用いておこなう。
【００４８】
次に、図８〜図１１を参照しながら図２のステップＳ７の位相ずれ補正の詳細について説明する。図８は、その位相ずれ補正のフローを示す図である。ステップＳ７１において、同期（位相）ずれ補正をおこなうためのデータ区間を特定するために時系列データを取得とする。位相ずれの補正には、レーダとカメラの位相ずれが比較的大きく発生する期間、すなわちレーダまたはカメラが検出する物体の時間的な位置変化量が比較的大きくレーダとカメラの位相ずれ量が検出しやすい期間においてその位相ずれ量を検出することが検出精度の観点等から好ましい。しかし、例えば車両が一般道を走行している場合、その補正に必要な変化を連続的に安定して観測することは困難である。そこで、例えば以下のような方法により、一定時間にわたってデータが時間的に変化している時系列データを取得する。
【００４９】
図９はレーダまたはカメラが検出する物体の時間的な位置変化量が大きい区間Ａ〜Ｄの部分のみを寄せ集めて、連続する区間Ａ´〜Ｄ´を作ることを説明するための図である。図９において、上側に示される時間的な位置変化量が大きい区間Ａ〜Ｄの各部分を寄せ集めて、図の下側の時間Ｔ１における連続する区間Ａ´〜Ｄ´を作る。図９における物体の時間的な位置変化量が大きい区間は、例えば車両の旋回中のヨーレート、あるいは加／減速時の車速等、車両状態の変化が大きい場合の車両の走行状態を示す各種検出信号から得ることが望ましい。このように、物体の時間的な位置変化量が大きい区間のみを結合し、その結合した区間でのレーザとカメラの位相ずれ量を検出して補正をおこなうことにより、その補正の精度、信頼度を向上させることが可能となる。
【００５０】
図１０は、所定量以上の時系列データを取得する他の例を説明するための図である。自車が移動（走行）する車載環境では、静止ターゲットは頻繁に入れ替わるため、一般道で補正に必要な変化を連続的に安定して観測することは困難である。そこで、図１０の例では、異なる静止ターゲット（歩行者等）の移動速度をつなげることで時間的に連続したデータを生成する。
【００５１】
図１０の（ａ）では車両３０の進行方向において３つの静止ターゲット１〜３が存在する。車両３０の進行にともない３つの静止ターゲット１〜３は徐々に車両３０に近づいてくる。（ｂ）はその場合の車両３０の速度変化３２と静止ターゲット１〜３の速度変化３３を示している。静止ターゲット１〜３の速度変化３３は、図示したように、各静止ターゲット１〜３の速度変化Ａ〜Ｃをつなげることで得ており、車両３０の速度変化３２に対して対称（負）な関係（グラフ）となる。これにより、車両と静止ターゲットの相対的な速度が変化する区間を得ることができ、図９の場合と同様に、その区間におけるレーザとカメラの位相ずれ量を検出して補正をおこなうことにより、その補正の精度、信頼度を向上させることが可能となる。
【００５２】
次に、図８のステップＳ７２において、位相ずれ量を算出する。図１１は、位相ずれ量の算出方法を説明するための図である。図１１の（ａ）は図４の（ｂ）の部分を抜き出した２値化後の白黒画像２０であり、図４と同じ符号番号を付けてある。図４の説明において既に述べたように、レーザレーダ１０により歩行者の位置（領域）として特定された所定領域２３は、赤外線カメラ１２により取得された２値化処理後の歩行者像２４よりもずれて表示される。
【００５３】
図１１の（ｂ）、（ｃ）は、（ａ）の場合に対応する白黒画像２０上の歩行者像２４の移動量の時間変化Ａと所定領域２３の移動量の時間変化Ｂ、Ｂ´を示す図である。（ｂ）は、（ａ）の位置ずれがレーダおよびカメラの同期ずれに起因して生じている場合の時間変化を示す。（ｃ）は（ａ）の位置ずれがレーダまたはカメラの光軸ずれと両者の同期ずれの双方に起因して生じている場合の時間変化を示す。（ｂ）及び（ｃ）のデータは、例えば上述した図９または図１０の例によって得られるような比較的変化の大きい連続した区間における各移動量データを切り出して得られるデータの一部である。
【００５４】
（ｂ）のグラフから、所定領域２３の移動量変化Ｂは、歩行者像２４の移動量変化ＡよりもΔＴ１時間だけ位相（信号の立ち上がり）が遅れていることがわかる。したがって、この場合の位相ずれ量はΔＴ１となる。この位相ずれ量ΔＴ１は、（ａ）の画像上での位置ずれ量ｄ２に対応している。
【００５５】
（ｃ）のグラフから、所定領域２３の移動量変化Ｂ´は、歩行者像２４の移動量変化ＡよりもΔＴ２時間だけ位相（信号の立ち上がり）が遅れていることがわかる。この場合の位相ずれ量はΔＴ２となる。同時に光軸ずれに起因する定常的な振幅の偏差ΔＰ１が観測される。したがって、（ｃ）の場合において、（ａ）の画像上での位置ずれ量ｄ２は、位相ずれ量ΔＴ２および振幅の偏差ΔＰ１に起因して生じている。
【００５６】
このように、所定区間（時間）における画像上の所定領域および所定物体像の移動量の時間的な変化をモニターすることで両者の位相ずれ量を得ることができる。この位相ずれ量はレーザレーダ１０と赤外線カメラ１２の出力信号の同期ずれ量に対応している。なお、２つの移動量変化の立ち上がり時刻のずれを見る代わりに、両者の相互相関係数を求めてあるいは位相限定相関法を利用して、得られる関数の周期から位相ずれ量を求めてもよい。
【００５７】
ステップＳ７３において、レーザレーダ１０の出力信号の処理と赤外線カメラ１２の出力信号の画像処理において、図１１（ｂ）、（ｃ）の位相ずれ量ΔＴ１、ΔＴ２が無くなる（ゼロになる）ように補正（調整）する。具体的には、例えば赤外線カメラ１２の出力信号の立ち上がり時刻を位相ずれ量ΔＴ１、ΔＴ２に相当する分だけ遅らせる、あるいは所定のクロック（タイミング）信号に同期して、レーザレーダ１０および赤外線カメラ１２の出力信号が立ち上がるようにする等の処理をおこなう。
【００５８】
以上、本発明の実施の形態について説明したが、本発明はこのような実施形態に限定されることはなく、本発明の趣旨を逸脱しない範囲において改変して用いることができる。
【符号の説明】
【００５９】
１０ レーザレーダ、
１２ 赤外線カメラ、
１４ 画像処理ユニット
１６ スピーカ、
１８ 表示装置、
２０ カメラ画像
２１、２３ レーダで検出された所定領域
２２、２４、２５ 歩行者像
３０ 車両
【技術分野】
【０００１】
本発明は、車両の周辺監視装置に関し、より具体的には、車両の周辺監視装置におけるレーザとカメラの同期ずれ（位相ずれ）あるいは光軸ずれを検出し補正することに関する。
【背景技術】
【０００２】
特許文献１は、歩行者検出装置を開示する。この歩行者検出装置は、スキャン式のレーザレーダと赤外線カメラを併用し、レーザレーダから得られる歩行者候補の検出情報を基に赤外線画像中の歩行者を検出する。
【先行技術文献】
【特許文献】
【０００３】
【特許文献１】特開２００３−３０２４７０号公報
【発明の概要】
【発明が解決しようとする課題】
【０００４】
しかし、レーザレーダと赤外線カメラの出力信号に同期ずれ（位相ずれ）があると、両者の検出範囲（位置）がずれてしまい、レーザレーダの検出情報に対応した赤外線画像中の歩行者を検出することができない場合が生ずる。この同期ずれは、スキャンを伴うレーザレーダによる物体の検出時間（例えば約１２０ｍｓ）が赤外線カメラによる当該物体を含む画像の取得時間（例えば約３３ｍｓ）よりも長くなってしまうことが原因で生ずる。
【０００５】
特許文献１に記載の装置では、このレーザレーダと赤外線カメラの同期ずれに対する補正については何ら考慮していない。
【０００６】
また、レーザレーダと赤外線カメラの光軸ずれがある場合にも、両者の検出範囲がずれてしまい、同様にレーザレーダの検出情報に対応した赤外線画像中の歩行者を検出することができない場合が生ずる。
【０００７】
したがって、レーザレーダと赤外線カメラの検出範囲のずれが、両者の同期ずれ（位相ずれ）または光軸ずれのいずれに起因しているのかを見極めた上で適切な補正をおこなう必要がある。
【０００８】
そこで、本発明は、得られた画像情報からレーザレーダと赤外線カメラの検出範囲のずれが、両者の同期ずれ（位相ずれ）または光軸ずれのいずれに起因しているのかを判別することを目的とする。
【０００９】
また、本発明は、レーザレーダと赤外線カメラの同期ずれ（位相ずれ）があることを確認した上で、両者の出力信号の同期ずれ（位相ずれ）を検知し補正することによって、レーダによって特定されたカメラ画像上での所定物体の抽出精度を向上させることを目的とする。
【００１０】
さらに、本発明は、レーザレーダと赤外線カメラの光軸ずれがあることを確認した上で、両者の光軸ずれを検知し補正することによって、レーダによって特定されたカメラ画像上での所定物体の抽出精度を向上させることを目的とする。
【課題を解決するための手段】
【００１１】
本発明によると、車両の周辺の物体を検出するレーダと、車両の周辺の画像を撮像するカメラと、レーダが検出した物体の位置に対応する、カメラが撮像した対応画像上の所定領域を特定して所定領域内の物体を特定する手段とを備える、車両の周辺監視装置が提供される。その周辺監視装置は、特定された対応画像上の所定領域の移動量の時間変化と、カメラが撮像した画像上での所定物体の移動量の時間変化との位相ずれ量を算出する手段と、位相ずれ量がゼロになるように、レーダまたはカメラの出力信号の位相補正をおこなう位相補正手段と、対応画像上の所定物体に対する所定領域の位置ずれ方向が常に同一方向である場合にレーダまたはカメラの光軸ずれがあると判断し、所定領域の位置ずれ方向が所定物体の移動方向と逆方向である場合にレーダとカメラの同期ずれがあると判断する判断手段と、を有する。
【００１２】
本発明によれば、得られた画像情報からレーザレーダと赤外線カメラの検出範囲のずれが、両者の同期ずれ（位相ずれ）または光軸ずれのいずれに起因しているのかを判別することができ、その判別結果に応じて適切な補正をおこなうことができる。その結果レーダによって特定されたカメラ画像上での所定物体の特定（抽出）精度を向上させることが可能となる。
【００１３】
本発明の一形態によると、位相ずれ量を算出する手段は、判断手段が同期ずれがあると判断する場合に位相ずれ量を算出する。
【００１４】
本発明の一形態によれば、レーザレーダと赤外線カメラの同期ずれ（位相ずれ）があることを確認した上で、両者の出力信号の同期ずれ（位相ずれ）を検知し補正することによって、レーダによって特定されたカメラ画像上での所定物体の抽出精度を向上させることが可能となる。
【００１５】
本発明の一形態によると、さらに、対応画像上の所定物体に対する所定領域の位置ずれ量と、カメラの焦点距離とから、レーダとカメラとにおける光軸ずれ量を算出する手段を有し、光軸ずれ量を算出する手段は、判断手段が光軸ずれがあると判断する場合に光軸ずれ量を算出する。
【００１６】
本発明の一形態によると、レーザレーダと赤外線カメラの光軸ずれがあることを確認した上で、両者の光軸ずれを検知し補正することによって、レーダによって特定されたカメラ画像上での所定物体の抽出精度を向上させることが可能となる。
【図面の簡単な説明】
【００１７】
【図１】本発明の車両の周辺監視装置の構成を示すブロック図である。
【図２】本発明の画像処理ユニットにおける処理フローを示す図である。
【図３】本発明の位置ずれ量算出フローを示す図である。
【図４】本発明の画像上での所定領域と歩行者像を示す図である。
【図５】本発明の所定領域の位置ずれ方向を説明するための図である。
【図６】本発明の所定領域の位置ずれ方向を説明するための図である。
【図７】本発明の光軸ずれ補正のフローを示す図である。
【図８】本発明の位相ずれ補正のフローを示す図である。
【図９】本発明の変化量の時系列データの取得を説明するための図である。
【図１０】本発明の変化量の時系列データの取得を説明するための図である。
【図１１】本発明の位相ずれ量の算出方法を説明するための図である。
【発明を実施するための形態】
【００１８】
図面を参照しながら本発明の実施の形態を説明する。図１は、この発明の一実施形態に従う、車両の周辺監視装置の構成を示すブロック図である。周辺監視装置は、車両に搭載され、レーザレーダ１０と、赤外線カメラ１２と、赤外線カメラ１２によって撮像された画像データに基づいて車両周辺の物体を検出するための画像処理ユニット１４と、その検出結果に基づいて音または音声で警報を発生するスピーカ１６と、赤外線カメラ１２の撮像を介して得られた画像を表示すると共に、運転者に車両周辺の物体を認識させるための表示を行う表示装置１８とを備える。
【００１９】
なお、レーザレーダ１０は、例えばスキャン式レーザレーダが該当し、各方向にスキャンするビームの物体からの反射光を受光することにより、検出点として各方向における物体（候補）の位置（領域）とそれまでの距離を検出する。なお、レーザレーダ１０は、他の種類のレーダ（例えばミリ波レーダ等）であってもよい。また、赤外線カメラ１２も、赤外線以外の他の波長帯の光（例えば可視光）を利用するカメラであってもよい。したがって、以下の説明では、赤外線カメラ１２が撮影したグレースケール画像を対象としているが、これに限定されるものではない。さらに、ナビゲーション装置を備える車両においては、スピーカ１６および表示装置１８として、ナビゲーション装置が備える該当機能を利用してもよい。
【００２０】
図１の画像処理ユニット１４は、ブロック１４１〜１４７で示される手段（機能）を含む（実行する）。すなわち、画像処理ユニット１４は、レーザレーダ１０からの信号を受けて車両の周辺の物体の位置を特定する物体位置特定手段１４１と、赤外線カメラ１２が撮影した車両の周辺の画像をグレースケール画像として取得する画像取得手段１４２と、物体位置特定手段１４１が特定した物体の位置に対応する、取得された対応するグレースケール画像上の所定領域を特定して当該所定領域内の物体を特定する手段１４３を含む。なお、物体位置特定手段１４１は、レーザレーダ１０の一部の機能として構成、すなわちレーザレーダ１０に一体的に組み込んでもよい。
【００２１】
画像処理ユニット１４は、さらに、レーザレーダ１０により特定された対応画像上の所定領域の移動量の時間変化と、赤外線カメラ１２が撮像した画像上での所定物体の移動量の時間変化との位相ずれ量を算出する手段１４４と、対応画像上の所定物体に対する所定領域の位置ずれ量と、カメラの焦点距離とから、レーダとカメラとにおける光軸ずれ量を算出する手段１４５と、レーダとカメラの光軸ずれを補正する手段１４６、位相ずれ量がゼロになるように、レーダまたはカメラの出力信号の位相補正をおこなう位相補正手段１４７と、対応画像上の所定物体に対する所定領域の位置ずれ方向が常に同一方向である場合にレーダまたはカメラの光軸ずれがあると判断し、所定領域の位置ずれ方向が所定物体の移動方向と逆方向である場合にレーダとカメラの同期ずれがあると判断する判断手段１４８とを有する。
【００２２】
画像処理ユニット１４は、さらに、自車両の速度（車速）を検出する車速センサ、加速度センサ、ヨーレート（旋回方向への回転角の変化速度）を検出するヨーレートセンサ等からの検出信号を受けて必要な処理をおこなう機能を有する。
【００２３】
各ブロックの機能は、画像処理ユニット１４が有するコンピュータ（ＣＰＵ）によって実現される。なお、画像処理ユニット１４の構成は、ナビゲーション装置の中に組み込んでもよい。
【００２４】
画像処理ユニット１４は、ハードウエア構成として、例えば、入力アナログ信号をデジタル信号に変換するＡ／Ｄ変換回路、デジタル化した画像信号を記憶する画像メモリ、各種演算処理を行う中央演算処理装置（ＣＰＵ）、ＣＰＵが演算に際してデータを記憶するのに使用するＲＡＭ、ＣＰＵが実行するプログラムおよび用いるデータ（テーブル、マップを含む）を記憶するＲＯＭ、スピーカ１６に対する駆動信号および表示装置１８に対する表示信号などを出力する出力回路を備えている。レーザレーダ１０と赤外線カメラ１２の出力信号は、デジタル信号に変換されてＣＰＵに入力されるよう構成される。
【００２５】
次に、本発明の一実施形態におけるレーダまたはカメラの光軸ずれ補正あるいは位相ずれ補正の方法について説明する。図２は、画像処理ユニット１４によって実行される処理フローを示す図である。図２の処理フローは、画像処理ユニット１４のＣＰＵがメモリに格納している処理プログラムを呼び出して、所定の時間間隔で実行される。
【００２６】
図２のステップＳ１において、レーザレーダ１０によって検出された物体候補の位置（領域）に対応する赤外線カメラ１２によって撮像された画像上の所定領域（範囲）の位置と、赤外線カメラ１２が撮像した画像上でのその物体候補の位置との位置ずれ量を算出する。
【００２７】
図３は、図２のステップＳ１の位置ずれ量算出フロー（ルーチン）を示す図である。図３のステップＳ１１において、レーザレーダ１０からの信号を受けて車両の周辺の所定の物体の位置を特定する。その特定には任意の方法を用いることができるが、例えば以下のようにおこなう。
【００２８】
レーザレーダ１０としてスキャン式レーザレーダを使用して、その検出点群の幅から物体、例えば歩行者候補の位置を特定する。具体的には、スキャン式レーザレーダでは、各方向にスキャンするビームの物体からの反射光を受光することにより、検出点として各方向における物体までの距離を測定する。レーザレーダの位置を原点としてＹ軸をレーダの正面方向とする２次元座標系にこれらの検出点の位置をプロットして検出点の集合を得る。これらの検出点の集合から、各検出点の相互の間隔が所定値以下のものを検出点群としてグループ化し、グループ化した検出点群のうち、広がり幅が所定値以下のものを所定の物体候補（例えば歩行者候補）とみなしてその位置を特定する。
【００２９】
ステップＳ１２において、赤外線カメラ１２の出力信号（すなわち、撮像画像のデータ）を入力として受け取り、これをＡ／Ｄ変換して、画像メモリに格納する。格納される画像データは、輝度情報を含んだグレースケール（白黒の濃淡）画像である。対象の温度が高い部分ほど高輝度となる赤外線カメラでは、高輝度部分の明暗値が高い画像データとなり、その温度が低く（低輝度に）なるにつれて明暗値が低い画像データとなる。
【００３０】
ステップＳ１３において、取得されたグレースケール画像に所定の物体を検知する範囲となる所定領域を設定する。この所定領域は、ステップＳ１２においてレーザレーダ１０によって特定された所定の物体候補の位置（領域）を含む領域である。この所定領域の設定は、任意の方法を用いることができるが、例えば物体の位置として歩行者の位置を特定する場合を例にとると、歩行者候補の位置を含む所定サイズの領域（検出点群）を赤外線カメラ１２のカメラ座標系に変換し、グレースケール画像中にマッピング（重畳）して、対応するグレースケール画像上の所定領域として設定する。
【００３１】
ステップＳ１４において、画像上での所定の物体を特定する。この特定は、ステップＳ１３において設定された画像上の所定領域を基準としてその領域内あるいはその近傍の領域内においておこなう。この特定は、任意の方法によりおこなうことができるが、例えば、グレースケール画像を２値化処理して得られる白黒画像から対象物を照合する。具体的には、最初に予めメモリに保管している除外対象物の特徴を有するか否かを調べる。除外対象物とは、例えば発熱体ではあるが明らかに形状等が異なる物体（４足動物、車両等）を意味する。除外対象物に該当しない場合、所定の物体の特徴に該当するか否かを調べる。例えば、所定の物体が歩行者である場合、歩行者の頭部の特徴として丸みを帯びた白部が存在し、その下に胴体、脚部の部分に相当する細長い白部が繋がっていること等が含まれる。また、周知のパターンマッチングを利用し、予め保管してある歩行者を表す所定のパターンとの類似度を算出し、その類似度を歩行者であるか否かの判断材料としてもよい。さらに、歩行者の歩行速度はほぼ一定であることから、レーザレーダ１０から得られる物体の移動速度の情報を判断材料の１つとして用いてもよい。
【００３２】
ステップＳ１５において、所定の物体が特定できたか否かを判定する。この判定がＮｏの場合は、ステップＳ１９に進み位置ずれ量をゼロに設定して処理を終了する（戻る）。ステップＳ１５での判定がＹｅｓの場合、ステップＳ１６に進む。
【００３３】
図４を参照しながらステップＳ１６からＳ１８の画像上の所定領域の位置と特定された所定物体の位置との位置ずれ量の算出について説明する。図４は、２値化処理後の白黒画像上の所定領域と所定物体（歩行者）の例を示す図である。なお、図４では線を認識させるために、線の部分を除いて全体が白くなっているが、実際には所定物体である歩行者像２２、２４の回りの背景部分は黒く表示される。
【００３４】
図４において、赤外線カメラ１２により取得された２値化処理後の白黒画像２０内に所定物体として歩行者像２２、２４が映っている。（ａ）の像２２は歩行者が静止している場合であり、（ｂ）の像２４は歩行者が図の右方向に移動している場合に相当する。符号２１、２３で指示される枠はレーザレーダ１０により歩行者の位置（領域）として特定された所定領域である。（ａ）の歩行者像２２は所定領域２１内に収まっており両者の位置ずれは小さいのに対して、（ｂ）における両者の位置ずれは大きくなっている。（ｂ）での位置ずれは、レーダとカメラの同期ずれ（位相ずれ）および光軸ずれのいずれかあるいは双方に起因して生ずる。この同期ずれまたは光軸ずれの切り分けについては後述する。一方（ａ）の場合は両者の同期ずれおよび光軸ずれがほとんどないか小さい場合に相当する。
【００３５】
図３のステップＳ１６において、図４の所定領域２１、２３の重心を算出する。ステップＳ１７において、歩行者像２２、２４の重心を算出する。ステップＳ１８において、算出した両者の重心の位置Ｐ１とＱ１またはＰ２とＱ２の横方向（水平方向）での差分をカメラ画像上でのずれ量ｄ１、ｄ２として算出する。なお、ずれ量を算出するための位置は、重心の位置に限られず他の任意の基準により定まる位置、例えば所定領域および歩行者像の水平方向の最大幅の中点等であってもよい。
【００３６】
図２に戻って、ステップＳ２において、ステップＳ１において算出された位置ずれ量が所定量よりも大きいか否かを判定する。所定量は同期ずれ補正あるいは光軸ずれ補正が必要か否かを判断するための１つのしきい値として設定される。この判定がＮｏの場合、処理を終了する。図４の例では、（ａ）の場合の位置ずれ量ｄ１は所定量よりも小さい場合に相当する。判定がＹｅｓの場合、次のステップＳ３に進む。
【００３７】
ステップＳ３において、画像上の所定物体に対する所定領域の位置ずれ方向を算出する。この算出は、画像上の所定物体の位置に対して所定領域の位置が水平方向での右方向または左方向のいずれ側にずれているかを求める。その際、所定物体の移動方向に対して所定領域の位置が同じ方向あるいは逆方向のいずれにずれているかも求める。具体的には、例えば図３のステップＳ１７において求めた歩行者の重心の位置に対して、ステップＳ１６において求めた所定領域の重心が右方向または左方向のいずれ側にずれているかを求める。同時に、歩行者の重心の移動方向に対して所定領域の重心が同じ方向あるいは逆方向のいずれにずれているかも求める。
【００３８】
ステップＳ４において、画像上の所定物体の位置に対して所定領域の位置が同一方向にずれているか否かを判定する。図５は所定領域の位置ずれ方向を説明するための図である。図５は、図４と同様に２値化処理後の白黒画像２０上の所定領域と所定物体（歩行者）を示しており、線を認識させるために、線の部分を除いて全体が白くなっているが、実際には歩行者像の背景部分は黒く表示される。
【００３９】
図５（ａ）の像２２は歩行者が静止している場合であり、（ｂ）の像２４は歩行者が図の右方向に移動している場合であり、（ｃ）の像２５は歩行者が図の左方向に移動している場合にそれぞれ相当する。符号２３で指示される枠はレーザレーダ１０により歩行者の位置（領域）として特定された所定領域である。図５においては、歩行者が静止あるいは左右に移動した場合のいずれの場合においても所定領域２３は歩行者像２２、２４、２５の右側にずれている。したがって、画像上の所定物体（歩行者）の位置に対して所定領域の位置が同一方向にずれている場合に該当する。
【００４０】
図５で例示される同一方向への位置ずれは、所定物体（歩行者）の移動の有無にかかわらず定常的に一定割合のずれとして発生するので、レーダまたはカメラの光軸ずれに起因していると判定される。したがって、ステップＳ４の判定がＹｅｓの場合、次のステップＳ５に進み、光軸ずれ補正をおこなう。この光軸ずれ補正の詳細については後述する。
【００４１】
ステップＳ４の判定がＮｏの場合、ステップＳ６に進み、画像上の所定物体の移動方向に対して所定領域の位置が逆方向にずれているか否かを判定する。図６は所定領域の位置ずれ方向を説明するための図である。図６は、図５と同様に２値化処理後の白黒画像２０上の所定領域と所定物体（歩行者）を示しており、両図で同一符号は同じ対象を示している。
【００４２】
図６においては、（ａ）の歩行者像２２が静止している場合は所定領域２３の位置ずれはない。（ｂ）の歩行者像２４が右方向に移動した場合は、所定領域２３は歩行者像２４の左側にずれている。一方、（ｃ）の歩行者像２４が左方向に移動した場合は、所定領域２３は歩行者像２４の右側にずれている。したがって、図６の例は、画像上の所定物体（歩行者）の移動方向に対して所定領域の位置が逆方向にずれている場合に該当する。
【００４３】
図６で例示される移動方向に対して逆方向への位置ずれは、主にレーザの出力信号（処理）の遅れに起因しており、レーダとカメラの同期ずれが比較的大きい場合であると判定される。したがって、ステップＳ６の判定がＹｅｓの場合、次のステップＳ７に進み、位相ずれ補正をおこなう。この位相ずれ補正の詳細については後述する。ステップＳ６の判定がＮｏの場合は処理を終了する。
【００４４】
次に、図７を参照しながら図２のステップＳ５の光軸ずれ補正の詳細について説明する。図７は、光軸ずれ補正のフローを示す図である。図７のステップＳ５１において、画像上の所定物体の位置に対して所定領域の位置が同一方向にずれている場合、すなわち上述した図５で例示されるレーダまたはカメラの光軸ずれに起因している位置ずれの場合における位置ずれ量ｄを取得する。この位置ずれ量ｄの取得は、図４を用いて説明した位置ずれ量ｄ１、ｄ２の場合と同様に、所定物体および所定領域の重心の位置から求める。
【００４５】
ステップＳ５２において、得られたずれ量ｄが所定量ΔＬ１よりも大きいか否かを判定する。この判定がＮｏの場合、光軸のずれ量が小さく許容範囲にあるものとして、その補正を行うことなく処理を終了する。判定がＹｅｓの場合、ステップＳ５３において、ずれ量ｄが所定量ΔＬ２（＞ΔＬ１）よりも小さいか否かを判定する。この判定がＮｏの場合、光軸のずれ量（角度）が大きくずれ過ぎた範囲にあるものとして、ステップＳ５５に進み、赤外線カメラ１２の光軸に補正では調整できない失陥があると判定する。
【００４６】
ステップＳ５３の判定がＹｅｓの場合、ステップＳ５４において、レーダとカメラの光軸ずれ角度αを算出する。ずれ角度αは、ステップＳ５１で取得したカメラ画像上でのずれ量ｄと、カメラの焦点距離ｆとから（１）式により求めることができる。
α ＝ ｔａｎ−１（ｄ／ｆ） （１）
【００４７】
最後にステップＳ５６において、得られた光軸のずれ角度αに相当する補正をおこなう。その補正方法は、画像処理上での補正あるいは光軸自体の調整等従来からの任意の方法を用いておこなう。
【００４８】
次に、図８〜図１１を参照しながら図２のステップＳ７の位相ずれ補正の詳細について説明する。図８は、その位相ずれ補正のフローを示す図である。ステップＳ７１において、同期（位相）ずれ補正をおこなうためのデータ区間を特定するために時系列データを取得とする。位相ずれの補正には、レーダとカメラの位相ずれが比較的大きく発生する期間、すなわちレーダまたはカメラが検出する物体の時間的な位置変化量が比較的大きくレーダとカメラの位相ずれ量が検出しやすい期間においてその位相ずれ量を検出することが検出精度の観点等から好ましい。しかし、例えば車両が一般道を走行している場合、その補正に必要な変化を連続的に安定して観測することは困難である。そこで、例えば以下のような方法により、一定時間にわたってデータが時間的に変化している時系列データを取得する。
【００４９】
図９はレーダまたはカメラが検出する物体の時間的な位置変化量が大きい区間Ａ〜Ｄの部分のみを寄せ集めて、連続する区間Ａ´〜Ｄ´を作ることを説明するための図である。図９において、上側に示される時間的な位置変化量が大きい区間Ａ〜Ｄの各部分を寄せ集めて、図の下側の時間Ｔ１における連続する区間Ａ´〜Ｄ´を作る。図９における物体の時間的な位置変化量が大きい区間は、例えば車両の旋回中のヨーレート、あるいは加／減速時の車速等、車両状態の変化が大きい場合の車両の走行状態を示す各種検出信号から得ることが望ましい。このように、物体の時間的な位置変化量が大きい区間のみを結合し、その結合した区間でのレーザとカメラの位相ずれ量を検出して補正をおこなうことにより、その補正の精度、信頼度を向上させることが可能となる。
【００５０】
図１０は、所定量以上の時系列データを取得する他の例を説明するための図である。自車が移動（走行）する車載環境では、静止ターゲットは頻繁に入れ替わるため、一般道で補正に必要な変化を連続的に安定して観測することは困難である。そこで、図１０の例では、異なる静止ターゲット（歩行者等）の移動速度をつなげることで時間的に連続したデータを生成する。
【００５１】
図１０の（ａ）では車両３０の進行方向において３つの静止ターゲット１〜３が存在する。車両３０の進行にともない３つの静止ターゲット１〜３は徐々に車両３０に近づいてくる。（ｂ）はその場合の車両３０の速度変化３２と静止ターゲット１〜３の速度変化３３を示している。静止ターゲット１〜３の速度変化３３は、図示したように、各静止ターゲット１〜３の速度変化Ａ〜Ｃをつなげることで得ており、車両３０の速度変化３２に対して対称（負）な関係（グラフ）となる。これにより、車両と静止ターゲットの相対的な速度が変化する区間を得ることができ、図９の場合と同様に、その区間におけるレーザとカメラの位相ずれ量を検出して補正をおこなうことにより、その補正の精度、信頼度を向上させることが可能となる。
【００５２】
次に、図８のステップＳ７２において、位相ずれ量を算出する。図１１は、位相ずれ量の算出方法を説明するための図である。図１１の（ａ）は図４の（ｂ）の部分を抜き出した２値化後の白黒画像２０であり、図４と同じ符号番号を付けてある。図４の説明において既に述べたように、レーザレーダ１０により歩行者の位置（領域）として特定された所定領域２３は、赤外線カメラ１２により取得された２値化処理後の歩行者像２４よりもずれて表示される。
【００５３】
図１１の（ｂ）、（ｃ）は、（ａ）の場合に対応する白黒画像２０上の歩行者像２４の移動量の時間変化Ａと所定領域２３の移動量の時間変化Ｂ、Ｂ´を示す図である。（ｂ）は、（ａ）の位置ずれがレーダおよびカメラの同期ずれに起因して生じている場合の時間変化を示す。（ｃ）は（ａ）の位置ずれがレーダまたはカメラの光軸ずれと両者の同期ずれの双方に起因して生じている場合の時間変化を示す。（ｂ）及び（ｃ）のデータは、例えば上述した図９または図１０の例によって得られるような比較的変化の大きい連続した区間における各移動量データを切り出して得られるデータの一部である。
【００５４】
（ｂ）のグラフから、所定領域２３の移動量変化Ｂは、歩行者像２４の移動量変化ＡよりもΔＴ１時間だけ位相（信号の立ち上がり）が遅れていることがわかる。したがって、この場合の位相ずれ量はΔＴ１となる。この位相ずれ量ΔＴ１は、（ａ）の画像上での位置ずれ量ｄ２に対応している。
【００５５】
（ｃ）のグラフから、所定領域２３の移動量変化Ｂ´は、歩行者像２４の移動量変化ＡよりもΔＴ２時間だけ位相（信号の立ち上がり）が遅れていることがわかる。この場合の位相ずれ量はΔＴ２となる。同時に光軸ずれに起因する定常的な振幅の偏差ΔＰ１が観測される。したがって、（ｃ）の場合において、（ａ）の画像上での位置ずれ量ｄ２は、位相ずれ量ΔＴ２および振幅の偏差ΔＰ１に起因して生じている。
【００５６】
このように、所定区間（時間）における画像上の所定領域および所定物体像の移動量の時間的な変化をモニターすることで両者の位相ずれ量を得ることができる。この位相ずれ量はレーザレーダ１０と赤外線カメラ１２の出力信号の同期ずれ量に対応している。なお、２つの移動量変化の立ち上がり時刻のずれを見る代わりに、両者の相互相関係数を求めてあるいは位相限定相関法を利用して、得られる関数の周期から位相ずれ量を求めてもよい。
【００５７】
ステップＳ７３において、レーザレーダ１０の出力信号の処理と赤外線カメラ１２の出力信号の画像処理において、図１１（ｂ）、（ｃ）の位相ずれ量ΔＴ１、ΔＴ２が無くなる（ゼロになる）ように補正（調整）する。具体的には、例えば赤外線カメラ１２の出力信号の立ち上がり時刻を位相ずれ量ΔＴ１、ΔＴ２に相当する分だけ遅らせる、あるいは所定のクロック（タイミング）信号に同期して、レーザレーダ１０および赤外線カメラ１２の出力信号が立ち上がるようにする等の処理をおこなう。
【００５８】
以上、本発明の実施の形態について説明したが、本発明はこのような実施形態に限定されることはなく、本発明の趣旨を逸脱しない範囲において改変して用いることができる。
【符号の説明】
【００５９】
１０ レーザレーダ、
１２ 赤外線カメラ、
１４ 画像処理ユニット
１６ スピーカ、
１８ 表示装置、
２０ カメラ画像
２１、２３ レーダで検出された所定領域
２２、２４、２５ 歩行者像
３０ 車両
【特許請求の範囲】
【請求項１】
車両の周辺の物体を検出するレーダと、車両の周辺の画像を撮像するカメラと、前記レーダが検出した物体の位置に対応する、前記カメラが撮像した対応画像上の所定領域を特定して当該所定領域内の前記物体を特定する手段とを備える、車両の周辺監視装置であって、
特定された前記対応画像上の所定領域の移動量の時間変化と、前記カメラが撮像した画像上での前記所定物体の移動量の時間変化との位相ずれ量を算出する手段と、
前記位相ずれ量がゼロになるように、前記レーダまたは前記カメラの出力信号の位相補正をおこなう位相補正手段と、
前記対応画像上の前記所定物体に対する前記所定領域の位置ずれ方向が常に同一方向である場合に前記レーダまたは前記カメラの光軸ずれがあると判断し、前記所定領域の位置ずれ方向が前記所定物体の移動方向と逆方向である場合に前記レーダと前記カメラの同期ずれがあると判断する判断手段と、
を有する車両の周辺監視装置。
【請求項２】
前記位相ずれ量を算出する手段は、前記判断手段が前記同期ずれがあると判断する場合に前記位相ずれ量を算出する、請求項１に記載の周辺監視装置。
【請求項３】
さらに、前記対応画像上の前記所定物体に対する前記所定領域の位置ずれ量と、前記カメラの焦点距離とから、前記レーダと前記カメラとにおける光軸ずれ量を算出する手段を有し、
当該光軸ずれ量を算出する手段は、前記判断手段が前記光軸ずれがあると判断する場合に前記光軸ずれ量を算出する、請求項１または２に記載の周辺監視装置。
【請求項１】
車両の周辺の物体を検出するレーダと、車両の周辺の画像を撮像するカメラと、前記レーダが検出した物体の位置に対応する、前記カメラが撮像した対応画像上の所定領域を特定して当該所定領域内の前記物体を特定する手段とを備える、車両の周辺監視装置であって、
特定された前記対応画像上の所定領域の移動量の時間変化と、前記カメラが撮像した画像上での前記所定物体の移動量の時間変化との位相ずれ量を算出する手段と、
前記位相ずれ量がゼロになるように、前記レーダまたは前記カメラの出力信号の位相補正をおこなう位相補正手段と、
前記対応画像上の前記所定物体に対する前記所定領域の位置ずれ方向が常に同一方向である場合に前記レーダまたは前記カメラの光軸ずれがあると判断し、前記所定領域の位置ずれ方向が前記所定物体の移動方向と逆方向である場合に前記レーダと前記カメラの同期ずれがあると判断する判断手段と、
を有する車両の周辺監視装置。
【請求項２】
前記位相ずれ量を算出する手段は、前記判断手段が前記同期ずれがあると判断する場合に前記位相ずれ量を算出する、請求項１に記載の周辺監視装置。
【請求項３】
さらに、前記対応画像上の前記所定物体に対する前記所定領域の位置ずれ量と、前記カメラの焦点距離とから、前記レーダと前記カメラとにおける光軸ずれ量を算出する手段を有し、
当該光軸ずれ量を算出する手段は、前記判断手段が前記光軸ずれがあると判断する場合に前記光軸ずれ量を算出する、請求項１または２に記載の周辺監視装置。
【図１】
【図２】
【図３】
【図４】
【図５】
【図６】
【図７】
【図８】
【図９】
【図１０】
【図１１】
【図２】
【図３】
【図４】
【図５】
【図６】
【図７】
【図８】
【図９】
【図１０】
【図１１】
【公開番号】特開２０１１−２３２１３９（Ｐ２０１１−２３２１３９Ａ）
【公開日】平成２３年１１月１７日（２０１１．１１．１７）
【国際特許分類】
【出願番号】特願２０１０−１０１８９８（Ｐ２０１０−１０１８９８）
【出願日】平成２２年４月２７日（２０１０．４．２７）
【出願人】（０００００５３２６）本田技研工業株式会社 (23,863)
【Ｆターム（参考）】
【公開日】平成２３年１１月１７日（２０１１．１１．１７）
【国際特許分類】
【出願日】平成２２年４月２７日（２０１０．４．２７）
【出願人】（０００００５３２６）本田技研工業株式会社 (23,863)
【Ｆターム（参考）】
[ Back to top ]