車両の周辺監視装置
【課題】レーダデータと赤外線カメラデータの同期ずれを補正する。
【解決手段】車両の周辺の物体を検出するレーダと、車両の周辺の画像を撮像するカメラと、を備える車両周辺監視装置において、レーダが検出した物体の位置に対応する、カメラが撮像した対応画像上の所定領域を特定して当該所定領域内の前記物体を特定する手段とを備え、特定された対応画像上の所定領域の移動量の時間変化と、カメラが撮像した画像上での所定物体の移動量の時間変化との位相ずれ量を算出する手段と、位相ずれ量がゼロになるように、レーダまたはカメラの出力信号の位相補正をおこなう位相補正手段と、を有する。
【解決手段】車両の周辺の物体を検出するレーダと、車両の周辺の画像を撮像するカメラと、を備える車両周辺監視装置において、レーダが検出した物体の位置に対応する、カメラが撮像した対応画像上の所定領域を特定して当該所定領域内の前記物体を特定する手段とを備え、特定された対応画像上の所定領域の移動量の時間変化と、カメラが撮像した画像上での所定物体の移動量の時間変化との位相ずれ量を算出する手段と、位相ずれ量がゼロになるように、レーダまたはカメラの出力信号の位相補正をおこなう位相補正手段と、を有する。
【発明の詳細な説明】
【技術分野】
【０００１】
本発明は、車両の周辺監視装置に関し、より具体的には、車両の周辺監視装置におけるレーザとカメラの同期ずれ（位相ずれ）を検出し補正することに関する。
【背景技術】
【０００２】
特許文献１は、歩行者検出装置を開示する。この歩行者検出装置は、スキャン式のレーザレーダと赤外線カメラを併用し、レーザレーダから得られる歩行者候補の検出情報を基に赤外線画像中の歩行者を検出する。
【先行技術文献】
【特許文献】
【０００３】
【特許文献１】特開２００３−３０２４７０号公報
【発明の概要】
【発明が解決しようとする課題】
【０００４】
しかし、レーザレーダと赤外線カメラの出力信号に同期ずれ（位相ずれ）があると、両者の検出範囲（位置）がずれてしまい、レーザレーダの検出情報に対応した赤外線画像中の歩行者を検出することができない場合が生ずる。この同期ずれは、スキャンを伴うレーザレーダによる物体の検出時間（例えば約１２０ｍｓ）が赤外線カメラによる当該物体を含む画像の取得時間（例えば約３３ｍｓ）よりも長くなってしまうことが原因で生ずる。
【０００５】
特許文献１に記載の装置では、このレーザレーダと赤外線カメラの同期ずれに対する補正については何ら考慮していない。
【０００６】
したがって、本発明は、得られた画像情報からレーダとカメラの出力信号の同期ずれ（位相ずれ）を検知し補正することによって、レーダによって特定されたカメラ画像上での所定物体の抽出精度を向上させることを目的とする。
【課題を解決するための手段】
【０００７】
本発明は、車両の周辺の物体を検出するレーダと、車両の周辺の画像を撮像するカメラと、前記レーダが検出した物体の位置に対応する、前記カメラが撮像した対応画像上の所定領域を特定して当該所定領域内の前記物体を特定する手段とを備える、車両の周辺監視装置を提供する。その周辺監視装置は、特定された対応画像上の所定領域の移動量の時間変化と、カメラが撮像した画像上での所定物体の移動量の時間変化との位相ずれ量を算出する手段と、位相ずれ量がゼロになるように、レーダまたはカメラの出力信号の位相補正をおこなう位相補正手段と、を有する。
【０００８】
本発明によれば、カメラが撮像した画像上での移動量の時間変化をモニターすることで、レーダとカメラの出力信号の同期ずれ（位相ずれ）に起因する、レーダによって特定されるカメラ画像上の領域の位置とカメラによって撮像される所定物体の位置の位置ずれを補正することが可能となり、その結果レーダによって特定されたカメラ画像上での所定物体の特定（抽出）精度を向上させることが可能となる。
【０００９】
本発明の一形態によると、位相補正手段は、車両と所定物体との相対位置の時間変化量が所定量以上の場合に位相補正をおこなう。
【００１０】
本発明の一形態によれば、車両と所定物体との相対位置の時間変化量が所定量以上の場合における画像上の移動量の時間変化をモニターすることにより、レーダとカメラの出力信号の同期ずれ（位相ずれ）補正をより安定した適切なタイミングで確実におこなうことが可能となる。
【００１１】
本発明の一形態によると、位相補正手段は、車両の走行中において、レーダが複数の物体を検出した場合に、当該車両の進行にともなって発生する複数の物体の位置の時間変化を結合して得られる変化量が所定量以上の場合に位相補正をおこなう。
【００１２】
本発明の一形態によれば、車両の進行にともなってレーダによって検出される複数の静止物体の動き（移動量）を全体的に捉えた上で同期ずれ補正をおこなう区間（時間）を選択することで、レーダとカメラの出力信号の同期ずれ（位相ずれ）補正をより安定した適切なタイミングで確実におこなうことが可能となる。
【００１３】
本発明の一形態によると、位相補正手段は、相対位置の時間変化が所定時間以上の区間を結合して相対位置の時間変化量を得る。
【００１４】
本発明の一形態によれば、複数の相対位置の時間変化量を結合することでレーダとカメラの出力信号の同期ずれを検出できる必要十分なデータを得ることができ、その検出精度を向上させることが可能となる。
【図面の簡単な説明】
【００１５】
【図１】本発明の車両の周辺監視装置の構成を示すブロック図である。
【図２】本発明の画像処理ユニットにおける処理フローを示す図である。
【図３】本発明の変化量の時系列データの取得フローを示す図である。
【図４】本発明の一実施例に従う画像上での所定領域と歩行者像を示す図である。
【図５】本発明の位相ずれ量の算出フローを示す図である。
【図６】本発明の位相補正のフローを示す図である。
【図７】本発明の変化量の時系列データの取得を説明するための図である。
【図８】本発明の変化量の時系列データの取得を説明するための図である。
【図９】本発明の位相ずれ量の算出方法を説明するための図である。
【発明を実施するための形態】
【００１６】
図面を参照しながら本発明の実施の形態を説明する。図１は、この発明の一実施形態に従う、車両の周辺監視装置の構成を示すブロック図である。周辺監視装置は、車両に搭載され、レーザレーダ１０と、赤外線カメラ１２と、赤外線カメラ１２によって撮像された画像データに基づいて車両周辺の物体を検出するための画像処理ユニット１４と、その検出結果に基づいて音または音声で警報を発生するスピーカ１６と、赤外線カメラ１２の撮像を介して得られた画像を表示すると共に、運転者に車両周辺の物体を認識させるための表示を行う表示装置１８とを備える。
【００１７】
なお、レーザレーダ１０は、例えばスキャン式レーザレーダが該当し、各方向にスキャンするビームの物体からの反射光を受光することにより、検出点として各方向における物体（候補）の位置（領域）とそれまでの距離を検出する。なお、レーザレーダ１０は、他の種類のレーダ（例えばミリ波レーダ等）であってもよい。また、赤外線カメラ１２も、赤外線以外の他の波長帯の光（例えば可視光）を利用するカメラであってもよい。したがって、以下の説明では、赤外線カメラ１２が撮影したグレースケール画像を対象としているが、これに限定されるものではない。さらに、ナビゲーション装置を備える車両においては、スピーカ１６および表示装置１８として、ナビゲーション装置が備える該当機能を利用してもよい。
【００１８】
図１の画像処理ユニット１４は、ブロック１４１〜１４５で示される手段（機能）を含む（実行する）。すなわち、画像処理ユニット１４は、レーザレーダ１０からの信号を受けて車両の周辺の物体の位置を特定する物体位置特定手段１４１と、赤外線カメラ１２が撮影した車両の周辺の画像をグレースケール画像として取得する画像取得手段１４２と、物体位置特定手段１４１が特定した物体の位置に対応する、取得された対応するグレースケール画像上の所定領域を特定して当該所定領域内の物体を特定する手段１４３を含む。なお、物体位置特定手段１４１は、レーザレーダ１０の一部の機能として構成、すなわちレーザレーダ１０に一体的に組み込んでもよい。
【００１９】
画像処理ユニット１４は、さらに、レーザレーダ１０により特定された対応画像上の所定領域の移動量の時間変化と、赤外線カメラ１２が撮像した画像上での所定物体の移動量の時間変化との位相ずれ量を算出する手段１４４と、位相ずれ量がゼロになるように、レーダまたはカメラの出力信号の位相補正をおこなう位相補正手段１４５と、を有する。
【００２０】
画像処理ユニット１４は、さらに、自車両の速度（車速）を検出する車速センサ、加速度センサ、ヨーレート（旋回方向への回転角の変化速度）を検出するヨーレートセンサ等からの検出信号を受けて必要な処理をおこなう機能を有する。
【００２１】
各ブロックの機能は、画像処理ユニット１４が有するコンピュータ（ＣＰＵ）によって実現される。なお、画像処理ユニット１４の構成は、ナビゲーション装置の中に組み込んでもよい。
【００２２】
画像処理ユニット１４は、ハードウエア構成として、例えば、入力アナログ信号をデジタル信号に変換するＡ／Ｄ変換回路、デジタル化した画像信号を記憶する画像メモリ、各種演算処理を行う中央演算処理装置（ＣＰＵ）、ＣＰＵが演算に際してデータを記憶するのに使用するＲＡＭ、ＣＰＵが実行するプログラムおよび用いるデータ（テーブル、マップを含む）を記憶するＲＯＭ、スピーカ１６に対する駆動信号および表示装置１８に対する表示信号などを出力する出力回路を備えている。レーザレーダ１０と赤外線カメラ１２の出力信号は、デジタル信号に変換されてＣＰＵに入力されるよう構成される。
【００２３】
次に、本発明の一実施形態におけるレーダまたはカメラの出力信号の位相補正の方法について説明する。
【００２４】
図２は、画像処理ユニット１４によって実行される処理フローを示す図である。図２の処理フローは、画像処理ユニット１４のＣＰＵがメモリに格納している処理プログラムを呼び出して、所定の時間間隔で実行される。図２のステップＳ１において、同期（位相）ずれ補正をおこなうためのデータ区間を特定するために時系列データを取得する。
【００２５】
図３は、図２のステップＳ１の変化量の時系列データを取得するフロー（ルーチン）を示す図である。図３のステップＳ１１において、レーザレーダ１０からの信号を受けて車両の周辺の所定の物体の位置を特定する。その特定には任意の方法を用いることができるが、例えば以下のようにおこなう。
【００２６】
レーザレーダ１０としてスキャン式レーザレーダを使用して、その検出点群の幅から物体、例えば歩行者候補の位置を特定する。具体的には、スキャン式レーザレーダでは、各方向にスキャンするビームの物体からの反射光を受光することにより、検出点として各方向における物体までの距離を測定する。レーザレーダの位置を原点としてＹ軸をレーダの正面方向とする２次元座標系にこれらの検出点の位置をプロットして検出点の集合を得る。これらの検出点の集合から、各検出点の相互の間隔が所定値以下のものを検出点群としてグループ化し、グループ化した検出点群のうち、広がり幅が所定値以下のものを所定の物体候補（例えば歩行者候補）とみなしてその位置を特定する。
【００２７】
ステップＳ１２において、赤外線カメラ１２の出力信号（すなわち、撮像画像のデータ）を入力として受け取り、これをＡ／Ｄ変換して、画像メモリに格納する。格納される画像データは、輝度情報を含んだグレースケール（白黒の濃淡）画像である。対象の温度が高い部分ほど高輝度となる赤外線カメラでは、高輝度部分の明暗値が高い画像データとなり、その温度が低く（低輝度に）なるにつれて明暗値が低い画像データとなる。
【００２８】
ステップＳ１３において、取得されたグレースケール画像に所定の物体を検知する範囲となる所定領域を設定する。この所定領域は、ステップＳ１２においてレーザレーダ１０によって特定された所定の物体候補の位置（領域）を含む領域である。この所定領域の設定は、任意の方法を用いることができるが、例えば物体の位置として歩行者の位置を特定する場合を例にとると、歩行者候補の位置を含む所定サイズの領域（検出点群）を赤外線カメラ１２のカメラ座標系に変換し、グレースケール画像中にマッピング（重畳）して、対応するグレースケール画像上の所定領域として設定する。
【００２９】
ステップＳ１４において、画像上での所定の物体を特定する。この特定は、ステップＳ１３において設定された画像上の所定領域を基準としてその領域内あるいはその近傍の領域内においておこなう。この特定は、任意の方法によりおこなうことができるが、例えば、グレースケール画像を２値化処理して得られる白黒画像から対象物を照合する。具体的には、最初に予めメモリに保管している除外対象物の特徴を有するか否かを調べる。除外対象物とは、例えば発熱体ではあるが明らかに形状等が異なる物体（４足動物、車両等）を意味する。除外対象物に該当しない場合、所定の物体の特徴に該当するか否かを調べる。例えば、所定の物体が歩行者である場合、歩行者の頭部の特徴として丸みを帯びた白部が存在し、その下に胴体、脚部の部分に相当する細長い白部が繋がっていること等が含まれる。また、周知のパターンマッチングを利用し、予め保管してある歩行者を表す所定のパターンとの類似度を算出し、その類似度を歩行者であるか否かの判断材料としてもよい。さらに、歩行者の歩行速度はほぼ一定であることから、レーザレーダ１０から得られる物体の移動速度の情報を判断材料の１つとして用いてもよい。
【００３０】
ステップＳ１５において、所定の物体が特定できたか否かを判定する。この判定がＮｏの場合は処理を終了して戻る。ステップＳ１５での判定がＹｅｓの場合、ステップＳ１６に進む。ステップＳ１６において、ステップＳ１３において設定された所定領域の重心を算出する。ステップＳ１７において、ステップＳ１４において特定された歩行者像の重心を算出する。
【００３１】
図４を参照しながらステップＳ１６およびＳ１７の重心の算出について説明する。図４は、２値化処理後の白黒画像上の所定領域と所定物体（歩行者）の例を示す図である。なお、図４では線を認識させるために、線の部分を除いて全体が白くなっているが、実際には所定物体である歩行者像２２、２４の回りの背景部分は黒く表示される。
【００３２】
図４において、赤外線カメラ１２により取得された２値化処理後の白黒画像２０内に所定物体として歩行者像２２、２４が映っている。（ａ）の像２２は歩行者が静止している場合であり、（ｂ）の像２４は歩行者が図の右方向に移動している場合に相当する。符号２１、２３で指示される枠はレーザレーダ１０により歩行者の位置（領域）として特定された所定領域である。（ａ）の歩行者像２２は所定領域２１内に収まっており両者の位置ずれは小さいのに対して、（ｂ）における両者の位置ずれは大きくなっている。（ｂ）での位置ずれは、主にレーザレーダ１０の出力信号（処理）の遅れに起因しており、レーダとカメラの同期ずれが比較的大きい場合に相当する。一方（ａ）の場合は両者の同期ずれがほとんどないか小さい場合に相当する。同期ずれ補正が特に必要となるのは（ｂ）のような場合である。
【００３３】
図４の（ａ）において、所定領域２１の重心はＱ１の位置上にあるとして、歩行者像２２の重心はＰ１の位置上にあるとしてそれぞれ算出される。両者の重心は、位置ずれ量ｄ１分だけずれているがその位置ずれ量は小さい。同様に（ｂ）において、所定領域２３の重心はＱ２の位置上にあるとして、歩行者像２４の重心はＰ２の位置上にあるとしてそれぞれ算出される。両者の重心は、位置ずれ量ｄ２分だけずれておりその位置ずれ量は大きい。なお、各重心は所定のタイミング毎に算出され、その位置情報および時間変化量がデータとしてメモリに保管される。また、ステップＳ１６およびＳ１７において、重心の代わりに他の任意の基準により定まる位置、例えば所定領域および歩行者像の水平方向の最大幅の中点等を算出してもよい。
【００３４】
図３のステップＳ１８において、所定領域の重心と物体の重心それぞれの時間変化量が所定量よりも大きいか否かを判定する。図４の例で言えば、同期ずれ補正が特に必要となる（ｂ）において、所定領域２３の重心と歩行者像２４の重心それぞれの時間変化量が所定量よりも大きいか否かを判定する。この判定を行うのは、時間変化量の比較的大きな箇所のデータのみを位相ずれ検出に利用するためである。この判定がＮｏの場合は処理を終了して戻る。この判定がＹｅｓの場合は、ステップＳ１９において、所定領域の重心のデータ（時間変化量を含む）を時系列データとしてメモリに保管する。同様に続くステップＳ２０において、物体の重心データ（時間変化量を含む）を時系列データとしてメモリに保管する。
【００３５】
図２に戻って、ステップＳ２において、ステップＳ１において得られた所定領域および重心の時系列データの量が所定量以上であるか否かを判定する。この判定を行うのは、時間変化量のデータが十分に蓄積し位相ずれ検出が効果的に得られる状態にするためである。この判定がＮｏの場合はステップＳ１に戻り、所定量以上の時系列データが得られるまでデータ取得が繰り返される。
【００３６】
ここで、この所定量以上の時系列データ取得に関してさらに説明する。位相ズレの補正には、レーダとカメラの位相ずれが比較的大きく発生する期間、すなわちレーダまたはカメラが検出する物体の時間的な位置変化量が比較的大きくレーダとカメラの位相ずれ量が検出しやすい期間においてその位相ずれ量を検出することが検出精度の観点等から好ましい。しかし、例えば車両が一般道を走行している場合、その補正に必要な変化を連続的に安定して観測することは困難である。そこで、例えば以下のような方法により、一定時間にわたってデータが時間的に変化している時系列データを取得する。
【００３７】
図７はレーダまたはカメラが検出する物体の時間的な位置変化量が大きい区間Ａ〜Ｄの部分のみを寄せ集めて、連続する区間Ａ´〜Ｄ´を作ることを説明するための図である。図７において、上側に示される時間的な位置変化量が大きい区間Ａ〜Ｄの各部分を寄せ集めて、図の下側の時間Ｔ１における連続する区間Ａ´〜Ｄ´を作る。図７における物体の時間的な位置変化量が大きい区間は、例えば車両の旋回中のヨーレート、あるいは加／減速時の車速等、車両状態の変化が大きい場合の車両の走行状態を示す各種検出信号から得ることが望ましい。このように、物体の時間的な位置変化量が大きい区間のみを結合し、その結合した区間でのレーザとカメラの位相ずれ量を検出して補正をおこなうことにより、その補正の精度、信頼度を向上させることが可能となる。
【００３８】
図８は、所定量以上の時系列データを取得する他の例を説明するための図である。自車が移動（走行）する車載環境では、静止ターゲットは頻繁に入れ替わるため、一般道で補正に必要な変化を連続的に安定して観測することは困難である。そこで、図８の例では、異なる静止ターゲット（歩行者等）の移動速度をつなげることで時間的に連続したデータを生成する。
【００３９】
図８の（ａ）では車両３０の進行方向において３つの静止ターゲット１〜３が存在する。車両３０の進行にともない３つの静止ターゲット１〜３は徐々に車両３０に近づいてくる。（ｂ）はその場合の車両３０の速度変化３２と静止ターゲット１〜３の速度変化３３を示している。静止ターゲット１〜３の速度変化３３は、図示したように、各静止ターゲット１〜３の速度変化Ａ〜Ｃをつなげることで得ており、車両３０の速度変化３２に対して対称（負）な関係（グラフ）となる。これにより、車両と静止ターゲットの相対的な速度が変化する区間を得ることができ、図７の場合と同様に、その区間におけるレーザとカメラの位相ずれ量を検出して補正をおこなうことにより、その補正の精度、信頼度を向上させることが可能となる。
【００４０】
図２のステップＳ２の判定がＹｅｓになった後、ステップＳ３において、レーダとカメラの出力信号の位相ずれ量を算出するルーチンを実行する。図５は、その位相ずれ量の算出フローを示す図である。ステップＳ３１において、所定領域の重心および物体の重心の時系列データから位相ずれ量ΔＴを算出する。
【００４１】
図９は、位相ずれ量ΔＴの算出方法を説明するための図である。（ａ）は図４の（ｂ）の部分を抜き出した２値化後の白黒画像２０であり、図４と同じ符号番号を付けてある。図４の説明において既に述べたように、レーザレーダ１０により歩行者の位置（領域）として特定された所定領域２３は、赤外線カメラ１２により取得された２値化処理後の歩行者像２４よりもずれて表示される。
【００４２】
図９の（ｂ）は（ａ）の場合に対応する白黒画像２０上の歩行者像２４の移動量の時間変化Ａと所定領域２３の移動量の時間変化Ｂを示す図である。（ｂ）のデータは、例えば上述した図７または図８の例によって得られるような比較的変化の大きい連続した区間における各移動量データを切り出して得られるデータの一部である。（ｂ）のグラフから、所定領域２３の移動量変化Ｂは、歩行者像２４の移動量変化ＡよりもΔＴ１時間だけ位相（信号の立ち上がり）が遅れていることがわかる。したがって、この場合の位相ずれ量はΔＴ１となる。この位相ずれ量ΔＴ１は、（ａ）の画像上での位置ずれ量ｄ２に対応している。
【００４３】
このように、所定区間（時間）における画像上の所定領域および所定物体像の移動量の時間的な変化をモニターすることで両者の位相ずれ量を得ることができる。この位相ずれ量はレーザレーダ１０と赤外線カメラ１２の出力信号の同期ずれ量に対応している。なお、２つの移動量変化の立ち上がり時刻のずれを見る代わりに、両者の相互相関係数を求めてあるいは位相限定相関法を利用して、得られる関数の周期から位相ずれ量を求めてもよい。
【００４４】
図２のステップＳ４において、位相補正をおこなうルーチンを実行する。図６は、その位相補正のフローを示す図である。ステップＳ４１において、ステップＳ４１において得られた位相ずれ量ΔＴが所定のしきい値ΔＴｔｈよりも大きいか否かを判定する。しきい値ΔＴｔｈは、位相補正の必要がある位相ずれ量がある場合のみを選択できるように設定される。例えば、上述した図４及び図９の例では、図４（ｂ）における位相ずれ量ΔＴ１はしきい値ΔＴｔｈよりも大きい場合に該当し、図４（ａ）における位相ずれ量はしきい値ΔＴｔｈよりも小さい場合に該当する。この判定がＮｏの場合、処理を終了して戻る。判定がＹｅｓの場合、次のステップＳ４２に進む。
【００４５】
ステップＳ４２において、カメラ画像上の物体位置またはレーダによる特定領域（所定領域）をΔＴ分だけずらす。具体的には、レーザレーダ１０の出力信号の処理と赤外線カメラ１２の出力信号の画像処理において、図９（ｂ）の位相ずれ量ΔＴ１が無くなる（ゼロになる）ように補正（調整）する。例えば、赤外線カメラ１２の出力信号の立ち上がり時刻を位相ずれ量ΔＴ１に相当する分だけ遅らせる、あるいは所定のクロック（タイミング）信号に同期して、レーザレーダ１０および外線カメラ１２の出力信号が立ち上がるようにする等の処理をおこなう。
【００４６】
以上、本発明の実施の形態について説明したが、本発明はこのような実施形態に限定されることはなく、本発明の趣旨を逸脱しない範囲において改変して用いることができる。
【符号の説明】
【００４７】
１０ レーザレーダ、
１２ 赤外線カメラ、
１４ 画像処理ユニット
１６ スピーカ、
１８ 表示装置、
２０ カメラ画像
２１、２３ レーダで検出された所定領域
２２、２４ 歩行者像
３０ 車両
【技術分野】
【０００１】
本発明は、車両の周辺監視装置に関し、より具体的には、車両の周辺監視装置におけるレーザとカメラの同期ずれ（位相ずれ）を検出し補正することに関する。
【背景技術】
【０００２】
特許文献１は、歩行者検出装置を開示する。この歩行者検出装置は、スキャン式のレーザレーダと赤外線カメラを併用し、レーザレーダから得られる歩行者候補の検出情報を基に赤外線画像中の歩行者を検出する。
【先行技術文献】
【特許文献】
【０００３】
【特許文献１】特開２００３−３０２４７０号公報
【発明の概要】
【発明が解決しようとする課題】
【０００４】
しかし、レーザレーダと赤外線カメラの出力信号に同期ずれ（位相ずれ）があると、両者の検出範囲（位置）がずれてしまい、レーザレーダの検出情報に対応した赤外線画像中の歩行者を検出することができない場合が生ずる。この同期ずれは、スキャンを伴うレーザレーダによる物体の検出時間（例えば約１２０ｍｓ）が赤外線カメラによる当該物体を含む画像の取得時間（例えば約３３ｍｓ）よりも長くなってしまうことが原因で生ずる。
【０００５】
特許文献１に記載の装置では、このレーザレーダと赤外線カメラの同期ずれに対する補正については何ら考慮していない。
【０００６】
したがって、本発明は、得られた画像情報からレーダとカメラの出力信号の同期ずれ（位相ずれ）を検知し補正することによって、レーダによって特定されたカメラ画像上での所定物体の抽出精度を向上させることを目的とする。
【課題を解決するための手段】
【０００７】
本発明は、車両の周辺の物体を検出するレーダと、車両の周辺の画像を撮像するカメラと、前記レーダが検出した物体の位置に対応する、前記カメラが撮像した対応画像上の所定領域を特定して当該所定領域内の前記物体を特定する手段とを備える、車両の周辺監視装置を提供する。その周辺監視装置は、特定された対応画像上の所定領域の移動量の時間変化と、カメラが撮像した画像上での所定物体の移動量の時間変化との位相ずれ量を算出する手段と、位相ずれ量がゼロになるように、レーダまたはカメラの出力信号の位相補正をおこなう位相補正手段と、を有する。
【０００８】
本発明によれば、カメラが撮像した画像上での移動量の時間変化をモニターすることで、レーダとカメラの出力信号の同期ずれ（位相ずれ）に起因する、レーダによって特定されるカメラ画像上の領域の位置とカメラによって撮像される所定物体の位置の位置ずれを補正することが可能となり、その結果レーダによって特定されたカメラ画像上での所定物体の特定（抽出）精度を向上させることが可能となる。
【０００９】
本発明の一形態によると、位相補正手段は、車両と所定物体との相対位置の時間変化量が所定量以上の場合に位相補正をおこなう。
【００１０】
本発明の一形態によれば、車両と所定物体との相対位置の時間変化量が所定量以上の場合における画像上の移動量の時間変化をモニターすることにより、レーダとカメラの出力信号の同期ずれ（位相ずれ）補正をより安定した適切なタイミングで確実におこなうことが可能となる。
【００１１】
本発明の一形態によると、位相補正手段は、車両の走行中において、レーダが複数の物体を検出した場合に、当該車両の進行にともなって発生する複数の物体の位置の時間変化を結合して得られる変化量が所定量以上の場合に位相補正をおこなう。
【００１２】
本発明の一形態によれば、車両の進行にともなってレーダによって検出される複数の静止物体の動き（移動量）を全体的に捉えた上で同期ずれ補正をおこなう区間（時間）を選択することで、レーダとカメラの出力信号の同期ずれ（位相ずれ）補正をより安定した適切なタイミングで確実におこなうことが可能となる。
【００１３】
本発明の一形態によると、位相補正手段は、相対位置の時間変化が所定時間以上の区間を結合して相対位置の時間変化量を得る。
【００１４】
本発明の一形態によれば、複数の相対位置の時間変化量を結合することでレーダとカメラの出力信号の同期ずれを検出できる必要十分なデータを得ることができ、その検出精度を向上させることが可能となる。
【図面の簡単な説明】
【００１５】
【図１】本発明の車両の周辺監視装置の構成を示すブロック図である。
【図２】本発明の画像処理ユニットにおける処理フローを示す図である。
【図３】本発明の変化量の時系列データの取得フローを示す図である。
【図４】本発明の一実施例に従う画像上での所定領域と歩行者像を示す図である。
【図５】本発明の位相ずれ量の算出フローを示す図である。
【図６】本発明の位相補正のフローを示す図である。
【図７】本発明の変化量の時系列データの取得を説明するための図である。
【図８】本発明の変化量の時系列データの取得を説明するための図である。
【図９】本発明の位相ずれ量の算出方法を説明するための図である。
【発明を実施するための形態】
【００１６】
図面を参照しながら本発明の実施の形態を説明する。図１は、この発明の一実施形態に従う、車両の周辺監視装置の構成を示すブロック図である。周辺監視装置は、車両に搭載され、レーザレーダ１０と、赤外線カメラ１２と、赤外線カメラ１２によって撮像された画像データに基づいて車両周辺の物体を検出するための画像処理ユニット１４と、その検出結果に基づいて音または音声で警報を発生するスピーカ１６と、赤外線カメラ１２の撮像を介して得られた画像を表示すると共に、運転者に車両周辺の物体を認識させるための表示を行う表示装置１８とを備える。
【００１７】
なお、レーザレーダ１０は、例えばスキャン式レーザレーダが該当し、各方向にスキャンするビームの物体からの反射光を受光することにより、検出点として各方向における物体（候補）の位置（領域）とそれまでの距離を検出する。なお、レーザレーダ１０は、他の種類のレーダ（例えばミリ波レーダ等）であってもよい。また、赤外線カメラ１２も、赤外線以外の他の波長帯の光（例えば可視光）を利用するカメラであってもよい。したがって、以下の説明では、赤外線カメラ１２が撮影したグレースケール画像を対象としているが、これに限定されるものではない。さらに、ナビゲーション装置を備える車両においては、スピーカ１６および表示装置１８として、ナビゲーション装置が備える該当機能を利用してもよい。
【００１８】
図１の画像処理ユニット１４は、ブロック１４１〜１４５で示される手段（機能）を含む（実行する）。すなわち、画像処理ユニット１４は、レーザレーダ１０からの信号を受けて車両の周辺の物体の位置を特定する物体位置特定手段１４１と、赤外線カメラ１２が撮影した車両の周辺の画像をグレースケール画像として取得する画像取得手段１４２と、物体位置特定手段１４１が特定した物体の位置に対応する、取得された対応するグレースケール画像上の所定領域を特定して当該所定領域内の物体を特定する手段１４３を含む。なお、物体位置特定手段１４１は、レーザレーダ１０の一部の機能として構成、すなわちレーザレーダ１０に一体的に組み込んでもよい。
【００１９】
画像処理ユニット１４は、さらに、レーザレーダ１０により特定された対応画像上の所定領域の移動量の時間変化と、赤外線カメラ１２が撮像した画像上での所定物体の移動量の時間変化との位相ずれ量を算出する手段１４４と、位相ずれ量がゼロになるように、レーダまたはカメラの出力信号の位相補正をおこなう位相補正手段１４５と、を有する。
【００２０】
画像処理ユニット１４は、さらに、自車両の速度（車速）を検出する車速センサ、加速度センサ、ヨーレート（旋回方向への回転角の変化速度）を検出するヨーレートセンサ等からの検出信号を受けて必要な処理をおこなう機能を有する。
【００２１】
各ブロックの機能は、画像処理ユニット１４が有するコンピュータ（ＣＰＵ）によって実現される。なお、画像処理ユニット１４の構成は、ナビゲーション装置の中に組み込んでもよい。
【００２２】
画像処理ユニット１４は、ハードウエア構成として、例えば、入力アナログ信号をデジタル信号に変換するＡ／Ｄ変換回路、デジタル化した画像信号を記憶する画像メモリ、各種演算処理を行う中央演算処理装置（ＣＰＵ）、ＣＰＵが演算に際してデータを記憶するのに使用するＲＡＭ、ＣＰＵが実行するプログラムおよび用いるデータ（テーブル、マップを含む）を記憶するＲＯＭ、スピーカ１６に対する駆動信号および表示装置１８に対する表示信号などを出力する出力回路を備えている。レーザレーダ１０と赤外線カメラ１２の出力信号は、デジタル信号に変換されてＣＰＵに入力されるよう構成される。
【００２３】
次に、本発明の一実施形態におけるレーダまたはカメラの出力信号の位相補正の方法について説明する。
【００２４】
図２は、画像処理ユニット１４によって実行される処理フローを示す図である。図２の処理フローは、画像処理ユニット１４のＣＰＵがメモリに格納している処理プログラムを呼び出して、所定の時間間隔で実行される。図２のステップＳ１において、同期（位相）ずれ補正をおこなうためのデータ区間を特定するために時系列データを取得する。
【００２５】
図３は、図２のステップＳ１の変化量の時系列データを取得するフロー（ルーチン）を示す図である。図３のステップＳ１１において、レーザレーダ１０からの信号を受けて車両の周辺の所定の物体の位置を特定する。その特定には任意の方法を用いることができるが、例えば以下のようにおこなう。
【００２６】
レーザレーダ１０としてスキャン式レーザレーダを使用して、その検出点群の幅から物体、例えば歩行者候補の位置を特定する。具体的には、スキャン式レーザレーダでは、各方向にスキャンするビームの物体からの反射光を受光することにより、検出点として各方向における物体までの距離を測定する。レーザレーダの位置を原点としてＹ軸をレーダの正面方向とする２次元座標系にこれらの検出点の位置をプロットして検出点の集合を得る。これらの検出点の集合から、各検出点の相互の間隔が所定値以下のものを検出点群としてグループ化し、グループ化した検出点群のうち、広がり幅が所定値以下のものを所定の物体候補（例えば歩行者候補）とみなしてその位置を特定する。
【００２７】
ステップＳ１２において、赤外線カメラ１２の出力信号（すなわち、撮像画像のデータ）を入力として受け取り、これをＡ／Ｄ変換して、画像メモリに格納する。格納される画像データは、輝度情報を含んだグレースケール（白黒の濃淡）画像である。対象の温度が高い部分ほど高輝度となる赤外線カメラでは、高輝度部分の明暗値が高い画像データとなり、その温度が低く（低輝度に）なるにつれて明暗値が低い画像データとなる。
【００２８】
ステップＳ１３において、取得されたグレースケール画像に所定の物体を検知する範囲となる所定領域を設定する。この所定領域は、ステップＳ１２においてレーザレーダ１０によって特定された所定の物体候補の位置（領域）を含む領域である。この所定領域の設定は、任意の方法を用いることができるが、例えば物体の位置として歩行者の位置を特定する場合を例にとると、歩行者候補の位置を含む所定サイズの領域（検出点群）を赤外線カメラ１２のカメラ座標系に変換し、グレースケール画像中にマッピング（重畳）して、対応するグレースケール画像上の所定領域として設定する。
【００２９】
ステップＳ１４において、画像上での所定の物体を特定する。この特定は、ステップＳ１３において設定された画像上の所定領域を基準としてその領域内あるいはその近傍の領域内においておこなう。この特定は、任意の方法によりおこなうことができるが、例えば、グレースケール画像を２値化処理して得られる白黒画像から対象物を照合する。具体的には、最初に予めメモリに保管している除外対象物の特徴を有するか否かを調べる。除外対象物とは、例えば発熱体ではあるが明らかに形状等が異なる物体（４足動物、車両等）を意味する。除外対象物に該当しない場合、所定の物体の特徴に該当するか否かを調べる。例えば、所定の物体が歩行者である場合、歩行者の頭部の特徴として丸みを帯びた白部が存在し、その下に胴体、脚部の部分に相当する細長い白部が繋がっていること等が含まれる。また、周知のパターンマッチングを利用し、予め保管してある歩行者を表す所定のパターンとの類似度を算出し、その類似度を歩行者であるか否かの判断材料としてもよい。さらに、歩行者の歩行速度はほぼ一定であることから、レーザレーダ１０から得られる物体の移動速度の情報を判断材料の１つとして用いてもよい。
【００３０】
ステップＳ１５において、所定の物体が特定できたか否かを判定する。この判定がＮｏの場合は処理を終了して戻る。ステップＳ１５での判定がＹｅｓの場合、ステップＳ１６に進む。ステップＳ１６において、ステップＳ１３において設定された所定領域の重心を算出する。ステップＳ１７において、ステップＳ１４において特定された歩行者像の重心を算出する。
【００３１】
図４を参照しながらステップＳ１６およびＳ１７の重心の算出について説明する。図４は、２値化処理後の白黒画像上の所定領域と所定物体（歩行者）の例を示す図である。なお、図４では線を認識させるために、線の部分を除いて全体が白くなっているが、実際には所定物体である歩行者像２２、２４の回りの背景部分は黒く表示される。
【００３２】
図４において、赤外線カメラ１２により取得された２値化処理後の白黒画像２０内に所定物体として歩行者像２２、２４が映っている。（ａ）の像２２は歩行者が静止している場合であり、（ｂ）の像２４は歩行者が図の右方向に移動している場合に相当する。符号２１、２３で指示される枠はレーザレーダ１０により歩行者の位置（領域）として特定された所定領域である。（ａ）の歩行者像２２は所定領域２１内に収まっており両者の位置ずれは小さいのに対して、（ｂ）における両者の位置ずれは大きくなっている。（ｂ）での位置ずれは、主にレーザレーダ１０の出力信号（処理）の遅れに起因しており、レーダとカメラの同期ずれが比較的大きい場合に相当する。一方（ａ）の場合は両者の同期ずれがほとんどないか小さい場合に相当する。同期ずれ補正が特に必要となるのは（ｂ）のような場合である。
【００３３】
図４の（ａ）において、所定領域２１の重心はＱ１の位置上にあるとして、歩行者像２２の重心はＰ１の位置上にあるとしてそれぞれ算出される。両者の重心は、位置ずれ量ｄ１分だけずれているがその位置ずれ量は小さい。同様に（ｂ）において、所定領域２３の重心はＱ２の位置上にあるとして、歩行者像２４の重心はＰ２の位置上にあるとしてそれぞれ算出される。両者の重心は、位置ずれ量ｄ２分だけずれておりその位置ずれ量は大きい。なお、各重心は所定のタイミング毎に算出され、その位置情報および時間変化量がデータとしてメモリに保管される。また、ステップＳ１６およびＳ１７において、重心の代わりに他の任意の基準により定まる位置、例えば所定領域および歩行者像の水平方向の最大幅の中点等を算出してもよい。
【００３４】
図３のステップＳ１８において、所定領域の重心と物体の重心それぞれの時間変化量が所定量よりも大きいか否かを判定する。図４の例で言えば、同期ずれ補正が特に必要となる（ｂ）において、所定領域２３の重心と歩行者像２４の重心それぞれの時間変化量が所定量よりも大きいか否かを判定する。この判定を行うのは、時間変化量の比較的大きな箇所のデータのみを位相ずれ検出に利用するためである。この判定がＮｏの場合は処理を終了して戻る。この判定がＹｅｓの場合は、ステップＳ１９において、所定領域の重心のデータ（時間変化量を含む）を時系列データとしてメモリに保管する。同様に続くステップＳ２０において、物体の重心データ（時間変化量を含む）を時系列データとしてメモリに保管する。
【００３５】
図２に戻って、ステップＳ２において、ステップＳ１において得られた所定領域および重心の時系列データの量が所定量以上であるか否かを判定する。この判定を行うのは、時間変化量のデータが十分に蓄積し位相ずれ検出が効果的に得られる状態にするためである。この判定がＮｏの場合はステップＳ１に戻り、所定量以上の時系列データが得られるまでデータ取得が繰り返される。
【００３６】
ここで、この所定量以上の時系列データ取得に関してさらに説明する。位相ズレの補正には、レーダとカメラの位相ずれが比較的大きく発生する期間、すなわちレーダまたはカメラが検出する物体の時間的な位置変化量が比較的大きくレーダとカメラの位相ずれ量が検出しやすい期間においてその位相ずれ量を検出することが検出精度の観点等から好ましい。しかし、例えば車両が一般道を走行している場合、その補正に必要な変化を連続的に安定して観測することは困難である。そこで、例えば以下のような方法により、一定時間にわたってデータが時間的に変化している時系列データを取得する。
【００３７】
図７はレーダまたはカメラが検出する物体の時間的な位置変化量が大きい区間Ａ〜Ｄの部分のみを寄せ集めて、連続する区間Ａ´〜Ｄ´を作ることを説明するための図である。図７において、上側に示される時間的な位置変化量が大きい区間Ａ〜Ｄの各部分を寄せ集めて、図の下側の時間Ｔ１における連続する区間Ａ´〜Ｄ´を作る。図７における物体の時間的な位置変化量が大きい区間は、例えば車両の旋回中のヨーレート、あるいは加／減速時の車速等、車両状態の変化が大きい場合の車両の走行状態を示す各種検出信号から得ることが望ましい。このように、物体の時間的な位置変化量が大きい区間のみを結合し、その結合した区間でのレーザとカメラの位相ずれ量を検出して補正をおこなうことにより、その補正の精度、信頼度を向上させることが可能となる。
【００３８】
図８は、所定量以上の時系列データを取得する他の例を説明するための図である。自車が移動（走行）する車載環境では、静止ターゲットは頻繁に入れ替わるため、一般道で補正に必要な変化を連続的に安定して観測することは困難である。そこで、図８の例では、異なる静止ターゲット（歩行者等）の移動速度をつなげることで時間的に連続したデータを生成する。
【００３９】
図８の（ａ）では車両３０の進行方向において３つの静止ターゲット１〜３が存在する。車両３０の進行にともない３つの静止ターゲット１〜３は徐々に車両３０に近づいてくる。（ｂ）はその場合の車両３０の速度変化３２と静止ターゲット１〜３の速度変化３３を示している。静止ターゲット１〜３の速度変化３３は、図示したように、各静止ターゲット１〜３の速度変化Ａ〜Ｃをつなげることで得ており、車両３０の速度変化３２に対して対称（負）な関係（グラフ）となる。これにより、車両と静止ターゲットの相対的な速度が変化する区間を得ることができ、図７の場合と同様に、その区間におけるレーザとカメラの位相ずれ量を検出して補正をおこなうことにより、その補正の精度、信頼度を向上させることが可能となる。
【００４０】
図２のステップＳ２の判定がＹｅｓになった後、ステップＳ３において、レーダとカメラの出力信号の位相ずれ量を算出するルーチンを実行する。図５は、その位相ずれ量の算出フローを示す図である。ステップＳ３１において、所定領域の重心および物体の重心の時系列データから位相ずれ量ΔＴを算出する。
【００４１】
図９は、位相ずれ量ΔＴの算出方法を説明するための図である。（ａ）は図４の（ｂ）の部分を抜き出した２値化後の白黒画像２０であり、図４と同じ符号番号を付けてある。図４の説明において既に述べたように、レーザレーダ１０により歩行者の位置（領域）として特定された所定領域２３は、赤外線カメラ１２により取得された２値化処理後の歩行者像２４よりもずれて表示される。
【００４２】
図９の（ｂ）は（ａ）の場合に対応する白黒画像２０上の歩行者像２４の移動量の時間変化Ａと所定領域２３の移動量の時間変化Ｂを示す図である。（ｂ）のデータは、例えば上述した図７または図８の例によって得られるような比較的変化の大きい連続した区間における各移動量データを切り出して得られるデータの一部である。（ｂ）のグラフから、所定領域２３の移動量変化Ｂは、歩行者像２４の移動量変化ＡよりもΔＴ１時間だけ位相（信号の立ち上がり）が遅れていることがわかる。したがって、この場合の位相ずれ量はΔＴ１となる。この位相ずれ量ΔＴ１は、（ａ）の画像上での位置ずれ量ｄ２に対応している。
【００４３】
このように、所定区間（時間）における画像上の所定領域および所定物体像の移動量の時間的な変化をモニターすることで両者の位相ずれ量を得ることができる。この位相ずれ量はレーザレーダ１０と赤外線カメラ１２の出力信号の同期ずれ量に対応している。なお、２つの移動量変化の立ち上がり時刻のずれを見る代わりに、両者の相互相関係数を求めてあるいは位相限定相関法を利用して、得られる関数の周期から位相ずれ量を求めてもよい。
【００４４】
図２のステップＳ４において、位相補正をおこなうルーチンを実行する。図６は、その位相補正のフローを示す図である。ステップＳ４１において、ステップＳ４１において得られた位相ずれ量ΔＴが所定のしきい値ΔＴｔｈよりも大きいか否かを判定する。しきい値ΔＴｔｈは、位相補正の必要がある位相ずれ量がある場合のみを選択できるように設定される。例えば、上述した図４及び図９の例では、図４（ｂ）における位相ずれ量ΔＴ１はしきい値ΔＴｔｈよりも大きい場合に該当し、図４（ａ）における位相ずれ量はしきい値ΔＴｔｈよりも小さい場合に該当する。この判定がＮｏの場合、処理を終了して戻る。判定がＹｅｓの場合、次のステップＳ４２に進む。
【００４５】
ステップＳ４２において、カメラ画像上の物体位置またはレーダによる特定領域（所定領域）をΔＴ分だけずらす。具体的には、レーザレーダ１０の出力信号の処理と赤外線カメラ１２の出力信号の画像処理において、図９（ｂ）の位相ずれ量ΔＴ１が無くなる（ゼロになる）ように補正（調整）する。例えば、赤外線カメラ１２の出力信号の立ち上がり時刻を位相ずれ量ΔＴ１に相当する分だけ遅らせる、あるいは所定のクロック（タイミング）信号に同期して、レーザレーダ１０および外線カメラ１２の出力信号が立ち上がるようにする等の処理をおこなう。
【００４６】
以上、本発明の実施の形態について説明したが、本発明はこのような実施形態に限定されることはなく、本発明の趣旨を逸脱しない範囲において改変して用いることができる。
【符号の説明】
【００４７】
１０ レーザレーダ、
１２ 赤外線カメラ、
１４ 画像処理ユニット
１６ スピーカ、
１８ 表示装置、
２０ カメラ画像
２１、２３ レーダで検出された所定領域
２２、２４ 歩行者像
３０ 車両
【特許請求の範囲】
【請求項１】
車両の周辺の物体を検出するレーダと、車両の周辺の画像を撮像するカメラと、前記レーダが検出した物体の位置に対応する、前記カメラが撮像した対応画像上の所定領域を特定して当該所定領域内の前記物体を特定する手段とを備える、車両の周辺監視装置であって、
特定された前記対応画像上の所定領域の移動量の時間変化と、前記カメラが撮像した画像上での前記所定物体の移動量の時間変化との位相ずれ量を算出する手段と、
前記位相ずれ量がゼロになるように、前記レーダまたは前記カメラの出力信号の位相補正をおこなう位相補正手段と、を有する車両の周辺監視装置。
【請求項２】
前記位相補正手段は、前記車両と前記所定物体との相対位置の時間変化量が所定量以上の場合に前記位相補正をおこなう、請求項１に記載の周辺監視装置。
【請求項３】
前記位相補正手段は、前記車両の走行中において、前記レーダが複数の物体を検出した場合に、当該車両の進行にともなって発生する前記複数の物体の位置の時間変化を結合して得られる変化量が所定量以上の場合に前記位相補正をおこなう、請求項１に記載の周辺監視装置。
【請求項４】
前記位相補正手段は、前記相対位置の時間変化が所定時間以上の区間を結合して前記時間変化量を得る、請求項２に記載の周辺監視装置。
【請求項１】
車両の周辺の物体を検出するレーダと、車両の周辺の画像を撮像するカメラと、前記レーダが検出した物体の位置に対応する、前記カメラが撮像した対応画像上の所定領域を特定して当該所定領域内の前記物体を特定する手段とを備える、車両の周辺監視装置であって、
特定された前記対応画像上の所定領域の移動量の時間変化と、前記カメラが撮像した画像上での前記所定物体の移動量の時間変化との位相ずれ量を算出する手段と、
前記位相ずれ量がゼロになるように、前記レーダまたは前記カメラの出力信号の位相補正をおこなう位相補正手段と、を有する車両の周辺監視装置。
【請求項２】
前記位相補正手段は、前記車両と前記所定物体との相対位置の時間変化量が所定量以上の場合に前記位相補正をおこなう、請求項１に記載の周辺監視装置。
【請求項３】
前記位相補正手段は、前記車両の走行中において、前記レーダが複数の物体を検出した場合に、当該車両の進行にともなって発生する前記複数の物体の位置の時間変化を結合して得られる変化量が所定量以上の場合に前記位相補正をおこなう、請求項１に記載の周辺監視装置。
【請求項４】
前記位相補正手段は、前記相対位置の時間変化が所定時間以上の区間を結合して前記時間変化量を得る、請求項２に記載の周辺監視装置。
【図１】
【図２】
【図３】
【図４】
【図５】
【図６】
【図７】
【図８】
【図９】
【図２】
【図３】
【図４】
【図５】
【図６】
【図７】
【図８】
【図９】
【公開番号】特開２０１１−２２７０２９（Ｐ２０１１−２２７０２９Ａ）
【公開日】平成２３年１１月１０日（２０１１．１１．１０）
【国際特許分類】
【出願番号】特願２０１０−９９５３６（Ｐ２０１０−９９５３６）
【出願日】平成２２年４月２３日（２０１０．４．２３）
【出願人】（０００００５３２６）本田技研工業株式会社 (23,863)
【Ｆターム（参考）】
【公開日】平成２３年１１月１０日（２０１１．１１．１０）
【国際特許分類】
【出願日】平成２２年４月２３日（２０１０．４．２３）
【出願人】（０００００５３２６）本田技研工業株式会社 (23,863)
【Ｆターム（参考）】
[ Back to top ]