車両の周辺監視装置
【課題】車両の周辺監視装置に関わり、同期回路を必要とせず、複数の検出手段の検出タイミングを調整する。
【解決手段】車両の周辺の物体情報を所定周期で連続して検出する第１検出手段と、第１検出手段とは異なる方法で、車両の周辺の物体情報を所定のタイミング毎に検出する第２検出手段と、第１検出手段が１周期内に検出した物体情報の検出タイミングを当該１周期内の１つのタイミングとして補正する時間補正手段とを備え、その１周期内の１つのタイミングは、第２検出手段の所定のタイミングの１つと一致させる。
【解決手段】車両の周辺の物体情報を所定周期で連続して検出する第１検出手段と、第１検出手段とは異なる方法で、車両の周辺の物体情報を所定のタイミング毎に検出する第２検出手段と、第１検出手段が１周期内に検出した物体情報の検出タイミングを当該１周期内の１つのタイミングとして補正する時間補正手段とを備え、その１周期内の１つのタイミングは、第２検出手段の所定のタイミングの１つと一致させる。
【発明の詳細な説明】
【技術分野】
【０００１】
本発明は、車両の周辺監視装置に関し、より具体的には、車両の周辺監視装置におけるレーダとカメラの同期補正に関する。
【背景技術】
【０００２】
特許文献１は、車両の前方にある対象物を認識する対象物認識装置を開示する。この対象物認識装置は、スキャン式のレーダと撮像装置（カメラ）を併用して、レーダから得られる対象物候補の検出情報を基に赤外線画像中の対象物を特定する。
【先行技術文献】
【特許文献】
【０００３】
【特許文献１】特許４２０５８２５号公報
【発明の概要】
【発明が解決しようとする課題】
【０００４】
レーダとカメラのデータ取得タイミングにはずれ（以下、「同期ずれ」とも呼ぶ）があり、この同期ずれを補正しないと、両者の検出範囲（位置）が大きくずれてしまい、レーダの検出情報に対応したカメラ画像中の物体を検出することができない場合が生ずる。この同期ずれは、所定の走査時間と検出タイミングの時間補正を必要とするレーダと、所定のタイミング毎に撮像するカメラとにおけるデータ取得タイミングのずれが原因で生ずる。
【０００５】
また、この同期ずれを補正する際に、そのタイミングのずれ時間における車両の移動によるデータの変動分（画像上の物体の位置ずれ等）も同時に補正する必要がある。
【０００６】
同期ずれ補正の方法として、外部同期回路により両者の検出開始タイミングを同期させる方法や検出周期が遅い（長い）レーダから同期信号を出力し、検出周期が速い（短い）カメラのタイミングをレーダのタイミングに合わせる形で検出開始タイミングを同期させる方法が知られている．
しかし、従来の方法では、新たな同期回路が必要となったり、また処理時間が長いレーダが処理時間の短いカメラに合わせて駆動させるための専用設計が必要となる場合がある。さらに、処理時間が長いレーダが本来の処理周期で動作していないために、そのデータを別システムで併用する等の展開が困難であり、レーダまたはカメラの本来の性能（検出スピード等）を生かすことができない恐れがある。
【０００７】
したがって、本発明は、新たな同期回路を必要とせず、レーダおよびカメラの検出タイミングを調整（補正）し、同時にその検出タイミングのずれ時間における車両移動によるデータの変動分も同時に補正することが可能な車両の周辺監視装置を提供することを目的とする。
【課題を解決するための手段】
【０００８】
本発明は、車両の周辺の物体情報を所定周期で連続して検出する第１検出手段と、第１検出手段とは異なる方法で、車両の周辺の物体情報を所定のタイミング毎に検出する第２検出手段と、第１検出手段が１周期内に検出した物体情報の検出タイミングを当該１周期内の１つのタイミングとして補正する時間補正手段とを備え、その１周期内の１つのタイミングは、第２検出手段の所定のタイミングの１つと一致することを特徴とする、車両の周辺監視装置である。
【０００９】
本発明によれば、同期信号を必要とすることなく、第１検出手段（例えばレーダ）と第２検出手段（例えばカメラ）各々の固有のタイミング制御をそのまま生かしながら、すなわち両者の非同期な制御を利用しながら、両者のデータの取得タイミングの補正（データ間の対応付け）をおこなうことが可能となる。
【００１０】
本発明の一形態によると、車両の周辺の物体を検出するレーダと、車両の周辺の画像を撮像するカメラと、レーダが検出した物体の位置または大きさに対応する、カメラが撮像した対応画像上に所定領域を設定して当該所定領域内の物体を特定する手段とを備える、車両の周辺監視装置が提供される。この周辺監視装置は、レーダによって検出された物体の位置または大きさの検出タイミングと、カメラによって取得された対応画像の取得タイミングとの差分を検出する検出手段と、その差分に相当する車両の移動量を算出する算出手段と、車両の移動量に応じてレーダによって検出された物体の位置または大きさを補正する補正手段と、を有する。
【００１１】
本発明の一形態によれば、カメラ画像が取得されたタイミングからレーダ情報が取得されるまでの間での車両の移動量に応じてレーダによって検出された物体の位置または大きさを補正することで、カメラ画像とレーダ情報とのマッチング精度を向上させることが可能となる。
【００１２】
本発明の一形態によると、レーダは所定の走査時間毎に物体を検出し、レーダによる検出タイミングは、所定の走査時間の開始時または終了時のタイミングであり、カメラによる画像取得タイミングは、所定の走査時間内での取得タイミングである。
【００１３】
本発明の一形態によれば、新たな同期回路を必要とすることなく、レーダの走査時間内でのカメラによる画像取得タイミングにレーダによる検出タイミングを合わせこむことにより、両者の検出タイミングの補正をすることができる。
【図面の簡単な説明】
【００１４】
【図１】本発明の一実施例に従う、車両の周辺監視装置の構成を示すブロック図である。
【図２】本発明の一実施例に従う、画像処理ユニットにおける処理フローを示す図である。
【図３】本発明の一実施例に従う、物体情報の取得時間の補正処理フローを示す図である。
【図４】本発明の一実施例に従う、レーダ走査時間中の自車両の移動量の補正処理フローを示す図である。
【図５】本発明の一実施例に従う、レーダ走査と画像取得のタイミングフローを示す図である。
【図６】本発明の一実施例に従う、車両前方の物体検知の様子を示す図である。
【発明を実施するための形態】
【００１５】
図面を参照しながら本発明の実施の形態を説明する。図１は、この発明の一実施形態に従う、車両の周辺監視装置の構成を示すブロック図である。周辺監視装置は、車両に搭載され、レーダ１０と、カメラ１２と、カメラ１２によって撮像された画像データに基づいて車両周辺の物体を検出するための画像処理ユニット１４と、その検出結果に基づいて音または音声で警報を発生するスピーカ１６と、カメラ１２の撮像を介して得られた画像を表示すると共に、運転者に車両周辺の物体を認識させるための表示を行う表示装置１８とを備える。
【００１６】
なお、レーダ１０は、例えばスキャン式レーザレーダが該当し、各方向にスキャンするビームの物体からの反射光を受光することにより、検出点として各方向における物体（候補）の位置、大きさ（領域）およびそれまでの距離を検出する。なお、レーダ１０は、他の種類のレーダ（例えばミリ波レーダ等）であってもよい。
【００１７】
カメラ１２には、赤外線カメラ、赤外線以外の他の波長帯の光（例えば可視光）を利用するカメラ等が含まれる。なお、以下の説明では、カメラ１２として赤外線カメラが撮影したグレースケール画像を対象としているが、これに限定されるものではない。さらに、ナビゲーション装置を備える車両においては、スピーカ１６および表示装置１８として、ナビゲーション装置が備える該当機能を利用してもよい。
【００１８】
図１の画像処理ユニット１４は、ブロック１４１〜１４８で示される手段（機能）を含む（実行する）。すなわち、画像処理ユニット１４は、レーダ１０からの信号を受けて車両の周辺の物体の位置等の情報（検出点データ）を取得する手段１４１と、赤外線カメラ１２が撮影した車両の周辺の画像をグレースケール画像として取得する画像取得手段１４２と、取得した画像の取得タイミング（時間）を検出する手段１４３と、レーダ１０が検出した物体の位置等の情報（検出点データ）の検出時間（タイミング）を補正する時間補正手段１４４と、として機能する。
【００１９】
画像処理ユニット１４は、さらに、レーダ１０によって検出された物体の位置または大きさの検出タイミングと、赤外線カメラ１２によって取得された対応画像の取得タイミングとの差分を検出する検出手段１４５と、その差分に相当する車両の移動量を算出する算出手段１４６と、車両の移動量に応じてレーダ１０によって取得された物体の位置または大きさを補正する補正手段１４７と、検出された物体の位置に対応する、取得された対応するグレースケール画像上の所定領域を特定して当該所定領域内の物体を特定する手段１４８として機能する。
【００２０】
各ブロックの機能は、画像処理ユニット１４が有するコンピュータ（ＣＰＵ）によって実現される。なお、画像処理ユニット１４の構成は、ナビゲーション装置の中に組み込んでもよい。
【００２１】
画像処理ユニット１４は、ハードウエア構成として、例えば、入力アナログ信号をデジタル信号に変換するＡ／Ｄ変換回路、デジタル化した画像信号を記憶する画像メモリ、各種演算処理を行う中央演算処理装置（ＣＰＵ）、ＣＰＵが演算に際してデータを記憶するのに使用するＲＡＭ、ＣＰＵが実行するプログラムおよび用いるデータ（テーブル、マップを含む）を記憶するＲＯＭ、スピーカ１６に対する駆動信号および表示装置１８に対する表示信号などを出力する出力回路を備えている。レーダ１０と赤外線カメラ１２の出力信号は、デジタル信号に変換されてＣＰＵに入力されるよう構成される。
【００２２】
次に、本発明の一実施形態におけるレーダとカメラの出力信号の同期補正方法について説明する。
【００２３】
図２は、画像処理ユニット１４によって実行される処理フローを示す図である。図２の処理フローは、画像処理ユニット１４のＣＰＵがメモリに格納している処理プログラムを呼び出して、所定の時間間隔で実行される。
【００２４】
ステップＳ１において、赤外線カメラ１２の出力信号（すなわち、撮像画像のデータ）を入力として受け取り、これをＡ／Ｄ変換して、画像メモリに格納する。格納される画像データは、輝度情報を含んだグレースケール（白黒の濃淡）画像である。対象の温度が高い部分ほど高輝度となる赤外線カメラでは、高輝度部分の明暗値が高い画像データとなり、その温度が低く（低輝度に）なるにつれて明暗値が低い画像データとなる。
【００２５】
ステップＳ２において、レーダ１０の走査を開始する。この走査はステップＳ１の画像データ取得と並行して行われる。
【００２６】
ステップＳ３において、レーダ１０からの信号を受けて車両の周辺の所定の物体の位置を示す検出点データ（点列データ）を取得する。このデータ取得には任意の方法を用いることができるが、例えば以下のようにおこなう。
【００２７】
レーダ１０としてスキャン式レーザレーダを使用して、その検出点群の幅から物体、例えば歩行者候補の位置を特定する。具体的には、スキャン式レーザレーダでは、所定範囲でスキャンするビームの物体からの反射光を受光することにより、検出点として各方向における物体までの距離を測定する。レーザレーダの位置を原点としてＹ軸をレーダの正面方向とする２次元座標系にこれらの検出点の位置をプロットして検出点の集合を得る。これらの検出点の集合から、各検出点の相互の間隔が所定値以下のものを検出点群としてグループ化し、グループ化した検出点群のうち、広がり幅が所定値以下のものを所定の物体候補（例えば歩行者候補）とみなしてその各位置を検出点データ（点列データ）としてメモリに格納する。
【００２８】
ステップＳ４において、時間補正をおこなう。ここで言う時間補正は、レーダ１０によって取得された物体情報（点列データ）の取得時間（タイミング）の補正と、レーダ走査時間中の自車両の移動量の補正の２つを意味する。図３〜図６を参照しながら、この２つの補正について説明する。
【００２９】
図３は、画像処理ユニット１４によって実行される、物体情報の取得時間の補正の処理ルーチン（フロー）を示す図である。図３のステップＳ４１において、赤外線カメラ１２によって取得された画像の取得タイミングを検出する。ステップＳ４２において、レーダ１０によって取得された物体情報（点列データ）の取得時間を補正する。図５を参照しながら、この２つのステップの内容について説明する。
【００３０】
図５は、本発明の一実施例に従う、レーダ走査と画像取得のタイミングフローを示す図である。レーダ１０は所定の走査時間ＴＳ（例えば約６０ｍｓ）毎に物体候補の位置等を検出する。この場合、物体候補はその走査時間ＴＳ内のどこかのタイミングで検出されるが、そのタイミングは物体候補の位置等において変化するので、従来は走査開始時（図４のＰ１〜Ｐ４）において検出したものとしてその時間補正をおこなっていた。一方、赤外線カメラ１２は所定のタイミングＴ１〜Ｔ６（例えば約３３ｍｓ）毎に車両前方の画像を撮像する。このタイミングＴ１〜Ｔ６が図３のステップＳ４１において取得されるタイミングである。したがって、レーダ１０による物体候補の検出タイミングと赤外線カメラ１２による画像取得のタイミングは基本的に一致することはなく、つまり両タイミングの同期がとれることは原則としてない。
【００３１】
本発明の一実施形態によれば、両タイミングの同期をとるように制御をおこなうのではなく、レーダ１０による物体候補の検出タイミングを赤外線カメラ１２による画像取得のタイミングに合わせるように時間補正をおこなう。図５の例では、例えばレーダ走査Ｐ１〜Ｐ２間において検出された物体候補のタイミングを赤外線カメラ１２から送られてくる画像取得のタイミングＴ２に合わせるように時間補正をする。すなわち、レーダ１０によって走査Ｐ１〜Ｐ２間において検出された物体候補のデータ（位置、大きさ等）は、赤外線カメラ１２によってタイミングＴ２において取得された画像データと同じタイミングでのデータとして対応（関連）付けられる。この時間（タイミング）補正が図３のステップＳ４２において実行される時間補正に相当する。
【００３２】
その際、万が一レーダ１０がその走査時間ＴＳ内において赤外線カメラ１２から画像取得のタイミングを取得できない場合は、走査終了時のタイミングにおいて物体候補のデータが取得されたされたものとする。図５の例では、画像取得のタイミングＴ３およびＴ４をレーダ１０が取得できなった場合、走査終了時Ｐ３（Ｔ４´）のタイミングにおいてレーダ１０によって物体候補のデータが取得されたされたものとする。この場合、赤外線カメラ１２によって取得された画像データとしては、走査終了時Ｐ３（Ｔ４´）に最も近いタイミングＴ４での画像データを用いて、そのＴタイミング４での画像データを物体候補のデータと対応（関連）付ける。
【００３３】
このように、本発明の一実施形態によれば、同期信号を必要とすることなく、レーダとカメラそれぞれのタイミング制御をそのまま生かしながら、すなわち両者の非同期な制御を利用しながら、両者のデータの取得タイミングの補正（データ間の対応付け）をおこなうことが可能となる。
【００３４】
図４は、画像処理ユニット１４によって実行される、レーダ走査時間中の自車両の移動量の補正の処理ルーチン（フロー）を示す図である。図４のステップＳ４０１において、上述した図３のステップＳ４１と同様に、赤外線カメラ１２によって取得された画像の取得タイミングを検出する。
【００３５】
ステップＳ４０２において、レーダ１０によって検出された物体の位置検出点データ（点列データ）と、赤外線カメラ１２によって取得された画像の取得タイミングとの差分を検出する。図５を参照しながら説明したように、レーダ１０によって検出された物体候補の検出タイミングと、赤外線カメラ１２によって取得された画像の取得タイミングとは原則としてずれている、すなわち差分（時間差）が発生することになる。ステップＳ４０２では、この両者の取得タイミングの差分（時間差）を検出する。図５の例では、例えば画像取得のタイミングＴ２に合わせる場合、そのタイミングＴ２とレーダ１０による物体候補の検出タイミングとの差分（時間差）を求めることになる。この場合、画像取得のタイミングが走査時間ＴＳ内に必ず１つは入るので、その差分は最大でも走査時間ＴＳよりも小さい値（０＜ｔ＜ＴＳ）となる。
【００３６】
次に、ステップＳ４０３において、ステップＳ４０１において求めた取得タイミングの差分（時間）での車両の移動量を算出する。図６を参照しながらこの移動量の算出について説明する。
【００３７】
図６は、本発明の一実施例に従う、車両前方の物体検知の様子を示す図である。図６において、車両２０が方向２１に沿って進行しているとする。符号２３、２４、２５で指示される線は、レーダ１０によって検出可能な範囲であり、矢印２２で示される方向に沿って走査を繰り返す範囲である。時間ｔ０、ｔ１、ｔ２はそれぞれ車両の移動時間を示し、時間ｔ０とｔ２において赤外線カメラ１２によって画像が取得されるとする。すなわち、時間ｔ０とｔ２は図５のタイミングＴ１〜Ｔ５に対応する。
【００３８】
赤外線カメラ１２による画像取得と並行して行われるレーダ１０走査により、時間ｔ０〜ｔ２の間で検出データ（点列データ）として図の３つの物体候補Ａ、Ｂ、Ｃが検出されたとする。物体候補Ａは時間ｔ０あるいはその近傍のタイミングで、物体候補Ｂは時間ｔ１あるいはその近傍のタイミングで、そして物体候補Ｃは時間ｔ２あるいはその近傍のタイミングでそれぞれレーダ１０によって検出されたとする。なお、物体候補Ａ、Ｂ、Ｃは、時間ｔ０〜ｔ２間においていずれも静止していたとする。図５を参照して説明したように、本発明の一実施形態では、赤外線カメラ１２による画像取得のタイミングにレーダ１０による物体候補の検出タイミングを合わせこむので、図６の例では、例えば時間ｔ０において全ての物体候補Ａ〜Ｃが検出されたものとみなして時間補正をおこなうことになる。
【００３９】
この場合、車両２０は所定の速度で前方に移動しているので、その時間補正をおこなう際に、同時にその時間差に相当する車両の移動量を算出して物体候補Ａ、Ｂ、Ｃの取得データに対してその移動量分の補正をおこなう必要がある。ステップＳ４０３ではそのための車両の移動量を算出する。具体的には、例えば車速Ｖのデータを取得して、物体候補Ｂに対しては時間差Δｔ（＝ｔ１−ｔ０）を乗算して、物体候補Ｃに対しては時間差Δｔ（＝ｔ２−ｔ０）を乗算して、それぞれの移動量（距離）ｄ１、ｄ２を算出する（ｄ＝Ｖ×Δｔ）。
【００４０】
図２のフローに戻って、ステップＳ５において、画像上の物体位置を設定する。具体的には、取得されたグレースケール画像上に物体候補の位置を示す所定領域を設定する。この所定領域は、ステップＳ３においてレーザレーダ１０によって取得された検出点（物体候補の位置）を含む領域である。その際、図４のステップＳ４０３において得られた移動量（距離）を用いて検出点（物体候補の位置）等を補正する。
【００４１】
具体的には、図６の例では、物体候補Ｂのデータに対して、移動量（距離）ｄ１を加算して、その位置（車両２０からの距離）を補正、物体候補Ｂの画像上での大きさ（領域）、あるいは物体候補Ｂについての所定領域を補正（縮小または拡大）する。物体候補Ｃに対しても物体候補Ｂの場合と同様である。
【００４２】
この所定領域の設定は、任意の方法を用いることができるが、例えば物体の位置として歩行者の位置を特定する場合を例にとると、歩行者候補の位置を含む所定サイズの領域（検出点群）を赤外線カメラ１２のカメラ座標系に変換し、グレースケール画像中にマッピング（重畳）して、対応するグレースケール画像上の所定領域として設定する。
【００４３】
このように、本発明の一実施形態によれば、カメラ画像が取得されたタイミングからレーダ情報が取得されるまでの間での車両の移動量に応じて対応画像上の物体の位置または大きさ（所定領域）を補正することで、カメラ画像とレーダ情報とのマッチング精度を向上させることが可能となる。
【００４４】
ステップＳ６において、画像上の物体候補が所定の物体であるかを特定する。この特定は、ステップＳ５において得られた画像上の所定領域を基準としてその領域内あるいはその近傍の領域内における物体候補についておこなう。この特定は、任意の方法によりおこなうことができるが、例えば、グレースケール画像を２値化処理して得られる白黒画像から物体候補（対象物）を照合する。
【００４５】
具体的には、最初に予めメモリに保管している除外対象物の特徴を有するか否かを調べる。除外対象物とは、例えば発熱体ではあるが明らかに形状等が異なる物体（４足動物、車両等）を意味する。除外対象物に該当しない場合、所定の物体の特徴に該当するか否かを調べる。例えば、所定の物体が歩行者である場合、歩行者の頭部の特徴として丸みを帯びた白部が存在し、その下に胴体、脚部の部分に相当する細長い白部が繋がっていること等が含まれる。また、周知のパターンマッチングを利用し、予め保管してある歩行者を表す所定のパターンとの類似度を算出し、その類似度を歩行者であるか否かの判断材料としてもよい。さらに、歩行者の歩行速度はほぼ一定であることから、レーダ１０から得られる物体の移動速度の情報を判断材料の１つとして用いてもよい。
【００４６】
以上、本発明の実施の形態について説明したが、本発明はこのような実施形態に限定されることはなく、本発明の趣旨を逸脱しない範囲において改変して用いることができる。
【符号の説明】
【００４７】
１０ レーダ、
１２ カメラ（赤外線カメラ）、
１４ 画像処理ユニット
１６ スピーカ、
１８ 表示装置、
２０ 車両
２３、２４、２５ レーダの検出可能（走査）範囲
【技術分野】
【０００１】
本発明は、車両の周辺監視装置に関し、より具体的には、車両の周辺監視装置におけるレーダとカメラの同期補正に関する。
【背景技術】
【０００２】
特許文献１は、車両の前方にある対象物を認識する対象物認識装置を開示する。この対象物認識装置は、スキャン式のレーダと撮像装置（カメラ）を併用して、レーダから得られる対象物候補の検出情報を基に赤外線画像中の対象物を特定する。
【先行技術文献】
【特許文献】
【０００３】
【特許文献１】特許４２０５８２５号公報
【発明の概要】
【発明が解決しようとする課題】
【０００４】
レーダとカメラのデータ取得タイミングにはずれ（以下、「同期ずれ」とも呼ぶ）があり、この同期ずれを補正しないと、両者の検出範囲（位置）が大きくずれてしまい、レーダの検出情報に対応したカメラ画像中の物体を検出することができない場合が生ずる。この同期ずれは、所定の走査時間と検出タイミングの時間補正を必要とするレーダと、所定のタイミング毎に撮像するカメラとにおけるデータ取得タイミングのずれが原因で生ずる。
【０００５】
また、この同期ずれを補正する際に、そのタイミングのずれ時間における車両の移動によるデータの変動分（画像上の物体の位置ずれ等）も同時に補正する必要がある。
【０００６】
同期ずれ補正の方法として、外部同期回路により両者の検出開始タイミングを同期させる方法や検出周期が遅い（長い）レーダから同期信号を出力し、検出周期が速い（短い）カメラのタイミングをレーダのタイミングに合わせる形で検出開始タイミングを同期させる方法が知られている．
しかし、従来の方法では、新たな同期回路が必要となったり、また処理時間が長いレーダが処理時間の短いカメラに合わせて駆動させるための専用設計が必要となる場合がある。さらに、処理時間が長いレーダが本来の処理周期で動作していないために、そのデータを別システムで併用する等の展開が困難であり、レーダまたはカメラの本来の性能（検出スピード等）を生かすことができない恐れがある。
【０００７】
したがって、本発明は、新たな同期回路を必要とせず、レーダおよびカメラの検出タイミングを調整（補正）し、同時にその検出タイミングのずれ時間における車両移動によるデータの変動分も同時に補正することが可能な車両の周辺監視装置を提供することを目的とする。
【課題を解決するための手段】
【０００８】
本発明は、車両の周辺の物体情報を所定周期で連続して検出する第１検出手段と、第１検出手段とは異なる方法で、車両の周辺の物体情報を所定のタイミング毎に検出する第２検出手段と、第１検出手段が１周期内に検出した物体情報の検出タイミングを当該１周期内の１つのタイミングとして補正する時間補正手段とを備え、その１周期内の１つのタイミングは、第２検出手段の所定のタイミングの１つと一致することを特徴とする、車両の周辺監視装置である。
【０００９】
本発明によれば、同期信号を必要とすることなく、第１検出手段（例えばレーダ）と第２検出手段（例えばカメラ）各々の固有のタイミング制御をそのまま生かしながら、すなわち両者の非同期な制御を利用しながら、両者のデータの取得タイミングの補正（データ間の対応付け）をおこなうことが可能となる。
【００１０】
本発明の一形態によると、車両の周辺の物体を検出するレーダと、車両の周辺の画像を撮像するカメラと、レーダが検出した物体の位置または大きさに対応する、カメラが撮像した対応画像上に所定領域を設定して当該所定領域内の物体を特定する手段とを備える、車両の周辺監視装置が提供される。この周辺監視装置は、レーダによって検出された物体の位置または大きさの検出タイミングと、カメラによって取得された対応画像の取得タイミングとの差分を検出する検出手段と、その差分に相当する車両の移動量を算出する算出手段と、車両の移動量に応じてレーダによって検出された物体の位置または大きさを補正する補正手段と、を有する。
【００１１】
本発明の一形態によれば、カメラ画像が取得されたタイミングからレーダ情報が取得されるまでの間での車両の移動量に応じてレーダによって検出された物体の位置または大きさを補正することで、カメラ画像とレーダ情報とのマッチング精度を向上させることが可能となる。
【００１２】
本発明の一形態によると、レーダは所定の走査時間毎に物体を検出し、レーダによる検出タイミングは、所定の走査時間の開始時または終了時のタイミングであり、カメラによる画像取得タイミングは、所定の走査時間内での取得タイミングである。
【００１３】
本発明の一形態によれば、新たな同期回路を必要とすることなく、レーダの走査時間内でのカメラによる画像取得タイミングにレーダによる検出タイミングを合わせこむことにより、両者の検出タイミングの補正をすることができる。
【図面の簡単な説明】
【００１４】
【図１】本発明の一実施例に従う、車両の周辺監視装置の構成を示すブロック図である。
【図２】本発明の一実施例に従う、画像処理ユニットにおける処理フローを示す図である。
【図３】本発明の一実施例に従う、物体情報の取得時間の補正処理フローを示す図である。
【図４】本発明の一実施例に従う、レーダ走査時間中の自車両の移動量の補正処理フローを示す図である。
【図５】本発明の一実施例に従う、レーダ走査と画像取得のタイミングフローを示す図である。
【図６】本発明の一実施例に従う、車両前方の物体検知の様子を示す図である。
【発明を実施するための形態】
【００１５】
図面を参照しながら本発明の実施の形態を説明する。図１は、この発明の一実施形態に従う、車両の周辺監視装置の構成を示すブロック図である。周辺監視装置は、車両に搭載され、レーダ１０と、カメラ１２と、カメラ１２によって撮像された画像データに基づいて車両周辺の物体を検出するための画像処理ユニット１４と、その検出結果に基づいて音または音声で警報を発生するスピーカ１６と、カメラ１２の撮像を介して得られた画像を表示すると共に、運転者に車両周辺の物体を認識させるための表示を行う表示装置１８とを備える。
【００１６】
なお、レーダ１０は、例えばスキャン式レーザレーダが該当し、各方向にスキャンするビームの物体からの反射光を受光することにより、検出点として各方向における物体（候補）の位置、大きさ（領域）およびそれまでの距離を検出する。なお、レーダ１０は、他の種類のレーダ（例えばミリ波レーダ等）であってもよい。
【００１７】
カメラ１２には、赤外線カメラ、赤外線以外の他の波長帯の光（例えば可視光）を利用するカメラ等が含まれる。なお、以下の説明では、カメラ１２として赤外線カメラが撮影したグレースケール画像を対象としているが、これに限定されるものではない。さらに、ナビゲーション装置を備える車両においては、スピーカ１６および表示装置１８として、ナビゲーション装置が備える該当機能を利用してもよい。
【００１８】
図１の画像処理ユニット１４は、ブロック１４１〜１４８で示される手段（機能）を含む（実行する）。すなわち、画像処理ユニット１４は、レーダ１０からの信号を受けて車両の周辺の物体の位置等の情報（検出点データ）を取得する手段１４１と、赤外線カメラ１２が撮影した車両の周辺の画像をグレースケール画像として取得する画像取得手段１４２と、取得した画像の取得タイミング（時間）を検出する手段１４３と、レーダ１０が検出した物体の位置等の情報（検出点データ）の検出時間（タイミング）を補正する時間補正手段１４４と、として機能する。
【００１９】
画像処理ユニット１４は、さらに、レーダ１０によって検出された物体の位置または大きさの検出タイミングと、赤外線カメラ１２によって取得された対応画像の取得タイミングとの差分を検出する検出手段１４５と、その差分に相当する車両の移動量を算出する算出手段１４６と、車両の移動量に応じてレーダ１０によって取得された物体の位置または大きさを補正する補正手段１４７と、検出された物体の位置に対応する、取得された対応するグレースケール画像上の所定領域を特定して当該所定領域内の物体を特定する手段１４８として機能する。
【００２０】
各ブロックの機能は、画像処理ユニット１４が有するコンピュータ（ＣＰＵ）によって実現される。なお、画像処理ユニット１４の構成は、ナビゲーション装置の中に組み込んでもよい。
【００２１】
画像処理ユニット１４は、ハードウエア構成として、例えば、入力アナログ信号をデジタル信号に変換するＡ／Ｄ変換回路、デジタル化した画像信号を記憶する画像メモリ、各種演算処理を行う中央演算処理装置（ＣＰＵ）、ＣＰＵが演算に際してデータを記憶するのに使用するＲＡＭ、ＣＰＵが実行するプログラムおよび用いるデータ（テーブル、マップを含む）を記憶するＲＯＭ、スピーカ１６に対する駆動信号および表示装置１８に対する表示信号などを出力する出力回路を備えている。レーダ１０と赤外線カメラ１２の出力信号は、デジタル信号に変換されてＣＰＵに入力されるよう構成される。
【００２２】
次に、本発明の一実施形態におけるレーダとカメラの出力信号の同期補正方法について説明する。
【００２３】
図２は、画像処理ユニット１４によって実行される処理フローを示す図である。図２の処理フローは、画像処理ユニット１４のＣＰＵがメモリに格納している処理プログラムを呼び出して、所定の時間間隔で実行される。
【００２４】
ステップＳ１において、赤外線カメラ１２の出力信号（すなわち、撮像画像のデータ）を入力として受け取り、これをＡ／Ｄ変換して、画像メモリに格納する。格納される画像データは、輝度情報を含んだグレースケール（白黒の濃淡）画像である。対象の温度が高い部分ほど高輝度となる赤外線カメラでは、高輝度部分の明暗値が高い画像データとなり、その温度が低く（低輝度に）なるにつれて明暗値が低い画像データとなる。
【００２５】
ステップＳ２において、レーダ１０の走査を開始する。この走査はステップＳ１の画像データ取得と並行して行われる。
【００２６】
ステップＳ３において、レーダ１０からの信号を受けて車両の周辺の所定の物体の位置を示す検出点データ（点列データ）を取得する。このデータ取得には任意の方法を用いることができるが、例えば以下のようにおこなう。
【００２７】
レーダ１０としてスキャン式レーザレーダを使用して、その検出点群の幅から物体、例えば歩行者候補の位置を特定する。具体的には、スキャン式レーザレーダでは、所定範囲でスキャンするビームの物体からの反射光を受光することにより、検出点として各方向における物体までの距離を測定する。レーザレーダの位置を原点としてＹ軸をレーダの正面方向とする２次元座標系にこれらの検出点の位置をプロットして検出点の集合を得る。これらの検出点の集合から、各検出点の相互の間隔が所定値以下のものを検出点群としてグループ化し、グループ化した検出点群のうち、広がり幅が所定値以下のものを所定の物体候補（例えば歩行者候補）とみなしてその各位置を検出点データ（点列データ）としてメモリに格納する。
【００２８】
ステップＳ４において、時間補正をおこなう。ここで言う時間補正は、レーダ１０によって取得された物体情報（点列データ）の取得時間（タイミング）の補正と、レーダ走査時間中の自車両の移動量の補正の２つを意味する。図３〜図６を参照しながら、この２つの補正について説明する。
【００２９】
図３は、画像処理ユニット１４によって実行される、物体情報の取得時間の補正の処理ルーチン（フロー）を示す図である。図３のステップＳ４１において、赤外線カメラ１２によって取得された画像の取得タイミングを検出する。ステップＳ４２において、レーダ１０によって取得された物体情報（点列データ）の取得時間を補正する。図５を参照しながら、この２つのステップの内容について説明する。
【００３０】
図５は、本発明の一実施例に従う、レーダ走査と画像取得のタイミングフローを示す図である。レーダ１０は所定の走査時間ＴＳ（例えば約６０ｍｓ）毎に物体候補の位置等を検出する。この場合、物体候補はその走査時間ＴＳ内のどこかのタイミングで検出されるが、そのタイミングは物体候補の位置等において変化するので、従来は走査開始時（図４のＰ１〜Ｐ４）において検出したものとしてその時間補正をおこなっていた。一方、赤外線カメラ１２は所定のタイミングＴ１〜Ｔ６（例えば約３３ｍｓ）毎に車両前方の画像を撮像する。このタイミングＴ１〜Ｔ６が図３のステップＳ４１において取得されるタイミングである。したがって、レーダ１０による物体候補の検出タイミングと赤外線カメラ１２による画像取得のタイミングは基本的に一致することはなく、つまり両タイミングの同期がとれることは原則としてない。
【００３１】
本発明の一実施形態によれば、両タイミングの同期をとるように制御をおこなうのではなく、レーダ１０による物体候補の検出タイミングを赤外線カメラ１２による画像取得のタイミングに合わせるように時間補正をおこなう。図５の例では、例えばレーダ走査Ｐ１〜Ｐ２間において検出された物体候補のタイミングを赤外線カメラ１２から送られてくる画像取得のタイミングＴ２に合わせるように時間補正をする。すなわち、レーダ１０によって走査Ｐ１〜Ｐ２間において検出された物体候補のデータ（位置、大きさ等）は、赤外線カメラ１２によってタイミングＴ２において取得された画像データと同じタイミングでのデータとして対応（関連）付けられる。この時間（タイミング）補正が図３のステップＳ４２において実行される時間補正に相当する。
【００３２】
その際、万が一レーダ１０がその走査時間ＴＳ内において赤外線カメラ１２から画像取得のタイミングを取得できない場合は、走査終了時のタイミングにおいて物体候補のデータが取得されたされたものとする。図５の例では、画像取得のタイミングＴ３およびＴ４をレーダ１０が取得できなった場合、走査終了時Ｐ３（Ｔ４´）のタイミングにおいてレーダ１０によって物体候補のデータが取得されたされたものとする。この場合、赤外線カメラ１２によって取得された画像データとしては、走査終了時Ｐ３（Ｔ４´）に最も近いタイミングＴ４での画像データを用いて、そのＴタイミング４での画像データを物体候補のデータと対応（関連）付ける。
【００３３】
このように、本発明の一実施形態によれば、同期信号を必要とすることなく、レーダとカメラそれぞれのタイミング制御をそのまま生かしながら、すなわち両者の非同期な制御を利用しながら、両者のデータの取得タイミングの補正（データ間の対応付け）をおこなうことが可能となる。
【００３４】
図４は、画像処理ユニット１４によって実行される、レーダ走査時間中の自車両の移動量の補正の処理ルーチン（フロー）を示す図である。図４のステップＳ４０１において、上述した図３のステップＳ４１と同様に、赤外線カメラ１２によって取得された画像の取得タイミングを検出する。
【００３５】
ステップＳ４０２において、レーダ１０によって検出された物体の位置検出点データ（点列データ）と、赤外線カメラ１２によって取得された画像の取得タイミングとの差分を検出する。図５を参照しながら説明したように、レーダ１０によって検出された物体候補の検出タイミングと、赤外線カメラ１２によって取得された画像の取得タイミングとは原則としてずれている、すなわち差分（時間差）が発生することになる。ステップＳ４０２では、この両者の取得タイミングの差分（時間差）を検出する。図５の例では、例えば画像取得のタイミングＴ２に合わせる場合、そのタイミングＴ２とレーダ１０による物体候補の検出タイミングとの差分（時間差）を求めることになる。この場合、画像取得のタイミングが走査時間ＴＳ内に必ず１つは入るので、その差分は最大でも走査時間ＴＳよりも小さい値（０＜ｔ＜ＴＳ）となる。
【００３６】
次に、ステップＳ４０３において、ステップＳ４０１において求めた取得タイミングの差分（時間）での車両の移動量を算出する。図６を参照しながらこの移動量の算出について説明する。
【００３７】
図６は、本発明の一実施例に従う、車両前方の物体検知の様子を示す図である。図６において、車両２０が方向２１に沿って進行しているとする。符号２３、２４、２５で指示される線は、レーダ１０によって検出可能な範囲であり、矢印２２で示される方向に沿って走査を繰り返す範囲である。時間ｔ０、ｔ１、ｔ２はそれぞれ車両の移動時間を示し、時間ｔ０とｔ２において赤外線カメラ１２によって画像が取得されるとする。すなわち、時間ｔ０とｔ２は図５のタイミングＴ１〜Ｔ５に対応する。
【００３８】
赤外線カメラ１２による画像取得と並行して行われるレーダ１０走査により、時間ｔ０〜ｔ２の間で検出データ（点列データ）として図の３つの物体候補Ａ、Ｂ、Ｃが検出されたとする。物体候補Ａは時間ｔ０あるいはその近傍のタイミングで、物体候補Ｂは時間ｔ１あるいはその近傍のタイミングで、そして物体候補Ｃは時間ｔ２あるいはその近傍のタイミングでそれぞれレーダ１０によって検出されたとする。なお、物体候補Ａ、Ｂ、Ｃは、時間ｔ０〜ｔ２間においていずれも静止していたとする。図５を参照して説明したように、本発明の一実施形態では、赤外線カメラ１２による画像取得のタイミングにレーダ１０による物体候補の検出タイミングを合わせこむので、図６の例では、例えば時間ｔ０において全ての物体候補Ａ〜Ｃが検出されたものとみなして時間補正をおこなうことになる。
【００３９】
この場合、車両２０は所定の速度で前方に移動しているので、その時間補正をおこなう際に、同時にその時間差に相当する車両の移動量を算出して物体候補Ａ、Ｂ、Ｃの取得データに対してその移動量分の補正をおこなう必要がある。ステップＳ４０３ではそのための車両の移動量を算出する。具体的には、例えば車速Ｖのデータを取得して、物体候補Ｂに対しては時間差Δｔ（＝ｔ１−ｔ０）を乗算して、物体候補Ｃに対しては時間差Δｔ（＝ｔ２−ｔ０）を乗算して、それぞれの移動量（距離）ｄ１、ｄ２を算出する（ｄ＝Ｖ×Δｔ）。
【００４０】
図２のフローに戻って、ステップＳ５において、画像上の物体位置を設定する。具体的には、取得されたグレースケール画像上に物体候補の位置を示す所定領域を設定する。この所定領域は、ステップＳ３においてレーザレーダ１０によって取得された検出点（物体候補の位置）を含む領域である。その際、図４のステップＳ４０３において得られた移動量（距離）を用いて検出点（物体候補の位置）等を補正する。
【００４１】
具体的には、図６の例では、物体候補Ｂのデータに対して、移動量（距離）ｄ１を加算して、その位置（車両２０からの距離）を補正、物体候補Ｂの画像上での大きさ（領域）、あるいは物体候補Ｂについての所定領域を補正（縮小または拡大）する。物体候補Ｃに対しても物体候補Ｂの場合と同様である。
【００４２】
この所定領域の設定は、任意の方法を用いることができるが、例えば物体の位置として歩行者の位置を特定する場合を例にとると、歩行者候補の位置を含む所定サイズの領域（検出点群）を赤外線カメラ１２のカメラ座標系に変換し、グレースケール画像中にマッピング（重畳）して、対応するグレースケール画像上の所定領域として設定する。
【００４３】
このように、本発明の一実施形態によれば、カメラ画像が取得されたタイミングからレーダ情報が取得されるまでの間での車両の移動量に応じて対応画像上の物体の位置または大きさ（所定領域）を補正することで、カメラ画像とレーダ情報とのマッチング精度を向上させることが可能となる。
【００４４】
ステップＳ６において、画像上の物体候補が所定の物体であるかを特定する。この特定は、ステップＳ５において得られた画像上の所定領域を基準としてその領域内あるいはその近傍の領域内における物体候補についておこなう。この特定は、任意の方法によりおこなうことができるが、例えば、グレースケール画像を２値化処理して得られる白黒画像から物体候補（対象物）を照合する。
【００４５】
具体的には、最初に予めメモリに保管している除外対象物の特徴を有するか否かを調べる。除外対象物とは、例えば発熱体ではあるが明らかに形状等が異なる物体（４足動物、車両等）を意味する。除外対象物に該当しない場合、所定の物体の特徴に該当するか否かを調べる。例えば、所定の物体が歩行者である場合、歩行者の頭部の特徴として丸みを帯びた白部が存在し、その下に胴体、脚部の部分に相当する細長い白部が繋がっていること等が含まれる。また、周知のパターンマッチングを利用し、予め保管してある歩行者を表す所定のパターンとの類似度を算出し、その類似度を歩行者であるか否かの判断材料としてもよい。さらに、歩行者の歩行速度はほぼ一定であることから、レーダ１０から得られる物体の移動速度の情報を判断材料の１つとして用いてもよい。
【００４６】
以上、本発明の実施の形態について説明したが、本発明はこのような実施形態に限定されることはなく、本発明の趣旨を逸脱しない範囲において改変して用いることができる。
【符号の説明】
【００４７】
１０ レーダ、
１２ カメラ（赤外線カメラ）、
１４ 画像処理ユニット
１６ スピーカ、
１８ 表示装置、
２０ 車両
２３、２４、２５ レーダの検出可能（走査）範囲
【特許請求の範囲】
【請求項１】
車両の周辺の物体情報を所定周期で連続して検出する第１検出手段と、
前記第１検出手段とは異なる方法で、車両の周辺の物体情報を所定のタイミング毎に検出する第２検出手段と、
前記第１検出手段が１周期内に検出した物体情報の検出タイミングを当該１周期内の１つのタイミングとして補正する時間補正手段とを備え、
前記１周期内の１つのタイミングは、前記第２検出手段の前記所定のタイミングの１つと一致することを特徴とする、車両の周辺監視装置。
【請求項２】
車両の周辺の物体を検出するレーダと、車両の周辺の画像を撮像するカメラと、前記レーダが検出した物体の位置または大きさに対応する、前記カメラが撮像した対応画像上に所定領域を設定して当該所定領域内の前記物体を特定する手段とを備える、車両の周辺監視装置であって、
前記レーダによって検出された物体の位置または大きさの検出タイミングと、前記カメラによって取得された対応画像の取得タイミングとの差分を検出する検出手段と、
前記差分に相当する前記車両の移動量を算出する算出手段と、
前記車両の移動量に応じて前記レーダによって検出された物体の位置または大きさを補正する補正手段と、を有する車両の周辺監視装置。
【請求項３】
前記レーダは所定の走査時間毎に物体を検出し、当該レーダによる前記検出タイミングは、当該所定の走査時間の開始時または終了時のタイミングであり、前記カメラによる前記取得タイミングは、前記所定の走査時間内での取得タイミングである、請求項２に記載の周辺監視装置。
【請求項１】
車両の周辺の物体情報を所定周期で連続して検出する第１検出手段と、
前記第１検出手段とは異なる方法で、車両の周辺の物体情報を所定のタイミング毎に検出する第２検出手段と、
前記第１検出手段が１周期内に検出した物体情報の検出タイミングを当該１周期内の１つのタイミングとして補正する時間補正手段とを備え、
前記１周期内の１つのタイミングは、前記第２検出手段の前記所定のタイミングの１つと一致することを特徴とする、車両の周辺監視装置。
【請求項２】
車両の周辺の物体を検出するレーダと、車両の周辺の画像を撮像するカメラと、前記レーダが検出した物体の位置または大きさに対応する、前記カメラが撮像した対応画像上に所定領域を設定して当該所定領域内の前記物体を特定する手段とを備える、車両の周辺監視装置であって、
前記レーダによって検出された物体の位置または大きさの検出タイミングと、前記カメラによって取得された対応画像の取得タイミングとの差分を検出する検出手段と、
前記差分に相当する前記車両の移動量を算出する算出手段と、
前記車両の移動量に応じて前記レーダによって検出された物体の位置または大きさを補正する補正手段と、を有する車両の周辺監視装置。
【請求項３】
前記レーダは所定の走査時間毎に物体を検出し、当該レーダによる前記検出タイミングは、当該所定の走査時間の開始時または終了時のタイミングであり、前記カメラによる前記取得タイミングは、前記所定の走査時間内での取得タイミングである、請求項２に記載の周辺監視装置。
【図１】
【図２】
【図３】
【図４】
【図５】
【図６】
【図２】
【図３】
【図４】
【図５】
【図６】
【公開番号】特開２０１２−１４５５３（Ｐ２０１２−１４５５３Ａ）
【公開日】平成２４年１月１９日（２０１２．１．１９）
【国際特許分類】
【出願番号】特願２０１０−１５１８６３（Ｐ２０１０−１５１８６３）
【出願日】平成２２年７月２日（２０１０．７．２）
【出願人】（０００００５３２６）本田技研工業株式会社 (23,863)
【Ｆターム（参考）】
【公開日】平成２４年１月１９日（２０１２．１．１９）
【国際特許分類】
【出願日】平成２２年７月２日（２０１０．７．２）
【出願人】（０００００５３２６）本田技研工業株式会社 (23,863)
【Ｆターム（参考）】
[ Back to top ]