物体検出装置及び方法、並びにプログラム
【課題】 検出性能を低下させずに車両周辺の物体を高速で検出する。
【解決手段】 物体検出装置１０は、車両周辺を撮影した映像を、その映像から画像特徴を抽出した特徴映像に変換する映像変換部２０と、特徴映像を複数の領域に分割して合成する映像分割合成部３０と、合成映像を走査して第一の物体検出処理を行う第一物体検出処理部４０と、第一の物体検出処理の結果から物体候補位置を求める物体候補位置指定部５０と、物体候補位置に対して第二の物体検出処理を行う第二物体検出処理部６０を備える。
【解決手段】 物体検出装置１０は、車両周辺を撮影した映像を、その映像から画像特徴を抽出した特徴映像に変換する映像変換部２０と、特徴映像を複数の領域に分割して合成する映像分割合成部３０と、合成映像を走査して第一の物体検出処理を行う第一物体検出処理部４０と、第一の物体検出処理の結果から物体候補位置を求める物体候補位置指定部５０と、物体候補位置に対して第二の物体検出処理を行う第二物体検出処理部６０を備える。
【発明の詳細な説明】
【技術分野】
【０００１】
本発明は、物体検出装置に関し、特に、車両周辺に存在する歩行者等の物体を検出可能な物体検出装置に関する。
【背景技術】
【０００２】
近年、自動車の安全運転を支援する目的で、車載カメラの搭載が拡大している。例えば、車両の前方部分や後方部分に設置した撮像装置により車両周辺の映像を撮影し、撮影された映像を運転席に設置したディスプレイに表示することで、運転手は、車両の走行時に、車両周辺に存在する歩行者等の物体の有無を確認することができる。
【０００３】
また、車両周辺の映像を単にディスプレイに表示するのではなく、歩行者等の物体をあらかじめ何らかの手段で検出しておき、検出結果の情報を映像に付加したうえで表示したり、音声による警告を発したりすることで運転手の注意を喚起する取組みもなされている。
【０００４】
歩行者等の物体を検出する手段としては、例えば熱源や距離を関知するセンサを車載カメラとは別に搭載するものがこれまでの主流であった。しかし、コストや汎用性の点で別センサの搭載にはデメリットがあり、車載カメラの映像だけで物体を検出する画像認識手段の実用化が望まれている。
【０００５】
画像認識による物体検出手法として、研究分野においては以前より映像中のエッジ特徴を利用する手法が有効とされている。また、検出対象物体の映像をあらかじめ大量に学習して統計データとして活用するブースティング手法が確立されている。エッジ特徴を利用する手法とブースティングを組み合わせた物体検出手法は、研究分野においては検出精度の点で既に実用レベルに至っている。
【０００６】
しかし、実用化の点で上記の画像認識による物体検出手法には、処理時間の課題が残されている。画像認識の場合、映像処理が複雑であるのと同時に画像中を一通り走査する必要があるため、物体検出した結果を得るまでに時間がかかる。これにより、カメラのフレームレートに対して物体検出処理のフレームレートが低くなることや、映像に対して物体検出結果を得るまでの遅延時間が生じるという問題がある。
【０００７】
このような処理時間の課題に対して、特許文献１では、入力画像を縮小した縮小画像を作成し、まず縮小画像上で物体の有無を粗く検出し、縮小画像上で物体を検出したときだけ元の入力画像に再度検出処理をかける二段階検出を行う物体検出装置が開示されている。これにより、実質的には縮小画像サイズでの走査になるので検出処理の高速化ができる。
【先行技術文献】
【特許文献】
【０００８】
【特許文献１】特開２００７−２６５３９０号公報
【発明の概要】
【発明が解決しようとする課題】
【０００９】
しかしながら、上記特許文献１に記載の方法では、縮小画像を使って検出処理を行っているため、物体検出処理で利用している画像特徴が縮小化によって失われる。このため、特に物体検出対象が元々画像中で小さく撮影されている場合において、検出性能が十分に発揮できないという課題がある。物体検出対象が小さく撮影される要因としては、検出対象物体として元々小さいものを対象としていること、もしくは検出対象物体がカメラから距離が遠い位置に存在していること、またはその両方の要因が考えられるが、前者の場合は検出対象とする物体によっては検出精度が十分得られず、後者の場合は検出できる物体までの距離範囲が短縮化する弊害を生じた。
【００１０】
本発明は、上記背景に鑑みなされたものであり、物体検出を画像認識だけで行いながら検出性能を犠牲にすることなく、検出処理時間を高速化することが可能な物体検出装置及び方法、並びにプログラムを提供することを目的とする。
【課題を解決するための手段】
【００１１】
本発明の物体検出装置は、車両周辺の映像から画像特徴を抽出した特徴映像へと変換する映像変換部と、前記特徴映像を複数の領域に分割して合成する映像分割合成部と、前記映像分割合成部で合成した合成映像を走査して第一の物体検出処理を行う第一物体検出処理部と、前記第一物体検出処理部で物体が検出された合成映像上の位置を基に分割前の映像において物体が存在する可能性がある物体候補位置を求める物体候補位置指定部と、前記物体候補位置検出部で求めた物体候補位置に対して第二の物体検出処理を行い分割前の映像における物体位置を特定する第二物体検出処理部とを備えた構成を有する。
【００１２】
この構成により、画像特徴を損なわないので検出性能を犠牲にせずに検出処理時間を高速化することが可能な物体検出装置を提供することが可能になる。
【００１３】
本発明の物体検出装置において、前記映像変換部は、画像特徴としてエッジ特徴を抽出することを特徴とする。この構成により、物体検出処理で用いるエッジ特徴だけを残した映像に変換できる。
【００１４】
本発明の物体検出装置において、前記映像変換部は、映像に対してエンボス加工を施すことを特徴とする。この構成により、映像中のエッジ特徴を簡易に求めることができる。
【００１５】
本発明の物体検出装置において、前記映像分割合成部は、映像を複数の短冊状の領域に分割した分割領域を合成し、分割前の映像よりも小さい合成映像を生成することを特徴とする。この構成により、検出処理時に走査する映像の大きさを小さくできるので検出処理を高速化できる。
【００１６】
本発明の物体検出装置において、前記映像分割合成部は、フレーム毎に分割位置が異なることを特徴とする。この構成により、映像の分割によって検出対象の物体が切れてしまうことで検出ができなくなる弊害を防ぐことができる。
【００１７】
本発明の物体検出装置において、前記映像分割合成部は、前記分割領域をαブレンディングで合成することを特徴とする。この構成により、合成係数を調整することによって合成映像における各分割映像領域の影響度を調整することができる。
【００１８】
本発明の物体検出装置において、前記映像分割合成部は、前記分割領域に含まれる画像特徴量に応じてαブレンディングの合成係数を調整して合成することを特徴とする。この構成により、画像特徴が多く含まれる映像領域の合成係数を高めることで、合成映像にしたときに画像特徴を保持した状態にできる。
【００１９】
本発明の物体検出装置において、前記第一物体検出処理部は、前記合成映像を拡大もしくは縮小した合成映像に対して物体検出処理を行うことを特徴とする。この構成により、映像中に存在する検出対象物体の大きさの違いに対応できる。
【００２０】
本発明の物体検出装置において、前記第一物体検出処理部は、前記映像分割合成部で分割した分割領域の大きさに基づいて前記合成映像の拡大率もしくは縮小率を決定することを特徴とする。この構成により、分割した映像領域内で存在しえない大きさの検出対象物を対象とした走査をしないので検出処理を高速化することができる。
【００２１】
本発明の物体検出装置において、前記第一物体検出処理部は、物体検出を行う検出判定基準を前記第二物体検出処理部とは別々に調整可能であり、前記第二物体検出処理部よりも物体であると判定しやすくなるように検出基準を調整することを特徴とする。この構成により、第一物体検出処理部では検出を粗く（検出しやすく）して合成映像上における検出漏れを防ぎ、第二物体検出処理部で検出物体が存在することを最終的に判断して誤検出を防ぐことができる。
【００２２】
本発明の物体検出装置において、前記第一物体検出処理部は、前記合成映像上で画像特徴が存在する部分だけを対象に第一の物体検出処理を行うことを特徴とする。この構成により検出物体が存在しえない箇所の走査をしないので、検出処理を高速化することができる。
【００２３】
本発明の物体検出方法は、車両周辺の映像から画像特徴を抽出した特徴映像へと変換する映像変換ステップと、前記特徴映像を複数の領域に分割して合成する映像分割合成ステップと、前記映像分割合成ステップで合成した合成映像を走査して第一の物体検出処理を行う第一物体検出処理ステップと、前記第一物体検出処理ステップで物体が検出された合成映像上の位置を基に分割前の映像において物体が存在する可能性がある物体候補位置を求める物体候補位置指定ステップと、前記物体候補位置検出ステップで求めた物体候補位置に対して第二の物体検出処理を行い分割前の映像における物体位置を特定する第二物体検出処理ステップとを備えた構成を有する。この構成によっても、上記と同様の効果を得ることができる。
【００２４】
本発明の物体検出方法において、前記映像変換ステップは、画像特徴としてエッジ特徴を抽出することを特徴とする。この構成によっても、上記と同様の効果を得ることができる。
【００２５】
本発明の物体検出方法において、前記映像変換ステップは、映像に対してエンボス加工を施すことを特徴とする。この構成によっても、上記と同様の効果を得ることができる。
【００２６】
本発明の物体検出方法において、前記映像分割合成ステップは、映像を複数の短冊状の領域に分割した分割領域を合成し、分割前の映像よりも小さい合成映像を生成することを特徴とする。この構成によっても、上記と同様の効果を得ることができる。
【００２７】
本発明の物体検出方法において、前記映像分割合成ステップは、フレーム毎に分割位置が異なることを特徴とする。この構成によっても、上記と同様の効果を得ることができる。
【００２８】
本発明の物体検出方法において、前記映像分割合成ステップは、前記分割領域をαブレンディングで合成することを特徴とする。この構成によっても、上記と同様の効果を得ることができる。
【００２９】
本発明の物体検出方法において、前記映像分割合成ステップは、前記分割領域に含まれる画像特徴量に応じてαブレンディングの合成係数を調整して合成することを特徴とする。この構成によっても、上記と同様の効果を得ることができる。
【００３０】
本発明の物体検出方法において、前記第一物体検出処理ステップは、前記合成映像を拡大もしくは縮小した合成映像に対して物体検出処理を行うことを特徴とする。この構成によっても、上記と同様の効果を得ることができる。
【００３１】
本発明の物体検出方法において、前記第一物体検出処理ステップは、前記映像分割合成ステップで分割した分割領域の大きさに基づいて前記合成映像の拡大率もしくは縮小率を決定することを特徴とする。この構成によっても、上記と同様の効果を得ることができる。
【００３２】
本発明の物体検出方法において、前記第一物体検出処理ステップは、物体検出を行う検出判定基準を前記第二物体検出処理ステップとは別々に調整可能であり、前記第二物体検出処理ステップよりも物体であると判定しやすくなるように検出基準を調整することを特徴とする。この構成によっても、上記と同様の効果を得ることができる。
【００３３】
本発明の物体検出方法において、前記第一物体検出処理ステップは、前記合成映像上で画像特徴が存在する部分だけを対象に第一の物体検出処理を行うことを特徴とする。この構成によっても、上記と同様の効果を得ることができる。
【００３４】
本発明の物体検出プログラムは、車両周辺の映像から画像特徴を抽出した特徴映像へと変換する映像変換機能と、前記特徴映像を複数の領域に分割して合成する映像分割合成機能と、前記映像分割合成機能で合成した合成映像を走査して第一の物体検出処理を行う第一物体検出処理機能と、前記第一物体検出処理機能で物体が検出された合成映像上の位置を基に分割前の映像において物体が存在する可能性がある物体候補位置を求める物体候補位置指定機能と、前記物体候補位置検出機能で求めた物体候補位置に対して第二の物体検出処理を行い分割前の映像における物体位置を特定する第二物体検出処理機能とをコンピュータに実現させるためのプログラムである。この構成によっても、上記と同様の効果を得ることができる。
【００３５】
本発明の物体検出プログラムにおいて、前記映像変換機能は、画像特徴としてエッジ特徴を抽出することを特徴とする。この構成によっても、上記と同様の効果を得ることができる。
【００３６】
本発明の物体検出プログラムにおいて、前記映像変換機能は、映像に対してエンボス加工を施すことを特徴とする。この構成によっても、上記と同様の効果を得ることができる。
【００３７】
本発明の物体検出プログラムにおいて、前記映像分割合成機能は、映像を複数の短冊状の領域に分割した分割領域を合成し、分割前の映像よりも小さい合成映像を生成することを特徴とする。この構成によっても、上記と同様の効果を得ることができる。
【００３８】
本発明の物体検出プログラムにおいて、前記映像分割合成機能は、フレーム毎に分割位置が異なることを特徴とする。この構成によっても、上記と同様の効果を得ることができる。
【００３９】
本発明の物体検出プログラムにおいて、前記映像分割合成機能は、前記分割領域をαブレンディングで合成することを特徴とする。この構成によっても、上記と同様の効果を得ることができる。
【００４０】
本発明の物体検出プログラムにおいて、前記映像分割合成機能は、前記分割領域に含まれる画像特徴量に応じてαブレンディングの合成係数を調整して合成することを特徴とする。この構成によっても、上記と同様の効果を得ることができる。
【００４１】
本発明の物体検出プログラムにおいて、前記第一物体検出処理機能は、前記合成映像を拡大もしくは縮小した合成映像に対して物体検出処理を行うことを特徴とする。この構成によっても、上記と同様の効果を得ることができる。
【００４２】
本発明の物体検出プログラムにおいて、前記第一物体検出処理機能は、前記映像分割合成機能で分割した分割領域の大きさに基づいて前記合成映像の拡大率もしくは縮小率を決定することを特徴とする。この構成によっても、上記と同様の効果を得ることができる。
【００４３】
本発明の物体検出プログラムにおいて、前記第一物体検出処理機能は、物体検出を行う検出判定基準を前記第二物体検出処理機能とは別々に調整可能であり、前記第二物体検出処理機能よりも物体であると判定しやすくなるように検出基準を調整することを特徴とする。この構成によっても、上記と同様の効果を得ることができる。
【００４４】
本発明の物体検出プログラムにおいて、前記第一物体検出処理機能は、前記合成映像上で画像特徴が存在する部分だけを対象に第一の物体検出処理を行うことを特徴とする。この構成によっても、上記と同様の効果を得ることができる。
【発明の効果】
【００４５】
本発明によれば、画像特徴を損なわずに映像を小さくできるので、検出性能を犠牲にすることなく、検出処理時間を高速化することができる物体検出装置を提供することが可能になるという優れた効果を有する。
【図面の簡単な説明】
【００４６】
【図１】本発明の実施の形態における物体検出装置の構成を示すブロック図
【図２】（ａ）本発明の実施の形態における映像を２分割した分割領域の一例を示す説明図 （ｂ）本発明の実施の形態における映像を４分割した分割領域の一例を示す説明図
【図３】本発明の実施の形態における分割境界線上に検出対象物体が存在する一例を示す説明図
【図４】（ａ）本発明の実施の形態の分割位置の調整におけるＮフレーム目の分割の一例を示す説明図 （ｂ）本発明の実施の形態の分割位置の調整におけるＮ＋１フレーム目の分割の一例を示す説明図
【図５】（ａ）本発明の実施の形態の映像分割合成における分割前の特徴映像の一例を示す説明図 （ｂ）本発明の実施の形態の映像分割合成における分割領域と合成係数の対応の一例を示す説明図 （ｃ）本発明の実施の形態の映像分割合成における分割領域に合成係数を乗じた一例を示す説明図 （ｄ）本発明の実施の形態の映像分割合成における合成結果の一例を示す説明図
【図６】（ａ）本発明の実施の形態の拡大縮小処理における拡大縮小前の映像の一例を示す説明図 （ｂ）本発明の実施の形態の拡大縮小処理における物体検出可能な物体の大きさの一例を示す説明図 （ｃ）本発明の実施の形態の映像分割合成における大きさ合わせの説明図
【図７】（ａ）本発明の実施の形態における２分割時の分割領域の一例を示す説明図 （ｂ）本発明の実施の形態における２分割時の分割領域の縦横比率を示す説明図
【図８】（ａ）本発明の実施の形態における４分割時の分割領域の一例を示す説明図 （ｂ）本発明の実施の形態における４分割時の分割領域の縦横比率を示す説明図
【図９】（ａ）本発明の実施の形態における分割時の分割領域の一例を示す説明図 （ｂ）本発明の実施の形態における８分割時の分割領域の縦横比率を示す説明図
【図１０】本発明の実施の形態における分割数と拡大縮小倍率の関係の一例を示す説明表
【図１１】本発明の実施の形態における合成映像上での画像特徴量判定処理の一例を示す説明図
【図１２】（ａ）本発明の実施の形態における４分割時の分割領域の一例を示す説明図 （ｂ）本発明の実施の形態における合成映像の一例を示す説明図 （ｃ）本発明の実施の形態における合成映像上での検出結果位置の一例を示す説明図 （ｄ）本発明の実施の形態における分割前の映像上での物体候補位置の一例を示す説明図
【図１３】（ａ）本発明の実施の形態における合成映像上での検出結果位置の座標の一例を示す説明図 （ｂ）本発明の実施の形態における分割前の映像上での物体候補位置の座標の一例を示す説明図
【図１４】（ａ）本発明の実施の形態の第二の物体検出処理における物体候補位置の一例を示す説明図 （ｂ）本発明の実施の形態の第二の物体検出処理における検出結果の一例を示す説明図
【図１５】本発明の実施の形態における物体検出装置の動作を示すフロー図
【発明を実施するための形態】
【００４７】
以下、本発明の実施形態における物体検出装置について、図面を参照して説明する。
【００４８】
図１は、本発明の実施の形態に係る物体検出装置の構成を示すブロック図である。物体検出装置１０は、外部より入力される映像を、その映像から画像特徴を抽出した特徴映像に変換する映像変換部２０と、特徴映像を複数の領域に分割した分割領域を合成して合成画像を生成する映像分割合成部３０と、合成映像から物体検出を行う第一物体検出処理部４０と、第一物体検出処理部４０の検出結果から分割前の映像において物体が存在する可能性がある物体候補位置を求める物体候補位置指定部５０と、分割前の映像上の物体候補位置に対して物体検出を行う第二物体検出処理部６０とを備える。
【００４９】
外部より入力される映像は、例えば車両前側または後側のナンバープレート近くの所定位置に所定角度で取り付けられた車載カメラにより車両周辺を撮影した映像である。
【００５０】
映像変換部２０は、外部より入力される映像を基に、画像特徴を映像上で抽出する映像変換処理を行う。本実施の形態では、外部より入力される映像に対してエンボス処理を行い、画像特徴としてエッジ特徴を抽出するものとし、後段の処理でエッジ特徴に注目した処理を行なっているが、本発明で対象とする画像特徴はエッジ特徴に限定されない。例えば、道路上の標識や信号機を検出する目的においては、画像特徴として特定の色を抽出する処理を行うことが有効である。また、本発明ではエッジ特徴を抽出する処理としてエンボス処理を行うが、エッジ特徴を抽出する映像変換処理もこれに限るものではない。例えば、エッジ特徴を抽出する手段としてはソーベルフィルタやＣａｎｎｙ法を利用してもよい。
【００５１】
映像分割合成部３０は、映像分割部３１、分割領域特徴量判定部３２、合成係数調整部３３、及び映像合成部３４を備える。映像分割部３１は、特徴映像を複数の領域に分割する。分割領域特徴判定部３２は、映像分割部３１で分割された各分割領域内に存在する画像特徴量を求める。合成係数調整部３３は、分割領域特徴量判定部３２で求めた各分割領域の画像特徴量を基に各領域に対応する合成係数を求める。映像合成部３４は、映像分割部３１で分割された各分割領域に対して合成係数調整部３３で求めた合成係数を乗じ、全ての分割領域を合成した合成映像を生成する。このとき、合成映像は分割前の映像よりも小さくなる。
【００５２】
第一物体検出処理部４０は、映像拡大縮小部４１、合成映像特徴量判定部４２、合成映像物体検出部４３を備える。映像拡大縮小部４１は、合成映像を拡大または縮小する。ここでの拡大縮小処理は、映像上における物体検出対象の大きさの違いに対応するための処理であり、物体検出処理の高速化を目的としたものではない。例えば、物体検出対象がカメラから近距離に存在すれば物体は映像中で大きく映る。逆に物体が遠距離に存在すれば小さく映る。物体検出ではこのように生じる映像中における物体の大きさによらず同一の処理で物体検出処理を行うため、物体が大きく映っているときは映像を縮小し、小さく映っているときは映像を拡大して大きさの正規化を行い、そのうえで物体検出処理を行うのが常套手段である。合成映像特徴量判定部４２は、映像拡大縮小部４１から出力される映像上で画像特徴が存在する箇所を特定する。合成映像物体検出部４３は、映像拡大縮小部４１から出力される映像上で、合成映像特徴量判定部４２で画像特徴が存在するとした合成映像中の箇所に対して物体検出処理を行う（この物体検出処理を「第一の物体検出処理」という。）。画像特徴が存在しない箇所はそもそも検出対象物体が存在しないため、あらかじめ除外しておくことで物体検出処理の高速化が期待できる。
【００５３】
物体候補位置指定部５０は、第一物体検出処理部４０で物体検出された合成映像上の位置が、分割前の映像上のどこに該当するかを求める。例えば、合成映像が２つの領域を合成していたとき、合成映像上で１つの物体が検出されれば、分割前の映像上で物体が存在する可能性がある位置は２箇所となる。
【００５４】
第二物体検出処理部６０は、分割前の映像上で物体候補位置指定部５０において指定された位置のみを対象に物体検出を行い、最終的な物体検出結果を得る（この物体検出処理を「第二の物体検出処理」という。）。
【００５５】
以上が本発明の一実施形態に係る物体検出装置の構成と、処理の流れの説明である。
【００５６】
次に、映像分割合成部３０、第一物体検出処理部４０、物体候補位置指定部５０、第二物体検出処理部６０の一連の処理について、図面を参照して詳細に説明する。
【００５７】
映像分割部３１で特徴映像を複数の領域に分割する例を図２に示す。図２（ａ）は映像を２つの領域に分割した例、（ｂ）は４つの領域に分割した例を示している。この後の映像合成を考慮し、分割後の領域はそれぞれ同じ大きさであることが望ましいが、必ずしも同じである必要はない。また、分割数が大きいほど高速化の効果は大きくなる。具体的には、２分割の場合は分割なしの場合と比較して約１／２の処理時間、４分割の場合は約１／４の処理時間となる。ここでは、４分割を例にとって説明する。
【００５８】
図３は、映像を分割にした場合に生じる課題を示したものである。今、図３の映像上には被写体Ａと被写体Ｂの２つが存在している。映像を４分割したとき、被写体Ｂは領域３に収まるが、被写体Ａは領域１と領域２に分割されてしまう。このように被写体が複数の領域に分割されてしまうと後段の検出処理が困難になる。このとき、被写体Ａの位置が時間的に変化しない場合には被写体Ａが現在から未来において検出されないという課題を生じる。
【００５９】
この課題に対して、本実施の形態では図４のようにフレームごとに分割位置が互い違いになる位置になるように調整する。これにより、Ｎフレーム目には被写体Ｂが検出でき、Ｎ＋１フレーム目には被写体Ａが検出できる。なお、図４（ｂ）の領域１〜３に含まれない左右の領域は後段の検出処理には使用していない。
【００６０】
次に、分割領域特徴量判定部３２について説明する。ここでの特徴量判定は、映像分割部４１で分割された各分割領域にそれぞれどの程度の画像特徴が存在しているかをカウントする。本実施の形態では画像特徴としてエッジ特徴を用いる。エッジ量のカウント手段としては各種存在するが、本発明はその手段について限定するものではない。例えば、単純にエッジが存在する画素数や、エッジが存在する画素のエッジの大きさの総和をエッジ量としてカウントしてよい。あるいは、検出対象物体において特定の方向のエッジが多いとあらかじめ分かっているならば、特定の方向のエッジだけを対象にカウントする手段も有効である。また、本実施の形態ではエッジ特徴を対象にしているが、他の画像特徴を判定する処理に置き換えることも可能である。例えば、特定色の有無を判定してもよいし、一定以上の明るさの有無を判定するような処理でもよい。
【００６１】
合成係数調整部３３は、分割領域特徴量判定部３２で求めた各分割領域の画像特徴量に基づいて各領域の合成係数を算出する。本実施の形態の第一の物体検出処理はエッジ特徴に基づくため、映像を合成する際にはエッジが存在する領域の合成係数を大きく、エッジが存在しない領域の合成係数を小さくする。このような合成係数を算出する方法として一例を挙げると、領域１のエッジ量をＥ１、領域２のエッジ量をＥ２、領域３のエッジ量をＥ３、領域４のエッジ量をＥ４としたとき、領域１〜４の合成係数Ｍ１〜Ｍ４は下式のように求めることができる。
【数１】
【数２】
【数３】
【数４】
なお、合成係数の総和が１になるような算出方法であれば、上記の計算式に限定されるものではない。
【００６２】
映像合成部３４は、合成係数調整部３３で求めた合成係数Ｍ１〜Ｍ４を用いて、映像分割部３１で分割した４つの分割領域を合成して、１つの合成映像を生成する。この合成は、合成係数Ｍ１〜Ｍ４に従った割合で複数の分割領域の重ねあわせを行なうものであり、αブレンディングと呼ばれる。図５は映像合成を説明する図である。図５（ａ）は映像分割前の特徴映像であり、図５（ｂ）は映像分割部３１で特徴映像を４分割した４つの分割領域と、分割領域特徴量判定部３２および合成係数調整部３３で求めた各分割領域に対応する合成係数Ｍ１〜Ｍ４を示している。ここで、合成係数Ｍ１〜Ｍ４の関係はエッジ量の大きさに比例するので、Ｍ３が一番大きく、次に大きいのがＭ１とＭ４でほぼ同じ大きさであり、一番小さいのがＭ２となる。このような大きさの関係にある合成係数を各分割領域に乗じたイメージが図５（ｃ）となる。最後に合成係数を乗じた各領域を合成したのが図５（ｄ）であり、最終的な合成映像としてはエッジ量が最も多い領域３が一番鮮明に残った形で合成されることになる。このようにエッジ量によって合成係数を調整することで、複数の分割領域を合成しても第一の物体検出に必要な画像特徴を残すことができる。
【００６３】
以上、映像分割合成部３０について説明した。次に、第一物体検出処理部４０について説明する。
【００６４】
映像拡大縮小部４１は、後段の合成画像物体検出部４３に映像を出力するにあたって合成映像を拡大または縮小する。なお、映像を拡大または縮小する理由は前述したとおり、検出対象物体の映像上における大きさの違いに対応するためであり、高速化のためではない。次に、映像の分割数と拡大縮小の関係について説明する。まず、拡大縮小処理の基本概念について図６を用いて説明する。なお、以下の説明では、説明を具体化する目的で適宜数値を記載するが、本実施の形態はこれに限定されるものではない。
【００６５】
分割前の映像の大きさを水平６４０画素、垂直４８０画素とする（図６（ａ））。また、第一の物体検出処理で検出可能な物体の大きさを水平６４画素、垂直１２８画素とする（図６（ｂ））。図６（ｃ）に図示したように、拡大縮小処理とは、もともと映像上に撮影される様々な大きさの被写体を、第一の物体検出処理が対応できる大きさ相当に拡大または縮小して大きさを合わせる処理となる。つまり、拡大縮小によって映像中の検出対象の物体の大きさが水平６４画素、垂直１２８画素相当になれば検出可能となる。実際には映像中の検出対象物体の大きさがあらかじめ分からないので、拡大もしくは縮小の倍率をかえて複数回行うことになる。
【００６６】
続いて、拡大縮小処理の拡大率および縮小率の限界値を考える。一般的に拡大率が大きすぎると拡大処理に伴って映像の鮮明度が低下するため、第一の物体検出処理にはおのずと限界が生じる。ここでは説明のために限界を拡大率１０倍とする。また、縮小率については拡縮前の映像の大きさと、第一の物体検出処理が対応できる大きさの関係によって求まる。図６の例では、拡縮前の垂直サイズ４８０画素を１２８画素に縮小するときが取りうる最小の縮小率となるためその倍率は０．２７倍となる。つまり、映像分割がない場合は、拡大縮小前の映像に対し、倍率０．２７〜１０倍の範囲で拡大縮小（１以下の場合は縮小）することになる。
【００６７】
次に、映像を分割したときの拡大率および縮小率の限界について図７〜図９を参照しながら説明する。
【００６８】
図７は２分割の例を示したものであり、図７（ａ）は２分割時の分割領域例、図７（ｂ）は各分割領域の縦横比をそれぞれ示したものである。２分割時の縦横比は横０．６７に対し縦１となる（以下では０．６７：１のように表記する）。一方で、第一の物体検出処理が対応できる大きさが水平６４画素、垂直１２８画素のとき縦横比は０．５：１であり、かつ前述したように映像分割がない場合の倍率範囲は垂直画素数によって規定されたので、２分割時も分割がない場合と同様に倍率値は０．２７〜１０の範囲を取る。
【００６９】
図８は４分割の例を示したものであり、図８（ａ）は４分割時の分割領域例、図８（ｂ）は各分割領域の縦横比をそれぞれ示したものである。４分割時の縦横比は０．３３：１となる。このとき、第一の物体検出処理が対応できる対象物体の縦横比より水平の比率が小さくなるので、最小倍率は水平画素数により規定される。すなわち、合成映像の水平サイズ１６０画素を６４画素に縮小するときが最小の縮小率となるためその倍率は０．４倍となる。よって、４分割時の取りうる倍率は０．４〜１０となる。
【００７０】
図９は８分割の例を示したものであり、図９（ａ）は８分割時の分割領域例、図９（ｂ）は各領域の縦横比をそれぞれ示したものである。８分割時の縦横比は０．１７：１となる。このとき、第一の物体検出処理が対応できる対象物体の縦横比より水平の比率が小さくなるので、最小倍率は水平画素数により規定される。すなわち、合成映像の水平サイズ８０画素を６４画素に縮小するときが最小の縮小率となるためその倍率は０．８倍となる。よって、８分割時の取りうる倍率は０．８〜１０となる。
【００７１】
ここまで説明した各分割数で取りうる倍率をまとめると、分割をしない時は０．２７〜１０倍、２分割時は０．２７〜１０倍、４分割時は０．４〜１０倍、８分割時は０．８〜１０倍となる。同じ倍率はいずれかの分割時に検出対象とすればよいので重複分を削除することができ、かつ、分割数が多いほど検出の高速化が可能であることを考慮すると、各分割数と取りうる倍率の関係は図１０のようにまとめられる。このように、分割数と拡大縮小の倍率を組み合わせて拡大縮小処理を実施することで検出処理を高速化することができる。
【００７２】
次に合成映像特徴量判定部４２について図１１を参照して説明する。ここでの判定処理は、映像拡大縮小部４１で拡大縮小された合成映像上において、第一の物体検出処理が検出可能な大きさの枠（例えば水平６４画素、垂直１２８画素の検出対象枠）内にどの程度の画像特徴が存在しているかをカウントする。本実施の形態ではエッジ特徴を対象とし、エッジのカウント方法は分割領域特徴量判定部３２と同様であるので説明は割愛する。
【００７３】
合成映像物体検出部４３は、合成映像に対して第一の物体検出処理を行う。物体検出処理は、合成映像上でラスタ走査し、検出対象枠内に検出対象物体が存在するかを判定する処理となる。このとき、ラスタ走査において全ての検出対象枠で検出処理を行うのではなく、合成映像特徴量判定部４２の結果を用いて検出処理を行うかどうかを判断する。すなわち、検出対象枠内に画像特徴が存在しない場合は物体が存在しえないので、検出処理を行わずに走査を進めることで全体の検出処理を高速化する。画像特徴が存在するかどうかの判定は、閾値を適宜に設定して一定以上の画像特徴が存在する場合にのみ検出処理を行うようにする。
【００７４】
本実施の形態における物体検出処理は、エッジ特徴をベースにした物体検出手法を用いる。エッジ特徴を使う手法としては、エッジの強度と方向を用いるＨＯＧ（Histogram of Oriented Gradient）特徴を利用した手法が一般的であり、本発明にも適用できる。また、ＨＯＧ特徴を利用した手法に限らず、エッジ特徴を用いる物体検出ならばいずれも適用が可能である。また、本発明においては画像特徴としてエッジ特徴以外のものでも適用可能である。
【００７５】
次に、物体候補位置指定部５０について図１２を参照して説明する。図１２（ａ）は特徴映像を４分割した例、図１２（ｂ）は４分割した映像を合成した合成映像、図１２（ｃ）は合成映像上で第一の物体検出処理を行った結果、図１２（ｄ）は第一の物体検出処理より分割前の映像上における物体候補位置を指定した結果である。物体候補位置の個数は分割数と同じ数になり、図１２の例では４分割した合成映像を使って第一の物体検出処理を行っているので、分割前の映像上における物体候補位置は４つとなる。また、物体候補位置の座標位置は、図１３に示すように、合成映像上における検出結果位置から一意に求めることができる。図１３（ａ）は、合成映像上の検出結果座標を図示しており、合成映像の左上を座標（０，０）としたとき、検出結果枠の左上座標を（ｘｓ，ｙｓ）、右下座標を（ｘｅ，ｙｅ）とする。図１３（ｂ）は、図１３（ａ）の検出結果座標に対応する物体位置候補座標を図示しており、映像の左上を座標（０，０）としたとき物体位置候補１の左上座標は（ｘｓ，ｙｓ）、右下座標は（ｘｅ，ｙｅ）、物体位置候補２の左上座標は（ｘｓ＋１６０，ｙｓ＋１６０）、右下座標は（ｘｅ＋１６０，ｙｅ＋１６０）、物体位置候補３の左上座標は（ｘｓ＋３２０，ｙｓ＋３２０）、右下座標は（ｘｅ＋３２０，ｙｅ＋３２０）、物体位置候補４の左上座標は（ｘｓ＋４８０，ｙｓ＋４８０）、右下座標は（ｘｅ＋４８０，ｙｅ＋４８０）となる。
【００７６】
次に、第二物体検出処理部６０について図１４を参照して説明する。図１４（ａ）は物体候補位置、図１４（ｂ）は最終的な検出結果の位置を示している。第二の物体検出処理は、物体候補位置指定部５０で指定した物体候補位置に対して物体検出処理を行い、最終的な物体検出結果を求める。ここでは、既に検出処理を行う座標位置が指定されているため合成映像物体検出部４３で行ったようなラスタ走査の必要はない。また、物体検出処理については合成映像物体検出部４３と同様にエッジ特徴をベースにした物体検出手法を用いる。用いる手法としては合成映像物体検出部４３と同じ検出手法でもよいし、異なっていてもよい。さらに、合成映像物体検出部４３と第二物体検出処理部６０における物体検出の精度を変えてもよい。この場合、合成映像物体検出部４３よりも第二物体検出処理部６０の検出精度をより厳密にしておくとよい。合成部映像物体検出部４３は第二物体検出処理部６０と比較して処理量が多いので誤検出を多少許容する程度の簡易的な物体検出を行い、物体候補が限定されて処理量が少ない第二の物体検出処理で誤検出を除外し確実に検出対象物体だけを検出結果とする。これによって、検出精度を落とさずに検出処理の高速化が実現できる。
【００７７】
図１５は、上記の物体検出装置１００を用いて車両周辺の映像に基づいて車両付近の物体を検出する物体検出方法のフロー図である。図１５のフロー図は、入力された１フレームの映像に対する処理であり、映像が連続的に入力される場合には、各フレームについて図１５のフローが繰り返される。映像変換部２０は、映像が入力されると、その映像を、その映像から画像特徴を抽出した特徴映像に変換する（ステップＳ１５１）。次に映像分割部３１は、特徴映像を複数の分割領域に分割する（ステップＳ１５２）。そして、分割領域特徴量判定部３２が、各分割領域について、その特徴量を判定する（ステップＳ１５３）。続いて、合成係数調整部３３が、分割領域特徴量判定部３２で求めた各分割領域の画像特徴量に基づいて各分割領域の合成係数を算出する（ステップＳ１５４）。次に、映像合成部３４は、合成係数調整部３３で求めた合成係数を用いて、映像分割部３１で分割した分割領域に対してαブレンディングによる合成をして、１つの合成映像を生成する（ステップＳ１５５）。
【００７８】
映像拡大縮小部４１は、映像合成部３４で生成された合成映像を拡大または縮小する（ステップＳ１５６）。合成映像特徴量判定部４２は、合成映像上において、第一の物体検出処理で検出可能な大きさの枠内にどの程度の画像特徴が存在しているかを判定する（ステップＳ１５７）。そして、合成映像物体検出部４３は、第一の物体検出処理として、合成映像を走査して物体検出を行う（ステップＳ１５８）。なお、このとき、合成映像物体検出部４３は、合成映像特徴量判定部４２の結果を用いて、検出対象枠内に画像特徴が存在しない場合は物体検出処理を行わずに次のステップに進む。次に、物体候補位置指定部５０が、第一の物体検出処理において物体が検出された合成映像上の位置を基に分割前の前記映像において物体が存在する可能性がある位置を物体候補位置として指定する（ステップＳ１５９）。最後に、物体候補位置指定部５０で指定した物体候補位置に対して第二の物体検出処理を行い、最終的に、分割前の映像における物体位置を特定する（ステップＳ１６０）。
【００７９】
上記の実施の形態にかかる物体検出装置によれば、カメラで撮影した映像から特徴映像に変換し、特徴映像を分割合成した映像上で第一の物体検出処理を行って物体候補位置を求め、さらに物体候補位置に対して第二の物体検出処理を行って最終的な物体検出結果を求めるので、物体検出性能を犠牲にすることなく物体検出処理を高速化することができる。
【００８０】
なお、上記で説明した物体検出装置は、コンピュータがプログラムを実行することにより、そのコンピュータが物体検出装置となり、また、コンピュータがプログラムを実行することにより上記の物体検出方法が実行されてよい。
【００８１】
以上に現時点で考えられる本発明の好適な実施の形態を説明したが、本実施の形態に対して多様な変形が可能であり、そして、本発明の真実の精神と範囲内にあるそのようなすべての変形を請求の範囲が含むことが意図されている。
【産業上の利用可能性】
【００８２】
以上のように、本発明に係る物体検出装置は、車両周辺を撮影した映像から画像特徴を抽出した特徴映像へ変換し、特徴映像を分割して合成した合成映像上で第一の物体検出処理を行って物体候補位置を求め、さらに物体候補位置に対して第二の物体検出処理を行うので、物体検出性能を犠牲にすることなく物体検出処理を高速化することができるという優れた効果を有し、車両周辺の物体を検出するための物体検出装置等として有用である。
【符号の説明】
【００８３】
１０ 物体検出装置
２０ 映像変換部
３０ 映像分割合成部
３１ 映像分割部
３２ 分割領域特徴量判定部
３３ 合成係数調整部
３４ 映像合成部
４０ 第一物体検出処理部
４１ 映像拡大縮小部
４２ 合成映像特徴量判定部
４３ 合成映像物体検出部
５０ 物体候補位置指定部
６０ 第二物体検出処理部
【技術分野】
【０００１】
本発明は、物体検出装置に関し、特に、車両周辺に存在する歩行者等の物体を検出可能な物体検出装置に関する。
【背景技術】
【０００２】
近年、自動車の安全運転を支援する目的で、車載カメラの搭載が拡大している。例えば、車両の前方部分や後方部分に設置した撮像装置により車両周辺の映像を撮影し、撮影された映像を運転席に設置したディスプレイに表示することで、運転手は、車両の走行時に、車両周辺に存在する歩行者等の物体の有無を確認することができる。
【０００３】
また、車両周辺の映像を単にディスプレイに表示するのではなく、歩行者等の物体をあらかじめ何らかの手段で検出しておき、検出結果の情報を映像に付加したうえで表示したり、音声による警告を発したりすることで運転手の注意を喚起する取組みもなされている。
【０００４】
歩行者等の物体を検出する手段としては、例えば熱源や距離を関知するセンサを車載カメラとは別に搭載するものがこれまでの主流であった。しかし、コストや汎用性の点で別センサの搭載にはデメリットがあり、車載カメラの映像だけで物体を検出する画像認識手段の実用化が望まれている。
【０００５】
画像認識による物体検出手法として、研究分野においては以前より映像中のエッジ特徴を利用する手法が有効とされている。また、検出対象物体の映像をあらかじめ大量に学習して統計データとして活用するブースティング手法が確立されている。エッジ特徴を利用する手法とブースティングを組み合わせた物体検出手法は、研究分野においては検出精度の点で既に実用レベルに至っている。
【０００６】
しかし、実用化の点で上記の画像認識による物体検出手法には、処理時間の課題が残されている。画像認識の場合、映像処理が複雑であるのと同時に画像中を一通り走査する必要があるため、物体検出した結果を得るまでに時間がかかる。これにより、カメラのフレームレートに対して物体検出処理のフレームレートが低くなることや、映像に対して物体検出結果を得るまでの遅延時間が生じるという問題がある。
【０００７】
このような処理時間の課題に対して、特許文献１では、入力画像を縮小した縮小画像を作成し、まず縮小画像上で物体の有無を粗く検出し、縮小画像上で物体を検出したときだけ元の入力画像に再度検出処理をかける二段階検出を行う物体検出装置が開示されている。これにより、実質的には縮小画像サイズでの走査になるので検出処理の高速化ができる。
【先行技術文献】
【特許文献】
【０００８】
【特許文献１】特開２００７−２６５３９０号公報
【発明の概要】
【発明が解決しようとする課題】
【０００９】
しかしながら、上記特許文献１に記載の方法では、縮小画像を使って検出処理を行っているため、物体検出処理で利用している画像特徴が縮小化によって失われる。このため、特に物体検出対象が元々画像中で小さく撮影されている場合において、検出性能が十分に発揮できないという課題がある。物体検出対象が小さく撮影される要因としては、検出対象物体として元々小さいものを対象としていること、もしくは検出対象物体がカメラから距離が遠い位置に存在していること、またはその両方の要因が考えられるが、前者の場合は検出対象とする物体によっては検出精度が十分得られず、後者の場合は検出できる物体までの距離範囲が短縮化する弊害を生じた。
【００１０】
本発明は、上記背景に鑑みなされたものであり、物体検出を画像認識だけで行いながら検出性能を犠牲にすることなく、検出処理時間を高速化することが可能な物体検出装置及び方法、並びにプログラムを提供することを目的とする。
【課題を解決するための手段】
【００１１】
本発明の物体検出装置は、車両周辺の映像から画像特徴を抽出した特徴映像へと変換する映像変換部と、前記特徴映像を複数の領域に分割して合成する映像分割合成部と、前記映像分割合成部で合成した合成映像を走査して第一の物体検出処理を行う第一物体検出処理部と、前記第一物体検出処理部で物体が検出された合成映像上の位置を基に分割前の映像において物体が存在する可能性がある物体候補位置を求める物体候補位置指定部と、前記物体候補位置検出部で求めた物体候補位置に対して第二の物体検出処理を行い分割前の映像における物体位置を特定する第二物体検出処理部とを備えた構成を有する。
【００１２】
この構成により、画像特徴を損なわないので検出性能を犠牲にせずに検出処理時間を高速化することが可能な物体検出装置を提供することが可能になる。
【００１３】
本発明の物体検出装置において、前記映像変換部は、画像特徴としてエッジ特徴を抽出することを特徴とする。この構成により、物体検出処理で用いるエッジ特徴だけを残した映像に変換できる。
【００１４】
本発明の物体検出装置において、前記映像変換部は、映像に対してエンボス加工を施すことを特徴とする。この構成により、映像中のエッジ特徴を簡易に求めることができる。
【００１５】
本発明の物体検出装置において、前記映像分割合成部は、映像を複数の短冊状の領域に分割した分割領域を合成し、分割前の映像よりも小さい合成映像を生成することを特徴とする。この構成により、検出処理時に走査する映像の大きさを小さくできるので検出処理を高速化できる。
【００１６】
本発明の物体検出装置において、前記映像分割合成部は、フレーム毎に分割位置が異なることを特徴とする。この構成により、映像の分割によって検出対象の物体が切れてしまうことで検出ができなくなる弊害を防ぐことができる。
【００１７】
本発明の物体検出装置において、前記映像分割合成部は、前記分割領域をαブレンディングで合成することを特徴とする。この構成により、合成係数を調整することによって合成映像における各分割映像領域の影響度を調整することができる。
【００１８】
本発明の物体検出装置において、前記映像分割合成部は、前記分割領域に含まれる画像特徴量に応じてαブレンディングの合成係数を調整して合成することを特徴とする。この構成により、画像特徴が多く含まれる映像領域の合成係数を高めることで、合成映像にしたときに画像特徴を保持した状態にできる。
【００１９】
本発明の物体検出装置において、前記第一物体検出処理部は、前記合成映像を拡大もしくは縮小した合成映像に対して物体検出処理を行うことを特徴とする。この構成により、映像中に存在する検出対象物体の大きさの違いに対応できる。
【００２０】
本発明の物体検出装置において、前記第一物体検出処理部は、前記映像分割合成部で分割した分割領域の大きさに基づいて前記合成映像の拡大率もしくは縮小率を決定することを特徴とする。この構成により、分割した映像領域内で存在しえない大きさの検出対象物を対象とした走査をしないので検出処理を高速化することができる。
【００２１】
本発明の物体検出装置において、前記第一物体検出処理部は、物体検出を行う検出判定基準を前記第二物体検出処理部とは別々に調整可能であり、前記第二物体検出処理部よりも物体であると判定しやすくなるように検出基準を調整することを特徴とする。この構成により、第一物体検出処理部では検出を粗く（検出しやすく）して合成映像上における検出漏れを防ぎ、第二物体検出処理部で検出物体が存在することを最終的に判断して誤検出を防ぐことができる。
【００２２】
本発明の物体検出装置において、前記第一物体検出処理部は、前記合成映像上で画像特徴が存在する部分だけを対象に第一の物体検出処理を行うことを特徴とする。この構成により検出物体が存在しえない箇所の走査をしないので、検出処理を高速化することができる。
【００２３】
本発明の物体検出方法は、車両周辺の映像から画像特徴を抽出した特徴映像へと変換する映像変換ステップと、前記特徴映像を複数の領域に分割して合成する映像分割合成ステップと、前記映像分割合成ステップで合成した合成映像を走査して第一の物体検出処理を行う第一物体検出処理ステップと、前記第一物体検出処理ステップで物体が検出された合成映像上の位置を基に分割前の映像において物体が存在する可能性がある物体候補位置を求める物体候補位置指定ステップと、前記物体候補位置検出ステップで求めた物体候補位置に対して第二の物体検出処理を行い分割前の映像における物体位置を特定する第二物体検出処理ステップとを備えた構成を有する。この構成によっても、上記と同様の効果を得ることができる。
【００２４】
本発明の物体検出方法において、前記映像変換ステップは、画像特徴としてエッジ特徴を抽出することを特徴とする。この構成によっても、上記と同様の効果を得ることができる。
【００２５】
本発明の物体検出方法において、前記映像変換ステップは、映像に対してエンボス加工を施すことを特徴とする。この構成によっても、上記と同様の効果を得ることができる。
【００２６】
本発明の物体検出方法において、前記映像分割合成ステップは、映像を複数の短冊状の領域に分割した分割領域を合成し、分割前の映像よりも小さい合成映像を生成することを特徴とする。この構成によっても、上記と同様の効果を得ることができる。
【００２７】
本発明の物体検出方法において、前記映像分割合成ステップは、フレーム毎に分割位置が異なることを特徴とする。この構成によっても、上記と同様の効果を得ることができる。
【００２８】
本発明の物体検出方法において、前記映像分割合成ステップは、前記分割領域をαブレンディングで合成することを特徴とする。この構成によっても、上記と同様の効果を得ることができる。
【００２９】
本発明の物体検出方法において、前記映像分割合成ステップは、前記分割領域に含まれる画像特徴量に応じてαブレンディングの合成係数を調整して合成することを特徴とする。この構成によっても、上記と同様の効果を得ることができる。
【００３０】
本発明の物体検出方法において、前記第一物体検出処理ステップは、前記合成映像を拡大もしくは縮小した合成映像に対して物体検出処理を行うことを特徴とする。この構成によっても、上記と同様の効果を得ることができる。
【００３１】
本発明の物体検出方法において、前記第一物体検出処理ステップは、前記映像分割合成ステップで分割した分割領域の大きさに基づいて前記合成映像の拡大率もしくは縮小率を決定することを特徴とする。この構成によっても、上記と同様の効果を得ることができる。
【００３２】
本発明の物体検出方法において、前記第一物体検出処理ステップは、物体検出を行う検出判定基準を前記第二物体検出処理ステップとは別々に調整可能であり、前記第二物体検出処理ステップよりも物体であると判定しやすくなるように検出基準を調整することを特徴とする。この構成によっても、上記と同様の効果を得ることができる。
【００３３】
本発明の物体検出方法において、前記第一物体検出処理ステップは、前記合成映像上で画像特徴が存在する部分だけを対象に第一の物体検出処理を行うことを特徴とする。この構成によっても、上記と同様の効果を得ることができる。
【００３４】
本発明の物体検出プログラムは、車両周辺の映像から画像特徴を抽出した特徴映像へと変換する映像変換機能と、前記特徴映像を複数の領域に分割して合成する映像分割合成機能と、前記映像分割合成機能で合成した合成映像を走査して第一の物体検出処理を行う第一物体検出処理機能と、前記第一物体検出処理機能で物体が検出された合成映像上の位置を基に分割前の映像において物体が存在する可能性がある物体候補位置を求める物体候補位置指定機能と、前記物体候補位置検出機能で求めた物体候補位置に対して第二の物体検出処理を行い分割前の映像における物体位置を特定する第二物体検出処理機能とをコンピュータに実現させるためのプログラムである。この構成によっても、上記と同様の効果を得ることができる。
【００３５】
本発明の物体検出プログラムにおいて、前記映像変換機能は、画像特徴としてエッジ特徴を抽出することを特徴とする。この構成によっても、上記と同様の効果を得ることができる。
【００３６】
本発明の物体検出プログラムにおいて、前記映像変換機能は、映像に対してエンボス加工を施すことを特徴とする。この構成によっても、上記と同様の効果を得ることができる。
【００３７】
本発明の物体検出プログラムにおいて、前記映像分割合成機能は、映像を複数の短冊状の領域に分割した分割領域を合成し、分割前の映像よりも小さい合成映像を生成することを特徴とする。この構成によっても、上記と同様の効果を得ることができる。
【００３８】
本発明の物体検出プログラムにおいて、前記映像分割合成機能は、フレーム毎に分割位置が異なることを特徴とする。この構成によっても、上記と同様の効果を得ることができる。
【００３９】
本発明の物体検出プログラムにおいて、前記映像分割合成機能は、前記分割領域をαブレンディングで合成することを特徴とする。この構成によっても、上記と同様の効果を得ることができる。
【００４０】
本発明の物体検出プログラムにおいて、前記映像分割合成機能は、前記分割領域に含まれる画像特徴量に応じてαブレンディングの合成係数を調整して合成することを特徴とする。この構成によっても、上記と同様の効果を得ることができる。
【００４１】
本発明の物体検出プログラムにおいて、前記第一物体検出処理機能は、前記合成映像を拡大もしくは縮小した合成映像に対して物体検出処理を行うことを特徴とする。この構成によっても、上記と同様の効果を得ることができる。
【００４２】
本発明の物体検出プログラムにおいて、前記第一物体検出処理機能は、前記映像分割合成機能で分割した分割領域の大きさに基づいて前記合成映像の拡大率もしくは縮小率を決定することを特徴とする。この構成によっても、上記と同様の効果を得ることができる。
【００４３】
本発明の物体検出プログラムにおいて、前記第一物体検出処理機能は、物体検出を行う検出判定基準を前記第二物体検出処理機能とは別々に調整可能であり、前記第二物体検出処理機能よりも物体であると判定しやすくなるように検出基準を調整することを特徴とする。この構成によっても、上記と同様の効果を得ることができる。
【００４４】
本発明の物体検出プログラムにおいて、前記第一物体検出処理機能は、前記合成映像上で画像特徴が存在する部分だけを対象に第一の物体検出処理を行うことを特徴とする。この構成によっても、上記と同様の効果を得ることができる。
【発明の効果】
【００４５】
本発明によれば、画像特徴を損なわずに映像を小さくできるので、検出性能を犠牲にすることなく、検出処理時間を高速化することができる物体検出装置を提供することが可能になるという優れた効果を有する。
【図面の簡単な説明】
【００４６】
【図１】本発明の実施の形態における物体検出装置の構成を示すブロック図
【図２】（ａ）本発明の実施の形態における映像を２分割した分割領域の一例を示す説明図 （ｂ）本発明の実施の形態における映像を４分割した分割領域の一例を示す説明図
【図３】本発明の実施の形態における分割境界線上に検出対象物体が存在する一例を示す説明図
【図４】（ａ）本発明の実施の形態の分割位置の調整におけるＮフレーム目の分割の一例を示す説明図 （ｂ）本発明の実施の形態の分割位置の調整におけるＮ＋１フレーム目の分割の一例を示す説明図
【図５】（ａ）本発明の実施の形態の映像分割合成における分割前の特徴映像の一例を示す説明図 （ｂ）本発明の実施の形態の映像分割合成における分割領域と合成係数の対応の一例を示す説明図 （ｃ）本発明の実施の形態の映像分割合成における分割領域に合成係数を乗じた一例を示す説明図 （ｄ）本発明の実施の形態の映像分割合成における合成結果の一例を示す説明図
【図６】（ａ）本発明の実施の形態の拡大縮小処理における拡大縮小前の映像の一例を示す説明図 （ｂ）本発明の実施の形態の拡大縮小処理における物体検出可能な物体の大きさの一例を示す説明図 （ｃ）本発明の実施の形態の映像分割合成における大きさ合わせの説明図
【図７】（ａ）本発明の実施の形態における２分割時の分割領域の一例を示す説明図 （ｂ）本発明の実施の形態における２分割時の分割領域の縦横比率を示す説明図
【図８】（ａ）本発明の実施の形態における４分割時の分割領域の一例を示す説明図 （ｂ）本発明の実施の形態における４分割時の分割領域の縦横比率を示す説明図
【図９】（ａ）本発明の実施の形態における分割時の分割領域の一例を示す説明図 （ｂ）本発明の実施の形態における８分割時の分割領域の縦横比率を示す説明図
【図１０】本発明の実施の形態における分割数と拡大縮小倍率の関係の一例を示す説明表
【図１１】本発明の実施の形態における合成映像上での画像特徴量判定処理の一例を示す説明図
【図１２】（ａ）本発明の実施の形態における４分割時の分割領域の一例を示す説明図 （ｂ）本発明の実施の形態における合成映像の一例を示す説明図 （ｃ）本発明の実施の形態における合成映像上での検出結果位置の一例を示す説明図 （ｄ）本発明の実施の形態における分割前の映像上での物体候補位置の一例を示す説明図
【図１３】（ａ）本発明の実施の形態における合成映像上での検出結果位置の座標の一例を示す説明図 （ｂ）本発明の実施の形態における分割前の映像上での物体候補位置の座標の一例を示す説明図
【図１４】（ａ）本発明の実施の形態の第二の物体検出処理における物体候補位置の一例を示す説明図 （ｂ）本発明の実施の形態の第二の物体検出処理における検出結果の一例を示す説明図
【図１５】本発明の実施の形態における物体検出装置の動作を示すフロー図
【発明を実施するための形態】
【００４７】
以下、本発明の実施形態における物体検出装置について、図面を参照して説明する。
【００４８】
図１は、本発明の実施の形態に係る物体検出装置の構成を示すブロック図である。物体検出装置１０は、外部より入力される映像を、その映像から画像特徴を抽出した特徴映像に変換する映像変換部２０と、特徴映像を複数の領域に分割した分割領域を合成して合成画像を生成する映像分割合成部３０と、合成映像から物体検出を行う第一物体検出処理部４０と、第一物体検出処理部４０の検出結果から分割前の映像において物体が存在する可能性がある物体候補位置を求める物体候補位置指定部５０と、分割前の映像上の物体候補位置に対して物体検出を行う第二物体検出処理部６０とを備える。
【００４９】
外部より入力される映像は、例えば車両前側または後側のナンバープレート近くの所定位置に所定角度で取り付けられた車載カメラにより車両周辺を撮影した映像である。
【００５０】
映像変換部２０は、外部より入力される映像を基に、画像特徴を映像上で抽出する映像変換処理を行う。本実施の形態では、外部より入力される映像に対してエンボス処理を行い、画像特徴としてエッジ特徴を抽出するものとし、後段の処理でエッジ特徴に注目した処理を行なっているが、本発明で対象とする画像特徴はエッジ特徴に限定されない。例えば、道路上の標識や信号機を検出する目的においては、画像特徴として特定の色を抽出する処理を行うことが有効である。また、本発明ではエッジ特徴を抽出する処理としてエンボス処理を行うが、エッジ特徴を抽出する映像変換処理もこれに限るものではない。例えば、エッジ特徴を抽出する手段としてはソーベルフィルタやＣａｎｎｙ法を利用してもよい。
【００５１】
映像分割合成部３０は、映像分割部３１、分割領域特徴量判定部３２、合成係数調整部３３、及び映像合成部３４を備える。映像分割部３１は、特徴映像を複数の領域に分割する。分割領域特徴判定部３２は、映像分割部３１で分割された各分割領域内に存在する画像特徴量を求める。合成係数調整部３３は、分割領域特徴量判定部３２で求めた各分割領域の画像特徴量を基に各領域に対応する合成係数を求める。映像合成部３４は、映像分割部３１で分割された各分割領域に対して合成係数調整部３３で求めた合成係数を乗じ、全ての分割領域を合成した合成映像を生成する。このとき、合成映像は分割前の映像よりも小さくなる。
【００５２】
第一物体検出処理部４０は、映像拡大縮小部４１、合成映像特徴量判定部４２、合成映像物体検出部４３を備える。映像拡大縮小部４１は、合成映像を拡大または縮小する。ここでの拡大縮小処理は、映像上における物体検出対象の大きさの違いに対応するための処理であり、物体検出処理の高速化を目的としたものではない。例えば、物体検出対象がカメラから近距離に存在すれば物体は映像中で大きく映る。逆に物体が遠距離に存在すれば小さく映る。物体検出ではこのように生じる映像中における物体の大きさによらず同一の処理で物体検出処理を行うため、物体が大きく映っているときは映像を縮小し、小さく映っているときは映像を拡大して大きさの正規化を行い、そのうえで物体検出処理を行うのが常套手段である。合成映像特徴量判定部４２は、映像拡大縮小部４１から出力される映像上で画像特徴が存在する箇所を特定する。合成映像物体検出部４３は、映像拡大縮小部４１から出力される映像上で、合成映像特徴量判定部４２で画像特徴が存在するとした合成映像中の箇所に対して物体検出処理を行う（この物体検出処理を「第一の物体検出処理」という。）。画像特徴が存在しない箇所はそもそも検出対象物体が存在しないため、あらかじめ除外しておくことで物体検出処理の高速化が期待できる。
【００５３】
物体候補位置指定部５０は、第一物体検出処理部４０で物体検出された合成映像上の位置が、分割前の映像上のどこに該当するかを求める。例えば、合成映像が２つの領域を合成していたとき、合成映像上で１つの物体が検出されれば、分割前の映像上で物体が存在する可能性がある位置は２箇所となる。
【００５４】
第二物体検出処理部６０は、分割前の映像上で物体候補位置指定部５０において指定された位置のみを対象に物体検出を行い、最終的な物体検出結果を得る（この物体検出処理を「第二の物体検出処理」という。）。
【００５５】
以上が本発明の一実施形態に係る物体検出装置の構成と、処理の流れの説明である。
【００５６】
次に、映像分割合成部３０、第一物体検出処理部４０、物体候補位置指定部５０、第二物体検出処理部６０の一連の処理について、図面を参照して詳細に説明する。
【００５７】
映像分割部３１で特徴映像を複数の領域に分割する例を図２に示す。図２（ａ）は映像を２つの領域に分割した例、（ｂ）は４つの領域に分割した例を示している。この後の映像合成を考慮し、分割後の領域はそれぞれ同じ大きさであることが望ましいが、必ずしも同じである必要はない。また、分割数が大きいほど高速化の効果は大きくなる。具体的には、２分割の場合は分割なしの場合と比較して約１／２の処理時間、４分割の場合は約１／４の処理時間となる。ここでは、４分割を例にとって説明する。
【００５８】
図３は、映像を分割にした場合に生じる課題を示したものである。今、図３の映像上には被写体Ａと被写体Ｂの２つが存在している。映像を４分割したとき、被写体Ｂは領域３に収まるが、被写体Ａは領域１と領域２に分割されてしまう。このように被写体が複数の領域に分割されてしまうと後段の検出処理が困難になる。このとき、被写体Ａの位置が時間的に変化しない場合には被写体Ａが現在から未来において検出されないという課題を生じる。
【００５９】
この課題に対して、本実施の形態では図４のようにフレームごとに分割位置が互い違いになる位置になるように調整する。これにより、Ｎフレーム目には被写体Ｂが検出でき、Ｎ＋１フレーム目には被写体Ａが検出できる。なお、図４（ｂ）の領域１〜３に含まれない左右の領域は後段の検出処理には使用していない。
【００６０】
次に、分割領域特徴量判定部３２について説明する。ここでの特徴量判定は、映像分割部４１で分割された各分割領域にそれぞれどの程度の画像特徴が存在しているかをカウントする。本実施の形態では画像特徴としてエッジ特徴を用いる。エッジ量のカウント手段としては各種存在するが、本発明はその手段について限定するものではない。例えば、単純にエッジが存在する画素数や、エッジが存在する画素のエッジの大きさの総和をエッジ量としてカウントしてよい。あるいは、検出対象物体において特定の方向のエッジが多いとあらかじめ分かっているならば、特定の方向のエッジだけを対象にカウントする手段も有効である。また、本実施の形態ではエッジ特徴を対象にしているが、他の画像特徴を判定する処理に置き換えることも可能である。例えば、特定色の有無を判定してもよいし、一定以上の明るさの有無を判定するような処理でもよい。
【００６１】
合成係数調整部３３は、分割領域特徴量判定部３２で求めた各分割領域の画像特徴量に基づいて各領域の合成係数を算出する。本実施の形態の第一の物体検出処理はエッジ特徴に基づくため、映像を合成する際にはエッジが存在する領域の合成係数を大きく、エッジが存在しない領域の合成係数を小さくする。このような合成係数を算出する方法として一例を挙げると、領域１のエッジ量をＥ１、領域２のエッジ量をＥ２、領域３のエッジ量をＥ３、領域４のエッジ量をＥ４としたとき、領域１〜４の合成係数Ｍ１〜Ｍ４は下式のように求めることができる。
【数１】
【数２】
【数３】
【数４】
なお、合成係数の総和が１になるような算出方法であれば、上記の計算式に限定されるものではない。
【００６２】
映像合成部３４は、合成係数調整部３３で求めた合成係数Ｍ１〜Ｍ４を用いて、映像分割部３１で分割した４つの分割領域を合成して、１つの合成映像を生成する。この合成は、合成係数Ｍ１〜Ｍ４に従った割合で複数の分割領域の重ねあわせを行なうものであり、αブレンディングと呼ばれる。図５は映像合成を説明する図である。図５（ａ）は映像分割前の特徴映像であり、図５（ｂ）は映像分割部３１で特徴映像を４分割した４つの分割領域と、分割領域特徴量判定部３２および合成係数調整部３３で求めた各分割領域に対応する合成係数Ｍ１〜Ｍ４を示している。ここで、合成係数Ｍ１〜Ｍ４の関係はエッジ量の大きさに比例するので、Ｍ３が一番大きく、次に大きいのがＭ１とＭ４でほぼ同じ大きさであり、一番小さいのがＭ２となる。このような大きさの関係にある合成係数を各分割領域に乗じたイメージが図５（ｃ）となる。最後に合成係数を乗じた各領域を合成したのが図５（ｄ）であり、最終的な合成映像としてはエッジ量が最も多い領域３が一番鮮明に残った形で合成されることになる。このようにエッジ量によって合成係数を調整することで、複数の分割領域を合成しても第一の物体検出に必要な画像特徴を残すことができる。
【００６３】
以上、映像分割合成部３０について説明した。次に、第一物体検出処理部４０について説明する。
【００６４】
映像拡大縮小部４１は、後段の合成画像物体検出部４３に映像を出力するにあたって合成映像を拡大または縮小する。なお、映像を拡大または縮小する理由は前述したとおり、検出対象物体の映像上における大きさの違いに対応するためであり、高速化のためではない。次に、映像の分割数と拡大縮小の関係について説明する。まず、拡大縮小処理の基本概念について図６を用いて説明する。なお、以下の説明では、説明を具体化する目的で適宜数値を記載するが、本実施の形態はこれに限定されるものではない。
【００６５】
分割前の映像の大きさを水平６４０画素、垂直４８０画素とする（図６（ａ））。また、第一の物体検出処理で検出可能な物体の大きさを水平６４画素、垂直１２８画素とする（図６（ｂ））。図６（ｃ）に図示したように、拡大縮小処理とは、もともと映像上に撮影される様々な大きさの被写体を、第一の物体検出処理が対応できる大きさ相当に拡大または縮小して大きさを合わせる処理となる。つまり、拡大縮小によって映像中の検出対象の物体の大きさが水平６４画素、垂直１２８画素相当になれば検出可能となる。実際には映像中の検出対象物体の大きさがあらかじめ分からないので、拡大もしくは縮小の倍率をかえて複数回行うことになる。
【００６６】
続いて、拡大縮小処理の拡大率および縮小率の限界値を考える。一般的に拡大率が大きすぎると拡大処理に伴って映像の鮮明度が低下するため、第一の物体検出処理にはおのずと限界が生じる。ここでは説明のために限界を拡大率１０倍とする。また、縮小率については拡縮前の映像の大きさと、第一の物体検出処理が対応できる大きさの関係によって求まる。図６の例では、拡縮前の垂直サイズ４８０画素を１２８画素に縮小するときが取りうる最小の縮小率となるためその倍率は０．２７倍となる。つまり、映像分割がない場合は、拡大縮小前の映像に対し、倍率０．２７〜１０倍の範囲で拡大縮小（１以下の場合は縮小）することになる。
【００６７】
次に、映像を分割したときの拡大率および縮小率の限界について図７〜図９を参照しながら説明する。
【００６８】
図７は２分割の例を示したものであり、図７（ａ）は２分割時の分割領域例、図７（ｂ）は各分割領域の縦横比をそれぞれ示したものである。２分割時の縦横比は横０．６７に対し縦１となる（以下では０．６７：１のように表記する）。一方で、第一の物体検出処理が対応できる大きさが水平６４画素、垂直１２８画素のとき縦横比は０．５：１であり、かつ前述したように映像分割がない場合の倍率範囲は垂直画素数によって規定されたので、２分割時も分割がない場合と同様に倍率値は０．２７〜１０の範囲を取る。
【００６９】
図８は４分割の例を示したものであり、図８（ａ）は４分割時の分割領域例、図８（ｂ）は各分割領域の縦横比をそれぞれ示したものである。４分割時の縦横比は０．３３：１となる。このとき、第一の物体検出処理が対応できる対象物体の縦横比より水平の比率が小さくなるので、最小倍率は水平画素数により規定される。すなわち、合成映像の水平サイズ１６０画素を６４画素に縮小するときが最小の縮小率となるためその倍率は０．４倍となる。よって、４分割時の取りうる倍率は０．４〜１０となる。
【００７０】
図９は８分割の例を示したものであり、図９（ａ）は８分割時の分割領域例、図９（ｂ）は各領域の縦横比をそれぞれ示したものである。８分割時の縦横比は０．１７：１となる。このとき、第一の物体検出処理が対応できる対象物体の縦横比より水平の比率が小さくなるので、最小倍率は水平画素数により規定される。すなわち、合成映像の水平サイズ８０画素を６４画素に縮小するときが最小の縮小率となるためその倍率は０．８倍となる。よって、８分割時の取りうる倍率は０．８〜１０となる。
【００７１】
ここまで説明した各分割数で取りうる倍率をまとめると、分割をしない時は０．２７〜１０倍、２分割時は０．２７〜１０倍、４分割時は０．４〜１０倍、８分割時は０．８〜１０倍となる。同じ倍率はいずれかの分割時に検出対象とすればよいので重複分を削除することができ、かつ、分割数が多いほど検出の高速化が可能であることを考慮すると、各分割数と取りうる倍率の関係は図１０のようにまとめられる。このように、分割数と拡大縮小の倍率を組み合わせて拡大縮小処理を実施することで検出処理を高速化することができる。
【００７２】
次に合成映像特徴量判定部４２について図１１を参照して説明する。ここでの判定処理は、映像拡大縮小部４１で拡大縮小された合成映像上において、第一の物体検出処理が検出可能な大きさの枠（例えば水平６４画素、垂直１２８画素の検出対象枠）内にどの程度の画像特徴が存在しているかをカウントする。本実施の形態ではエッジ特徴を対象とし、エッジのカウント方法は分割領域特徴量判定部３２と同様であるので説明は割愛する。
【００７３】
合成映像物体検出部４３は、合成映像に対して第一の物体検出処理を行う。物体検出処理は、合成映像上でラスタ走査し、検出対象枠内に検出対象物体が存在するかを判定する処理となる。このとき、ラスタ走査において全ての検出対象枠で検出処理を行うのではなく、合成映像特徴量判定部４２の結果を用いて検出処理を行うかどうかを判断する。すなわち、検出対象枠内に画像特徴が存在しない場合は物体が存在しえないので、検出処理を行わずに走査を進めることで全体の検出処理を高速化する。画像特徴が存在するかどうかの判定は、閾値を適宜に設定して一定以上の画像特徴が存在する場合にのみ検出処理を行うようにする。
【００７４】
本実施の形態における物体検出処理は、エッジ特徴をベースにした物体検出手法を用いる。エッジ特徴を使う手法としては、エッジの強度と方向を用いるＨＯＧ（Histogram of Oriented Gradient）特徴を利用した手法が一般的であり、本発明にも適用できる。また、ＨＯＧ特徴を利用した手法に限らず、エッジ特徴を用いる物体検出ならばいずれも適用が可能である。また、本発明においては画像特徴としてエッジ特徴以外のものでも適用可能である。
【００７５】
次に、物体候補位置指定部５０について図１２を参照して説明する。図１２（ａ）は特徴映像を４分割した例、図１２（ｂ）は４分割した映像を合成した合成映像、図１２（ｃ）は合成映像上で第一の物体検出処理を行った結果、図１２（ｄ）は第一の物体検出処理より分割前の映像上における物体候補位置を指定した結果である。物体候補位置の個数は分割数と同じ数になり、図１２の例では４分割した合成映像を使って第一の物体検出処理を行っているので、分割前の映像上における物体候補位置は４つとなる。また、物体候補位置の座標位置は、図１３に示すように、合成映像上における検出結果位置から一意に求めることができる。図１３（ａ）は、合成映像上の検出結果座標を図示しており、合成映像の左上を座標（０，０）としたとき、検出結果枠の左上座標を（ｘｓ，ｙｓ）、右下座標を（ｘｅ，ｙｅ）とする。図１３（ｂ）は、図１３（ａ）の検出結果座標に対応する物体位置候補座標を図示しており、映像の左上を座標（０，０）としたとき物体位置候補１の左上座標は（ｘｓ，ｙｓ）、右下座標は（ｘｅ，ｙｅ）、物体位置候補２の左上座標は（ｘｓ＋１６０，ｙｓ＋１６０）、右下座標は（ｘｅ＋１６０，ｙｅ＋１６０）、物体位置候補３の左上座標は（ｘｓ＋３２０，ｙｓ＋３２０）、右下座標は（ｘｅ＋３２０，ｙｅ＋３２０）、物体位置候補４の左上座標は（ｘｓ＋４８０，ｙｓ＋４８０）、右下座標は（ｘｅ＋４８０，ｙｅ＋４８０）となる。
【００７６】
次に、第二物体検出処理部６０について図１４を参照して説明する。図１４（ａ）は物体候補位置、図１４（ｂ）は最終的な検出結果の位置を示している。第二の物体検出処理は、物体候補位置指定部５０で指定した物体候補位置に対して物体検出処理を行い、最終的な物体検出結果を求める。ここでは、既に検出処理を行う座標位置が指定されているため合成映像物体検出部４３で行ったようなラスタ走査の必要はない。また、物体検出処理については合成映像物体検出部４３と同様にエッジ特徴をベースにした物体検出手法を用いる。用いる手法としては合成映像物体検出部４３と同じ検出手法でもよいし、異なっていてもよい。さらに、合成映像物体検出部４３と第二物体検出処理部６０における物体検出の精度を変えてもよい。この場合、合成映像物体検出部４３よりも第二物体検出処理部６０の検出精度をより厳密にしておくとよい。合成部映像物体検出部４３は第二物体検出処理部６０と比較して処理量が多いので誤検出を多少許容する程度の簡易的な物体検出を行い、物体候補が限定されて処理量が少ない第二の物体検出処理で誤検出を除外し確実に検出対象物体だけを検出結果とする。これによって、検出精度を落とさずに検出処理の高速化が実現できる。
【００７７】
図１５は、上記の物体検出装置１００を用いて車両周辺の映像に基づいて車両付近の物体を検出する物体検出方法のフロー図である。図１５のフロー図は、入力された１フレームの映像に対する処理であり、映像が連続的に入力される場合には、各フレームについて図１５のフローが繰り返される。映像変換部２０は、映像が入力されると、その映像を、その映像から画像特徴を抽出した特徴映像に変換する（ステップＳ１５１）。次に映像分割部３１は、特徴映像を複数の分割領域に分割する（ステップＳ１５２）。そして、分割領域特徴量判定部３２が、各分割領域について、その特徴量を判定する（ステップＳ１５３）。続いて、合成係数調整部３３が、分割領域特徴量判定部３２で求めた各分割領域の画像特徴量に基づいて各分割領域の合成係数を算出する（ステップＳ１５４）。次に、映像合成部３４は、合成係数調整部３３で求めた合成係数を用いて、映像分割部３１で分割した分割領域に対してαブレンディングによる合成をして、１つの合成映像を生成する（ステップＳ１５５）。
【００７８】
映像拡大縮小部４１は、映像合成部３４で生成された合成映像を拡大または縮小する（ステップＳ１５６）。合成映像特徴量判定部４２は、合成映像上において、第一の物体検出処理で検出可能な大きさの枠内にどの程度の画像特徴が存在しているかを判定する（ステップＳ１５７）。そして、合成映像物体検出部４３は、第一の物体検出処理として、合成映像を走査して物体検出を行う（ステップＳ１５８）。なお、このとき、合成映像物体検出部４３は、合成映像特徴量判定部４２の結果を用いて、検出対象枠内に画像特徴が存在しない場合は物体検出処理を行わずに次のステップに進む。次に、物体候補位置指定部５０が、第一の物体検出処理において物体が検出された合成映像上の位置を基に分割前の前記映像において物体が存在する可能性がある位置を物体候補位置として指定する（ステップＳ１５９）。最後に、物体候補位置指定部５０で指定した物体候補位置に対して第二の物体検出処理を行い、最終的に、分割前の映像における物体位置を特定する（ステップＳ１６０）。
【００７９】
上記の実施の形態にかかる物体検出装置によれば、カメラで撮影した映像から特徴映像に変換し、特徴映像を分割合成した映像上で第一の物体検出処理を行って物体候補位置を求め、さらに物体候補位置に対して第二の物体検出処理を行って最終的な物体検出結果を求めるので、物体検出性能を犠牲にすることなく物体検出処理を高速化することができる。
【００８０】
なお、上記で説明した物体検出装置は、コンピュータがプログラムを実行することにより、そのコンピュータが物体検出装置となり、また、コンピュータがプログラムを実行することにより上記の物体検出方法が実行されてよい。
【００８１】
以上に現時点で考えられる本発明の好適な実施の形態を説明したが、本実施の形態に対して多様な変形が可能であり、そして、本発明の真実の精神と範囲内にあるそのようなすべての変形を請求の範囲が含むことが意図されている。
【産業上の利用可能性】
【００８２】
以上のように、本発明に係る物体検出装置は、車両周辺を撮影した映像から画像特徴を抽出した特徴映像へ変換し、特徴映像を分割して合成した合成映像上で第一の物体検出処理を行って物体候補位置を求め、さらに物体候補位置に対して第二の物体検出処理を行うので、物体検出性能を犠牲にすることなく物体検出処理を高速化することができるという優れた効果を有し、車両周辺の物体を検出するための物体検出装置等として有用である。
【符号の説明】
【００８３】
１０ 物体検出装置
２０ 映像変換部
３０ 映像分割合成部
３１ 映像分割部
３２ 分割領域特徴量判定部
３３ 合成係数調整部
３４ 映像合成部
４０ 第一物体検出処理部
４１ 映像拡大縮小部
４２ 合成映像特徴量判定部
４３ 合成映像物体検出部
５０ 物体候補位置指定部
６０ 第二物体検出処理部
【特許請求の範囲】
【請求項１】
車両周辺の映像に基づいて車両付近の物体を検出する物体検出装置であって、
前記映像を、前記映像から画像特徴を抽出した特徴映像に変換する映像変換部と、
前記特徴映像を複数の領域に分割した分割領域を合成して合成画像を生成する映像分割合成部と、
前記映像分割合成部で合成した前記合成映像を走査して第一の物体検出処理を行う第一物体検出処理部と、
前記第一物体検出処理部で物体が検出された前記合成映像上の位置を基に分割前の前記映像において物体が存在する可能性がある物体候補位置を求める物体候補位置指定部と、
前記物体候補位置指定部で求めた前記物体候補位置に対して第二の物体検出処理を行い、分割前の前記映像における物体位置を特定する第二物体検出処理部と、
を備えたことを特徴とする物体検出装置。
【請求項２】
前記映像変換部は、前記画像特徴としてエッジ特徴を抽出することを特徴とする、請求項１記載の物体検出装置。
【請求項３】
前記映像変換部は、前記映像に対してエンボス加工を施すことで前記映像を前記特徴映像に変換することを特徴とする、請求項１または２に記載の物体検出装置。
【請求項４】
前記映像分割合成部は、前記映像を複数の短冊状の領域に分割し、前記分割領域を合成して分割前の前記映像よりも小さい前記合成映像を生成することを特徴とする、請求項１〜３のいずれか１項に記載の物体検出装置。
【請求項５】
前記映像分割合成部は、フレーム毎に異なる分割位置で前記特徴映像を分割することを特徴とする、請求項１〜４のいずれか１項に記載の物体検出装置。
【請求項６】
前記映像分割合成部は、前記分割領域をαブレンディングで合成することを特徴とする、請求項１〜５のいずれか１項に記載の物体検出装置。
【請求項７】
前記映像分割合成部は、前記分割領域に含まれる画像特徴量に応じて前記αブレンディングの合成係数を調整して合成することを特徴とする、請求項６に記載の物体検出装置。
【請求項８】
前記第一物体検出処理部は、前記合成映像を拡大もしくは縮小した拡大縮小合成映像に対して前記第一の物体検出処理を行うことを特徴とする、請求項１〜７のいずれか１項に記載の物体検出装置。
【請求項９】
前記第一物体検出処理部は、前記映像分割合成部で分割した前記分割領域の大きさに基づいて前記合成映像の拡大率もしくは縮小率を決定することを特徴とする、請求項８に記載の物体検出装置。
【請求項１０】
前記第一物体検出処理部は、前記第一の物体検出処理における第一の検出判定基準を前記第二物体検出処理部の前記第二の物体検出処理における第二の検出判定基準とは別々に調整可能であり、前記第二の検出判定基準よりも物体であると判定しやすくなるように前記第一の検出判定基準を調整することを特徴とする、請求項１〜９のいずれか１項に記載の物体検出装置。
【請求項１１】
前記第一物体検出処理部は、前記合成映像上で前記画像特徴が存在する部分だけを対象に前記第一の物体検出処理を行うことを特徴とする、請求項１〜１０のいずれか１項に記載の物体検出装置。
【請求項１２】
車両周辺の映像に基づいて車両付近の物体を検出する物体検出方法であって、
前記映像を、前記映像から画像特徴を抽出した特徴映像に変換する映像変換ステップと、
前記特徴映像を複数の領域に分割した分割領域を合成して合成画像を生成する映像分割合成ステップと、
前記映像分割合成ステップで合成した前記合成映像を走査して第一の物体検出処理を行う第一物体検出処理ステップと、
前記第一物体検出処理ステップで物体が検出された前記合成映像上の位置を基に分割前の前記映像において物体が存在する可能性がある物体候補位置を求める物体候補位置指定ステップと、
前記物体候補位置指定ステップで求めた前記物体候補位置に対して第二の物体検出処理を行い、分割前の前記映像における物体位置を特定する第二物体検出処理ステップと、
を備えたことを特徴とする物体検出方法。
【請求項１３】
前記映像変換ステップは、前記画像特徴としてエッジ特徴を抽出することを特徴とする、請求項１２記載の物体検出方法。
【請求項１４】
前記映像変換ステップは、前記映像に対してエンボス加工を施すことで前記映像を前記特徴映像に変換することを特徴とする、請求項１２または１３記載の物体検出方法。
【請求項１５】
前記映像分割合成ステップは、前記映像を複数の短冊状の領域に分割し、前記分割領域を合成して分割前の前記映像よりも小さい前記合成映像を生成することを特徴とする、請求項１２〜１４のいずれか１項に記載の物体検出方法。
【請求項１６】
前記映像分割合成ステップは、フレーム毎に異なる分割位置で前記特徴映像を分割することを特徴とする、請求項１２〜１５のいずれか１項に記載の物体検出方法。
【請求項１７】
前記映像分割合成ステップは、前記分割領域をαブレンディングで合成することを特徴とする、請求項１２〜１６のいずれか１項に記載の物体検出方法。
【請求項１８】
前記映像分割合成ステップは、前記分割領域に含まれる画像特徴量に応じて前記αブレンディングの合成係数を調整して合成することを特徴とする、請求項１７に記載の物体検出方法。
【請求項１９】
前記第一物体検出処理ステップは、前記合成映像を拡大もしくは縮小した拡大縮小合成映像に対して前記第一の物体検出処理を行うことを特徴とする、請求項１２〜１８のいずれか１項に記載の物体検出方法。
【請求項２０】
前記第一物体検出処理ステップは、前記映像分割合成ステップで分割した前記分割領域の大きさに基づいて前記合成映像の拡大率もしくは縮小率を決定することを特徴とする、請求項１９に記載の物体検出方法。
【請求項２１】
前記第一物体検出処理ステップは、前記第一の物体検出処理における第一の検出判定基準を前記第二物体検出処理ステップの前記第二の物体検出処理における第二の検出判定基準とは別々に調整可能であり、前記第二の検出判定基準よりも物体であると判定しやすくなるように前記第一の検出判定基準を調整することを特徴とする、請求項１２〜２０のいずれか１項に記載の物体検出方法。
【請求項２２】
前記第一物体検出処理ステップは、前記合成映像上で前記画像特徴が存在する部分だけを対象に前記第一の物体検出処理を行うことを特徴とする、請求項１２〜２１のいずれか１項に記載の物体検出方法。
【請求項２３】
車両周辺の映像に基づいて車両付近の物体を検出する物体検出プログラムであって、
前記映像を、前記映像から画像特徴を抽出した特徴映像に変換する映像変換機能と、
前記特徴映像を複数の領域に分割した分割領域を合成して合成画像を生成する映像分割合成機能と、
前記映像分割合成機能で合成した前記合成映像を走査して第一の物体検出処理を行う第一物体検出処理機能と、
前記第一物体検出処理機能で物体が検出された前記合成映像上の位置を基に分割前の前記映像において物体が存在する可能性がある物体候補位置を求める物体候補位置指定機能と、
前記物体候補位置指定機能で求めた前記物体候補位置に対して第二の物体検出処理を行い、分割前の前記映像における物体位置を特定する第二物体検出処理機能と、
をコンピュータに実現させるための物体検出プログラム。
【請求項２４】
前記映像変換機能は、前記画像特徴としてエッジ特徴を抽出することを特徴とする、請求項２３記載の物体検出プログラム。
【請求項２５】
前記映像変換機能は、前記映像に対してエンボス加工を施すことで前記映像を前記特徴映像に変換することを特徴とする、請求項２３または２４記載の物体検出プログラム。
【請求項２６】
前記映像分割合成機能は、前記映像を複数の短冊状の領域に分割し、前記分割領域を合成して分割前の前記映像よりも小さい前記合成映像を生成することを特徴とする、請求項２３〜２５のいずれか１項に記載の物体検出プログラム。
【請求項２７】
前記映像分割合成機能は、フレーム毎に異なる分割位置で前記特徴映像を分割することを特徴とする、請求項２３〜２６のいずれか１項に記載の物体検出プログラム。
【請求項２８】
前記映像分割合成機能は、前記分割領域をαブレンディングで合成することを特徴とする、請求項２３〜２７のいずれか１項に記載の物体検出プログラム。
【請求項２９】
前記映像分割合成機能は、前記分割領域に含まれる画像特徴量に応じて前記αブレンディングの合成係数を調整して合成することを特徴とする、請求項２８に記載の物体検出プログラム。
【請求項３０】
前記第一物体検出処理機能は、前記第一物体検出処理機能は、前記合成映像を拡大もしくは縮小した拡大縮小合成映像に対して前記第一の物体検出処理を行うことを特徴とする、請求項２３〜２９のいずれか１項に記載の物体検出プログラム。
【請求項３１】
前記第一物体検出処理機能は、前記映像分割合成機能で分割した前記分割領域の大きさに基づいて前記合成映像の拡大率もしくは縮小率を決定することを特徴とする、請求項３０に記載の物体検出プログラム。
【請求項３２】
前記第一物体検出処理機能は、前記第一の物体検出処理における第一の検出判定基準を前記第二物体検出処理機能の前記第二の物体検出処理における第二の検出判定基準とは別々に調整可能であり、前記第二の検出判定基準よりも物体であると判定しやすくなるように前記第一の検出判定基準を調整することを特徴とする、請求項２３〜３１のいずれか１項に記載の物体検出プログラム。
【請求項３３】
前記第一物体検出処理機能は、前記合成映像上で前記画像特徴が存在する部分だけを対象に前記第一の物体検出処理を行うことを特徴とする、請求項２３〜３２のいずれか１項に記載の物体検出プログラム。
【請求項１】
車両周辺の映像に基づいて車両付近の物体を検出する物体検出装置であって、
前記映像を、前記映像から画像特徴を抽出した特徴映像に変換する映像変換部と、
前記特徴映像を複数の領域に分割した分割領域を合成して合成画像を生成する映像分割合成部と、
前記映像分割合成部で合成した前記合成映像を走査して第一の物体検出処理を行う第一物体検出処理部と、
前記第一物体検出処理部で物体が検出された前記合成映像上の位置を基に分割前の前記映像において物体が存在する可能性がある物体候補位置を求める物体候補位置指定部と、
前記物体候補位置指定部で求めた前記物体候補位置に対して第二の物体検出処理を行い、分割前の前記映像における物体位置を特定する第二物体検出処理部と、
を備えたことを特徴とする物体検出装置。
【請求項２】
前記映像変換部は、前記画像特徴としてエッジ特徴を抽出することを特徴とする、請求項１記載の物体検出装置。
【請求項３】
前記映像変換部は、前記映像に対してエンボス加工を施すことで前記映像を前記特徴映像に変換することを特徴とする、請求項１または２に記載の物体検出装置。
【請求項４】
前記映像分割合成部は、前記映像を複数の短冊状の領域に分割し、前記分割領域を合成して分割前の前記映像よりも小さい前記合成映像を生成することを特徴とする、請求項１〜３のいずれか１項に記載の物体検出装置。
【請求項５】
前記映像分割合成部は、フレーム毎に異なる分割位置で前記特徴映像を分割することを特徴とする、請求項１〜４のいずれか１項に記載の物体検出装置。
【請求項６】
前記映像分割合成部は、前記分割領域をαブレンディングで合成することを特徴とする、請求項１〜５のいずれか１項に記載の物体検出装置。
【請求項７】
前記映像分割合成部は、前記分割領域に含まれる画像特徴量に応じて前記αブレンディングの合成係数を調整して合成することを特徴とする、請求項６に記載の物体検出装置。
【請求項８】
前記第一物体検出処理部は、前記合成映像を拡大もしくは縮小した拡大縮小合成映像に対して前記第一の物体検出処理を行うことを特徴とする、請求項１〜７のいずれか１項に記載の物体検出装置。
【請求項９】
前記第一物体検出処理部は、前記映像分割合成部で分割した前記分割領域の大きさに基づいて前記合成映像の拡大率もしくは縮小率を決定することを特徴とする、請求項８に記載の物体検出装置。
【請求項１０】
前記第一物体検出処理部は、前記第一の物体検出処理における第一の検出判定基準を前記第二物体検出処理部の前記第二の物体検出処理における第二の検出判定基準とは別々に調整可能であり、前記第二の検出判定基準よりも物体であると判定しやすくなるように前記第一の検出判定基準を調整することを特徴とする、請求項１〜９のいずれか１項に記載の物体検出装置。
【請求項１１】
前記第一物体検出処理部は、前記合成映像上で前記画像特徴が存在する部分だけを対象に前記第一の物体検出処理を行うことを特徴とする、請求項１〜１０のいずれか１項に記載の物体検出装置。
【請求項１２】
車両周辺の映像に基づいて車両付近の物体を検出する物体検出方法であって、
前記映像を、前記映像から画像特徴を抽出した特徴映像に変換する映像変換ステップと、
前記特徴映像を複数の領域に分割した分割領域を合成して合成画像を生成する映像分割合成ステップと、
前記映像分割合成ステップで合成した前記合成映像を走査して第一の物体検出処理を行う第一物体検出処理ステップと、
前記第一物体検出処理ステップで物体が検出された前記合成映像上の位置を基に分割前の前記映像において物体が存在する可能性がある物体候補位置を求める物体候補位置指定ステップと、
前記物体候補位置指定ステップで求めた前記物体候補位置に対して第二の物体検出処理を行い、分割前の前記映像における物体位置を特定する第二物体検出処理ステップと、
を備えたことを特徴とする物体検出方法。
【請求項１３】
前記映像変換ステップは、前記画像特徴としてエッジ特徴を抽出することを特徴とする、請求項１２記載の物体検出方法。
【請求項１４】
前記映像変換ステップは、前記映像に対してエンボス加工を施すことで前記映像を前記特徴映像に変換することを特徴とする、請求項１２または１３記載の物体検出方法。
【請求項１５】
前記映像分割合成ステップは、前記映像を複数の短冊状の領域に分割し、前記分割領域を合成して分割前の前記映像よりも小さい前記合成映像を生成することを特徴とする、請求項１２〜１４のいずれか１項に記載の物体検出方法。
【請求項１６】
前記映像分割合成ステップは、フレーム毎に異なる分割位置で前記特徴映像を分割することを特徴とする、請求項１２〜１５のいずれか１項に記載の物体検出方法。
【請求項１７】
前記映像分割合成ステップは、前記分割領域をαブレンディングで合成することを特徴とする、請求項１２〜１６のいずれか１項に記載の物体検出方法。
【請求項１８】
前記映像分割合成ステップは、前記分割領域に含まれる画像特徴量に応じて前記αブレンディングの合成係数を調整して合成することを特徴とする、請求項１７に記載の物体検出方法。
【請求項１９】
前記第一物体検出処理ステップは、前記合成映像を拡大もしくは縮小した拡大縮小合成映像に対して前記第一の物体検出処理を行うことを特徴とする、請求項１２〜１８のいずれか１項に記載の物体検出方法。
【請求項２０】
前記第一物体検出処理ステップは、前記映像分割合成ステップで分割した前記分割領域の大きさに基づいて前記合成映像の拡大率もしくは縮小率を決定することを特徴とする、請求項１９に記載の物体検出方法。
【請求項２１】
前記第一物体検出処理ステップは、前記第一の物体検出処理における第一の検出判定基準を前記第二物体検出処理ステップの前記第二の物体検出処理における第二の検出判定基準とは別々に調整可能であり、前記第二の検出判定基準よりも物体であると判定しやすくなるように前記第一の検出判定基準を調整することを特徴とする、請求項１２〜２０のいずれか１項に記載の物体検出方法。
【請求項２２】
前記第一物体検出処理ステップは、前記合成映像上で前記画像特徴が存在する部分だけを対象に前記第一の物体検出処理を行うことを特徴とする、請求項１２〜２１のいずれか１項に記載の物体検出方法。
【請求項２３】
車両周辺の映像に基づいて車両付近の物体を検出する物体検出プログラムであって、
前記映像を、前記映像から画像特徴を抽出した特徴映像に変換する映像変換機能と、
前記特徴映像を複数の領域に分割した分割領域を合成して合成画像を生成する映像分割合成機能と、
前記映像分割合成機能で合成した前記合成映像を走査して第一の物体検出処理を行う第一物体検出処理機能と、
前記第一物体検出処理機能で物体が検出された前記合成映像上の位置を基に分割前の前記映像において物体が存在する可能性がある物体候補位置を求める物体候補位置指定機能と、
前記物体候補位置指定機能で求めた前記物体候補位置に対して第二の物体検出処理を行い、分割前の前記映像における物体位置を特定する第二物体検出処理機能と、
をコンピュータに実現させるための物体検出プログラム。
【請求項２４】
前記映像変換機能は、前記画像特徴としてエッジ特徴を抽出することを特徴とする、請求項２３記載の物体検出プログラム。
【請求項２５】
前記映像変換機能は、前記映像に対してエンボス加工を施すことで前記映像を前記特徴映像に変換することを特徴とする、請求項２３または２４記載の物体検出プログラム。
【請求項２６】
前記映像分割合成機能は、前記映像を複数の短冊状の領域に分割し、前記分割領域を合成して分割前の前記映像よりも小さい前記合成映像を生成することを特徴とする、請求項２３〜２５のいずれか１項に記載の物体検出プログラム。
【請求項２７】
前記映像分割合成機能は、フレーム毎に異なる分割位置で前記特徴映像を分割することを特徴とする、請求項２３〜２６のいずれか１項に記載の物体検出プログラム。
【請求項２８】
前記映像分割合成機能は、前記分割領域をαブレンディングで合成することを特徴とする、請求項２３〜２７のいずれか１項に記載の物体検出プログラム。
【請求項２９】
前記映像分割合成機能は、前記分割領域に含まれる画像特徴量に応じて前記αブレンディングの合成係数を調整して合成することを特徴とする、請求項２８に記載の物体検出プログラム。
【請求項３０】
前記第一物体検出処理機能は、前記第一物体検出処理機能は、前記合成映像を拡大もしくは縮小した拡大縮小合成映像に対して前記第一の物体検出処理を行うことを特徴とする、請求項２３〜２９のいずれか１項に記載の物体検出プログラム。
【請求項３１】
前記第一物体検出処理機能は、前記映像分割合成機能で分割した前記分割領域の大きさに基づいて前記合成映像の拡大率もしくは縮小率を決定することを特徴とする、請求項３０に記載の物体検出プログラム。
【請求項３２】
前記第一物体検出処理機能は、前記第一の物体検出処理における第一の検出判定基準を前記第二物体検出処理機能の前記第二の物体検出処理における第二の検出判定基準とは別々に調整可能であり、前記第二の検出判定基準よりも物体であると判定しやすくなるように前記第一の検出判定基準を調整することを特徴とする、請求項２３〜３１のいずれか１項に記載の物体検出プログラム。
【請求項３３】
前記第一物体検出処理機能は、前記合成映像上で前記画像特徴が存在する部分だけを対象に前記第一の物体検出処理を行うことを特徴とする、請求項２３〜３２のいずれか１項に記載の物体検出プログラム。
【図１】
【図２】
【図３】
【図４】
【図５】
【図６】
【図７】
【図８】
【図９】
【図１０】
【図１１】
【図１２】
【図１３】
【図１４】
【図１５】
【図２】
【図３】
【図４】
【図５】
【図６】
【図７】
【図８】
【図９】
【図１０】
【図１１】
【図１２】
【図１３】
【図１４】
【図１５】
【公開番号】特開２０１２−１８５５５５（Ｐ２０１２−１８５５５５Ａ）
【公開日】平成２４年９月２７日（２０１２．９．２７）
【国際特許分類】
【出願番号】特願２０１１−４６６１６（Ｐ２０１１−４６６１６）
【出願日】平成２３年３月３日（２０１１．３．３）
【出願人】（０００００５８２１）パナソニック株式会社 (73,050)
【Ｆターム（参考）】
【公開日】平成２４年９月２７日（２０１２．９．２７）
【国際特許分類】
【出願日】平成２３年３月３日（２０１１．３．３）
【出願人】（０００００５８２１）パナソニック株式会社 (73,050)
【Ｆターム（参考）】
[ Back to top ]