対象物検出装置及びプログラム
【課題】対象物が歩行者及び二輪車である場合に、道路構造物や植物等の誤検出を低減して、対象物の検出精度を向上させる。
【解決手段】歩行者識別部２６で、撮像画像から抽出されたウインドウ画像と識別モデルとに基づいて、ウインドウ画像が歩行者候補であるか否かを識別する。テンプレート設定部２８が、歩行者候補をテンプレートに設定し、類似パタン探索部３０が、テンプレートの位置から探索方向に沿って所定のずらし量ずらした位置に比較領域を設定し、比較領域内の画像を比較画像として抽出して、テンプレートと比較画像との類似度ＳＳＤを算出し、比較領域のずらし量の所定区間内での類似度ＳＳＤを閾値と比較して、歩行者候補の周辺におけるテンプレートの類似パタンの連続性を判定する。誤検出判定部３２は、類似パタンが連続する場合には、歩行者候補が電柱や植物等の誤検出であると判定して、歩行者候補から除外する。
【解決手段】歩行者識別部２６で、撮像画像から抽出されたウインドウ画像と識別モデルとに基づいて、ウインドウ画像が歩行者候補であるか否かを識別する。テンプレート設定部２８が、歩行者候補をテンプレートに設定し、類似パタン探索部３０が、テンプレートの位置から探索方向に沿って所定のずらし量ずらした位置に比較領域を設定し、比較領域内の画像を比較画像として抽出して、テンプレートと比較画像との類似度ＳＳＤを算出し、比較領域のずらし量の所定区間内での類似度ＳＳＤを閾値と比較して、歩行者候補の周辺におけるテンプレートの類似パタンの連続性を判定する。誤検出判定部３２は、類似パタンが連続する場合には、歩行者候補が電柱や植物等の誤検出であると判定して、歩行者候補から除外する。
【発明の詳細な説明】
【技術分野】
【０００１】
本発明は、対象物検出装置及びプログラムに係り、特に、撮像された画像から対象物を検出する対象物検出装置及びプログラムに関する。
【背景技術】
【０００２】
近年、車載カメラで撮像した車両周辺の映像を画像処理し、特定の対象物を検出してドライバに検出結果を提示する対象物検出装置を搭載する車両が増加している。例えば、このような対象物検出装置では、撮像された画像内の部分画像と予め生成された対象物の識別モデル等とを比較することにより対象物を検出しているが、対象物が歩行者及び二輪車の場合には、対象物ではない電柱などの道路構造物や路傍の植え込みなどの植物などが対象物として検出されてしまう誤検出が生じる場合がある。特に、局所的な輪郭情報を記述した特徴量を用いた手法（例えば、ＨＯＧ：Histograms of Oriented Gradients を用いた手法）による対象物検出では、局所的な形状の類似性により、この誤検出が生じる傾向が高い。
【０００３】
そこで、車両の進行方向の所定領域を赤外線画像として撮像し、赤外線画像のコントラストを高め、エッジが強調された後の画像に対して、水平方向エッジ及び鉛直方向エッジを低減する処理を行った画像に基づいて、歩行者を表す像を検出する歩行者検出表示システムが提案されている（例えば、特許文献１参照）。
【０００４】
また、近赤外線画像から歩行者候補領域を抽出し、歩行者候補のサイズ及び輝度を正規化した後、正規化された歩行者候補間の類似度を演算し、演算した類似度が所定値以上である他の歩行者候補が２つ以上ある歩行者候補を歩行者ではないと判定する歩行者検知装置が提案されている（例えば、特許文献２参照）。
【先行技術文献】
【特許文献】
【０００５】
【特許文献１】特開２０１０−１３６２０７号公報
【特許文献２】特開２００８−１２３１１３号公報
【発明の概要】
【発明が解決しようとする課題】
【０００６】
しかしながら、特許文献１の技術では、水平方向エッジ及び鉛直方向エッジを低減することで人工構造物を除去し、歩行者検出の精度を向上させようとしているが、例えば歩行者の胴体部分などには垂直エッジも多く含まれていること考慮すると、エッジを低減することにより、検出されるべき対象物が検出されない未検出が発生する可能性がある、という問題がある。
【０００７】
また、特許文献２の技術では、検出された他の歩行者候補間で類似性を判断しているため、歩行者候補が１つしか検出されなかった場合には、誤検出を除去することができない、という問題がある。
【０００８】
本発明は、上記の問題点を解決するためになされたもので、対象物が歩行者及び二輪車である場合に、道路構造物や植物等の誤検出を低減して、対象物の検出精度を向上させることができる対象物検出装置及びプログラムを提供することを目的とする。
【課題を解決するための手段】
【０００９】
上記目的を達成するために、第１の発明の対象物検出装置は、撮像手段により撮像された画像からウインドウ画像を抽出するウインドウ画像抽出手段と、前記ウインドウ画像抽出手段により抽出されたウインドウ画像と、対象物である歩行者または二輪車を識別するために予め生成された識別モデルとに基づいて、前記ウインドウ画像が対象物の候補を示す候補画像であるか否かを識別する識別手段と、前記識別手段により識別された候補画像をテンプレートに設定する設定手段と、前記設定手段により設定されたテンプレートに類似する画像が前記候補画像の周辺領域に所定方向に沿って連続して存在するか否かを判定し、存在すると判定された場合を除外した残りの候補画像を、前記対象物を示す画像として判定する判定手段と、を含んで構成されている。
【００１０】
第１の発明の対象物検出装置によれば、ウインドウ画像抽出手段が、撮像手段により撮像された画像からウインドウ画像を抽出し、識別手段が、ウインドウ画像抽出手段により抽出されたウインドウ画像と、対象物である歩行者または二輪車を識別するために予め生成された識別モデルとに基づいて、ウインドウ画像が対象物の候補を示す候補画像であるか否かを識別する。ここで、二輪車には、自転車及び自動二輪車が含まれる。
【００１１】
そして、設定手段が、識別手段により識別された候補画像をテンプレートに設定し、判定手段が、設定手段により設定されたテンプレートに類似する画像が候補画像の周辺領域に所定方向に沿って連続して存在するか否かを判定し、存在すると判定された場合を除外した残りの候補画像を、対象物を示す画像として判定する。
【００１２】
このように、識別手段により識別された候補画像をテンプレートに設定し、候補画像の周辺領域に所定方向に沿ってテンプレートに類似する画像が連続して存在するか否かを判定することにより、候補画像が道路構造物や植物等の誤検出か否かを判定して、誤検出の候補画像を除外するため、道路構造物や植物等の誤検出を低減して、対象物の検出精度を向上させることができる。
【００１３】
また、第２の発明の対象物検出装置は、撮像手段により撮像された画像からウインドウ画像を抽出するウインドウ画像抽出手段と、前記ウインドウ画像抽出手段により抽出されたウインドウ画像と、対象物である歩行者または二輪車を識別するために予め生成された識別モデルとに基づいて、前記ウインドウ画像が対象物の候補を示す候補画像であるか否かを識別する識別手段と、前記識別手段により識別された候補画像の部分領域の画像をテンプレートに設定する設定手段と、前記設定手段により設定されたテンプレートに類似する画像が前記候補画像内に所定方向に沿って連続して存在するか否かを判定し、存在すると判定された場合を除外した残りの候補画像を、前記対象物を示す画像として判定する判定手段と、を含んで構成されている。
【００１４】
第２の発明の対象物検出装置によれば、設定手段が、識別手段により識別された候補画像の部分領域の画像をテンプレートに設定し、判定手段が、設定手段により設定されたテンプレートに類似する画像が候補画像内に所定方向に沿って連続して存在するか否かを判定し、存在すると判定された場合を除外した残りの候補画像を、対象物を示す画像として判定する。
【００１５】
このように、識別手段により識別された候補画像の一部をテンプレートに設定し、候補画像内に所定方向に沿ってテンプレートに類似する画像が連続して存在するか否かを判定することにより、候補画像が道路構造物や植物等の誤検出か否かを判定して、誤検出の歩行者候補を除外するため、道路構造物や植物等の誤検出を低減して、対象物の検出精度を向上させることができる。
【００１６】
また、前記判定手段は、前記テンプレートに対応する比較領域を前記所定方向に所定量ずつずらしながら順次設定し、前記テンプレートと前記比較領域内の画像の各々との類似度または非類似度に基づいて、候補画像を除外するか否かを判定することができる。
【００１７】
また、前記設定手段は、前記判定手段により前記比較領域内の画像と前記テンプレートとの類似度または非類似度を求める際に、該テンプレートを１つ前に設定された比較領域の画像に更新することができる。これにより、当初テンプレートを設定した位置から離れた位置に設定された比較領域内の画像にテクスチャなどの変化がある場合でも、比較領域内の画像とテンプレートとの類似度の連続性の判定を安定して行うことができる。
【００１８】
また、前記判定手段は、前記テンプレートに設定された画像周辺の異なる複数の方向に対応する領域から抽出される画像の各々と前記テンプレートとの類似度を算出し、該類似度が最も高い画像が抽出された領域の方向を、前記所定方向として決定したり、前記テンプレートに設定された画像のエッジ方向のヒストグラムを作成し、該エッジ方向のヒストグラムに基づいて、前記所定方向を決定したりすることができる。エッジ方向のヒストグラムを作成する場合は、前記エッジ方向のヒストグラムに基づいて、最も頻度の高いエッジ方向を前記所定方向として決定することができる。これにより、比較領域内の画像とテンプレートとの類似度の連続性の判定を行う際に、所定方向が適切に決定されるため、誤検出の判定精度が向上する。
【００１９】
また、前記判定手段は、前記比較領域内の画像及び前記テンプレートのエッジ方向を演算し、最も頻度の高いエッジ方向が一致または近似する場合に、前記比較領域内の画像と前記テンプレートとの類似度が高いと判定することができる。
【００２０】
また、第３の発明の対象物検出プログラムは、コンピュータを、上記対象物検出装置を構成する各手段として機能させるための検出プログラムである。
【００２１】
なお、本発明のプログラムを記憶する記憶媒体は、特に限定されず、ハードディスクであってもよいし、ＲＯＭであってもよい。また、ＣＤ−ＲＯＭやＤＶＤディスク、光磁気ディスクやＩＣカードであってもよい。更にまた、該プログラムを、ネットワークに接続されたサーバ等からダウンロードするようにしてもよい。
【発明の効果】
【００２２】
以上説明したように、本発明の対象物検出装置及びプログラムによれば、識別手段により識別された候補画像をテンプレートに設定し、候補画像の周辺領域に所定方向に沿ってテンプレートに類似する画像が連続して存在するか否かを判定するか、または識別手段により識別された候補画像の一部をテンプレートに設定し、候補画像内に所定方向に沿ってテンプレートに類似する画像が連続して存在するか否かを判定することにより、候補画像が道路構造物や植物等の誤検出か否かを判定して、誤検出の候補画像を除外するため、道路構造物や植物等の誤検出を低減して、対象物の検出精度を向上させることができる、という効果が得られる。
【図面の簡単な説明】
【００２３】
【図１】本実施の形態に係る歩行者検出装置の概略構成を示すブロック図である。
【図２】歩行者識別部での識別結果の一例を示すイメージ図である。
【図３】誤検出の場合の類似パタンの連続性を説明するためのイメージ図である。
【図４】比較領域の設定を説明するためのイメージ図である。
【図５】第１の実施の形態における類似度ＳＳＤの算出結果の一例を示す図である。
【図６】第１の実施の形態に係る歩行者検出装置のコンピュータにおいて実行される歩行者検出処理ルーチンの内容を示すフローチャートである。
【図７】第１の実施の形態に係る歩行者検出装置のコンピュータにおいて実行される類似パタン探索処理ルーチンの内容を示すフローチャートである。
【図８】探索方向による類似度の相違を説明するための図である。
【図９】探索方向の決定を説明するためのイメージ図である。
【図１０】比較領域の設定範囲の拡大を説明するための図である。
【図１１】第２の実施の形態に係る歩行者検出装置のコンピュータにおいて実行される類似パタン探索処理ルーチンの内容を示すフローチャートである。
【図１２】第３の実施の形態におけるテンプレートの設定を説明するためのイメージ図である。
【図１３】第３の実施の形態における類似度ＳＳＤの算出結果の一例を示す図である。
【図１４】第３の実施の形態に係る歩行者検出装置のコンピュータにおいて実行される歩行者検出処理ルーチンの内容を示すフローチャートである。
【図１５】第３の実施の形態に係る歩行者検出装置のコンピュータにおいて実行される類似パタン探索処理ルーチンの内容を示すフローチャートである。
【図１６】テンプレートの更新を説明するためのイメージ図である。
【図１７】テンプレートの更新の有無による類似度の相違を説明するための図である。
【図１８】第４の実施の形態に係る歩行者検出装置のコンピュータにおいて実行される類似パタン探索処理ルーチンの内容を示すフローチャートである。
【図１９】歩行者候補の外側の領域からの比較画像の抽出を説明するためのイメージ図である。
【図２０】第３及び第４の実施の形態におけるテンプレートの設定の他の例を説明するためのイメージ図である。
【図２１】誤検出の判定に累積ＳＳＤを用いた場合の一例を示す図である。
【発明を実施するための形態】
【００２４】
以下、図面を参照して本発明の実施の形態を詳細に説明する。本実施の形態では、車両に搭載され、対象物として歩行者を検出するための歩行者検出装置に本発明を適用した場合について説明する。
【００２５】
図１に示すように、第１の実施の形態に係る歩行者検出装置１０は、車両（図示省略）に取り付けられ、かつ、車両の前方を撮像して画像を生成する撮像装置１２と、撮像装置１２で撮像された撮像画像から歩行者を検出する処理を実行するコンピュータ２０と、コンピュータ２０の検出結果を表示する表示装置１８と、を備えている。
【００２６】
撮像装置１２は、車両の前方を撮像した画像の画像信号を生成する撮像部（図示省略）と、撮像部で生成された画像信号をＡ／Ｄ変換するＡ／Ｄ変換部（図示省略）と、Ａ／Ｄ変換された画像信号を一時的に格納するための画像メモリ（図示省略）と、を備えている。
【００２７】
コンピュータ２０は、ＣＰＵと、ＲＡＭと、後述する歩行者検出処理ルーチンを実行するためのプログラムを記憶したＲＯＭと、を含んで構成されている。また、記憶手段としてのメモリやＨＤＤを含んで構成してもよい。コンピュータ２０は、機能的には、図１に示すように、撮像装置１２で撮像された撮像画像を取得してウインドウ画像を抽出するウインドウ画像抽出部２２と、予め学習により生成された識別モデルを記憶した識別モデル記憶部２４と、ウインドウ画像と識別モデルとに基づいて、ウインドウ画像が歩行者を表す画像の候補（以下、「歩行者候補」という）であるか否かを識別する歩行者識別部２６と、歩行者候補をテンプレートに設定するテンプレート設定部２８と、テンプレートに類似するパタンが、歩行者候補の周辺領域に所定方向に沿って連続して存在するか否かを探索する類似パタン探索部３０と、類似パタン探索部３０での探索結果に基づいて、歩行者候補の誤検出を判定する誤検出判定部３２と、誤検出と判定された歩行者候補を除外した歩行者候補を歩行者の検出結果として、撮像画像に重畳して表示装置１８に表示するように制御する表示制御部３４と、を含んだ構成で表すことができる。
【００２８】
ウインドウ画像抽出部２２は、撮像装置１２で撮像された撮像画像に対して、抽出ウインドウを設定し、抽出ウインドウ内の画像をウインドウ画像として抽出する。抽出ウインドウは、様々なサイズを用意しておき、撮像画像上を走査しながらウインドウ画像を抽出することで、様々な位置及び大きさの対象物に対応する。
【００２９】
識別モデル記憶部２４には、例えば、ＳＶＭ（Ｓｕｐｐｏｒｔ Ｖｅｃｔｏｒ Ｍａｃｈｉｎｅ）等の手法により学習された対象物である歩行者を識別するための識別モデルが記憶されている。
【００３０】
歩行者識別部２６は、識別モデル記憶部２４に記憶された識別モデルと、ウインドウ画像抽出部２２により抽出されたウインドウ画像とに基づいて、例えば、従来既知のＳＶＭ識別器を用いて、ウインドウ画像が歩行者候補であるか否かを識別する。
【００３１】
歩行者識別部２６による識別では、図２に示すように、歩行者以外にも電柱、ガードレール等の道路構造物や植物などが対象物として識別されてしまう場合もある。このような歩行者の画像と歩行者以外の画像とでは、人間の見た目には全く異なる画像パタンを有しているが、ＨＯＧなどの局所的な輪郭情報を記述する特徴量を用いた識別方法においては、これらの誤検出が生じる傾向が高い。歩行者として誤検出され易い電柱やガードレールなどの道路構造物や植物等は、図３に示すように、歩行者候補（ここでは誤検出された電柱等）自身と類似したパタンが歩行者候補自身の周辺に存在している場合が多い。同図（ａ）は上方向、同図（ｂ）は斜め方向、同図（ｃ）は横方向に歩行者候補と類似したパタンが連続している例を示している。
【００３２】
テンプレート設定部２８は、歩行者識別部２６で歩行者候補として識別されたウインドウ画像をテンプレートに設定する。
【００３３】
類似パタン探索部３０は、テンプレート設定部２８で設定されたテンプレートを用いて、歩行者候補の周辺を探索してテンプレートと類似するパタンが所定方向に沿って連続して存在するか否かを探索する。ここで、例えば、識別モデルとの比較で検出された複数の歩行者候補が所定方向に沿って連続して存在しているか否かを判定する場合に比べて、テンプレート設定部２８で設定されたテンプレートを用いた場合の方が、誤検出の場合の特徴である類似パタンの連続性を精度よく判定することができる。
【００３４】
類似パタン探索部３０でのより具体的な探索処理は、歩行者候補の位置から探索方向に所定のずらし量ずらした位置にテンプレートに対応するサイズの比較領域を設定し、比較領域内の画像を比較画像として抽出する。例えば、図４に示すように、歩行者候補（テンプレート）から探索方向である左方向に数画素分（例えば、２画素分）ずらした領域から比較画像を抽出することができる。探索方向は、予め定めた１つの方向でもよいし、上下左右の４方向や、さらに斜め方向を加えた８方向等のように複数の方向としてもよい。
【００３５】
そして、テンプレートと比較画像との類似度を算出する。類似度は、例えば、ＳＳＤ（Sum of Square Difference）を用いることができる。ＳＳＤの場合、値が小さいほど類似度が高いことを示す。図５（ａ）に示すように、歩行者候補が車両の一部及び植物で探索方向を横方向とした場合、並びに歩行者候補が歩行者で探索方向を横方向及び縦方向とした場合について、同図（ｂ）に、比較領域のずらし量及びＳＳＤの値の一例を示す。歩行者候補が誤検出である車両や植物の場合には、比較領域のずらし量に対して低いＳＳＤの値が続いている。すなわち、テンプレートとの類似度が高い画像が探索方向に沿って連続して存在していることを示している。一方、歩行者候補が真の歩行者の場合には、探索方向が縦方向または横方向のいずれであっても、比較的高いＳＳＤの値が続いている。すなわち、歩行者候補の周辺にテンプレートに類似する画像が存在しないことを示している。
【００３６】
誤検出判定部３２は、類似パタン探索部３０の探索結果であるテンプレートと歩行者候補との類似度に基づいて、歩行者候補が誤検出であるか否かを判定する。具体的には、類似パタン探索部３０の探索結果である比較領域のずらし量の所定区間内におけるＳＳＤの値を参照して、所定区間内において予め定めた閾値以下のＳＳＤの値が続いているか否かを判定する。所定区間内において予め定めた閾値以下のＳＳＤの値が続いている場合には、歩行者候補の周辺にテンプレートと類似するパタンが所定方向に沿って連続して存在する、すなわち誤検出であると判定する。
【００３７】
なお、類似パタン探索部３０及び誤検出判定部３２が、本発明の判定手段の一例を示す構成である。
【００３８】
次に、図６を参照して、第１の実施の形態の歩行者検出装置１０のコンピュータ２０で実行される歩行者検出処理ルーチンについて説明する。
【００３９】
ステップ１００で、撮像装置１２で撮像された撮像画像を取得し、次に、ステップ１０２で、上記ステップ１００で取得した撮像画像に対して、抽出ウインドウを設定し、抽出ウインドウ内の画像をウインドウ画像として抽出する。
【００４０】
次に、ステップ１０４で、識別モデル記憶部２４に記憶された識別モデルと、上記ステップ１０２で抽出したウインドウ画像とに基づいて、例えば、従来既知のＳＶＭ識別器を用いて、ウインドウ画像が歩行者候補であるか否かを識別する。歩行者候補の場合には、ステップ１０６へ移行し、歩行者候補ではない場合には、ステップ１１４へ移行する。
【００４１】
ステップ１０６では、上記ステップ１０４で歩行者候補であると識別されたウインドウ画像をテンプレートに設定する。次に、ステップ１０８で、類似パタン探索処理を実行する。
【００４２】
ここで、図７を参照して、類似パタン探索処理ルーチンについて説明する。
【００４３】
ステップ１０８０で、歩行者候補の位置から探索方向に所定のずらし量ずらした位置にテンプレートに対応するサイズの比較領域を設定し、比較領域内の画像を比較画像として抽出する。次に、ステップ１０８２で、テンプレートと比較画像との類似度ＳＳＤを算出する。
【００４４】
次に、ステップ１０８４で、上記ステップ１０８２で算出したＳＳＤが予め定めた閾値以下か否かを判定する。ＳＳＤが閾値以下の場合には、ステップ１０８６へ移行し、ＳＳｄが閾値を超えている場合には、ステップ１０９０へ移行する。
【００４５】
ステップ１０８６では、現在の比較領域のずらし量が所定区間を超えたか否かを判定する。ずらし量が所定区間を超えていない場合には、ステップ１０８０へ戻って、さらに探索方向に沿って歩行者候補の位置から離れる方向に所定のずらし量ずらした位置に比較領域を設定して処理を繰り返す。ずらし量が所定区間を超えた場合には、所定区間内において予め定めた閾値以下のＳＳＤの値が続いていると判定して、ステップ１０８８へ移行し、歩行者候補が非歩行者であるとの探索結果を記憶する。一方、ステップ１０９０へ移行した場合には、歩行者候補が真の歩行者であるとの探索結果を記憶して、リターンする。
【００４６】
なお、所定方向として複数の方向を探索する場合には、例えば、右方向について上記処理を実行し、上方向について上記処理を実行するというように、設定した探索方向毎に上記処理を実行し、少なくとも１つ以上の探索方向で類似パタンが連続して存在する場合に、誤検出であると判定するようにするとよい。
【００４７】
歩行者検出処理（図６）に戻ってステップ１１０へ移行し、類似パタン探索処理の探索結果に基づいて、上記ステップ１０４で識別された歩行者候補が歩行者か否かを判定する。歩行者候補が歩行者の場合には、ステップ１１２へ移行して、歩行者候補であるウインドウ画像を抽出した際の抽出ウインドウの位置及びサイズを、歩行者の検出結果として所定の記憶領域に登録して、ステップ１１４へ移行する。上記ステップ１１０において歩行者候補が歩行者ではないと判定された場合には、ステップ１１２をスキップしてステップ１１４へ移行する。
【００４８】
ステップ１１４では、撮像画像全体からウインドウ画像を抽出する処理が終了したか否か、及び全てのサイズの抽出ウインドウを用いてウインドウ画像を抽出する処理が終了したか否かを判定する。終了していない場合には、ステップ１１６へ移行して、抽出ウインドウを１ステップ（所定画素分）移動させるか、または抽出ウインドウのサイズを変更してステップ１０２へ戻り、次のウインドウ画像を抽出して処理を繰り返す。
【００４９】
上記ステップ１１４において、撮像画像全体について、及び全てのサイズの抽出ウインドウについて処理が終了したと判定された場合には、ステップ１１８へ移行して、上記ステップ１１２で所定の記憶領域に登録された検出結果に基づいて、例えば、撮像画像の歩行者を表す画像であると識別された部分を矩形枠で囲むなどして、表示装置１８に表示する。
【００５０】
以上説明したように、第１の実施の形態の歩行者検出装置によれば、歩行者候補をテンプレートに設定し、歩行者候補の周辺領域に所定方向に沿ってテンプレートに類似する画像が連続して存在するか否かを判定することにより、歩行者候補が道路構造物や植物等の誤検出か否かを判定して、誤検出の歩行者候補を除外するため、道路構造物や植物等の誤検出を低減して、歩行者の検出精度を向上させることができる。
【００５１】
次に、第２の実施の形態について説明する。なお、第１の実施の形態の歩行者検出装置１０と同様の構成については、同一の符号を付して詳細な説明は省略する。
【００５２】
図１に示すように、第２の実施の形態の歩行者検出装置２１０は、撮像装置１２と、コンピュータ２２０と、表示装置１８と、を備えている。
【００５３】
コンピュータ２２０は、機能的には、図１に示すように、ウインドウ画像抽出部２２と、識別モデル記憶部２４と、歩行者識別部２６と、テンプレート設定部２８と、類似パタン探索部２３０と、誤検出判定部３２と、表示制御部３４と、を含んだ構成で表すことができる。
【００５４】
類似パタン探索部２３０は、第１の実施の形態の歩行者検出装置１０における類似パタン探索部３０での処理の前に、類似パタンの探索方向を決定する。図８（ａ）に示すように、電柱の一部が誤検出された場合には、同図（ｂ）に示すように、探索方向を右方向とした場合には高いＳＳＤの値を示し、探索方向を下方向とした場合には低いＳＳＤの値を示す。この場合、この歩行者候補を誤検出として判定するためには、探索方向を下方向とすることが適している。このように、歩行者候補によって適切な探索方向を決定することが重要である。
【００５５】
そこで、類似パタン探索部２３０は、図９に示すように、歩行者候補の周辺８方向から方向決定用画像を抽出する。方向決定用画像は、比較画像と同様の方法により抽出することができる。抽出した方向決定用画像の各々とテンプレートとの類似度を算出する。ここで算出する類似度は、テンプレートと比較画像との類似度と同様に、ＳＳＤやＳＡＤ等を用いることができ、最も類似度が高い方向決定用画像が抽出された方向を探索方向として決定することができる。また、テンプレート及び方向決定用画像の各々のエッジ方向の類似度を用いてもよい。具体的には、テンプレート及び方向決定用画像の各々について、エッジ方向のヒストグラムを作成し、最頻値のエッジ方向が一致または近似する方向決定用画像が抽出された方向を探索方向として決定することができる。
【００５６】
また、類似パタン探索部２３０は、図１０に示すように、決定した探索方向に所定のずらし量ずらした位置を中心に、探索方向と交差する方向の一定範囲を探索範囲として設定し、探索範囲内から複数の比較画像を抽出する。同一の探索範囲内から抽出された比較画像のうち、テンプレートとの類似度が最も高いものを、そのずらし量におけるテンプレートと比較画像との類似度として用いる。このように比較領域の設定範囲を拡大することで、探索方向のずれ、撮像画像のずれ、対象物自体の配列のずれ等を吸収する。
【００５７】
次に、第２の実施の形態の歩行者検出装置２１０のコンピュータ２２０で実行される歩行者検出処理ルーチンについて説明する。第２の実施の形態の歩行者検出処理は、第１の実施の形態の歩行者検出処理と類似パタン探索処理の内容が異なるだけであるので、図１１を参照して、第２の実施の形態の類似パタン探索処理ルーチンの内容について説明する。なお、第１の実施の形態の類似パタン探索処理と同一の処理については、同一の符号を付して詳細な説明を省略する。
【００５８】
ステップ１２８０で、歩行者候補の周辺８方向から８つの方向決定用画像を抽出する。次に、ステップ１２８２で、テンプレートと、上記ステップ１２８０で抽出した方向決定用画像の各々との類似度を算出し、テンプレートとの類似度が最も高い方向決定用画像が抽出された方向を探索方向として決定する。
【００５９】
次に、ステップ１２８４で、歩行者候補の位置から上記ステップ１２８２で決定した探索方向に所定のずらし量ずらした位置を中心に、探索方向と交差する方向の一定範囲を探索範囲として設定し、探索範囲内から複数の比較画像を抽出する。
【００６０】
次に、ステップ１２８６で、上記ステップ１２８４で、同一の探索範囲内から抽出された比較画像の各々とテンプレートとの類似度ＳＳＤを算出し、最小値（最も類似度が高い）のＳＳＤを選択する。
【００６１】
以下、第１の実施の形態と同様に、ステップ１０８４〜１０９０を実行して、歩行者候補が非歩行者か真の歩行者かを判定して、リターンする。
【００６２】
以上説明したように、第２の実施の形態の歩行者検出装置によれば、類似パタンの探索方向を適切に決定して、類似パタンが連続して存在するか否かを判定するため、誤検出の判定精度が向上する。
【００６３】
なお、第２の実施の形態では、方向決定用画像を歩行者候補の周辺８方向から抽出する場合について説明したが、上下左右の４方向から抽出したり、より細かく区分した方向から抽出したりしてもよい。また、方向決定用画像を抽出することなく、歩行者候補の特徴を利用して探索方向を決定するようにしてもよい。具体的には、テンプレートに設定された歩行者候補画像のエッジ方向のヒストグラムを作成し、そのエッジ方向のヒストグラムに基づいて、例えば、最頻値のエッジ方向を探索方向として決定することができる。
【００６４】
また、第１及び第２の実施の形態において、撮像画像の奥行き方向を考慮して、設定する比較領域のサイズを変更するようにしてもよい。具体的には、まず、撮像画像から消失点を検出する。そして、探索方向が消失点に向かう方向の場合において、歩行者候補より消失点側に比較領域を設定する場合には、テンプレートより小さいサイズの比較領域を設定し、歩行者候補より消失点から離れる側に比較領域を設定する場合には、テンプレートより大きいサイズの比較領域を設定する。これにより、撮像画像上でのサイズが遠近により異なる場合も、精度よく類似パタンの連続性を判定することができる。
【００６５】
次に、第３の実施の形態について説明する。なお、第１の実施の形態の歩行者検出装置１０と同様の構成については、同一の符号を付して詳細な説明は省略する。
【００６６】
図１に示すように、第３の実施の形態の歩行者検出装置３１０は、撮像装置１２と、コンピュータ３２０と、表示装置１８と、を備えている。
【００６７】
コンピュータ３２０は、機能的には、図１に示すように、ウインドウ画像抽出部２２と、識別モデル記憶部２４と、歩行者識別部２６と、テンプレート設定部３２８と、類似パタン探索部３３０と、誤検出判定部３２と、表示制御部３４と、を含んだ構成で表すことができる。
【００６８】
歩行者識別部２６による識別では、上述のように、歩行者以外にも電柱、ガードレール等の道路構造物や植物などが対象物として識別されてしまう場合もある。図２に示すように、歩行者として誤検出され易い電柱やガードレールなどの道路構造物や植物等は、歩行者候補の一部の画像が、歩行者候補内に連続して存在している場合が多い。第３の実施の形態では、この性質を利用するものである。
【００６９】
テンプレート設定部３２８は、歩行者候補として識別されたウインドウ画像の一部をテンプレートに設定する。例えば、図１２に示すように、歩行者候補の一辺に対応する一定幅の領域をテンプレートに設定することができる。同図（ａ）は上辺、同図（ｂ）は下辺、同図（ｃ）は左辺、同図（ｄ）は右辺の一定幅の領域を設定した例を示している。テンプレートは、いずれか１つのみ設定してもよいし、複数設定してもよい。
【００７０】
類似パタン探索部３３０は、テンプレート設定部３２８で設定されたテンプレートを用いて、歩行者候補内を探索してテンプレートと類似するパタンが探索方向に沿って連続して存在するか否かを探索する。具体的には、テンプレートを設定した位置から所定方向に所定のずらし量ずらした位置にテンプレートに対応するサイズの比較領域を設定し、比較領域内の画像を比較画像として抽出する。探索方向は、テンプレートが設定された辺から対向する辺へ向かう方向とすることができる。図１２（ａ）の例では、下方向を探索方向とすることができる。
【００７１】
そして、第１の実施の形態と同様に、テンプレートと比較画像との類似度を算出する。図１３（ａ）に示すように、歩行者候補が電柱でテンプレートを下辺に設定した場合、及び歩行者候補が植物でテンプレートを上辺に設定した場合、並びに歩行者候補が歩行者でテンプレートを上辺に設定した場合及び左辺に設定した場合について、同図（ｂ）に、比較領域のずらし量及びＳＳＤの値の一例を示す。歩行者候補が誤検出である車両や植物の場合には、比較領域のずらし量に対して低いＳＳＤの値が続いている。すなわち、歩行者候補内において、テンプレートとの類似度が高い画像が探索方向に沿って連続していることを示している。一方、歩行者候補が真の歩行者の場合には、テンプレートを左辺に設定した場合及び上辺に設定した場合、すなわち探索方向が縦方向または横方向のいずれであっても、比較的高いＳＳＤの値が続いている。すなわち、歩行者候補内において、テンプレートに類似する画像が連続していないことを示している。
【００７２】
次に、図１４を参照して、第３の実施の形態の歩行者検出装置３１０のコンピュータ３２０で実行される歩行者検出処理ルーチンについて説明する。なお、第１の実施の形態の歩行者検出処理と同一の処理については、同一の符号を付して詳細な説明を省略する。
【００７３】
ステップ１００〜１０４を経て、ウインドウ画像が歩行者候補であると識別されると、ステップ２０６へ移行し、歩行者候補であると識別されたウインドウ画像の一辺に対応する一定幅の領域をテンプレートに設定する。次に、ステップ２０８で、類似パタン探索処理を実行する。
【００７４】
ここで、図１５を参照して、類似パタン探索処理ルーチンについて説明する。なお、第１の実施の形態の類似パタン探索処理と同一の処理については、同一の符号を付して詳細な説明を省略する。
【００７５】
ステップ２０８０で、テンプレートを設定した位置から探索方向に所定のずらし量ずらした位置にテンプレートに対応するサイズの比較領域を設定し、比較領域内の画像を比較画像として抽出する。次に、ステップ１０８２で、テンプレートと比較画像との類似度ＳＳＤを算出し、以下、第１の実施の形態と同様に、ステップ１０８４〜１０９０を実行して、歩行者候補が非歩行者か真の歩行者かを判定して、リターンする。
【００７６】
なお、テンプレートを複数設定した場合には、例えば、上辺のテンプレートを用いて上記処理を実行し、左辺のテンプレートを用いて上記処理を実行するというように、設定したテンプレート毎に上記処理を実行し、少なくとも１つ以上のテンプレートで類似パタンが連続して存在する場合に、誤検出であると判定するようにするとよい。
【００７７】
以上説明したように、第３の実施の形態の歩行者検出装置によれば、歩行者候補の一部をテンプレートに設定し、歩行者候補内に所定方向に沿ってテンプレートに類似する画像が連続して存在するか否かを判定することにより、歩行者候補が道路構造物や植物等の誤検出か否かを判定して、誤検出の歩行者候補を除外するため、道路構造物や植物等の誤検出を低減して、歩行者の検出精度を向上させることができる。
【００７８】
次に、第４の実施の形態について説明する。なお、第３の実施の形態の歩行者検出装置３１０と同様の構成については、同一の符号を付して詳細な説明は省略する。
【００７９】
図１に示すように、第４の実施の形態の歩行者検出装置４１０は、撮像装置１２と、コンピュータ４２０と、表示装置１８と、を備えている。
【００８０】
コンピュータ４２０は、機能的には、図１に示すように、ウインドウ画像抽出部２２と、識別モデル記憶部２４と、歩行者識別部２６と、テンプレート設定部４２８と、類似パタン探索部３３０と、誤検出判定部３２と、表示制御部３４と、を含んだ構成で表すことができる。
【００８１】
テンプレート設定部４２８は、類似パタン探索部３３０で比較領域を設定する毎に、順次テンプレートを更新する。本実施の形態で誤検出として判定したい電柱や植物等の連続した類似パタンを有するものの中には、内部のテクスチャや周辺パタンに変化があるものがある。例えば、図１６に示すように、歩行者候補の上辺に設定したテンプレートを用いて、歩行者候補内のパタンの連続性を評価すると、テクスチャが変化する領域で類似度が低下する場合があるため、これを解消するためにテンプレートを逐次更新する。
【００８２】
具体的には、図１６に示すように、まず、第３の実施の形態と同様に初期テンプレートを設定し、比較領域を設定して比較画像（１）を抽出し、初期テンプレートと比較画像（１）の類似度を算出する。そして、現在の比較画像（１）をテンプレートに設定すると共に、次の比較領域を設定して比較画像（２）を抽出し、テンプレート（比較画像（１））と比較画像（２）との類似度を算出する。このテンプレートの更新を、歩行者候補内で順次繰り返しながら類似度を算出する。
【００８３】
図１７（ａ）に示すように、歩行者候補が歩行者でテンプレートの更新ありの場合及びなしの場合、並びに歩行者候補が電柱でテンプレートの更新ありの場合及びなしの場合について、同図（ｂ）に、比較領域のずらし量及びＳＳＤの値の一例を示す。テンプレートの更新ありの方がテンプレートの更新なしの場合に比べて、類似度が高い状態を維持している。
【００８４】
次に、第４の実施の形態の歩行者検出装置４１０のコンピュータ４２０で実行される歩行者検出処理ルーチンについて説明する。第４の実施の形態の歩行者検出処理は、第３の実施の形態の歩行者検出処理と類似パタン探索処理の内容が異なるだけであるので、図１８を参照して、第４の実施の形態の類似パタン探索処理ルーチンの内容について説明する。なお、第３の実施の形態の類似パタン探索処理と同一の処理については、同一の符号を付して詳細な説明を省略する。
【００８５】
ステップ２０８０で、１つ目の比較画像を抽出し、次に、ステップ１０８２で、初期テンプレートと１つ目の比較画像との類似度ＳＳＤを算出する。
【００８６】
次に、ステップ１０８４を経て、次のステップ１０８６で、比較領域のずらし量が所定区間を超えていないと判定された場合には、ステップ４０８０へ移行して、上記ステップ２０８０で抽出された現在の比較画像をテンプレートに設定して、ステップ２０８０へ戻る。ステップ２０８０では、次の比較領域を設定して比較画像を抽出し、次のステップ１０８２で、抽出した比較画像と上記ステップ４０８０で設定したテンプレート、すなわち１つ前の比較画像との類似度を算出する。
【００８７】
以下、第３の実施の形態と同様に、ステップ１０８４〜１０９０を実行して、歩行者候補が非歩行者か真の歩行者かを判定して、リターンする。
【００８８】
以上説明したように、第４の実施の形態の歩行者検出装置によれば、テンプレートを更新することで、初期テンプレートを設定した位置から離れた位置に設定された比較領域内の画像にテクスチャなどの変化がある場合でも、類似パタンの連続性の判定を安定して行うことができる。
【００８９】
なお、テンプレートの更新は、上記第１及び第２の実施の形態のように、歩行者候補の全体をテンプレートに設定する場合にも適用することができる。
【００９０】
また、第３及び第４の実施の形態では、テンプレートと歩行者候補内から抽出した比較画像との類似度を算出する場合について説明したが、図１９に示すように、歩行者候補の外側の領域からも比較画像を抽出するようにしてもよい。これにより、誤検出か否かの判定の確信度を高めることができる。また、歩行者候補の外側の領域からも比較画像を抽出する他の例として、第２の実施の形態で説明したように、探索方向に所定のずらし量ずらした位置を中心に、探索方向と交差する方向の一定範囲を探索範囲として設定し、探索範囲内から複数の比較画像を抽出してもよい。
【００９１】
また、第３及び第４の実施の形態では、歩行者候補の上辺や左辺等の一定幅の領域をテンプレートとして設定する場合について説明したが、図２０に示すように、歩行者候補の中央部の一定幅の領域をテンプレートに設定してもよい。図２０のように、歩行者候補の中央部に短辺に平行な一定幅のテンプレートを設定した場合には、上方向及び下方向を探索方向とすることができる。また、歩行者候補の中央部に長辺に平行な一定幅のテンプレートを設定した場合には、左方向及び右方向を探索方向とすることができる。
【００９２】
また、上記実施の形態では、類似度としてＳＳＤを用いる場合について説明したが、ＳＡＤ（Sum of Absolute Difference）やＮＣＣ（Normalized Cross-Correlation）等を用いてもよいし、ＨＯＧなどの特徴量の２画像間の距離を類似度として用いてもよい。ＮＣＣの場合は、値が大きいほど類似度が高いことを示すため、比較領域のずらし量の所定区間において、予め定めた閾値以上のＮＣＣの値が続いているか否かを判定するようにするとよい。また、上記実施の形態では、所定区間内で１つでもＳＳＤが閾値を超えた場合には歩行者候補を歩行者として判定する場合について説明したが、ずらし量の所定区間内のＳＳＤやＳＡＤの値の９０％以上が閾値以下の場合（ＮＣＣの場合は９０％以上が閾値以上の場合）は誤検出であると判定するなど、所定区間内の類似度の値を総合的に判定するようにしてもよい。
【００９３】
また、類似度の累積値を判定に用いてもよい。例えば、ずらし量毎にＳＳＤの値を累積し、累積ＳＳＤの値が所定の閾値を超えた段階で探索を終了して、その歩行者候補を誤検出であると判定するようにしてもよい。類似度としてＮＣＣを用いる場合でも、（１−ＮＣＣ）の値を累積することで、同様に判定することができる。図２１（ａ）に、図５の場合の類似度を累積ＳＳＤで表した場合の一例を、同図（ｂ）に、図１２の場合の類似度を累積ＳＳＤで表した場合の一例を示す。
【００９４】
また、上記実施の形態では、ＳＶＭ識別器を用いて、歩行者候補の識別処理を行う場合を例に説明したが、これに限定されるものではなく、従来既知の他の識別手法（例えば、最近傍識別、線形判別など）を用いてもよい。
【００９５】
また、上実施の形態では、抽出ウインドウを撮像画像の全範囲に対して走査してウインドウ画像を抽出する場合について説明したが、例えば路面領域を検出する等の事前処理を行って、抽出ウインドウを走査する範囲を制限するようにしてもよい。
【００９６】
また、上記実施の形態では、対象物として歩行者を検出する歩行者検出装置に、本発明を適用した場合を例に説明したが、検出対象物は、自転車や自動二輪車などの二輪車でもよい。
【００９７】
なお、本願明細書中において、プログラムが予めインストールされている実施形態として説明したが、当該プログラムをＣＤＲＯＭ等の記憶媒体に格納して提供することも可能である。また、各機能を実現するハードウエアにより構成してもよい。
【符号の説明】
【００９８】
１０、２１０、３１０、４１０ 歩行者検出装置
１２ 撮像装置
１８ 表示装置
２０、２２０、３２０、４２０ コンピュータ
２２ ウインドウ画像抽出部
２４ 識別モデル記憶部
２６ 歩行者識別部
２８、３２８、４２８ テンプレート設定部
３０、２３０、３３０ 類似パタン探索部
３２ 誤検出判定部
３４ 表示制御部
【技術分野】
【０００１】
本発明は、対象物検出装置及びプログラムに係り、特に、撮像された画像から対象物を検出する対象物検出装置及びプログラムに関する。
【背景技術】
【０００２】
近年、車載カメラで撮像した車両周辺の映像を画像処理し、特定の対象物を検出してドライバに検出結果を提示する対象物検出装置を搭載する車両が増加している。例えば、このような対象物検出装置では、撮像された画像内の部分画像と予め生成された対象物の識別モデル等とを比較することにより対象物を検出しているが、対象物が歩行者及び二輪車の場合には、対象物ではない電柱などの道路構造物や路傍の植え込みなどの植物などが対象物として検出されてしまう誤検出が生じる場合がある。特に、局所的な輪郭情報を記述した特徴量を用いた手法（例えば、ＨＯＧ：Histograms of Oriented Gradients を用いた手法）による対象物検出では、局所的な形状の類似性により、この誤検出が生じる傾向が高い。
【０００３】
そこで、車両の進行方向の所定領域を赤外線画像として撮像し、赤外線画像のコントラストを高め、エッジが強調された後の画像に対して、水平方向エッジ及び鉛直方向エッジを低減する処理を行った画像に基づいて、歩行者を表す像を検出する歩行者検出表示システムが提案されている（例えば、特許文献１参照）。
【０００４】
また、近赤外線画像から歩行者候補領域を抽出し、歩行者候補のサイズ及び輝度を正規化した後、正規化された歩行者候補間の類似度を演算し、演算した類似度が所定値以上である他の歩行者候補が２つ以上ある歩行者候補を歩行者ではないと判定する歩行者検知装置が提案されている（例えば、特許文献２参照）。
【先行技術文献】
【特許文献】
【０００５】
【特許文献１】特開２０１０−１３６２０７号公報
【特許文献２】特開２００８−１２３１１３号公報
【発明の概要】
【発明が解決しようとする課題】
【０００６】
しかしながら、特許文献１の技術では、水平方向エッジ及び鉛直方向エッジを低減することで人工構造物を除去し、歩行者検出の精度を向上させようとしているが、例えば歩行者の胴体部分などには垂直エッジも多く含まれていること考慮すると、エッジを低減することにより、検出されるべき対象物が検出されない未検出が発生する可能性がある、という問題がある。
【０００７】
また、特許文献２の技術では、検出された他の歩行者候補間で類似性を判断しているため、歩行者候補が１つしか検出されなかった場合には、誤検出を除去することができない、という問題がある。
【０００８】
本発明は、上記の問題点を解決するためになされたもので、対象物が歩行者及び二輪車である場合に、道路構造物や植物等の誤検出を低減して、対象物の検出精度を向上させることができる対象物検出装置及びプログラムを提供することを目的とする。
【課題を解決するための手段】
【０００９】
上記目的を達成するために、第１の発明の対象物検出装置は、撮像手段により撮像された画像からウインドウ画像を抽出するウインドウ画像抽出手段と、前記ウインドウ画像抽出手段により抽出されたウインドウ画像と、対象物である歩行者または二輪車を識別するために予め生成された識別モデルとに基づいて、前記ウインドウ画像が対象物の候補を示す候補画像であるか否かを識別する識別手段と、前記識別手段により識別された候補画像をテンプレートに設定する設定手段と、前記設定手段により設定されたテンプレートに類似する画像が前記候補画像の周辺領域に所定方向に沿って連続して存在するか否かを判定し、存在すると判定された場合を除外した残りの候補画像を、前記対象物を示す画像として判定する判定手段と、を含んで構成されている。
【００１０】
第１の発明の対象物検出装置によれば、ウインドウ画像抽出手段が、撮像手段により撮像された画像からウインドウ画像を抽出し、識別手段が、ウインドウ画像抽出手段により抽出されたウインドウ画像と、対象物である歩行者または二輪車を識別するために予め生成された識別モデルとに基づいて、ウインドウ画像が対象物の候補を示す候補画像であるか否かを識別する。ここで、二輪車には、自転車及び自動二輪車が含まれる。
【００１１】
そして、設定手段が、識別手段により識別された候補画像をテンプレートに設定し、判定手段が、設定手段により設定されたテンプレートに類似する画像が候補画像の周辺領域に所定方向に沿って連続して存在するか否かを判定し、存在すると判定された場合を除外した残りの候補画像を、対象物を示す画像として判定する。
【００１２】
このように、識別手段により識別された候補画像をテンプレートに設定し、候補画像の周辺領域に所定方向に沿ってテンプレートに類似する画像が連続して存在するか否かを判定することにより、候補画像が道路構造物や植物等の誤検出か否かを判定して、誤検出の候補画像を除外するため、道路構造物や植物等の誤検出を低減して、対象物の検出精度を向上させることができる。
【００１３】
また、第２の発明の対象物検出装置は、撮像手段により撮像された画像からウインドウ画像を抽出するウインドウ画像抽出手段と、前記ウインドウ画像抽出手段により抽出されたウインドウ画像と、対象物である歩行者または二輪車を識別するために予め生成された識別モデルとに基づいて、前記ウインドウ画像が対象物の候補を示す候補画像であるか否かを識別する識別手段と、前記識別手段により識別された候補画像の部分領域の画像をテンプレートに設定する設定手段と、前記設定手段により設定されたテンプレートに類似する画像が前記候補画像内に所定方向に沿って連続して存在するか否かを判定し、存在すると判定された場合を除外した残りの候補画像を、前記対象物を示す画像として判定する判定手段と、を含んで構成されている。
【００１４】
第２の発明の対象物検出装置によれば、設定手段が、識別手段により識別された候補画像の部分領域の画像をテンプレートに設定し、判定手段が、設定手段により設定されたテンプレートに類似する画像が候補画像内に所定方向に沿って連続して存在するか否かを判定し、存在すると判定された場合を除外した残りの候補画像を、対象物を示す画像として判定する。
【００１５】
このように、識別手段により識別された候補画像の一部をテンプレートに設定し、候補画像内に所定方向に沿ってテンプレートに類似する画像が連続して存在するか否かを判定することにより、候補画像が道路構造物や植物等の誤検出か否かを判定して、誤検出の歩行者候補を除外するため、道路構造物や植物等の誤検出を低減して、対象物の検出精度を向上させることができる。
【００１６】
また、前記判定手段は、前記テンプレートに対応する比較領域を前記所定方向に所定量ずつずらしながら順次設定し、前記テンプレートと前記比較領域内の画像の各々との類似度または非類似度に基づいて、候補画像を除外するか否かを判定することができる。
【００１７】
また、前記設定手段は、前記判定手段により前記比較領域内の画像と前記テンプレートとの類似度または非類似度を求める際に、該テンプレートを１つ前に設定された比較領域の画像に更新することができる。これにより、当初テンプレートを設定した位置から離れた位置に設定された比較領域内の画像にテクスチャなどの変化がある場合でも、比較領域内の画像とテンプレートとの類似度の連続性の判定を安定して行うことができる。
【００１８】
また、前記判定手段は、前記テンプレートに設定された画像周辺の異なる複数の方向に対応する領域から抽出される画像の各々と前記テンプレートとの類似度を算出し、該類似度が最も高い画像が抽出された領域の方向を、前記所定方向として決定したり、前記テンプレートに設定された画像のエッジ方向のヒストグラムを作成し、該エッジ方向のヒストグラムに基づいて、前記所定方向を決定したりすることができる。エッジ方向のヒストグラムを作成する場合は、前記エッジ方向のヒストグラムに基づいて、最も頻度の高いエッジ方向を前記所定方向として決定することができる。これにより、比較領域内の画像とテンプレートとの類似度の連続性の判定を行う際に、所定方向が適切に決定されるため、誤検出の判定精度が向上する。
【００１９】
また、前記判定手段は、前記比較領域内の画像及び前記テンプレートのエッジ方向を演算し、最も頻度の高いエッジ方向が一致または近似する場合に、前記比較領域内の画像と前記テンプレートとの類似度が高いと判定することができる。
【００２０】
また、第３の発明の対象物検出プログラムは、コンピュータを、上記対象物検出装置を構成する各手段として機能させるための検出プログラムである。
【００２１】
なお、本発明のプログラムを記憶する記憶媒体は、特に限定されず、ハードディスクであってもよいし、ＲＯＭであってもよい。また、ＣＤ−ＲＯＭやＤＶＤディスク、光磁気ディスクやＩＣカードであってもよい。更にまた、該プログラムを、ネットワークに接続されたサーバ等からダウンロードするようにしてもよい。
【発明の効果】
【００２２】
以上説明したように、本発明の対象物検出装置及びプログラムによれば、識別手段により識別された候補画像をテンプレートに設定し、候補画像の周辺領域に所定方向に沿ってテンプレートに類似する画像が連続して存在するか否かを判定するか、または識別手段により識別された候補画像の一部をテンプレートに設定し、候補画像内に所定方向に沿ってテンプレートに類似する画像が連続して存在するか否かを判定することにより、候補画像が道路構造物や植物等の誤検出か否かを判定して、誤検出の候補画像を除外するため、道路構造物や植物等の誤検出を低減して、対象物の検出精度を向上させることができる、という効果が得られる。
【図面の簡単な説明】
【００２３】
【図１】本実施の形態に係る歩行者検出装置の概略構成を示すブロック図である。
【図２】歩行者識別部での識別結果の一例を示すイメージ図である。
【図３】誤検出の場合の類似パタンの連続性を説明するためのイメージ図である。
【図４】比較領域の設定を説明するためのイメージ図である。
【図５】第１の実施の形態における類似度ＳＳＤの算出結果の一例を示す図である。
【図６】第１の実施の形態に係る歩行者検出装置のコンピュータにおいて実行される歩行者検出処理ルーチンの内容を示すフローチャートである。
【図７】第１の実施の形態に係る歩行者検出装置のコンピュータにおいて実行される類似パタン探索処理ルーチンの内容を示すフローチャートである。
【図８】探索方向による類似度の相違を説明するための図である。
【図９】探索方向の決定を説明するためのイメージ図である。
【図１０】比較領域の設定範囲の拡大を説明するための図である。
【図１１】第２の実施の形態に係る歩行者検出装置のコンピュータにおいて実行される類似パタン探索処理ルーチンの内容を示すフローチャートである。
【図１２】第３の実施の形態におけるテンプレートの設定を説明するためのイメージ図である。
【図１３】第３の実施の形態における類似度ＳＳＤの算出結果の一例を示す図である。
【図１４】第３の実施の形態に係る歩行者検出装置のコンピュータにおいて実行される歩行者検出処理ルーチンの内容を示すフローチャートである。
【図１５】第３の実施の形態に係る歩行者検出装置のコンピュータにおいて実行される類似パタン探索処理ルーチンの内容を示すフローチャートである。
【図１６】テンプレートの更新を説明するためのイメージ図である。
【図１７】テンプレートの更新の有無による類似度の相違を説明するための図である。
【図１８】第４の実施の形態に係る歩行者検出装置のコンピュータにおいて実行される類似パタン探索処理ルーチンの内容を示すフローチャートである。
【図１９】歩行者候補の外側の領域からの比較画像の抽出を説明するためのイメージ図である。
【図２０】第３及び第４の実施の形態におけるテンプレートの設定の他の例を説明するためのイメージ図である。
【図２１】誤検出の判定に累積ＳＳＤを用いた場合の一例を示す図である。
【発明を実施するための形態】
【００２４】
以下、図面を参照して本発明の実施の形態を詳細に説明する。本実施の形態では、車両に搭載され、対象物として歩行者を検出するための歩行者検出装置に本発明を適用した場合について説明する。
【００２５】
図１に示すように、第１の実施の形態に係る歩行者検出装置１０は、車両（図示省略）に取り付けられ、かつ、車両の前方を撮像して画像を生成する撮像装置１２と、撮像装置１２で撮像された撮像画像から歩行者を検出する処理を実行するコンピュータ２０と、コンピュータ２０の検出結果を表示する表示装置１８と、を備えている。
【００２６】
撮像装置１２は、車両の前方を撮像した画像の画像信号を生成する撮像部（図示省略）と、撮像部で生成された画像信号をＡ／Ｄ変換するＡ／Ｄ変換部（図示省略）と、Ａ／Ｄ変換された画像信号を一時的に格納するための画像メモリ（図示省略）と、を備えている。
【００２７】
コンピュータ２０は、ＣＰＵと、ＲＡＭと、後述する歩行者検出処理ルーチンを実行するためのプログラムを記憶したＲＯＭと、を含んで構成されている。また、記憶手段としてのメモリやＨＤＤを含んで構成してもよい。コンピュータ２０は、機能的には、図１に示すように、撮像装置１２で撮像された撮像画像を取得してウインドウ画像を抽出するウインドウ画像抽出部２２と、予め学習により生成された識別モデルを記憶した識別モデル記憶部２４と、ウインドウ画像と識別モデルとに基づいて、ウインドウ画像が歩行者を表す画像の候補（以下、「歩行者候補」という）であるか否かを識別する歩行者識別部２６と、歩行者候補をテンプレートに設定するテンプレート設定部２８と、テンプレートに類似するパタンが、歩行者候補の周辺領域に所定方向に沿って連続して存在するか否かを探索する類似パタン探索部３０と、類似パタン探索部３０での探索結果に基づいて、歩行者候補の誤検出を判定する誤検出判定部３２と、誤検出と判定された歩行者候補を除外した歩行者候補を歩行者の検出結果として、撮像画像に重畳して表示装置１８に表示するように制御する表示制御部３４と、を含んだ構成で表すことができる。
【００２８】
ウインドウ画像抽出部２２は、撮像装置１２で撮像された撮像画像に対して、抽出ウインドウを設定し、抽出ウインドウ内の画像をウインドウ画像として抽出する。抽出ウインドウは、様々なサイズを用意しておき、撮像画像上を走査しながらウインドウ画像を抽出することで、様々な位置及び大きさの対象物に対応する。
【００２９】
識別モデル記憶部２４には、例えば、ＳＶＭ（Ｓｕｐｐｏｒｔ Ｖｅｃｔｏｒ Ｍａｃｈｉｎｅ）等の手法により学習された対象物である歩行者を識別するための識別モデルが記憶されている。
【００３０】
歩行者識別部２６は、識別モデル記憶部２４に記憶された識別モデルと、ウインドウ画像抽出部２２により抽出されたウインドウ画像とに基づいて、例えば、従来既知のＳＶＭ識別器を用いて、ウインドウ画像が歩行者候補であるか否かを識別する。
【００３１】
歩行者識別部２６による識別では、図２に示すように、歩行者以外にも電柱、ガードレール等の道路構造物や植物などが対象物として識別されてしまう場合もある。このような歩行者の画像と歩行者以外の画像とでは、人間の見た目には全く異なる画像パタンを有しているが、ＨＯＧなどの局所的な輪郭情報を記述する特徴量を用いた識別方法においては、これらの誤検出が生じる傾向が高い。歩行者として誤検出され易い電柱やガードレールなどの道路構造物や植物等は、図３に示すように、歩行者候補（ここでは誤検出された電柱等）自身と類似したパタンが歩行者候補自身の周辺に存在している場合が多い。同図（ａ）は上方向、同図（ｂ）は斜め方向、同図（ｃ）は横方向に歩行者候補と類似したパタンが連続している例を示している。
【００３２】
テンプレート設定部２８は、歩行者識別部２６で歩行者候補として識別されたウインドウ画像をテンプレートに設定する。
【００３３】
類似パタン探索部３０は、テンプレート設定部２８で設定されたテンプレートを用いて、歩行者候補の周辺を探索してテンプレートと類似するパタンが所定方向に沿って連続して存在するか否かを探索する。ここで、例えば、識別モデルとの比較で検出された複数の歩行者候補が所定方向に沿って連続して存在しているか否かを判定する場合に比べて、テンプレート設定部２８で設定されたテンプレートを用いた場合の方が、誤検出の場合の特徴である類似パタンの連続性を精度よく判定することができる。
【００３４】
類似パタン探索部３０でのより具体的な探索処理は、歩行者候補の位置から探索方向に所定のずらし量ずらした位置にテンプレートに対応するサイズの比較領域を設定し、比較領域内の画像を比較画像として抽出する。例えば、図４に示すように、歩行者候補（テンプレート）から探索方向である左方向に数画素分（例えば、２画素分）ずらした領域から比較画像を抽出することができる。探索方向は、予め定めた１つの方向でもよいし、上下左右の４方向や、さらに斜め方向を加えた８方向等のように複数の方向としてもよい。
【００３５】
そして、テンプレートと比較画像との類似度を算出する。類似度は、例えば、ＳＳＤ（Sum of Square Difference）を用いることができる。ＳＳＤの場合、値が小さいほど類似度が高いことを示す。図５（ａ）に示すように、歩行者候補が車両の一部及び植物で探索方向を横方向とした場合、並びに歩行者候補が歩行者で探索方向を横方向及び縦方向とした場合について、同図（ｂ）に、比較領域のずらし量及びＳＳＤの値の一例を示す。歩行者候補が誤検出である車両や植物の場合には、比較領域のずらし量に対して低いＳＳＤの値が続いている。すなわち、テンプレートとの類似度が高い画像が探索方向に沿って連続して存在していることを示している。一方、歩行者候補が真の歩行者の場合には、探索方向が縦方向または横方向のいずれであっても、比較的高いＳＳＤの値が続いている。すなわち、歩行者候補の周辺にテンプレートに類似する画像が存在しないことを示している。
【００３６】
誤検出判定部３２は、類似パタン探索部３０の探索結果であるテンプレートと歩行者候補との類似度に基づいて、歩行者候補が誤検出であるか否かを判定する。具体的には、類似パタン探索部３０の探索結果である比較領域のずらし量の所定区間内におけるＳＳＤの値を参照して、所定区間内において予め定めた閾値以下のＳＳＤの値が続いているか否かを判定する。所定区間内において予め定めた閾値以下のＳＳＤの値が続いている場合には、歩行者候補の周辺にテンプレートと類似するパタンが所定方向に沿って連続して存在する、すなわち誤検出であると判定する。
【００３７】
なお、類似パタン探索部３０及び誤検出判定部３２が、本発明の判定手段の一例を示す構成である。
【００３８】
次に、図６を参照して、第１の実施の形態の歩行者検出装置１０のコンピュータ２０で実行される歩行者検出処理ルーチンについて説明する。
【００３９】
ステップ１００で、撮像装置１２で撮像された撮像画像を取得し、次に、ステップ１０２で、上記ステップ１００で取得した撮像画像に対して、抽出ウインドウを設定し、抽出ウインドウ内の画像をウインドウ画像として抽出する。
【００４０】
次に、ステップ１０４で、識別モデル記憶部２４に記憶された識別モデルと、上記ステップ１０２で抽出したウインドウ画像とに基づいて、例えば、従来既知のＳＶＭ識別器を用いて、ウインドウ画像が歩行者候補であるか否かを識別する。歩行者候補の場合には、ステップ１０６へ移行し、歩行者候補ではない場合には、ステップ１１４へ移行する。
【００４１】
ステップ１０６では、上記ステップ１０４で歩行者候補であると識別されたウインドウ画像をテンプレートに設定する。次に、ステップ１０８で、類似パタン探索処理を実行する。
【００４２】
ここで、図７を参照して、類似パタン探索処理ルーチンについて説明する。
【００４３】
ステップ１０８０で、歩行者候補の位置から探索方向に所定のずらし量ずらした位置にテンプレートに対応するサイズの比較領域を設定し、比較領域内の画像を比較画像として抽出する。次に、ステップ１０８２で、テンプレートと比較画像との類似度ＳＳＤを算出する。
【００４４】
次に、ステップ１０８４で、上記ステップ１０８２で算出したＳＳＤが予め定めた閾値以下か否かを判定する。ＳＳＤが閾値以下の場合には、ステップ１０８６へ移行し、ＳＳｄが閾値を超えている場合には、ステップ１０９０へ移行する。
【００４５】
ステップ１０８６では、現在の比較領域のずらし量が所定区間を超えたか否かを判定する。ずらし量が所定区間を超えていない場合には、ステップ１０８０へ戻って、さらに探索方向に沿って歩行者候補の位置から離れる方向に所定のずらし量ずらした位置に比較領域を設定して処理を繰り返す。ずらし量が所定区間を超えた場合には、所定区間内において予め定めた閾値以下のＳＳＤの値が続いていると判定して、ステップ１０８８へ移行し、歩行者候補が非歩行者であるとの探索結果を記憶する。一方、ステップ１０９０へ移行した場合には、歩行者候補が真の歩行者であるとの探索結果を記憶して、リターンする。
【００４６】
なお、所定方向として複数の方向を探索する場合には、例えば、右方向について上記処理を実行し、上方向について上記処理を実行するというように、設定した探索方向毎に上記処理を実行し、少なくとも１つ以上の探索方向で類似パタンが連続して存在する場合に、誤検出であると判定するようにするとよい。
【００４７】
歩行者検出処理（図６）に戻ってステップ１１０へ移行し、類似パタン探索処理の探索結果に基づいて、上記ステップ１０４で識別された歩行者候補が歩行者か否かを判定する。歩行者候補が歩行者の場合には、ステップ１１２へ移行して、歩行者候補であるウインドウ画像を抽出した際の抽出ウインドウの位置及びサイズを、歩行者の検出結果として所定の記憶領域に登録して、ステップ１１４へ移行する。上記ステップ１１０において歩行者候補が歩行者ではないと判定された場合には、ステップ１１２をスキップしてステップ１１４へ移行する。
【００４８】
ステップ１１４では、撮像画像全体からウインドウ画像を抽出する処理が終了したか否か、及び全てのサイズの抽出ウインドウを用いてウインドウ画像を抽出する処理が終了したか否かを判定する。終了していない場合には、ステップ１１６へ移行して、抽出ウインドウを１ステップ（所定画素分）移動させるか、または抽出ウインドウのサイズを変更してステップ１０２へ戻り、次のウインドウ画像を抽出して処理を繰り返す。
【００４９】
上記ステップ１１４において、撮像画像全体について、及び全てのサイズの抽出ウインドウについて処理が終了したと判定された場合には、ステップ１１８へ移行して、上記ステップ１１２で所定の記憶領域に登録された検出結果に基づいて、例えば、撮像画像の歩行者を表す画像であると識別された部分を矩形枠で囲むなどして、表示装置１８に表示する。
【００５０】
以上説明したように、第１の実施の形態の歩行者検出装置によれば、歩行者候補をテンプレートに設定し、歩行者候補の周辺領域に所定方向に沿ってテンプレートに類似する画像が連続して存在するか否かを判定することにより、歩行者候補が道路構造物や植物等の誤検出か否かを判定して、誤検出の歩行者候補を除外するため、道路構造物や植物等の誤検出を低減して、歩行者の検出精度を向上させることができる。
【００５１】
次に、第２の実施の形態について説明する。なお、第１の実施の形態の歩行者検出装置１０と同様の構成については、同一の符号を付して詳細な説明は省略する。
【００５２】
図１に示すように、第２の実施の形態の歩行者検出装置２１０は、撮像装置１２と、コンピュータ２２０と、表示装置１８と、を備えている。
【００５３】
コンピュータ２２０は、機能的には、図１に示すように、ウインドウ画像抽出部２２と、識別モデル記憶部２４と、歩行者識別部２６と、テンプレート設定部２８と、類似パタン探索部２３０と、誤検出判定部３２と、表示制御部３４と、を含んだ構成で表すことができる。
【００５４】
類似パタン探索部２３０は、第１の実施の形態の歩行者検出装置１０における類似パタン探索部３０での処理の前に、類似パタンの探索方向を決定する。図８（ａ）に示すように、電柱の一部が誤検出された場合には、同図（ｂ）に示すように、探索方向を右方向とした場合には高いＳＳＤの値を示し、探索方向を下方向とした場合には低いＳＳＤの値を示す。この場合、この歩行者候補を誤検出として判定するためには、探索方向を下方向とすることが適している。このように、歩行者候補によって適切な探索方向を決定することが重要である。
【００５５】
そこで、類似パタン探索部２３０は、図９に示すように、歩行者候補の周辺８方向から方向決定用画像を抽出する。方向決定用画像は、比較画像と同様の方法により抽出することができる。抽出した方向決定用画像の各々とテンプレートとの類似度を算出する。ここで算出する類似度は、テンプレートと比較画像との類似度と同様に、ＳＳＤやＳＡＤ等を用いることができ、最も類似度が高い方向決定用画像が抽出された方向を探索方向として決定することができる。また、テンプレート及び方向決定用画像の各々のエッジ方向の類似度を用いてもよい。具体的には、テンプレート及び方向決定用画像の各々について、エッジ方向のヒストグラムを作成し、最頻値のエッジ方向が一致または近似する方向決定用画像が抽出された方向を探索方向として決定することができる。
【００５６】
また、類似パタン探索部２３０は、図１０に示すように、決定した探索方向に所定のずらし量ずらした位置を中心に、探索方向と交差する方向の一定範囲を探索範囲として設定し、探索範囲内から複数の比較画像を抽出する。同一の探索範囲内から抽出された比較画像のうち、テンプレートとの類似度が最も高いものを、そのずらし量におけるテンプレートと比較画像との類似度として用いる。このように比較領域の設定範囲を拡大することで、探索方向のずれ、撮像画像のずれ、対象物自体の配列のずれ等を吸収する。
【００５７】
次に、第２の実施の形態の歩行者検出装置２１０のコンピュータ２２０で実行される歩行者検出処理ルーチンについて説明する。第２の実施の形態の歩行者検出処理は、第１の実施の形態の歩行者検出処理と類似パタン探索処理の内容が異なるだけであるので、図１１を参照して、第２の実施の形態の類似パタン探索処理ルーチンの内容について説明する。なお、第１の実施の形態の類似パタン探索処理と同一の処理については、同一の符号を付して詳細な説明を省略する。
【００５８】
ステップ１２８０で、歩行者候補の周辺８方向から８つの方向決定用画像を抽出する。次に、ステップ１２８２で、テンプレートと、上記ステップ１２８０で抽出した方向決定用画像の各々との類似度を算出し、テンプレートとの類似度が最も高い方向決定用画像が抽出された方向を探索方向として決定する。
【００５９】
次に、ステップ１２８４で、歩行者候補の位置から上記ステップ１２８２で決定した探索方向に所定のずらし量ずらした位置を中心に、探索方向と交差する方向の一定範囲を探索範囲として設定し、探索範囲内から複数の比較画像を抽出する。
【００６０】
次に、ステップ１２８６で、上記ステップ１２８４で、同一の探索範囲内から抽出された比較画像の各々とテンプレートとの類似度ＳＳＤを算出し、最小値（最も類似度が高い）のＳＳＤを選択する。
【００６１】
以下、第１の実施の形態と同様に、ステップ１０８４〜１０９０を実行して、歩行者候補が非歩行者か真の歩行者かを判定して、リターンする。
【００６２】
以上説明したように、第２の実施の形態の歩行者検出装置によれば、類似パタンの探索方向を適切に決定して、類似パタンが連続して存在するか否かを判定するため、誤検出の判定精度が向上する。
【００６３】
なお、第２の実施の形態では、方向決定用画像を歩行者候補の周辺８方向から抽出する場合について説明したが、上下左右の４方向から抽出したり、より細かく区分した方向から抽出したりしてもよい。また、方向決定用画像を抽出することなく、歩行者候補の特徴を利用して探索方向を決定するようにしてもよい。具体的には、テンプレートに設定された歩行者候補画像のエッジ方向のヒストグラムを作成し、そのエッジ方向のヒストグラムに基づいて、例えば、最頻値のエッジ方向を探索方向として決定することができる。
【００６４】
また、第１及び第２の実施の形態において、撮像画像の奥行き方向を考慮して、設定する比較領域のサイズを変更するようにしてもよい。具体的には、まず、撮像画像から消失点を検出する。そして、探索方向が消失点に向かう方向の場合において、歩行者候補より消失点側に比較領域を設定する場合には、テンプレートより小さいサイズの比較領域を設定し、歩行者候補より消失点から離れる側に比較領域を設定する場合には、テンプレートより大きいサイズの比較領域を設定する。これにより、撮像画像上でのサイズが遠近により異なる場合も、精度よく類似パタンの連続性を判定することができる。
【００６５】
次に、第３の実施の形態について説明する。なお、第１の実施の形態の歩行者検出装置１０と同様の構成については、同一の符号を付して詳細な説明は省略する。
【００６６】
図１に示すように、第３の実施の形態の歩行者検出装置３１０は、撮像装置１２と、コンピュータ３２０と、表示装置１８と、を備えている。
【００６７】
コンピュータ３２０は、機能的には、図１に示すように、ウインドウ画像抽出部２２と、識別モデル記憶部２４と、歩行者識別部２６と、テンプレート設定部３２８と、類似パタン探索部３３０と、誤検出判定部３２と、表示制御部３４と、を含んだ構成で表すことができる。
【００６８】
歩行者識別部２６による識別では、上述のように、歩行者以外にも電柱、ガードレール等の道路構造物や植物などが対象物として識別されてしまう場合もある。図２に示すように、歩行者として誤検出され易い電柱やガードレールなどの道路構造物や植物等は、歩行者候補の一部の画像が、歩行者候補内に連続して存在している場合が多い。第３の実施の形態では、この性質を利用するものである。
【００６９】
テンプレート設定部３２８は、歩行者候補として識別されたウインドウ画像の一部をテンプレートに設定する。例えば、図１２に示すように、歩行者候補の一辺に対応する一定幅の領域をテンプレートに設定することができる。同図（ａ）は上辺、同図（ｂ）は下辺、同図（ｃ）は左辺、同図（ｄ）は右辺の一定幅の領域を設定した例を示している。テンプレートは、いずれか１つのみ設定してもよいし、複数設定してもよい。
【００７０】
類似パタン探索部３３０は、テンプレート設定部３２８で設定されたテンプレートを用いて、歩行者候補内を探索してテンプレートと類似するパタンが探索方向に沿って連続して存在するか否かを探索する。具体的には、テンプレートを設定した位置から所定方向に所定のずらし量ずらした位置にテンプレートに対応するサイズの比較領域を設定し、比較領域内の画像を比較画像として抽出する。探索方向は、テンプレートが設定された辺から対向する辺へ向かう方向とすることができる。図１２（ａ）の例では、下方向を探索方向とすることができる。
【００７１】
そして、第１の実施の形態と同様に、テンプレートと比較画像との類似度を算出する。図１３（ａ）に示すように、歩行者候補が電柱でテンプレートを下辺に設定した場合、及び歩行者候補が植物でテンプレートを上辺に設定した場合、並びに歩行者候補が歩行者でテンプレートを上辺に設定した場合及び左辺に設定した場合について、同図（ｂ）に、比較領域のずらし量及びＳＳＤの値の一例を示す。歩行者候補が誤検出である車両や植物の場合には、比較領域のずらし量に対して低いＳＳＤの値が続いている。すなわち、歩行者候補内において、テンプレートとの類似度が高い画像が探索方向に沿って連続していることを示している。一方、歩行者候補が真の歩行者の場合には、テンプレートを左辺に設定した場合及び上辺に設定した場合、すなわち探索方向が縦方向または横方向のいずれであっても、比較的高いＳＳＤの値が続いている。すなわち、歩行者候補内において、テンプレートに類似する画像が連続していないことを示している。
【００７２】
次に、図１４を参照して、第３の実施の形態の歩行者検出装置３１０のコンピュータ３２０で実行される歩行者検出処理ルーチンについて説明する。なお、第１の実施の形態の歩行者検出処理と同一の処理については、同一の符号を付して詳細な説明を省略する。
【００７３】
ステップ１００〜１０４を経て、ウインドウ画像が歩行者候補であると識別されると、ステップ２０６へ移行し、歩行者候補であると識別されたウインドウ画像の一辺に対応する一定幅の領域をテンプレートに設定する。次に、ステップ２０８で、類似パタン探索処理を実行する。
【００７４】
ここで、図１５を参照して、類似パタン探索処理ルーチンについて説明する。なお、第１の実施の形態の類似パタン探索処理と同一の処理については、同一の符号を付して詳細な説明を省略する。
【００７５】
ステップ２０８０で、テンプレートを設定した位置から探索方向に所定のずらし量ずらした位置にテンプレートに対応するサイズの比較領域を設定し、比較領域内の画像を比較画像として抽出する。次に、ステップ１０８２で、テンプレートと比較画像との類似度ＳＳＤを算出し、以下、第１の実施の形態と同様に、ステップ１０８４〜１０９０を実行して、歩行者候補が非歩行者か真の歩行者かを判定して、リターンする。
【００７６】
なお、テンプレートを複数設定した場合には、例えば、上辺のテンプレートを用いて上記処理を実行し、左辺のテンプレートを用いて上記処理を実行するというように、設定したテンプレート毎に上記処理を実行し、少なくとも１つ以上のテンプレートで類似パタンが連続して存在する場合に、誤検出であると判定するようにするとよい。
【００７７】
以上説明したように、第３の実施の形態の歩行者検出装置によれば、歩行者候補の一部をテンプレートに設定し、歩行者候補内に所定方向に沿ってテンプレートに類似する画像が連続して存在するか否かを判定することにより、歩行者候補が道路構造物や植物等の誤検出か否かを判定して、誤検出の歩行者候補を除外するため、道路構造物や植物等の誤検出を低減して、歩行者の検出精度を向上させることができる。
【００７８】
次に、第４の実施の形態について説明する。なお、第３の実施の形態の歩行者検出装置３１０と同様の構成については、同一の符号を付して詳細な説明は省略する。
【００７９】
図１に示すように、第４の実施の形態の歩行者検出装置４１０は、撮像装置１２と、コンピュータ４２０と、表示装置１８と、を備えている。
【００８０】
コンピュータ４２０は、機能的には、図１に示すように、ウインドウ画像抽出部２２と、識別モデル記憶部２４と、歩行者識別部２６と、テンプレート設定部４２８と、類似パタン探索部３３０と、誤検出判定部３２と、表示制御部３４と、を含んだ構成で表すことができる。
【００８１】
テンプレート設定部４２８は、類似パタン探索部３３０で比較領域を設定する毎に、順次テンプレートを更新する。本実施の形態で誤検出として判定したい電柱や植物等の連続した類似パタンを有するものの中には、内部のテクスチャや周辺パタンに変化があるものがある。例えば、図１６に示すように、歩行者候補の上辺に設定したテンプレートを用いて、歩行者候補内のパタンの連続性を評価すると、テクスチャが変化する領域で類似度が低下する場合があるため、これを解消するためにテンプレートを逐次更新する。
【００８２】
具体的には、図１６に示すように、まず、第３の実施の形態と同様に初期テンプレートを設定し、比較領域を設定して比較画像（１）を抽出し、初期テンプレートと比較画像（１）の類似度を算出する。そして、現在の比較画像（１）をテンプレートに設定すると共に、次の比較領域を設定して比較画像（２）を抽出し、テンプレート（比較画像（１））と比較画像（２）との類似度を算出する。このテンプレートの更新を、歩行者候補内で順次繰り返しながら類似度を算出する。
【００８３】
図１７（ａ）に示すように、歩行者候補が歩行者でテンプレートの更新ありの場合及びなしの場合、並びに歩行者候補が電柱でテンプレートの更新ありの場合及びなしの場合について、同図（ｂ）に、比較領域のずらし量及びＳＳＤの値の一例を示す。テンプレートの更新ありの方がテンプレートの更新なしの場合に比べて、類似度が高い状態を維持している。
【００８４】
次に、第４の実施の形態の歩行者検出装置４１０のコンピュータ４２０で実行される歩行者検出処理ルーチンについて説明する。第４の実施の形態の歩行者検出処理は、第３の実施の形態の歩行者検出処理と類似パタン探索処理の内容が異なるだけであるので、図１８を参照して、第４の実施の形態の類似パタン探索処理ルーチンの内容について説明する。なお、第３の実施の形態の類似パタン探索処理と同一の処理については、同一の符号を付して詳細な説明を省略する。
【００８５】
ステップ２０８０で、１つ目の比較画像を抽出し、次に、ステップ１０８２で、初期テンプレートと１つ目の比較画像との類似度ＳＳＤを算出する。
【００８６】
次に、ステップ１０８４を経て、次のステップ１０８６で、比較領域のずらし量が所定区間を超えていないと判定された場合には、ステップ４０８０へ移行して、上記ステップ２０８０で抽出された現在の比較画像をテンプレートに設定して、ステップ２０８０へ戻る。ステップ２０８０では、次の比較領域を設定して比較画像を抽出し、次のステップ１０８２で、抽出した比較画像と上記ステップ４０８０で設定したテンプレート、すなわち１つ前の比較画像との類似度を算出する。
【００８７】
以下、第３の実施の形態と同様に、ステップ１０８４〜１０９０を実行して、歩行者候補が非歩行者か真の歩行者かを判定して、リターンする。
【００８８】
以上説明したように、第４の実施の形態の歩行者検出装置によれば、テンプレートを更新することで、初期テンプレートを設定した位置から離れた位置に設定された比較領域内の画像にテクスチャなどの変化がある場合でも、類似パタンの連続性の判定を安定して行うことができる。
【００８９】
なお、テンプレートの更新は、上記第１及び第２の実施の形態のように、歩行者候補の全体をテンプレートに設定する場合にも適用することができる。
【００９０】
また、第３及び第４の実施の形態では、テンプレートと歩行者候補内から抽出した比較画像との類似度を算出する場合について説明したが、図１９に示すように、歩行者候補の外側の領域からも比較画像を抽出するようにしてもよい。これにより、誤検出か否かの判定の確信度を高めることができる。また、歩行者候補の外側の領域からも比較画像を抽出する他の例として、第２の実施の形態で説明したように、探索方向に所定のずらし量ずらした位置を中心に、探索方向と交差する方向の一定範囲を探索範囲として設定し、探索範囲内から複数の比較画像を抽出してもよい。
【００９１】
また、第３及び第４の実施の形態では、歩行者候補の上辺や左辺等の一定幅の領域をテンプレートとして設定する場合について説明したが、図２０に示すように、歩行者候補の中央部の一定幅の領域をテンプレートに設定してもよい。図２０のように、歩行者候補の中央部に短辺に平行な一定幅のテンプレートを設定した場合には、上方向及び下方向を探索方向とすることができる。また、歩行者候補の中央部に長辺に平行な一定幅のテンプレートを設定した場合には、左方向及び右方向を探索方向とすることができる。
【００９２】
また、上記実施の形態では、類似度としてＳＳＤを用いる場合について説明したが、ＳＡＤ（Sum of Absolute Difference）やＮＣＣ（Normalized Cross-Correlation）等を用いてもよいし、ＨＯＧなどの特徴量の２画像間の距離を類似度として用いてもよい。ＮＣＣの場合は、値が大きいほど類似度が高いことを示すため、比較領域のずらし量の所定区間において、予め定めた閾値以上のＮＣＣの値が続いているか否かを判定するようにするとよい。また、上記実施の形態では、所定区間内で１つでもＳＳＤが閾値を超えた場合には歩行者候補を歩行者として判定する場合について説明したが、ずらし量の所定区間内のＳＳＤやＳＡＤの値の９０％以上が閾値以下の場合（ＮＣＣの場合は９０％以上が閾値以上の場合）は誤検出であると判定するなど、所定区間内の類似度の値を総合的に判定するようにしてもよい。
【００９３】
また、類似度の累積値を判定に用いてもよい。例えば、ずらし量毎にＳＳＤの値を累積し、累積ＳＳＤの値が所定の閾値を超えた段階で探索を終了して、その歩行者候補を誤検出であると判定するようにしてもよい。類似度としてＮＣＣを用いる場合でも、（１−ＮＣＣ）の値を累積することで、同様に判定することができる。図２１（ａ）に、図５の場合の類似度を累積ＳＳＤで表した場合の一例を、同図（ｂ）に、図１２の場合の類似度を累積ＳＳＤで表した場合の一例を示す。
【００９４】
また、上記実施の形態では、ＳＶＭ識別器を用いて、歩行者候補の識別処理を行う場合を例に説明したが、これに限定されるものではなく、従来既知の他の識別手法（例えば、最近傍識別、線形判別など）を用いてもよい。
【００９５】
また、上実施の形態では、抽出ウインドウを撮像画像の全範囲に対して走査してウインドウ画像を抽出する場合について説明したが、例えば路面領域を検出する等の事前処理を行って、抽出ウインドウを走査する範囲を制限するようにしてもよい。
【００９６】
また、上記実施の形態では、対象物として歩行者を検出する歩行者検出装置に、本発明を適用した場合を例に説明したが、検出対象物は、自転車や自動二輪車などの二輪車でもよい。
【００９７】
なお、本願明細書中において、プログラムが予めインストールされている実施形態として説明したが、当該プログラムをＣＤＲＯＭ等の記憶媒体に格納して提供することも可能である。また、各機能を実現するハードウエアにより構成してもよい。
【符号の説明】
【００９８】
１０、２１０、３１０、４１０ 歩行者検出装置
１２ 撮像装置
１８ 表示装置
２０、２２０、３２０、４２０ コンピュータ
２２ ウインドウ画像抽出部
２４ 識別モデル記憶部
２６ 歩行者識別部
２８、３２８、４２８ テンプレート設定部
３０、２３０、３３０ 類似パタン探索部
３２ 誤検出判定部
３４ 表示制御部
【特許請求の範囲】
【請求項１】
撮像手段により撮像された画像からウインドウ画像を抽出するウインドウ画像抽出手段と、
前記ウインドウ画像抽出手段により抽出されたウインドウ画像と、対象物である歩行者または二輪車を識別するために予め生成された識別モデルとに基づいて、前記ウインドウ画像が対象物の候補を示す候補画像であるか否かを識別する識別手段と、
前記識別手段により識別された候補画像をテンプレートに設定する設定手段と、
前記設定手段により設定されたテンプレートに類似する画像が前記候補画像の周辺領域に所定方向に沿って連続して存在するか否かを判定し、存在すると判定された場合を除外した残りの候補画像を、前記対象物を示す画像として判定する判定手段と、
を含む対象物検出装置。
【請求項２】
撮像手段により撮像された画像からウインドウ画像を抽出するウインドウ画像抽出手段と、
前記ウインドウ画像抽出手段により抽出されたウインドウ画像と、対象物である歩行者または二輪車を識別するために予め生成された識別モデルとに基づいて、前記ウインドウ画像が対象物の候補を示す候補画像であるか否かを識別する識別手段と、
前記識別手段により識別された候補画像の部分領域の画像をテンプレートに設定する設定手段と、
前記設定手段により設定されたテンプレートに類似する画像が前記候補画像内に所定方向に沿って連続して存在するか否かを判定し、存在すると判定された場合を除外した残りの候補画像を、前記対象物を示す画像として判定する判定手段と、
を含む対象物検出装置。
【請求項３】
前記判定手段は、前記テンプレートに対応する比較領域を前記所定方向に所定量ずつずらしながら順次設定し、前記テンプレートと前記比較領域内の画像の各々との類似度または非類似度に基づいて、候補画像を除外するか否かを判定する請求項１または請求項２記載の対象物検出装置。
【請求項４】
前記設定手段は、前記判定手段により前記比較領域内の画像と前記テンプレートとの類似度または非類似度を求める際に、該テンプレートを１つ前に設定された比較領域内の画像に更新する請求項３記載の対象物検出装置。
【請求項５】
前記判定手段は、前記テンプレートに設定された画像周辺の異なる複数の方向に対応する領域から抽出される画像の各々と前記テンプレートとの類似度を算出し、該類似度が最も高い画像が抽出された領域の方向を、前記所定方向として決定する請求項１〜請求項４のいずれか１項記載の対象物検出装置。
【請求項６】
前記判定手段は、前記テンプレートに設定された画像のエッジ方向のヒストグラムを作成し、該エッジ方向のヒストグラムに基づいて、前記所定方向を決定する請求項１〜請求項４のいずれか１項記載の対象物検出装置。
【請求項７】
前記判定手段は、前記エッジ方向のヒストグラムに基づいて、最も頻度の高いエッジ方向を前記所定方向として決定する請求項６記載の対象物検出装置。
【請求項８】
コンピュータを、請求項１〜請求項７のいずれか１項記載の対象物検出装置を構成する各手段として機能させるための対象物検出プログラム。
【請求項１】
撮像手段により撮像された画像からウインドウ画像を抽出するウインドウ画像抽出手段と、
前記ウインドウ画像抽出手段により抽出されたウインドウ画像と、対象物である歩行者または二輪車を識別するために予め生成された識別モデルとに基づいて、前記ウインドウ画像が対象物の候補を示す候補画像であるか否かを識別する識別手段と、
前記識別手段により識別された候補画像をテンプレートに設定する設定手段と、
前記設定手段により設定されたテンプレートに類似する画像が前記候補画像の周辺領域に所定方向に沿って連続して存在するか否かを判定し、存在すると判定された場合を除外した残りの候補画像を、前記対象物を示す画像として判定する判定手段と、
を含む対象物検出装置。
【請求項２】
撮像手段により撮像された画像からウインドウ画像を抽出するウインドウ画像抽出手段と、
前記ウインドウ画像抽出手段により抽出されたウインドウ画像と、対象物である歩行者または二輪車を識別するために予め生成された識別モデルとに基づいて、前記ウインドウ画像が対象物の候補を示す候補画像であるか否かを識別する識別手段と、
前記識別手段により識別された候補画像の部分領域の画像をテンプレートに設定する設定手段と、
前記設定手段により設定されたテンプレートに類似する画像が前記候補画像内に所定方向に沿って連続して存在するか否かを判定し、存在すると判定された場合を除外した残りの候補画像を、前記対象物を示す画像として判定する判定手段と、
を含む対象物検出装置。
【請求項３】
前記判定手段は、前記テンプレートに対応する比較領域を前記所定方向に所定量ずつずらしながら順次設定し、前記テンプレートと前記比較領域内の画像の各々との類似度または非類似度に基づいて、候補画像を除外するか否かを判定する請求項１または請求項２記載の対象物検出装置。
【請求項４】
前記設定手段は、前記判定手段により前記比較領域内の画像と前記テンプレートとの類似度または非類似度を求める際に、該テンプレートを１つ前に設定された比較領域内の画像に更新する請求項３記載の対象物検出装置。
【請求項５】
前記判定手段は、前記テンプレートに設定された画像周辺の異なる複数の方向に対応する領域から抽出される画像の各々と前記テンプレートとの類似度を算出し、該類似度が最も高い画像が抽出された領域の方向を、前記所定方向として決定する請求項１〜請求項４のいずれか１項記載の対象物検出装置。
【請求項６】
前記判定手段は、前記テンプレートに設定された画像のエッジ方向のヒストグラムを作成し、該エッジ方向のヒストグラムに基づいて、前記所定方向を決定する請求項１〜請求項４のいずれか１項記載の対象物検出装置。
【請求項７】
前記判定手段は、前記エッジ方向のヒストグラムに基づいて、最も頻度の高いエッジ方向を前記所定方向として決定する請求項６記載の対象物検出装置。
【請求項８】
コンピュータを、請求項１〜請求項７のいずれか１項記載の対象物検出装置を構成する各手段として機能させるための対象物検出プログラム。
【図１】
【図６】
【図７】
【図１１】
【図１４】
【図１５】
【図１８】
【図２】
【図３】
【図４】
【図５】
【図８】
【図９】
【図１０】
【図１２】
【図１３】
【図１６】
【図１７】
【図１９】
【図２０】
【図２１】
【図６】
【図７】
【図１１】
【図１４】
【図１５】
【図１８】
【図２】
【図３】
【図４】
【図５】
【図８】
【図９】
【図１０】
【図１２】
【図１３】
【図１６】
【図１７】
【図１９】
【図２０】
【図２１】
【公開番号】特開２０１２−１２３６２６（Ｐ２０１２−１２３６２６Ａ）
【公開日】平成２４年６月２８日（２０１２．６．２８）
【国際特許分類】
【出願番号】特願２０１０−２７３８７１（Ｐ２０１０−２７３８７１）
【出願日】平成２２年１２月８日（２０１０．１２．８）
【出願人】（０００００３６０９）株式会社豊田中央研究所 (4,200)
【Ｆターム（参考）】
【公開日】平成２４年６月２８日（２０１２．６．２８）
【国際特許分類】
【出願日】平成２２年１２月８日（２０１０．１２．８）
【出願人】（０００００３６０９）株式会社豊田中央研究所 (4,200)
【Ｆターム（参考）】
[ Back to top ]