物体検出装置
【課題】入力された画像から、検出対象物を高い精度で検出することができる物体検出装置を提供することを課題とする。
【解決手段】物体検出装置1において、検出窓設定部11は、カメラが撮影した撮影画像21を入力する。検出窓設定部11は、撮影画像21に対して検出窓領域を設定し、撮影画像21から、検出窓領域の画像を通常窓画像22として切り出す。画像処理部12は、撮影画像21に対して拡大、縮小などの画像処理を行う。拡大された撮影画像21と、縮小された撮影画像21から、変更窓画像23がそれぞれ切り出される。度合い算出部13は、検出対象物の特徴を示す特徴データ51に基づいて、検出対象物が窓画像に存在する可能性を示す一致率を窓画像ごとに算出する。判定部14は、各窓画像の一致率に基づいて、検出窓領域に検出対象物が存在するか否かを判定する。
【解決手段】物体検出装置1において、検出窓設定部11は、カメラが撮影した撮影画像21を入力する。検出窓設定部11は、撮影画像21に対して検出窓領域を設定し、撮影画像21から、検出窓領域の画像を通常窓画像22として切り出す。画像処理部12は、撮影画像21に対して拡大、縮小などの画像処理を行う。拡大された撮影画像21と、縮小された撮影画像21から、変更窓画像23がそれぞれ切り出される。度合い算出部13は、検出対象物の特徴を示す特徴データ51に基づいて、検出対象物が窓画像に存在する可能性を示す一致率を窓画像ごとに算出する。判定部14は、各窓画像の一致率に基づいて、検出窓領域に検出対象物が存在するか否かを判定する。
【発明の詳細な説明】
【技術分野】
【0001】
本発明は、検出対象物が画像に存在するか否かを判定する物体検出装置に関する。
【背景技術】
【0002】
カメラが撮影した画像などに検出対象物が存在するか否かを判定する物体検出装置が存在する。物体検出装置は、たとえば、カメラとともに車両に搭載される。物体検出装置は、カメラが撮影した画像に人物が存在するか否かを判定することにより、運転手に歩行者の存在を知らせることができる。物体検出装置を利用することにより、車両の運転手は、車両の外部の状況を容易に把握することができる。
【0003】
物体検出装置は、検出対象物が画像に存在するか否かを判定するために、学習機能を有するニューラルネットワークや、サポートベクターマシンなどのアルゴリズムを使用する。物体検出装置は、入力された画像に対して、物体を検出する領域(検出窓領域)を設定する。物体検出装置は、上記のアルゴリズムが実装されたプログラムを用いて、検出対象物が検出窓領域の画像に含まれているか否かを判定する。
【0004】
たとえば、特許文献1の物体検出装置は、人を含む画像と、人以外を含む画像とを用いて類似度ヒストグラムを作成し、類似度ヒストグラムを用いて、検出窓領域の画像に検出対象物が存在しているか否かを判定する。
【0005】
特許文献2の画像認識装置は、車載カメラが撮影した画像から歩行者を検出する。具体的には、特許文献2の画像認識装置は、ニューラルネットワークを用いて画像から歩行者の可能性がある候補物体を検出した場合、候補物体と歩行者を構成する頭及び手足などと比較することにより、候補物体が歩行者であるか否かを判定する。
【0006】
特許文献3の画像認識装置は、検出対象の領域が一部重複する複数の検出窓を設定し、認識対象(歩行者など)の基準パターンを用いて、各検出窓に対するパターンマッチングを実行する。特許文献3の画像認識装置は、パターンマッチングが複数回実行された領域については、各パターンマッチングの結果を積分する。積分結果に基づいて、歩行者の位置が特定される。
【先行技術文献】
【特許文献】
【0007】
【特許文献1】特開2010−170201号公報
【特許文献2】特開2008−21034号公報
【特許文献3】特開2009−70344号公報
【発明の概要】
【発明が解決しようとする課題】
【0008】
上述のように、特許文献1〜3に記載された従来の装置は、カメラが撮影した画像に設定された探索窓に検出対象物が存在するか否かを判定する際に、検出対象物の特徴を示す特徴データを用いる。たとえば、ニューラルネットワークを用いて検出対象物の有無を判定する場合、従来の装置は、検出対象物を含むサンプル画像に基づいて検出対象の物体の特徴を学習して、特徴データを生成する。
【0009】
しかし、従来の装置が様々なサンプル画像を用いて学習しても、検出窓領域内に存在する検出対象物を検出できないことがある。たとえば、検出対象物が大きすぎて検出窓領域の範囲に収まらない場合、従来の装置は、検出対象物が検出窓領域に存在すると判定することができない。
【0010】
本発明は、入力された画像から、検出対象物を高い精度で検出することができる物体検出装置を提供することを目的とする。
【課題を解決するための手段】
【0011】
上記課題を解決するため、請求項1記載の発明は、入力画像から検出対象物を検出する物体検出装置であって、前記入力画像に対して前記検出対象物を検出する検出窓領域を設定する検出窓設定部と、前記入力画像の検出窓領域から通常窓画像を切り出すとともに、前記入力画像に対して所定の画像処理を行うことにより変更入力画像を生成し、前記変更入力画像の検出窓領域から変更窓画像を切り出す画像処理部と、前記検出対象物の特徴を示す特徴データに基づいて、前記検出対象物が前記通常窓画像に存在する可能性を示す第1の度合いと、前記検出対象物が前記変更窓画像に存在する可能性を示す第2の度合いとを算出する度合い算出部と、前記第1の度合いと前記第2の度合いとに基づいて、前記検出窓領域に前記検出対象物が存在するか否かを判定する判定部と、を備える。
【0012】
請求項2記載の発明は、請求項1に記載の物体検出装置であって、前記所定の画像処理は、画像処理の内容が相互に異なる第1の画像処理及び第2の画像処理、を含み、前記画像処理部は、前記入力画像に対して前記第1の画像処理を行うことにより第1変更窓画像を生成し、前記入力画像に対して前記第2の画像処理を行うことにより第2変更窓画像を生成し、前記度合い算出部は、前記第1変更窓画像に前記検出対象物が存在する可能性を示す第2の度合いと、前記第2変更窓画像に前記検出対象物が存在する可能性を示す第2の度合いとを算出する。
【0013】
請求項3記載の発明は、請求項1または請求項2に記載の物体検出装置であって、前記判定部は、前記第1の度合いに基づいて前記通常窓画像に前記検出対象物が存在するか否かを判定し、前記第2の度合いに基づいて前記変更窓画像に前記検出対象物が存在するか否かを判定する個別画像判定部と、前記通常窓画像に対する判定結果と、前記変更窓画像に対する判定結果とに基づいて、前記検出窓領域に前記検出対象物が存在するか否かを判定する最終判定部と、を含む。
【0014】
請求項4記載の発明は、請求項1または請求項2に記載の物体検出装置であって、前記判定部は、前記第1の度合いと前記第2の度合いとの合計値を算出する合計値算出部と、前記合計値に基づいて、前記検出窓領域に前記検出対象物が存在するか否かを判定する最終判定部と、を備える。
【0015】
請求項5記載の発明は、請求項4に記載の物体検出装置であって、前記合計値算出部は、前記通常窓画像に対して設定された重み付け係数を前記第1の度合いに乗算した乗算値と、前記変更窓画像に対して設定された重み付け係数を前記第2の度合いに乗算した乗算値とを合計する。
【0016】
請求項6記載の発明は、請求項4に記載の物体検出装置であって、前記所定の画像処理は、画像処理の内容が相互に異なる第1の画像処理及び第2の画像処理、を含み、前記画像処理部は、前記入力画像に対して前記第1の画像処理を行うことにより第1変更窓画像を生成し、前記入力画像に対して前記第2の画像処理を行うことにより第2変更窓画像を生成し、前記度合い算出部は、前記第1変更窓画像に前記検出対象物が存在する可能性を示す第2の度合いと、前記第2変更窓画像に前記検出対象物が存在する可能性を示す第2の度合いとを算出し、前記重み付け係数は、前記第1変更窓画像及び前記第2変更窓画像のそれぞれに対して設定される。
【0017】
請求項7記載の発明は、入力画像から検出対象物を検出する物体検出方法であって、前記入力画像に対して前記検出対象物を検出する検出窓領域を設定するステップと、前記入力画像の検出窓領域から通常窓画像を切り出すとともに、前記入力画像に対して所定の画像処理を行うことにより変更入力画像を生成し、前記変更入力画像の検出窓領域から変更窓画像を切り出すステップと、前記検出対象物の特徴を示す特徴データに基づいて、前記検出対象物が前記通常窓画像に存在する可能性を示す第1の度合いと、前記検出対象物が前記変更窓画像に存在する可能性を示す第2の度合いとを算出するステップと、前記第1の度合いと前記第2の度合いとに基づいて、前記検出窓領域に前記検出対象物が存在するか否かを判定するステップと、を備える。
【発明の効果】
【0018】
本発明の物体検出装置は、入力画像の検出窓領域から通常窓画像を切り出すとともに、入力画像の検出窓領域に対して所定の画像処理を行って変更窓画像を生成する。物体検出装置は、通常窓画像に検出対象物が存在する可能性を示す第1の度合いを算出し、変更窓画像に検出対象物が存在する可能性を示す第2の度合いを算出する。第1の度合いと第2の度合いとに基づいて、検出対象物が検出窓領域に存在するか否かが判定される。このように、物体検出装置は、一つの検出窓領域から複数の窓画像を生成するため、検出窓領域に検出対象物が存在するか否かを高精度で判定することができる。
【図面の簡単な説明】
【0019】
【図1】本発明の第1の実施の形態による物体検出装置の構成を示す機能ブロック図である。
【図2】図1に示す物体検出装置の動作を示すフローチャートである。
【図3】図1に示す物体検出装置に入力される撮影画像の一例を示す図である。
【図4】図3に示す撮影画像から切り出される窓画像を示す図である。
【図5】図3に示す撮影画像から生成される変更窓画像を示す図である。
【図6】図1に示す記憶部に格納される特徴データの生成に用いられるサンプル画像データの一例を示す図である。
【図7】図1に示す記憶部に格納される特徴データの生成に用いられるサンプル画像データの一例を示す図である。
【図8】図2に示す判定処理の詳細を示すフローチャートである
【図9】図1に示す記憶部に格納される係数テーブルを示す図である。
【図10】図3に示す検出窓領域の窓画像及び変更窓画像の一致率と乗算値とを示す表である。
【図11】図3に示す検出窓領域の窓画像及び変更窓画像を示す図である。
【図12】本発明の第2の実施の形態による物体検出装置が実行する判定処理の結果を示す図である。
【図13】本発明の第2の実施の形態による物体検出装置が実行する判定処理のフローチャートである。
【発明を実施するための形態】
【0020】
以下、図面を参照しつつ、本発明の実施の形態について説明する。
【0021】
[第1の実施の形態]
{全体構成}
図1は、本発明の第1の実施の形態に係る物体検出装置1の機能ブロック図である。物体検出装置1は、カメラ(図示省略)が撮影した撮影画像から、検出対象物が存在するか否かを判定する装置である。物体検出装置1は、カメラとともに車両に搭載される。本実施の形態では、検出対象物は、人物(歩行者)である。図1に示すように、物体検出装置1は、検出窓設定部11と、画像処理部12と、度合い算出部13と、判定部14とを備える。
【0022】
検出窓設定部11は、カメラから画像データ20を入力する。画像データ20は、カメラが撮影した画像であり、フレーム単位で入力される。検出窓設定部11は、カメラから入力されたフレーム(以下、撮影画像21と呼ぶ。)に対して検出窓領域を設定する。検出窓領域は、撮影画像21に歩行者が存在するか否かを判定する単位領域である。検出窓領域内の画像が撮影画像21から切り出されることによって、通常窓画像22が生成される。
【0023】
画像処理部12は、撮影画像21に対して、予め設定されている内容の画像処理を行うことにより、変更撮影画像を生成する。たとえば、画像処理部12は、撮影画像21を所定の倍率で拡大する。画像処理部12は、拡大された撮影画像21(変更撮影画像)から検出窓領域の画像を切り出すことにより、変更窓画像23を作成する。検出窓領域のサイズは、撮影画像21が拡大される際に、変更されないため、通常窓画像22のサイズと、変更窓画像23のサイズは同じである。
【0024】
なお、変更窓画像23の数は、一つであってもよいし、複数であってもよい。複数の変更窓画像23,23,・・・が生成される場合、画像処理部12は、変更窓画像23の数に応じた複数種類の画像処理を実行する。3つの変更窓画像23が作成される場合、画像処理部12は、たとえば、撮影画像21に対して、拡大処理、縮小処理、及び回転処理をそれぞれ実行することにより、3つの変更撮影画像を生成する。画像処理部12は、3つの変更画像から検出窓領域の画像を切り出すことにより、それぞれの画像処理の内容に応じた3つの変更窓画像23,23,・・・を作成する。
【0025】
度合い算出部13は、記憶部15に格納されている特徴データ51に基づいて、通常窓画像22及び変更窓画像23に歩行者がそれぞれ存在する可能性を示す度合い(以下、「一致率」と呼ぶ。)を算出する。変更窓画像23が複数である場合、度合い算出部13は、それぞれの変更窓画像の一致率を算出する。一致率の算出には、たとえば、ニューラルネットワークや、サポートベクターマシンなどのアルゴリズムが用いられる。これらのアルゴリズムを用いる場合、度合い算出部13は、歩行者が存在する画像から歩行者の特徴を抽出して、特徴データ51を予め作成しておく必要がある。
【0026】
判定部14は、通常窓画像22の一致率及び変更窓画像23の一致率に基づいて、検出窓領域に歩行者が存在するか否かを判定する。具体的は、判定部14は、通常窓画像22の一致率と、変更窓画像23の一致率に対して重み付け係数52を乗算する。重み付け係数52は、検出窓領域の位置に関係なく、通常窓画像22と変更窓画像23のそれぞれに対して同じ値が設定される。変更窓画像23が複数である場合、重み付け係数52は、それぞれの変更窓画像23を生成するために行われた画像処理の内容に応じて設定される。判定部14は、各窓画像の乗算値を合計した値に基づいて、検出窓領域に歩行者が存在するか否かを判定する。判定結果は、結果データ25として判定部14から出力される。
【0027】
記憶部15は、たとえば、ハードディスク装置やフラッシュメモリなどである。記憶部15は、特徴データ51及び各窓画像の重み付け係数52を格納する。
【0028】
{物体検出装置1の動作}
以下、物体検出装置1の動作について、3種類の変更窓画像が生成される場合を例にして説明する。図2は、物体検出装置1の動作を示すフローチャートである。物体検出装置1は、カメラからフレーム(撮影画像21)が入力されるたびに、図2に示す処理を実行する。
【0029】
検出窓設定部11は、撮影画像21に対して、検出窓領域を一つ設定する(ステップS1)。検出窓領域は、撮影画像21を左上から右下へ走査するように設定される。検出窓領域は、他の検出窓領域と一部の領域が重複することが望ましい。これにより、歩行者が撮影画像21に存在する場合、歩行者を漏れなく検出することが可能となる。
【0030】
図3は、撮影画像21の一例を示す図である。歩行者が縦に長いため、検出窓領域41〜43は、縦長の長方形となる。以下、特に説明のない限り、ステップS1において、検出窓領域41が設定された場合を例にして、物体検出装置1の動作を説明する。
【0031】
図4は、図3に示す撮影画像21から切り出された窓画像を示す図である。検出窓設定部11は、撮影画像21から検出窓領域41に設定された領域内の画像を通常窓画像32として切り出す(ステップS2)。
【0032】
図5は、画像処理部12によって作成される変更窓画像の一例を示す図である。画像処理部12は、撮影画像21に対して、拡大、縮小及び回転の画像処理を行う(ステップS3)。画像処理部12は、拡大、縮小及び回転されたそれぞれの撮影画像21から、拡大窓画像33A、縮小窓画像33B及び回転窓画像33Cを切り出す(ステップS4)。以下、拡大窓画像33A、縮小窓画像33B、及び回転窓画像33Cを総称して、「変更窓画像33」と呼ぶ。
【0033】
ステップS3,S4の処理について具体的に説明する。画像処理部12は、撮影画像21の中心Oを原点とした絶対座標を用いて、撮影画像21の画素の位置と、検出窓領域41の位置とを特定している。画像処理部12は、回転窓画像33Cを生成する場合、検出窓領域41の中心である点41Pを中心にして、撮影画像21の各画素を右方向に30度回転させる。回転処理が行われた撮影画像21の画素の位置は変化するが、画像処理部12は、検出窓領域41の各頂点の座標を回転させない。この結果、図4及び図5に示すように、回転窓画像33Cとして切り出される領域は、通常窓画像32として切り出される領域と異なることになる。
【0034】
拡大窓画像33Aを生成する場合、画像処理部12は、点41Pを中心にして、撮影画像21の拡大処理を行う。画像処理部12は、拡大された撮影画像21から検出窓領域41の画像を切り出すことにより、拡大窓画像33Aを生成する。縮小窓画像33Bを生成する場合、画像処理部12は、点41Pを中心にして、撮影画像21の縮小処理を行う。画像処理部12は、縮小された撮影画像21から検出窓領域41の画像を切り出すことにより、縮小窓画像33Bを生成する。この結果、図4及び図5に示すように、拡大窓画像33Aとして切り出される領域は、検出窓領域41よりも狭くなる。逆に、縮小窓画像33Bとして切り出される領域は、検出窓領域41よりも広くなる。なお、画像処理部12は、通常窓画像32に対して拡大、縮小及び回転処理を行うことにより、変更窓画像33を生成してもよい。
【0035】
次に、度合い算出部13は、それぞれの窓画像内に歩行者が存在する可能性を示す度合い(一致率)を算出する(ステップS5)。一致率は、各窓画像に対してニューラルネットワーク処理を行うことにより算出される。本実施の形態において、一致率は、0以上1以下の数値である。一致率は、歩行者が窓画像に存在する可能性が高いほど、1に近づく。
【0036】
度合い算出部13は、ニューラルネットワークを用いて一致率を算出するにあたり、特徴データ51を前もって生成しておく必要がある。ここで、特徴データ51の生成について説明する。
【0037】
度合い検出部13は、図2に示す処理を開始する前に、検出窓領域41と同一のサイズであり、歩行者(人物)を含むサンプル画像データ55,55,・・・(図6及び図7参照)を入力する。サンプル画像データ55として、正規化された画像データのグループか、正規化されていない画像データのグループのいずれかが入力される。度合い算出部13は、入力されたサンプル画像データ55に基づいて、検出窓領域41と同サイズの画像における人物のパターンを学習する。度合い算出部13は、複数のサンプル画像データ55,55,・・・に基づく学習結果を、一つの特徴データ51として記憶部15に格納する。
【0038】
図6は、正規化されているサンプル画像データ55を示す図である。図6に示すサンプル画像データ55は、人物の大きさ、頭の位置、足の位置などがほぼ同じである。正規化されているサンプル画像データ55に基づいて特徴データ51が生成されていた場合、度合い算出部13が、人物を含まない窓画像に対して、1に近い一致率を算出すること防ぐことができる。
【0039】
図7は、正規化されていないサンプル画像データ55を示す図である。図7に示すサンプル画像データ55では、歩行者の大きさや、画像内における歩行者の位置がばらついている。このようなサンプル画像データ55に基づいて特徴データ51が生成されていた場合、度合い算出部13は、通常窓画像32内における歩行者の位置や大きさに関係なく、通常窓画像32に対する一致率として、1に近い値を算出することができる。
【0040】
しかし、正規化されているサンプル画像データ55と、正規化されていないサンプル画像データ55とのいずれを用いて特徴データ51を生成しても、誤検出を完全に防ぐことは困難である。たとえば、撮影画像21の撮影場所から遠い位置にいる歩行者は、小さく撮影される。正規化されているサンプル画像データ55に基づく特徴データ51を用いた場合、度合い算出部13は、遠くに位置する歩行者を含む窓画像に対して、1に近い一致率を算出することができない。これに対して、正規化されていないサンプル画像データ55に基づく特徴データ51を用いた場合、度合い判定部13は、遠くに位置する歩行者を含む窓画像に対して、1に近い一致率を算出することができる。しかし、正規化されていないサンプル画像データ55は、様々な人物のパターンを含んでいる。このため、度合い判定部13は、人物を含まない窓画像に対して、1に近い一致率を算出する可能性がある。
【0041】
したがって、通常窓画像32のみを用いて検出窓領域41における歩行者の有無を判定した場合、サンプル画像データ55が正規化されているか否かに関わらず、歩行者の誤検出が発生する場合がある。物体検出装置1は、通常窓画像32の一致率に加えて、変更窓画像33の一致率を用いることにより、検出窓領域41に歩行者が存在するか否かを高い精度で判定することができる。この理由については、後述する。
【0042】
判定部14は、通常窓画像32及び変更窓画像33のそれぞれの一致率に基づいて、検出窓領域41に歩行者が存在するか否かを判定する(ステップS6)。ステップS6の詳細は、後述する。
【0043】
次に、検出窓設定部11は、撮影画像21に対する検出窓領域の設定が終了したか否かを確認する(ステップS7)。検出窓領域の設定が終了していない場合(ステップS7においてNo)、検出窓設定部11は、新たな検出窓領域を設定するために、ステップS1に戻る。一方、検出窓領域の設定が終了した場合(ステップS7においてYes)、物体検出装置1は、図2に示す処理を終了する。物体検出装置1は、新たなフレーム(撮影画像21)が入力された場合、図2に示す処理を再び実行する。
【0044】
{判定処理(ステップS6)}
以下、判定処理(ステップS6)の詳細を説明する。図8は、判定処理(ステップS6)のフローチャートである。
【0045】
判定部14は、記憶部15から重み付け係数52を取得する(ステップS611)。図9は、重み付け係数52が設定された係数テーブル53の一例を示す図である。図9に示すように、係数テーブル53には、画像処理の内容(拡大、縮小及び回転)に応じた重み付け係数52,52,・・・が設定されている。重み付け係数52は、各窓画像から算出された一致率に乗算される係数である。画像処理なしの窓画像(通常窓画像32)に対して設定された重み付け係数52は、1.8である。拡大窓画像33A、縮小窓画像33B及び回転窓画像33Cに対して設定された重み付け係数は、それぞれ、1.4、1.4及び1.2である。図9に示す例では、通常窓画像32の一致率の重み付け係数が最大となっているが、それぞれの重み付け係数を適宜変更してもよい。
【0046】
判定部14は、各窓画像の一致率に対して重み付け係数を乗算して、乗算値を算出する(ステップS612)。図10に、検出窓領域41〜43に対応する窓画像から算出された一致率と乗算値の具体例を示す。各窓画像の数値(カッコなし)は、各窓画像の乗算値である。窓画像のカッコ内の数値は、各窓画像の一致率である。判定部14は、検出窓領域41の窓画像ごとに算出された乗算値を合計する(ステップS613)。図10に示す合計値は、各窓画像の乗算値の合計値である。
【0047】
判定部14は、検出窓領域41における歩行者の有無を判定するために、予め設定されたしきい値と、各窓画像の乗算値を合計した合計値(4.63)とを比較する(ステップS614)。判定部14に設定されたしきい値が、3.5であるとする。この場合、検出窓領域41の合計値(4.63)が閾値よりも大きいため(ステップS614においてYes)、判定部14は、検出窓領域41に検出対象物(歩行者)が存在すると判定する(ステップS615)。
【0048】
一方、歩行者を含まない検出窓領域43に対して判定処理を行った場合、合計値は、しきい値(3.5)よりも小さくなる(ステップS614においてNo)。この場合、判定部14は、検出窓領域43に歩行者が存在しないと判定する(ステップS616)。
【0049】
次に、検出窓領域42を例にして、物体検出装置1が、検出窓領域に歩行者が存在するか否かを高精度で判定できる理由を説明する。
【0050】
図11に、検出窓領域42における窓画像34と、拡大窓画像35Aとを示す。拡大窓画像35Aにおける歩行者42Aのサイズは、正規化されたサンプル画像データ55(図6参照)内の人物のサイズとほぼ同じである。このため、検出窓領域42の一致率(図10参照)において、拡大窓画像35Aの一致率が最大(0.95)となっていることが分かる。一方、窓画像34において、歩行者42Aは、正規化されたサンプル画像データ55(図6参照)内の人物よりも小さい。このため、窓画像34の一致率は、中間的な値(0.55)となっている。これは、検出窓領域42に歩行者が存在するか否かを窓画像34のみを用いて判断した場合、検出窓領域42に歩行者が存在しないと判定されるおそれがある。しかし、物体検出装置1は、窓画像34だけでなく、拡大窓画像35Aを用いて、歩行者が検出窓領域42に存在するか否かを判定する。これにより、検出窓領域42に歩行者が存在するか否かを高精度で判定することが可能となる。
【0051】
図3に示していないが、撮影画像21において、検出窓領域42よりも大きいサイズの歩行者が存在する場合がある。この場合、物体検出装置1は、1に近い一致率を窓画像から算出することはできない。しかし、撮影画像21を縮小することにより生成された縮小窓画像は、歩行者の全身を含む可能性がある。この場合、物体検出装置1は、縮小窓画像から、1に近い一致率を得ることができる。したがって、窓画像34のみからでは歩行者を検出できない場合であっても、歩行者が検出窓領域に存在するか否かを高精度で検出できる。
【0052】
また、正規化されていないサンプル画像データ55,55,・・・は、図7に示すように、人物のパターンが一定でない。このため、正規化されていないサンプル画像データ55に基づく特徴データ51により算出された場合、歩行者を含む窓画像の一致率が中間的な値(たとえば、0.4〜0.6程度)となる可能性がある。この場合、一つの窓画像だけでは、歩行者が存在するか否かを判定することが困難である。しかし、物体検出装置1は、複数の窓画像の一致率を用いることにより、検出窓領域に歩行者が存在するか否かを高精度で判定できる。
【0053】
[第2の実施の形態]
以下、本発明の第2の実施の形態について説明する。第2の実施の形態については、第1の実施の形態と異なる部分を中心に説明する。
【0054】
第2の実施の形態では、判定処理(ステップS6、図2参照)の内容が異なる。判定部14は、判定処理(ステップS6)において、歩行者が存在するか否かを窓画像ごとに判定し、各窓画像の判定結果に基づいて、検出窓領域に歩行者がいるか否かを最終的に判断する。
【0055】
以下、検出窓領域41における歩行者の有無を判定する場合を例にして、本実施の形態について詳しく説明する。図12は、本実施の形態における、各窓画像の一致率と、各検出窓領域の判定結果とを示す図である。図12に示す各窓画像の一致率は、図10に示す値と同じである。
【0056】
物体検出装置1は、図2に示すステップS1〜S5の処理を実行して、検出窓領域41の各窓画像(通常窓画像32及び変更窓画像33)の一致率を算出する。そして、判定部14は、判定処理(ステップS6)として、図13に示す処理を実行する。
【0057】
図13は、第2の実施の形態における判定処理の内容を示すフローチャートである。以下、検出窓領域41における歩行者の有無を判定する場合を例に説明する。判定部14は、通常窓画像32及び変更窓画像33の中から、判定対象の窓画像を指定し(ステップS621)、指定した窓画像に歩行者が存在するか否かを判定する(ステップS622)。判定部14には、歩行者が存在するか否かを窓画像ごとに判定するためのしきい値が予め設定されている。判定部14は、しきい値と、指定した窓画像の一致率とを比較して、各窓画像に歩行者が存在するか否かを判定する。
【0058】
ここで、しきい値が0.8に設定され、通常窓画像32が判定対象に指定されている場合を考える。判定部14は、通常窓画像32の一致率(0・95)がしきい値を超えているため(ステップS622においてYes)、歩行者が通常窓画像32に存在すると判定する(ステップS623)。
【0059】
判定部14は、検出窓領域41における歩行者の有無を判定するために生成された窓画像(通常窓画像32及び変更窓画像33)の全てを指定したか否かを確認する(ステップS625)。全ての窓画像を指定していない場合(ステップS625においてNo)、判定部14は、ステップS621の処理に戻る。これにより、ステップS622の処理が、全ての窓画像に対して行われる。図12に示すように、拡大窓画像33A、縮小窓画像33B及び回転窓画像33Cの一致率は、それぞれ、0.75、0.65及び0.80であり、しきい値以下である(ステップS622においてNo)。このため、判定部14は、歩行者が拡大窓画像33A、縮小窓画像33B及び回転窓画像33Cに存在しないと判定する(ステップS624)。
【0060】
全ての窓画像が指定されていた場合(ステップS625においてYes)、判定部14は、通常窓画像32及び変更窓画像33の判定結果に基づいて、検出窓領域41に歩行者が存在するか否かを判定する。具体的には、判定部14は、歩行者が存在すると判定された窓画像が一つ以上ある場合(ステップS626においてYes)、歩行者が検出窓領域41に存在すると判定する(ステップS627)。歩行者が存在すると判定された窓画像が一つもない場合(ステップS626においてNo)、判定部14は、検出窓領域41に歩行者が存在しないと判定する(ステップS628)。
【0061】
なお、判定部14は、ステップS626において、他の判定基準を用いて、検出窓領域41に歩行者が存在するか否かを判定してもよい。たとえば、歩行者が存在すると判定された窓画像の数が過半数以上である場合、判定部14は、検出窓領域41に歩行者が存在すると判定してもよい。あるいは、歩行者が存在しないと判定された窓画像が一つでも存在する場合、判定部14は、歩行者が検出窓領域41に存在しないと判定してもよい。また、判定部14は、ステップS622の処理において、画像処理の内容に応じたしきい値を設定していてもよい。また、判定部14は、S622において、検出窓領域41の通常窓画像22及び変更窓画像23の一致率に重み付け係数52を乗算してもよい。この場合、乗算値が1以上の値となる場合があるため、乗算値に応じたしきい値が設定される。
【0062】
以上説明したように、第2の実施の形態において、判定部14は、歩行者が存在するか否かを判定する処理を窓画像ごとに行い、各窓画像の判定結果に基づいて、検出窓領域に歩行者が存在するか否かを最終的に判定する。第2の実施の形態の物体検出装置1は、各窓画像の一致率に重み付け係数を乗算することなく、検出窓領域に歩行者が存在するか否かを判定することが可能となる。
【0063】
上記第1及び第2の実施の形態において、画像処理部12は、ステップS3(図2参照)の処理で、拡大率の異なる複数の変更窓画像33を生成してもよい。判定部14は、第1の実施の形態の判定処理(ステップS6)を実行する場合、拡大率に応じて異なる重み付け係数52を設定してもよい。縮小及び回転処理についても同様である。
【0064】
上記第1及び第2の実施の形態では、ステップS3の画像処理の例として、拡大、縮小、及び回転処理を説明した。物体検出装置1は、上記の画像処理の他にも、様々な画像処理を実行してもよい。以下、画像処理部12が撮影画像21に対して実行する画像処理の具体例を説明する。
【0065】
画像処理部12は、撮影画像21に対してホワイトノイズを付与して変更窓画像を生成してもよい。また、画像処理部12は、ホワイトノイズだけでなく、ガウスノイズなど様々なノイズを付与し、ノイズの種類に応じた変更窓画像23を生成してもよい。あるいは、画像処理部12は、複数の強度のノイズを撮影画像21に設定し、各強度に対応する複数の変更窓画像23を生成してもよい。
【0066】
画像処理部12は、撮影画像21に対して、台形変換処理を実行してもよい。台形変換処理は、撮影画像のサイズを変換する処理の一種であり、撮影画像21の縮小率(または拡大率)を縦軸方向に沿って変化させる処理である。台形変換処理においても、縮小率の変化率が異なる複数の変更窓画像を生成してもよい。
【0067】
画像処理部12は、撮影画像21の中心を通る縦軸(または横軸)を中心にして、撮影画像21を反転させてもよい。つまり、画像処理部12は、撮影画像21を通る任意の直線を中心にして、撮影画像21を反転する処理を行ってもよい。
【0068】
画像処理部12は、撮影画像21のコントラストを変更する画像処理を行ってもよい。具体的には、画像処理部12は、撮影画像21の画素の輝度分布(ヒストグラム)を変形して、画素の平均値や分散値を調整する。これにより、夜間に撮影された画像であっても、歩行者が存在するか否かを高精度で検出することができる。
【0069】
上記第1及び第2の実施の形態では、物体検出装置1が、カメラ(図示省略)が撮影した撮影画像21から歩行者を検出する処理をリアルタイムで実行する例を説明した。しかし、物体検出装置1は、ハードディスク装置などの記憶装置に格納されている画像に対して、上記の物体検出処理を行ってもよい。
【符号の説明】
【0070】
1 物体検出装置
11 検出窓設定部
12 画像処理部
13 度合い算出部
14 判定部
15 記憶部
【技術分野】
【0001】
本発明は、検出対象物が画像に存在するか否かを判定する物体検出装置に関する。
【背景技術】
【0002】
カメラが撮影した画像などに検出対象物が存在するか否かを判定する物体検出装置が存在する。物体検出装置は、たとえば、カメラとともに車両に搭載される。物体検出装置は、カメラが撮影した画像に人物が存在するか否かを判定することにより、運転手に歩行者の存在を知らせることができる。物体検出装置を利用することにより、車両の運転手は、車両の外部の状況を容易に把握することができる。
【0003】
物体検出装置は、検出対象物が画像に存在するか否かを判定するために、学習機能を有するニューラルネットワークや、サポートベクターマシンなどのアルゴリズムを使用する。物体検出装置は、入力された画像に対して、物体を検出する領域(検出窓領域)を設定する。物体検出装置は、上記のアルゴリズムが実装されたプログラムを用いて、検出対象物が検出窓領域の画像に含まれているか否かを判定する。
【0004】
たとえば、特許文献1の物体検出装置は、人を含む画像と、人以外を含む画像とを用いて類似度ヒストグラムを作成し、類似度ヒストグラムを用いて、検出窓領域の画像に検出対象物が存在しているか否かを判定する。
【0005】
特許文献2の画像認識装置は、車載カメラが撮影した画像から歩行者を検出する。具体的には、特許文献2の画像認識装置は、ニューラルネットワークを用いて画像から歩行者の可能性がある候補物体を検出した場合、候補物体と歩行者を構成する頭及び手足などと比較することにより、候補物体が歩行者であるか否かを判定する。
【0006】
特許文献3の画像認識装置は、検出対象の領域が一部重複する複数の検出窓を設定し、認識対象(歩行者など)の基準パターンを用いて、各検出窓に対するパターンマッチングを実行する。特許文献3の画像認識装置は、パターンマッチングが複数回実行された領域については、各パターンマッチングの結果を積分する。積分結果に基づいて、歩行者の位置が特定される。
【先行技術文献】
【特許文献】
【0007】
【特許文献1】特開2010−170201号公報
【特許文献2】特開2008−21034号公報
【特許文献3】特開2009−70344号公報
【発明の概要】
【発明が解決しようとする課題】
【0008】
上述のように、特許文献1〜3に記載された従来の装置は、カメラが撮影した画像に設定された探索窓に検出対象物が存在するか否かを判定する際に、検出対象物の特徴を示す特徴データを用いる。たとえば、ニューラルネットワークを用いて検出対象物の有無を判定する場合、従来の装置は、検出対象物を含むサンプル画像に基づいて検出対象の物体の特徴を学習して、特徴データを生成する。
【0009】
しかし、従来の装置が様々なサンプル画像を用いて学習しても、検出窓領域内に存在する検出対象物を検出できないことがある。たとえば、検出対象物が大きすぎて検出窓領域の範囲に収まらない場合、従来の装置は、検出対象物が検出窓領域に存在すると判定することができない。
【0010】
本発明は、入力された画像から、検出対象物を高い精度で検出することができる物体検出装置を提供することを目的とする。
【課題を解決するための手段】
【0011】
上記課題を解決するため、請求項1記載の発明は、入力画像から検出対象物を検出する物体検出装置であって、前記入力画像に対して前記検出対象物を検出する検出窓領域を設定する検出窓設定部と、前記入力画像の検出窓領域から通常窓画像を切り出すとともに、前記入力画像に対して所定の画像処理を行うことにより変更入力画像を生成し、前記変更入力画像の検出窓領域から変更窓画像を切り出す画像処理部と、前記検出対象物の特徴を示す特徴データに基づいて、前記検出対象物が前記通常窓画像に存在する可能性を示す第1の度合いと、前記検出対象物が前記変更窓画像に存在する可能性を示す第2の度合いとを算出する度合い算出部と、前記第1の度合いと前記第2の度合いとに基づいて、前記検出窓領域に前記検出対象物が存在するか否かを判定する判定部と、を備える。
【0012】
請求項2記載の発明は、請求項1に記載の物体検出装置であって、前記所定の画像処理は、画像処理の内容が相互に異なる第1の画像処理及び第2の画像処理、を含み、前記画像処理部は、前記入力画像に対して前記第1の画像処理を行うことにより第1変更窓画像を生成し、前記入力画像に対して前記第2の画像処理を行うことにより第2変更窓画像を生成し、前記度合い算出部は、前記第1変更窓画像に前記検出対象物が存在する可能性を示す第2の度合いと、前記第2変更窓画像に前記検出対象物が存在する可能性を示す第2の度合いとを算出する。
【0013】
請求項3記載の発明は、請求項1または請求項2に記載の物体検出装置であって、前記判定部は、前記第1の度合いに基づいて前記通常窓画像に前記検出対象物が存在するか否かを判定し、前記第2の度合いに基づいて前記変更窓画像に前記検出対象物が存在するか否かを判定する個別画像判定部と、前記通常窓画像に対する判定結果と、前記変更窓画像に対する判定結果とに基づいて、前記検出窓領域に前記検出対象物が存在するか否かを判定する最終判定部と、を含む。
【0014】
請求項4記載の発明は、請求項1または請求項2に記載の物体検出装置であって、前記判定部は、前記第1の度合いと前記第2の度合いとの合計値を算出する合計値算出部と、前記合計値に基づいて、前記検出窓領域に前記検出対象物が存在するか否かを判定する最終判定部と、を備える。
【0015】
請求項5記載の発明は、請求項4に記載の物体検出装置であって、前記合計値算出部は、前記通常窓画像に対して設定された重み付け係数を前記第1の度合いに乗算した乗算値と、前記変更窓画像に対して設定された重み付け係数を前記第2の度合いに乗算した乗算値とを合計する。
【0016】
請求項6記載の発明は、請求項4に記載の物体検出装置であって、前記所定の画像処理は、画像処理の内容が相互に異なる第1の画像処理及び第2の画像処理、を含み、前記画像処理部は、前記入力画像に対して前記第1の画像処理を行うことにより第1変更窓画像を生成し、前記入力画像に対して前記第2の画像処理を行うことにより第2変更窓画像を生成し、前記度合い算出部は、前記第1変更窓画像に前記検出対象物が存在する可能性を示す第2の度合いと、前記第2変更窓画像に前記検出対象物が存在する可能性を示す第2の度合いとを算出し、前記重み付け係数は、前記第1変更窓画像及び前記第2変更窓画像のそれぞれに対して設定される。
【0017】
請求項7記載の発明は、入力画像から検出対象物を検出する物体検出方法であって、前記入力画像に対して前記検出対象物を検出する検出窓領域を設定するステップと、前記入力画像の検出窓領域から通常窓画像を切り出すとともに、前記入力画像に対して所定の画像処理を行うことにより変更入力画像を生成し、前記変更入力画像の検出窓領域から変更窓画像を切り出すステップと、前記検出対象物の特徴を示す特徴データに基づいて、前記検出対象物が前記通常窓画像に存在する可能性を示す第1の度合いと、前記検出対象物が前記変更窓画像に存在する可能性を示す第2の度合いとを算出するステップと、前記第1の度合いと前記第2の度合いとに基づいて、前記検出窓領域に前記検出対象物が存在するか否かを判定するステップと、を備える。
【発明の効果】
【0018】
本発明の物体検出装置は、入力画像の検出窓領域から通常窓画像を切り出すとともに、入力画像の検出窓領域に対して所定の画像処理を行って変更窓画像を生成する。物体検出装置は、通常窓画像に検出対象物が存在する可能性を示す第1の度合いを算出し、変更窓画像に検出対象物が存在する可能性を示す第2の度合いを算出する。第1の度合いと第2の度合いとに基づいて、検出対象物が検出窓領域に存在するか否かが判定される。このように、物体検出装置は、一つの検出窓領域から複数の窓画像を生成するため、検出窓領域に検出対象物が存在するか否かを高精度で判定することができる。
【図面の簡単な説明】
【0019】
【図1】本発明の第1の実施の形態による物体検出装置の構成を示す機能ブロック図である。
【図2】図1に示す物体検出装置の動作を示すフローチャートである。
【図3】図1に示す物体検出装置に入力される撮影画像の一例を示す図である。
【図4】図3に示す撮影画像から切り出される窓画像を示す図である。
【図5】図3に示す撮影画像から生成される変更窓画像を示す図である。
【図6】図1に示す記憶部に格納される特徴データの生成に用いられるサンプル画像データの一例を示す図である。
【図7】図1に示す記憶部に格納される特徴データの生成に用いられるサンプル画像データの一例を示す図である。
【図8】図2に示す判定処理の詳細を示すフローチャートである
【図9】図1に示す記憶部に格納される係数テーブルを示す図である。
【図10】図3に示す検出窓領域の窓画像及び変更窓画像の一致率と乗算値とを示す表である。
【図11】図3に示す検出窓領域の窓画像及び変更窓画像を示す図である。
【図12】本発明の第2の実施の形態による物体検出装置が実行する判定処理の結果を示す図である。
【図13】本発明の第2の実施の形態による物体検出装置が実行する判定処理のフローチャートである。
【発明を実施するための形態】
【0020】
以下、図面を参照しつつ、本発明の実施の形態について説明する。
【0021】
[第1の実施の形態]
{全体構成}
図1は、本発明の第1の実施の形態に係る物体検出装置1の機能ブロック図である。物体検出装置1は、カメラ(図示省略)が撮影した撮影画像から、検出対象物が存在するか否かを判定する装置である。物体検出装置1は、カメラとともに車両に搭載される。本実施の形態では、検出対象物は、人物(歩行者)である。図1に示すように、物体検出装置1は、検出窓設定部11と、画像処理部12と、度合い算出部13と、判定部14とを備える。
【0022】
検出窓設定部11は、カメラから画像データ20を入力する。画像データ20は、カメラが撮影した画像であり、フレーム単位で入力される。検出窓設定部11は、カメラから入力されたフレーム(以下、撮影画像21と呼ぶ。)に対して検出窓領域を設定する。検出窓領域は、撮影画像21に歩行者が存在するか否かを判定する単位領域である。検出窓領域内の画像が撮影画像21から切り出されることによって、通常窓画像22が生成される。
【0023】
画像処理部12は、撮影画像21に対して、予め設定されている内容の画像処理を行うことにより、変更撮影画像を生成する。たとえば、画像処理部12は、撮影画像21を所定の倍率で拡大する。画像処理部12は、拡大された撮影画像21(変更撮影画像)から検出窓領域の画像を切り出すことにより、変更窓画像23を作成する。検出窓領域のサイズは、撮影画像21が拡大される際に、変更されないため、通常窓画像22のサイズと、変更窓画像23のサイズは同じである。
【0024】
なお、変更窓画像23の数は、一つであってもよいし、複数であってもよい。複数の変更窓画像23,23,・・・が生成される場合、画像処理部12は、変更窓画像23の数に応じた複数種類の画像処理を実行する。3つの変更窓画像23が作成される場合、画像処理部12は、たとえば、撮影画像21に対して、拡大処理、縮小処理、及び回転処理をそれぞれ実行することにより、3つの変更撮影画像を生成する。画像処理部12は、3つの変更画像から検出窓領域の画像を切り出すことにより、それぞれの画像処理の内容に応じた3つの変更窓画像23,23,・・・を作成する。
【0025】
度合い算出部13は、記憶部15に格納されている特徴データ51に基づいて、通常窓画像22及び変更窓画像23に歩行者がそれぞれ存在する可能性を示す度合い(以下、「一致率」と呼ぶ。)を算出する。変更窓画像23が複数である場合、度合い算出部13は、それぞれの変更窓画像の一致率を算出する。一致率の算出には、たとえば、ニューラルネットワークや、サポートベクターマシンなどのアルゴリズムが用いられる。これらのアルゴリズムを用いる場合、度合い算出部13は、歩行者が存在する画像から歩行者の特徴を抽出して、特徴データ51を予め作成しておく必要がある。
【0026】
判定部14は、通常窓画像22の一致率及び変更窓画像23の一致率に基づいて、検出窓領域に歩行者が存在するか否かを判定する。具体的は、判定部14は、通常窓画像22の一致率と、変更窓画像23の一致率に対して重み付け係数52を乗算する。重み付け係数52は、検出窓領域の位置に関係なく、通常窓画像22と変更窓画像23のそれぞれに対して同じ値が設定される。変更窓画像23が複数である場合、重み付け係数52は、それぞれの変更窓画像23を生成するために行われた画像処理の内容に応じて設定される。判定部14は、各窓画像の乗算値を合計した値に基づいて、検出窓領域に歩行者が存在するか否かを判定する。判定結果は、結果データ25として判定部14から出力される。
【0027】
記憶部15は、たとえば、ハードディスク装置やフラッシュメモリなどである。記憶部15は、特徴データ51及び各窓画像の重み付け係数52を格納する。
【0028】
{物体検出装置1の動作}
以下、物体検出装置1の動作について、3種類の変更窓画像が生成される場合を例にして説明する。図2は、物体検出装置1の動作を示すフローチャートである。物体検出装置1は、カメラからフレーム(撮影画像21)が入力されるたびに、図2に示す処理を実行する。
【0029】
検出窓設定部11は、撮影画像21に対して、検出窓領域を一つ設定する(ステップS1)。検出窓領域は、撮影画像21を左上から右下へ走査するように設定される。検出窓領域は、他の検出窓領域と一部の領域が重複することが望ましい。これにより、歩行者が撮影画像21に存在する場合、歩行者を漏れなく検出することが可能となる。
【0030】
図3は、撮影画像21の一例を示す図である。歩行者が縦に長いため、検出窓領域41〜43は、縦長の長方形となる。以下、特に説明のない限り、ステップS1において、検出窓領域41が設定された場合を例にして、物体検出装置1の動作を説明する。
【0031】
図4は、図3に示す撮影画像21から切り出された窓画像を示す図である。検出窓設定部11は、撮影画像21から検出窓領域41に設定された領域内の画像を通常窓画像32として切り出す(ステップS2)。
【0032】
図5は、画像処理部12によって作成される変更窓画像の一例を示す図である。画像処理部12は、撮影画像21に対して、拡大、縮小及び回転の画像処理を行う(ステップS3)。画像処理部12は、拡大、縮小及び回転されたそれぞれの撮影画像21から、拡大窓画像33A、縮小窓画像33B及び回転窓画像33Cを切り出す(ステップS4)。以下、拡大窓画像33A、縮小窓画像33B、及び回転窓画像33Cを総称して、「変更窓画像33」と呼ぶ。
【0033】
ステップS3,S4の処理について具体的に説明する。画像処理部12は、撮影画像21の中心Oを原点とした絶対座標を用いて、撮影画像21の画素の位置と、検出窓領域41の位置とを特定している。画像処理部12は、回転窓画像33Cを生成する場合、検出窓領域41の中心である点41Pを中心にして、撮影画像21の各画素を右方向に30度回転させる。回転処理が行われた撮影画像21の画素の位置は変化するが、画像処理部12は、検出窓領域41の各頂点の座標を回転させない。この結果、図4及び図5に示すように、回転窓画像33Cとして切り出される領域は、通常窓画像32として切り出される領域と異なることになる。
【0034】
拡大窓画像33Aを生成する場合、画像処理部12は、点41Pを中心にして、撮影画像21の拡大処理を行う。画像処理部12は、拡大された撮影画像21から検出窓領域41の画像を切り出すことにより、拡大窓画像33Aを生成する。縮小窓画像33Bを生成する場合、画像処理部12は、点41Pを中心にして、撮影画像21の縮小処理を行う。画像処理部12は、縮小された撮影画像21から検出窓領域41の画像を切り出すことにより、縮小窓画像33Bを生成する。この結果、図4及び図5に示すように、拡大窓画像33Aとして切り出される領域は、検出窓領域41よりも狭くなる。逆に、縮小窓画像33Bとして切り出される領域は、検出窓領域41よりも広くなる。なお、画像処理部12は、通常窓画像32に対して拡大、縮小及び回転処理を行うことにより、変更窓画像33を生成してもよい。
【0035】
次に、度合い算出部13は、それぞれの窓画像内に歩行者が存在する可能性を示す度合い(一致率)を算出する(ステップS5)。一致率は、各窓画像に対してニューラルネットワーク処理を行うことにより算出される。本実施の形態において、一致率は、0以上1以下の数値である。一致率は、歩行者が窓画像に存在する可能性が高いほど、1に近づく。
【0036】
度合い算出部13は、ニューラルネットワークを用いて一致率を算出するにあたり、特徴データ51を前もって生成しておく必要がある。ここで、特徴データ51の生成について説明する。
【0037】
度合い検出部13は、図2に示す処理を開始する前に、検出窓領域41と同一のサイズであり、歩行者(人物)を含むサンプル画像データ55,55,・・・(図6及び図7参照)を入力する。サンプル画像データ55として、正規化された画像データのグループか、正規化されていない画像データのグループのいずれかが入力される。度合い算出部13は、入力されたサンプル画像データ55に基づいて、検出窓領域41と同サイズの画像における人物のパターンを学習する。度合い算出部13は、複数のサンプル画像データ55,55,・・・に基づく学習結果を、一つの特徴データ51として記憶部15に格納する。
【0038】
図6は、正規化されているサンプル画像データ55を示す図である。図6に示すサンプル画像データ55は、人物の大きさ、頭の位置、足の位置などがほぼ同じである。正規化されているサンプル画像データ55に基づいて特徴データ51が生成されていた場合、度合い算出部13が、人物を含まない窓画像に対して、1に近い一致率を算出すること防ぐことができる。
【0039】
図7は、正規化されていないサンプル画像データ55を示す図である。図7に示すサンプル画像データ55では、歩行者の大きさや、画像内における歩行者の位置がばらついている。このようなサンプル画像データ55に基づいて特徴データ51が生成されていた場合、度合い算出部13は、通常窓画像32内における歩行者の位置や大きさに関係なく、通常窓画像32に対する一致率として、1に近い値を算出することができる。
【0040】
しかし、正規化されているサンプル画像データ55と、正規化されていないサンプル画像データ55とのいずれを用いて特徴データ51を生成しても、誤検出を完全に防ぐことは困難である。たとえば、撮影画像21の撮影場所から遠い位置にいる歩行者は、小さく撮影される。正規化されているサンプル画像データ55に基づく特徴データ51を用いた場合、度合い算出部13は、遠くに位置する歩行者を含む窓画像に対して、1に近い一致率を算出することができない。これに対して、正規化されていないサンプル画像データ55に基づく特徴データ51を用いた場合、度合い判定部13は、遠くに位置する歩行者を含む窓画像に対して、1に近い一致率を算出することができる。しかし、正規化されていないサンプル画像データ55は、様々な人物のパターンを含んでいる。このため、度合い判定部13は、人物を含まない窓画像に対して、1に近い一致率を算出する可能性がある。
【0041】
したがって、通常窓画像32のみを用いて検出窓領域41における歩行者の有無を判定した場合、サンプル画像データ55が正規化されているか否かに関わらず、歩行者の誤検出が発生する場合がある。物体検出装置1は、通常窓画像32の一致率に加えて、変更窓画像33の一致率を用いることにより、検出窓領域41に歩行者が存在するか否かを高い精度で判定することができる。この理由については、後述する。
【0042】
判定部14は、通常窓画像32及び変更窓画像33のそれぞれの一致率に基づいて、検出窓領域41に歩行者が存在するか否かを判定する(ステップS6)。ステップS6の詳細は、後述する。
【0043】
次に、検出窓設定部11は、撮影画像21に対する検出窓領域の設定が終了したか否かを確認する(ステップS7)。検出窓領域の設定が終了していない場合(ステップS7においてNo)、検出窓設定部11は、新たな検出窓領域を設定するために、ステップS1に戻る。一方、検出窓領域の設定が終了した場合(ステップS7においてYes)、物体検出装置1は、図2に示す処理を終了する。物体検出装置1は、新たなフレーム(撮影画像21)が入力された場合、図2に示す処理を再び実行する。
【0044】
{判定処理(ステップS6)}
以下、判定処理(ステップS6)の詳細を説明する。図8は、判定処理(ステップS6)のフローチャートである。
【0045】
判定部14は、記憶部15から重み付け係数52を取得する(ステップS611)。図9は、重み付け係数52が設定された係数テーブル53の一例を示す図である。図9に示すように、係数テーブル53には、画像処理の内容(拡大、縮小及び回転)に応じた重み付け係数52,52,・・・が設定されている。重み付け係数52は、各窓画像から算出された一致率に乗算される係数である。画像処理なしの窓画像(通常窓画像32)に対して設定された重み付け係数52は、1.8である。拡大窓画像33A、縮小窓画像33B及び回転窓画像33Cに対して設定された重み付け係数は、それぞれ、1.4、1.4及び1.2である。図9に示す例では、通常窓画像32の一致率の重み付け係数が最大となっているが、それぞれの重み付け係数を適宜変更してもよい。
【0046】
判定部14は、各窓画像の一致率に対して重み付け係数を乗算して、乗算値を算出する(ステップS612)。図10に、検出窓領域41〜43に対応する窓画像から算出された一致率と乗算値の具体例を示す。各窓画像の数値(カッコなし)は、各窓画像の乗算値である。窓画像のカッコ内の数値は、各窓画像の一致率である。判定部14は、検出窓領域41の窓画像ごとに算出された乗算値を合計する(ステップS613)。図10に示す合計値は、各窓画像の乗算値の合計値である。
【0047】
判定部14は、検出窓領域41における歩行者の有無を判定するために、予め設定されたしきい値と、各窓画像の乗算値を合計した合計値(4.63)とを比較する(ステップS614)。判定部14に設定されたしきい値が、3.5であるとする。この場合、検出窓領域41の合計値(4.63)が閾値よりも大きいため(ステップS614においてYes)、判定部14は、検出窓領域41に検出対象物(歩行者)が存在すると判定する(ステップS615)。
【0048】
一方、歩行者を含まない検出窓領域43に対して判定処理を行った場合、合計値は、しきい値(3.5)よりも小さくなる(ステップS614においてNo)。この場合、判定部14は、検出窓領域43に歩行者が存在しないと判定する(ステップS616)。
【0049】
次に、検出窓領域42を例にして、物体検出装置1が、検出窓領域に歩行者が存在するか否かを高精度で判定できる理由を説明する。
【0050】
図11に、検出窓領域42における窓画像34と、拡大窓画像35Aとを示す。拡大窓画像35Aにおける歩行者42Aのサイズは、正規化されたサンプル画像データ55(図6参照)内の人物のサイズとほぼ同じである。このため、検出窓領域42の一致率(図10参照)において、拡大窓画像35Aの一致率が最大(0.95)となっていることが分かる。一方、窓画像34において、歩行者42Aは、正規化されたサンプル画像データ55(図6参照)内の人物よりも小さい。このため、窓画像34の一致率は、中間的な値(0.55)となっている。これは、検出窓領域42に歩行者が存在するか否かを窓画像34のみを用いて判断した場合、検出窓領域42に歩行者が存在しないと判定されるおそれがある。しかし、物体検出装置1は、窓画像34だけでなく、拡大窓画像35Aを用いて、歩行者が検出窓領域42に存在するか否かを判定する。これにより、検出窓領域42に歩行者が存在するか否かを高精度で判定することが可能となる。
【0051】
図3に示していないが、撮影画像21において、検出窓領域42よりも大きいサイズの歩行者が存在する場合がある。この場合、物体検出装置1は、1に近い一致率を窓画像から算出することはできない。しかし、撮影画像21を縮小することにより生成された縮小窓画像は、歩行者の全身を含む可能性がある。この場合、物体検出装置1は、縮小窓画像から、1に近い一致率を得ることができる。したがって、窓画像34のみからでは歩行者を検出できない場合であっても、歩行者が検出窓領域に存在するか否かを高精度で検出できる。
【0052】
また、正規化されていないサンプル画像データ55,55,・・・は、図7に示すように、人物のパターンが一定でない。このため、正規化されていないサンプル画像データ55に基づく特徴データ51により算出された場合、歩行者を含む窓画像の一致率が中間的な値(たとえば、0.4〜0.6程度)となる可能性がある。この場合、一つの窓画像だけでは、歩行者が存在するか否かを判定することが困難である。しかし、物体検出装置1は、複数の窓画像の一致率を用いることにより、検出窓領域に歩行者が存在するか否かを高精度で判定できる。
【0053】
[第2の実施の形態]
以下、本発明の第2の実施の形態について説明する。第2の実施の形態については、第1の実施の形態と異なる部分を中心に説明する。
【0054】
第2の実施の形態では、判定処理(ステップS6、図2参照)の内容が異なる。判定部14は、判定処理(ステップS6)において、歩行者が存在するか否かを窓画像ごとに判定し、各窓画像の判定結果に基づいて、検出窓領域に歩行者がいるか否かを最終的に判断する。
【0055】
以下、検出窓領域41における歩行者の有無を判定する場合を例にして、本実施の形態について詳しく説明する。図12は、本実施の形態における、各窓画像の一致率と、各検出窓領域の判定結果とを示す図である。図12に示す各窓画像の一致率は、図10に示す値と同じである。
【0056】
物体検出装置1は、図2に示すステップS1〜S5の処理を実行して、検出窓領域41の各窓画像(通常窓画像32及び変更窓画像33)の一致率を算出する。そして、判定部14は、判定処理(ステップS6)として、図13に示す処理を実行する。
【0057】
図13は、第2の実施の形態における判定処理の内容を示すフローチャートである。以下、検出窓領域41における歩行者の有無を判定する場合を例に説明する。判定部14は、通常窓画像32及び変更窓画像33の中から、判定対象の窓画像を指定し(ステップS621)、指定した窓画像に歩行者が存在するか否かを判定する(ステップS622)。判定部14には、歩行者が存在するか否かを窓画像ごとに判定するためのしきい値が予め設定されている。判定部14は、しきい値と、指定した窓画像の一致率とを比較して、各窓画像に歩行者が存在するか否かを判定する。
【0058】
ここで、しきい値が0.8に設定され、通常窓画像32が判定対象に指定されている場合を考える。判定部14は、通常窓画像32の一致率(0・95)がしきい値を超えているため(ステップS622においてYes)、歩行者が通常窓画像32に存在すると判定する(ステップS623)。
【0059】
判定部14は、検出窓領域41における歩行者の有無を判定するために生成された窓画像(通常窓画像32及び変更窓画像33)の全てを指定したか否かを確認する(ステップS625)。全ての窓画像を指定していない場合(ステップS625においてNo)、判定部14は、ステップS621の処理に戻る。これにより、ステップS622の処理が、全ての窓画像に対して行われる。図12に示すように、拡大窓画像33A、縮小窓画像33B及び回転窓画像33Cの一致率は、それぞれ、0.75、0.65及び0.80であり、しきい値以下である(ステップS622においてNo)。このため、判定部14は、歩行者が拡大窓画像33A、縮小窓画像33B及び回転窓画像33Cに存在しないと判定する(ステップS624)。
【0060】
全ての窓画像が指定されていた場合(ステップS625においてYes)、判定部14は、通常窓画像32及び変更窓画像33の判定結果に基づいて、検出窓領域41に歩行者が存在するか否かを判定する。具体的には、判定部14は、歩行者が存在すると判定された窓画像が一つ以上ある場合(ステップS626においてYes)、歩行者が検出窓領域41に存在すると判定する(ステップS627)。歩行者が存在すると判定された窓画像が一つもない場合(ステップS626においてNo)、判定部14は、検出窓領域41に歩行者が存在しないと判定する(ステップS628)。
【0061】
なお、判定部14は、ステップS626において、他の判定基準を用いて、検出窓領域41に歩行者が存在するか否かを判定してもよい。たとえば、歩行者が存在すると判定された窓画像の数が過半数以上である場合、判定部14は、検出窓領域41に歩行者が存在すると判定してもよい。あるいは、歩行者が存在しないと判定された窓画像が一つでも存在する場合、判定部14は、歩行者が検出窓領域41に存在しないと判定してもよい。また、判定部14は、ステップS622の処理において、画像処理の内容に応じたしきい値を設定していてもよい。また、判定部14は、S622において、検出窓領域41の通常窓画像22及び変更窓画像23の一致率に重み付け係数52を乗算してもよい。この場合、乗算値が1以上の値となる場合があるため、乗算値に応じたしきい値が設定される。
【0062】
以上説明したように、第2の実施の形態において、判定部14は、歩行者が存在するか否かを判定する処理を窓画像ごとに行い、各窓画像の判定結果に基づいて、検出窓領域に歩行者が存在するか否かを最終的に判定する。第2の実施の形態の物体検出装置1は、各窓画像の一致率に重み付け係数を乗算することなく、検出窓領域に歩行者が存在するか否かを判定することが可能となる。
【0063】
上記第1及び第2の実施の形態において、画像処理部12は、ステップS3(図2参照)の処理で、拡大率の異なる複数の変更窓画像33を生成してもよい。判定部14は、第1の実施の形態の判定処理(ステップS6)を実行する場合、拡大率に応じて異なる重み付け係数52を設定してもよい。縮小及び回転処理についても同様である。
【0064】
上記第1及び第2の実施の形態では、ステップS3の画像処理の例として、拡大、縮小、及び回転処理を説明した。物体検出装置1は、上記の画像処理の他にも、様々な画像処理を実行してもよい。以下、画像処理部12が撮影画像21に対して実行する画像処理の具体例を説明する。
【0065】
画像処理部12は、撮影画像21に対してホワイトノイズを付与して変更窓画像を生成してもよい。また、画像処理部12は、ホワイトノイズだけでなく、ガウスノイズなど様々なノイズを付与し、ノイズの種類に応じた変更窓画像23を生成してもよい。あるいは、画像処理部12は、複数の強度のノイズを撮影画像21に設定し、各強度に対応する複数の変更窓画像23を生成してもよい。
【0066】
画像処理部12は、撮影画像21に対して、台形変換処理を実行してもよい。台形変換処理は、撮影画像のサイズを変換する処理の一種であり、撮影画像21の縮小率(または拡大率)を縦軸方向に沿って変化させる処理である。台形変換処理においても、縮小率の変化率が異なる複数の変更窓画像を生成してもよい。
【0067】
画像処理部12は、撮影画像21の中心を通る縦軸(または横軸)を中心にして、撮影画像21を反転させてもよい。つまり、画像処理部12は、撮影画像21を通る任意の直線を中心にして、撮影画像21を反転する処理を行ってもよい。
【0068】
画像処理部12は、撮影画像21のコントラストを変更する画像処理を行ってもよい。具体的には、画像処理部12は、撮影画像21の画素の輝度分布(ヒストグラム)を変形して、画素の平均値や分散値を調整する。これにより、夜間に撮影された画像であっても、歩行者が存在するか否かを高精度で検出することができる。
【0069】
上記第1及び第2の実施の形態では、物体検出装置1が、カメラ(図示省略)が撮影した撮影画像21から歩行者を検出する処理をリアルタイムで実行する例を説明した。しかし、物体検出装置1は、ハードディスク装置などの記憶装置に格納されている画像に対して、上記の物体検出処理を行ってもよい。
【符号の説明】
【0070】
1 物体検出装置
11 検出窓設定部
12 画像処理部
13 度合い算出部
14 判定部
15 記憶部
【特許請求の範囲】
【請求項1】
入力画像から検出対象物を検出する物体検出装置であって、
前記入力画像に対して前記検出対象物を検出する検出窓領域を設定する検出窓設定部と、
前記入力画像の検出窓領域から通常窓画像を切り出すとともに、前記入力画像に対して所定の画像処理を行うことにより変更入力画像を生成し、前記変更入力画像の検出窓領域から変更窓画像を切り出す画像処理部と、
前記検出対象物の特徴を示す特徴データに基づいて、前記検出対象物が前記通常窓画像に存在する可能性を示す第1の度合いと、前記検出対象物が前記変更窓画像に存在する可能性を示す第2の度合いとを算出する度合い算出部と、
前記第1の度合いと前記第2の度合いとに基づいて、前記検出窓領域に前記検出対象物が存在するか否かを判定する判定部と、
を備える物体検出装置。
【請求項2】
請求項1に記載の物体検出装置であって、
前記所定の画像処理は、
画像処理の内容が相互に異なる第1の画像処理及び第2の画像処理、
を含み、
前記画像処理部は、前記入力画像に対して前記第1の画像処理を行うことにより第1変更窓画像を生成し、前記入力画像に対して前記第2の画像処理を行うことにより第2変更窓画像を生成し、
前記度合い算出部は、前記第1変更窓画像に前記検出対象物が存在する可能性を示す第2の度合いと、前記第2変更窓画像に前記検出対象物が存在する可能性を示す第2の度合いとを算出する物体検出装置。
【請求項3】
請求項1または請求項2に記載の物体検出装置であって、
前記判定部は、
前記第1の度合いに基づいて前記通常窓画像に前記検出対象物が存在するか否かを判定し、前記第2の度合いに基づいて前記変更窓画像に前記検出対象物が存在するか否かを判定する個別画像判定部と、
前記通常窓画像に対する判定結果と、前記変更窓画像に対する判定結果とに基づいて、前記検出窓領域に前記検出対象物が存在するか否かを判定する最終判定部と、
を含む物体検出装置。
【請求項4】
請求項1または請求項2に記載の物体検出装置であって、
前記判定部は、
前記第1の度合いと前記第2の度合いとの合計値を算出する合計値算出部と、
前記合計値に基づいて、前記検出窓領域に前記検出対象物が存在するか否かを判定する最終判定部と、
を備える物体検出装置。
【請求項5】
請求項4に記載の物体検出装置であって、
前記合計値算出部は、前記通常窓画像に対して設定された重み付け係数を前記第1の度合いに乗算した乗算値と、前記変更窓画像に対して設定された重み付け係数を前記第2の度合いに乗算した乗算値とを合計する物体検出装置。
【請求項6】
請求項4に記載の物体検出装置であって、
前記所定の画像処理は、
画像処理の内容が相互に異なる第1の画像処理及び第2の画像処理、
を含み、
前記画像処理部は、前記入力画像に対して前記第1の画像処理を行うことにより第1変更窓画像を生成し、前記入力画像に対して前記第2の画像処理を行うことにより第2変更窓画像を生成し、
前記度合い算出部は、前記第1変更窓画像に前記検出対象物が存在する可能性を示す第2の度合いと、前記第2変更窓画像に前記検出対象物が存在する可能性を示す第2の度合いとを算出し、
前記重み付け係数は、前記第1変更窓画像及び前記第2変更窓画像のそれぞれに対して設定される物体検出装置。
【請求項7】
入力画像から検出対象物を検出する物体検出方法であって、
前記入力画像に対して前記検出対象物を検出する検出窓領域を設定するステップと、
前記入力画像の検出窓領域から通常窓画像を切り出すとともに、前記入力画像に対して所定の画像処理を行うことにより変更入力画像を生成し、前記変更入力画像の検出窓領域から変更窓画像を切り出すステップと、
前記検出対象物の特徴を示す特徴データに基づいて、前記検出対象物が前記通常窓画像に存在する可能性を示す第1の度合いと、前記検出対象物が前記変更窓画像に存在する可能性を示す第2の度合いとを算出するステップと、
前記第1の度合いと前記第2の度合いとに基づいて、前記検出窓領域に前記検出対象物が存在するか否かを判定するステップと、
を備える物体検出方法。
【請求項1】
入力画像から検出対象物を検出する物体検出装置であって、
前記入力画像に対して前記検出対象物を検出する検出窓領域を設定する検出窓設定部と、
前記入力画像の検出窓領域から通常窓画像を切り出すとともに、前記入力画像に対して所定の画像処理を行うことにより変更入力画像を生成し、前記変更入力画像の検出窓領域から変更窓画像を切り出す画像処理部と、
前記検出対象物の特徴を示す特徴データに基づいて、前記検出対象物が前記通常窓画像に存在する可能性を示す第1の度合いと、前記検出対象物が前記変更窓画像に存在する可能性を示す第2の度合いとを算出する度合い算出部と、
前記第1の度合いと前記第2の度合いとに基づいて、前記検出窓領域に前記検出対象物が存在するか否かを判定する判定部と、
を備える物体検出装置。
【請求項2】
請求項1に記載の物体検出装置であって、
前記所定の画像処理は、
画像処理の内容が相互に異なる第1の画像処理及び第2の画像処理、
を含み、
前記画像処理部は、前記入力画像に対して前記第1の画像処理を行うことにより第1変更窓画像を生成し、前記入力画像に対して前記第2の画像処理を行うことにより第2変更窓画像を生成し、
前記度合い算出部は、前記第1変更窓画像に前記検出対象物が存在する可能性を示す第2の度合いと、前記第2変更窓画像に前記検出対象物が存在する可能性を示す第2の度合いとを算出する物体検出装置。
【請求項3】
請求項1または請求項2に記載の物体検出装置であって、
前記判定部は、
前記第1の度合いに基づいて前記通常窓画像に前記検出対象物が存在するか否かを判定し、前記第2の度合いに基づいて前記変更窓画像に前記検出対象物が存在するか否かを判定する個別画像判定部と、
前記通常窓画像に対する判定結果と、前記変更窓画像に対する判定結果とに基づいて、前記検出窓領域に前記検出対象物が存在するか否かを判定する最終判定部と、
を含む物体検出装置。
【請求項4】
請求項1または請求項2に記載の物体検出装置であって、
前記判定部は、
前記第1の度合いと前記第2の度合いとの合計値を算出する合計値算出部と、
前記合計値に基づいて、前記検出窓領域に前記検出対象物が存在するか否かを判定する最終判定部と、
を備える物体検出装置。
【請求項5】
請求項4に記載の物体検出装置であって、
前記合計値算出部は、前記通常窓画像に対して設定された重み付け係数を前記第1の度合いに乗算した乗算値と、前記変更窓画像に対して設定された重み付け係数を前記第2の度合いに乗算した乗算値とを合計する物体検出装置。
【請求項6】
請求項4に記載の物体検出装置であって、
前記所定の画像処理は、
画像処理の内容が相互に異なる第1の画像処理及び第2の画像処理、
を含み、
前記画像処理部は、前記入力画像に対して前記第1の画像処理を行うことにより第1変更窓画像を生成し、前記入力画像に対して前記第2の画像処理を行うことにより第2変更窓画像を生成し、
前記度合い算出部は、前記第1変更窓画像に前記検出対象物が存在する可能性を示す第2の度合いと、前記第2変更窓画像に前記検出対象物が存在する可能性を示す第2の度合いとを算出し、
前記重み付け係数は、前記第1変更窓画像及び前記第2変更窓画像のそれぞれに対して設定される物体検出装置。
【請求項7】
入力画像から検出対象物を検出する物体検出方法であって、
前記入力画像に対して前記検出対象物を検出する検出窓領域を設定するステップと、
前記入力画像の検出窓領域から通常窓画像を切り出すとともに、前記入力画像に対して所定の画像処理を行うことにより変更入力画像を生成し、前記変更入力画像の検出窓領域から変更窓画像を切り出すステップと、
前記検出対象物の特徴を示す特徴データに基づいて、前記検出対象物が前記通常窓画像に存在する可能性を示す第1の度合いと、前記検出対象物が前記変更窓画像に存在する可能性を示す第2の度合いとを算出するステップと、
前記第1の度合いと前記第2の度合いとに基づいて、前記検出窓領域に前記検出対象物が存在するか否かを判定するステップと、
を備える物体検出方法。
【図1】
【図2】
【図3】
【図4】
【図5】
【図6】
【図7】
【図8】
【図9】
【図10】
【図11】
【図12】
【図13】
【図2】
【図3】
【図4】
【図5】
【図6】
【図7】
【図8】
【図9】
【図10】
【図11】
【図12】
【図13】
【公開番号】特開2013−58160(P2013−58160A)
【公開日】平成25年3月28日(2013.3.28)
【国際特許分類】
【出願番号】特願2011−197405(P2011−197405)
【出願日】平成23年9月9日(2011.9.9)
【出願人】(591128453)株式会社メガチップス (322)
【Fターム(参考)】
【公開日】平成25年3月28日(2013.3.28)
【国際特許分類】
【出願日】平成23年9月9日(2011.9.9)
【出願人】(591128453)株式会社メガチップス (322)
【Fターム(参考)】
[ Back to top ]