物体検出装置
【課題】対象物の検出処理を高速化することができる物体検出装置を提供する。
【解決手段】検出処理部４は、撮像装置１０で撮影された画像信号の各フレームの画像を、複数のサイズの探索窓を用いて走査することにより、各フレームの画像に含まれている対象物を検出する。探索窓生成部５は、探索窓のサイズを設定し、検出処理部４が対象物を検出した際の対象物の位置情報に対応させて、対象物を検出した際に用いた探索窓のサイズを保持部６に保持させる。検出処理部４は、保持部６に保持された位置情報が示す位置を走査する際には、複数のサイズの全てを用いることなく、位置情報に対応して保持されたサイズを基準とした限定したサイズを用いる。
【解決手段】検出処理部４は、撮像装置１０で撮影された画像信号の各フレームの画像を、複数のサイズの探索窓を用いて走査することにより、各フレームの画像に含まれている対象物を検出する。探索窓生成部５は、探索窓のサイズを設定し、検出処理部４が対象物を検出した際の対象物の位置情報に対応させて、対象物を検出した際に用いた探索窓のサイズを保持部６に保持させる。検出処理部４は、保持部６に保持された位置情報が示す位置を走査する際には、複数のサイズの全てを用いることなく、位置情報に対応して保持されたサイズを基準とした限定したサイズを用いる。
【発明の詳細な説明】
【技術分野】
【０００１】
本発明は、撮像装置で撮影した画像信号に含まれる人物等の対象物を検出する物体検出装置に関する。
【背景技術】
【０００２】
近年、撮像装置で撮影した画像信号に含まれる人物や車両等の対象物を、対象物の輪郭等の特徴に基づいて検出する物体検出装置が提案されている。この種の物体検出装置においては、撮影画像上で探索窓を順次移動させて撮影画像を走査することにより対象物を検出するのが一般的である。特許文献１には、探索窓（ウィンドウ）を用いて対象物である障害物を計測することが記載されている。非特許文献１には、勾配方向ヒストグラム（HOG）と称される特徴量に基づいて対象物を検出する物体検出技術が記載されている。
【０００３】
対象物を検出するための探索窓は検出する対象物の大きさに合わせた大きさとすることが必要である。撮像装置が、撮像装置を水平方向に回動させて撮影領域を水平方向に移動させるパン、撮像装置の垂直方向の角度を変化させて撮影領域を垂直方向に移動させるチルト、被写体を拡大・縮小するズームが可能な場合には、検出しようとする対象物の大きさは種々変化することとなる。従って、パン，チルト，ズームを行う撮像装置で撮影した画像信号に含まれる対象物を検出するには、小さな探索窓から大きな検索窓まで種々の大きさの探索窓を用いて撮影画像を順次走査することが必要となる。
【先行技術文献】
【特許文献】
【０００４】
【特許文献１】特開２００８−３０９６３７号公報
【非特許文献】
【０００５】
【非特許文献１】藤吉弘亘、「一般物体認識のための局所特徴量（SIFTとHOG） Gradient-Based Local Features for Generic Object Recognition」、PCSJ/IMPS2008 ナイトセッション
【発明の概要】
【発明が解決しようとする課題】
【０００６】
上記のように、パン，チルト，ズームを行う撮像装置で撮影した画像信号に含まれる対象物を検出するには、種々の大きさの探索窓を用いて撮影画像を走査しなければならないので、対象物を検出するまでにかなりの時間を要してしまう。そこで、対象物を検出するまでの時間を短縮することが求められている。
【０００７】
本発明はこのような要望に対応するため、対象物の検出処理を高速化することができる物体検出装置を提供することを目的とする。
【課題を解決するための手段】
【０００８】
本発明は、上述した従来の技術の課題を解決するため、撮像装置（１０）で撮影された画像信号の各フレームの画像を、前記画像との相対的なサイズが異なる複数のサイズの探索窓を用いて走査することにより、前記各フレームの画像に含まれている対象物を検出する検出処理部（４）と、前記検出処理部が前記画像を走査する際に用いる探索窓の前記画像との相対的なサイズを設定し、前記検出処理部が対象物を検出した際の前記対象物の位置情報に対応させて、前記対象物を検出した際に用いた探索窓のサイズを保持部に保持させる探索窓生成部（５）とを備え、前記検出処理部は、前記保持部に保持された位置情報が示す位置を走査する際には、対象物を検出する際に用いる探索窓のサイズとして、前記複数のサイズの全てを用いることなく、前記位置情報に対応して保持されたサイズを基準とした限定したサイズを用いることを特徴とする物体検出装置（２０）を提供する。
【０００９】
上記の構成において、前記探索窓生成部は、前記位置情報として、前記画像を複数のブロックに分割した場合の前記対象物が位置するブロックの位置を示すブロック座標を前記保持部に保持させることが好ましい。
【００１０】
上記の構成において、前記検出処理部は、前記撮像装置におけるパン，チルト，ズームの少なくとも１つが操作されている最中には、前記探索窓のサイズとして前記複数のサイズの全てを用いて前記各フレームの画像を走査することが好ましい。
【発明の効果】
【００１１】
本発明の物体検出装置によれば、対象物の検出処理を高速化することができる。
【図面の簡単な説明】
【００１２】
【図１】本発明の物体検出装置の一実施形態を示すブロック図である。
【図２】一実施形態で用いる探索窓サイズを示す図である。
【図３】探索窓を用いた画像の走査を説明するための図である。
【図４】探索窓の移動及びサイズ拡大を説明するための図である。
【図５】一実施形態で用いるブロック座標を説明するための図である。
【図６】対象物が複数のフレームに渡って移動していく状態を示す図である。
【図７】一実施形態の動作を説明するための図である。
【図８】フレームＦ１の画像を示す図である。
【図９】フレームＦ２の画像を示す図である。
【図１０】フレームＦ３の画像を示す図である。
【図１１】部分探索窓サイズ走査と全探索窓サイズ走査とを説明するための図である。
【図１２】フレームＦ４の画像を示す図である。
【図１３】フレームＦ５の画像を示す図である。
【発明を実施するための形態】
【００１３】
以下、本発明の物体検出装置の一実施形態について、添付図面を参照して説明する。図１において、撮像装置１０は、操作部１，駆動部２，撮像部３を備える。物体検出装置２０は、検出処理部４，探索窓生成部５，保持部６を備える。撮像装置１０と物体検出装置２０とを筐体内に一体的に設けた構成であってもよく、撮像装置１０と物体検出装置２０とを別体とし、両者を接続するような構成であってもよい。
【００１４】
操作部１は、撮像装置１０におけるパン，チルト，ズームの少なくとも１つを操作するためのボタン，レバー，キー等の操作機構を有している。操作機構としては、ジョイスティック，キーボード等任意である。パン，チルト，ズームの少なくとも１つを操作するため数値を入力するものであってもよい。操作部１を撮像装置１０の外部に設けてもよい。操作部１は、パン，チルト，ズームそれぞれの操作信号Ｓopを駆動部２に供給する。
【００１５】
駆動部２は、操作部１によってパンの操作がなされた場合には、撮像装置１０を水平方向に回動させて撮影領域を水平方向に移動させる。駆動部２は、操作部１によってチルトの操作がなされた場合には、撮像装置１０の垂直方向の角度を変化させて撮影領域を垂直方向に移動させる。駆動部２は、操作部１によってズームの操作がなされた場合には、撮像部３が有している複数のレンズの間隔を調整することによって被写体を拡大または縮小させる。駆動部２は、図示していないモータを用いてパン，チルト，ズームの駆動を行えばよい。
【００１６】
操作部１によってパン，チルト，ズームの少なくとも１つが操作されると、撮像部３が撮影している撮影領域が変化することになる。駆動部２は、操作部１によってパン，チルト，ズームの少なくとも１つが操作された場合には、撮影領域が変化していることを示す変化信号Ｓchを後述する探索窓生成部５に供給する。変化信号Ｓchは、パン，チルト，ズームの操作が開始した時点で例えばハイの信号が発生し、操作が終了した時点でハイからローになる信号でよい。
【００１７】
撮像部３は、撮影している被写体の画像信号Ｓimを検出処理部４に供給する。探索窓生成部５は後に詳述する探索窓を表す探索窓信号Ｓswを生成して、検出処理部４に入力する。検出処理部４は、入力された探索窓信号Ｓswが示す探索窓を用いて画像信号Ｓimの各フレームの画像を走査する。探索窓生成部５は、図２に示すような探索窓サイズを示すテーブルを有している。検出処理部４には、探索窓生成部５から図２のいずれかの探索窓サイズの探索窓を表す探索窓信号Ｓswが入力される。検出処理部４は入力された探索窓サイズの探索窓を用いて画像を走査する。
【００１８】
図３及び図４を用いて、検出処理部４における探索窓を用いた画像の走査の基本的な動作について説明する。図３は、画像信号Ｓimにおける所定のフレームＦの画像内に探索の対象となっている対象物ＯＢが存在している例である。まず、最も小さい探索窓である図２の探索窓サイズが１の探索窓Ｓw1を用いて、例えば左上の角を原点（０，０）として左から右へと画像を走査していく。このとき、図４（Ａ）に示すように、数画素（例えば５画素）ずつ探索窓Ｓw1を順次移動させていく。探索窓Ｓw1が右端部に到達したら、図４（Ｂ）に示すように、探索窓Ｓw1を下方向に数画素ずらして、図４（Ａ）と同様に探索窓Ｓw1を右方向に順次移動させていく。
【００１９】
探索窓Ｓw1でフレームＦの画像全てを走査したら、図４（Ｃ）に示すように、探索窓Ｓw1の次の大きさである探索窓サイズが２の探索窓Ｓw2を用いて、図４（Ａ），（Ｂ）と同様に左から右、上から下へと画像を走査していく。同様に、探索窓の大きさを順次大きくして画像を走査していく。なお、図４（Ａ）〜（Ｃ）では、理解を容易にするため、探索窓Ｓw1，Ｓw2をフレームＦの上端部や左端部から離れた位置に示しているが、上記のように、探索窓Ｓw1，Ｓw2及びこれ以降の大きさの探索窓を原点（０，０）から順次移動させていく。なお、ここでは、左上の角を原点としたが、左下を原点として上方向に走査してもよい。
【００２０】
以上のようにして探索窓を順次大きくしてフレームＦの画像を走査していくと、図３に示すように、所定の大きさの探索窓Ｓwiによって対象物ＯＢが検出される。検出処理部４は、対象物ＯＢが探索窓Ｓwiの中心に位置する状態で、探索窓原点Ｐorgの座標を検出する。検出処理部４が対象物ＯＢを検出する方法は、非特許文献１に記載の方法等、任意の方法を用いればよい。検出処理部４は、探索窓原点Ｐorgの座標が、フレームＦを複数のブロックに分割した場合のどのブロックに含まれるかを示すブロック座標を示すブロック座標信号Ｓbkを生成する。
【００２１】
図５を用いてブロック座標について説明する。フレームＦは例えば水平７２０画素、垂直４８０画素の画像である。この画像を一例として水平８０画素、垂直６０画素のブロックＢＫに分割する。垂直方向の１〜８のブロック番号、水平方向に１〜９のブロック番号を付し、各ブロックＢＫは垂直方向のブロック番号と水平方向のブロック番号とのブロック座標で表すことができる。図５の例では、探索窓原点Ｐorgの座標はブロック座標（３，２）のブロックＢＫに含まれている。図５の場合、検出処理部４は、ブロック座標（３，２）を示すブロック座標信号Ｓbkを生成する。
【００２２】
検出処理部４は、以上のようにして対象物ＯＢを検出したら、対象物ＯＢを検出したことを示す検出フラグＦdetとブロック座標信号Ｓbkを探索窓生成部５に供給する。探索窓生成部５は、ブロック座標信号Ｓbkと、検出フラグＦdetが発生したときに用いた探索窓サイズを示す探索窓サイズ信号Ｓszを保持部６に供給する。保持部６は所定のメモリで構成され、ブロック座標信号Ｓbkと探索窓サイズ信号Ｓszとを組にして保持する。保持部６としてＳＲＡＭを用いた場合には、ブロック座標信号Ｓbkが示すブロック座標をアドレスとし、探索窓サイズ信号Ｓszをデータとして書き込むようにしてもよい。このようにして、保持部６には、どのブロックＢＫの位置で、どの大きさの探索窓の対象物ＯＢが検出されたかの情報が蓄積されることになる。
【００２３】
探索窓原点Ｐorgの座標をブロック座標に変換することにより、探索窓原点Ｐorgの座標を示す信号を保持する場合と比較して、保持部６のメモリ容量を大幅に減らすことができる。従って、探索窓原点Ｐorgの座標をそのまま用いるより、ブロック座標に変換することが好ましい。
【００２４】
図３及び図４では、探索窓を用いた画像の走査の基本的な動作として、探索窓の大きさを順次大きくして画像を走査していくと説明したが、本実施形態では、フレームＦの画像を走査する際に、部分的な画像領域に対して、図２に示すテーブルの探索窓サイズの探索窓を一部使用しない場合がある。但し、探索窓生成部５に入力される変化信号Ｓchがハイの場合には、フレームＦの画像の全領域に対して、図２に示すテーブルで設定されている全ての探索窓サイズの探索窓を用いて画像を走査することが好ましい。全ての探索窓サイズの探索窓を用いた走査を全探索窓サイズ走査、一部の探索窓サイズの探索窓を使用しない走査を部分探索窓サイズ走査と称することとする。
【００２５】
図６は、対象物ＯＢが複数のフレームに渡って矢印方向に順次移動して、後述する各フレームで対象物ＯＢ2，ＯＢ3，ＯＢ4，ＯＢ5として存在している状態を示している。図６は、複数のフレームに渡って、対象物ＯＢが右方向へと移動しつつ、撮像装置１０へと近付いてきたような状態である。
【００２６】
図７〜図１２を用いて、図６に示すような各フレームの画像を、探索窓を用いて走査して対象物ＯＢを検出する場合の動作について説明する。図７（Ａ）は探索窓生成部５に入力される変化信号Ｓchを示している。図７（Ａ）に示すように、変化信号Ｓchは、時刻ｔ00でハイになって時刻ｔ01でローになり、時刻ｔｍでハイになっている。即ち、時刻ｔ00〜ｔ01の期間及び時刻ｔｍ以降で、パン，チルト，ズームの少なくとも１つが操作されている。図７（Ｂ）に示すように、検出処理部４は、時刻ｔ00〜ｔ01の期間内の時刻ｔ０で画像信号ＳimのフレームＦ０を取り込む。フレームＦ０は変化信号Ｓchがハイの期間のフレームであるので、全探索窓サイズ走査が行われる。
【００２７】
検出処理部４は、フレームＦ０の走査が完了すると、時刻ｔ１でフレームＦ１を取り込む。フレームＦ１の画像は図８に示すように対象物ＯＢを有していない。検出処理部４は、全探索窓サイズ走査によってフレームＦ１の画像を走査する。検出処理部４は、フレームＦ１の走査が完了すると、時刻ｔ２でフレームＦ２を取り込む。フレームＦ２の画像は図９に示すように対象物ＯＢ2を有する。検出処理部４は、全探索窓サイズ走査によってフレームＦ２の画像を走査する。全探索窓サイズ走査の結果、検出処理部４は、探索窓原点Ｐorgの座標がブロック座標（３，２）のブロックＢＫに含まれ、探索窓サイズが７である探索窓Ｓw7によって対象物ＯＢ2を検出する。
【００２８】
検出処理部４は、フレームＦ２に対して検出した検出フラグＦdetとブロック座標（３，２）を示すブロック座標信号Ｓbkを探索窓生成部５に供給する。フレームＦ２に対して検出したブロック座標信号Ｓbkをブロック座標信号Ｓbk2と称することとする。探索窓生成部５は、フレームＦ２で用いた探索窓サイズを示す探索窓サイズ信号Ｓszを生成する。フレームＦ２に対して生成した探索窓サイズ信号Ｓszを探索窓サイズ信号Ｓsz2と称することとする。探索窓サイズ信号Ｓsz2は、探索窓サイズが７であることを示している。探索窓生成部５は、ブロック座標信号Ｓbk2と探索窓サイズ信号Ｓsz2とを保持部６に供給する。
【００２９】
図７（Ｃ）は、探索窓生成部５が保持部６に供給するブロック座標信号Ｓbkと探索窓サイズ信号Ｓszとの組を示している。図７（Ｄ）は、それぞれのブロック座標信号Ｓbkと探索窓サイズ信号Ｓszとの組が保持部６に書き込まれるタイミングと読み出されるタイミングとを示している。探索窓生成部５が探索窓サイズ信号Ｓszを生成した時点でブロック座標信号Ｓbkと探索窓サイズ信号Ｓszとを保持部６に供給して、保持部６がそれらを書き込むようにしてもよいし、各フレームの走査が完了した時点で書き込むようにしてもよい。本実施形態では、各フレームの走査が完了した時点でブロック座標信号Ｓbkと探索窓サイズ信号Ｓszとを保持部６に書き込むようにしている。
【００３０】
図７（Ｄ）に示すように、フレームＦ２に対して生成したブロック座標信号Ｓbk2と探索窓サイズ信号Ｓsz2は、次のフレームＦ３が取り込まれる時刻ｔ３の直前のフレームＦ２の走査が完了した時刻ｔ２eに保持部６に書き込まれる。
【００３１】
検出処理部４は、フレームＦ２の走査が完了すると、時刻ｔ３でフレームＦ３を取り込む。これに合わせて、保持部６に保持されているブロック座標信号Ｓbk2と探索窓サイズ信号Ｓsz2とが読み出されて探索窓生成部５に供給される。図７（Ｄ）では時刻ｔ３でブロック座標信号Ｓbk2と探索窓サイズ信号Ｓsz2とを読み出すように図示しているが、フレームＦ３に取り込みタイミングと読み出しタイミングとを完全に一致させる必要はない。検出処理部４がフレームＦ３の走査を開始する時点で、ブロック座標信号Ｓbk2と探索窓サイズ信号Ｓsz2とが探索窓生成部５に入力されていればよい。
【００３２】
フレームＦ３の画像は図１０に示すように対象物ＯＢ3を有する。フレームＦ２の画像を走査する時点で探索窓生成部５には保持部６から読み出したブロック座標信号Ｓbk2と探索窓サイズ信号Ｓsz2とが入力されているので、検出処理部４は、ブロック座標（３，２）のブロックＢＫを走査する際には部分探索窓サイズ走査とし、他のブロックＢＫを走査する際には全探索窓サイズ走査によってフレームＦ３の画像を走査する。
【００３３】
図１１（Ａ），（Ｂ）を用いて、フレームＦ３の画像を走査する際に行われる部分探索窓サイズ走査と全探索窓サイズ走査とについて説明する。フレームＦ２ではブロック座標（３，２）に対して探索窓サイズが７の対象物ＯＢ2が検出されている。対象物ＯＢが人物である場合を例とし、仮に子供の身長を大人の約１／２とする。対象物ＯＢ2が大人であったとすると、子供の場合には図２に示す検出窓サイズが３を最小の大きさと想定できる。対象物ＯＢ2が子供であったとすると、大人の場合には図２に示す検出窓サイズが１１を最大の大きさと想定できる。即ち、フレームＦ２のブロック座標（３，２）のブロックＢＫで一旦探索窓サイズが７の対象物ＯＢ2が検出されたのであるから、ブロック座標（３，２）のブロックＢＫで検出窓サイズが１，２または１２以上の大きさの対象物ＯＢが検出される可能性はほとんどない。
【００３４】
そこで、検出処理部４は、フレームＦ３の画像を走査する際に、図１１（Ａ）に示すように、検出窓サイズとして１，２または１２以上を用いる場合には、ブロック座標（３，２）のブロックＢＫを走査せずスキップさせる。また、検出処理部４は、図１１（Ｂ）に示すように、検出窓サイズとして３〜１１を用いる場合には、他のブロックＢＫと同様、ブロック座標（３，２）のブロックＢＫを走査する。ブロック座標（３，２）のブロックＢＫにおいては、検出窓サイズを３〜１１のみとして走査し、他の検出窓サイズでは走査をスキップさせるので、その分だけ、フレームＦ３の画像を走査する時間が短縮される。
【００３５】
このようにして、フレームＦ３の画像を走査する際には、走査ブロック座標（３，２）のブロックＢＫでは部分探索窓サイズ走査が行われ、他のブロックＢＫでは全探索窓サイズ走査が行われる。部分探索窓サイズ走査及び全探索窓サイズ走査の結果、検出処理部４は、探索窓原点Ｐorgの座標がブロック座標（４，３）のブロックＢＫに含まれ、探索窓サイズが８である探索窓Ｓw8によって対象物ＯＢ3を検出する。
【００３６】
検出処理部４は、フレームＦ３に対して検出した検出フラグＦdetとブロック座標（４，３）を示すブロック座標信号Ｓbk3を探索窓生成部５に供給し、探索窓生成部５は、ブロック座標信号Ｓbk3と探索窓サイズが８であることを示す探索窓サイズ信号Ｓsz3とを保持部６に供給する。図７（Ｄ）に示すように、フレームＦ３に対して生成したブロック座標信号Ｓbk3と探索窓サイズ信号Ｓsz3は、次のフレームＦ４が取り込まれる時刻ｔ４の直前のフレームＦ３の走査が完了した時刻ｔ３eに保持部６に書き込まれる。保持部６には、既に書き込まれていたブロック座標信号Ｓbk2と探索窓サイズ信号Ｓsz2、及び、ブロック座標信号Ｓbk3と探索窓サイズ信号Ｓsz3が保持される。
【００３７】
同様にして、検出処理部４は、時刻ｔ４でフレームＦ４を取り込み、探索窓生成部５にはブロック座標信号Ｓbk2と探索窓サイズ信号Ｓsz2、及び、ブロック座標信号Ｓbk3と探索窓サイズ信号Ｓsz3が供給される。フレームＦ４の画像は図１２に示すように対象物ＯＢ4を有する。検出処理部４は、フレームＦ３の画像を走査する場合と同様に、ブロック座標（３，２）及びブロック座標（４，３）のブロックＢＫを走査する際には部分探索窓サイズ走査とし、他のブロックＢＫを走査する際には全探索窓サイズ走査によってフレームＦ４の画像を走査する。ブロック座標（４，３）のブロックＢＫを走査する場合には、探索窓サイズ信号Ｓsz3が示す探索窓サイズは８であるので、検出窓サイズを４〜１２のみとすればよい。
【００３８】
検出処理部４は、フレームＦ４の画像の走査の結果、探索窓原点Ｐorgの座標がブロック座標（６，５）のブロックＢＫに含まれ、探索窓サイズが１０である探索窓Ｓw10によって対象物ＯＢ4を検出する。検出処理部４は、フレームＦ４に対して検出した検出フラグＦdetとブロック座標（６，５）を示すブロック座標信号Ｓbk4を探索窓生成部５に供給し、探索窓生成部５は、ブロック座標信号Ｓbk4と探索窓サイズが１０であることを示す探索窓サイズ信号Ｓsz4とを保持部６に供給する。
【００３９】
図７（Ｄ）に示すように、フレームＦ４に対して生成したブロック座標信号Ｓbk4と探索窓サイズ信号Ｓsz4は、次のフレームＦ５が取り込まれる時刻ｔ５の直前のフレームＦ４の走査が完了した時刻ｔ４eに保持部６に書き込まれる。保持部６には、ブロック座標信号Ｓbk2と探索窓サイズ信号Ｓsz2、ブロック座標信号Ｓbk3と探索窓サイズ信号Ｓsz3、ブロック座標信号Ｓbk4と探索窓サイズ信号Ｓsz4が保持される。
【００４０】
同様にして、検出処理部４は、時刻ｔ５でフレームＦ５を取り込み、探索窓生成部５には、ブロック座標信号Ｓbk2と探索窓サイズ信号Ｓsz2、ブロック座標信号Ｓbk3と探索窓サイズ信号Ｓsz3、ブロック座標信号Ｓbk4と探索窓サイズ信号Ｓsz4が供給される。フレームＦ５の画像は図１３に示すように対象物ＯＢ5を有する。検出処理部４は、ブロック座標（３，２）とブロック座標（４，３）とブロック座標（６，５）の各ブロックＢＫを走査する際には部分探索窓サイズ走査とし、他のブロックＢＫを走査する際には全探索窓サイズ走査によってフレームＦ５の画像を走査する。ブロック座標（６，５）のブロックＢＫを走査する場合には、探索窓サイズ信号Ｓsz4が示す探索窓サイズは１０であるので、検出窓サイズを６〜１４のみとすればよい。
【００４１】
検出処理部４は、フレームＦ５の画像の走査の結果、探索窓原点Ｐorgの座標がブロック座標（８，７）のブロックＢＫに含まれ、探索窓サイズが１２である探索窓Ｓw12によって対象物ＯＢ5を検出する。検出処理部４は、フレームＦ５に対して検出した検出フラグＦdetとブロック座標（８，７）を示すブロック座標信号Ｓbk5を探索窓生成部５に供給し、探索窓生成部５は、ブロック座標信号Ｓbk5と探索窓サイズが１２であることを示す探索窓サイズ信号Ｓsz5とを保持部６に供給する。
【００４２】
図７（Ｄ）に示すように、フレームＦ５に対して生成したブロック座標信号Ｓbk5と探索窓サイズ信号Ｓsz5は、次のフレームＦ６が取り込まれる時刻ｔ６の直前のフレームＦ５の走査が完了した時刻ｔ５eに保持部６に書き込まれる。保持部６には、ブロック座標信号Ｓbk2と探索窓サイズ信号Ｓsz2、ブロック座標信号Ｓbk3と探索窓サイズ信号Ｓsz3、ブロック座標信号Ｓbk4と探索窓サイズ信号Ｓsz4、ブロック座標信号Ｓbk5と探索窓サイズ信号Ｓsz5が保持される。
【００４３】
同様にして、検出処理部４は、時刻ｔ６でフレームＦ６を取り込み、探索窓生成部５には、ブロック座標信号Ｓbk2と探索窓サイズ信号Ｓsz2、ブロック座標信号Ｓbk3と探索窓サイズ信号Ｓsz3、ブロック座標信号Ｓbk4と探索窓サイズ信号Ｓsz4、ブロック座標信号Ｓbk5と探索窓サイズ信号Ｓsz5が供給される。フレームＦ５の画像は図１３に示すように対象物ＯＢ5を有する。検出処理部４は、ブロック座標（３，２），ブロック座標（４，３），ブロック座標（６，５），ブロック座標（８，７）の各ブロックＢＫを走査する際には部分探索窓サイズ走査とし、他のブロックＢＫを走査する際には全探索窓サイズ走査によってフレームＦ６の画像を走査する。
【００４４】
ブロック座標（８，７）のブロックＢＫを走査する場合には、探索窓サイズ信号Ｓsz5が示す探索窓サイズは１２であるので、検出窓サイズを８から図２では図示を省略している１６のみとすればよい。
【００４５】
図７において、時刻ｔｎ+1まで以上と同様の動作が繰り返される。検出処理部４は、時刻ｔｎにてフレームＦｎを取り込み、フレームＦｎの画像を走査する。フレームＦｎの前のフレームまでで多くの対象物ＯＢが検出されていることから、検出処理部４が時刻ｔｎにてフレームＦｎを取り込んでから時刻ｔｎ+1にてフレームＦｎ+1を取り込むまでの時間は、全探索窓サイズ走査を行っていた期間の隣接する２フレームを取り込む時間と比較して大幅に短くなる。図７（Ｄ）では時刻ｔ６の次から時刻ｔｎ+1までの保持部６に保持されるデータを示していないが、フレームＦ６以降で対象物ＯＢがさらに検出されれば、時刻ｔｎ+1までブロック座標信号Ｓbkと探索窓サイズ信号Ｓszとの組が追加されて保持されることになる。
【００４６】
図７（Ａ）に示すように、時刻ｔｍで変化信号Ｓchがハイになる。探索窓生成部５は、変化信号Ｓchがハイになったら、保持部６で保持されているブロック座標信号Ｓbkと探索窓サイズ信号Ｓszとの組を全て消去する。検出処理部４は、時刻ｔｍ以降、全探索窓サイズ走査を行う。
【００４７】
以上の動作により、図７（Ｅ）に示すように、撮像装置１０におけるパン，チルト，ズームの少なくとも１つが操作されている最中である時刻ｔ00〜ｔ01及びそれに続く時刻ｔ01〜ｔ３では全探索窓サイズ走査、時刻ｔ３〜ｔｍでは対象物ＯＢが検出されたブロックＢＫでは部分探索窓サイズ走査、対象物ＯＢが検出されなかったブロックＢＫでは全探索窓サイズ走査となり、再びパン，チルト，ズームの少なくとも１つが操作された時刻ｔｍ以降では全探索窓サイズ走査となる。勿論、全てのブロックＢＫで対象物ＯＢが検出された場合には、変化信号Ｓchがローになっている間は、全てのブロックＢＫで部分探索窓サイズ走査となる。
【００４８】
以上説明したように、本実施形態によれば、一旦対象物ＯＢを検出した場合には、対象物ＯＢを検出した位置情報とその際の探索窓サイズとを保持部６に登録して、次のフレーム以降では、登録された位置では探索窓サイズを限定して走査を行うので、対象物ＯＢの検出時間を短縮することが可能となる。本実施形態では、特許文献１のように対象物ＯＢまでの距離を測定する必要もないので、装置が複雑化することもなく、安価で高速な物体検出が可能となる。
【００４９】
本発明は以上説明した本実施形態に限定されるものではなく、本発明の要旨を逸脱しない範囲において種々変更可能である。上記の例では、対象物ＯＢを人物とし、子供と大人の身長を考慮して検出窓サイズの範囲をやや広めに設定したが、対象物ＯＢの大きさがある程度固定であれば、検出された検出窓サイズそのものに限定してもよいし、検出された検出窓サイズの前後１サイズずつの３サイズに限定してもよい。検出処理部４が検出する対象物ＯＢは顔、車両等任意である。また、検出処理部４が対象物ＯＢを検出する方法は、非特許文献１に記載されている方法に限定されるものでもない。
【００５０】
さらに、探索窓サイズを変更する代わりに、探索窓サイズを固定して、画像のサイズを変更して、相対的な探索窓サイズの大きさを可変するようにしてもよい。この場合には、探索窓サイズの代わりに画像の倍率情報を保持部６に保持すればよい。探索窓自体のサイズを変更してもよいし、探索窓サイズを固定して画像のサイズを変更してもよく、画像と探索窓のサイズとの相対的な大きさを変更して走査すればよい。各フレームの画像をブロックＢＫに分割する際のブロックＢＫの画素数も任意であり、ブロックＢＫに分割せず、画素単位としてもよい。探索窓の水平方向及び垂直方向の移動画素数（移動ステップ数）も任意である。保持部６を物体検出装置２０の外部に設けてもよい。
【符号の説明】
【００５１】
１ 操作部
２ 駆動部
３ 撮像部
４ 検出処理部
５ 探索窓生成部
６ 保持部
１０ 撮像装置
２０ 物体検出装置
【技術分野】
【０００１】
本発明は、撮像装置で撮影した画像信号に含まれる人物等の対象物を検出する物体検出装置に関する。
【背景技術】
【０００２】
近年、撮像装置で撮影した画像信号に含まれる人物や車両等の対象物を、対象物の輪郭等の特徴に基づいて検出する物体検出装置が提案されている。この種の物体検出装置においては、撮影画像上で探索窓を順次移動させて撮影画像を走査することにより対象物を検出するのが一般的である。特許文献１には、探索窓（ウィンドウ）を用いて対象物である障害物を計測することが記載されている。非特許文献１には、勾配方向ヒストグラム（HOG）と称される特徴量に基づいて対象物を検出する物体検出技術が記載されている。
【０００３】
対象物を検出するための探索窓は検出する対象物の大きさに合わせた大きさとすることが必要である。撮像装置が、撮像装置を水平方向に回動させて撮影領域を水平方向に移動させるパン、撮像装置の垂直方向の角度を変化させて撮影領域を垂直方向に移動させるチルト、被写体を拡大・縮小するズームが可能な場合には、検出しようとする対象物の大きさは種々変化することとなる。従って、パン，チルト，ズームを行う撮像装置で撮影した画像信号に含まれる対象物を検出するには、小さな探索窓から大きな検索窓まで種々の大きさの探索窓を用いて撮影画像を順次走査することが必要となる。
【先行技術文献】
【特許文献】
【０００４】
【特許文献１】特開２００８−３０９６３７号公報
【非特許文献】
【０００５】
【非特許文献１】藤吉弘亘、「一般物体認識のための局所特徴量（SIFTとHOG） Gradient-Based Local Features for Generic Object Recognition」、PCSJ/IMPS2008 ナイトセッション
【発明の概要】
【発明が解決しようとする課題】
【０００６】
上記のように、パン，チルト，ズームを行う撮像装置で撮影した画像信号に含まれる対象物を検出するには、種々の大きさの探索窓を用いて撮影画像を走査しなければならないので、対象物を検出するまでにかなりの時間を要してしまう。そこで、対象物を検出するまでの時間を短縮することが求められている。
【０００７】
本発明はこのような要望に対応するため、対象物の検出処理を高速化することができる物体検出装置を提供することを目的とする。
【課題を解決するための手段】
【０００８】
本発明は、上述した従来の技術の課題を解決するため、撮像装置（１０）で撮影された画像信号の各フレームの画像を、前記画像との相対的なサイズが異なる複数のサイズの探索窓を用いて走査することにより、前記各フレームの画像に含まれている対象物を検出する検出処理部（４）と、前記検出処理部が前記画像を走査する際に用いる探索窓の前記画像との相対的なサイズを設定し、前記検出処理部が対象物を検出した際の前記対象物の位置情報に対応させて、前記対象物を検出した際に用いた探索窓のサイズを保持部に保持させる探索窓生成部（５）とを備え、前記検出処理部は、前記保持部に保持された位置情報が示す位置を走査する際には、対象物を検出する際に用いる探索窓のサイズとして、前記複数のサイズの全てを用いることなく、前記位置情報に対応して保持されたサイズを基準とした限定したサイズを用いることを特徴とする物体検出装置（２０）を提供する。
【０００９】
上記の構成において、前記探索窓生成部は、前記位置情報として、前記画像を複数のブロックに分割した場合の前記対象物が位置するブロックの位置を示すブロック座標を前記保持部に保持させることが好ましい。
【００１０】
上記の構成において、前記検出処理部は、前記撮像装置におけるパン，チルト，ズームの少なくとも１つが操作されている最中には、前記探索窓のサイズとして前記複数のサイズの全てを用いて前記各フレームの画像を走査することが好ましい。
【発明の効果】
【００１１】
本発明の物体検出装置によれば、対象物の検出処理を高速化することができる。
【図面の簡単な説明】
【００１２】
【図１】本発明の物体検出装置の一実施形態を示すブロック図である。
【図２】一実施形態で用いる探索窓サイズを示す図である。
【図３】探索窓を用いた画像の走査を説明するための図である。
【図４】探索窓の移動及びサイズ拡大を説明するための図である。
【図５】一実施形態で用いるブロック座標を説明するための図である。
【図６】対象物が複数のフレームに渡って移動していく状態を示す図である。
【図７】一実施形態の動作を説明するための図である。
【図８】フレームＦ１の画像を示す図である。
【図９】フレームＦ２の画像を示す図である。
【図１０】フレームＦ３の画像を示す図である。
【図１１】部分探索窓サイズ走査と全探索窓サイズ走査とを説明するための図である。
【図１２】フレームＦ４の画像を示す図である。
【図１３】フレームＦ５の画像を示す図である。
【発明を実施するための形態】
【００１３】
以下、本発明の物体検出装置の一実施形態について、添付図面を参照して説明する。図１において、撮像装置１０は、操作部１，駆動部２，撮像部３を備える。物体検出装置２０は、検出処理部４，探索窓生成部５，保持部６を備える。撮像装置１０と物体検出装置２０とを筐体内に一体的に設けた構成であってもよく、撮像装置１０と物体検出装置２０とを別体とし、両者を接続するような構成であってもよい。
【００１４】
操作部１は、撮像装置１０におけるパン，チルト，ズームの少なくとも１つを操作するためのボタン，レバー，キー等の操作機構を有している。操作機構としては、ジョイスティック，キーボード等任意である。パン，チルト，ズームの少なくとも１つを操作するため数値を入力するものであってもよい。操作部１を撮像装置１０の外部に設けてもよい。操作部１は、パン，チルト，ズームそれぞれの操作信号Ｓopを駆動部２に供給する。
【００１５】
駆動部２は、操作部１によってパンの操作がなされた場合には、撮像装置１０を水平方向に回動させて撮影領域を水平方向に移動させる。駆動部２は、操作部１によってチルトの操作がなされた場合には、撮像装置１０の垂直方向の角度を変化させて撮影領域を垂直方向に移動させる。駆動部２は、操作部１によってズームの操作がなされた場合には、撮像部３が有している複数のレンズの間隔を調整することによって被写体を拡大または縮小させる。駆動部２は、図示していないモータを用いてパン，チルト，ズームの駆動を行えばよい。
【００１６】
操作部１によってパン，チルト，ズームの少なくとも１つが操作されると、撮像部３が撮影している撮影領域が変化することになる。駆動部２は、操作部１によってパン，チルト，ズームの少なくとも１つが操作された場合には、撮影領域が変化していることを示す変化信号Ｓchを後述する探索窓生成部５に供給する。変化信号Ｓchは、パン，チルト，ズームの操作が開始した時点で例えばハイの信号が発生し、操作が終了した時点でハイからローになる信号でよい。
【００１７】
撮像部３は、撮影している被写体の画像信号Ｓimを検出処理部４に供給する。探索窓生成部５は後に詳述する探索窓を表す探索窓信号Ｓswを生成して、検出処理部４に入力する。検出処理部４は、入力された探索窓信号Ｓswが示す探索窓を用いて画像信号Ｓimの各フレームの画像を走査する。探索窓生成部５は、図２に示すような探索窓サイズを示すテーブルを有している。検出処理部４には、探索窓生成部５から図２のいずれかの探索窓サイズの探索窓を表す探索窓信号Ｓswが入力される。検出処理部４は入力された探索窓サイズの探索窓を用いて画像を走査する。
【００１８】
図３及び図４を用いて、検出処理部４における探索窓を用いた画像の走査の基本的な動作について説明する。図３は、画像信号Ｓimにおける所定のフレームＦの画像内に探索の対象となっている対象物ＯＢが存在している例である。まず、最も小さい探索窓である図２の探索窓サイズが１の探索窓Ｓw1を用いて、例えば左上の角を原点（０，０）として左から右へと画像を走査していく。このとき、図４（Ａ）に示すように、数画素（例えば５画素）ずつ探索窓Ｓw1を順次移動させていく。探索窓Ｓw1が右端部に到達したら、図４（Ｂ）に示すように、探索窓Ｓw1を下方向に数画素ずらして、図４（Ａ）と同様に探索窓Ｓw1を右方向に順次移動させていく。
【００１９】
探索窓Ｓw1でフレームＦの画像全てを走査したら、図４（Ｃ）に示すように、探索窓Ｓw1の次の大きさである探索窓サイズが２の探索窓Ｓw2を用いて、図４（Ａ），（Ｂ）と同様に左から右、上から下へと画像を走査していく。同様に、探索窓の大きさを順次大きくして画像を走査していく。なお、図４（Ａ）〜（Ｃ）では、理解を容易にするため、探索窓Ｓw1，Ｓw2をフレームＦの上端部や左端部から離れた位置に示しているが、上記のように、探索窓Ｓw1，Ｓw2及びこれ以降の大きさの探索窓を原点（０，０）から順次移動させていく。なお、ここでは、左上の角を原点としたが、左下を原点として上方向に走査してもよい。
【００２０】
以上のようにして探索窓を順次大きくしてフレームＦの画像を走査していくと、図３に示すように、所定の大きさの探索窓Ｓwiによって対象物ＯＢが検出される。検出処理部４は、対象物ＯＢが探索窓Ｓwiの中心に位置する状態で、探索窓原点Ｐorgの座標を検出する。検出処理部４が対象物ＯＢを検出する方法は、非特許文献１に記載の方法等、任意の方法を用いればよい。検出処理部４は、探索窓原点Ｐorgの座標が、フレームＦを複数のブロックに分割した場合のどのブロックに含まれるかを示すブロック座標を示すブロック座標信号Ｓbkを生成する。
【００２１】
図５を用いてブロック座標について説明する。フレームＦは例えば水平７２０画素、垂直４８０画素の画像である。この画像を一例として水平８０画素、垂直６０画素のブロックＢＫに分割する。垂直方向の１〜８のブロック番号、水平方向に１〜９のブロック番号を付し、各ブロックＢＫは垂直方向のブロック番号と水平方向のブロック番号とのブロック座標で表すことができる。図５の例では、探索窓原点Ｐorgの座標はブロック座標（３，２）のブロックＢＫに含まれている。図５の場合、検出処理部４は、ブロック座標（３，２）を示すブロック座標信号Ｓbkを生成する。
【００２２】
検出処理部４は、以上のようにして対象物ＯＢを検出したら、対象物ＯＢを検出したことを示す検出フラグＦdetとブロック座標信号Ｓbkを探索窓生成部５に供給する。探索窓生成部５は、ブロック座標信号Ｓbkと、検出フラグＦdetが発生したときに用いた探索窓サイズを示す探索窓サイズ信号Ｓszを保持部６に供給する。保持部６は所定のメモリで構成され、ブロック座標信号Ｓbkと探索窓サイズ信号Ｓszとを組にして保持する。保持部６としてＳＲＡＭを用いた場合には、ブロック座標信号Ｓbkが示すブロック座標をアドレスとし、探索窓サイズ信号Ｓszをデータとして書き込むようにしてもよい。このようにして、保持部６には、どのブロックＢＫの位置で、どの大きさの探索窓の対象物ＯＢが検出されたかの情報が蓄積されることになる。
【００２３】
探索窓原点Ｐorgの座標をブロック座標に変換することにより、探索窓原点Ｐorgの座標を示す信号を保持する場合と比較して、保持部６のメモリ容量を大幅に減らすことができる。従って、探索窓原点Ｐorgの座標をそのまま用いるより、ブロック座標に変換することが好ましい。
【００２４】
図３及び図４では、探索窓を用いた画像の走査の基本的な動作として、探索窓の大きさを順次大きくして画像を走査していくと説明したが、本実施形態では、フレームＦの画像を走査する際に、部分的な画像領域に対して、図２に示すテーブルの探索窓サイズの探索窓を一部使用しない場合がある。但し、探索窓生成部５に入力される変化信号Ｓchがハイの場合には、フレームＦの画像の全領域に対して、図２に示すテーブルで設定されている全ての探索窓サイズの探索窓を用いて画像を走査することが好ましい。全ての探索窓サイズの探索窓を用いた走査を全探索窓サイズ走査、一部の探索窓サイズの探索窓を使用しない走査を部分探索窓サイズ走査と称することとする。
【００２５】
図６は、対象物ＯＢが複数のフレームに渡って矢印方向に順次移動して、後述する各フレームで対象物ＯＢ2，ＯＢ3，ＯＢ4，ＯＢ5として存在している状態を示している。図６は、複数のフレームに渡って、対象物ＯＢが右方向へと移動しつつ、撮像装置１０へと近付いてきたような状態である。
【００２６】
図７〜図１２を用いて、図６に示すような各フレームの画像を、探索窓を用いて走査して対象物ＯＢを検出する場合の動作について説明する。図７（Ａ）は探索窓生成部５に入力される変化信号Ｓchを示している。図７（Ａ）に示すように、変化信号Ｓchは、時刻ｔ00でハイになって時刻ｔ01でローになり、時刻ｔｍでハイになっている。即ち、時刻ｔ00〜ｔ01の期間及び時刻ｔｍ以降で、パン，チルト，ズームの少なくとも１つが操作されている。図７（Ｂ）に示すように、検出処理部４は、時刻ｔ00〜ｔ01の期間内の時刻ｔ０で画像信号ＳimのフレームＦ０を取り込む。フレームＦ０は変化信号Ｓchがハイの期間のフレームであるので、全探索窓サイズ走査が行われる。
【００２７】
検出処理部４は、フレームＦ０の走査が完了すると、時刻ｔ１でフレームＦ１を取り込む。フレームＦ１の画像は図８に示すように対象物ＯＢを有していない。検出処理部４は、全探索窓サイズ走査によってフレームＦ１の画像を走査する。検出処理部４は、フレームＦ１の走査が完了すると、時刻ｔ２でフレームＦ２を取り込む。フレームＦ２の画像は図９に示すように対象物ＯＢ2を有する。検出処理部４は、全探索窓サイズ走査によってフレームＦ２の画像を走査する。全探索窓サイズ走査の結果、検出処理部４は、探索窓原点Ｐorgの座標がブロック座標（３，２）のブロックＢＫに含まれ、探索窓サイズが７である探索窓Ｓw7によって対象物ＯＢ2を検出する。
【００２８】
検出処理部４は、フレームＦ２に対して検出した検出フラグＦdetとブロック座標（３，２）を示すブロック座標信号Ｓbkを探索窓生成部５に供給する。フレームＦ２に対して検出したブロック座標信号Ｓbkをブロック座標信号Ｓbk2と称することとする。探索窓生成部５は、フレームＦ２で用いた探索窓サイズを示す探索窓サイズ信号Ｓszを生成する。フレームＦ２に対して生成した探索窓サイズ信号Ｓszを探索窓サイズ信号Ｓsz2と称することとする。探索窓サイズ信号Ｓsz2は、探索窓サイズが７であることを示している。探索窓生成部５は、ブロック座標信号Ｓbk2と探索窓サイズ信号Ｓsz2とを保持部６に供給する。
【００２９】
図７（Ｃ）は、探索窓生成部５が保持部６に供給するブロック座標信号Ｓbkと探索窓サイズ信号Ｓszとの組を示している。図７（Ｄ）は、それぞれのブロック座標信号Ｓbkと探索窓サイズ信号Ｓszとの組が保持部６に書き込まれるタイミングと読み出されるタイミングとを示している。探索窓生成部５が探索窓サイズ信号Ｓszを生成した時点でブロック座標信号Ｓbkと探索窓サイズ信号Ｓszとを保持部６に供給して、保持部６がそれらを書き込むようにしてもよいし、各フレームの走査が完了した時点で書き込むようにしてもよい。本実施形態では、各フレームの走査が完了した時点でブロック座標信号Ｓbkと探索窓サイズ信号Ｓszとを保持部６に書き込むようにしている。
【００３０】
図７（Ｄ）に示すように、フレームＦ２に対して生成したブロック座標信号Ｓbk2と探索窓サイズ信号Ｓsz2は、次のフレームＦ３が取り込まれる時刻ｔ３の直前のフレームＦ２の走査が完了した時刻ｔ２eに保持部６に書き込まれる。
【００３１】
検出処理部４は、フレームＦ２の走査が完了すると、時刻ｔ３でフレームＦ３を取り込む。これに合わせて、保持部６に保持されているブロック座標信号Ｓbk2と探索窓サイズ信号Ｓsz2とが読み出されて探索窓生成部５に供給される。図７（Ｄ）では時刻ｔ３でブロック座標信号Ｓbk2と探索窓サイズ信号Ｓsz2とを読み出すように図示しているが、フレームＦ３に取り込みタイミングと読み出しタイミングとを完全に一致させる必要はない。検出処理部４がフレームＦ３の走査を開始する時点で、ブロック座標信号Ｓbk2と探索窓サイズ信号Ｓsz2とが探索窓生成部５に入力されていればよい。
【００３２】
フレームＦ３の画像は図１０に示すように対象物ＯＢ3を有する。フレームＦ２の画像を走査する時点で探索窓生成部５には保持部６から読み出したブロック座標信号Ｓbk2と探索窓サイズ信号Ｓsz2とが入力されているので、検出処理部４は、ブロック座標（３，２）のブロックＢＫを走査する際には部分探索窓サイズ走査とし、他のブロックＢＫを走査する際には全探索窓サイズ走査によってフレームＦ３の画像を走査する。
【００３３】
図１１（Ａ），（Ｂ）を用いて、フレームＦ３の画像を走査する際に行われる部分探索窓サイズ走査と全探索窓サイズ走査とについて説明する。フレームＦ２ではブロック座標（３，２）に対して探索窓サイズが７の対象物ＯＢ2が検出されている。対象物ＯＢが人物である場合を例とし、仮に子供の身長を大人の約１／２とする。対象物ＯＢ2が大人であったとすると、子供の場合には図２に示す検出窓サイズが３を最小の大きさと想定できる。対象物ＯＢ2が子供であったとすると、大人の場合には図２に示す検出窓サイズが１１を最大の大きさと想定できる。即ち、フレームＦ２のブロック座標（３，２）のブロックＢＫで一旦探索窓サイズが７の対象物ＯＢ2が検出されたのであるから、ブロック座標（３，２）のブロックＢＫで検出窓サイズが１，２または１２以上の大きさの対象物ＯＢが検出される可能性はほとんどない。
【００３４】
そこで、検出処理部４は、フレームＦ３の画像を走査する際に、図１１（Ａ）に示すように、検出窓サイズとして１，２または１２以上を用いる場合には、ブロック座標（３，２）のブロックＢＫを走査せずスキップさせる。また、検出処理部４は、図１１（Ｂ）に示すように、検出窓サイズとして３〜１１を用いる場合には、他のブロックＢＫと同様、ブロック座標（３，２）のブロックＢＫを走査する。ブロック座標（３，２）のブロックＢＫにおいては、検出窓サイズを３〜１１のみとして走査し、他の検出窓サイズでは走査をスキップさせるので、その分だけ、フレームＦ３の画像を走査する時間が短縮される。
【００３５】
このようにして、フレームＦ３の画像を走査する際には、走査ブロック座標（３，２）のブロックＢＫでは部分探索窓サイズ走査が行われ、他のブロックＢＫでは全探索窓サイズ走査が行われる。部分探索窓サイズ走査及び全探索窓サイズ走査の結果、検出処理部４は、探索窓原点Ｐorgの座標がブロック座標（４，３）のブロックＢＫに含まれ、探索窓サイズが８である探索窓Ｓw8によって対象物ＯＢ3を検出する。
【００３６】
検出処理部４は、フレームＦ３に対して検出した検出フラグＦdetとブロック座標（４，３）を示すブロック座標信号Ｓbk3を探索窓生成部５に供給し、探索窓生成部５は、ブロック座標信号Ｓbk3と探索窓サイズが８であることを示す探索窓サイズ信号Ｓsz3とを保持部６に供給する。図７（Ｄ）に示すように、フレームＦ３に対して生成したブロック座標信号Ｓbk3と探索窓サイズ信号Ｓsz3は、次のフレームＦ４が取り込まれる時刻ｔ４の直前のフレームＦ３の走査が完了した時刻ｔ３eに保持部６に書き込まれる。保持部６には、既に書き込まれていたブロック座標信号Ｓbk2と探索窓サイズ信号Ｓsz2、及び、ブロック座標信号Ｓbk3と探索窓サイズ信号Ｓsz3が保持される。
【００３７】
同様にして、検出処理部４は、時刻ｔ４でフレームＦ４を取り込み、探索窓生成部５にはブロック座標信号Ｓbk2と探索窓サイズ信号Ｓsz2、及び、ブロック座標信号Ｓbk3と探索窓サイズ信号Ｓsz3が供給される。フレームＦ４の画像は図１２に示すように対象物ＯＢ4を有する。検出処理部４は、フレームＦ３の画像を走査する場合と同様に、ブロック座標（３，２）及びブロック座標（４，３）のブロックＢＫを走査する際には部分探索窓サイズ走査とし、他のブロックＢＫを走査する際には全探索窓サイズ走査によってフレームＦ４の画像を走査する。ブロック座標（４，３）のブロックＢＫを走査する場合には、探索窓サイズ信号Ｓsz3が示す探索窓サイズは８であるので、検出窓サイズを４〜１２のみとすればよい。
【００３８】
検出処理部４は、フレームＦ４の画像の走査の結果、探索窓原点Ｐorgの座標がブロック座標（６，５）のブロックＢＫに含まれ、探索窓サイズが１０である探索窓Ｓw10によって対象物ＯＢ4を検出する。検出処理部４は、フレームＦ４に対して検出した検出フラグＦdetとブロック座標（６，５）を示すブロック座標信号Ｓbk4を探索窓生成部５に供給し、探索窓生成部５は、ブロック座標信号Ｓbk4と探索窓サイズが１０であることを示す探索窓サイズ信号Ｓsz4とを保持部６に供給する。
【００３９】
図７（Ｄ）に示すように、フレームＦ４に対して生成したブロック座標信号Ｓbk4と探索窓サイズ信号Ｓsz4は、次のフレームＦ５が取り込まれる時刻ｔ５の直前のフレームＦ４の走査が完了した時刻ｔ４eに保持部６に書き込まれる。保持部６には、ブロック座標信号Ｓbk2と探索窓サイズ信号Ｓsz2、ブロック座標信号Ｓbk3と探索窓サイズ信号Ｓsz3、ブロック座標信号Ｓbk4と探索窓サイズ信号Ｓsz4が保持される。
【００４０】
同様にして、検出処理部４は、時刻ｔ５でフレームＦ５を取り込み、探索窓生成部５には、ブロック座標信号Ｓbk2と探索窓サイズ信号Ｓsz2、ブロック座標信号Ｓbk3と探索窓サイズ信号Ｓsz3、ブロック座標信号Ｓbk4と探索窓サイズ信号Ｓsz4が供給される。フレームＦ５の画像は図１３に示すように対象物ＯＢ5を有する。検出処理部４は、ブロック座標（３，２）とブロック座標（４，３）とブロック座標（６，５）の各ブロックＢＫを走査する際には部分探索窓サイズ走査とし、他のブロックＢＫを走査する際には全探索窓サイズ走査によってフレームＦ５の画像を走査する。ブロック座標（６，５）のブロックＢＫを走査する場合には、探索窓サイズ信号Ｓsz4が示す探索窓サイズは１０であるので、検出窓サイズを６〜１４のみとすればよい。
【００４１】
検出処理部４は、フレームＦ５の画像の走査の結果、探索窓原点Ｐorgの座標がブロック座標（８，７）のブロックＢＫに含まれ、探索窓サイズが１２である探索窓Ｓw12によって対象物ＯＢ5を検出する。検出処理部４は、フレームＦ５に対して検出した検出フラグＦdetとブロック座標（８，７）を示すブロック座標信号Ｓbk5を探索窓生成部５に供給し、探索窓生成部５は、ブロック座標信号Ｓbk5と探索窓サイズが１２であることを示す探索窓サイズ信号Ｓsz5とを保持部６に供給する。
【００４２】
図７（Ｄ）に示すように、フレームＦ５に対して生成したブロック座標信号Ｓbk5と探索窓サイズ信号Ｓsz5は、次のフレームＦ６が取り込まれる時刻ｔ６の直前のフレームＦ５の走査が完了した時刻ｔ５eに保持部６に書き込まれる。保持部６には、ブロック座標信号Ｓbk2と探索窓サイズ信号Ｓsz2、ブロック座標信号Ｓbk3と探索窓サイズ信号Ｓsz3、ブロック座標信号Ｓbk4と探索窓サイズ信号Ｓsz4、ブロック座標信号Ｓbk5と探索窓サイズ信号Ｓsz5が保持される。
【００４３】
同様にして、検出処理部４は、時刻ｔ６でフレームＦ６を取り込み、探索窓生成部５には、ブロック座標信号Ｓbk2と探索窓サイズ信号Ｓsz2、ブロック座標信号Ｓbk3と探索窓サイズ信号Ｓsz3、ブロック座標信号Ｓbk4と探索窓サイズ信号Ｓsz4、ブロック座標信号Ｓbk5と探索窓サイズ信号Ｓsz5が供給される。フレームＦ５の画像は図１３に示すように対象物ＯＢ5を有する。検出処理部４は、ブロック座標（３，２），ブロック座標（４，３），ブロック座標（６，５），ブロック座標（８，７）の各ブロックＢＫを走査する際には部分探索窓サイズ走査とし、他のブロックＢＫを走査する際には全探索窓サイズ走査によってフレームＦ６の画像を走査する。
【００４４】
ブロック座標（８，７）のブロックＢＫを走査する場合には、探索窓サイズ信号Ｓsz5が示す探索窓サイズは１２であるので、検出窓サイズを８から図２では図示を省略している１６のみとすればよい。
【００４５】
図７において、時刻ｔｎ+1まで以上と同様の動作が繰り返される。検出処理部４は、時刻ｔｎにてフレームＦｎを取り込み、フレームＦｎの画像を走査する。フレームＦｎの前のフレームまでで多くの対象物ＯＢが検出されていることから、検出処理部４が時刻ｔｎにてフレームＦｎを取り込んでから時刻ｔｎ+1にてフレームＦｎ+1を取り込むまでの時間は、全探索窓サイズ走査を行っていた期間の隣接する２フレームを取り込む時間と比較して大幅に短くなる。図７（Ｄ）では時刻ｔ６の次から時刻ｔｎ+1までの保持部６に保持されるデータを示していないが、フレームＦ６以降で対象物ＯＢがさらに検出されれば、時刻ｔｎ+1までブロック座標信号Ｓbkと探索窓サイズ信号Ｓszとの組が追加されて保持されることになる。
【００４６】
図７（Ａ）に示すように、時刻ｔｍで変化信号Ｓchがハイになる。探索窓生成部５は、変化信号Ｓchがハイになったら、保持部６で保持されているブロック座標信号Ｓbkと探索窓サイズ信号Ｓszとの組を全て消去する。検出処理部４は、時刻ｔｍ以降、全探索窓サイズ走査を行う。
【００４７】
以上の動作により、図７（Ｅ）に示すように、撮像装置１０におけるパン，チルト，ズームの少なくとも１つが操作されている最中である時刻ｔ00〜ｔ01及びそれに続く時刻ｔ01〜ｔ３では全探索窓サイズ走査、時刻ｔ３〜ｔｍでは対象物ＯＢが検出されたブロックＢＫでは部分探索窓サイズ走査、対象物ＯＢが検出されなかったブロックＢＫでは全探索窓サイズ走査となり、再びパン，チルト，ズームの少なくとも１つが操作された時刻ｔｍ以降では全探索窓サイズ走査となる。勿論、全てのブロックＢＫで対象物ＯＢが検出された場合には、変化信号Ｓchがローになっている間は、全てのブロックＢＫで部分探索窓サイズ走査となる。
【００４８】
以上説明したように、本実施形態によれば、一旦対象物ＯＢを検出した場合には、対象物ＯＢを検出した位置情報とその際の探索窓サイズとを保持部６に登録して、次のフレーム以降では、登録された位置では探索窓サイズを限定して走査を行うので、対象物ＯＢの検出時間を短縮することが可能となる。本実施形態では、特許文献１のように対象物ＯＢまでの距離を測定する必要もないので、装置が複雑化することもなく、安価で高速な物体検出が可能となる。
【００４９】
本発明は以上説明した本実施形態に限定されるものではなく、本発明の要旨を逸脱しない範囲において種々変更可能である。上記の例では、対象物ＯＢを人物とし、子供と大人の身長を考慮して検出窓サイズの範囲をやや広めに設定したが、対象物ＯＢの大きさがある程度固定であれば、検出された検出窓サイズそのものに限定してもよいし、検出された検出窓サイズの前後１サイズずつの３サイズに限定してもよい。検出処理部４が検出する対象物ＯＢは顔、車両等任意である。また、検出処理部４が対象物ＯＢを検出する方法は、非特許文献１に記載されている方法に限定されるものでもない。
【００５０】
さらに、探索窓サイズを変更する代わりに、探索窓サイズを固定して、画像のサイズを変更して、相対的な探索窓サイズの大きさを可変するようにしてもよい。この場合には、探索窓サイズの代わりに画像の倍率情報を保持部６に保持すればよい。探索窓自体のサイズを変更してもよいし、探索窓サイズを固定して画像のサイズを変更してもよく、画像と探索窓のサイズとの相対的な大きさを変更して走査すればよい。各フレームの画像をブロックＢＫに分割する際のブロックＢＫの画素数も任意であり、ブロックＢＫに分割せず、画素単位としてもよい。探索窓の水平方向及び垂直方向の移動画素数（移動ステップ数）も任意である。保持部６を物体検出装置２０の外部に設けてもよい。
【符号の説明】
【００５１】
１ 操作部
２ 駆動部
３ 撮像部
４ 検出処理部
５ 探索窓生成部
６ 保持部
１０ 撮像装置
２０ 物体検出装置
【特許請求の範囲】
【請求項１】
撮像装置で撮影された画像信号の各フレームの画像を、前記画像との相対的なサイズが異なる複数のサイズの探索窓を用いて走査することにより、前記各フレームの画像に含まれている対象物を検出する検出処理部と、
前記検出処理部が前記画像を走査する際に用いる探索窓の前記画像との相対的なサイズを設定し、前記検出処理部が対象物を検出した際の前記対象物の位置情報に対応させて、前記対象物を検出した際に用いた探索窓のサイズを保持部に保持させる探索窓生成部と、
を備え、
前記検出処理部は、前記保持部に保持された位置情報が示す位置を走査する際には、対象物を検出する際に用いる探索窓のサイズとして、前記複数のサイズの全てを用いることなく、前記位置情報に対応して保持されたサイズを基準とした限定したサイズを用いる
ことを特徴とする物体検出装置。
【請求項２】
前記探索窓生成部は、前記位置情報として、前記画像を複数のブロックに分割した場合の前記対象物が位置するブロックの位置を示すブロック座標を前記保持部に保持させる
ことを特徴とする請求項１記載の物体検出装置。
【請求項３】
前記検出処理部は、前記撮像装置におけるパン，チルト，ズームの少なくとも１つが操作されている最中には、前記探索窓のサイズとして前記複数のサイズの全てを用いて前記各フレームの画像を走査する
ことを特徴とする請求項１または２に記載の物体検出装置。
【請求項１】
撮像装置で撮影された画像信号の各フレームの画像を、前記画像との相対的なサイズが異なる複数のサイズの探索窓を用いて走査することにより、前記各フレームの画像に含まれている対象物を検出する検出処理部と、
前記検出処理部が前記画像を走査する際に用いる探索窓の前記画像との相対的なサイズを設定し、前記検出処理部が対象物を検出した際の前記対象物の位置情報に対応させて、前記対象物を検出した際に用いた探索窓のサイズを保持部に保持させる探索窓生成部と、
を備え、
前記検出処理部は、前記保持部に保持された位置情報が示す位置を走査する際には、対象物を検出する際に用いる探索窓のサイズとして、前記複数のサイズの全てを用いることなく、前記位置情報に対応して保持されたサイズを基準とした限定したサイズを用いる
ことを特徴とする物体検出装置。
【請求項２】
前記探索窓生成部は、前記位置情報として、前記画像を複数のブロックに分割した場合の前記対象物が位置するブロックの位置を示すブロック座標を前記保持部に保持させる
ことを特徴とする請求項１記載の物体検出装置。
【請求項３】
前記検出処理部は、前記撮像装置におけるパン，チルト，ズームの少なくとも１つが操作されている最中には、前記探索窓のサイズとして前記複数のサイズの全てを用いて前記各フレームの画像を走査する
ことを特徴とする請求項１または２に記載の物体検出装置。
【図１】
【図２】
【図３】
【図４】
【図５】
【図６】
【図７】
【図８】
【図９】
【図１０】
【図１１】
【図１２】
【図１３】
【図２】
【図３】
【図４】
【図５】
【図６】
【図７】
【図８】
【図９】
【図１０】
【図１１】
【図１２】
【図１３】
【公開番号】特開２０１３−３９５１（Ｐ２０１３−３９５１Ａ）
【公開日】平成２５年１月７日（２０１３．１．７）
【国際特許分類】
【出願番号】特願２０１１−１３６１４４（Ｐ２０１１−１３６１４４）
【出願日】平成２３年６月２０日（２０１１．６．２０）
【出願人】（３０８０３６４０２）株式会社ＪＶＣケンウッド (1,152)
【Ｆターム（参考）】
【公開日】平成２５年１月７日（２０１３．１．７）
【国際特許分類】
【出願日】平成２３年６月２０日（２０１１．６．２０）
【出願人】（３０８０３６４０２）株式会社ＪＶＣケンウッド (1,152)
【Ｆターム（参考）】
[ Back to top ]