オブジェクト判定装置
【課題】背景差分処理で人物を検出・追跡を行う場合に、人物が一定時間以上静止して背景として溶け込んでも追跡を続けることができ、また部屋からの退出など人物が実際に居なくなっても正常に機能するオブジェクト判定装置を提供する。
【解決手段】オブジェクト領域抽出部５が、連続して入力された画像からオブジェクトを含む領域であるオブジェクト領域を抽出し、静止判定部６が、オブジェクト領域抽出部５により抽出されたオブジェクト領域の静止判定を行い、前景割合変化検出部７が、静止判定部６により静止と判定されたオブジェクト領域内における、連続して入力された画像の前景割合変化を検出し、判定部８が、前景割合変化検出部７により検出された前景割合変化に基づきオブジェクトの有無の判定を行う。
【解決手段】オブジェクト領域抽出部５が、連続して入力された画像からオブジェクトを含む領域であるオブジェクト領域を抽出し、静止判定部６が、オブジェクト領域抽出部５により抽出されたオブジェクト領域の静止判定を行い、前景割合変化検出部７が、静止判定部６により静止と判定されたオブジェクト領域内における、連続して入力された画像の前景割合変化を検出し、判定部８が、前景割合変化検出部７により検出された前景割合変化に基づきオブジェクトの有無の判定を行う。
【発明の詳細な説明】
【技術分野】
【０００１】
本発明は、動的に背景画像を更新し、背景差分処理で人物を検出・追跡を行うシステムに用いて好適なオブジェクト判定装置に関する。
【背景技術】
【０００２】
従来、動的に変化する背景でも背景差分処理ができるように、時系列の入力画像を蓄積して背景画像を更新し、人物の検出や追跡を行う方式や、追跡が一旦途切れた場合に、途切れた位置の周辺を探すことにより引き続き追跡を継続し、追跡精度を向上せる方式が案出されている。背景を生成する処理としては、例えば非特許文献１で開示されており、追跡する処理としては、例えば特許文献１で開示されている。
【先行技術文献】
【特許文献】
【０００３】
【特許文献１】米国特許出願公開第２００７／００７０２０１号明細書
【非特許文献】
【０００４】
【非特許文献１】C.Stauffer, W.E.L.Grimson, "Adaptive background mixture models for real-time tracking", CVPR, 1999
【発明の概要】
【発明が解決しようとする課題】
【０００５】
しかしながら、従来の背景差分処理で人物を検出・追跡を行うシステムにおいては、動的に背景画像を更新し、背景差分処理で人物を検出・追跡を行う場合、一定時間以上人物が静止すると人物が背景として溶け込んで検出されなくなり、追跡を再開することができないという課題がある。
【０００６】
また、追跡が一旦途切れた際に、実際に人物がその周辺にいる場合はその後も正しく追跡することが可能であるが、部屋からの退出など人物が実際に居なくなった場合には正しく機能しないという課題もある。
【０００７】
本発明は、係る事情に鑑みてなされたものであり、背景差分処理で人物を検出・追跡を行う場合に、精度良く追跡を続けることができるオブジェクト判定装置を提供することを目的とする。
【課題を解決するための手段】
【０００８】
本発明のオブジェクト判定装置は、連続して入力された画像からオブジェクトを含む領域であるオブジェクト領域を抽出するオブジェクト領域抽出手段と、前記オブジェクト領域抽出手段により抽出された前記オブジェクト領域の静止判定を行う静止判定手段と、前記静止判定手段により静止と判定されたオブジェクト領域内における前記連続して入力された画像の前景割合変化を検出する前景割合変化検出手段と、前記前景割合変化検出手段により検出された前景割合変化に基づき前記オブジェクトの有無の判定を行う判定手段と、を有することを特徴とする。
【０００９】
上記構成によれば、連続して入力された画像からオブジェクトを含むオブジェクト領域を抽出してその領域の静止判定を行い、静止していればオブジェクト領域内における連続入力画像の前景割合変化を検出し、検出した前景割合変化に基づきオブジェクトの有無判定を行うので、オブジェクトが人物の場合で人物全体としては一定時間以上静止して背景として溶け込んでも、人物は微動することからオブジェクト領域内の連続入力画像の前景割合変化を検出することで人物の有無や状態の変化を判定でき、精度良く追跡を続けることができる。また、部屋からの退出や物陰やカメラからの死角に移動するなど人物が実際に居なくなった場合に追跡を終了することで、不正な動作を防止できる。
【００１０】
上記構成において、前記前景割合変化は、静止と判定された前記オブジェクト領域内における前記連続して入力された画像の前景として抽出された領域の変化として検出されることを特徴とする。
【００１１】
上記構成によれば、静止と判定したオブジェクト領域内における連続入力画像から前景として抽出された領域の変化として検出するので、オブジェクトが微動していればその有無を判定することができる。
【００１２】
本発明のオブジェクト判定装置は、連続して入力された実空間の画像からオブジェクトを含む領域であるオブジェクト領域を抽出するオブジェクト領域抽出手段と、前記オブジェクト領域抽出手段により抽出された前記オブジェクト領域の静止判定を行う静止判定手段と、前記実空間内における前記静止判定手段により静止と判定されたオブジェクト領域の位置と回数により前記実空間のレイアウトを推定するレイアウト推定手段と、を有し、前記レイアウト推定手段による推定結果に基づき前記オブジェクトの有無の判定を行うことを特徴とする。
【００１３】
上記構成によれば、実空間内で静止と判定したオブジェクト領域の位置と回数により実空間のレイアウトを推定し、この推定結果に基づきオブジェクトの有無の判定を行うので、人物とそれ以外のもの（例えば、タンスや机などの家具や階段など）を区別することができ、人物が座るなどして動かなくなっても追跡することができる。すなわち、精度良く追跡を続けることができる。
【００１４】
本発明のオブジェクト判定装置は、連続して入力された実空間の画像からオブジェクトを含む領域であるオブジェクト領域を抽出するオブジェクト領域抽出手段と、前記オブジェクト領域抽出手段により抽出された前記オブジェクト領域の静止判定を行う静止判定手段と、前記静止判定手段により静止と判定されなかったオブジェクト領域の動きの方向と大きさを保持するオブジェクト追跡結果保持手段と、前記オブジェクト追跡結果保持手段に保持された前記オブジェクト領域の動きの方向と大きさに応じて前記実空間のレイアウトを推定するレイアウト推定手段と、を有し、前記レイアウト推定手段による推定結果に基づき前記オブジェクトの有無の判定を行うことを特徴とする。
【００１５】
上記構成によれば、静止と判定しないオブジェクト領域の動きの方向と大きさを保持し、保持したオブジェクト領域の動きの方向と大きさに応じて実空間のレイアウトを推定し、この推定結果に基づきオブジェクトの有無の判定を行うので、人物とそれ以外のもの（例えば、タンスや机などの家具や階段など）を区別することができ、人物が座るなどして動かなくなっても追跡を継続して行うことができる。すなわち、精度良く追跡を続けることができる。
【００１６】
本発明のオブジェクト判定方法は、連続して入力された画像からオブジェクトを含む領域であるオブジェクト領域を抽出するオブジェクト領域抽出ステップと、前記オブジェクト領域抽出ステップにより抽出された前記オブジェクト領域の静止判定を行う静止判定ステップと、前記静止判定ステップにより静止と判定されたオブジェクト領域内における前記連続して入力された画像の前景割合変化を検出する前景割合変化検出ステップと、前記前景割合変化検出ステップにより検出された前景割合変化に基づき前記オブジェクトの有無の判定を行う判定ステップと、を有することを特徴とする。
【００１７】
上記方法によれば、連続して入力された画像からオブジェクトを含むオブジェクト領域を抽出してその領域の静止判定を行い、静止していればオブジェクト領域内における連続入力画像の前景割合変化を検出し、検出した前景割合変化に基づきオブジェクトの有無判定を行うので、オブジェクトが人物の場合で人物全体としては一定時間以上静止して背景として溶け込んでも、人物は微動することからオブジェクト領域内の連続入力画像の前景割合変化を検出することで人物の有無や状態の変化を判定でき、精度良く追跡を続けることができる。また、部屋からの退出や物陰やカメラからの死角に移動するなど人物が実際に居なくなった場合に追跡を終了することで、不正な動作を防止できる。
【発明の効果】
【００１８】
本発明によれば、背景差分処理で人物を検出・追跡を行う場合に、精度良く追跡を続けることができる。
【図面の簡単な説明】
【００１９】
【図１】本発明の実施の形態１に係るオブジェクト判定装置の概略構成を示すブロック図
【図２】背景画像の生成方法と背景差分の生成方法を模式的に示した図
【図３】画素数の変化の一例を示す図
【図４】人物を含むオブジェクト領域の前景割合が減少して横へずれた場合の一例を示す図
【図５】矩形の領域であるオブジェクト領域の動きの求め方を説明するための図
【図６】人物の動きによる入力画像と前景画像と前景割合の違いを示す図
【図７】人物の動きによる入力画像と前景画像と前景割合の違いを示す図
【図８】人物の動きによる入力画像と前景画像と前景割合の違いを示す図
【図９】前景画像が背景に溶け込む例を示す図
【図１０】図７の場合の時間経過に伴う入力画像、背景画像及び背景差分結果の推移を示す図
【図１１】図８の場合の時間経過に伴う入力画像、背景画像及び背景差分結果の推移を示す図
【図１２】人物が部屋内の机のそばに座った場合の前景割合の変化を示す図
【図１３】人物が部屋から出ていった場合の前景割合の変化を示す図
【図１４】前景画像のオブジェクトを示す領域の減少率の一例を示す図
【図１５】実施の形態１のオブジェクト判定装置に判定基準Ｎｏ．１を用いた場合の同装置の動作を説明するためのフローチャート
【図１６】実施の形態１のオブジェクト判定装置に判定基準Ｎｏ．２を用いた場合の同装置の動作を説明するためのフローチャート
【図１７】実施の形態１のオブジェクト判定装置に判定基準Ｎｏ．３を用いた場合の同装置の動作を説明するためのフローチャート
【図１８】（ａ）リビング、（ｂ）廊下及び（ｃ）障害物それぞれにおける前景画像のオブジェクトを示す領域の減少率を示す図
【図１９】本発明の実施の形態２に係るオブジェクト判定装置の概略構成を示すブロック図
【図２０】実際のレイアウトの一例を示す図
【図２１】実施の形態２のオブジェクト判定装置のレイアウト推定部による障害物検知動作を説明するための図
【図２２】図２０の実際のレイアウトにおけるオブジェクト領域の位置と回数をマッピングした頻度マップを示す図
【図２３】図２２の頻度マップから推定できる障害物を示す図
【図２４】カメラからの撮影画像を示す図
【図２５】図２０のレイアウトにおいてオブジェクトである人物が背景画像に溶け込む可能性を示す図
【図２６】本発明の実施の形態３に係るオブジェクト判定装置の概略構成を示すブロック図
【図２７】図２０の実際のレイアウトにおけるオブジェクト領域の動きの方向と大きさをマッピングした速度＆方向マップを示す図
【図２８】実際の撮影画像による速度＆方向マップを示す図
【図２９】所定の考えを基に推定したレイアウトの一例を示す図
【発明を実施するための形態】
【００２０】
以下、本発明を実施するための好適な実施の形態について、図面を参照して詳細に説明する。
【００２１】
（実施の形態１）
図１は、本発明の実施の形態１に係るオブジェクト判定装置の概略構成を示すブロック図である。同図において、本実施の形態に係るオブジェクト判定装置１は、画像入力部２と、背景画像生成部３と、背景差分処理部４と、オブジェクト領域抽出部（オブジェクト領域抽出手段）５と、静止判定部（静止判定手段）６と、前景割合変化検出部（前景割合変化検出手段）７と、判定部（判定手段）８と、判定基準設定部９と、追跡部１０とを備えて構成される。
【００２２】
画像入力部２は、図示せぬカメラから出力される画像を入力し出力する。背景画像生成部３は、画像入力部２が入力した画像から背景画像を生成し出力する。背景差分処理部４は、画像入力部２が入力した画像と背景画像生成部３が生成した背景画像との差分を求めて背景差分を出力する。ここで、図２は“背景画像の生成方法”と“背景差分の生成方法”を模式的に示した図である。背景画像Ｉｍｂは、画像入力部２が連続して入力した複数の画像Ｉｍの同じ位置の画素同士を比較して、一定以上の画素が同じとき（これを支配的な画素と呼ぶ）、動きのない部分として抽出することで生成される。また、背景差分Ｉｍｄは、入力画像Ｉｍと背景画像Ｉｍｂとの差分をとることで得られる。なお、“背景差分”を以後“前景情報”と呼ぶ。
【００２３】
図１に戻り、オブジェクト領域抽出部５は、前景情報を元にして画像入力部２が連続して入力した複数の画像Ｉｍからオブジェクトを含む領域であるオブジェクト領域を抽出する。オブジェクトとは、例えば図２に示すように追跡対象となるもので、主に“人物１００”である。また、オブジェクト領域は、例えば図２に示すように“人物１００”を含む矩形の領域１１０でありオブジェクトと共に移動する。静止判定部６は、オブジェクト領域抽出部５により抽出されたオブジェクト領域の静止判定を行う。すなわち、オブジェクト領域の移動量が過去のフレームにおいて一定割合以内（一定ピクセル以内）の場合、オブジェクト領域が静止したと判定する。例えば、過去５フレームの移動量がそれぞれ３ピクセル以内の場合、枠静止状態と判定する。また、過去５フレームの移動量が矩形の１０％以内の場合、枠静止状態と判定する。この場合、矩形のオブジェクト領域の大きさが２０×２０ピクセルの場合、１０％以内は縦・横各２ピクセルとなる。
【００２４】
前景割合変化検出部７は、静止判定部６により静止と判定されたオブジェクト領域内における、連続して入力された画像の前景割合変化を検出する。前景割合変化は、静止と判定されたオブジェクト領域内における、連続して入力された画像の変化として検出される。オブジェクト領域内における前景割合は、一旦オブジェクト領域が止まったときに、オブジェクト領域内の背景差分の量（背景差分として検出された画素の数）を求めることで得られる。図３は、時刻ｔ３〜時刻ｔ６における画素数の変化の一例を示す図である。同図に示す例では、画素数は８→４→２→１と減少していっている。
【００２５】
なお、減少した前景割合が横へずれた場合は静止判定を基準に処理を行うとよい。図４は、人物１００を含むオブジェクト領域の前景割合が減少して横へずれた場合の一例を示す図である。少しずつの移動であれば静止判定基準により静止と判定できるので、継続的に処理できる。すなわち、少しずつ横にずれても正しく追跡することができる。例えば、過去５フレームの移動量がそれぞれ３ピクセル以内の場合、静止状態と判定し、静止判定基準が動作している場合、横に２ピクセルずつずれたとしても静止判定処理を行う。
【００２６】
また、図５は、矩形の領域であるオブジェクト領域の動きの求め方を説明するための図である。同図において、時刻ｔ１にて背景差分で検出された画素の集まりをまとめて枠で囲む。次いで、時刻ｔ２で時刻ｔ１の枠と比較して枠の動きを求める。時刻ｔ２では、時刻ｔ１の枠を時刻ｔ２の画像内で動かしながら画素同士を比較し、相関度が最も大きな位置を求め、枠の移動位置とする。
【００２７】
オブジェクト領域の動きの他の求め方としては、時刻ｔ１にて背景差分で検出された画素の集まりをまとめて枠で囲む。次いで、時刻ｔ２にて背景差分で検出された画素の集まりをまとめて枠で囲む。次いで、時刻ｔ１の枠と一番近い枠を対応させる。そして、対応した重心の差を求める。
【００２８】
図６〜図８は、人物の動きによる入力画像と前景画像と前景割合の違いを示す図である。図６の（ａ）は、人物１００が部屋２００に入ってきたときの状態を示している。部屋２００にはドア２０１が設けられており、また部屋２００内には３つのタンス２０２と机２０３が置かれている。図６の（ｂ）に示すように、前景情報（背景以外の情報）として人物１００が現われている。また、人物１００が立っている状態では図６の（ｃ）に示すように、前景割合は時間の経過とともに略一定の値をとる。この場合、前景割合が一定の値をとることから、人物１００の追跡は十分に可能である。
【００２９】
図７の（ａ）は、人物１００が机２０３のそばに座っている状態を示している。人物１００が座るとほぼ動かなくなるので、図７の（ｂ）に示すように、人物１００は徐々に背景に溶け込まれていき、前景情報が抽出し難くなる。したがって、図７の（ｃ）に示すように、前景割合は緩やかに減少していく。但し、人物１００は微動するので、前景情報が図７の（ｃ）に示すように減少した場合、人物１００が居ると判断すれば、人物１００の追跡は可能である。なお、図９は、前景画像が背景に溶け込む例を示す図である。この例は、１フレームに１ラインずつ背景更新を行うものである。この図に示すように更新された部分から溶け込んでいく。
【００３０】
図８の（ａ）は、人物１００が部屋２００を出る状態を示している。人物１００が部屋２００を出ると、図８の（ｂ）に示すように前景情報は残らない。したがって、図８の（ｃ）に示すように、前景割合は一気に減少してゼロになる。この場合、前景割合がゼロの時点で人物１００が居なくなったので、人物１００の追跡はできない。
【００３１】
図１０は、図７の場合の時間経過に伴う入力画像、背景画像及び背景差分結果の推移を示す図である。図１０において、時刻：ｔ０は、部屋２００に入ってきた人物１００が机２０３のそばに座ったときの入力画像、背景画像及び背景差分結果である。時刻：ｔ１、ｔ２の各々は時刻ｔ０後の入力画像、背景画像及び背景差分結果である。静止直後は、背景画像に人物１００が溶け込んでいないため、正確な前景情報の抽出が可能になる。その後、時刻ｔ１に示すように、机２０３のそばに座った人物１００が時間とともに背景画像に溶け込まれていき、正確な前景情報の抽出が難しくなる。その後、時刻ｔ２に示すように、人物１００の大部分が背景に溶け込まれてしまい、正確な前景情報の抽出ができなくなる。しかしながら、人物１００は若干動くためその分が前景として抽出される。
【００３２】
図１１は、図８の場合の時間経過に伴う入力画像、背景画像及び背景差分結果の推移を示す図である。図１１において、時刻：ｔ０は、人物１００が部屋２００から出るときの入力画像、背景画像及び背景差分結果である。時刻：ｔ１、ｔ２の各々は時刻ｔ０後の入力画像、背景画像及び背景差分結果である。人物１００が部屋２００から出るときは、人物１００とドア２０１が変化するため、背景差分結果として抽出される。その後、時刻ｔ１に示すように、部屋２００から出る際の時間が長くないため、人物１００が支配的な画素にならず新たな背景とならないため、背景画像は変化しない。したがって、人物１００が部屋２００から出た後の前景情報は何も抽出されない。その後、時刻ｔ２に示すように、人物１００が部屋２００から居なくなるので、前景情報は残らない。
【００３３】
図１に戻り、判定部８は、前景割合変化検出部７により検出された前景割合変化に基づきオブジェクトの有無の判定を行う。オブジェクトの有無の判定とは、前景割合が一定以下になった場合に、オブジェクトがその場に静止しているために背景に溶け込んでしまい実際には画像内に存在はするが前景割合が一定以下になった（静止状態）のか、退出や物陰に入ってしまい画像内に存在しなくなったために前景割合が一定以下になった（不可視状態）のかを判定するものである。判定基準設定部９は、判定部８で用いられる基準時間ｔｊ、閾値ＴＨｊなどを設定する。オブジェクトが静止したのか、それとも存在しなくなったのかの区別は、オブジェクト領域内における前景割合を評価基準にして判定する。判定基準として、例えば以下の３つの例が挙げられる。
【００３４】
判定基準Ｎｏ．１：前景が出現してから基準時間内に前景割合が閾値を下回った場合は不可視状態と判定する。
判定基準Ｎｏ．２：前景割合の減少率が所定の傾きよりも大きい場合（急激な変化の場合）に不可視状態と判定する。
判定基準Ｎｏ．３：前景割合が第一の閾値より小さくなってから第二の閾値より小さくなるまでの時間が一定時間より大きい場合に静止状態と判定する。
【００３５】
判定基準Ｎｏ．１を用いる場合は判定基準設定部９で基準時間ｔｊと閾値ＴＨｊを設定する。また、判定基準Ｎｏ．２を用いる場合は判定基準設定部９で時刻ｔｋと傾きＴＨｋを設定する。また、判定基準Ｎｏ．３を用いる場合は判定基準設定部９で一定時間ｔｌと２つの閾値ＴＨ１，ＴＨ２を設定する。例えば、人物が部屋内の机のそばに座った場合、前景割合は図１２のグラフに示すように緩やかに減少していく。この場合、第一の閾値ＴＨ１を下回った時刻をｔ１、第二の閾値ＴＨ２を下回った時刻をｔ２とすると、ｔ２−ｔ１が一定時間（ｔｌ）以上であれば静止状態と判断できる。また、人物が部屋から出ていった場合は、前景割合は図１３のグラフに示すように一気に減少する。この場合、前景割合の減少率が所定の傾きｋよりも大きければ、静止と判断できる。
【００３６】
なお、以上では矩形のオブジェクト領域を設定し、その領域における前景割合を扱うようにしたが、矩形のオブジェクト領域を設定しなくても、オブジェクトの前景情報の形状に応じた減少率を扱うようにすることも可能である。図１４は、前景画像のオブジェクトを示す領域の減少率の一例を示す図である。前景画像のオブジェクトを示す領域３００が緩やかに減少している。
【００３７】
図１に戻り、追跡部１０は、オブジェクト領域抽出部５で抽出されたオブジェクト領域と判定部８の判定結果に従い、オブジェクトの追跡を行う。
【００３８】
次に、本実施の形態のオブジェクト判定装置１の動作を説明する。この動作説明においてはオブジェクトを人物とする。また、人物が静止状態か不可視状態かを判定するための判定基準として、前述した判定基準Ｎｏ．１、判定基準Ｎｏ．２又は判定基準Ｎｏ．３を用いる。
【００３９】
（判定基準Ｎｏ．１を用いた動作）
図１５は、判定基準Ｎｏ．１を用いた場合のオブジェクト判定装置１の動作を説明するためのフローチャートである。同図において、ステップＳ１の処理は、背景画像生成部３及び背景差分処理部４により行われ、ステップＳ２〜ステップＳ９の各処理は、オブジェクト領域抽出部５、静止判定処理部６、前景割合変化検出部７、判定部８、判定基準設定部９及び追跡部１０により行われる。
【００４０】
まず入力画像からオブジェクトの検出を行う（ステップＳ１）。オブジェクトを検出すると、検出したオブジェクトを含むオブジェクト領域の静止判定を行う（ステップＳ２）。例えば、前述したように過去５フレームの移動量がそれぞれ３ピクセル以内かどうか判定し、３ピクセル以内であれば静止したと判定し、それ以外であれば移動と判定する。静止と判定するまでステップＳ１とステップＳ２の処理を繰り返す。
【００４１】
オブジェクト領域が静止したと判定すると、時刻ｔ＝０を設定し（ステップＳ３）、オブジェクト領域の計算を行う（ステップＳ４）。すなわち、オブジェクトを見つけるために検出したオブジェクト領域を計算する。なお、一旦見失ったオブジェクトを再度見つける場合も同様にオブジェクト領域を計算する。オブジェクト領域を計算した後、当該オブジェクト領域における前景割合を計算する（ステップＳ５）。前景割合を計算した後、時刻ｔｊを経過したかどうか判定し（ステップＳ６）、時刻ｔｊを経過していなければステップＳ１に戻り、時刻ｔｊを経過するまで上記ステップＳ１〜ステップＳ６の処理を繰り返す。なお、繰り返しの際にはステップＳ３では時刻ｔ＝０の設定は行わずに、現在の時刻をｔ＝ｔ＋１とする。一方、時刻ｔｊを経過すると、ステップＳ５で求めた前景割合が所定の閾値ＴＨｊを超えるか否かを判定する（ステップＳ７）。求めた前景割合が所定の閾値ＴＨｊを超える場合はオブジェクトが静止状態にあるとして追跡を行う（ステップＳ８）。これに対し、求めた前景割合が所定の閾値ＴＨｊ未満であれば、オブジェクトは不可視状態にあるとして追跡を行う（ステップＳ９）。ステップＳ８又はステップＳ９のいずれか一方の処理を終えると、本処理を終える。このように、時刻ｔｊに前景割合が閾値ＴＨｊを下回った場合に不可視状態として追跡する。
【００４２】
（判定基準Ｎｏ．２を用いた動作）
図１６は、判定基準Ｎｏ．２を用いた場合のオブジェクト判定装置１の動作を説明するためのフローチャートである。同図において、ステップＳ２０の処理は、背景画像生成部３及び背景差分処理部４によって行われ、ステップＳ２１〜ステップＳ２９の各処理は、オブジェクト領域抽出部５、静止判定処理部６、前景割合変化検出部７、判定部８、判定基準設定部９及び追跡部１０によって行われる。
【００４３】
まず入力画像からオブジェクトの検出を行う（ステップＳ２０）。オブジェクトを検出すると、検出したオブジェクトを含むオブジェクト領域の静止判定を行う（ステップＳ２１）。例えば、過去５フレームの移動量がそれぞれ３ピクセル以内かどうか判定し、３ピクセル以内であればオブジェクト領域が静止したと判定する。過去５フレームの移動量がそれぞれ３ピクセルを超える場合はそれぞれが３ピクセル以内になるまでステップＳ２０とステップＳ２１の処理を繰り返す。
【００４４】
オブジェクト領域が静止したと判定すると、時刻ｔ＝０を設定し（ステップＳ２２）、オブジェクト領域の計算を行う（ステップＳ２３）。すなわち、オブジェクトを見つけるために検出したオブジェクト領域を計算する。なお、一旦見失ったオブジェクトを再度見つける場合も同様にオブジェクト領域を計算する。オブジェクト領域を計算した後、当該オブジェクト領域における前景割合を計算する（ステップＳ２４）。前景割合を計算した後、時刻ｔｋを経過したかどうかを判定し（ステップＳ２５）、時刻ｔｋを経過していなければステップＳ２０に戻り、時刻ｔｋを経過するまで上記ステップＳ２０〜ステップＳ２５を繰り返す。一方、時刻ｔｋを経過すると、計算した前景割合の変化率を求める。すなわち、前景割合の時間的変化の傾きｋを計算する（ステップＳ２６）。傾きｋは、時刻ｔ０〜ｔｋでの前景割合の傾きつまり、（Ｆ（ｔ０）−Ｆ（ｔｋ））／（ｔｋ−ｔ０）として求めることができる（Ｆ（ｔ）は時刻ｔでの前景割合）。次いで、計算して求めた傾きｋと人物１００が居るかいなかを判別するための閾値ＴＨｋと比較し（ステップＳ２７）、傾きｋが閾値ＴＨｋを超える場合は静止状態として追跡し（ステップＳ２８）、傾きｋが閾値ＴＨｋ未満の場合は不可視状態として追跡する（ステップＳ２９）。ステップＳ２８又はステップＳ２９のいずれか一方の処理を終えると、本処理を終える。このように、前景割合の減少率が傾きｋより大きい場合にオブジェクトが静止状態として判定し、静止状態として追跡する。
【００４５】
（判定基準Ｎｏ．３を用いた動作）
図１７は、判定基準Ｎｏ．３を用いた場合のオブジェクト判定装置１の動作を説明するためのフローチャートである。同図において、ステップＳ３０の処理は、背景画像生成部３及び背景差分処理部４によって行われ、ステップＳ３１〜ステップＳ４１の各処理は、オブジェクト領域抽出部５、静止判定部６、前景割合変化検出部７、判定部８、判定基準設定部９及び追跡部１０によって行われる。
【００４６】
まず入力画像からオブジェクトの検出を行う（ステップＳ３０）。オブジェクトを検出すると、検出したオブジェクトを含むオブジェクト領域の静止判定を行う（ステップＳ３１）。例えば、過去５フレームの移動量がそれぞれ３ピクセル以内かどうか判定し、３ピクセル以内であればオブジェクト領域が静止したと判定する。過去５フレームの移動量がそれぞれ３ピクセルを超える場合はそれぞれが３ピクセル以内になるまでステップＳ３０とステップＳ３１の処理を繰り返す。
【００４７】
オブジェクト領域が静止したと判定すると、時刻ｔ＝０を設定し（ステップＳ３２）、オブジェクト領域の計算を行う（ステップＳ３３）。すなわち、オブジェクトを見つけるために検出したオブジェクト領域を計算する。なお、一旦見失ったオブジェクトを再度見つける場合も同様にオブジェクト領域を計算する。オブジェクト領域を計算した後、当該オブジェクト領域における前景割合を計算する（ステップＳ３４）。前景割合を計算した後、その時点での前景割合が閾値ＴＨ１を下回っているかを判定し（ステップＳ３５）、下回っているようであれば初めて下回った時刻をｔ１として記憶し（ステップＳ３６）、下回っていない場合はステップＳ３７に移動する。続いて、前景割合が閾値ＴＨ２を下回っているかどうかを判定し（ステップＳ３７）、下回っていないようであればステップＳ３０に戻り、前景割合が閾値ＴＨ２を下回るまで上記ステップＳ３０〜ステップＳ３７の処理を繰り返す。なお、繰り返しの際にはステップＳ３２では時刻ｔ＝０の設定は行わずに、現在の時刻をｔ＝ｔ＋１とする。一方、閾値ＴＨ２を下回った場合にはその時点での時刻をｔ２として記憶する（ステップＳ３８）。続いて、ステップＳ３６とステップＳ３８で求めたｔ２−ｔ１が所定時間ｔｌを越えるか否かを判定する（ステップＳ３９）。ｔ２−ｔ１が所定時間ｔｌを超える場合は、オブジェクトは静止状態にあるとして追跡を行う（ステップＳ４０）。これに対し、ｔ２−ｔ１が所定時間ｔｌ未満であれば、オブジェクトは不可視状態にあるとして追跡を行う（ステップＳ４１）。ステップＳ４０又はステップＳ４１のいずれか一方の処理を終えると、本処理を終える。このように、前景割合が第一の閾値ＴＨ１を下回ってから、第二の閾値ＴＨ２を下回るまでの時間であるｔ２−ｔ１が一定時間ｔｌ以上であれば、前景割合が時間をかけてゆるやかに減少していると考えることができるため、オブジェクトは静止状態であると判定し、静止状態として追跡する。
【００４８】
このように本実施の形態のオブジェクト判定装置１によれば、連続して入力された画像からオブジェクトを含むオブジェクト領域を抽出してその領域の静止判定を行い、静止していれば当該領域内における連続入力画像の前景割合変化を検出し、検出した前景割合変化に基づきオブジェクトの有無判定を行うので、オブジェクトが人物の場合で一定時間以上静止して背景として溶け込んでも、人物は微動することから連続入力画像の前景割合変化を検出することで人物の有無を判定でき、精度良く追跡を続けることができる。また、部屋からの退出など人物が実際に居なくなった場合、追跡を終了できるので、不正な動作を防止できる。すなわち、前景が存在しなくなったときは、その時点で追跡を止めればよいので、正常に機能しなくなるようなことがない。
【００４９】
なお、オブジェクト領域内における前景画像のオブジェクトを示す領域（固まり）が所定の率に低下するまでの時間を調べることで、オブジェクトの種別を判定することが可能である。例えば、図１８は、（ａ）リビング、（ｂ）廊下及び（ｃ）障害物それぞれにおける固まりの減少率を示す図である。オブジェクト領域が止まってから前景割合が例えば５０％になるまでの時間を調べる。時刻ｔ１＜時刻ｔ２＜時刻ｔ３として、時刻ｔ１以内であれば“リビング”、時刻ｔ２以内であれば“廊下”、時刻ｔ３以内であれば“障害物”と判別する。
【００５０】
また、前述した図１２及び図１３で示した前景割合の時間的変化を示す図を用いて大まかなレイアウト推定を行うことが可能である。例えば、静止判定とみなされたポイントが多い場合は“リビング”と推定できる。また、静止判定とみなされたポイントが少ない場合は“廊下や通路”と推定できる。また、静止判定とみなされたポイントが無い場合は“障害物”と推定できる。
【００５１】
更に、上記レイアウト推定結果を使用して閾値ＴＨｊを変化させることも可能である。このことを図１２及び図１３で示した前景割合の時間的変化を示す図を用いて説明する。時刻ｔ１時に閾値ＴＨｊより前景割合が低下した場合は移動と判定するが、その可能性が大の場合は、閾値ＴＨｊを標準値よりＸ％（例えば３０％）下げる。また、その可能性が中の場合は、閾値ＴＨｊを標準値と同じにする。また、その可能性が小の場合は、閾値ＴＨｊを標準値よりＹ％（例えば３０％）上げる。
【００５２】
また、時刻ｔ２時に前景割合が閾値ＴＨｊより大きい場合は静止と判定するが、その可能性が大の場合は、閾値ＴＨｊを標準値よりＸ％（例えば３０％）下げる。また、その可能性が中の場合は、閾値ＴＨｊを標準値と同じにする。また、その可能性が小の場合は、閾値ＴＨを標準値よりＹ％（例えば３０％）上げる。
【００５３】
（実施の形態２）
図１９は、本発明の実施の形態２に係るオブジェクト判定装置の概略構成を示すブロック図である。なお、同図において前述した実施の形態１のオブジェクト判定装置１と共通する部分には同一の符号を付けて詳細な説明は省略する。
【００５４】
図１９において、本実施の形態に係るオブジェクト判定装置２０は、画像入力部２と、背景画像生成部３と、背景差分処理部４と、オブジェクト領域抽出部５と、静止判定部６と、レイアウト推定部（レイアウト推定手段）２１と、判定部８と、判定基準設定部９と、追跡部１０とを備えて構成される。
【００５５】
オブジェクト領域抽出部５は、連続して入力された実空間の画像からオブジェクトを含む領域であるオブジェクト領域を抽出する。静止判定部６は、オブジェクト領域抽出部５により抽出されたオブジェクト領域の静止判定を行う。レイアウト推定部２１は、実空間内における静止判定部６により静止と判定されたオブジェクト領域の位置と回数により実空間のレイアウトを推定する。
【００５６】
ここで、図２０は実際のレイアウトの一例を示す図である。同図に示すレイアウトでは、左上角部分に階段３０１があり、階段３０１の近くに小型の家具３０２が配置されている。また、中央から僅かに右側にテーブル３０３が配置されており、右上角部分には大型家具３０４が配置されている。レイアウト推定部２１は、図２１に示すように、オブジェクト領域１１０内のオブジェクトである人物１００の足元１００ａの位置情報で障害物３００を検知する。障害物３００の周りに人物１００が動作した跡３１０が点在している。レイアウト推定部２１は長期間に亘って人物１００の足元１００ａの位置情報を収集し、オブジェクト領域１１０の位置と回数により実空間のレイアウトを推定する。図２２は、図２０の実際のレイアウトにおけるオブジェクト領域１１０の位置と回数をマッピングした頻度マップ３２０である。数値が０（ゼロ）の領域は障害物３００であると推定できる。図２３は、図２２の頻度マップ３２０から推定できる障害物３００を示す図である。このようにしてレイアウト推定部２１は実空間のレイアウトを推定する。
【００５７】
なお、カメラからの撮影画像は、実際は図２４に示すように立体的になり、このままでは平面的なレイアウトにならない。このため、レイアウト推定部２１は座標変換を行って平面的なレイアウトにしている。
【００５８】
図１９に戻り、判定部８は、レイアウト推定部２１による推定結果に基づきオブジェクトである人物１００の有無の判定を行う。また、判定部８は、レイアウト推定結果を使用して閾値ＴＨを変化させる。図２５は、図２０のレイアウトにおいてオブジェクトである人物が背景画像に溶け込む可能性を示す図である。
（１）人物が背景画像に溶け込む可能性大の領域３３０で静止判定となった場合、無条件で静止状態に推移する。
（２）人物が背景画像に溶け込む可能性中の領域３３１で静止判定となった場合、通常の判定条件を行う。
（３）人物が背景画像に溶け込む可能性低の領域３３２で静止判定となった場合、無条件で移動状態に推移する。
【００５９】
図１９に戻り、追跡部１０は、オブジェクト領域抽出部５で抽出されたオブジェクト領域と判定部８の判定結果に従い、人物１００の追跡を行う。
【００６０】
このように本実施の形態のオブジェクト判定装置２０によれば、実空間内で静止と判定したオブジェクト領域の位置と回数により実空間のレイアウトを推定し、この推定結果に基づきオブジェクトの有無の判定を行うので、人物とそれ以外のもの（例えば、タンスや机などの家具や階段など）を区別することができ、人物が座るなどして動かなくなっても追跡することができる。特にレイアウト推定するので、更に精度良く追跡を続けることができる。
【００６１】
（実施の形態３）
図２６は、本発明の実施の形態３に係るオブジェクト判定装置の概略構成を示すブロック図である。なお、同図において前述した実施の形態１のオブジェクト判定装置１と共通する部分には同一の符号を付けて詳細な説明は省略する。
【００６２】
図２６において、本実施の形態に係るオブジェクト判定装置３０は、画像入力部２と、背景画像生成部３と、背景差分処理部４と、オブジェクト領域抽出部５と、静止判定部６と、オブジェクト追跡結果保持部（オブジェクト追跡結果保持手段）３１と、レイアウト推定部３２と、判定部８と、判定基準設定部９と、追跡部１０とを備えて構成される。
【００６３】
オブジェクト領域抽出部５は、連続して入力された実空間の画像からオブジェクトを含む領域であるオブジェクト領域を抽出する。静止判定部６は、オブジェクト領域抽出部５により抽出されたオブジェクト領域の静止判定を行う。オブジェクト追跡結果保持部３１は、静止判定部６により静止と判定されなかったオブジェクト領域の動きの方向と大きさを保持する。オブジェクト領域の動きの方向と大きさは前述した図２１に示した人物１００の足元１００ａの位置情報で障害物３００を検知することで得ることができる。オブジェクト追跡結果保持部３１は、長期間に亘って人物１００の足元１００ａの位置情報を収集し、オブジェクト領域の動きの方向と大きさを保持する。図２７は、図２０の実際のレイアウトにおけるオブジェクト領域１１０の動きの方向と大きさをマッピングした速度＆方向マップ４００を示す図である。なお、前述したように、カメラからの撮影画像は、実際は図２４に示すように立体的になり、得られる速度＆方向マップは図２８に示すようになる。このため、オブジェクト追跡結果保持部３１は座標変換を行って平面的な速度＆方向マップ４００を得ている。
【００６４】
図２６に戻り、レイアウト推定部３２は、オブジェクト追跡結果保持部３１に保持されたオブジェクト領域の動きの方向と大きさに応じて実空間のレイアウトを推定する。レイアウトの推定に関して以下の考えを適応する。
【００６５】
（１）通路：
速度が速い。
方向性がある。
（２）こたつやテーブル：
こたつの周りには滞留頻度が多い。
こたつの周りには方向がばらばら。
こたつの周りには速度が速い。
（３）家具や壁：頻度が無い。
【００６６】
図２９は、上記考えを適応して推定したレイアウトを示す図である。障害物３００と、通路４１０と、居間４１１とからなるレイアウトが推定されている。
【００６７】
図２６に戻り、判定部８は、レイアウト推定部３２による推定結果に基づきオブジェクトの有無の判定を行う。追跡部１０は、オブジェクト領域抽出部５で抽出されたオブジェクト領域と判定部８の判定結果に従い、オブジェクトの追跡を行う。また、追跡部１０は、追跡結果を逐次オブジェクト追跡結果保持部３１へ出力する。
【００６８】
このように本実施の形態のオブジェクト判定装置３０によれば、静止と判定しないオブジェクト領域の動きの方向と大きさを保持し、保持したオブジェクト領域の動きの方向と大きさに応じて実空間のレイアウトを推定し、この推定結果に基づきオブジェクトの有無の判定を行うので、人物とそれ以外のもの（例えば、タンスや机などの家具や階段など）を区別することができ、人物が座るなどして動かなくなっても追跡を継続して行うことができる。特にレイアウト推定するので、更に精度良く追跡を続けることができる。
【産業上の利用可能性】
【００６９】
本発明は、背景差分処理で人物を検出・追跡を行う場合に、人物が一定時間以上静止して背景として溶け込んでも追跡を続けることができ、また部屋からの退出など人物が実際に居なくなっても正常に機能するといった効果を有し、監視カメラシステムなどへの適用が可能である。
【符号の説明】
【００７０】
１、２０、３０ オブジェクト判定装置
２ 画像入力部
３ 背景画像生成部
４ 背景差分処理部
５ オブジェクト領域抽出部
６ 静止判定部
７ 前景割合変化検出部
８ 判定部
９ 判定基準設定部
１０ 追跡部
２１、３２ レイアウト推定部
３１ オブジェクト追跡結果保持部
【技術分野】
【０００１】
本発明は、動的に背景画像を更新し、背景差分処理で人物を検出・追跡を行うシステムに用いて好適なオブジェクト判定装置に関する。
【背景技術】
【０００２】
従来、動的に変化する背景でも背景差分処理ができるように、時系列の入力画像を蓄積して背景画像を更新し、人物の検出や追跡を行う方式や、追跡が一旦途切れた場合に、途切れた位置の周辺を探すことにより引き続き追跡を継続し、追跡精度を向上せる方式が案出されている。背景を生成する処理としては、例えば非特許文献１で開示されており、追跡する処理としては、例えば特許文献１で開示されている。
【先行技術文献】
【特許文献】
【０００３】
【特許文献１】米国特許出願公開第２００７／００７０２０１号明細書
【非特許文献】
【０００４】
【非特許文献１】C.Stauffer, W.E.L.Grimson, "Adaptive background mixture models for real-time tracking", CVPR, 1999
【発明の概要】
【発明が解決しようとする課題】
【０００５】
しかしながら、従来の背景差分処理で人物を検出・追跡を行うシステムにおいては、動的に背景画像を更新し、背景差分処理で人物を検出・追跡を行う場合、一定時間以上人物が静止すると人物が背景として溶け込んで検出されなくなり、追跡を再開することができないという課題がある。
【０００６】
また、追跡が一旦途切れた際に、実際に人物がその周辺にいる場合はその後も正しく追跡することが可能であるが、部屋からの退出など人物が実際に居なくなった場合には正しく機能しないという課題もある。
【０００７】
本発明は、係る事情に鑑みてなされたものであり、背景差分処理で人物を検出・追跡を行う場合に、精度良く追跡を続けることができるオブジェクト判定装置を提供することを目的とする。
【課題を解決するための手段】
【０００８】
本発明のオブジェクト判定装置は、連続して入力された画像からオブジェクトを含む領域であるオブジェクト領域を抽出するオブジェクト領域抽出手段と、前記オブジェクト領域抽出手段により抽出された前記オブジェクト領域の静止判定を行う静止判定手段と、前記静止判定手段により静止と判定されたオブジェクト領域内における前記連続して入力された画像の前景割合変化を検出する前景割合変化検出手段と、前記前景割合変化検出手段により検出された前景割合変化に基づき前記オブジェクトの有無の判定を行う判定手段と、を有することを特徴とする。
【０００９】
上記構成によれば、連続して入力された画像からオブジェクトを含むオブジェクト領域を抽出してその領域の静止判定を行い、静止していればオブジェクト領域内における連続入力画像の前景割合変化を検出し、検出した前景割合変化に基づきオブジェクトの有無判定を行うので、オブジェクトが人物の場合で人物全体としては一定時間以上静止して背景として溶け込んでも、人物は微動することからオブジェクト領域内の連続入力画像の前景割合変化を検出することで人物の有無や状態の変化を判定でき、精度良く追跡を続けることができる。また、部屋からの退出や物陰やカメラからの死角に移動するなど人物が実際に居なくなった場合に追跡を終了することで、不正な動作を防止できる。
【００１０】
上記構成において、前記前景割合変化は、静止と判定された前記オブジェクト領域内における前記連続して入力された画像の前景として抽出された領域の変化として検出されることを特徴とする。
【００１１】
上記構成によれば、静止と判定したオブジェクト領域内における連続入力画像から前景として抽出された領域の変化として検出するので、オブジェクトが微動していればその有無を判定することができる。
【００１２】
本発明のオブジェクト判定装置は、連続して入力された実空間の画像からオブジェクトを含む領域であるオブジェクト領域を抽出するオブジェクト領域抽出手段と、前記オブジェクト領域抽出手段により抽出された前記オブジェクト領域の静止判定を行う静止判定手段と、前記実空間内における前記静止判定手段により静止と判定されたオブジェクト領域の位置と回数により前記実空間のレイアウトを推定するレイアウト推定手段と、を有し、前記レイアウト推定手段による推定結果に基づき前記オブジェクトの有無の判定を行うことを特徴とする。
【００１３】
上記構成によれば、実空間内で静止と判定したオブジェクト領域の位置と回数により実空間のレイアウトを推定し、この推定結果に基づきオブジェクトの有無の判定を行うので、人物とそれ以外のもの（例えば、タンスや机などの家具や階段など）を区別することができ、人物が座るなどして動かなくなっても追跡することができる。すなわち、精度良く追跡を続けることができる。
【００１４】
本発明のオブジェクト判定装置は、連続して入力された実空間の画像からオブジェクトを含む領域であるオブジェクト領域を抽出するオブジェクト領域抽出手段と、前記オブジェクト領域抽出手段により抽出された前記オブジェクト領域の静止判定を行う静止判定手段と、前記静止判定手段により静止と判定されなかったオブジェクト領域の動きの方向と大きさを保持するオブジェクト追跡結果保持手段と、前記オブジェクト追跡結果保持手段に保持された前記オブジェクト領域の動きの方向と大きさに応じて前記実空間のレイアウトを推定するレイアウト推定手段と、を有し、前記レイアウト推定手段による推定結果に基づき前記オブジェクトの有無の判定を行うことを特徴とする。
【００１５】
上記構成によれば、静止と判定しないオブジェクト領域の動きの方向と大きさを保持し、保持したオブジェクト領域の動きの方向と大きさに応じて実空間のレイアウトを推定し、この推定結果に基づきオブジェクトの有無の判定を行うので、人物とそれ以外のもの（例えば、タンスや机などの家具や階段など）を区別することができ、人物が座るなどして動かなくなっても追跡を継続して行うことができる。すなわち、精度良く追跡を続けることができる。
【００１６】
本発明のオブジェクト判定方法は、連続して入力された画像からオブジェクトを含む領域であるオブジェクト領域を抽出するオブジェクト領域抽出ステップと、前記オブジェクト領域抽出ステップにより抽出された前記オブジェクト領域の静止判定を行う静止判定ステップと、前記静止判定ステップにより静止と判定されたオブジェクト領域内における前記連続して入力された画像の前景割合変化を検出する前景割合変化検出ステップと、前記前景割合変化検出ステップにより検出された前景割合変化に基づき前記オブジェクトの有無の判定を行う判定ステップと、を有することを特徴とする。
【００１７】
上記方法によれば、連続して入力された画像からオブジェクトを含むオブジェクト領域を抽出してその領域の静止判定を行い、静止していればオブジェクト領域内における連続入力画像の前景割合変化を検出し、検出した前景割合変化に基づきオブジェクトの有無判定を行うので、オブジェクトが人物の場合で人物全体としては一定時間以上静止して背景として溶け込んでも、人物は微動することからオブジェクト領域内の連続入力画像の前景割合変化を検出することで人物の有無や状態の変化を判定でき、精度良く追跡を続けることができる。また、部屋からの退出や物陰やカメラからの死角に移動するなど人物が実際に居なくなった場合に追跡を終了することで、不正な動作を防止できる。
【発明の効果】
【００１８】
本発明によれば、背景差分処理で人物を検出・追跡を行う場合に、精度良く追跡を続けることができる。
【図面の簡単な説明】
【００１９】
【図１】本発明の実施の形態１に係るオブジェクト判定装置の概略構成を示すブロック図
【図２】背景画像の生成方法と背景差分の生成方法を模式的に示した図
【図３】画素数の変化の一例を示す図
【図４】人物を含むオブジェクト領域の前景割合が減少して横へずれた場合の一例を示す図
【図５】矩形の領域であるオブジェクト領域の動きの求め方を説明するための図
【図６】人物の動きによる入力画像と前景画像と前景割合の違いを示す図
【図７】人物の動きによる入力画像と前景画像と前景割合の違いを示す図
【図８】人物の動きによる入力画像と前景画像と前景割合の違いを示す図
【図９】前景画像が背景に溶け込む例を示す図
【図１０】図７の場合の時間経過に伴う入力画像、背景画像及び背景差分結果の推移を示す図
【図１１】図８の場合の時間経過に伴う入力画像、背景画像及び背景差分結果の推移を示す図
【図１２】人物が部屋内の机のそばに座った場合の前景割合の変化を示す図
【図１３】人物が部屋から出ていった場合の前景割合の変化を示す図
【図１４】前景画像のオブジェクトを示す領域の減少率の一例を示す図
【図１５】実施の形態１のオブジェクト判定装置に判定基準Ｎｏ．１を用いた場合の同装置の動作を説明するためのフローチャート
【図１６】実施の形態１のオブジェクト判定装置に判定基準Ｎｏ．２を用いた場合の同装置の動作を説明するためのフローチャート
【図１７】実施の形態１のオブジェクト判定装置に判定基準Ｎｏ．３を用いた場合の同装置の動作を説明するためのフローチャート
【図１８】（ａ）リビング、（ｂ）廊下及び（ｃ）障害物それぞれにおける前景画像のオブジェクトを示す領域の減少率を示す図
【図１９】本発明の実施の形態２に係るオブジェクト判定装置の概略構成を示すブロック図
【図２０】実際のレイアウトの一例を示す図
【図２１】実施の形態２のオブジェクト判定装置のレイアウト推定部による障害物検知動作を説明するための図
【図２２】図２０の実際のレイアウトにおけるオブジェクト領域の位置と回数をマッピングした頻度マップを示す図
【図２３】図２２の頻度マップから推定できる障害物を示す図
【図２４】カメラからの撮影画像を示す図
【図２５】図２０のレイアウトにおいてオブジェクトである人物が背景画像に溶け込む可能性を示す図
【図２６】本発明の実施の形態３に係るオブジェクト判定装置の概略構成を示すブロック図
【図２７】図２０の実際のレイアウトにおけるオブジェクト領域の動きの方向と大きさをマッピングした速度＆方向マップを示す図
【図２８】実際の撮影画像による速度＆方向マップを示す図
【図２９】所定の考えを基に推定したレイアウトの一例を示す図
【発明を実施するための形態】
【００２０】
以下、本発明を実施するための好適な実施の形態について、図面を参照して詳細に説明する。
【００２１】
（実施の形態１）
図１は、本発明の実施の形態１に係るオブジェクト判定装置の概略構成を示すブロック図である。同図において、本実施の形態に係るオブジェクト判定装置１は、画像入力部２と、背景画像生成部３と、背景差分処理部４と、オブジェクト領域抽出部（オブジェクト領域抽出手段）５と、静止判定部（静止判定手段）６と、前景割合変化検出部（前景割合変化検出手段）７と、判定部（判定手段）８と、判定基準設定部９と、追跡部１０とを備えて構成される。
【００２２】
画像入力部２は、図示せぬカメラから出力される画像を入力し出力する。背景画像生成部３は、画像入力部２が入力した画像から背景画像を生成し出力する。背景差分処理部４は、画像入力部２が入力した画像と背景画像生成部３が生成した背景画像との差分を求めて背景差分を出力する。ここで、図２は“背景画像の生成方法”と“背景差分の生成方法”を模式的に示した図である。背景画像Ｉｍｂは、画像入力部２が連続して入力した複数の画像Ｉｍの同じ位置の画素同士を比較して、一定以上の画素が同じとき（これを支配的な画素と呼ぶ）、動きのない部分として抽出することで生成される。また、背景差分Ｉｍｄは、入力画像Ｉｍと背景画像Ｉｍｂとの差分をとることで得られる。なお、“背景差分”を以後“前景情報”と呼ぶ。
【００２３】
図１に戻り、オブジェクト領域抽出部５は、前景情報を元にして画像入力部２が連続して入力した複数の画像Ｉｍからオブジェクトを含む領域であるオブジェクト領域を抽出する。オブジェクトとは、例えば図２に示すように追跡対象となるもので、主に“人物１００”である。また、オブジェクト領域は、例えば図２に示すように“人物１００”を含む矩形の領域１１０でありオブジェクトと共に移動する。静止判定部６は、オブジェクト領域抽出部５により抽出されたオブジェクト領域の静止判定を行う。すなわち、オブジェクト領域の移動量が過去のフレームにおいて一定割合以内（一定ピクセル以内）の場合、オブジェクト領域が静止したと判定する。例えば、過去５フレームの移動量がそれぞれ３ピクセル以内の場合、枠静止状態と判定する。また、過去５フレームの移動量が矩形の１０％以内の場合、枠静止状態と判定する。この場合、矩形のオブジェクト領域の大きさが２０×２０ピクセルの場合、１０％以内は縦・横各２ピクセルとなる。
【００２４】
前景割合変化検出部７は、静止判定部６により静止と判定されたオブジェクト領域内における、連続して入力された画像の前景割合変化を検出する。前景割合変化は、静止と判定されたオブジェクト領域内における、連続して入力された画像の変化として検出される。オブジェクト領域内における前景割合は、一旦オブジェクト領域が止まったときに、オブジェクト領域内の背景差分の量（背景差分として検出された画素の数）を求めることで得られる。図３は、時刻ｔ３〜時刻ｔ６における画素数の変化の一例を示す図である。同図に示す例では、画素数は８→４→２→１と減少していっている。
【００２５】
なお、減少した前景割合が横へずれた場合は静止判定を基準に処理を行うとよい。図４は、人物１００を含むオブジェクト領域の前景割合が減少して横へずれた場合の一例を示す図である。少しずつの移動であれば静止判定基準により静止と判定できるので、継続的に処理できる。すなわち、少しずつ横にずれても正しく追跡することができる。例えば、過去５フレームの移動量がそれぞれ３ピクセル以内の場合、静止状態と判定し、静止判定基準が動作している場合、横に２ピクセルずつずれたとしても静止判定処理を行う。
【００２６】
また、図５は、矩形の領域であるオブジェクト領域の動きの求め方を説明するための図である。同図において、時刻ｔ１にて背景差分で検出された画素の集まりをまとめて枠で囲む。次いで、時刻ｔ２で時刻ｔ１の枠と比較して枠の動きを求める。時刻ｔ２では、時刻ｔ１の枠を時刻ｔ２の画像内で動かしながら画素同士を比較し、相関度が最も大きな位置を求め、枠の移動位置とする。
【００２７】
オブジェクト領域の動きの他の求め方としては、時刻ｔ１にて背景差分で検出された画素の集まりをまとめて枠で囲む。次いで、時刻ｔ２にて背景差分で検出された画素の集まりをまとめて枠で囲む。次いで、時刻ｔ１の枠と一番近い枠を対応させる。そして、対応した重心の差を求める。
【００２８】
図６〜図８は、人物の動きによる入力画像と前景画像と前景割合の違いを示す図である。図６の（ａ）は、人物１００が部屋２００に入ってきたときの状態を示している。部屋２００にはドア２０１が設けられており、また部屋２００内には３つのタンス２０２と机２０３が置かれている。図６の（ｂ）に示すように、前景情報（背景以外の情報）として人物１００が現われている。また、人物１００が立っている状態では図６の（ｃ）に示すように、前景割合は時間の経過とともに略一定の値をとる。この場合、前景割合が一定の値をとることから、人物１００の追跡は十分に可能である。
【００２９】
図７の（ａ）は、人物１００が机２０３のそばに座っている状態を示している。人物１００が座るとほぼ動かなくなるので、図７の（ｂ）に示すように、人物１００は徐々に背景に溶け込まれていき、前景情報が抽出し難くなる。したがって、図７の（ｃ）に示すように、前景割合は緩やかに減少していく。但し、人物１００は微動するので、前景情報が図７の（ｃ）に示すように減少した場合、人物１００が居ると判断すれば、人物１００の追跡は可能である。なお、図９は、前景画像が背景に溶け込む例を示す図である。この例は、１フレームに１ラインずつ背景更新を行うものである。この図に示すように更新された部分から溶け込んでいく。
【００３０】
図８の（ａ）は、人物１００が部屋２００を出る状態を示している。人物１００が部屋２００を出ると、図８の（ｂ）に示すように前景情報は残らない。したがって、図８の（ｃ）に示すように、前景割合は一気に減少してゼロになる。この場合、前景割合がゼロの時点で人物１００が居なくなったので、人物１００の追跡はできない。
【００３１】
図１０は、図７の場合の時間経過に伴う入力画像、背景画像及び背景差分結果の推移を示す図である。図１０において、時刻：ｔ０は、部屋２００に入ってきた人物１００が机２０３のそばに座ったときの入力画像、背景画像及び背景差分結果である。時刻：ｔ１、ｔ２の各々は時刻ｔ０後の入力画像、背景画像及び背景差分結果である。静止直後は、背景画像に人物１００が溶け込んでいないため、正確な前景情報の抽出が可能になる。その後、時刻ｔ１に示すように、机２０３のそばに座った人物１００が時間とともに背景画像に溶け込まれていき、正確な前景情報の抽出が難しくなる。その後、時刻ｔ２に示すように、人物１００の大部分が背景に溶け込まれてしまい、正確な前景情報の抽出ができなくなる。しかしながら、人物１００は若干動くためその分が前景として抽出される。
【００３２】
図１１は、図８の場合の時間経過に伴う入力画像、背景画像及び背景差分結果の推移を示す図である。図１１において、時刻：ｔ０は、人物１００が部屋２００から出るときの入力画像、背景画像及び背景差分結果である。時刻：ｔ１、ｔ２の各々は時刻ｔ０後の入力画像、背景画像及び背景差分結果である。人物１００が部屋２００から出るときは、人物１００とドア２０１が変化するため、背景差分結果として抽出される。その後、時刻ｔ１に示すように、部屋２００から出る際の時間が長くないため、人物１００が支配的な画素にならず新たな背景とならないため、背景画像は変化しない。したがって、人物１００が部屋２００から出た後の前景情報は何も抽出されない。その後、時刻ｔ２に示すように、人物１００が部屋２００から居なくなるので、前景情報は残らない。
【００３３】
図１に戻り、判定部８は、前景割合変化検出部７により検出された前景割合変化に基づきオブジェクトの有無の判定を行う。オブジェクトの有無の判定とは、前景割合が一定以下になった場合に、オブジェクトがその場に静止しているために背景に溶け込んでしまい実際には画像内に存在はするが前景割合が一定以下になった（静止状態）のか、退出や物陰に入ってしまい画像内に存在しなくなったために前景割合が一定以下になった（不可視状態）のかを判定するものである。判定基準設定部９は、判定部８で用いられる基準時間ｔｊ、閾値ＴＨｊなどを設定する。オブジェクトが静止したのか、それとも存在しなくなったのかの区別は、オブジェクト領域内における前景割合を評価基準にして判定する。判定基準として、例えば以下の３つの例が挙げられる。
【００３４】
判定基準Ｎｏ．１：前景が出現してから基準時間内に前景割合が閾値を下回った場合は不可視状態と判定する。
判定基準Ｎｏ．２：前景割合の減少率が所定の傾きよりも大きい場合（急激な変化の場合）に不可視状態と判定する。
判定基準Ｎｏ．３：前景割合が第一の閾値より小さくなってから第二の閾値より小さくなるまでの時間が一定時間より大きい場合に静止状態と判定する。
【００３５】
判定基準Ｎｏ．１を用いる場合は判定基準設定部９で基準時間ｔｊと閾値ＴＨｊを設定する。また、判定基準Ｎｏ．２を用いる場合は判定基準設定部９で時刻ｔｋと傾きＴＨｋを設定する。また、判定基準Ｎｏ．３を用いる場合は判定基準設定部９で一定時間ｔｌと２つの閾値ＴＨ１，ＴＨ２を設定する。例えば、人物が部屋内の机のそばに座った場合、前景割合は図１２のグラフに示すように緩やかに減少していく。この場合、第一の閾値ＴＨ１を下回った時刻をｔ１、第二の閾値ＴＨ２を下回った時刻をｔ２とすると、ｔ２−ｔ１が一定時間（ｔｌ）以上であれば静止状態と判断できる。また、人物が部屋から出ていった場合は、前景割合は図１３のグラフに示すように一気に減少する。この場合、前景割合の減少率が所定の傾きｋよりも大きければ、静止と判断できる。
【００３６】
なお、以上では矩形のオブジェクト領域を設定し、その領域における前景割合を扱うようにしたが、矩形のオブジェクト領域を設定しなくても、オブジェクトの前景情報の形状に応じた減少率を扱うようにすることも可能である。図１４は、前景画像のオブジェクトを示す領域の減少率の一例を示す図である。前景画像のオブジェクトを示す領域３００が緩やかに減少している。
【００３７】
図１に戻り、追跡部１０は、オブジェクト領域抽出部５で抽出されたオブジェクト領域と判定部８の判定結果に従い、オブジェクトの追跡を行う。
【００３８】
次に、本実施の形態のオブジェクト判定装置１の動作を説明する。この動作説明においてはオブジェクトを人物とする。また、人物が静止状態か不可視状態かを判定するための判定基準として、前述した判定基準Ｎｏ．１、判定基準Ｎｏ．２又は判定基準Ｎｏ．３を用いる。
【００３９】
（判定基準Ｎｏ．１を用いた動作）
図１５は、判定基準Ｎｏ．１を用いた場合のオブジェクト判定装置１の動作を説明するためのフローチャートである。同図において、ステップＳ１の処理は、背景画像生成部３及び背景差分処理部４により行われ、ステップＳ２〜ステップＳ９の各処理は、オブジェクト領域抽出部５、静止判定処理部６、前景割合変化検出部７、判定部８、判定基準設定部９及び追跡部１０により行われる。
【００４０】
まず入力画像からオブジェクトの検出を行う（ステップＳ１）。オブジェクトを検出すると、検出したオブジェクトを含むオブジェクト領域の静止判定を行う（ステップＳ２）。例えば、前述したように過去５フレームの移動量がそれぞれ３ピクセル以内かどうか判定し、３ピクセル以内であれば静止したと判定し、それ以外であれば移動と判定する。静止と判定するまでステップＳ１とステップＳ２の処理を繰り返す。
【００４１】
オブジェクト領域が静止したと判定すると、時刻ｔ＝０を設定し（ステップＳ３）、オブジェクト領域の計算を行う（ステップＳ４）。すなわち、オブジェクトを見つけるために検出したオブジェクト領域を計算する。なお、一旦見失ったオブジェクトを再度見つける場合も同様にオブジェクト領域を計算する。オブジェクト領域を計算した後、当該オブジェクト領域における前景割合を計算する（ステップＳ５）。前景割合を計算した後、時刻ｔｊを経過したかどうか判定し（ステップＳ６）、時刻ｔｊを経過していなければステップＳ１に戻り、時刻ｔｊを経過するまで上記ステップＳ１〜ステップＳ６の処理を繰り返す。なお、繰り返しの際にはステップＳ３では時刻ｔ＝０の設定は行わずに、現在の時刻をｔ＝ｔ＋１とする。一方、時刻ｔｊを経過すると、ステップＳ５で求めた前景割合が所定の閾値ＴＨｊを超えるか否かを判定する（ステップＳ７）。求めた前景割合が所定の閾値ＴＨｊを超える場合はオブジェクトが静止状態にあるとして追跡を行う（ステップＳ８）。これに対し、求めた前景割合が所定の閾値ＴＨｊ未満であれば、オブジェクトは不可視状態にあるとして追跡を行う（ステップＳ９）。ステップＳ８又はステップＳ９のいずれか一方の処理を終えると、本処理を終える。このように、時刻ｔｊに前景割合が閾値ＴＨｊを下回った場合に不可視状態として追跡する。
【００４２】
（判定基準Ｎｏ．２を用いた動作）
図１６は、判定基準Ｎｏ．２を用いた場合のオブジェクト判定装置１の動作を説明するためのフローチャートである。同図において、ステップＳ２０の処理は、背景画像生成部３及び背景差分処理部４によって行われ、ステップＳ２１〜ステップＳ２９の各処理は、オブジェクト領域抽出部５、静止判定処理部６、前景割合変化検出部７、判定部８、判定基準設定部９及び追跡部１０によって行われる。
【００４３】
まず入力画像からオブジェクトの検出を行う（ステップＳ２０）。オブジェクトを検出すると、検出したオブジェクトを含むオブジェクト領域の静止判定を行う（ステップＳ２１）。例えば、過去５フレームの移動量がそれぞれ３ピクセル以内かどうか判定し、３ピクセル以内であればオブジェクト領域が静止したと判定する。過去５フレームの移動量がそれぞれ３ピクセルを超える場合はそれぞれが３ピクセル以内になるまでステップＳ２０とステップＳ２１の処理を繰り返す。
【００４４】
オブジェクト領域が静止したと判定すると、時刻ｔ＝０を設定し（ステップＳ２２）、オブジェクト領域の計算を行う（ステップＳ２３）。すなわち、オブジェクトを見つけるために検出したオブジェクト領域を計算する。なお、一旦見失ったオブジェクトを再度見つける場合も同様にオブジェクト領域を計算する。オブジェクト領域を計算した後、当該オブジェクト領域における前景割合を計算する（ステップＳ２４）。前景割合を計算した後、時刻ｔｋを経過したかどうかを判定し（ステップＳ２５）、時刻ｔｋを経過していなければステップＳ２０に戻り、時刻ｔｋを経過するまで上記ステップＳ２０〜ステップＳ２５を繰り返す。一方、時刻ｔｋを経過すると、計算した前景割合の変化率を求める。すなわち、前景割合の時間的変化の傾きｋを計算する（ステップＳ２６）。傾きｋは、時刻ｔ０〜ｔｋでの前景割合の傾きつまり、（Ｆ（ｔ０）−Ｆ（ｔｋ））／（ｔｋ−ｔ０）として求めることができる（Ｆ（ｔ）は時刻ｔでの前景割合）。次いで、計算して求めた傾きｋと人物１００が居るかいなかを判別するための閾値ＴＨｋと比較し（ステップＳ２７）、傾きｋが閾値ＴＨｋを超える場合は静止状態として追跡し（ステップＳ２８）、傾きｋが閾値ＴＨｋ未満の場合は不可視状態として追跡する（ステップＳ２９）。ステップＳ２８又はステップＳ２９のいずれか一方の処理を終えると、本処理を終える。このように、前景割合の減少率が傾きｋより大きい場合にオブジェクトが静止状態として判定し、静止状態として追跡する。
【００４５】
（判定基準Ｎｏ．３を用いた動作）
図１７は、判定基準Ｎｏ．３を用いた場合のオブジェクト判定装置１の動作を説明するためのフローチャートである。同図において、ステップＳ３０の処理は、背景画像生成部３及び背景差分処理部４によって行われ、ステップＳ３１〜ステップＳ４１の各処理は、オブジェクト領域抽出部５、静止判定部６、前景割合変化検出部７、判定部８、判定基準設定部９及び追跡部１０によって行われる。
【００４６】
まず入力画像からオブジェクトの検出を行う（ステップＳ３０）。オブジェクトを検出すると、検出したオブジェクトを含むオブジェクト領域の静止判定を行う（ステップＳ３１）。例えば、過去５フレームの移動量がそれぞれ３ピクセル以内かどうか判定し、３ピクセル以内であればオブジェクト領域が静止したと判定する。過去５フレームの移動量がそれぞれ３ピクセルを超える場合はそれぞれが３ピクセル以内になるまでステップＳ３０とステップＳ３１の処理を繰り返す。
【００４７】
オブジェクト領域が静止したと判定すると、時刻ｔ＝０を設定し（ステップＳ３２）、オブジェクト領域の計算を行う（ステップＳ３３）。すなわち、オブジェクトを見つけるために検出したオブジェクト領域を計算する。なお、一旦見失ったオブジェクトを再度見つける場合も同様にオブジェクト領域を計算する。オブジェクト領域を計算した後、当該オブジェクト領域における前景割合を計算する（ステップＳ３４）。前景割合を計算した後、その時点での前景割合が閾値ＴＨ１を下回っているかを判定し（ステップＳ３５）、下回っているようであれば初めて下回った時刻をｔ１として記憶し（ステップＳ３６）、下回っていない場合はステップＳ３７に移動する。続いて、前景割合が閾値ＴＨ２を下回っているかどうかを判定し（ステップＳ３７）、下回っていないようであればステップＳ３０に戻り、前景割合が閾値ＴＨ２を下回るまで上記ステップＳ３０〜ステップＳ３７の処理を繰り返す。なお、繰り返しの際にはステップＳ３２では時刻ｔ＝０の設定は行わずに、現在の時刻をｔ＝ｔ＋１とする。一方、閾値ＴＨ２を下回った場合にはその時点での時刻をｔ２として記憶する（ステップＳ３８）。続いて、ステップＳ３６とステップＳ３８で求めたｔ２−ｔ１が所定時間ｔｌを越えるか否かを判定する（ステップＳ３９）。ｔ２−ｔ１が所定時間ｔｌを超える場合は、オブジェクトは静止状態にあるとして追跡を行う（ステップＳ４０）。これに対し、ｔ２−ｔ１が所定時間ｔｌ未満であれば、オブジェクトは不可視状態にあるとして追跡を行う（ステップＳ４１）。ステップＳ４０又はステップＳ４１のいずれか一方の処理を終えると、本処理を終える。このように、前景割合が第一の閾値ＴＨ１を下回ってから、第二の閾値ＴＨ２を下回るまでの時間であるｔ２−ｔ１が一定時間ｔｌ以上であれば、前景割合が時間をかけてゆるやかに減少していると考えることができるため、オブジェクトは静止状態であると判定し、静止状態として追跡する。
【００４８】
このように本実施の形態のオブジェクト判定装置１によれば、連続して入力された画像からオブジェクトを含むオブジェクト領域を抽出してその領域の静止判定を行い、静止していれば当該領域内における連続入力画像の前景割合変化を検出し、検出した前景割合変化に基づきオブジェクトの有無判定を行うので、オブジェクトが人物の場合で一定時間以上静止して背景として溶け込んでも、人物は微動することから連続入力画像の前景割合変化を検出することで人物の有無を判定でき、精度良く追跡を続けることができる。また、部屋からの退出など人物が実際に居なくなった場合、追跡を終了できるので、不正な動作を防止できる。すなわち、前景が存在しなくなったときは、その時点で追跡を止めればよいので、正常に機能しなくなるようなことがない。
【００４９】
なお、オブジェクト領域内における前景画像のオブジェクトを示す領域（固まり）が所定の率に低下するまでの時間を調べることで、オブジェクトの種別を判定することが可能である。例えば、図１８は、（ａ）リビング、（ｂ）廊下及び（ｃ）障害物それぞれにおける固まりの減少率を示す図である。オブジェクト領域が止まってから前景割合が例えば５０％になるまでの時間を調べる。時刻ｔ１＜時刻ｔ２＜時刻ｔ３として、時刻ｔ１以内であれば“リビング”、時刻ｔ２以内であれば“廊下”、時刻ｔ３以内であれば“障害物”と判別する。
【００５０】
また、前述した図１２及び図１３で示した前景割合の時間的変化を示す図を用いて大まかなレイアウト推定を行うことが可能である。例えば、静止判定とみなされたポイントが多い場合は“リビング”と推定できる。また、静止判定とみなされたポイントが少ない場合は“廊下や通路”と推定できる。また、静止判定とみなされたポイントが無い場合は“障害物”と推定できる。
【００５１】
更に、上記レイアウト推定結果を使用して閾値ＴＨｊを変化させることも可能である。このことを図１２及び図１３で示した前景割合の時間的変化を示す図を用いて説明する。時刻ｔ１時に閾値ＴＨｊより前景割合が低下した場合は移動と判定するが、その可能性が大の場合は、閾値ＴＨｊを標準値よりＸ％（例えば３０％）下げる。また、その可能性が中の場合は、閾値ＴＨｊを標準値と同じにする。また、その可能性が小の場合は、閾値ＴＨｊを標準値よりＹ％（例えば３０％）上げる。
【００５２】
また、時刻ｔ２時に前景割合が閾値ＴＨｊより大きい場合は静止と判定するが、その可能性が大の場合は、閾値ＴＨｊを標準値よりＸ％（例えば３０％）下げる。また、その可能性が中の場合は、閾値ＴＨｊを標準値と同じにする。また、その可能性が小の場合は、閾値ＴＨを標準値よりＹ％（例えば３０％）上げる。
【００５３】
（実施の形態２）
図１９は、本発明の実施の形態２に係るオブジェクト判定装置の概略構成を示すブロック図である。なお、同図において前述した実施の形態１のオブジェクト判定装置１と共通する部分には同一の符号を付けて詳細な説明は省略する。
【００５４】
図１９において、本実施の形態に係るオブジェクト判定装置２０は、画像入力部２と、背景画像生成部３と、背景差分処理部４と、オブジェクト領域抽出部５と、静止判定部６と、レイアウト推定部（レイアウト推定手段）２１と、判定部８と、判定基準設定部９と、追跡部１０とを備えて構成される。
【００５５】
オブジェクト領域抽出部５は、連続して入力された実空間の画像からオブジェクトを含む領域であるオブジェクト領域を抽出する。静止判定部６は、オブジェクト領域抽出部５により抽出されたオブジェクト領域の静止判定を行う。レイアウト推定部２１は、実空間内における静止判定部６により静止と判定されたオブジェクト領域の位置と回数により実空間のレイアウトを推定する。
【００５６】
ここで、図２０は実際のレイアウトの一例を示す図である。同図に示すレイアウトでは、左上角部分に階段３０１があり、階段３０１の近くに小型の家具３０２が配置されている。また、中央から僅かに右側にテーブル３０３が配置されており、右上角部分には大型家具３０４が配置されている。レイアウト推定部２１は、図２１に示すように、オブジェクト領域１１０内のオブジェクトである人物１００の足元１００ａの位置情報で障害物３００を検知する。障害物３００の周りに人物１００が動作した跡３１０が点在している。レイアウト推定部２１は長期間に亘って人物１００の足元１００ａの位置情報を収集し、オブジェクト領域１１０の位置と回数により実空間のレイアウトを推定する。図２２は、図２０の実際のレイアウトにおけるオブジェクト領域１１０の位置と回数をマッピングした頻度マップ３２０である。数値が０（ゼロ）の領域は障害物３００であると推定できる。図２３は、図２２の頻度マップ３２０から推定できる障害物３００を示す図である。このようにしてレイアウト推定部２１は実空間のレイアウトを推定する。
【００５７】
なお、カメラからの撮影画像は、実際は図２４に示すように立体的になり、このままでは平面的なレイアウトにならない。このため、レイアウト推定部２１は座標変換を行って平面的なレイアウトにしている。
【００５８】
図１９に戻り、判定部８は、レイアウト推定部２１による推定結果に基づきオブジェクトである人物１００の有無の判定を行う。また、判定部８は、レイアウト推定結果を使用して閾値ＴＨを変化させる。図２５は、図２０のレイアウトにおいてオブジェクトである人物が背景画像に溶け込む可能性を示す図である。
（１）人物が背景画像に溶け込む可能性大の領域３３０で静止判定となった場合、無条件で静止状態に推移する。
（２）人物が背景画像に溶け込む可能性中の領域３３１で静止判定となった場合、通常の判定条件を行う。
（３）人物が背景画像に溶け込む可能性低の領域３３２で静止判定となった場合、無条件で移動状態に推移する。
【００５９】
図１９に戻り、追跡部１０は、オブジェクト領域抽出部５で抽出されたオブジェクト領域と判定部８の判定結果に従い、人物１００の追跡を行う。
【００６０】
このように本実施の形態のオブジェクト判定装置２０によれば、実空間内で静止と判定したオブジェクト領域の位置と回数により実空間のレイアウトを推定し、この推定結果に基づきオブジェクトの有無の判定を行うので、人物とそれ以外のもの（例えば、タンスや机などの家具や階段など）を区別することができ、人物が座るなどして動かなくなっても追跡することができる。特にレイアウト推定するので、更に精度良く追跡を続けることができる。
【００６１】
（実施の形態３）
図２６は、本発明の実施の形態３に係るオブジェクト判定装置の概略構成を示すブロック図である。なお、同図において前述した実施の形態１のオブジェクト判定装置１と共通する部分には同一の符号を付けて詳細な説明は省略する。
【００６２】
図２６において、本実施の形態に係るオブジェクト判定装置３０は、画像入力部２と、背景画像生成部３と、背景差分処理部４と、オブジェクト領域抽出部５と、静止判定部６と、オブジェクト追跡結果保持部（オブジェクト追跡結果保持手段）３１と、レイアウト推定部３２と、判定部８と、判定基準設定部９と、追跡部１０とを備えて構成される。
【００６３】
オブジェクト領域抽出部５は、連続して入力された実空間の画像からオブジェクトを含む領域であるオブジェクト領域を抽出する。静止判定部６は、オブジェクト領域抽出部５により抽出されたオブジェクト領域の静止判定を行う。オブジェクト追跡結果保持部３１は、静止判定部６により静止と判定されなかったオブジェクト領域の動きの方向と大きさを保持する。オブジェクト領域の動きの方向と大きさは前述した図２１に示した人物１００の足元１００ａの位置情報で障害物３００を検知することで得ることができる。オブジェクト追跡結果保持部３１は、長期間に亘って人物１００の足元１００ａの位置情報を収集し、オブジェクト領域の動きの方向と大きさを保持する。図２７は、図２０の実際のレイアウトにおけるオブジェクト領域１１０の動きの方向と大きさをマッピングした速度＆方向マップ４００を示す図である。なお、前述したように、カメラからの撮影画像は、実際は図２４に示すように立体的になり、得られる速度＆方向マップは図２８に示すようになる。このため、オブジェクト追跡結果保持部３１は座標変換を行って平面的な速度＆方向マップ４００を得ている。
【００６４】
図２６に戻り、レイアウト推定部３２は、オブジェクト追跡結果保持部３１に保持されたオブジェクト領域の動きの方向と大きさに応じて実空間のレイアウトを推定する。レイアウトの推定に関して以下の考えを適応する。
【００６５】
（１）通路：
速度が速い。
方向性がある。
（２）こたつやテーブル：
こたつの周りには滞留頻度が多い。
こたつの周りには方向がばらばら。
こたつの周りには速度が速い。
（３）家具や壁：頻度が無い。
【００６６】
図２９は、上記考えを適応して推定したレイアウトを示す図である。障害物３００と、通路４１０と、居間４１１とからなるレイアウトが推定されている。
【００６７】
図２６に戻り、判定部８は、レイアウト推定部３２による推定結果に基づきオブジェクトの有無の判定を行う。追跡部１０は、オブジェクト領域抽出部５で抽出されたオブジェクト領域と判定部８の判定結果に従い、オブジェクトの追跡を行う。また、追跡部１０は、追跡結果を逐次オブジェクト追跡結果保持部３１へ出力する。
【００６８】
このように本実施の形態のオブジェクト判定装置３０によれば、静止と判定しないオブジェクト領域の動きの方向と大きさを保持し、保持したオブジェクト領域の動きの方向と大きさに応じて実空間のレイアウトを推定し、この推定結果に基づきオブジェクトの有無の判定を行うので、人物とそれ以外のもの（例えば、タンスや机などの家具や階段など）を区別することができ、人物が座るなどして動かなくなっても追跡を継続して行うことができる。特にレイアウト推定するので、更に精度良く追跡を続けることができる。
【産業上の利用可能性】
【００６９】
本発明は、背景差分処理で人物を検出・追跡を行う場合に、人物が一定時間以上静止して背景として溶け込んでも追跡を続けることができ、また部屋からの退出など人物が実際に居なくなっても正常に機能するといった効果を有し、監視カメラシステムなどへの適用が可能である。
【符号の説明】
【００７０】
１、２０、３０ オブジェクト判定装置
２ 画像入力部
３ 背景画像生成部
４ 背景差分処理部
５ オブジェクト領域抽出部
６ 静止判定部
７ 前景割合変化検出部
８ 判定部
９ 判定基準設定部
１０ 追跡部
２１、３２ レイアウト推定部
３１ オブジェクト追跡結果保持部
【特許請求の範囲】
【請求項１】
連続して入力された画像からオブジェクトを含む領域であるオブジェクト領域を抽出するオブジェクト領域抽出手段と、
前記オブジェクト領域抽出手段により抽出された前記オブジェクト領域の静止判定を行う静止判定手段と、
前記静止判定手段により静止と判定されたオブジェクト領域内における前記連続して入力された画像の前景割合変化を検出する前景割合変化検出手段と、
前記前景割合変化検出手段により検出された前景割合変化に基づき前記オブジェクトの有無の判定を行う判定手段と、
を有することを特徴とするオブジェクト判定装置。
【請求項２】
前記前景割合変化は、静止と判定された前記オブジェクト領域内における前記連続して入力された画像の前景として抽出された領域の変化として検出されることを特徴とする請求項１に記載のオブジェクト判定装置。
【請求項３】
連続して入力された実空間の画像からオブジェクトを含む領域であるオブジェクト領域を抽出するオブジェクト領域抽出手段と、
前記オブジェクト領域抽出手段により抽出された前記オブジェクト領域の静止判定を行う静止判定手段と、
前記実空間内における前記静止判定手段により静止と判定されたオブジェクト領域の位置と回数により前記実空間のレイアウトを推定するレイアウト推定手段と、
を有し、前記レイアウト推定手段による推定結果に基づき前記オブジェクトの有無の判定を行うことを特徴とするオブジェクト判定装置。
【請求項４】
連続して入力された実空間の画像からオブジェクトを含む領域であるオブジェクト領域を抽出するオブジェクト領域抽出手段と、
前記オブジェクト領域抽出手段により抽出された前記オブジェクト領域の静止判定を行う静止判定手段と、
前記静止判定手段により静止と判定されなかったオブジェクト領域の動きの方向と大きさを保持するオブジェクト追跡結果保持手段と、
前記オブジェクト追跡結果保持手段に保持された前記オブジェクト領域の動きの方向と大きさに応じて前記実空間のレイアウトを推定するレイアウト推定手段と、
を有し、前記レイアウト推定手段による推定結果に基づき前記オブジェクトの有無の判定を行うことを特徴とするオブジェクト判定装置。
【請求項５】
連続して入力された画像からオブジェクトを含む領域であるオブジェクト領域を抽出するオブジェクト領域抽出ステップと、
前記オブジェクト領域抽出ステップにより抽出された前記オブジェクト領域の静止判定を行う静止判定ステップと、
前記静止判定ステップにより静止と判定されたオブジェクト領域内における前記連続して入力された画像の前景割合変化を検出する前景割合変化検出ステップと、
前記前景割合変化検出ステップにより検出された前景割合変化に基づき前記オブジェクトの有無の判定を行う判定ステップと、
を有することを特徴とするオブジェクト判定方法。
【請求項１】
連続して入力された画像からオブジェクトを含む領域であるオブジェクト領域を抽出するオブジェクト領域抽出手段と、
前記オブジェクト領域抽出手段により抽出された前記オブジェクト領域の静止判定を行う静止判定手段と、
前記静止判定手段により静止と判定されたオブジェクト領域内における前記連続して入力された画像の前景割合変化を検出する前景割合変化検出手段と、
前記前景割合変化検出手段により検出された前景割合変化に基づき前記オブジェクトの有無の判定を行う判定手段と、
を有することを特徴とするオブジェクト判定装置。
【請求項２】
前記前景割合変化は、静止と判定された前記オブジェクト領域内における前記連続して入力された画像の前景として抽出された領域の変化として検出されることを特徴とする請求項１に記載のオブジェクト判定装置。
【請求項３】
連続して入力された実空間の画像からオブジェクトを含む領域であるオブジェクト領域を抽出するオブジェクト領域抽出手段と、
前記オブジェクト領域抽出手段により抽出された前記オブジェクト領域の静止判定を行う静止判定手段と、
前記実空間内における前記静止判定手段により静止と判定されたオブジェクト領域の位置と回数により前記実空間のレイアウトを推定するレイアウト推定手段と、
を有し、前記レイアウト推定手段による推定結果に基づき前記オブジェクトの有無の判定を行うことを特徴とするオブジェクト判定装置。
【請求項４】
連続して入力された実空間の画像からオブジェクトを含む領域であるオブジェクト領域を抽出するオブジェクト領域抽出手段と、
前記オブジェクト領域抽出手段により抽出された前記オブジェクト領域の静止判定を行う静止判定手段と、
前記静止判定手段により静止と判定されなかったオブジェクト領域の動きの方向と大きさを保持するオブジェクト追跡結果保持手段と、
前記オブジェクト追跡結果保持手段に保持された前記オブジェクト領域の動きの方向と大きさに応じて前記実空間のレイアウトを推定するレイアウト推定手段と、
を有し、前記レイアウト推定手段による推定結果に基づき前記オブジェクトの有無の判定を行うことを特徴とするオブジェクト判定装置。
【請求項５】
連続して入力された画像からオブジェクトを含む領域であるオブジェクト領域を抽出するオブジェクト領域抽出ステップと、
前記オブジェクト領域抽出ステップにより抽出された前記オブジェクト領域の静止判定を行う静止判定ステップと、
前記静止判定ステップにより静止と判定されたオブジェクト領域内における前記連続して入力された画像の前景割合変化を検出する前景割合変化検出ステップと、
前記前景割合変化検出ステップにより検出された前景割合変化に基づき前記オブジェクトの有無の判定を行う判定ステップと、
を有することを特徴とするオブジェクト判定方法。
【図１】
【図２】
【図３】
【図４】
【図５】
【図６】
【図７】
【図８】
【図９】
【図１０】
【図１１】
【図１２】
【図１３】
【図１４】
【図１５】
【図１６】
【図１７】
【図１８】
【図１９】
【図２０】
【図２１】
【図２２】
【図２３】
【図２４】
【図２５】
【図２６】
【図２７】
【図２８】
【図２９】
【図２】
【図３】
【図４】
【図５】
【図６】
【図７】
【図８】
【図９】
【図１０】
【図１１】
【図１２】
【図１３】
【図１４】
【図１５】
【図１６】
【図１７】
【図１８】
【図１９】
【図２０】
【図２１】
【図２２】
【図２３】
【図２４】
【図２５】
【図２６】
【図２７】
【図２８】
【図２９】
【公開番号】特開２０１１−２０９８５６（Ｐ２０１１−２０９８５６Ａ）
【公開日】平成２３年１０月２０日（２０１１．１０．２０）
【国際特許分類】
【出願番号】特願２０１０−７５０８４（Ｐ２０１０−７５０８４）
【出願日】平成２２年３月２９日（２０１０．３．２９）
【出願人】（０００００５８２１）パナソニック株式会社 (73,050)
【Ｆターム（参考）】
【公開日】平成２３年１０月２０日（２０１１．１０．２０）
【国際特許分類】
【出願日】平成２２年３月２９日（２０１０．３．２９）
【出願人】（０００００５８２１）パナソニック株式会社 (73,050)
【Ｆターム（参考）】
[ Back to top ]