物体検出装置
【課題】設置環境の時間的な変動にも対応して検出対象物の検出を行う物体検出装置を提供する。
【解決手段】画像から検出窓が設定されている検出窓領域画像を取り込み、検出窓領域画像と検出対象物とが類似している度合いを示す類似度を算出し、類似度に基づいて検出窓領域画像に検出対象物が存在しているか否かを予め学習した情報に基づいて判定する固定識別器３４と、検出窓領域画像から算出された情報により更新される第１の辞書データを用いて、検出対象物が存在しているか否かを判定する緩慢学習識別器と、第１の辞書データより短い時間で過去の更新内容の影響が小さくなるように検出窓領域画像から算出された情報により更新される第２の辞書データを用いて、検出対象物が存在しているか否かを判定する急変学習識別器とを含む学習識別器３６と、緩慢学習識別器及び急変学習識別器からの出力に基づき検出対象物が存在するか否かを判定する判定手段３８と、を備える。
【解決手段】画像から検出窓が設定されている検出窓領域画像を取り込み、検出窓領域画像と検出対象物とが類似している度合いを示す類似度を算出し、類似度に基づいて検出窓領域画像に検出対象物が存在しているか否かを予め学習した情報に基づいて判定する固定識別器３４と、検出窓領域画像から算出された情報により更新される第１の辞書データを用いて、検出対象物が存在しているか否かを判定する緩慢学習識別器と、第１の辞書データより短い時間で過去の更新内容の影響が小さくなるように検出窓領域画像から算出された情報により更新される第２の辞書データを用いて、検出対象物が存在しているか否かを判定する急変学習識別器とを含む学習識別器３６と、緩慢学習識別器及び急変学習識別器からの出力に基づき検出対象物が存在するか否かを判定する判定手段３８と、を備える。
【発明の詳細な説明】
【技術分野】
【０００１】
本発明は、画像から検出対象物を検出する物体検出装置に関する。
【背景技術】
【０００２】
画像内に検出対象物に対応した画像領域が含まれるか否かを検出する物体検出装置が知られている。
【０００３】
対象物体の存否を事前学習させた識別器に画像を入力し、画像中の対象物体を検出する物体検出装置が提案されている。例えば、特許文献１には、パーティクルフィルタを用いて人物を追跡する人物追跡装置であって、カスケード型識別器を用いて、カスケードの通過段数を人らしさの指標とする技術が開示されている。
【０００４】
また、特許文献２には、正常な監視対象を予め学習した正常学習データと撮像データとに基づいて監視対象が正常であるか否かを判定する正常判定部と、異常な監視対象を予め学習した異常学習データと撮像データとに基づいて監視対象が異常であるか否かを判定する異常判定部とを備え、正常判定部の判定結果と異常判定部の判定結果とに基づいて監視対象が正常であるか異常であるかを判定する異常検出装置が開示されている。
【０００５】
また、特許文献３には、時系列に連続したフレームから構成された映像からカットを取得し、フレームから抽出された特徴ベクトルに基づいて逐次学習を行い、特徴ベクトルの統計的な分布に基づいて識別に最適な識別空間に特徴ベクトルを写像するための変換パラメータを求め、その変換パラメータにより特徴ベクトルを識別空間に写像して非定常なカットを検出する非定常画像検出装置が開示されている。
【先行技術文献】
【特許文献】
【０００６】
【特許文献１】特開２００８−２６９７４号公報
【特許文献２】特開２００８−２３４５５１号公報
【特許文献３】特開２００７−２９９２５０号公報
【発明の概要】
【発明が解決しようとする課題】
【０００７】
ところで、従来の物体検出装置は、検出対象物を事前学習しているため、あらゆる設置環境の変動を考慮した学習がなされていなければ正確に検出対象物を検出することができない。設置環境の変動としては、昼から夜にかけて段々と日が暮れていくにつれて物体検出装置の周囲の明るさが変動するような時間的に緩慢な変動と、照明がオン・オフされて物体検出装置の周囲の明るさが変動するような時間的に急激な変動とがある。このような時間的な変動要因による誤検出や失報を低減する必要がある。
【０００８】
本発明は、上記問題を鑑みてなされたものであり、設置環境の時間的な変動にも対応した物体検出装置を提供することを目的とする。
【課題を解決するための手段】
【０００９】
本発明の１つの態様は、監視領域を撮像した画像から検出対象物を検出する物体検出装置であって、前記画像を取得する画像取得部と、前記画像取得部から入力された前記画像から検出窓が設定されている検出窓領域画像を取り込み、前記検出窓領域画像と検出対象物とが類似している度合いを示す類似度を算出し、前記類似度に基づいて前記検出窓領域画像に検出対象物が存在しているか否かを予め学習した情報に基づいて判定する固定識別器と、前記検出窓領域画像から算出した情報により更新される第１の辞書データを用いて、検出対象物が存在しているか否かを判定する緩慢学習識別器と、前記第１の辞書データより短い時間で過去の更新内容の影響が小さくなるように前記検出窓領域画像から算出した情報により更新される第２の辞書データを用いて、検出対象物が存在しているか否かを判定する急変学習識別器と、前記緩慢学習識別器及び前記急変学習識別器からの出力に基づき検出対象物が存在するか否かを判定する判定手段と、を有することを特徴とする。
【００１０】
ここで、前記緩慢学習識別器及び前記急変学習識別器は、前記固定識別器にて検出対象物が存在していると判定された検出窓領域画像に対してのみ判定を行うことが好適である。
【００１１】
また、前記判定手段は、前記緩慢学習識別器及び前記急変学習識別器で検出対象物が存在すると判定された場合に検出対象物が存在すると判定することが好適である。
【００１２】
また、前記緩慢学習識別器及び前記急変学習識別器は、前記判定手段にて検出対象物が存在しないと判定されたときに算出された類似度のみにて前記第１の辞書データ及び前記第２の辞書データを更新することが好適である。
【発明の効果】
【００１３】
本発明によれば、事前学習により物体を検出する物体検出装置において設置環境の時間的な変動にも対応して検出対象物の検出を行うことができる。
【図面の簡単な説明】
【００１４】
【図１】本発明の実施の形態における物体検出装置の構成を示す機能ブロック図である。
【図２】物体の検出処理を説明する図である。
【図３】第１の実施の形態における識別器の構成を示す図である。
【図４】第１の実施の形態における類似度ヒストグラムの例を示す図である。
【図５】第１の実施の形態における類似度ヒストグラムの更新方法を説明する図である。
【図６】第１の実施の形態における物体検出装置での処理を示すフローチャートである。
【図７】第１の実施の形態における物体検出装置での検出窓領域の位置設定処理を示すフローチャートである。
【図８】第１の実施の形態における物体検出装置での識別処理を示すフローチャートである。
【図９】第１の実施の形態における物体検出装置での更新処理を示すフローチャートである。
【図１０】第１の実施の形態における物体検出装置での判定処理を示すフローチャートである。
【図１１】第２の実施の形態における識別器の構成を示す図である。
【図１２】第２の実施の形態における特徴量の例を示す図である。
【図１３】第２の実施の形態における物体検出装置での識別処理を示すフローチャートである。
【図１４】第２の実施の形態における物体検出装置での更新処理を示すフローチャートである。
【図１５】第２の実施の形態における物体検出装置での初期設定処理を示すフローチャートである。
【発明を実施するための形態】
【００１５】
＜第１の実施の形態＞
本発明の実施の形態における物体検出装置１は、図１に示すように、画像取得部２、信号処理部３、記憶部４及び出力部５を含んで構成される。物体検出装置１は、所定の監視空間を撮像した監視画像を取得し、画像内に撮像された人や物等の検出対象物を検出する。画像取得部２、信号処理部３、記憶部４及び出力部５は互いに情報伝達可能に接続される。
【００１６】
なお、本実施の形態では、画像内に写った人を検出対象物とする例について説明する。ただし、これに限定されるものではなく、流通化に置かれる商品等の物品、通行する車等を検出する場合等にも適用することができる。
【００１７】
画像取得部２は、ＣＣＤ素子やＣ−ＭＯＳ素子等の撮像素子、光学系部品、アナログ／デジタル変換器等を含んで構成される所謂監視カメラを含む。また、画像取得部２は、インターネットのネットワークを介して画像を取得するものであってもよい。画像取得部２は、撮像した画像を信号処理部３へ送信する。画像を取得する間隔は一定の時間間隔でなくてもよい。
【００１８】
画像は、例えば、幅３２０ピクセル、高さ２４０ピクセル、各ピクセルがＲ（赤）、Ｇ（緑）、Ｂ（青）をそれぞれ２５６階調で表現したカラー画像である。
【００１９】
信号処理部３は、ＣＰＵ、ＤＳＰ、ＭＣＵ、ＩＣ等の演算回路を含んで構成される。信号処理部３は、画像取得部２、記憶部４及び出力部５と情報伝達可能に接続される。信号処理部３は、検出窓領域選択手段３０、検出窓制御手段３２、固定識別器３４、学習識別器３６、識別器更新手段３７、判定手段３８等の各手段での処理を記述したプログラムを記憶部４から読み出して実行することによりコンピュータを各手段として機能させる。
【００２０】
信号処理部３は、図２に示すように、画像取得部２より入力画像２００から検出対象物を検出する。説明の都合上、画像２００の左上を原点Ｘ＝０，Ｙ＝０とし、横方向にＸ軸、縦方向にＹ軸とし、Ｘ軸は右方向、Ｙ軸は下方向に正に増加するものとする。入力画像２００には、領域２０３，２０４の位置に検出対象物（人）が写っており、矩形２０１，２０２は検出窓領域を示している。
【００２１】
物体検出装置１は、検出窓領域を少しずつずらしながら走査し、検出窓領域に人が写っている否かを判定する。矢印は、検出窓領域をずらす際の左上の座標を示すものであり、検出窓領域は画像２００全体を漏れなく探索するように走査する。領域２０３，２０４にある矩形は、検出処理の結果、人であると判定された検出窓領域（人候補領域）を示す。人が写っている画像領域付近では、人であると判定される検出窓領域が複数出てくる場合があるが、検出窓領域をまとめる処理を行うことで最終的な検出窓領域（図２中の太線：人領域）を得る。ただし、検出窓領域は、基準となる背景と入力画像とを差分処理し、差分後の画像をラベリングした後の各ラベルを検出窓領域としてもよいし、画像全体を検出窓領域としてもよい。また、領域２０５にある矩形は、検出対象物である人に似た洋服が掛ったハンガーが写された領域を示している。
【００２２】
検出窓領域選択手段３０は、検出窓領域の幅と高さを決定する。画像内に様々な大きさで写る人に対応するため検出窓領域の幅と高さを変更しながら、検出窓領域を走査して画像内に人が写っているか否かを判定する。なお、検出窓領域の幅と高さは、検出対象物の画像上での大きさを考慮して、予め記憶部４に１又は複数を記憶している。ただし、予め幅と高さを記憶していなくとも、所定の規則に従って決定してもよい。
【００２３】
検出窓制御手段３２は、検出窓領域をずらす間隔（走査間隔）を決定し、決定した走査間隔に基づいて検出窓領域をずらす。
【００２４】
固定識別器３４は、検出窓領域内の画像がどれだけ人に似ているか、類似度を計算する。固定識別器３４は、多数の「人」の画像データ、「人以外」の画像データを用いて予め学習させる。
【００２５】
類似度は、図３に示す処理手順で計算される。図１に記載している固定識別器３４、学習識別器３６、識別器更新手段３７の具体例を図３ではカスケード型識別器３２０、学習識別器３３０及び識別器更新手段３３２としてそれぞれ示す。
【００２６】
まず、入力画像から切り出された検出窓領域内の画像がカスケード型識別器３２０に入力される。カスケード型識別器３２０は、強識別器３２１，３２２，３２３のような複数の強識別器が直列に並んだ識別器である（ここではＮ個の強識別器が直列に並んでいる例を示す）。個々の強識別器は、ヒストグラム・オブ・オリエンティッド・グラディエント(ＨＯＧ：Histograms of Oriented Gradients)特徴(Navneet Dalal and Bill Triggs, Histograms of Oriented Gradients for Human Detection, In Proceedings of IEEE Conference Computer Vision and Pattern Recognition 2005)を用いてアダブースト(AdaBoost)で予め学習させる。すなわち、検出対象物である人の様々な画像と人が写っていない画像を大量に用意し、各画像に対して検出対象物の画像であるか否か正解付けを行っておき、これらのデータを用いて両者が識別できるようにアダブーストで学習させる。類似度を計算するときは、各強識別器は、入力された画像からＨＯＧ特徴を計算し、アダブーストで選択された特徴量より類似度を計算する。
【００２７】
強識別器３２１〜３２３はあらかじめ計算する順序が決まっており、最初に計算する強識別器３２１が１、次に計算する強識別器３２２が２・・・Ｎのように各強識別器には計算する順番と同じ番号を割り当てる。
【００２８】
各強識別器３２１〜３２３は、検出窓領域として切り出された画像を入力とし、類似度を計算する。最先の強識別器３２１以外の強識別器３２２，３２３等は、前段で計算された類似度が閾値より大きい場合のみ（図中Ｔの矢印）、類似度を計算する。閾値以下の場合（図中Ｆの矢印）、識別器更新手段３３２にて学習識別器３３０の更新を行う。閾値は、例えば０に設定し、０より大きければ人に似ており、０以下であれば人に似ていないと判定する。以下、類似度を算出した強識別器の番号を判定段数という。
【００２９】
学習識別器３３０は、カスケード型識別器３２０の各強識別器の類似度を入力として、人か否かを判定する。本実施の形態では、学習識別器３３０は、緩慢変動用識別器と急変動用識別器の２つの識別器を含み、それぞれの識別器では互いに異なる「人以外」の類似度ヒストグラムを用いて判定処理を行う。ただし、使用する「人以外」の類似度ヒストグラムが異なるだけで、他の処理等は同じであるのでここでは区別せずに学習識別器３３０として説明する。
【００３０】
学習識別器３３０は、カスケード型識別器３２０で最後の強識別器３２３において人と判定（図中Ｔの矢印）した場合のみ判定を行う。カスケード型識別器３２０で「人」の可能性が高いときのみ、すなわち最終段の強識別器３２３で求めた類似度が閾値より大きい場合（図中Ｔの矢印）に学習識別器３３０にて判定を行う。学習識別器３３０は、カスケード型識別器３２０において判定段数までの強識別器で得られた類似度Ｓｎ（ｎは１〜Ｍ：Ｍは判定段数（１≦Ｍ≦Ｎ））を入力とする。カスケード型識別器３２０の各強識別器で求めた類似度を並べてベクトル表現したものを類似度ベクトルＳ＝（１番目の強識別器の類似度，２番目の強識別器の類似度，・・・，Ｍ番目の強識別器の類似度）＝（Ｓ１，Ｓ２，・・・，ＳＭ）とする。
【００３１】
類似度ベクトルＳが得られたときの「人」である確率Ｐ（人｜Ｓ）、類似度Ｓが得られたときの「人以外」である確率Ｐ（人以外｜Ｓ）を計算し、Ｐ（人｜Ｓ）＞Ｐ（人以外｜Ｓ）なら「人」と判定し、そうでなければ「人以外」と判定する。
【００３２】
Ｐ（人｜Ｓ）とＰ（人以外｜Ｓ）の計算はベイズの定理より数式（１），（２）で求めることができる。
【数１】
【００３３】
ここで、Ｐ（Ｓ｜人）は、「人」の場合の類似度Ｓが得られる確率（尤度）、Ｐ（Ｓ｜人以外）は「人以外」の場合の類似度Ｓが得られる確率（尤度）である。Ｐ（人）は「人」がどのくらいの確率で検出窓領域に含まれるかを表した事前確率、同様にＰ（人以外）は検出窓領域に「人以外」がどのくらいの確率で含まれているかを表した事前確率である。事前に検出窓領域に「人」、「人以外」が含まれる確率はわからないため、事前確率Ｐ（人）＝Ｐ（人以外）＝０．５と仮定する。Ｐ（人以外｜Ｓ）＝１−Ｐ（人｜Ｓ）という関係があるので、Ｐ（人｜Ｓ）を求めれば、Ｐ（人以外｜Ｓ）は容易に求められる。以下では、Ｐ（人｜Ｓ）を学習識別器３３０での類似度という。
【００３４】
各強識別器の類似度を要素とした確率変数ベクトルｓを用意すると、「人」の類似度ベクトルｓの分布Ｐ（ｓ｜人）と「人以外」の類似度ベクトルｓの分布Ｐ（ｓ｜人以外）が求まればＰ（人｜ｓ）を計算できる。類似度ベクトルｓは多次元データだが、各強識別器の類似度ｓｎは独立であると仮定すると、Ｐ（ｓ｜人）及びＰ（ｓ｜人以外）は数式（３），（４）で求められる。
【数２】
【００３５】
ここで、Ｐ（ｓｍ｜人）はｍ番目の強識別器の「人」の類似度の分布であり、Ｐ（ｓｍ｜人以外）はｍ番目の強識別器の「人以外」の類似度の分布である。
【００３６】
本実施の形態では、全ビン（区切り）の類似度の分布の和が１になるようなヒストグラムで表現する。それぞれのヒストグラムは、記憶部４の類似度ヒストグラム４２に格納される。ただし、類似度の分布はヒストグラムに限らず、正規分布や混合正規分布などで表現してもよい。
【００３７】
「人」の類似度ヒストグラム４２は、予め用意した「人」を含む画像である学習用データを用いて各強識別器の類似度の分布を求めることによって構成する。本実施の形態では、「人」の類似度ヒストグラム４２については逐次学習を行わないが更新してもよい。「人以外」の類似度ヒストグラム４２は、監視カメラを設置した時の最初の数フレームの画像には人が含まれていないと仮定し、そのとき得られる各強識別器の類似度の分布を求めることによって構成する。その後、カスケード型識別器３２０又は学習識別器３３０において検出窓領域が「人以外」と判定されたときにカスケード型識別器３２０で求められた類似度を用いて「人以外」の類似度ヒストグラム４２を逐次更新する。
【００３８】
カスケード型識別器３２０の強識別器の数がＮ＝２の場合における類似度ヒストグラム４２の例を図４に示す。類似度ヒストグラム４０１は、１番目の強識別器の類似度ｓ１における「人」の類似度の分布４０２：Ｐ（ｓ１｜人）と「人以外」の類似度の分布４０３：Ｐ（ｓ１｜人以外）からなる。類似度ヒストグラム４１１は、２番目の強識別器の類似度ｓ２における「人」の類似度の分布４１２：Ｐ（ｓ２｜人）と「人以外」の類似度の分布４１３：Ｐ（ｓ２｜人以外）からなる。４つの類似度ヒストグラム４０２，４０３，４１２，４１３は、全ビンの類似度の分布の合計が１になるようにそれぞれ正規化されている。
【００３９】
カスケード型識別器３２０のみで判定する場合、各強識別器で求められた類似度が予め定められた閾値（例えば、０に設定）より大きいと「人」と判定されるが、学習識別器３３０では得られた各強識別器の類似度と、過去の類似度ヒストグラム４２から確率を計算し、適応的に判定できる。
【００４０】
例として、「人」、「人以外」の類似度の分布が図４に示す類似度ヒストグラム４０１，４１１で表される場合、１段目の強識別器の類似度がＳ１＝１．０、２段目の強識別器の類似度がＳ２＝１．０であったときについて説明する。１段目及び２段目の強識別器における閾値が０である場合、１段目及び２段目の強識別器のいずれにおいても類似度が閾値を超えているのでカスケード型識別器３２０では「人」と判定される。一方、学習識別器３３０では、類似度ベクトルＳ＝（１．０，１．０）が得られたときの「人」である確率：Ｐ（人｜Ｓ＝（１．０，１．０））＝Ｐ（Ｓ１＝１．０｜人）×Ｐ（Ｓ２＝１．０｜人）×Ｐ（人）／Ａと、「人以外」である確率：Ｐ（人以外｜Ｓ＝（１．０，１．０））＝１−Ｐ（人｜Ｓ＝（１．０，１．０））を算出する。ただし、Ａ＝Ｐ（Ｓ｜人）×Ｐ（人）＋Ｐ（Ｓ｜人以外）×Ｐ（人以外）である。図４に示すヒストグラム４０１，４１１に基づくとＰ（人｜Ｓ＝（１．０，１．０））＜Ｐ（人以外｜Ｓ＝（１．０，１．０））となるので、学習識別器３３０では「人以外」と判定される。
【００４１】
物体検出装置の設置環境の特性にあわせた類似度ヒストグラムを構築できれば、カスケード型識別器３２０からの類似度の算出結果に基づいて学習識別器３３０においてより確度の高い判定を行うことができる。
【００４２】
学習識別器３３０で判定後、学習識別器３３０を識別器更新手段３３２により更新する。また、類似度管理手段３３４において類似度及び検出窓領域の大きさ（幅及び高さ）と中心座標を関連付けて判定情報履歴４０として記憶部４に記憶させる。
【００４３】
識別器更新手段３３２は、学習識別器３３０の類似度ヒストグラムを更新する。本実施の形態では、各強識別器で求められた類似度が閾値以下（図３中Ｆの矢印）の場合に識別器更新手段３３２にて学習識別器３３０の更新を行う。また、カスケード型識別器３２０にて、強識別器で求められた類似度が閾値を超えていても（図３中Ｔの矢印）、学習識別器３３０にて「人以外」と判定（図３中Ｆの矢印）された場合にも、識別器更新手段３３２にて学習識別器３３０の更新を行う。すなわち、「人以外」の類似度ヒストグラム４２のみを更新の対象とし、「人」の類似度ヒストグラム４２は更新しない。
【００４４】
識別器更新手段３３２は、一時刻前までに得られた類似度ヒストグラム４２を現時刻に得られたデータで更新する。識別器更新手段３３２による更新処理には、例えば図５に示すように、αブレンディングが用いられる。図５は、学習識別器３３０のｎ番目の「人以外」の類似度ヒストグラム４２を更新する処理を示しており、前時刻までの更新前の類似度ヒストグラム５０１及び現時刻で得られたデータによる更新された類似度ヒストグラム５０２を表している。
【００４５】
検出窓領域に人の画像が含まれているか否かを判定した際、カスケード型識別器３２０では「人」と判定され学習識別器３３０では「人以外」と判定されたとする。このときのｎ番目の強識別器の類似度が０．８のときのｎ番目の強識別器に対応する類似度ヒストグラム５０１の更新方法を示す。まず、更新前の類似度ヒストグラム５０１の各ビンを（１．０−α）倍する。その後、現時刻に得られた類似度０．８に相当するビンにα分の重みを足す（図中、ビン５０３の斜線部分）。αは予め定められたパラメータである。αが大きいと過去の情報の影響がより早く小さくなり、αが小さいと過去の情報の影響をより長く受けるものとなる。初めて更新を行う際、すなわち類似度ヒストグラム５０１が空の状態の場合、得られたデータが該当するビンの値を１とする。ただし、このようにすると最初に得られたデータの影響が大きいため、更新回数が少ないうちはαを比較的大きな値に設定し、更新回数が多くなるにつれてだんだん小さな値に設定するなどしてもよい。
【００４６】
本実施の形態では、緩慢変動用識別器と急変動用識別器についてそれぞれ「人以外」の類似度ヒストグラム４２を使用する。緩慢変動用識別器における「人以外」の類似度ヒストグラム４２の更新処理での更新パラメータαは、急変動用識別器における「人以外」の類似度ヒストグラム４２の更新処理での更新パラメータαより小さい値とする。ただし、０＜（緩慢変動用識別器における更新パラメータα）＜（急変動用識別器における更新パラメータα）＜１を満たすようにする。緩慢変動用識別器では、更新パラメータαが小さいので「人以外」の類似度ヒストグラム４２において過去の更新内容の影響が急変動用識別器よりも長く残り、長時間に亘ってゆっくりと変動する環境の変化に対応することができる。一方、急変動用識別器では、更新パラメータαが大きいので「人以外」の類似度ヒストグラム４２において緩慢変動用識別器より短い時間で過去の更新内容の影響が小さくなり、短時間で急激に変動する環境の変化に対応することができる。
【００４７】
ここで、図１に戻って、判定手段３８は、判定情報履歴４０として記憶されている検出窓領域の大きさ（幅、高さ）と中心座標、学習識別器３３０の類似度（緩慢変動用識別器で求められた類似度と急変動用識別器で求められた類似度）を用いて、最終的に画像内のどこに人が写っているかを決定する。判定情報履歴４０に含まれるデータの中で、学習識別器３３０（緩慢変動用識別器及び急変動用識別器の両方）の類似度が閾値（例えば、０．８に設定）以上の検出窓領域を人候補領域として抽出する。人候補領域がない場合は入力画像中に人領域はないということで終了する。
【００４８】
人候補領域があった場合、検出窓領域の大きさと中心座標を用いて、一定以上（例えば、検出窓領域の面積の半分以上）の領域が重なっている人候補領域を纏める。纏めた人候補領域の中で学習識別器３３０の類似度が一番高い検出窓領域を人領域として選択する。纏めた領域毎に選択された検出窓領域を人領域とし、出力部５に選択された検出窓領域の情報を出力する。
【００４９】
記憶部４は、ＲＯＭやＲＡＭ等のメモリ装置で構成される。記憶部４は、信号処理部３からアクセス可能に接続される。記憶部４は、各種プログラム、各種データを記憶することができ、信号処理部３からの要求に応じてこれらの情報を読み書きする。記憶部４は、類似度管理手段３３４として機能し、判定情報履歴４０として検出窓領域の大きさ（幅、高さ）と中心座標及び学習識別器３３０の類似度（緩慢変動用識別器で求められた類似度と急変動用識別器で求められた類似度）の３つの情報を関連付けて記憶する。また、カスケード型識別器３２０に含まれる強識別器毎に、各強識別器の番号に対応付けて「人」と「人以外」の類似度ヒストグラム４２を記憶する。なお、「人以外」の類似度ヒストグラム４２については、緩慢変動用識別器と急変動用識別器とについて２種類の類似度ヒストグラム４２を記憶する。かかる類似度ヒストグラム４２が辞書データに相当し、緩慢変動用識別器の類似度ヒストグラムが第１の辞書データ、急変動用識別器の類似度ヒストグラムが第２の辞書データにそれぞれ相当する。
【００５０】
出力部５は、報知音を出力する音響出力手段や入力画像を表示する表示手段を含んで構成することができる。判定手段３８で人領域が検出された場合、スピーカー、ブザー等の音響出力手段で警報を鳴らしたり、ディスプレイ等の外部表示装置に入力画像を表示したりする。また、出力部５は、コンピュータをネットワークや電話回線に接続するためのインターフェースを含んでもよい。この場合、出力部５は、電話回線やインターネット等の情報伝達手段を介して、センタ装置（図示しない）に入力画像や人領域の情報を送出する。なお、センタ装置は、画像内の検出対象物を監視するセンタ等に設置されるホストコンピュータである。
【００５１】
以下、物体検出装置１における処理について、図１の機能ブロック図並びに図６のフローチャートを参照しつつ説明する。
【００５２】
ステップＳ１０では、画像取得部２において画像を取得し、信号処理部３に画像が送信される。画像の取得タイミングは決まった時間間隔とする。
【００５３】
ステップＳ２０では、検出窓領域の大きさ（幅と高さ）を決定する。検出窓領域の大きさを予め設定した複数の大きさに順次変更しつつ、各大きさの検出窓領域で画像全体を走査する。また、本実施の形態では検出窓領域は矩形としたので大きさとして幅と高さのみを決定すればよいが、検出窓領域は任意の形状であってよく、その場合には形状と大きさを決定する。この処理は検出窓領域選択手段３０にて行われる。
【００５４】
ステップＳ３０からステップＳ５０の処理は、ステップＳ２０で設定した検出窓領域の大きさで画像全体を走査し終わるまで繰り返す。
【００５５】
ステップＳ３０では、検出窓領域の位置を決定する。この処理は検出窓制御手段３２で行う。この処理は、図７に示すフローチャートに沿って行われる。なお、検出窓領域の左上の座標を開始点と呼び、決定すべき検出窓領域の開始点を（ＳＸ，ＳＹ）、前回の検出窓領域の開始点を（ＢＸ，ＢＹ）とする。
【００５６】
ステップＳ３０１では、検出窓領域の大きさが変更されたか否かの判定を行う。検出窓領域の大きさが変更された直後の場合は、ステップＳ３０５において検出窓領域の開始点（ＳＸ，ＳＹ）を（０，０）に設定してステップＳ４０に移行する。検出窓領域の大きさ変更後、初めての処理でない場合にはステップＳ３０２へ移行する。
【００５７】
ステップＳ３０２では、前回の検出窓領域の開始点（ＢＸ，ＢＹ）を読み出す。ステップＳ３０３では、ステップＳ３０２で読み出した前回の検出窓領域の開始点（ＢＸ，ＢＹ）から画像の右端まで走査したか否かを判定する。前記の検出窓領域で画像の右端まで走査が終了した場合、すなわち検出窓領域の右端ＢＸ＋Ｗ（但し、Ｗは検出窓領域の幅）が画像の右端に一致した場合にはステップＳ３０６において検出窓領域の開始点を（ＳＸ，ＳＹ）＝（０，ＢＹ＋ｑ）と設定し、ステップＳ４０へ移行する。ただし、ｑは予め定めた定数とする。例えば、入力画像が幅３２０ピクセル、高さ２４０ピクセルの場合にはｑ＝４ピクセルに設定する。右端まで走査していない場合にはステップＳ３０４に移行する。
【００５８】
ステップＳ３０４では、Ｘ方向に検出窓領域をｐピクセルずらし、Ｙ方向にはずらさないように検出窓領域の開始点を（ＳＸ，ＳＹ）を決定する。すなわち、検出窓領域の開始点（ＳＸ，ＳＹ）＝（ＢＸ＋ｐ，ＢＹ）とする。ただし、ｐは予め定めた定数とする。例えば、入力画像が幅３２０ピクセル、高さ２４０ピクセルの場合にはｐ＝４ピクセルに設定する。その後、ステップＳ４０に移行する。
【００５９】
ステップＳ４０では、ステップＳ３０にて設定された検出窓領域内の画像がどれだけ人に似ているかを示す類似度を求める。これは、図３に示したカスケード型識別器３２０及び学習識別器３３０の識別処理である。識別処理について図８のフローチャートを用いて説明する。
【００６０】
ステップＳ４０１では、現在の検出窓領域からＨＯＧ特徴量を計算する。ただし、この処理はステップＳ１０とステップＳ２０との間で、入力画像の各ピクセルのエッジの強度と角度を計算し、エッジの角度毎のインテグラル画像を作成しておくことでより高速に計算することが可能になる。
【００６１】
ステップＳ４０２では、すべての強識別器を調査し終わったか否かの判定を行う。すべての強識別器で調査し終わった場合はステップＳ４０６に移行し、終わっていない場合にはステップＳ４０３に移行し、次の強識別器での調査を行う。ステップＳ４０３では、検出窓領域内の画像が人に似ているか否かを判定するための類似度を計算する。
【００６２】
ステップＳ４０４では、ステップＳ４０３において計算した類似度を判定した強識別器の番号と共に一時的な記憶領域に記憶する。これはステップＳ４０７における学習識別器３３０での類似度計算やステップＳ５０の更新処理にて用いられる。
【００６３】
ステップＳ４０５では、ステップＳ４０３において計算した類似度が予め設定した閾値より大きいか否かを判定する。閾値より大きい場合にはステップＳ４０２に移行し、閾値以下の場合には後述する学習識別器３３０の類似度をステップＳ５０１の閾値以下の値として記憶させ、ステップＳ５０に移行する。
【００６４】
ステップＳ４０６からＳ４０９が学習識別器３３０の処理である。ステップＳ４０６では、カスケード型識別器３２０の判定段数までの強識別器の類似度ヒストグラム４２の中で、更新回数が基準値以上である緩慢変動用識別器及び急変動用識別器における「人以外」の類似度ヒストグラム４２を抽出する。これは、更新回数が少ない類似度ヒストグラム４２を使用すると、学習識別器３３０で算出される類似度の信頼性が低くなるためである。そこで、基準値以上更新されている類似度ヒストグラム４２と、それに対応するステップＳ４０４で記憶された強識別器の類似度を用いて学習識別器３３０での類似度を算出する。
【００６５】
ステップＳ４０７では、緩慢変動用識別器にて類似度を計算する。類似度ヒストグラム４２から「人」の類似度ヒストグラムと緩慢変動用識別器の「人以外」の類似度ヒストグラムを読み出し、数式（１）のＰ（人｜Ｓ）を用いて類似度を算出する。
【００６６】
ステップＳ４０８では、急変動用識別器にて類似度を計算する。類似度ヒストグラム４２から「人」の類似度ヒストグラムと急変動用識別器の「人以外」の類似度ヒストグラムを読み出し、数式（１）のＰ（人｜Ｓ）を用いて類似度を算出する。
【００６７】
ステップＳ４０９では、ステップＳ４０７及びＳ４０８において緩慢変動用識別器及び急変動用識別器で算出された類似度を検出窓領域の大きさ（幅と高さ）と中心座標とに関連付けて判定情報履歴４０として記憶部４に記憶し、ステップＳ５０へ移行する。
【００６８】
ステップＳ５０では、類似度ヒストグラムの更新処理を行う。これは識別器更新手段３７にてなされる。更新処理は、図９のフローチャートに沿って行われる。本実施の形態では、「人以外」の類似度ヒストグラム４２を更新し、「人」の類似度ヒストグラム４２は更新しない。
【００６９】
ステップＳ５０１では、ステップＳ４０７において緩慢変動用識別器で算出された類似度が閾値より大きく、ステップＳ４０８において急変動用識別器で算出された算出された類似度が閾値より大きい条件を両方満たす場合は「人」である可能性が高いので類似度ヒストグラム４２の更新処理は行わず、ステップＳ６０へ移行する。緩慢変動用識別器に対する閾値と急変動用識別器に対する閾値とは同じであってもよいし、異なっていてもよい。
【００７０】
ステップＳ５０２では、カスケード型識別器３２０に含まれる各強識別器に対応する「人以外」の類似度ヒストグラム４２を図８のステップＳ４０４にて記憶した類似度にて更新する。したがって、今回の判定に使用した強識別器に対応する「人以外」の類似度ヒストグラム４２だけ更新する。ここでは、緩慢変動用識別器についての「人以外」の類似度ヒストグラム４２及び急変動用識別器についての「人以外」の類似度ヒストグラム４２の両方を更新する。更新方法は、識別器更新手段３３２の説明の通りである。更新処理後、ステップＳ６０へ移行する。
【００７１】
ステップＳ６０では、すべての大きさの検出窓領域について検出処理が終了したか否かを判定する。すべての大きさの検出窓領域について調査が終わった場合はステップＳ７０に処理を移行させ、そうでない場合はステップＳ２０に処理を戻す。
【００７２】
ステップＳ７０では、ステップＳ５０で求めた判定情報履歴４０に記憶されている各検出窓領域の大きさ（幅と高さ）と中心座標及び学習識別器３３０の類似度から最終的に人が写っている位置を決定する。この処理は判定手段３８でなされる。判定処理は、図１０のフローチャートに沿って行われる。
【００７３】
ステップＳ７０１〜Ｓ７０２の処理はステップＳ５０で求めた判定情報履歴４０として記憶されているすべての検出窓領域について行う。ステップＳ７０１では、緩慢変動用識別器で算出された類似度が閾値（例えば、０．８）より大きく、急変動用識別器で算出された算出された類似度が閾値（例えば、０．８）より大きい条件を両方満たすか否かを判定し、条件を満たす場合にはステップＳ７０２に移行し、そうでない場合には次の検出窓領域について判定を行う。ステップＳ７０２では、ステップＳ７０１で条件を満たした検出窓領域を人候補領域に追加する。
【００７４】
判定情報履歴４０に記憶された情報に対してステップＳ７０１〜Ｓ７０２を繰り返すことで求められた人候補領域は、図２に示すように、人が写っている領域の近くに領域２０３，２０４のように複数抽出される場合がある。ステップＳ７０３〜Ｓ７０５では、複数の人候補領域から人領域を最終的に選択する。
【００７５】
ステップＳ７０３では、人候補領域として抽出された検出窓領域の大きさと中心座標を用いて、一定以上（例えば、検出窓領域の面積の半分以上）の領域が重なっている人候補領域をグループとして纏める。ステップＳ７０４では、ステップＳ７０３で作成されたグループ毎に人候補領域の中で学習識別器３３０の類似度が一番高い検出窓領域を人領域として選択する。ステップＳ７０５では、ステップＳ７０４で選択された検出窓領域を人領域とし、ステップＳ８０に移行する。
【００７６】
ステップＳ８０では、ステップＳ７０において判定された人領域を基に、人領域が１つでもあれば、判定された人領域の検知窓情報を画像と共に異常信号として出力する。この処理は出力部５にてなされる。
［初期設定時の処理］
監視カメラ設置時の初期設定の処理について以下に説明する。初期設定時には、監視カメラの撮像領域内に人がいないという仮定のもと、各強識別器に対応する「人以外」の類似度ヒストグラム４２の登録を行う。初期設定処理は、監視カメラを設置してから予め定めた枚数の画像を処理して終了するものとする。
【００７７】
初期設定処理は、図６の検知処理時のフローチャートにおけるステップＳ７０及びＳ８０を除き、ステップＳ４０及びＳ５０を若干変更した処理となる。また、ステップＳ４０及びＳ５０の処理は相違点のみを説明する。
【００７８】
ステップＳ４０では、図８においてステップＳ４０１からＳ４０５までの処理を行い、ステップＳ４０２ですべての強識別器で調査し終わっていた場合（ステップＳ４０２のＹＥＳ）はステップＳ４０６〜Ｓ４０９の処理を行わず、ステップＳ５０へ移行する。すなわち、ステップＳ４０６〜Ｓ４０９の学習識別器による処理を省略している点が相違している。
【００７９】
ステップＳ５０では、初期設定処理では人は監視空間にいないという仮定なので、ステップＳ５０１の判定処理を行わない。ステップＳ５０２では、ステップＳ４０で得られた判定段数までの強識別器の類似度を用いて、対応する強識別器の緩慢変動用識別器及び急変動用識別器の「人以外」の類似度ヒストグラム４２の両方を更新し、その後、ステップＳ６０へ移行する。
【００８０】
また、画像を取得する毎に「人以外」の類似度ヒストグラム４２を逐次更新せず、所定の枚数の画像に対するカスケード型識別器３２０で算出された類似度を記憶しておき、一括して類似度ヒストグラム４２を作成するものとしてもよい。
【００８１】
＜第２の実施の形態＞
第２の実施の形態における物体検出装置は固定識別器と学習識別器との判定を並列に行い、それぞれの判定結果を統合する。第２の実施の形態では、第１の実施の形態における固定識別器３４、学習識別器３６、識別器更新手段３７及び判定手段３８での処理が異なるのでこれらについて説明する。また、記憶部４において、第１の実施の形態では、類似度ヒストグラム４２を記憶しているが、第２の実施の形態では学習識別器用特徴量分布４２として説明する。
【００８２】
固定識別器３４は、検出窓領域内の画像がどれだけ人に似ているかを示す類似度を求める。これは第１の実施の形態と同じ処理である。図１に記載している固定識別器３４、学習識別器３６及び識別器更新手段３７の具体例を図１１ではカスケード型識別器６２０、学習識別器６３２及び識別器更新手段６３６としてそれぞれ示す。
【００８３】
図１１のカスケード型識別器６２０は、複数の強識別器６２１〜６２３から構成され、検出窓領域として切り出された画像を入力とし、類似度を計算する。最先の強識別器６２１以外の強識別器６２２，６２３等は、前段で計算された類似度が閾値より大きい場合のみ（図中Ｔの矢印）、類似度を計算する。閾値は、例えば０に設定し、強識別器６２１〜６２３で求めた類似度が０より大きければ人に似ており、０以下であれば人に似ていないと判定する。そして、最終段の強識別器３２３において求めた類似度が閾値より大きい場合（図中Ｔの矢印）、又は、各強識別器で求めた類似度が閾値以下の場合（図中Ｆの矢印）に、判定情報履歴手段６３０にカスケード型識別器６２０の判定段数と類似度を出力する。判定情報履歴手段６３０は、出力された判定段数及び類似度を検出窓領域の大きさ及び中心座標に関連付けて判定情報履歴４０して記憶部４に記憶させる。
【００８４】
学習識別器６３２は、第１の実施の形態と異なり、画像を受けて人か否かを判定する。学習識別器６３２は、入力される検出窓領域の画像からエッジに関する特徴量を抽出する。まず、検出窓領域の画像からエッジ画像を作成する。エッジ画像は、予め監視画像全体について求めておいてもよい。例えば、図１２に示すように、検出窓領域を横２分割、縦４分割の計８つの矩形領域に分割し、各領域についてエッジの方向に関するヒストグラムを作成する。例えば、エッジの方向を９方向に設定し、各領域におけるエッジの方向毎にエッジの強度で重み付けしたヒストグラム７０２を作成する。なお、互いに１８０度反転しているエッジは同一方向とみなすので、ヒストグラム７０２が採り得る方向は０度〜１８０度となり、９方向に割り当てると２０度刻みとなる。
【００８５】
このように、各領域においてヒストグラム７０２を作成する。ヒストグラム７０２のビンは９方向×８領域で７２次元のベクトルを構成する。最後に７２次元ベクトルのノルムが１になるように正規化する。このように作成したベクトルを検出窓領域の特徴量Ｘとして用いる。
【００８６】
学習識別器６３２は、特徴量Ｘに基づいて検出窓領域が「人」を含むか、「人以外」であるかを判定する。得られた特徴量Ｘから人か否かを判定するには、特徴量Ｘが得られたときの「人」である確率Ｐ（人｜Ｘ）、特徴量Ｘが得られたときの「人以外」である確率Ｐ（人以外｜Ｘ）を計算し、Ｐ（人｜Ｘ）＞Ｐ（人以外｜Ｘ）なら「人」と判定し、そうでなければ「人以外」と判定する。
【００８７】
Ｐ（人｜Ｘ）とＰ（人以外｜Ｘ）の計算はベイズの定理より数式（５），（６）で求めることができる。
【数３】
【００８８】
ここで、Ｐ（Ｘ｜人）は、「人」の場合の特徴量Ｘが得られる確率（尤度）、Ｐ（Ｘ｜人以外）は「人以外」の場合の特徴量Ｘが得られる確率（尤度）である。Ｐ（人）は「人」がどのくらいの確率で検出窓領域に含まれるかを表した事前確率、同様にＰ（人以外）は検出窓領域に「人以外」がどのくらいの確率で含まれているかを表した事前確率である。事前に検出窓領域に「人」が含まれる確率はわからないため、事前確率Ｐ（人）＝Ｐ（人以外）＝０．５と仮定する。Ｐ（人以外｜Ｘ）＝１−Ｐ（人｜Ｘ）という関係があるので、Ｐ（人｜Ｘ）を求めれば、Ｐ（人以外｜Ｘ）は容易に求められる。以下では、Ｐ（人｜Ｘ）を学習識別器６３２での類似度という。
【００８９】
本実施の形態では、Ｐ（Ｘ｜人）とＰ（Ｘ｜人以外）の分布を混合正規分布で表現する。「人」の特徴量分布Ｐ（Ｘ｜人）は、予め用意された「人」の学習データから特徴量を計算し、混合正規分布のパラメータをＥＭ（Ｅｘｐｅｃｔａｔｉｏｎ−Ｍａｘｉｍｉｚａｔｉｏｎ）アルゴリズム(A.P. Dempster, N.M.Laird, and D.B. Rubin. "Maximum likelihood from incomplete data via the EM algorithm", Journal of the Royal Statistical Society, Series B, 39(1),1-38,1977)を用いて作成する。「人以外」の特徴量分布Ｐ（Ｘ｜人以外）は、監視カメラの設置時に「人」がいないという仮定のもと撮像した複数の画像から特徴量を算出し、ＥＭアルゴリズムによって混合正規分布のパラメータを求める。
【００９０】
図１１の学習識別器６３２で類似度を求めた後、学習類似度管理手段６３４にて検出窓領域の大きさ（幅、高さ）と中心座標及び学習識別器６３２で求められた類似度を関連付けて判定情報履歴４０として記憶部４に記憶させる。
【００９１】
次に、カスケード型識別器６２０の類似度と判定段数及び学習識別器６３２の類似度の結果から識別器更新手段６３６にて学習識別器６３２の更新を行う。本実施の形態では、識別器更新手段６３６は、カスケード型識別器６２０の判定段数と類似度及び学習識別器６３２の類似度に基づいて「人以外」である可能性が高いときのみ、「人以外」の特徴量分布Ｐ（Ｘ｜人以外）を更新する。ただし、「人」の可能性が高いときのみ、「人」の特徴量分布Ｐ（Ｘ｜人）を更新してもよい。
【００９２】
「人以外」の特徴量分布Ｐ（Ｘ｜人以外）は混合正規分布でモデル化されており、「人以外」と判定されたデータが１つ得られる度に特徴量分布Ｐ（Ｘ｜人以外）を逐次型ＥＭアルゴリズム(Radford Neal, R.M. and G.E. Hinton(1998) "A new view of the EM algorithm that justifies incremental, sparse and other variants", Learning in Graphical Models, pp.355-368. Kluwer Academic Publishers)を用いて更新を行う。
【００９３】
なお、本実施の形態では、学習識別器６３２は緩慢変動用識別器及び急変動用識別器を含んでおり、それぞれについて「人以外」の特徴量分布Ｐ（Ｘ｜人以外）が設定される。緩慢変動用識別器と急変動用識別器についてそれぞれに対応する「人以外」の学習識別器用特徴量分布４２を使用する。ここで、緩慢変動用識別器における「人以外」の特徴量分布Ｐ（Ｘ｜人以外）の更新間隔は、急変動用識別器における「人以外」の特徴量分布Ｐ（Ｘ｜人以外）の更新間隔より長く設定する。緩慢変動用識別器では更新間隔が急変動用識別器より長いので「人以外」の特徴量分布Ｐ（Ｘ｜人以外）において過去の更新内容の影響が急変動用識別器よりも長く残り、長時間に亘ってゆっくりと変動する環境の変化に対応することができる。一方、急変動用識別器では更新間隔が緩慢変動用識別器より短いので「人以外」の特徴量分布Ｐ（Ｘ｜人以外）において緩慢変動用識別器より短い時間で過去の更新内容の影響が小さくなり、短時間で急激に変動する環境の変化に対応することができる。
【００９４】
判定手段３８は、判定情報履歴４０として記憶されている検出窓領域の大きさ（幅、高さ）と中心座標、カスケード型識別器６２０の判定段数と類似度及び学習識別器６３２の類似度を用いて、最終的に画像内のどこに人が写っているかを決定する。
【００９５】
判定情報履歴４０に含まれるデータの中で、カスケード型識別器６２０の判定段数が最終段であり、類似度が閾値（例えば、０に設定）より大きく、学習識別器６３２の緩慢変動用識別器で算出された類似度が閾値（例えば、０．８に設定）以上、学習識別器６３２の急変動用識別器で算出された類似度が閾値（例えば、０．８に設定）以上の総ての条件を満たす検出窓領域を人候補領域として抽出する。人候補領域がない場合は入力画像中に人領域はないということで終了する。
【００９６】
人候補領域があった場合、検出窓領域の大きさと中心座標を用いて、一定以上（例えば、検出窓領域の面積の半分以上）の領域が重なっている人候補領域を纏める。纏めた人候補領域の中でカスケード型識別器６２０で算出された類似度が一番高い検出窓領域を人領域として選択する。纏めた領域毎に選択された検出窓領域を人領域とし、出力部５に選択された検出窓領域の情報を出力する。なお、人領域としての選択は、カスケード型識別器６２０の類似度を用いることなく、学習識別器６３２の類似度を用いてもよい。
【００９７】
記憶部４は、ＲＯＭやＲＡＭ等のメモリ装置で構成される。記憶部４は、信号処理部３からアクセス可能に接続される。記憶部４は、各種プログラム、各種データを記憶することができ、信号処理部３からの要求に応じてこれらの情報を読み書きする。記憶部４は、学習類似度管理手段６３４として機能し、判定情報履歴４０及び学習識別器用特徴量分布４２を記憶する。判定情報履歴４０は、検出窓領域の大きさ（幅、高さ）と中心座標、カスケード型識別器６２０の判定段数と類似度、及び学習識別器６３２の類似度（緩慢変動用識別器で算出された類似度及び急変動用識別器で算出された類似度）の情報を関連付けて記憶したものである。学習識別器用特徴量分布４２は、人の特徴量分布Ｐ（Ｘ｜人）と人以外の特徴量分布Ｐ（Ｘ｜人以外）である。具体的には、「人」との混合正規分布に関するパラメータ、すなわち各正規分布の混合比、平均値、共分散行列が記憶されている。また、「人以外」の混合正規分布に関するパラメータとしては、緩慢変動用識別器の混合正規分布の混合比、平均値、共分散行列及び急変動用識別器の混合正規分布の混合比、平均値、共分散行列が記憶されている。かかる学習識別器用特徴量分布４２が辞書データに相当し、緩慢変動用識別器の学習識別器用特徴量分布が第１の辞書データ、急変動用識別器の学習識別器用特徴量分布が第２の辞書データにそれぞれ相当する。
【００９８】
以下、本実施の形態における処理について説明する。本実施の形態における処理は、図６のフローチャートに示す処理とほぼ同じであるので、相違するステップＳ４０，Ｓ５０，Ｓ７０のみについて説明する。
【００９９】
ステップＳ４０にて、ステップＳ３０で設定された検出窓領域内の画像がどれだけ人に似ているかを示す類似度を求める。これは、図１１に示したカスケード型識別器６２０及び学習識別器６３２における処理であり、図１３のフローチャートを用いて説明する。ステップＳ４５１からＳ４５５がカスケード型識別器６２０における処理であり、ステップＳ４５６からＳ４５９が学習識別器６３２における処理である。
【０１００】
ステップＳ４５１では、現在の検出窓領域からＨＯＧ特徴量を抽出する。ただし、この処理はステップＳ１０とステップＳ２０との間で、入力画像の各ピクセルのエッジの強度と角度を計算し、エッジの角度毎のインテグラル画像を作成しておくことでより高速に計算することが可能になる。
【０１０１】
ステップＳ４５２では、すべての強識別器を調査し終わったか否かの判定を行う。すべての強識別器で調査し終わった場合はステップＳ４５５に移行し、終わっていない場合にはステップＳ４５３に移行し、次の強識別器での調査を行う。ステップＳ４５３では、検出窓領域内の画像が人に似ているか否かを判定するための類似度を計算する。
【０１０２】
ステップＳ４５４では、ステップＳ４５３において計算した類似度が予め設定した閾値（例えば、０に設定）より大きいか否かを判定する。閾値より大きい場合にはステップＳ４５２に移行し、閾値以下の場合にはステップＳ４５５に移行する。
【０１０３】
ステップＳ４５５では、ステップＳ４５３において最後に計算した類似度及びその判定段数を検出窓領域の大きさ（幅、高さ）と中心座標に関連付けて判定情報履歴４０として記憶部４に記憶する。ここで、最後に計算された類似度が固定識別器の類似度となる。また、ステップＳ４５９では、学習識別器６３２の類似度も共に記憶される。
【０１０４】
ステップＳ４５６では、学習識別器６３２で用いられる特徴量Ｘを求める。これは上記で説明した通りである。
【０１０５】
ステップＳ４５７では、ステップＳ４５６で求めた特徴量Ｘに基づいて学習識別器６３２の緩慢変動用識別器の類似度を算出する。類似度Ｐ（人｜Ｘ）は数式（５）により求めることができ、人以外の特徴量分布Ｐ（Ｘ｜人以外）としては緩慢変動用識別器の混合正規分布のパラメータを用いる。
【０１０６】
ステップＳ４５８では、ステップＳ４５６で求めた特徴量Ｘに基づいて学習識別器６３２の急変動用識別器の類似度を算出する。類似度Ｐ（人｜Ｘ）は数式（５）により求めることができ、人以外の特徴量分布Ｐ（Ｘ｜人以外）としては急変動用識別器の混合正規分布のパラメータを用いる。
【０１０７】
ステップＳ４５９では、ステップＳ４５７及びＳ４５８で算出された緩慢変動用識別器及び急変動用識別器の類似度をステップＳ４５５で記憶した固定識別器の類似度に関連付けて判定情報履歴４０として記憶部４に記憶する。その後、処理をステップＳ５０に移行する。
【０１０８】
ステップＳ５０では、学習識別器用特徴量分布の更新を行う。これは識別器更新手段６３６にて行われる。更新処理は、図１４に示すフローチャートに沿って行われる。本実施の形態では、「人以外」の特徴量分布を更新し、「人」の特徴量分布は更新しない。
【０１０９】
ステップＳ５５１では、「人以外」であるか否かの判定を行う。「人以外」とは、カスケード型識別器６２０の判定段数が閾値Ｔ１（１≦Ｔ１≦Ｎ）以下であり、カスケード型識別器６２０の類似度が閾値Ｔ２より小さいという条件を両方満たす場合はステップＳ５５２へ移行し、そうでない場合にはステップＳ６０へ移行する。
【０１１０】
ステップＳ５５２では、学習識別器６３２の緩慢変動用識別器の類似度が閾値Ｔ３より小さい、学習識別器６３２の急変動用識別器の類似度が閾値Ｔ４より小さいという条件のいずれか一方を満たす場合はステップＳ５５３へ移行し、そうでない場合にはステップＳ６０へ移行する。
【０１１１】
ステップＳ５５１及びＳ５５２における判定は、「人以外」である場合に学習識別器用特徴量分布４２を更新するためのものである。
【０１１２】
ステップＳ５５３では、「人以外」の特徴量分布４２を更新する。現時刻の検出窓領域から得られた特徴量Ｘを用いて緩慢変動用識別器に対応する「人以外」の混合正規分布Ｐ（Ｘ｜人以外）及び急変動用識別器に対応する「人以外」の混合正規分布Ｐ（Ｘ｜人以外）を逐次型ＥＭアルゴリズムを用いて更新する。
【０１１３】
ただし、急変動用識別器に対応する「人以外」の混合正規分布Ｐ（Ｘ｜人以外）は緩慢変動用識別器に対応する「人以外」の混合正規分布Ｐ（Ｘ｜人以外）よりも短い周期で更新する。例えば、急変動用識別器に対応する「人以外」の混合正規分布Ｐ（Ｘ｜人以外）は毎回更新し、緩慢変動用識別器に対応する「人以外」の混合正規分布Ｐ（Ｘ｜人以外）は前回更新した時刻からある一定時間以上経過していない場合は更新しない。その後、ステップＳ６０へ移行する。
【０１１４】
ステップＳ７０では、ステップＳ５０で求められた判定情報履歴４０に基づいて最終的に人が写っている領域を決定する。この処理は判定手段３８にて行われる。ステップＳ７０での処理は、図１０に示したフローチャートに沿った第１の実施の形態における処理とステップＳ７０１の条件のみが異なる。ステップＳ７０１では、カスケード型識別器６２０の判定段数が最終段であり、カスケード型識別器６２０の類似度が閾値より大きく、緩慢変動用識別器の類似度が閾値より大きく、急変動用識別器の類似度が閾値より大きい条件を総て満たすときのみステップＳ７０２において人候補領域とする。
【０１１５】
［初期設定時の処理］
本実施の形態における監視カメラ設置時の初期設定の処理について以下に説明する。初期設定時には、監視カメラの撮像領域内に人がいないという仮定のもと、「人以外」の学習識別器用特徴量分布４２：Ｐ（Ｘ｜人以外）を作成する。「人」の学習識別器用特徴量分布Ｐ（Ｘ｜人）は予め収集した学習データから混合正規分布の各正規分布の混合比、平均、共分散行列を求めて作成する。
【０１１６】
初期設定処理は、監視カメラを設置してから予め定めた枚数の画像から特徴量Ｘを求めて、それらの特徴量Ｘから「人以外」の学習識別器用特徴量分布Ｐ（Ｘ｜人以外）を作成して終了するものとする。なお、初期設定で作成した「人以外」の学習識別器用特徴量分布Ｐ（Ｘ｜人以外）を、緩慢変動用識別器の特徴量分布Ｐ（Ｘ｜人以外）及び急変動用識別器の特徴量分布Ｐ（Ｘ｜人以外）とする。
【０１１７】
初期設定処理は、図１５のフローチャートに沿って行われる。ステップＳ１０１からＳ１０３は、ステップＳ１０からＳ３０と同じである。ステップＳ１０４は、学習識別器用特徴量を作成し、記憶部４の一時記憶用領域に記憶する。ステップＳ１０５は、ステップＳ６０と同じである。
【０１１８】
ステップＳ１０６では、所定の枚数の画像を処理したか否かの判定を行い、所定の枚数の画像を処理した場合はステップＳ１０７へ移行し、そうでない場合にはステップＳ１０２へ戻る。
【０１１９】
ステップＳ１０７では、ステップＳ１０４において蓄積した特徴量Ｘを「人以外」の特徴量分布４２：Ｐ（Ｘ｜人以外）を推定するために用いる。特徴量分布Ｐ（Ｘ｜人以外）は、予め定めた数の正規分布の和からなる混合正規分布で表されるものとし、各正規分布の混合比、平均、分散をＥＭアルゴリズムによって求める。
【０１２０】
また、上記実施の形態では、物体検出装置１の各部の機能を１つのコンピュータで実現する態様を説明したがこれに限定されるものではない。物体検出装置１の各部の機能は一般的なコンピュータをプログラムにより制御することによって実現できるものであり、これらの装置の各機能を適宜組み合わせて１つのコンピュータで処理させてもよいし、各機能をネットワーク等で接続された複数のコンピュータで分散処理させてもよい。
【符号の説明】
【０１２１】
１ 物体検出装置、２ 画像取得部、３ 信号処理部、４ 記憶部、５ 出力部、３０ 検出窓領域選択手段、３２ 検出窓制御手段、３４ 固定識別器、３６ 学習識別器、３７ 識別器更新手段、３８ 判定手段、４０ 判定情報履歴、４２ 学習識別器用特徴量分布（類似度ヒストグラム）、２００ 入力画像、２０１，２０２ 矩形、２０３，２０４ 領域、３１０ 検出窓切出手段、３２０ カスケード型識別器、３２１，３２２，３２３ 強識別器、３３０ 学習識別器、３３２ 識別器更新手段、３３４ 類似度管理手段、４０１，４１１ 類似度ヒストグラム、４０２，４０３ 分布、４１１ 類似度ヒストグラム、４１２，４１３ 分布、５０１，５０２，５０３ ヒストグラム、６２０ 固定識別器、６２１，６２２，６２３ 強識別器、６３０ 判定情報履歴手段、６３２ 学習識別器、６３４ 学習類似度管理手段、６３６ 識別器更新手段、７０２ ヒストグラム。
【技術分野】
【０００１】
本発明は、画像から検出対象物を検出する物体検出装置に関する。
【背景技術】
【０００２】
画像内に検出対象物に対応した画像領域が含まれるか否かを検出する物体検出装置が知られている。
【０００３】
対象物体の存否を事前学習させた識別器に画像を入力し、画像中の対象物体を検出する物体検出装置が提案されている。例えば、特許文献１には、パーティクルフィルタを用いて人物を追跡する人物追跡装置であって、カスケード型識別器を用いて、カスケードの通過段数を人らしさの指標とする技術が開示されている。
【０００４】
また、特許文献２には、正常な監視対象を予め学習した正常学習データと撮像データとに基づいて監視対象が正常であるか否かを判定する正常判定部と、異常な監視対象を予め学習した異常学習データと撮像データとに基づいて監視対象が異常であるか否かを判定する異常判定部とを備え、正常判定部の判定結果と異常判定部の判定結果とに基づいて監視対象が正常であるか異常であるかを判定する異常検出装置が開示されている。
【０００５】
また、特許文献３には、時系列に連続したフレームから構成された映像からカットを取得し、フレームから抽出された特徴ベクトルに基づいて逐次学習を行い、特徴ベクトルの統計的な分布に基づいて識別に最適な識別空間に特徴ベクトルを写像するための変換パラメータを求め、その変換パラメータにより特徴ベクトルを識別空間に写像して非定常なカットを検出する非定常画像検出装置が開示されている。
【先行技術文献】
【特許文献】
【０００６】
【特許文献１】特開２００８−２６９７４号公報
【特許文献２】特開２００８−２３４５５１号公報
【特許文献３】特開２００７−２９９２５０号公報
【発明の概要】
【発明が解決しようとする課題】
【０００７】
ところで、従来の物体検出装置は、検出対象物を事前学習しているため、あらゆる設置環境の変動を考慮した学習がなされていなければ正確に検出対象物を検出することができない。設置環境の変動としては、昼から夜にかけて段々と日が暮れていくにつれて物体検出装置の周囲の明るさが変動するような時間的に緩慢な変動と、照明がオン・オフされて物体検出装置の周囲の明るさが変動するような時間的に急激な変動とがある。このような時間的な変動要因による誤検出や失報を低減する必要がある。
【０００８】
本発明は、上記問題を鑑みてなされたものであり、設置環境の時間的な変動にも対応した物体検出装置を提供することを目的とする。
【課題を解決するための手段】
【０００９】
本発明の１つの態様は、監視領域を撮像した画像から検出対象物を検出する物体検出装置であって、前記画像を取得する画像取得部と、前記画像取得部から入力された前記画像から検出窓が設定されている検出窓領域画像を取り込み、前記検出窓領域画像と検出対象物とが類似している度合いを示す類似度を算出し、前記類似度に基づいて前記検出窓領域画像に検出対象物が存在しているか否かを予め学習した情報に基づいて判定する固定識別器と、前記検出窓領域画像から算出した情報により更新される第１の辞書データを用いて、検出対象物が存在しているか否かを判定する緩慢学習識別器と、前記第１の辞書データより短い時間で過去の更新内容の影響が小さくなるように前記検出窓領域画像から算出した情報により更新される第２の辞書データを用いて、検出対象物が存在しているか否かを判定する急変学習識別器と、前記緩慢学習識別器及び前記急変学習識別器からの出力に基づき検出対象物が存在するか否かを判定する判定手段と、を有することを特徴とする。
【００１０】
ここで、前記緩慢学習識別器及び前記急変学習識別器は、前記固定識別器にて検出対象物が存在していると判定された検出窓領域画像に対してのみ判定を行うことが好適である。
【００１１】
また、前記判定手段は、前記緩慢学習識別器及び前記急変学習識別器で検出対象物が存在すると判定された場合に検出対象物が存在すると判定することが好適である。
【００１２】
また、前記緩慢学習識別器及び前記急変学習識別器は、前記判定手段にて検出対象物が存在しないと判定されたときに算出された類似度のみにて前記第１の辞書データ及び前記第２の辞書データを更新することが好適である。
【発明の効果】
【００１３】
本発明によれば、事前学習により物体を検出する物体検出装置において設置環境の時間的な変動にも対応して検出対象物の検出を行うことができる。
【図面の簡単な説明】
【００１４】
【図１】本発明の実施の形態における物体検出装置の構成を示す機能ブロック図である。
【図２】物体の検出処理を説明する図である。
【図３】第１の実施の形態における識別器の構成を示す図である。
【図４】第１の実施の形態における類似度ヒストグラムの例を示す図である。
【図５】第１の実施の形態における類似度ヒストグラムの更新方法を説明する図である。
【図６】第１の実施の形態における物体検出装置での処理を示すフローチャートである。
【図７】第１の実施の形態における物体検出装置での検出窓領域の位置設定処理を示すフローチャートである。
【図８】第１の実施の形態における物体検出装置での識別処理を示すフローチャートである。
【図９】第１の実施の形態における物体検出装置での更新処理を示すフローチャートである。
【図１０】第１の実施の形態における物体検出装置での判定処理を示すフローチャートである。
【図１１】第２の実施の形態における識別器の構成を示す図である。
【図１２】第２の実施の形態における特徴量の例を示す図である。
【図１３】第２の実施の形態における物体検出装置での識別処理を示すフローチャートである。
【図１４】第２の実施の形態における物体検出装置での更新処理を示すフローチャートである。
【図１５】第２の実施の形態における物体検出装置での初期設定処理を示すフローチャートである。
【発明を実施するための形態】
【００１５】
＜第１の実施の形態＞
本発明の実施の形態における物体検出装置１は、図１に示すように、画像取得部２、信号処理部３、記憶部４及び出力部５を含んで構成される。物体検出装置１は、所定の監視空間を撮像した監視画像を取得し、画像内に撮像された人や物等の検出対象物を検出する。画像取得部２、信号処理部３、記憶部４及び出力部５は互いに情報伝達可能に接続される。
【００１６】
なお、本実施の形態では、画像内に写った人を検出対象物とする例について説明する。ただし、これに限定されるものではなく、流通化に置かれる商品等の物品、通行する車等を検出する場合等にも適用することができる。
【００１７】
画像取得部２は、ＣＣＤ素子やＣ−ＭＯＳ素子等の撮像素子、光学系部品、アナログ／デジタル変換器等を含んで構成される所謂監視カメラを含む。また、画像取得部２は、インターネットのネットワークを介して画像を取得するものであってもよい。画像取得部２は、撮像した画像を信号処理部３へ送信する。画像を取得する間隔は一定の時間間隔でなくてもよい。
【００１８】
画像は、例えば、幅３２０ピクセル、高さ２４０ピクセル、各ピクセルがＲ（赤）、Ｇ（緑）、Ｂ（青）をそれぞれ２５６階調で表現したカラー画像である。
【００１９】
信号処理部３は、ＣＰＵ、ＤＳＰ、ＭＣＵ、ＩＣ等の演算回路を含んで構成される。信号処理部３は、画像取得部２、記憶部４及び出力部５と情報伝達可能に接続される。信号処理部３は、検出窓領域選択手段３０、検出窓制御手段３２、固定識別器３４、学習識別器３６、識別器更新手段３７、判定手段３８等の各手段での処理を記述したプログラムを記憶部４から読み出して実行することによりコンピュータを各手段として機能させる。
【００２０】
信号処理部３は、図２に示すように、画像取得部２より入力画像２００から検出対象物を検出する。説明の都合上、画像２００の左上を原点Ｘ＝０，Ｙ＝０とし、横方向にＸ軸、縦方向にＹ軸とし、Ｘ軸は右方向、Ｙ軸は下方向に正に増加するものとする。入力画像２００には、領域２０３，２０４の位置に検出対象物（人）が写っており、矩形２０１，２０２は検出窓領域を示している。
【００２１】
物体検出装置１は、検出窓領域を少しずつずらしながら走査し、検出窓領域に人が写っている否かを判定する。矢印は、検出窓領域をずらす際の左上の座標を示すものであり、検出窓領域は画像２００全体を漏れなく探索するように走査する。領域２０３，２０４にある矩形は、検出処理の結果、人であると判定された検出窓領域（人候補領域）を示す。人が写っている画像領域付近では、人であると判定される検出窓領域が複数出てくる場合があるが、検出窓領域をまとめる処理を行うことで最終的な検出窓領域（図２中の太線：人領域）を得る。ただし、検出窓領域は、基準となる背景と入力画像とを差分処理し、差分後の画像をラベリングした後の各ラベルを検出窓領域としてもよいし、画像全体を検出窓領域としてもよい。また、領域２０５にある矩形は、検出対象物である人に似た洋服が掛ったハンガーが写された領域を示している。
【００２２】
検出窓領域選択手段３０は、検出窓領域の幅と高さを決定する。画像内に様々な大きさで写る人に対応するため検出窓領域の幅と高さを変更しながら、検出窓領域を走査して画像内に人が写っているか否かを判定する。なお、検出窓領域の幅と高さは、検出対象物の画像上での大きさを考慮して、予め記憶部４に１又は複数を記憶している。ただし、予め幅と高さを記憶していなくとも、所定の規則に従って決定してもよい。
【００２３】
検出窓制御手段３２は、検出窓領域をずらす間隔（走査間隔）を決定し、決定した走査間隔に基づいて検出窓領域をずらす。
【００２４】
固定識別器３４は、検出窓領域内の画像がどれだけ人に似ているか、類似度を計算する。固定識別器３４は、多数の「人」の画像データ、「人以外」の画像データを用いて予め学習させる。
【００２５】
類似度は、図３に示す処理手順で計算される。図１に記載している固定識別器３４、学習識別器３６、識別器更新手段３７の具体例を図３ではカスケード型識別器３２０、学習識別器３３０及び識別器更新手段３３２としてそれぞれ示す。
【００２６】
まず、入力画像から切り出された検出窓領域内の画像がカスケード型識別器３２０に入力される。カスケード型識別器３２０は、強識別器３２１，３２２，３２３のような複数の強識別器が直列に並んだ識別器である（ここではＮ個の強識別器が直列に並んでいる例を示す）。個々の強識別器は、ヒストグラム・オブ・オリエンティッド・グラディエント(ＨＯＧ：Histograms of Oriented Gradients)特徴(Navneet Dalal and Bill Triggs, Histograms of Oriented Gradients for Human Detection, In Proceedings of IEEE Conference Computer Vision and Pattern Recognition 2005)を用いてアダブースト(AdaBoost)で予め学習させる。すなわち、検出対象物である人の様々な画像と人が写っていない画像を大量に用意し、各画像に対して検出対象物の画像であるか否か正解付けを行っておき、これらのデータを用いて両者が識別できるようにアダブーストで学習させる。類似度を計算するときは、各強識別器は、入力された画像からＨＯＧ特徴を計算し、アダブーストで選択された特徴量より類似度を計算する。
【００２７】
強識別器３２１〜３２３はあらかじめ計算する順序が決まっており、最初に計算する強識別器３２１が１、次に計算する強識別器３２２が２・・・Ｎのように各強識別器には計算する順番と同じ番号を割り当てる。
【００２８】
各強識別器３２１〜３２３は、検出窓領域として切り出された画像を入力とし、類似度を計算する。最先の強識別器３２１以外の強識別器３２２，３２３等は、前段で計算された類似度が閾値より大きい場合のみ（図中Ｔの矢印）、類似度を計算する。閾値以下の場合（図中Ｆの矢印）、識別器更新手段３３２にて学習識別器３３０の更新を行う。閾値は、例えば０に設定し、０より大きければ人に似ており、０以下であれば人に似ていないと判定する。以下、類似度を算出した強識別器の番号を判定段数という。
【００２９】
学習識別器３３０は、カスケード型識別器３２０の各強識別器の類似度を入力として、人か否かを判定する。本実施の形態では、学習識別器３３０は、緩慢変動用識別器と急変動用識別器の２つの識別器を含み、それぞれの識別器では互いに異なる「人以外」の類似度ヒストグラムを用いて判定処理を行う。ただし、使用する「人以外」の類似度ヒストグラムが異なるだけで、他の処理等は同じであるのでここでは区別せずに学習識別器３３０として説明する。
【００３０】
学習識別器３３０は、カスケード型識別器３２０で最後の強識別器３２３において人と判定（図中Ｔの矢印）した場合のみ判定を行う。カスケード型識別器３２０で「人」の可能性が高いときのみ、すなわち最終段の強識別器３２３で求めた類似度が閾値より大きい場合（図中Ｔの矢印）に学習識別器３３０にて判定を行う。学習識別器３３０は、カスケード型識別器３２０において判定段数までの強識別器で得られた類似度Ｓｎ（ｎは１〜Ｍ：Ｍは判定段数（１≦Ｍ≦Ｎ））を入力とする。カスケード型識別器３２０の各強識別器で求めた類似度を並べてベクトル表現したものを類似度ベクトルＳ＝（１番目の強識別器の類似度，２番目の強識別器の類似度，・・・，Ｍ番目の強識別器の類似度）＝（Ｓ１，Ｓ２，・・・，ＳＭ）とする。
【００３１】
類似度ベクトルＳが得られたときの「人」である確率Ｐ（人｜Ｓ）、類似度Ｓが得られたときの「人以外」である確率Ｐ（人以外｜Ｓ）を計算し、Ｐ（人｜Ｓ）＞Ｐ（人以外｜Ｓ）なら「人」と判定し、そうでなければ「人以外」と判定する。
【００３２】
Ｐ（人｜Ｓ）とＰ（人以外｜Ｓ）の計算はベイズの定理より数式（１），（２）で求めることができる。
【数１】
【００３３】
ここで、Ｐ（Ｓ｜人）は、「人」の場合の類似度Ｓが得られる確率（尤度）、Ｐ（Ｓ｜人以外）は「人以外」の場合の類似度Ｓが得られる確率（尤度）である。Ｐ（人）は「人」がどのくらいの確率で検出窓領域に含まれるかを表した事前確率、同様にＰ（人以外）は検出窓領域に「人以外」がどのくらいの確率で含まれているかを表した事前確率である。事前に検出窓領域に「人」、「人以外」が含まれる確率はわからないため、事前確率Ｐ（人）＝Ｐ（人以外）＝０．５と仮定する。Ｐ（人以外｜Ｓ）＝１−Ｐ（人｜Ｓ）という関係があるので、Ｐ（人｜Ｓ）を求めれば、Ｐ（人以外｜Ｓ）は容易に求められる。以下では、Ｐ（人｜Ｓ）を学習識別器３３０での類似度という。
【００３４】
各強識別器の類似度を要素とした確率変数ベクトルｓを用意すると、「人」の類似度ベクトルｓの分布Ｐ（ｓ｜人）と「人以外」の類似度ベクトルｓの分布Ｐ（ｓ｜人以外）が求まればＰ（人｜ｓ）を計算できる。類似度ベクトルｓは多次元データだが、各強識別器の類似度ｓｎは独立であると仮定すると、Ｐ（ｓ｜人）及びＰ（ｓ｜人以外）は数式（３），（４）で求められる。
【数２】
【００３５】
ここで、Ｐ（ｓｍ｜人）はｍ番目の強識別器の「人」の類似度の分布であり、Ｐ（ｓｍ｜人以外）はｍ番目の強識別器の「人以外」の類似度の分布である。
【００３６】
本実施の形態では、全ビン（区切り）の類似度の分布の和が１になるようなヒストグラムで表現する。それぞれのヒストグラムは、記憶部４の類似度ヒストグラム４２に格納される。ただし、類似度の分布はヒストグラムに限らず、正規分布や混合正規分布などで表現してもよい。
【００３７】
「人」の類似度ヒストグラム４２は、予め用意した「人」を含む画像である学習用データを用いて各強識別器の類似度の分布を求めることによって構成する。本実施の形態では、「人」の類似度ヒストグラム４２については逐次学習を行わないが更新してもよい。「人以外」の類似度ヒストグラム４２は、監視カメラを設置した時の最初の数フレームの画像には人が含まれていないと仮定し、そのとき得られる各強識別器の類似度の分布を求めることによって構成する。その後、カスケード型識別器３２０又は学習識別器３３０において検出窓領域が「人以外」と判定されたときにカスケード型識別器３２０で求められた類似度を用いて「人以外」の類似度ヒストグラム４２を逐次更新する。
【００３８】
カスケード型識別器３２０の強識別器の数がＮ＝２の場合における類似度ヒストグラム４２の例を図４に示す。類似度ヒストグラム４０１は、１番目の強識別器の類似度ｓ１における「人」の類似度の分布４０２：Ｐ（ｓ１｜人）と「人以外」の類似度の分布４０３：Ｐ（ｓ１｜人以外）からなる。類似度ヒストグラム４１１は、２番目の強識別器の類似度ｓ２における「人」の類似度の分布４１２：Ｐ（ｓ２｜人）と「人以外」の類似度の分布４１３：Ｐ（ｓ２｜人以外）からなる。４つの類似度ヒストグラム４０２，４０３，４１２，４１３は、全ビンの類似度の分布の合計が１になるようにそれぞれ正規化されている。
【００３９】
カスケード型識別器３２０のみで判定する場合、各強識別器で求められた類似度が予め定められた閾値（例えば、０に設定）より大きいと「人」と判定されるが、学習識別器３３０では得られた各強識別器の類似度と、過去の類似度ヒストグラム４２から確率を計算し、適応的に判定できる。
【００４０】
例として、「人」、「人以外」の類似度の分布が図４に示す類似度ヒストグラム４０１，４１１で表される場合、１段目の強識別器の類似度がＳ１＝１．０、２段目の強識別器の類似度がＳ２＝１．０であったときについて説明する。１段目及び２段目の強識別器における閾値が０である場合、１段目及び２段目の強識別器のいずれにおいても類似度が閾値を超えているのでカスケード型識別器３２０では「人」と判定される。一方、学習識別器３３０では、類似度ベクトルＳ＝（１．０，１．０）が得られたときの「人」である確率：Ｐ（人｜Ｓ＝（１．０，１．０））＝Ｐ（Ｓ１＝１．０｜人）×Ｐ（Ｓ２＝１．０｜人）×Ｐ（人）／Ａと、「人以外」である確率：Ｐ（人以外｜Ｓ＝（１．０，１．０））＝１−Ｐ（人｜Ｓ＝（１．０，１．０））を算出する。ただし、Ａ＝Ｐ（Ｓ｜人）×Ｐ（人）＋Ｐ（Ｓ｜人以外）×Ｐ（人以外）である。図４に示すヒストグラム４０１，４１１に基づくとＰ（人｜Ｓ＝（１．０，１．０））＜Ｐ（人以外｜Ｓ＝（１．０，１．０））となるので、学習識別器３３０では「人以外」と判定される。
【００４１】
物体検出装置の設置環境の特性にあわせた類似度ヒストグラムを構築できれば、カスケード型識別器３２０からの類似度の算出結果に基づいて学習識別器３３０においてより確度の高い判定を行うことができる。
【００４２】
学習識別器３３０で判定後、学習識別器３３０を識別器更新手段３３２により更新する。また、類似度管理手段３３４において類似度及び検出窓領域の大きさ（幅及び高さ）と中心座標を関連付けて判定情報履歴４０として記憶部４に記憶させる。
【００４３】
識別器更新手段３３２は、学習識別器３３０の類似度ヒストグラムを更新する。本実施の形態では、各強識別器で求められた類似度が閾値以下（図３中Ｆの矢印）の場合に識別器更新手段３３２にて学習識別器３３０の更新を行う。また、カスケード型識別器３２０にて、強識別器で求められた類似度が閾値を超えていても（図３中Ｔの矢印）、学習識別器３３０にて「人以外」と判定（図３中Ｆの矢印）された場合にも、識別器更新手段３３２にて学習識別器３３０の更新を行う。すなわち、「人以外」の類似度ヒストグラム４２のみを更新の対象とし、「人」の類似度ヒストグラム４２は更新しない。
【００４４】
識別器更新手段３３２は、一時刻前までに得られた類似度ヒストグラム４２を現時刻に得られたデータで更新する。識別器更新手段３３２による更新処理には、例えば図５に示すように、αブレンディングが用いられる。図５は、学習識別器３３０のｎ番目の「人以外」の類似度ヒストグラム４２を更新する処理を示しており、前時刻までの更新前の類似度ヒストグラム５０１及び現時刻で得られたデータによる更新された類似度ヒストグラム５０２を表している。
【００４５】
検出窓領域に人の画像が含まれているか否かを判定した際、カスケード型識別器３２０では「人」と判定され学習識別器３３０では「人以外」と判定されたとする。このときのｎ番目の強識別器の類似度が０．８のときのｎ番目の強識別器に対応する類似度ヒストグラム５０１の更新方法を示す。まず、更新前の類似度ヒストグラム５０１の各ビンを（１．０−α）倍する。その後、現時刻に得られた類似度０．８に相当するビンにα分の重みを足す（図中、ビン５０３の斜線部分）。αは予め定められたパラメータである。αが大きいと過去の情報の影響がより早く小さくなり、αが小さいと過去の情報の影響をより長く受けるものとなる。初めて更新を行う際、すなわち類似度ヒストグラム５０１が空の状態の場合、得られたデータが該当するビンの値を１とする。ただし、このようにすると最初に得られたデータの影響が大きいため、更新回数が少ないうちはαを比較的大きな値に設定し、更新回数が多くなるにつれてだんだん小さな値に設定するなどしてもよい。
【００４６】
本実施の形態では、緩慢変動用識別器と急変動用識別器についてそれぞれ「人以外」の類似度ヒストグラム４２を使用する。緩慢変動用識別器における「人以外」の類似度ヒストグラム４２の更新処理での更新パラメータαは、急変動用識別器における「人以外」の類似度ヒストグラム４２の更新処理での更新パラメータαより小さい値とする。ただし、０＜（緩慢変動用識別器における更新パラメータα）＜（急変動用識別器における更新パラメータα）＜１を満たすようにする。緩慢変動用識別器では、更新パラメータαが小さいので「人以外」の類似度ヒストグラム４２において過去の更新内容の影響が急変動用識別器よりも長く残り、長時間に亘ってゆっくりと変動する環境の変化に対応することができる。一方、急変動用識別器では、更新パラメータαが大きいので「人以外」の類似度ヒストグラム４２において緩慢変動用識別器より短い時間で過去の更新内容の影響が小さくなり、短時間で急激に変動する環境の変化に対応することができる。
【００４７】
ここで、図１に戻って、判定手段３８は、判定情報履歴４０として記憶されている検出窓領域の大きさ（幅、高さ）と中心座標、学習識別器３３０の類似度（緩慢変動用識別器で求められた類似度と急変動用識別器で求められた類似度）を用いて、最終的に画像内のどこに人が写っているかを決定する。判定情報履歴４０に含まれるデータの中で、学習識別器３３０（緩慢変動用識別器及び急変動用識別器の両方）の類似度が閾値（例えば、０．８に設定）以上の検出窓領域を人候補領域として抽出する。人候補領域がない場合は入力画像中に人領域はないということで終了する。
【００４８】
人候補領域があった場合、検出窓領域の大きさと中心座標を用いて、一定以上（例えば、検出窓領域の面積の半分以上）の領域が重なっている人候補領域を纏める。纏めた人候補領域の中で学習識別器３３０の類似度が一番高い検出窓領域を人領域として選択する。纏めた領域毎に選択された検出窓領域を人領域とし、出力部５に選択された検出窓領域の情報を出力する。
【００４９】
記憶部４は、ＲＯＭやＲＡＭ等のメモリ装置で構成される。記憶部４は、信号処理部３からアクセス可能に接続される。記憶部４は、各種プログラム、各種データを記憶することができ、信号処理部３からの要求に応じてこれらの情報を読み書きする。記憶部４は、類似度管理手段３３４として機能し、判定情報履歴４０として検出窓領域の大きさ（幅、高さ）と中心座標及び学習識別器３３０の類似度（緩慢変動用識別器で求められた類似度と急変動用識別器で求められた類似度）の３つの情報を関連付けて記憶する。また、カスケード型識別器３２０に含まれる強識別器毎に、各強識別器の番号に対応付けて「人」と「人以外」の類似度ヒストグラム４２を記憶する。なお、「人以外」の類似度ヒストグラム４２については、緩慢変動用識別器と急変動用識別器とについて２種類の類似度ヒストグラム４２を記憶する。かかる類似度ヒストグラム４２が辞書データに相当し、緩慢変動用識別器の類似度ヒストグラムが第１の辞書データ、急変動用識別器の類似度ヒストグラムが第２の辞書データにそれぞれ相当する。
【００５０】
出力部５は、報知音を出力する音響出力手段や入力画像を表示する表示手段を含んで構成することができる。判定手段３８で人領域が検出された場合、スピーカー、ブザー等の音響出力手段で警報を鳴らしたり、ディスプレイ等の外部表示装置に入力画像を表示したりする。また、出力部５は、コンピュータをネットワークや電話回線に接続するためのインターフェースを含んでもよい。この場合、出力部５は、電話回線やインターネット等の情報伝達手段を介して、センタ装置（図示しない）に入力画像や人領域の情報を送出する。なお、センタ装置は、画像内の検出対象物を監視するセンタ等に設置されるホストコンピュータである。
【００５１】
以下、物体検出装置１における処理について、図１の機能ブロック図並びに図６のフローチャートを参照しつつ説明する。
【００５２】
ステップＳ１０では、画像取得部２において画像を取得し、信号処理部３に画像が送信される。画像の取得タイミングは決まった時間間隔とする。
【００５３】
ステップＳ２０では、検出窓領域の大きさ（幅と高さ）を決定する。検出窓領域の大きさを予め設定した複数の大きさに順次変更しつつ、各大きさの検出窓領域で画像全体を走査する。また、本実施の形態では検出窓領域は矩形としたので大きさとして幅と高さのみを決定すればよいが、検出窓領域は任意の形状であってよく、その場合には形状と大きさを決定する。この処理は検出窓領域選択手段３０にて行われる。
【００５４】
ステップＳ３０からステップＳ５０の処理は、ステップＳ２０で設定した検出窓領域の大きさで画像全体を走査し終わるまで繰り返す。
【００５５】
ステップＳ３０では、検出窓領域の位置を決定する。この処理は検出窓制御手段３２で行う。この処理は、図７に示すフローチャートに沿って行われる。なお、検出窓領域の左上の座標を開始点と呼び、決定すべき検出窓領域の開始点を（ＳＸ，ＳＹ）、前回の検出窓領域の開始点を（ＢＸ，ＢＹ）とする。
【００５６】
ステップＳ３０１では、検出窓領域の大きさが変更されたか否かの判定を行う。検出窓領域の大きさが変更された直後の場合は、ステップＳ３０５において検出窓領域の開始点（ＳＸ，ＳＹ）を（０，０）に設定してステップＳ４０に移行する。検出窓領域の大きさ変更後、初めての処理でない場合にはステップＳ３０２へ移行する。
【００５７】
ステップＳ３０２では、前回の検出窓領域の開始点（ＢＸ，ＢＹ）を読み出す。ステップＳ３０３では、ステップＳ３０２で読み出した前回の検出窓領域の開始点（ＢＸ，ＢＹ）から画像の右端まで走査したか否かを判定する。前記の検出窓領域で画像の右端まで走査が終了した場合、すなわち検出窓領域の右端ＢＸ＋Ｗ（但し、Ｗは検出窓領域の幅）が画像の右端に一致した場合にはステップＳ３０６において検出窓領域の開始点を（ＳＸ，ＳＹ）＝（０，ＢＹ＋ｑ）と設定し、ステップＳ４０へ移行する。ただし、ｑは予め定めた定数とする。例えば、入力画像が幅３２０ピクセル、高さ２４０ピクセルの場合にはｑ＝４ピクセルに設定する。右端まで走査していない場合にはステップＳ３０４に移行する。
【００５８】
ステップＳ３０４では、Ｘ方向に検出窓領域をｐピクセルずらし、Ｙ方向にはずらさないように検出窓領域の開始点を（ＳＸ，ＳＹ）を決定する。すなわち、検出窓領域の開始点（ＳＸ，ＳＹ）＝（ＢＸ＋ｐ，ＢＹ）とする。ただし、ｐは予め定めた定数とする。例えば、入力画像が幅３２０ピクセル、高さ２４０ピクセルの場合にはｐ＝４ピクセルに設定する。その後、ステップＳ４０に移行する。
【００５９】
ステップＳ４０では、ステップＳ３０にて設定された検出窓領域内の画像がどれだけ人に似ているかを示す類似度を求める。これは、図３に示したカスケード型識別器３２０及び学習識別器３３０の識別処理である。識別処理について図８のフローチャートを用いて説明する。
【００６０】
ステップＳ４０１では、現在の検出窓領域からＨＯＧ特徴量を計算する。ただし、この処理はステップＳ１０とステップＳ２０との間で、入力画像の各ピクセルのエッジの強度と角度を計算し、エッジの角度毎のインテグラル画像を作成しておくことでより高速に計算することが可能になる。
【００６１】
ステップＳ４０２では、すべての強識別器を調査し終わったか否かの判定を行う。すべての強識別器で調査し終わった場合はステップＳ４０６に移行し、終わっていない場合にはステップＳ４０３に移行し、次の強識別器での調査を行う。ステップＳ４０３では、検出窓領域内の画像が人に似ているか否かを判定するための類似度を計算する。
【００６２】
ステップＳ４０４では、ステップＳ４０３において計算した類似度を判定した強識別器の番号と共に一時的な記憶領域に記憶する。これはステップＳ４０７における学習識別器３３０での類似度計算やステップＳ５０の更新処理にて用いられる。
【００６３】
ステップＳ４０５では、ステップＳ４０３において計算した類似度が予め設定した閾値より大きいか否かを判定する。閾値より大きい場合にはステップＳ４０２に移行し、閾値以下の場合には後述する学習識別器３３０の類似度をステップＳ５０１の閾値以下の値として記憶させ、ステップＳ５０に移行する。
【００６４】
ステップＳ４０６からＳ４０９が学習識別器３３０の処理である。ステップＳ４０６では、カスケード型識別器３２０の判定段数までの強識別器の類似度ヒストグラム４２の中で、更新回数が基準値以上である緩慢変動用識別器及び急変動用識別器における「人以外」の類似度ヒストグラム４２を抽出する。これは、更新回数が少ない類似度ヒストグラム４２を使用すると、学習識別器３３０で算出される類似度の信頼性が低くなるためである。そこで、基準値以上更新されている類似度ヒストグラム４２と、それに対応するステップＳ４０４で記憶された強識別器の類似度を用いて学習識別器３３０での類似度を算出する。
【００６５】
ステップＳ４０７では、緩慢変動用識別器にて類似度を計算する。類似度ヒストグラム４２から「人」の類似度ヒストグラムと緩慢変動用識別器の「人以外」の類似度ヒストグラムを読み出し、数式（１）のＰ（人｜Ｓ）を用いて類似度を算出する。
【００６６】
ステップＳ４０８では、急変動用識別器にて類似度を計算する。類似度ヒストグラム４２から「人」の類似度ヒストグラムと急変動用識別器の「人以外」の類似度ヒストグラムを読み出し、数式（１）のＰ（人｜Ｓ）を用いて類似度を算出する。
【００６７】
ステップＳ４０９では、ステップＳ４０７及びＳ４０８において緩慢変動用識別器及び急変動用識別器で算出された類似度を検出窓領域の大きさ（幅と高さ）と中心座標とに関連付けて判定情報履歴４０として記憶部４に記憶し、ステップＳ５０へ移行する。
【００６８】
ステップＳ５０では、類似度ヒストグラムの更新処理を行う。これは識別器更新手段３７にてなされる。更新処理は、図９のフローチャートに沿って行われる。本実施の形態では、「人以外」の類似度ヒストグラム４２を更新し、「人」の類似度ヒストグラム４２は更新しない。
【００６９】
ステップＳ５０１では、ステップＳ４０７において緩慢変動用識別器で算出された類似度が閾値より大きく、ステップＳ４０８において急変動用識別器で算出された算出された類似度が閾値より大きい条件を両方満たす場合は「人」である可能性が高いので類似度ヒストグラム４２の更新処理は行わず、ステップＳ６０へ移行する。緩慢変動用識別器に対する閾値と急変動用識別器に対する閾値とは同じであってもよいし、異なっていてもよい。
【００７０】
ステップＳ５０２では、カスケード型識別器３２０に含まれる各強識別器に対応する「人以外」の類似度ヒストグラム４２を図８のステップＳ４０４にて記憶した類似度にて更新する。したがって、今回の判定に使用した強識別器に対応する「人以外」の類似度ヒストグラム４２だけ更新する。ここでは、緩慢変動用識別器についての「人以外」の類似度ヒストグラム４２及び急変動用識別器についての「人以外」の類似度ヒストグラム４２の両方を更新する。更新方法は、識別器更新手段３３２の説明の通りである。更新処理後、ステップＳ６０へ移行する。
【００７１】
ステップＳ６０では、すべての大きさの検出窓領域について検出処理が終了したか否かを判定する。すべての大きさの検出窓領域について調査が終わった場合はステップＳ７０に処理を移行させ、そうでない場合はステップＳ２０に処理を戻す。
【００７２】
ステップＳ７０では、ステップＳ５０で求めた判定情報履歴４０に記憶されている各検出窓領域の大きさ（幅と高さ）と中心座標及び学習識別器３３０の類似度から最終的に人が写っている位置を決定する。この処理は判定手段３８でなされる。判定処理は、図１０のフローチャートに沿って行われる。
【００７３】
ステップＳ７０１〜Ｓ７０２の処理はステップＳ５０で求めた判定情報履歴４０として記憶されているすべての検出窓領域について行う。ステップＳ７０１では、緩慢変動用識別器で算出された類似度が閾値（例えば、０．８）より大きく、急変動用識別器で算出された算出された類似度が閾値（例えば、０．８）より大きい条件を両方満たすか否かを判定し、条件を満たす場合にはステップＳ７０２に移行し、そうでない場合には次の検出窓領域について判定を行う。ステップＳ７０２では、ステップＳ７０１で条件を満たした検出窓領域を人候補領域に追加する。
【００７４】
判定情報履歴４０に記憶された情報に対してステップＳ７０１〜Ｓ７０２を繰り返すことで求められた人候補領域は、図２に示すように、人が写っている領域の近くに領域２０３，２０４のように複数抽出される場合がある。ステップＳ７０３〜Ｓ７０５では、複数の人候補領域から人領域を最終的に選択する。
【００７５】
ステップＳ７０３では、人候補領域として抽出された検出窓領域の大きさと中心座標を用いて、一定以上（例えば、検出窓領域の面積の半分以上）の領域が重なっている人候補領域をグループとして纏める。ステップＳ７０４では、ステップＳ７０３で作成されたグループ毎に人候補領域の中で学習識別器３３０の類似度が一番高い検出窓領域を人領域として選択する。ステップＳ７０５では、ステップＳ７０４で選択された検出窓領域を人領域とし、ステップＳ８０に移行する。
【００７６】
ステップＳ８０では、ステップＳ７０において判定された人領域を基に、人領域が１つでもあれば、判定された人領域の検知窓情報を画像と共に異常信号として出力する。この処理は出力部５にてなされる。
［初期設定時の処理］
監視カメラ設置時の初期設定の処理について以下に説明する。初期設定時には、監視カメラの撮像領域内に人がいないという仮定のもと、各強識別器に対応する「人以外」の類似度ヒストグラム４２の登録を行う。初期設定処理は、監視カメラを設置してから予め定めた枚数の画像を処理して終了するものとする。
【００７７】
初期設定処理は、図６の検知処理時のフローチャートにおけるステップＳ７０及びＳ８０を除き、ステップＳ４０及びＳ５０を若干変更した処理となる。また、ステップＳ４０及びＳ５０の処理は相違点のみを説明する。
【００７８】
ステップＳ４０では、図８においてステップＳ４０１からＳ４０５までの処理を行い、ステップＳ４０２ですべての強識別器で調査し終わっていた場合（ステップＳ４０２のＹＥＳ）はステップＳ４０６〜Ｓ４０９の処理を行わず、ステップＳ５０へ移行する。すなわち、ステップＳ４０６〜Ｓ４０９の学習識別器による処理を省略している点が相違している。
【００７９】
ステップＳ５０では、初期設定処理では人は監視空間にいないという仮定なので、ステップＳ５０１の判定処理を行わない。ステップＳ５０２では、ステップＳ４０で得られた判定段数までの強識別器の類似度を用いて、対応する強識別器の緩慢変動用識別器及び急変動用識別器の「人以外」の類似度ヒストグラム４２の両方を更新し、その後、ステップＳ６０へ移行する。
【００８０】
また、画像を取得する毎に「人以外」の類似度ヒストグラム４２を逐次更新せず、所定の枚数の画像に対するカスケード型識別器３２０で算出された類似度を記憶しておき、一括して類似度ヒストグラム４２を作成するものとしてもよい。
【００８１】
＜第２の実施の形態＞
第２の実施の形態における物体検出装置は固定識別器と学習識別器との判定を並列に行い、それぞれの判定結果を統合する。第２の実施の形態では、第１の実施の形態における固定識別器３４、学習識別器３６、識別器更新手段３７及び判定手段３８での処理が異なるのでこれらについて説明する。また、記憶部４において、第１の実施の形態では、類似度ヒストグラム４２を記憶しているが、第２の実施の形態では学習識別器用特徴量分布４２として説明する。
【００８２】
固定識別器３４は、検出窓領域内の画像がどれだけ人に似ているかを示す類似度を求める。これは第１の実施の形態と同じ処理である。図１に記載している固定識別器３４、学習識別器３６及び識別器更新手段３７の具体例を図１１ではカスケード型識別器６２０、学習識別器６３２及び識別器更新手段６３６としてそれぞれ示す。
【００８３】
図１１のカスケード型識別器６２０は、複数の強識別器６２１〜６２３から構成され、検出窓領域として切り出された画像を入力とし、類似度を計算する。最先の強識別器６２１以外の強識別器６２２，６２３等は、前段で計算された類似度が閾値より大きい場合のみ（図中Ｔの矢印）、類似度を計算する。閾値は、例えば０に設定し、強識別器６２１〜６２３で求めた類似度が０より大きければ人に似ており、０以下であれば人に似ていないと判定する。そして、最終段の強識別器３２３において求めた類似度が閾値より大きい場合（図中Ｔの矢印）、又は、各強識別器で求めた類似度が閾値以下の場合（図中Ｆの矢印）に、判定情報履歴手段６３０にカスケード型識別器６２０の判定段数と類似度を出力する。判定情報履歴手段６３０は、出力された判定段数及び類似度を検出窓領域の大きさ及び中心座標に関連付けて判定情報履歴４０して記憶部４に記憶させる。
【００８４】
学習識別器６３２は、第１の実施の形態と異なり、画像を受けて人か否かを判定する。学習識別器６３２は、入力される検出窓領域の画像からエッジに関する特徴量を抽出する。まず、検出窓領域の画像からエッジ画像を作成する。エッジ画像は、予め監視画像全体について求めておいてもよい。例えば、図１２に示すように、検出窓領域を横２分割、縦４分割の計８つの矩形領域に分割し、各領域についてエッジの方向に関するヒストグラムを作成する。例えば、エッジの方向を９方向に設定し、各領域におけるエッジの方向毎にエッジの強度で重み付けしたヒストグラム７０２を作成する。なお、互いに１８０度反転しているエッジは同一方向とみなすので、ヒストグラム７０２が採り得る方向は０度〜１８０度となり、９方向に割り当てると２０度刻みとなる。
【００８５】
このように、各領域においてヒストグラム７０２を作成する。ヒストグラム７０２のビンは９方向×８領域で７２次元のベクトルを構成する。最後に７２次元ベクトルのノルムが１になるように正規化する。このように作成したベクトルを検出窓領域の特徴量Ｘとして用いる。
【００８６】
学習識別器６３２は、特徴量Ｘに基づいて検出窓領域が「人」を含むか、「人以外」であるかを判定する。得られた特徴量Ｘから人か否かを判定するには、特徴量Ｘが得られたときの「人」である確率Ｐ（人｜Ｘ）、特徴量Ｘが得られたときの「人以外」である確率Ｐ（人以外｜Ｘ）を計算し、Ｐ（人｜Ｘ）＞Ｐ（人以外｜Ｘ）なら「人」と判定し、そうでなければ「人以外」と判定する。
【００８７】
Ｐ（人｜Ｘ）とＰ（人以外｜Ｘ）の計算はベイズの定理より数式（５），（６）で求めることができる。
【数３】
【００８８】
ここで、Ｐ（Ｘ｜人）は、「人」の場合の特徴量Ｘが得られる確率（尤度）、Ｐ（Ｘ｜人以外）は「人以外」の場合の特徴量Ｘが得られる確率（尤度）である。Ｐ（人）は「人」がどのくらいの確率で検出窓領域に含まれるかを表した事前確率、同様にＰ（人以外）は検出窓領域に「人以外」がどのくらいの確率で含まれているかを表した事前確率である。事前に検出窓領域に「人」が含まれる確率はわからないため、事前確率Ｐ（人）＝Ｐ（人以外）＝０．５と仮定する。Ｐ（人以外｜Ｘ）＝１−Ｐ（人｜Ｘ）という関係があるので、Ｐ（人｜Ｘ）を求めれば、Ｐ（人以外｜Ｘ）は容易に求められる。以下では、Ｐ（人｜Ｘ）を学習識別器６３２での類似度という。
【００８９】
本実施の形態では、Ｐ（Ｘ｜人）とＰ（Ｘ｜人以外）の分布を混合正規分布で表現する。「人」の特徴量分布Ｐ（Ｘ｜人）は、予め用意された「人」の学習データから特徴量を計算し、混合正規分布のパラメータをＥＭ（Ｅｘｐｅｃｔａｔｉｏｎ−Ｍａｘｉｍｉｚａｔｉｏｎ）アルゴリズム(A.P. Dempster, N.M.Laird, and D.B. Rubin. "Maximum likelihood from incomplete data via the EM algorithm", Journal of the Royal Statistical Society, Series B, 39(1),1-38,1977)を用いて作成する。「人以外」の特徴量分布Ｐ（Ｘ｜人以外）は、監視カメラの設置時に「人」がいないという仮定のもと撮像した複数の画像から特徴量を算出し、ＥＭアルゴリズムによって混合正規分布のパラメータを求める。
【００９０】
図１１の学習識別器６３２で類似度を求めた後、学習類似度管理手段６３４にて検出窓領域の大きさ（幅、高さ）と中心座標及び学習識別器６３２で求められた類似度を関連付けて判定情報履歴４０として記憶部４に記憶させる。
【００９１】
次に、カスケード型識別器６２０の類似度と判定段数及び学習識別器６３２の類似度の結果から識別器更新手段６３６にて学習識別器６３２の更新を行う。本実施の形態では、識別器更新手段６３６は、カスケード型識別器６２０の判定段数と類似度及び学習識別器６３２の類似度に基づいて「人以外」である可能性が高いときのみ、「人以外」の特徴量分布Ｐ（Ｘ｜人以外）を更新する。ただし、「人」の可能性が高いときのみ、「人」の特徴量分布Ｐ（Ｘ｜人）を更新してもよい。
【００９２】
「人以外」の特徴量分布Ｐ（Ｘ｜人以外）は混合正規分布でモデル化されており、「人以外」と判定されたデータが１つ得られる度に特徴量分布Ｐ（Ｘ｜人以外）を逐次型ＥＭアルゴリズム(Radford Neal, R.M. and G.E. Hinton(1998) "A new view of the EM algorithm that justifies incremental, sparse and other variants", Learning in Graphical Models, pp.355-368. Kluwer Academic Publishers)を用いて更新を行う。
【００９３】
なお、本実施の形態では、学習識別器６３２は緩慢変動用識別器及び急変動用識別器を含んでおり、それぞれについて「人以外」の特徴量分布Ｐ（Ｘ｜人以外）が設定される。緩慢変動用識別器と急変動用識別器についてそれぞれに対応する「人以外」の学習識別器用特徴量分布４２を使用する。ここで、緩慢変動用識別器における「人以外」の特徴量分布Ｐ（Ｘ｜人以外）の更新間隔は、急変動用識別器における「人以外」の特徴量分布Ｐ（Ｘ｜人以外）の更新間隔より長く設定する。緩慢変動用識別器では更新間隔が急変動用識別器より長いので「人以外」の特徴量分布Ｐ（Ｘ｜人以外）において過去の更新内容の影響が急変動用識別器よりも長く残り、長時間に亘ってゆっくりと変動する環境の変化に対応することができる。一方、急変動用識別器では更新間隔が緩慢変動用識別器より短いので「人以外」の特徴量分布Ｐ（Ｘ｜人以外）において緩慢変動用識別器より短い時間で過去の更新内容の影響が小さくなり、短時間で急激に変動する環境の変化に対応することができる。
【００９４】
判定手段３８は、判定情報履歴４０として記憶されている検出窓領域の大きさ（幅、高さ）と中心座標、カスケード型識別器６２０の判定段数と類似度及び学習識別器６３２の類似度を用いて、最終的に画像内のどこに人が写っているかを決定する。
【００９５】
判定情報履歴４０に含まれるデータの中で、カスケード型識別器６２０の判定段数が最終段であり、類似度が閾値（例えば、０に設定）より大きく、学習識別器６３２の緩慢変動用識別器で算出された類似度が閾値（例えば、０．８に設定）以上、学習識別器６３２の急変動用識別器で算出された類似度が閾値（例えば、０．８に設定）以上の総ての条件を満たす検出窓領域を人候補領域として抽出する。人候補領域がない場合は入力画像中に人領域はないということで終了する。
【００９６】
人候補領域があった場合、検出窓領域の大きさと中心座標を用いて、一定以上（例えば、検出窓領域の面積の半分以上）の領域が重なっている人候補領域を纏める。纏めた人候補領域の中でカスケード型識別器６２０で算出された類似度が一番高い検出窓領域を人領域として選択する。纏めた領域毎に選択された検出窓領域を人領域とし、出力部５に選択された検出窓領域の情報を出力する。なお、人領域としての選択は、カスケード型識別器６２０の類似度を用いることなく、学習識別器６３２の類似度を用いてもよい。
【００９７】
記憶部４は、ＲＯＭやＲＡＭ等のメモリ装置で構成される。記憶部４は、信号処理部３からアクセス可能に接続される。記憶部４は、各種プログラム、各種データを記憶することができ、信号処理部３からの要求に応じてこれらの情報を読み書きする。記憶部４は、学習類似度管理手段６３４として機能し、判定情報履歴４０及び学習識別器用特徴量分布４２を記憶する。判定情報履歴４０は、検出窓領域の大きさ（幅、高さ）と中心座標、カスケード型識別器６２０の判定段数と類似度、及び学習識別器６３２の類似度（緩慢変動用識別器で算出された類似度及び急変動用識別器で算出された類似度）の情報を関連付けて記憶したものである。学習識別器用特徴量分布４２は、人の特徴量分布Ｐ（Ｘ｜人）と人以外の特徴量分布Ｐ（Ｘ｜人以外）である。具体的には、「人」との混合正規分布に関するパラメータ、すなわち各正規分布の混合比、平均値、共分散行列が記憶されている。また、「人以外」の混合正規分布に関するパラメータとしては、緩慢変動用識別器の混合正規分布の混合比、平均値、共分散行列及び急変動用識別器の混合正規分布の混合比、平均値、共分散行列が記憶されている。かかる学習識別器用特徴量分布４２が辞書データに相当し、緩慢変動用識別器の学習識別器用特徴量分布が第１の辞書データ、急変動用識別器の学習識別器用特徴量分布が第２の辞書データにそれぞれ相当する。
【００９８】
以下、本実施の形態における処理について説明する。本実施の形態における処理は、図６のフローチャートに示す処理とほぼ同じであるので、相違するステップＳ４０，Ｓ５０，Ｓ７０のみについて説明する。
【００９９】
ステップＳ４０にて、ステップＳ３０で設定された検出窓領域内の画像がどれだけ人に似ているかを示す類似度を求める。これは、図１１に示したカスケード型識別器６２０及び学習識別器６３２における処理であり、図１３のフローチャートを用いて説明する。ステップＳ４５１からＳ４５５がカスケード型識別器６２０における処理であり、ステップＳ４５６からＳ４５９が学習識別器６３２における処理である。
【０１００】
ステップＳ４５１では、現在の検出窓領域からＨＯＧ特徴量を抽出する。ただし、この処理はステップＳ１０とステップＳ２０との間で、入力画像の各ピクセルのエッジの強度と角度を計算し、エッジの角度毎のインテグラル画像を作成しておくことでより高速に計算することが可能になる。
【０１０１】
ステップＳ４５２では、すべての強識別器を調査し終わったか否かの判定を行う。すべての強識別器で調査し終わった場合はステップＳ４５５に移行し、終わっていない場合にはステップＳ４５３に移行し、次の強識別器での調査を行う。ステップＳ４５３では、検出窓領域内の画像が人に似ているか否かを判定するための類似度を計算する。
【０１０２】
ステップＳ４５４では、ステップＳ４５３において計算した類似度が予め設定した閾値（例えば、０に設定）より大きいか否かを判定する。閾値より大きい場合にはステップＳ４５２に移行し、閾値以下の場合にはステップＳ４５５に移行する。
【０１０３】
ステップＳ４５５では、ステップＳ４５３において最後に計算した類似度及びその判定段数を検出窓領域の大きさ（幅、高さ）と中心座標に関連付けて判定情報履歴４０として記憶部４に記憶する。ここで、最後に計算された類似度が固定識別器の類似度となる。また、ステップＳ４５９では、学習識別器６３２の類似度も共に記憶される。
【０１０４】
ステップＳ４５６では、学習識別器６３２で用いられる特徴量Ｘを求める。これは上記で説明した通りである。
【０１０５】
ステップＳ４５７では、ステップＳ４５６で求めた特徴量Ｘに基づいて学習識別器６３２の緩慢変動用識別器の類似度を算出する。類似度Ｐ（人｜Ｘ）は数式（５）により求めることができ、人以外の特徴量分布Ｐ（Ｘ｜人以外）としては緩慢変動用識別器の混合正規分布のパラメータを用いる。
【０１０６】
ステップＳ４５８では、ステップＳ４５６で求めた特徴量Ｘに基づいて学習識別器６３２の急変動用識別器の類似度を算出する。類似度Ｐ（人｜Ｘ）は数式（５）により求めることができ、人以外の特徴量分布Ｐ（Ｘ｜人以外）としては急変動用識別器の混合正規分布のパラメータを用いる。
【０１０７】
ステップＳ４５９では、ステップＳ４５７及びＳ４５８で算出された緩慢変動用識別器及び急変動用識別器の類似度をステップＳ４５５で記憶した固定識別器の類似度に関連付けて判定情報履歴４０として記憶部４に記憶する。その後、処理をステップＳ５０に移行する。
【０１０８】
ステップＳ５０では、学習識別器用特徴量分布の更新を行う。これは識別器更新手段６３６にて行われる。更新処理は、図１４に示すフローチャートに沿って行われる。本実施の形態では、「人以外」の特徴量分布を更新し、「人」の特徴量分布は更新しない。
【０１０９】
ステップＳ５５１では、「人以外」であるか否かの判定を行う。「人以外」とは、カスケード型識別器６２０の判定段数が閾値Ｔ１（１≦Ｔ１≦Ｎ）以下であり、カスケード型識別器６２０の類似度が閾値Ｔ２より小さいという条件を両方満たす場合はステップＳ５５２へ移行し、そうでない場合にはステップＳ６０へ移行する。
【０１１０】
ステップＳ５５２では、学習識別器６３２の緩慢変動用識別器の類似度が閾値Ｔ３より小さい、学習識別器６３２の急変動用識別器の類似度が閾値Ｔ４より小さいという条件のいずれか一方を満たす場合はステップＳ５５３へ移行し、そうでない場合にはステップＳ６０へ移行する。
【０１１１】
ステップＳ５５１及びＳ５５２における判定は、「人以外」である場合に学習識別器用特徴量分布４２を更新するためのものである。
【０１１２】
ステップＳ５５３では、「人以外」の特徴量分布４２を更新する。現時刻の検出窓領域から得られた特徴量Ｘを用いて緩慢変動用識別器に対応する「人以外」の混合正規分布Ｐ（Ｘ｜人以外）及び急変動用識別器に対応する「人以外」の混合正規分布Ｐ（Ｘ｜人以外）を逐次型ＥＭアルゴリズムを用いて更新する。
【０１１３】
ただし、急変動用識別器に対応する「人以外」の混合正規分布Ｐ（Ｘ｜人以外）は緩慢変動用識別器に対応する「人以外」の混合正規分布Ｐ（Ｘ｜人以外）よりも短い周期で更新する。例えば、急変動用識別器に対応する「人以外」の混合正規分布Ｐ（Ｘ｜人以外）は毎回更新し、緩慢変動用識別器に対応する「人以外」の混合正規分布Ｐ（Ｘ｜人以外）は前回更新した時刻からある一定時間以上経過していない場合は更新しない。その後、ステップＳ６０へ移行する。
【０１１４】
ステップＳ７０では、ステップＳ５０で求められた判定情報履歴４０に基づいて最終的に人が写っている領域を決定する。この処理は判定手段３８にて行われる。ステップＳ７０での処理は、図１０に示したフローチャートに沿った第１の実施の形態における処理とステップＳ７０１の条件のみが異なる。ステップＳ７０１では、カスケード型識別器６２０の判定段数が最終段であり、カスケード型識別器６２０の類似度が閾値より大きく、緩慢変動用識別器の類似度が閾値より大きく、急変動用識別器の類似度が閾値より大きい条件を総て満たすときのみステップＳ７０２において人候補領域とする。
【０１１５】
［初期設定時の処理］
本実施の形態における監視カメラ設置時の初期設定の処理について以下に説明する。初期設定時には、監視カメラの撮像領域内に人がいないという仮定のもと、「人以外」の学習識別器用特徴量分布４２：Ｐ（Ｘ｜人以外）を作成する。「人」の学習識別器用特徴量分布Ｐ（Ｘ｜人）は予め収集した学習データから混合正規分布の各正規分布の混合比、平均、共分散行列を求めて作成する。
【０１１６】
初期設定処理は、監視カメラを設置してから予め定めた枚数の画像から特徴量Ｘを求めて、それらの特徴量Ｘから「人以外」の学習識別器用特徴量分布Ｐ（Ｘ｜人以外）を作成して終了するものとする。なお、初期設定で作成した「人以外」の学習識別器用特徴量分布Ｐ（Ｘ｜人以外）を、緩慢変動用識別器の特徴量分布Ｐ（Ｘ｜人以外）及び急変動用識別器の特徴量分布Ｐ（Ｘ｜人以外）とする。
【０１１７】
初期設定処理は、図１５のフローチャートに沿って行われる。ステップＳ１０１からＳ１０３は、ステップＳ１０からＳ３０と同じである。ステップＳ１０４は、学習識別器用特徴量を作成し、記憶部４の一時記憶用領域に記憶する。ステップＳ１０５は、ステップＳ６０と同じである。
【０１１８】
ステップＳ１０６では、所定の枚数の画像を処理したか否かの判定を行い、所定の枚数の画像を処理した場合はステップＳ１０７へ移行し、そうでない場合にはステップＳ１０２へ戻る。
【０１１９】
ステップＳ１０７では、ステップＳ１０４において蓄積した特徴量Ｘを「人以外」の特徴量分布４２：Ｐ（Ｘ｜人以外）を推定するために用いる。特徴量分布Ｐ（Ｘ｜人以外）は、予め定めた数の正規分布の和からなる混合正規分布で表されるものとし、各正規分布の混合比、平均、分散をＥＭアルゴリズムによって求める。
【０１２０】
また、上記実施の形態では、物体検出装置１の各部の機能を１つのコンピュータで実現する態様を説明したがこれに限定されるものではない。物体検出装置１の各部の機能は一般的なコンピュータをプログラムにより制御することによって実現できるものであり、これらの装置の各機能を適宜組み合わせて１つのコンピュータで処理させてもよいし、各機能をネットワーク等で接続された複数のコンピュータで分散処理させてもよい。
【符号の説明】
【０１２１】
１ 物体検出装置、２ 画像取得部、３ 信号処理部、４ 記憶部、５ 出力部、３０ 検出窓領域選択手段、３２ 検出窓制御手段、３４ 固定識別器、３６ 学習識別器、３７ 識別器更新手段、３８ 判定手段、４０ 判定情報履歴、４２ 学習識別器用特徴量分布（類似度ヒストグラム）、２００ 入力画像、２０１，２０２ 矩形、２０３，２０４ 領域、３１０ 検出窓切出手段、３２０ カスケード型識別器、３２１，３２２，３２３ 強識別器、３３０ 学習識別器、３３２ 識別器更新手段、３３４ 類似度管理手段、４０１，４１１ 類似度ヒストグラム、４０２，４０３ 分布、４１１ 類似度ヒストグラム、４１２，４１３ 分布、５０１，５０２，５０３ ヒストグラム、６２０ 固定識別器、６２１，６２２，６２３ 強識別器、６３０ 判定情報履歴手段、６３２ 学習識別器、６３４ 学習類似度管理手段、６３６ 識別器更新手段、７０２ ヒストグラム。
【特許請求の範囲】
【請求項１】
監視領域を撮像した画像から検出対象物を検出する物体検出装置であって、
前記画像を取得する画像取得部と、
前記画像取得部から入力された前記画像から検出窓が設定されている検出窓領域画像を取り込み、前記検出窓領域画像と検出対象物とが類似している度合いを示す類似度を算出し、前記類似度に基づいて前記検出窓領域画像に検出対象物が存在しているか否かを予め学習した情報に基づいて判定する固定識別器と、
前記検出窓領域画像から算出した情報により更新される第１の辞書データを用いて、検出対象物が存在しているか否かを判定する緩慢学習識別器と、
前記第１の辞書データより短い時間で過去の更新内容の影響が小さくなるように前記検出窓領域画像から算出した情報により更新される第２の辞書データを用いて、検出対象物が存在しているか否かを判定する急変学習識別器と、
前記緩慢学習識別器及び前記急変学習識別器からの出力に基づき検出対象物が存在するか否かを判定する判定手段と、
を有することを特徴とする物体検出装置。
【請求項２】
前記緩慢学習識別器及び前記急変学習識別器は、前記固定識別器にて検出対象物が存在していると判定された検出窓領域画像に対してのみ判定を行うことを特徴とする請求項１に記載の物体検出装置。
【請求項３】
前記判定手段は、前記緩慢学習識別器及び前記急変学習識別器で検出対象物が存在すると判定された場合に検出対象物が存在すると判定することを特徴とする請求項１又は２に記載の物体検出装置。
【請求項４】
前記緩慢学習識別器及び前記急変学習識別器は、検出対象物が存在しないと判定されたときに算出された類似度のみにて前記第１の辞書データ及び前記第２の辞書データを更新されることを特徴とする請求項１から３の何れか１つに記載の物体検出装置。
【請求項１】
監視領域を撮像した画像から検出対象物を検出する物体検出装置であって、
前記画像を取得する画像取得部と、
前記画像取得部から入力された前記画像から検出窓が設定されている検出窓領域画像を取り込み、前記検出窓領域画像と検出対象物とが類似している度合いを示す類似度を算出し、前記類似度に基づいて前記検出窓領域画像に検出対象物が存在しているか否かを予め学習した情報に基づいて判定する固定識別器と、
前記検出窓領域画像から算出した情報により更新される第１の辞書データを用いて、検出対象物が存在しているか否かを判定する緩慢学習識別器と、
前記第１の辞書データより短い時間で過去の更新内容の影響が小さくなるように前記検出窓領域画像から算出した情報により更新される第２の辞書データを用いて、検出対象物が存在しているか否かを判定する急変学習識別器と、
前記緩慢学習識別器及び前記急変学習識別器からの出力に基づき検出対象物が存在するか否かを判定する判定手段と、
を有することを特徴とする物体検出装置。
【請求項２】
前記緩慢学習識別器及び前記急変学習識別器は、前記固定識別器にて検出対象物が存在していると判定された検出窓領域画像に対してのみ判定を行うことを特徴とする請求項１に記載の物体検出装置。
【請求項３】
前記判定手段は、前記緩慢学習識別器及び前記急変学習識別器で検出対象物が存在すると判定された場合に検出対象物が存在すると判定することを特徴とする請求項１又は２に記載の物体検出装置。
【請求項４】
前記緩慢学習識別器及び前記急変学習識別器は、検出対象物が存在しないと判定されたときに算出された類似度のみにて前記第１の辞書データ及び前記第２の辞書データを更新されることを特徴とする請求項１から３の何れか１つに記載の物体検出装置。
【図１】
【図２】
【図３】
【図４】
【図５】
【図６】
【図７】
【図８】
【図９】
【図１０】
【図１１】
【図１２】
【図１３】
【図１４】
【図１５】
【図２】
【図３】
【図４】
【図５】
【図６】
【図７】
【図８】
【図９】
【図１０】
【図１１】
【図１２】
【図１３】
【図１４】
【図１５】
【公開番号】特開２０１０−１７０２０２（Ｐ２０１０−１７０２０２Ａ）
【公開日】平成２２年８月５日（２０１０．８．５）
【国際特許分類】
【出願番号】特願２００９−１００４４（Ｐ２００９−１００４４）
【出願日】平成２１年１月２０日（２００９．１．２０）
【出願人】（０００１０８０８５）セコム株式会社 (596)
【Ｆターム（参考）】
【公開日】平成２２年８月５日（２０１０．８．５）
【国際特許分類】
【出願日】平成２１年１月２０日（２００９．１．２０）
【出願人】（０００１０８０８５）セコム株式会社 (596)
【Ｆターム（参考）】
[ Back to top ]