対象物検知装置
【課題】エッジ過多を起こさずに対象物の輪郭のエッジを適切に強調することで対象物を高精度に検知する。
【解決手段】輝度分布分析手段４２は入力画像１１０から入力側輝度分布１１１を、背景画像１００から背景側輝度分布１０１を算出する。画像補正手段４３は入力側輝度分布１１１と背景側輝度分布１０１が類似していれば入力画像１１０にコントラスト補正を行って補正画像１２０を生成する。エッジ抽出手段４４は補正画像１２０が生成された場合は当該補正画像からエッジを抽出し、補正画像１２０が生成されなかった場合は入力画像１１０からエッジを抽出する。対象物検出手段４５は抽出されたエッジに基づき対象物を検出する。
日陰に明色の対象物が存在し既にコントラストが十分な場合は補正が行われずエッジ過多が防止され、日陰に暗色の対象物が存在しコントラストが不十分な場合は補正が行われてエッジが強調される。
【解決手段】輝度分布分析手段４２は入力画像１１０から入力側輝度分布１１１を、背景画像１００から背景側輝度分布１０１を算出する。画像補正手段４３は入力側輝度分布１１１と背景側輝度分布１０１が類似していれば入力画像１１０にコントラスト補正を行って補正画像１２０を生成する。エッジ抽出手段４４は補正画像１２０が生成された場合は当該補正画像からエッジを抽出し、補正画像１２０が生成されなかった場合は入力画像１１０からエッジを抽出する。対象物検出手段４５は抽出されたエッジに基づき対象物を検出する。
日陰に明色の対象物が存在し既にコントラストが十分な場合は補正が行われずエッジ過多が防止され、日陰に暗色の対象物が存在しコントラストが不十分な場合は補正が行われてエッジが強調される。
【発明の詳細な説明】
【技術分野】
【０００１】
本発明は、監視空間が撮像された画像から対象物を検知する対象物検知装置に関し、特に画像から抽出されたエッジ情報に基づいて対象物を検知する対象物検知装置に関する。
【背景技術】
【０００２】
画像から対象物を検知するために、予め対象物と対象物以外の特徴を学習した判別器（識別器）などが用いられる。この際、対象物を識別する特徴として対象物の輪郭を表すエッジ情報が利用されることがある。識別のために十分なエッジ情報を得るためには、対象物と背景の間に十分なコントラストが必要である。
【０００３】
特許文献１には、コントラストの変化により対象物を判別し損ねる不具合を改善するために検出対象画像中の部分画像に輝度値を正規化する補正処理を施すことが記載されている。日陰に暗色の服を着た人物が存在している場合、或いは日向に明色の服を着た人物が存在している場合など、コントラストが不足している場合に識別精度の向上が期待できる。
【先行技術文献】
【特許文献】
【０００４】
【特許文献１】特開２００７−２５７６６号公報
【発明の概要】
【発明が解決しようとする課題】
【０００５】
しかしながら、日陰部分に明色の服を着た人物が存在している場合、或いは日向部分に暗色の服を着た人物が存在している場合など、既に対象物と背景の間に十分なコントラストがある場合に補正処理が施されてしまうと、背景中及び対象物中の僅かな陰影等からもエッジが抽出されてしまう。このように対象物の輪郭以外のエッジが余分に抽出されると、これらのエッジが外乱となって対象物を検出し損ねる可能性が高くなる問題があった。
【０００６】
また、部分画像に対象物が含まれていない場合に補正処理が施されてしまうと、やはり背景中の僅かな陰影等から対象物の輪郭以外のエッジが余分に抽出されてしまう。その結果、これらの余分なエッジが外乱となって背景の一部を対象物として誤検出する可能性が高くなる問題があった。
【０００７】
従来技術では、部分画像が、暗色の服を着た人物が存在する日陰部分なのか、人物の存在しない日陰部分なのか、或いは暗色の服を着た人物が存在している日向部分なのかといった区別を行うことはできない。そのため、従来技術では、補正処理がエッジ過多を引き起こして対象物の検出精度を逆に低下させる場合がある、という問題があった。
【０００８】
本発明は、上記問題を解決するためになされたものであり、エッジ過多を引き起こさずに対象物の輪郭のエッジを適切に強調することで、対象物を高精度に検知できる対象物検知装置を提供することを目的とする。
【課題を解決するための手段】
【０００９】
本発明にかかる対象物検知装置は、監視空間が撮像された画像から対象物を検知する対象物検知装置であって、監視空間を撮像する撮像部と、予め対象物が存在しないときに撮像された背景画像を記憶している記憶部と、撮像部から入力された入力画像を分析して入力側輝度分布を算出するとともに背景画像を分析して背景側輝度分布を算出する輝度分布分析手段と、入力側輝度分布と背景側輝度分布が類似しているか否かを判定し、類似が判定された場合に入力画像にコントラスト補正を行って補正画像を生成する画像補正手段と、補正画像が生成された場合は当該補正画像からエッジ情報を抽出し、補正画像が生成されなかった場合は入力画像からエッジ情報を抽出するエッジ抽出手段と、エッジ抽出手段により抽出されたエッジ情報に基づいて対象物を検出する対象物検出手段と、を備えたことを特徴とする。
【００１０】
かかる構成によれば、日陰に明色の対象物が存在する場合等であって既に背景と対象物との間に十分なコントラストが得られている場合は類似が判定されないためコントラスト補正が行われていない入力画像からエッジ情報が抽出され、日陰に暗色の対象物が存在する場合等であって背景と対象物との間のコントラストが不十分な場合は類似が判定されるためコントラスト補正が行われた補正画像からエッジ画像が抽出される。
そのため、既にコントラストが十分な場合は補正を行わないことでエッジ過多を防ぎ、コントラストが不十分な場合は補正を行って対象物の検知に十分なエッジ情報を抽出できるので、対象物の検知精度が向上する。
【００１１】
また、本発明の好適な態様においては、対象物検知装置は、対象物に応じて予め設定されたサイズの候補領域を入力画像内の所定位置に設定する候補領域設定手段、をさらに備え、輝度分布分析手段は、候補領域内の入力画像から入力側輝度分布を算出し、候補領域内の背景画像から背景側輝度分布を算出する。
かかる構成によれば、対象物を検出するために必要な最小限のサイズの領域において入力側輝度分布及び背景側輝度分布が算出される。そのため、余分な背景部分の影響を受けない適確な類似判定が可能となる。
【００１２】
また、本発明の好適な態様においては、候補領域設定手段は、入力画像と背景画像との比較を行って差異が検出された位置に候補領域を設定する。
かかる構成によれば、対象物が存在する確度が高い領域のみを候補領域に設定するので、背景のみの領域でコントラスト補正を行うことが防止され、エッジ過多の発生を防止できる。
【００１３】
また、本発明の好適な態様においては、候補領域設定手段は、入力画像から楕円形状を有する人体頭部領域を検出し、人体頭部領域が検出された位置に候補領域を設定する。
かかる構成によれば、対象物である人体が存在する確度が高い領域のみを候補領域に設定するので、背景のみの領域でコントラスト補正を行うことが防止され、エッジ過多の発生を防止できる。
【００１４】
また、本発明の好適な態様においては、背景側輝度分布が互いに異なる２つの輝度範囲に偏在した分布であるか否かを判定する偏在判定手段と、偏在が判定された場合に、背景輝度分布において輝度範囲の一方に分布する画素からなる第一の画像領域と、背景輝度分布において輝度範囲の他方に分布する画素からなる第二の画像領域とを検出する領域分割手段と、をさらに備え、輝度分布分析手段、画像補正手段、及びエッジ抽出手段は、第一の画像領域と第二の画像領域に対して個別に処理を行う。
日陰と日向にまたがって対象物が存在するような場合、日陰と日向の一方では十分なコントラストが得られているが他方ではコントラストが不十分であるという状況が生じる。
かかる構成によれば、日陰と日向の領域を分けて処理を行うことができるので、十分なコントラストが得られている一方の領域ではコントラスト補正を行わずにエッジ過多を防止し、コントラストが不十分な他方の領域ではコントラスト補正を施して十分なエッジ情報を抽出することができる。
そのため、コントラストが十分な領域と不十分な領域が混在していても、対象物の検知精度を向上させることができる。
【発明の効果】
【００１５】
本発明によれば、入力側輝度分布と背景側輝度分布の類似判定に基づいてコントラスト補正を必要な場合にのみ行うので、エッジ過多を引き起こさずに背景と対象物の間のエッジを強調でき、対象物の検知精度が向上する。
【図面の簡単な説明】
【００１６】
【図１】本実施の形態に係る画像監視装置の全体構成図である。
【図２】輝度分布分析手段４２及び画像補正手段４３による処理の一例を示す図である。
【図３】別の例における画像補正手段４３による処理を示す図である。
【図４】さらに別の例における輝度分布分析手段４２及び画像補正手段４３による処理を示す図である。
【図５】画像監視処理のフローチャートを示す図である。
【図６】通行者検出処理の一部のフローチャートを示す図である。
【図７】通行者検出処理の残り部分のフローチャートを示す図である。
【発明を実施するための形態】
【００１７】
本発明の好適な実施形態の一例として、建物のエントランスを監視空間とし、監視空間を通行する通行者を対象物として検知し、不正通行を監視する画像監視装置について説明する。
【００１８】
［画像監視装置１の構成］
画像監視装置１の機能ブロック図を図１に示す。
画像監視装置１は、撮像部２、記憶部３、及び出力部５が信号処理部４に接続されてなる。
【００１９】
撮像部２は所謂監視カメラである。撮像部２は、監視空間を所定時間間隔にて撮像した画像を順次、信号処理部４へ出力する。以下、上記時間間隔で刻まれる時間単位を時刻と称する。本実施形態において撮像部２は、ＲＧＢ各色が２５６階調のカラー画像を撮像して出力する。
【００２０】
撮像部２は、建物のエントランスの天井に光軸を鉛直下方に向けて設置される。エントランスには屋外からの直射日光が差し込み、建物の構造物等の影が映りこむ。そのため、撮像部２により撮像される画像には高輝度の日向部分と低輝度の日陰部分が混在する。
【００２１】
記憶部３は、ＲＯＭ、ＲＡＭ等のメモリ装置である。記憶部３は、各種プログラムや各種データを記憶し、信号処理部４との間でこれらの情報を入出力する。各種データには、背景画像３０及び対象物識別情報３１が含まれる。
【００２２】
背景画像３０は、監視空間の背景の像のみが含まれ、通行者の像が含まれていない画像である。背景画像３０は、通行者検出処理に先立って生成され、記憶される。
【００２３】
対象物識別情報３１は、画像中に通行者が存在しているか否かを識別するための参照情報である。対象物識別情報３１は、通行者検出処理に先立って、少なくとも通行者が撮像されたサンプル画像から抽出されたエッジ情報（輝度勾配情報）を基に生成され、記憶されている。
【００２４】
エッジ情報としてはＨＯＧ（Histograms of Oriented Gradients）と呼ばれる特徴量を採用することができる。ＨＯＧ特徴量は、画像中に複数設定された局小領域のそれぞれにおいて算出されたエッジ角度分布とエッジ強度とからなるパラメータ系列である。ＨＯＧ特徴量においてエッジ強度はエッジ角度分布の重み係数として用いられる。尚、ＨＯＧ特徴量の参考文献として、N.
Dalal, B. Triggs：Histograms
of oriented gradients for human detection： Proc. of IEEE Conference on Computer
Vision and Pattern Recognition (CVPR)：886-893（2005）などがある。
【００２５】
対象物識別情報３１は、多次元量であるＨＯＧ特徴量により張られる特徴空間において通行者とそれ以外を弁別する識別面を表すパラメータである。このパラメータは、通行者が撮像された多数のサンプル画像から抽出されたＨＯＧ特徴量、及び通行者が撮像されていない多数のサンプル画像から抽出されたＨＯＧ特徴量をサポートベクターマシーンやブースティング法に適用することで学習される。
【００２６】
別の実施形態において対象物識別情報３１は、通行者が撮像されている複数のサンプル画像から抽出されたエッジ強度を画素ごとに平均化した通行者のエッジパターンとして生成される。さらに別の実施形態においては、通行者が撮像されている複数のサンプル画像から抽出されたエッジ角度を画素ごとに平均化したエッジパターンとして生成される。
【００２７】
このように生成された対象物識別情報３１は、複数のサンプル画像に共通する通行者のエッジの特徴、すわなち通行者の輪郭（外形）特徴を主として表す。
【００２８】
信号処理部４は、ＤＳＰ(Digital Signal Processor)、ＭＣＵ(Micro Control Unit)等の演算装置である。信号処理部４は、背景画像生成手段４０、候補領域設定手段４１、輝度分布分析手段４２、画像補正手段４３、エッジ抽出手段４４、対象物検出手段４５、異常検知手段４６等の動作を記述したプログラムを記憶部３から読み出して実行することにより各手段として機能する。信号処理部４は、撮像部２から入力された画像（以下、入力画像と称する）に適宜補正を施して通行者を検出し、検出した通行者の追跡により不正通行を検知すると出力部５へ異常信号を出力する。
【００２９】
背景画像生成手段４０は、監視空間に通行者が存在しないときに撮像部２により撮像された入力画像の全体を背景画像３０として記憶部３に記憶させる。また、背景画像生成手段４０は、照明変動に適応するために、入力画像のうち通行者が検出されなかった部分の像を背景画像３０に合成することで背景画像３０を更新する。
【００３０】
候補領域設定手段４１は、入力画像のうち通行者の像のサイズを有する一部領域を候補領域として設定し、候補領域の情報を輝度分布分析手段４２、画像補正手段４３、エッジ抽出手段４４、対象物検出手段４５に出力する。
【００３１】
通行者の像のサイズは、通行者と撮像部２の位置関係等により変化する。そのため候補領域設定手段４１は、画像上の位置を変数として通行者の像のサイズを設定する。具体的には、撮像部２の設置高、画角といったカメラパラメータ、及び立位の平均的な体格の人物形状を回転楕円体で近似した３次元モデルをピンホールカメラモデルに適用して、監視空間の各位置に仮想配置された上記３次元モデルが画像上に投影される像を演算し、投影像を囲む矩形枠を画像上の投影像の位置と対応付けて記憶部３に予め記憶させておく。候補領域設定手段４１は、候補領域を設定しようとする位置に応じた矩形枠を候補領域として読み出し、設定する。
【００３２】
ここで、候補領域設定手段４１は、画像上の全域に亘って順次候補領域を設定することも可能であるが、通行者が存在する可能性の高い位置に絞り込んで候補領域を設定した方が誤検知の確率が低くなり、加えて処理コストも低くなる。
【００３３】
そのため、候補領域設定手段４１は入力画像において背景画像３０との差異を有する変化領域を抽出して変化領域を基準とする位置に候補領域を設定し、入力画像において楕円形状の像が撮像されている人体頭部領域を抽出して人体頭部領域を基準とする位置に候補領域を設定する。特に、人体頭部領域の抽出範囲を変化領域内に限定して行うことで絞込みの確度を高くでき、処理コストを低くできる。
【００３４】
変化領域は、入力画像と背景画像３０の差分処理、又は入力画像と背景画像３０の相関演算等により抽出できる。頭部領域は、入力画像からエッジ画像を生成し、生成されたエッジ画像にハフ変換を施すこと、又は生成されたエッジ画像と予め設定された楕円パターンとのマッチングを行うこと等により抽出できる。エッジ画像は、入力画像にＳｏｂｅｌフィルタ、Ｃａｎｎｙフィルタ等のフィルタリングを施すことにより生成できる。
【００３５】
輝度分布分析手段４２は、画像補正手段４３から所定の画像領域が指定されると、当該領域における入力画像及び背景画像３０の輝度分布の特徴量を算出して、算出した輝度分布の特徴量を画像補正手段４３に出力する。輝度分布の特徴量として、輝度分布分析手段４２は、上記各画像の輝度ヒストグラムを算出するとともに、算出された輝度ヒストグラムから山部を検出して山部の輝度範囲を算出する。
【００３６】
輝度ヒストグラムは輝度ごとの画素の頻度である。輝度ヒストグラムは上記各画像を構成する画素を輝度ごとに計数することにより算出できる。本実施形態において各頻度は総画素数で除算されて０〜１の範囲に正規化される。尚、入力画像及び背景画像３０はＲＧＢカラー画像であるが、輝度分布分析手段４２はこれらを２５６階調のモノクロ画像に変換してから輝度分布の特徴量を算出する。
【００３７】
山部は高頻度の輝度が密集した部分である。輝度分布分析手段４２は、２つの山部検出しきい値Ｔｇ１，Ｔｇ２（Ｔｇ１＞Ｔｇ２）を輝度ヒストグラムに適用して山部の輝度分布を検出する。すなわち、輝度分布分析手段４２は、頻度がＴｇ１を超える輝度を特定し、特定した輝度から低輝度側及び高輝度側に連続して頻度がＴｇ２を超えている範囲を山部の輝度範囲として検出する。複数の山部があればその数だけ輝度範囲も検出される。Ｔｇ１，Ｔｇ２のそれぞれは、例えば、指定された画像領域における総画素数の２０％程度、５％程度に相当する値に設定するとよい。
【００３８】
以下、入力画像について算出される輝度分布の特徴量を入力側輝度分布とも称し、背景画像３０について算出される輝度分布の特徴量を背景側輝度分布とも称する。
【００３９】
ここで、コントラスト補正処理の効果を十分に得るためには、山部の分布範囲が十分に狭い方がよい。すなわち山部が偏在している方がよい。
そこで輝度分布分析手段４２は、山部の偏在を判定して偏在している山部のみを検出する。具体的には輝度分布分析手段４２は、山部の分布範囲の広さ（輝度幅）を偏在判定しきい値Ｔｗと比較して、分布範囲の広さがＴｗ以下の山部のみを検出して出力する。具体的には、山部が（Ｈｂ−Ｌｂ）≧Ｔｗを満たすなら当該山部を検出し、（Ｈｂ−Ｌｂ）＜Ｔｗなら当該山部を検出しない。Ｔｗは例えば階調の３分の１程度の値に設定すればよい。本例では２５６÷３≒８５に設定される。
【００４０】
画像補正手段４３は、候補領域における入力画像にコントラスト補正処理を施して補正画像を生成し、生成した補正画像を対象物検出手段４５に出力する。コントラスト補正処理は、狭い輝度範囲に偏った分布を広げるための補正処理である。
【００４１】
画像補正手段４３は、ヒストグラムの拡張（Histogram SpreadingまたはHistogram Stretching）と呼ばれる輝度変換を行ってコントラスト補正処理を行う。具体的には、画像補正手段４３は、入力画像の画素のうち輝度がＬｉ以上Ｈｉ以下の画素の輝度Ｉを｛（Ｉ−Ｌｉ）×２５５÷（Ｈｉ−Ｌｉ）｝に変換する。但し、入力画像の階調を０〜２５５、入力画像の山部の輝度範囲をＬｉ〜Ｈｉとする。補正画像において山部の画素は周辺画素との輝度差が大きくなり、エッジが強調される。
尚、このとき画像補正手段４３は、入力画像の画素のうち輝度がＬｉ未満の画素の輝度を０に変換し、入力画像の画素のうち輝度がＨｉより高い画素の輝度を２５５に変換する。
【００４２】
また、別の実施形態において画像補正手段４３は、ヒストグラムの平坦化（Histogram Equalization）と呼ばれる輝度変換を行ってコントラスト補正処理を行う。具体的には、画像補正手段４３は、入力画像の画素のうち輝度がＬｉ以上Ｈｉ以下の画素の輝度Ｉを｛２５５÷Ｎ×ΣＰ（Ｉ）｝に変換する。但し、ＮはＬｉ以上Ｈｉ以下の総画素数、ΣＰ（Ｉ）は輝度Ｌｉ〜Ｉまでの頻度の和を表す。この処理によっても補正画像において山部の画素は周辺画素との輝度差が大きくなり、エッジが強調される。尚、輝度がＬｉ未満の画素、輝度がＨｉより高い画素に対する変換は上記と同様である。
【００４３】
ここで、入力画像のエッジ情報に基づいて通行者を検知するにあたっては、次のようなトレードオフがある。
【００４４】
まず、背景と通行者と間のコントラストが弱いと、通行者の輪郭のエッジ情報が十分に得られず通行者を検知し損ね易くなる。この場合はコントラスト補正処理を施すことで通行者の輪郭のエッジ情報が強調されて通行者を検知し損ねにくくすることができる。
【００４５】
しかしその一方で、背景と通行者と間のコントラストが十分に強いときにコントラスト補正処理を施すと通行者の輪郭以外のエッジ情報までもが強調され、余分なエッジ情報が抽出されてしまう。余分なエッジ情報とは、例えば背景領域内や通行者領域内の陰影や模様といった微弱な輝度差が強調されたために抽出されるエッジ情報である。余分なエッジ情報は通行者検知処理にとっての外乱であり、検知精度を低下させる原因となる。
【００４６】
そこで画像補正手段４３は、コントラスト補正処理を行うべきか否かの要否判定を行い、行うべきと判定した場合にのみコントラスト補正処理を行う。そのために画像補正手段４３は、入力側輝度分布と背景側輝度分布とが類似しているか否かを判定し、類似している場合にコントラスト補正処理を行うべきと判定し、類似していないときはコントラスト補正処理を行うべきではないと判定する。
【００４７】
具体的には、画像補正手段４３は、入力画像から算出された輝度ヒストグラムと背景画像３０から算出された輝度ヒストグラムの間で、各輝度における頻度の差の絶対値を求めて総和し２分の１倍することで輝度ヒストグラム間の距離を算出し、距離が予め設定した類似判定しきい値Ｔｓ以下であれば類似、距離がＴｓより大きければ相違と判定する。類似判定しきい値Ｔｓは例えば総画素数の４０％程度相当の値に設定するとよい。
【００４８】
これにより、日陰にいる暗色の服装をした通行者が撮像された入力画像、又は日向にいる明色の服装をした通行者が撮像された入力画像など、背景と対象物と間のコントラストが弱い入力画像は、背景画像３０と輝度分布が類似するのでコントラスト補正処理を行うべきと判定される。
そして、日陰にいる明色の服装をした通行者が撮像された入力画像、又は日向にいる暗色の服装をした通行者が撮像された入力画像など、既に背景と対象物と間のコントラストが十分に強い入力画像は、背景画像３０と輝度分布が類似しないのでコントラスト補正処理を行うべきではないと判定される。
よって、背景と対象物と間のコントラストが弱い入力画像は対象物の輪郭のエッジ情報が強調され、既に背景と対象物と間のコントラストが十分な入力画像は余分なエッジ情報の抽出が防止されるので、対象物の検知精度が向上する。
【００４９】
また、通行者が存在しない背景のみの領域を処理対象にすると類似が判定されて余分なエッジ情報が抽出される。そのため、画像補正手段４３は、候補領域設定手段４１によって設定された候補領域、すなわち変化領域や頭部領域が抽出されており通行者が存在する確度の高い位置に設定された候補領域を処理対象とすることで、背景のみの領域にコントラスト補正を行うことを避け、エッジ過多の発生を防止している。
【００５０】
また、余分な背景部分の影響を受けずに適確な類似判定を行うためには、通行者とその近傍の背景のみからなる領域を処理対象とするのが望ましい。そのため、輝度分布分析手段４２及び画像補正手段４３は、候補領域設定手段４１によって設定された候補領域、すなわち通行者の像のサイズに合わせて設定された候補領域を処理対象とすることで、通行者像とその近傍の背景像のみからなる必要且つ最小限の画像情報に基づく適確な輝度分布分析と類似判定を行っている。
さらにこうして得られた輝度分布を基にコントラスト補正を行うので、通行者の輪郭のエッジ情報を最大限に強調することが可能となっている。
【００５１】
図２は、輝度分布分析手段４２と画像補正手段４３による処理の一例を模式的に示したものである。この例では暗色の服装をした人物が日陰を通行中である。
【００５２】
画像１００は候補領域における背景画像を表している。日陰のため、背景画像１００は一様に低輝度である。輝度分布分析手段４２は、背景画像１００を分析して輝度ヒストグラム１０１を算出する。輝度ヒストグラム１０１においては低輝度側に偏った単峰性分布が形成されている。輝度分布分析手段４２は、輝度ヒストグラム１０１に山部検出しきい値Ｔｇ１，Ｔｇ２を適用して、山部の最小輝度値Ｌｂと最大輝度値Ｈｂ（分布範囲）を算出する。
【００５３】
画像１１０は背景画像１００と同一の候補領域における入力画像を表しており、中央に通行者が撮像されている。輝度分布分析手段４２は、入力画像１１０を分析して輝度ヒストグラム１１１を算出する。通行者も暗色であるため、輝度ヒストグラム１１１においても低輝度側に偏った単峰性分布が形成されている。輝度分布分析手段４２は、輝度ヒストグラム１１１に山部検出しきい値Ｔｇ１，Ｔｇ２を適用して、山部の最小輝度値Ｌｉと最大輝度値Ｈｉ（分布範囲）を算出する。
【００５４】
画像補正手段４３は輝度ヒストグラム１０１と輝度ヒストグラム１１１の距離を算出して類似判定しきい値Ｔｓと比較する。この例では距離はＴｓ以下であるために、画像補正手段４３は、類似を判定し、入力画像１１０にコントラスト補正処理を施す。
こうして対象物と背景との間のコントラストが改善された補正画像１２０が生成される。変換後の輝度ヒストグラムはグラフ１２１のようになる。
【００５５】
図３は別の３つのケースを例示したものである。各ケースにおける画像補正手段４３の処理を説明する。
【００５６】
日向を通行する明色の服装をした通行者に対して設定された候補領域においては、背景画像１３０と入力画像１３１のような画像が得られる。この場合、背景側輝度分布と入力側輝度分布は類似するためコントラスト補正を行うべきと判定され、入力画像１３１から補正画像が生成される。
【００５７】
日陰を通行する明色の服装をした通行者に対して設定された候補領域においては、背景画像１４０と入力画像１４１のような画像が得られる。この場合、背景側輝度分布と入力側輝度分布は相違するためコントラスト補正を行うべきではないと判定され、補正画像は生成されない。
【００５８】
日向を通行する暗色の服装をした通行者に対して設定された候補領域においては、背景画像１５０と入力画像１５１のような画像が得られる。この場合、背景側輝度分布と入力側輝度分布は相違するためコントラスト補正を行うべきではないと判定され、補正画像は生成されない。
【００５９】
以上では、候補領域における入力画像が一様に暗い又は一様に明るい場合について説明したが、候補領域における入力画像が明領域（日向など）と暗領域（日陰など）の境界を含む場合もある。このような場合、明領域ではコントラストが弱いが暗領域ではコントラストが十分強い、又は、明領域ではコントラストが十分強いが暗領域ではコントラストが弱いという状況が混在するため、候補領域全体にコントラスト補正処理を施すと、部分的に余分なエッジ情報が抽出されて対象物の検知精度を低下させる原因となる。
【００６０】
そのために画像補正手段４３は、双峰性判定手段４３１と明暗領域検出手段４３２とを有する。
【００６１】
双峰性判定手段４３１は背景側輝度分布を参照して背景側輝度分布が高輝度域と低輝度域のそれぞれに偏在する双峰性分布であるか否かを判定する。双峰性判定手段４３１は背景側輝度分布に含まれる山部の情報が２つであれば双峰性分布であると判定する。
【００６２】
明暗領域検出手段４３２は双峰性分布が判定された背景側輝度分布において高輝度域に分布する画素からなる明領域と低輝度域に分布する画素からなる暗領域を検出する。明暗領域検出手段４３２は２つの山部の間に分割しきい値Ｔｄを設定して、輝度がＴｄより高い画素からなる画素群を明領域として検出し、背景側輝度分布において輝度がＴｄ以下の画素からなる画素群を暗領域として検出する。
【００６３】
画像補正手段４３は、輝度分布分析手段４２に明領域と暗領域の入力側輝度分布と背景側輝度分布を分析させ、暗領域と明領域のそれぞれに対して要否判定と必要に応じたコントラスト補正処理を行う。
【００６４】
これにより、明領域と暗領域が混在した入力画像であっても、背景と対象物と間のコントラストが弱い部分のエッジ情報を強調しつつ、既に背景と対象物と間のコントラストが十分な部分からの余分なエッジ情報の抽出を防止できるので、対象物の検知精度が向上する。
【００６５】
図４は、日向と日陰の境界を通行する暗色の服装をした通行者像の位置に候補領域が設定されたときの輝度分布分析手段４２及び画像補正手段４３による処理の一例を模式的に示したものである。
【００６６】
画像２００は候補領域における背景画像、グラフ２０１は背景画像２００から算出された輝度ヒストグラム、画像２１０は同候補領域における入力画像をそれぞれ表している。
【００６７】
輝度ヒストグラム２０１においては低輝度側及び高輝度側に偏った双峰性分布が形成されている。輝度分布分析手段４２は、輝度ヒストグラム１０１に山部検出しきい値Ｔｇ１，Ｔｇ２を適用して、２つの山部の最小輝度値と最大輝度値（分布範囲）をそれぞれ、Ｌｂ１とＨｂ１、Ｌｂ２とＨｂ２、と算出する。
【００６８】
山部が２つ検出されたため、画像補正手段４３は分割しきい値Ｔｄを｛（Ｌｂ２−Ｈｂ１）÷２｝と算出し、背景画像２００にＴｄを適用して候補領域を明領域２０２と暗領域２０３に分割する。
【００６９】
輝度分布分析手段４２は、明領域２０２における背景画像２２０の輝度ヒストグラム２２１、明領域２０２における入力画像２４０の輝度ヒストグラム２４１を算出する。背景画像２２０は高輝度の背景のみが撮像されているため、輝度ヒストグラム２２１においては高輝度に偏った単峰性分布が形成されている。一方、入力画像２４０は高輝度の背景と低輝度の通行者が撮像されているため、輝度ヒストグラム２４１においては高輝度と低輝度に偏った双峰性分布が形成されている。画像補正手段４３は、輝度ヒストグラム２２１と輝度ヒストグラム２４１を比較するが、類似が得られず、明領域２０２についてコントラスト補正を行わない。
【００７０】
また、輝度分布分析手段４２は、暗領域２０３における背景画像２３０の輝度ヒストグラム２３１、暗領域２０３における入力画像２５０の輝度ヒストグラム２５１及び山部の分布範囲を算出し、画像補正手段４３は、輝度ヒストグラム２３１と輝度ヒストグラム２５１を比較する。暗領域２０３においては日陰の背景と暗色の服装をした通行者がともに似た輝度分布であるため類似が得られる。画像補正手段４３は、類似度が判定された暗領域２０３の入力画像２５０にコントラスト補正処理を行う。
【００７１】
エッジ抽出手段４４は、画像補正手段４３により補正画像が生成された場合は当該補正画像からエッジ情報を抽出し、補正画像が生成されなかった場合は入力画像からエッジ情報を抽出し、抽出されたエッジ情報を対象物検出手段４５に出力する。
対象物検出手段４５が抽出するエッジ情報は対象物識別情報３１と同種のエッジ情報であり、前述したＨＯＧ特徴量又はエッジパターンを採用することができる。
【００７２】
ここで、画像補正手段４３において双峰性が判定されて明領域と暗領域とが別々に処理された場合、エッジ抽出手段４４は明領域と暗領域のそれぞれからエッジ情報を抽出し、明領域のエッジ情報と暗領域のエッジ情報を繋ぎ合わせて候補領域全体のエッジ情報を合成し、合成されたエッジ情報を対象物検出手段４５に出力する。
【００７３】
対象物検出手段４５は、エッジ抽出手段４４から入力されたエッジ情報を対象物識別情報３１と比較することにより対象物を検出し、対象物が検知された候補領域における入力画像の情報、すなわち通行人像の情報を異常検知手段４６に出力する。
【００７４】
対象物識別情報３１としてＨＯＧ特徴空間における識別面のパラメータが学習されている場合、対象物検出手段４５は、当該パラメータを読み出して予め設定された識別器にセットし、抽出されたＨＯＧ特徴量を識別器に入力することで上記比較を行う。識別器は入力されたＨＯＧ特徴量が特徴空間において識別面で境界される対象物側の空間にあるか否かを識別し、識別結果を出力する。
対象物識別情報３１としてエッジパターンが作成されている場合、対象物検出手段４５は、当該エッジパターンを読み出して抽出されたエッジ情報とのパターンマッチングを行うことで上記比較を行う。
【００７５】
異常検知手段４６は、対象物検出手段４５から通行人像の情報が入力されると、当該通行人像から色ヒストグラム、位置、形状等の特徴量を抽出して記憶部３に記憶させるとともに、前後する時刻に抽出された特徴量を同定することにより通行人を追跡して不正通行を検知する。すなわち、記憶部３に建物入口の位置と認証装置の位置を予め設定しておき、追跡の結果として得られる移動軌跡をこれらの位置と比較し、建物入口の位置に達した移動軌跡が認証装置の位置を経由していなければ不正通行と判定する。不正通行が検知された場合、異常検知手段４６は出力部５に異常信号を出力する。
【００７６】
出力部５は、信号処理部４の異常検知手段４６から異常信号が入力されると、不正通行を警告するための音響出力を行うブザー又はスピーカー等の音響装置、及び通信回線を介して警備会社の監視センタ又は建物内の保安室に設置されたホスト・コンピュータに異常信号を送信する通信装置などを含んでなり、不正通行が発生した旨を外部へ出力する。
【００７７】
［画像監視装置１の動作］
以下、図５を参照して、画像監視装置１の動作を説明する。
【００７８】
監視空間が無人であることを確認した管理者が装置に電源を投入すると、各部、各手段は初期化されて動作を始める（Ｓ１）。背景画像生成手段４０は、初期化中の入力画像を背景画像３０として記憶部３に記憶させる。
【００７９】
初期化の後は、撮像部２から信号処理部４へ新たな画像が入力されるたびにＳ２〜Ｓ８の処理が繰り返される。
【００８０】
新たな画像が入力されると（Ｓ２）、当該入力画像から通行者を検出する処理が行われる（Ｓ３）。以下、図６のフローチャートを参照して通行者検出処理の詳細を説明する。
【００８１】
ステップＳ３０〜Ｓ３２では、信号処理部４の候補領域設定手段４１により候補領域の設定が行われる。
【００８２】
まず、候補領域設定手段４１は、背景画像３０と入力画像との間で差分処理を行って予め設定された差分しきい値以上の差がある画素のまとまりを変化領域として抽出する（Ｓ３０）。抽出結果として、変化領域内の画素値を１、変化領域外の画素値を０に設定したマスク画像が生成される。
【００８３】
次に、候補領域設定手段４１は、入力画像からエッジ画像を生成し、入力されたマスク画像によりエッジ画像にマスクをかけて変化領域外のエッジを除去し、マスクされたエッジ画像にハフ変換を施して楕円を検出し、楕円が検出された領域を頭部領域として抽出する（Ｓ３１）。この結果、変化領域内且つ楕円形状の像が存在する領域が抽出される。候補領域設定手段４１は、頭部領域の重心位置を演算し、当該位置と対応づけて記憶されている矩形枠を候補領域として記憶部３から読み出す（Ｓ３２）。
【００８４】
尚、変化領域が抽出されなかった場合、或いは頭部領域が抽出されなかった場合、候補領域は設定されない。候補領域が設定されなかった場合、信号処理部４は通行者を検出しなかったとして通行者検出処理を終了する（Ｓ３３にてＮＯ→Ｓ４へ）。
【００８５】
一方、１以上の候補領域が設定された場合（Ｓ３３にてＹＥＳ）、信号処理部４は、個々の候補領域を順次処理対象に設定してステップＳ３４〜Ｓ５７のループ処理を実行する。
【００８６】
ループ処理において、まず、信号処理部４の画像補正手段４３は、処理対象の候補領域を指定して信号処理部４の輝度分布分析手段４２に背景側輝度分布を算出させる（Ｓ３５）。輝度分布分析手段４２は、背景側輝度分布として処理対象の候補領域における背景画像３０の輝度ヒストグラムと偏在を判定した山部の情報を出力する。画像補正手段４３は山部の情報の数を参照して処理を３つに分岐させる。
【００８７】
第一に、ステップＳ３５にて検出された山部の情報が２つの場合、画像補正手段４３の双峰性判定手段４３１により背景側輝度分布が双峰性分布であると判定され（Ｓ３６にてＹＥＳ）、処理は図７のステップＳ４３〜Ｓ５３へ進められる。この処理は後述する。
【００８８】
第二に、ステップＳ３５にて検出された山部の情報が１つの場合、背景側輝度分布は単峰性分布であるとして（Ｓ３７にてＹＥＳ）、ステップＳ３８〜Ｓ４２の処理が行われる。
【００８９】
画像補正手段４３は、処理対象の候補領域を指定して輝度分布分析手段４２に入力側輝度分布を分析させ、算出された入力側輝度分布とステップＳ３５にて算出された背景側輝度分布が類似するか否かを判定する（Ｓ３８，Ｓ３９）。
【００９０】
類似が判定された場合、画像補正手段４３は候補領域の入力画像にコントラストを拡張する補正処理を施して補正画像を生成し、エッジ抽出手段４４は生成された補正画像からＨＯＧ特徴量を抽出する（Ｓ３９にてＹＥＳ→Ｓ４０→Ｓ４１）。
【００９１】
一方、相違が判定された場合、画像補正手段４３は補正処理を行わず、対象物検出手段４５は候補領域の入力画像からＨＯＧ特徴量を抽出する（Ｓ３９にてＮＯ→Ｓ４２）。
【００９２】
第三に、ステップＳ３５に算出された背景側輝度分布が双峰性分布でも単峰性分布でもなかった場合、画像補正手段４３は補正処理を行わず、エッジ抽出手段４４候補領域の入力画像からＨＯＧ特徴量を抽出する（Ｓ３６にてＮＯ→Ｓ３７にてＮＯ→Ｓ４２）。
【００９３】
図７を参照して、ステップＳ３５にて算出された背景側輝度分布が双峰性分布であった場合の処理について説明する。
【００９４】
この場合、画像補正手段４３は明暗領域検出手段４３２により候補領域から明領域と暗領域を検出し（Ｓ４４）、明領域と暗領域のそれぞれを順次処理対象に設定してステップＳ４３〜Ｓ５３のループ処理を実行する。
【００９５】
ループ処理において、画像補正手段４３は、処理対象の明領域または暗領域を指定して輝度分布分析手段４２に背景側輝度分布及び入力側輝度分布を算出させ（Ｓ４５，Ｓ４６）、算出された背景側輝度分布と入力側輝度分布が類似しているか否かを判定する（Ｓ４７）。
【００９６】
類似が判定されると、画像補正手段４３は処理対象の明領域または暗領域における入力画像にコントラストを拡張する補正処理を施して補正画像を生成し、エッジ抽出手段４４は当該補正画像からＨＯＧ特徴量を抽出する（Ｓ４７にてＹＥＳ→Ｓ４８→Ｓ４９）。
【００９７】
一方、相違が判定された場合、画像補正手段４３は補正処理を行わず、エッジ抽出手段４４は処理対象の明領域または暗領域における入力画像からＨＯＧ特徴量を抽出する（Ｓ４７にてＮＯ→Ｓ５１）。
【００９８】
こうして明領域と暗領域のそれぞれからＨＯＧ特徴量が抽出されると、対象物検出手段４５は各エッジ情報を繋ぎ合わせて候補領域全体についてのＨＯＧ特徴量にまとめる（Ｓ５２にてＹＥＳ→Ｓ５３）。
【００９９】
以上のようにしてＨＯＧ特徴量が抽出されると、対象物検出手段４５は抽出されたＨＯＧ特徴量と記憶部３の対象物識別情報３１との比較を行って候補領域に通行者が存在するか否かを判定し、判定結果を候補領域の情報に対応付けて記憶部３に一時記憶させる（Ｓ５４）。
【０１００】
そして、全ての候補領域に対して処理が終了すると（Ｓ５５にてＹＥＳ）、対象物検出手段４５は、通行者が検出された候補領域の位置と大きさ、及び候補領域における入力画像を通行者情報として出力する。
【０１０１】
再び図６に戻り、画像監視処理の続きを説明する。
【０１０２】
通行者が検出されると（Ｓ４にてＹＥＳ）、信号処理部４の異常検知手段４６は、検出された通行者の通行者情報と現時刻より前に検出された通行者情報との対応付けにより各通行者の移動軌跡を検出し、移動軌跡を基に認証装置に立ち寄っていない異常な通行者の存在を判定する（Ｓ５）。
【０１０３】
異常が判定された場合（Ｓ５にてＹＥＳ）、異常検知手段４６は出力部５に異常信号を出力し（Ｓ７）、異常信号が入力された出力部５は警報や通報等の出力動作を行う。尚、通行者が検出されなかった場合（Ｓ４にてＮＯ）、ステップＳ５〜Ｓ７はスキップされ、異常が判定されなかった場合（Ｓ６にてＮＯ）、ステップＳ７はスキップされる。
【０１０４】
ステップＳ７までの処理が終わると、信号処理部４の背景画像生成手段４０は、入力画像において通行者が検出されなかった領域の画像を背景画像３０に合成することで背景画像３０を更新する（Ｓ８）。
【０１０５】
［変形例］
上記実施形態において、輝度分布分析手段４２は輝度ヒストグラムを算出し、画像補正手段４３は輝度ヒストグラムの類似を判定した。
別の実施形態において、輝度分布分析手段４２は上限輝度しきい値ＴＨ１以上の輝度を有する画素数Ｎ１と下限輝度しきい値ＴＨ２以下の輝度値を有する画素数Ｎ２を計数し、画像補正手段４３は背景側輝度分布のＮ１と入力側輝度分布のＮ１との差及び背景側輝度分布のＮ２と入力側輝度分布のＮ２との差がともに所定値以下である場合に類似を判定する。そして、画像補正手段４３は、Ｎ１≧ＴＮ１且つＮ２＜ＴＮ１の場合は０〜ＴＨ１の輝度範囲に対してヒストグラムの拡張と同様の輝度変換を行い、Ｎ１＜ＴＮ１且つＮ２≧ＴＮ１の場合はＴＨ２〜２５５の輝度範囲に対してヒストグラムの拡張と同様の輝度変換を行い、Ｎ１≧ＴＮ２且つＮ２≧ＴＮ２の場合は双峰性分布であるとして分割しきい値Ｔｄ＝（ＴＨ２−ＴＨ１）÷２により明・暗領域を分けて処理を行う。
尚、ＴＨ１は８５程度、ＴＨ２は１７０程度、ＴＮ１は総画素数の５０％以上に相当する値、ＴＮ２は総画素数の３０％以上に相当する値に設定することができる。
【０１０６】
さらに別の実施形態において、輝度分布分析手段４２は輝度の平均Ａと分散σを算出し、画像補正手段４３は背景側輝度分布のＡと入力側輝度分布のＡとの差及び背景側輝度分布のσと入力側輝度分布のσとの差がともに所定値以下である場合に類似を判定する。そして、画像補正手段４３は、Ａ≦ＴＨ１且つσ＜Ｔσ１、又はＡ≧ＴＨ２且つσ＜Ｔσ１の場合はＡ±α×σの輝度範囲に対してヒストグラムの拡張と同様の輝度変換を行い、ＴＨ１＜Ａ＜ＴＨ２且つσ≧Ｔσ２の場合は双峰性分布であるとして分割しきい値Ｔｄ＝Ａにより明・暗領域を分けて処理を行う。
【０１０７】
また、上記実施形態においては輝度分布分析手段４２が偏在の判定を行った。別の実施形態においては画像補正手段４３が類似の判定のときに偏在の判定を併せて行う。この場合、画像補正手段４３は類似と偏在が判定されたときにのみコントラスト補正処理を行う。
【符号の説明】
【０１０８】
１・・・画像監視装置
２・・・撮像部
３・・・記憶部
４・・・信号処理部
５・・・出力部
３０・・・背景画像
３１・・・対象物識別情報
４０・・・背景画像生成手段
４１・・・候補領域設定手段
４２・・・輝度分布分析手段
４３・・・画像補正手段
４４・・・エッジ抽出手段
４５・・・対象物検出手段
４６・・・異常検知手段
４３１・・・双峰性判定手段
４３２・・・明暗領域検出手段
【技術分野】
【０００１】
本発明は、監視空間が撮像された画像から対象物を検知する対象物検知装置に関し、特に画像から抽出されたエッジ情報に基づいて対象物を検知する対象物検知装置に関する。
【背景技術】
【０００２】
画像から対象物を検知するために、予め対象物と対象物以外の特徴を学習した判別器（識別器）などが用いられる。この際、対象物を識別する特徴として対象物の輪郭を表すエッジ情報が利用されることがある。識別のために十分なエッジ情報を得るためには、対象物と背景の間に十分なコントラストが必要である。
【０００３】
特許文献１には、コントラストの変化により対象物を判別し損ねる不具合を改善するために検出対象画像中の部分画像に輝度値を正規化する補正処理を施すことが記載されている。日陰に暗色の服を着た人物が存在している場合、或いは日向に明色の服を着た人物が存在している場合など、コントラストが不足している場合に識別精度の向上が期待できる。
【先行技術文献】
【特許文献】
【０００４】
【特許文献１】特開２００７−２５７６６号公報
【発明の概要】
【発明が解決しようとする課題】
【０００５】
しかしながら、日陰部分に明色の服を着た人物が存在している場合、或いは日向部分に暗色の服を着た人物が存在している場合など、既に対象物と背景の間に十分なコントラストがある場合に補正処理が施されてしまうと、背景中及び対象物中の僅かな陰影等からもエッジが抽出されてしまう。このように対象物の輪郭以外のエッジが余分に抽出されると、これらのエッジが外乱となって対象物を検出し損ねる可能性が高くなる問題があった。
【０００６】
また、部分画像に対象物が含まれていない場合に補正処理が施されてしまうと、やはり背景中の僅かな陰影等から対象物の輪郭以外のエッジが余分に抽出されてしまう。その結果、これらの余分なエッジが外乱となって背景の一部を対象物として誤検出する可能性が高くなる問題があった。
【０００７】
従来技術では、部分画像が、暗色の服を着た人物が存在する日陰部分なのか、人物の存在しない日陰部分なのか、或いは暗色の服を着た人物が存在している日向部分なのかといった区別を行うことはできない。そのため、従来技術では、補正処理がエッジ過多を引き起こして対象物の検出精度を逆に低下させる場合がある、という問題があった。
【０００８】
本発明は、上記問題を解決するためになされたものであり、エッジ過多を引き起こさずに対象物の輪郭のエッジを適切に強調することで、対象物を高精度に検知できる対象物検知装置を提供することを目的とする。
【課題を解決するための手段】
【０００９】
本発明にかかる対象物検知装置は、監視空間が撮像された画像から対象物を検知する対象物検知装置であって、監視空間を撮像する撮像部と、予め対象物が存在しないときに撮像された背景画像を記憶している記憶部と、撮像部から入力された入力画像を分析して入力側輝度分布を算出するとともに背景画像を分析して背景側輝度分布を算出する輝度分布分析手段と、入力側輝度分布と背景側輝度分布が類似しているか否かを判定し、類似が判定された場合に入力画像にコントラスト補正を行って補正画像を生成する画像補正手段と、補正画像が生成された場合は当該補正画像からエッジ情報を抽出し、補正画像が生成されなかった場合は入力画像からエッジ情報を抽出するエッジ抽出手段と、エッジ抽出手段により抽出されたエッジ情報に基づいて対象物を検出する対象物検出手段と、を備えたことを特徴とする。
【００１０】
かかる構成によれば、日陰に明色の対象物が存在する場合等であって既に背景と対象物との間に十分なコントラストが得られている場合は類似が判定されないためコントラスト補正が行われていない入力画像からエッジ情報が抽出され、日陰に暗色の対象物が存在する場合等であって背景と対象物との間のコントラストが不十分な場合は類似が判定されるためコントラスト補正が行われた補正画像からエッジ画像が抽出される。
そのため、既にコントラストが十分な場合は補正を行わないことでエッジ過多を防ぎ、コントラストが不十分な場合は補正を行って対象物の検知に十分なエッジ情報を抽出できるので、対象物の検知精度が向上する。
【００１１】
また、本発明の好適な態様においては、対象物検知装置は、対象物に応じて予め設定されたサイズの候補領域を入力画像内の所定位置に設定する候補領域設定手段、をさらに備え、輝度分布分析手段は、候補領域内の入力画像から入力側輝度分布を算出し、候補領域内の背景画像から背景側輝度分布を算出する。
かかる構成によれば、対象物を検出するために必要な最小限のサイズの領域において入力側輝度分布及び背景側輝度分布が算出される。そのため、余分な背景部分の影響を受けない適確な類似判定が可能となる。
【００１２】
また、本発明の好適な態様においては、候補領域設定手段は、入力画像と背景画像との比較を行って差異が検出された位置に候補領域を設定する。
かかる構成によれば、対象物が存在する確度が高い領域のみを候補領域に設定するので、背景のみの領域でコントラスト補正を行うことが防止され、エッジ過多の発生を防止できる。
【００１３】
また、本発明の好適な態様においては、候補領域設定手段は、入力画像から楕円形状を有する人体頭部領域を検出し、人体頭部領域が検出された位置に候補領域を設定する。
かかる構成によれば、対象物である人体が存在する確度が高い領域のみを候補領域に設定するので、背景のみの領域でコントラスト補正を行うことが防止され、エッジ過多の発生を防止できる。
【００１４】
また、本発明の好適な態様においては、背景側輝度分布が互いに異なる２つの輝度範囲に偏在した分布であるか否かを判定する偏在判定手段と、偏在が判定された場合に、背景輝度分布において輝度範囲の一方に分布する画素からなる第一の画像領域と、背景輝度分布において輝度範囲の他方に分布する画素からなる第二の画像領域とを検出する領域分割手段と、をさらに備え、輝度分布分析手段、画像補正手段、及びエッジ抽出手段は、第一の画像領域と第二の画像領域に対して個別に処理を行う。
日陰と日向にまたがって対象物が存在するような場合、日陰と日向の一方では十分なコントラストが得られているが他方ではコントラストが不十分であるという状況が生じる。
かかる構成によれば、日陰と日向の領域を分けて処理を行うことができるので、十分なコントラストが得られている一方の領域ではコントラスト補正を行わずにエッジ過多を防止し、コントラストが不十分な他方の領域ではコントラスト補正を施して十分なエッジ情報を抽出することができる。
そのため、コントラストが十分な領域と不十分な領域が混在していても、対象物の検知精度を向上させることができる。
【発明の効果】
【００１５】
本発明によれば、入力側輝度分布と背景側輝度分布の類似判定に基づいてコントラスト補正を必要な場合にのみ行うので、エッジ過多を引き起こさずに背景と対象物の間のエッジを強調でき、対象物の検知精度が向上する。
【図面の簡単な説明】
【００１６】
【図１】本実施の形態に係る画像監視装置の全体構成図である。
【図２】輝度分布分析手段４２及び画像補正手段４３による処理の一例を示す図である。
【図３】別の例における画像補正手段４３による処理を示す図である。
【図４】さらに別の例における輝度分布分析手段４２及び画像補正手段４３による処理を示す図である。
【図５】画像監視処理のフローチャートを示す図である。
【図６】通行者検出処理の一部のフローチャートを示す図である。
【図７】通行者検出処理の残り部分のフローチャートを示す図である。
【発明を実施するための形態】
【００１７】
本発明の好適な実施形態の一例として、建物のエントランスを監視空間とし、監視空間を通行する通行者を対象物として検知し、不正通行を監視する画像監視装置について説明する。
【００１８】
［画像監視装置１の構成］
画像監視装置１の機能ブロック図を図１に示す。
画像監視装置１は、撮像部２、記憶部３、及び出力部５が信号処理部４に接続されてなる。
【００１９】
撮像部２は所謂監視カメラである。撮像部２は、監視空間を所定時間間隔にて撮像した画像を順次、信号処理部４へ出力する。以下、上記時間間隔で刻まれる時間単位を時刻と称する。本実施形態において撮像部２は、ＲＧＢ各色が２５６階調のカラー画像を撮像して出力する。
【００２０】
撮像部２は、建物のエントランスの天井に光軸を鉛直下方に向けて設置される。エントランスには屋外からの直射日光が差し込み、建物の構造物等の影が映りこむ。そのため、撮像部２により撮像される画像には高輝度の日向部分と低輝度の日陰部分が混在する。
【００２１】
記憶部３は、ＲＯＭ、ＲＡＭ等のメモリ装置である。記憶部３は、各種プログラムや各種データを記憶し、信号処理部４との間でこれらの情報を入出力する。各種データには、背景画像３０及び対象物識別情報３１が含まれる。
【００２２】
背景画像３０は、監視空間の背景の像のみが含まれ、通行者の像が含まれていない画像である。背景画像３０は、通行者検出処理に先立って生成され、記憶される。
【００２３】
対象物識別情報３１は、画像中に通行者が存在しているか否かを識別するための参照情報である。対象物識別情報３１は、通行者検出処理に先立って、少なくとも通行者が撮像されたサンプル画像から抽出されたエッジ情報（輝度勾配情報）を基に生成され、記憶されている。
【００２４】
エッジ情報としてはＨＯＧ（Histograms of Oriented Gradients）と呼ばれる特徴量を採用することができる。ＨＯＧ特徴量は、画像中に複数設定された局小領域のそれぞれにおいて算出されたエッジ角度分布とエッジ強度とからなるパラメータ系列である。ＨＯＧ特徴量においてエッジ強度はエッジ角度分布の重み係数として用いられる。尚、ＨＯＧ特徴量の参考文献として、N.
Dalal, B. Triggs：Histograms
of oriented gradients for human detection： Proc. of IEEE Conference on Computer
Vision and Pattern Recognition (CVPR)：886-893（2005）などがある。
【００２５】
対象物識別情報３１は、多次元量であるＨＯＧ特徴量により張られる特徴空間において通行者とそれ以外を弁別する識別面を表すパラメータである。このパラメータは、通行者が撮像された多数のサンプル画像から抽出されたＨＯＧ特徴量、及び通行者が撮像されていない多数のサンプル画像から抽出されたＨＯＧ特徴量をサポートベクターマシーンやブースティング法に適用することで学習される。
【００２６】
別の実施形態において対象物識別情報３１は、通行者が撮像されている複数のサンプル画像から抽出されたエッジ強度を画素ごとに平均化した通行者のエッジパターンとして生成される。さらに別の実施形態においては、通行者が撮像されている複数のサンプル画像から抽出されたエッジ角度を画素ごとに平均化したエッジパターンとして生成される。
【００２７】
このように生成された対象物識別情報３１は、複数のサンプル画像に共通する通行者のエッジの特徴、すわなち通行者の輪郭（外形）特徴を主として表す。
【００２８】
信号処理部４は、ＤＳＰ(Digital Signal Processor)、ＭＣＵ(Micro Control Unit)等の演算装置である。信号処理部４は、背景画像生成手段４０、候補領域設定手段４１、輝度分布分析手段４２、画像補正手段４３、エッジ抽出手段４４、対象物検出手段４５、異常検知手段４６等の動作を記述したプログラムを記憶部３から読み出して実行することにより各手段として機能する。信号処理部４は、撮像部２から入力された画像（以下、入力画像と称する）に適宜補正を施して通行者を検出し、検出した通行者の追跡により不正通行を検知すると出力部５へ異常信号を出力する。
【００２９】
背景画像生成手段４０は、監視空間に通行者が存在しないときに撮像部２により撮像された入力画像の全体を背景画像３０として記憶部３に記憶させる。また、背景画像生成手段４０は、照明変動に適応するために、入力画像のうち通行者が検出されなかった部分の像を背景画像３０に合成することで背景画像３０を更新する。
【００３０】
候補領域設定手段４１は、入力画像のうち通行者の像のサイズを有する一部領域を候補領域として設定し、候補領域の情報を輝度分布分析手段４２、画像補正手段４３、エッジ抽出手段４４、対象物検出手段４５に出力する。
【００３１】
通行者の像のサイズは、通行者と撮像部２の位置関係等により変化する。そのため候補領域設定手段４１は、画像上の位置を変数として通行者の像のサイズを設定する。具体的には、撮像部２の設置高、画角といったカメラパラメータ、及び立位の平均的な体格の人物形状を回転楕円体で近似した３次元モデルをピンホールカメラモデルに適用して、監視空間の各位置に仮想配置された上記３次元モデルが画像上に投影される像を演算し、投影像を囲む矩形枠を画像上の投影像の位置と対応付けて記憶部３に予め記憶させておく。候補領域設定手段４１は、候補領域を設定しようとする位置に応じた矩形枠を候補領域として読み出し、設定する。
【００３２】
ここで、候補領域設定手段４１は、画像上の全域に亘って順次候補領域を設定することも可能であるが、通行者が存在する可能性の高い位置に絞り込んで候補領域を設定した方が誤検知の確率が低くなり、加えて処理コストも低くなる。
【００３３】
そのため、候補領域設定手段４１は入力画像において背景画像３０との差異を有する変化領域を抽出して変化領域を基準とする位置に候補領域を設定し、入力画像において楕円形状の像が撮像されている人体頭部領域を抽出して人体頭部領域を基準とする位置に候補領域を設定する。特に、人体頭部領域の抽出範囲を変化領域内に限定して行うことで絞込みの確度を高くでき、処理コストを低くできる。
【００３４】
変化領域は、入力画像と背景画像３０の差分処理、又は入力画像と背景画像３０の相関演算等により抽出できる。頭部領域は、入力画像からエッジ画像を生成し、生成されたエッジ画像にハフ変換を施すこと、又は生成されたエッジ画像と予め設定された楕円パターンとのマッチングを行うこと等により抽出できる。エッジ画像は、入力画像にＳｏｂｅｌフィルタ、Ｃａｎｎｙフィルタ等のフィルタリングを施すことにより生成できる。
【００３５】
輝度分布分析手段４２は、画像補正手段４３から所定の画像領域が指定されると、当該領域における入力画像及び背景画像３０の輝度分布の特徴量を算出して、算出した輝度分布の特徴量を画像補正手段４３に出力する。輝度分布の特徴量として、輝度分布分析手段４２は、上記各画像の輝度ヒストグラムを算出するとともに、算出された輝度ヒストグラムから山部を検出して山部の輝度範囲を算出する。
【００３６】
輝度ヒストグラムは輝度ごとの画素の頻度である。輝度ヒストグラムは上記各画像を構成する画素を輝度ごとに計数することにより算出できる。本実施形態において各頻度は総画素数で除算されて０〜１の範囲に正規化される。尚、入力画像及び背景画像３０はＲＧＢカラー画像であるが、輝度分布分析手段４２はこれらを２５６階調のモノクロ画像に変換してから輝度分布の特徴量を算出する。
【００３７】
山部は高頻度の輝度が密集した部分である。輝度分布分析手段４２は、２つの山部検出しきい値Ｔｇ１，Ｔｇ２（Ｔｇ１＞Ｔｇ２）を輝度ヒストグラムに適用して山部の輝度分布を検出する。すなわち、輝度分布分析手段４２は、頻度がＴｇ１を超える輝度を特定し、特定した輝度から低輝度側及び高輝度側に連続して頻度がＴｇ２を超えている範囲を山部の輝度範囲として検出する。複数の山部があればその数だけ輝度範囲も検出される。Ｔｇ１，Ｔｇ２のそれぞれは、例えば、指定された画像領域における総画素数の２０％程度、５％程度に相当する値に設定するとよい。
【００３８】
以下、入力画像について算出される輝度分布の特徴量を入力側輝度分布とも称し、背景画像３０について算出される輝度分布の特徴量を背景側輝度分布とも称する。
【００３９】
ここで、コントラスト補正処理の効果を十分に得るためには、山部の分布範囲が十分に狭い方がよい。すなわち山部が偏在している方がよい。
そこで輝度分布分析手段４２は、山部の偏在を判定して偏在している山部のみを検出する。具体的には輝度分布分析手段４２は、山部の分布範囲の広さ（輝度幅）を偏在判定しきい値Ｔｗと比較して、分布範囲の広さがＴｗ以下の山部のみを検出して出力する。具体的には、山部が（Ｈｂ−Ｌｂ）≧Ｔｗを満たすなら当該山部を検出し、（Ｈｂ−Ｌｂ）＜Ｔｗなら当該山部を検出しない。Ｔｗは例えば階調の３分の１程度の値に設定すればよい。本例では２５６÷３≒８５に設定される。
【００４０】
画像補正手段４３は、候補領域における入力画像にコントラスト補正処理を施して補正画像を生成し、生成した補正画像を対象物検出手段４５に出力する。コントラスト補正処理は、狭い輝度範囲に偏った分布を広げるための補正処理である。
【００４１】
画像補正手段４３は、ヒストグラムの拡張（Histogram SpreadingまたはHistogram Stretching）と呼ばれる輝度変換を行ってコントラスト補正処理を行う。具体的には、画像補正手段４３は、入力画像の画素のうち輝度がＬｉ以上Ｈｉ以下の画素の輝度Ｉを｛（Ｉ−Ｌｉ）×２５５÷（Ｈｉ−Ｌｉ）｝に変換する。但し、入力画像の階調を０〜２５５、入力画像の山部の輝度範囲をＬｉ〜Ｈｉとする。補正画像において山部の画素は周辺画素との輝度差が大きくなり、エッジが強調される。
尚、このとき画像補正手段４３は、入力画像の画素のうち輝度がＬｉ未満の画素の輝度を０に変換し、入力画像の画素のうち輝度がＨｉより高い画素の輝度を２５５に変換する。
【００４２】
また、別の実施形態において画像補正手段４３は、ヒストグラムの平坦化（Histogram Equalization）と呼ばれる輝度変換を行ってコントラスト補正処理を行う。具体的には、画像補正手段４３は、入力画像の画素のうち輝度がＬｉ以上Ｈｉ以下の画素の輝度Ｉを｛２５５÷Ｎ×ΣＰ（Ｉ）｝に変換する。但し、ＮはＬｉ以上Ｈｉ以下の総画素数、ΣＰ（Ｉ）は輝度Ｌｉ〜Ｉまでの頻度の和を表す。この処理によっても補正画像において山部の画素は周辺画素との輝度差が大きくなり、エッジが強調される。尚、輝度がＬｉ未満の画素、輝度がＨｉより高い画素に対する変換は上記と同様である。
【００４３】
ここで、入力画像のエッジ情報に基づいて通行者を検知するにあたっては、次のようなトレードオフがある。
【００４４】
まず、背景と通行者と間のコントラストが弱いと、通行者の輪郭のエッジ情報が十分に得られず通行者を検知し損ね易くなる。この場合はコントラスト補正処理を施すことで通行者の輪郭のエッジ情報が強調されて通行者を検知し損ねにくくすることができる。
【００４５】
しかしその一方で、背景と通行者と間のコントラストが十分に強いときにコントラスト補正処理を施すと通行者の輪郭以外のエッジ情報までもが強調され、余分なエッジ情報が抽出されてしまう。余分なエッジ情報とは、例えば背景領域内や通行者領域内の陰影や模様といった微弱な輝度差が強調されたために抽出されるエッジ情報である。余分なエッジ情報は通行者検知処理にとっての外乱であり、検知精度を低下させる原因となる。
【００４６】
そこで画像補正手段４３は、コントラスト補正処理を行うべきか否かの要否判定を行い、行うべきと判定した場合にのみコントラスト補正処理を行う。そのために画像補正手段４３は、入力側輝度分布と背景側輝度分布とが類似しているか否かを判定し、類似している場合にコントラスト補正処理を行うべきと判定し、類似していないときはコントラスト補正処理を行うべきではないと判定する。
【００４７】
具体的には、画像補正手段４３は、入力画像から算出された輝度ヒストグラムと背景画像３０から算出された輝度ヒストグラムの間で、各輝度における頻度の差の絶対値を求めて総和し２分の１倍することで輝度ヒストグラム間の距離を算出し、距離が予め設定した類似判定しきい値Ｔｓ以下であれば類似、距離がＴｓより大きければ相違と判定する。類似判定しきい値Ｔｓは例えば総画素数の４０％程度相当の値に設定するとよい。
【００４８】
これにより、日陰にいる暗色の服装をした通行者が撮像された入力画像、又は日向にいる明色の服装をした通行者が撮像された入力画像など、背景と対象物と間のコントラストが弱い入力画像は、背景画像３０と輝度分布が類似するのでコントラスト補正処理を行うべきと判定される。
そして、日陰にいる明色の服装をした通行者が撮像された入力画像、又は日向にいる暗色の服装をした通行者が撮像された入力画像など、既に背景と対象物と間のコントラストが十分に強い入力画像は、背景画像３０と輝度分布が類似しないのでコントラスト補正処理を行うべきではないと判定される。
よって、背景と対象物と間のコントラストが弱い入力画像は対象物の輪郭のエッジ情報が強調され、既に背景と対象物と間のコントラストが十分な入力画像は余分なエッジ情報の抽出が防止されるので、対象物の検知精度が向上する。
【００４９】
また、通行者が存在しない背景のみの領域を処理対象にすると類似が判定されて余分なエッジ情報が抽出される。そのため、画像補正手段４３は、候補領域設定手段４１によって設定された候補領域、すなわち変化領域や頭部領域が抽出されており通行者が存在する確度の高い位置に設定された候補領域を処理対象とすることで、背景のみの領域にコントラスト補正を行うことを避け、エッジ過多の発生を防止している。
【００５０】
また、余分な背景部分の影響を受けずに適確な類似判定を行うためには、通行者とその近傍の背景のみからなる領域を処理対象とするのが望ましい。そのため、輝度分布分析手段４２及び画像補正手段４３は、候補領域設定手段４１によって設定された候補領域、すなわち通行者の像のサイズに合わせて設定された候補領域を処理対象とすることで、通行者像とその近傍の背景像のみからなる必要且つ最小限の画像情報に基づく適確な輝度分布分析と類似判定を行っている。
さらにこうして得られた輝度分布を基にコントラスト補正を行うので、通行者の輪郭のエッジ情報を最大限に強調することが可能となっている。
【００５１】
図２は、輝度分布分析手段４２と画像補正手段４３による処理の一例を模式的に示したものである。この例では暗色の服装をした人物が日陰を通行中である。
【００５２】
画像１００は候補領域における背景画像を表している。日陰のため、背景画像１００は一様に低輝度である。輝度分布分析手段４２は、背景画像１００を分析して輝度ヒストグラム１０１を算出する。輝度ヒストグラム１０１においては低輝度側に偏った単峰性分布が形成されている。輝度分布分析手段４２は、輝度ヒストグラム１０１に山部検出しきい値Ｔｇ１，Ｔｇ２を適用して、山部の最小輝度値Ｌｂと最大輝度値Ｈｂ（分布範囲）を算出する。
【００５３】
画像１１０は背景画像１００と同一の候補領域における入力画像を表しており、中央に通行者が撮像されている。輝度分布分析手段４２は、入力画像１１０を分析して輝度ヒストグラム１１１を算出する。通行者も暗色であるため、輝度ヒストグラム１１１においても低輝度側に偏った単峰性分布が形成されている。輝度分布分析手段４２は、輝度ヒストグラム１１１に山部検出しきい値Ｔｇ１，Ｔｇ２を適用して、山部の最小輝度値Ｌｉと最大輝度値Ｈｉ（分布範囲）を算出する。
【００５４】
画像補正手段４３は輝度ヒストグラム１０１と輝度ヒストグラム１１１の距離を算出して類似判定しきい値Ｔｓと比較する。この例では距離はＴｓ以下であるために、画像補正手段４３は、類似を判定し、入力画像１１０にコントラスト補正処理を施す。
こうして対象物と背景との間のコントラストが改善された補正画像１２０が生成される。変換後の輝度ヒストグラムはグラフ１２１のようになる。
【００５５】
図３は別の３つのケースを例示したものである。各ケースにおける画像補正手段４３の処理を説明する。
【００５６】
日向を通行する明色の服装をした通行者に対して設定された候補領域においては、背景画像１３０と入力画像１３１のような画像が得られる。この場合、背景側輝度分布と入力側輝度分布は類似するためコントラスト補正を行うべきと判定され、入力画像１３１から補正画像が生成される。
【００５７】
日陰を通行する明色の服装をした通行者に対して設定された候補領域においては、背景画像１４０と入力画像１４１のような画像が得られる。この場合、背景側輝度分布と入力側輝度分布は相違するためコントラスト補正を行うべきではないと判定され、補正画像は生成されない。
【００５８】
日向を通行する暗色の服装をした通行者に対して設定された候補領域においては、背景画像１５０と入力画像１５１のような画像が得られる。この場合、背景側輝度分布と入力側輝度分布は相違するためコントラスト補正を行うべきではないと判定され、補正画像は生成されない。
【００５９】
以上では、候補領域における入力画像が一様に暗い又は一様に明るい場合について説明したが、候補領域における入力画像が明領域（日向など）と暗領域（日陰など）の境界を含む場合もある。このような場合、明領域ではコントラストが弱いが暗領域ではコントラストが十分強い、又は、明領域ではコントラストが十分強いが暗領域ではコントラストが弱いという状況が混在するため、候補領域全体にコントラスト補正処理を施すと、部分的に余分なエッジ情報が抽出されて対象物の検知精度を低下させる原因となる。
【００６０】
そのために画像補正手段４３は、双峰性判定手段４３１と明暗領域検出手段４３２とを有する。
【００６１】
双峰性判定手段４３１は背景側輝度分布を参照して背景側輝度分布が高輝度域と低輝度域のそれぞれに偏在する双峰性分布であるか否かを判定する。双峰性判定手段４３１は背景側輝度分布に含まれる山部の情報が２つであれば双峰性分布であると判定する。
【００６２】
明暗領域検出手段４３２は双峰性分布が判定された背景側輝度分布において高輝度域に分布する画素からなる明領域と低輝度域に分布する画素からなる暗領域を検出する。明暗領域検出手段４３２は２つの山部の間に分割しきい値Ｔｄを設定して、輝度がＴｄより高い画素からなる画素群を明領域として検出し、背景側輝度分布において輝度がＴｄ以下の画素からなる画素群を暗領域として検出する。
【００６３】
画像補正手段４３は、輝度分布分析手段４２に明領域と暗領域の入力側輝度分布と背景側輝度分布を分析させ、暗領域と明領域のそれぞれに対して要否判定と必要に応じたコントラスト補正処理を行う。
【００６４】
これにより、明領域と暗領域が混在した入力画像であっても、背景と対象物と間のコントラストが弱い部分のエッジ情報を強調しつつ、既に背景と対象物と間のコントラストが十分な部分からの余分なエッジ情報の抽出を防止できるので、対象物の検知精度が向上する。
【００６５】
図４は、日向と日陰の境界を通行する暗色の服装をした通行者像の位置に候補領域が設定されたときの輝度分布分析手段４２及び画像補正手段４３による処理の一例を模式的に示したものである。
【００６６】
画像２００は候補領域における背景画像、グラフ２０１は背景画像２００から算出された輝度ヒストグラム、画像２１０は同候補領域における入力画像をそれぞれ表している。
【００６７】
輝度ヒストグラム２０１においては低輝度側及び高輝度側に偏った双峰性分布が形成されている。輝度分布分析手段４２は、輝度ヒストグラム１０１に山部検出しきい値Ｔｇ１，Ｔｇ２を適用して、２つの山部の最小輝度値と最大輝度値（分布範囲）をそれぞれ、Ｌｂ１とＨｂ１、Ｌｂ２とＨｂ２、と算出する。
【００６８】
山部が２つ検出されたため、画像補正手段４３は分割しきい値Ｔｄを｛（Ｌｂ２−Ｈｂ１）÷２｝と算出し、背景画像２００にＴｄを適用して候補領域を明領域２０２と暗領域２０３に分割する。
【００６９】
輝度分布分析手段４２は、明領域２０２における背景画像２２０の輝度ヒストグラム２２１、明領域２０２における入力画像２４０の輝度ヒストグラム２４１を算出する。背景画像２２０は高輝度の背景のみが撮像されているため、輝度ヒストグラム２２１においては高輝度に偏った単峰性分布が形成されている。一方、入力画像２４０は高輝度の背景と低輝度の通行者が撮像されているため、輝度ヒストグラム２４１においては高輝度と低輝度に偏った双峰性分布が形成されている。画像補正手段４３は、輝度ヒストグラム２２１と輝度ヒストグラム２４１を比較するが、類似が得られず、明領域２０２についてコントラスト補正を行わない。
【００７０】
また、輝度分布分析手段４２は、暗領域２０３における背景画像２３０の輝度ヒストグラム２３１、暗領域２０３における入力画像２５０の輝度ヒストグラム２５１及び山部の分布範囲を算出し、画像補正手段４３は、輝度ヒストグラム２３１と輝度ヒストグラム２５１を比較する。暗領域２０３においては日陰の背景と暗色の服装をした通行者がともに似た輝度分布であるため類似が得られる。画像補正手段４３は、類似度が判定された暗領域２０３の入力画像２５０にコントラスト補正処理を行う。
【００７１】
エッジ抽出手段４４は、画像補正手段４３により補正画像が生成された場合は当該補正画像からエッジ情報を抽出し、補正画像が生成されなかった場合は入力画像からエッジ情報を抽出し、抽出されたエッジ情報を対象物検出手段４５に出力する。
対象物検出手段４５が抽出するエッジ情報は対象物識別情報３１と同種のエッジ情報であり、前述したＨＯＧ特徴量又はエッジパターンを採用することができる。
【００７２】
ここで、画像補正手段４３において双峰性が判定されて明領域と暗領域とが別々に処理された場合、エッジ抽出手段４４は明領域と暗領域のそれぞれからエッジ情報を抽出し、明領域のエッジ情報と暗領域のエッジ情報を繋ぎ合わせて候補領域全体のエッジ情報を合成し、合成されたエッジ情報を対象物検出手段４５に出力する。
【００７３】
対象物検出手段４５は、エッジ抽出手段４４から入力されたエッジ情報を対象物識別情報３１と比較することにより対象物を検出し、対象物が検知された候補領域における入力画像の情報、すなわち通行人像の情報を異常検知手段４６に出力する。
【００７４】
対象物識別情報３１としてＨＯＧ特徴空間における識別面のパラメータが学習されている場合、対象物検出手段４５は、当該パラメータを読み出して予め設定された識別器にセットし、抽出されたＨＯＧ特徴量を識別器に入力することで上記比較を行う。識別器は入力されたＨＯＧ特徴量が特徴空間において識別面で境界される対象物側の空間にあるか否かを識別し、識別結果を出力する。
対象物識別情報３１としてエッジパターンが作成されている場合、対象物検出手段４５は、当該エッジパターンを読み出して抽出されたエッジ情報とのパターンマッチングを行うことで上記比較を行う。
【００７５】
異常検知手段４６は、対象物検出手段４５から通行人像の情報が入力されると、当該通行人像から色ヒストグラム、位置、形状等の特徴量を抽出して記憶部３に記憶させるとともに、前後する時刻に抽出された特徴量を同定することにより通行人を追跡して不正通行を検知する。すなわち、記憶部３に建物入口の位置と認証装置の位置を予め設定しておき、追跡の結果として得られる移動軌跡をこれらの位置と比較し、建物入口の位置に達した移動軌跡が認証装置の位置を経由していなければ不正通行と判定する。不正通行が検知された場合、異常検知手段４６は出力部５に異常信号を出力する。
【００７６】
出力部５は、信号処理部４の異常検知手段４６から異常信号が入力されると、不正通行を警告するための音響出力を行うブザー又はスピーカー等の音響装置、及び通信回線を介して警備会社の監視センタ又は建物内の保安室に設置されたホスト・コンピュータに異常信号を送信する通信装置などを含んでなり、不正通行が発生した旨を外部へ出力する。
【００７７】
［画像監視装置１の動作］
以下、図５を参照して、画像監視装置１の動作を説明する。
【００７８】
監視空間が無人であることを確認した管理者が装置に電源を投入すると、各部、各手段は初期化されて動作を始める（Ｓ１）。背景画像生成手段４０は、初期化中の入力画像を背景画像３０として記憶部３に記憶させる。
【００７９】
初期化の後は、撮像部２から信号処理部４へ新たな画像が入力されるたびにＳ２〜Ｓ８の処理が繰り返される。
【００８０】
新たな画像が入力されると（Ｓ２）、当該入力画像から通行者を検出する処理が行われる（Ｓ３）。以下、図６のフローチャートを参照して通行者検出処理の詳細を説明する。
【００８１】
ステップＳ３０〜Ｓ３２では、信号処理部４の候補領域設定手段４１により候補領域の設定が行われる。
【００８２】
まず、候補領域設定手段４１は、背景画像３０と入力画像との間で差分処理を行って予め設定された差分しきい値以上の差がある画素のまとまりを変化領域として抽出する（Ｓ３０）。抽出結果として、変化領域内の画素値を１、変化領域外の画素値を０に設定したマスク画像が生成される。
【００８３】
次に、候補領域設定手段４１は、入力画像からエッジ画像を生成し、入力されたマスク画像によりエッジ画像にマスクをかけて変化領域外のエッジを除去し、マスクされたエッジ画像にハフ変換を施して楕円を検出し、楕円が検出された領域を頭部領域として抽出する（Ｓ３１）。この結果、変化領域内且つ楕円形状の像が存在する領域が抽出される。候補領域設定手段４１は、頭部領域の重心位置を演算し、当該位置と対応づけて記憶されている矩形枠を候補領域として記憶部３から読み出す（Ｓ３２）。
【００８４】
尚、変化領域が抽出されなかった場合、或いは頭部領域が抽出されなかった場合、候補領域は設定されない。候補領域が設定されなかった場合、信号処理部４は通行者を検出しなかったとして通行者検出処理を終了する（Ｓ３３にてＮＯ→Ｓ４へ）。
【００８５】
一方、１以上の候補領域が設定された場合（Ｓ３３にてＹＥＳ）、信号処理部４は、個々の候補領域を順次処理対象に設定してステップＳ３４〜Ｓ５７のループ処理を実行する。
【００８６】
ループ処理において、まず、信号処理部４の画像補正手段４３は、処理対象の候補領域を指定して信号処理部４の輝度分布分析手段４２に背景側輝度分布を算出させる（Ｓ３５）。輝度分布分析手段４２は、背景側輝度分布として処理対象の候補領域における背景画像３０の輝度ヒストグラムと偏在を判定した山部の情報を出力する。画像補正手段４３は山部の情報の数を参照して処理を３つに分岐させる。
【００８７】
第一に、ステップＳ３５にて検出された山部の情報が２つの場合、画像補正手段４３の双峰性判定手段４３１により背景側輝度分布が双峰性分布であると判定され（Ｓ３６にてＹＥＳ）、処理は図７のステップＳ４３〜Ｓ５３へ進められる。この処理は後述する。
【００８８】
第二に、ステップＳ３５にて検出された山部の情報が１つの場合、背景側輝度分布は単峰性分布であるとして（Ｓ３７にてＹＥＳ）、ステップＳ３８〜Ｓ４２の処理が行われる。
【００８９】
画像補正手段４３は、処理対象の候補領域を指定して輝度分布分析手段４２に入力側輝度分布を分析させ、算出された入力側輝度分布とステップＳ３５にて算出された背景側輝度分布が類似するか否かを判定する（Ｓ３８，Ｓ３９）。
【００９０】
類似が判定された場合、画像補正手段４３は候補領域の入力画像にコントラストを拡張する補正処理を施して補正画像を生成し、エッジ抽出手段４４は生成された補正画像からＨＯＧ特徴量を抽出する（Ｓ３９にてＹＥＳ→Ｓ４０→Ｓ４１）。
【００９１】
一方、相違が判定された場合、画像補正手段４３は補正処理を行わず、対象物検出手段４５は候補領域の入力画像からＨＯＧ特徴量を抽出する（Ｓ３９にてＮＯ→Ｓ４２）。
【００９２】
第三に、ステップＳ３５に算出された背景側輝度分布が双峰性分布でも単峰性分布でもなかった場合、画像補正手段４３は補正処理を行わず、エッジ抽出手段４４候補領域の入力画像からＨＯＧ特徴量を抽出する（Ｓ３６にてＮＯ→Ｓ３７にてＮＯ→Ｓ４２）。
【００９３】
図７を参照して、ステップＳ３５にて算出された背景側輝度分布が双峰性分布であった場合の処理について説明する。
【００９４】
この場合、画像補正手段４３は明暗領域検出手段４３２により候補領域から明領域と暗領域を検出し（Ｓ４４）、明領域と暗領域のそれぞれを順次処理対象に設定してステップＳ４３〜Ｓ５３のループ処理を実行する。
【００９５】
ループ処理において、画像補正手段４３は、処理対象の明領域または暗領域を指定して輝度分布分析手段４２に背景側輝度分布及び入力側輝度分布を算出させ（Ｓ４５，Ｓ４６）、算出された背景側輝度分布と入力側輝度分布が類似しているか否かを判定する（Ｓ４７）。
【００９６】
類似が判定されると、画像補正手段４３は処理対象の明領域または暗領域における入力画像にコントラストを拡張する補正処理を施して補正画像を生成し、エッジ抽出手段４４は当該補正画像からＨＯＧ特徴量を抽出する（Ｓ４７にてＹＥＳ→Ｓ４８→Ｓ４９）。
【００９７】
一方、相違が判定された場合、画像補正手段４３は補正処理を行わず、エッジ抽出手段４４は処理対象の明領域または暗領域における入力画像からＨＯＧ特徴量を抽出する（Ｓ４７にてＮＯ→Ｓ５１）。
【００９８】
こうして明領域と暗領域のそれぞれからＨＯＧ特徴量が抽出されると、対象物検出手段４５は各エッジ情報を繋ぎ合わせて候補領域全体についてのＨＯＧ特徴量にまとめる（Ｓ５２にてＹＥＳ→Ｓ５３）。
【００９９】
以上のようにしてＨＯＧ特徴量が抽出されると、対象物検出手段４５は抽出されたＨＯＧ特徴量と記憶部３の対象物識別情報３１との比較を行って候補領域に通行者が存在するか否かを判定し、判定結果を候補領域の情報に対応付けて記憶部３に一時記憶させる（Ｓ５４）。
【０１００】
そして、全ての候補領域に対して処理が終了すると（Ｓ５５にてＹＥＳ）、対象物検出手段４５は、通行者が検出された候補領域の位置と大きさ、及び候補領域における入力画像を通行者情報として出力する。
【０１０１】
再び図６に戻り、画像監視処理の続きを説明する。
【０１０２】
通行者が検出されると（Ｓ４にてＹＥＳ）、信号処理部４の異常検知手段４６は、検出された通行者の通行者情報と現時刻より前に検出された通行者情報との対応付けにより各通行者の移動軌跡を検出し、移動軌跡を基に認証装置に立ち寄っていない異常な通行者の存在を判定する（Ｓ５）。
【０１０３】
異常が判定された場合（Ｓ５にてＹＥＳ）、異常検知手段４６は出力部５に異常信号を出力し（Ｓ７）、異常信号が入力された出力部５は警報や通報等の出力動作を行う。尚、通行者が検出されなかった場合（Ｓ４にてＮＯ）、ステップＳ５〜Ｓ７はスキップされ、異常が判定されなかった場合（Ｓ６にてＮＯ）、ステップＳ７はスキップされる。
【０１０４】
ステップＳ７までの処理が終わると、信号処理部４の背景画像生成手段４０は、入力画像において通行者が検出されなかった領域の画像を背景画像３０に合成することで背景画像３０を更新する（Ｓ８）。
【０１０５】
［変形例］
上記実施形態において、輝度分布分析手段４２は輝度ヒストグラムを算出し、画像補正手段４３は輝度ヒストグラムの類似を判定した。
別の実施形態において、輝度分布分析手段４２は上限輝度しきい値ＴＨ１以上の輝度を有する画素数Ｎ１と下限輝度しきい値ＴＨ２以下の輝度値を有する画素数Ｎ２を計数し、画像補正手段４３は背景側輝度分布のＮ１と入力側輝度分布のＮ１との差及び背景側輝度分布のＮ２と入力側輝度分布のＮ２との差がともに所定値以下である場合に類似を判定する。そして、画像補正手段４３は、Ｎ１≧ＴＮ１且つＮ２＜ＴＮ１の場合は０〜ＴＨ１の輝度範囲に対してヒストグラムの拡張と同様の輝度変換を行い、Ｎ１＜ＴＮ１且つＮ２≧ＴＮ１の場合はＴＨ２〜２５５の輝度範囲に対してヒストグラムの拡張と同様の輝度変換を行い、Ｎ１≧ＴＮ２且つＮ２≧ＴＮ２の場合は双峰性分布であるとして分割しきい値Ｔｄ＝（ＴＨ２−ＴＨ１）÷２により明・暗領域を分けて処理を行う。
尚、ＴＨ１は８５程度、ＴＨ２は１７０程度、ＴＮ１は総画素数の５０％以上に相当する値、ＴＮ２は総画素数の３０％以上に相当する値に設定することができる。
【０１０６】
さらに別の実施形態において、輝度分布分析手段４２は輝度の平均Ａと分散σを算出し、画像補正手段４３は背景側輝度分布のＡと入力側輝度分布のＡとの差及び背景側輝度分布のσと入力側輝度分布のσとの差がともに所定値以下である場合に類似を判定する。そして、画像補正手段４３は、Ａ≦ＴＨ１且つσ＜Ｔσ１、又はＡ≧ＴＨ２且つσ＜Ｔσ１の場合はＡ±α×σの輝度範囲に対してヒストグラムの拡張と同様の輝度変換を行い、ＴＨ１＜Ａ＜ＴＨ２且つσ≧Ｔσ２の場合は双峰性分布であるとして分割しきい値Ｔｄ＝Ａにより明・暗領域を分けて処理を行う。
【０１０７】
また、上記実施形態においては輝度分布分析手段４２が偏在の判定を行った。別の実施形態においては画像補正手段４３が類似の判定のときに偏在の判定を併せて行う。この場合、画像補正手段４３は類似と偏在が判定されたときにのみコントラスト補正処理を行う。
【符号の説明】
【０１０８】
１・・・画像監視装置
２・・・撮像部
３・・・記憶部
４・・・信号処理部
５・・・出力部
３０・・・背景画像
３１・・・対象物識別情報
４０・・・背景画像生成手段
４１・・・候補領域設定手段
４２・・・輝度分布分析手段
４３・・・画像補正手段
４４・・・エッジ抽出手段
４５・・・対象物検出手段
４６・・・異常検知手段
４３１・・・双峰性判定手段
４３２・・・明暗領域検出手段
【特許請求の範囲】
【請求項１】
監視空間が撮像された画像から対象物を検知する対象物検知装置であって、
前記監視空間を撮像する撮像部と、
予め前記対象物が存在しないときに撮像された背景画像を記憶している記憶部と、
前記撮像部から入力された入力画像を分析して入力側輝度分布を算出するとともに前記背景画像を分析して背景側輝度分布を算出する輝度分布分析手段と、
前記入力側輝度分布と前記背景側輝度分布が類似しているか否かを判定し、類似が判定された場合に前記入力画像にコントラスト補正を行って補正画像を生成する画像補正手段と、
前記補正画像が生成された場合は当該補正画像からエッジ情報を抽出し、前記補正画像が生成されなかった場合は前記入力画像からエッジ情報を抽出するエッジ抽出手段と、
前記エッジ抽出手段により抽出されたエッジ情報に基づいて前記対象物を検出する対象物検出手段と、
を備えたことを特徴とする対象物検知装置。
【請求項２】
前記対象物に応じて予め設定されたサイズの候補領域を前記入力画像内の所定位置に設定する候補領域設定手段、をさらに備え、
前記輝度分布分析手段は、前記候補領域内の前記入力画像から前記入力側輝度分布を算出し、前記候補領域内の前記背景画像から前記背景側輝度分布を算出する請求項１に記載の対象物検知装置。
【請求項３】
前記候補領域設定手段は、前記入力画像と前記背景画像との比較を行って差異が検出された位置に前記候補領域を設定する請求項２に記載の対象物検知装置。
【請求項４】
前記候補領域設定手段は、前記入力画像から楕円形状を有する人体頭部領域を検出し、前記人体頭部領域が検出された位置に前記候補領域を設定する請求項２又は３に記載の対象物検知装置。
【請求項５】
前記背景側輝度分布が高輝度域と低輝度域に偏在した双峰性分布であるか否かを判定する双峰性判定手段と、
前記双峰性分布が判定された場合に、前記背景輝度分布において前記高輝度域に分布する画素からなる明領域と、前記背景輝度分布において前記低輝度域に分布する画素からなる暗領域とを検出する明暗領域検出手段と、をさらに備え、
前記輝度分布分析手段、前記画像補正手段、及びエッジ抽出手段は、前記明領域と前記暗領域に対して個別に処理を行う請求項１乃至４に記載の対象物検知装置。
【請求項１】
監視空間が撮像された画像から対象物を検知する対象物検知装置であって、
前記監視空間を撮像する撮像部と、
予め前記対象物が存在しないときに撮像された背景画像を記憶している記憶部と、
前記撮像部から入力された入力画像を分析して入力側輝度分布を算出するとともに前記背景画像を分析して背景側輝度分布を算出する輝度分布分析手段と、
前記入力側輝度分布と前記背景側輝度分布が類似しているか否かを判定し、類似が判定された場合に前記入力画像にコントラスト補正を行って補正画像を生成する画像補正手段と、
前記補正画像が生成された場合は当該補正画像からエッジ情報を抽出し、前記補正画像が生成されなかった場合は前記入力画像からエッジ情報を抽出するエッジ抽出手段と、
前記エッジ抽出手段により抽出されたエッジ情報に基づいて前記対象物を検出する対象物検出手段と、
を備えたことを特徴とする対象物検知装置。
【請求項２】
前記対象物に応じて予め設定されたサイズの候補領域を前記入力画像内の所定位置に設定する候補領域設定手段、をさらに備え、
前記輝度分布分析手段は、前記候補領域内の前記入力画像から前記入力側輝度分布を算出し、前記候補領域内の前記背景画像から前記背景側輝度分布を算出する請求項１に記載の対象物検知装置。
【請求項３】
前記候補領域設定手段は、前記入力画像と前記背景画像との比較を行って差異が検出された位置に前記候補領域を設定する請求項２に記載の対象物検知装置。
【請求項４】
前記候補領域設定手段は、前記入力画像から楕円形状を有する人体頭部領域を検出し、前記人体頭部領域が検出された位置に前記候補領域を設定する請求項２又は３に記載の対象物検知装置。
【請求項５】
前記背景側輝度分布が高輝度域と低輝度域に偏在した双峰性分布であるか否かを判定する双峰性判定手段と、
前記双峰性分布が判定された場合に、前記背景輝度分布において前記高輝度域に分布する画素からなる明領域と、前記背景輝度分布において前記低輝度域に分布する画素からなる暗領域とを検出する明暗領域検出手段と、をさらに備え、
前記輝度分布分析手段、前記画像補正手段、及びエッジ抽出手段は、前記明領域と前記暗領域に対して個別に処理を行う請求項１乃至４に記載の対象物検知装置。
【図２】
【図３】
【図４】
【図５】
【図１】
【図６】
【図７】
【図３】
【図４】
【図５】
【図１】
【図６】
【図７】
【公開番号】特開２０１１−２８３４８（Ｐ２０１１−２８３４８Ａ）
【公開日】平成２３年２月１０日（２０１１．２．１０）
【国際特許分類】
【出願番号】特願２００９−１７０７８２（Ｐ２００９−１７０７８２）
【出願日】平成２１年７月２２日（２００９．７．２２）
【出願人】（０００１０８０８５）セコム株式会社 (596)
【Ｆターム（参考）】
【公開日】平成２３年２月１０日（２０１１．２．１０）
【国際特許分類】
【出願日】平成２１年７月２２日（２００９．７．２２）
【出願人】（０００１０８０８５）セコム株式会社 (596)
【Ｆターム（参考）】
[ Back to top ]