動画像における移動物体の検出方法、検出装置、監視方法および監視システム
【課題】画像の不安定部分の変動を誤検出することなく、移動物体のみをリアルタイムで検出できる移動物体の検出方法、検出装置、監視方法および監視システムの実現。
【解決手段】動画像における移動物体の検出装置20であって、入力画像を複数のブロックに分割して各ブロックの入力平均ピクセル値を算出する入力画像ブロック化部33と、背景画像を対応する複数のブロックに分割して各ブロックの背景平均ピクセル値を算出する背景画像ブロック化部34、各ブロックの入力平均ピクセル値および背景平均ピクセル値から、各ブロックが移動物体を含むかを判定し、移動物体を含むブロックを移動物体領域ブロックとして決定するブロック処理部30と、移動物体領域ブロック内の各ピクセルに移動物体があるかを決定するピクセル処理部41と、を備える。
【解決手段】動画像における移動物体の検出装置20であって、入力画像を複数のブロックに分割して各ブロックの入力平均ピクセル値を算出する入力画像ブロック化部33と、背景画像を対応する複数のブロックに分割して各ブロックの背景平均ピクセル値を算出する背景画像ブロック化部34、各ブロックの入力平均ピクセル値および背景平均ピクセル値から、各ブロックが移動物体を含むかを判定し、移動物体を含むブロックを移動物体領域ブロックとして決定するブロック処理部30と、移動物体領域ブロック内の各ピクセルに移動物体があるかを決定するピクセル処理部41と、を備える。
【発明の詳細な説明】
【技術分野】
【０００１】
本発明は、画像処理方法、画像処理装置、監視方法および監視システムに関し、特に動画像における移動物体の検出方法、検出装置、およびそれを利用した監視領域内への物体の侵入を監視する監視方法および監視システムに関する。
【背景技術】
【０００２】
近年、治安の悪化や凶悪犯罪の増加に伴い、セキュリティや防犯のための監視システムの需要が高まっている。現在、一般的に用いられている監視システムは人による監視が不可欠であり、人が絶えず監視し続けなければならないという労力を伴うものがほとんどである。また、赤外線センサによる侵入検知システムも存在するが、多くのものは人間以外の小動物、草木の動きなどにも反応し、誤検出してしまう欠点がある。また、侵入を検知したとしても、その後の侵入者の位置を検出することができず、使用者の要求に十分答えているとはいえない。そのため、侵入者の位置をリアルタイムで把握できる監視システムが望まれている。
【０００３】
このような問題を解決するため、動画像処理を用いた移動物体検出技術の開発が進められている。動画像から移動物体の検出や追跡を行う際に用いられる方法の主なものとして、フレーム間差分法、オプティカルフロー法、背景差分法などが挙げられる。フレーム間差分法は、近接時刻の２フレームの差分を算出し、その絶対値が大きい画素（ピクセル）群を移動物体として検出する方法である。この方法は非常に簡潔であり、そのためのハードウエアの実装も容易な方法であるが、移動物体の移動速度によっては移動物体の輪郭部分のみしか検出できなかったり、移動していた物体が静止した場合には検出不可能になる。オプティカルフロー法は、フレーム中の各ピクセルがどのような速度ベクトルをもって運動しているかを調べる方法である。一般的に画面の全ピクセルにおいて運動ベクトルを求めるには膨大な計算量を必要とする。そのため、リアルタイムで処理を行うには、専用のハードウエアを用いる必要があるなど高価なハードウエアを用いる必要がある。また、オプティカルフロー法も、移動物体の動きが静止した場合や移動速度が速い場合には、検出が不可能になってしまう欠点がある。背景差分法は、現在撮影している画像と、あらかじめ用意した移動物体の含まれない背景画像とを比較し、差分をとることで、移動物体のみを検出する方法である。背景差分法には、背景が静止しており、恒常的に普遍でなければならないという制約が存在するが、現実世界、特に屋外の監視対象画像では背景の変化は頻繁に発生するものであり、このような制約があると適用できる範囲が大幅に制限されるという問題がある。例えば、木や枝の揺れや水面の波紋に起因する変化や、天候に起因する照明条件の変化などがあると、誤検出を発生する。
【０００４】
このような問題を解決するため、背景差分法における各種の改良方法が提案されている。
【０００５】
特許文献１は、背景画像と入力画像の違い具合を算出して、違い具合が所定の閾値未満である場合のみ、背景画像を更新する方法を記載している。しかし、この方法では、木や枝の揺れや水面の波紋に起因する変化を誤検出するという問題や、ゆっくり動く移動物体や静止する移動物体を背景画像に取り込んでしまい検出できないという問題がある。
【０００６】
非特許文献１は、参照フレームの近傍の数フレームから各ピクセルの輝度の変化率を算出し、変化率の大きな部分では背景画像を更新せず、それ以外の部分では背景画像を入力画像に更新する方法を記載している。これにより、静止する移動物体がある場合および照明の変化がある場合でも、背景画像を更新しながら移動物体を検出できる。しかし、この方法は、屋外における日光の変化には対応可能であるが、木や枝の揺れや水面の波紋に起因する変化を誤検出するという問題がある。
【０００７】
非特許文献２は、各ピクセルの色成分の時系列変化が複数の正規分布を合わせた混合正規分布になると仮定し、確率分布を用いてモデル化し、移動物体に相当する分布を検出する方法を記載している。この方法は、木や枝の揺れや水面の波紋に起因する輝度変化に対応可能であるが、この方法は、各ピクセルにおいて多数のパラメータを保持しなければならず、大きなメモリ容量を必要とし、計算量も非常に大きくなり、リアルタイムで処理を実行するためには演算能力の高いプロセッサを使用することが必要である。
【０００８】
他にも、カーネル密度推定を用いて輝度値の発生確率を推定し、移動物体か否かを判定する方法などが提案されているが、大きなメモリ容量を必要とするという問題がある。また、変換に対して不変な特徴を利用する背景差分法もあるが、使用できる条件が限定されるという問題がある。
【０００９】
【特許文献１】特開２００４−３４８７３２
【非特許文献１】島田竜也，河口尚広，加賀健太，山田博三，森晃徳，”屋内侵入者検知のための動的背景抽出法”，電子情報通信学会論文誌，Ｄ−IIVol. J88-D-IINo.10 pp. 2054-2068,2005
【非特許文献２】C.Stauffer and W.E.L.Grimson, "Adaptive background mixture models for real-time tracking", Proc. IEEE ICCV '99, Vol. 22, pp. 246-253, 1999
【発明の開示】
【発明が解決しようとする課題】
【００１０】
上記のように、従来の動画像における移動物体検出技術の多くは、木や枝の揺れや水面の波紋に起因する変化を誤検出してしまうという問題があった。非特許文献２に記載された方法は、木や枝の揺れや水面の波紋に起因する変化を誤検出するという問題を低減できるが、大きなメモリ容量および演算能力の高いプロセッサを有するハードウエアを必要とし、高コストであるという問題がある。
【００１１】
本発明は、高価なハードウエアを必要とせずに、動画像において水面の波紋や木々の揺らぎを誤検出することなく、また日照条件の変化などに影響されることなく、人間や車などの移動物体のみをリアルタイムで検出できる移動物体の検出方法、検出装置、監視方法および監視システムの実現を目的とする。
【課題を解決するための手段】
【００１２】
上記目的を実現するため、本発明は、入力される画像と、あらかじめ保存しておいた背景画像と、を複数のブロックに分割し、ブロック単位で移動物体を含む移動物体領域ブロックであるかを判定し、移動物体領域ブロックについてのみピクセル単位で移動物体検出処理を施すことを特徴とする。
【００１３】
すなわち、本発明の動画像における移動物体の検出方法は、入力画像を複数のブロックに分割して各ブロックの入力平均ピクセル値を算出し、あらかじめ記憶してある背景画像を前記入力画像のブロックと対応する複数のブロックに分割して各ブロックの背景平均ピクセル値を算出し、各ブロックの前記入力平均ピクセル値および前記背景平均ピクセル値から、各ブロックが前記移動物体を含むかを判定し、前記移動物体を含むブロックを移動物体領域ブロックとして決定し、前記移動物体領域ブロック内の各ピクセルに前記移動物体があるかを決定する、ことを特徴とする。
【００１４】
また、本発明の動画像における移動物体の検出装置は、入力画像を複数のブロックに分割して各ブロックの入力平均ピクセル値を算出する入力画像ブロック化部と、あらかじめ記憶してある背景画像を前記入力画像のブロックと対応する複数のブロックに分割して各ブロックの背景平均ピクセル値を算出する背景画像ブロック化部、各ブロックの前記入力平均ピクセル値および前記背景平均ピクセル値から、各ブロックが前記移動物体を含むかを判定し、前記移動物体を含むブロックを移動物体領域ブロックとして決定するブロック処理部と、前記移動物体領域ブロック内の各ピクセルに前記移動物体があるかを決定するピクセル処理部と、を備えることを特徴とする。
【００１５】
水面の波紋や木々の揺らぎに起因する変化は微視的であり、隣接するピクセル間にピクセル値の差を生じさせる形で生じる。そのため、画像を複数のブロックに分割し、ブロック内でピクセル値を平均すると、各ブロックにおいて水面の波紋や木々の揺らぎに起因する変化が平均化され、ブロック単位ではピクセル値の変化が小さくなり、これらの変化を検出しにくくなる。一方、移動物体に起因する変化は、ブロックの平均ピクセル値を変化させるので、ブロックの平均ピクセル値の変化から移動物体がブロック内に存在すかを判定可能である。画像内で移動物体が存在するのは一部であり、ブロックごとに移動物体が存在する移動物体領域ブロックを検出した後、移動物体領域ブロックについてのみ、さらにピクセル単位で移動物体の検出処理を行うので、移動物体を正確に検出可能である。
なお、ピクセル値とは、各ピクセルの画像特性値であり、例えば、輝度値、カラー値（Ｒ、Ｇ、Ｂの値）である。
【００１６】
本発明によれば、画像全体をブロック単位で移動物体がある部分を大まかに検出した後、移動物体のある小部分のみを精密に調べるという具合に、移動物体を階層的に探索するので、画像全体を精密に調べるのに比べて効率のよい探索が可能であり、演算量を大幅に低減できる。これにより、小さなメモリ容量および演算能力の低いプロセッサで構成されるハードウエアでも、移動物体を精密に検出することができる。また、移動物体検出のための演算量が低減できるので、移動物体検出を複数の異なる処理方法で行うことも可能になり、検出特性の異なる処理方法の検出結果を統合することで、検出精度を向上することが可能になる。
【００１７】
移動物体領域ブロックの決定後、移動物体領域ブロックでないと判定されたブロックについて、入力画像に応じて背景画像を更新することが望ましい。これにより、背景画像を常に移動物体のない最新の状態にすることができ、日照の変化などによる照明条件の変化にも対応可能になる。
【００１８】
移動物体領域ブロックの決定を複数の異なる処理方法の検出結果を統合して行う場合、複数の異なる処理方法は、少なくとも３つの処理方法を有し、少なくとも３つの処理方法のうち２つ以上の処理方法により移動物体を含むと判定されたブロックを移動物体領域ブロックとして決定し、決定した移動物体領域ブロックの周囲８ブロックについては、少なくとも３つの処理方法のうち１つ以上の処理方法により移動物体を含むと判定されたブロックを移動物体領域ブロックとして決定する。移動物体は隣接するブロックに存在すると考えられるので、これにより、移動物体の存在するブロックを正確に漏れなく検出できる。
【００１９】
複数の異なる処理方法は、ブロックを順にスキャンして、入力平均ピクセル値と背景平均ピクセル値の差分が、周辺のブロックの差分より大きなブロックを探索し、探索した差分の大きなブロックの近辺の大きな差分のブロックを移動物体領域ブロックとして決定する処理方法、各ブロックの入力平均ピクセル値が、各ブロックの平均ピクセル値の時系列変化が有すると仮定した複数の正規分布のうち出現頻度の高い分布と一致した場合に背景とし、それ以外の場合を移動物体領域ブロックとして決定する処理方法、各ブロックの入力平均ピクセル値が、各ブロックの背景平均ピクセル値の時系列の加重平均と分散により決定された閾値より大きい場合に、移動物体領域ブロックとして決定し、閾値より小さい場合にはさらに入力平均ピクセル値と直前の複数フレームのピクセル値より算出した平均ピクセル値変化の傾きを算出し、過去の平均ピクセル値変化が変化閾値より大きい場合に移動物体領域ブロックとして決定する処理方法など、検出特性の異なる処理方法を組み合わせることが望ましい。このほかにも、ブロック単位でのオプティカルフロー法、隣接するブロック同士の相関関係などを調べてその結果から領域を検出するカーネル密度推定を用いた処理方法など、各種の処理方法を組み合わせることが考えられる。
【００２０】
移動物体領域ブロック内の各ピクセルに移動物体が存在するかの決定は、各ピクセルの入力画像と背景画像の差分が閾値より大きい場合に移動物体と判定する背景差分法と、移動物体領域ブロックにおけるピクセルの入力画像のヒストグラムから背景画像のヒストグラムの成分を減じたヒストグラム差分が閾値より大きい場合に移動物体と判定するヒストグラム差分法と、を行い、背景差分法とヒストグラム差分法の両方で移動物体と判定されたピクセルを移動物体として決定するという具合に、特性の異なる検出方法を組み合わせて行い、その検出結果を統合して移動物体を決定することが望ましい。これにより、ピクセル処理における誤検出や検出漏れを低減できる。
【００２１】
監視対象を撮影して動画像信号を生成し、動画像信号を処理して画像内の移動物体を検出する監視方法および監視装置に、本発明の検出方法および検出装置を使用すれば、低コストで検出精度を向上することが可能である。
【発明の効果】
【００２２】
本発明を適用することにより、木々の揺れや水面の波紋を背景に持つ場合にも、それらを移動物体として誤検出することなく、人間などの移動物体を正確に検出できる。
【００２３】
画像サイズが３５２×２４０ピクセルの時、非特許文献２に記載された混合正規分布を用いて移動物体を検出する方法を用いると、最低でも約８５０ＫＢのメモリ領域が必要であるが、本発明によれば約２７０ＫＢのメモリ領域で実行可能である。
【００２４】
また、演算量も低減できるので、上記の非特許文献２に記載された混合正規分布を用いて移動物体を検出する方法を、１チップのＤＳＰを使用してリアルタイムで行うのは困難であったが、本発明によれば同程度の１チップのＤＳＰを使用してリアルタイムで行うことが可能である。
【００２５】
更に、複数の検出方法を行いその結果を統合することにより、ある監視対象画像についての実測結果では、１秒間３０フレームの時の１フレーム当たりの誤検出回数は約０，０２６回となり、１つの検出方法による場合に比べて誤検出回数を１／５に低減できた。
【発明を実施するための最良の形態】
【００２６】
以下、本発明の実施形態を図面を参照して説明する。なお、ここに記載するのは説明のための例示であり、本発明はこれに限定されるものではない。
また、画像特性値としては、各ピクセルの輝度、カラー値（Ｒ値、Ｇ値、Ｂ値）などが使用でき、複数の値の結果を組み合せることも可能であるが、ここでは輝度を例として説明する。もちろん、本発明はこれに限定されるものではない。
【００２７】
図１は、本発明の実施形態の監視システムのハードウエア構成を示すブロック図である。図１に示すように、実施形態の監視システムは、木々や水面を背景にもつ監視対象の動画像を撮影する固定のビデオカメラ１１と、ビデオカメラ１１の出力する画像信号をデジタル画像信号に変換するＡ／Ｄ変換器１２と、Ａ／Ｄ変換器１２から入力される動画像における移動物体の存在を検出する検出装置を構成する画像処理装置２０と、画像処理装置２０の処理結果や画像データを記憶するディスク装置２８と、画像処理装置２０の処理結果や画像を表示するディスプレイ２９と、を有する。画像処理装置２０は、コンピュータで実現される。他に画像処理装置２０を制御するためのキーボードやマウスなどの入力手段も設けられるが、図示は省略している。
【００２８】
画像処理装置２０は、ＣＰＵ２１と、ＤＳＰ２２と、Ａ／Ｄ変換器１２からのデジタル画像信号を受けるＩ／Ｏポート２３と、ＲＡＭ２４と、ＲＯＭ２５と、ディスク装置２８とのデータの入出力を行う外部記憶インターフェース２６と、ディスプレイ２９への表示データの出力を行うビデオインターフェース２７と、これらの要素を接続するバスと、を有する。これらの構成は、画像処理を行うコンピュータの構成として広く知られているので、説明は省略する。
【００２９】
図２は、実施形態の画像処理装置２０の機能ブロック図である。図示のように、実施形態の画像処理装置２０は、入力画像保持部３１と、背景画像保持部３２と、入力画像ブロック化部３３と、背景画像ブロック化部３４と、第１ブロック処理部３５と、第２ブロック処理部３６と、第３ブロック処理部３７と、統合処理部３８と、背景画像更新部４０と、ピクセル処理部４１と、を有する。第１ブロック処理部３５、第２ブロック処理部３６、第３ブロック処理部３７および統合処理部３８は、ブロック処理部３０を構成する。
【００３０】
図３は、実施形態の画像処理装置２０における処理シーケンスを示すフローチャートである。ステップ１０１では、入力画像ブロック化部３３が入力画像保持部３１に保持された入力画像を複数のブロックに分割する。ステップ１０２では、背景画像ブロック化部３４が背景画像保持部３２に保持された背景画像を複数のブロックに分割する。ステップ１０３では、第１ブロック処理部３５が第１の処理方法に従って移動物体が含まれる移動物体領域ブロックを決定する第１ブロック処理を行う。ステップ１０４では、第２ブロック処理部３６が第２の処理方法に従って移動物体が含まれる移動物体領域ブロックを決定する第２ブロック処理を行う。ステップ１０５では、第３ブロック処理部３７が第３の処理方法に従って移動物体が含まれる移動物体領域ブロックを決定する第３ブロック処理を行う。ステップ１０３乃至１０５は、順次行っても並列に行ってもよい。ステップ１０６では、ステップ１０３乃至１０５で行われた第１乃至第３ブロック処理の結果を統合して、移動物体領域ブロックを決定する。ステップ１０１乃至１０６がブロック処理である。ステップ１０７では、背景画像更新部４０が、決定された移動物体領域ブロック以外のブロックについて入力画像に応じた背景の更新処理を行う。ステップ１０８では、ピクセル処理部４１が、決定された移動物体領域ブロック内についてのみピクセル単位で移動物体の検出処理を行う。ステップ１０９では、検出した移動物体のピクセルに基づいて移動物体の形状検出や、検出した移動物体に応じて画像データの圧縮およびディスク装置２８への記憶処理や、ディスプレイ２９への表示処理などの後処理を行う。後処理は、従来の処理の組み合わせであり、ここではこれ以上の説明を省略する。
【００３１】
以下、ブロック処理、背景更新処理およびピクセル処理について詳細に説明する。
【００３２】
図４は、入力画像および背景画像のブロック分割を説明する図である。入力画像および背景画像５０は、同じ複数のブロック５１に分割される。ブロック５１は、正方形または長方形であるが、ここでは正方形に分割するものとして説明する。例えば、画像５０のサイズを３５２×２４０ピクセルとし、８×８ピクセルを１ブロックとすると、４４×３０ブロックとなり、ブロックの総数は１３２０個となる。
【００３３】
画像のブロック化処理では、入力画像および背景画像の各ブロックの平均輝度値が算出される。各ブロック５１をＮ×Ｎピクセルの集合として定義し、そのブロックのパラメータをＹN（Ｘ，Ｙ）とし、その輝度をピクセルの輝度値ｙ（ｉ，ｊ）を用いて式１で表す。
【００３４】
【数１】
【００３５】
ここで、Ｘ，Ｙは画像をブロックに分割した際のブロックの座標であり、ｉ，ｊはブロック内のピクセルの座標を示す。なお、以下の記載において、座標（Ｘ，Ｙ）を省略する場合がある。このパラメータをブロック輝度と称する。上記のように、このブロック輝度は、ブロック内のピクセルの輝度の平均値である。
【００３６】
次に、ブロック処理による利点を説明する。
【００３７】
図５は、水面の揺らぎを含む不安定シーンと、揺らぎの無い安定したシーンと、を有する背景画像を撮影している状態で、人間が約一分間撮影範囲内を移動した場合の、水面を含む不安定シーン内のブロック輝度の変化を示し、図６は、安定シーン内のブロック輝度の変化を示す。図５の（Ａ）は、Ｎ＝１、すなわち１個のピクセルにおける輝度変化を示し、（Ｂ）は、Ｎ＝４、すなわち１６個のピクセルの平均輝度の変化を示し、（Ｃ）は、Ｎ＝８、すなわち６４個のピクセルの平均輝度の変化を示す。また、図６の（Ａ）は、Ｎ＝１、すなわち１個のピクセルにおける輝度変化を示し、（Ｂ）は、Ｎ＝８、すなわち６４個のピクセルの平均輝度の変化を示す。
【００３８】
図５の（Ａ）に示すように、水面を含む不安定シーン内においては、Ｎ＝１の場合には水面の揺らぎの影響で輝度が大きく変化していることが分かる。Ｎを大きくすると、すなわち、ブロックサイズを大きくするに従って、短時間での輝度変化が抑制され、図５の（Ｃ）に示すように、Ｎ＝８の時には破線の楕円で囲んだ部分のみに顕著な輝度変化が確認できる。この輝度変化は、水面の輝度変化によるものではなく、移動物体がブロックを通過したことに起因する輝度変化である。このように、ブロック化することにより、水面の揺らぎに起因する輝度変化がある場合でも移動物体の検出が可能になる。
【００３９】
一方、図６の（Ａ）および（Ｂ）に示すように、安定シーン内においては、ピクセル単位およびＮ＝８のブロック単位であっても十分に移動物体を検出することが可能であると考えられる。
【００４０】
従って、Ｎ＝８のブロック単位で、ブロック内に移動物体が存在するかを判定すれば、水面の揺らぎの影響を除去して、安定シーンおよび不安定シーンの両方で、ブロック内に移動物体が存在するかを正確に検出することができる。
【００４１】
次に第１のブロック処理について説明する。第１のブロック処理では、入力平均輝度と背景平均輝度の差分が、周辺のブロックの差分より大きなブロックを探索し、探索した差分の大きなブロックの近辺の大きな差分のブロックを移動物体領域ブロックとして決定する。この処理方法を、ここではブロック差分法と称する。
【００４２】
入力画像のブロックのブロック輝度をＹN（Ｘ，Ｙ）、背景画像のブロックのブロック輝度をＹN-back（Ｘ，Ｙ）とする。入力画像と背景画像のブロック差分ＤN（Ｘ，Ｙ）は次の式２で表される。
【００４３】
【数２】
【００４４】
一部に水面を有する背景画像があり、そこに人間が現れた入力画像が入力され、水面は画像の上側にあり、人間は画像の中央の若干上側に現れたとする。図７は、この場合のブロック差分を、図４に矢印で示す順にグラフにしたものである。図７に示すように、画面の上側に相当する左側（０から３００ブロック）に細かい変動が生じ、２５０ブロックから６００ブロックに周期的に大きなパルスが出現する。０から３００ブロックに出現する細かい変動は水面の揺らぎに起因し、２５０ブロックから６００ブロックの周期的な大きなパルスは人間、すなわち移動物体に起因する。
【００４５】
ここで、通常の背景差分法と同様に、一般的な閾値（例えば閾値Ｔ＝３０）処理を施すと、移動物体の存在するブロックと共に、水面の揺らぎがあるブロックを、移動物体領域ブロックとして検出することになり、大量の移動物体領域ブロックの誤検出が発生する。水面の揺らぎに起因する変化を検出しないように閾値を上げてしまうと（例えばＴ＝６０）、逆に移動物体の存在するブロックを検出しない欠損を生じる。
【００４６】
第１ブロック処理では、移動物体がブロックサイズよりも大きい場合、ブロック化することにより、図７に示すように、ブロック差分のピークが顕著にほぼ等間隔で現れることを利用して、移動物体領域ブロックであるかを検出する。もし移動物体が画像上に存在するならば、移動物体領域ブロックは、図８に示すように隣接したブロックのグループとして現れる。図８において、参照番号５３は移動物体（人間）を示し、斜線のブロック５２が移動物体領域ブロックである。図８において、太線で示されたブロック５４を起点として右側および下側の隣接ブロックに移動物体５３が現れる。これが図７の周期的なピークを生じので、このピークを有するブロックを集めれば移動物体領域ブロックを検出できる。
【００４７】
そこで、まず図８における移動物体領域ブロックのうち、太線で示されたブロック５４を検出することを考える。ブロック差分を図４に示す順に走査する。走査しているブロックを、図９のようにａ5で示す。ａ1乃至ａ4は背景部分であり、そのブロック差分ＤNの値を二つの集合Ｇ1，Ｇ2に分けられると仮定し、着目ブロックａ5が移動物体領域ブロックであるかないかを判定する。図１０は、その判定のための手順を説明する図であり、そこではａ1乃至ａ5はそのブロックのブロック差分を表すものとする。
【００４８】
（１）ａ1乃至ａ4を昇順に並び替え、それらをａ1≦ａ2≦ａ3≦ａ4と置き直す。
【００４９】
（２）図１０の（Ａ）から（Ｃ）に示すように、ａ2−ａ1，ａ3−ａ2，ａ4−ａ3を比較し、最大の区間でａ1乃至ａ4をＧ1，Ｇ2に分割する。図１０の（Ａ）では、ａ1とａ2，ａ3，ａ4とに分割され、図１０の（Ｂ）では、ａ1，ａ2とａ3，ａ4とに分割され、図１０の（Ｃ）では、ａ1，ａ2，ａ3とａ4とに分割される。
【００５０】
（３）２つ以上のブロック差分が含まれるグループでは、グループ内の最大値ｍａｘと最小値ｍｉｎの差を閾値ｒとし、１つのブロック差分が含まれるグループでは、閾値ｒを所定の値Ｔとする。
【００５１】
（４）各グループについて、グループ内のブロック差分の平均値と着目ブロックａ5の差の絶対値が閾値ｒより大きい時に、着目ブロックａ5を移動物体領域ブロックとする。
【００５２】
（５）移動物体領域ブロックと判定されたブロックの右側のブロックが移動物体領域ブロックであるかを判定する。具体的には、前側の移動物体領域ブロックとのブロック差分の差が、後に続くブロックとのブロック差分の差より大きい場合には移動物体領域ブロックと判定し、そうでなければ移動物体領域ブロックでないと判定する。右側に続くブロックについてこれを繰り返す。
【００５３】
（６）移動物体領域ブロックと判定されたブロックの下側に隣接するブロックについて、（５）と同様に、移動物体領域ブロックであるかを判定する。具体的には、次の行のブロックのうち移動物体領域ブロックと判定されたブロックの２つ前から２つ後のブロックについて、ブロック差分の差が、下側に続くブロックとのブロック差分の差より大きい場合には移動物体領域ブロックと判定し、そうでなければ移動物体領域ブロックでないと判定し、これを繰り返す。
【００５４】
以下、走査に従って着目ブロックを変えながら（１）から（６）を繰り返し行い、画像全体で移動物体領域ブロックを決定する。
【００５５】
以上の判定方法は一例であり、図８に示すような移動物体が入ったブロックのグループが検出できれば、どのような判定方法を使用してもよい。
【００５６】
図１１は、上記の処理原理に基づいて移動物体領域ブロックを決定する第１ブロック処理における処理手順を示すフローチャートである。
【００５７】
ステップ２０１では、残りのブロックがあるか判定し、なければ終了し、あればステップ２０２に進む。
【００５８】
ステップ２０２では、着目ブロックのブロック差分を読み出す。
【００５９】
ステップ２０３では、上側と前側のブロック（図９のａ1乃至ａ4）のブロック差分と比較する。
【００６０】
ステップ２０４では、着目ブロックが移動物体領域ブロックであるかを判定し、移動物体領域ブロックでなければステップ２０１に戻り、移動物体領域ブロックであればステップ２０５に進む。
【００６１】
ステップ２０５では、そのブロックを移動物体領域ブロックとして登録する。
【００６２】
ステップ２０６では、新たに登録された移動物体領域ブロックの走査の後側に隣接するブロックのブロック差分を読み出す。
【００６３】
ステップ２０７では、上記の判定方法で、隣接するブロックが移動物体領域ブロックであるかを判定し、移動物体領域ブロックでなければステップ２０９に進み、移動物体領域ブロックであればステップ２０８に進む。
【００６４】
ステップ２０８では、そのブロックを移動物体領域ブロックとして登録する。
【００６５】
ステップ２０９では、隣接するブロックが残っているかを判定し、残っていればステップ２０６に戻り、残っていなければステップ２０１に戻る。
【００６６】
上記の第１のブロック処理では、２つのブロックの中間に移動物体が存在する場合、物体を検出できない場合があることが知られている。そこで、上記の第１のブロック処理を行った後、図１２に示すように、２方向でブロックサイズの１／２だけずらしてブロックに分割し、これらのブロックについて上記と同様に第１のブロック処理を行い、その結果を合わせて、具体的にはそれぞれの処理で登録された移動物体領域ブロックの和を移動物体領域ブロックとしてもよい。
【００６７】
次に、第２のブロック処理について説明する。第２のブロック処理は、非特許文献２に記載された処理方法を利用して、移動物体領域ブロックを検出する。この処理方法は非特許文献２に記載されているので詳しい説明は省略するが、各ピクセルの時系列の色成分変化は、図１３に示すようないくつかの正規分布成分からなる混合正規分布に従っていると仮定し、新しく入力された画像のそのピクセルの輝度がどの分布に近いかを調べるために、それぞれの分布においてマハラノビス距離を求める。いずれの分布においてもその距離がある閾値を超えている場合、新しいピクセル輝度は移動物体のピクセルであると判定する。さらに、距離が閾値以内で、かつもっとも距離が小さくなる分布においてその分布の平均値と分散を新しい輝度値を用いて更新し、その分布の重みを増加させることでそのピクセルにおける混合正規分布を更新していく。
【００６８】
第２のブロック処理では、上記のピクセルレベルの処理方法をブロックレベルに適用する。ブロック処理の目的はあくまで移動物体領域ブロックを検出することであり、厳密な検出である必要はなく、次元を増加させると演算量や必要なメモリ容量の増加につながるため、ここではブロック輝度のみを用いる。
【００６９】
各ブロックは、Ｋ個の正規分布よりなる混合分布を有し、各ブロックにおけるそれぞれの分布が平均値μk、分散σ2k（１≦ｋ≦Ｋ）を持つとする。あるブロック（Ｉ，Ｊ）におけるブロック輝度ＹNについて、式３に従ってマハラノビス距離Ｍａｈを算出する。
【００７０】
【数３】
【００７１】
Ｍａｈが所定の閾値Ｔｈ以下で、かつＭａｈが最小となる分布ｋmにマッチするものとする。
【００７２】
各分布は重みｗmを持ち、ブロック輝度ＹNが重みの大きい分布にマッチした時には、ブロック輝度ＹNは背景部分に属すると考える。ここでは、重みをこれまでに各分布にマッチした総要素数で表すことにする。マッチした分布の重みｗkmの全体に占める重みの割合が閾値Ｔwより小さい時、ＹNは移動物体領域ブロックであると判定する。この関係は、式４で表される。
【００７３】
【数４】
【００７４】
ブロック輝度ＹNがいずれの分布にもマッチしなかった場合にも移動物体領域ブロックとする。
【００７５】
図１４は、上記の処理原理に基づいて移動物体領域ブロックを決定する第２ブロック処理における処理手順を示すフローチャートである。
【００７６】
ステップ３０１では、残りのブロックがあるか判定し、なければ終了し、あればステップ３０２に進む。
【００７７】
ステップ３０２では、着目ブロックのブロック輝度を読み出す。
【００７８】
ステップ３０３では、各分布との近接度（マハラノビス距離）Ｍａｈを算出する。
【００７９】
ステップ３０４では、マッチする分布があるかを判定し、あればステップ３０５に進み、無ければステップ３０７に進む。
【００８０】
ステップ３０５では、マッチする分布を更新する。
【００８１】
ステップ３０６では、移動物体領域ブロックであるかを判定し、移動物体領域ブロックであればステップ３０７に進み、移動物体領域ブロックでなければステップ３０１に戻る。
【００８２】
ステップ３０７では、そのブロックを移動物体領域ブロックとして登録した後、ステップ３０１に戻る。
【００８３】
次に、第３のブロック処理について説明する。第３のブロック処理は、入力画像から背景モデルを作成し、入力画像と背景画像の加重平均を用いて背景画像を更新し、モデルに応じてブロック差分が移動物体領域ブロックであるかを判定する閾値を設定する。
【００８４】
時刻ｔにおける入力ブロックをＹN（ｔ）とし、背景ブロックをＢN（ｔ）とする。分散が小さい時、その背景ブロックの輝度変化は小さく、安定である。逆に分散が大きい時、その背景ブロックの輝度変化は大きく、頻繁に変化が生じており、不安定である。このようなブロックに関しては誤検出が生じやすい。
【００８５】
第３のブロック処理では、入力ブロックと背景ブロックの差分をとって移動物体領域ブロックを検出する時、分散の大きさに応じてブロックごとに閾値を決定することで、より適切な判定を可能にする。具体的には背景が安定したブロックでは、厳しい閾値を設定することでより精度の高い検出が可能になり、不安定なブロックでは、緩い閾値を設定することで誤検出の頻度を低減できる。
【００８６】
上記の加重平均および分散を用いた第３のブロック処理のみで移動物体領域ブロックを検出する場合、分散が大きいと、閾値が大きくなり、そのブロックに移動物体が存在する場合でも検出されない恐れがある。これを防止するための自己回帰モデルを用いる変形例を説明する。
【００８７】
あるブロックにおいて、ブロック輝度を観測した時、移動物体が存在しない場合、近隣時刻のブロック輝度には相関があるが、そのブロックに移動物体が入った時、その瞬間のブロック輝度の変化はそれまでのブロック輝度の変化とは無相関に近いと考えられる。従って、このブロック輝度の変化を推定すれば、推定値と実測値の差から移動物体がそのブロックに侵入した瞬間を検出できると考えられる。このブロック輝度の変化を自己回帰モデルにより推定する。
【００８８】
ここで、ブロック輝度の変化について考えると、ブロック輝度自体を自己回帰モデルにより推定できることが理想である。しかしながら、推定の精度は自己回帰モデルの次数などにもよるが、使用するシステムの画像入力のフレームレートにも左右される。従って、フレームレートの影響を抑制するために、ここではブロック輝度の変化に関係する変数として、現在のブロック輝度と２フレーム前のブロック輝度の傾きに着目する。すなわち、ＹN（Ｉ，Ｊ，ｔ）をブロック（Ｉ，Ｊ）における時刻ｔのブロック輝度とすると、傾きの実測値ｄ（Ｉ，Ｊ，ｔ）は、次の式５で表される。
【００８９】
【数５】
【００９０】
以下、ブロックの座標であるＩ，Ｊは省略する。
【００９１】
ここで、傾きの推定値ｄ’（ｔ）の自己回帰モデルを、次の式６で表すこととする。
【００９２】
【数６】
【００９３】
ａiは自己回帰係数を表し、ｍは自己回帰モデルの次数を表す。また、残差をε（ｔ）とすると、実測値と推定値の平均二乗誤差は、次の式７で表すことができる。
【００９４】
【数７】
【００９５】
式１５を最小にするような自己回帰係数を求めるために、Yule-Walkerの方程式を解く。Yule-Walkerの方程式は、次の式８で表される。ただし、ベクトルａは（ａ1，・・・，ａm）Tであり、ベクトルＲおよびｒはそれぞれ自己相関関数を要素とする行列およびベクトルである。
【００９６】
【数８】
【００９７】
ここで、Yule-Walkerの方程式を解く場合の演算では除算などが多いため、小数点演算が必要である。固定小数点型ＤＳＰにおいて、浮動小数点のデータ型を用いて小数点を含んだ演算を行うと、演算量が急激に増加し、演算時間が長くなるという問題を生じる。そこで、ここでは、Ｑフォーマットを用いて小数点演算を固定小数点のデータ型のみを用いて実行できるようにした。
【００９８】
傾きの実測値と推定値との残差が所定の範囲から外れた値である時、そのブロックは移動物体領域ブロックであると考えることができる。ここで、残差の時系列の平均分散を利用して、外れた値を検出するための閾値を決定する。残差の平均は式９で、分散は式１０で表される。
【００９９】
【数９】
【０１００】
【数１０】
【０１０１】
ただし、０＜αe＜１、０＜βe＜１である。ここで求めた分散を利用して、次の式１１を満たす時、ｄ（ｔ）を外れた値とし、移動物体領域ブロックであると判定する。
【０１０２】
【数１１】
【０１０３】
ただし、ｃは定数である。
【０１０４】
図１５は、上記の処理原理に基づいて移動物体領域ブロックを決定する第３ブロック処理における処理手順を示すフローチャートである。
【０１０５】
ステップ４０１では、残りのブロックがあるか判定し、なければ終了し、あればステップ４０２に進む。
【０１０６】
ステップ４０２では、着目ブロックのデータ、すなわち入力ブロック輝度、背景ブロック輝度、背景ブロック輝度の平均値、分散を読み出す。
【０１０７】
ステップ４０３では、差分を算出する。
【０１０８】
ステップ４０４では、着目ブロックに適した閾値を設定して、上記の処理により着目ブロックが移動物体領域ブロックであるかを判定し、移動物体領域ブロックであればステップ４０５に進み、移動物体領域ブロックでなければステップ４０１に戻る。
【０１０９】
ステップ４０５では、着目ブロックを移動物体領域ブロックとして登録し、ステップ４０１に戻る。
【０１１０】
次に、以上の第１から第３のブロック処理により検出された移動物体領域ブロックの判定結果を統合する、図３のステップ１０６の統合処理について説明する。統合処理は、以下の手順で行われる。
【０１１１】
（１）第１から第３のブロック処理による処理結果で、２つ以上のブロック処理により移動物体領域ブロックと判定されたブロックを、最終的な移動物体領域ブロックとする。
【０１１２】
（２）最終的な移動物体領域ブロックとされたブロックの周囲の８ブロックについて、１つ以上のブロック処理により移動物体領域ブロックと判定されたブロックも、最終的な移動物体領域ブロックとする。
【０１１３】
（３）図１６に示すように、最終的な移動物体領域ブロック５２と判定されたブロックについて輪郭線追跡を行い、輪郭ブロックで囲まれるすべてのブロックを最終的な移動物体領域ブロック５２とする。
【０１１４】
この場合、図１６に示すように、最終的な移動物体領域ブロック５２と判定されたブロックをすべて含む長方形のブロック領域を、最終的な移動物体領域ブロック５２としてもよい。
【０１１５】
図３に示すように、統合処理１０６の後に、移動物体領域ブロックでないと判定されたブロック内のピクセルについて背景画像を更新する背景更新処理ステップ１０７が行われる。更新処理は、第１乃至第３ブロック処理に応じた処理で構成される。
【０１１６】
第１のブロック処理に対応する更新処理では、統合処理１０６において移動物体領域ブロックでないと判定されたブロック内のピクセルについて背景画像を更新する。これにより、屋外の撮影対象において、日照の変化などにも追従することが可能になる。
【０１１７】
第２のブロック処理に対応する更新処理では、統合処理１０６において移動物体領域ブロックでないと判定されたブロックにおいて、マッチした分布を更新する。すなわち、Ｍａｈが所定の閾値Ｔｈ以下で、かつＭａｈが最小となる分布ｋmにマッチするものとし、マッチした分布において、平均値μkm、分散σ2kmを式１２および式１３に従って更新する。
【０１１８】
【数１２】
【０１１９】
【数１３】
【０１２０】
ここで、μkm-nextおよびσ2km-nextが、更新後の平均値μkmおよび分散σ2kmを表す。
【０１２１】
非特許文献２では、式４および式５におけるαとβを混合正規分布の式を用いて変更しているが、かなりの計算量になり、ＤＳＰで演算する場合でもリアルタイム処理が難しくなるので、ここではαとβは固定値とする。
【０１２２】
前述のように、ブロック輝度ＹNがいずれの分布にもマッチしなかった場合にも移動物体領域ブロックとするが、その場合重みのもっとも低い分布ｋlにおいて、平均値μkl、分散σ2klを式１４および式１５に従って更新する。
【０１２３】
【数１４】
【０１２４】
【数１５】
【０１２５】
なお、第２のブロック処理では、分布の更新とは別に、第１のブロック処理と同様に、統合処理１０６において移動物体領域ブロックでないと判定されたブロック内のピクセルについて背景画像を更新する。
【０１２６】
第３のブロック処理に対応する更新処理では、統合処理１０６において移動物体領域ブロックでないと判定されたブロックにおいて、入力画像のブロック（以下、入力ブロック）と背景画像のブロック（以下、背景ブロック）との加重平均により背景ブロックを更新する。
【０１２７】
背景ブロックＢN（ｔ）は、時刻ｔにおける入力ブロックをＹN（ｔ）と１サンプル前の背景ブロックＢN（ｔ−１）により式１６に従って更新される。ただし、αBは０＜αB＜１である。
【０１２８】
【数１６】
【０１２９】
また、分散ΣN2（ｔ）を式１７に従って更新される。ただし、αBは０＜αC＜１である。
【０１３０】
【数１７】
【０１３１】
また、入力ブロックと背景ブロックにおいて、次の式１８の関係が成り立つ時、式６および式１７を適用しないことで、静止した移動物体を背景画像に取り込むのを防止し、移動物体が静止した場合でも検出可能にするように変形してもよい。
【０１３２】
【数１８】
【０１３３】
なお、式１８の閾値Ｔ（ΣN2（ｔ））は、次の式１９で表される。
【０１３４】
【数１９】
【０１３５】
第３のブロック処理では、上記のように、背景ブロックの輝度および分散が更新されるが、自己回帰モデルを用いる場合には、少なくとも２フレーム前の背景ブロックの輝度および分散を記憶しておく必要がある。また、第２のブロック処理では、分布の更新とは別に、第１のブロック処理と同様に、統合処理１０６において移動物体領域ブロックでないと判定されたブロック内のピクセルについて背景画像を更新する。
【０１３６】
更新処理の後、統合処理１０６において移動物体領域ブロックであると決定された移動物体領域ブロック５２に対して、図３のステップ１０８のピクセル処理を行う。
【０１３７】
本実施の形態のピクセル処理では、広く用いられる通常差分法とヒストグラム差分法の２つの処理方法を使用し、２つの処理方法の処理結果の論理積、すなわち２つの処理方法の両方で移動物体ピクセルであると判定されたピクセルを移動物体領域ピクセルと判定する。通常差分法は、入力画像と背景画像のピクセルごとの差分を算出し、差分が閾値より大きい場合に移動物体領域ピクセルと判定する方法であり、これについては広く使用されているので、説明は省略する。
【０１３８】
図１７は、ブロック内に水面を有し、水面の揺らぎの影響があるブロックに、移動物体が現れた場合の、ブロック内の入力画像と背景画像のピクセル輝度の分布を示すヒストグラムである。なお、図１７は、移動物体がある隣接する複数のブロックにおけるピクセル輝度の分布を示す。図１７において、実線が入力画像を、破線が背景画像を示す。
【０１３９】
図１７のヒストグラムにおいて、入力画像と背景画像は、輝度値５５から８０付近の部分で大きく異なり、輝度値２２０付近ではほぼ一致していることが分かる。輝度値５５から８０付近の成分は、背景画像に含まれていない成分、すなわち移動物体の輝度領域であり、それ以外の部分は背景部分による輝度成分である。
【０１４０】
一方、図１８は、画面のほとんどが水面であるブロックにおいて、移動物体が存在しないの場合の入力画像と背景画像のピクセル輝度の分布を示すヒストグラムである。この場合も、実線が入力画像を、破線が背景画像を示す。
【０１４１】
図１８のヒストグラムにおいて、入力画像と背景画像の輝度は、要素数がばらつくが、ほぼ輝度値１００付近から２３０付近にあり、分布範囲が一致していることが分かる。
【０１４２】
以上のことから、ブロック内に移動物体があり、移動物体の占める割合が大きい場合、移動物体のある入力画像と移動物体のない背景画像の輝度ヒストグラムには、移動物体分の差異が現れる。従って、もし入力画像の成分に、背景画像の成分と異なる輝度値のピクセルが存在するならば、そのピクセルは移動物体ある移動物体ピクセルであると判定できる。また、入力画像の成分と同じ成分が背景画像にある場合でも、その要素数がはるかに多い場合にも、そのピクセルは移動物体ピクセルであると判定する。
【０１４３】
また、処理結果により移動物体ピクセルと判定されたピクセル数が、移動物体領域ブロック内の総ピクセル数よりはるかに少ない場合には、雑音に起因する後検出であると判定する。
【０１４４】
図１９は、上記の処理原理に基づくピクセル処理の処理手順を示すフローチャートである。
【０１４５】
ステップ５０１では、移動物体領域ブロック内の入力画像のピクセルデータ（輝度）を読み出す。
【０１４６】
ステップ５０２では、移動物体領域ブロック内の背景画像のピクセルデータを読み出す。
【０１４７】
ステップ５０３では、各ピクセルの差分を算出する。
【０１４８】
ステップ５０４では、通常差分法による判定を行う。すなわち、差分が閾値以上のピクセルを第１候補として登録する。
【０１４９】
ステップ５０５からステップ５０７が、ヒストグラム差分法による判定処理である。
【０１５０】
ステップ５０５では、移動物体領域ブロック内の入力録画像と背景画像のピクセル輝度のヒストグラムを作成する。
【０１５１】
ステップ５０６では、入力録画像のヒストグラムから背景画像成分を除去する。
【０１５２】
ステップ５０７では、入力録画像のヒストグラムの残り成分のピクセルを第２候補として登録する。
【０１５３】
ステップ５０８では、第１候補と第２候補の論理積を算出し、論理積が１のピクセルを移動物体ピクセルとする。言い換えれば、ピクセルのうち第１候補と第２候補の両方の候補であるピクセルを移動物体ピクセルとする。
【０１５４】
以上、本発明の実施の形態を説明したが、本発明を実際の監視画像に適用した結果を示す。対象となる画像は、一部に水面を含み、風や波で水面に波紋が生じている画像である。この画像に移動物体である人間が侵入した場合には、検出漏れを生じることはなかった。また、画像に移動物体が侵入していないにもかかわらず、移動物体が存在すると判定した誤検出の頻度は非常に小さかった。
【０１５５】
ここで、実施の形態で組み合わせた第１から第３ブロック処理の特徴を調べるために、第１から第３ブロック処理および統合処理で、移動物体が存在すると判定した誤検出の頻度を測定した。この測定は、４５秒間（１３５０フレーム）における誤検出の回数を測定した。その結果を表１に示す。
【０１５６】
【表１】
【０１５７】
表１に示すように、第２ブロック処理では誤検出の頻度が非常に大きいが、他の処理の結果と合わせた統合処理により、誤検出の頻度は非常に小さくなっている。一方、第１および第３ブロック処理は、移動物体の存在を検出しない場合があるが、第２ブロック処理は移動物体の存在を確実に検出しており、検出漏れをゼロにする上で大きく貢献していた。
【０１５８】
なお、統合処理により誤検出が発生しても、移動物体領域ブロックと判定されたブロックについてはピクセル処理がさらに行われて移動物体ピクセルか判定されるので、誤検出がそのまま最終的な誤検出になるわけではない。
【０１５９】
上記の実施の形態では、差分法、非特許文献２に記載された処理方法をブロック処理に適用した処理方法、および背景モデルを利用する処理方法の３つの方法を組み合わせたが、公知の方法を組み合わせることも可能である。例えば、オプティカルフローをブロックレベルに適用した処理方法や、隣接するブロック同士の相関関係などを調べてその結果から領域を検出するカーネル密度推定を用いた移動物体検出方法などを組み合わせることが可能である。組み合わせる方法は、相互に検出特性の傾向が異なり、互いに補い合うことで、検出漏れや誤検出を低減できるようにすることが望ましい。
【０１６０】
以上、本発明の実施例を説明したが、本発明には各種の変形例が可能であるのは、当業者には自明である。
【産業上の利用可能性】
【０１６１】
本発明は、水面や木々など、外的状況により変動する部分が背景画像に含まれる状態で、画像内への移動物体の侵入を検出する画像処理、監視方法および監視システムなどへの適用に適している。
【図面の簡単な説明】
【０１６２】
【図１】本発明の実施形態の監視システムのハードウエア構成を示すブロック図である。
【図２】実施形態の画像処理装置２０の機能ブロック図である。
【図３】実施形態の画像処理装置２０における処理シーケンスを示すフローチャートである。
【図４】実施の形態において、入力画像および背景画像のブロック分割を説明する図である。
【図５】水面の揺らぎを含む不安定シーンと、揺らぎの無い安定したシーンと、を有する背景画像を撮影している状態で、人間が約一分間撮影範囲内を移動した場合の、ブロックサイズごとのブロック輝度の変化を示すグラフである。
【図６】揺らぎのない安定シーン内のブロックサイズごとのブロック輝度の変化を示すグラフである。
【図７】上側に水面を有し、中央に人間が現れた場合の画像を走査した場合のブロック差分を順に示すグラフである。
【図８】画像において、移動物体領域ブロックグループの上端で左端のブロックの探索方法を説明する図である。
【図９】画像において、移動物体領域ブロックグループの上端で左端のブロックを定義する図である。
【図１０】画像において、移動物体領域ブロックグループの上端で左端のブロックの探索方法を説明する図である。
【図１１】第１ブロック処理の処理シーケンスを示すフローチャートである。
【図１２】１／２ブロックずらしたブロック分割方法を説明する図である。
【図１３】第２ブロック処理の基礎となる非特許文献３に記載された混合正規分布を説明する図である。
【図１４】第２ブロック処理の処理シーケンスを示すフローチャートである。
【図１５】第３ブロック処理の処理シーケンスを示すフローチャートである。
【図１６】統合処理における移動物体領域ブロックの探索方法を説明する図である。
【図１７】移動物体領域ブロックにおける入力画像と背景画像のピクセル輝度のヒストグラム例を示す図である。
【図１８】非移動物体領域ブロックにおける入力画像と背景画像のピクセル輝度のヒストグラム例を示す図である。
【図１９】ピクセル処理の処理シーケンスを示すフローチャートである。
【符号の説明】
【０１６３】
１１ ビデオカメラ
１２ Ａ／Ｄ変換器
２０ 画像処理装置
２８ ディスク装置
３０ ブロック処理部
３１ 入力画像保持部
３２ 背景画像保持部
３３ 入力画像ブロック化部
３４ 背景画像ブロック化部
３５ 第１ブロック処理部
３６ 第２ブロック処理部
３７ 第３ブロック処理部
３８ 統合処理部
４０ 背景画像更新部
４１ ピクセル処理部
【技術分野】
【０００１】
本発明は、画像処理方法、画像処理装置、監視方法および監視システムに関し、特に動画像における移動物体の検出方法、検出装置、およびそれを利用した監視領域内への物体の侵入を監視する監視方法および監視システムに関する。
【背景技術】
【０００２】
近年、治安の悪化や凶悪犯罪の増加に伴い、セキュリティや防犯のための監視システムの需要が高まっている。現在、一般的に用いられている監視システムは人による監視が不可欠であり、人が絶えず監視し続けなければならないという労力を伴うものがほとんどである。また、赤外線センサによる侵入検知システムも存在するが、多くのものは人間以外の小動物、草木の動きなどにも反応し、誤検出してしまう欠点がある。また、侵入を検知したとしても、その後の侵入者の位置を検出することができず、使用者の要求に十分答えているとはいえない。そのため、侵入者の位置をリアルタイムで把握できる監視システムが望まれている。
【０００３】
このような問題を解決するため、動画像処理を用いた移動物体検出技術の開発が進められている。動画像から移動物体の検出や追跡を行う際に用いられる方法の主なものとして、フレーム間差分法、オプティカルフロー法、背景差分法などが挙げられる。フレーム間差分法は、近接時刻の２フレームの差分を算出し、その絶対値が大きい画素（ピクセル）群を移動物体として検出する方法である。この方法は非常に簡潔であり、そのためのハードウエアの実装も容易な方法であるが、移動物体の移動速度によっては移動物体の輪郭部分のみしか検出できなかったり、移動していた物体が静止した場合には検出不可能になる。オプティカルフロー法は、フレーム中の各ピクセルがどのような速度ベクトルをもって運動しているかを調べる方法である。一般的に画面の全ピクセルにおいて運動ベクトルを求めるには膨大な計算量を必要とする。そのため、リアルタイムで処理を行うには、専用のハードウエアを用いる必要があるなど高価なハードウエアを用いる必要がある。また、オプティカルフロー法も、移動物体の動きが静止した場合や移動速度が速い場合には、検出が不可能になってしまう欠点がある。背景差分法は、現在撮影している画像と、あらかじめ用意した移動物体の含まれない背景画像とを比較し、差分をとることで、移動物体のみを検出する方法である。背景差分法には、背景が静止しており、恒常的に普遍でなければならないという制約が存在するが、現実世界、特に屋外の監視対象画像では背景の変化は頻繁に発生するものであり、このような制約があると適用できる範囲が大幅に制限されるという問題がある。例えば、木や枝の揺れや水面の波紋に起因する変化や、天候に起因する照明条件の変化などがあると、誤検出を発生する。
【０００４】
このような問題を解決するため、背景差分法における各種の改良方法が提案されている。
【０００５】
特許文献１は、背景画像と入力画像の違い具合を算出して、違い具合が所定の閾値未満である場合のみ、背景画像を更新する方法を記載している。しかし、この方法では、木や枝の揺れや水面の波紋に起因する変化を誤検出するという問題や、ゆっくり動く移動物体や静止する移動物体を背景画像に取り込んでしまい検出できないという問題がある。
【０００６】
非特許文献１は、参照フレームの近傍の数フレームから各ピクセルの輝度の変化率を算出し、変化率の大きな部分では背景画像を更新せず、それ以外の部分では背景画像を入力画像に更新する方法を記載している。これにより、静止する移動物体がある場合および照明の変化がある場合でも、背景画像を更新しながら移動物体を検出できる。しかし、この方法は、屋外における日光の変化には対応可能であるが、木や枝の揺れや水面の波紋に起因する変化を誤検出するという問題がある。
【０００７】
非特許文献２は、各ピクセルの色成分の時系列変化が複数の正規分布を合わせた混合正規分布になると仮定し、確率分布を用いてモデル化し、移動物体に相当する分布を検出する方法を記載している。この方法は、木や枝の揺れや水面の波紋に起因する輝度変化に対応可能であるが、この方法は、各ピクセルにおいて多数のパラメータを保持しなければならず、大きなメモリ容量を必要とし、計算量も非常に大きくなり、リアルタイムで処理を実行するためには演算能力の高いプロセッサを使用することが必要である。
【０００８】
他にも、カーネル密度推定を用いて輝度値の発生確率を推定し、移動物体か否かを判定する方法などが提案されているが、大きなメモリ容量を必要とするという問題がある。また、変換に対して不変な特徴を利用する背景差分法もあるが、使用できる条件が限定されるという問題がある。
【０００９】
【特許文献１】特開２００４−３４８７３２
【非特許文献１】島田竜也，河口尚広，加賀健太，山田博三，森晃徳，”屋内侵入者検知のための動的背景抽出法”，電子情報通信学会論文誌，Ｄ−IIVol. J88-D-IINo.10 pp. 2054-2068,2005
【非特許文献２】C.Stauffer and W.E.L.Grimson, "Adaptive background mixture models for real-time tracking", Proc. IEEE ICCV '99, Vol. 22, pp. 246-253, 1999
【発明の開示】
【発明が解決しようとする課題】
【００１０】
上記のように、従来の動画像における移動物体検出技術の多くは、木や枝の揺れや水面の波紋に起因する変化を誤検出してしまうという問題があった。非特許文献２に記載された方法は、木や枝の揺れや水面の波紋に起因する変化を誤検出するという問題を低減できるが、大きなメモリ容量および演算能力の高いプロセッサを有するハードウエアを必要とし、高コストであるという問題がある。
【００１１】
本発明は、高価なハードウエアを必要とせずに、動画像において水面の波紋や木々の揺らぎを誤検出することなく、また日照条件の変化などに影響されることなく、人間や車などの移動物体のみをリアルタイムで検出できる移動物体の検出方法、検出装置、監視方法および監視システムの実現を目的とする。
【課題を解決するための手段】
【００１２】
上記目的を実現するため、本発明は、入力される画像と、あらかじめ保存しておいた背景画像と、を複数のブロックに分割し、ブロック単位で移動物体を含む移動物体領域ブロックであるかを判定し、移動物体領域ブロックについてのみピクセル単位で移動物体検出処理を施すことを特徴とする。
【００１３】
すなわち、本発明の動画像における移動物体の検出方法は、入力画像を複数のブロックに分割して各ブロックの入力平均ピクセル値を算出し、あらかじめ記憶してある背景画像を前記入力画像のブロックと対応する複数のブロックに分割して各ブロックの背景平均ピクセル値を算出し、各ブロックの前記入力平均ピクセル値および前記背景平均ピクセル値から、各ブロックが前記移動物体を含むかを判定し、前記移動物体を含むブロックを移動物体領域ブロックとして決定し、前記移動物体領域ブロック内の各ピクセルに前記移動物体があるかを決定する、ことを特徴とする。
【００１４】
また、本発明の動画像における移動物体の検出装置は、入力画像を複数のブロックに分割して各ブロックの入力平均ピクセル値を算出する入力画像ブロック化部と、あらかじめ記憶してある背景画像を前記入力画像のブロックと対応する複数のブロックに分割して各ブロックの背景平均ピクセル値を算出する背景画像ブロック化部、各ブロックの前記入力平均ピクセル値および前記背景平均ピクセル値から、各ブロックが前記移動物体を含むかを判定し、前記移動物体を含むブロックを移動物体領域ブロックとして決定するブロック処理部と、前記移動物体領域ブロック内の各ピクセルに前記移動物体があるかを決定するピクセル処理部と、を備えることを特徴とする。
【００１５】
水面の波紋や木々の揺らぎに起因する変化は微視的であり、隣接するピクセル間にピクセル値の差を生じさせる形で生じる。そのため、画像を複数のブロックに分割し、ブロック内でピクセル値を平均すると、各ブロックにおいて水面の波紋や木々の揺らぎに起因する変化が平均化され、ブロック単位ではピクセル値の変化が小さくなり、これらの変化を検出しにくくなる。一方、移動物体に起因する変化は、ブロックの平均ピクセル値を変化させるので、ブロックの平均ピクセル値の変化から移動物体がブロック内に存在すかを判定可能である。画像内で移動物体が存在するのは一部であり、ブロックごとに移動物体が存在する移動物体領域ブロックを検出した後、移動物体領域ブロックについてのみ、さらにピクセル単位で移動物体の検出処理を行うので、移動物体を正確に検出可能である。
なお、ピクセル値とは、各ピクセルの画像特性値であり、例えば、輝度値、カラー値（Ｒ、Ｇ、Ｂの値）である。
【００１６】
本発明によれば、画像全体をブロック単位で移動物体がある部分を大まかに検出した後、移動物体のある小部分のみを精密に調べるという具合に、移動物体を階層的に探索するので、画像全体を精密に調べるのに比べて効率のよい探索が可能であり、演算量を大幅に低減できる。これにより、小さなメモリ容量および演算能力の低いプロセッサで構成されるハードウエアでも、移動物体を精密に検出することができる。また、移動物体検出のための演算量が低減できるので、移動物体検出を複数の異なる処理方法で行うことも可能になり、検出特性の異なる処理方法の検出結果を統合することで、検出精度を向上することが可能になる。
【００１７】
移動物体領域ブロックの決定後、移動物体領域ブロックでないと判定されたブロックについて、入力画像に応じて背景画像を更新することが望ましい。これにより、背景画像を常に移動物体のない最新の状態にすることができ、日照の変化などによる照明条件の変化にも対応可能になる。
【００１８】
移動物体領域ブロックの決定を複数の異なる処理方法の検出結果を統合して行う場合、複数の異なる処理方法は、少なくとも３つの処理方法を有し、少なくとも３つの処理方法のうち２つ以上の処理方法により移動物体を含むと判定されたブロックを移動物体領域ブロックとして決定し、決定した移動物体領域ブロックの周囲８ブロックについては、少なくとも３つの処理方法のうち１つ以上の処理方法により移動物体を含むと判定されたブロックを移動物体領域ブロックとして決定する。移動物体は隣接するブロックに存在すると考えられるので、これにより、移動物体の存在するブロックを正確に漏れなく検出できる。
【００１９】
複数の異なる処理方法は、ブロックを順にスキャンして、入力平均ピクセル値と背景平均ピクセル値の差分が、周辺のブロックの差分より大きなブロックを探索し、探索した差分の大きなブロックの近辺の大きな差分のブロックを移動物体領域ブロックとして決定する処理方法、各ブロックの入力平均ピクセル値が、各ブロックの平均ピクセル値の時系列変化が有すると仮定した複数の正規分布のうち出現頻度の高い分布と一致した場合に背景とし、それ以外の場合を移動物体領域ブロックとして決定する処理方法、各ブロックの入力平均ピクセル値が、各ブロックの背景平均ピクセル値の時系列の加重平均と分散により決定された閾値より大きい場合に、移動物体領域ブロックとして決定し、閾値より小さい場合にはさらに入力平均ピクセル値と直前の複数フレームのピクセル値より算出した平均ピクセル値変化の傾きを算出し、過去の平均ピクセル値変化が変化閾値より大きい場合に移動物体領域ブロックとして決定する処理方法など、検出特性の異なる処理方法を組み合わせることが望ましい。このほかにも、ブロック単位でのオプティカルフロー法、隣接するブロック同士の相関関係などを調べてその結果から領域を検出するカーネル密度推定を用いた処理方法など、各種の処理方法を組み合わせることが考えられる。
【００２０】
移動物体領域ブロック内の各ピクセルに移動物体が存在するかの決定は、各ピクセルの入力画像と背景画像の差分が閾値より大きい場合に移動物体と判定する背景差分法と、移動物体領域ブロックにおけるピクセルの入力画像のヒストグラムから背景画像のヒストグラムの成分を減じたヒストグラム差分が閾値より大きい場合に移動物体と判定するヒストグラム差分法と、を行い、背景差分法とヒストグラム差分法の両方で移動物体と判定されたピクセルを移動物体として決定するという具合に、特性の異なる検出方法を組み合わせて行い、その検出結果を統合して移動物体を決定することが望ましい。これにより、ピクセル処理における誤検出や検出漏れを低減できる。
【００２１】
監視対象を撮影して動画像信号を生成し、動画像信号を処理して画像内の移動物体を検出する監視方法および監視装置に、本発明の検出方法および検出装置を使用すれば、低コストで検出精度を向上することが可能である。
【発明の効果】
【００２２】
本発明を適用することにより、木々の揺れや水面の波紋を背景に持つ場合にも、それらを移動物体として誤検出することなく、人間などの移動物体を正確に検出できる。
【００２３】
画像サイズが３５２×２４０ピクセルの時、非特許文献２に記載された混合正規分布を用いて移動物体を検出する方法を用いると、最低でも約８５０ＫＢのメモリ領域が必要であるが、本発明によれば約２７０ＫＢのメモリ領域で実行可能である。
【００２４】
また、演算量も低減できるので、上記の非特許文献２に記載された混合正規分布を用いて移動物体を検出する方法を、１チップのＤＳＰを使用してリアルタイムで行うのは困難であったが、本発明によれば同程度の１チップのＤＳＰを使用してリアルタイムで行うことが可能である。
【００２５】
更に、複数の検出方法を行いその結果を統合することにより、ある監視対象画像についての実測結果では、１秒間３０フレームの時の１フレーム当たりの誤検出回数は約０，０２６回となり、１つの検出方法による場合に比べて誤検出回数を１／５に低減できた。
【発明を実施するための最良の形態】
【００２６】
以下、本発明の実施形態を図面を参照して説明する。なお、ここに記載するのは説明のための例示であり、本発明はこれに限定されるものではない。
また、画像特性値としては、各ピクセルの輝度、カラー値（Ｒ値、Ｇ値、Ｂ値）などが使用でき、複数の値の結果を組み合せることも可能であるが、ここでは輝度を例として説明する。もちろん、本発明はこれに限定されるものではない。
【００２７】
図１は、本発明の実施形態の監視システムのハードウエア構成を示すブロック図である。図１に示すように、実施形態の監視システムは、木々や水面を背景にもつ監視対象の動画像を撮影する固定のビデオカメラ１１と、ビデオカメラ１１の出力する画像信号をデジタル画像信号に変換するＡ／Ｄ変換器１２と、Ａ／Ｄ変換器１２から入力される動画像における移動物体の存在を検出する検出装置を構成する画像処理装置２０と、画像処理装置２０の処理結果や画像データを記憶するディスク装置２８と、画像処理装置２０の処理結果や画像を表示するディスプレイ２９と、を有する。画像処理装置２０は、コンピュータで実現される。他に画像処理装置２０を制御するためのキーボードやマウスなどの入力手段も設けられるが、図示は省略している。
【００２８】
画像処理装置２０は、ＣＰＵ２１と、ＤＳＰ２２と、Ａ／Ｄ変換器１２からのデジタル画像信号を受けるＩ／Ｏポート２３と、ＲＡＭ２４と、ＲＯＭ２５と、ディスク装置２８とのデータの入出力を行う外部記憶インターフェース２６と、ディスプレイ２９への表示データの出力を行うビデオインターフェース２７と、これらの要素を接続するバスと、を有する。これらの構成は、画像処理を行うコンピュータの構成として広く知られているので、説明は省略する。
【００２９】
図２は、実施形態の画像処理装置２０の機能ブロック図である。図示のように、実施形態の画像処理装置２０は、入力画像保持部３１と、背景画像保持部３２と、入力画像ブロック化部３３と、背景画像ブロック化部３４と、第１ブロック処理部３５と、第２ブロック処理部３６と、第３ブロック処理部３７と、統合処理部３８と、背景画像更新部４０と、ピクセル処理部４１と、を有する。第１ブロック処理部３５、第２ブロック処理部３６、第３ブロック処理部３７および統合処理部３８は、ブロック処理部３０を構成する。
【００３０】
図３は、実施形態の画像処理装置２０における処理シーケンスを示すフローチャートである。ステップ１０１では、入力画像ブロック化部３３が入力画像保持部３１に保持された入力画像を複数のブロックに分割する。ステップ１０２では、背景画像ブロック化部３４が背景画像保持部３２に保持された背景画像を複数のブロックに分割する。ステップ１０３では、第１ブロック処理部３５が第１の処理方法に従って移動物体が含まれる移動物体領域ブロックを決定する第１ブロック処理を行う。ステップ１０４では、第２ブロック処理部３６が第２の処理方法に従って移動物体が含まれる移動物体領域ブロックを決定する第２ブロック処理を行う。ステップ１０５では、第３ブロック処理部３７が第３の処理方法に従って移動物体が含まれる移動物体領域ブロックを決定する第３ブロック処理を行う。ステップ１０３乃至１０５は、順次行っても並列に行ってもよい。ステップ１０６では、ステップ１０３乃至１０５で行われた第１乃至第３ブロック処理の結果を統合して、移動物体領域ブロックを決定する。ステップ１０１乃至１０６がブロック処理である。ステップ１０７では、背景画像更新部４０が、決定された移動物体領域ブロック以外のブロックについて入力画像に応じた背景の更新処理を行う。ステップ１０８では、ピクセル処理部４１が、決定された移動物体領域ブロック内についてのみピクセル単位で移動物体の検出処理を行う。ステップ１０９では、検出した移動物体のピクセルに基づいて移動物体の形状検出や、検出した移動物体に応じて画像データの圧縮およびディスク装置２８への記憶処理や、ディスプレイ２９への表示処理などの後処理を行う。後処理は、従来の処理の組み合わせであり、ここではこれ以上の説明を省略する。
【００３１】
以下、ブロック処理、背景更新処理およびピクセル処理について詳細に説明する。
【００３２】
図４は、入力画像および背景画像のブロック分割を説明する図である。入力画像および背景画像５０は、同じ複数のブロック５１に分割される。ブロック５１は、正方形または長方形であるが、ここでは正方形に分割するものとして説明する。例えば、画像５０のサイズを３５２×２４０ピクセルとし、８×８ピクセルを１ブロックとすると、４４×３０ブロックとなり、ブロックの総数は１３２０個となる。
【００３３】
画像のブロック化処理では、入力画像および背景画像の各ブロックの平均輝度値が算出される。各ブロック５１をＮ×Ｎピクセルの集合として定義し、そのブロックのパラメータをＹN（Ｘ，Ｙ）とし、その輝度をピクセルの輝度値ｙ（ｉ，ｊ）を用いて式１で表す。
【００３４】
【数１】
【００３５】
ここで、Ｘ，Ｙは画像をブロックに分割した際のブロックの座標であり、ｉ，ｊはブロック内のピクセルの座標を示す。なお、以下の記載において、座標（Ｘ，Ｙ）を省略する場合がある。このパラメータをブロック輝度と称する。上記のように、このブロック輝度は、ブロック内のピクセルの輝度の平均値である。
【００３６】
次に、ブロック処理による利点を説明する。
【００３７】
図５は、水面の揺らぎを含む不安定シーンと、揺らぎの無い安定したシーンと、を有する背景画像を撮影している状態で、人間が約一分間撮影範囲内を移動した場合の、水面を含む不安定シーン内のブロック輝度の変化を示し、図６は、安定シーン内のブロック輝度の変化を示す。図５の（Ａ）は、Ｎ＝１、すなわち１個のピクセルにおける輝度変化を示し、（Ｂ）は、Ｎ＝４、すなわち１６個のピクセルの平均輝度の変化を示し、（Ｃ）は、Ｎ＝８、すなわち６４個のピクセルの平均輝度の変化を示す。また、図６の（Ａ）は、Ｎ＝１、すなわち１個のピクセルにおける輝度変化を示し、（Ｂ）は、Ｎ＝８、すなわち６４個のピクセルの平均輝度の変化を示す。
【００３８】
図５の（Ａ）に示すように、水面を含む不安定シーン内においては、Ｎ＝１の場合には水面の揺らぎの影響で輝度が大きく変化していることが分かる。Ｎを大きくすると、すなわち、ブロックサイズを大きくするに従って、短時間での輝度変化が抑制され、図５の（Ｃ）に示すように、Ｎ＝８の時には破線の楕円で囲んだ部分のみに顕著な輝度変化が確認できる。この輝度変化は、水面の輝度変化によるものではなく、移動物体がブロックを通過したことに起因する輝度変化である。このように、ブロック化することにより、水面の揺らぎに起因する輝度変化がある場合でも移動物体の検出が可能になる。
【００３９】
一方、図６の（Ａ）および（Ｂ）に示すように、安定シーン内においては、ピクセル単位およびＮ＝８のブロック単位であっても十分に移動物体を検出することが可能であると考えられる。
【００４０】
従って、Ｎ＝８のブロック単位で、ブロック内に移動物体が存在するかを判定すれば、水面の揺らぎの影響を除去して、安定シーンおよび不安定シーンの両方で、ブロック内に移動物体が存在するかを正確に検出することができる。
【００４１】
次に第１のブロック処理について説明する。第１のブロック処理では、入力平均輝度と背景平均輝度の差分が、周辺のブロックの差分より大きなブロックを探索し、探索した差分の大きなブロックの近辺の大きな差分のブロックを移動物体領域ブロックとして決定する。この処理方法を、ここではブロック差分法と称する。
【００４２】
入力画像のブロックのブロック輝度をＹN（Ｘ，Ｙ）、背景画像のブロックのブロック輝度をＹN-back（Ｘ，Ｙ）とする。入力画像と背景画像のブロック差分ＤN（Ｘ，Ｙ）は次の式２で表される。
【００４３】
【数２】
【００４４】
一部に水面を有する背景画像があり、そこに人間が現れた入力画像が入力され、水面は画像の上側にあり、人間は画像の中央の若干上側に現れたとする。図７は、この場合のブロック差分を、図４に矢印で示す順にグラフにしたものである。図７に示すように、画面の上側に相当する左側（０から３００ブロック）に細かい変動が生じ、２５０ブロックから６００ブロックに周期的に大きなパルスが出現する。０から３００ブロックに出現する細かい変動は水面の揺らぎに起因し、２５０ブロックから６００ブロックの周期的な大きなパルスは人間、すなわち移動物体に起因する。
【００４５】
ここで、通常の背景差分法と同様に、一般的な閾値（例えば閾値Ｔ＝３０）処理を施すと、移動物体の存在するブロックと共に、水面の揺らぎがあるブロックを、移動物体領域ブロックとして検出することになり、大量の移動物体領域ブロックの誤検出が発生する。水面の揺らぎに起因する変化を検出しないように閾値を上げてしまうと（例えばＴ＝６０）、逆に移動物体の存在するブロックを検出しない欠損を生じる。
【００４６】
第１ブロック処理では、移動物体がブロックサイズよりも大きい場合、ブロック化することにより、図７に示すように、ブロック差分のピークが顕著にほぼ等間隔で現れることを利用して、移動物体領域ブロックであるかを検出する。もし移動物体が画像上に存在するならば、移動物体領域ブロックは、図８に示すように隣接したブロックのグループとして現れる。図８において、参照番号５３は移動物体（人間）を示し、斜線のブロック５２が移動物体領域ブロックである。図８において、太線で示されたブロック５４を起点として右側および下側の隣接ブロックに移動物体５３が現れる。これが図７の周期的なピークを生じので、このピークを有するブロックを集めれば移動物体領域ブロックを検出できる。
【００４７】
そこで、まず図８における移動物体領域ブロックのうち、太線で示されたブロック５４を検出することを考える。ブロック差分を図４に示す順に走査する。走査しているブロックを、図９のようにａ5で示す。ａ1乃至ａ4は背景部分であり、そのブロック差分ＤNの値を二つの集合Ｇ1，Ｇ2に分けられると仮定し、着目ブロックａ5が移動物体領域ブロックであるかないかを判定する。図１０は、その判定のための手順を説明する図であり、そこではａ1乃至ａ5はそのブロックのブロック差分を表すものとする。
【００４８】
（１）ａ1乃至ａ4を昇順に並び替え、それらをａ1≦ａ2≦ａ3≦ａ4と置き直す。
【００４９】
（２）図１０の（Ａ）から（Ｃ）に示すように、ａ2−ａ1，ａ3−ａ2，ａ4−ａ3を比較し、最大の区間でａ1乃至ａ4をＧ1，Ｇ2に分割する。図１０の（Ａ）では、ａ1とａ2，ａ3，ａ4とに分割され、図１０の（Ｂ）では、ａ1，ａ2とａ3，ａ4とに分割され、図１０の（Ｃ）では、ａ1，ａ2，ａ3とａ4とに分割される。
【００５０】
（３）２つ以上のブロック差分が含まれるグループでは、グループ内の最大値ｍａｘと最小値ｍｉｎの差を閾値ｒとし、１つのブロック差分が含まれるグループでは、閾値ｒを所定の値Ｔとする。
【００５１】
（４）各グループについて、グループ内のブロック差分の平均値と着目ブロックａ5の差の絶対値が閾値ｒより大きい時に、着目ブロックａ5を移動物体領域ブロックとする。
【００５２】
（５）移動物体領域ブロックと判定されたブロックの右側のブロックが移動物体領域ブロックであるかを判定する。具体的には、前側の移動物体領域ブロックとのブロック差分の差が、後に続くブロックとのブロック差分の差より大きい場合には移動物体領域ブロックと判定し、そうでなければ移動物体領域ブロックでないと判定する。右側に続くブロックについてこれを繰り返す。
【００５３】
（６）移動物体領域ブロックと判定されたブロックの下側に隣接するブロックについて、（５）と同様に、移動物体領域ブロックであるかを判定する。具体的には、次の行のブロックのうち移動物体領域ブロックと判定されたブロックの２つ前から２つ後のブロックについて、ブロック差分の差が、下側に続くブロックとのブロック差分の差より大きい場合には移動物体領域ブロックと判定し、そうでなければ移動物体領域ブロックでないと判定し、これを繰り返す。
【００５４】
以下、走査に従って着目ブロックを変えながら（１）から（６）を繰り返し行い、画像全体で移動物体領域ブロックを決定する。
【００５５】
以上の判定方法は一例であり、図８に示すような移動物体が入ったブロックのグループが検出できれば、どのような判定方法を使用してもよい。
【００５６】
図１１は、上記の処理原理に基づいて移動物体領域ブロックを決定する第１ブロック処理における処理手順を示すフローチャートである。
【００５７】
ステップ２０１では、残りのブロックがあるか判定し、なければ終了し、あればステップ２０２に進む。
【００５８】
ステップ２０２では、着目ブロックのブロック差分を読み出す。
【００５９】
ステップ２０３では、上側と前側のブロック（図９のａ1乃至ａ4）のブロック差分と比較する。
【００６０】
ステップ２０４では、着目ブロックが移動物体領域ブロックであるかを判定し、移動物体領域ブロックでなければステップ２０１に戻り、移動物体領域ブロックであればステップ２０５に進む。
【００６１】
ステップ２０５では、そのブロックを移動物体領域ブロックとして登録する。
【００６２】
ステップ２０６では、新たに登録された移動物体領域ブロックの走査の後側に隣接するブロックのブロック差分を読み出す。
【００６３】
ステップ２０７では、上記の判定方法で、隣接するブロックが移動物体領域ブロックであるかを判定し、移動物体領域ブロックでなければステップ２０９に進み、移動物体領域ブロックであればステップ２０８に進む。
【００６４】
ステップ２０８では、そのブロックを移動物体領域ブロックとして登録する。
【００６５】
ステップ２０９では、隣接するブロックが残っているかを判定し、残っていればステップ２０６に戻り、残っていなければステップ２０１に戻る。
【００６６】
上記の第１のブロック処理では、２つのブロックの中間に移動物体が存在する場合、物体を検出できない場合があることが知られている。そこで、上記の第１のブロック処理を行った後、図１２に示すように、２方向でブロックサイズの１／２だけずらしてブロックに分割し、これらのブロックについて上記と同様に第１のブロック処理を行い、その結果を合わせて、具体的にはそれぞれの処理で登録された移動物体領域ブロックの和を移動物体領域ブロックとしてもよい。
【００６７】
次に、第２のブロック処理について説明する。第２のブロック処理は、非特許文献２に記載された処理方法を利用して、移動物体領域ブロックを検出する。この処理方法は非特許文献２に記載されているので詳しい説明は省略するが、各ピクセルの時系列の色成分変化は、図１３に示すようないくつかの正規分布成分からなる混合正規分布に従っていると仮定し、新しく入力された画像のそのピクセルの輝度がどの分布に近いかを調べるために、それぞれの分布においてマハラノビス距離を求める。いずれの分布においてもその距離がある閾値を超えている場合、新しいピクセル輝度は移動物体のピクセルであると判定する。さらに、距離が閾値以内で、かつもっとも距離が小さくなる分布においてその分布の平均値と分散を新しい輝度値を用いて更新し、その分布の重みを増加させることでそのピクセルにおける混合正規分布を更新していく。
【００６８】
第２のブロック処理では、上記のピクセルレベルの処理方法をブロックレベルに適用する。ブロック処理の目的はあくまで移動物体領域ブロックを検出することであり、厳密な検出である必要はなく、次元を増加させると演算量や必要なメモリ容量の増加につながるため、ここではブロック輝度のみを用いる。
【００６９】
各ブロックは、Ｋ個の正規分布よりなる混合分布を有し、各ブロックにおけるそれぞれの分布が平均値μk、分散σ2k（１≦ｋ≦Ｋ）を持つとする。あるブロック（Ｉ，Ｊ）におけるブロック輝度ＹNについて、式３に従ってマハラノビス距離Ｍａｈを算出する。
【００７０】
【数３】
【００７１】
Ｍａｈが所定の閾値Ｔｈ以下で、かつＭａｈが最小となる分布ｋmにマッチするものとする。
【００７２】
各分布は重みｗmを持ち、ブロック輝度ＹNが重みの大きい分布にマッチした時には、ブロック輝度ＹNは背景部分に属すると考える。ここでは、重みをこれまでに各分布にマッチした総要素数で表すことにする。マッチした分布の重みｗkmの全体に占める重みの割合が閾値Ｔwより小さい時、ＹNは移動物体領域ブロックであると判定する。この関係は、式４で表される。
【００７３】
【数４】
【００７４】
ブロック輝度ＹNがいずれの分布にもマッチしなかった場合にも移動物体領域ブロックとする。
【００７５】
図１４は、上記の処理原理に基づいて移動物体領域ブロックを決定する第２ブロック処理における処理手順を示すフローチャートである。
【００７６】
ステップ３０１では、残りのブロックがあるか判定し、なければ終了し、あればステップ３０２に進む。
【００７７】
ステップ３０２では、着目ブロックのブロック輝度を読み出す。
【００７８】
ステップ３０３では、各分布との近接度（マハラノビス距離）Ｍａｈを算出する。
【００７９】
ステップ３０４では、マッチする分布があるかを判定し、あればステップ３０５に進み、無ければステップ３０７に進む。
【００８０】
ステップ３０５では、マッチする分布を更新する。
【００８１】
ステップ３０６では、移動物体領域ブロックであるかを判定し、移動物体領域ブロックであればステップ３０７に進み、移動物体領域ブロックでなければステップ３０１に戻る。
【００８２】
ステップ３０７では、そのブロックを移動物体領域ブロックとして登録した後、ステップ３０１に戻る。
【００８３】
次に、第３のブロック処理について説明する。第３のブロック処理は、入力画像から背景モデルを作成し、入力画像と背景画像の加重平均を用いて背景画像を更新し、モデルに応じてブロック差分が移動物体領域ブロックであるかを判定する閾値を設定する。
【００８４】
時刻ｔにおける入力ブロックをＹN（ｔ）とし、背景ブロックをＢN（ｔ）とする。分散が小さい時、その背景ブロックの輝度変化は小さく、安定である。逆に分散が大きい時、その背景ブロックの輝度変化は大きく、頻繁に変化が生じており、不安定である。このようなブロックに関しては誤検出が生じやすい。
【００８５】
第３のブロック処理では、入力ブロックと背景ブロックの差分をとって移動物体領域ブロックを検出する時、分散の大きさに応じてブロックごとに閾値を決定することで、より適切な判定を可能にする。具体的には背景が安定したブロックでは、厳しい閾値を設定することでより精度の高い検出が可能になり、不安定なブロックでは、緩い閾値を設定することで誤検出の頻度を低減できる。
【００８６】
上記の加重平均および分散を用いた第３のブロック処理のみで移動物体領域ブロックを検出する場合、分散が大きいと、閾値が大きくなり、そのブロックに移動物体が存在する場合でも検出されない恐れがある。これを防止するための自己回帰モデルを用いる変形例を説明する。
【００８７】
あるブロックにおいて、ブロック輝度を観測した時、移動物体が存在しない場合、近隣時刻のブロック輝度には相関があるが、そのブロックに移動物体が入った時、その瞬間のブロック輝度の変化はそれまでのブロック輝度の変化とは無相関に近いと考えられる。従って、このブロック輝度の変化を推定すれば、推定値と実測値の差から移動物体がそのブロックに侵入した瞬間を検出できると考えられる。このブロック輝度の変化を自己回帰モデルにより推定する。
【００８８】
ここで、ブロック輝度の変化について考えると、ブロック輝度自体を自己回帰モデルにより推定できることが理想である。しかしながら、推定の精度は自己回帰モデルの次数などにもよるが、使用するシステムの画像入力のフレームレートにも左右される。従って、フレームレートの影響を抑制するために、ここではブロック輝度の変化に関係する変数として、現在のブロック輝度と２フレーム前のブロック輝度の傾きに着目する。すなわち、ＹN（Ｉ，Ｊ，ｔ）をブロック（Ｉ，Ｊ）における時刻ｔのブロック輝度とすると、傾きの実測値ｄ（Ｉ，Ｊ，ｔ）は、次の式５で表される。
【００８９】
【数５】
【００９０】
以下、ブロックの座標であるＩ，Ｊは省略する。
【００９１】
ここで、傾きの推定値ｄ’（ｔ）の自己回帰モデルを、次の式６で表すこととする。
【００９２】
【数６】
【００９３】
ａiは自己回帰係数を表し、ｍは自己回帰モデルの次数を表す。また、残差をε（ｔ）とすると、実測値と推定値の平均二乗誤差は、次の式７で表すことができる。
【００９４】
【数７】
【００９５】
式１５を最小にするような自己回帰係数を求めるために、Yule-Walkerの方程式を解く。Yule-Walkerの方程式は、次の式８で表される。ただし、ベクトルａは（ａ1，・・・，ａm）Tであり、ベクトルＲおよびｒはそれぞれ自己相関関数を要素とする行列およびベクトルである。
【００９６】
【数８】
【００９７】
ここで、Yule-Walkerの方程式を解く場合の演算では除算などが多いため、小数点演算が必要である。固定小数点型ＤＳＰにおいて、浮動小数点のデータ型を用いて小数点を含んだ演算を行うと、演算量が急激に増加し、演算時間が長くなるという問題を生じる。そこで、ここでは、Ｑフォーマットを用いて小数点演算を固定小数点のデータ型のみを用いて実行できるようにした。
【００９８】
傾きの実測値と推定値との残差が所定の範囲から外れた値である時、そのブロックは移動物体領域ブロックであると考えることができる。ここで、残差の時系列の平均分散を利用して、外れた値を検出するための閾値を決定する。残差の平均は式９で、分散は式１０で表される。
【００９９】
【数９】
【０１００】
【数１０】
【０１０１】
ただし、０＜αe＜１、０＜βe＜１である。ここで求めた分散を利用して、次の式１１を満たす時、ｄ（ｔ）を外れた値とし、移動物体領域ブロックであると判定する。
【０１０２】
【数１１】
【０１０３】
ただし、ｃは定数である。
【０１０４】
図１５は、上記の処理原理に基づいて移動物体領域ブロックを決定する第３ブロック処理における処理手順を示すフローチャートである。
【０１０５】
ステップ４０１では、残りのブロックがあるか判定し、なければ終了し、あればステップ４０２に進む。
【０１０６】
ステップ４０２では、着目ブロックのデータ、すなわち入力ブロック輝度、背景ブロック輝度、背景ブロック輝度の平均値、分散を読み出す。
【０１０７】
ステップ４０３では、差分を算出する。
【０１０８】
ステップ４０４では、着目ブロックに適した閾値を設定して、上記の処理により着目ブロックが移動物体領域ブロックであるかを判定し、移動物体領域ブロックであればステップ４０５に進み、移動物体領域ブロックでなければステップ４０１に戻る。
【０１０９】
ステップ４０５では、着目ブロックを移動物体領域ブロックとして登録し、ステップ４０１に戻る。
【０１１０】
次に、以上の第１から第３のブロック処理により検出された移動物体領域ブロックの判定結果を統合する、図３のステップ１０６の統合処理について説明する。統合処理は、以下の手順で行われる。
【０１１１】
（１）第１から第３のブロック処理による処理結果で、２つ以上のブロック処理により移動物体領域ブロックと判定されたブロックを、最終的な移動物体領域ブロックとする。
【０１１２】
（２）最終的な移動物体領域ブロックとされたブロックの周囲の８ブロックについて、１つ以上のブロック処理により移動物体領域ブロックと判定されたブロックも、最終的な移動物体領域ブロックとする。
【０１１３】
（３）図１６に示すように、最終的な移動物体領域ブロック５２と判定されたブロックについて輪郭線追跡を行い、輪郭ブロックで囲まれるすべてのブロックを最終的な移動物体領域ブロック５２とする。
【０１１４】
この場合、図１６に示すように、最終的な移動物体領域ブロック５２と判定されたブロックをすべて含む長方形のブロック領域を、最終的な移動物体領域ブロック５２としてもよい。
【０１１５】
図３に示すように、統合処理１０６の後に、移動物体領域ブロックでないと判定されたブロック内のピクセルについて背景画像を更新する背景更新処理ステップ１０７が行われる。更新処理は、第１乃至第３ブロック処理に応じた処理で構成される。
【０１１６】
第１のブロック処理に対応する更新処理では、統合処理１０６において移動物体領域ブロックでないと判定されたブロック内のピクセルについて背景画像を更新する。これにより、屋外の撮影対象において、日照の変化などにも追従することが可能になる。
【０１１７】
第２のブロック処理に対応する更新処理では、統合処理１０６において移動物体領域ブロックでないと判定されたブロックにおいて、マッチした分布を更新する。すなわち、Ｍａｈが所定の閾値Ｔｈ以下で、かつＭａｈが最小となる分布ｋmにマッチするものとし、マッチした分布において、平均値μkm、分散σ2kmを式１２および式１３に従って更新する。
【０１１８】
【数１２】
【０１１９】
【数１３】
【０１２０】
ここで、μkm-nextおよびσ2km-nextが、更新後の平均値μkmおよび分散σ2kmを表す。
【０１２１】
非特許文献２では、式４および式５におけるαとβを混合正規分布の式を用いて変更しているが、かなりの計算量になり、ＤＳＰで演算する場合でもリアルタイム処理が難しくなるので、ここではαとβは固定値とする。
【０１２２】
前述のように、ブロック輝度ＹNがいずれの分布にもマッチしなかった場合にも移動物体領域ブロックとするが、その場合重みのもっとも低い分布ｋlにおいて、平均値μkl、分散σ2klを式１４および式１５に従って更新する。
【０１２３】
【数１４】
【０１２４】
【数１５】
【０１２５】
なお、第２のブロック処理では、分布の更新とは別に、第１のブロック処理と同様に、統合処理１０６において移動物体領域ブロックでないと判定されたブロック内のピクセルについて背景画像を更新する。
【０１２６】
第３のブロック処理に対応する更新処理では、統合処理１０６において移動物体領域ブロックでないと判定されたブロックにおいて、入力画像のブロック（以下、入力ブロック）と背景画像のブロック（以下、背景ブロック）との加重平均により背景ブロックを更新する。
【０１２７】
背景ブロックＢN（ｔ）は、時刻ｔにおける入力ブロックをＹN（ｔ）と１サンプル前の背景ブロックＢN（ｔ−１）により式１６に従って更新される。ただし、αBは０＜αB＜１である。
【０１２８】
【数１６】
【０１２９】
また、分散ΣN2（ｔ）を式１７に従って更新される。ただし、αBは０＜αC＜１である。
【０１３０】
【数１７】
【０１３１】
また、入力ブロックと背景ブロックにおいて、次の式１８の関係が成り立つ時、式６および式１７を適用しないことで、静止した移動物体を背景画像に取り込むのを防止し、移動物体が静止した場合でも検出可能にするように変形してもよい。
【０１３２】
【数１８】
【０１３３】
なお、式１８の閾値Ｔ（ΣN2（ｔ））は、次の式１９で表される。
【０１３４】
【数１９】
【０１３５】
第３のブロック処理では、上記のように、背景ブロックの輝度および分散が更新されるが、自己回帰モデルを用いる場合には、少なくとも２フレーム前の背景ブロックの輝度および分散を記憶しておく必要がある。また、第２のブロック処理では、分布の更新とは別に、第１のブロック処理と同様に、統合処理１０６において移動物体領域ブロックでないと判定されたブロック内のピクセルについて背景画像を更新する。
【０１３６】
更新処理の後、統合処理１０６において移動物体領域ブロックであると決定された移動物体領域ブロック５２に対して、図３のステップ１０８のピクセル処理を行う。
【０１３７】
本実施の形態のピクセル処理では、広く用いられる通常差分法とヒストグラム差分法の２つの処理方法を使用し、２つの処理方法の処理結果の論理積、すなわち２つの処理方法の両方で移動物体ピクセルであると判定されたピクセルを移動物体領域ピクセルと判定する。通常差分法は、入力画像と背景画像のピクセルごとの差分を算出し、差分が閾値より大きい場合に移動物体領域ピクセルと判定する方法であり、これについては広く使用されているので、説明は省略する。
【０１３８】
図１７は、ブロック内に水面を有し、水面の揺らぎの影響があるブロックに、移動物体が現れた場合の、ブロック内の入力画像と背景画像のピクセル輝度の分布を示すヒストグラムである。なお、図１７は、移動物体がある隣接する複数のブロックにおけるピクセル輝度の分布を示す。図１７において、実線が入力画像を、破線が背景画像を示す。
【０１３９】
図１７のヒストグラムにおいて、入力画像と背景画像は、輝度値５５から８０付近の部分で大きく異なり、輝度値２２０付近ではほぼ一致していることが分かる。輝度値５５から８０付近の成分は、背景画像に含まれていない成分、すなわち移動物体の輝度領域であり、それ以外の部分は背景部分による輝度成分である。
【０１４０】
一方、図１８は、画面のほとんどが水面であるブロックにおいて、移動物体が存在しないの場合の入力画像と背景画像のピクセル輝度の分布を示すヒストグラムである。この場合も、実線が入力画像を、破線が背景画像を示す。
【０１４１】
図１８のヒストグラムにおいて、入力画像と背景画像の輝度は、要素数がばらつくが、ほぼ輝度値１００付近から２３０付近にあり、分布範囲が一致していることが分かる。
【０１４２】
以上のことから、ブロック内に移動物体があり、移動物体の占める割合が大きい場合、移動物体のある入力画像と移動物体のない背景画像の輝度ヒストグラムには、移動物体分の差異が現れる。従って、もし入力画像の成分に、背景画像の成分と異なる輝度値のピクセルが存在するならば、そのピクセルは移動物体ある移動物体ピクセルであると判定できる。また、入力画像の成分と同じ成分が背景画像にある場合でも、その要素数がはるかに多い場合にも、そのピクセルは移動物体ピクセルであると判定する。
【０１４３】
また、処理結果により移動物体ピクセルと判定されたピクセル数が、移動物体領域ブロック内の総ピクセル数よりはるかに少ない場合には、雑音に起因する後検出であると判定する。
【０１４４】
図１９は、上記の処理原理に基づくピクセル処理の処理手順を示すフローチャートである。
【０１４５】
ステップ５０１では、移動物体領域ブロック内の入力画像のピクセルデータ（輝度）を読み出す。
【０１４６】
ステップ５０２では、移動物体領域ブロック内の背景画像のピクセルデータを読み出す。
【０１４７】
ステップ５０３では、各ピクセルの差分を算出する。
【０１４８】
ステップ５０４では、通常差分法による判定を行う。すなわち、差分が閾値以上のピクセルを第１候補として登録する。
【０１４９】
ステップ５０５からステップ５０７が、ヒストグラム差分法による判定処理である。
【０１５０】
ステップ５０５では、移動物体領域ブロック内の入力録画像と背景画像のピクセル輝度のヒストグラムを作成する。
【０１５１】
ステップ５０６では、入力録画像のヒストグラムから背景画像成分を除去する。
【０１５２】
ステップ５０７では、入力録画像のヒストグラムの残り成分のピクセルを第２候補として登録する。
【０１５３】
ステップ５０８では、第１候補と第２候補の論理積を算出し、論理積が１のピクセルを移動物体ピクセルとする。言い換えれば、ピクセルのうち第１候補と第２候補の両方の候補であるピクセルを移動物体ピクセルとする。
【０１５４】
以上、本発明の実施の形態を説明したが、本発明を実際の監視画像に適用した結果を示す。対象となる画像は、一部に水面を含み、風や波で水面に波紋が生じている画像である。この画像に移動物体である人間が侵入した場合には、検出漏れを生じることはなかった。また、画像に移動物体が侵入していないにもかかわらず、移動物体が存在すると判定した誤検出の頻度は非常に小さかった。
【０１５５】
ここで、実施の形態で組み合わせた第１から第３ブロック処理の特徴を調べるために、第１から第３ブロック処理および統合処理で、移動物体が存在すると判定した誤検出の頻度を測定した。この測定は、４５秒間（１３５０フレーム）における誤検出の回数を測定した。その結果を表１に示す。
【０１５６】
【表１】
【０１５７】
表１に示すように、第２ブロック処理では誤検出の頻度が非常に大きいが、他の処理の結果と合わせた統合処理により、誤検出の頻度は非常に小さくなっている。一方、第１および第３ブロック処理は、移動物体の存在を検出しない場合があるが、第２ブロック処理は移動物体の存在を確実に検出しており、検出漏れをゼロにする上で大きく貢献していた。
【０１５８】
なお、統合処理により誤検出が発生しても、移動物体領域ブロックと判定されたブロックについてはピクセル処理がさらに行われて移動物体ピクセルか判定されるので、誤検出がそのまま最終的な誤検出になるわけではない。
【０１５９】
上記の実施の形態では、差分法、非特許文献２に記載された処理方法をブロック処理に適用した処理方法、および背景モデルを利用する処理方法の３つの方法を組み合わせたが、公知の方法を組み合わせることも可能である。例えば、オプティカルフローをブロックレベルに適用した処理方法や、隣接するブロック同士の相関関係などを調べてその結果から領域を検出するカーネル密度推定を用いた移動物体検出方法などを組み合わせることが可能である。組み合わせる方法は、相互に検出特性の傾向が異なり、互いに補い合うことで、検出漏れや誤検出を低減できるようにすることが望ましい。
【０１６０】
以上、本発明の実施例を説明したが、本発明には各種の変形例が可能であるのは、当業者には自明である。
【産業上の利用可能性】
【０１６１】
本発明は、水面や木々など、外的状況により変動する部分が背景画像に含まれる状態で、画像内への移動物体の侵入を検出する画像処理、監視方法および監視システムなどへの適用に適している。
【図面の簡単な説明】
【０１６２】
【図１】本発明の実施形態の監視システムのハードウエア構成を示すブロック図である。
【図２】実施形態の画像処理装置２０の機能ブロック図である。
【図３】実施形態の画像処理装置２０における処理シーケンスを示すフローチャートである。
【図４】実施の形態において、入力画像および背景画像のブロック分割を説明する図である。
【図５】水面の揺らぎを含む不安定シーンと、揺らぎの無い安定したシーンと、を有する背景画像を撮影している状態で、人間が約一分間撮影範囲内を移動した場合の、ブロックサイズごとのブロック輝度の変化を示すグラフである。
【図６】揺らぎのない安定シーン内のブロックサイズごとのブロック輝度の変化を示すグラフである。
【図７】上側に水面を有し、中央に人間が現れた場合の画像を走査した場合のブロック差分を順に示すグラフである。
【図８】画像において、移動物体領域ブロックグループの上端で左端のブロックの探索方法を説明する図である。
【図９】画像において、移動物体領域ブロックグループの上端で左端のブロックを定義する図である。
【図１０】画像において、移動物体領域ブロックグループの上端で左端のブロックの探索方法を説明する図である。
【図１１】第１ブロック処理の処理シーケンスを示すフローチャートである。
【図１２】１／２ブロックずらしたブロック分割方法を説明する図である。
【図１３】第２ブロック処理の基礎となる非特許文献３に記載された混合正規分布を説明する図である。
【図１４】第２ブロック処理の処理シーケンスを示すフローチャートである。
【図１５】第３ブロック処理の処理シーケンスを示すフローチャートである。
【図１６】統合処理における移動物体領域ブロックの探索方法を説明する図である。
【図１７】移動物体領域ブロックにおける入力画像と背景画像のピクセル輝度のヒストグラム例を示す図である。
【図１８】非移動物体領域ブロックにおける入力画像と背景画像のピクセル輝度のヒストグラム例を示す図である。
【図１９】ピクセル処理の処理シーケンスを示すフローチャートである。
【符号の説明】
【０１６３】
１１ ビデオカメラ
１２ Ａ／Ｄ変換器
２０ 画像処理装置
２８ ディスク装置
３０ ブロック処理部
３１ 入力画像保持部
３２ 背景画像保持部
３３ 入力画像ブロック化部
３４ 背景画像ブロック化部
３５ 第１ブロック処理部
３６ 第２ブロック処理部
３７ 第３ブロック処理部
３８ 統合処理部
４０ 背景画像更新部
４１ ピクセル処理部
【特許請求の範囲】
【請求項１】
動画像における移動物体の検出方法であって、
入力画像を複数のブロックに分割して各ブロックの入力平均ピクセル値を算出し、
あらかじめ記憶してある背景画像を前記入力画像のブロックと対応する複数のブロックに分割して各ブロックの背景平均ピクセル値を算出し、
各ブロックの前記入力平均ピクセル値および前記背景平均ピクセル値から、各ブロックが前記移動物体を含むかを判定し、前記移動物体を含むブロックを移動物体領域ブロックとして決定し、
前記移動物体領域ブロック内の各ピクセルに前記移動物体があるかを決定する、ことを特徴とする検出方法。
【請求項２】
前記移動物体領域ブロックの決定後、前記移動物体領域ブロックでないと判定されたブロックについて、前記入力画像に応じて前記背景画像を更新する、請求項１に記載の検出方法。
【請求項３】
前記移動物体領域ブロックの決定は、複数の異なる処理方法に基づいて行われ、前記複数の異なる処理方法による決定結果を統合して前記移動物体領域ブロックが決定される請求項１に記載の検出方法。
【請求項４】
前記複数の異なる処理方法は、少なくとも３つの処理方法を有し、
前記少なくとも３つの処理方法のうち２つ以上の処理方法により前記移動物体を含むと判定されたブロックを前記移動物体領域ブロックとして決定し、
決定した前記移動物体領域ブロックの周囲８ブロックについては、前記少なくとも３つの処理方法のうち１つ以上の処理方法により前記移動物体を含むと判定されたブロックを前記移動物体領域ブロックとして決定する請求項３に記載の検出方法。
【請求項５】
前記複数の異なる処理方法は、
前記ブロックを順にスキャンして、前記入力平均ピクセル値と前記背景平均ピクセル値の差分が、周辺のブロックの差分より大きなブロックを探索し、探索した差分の大きなブロックの近辺の大きな差分のブロックを前記移動物体領域ブロックとして決定する処理方法と、
各ブロックの入力平均ピクセル値が、各ブロックの平均ピクセル値の時系列変化が有すると仮定した複数の正規分布のうち出現頻度の高い分布と一致した場合に背景とし、それ以外の場合を前記移動物体領域ブロックとして決定する処理方法と、
各ブロックの前記入力平均ピクセル値が、各ブロックの前記背景平均ピクセル値の時系列の加重平均と分散により決定された閾値より大きい場合に、前記移動物体領域ブロックとして決定し、前記閾値より小さい場合にはさらに前記入力平均ピクセル値と直前の複数フレームの平均ピクセル値より算出した平均ピクセル値変化の傾きを算出し、過去の平均ピクセル値変化が変化閾値より大きい場合に前記移動物体領域ブロックとして決定する処理方法と、を有する請求項４に記載の検出方法。
【請求項６】
前記移動物体領域ブロック内の各ピクセルごとの前記移動物体の決定は、
各ピクセルの前記入力画像と前記背景画像の差分が、閾値より大きい場合に前記移動物体と判定する背景差分法と、
移動物体領域ブロックにおけるピクセルの前記入力画像のヒストグラムから前記背景画像のヒストグラムの成分を減じた残り成分を、前記移動物体と判定するヒストグラム差分法と、で行われ、
前記背景差分法と前記ヒストグラム差分法の両方で前記移動物体と判定されたピクセルを前記移動物体として決定する請求項１に記載の検出方法。
【請求項７】
動画像における移動物体の検出装置であって、
入力画像を複数のブロックに分割して各ブロックの入力平均ピクセル値を算出する入力画像ブロック化部と、
あらかじめ記憶してある背景画像を前記入力画像のブロックと対応する複数のブロックに分割して各ブロックの背景平均ピクセル値を算出する背景画像ブロック化部、
各ブロックの前記入力平均ピクセル値および前記背景平均ピクセル値から、各ブロックが前記移動物体を含むかを判定し、前記移動物体を含むブロックを移動物体領域ブロックとして決定するブロック処理部と、
前記移動物体領域ブロック内の各ピクセルに前記移動物体があるかを決定するピクセル処理部と、を備えることを特徴とする検出装置。
【請求項８】
入力画像の前記複数のブロックのうち、前記移動物体領域ブロックでないと判定されたブロックについて、前記入力画像に応じて前記背景画像を更新する背景画像更新部をさらに備える請求項７に記載の検出装置。
【請求項９】
前記ブロック処理部は、前記移動物体領域ブロックを決定する複数の異なる処理手段を有し、前記複数の異なる処理手段による決定結果を統合して前記移動物体領域ブロックを決定する請求項７に記載の検出装置。
【請求項１０】
前記複数の異なる処理手段は、少なくとも３つの処理手段を有し、
前記ブロック処理部は、
前記少なくとも３つの処理手段のうち２つ以上の処理手段により前記移動物体を含むと判定されたブロックを前記移動物体領域ブロックとして決定し、
決定した前記移動物体領域ブロックの周囲８ブロックについては、前記少なくとも３つの処理手段のうち１つ以上の処理手段により前記移動物体を含むと判定されたブロックを前記移動物体領域ブロックとして決定する請求項９に記載の検出装置。
【請求項１１】
前記複数の異なる処理手段は、
前記ブロックを順にスキャンして、前記入力平均ピクセル値と前記背景平均ピクセル値の差分が、周辺のブロックの差分より大きなブロックを探索し、探索した差分の大きなブロックの近辺の大きな差分のブロックを前記移動物体領域ブロックとして決定する処理手段と、
各ブロックの入力平均ピクセル値が、各ブロックの平均ピクセル値の時系列変化が有すると仮定した複数の正規分布のうち出現頻度の高い分布と一致した場合に背景とし、それ以外の場合を前記移動物体領域ブロックとして決定する処理手段と、
各ブロックの前記入力平均ピクセル値が、各ブロックの前記背景平均ピクセル値の時系列の加重平均と分散により決定された閾値より大きい場合に、前記移動物体領域ブロックとして決定し、前記閾値より小さい場合にはさらに前記入力平均ピクセル値と直前の複数フレームの平均ピクセル値より算出した平均ピクセル値変化の傾きを算出し、過去の平均ピクセル値変化が変化閾値より大きい場合に前記移動物体領域ブロックとして決定する処理手段と、を有する請求項１０に記載の検出装置。
【請求項１２】
前記ピクセル処理部は、
各ピクセルの前記入力画像と前記背景画像の差分が、閾値より大きい場合に前記移動物体と判定する背景差分手段と、
移動物体領域ブロックにおけるピクセルの前記入力画像のヒストグラムから前記背景画像のヒストグラムの成分を減じた残り成分を、前記移動物体と判定するヒストグラム差分手段と、を有し、
前記背景差分手段と前記ヒストグラム差分手段の両方で前記移動物体と判定されたピクセルを前記移動物体として決定する請求項７に記載の検出装置。
【請求項１３】
監視対象を撮影して動画像信号を生成し、
前記動画像信号を処理して画像内の移動物体を検出する監視方法であって、
前記移動物体の検出は、請求項１から６のいずれか１項に記載の検出方法で行われることを特徴とする監視方法。
【請求項１４】
監視対象を撮影して動画像信号を生成する画像生成部と、
前記動画像信号を処理して、画像内の移動物体を検出する移動物体検出部と、を備える監視システムであって、
前記移動物体検出部は、請求項７から１２のいずれか１項に記載の検出装置であることを特徴とする監視システム。
【請求項１】
動画像における移動物体の検出方法であって、
入力画像を複数のブロックに分割して各ブロックの入力平均ピクセル値を算出し、
あらかじめ記憶してある背景画像を前記入力画像のブロックと対応する複数のブロックに分割して各ブロックの背景平均ピクセル値を算出し、
各ブロックの前記入力平均ピクセル値および前記背景平均ピクセル値から、各ブロックが前記移動物体を含むかを判定し、前記移動物体を含むブロックを移動物体領域ブロックとして決定し、
前記移動物体領域ブロック内の各ピクセルに前記移動物体があるかを決定する、ことを特徴とする検出方法。
【請求項２】
前記移動物体領域ブロックの決定後、前記移動物体領域ブロックでないと判定されたブロックについて、前記入力画像に応じて前記背景画像を更新する、請求項１に記載の検出方法。
【請求項３】
前記移動物体領域ブロックの決定は、複数の異なる処理方法に基づいて行われ、前記複数の異なる処理方法による決定結果を統合して前記移動物体領域ブロックが決定される請求項１に記載の検出方法。
【請求項４】
前記複数の異なる処理方法は、少なくとも３つの処理方法を有し、
前記少なくとも３つの処理方法のうち２つ以上の処理方法により前記移動物体を含むと判定されたブロックを前記移動物体領域ブロックとして決定し、
決定した前記移動物体領域ブロックの周囲８ブロックについては、前記少なくとも３つの処理方法のうち１つ以上の処理方法により前記移動物体を含むと判定されたブロックを前記移動物体領域ブロックとして決定する請求項３に記載の検出方法。
【請求項５】
前記複数の異なる処理方法は、
前記ブロックを順にスキャンして、前記入力平均ピクセル値と前記背景平均ピクセル値の差分が、周辺のブロックの差分より大きなブロックを探索し、探索した差分の大きなブロックの近辺の大きな差分のブロックを前記移動物体領域ブロックとして決定する処理方法と、
各ブロックの入力平均ピクセル値が、各ブロックの平均ピクセル値の時系列変化が有すると仮定した複数の正規分布のうち出現頻度の高い分布と一致した場合に背景とし、それ以外の場合を前記移動物体領域ブロックとして決定する処理方法と、
各ブロックの前記入力平均ピクセル値が、各ブロックの前記背景平均ピクセル値の時系列の加重平均と分散により決定された閾値より大きい場合に、前記移動物体領域ブロックとして決定し、前記閾値より小さい場合にはさらに前記入力平均ピクセル値と直前の複数フレームの平均ピクセル値より算出した平均ピクセル値変化の傾きを算出し、過去の平均ピクセル値変化が変化閾値より大きい場合に前記移動物体領域ブロックとして決定する処理方法と、を有する請求項４に記載の検出方法。
【請求項６】
前記移動物体領域ブロック内の各ピクセルごとの前記移動物体の決定は、
各ピクセルの前記入力画像と前記背景画像の差分が、閾値より大きい場合に前記移動物体と判定する背景差分法と、
移動物体領域ブロックにおけるピクセルの前記入力画像のヒストグラムから前記背景画像のヒストグラムの成分を減じた残り成分を、前記移動物体と判定するヒストグラム差分法と、で行われ、
前記背景差分法と前記ヒストグラム差分法の両方で前記移動物体と判定されたピクセルを前記移動物体として決定する請求項１に記載の検出方法。
【請求項７】
動画像における移動物体の検出装置であって、
入力画像を複数のブロックに分割して各ブロックの入力平均ピクセル値を算出する入力画像ブロック化部と、
あらかじめ記憶してある背景画像を前記入力画像のブロックと対応する複数のブロックに分割して各ブロックの背景平均ピクセル値を算出する背景画像ブロック化部、
各ブロックの前記入力平均ピクセル値および前記背景平均ピクセル値から、各ブロックが前記移動物体を含むかを判定し、前記移動物体を含むブロックを移動物体領域ブロックとして決定するブロック処理部と、
前記移動物体領域ブロック内の各ピクセルに前記移動物体があるかを決定するピクセル処理部と、を備えることを特徴とする検出装置。
【請求項８】
入力画像の前記複数のブロックのうち、前記移動物体領域ブロックでないと判定されたブロックについて、前記入力画像に応じて前記背景画像を更新する背景画像更新部をさらに備える請求項７に記載の検出装置。
【請求項９】
前記ブロック処理部は、前記移動物体領域ブロックを決定する複数の異なる処理手段を有し、前記複数の異なる処理手段による決定結果を統合して前記移動物体領域ブロックを決定する請求項７に記載の検出装置。
【請求項１０】
前記複数の異なる処理手段は、少なくとも３つの処理手段を有し、
前記ブロック処理部は、
前記少なくとも３つの処理手段のうち２つ以上の処理手段により前記移動物体を含むと判定されたブロックを前記移動物体領域ブロックとして決定し、
決定した前記移動物体領域ブロックの周囲８ブロックについては、前記少なくとも３つの処理手段のうち１つ以上の処理手段により前記移動物体を含むと判定されたブロックを前記移動物体領域ブロックとして決定する請求項９に記載の検出装置。
【請求項１１】
前記複数の異なる処理手段は、
前記ブロックを順にスキャンして、前記入力平均ピクセル値と前記背景平均ピクセル値の差分が、周辺のブロックの差分より大きなブロックを探索し、探索した差分の大きなブロックの近辺の大きな差分のブロックを前記移動物体領域ブロックとして決定する処理手段と、
各ブロックの入力平均ピクセル値が、各ブロックの平均ピクセル値の時系列変化が有すると仮定した複数の正規分布のうち出現頻度の高い分布と一致した場合に背景とし、それ以外の場合を前記移動物体領域ブロックとして決定する処理手段と、
各ブロックの前記入力平均ピクセル値が、各ブロックの前記背景平均ピクセル値の時系列の加重平均と分散により決定された閾値より大きい場合に、前記移動物体領域ブロックとして決定し、前記閾値より小さい場合にはさらに前記入力平均ピクセル値と直前の複数フレームの平均ピクセル値より算出した平均ピクセル値変化の傾きを算出し、過去の平均ピクセル値変化が変化閾値より大きい場合に前記移動物体領域ブロックとして決定する処理手段と、を有する請求項１０に記載の検出装置。
【請求項１２】
前記ピクセル処理部は、
各ピクセルの前記入力画像と前記背景画像の差分が、閾値より大きい場合に前記移動物体と判定する背景差分手段と、
移動物体領域ブロックにおけるピクセルの前記入力画像のヒストグラムから前記背景画像のヒストグラムの成分を減じた残り成分を、前記移動物体と判定するヒストグラム差分手段と、を有し、
前記背景差分手段と前記ヒストグラム差分手段の両方で前記移動物体と判定されたピクセルを前記移動物体として決定する請求項７に記載の検出装置。
【請求項１３】
監視対象を撮影して動画像信号を生成し、
前記動画像信号を処理して画像内の移動物体を検出する監視方法であって、
前記移動物体の検出は、請求項１から６のいずれか１項に記載の検出方法で行われることを特徴とする監視方法。
【請求項１４】
監視対象を撮影して動画像信号を生成する画像生成部と、
前記動画像信号を処理して、画像内の移動物体を検出する移動物体検出部と、を備える監視システムであって、
前記移動物体検出部は、請求項７から１２のいずれか１項に記載の検出装置であることを特徴とする監視システム。
【図１】
【図２】
【図３】
【図４】
【図５】
【図６】
【図７】
【図８】
【図９】
【図１０】
【図１１】
【図１２】
【図１３】
【図１４】
【図１５】
【図１６】
【図１７】
【図１８】
【図１９】
【図２】
【図３】
【図４】
【図５】
【図６】
【図７】
【図８】
【図９】
【図１０】
【図１１】
【図１２】
【図１３】
【図１４】
【図１５】
【図１６】
【図１７】
【図１８】
【図１９】
【公開番号】特開２００９−４８２４０（Ｐ２００９−４８２４０Ａ）
【公開日】平成２１年３月５日（２００９．３．５）
【国際特許分類】
【出願番号】特願２００７−２１１０８１（Ｐ２００７−２１１０８１）
【出願日】平成１９年８月１３日（２００７．８．１３）
【新規性喪失の例外の表示】特許法第３０条第１項適用申請有り 平成１９年２月１５日〜１６日 国立大学法人 東京工業大学主催の「大学院社会理工学研究科人間行動システム専攻 平成１８年度修士論文発表会」に文書をもって発表
【出願人】（３０４０２１４１７）国立大学法人東京工業大学 (1,821)
【出願人】（５０７２７３３３４）株式会社トマスシステム (1)
【Ｆターム（参考）】
【公開日】平成２１年３月５日（２００９．３．５）
【国際特許分類】
【出願日】平成１９年８月１３日（２００７．８．１３）
【新規性喪失の例外の表示】特許法第３０条第１項適用申請有り 平成１９年２月１５日〜１６日 国立大学法人 東京工業大学主催の「大学院社会理工学研究科人間行動システム専攻 平成１８年度修士論文発表会」に文書をもって発表
【出願人】（３０４０２１４１７）国立大学法人東京工業大学 (1,821)
【出願人】（５０７２７３３３４）株式会社トマスシステム (1)
【Ｆターム（参考）】
[ Back to top ]