物体検出装置
【課題】人の出入りが多いエリアなど、画像の変化が頻繁に発生する監視エリアにおいて、放置された物体などを精度よく検出する技術を提供することを目的とする。
【解決手段】物体検出装置はカメラから入力された撮像画像から背景画像を生成する。また、撮像画像と背景画像の差分画像の分散を算出し、人物を検出する。物体検出装置は、定期的に背景画像の更新を行うが、人物を検出すると背景画像の更新を中断し、人物を検出しなくなったところで物体の検出処理を行う。物体の検出処理は、現在の画像と背景画像の輝度差分画像を作成し、輝度差分画像から孤立点を除去し、さらに、過去複数フレームの輝度差分画像の論理積画像を作成する。そして、論理積画像から物体領域を抽出する。最後に物体領域について現在のカラー画像と背景のカラー画像の色相を比較し、物体の有無を判定する。
【解決手段】物体検出装置はカメラから入力された撮像画像から背景画像を生成する。また、撮像画像と背景画像の差分画像の分散を算出し、人物を検出する。物体検出装置は、定期的に背景画像の更新を行うが、人物を検出すると背景画像の更新を中断し、人物を検出しなくなったところで物体の検出処理を行う。物体の検出処理は、現在の画像と背景画像の輝度差分画像を作成し、輝度差分画像から孤立点を除去し、さらに、過去複数フレームの輝度差分画像の論理積画像を作成する。そして、論理積画像から物体領域を抽出する。最後に物体領域について現在のカラー画像と背景のカラー画像の色相を比較し、物体の有無を判定する。
【発明の詳細な説明】
【技術分野】
【０００１】
本発明は、監視エリアに設置された盗撮カメラや忘れ物を検出する技術に関する。
【背景技術】
【０００２】
ＡＴＭなどに盗撮カメラが設置される被害が発生している。ＡＴＭでは、利用者が暗証番号の入力を行うため、このような行為は徹底して排除されなければならない。また、ＡＴＭやロビー、カウンターなどに忘れ物が発見されるケースがある。忘れ物を放置しておくと、時間の経過とともに持ち主の手元に戻る可能性は下がる。また、悪意ある者に持ち去られる場合もある。したがって、忘れ物についても早期の発見が重要である。
【０００３】
これら不法な設置物や忘れ物を自動で検出する方法として、撮像画像の解析を行う方法がある。監視エリア内にカメラを設置し、逐次取得される撮像画像と基準となる画像との差分をとることで不正な設置物や忘れ物の検出を行うのである。
【０００４】
特許文献１では、予め監視対象物の存在しない監視エリアの背景画像を取得しておき、この背景画像と任意時間の画像との差分を取得することで、静止物を監視することとしている。
【先行技術文献】
【特許文献】
【０００５】
【特許文献１】特開平６−１０５３１２号公報
【発明の概要】
【発明が解決しようとする課題】
【０００６】
上記のように、背景画像と現在の画像との差分画像を取得し、その差分画像を解析することで放置された物体を検出する方法が提案されている。しかし、これらの方法において、背景画像の精度が物体検出の精度に影響を与えることになる。
【０００７】
上記特許文献１のように、予め背景画像を用意する方法は環境の変動に弱いという問題がある。照明の変化など環境が変動した場合には、監視エリア内の背景画像が変化することになるが、予め用意されている背景画像を固定的に利用している場合には、環境の変化を物体の検出と判断する場合がある。
【０００８】
これに対して、背景画像を定期的に更新する方法がある。これにより、環境の変動に追随して背景画像も更新される。しかし、銀行ＡＴＭなど、人の出入りの多い場所では、背景画像の更新は困難である。複数のフレーム画像から取得した背景画像の平均画像を得る方法などもあるが、人の出入りが多い場所では、精度に問題がある。
【０００９】
そこで、本発明は前記問題点に鑑み、人の出入りが多いエリアなど、画像の変化が頻繁に発生する監視エリアにおいて、放置された物体などを精度よく検出する技術を提供することを目的とする。
【課題を解決するための手段】
【００１０】
上記課題を解決するため、請求項１記載の発明は、監視エリアを撮像する撮像装置と、前記撮像装置から出力された画像から背景画像を取得し、定期的に背景画像の更新を行う更新手段と、前記撮像装置から出力された現在の画像と最新の背景画像との差分画像から孤立点を除去する手段と、孤立点が除去された差分画像をフレーム間隔より長い間隔をおいて複数取得し、それら複数の差分画像の論理積をとることにより生成される論理積画像から物体領域を抽出する手段と、を備えることを特徴とする。
【発明の効果】
【００１１】
本発明の物体検出装置は、孤立点が除去された差分画像をフレーム間隔より長い間隔をおいて複数取得し、それら複数の差分画像の論理積をとることにより生成される論理積画像から物体領域を抽出する。孤立点除去により２次元方向の雑音成分が除去され、論理積演算により時間方向の雑音成分が除去される。さらに、時間間隔のあいたフレームの論理積画像を利用するので、輝度むらの影響を排除することができる。
【図面の簡単な説明】
【００１２】
【図１】ＡＴＭ内に設置された物体検出装置を示す図である。
【図２】ＡＴＭに対向する位置に設置されたカメラの撮像範囲を示す図である。
【図３】物体検出装置のブロック図である。
【図４】画像解析処理のメインフローチャートである。
【図５】背景画像の算出処理のイメージ図である。
【図６】背景画像の更新タイミングを示す図である。
【図７】物体検出処理のフローチャートである。
【発明を実施するための形態】
【００１３】
以下、図面を参照しつつ本発明の実施の形態について説明する。図１は、本実施の形態に係る物体検出装置１が設置された銀行ＡＴＭ室内の図である。ＡＴＭ５は、図１および図２に示すように、パーティション６で囲われている。このように、ＡＴＭ５をパーティション６で囲むことにより、利用者７がＡＴＭ５を操作する際に、暗証番号の入力操作などが外部から見えないようにしている。
【００１４】
そして、本実施の形態の物体検出装置１は、カメラ２と制御装置３とから構成されており、カメラ２が図１および図２に示すように、ＡＴＭ５と対向する位置に配置されている。そして、カメラ２が、ＡＴＭ５を正面から撮像するように位置調整されている。言い換えると、利用者７がＡＴＭ５を操作している際には、カメラ２は、利用者７の背中側から撮像を行い、利用者７とＡＭＴ５が撮像範囲に収まるように位置、角度調整されている。
【００１５】
図１および図２で示したカメラ２の設置位置、設置角度などは一例である。このカメラ２は、このＡＴＭ５の１つのブースを撮像範囲に収めればよいので、たとえば、ＡＴＭ５の真上にカメラ２を設置し、カメラ２がＡＴＭ５を上方から撮像するような形態であってもよい。
【００１６】
図３は、制御装置３のブロック図である。制御装置３は、ＡＴＭ５が設置されている部屋とは別の場所に設置されている。そして、制御装置３とカメラ２とは映像ケーブルで接続されている。
【００１７】
制御装置３は、図に示すように、画像処理部３１、バッファメモリ３２、背景画像更新部３３、人物検出部３４、物体検出部３５、背景画像メモリ３６、通知部３７、ワークメモリ３８を備えている。画像解析に関わる処理部３１，３３，３４，３５は、ハードウェアで構成されていてもよいし、ＣＰＵ上で動作するソフトウェアで実現されていてもよい。また、処理部の一部がハードウェアで構成されていてもよい。
【００１８】
画像処理部３１は、映像ケーブルを介してカメラ２から出力された画像信号を入力する。画像処理部３１は、カメラ２から出力されたアナログの画像信号に画像処理を施した後、Ａ／Ｄ変換する。さらに、デジタルの画像信号に対して画像処理を施して撮像画像データ４１を生成し、撮像画像データ４１をバッファメモリ３２に格納する。撮像画像データ４１は、カラーの画像データである。たとえば、ＲＧＢ色成分を有するカラー画像データである。また、撮像輝度画像データ４２は、撮像画像データ４１の輝度成分から生成されるデータである。たとえば、撮像画像データ４１がＲＧＢ画像データである場合には、このＲＧＢ画像データをＹＣｒＣｂ画像データに変換して、輝度成分（Ｙ成分）を取得する。
【００１９】
背景画像更新部３３は、バッファメモリ３２に格納された撮像画像データ４１および撮像輝度画像データ４２から背景画像データ４３および背景輝度画像データ４４を生成し、背景画像メモリ３６に格納する。背景画像データ４３は、カラー画像データである。背景画像更新部３３は、所定の時間間隔をおいて定期的に背景画像データ４３および背景輝度画像データ４４（これらを総称して単に背景画像と呼ぶことにする。）を作成し、背景画像メモリ３６に格納している背景画像の更新を行う。
【００２０】
ただし、後で詳しく説明するが、制御装置３がＡＴＭ室内の人物を検出している間は、背景画像更新部３３は、背景画像データ４３および背景輝度画像データ４４の更新を行わない。また、人物を検出しなくなってからも、物体検出処理中においては、背景画像の更新は行わない。
【００２１】
人物検出部３４は、バッファメモリ３２に格納されている撮像画像データ４１と背景画像メモリ３６に格納されている背景画像データ４３とからカメラ２の撮像範囲内にいる人物を検出する。
【００２２】
人物の検出アルゴリズムは特に限定されるものではない。本実施の形態においては、人物検出部３４は、撮像輝度画像データ４２と背景輝度画像データ４４との差分画像データを生成し、この差分画像データの分散状態により人物を検出する。つまり、差分画像データの各画素の輝度値について分散を算出し、分散が所定の閾値を超えた場合に人物が存在すると判定するのである。あるいは、撮像画像データ４１と背景画像データ４３との差分画像データ（ある色成分について）を生成し、この差分画像データの分散状態より人物を検出するようにしてもよい。
【００２３】
本実施の形態においては、上述したように、カメラ２は、１つのＡＴＭ５のブースを大きく撮像するようにしている。つまり、ＡＴＭ室内の全体（複数のＡＴＭが配列されていれば、それら全体）を撮像するのではなく、１つのＡＴＭ５が収まる範囲を撮像範囲としている。したがって、ＡＴＭ５の前に利用者７が立っている場合には、差分画像データの分散が非常に大きくなるので、精度よく人物を検出することが可能である。
【００２４】
物体検出部３５は、バッファメモリ３２に格納されている撮像画像データ４１および撮像輝度画像データ４２と、背景画像メモリ３６に格納されている背景画像データ４３および背景輝度画像データ４４とからＡＴＭ室内に不正に設置された盗撮カメラや、置き忘れられた物などを検出する。物体検出部３５の物体検出アルゴリズムについては、後で詳しく説明する。
【００２５】
通知部３７は、ネットワークを介してセンタ８に接続しており、物体検出部３５が物体を検出したときにセンタ８に対して物体検出情報を送信する。あるいは、通知部３７は、銀行ＡＴＭに隣接している銀行店舗内に物体検出情報を送信する。これにより、不正に設置された盗撮カメラや忘れ物を早期に回収することが可能である。
【００２６】
以上の通り構成された物体検出装置１による背景更新処理、人物更新処理、物体検出処理の流れについて、図４ないし図７を参照しながら説明する。図４は、物体検出装置１において実行される画像解析処理のメインフローチャートである。
【００２７】
まず、物体検出装置１は、カメラ２より撮像画像を入力する（ステップＳ１１）。たとえば、カメラ２は、３０フレーム／秒などのフレームレートで撮像画像を出力する。この撮像画像はたとえばＲＧＢなどのカラー画像である。画像処理部３１は、入力した画像信号に画像処理を施した後、撮像画像データ４１としてバッファメモリ３２に格納する。バッファメモリ３２には、過去所定時間分（所定フレーム数分）の撮像画像データ４１が蓄積される。
【００２８】
次に、人物検出部３４が、バッファメモリ３２に格納されている撮像輝度画像データ４２と背景画像メモリ３６に格納されている背景輝度画像データ４４とから人物検出処理を実行する（ステップＳ１２）。上述したように、本実施の形態においては、人物検出部３４は、撮像輝度画像データ４２と背景輝度画像データ４４との差分画像の分散を算出することで、人物の有無を判定する。あるいは、撮像画像データ４１と背景画像データ４３との差分画像の分散を算出して、人物の有無を検出する。
【００２９】
そして、人物検出部３４において人物を検出しなかった場合（ステップＳ１３でＮＯ）、背景画像の更新タイミングであるかどうかを判定する（ステップＳ１４）。まだ、背景画像の更新タイミングでない場合にはステップＳ１１に戻る。背景画像の更新タイミングが経過している場合には、背景画像更新部３３により背景画像データ４３および背景輝度画像データ４４の更新処理が行われる（ステップＳ１５）。
【００３０】
図５は、背景画像更新部３３による背景画像更新処理の処理イメージ図である。本実施の形態において背景画像更新部３３は、複数フレームの撮像輝度画像データ４２を利用して背景輝度画像データ４４を生成する。
【００３１】
具体的には、複数の撮像輝度画像データ４２，４２・・・の各画素位置の輝度値（濃度）をソートし、その中間値を当該画素の輝度値とする背景輝度画像データ４４を生成するのである。つまり、複数フレームの撮像輝度画像データ４２について、ある画素位置（座標位置）に注目し、その画素位置の輝度値を小さいものから順に並べ替える。そして、ソートされた輝度値の中で中間値の値をとる輝度値を、当該画素について背景輝度値として採用するのである。
【００３２】
このようにして作成された背景輝度画像データ４４は背景画像メモリ３６に格納される。ただし、カメラ２から出力された全ての撮像画像データ４１（たとえば３０フレーム／秒の撮像画像データ４１）を全て用いて計算するのではなく、所定のフレーム間隔で撮像画像データ４１を抽出して撮像輝度画像データ４２を生成し、その間引かれた撮像輝度画像データ４２から背景輝度画像データ４４を生成するようにしている。このようにして処理の高速化を図っている。また、背景輝度画像データ４４を生成するために用いる撮像画像データ４１のフレーム数は、バッファメモリ３２に格納されている全てのフレームを利用してもよいし、その一部のフレームを利用してもよい。
【００３３】
なお、背景輝度画像データ４４の生成方法は、上記の方法に限定されるものではない。ステップＳ１３で人物を検出しないことを判定しているので、最新の撮像輝度画像データ４２をそのまま背景輝度画像データ４４として更新してもよい。
【００３４】
背景画像データ４３についても、最新の撮像画像データ４１をそのまま採用してもよい。この場合には、最新の撮像画像データ４１を背景画像データ４３として背景画像メモリ３６に格納する。あるいは、過去複数フレームの撮像画像データ４１の平均値を求めて背景画像データ４３を作成してもよい。また、撮像輝度画像データ４４を作成した処理と同様の処理を行って、背景画像データ４３を作成してもよい。つまり、輝度成分のみならず、色成分についても複数フレームの画素の中間値を求め、その中間値を用いて背景画像データ４３を作成してもよい。
【００３５】
ステップＳ１３において人物を検出していると判定した場合、人物検出部３４は、人物を検出しなくなるまで、判定を繰り返す（ステップＳ１６）。そして、人物を検出しなくなった時点で物体検出処理（ステップＳ１７）に移行する。
【００３６】
このように、本実施の形態の物体検出装置１は、人物を検出していない場合のみ背景画像データ４３および背景輝度画像データ４４の更新を行い、人物を検出している間は背景画像データ４３および背景輝度画像データ４４の更新を行わず、また、物体検出処理も開始しない。図６は、人物検出と背景画像の更新タイミングを表した図である。図に示すように、人物検出前においては、所定の時間間隔で背景画像を更新する。そして、人物検出中においては、背景画像の更新タイミングが経過しても背景画像データ４３および背景輝度画像データ４４の更新を行わないようにしている。つまり、人物検出前の背景画像データ４３および背景輝度画像データ４４が最新のものとして保存されるのである。人物検出処理においても、人物が検出されていない直近の背景画像が利用される。さらに、この後、物体検出処理（ステップＳ１７）が実行されるが、この間も背景画像の更新は行われない。
【００３７】
次に、図７を参照しつつ物体検出部３５により実行される物体検出処理の流れについて説明する。物体検出部３５は、まず、背景用の輝度エッジ画像を作成する（ステップＳ２１）。たとえば、背景画像メモリ３６に格納されている背景輝度画像データ４４に８隣接ラプラシアンフィルタを施し、輝度エッジ画像を作成するのである。
【００３８】
次に、ステップＳ２１で作成した輝度エッジ画像を２値化する（ステップＳ２２）。つまり、所定の閾値と輝度エッジ画像の各画素の輝度値を比較し、閾値以下の輝度値を持つ画素に“０”を、閾値を上回る輝度値を持つ画素に“１”を割り当てる。
【００３９】
次に、バッファメモリ３２に格納されている最新の撮像輝度画像データ４２に対して輝度エッジ画像を作成する（ステップＳ２３）。たとえば、撮像輝度画像データ４２に８隣接ラプラシアンフィルタを施し、輝度エッジ画像を作成する。
【００４０】
次に、ステップＳ２３で作成した輝度エッジ画像についても２値化する（ステップＳ２４）。処理の内容はステップＳ２２と同様である。
【００４１】
そして、ステップＳ２２で作成された背景２値化画像とステップＳ２４で作成された現在の２値化画像との差分画像を作成する（ステップＳ２５）。ここで、背景輝度画像データ４４は、人物を検出する前に更新されていたものである。したがって、人物検出前に存在しなかった盗撮カメラや忘れ物がＡＴＭ内に残されている場合には、この差分画像にそれら物体が含まれることになる。
【００４２】
次に、物体検出部３５は、差分画像から孤立点除去を行う（ステップＳ２６）。これにより、差分画像から雑音成分が取り除かれる。ステップＳ２６において、作成された孤立点除去された差分画像はワークメモリ３８に保存される。ワークメモリ３８には、過去所定フレーム分の孤立点除去された差分画像が保存されている。
【００４３】
次に、物体検出部３５は、ワークメモリ３８に保存されている過去３フレーム分の孤立点除去された差分画像の論理積画像を作成する（ステップＳ２７）。上述したように、差分画像は２値化された画像の差分画像であるので、差分画像も２値化画像である（差分が負の符号の場合も正の符号に変換されるものとする。）。したがって、ステップＳ２７では、各画素位置の画素について、輝度値が３フレーム全て“１”である画素のみ、論理積画像の輝度値として“１”が割り当てられる。
【００４４】
また、本実施の形態において、論理積画像を作成するために使用する３フレームの差分画像は、所定の時間間隔を持った差分画像である。つまり、ステップＳ２１からステップＳ２６までの処理は、バッファメモリ３２に格納される最新の撮像輝度画像データ４２に対してそれぞれ処理されるので、ステップＳ２６にワークメモリに格納される差分画像も撮像画像データ４１と同じフレームレートで保存される。しかし、物体検出部３５が、論理積画像を作成する際には、連続するフレームの差分画像に対して処理を行うのではなく、フレーム間引きされた差分画像に対して論理積画像を作成するのである。このように、時間間隔の空いた差分画像から論理積画像を作成するので、輝度むらなどの影響が排除され、定常的に存在する差分成分のみを抽出可能である。
【００４５】
また、上記のように、物体検出部３５は、孤立点除去処理をした後に、論理積画像を作成するようにしている。したがって、孤立点除去処理により２次元領域の雑音成分が除去され、論理積画像作成処理により、時間方向の雑音成分が除去される。
【００４６】
次に、物体検出部３５は、論理積画像のセグメント化を行い、物体領域を抽出する（ステップＳ２８）。つまり、論理積画像において、輝度値が“１”の画素が連続する領域を抽出するのである。たとえば、丸い物体がＡＴＭ内に放置されていたならば、論理積画像の中には、輝度値が“１”である画素集合が円状の領域として抽出される。このようにして、人物検出前に存在しなかった物体の領域が検出される。
【００４７】
さらに、物体検出部３５は、ステップＳ２８において抽出された物体領域について、撮像画像データ４１と背景画像データ４３の色相を比較する（ステップＳ２９）。つまり、カラー画像データである撮像画像データ４１と背景画像データ４３を用いて、背景と現在の画像の色相を比較するのである。そして、色相の変化が一定以上検出された場合、ステップＳ２８で求められた物体領域には物体が存在すると判定するのである（ステップＳ３０）。たとえば、カラー画像がＲＧＢ画像であれば、赤色（Ｒ）や青色（Ｂ）の画素成分についてセグメント化された領域の画素値の差を求め、画素値の差が閾値以上である場合に物体が存在すると判断する。あるいは、カラー画像がＹＣｒＣｂ画像であれば、Ｃｒ、Ｃｂ成分で比較すればよい。
【００４８】
このように、ステップＳ２１〜ステップＳ２８により、輝度成分を用いて物体領域を検出した後、さらに、その物体領域についてカラー成分を比較して物体の存在を判定するようにしている。これにより、照明の変化などにより、誤って物体を検出することを防止できる。つまり、輝度成分のみの判定では、照明、日差しなど輝度の変化により物体領域を検出してしまう可能性があるが、この領域について色成分の比較を行うことで、より精度よく物体の検出を行うようにしている。
【００４９】
物体を検出した場合（ステップＳ３０でＹＥＳ）、通知部３７により、物体検出情報がセンタ８に通報される。あるいは、通知部３７により、隣接する銀行店舗内に物体検出情報が通知される。これにより、たとえば、盗撮カメラが設置されている場合には、早急に盗撮カメラの除去を行うことが可能である。また、忘れ物を早期に発見することが可能である。
【００５０】
再び、図４のフローチャートに戻る。物体検出処理（ステップＳ１７）が終了すると、物体検出装置１は、再び、ステップＳ１１に戻り処理を開始する。そして、人物を検出していなければ、背景画像の更新を行うのである。このように、人物検出中および物体検出処理中には、背景画像の更新は行わず、物体検出処理が終了してから背景画像の更新を行うようにしている（図６参照）。これにより、人物や物体が含まれる画像から背景画像が作成されることはなく、適切な背景画像を取得して、更新することが可能である。
【００５１】
以上の通り本実施の形態の物体検出装置１を用いることにより、ＡＴＭなどの監視エリアに不正に設置された物や忘れ物を精度よく検出することが可能である。特に、人物が検出された場合には、背景画像の更新を中断するとともに、物体の検出処理も行わない。人物を検出しなくなった時点で物体の検出処理を開始するのである。また、物体の検出処理中においても背景画像の更新は行わない。これにより、人物や物体の存在しない状態で適切な背景画像を取得可能である。
【００５２】
また、人物を検出した後に物体の検出処理を実行するので効率がよい。つまり、監視エリア内に物体が放置される場合には、その前に物体を放置した人物が訪れたはずである。そこで、人物を検出していない間には、背景画像の更新のみを行い、物体検出処理は行わないのである。これにより、物体検出処理の実行を必要最小限に留めることができる。
【００５３】
上記実施の形態においては、単一のＡＴＭ５を撮像範囲として、物体検出を行った。しかし、これは一例であり、たとえば、２台のＡＴＭ５を撮像範囲に入れて物体検出処理を行っても良い。この場合には、たとえば、画面中央で撮像画像データを２つに分割し、それぞれの領域について上記実施の形態と同様の処理を実行すればよい。あるいは、４台のＡＴＭ５を撮像範囲に入れて、画像を４分割して同様の処理を実行してもよい。
【符号の説明】
【００５４】
１ 物体検出装置
２ カメラ
３ 制御装置
５ ＡＴＭ
６ パーティション
７ 利用者
【技術分野】
【０００１】
本発明は、監視エリアに設置された盗撮カメラや忘れ物を検出する技術に関する。
【背景技術】
【０００２】
ＡＴＭなどに盗撮カメラが設置される被害が発生している。ＡＴＭでは、利用者が暗証番号の入力を行うため、このような行為は徹底して排除されなければならない。また、ＡＴＭやロビー、カウンターなどに忘れ物が発見されるケースがある。忘れ物を放置しておくと、時間の経過とともに持ち主の手元に戻る可能性は下がる。また、悪意ある者に持ち去られる場合もある。したがって、忘れ物についても早期の発見が重要である。
【０００３】
これら不法な設置物や忘れ物を自動で検出する方法として、撮像画像の解析を行う方法がある。監視エリア内にカメラを設置し、逐次取得される撮像画像と基準となる画像との差分をとることで不正な設置物や忘れ物の検出を行うのである。
【０００４】
特許文献１では、予め監視対象物の存在しない監視エリアの背景画像を取得しておき、この背景画像と任意時間の画像との差分を取得することで、静止物を監視することとしている。
【先行技術文献】
【特許文献】
【０００５】
【特許文献１】特開平６−１０５３１２号公報
【発明の概要】
【発明が解決しようとする課題】
【０００６】
上記のように、背景画像と現在の画像との差分画像を取得し、その差分画像を解析することで放置された物体を検出する方法が提案されている。しかし、これらの方法において、背景画像の精度が物体検出の精度に影響を与えることになる。
【０００７】
上記特許文献１のように、予め背景画像を用意する方法は環境の変動に弱いという問題がある。照明の変化など環境が変動した場合には、監視エリア内の背景画像が変化することになるが、予め用意されている背景画像を固定的に利用している場合には、環境の変化を物体の検出と判断する場合がある。
【０００８】
これに対して、背景画像を定期的に更新する方法がある。これにより、環境の変動に追随して背景画像も更新される。しかし、銀行ＡＴＭなど、人の出入りの多い場所では、背景画像の更新は困難である。複数のフレーム画像から取得した背景画像の平均画像を得る方法などもあるが、人の出入りが多い場所では、精度に問題がある。
【０００９】
そこで、本発明は前記問題点に鑑み、人の出入りが多いエリアなど、画像の変化が頻繁に発生する監視エリアにおいて、放置された物体などを精度よく検出する技術を提供することを目的とする。
【課題を解決するための手段】
【００１０】
上記課題を解決するため、請求項１記載の発明は、監視エリアを撮像する撮像装置と、前記撮像装置から出力された画像から背景画像を取得し、定期的に背景画像の更新を行う更新手段と、前記撮像装置から出力された現在の画像と最新の背景画像との差分画像から孤立点を除去する手段と、孤立点が除去された差分画像をフレーム間隔より長い間隔をおいて複数取得し、それら複数の差分画像の論理積をとることにより生成される論理積画像から物体領域を抽出する手段と、を備えることを特徴とする。
【発明の効果】
【００１１】
本発明の物体検出装置は、孤立点が除去された差分画像をフレーム間隔より長い間隔をおいて複数取得し、それら複数の差分画像の論理積をとることにより生成される論理積画像から物体領域を抽出する。孤立点除去により２次元方向の雑音成分が除去され、論理積演算により時間方向の雑音成分が除去される。さらに、時間間隔のあいたフレームの論理積画像を利用するので、輝度むらの影響を排除することができる。
【図面の簡単な説明】
【００１２】
【図１】ＡＴＭ内に設置された物体検出装置を示す図である。
【図２】ＡＴＭに対向する位置に設置されたカメラの撮像範囲を示す図である。
【図３】物体検出装置のブロック図である。
【図４】画像解析処理のメインフローチャートである。
【図５】背景画像の算出処理のイメージ図である。
【図６】背景画像の更新タイミングを示す図である。
【図７】物体検出処理のフローチャートである。
【発明を実施するための形態】
【００１３】
以下、図面を参照しつつ本発明の実施の形態について説明する。図１は、本実施の形態に係る物体検出装置１が設置された銀行ＡＴＭ室内の図である。ＡＴＭ５は、図１および図２に示すように、パーティション６で囲われている。このように、ＡＴＭ５をパーティション６で囲むことにより、利用者７がＡＴＭ５を操作する際に、暗証番号の入力操作などが外部から見えないようにしている。
【００１４】
そして、本実施の形態の物体検出装置１は、カメラ２と制御装置３とから構成されており、カメラ２が図１および図２に示すように、ＡＴＭ５と対向する位置に配置されている。そして、カメラ２が、ＡＴＭ５を正面から撮像するように位置調整されている。言い換えると、利用者７がＡＴＭ５を操作している際には、カメラ２は、利用者７の背中側から撮像を行い、利用者７とＡＭＴ５が撮像範囲に収まるように位置、角度調整されている。
【００１５】
図１および図２で示したカメラ２の設置位置、設置角度などは一例である。このカメラ２は、このＡＴＭ５の１つのブースを撮像範囲に収めればよいので、たとえば、ＡＴＭ５の真上にカメラ２を設置し、カメラ２がＡＴＭ５を上方から撮像するような形態であってもよい。
【００１６】
図３は、制御装置３のブロック図である。制御装置３は、ＡＴＭ５が設置されている部屋とは別の場所に設置されている。そして、制御装置３とカメラ２とは映像ケーブルで接続されている。
【００１７】
制御装置３は、図に示すように、画像処理部３１、バッファメモリ３２、背景画像更新部３３、人物検出部３４、物体検出部３５、背景画像メモリ３６、通知部３７、ワークメモリ３８を備えている。画像解析に関わる処理部３１，３３，３４，３５は、ハードウェアで構成されていてもよいし、ＣＰＵ上で動作するソフトウェアで実現されていてもよい。また、処理部の一部がハードウェアで構成されていてもよい。
【００１８】
画像処理部３１は、映像ケーブルを介してカメラ２から出力された画像信号を入力する。画像処理部３１は、カメラ２から出力されたアナログの画像信号に画像処理を施した後、Ａ／Ｄ変換する。さらに、デジタルの画像信号に対して画像処理を施して撮像画像データ４１を生成し、撮像画像データ４１をバッファメモリ３２に格納する。撮像画像データ４１は、カラーの画像データである。たとえば、ＲＧＢ色成分を有するカラー画像データである。また、撮像輝度画像データ４２は、撮像画像データ４１の輝度成分から生成されるデータである。たとえば、撮像画像データ４１がＲＧＢ画像データである場合には、このＲＧＢ画像データをＹＣｒＣｂ画像データに変換して、輝度成分（Ｙ成分）を取得する。
【００１９】
背景画像更新部３３は、バッファメモリ３２に格納された撮像画像データ４１および撮像輝度画像データ４２から背景画像データ４３および背景輝度画像データ４４を生成し、背景画像メモリ３６に格納する。背景画像データ４３は、カラー画像データである。背景画像更新部３３は、所定の時間間隔をおいて定期的に背景画像データ４３および背景輝度画像データ４４（これらを総称して単に背景画像と呼ぶことにする。）を作成し、背景画像メモリ３６に格納している背景画像の更新を行う。
【００２０】
ただし、後で詳しく説明するが、制御装置３がＡＴＭ室内の人物を検出している間は、背景画像更新部３３は、背景画像データ４３および背景輝度画像データ４４の更新を行わない。また、人物を検出しなくなってからも、物体検出処理中においては、背景画像の更新は行わない。
【００２１】
人物検出部３４は、バッファメモリ３２に格納されている撮像画像データ４１と背景画像メモリ３６に格納されている背景画像データ４３とからカメラ２の撮像範囲内にいる人物を検出する。
【００２２】
人物の検出アルゴリズムは特に限定されるものではない。本実施の形態においては、人物検出部３４は、撮像輝度画像データ４２と背景輝度画像データ４４との差分画像データを生成し、この差分画像データの分散状態により人物を検出する。つまり、差分画像データの各画素の輝度値について分散を算出し、分散が所定の閾値を超えた場合に人物が存在すると判定するのである。あるいは、撮像画像データ４１と背景画像データ４３との差分画像データ（ある色成分について）を生成し、この差分画像データの分散状態より人物を検出するようにしてもよい。
【００２３】
本実施の形態においては、上述したように、カメラ２は、１つのＡＴＭ５のブースを大きく撮像するようにしている。つまり、ＡＴＭ室内の全体（複数のＡＴＭが配列されていれば、それら全体）を撮像するのではなく、１つのＡＴＭ５が収まる範囲を撮像範囲としている。したがって、ＡＴＭ５の前に利用者７が立っている場合には、差分画像データの分散が非常に大きくなるので、精度よく人物を検出することが可能である。
【００２４】
物体検出部３５は、バッファメモリ３２に格納されている撮像画像データ４１および撮像輝度画像データ４２と、背景画像メモリ３６に格納されている背景画像データ４３および背景輝度画像データ４４とからＡＴＭ室内に不正に設置された盗撮カメラや、置き忘れられた物などを検出する。物体検出部３５の物体検出アルゴリズムについては、後で詳しく説明する。
【００２５】
通知部３７は、ネットワークを介してセンタ８に接続しており、物体検出部３５が物体を検出したときにセンタ８に対して物体検出情報を送信する。あるいは、通知部３７は、銀行ＡＴＭに隣接している銀行店舗内に物体検出情報を送信する。これにより、不正に設置された盗撮カメラや忘れ物を早期に回収することが可能である。
【００２６】
以上の通り構成された物体検出装置１による背景更新処理、人物更新処理、物体検出処理の流れについて、図４ないし図７を参照しながら説明する。図４は、物体検出装置１において実行される画像解析処理のメインフローチャートである。
【００２７】
まず、物体検出装置１は、カメラ２より撮像画像を入力する（ステップＳ１１）。たとえば、カメラ２は、３０フレーム／秒などのフレームレートで撮像画像を出力する。この撮像画像はたとえばＲＧＢなどのカラー画像である。画像処理部３１は、入力した画像信号に画像処理を施した後、撮像画像データ４１としてバッファメモリ３２に格納する。バッファメモリ３２には、過去所定時間分（所定フレーム数分）の撮像画像データ４１が蓄積される。
【００２８】
次に、人物検出部３４が、バッファメモリ３２に格納されている撮像輝度画像データ４２と背景画像メモリ３６に格納されている背景輝度画像データ４４とから人物検出処理を実行する（ステップＳ１２）。上述したように、本実施の形態においては、人物検出部３４は、撮像輝度画像データ４２と背景輝度画像データ４４との差分画像の分散を算出することで、人物の有無を判定する。あるいは、撮像画像データ４１と背景画像データ４３との差分画像の分散を算出して、人物の有無を検出する。
【００２９】
そして、人物検出部３４において人物を検出しなかった場合（ステップＳ１３でＮＯ）、背景画像の更新タイミングであるかどうかを判定する（ステップＳ１４）。まだ、背景画像の更新タイミングでない場合にはステップＳ１１に戻る。背景画像の更新タイミングが経過している場合には、背景画像更新部３３により背景画像データ４３および背景輝度画像データ４４の更新処理が行われる（ステップＳ１５）。
【００３０】
図５は、背景画像更新部３３による背景画像更新処理の処理イメージ図である。本実施の形態において背景画像更新部３３は、複数フレームの撮像輝度画像データ４２を利用して背景輝度画像データ４４を生成する。
【００３１】
具体的には、複数の撮像輝度画像データ４２，４２・・・の各画素位置の輝度値（濃度）をソートし、その中間値を当該画素の輝度値とする背景輝度画像データ４４を生成するのである。つまり、複数フレームの撮像輝度画像データ４２について、ある画素位置（座標位置）に注目し、その画素位置の輝度値を小さいものから順に並べ替える。そして、ソートされた輝度値の中で中間値の値をとる輝度値を、当該画素について背景輝度値として採用するのである。
【００３２】
このようにして作成された背景輝度画像データ４４は背景画像メモリ３６に格納される。ただし、カメラ２から出力された全ての撮像画像データ４１（たとえば３０フレーム／秒の撮像画像データ４１）を全て用いて計算するのではなく、所定のフレーム間隔で撮像画像データ４１を抽出して撮像輝度画像データ４２を生成し、その間引かれた撮像輝度画像データ４２から背景輝度画像データ４４を生成するようにしている。このようにして処理の高速化を図っている。また、背景輝度画像データ４４を生成するために用いる撮像画像データ４１のフレーム数は、バッファメモリ３２に格納されている全てのフレームを利用してもよいし、その一部のフレームを利用してもよい。
【００３３】
なお、背景輝度画像データ４４の生成方法は、上記の方法に限定されるものではない。ステップＳ１３で人物を検出しないことを判定しているので、最新の撮像輝度画像データ４２をそのまま背景輝度画像データ４４として更新してもよい。
【００３４】
背景画像データ４３についても、最新の撮像画像データ４１をそのまま採用してもよい。この場合には、最新の撮像画像データ４１を背景画像データ４３として背景画像メモリ３６に格納する。あるいは、過去複数フレームの撮像画像データ４１の平均値を求めて背景画像データ４３を作成してもよい。また、撮像輝度画像データ４４を作成した処理と同様の処理を行って、背景画像データ４３を作成してもよい。つまり、輝度成分のみならず、色成分についても複数フレームの画素の中間値を求め、その中間値を用いて背景画像データ４３を作成してもよい。
【００３５】
ステップＳ１３において人物を検出していると判定した場合、人物検出部３４は、人物を検出しなくなるまで、判定を繰り返す（ステップＳ１６）。そして、人物を検出しなくなった時点で物体検出処理（ステップＳ１７）に移行する。
【００３６】
このように、本実施の形態の物体検出装置１は、人物を検出していない場合のみ背景画像データ４３および背景輝度画像データ４４の更新を行い、人物を検出している間は背景画像データ４３および背景輝度画像データ４４の更新を行わず、また、物体検出処理も開始しない。図６は、人物検出と背景画像の更新タイミングを表した図である。図に示すように、人物検出前においては、所定の時間間隔で背景画像を更新する。そして、人物検出中においては、背景画像の更新タイミングが経過しても背景画像データ４３および背景輝度画像データ４４の更新を行わないようにしている。つまり、人物検出前の背景画像データ４３および背景輝度画像データ４４が最新のものとして保存されるのである。人物検出処理においても、人物が検出されていない直近の背景画像が利用される。さらに、この後、物体検出処理（ステップＳ１７）が実行されるが、この間も背景画像の更新は行われない。
【００３７】
次に、図７を参照しつつ物体検出部３５により実行される物体検出処理の流れについて説明する。物体検出部３５は、まず、背景用の輝度エッジ画像を作成する（ステップＳ２１）。たとえば、背景画像メモリ３６に格納されている背景輝度画像データ４４に８隣接ラプラシアンフィルタを施し、輝度エッジ画像を作成するのである。
【００３８】
次に、ステップＳ２１で作成した輝度エッジ画像を２値化する（ステップＳ２２）。つまり、所定の閾値と輝度エッジ画像の各画素の輝度値を比較し、閾値以下の輝度値を持つ画素に“０”を、閾値を上回る輝度値を持つ画素に“１”を割り当てる。
【００３９】
次に、バッファメモリ３２に格納されている最新の撮像輝度画像データ４２に対して輝度エッジ画像を作成する（ステップＳ２３）。たとえば、撮像輝度画像データ４２に８隣接ラプラシアンフィルタを施し、輝度エッジ画像を作成する。
【００４０】
次に、ステップＳ２３で作成した輝度エッジ画像についても２値化する（ステップＳ２４）。処理の内容はステップＳ２２と同様である。
【００４１】
そして、ステップＳ２２で作成された背景２値化画像とステップＳ２４で作成された現在の２値化画像との差分画像を作成する（ステップＳ２５）。ここで、背景輝度画像データ４４は、人物を検出する前に更新されていたものである。したがって、人物検出前に存在しなかった盗撮カメラや忘れ物がＡＴＭ内に残されている場合には、この差分画像にそれら物体が含まれることになる。
【００４２】
次に、物体検出部３５は、差分画像から孤立点除去を行う（ステップＳ２６）。これにより、差分画像から雑音成分が取り除かれる。ステップＳ２６において、作成された孤立点除去された差分画像はワークメモリ３８に保存される。ワークメモリ３８には、過去所定フレーム分の孤立点除去された差分画像が保存されている。
【００４３】
次に、物体検出部３５は、ワークメモリ３８に保存されている過去３フレーム分の孤立点除去された差分画像の論理積画像を作成する（ステップＳ２７）。上述したように、差分画像は２値化された画像の差分画像であるので、差分画像も２値化画像である（差分が負の符号の場合も正の符号に変換されるものとする。）。したがって、ステップＳ２７では、各画素位置の画素について、輝度値が３フレーム全て“１”である画素のみ、論理積画像の輝度値として“１”が割り当てられる。
【００４４】
また、本実施の形態において、論理積画像を作成するために使用する３フレームの差分画像は、所定の時間間隔を持った差分画像である。つまり、ステップＳ２１からステップＳ２６までの処理は、バッファメモリ３２に格納される最新の撮像輝度画像データ４２に対してそれぞれ処理されるので、ステップＳ２６にワークメモリに格納される差分画像も撮像画像データ４１と同じフレームレートで保存される。しかし、物体検出部３５が、論理積画像を作成する際には、連続するフレームの差分画像に対して処理を行うのではなく、フレーム間引きされた差分画像に対して論理積画像を作成するのである。このように、時間間隔の空いた差分画像から論理積画像を作成するので、輝度むらなどの影響が排除され、定常的に存在する差分成分のみを抽出可能である。
【００４５】
また、上記のように、物体検出部３５は、孤立点除去処理をした後に、論理積画像を作成するようにしている。したがって、孤立点除去処理により２次元領域の雑音成分が除去され、論理積画像作成処理により、時間方向の雑音成分が除去される。
【００４６】
次に、物体検出部３５は、論理積画像のセグメント化を行い、物体領域を抽出する（ステップＳ２８）。つまり、論理積画像において、輝度値が“１”の画素が連続する領域を抽出するのである。たとえば、丸い物体がＡＴＭ内に放置されていたならば、論理積画像の中には、輝度値が“１”である画素集合が円状の領域として抽出される。このようにして、人物検出前に存在しなかった物体の領域が検出される。
【００４７】
さらに、物体検出部３５は、ステップＳ２８において抽出された物体領域について、撮像画像データ４１と背景画像データ４３の色相を比較する（ステップＳ２９）。つまり、カラー画像データである撮像画像データ４１と背景画像データ４３を用いて、背景と現在の画像の色相を比較するのである。そして、色相の変化が一定以上検出された場合、ステップＳ２８で求められた物体領域には物体が存在すると判定するのである（ステップＳ３０）。たとえば、カラー画像がＲＧＢ画像であれば、赤色（Ｒ）や青色（Ｂ）の画素成分についてセグメント化された領域の画素値の差を求め、画素値の差が閾値以上である場合に物体が存在すると判断する。あるいは、カラー画像がＹＣｒＣｂ画像であれば、Ｃｒ、Ｃｂ成分で比較すればよい。
【００４８】
このように、ステップＳ２１〜ステップＳ２８により、輝度成分を用いて物体領域を検出した後、さらに、その物体領域についてカラー成分を比較して物体の存在を判定するようにしている。これにより、照明の変化などにより、誤って物体を検出することを防止できる。つまり、輝度成分のみの判定では、照明、日差しなど輝度の変化により物体領域を検出してしまう可能性があるが、この領域について色成分の比較を行うことで、より精度よく物体の検出を行うようにしている。
【００４９】
物体を検出した場合（ステップＳ３０でＹＥＳ）、通知部３７により、物体検出情報がセンタ８に通報される。あるいは、通知部３７により、隣接する銀行店舗内に物体検出情報が通知される。これにより、たとえば、盗撮カメラが設置されている場合には、早急に盗撮カメラの除去を行うことが可能である。また、忘れ物を早期に発見することが可能である。
【００５０】
再び、図４のフローチャートに戻る。物体検出処理（ステップＳ１７）が終了すると、物体検出装置１は、再び、ステップＳ１１に戻り処理を開始する。そして、人物を検出していなければ、背景画像の更新を行うのである。このように、人物検出中および物体検出処理中には、背景画像の更新は行わず、物体検出処理が終了してから背景画像の更新を行うようにしている（図６参照）。これにより、人物や物体が含まれる画像から背景画像が作成されることはなく、適切な背景画像を取得して、更新することが可能である。
【００５１】
以上の通り本実施の形態の物体検出装置１を用いることにより、ＡＴＭなどの監視エリアに不正に設置された物や忘れ物を精度よく検出することが可能である。特に、人物が検出された場合には、背景画像の更新を中断するとともに、物体の検出処理も行わない。人物を検出しなくなった時点で物体の検出処理を開始するのである。また、物体の検出処理中においても背景画像の更新は行わない。これにより、人物や物体の存在しない状態で適切な背景画像を取得可能である。
【００５２】
また、人物を検出した後に物体の検出処理を実行するので効率がよい。つまり、監視エリア内に物体が放置される場合には、その前に物体を放置した人物が訪れたはずである。そこで、人物を検出していない間には、背景画像の更新のみを行い、物体検出処理は行わないのである。これにより、物体検出処理の実行を必要最小限に留めることができる。
【００５３】
上記実施の形態においては、単一のＡＴＭ５を撮像範囲として、物体検出を行った。しかし、これは一例であり、たとえば、２台のＡＴＭ５を撮像範囲に入れて物体検出処理を行っても良い。この場合には、たとえば、画面中央で撮像画像データを２つに分割し、それぞれの領域について上記実施の形態と同様の処理を実行すればよい。あるいは、４台のＡＴＭ５を撮像範囲に入れて、画像を４分割して同様の処理を実行してもよい。
【符号の説明】
【００５４】
１ 物体検出装置
２ カメラ
３ 制御装置
５ ＡＴＭ
６ パーティション
７ 利用者
【特許請求の範囲】
【請求項１】
監視エリアを撮像する撮像装置と、
前記撮像装置から出力された画像から背景画像を取得し、定期的に背景画像の更新を行う更新手段と、
前記撮像装置から出力された現在の画像と最新の背景画像との差分画像から孤立点を除去する手段と、
孤立点が除去された差分画像をフレーム間隔より長い間隔をおいて複数取得し、それら複数の差分画像の論理積をとることにより生成される論理積画像から物体領域を抽出する手段と、
を備えることを特徴とする物体検出装置。
【請求項１】
監視エリアを撮像する撮像装置と、
前記撮像装置から出力された画像から背景画像を取得し、定期的に背景画像の更新を行う更新手段と、
前記撮像装置から出力された現在の画像と最新の背景画像との差分画像から孤立点を除去する手段と、
孤立点が除去された差分画像をフレーム間隔より長い間隔をおいて複数取得し、それら複数の差分画像の論理積をとることにより生成される論理積画像から物体領域を抽出する手段と、
を備えることを特徴とする物体検出装置。
【図１】
【図２】
【図３】
【図４】
【図５】
【図６】
【図７】
【図２】
【図３】
【図４】
【図５】
【図６】
【図７】
【公開番号】特開２０１１−２５８２１４（Ｐ２０１１−２５８２１４Ａ）
【公開日】平成２３年１２月２２日（２０１１．１２．２２）
【国際特許分類】
【出願番号】特願２０１１−１５０８８４（Ｐ２０１１−１５０８８４）
【出願日】平成２３年７月７日（２０１１．７．７）
【分割の表示】特願２００６−１２８２７４（Ｐ２００６−１２８２７４）の分割
【原出願日】平成１８年５月２日（２００６．５．２）
【出願人】（５９１１２８４５３）株式会社メガチップス (322)
【Ｆターム（参考）】
【公開日】平成２３年１２月２２日（２０１１．１２．２２）
【国際特許分類】
【出願日】平成２３年７月７日（２０１１．７．７）
【分割の表示】特願２００６−１２８２７４（Ｐ２００６−１２８２７４）の分割
【原出願日】平成１８年５月２日（２００６．５．２）
【出願人】（５９１１２８４５３）株式会社メガチップス (322)
【Ｆターム（参考）】
[ Back to top ]